CN117880531A

CN117880531A - 用于具有交叉分量缩放的亮度映射的方法和设备

Info

Publication number: CN117880531A
Application number: CN202311680030.7A
Authority: CN
Inventors: E·弗朗索瓦; P·博尔德斯; P·安德里文; P·德拉格朗日; G·马丁-科谢; 斯里尼瓦斯·古杜马苏
Original assignee: InterDigital CE Patent Holdings SAS
Current assignee: InterDigital CE Patent Holdings SAS
Priority date: 2020-12-23
Filing date: 2021-12-03
Publication date: 2024-04-12
Also published as: CN116636212A; EP4268455A1; KR20230123984A; WO2022135876A1; TW202243473A; JP2024503971A; US20240080484A1

Abstract

一种方法包括：获得(601)与视频数据相关联的语法元素，其中所述语法元素指定将基于不同于第二颜色分量的至少一个第一颜色分量来变换至少一个第二颜色分量的交叉颜色分量变换过程将被应用于视频数据，作为要应用于视频数据的解码过程之后的后处理过程。

Description

用于具有交叉分量缩放的亮度映射的方法和设备

本申请为2021年12月3日递交的题为“用于具有交叉分量缩放的亮度映射的方法和设备”的中国专利申请No.202180086417.2的分案申请，该母案申请的内容通过引用而被结合于此。

1.技术领域

本发明实施方案中的至少一个实施方案整体涉及用于图像编码和解码的方法和设备，并且更具体地涉及用于控制具有交叉分量缩放的亮度映射过程的应用的方法、设备和信号。

2.背景技术

为了实现高压缩效率，视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。在编码期间，将视频内容的图像划分为样本块(即像素)，然后将这些块分区为一个或多个子块，在下文称为原始子块。然后对每个子块应用帧内或帧间预测以利用帧内或帧间图像相关性。无论使用何种预测方法(帧内或帧间)，都针对每个原始子块确定预测值子块。然后，对表示原始子块与预测值子块之间的差的子块(通常表示为预测误差子块、预测残差子块或简单地表示为残差块)进行变换、量化和熵编码，以生成编码视频流。为了重构视频，通过对应于变换、量化和熵编码的逆过程来解码压缩数据。

要编码的原始视频信号由一组原始值构成，该组原始值包括在通常由多个比特(对于“0”和“255”之间的动态范围为“8”比特，对于“0”和“1023”之间的动态范围为10比特)表示的值的原始动态范围中。量化的一个效果是用相同的量化值来表示几个不同的值。因此，与原始视频信号相比，量化后的视频信号具有减小的粒度。然而，在一些视频信号中，大多数原始值集中在原始动态范围的一个有限子范围(或多个有限子范围)上。对仅占据动态范围的有限子范围的信号应用针对动态范围定义的量化将强烈地影响视频信号的粒度。提出亮度映射(即，亮度值的映射)以通过更好地利用目标动态范围(即，亮度值跨目标动态范围被重新分配以便占据所有目标动态范围)来改善视频信号的编码效率。目标动态范围可以等于或不同于原始动态范围。

在视频信号中，亮度信号通常与色度信号相关联。当亮度信号一旦被量化就对其应用过程以改进其粒度时，应对相关联的色度信号应用过程以获得粒度的类似改进。对色度信号应用映射是可能的，但是显著地增加了视频编码和解码过程的复杂度。为了降低编码/解码复杂度，一些方法提出仅对亮度信号应用映射，并且根据映射的亮度信号对色度信号应用缩放过程。该缩放过程被称为术语交叉分量缩放过程。

在由被称为联合视频专家组(JVET)的ITU-T和ISO/IEC专家的联合合作团队开发的题为通用视频编码(VVC)的国际标准中引入了将亮度映射与交叉分量缩放相组合的被称为具有色度缩放的亮度映射(LMCS)的新压缩工具，在下文中被称为VVC。在环路滤波之前添加LMCS作为新的处理块。因此，LMCS应用于编码/解码过程的预测环路中。

在预测环路中应用具有交叉分量缩放的亮度映射在压缩效率方面可能不是最优的。其它配置(诸如应用具有交叉分量缩放的亮度映射作为预测环路之外的预处理或后处理)可以提供更好的压缩效率。

希望提出一种解决方案，其允许将具有交叉分量缩放或更一般地具有交叉颜色分量变换的亮度映射应用于预测环路中或预测环路外。

3.发明内容

在第一方面中，本发明实施方案中的一个或多个实施方案提供了一种方法，该方法包括：获得与视频数据相关联的语法元素，其中所述语法元素指定将基于不同于第二颜色分量的至少一个第一颜色分量来变换至少一个第二颜色分量的交叉颜色分量变换过程应用于视频数据，作为要应用于视频数据的解码过程之后的后处理过程。

在实施方案中，语法元素利用第一值指定将交叉颜色分量变换过程应用于视频数据，作为在要应用于视频数据的解码过程之后的后处理过程，并且其中语法元素利用第二值指定在包括在解码过程中的预测环路中将交叉颜色分量变换过程应用于视频数据。

在实施方案中，语法元素还利用第三值指定帧内分量变换之前的第一颜色分量的样本必须用于至少一个第二分量的交叉颜色分量变换过程，并且利用第四值指定帧内分量变换之后的第一颜色分量的样本必须用于至少一个第二分量的交叉分量变换。

在实施方案中，由表示至少一个变换的参数在语法元素中指定交叉颜色分量变换过程。

在实施方案中，旨在应用于至少一个第二颜色分量中的一者的变换是从表示要应用于在语法元素中指定的至少一个第二颜色分量中的另一者的变换的参数导出，或从表示要应用于在语法元素中指定的第一颜色分量的变换的参数导出。

在实施方案中，语法元素指定表示交叉颜色分量变换过程的参数是从由另一语法元素获得的指定具有色度缩放的亮度映射过程的参数导出。

在实施方案中，交叉颜色分量变换过程是具有色度缩放的亮度映射过程。

在实施方案中，响应于要在解码过程的预测环路中应用的第二交叉颜色分量变换过程的去激活，将交叉颜色分量变换过程应用于视频数据，作为在要应用于视频数据的解码过程之后的后处理过程。

在第二方面，本发明实施方案中的一个或多个实施方案提供了一种设备，该设备包括：

用于获得与视频数据相关联的语法元素的装置，其中所述语法元素指定将基于不同于第二颜色分量的至少一个第一颜色分量来变换至少一个第二颜色分量的交叉颜色分量变换过程应用于视频数据，作为要应用于视频数据的解码过程之后的后处理过程。

在实施方案中，该设备包括以下装置，该装置用于响应于要在解码过程的预测环路中应用的第二交叉颜色分量变换过程的去激活，将交叉颜色分量变换过程应用于视频数据，作为在要应用于视频数据的解码过程之后的后处理过程。

在第三方面中，本发明实施方案中的一个或多个实施方案提供了包括与视频数据相关联的语法元素的信号，其中所述语法元素指定将基于不同于第二颜色分量的至少一个第一颜色分量来变换至少一个第二颜色分量的交叉颜色分量变换过程应用于视频数据，作为要应用于视频数据的解码过程之后的后处理过程。

在第四方面，本发明实施方案中的一个或多个实施方案提供了一种方法，该方法包括：

发信号通知与视频数据相关联的语法元素，其中所述语法元素指定将基于不同于第二颜色分量的至少一个第一颜色分量来变换至少一个第二颜色分量的交叉颜色分量变换过程应用于视频数据，作为将应用于视频数据的解码过程之后的后处理过程。

在第五方面，本发明实施方案中的一个或多个实施方案提供了一种设备，该设备包括：

用于发信号通知与视频数据相关联的语法元素的装置，其中所述语法元素指定将基于不同于第二颜色分量的至少一个第一颜色分量来变换至少一个第二颜色分量的交叉颜色分量变换过程应用于视频数据，作为要应用于视频数据的解码过程之后的后处理过程。

在第六方面，本发明实施方案中的一个或多个实施方案提供了一种计算机程序，该计算机程序包括用于实现根据第一方面或第四方面所述的方法的程序代码指令。

在第七方面，本发明实施方案中的一个或多个实施方案提供了一种信息存储介质，该信息存储介质存储用于实现根据第一方面或第四方面所述的方法的程序代码指令。

4.附图说明

图1示出了原始视频的像素图像所经历的分区的示例；

图2示意性地描绘了由编码模块执行的用于对视频流进行编码的方法；

图3示意性地描绘了由解码模块执行的用于对编码视频流(即比特流)进行解码的方法；

图4A示意性地示出了能够实现编码模块或解码模块的处理模块的硬件架构的示例，其中实现了各个方面和实施方案；

图4B示出了系统的示例的框图，其中实现了各个方面和实施方案；

图5示意性地示出了修改的颜色重映射信息(CRI)SEI消息的解析；

图6示意性地示出了解码模块对CRI SEI消息的解析；

图7示意性地示出了解码模块对LMCS_APS类型的APS的解析；

图8示出了交叉分量色度缩放函数；

图9示出了允许改进LMCS的环路外应用的实施方案；

图10A示出了使用8个分段的LMCS前向映射函数的构造；并且，

图10B示出了从LMCS参数导出交叉分量变换的参数。

5.具体实施方式

在以下描述中，一些实施方案使用在VVC的上下文或HEVC的上下文((ISO/IEC23008-2-MPEG-H第2部分，高效视频编码/ITU-T H.265))中开发的工具。然而，这些实施方案不限于对应于VVC或HEVC的视频编码/解码方法，并且适用于诸如AVC(H.264/MPEG-4第10部分)、EVC(基本视频编码/MPEG-5)、AV1和VP9等其他视频编码/解码方法，而且还适用于图像编码/解码方法。

关于图1、图2和图3，我们描述一种视频压缩方法。

图1示出了原始视频10的样本图像11所经历的分区的示例。在此认为样本由三个分量组成：一个亮度分量和两个色度分量。在该情况下，样本对应于像素。然而，以下实施方案适用于由包括另一数量的分量的样本构成的图像(例如，其中样本包括一个分量的灰度样本)，或者由包括三个颜色分量和透明度分量和/或深度分量的样本构成的图像。

图像划分为多个编码实体。首先，如图1中的参考标号13所表示，图像划分为称为编码树单元(CTU)的块的网格。CTU由N×N个亮度样本块以及两个对应的色度样本块组成。N通常是二的幂，例如最大值为“128”。其次，图像划分为一个或多个CTU组。例如，该图像可划分为一个或多个图块行和图块列，图块是覆盖图像的矩形区域的CTU序列。在一些情况下，图块可划分为一个或多个砖块，每个砖块由图块内的至少一个CTU行组成。在图块和砖块的概念之上，存在另一编码实体，称为切片，其可包含图像的至少一个图块或图块的至少一个砖块。

在图1的示例中，如参考标号12所表示，图像11划分为三个切片S1、S2和S3，每个切片包括多个图块(未表示)。

如图1中的参考标号14所表示，CTU可分区为称为编码单元(CU)的一个或多个子块的分层树的形式。CTU是分层树的根(即，父节点)，并且可分区为多个CU(即，子节点)。如果每个CU未进一步分区为较小CU，则每个CU成为分层树的叶；或者如果每个CU进一步分区为较小CU(即，子节点)，则每个CU成为较小CU的父节点。可应用几种类型的分层树，包括例如四叉树、二叉树和三叉树。在四叉树中，CTU(或CU)可分区为大小相等的“4”个正方形CU(即，可以是大小相等的“4”个正方形CU的父节点)。在二叉树中，CTU(或CU)可水平地或竖直地分区为大小相等的“2”个矩形CU。在三叉树中，CTU(或CU)可水平地或竖直地分区为“3”个矩形CU。例如，高度为N且宽度为M的CU竖直地(或水平地)分区为高度为N(或N/4)且宽度为M/4(或M)的第一CU、高度为N(或N/2)且宽度为M/2(或M)的第二CU以及高度为N(或N/4)且宽度为M/4(或M)的第三CU。

在图1的示例中，首先，使用四叉树类型分区将CTU 14分区为“4”个正方形CU。左上角的CU是分层树的叶，因为其未进一步分区，即其并非任何其他CU的父节点。再次使用四叉树类型分区将右上角的CU进一步分区为“4”个较小正方形CU。使用二叉树类型分区将右下角的CU竖直地分区为“2”个矩形CU。使用三叉树类型分区将左下角的CU竖直地分区为“3”个矩形CU。

二叉树和三叉树的组合被称为多类型树(MTT)。

在图像编码期间，分区是自适应的，每个CTU均被分区以便优化CTU准则的压缩效率。

在一些压缩方法中，出现了预测单元(PU)和变换单元(TU)的概念。在该情况下，用于预测的编码实体(即，PU)和用于变换的编码实体(即，TU)可以是对CU的子划分。例如，如图1所表示，大小为2N×2N的CU可划分为大小为N×2N或大小为2N×N的PU 1411。另外，所述CU可划分为大小为N×N的“4”个TU 1412或大小为(N/2)×(N/2)的“16”个TU。

在本申请中，术语“块”或“图像块”或“子块”可用于指CTU、CU、PU和TU中的任一者。另外，术语“块”或“图像块”可用于指MPEG-4/AVC或其他视频编码标准中所指定的宏块、分区和子块，并且更一般地指众多大小的样本的阵列。

在本申请中，术语“重构”和“解码”可互换使用，术语“像素”和“样本”可互换使用，术语“图像”、“图片”、“子图片”、“切片”和“帧”可互换使用。

图2示意性地描绘了由编码模块执行的用于对视频流进行编码的方法。设想了该用于编码的方法的变型，但是为了清楚起见，以下描述了图2的用于编码的方法，而未描述所有预期变型。

当前原始图像200的编码在步骤202期间以当前原始图像200的分区开始，如关于图1所描述。因此，当前图像200分区为CTU、CU、PU、TU等。对于每个块，编码模块确定在帧内预测与帧间预测之间的编码模式。

由步骤203表示的帧内预测包括根据帧内预测方法从预测块预测当前块的样本，该预测块从位于要编码的当前块的因果关系附近的重构块的样本导出。帧内预测的结果是指示使用附近块的哪些样本的预测方向，以及通过计算当前块与预测块之间的差而得到的残差块。

帧间预测包括从当前图像(该图像被称为参考图像)之前或之后的图像的样本块(称为参考块)预测当前块的样本。

在根据帧间预测方法对当前块进行编码期间，由运动估计步骤204根据相似度准则确定参考图像的最接近当前块的块。在步骤204期间，确定指示参考图像中的参考块的位置的运动矢量。所述运动矢量在运动补偿步骤205期间使用，在该运动补偿步骤期间以当前块与参考块之间的差的形式计算残差块。

在第一视频压缩标准中，上述单向帧间预测模式是唯一可用的帧间模式。随着视频压缩标准的演进，帧间模式族已显著增长并且现在包括许多不同的帧间模式。

在选择步骤206期间，由编码模块在所测试的预测模式(帧内预测模式、帧间预测模式)中根据速率/失真准则(即，RDO准则)选择优化压缩性能的预测模式。

当选择预测模式时，在步骤207中获得对应于所选择的预测模式的残差块(例如从在步骤203和205中计算的残差块)，在步骤209期间对其进行变换并且在步骤210期间对其进行量化。在量化期间，在变换域中，除了量化参数之外，还通过缩放矩阵对变换系数进行加权。缩放矩阵是允许以其他频率为代价来支持一些频率的编码工具。一般来讲，低频是有利的。

需注意，编码模块可跳过变换，并对未变换的残差信号直接应用量化。

当根据帧内预测模式对当前块进行编码时，在步骤212期间，由熵编码器对预测方向以及变换和量化的残差块进行编码。

当根据帧间预测模式对当前块进行编码时，在步骤211中对与该帧间预测模式相关联的运动数据进行编码。

一般来讲，可使用两种模式来编码运动数据，分别称为AMVP(自适应运动矢量预测)模式和合并模式。

AMVP模式基本上包括发信号通知用于预测当前块的参考图像、运动矢量预测值索引和运动矢量差(也称为运动矢量残差)。

合并模式包括发信号通知在运动数据预测值列表中收集的一些运动数据的索引。该列表由“5”或“7”个候选项构成，并且在解码器和编码器侧上以相同的方式构建。因此，合并模式旨在导出取自合并列表的一些运动数据。合并列表通常包含与一些空间和时间上相邻的块相关联的运动数据，当处理当前块时，所述运动数据在它们的重构状态下可用。

一旦预测，运动信息接下来就与变换和量化的残差块一起在步骤212期间由熵编码器编码。需注意，编码模块可绕过变换和量化，即，对残差应用熵编码，而不应用变换或量化过程。熵编码的结果插入到编码视频流(即比特流)213中。

需注意，熵编码器可以上下文自适应二进制算术编码器(CABAC)的形式实现。CABAC对二进制符号进行编码，这保持了低复杂度并且允许对任何符号的更频繁使用的位进行概率建模。

在量化步骤210之后，重构当前块，使得对应于该块的像素可用于将来预测。该重建阶段也称为预测环路。因此，在步骤214期间将逆量化应用于所变换和量化的残差块，并且在步骤215期间应用逆变换。根据用于在步骤217期间获得的当前块的预测模式，重构当前块的预测块。如果根据帧间预测模式对当前块进行编码，则编码模块在适当时在步骤218期间使用当前块的运动信息对参考块应用运动补偿。如果根据帧内预测模式对当前块进行编码，则在步骤220期间，使用与当前块相对应的预测方向来重构当前块的参考块。

在步骤221中，将参考块和重构的残差块相加，以便获得重构的当前块。

在重构后，在步骤223期间，将旨在减少编码伪像的环路内后置滤波应用于重构块。该后置滤波称为环路内后置滤波，因为该后置滤波发生在预测环路中，以在编码器处获得与解码器相同的参考图像，从而避免编码过程与解码过程之间的漂移。例如，环路内后置滤波包括解块滤波、SAO(样本自适应偏移)滤波和具有基于块的滤波器自适应的自适应环路滤波(ALF)。

在熵编码步骤212期间，在编码视频流213中引入表示环路内解块滤波器的激活或停用以及在被激活时所述环路内解块滤波器的特性的参数。

当重构块时，在步骤224期间将块插入到存储在解码图片缓冲器(DPB)225中的重构图像中。然后，这样存储的重构图像可用作待编码的其他图像的参考图像。

图3示意性地描绘了用于对根据关于图2描述的方法编码的编码视频流(即比特流)213进行解码的方法。该用于解码的方法由解码模块执行。设想了该用于解码的方法的变型，但是为了清楚起见，以下描述了图3的用于解码的方法，而未描述所有预期变型。

解码是逐块进行的。对于当前块，其在步骤312期间以当前块的熵解码开始。熵解码允许获得当前块的预测模式。

如果已经根据帧内预测模式对当前块进行了编码，则熵解码允许获得表示帧内预测方向和残差块的信息。

如果已经根据帧间预测模式对当前块进行了编码，则熵解码允许获得表示运动数据和残差块的信息。适当时，在步骤311期间，根据AMVP模式或合并模式针对当前块重构运动数据。在合并模式中，通过熵解码获得的运动数据包括运动矢量预测值候选项列表中的索引。解码模块应用与编码模块相同的过程来重构用于常规合并模式和子块合并模式的候选项列表。利用重构的列表和索引，解码模块能够检索用于预测块的运动矢量的运动矢量。

用于解码的方法包括步骤312、314、315、317、318、319、320、321和323，它们在所有方面分别与用于编码的方法的步骤212、214、215、217、218、219、220、221和223相同。在步骤324中，将解码块保存在解码图像中并将解码图像存储在DPB 325中。当解码模块对给定图像进行解码时，存储在DPB 325中的图像与由编码模块在所述给定图像的编码期间存储在DPB 225中的图像相同。也可由解码模块输出解码的图像，以例如进行显示。

如上文所提及，设想了图2的编码及图3的解码方法的变型，并且具体地为包括具有交叉分量缩放的亮度映射过程或更一般地包括交叉颜色分量变换的变型。在下文中无关地使用具有交叉分量缩放的亮度映射和交叉颜色分量变换。实际上，在具有交叉分量缩放的亮度映射中，基于亮度分量来变换色度分量。在交叉颜色分量变换中，基于不同于第一颜色分量的至少一个第二颜色分量来变换至少一个第一颜色分量。因此，交叉颜色分量变换的概念比具有交叉分量缩放的亮度映射的概念更宽。然而，下文描述的各种实施方案适用于交叉颜色分量变换和具有交叉分量缩放的亮度映射。

在编码和解码方法中引入具有交叉分量缩放的亮度映射过程可以采取不同的形式。

在第一实施方案中，在预测环路中实现具有交叉分量缩放(LMCCS)的亮度映射过程。

在预测环路中实现LMCCS过程的示例(即，第一实施方案的示例)是LMCS。

LMCS具有两个主要分量：

·基于自适应分段线性模型的亮度分量的环路内映射；

·对于色度分量，应用亮度相关的色度残差缩放。

亮度的环路内映射利用前向亮度映射函数FwdMap和对应的逆亮度映射函数InvMap。使用具有“16”个相等片段的分段线性模型来发信号通知前向亮度映射函数FwdMap。不需要发信号通知逆亮度映射函数InvMap，而是从前向亮度映射函数FwdMap导出。

使用分段线性模型在称为自适应参数集(APS)的容器中发信号通知亮度映射函数。分段线性模型将输入信号的动态范围划分为“16”个相等的片段，并且对于每个片段，使用分配给该片段的码字的数目来表示其线性映射参数。以10比特输入信号为例。“16”个片段中的每个片段具有默认分配给它的“64”个码字。发信号通知的码字数目用于计算缩放因子，并相应地针对该片段调整前向亮度映射函数。分段线性模型的每个片段由两个输入枢轴点和两个输出(映射)枢轴点定义。

在解码侧，如图3所表示，在步骤319期间应用前向亮度映射函数。在步骤322中应用逆亮度映射函数。如在图3中可见，对于帧间预测块，在原始域中执行运动补偿。在基于DPB 325中的参考图像计算运动补偿预测块Y_pred之后，应用前向映射函数FwdMap以将预测块Y_pred的亮度分量从原始域(即，原始动态范围)映射到映射域(即，目标动态范围)：Y'_pred＝FwdMap(Y_pred)。对于帧内编码块，因为在映射域中执行帧内预测，所以不应用前向映射函数FwdMap函数。

在步骤321中根据预测块Y_pred和残差块Y_res计算重构块Y_r之后，在步骤322期间应用逆映射函数InvMap以将重构亮度值从映射域转换回原始域：Y_i＝InvMap(Y_r)。将逆映射函数InvMap应用于帧内编码和帧间编码亮度块两者。

可以使用查找表(LUT)或使用动态计算来实现亮度映射过程(前向和/或逆映射)。

亮度相关的色度残差缩放被设计成补偿亮度信号与其对应色度信号之间的交互作用。如果启用亮度映射，则发信号通知附加标记以指示是否启用亮度相关的色度残差缩放。

亮度相关的色度残差缩放取决于顶部和/或左侧重构的相邻亮度样本的平均值。将avgYr表示为重构的相邻亮度样本的平均值。在以下步骤中计算缩放因子C_ScaleInv的值：

1.基于InvMap函数找到avgYr所属的分段线性模型的索引Y_Idx。

2.C_ScaleInv＝cScaleInv[Y_Idx]，其中cScaleInv[]是基于在APS中发信号通知的值预先计算的16片段LUT。

与在样本基础上执行的亮度映射和逆亮度映射不同，缩放因子C_ScaleInv对于整个色度块是恒定的值。

在解码侧，在步骤316中重构当前色度块之前，对缩放后的色度残差块应用亮度相关的色度残差缩放过程。通过使用缩放因子C_ScaleInv缩放缩放后的色度残差块来获得色度残差块C_Res：

C_Res＝C_ResScale*C_ScaleInv。

然后，在步骤321中将残差块C_res添加到色度预测值块C_pred以重构当前色度块C_r：

C_r＝C_Res+C_pred。

可以看出，对于色度，既不执行环路内滤波之前的逆映射，也不执行运动补偿之后的前向映射。

在编码侧，LMCS的引入由图2的用于编码的方法中的步骤201和208、216、219和222的引入表示。步骤216、219和222分别与步骤316、319和322相同。步骤201与步骤219相同，除了以下情况，LMCCS过程被应用于原始图像，而在步骤219中被应用于重构图像。

在步骤208中，对色度残差块应用亮度相关的色度残差缩放过程。通过使用缩放因子C_ScaleInv缩放色度残差块来获得缩放后的色度残差块C_ResScale：

C_ResScale＝C_Res/C_ScaleInv。

如前所述，在一些实施方式中，LMCS参数被存储在类型LMCS_APS的APS容器中。LMCS参数被存储在称为lmcs_data的语法元素中。

表TAB1

表TAB1表示语法元素lmcs_data。可以在ITU-T SG 16WP 3和ISO/IEC JTC 1/SC29/WG 11的联合视频专家组(JVET)于2020年6月22日至7月1日召开的第19次会议(远程会议)，通用视频编码(草案10)，文档JVET-S2001vH的第7.4.3.19节中找到语法元素lmcs_data的语法元素的语义。

根据一些实施方式，前向亮度映射函数然后由如下导出的参数lmcsCW[i](表示第i个片段中的码字的数目)、InputPivot[i](表示第i个片段的输入枢轴点)、lmcsPivot[i](表示第i个片段的输出枢轴点)来定义，i＝0到“15”或“16”(等式编号是VVC规范、文档ITU-T H.266、H系列：视听和多媒体系统、视听服务的基础结构-移动视频的编码、通用视频编码，08/2020中的那些)。

参数LmcsMaxBinIdx被设置为等于(“15”-lmcs_delta_max_bin_idx)。下面的斜体文本是从VVC规范复制的。

变量OrgCW导出如下：

OrgCW＝(1<<BitDepth)/16 (93)

变量lmcsDeltaCW[i](i＝lmcs_min_bin_idx..LmcsMaxBinIdx)导出如下：

lmcsDeltaCW[i]＝(1-2*lmcs_delta_sign_cw_flag[i])*lmcs_delta_abs_cw[i](94)

变量lmcsCW[i]导出如下：

-对于i＝0..lmcs_min_bin_idx-1，lmcsCW[i]被设置为等于0。

-对于i＝lmcs_min_bin_idx.LmcsMaxBinIdx，以下适用：

lmcsCW[i]＝OrgCW+lmcsDeltaCW[i] (95)

lmcsCW[i]的值应在OrgCW>>3至(OrgCW<<3)-1的范围内，包括端值在内。

-对于ii＝LmcsMaxBinIdx+1..15，lmcsCW[i]被设置为等于0。

比特流一致性的要求是以下条件为真：

变量ChromaScaleCoeff[i](i＝0…15)导出如下：

InputPivot[i]＝i*OrgCW (97)

变量LmcsPivot[i](i＝0..16)、变量ScaleCoeff[i]和InvScaleCoeff[i](i＝0..15)导出如下：

在图10A中提供了使用LMCS前向映射函数构造的8个分段(而不是16个分段)的图示。如上所述，在预测环路中应用LMCCS过程是一个可能的实施方案，但是存在其他实施方案。

在第二实施方案中，在预测环路外应用LMCSS过程。

在解码侧，与第一实施方案相比，从图3的用于解码的方法中去除了步骤316、319和322。引入新的后处理步骤326。当LMCSS过程是LMCS时，应用逆映射函数InvMap以将重构图像的重构亮度值从映射域转换回原始域。使用上述过程确定的缩放因子C_ScaleInv被应用于重构图像的色度值。

在编码侧，与第一实施方案相比，从图2的用于编码的方法中去除了步骤208、216、219和222。步骤201保持相同。

第一和第二实施方案特别适于控制量化亮度和色度信号的粒度。然而，LMCSS过程可以用于其它目的。

在第三实施方案中，LMCSS过程用于将解码过程的输出从原始动态范围映射到目标动态范围。例如，如果显示器能够显示此类增强数据，则LMCSS过程被用于增强(例如，利用更高质量的分级内容，如UHDTV Rec.2020)编码视频。还使得可以适度地使(例如，Rec.709色彩等级)宽色域分级内容(例如，Rec.2020调色等级)降级。

在第三实施方案中，与第二实施方案相比，从用于编码的方法和用于解码的方法中去除了步骤201、208、216、219、222、316、319和322。步骤326被保留，但是包括应用前向映射函数而不是逆映射函数。当LMCSS过程是LMCS时，在步骤326期间，应用前向映射函数fwdMap以将重构图像的重构亮度值从原始域转换到映射域。缩放因子1/(C_ScaleInv)被应用于重构图像的色度值。

在第四实施方案中，将第一和第三实施方案或者第二和第三实施方案组合。

在上一代视频压缩标准中，两个语法元素是已知的，允许传输与颜色映射有关的数据：

·如上所述的传输LMCS参数的APS；和，

·被称为颜色重映射信息(CRI)的SEI消息。

例如在诸如AVC、HEVC或VVC的标准中定义的SEI(补充增强信息)消息是与视频流相关联并且包括提供与视频流相关的信息的元数据的数据容器。

表TAB2

表TAB2提供如在HEVC规范的第D.2.23节中所定义的CRI SEI消息的语法。HEVC的第D.3.33节中提供了包括在CRI SEI消息中的语法元素的语义。CRI SEI消息提供信息以使得能够出于诸如将输出图像转换为更适合于替代显示的表示等目的而映射由解码器输出的图像的重构颜色样本。

CRI SEI定义三个变换：

·第一变换(下文称为pre_lut)基于应用于每个颜色分量的三个1D-LUT；

·第二变换基于3x3矩阵；和，

·第三变换(下文称为post_lut)基于应用于每个颜色分量的三个1D-LUT。

这三个变换可以级联。当启用3x3矩阵变换时，必须以4:4:4格式来处理颜色分量，这意味着每像素存在三个颜色样本。当仅使用1D-LUT变换时，由于每个颜色样本彼此独立地处理，该过程可以4:2:0、4:2:2或4:4:4颜色格式应用。在下面的等式中分别示出了标注为C0、C1、C2的三个颜色分量的级联变换。如下处理图片中相对位置p处的输入样本C0_in(p)、C1_in(p)、C2_in(p)以生成输出样本C0_out(p)、C1_out(p)、C2_out(p)：

第一变换应用：

C0’＝pre_lut[0][C0_in(p)]

C1’＝pre_lut[1][C1_in(p)] (eq.1)

C2’＝pre_lut[2][C2_in(p)]

其中pre_lut[0][]表示应用于第一分量的第一变换，pre_lut[1][]表示应用于第二分量的第一变换，pre_lut[2][]表示应用于第三分量的第一变换。

3×3矩阵应用(当其适用时)：

(C0",C1",C2")^T＝M3×3.(C0’,C1’,C2’)^T (eq.2)

其中M3x3是3x3矩阵(语法元素color_remap_coeffs[c][i])并且()^T是转置运算符。

第二变换应用：

C0_out(p)＝post_lut[0][C0"]

C1_out(p)＝post_lut[1][C1"] (eq.3)

C2_out(p)＝post_lut[2][C2"]

其中post_lut[0][]表示应用于第一分量的第二变换，post_lut[1][]表示应用于第二分量的第二变换，post_lut[2][]表示应用于第三分量的第二变换。

注意，1D-LUT独立地应用于每个颜色分量，该颜色分量对应于帧内分量变换。

可以看出，CRI SEI消息不适于提供LMCCS过程的参数，并且更一般地不适于提供交叉颜色分量变换的参数。另外，CRI SEI消息提供用于后处理过程的颜色映射参数。在其一侧，LMCS_APS类型的APS容器被设计成提供用于LMCCS过程(此处为LMCS)的参数，其中LMCCS过程被应用于预测环路中。因此，CRI SEI消息和类型LMCS_APS的APS容器不符合上面提出的每个实施方案。

因此需要解决方案来支持LMCCS过程，并且更一般地支持交叉颜色分量变换。

根据第五实施方案，将新变换添加到CRI SEI消息以启用交叉颜色分量变换。新变换基于1D-LUT并且如下应用(以下使用第一变换(pre_lut)来说明)。在变型中，这可以被扩展到第二变换情况(post_lut)。

对于相对位置p处的每个像素，使用帧内分量变换pre_lut将第一颜色分量的输入样本C0_in映射到第一分量的输出样本C0_out：

C0_out(p)＝pre_lut[0][C0_in(p)] (eq.4)

使用交叉分量变换将第二和第三颜色分量的输入样本C1_in(p)和C2_in(p)分别映射到第二和第三分量的输出样本C1_out(p)和C2_out(p)，如下：

C1_out(p)＝pre_lut[1][C0coloc(p)]*(C1_in(p)-2*B1-1)+2*B1-1

C2_out(p)＝pre_lut[2][C0coloc(p)]*(C2_in(p)-2*B2-1)+2*B2-1

(eq.5)

其中B1和B2分别是第二和第三颜色分量样本的位深度，并且C0coloc(p)是从位于或接近相对位置p的第一分量样本计算的值。

根据第五实施方案，将语法元素colour_remap_pre_lut_cross_component_flag添加到CRI SEI消息中以指示表示用于第二分量和第三分量的第一变换pre_lut的1D LUT是用作帧内分量变换还是用作交叉分量变换。

在第一实施方案的变型中，类似的语法元素colour_remap_post_lut_cross_component_flag被添加到CRI SEI消息以用于第二变换post_lut。

表TAB3示出了在CRI SEI消息中插入语法元素colour_remap_pre_lut_cross_component_flag和colour_remap_post_lut_cross_component_flag。新语法元素以粗体表示。

在变型中，还可以插入语法元素以指示来自在交叉分量变换中使用的第一分量的样本是在它们已经由第一变换进行变换之前还是之后被使用。

用于新语法元素的语义的示例如下：

·等于“1”的color_remap_pre_lut_cross_component_flag指示语法元

素pre_lut_coded_value[1][i]和pre_lut_coded_value[2][i](即，由二者分别表示的变换pre_lut[1][i]和pre_lut[2][i])定义由取决于第一颜色分量样本并分别由应用于第二和第三颜色分量样本的值索引的分段线性缩放函数。等于“0”的colour_remap_pre_lut_cross_component_flag指示语法元素pre_lut_coded_value[1][i]和pre_lut_coded_value[2][i](即，由二者分别表示的变换pre_lut[1][i]和pre_lut[2][i])分别定义应用于第二和第三颜色分量样本的分段线性函数。

·colour_remap_pre_lut_cross_comp_mode指示分别由语法元素pre_lut_coded_value[1][i]和pre_lut_coded_value[2][i]定义的第二和第三颜色分量样本的变换取决于第一颜色分量样本是在它们通过由语法元素pre_lut_coded_value[0][i]定义的变换(即，由语法元素pre_lut_coded_value[0][i]表示的变换pre_lut[0][i])处理之前(colour_remap_pre_lut_cross_comp_mode等于“0”)还是之后(colour_remap_pre_lut_cross_comp_mode等于“1”)。

·colour_remap_post_lut_cross_component_flag具有与colour_remap_pre_lut_cross_component_flag相同的语义，其中“pre”

被“post”替换。

·colour_remap_post_lut_cross_comp_mode具有与colour_remap_pre_lut_cross_comp_mode相同的语义，其中“pre”被

“post”替换。

表TAB3

图5示意性地示出了修改的CRI SEI消息的解析。图5集中于在CRI SEI消息中引入的新语法元素，如表TAB3中所表示。

在CRI SEI消息的解析期间，由后面关于图4A和图4B描述的处理模块40执行图5的过程。

在步骤501中，处理模块40获得语法元素colour_remap_pre_lut_cross_component_flag并且确定语法元素colour_remap_pre_lut_cross_component_flag是否等于零。如果语法元素colour_remap_pre_lut_cross_component_flag等于零，则处理模块40在步骤502中使用等式eq.1、eq.2和eq.3对每个颜色分量应用帧内分量变换。

否则，在步骤503中，处理模块40使用等式eq.4将帧内分量变换应用于第一颜色分量。等于“1”的语法元素color_remap_pre_lut_cross_component_flag因此指定要应用交叉颜色分量变换过程。默认地(即，没有进一步信息)，将应用该交叉颜色分量变换过程作为解码过程之后的后处理过程。

在步骤504中，处理模块40确定语法元素colour_remap_pre_lut_cross_comp_mode是否等于零。如果语法元素color_remap_pre_lut_cross_comp_mode等于零，则处理模块40确定帧内分量变换之前的第一分量的样本必须用于第二分量和第三分量的交叉颜色分量变换。

否则，处理模块40在步骤506中确定帧内分量变换之后的第一分量的变换样本必须用于第二分量和第三分量的交叉分量变换。

步骤505和506之后是步骤507，在此期间处理模块40使用等式eq.5和在步骤505和506中确定的第一分量的变换或非变换样本将交叉分量变换应用于第二分量和第三分量。

在变型中，将语法元素colour_remap_in_loop_flag添加到CRI SEI消息中(如表TAB4中以粗体表示)以指示是在视频解码过程的预测环路内还是在解码过程之后作为后处理来实现交叉颜色分量变换。

表TAB4

图6示意性地示出了解码模块对CRI SEI消息的解析。

图6的过程集中于语法元素colour_remap_in_loop_flag的解析。

在步骤601中，解码模块的处理模块40确定语法元素colour_remap_in_loop_flag是否等于“1”。

如果语法元素colour_remap_in_loop_flag等于“1”，则在步骤602中，如在第一实施方案中所述，在预测环路中应用交叉颜色分量变换(例如LMCS)。如果语法元素colour_remap_in_loop_flag等于“0”，则在步骤603中，如在第二和第三实施方案中所述，在解码过程之后应用交叉颜色分量变换(例如LMCS)作为后处理。

在表TAB5中所表示的变型中，当启用交叉分量变换时，添加语法元素colour_remap_pre_lut_number_minus1以指示针对第二和第三颜色分量的交叉分量变换，发信号通知一个LUT还是两个LUT。例如，如果colour_remap_pre_lut_number_minus1等于“0”，则仅发信号通知变换pre_lut[1][i](由语法元素pre_lut_coded_value[1][i]表示)，并且将变换pre_lut[2][i](由语法元素pre_lut_coded_value[2][i]表示)设置为等于变换pre_lut[1][i]。如果colour_remap_pre_lut_number_minus1等于“1”，则发信号通知两个变换。

在表TAB5中所表示的变型中，当启用交叉分量变换时，添加语法元素colour_remap_pre_lut_cross_component_inferred_flag以指示用于第二和第三颜色分量的交叉分量变换的变换pre_lut[1][i]和pre_lut[2][i]是被明确地发信号通知还是从与第一颜色分量有关的变换来推断。例如，如果colour_remap_pre_lut_cross_component_inferred_flag等于“0”，则发信号通知变换。如果colour_remap_pre_lut_cross_component_inferred_flag等于“1”，则从变换pre_lut[0][i]推断变换pre_lut[1][i]和pre_lut[2][i]。例如，将变换pre_lut[1][i]和pre_lut[2][i]计算为斜率，或为变换pre_lut[0][i]的斜率值的滤波版本。

表TAB5

在第六实施方案中，不是使用SEI消息来传送元数据，而是在自适应参数集(APS)中传送元数据。

用于交叉分量映射的参数被嵌入包含在类型LMCS_APS的APS中的VVC LMCS语法中。

在第六实施方案中，语法元素lmcs_in_loop_flag被添加在类型LMCS_APS的APS中，以指示LMCS过程是在视频解码过程的预测环路内实现，还是在视频解码过程之后作为后处理实现，如等式eq.4和eq.5中所述。

表TAB6

表TAB6示出了在类型LMCS_APS的APS的语法元素lmcs_data中插入语法元素lmcs_in_loop_flag(粗体)。

图7示意性地示出了解码模块对LMCS_APS类型的APS的解析。

图7的过程集中于语法元素lmcs_in_loop_flag的解析。

在步骤701中，编码模块的处理模块40确定语法元素lmcs_in_loop_flag是否等于“1”。

如果语法元素lmcs_in_loop_flag等于“1”，则在步骤702中，如第一实施方案中所述，在预测环路中应用LMCS过程。如果语法元素lmcs_in_loop_flag等于“0”，则在步骤703中，如在第二和第三实施方案中所述，在解码过程之后应用LMCS过程作为后处理。

在第六实施方案的变型中，当在CRI SEI消息中选择交叉分量变换时，在CRI SEI消息中插入标记colour_remap_pre_lut_from_APS_flag以指示从嵌入在比特流的APS中的LMCS参数继承(即导出)交叉分量变换的参数。

当colour_remap_pre_lut_from_APS_flag标记为真时，添加参数colour_remap_pre_lut_from_APS_id以指示要参考的APS的标识符。APS的标识符例如是语法元素aps_adaptation_parameter_set_id。语法元素pre_lut_num_val_minus1、pre_lut_coded_value、pre_lut_target_value是从在APS中发信号通知的语法元素lmcs_data推断的。

推断过程的示例描述如下：

pre_lut_num_val_minus1[c]被设置为“16”，如在LMCS中，“16”个分段被用于表示颜色分量的c＝0至2。

对于i＝0至“16”，将pre_lut_coded_value[0][i]设置为lmcsPivot[i]。

对于i＝0至“16”，将pre_lut_target_value[0][i]设置为InputPivot[i]。

针对由LUTpre_lut[1][i]和pre_lut[2][i]表示的分量“1”和“2”的变换，对于c＝1和“2”以及i＝0至“15”，以下可以适用：

pre_lut_coded_value[c][i]＝pre_lut_coded_value[0][i]

slope＝pre_lut_target_value[0][i+1]-pre_lut_target_value[0][i]

if slope＝0pre_lut_target_value[c][i]＝2048

otherwise pre_lut_target_value[c][i]＝OrgCW*2048/slope

值“2048”对应于中性交叉分量缩放，即，在浮点表示法中等于“1.0”。

在图10B中提供使用图10A中所描绘的函数的图示。

表TAB7

表TAB7示出了在CRI SEI消息中(以粗体)插入语法元素colour_remap_pre_lut_cross_component_flag、colour_remap_pre_lut_from_APS_flag、colour_remap_pre_lut_from_APS_id。

相同的原理适用于变换post_lut(通过用“post”替换“pre”)。

另选地，指示LMCS过程是在视频解码过程的预测环路内部实现还是在视频解码过程之后作为后处理实现的语法元素也可以被插入其他高级语法结构中，诸如SPS(序列参数集)、PPS(图片参数集)、图片标头、切片标头、图块标头、子图片标头。优选地，该语法元素应当被插入到SPS、PPS或图片标头中，因为期望其应用于整个图片，并且甚至应用于包括在一个帧内周期中的图片集(换句话说，与IDR图片一起插入)。

表TAB8

表TAB8示出了SPS语法的修改(以粗体表示)，其中已添加了语法元素sps_lmcs_in_loop_flag。如果语法元素sps_lmcs_in_loop_flag等于“1”，则如在第一实施方案中所述，在预测环路中应用LMCS过程。如果语法元素sps_lmcs_in_loop_flag等于“0”，则如在第二和第三实施方案中所述，在解码过程之后应用LMCS过程作为后处理。

另选地，gci_no_lmcs_in_loop_constraint_flag的约束标记可以如表TAB9中所示定义。

表TAB9

具有以下定义：

·等于“1”的gci_no_lmcs_constraint_flag指定OlsInScope中的所有图片的sps_lmcs_enabled_flag应等于“0”。等于“0”的max_luma_transform_size_32_constraint_flag不会施加此类约束。

·等于“1”的gci_no_lmcs_in_loop_constraint_flag指定OlsInScope中所有图片的sps_lmcs_in_loop_flag应等于“0”，并且colour_remap_in_loop_flag如果被接收则应等于0。等于“0”的gci_no_lmcs_inloop_constraint_flag不施加此类约束。

另选地，这些参数的信令可以在系统级完成，而不是在SEI消息中或除了高级语法中的语法元素之外完成。一些益处可以是一些编码器不支持SEI消息，并且使得用于整个会话的信息可以在信令/有效载荷协商级容易地可用。

例如，可在以下项中发信号通知这些参数：

·会话描述协议(SDP)，其为用于描述多媒体通信会话以用于会话通知和会话邀请的一种格式，例如，如在RFC中所述并与实时传输协议(RTP)传输结合使用。例如，可以定义如下：

a＝fmtp:xxx profile-id＝xxx；lmcs_in_loop_flag＝1；

Color_Mapping_in_loop_flag＝1；

·DASH(HTTP上的动态自适应流传输)MPD(媒体呈现描述)描述符。例如，如在DASH中使用并通过HTTP传输的，描述符与表示或表示的集合相关联以向内容表示(该内容例如是视频流)

提供附加特性；

·RFC 8285中指定的RTP标头扩展，例如，如在RTP流式传输期间使用；例如，可以定义如下：

a＝extmap:xxx URI-lmcs_in_loop_flag

a＝extmap:xxx URI-color_mapping_in_loop_flag

m＝video

a＝sendrecv；

·或者在ISO基础媒体文件格式中，例如，如在OMAF(全向媒体格式)中使用并且使用盒(box)，该盒是由唯一类型标识符和长度定义的面向对象的构建块，在某些规范中也称为“原子”；

在经典LMCS设计中，交叉分量色度缩放函数被定义为每间隔的连续固定值，这导致非连续函数，如图8中所示。当在环路外应用时，这些不连续性可导致编码效率损失。实际上，亮度值的轻微变化可能导致色度缩放值的强差异。因为亮度信号经受压缩误差，所以这些差异可能经常发生。此类不连续函数的示例在图9中示出，其利用映射域中的亮度分量Y来定义(在图8和图9中标记为Ymap)。

因此，为了避免该缺点，提出使用色度缩放函数的平滑或更连续的版本用于交叉分量函数。例如，可以使用根据LMCS色度缩放函数的色度缩放值定义的分段线性函数，如图9中以虚线所示。

上文已经看到第四实施方案，其中第一(或第二)实施方案和第三实施方案组合。例如，在该第四实施方案中，如第一实施方案中的预测环路中(或如第二实施方案中的预测环路外)的LMCS与CRI SEI消息中定义的交叉颜色分量变换组合。例如，CRI用于执行每帧内周期具有静态函数的交叉分量变换，并且LMCS用于调整或细化每帧的变换。与仅使用CRI、或仅使用LMCS、或不使用它们中的任何一者相比，这可以有利地提供编码增益。

在第七实施方案中，环路内LMCS与来自CRI SEI消息的交叉分量变换是排他的。仅在LMCS被禁用的情况下才可以应用交叉分量变换。

在第八实施方案中，环路内LMCS与来自CRI SEI消息的交叉分量变换不是排他的。这可以有利地被利用来实现比特率降低和终端用户的能量消耗控制。例如，输入视频是HDRPQ格式(BT.2020PQ)。通过在SEI中发信号通知的环路外映射将其映射到更类似于SDR的视频。对映射的视频进行编码和解码，其中VUI(文档Rec.ITU-T H.274|ISO/IEC 23002-7中定义的视频可用性信息)中的信令指示编码视频是SDR。环路内LMCS可用于补充环路外映射以实现更高的编码性能(利用在APS中发信号通知的不同于环路外映射函数的映射函数)。在解码器处，对压缩视频进行解码。该视频可以被原样显示，即，作为类似SDR的视频，由于图片亮度低于HDR版本，所以其可以涉及显示器的较少能量消耗。如果终端用户想要显示HDR版本，则可以应用在SEI中发信号通知的环路外逆映射，其指示目标视频是HDR PQ格式。益处有三个方面：

1.比特率降低：对于HDR PQ(如例如在推荐BT.2100中定义的)视频，环路外映射提供比环路内LMCS更好的编码压缩；此外，LMCS可以在环路外映射之上应用于映射视频，以获得附加编码增益。实际上，LMCS对于对SDR视频进行编码也是有益的；

2.分配中的能量消耗降低：通过增加压缩并因此增加比特率，降低了用于分配视频的能量消耗；

3.渲染中的能量消耗降低：在渲染侧，根据客户端/终端用户所选择的能量使用，可以在原样解码映射视频(具有较低的亮度因此具有较低的显示能量消耗)或者通过环路外逆映射处理的解码映射视频(具有较高的亮度因此具有较高的显示能量消耗)之间进行选择。

在修改的CRI SEI消息的变型中，不对pre_lut_coded_value[c][i]进行编码，而是将其设置为取决于信号位深度和编码值的数目(pre_lut_num_val_minus1[c]+1)的默认值。例如，pre_lut_coded_value[c][0]被设置为“0”，并且pre_lut_coded_value[c][i+1]＝pre_lut_coded_value[c][i]+preLutDelta，其中preLutDelta＝2^bitdepth/(pre_lut_num_val_minus1[c]+1)。另外，代替将pre_lut_target_value[c][i]编码为绝对值，可以将其编码为相对于pre_lut_target_value[c][i-1]的差值。应用该变型实际上对应于类似于LMCSAPS信令的信令。类似地，这可以适用、于变换相关联的语法post_lut。在表TAB10中提供对应语法的示例，表TAB10将本文档中描述的修改的CRI SEI消息的不同变型级联。另外，SEI消息被重命名为颜色变换信息SEI消息，因为它是CRI SEI消息的广义版本。

表TAB10

当colour_transform_pre_lut_cross_component_flag等于“0”时，变量colourTransformPreLutNumber等于“3”(对于分量c＝0至2发信号通知“3”个变换pre_lut)。在colour_transform_pre_lut_cross_component_flag等于“1”的情况下，当colour_transform_pre_lut_cross_component_inferred_flag等于“1”时(对于分量c＝0，发信号通知“1”个单个变换pre_lut，并且从该单个发信号通知的变换pre_lut推断针对分量c＝1和“2”的变换pre_lut)，colourTransformPreLutNumber等于“1”，或者当colour_transform_pre_lut_cross_component_inferred_flag等于“0”时(对于分量c＝0，发信号通知“1”个变换pre_lut，并且对于分量c＝1和“2”，发信号通知(colour_transform_pre_lut_number_minus1+1)变换pre_lut)，colourTransformPreLutNumber等于(2+colour_transform_pre_lut_number_minus1)。通过用“post”替换“pre”，这同样适用于变换post_lut。

主要关于图3的解码模块和解码方法描述了第五、第六和第七实施方案。然而，明显的是，通过编码模块将由解码模块用编码视频流211获得的关于第五、第六和第七实施方案描述的所有语法元素(即，修改的CRI SEI消息和修改的类型LMCS_APS的APS)关联到编码视频流211。

图4A示意性地示出根据上述的不同方面和实施方案修改的能够实现编码模块或解码模块的处理模块40的硬件架构的示例，该编码模块或解码模块能够分别实现图2的用于编码的方法和图3的用于解码的方法。作为非限制性示例，处理模块40包括由通信总线405连接的以下项：包含一个或多个微处理器的处理器或CPU(中央处理单元)400、通用计算机、专用计算机和基于多核心架构的处理器；随机存取存储器(RAM)401；只读存储器(ROM)402；存储单元403，该存储单元可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器，或者存储介质读取器，诸如SD(安全数字)卡读取器和/或硬盘驱动器(HDD)和/或可访问网络的存储设备；至少一个通信接口404，该至少一个通信接口用于与其他模块、设备或装备交换数据。通信接口404可包括但不限于被配置为通过通信信道发射和接收数据的收发器。通信接口404可包括但不限于调制解调器或网卡。

如果处理模块40实现解码模块，则通信接口404使得例如处理模块40能够接收编码视频流并提供解码视频流。如果处理模块40实现编码模块，则通信接口404使得例如处理模块40能够接收要编码的原始图像数据并提供编码视频流。

处理器400能够执行从ROM 402、外部存储器(未示出)、存储介质或通信网络加载到RAM 401中的指令。当处理模块40上电时，处理器400能够从RAM 401读取指令并执行这些指令。这些指令形成计算机程序，该计算机程序使得例如由处理器400实现关于图3描述的解码方法或关于图2描述的编码方法，该解码和编码方法包括以上描述的各个方面和实施方案。

所述编码或解码方法的全部或部分算法和步骤可通过由诸如DSP(数字信号处理器)或微控制器的可编程机器执行一组指令而以软件形式实现，或者可通过诸如FPGA(现场可编程门阵列)或ASIC(专用集成电路)的机器或专用部件而以硬件形式实现。

图4B示出了其中实现了各个方面和实施方案的系统4的示例的框图。系统4可体现为包括以下描述的各种部件的设备，并且被配置成执行本文档描述的一个或多个方面和实施方案。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器、相机和服务器。系统4的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立部件中。例如，在至少一个实施方案中，系统4包括实现解码模块或编码模块的一个处理模块40。然而，在另一实施方案中，系统4可包括实现解码模块的第一处理模块40和实现编码模块的第二处理模块40，或者实现解码模块和编码模块的一个处理模块40。在各种实施方案中，系统40经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统4被配置为实现本文档中所述的一个或多个方面。

系统4包括至少一个处理模块40，该至少一个处理模块能够实现编码模块或解码模块中的一者或两者。

处理模块40的输入可通过如框42所示的各种输入模块来提供。此类输入模块包括但不限于：(i)射频(RF)模块，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入模块(或一组COMP输入模块)；(iii)通用串行总线(USB)输入模块；和/或(iv)高清晰度多媒体接口(HDMI)输入模块。图4B中未示出的其他示例包括复合视频。

在各种实施方案中，框42的输入模块具有如本领域所已知的相关联的相应输入处理元件。例如，RF模块可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的RF模块包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF模块及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的RF信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，RF模块包括天线。

另外，USB和/或HDMI模块可包括用于跨USB和/或HDMI连接将系统4连接到其他电子设备的相应接口处理器。应当理解，输入处理(例如，Reed-Solomon纠错)的各个方面可根据需要例如在单独的输入处理IC内或在处理模块40内实现。类似地，USB或HDMI接口处理的各方面可根据需要在单独的接口IC内或在处理模块40内实现。解调、纠错和解复用的流被提供给处理模块40。

系统4的各种元件可设置在集成壳体内。在集成壳体内，各种元件可使用合适的连接布置(例如，本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并且在这些元件之间传输数据。例如，在系统4中，处理模块40通过总线405与所述系统4的其他元件互连。

处理模块40的通信接口404允许系统4在通信信道41上通信。例如，可在有线和/或无线介质中实现通信信道41。

在各种实施方案中，使用无线网络诸如Wi-Fi网络例如IEEE 802.11(IEEE是指电气和电子工程师协会)将数据流式传输或以其他方式提供给系统4。这些实施方案中的Wi-Fi信号通过适于Wi-Fi通信的通信信道41和通信接口404进行接收。这些实施方案的通信信道41通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以用于允许流传输应用程序和其他越过运营商的通信。其他实施方案使用机顶盒向系统4提供流式传输数据，该机顶盒通过输入框42的HDMI连接来递送数据。其他实施方案使用输入框42的RF连接向系统4提供流式传输数据。如上所述，各种实施方案以非流式的方式提供数据。另外，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。

系统4可向各种输出设备(包括显示器46、扬声器47和其他外围设备48)提供输出信号。各种实施方案的显示器46包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器46可用于电视机、平板计算机、膝上型计算机、手机(移动电话)或其他设备。显示器46还可以与其他部件集成(例如，如在智能电话中)，或与单独的部件集成(例如，膝上型计算机的外部监视器)。在实施方案的各种示例中，其他外围设备46包括独立数字视频光盘(或数字多功能光盘)(DVR，可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用基于系统4的输出提供功能的一个或多个外围设备48。例如，碟片播放器执行播放系统4的输出的功能。

在各种实施方案中，使用信令诸如AV.Link、消费电子控制(CEC)或使得能够在有或没有用户干预的情况下进行设备到设备控制的其他通信协议在系统4与显示器46、扬声器47或其他外围设备48之间传送控制信号。输出设备可通过相应接口43、44和45经由专用连接通信地耦接到系统4。另选地，输出设备可使用通信信道41经由通信接口404连接到系统4。显示器46和扬声器47可以与电子设备(诸如例如电视机)中的系统4的其他部件集成在单个单元中。在各种实施方案中，显示器接口43包括显示驱动器，例如定时控制器(T Con)芯片。

例如，如果输入42的RF部分是单独机顶盒的一部分，则显示器46和扬声器47可另选地与其他部件中的一个或多个部件分开。在显示器46和扬声器47为外部部件的各种实施方案中，可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供输出信号。

各种实施方式参与解码。如本申请中所用，“解码”可涵盖例如对所接收的编码视频流执行的过程的全部或部分，以便产生适于显示的最终输出。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和预测。在各种实施方案中，此类过程还包括或另选地包括由本申请中描述的各种实施方式或实施方案的解码器执行的过程，例如，用于应用环路内或环路外交叉颜色分量变换过程、LMCCS过程或LMCS过程。

短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文是清楚的，并且被认为会被本领域的技术人员很好地理解。

各种实施方式参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码视频流的全部或部分过程。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、预测、变换、量化、环路内后置滤波和熵编码。在各种实施方案中，此类过程还包括或另选地包括由本申请中描述的各种实施方式或实施方案的编码器执行的过程，例如，用于应用环路内或环路外交叉颜色分量变换过程、LMCCS过程或LMCS过程。

短语“编码过程”旨在具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文是清楚的，并且据信将被本领域的技术人员很好地理解。

需注意，如本文所用的语法元素名称、标记名称、容器名称、编码工具名称是描述性术语。因此，它们不排除使用其他语法元素、标记、容器或编码工具名称。

当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。

各种实施方案是指速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或折衷。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重构信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重构的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。

本文所述的实施方式和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的实施方式的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的实施方式也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实施，

该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。

提及“一个实施方案”或“实施方案”或“一个实施方式”或“实施方式”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个实施方式中”或“在实施方式中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。

另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息、从其他信息推断信息、从存储器检索信息或例如从另一设备、模块或从用户获得信息中的一者或多者。

此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息、推断信息或估计信息中的一者或多者。

另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息、推断信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。

应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”、“A和B中的一者或多者”的情况下，使用以下“/”、“和/或”以及“至少一种”、“一者或多者”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”、“A、B和C中的一者或多者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器在APS或SEI消息中发信号通知与交叉颜色分量变换、LMCCS或LMCS有关的信息。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免发射任何实际功能，在各种实施方案中实现了比特节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标记等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。

对于本领域的普通技术人员将显而易见的是，实施方式可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述实施方式中的一个实施方式产生的数据。例如，可格式化信号以携带所述实施方案的编码视频流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对编码视频流进行编码以及使用编码视频流调制载波。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。

此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：

·包括传达根据所描述的实施方案中的任一实施方案生成的信息的语法元素的比特流或信号；

·在信令中插入语法元素，这使得解码器能够以与编码器所使用的方式相对应的方式对解码过程进行自适应；

·创建和/或传输和/或接收和/或解码包括一个或多个语法元素或其变型的比特流或信号；

·根据所描述的实施方案中的任一实施方案创建和/或发射和/或接收和/或解码；

·根据所描述的实施方案中的任一实施方案的方法、过程、装置、存储指令的介质、存储数据的介质或信号；

·执行根据所描述的实施方案中的任一个实施方案的编码或解码过程的自适应的电视机、机顶盒、移动电话、平板电脑或其他电子设备；

·执行根据所描述的实施方案中的任一个实施方案的编码或解码过程的自适应并(例如，使用监视器、屏幕或其他类型的显示器)显示所得的图像的电视机、机顶盒、移动电话、平板电脑或其他电子设备；

·选择(例如，使用调谐器)信道以接收包括编码图像的信号并且执行根据所描述的实施方案中的任一实施方案的解码过程的自适应的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备；

·通过空中接收(例如，使用天线)包括编码图像的信号并且执行根据所述实施方案中的任一实施方案的解码过程的自适应的电视机、机顶盒、蜂窝电话、平板或其他电子设备。

Claims

1.一种方法，所述方法包括：

获得与视频数据相关联的信息集，由所述视频数据表示的每个图片的每个样本均由多个颜色分量表示，其中所述信息集包括第一语法元素，所述第一语法元素利用第一值指示帧内分量映射模式适用，其中针对所述多个颜色分量中的每一颜色分量发信号通知映射函数，且利用第二值指示交叉分量映射模式适用，其中针对所述多个颜色分量中的至少一个第一颜色分量，从在所述信息集中明确地发信号通知的用于所述多个颜色分量中的第二颜色分量的第二映射函数推断与所述至少一个第一分量相关联的第一映射函数；以及，

基于所述语法元素来解码所述视频数据。

2.根据权利要求1所述的方法，其中，所述第一颜色分量是第一色度分量，并且所述第二颜色分量是亮度分量或第二色度分量。

3.根据权利要求1所述的方法，其中，响应于所述第一语法元素指示所述交叉分量映射模式适用，所述信息集包括第二语法元素，其利用第三值指示从在所述信息集中明确地发信号通知的用于所述亮度分量的所述第二映射函数导出与色度分量相关联的每一第一映射函数，且利用第四值指示与色度分量相关联的每一第一映射函数独立于在所述信息集中发信号通知的用于所述亮度分量的所述第二映射函数。

4.根据权利要求3所述的方法，其中，响应于所述第二语法元素指示所述第四值，针对所述色度分量用信号通知单个第一映射函数。

5.根据权利要求1所述的方法，其中，每个映射函数将颜色分量从第一动态范围映射到第二动态范围。

6.根据权利要求1所述的方法，其中，所述信息集是颜色变换信息补充增强信息消息。

7.一种方法，所述方法包括：

发信号通知与视频数据相关联的信息集，由所述视频数据表示的每个图片的每个样本均由多个颜色分量表示，其中所述信息集包括第一语法元素，所述第一语法元素利用第一值指示帧内分量映射模式适用，其中针对所述多个颜色分量中的每一颜色分量发信号通知映射函数，且利用第二值指示交叉分量映射模式适用，其中针对所述多个颜色分量中的至少一个第一颜色分量，从在所述信息集中明确地发信号通知的用于所述多个颜色分量中的第二颜色分量的第二映射函数推断与所述至少一个第一分量相关联的第一映射函数。

8.根据权利要求7所述的方法，其中，所述第一颜色分量是第一色度分量，并且所述第二颜色分量是亮度分量或第二色度分量。

9.根据权利要求7所述的方法，其中，响应于所述第一语法元素指示所述交叉分量映射模式适用，所述信息集包括第二语法元素，其利用第三值指示从在所述信息集中明确地发信号通知的用于所述亮度分量的所述第二映射函数导出与色度分量相关联的每一第一映射函数，且利用第四值指示与色度分量相关联的每一第一映射函数独立于在所述信息集中发信号通知的用于所述亮度分量的所述第二映射函数。

10.根据权利要求9所述的方法，其中，响应于所述第二语法元素指示所述第四值，针对所述色度分量用信号通知单个第一映射函数。

11.根据权利要求7所述的方法，其中，每个映射函数将颜色分量从第一动态范围映射到第二动态范围。

12.一种设备，所述设备包括电子电路，所述电子电路被配置用于：

基于所述语法元素来解码所述视频数据。

13.根据权利要求12所述的设备，其中，所述第一颜色分量是第一色度分量，并且所述第二颜色分量是亮度分量或第二色度分量。

14.根据权利要求12所述的设备，其中，响应于所述第一语法元素指示所述交叉分量映射模式适用，所述信息集包括第二语法元素，其利用第三值指示从在所述信息集中明确地发信号通知的用于所述亮度分量的所述第二映射函数导出与色度分量相关联的每一第一映射函数，且利用第四值指示与色度分量相关联的每一第一映射函数独立于在所述信息集中发信号通知的用于所述亮度分量的所述第二映射函数。

15.根据权利要求14所述的设备，其中，响应于所述第二语法元素指示所述第四值，针对所述色度分量用信号通知单个第一映射函数。

16.根据权利要求12所述的设备，其中，每个映射函数将颜色分量从第一动态范围映射到第二动态范围。

17.一种设备，所述设备包括电子电路，所述电子电路被配置用于：

18.根据权利要求17所述的设备，其中，所述第一颜色分量是第一色度分量，并且所述第二颜色分量是亮度分量或第二色度分量。

19.根据权利要求17所述的设备，其中，响应于所述第一语法元素指示所述交叉分量映射模式适用，所述信息集包括第二语法元素，其利用第三值指示从在所述信息集中明确地发信号通知的用于所述亮度分量的所述第二映射函数导出与色度分量相关联的每一第一映射函数，且利用第四值指示与色度分量相关联的每一第一映射函数独立于在所述信息集中发信号通知的用于所述亮度分量的所述第二映射函数。

20.根据权利要求19所述的设备，其中，响应于所述第二语法元素指示所述第四值，针对所述色度分量用信号通知单个第一映射函数。