CN116601948A

CN116601948A - 使带有色度缩放的亮度映射适于4:4:4 rgb图像内容

Info

Publication number: CN116601948A
Application number: CN202180085148.8A
Authority: CN
Inventors: E·弗朗索瓦; F·赫伦; C·切万斯; R·朱利安
Original assignee: Interactive Digital Vc Holdings France Ltd
Current assignee: InterDigital CE Patent Holdings SAS
Priority date: 2020-12-18
Filing date: 2021-12-03
Publication date: 2023-08-15
Also published as: US20240195991A1; EP4264945A1; WO2022128549A1

Abstract

提出了至少一种方法和装置，该方法和装置用于通过使带有色度缩放的亮度映射适于4:4:4RGB内容来有效地对视频进行编码或解码。例如，确定待编码的视频的图像数据的格式是RGB格式；并且响应地将RGB映射应用于该图像数据的颜色分量中的至少一个颜色分量，其中RGB映射调整RGB格式的图像数据的颜色分量的动态范围。然后，基于至少一个经RGB映射的颜色分量来对该视频进行编码。

Description

使带有色度缩放的亮度映射适于4:4:4 RGB图像内容

技术领域

本实施方案中的至少一个实施方案通常涉及一种用于视频编码或解码的方法或装置，并且更具体地涉及一种方法或装置，其中将RGB映射应用于至少一个RGB颜色分量，该RGB映射调整RGB格式的图像数据的样本的动态范围。

背景技术

为了实现高压缩效率，图像和视频编码方案通常采用包括运动向量预测在内的预测以及变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关性，然后对在原始图像与预测图像之间的差值(通常表示为预测错误或预测残差)进行变换、量化和熵编码。为了重建视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。

对视频压缩技术的最近添加包括各种行业标准、参考软件的版本和/或文档，诸如由JVET(联合视频探索团队)组开发的联合探索模型(JEM)和后续的VTM(多功能视频编码(VVC)测试模型)。其目的是进一步改进现有HEVC(高效视频编码)标准。

用于编码和解码的现有方法指定了用于带有色度缩放的亮度映射(LMCS)的工具，LMCS被设计成处理YUV(也记为YCbCr)内容，其中亮度映射应用于Y分量并且色度残差缩放应用于U分量和V分量。然而，LMCS不适于RGB内容。因此，需要改善现有技术以实现更好的编码效率。

发明内容

通过本文所述的一般方面解决和处理现有技术的缺点和不足。

根据第一方面，提供了一种方法。该方法包括通过以下进行视频解码：确定待解码的视频的图像数据的格式是RGB格式；响应地将逆RGB映射应用于该图像数据的颜色分量中的至少一个颜色分量，其中RGB映射调整RGB格式的图像数据的颜色分量的动态范围；以及基于至少一个经逆RGB映射的颜色分量来对该视频进行解码。

根据另一方面，提供了第二方法。该方法包括通过以下进行视频编码：确定待编码的视频的图像数据的格式是RGB格式；响应地将RGB映射应用于该图像数据的颜色分量中的至少一个颜色分量，其中RGB映射调整RGB格式的图像数据的颜色分量的动态范围；以及基于至少一个经RGB映射的颜色分量来对该视频进行编码。

根据另一方面，提供了一种装置。该装置包括一个或多个处理器，其中该一个或多个处理器被配置为根据其变体中的任一个变体实施用于视频解码的方法。根据另一个方面，用于视频解码的该装置包括：用于确定待解码的视频的图像数据的格式是RGB格式的装置；用于将逆RGB映射应用于该图像数据的颜色分量中的至少一个颜色分量的装置，其中RGB映射调整RGB格式的图像数据的颜色分量的动态范围；和用于基于至少一个经逆RGB映射的颜色分量来对该视频进行解码的装置。

根据另一方面，提供了另一种装置。该装置包括一个或多个处理器，其中该一个或多个处理器被配置为根据其变体中的任一个变体实施用于视频编码的方法。根据另一个方面，用于视频编码的该装置包括：确定待编码的视频的图像数据的格式是RGB格式的装置；用于将RGB映射应用于该图像数据的颜色分量中的至少一个颜色分量的装置，其中RGB映射调整RGB格式的图像数据的颜色分量的动态范围；和用于基于至少一个经RGB映射的颜色分量来对该视频进行编码的装置。

根据至少一个实施方案的另一个一般方面，该RGB映射是用于调整YUV格式的图像数据的亮度颜色分量的动态范围的亮度映射。

根据至少一个实施方案的另一个一般方面，将该RGB映射应用于该图像数据的颜色分量中的所有颜色分量

根据至少一个实施方案的另一个一般方面，发信号通知指定针对颜色分量中的一个颜色分量而启用该RGB映射的至少一个语法数据元素，并且根据该语法数据元素指定是否针对颜色分量而启用该RGB映射来将RGB映射应用于该颜色分量。

根据至少一个实施方案的另一个一般方面，发信号通知至少一个语法数据元素，该至少一个语法数据元素指定是针对该颜色分量中的所有颜色分量而定义单个RGB映射还是定义多个颜色分量RGB映射，针对该颜色分量中的一个颜色分量而定义颜色分量RGB映射，并且根据该语法数据元素指定是定义单个RGB映射还是多个颜色分量RGB映射来将该RGB映射应用于至少一个颜色分量。

根据至少一个实施方案的另一个一般方面，发信号通知指定表示针对该颜色分量中的一个颜色分量的RGB映射的斜率的RGB映射参数的至少一个语法数据元素，并且根据针对颜色分量的RGB映射参数来将RGB映射应用于该颜色分量。

根据至少一个实施方案的另一个一般方面，将自适应颜色变换应用于该图像数据，从而得到差分颜色分量，并且将色度残差缩放应用于该图像数据的该差分颜色分量(Cg、Co)，其中色度残差缩放调整图像数据的差分分量的动态范围。

根据至少一个实施方案的另一个一般方面，在切片、图片参数集(PPS)、序列参数集(SPS)、自适应参数集(APS)中的一者中，发信号通知以下项：指定针对该颜色分量中的一个颜色分量而启用RGB映射的至少一个语法数据元素，或指定是定义单个RGB映射还是多个颜色分量RGB映射的至少一个语法数据元素，或指定RGB映射参数的至少一个语法数据元素。

根据至少一个实施方案的另一个一般方面，提供了一种设备，该设备包括：根据解码实施方案中的任一实施方案的装置；以及以下项中的至少一者：(i)天线，该天线被配置为接收信号，该信号包括视频块；(ii)频带限制器，该频带限制器被配置为将所接收到的信号限制为包括该视频块的频带；或(iii)显示器，该显示器被配置为显示表示视频块的输出。

根据至少一个实施方案的另一个一般方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。

根据至少一个实施方案的另一个一般方面，提供了一种信号，该信号包括根据所描述的编码实施方案或变体中的任一者生成的视频数据。

根据至少一个实施方案的另一个一般方面，比特流被格式化以包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。

根据至少一个实施方案的另一个一般方面，提供了一种计算机程序产品，该计算机程序产品包括指令，当由计算机执行程序时，该指令使计算机执行所述编码/解码实施方案或变体中的任一个实施方案或变体。

通过将结合附图阅读的示例性实施方案的以下详细描述，一般方面的这些和其他方面、特征和优点将变得显而易见。

附图说明

在附图中，示出了若干实施方案的示例。

图1示出了在视频解码器的实施方案的框图中的逆自适应颜色变换。

图2示出了在其中可实现实施方案的各个方面的VVC视频编码器的实施方案的框图。

图3示出了在其中可实现实施方案的各个方面的VVC视频解码器的实施方案的框图。

图4示出了根据至少一个实施方案的带有修改的前向映射过程和逆映射过程的视频编码器的实施方案的框图。

图5示出了根据至少一个实施方案的带有修改的前向映射过程和逆映射过程的视频解码器的实施方案的框图。

图6示出了根据至少一个实施方案的带有修改的前向色度残差缩放过程和逆色度残差缩放过程的视频编码器的实施方案的框图。

图7示出了根据至少一个实施方案的带有修改的前向色度残差缩放过程和逆色度残差缩放过程的视频解码器的实施方案的框图。

图8示出了根据至少一个实施方案的一般方面的通用编码方法。

图9示出了根据至少一个实施方案的一般方面的通用解码方法。

图10示出了在其中可实现实施方案的各个方面的示例性装置的框图。

具体实施方式

应当理解，附图和描述已简化以说明与清楚理解本发明原理相关的元素，同时为了清楚起见，消除了在典型的编码和/或解码设备中发现的许多其他元素。应当理解，尽管在本文中可使用术语第一和第二来描述各种元件，但是这些元件不应受这些术语限制。这些术语仅用于将一个元件与另一元件区分开。

相对于对图像的编码/解码而描述了各种实施方案。这些实施方案可应用于对图像的一部分(诸如切片或图块，图块组或整个图像序列)进行编码/解码。

上文描述了各种方法，并且方法中的每一方法包括用于实现所描述的方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。

至少一些实施方案涉及用于对视频进行编码或解码的方法，其中将RGB映射应用于至少一个RGB颜色分量，该RGB映射调整RGB格式的图像数据的样本的动态范围。

带有色度缩放的亮度映射(LMCS)是VVC的工具。它包括两个方面：亮度映射(LM)和亮度依赖性色度残差缩放(CS，或在当前申请中记为CRS)。

该亮度映射调整输入亮度信号的动态范围以改善压缩效率。该亮度映射跨该动态范围重构码字。它特别适于高位深度(诸如来自BT2100的HDR 10位、12位、14位)信号，但是也可改善针对SDR和HDR信号两者的速率畸变。该亮度信号是根据一个亮度分量(Y)和两个色度分量(UV)而定义色彩空间的YUV格式的图像的一个颜色分量。利用自适应分段线性模型来定义该亮度映射。在该解码器处，亮度映射包括：将亮度前向映射函数Map_fwd(.)应用于时间的预测亮度样本。在解码器的环内滤波步骤之前，应用逆亮度映射以回到初始(非映射的)信号域。亮度前向映射函数Map_fwd(.)基于在数据流中编码的表lumaMapTable，其中lumaMapTable指示分段线性亮度映射函数Map_fwd(.)的斜率。每段或区段具有均匀长度，定义为间隔[Y_i,Y_i+1–1]，i＝0至15。该逆亮度映射函数也是从该表导出的。

将亮度依赖性色度残差缩放应用于色度分量并且补偿在亮度信号与其对应的色度信号之间的交互作用，缩放因子取决于重建的相邻亮度样本。

CRS包括使用亮度依赖性缩放(编码器)或逆缩放(编码器和解码器)。逆缩放因子是从由亮度值索引的表chromaScaleTable导出的。chromaScaleTable是从lumaMapTable导出的，并且可近似为chromaScaleTable[i]＝1/lumaMapTable[i]，对于i＝0至15。在编码器侧的缩放因子是在解码器处使用的逆缩放因子的倒数。

当处理色度块时，针对每个64x64块(称为视频处理解码单元，VPDU)的CRS因子是从来自先前重建的VPDU邻居的亮度样本值导出的。对于每个VPDU，使用左侧和顶部相邻重建的亮度样本。首先，计算最靠近左上方位置的M个左相邻亮度样本和M个顶部相邻亮度样本的平均值avgY。M＝min(CTUSize,64)。然后，色度缩放(编码器)或逆缩放(编码器和解码器)因子是基于avgY来从色度缩放表导出的。

该过程可由以下简化公式表示：

scale＝scalingTable[avgY]

其中scalingTable是从chromaScaleTable导出的LUT。

亮度映射工作如下。在编码器处，在量化之前的残差信号Res_source是根据以下公式生成的：

Res_source(p)＝map[Orig(p)]–map[Pred(p)] (公式1)

其中Orig(p)是图片中的位置p(x,y)处的(待编码的)源样本的值，Pred(p)是预测样本的值，并且Res_source(p)是在量化之前的预测残差样本的值，map[.]是重构函数。

然后对Res_source(p)进行变换、量化。逆量化的和逆变换的残差信号记为Res(p)。

在解码器处，该信号是根据以下公式来重建的：

Rec(p)＝invmap[map[Pred(p)]+Res(p)] (公式2)

其中Rec(p)是重建的样本的值，invmap[.]是逆重构函数(map[.]的逆使得invmap[map[x]]＝x)。

使用以下语法在自适应参数集(APS)中发信号通知LMCS参数。

表1：LMCS语法表

此外，VVC定义了被称为“自适应颜色变换”(ACT)的模式，该模式应用于4:4:4 RGB视频内容。ACT在于预测残差的色彩空间转换。

图1示出了在视频解码器的实施方案的框图中的逆自适应颜色变换。在应用该变换之前，ACT在编码器处应用于预测残差(图2的步骤119)。它将输入RGB样本变换成三个样本，记为YCgCo，其中Y类似于亮度信号，而Cg和Co是差分色度信号。ACT如下应用于RGB残余样本：

在对解码的残差进行逆变换之后，在编码器(步骤120)处和解码器(步骤214)处应用逆ACT。该ACT如下应用于YCgCo残余样本：

发信号通知CU标记以选择或不选择ACT。在双树模式中或者当使用帧内子分区模式时，禁用ACT模式。仅在CU中存在至少一个非零系数的情况下，才启用该模式。

在编码器100中，由编码器元件对图片进行编码，如下所述。通过前向亮度映射(101)来处理输入YUV信号。在CU的单元中对待编码的图片进行处理(102)。使用帧内模式或帧间模式对每个CU进行编码。当在帧内模式中对CU进行编码时，该编码器执行帧内预测(114)。在帧间模式中，执行运动估计(115)和运动补偿(116)。将前向映射(118)应用于预测的信号。编码器决定(117)使用帧内模式或帧间模式中的哪一个模式对该CU进行编码，并且通过预测模式标记来指示帧内/帧间决定。通过从处理的初始图像块，例如从经映射的初始图像块(来自101的输出)中减去(103)经前向映射的预测的块(来自118的输出)来计算预测残差。

然后，当色度格式不是RGB(121)时通过色度残差缩放(104)来处理预测残差，或者当色度格式是RGB(121)并且启用ACT模式(127)时通过自适应颜色变换(ACT)(119)来处理预测残差。然后，对所得的预测残差进行变换(105)和量化(106)。对量化的变换系数以及运动向量和其他语法元素进行熵编码(120)以输出比特流。编码器也可跳过变换，并基于4x4TU对未变换的残差信号直接应用量化。编码器也可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。在直接PCM编码中，不应用预测并且将编码单元样本直接编码到比特流中。

该编码器对编码块进行解码以提供进一步预测的参考。对量化的变换系数进行解量化(107)和逆变换(108)以对预测残差进行解码。然后，当色度格式不是RGB(122)时通过逆色度残差缩放(109)来处理解码的残差，或者当色度格式是RGB(122)并且启用ACT模式(128)时通过逆ACT(120)来处理解码的残差。组合(110)所得的残差和预测的块，重建图像块。将逆亮度映射(111)和环内滤波器(112)应用于重建的信号例如以执行解块/SAO(样本自适应偏移)/ALF(自适应环路滤波器)滤波，从而减少编码伪影。将滤波的图像存储在参考图片缓冲器(113)处。

在解码器200中，由解码器元件对比特流进行解码，如下所述。视频解码器200通常执行与如图2所述的编码道次互逆的解码道次，该编码道次执行视频解码作为对视频数据进行编码的一部分。

解码器的输入包括视频比特流，该视频比特流可由视频编码器100生成。首先对该比特流进行熵解码(201)以获得变换系数、运动向量、图片分区信息和其他编码的信息。图片分区信息指示CTU的大小以及将CTU分割成CU(并且在适用时可能划分成PU)的方式。因此，解码器可根据解码的图片分区信息将图片划分(202)成CTU，并且将每个CTU划分成CU。对变换系数进行解量化(203)和逆变换(204)以对预测残差进行解码。然后，当色度格式不是RGB(215)时通过逆色度残差缩放(205)来处理解码的残差，或者当色度格式是RGB(215)并且启用ACT模式(219)时通过逆ACT(214)来处理解码的残差。

组合(206)所得的残差和预测的块，重建图像块。可从帧内预测(210)或运动补偿预测(即，帧间预测)(211)获得(212)预测的块。另外，将前向亮度映射(213)应用于预测的信号。在双预测的情况下，两个运动补偿预测可以与加权和组合。将逆亮度映射(207)和环内滤波器(208)应用于重建的信号。将滤波的图像存储在参考图片缓冲器(209)处。

本申请涉及针对4:4:4 RGB内容的LMCS的自适应。LMCS被设计成处理YUV(也记为YCbCr)内容，其中亮度映射应用于Y分量并且色度残差缩放应用于U分量和V分量。普通的测试条件只是提出针对RGB内容禁用LMCS。该过程不适于RGB内容。实际上，Y分量、U分量和V分量具有不同的性质。Y分量对应于信号的亮度，而U和V是差分分量。

例如，考虑BT.2020基色的从RGB到YUV的转换基于以下公式：

○ Y＝0.2126*R+0.7152*G+0.0722*B

○ Cb＝(B–Y)/1.8556

○ Cr＝(R–Y)/1.5748

相反，R、G和B具有相同的性质，并且类似于每种颜色的亮度。因此，它们与Y分量具有相同的性质。因此期望使LMCS适于妥善处理RGB内容。

这通过本文所述的一般方面来解决和处理，所述一般方面针对编码和解码方法，其中将RGB映射应用于至少一个RGB颜色分量，该RGB映射调整RGB格式的图像数据的样本的动态范围。

本原理提出根据以下两个变化来使LMCS适于RGB内容的情况下：

-将亮度映射应用于3个颜色分量；

-当针对CU而启用ACT模式时将色度残差缩放应用于CU中，并且色度残差缩放应用于解码的色度残差信号的色度差分分量(Cg、Co)。

对于亮度映射，提出了不同的变体：

·对3个分量使用相同的映射函数；

·对3个分量使用3个不同的映射函数。

所提出的发明的优点是当编码4:4:4 RGB内容时获得更好的编码效率。受影响的编解码器模块是在图2的编码器中的101、104、109、111和118，以及在图3的解码器中的205、207和213。

下面描述包括颜色分量的修改的映射的通用编码或解码方法的各种实施方案。

根据第一实施方案，当内容是RGB格式时，将RGB映射应用于内容的颜色分量R、G、B中的至少一个颜色分量。在第一实施方案中，禁用自适应颜色变换。公开了不同的变体。

图4示出了根据第一实施方案的带有修改的前向映射过程和逆映射过程的视频编码器的实施方案的框图。新的或修改的编码块和块间链接相对于图2的编码器以粗线和粗矩形指示。测试(129)了格式(RGB或YUV)输入信号，并且响应地通过前向亮度映射(101)或通过前向RGB映射(130)来处理输入信号，这取决于该信号是YUV还是RGB。通过前向亮度映射(118)或前向RGB映射(124)来处理从重建的信号得到的预测信号，这取决于该信号是YUV还是RGB(在步骤123中检查)。相似地，在编码过程的解码过程中，通过逆亮度映射(111)或逆RGB映射(126)来处理重建的信号，这取决于该信号是YUV还是RGB(在步骤125中检查)。

测试该信号是YUV还是RGB的方式通常如下在VVC中进行。如果该信号被指示为4:4:4格式(使用语法元素sps_chroma_format_idc)并且如果启用ACT模式(使用语法元素sps_act_enabled_flag)，则该信号被认为是RGB。否则，该信号被认为是YUV。

图5示出了根据至少一个实施方案的带有修改的前向映射过程和逆映射过程的视频解码器的实施方案的框图。新的或修改的编码块和块间链接以粗线和粗矩形指示。通过前向亮度映射(213)或前向RGB映射(217)来处理预测信号，这取决于该信号是YUV还是RGB(在步骤216中检查)。通过逆亮度映射(207)或逆RGB映射(219)来处理从步骤206得到的重建的信号，这取决于该信号是YUV还是RGB(在步骤218中检查)。

根据第一实施方案的第一变体，将相同的RGB映射应用于3个颜色分量R、G和B。根据另一个变体，用于RGB格式的映射是用于调整YUV格式的亮度颜色分量的动态范围的亮度映射。有利地，不需要附加的信令。例如，根据启用LMCS的亮度映射的标记sps_lmcs_enabled_flag来启用或禁用该映射。然而，该变体不同于YUV格式的情况，其中亮度映射仅应用于亮度分量样本Y。此外，映射函数是由应用于R、G和B颜色分量的样本的相同语法元素lmcs_delta_abs_cw[i]和lmcs_delta_sign_cw_flag[i]定义的。因此，不需要修改LMCS语法(lmcs_data())。

在第二变体中，每个颜色分量启用或禁用该映射。对LMCS语法(lmcs_data())进行修改以允许控制针对每个分量的映射，如表2中所描绘的。与表1相比的变化以灰色突出显示。添加多达3个新的语法元素lmcs_enable_flag[cIdx]，cIdx＝0至2，从而指示是否针对索引cIdx的颜色分量应用该映射。

表2：修改的LMCS语法表。

lmcs_enable_flag[cIdx]指定在索引cIdx的情况下亮度映射过程应用于颜色分量。当不存在时，lmcs_enable_flag[0]被设定为等于1。当不存在时，lmcs_enable_flag[1]被设定为等于0。当不存在时，lmcs_enable_flag[2]被设定为等于0。

在第三变体中，不同的映射函数用于不同的颜色分量。因此，在LMCS语法(lmcs_data())中发信号通知若干映射函数，如表3中所描绘的。添加第一语法元素lmcs_multiple_models_flag以指示是否使用1个或若干个映射函数。当lmcs_multiple_models_flag等于0时，仅使用一个函数。当lmcs_multiple_models_flag等于1时，使用并且发信号通知多达3个函数。与映射函数相关的语法元素由对应于函数编号的k索引。当lmcs_multiple_models_flag等于0时k等于0，并且当lmcs_multiple_models_flag等于1时k从0变为2。

表3：修改的LMCS语法表

可在针对在其中使用1个单个函数的情况的规范中应用和添加以下逻辑：

当不存在lmcs_min_bin_idx[1]和lmcs_min_bin_idx[2]时，它们被设定为等于lmcs_min_bin_idx[0]。

相同逻辑可适用于由“k”索引的其他语法元素。

根据又一个变体，当使用若干函数时，可使用第一函数的语法元素作为参考来进行对第二函数和第三函数的语法元素的编码。将编码的值例如编码为对第一函数的语法元素的值的差值，这可允许减少这些语法元素的总体编码成本。

根据第四变体，组合第二和第三变体，以控制每个分量的映射的启用/禁用，并且当映射应用时，发信号通知针对全部分量的一个单个映射函数或每个分量的一个映射函数。表4中示出了示例性语法。

表4：修改的LMCS语法表

对于第一实施方案描述了若干变体，然而，全部该不同的变体可组合和互换以提供进一步的变体。

根据第二实施方案，当内容是RGB格式并且启用自适应颜色变换时，将色度残差缩放应用于从ACT得到的差分分量(Cg、Co)。在第二实施方案中，启用自适应颜色变换。

在第五变体中，当内容是4:4:4 RGB时，以图片或序列、或图片、或切片级启用色度残差缩放，并且针对编码单元而启用ACT，可将色度残差缩放应用于从ACT(变换)得到的差分分量(Cg、Co)。

图6示出了根据至少一个第二实施方案的带有修改的前向色度残差缩放过程和逆色度残差缩放过程的视频编码器的实施方案的框图。

与图4相比，修改了两个过程以使色度残差缩放自适应。第一变化涉及在步骤/块103与105之间的过程/块。第二变化涉及在步骤/块108与110之间的过程/块。

在步骤103之后，如下处理预测残差。测试格式是RGB还是不是RGB(121)。如果该信号不是RGB，则色度残差缩放应用(104)。如果该信号是RGB(121)并且启用ACT模式(127)，则应用ACT(119)，然后色度残差缩放应用于残差的Cg分量和Co分量(104)。如果该信号是RGB(121)并且禁用ACT模式(127)，则既不应用ACT也不应用色度残差缩放。所得的残差是变换步骤(105)的输入。

在步骤108之后，如下处理解码的残差。检查该信号是否是RGB(122)。如果该信号不是RGB，则逆色度残差缩放应用(109)。如果该信号是RGB并且启用ACT模式，则应用逆色度残差缩放(109)然后应用逆ACT(120)。如果该信号是RGB并且禁用ACT模式，则既不应用逆ACT也不应用逆色度残差缩放。所得的残差是“加”步骤(110)的输入。

与图5相比，附加的修改部分在步骤/块204与206之间。

在步骤204之后，如下处理解码的残差。检查该信号是否是RGB(215)。如果该信号不是RGB，则逆色度残差缩放应用(205)。如果该信号是RGB(215)并且启用ACT模式(219)，则应用逆色度残差缩放(205)然后应用逆ACT(214)。如果该信号是RGB(215)并且禁用ACT模式(219)，则既不应用逆ACT也不应用逆色度残差缩放。所得的处理残差是“加”步骤(206)的输入。

该实施方案影响LMCS语法，如表5中所示，以灰色突出显示。仅当以序列级启用ACT时，发信号通知与CRS相关的语法元素。

表5：LMCS语法表

有利地，该第五变体与在其中使用多于一个映射函数的第三或第四变体兼容。因此，还添加一个语法元素lmcs_crs_reference以指示用于导出在CRS中使用的色度缩放函数的参考映射函数。该参数可取值0、1或2。当信号是RGB时，将亮度映射应用于R、G和B分量，并且当应用ACT时，可将CRS应用于从ACT得到的Co和Cg分量残差。此外，当RGB映射基于不同的映射函数时，需要指示哪个函数用于构建待应用于Co和Cg分量的CRS缩放函数。语法元素lmcs_crs_reference提供该指示。表6示出了提出的变化：

表6：LMCS语法表

当色度残差缩放应用时，考虑以下变体来导出缩放因子。

在第六变体中，从来自R、G或B分量中的一个分量的样本导出缩放因子。因此，在非限制性示例中，在LMCS语法中发信号通知所使用的分量的索引cIdx(在值0、1和2之间)。因此，在另一个非限制性示例中，所使用的分量是由默认值定义的，优选地是索引0的分量。然后，考虑指定用于从上述非限制性示例中的任一个示例导出缩放因子的颜色分量的索引的cIdx，如下导出缩放因子：

导出颜色分量cIdx的样本的代表值avgC，例如作为围绕包含当前CU的VPDU的颜色分量cIdx的样本的平均值。然后，将缩放因子导出为：

scale＝scalingTable[avgC]

在第七变体中，从由RGB重建的样本导出的亮度值来导出缩放因子。因此，在非限制性示例中，导出RGB样本的代表值avgY，例如作为围绕包含当前CU的VPDU的RGB样本的平均值avgR、avgG、avgB。然后如下使用RGB到YCgCo变换导出平均值Y值avgY：

avgY＝(2*avgG+avgB+avgR)/4

然后，将缩放因子导出为

scale＝scalingTable[avgY]

在第七变体的另一个非限制性示例中，导出缩放因子所需的每个RGB样本(例如作为围绕包含当前CU的VPDU的RGB样本)如下由RGB到YCgCo变换处理：

Y＝(2*G+B+R)/4

然后，对导出缩放因子所需的RGB样本的Y值进行平均以获得avgY。

最后，将缩放因子导出为

scale＝scalingTable[avgY]。

图8示出了根据至少一个实施方案的一般方面的通用编码方法(100)。图8的框图部分地表示例如在图4或图6的示例性编码器中实现的编码器的模块或编码方法。根据通用实施方案，公开了用于编码的方法100。该方法包括：确定(11)待编码的视频的图像数据的格式是RGB格式，并且响应地将RGB映射应用(12)于该图像数据的颜色分量中的至少一个颜色分量。有利地，RGB映射调整RGB格式的图像数据的颜色分量的动态范围，并且上述公开的关于映射过程的启用、一个或多个映射函数、每个颜色分量的映射的启用或禁用的变体中的任一个变体与该通用方法兼容。然后，使用至少一个经RGB映射的颜色分量来对该视频进行编码(13)。在待编码的视频的图像数据不是RGB格式(例如YUV)的情况下，然后响应地将亮度映射应用于如从VVC已知的LMCS过程的启用。尽管这里没有描述，但是将运动补偿预测的对应的前向映射和在环内滤波之前重建的样本的逆映射进一步应用于该通用方法中。根据未在图8上表示的另一个特性，用于编码的方法100进一步包括：确定将自适应颜色变换应用于待解码的视频的RGB格式的图像数据，以及响应地将自适应颜色变换应用于该图像数据，从而得到差分颜色分量，以及将色度残差缩放应用于该图像数据的差分颜色分量(Cg、Co)，其中色度残差缩放调整图像数据的差分分量的动态范围。

图9示出了根据至少一个实施方案的一般方面的通用解码方法(200)。图8的框图部分地表示例如在图5或图7的示例性解码器中实现的解码器的模块或解码方法。根据通用实施方案，公开了用于解码的方法200。该方法包括：确定(21)待编码的视频的图像数据的格式是RGB格式，并且响应地将逆RGB映射应用(22)于该图像数据的颜色分量中的至少一个颜色分量。有利地，在编码器处，RGB映射调整RGB格式的图像数据的颜色分量的动态范围，并且上述公开的关于映射过程的启用、一个或多个映射函数、每个颜色分量的映射的启用或禁用的变体中的任一个变体与该通用方法兼容。因此，使用至少一个经逆RGB映射的颜色分量来对该视频进行解码(23)。在待编码的视频的图像数据不是RGB格式(例如YUV)的情况下，然后响应地将逆亮度映射应用于如从VVC已知的LMCS过程的启用。尽管这里没有描述，但是将在解码中使用的运动补偿预测的对应的前向映射进一步应用于该通用方法中。根据未在图9上表示的另一个特性，用于解码的方法(200)进一步包括：确定将自适应颜色变换应用于待解码的视频的RGB格式的图像数据，以及响应地将色度残差缩放应用于差分颜色分量(Cg、Co)，其中色度残差缩放调整差分分量的动态范围，以及将逆自适应颜色变换应用于该图像数据。

另外的实施方案和信息

本申请描述了各个方面，包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面，并且至少示出个体特性，通常以可能听起来有限的方式描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。

本专利申请中描述和设想的方面可以许多不同的形式实现。下文的图2、图3和图10提供了一些实施方案，但是设想了其他实施方案，并且图2、图3和图10的讨论不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及发射生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。

在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。

本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。此外，术语诸如“第一”、“第二”等可用于各种实施方案以修改元件、分量、步骤、操作等，诸如“第一解码”和“第二解码”。除非具体要求，否则使用此类术语并不暗示对修改操作的排序。因此，在这个示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或在重叠的时间段中发生。

本申请中所述的各种方法和其他方面可用于修改如图2和图3中所示的视频编码器100和解码器200的模块，例如，前向亮度映射模块、色度残差缩放模块和对应的逆函数模块(101、118、104、109、111、205、207、213)。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。

在本申请中使用各种数值。具体值是为了示例目的，并且所述方面不限于这些具体值。

图2示出了编码器100。设想了这一编码器100的变型，但是为了清楚起见，下文描述了编码器100而不描述所有预期的变型。

在进行编码之前，视频序列可经过预编码处理(101)，例如，将颜色变换应用于输入彩色图片(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或执行输入图片分量的重新映射，以便获得对于压缩更弹性的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附加到比特流。

在编码器100中，由编码器元件对图片进行编码，如下所述。在例如CU的单元中对待编码的图片进行分区(102)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当在帧内模式中对单元进行编码时，该编码器执行帧内预测(114)。在帧间模式中，执行运动估计(115)和运动补偿(116)。编码器决定(117)使用帧内模式或帧间模式中的哪一个模式对该单元进行编码，并且通过例如预测模式标记来指示帧内/帧间决定。例如，通过从初始图像块减去(103)预测的块来计算预测残差。

然后，对预测残差进行变换(105)和量化(106)。对量化的变换系数以及运动向量和其他语法元素进行熵编码(120)以输出比特流。该编码器可跳过变换，并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。

该编码器对编码块进行解码以提供进一步预测的参考。对量化的变换系数进行解量化(107)和逆变换(108)以对预测残差进行解码。组合(110)解码的预测残差和预测的块，重建图像块。将环内滤波器(112)应用于重建的图片以执行例如解块/SAO(样本自适应偏移)滤波，从而减少编码伪影。将滤波的图像存储在参考图片缓冲器(113)处。

图3示出了视频解码器200的框图。在解码器200中，由解码器元件对比特流进行解码，如下所述。视频解码器200通常执行与如图2所述的编码道次互逆的解码道次。编码器100通常还执行视频解码作为对视频数据进行编码的一部分。

具体地，解码器的输入包括视频比特流，该视频比特流可由视频编码器100生成。首先，对比特流进行熵解码(201)以获得变换系数、运动向量和其他编码的信息。图片分区信息指示如何对图片进行分区。因此，解码器可根据解码的图片分区信息来划分(202)图片。对变换系数进行解量化(203)和逆变换(204)以对预测残差进行解码。组合(206)解码的预测残差和预测的块，重建图像块。可从帧内预测(210)或运动补偿预测(即，帧间预测)(211)获得(212)预测的块。将环内滤波器(208)应用于重建的图像。将滤波的图像存储在参考图片缓冲器(209)处。

解码的图片可进一步经过后解码处理(207)，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)，或执行在预编码处理(101)中执行的重新映射过程的逆的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有信号通知的元数据。

图10示出了在其中实现各个方面和实施方案的系统的示例的框图。系统2000可实施为包括下文所述的各个部件的设备，并且被配置为执行本文档中所述的方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器和服务器。系统2000的元件可单独地或组合地具体体现在单个集成电路(IC)、多个IC和/或分立的部件中。例如，在至少一个实施方案中，系统2000的处理和编码器/解码器元件跨多个IC和/或分立的部件分布。在各种实施方案中，系统2000经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统2000被配置为实现本文档中所述的方面中的一个或多个方面。

系统2000包括至少一个处理器2010，该至少一个处理器被配置为执行加载在其中的指令以用于实现例如本文档中所述的各个方面。处理器2010可包括嵌入式存储器、输入输出接口以及如在本领域中是已知的各种其他电路。系统2000包括至少一个存储器2020(例如，易失性存储器设备和/或非易失性存储器设备)。系统2000包括存储设备2040，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备2040可包括内部存储设备、附接的存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可访问的存储设备。

系统2000包括编码器/解码器模块2030，该编码器/解码器模块被配置为例如处理数据以提供编码的视频或解码的视频，并且编码器/解码器模块2030可包括其自身的处理器和存储器。编码器/解码器模块2030表示可包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外，编码器/解码器模块2030可实现为系统2000的独立元件，或者可结合在处理器2010内作为本领域的技术人员已知的硬件和软件的组合。

待加载到处理器2010或编码器/解码器2030上以执行本文档中所述的各个方面的程序代码可存储在存储设备2040中，并且随后加载到存储器2020上以供处理器2010执行。根据各种实施方案，处理器2010、存储器2020、存储设备2040和编码器/解码器模块2030中的一者或多者可在本文档中所述的过程的执行期间存储各种项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。

在一些实施方案中，在处理器2010和/或编码器/解码器模块2030内部的存储器用于存储指令以及提供在编码或解码期间所需的用于处理的工作存储器。然而，在其他实施方案中，处理设备(例如，处理设备可以是处理器2010或编码器/解码器模块2030)外部的存储器用于这些功能中的一个或多个功能。外部存储器可以是存储器2020和/或存储设备2040，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个实施方案中，快速外部动态易失性存储器诸如RAM用作视频编码和解码操作的工作存储器，诸如MPEG-2(MPEG是指运动图片专家组，MPEG-2也称为ISO/IEC 13818，并且13818-1也称为H.222，13818-2也称为H.262)、HEVC(HEVC是指高效视频编码，也称为H.265和MPEG-H部分2)或VVC(通用视频编码，由联合视频专家小组(JVET)开发的新标准)。

可通过如块2005中所指示的各种输入设备来提供对系统2000的元件的输入。此类输入设备包括但不限于：(i)射频(RF)部分，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入端子(或一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图6中未示出的其他示例包括复合视频。

在各种实施方案中，块2005的输入设备具有如在本领域中是已知的相关联的相应的输入处理元件。例如，RF部分可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的RF信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，RF部分包括天线。

另外，USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统2000连接到其他电子设备的相应的接口处理器。应当理解，输入处理的各个方面(例如Reed-Solomon错误校正)可在必要时例如在独立的输入处理IC内或在处理器2010内实现。相似地，USB或HDMI接口处理的方面可在必要时在独立的接口IC内或在处理器2010内实现。将解调的、错误校正的和解复用的流提供给各种处理元件，包括例如处理器2010以及编码器/解码器2030，该处理元件与存储器和存储元件结合工作以在必要时处理数据流以用于在输出设备上的展示。

可在集成外壳内提供系统2000的各种元件，在集成外壳内，使用合适的连接排布结构2015(例如，如在本领域中是已知的内部总线，包括IC间(I2C)总线、接线和印刷电路板)，各种元件可互连并且在其间传输数据。

系统2000包括通信接口2050，该通信接口允许经由通信信道2090与其他设备的通信。通信接口2050可包括但不限于收发器，该收发器被配置为通过通信信道2090传输和接收数据。通信接口2050可包括但不限于调制解调器或网卡，并且通信信道2090可例如在有线和/或无线介质内实现。

在各种实施方案中，使用无线网络诸如Wi-Fi网络例如IEEE 802.11(IEEE是指电气电子工程师学会)将数据流式传输或以其他方式提供给系统2000。这些实施方案的Wi-Fi信号是通过适于Wi-Fi通信的通信信道2090和通信接口2050接收的。这些实施方案的通信信道2090通常连接到接入点或路由器，该接入点或路由器提供对外部网络(包括互联网)的访问，以用于允许流式传输应用和其他越过运营商的通信。其他实施方案使用机顶盒向系统2000提供流式传输的数据，该机顶盒通过输入块2005的HDMI连接来递送数据。还有其他实施方案使用输入块2005的RF连接向系统2000提供流式传输的数据。如上所述，各种实施方案以非流式的方式提供数据。另外，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。

系统2000可向各种输出设备(包括显示器2065、扬声器2075和其他外围设备2085)提供输出信号。各种实施方案的显示器2065包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一个或多个显示器。显示器2065可用于电视、平板电脑、膝上型电脑、蜂窝电话(移动电话)或其他设备。显示器2065还可与其他部件集成(例如，如在智能电话中)，或可以是独立的显示器(例如，用于膝上型电脑的外部监视器)。在实施方案的各种示例中，其他外围设备2085包括独立数字视频光盘(或数字多功能光盘)(DVR，可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用一个或多个外围设备2085，该一个或多个外围设备基于系统2000的输出来提供功能。例如，碟片播放器执行播放系统2000的输出的功能。

在各种实施方案中，使用信令诸如AV.Link、消费电子控制(CEC)或允许带有或不带有用户干预的设备到设备控制的其他通信协议，在系统2000与显示器2065、扬声器2075或其他外围设备2085之间发送控制信号。可通过相应的接口2065、2075和2085经由专用连接将输出设备通信地耦接到系统2000。另选地，可经由通信接口2050使用通信信道2090将输出设备连接到系统2000。在电子设备(诸如例如电视)中，显示器2065和扬声器2075可与系统2000的其他部件集成在单个单元中。在各种实施方案中，显示器接口2065包括显示驱动器，诸如例如定时控制器(T Con)芯片。

例如，如果输入2005的RF部分是独立机顶盒的一部分，则显示器2065和扬声器2075可另选地相对于其他部件中的一个或多个部件而独立。在其中显示器2065和扬声器2075为外部部件的各种实施方案中，可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供输出信号。

该实施方案可由由处理器2010实现的计算机软件，或由硬件，或由硬件和软件的组合来进行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。作为非限制性示例，存储器2020可以是适于技术环境的任何类型，并且可使用任何适当的数据存储技术(诸如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器)来实现。作为非限制性示例，处理器2010可以是适于技术环境的任何类型，并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。

各种具体实施参与解码。如本申请中所用，“解码”可涵盖例如对所接收的编码序列执行的过程的全部或部分，以便产生适于显示的最终输出。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还或另选地包括由本申请中所述的各种实施方案的解码器执行的过程，例如，包括至少一个RGB颜色分量的逆RGB映射，该映射调整RGB格式的图像数据的样本的动态范围。

作为进一步的示例，在实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且被认为会被本领域的技术人员很好地理解。

各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的全部或部分过程。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还或另选地包括由本申请中所述的各种实施方案的编码器执行的过程，例如，至少一个RGB颜色分量的RGB映射，该RGB映射调整RGB格式的图像数据的样本的动态范围。

作为进一步的示例，在实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。

需注意，如本文所用的语法元素(例如，LMCS参数lmcs_enable_flag、lmcs_multiple_models_flag)是描述性术语。因此，它们不排除使用其他语法元素名称。

本公开已描述了例如可被传输或存储的各种信息，诸如例如语法。此信息能够以多种方式封装或布置，包括例如视频标准中常见的方式，诸如将信息放入SPS、PPS、NAL单元、标头(例如，NAL单元标头或切片标头)或SEI消息中。还可用其他方式，包括例如对于系统级标准或应用级标准常见的方式，诸如将信息放入：a)SDP(会话描述协议)，一种为了会话通告和会话邀请的目的而用于描述多媒体通信会话的格式，例如如在RFC中描述并且结合RTP(实时传输协议)传输使用；b)DASH MPD(媒体展示描述)描述符，例如如在DASH中使用并且通过HTTP传输，一种与表示或表示的集合相关联以向内容表示提供附加的特性的描述符；c)RTP标头扩展，例如如在RTP流式传输期间使用，和/或d)ISO基础媒体文件格式，例如如在OMAF中使用并且使用盒(该盒是由唯一类型标识符和长度定义的面向对象的构建块，在一些规范中也称为“原子”)。

当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。

各种实施方案是指速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重建信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重建的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。

本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。

提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。

另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。

此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。

另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。

应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器对多个参数中的特定一个参数进行编码以进行变换。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免传输任何实际功能，在各种实施方案中实现了比特节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。

对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。

我们描述了多个实施方案。这些实施方案的特征可在各种权利要求类别和类型中单独地或以任何组合提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：

·在解码器和/或编码器中使亮度映射适于RGB格式。

·当在解码器和/或编码器中启用ACT时，使色度残差缩放适于RGB格式。

·选择待在解码器和/或编码器中应用的RGB映射函数。

·发信号通知与待在解码器中应用的RGB映射过程的启用相关的信息。

·在该信令中插入允许解码器识别待使用的RGB映射/逆RGB映射过程的语法元素，诸如RGB分段线性参数。

·基于这些语法元素，选择待在解码器处应用的至少一个逆RGB映射过程。

·包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。

·包括传递根据所述实施方案中任一项生成的信息的语法的比特流或信号。

·以对应于由编码器使用的方式的方式，在该信令中插入允许解码器识别待使用的RGB映射/逆RGB映射过程的语法元素，诸如RGB分段线性参数。

·对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或传输和/或接收和/或解码。

·根据所述实施方案中任一项所述的创建和/或发射和/或接收和/或解码。

·根据所述实施方案中任一项所述的方法、过程、装置、存储指令的介质、存储数据的介质或信号。

·根据所述的实施方案中的任一个实施方案执行适于RGB格式的映射过程的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·根据所述的实施方案中的任一个实施方案执行适于RGB格式的映射过程并且(例如，使用监视器、屏幕或其他类型的显示器)显示所得的图像的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·选择(例如，使用调谐器)待接收信号(包括编码的图像)的信道并且根据所述的实施方案中的任一个实施方案执行适于RGB格式的映射过程的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·通过无线电(例如，使用天线)接收信号(包括编码的图像)并且根据所述的实施方案中的任一个实施方案执行适于RGB格式的映射过程的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

Claims

1.一种用于视频解码的方法，所述方法包括：

确定待解码的视频的图像数据的格式是RGB格式；

响应地将逆RGB映射应用于所述图像数据的颜色分量中的至少一个颜色分量，其中RGB映射调整RGB格式的所述图像数据的颜色分量的动态范围；以及

基于至少一个经逆RGB映射的颜色分量来对所述视频进行解码。

2.一种用于视频解码的装置，所述装置包括一个或多个处理器，其中所述一个或多个处理器被配置为：

确定待解码的视频的图像数据的格式是RGB格式；

将逆RGB映射应用于所述图像数据的颜色分量中的至少一个颜色分量，其中RGB映射调整RGB格式的所述图像数据的颜色分量的动态范围；以及

3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中所述RGB映射是用于调整YUV格式的所述图像数据的亮度颜色分量的动态范围的亮度映射。

4.根据权利要求1、3中任一项所述的方法或根据权利要求2至3中任一项所述的装置，其中将逆RGB映射应用于所述图像数据的所述颜色分量中的所有颜色分量。

5.根据权利要求1、3中任一项所述的方法或根据权利要求2至3中任一项所述的装置，所述方法或装置还包括：对指定针对所述颜色分量中的一个颜色分量而启用RGB映射的至少一个语法数据元素进行解码；以及根据所解码的至少一个语法数据元素指定是否针对所述颜色分量而启用RGB映射来将逆RGB映射应用于所述颜色分量。

6.根据权利要求1、3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置，所述方法或装置还包括：对至少一个语法数据元素进行解码，所述至少一个语法数据元素指定是针对所述颜色分量中的所有颜色分量而定义单个RGB映射还是定义多个颜色分量

RGB映射，针对所述颜色分量中的一个颜色分量而定义颜色分量

RGB映射；以及根据所解码的至少一个语法数据元素指定是定义单个RGB映射还是多个颜色分量RGB映射来将所述逆RGB映射应用于至少一个颜色分量。

7.根据权利要求1、3至6中任一项所述的方法或根据权利要求2至6中任一项所述的装置，所述方法或装置还包括：对指定表示针对所述颜色分量中的一个颜色分量的RGB映射的斜率的RGB映射参数的至少一个语法数据元素进行解码；以及根据针对所述颜色分量的所解码的RGB映射参数来将逆RGB映射应用于所述颜色分量。

8.根据权利要求1、3至7中任一项所述的方法或根据权利要求2至7中任一项所述的装置，所述方法或装置还包括：

确定将自适应颜色变换应用于待解码的视频的RGB格式的所述图像数据，所述自适应颜色变换得到差分颜色分量(Cg、Co)；以及

响应地将逆色度残差缩放应用于差分颜色分量(Cg、Co)，其中色度残差缩放调整图像数据的差分分量的动态范围，以及将逆自适应颜色变换应用于所述图像数据。

9.根据权利要求5、6、7中任一项所述的方法或根据权利要求5、6、7中任一项所述的装置，其中在切片、图片参数集(PPS)、序列参数集(SPS)、自适应参数集(APS)中的一者中，发信号通知以下项：指定针对所述颜色分量中的一个颜色分量而启用RGB映射的至少一个语法数据元素，或指定是定义单个RGB映射还是多个颜色分量RGB映射的至少一个语法数据元素，或指定RGB映射参数的至少一个语法数据元素。

10.一种用于视频编码的方法，所述方法包括：

确定待编码的视频的图像数据的格式是RGB格式；

响应地将RGB映射应用于所述图像数据的颜色分量中的至少一个颜色分量，其中RGB映射调整RGB格式的所述图像数据的颜色分量的动态范围；以及

基于至少一个经RGB映射的颜色分量来对所述视频进行编码。

11.一种用于视频编码的装置，所述装置包括一个或多个处理器，其中所述一个或多个处理器被配置为：

确定待编码的视频的图像数据的格式是RGB格式；

响应地将RGB映射应用于所述图像数据的颜色分量中的至少一个颜色分量，其中所述RGB映射调整RGB格式的图像数据的颜色分量的动态范围；以及

基于至少一个经RGB映射的颜色分量来对所述视频进行编码。

12.根据权利要求10所述的方法或根据权利要求11所述的装置，其中所述RGB映射是用于调整YUV格式的图像数据的亮度颜色分量的动态范围的亮度映射。

13.根据权利要求10、12中任一项所述的方法或根据权利要求11至12中任一项所述的装置，其中将所述RGB映射应用于所述图像数据的所述颜色分量中的所有颜色分量。

14.根据权利要求1、12中任一项所述的方法或根据权利要求11至12中任一项所述的装置，所述方法或装置还包括：根据至少一个语法数据元素指定针对所述颜色分量而启用所述RGB映射来将RGB映射应用于所述颜色分量中的一个颜色分量；以及对指定针对所述颜色分量中的一个颜色分量而启用RGB映射的至少一个语法数据元素进行编码。

15.根据权利要求10、12至14中任一项所述的方法或根据权利要求11至14中任一项所述的装置，所述方法或装置还包括：根据至少一个语法数据元素指定是针对所述颜色分量中的所有颜色分量而定义单个RGB映射还是定义多个颜色分量RGB映射，针对所述颜色分量中的一个颜色分量而定义颜色分量RGB映射，将RGB映射应用于所述颜色分量中的一个颜色分量；以及

对指定是定义单个RGB映射还是多个颜色分量RGB映射的所述至少一个语法数据元素进行编码。

16.根据权利要求10、12至15中任一项所述的方法或根据权利要求11至15中任一项所述的装置，所述方法或装置还包括：根据表示针对所述颜色分量的所述RGB映射的斜率的RGB映射参数来将所述RGB映射应用于所述颜色分量；以及对指定RGB映射参数的至少一个语法数据元素进行编码。

17.根据权利要求10、12至16中任一项所述的方法或根据权利要求11至16中任一项所述的装置，所述方法或装置还包括：

确定将自适应颜色变换应用于待解码的视频的RGB格式的所述图像数据；

响应地将所述自适应颜色变换应用于所述图像数据，从而得到差分颜色分量；以及将色度残差缩放应用于所述图像数据的所述差分颜色分量，其中色度残差缩放调整图像数据的差分分量的动态范围。

18.根据权利要求14、15、16中任一项所述的方法或根据权利要求14、

15、16中任一项所述的装置，其中在切片、图片参数集(PPS)、序列参数集(SPS)、自适应参数集(APS)中的一者中，发信号通知以下项：指定针对所述颜色分量中的一个颜色分量而启用所述RGB映射的至少一个语法数据元素，或指定是定义单个RGB映射还是多个颜色分量RGB映射的至少一个语法数据元素，或指定RGB映射参数的至少一个语法数据元素。

19.一种比特流，其中所述比特流通过以下形成：

确定待编码的视频的图像数据的格式是RGB格式；

响应地将RGB映射应用于所述图像数据的颜色分量中的至少一个颜色分量，其中RGB映射调整RGB格式的图像数据的颜色分量的动态范围；

基于至少一个经RGB映射的颜色分量来对所述视频进行编码；以及

形成包括所编码的视频的所述比特流。

20.根据权利要求19所述的比特流，所述比特流还包括：指定针对所述颜色分量中的一个颜色分量而启用RGB映射的至少一个语法数据元素，或指定是定义单个RGB映射还是多个颜色分量RGB映射的至少一个语法数据元素，或指定RGB映射参数的至少一个语法数据元素。

21.一种非暂态计算机可读介质，所述非暂态计算机可读介质包含根据方法生成的数据内容，所述方法包括：

确定待编码的视频的图像数据的格式是RGB格式；

形成包括所编码的视频的所述数据内容。

22.根据权利要求21所述的非暂态计算机可读介质，其中数据内容还包括：指定针对所述颜色分量中的一个颜色分量而启用RGB映射的至少一个语法数据元素，或指定是定义单个RGB映射还是多个颜色分量RGB映射的至少一个语法数据元素，或指定RGB映射参数的至少一个语法数据元素。

23.一种计算机程序产品，所述计算机程序产品包括用于当由一个或多个处理器执行时执行根据权利要求1、3至9、10和12至18中任一项所述的方法的指令。

24.一种非暂态计算机可读介质，所述非暂态计算机可读介质包含用于当由一个或多个处理器执行时执行根据权利要求1、3至9、10和12至18中任一项所述的方法的指令。