CN111937383B - 视频编码和解码中的色度量化参数调整 - Google Patents

Abstract

一种视频编码系统使用色度量化参数表的值，来量化或反量化视频块的色度值，所述色度量化参数表在编码视频流的画面级别或序列级别的参数集合中被直接编码。提出了对应的编码方法、编码装置、解码方法和解码装置。

Description

视频编码和解码中的色度量化参数调整

技术领域

本实施例中的至少一个一般涉及视频编码或解码。至少一个实施例更具体地涉及用于在视频编码或解码中调整色度量化参数的方法、设备和信号。

背景技术

为了实现高压缩效率，图像和视频编码方案通常采用预测和变换，来利用视频内容中的空间和时间冗余。通常，使用帧内或帧间预测来开发帧内或帧间相关性，然后对原始块和预测块之间的差异(通常表示为预测误差或预测残差)进行转换、量化和熵编码。为了重构视频，通过对应于熵编码、量化、变换和预测对应的逆过程，来对压缩的数据进行解码。

发明内容

根据至少一个实施例的第一方面，提出了一种用于编码视频数据的方法，包括：对于图像块，基于编码性能级别从色度量化参数的多个集合中选择至少一个色度量化参数，其中所述色度量化参数的集合取决于图像是否是运动预测的而不同；基于至少一个选择的色度量化参数对所述块进行编码，其中所述编码包括根据所述至少一个选择的色度量化参数对所述块的色度值进行量化，以及生成包括至少所述编码块、和表示所述至少一个所选色度量化参数的元数据的比特流。

根据至少一个实施例的第二方面，提出了一种用于解码视频数据的方法，包括：访问图像或视频的块的元数据，所述元数据表示从色度量化参数的多个集合中选择至少一个色度量化参数，所述选择基于编码性能级别；和根据表示至少一个色度量化参数的所述选择的所述元数据，对块的色度值进行反量化。

根据至少一个实施例的第三方面，提出了一种用于编码的图像的信号，包括基于编码性能级别从色度量化参数的多个集合中选择的至少一个色度量化参数的信息，其中所述色度量化参数的集合取决于图像是否是运动预测的而不同，其中所述选择针对图像的至少一个块。

根据至少一个实施例的第四方面，提出了一种用于编码视频数据的装置，包括：用于对于图像块、基于编码性能级别从色度量化参数的多个集合中选择至少一个色度量化参数的部件，其中所述色度量化参数的集合取决于图像是否是运动预测的而不同；用于基于至少一个选择的色度量化参数对所述块进行编码的部件，其中所述编码包括根据所述至少一个选择的色度量化参数对所述块的色度值进行量化，以及用于生成包括至少所述编码块、和表示所述至少一个所选色度量化参数的元数据的比特流的部件。

根据至少一个实施例的第五方面，提出了一种用于解码视频数据的装置，包括：用于访问图像或视频的块的元数据的部件，所述元数据表示从色度量化参数的多个集合中选择至少一个色度量化参数，所述选择基于编码性能级别；和用于根据表示至少一个色度量化参数的所述选择的所述元数据，对块的色度值进行反量化的部件。

根据至少一个实施例的第六方面，提出了一种用于显示视频数据的装置，包括一个或多个处理器，配置为：访问图像或视频的块的元数据，所述元数据表示从色度量化参数的多个集合中选择至少一个色度量化参数，所述选择基于编码性能级别；根据表示至少一个色度量化参数的所述选择的所述元数据，对块的色度值进行反量化；和基于多个图像块的反量化后的色度值，产生重构图像；和显示器，被配置为显示重构图像。

根据至少一个实施例的第七方面，提出了一种用于接收视频数据的装置，包括：天线，被配置为在空中接收包括图像或视频的信号；一个或多个处理器，配置为：访问图像或视频的块的元数据，所述元数据表示从色度量化参数的多个集合中选择至少一个色度量化参数，所述选择基于编码性能级别；根据表示至少一个色度量化参数的所述选择的所述元数据，对块的色度值进行反量化；和基于多个图像块的反量化后的色度值，产生重构图像；和输出，配置为提供所述重构图像。

根据至少一个实施例的另一方面，提出了一种非瞬态计算机可读介质，包括根据任一项所述的方法或设备生成的数据内容。

根据至少一个实施例的另一方面，提出了一种计算机程序，包括程序代码指令，所述指令可由处理器执行，用于实现根据至少第一方面所述的方法的步骤。

根据至少一个实施例的另一方面，提出了一种计算机程序，其存储在非瞬态计算机可读介质上，并且包括程序代码指令，所述指令可由处理器执行，用于实现根据至少第一方面所述的方法的步骤。

根据第一和第四方面的变型实施例，根据与编码有关的信息来自动选择所述编码性能级别，所述信息与所述编码树配置或所述编码模式或所述分区模式有关。

附图说明

图1图示了视频编码器100的示例，例如高效视频编码(HEVC)编码器。

图2图示了视频解码器200(例如，HEVC解码器)的示例的框图。

图3图示了四叉树加二叉树(QTBT)CTU表示的示例。

图4图示了编码单元分区的扩展集合的示例。

图5图示了通过使用QTBT+ABT编码结构的编码效率增加。

图6图示了在实现色度量化适配的实施例中通过使用QTBT+ABT编码结构实现的编码效率增加。

图7A图示了在解码器侧用于确定用于色度分量的编码和解码所使用的QP参数的处理的示例。

图7B图示了对于随机访问序列的每个画面所允许的最大四叉树和二叉树深度。

图8图示了其中实现各个方面和实施例的系统的示例的框图。

图9A图示了根据实现色度量化适配的实施例的编码方法的一部分的示例的流程图。

图9B图示了根据实现色度量化适配的实施例的解码方法的一部分的示例的流程图。

具体实施方式

在至少一个实施例中，编码效率改进是由于使用下面描述的用于块划分的拓扑而导致的。特别地，在一些实施例中，在色度分量中获得比在亮度分量中更大的增益。结果，令人感兴趣的是通过将一些增益从一个或多个色度分量移位到亮度分量，来平衡获得的编码增益。在某些实施例中，这是特别有益的，因为在一定的质量水平，色度分量的附加编码效率改进通常不会带来附加的视觉益处。因此，至少一个实施例提出以这种方式采用量化参数，以在色度分量和亮度分量之间折衷进一步的质量改进。至少一个这样的实施例降低了包括色度分量和亮度分量的整个编码比特流的总比特率。

图1图示了视频编码器100的示例，例如高效视频编码(HEVC)编码器。图1还可以图示其中对HEVC标准进行了改进的编码器、或采用类似于HEVC的技术的编码器，例如JVET(联合视频探索小组)正在开发的JEM(联合探索模型)编码器。

在本申请中，术语“重构”和“解码”可以互换使用，术语“编码”或“编码”可以互换使用，并且术语“图像”、“画面”和“帧”可以互换使用。通常但并非必须，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。

在被编码之前，视频序列可以经过预编码处理(101)。例如，通过对输入的彩色画面施加颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)或执行输入画面分量的重新映射以便得到对压缩更有弹性的信号分布(例如，使用颜色分量之一的直方图均衡化)，来执行该处理。元数据可以与预处理相关联并附加到比特流。

在HEVC中，为了用一个或多个画面编码视频序列，将画面分区(102)成一个或多个切片，其中每个切片可包括一个或多个切片片段。切片片段被组织为编码单元、预测单元和变换单元。HEVC规范在“块”和“单元”之间进行区分，其中“块”寻址样本阵列中的特定区域(例如亮度，Y)，而“单元”包括所有编码颜色分量(Y，Cb，Cr或单色)的并置块、语法元素和与块关联的预测数据(例如，运动向量)。

为了在HEVC中进行编码，将画面分区为具有可配置尺寸的方形的编码树块(CTB)，并将编码树块的连续集分组为切片。编码树单元(CTU)包含已编码颜色分量的CTB。CTB是分区为编码块(CB)的四叉树的根，并且编码块可以分区为一个或多个预测块(PB)，并形成分区为变换块(TB)的四叉树的根。与编码块、预测块和变换块相对应，编码单元(CU)包括预测单元(PU)和变换单元(TU)的树状结构的集合，PU包括所有颜色分量的预测信息，而TU包括每个颜色分量的残差编码语法结构。亮度分量的CB、PB和TB的尺寸适用于对应的CU、PU和TU。在本申请中，术语“块”可以用来指代例如CTU、CU、PU、TU、CB、PB和TB中的任一个。另外，“块”还可用来指代H.264/AVC或其他视频编码标准中指定的宏块和分区，并且更一般地指代各种尺寸的数据阵列。

在编码器100的示例中，如下所述，通过编码器元件对画面进行编码。以CU为单位对要编码的画面进行处理。使用帧内或帧间模式对每个CU进行编码。当CU以帧内模式编码时，其执行帧内预测(160)。在帧间模式下，执行运动估计(175)和补偿(170)。编码器判断(105)帧内模式或帧间模式中的哪一个用于编码CU，并通过预测模式标志指示帧内/帧间判断。通过从原始图像块中减去(110)预测块，来计算预测残差。

根据同一切片内重构的相邻样本来预测帧内模式下的CU。35种帧内预测模式的集合在HEVC中可用，其包括DC、平面和33种角度预测模式。从与当前块相邻的行和列重构帧内预测基准。使用来自先前重构的块的可用样本，该基准在水平和垂直方向上延伸超过块尺寸的两倍。当使用角度预测模式用于帧内预测时，可以沿着由该角度预测模式指示的方向来复制基准样本。

可以使用两个不同的选项对当前块的适用亮度帧内预测模式进行编码。如果适用模式包含在三种最可能的模式(MPM)的构造列表中，则通过MPM列表中的索引发信号通知该模式。否则，通过模式索引的固定长度二进制化来发信号通知该模式。三种最可能的模式是从相邻块的上边和左边的帧内预测模式导出的。

对于帧间CU，将对应的编码块进一步分区为一个或多个预测块。在PB级别上执行帧间预测，并且对应的PU包含关于如何执行帧间预测的信息。可以通过两种方法来发信号通知运动信息(例如，运动向量和基准画面索引)，即“合并模式”和“高级运动向量预测(AMVP)”。

在合并模式下，视频编码器或解码器基于已经编码的块来装配候选列表，并且视频编码器发信号通知候选列表中的候选之一的索引。在解码器侧，基于发信号通知的候选，来重构运动向量(MV)和基准画面索引。

在AMVP中，视频编码器或解码器基于从已编码块中确定的运动向量来装配候选列表。然后，视频编码器发信号通知候选列表中的索引以标识运动向量预测值(MVP)，并发信号通知运动向量差(MVD)。在解码器侧，运动向量(MV)被重构为MVP+MVD。适用的基准画面索引还在用于AMVP的PU语法中显式编码。

然后，对预测残差进行变换(125)和量化(130)，包括用于适配下述色度量化参数的至少一个实施例。变换通常基于可分离的变换。例如，首先在水平方向上应用DCT变换，然后在垂直方向上应用DCT变换。在最新的编解码器(例如JEM)中，在两个方向上使用的变换可能会不同(例如，一个方向上DCT，另一个方向上DST)，这导致各种各样的2D变换，而在先前的编解码器中，给定块尺寸的各种2D变换通常受到限制。

对量化的变换系数以及运动向量和其他语法元素进行熵编码(145)以输出比特流。编码器还可以跳过该变换，并以4x4 TU为基础将量化直接应用于未变换的残差信号。编码器还可以绕过变换和量化两者，即，在不应用变换或量化处理的情况下直接对残差进行编码。在直接PCM编码中，不应用预测，并且将编码单元样本直接编码为比特流。

编码器对编码块进行解码，以提供用于进一步预测的基准。对量化的变换系数进行反量化(140)和逆变换(150)以解码预测残差。通过组合(155)解码的预测残差和预测的块，而重构图像块。环内滤波器(165)被应用于重构的画面，以例如执行解块/SAO(样本自适应偏移)滤波而减少编码伪像。滤波后的图像被存储在基准画面缓冲器(180)中。

图2图示了视频解码器200(例如，HEVC解码器)的示例的框图。在解码器200的示例中，如下所述，由解码器元件对比特流进行解码。如图1中描述的，视频解码器200一般执行与编码遍历(pass)相反的解码遍历，其执行视频解码作为编码视频数据的一部分。图2还可以图示其中对HEVC标准进行了改进的解码器、或采用类似于HEVC的技术的解码器，例如JEM解码器。

特别地，解码器的输入包括可由视频编码器100生成的视频比特流。首先对该比特流进行熵解码(230)以获得变换系数、运动向量、画面分区信息、和其他编码信息。画面分区信息指示CTU的尺寸、以及将CTU拆分为CU的方式(以及在适用时可能拆分为PU的方式)。解码器因此可以根据解码的画面分区信息将画面划分(235)为CTU，并且将每个CTU划分成CU。对变换系数进行反量化(240)，该反量化包括用于适配以下描述的色度量化参数的至少一个实施例，并且对变换系数进行逆变换(250)以解码预测残差。

通过组合(255)解码的预测残差和预测块，而重构图像块。可以从帧内预测(260)或运动补偿预测(即帧间预测)(275)获得(270)预测块。如上所述，可使用AMVP和合并模式技术来导出用于运动补偿的运动向量，其可使用插值滤波器来计算用于基准块的子整数样本的插值。将环内滤波器(265)应用于重构的图像。将滤波后的图像存储在基准画面缓冲器(280)中。

解码后的画面可以进一步经历后解码处理(285)，例如，逆颜色变换(例如，从YCbCr 4：2：0到RGB 4：4：4的转换)或执行预编码处理(101)中执行的重新映射处理的逆的逆重新映射。后解码处理可以使用在预编码处理中导出的并在比特流中发信号通知的元数据。

提出了新出现的视频压缩工具，包括压缩域中的编码树单元表示，以按照更灵活的方式表示画面数据。编码树的这种更灵活表示的优点是，与HEVC标准的CU/PU/TU布置相比，它提供增加的压缩效率。

图3图示了四叉树加二叉树(QTBT)CTU表示的示例。四叉树加二叉树(QTBT)编码工具提供这种增加的灵活性。QTBT存在于编码树中，其中编码单元可以按四叉树和二叉树的方式拆分。通过率失真优化过程在编码器侧判断编码单元的拆分，该过程以最小的率失真成本确定CTU的QTBT表示。在QTBT技术中，CU具有正方形或矩形形状。编码单元的尺寸始终是2的幂，并通常从4到128。除了用于编码单元的各种矩形形状之外，与HEVC相比，这种CTU表示具有以下不同的特性。CTU的QTBT分解由两个阶段组成：首先按照四叉树的方式拆分CTU，然后可以按照二进制方式进一步划分每个四叉树的叶子。这在图的右侧进行了图示，其中实线表示四叉树分解阶段，而虚线表示在空间上嵌入在四叉树叶子中的二进制分解。在帧内切片中，亮度和色度块分区结构是分开的，并且独立判断。不再采用将CU分区为预测单元或变换单元。换句话说，每个编码单元系统地由单个预测单元(2N×2N个预测单元分区类型)和单个变换单元(不划分为变换树)组成。

图4图示了编码单元分区的扩展集合的示例。在非对称二进制和树拆分模式(ABT)中，通过非对称二进制拆分模式之一(例如HOR_UP(水平-上))拆分的具有尺寸(w，h)(宽度和高度)的矩形编码单元将导致具有相应矩形尺寸和/>的2个子编码单元。另外，可以使用CU的所谓三叉树分区，这导致图5中给出的可能分区的集合。三叉树在于在所考虑的方位(例如：用于水平拆分模式的HOR_TRIPLE)上将CU拆分为相对于父CU具有尺寸(1/4,1/2,1/4)的树子CU。

图5图示了通过使用QTBT+ABT编码结构的编码效率增加。在JVET-J0022中提出了这样的编码结构。图5的表格示出了第一列中列出的所选图像子集的编码结果。在题为“基准”的第二列中，这些数字表示基准编码器的编码性能，根据一些编码参数，分别示出了比特率、用于Y、U和V分量的PSNR、编码时间和解码时间。在题为“测试的”的第三列中，这些数字表示基准编码器的编码性能，该基准编码器被修改为使用QTBT+ABT编码结构，其具有与“基准”编码相同的编码参数。该第三列分别示出了比特率、用于Y、U和V分量的PSNR、编码时间和解码时间。在第五列中，数字表示用于Y、U和V分量的比特率改进。

与标准编码相比，最后几列中示出了编码效率改进。特别地，在一些实施例中，在色度分量中获得比在亮度分量中更大的增益。

为了全面受益于这种改进，感兴趣的是通过将一些增益从一个或多个色度分量移位至亮度分量，来平衡所获得的编码增益。在某些实施例中，这是特别有益的，因为在一定的质量水平上，(多个)色度分量的附加编码效率改进通常不会带来附加的视觉益处。因此，至少一个实施例提出以这种方式采用量化参数，以在色度分量和亮度分量之间折衷进一步的质量改进。至少一个这样的实施例降低了包括色度分量和亮度分量的整个编码比特流的总比特率。

图6图示了在实现色度量化适配的实施例中通过使用QTBT+ABT编码结构实现的编码效率增加。图6示出了通过使用在图5的配置中使用的JVET-J0022的视频编解码器(但增加了色度量化适配)获得的编码效率性能。图6的表格示出了根据第二列中列出的一些参数、在第一列中列出的所选图像的子集的编码结果。在第三列中，数字表示基准编码器的编码性能，分别示出了比特率、用于Y、U和V分量的PSNR。在第四列中，数字表示修改为使用QTBT+ABT编码结构的基准编码器的编码性能。该第四列分别示出了比特率、用于Y、U和V分量的PSNR。在第五列中，数字表示用于Y、U和V分量的比特率改进。

与图5相比，该表示出了亮度的显著编码效率改进、以及色度编码效率的适度相对损失。此外，由于从感知的角度来看亮度分量通常更为重要，因此在编码效率方面将亮度优先于色度是非常令人感兴趣的。

在实施例中，色度量化参数适配允许在视频编码方案中折衷亮度和色度分量之间的比特率分配，使得利用色度分量的编码效率中的受控处罚，来调整亮度分量的编码效率。此外，在至少一个实施例中，独立于在编码和解码中使用的编码工具进行亮度/色度比特率分配的使用。

第一方案考虑使用公知的色度QP(量化参数)偏移序列级别参数，在编码比特流的高级语法(序列参数集)中发信号通知该参数。这种方案的缺点是色度编码效率的损失可能太高，并且难以控制。另一方案考虑使用所谓的色度QP表，该表在帧间切片中给定同一画面的亮度切片中使用的QP，用于导出色度中的切片的QP。在JEM中，给定与亮度切片相关联的QP，经由查找表(在此我们将其称为色度QP表)计算色度切片的QP。给定同一画面的切片的亮度分量中使用的QP，可以使用色度QP表来导出该切片的色度分量的QP。该表的索引值是与所考虑的色度分量相关联的所谓的基本QP(即，基本色度QP)，其作为对应的亮度切片QP和所考虑的切片的色度QP偏移之和而获得。作为序列级别色度QP偏移和与所考虑切片相关联的切片级别色度QP增量之和，获得所考虑切片的色度QP偏移。然后可以将与索引值相对应的输出值用作用于对色度切片进行编码或解码的QP值。应当注意，例如，由于速率控制，可以通过块级别QP调整，来进一步修改切片QP。

在JEM中，所使用的色度QP表仅取决于色度格式，例如4：0：0、4：2：0、4：2：2等，从而妨碍任何灵活性。

在示例实施例中，提出针对不同的编码配置使用不同的色度QP表。实际上，为了达到一定级别的编码效率，编码系统的配置可以包括调整编码参数，该编码参数将包括所使用的分区的集合以及一些其他参数。通常，CTU编码树表示中允许的最大树深度也会影响总编码效率，并允许在编码器侧的编码效率和计算复杂度之间达成期望的折衷。

各种实施例的一个原理是通过独立于用于对序列进行编码或解码的编码工具的一些部件，发信号通知期望的色度QP表的使用。因此，色度QP表被选择为编码器侧的编码配置参数。它通常采用“编码性能级别”高级语法元素的形式，其在序列参数集(SPS)或画面参数集(PPS)中发信号通知。它由解码器解码，然后切换到已在编码器侧使用的相同色度QP表。在实施例中，提出了两个表集，因此简单的二进制标志足以承载信息。在其他实施例中，提出了多于两个表集，因此将需要整数值(或以其他方式发信号通知一个集合)。下面说明的示例示出了两个表格的集合。

JEM中使用的QP值介于-6到51之间。JEM中用于4：2：0颜色格式的色度QP表由58个元素组成(即，每个可能的QP值一个条目)，并且通常为以下内容：

chromaQPTableJEM[0..57]＝[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,

20,21,22,23,24,25,26,27,28,29,29,30,31,32,33,33,34,34,35,35,

36,36,37,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51]

在一个实施例中，提出使用色度QP表的几个集合。首先针对目标编码效率，其次针对表的切片类型(用于I切片类型或非I切片类型)，来区分表格。标准编码效率级别色度QP表集如下，并且包含I切片类型和非I切片类型的值：

chromaQPTableStandardPerf[2][0..57]＝[

[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,

20,21,22,23,24,25,26,27,28,29,29,30,31,32,33,33,34,34,35,35,

36,36,37,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51],

[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,29,30,31,32,33,33,34,35,36,36,37,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53]]

高性能编码效率级别色度QP表集如下：

chromaQPTableHighPerf[2][0..57]＝[[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,29,30,31,32,33,33,34,34,35,35,36,36,37,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51],

[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,29,30,31,32,33,34,35,35,36,37,38,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54]]

色度QP表包含大于或等于零、且不随输入索引而减少的输出QP。因此，对于色度QP表的每个非零输入索引，其输出整数值均大于或等于与该表的先前输入索引关联的输出QP值。

标准表集和高性能表集之间的区别如下。高性能表集中包含的输出QP值始终大于或等于标准性能表集中具有相同输入索引值的输出。实际上，这特别涉及高QP值。

在所示示例中，对于与非I切片类型对应的表，根据高性能表集中的输出QP值34，在标准性能表集中具有相同输入索引的输出QP值等于33。然后，根据这两个表中的输入索引，非I切片的高性能QP表中的输出QP值严格高于标准性能色度QP表集中的对应输出QP值。这可以通过以下事实来解释：随着对于高性能情况增加编码效率，可以降低色度分量中的比特率，同时在色度分量中保持可比较的PSNR值。这样，降低了总比特率，同时保留了亮度切片中的客观质量(PSNR)。总体上，在亮度中获得了一些编码增益，而没有任何惩罚，或者对色度的编码效率具有有限的惩罚。

对于上面的两个表集，使用二维阵列。阵列的第一维对应于切片类型(例如，0→I_SLICE；1→B_SLICE(更一般而言，非I切片))，第二维对应于所考虑切片中的基本色度QP。

如将在下面进一步描述的，色度QP表集合可以被存储在编码器和解码器两者中，并且编码器可以例如通过标志或索引，向解码器指示解码器将选择哪个表集。作为选择，可以在比特流中对表集进行直接编码。

在编码器侧，编码器选择要使用哪个色度QP表集。用户可以通过编码配置参数(通常是标志)完成选择，该参数指示在编码以及随后的解码处理期间是否将使用高性能色度QP表集。在示例实施例中，通过设置文件中的值的值来完成选择，该标志由编码装置读取，该编码装置解释该标志的值以选择要使用哪个色度QP表。在示例实施例中，通过用户使用处置该编码器装置的图形用户界面选择编码配置参数的手动操作，来完成选择。

在另一实施例中，它可以由编码器根据在亮度和色度切片中获得的测量编码效率来自动选择。通常，这可能在于检查在Cb和Cr分量中获得的PSNR值。如果这两个值充分高于在对应亮度切片中获得的PSNR，则可能感兴趣的是，增加色度分量中的QP，以节约一些比特。为此，编码器将选择高性能色度QP表集，并且将指示其在下一SPS、PPS或者甚至切片报头中的使用。

在示例实施例中，考虑两个性能级别：标准和高，并且对于每个设置，使用两个色度QP表用于差异切片类型。应当注意，本技术可以用于其他数量的设置或切片类型。在这种情况下，不再能使用单一的一比特标志完成发信号通知表格，而是需要提供值的更大选择的参数，例如整数。另外，色度QP表的尺寸也可以不同于58，例如，表尺寸可以适配QP范围。

图7A图示了在解码器侧用于确定用于色度分量的编码和解码所使用的QP参数的处理的示例。此处理的输入是chromaQP，它对应于所考虑的切片的基本色度QP值(并且是将要适配的值)；“I-SLICE”标志，指示切片的类型；和“HighPerformanceCodingFlag(高性能编码标志)”，指示是否预期高性能编码效率。在步骤700，检查切片的类型，并且在I-SLICE的情况下，在步骤710，将索引值设置为0以指向与I-SLICE集合相对应的集合。在另一情况下，在步骤711，将索引值设置为1以指向与非I-SLICE集合相对应的集合。在步骤720中，检查“HighPerformanceCodingFlag”。当标志被设置为真时，在步骤731中，然后根据索引和输入值从chromaQPTableHighPerf的值的集合中确定outputChroma(输出色度)值。当“HighPerformanceCodingFlag”被设置为假时，在步骤730中，然后根据索引和输入值从chromaQPTableStandardPerf的值的集合中确定outputChroma值。例如，如果初始chromaQP值为57(因此可能是“最高”值)，则对于高性能的I-SLICE，chromaQP值将设置为54(最后表的最后条目)。这将导致降低色度分量的比特率。使用常规解码处理用于产生解码图像。

可以看出，该标志用于以规范的方式驱动色度QP表的使用。

根据至少一个实施例，根据某些其他编码参数来实现在色度QP表的至少两个表之间的选择。这些编码参数可以与编码树配置有关，或者与激活的编码模式有关，或者与为了考虑的视频序列的编码而选择的激活分区模式的集合有关。

作为示例，可以利用所考虑的视频编解码器产生标准性能级别的编码参数可以是以下参数。所使用的编码树配置根据切片类型和时间层而变化。图7B中示出了对于随机访问序列的每个画面所允许的最大四叉树和二叉树深度，并且详细描述了用于标准性能级别的ABT和编码树配置。

表1图示了对于每个切片类型、时间层、组件、对于随机访问编码结构在中等复杂度配置文件中使用的最大四叉树深度和二叉树深度。从该表可以看出，最大允许的四叉树深度根据切片类型、时间级别和分量而变化。此外，最大允许的二叉树深度根据切片类型、切片时间层和四叉树深度级别而变化。

表1

此外，在标准性能级别编码处理中，当编码随机访问帧内周期时，将中等复杂度(随机访问)的ABT和编码树配置的四叉树和二叉树多深度配置用作起始配置。在期望帧内周期的并行编码的情况下，它可以用作用于每个帧内周期的起始编码树配置。

除了该起始配置之外，在考虑的帧内周期内，基于在相同时间级别中的已编码画面中使用的平均四叉和二叉编码树，采用用于后续画面的最大四叉树和二叉树深度的动态适配处理。

此外，可能利用所考虑的视频编解码器产生高性能级别的编码参数通常为以下参数。与标准性能配置相比，针对B切片修改当开始对帧内周期进行编码时的编码树配置。除了四叉树深度级别0之外，最大BT深度始终等于3。

这对应于下表。

表2

换句话说，最大BT深度是与编码树配置有关的一个参数，其可用来选择编码性能级别并因此选择对应的色度QP表。例如，根据表1和2，当最大BT深度等于2时，选择标准性能级别色度QP表，而当最大BT深度大于2时，则选择高性能级别色度QP表。

根据另一实施例，可以使用附加的低复杂度编码器配置。在这种情况下，可以在该低编码器复杂性配置中采用链接到标准编码器性能级别的先前呈现的色度QP表。可替代地，在低复杂度编码器配置的情况下，可以使用专用的第三色度QP表。

此处介绍的低复杂度编码器配置对应于以下典型编码参数。与标准性能级别配置相比，可以在某些切片中进一步降低分区模式速率失真搜索的组合级别。通常，可以在时间层严格高于0的B切片中停用非对称二叉树拆分模。此外，可以在低复杂度编码器配置文件/配置中停用一些其他编码模式，这些模式涉及一些编码器侧速率失真选择、因此编码器复杂度。例如，在低复杂度配置文件的情况下，可以停用一些帧间编码工具，例如用于时间预测的基于模板的运动搜索或基于模板的仿射运动模型搜索。换句话说，当所使用的工具具有较低性能级别时，也选择具有低性能的色度QP表。

根据至少一个实施例，可以根据编码树配置并且可能根据所考虑的切片中允许的分区模式，在每个切片中动态地选择在标准性能表格、高性能表格、以及可选地低复杂度附加表格之间的、色度QP表的选择。因此，在该实施例中，所使用的色度QP表可以在切片之间变化。在那种情况下，可以在切片报头、画面报头或切片组报头中发信号通知所使用的色度QP表。

根据最后实施例的另一替代，色度QP表可以不在切片、画面或拼接块组报头中显式地发信号通知，而是可以由解码器根据所考虑的切片中使用的编码树配置(以及，可选地，所考虑的切片中允许的编码模式)来推断。

以与最后实施例相同的方式，在整个序列、GOP(画面组)或帧内周期中使用相同的色度QP表的情况下，解码器也可以根据在报头数据中使用的并发信号通知的编码树配置，并且还可选地，根据所考虑的序列、帧内周期或GOP的编码/解码中允许的编码模式，而推断出在该序列、帧内周期或GOP中使用的色度QP表。

适配色度量化参数的上述方法可用于修改JVET或HEVC编码器和解码器的量化和反量化模块(130、140、240)，如图1和图2所示。此外，本实施例不限于JVET或HEVC，并且可以应用于其他标准、建议及其扩展。上述各种实施例可以单独或组合使用。

图8图示了其中实现了各方面和实施例的系统的示例的框图。在至少一个实施例中，系统800可以实施为包括以下描述的各种组件的装置，并且被配置为执行本申请中描述的一个或多个方面。这样的装置的示例包括但不限于各种电子装置，例如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器、和服务器。系统800的元件可以单独或组合地实施在单个集成电路、多个IC和/或分立组件中。例如，在至少一个实施例中，系统800的处理和编码器/解码器元件在多个IC和/或分立组件之间分布。在各种实施例中，系统800例如经由通信总线或通过专用输入和/或输出端口，可通信地耦合到其他类似系统或其他电子装置。在各种实施例中，系统800被配置为实现本文档中描述的一个或多个方面。

系统800包括至少一个处理器810，所述至少一个处理器810被配置为执行其中加载的指令，用于实现例如本文档中描述的各个方面。处理器810可以包括嵌入式存储器、输入输出接口、和本领域已知的各种其他电路。系统800包括至少一个存储器820(例如，易失性存储器件和/或非易失性存储器件)。系统800包括储存装置840，其可以包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器、和/或光盘驱动器。作为非限制性示例，储存装置840可以包括内部储存装置、附接的储存装置和/或网络可访问的储存装置。

系统800包括编码器/解码器模块830，其被配置为例如处理数据以提供编码的视频或解码的视频，并且编码器/解码器模块830可以包括其自己的处理器和存储器。编码器/解码器模块830表示可以被包括在装置中以执行编码和/或解码功能的(多个)模块。如已知的，装置可以包括编码和解码模块之一或两者。另外，编码器/解码器模块830可以被实现为系统800的单独元件，或者可以作为本领域技术人员已知的硬件和软件的组合被并入处理器810内。

可以被加载到处理器810或编码器/解码器830上以执行本文档中描述的各个方面的程序代码可以被存储在储存装置840中，并且随后被加载到存储器820上以由处理器810执行。根据各种实施例，一个或多个处理器810、存储器820、储存装置840和编码器/解码器模块830可以在执行本文档中描述的处理期间，存储各种项目中的一项或多项。这样存储的项目可以包括但不限于输入视频、解码视频或解码视频的一部分、比特流、矩阵、变量、以及来自等式、公式、运算、和运算逻辑的处理的中间或最终结果。

在几个实施例中，使用处理器810和/或编码器/解码器模块830内部的存储器，来存储指令并为编码或解码期间所需的处理提供工作存储器。然而，在其他实施例中，使用处理装置(例如，处理装置可以是处理器810或编码器/解码器模块830)外部的存储器用于这些功能中的一个或多个。外部存储器可以是存储器820和/或储存装置840，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，使用外部非易失性闪存来存储电视的操作系统。在至少一个实施例中，将诸如RAM之类的快速外部动态易失性存储器用作用于诸如MPEG-2、HEVC或VVC(通用视频编码)之类的视频编码和解码操作的工作存储器。

如框866所示，可以通过各种输入装置来提供对系统800的元件的输入。这种输入装置包括但不限于(i)RF部分，该RF部分接收例如通过广播器在空中传送的RF信号，(ii)复合输入端子，(iii)USB输入端子，和/或(iv)HDMI输入端子。

在各种实施例中，框866的输入装置具有相关联的相应输入处理元件，如本领域中已知的。例如，RF部分可以与执行以下内容必需的元素相关联：(i)选择期望的频率(也称为选择信号，或将信号波段限制在频带内)，(ii)对所选信号进行下变频，(iii)再次波段限制到较窄的频带以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调所述下变频且波段限制的信号，(v)执行纠错，以及(vi)解多路复用以选择期望的数据分组的流。各种实施例的RF部分包括一个或多个执行这些功能的元件，例如，频率选择器、信号选择器、波段限制器、信道选择器、滤波器、下变频器、解调器、纠错器、和解多路复用器。RF部分可以包括执行各种这些功能的调谐器，包括例如将接收到的信号下变频为较低的频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其关联的输入处理元件接收通过有线(例如线缆)介质传送的RF信号，并通过滤波、下变频和再次滤波到期望的频带，来执行频率选择。各种实施例重新布置上述(和其他)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其他元件。添加元件可以包括在现有元件之间插入元件，例如，插入放大器和模数转换器。在各个实施例中，RF部分包括天线。

另外，USB和/或HDMI端子可以包括相应的接口处理器，用于通过USB和/或HDMI连接将系统800连接到其他电子装置。应当理解，输入处理的各个方面，例如里德-所罗门纠错，可以根据需要例如在单独的输入处理IC中或在处理器810中实现。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器810内实现。解调、纠错和解多路复用的流被提供到各种处理元件，包括例如处理器810、以及与存储器和储存元件组合操作以根据需要处理数据流用于在输出装置上呈现的编码器/解码器830。

可以在集成壳体内提供系统800的各个元件。在集成壳体内，可以使用合适的连接布置(例如，本领域中已知的内部总线(包括I2C总线)、布线、和印刷电路板)将各个元件互连，并在它们之间传送数据。

系统800包括使得能够经由通信信道870与其他装置进行通信的通信接口850。通信接口850可以包括但不限于被配置为通过通信信道870传送和接收数据的收发器。通信接口850可以包括但不限于调制解调器或网卡，并且通信信道870可以例如在有线和/或无线介质内实现。

在各种实施例中，使用诸如IEEE 802.11的Wi-Fi网络将数据流式传输到系统800。在适于Wi-Fi通信的通信信道870和通信接口850上，接收这些实施例的Wi-Fi信号。这些实施例的通信信道870通常连接到接入点或路由器，该接入点或路由器提供对包括因特网的外部网络的访问，以允许流式传输应用和其他云上(over-the-top)通信。其他实施例使用机顶盒向系统800提供流式传输的数据，该机顶盒通过输入块866的HDMI连接传递数据。其他实施例也使用输入块866的RF连接向系统800提供流式传输的数据。

系统800可以向包括显示器880、扬声器882和其他外围装置884的各种输出装置提供输出信号。在实施例的各种示例中，其他外围装置884包括独立DVR、盘播放器、立体声系统、照明系统、和基于系统800的输出提供功能的其他装置中的一个或多个。在各种实施例中，使用诸如AV链路、CEC、或在有或没有用户干预的情况下使能装置到装置的控制的其他通信协议之类的信令，在系统800和显示器880、扬声器882、或其他外围装置884之间传递控制信号。输出装置可以通过各个接口860、862和864经由专用连接而通信地耦合至系统800。可替换地，输出设备可以经由通信接口850使用通信信道870而与系统800连接。显示器880和扬声器882可以与系统800的其他组件集成在诸如电视机的电子装置中的单个单元中。在各种实施例中，显示接口860包括显示驱动器，例如时序控制器(T Con)芯片。

例如，如果输入866的RF部分是单独的机顶盒的一部分，则显示器880和扬声器882可以作为选择与一个或多个其他组件分开。在显示器880和扬声器882是外部组件的各种实施例中，可以经由专用输出连接来提供输出信号，该专用输出连接包括例如HDMI端口、USB端口或复合(COMP)输出。

本文描述的实施方式可以例如以方法或处理、设备、软件程序、数据流或信号来实施。即使仅在单一形式的实施方式的上下文中进行讨论(例如，仅作为方法讨论)，所讨论的特征的实施方式也可以以其他形式(例如，设备或程序)来实现。设备可以例如以适当的硬件、软件和固件来实现。该方法可以在例如诸如处理器之类的设备中实现，该设备通常指的是处理装置，包括例如计算机、微处理器、集成电路、或可编程逻辑器件。处理器还包括通信装置，例如计算机、手机、便携式/个人数字助理(“PDA”)、和有助于最终用户之间的信息通信的其他装置。

图9A图示了根据实现色度量化适配的实施例的编码方法的示例的流程图。这种编码方法可以由图8中描述的系统800执行，并且可以更精确地由处理器810实现。在至少一个实施例中，在步骤910中，处理器810选择应该使用哪个色度QP表集。如上所述，可以使用不同的技术来完成选择，例如由用户手动地或者由编码器自动地，例如根据编码树配置在每个切片中动态地进行选择。一旦完成该选择，就在步骤920中根据所选择的色度分量的量化参数来执行编码，并且在高级语法元素中(例如，在下一个SPS、PPS或甚至切片标头中)发信号通知该色度QP表的选择。

图9B图示了根据实现色度量化适配的实施例的解码方法的一部分的示例的流程图。这样的解码方法可以由图8中描述的系统800来执行，并且可以更精确地由处理器810来实现。在至少一个实施例中，在步骤950中，信号被访问(例如，在输入接口上被接收或从介质支持中被读取)。提取并分析高级语法元素，以确定已在编码装置处选择的色度分量的量化参数。在步骤960中，使用这些参数用于反量化色度分量。传统的解码处理用于产生解码图像(图9B中未示出)，该解码图像可以例如提供到装置或在装置上显示。

根据另一实施例，用于驱动不同色度QP表之间的切换的编码性能级别的数量取值N>＝2。然后，此处介绍的SPS语法元素采取整数值的形式。

根据实施例，因为时间级别通常影响性能级别，所以编码性能级别的值取决于切片所属的时间层。结果，不同的时间级别可以使用不同的色度QP表。这通常适用于随机访问时间编码结构。然后，此处介绍的SPS元素包括每个时间级别一个编码级别值。

根据另一实施例，对于所述表的每个条目，在一系列色度QP值的形式下在SPS或PPS中对所述色度QP表进行直接编码。在该实施例的一个示例中，仅针对某些切片类型(通常为B切片)对所述表进行编码和解码。

根据另一实施例，对于所述表的每个条目，色度QP表在SPS或PPS中被直接编码，作为一系列差分(残差)整数值，指示基本色度QP和输出色度QP之间的增量。

根据另一实施例，当色度QP表被直接编码时，色度QP值仅针对输入的基本QP值的有限范围(或子集)被编码。

根据另一实施例，色度QP表在SPS或PPS中被直接编码，作为一系列差分(残差)整数值。第一QP增量相对于基本色度QP被编码，而随后值与先前值被区别编码。在另一实施例中，假设具有先前值的增量总是正的(没有符号要编码)。

提及“一个实施例”或“实施例”或“一个实施方式”或“实施方式”，以及它们的其他变型，是指在至少一个实施例中包括结合该实施例描述的特定特征、结构、特性等。因此，在整个说明书的各个地方的短语“在一实施例中”或“在实施例中”或“在一个实施方式中”或“在实施方式中”以及任何其他变型的出现不一定全部指代相同的实施例。

另外，本申请或其权利要求可以指代“确定”各条信息。确定信息可以包括例如以下中的一项或多项：估计信息、计算信息、预测信息、或从存储器中恢复信息。

此外，本申请或其权利要求可以指代“访问”各条信息。访问信息可以包括以下一项或多项：例如，接收信息、(例如从存储器中)恢复信息、存储信息、移动信息、复制信息、计算信息、预测信息、或估计信息。

另外，本申请或其权利要求可以指代“接收”各条信息。与“访问”一样，接收意欲是广义术语。接收信息可以包括例如访问信息或(例如，从存储器或光学介质储存器中)恢复信息中的一项或多项。此外，“接收”通常以一种或另一方式在以下操作期间涉及：诸如存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息、或估计信息。

应当理解，例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下使用以下“/”、“和/或”和“至少一个”中的任何一个旨在涵盖仅选择第一个列出的选项(A)、或仅选择第二个列出的选项(B)、或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这种措词旨在包括仅选择第一个列出的选项(A)、或仅选择第二个列出的选项(B)、或仅选择第三个列出的选项(C)、或仅选择第一个和第二个列出的选项(A和B)、或仅选择第一个和第三个列出的选项(A和C)、或者仅选择第二个和第三个列出的选项(B和C)、或者选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员显而易见的那样，对于列出的许多项目，这可以扩展。

对于本领域技术人员将显而易见的是，实施方式可以产生各种信号，这些信号被格式化以携带例如可以被存储或传送的信息。该信息可以包括例如用于执行方法的指令、或由所描述的实施方式之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。可以将这种信号格式化为例如电磁波(例如，使用谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且利用编码的数据流来调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的，该信号可以通过各种不同的有线或无线链路传送。该信号可以存储在处理器可读介质上。

根据依据第一方面的变型实施例，提出了一种方法，该方法还包括生成比特流，该比特流包括至少所述编码块和表示所述至少一个所选色度量化参数的元数据。

根据依据第二方面的变型实施例，提出了一种方法，该方法还包括基于图像的多个块的反量化的色度值来产生重构的图像。

根据依据第三方面的变型实施例，提出了一种信号，该信号还包括对图像的至少一个块的编码。

根据依据第四方面的变型实施例，提出了一种装置，该装置还包括用于生成比特流的部件，该比特流包括至少所述编码块、和表示所述至少一个所选色度量化参数的元数据。

根据依据第五方面的变型实施例，提出了一种装置，该装置还包括基于图像的多个块的反量化的色度值来产生重构图像。

Claims (7)

1.一种用于从编解码器视频流解码视频的方法，包括：

获得表示色度量化参数表的信息；和

根据所获得的色度量化参数表的值，对视频块的色度值进行反量化，

其中在编码视频流的画面级别或序列级别的参数集合中，对所述色度量化参数表进行直接编码，以及在一系列被称为色度量化增量的差分整数值的形式下对所述色度量化参数表进行编码，第一色度量化增量相对于基本色度量化参数被编码，同时在所述第一色度量化增量之后的每一个色度量化增量被与前一个色度量化增量差分地编码。

2.根据权利要求1所述的方法，其中仅针对所述视频的B切片，对所述表进行编码。

3.如权利要求1所述的方法，其中仅针对有限范围的输入基本色度量化参数值，对所述色度量化参数值进行编码。

4.根据权利要求1所述的方法，其中具有先前值的增量总为正，使得不需要对符号进行编码。

5.一种用于从编解码器视频流解码视频的装置(800)，包括解码器(830)，被配置为：

获得表示色度量化参数表的信息；

根据所获得的色度量化参数表的值，对视频块的色度值进行反量化，

其中在编码视频流的画面级别或序列级别的参数集合中，对所述色度量化参数表进行直接编码，以及在一系列被称为色度量化增量的差分整数值的形式下对所述色度量化参数表进行编码，第一色度量化增量相对于基本色度量化参数被编码，同时在所述第一色度量化增量之后的每一个色度量化增量被与前一个色度量化增量差分地编码。

6.一种用于编码视频的方法，包括：

选择色度量化参数表；和

根据获得的色度量化参数表的值，对视频块的色度值进行量化，和

将所量化的值、和表示所选择的色度量化参数表的高级语法信息编码为编码视频流，

其中在所述编码视频流的画面级别或序列级别的参数集合中，对所述表进行直接编码，以及在一系列被称为色度量化增量的差分整数值的形式下对所述表进行编码，第一色度量化增量相对于基本色度量化参数被编码，同时在所述第一色度量化增量之后的每一个色度量化增量被与前一个色度量化增量差分地编码。

7.一种用于编码视频的装置(800)，包括编码器(830)，被配置为：

选择色度量化参数表；和

根据获得的色度量化参数表的值，对视频块的色度值进行量化，和

将所量化的值、和表示所选择的色度量化参数表的高级语法信息编码为编码视频流，

其中在所述编码视频流的画面级别或序列级别的参数集合中，对所述表进行直接编码，以及在一系列被称为色度量化增量的差分整数值的形式下对所述表进行编码，第一色度量化增量相对于基本色度量化参数被编码，同时在所述第一色度量化增量之后的每一个色度量化增量被与前一个色度量化增量差分地编码。