CN113728627B

CN113728627B - 用于环路内重构的参数的预测

Info

Publication number: CN113728627B
Application number: CN202080031425.2A
Authority: CN
Inventors: 张莉; 张凯; 刘鸿彬; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-04-26
Filing date: 2020-04-26
Publication date: 2023-09-19
Anticipated expiration: 2040-04-26
Also published as: WO2020216380A1; CN113728627A

Abstract

描述了用于环路内重构的参数的预测。在示例性方面，一种用于视频处理的方法包括：针对视频的图片和图片的比特流表示之间的转换，确定与图片相关联的具有色度缩放的亮度映射(LMCS)参数，其中LMCS参数从图片的一个视频编解码单元到另一视频编解码单元自适应地改变；以及基于确定的LMCS参数执行转换；其中当将LMCS应用于视频块时，基于第一域和第二域构造视频块和/或以亮度相关的方式缩放色度残差。

Description

用于环路内重构的参数的预测

相关申请的交叉引用

根据适用的专利法和/或巴黎公约的规定，提出本申请是为了及时要求2019年4月26日提交的国际专利申请第PCT/CN2019/084473号的优先权和利益。通过引用将国际专利申请第PCT/CN2019/084473号的全部公开内容并入作为本申请的公开内容的一部分。

技术领域

本专利文件涉及视频编解码技术、装置和系统。

背景技术

当前，正在努力改善当前视频编解码器技术的性能以提供更好的压缩率或提供允许较低复杂度或并行化实现的视频编码和解码方案。行业专家最近提出了几种新的视频编解码工具，目前正在进行测试以确定其有效性。

发明内容

描述了与数字视频编解码有关的，具体地与运动矢量的管理有关的装置，系统和方法。所述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(HEVC)或多功能视频编解码)和未来的视频编解码标准或视频编解码器。

在一个代表性方面，公开的技术可以用于提供一种用于视频处理的方法。该方法包括在当前视频单元和当前视频单元的比特流表示之间执行转换，其中在转换期间，使用环路内重构步骤以根据与当前视频单元相关联的重构模型信息将当前视频单元的表示从第一域变换为第二域，并且其中重构模型信息从当前视频单元到另一视频单元自适应地改变。

在另一个代表性方面，公开的技术可以用于提供另一种用于视频处理的方法。该方法包括在当前视频单元和当前视频单元的比特流表示之间执行转换，其中在转换期间，使用环路内重构步骤以根据与当前视频单元相关联的重构模型信息将当前视频单元的表示从第一域变换为第二域，并且其中重构模型信息包括在比特流表示中选择性地信令通知的附加边信息(side information)。

在又一个代表性方面，公开的技术可以用于提供又一种用于视频处理的方法。该方法包括在当前视频单元和当前视频单元的比特流表示之间执行转换，其中在转换期间，使用环路内重构步骤以根据与环路内重构步骤相关联的边信息将当前视频单元的表示从第一域变换为第二域，其中环路内重构步骤部分地基于重构模型信息，并且其中在转换期间，将重构模型信息存储在与从多个编解码步骤选择的编解码步骤相关联的缓冲器中。

在进一步的代表性方面，公开的技术可以用于提供又一种用于视频处理的方法。该方法包括在当前视频单元和当前视频单元的比特流表示之间执行转换，其中在转换期间，使用环路内重构步骤以根据与当前视频单元相关联的重构模型信息将当前视频单元的表示从第一域变换为第二域，并且其中将重构模型信息从当前视频单元到另一视频单元自适应地改变，其中与环路内重构步骤相关的自适应参数集(APS)或APS的索引与一个或多个属性相关联。

在另一个代表性方面，公开的技术可以用于提供另一种用于视频处理的方法。该方法包括针对视频的图片和图片的比特流表示之间的转换，确定与图片相关联的具有色度缩放的亮度映射(LMCS)参数，其中LMCS参数从图片的一个视频编解码单元到另一视频编解码单元自适应地改变；以及基于确定的LMCS参数执行转换；其中当将LMCS应用于视频块时，基于第一域和第二域构造视频块和/或以亮度相关的方式缩放色度残差。

在另一个代表性方面，公开的技术可以用于提供另一种用于视频处理的方法。该方法包括针对视频的图片和图片的比特流表示之间的转换，确定与图片相关联的具有色度缩放的亮度映射(LMCS)参数，其中LMCS参数从同一个视频编解码单元内的一个视频编解码子单元到另一视频编解码子单元自适应地改变；以及基于确定的LMCS参数执行转换；其中当将LMCS应用于视频块时，基于第一域和第二域构造视频块和/或以亮度相关的方式缩放色度残差。

在另一个代表性方面，公开的技术可以用于提供另一种用于视频处理的方法。该方法包括针对视频的图片和图片的比特流表示之间的转换，确定与图片相关联的具有色度缩放的亮度映射(LMCS)参数，其中LMCS参数根据同一个视频编解码子单元内的样点的位置自适应地改变；以及基于确定的LMCS参数执行转换；其中当将LMCS应用于视频块时，基于第一域和第二域构造视频块和/或以亮度相关的方式缩放色度残差。

在另一个代表性方面，公开的技术可以用于提供另一种用于视频处理的方法。该方法包括针对视频的图片和图片的比特流表示之间的转换，确定与图片相关联的具有色度缩放的亮度映射(LMCS)参数，其中取决于编解码模式信息、参考图片和图片的运动信息中的至少一个来确定LMCS参数；以及基于确定的LMCS参数执行转换；其中当将LMCS应用于视频块时，基于第一域和第二域构造视频块和/或以亮度相关的方式缩放色度残差。

在另一个代表性方面，公开的技术可以用于提供另一种用于视频处理的方法。该方法包括针对在视频的图片和图片的比特流表示之间的转换，确定存储在缓冲器中的与转换期间的第一过程相关联的自适应参数集(APS)的数量，缓冲器用于存储与转换期间的一个或多个过程相关联的一个或多个APS；比较APS的数量与预定最大数量M_X，M_X是整数；以及响应于确定APS的数量小于或等于预定最大数量M_X而执行转换。

在另一个代表性方面，公开的技术可以用于提供另一种用于视频处理的方法。该方法包括针对视频的图片和图片的比特流表示之间的转换，通过将色度残差缩放操作合并到去量化步骤中来修正具有色度缩放的亮度映射(LMCS)步骤；以及基于经修正的LMCS步骤执行转换。

此外，在一个代表性方面，公开了一种视频系统中的装置，其包括处理器和在其上具有指令的非暂时性存储器。指令在由处理器执行时使处理器实施公开的方法中的任何一个或多个。

此外，公开了一种存储在非暂时性计算机可读介质上的计算机程序产品，计算机程序产品包括用于执行公开的方法中的任何一个或多个的程序代码。

在附图，说明书和权利要求书中更详细地描述了公开技术的上述和其他方面以及特征。

附图说明

图1示出了使用环路内亮度重构的解码过程的示例。

图2示出了在双边滤波器中使用的相邻样点的示例。

图3示出了用于权重计算的加窗样点的示例。

图4示出了扫描模式的示例。

图5示出了图片的光栅扫描条带分割的示例。

图6示出了图片的矩形条带分割的示例。

图7示出了分割成片、砖块和矩形条带的图片的示例。

图8示出了在公开的依赖性量化方案中使用的标量量化器的示例。

图9示出了用于公开的依赖性量化方案的状态转换和量化器选择的示例。

图10A和10B示出了扫描顺序的示例。

图11示出了对应于方块变换的量化矩阵(QM)信令的选择位置的示例。

图12示出了对应于方块变换的量化矩阵(QM)信令的选择位置的另一示例。

图13A和13B示出了对应于非方块变换的量化矩阵(QM)信令的选择位置的示例。

图14是用于实现本文件中描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。

图15示出了用于视频编解码的示例方法的流程图。

图16示出了用于视频编解码的示例方法的流程图。

图17示出了用于视频编解码的示例方法的流程图。

图18示出了用于视频编解码的示例方法的流程图。

图19示出了用于视频编解码的示例方法的流程图。

图20示出了用于视频编解码的示例方法的流程图。

图21示出了用于视频编解码的示例方法的流程图。

具体实施方式

1.HEVC/H.265中的视频编解码

视频编解码标准主要是通过开发著名的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4 Visual，这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。从H.262开始，视频编解码标准基于混合视频编解码结构，其中利用了时域预测和变换编解码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索团队(JVET)。此后，JVET采纳了许多新方法并将其引入到名为“联合探索模型”(JEM)的参考软件中。2018年4月，VCEG(Q6/16)与ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立以致力于VVC标准，与HEVC相比，其比特率降低50％。

2.1.环路内重构(ILR)

环路内重构(ILR)的基本思想是将原始(在第一域中)信号(预测/重建信号)转换到第二域(重构域)。具有色度缩放的亮度映射(LMCS)也指的是它。

环路内亮度重构器实现为一对查找表(LUT)，但是两个LUT中只有一个需要信令通知，因为另一个可以从信令通知的LUT计算。每个LUT是一维、10比特、1024项映射表(1D-LUT)。一个LUT是正向LUT，FwdLUT，其将输入的亮度码值Y_i映射到更改值Y_r:Y_r＝FwdLUT[Y_i]。另一个LUT是反向LUT，InvLUT，其将更改码值Y_r映射到(/>代表Y_i的重建值)。

2.1.1.PWL模型

从概念上讲，分段线性(PWL)通过以下方式实现：

对于一段，令x1，x2为两个输入枢轴点，并且y1，y2为它们对应的输出枢轴点。对于x1和x2之间的任何输入值x，输出值y可以通过以下方程进行插值：

y＝((y2-y1)/(x2-x1))*(x-x1)+y1

在定点实现方式中，方程可以重写为：

y＝((m*x+2^FP_PREC-1)>>FP_PREC)+c

其中m是标量，c是偏移量，FP_PREC是用于指定精度的常数。

请注意，在CE-12软件中，PWL模型用于预先计算1024项FwdLUT和InvLUT映射表；但是PWL模型还允许无需预先计算LUT即可即时计算相同映射值的实现方式。

2.1.2.测试CE12-2

2.1.2.1.亮度重构

环路内亮度重构的测试2(即提案中的CE12-2)提供了较低复杂度的管线，所述管线也消除了条带间重建中逐块帧内预测的解码延迟。帧内和帧间条带均在重构域中执行帧内预测。

不管条带类型如何，始终在重构域中执行帧内预测。通过这样的布置，可以在先前的TU重建完成之后立即开始帧内预测。这样的布置还可以为帧内模式提供统一的过程，而不是依赖于条带。图1示出了基于模式的CE12-2解码过程的框图。

CE12-2还测试了亮度和色度残差缩放的16段分段线性(PWL)模型，而不是CE12-1的32段PWL模型。

在CE12-2中使用环路内亮度重构器进行条带间重建(浅绿色阴影块表示重构域中的信号：亮度残差；预测的帧内亮度；以及重建的帧内亮度)

2.1.2.2.亮度依赖性色度残差缩放

亮度依赖性色度残差缩放是使用定点整数运算实现的乘法过程。色度残差缩放补偿亮度信号与色度信号的相互作用。色度残差缩放适用于TU级别。更具体地，以下适用：

–对于帧内，对重建亮度进行平均。

–对于帧间，对预测亮度进行平均。

平均值用于标识PWL模型中的索引。该索引标识缩放比例因子cScaleInv。色度残差乘以该数字。

请注意，色度缩放比例因子是根据正向映射的预测亮度值而不是重构亮度值计算的。

2.1.2.3.ILR的用法

在编码器侧，首先将每个图片(或片组)转换到重构域。并且所有编解码过程都在重构域中执行。对于帧内预测，相邻块位于重构域中；对于帧间预测，首先将参考块(从解码图片缓冲器的原始域生成)转换到重构域。然后生成残差并将其编解码到比特流。

在整个图片(或片组)完成编码/解码之后，将重构域中的样点转换到原始域，然后应用去块滤波器和其他滤波器。

在以下情况下禁用对预测信号的正向重构：

–当前块被帧内编解码。

–当前块被编解码为CPR(当前图片参考，又名帧内块复制，IBC)。

–当前块被编解码为组合帧间帧内模式(CIIP)，并且帧内预测块禁用正向重构。

2.1.2.4.VVC Working Draft 5中的语法和语义

7.3.2.3序列参数集RBSP语法

seq_parameter_set_rbsp(){	描述符
		sps_decoding_parameter_set_id	u(4)
sps_max_sub_layers_minus1	u(3)
		sps_reserved_zero_5bits	u(5)
profile_tier_level(sps_max_sub_layers_minus1)
		gra_enabled_flag	u(1)
…
		sps_triangle_enabled_flag	u(1)
sps_lmcs_enabled_flag	u(1)
		sps_ladf_enabled_flag	u(1)
…
		rbsp_trailing_bits()
}

7.3.2.5自适应参数集语法

7.3.5条带标头语法

7.3.5.1通用条带标头语法

7.3.5.4具有色度缩放的亮度映射数据语法

LMCS APS：aps_params_type等于LMCS_APS的APS。

sps_lmcs_enabled_flag等于1表示在CVS中使用具有色度缩放的亮度映射。sps_lmcs_enabled_flag等于0表示在CVS中不使用具有色度缩放的亮度映射。

7.4.3.5自适应参数集语义

adaptation_parameter_set_id提供APS的标识符以供其他语法元素参考。

注–APS可以在图片之间共享，并且在图片的不同条带中可以不同。

aps_params_type指定表1中指定的APS中携带的APS参数的类型。

表1–APS参数类型码和APS参数类型

slice_lmcs_enabled_flag等于1表示当前条带启用具有色度缩放的亮度映射。slice_lmcs_enabled_flag等于0表示当前条带未启用具有色度缩放的亮度映射。如果不存在slice_lmcs_enabled_flag，则将其推断为等于0。

slice_lmcs_aps_id指定条带所参考的LMCS APS的adaptation_parameter_set_id。adaptation_parameter_set_id等于slice_lmcs_aps_id的LMCS APS NAL单元的TemporalId应当小于或等于编解码条带NAL单元的TemporalId。

当相同图片的两个或更多个条带指的是具有adaptation_parameter_set_id的相同值的多个LMCS APS时，具有adaptation_parameter_set_id的相同值的多个LMCS APS应当具有相同的内容。

7.4.6.4具有色度缩放的亮度映射数据语义

lmcs_min_bin_idx指定在具有色度缩放的亮度映射构造过程中使用的最小bin索引。lmcs_min_bin_idx的值应当在0到15(含)的范围内。

lmcs_delta_max_bin_idx指定在具有色度缩放的亮度映射构造过程中使用的介于15和最大bin索引LmcsMaxBinIdx之间的增量值。lmcs_delta_max_bin_idx的值应当在0到15(含)的范围内。LmcsMaxBinIdx的值设定为等于15-lmcs_delta_max_bin_id。LmcsMaxBinIdx的值应当大于或等于lmcs_min_bin_idx。

lmcs_delta_cw_prec_minus1加1指定用于表示语法lmcs_delta_abs_cw[i]的比特数。lmcs_delta_cw_prec_minus1的值应当在0到BitDepthY-2(含)的范围内。

lmcs_delta_abs_cw[i]指定第i个bin的绝对delta码字值。

lmcs_delta_sign_cw_flag[i]指定变量lmcsDeltaCW[i]的符号如下：

–如果lmcs_delta_sign_cw_flag[i]等于0，则lmcsDeltaCW[i]为正值。

–否则(lmcs_delta_sign_cw_flag[i]不等于0)，lmcsDeltaCW[i]为负值。

当不存在lmcs_delta_sign_cw_flag[i]时，将其推断为等于0。

变量OrgCW的推导如下：

OrgCW＝(1<<BitDepth_Y)/16 (7-77)

变量lmcsDeltaCW[i](其中i＝lmcs_min_bin_idx..LmcsMaxBinIdx)推导如下：

lmcsDeltaCW[i]＝(1-2*lmcs_delta_sign_cw_flag[i])*lmcs_delta_abs_cw[i](7-78)

变量lmcsCW[i]推导如下：

–对于i＝0..lmcs_min_bin_idx-1，将lmcsCW[i]设定为等于0。

–对于i＝lmcs_min_bin_idx..LmcsMaxBinIdx，以下适用：

lmcsCW[i]＝OrgCW+lmcsDeltaCW[i] (7-79)

lmcsCW[i]的值应当在(OrgCW>>3)到(OrgCW<<3-1)(含)的范围内。

–对于i＝LmcsMaxBinIdx+1..15，将lmcsCW[i]设定为等于0。

满足以下条件是比特流一致性的要求：

变量InputPivot[i](其中i＝0..16)推导如下：

InputPivot[i]＝i*OrgCW (7-81)

变量LmcsPivot[i](其中i＝0..16)，变量ScaleCoeff[i]和InvScaleCoeff[i](其中i＝0..15)推导如下：

变量ChromaScaleCoeff[i](其中i＝0…15)推导如下：

变量ClipRange，LmcsMinVal和LmcsMaxVal推导如下：

ClipRange＝((lmcs_min_bin_idx>0)&&(LmcsMaxBinIdx<15) (7-84)

LmcsMinVal＝16<<(BitDepth_Y-8) (7-85)

LmcsMaxVal＝235<<(BitDepth_Y-8) (7-86)

注–仅当slice_lmcs_model_present_flag等于1时，才更新数组InputPivot[i]和LmcsPivot[i]，ScaleCoeff[i]，InvScaleCoeff[i]，ChromaScaleCoeff[i]，ClipRange，LmcsMinVal和LmcsMaxVal。因此，例如，Lmcs可以与IRAP图片一起发送，但是该IRAP图片禁用lmcs。

2.2.虚拟管线数据单元(VPDU)

虚拟管线数据单元(VPDU)定义为图片中不重叠的MxM-luma(L)/NxN-chroma(C)单元。在硬件解码器中，连续的VPDU由多个管线级同时处理。不同级同时处理不同的VPDU。在大多数管线级中VPDU尺寸与缓冲器尺寸大致成正比，因此保持VPDU尺寸很小非常重要。在HEVC硬件解码器中，VPDU尺寸设定为最大变换块(TB)尺寸。将最大TB尺寸从32x32-L/16x16-C(如在HEVC中)增加到64x64-L/32x32-C(如在当前VVC中)可以带来编解码增益，从而与HEVC相比预期导致4X的VPDU尺寸(64x64-L/32x32-C)。然而，除了四叉树(QT)编解码单元(CU)分割之外，VVC中还采用了三叉树(TT)和二叉树(BT)来实现额外的编解码增益，并且TT和BT划分可以递归地应用于128x128-L/64x64-C编解码树块(CTU)，据说与HEVC相比导致16X的VPDU尺寸(128x128-L/64x64-C)。

在当前的VVC设计中，VPDU尺寸定义为64x64-L/32x32-C。

2.3.APS

在VVC中采用了自适应参数集(APS)来携带ALF参数。片组标头包含当启用ALF时有条件地存在的aps_id。APS包含aps_id和ALF参数。为APS分配新的NUT(NAL单元类型，如在AVC和HEVC中)值。对于VTM-4.0(将出现)中的常见测试条件，建议仅使用aps_id＝0并随每张图片一起发送APS。目前，APS ID值的范围为0..31，并且APS可以在图片之间共享(并且在图片内的不同片组中可以不同)。当存在时ID值应当是固定长度编解码的。ID值不能与相同图片中的不同内容重复使用。

7.3.5.3自适应环路滤波器(ALF)数据语法

7.3.7.2编解码树单元语法

slice_alf_enabled_flag等于1表示自适应环路滤波器被启用并且可以应用于条带中的Y，Cb或Cr颜色分量。slice_alf_enabled_flag等于0表示条带中的所有颜色分量禁用自适应环路滤波器。

num_alf_aps_ids_minus1加1指定条带所参考的ALF APS的数量。num_alf_aps_ids_minus1的值应当在0到7(含)之间。

slice_alf_aps_id[i]指定条带所参考的第i个ALF APS的adaptation_parameter_set_id。adaptation_parameter_set_id等于slice_alf_aps_id[i]的ALF APSNAL单元的TemporalId应当小于或等于编解码slice NAL单元的TemporalId。

当相同图片的两个或更多个条带指的是具有adaptation_parameter_set_id的相同值的多个ALF APS时，具有adaptation_parameter_set_id的相同值的多个ALF APS应当具有相同的内容。

alf_ctb_flag[cIdx][xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]等于1表示将自适应环路滤波器应用于在亮度位置(xCtb，yCtb)处由编解码树单元的cIdx指示的颜色分量的编解码树块。alf_ctb_flag[cIdx][xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]等于0表示不将自适应环路滤波器应用于在亮度位置(xCtb，yCtb)处由编解码树单元的cIdx指示的颜色分量的编解码树块。

当不存在alf_ctb_flag[cIdx][xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]时，将其推断为等于0。

2.4.相关工具

2.4.1.扩散滤波器(DF)

提出了扩散滤波器，其中可以通过扩散滤波器进一步修改CU的帧内/帧间预测信号。

2.4.1.1.均匀扩散滤波器

均匀扩散滤波器是通过将预测信号与固定掩膜卷积实现的，所述固定掩膜表示为如下定义的h^I或h^IV。除了预测信号本身之外，块左上方的一行重建样点的还用作滤波信号的输入，其中可以避免在帧间块上使用这些重建样点。

令pred为通过帧内或运动补偿预测获得的给定块上的预测信号。为了处理滤波器的边界点，需要将预测信号扩展到预测信号pred_ext。可以通过两种方式形成该扩展预测：作为中间步骤，将块左上方的一行重建样点添加到预测信号，然后在所有方向上镜像结果信号。或者，仅预测信号本身在所有方向上镜像。后一扩展用于帧间块。在该情况下，仅预测信号本身包括扩展预测信号pred_ext的输入。

如果要使用滤波器h^I，则建议使用上述边界扩展将预测信号pred替换为h^I*pred。

这里，滤波器掩模h^I表示为

如果要使用滤波器h^IV，则建议将预测信号pred替换为

h^IV*pred。

这里，滤波器h^IV表示为

h^IV＝h^I*h^I*h^I*h^I。

2.4.1.2.定向扩散滤波器

代替使用信号自适应扩散滤波器，使用仍然具有固定掩模的定向滤波器，水平滤波器h^ho和竖直滤波器h^ver。更精确地，对应于先前部分的掩模h^I的均匀扩散滤波被简单地限制为仅沿竖直方向或沿水平方向应用。竖直滤波器通过将固定滤波器掩模

应用到预测信号而实现，并且水平滤波器通过使用转置掩模

而实现。

2.4.2.双边滤波器(BF)

提出了双边滤波器，并且其始终应用于具有非零变换系数且条带量化参数大于17的亮度块。因此，无需信令通知双边滤波器的使用。如果应用，则在逆变换之后立即对解码样点执行双边滤波器。另外，滤波器参数(即权重)从编解码信息推导。

滤波过程定义为：

其中P_0，0是当前样点的强度，P′_0，0是当前样点的修改强度，P_k，0和W_k分别是第k个相邻样点的强度和加权参数。在图2中示出了一个当前样点及其四个相邻样点(即K＝4)的示例。

更具体地，与第k个相邻样点相关联的权重W_k(x)定义如下：

W_k(x)＝Distance_k×Range_k(x) (2)

其中

并且σ_d取决于编解码模式和编解码块尺寸。所述的滤波过程应用于帧内编解码块，并且当TU被进一步划分时应用于帧间编解码块，以使得能够进行并行处理。

为了更好地捕获视频信号的统计属性并提高滤波器的性能，方程(2)产生的权重函数通过σ_d参数进行调整，该参数在表2中制表为取决于编解码模式和块分割参数(最小尺寸)。

表2不同块尺寸和编解码模式的σ_d的值

为了进一步提高编解码性能，对于当不划分TU时的帧间编解码块，当前样点与其相邻样点中的一个之间的强度差由覆盖当前样点和相邻样点的两个窗口之间的代表性强度差代替。因此，滤波过程的方程修正为：

其中P_k，m和P_0，m分别代表以P_k，0和P_o，0为中心的窗口内的第m个样点值。在该建议中，窗口尺寸设定为3×3。在图3中示出了覆盖P_2，0和P_0，0的两个窗口的示例。

2.4.3.Hadamard变换域滤波器(HF)

1D Hadamard变换域中的环路内滤波器在重建后在CU级别上应用并具有无乘法实现方式。建议的滤波器适用于满足预定义条件的所有CU块，并且滤波器参数从编解码信息推导。

建议的滤波始终应用于具有非零变换系数的亮度重建块，不包括4x4块，并且条带量化参数大于17。滤波参数显式地从编解码信息推导。如果应用，则在逆变换之后立即对解码样点执行建议的滤波器。

对于来自重建块的每个像素，像素处理包括以下步骤：

·根据扫描模式扫描包括当前像素的处理像素周围的4个相邻像素

·读取像素的4点Hadamard变换

·频谱滤波基于以下公式：

其中(i)是Hadamard频谱中的频谱分量的索引，R(i)是与索引对应的重建像素的频谱分量，σ是使用以下方程从编解码器量化参数QP推导的滤波参数：

σ＝2^{(1+0.126*(QP-27))}

扫描模式的示例在图4上示出。

对于位于CU边界上的像素，调整扫描模式以确保所有所需像素都在当前CU内。

2.5.图片，条带，片，砖块和CTU的分割

图片被分成一个或多个片行和一个或多个片列。片是覆盖图片的矩形区域的一系列CTU。

片被分成一个或多个砖块，每个砖块由片内的多个CTU行组成。

未分割成多个砖块的砖块也称为砖块。然而，作为片的真实子集的砖块不称为片。

条带包含图片的多个片或片的多个砖块。

支持条带的两种模式，即，光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式下，条带包含图片的片光栅扫描中的一系列条带。在矩形条带模式下，条带包含图片的大量砖块，所述砖块共同形成图片的矩形区域。矩形条带内的砖块按照条带的砖块光栅扫描顺序。

图5示出了图片的光栅扫描条带分割的示例，其中图片被分成12个片和3个光栅扫描条带。

图6示出了图片的矩形条带分割的示例，其中图片被分成24个片(6个片列和4个片行)和9个矩形条带。

图7示出了分割成片，砖块和矩形条带的图片的示例，其中图片被分成4个片(2个片列和2个片行)，11个砖块(左上片包含1个砖块，右上片包含5个砖块，左下片包含2个砖块，右下片包含3个砖块)和4个矩形条带。

当使用三个单独的颜色平面对图片进行编解码时(separate_colour_plane_flag等于1)，条带仅包含由colour_plane_id的对应值标识的一个颜色分量的CTU，并且图片的每个颜色分量阵列均由具有相同colour_plane_id值的条带组成。在图片内具有不同colour_plane_id值的编解码条带可以在以下条件下交织：对于colour_plane_id的每个值，具有该colour_plane_id值的编解码条带NAL单元应当按照每个编解码条带NAL单元的第一CTU的砖块扫描顺序中的增加CTU地址顺序。

注1-当sepeparate_colour_plane_flag等于0时，图片的每个CTU恰好包含在一个条带中。当sepeparate_colour_plane_flag等于1时，颜色分量的每个CTU恰好包含在一个条带中(即，图片的每个CTU的信息恰好存在于三个条带中，并且这三个条带的colour_plane_id值不同)。

2.6.量化矩阵

人类视觉系统(HVS)的众所周知的空间频率敏感性一直是现代图像和视频编解码算法和标准(包括JPEG，MPEG2，H.264/AVC High Profile和HEVC)的设计的许多方面背后的关键驱动力。

在MPEG2中使用的量化矩阵是8x8矩阵。在H.264/AVC中，量化矩阵块尺寸包括4x4和8x8。这些QM以SPS(序列参数集)和PPS(图像参数集)编码。H.264/AVC中用于QM信令的压缩方法是差分脉冲编解码调制(DPCM)。

在H.264/AVC High Profile中，使用4x4块尺寸和8x8块尺寸。对于4x4块尺寸有六个QM(即，用于帧内/帧间编解码和Y/Cb/Cr分量的单独矩阵)并且对于8x8块尺寸有两个QM(即，对帧内/帧间Y分量的单独矩阵)，因此仅需要八个量化矩阵即可编码成比特流。

2.6.1.VVC中的量化

在VTM4中，最大QP从51扩展到63，并且初始QP的信令也随之改变。当slice_qp_delta的非零值被编解码时，SliceQpY的初始值将在条带片段层进行修改。具体地，将init_qp_minus26的值修改为在-(26+QpBdOffsetY)至+37的范围内。

另外，相同的HEVC标量量化与称为相关标量量化的新概念一起使用。相关标量量化是指一种方法，其中变换系数的可允许重建值的集合取决于在重建顺序中在当前变换系数水平之前的变换系数水平的值。该方法的主要效果是，与HEVC中使用的常规独立标量量化相比，可允许的重建矢量在N维矢量空间中更密集地打包(N代表变换块中变换系数的数量)。这意味着，对于每N维单位体积的可允许重建矢量的给定平均数量，输入矢量和最接近的重建矢量之间的平均失真减小。通过以下方式实现相关标量量化的方法：(a)定义具有不同重建水平的两个标量量化器，以及(b)定义用于在两个标量量化器之间切换的过程。

在图8中示出了使用的两个标量量化器，其由Q0和Q1表示。可用重建水平的位置由量化步长Δ唯一地指定。所使用的标量量化器(Q0或Q1)未在比特流中显式地信令通知。而是，用于当前变换系数的量化器由按照编解码/重建顺序在当前变换系数之前的变换系数水平的奇偶校验确定。

如图9中所示，两个标量量化器(Q0和Q1)之间的切换通过具有四个状态的状态机实现。状态可以采用四个不同的值：0、1、2、3。它由按照编解码/重建顺序在当前变换系数之前的变换系数水平的奇偶校验唯一地确定。在用于变换块的逆量化开始时，将状态设定为等于0。按照扫描顺序(即，按照对它们进行熵解码的相同顺序)重建变换系数。在重建当前的变换系数之后，如图5中所示更新状态，其中k表示变换系数水平的值。

2.6.2.用户定义的量化矩阵

在该贡献中，建议在VTM4.0的基础上增加对信令通知默认和用户定义的缩放矩阵的支持。该建议符合更大的块尺寸范围(亮度从4×4到64×64，色度从2×2到32×32)，矩形TB，相关量化，多变换选择(MTS)，具有归零高频系数的大变换(与TB缩放矩阵的一步定义程序对齐)，帧内子块分割(ISP)和帧内块复制(IBC，也称为当前图片参考，CPR)。

建议在VTM4.0的基础上增加语法以支持默认和用户定义的缩放矩阵的信令，该语法符合以下条件：

–缩放矩阵的三种模式：OFF，DEFAULT和USER_DEFINED

–块的更大尺寸范围(亮度从4×4到64×64，色度从2×2到32×32)

–矩形变换块(TB)

–相关量化

–多重变换选择(MTS)

–具有归零高频系数的大变换

–帧内子块分割(ISP)

–帧内块复制(IBC，也称为当前图片参考，CPR)，与帧内编解码块共享相同的QM

–对于所有TB尺寸，默认缩放矩阵都是平坦的，默认值为16

–缩放矩阵不得应用于

ο所有TB尺寸的TS

ο二次变换(又称RST)

2.6.3.方块变换尺寸的QM的信令

2.6.3.1.缩放矩阵中的元素的扫描顺序

以与用于系数编解码的扫描顺序相同的扫描顺序，即对角线扫描顺序，对元素进行编解码。对角线扫描顺序的示例在图10中示出。

2.6.3.2.选择性元素的编解码

DC值(即，位于等于0的扫描索引处的元素，在矩阵的左上角)被分别编解码用于以下缩放矩阵：16×16、32×32和64×64。

–对于尺寸小于或等于8×8(N<＝8)的TB(NxN)

对于尺寸小于或等于8×8的TB，信令通知一个缩放矩阵中的所有元素。

–对于尺寸大于8×8(N>8)的TB(NxN)

如果TB尺寸大于8×8，则在一个8×8缩放矩阵中只有64个元素作为基本缩放矩阵被信令通知。这64个元素对应于坐标(m*X，m*Y)，其中m＝N/8且X，Y为[0…7]。换句话说，一个NxN块划分成多个m*m个非重叠区域，并且对于每个区域，它们共享相同的元素，并且信令通知该共享元素。

为了获得尺寸大于8×8的方块矩阵，将8×8基本缩放矩阵(通过元素的重复)上采样到相应的平方尺寸(即16×16、32×32、64×64)。

以32x32和64x64为例，要信令通知的元素的选定位置用圆圈标记。每个方块代表一个元素。

图11示出了用于QM信令的选定位置的示例(32x32变换尺寸)。

图12显示了用于QM信令的选定位置的示例(64x64变换尺寸)。

2.6.3.3.非方块变换尺寸的QM的推导

对于非方块变换尺寸，没有额外的QM信令。而是，非方块变换尺寸的QM从方块变换尺寸的QM推导。示例在图13中示出。

更具体地，当生成矩形TB的缩放矩阵时，考虑两种情况：

矩形矩阵H的高度大于宽度W，则尺寸为WxH的矩形TB的缩放矩阵ScalingMatrix由尺寸为baseL×baseL的参考缩放矩阵定义如下，其中baseL等于min(log2(H),3)：

对于i＝0:W-1,j＝0:H-1且/>

矩形矩阵H的高度小于宽度W，则尺寸为WxH的矩形TB的缩放矩阵ScalingMatrix由尺寸为baseL×baseL的参考缩放矩阵定义如下，其中baseL等于min(log2(W),3)：

对于i＝0:W-1,j＝0:H-1，且这里，int(x)通过截断分数部分来修改x的值。

2.6.3.4.量化矩阵的语法，语义

将与HEVC中相同的语法元素添加到SPS和PPS。然而，缩放列表数据语法的信令改变：

7.3.2.2序列参数集RBSP语法

7.3.2.2.1通用序列参数集RBSP语法

7.3.2.3图片参数集RBSP语法

7.3.2.3.1通用图片参数集RBSP语法

7.3.2.11缩放列表数据语法

7.4.3.11缩放列表数据语义

scale_list_pred_mode_flag[sizeId][matrixId]等于0表示缩放列表的值与参考缩放列表的值相同。参考缩放列表由scale_list_pred_matrix_id_delta[sizeId][matrixId]指定。

等于1的scaling_list_pred_mode_flag[sizeId][matrixId]表示显式地信令通知缩放列表的值。

scale_list_pred_matrix_id_delta[sizeId][matrixId]指定用于推导ScalingList[sizeId][matrixId]的参考缩放列表，ScalingList[sizeId][matrixId]的推导基于scale_list_pred_matrix_id_delta[sizeId][matrixId]如下：

–如果scaling_list_pred_matrix_id_delta[sizeId][matrixId]等于0，则从表3，表4，表5中指定的默认缩放列表ScalingList[sizeId][matrixId][i]推断缩放列表，其中i＝0.Min(63，(1<<(sizeId<<1)-1)。

–否则，从参考缩放列表中推断出缩放列表如下：

对于sizeId＝1…6，

refMatrixId＝matrixId-scaling_list_pred_matrix_id_delta[sizeId][matrixId]*(sizeId＝＝6？3:1)(7-XX)

如果sizeId等于1，则refMatrixId的值不得等于0或3。否则，如果sizeId小于或等于5，则scaleing_list_pred_matrix_id_delta[sizeId][matrixId]的值应当在0至matrixId(含)的范围内。否则(sizeId等于6)，scaling_list_pred_matrix_id_delta[sizeId][matrixId]的值应当在0至matrixId/3(含)的范围内。

表3–sizeId的规范

量化矩阵的尺寸	sizeId
		1x1	0
2x2	1
		4x4	2
8x8	3
		16x16	4
32x32	5
		64x64	6

表4–根据sizeId，预测模式和颜色分量指定matrixId

表5–sizeIdW和sizeIdH的规范

量化矩阵的尺寸	sizeIdW	sizeIdH
			1	0	0
2	1	1
			4	2	2
8	3	3
			16	4	4
32	5	5
			64	6	6

3.现有实现方式的缺点

IRL(又称LMCS)和ALF的当前设计可能具有以下问题：

1.一个条带内的不同片/砖块遵循相同的LMCS/ALF参数，这限制了LMCS/ALF的灵活性。

2.一个片内的所有块共享相同的LMCS参数(例如，开/关控制标志，PWL模型)，这是次优的，因为未考虑局部特征。

3.需要用于存储ALF APS的缓冲器，其中每当无限制地添加新的ALF APS时缓冲器尺寸保持增加。如果对多个帧进行编解码，则将减轻硬件和软件实现方式的负担。

a.对于LMCS APS缓冲器，也发现了类似的问题。

4.可以多次信令通知缩放矩阵，这可能导致缓冲器问题。

4.示例技术和实施例

以下描述的详细实施例应被视为示例以解释一般概念。这些实施例不应狭义地解释。此外，这些实施例可以以任何方式组合。

除了下面提到的DMVR和BIO之外，以下描述的方法还可以适用于其他解码器运动信息推导技术。

1.LMCS参数(例如，开/关控制标志，PWL模型)可以从一个视频编解码单元到另一视频编解码单元自适应地改变。例如，视频编解码单元可以是片或砖块。

a.在一个示例中，LMCS参数可以以片或砖块级信令通知。

b.替代地，可以在条带标头/图片标头中一起信令通知一个条带/图片内的不同片/砖块的LMCS相关信息。

c.类似地，ALF参数(例如，开/关控制标志，片/砖块所参考的ALF APS的数量，ALFAPS索引)可以从一个视频编解码单元到另一视频编解码单元自适应地改变。例如，视频编解码单元可以是片/砖块。

2.LMCS参数(例如，开/关控制标志，PWL模型)可以从一个区域或块到另一区域或块自适应地改变。

a.在一个示例中，区域或块可以是CTU行。

b.在一个示例中，区域或块可以是CTU。

c.在一个示例中，区域或块可以是VPDU。

d.在一个示例中，区域或块可以是CU。

e.LMCS的开/关控制可以在较低级确定，例如CTU/CU/VPDU等。

i.在一个示例中，可以在条带标头/片组标头或APS中信令通知处于较低级(例如，CTU，CU)的视频单元的开/关控制标志。

ii.在一个示例中，处于较低级(例如，CTU，CU)的视频单元的开/关控制标志可以与其他分割/模式信息一起信令通知，而不是在条带/片组级或在APS中信令通知。

iii.在一个示例中，可以根据当前块和/或先前解码的图片或块的解码信息来确定它。

3.LMCS参数可以例如根据样点的位置在一个区域或块内自适应地改变(例如，开/关控制标志，PWL模型)。

a.在一个示例中，LMCS参数可以取决于样点是否位于CTU边界处来自适应地改变。

b.可以限定样点相对于CTU边界的距离。替代地，此外，LMCS参数可以相应地改变。

c.对于到CTU边界的距离小于阈值的样点，LMCS参数可以从相邻CTU的参数继承。

i.在一个示例中，边界可以在相邻的CTU与当前的CTU之间。

d.对于具有不小于阈值的距离的样点，可以改为推导/信令通知LMCS参数。

4.如何选择LMCS参数(例如，开/关控制标志，PWL模型)可以取决于编解码模式信息/参考图片/运动信息。

a.在一个示例中，对于视频编解码单元(例如，条带/片/砖块)，以特定编解码模式编解码的第一块组可以共享相同的LMCS参数，而对于其他块，LMCS参数可以与第一块组不同。

i.在一个示例中，视频编解码单元可以是条带/片组/片/砖块。

ii.在一个示例中，第一块组以帧内模式编解码；

iii.在一个示例中，第一块组以帧内模式和/或IBC编解码；

iv.在一个示例中，第一块组以帧内模式和/或IBC和/或组合帧内-帧间预测(CIIP)编解码；

v.在一个示例中，第一块组以帧内模式和/或组合帧内-帧间预测(CIIP)编解码；

5.可以使用以下方法之一信令通知当前视频单元/块所参考的LMCS APS的指示，例如LMCS APS的索引(例如slice_lmcs_aps_id)：

a.在一个示例中，当前视频单元/块所参考的LMCS APS索引可以以固定长度例如M比特(例如，M＝5)进行编解码。

b.在一个示例中，当前视频单元/块所参考的LMCS APS索引可以以第k阶EG码(或Golomb-Rice码)进行编解码。

c.在一个示例中，当前视频单元/块所参考的LMCS APS索引可以以一元码(或截断一元码)进行编解码。

6.可以信令通知针对用某些模式编解码的视频单元或块有多少LMCS APS可以用于对视频单元的视频单元(例如，条带/片组/片/砖块)进行编解码。

a.数量可以在条带/片组/片/砖块或包含多个CTU/CU的其他类型的视频单元中信令通知。

i.在一个示例中，数量可以在某个范围内，例如，[1，M]，其中M可以是预定义的。

ii.在一个示例中，可以以固定长度对其进行编解码。

iii.在一个示例中，可以用一元码(或截断一元码)对其进行编解码。

iv.在一个示例中，可以用第k阶EG码(或Golomb-Rice码)对其进行编解码。

b.替代地，此外，可以进一步信令通知当前视频单元/块所参考的LMCS APS的指示，例如LMCS APS的索引。

i.在一个示例中，可以使用项目5中描述的方法。

c.在一个示例中，可以针对帧间条带/片/砖块/片组/图片，但是不针对帧内条带/片/砖块/片组/图片信令通知该数量和/或指示。

7.对于覆盖多个CU/CTU的一个CTU/VPDU/区域，可以在另一边信息(例如分割结构，模式信息)之后信令通知LMCS参数(例如，开/关标志，LMCS APS索引)。

8.可以在CTU/CU/VPDU等中信令通知信令附加LCMS参数(例如PWL模型)的指示。

a.在一个示例中，可以信令通知一个标志以指示是否需要信令通知附加的LCMS参数。

b.在一个示例中，是否信令通知LMCS APS索引可以取决于编解码信息。

i.在一个示例中，是否信令通知LMCS APS索引可以取决于帧间编解码块的百分比(例如，帧间编解码CU的出现，具有最小CU尺寸的帧间编解码块的出现)。

1.在一个示例中，当百分比大于阈值时，可以信令通知LMCS APS索引。

2.在一个示例中，当百分比大于阈值并且项目7a中提到的标志指示需要附加信息时，可以信令通知LMCS APS索引。

9.启用LMCS的亮度CTB可以在一个或多个在条带/片组级信令通知的LMCS参数集以及LMCS APS中的那些可用集之间切换。

a.可以显式地向解码器信令通知选择哪个LMCS参数集。

b.替代地，可以在解码器处隐式地推导选择哪个LMCS参数集。

10.可以利用LMCS参数的多级信令，其中第一级是较高级，例如条带/片组/片/砖块级，而第二级是较低级，例如CTU/CU级。

11.建议的方法可以在某些条件下应用，例如仅应用于帧间编解码块。

12.可以在LMCS APS中信令通知是否发送LMCS参数集的指示。

a.在一个示例中，可以在LMCS APS中信令通知标志以指示是否需要在该APS中进一步信令通知新的LMCS参数。

13.可以预定义用于表示PWL模型的一或多个参数集并将其用于解码一个视频单元。

a.在一个示例中，预定义集合可以在编解码过程期间被一个块直接继承。

b.替代地，预定集合可以用作预测器，以用于推导在编解码过程中一个块要使用的参数集合。

14.可以在编解码LMCS参数方面利用时域预测。

a.在一个示例中，先前编解码的LMCS参数集可以在编解码过程期间由一个块直接继承。

b.替代地，先前编解码的LMCS参数集可以用作预测器以用于推导在编解码过程期间将由一个块使用的参数集。

15.建议重构域和原始域中的比特深度可以不同。

a.在一个示例中，在重构域中编解码之前可以首先应用原始域中的输入样点的左移或右移。

i.替代地，此外，可以首先将重构域中的重建样点转换到原始域，然后进行左移或右移。

b.在一个示例中，在重构域中可以使用更高的比特深度。

i.在LMCS中，重构域中允许的样点值(由numReshapeValues表示)可以大于或等于(1<<BitDepth_Y)，其中BitDepth_Y是亮度分量的输入比特深度和/或重构亮度样点的比特输入。

1.在一个示例中，当numReshapeValues大于(1<<BitDepth_Y)时，输入样点的比特深度可以增加K(例如，K＝1、2，...)，例如，输入样点可以左移K。然后，可以对修改的输入亮度样点进行编码。

a.替代地，此外，输入色度样点也可以在编解码之前进行修改。

c.在一个示例中，重构域中的允许值(由numReshapeValues表示)可以等于(1<<BitDepth_Y)，例如，应用以下约束：

满足以下条件是比特流一致性的要求：

/>

缓冲器管理

16.可以预定义方法X相关的APS的最大数量，用M_X表示，并且用于存储方法X相关的APS的缓冲器只能具有方法X相关的APS的多达M_X个集合。

a.计数器用于记录比特流中编解码的APS的数量。

i.在一个示例中，可以在解码序列之前将计数器初始化为0。

ii.在一个示例中，当以下任一条件为真时可以将计数器重置为0：

1.当前图片为IDR图片。

2.当前图片为BLA图片。

3.按照解码顺序，当前图片是POC大于最后解码的IRAP图片的POC的第一图片，即在前图片之后和后图片之前。

4.编码器可以显式地向解码器信令通知消息以指示计数器应重置为0。

b.可以用与用于对当前条带/片组/图片/砖块进行编解码的方法X有关的参数集来更新缓冲器。

i.替代地，此外，如果缓冲器被更新，则计数器也可以增加1。

ii.替代地，此外，如果缓冲器被更新并且计数器小于M_X，则计数器也可以增加1。否则，计数器保持不变。

c.当更新缓冲器时，将应用先进先出规则来控制如何更新缓冲器。

i.替代地，编码器可以显式地向解码器信令通知一个或多个消息以指示如何管理缓冲器。

d.代替使用一个缓冲器，可以分配多个子缓冲器，并且每个子缓冲器可以对应于某些时域层和/或某些模式和/或其他规则。

i.在解码一个条带/片组/片/砖块之后，可以更新一个或多个对应的子缓冲器。

ii.在解码一个条带/片组/片/砖块之前，可以利用存储在一个或多个对应的子缓冲器中的参数。

17.对于上述方法，以下可能适用：

a.在一个示例中，X被定义为LMCS，并且建议存储LMCS APS的多达M_lmcs个集合。

b.在一个示例中，X被定义为ALF，并且建议存储ALF APS的多达M_alf个集合。

c.在一个示例中，X被定义为缩放矩阵，并且可以定义称为缩放矩阵APS的一种新APS类型以传输缩放矩阵的边信息，并且可以存储缩放矩阵APS的多达M_sm个集合。

d.上述两种方法中的任何一种的最大数量可以相等或不同地设定。

e.最大数量可以在SPS/VPS/PPS等中信令通知。

18.色度残差缩放操作可以合并到去量化步骤中。

a.在一个示例中，可以将色度残差缩放因子转换为增量QP值，并且可以将增量QP添加到色度块的QP。

5.附加实施例

在下表中，VVC草案版本5中的文本更改以带下划线的粗斜体字体显示。删除的文本以粗体标记。

在上面的示例中，slice_lmcs_aps_id以固定长度(5比特)进行编解码。替代地，以下可以适用

/>

在一个示例中，固定长度编解码可以用于编解码slice_lmcs_aps_id[i]，例如M设定为5。

num_lmcs_aps_ids_minus1加1指定条带所参考的LMCS APS的数量。num_lmcs_aps_ids_minus1的值应当在0到K(含)的范围内(例如，K＝7)。

slice_lmcs_aps_id[i]指定条带所参考的第i个LMCS APS的adaptation_parameter_set_id。adaptation_parameter_set_id等于slice_lmcs_aps_id[i]的LMCSAPS NAL单元的TemporalId应当小于或等于编解码条带NAL单元的TemporalId。

7.3.4.2编解码树单元语法

lmcs_temporal_index指定在条带标头中信令通知的slice_lmcs_aps_id的索引。

假设slice_lmcs_aps_id[i]＝j，并且将lmcs_temporal_index解码为i，则索引等于j的adaptation_parameter_set_id用于解码当前CTU。

6.公开技术的示例实现方式

图14是视频处理装置1400的框图。装置1400可以用于实现本文描述的一种或多种方法。装置1400可以体现在智能手机，平板电脑，计算机，物联网(IoT)接收器等中。装置1400可以包括一个或多个处理器1402，一个或多个存储器1404和视频处理硬件1406。(一个或多个)处理器1402可以配置成实现本文件中描述的一种或多种方法。存储器(多个存储器)1404可以用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件1406可以用于在硬件电路中实现本文件中描述的一些技术，并且可以部分地或完全地是处理器1402(例如，图形处理器核心GPU或其他信号处理电路)的一部分。

在本文件中，术语“视频处理”可以指视频编码，视频解码，视频压缩或视频解压缩。例如，可以在从视频的像素表示到相应的比特流表示的转换期间应用视频压缩算法，反之亦然。如语法所定义，当前视频块的比特流表示可以例如对应于在比特流内共位或在不同位置扩展的比特。例如，可以根据变换和编解码的误差残差值并且还使用标头中的比特和比特流中的其他字段来对宏块进行编码。

应当理解，公开的方法和技术将通过允许使用本文件中公开的技术而有益于结合在诸如智能手机，膝上型计算机，台式机和类似装置的视频处理装置内的视频编码器和/或解码器实施例。

图15是视频处理的示例方法1500的流程图。方法1500包括，在1510处，在当前视频单元和当前视频单元的比特流表示之间执行转换，其中在转换期间，使用环路内重构步骤以根据与当前视频单元相关联的重构模型信息将当前视频单元的表示从第一域变换为第二域，并且其中重构模型信息从当前视频单元到另一视频单元自适应地改变。

可以使用以下基于子句的格式来描述一些实施例。

1.一种视觉媒体处理的方法，其包括：

在当前视频单元和当前视频单元的比特流表示之间执行转换，其中在转换期间，使用环路内重构步骤以根据与当前视频单元相关联的重构模型信息将当前视频单元的表示从第一域变换为第二域，并且其中所述重构模型信息从当前视频单元到另一视频单元自适应地改变。

2.根据子句1所述的方法，其中所述当前视频单元或所述另一视频单元对应于片、砖块、编解码树单元(CTU)、CTU行、虚拟管线数据单元(VPDU)，编解码单元(CU)的全部或一部分。

3.根据子句1-2中的任一项或多项所述的方法，其中所述重构模型信息包括以下的一个或多个：开/关控制标志，与所述环路内重构步骤相关的自适应参数集(APS)的数量，自适应参数集(APS)的索引，与自适应环路滤波器相关联的分段线性(PWL)模型，和/或与自适应环路滤波器相关联的自适应参数集(APS)。

4.根据子句3所述的方法，其中所述重构模型信息包括在以下的一个或多个中：分割信息、模式信息、条带标头、或图片标头。

5.根据子句3所述的方法，其中至少部分地基于以下的一个或多个将所述重构模型信息从当前视频单元到另一视频单元自适应地改变：当前视频单元的解码信息、另一视频单元的解码信息、当前视频单元的样点的空间位置、另一视频单元的样点的空间位置、样点到当前视频单元的边界的距离、样点到另一视频单元的边界的距离、当前视频单元的编解码模式、另一视频单元的编解码模式。

6.根据子句5所述的方法，其中至少部分地基于当前视频单元的样点的空间位置或另一视频单元的样点的空间位置与阈值的比较结果，所述重构模型信息从当前视频单元到另一视频单元自适应地改变。

7.根据子句5所述的方法，其中当前视频单元的编解码模式或另一视频单元的编解码模式是帧内模式，具有或不具有帧内块复制(IBC)的帧内模式，具有或不具有组合帧间和帧内预测(CIIP)，或具有或不具有组合帧间和帧内预测(CIIP)的帧内模式。

8.根据子句1-7中的任一项或多项所述的方法，其中与当前视频单元相关联的所述重构模型信息由另一视频单元继承。

9.一种视觉媒体处理的方法，其包括：

在当前视频单元和当前视频单元的比特流表示之间执行转换，其中在转换期间，使用环路内重构步骤以根据与当前视频单元相关联的重构模型信息将当前视频单元的表示从第一域变换为第二域，并且其中将重构模型信息从当前视频单元到另一视频单元自适应地改变，其中与环路内重构步骤相关的自适应参数集(APS)或APS的索引与一个或多个属性相关联。

10.根据子句9所述的方法，其中所述一个或多个属性包括：APS的数量被限制在一个范围内，APS以固定长度进行编解码，或APS以一元码或截断一元码进行编解码。

11.一种视觉媒体处理的方法，其包括：

在当前视频单元和当前视频单元的比特流表示之间执行转换，其中在转换期间，使用环路内重构步骤以根据与当前视频单元相关联的重构模型信息将当前视频单元的表示从第一域变换为第二域，并且其中重构模型信息包括在比特流表示中选择性地信令通知的附加边信息。

12.根据子句11所述的方法，其中所述附加边信息指示是否选择性地信令通知环路内重构的开/关控制标志和/或用于所述环路内重构步骤的参数至少部分地基于当前视频单元的编解码信息或当前视频单元中的帧间编解码块相对于阈值的百分比。

13.根据子句11所述的方法，其中在当前视频单元的较高级和较低级中信令通知所述附加边信息。

14.根据子句11所述的方法，其中所述当前视频单元的较高级对应于条带，片组或砖块。

15.根据子句11所述的方法，其中所述当前视频单元的较低级对应于编解码树单元或编解码单元。

16.根据子句11所述的方法，其中所述附加边信息在比特流表示中显式地信令通知或隐式式地推导。

17.根据子句11所述的方法，其中当前视频单元的重构模型信息从另一视频单元的重构模型信息继承。

18.根据子句11所述的方法，其中另一视频单元的重构模型信息用于推导当前视频单元的自适应参数集(APS)或APS的索引。

19.根据子句11所述的方法，其中所述第一域中的比特深度参数的值不同于所述第二域中的比特深度参数的值。

20.根据子句11-19中的任一项或多项所述的方法，其中所述重构模型信息包括与当前视频单元的样点在所述第一域或所述第二域中左移或右移一定量相关联的比特深度参数的值。

21.根据子句20所述的方法，其中所述第一域或所述第二域中的比特深度参数的值。

22.一种视觉媒体处理的方法，其包括：

在当前视频单元和当前视频单元的比特流表示之间执行转换，其中在转换期间，使用环路内重构步骤以根据与环路内重构步骤相关联的边信息将当前视频单元的表示从第一域变换为第二域，其中环路内重构步骤部分地基于重构模型信息，并且其中在转换期间，将重构模型信息存储在与从多个编解码步骤选择的编解码步骤相关联的缓冲器中。

23.根据子句22所述的方法，其中所述缓冲器的最大尺寸基于与所述编解码步骤的自适应参数集(APS)相关联的计数器。

24.根据子句23所述的方法，其中所述计数器响应于满足一个或多个条件而重置为零。

25.根据子句23所述的方法，其中所述一个或多个条件包括：解码序列的开始，当前视频单元对应于IDR图片，当前视频单元对应于BLA图片，当前视频单元具有比最后解码的IRAP图片更大的图片顺序计数(POC)，或当前视频单元的编码器显式地信令通知。

26.根据子句23所述的方法，其中所述缓冲器动态地更新以与所述编解码步骤相关联。

27.根据子句22-23中的一项或多项的方法，其中如果动态地更新所述缓冲器，则与所述编解码步骤的自适应参数集(APS)相关联的计数器相应地增加或减小。

28.根据子句27所述的方法，其中如果动态地更新所述缓冲器并且所述计数器小于所述缓冲器的最大尺寸，则与所述编解码步骤的自适应参数集(APS)相关联的所述计数器相应地增加或减小，否则所述计数器保持不变。

29.根据子句26所述的方法，其中根据先进先出(FIFO)规则动态地更新所述缓冲器。

30.根据子句26所述的方法，其中根据由所述当前视频单元的编码器在比特流表示中信令通知的信息来动态地更新所述缓冲器。

31.根据子句26所述的方法，其中所述缓冲器包括在多个子缓冲器中，其中每个子缓冲器与从所述多个编解码步骤选择的一个编解码步骤相关联。

32.根据子句26所述的方法，其中在解码当前视频单元之前或之后，动态地更新所述多个子缓冲器中的一个或多个子缓冲器。

33.根据子句22所述的方法，其中所述缓冲器存储与以下编解码步骤中的一个或多个相关联的APS：具有色度缩放的亮度映射(LMCS)编解码步骤、自适应环路滤波器(ALF)编解码步骤、或缩放矩阵编解码步骤。

34.根据子句23所述的方法，其中所述缓冲器的最大大小是预定的。

35.根据子句23所述的方法，其中在比特流表示中信令通知所述缓冲器的最大尺寸。

36.根据子句33所述的方法，其中所述LMCS编解码步骤包括用于在去量化步骤中使用的色度残差缩放因子，还包括：

向当前视频单元的量化参数添加基于转换色度残差缩放因子的差分量化值。

37.一种视频系统中的装置，其包括处理器和在其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使所述处理器实施子句1至36中的任一项所述的方法。

38.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于执行子句1至36中的任一项所述的方法的程序代码。

图16是用于视频处理的示例方法1600的流程图。方法1600包括，在1602处，针对视频的图片和图片的比特流表示之间的转换，确定与图片相关联的具有色度缩放的亮度映射(LMCS)参数，其中LMCS参数从图片的一个视频编解码单元到另一视频编解码单元自适应地改变；以及在1604处，基于确定的LMCS参数执行转换；其中当将LMCS应用于视频块时，基于第一域和第二域构造视频块，和/或以亮度相关的方式缩放色度残差。

在一些示例中，视频编解码单元是条带、片组、片或砖块中的至少一个。

在一些示例中，LMCS参数包括LMCS的开/关控制标志，分段线性(PWL)模型以及LMCS自适应参数集(APS)索引中的至少一个。

在一些示例中，在条带标头或图片标头中一起信令通知一个条带或图片内的不同片和/或砖块的LMCS相关信息。

在一些示例中，与视频相关联的自适应环路滤波器(ALF)参数从一个视频编解码单元到另一视频编解码单元自适应地改变。

在一些示例中，至少基于不同方向上的多个梯度计算来确定ALF。

在一些示例中，ALF参数包括ALF的开/关控制标志，片和/或砖块所参考的ALF APS的数量以及ALF APS索引中的至少一个。

图17是用于视频处理的示例方法1700的流程图。方法1700包括，在1702处，针对视频的图片和图片的比特流表示之间的转换，确定与图片相关联的具有色度缩放的亮度映射(LMCS)参数，其中LMCS参数从同一视频编解码单元内的一个视频编解码子单元到另一视频编解码子单元自适应地改变；以及在1704处，基于确定的LMCS参数执行转换；其中当将LMCS应用于视频块时，基于第一域和第二域构造视频块，和/或以亮度相关的方式缩放色度残差。

在一些示例中，视频编解码单元是条带，片组，片或砖块中的至少一个，并且视频编解码子单元是包括编解码树单元(CTU)行、CTU、虚拟管线数据单元(VPDU)或编解码单元(CU)中的至少一个的块或区域。

在一些示例中，在视频编解码子单元级确定LMCS的开/关控制标志。

在一些示例中，在条带标头和/或片组标头中或在LMCS APS中信令通知在视频编解码子单元级处的LMCS的开/关控制标志。

在一些示例中，与在条带和/或片组级中或在LMCS APS中的分割信息和模式信息中的至少一个一起信令通知视频编解码子单元级处的LMCS的开/关控制标志。

在一些示例中，根据当前视频编解码子单元的解码信息和/或先前解码的图片或视频编解码子单元的解码信息来确定LMCS的开/关控制标志。

图18是用于视频处理的示例方法1800的流程图。方法1800包括，在1802处，针对视频的图片和图片的比特流表示之间的转换，确定与图片相关联的具有色度缩放的亮度映射(LMCS)参数，其中LMCS参数根据同一视频编解码子单元中的样点的位置自适应地改变；以及在1804处，基于确定的LMCS参数执行转换；其中当将LMCS应用于视频块时，基于第一域和第二域构造视频块，和/或以亮度相关的方式缩放色度残差。

在一些示例中，视频编解码子单元是包括编解码树单元(CTU)行，CTU，虚拟管线数据单元(VPDU)或编解码单元(CU)中的至少一个的块或区域。

在一些示例中，取决于样点是否位于CTU边界处，LMCS参数自适应地改变。

在一些示例中，取决于样点相对于CTU边界的距离，LMCS参数自适应地改变。

在一些示例中，对于具有小于阈值的距离的样点，从相邻CTU的LMCS参数继承LMCS参数。

在一些示例中，对于具有不小于阈值的距离的样点，推导和/或信令通知LMCS参数。

在一些示例中，边界在相邻CTU和当前CTU之间。

图19是用于视频处理的示例方法1900的流程图。方法1900包括，在1902处，针对视频的图片和图片的比特流表示之间的转换，确定与图片相关联的具有色度缩放的亮度映射(LMCS)参数，其中取决于编解码模式信息、参考图片和图片的运动信息中的至少一个确定LMCS参数；以及在1904处，基于确定的LMCS参数执行转换；其中当将LMCS应用于视频块时，基于第一域和第二域构造视频块，和/或以亮度相关的方式缩放色度残差。

在一些示例中，针对图片的第一视频编解码单元，在第一视频编解码单元内以特定编解码模式编解码的第一组视频编解码子单元共享相同的LMCS参数，而第一视频编解码单元内的其他视频编解码子单元具有不同于第一组视频编解码子单元的LMCS参数，其中视频编解码单元是条带、片组、片或砖块中的至少一个，并且视频编解码子单元是包括编解码树单元(CTU)行、CTU、虚拟管线数据单元(VPDU)或编解码单元(CU)中的至少一个的块或区域。

在一些示例中，第一组视频编解码子单元以帧内模式编解码。

在一些示例中，第一组视频编解码子单元以帧内模式和/或帧内块复制(IBC)模式编解码。

在一些示例中，第一组视频编解码子单元以帧内模式和/或IBC模式和/或组合帧内-帧间预测(CIIP)模式编解码。

在一些示例中，第一组视频编解码子单元以帧内模式和/或组合帧内-帧间预测(CIIP)模式编解码。

在一些示例中，信令通知当前视频编解码单元和/或视频编解码子单元所参考的LMCS APS的指示，其中LMCS APS用于存储LMCS参数。

在一些示例中，指示包括LMCS APS的索引，其中LMCS APP的索引是slice_lmcs_aps_id。

在一些示例中，当前视频编解码单元或视频编解码子单元所参考的LMCS APS的索引以固定长度编解码。

在一些示例中，固定长度是M比特，其中M是整数。

在一些示例中，M＝5。

在一些示例中，当前视频编解码单元或视频编解码子单元所参考的LMCS APS的索引以第k阶EG码或Golomb-Rice码编解码，其中K是整数。

在一些示例中，当前视频编解码单元或视频编解码子单元所参考的LMCS APS的索引以一元码或截断一元码编解码。

在一些示例中，信令通知以某种模式编解码的当前视频编解码单元和/或视频编解码子单元所参考的LMCS APS的数量，其中LMCS APS用于存储LMCS参数。

在一些示例中，在条带，片组，片，砖块或包含多个CTU或CU的其他类型的视频编解码单元中的至少一个中信令通知数量。

在一些示例中，数量在[1，M]的某个范围内，其中M是预定义的整数。

在一些示例中，数量以固定长度编解码。

在一些示例中，数量以一元码或截断一元码编解码。

在一些示例中，数量是以第k阶EG码或Golomb-Rice码编解码，其中K是整数。

在一些示例中，对于帧间条带、片、砖块、片组和图片中的至少一个，但是不对于帧内条带、片、砖块、片组和图片，信令通知数量和/或指示。

在一些示例中，对于一个CTU和/或VPDU和/或覆盖多个CU或CTU的区域，在包括分割结构和模式信息中的至少一个的另一边信息之后信令通知LMCS参数。

在一些示例中，LMCS参数包括LMCS的开/关控制标志和LMCS APS索引中的至少一个。

在一些示例中，在CTU，CU和VPDU中的至少一个中信令通知信令附加LCMS参数的指示，其中附加LCMS参数包括PWL模型。

在一些示例中，信令通知附加标志以指示是否需要信令通知附加LCMS参数。

在一些示例中，是否信令通知LMCS APS索引取决于图片的编解码信息。

在一些示例中，是否信令通知LMCS APS索引取决于帧间编解码块的百分比。

在一些示例中，帧间编解码块的百分比包括帧间编解码CU的出现和具有最小CU尺寸的帧间编解码块的出现中的至少一个。

在一些示例中，当百分比大于阈值时，信令通知LMCS APS索引。

在一些示例中，当百分比大于阈值并且附加标志指示需要附加信息时，信令通知LMCS APS索引。

在一些示例中，对于允许图片的LMCS的亮度编解码树块，在在条带或片组级中信令通知的一个或多个LMCS参数集以及在LMCS APS中可用的LMCS参数集中确定LMCS参数。

在一些示例中，显式地向解码器信令通知确定哪个LMCS参数集。

在一些示例中，在解码器处隐式地推导确定哪个LMCS参数集。

在一些示例中，在多个级信令通知LMCS参数，其中第一级是包括条带级，片组级，片级和砖块级中的至少一个的较高级，而第二级是包括CTU级和CU级中的至少一个的较低级。

在一些示例中，仅对于图片的帧间编解码块确定LMCS参数。

在一些示例中，在LMCS APS中信令通知是否发送LMCS参数集的指示。

在一些示例中，在LMCS APS中信令通知标志以指示是否需要在LMCS APS中进一步信令通知新的LMCS参数。

在一些示例中，LMCS参数包括用于表示PWL模型的一个或多个参数集，所述参数集被预定义并且用于解码一个视频编解码单元。

在一些示例中，预定义的集在编解码过程期间由一个视频编解码子单元直接继承。

在一些示例中，预定义的集用作预测器，用于推导在编解码过程期间将由一个视频编解码子单元使用的参数集。

在一些示例中，通过使用时域预测来确定LMCS参数。

在一些示例中，先前编解码的LMCS参数集在编解码过程期间由一个视频编解码子单元直接继承。

在一些示例中，先前编解码的LMCS参数集用作预测器，用于推导在编解码过程期间将由一个视频编解码子单元使用的参数集。

在一些示例中，转换包括使用LMCS参数的环路内重构(ILR)步骤，其中ILR步骤将原始域中的输入样点转换到重构域。

在一些示例中，重构域和原始域中的比特深度不同。

在一些示例中，在重构域中进行编解码之前首先应用原始域中的输入样点的左移或右移。

在一些示例中，首先将重构域中的重建样点转换到原始域，然后进行左移或右移。

在一些示例中，在重构域中使用更高的比特深度。

在一些示例中，重构域中的允许样点值(由numReshapeValues表示)大于或等于1<<BitDepth_Y的值，其中BitDepth_Y是亮度样点的输入比特深度和/或重建亮度样点的比特输入。

在一些示例中，当numReshapeValues大于1<<BitDepth_Y的值时，将输入亮度样点的比特深度增加K，然后对修改的输入亮度样点进行编码。

在一些示例中，输入色度样点在编解码之前进行修改。

在一些示例中，通过应用以下约束，重构域中的允许值(由numReshapeValues表示)等于1<<BitDepth_Y的值：

其中，lmcsCW是用于LMCS的码字，并且BitDepth_Y是亮度样点的输入比特深度和/或重建亮度样点的比特输入。

图20是用于视频处理的示例方法2000的流程图。方法2000包括，在2002处，针对视频的图片和图片的比特流表示之间的转换，确定与存储在缓冲器中的转换期间的第一过程相关联的自适应参数集(APS)的数量，缓冲器用于存储与转换期间的一个或多个过程相关联的一个或多个APS；以及在2004处，比较APS的数量与预定最大数量M_X，M_X是整数；以及在2006处，响应于确定APS的数量小于或等于预定最大数量M_X而执行转换。

在一些示例中，计数器用于记录在视频的比特流中编解码的APS的数量。

在一些示例中，在对序列进行解码之前将计数器初始化为0。

在一些示例中，当以下条件中的至少一个为真时将计数器重置为0：当前图片是瞬时解码刷新(IDR)图片，当前图片是断链访问(BLA)图片，按照解码顺序，当前图片是图片顺序计数(POC)大于最后解码的帧内随机访问点(IRAP)图片的POC的第一图片，以及编码器向解码器显式地信令通知消息以指示计数器重置为0。

在一些示例中，用与用于编解码当前条带，片组，图片和砖块中的至少一个的第一过程相关联的参数集来更新缓冲器。

在一些示例中，如果缓冲器更新，则计数器增加1。

在一些示例中，如果缓冲器更新并且计数器小于最大数量M_X，则计数器增加1；否则，计数器保持不变。

在一些示例中，根据先进先出(FIFO)规则动态地更新缓冲器。

在一些示例中，编码器向解码器显式地信令通知一个或多个消息以指示如何管理缓冲器。

在一些示例中，缓冲器包括多个子缓冲器，并且每个子缓冲器对应于某个时域层和/或某个模式和/或其他规则。

在一些示例中，在解码条带，片组，片和砖块中的一个或多个之后，更新一个或多个对应子缓冲器。

在一些示例中，在解码条带，片组，片和砖块中的一个或多个之前，利用存储在一个或多个对应子缓冲器中的参数。

在一些示例中，第一过程是具有色度缩放的亮度映射(LMCS)，并且缓冲器存储多达最大数量M_lmcs个LMCS APS的集合，其中M_lmcs是整数。

在一些示例中，第一过程是自适应环路滤波器(ALF)，并且缓冲器存储多达最大数量M_alf个LMCS APS的集合，其中M_alf是整数。

在一些示例中，第一过程是缩放矩阵，并且定义称为缩放矩阵APS的一种新APS类型以传输缩放矩阵的边信息，并且缓冲器存储多达最大数量M_sm个缩放矩阵APS的集合，其中M_sm是整数。

在一些示例中，相等地或不同地设定最大数量M_lmcs、M_alf和M_sm中的任何两个。

在一些示例中，在视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)中的至少一个中信令通知最大数量。

图21是用于视频处理的示例方法2100的流程图。方法2100包括，在2102处，针对视频的图片和图片的比特流表示之间的转换，通过将色度残差缩放操作合并到去量化步骤中来修正具有色度缩放的亮度映射(LMCS)步骤；以及在2104处，基于经修正的LMCS步骤执行转换。

在一些示例中，将用于色度残差缩放操作的色度残差缩放因子转换为增量量化参数(QP)值，并且将增量QP值添加到图片的色度块的QP值。

在一些示例中，转换从比特流表示生成视频的图片。

在一些示例中，转换从视频的图片生成比特流表示。

本文件中描述的公开的和其他解决方案，示例，实施例，模块和功能操作可以在数字电子电路或计算机软件，固件或硬件中实现，包括本文件中公开的结构及其结构等效物，或其中一个或多个的组合。公开的和其他实施例可以实现为一个或多个计算机程序产品，即在计算机可读介质上编码的计算机程序指令的一个或多个模块，以由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备，机器可读存储基板，存储设备，影响机器可读传播信号的物质组成或其中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置，设备和机器，例如包括可编程处理器，计算机或多个处理器或计算机。除硬件外，装置还可以包括为所述计算机程序创建执行环境的代码，例如，构成处理器固件的代码，协议栈，数据库管理系统，操作系统或其中的一个或多个的组合。传播信号是人工生成的信号，例如机器生成的电，光或电磁信号，其被生成以对信息进行编码以传输到合适的接收器装置。

计算机程序(也称为程序，软件，软件应用，脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块，组件，子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分(例如，存储在标记语言文档中的一个或多个脚本)中，专用于所述程序的单个文件中，或多个协调文件(例如，存储一个或多个模块，子程序或部分代码的文件)中。计算机程序可以部署成在一个或多个计算机上执行，所述计算机位于一个站点上或分布在多个站点上并通过通信网络互连。

本文件中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，所述处理器执行一个或多个计算机程序以通过对输入数据操作并生成输出来执行功能。处理和逻辑流也可以通过专用逻辑电路来执行，并且装置也可以实现为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作联接到一个或多个大容量存储设备来从其接收数据或向其传送数据，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器，介质和存储器设备，包括例如半导体存储器设备，例如EPROM，EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。

尽管本专利文件包含许多细节，但不应将其解释为对任何主题或权利要求的范围的限制，而应解释为针对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文中描述的一些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独实施，或在任何合适的子组合中实施。而且，尽管特征可以在上面描述为在一些组合中起作用，甚至最初要求是这样，但在一些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以涉及子组合或子组合的变型。

类似地，尽管图纸中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。

仅描述了一些实现方式和示例，并且基于该专利文件中描述和示出的内容可以做出其他实现方式，增强和变型。

Claims

1.一种用于处理视频的方法，包括：

针对视频的图片和所述图片的比特流之间的转换，确定与所述图片相关联的具有色度缩放的亮度映射(LMCS)参数，其中所述LMCS参数从所述图片的一个视频编解码单元到另一视频编解码单元自适应地改变，所述LMCS参数包括LMCS的开/关控制标志、分段线性(PWL)模型以及LMCS自适应参数集(APS)索引中的至少一个；以及

基于确定的LMCS参数执行所述转换；

其中当将LMCS应用于视频块时，基于第一域和第二域构造所述视频块和/或以亮度相关的方式缩放色度残差。

2.根据权利要求1所述的方法，其中，所述视频编解码单元是条带、片组、片或砖块中的至少一个。

3.根据权利要求2所述的方法，其中，在条带标头或图片标头中一起信令通知一个条带或图片内的不同片和/或砖块的LMCS相关信息。

4.根据权利要求1所述的方法，其中，与所述视频相关联的自适应环路滤波器(ALF)参数从一个视频编解码单元到另一视频编解码单元自适应地改变。

5.根据权利要求4所述的方法，其中，至少基于不同方向上的多个梯度计算来确定ALF。

6.根据权利要求5所述的方法，其中，所述ALF参数包括ALF的开/关控制标志、片和/或砖块所参考的ALF APS的数量以及ALF APS索引中的至少一个。

7.根据权利要求1所述的方法，还包括：

取决于编解码模式信息、参考图片和图片的运动信息中的至少一个来确定所述LMCS参数。

8.根据权利要求7所述的方法，其中，针对所述图片的第一视频编解码单元，在所述第一视频编解码单元内以特定编解码模式编解码的第一组视频编解码子单元共享相同的LMCS参数，而所述第一视频编解码单元内的其他视频编解码子单元具有不同于所述第一组视频编解码子单元的LMCS参数，其中所述视频编解码单元是条带、片组、片或砖块中的至少一个，并且所述视频编解码子单元是包括编解码树单元(CTU)行、CTU、虚拟管线数据单元(VPDU)或编解码单元(CU)中的至少一个的块或区域。

9.根据权利要求8所述的方法，其中，所述第一组视频编解码子单元以帧内模式编解码。

10.根据权利要求8所述的方法，其中，所述第一组视频编解码子单元以帧内模式和/或帧内块复制(IBC)模式编解码。

11.根据权利要求8所述的方法，其中，所述第一组视频编解码子单元以帧内模式和/或IBC模式和/或组合帧内-帧间预测(CIIP)模式编解码。

12.根据权利要求8所述的方法，其中，所述第一组视频编解码子单元以帧内模式和/或组合帧内-帧间预测(CIIP)模式编解码。

13.根据权利要求1-12中的任一项所述的方法，其中，信令通知当前视频编解码单元和/或视频编解码子单元所参考的LMCS APS的指示，其中所述LMCS APS用于存储所述LMCS参数。

14.根据权利要求13所述的方法，其中，所述指示包括LMCS APS的索引，其中LMCS APS的索引是slice_lmcs_aps_id。

15.根据权利要求14所述的方法，其中，所述当前视频编解码单元或所述视频编解码子单元所参考的LMCS APS的索引以固定长度编解码。

16.根据权利要求15所述的方法，其中，所述固定长度是M比特，其中M是整数。

17.根据权利要求16所述的方法，其中，M＝5。

18.根据权利要求14所述的方法，其中，所述当前视频编解码单元或所述视频编解码子单元所参考的LMCS APS的索引以第k阶EG码或Golomb-Rice码编解码，其中K是整数。

19.根据权利要求14所述的方法，其中，所述当前视频编解码单元或所述视频编解码子单元所参考的LMCS APS的索引以一元码或截断一元码编解码。

20.根据权利要求1-12中的任一项所述的方法，其中，信令通知以某种模式编解码的当前视频编解码单元和/或视频编解码子单元所参考的LMCS APS的数量，其中所述LMCS APS用于存储所述LMCS参数。

21.根据权利要求20所述的方法，其中，所述视频编解码单元是条带、片组、片或砖块中的至少一个。

22.根据权利要求21所述的方法，其中，在条带、片组、片、砖块或包含多个CTU或CU的其他类型的视频编解码单元中的至少一个中信令通知所述数量。

23.根据权利要求22所述的方法，其中，所述数量在[1，M]的某个范围内，其中M是预定义的整数。

24.根据权利要求22所述的方法，其中，所述数量以固定长度编解码。

25.根据权利要求22所述的方法，其中，所述数量以一元码或截断一元码编解码。

26.根据权利要求22所述的方法，其中，所述数量是以第k阶EG码或Golomb-Rice码编解码，其中K是整数。

27.根据权利要求22所述的方法，其中，针对帧间条带、片、砖块，片组和图片中的至少一个，但是不针对帧内条带、片、砖块、片组和图片，信令通知所述数量和/或当前视频编解码单元和/或视频编解码子单元所参考的LMCS APS的指示。

28.根据权利要求1-12中的任一项所述的方法，其中，针对一个CTU和/或VPDU和/或覆盖多个CU或CTU的区域，在包括分割结构和模式信息中的至少一个的另一边信息之后信令通知所述LMCS参数。

29.根据权利要求28所述的方法，其中，所述LMCS参数包括LMCS的开/关控制标志和LMCS APS索引中的至少一个。

30.根据权利要求28所述的方法，其中，在CTU、CU和VPDU中的至少一个中信令通知信令附加LCMS参数的指示，其中所述附加LCMS参数包括PWL模型。

31.根据权利要求30所述的方法，其中，信令通知附加标志以指示是否需要信令通知所述附加LCMS参数。

32.根据权利要求30所述的方法，其中，是否信令通知LMCS APS索引取决于所述图片的编解码信息。

33.根据权利要求32所述的方法，其中，是否信令通知LMCS APS索引取决于帧间编解码块的百分比。

34.根据权利要求33所述的方法，其中，所述帧间编解码块的百分比包括帧间编解码CU的出现和具有最小CU尺寸的帧间编解码块的出现中的至少一个。

35.根据权利要求33所述的方法，其中，当所述百分比大于阈值时，信令通知所述LMCSAPS索引。

36.根据权利要求33所述的方法，其中，当所述百分比大于阈值并且指示是否需要信令通知所述附加LCMS参数的附加标志指示需要附加信息时，信令通知所述LMCS APS索引。

37.根据权利要求1-12中的任一项所述的方法，其中，对于允许所述图片的LMCS的亮度编解码树块，在在条带或片组级中信令通知的一个或多个LMCS参数集以及在LMCS APS中可用的LMCS参数集中确定LMCS参数。

38.根据权利要求37所述的方法，其中，显式地向解码器信令通知确定哪个LMCS参数集。

39.根据权利要求37所述的方法，其中，在解码器处隐式地推导确定哪个LMCS参数集。

40.根据权利要求1-12中的任一项所述的方法，其中，在多个级信令通知所述LMCS参数，其中第一级是包括条带级、片组级、片级和砖块级中的至少一个的较高级，而第二级是包括CTU级和CU级中的至少一个的较低级。

41.根据权利要求1-12中的任一项所述的方法，其中，仅针对所述图片的帧间编解码块确定所述LMCS参数。

42.根据权利要求1-12中的任一项所述的方法，其中，在LMCS APS中信令通知是否发送LMCS参数集的指示。

43.根据权利要求42所述的方法，其中，在所述LMCS APS中信令通知标志以指示是否需要在所述LMCS APS中进一步信令通知新的LMCS参数。

44.根据权利要求1-12中的任一项所述的方法，其中，所述LMCS参数包括用于表示PWL模型的一个或多个参数集，所述参数集被预定义并且用于解码一个视频编解码单元。

45.根据权利要求44所述的方法，其中，预定义的集在编解码过程期间由一个视频编解码子单元直接继承。

46.根据权利要求44所述的方法，其中，预定义的集用作预测器，用于推导在编解码过程期间将由一个视频编解码子单元使用的参数集。

47.根据权利要求1-12中的任一项所述的方法，其中，通过使用时域预测来确定所述LMCS参数。

48.根据权利要求47所述的方法，其中，先前编解码的LMCS参数集在编解码过程期间由一个视频编解码子单元直接继承。

49.根据权利要求47所述的方法，其中，先前编解码的LMCS参数集用作预测器，用于推导在编解码过程期间将由一个视频编解码子单元使用的参数集。

50.根据权利要求1-12中的任一项所述的方法，其中，所述转换包括使用所述LMCS参数的环路内重构(ILR)步骤，其中所述ILR步骤将原始域中的输入样点转换到重构域。

51.根据权利要求50所述的方法，其中，所述重构域和所述原始域中的比特深度不同。

52.根据权利要求51所述的方法，其中，在在所述重构域中进行编解码之前首先应用原始域中的输入样点的左移或右移。

53.根据权利要求51所述的方法，其中，首先将所述重构域中的重建样点转换到所述原始域，然后进行左移或右移。

54.根据权利要求51所述的方法，其中，在所述重构域中使用更高的比特深度。

55.根据权利要求54所述的方法，其中，所述重构域中的允许样点值(由numReshapeValues表示)大于或等于1<<BitDepth_Y的值，其中BitDepth_Y是亮度样点的输入比特深度和/或重建亮度样点的比特输入。

56.根据权利要求55所述的方法，其中，当numReshapeValues大于1<<BitDepth_Y的值时，将输入亮度样点的比特深度增加K，然后对修改的输入亮度样点进行编码。

57.根据权利要求55所述的方法，其中，在进行编解码之前对输入亮度样点进行修改。

58.根据权利要求54所述的方法，其中，通过应用以下约束，所述重构域中的允许值(由numReshapeValues表示)等于1<<BitDepth_Y的值：

59.根据权利要求1所述的方法，还包括：

确定存储在缓冲器中的与所述转换期间的第一过程相关联的自适应参数集(APS)的数量，所述缓冲器用于存储与所述转换期间的一个或多个过程相关联的一个或多个APS；

比较APS的数量与预定最大数量M_X，M_X是整数；以及

响应于确定APS的数量小于或等于预定最大数量M_X而执行所述转换。

60.根据权利要求59所述的方法，其中，计数器用于记录在所述视频的比特流中编解码的APS的数量。

61.根据权利要求60所述的方法，其中，在对序列进行解码之前将所述计数器初始化为0。

62.根据权利要求60所述的方法，其中，当以下条件中的至少一个为真时将所述计数器重置为0：

当前图片是瞬时解码刷新(IDR)图片，

当前图片是断链访问(BLA)图片，

按照解码顺序，当前图片是其中图片顺序计数(POC)大于最后解码的帧内随机访问点(IRAP)图片的POC的第一图片，以及

编码器向解码器显式地信令通知消息以指示计数器将重置为0。

63.根据权利要求59-62中的任一项所述的方法，其中，用与用于对当前条带、片组、图片和砖块中的至少一个进行编解码的第一过程相关联的参数集来更新所述缓冲器。

64.根据权利要求63所述的方法，其中，如果所述缓冲器被更新，则计数器增加1。

65.根据权利要求63所述的方法，其中，如果所述缓冲器被更新并且计数器小于最大数量M_X，则所述计数器增加1；

否则，所述计数器保持不变。

66.根据权利要求63所述的方法，其中，根据先进先出(FIFO)规则动态地更新所述缓冲器。

67.根据权利要求63所述的方法，其中，编码器向解码器显式地信令通知一个或多个消息以指示如何管理所述缓冲器。

68.根据权利要求59所述的方法，其中，所述缓冲器包括多个子缓冲器，并且每个子缓冲器对应于某个时域层和/或某个模式和/或其他规则。

69.根据权利要求68所述的方法，其中，在对条带、片组、片和砖块中的一个或多个进行解码之后，更新一个或多个对应子缓冲器。

70.根据权利要求68所述的方法，其中，在对条带、片组、片和砖块中的一个或多个进行解码之前，利用存储在一个或多个对应子缓冲器中的参数。

71.根据权利要求59-62中的任一项所述的方法，其中，所述第一过程是具有色度缩放的亮度映射(LMCS)，并且所述缓冲器存储多达最大数量M_lmcs个LMCS APS的集合，其中M_lmcs是整数。

72.根据权利要求59-62中的任一项所述的方法，其中，所述第一过程是自适应环路滤波器(ALF)，并且所述缓冲器存储多达最大数量M_alf个LMCS APS的集合，其中M_alf是整数。

73.根据权利要求59-62中的任一项所述的方法，其中，所述第一过程是缩放矩阵，并且定义称为缩放矩阵APS的一种新APS类型以传输缩放矩阵的边信息，并且所述缓冲器存储多达最大数量M_sm个缩放矩阵APS的集合，其中M_sm是整数。

74.根据权利要求71所述的方法，其中，相等地或不同地设定最大数量M_lmcs、M_alf和M_sm中的任何两个。

75.根据权利要求59-62中的任一项所述的方法，其中，在视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)中的至少一个中信令通知所述最大数量。

76.根据权利要求1所述的方法，还包括：

通过将色度残差缩放操作合并到去量化步骤中来修正具有色度缩放的亮度映射(LMCS)步骤；以及

基于经修正的LMCS步骤执行所述转换。

77.根据权利要求76所述的方法，其中，将用于色度残差缩放操作的色度残差缩放因子转换为增量量化参数(QP)值，并且将所述增量QP值加到所述图片的色度块的QP值。

78.根据权利要求1-12中的任一项所述的方法，其中，所述转换从所述比特流生成视频的所述图片。

79.根据权利要求1-12中的任一项所述的方法，其中，所述转换从视频的所述图片生成所述比特流。

80.一种用于处理视频的方法，包括：

针对视频的图片和所述图片的比特流之间的转换，确定与所述图片相关联的具有色度缩放的亮度映射(LMCS)参数，其中所述LMCS参数从同一个视频编解码单元内的一个视频编解码子单元到另一视频编解码子单元自适应地改变，所述LMCS参数包括LMCS的开/关控制标志、分段线性(PWL)模型以及LMCS自适应参数集(APS)索引中的至少一个；以及

基于确定的LMCS参数执行所述转换；

其中当将LMCS应用于视频块时，基于，第一域和第二域构造所述视频块和/或以亮度相关的方式缩放色度残差。

81.根据权利要求80所述的方法，其中，所述视频编解码单元是条带、片组、片或砖块中的至少一个，并且所述视频编解码子单元是包括编解码树单元(CTU)行、CTU、虚拟管线数据单元(VPDU)或编解码单元(CU)中的至少一个的块或区域。

82.根据权利要求81所述的方法，其中在视频编解码子单元级确定LMCS的开/关控制标志。

83.根据权利要求82所述的方法，其中，在条带标头和/或片组标头中或在LMCS APS中信令通知在所述视频编解码子单元级处的LMCS的开/关控制标志。

84.根据权利要求82所述的方法，其中，与在条带和/或片组级中或在LMCS APS中的分割信息和模式信息中的至少一个一起信令通知视频编解码子单元级处的LMCS的开/关控制标志。

85.根据权利要求82所述的方法，其中，根据当前视频编解码子单元的解码信息和/或先前解码的图片或视频编解码子单元的解码信息来确定LMCS的开/关控制标志。

86.一种用于处理视频的方法，其包括：

针对视频的图片和所述图片的比特流之间的转换，确定与所述图片相关联的具有色度缩放的亮度映射(LMCS)参数，其中所述LMCS参数根据同一个视频编解码子单元内的样点的位置自适应地改变，所述LMCS参数包括LMCS的开/关控制标志、分段线性(PWL)模型以及LMCS自适应参数集(APS)索引中的至少一个；以及

基于确定的LMCS参数执行所述转换；

87.根据权利要求86所述的方法，其中，所述视频编解码子单元是包括编解码树单元(CTU)行、CTU、虚拟管线数据单元(VPDU)或编解码单元(CU)中的至少一个的块或区域。

88.根据权利要求86所述的方法，其中，取决于所述样点是否位于CTU边界处，所述LMCS参数自适应地改变。

89.根据权利要求86所述的方法，其中，取决于所述样点相对于CTU边界的距离，所述LMCS参数自适应地改变。

90.根据权利要求89所述的方法，其中，针对具有小于阈值的距离的样点，从相邻CTU的LMCS参数继承所述LMCS参数。

91.根据权利要求89所述的方法，其中，针对具有不小于阈值的距离的样点，推导和/或信令通知所述LMCS参数。

92.根据权利要求88-91中的任一项所述的方法，其中，所述边界在相邻CTU和当前CTU之间。

93.一种视频系统中的装置，包括处理器和在其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使所述处理器实施根据权利要求1至92中的任一项所述的方法。

94.一种其上存储有指令的非暂时性计算机存储介质，所述指令使得处理器执行权利要求1至92中的任一项所述的方法。