CN117221558A

CN117221558A - 跨分量编解码的适用性条件

Info

Publication number: CN117221558A
Application number: CN202311198547.2A
Authority: CN
Inventors: 邓智玭; 张莉; 刘鸿彬; 张凯; 许继征
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-05-08
Filing date: 2020-05-08
Publication date: 2023-12-12
Also published as: JP7407206B2; SG11202111961SA; WO2020224629A1; CN113796072B; US11463713B2; CN113796072A; JP2022531216A; EP3949395A1; BR112021021661A2; US20220030257A1; KR102641796B1; EP3949395A4; KR20220006053A; US20220385926A1

Abstract

一种用于视觉媒体处理的方法，包括：使用规则，该规则基于固定值指定表示与视觉媒体数据的当前视频单元相关联的至少一个色度块的色度残差缩放因子，其中该固定值至少基于一个或多个条件；以及执行当前视频单元和当前视频单元的比特流之间的转换。

Description

跨分量编解码的适用性条件

本申请是申请日为2020年5月8日、申请号为202080034419.2、发明名称为“跨分量编解码的适用性条件”的发明专利申请的分案申请。

相关应用的交叉引用

本申请是2020年5月8日提交的国际专利申请NO.PCT/CN2020/089096的中国国家阶段申请，本申请旨在及时要求2019年5月8日提交的国际专利申请号PCT/CN2019/085996的优先权和利益。上述申请的全部公开内容作为本申请公开内容的一部分通过引用结合于此。

技术领域

本专利文件涉及视频编码/解码技术、设备和系统。

背景技术

尽管在视频压缩方面取得了进步，但数字视频仍然是互联网和其他数字通信网络上使用的最大带宽。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

发明内容

描述了与数字视频编解码/解码相关的设备、系统和方法，并且特别是视频编码/解码中跨分量线性模型(cross-component linear model，CCLM)预测模式的简化线性模型推导。所描述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(HighEfficiency Video Coding，HEVC))和未来的视频编解码标准(例如，通用视频编解码(Versatile Video Coding，VVC))或编解码器。

在一个代表性方面，所公开的技术包括用于视觉媒体处理的方法。该示例性方法包括：响应于确定视觉媒体数据的对应亮度块的临近亮度块的可用性，导出视觉媒体数据的当前视频色度块的第一参数，使得第一参数被导出为固定值或当前视频色度块的临近亮度样点的基于舍入(rounding)的平均值，其中对应亮度块覆盖与当前视频色度块相关联的位置；基于第一参数确定色度缩放因子；基于色度缩放因子执行当前视频色度块的色度残差缩放；以及使用色度缩放因子进行当前视频色度块和当前视频色度块的比特流之间的转换。

在一个代表性方面，所公开的技术包括用于视觉媒体处理的方法。该示例性方法包括使用规则，该规则基于固定值指定表示与视觉媒体数据的当前视频单元相关联的至少一个色度块的色度残差缩放因子，其中该固定值至少基于一个或多个条件；以及执行当前视频单元和当前视频单元的比特流之间的转换。

在一个代表性方面，所公开的技术包括用于视觉媒体处理的方法。该示例性方法包括：在视觉媒体数据的当前视频块和当前视频块的比特流之间的转换期间，至少部分地基于与当前视频块相关联的维度和/或分割信息和/或编解码结构类型，做出选择性地启用或禁用对当前视频块的颜色分量应用跨分量线性模型(CCLM)的确定，其中，在CCLM中，基于第二组颜色分量的线性组合预测第一组颜色分量。

在又一示例方面，上述方法可以由包括处理器的视频编码器装置来实现。

在又一示例方面，上述方法可以由包括处理器的视频解码器装置来实现。

在又一示例方面，这些方法可以以处理器可执行指令的形式来体现，并存储在计算机可读程序介质上。

本文件进一步描述了这些和其他方面。

附图说明

图1示出了HEVC中的角度帧内预测模式的示例。

图2示出了不在HEVC中的方向模式的示例。

图3示出了与CCLM模式相关的示例。

图4示出了具有色度缩放架构的亮度映射的示例。

图5示出了不同颜色格式的亮度块和色度块的示例。

图6示出了相同颜色格式的亮度块和色度块的示例。

图7示出了覆盖多种格式的并置亮度块的示例。

图8示出了较大亮度块内的亮度块的示例。

图9示出了较大亮度块内和边界框内的亮度块的示例。

图10是用于实现本文档中描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。

图11示出了根据所公开的技术的用于跨分量预测的线性模型推导的示例方法的流程图。

图12是其中可以实现所公开的技术的示例视频处理系统的框图。

图13是视觉媒体处理方法的示例的流程图。

图14是视觉媒体处理方法的示例的流程图。

图15是视觉媒体处理方法的示例的流程图。

具体实施方式

2.1对HEVC的简要回顾

2.1.1HEVC/H.265中的帧内预测

帧内预测涉及使用先前在考虑的颜色通道中重构的样点来产生给定TB(变换块)的样点。分别为亮度和色度通道信令通知帧内预测模式，并且色度通道帧内预测模式可选地经由“DM_CHROMA”模式、取决于亮度通道帧内预测模式。尽管以PB(prediction block，预测块)级信令通知帧内预测模式，但是根据CU的残差四叉树层次结构，以TB级应用帧内预测处理，从而允许一个TB的编解码对CU内的下一TB的编解码产生影响，并因此减小到用作参考值的样点的距离。

HEVC包括35种帧内预测模式–DC模式、平面模式和33个方向或“角度”帧内预测模式。图1中示出了33种角度帧内预测模式。

对于与色度颜色通道相关联的PB，帧内预测模式被指定为平面、DC、水平、垂直、“DM_CHROMA”模式或有时对角模式“34”。

注意对于色度格式4:2:2和4:2:0，色度PB可能重叠两个或四个(分别)亮度PB；在这种情况下，DM_CHROMA的亮度方向取自这些亮度PB的左上。

DM_CHROMA模式指示亮度颜色通道PB的帧内预测模式应用于色度颜色通道PB。因为这是相对常见的，所以intra_chroma_pred_mode的最可能模式编解码方案偏向于有利于选择该模式。

2.2通用视频编解码(VVC)算法描述

2.2.1VVC编解码架构

为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索小组(Joint Video Exploration Team，JVET)。JVET会议每季度同时举行一次，新的编解码标准的目标是与HEVC相比降低50％的比特率。新的视频编解码标准在2018年4月的JVET会议上正式命名为通用视频编解码(VVC)，当时发布了VVC测试模型(VVC testmodel，VTM)的第一个版本。随着VVC标准化工作的不断开展，新的编解码技术在每次JVET会议上都被采用到VVC标准中。VVC工作草案和测试模型VTM在每次会议后都会被更新。VVC项目目前的目标是在2020年7月的会议上实现技术完工(FDIS)。

与大多数先前标准一样，VVC具有基于块的混合编解码架构，将图片间和图片内预测以及变换编解码与熵编解码相结合。图片分割结构将输入视频分成称为编解码树单元(coding tree unit，CTU)的块。使用具有嵌套多类型树结构的四叉树将CTU划分成编解码单元(coding unit，CU)，其中叶编解码单元(CU)定义了共享相同预测模式(例如，帧内或帧间)的区域。在本文件中，术语“单元”定义了覆盖所有颜色分量的图像的区域；术语“块”用于定义覆盖特定颜色分量(例如亮度)的区域，并且在考虑色度采样格式(诸如4:2:0)时，其在空间位置上可能不同。

2.2.2VVC中的双树/单树分割

亮度分量和色度分量可以具有用于I条带的单分割树。单树分割64x64是在块级之下，而不是CTU级。在VTM软件中，存在SPS标志来控制双树的打开和关闭。

2.2.3VVC中的帧内预测

2.2.3.1 67种帧内预测模式

为了捕获自然视频中呈现的任意边缘方向，VTM4中的定向帧内模式的数量从HEVC使用的33个扩展到65个。不在HEVC的新的定向模式在图2中用红点箭头描绘，并且平面和DC模式保持不变。这些更密集的定向帧内预测模式适用于所有块尺寸以及适用于亮度和色度帧内预测。

2.2.3.2跨分量线性模型预测(CCLM)

为了减少跨分量冗余，在VTM4中使用跨分量线性模型(CCLM)预测模式，对于该模式，通过使用如下线性模型，基于同一CU的重构亮度样点来预测色度样点:

pred_C(i,j)＝α·rec_L'(i,j)+β

其中pred_C(i,j)表示CU中的预测的色度样点，并且rec_L(i,j)表示同一CU的下采样重构亮度样点。线性模型参数α和β是从两个样点的亮度值和色度值之间的关系导出的，这两个样点是在下采样的临近亮度样点的集合中的具有最小样点值和最大样点的亮度样点，以及它们对应色度样点。线性模型参数α和β根据以下等式获得：

β＝Y_b-α·X_b

其中，Y_a和X_a表示具有最大亮度样点值的亮度样点的亮度值和色度值。X_b和Y_b分别表示具有最小亮度样点的亮度样点的亮度值和色度值。图3示出了CCLM模式中涉及的左侧和上方样点以及当前块的样点的位置的示例。

计算参数α的除法运算是用查找表实现的。为了减少存储该表所需的存储器，diff值(最大值和最小值之间的差)和参数α用指数表示法表示。例如，diff用一个4比特有效部分(significant part)和指数来近似。因此，用于1/diff的表被简化为针对16个有效数字值的16个元素，如下所示:

DivTable[]＝{0,7,6,5,5,4,4,3,3,2,2,1,1,1,1,0}

这将有利于降低计算的复杂性以及存储所需表需要的存储器尺寸。

除了上模板和左模板可以一起被用于计算线性模型系数，它们也可以在其他2个LM模式(称为LM_A和LM_L模式)中交替使用。

在LM_A模式中，仅使用上模板来计算线性模型系数。为了得到更多的样点，将上模板被扩展到(W+H)。在LM_L模式中，仅使用左模板来计算线性模型系数。为了得到更多的样点，左模板被扩展到(H+W)。

对于非正方形块，上模板被扩展为W+W，左模板被扩展为H+H。

为了匹配4:2:0视频序列的色度样点位置，对亮度样点应用两种类型的下采样滤波器，以在水平和垂直方向两者上实现2比1的下采样比。下采样滤波器的选择由SPS级标志指定。两个下采样滤波器如下，它们分别对应“type-0”(类型-0)和“type-2”(类型-2)内容：

请注意，当上方参考线位于CTU边界时，只有一个亮度线(帧内预测中的通用线缓冲器)用于进行下采样亮度采样。

该参数计算是作为解码过程的一部分来执行的，并且不仅仅是作为编码器搜索操作。因此，不使用语法向解码器传送α和β值。

对于色度帧内模式编解码，色度帧内模式编解码总共允许8种帧内模式。这些模式包括五种传统的帧内模式和三种跨分量线性模型模式(CCLM、LMA和LML)。色度模式编解码直接取决于对应亮度块的帧内预测模式。由于亮度和色度分量的单独块分割结构在I条带中被启用，一个色度块可以对应于多个亮度块。因此，对于色度DM模式，直接继承覆盖当前色度块中心位置的对应亮度块的帧内预测模式。

2.2.3.2.1对应修改的工作草案(JVET-N0271)

以下规范基于JVET-M1001的修改的工作草案和JVET-N0271中的采用。采用的JVET-N0220的修改以粗体和下划线显示。

语法表

序列参数集RBSP语法

语义

等于0的指定禁用从亮度分量到色度分量的跨分量线性模型帧内预测。等于1的sps_cclm_enabled_flag指定启用从亮度分量到色度分量的跨分量线性模型帧内预测。

解码过程

在8.4.4.2.8中，INTRA_LT_CCLM、INTRA_L_CCLM和INTRA_T_CCLM帧内预测模式的规范

此过程的输入是：

–帧内预测模式predModeIntra，

–当前变换块的左上样点相对于当前图片的左上样点的样点位置(xTbC，yTbC)，

–变量nTbW，指定变换块的宽度，

–变量nTbH，指定变换块的高度，

–色度临近样点p[x][y]，其中x＝-1,y＝0..2*nTbH-1且x＝0..2*nTbW-1,y＝-1。

此过程的输出是预测的样点predSamples[x][y]，其中x＝0..nTbW-1,y＝0..nTbH-1。

当前亮度位置(xTbY，yTbY)推导如下：

(xTbY,yTbY)＝(xTbC<<1,yTbC<<1) (8-156)

变量availL、availT和availTL的推导如下：

–调用中指定的块的左临近样点推导过程的可用性，其中将设置为等于(xTbC，yTbC)的当前色度位置(xCurr，yCurr)和临近色度位置(xTbC-1,yTbC)作为输入，并将输出分配给availL。

–调用中指定的块的上方临近样点推导过程的可用性，其中将设置为等于(xTbC，yTbC)当前色度位置(xCurr，yCurr)和临近色度位置(xTbC,yTbC-1)作为输入，并将输出分配给availT。

–调用中指定的块的左上临近样点推导过程的可用性，其中将设置为等于(xTbC，yTbC)的当前色度位置(xCurr，yCurr)和临近色度位置(xTbC-1,yTbC-1)作为输入，并将输出分配给availTL。

–可用的右上临近色度样点numTopRight的数量推导如下：

–变量numTopRight设置为等于0，且availTR设置为等于TRUE。

–当predModeIntra等于INTRA_T_CCLM时，针对x＝nTbW..2*nTbW–1适用以下内容，直到availTR等于FALSE或x等于2*nTbW-1：

–调用中指定的块的可用性推导过程，将设置为等于(xTbC，yTbC)的当前色度位置(xCurr，yCurr)和临近色度位置(xTbC+x,yTbC-1)作为输入，并将输出分配给availableTR

–当availableTR等于TRUE时，numTopRight递增1。

–可用的左下临近色度样点numLeftBelow的数量推导如下：

–变量numLeftBelow设置为0，且availLB设置为TRUE。

–当predModeIntra等于INTRA_L_CCLM时，针对y＝nTbH..2*nTbH–1适用以下内容，直到availLB等于FALSE或y等于2*nTbH-1：

–调用中指定的块的可用性推导过程，将设置为等于(xTbC,yTbC)的当前色度位置(xCurr,yCurr)和临近色度位置(xTbC-1,yTbC+y)作为输入，并将输出分配给availableTR。

–当availableLB等于TRUE时，numLeftBelow递增1。

上方和右上numTopSamp上可用的临近色度样点的数量以及左和左下nLeftSamp上的可用的临近色度样点的数量推导如下：

–如果predModeIntra等于INTRA_LT_CCLM，则适用以下内容：

numSampT＝availT？nTbW:0 (8-157)

numSampL＝availL？nTbH:0 (8-158)

–否则，适用以下内容：

具有x＝0..nTbW-1，y＝0..nTbH-1的预测样点predSamples[x][y]如下导出：

–如果numSampL和numSampT两者都等于0，则适用以下内容：

predSamples[x][y]＝1<<(BitDepth_C-1)(8-162)

–否则，适用以下有序步骤：

1.具有x＝0..nTbW*2-1时，y＝0..nTbH*2-1的并置亮度样点pY[x][y]设置为等于去块滤波器过程之前在位置(xTbY+x，yTbY+y)处重构的亮度样点。

2.临近亮度样点样点pY[x][y]如下导出：

–当numSampL大于0时，x＝-1..-3，y＝0..2*numSampL-1的临近左亮度样点pY[x][y]设置为等于去块滤波器过程之前在位置(xTbY+x，yTbY+y)处重构的亮度样点。

–当numSampT大于0时，x＝0..2*numSampT-1,y＝-1,-2的临近上方亮度样点pY[x][y]设置为等于去块滤波器过程之前在位置(xTbY+x,yTbY+y)处重构的亮度样点。

–当availTL等于TRUE时，x＝-1，y＝-1，-2的临近左上亮度样点pY[x][y]设置为等于去块滤波器过程之前在位置(xTbY+x,yTbY+y)处重构的亮度样点。

3.下采样的并置亮度样点pDsY[x][y]，其中x＝0..nTbW-1,y＝0..nTbH-1如下导出:

–如果sps_cclm_colocated_chroma_flag等于1，适用以下内容：

–pDsY[x][y]，其中x＝1..nTbW-1,y＝1..nTbH–1，如下导出:

pDsY[x][y]＝(pY[2*x][2*y-1]+pY[2*x-1][2*y]+4*pY[2*x][2*y]+pY[2*x+1][2*y]+pY[2*x][2*y+1]+4)>>3 (8-163)

–如果availL等于TRUE,pDsY[0][y]，其中y＝1..nTbH–1，如下导出:

pDsY[0][y]＝(pY[0][2*y-1]+pY[-1][2*y]+4*pY[0][2*y]+pY[1][2*y]+pY[0][2*y+1]+4)>>3 (8-164)

–否则,pDsY[0][y]，其中y＝1..nTbH–1，如下导出:

pDsY[0][y]＝(pY[0][2*y-1]+2*pY[0][2*y]+pY[0][2*y+1]+2)>>2 (8-165)

–如果availT等于TRUE,pDsY[x][0]，其中x＝1..nTbW–1，如下导出:

pDsY[x][0]＝(pY[2*x][-1]+pY[2*x-1][0]+4*pY[2*x][0]+pY[2*x+1][0]+pY[2*x][1]+4)>>3 (8-166)

–否则,pDsY[x][0]，其中x＝1..nTbW–1，如下导出:

pDsY[x][0]＝(pY[2*x-1][0]+2*pY[2*x][0]+pY[2*x+1][0]+2)>>2 (8-167)

–如果availL等于TRUE且availT等于TRUE,pDsY[0][0]如下导出:

pDsY[0][0]＝(pY[0][-1]+pY[-1][0]+4*pY[0][0]+pY[1][0]+pY[0][1]+4)>>3(8-168)

–否则如果availL等于TRUE且availT等于FALSE,pDsY[0][0]如下导出:

pDsY[0][0]＝(pY[-1][0]+2*pY[0][0]+pY[1][0]+2)>>2 (8-169)

–否则如果availL等于FALSE且availT等于TRUE,pDsY[0][0]如下导出:

pDsY[0][0]＝(pY[0][-1]+2*pY[0][0]+pY[0][1]+2)>>2 (8-170)

–否则(availL等于FALSE且availT等于FALSE),pDsY[0][0]如下导出:

pDsY[0][0]＝pY[0][0] (8-171)

–否则,适用以下内容：

–pDsY[x][y]，其中x＝1..nTbW-1,y＝0..nTbH–1，如下导出:

pDsY[x][y]＝(pY[2*x-1][2*y]+pY[2*x-1][2*y+1]+2*pY[2*x][2*y]+2*pY[2*x][2*y+1]+pY[2*x+1][2*y]+pY[2*x+1][2*y+1]+4)>>3 (8-172)

–如果availL等于TRUE,pDsY[0][y]，其中y＝0..nTbH–1，如下导出:

pDsY[0][y]＝(pY[-1][2*y]+pY[-1][2*y+1]+2*pY[0][2*y]+2*pY[0][2*y+1]+pY[1][2*y]+pY[1][2*y+1]+4)>>3(8-173)

–否则,pDsY[0][y，其中y＝0..nTbH–1，如下导出:

pDsY[0][y]＝(pY[0][2*y]+pY[0][2*y+1]+1)>>1 (8-174)

4.当numSampL大于0，下采样的临近左亮度样点/>其中/>如下导出:

-

–如果sps_cclm_colocated_chroma_flag等于1,适用以下内容：

–

–否则,

–否则,适用以下内容：

5.当numSampT大于0, 下采样的临近上方亮度样点/>如下指定:

–

–如果sps_cclm_colocated_chroma_flag等于1,适用以下内容：

–如果x>0:

–如果bCTUboundary等于FALSE,适用以下内容：

–否则(bCTUboundary等于TRUE),适用以下内容：

–

–如果availTL等于TRUE并且bCTUboundary等于FALSE,适用以下内容：

–否则如果availTL等于TRUE并且bCTUboundary等于TRUE,适用以下内容：

–否则如果availTL等于FALSE并且bCTUboundary等于FALSE,适用以下内容：

–否则(availTL等于FALSE并且bCTUboundary等于TRUE),适用以下内容：

–否则,适用以下内容：

–

–如果bCTUboundary等于FALSE,适用以下内容：

–否则(bCTUboundary等于TRUE),适用以下内容：

pY[2*x+1][-1]+2)>>2 (8-186)

–

–如果availTL等于TRUE并且bCTUboundary等于FALSE,适用以下内容：

–否则如果availTL等于FALSE并且bCTUboundary等于FALSE,

适用以下内容：

–否则(availTL等于FALSE并且bCTUboundary等于TRUE),适用以下内容：

-

–

–/>

–

7.变量a,b,和k如下导出:

–如果numSampL等于0,并且numSampT等于0,适用以下内容：

k＝0 (8-208)

a＝0 (8-209)

b＝1<<(BitDepth_C-1) (8-210)

–否则,适用以下内容：

diff＝maxY-minY (8-211)

–如果diff不等于0,适用以下内容：

diffC＝maxC-minC (8-212)

x＝Floor(Log2(diff)) (8-213)

normDiff＝((diff<<4)>>x)&15 (8-214)

x+＝(normDiff！＝0)？1:0 (8-215)

y＝Floor(Log2(Abs(diffC)))+1 (8-216)

a＝(diffC*(divSigTable[normDiff]|8)+2^y-1)>>y(8-217)

k＝((3+x-y)<1)？1:3+x-y (8-218)

a＝((3+x-y)<1)？Sign(a)*15:a (8-219)

b＝minC-((a*minY)>>k) (8-220)

其中divSigTable[]指定如下：

divSigTable[]＝{0,7,6,5,5,4,4,3,3,2,2,1,1,1,1,0}(8-221)

–否则(diff等于0),适用以下内容：

k＝0 (8-222)

a＝0 (8-223)

b＝minC (8-224)

8.预测样点predSamples[x][y]，其中x＝0..nTbW-1,y＝0..nTbH–1如下导出:

predSamples[x][y]＝Clip1C(((pDsY[x][y]*a)>>k)+b)

(8-225)

2.2.3.3其他帧内预测方面

VTM4包括许多不同于HEVC的帧内编解码工具，例如，以下特征已被包括在块树结构的上方的VVC测试模型3中。

·67种具有广角模式扩展的帧内模式，

·块尺寸和模式相关的4抽头插值滤波器

·位置相关的帧内预测组合(Position dependent intra predictioncombination，PDPC)

·跨分量线性模型帧内预测

·多参考线帧内预测

·帧内子分割

VVC中的帧间预测

2.2.4.1组合的帧间和帧内预测(Combined inter and intra prediction，CIIP)

在VTM4中，当CU以Merge模式编解码时，并且如果CU包含至少64个亮度样点(即CU宽度乘以CU高度等于或大于64)，则信令通知附加标志，以指示组合的帧间/帧内预测(CIIP)模式是否应用于当前CU。

为了形成CIIP预测，首先从两个附加语法元素导出帧内预测模式。最多可以使用四种可能的帧内预测模式：DC、平面、水平或垂直。然后，使用规则的帧内和帧间解码过程来导出帧间预测和帧内预测信号。最后，执行帧间和帧内预测信号的加权平均以获得CIIP预测。

2.2.4.2各种各样的帧间预测方面

VTM4包括许多与HEVC不同的帧间编解码工具，例如，以下特征已被包括在块树结构的上方的VVC测试模型3中。

·仿射运动帧间预测

·基于子块的时域运动矢量预测

·自适应运动矢量分辨率

·基于8x8块的运动压缩，用于时域运动预测

·高精度(1/16像素)运动矢量存储和运动补偿，具有针对亮度分量的8抽头插值滤波器，和针对色度分量的4抽头插值滤波器

·三角分割

·组合的帧内和帧间预测

·具有MVD的Merge(Merge with MVD，MMVD)

·对称MVD编解码

·双向光流

·解码器侧向运动矢量细化

·双向预测加权平均

2.2.5环内滤波器(In-loop filter)

VTM4中总共有三个环内滤波器。除了去块滤波器和SAO(HEVC中的两个环路滤波器)之外，VTM4中还采用了自适应环路滤波器(adaptive loop filter，ALF)。VTM4中的滤波过程的顺序为去块滤波器、SAO和ALF。

在VTM4中，SAO和去块滤波过程与HEVC中的过程几乎相同。

在VTM4中，添加了新的过程，称为具有色度缩放的亮度映射(该过程以前称为自适应环内整形器)。此新的过程在去块之前执行。

2.2.6具有色度缩放的亮度映射(Luma mapping with chroma scaling，LMCS，又名环内整形)

在VTM4中，在环路滤波器之前添加了称为具有色度缩放的亮度映射(LMCS)的编解码工具，作为新的处理块。LMCS有两个主要部分：1)基于自适应分段线性模型的亮度分量的环内映射；2)对于色度分量，应用亮度相关的色度残差缩放。图4从解码器的角度示出了LMCS架构。图4中的浅蓝色阴影块指示在映射的域中应用处理的位置；并且这些包括去量化、逆变换、亮度帧内预测以及亮度预测与亮度残差的相加。图4中未加阴影的块指示在原始(即，未映射)域中应用处理的位置；并且这些包括环路滤波器，诸如去块、ALF和SAO、运动补偿的预测、色度帧内预测、色度预测和色度残差的相加，以及将解码的图片存储为参考图片。图4中的浅黄色阴影块是新的LMCS功能块，包括亮度信号的正向和反向映射以及亮度相关的色度缩放过程。像VVC中的大多数其他工具一样，可以使用SPS标志在序列级启用/禁用LMCS。

2.2.6.1具有分段线性模型的亮度映射

亮度分量的环内映射通过在动态范围间重新分配码字来调整输入信号的动态范围，以提高压缩效率。亮度映射利用正向映射函数FwdMap和对应的反向映射函数InvMap。使用具有16个相等的片段的分段线性模型来信令通知FwdMap函数。InvMap函数不需要被信令通知，而是从FwdMap函数中导出的。

亮度映射模型在片组级(tile group level)信令通知。首先存在标志被信令通知。如果亮度映射模型存在于当前片组中，则对应的分段线性模型参数被信令通知。分段线性模型将输入信号的动态范围分割为16个相等的片段，并且对于每个片段，其线性映射参数使用分配给该片段的码字数量来表示。以10比特输入为例。默认情况下，16个片段中的每一个都将被分配64个码字。信令通知的码字的数量被用于计算缩放因子，并对应地调整该片段的映射函数。在片组级处，另一个LMCS使能标志被信令通知，以指示图4中描绘的LMCS过程是否被应用于当前片组。

FwdMap分段线性模型的每个第i个片段，i＝0…15，由两个输入枢轴点InputPivot[]和两个输出(映射的)枢轴点MappedPivot[]定义。

InputPivot[]和MappedPivot[]的计算如下(假设10比特视频)：

1)OrgCW＝64

2)对于i＝0：16，InputPivot[i]＝i*OrgCW

3)对于i＝0：16，MappedPivot[i]计算如下：

MappedPivot[0]＝0；

for(i＝0；i＜16；i++)

MappedPivot[i+1]＝MappedPivot[i]+SignalledCW[i]

其中，SignalledCW[i]是第i个片段的码字的被信令通知的数量。

如图4所示，对于帧间编解码的块，在映射的域中执行运动补偿的预测。换句话说，在基于DPB中的参考信号计算运动补偿的预测块Y_pred之后，应用FwdMap函数来将原始域中的亮度预测块映射到映射的域Y′_pred＝FwdMap(Y_pred)。对于帧内编解码的块，由于帧内预测是在映射的域中执行的，因此不应用FwdMap函数。计算重构的块Y_r后，应用InvMap函数将映射的域中的重构的亮度值转换回原始域中的重构的亮度值InvMap函数适用于帧内和帧间编解码的亮度块两者。

亮度映射过程(正向和/或反向映射)可以使用查找表(look-up-table，LUT)或使用实时(on-the-fly)计算来实现。如果使用LUT，则可以预先计算和预先存储FwdMapPlut和InvMapLUT，以便在片组级使用，并且正向和反向映射可以分别简单地实现为FwdMap(Y_pred)＝FwdMapLUT[Y_pred]和InvMap(Y_r)＝InvMapLUT[Y_r]。可替代地，可以使用实时计算。以正向映射函数FwdMap为例。为了找出亮度样点所属的片段，样点值被右移6位(对应于16个相等的片段)。然后，检索该片段的线性模型参数并动态应用，以计算映射的亮度值。设i为片段索引，a1、a2分别为InputPivot[i]和InputPivot[i+1]，并且b1、b2分别为MappedPivot[i]和MappedPivot[i+1]。FwdMap函数被评估如下：

FwdMap(Y_pred)＝((b2-b1)/(a2-a1))*(Y_pred-a1)+b1

除了在计算样点值所属的片段时需要应用条件检查而不是简单的右移位(因为映射的域中的片段尺寸不等)之外，可以以类似的方式实时计算InvMap函数。

2.2.6.2亮度相关的色度残差缩放

色度残差缩放设计用于补偿亮度信号和其对应色度信号之间的相互作用。色度残差缩放是否被启用也在片组级信令通知。如果亮度映射被启用，并且如果双树分割(也称为独立色度树)未应用于当前片组，则会信令通知附加标志，以指示是否启用亮度相关的色度残差缩放。当不使用亮度映射时，或者当在当前片组中使用双树分割时，亮度相关的色度残差缩放被禁用。此外，对于面积小于或等于4的色度块，始终禁用亮度相关的色度残差缩放。

色度残差缩放取决于对应亮度预测块的平均值(对于帧内和帧间编解码的块两者)。将avgY′表示为亮度预测块的平均值。C_ScaleInv的值按以下步骤计算：

1)基于InvMap函数找到avgY′所属的分段线性模型的索引Y_Idx。

2)C_ScaleInv＝cScaleInv[Y_Idx]，其中cScaleInv[]是预先计算的16片段LUT。

如果当前块被编解码为帧内、CIIP或帧内块复制(IBC，也称为当前图片参考或CPR)模式，则avgY′被计算为帧内、CIIP或IBC预测亮度值的平均值；否则，avgY′被计算为正向映射的帧间预测亮度值的平均值(图4中的Y′_pred)。与基于样点执行的亮度映射不同，C_ScaleInv是整个色度块的常数值。使用C_ScaleInv，色度残差缩放应用如下：

编码器侧：C_ResScale＝C_Res*C_Scale＝C_Res/C_ScaleInv

解码器侧：C_Res＝C_ResScale/C_Scale＝C_ResScale*C_ScaleInv

2.2.6.3JVET-M1001_v7中对应工作草案以及JVET-N0220中的采用

以下规范基于JVET-M1001的修改的工作草案和JVET-N0220的采用。采用的JVET-N0220中的修改以粗体和下划线显示。

语法表

在7.3.2.1中，序列参数集RBSP语法

在7.3.4.1中，常规片组头语法

在7.3.4.4中，具有色度缩放数据语法的亮度映射

语义

在7.4.3.1中，序列参数集RBSP语义

等于1指定在CVS中使用具有色度缩放的亮度映射。sps_lmcs_enabled_flag等于0指定在CVS中不使用具有色度缩放的亮度映射。

等于1指定在片组头中存在lmcs_data()。tile_group_lmcs_model_present_flag等于0指定在片组头中不存在lmcs_data()。当不存在tile_group_lmcs_model_present_flag时，将其推断为等于0。

等于1指定为当前片组启用了具有色度缩放的亮度映射。tile_group_lmcs_enabled_flag等于0指定当前片组未启用具有色度缩放的亮度映射。如果不存在tile_group_lmcs_enabled_flag，将其推断为等于0。

等于1指定为当前片组启用了色度残差缩放。tile_group_chroma_residual_scale_flag等于0指定当前片组未启用色度残差缩放。如果不存在tile_group_chroma_residual_scale_flag，则将其推断为等于0。

在7.4.5.4中，具有色度缩放数据语义的亮度映射

指定具有色度缩放构建过程的亮度映射中使用的最小二进制位索引。lmcs_min_bin_idx的值应在0到15(包括0和15)的范围内。/>

指定在15和用于具有色度缩放构造过程的亮度映射的最大二进制位索引LmcsMaxBinIdx之间的增量(delta)值。lmcs_delta_max_bin_idx的值应在0到15(包括0和15)的范围内。LmcsMaxBinIdx的值设置为等于15至lmcs_delta_max_bin_idx。LmcsMaxBinIdx的值应大于或等于lmcs_min_bin_idx。

加1指定用于表示语法lmcs_delta_abs_cw[i]的位数。lmcs_delta_cw_prec_minus1的值应在0至BitDepthY-2(包括0和BitDepthY-2)的范围内。

指定第i个二进制位的绝对增量码字值。

指定变量lmcsDeltaCW[i]的符号，如下所示:

–如果lmcs_delta_sign_cw_flag[i]等于0，则lmcsDeltaCW[i]为正值。

–否则(lmcs_delta_sign_cw_flag[i]不等于0)，lmcsDeltaCW[i]为负值。

当lmcs_delta_sign_cw_flag[i]不存在时，推断其等于0。

变量OrgCW的推导如下：

OrgCW＝(1<<BitDepth_Y)/16 (7-70)

变量lmcsDeltaCW[i]，其中i＝lmcs_min_bin_idx..LmcsMaxBinIdx，推导如下：

lmcsDeltaCW[i]＝(1-2*lmcs_delta_sign_cw_flag[i])*lmcs_delta_abs_cw[i](7-71)

变量lmcsCW[i]推导如下：

–对于i＝0..lmcs_min_bin_idx-1，lmcsCW[i]设置为等于0。

–对于i＝lmcs_min_bin_idx..LmcsMaxBinIdx，适用以下内容：

lmcsCW[i]＝OrgCW+lmcsDeltaCW[i] (7-72)

lmcsCW[i]的值应在(OrgCW>>3)至(OrgCw<<3-1)的范围内(包括(OrgCW>>3)和(OrgCw<<3-1))。

–对于i＝LmcsMaxBinIdx+1..15，lmcsCW[i]设为等于0。

满足以下条件是比特流一致性的要求：

变量InputPivot[i]，其中i＝0..16推导如下：

InputPivot[i]＝i*OrgCW (7-74)

变量LmcsPivot[i]，其中i＝0..16，变量ScaleCoeff[i]和InvScaleCoeff[i]，其中i＝0..15推导如下：

/>

变量ChromaScaleCoeff[i],其中i＝0…15,推导如下：

变量ClipRange，LmcsMinVal和LmcsMaxVal推导如下：

ClipRange＝((lmcs_min_bin_idx>0)&&(LmcsMaxBinIdx<15) (7-77)

LmcsMinVal＝16<<(BitDepth_Y-8) (7-78)

LmcsMaxVal＝235<<(BitDepth_Y-8) (7-79)

注意–只有当tile_group_lmcs_model_present_flag等于1时，才会更新数组InputPivot[i]、LmcsPivot[i]、ScaleCoeff[i]、和InvScaleCoeff[i]、ScaleCoeff[i]、ClipRange、LmcsMinVal和LmcsMaxVal。因此，例如，lmcs模型可以与IRAP图片一起被发送，但是lmcs对于该IRAP图片是被禁用的。

3.现有实现的缺点

LMCS/CCLM的当前设计可能具有以下问题:

1.在LMCS编解码工具中，色度残差缩放因子由并置亮度预测块的平均值导出，这导致了在LMCS色度残差缩放中处理色度样点的延迟。

a)在单个/共享的树的情况下，延迟是由以下引起的：(a)等待整个亮度块的所有可用预测样点，以及(b)平均由(a)获得的所有亮度预测样点。

b)在双/单树的情况下，延迟甚至更糟糕，因为在I条带中启用了亮度和色度分量的单块分割结构。因此，一个色度块可以对应于多个亮度块，并且一个4×4色度块可以对应于64×64亮度块。因此，最糟糕的情况是当前4×4色度块的色度残差缩放因子可能需要等待，直到整个64×64亮度块中的所有预测样点都可用。总之，双/单树中的延迟问题会严重得多。

2.在CCLM编解码工具中，用于帧内色度预测的CCLM模型计算取决于亮度块和色度块两者的左和上参考样点。并且色度块的CCLM预测取决于同一CU的并置亮度重构的样点。这将导致双/单树中的高延迟。

·在双/单树的情况下，一个4×4色度块可以对应于64×64亮度块。因此，最糟糕的情况是当前色度块的CCLM过程可能需要等待，直到对应的整个64×64亮度块被重构。这个延迟问题类似于双/单树中的LMCS色度缩放。

4.示例技术和实施例

为了解决这些问题，我们提出了几种方法来消除/减少/限制亮度相关的色度残差缩放、CCLM和其他依赖于来自不同颜色分量的信息的编解码工具中的跨分量依赖性。

下面描述的详细实施例应该被认为是解释一般概念的示例。这些实施例不应被狭义地解释。此外，这些实施例可以以任何方式组合。

注意，虽然下面描述的项目符号(bullet)明确提到了LMCS/CCLM，但是这些方法也可以适用于依赖于来自不同颜色分量的信息的其他编解码工具。此外，下面提到的术语“亮度”和“色度”可以分别由“第一颜色分量”和“第二颜色分量”代替，诸如在RGB颜色格式中的“G分量”和“B/R分量”。

在以下讨论中，“并置样点/块”的定义与VVC工作草案JVET-M1001中的并置样点/块的定义一致。更具体地说，在4:2:0颜色格式中，假设色度块的左上样点位于位置(xTbC，yTbC)，则并置亮度块位置的左上样点(xTbY，yTbY)的推导如下：(xTbY，yTbY)＝(xTbC<<1，yTbC<<1)。如图5所示，当前色度块的左上样点位于色度图片中的(x＝16，y＝16)，则它的并置亮度块的左上样点位于亮度图片中的(x＝32，y＝32)，而与亮度图片中的并置亮度块的块分割无关。再例如，在相同颜色分量中，并置块的左上样点在参考帧中的位置应该与当前块的左上样点在当前帧中的位置相同，如图6所示，假设当前块的左上样点在当前帧中是(x，y)，那么当前块的并置块的左上样点在参考帧中具有相同的位置(x，y)。

在下面的讨论中，“对应块”可能与当前块具有不同的位置。例如，当前块和参考帧中对应块之间可能存在运动偏移。如图6所示，假设当前块位于当前帧中的(x，y)处，并且它具有运动矢量(mv_x,mv_y)，则当前块的对应块可以位于参考帧中的(x+mv_x,y+mv_y)。并且对于IBC编解码的块，并置亮度块(由零矢量指示)和对应亮度块(由非零矢量指示)可以位于当前帧的不同位置。作为另一个示例，当亮度块的分割与色度块的分割不一致时(在I条带的双树分割中)，当前色度块的并置亮度块可以属于更大的亮度块，这取决于覆盖并置亮度块的左上样点的重叠的亮度编解码块的分割尺寸。如图5所示，假设粗体矩形表示块的分割，使得64×64亮度块首先被BT划分，然后64×64亮度块的右边部分被TT进一步划分，这导致尺寸分别等于32×16、32×32、32×16的三个亮度块。因此，查看当前色度块的并置亮度块的左上样点(x＝32，y＝32)，它属于TT分割的中心32x32亮度块。在这种情况下，我们将覆盖并置亮度块左上样点的相关亮度块称为“对应亮度块”。因此，在本例中，对应亮度块的左上样点位于(x＝32，y＝16)。

在下文中，DMVD(decoder-side motion vector derivation，解码器侧运动矢量推导)用于表示BDOF(也称为BIO)或/和DMVR(decode-side motion vector refinement，解码侧运动矢量细化)或/和FRUC(frame rate up-conversion，帧速率上转换)或/和在解码器处细化运动矢量或/和预测样点值的其他方法。

消除LMCS的色度缩放延迟和CCLM的模型计算

1.提出对于帧间编解码的块，参考帧中的当前块的一个或多个参考样点可用于推导LMCS模式中的色度残差缩放因子。

a)在一个示例中，参考亮度样点可以直接用于推导色度残差缩放因子。

i.可替代地，插值可以首先应用于参考样点，并且插值的样点可以用于推导色度残差缩放因子。

ii.可替代地，不同参考帧中的参考样点可用于推导最终参考样点，最终参考样点用于色度残差缩放因子推导。

1)在一个示例中，对于双向预测编解码的块，可以应用上述方法。

iii.在一个示例中，参考样点的强度可以在用于推导色度残差缩放因子之前被转换到整形域。

iv.在一个示例中，参考样点的线性组合可用于推导色度残差缩放因子。

1)例如，a×S+b可以用来推导色度残差缩放因子，其中S是参考样点，a和b是参数。在一个示例中，a和b可以通过局部照明补偿(Localized Illuminate Compensation，LIC)导出。

b)在一个示例中，参考帧中的参考亮度样点的位置可以取决于当前块的(一个或多个)运动矢量。

i.在一个示例中，参考样点属于参考亮度块，该参考亮度块在参考图片中，并且具有与当前亮度块相同的宽度和高度。参考图片中的参考亮度样点的位置可以被计算为其对应亮度样点在当前图片中的位置加上运动矢量。

ii.在一个示例中，参考亮度样点的位置可以由当前亮度块的左上(或中心、或右下)样点的位置和当前块的运动矢量导出，称为参考帧中的对应亮度样点。

1)在一个示例中，整数运动矢量(integer motion vector)可用于推导参考帧中的对应亮度样点。在一个示例中，与一个块相关联的运动矢量可以向零舍入(roundedtoward zero)，或者从零舍入(rounded away from zero)以导出整数运动矢量。

2)可替代地，分数运动矢量(fractional motion vector)可用于推导参考帧中的对应亮度样点，使得可能需要插值过程来导出分数参考样点。

iii.可替代地，参考亮度样点的位置可以由当前亮度块的左上(或中心，或右下)样点的位置导出。

iv.可替代地，参考帧中一些预定义位置处的多个对应亮度样点可以被选取来计算色度残差缩放因子。

c)在一个示例中，多个参考亮度样点的中值或平均值可用于推导色度残差缩放因子。

d)在一个示例中，预定义参考帧中的参考亮度样点可用于推导色度残差缩放因子。

i.在一个示例中，预定义参考帧可以是参考图片列表0的参考索引等于0的参考帧。

ii.可替代地，用于预定义参考帧的参考索引和/或参考图片列表可以在序列/图片/片组/条带/片/CTU行/视频单元级中信令通知。

iii.可替代地，可以导出多个参考帧中的参考亮度样点，并且可以利用平均或加权平均值来获得色度残差缩放因子。

2.提出是否以及如何在LMCS模式中从亮度样点中导出色度残差缩放因子可能取决于当前块是否应用双向预测。

a)在一个示例中，单独为每个预测方向导出色度残差缩放因子。

3.提出是否以及如何在LMCS模式中从亮度样点导出色度残差缩放因子可以取决于当前块是否应用基于子块的预测。

a)在一个示例中，基于子块的预测是仿射预测；

b)在一个示例中，基于子块的预测是可选时域运动矢量预测(AlternativeTemporal Motion Vector Prediction，ATMVP)。

c)在一个示例中，色度残差缩放因子是针对每个子块单独导出的。

d)在一个示例中，即使色度残差缩放因子是由子块预测的，也为整个块导出色度残差缩放因子。

i.在一个示例中，一个选择的子块(例如，左上子块)的运动矢量可用于标识当前块的参考样点，如项目符号1中所述。

4.提出用于推导色度残差缩放因子的亮度预测值可以是中间亮度预测值，而不是最终亮度预测值。

a)在一个示例中，双向光流处理(Bi-Directional Optical Flow，BDOF，也称为BIO)的过程之前的亮度预测值可以用于推导色度残差缩放因子。

b)在一个示例中，解码器侧运动矢量细化(Decoder-side Motion VectorRefinement，DMVR)的过程之前的亮度预测值可用于推导色度残差缩放因子。

c)在一个示例中，在LIC的过程之前的亮度预测值可以用于推导色度残差缩放因子。

d)在一个示例中，JVET-N0236中提出的预测细化光流(Prediction RefinementOptical Flow，PROF)的过程之前的亮度预测值可以用于推导色度残差缩放因子。

5.中间运动矢量可用于标识参考样点。

a)在一个示例中，在BDOF或/和DMVR或/和其他DMVD方法的过程之前的运动矢量可以用于标识参考样点。

b)在一个示例中，JVET-N0236中提出的预测细化光流(PROF)的过程之前的运动矢量可用于标识参考样点。

6.在当前块以帧间模式编解码时，上述方法可以适用。

7.提出对于IBC编解码的块，当前帧的参考块中的一个或多个参考样点可以用于推导LMCS模式中的色度残差缩放因子。当块被IBC编解码时，术语“运动矢量”也可以被称为“块矢量”，其中参考图片被设置为当前图片。

a)在一个示例中，参考样点属于参考块，该参考块在当前图片中，并且具有与当前块相同的宽度和高度。参考样点的位置可以被计算为其对应样点的位置加上运动矢量。

b)在一个示例中，参考亮度样点的位置可以通过将当前亮度块的左上(或中心，或右下)样点的位置加上运动矢量来导出。

c)可替代地，参考亮度样点的位置可以通过将当前亮度块的左上(或中心，或右下)样点的位置加上当前块的块矢量来导出。

d)可替代地，在当前亮度块的参考区域中的一些预定义位置处的多个对应亮度样点可以被挑选以计算色度残差缩放因子。

e)在一个示例中，可以用函数来计算多个对应亮度样点，以导出色度残差缩放因子。

i.例如，可以计算多个对应亮度样点的中值或平均值，以导出色度残差缩放因子。

f)在一个示例中，参考样点的强度可以在用于推导色度残差缩放因子之前被转换到整形域。

i.可替代地，参考样点的强度可以在用于推导色度残差缩放因子之前被转换到原始域。

8.提出可以使用位于当前帧中当前亮度块的标识的(一个或多个)位置的一个或多个预测/重构的样点来导出LMCS模式中当前色度块的色度残差缩放因子。

a)在一个示例中，如果当前块是帧间编解码的，则位于当前亮度块的中心的亮度预测(或重构)样点可以被挑选以导出色度残差缩放因子。

b)在一个示例中，可以选取第一MxN个亮度预测(或重构)样点的平均值来导出色度残差缩放因子，其中MxN可以小于并置亮度块尺寸widthxheight。

9.提出了用于计算CCLM模型的过程的整个或部分可以用于LMCS模式中当前色度块的色度残差缩放因子推导。

a)在一个示例中，在CCLM模型参数推导过程中，位于并置亮度块的临近亮度样点的标识的位置的参考样点可用于推导色度残差缩放因子。

i.在一个示例中，可以直接使用那些参考样点。

ii.可替代地，可以对那些参考样点应用下采样，并且可以应用下采样的参考样点。

b)在一个示例中，为CCLM模型计算选择的S个参考样点中的K个可以用于LMCS模式中的色度残差缩放因子推导。例如，K等于1，S等于4。

c)在一个示例中，在CCLM模式中，并置亮度块的参考样点的平均/最小/最大值可以用于LMCS模式中的色度残差缩放因子推导。

10.如何选择样点以导出色度残差缩放因子可以取决于当前块的编解码的信息。

a)编解码的信息可以包括QP、编解码模式、POC、帧内预测模式、运动信息等。

b)在一个示例中，对于IBC编解码或非IBC编解码的块，选择样点的方式可能不同。

c)在一个示例中，基于参考图片信息，诸如参考图片和当前图片之间的POC距离，选择样点的方式可以不同。

11.提出色度残差缩放因子和/或CCLM模型计算可以依赖于覆盖并置亮度块的左上样点的对应亮度块的临近样点。在本发明中，“编解码块”可以指在HEVC规范或VVC工作草案中规定的视频编解码区域，诸如CU/TU/PU。

a)“对应亮度编解码块”可以被定义为覆盖并置亮度编解码块的左上位置的编解码块。

i.图5示出了一个示例，其中对于双树情况下的帧内编解码的色度块，色度分量的CTU分割可以不同于亮度分量的CTU分割。首先，检索覆盖当前色度块的并置亮度块的左上样点的“对应亮度编解码块”。然后，通过使用“对应亮度编解码块”的块尺寸信息，可以导出“对应亮度编解码块”的左上样点，覆盖并置亮度块的左上样点的“对应亮度编解码块”的左上亮度样点位于(x＝32，y＝16)。

b)在一个示例中，可能需要块尺寸/分割/位置/协调来导出覆盖并置亮度编解码块的左上样点的“对应亮度编解码块”的位置。

i.在一个示例中，可以为特定颜色分量(诸如亮度分量)的每个块存储块尺寸、和/或块分割、和/或块协调。

ii.在一个示例中，“对应亮度编解码块”和当前块可以总是在相同CTU或CTU行内，因此行缓冲器中可能没有块尺寸/分割/位置/协调的存储。

c)在一个示例中，不在“对应亮度编解码块”中的重构的样点可以用于推导色度残差缩放因子和/或CCLM的模型计算。

i.在一个示例中，与“对应亮度编解码块”相邻的重构的样点可用于推导色度残差缩放因子和/或CCLM模型计算。

1)在一个示例中，位于“对应亮度编解码块”的左侧临近列和/或上方临近行的N个样点可用于推导色度残差缩放因子和/或CCLM的模型计算，其中N＝1…2W+2H，W和H是“对应亮度编解码块”的宽度和高度。

a)假设“对应亮度编解码块”的左上样点是(xCb，yCb)，那么在一个示例中，上述临近亮度样点可以位于(xCb+W/2，yCb-1)，或者(xCb-1，yCb-1)。在另一个示例中，左临近亮度样点可以位于(xCb+W-1，yCb-1)。

b)在一个示例中，临近样点的位置可以是固定的，和/或以预定义的检查顺序。

2)在一个示例中，可以选择N个临近样点中的1个来导出色度残差缩放因子和/或CCLM的模型计算。假设N＝3，并且三个临近样点(xCb-1，yCb-H-1)，(xCb+W/2，yCb-1)，(xCb-1，yCb-1)的检查顺序，则可以选择检查列表中的第一个可用的临近样点来导出色度残差缩放因子。

3)在一个示例中，位于“对应亮度编解码块”的左侧临近列和/或上方临近行的N个样点的中值或平均值可用于推导色度残差缩放因子和/或CCLM的模型计算，其中N＝1…2W+2H，W和H是“对应亮度编解码块”的宽度和高度。

d)在一个示例中，是否执行色度残差缩放可以取决于对应亮度块的“可用的”临近样点。

i.在一个示例中，临近样点的“可用性”可以取决于当前块/子块的编码模式或/和临近样点的编码模式。

1)在一个示例中，对于以帧间模式编解码的块，以帧内模式或/和IBC模式或/和CIIP模式或/和LIC模式编解码的临近样点可以被认为是“不可用的”。

2)在一个示例中，对于以帧间模式编解码的块，临近样点采用扩散滤波器或/和双边滤波器或/和哈达玛变换滤波器(Hadamard transform filter)可被视为“不可用”。

ii.在一个示例中，临近样点的“可用性”可以取决于当前图片/片/片组/VPDU/条带的宽度和/或高度。

1)在一个示例中，如果临近块位于当前图片之外，则它被视为“不可用”。

iii.在一个示例中，当没有“可用的”临近样点时，可以不允许色度残差缩放。

iv.在一个示例中，当“可用的”临近样点的数量小于K(K>＝1)时，可以不允许色度残差缩放。

v.可替代地，不可用的临近样点可以用默认的固定值、填充(padding)或替换来填补(fill)，从而可以总是应用色度残差缩放。

1)在一个示例中，如果临近样点不可用，则可以用1<<(bitDepth-1)填补，其中bitDepth指定亮度/色度分量的样点的位深度。

2)可替代地，如果临近样点不可用，则它可以由来自位于左/右/上/下临近的周围样点的填充来填补。

3)可替代地，如果临近样点不可用，则它可以以预定义的检查顺序被第一可用的相邻样点替代。

4)可替代地，如果临近样点不可用，则可以用预定义的滤波的/映射的值(例如，1<<(bitDepth–1的滤波的/映射的值)，其中bitDepth指定亮度/色度分量的样点的位深度)来填补它。

a)在一个示例中，滤波/映射过程可以是LMCS的正向映射的LUT索引。

e)在一个示例中，是否以及如何执行色度残差缩放可以取决于当前块的编解码模式和/或临近块的编解码模式。

i.“当前块”可以指当前色度块，或者它可以指并置亮度块，或者覆盖并置色度块的至少一个样点的对应亮度块。“临近块”(相邻或不相邻)可以指与当前色度块临近的色度块，或者它们可以指与当前亮度块临近的亮度块。

ii.在一个示例中，可以利用一个亮度临近块的编解码模式，其覆盖相对于当前块的左上坐标的给定位置，诸如(-1，-1)。

iii.在一个示例中，可以利用覆盖多个位置的多个临近块的编解码模式，诸如相对于当前块的左上坐标的(x，-1)(例如，其中x为0..块的宽度减1)，和/或相对于当前块的左上坐标的(-1，y)(例如，其中y为-1...块的高度减1)。

iv.在一个示例中，如果一个临近块的重构需要访问当前条带/条带组中的样点，诸如它是X编解码的，则色度残差缩放被禁用。

1)例如，模式X可以是帧内模式；

2)例如，模式X可以是CIIP模式；

3)例如，模式X可以是IBC模式；

4)在一个示例中，如果当前块是帧间编解码的而不是CIIP编解码的，并且与对应亮度块临近的临近块是用模式X编解码的，则色度残差缩放被禁用。

v.在一个示例中，如果一个临近块的重构需要访问当前条带/片组中的样点，诸如它是X编解码的，则可以使用默认值来导出色度残差缩放因子。

1)例如，模式X可以是帧内模式；

2)例如，模式X可以是CIIP模式；

3)例如，模式X可以是IBC模式；

4)在一个示例中，如果当前块是帧间编解码的而不是CIIP编解码的，并且对应亮度块的临近块是用模式X编解码的，则可以使用默认值来导出色度残差缩放因子。

5)在一个示例中，默认值可以取决于亮度/色度样点的位深度。

6)在一个示例中，默认值可以被设置为1<<(bitDepth-1)的滤波的/映射的值，其中bitDepth指定亮度/色度分量的样点的位深度。在一个示例中，滤波/映射过程可以是LMCS的正向映射的LUT索引。

f)在一个示例中，临近“对应亮度编解码块”的滤波的/映射的重构的样点可以用于推导色度残差缩放因子和/或CCLM的模型计算。

i.在一个示例中，滤波/映射过程可以包括帧内块的参考平滑滤波、诸如双边滤波的后滤波、基于哈达玛(Hadamard)变换的滤波、整形器域的正向映射等。

12.提出使用固定值来导出当前条带/片组中色度块(诸如CU或TU)数量的色度残差缩放因子。

a)在一个示例中，用于N个色度块的色度残差缩放因子可以由固定值导出，其中N是1，即当前片/片组中色度块的总数。

b)在一个示例中，可以使用固定值来找到该值所属的分段线性模型的索引，然后可以根据导出的分段索引来计算色度残差缩放因子。在一个示例中，固定值可以取决于亮度样点的内部位深度。

c)在一个示例中，固定值可以直接用于表示色度残差缩放因子。

d)在一个示例中，固定值和/或固定色度残差缩放因子可以取决于块的图片/条带/片组类型(例如，I或P或B条带)和/或编解码模式(例如，帧内模式或帧间模式)。

e)在一个示例中，对于不同的图片/条带/片组/片，固定值可以不同。

f)在一个示例中，固定色度残差缩放因子可以直接用于缩放LMCS中的色度残差。

i.在一个示例中，固定色度残差缩放因子可以在视频单元(诸如DPS/SPS/PPS/VPS/APS/片头/片组头)中信令通知。

ii.在一个示例中，图片/条带/片组/片的固定色度残差缩放因子可以取决于图片/条带/条带组/片中亮度样点整形的映射函数(例如分段线性函数)。

1)在一个示例中，固定色度残差缩放因子可以取决于JVET-M1001-v7中定义的数组InvScaleCoeff[]和/或数组ScaleCoeff[]。

a)例如，由图片/条带/片组/片的固定色度残差缩放因子所依赖的数组InvScaleCoeff[]和/或数组ScaleCoeff[]可用于对图片/条带/片组/片中的亮度样点进行整形。

2)在一个示例中，固定色度残差缩放因子可以由用于整形亮度样点的分段线性函数的所有缩放系数中的最小/最大/中值/平均值导出。

a)例如，固定色度残差缩放因子可以由InvScaleCoeff[i]的最小/最大/中值/平均值导出，其中i是从最小索引(诸如JVET-M1001-v7中的lmcs_min_bin_idx)到最大索引(诸如JVET-M1001-v7中的LmcsMaxBinIdx)。

i.例如，固定色度残差缩放因子可以等于InvScaleCoeff[i]的最小/最大/中值/平均值，其中i是从最小索引(例如JVET-M1001-v7中定义的lmcs_min_bin_idx)到最大索引(例如JVET-M1001-v7中定义的LmcsMaxBinIdx)。

ii.可替代地，固定色度残差缩放因子可以由InvScaleCoeff[i]的最小/最大/中值/平均值导出，其中i是从最小索引(诸如0)到最大索引(诸如15)，并且JVET-M1001-v7中定义的lmcsCW[i]不等于0。

g)在一个示例中，固定值可以用于表示分段函数索引，以导出色度缩放因子。

i.在一个示例中，固定值可以在视频单元(诸如DPS/SPS/PPS/VPS/APS/条带头/片组头)中信令通知。

ii.在一个示例中，固定值可以表示亮度样点强度，其可以用于标识分段函数索引，并且所标识的分段函数索引进一步用于找到色度缩放因子。在一个示例中，固定值可以等于0，或者(1<<lumaBitDepth)–1，或者1<<(lumaBitDepth-1)，其中lumaBitDepth表示亮度样点的位深度。

1)在一个示例中，如果固定值在分段函数的输入范围内，则分段函数被标识。

2)在一个示例中，如果固定值在分段函数的输出范围内，则分段函数被标识。

iii.在一个示例中，固定值可以表示固定分段函数索引，其可以用于找到色度缩放因子。

1)在一个示例中，固定值可以等于在lmcs构建过程中使用的最小二进制位索引(例如，lmcs_min_bin_idx)，

2)在一个示例中，固定值可以等于在LMCS构建过程中使用的最大二进制位索引(例如，LmcsMaxBinIdx)。

3)在一个示例中，固定值可以等于LMCS构建过程中使用的最大二进制位索引和最小二进制位索引的平均值。

对是否应用色度残差缩放和/或CCLM的限制

13.提出是否应用色度残差缩放或CCLM取决于对应和/或并置亮度块的分割。

a)在一个示例中，是否启用或禁用具有跨分量信息的工具可以取决于并置亮度(例如，Y或G分量)块内的CU/PU/TU的数量。

i.在一个示例中，如果并置亮度(例如，Y或G分量)块内的CU/PU/TU的数量超过数量阈值，则可以禁用这些工具。

ii.可替代地，是否启用或禁用具有跨分量信息的工具可以取决于分割树的深度。

1)在一个示例中，如果并置亮度块内的CU的最大(或最小或平均或其他变化)四叉树深度超过阈值，则可以禁用这些工具。

2)在一个示例中，如果并置亮度块内的CU的最大(或最小或平均或其他变化)BT和/或TT深度超过阈值，则可以禁用这些工具。

iii.可替代地，此外，是否启用或禁用具有跨分量信息的工具可以取决于色度块的块维度。

iv.可替代地，此外，是否启用或禁用具有跨分量信息的工具可能取决于并置亮度是否跨多个VPDU/预定义区域尺寸。

v.上述讨论中的阈值可以是固定数字，或者可以信令通知，或者可以取决于标准简档(profile)/级/层级。

b)在一个示例中，如果当前色度块的并置亮度块被多个分割划分(例如，在图7中)，则可以禁用色度残差缩放和/或CCLM。

i.可替代地，如果当前色度块的并置亮度块没有被划分(例如，在一个CU/TU/PU内)，则可以应用色度残差缩放和/或CCLM。

c)在一个示例中，如果当前色度块的并置亮度块包含多于M个CU/PU/TU，则色度残差缩放和/或CCLM可以被禁用。

i.在一个示例中，M可以是大于1整数。

ii.在一个示例中，M可以取决于它是CCLM还是色度残差缩放过程。

iii.M可以是固定的数字，或者可以信令通知，或者可以取决于标准简档/级/层级

d)并置亮度块内的上述CU可以被解释为并置亮度块内的所有CU。可替代地，并置亮度块内的CU可被解释为并置亮度块内的部分CU，诸如沿并置亮度块边界的CU。

e)并置亮度块内的上述CU可以被解释为子CU或子块。

i.例如，子CU或子块可以用于ATMVP中；

ii.例如，子CU或子块可以用于仿射预测中；

iii.例如，子CU或子块可以用于帧内子分割(Intra Sub-Partition，ISP)模式中。

f)在一个示例中，如果覆盖并置亮度块的左上亮度样点的CU/PU/TU大于预定义的亮度块尺寸，则可以禁用色度残差缩放和/或CCLM。

i.在图8中描绘了一个示例，并置亮度块是3232，但是它在尺寸等于64x64的对应亮度块内，那么如果预定义的亮度块尺寸是32x64，则在这种情况下禁用色度残差缩放和/或CCLM。

ii.可替代地，如果当前色度块的并置没有被划分，并且覆盖并置亮度块的左上亮度样点的对应亮度块被完全包括在预定义的边界框内，则可以应用当前色度块的色度残差缩放和/或CCLM。如图9所示，边界框可以被定义为具有宽度W和高度H的矩形，由WxH表示，其中对应亮度块具有宽度32和高度64，并且边界框具有宽度40和高度70。

1)在一个示例中，边界框的尺寸WxH可以根据CTU宽度和/或高度来定义，或者根据CU宽度和/或高度来定义，或者根据任意值来定义。

g)在一个示例中，如果当前色度块的并置亮度块被多个分割划分，则只有并置亮度块的预定义分割内的预测样点(或重构的样点)被用于推导LMCS模式中的色度残差缩放因子。

i.在一个示例中，并置亮度块的第一分割中的所有预测样点(或重构的样点)的平均值被用于推导LMCS模式中的色度残差缩放因子。

ii.可替代地，并置亮度块的第一分割中的左上预测样点(或重构的样点)用于推导LMCS模式中的色度残差缩放因子。

iii.可替代地，并置亮度块的第一分割中的中心预测样点(或重构的样点)用于推导LMCS模式中的色度残差缩放因子。

h)提出是否以及如何应用诸如CCLM和LMCS的跨分量工具可以取决于覆盖并置亮度块的至少一个样点的一个或多个亮度CU的(一个或多个)编解码模式。

i.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU用仿射模式编解码，则跨分量工具被禁用；

ii.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU用双向预测编解码，则跨分量工具被禁用；

iii.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU用BDOF编解码，则跨分量工具被禁用；

iv.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU用DMVR编解码，则跨分量工具被禁用；

v.例如，如果用JVET-N0217中提出的矩阵仿射预测模式对覆盖并置亮度块的至少一个样点的一个或多个亮度CU编解码，则跨分量工具被禁用；

vi.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU用帧间模式编解码，则跨分量工具被禁用；

vii.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU用ISP模式编解码，则跨分量工具被禁用；

viii.在一个示例中，“覆盖并置亮度块的至少一个样点的一个或多个亮度CU”可以指对应亮度块。

i)当CCLM/LMCS被禁用时，可以跳过CCLM/LMCS的使用的指示的信令通知。

j)在本公开中，CCLM可以指CCLM的任何变型模式，包括LM模式、LM-T模式和LM-L模式。

14.提出是否以及如何应用诸如CCLM和LMCS的跨分量工具可以在色度块的一部分上执行。

a)在一个示例中，是否以及如何在色度子块级应用跨分量工具，诸如CCLM和LMCS。

i.在一个示例中，色度子块被定义为色度CU中的2×2或4×4块。

ii.在一个示例中，对于色度子块，在当前色度CU的对应亮度编解码块覆盖子块的对应块的所有样点时，可以应用CCLM。

iii.在一个示例中，对于色度子块，在当前色度CU的对应亮度编解码块没有覆盖对应块的所有样点时，不应用CCLM。

iv.在一个示例中，CCLM或LMCS的参数是针对每个色度子块导出的，因为将该子块视为色度CU。

v.在一个示例中，当CCLM或LMCS被应用于色度子块时，可以使用并置块的样点。

15.提出是否以及如何应用诸如CCLM的跨分量工具可以取决于块维度和/或分割信息和/或分割结构类型(例如，双树或单树)。

a)在一个示例中，可以针对色度双树分割禁用CCLM。

b)在一个示例中，根据块维度，可以有条件地禁用CCLM。

i.在一个示例中，假设当前是WB×HB，根据WB、HB和两个整数T1和T2之间的关系，可以禁用下面的CCLM。

1)在一个示例中，如果WB>＝T1且HB>＝T2，则可以禁用CCLM。例如T1＝T2＝8。

2)在一个示例中，如果WB*HB>＝T1，则可以禁用CCLM。例如T1＝64。

3)在一个示例中，如果Min(WB,HB)>＝T1，则可以禁用CCLM。例如T1＝8。

4)在一个示例中，如果Max(WB，HB)>＝T1，则可以禁用CCLM。例如T1＝8。

5)在一个示例中，如果WB<＝T1且HB<＝T2，则可以禁用CCLM。例如T1＝T2＝16。

6)在一个示例中，如果WB*HB<＝T1，则可以禁用CCLM。例如T1＝4096。

7)在一个示例中，如果Min(WB，HB)<＝T1，则可以禁用CCLM。例如T1＝64。

8)在一个示例中，如果Max(WB，HB)<＝T1，则可以禁用CCLM。例如T1＝64。

c)在一个示例中，CCLM可能受到块维度和/或分割信息的限制。

i.在一个示例中，对于维度为WB×HB的色度块，如果满足以下条件中的一个或多个，则禁用CCLM。例如，WB＝HB＝32。在下面的项目符号中，并置亮度块维度可以是(sh×WB)×(sv×HB)，其中sh和sv是缩放因子。例如，当颜色格式为4:2:0时，sh＝sv＝2。

1)当前色度块位于水平划分的叶节点，并且并置亮度块位于垂直划分的叶节点

a)在一个示例中，当前色度块用SPLIT_TT_HOR模式划分，并且并置亮度块用SPLIT_TT_VER模式划分

b)在一个示例中，当前色度块用SPLIT_TT_HOR模式划分，并且并置亮度块用SPLIT_BT_VER模式划分

c)在一个示例中，当前色度块用SPLIT_BT_HOR模式划分，并且并置亮度块用SPLIT_TT_VER模式划分

d)在一个示例中，当前色度块用SPLIT_BT_HOR模式划分，并且并置亮度块用SPLIT_BT_VER模式划分

2)当前色度块位于垂直划分的叶节点，并且并置亮度块位于水平划分的叶节点

a)在一个示例中，当前色度块用SPLIT_TT_VER模式划分，并且并置亮度块用SPLIT_TT_HOR模式划分

b)在一个示例中，当前色度块用SPLIT_TT_VER模式划分，并置亮度块用SPLIT_BT_HOR模式划分

c)在一个示例中，当前色度块用SPLIT_BT_VER模式划分，并置亮度块用SPLIT_TT_HOR模式划分

d)在一个示例中，当前色度块用SPLIT_BT_VER模式划分，并置亮度块用SPLIT_BT_HOR模式划分

d)在一个示例中，如果针对块禁用了CCLM，则与CCLM相关的语法元素可能不会在该块中信令通知。

i.可替代地，如果针对块禁用了CCLM，则可以信令通知与CCLM相关的语法元素，但是CCLM模式不应该用在一致性比特流中的块中。

ii.可替代地，如果针对块禁用了CCLM，则可以信令通知与CCLM相关的语法元素。如果信令通知CCLM模式，可以应用默认模式，诸如平面或DC。

色度残差缩放在LMCS模式中的适用性

16.提出除了JVET-M1001中指定的片组头之外，还可以在其他语法级信令通知是否可以应用与亮度相关的色度残差缩放。

a)例如，可以在序列级(例如，在SPS中)、在图片级(例如，在PPS或图片头中)、在条带级(例如，在条带头中)、在片级、在CTU行级处、在CTU级、在CU级信令通知等于1表示为信令通知的语法级以下的CU启用了色度残差缩放。/>等于0表示未启用信令通知的语法级以下的色度残差缩放。当不存在chroma_residual_scale_flag时，推断它等于0。

b)在一个示例中，如果色度残差缩放限制在分割节点级。然后，对于分割节点所覆盖的CU，可以不信令通知并将其推断为0。在一个示例中，分割节点可以是CTU(CTU被视为四叉树分割的根节点)。

c)在一个示例中，如果对于等于或小于32x32的色度块尺寸限制了色度残差缩放，则对于等于或小于32x32的色度块尺寸，可能不会信令通知并将其推断为0。

CCLM模式的适用性

17.提出除了JVET-M1001中规定的sps级之外，是否可以应用CCLM模式可以在其他语法级信令通知。

a)例如，可以在图片级(例如，在PPS或图片头中)、条带级(例如，在条带头中)、片组级(例如，在条带组头中)、片级、CTU行级、CTU级、CU级信令通知它。

b)在一个示例中，如果不能应用CCLM，则cclm_flag可能不会被信令通知并推断为0。

i.在一个示例中，如果色度残差缩放对于等于或小于8×8的色度块尺寸是受约束的，则对于等于或小于8×8的色度块尺寸，cclm_flag可以不被信令通知并被推断为0。

帧内模式和帧间模式的色度残差缩放因子推导的统一

18.色度残差缩放因子可以在对亮度块进行编码/解码之后导出，并且可以被存储并用于随后的编解码的块。

a)在一个示例中，亮度块中的某些预测样点或/和中间预测样点或/和重构的样点或/和重构的样点在环路滤波之前(例如，在由去块滤波器或/和SAO滤波器或/和双边滤波器或/和哈达玛变换滤波器或/和ALF滤波器处理之前)可用于推导色度残差缩放因子。

i.例如，亮度块的底行或/和右列中的部分样点可以用于色度残差缩放因子的推导。

b)在单个树的情况下，当编码以帧内模式或/和IBC模式或/和帧间模式编解码的块时，临近块的导出色度残差缩放因子可用于推导当前块的缩放因子。

i.在一个示例中，可以按顺序检查某些临近块，并且第一可用色度残差缩放因子可以用于当前块。

ii.在一个示例中，可以按顺序检查某些临近块，并且可以基于前K个可用的临近色度残差缩放因子来导出缩放因子。

iii.在一个示例中，对于以帧间模式和/或CIIP模式编解码的块，如果临近块以帧内模式和/或IBC模式和/或CIIP模式编解码，则临近块的色度残差缩放因子可以被认为是“不可用的”。

iv.在一个示例中，可以按照左(或左上)->上(或右上)的顺序检查临近块。

1)可替代地，可以按照上(或右上)->左(或左上)的顺序检查临近块。

c)在单独的树的情况下，当编码色度块时，可以首先标识对应亮度块。然后，其(例如，对应亮度块)临近块的导出色度残差缩放因子可用于推导当前块的缩放因子。

d)可以以预定顺序检查临近块。

i.在一个示例中，可以按照左(或左上)->上(或右上)的顺序检查临近块

ii.在一个示例中，可以按照上(或右上)->左(或左上)的顺序检查临近块。

iii.在一个示例中，可以按照左下->左->右上->左上的顺序检查临近块。

iv.在一个示例中，可以按照左->上->右上->左下->左上的顺序检查临近块。

e)在一个示例中，是否应用色度残差缩放可以取决于临近块的“可用性”。

i.在一个示例中，当没有“可用的”临近块时，色度残差缩放可能被禁用。

ii.在一个示例中，当“可用的”临近块的数量小于K(K>＝1)时，色度残差缩放可能被禁用。

iii.可替代地，当没有“可用的”临近块时，色度残差缩放因子可以由默认值导出。

1)在一个示例中，默认值1<<(BitDepth-1)可用于推导色度残差缩放因子。

f)在一个示例中，当前色度块的色度残差缩放因子可以被存储并用于随后的编解码的块。

g)在一个示例中，色度残差缩放因子的存储可以从行缓冲器中移除。

i.在一个示例中，在当前块和要被访问的临近(相邻或不相邻)块在不同的区域中时，其色度残差缩放因子可以被认为是“不可用的”，并且可以不用于推导当前块的色度残差缩放因子。

1)区域可以是条带、片、片组、CTU行或CTU。

2)可替代地，在这种情况下，其色度残差缩放因子可以被认为是默认值。

3)可替代地，在这种情况下不能应用色度残差缩放。

h)在一个示例中，当前色度块的色度残差缩放因子可以被动态更新，并且可以被保存在历史表中，用于后续块的缩放因子推导。

i.历史表可以以FIFO(first-in first-out，先进先出)的方式更新。

ii.在对色度块进行解码/编码之后，可以导出色度残差缩放因子(例如，根据亮度值)，并且可以将其存储在FIFO历史表中。

iii.在一个示例中，FIFO历史表最多可以包含1个条目。在这种情况下，最新解码的块的导出的色度残差缩放因子被用于当前块。

iv.在一个示例中，在对图片、和/或条带、和/或片组、和/或片、和/或CTU行和/或CTU进行编码/解码之前，刷新历史表。

1)在一个示例中，当历史表被刷新时，默认色度残差缩放因子可以被放入历史表中。

2)在一个示例中，当FIFO历史表被刷新时，历史表被设置为空。

5.实施例

5.1实施例#1

下面讨论的示例性实施例用于第4节第11项中的说明性方法。

新添加的部分以下划线和粗体显示，并且从VVC工作草案中删除的部分以粗体大写显示。修改基于最新的VVC工作草案(JVET-M1007-v7)和JVET-N220-v3中的新采用。

8.7.5.4用于色度样点的亮度相关的色度残差缩放过程的图像重构

该过程的输入包括：

-当前变换块的左上样点相对于当前图片的左上样点的位置(xCurr，yCurr)，

-指定变换块宽度的变量nCurrSw，

-指定变换块高度的变量nCurrSh，

-(nCurrSw)x(nCurrSh)数组predSamples，指定当前块的色度预测样点，

-(nCurrSw)x(nCurrSh)数组recSamples，指定当前块的色度残差样点。

这个过程的输出是重构的色度图片样点数组recSamples。

对于i＝0..nCurrSw-1，j＝0..nCurrSh–1，重构的色度图片样点recSample推导如下：

/>

–否则(tile_group_chroma_residual_scale_flag等于1并且nCurrSw*nCurrSh大于4)，适用以下内容：

–对于变量varScale的推导，适用以下有序步骤：

1.变量invAvgLuma的推导如下：

变量idxYInv是通过调用第8.7.5.3.2节中指定的分段函数索引的标识而推导的，其中invAvgLuma作为输入，并且idxYInv作为输出。

2.变量varScale的推导如下：

varScale＝ChromaScaleCoeff[idxYInv] (8-1065)

–recSamples的推导如下：

–如果tu_cbf_cIdx[xCurr][yCurr]等于1，则适用以下内容：

resSamples[i][j]＝Clip3(-(1<<BitDepth_C),1<<BitDepth_C-1,resSamples[i][j])

recSamples[xCurr+i][yCurr+j]＝ClipCidx1(predSamples[i][j]+Sign(resSamples[i][j])*((Abs(resSamples[i][j])*varScale+(1<<10))>>11)) (8-1066)

–否则(tu_cbf_cIdx[xCurr][yCurr]等于0)，适用以下内容：

recSamples[xCurr+i][yCurr+j]＝ClipCidx1(predSamples[i][j])(8-1067)

5.2实施例#2

下面的实施例是针对本发明描述的第11项中的方法。

新添加的部分以下划线和粗体显示，从VVC工作草案中删除的部分以粗体大写显示。修改基于最新的VVC工作草案(JVET-M1007-v7)和JVET-N220-v3中的新采用。

实施例#2和#1之间的区别如下：

–检查多个临近亮度样点，以导出色度残差缩放因子。

–当临近亮度样点不可用时，或者当临近亮度以INTRA/CIIP/IBC模式编解码，而当前亮度以INTER模式编解码时，#2使用为色度残差缩放因子推导的默认值。

该过程的输入包括：

-指定变换块宽度的变量nCurrSw，

-指定变换块高度的变量nCurrSh，

-(nCurrSw)x(nCurrSh)数组predSamples，指定当前块的色度预测样点，

-(nCurrSw)x(nCurrSh)数组recSamples，指定当前块的色度残差样点。

这个过程的输出是重构的色度图片样点数组recSamples。

/>

对于i＝0..nCurrSw-1，j＝0..nCurrSh-1，重构的色度图片样点recSamples推导如下：

–如果tile_group_chroma_residual_scale_flag等于0或nCurrSw*nCurrSh小于或等于4，则适用以下内容：

recSamples[xCurr+i][yCurr+j]＝Clip1_C(predSamples[i][j]+resSamples[i][j]) (8-1063)

–对于变量varScale的推导，适用以下有序步骤：

–变量invAvgLuma的推导如下：

变量varScale的推导如下：

varScale＝ChromaScaleCoeff[idxYInv] (8-1065)

–recSamples的推导如下：

–如果tu_cbf_cIdx[xCurr][yCurr]等于1，则适用以下内容：

resSamples[i][j]＝Clip3(-(1<<BitDepth_C),1<<BitDepth_C-1,resSamples[i][j])

–否则(tu_cbf_cIdx[xCurr][yCurr]等于0)，适用以下内容：

recSamples[xCurr+i][yCurr+j]＝ClipCidx1(predSamples[i][j])

(8-1067)

5.3实施例#3

下面的实施例是针对发明描述的第12项中的方法。

新添加的部分以粗体斜体突出显示，从VVC工作草案中删除的部分以大写粗体突出显示。修改基于最新的VVC工作草案(JVET-M1007-v7)和JVET-N220-v3中的新采用。

该过程的输入包括：

–当前变换块的左上样点相对于当前图片的左上样点的位置(xCurr，yCurr)，

-指定变换块宽度的变量nCurrSw，

-指定变换块高度的变量nCurrSh，

-(nCurrSw)x(nCurrSh)数组predSamples，指定当前块的色度预测样点，

-(nCurrSw)x(nCurrSh)数组resSamples，指定当前块的色度残差样点。

这个过程的输出是重构的色度图片样点数组recSamples。

对于i＝0..nCurrSw–1、j＝0..nCurrSh-1，重构的色度图片样点recSamples推导如下：

–如果slice_chroma_residual_scale_flag等于0或nCurrSw*nCurrSh小于或等于4，则适用以下内容：

–否则(slice_chroma_residual_scale_flag等于1且nCurrSw*nCurrSh大于4)，适用以下内容：

–对于变量varScale的推导，适用以下有序步骤：

1.变量INVAVGLUMA的推导如下：

2.变量IDXYINV是通过调用第8.7.5.3.2节中规定的分段函数索引的标识导出的，其中INVAVGLUMA作为输入，IDXYINV作为输出。

3.变量varScale的推导如下：

–recSamples的推导如下：

–如果tu_cbf_cIdx[xCurr][yCurr]等于1，则适用以下内容：

resSamples[i][j]＝Clip3(-(1<<BitDepth_C),1<<BitDepth_C-1,resSamples[i][j])

–否则(tu_cbf_cIdx[xCurr][yCurr]等于0)，适用以下内容：

recSamples[xCurr+i][yCurr+j]＝ClipCidx1(predSamples[i][j]) (8-1067)

5.4实施例#4

下面的实施例是针对发明描述的第12项中的方法。

该过程的输入包括：

-指定变换块宽度的变量nCurrSw，

--指定变换块高度的变量nCurrSh，

-(nCurrSw)x(nCurrSh)数组predSamples，指定当前块的色度预测样点，

-(nCurrSw)x(nCurrSh)数组recSamples，指定当前块的色度残差样点。

该过程的输出是重构的色度图片样点数组recSamples。

对于i＝0..nCurrSw-1，j＝0..nCurrSh-1，重构的色度图片样点recSamples的计算如下：

recSamples[xCurr+i][yCurr+j]＝Clip1_C(predSamples[i][j]+resSamples[i][j])(8-1063)

–对于变量varScale的推导，适用以下有序步骤：

1.变量invAvgLuma的推导如下：

2.变量idxYInv是通过调用第8.7.5.3.2节中指定的分段函数索引的标识而推导的，其中invAvgLuma作为输入，并且idxYInv作为输出。

3.变量varScale的推导如下：

varScale＝ChromaScaleCoeff[idxYInv](8-994)

–recSamples的推导如下：

–如果tu_cbf_cIdx[xCurr][yCurr]等于1，则适用以下内容：

resSamples[i][j]＝Clip3(-(1<<BitDepth_C),1<<BitDepth_C-1,resSamples[i][j])

–否则(tu_cbf_cIdx[xCurr][yCurr]等于0)，适用以下内容：

recSamples[xCurr+i][yCurr+j]＝ClipCidx1(predSamples[i][j]) (8-1067)

5.5实施方案#5

下面的实施例用于本发明说明书的项目12中的方法。

新添加的部分以粗斜体突出显示，VVC工作草案中已删除的部分以大写粗体突出显示。这些修改基于最新的VVC工作草案(JVET-M1007-v7)和JVET-N220-v3中的新采用。

7.4.5.4具有色度缩放数据语义的亮度映射

i＝0…15的变量ChromaScaleCoeff[i]的推导如下：

变量varScale的推导如下：

该过程的输入是：

–变量nCurrSw，指定变换块的宽度，

–变量nCurrSh，指定变换块的高度，

–(nCurrSw)x(nCurrSh)数组predSamples，指定当前块的色度预测样点，

–(nCurrSw)x(nCurrSh)数组resSamples，指定当前块的色度残差样点。

该过程的输出是重构的色度图片样点数组recSamples。

对于i＝0..nCurrSw-1，j＝0..nCurrSh-1，重构的色度图片样点recSamples的导出如下：

-对于变量VARSCALE的推导，适用以下有序步骤：

4.变量INVAVGLUMA导出如下：

5.通过调用第8.7.5.3.2节中指定的分段函数索引来标识变量IDXYINV，其中INVAVGLUMA作为输入，并且IDXYINV作为输出。

6.变量VARSCALE的推导如下：

-recSamples的推导如下：

-如果tu_cbf_cIdx[xCurr][yCurr]等于1，则适用以下内容：

resSamples[i][j]＝Clip3(-(1<<BitDepth_C),1<<BitDepth_C-1,resSamples[i][j])

-否则(tu_cbf_cIdx[xCurr][yCurr]等于0)，适用以下内容：

recSamples[xCurr+i][yCurr+j]＝ClipCidx1(predSamples[i][j]) (8-1067)

6.所公开的技术的示例实现

图10是视频处理装置1000的框图。装置1000可用于实施本文所述的一种或多种方法。装置1000可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置1000可以包括一个或多个处理器1002、一个或多个存储器1004和视频处理硬件1006。(一个或多个)处理器1002可以被配置成实现本文档中描述的一种或多种方法(包括但不限于方法800和900)。存储器(或多个存储器)1004可以用于存储用于实现这里描述的方法和技术的数据和代码。视频处理硬件1006可以用于在硬件电路中实现本文档中描述的一些技术。

在一些实施例中，视频编解码方法可以使用如参考图10所述的在硬件平台上实现的装置来实现。

图11示出了根据所公开的技术的用于跨分量预测的线性模型推导的示例方法1100的流程图。方法1100包括，在步骤1110处，执行当前视频块和当前视频块的比特流之间的转换，其中，在转换期间，从包括在一个或多个参考帧中的第一组颜色分量值导出当前视频块的第二组颜色分量值，其中第一组颜色分量值可用于视频编解码步骤的线性模型中。

可以使用以下基于条款的格式来描述一些实施例。

1.一种用于视频处理的方法，包括：

执行当前视频块和当前视频块的比特流之间的转换，其中，在转换期间，从包括在一个或多个参考帧中的第一组颜色分量值导出当前视频块的第二组颜色分量值，其中第一组颜色分量值可用于视频编解码步骤的线性模型。

2.条款1的方法，其中第一组颜色分量值在用于视频编解码步骤的线性模型之前被插值。

3.条款1-2中任一项或多项的方法，其中第一组颜色分量值的线性组合可用作线性模型中的参数。

4.条款1的方法，其中至少部分地基于当前视频块的运动信息来选择包括在一个或多个参考帧中的第一组颜色分量值的位置。

5.条款4的方法，其中根据当前视频块中对应亮度分量值的位置和当前视频块的运动信息来计算一个或多个参考帧中亮度分量值的位置。

6.条款5的方法，其中对应亮度分量值的位置是当前视频块中的左上样点、中心样点或右下样点。

7.条款6的方法，其中当前视频块的运动信息对应于整数运动矢量或分数运动矢量。

8.条款7的方法，其中使用一个或多个参考帧中的分数亮度分量值来导出分数运动矢量。

9.条款7的方法，其中整数运动矢量是通过向零或远离零舍入而导出的。

10.条款1的方法，其中包括在一个或多个参考帧中的第一组颜色分量值的位置是预定义的位置。

11.条款1-10中任一项或多项的方法，其中第一组颜色分量值的中值或平均值被用于导出当前视频块的第二组颜色分量值。

12.条款1-11中任一项或多项的方法，其中一个或多个参考帧是预定义参考帧。

13.条款12的方法，其中预定义参考帧包括具有参考图片列表的参考索引的帧。

14.条款13的方法，其中参考索引为零，并且参考图片列表为零。

15.条款13的方法，其中参考索引和/或参考图片列表在与以下一个或多个相关联的比特流中信令通知：序列、图片、片、组、条带、片、编解码树单元的行或视频块。

16.条款1的方法，其中当前视频块的第二组颜色分量值是从包括在一个或多个参考帧中的第一组颜色分量值的数学平均或加权平均中导出的。

17.条款1的方法，其中基于当前视频块是否是双向预测编解码的块，从包括在一个或多个参考帧中的第一组颜色分量值中选择性地导出当前视频块的第二组颜色分量值。

18.条款17的方法，其中当前视频块的第二组颜色分量值是针对第一组颜色分量值的每个预测方向单独导出的。

19.条款1的方法，其中基于当前视频块是否与基于子块的预测相关联，从包括在一个或多个参考帧中的第一组颜色分量值中选择性地导出当前视频块的第二组颜色分量值。

20.条款1的方法，其中基于子块的预测对应于仿射预测或可选时域运动矢量预测(ATMVP)。

21.条款19-20中任一项或多项的方法，其中为各个子块导出当前视频块的第二组颜色分量值。

22.条款19-21中任一项或多项的方法，其中当前视频块的第二组颜色分量值是针对整个当前视频块导出的，而不管基于子块的预测如何。

23.条款19-22中任一项或多项的方法，其中至少部分基于当前视频块的子块的运动矢量来选择包括在一个或多个参考帧中的第一组颜色分量值。

24.条款1-23中任一项或多项的方法，其中包括在一个或多个参考帧中的第一组颜色分量值是中间颜色分量值。

25.条款1-24中任一项或多项的方法，其中视频编解码步骤先于另一个视频编解码步骤。

26.条款25的方法，其中至少部分基于当前视频块或当前视频块的子块的中间运动矢量来选择包括在一个或多个参考帧中的第一组颜色分量值，并且其中在另一视频编解码步骤之前计算中间运动矢量。

27.条款24-26中任一项或多项的方法，其中另一视频编解码步骤包括以下步骤中的一个或其组合：双向光流步骤(BDOF)、解码器侧运动矢量细化(DMVR)步骤、预测细化光流(PROF)步骤。

28.条款1-27中任一项或多项的方法，其中包括在一个或多个参考帧中的第一组颜色分量值对应于与对应亮度块相关联的MxN亮度分量值。

29.条款28的方法，其中对应亮度块是当前视频块的并置亮度块。

30.条款29的方法，其中M和N的乘积小于当前视频块的并置亮度块的块宽度和块高度的乘积。

31.条款27-30中任一项或多项的方法，其中包括在一个或多个参考帧中的第一组颜色分量值对应于在并置亮度块的临近亮度样点的位置处标识的参考样点的至少一部分。

32.条款1-31中任一项或多项的方法，其中第一组颜色分量值在用于视频编解码步骤的线性模型之前被下采样。

33.条款1的方法，其中至少部分地基于当前视频块的以下信息中的一个或多个来选择当前视频块的第二组颜色分量值：量化参数、编解码模式或图片顺序计数(POC)。

34.条款31的方法，其中临近亮度样点的位置使得并置亮度块的左上样点被覆盖。

35.条款28的方法，其中包含在一个或一个以上参考帧中的第一组颜色分量值对应于在对应亮度块外部的位置处标识的参考样点的至少一部分。

36.条款28的方法，其中基于对应亮度块的临近样点的可用性，从包括在一个或多个参考帧中的第一组颜色分量值中选择性地导出当前视频块的第二组颜色分量值。

37.条款28的方法，其中对应亮度块的临近样点的可用性基于以下一个或多个：当前视频块的编解码模式的使用、对应亮度块的临近样点的编解码模式的使用、对应亮度块的编解码模式的使用、一个或多个临近视频块的编码模式的使用、与对应亮度块的临近样点相关联的滤波器类型的使用，或者对应亮度块的临近样点相对于当前视频块或其子块的位置。

38.条款28的方法，还包括：

响应于缺少对应亮度块的临近样点的可用性，用其他样点替换、填补或填充不可用样点。

39.条款28的方法，还包括：

对临近对应亮度块的样点应用平滑滤波器。

40.一种用于视频处理的方法，包括：

执行当前视频块和当前视频块的比特流之间的转换，其中，在转换期间，从包括在一个或多个参考帧中的第一组颜色分量值导出当前视频块的第二组颜色分量值，其中第一组颜色分量值可用于视频编解码步骤的线性模型中；以及

响应于确定包括在一个或多个参考帧中的第一组颜色分量值是当前视频块的并置亮度块，基于与当前视频块的并置亮度块相关联的一个或多个条件，选择性地启用或禁用当前视频块的第二组颜色分量值的导出。

41.条款40的方法，其中与当前视频块的并置亮度块相关联的一个或多个条件包括：并置亮度块的分割尺寸、达到阈值数目的并置亮度块的编解码单元的数目、达到阈值尺寸的并置亮度块的左上亮度样点、并置亮度块的分割树深度、覆盖并置亮度块的左上亮度样点的对应亮度块、并置亮度块或当前视频块的维度、或者覆盖并置亮度块的左上亮度样点并附加包括在预定义尺寸的边界框内的对应亮度块。

42.条款40的方法，其中指示选择性地启用或禁用导出的信息被包括在比特流中。

43.条款28的方法，其中对应亮度块的临近样点的可用性与根据预定义顺序检查临近样点相关联。

44.条款41的方法，其中并置亮度块和当前视频块与同一编解码树单元或编解码树单元的同一行相关联。

45.一种用于视频处理的方法，包括：

在当前视频块和当前视频块的比特流之间执行转换，其中，在转换期间，从包括在一个或多个参考帧中的第一组颜色分量值导出当前视频块的第二组颜色分量值，其中第一组颜色分量值可用于视频编解码步骤的线性模型中；以及

响应于确定满足当前视频块或当前视频块的临近视频块的一个或多个属性，选择性地启用或禁用当前视频块的第二组颜色分量值的导出。

46.条款45的方法，其中当前视频块或当前视频块的临近视频块的一个或多个属性对应于覆盖相对于当前视频块的空间位置的空间位置的临近亮度块。

47.条款45的方法，其中当前视频块或当前视频块的临近视频块的一个或多个属性对应于当前视频块的临近视频块相对于当前视频块的空间位置的空间位置。

48.条款45的方法，还包括：

响应于确定临近视频块的重构至少部分基于当前视频块的编解码模式，禁用导出当前视频块的第二组颜色分量值。

49.条款45的方法，还包括：

响应于确定当前视频块是帧间编解码的块而不是组合的帧间和帧内预测编解码的块，并且与当前视频块的对应亮度块临近的块是帧内编解码的块、组合的帧间和帧内预测(CIIP)块或帧内块复制(IBC)编解码的块，禁用导出当前视频块的第二组颜色分量值。

50.条款45的方法，还包括：

响应于确定当前视频块是帧间编解码的块而不是组合的帧间和帧内预测编解码的块，并且与当前视频块的对应亮度块临近的块是帧内编解码的块、组合的帧间和帧内预测(CIIP)块或帧内块复制(IBC)编解码的块，启用导出当前视频块的第二组颜色分量值，其中第一组颜色分量值是固定值。

51.条款45的方法，其中第一组颜色分量值是固定值。

52.条款51的方法，其中固定值对应于视频编解码步骤的线性模型的分段索引。

53.条款1-52中任一项或多项的方法，其中临近样点可以与当前视频块相邻或不相邻。

54.条款1-52中任一项或多项的方法，其中临近样点可以与邻临近当前视频块的色度块或临近当前视频块的色度块相关联。

55.条款1-54中任一项或多项的方法，其中当前视频块对应于色度块、并置亮度块或覆盖并置色度块的左上亮度样点的对应亮度块。

56.条款1-54中任一项或多项的方法，其中存储当前视频块的第二组颜色分量值，以结合一个或多个其他视频块使用。

57.条款1-56中任一项或多项的方法，其中线性模型对应于跨分量线性模型(CCLM)，并且视频编解码步骤对应于具有色度缩放(LMCS)模式的亮度映射。

58.条款1-57中任一项或多项的方法，其中当前视频块是帧间编解码的块、双向预测编解码的块、组合的帧间和帧内预测(CIIP)块或帧内块复制(IBC)编解码的块。

59.条款1-58中任一项或多项的方法，其中存储当前视频块的第二组颜色分量值，以便与比特流中的其他视频块相关联地使用。

60.条款59的方法，其中当前视频块的第二组颜色分量值被存储在线缓冲器中，用于由包括在其它视频块中的临近视频块选择性地可用或不可用，其中当前视频块和临近视频块与不同的条带、片、片组、编解码树单元或编解码树单元的行相关联。

61.条款60的方法，其中当前视频块的第二组颜色分量值是固定值。

62.条款60的方法，其中防止导出当前视频块的第二组颜色分量值。

63.条款59的方法，其中防止导出当前视频块的第二组颜色分量值。

64.条款59的方法，其中当前视频块的第二组颜色分量值被存储在表中，用于由包括在其它视频块中的临近视频块选择性地可用或不可用。

65.条款64的方法，其中当前视频块的第二组颜色分量值被动态更新。

66.条款65的方法，其中当前视频块的第二组颜色分量值与其它视频块中的前一视频块相同。

67.条款64的方法，其中当前视频块的第二组颜色分量值以先进先出(FIFO)的方式被动态更新。

68.条款1-67中任一项或多项的方法，其中第一组颜色分量值对应于亮度样点值，并且第二组颜色分量值对应于色度缩放因子。

69.一种用于视频处理的方法，包括：基于规则，确定用于在包括至少两个分量块的视频块和视频块的比特流之间的转换的跨分量编解码器工具的适用性；以及通过选择性地使用跨分量编解码器工具来执行转换。

70.条款69的方法，其中规则基于当前视频块的维度。

71.条款69-70的方法，其中规则基于当前视频块的分割信息。

72.条款69-71中任一项的方法，其中规则基于当前视频块的分割树结构。

73.条款72的方法，其中分割树结构是双树或单树之一。

74.条款72的方法，其中规则指定禁用跨分量编解码器工具，因为当前视频块是具有双树分割树结构的色度块。

75.条款69-74中任一项的方法，其中规则指定在比特流中省略跨分量编解码器工具的语法元素的信令。

第4节第15项描述了条款69-75的其他示例和方面。

76.一种视频系统中的装置，包括处理器和其上带有指令的非暂时性存储器，其中指令在由处理器执行时，使处理器实现条款1至75中任一项中的方法。

77.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行条款1至75中任一项的方法的程序代码。

图12是示出其中可以实现这里公开的各种技术的示例视频处理系统1200的框图。各种实现可以包括系统1200的一些或所有组件。系统1200可以包括用于接收视频内容的输入1202。视频内容可以以原始或未压缩格式被接收，例如8或10位多分量像素值，或者可以以压缩或编码格式被接收。输入1202可以代表网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等)和无线接口(诸如Wi-Fi或蜂窝接口)。

系统1200可以包括编解码组件1204，其可以实现本文档中描述的各种编码或编码方法。编解码组件1204可以降低从输入1202到编解码组件1204的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件1204的输出可以被存储，或者通过连接的通信来传输，如组件1206所表示的。组件1208可以使用在输入端1202接收的视频的存储或传送的比特流(或编解码)表示来生成发送到显示接口1210的像素值或可显示视频。从比特流生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，编解码工具或操作在编码器处使用，并且反转编解码的结果的对应解码工具或操作将由解码器执行。

外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。

图13是视觉媒体处理方法的示例的流程图。该流程图的步骤结合本文件第4节中的示例12g(ii)进行了描述。在步骤1302，该过程响应于确定视觉媒体数据的对应亮度块的临近亮度块的可用性，导出视觉媒体数据的当前视频色度块的第一参数，使得第一参数被导出为固定值或当前视频色度块的临近亮度样点的或基于舍入的平均值，其中对应亮度块覆盖与当前视频色度块相关联的位置。在步骤1304，该过程基于第一参数确定色度缩放因子。在步骤1306，该过程基于色度缩放因子执行当前视频色度块的色度残差缩放。在步骤1308，该过程使用色度缩放因子进行当前视频色度块和比特流之间的转换。

图14是视觉媒体处理方法的示例的流程图。该流程图的步骤结合本文件第4节中的示例12d进行了描述。在步骤1402，该过程使用规则，该规则基于固定值指定表示与视觉媒体数据的当前视频单元相关联的至少一个色度块的色度残差缩放因子，其中该固定值至少基于一个或多个条件。在步骤1404，该过程执行当前视频单元和当前视频单元的比特流之间的转换。

图15是视觉媒体处理方法的示例的流程图。该流程图的步骤结合本文件第4节中的示例15进行了描述。在步骤1502，在视觉媒体数据的当前视频块和当前视频块的比特流之间的转换期间，该过程至少部分地基于与当前视频块相关联的维度和/或分割信息和/或编解码结构类型，做出选择性地启用或禁用对当前视频块的颜色分量应用跨分量线性模型(CCLM)的确定，其中，在CCLM中，基于第二组颜色分量来预测第一组颜色分量。

本文档的一些实施例现在以基于条款的格式呈现。

X1.一种用于视觉媒体处理的方法：

响应于确定视觉媒体数据的对应亮度块的临近亮度块的可用性，导出视觉媒体数据的当前视频色度块的第一参数，使得第一参数被导出为固定值或当前视频色度块的临近亮度样点的基于舍入的平均值，其中对应亮度块覆盖与当前视频色度块相关联的位置；

基于第一参数确定色度缩放因子；

基于色度缩放因子执行当前视频色度块的色度残差缩放；以及

使用色度缩放因子进行当前视频色度块和当前视频色度块的比特流之间的转换。

X2.条款X1的方法，其中基于第一参数确定色度缩放因子包括：

使用第一参数来标识分段线性函数的索引。

X3.条款X2的方法，还包括：

在标识分段线性函数的索引时的情况下，确定在当前视频色度块的色度残差缩放中使用的色度残差因子。

X4.条款X1的方法，其中色度残差缩放因子作为字段被包括在比特流中。

X5.条款X1-X4中任一项或多项的方法，其中，如果临近亮度块中的至少一个可用，则第一参数被导出为当前视频色度块的临近亮度样点的基于舍入的平均值。

X6.条款X1-X4中任一项或多项的方法，其中，如果临近亮度块不可用，则第一参数被导出作为固定值。

X7.条款X1或X6的方法，其中固定值为零。

X8.条款X1或X6的方法，其中固定值基于亮度颜色分量和/或色度颜色分量的位深度。

X9.条款X8的方法，其中固定值是(1<<BitDepth)–1或1<<(BitDepth-1)，其中BitDepth表示亮度颜色分量和/或色度颜色分量的位深度。

X10.条款X6的方法，其中固定值是分段线性函数中的最大二进制位索引。

X11.条款X6的方法，其中固定值是分段线性函数中的最小二进制位索引。

X12.条款X6的方法，其中固定值是自适应分段线性函数中的最小二进制位索引和最大二进制位索引的平均值。

A1.一种用于视觉媒体处理的方法：

使用规则，规则基于固定值指定表示与视觉媒体数据的当前视频单元相关联的至少一个色度块的色度残差缩放因子，其中固定值至少基于一个或多个条件；以及

执行当前视频单元和当前视频单元的比特流之间的转换。

A2.条款A1的方法，其中一个或多个条件包括：

(1)图片/条带/片组/片/子图片/编码树单元(CTU)行/CTU/虚拟流水线数据单元(VPDU)的类型，

(2)图片/条带/片组/片/子图片/CTU行/CTU/VPDU的宽度和/或高度，

(3)当前视频单元的编解码模式，或

(4)当前视频单元的临近样点。

A3.条款A2的方法，其中为第一类型的图片/条带/片组/片/子图片/CTU行/CTU/VPDU计算第一固定值，并为第二类型的图片/条带/片组/片/子图片/CTU行/CTU/VPDU计算第二固定值。

B1.一种用于视觉媒体处理的方法，包括：

在视觉媒体数据的当前视频块和当前视频块的比特流之间的转换期间，至少部分地基于与当前视频块相关联的维度和/或分割信息和/或编解码结构类型，做出选择性地启用或禁用对当前视频块的颜色分量应用跨分量线性模型(CCLM)的确定，其中，在CCLM中，基于第二组颜色分量的线性组合预测第一组颜色分量。

B2.条款B1的方法，其中编解码结构类型是单树或双树。

B3.条款B1的方法，其中基于当前视频块是色度块和指定双树分割的分割信息禁用CCLM。

B4.条款B1的方法，其中基于当前视频块的维度未能满足至少一个阈值条件禁用CCLM。

B5.条款B1的方法，其中至少一个阈值条件基于(i)当前视频块的宽度和/或当前视频块的高度与(ii)一个或多个阈值参数之间的数学关系。

B6.条款B1的方法，其中一个或多个阈值参数具有8、16、64或4096的值。

B7.条款B1的方法，其中当分割信息指定当前视频块位于具有水平划分的叶节点处，并且与当前视频块相关联的并置亮度块位于具有垂直划分的叶节点处时，禁用CCLM。

B8.条款B7的方法，其中在当前视频块是具有水平三元划分的色度块，并且并置亮度块具有垂直三元划分时，禁用CCLM。

B9.条款B7的方法，其中在当前视频块是具有水平二元划分的色度块划分，并且并置亮度块具有垂直三元划分时，禁用CCLM。

B10.条款B7的方法，其中在当前视频块是具有水平二元划分的色度块划分，并且并置亮度块具有垂直三元划分时，禁用CCLM。

B11.条款B7的方法，其中在当前视频块是具有水平二元划分的色度块划分，并且并置亮度块具有垂直二元划分时，禁用CCLM。

B12.条款B1的方法，其中当分割信息指定当前视频块位于具有垂直划分的叶节点处，并且与当前视频块相关联的并置亮度块位于具有水平划分的叶节点处时，禁用CCLM。

B13.条款B12的方法，其中在当前视频块是具有垂直三元划分的色度块，并且并置亮度块具有水平三元划分时，禁用CCLM。

B14.条款B12的方法，其中在当前视频块是具有垂直三元划分的色度块，并且并置亮度块是具有水平二元划分的亮度块时，禁用CCLM。

B15.条款B12的方法，其中在当前视频块是具有二元垂直划分的色度块，并且并置亮度块是水平三元划分时，禁用CCLM。

B16.条款B11的方法，其中在当前视频块是具有垂直二元划分的色度块，并且并置亮度块具有水平二元划分时，禁用CCLM。

B17.条款B1-B16中任一项或多项的方法，还包括：

在确定对于当前视频块禁用CCLM的情况下，从比特流中排除指示CCLM的应用的语法元素。

B18.条款B1-B16中任一项或多项的方法，还包括：

在确定对于当前视频块禁用CCLM的情况下，在比特流中包括指示CCLM的应用的语法元素，其中跳过与CCLM相关联的一个或多个预测模式的使用。

B19.条款B1-B16中任一项或多项的方法，还包括：

在确定对于当前视频块禁用CCLM的情况下，在比特流中包括指示CCLM的应用的语法元素，应用默认预测模式。

B20.条款B19的方法，其中默认预测模式是平面模式或DC模式。

B21.权利要求X1-B20中任一项或多项的方法，其中转换包括从视频块生成比特流。

B22.权利要求X1-B20中任一项或多项的方法，其中转换包括从比特流生成视频块的像素值。

B23.一种视频编码器装置，包括处理器，该处理器被配置为实现条款X1-B20中任一项或多项的方法。

B24.一种视频解码器装置，包括处理器，该处理器被配置为实现条款X1-B20中任一项或多项的方法。

B25.一种其上存储有代码的计算机可读介质，该代码包含用于实现条款X1-B20中任一项或多项的方法的处理器可执行指令。

在本文件中，术语“视频处理”或“视觉媒体处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，视频压缩算法可以在从视频的像素表示到对应比特流的转换期间应用，反之亦然。如语法所定义的，当前视频块的比特流可以例如对应于在比特流中位于共同位置或分布在不同位置的比特。例如，宏块可以根据变换和编解码的误差残差值进行编码，并且还可以使用比特流中的头和其他字段中的比特。此外，在转换期间，解码器可以基于该确定，在知道一些字段可能存在或不存在的情况下解析比特流，如以上解决方案中所述。类似地，编码器可以确定某些语法字段是否被包括，并且通过从编解码表示中包括或排除语法字段来对应地生成编解码表示。

根据前述内容，将会理解，为了说明的目的，这里已经描述了当前公开的技术的具体实施例，但是在不脱离本发明的范围的情况下，可以进行各种修改。因此，除了所附权利要求之外，当前公开的技术不受限制。

本专利文件中描述的主题和功能操作的实现可以在各种系统、数字电子电路或计算机软件、固件或硬件中实现，包括本说明书中公开的结构及其结构等同物，或者它们中的一个或多个的组合。本说明书中描述的主题的实现可以被实现为一个或多个计算机程序产品，即编码在有形和非暂时性计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实现机器可读传播信号的物质组合、或者它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协同文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一台计算机上或位于一个站点或分布在多个站点并通过通信网络互连的多台计算机上执行。

本说明书中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以被实现为专用逻辑电路，例如，FPGA(现场可编程门数组)或ASIC(专用集成电路)。

适于执行计算机程序的处理器包括，例如，通用和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本要素是执行指令的处理器和一个或多个存储指令和数据的存储设备。通常，计算机还将包括或可操作地耦合到一个或多个用于存储数据的大容量存储设备，例如磁盘、磁光盘或光盘，以从其接收数据或向其传送数据，或两者兼有。然而，计算机不需要这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充或并入专用逻辑电路。

说明书和附图仅被认为是示例性的，其中示例性意味着示例。如这里所使用的，“或”的使用旨在包括“和/或”，除非上下文清楚地另外指明。

虽然本专利文件包含许多细节，但这些细节不应被解释为对任何发明或所要求保护的范围的限制，而是对特定发明的特定实施例的特定特征的描述。本专利文件中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独实现或者在任何合适的子组合中实现。此外，尽管特征可以在上文中被描述为在某些组合中起作用，并且甚至最初被如此要求保护，但是在一些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描述了操作，但是这不应该被理解为要求以所示的特定顺序或顺序执行这些操作，或者要求执行所有示出的操作，以获得期望的结果。此外，本专利文件中描述的实施例中的各种系统组件的分离不应理解为在所有实施例中都需要这种分离。

仅描述了几个实施方式和示例，并且可以基于本专利文件中描述和示出的内容做出其他实施方式、增强和变化。

Claims

1.一种处理视频数据的方法，包括：

针对视频色度块与所述视频的比特流之间的转换，基于划分信息以及亮度视频单元和色度视频单元的块维度，确定是否启用或禁用对所述色度块的跨分量线性模型帧内预测，其中所述亮度视频单元覆盖所述色度块的对应亮度区域的至少一个样点，其中所述色度视频单元覆盖对应色度区域的至少一个样点，并且其中所述色度块位于双树结构中，在所述双树结构中，亮度分量和至少一个色度分量具有单独的划分树结构；

响应于启用所述跨分量线性模型帧内预测，至少基于所述色度块的临近色度样点确定所述跨分量线性模型的参数；

基于所述参数应用所述跨分量线性模型以导出所述色度块的预测值；以及

基于所述预测值执行所述转换。

2.根据权利要求1所述的方法，其中，当所述色度视频单元的所述块维度为32×32且所述亮度视频单元的所述块维度为64×64时，禁用所述跨分量线性模型帧内预测，并且所述划分信息指定：所述色度视频单元被用不是四叉树划分操作的水平划分操作划分，所述亮度视频单元被用不是四叉树划分操作的垂直划分操作划分。

3.根据权利要求2所述的方法，其中，当所述色度视频单元被水平三元划分操作划分且所述亮度视频单元被垂直三元划分操作划分时，禁用所述跨分量线性模型帧内预测。

4.根据权利要求2所述的方法，其中，当所述色度视频单元被水平三元划分操作划分且所述亮度视频单元被垂直二元划分操作划分时，禁用所述跨分量线性模型帧内预测。

5.根据权利要求2所述的方法，其中，当所述色度视频单元被水平二元划分操作划分且所述亮度视频单元被垂直三元划分操作划分时，禁用所述跨分量线性模型帧内预测。

6.根据权利要求2所述的方法，其中，当所述色度视频单元被水平二元划分操作划分且所述亮度视频单元被垂直二元划分操作划分时，禁用所述跨分量线性模型帧内预测。

7.根据权利要求1所述的方法，其中，当所述亮度视频单元的所述块维度为64×64时，禁用所述跨分量线性模型帧内预测，并且所述划分信息指定：所述色度视频单元被用不是四叉树划分操作的垂直划分操作划分，所述亮度视频单元被用不是四叉树划分操作的水平划分操作划分。

8.根据权利要求7所述的方法，其中，当所述色度视频单元被垂直三元划分操作划分且所述亮度视频单元被水平三元划分操作划分时，禁用所述跨分量线性模型帧内预测。

9.根据权利要求7所述的方法，其中，当所述色度视频单元被垂直三元划分操作划分且所述亮度视频单元被水平二元划分操作划分时，禁用所述跨分量线性模型帧内预测。

10.根据权利要求7所述的方法，其中，当所述色度视频单元被二元垂直划分操作划分且所述亮度视频单元被水平三元划分操作划分时，禁用所述跨分量线性模型帧内预测。

11.根据权利要求7所述的方法，其中，当所述色度视频单元被垂直二元划分操作划分且所述亮度视频单元被水平二元划分操作划分时，禁用所述跨分量线性模型帧内预测。

12.根据权利要求1所述的方法，还包括：

在确定针对所述当前视频块禁用所述跨分量线性模型帧内预测的情况下，从所述比特流中排除与所述跨分量线性模型帧内预测相关的语法元素。

13.根据权利要求1所述的方法，其中，所述转换包括将所述色度块编码到所述比特流中。

14.根据权利要求1所述的方法，其中，所述转换包括从所述比特流解码所述色度块。

15.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使所述处理器：

基于所述预测值执行所述转换。

16.根据权利要求15所述的装置，其中，当所述色度视频单元的所述块维度为32×32且所述亮度视频单元的所述块维度为64×64时，禁用所述跨分量线性模型帧内预测，并且所述划分信息指定：所述色度视频单元被用不是四叉树划分操作的水平划分操作划分，所述亮度视频单元被用不是四叉树划分操作的垂直划分操作划分；

其中，当所述亮度视频单元的所述块维度为64×64时，禁用所述跨分量线性模型帧内预测，并且所述划分信息指定：所述色度视频单元被用不是四叉树划分操作的垂直划分操作划分，所述亮度视频单元被用不是四叉树划分操作的水平划分操作划分；以及

其中，进一步使处理器：

17.根据权利要求15所述的装置，其中，进一步使处理器执行权利要求3-14中任一项所述的方法。

18.一种存储指令的非暂时性计算机可读存储介质，所述指令使处理器：

基于所述预测值执行所述转换。

19.根据权利要求18所述的非暂时性计算机可读存储介质，其中，当所述色度视频单元的所述块维度为32×32且所述亮度视频单元的所述块维度为64×64时，禁用所述跨分量线性模型帧内预测，并且所述划分信息指定：所述色度视频单元被用不是四叉树划分操作的水平划分操作划分，所述亮度视频单元被用不是四叉树划分操作的垂直划分操作划分；

其中，进一步使处理器：

20.根据权利要求18所述的非暂时性计算机可读存储介质，其中，进一步使处理器执行权利要求3-14中任一项所述的方法。

21.一种非暂时性计算机可读记录介质，其存储通过由视频处理设备执行的方法生成的视频的比特流，其中所述方法包括：

基于所述预测值生成所述比特流。

22.根据权利要求21所述的非暂时性计算机可读存储介质，其中，当所述色度视频单元的所述块维度为32×32且所述亮度视频单元的所述块维度为64×64时，禁用所述跨分量线性模型帧内预测，并且所述划分信息指定：所述色度视频单元被用不是四叉树划分操作的水平划分操作划分，所述亮度视频单元被用不是四叉树划分操作的垂直划分操作划分；

其中，所述方法还包括：

23.一种用于存储视频的比特流的方法，包括：

针对视频色度块，基于划分信息以及亮度视频单元和色度视频单元的块维度，确定是否启用或禁用对所述色度块的跨分量线性模型帧内预测，其中所述亮度视频单元覆盖所述色度块的对应亮度区域的至少一个样点，其中所述色度视频单元覆盖对应色度区域的至少一个样点，并且其中所述色度块位于双树结构中，在所述双树结构中，亮度分量和至少一个色度分量具有单独的划分树结构；

基于所述参数应用所述跨分量线性模型以导出所述色度块的预测值；

基于所述预测值生成所述视频色度块的比特流；以及

将所述比特流存储在非暂时性计算机可读记录介质中。