CN113711610A

CN113711610A - 降低跨分量依赖性的方法

Info

Publication number: CN113711610A
Application number: CN202080030815.8A
Authority: CN
Inventors: 邓智玭; 张莉; 刘鸿彬; 张凯; 许继征
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-04-23
Filing date: 2020-04-22
Publication date: 2021-11-26
Anticipated expiration: 2040-04-22
Also published as: AU2020263199A1; EP3935855A4; ZA202107453B; MX2021012674A; CN117579841A; KR20210152481A; US20230344990A1; JP2022527855A; US11750799B2; KR102660668B1; SG11202110999PA; JP2023139107A; BR112021019675A2; WO2020216246A1; CA3135973A1; JP7317991B2; AU2020263199B2; US20220279169A1; US11659164B1; CN113711610B

Abstract

一种用于视觉媒体处理的方法，包括：在视觉媒体数据的当前视频块和所述当前视频块的比特流表示之间的转换期间，至少部分地基于覆盖与所述当前视频块相关联的并置亮度块的左上样点的对应亮度块的邻近样点，来计算所述当前视频块的跨分量线性模型(CCLM)和/或色度残差缩放(CRS)因子，其中，将所述当前视频块的一个或多个特性用于识别所述对应亮度块。

Description

降低跨分量依赖性的方法

相关申请的交叉引用

根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2019年4月23日提交的国际专利申请号No.PCT/CN2019/083846的优先权和利益。根据法律规定的目的，将上述申请的全部公开以参考方式并入本文，作为本申请公开的一部分。

技术领域

本专利文件涉及视频编码和解码技术、设备和系统。

背景技术

尽管在视频压缩方面取得了进步，但在互联网和其它数字通信网络中，数字视频仍然是使用带宽最多的。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

发明内容

描述了与数字视频编码/解码相关的设备、系统和方法，特别描述了视频编码/解码中的跨分量线性模型(CCLM)预测模式的简化线性模型推导。所述方法可应用于现有视频编码标准(例如，高效视频编码(HEVC))和未来视频编码标准(例如，多功能视频编码(VVC))或编解码器。

在一个代表性方面，公开了一种用于视觉媒体处理的方法。所述方法包括：在视觉媒体数据的当前视频块和所述当前视频块的比特流表示之间的转换期间，至少部分地基于覆盖与所述当前视频块相关联的并置亮度块的左上样点的对应亮度块的邻近样点，来计算所述当前视频块的跨分量线性模型(CCLM)和/或色度残差缩放(CRS)因子，其中，将所述当前视频块的一个或多个特性用于识别所述对应亮度块。

在另一代表性方面，公开了一种用于视觉媒体处理的方法。所述方法包括：使用规则来做出在视觉媒体数据的当前视频块的颜色分量上选择性地启用或禁用色度残差缩放(CRS)的确定，其中，所述规则基于所述当前视频块的编解码模式信息和/或一个或多个邻近视频块的编解码模式信息；以及基于所述确定执行所述当前视频块和比特流表示之间的转换。

在又一代表性方面，公开了一种用于视觉媒体处理的方法。所述方法包括：为与条带或片组中的视频块相关联的至少一个色度块使用单个色度残差缩放因子，所述条带或片组与视频媒体数据的当前视频块相关联；以及执行所述当前视频块和所述当前视频块的比特流表示之间的转换。

在另一代表性方面，公开了一种用于视觉媒体处理的方法。所述方法包括：在视觉媒体数据的当前视频块和所述当前视频块的比特流表示之间的转换期间，导出色度残差缩放因子；存储所述色度残差缩放因子，以供所述视觉媒体数据的其它视频块使用；以及为所述当前视频块和所述其它视频块到所述比特流表示的所述转换应用所述色度残差缩放因子。

在另一代表性方面，公开了一种用于视觉媒体处理的方法。所述方法包括：在视觉媒体数据的当前视频块和所述视觉媒体数据的比特流表示之间的转换期间：计算所述当前视频块的色度残差缩放因子；将所述色度残差缩放因子存储在缓冲器中，以供所述视觉媒体数据的第二视频块使用；以及在所述使用之后从所述缓冲器中移除所述色度残差缩放因子。

在又一示例方面，公开了一种视频编码器或视频解码器装置，其包括处理器，所述处理器被配置为实现上述方法。

在另一示例方面，公开了一种计算机可读程序介质。所述介质储存代码，所述代码包括用于实现上述方法中的一种的处理器可执行指令。

在又一示例方面，将上述方法以计算机可执行代码的形式实施并且存储在计算机可读程序介质中。

附图说明

图1示出了HEVC中的角度帧内预测模式的示例。

图2示出了不在HEVC中的方向模式的示例。

图3示出了与CCLM模式相关的示例。

图4示出了亮度映射和色度缩放架构的示例。

图5示出了不同颜色格式的亮度块和色度块的示例。

图6示出了相同颜色格式的亮度块和色度块的示例。

图7示出了覆盖多种格式的并置亮度块的示例。

图8示出了较大亮度帧内的亮度块的示例。

图9示出了较大亮度帧内和边界框内的亮度块的示例。

图10是用于实现本文所述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。

图11示出了根据所公开技术的跨分量预测的线性模型推导的示例方法的流程图。

图12是可以实现所公开的技术的示例性视频处理系统的框图。

图13示出了用于视觉媒体处理的示例方法的流程图。

图14示出了用于视觉媒体处理的示例方法的流程图。

图15示出了用于视觉媒体处理的示例方法的流程图。

图16示出了用于视觉媒体处理的示例方法的流程图。

图17示出了用于视觉媒体处理的示例方法的流程图。

具体实施方式

2.1HEVC概述

2.1.1HEVC/H.265中的帧内预测

帧内预测涉及使用先前在所考虑的颜色通道中重构的样点为给定TB(变换块)生成样点。为亮度和色度通道单独地信令通知帧内预测模式，其中色度通道帧内预测模式可选地经由“DM_CHROMA”模式取决于亮度通道帧内预测模式。尽管在PB(预测块)级信令通知帧内预测模式，但是根据CU的残差四叉树层次结构在TB级应用帧内预测处理，从而允许一个TB的编解码对CU内的下一个TB的编解码产生影响，因此减少了与用作参考值的样点之间的距离。

HEVC包括35种帧内预测模式：DC模式、平面(Planar)模式和33方向(或“角度”)帧内预测模式。图1示出了33角度帧内预测模式。

对于与色度颜色通道相关联的PB，将帧内预测模式指定为平面(Planar)、DC、水平、垂直、“DM_CHROMA”模式(或有时为对角模式“34”)。

注意，对于色度格式4:2:2和4:2:0，色度PB可以重叠两个或四个(分别)亮度PB；在这种情况下，DM_CHROMA的亮度方向取自这些亮度PB的左上角。

DM_CHROMA模式指示将亮度颜色通道PB的帧内预测模式应用于色度通道PB。由于这是相对常见的，所以intra_chroma_pred_mode的最可能模式编解码方案偏向于选择这种模式。

2.2多功能视频编码(VVC)算法描述

2.2.1 VVC编码架构

为了探索HEVC以外的未来视频编码技术，VCEG和MPEG于2015年联合成立了联合视频探索团队(JVET)。JVET会议每季度同时举行一次，并且新编码标准的目标是比HEVC降低50％的比特率。在2018年4月的JVET会议上将新的视频编码标准正式命名为多功能视频编码(VVC)，并且VVC测试模型(VTM)的第一个版本也在那时发布。由于针对VVC标准化的不懈努力，在每次JVET会议上，VVC标准都采用新的编码技术。VVC工作草案和测试模型VTM将在每次会议后更新。VVC项目目前的目标是在2020年7月的会议上实现技术完成(FDIS)。

与大多数先前的标准一样，VVC具有基于块的混合编解码架构，将帧间和帧内预测以及变换编解码与熵编解码相结合。图片分割结构将输入视频划分成称为编解码树单元(CTU)的块。使用具有嵌套多类型树结构的四叉树将CTU划分为编解码单元(CU)，其中叶编解码单元(CU)定义共享相同预测模式(例如，帧内或帧间)的区域。在本文中，术语“单元”定义了覆盖所有颜色分量的图片区域；术语“块”用于定义覆盖特定颜色分量(例如，亮度)的区域，并且当考虑诸如4:2:0的色度采样格式时，其在空域位置上可能不同。

2.2.2 VVC中的双/单独树分割

对于I条带，亮度分量和色度分量可以有单独的分割树。单独的树分割处于64x64块级别，而不是CTU级别。在VTM软件中，存在SPS标志来控制双树的开和关。

2.2.3 VVC中的帧内预测

2.2.3.1 67种帧内预测模式

为了捕获自然视频中呈现的任意边缘方向，将方向帧内模式的数量从HEVC中使用的33个扩展到65个。在图2中，将HEVC中没有的新的方向模式描绘为红色虚线箭头，并且平面(Planar)模式和DC模式保持相同。这些更密集的方向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。

2.2.3.2跨分量线性模型预测(CCLM)

为了减少跨分量冗余，在VTM4中使用跨分量线性模型(CCLM)预测模式，对于该模式，通过使用如下所示的线性模型、基于相同CU的重构亮度样点来预测色度样点：

pred_C(i，j)＝α·rec_L′(i，j)+β

其中，pred_C(i，j)表示CU中的预测色度样点，并且rec_L′(i，j)表示同一CU的下采样重构亮度样点。线性模型参数α和β是从两个样点的亮度值和色度值之间的关系导出的，这两个样点是下采样邻近亮度样点的集合中具有最小样点值的亮度样点和具有最大样点的亮度样点，以及它们对应的色度样点。根据以下等式获得线性模型参数α和β：

β＝Y_b-α·X_b

其中Y_a和X_a表示亮度样点值最大的亮度样点的亮度值和色度值。并且Y_b和X_b表示亮度样点值最小的亮度样点的亮度值和色度值。图3示出了CCLM模式中所涉及的左侧和上方样点以及当前块的样点的位置的示例。

利用查找表实现计算参数α的除法运算。为了减少存储表所需的内存，用指数表示法来表示diff值(最大值和最小值之间的差)和参数α。例如，用4比特有效部分和指数来近似diff。因此，将1/diff的表缩减为16个元素，有效数字的16个值如下所示：

DivTable[]＝{0，7，6，5，5，4，4，3，3，2，2，1，1，1，1，0}

这将有助于减少计算的复杂性以及存储所需表所需的内存尺寸。

上方模板和左侧模板除了可以一起用于计算线性模型系数外，还可以可选地以其它2个LM模式(称为LM_A和LM_A)使用它们。

在LM_A模式中，仅使用上方模板来计算线性模型系数。为了得到更多的样点，将上方模板扩展到(W+H)。在LM_L模式中，仅使用左侧模板来计算线性模型系数。为了得到更多的样点，将左侧模板被扩展到(H+W)。

对于非正方形块，将上方模板扩展到W+W，将左侧模板扩展到H+H。

为了匹配4:2:0视频序列的色度样点位置，对亮度样点应用两种类型的下采样滤波器，以在水平和垂直方向上实现2∶1的下采样率。下采样滤波器的选择由SPS级别标志指定。两个下采样滤波器如下，其分别对应于“类型0”和“类型2”内容。

注意，当上方参考行位于CTU边界时，只有一个亮度行(帧内预测中的通用行缓冲区)用于构成下采样亮度样点。

该参数计算是作为解码处理的一部分执行的，而不仅仅是作为编码器搜索操作执行的。因此，不使用语法将α和β值传递给解码器。

对于色度帧内模式编解码，色度帧内模式编解码总共允许8个帧内模式。这些模式包括五种传统的帧内模式和三种跨分量线性模型模式(CCLM、LM_A和LM_A)。色度模式编解码直接取决于对应亮度块的帧内预测模式。由于在I条带中启用了亮度和色度分量的单独块分割结构，因此一个色度块可以对应于多个亮度块。因此，对于色度DM模式，直接继承覆盖当前色度块中心位置的对应亮度块的帧内预测模式。

2.2.3.2.1对应的修改工作草案(JVET-N0271)

以下规范是基于修改后的JVET-M1001工作草案和JVET-N0271中的采用。采用的JVET-N0220的修改以粗体和下划线显示。

语法表

序列参数集RBSP语法

语义

sps_cclm_enabled_flag等于0指定禁用从亮度分量到色度分量的跨分量线性模型帧内预测。sps_cclm_enabled_flag等于1指定启用从亮度分量到色度分量的跨分量线性模型帧内预测。

解码处理

在INTRA_LT_CCLM、INTRA_L_CCLM和INTRA_T_CCLM帧内预测模式的8.4.4.2.8规范中，

该处理的输入是：

–帧内预测模式predModeIntra，

–当前变换块左上样点相对于当前图片左上样点的样点位置(xTbC，yTbC)，

–变量nTbW，其指定变换块宽度，

–变量nTbH，其指定变换块高度，

–色度邻近样点p[x][y](x＝-1，y＝0..2*nTbH-1)和(x＝0..2*nTbW-1，y＝-1)。

该处理的输出为预测样点predSamples[x][y](x＝0..nTbW-1，y＝0..nTbH-1)。

当前亮度位置(xTbY，yTbY)导出如下：

(xTbY,yTbY)＝(xTbC<<1,yTbC<<1) (8-156)

变量availL,availT和availTL导出如下：

–以设置为等于(xTbC，yTbC)的当前色度位置(xCurr，yCurr)和邻近色度位置(xTbC-1，yTbC)作为输入，调用第6.4.X条[Ed.(BB)：邻近块可用性检查处理待定]中规定的块的左侧邻近样点可用性推导处理，并将输出分配给availL。

–以设置为等于(xTbC，yTbC)的当前色度位置(xCurr，yCurr)和邻近色度位置(xTbC，yTbC-1)作为输入，调用第6.4.X条[Ed.(BB)：邻近块可用性检查处理待定]中规定的块的上方邻近样点可用性推导处理，并将输出分配给availT。

–以设置为等于(xTbC，yTbC)的当前色度位置(xCurr，yCurr)和邻近色度位置(xTbC-1，yTbC-1)作为输入，调用第6.4.X条[Ed.(BB)：邻近块可用性检查处理待定]中规定的块的左上邻近样点可用性推导处理，并将输出分配给availTL。

–可用的右上邻近色度样点的数量numTopRight导出如下：

–将变量numTopRight设置为等于0，并将availTR设置为等于TRUE。

–当predModeIntra等于INTRA_T_CCLM时，对于x＝nTbW..2*nTbW-1，以下适用，直到availTR等于FALSE或x等于2*nTbW-1：

–以设置为等于(xTbC，yTbC)的当前色度位置(xCurr，yCurr)和邻近色度位置(xTbC+x，yTbC-1)作为输入，调用第6.4.X条[Ed.(BB)：邻近块可用性检查处理待定]中规定的块的可用性推导处理，并将输出分配给availableTR。

–当availableTR等于TRUE时，numTopRight增加1。

–可用的左下邻近色度样点的数量numLeftBelow推导如下：

–将变量numLeftBelow设置为等于0，并将availLB设置为等于TRUE。

–当predModeIntra等于INTRA_L_CCLM时，对于y＝nTbH..2*nTbH-1，以下适用，直到availLB等于FALSE或y等于2*nTbH-1：

–以设置为等于(xTbC，yTbC)的当前色度位置(xCurr，yCurr)和邻近色度位置(xTbC-1，yTbC+y)作为输入，调用第6.4.X条[Ed.(BB)：邻近块可用性检查处理待定]中规定的块的可用性推导处理，并将输出分配给availableLB。

–当availableLB等于TRUE时，numLeftBelow增加1。

上方和右上可用邻近色度样点的数量numTopSamp、以及左侧和左下可用邻近色度样点的数量numLeftSamp导出如下：

–如果predModeIntra等于INTRA_LT_CCLM，则以下适用：

numSampT＝availT？nTbW:0 (8-157)

numSampL＝availL？nTbH:0 (8-158)

–否则，以下适用：

numSampT＝(availT&&predModeIntra＝＝INTRA_T_CCLM)？(nTbW+Min(numTopRight,nTbH)):0 (8-159)

numSampL＝(availL&&predModeIntra＝＝INTRA_L_CCLM)？(nTbH+Min(numLeftBelow,nTbW)):0 (8-160)

变量bCTUboundary导出如下：

bCTUboundary＝(yTbC&(1<<(CtbLog2SizeY-1)-1)＝＝0)？TRUE:FALSE (8- 161)

变量cntN和数组pickPosN[](将N替换为L和T)导出如下：

–将变量numIs4N设置为等于

((availT&&availL&&predModeIntra＝＝INTRA_LT_CCLM)？0:1)。

–将变量startPosN设置为等于numSampN>>(2+numIs4N)。

–将变量pickStepN设置为等于Max(1，numSampN>>(1+numIs4N))。

–如果availN等于TRUE，并且predModeIntra等于INTRA_LT_CCLM或INTRA_N_CCLM，则将cntN设置为Min(numSampN，(1+numIs4N)<<1)，并且将pickPosN[pos]设置为等于 (startPosN+pos*pickStepN)，其中pos＝0..(cntN–1)。

–否则，将cntN设置为等于0。

预测样点predSamples[x][y](x＝0..nTbW-1，y＝0..nTbH-1)导出如下：

–如果numSampL和numSampT都等于0，则以下适用：

predSamples[x][y]＝1<<(BitDepth_C-1) (8-162)

–否则，以下顺序步骤适用：

1.将并置亮度样点pY[x][y](x＝0..nTbW*2-1,y＝0..nTbH*2-1)设置为等于去方块滤波处理之前位置(xTbY+x,yTbY+y)处的重构亮度样点。

2.邻近亮度样点pY[x][y]导出如下:

-当numSampL大于0时，将左侧邻近亮度样点pY[x][y](x＝-1..-3,y＝0..2*numSampL–1)设置为等于去方块滤波处理之前位置(xTbY+x,yTbY+y)处的重构亮度样点。

-当numSampT大于0时，将上方邻近亮度样点pY[x][y](x＝0..2*numSampT-1,y＝-1,-2)设置为等于去方块滤波处理之前位置(xTbY+x,yTbY+y)处的重构亮度样点。

-当availTL等于TRUE时，将左上邻近亮度样点pY[x][y](x＝-1,y＝-1,-2)设置为等于去方块滤波处理之前位置(xTbY+x,yTbY+y)处的重构亮度样点。

3.下采样并置亮度样点pDsY[x][y](x＝0..nTbW-1,y＝0..nTbH-1)导出如下:

–If sps_cclm_colocated_chroma_flag等于1，则以下适用:

–pDsY[x][y](x＝1..nTbW-1,y＝1..nTbH–1)导出如下：

–如果availL等于TRUE，则pDsY[0][y](y＝1..nTbH-1)导出如下：

–否则，pDsY[0][y](y＝1..nTbH–1)导出如下：

pDsY[0][y]＝(pY[0][2*y-1]+2*pY[0][2*y]+pY[0][2*y+1]+2)>>2 (8-165)

–如果availT等于TRUE，则pDsY[x][0](x＝1..nTbW–1)导出如下：

–否则，pDsY[x][0](x＝1..nTbW-1)导出如下：

pDsY[x][0]＝(pY[2*x-1][0]+2*pY[2*x][0]+pY[2*x+1][0]+2)>>2 (8-167)

–如果availL等于TRUE并且availT等于TRUE，则pDsY[0][0]导出如下：

–否则，如果availL等于TRUE并且availT等于FALSE，pDsY[0][0]导出如下：

pDsY[0][0]＝(pY[-1][0]+2*pY[0][0]+pY[1][0]+2)>>2 (8-169)

–否则，如果availL等于FALSE并且availT等于TRUE，pDsY[0][0]导出如下：

pDsY[0][0]＝(pY[0][-1]+2*pY[0][0]+pY[0][1]+2)>>2 (8-170)

–否则(availL等于FALSE并且availT等于FALSE)，pDsY[0][0]导出如下：

pDsY[0][0]＝pY[0][0] (8-171)

–否则，则以下适用:

–pDsY[x][y](x＝1..nTbW-1,y＝0..nTbH-1)导出如下：

–如果availL等于TRUE，则pDsY[0][y](y＝0..nTbH-1)导出如下：

–否则，pDsY[0][y](y＝0..nTbH-1)导出如下：

pDsY[0][y]＝(pY[0][2*y]+pY[0][2*y+1]+1)>>1 (8-174)

4.当numSampL大于0时，将选定的左侧邻近色度样点pSelC[idx]设置为等于p[-1] [pickPosL[idx]](idx＝0..(cntL–1)),并且选定的左侧下采样邻近亮度样点pSelDsY [idx](idx＝0..(cntL-1))导出如下：

–将变量y设置为等于pickPosL[idx]。

–如果sps_cclm_colocated_chroma_flag等于1，则以下适用：

–如果y>0||availTL＝＝TRUE,则

–否则，

pSelDsY[idx]＝(pY[-3][0]+2*pY[-2][0]+pY[-1][0]+2)>>2 (8-177)

–否则，以下适用：

5.当numSampT大于0时，将所选定的上方邻近色度样点pSelC[idx]设置为等于p [pickPosT[idx–cntL]][-1](idx＝cntL..(cntL+cntT–1)),并且上方下采样邻近亮度样点pSelDsY[idx](idx＝cntL..(cntL+cntT–1))规定如下：

-将变量x设置为等于pickPosT[idx–cntL]。

–如果sps_cclm_colocated_chroma_flag等于1，则以下适用：

–如果x>0:

–如果bCTUboundary等于FALSE，则以下适用：

–否则(bCTUboundary等于TRUE)，以下适用：

–否则:

–如果availTL等于TRUE并且bCTUboundary等于FALSE，以下适用：

–否则，如果availTL等于TRUE并且bCTUboundary等于TRUE，以下适用：

–否则，如果availTL等于FALSE并且bCTUboundary等于FALSE,以下适用：

pSelDsY[idx]＝(pY[0][-3]+2*pY[0][-2]+pY[0][-1]+2)>>2 (8-183)

–否则(availTL等于FALSE并且bCTUboundary等于TRUE)，以下适用：

pSelDsY[idx]＝pY[0][-1] (8-184)

–否则，则以下适用：

–如果x>0:

–如果bCTUboundary等于FALSE,则以下适用：

–否则(bCTUboundary等于TRUE),则以下适用：

–否则:

–如果availTL等于TRUE并且bCTUboundary等于FALSE,则以下适用：

–否则，如果availTL等于TRUE并且bCTUboundary等于TRUE,以下适用：

–否则如果availTL等于FALSE并且bCTUboundary等于FALSE，以下适用：

pSelDsY[idx]＝(pY[0][-2]+pY[0][-1]+1)>>1 (8-189)

–否则(availTL等于FALSE并且bCTUboundary等于TRUE)，以下适用：

pSelDsY[idx]＝pY[0][-1] (8-190)

6.当cntT+cntL不等于0时，变量minY,maxY,minC和maxC导出如下：

–当cntT+cntL等于2时，将pSelComp[3]设置为等于pSelComp[0],将pSelComp[2] 设置为等于pSelComp[1],将pSelComp[0]设置为等于pSelComp[1],并且将pSelComp[1]设置为等于pSelComp[3],(其中用DsY和C替换Comp)。

–将数组minGrpIdx[]和maxGrpIdx[]设置为:minGrpIdx[0]＝0,minGrpIdx[1]＝ 2,maxGrpIdx[0]＝1,maxGrpIdx[1]＝3。

–如果pSelDsY[minGrpIdx[0]]>pSelDsY[minGrpIdx[1]],则Swap(minGrpIdx[0], minGrpIdx[1])。

–如果pSelDsY[maxGrpIdx[0]]>pSelDsY[maxGrpIdx[1]],则Swap(maxGrpIdx[0], maxGrpIdx[1])。

–如果pSelDsY[minGrpIdx[0]]>pSelDsY[maxGrpIdx[1]],则Swap(minGrpIdx, maxGrpIdx)。

–如果pSelDsY[minGrpIdx[1]]>pSelDsY[maxGrpIdx[0]],则Swap(minGrpIdx[1], maxGrpIdx[0])。

–maxY＝(pSelDsY[maxGrpIdx[0]]+pSelDsY[maxGrpIdx[1]]+1)>>1。

–maxC＝(pSelC[maxGrpIdx[0]]+pSelC[maxGrpIdx[1]]+1)>>1。

–minY＝(pSelDsY[minGrpIdx[0]]+pSelDsY[minGrpIdx[1]]+1)>>1。

–minC＝(pSelC[minGrpIdx[0]]+pSelC[minGrpIdx[1]]+1)>>1。

7.变量a、b、和k导出如下：

–如果numSampL等于0，并且numSampT等于0，则以下适用：

k＝0 (8-208)

a＝0 (8-209)

b＝1<<(BitDepth_C-1) (8-210)

–否则，以下适用：

diff＝maxY-minY (8-211)

–如果diff不等于0，则以下适用：

diffC＝maxC-minC (8-212)

x＝Floor(Log2(diff)) (8-213)

normDiff＝((diff<<4)>>x)&15 (8-214)

x+＝(normDiff！＝0)？1:0 (8-215)

y＝Floor(Log2(Abs(diffC)))+1 (8-216)

a＝(diffC*(divSigTable[normDiff]|8)+2^y-1)>>y (8-217)

k＝((3+x-y)<1)？1:3+x-y (8-218)

a＝((3+x-y)<1)？Sign(a)*15:a (8-219)

b＝minC-((a*minY)>>k) (8-220)

其中，divSigTable[]规定如下：

divSigTable[]＝{0,7,6,5,5,4,4,3,3,2,2,1,1,1,1,0} (8-221)

–否则(diff等于0)，以下适用：

k＝0 (8-222)

a＝0 (8-223)

b＝minC (8-224)

8.预测样点predSamples[x][y](x＝0..nTbW-1,y＝0..nTbH-1)导出如下：

predSamples[x][y]＝Clip1C(((pDsY[x][y]*a)>>k)+b)(8-225)

2.2.3.3其它帧内预测方面

VTM4包含许多不同于HEVC的帧内编解码工具，例如，在块树结构之上，VVC测试模型3中包含以下特征。

·具有宽角度模式扩展的67帧内模式

·块尺寸和模式相关的4抽头插值滤波器

·位置相关帧内预测组合(PDPC)

·跨分量线性模型帧内预测

·多参考行帧内预测

·帧内子分割

2.2.4 VVC中的帧内预测

2.2.4.1组合帧间帧内预测(CIIP)

在VTM4中，当CU以Merge模式编解码时，并且如果CU包含至少64个亮度样点(即，CU宽度乘以CU高度等于或大于64)，则会信令通知附加标志以指示是否将组合帧间/帧内预测(CIIP)模式应用于当前CU。

为了形成CIIP预测，首先从两个附加的语法元素导出帧内预测模式。最多可以使用四种可能的帧内预测模式：DC、平面(Planar)、水平或垂直。然后，使用常规的帧内和帧间解码处理导出帧间预测和帧内预测信号。最后，对帧间和帧内预测信号进行加权平均以获得CIIP预测。

2.2.4.2其它帧间预测方面

VTM4包含许多不同于HEVC的帧间编解码工具，例如，在块树结构之上，VVC测试模型3中包含以下特征。

·仿射运动帧间预测

·基于子块的时域运动矢量预测

·自适应运动矢量分辨率

·用于时域运动预测的基于8x8块的运动压缩

·高精度(1/16像素)运动矢量存储和运动补偿，其中亮度分量采用8抽头插值滤波器，色度分量采用4抽头插值滤波器

·三角分割

·组合帧内帧间预测

·与MVD合并(MMVD)

·对称MVD编解码

·双向光流

·解码器侧运动矢量细化

·双向预测加权平均

2.2.5环内滤波器

VTM4中共有三种环路内滤波器。除去方块滤波器和SAO(HEVC中的两个环路滤波器)外，VTM4还采用了自适应环路滤波器(ALF)。VTM4中的滤波处理的顺序是去方块滤波器、SAO和ALF。

在VTM4中，SAO和去方块滤波处理与HEVC中的几乎相同。

在VTM4中，添加了称为亮度映射和色度缩放的新处理(该处理以前称为自适应环内整形)。在去方块之前执行这个新处理。

2.2.6亮度映射和色度缩放(LMCS，也称为环内整形)

在VTM4中，环内路滤波器之前添加了称为亮度映射和色度缩放(LMCS)的编解码工具，作为新的处理块。LMCS有两个主要部分：1)基于自适应分段线性模型的亮度分量环内映射；2)对于色度分量，采用亮度相关色度残差缩放。图4从解码器的角度示出了LMCS架构。图4中的浅蓝色阴影块指示在映射域中应用处理的位置；并且这些处理包括逆量化、逆变换、亮度帧内预测和亮度预测与亮度残差的相加。图4中的非阴影块指示在原始(即，未映射)域中应用处理的位置；并且这些测量包括环路滤波器(诸如去方块、ALF和SAO)、运动补偿预测、色度帧内预测、色度预测与色度残差相加，以及存储解码图片作为参考图片。图4中的浅黄色阴影块是新的LMCS功能块，包括亮度信号的正向和逆向映射以及亮度相关的色度缩放处理。与VVC中的大多数其它工具一样，可以使用SPS标志在序列级别启用/禁用LMCS。

2.2.6.1亮度映射和分段线性模型

亮度分量的环内映射通过在动态范围内重新分配码字来调整输入信号的动态范围，以提高压缩效率。亮度映射使用正向映射函数FwdMap和对应的逆向映射函数InvMap。使用16等分的分段线性模型来信令通知FwdMap函数。不需要信令通知InvMap函数，相反地，从FwdMap函数将其导出。

在片组级信令通知亮度映射模型。先信令通知存在标志。如果当前片组中存在亮度映射模型，则会信令通知对应的分段线性模型参数。分段线性模型将输入信号的动态范围分割为16等分段，并且对于每个段，使用分配给该段的码字数来表示其线性映射参数。以10比特输入为例。默认情况下，16段中的每一个都将有64个码字分配给它。码字的信令数目用于计算缩放因子并对应地调整该段的映射函数。在片组级信令通知另一个LMCS启用标志，以指示是否将图4所示的LMCS处理应用于当前片组。

FwdMap分段线性模型的每个第i段(i＝0...15)由两个输入轴点InputPivot[]和两个输出(映射)轴点MappedPivot[]定义。

InputPivot[]和MappedPivot[]的计算如下(假设为10比特视频)：

1)OrgCW＝64

2)对于i＝0:16，InputPivot[i]＝i*OrgCW

3)对于i＝0:16，MappedPivot[i]计算如下：

MappedPivot[0]＝0；

for(i＝0；i<16；i++)

MappedPivot[i+1]＝MappedPivot[i]+SignalledCW[i]

其中SignalledCW[i]是第i个段的信令通知的码字数。

如图4所示，对于帧间编解码块，在映射域中执行运动补偿预测。换言之，在基于DPB中的参考信号计算运动补偿预测块Y_pred之后，应用FwdMap函数以将原始域中的亮度预测块映射到映射域，Y′_pred＝FwdMap(Y_pred)′。对于帧内编解码块，不应用FwdMap函数，因为帧内预测在映射域中执行。计算重构块Y_r后，应用InvMap函数将映射域中的重构亮度值转换回原始域中的重构亮度值

将InvMap函数应用于帧内和帧间编解码的亮度块。

可以使用查找表(LUT)或使用动态计算来实现亮度映射处理(正向和/或逆向映射)。如果使用LUT，则可以预先计算和存储FwdMapLUT和InvMapLUT以便在片组级使用，并且正向和逆向映射可以分别简单地实现为FwdMap(Y_pred)＝FwdMapLUT[Y_pred]和InvMap(Y_r)＝InvMapLUT[Y_r]。可选地，可以使用动态计算。以正向映射函数FwdMap为例。为了找出亮度样点所属的段，将样点值右移6位(对应于16等分段)。然后，检索该段的线性模型参数并动态应用以计算映射亮度值。设i为段索引，a1、a2分别为InputPivot[i]和InputPivot[i+1]，并且b1、b2分别为MappedPivot[i]和MappedPivot[i+1]。FwdMap函数计算如下：

FwdMap(Y_pred)＝((b2-b1)/(a2-a1))*(Y_pred-a1)+b1

可以以类似的方式动态计算InvMap函数，只是在找出样点值所属的块时，需要应用条件检查，而不是简单的右移位，因为映射域中的段不是等尺寸的。

2.2.6.2亮度相关的色度残差缩放

色度残差缩放被设计用于补偿亮度信号与其对应的色度信号之间的相互作用。是否启用色度残差缩放也会在片组级信令通知。如果启用了亮度映射，并且如果不将双树分割(也称为单独色度树)应用于当前片组，则会信令通知附加标志，以指示是否启用了亮度相关的色度残差缩放。如果不使用亮度映射，或者在当前片组中使用双树分割，则禁用亮度相关的色度残差缩放。此外，对于面积小于或等于4的色度块，始终禁用亮度相关的色度残差缩放。

色度残差缩放取决于对应的亮度预测块的平均值(对于帧内和帧间编解码块)。将avgY′表示为亮度预测块的平均值。按以下步骤计算C_ScaleInv的值：

1)基于InvMap函数找出avgY′所属的分段线性模型的索引Y_Idx。

2)C_ScaleInv＝cScaleInv[Y_Idx]，其中cScaleInv[]是预先计算的16段LUT。

如果当前块以帧内、CIIP或帧内块复制(IBC，又称为当前图片参考或CPR)模式编解码，则将avgY′计算为帧内、CIIP或IBC预测亮度值的平均；否则，将avgY′计算为正向映射帧间预测亮度值的平均(图4中的Y′_pred)。与基于样点执行的亮度映射不同，对于整个色度块C_scaleInv是常数值。利用C_scaleInv，如下应用色度残差缩放：

编码器侧：C_Resscale＝C_Res*C_Scale＝C_Res/C_ScaleInv

解码器侧：C_Res＝C_ResScale/C_Scale＝C_Resscale*C_scaleInv

2.2.6.3 JVET-M1001_v7中的对应工作曹娜和JVET-N0220中的采用

以下规范是基于JVET-M1001的修改工作草案和JVET-N0220中的采用。采用的JVET-N0220中的修改以粗体和下划线显示。

语法表

在7.3.2.1序列参数集RBSP语法中

<u>sps_triangle_enabled_flag</u>	<u>u(1)</u>
		<u>sps_lmcs_enabled_flag</u>	<u>u(1)</u>
<u>sps_ladf_enabled_flag</u>	<u>u(1)</u>

在7.3.4.1通用片组标头语法中

在7.3.4.4亮度映射与色度缩放数据语法中

语义

在7.3.2.1中序列参数集RBSP语义中

sps_lmcs_enabled_flag等于1指定在CVS中使用亮度映射与色度缩放。sps_lmcs_enabled_flag等于0指定不在CVS中属于亮度映射与色度缩放。

tile_group_lmcs_model_present_flag等于1指定lmcs_data()存在于片组标头中。tile_group_lmcs_model_present_flag等于0指定lmcs_data()不存在于片组标头中。当tile_group_lmcs_model_present_flag不存在时，将其推断为等于0。

tile_group_lmcs_enabled_flag等于1指定为当前片组启用亮度映射与色度缩放。tile_group_lmcs_enabled_flag等于0指定不为当前片组启用亮度映射与色度缩放。当tile_group_lmcs_enabled_flag不存在时，将其推断为等于0。

tile_group_chroma_residual_scale_flag等于1指定为当前片组启用色度残差缩放。tile_group_chroma_residual_scale_flag等于0指定不为当前片组启用色度残差缩放。当tile_group_chroma_residual_scale_flag不存在时，将其推断为等于0。

在7.4.5.4亮度映射与色度缩放数据语义中

lmcs_min_bin_idx指定亮度映射与色度缩放构造处理中使用的最小二进制数索引。lmcs_min_bin_idx的值应当在0至15的范围内，包括0和15。

lmcs_delta_max_bin_idx指定15和亮度映射与色度缩放构造处理中使用的最大二进制数索引LmcsMaxBinIdx之间的差值。lmcs_delta_max_bin_idx的值应当在0至15的范围内，包括0和15。将LmcsMaxBinIdx的值设置为等于15-lmcs_delta_max_bin_idx。LmcsMaxBinIdx的值应当大于或等于lmcs_min_bin_idx。

lmcs_delta_cw_prec_minus1加1指定用于语法lmcs_delta_abs_cw[i]的表示的比特数。lmcs_delta_cw_prec_minus1应当在0至的范围内，包括0和BitDepthY–2。

lmcs_delta_abs_cw[i]指定第i个二进制数的绝对增量码字值。

lmcs_delta_sign_cw_flag[i]如下指定变量lmcsDeltaCW[i]的符号：

–如果lmcs_delta_sign_cw_flag[i]等于0，则lmcsDeltaCW[i]为正数。

–否则(lmcs_delta_sign_cw_flag[i]不等于0),lmcsDeltaCW[i]为负数。

当lmcs_delta_sign_cw_flag[i]不存在时，将其推断为等于0。

变量OrgCW导出如下：

OrgCW＝(1<<BitDepth_Y)/16 (7-70)

变量lmcsDeltaCW[i](i＝lmcs_min_bin_idx..LmcsMaxBinIdx)导出如下：

lmcsDeltaCW[i]＝(1-2*lmcs_delta_sign_cw_flag[i])*lmcs_delta_abs_cw[i](7-71)

变量lmcsCW[i]导出如下：

–对于i＝0..lmcs_min_bin_idx-1,将lmcsCW[i]设置为等于0。

–对于i＝lmcs_min_bin_idx..LmcsMaxBinIdx，以下适用：

lmcsCW[i]＝OrgCW+lmcsDeltaCW[i] (7-72)

lmcsCW[i]的值应当在(OrgCW>>3)至(OrgCW<<3-1)的范围内，包括(OrgCW>>3)和(OrgCW<<3-1)。

–对于i＝LmcsMaxBinIdx+1..15，将lmcsCW[i]设置为等于0。

比特流一致性要求以下条件为真：

变量InputPivot[i](i＝0..16)导出如下：

InputPivot[i]＝i*OrgCW (7-74)

变量LmcsPivot[i](i＝0..16)、变量ScaleCoeff[i]和InvScaleCoeff[i](i＝0..15)导出如下：

变量ChromaScaleCoeff[i](i＝0…15)导出如下：

变量ClipRange、LmcsMinVal、和LmcsMaxVal导出如下：

ClipRange＝((lmcs_min_bin_idx>0)&&(LmcsMaxBinIdx<15) (7-77)

LmcsMinVal＝16<<(BitDepth_Y-8) (7-78)

LmcsMaxVal＝235<<(BitDepth_Y-8) (7-79)

注意–仅当tile_group_lmcs_model_present_flag等于1时，才更新数组InputPivot[i]和LmcsPivot[i]、ScaleCoeff[i]、以及InvScaleCoeff[i]、ChromaScaleCoeff[i]、ClipRange、LmcsMinVal和LmcsMaxVal。因此，例如，可以将lmcs模式与IRAP图片一起发送，但是为该IRAP图片禁用lmcs模式。

3.现有实现的缺陷

LMCS/CCLM的当前设计可能存在以下问题：

1.在LMCS编解码工具中，色度残差缩放因子由并置亮度预测块的平均值导出，这导致在LMCS色度残差缩放中处理色度样点的延迟。

a)在单/共享树的情况下，延迟是由(a)等待整个亮度块的所有预测样点可用、和(b)平均(a)获得的所有亮度预测样点引起的。

b)在双/单独树的情况下，延迟甚至更糟，因为在I条带中为亮度和色度分量启用了单独的块分割结构。因此，一个色度块可以对应于多个亮度块，并且一个4x4色度块可以对应于64x64亮度块。因此，最坏的情况是，当前4x4色度块的色度残差缩放因子可能需要等待，直到整个64x64亮度块中的所有预测样点可用为止。总之，双/独立树中的延迟问题会更加严重。

2.在CCLM编解码工具中，用于帧内色度预测的CCLM模型计算取决于亮度块和色度块二者的左侧和上方参考样点。并且色度块的CCLM预测取决于同一CU的并置亮度重构样点。这将导致双/独立树中的高延迟。

·在双/单独树的情况下，一个4x4色度块可对应于64x64亮度块。因此，最坏的情况是，当前色度块的CCLM处理可能需要等待，直到对应的整个64x64亮度块被重构。这个延迟问题类似于双/独立树中的LMCS色度缩放。

4.示例技术和实施例

为了解决这些问题，我们提出了几种方法来消除/减少/限制亮度相关的色度残差缩放、CCLM和其它依赖于来自不同颜色分量的信息的编解码工具中的跨分量依赖性。

下面描述的详细实施例应被视为解释一般概念的示例。不应狭义地解释这些实施例。此外，这些实施例可以以任何方式组合。

应当注意的是，尽管下面描述的项目符号明确提到LMCS/CCLM，但是这些方法也可以适用于依赖于来自不同颜色分量的信息的其它编解码工具。此外，可将下面提到的术语“亮度”和“色度”分别替换为“第一颜色分量”和“第二颜色分量”，诸如RGB颜色格式中的“G分量”和“B/R分量”。

在下面的讨论中，“并置样点/块”的定义与VVC工作草案JVET-M1001中并置样点/块的定义一致。更具体地，在4:2:0颜色格式中，假设色度块的左上样点位于位置(xTbC，yTbC)，则并置亮度块的左上样点位置(xTbY，yTbY)导出如下：(xTbY，yTbY)＝(xTbC<<1，yTbC<<1)。如图5所示，当前色度块的左上样点位于色度图片的(x＝16，y＝16)处，则其并置亮度块的左上样点位于亮度图片中的(x＝32，y＝32)处，而不考虑亮度图片中并置亮度块的块分割。对于另一示例，在相同颜色分量中，参考帧中并置块的左上样点的位置应与当前帧中当前块的左上样点的位置相同，如图6所示，假设当前帧中当前块的左上样点为(x，y)，则当前块的并置块的左上样点在参考帧中具有相同的位置(x，y)。

在下面的讨论中，“对应块”可能与当前块具有不同的位置。例如，当前块与其在参考帧中的对应块之间可能存在运动偏移。如图6所示，假设当前块位于当前帧中的(x，y)处，并且其具有运动矢量(mv_x,mv_y)，则当前块的对应块可以位于参考帧中的(x+mv_x,y+mv_y)处。并且对于IBC编解码块，并置亮度块(由零矢量指向的)和对应的亮度块(由非零BV指向的)可以位于当前帧的不同位置处。对于另一示例，当亮度块的分割与色度块的分割不一致时(在I条带的双树分割中)，当前色度块的并置亮度块可以属于更大的亮度块，这取决于覆盖并置亮度块的左上样点的重叠亮度编解码块的分割尺寸。如图5所示，假设粗体矩形表示块的分割，则64x64亮度块首先被BT划分，然后64x64亮度块的右侧部分被TT进一步划分，这导致三个尺寸分别等于32x16、32x32、32x16的亮度块。因此，来看当前色度块的并置亮度块的左上样点(x＝32，y＝32)，它属于TT分割的中心32x32亮度块。在这种情况下，我们将覆盖并置亮度块左上样点的对应亮度块称为“对应亮度块”。因此，在本示例中，对应亮度块的左上样点位于(x＝32，y＝16)。

在下文中，DMVD(解码器侧运动矢量推导)用于表示BDOF(又称为BIO)或/和DMVR(解码器侧运动矢量细化)或/和FRUC(帧速率上转换)或/和其它在解码器处细化运动矢量或/和预测样点值的方法。

LMCS的色度缩放延迟的消除以及CCLM的模型计算

1.提出对于帧间编解码块，可以使用参考帧中当前块的一个或多个参考样点来导出LMCS模式中的色度残差缩放因子。

a)在一个示例中，参考亮度样点可直接用于导出色度残差缩放因子。

i.可选地，可以首先将插值应用于参考样点，并且可以使用插值样点来导出色度残差缩放因子。

ii.可选地，可以使用不同参考帧中的参考样点来导出用于色度残差缩放因子推导的最终参考样点。

1)在一个示例中，对于双向预测编解码块，可以应用上述方法。

iii.在一个示例中，在用于导出色度残差缩放因子之前，可以将参考样点的强度转换到整形域。

iv.在一个示例中，可使用参考样点的线性组合来导出色度残差缩放因子。

1)例如，可使用a×S+b来导出色度残差缩放因子，其中S是参考样点，a和b是参数。在一个示例中，可以通过局部照明补偿(LIC)导出a和b。

b)在一个示例中，参考亮度样点在参考帧中的位置可取决于当前块的运动矢量。

i.在一个示例中，参考样点属于参考图片中的参考亮度块，并且其宽度和高度与当前亮度块相同。可通过添加运动矢量，将参考图片中的参考亮度样点的位置计算为其对应亮度样点在当前图片中的位置。

ii.在一个示例中，参考亮度样点(称为参考帧中的对应亮度样点)的位置可以由当前亮度块的左上(或中心，或右下)样点的位置和当前块的运动矢量导出。

1)在一个示例中，整数运动矢量可用于导出参考帧中的对应亮度样点。在一个示例中，与一个块相关联的运动矢量可以向零取整，或者远离零取整以导出整数运动矢量。

2)可选地，分数运动矢量可用于导出参考帧中的对应亮度样点，因此可能需要插值处理来导出分数参考样点。

iii.可选地，参考亮度样点的位置可以由当前亮度块的左上(或中心，或右下)样点的位置导出。

iv.可选地，可以选择参考帧中一些预定义位置处的多个对应亮度样点来计算色度残差缩放因子。

c)在一个示例中，可以使用多个参考亮度样点的中值或平均值来导出色度残差缩放因子。

d)在一个示例中，可以使用预定义的参考帧中的参考亮度样点来导出色度残差缩放因子。

i.在一个示例中，预定义的参考帧可以是参考图片列表0中参考索引等于0的参考帧。

ii.可选地，可以在序列/图片/片组/条带/片/CTU行/视频单元级中信令通知预定义参考帧的参考索引和/或参考图片列表。

iii.可选地，可以导出多个参考帧中的参考亮度样点，并且可以利用平均值或加权平均值来获得色度残差缩放因子。

2.提出在LMCS模式下，是否以及如何从亮度样点中导出色度残差缩放因子可取决于当前块是否应用双向预测。

a)在一个示例中，分别为每个预测方向导出色度残差缩放因子。

3.提出在LMCS模式下，是否以及如何从亮度样点中导出色度残差缩放因子可取决于当前块是否应用基于子块的预测。

a)在一个示例中，基于子块的预测是仿射预测；

b)在一个示例中，基于子块的预测是可选时域运动矢量预测(ATMVP)。

c)在一个示例中，分别为每个子块导出色度残差缩放因子。

d)在一个示例中，即使由子块预测，也为整个块导出色度残差缩放因子。

i.在一个示例中，一个选定子块(例如，左上子块)的运动矢量可用于识别如项目1所述的当前块的参考样点。

4.提出用于导出色度残差缩放因子的亮度预测值可以中间值，而不是亮度最终预测值。

a)在一个示例中，可以使用双向光流处理(BDOF，又称为BIO)之前的亮度预测值来导出色度残差缩放因子。

b)在一个示例中，可以使用解码器侧运动矢量细化(DMVR)处理之前的亮度预测值来导出色度残差缩放因子。

c)在一个示例中，可以使用LIC处理之前的亮度预测值来导出色度残差缩放因子。

d)在一个示例中，可以使用如JVET-N0236中提出的预测细化光流(PROF)处理之前的亮度预测值来导出色度残差缩放因子。

5.中间运动矢量可用于识别参考样点。

a)在一个示例中，可以使用BDOF或/和DMVR或/和其它DMVD方法的处理之前的运动矢量来识别参考样点。

b)在一个示例中，可以使用如JVET-N0236中提出的预测细化光流(PROF)处理之前的运动矢量来识别参考样点。

6.当当前块用帧间模式编解码时，上述方法可以适用。

7.提出对于IBC编解码块，可以使用当前帧的参考块中的一个或多个参考样点来导出LMCS模式中的色度残差缩放因子。当块以IBC编解码时，术语“运动矢量”也可以被称为“块矢量”，其中将参考图片设置为当前图片。

a)在一个示例中，参考样点属于当前图片中与当前块具有相同宽度和高度的参考块。参考样点的位置可计算为其对应样点的位置加上运动矢量。

b)在一个示例中，可以通过向当前亮度块的左上(或中心，或右下)样点的位置加上运动矢量来导出参考亮度样点的位置。

c)可选地，可以通过向当前亮度块的左上(或中心，或右下)样点的位置加上当前块的块矢量来导出参考亮度样点的位置。

d)可选地，可以选择当前亮度块的参考区域中的一些预定义位置处的多个对应亮度样点来计算色度残差缩放因子。

e)在一个示例中，可以使用函数来计算多个对应亮度样点，以导出色度残差缩放因子。

i.例如，可计算多个对应亮度样点的中值或平均值，以导出色度残差缩放因子。

f)在一个示例中，在用于导出色度残差缩放因子之前，可将参考样点的强度转换到整形域。

i.可选地，在用于导出色度残差缩放因子之前，可将参考样点的强度转换到原始域。

8.提出可以使用位于当前帧中当前亮度块的识别位置处的一个或多个预测/重构样点来导出LMCS模式下当前色度块的色度残差缩放因子。

a)在一个示例中，如果当前块是帧间编解码的，则可以选择位于当前亮度块的中心的亮度预测(或重构)样点来导出色度残差缩放因子。

b)在一个示例中，可以选择第一MxN亮度预测(或重构)样点的平均值以导出色度残差缩放因子，其中MxN可以小于并置亮度块尺寸宽度x高度。

9.提出可将用于计算CCLM模型的全部或部分过程用于LMCS模式下当前色块的色度残差缩放因子推导。

a)在一个示例中，可以利用位于CCLM模型参数推导处理中并置亮度块的邻近亮度样点的识别位置处的参考样点来导出色度残差缩放因子。

i.在一个示例中，可以直接使用这些参考样点。

ii.可选地，可以将下采样应用于这些参考样点，并且可以应用下采样的参考样点。

b)在一个示例中，可将为CCLM模型计算选择的S个参考样点中的K个用于LMCS模式下的色度残差缩放因子推导。例如，K等于1，并且S等于4。

c)在一个示例中，可将CCLM模式下的并置亮度块的参考样点的平均/最小/最大值用于LMCS模式下的色度残差缩放因子推导。

10.如何选择样点来推导色度残差缩放因子可取决于当前块的编解码信息。

a)编解码信息可以包括QP、编解码模式、POC、帧内预测模式、运动信息等。

b)在一个示例中，对于IBC编解码块或非IBC编解码块，选择样点的方式可不同。

c)在一个示例中，基于参考图片信息(诸如参考图片与当前图片之间的POC距离)，选择样点的方式可以不同。

11.提出CCLM的色度残差缩放因子和/或模型计算可取决于覆盖并置亮度块的左上样点的对应亮度块的邻近样点。在本发明中，“编解码块”可指HEVC规范或VVC工作草案中规定的诸如CU/TU/PU的视频编解码区域。

a)可将“对应亮度编解码块”定义为覆盖并置亮度编解码块的左上位置的编解码块。

i.图5示出了一个示例，其中对于双树情况下的帧内编解码的色度块，色度分量的CTU分割可以不同于亮度分量的CTU分割。首先，检索覆盖当前色度块的并置亮度块的左上样点的“对应亮度编解码块”。然后利用“对应亮度编解码块”的块尺寸信息，可以导出“对应亮度编解码块”的左上样点，覆盖并置亮度块的左上样点的“对应亮度编解码块”的左上样点位于(x＝32，y＝16)处。

b)在一个示例中，可能需要块尺寸/分割/位置/坐标来导出覆盖并置亮度编解码块的左上样点的“对应亮度编解码块”的位置。

i.在一个示例中，可以为特定颜色分量(诸如亮度分量)的每个块存储块尺寸、和/或块分割和/或块坐标。

ii.在一个示例中，“对应亮度编解码块”和当前块可以始终位于同一CTU或CTU行内，因此在行缓冲器中可能没有块尺寸/分割/位置/坐标的存储。

c)在一个示例中，可使用不在“对应亮度编解码块”中的重构样点来导出色度残差缩放因子和/或CCLM的模型计算。

i.在一个示例中，可使用与“对应亮度编解码块”相邻的重构样点来导出色度残差缩放因子和/或CCLM的模型计算。

1)在一个示例中，可使用位于“对应亮度编解码块”的左侧邻近列和/或上方邻近行的N个样点来导出色度残差缩放因子和/或CCLM的模型计算，其中N＝1…2W+2H，W和H是“对应亮度编解码块”的宽度和高度。

a)假设“对应亮度编解码块”的左上样点是(xCb，yCb)，那么在一个示例中，上方邻近亮度样点可以位于(xCb+W/2，yCb-1)或(xCb-1，yCb-1)处。在可选示例中，左侧邻近亮度样点可位于(xCb+W-1，yCb-1)处。

b)在一个示例中，邻近样点的位置可以是固定的、和/或以预定义的检查顺序。

2)在一个示例中，可以选择N个邻近样点中的1个来导出色度残差缩放因子和/或CCLM的模型计算。假设N＝3，并且三个邻近样点的检查顺序为(xCb-1，yCb-H-1)，(xCb+W/2，yCb-1)，(xCb-1，yCb-1)，则可以选择检查列表中第一个可用的邻近样点来导出色度残差缩放因子。

3)在一个示例中，位于“对应亮度编解码块”的左侧邻近列和/或上方邻近行的N个样点的中值或平均值可用于导出色度残差缩放因子和/或CCLM的模型计算，其中N＝1…2W+2H，W和H是“对应亮度编解码块”的宽度和高度。

d)在一个示例中，是否执行色度残差缩放可取决于对应亮度块的“可用”邻近样点。

i.在一个示例中，邻近样点的“可用性”可取决于当前块/子块的编解码模式或/和邻近样点的编解码模式。

1)在一个示例中，对于帧间模式编解码的块，以帧内模式或/和IBC模式或/和CIIP模式或/和LIC模式编解码的邻近样点可被视为“不可用”。

2)在一个示例中，对于帧间模式编解码的块，使用扩散滤波器或/和双边滤波器或/和Hadamard变换滤波器的邻近样点可被视为“不可用”。

ii.在一个示例中，邻近样点的“可用性”可取决于当前图片/片/片组/VPDU/条带的宽度和/或高度。

1)在一个示例中，如果邻近块位于当前图片之外，则将其视为“不可用”。

iii.在一个示例中，当没有“可用”的邻近样点时，可不允许色度残差缩放。

iv.在一个示例中，当“可用”邻近样点的数目小于K(K>＝1)时，可不允许色度残差缩放。

v.可选地，可以用默认的固定值来填充不可用的邻近样点，或者通过填补或者替换来将其填充，以便可以始终应用色度残差缩放。

1)在一个示例中，如果邻近样点不可用，则可以用1<<(bitDepth-1)来将其填充，其中bitDepth指定亮度/色度分量的样点的比特深度。

2)可选地，如果邻近样点不可用，则可以通过从位于左/右/上/下邻居的周围样点中填补来将其填充。

3)可选地，如果邻近样点不可用，则可以以预定义的检查顺序用第一个可用的相邻样点来将其替换。

4)可选地，如果邻近样点不可用，则可以用预定义的滤波映射值(例如，1<<(bitDepth–1)的滤波映射值)来将其填充，其中bitDepth指定亮度/色度分量的样点的比特深度。

a)在一个示例中，滤波映射处理可以是LMCS的正向映射的LUT索引。

e)在一个示例中，是否以及如何执行色度残差缩放可取决于当前块的编解码模式和/或邻近块的编解码模式。

i.“当前块”可以指当前色度块，也可以指并置亮度块，或者覆盖并置色度块的至少一个样点的对应亮度块。“邻近块”(相邻的或非相邻的)可指与当前色度块邻近的色度块，或可指与当前亮度块邻近的亮度块。

ii.在一个示例中，可以使用覆盖给定位置的一个亮度邻近块的编解码模式，给定位置诸如相对于当前块的左上坐标的(-1，-1)。

iii.在一个示例中，可以使用覆盖多个位置的多个邻近块的编解码模式，多个位置诸如相对于当前块的左上坐标的(x，-1)(例如，x为0…块的宽度减1)，和/或相对于当前块的左上角坐标的(-1，y)(例如，y是-1…块的高度减1)。

iv.在一个示例中，如果一个邻近块的重构需要访问当前条带/片组中的样点(诸如它是X编解码的)，则禁用色度残差缩放。

1)例如，模式X可以是帧内模式；

2)例如，模式X可以是CIIP模式；

3)例如，模式X可以是IBC模式；

4)在一个示例中，如果当前块是帧间编解码并且不是CIIP编解码的，并且与对应亮度块邻近的邻近块是用模式X编解码的，则禁用色度残差缩放。

v.在一个示例中，如果一个邻近块的重构需要访问当前条带/片组中的样点(诸如它是X编解码的)，则可以使用默认值来导出色度残差缩放因子。

1)例如，模式X可以是帧内模式；

2)例如，模式X可以是CIIP模式；

3)例如，模式X可以是IBC模式；

4)在一个示例中，如果当前块是帧间编解码的并且不是CIIP编解码的，并且对应亮度块的邻近块是用模式X编解码的，则可以使用默认值来导出色度残差缩放因子。

5)在一个示例中，默认值可取决于亮度/色度样点的比特深度。

6)在一个示例中，可将默认值设置为1<<(bitDepth-1)的滤波映射值，其中bitDepth指定亮度/色度分量的样点的比特深度。在一个示例中，滤波映射处理可以是LMCS的正向映射的LUT索引。

f)在一个示例中，可使用与“对应亮度编解码块”邻近的滤波映射的重构样点来导出色度残差缩放因子和/或CCLM的模型计算。

i.在一个示例中，滤波映射处理可包括用于帧内块的参考平滑滤波、后滤波(诸如双边滤波)、基于Hadamard变换的滤波、整形域的正向映射等。

12.提出可以使用固定值来导出当前条带/片组中的若干色度块(诸如CU或TU)的色度残差缩放因子。

a)在一个示例中，可使用固定值导出N个色度块的色度残差缩放因子，其中N为1…当前片/片组中的色度块总数。

b)在一个示例中，可以使用固定值来查找该值所属的分段线性模型的索引，然后可以从导出的分段索引计算色度残差缩放因子。在一个示例中，固定值可取决于亮度样点的内部比特深度。

c)在一个示例中，可直接使用固定值来表示色度残差缩放因子。

是否应用色度残差缩放和/或CCLM的限制

13.提出是否应用色度残差缩放或CCLM可取决于对应和/或并置亮度块的分割。

a)在一个示例中，是启用或禁用具有跨分量信息的工具可取决于并置亮度(例如Y或G分量)块中的CU/PU/TU的数量。

i.在一个示例中，如果并置亮度(例如，Y或G分量)块内的CU/PU/TU的数量超过阈值数，则可以禁用此类工具。

ii.可选地，是启用或禁用具有跨分量信息的工具可取决于分割树深度。

1)在一个示例中，如果并置亮度块内的CU的最大(或最小、平均或其它变型)四叉树深度超过阈值，则可以禁用此类工具。

2)在一个示例中，如果并置亮度块内的CU的最大(或最小、平均或其它变型)BT和/或TT深度超过阈值，则可以禁用此类工具。

iii.可选地，是启用或禁用具有跨分量信息的工具可取决于色度块的块维度。

iv.可选地，是启用或禁用具有跨分量信息的工具可取决于并置亮度块是否跨过多个VPDU/预定义的区域尺寸。

v.上述讨论中的阈值可以是固定数字，也可以是信令通知的，或者可以取决于标准配置/级/层。

b)在一个示例中，如果当前色度块的并置亮度块被多个分割划分(例如，在图7中)，则可以禁用色度残差缩放和/或CCLM。

i.可选地，如果当前色度块的并置亮度块未被划分(例如，在一个CU/TU/PU内)，则可以应用色度残差缩放和/或CCLM。

c)在一个示例中，如果当前色度块的并置亮度块包含超过M个CU/PU/TU，则可以禁用色度残差缩放和/或CCLM。

i.在一个示例中，M可以是大于1的整数。

ii.在一个示例中，M可以取决于它是CCLM还是色度残差缩放处理。

iii.M可以是固定数字，也可以是信令通知的，或者取决于标准配置/级/层。

d)上述并置亮度块内的CU可以被解释为在并置亮度块内的全部CU。可选地，并置亮度块内的CU可以被解释为并置亮度块内的部分CU，诸如沿着并置亮度块的边界的CU。

e)上述并置亮度块内的CU可以被解释为子CU或子块。

i.例如，在ATMVP中可以使用子CU或子块。

ii.例如，在仿射预测中可以使用子CU或子块；

iii.例如，在帧内子分割(ISP)模式中可以使用子CU或子块。

f)在一个示例中，如果覆盖并置亮度块的左上亮度样点的CU/PU/TU大于预定义亮度块尺寸，则可以禁用色度残差缩放和/或CCLM。

i.图8中描绘了一个示例，其中并置亮度块是32x32，但它位于尺寸等于64x64的对应亮度块内，那么如果预定义亮度块尺寸是32x64，则在这种情况下禁用色度残差缩放和/或CCLM。

ii.可选地，如果当前色度块的并置没有被划分，并且覆盖并置亮度块的左上亮度样点的对应亮度块被完全包括在预定义的边界框内，则可以应用当前色度块的色度残差缩放和/或CCLM。边界框可以定义为宽度为W、高度为H的矩形，用WxH表示，如图9所示，其中对应亮度块的宽度为32、并且高度为64，边界框的宽度为40、并且高度为70。

1)在一个示例中，可以根据CTU的宽度和/或高度、或者根据CU的宽度和/或高度、或者根据任意值来定义边界框的尺寸WxH。

g)在一个示例中，如果当前色度块的并置亮度块被多个分割划分，则仅使用并置亮度块的预定义分割内的预测样点(或重构样点)来导出LMCS模式中的色度残差缩放因子。

i.在一个示例中，使用并置亮度块的第一分割中的所有预测样点(或重构样点)的平均值来导出LMCS模式中的色度残差缩放因子。

ii.可选地，使用并置亮度块的第一分割中的左上预测样点(或重构样点)来导出LMCS模式中的色度残差缩放因子。

iii.可选地，使用并置亮度块的第一分割中的中心预测样点(或重构样点)来导出LMCS模式。

h)提出是否以及如何应用诸如CCLM和LMCS的跨分量工具可取决于覆盖并置亮度块的至少一个样点的一个或多个亮度CU的编解码模式。

i.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU使用仿射模式编解码，则禁用跨分量工具；

ii.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU使用双向预测编解码，则禁用跨分量工具；

iii.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU使用BDOF编解码，则禁用跨分量工具；

iv.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU使用DMVR编解码，则禁用跨分量工具被禁用；

v.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU使用JVET-N0217中提出的矩阵仿射预测模式编解码，则禁用跨分量工具；

vi.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU使用帧间模式编解码，则禁用跨分量工具；

vii.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU使用ISP模式编解码，则禁用跨分量工具；

viii.在一个示例中，“覆盖并置亮度块的至少一个样点的一个或多个亮度CU”可以指对应亮度块。

i)当禁用CCLM/LMCS时，可以跳过CCLM/LMCS使用指示的信令。

j)在本公开中，CCLM可指CCLM的任何变体模式，包括LM模式、LM_T模式和LM-L模式。

14.提出诸如CCLM和LMCS的跨分量工具可以在色度块的一部分上执行。

a)在一个示例中，在色度子块级应用诸如CCLM和LMCS的跨分量工具。

i.在一个示例中，色度子块被定义为色度CU中的2x2或4x4块。

ii.在一个示例中，对于色度子块，当当前色度CU的对应亮度编解码块覆盖子块的对应块的所有样点时，可以应用CCLM。

iii.在一个示例中，对于色度子块，当当前色度CU的对应亮度编解码块不是覆盖子块的对应块的所有样点时，不应用CCLM。

iv.在一个示例中，将子块视为色度CU，为每个色度子块导出CCLM或LMCS的参数。

v.在一个示例中，当将CCLM或LMCS应用于色度子块时，可以使用并置块的样点。

LMCS模式中色度残差缩放的适用性

15.提出除了在JVET-M1001中指定的片组标头信令通知之外，还可以在其它语法级信令通知是否可以应用亮度相关的色度残差缩放。

a)例如，可以在序列级(例如，在SPS中)、在图片级(例如，在PPS或图片标头中)、在条带级(例如，在条带标头中)、在片级、在CTU行级、在CTU级、在CU级信令通知chroma_residual_scale_flag。chroma_residual_scale_flag等于1指定对信令通知的语法级下的CU启用色度残差缩放。chroma_residual_scale_flag等于0指定不对信令通知的语法级下的CU启用色度残差缩放。当chroma_residual_scale_flag不存在时，将其推断为等于0。

b)在一个示例中，如果将色度残差缩放限制在分割节点级，则对于被分割节点覆盖的CU，可不信令通知chroma_residual_scale_flag，并将其推断为0。在一个示例中，分割节点可以是CTU(CTU被视为四叉树分割的根节点)。

c)在一个示例中，如果将色度残差缩放限制在等于或小于32x32的色度块尺寸，则对于等于或小于32x32的色度块尺寸，可以不信令通知色度残差缩放标志，并将其推断为0。

CCLM模式的适用性

16.提出除了在JVET-M1001中规定的SPS级信令通知之外，还可以在其它语法级上信令通知是否可以应用CCLM模式。

a)例如，可以在图片级(例如，在PPS或图片标头中)、在条带级(例如，在条带标头中)、在片组级(例如，在片组头中)、在片级、在CTU行级、在CTU级、在CU级中将其信令通知。

b)在一个示例中，如果不能应用CCLM，则可能不会信令通知cclm_flag，并且将其推断为0。

i.在一个示例中，如果将色度残差缩放限制在等于或小于8x8的色度块尺寸，则对于等于或小于8x8的色度块尺寸，可能不会信令通知cclm_flag，并且将其推断为0。

帧内模式和帧间模式的色度残差缩放因子推导的统一

17.在对亮度块进行编码/解码之后，可以导出色度残差缩放因子，并且可以将其存储并用于后续编解码块。

a)在一个示例中，亮度块中的一些预测样点或/和中间预测样点或/和重构样点或/和环路滤波之前的重构样点(例如，在通过去方块滤波器或/和SAO滤波器或/和双边滤波器或/和Hadamard变换滤波器或/和ALF滤波器处理之前)可用于推导色度残差缩放因子。

i.例如，亮度块的底部行或/和右侧列中的部分样点可用于推导色度残差缩放因子。

b)在单树情况下，当对以帧内模式或/和IBC模式或/和帧间模式编解码的块进行编解码时，可以使用邻近块的导出的色度残差缩放因子来导出当前块的缩放因子。

i.在一个示例中，可以按顺序检查某些邻近块，并且可以对当前块使用第一可用色度残差缩放因子。

ii.在一个示例中，可以按顺序检查某些邻近块，并且可以基于前K个可用邻近色度残差缩放导出缩放因子。

iii.在一个示例中，对于以帧间模式或/和CIIP模式编解码的块，如果邻近块以帧内模式或/和IBC模式或/和CIIP模式编解码，则邻近块的色度残差缩放因子可被视为“不可用”。

iv.在一个示例中，可以按照左(或左上)—>上(或右上)的顺序检查邻近块。

1)可选地，可以按照上(或右上)->左(或左上)的顺序检查邻近块。

c)在单独树的情况下，当编解码色度块时，可以首先识别对应亮度块。然后，可以使用它的(例如，对应亮度块)邻近块的导出的色度残差缩放因子来导出当前块的缩放因子。

ii.在一个示例中，可以按顺序检查某些邻近块，并且可以基于前K个可用的邻近色度残差缩放导出缩放因子。

d)可以按预定义的顺序检查邻近块。

i.在一个示例中，可以按照左(或左上)—>右(或右上)的顺序检查邻近块。

i.在一个示例中，可以按照上(或右上)—>左(或左上)的顺序进行检查邻近块。

iii.在一个示例中，可以按左下->左->右上->上->左上的顺序检查邻近的块。

iv.在一个示例中，可以按照左->上->右上->左下->左上的顺序检查邻近块。

e)在一个示例中，是否应用色度残差缩放可取决于邻近块的“可用性”。

i.在一个示例中，当没有“可用的”邻近块时，可以不允许色度残差缩放。

ii.在一个示例中，当“可用”邻近块的数目小于K(K>＝1)时，可以不允许色度残差缩放。

iii.可选地，当没有“可用的”邻近块时，可以使用默认值导出色度残差缩放因子。

1)在一个示例中，可以使用默认值1<<(BitDepth-1)来导出色度残差缩放因子。

f)在一个示例中，可以存储当前色度块的色度残差缩放因子，并用于后续编解码块。

g)在一个示例中，可以从行缓冲器中移除色度残差缩放因子的存储。

i.在一个示例中，当当前块和要访问的邻近(相邻或非相邻)块位于不同区域时，其色度残差缩放因子可被视为“不可用”，并且可不用于推导当前块的色度残差缩放因子。

1)区域可以是条带、片、片组、CTU行或CTU。

2)可选地，在这种情况下，其色度残差缩放因子可被视为默认值。

3)可选地，在这种情况下，不应用色度残差缩放。

h)在一个示例中，可以动态地更新当前色度块的色度残差缩放因子，并且可以将其保存在历史表中以用于后续块的缩放因子推导。

i.可以按FIFO(先进先出)的方式更新历史表。

ii.在解码/编码色度块之后，可以导出色度残差缩放因子(例如，根据亮度值)，并且可以存储在FIFO历史表中。

iii.在一个示例中，FIFO历史表最多可包含一个条目。在这种情况下，将最新解码块的导出色度残差缩放因子用于当前块。

iv.在一个示例中，在编码/解码图片、和/或条带、和/或片组、和/或片、和/或CTU行、和/或CTU之前刷新历史表。

1)在一个示例中，当历史表被刷新时，可以将默认的色度残差缩放因子放入历史表中。

2)在一个示例中，当刷新FIFO历史表时，历史表被设置为空。

5.实施例

5.1实施例1

下面的实施例针对本文第4节中的示例实施例的第11项中的方法。

新增部分以粗体、下划线、斜体突出显示，并且从VVC工作草案中的删除部分以大写突出显示。这些修改是基于最新的VVC工作草案(JVET-M1007-v7)和JVET-N220-v3中的新采用。

8.7.5.4色度样点的使用亮度相关色度残差缩放的图片重构

该处理的输入是：

–当前变换块左上样点相对于当前图片左上样点的位置(xCurr，yCurr)，

–变量nCurrSw，其指定变换块宽度，

–变量nCurrSh，其指定变换块高度，

–(nCurrSw)x(nCurrSh)的阵列predSamples，其指定当前块的色度预测样点，

–(nCurrSw)x(nCurrSh)的阵列resSamples，其指定当前块的色度残差样点。

该处理的输出是重构的色度图片样点阵列recSamples。

将当前亮度位置(xTbY，yTbY)设置为(xCurr<<1，yCurr<<1)，

对应的亮度位置(xTbCorrY，yTbCorrY)导出如下：

–如果tile_group_type等于2(I片组)且qtbtt_dual_tree_intra_flag等于1，则将对应的亮度位置(xTbCorrY，yTbCorrY)设置为覆盖当前亮度位置(xTbY，yTbY)的左上样点的对应CU的左上样点位置。

–否则，将对应的亮度位置(xTbCorrY，yTbCorrY)设置为当前亮度位置(xTbY， yTbY)。

变量availL导出如下：

–以对应的亮度位置(xTbCorrY，yTbCorrY)和邻近亮度位置(xTbCorrY-1， yTbCorrY)作为输入，调用第6.4.X条[Ed.(BB)：邻近块可用性检查处理待定]中规定的块的左侧邻近样点可用性推导处理，并将输出分配给availL。

当availL等于TRUE时，将邻近左上亮度样点pY[x][y](x＝-1，y＝0)设置为等于位置(xTbCorrY+x，yTbCorrY+y)处的去方块滤波处理之前的重构亮度样点。邻近左上亮度样点的映射值pYMap[x][y](x＝-1，y＝-1)导出如下：

idxY＝pY[x][y]>>Log2(OrgCW)

pYMap[x][y]＝Clip1_Y(LmcsPivot[idxY]+(ScaleCoeff[idxY]*(pY[x][y]- InputPivot[idxY])+(1<<10))>>11)

对于i＝0..nCurrSw-1，j＝0..nCurrSh-1，重构的色度图片样点recSamples导出如下：

–如果以下条件之一为真，则将recSamples[xCurr+i][yCurr+j]设置为等于 Clip1_C(predSamples[i][j]+resSamples[i][j])。

–tile_group_chroma_residual_scale_flag等于0

–nCurrSw*nCurrSh小于或等于4

–availL等于false

–CuPredMode[xCurr][yCurr]等于MODE_INTER并且ciip_flag[xCurr][yCurr]等于0,并且CuPredMode[xTbCorrY-1][yTbCorrY]等于MODE_INTRA

–CuPredMode[xCurr][yCurr]等于MODE_INTER并且ciip_flag[xCurr][yCurr]等于0,并且CuPredMode[xTbCorrY-1][yTbCorrY]等于MODE_IBC

–CuPredMode[xCurr][yCurr]等于MODE_INTER并且ciip_flag[xCurr][yCurr]等于0,并且CuPredMode[xTbCorrY-1][yTbCorrY]等于MODE_INTER并且ciip_flag[xCurr] [yCurr]等于1

–否则(tile_group_chroma_remainment_scale_flag等于1且nCurrSw*nCurrSh大于4)，以下适用：

–对于变量varScale的推导，以下顺序步骤适用：

1.变量invAvgLuma导出如下:

invAvgLuma＝Clip1Y(pYMap[-1][0])

以invAvgLuma作为输入调用第8.7.5.3.2条中规定的分段函数索引的识别来导出变量idxYInv，并将idxYInv作为输出。

2.变量varScale导出如下:

varScale＝ChromaScaleCoeff[idxYInv] (8-1065)

–recSamples导出如下:

–如果tu_cbf_cIdx[xCurr][yCurr]等于1，则以下适用:

resSamples[i][j]＝Clip3(-(1<<BitDepth_C),1<<BitDepth_C-1,resSamples[i][j])

–否则(tu_cbf_cIdx[xCurr][yCurr]equal to 0)，以下适用

recSamples[xCurr+i][yCurr+j]＝ClipCidx1(predSamples[i][j]) (8-1067)

5.2实施例2

实施例2与实施例1的区别如下列出：

–检查多个邻近亮度样点以导出色度残差缩放因子。

–当邻近亮度样点不可用时，或者当邻近亮度样点以帧内/CIIP/IBC模式编解码而当前以帧间模式编解码时，实施例2将默认值用于色度残差缩放因子推导。

8.7.5.4色度样点的使用亮度相关色度残差缩放的图片重构

该处理的输入是：

–变量nCurrSw，其指定变换块宽度，

–变量nCurrSh，其指定变换块高度，

该处理的输出是重构的色度图片样点阵列recSamples。

将当前亮度位置(xTbY，yTbY)设置为(xCurr<<1，yCurr<<1)，

对应的亮度位置(xTbCorrY，yTbCorrY)导出如下：

变量availTL导出如下：

–以对应的亮度位置(xTbCorrY，yTbCorrY)和邻近亮度位置(xTbCorrY-1， yTbCorrY-1)作为输入，调用第6.4.X条[Ed.(BB)：邻近块可用性检查处理待定]中规定的块的左上邻近样点可用性推导处理，并将输出分配给availTL。

变量availT导出如下：

–以对应的亮度位置(xTbCorrY，yTbCorrY)和邻近亮度位置(xTbCorrY，yTbCorrY- 1)作为输入，调用第6.4.X条[Ed.(BB)：邻近块可用性检查处理待定]中规定的块的上方邻近样点可用性推导处理，并将输出分配给availT。

将numAvailNeigh设置为等于availTL+availT。

如果numAvailNeigh大于或等于1,则将邻近亮度样点pY[x][y](x＝-1,0,y＝-1) 设置为等于位置(xTbCorrY+x,yTbCorrY+y)处的去方块滤波处理之前的重构亮度样点的平均值。邻近亮度样点的平均值pY_Avg导出如下：

pY_Avg＝((availTL？pY[-1][-1]:0)+(availT？pY[0][-1]:0))>>(numAvailNeigh> 1？1:0)

否则，如果以下条件之一为真，则将pY_Avg设置为等于(1<<(BitDepth_Y-1))。

–availTL等于false

–CuPredMode[xCurr][yCurr]等于MODE_INTER并且ciip_flag[xCurr][yCurr]等于0,并且CuPredMode[xTbCorrY-1][yTbCorrY–1]等于MODE_INTRA

–CuPredMode[xCurr][yCurr]等于MODE_INTER并且ciip_flag[xCurr][yCurr]等于0,并且CuPredMode[xTbCorrY-1][yTbCorrY–1]等于MODE_IBC

–CuPredMode[xCurr][yCurr]等于MODE_INTER并且ciip_flag[xCurr][yCurr]等于0,并且CuPredMode[xTbCorrY-1][yTbCorrY–1]等于MODE_INTER并且ciip_flag[xCurr] [yCurr]等于1

邻近左上亮度样点的映射值pYMap_Avg,导出如下：

idxY＝pY_Avg>>Log2(OrgCW)

pYMap_Avg＝Clip1_Y(LmcsPivot[idxY]+(ScaleCoeff[idxY]*(pY_Avg-InputPivot [idxY])+(1<<10))>>11)对于i＝0..nCurrSw-1,j＝0..nCurrSh–1，重构色度图片样点recSamples导出如下:

–如果tile_group_chroma_residual_scale_flag等于0或nCurrSw*nCurrSh小于或等于4，则以下适用：

recSamples[xCurr+i][yCurr+j]＝Clip1_C(predSamples[i][j]+resSamples[i][j]) (8-1063)

–否则(tile_group_chroma_residual_scale_flag等于1并且nCurrSw*nCurrSh大于4),以下适用：

–对于变量varScale的推导，以下顺序步骤适用：

–变量invAvgLuma导出如下：

invAvgLuma＝Clip1_Y(pYMap_Avg)

变量varScale导出如下:

varScale＝ChromaScaleCoeff[idxYInv] (8-1065)

–recSamples导出如下:

–如果tu_cbf_cIdx[xCurr][yCurr]等于1，则以下适用:

resSamples[i][j]＝Clip3(-(1<<BitDepth_C),1<<BitDepth_C-1,resSamples[i][j])

–否则(tu_cbf_cIdx[xCurr][yCurr]equal to 0)，以下适用

recSamples[xCurr+i][yCurr+j]＝ClipCidx1(predSamples[i][j]) (8-1067)

6.公开技术的示例实现

图10是视频处理装置1000的框图。装置1000可用于实现本文所述的一种或多种方法。装置1000可以被实现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置1000可以包括一个或多个处理器1002、一个或多个存储器1004和视频处理硬件1006。处理器1002可以被配置成实现本文中描述的一个或多个方法(包括但不限于方法800和900)。存储器(多个存储器)1004可用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件1006可用于在硬件电路中实现本文中描述的一些技术。

在一些实施例中，可以使用如关于图10所述的在硬件平台上实现的设备来实现视频编解码方法。

图11示出了根据所公开的技术的用于跨分量预测的线性模型推导的示例方法1100的流程图。方法1100包括：在步骤1110处，执行当前视频块和当前视频块的比特流表示之间的转换，其中，在所述转换期间，从一个或多个参考帧中包括的第一组颜色分量值中导出当前视频块的第二组颜色分量值，其中，第一组颜色分量值在视频编解码步骤的线性模型中可用。

可以使用以下基于条款的格式来描述一些实施例。

1.一种视频处理方法，包括：

执行当前视频块和所述当前视频块的比特流表示之间的转换，其中，在所述转换期间，从一个或多个参考帧中包括的第一组颜色分量值中导出所述当前视频块的第二组颜色分量值，其中所述第一组颜色分量值在视频编解码步骤的线性模型中可用。

2.根据条款1所述的方法，其中，在用于所述视频编解码步骤的所述线性模型之前对所述第一组颜色分量值进行插值。

3.根据条款1-2中任一项或多项所述的方法，其中，所述第一组颜色分量值的线性组合可用作所述线性模型中的参数。

4.根据条款1所述的方法，其中，至少部分地基于所述当前视频块的运动信息来选择所述一个或多个参考帧中包括的所述第一组颜色分量值的位置。

5.根据条款4所述的方法，其中，从所述当前视频块中对应亮度分量值的位置和所述当前视频块的所述运动信息计算所述一个或多个参考帧中的亮度分量值的位置。

6.根据条款5所述的方法，其中，所述对应亮度分量值的所述位置是所述当前视频块中的左上样点、中心样点或右下样点。

7.根据条款6所述的方法，其中，所述当前视频块的所述运动信息对应于整数运动矢量或分数运动矢量。

8.根据条款7所述的方法，其中，使用所述一个或多个参考帧中的分数亮度分量值导出所述分数运动矢量。

9.根据条款7所述的方法，其中，通过向零取整或远离零取整导出所述整数运动矢量。

10.根据条款1所述的方法，其中，所述一个或多个参考帧中包包括的所述第一组颜色分量值的位置是预定义的位置。

11.根据条款1-10中任一项或多项所述的方法，其中，将所述第一组颜色分量值的中值或平均值用于导出所述当前视频块的所述第二组颜色分量值。

12.根据条款1-11中任一项或多项所述的方法，其中，所述一个或多个参考帧是预定义的参考帧。

13.根据条款12所述的方法，其中，所述预定义的参考帧包括具有参考图片列表的参考索引的帧。

14.根据条款13所述的方法，其中，所述参考索引为零，并且所述参考图片列表为0。

15.根据条款13所述的方法，其中，在与以下一个或多个相关联的所述比特流表示中信令通知所述参考索引和/或所述参考图片列表：序列、图片、片组、条带、片、编解码树单元行或视频块。

16.根据条款1所述的方法，其中，从所述一个或多个参考帧中包括的所述第一组颜色分量值的算数平均值或加权平均值导出所述当前视频块的所述第二组颜色分量值。

17.根据条款1所述的方法，其中，基于所述当前视频块是否是双向预测编解码块，从所述一个或多个参考帧中包括的所述第一组颜色分量值选择性地导出所述当前视频块的所述第二组颜色分量值。

18.根据条款17所述的方法，其中，为所述第一组颜色分量值的每个预测方向分别导出所述当前视频块的所述第二组颜色分量值。

19.根据条款1所述的方法，其中，基于所述当前视频块是否与基于子块的预测相关联，从所述一个或多个参考帧中包括的所述第一组颜色分量值选择性地导出所述当前视频块的所述第二组颜色分量值。

20.根据条款19所述的方法，其中，所述基于子块的预测对应于仿射预测或可选时域运动矢量预测(ATMVP)。

21.根据条款19-20中任一项或多项所述的方法，其中，为各个子块导出所述当前视频块的所述第二组颜色分量值。

22.根据条款19-21中任一项或多项所述的方法，其中，在不考虑所述基于子块的预测的情况下，为所述当前视频块的整体导出的所述当前视频块的所述第二组颜色分量值。

23.根据条款19-22中任一项或多项所述的方法，其中，至少部分地基于所述当前视频块的子块的运动矢量来选择所述一个或多个参考帧中包括的所述第一组颜色分量值。

24.根据条款1-23中任一项或多项所述的方法，其中，所述一个或多个参考帧中包括的所述第一组颜色分量值是中间颜色分量值。

25.根据条款1-24中任一项或多项所述的方法，其中，所述视频编解码步骤先于另一视频编解码步骤。

26.根据条款25所述的方法，其中，至少部分地基于所述当前视频块或所述当前视频块的子块的中间运动矢量来选择所述一个或多个参考帧中包括的所述第一组颜色分量值，并且其中，在所述另一视频编解码步骤之前计算所述中间运动矢量。

27.根据条款24-26中任一项或多项所述的方法，其中，所述另一视频编解码步骤包括以下步骤中的一个或其组合：双向光流(BDOF)步骤、解码器侧运动矢量细化(DMVR)步骤、预测细化光流(PROF)步骤。

28.根据条款1-27中任一项或多项所述的方法，其中，所述一个或多个参考帧中包括的所述第一组颜色分量值对应于与对应亮度块相关联的MxN亮度分量值。

29.根据条款28所述的方法，其中，所述对应亮度块是所述当前视频块的并置亮度块。

30.根据条款29所述的方法，其中，M和N的乘积小于所述当前视频块的所述并置亮度块的块宽度和块高度的乘积。

31.根据条款27-30中任一项或多项所述的方法，其中，所述一个或多个参考帧中包括的所述第一组颜色分量值对应于在所述并置亮度块的邻近亮度样点的位置处识别的参考样点的至少一部分。

32.根据条款1-31中任一项或多项所述的方法，其中，在用于所述视频编解码步骤的所述线性模型之前对所述第一组颜色分量值进行下采样。

33.根据条款1所述的方法，其中，至少部分地基于所述当前视频块的以下一个或多个信息来选择所述当前视频块的所述第二组颜色分量值：量化参数、编解码模式或图片顺序计数(POC)。

34.根据条款31所述的方法，其中，所述邻近亮度样点的所述位置是覆盖所述并置亮度块的左上样点的位置。

35.根据条款28所述的方法，其中，所述一个或多个参考帧中包括的所述第一组颜色分量值对应于在所述对应亮度块外部的位置处识别的参考样点的至少一部分。

36.根据条款28所述的方法，其中，基于所述对应亮度块的邻近样点的可用性，从所述一个或多个参考帧中的包括的所述第一组颜色分量值中选择性地导出所述当前视频块的所述第二组颜色分量值。

37.根据条款28所述的方法，其中，所述对应亮度块的所述邻近样点的所述可用性基于以下一个或多个：所述当前视频块的编解码模式的使用、所述对应亮度块的所述邻近样点的编解码模式的使用、所述对应亮度块的编解码模式的使用、一个或多个邻近视频块的编解码模式的使用、与所述对应亮度块的所述邻近样点相关联的滤波器类型的使用、或者所述对应亮度块的所述邻近样点相对于所述当前视频块或其子块的位置。

38.根据条款28所述的方法，还包括：

响应于所述对应亮度块的所述邻近样点的所述可用性不足，用其它样点来替换、填充或填补不可用样点。

39.根据条款28所述的方法，还包括：

对邻近所述对应亮度块的样点应用平滑滤波器。

40.一种用于视频处理的方法，包括：

执行当前视频块和所述当前视频块的比特流表示之间的转换，其中，在所述转换期间，从一个或多个参考帧中包括的第一组颜色分量值中导出所述当前视频块的第二组颜色分量值，其中所述第一组颜色分量值在视频编解码步骤的线性模型中可用；以及

响应于确定所述一个或多个参考帧中包括的所述第一组颜色分量值是所述当前视频块的并置亮度块，基于与所述当前视频块的所述并置亮度块相关联的一个或多个条件，选择性地启用或禁用所述当前视频块的所述第二组颜色分量值的推导。

41.根据条款40所述的方法，其中，与所述当前视频块的所述并置亮度块相关联的一个或多个条件包括：所述并置亮度块的分割尺寸、实现阈值数目的所述并置亮度块的编解码单元数、实现阈值尺寸的所述并置亮度块的左上亮度样点、所述并置亮度块的分割树深度、覆盖所述并置亮度块的所述左上亮度样点的对应亮度块、所述并置亮度块或所述当前视频块的维度、或覆盖所述并置亮度块的所述左上亮度样点并且此外包括在预定义尺寸的边界框内的对应亮度块。

42.根据条款40所述的方法，其中，指示所述选择性地启用或禁用所述推导的信息包括在所述比特流表示中。

43.根据条款28所述的方法，其中，所述对应亮度块的邻近样点的所述可用性与根据预定顺序检查所述邻近样点相关联。

44.根据条款41所述的方法，其中，所述并置亮度块和所述当前视频块与同一编解码树单元或编解码树单元的同一行相关联。

45.一种用于视频处理方法，包括：

响应于确定满足所述当前视频块或所述当前视频块的邻近视频块的一个或多个属性，选择性地启用或禁用所述当前视频块的所述第二组颜色分量值的推导。

46.根据条款45所述的方法，其中，所述当前视频块或所述当前视频块的邻近视频块的所述一个或多个属性对应于覆盖相对于所述当前视频块的空域位置的空域位置的邻近亮度块。

47.根据条款45所述的方法，其中，所述当前视频块或所述当前视频块的邻近视频块的一个或多个属性对应于所述当前视频块的所述邻近视频块相对于所述当前视频块的空域位置的空域位置。

48.根据条款45所述的方法，还包括：

响应于确定所述邻近视频块的重构至少部分地基于所述当前视频块的编解码模式，禁用所述当前视频块的所述第二组颜色分量值的推导。

49.根据条款45所述的方法，还包括：

响应于确定所述当前视频块是帧间编解码块并且不是组合帧间帧内预测编解码块，并且与所述当前视频块的对应亮度块邻近的块是帧内编解码块、组合帧间帧内预测(CIIP)块或帧内块复制(IBC)编解码块，禁用所述当前视频块的所述第二组颜色分量值的推导。

50.根据条款45所述的方法，还包括：

响应于确定所述当前视频块是帧间编解码块并且不是组合帧间帧内预测编解码块，并且与所述当前视频块的对应亮度块邻近的块是帧内编解码块、组合帧间帧内预测(CIIP)块或帧内块复制(IBC)编解码块，启用所述当前视频块的所述第二组颜色分量值的推导，其中所述第一组颜色分量值是固定值。

51.根据条款45所述的方法，其中，所述第一组颜色分量值是固定值。

52.根据条款51所述的方法，其中，所述固定值对应于所述视频编解码步骤的所述线性模型的分段索引。

53.根据条款1-52中任一项或多项所述的方法，其中，所述邻近样点可以与所述当前视频块相邻或不相邻。

54.根据条款1-52中任一项或多项所述的方法，其中，所述邻近样点可以与邻近所述当前视频块的色度块相关联，或者是邻近所述当前视频块的色度块。

55.根据条款1-54中任一项或多项所述的方法，其中，所述当前视频块对应于色度块、所述并置亮度块、或覆盖并置色度块的左上亮度样点的所述对应亮度块。

56.根据条款1-54中任一项或多项所述的方法，其中，存储所述当前视频块的所述第二组颜色分量值，以供与一个或多个其它视频块一起使用。

57.根据条款1-56中任一项或多项所述的方法，其中，所述线性模型对应于跨分量线性模型(CCLM)，并且所述视频编解码步骤对应于亮度映射和色度缩放(LMCS)模式。

58.根据条款1-57中任一项或多项所述的方法，其中，所述当前视频块是帧间编解码块、双向预测编解码块、组合帧间帧内预测(CIIP)块或帧内块复制(IBC)编解码块。

59.根据条款1-58中任一项或多项所述的方法，其中，存储所述当前视频块的所述第二组颜色分量值，以供与所述比特流表示中的其它视频块相关联地使用。

60.根据条款59所述的方法，其中，将所述当前视频块的所述第二组颜色分量值存储在行缓冲器中，以供所述其它视频块中包括的邻近视频块选择性地可用或不可用，其中，所述当前视频块和所述邻近视频块与不同的条带、片、片组、编解码树单元、或编解码树单元的行相关联。

61.根据条款60所述的方法，其中，所述当前视频块的所述第二组颜色分量值是固定值。

62.根据条款60所述的方法，其中，阻止所述当前视频块的所述第二组颜色分量值的推导。

63.根据条款59所述的方法，其中，阻止所述当前视频块的所述第二组颜色分量值的推导。

64.根据条款59所述的方法，其中，将所述当前视频块的所述第二组颜色分量值存储在表中，以供所述其它视频块中包括的邻近视频块选择性地可用或不可用。

65.根据条款64所述的方法，其中，动态更新所述当前视频块的所述第二组颜色分量值。

66.根据条款65所述的方法，其中，所述当前视频块的所述第二组颜色分量值与所述其它视频块中的先前视频块相同。

67.根据条款64所述的方法，其中，以先进先出(FIFO)的方式动态更新所述当前视频块的所述第二组颜色分量值。

68.根据条款1-67中任一项或多项所述的方法，其中，所述第一组颜色分量值对应于亮度样点值，并且所述第二组颜色分量值对应于色度缩放因子。

69.一种视频系统中的装置，其包括处理器和其上具有指令的非暂时性存储器，其中，在所述处理器执行所述指令时，所述指令使所述处理器实现条款1至68中任一项所述的方法。

70.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实现条款1至68中任一项所述的方法的程序代码。

图12是示出其中可以实现本文公开的各种技术的示例性视频处理系统1200的框图。各种实现可以包括系统1200的部分或全部组件。系统1200可以包括用于接收视频内容的输入1202。视频内容可以原始或未压缩格式(例如，8或10位多分量像素值)接收，或者可以压缩或编解码格式接收。输入1202可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等有线接口和诸如Wi-Fi或蜂窝接口的无线接口。

系统1200可以包括编解码组件1204，其可以实现本文中描述的各种编解码或编解码方法。编解码组件1204可以降低从输入1202到编解码组件1204的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件1204的输出可以存储，或者通过由组件1206表示的连接的通信来发送。组件1208可以使用在输入1202处接收的视频的存储或通信比特流(或编解码)表示来生成发送到显示接口1210的像素值或可显示视频。从所述比特流表示生成用户可视视频的处理有时称为视频解压缩。此外，虽然一些视频处理操作被称为“编解码”操作或工具，但是应当理解，在编解码器处使用编解码工具或操作，并且将由解码器执行对应的解码工具或反转编解码结果的操作。

外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文中描述的技术可以实施在各种电子设备中，例如能够执行数字数据处理和/或视频显示的移动电话、膝上型计算机、智能手机或其它设备。

图13示出了用于视觉媒体处理的示例方法的流程图。将结合本文第4节中的示例11b来讨论本流程图的步骤。在步骤1302处，处理在视觉媒体数据的当前视频块和所述当前视频块的比特流表示之间的转换期间，至少部分地基于覆盖与所述当前视频块相关联的并置亮度块的左上样点的对应亮度块的邻近样点，来计算所述当前视频块的跨分量线性模型(CCLM)和/或色度残差缩放(CRS)因子，其中，将所述当前视频块的一个或多个特性用于识别所述对应亮度块。

图14示出了用于视觉媒体处理的示例方法的流程图。将结合本文第4节中的示例11e来讨论本流程图的步骤。在步骤1402处，处理使用规则来做出在视觉媒体数据的当前视频块的颜色分量上选择性地启用或禁用色度残差缩放(CRS)的确定，其中，所述规则基于所述当前视频块的编解码模式信息和/或一个或多个邻近视频块的编解码模式信息。在步骤1404处，处理基于所述确定执行所述当前视频块和比特流表示之间的转换。

图15示出了用于视觉媒体处理的示例方法的流程图。将结合本文第4节中的示例12来讨论本流程图的步骤。在步骤1502处，处理为与条带或片组中的视频块相关联的至少一个色度块使用单个色度残差缩放因子，所述条带或片组与视频媒体数据的当前视频块相关联。在步骤1504处，处理执行所述当前视频块和所述当前视频块的比特流表示之间的转换。

图16示出了用于视觉媒体处理的示例方法的流程图。将结合本文第4节中的示例17f来讨论本流程图的步骤。在步骤1602处，处理在视觉媒体数据的当前视频块和所述当前视频块的比特流表示之间的转换期间，导出色度残差缩放因子。在步骤1604处，处理存储所述色度残差缩放因子，以供视觉媒体数据的其它视频块使用。在步骤1606处，处理为所述当前视频块和所述其它视频块到所述比特流表示的所述转换应用所述色度残差缩放因子。

图17示出了用于视觉媒体处理的示例方法的流程图。将结合本文第4节中的示例17g来讨论本流程图的步骤。在步骤1702处，在视觉媒体数据的当前视频块和所述视觉媒体数据的比特流表示之间的转换期间，处理计算所述当前视频块的色度残差缩放因子。在步骤1704处，处理将所述色度残差缩放因子存储在缓冲器中，以供所述视觉媒体数据的第二视频块使用。在步骤1706处，处理在使用之后从缓冲器中移除所述色度残差缩放因子。

现在以基于条款的格式示出本文中讨论的一些实施例。

A1.一种用于视频处理的方法，包括：

在视觉媒体数据的当前视频块和所述当前视频块的比特流表示之间的转换期间，至少部分地基于覆盖与所述当前视频块相关联的并置亮度块的左上样点的对应亮度块的邻近样点，来计算所述当前视频块的跨分量线性模型(CCLM)和/或色度残差缩放(CRS)因子，其中，将所述当前视频块的一个或多个特性用于识别所述对应亮度块。

A2.根据条款A1所述的方法，其中，所述当前视频块的所述一个或多个特性包括：尺寸、分割类型、位置、或坐标。

A3.根据条款A1-A2中任一项或多项所述的方法，其中，所述当前视频块的所述一个或多个特性与所述当前视频块的颜色分量相关联。

A4.根据条款A3所述的方法，其中，将所述当前视频块的一个或多个特性存储在缓冲器中以供后续使用。

A5.根据条款A1-A3中任一项或多项所述的方法，其中，所述当前视频块和所述对应亮度块位于同一编解码树单元(CTU)或同一编解码树单元(CTU)行内。

A6.根据条款A5所述的方法，其中，如果所述当前视频块和所述对应亮度块位于同一编解码树单元(CTU)或同一编解码树单元(CTU)行内，则不存储所述当前视频块的所述一个或多个特性。

A7.根据条款A1所述的方法，其中，当满足一个或多个条件时，所述对应亮度块的所述邻近样点可用，否则所述邻近样点不可用。

A8.根据条款A7所述的方法，其中，所述一个或多个条件包括：所述当前视频块的编解码模式的使用、所述对应亮度块的所述邻近样点的编解码模式的使用、与所述对应亮度块的所述邻近样点相关联的滤波器类型的使用、所述对应亮度块的所述邻近样点相对于所述当前视频块或其子块的位置、当前图片/子图片/片/片组/VPDU/条带的宽度、和/或当前图片/子图片/片/片组/VPDU/条带/编解码树单元(CTU)行的高度。

A9.根据条款A7-A8中任一项或多项所述的方法，其中，如果邻近样点不可用，则由第一个可用的相邻样点来代替所述邻近样点。

A10.根据条款A9所述的方法，其中，根据检查顺序识别所述第一个可用的相邻样点。

A11.根据条款A10所述的方法，其中，所述检查顺序是预定义的。

A12.根据条款A10所述的方法，其中，在所述比特流表示中信令通知所述检查顺序。

A13.根据条款A8-A9中任一项或多项所述的方法，其中，如果邻近样点不可用，则用预定的或映射的值来填充所述邻近样点。

A14.根据条款A13所述的方法，其中，将所述预定的或映射的值表示为1<<(bitDepth-1)，其中bitDepth表示所述并置亮度块中样点的比特深度。

A15.根据条款A13所述的方法，其中，所述预定的或映射的值基于查找表(LUT)。

B1.一种用于视觉媒体处理的方法，包括：

使用规则来做出在视觉媒体数据的当前视频块的颜色分量上选择性地启用或禁用色度残差缩放(CRS)的确定，其中，所述规则基于所述当前视频块的编解码模式信息和/或一个或多个邻近视频块的编解码模式信息；以及

基于所述确定执行所述当前视频块和比特流表示之间的转换。

B2.根据条款B1所述的方法，其中，所述当前视频块是并置视频块。

B3.根据条款B1所述的方法，其中，所述当前视频块是当前色度块。

B4.根据条款B1所述的方法，其中，所述当前视频块是覆盖并置色度块的至少一个样点的对应亮度块。

B5.根据条款B1-B4中任一项或多项所述的方法，其中，所述一个或多个邻近视频块是相邻视频块。

B6.根据条款B1-B4中任一项或多项所述的方法，其中，所述一个或多个邻近视频块是非相邻视频块。

B7.根据条款B1-B6中任一项或多项所述的方法，其中，所述一个或多个邻近视频块是覆盖相对于所述当前视频块的多个样点的多个邻近块。

B8.根据条款B1-B6中任一项或多项所述的方法，其中，所述规则规定：如果邻近视频块的重构使用与所述当前视频块相关联的条带/片组中的样点，则禁用所述CRS。

B9.根据条款B8所述的方法，其中，所述规则规定：如果所述邻近视频块的编解码模式信息是以下中的一个，则禁用所述CRS：帧内模式、组合帧间帧内预测(CIIP)模式、或帧内块复制(IBC)模式。

B10.根据条款B8-B9中任一项或多项所述的方法，其中，将所述色度残差缩放因子的默认值用于应用所述CRS。

B11.根据条款B10所述的方法，其中，将所述默认值表示为1<<(bitDepth-1)，其中bitDepth表示所述当前视频块中亮度或色度样点的比特深度。

B12.根据条款B10所述的方法，其中，所述默认值基于查找表(LUT)。

B13.根据条款B10所述的方法，其中，所述默认值是预定义的。

C1.一种用于视觉媒体处理的方法：

为与条带或片组中的视频块相关联的至少一个色度块使用单个色度残差缩放因子，所述条带或片组与视频媒体数据的当前视频块相关联；以及

执行所述当前视频块和所述当前视频块的比特流表示之间的转换。

C2.根据条款C1所述的方法，其中，用于所述至少一个色度块的所述单个色度残差缩放因子是固定值。

C3.根据条款C1-C2中任一项或多项所述的方法，其中，所述单个色度残差缩放因子基于用于导出所述色度残差缩放因子的线性模型的索引。

C4.根据条款C3所述的方法，其中，所述线性模型是分段线性的。

C5.根据条款C1所述的方法，其中，用于所述至少一个色度块的所述单个色度残差缩放因子是预定义的。

C6.根据条款C1所述的方法，其中，用于所述至少一个色度块的所述单个色度残差缩放因子基于所述当前视频块中的亮度或色度样点的比特深度。

C7.根据条款C3所述的方法，其中，所述线性模型的所述索引是基于所述当前视频块中亮度或色度样点的比特深度导出的。

D1.一种用于视觉媒体处理的方法：

在视觉媒体数据的当前视频块和所述当前视频块的比特流表示之间的转换期间，导出色度残差缩放因子；

存储所述色度残差缩放因子，以供所述视觉媒体数据的其它视频块使用；以及

为所述当前视频块和所述其它视频块到所述比特流表示的所述转换应用所述色度残差缩放因子。

D2.根据条款D1所述的方法，其中，将所述色度残差缩放因子存储在行缓冲器中。

D3.一种用于视觉媒体处理的方法：

在视觉媒体数据的当前视频块和所述视觉媒体数据的比特流表示之间的转换期间：

计算所述当前视频块的色度残差缩放因子；

将所述色度残差缩放因子存储在缓冲器中，以供所述视觉媒体数据的第二视频块使用；以及

在所述使用之后从所述缓冲器中移除所述色度残差缩放因子。

D4.根据条款D3所述的方法，其中，如果所述视觉媒体数据中的所述当前视频块和所述第二视频块属于不同的视频区域，则确定所述第二视频块的所述色度残差缩放因子不可用于所述当前视频块。

D5.根据条款D4所述的方法，其中，所述视频区域包括以下中的一个：条带、片、片组、虚拟管道数据单元(VPDU)、编解码树单元(CTU)或CTU行。

D6.根据条款D4所述的方法，其中，所述第二视频块是所述当前视频块的邻近视频块。

D7.根据条款D6所述的方法，其中，所述邻近视频块与所述当前视频块相邻。

D8.根据条款D6所述的方法，其中，所述邻近视频块与所述当前视频块不相邻。

D9.根据条款D1-D8中任一项或多项所述的方法，其中，在所述转换期间动态更新所述色度残差缩放因子。

D10.根据条款D9所述的方法，其中，将所述色度残差缩放因子存储在表中，并且根据先进先出(FIFO)的顺序动态更新存储在所述表中的所述色度残差缩放因子。

D11.根据条款D10所述的方法，其中，在解码/编码色度块之后将所述色度残差缩放因子存储在所述表中。

D12.根据条款D10所述的方法，其中，在某一时刻，所述表最多存储1条所述色度残差缩放因子。

D13.根据条款D10所述的方法，其中，在解码/编码图片、条带、片、片组、虚拟管道数据单元(VPDU)、CTU或CTU行之前，将所述色度残差缩放因子存储在所述表中。

D14.根据条款D13所述的方法，其中，在所述表中存储默认色度残差缩放因子导致刷新所述表。

D15.根据条款D14所述的方法，其中，在刷新所述表时，所述默认色度残差缩放因子为空值。

D16.根据条款A1-D15中任一项或多项所述的方法，其中，所述转换包括从所述当前视频块生成所述比特流表示。

D17.根据条款A1-D15中任一项或多项所述的方法，其中，所述转换包括从所述比特流表示生成所述当前视频块的像素值。

D18.一种视频编码器装置，其包括处理器，所述处理器被配置为实现条款A1-D15中任一项或多项所述的方法。

D19.一种视频解码器装置，其包括处理器，所述处理器被配置为实现条款A1-D15中任一项或多项所述的方法。

D20.一种计算机可读介质，其上存储有代码，所述代码包含用于实现条款A1-D15中任一项或多项所述的方法的可执行指令。

在本文中，术语“视频处理”可指视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到对应的比特流表示的转换期间应用视频压缩算法，反之亦然。例如，当前视频块的比特流表示可以对应于由语法定义的比特流中的并置比特或在不同位置传播的比特。例如，可以根据经过转换和编解码的误差残差来编解码宏块，并且也可以使用比特流中的标头和其他字段中的比特来编解码宏块。此外，在转换期间，如上述解决方案中描述的，解码器可以在知道某些字段可能存在或不存在的情况下，基于所述确定来解析比特流。类似地，编码器可以通过在编码表示中包括或不包括语法字段来确定是否包括某些语法字段，并对应地生成编码表示。

综上所述，应当理解的是，为了说明的目的，本文描述了本公开技术的具体实施例，但是可以在不偏离本发明的范围的情况下进行各种修改。因此，除了所附权利要求外，本公开的技术不受限制。

本专利文件中描述的主题的实现和功能操作可以在各种系统、数字电子电路、或计算机软件、固件或硬件中实现，包括本说明书中所公开的结构及其结构等效体，或其中一个或多个的组合。本说明说中描述的主题的实现可以实现为一个或多个计算机程序产品，即一个或多个编解码在有形的且非易失的计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。

本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。

本说明书和附图仅被视为示例性的，其中示例性是指示例。如本文所用，“或”的使用意欲包括“和/或”，除非上下文另有明确指示。

虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。

同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。

仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims

1.一种用于视觉媒体处理的方法，包括：

2.根据权利要求1所述的方法，其中，所述当前视频块的所述一个或多个特性包括：尺寸、分割类型、位置、或坐标。

3.根据权利要求1-2中任一项或多项所述的方法，其中，所述当前视频块的所述一个或多个特性与所述当前视频块的颜色分量相关联。

4.根据权利要求3所述的方法，其中，将所述当前视频块的一个或多个特性存储在缓冲器中以供后续使用。

5.根据权利要求1-3中任一项或多项所述的方法，其中，所述当前视频块和所述对应亮度块位于同一编解码树单元(CTU)或同一编解码树单元(CTU)行内。

6.根据权利要求5所述的方法，其中，如果所述当前视频块和所述对应亮度块位于同一编解码树单元(CTU)或同一编解码树单元(CTU)行内，则不存储所述当前视频块的所述一个或多个特性。

7.根据权利要求1所述的方法，其中，当满足一个或多个条件时，所述对应亮度块的所述邻近样点可用，否则所述邻近样点不可用。

8.根据权利要求7所述的方法，其中，所述一个或多个条件包括：所述当前视频块的编解码模式的使用、所述对应亮度块的所述邻近样点的编解码模式的使用、与所述对应亮度块的所述邻近样点相关联的滤波器类型的使用、所述对应亮度块的所述邻近样点相对于所述当前视频块或其子块的位置、当前图片/子图片/片/片组/VPDU/条带的宽度、和/或当前图片/子图片/片/片组/VPDU/条带/编解码树单元(CTU)行的高度。

9.根据权利要求7-8中任一项或多项所述的方法，其中，如果邻近样点不可用，则由第一个可用的相邻样点来代替所述邻近样点。

10.根据权利要求9所述的方法，其中，根据检查顺序识别所述第一个可用的相邻样点。

11.根据权利要求10所述的方法，其中，所述检查顺序是预定义的。

12.根据权利要求10所述的方法，其中，在所述比特流表示中信令通知所述检查顺序。

13.根据权利要求8-9中任一项或多项所述的方法，其中，如果邻近样点不可用，则用预定的或映射的值来填充所述邻近样点。

14.根据权利要求13所述的方法，其中，将所述预定的或映射的值表示为1<<(bitDepth-1)，其中bitDepth表示所述并置亮度块中样点的比特深度。

15.根据权利要求13所述的方法，其中，所述预定的或映射的值基于查找表(LUT)。

16.一种用于视觉媒体处理的方法，包括：

17.根据权利要求16所述的方法，其中，所述当前视频块是并置视频块。

18.根据权利要求16所述的方法，其中，所述当前视频块是当前色度块。

19.根据权利要求16所述的方法，其中，所述当前视频块是覆盖并置色度块的至少一个样点的对应亮度块。

20.根据权利要求16-19中任一项或多项所述的方法，其中，所述一个或多个邻近视频块是相邻视频块。

21.根据权利要求16-19中任一项或多项所述的方法，其中，所述一个或多个邻近视频块是非相邻视频块。

22.根据权利要求16-21中任一项或多项所述的方法，其中，所述一个或多个邻近视频块是覆盖相对于所述当前视频块的多个样点的多个邻近块。

23.根据权利要求16-21中任一项或多项所述的方法，其中，所述规则规定：如果邻近视频块的重构使用与所述当前视频块相关联的条带/片组中的样点，则禁用所述CRS。

24.根据权利要求23所述的方法，其中，所述规则规定：如果所述邻近视频块的编解码模式信息是以下中的一个：帧内模式、组合帧间帧内预测(CIIP)模式、或帧内块复制(IBC)模式，则禁用所述CRS。

25.根据权利要求23-24中任一项或多项所述的方法，其中，将所述色度残差缩放因子的默认值用于应用所述CRS。

26.根据权利要求25所述的方法，其中，将所述默认值表示为1<<(bitDepth-1)，其中bitDepth表示所述当前视频块中亮度或色度样点的比特深度。

27.根据权利要求25所述的方法，其中，所述默认值基于查找表(LUT)。

28.根据权利要求25所述的方法，其中，所述默认值是预定义的。

29.一种用于视觉媒体处理的方法：

30.根据权利要求29所述的方法，其中，用于所述至少一个色度块的所述单个色度残差缩放因子是固定值。

31.根据权利要求29-30中任一项或多项所述的方法，其中，所述单个色度残差缩放因子基于用于导出所述色度残差缩放因子的线性模型的索引。

32.根据权利要求31所述的方法，其中，所述线性模型是分段线性的。

33.根据权利要求29所述的方法，其中，用于所述至少一个色度块的所述单个色度残差缩放因子是预定义的。

34.根据权利要求29所述的方法，其中，用于所述至少一个色度块的所述单个色度残差缩放因子基于所述当前视频块中的亮度或色度样点的比特深度。

35.根据权利要求31所述的方法，其中，所述线性模型的所述索引是基于所述当前视频块中亮度或色度样点的比特深度导出的。

36.一种用于视觉媒体处理的方法：

37.根据权利要求36所述的方法，其中，将所述色度残差缩放因子存储在行缓冲器中。

38.一种用于视觉媒体处理的方法：

计算所述当前视频块的色度残差缩放因子；

39.根据权利要求38所述的方法，其中，如果所述视觉媒体数据中的所述当前视频块和所述第二视频块属于不同的视频区域，则确定所述第二视频块的所述色度残差缩放因子不可用于所述当前视频块。

40.根据权利要求39所述的方法，其中，所述视频区域包括以下中的一个：条带、片、片组、虚拟管道数据单元(VPDU)、编解码树单元(CTU)或CTU行。

41.根据权利要求39所述的方法，其中，所述第二视频块是所述当前视频块的邻近视频块。

42.根据权利要求41所述的方法，其中，所述邻近视频块与所述当前视频块相邻。

43.根据权利要求41所述的方法，其中，所述邻近视频块与所述当前视频块不相邻。

44.根据权利要求36-43中任一项或多项所述的方法，其中，在所述转换期间动态更新所述色度残差缩放因子。

45.根据权利要求44所述的方法，其中，将所述色度残差缩放因子存储在表中，并且根据先进先出(FIFO)的顺序动态更新存储在所述表中的所述色度残差缩放因子。

46.根据权利要求45所述的方法，其中，在解码/编码色度块之后将所述色度残差缩放因子存储在所述表中。

47.根据权利要求45所述的方法，其中，在某一时刻，所述表最多存储1条所述色度残差缩放因子。

48.根据权利要求45所述的方法，其中，在解码/编码图片、条带、片、片组、虚拟管道数据单元(VPDU)、CTU或CTU行之前，将所述色度残差缩放因子存储在所述表中。

49.根据权利要求48所述的方法，其中，在所述表中存储默认色度残差缩放因子导致刷新所述表。

50.根据权利要求49所述的方法，其中，在刷新所述表时，所述默认色度残差缩放因子为空值。

51.根据权利要求1-50中任一项或多项所述的方法，其中，所述转换包括从所述当前视频块生成所述比特流表示。

52.根据权利要求1-50中任一项或多项所述的方法，其中，所述转换包括从所述比特流表示生成所述当前视频块的像素值。

53.一种视频编码器装置，其包括处理器，所述处理器被配置为实现权利要求1-50中任一项或多项所述的方法。

54.一种视频解码器装置，其包括处理器，所述处理器被配置为实现权利要求1-50中任一项或多项所述的方法。

55.一种计算机可读介质，其上存储有代码，所述代码包含用于实现权利要求1-50中任一项或多项所述的方法的可执行指令。