CN113994697A

CN113994697A - 色度残差缩放的语法元素

Info

Publication number: CN113994697A
Application number: CN202080045462.9A
Authority: CN
Inventors: 邓智玭; 张莉; 刘鸿彬; 张凯; 许继征
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-06-22
Filing date: 2020-06-22
Publication date: 2022-01-28
Anticipated expiration: 2040-06-22
Also published as: CN117478908A; CN113994697B; JP2022539008A; JP7418478B2; WO2020259427A1; US20220109885A1; KR20220024006A; EP3973707A4; US20230308691A1; EP3973707A1; US11924472B2

Abstract

一种用于视频处理的方法包括为视觉媒体数据的视频区域中的当前视频块与比特流表示之间的转换，对比特流表示进行处理。该比特流表示基于一种规则，该规则规定将在亮度相关的色度残差缩放步骤中使用的一个或多个语法元素选择性地包含到该比特流表示当中。亮度相关的色度残差缩放步骤包括在该转换期间基于邻近重建亮度样点缩放色度样点。该一个或多个语法元素可用于推导用于缩放的色度残差缩放因子。

Description

色度残差缩放的语法元素

相关申请的交叉引用

根据适用的专利法和/或按照巴黎公约的规则，本申请旨在及时要求于2019年6月22日提交的国际专利申请号PCT/CN2019/092433的优先权和利益。出于根据该法律的所有目的，将前述申请的全部公开内容以引用方式并入本文，以作为本申请公开内容的部分。

技术领域

本专利文档涉及视频编解码/解码技术、设备和系统。

背景技术

尽管视频压缩取得了进步，但是数字视频仍在互联网和其他数字通信网络上占据最大带宽使用量。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将持续增长。

发明内容

描述了与数字视频编解码/解码有关的设备、系统和方法，并且具体地，描述了与跨分量线性模型(cross-component linear model，CCLM)预测模式的简化线性模型推导有关的设备、系统和方法。所描述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(high efficiency video coding，HEVC))以及将来的视频编解码标准(例如，多功能视频编解码(versatile videocoding，VVC))或编解码器。

在一个代表性方面，所公开的技术可以用于提供一种用于视觉媒体处理的方法。该方法包括：为视觉媒体数据的视频区域中的当前视频块与比特流表示之间的转换，对比特流表示进行处理，其中，该比特流表示基于一种规则，该规则规定将在亮度相关的色度残差缩放步骤中使用的一个或多个语法元素选择性地包含到该比特流表示中；其中，该亮度相关的色度残差缩放步骤包括在该转换期间基于邻近重建亮度样点缩放色度样点；并且其中，该一个或多个语法元素可用于推导用于缩放的色度残差缩放因子。

在又一代表性方面，上述方法被体现为处理器可执行代码的形式并存储于计算机可读程序介质中。

在又一代表性方面，公开了一种被配置为或可操作用于执行上述方法的设备。该设备可以包括被编程为实施这种方法的处理器。

在又一个示例方面，公开了一种包括被配置为实施上述方法的处理器的视频编码和/或解码装置。

在又一个示例方面，公开了一种计算机可读介质。该计算机可读介质存储体现上述方法之一的处理器可执行代码。

在附图、说明书和权利要求书中更详细地描述了所公开技术的以上和其他方面和特征。

附图说明

图1示出了HEVC中的角度帧内预测模式的示例。

图2示出了非HEVC当中的方向性模式的示例。

图3示出了与CCLM模式结合的示例。

图4示出了具有色度缩放架构的亮度映射的示例。

图5示出了不同颜色格式当中的亮度块和色度块的示例。

图6示出了相同颜色格式当中的亮度块和色度块的示例。

图7示出了覆盖多种格式的并置亮度块的示例。

图8示出了处于较大亮度块内的亮度块的示例。

图9示出了处于较大亮度块内并且处于边界框内的亮度块的示例。

图10是用于实施本文档中描述的视觉媒体解码技术或视觉媒体编码技术的硬件平台的示例的框图。

图11示出了根据所公开技术的用于跨分量预测的线性模型推导的示例方法的流程图。

图12是可以实施所公开的技术的示例视频处理系统的框图。

图13是视觉媒体处理的示例方法的流程图。

具体实施方式

2.1HEVC的简要回顾

2.1.1HEVC/H.265中的帧内预测

帧内预测涉及使用在所考虑的颜色通道中先前重建的样点生成给定TB(变换块)的样点。对亮度通道和色度通道单独信令通知帧内预测模式，其中，色度通道帧内预测模式可选地通过“DM_CHROMA”模式而依赖于亮度通道帧内预测模式。尽管帧内预测模式是在PB(预测块)级上信令通知的，但是根据CU(coding unit，编解码单元)的残差四叉树层次结构在TB级上应用帧内预测过程，由此允许一个TB的编解码对CU内的下一TB的编解码存在影响，并因此降低与被用作参考值的样点的距离。

HEVC包括35种帧内预测模式-DC模式、平面模式和33种定向或“角度”帧内预测模式。图1中示出了33种角度帧内预测模式。

对于与色度颜色通道相关联的PB而言，帧内预测模式被指定为平面、DC、水平、垂直、“DM_CHROMA”模式或者有时的对角线模式“34”。

请注意，对于色度格式4:2:2和4:2:0，色度PB可以与两个或四个(分别)亮度PB重叠；在这种情况下，DM_CHROMA的亮度方向取自这些亮度PB的左上方。

DM_CHROMA模式指示对色度颜色通道PB应用亮度颜色通道PB的帧内预测模式。由于这是相对常用的，因而intra_chroma_pred_mode的最可能模式编解码方案偏向于支持选择这一模式。

2.2多功能视频编解码(VVC)算法描述

2.2.1VVC编解码架构

为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索团队(Joint Video Exploration Team，JVET)。JVET会议每季度同期举办一次，并且新型编解码标准的目标是相较于HEVC，比特率降低50％。该新型编解码标准在2018年4月的JVET会议中被正式命名为多功能视频编解码(VVC)，并且当时发布了第一版VVC测试模型(VTM)。随着促进VVC标准化的持续努力，在每次JVET会议中都有新的编解码技术被VVC标准采纳。于是，每次会议之后都会更新VVC工作草案和测试模型VTM。现在，VVC项目致力于在2020年7月的会议中实现技术完成(FDIS)。

由于在大多数先前标准中，VVC具有基于块的混合编解码架构，将图片间和图片内预测和变换编解码与熵编解码相结合。图片分割结构将输入视频划分成被称为编解码树单元(coding tree unit，CTU)的块。使用具有嵌套多类型树的四叉树结构将CTU划分成编解码单元(CU)，其中，叶编解码单元(CU)定义了共享相同预测模式(例如，帧内或帧间)的区域。在本文档中，术语“单元”定义了图像的覆盖所有颜色分量的区域；术语“块”用于定义覆盖特定颜色分量(例如，亮度)的区域，并且在考虑色度采样格式(例如，4:2:0)时可以存在空间位置的差异。

2.2.2VVC中的双重/单独树分割

亮度分量和色度分量可以具有针对I条带的单独分割树。单独树分割处于64×64块级别下，而非CTU级别。在VTM软件中，存在用以控制双重树开启和关闭的SPS(sequenceparameter set，序列参数集)标志。

2.2.3VVC中的帧内预测

2.2.3.1 67种帧内预测模式

为了捕获自然视频中存在的任意边缘方向，VTM4中的定向帧内模式的数量从33(如HEVC中使用的)扩展到65。不在HEVC中的新定向模式在图2中被描绘为红色虚线箭头，平面和DC模式保持相同。这些较密集的方向性帧内预测模式适用于所有块尺寸并且适用于亮度帧内预测和色度帧内预测两者。

2.2.3.2跨分量线性模型预测(CCLM)

为了减小跨分量冗余，在VTM4中使用跨分量线性模型(CCLM)预测模式，对于该模式，通过使用如下线性模型，基于相同CU的重构亮度样点来预测色度样点：

pred_C(i,j)＝α·rec_L′(i,j)+β

其中，pred_C(i,j)表示CU中的预测色度样点，并且rec_L(i,j)表示相同CU中的降采样重建亮度样点。线性模型参数α和β是由来自两个样点及其对应的色度样点的亮度值和色度值之间的关系推导的，这两个样点是该降采样邻近亮度样点的集合内的具有最小样点值和最大样点值的亮度样点。线性模型参数α和β是根据以下等式获得的。

β＝Y_b-α·X_b

其中，Y_a和X_a表示具有最大亮度样点值的亮度样点的亮度值和色度值。并且X_b和Y_b分别表示具有最小亮度样点值的亮度样点的亮度值和色度值。图3示出了CCLM模式中涉及的左侧和上侧样点以及当前块的样点的位置的示例。

采用查找表实施用以计算参数α的除法运算。为了减少存储表格所需的存储器，通过指数计数制表示diff值(最大值和最小值之间的差)和参数α。例如，采用4比特有效部分和指数近似表示diff。因此，1/diff的表格被简化为如下的该有效位数的16个值的16个元素：

DivTable[]＝{0,7,6,5,5,4,4,3,3,2,2,1,1,1,1,0}

这样做的好处在于既降低了计算的复杂性，又降低了存储必要表格所需的存储器大小。

除了能够采用上侧模板和左侧模板一起计算线性模型系数之外，还能够在另外2种LM模式(被称为LM_A和LM_L模式)当中择一地使用上侧模板和左侧模板。

在LM_A模式中，仅采用上侧模板计算线性模型系数。为了获得更多样点，将上侧模板扩展至(W+H)。在LM_L模式中，仅采用左侧模板计算线性模型系数。为了获得更多样点，将左侧模板扩展至(H+W)。

对于非正方形块而言，将上侧模板扩展至W+W，将左侧模板扩展至H+H。

为了匹配4:2:0视频序列的色度样点位置，对亮度样点应用两种类型的降采样滤波器，从而在水平方向和垂直方向两者上都取得2比1的降采样比。通过SPS级标志指定降采样滤波器的选择。两种将降采样滤波器如下文所述，它们分别对应于“类型0”和“类型2”内容。

注意，当上部参考线处于CTU边界上时，仅使用一条亮度线(帧内预测中的一般线缓冲区)产生降采样亮度样点。

这种参数计算是作为解码过程的部分执行的，而非仅作为编码器搜索操作执行。因此，不使用语法向解码器传达α值和β值。

对于色度帧内模式编解码而言，对色度帧内模式编解码允许总共8个帧内模式。这些模式包括五个传统帧内模式和三个跨分量线性模型模式(CCLM、LM_A和LM_L)。色度模式编解码直接取决于对应亮度块的帧内预测模式。由于在I条带中启用针对亮度分量和色度分量的单独块分割结构，因此一个色度块可以对应于多个亮度块。因此，对于色度DM模式，直接继承覆盖当前色度块的中心位置的对应亮度块的帧内预测模式。

2.2.3.2.1对应的修改后的工作草案(JVET-N0271)

下文的规范基于JVET-M1001的修改后的工作草案和JVET-N0271中的采纳方案。通过粗体和下划线示出了所采纳的JVET-N0220的修改。

语法表

序列参数集RBSP语法

语义

sps_cclm_enabled_flag等于0指定禁用从亮度分量到色度分量的跨分量线性模型帧内预测。sps_cclm_enabled_flag等于1指定启用从亮度分量到色度分量的跨分量线性模型帧内预测。

解码过程

在INTRA_LT_CCLM、INTRA_L_CCLM和INTRA_T_CCLM帧内预测模式的8.4.4.2.8规范中

这一过程的输入是：

–帧内预测模式predModeIntra，

–当前变换块的左上方样点相对于当前图片的左上方样点的样点位置(xTbC，yTbC)，

–指定变换块宽度的变量nTbW，

–指定变换块高度的变量nTbH，

–色度邻近样点p[x][y]，其中x＝-1，y＝0..2*nTbH–1并且x＝0..2*nTbW–1，y＝-1。

这一过程的输出是预测样点predSamples[x][y]，其中x＝0..nTbW–1，y＝0..nTbH-1。

当前亮度位置(xTbY，yTbY)推导如下：

(xTbY,yTbY)＝(xTbC<<1,yTbC<<1) (8-156)

变量availL、availT和availTL推导如下：

–在当前色度位置(xCurr，yCurr)被设置为等于(xTbC，yTbC)以及邻近色度位置(xTbC-1，yTbC)作为输入的情况下，调用条款6.4.X[Ed.(BB)：邻近块可用性检查过程tbd]中规定的块的左侧邻近样点的可用性推导过程，并且该输出被分配给availL。

–在当前色度位置(xCurr，yCurr)被设置为等于(xTbC，yTbC)以及邻近色度位置(xTbC，YTbC-1)作为输入的情况下，调用条款6.4.X[Ed.(BB)：邻近块可用性检查过程tbd]中规定的块的上方邻近样点的可用性推导过程，并且输出被分配给availT。

–在当前色度位置(xCurr，yCurr)被设置为等于(xTbC，yTbC)以及邻近色度位置(XTbC-1，YTbC-1)作为输入的情况下，调用条款6.4.X[Ed.(BB)：邻近块可用性检查过程 tbd]中规定的块的左上方邻近样点的可用性推导过程，并且输出被分配给availTL。

–可用的右上方邻近色度样点的数量numTopRight推导如下：

–变量numTopRight被设置为等于0，并且availTR被设置为等于TRUE。

–当predModeIntra等于INTRA_T_CCLM时，对于x＝nTbW..2*nTbW-1，以下适用，直到availTR等于FALSE或x等于2*nTbW-1：

–在当前色度位置(xCurr，yCurr)被设置为等于(xTbC，yTbC)以及邻近色度位置(xTbC+x，yTbC-1)作为输入的情况下，调用条款6.4.X[Ed.(BB)：邻近块可用性检查过程 tbd]中规定的块的可用性推导过程，并且输出被分配给availableTR

–当availableTR等于TRUE时，numTopRight增加1。

–可用的左下方邻近色度样点的数量numLeftBelow推导如下：

–变量numLeftBelow被设置为等于0，并且availLB被设置为等于TRUE。

–当predModeIntra等于INTRA_L_CCLM时，对于y＝nTbH..2*nTbH-1，以下适用，直到availLB等于FALSE或y等于2*nTbH-1：

–在当前色度位置(xCurr，yCurr)被设置为等于(xTbC，yTbC)以及邻近色度位置(xTbC-1，yTbC+y)作为输入的情况下，调用条款6.4.X[Ed.(BB)：邻近块可用性检查过程 tbd]中规定的块的可用性推导过程，并且输出被分配给availableLB

–当availableLB等于TRUE时，numLeftBelow增加1。

上方和右上方的可用邻近色度样点的数量numTopSamp以及左方和左下的可用邻近色度样点的数量nLeftSamp推导如下：

–如果predModeIntra等于INTRA_LT_CCLM，则以下适用：

numSampT＝availT？nTbW:0 (8-157)

numSampL＝availL？nTbH:0 (8-158)

–否则，以下适用：

numSampT＝(availT&&predModeIntra＝＝INTRA_T_CCLM)？

(nTbW+Min(numTopRight,nTbH)):0 (8-159)

numSampL＝

(availL&&predModeIntra＝＝INTRA_L_CCLM)？

(nTbH+Min(numLeftBelow,nTbW)):0 (8-160)

变量bCTUboundary推导如下：

bCTUboundary＝(yTbC&(1<<(CtbLog2SizeY-1)-1)＝＝0)？

TRUE:FALSE。 (8-161)

变量cntN和阵列pickPosN[](其中N由L和T替换)推导如下：

–变量numIs4N被设置为等于((availT&&availL&&predModeIntra＝＝INTRA_LT_ CCLM)？0:1)。

–变量startPosN被设置为等于numSampN>>(2+numIs4N)。

–变量pickStepN被设置为等于Max(1,numSampN>>(1+numIs4N))。

–如果availN等于TRUE，并且predModeIntra等于INTRA_LT_CCLM或INTRA_N_CCLM，则cntN被设置为等于Min(numSampN,(1+numIs4N)<<1)，并且pickPosN[pos]被设置为等于 (startPosN+pos*pickStepN)，其中pos＝0..cntN–1。

–否则，cntN被设置为等于0。

预测样点predSamples[x][y]，其中x＝0..nTbW–1，y＝0..nTbH–1，推导如下：

–如果numSampL和numSampT都等于0，则以下适用：

predSamples[x][y]＝1<<(BitDepthC-1) (8-162)

–否则，以下有序步骤适用：

1.并置亮度样点pY[x][y](其中，x＝0..nTbW*2–1，y＝0..nTbH*2–1)被设置为等于位置(xTbY+x，yTbY+y)处的去方块滤波过程之前的重构亮度样点。

2.邻近亮度样点pY[x][y]推导如下：

–当numSampL大于0时，邻近左侧亮度样点pY[x][y](其中，x＝-1..-3,y＝0..2*numSampL-1)被设置为等于位置(xTbY+x，yTbY+y)处的去方块滤波过程之前的重构亮度样点。

–当numSampT大于0时，邻近上方亮度样点pY[x][y](其中，x＝0..2*numSampT-1,y＝-1,-2)被设置为等于位置(xTbY+x，yTbY+y)处的去方块滤波过程之前的重构亮度样点。

–当availTL等于TRUE时，邻近左上方亮度样点pY[x][y](其中，x＝-1，y＝-1,-2)被设置为等于位置(xTbY+x，yTbY+y)处的去方块滤波过程之前的重构亮度样点。

3.降采样后的并置亮度样点pDsY[x][y]，其中，

x＝0..nTbW-1,y＝0..nTbH–1，推导如下：

–如果sps_cclm_colocated_chroma_flag等于1，则以下适用：

–pDsY[x][y](其中，x＝1..nTbW-1,y＝1..nTbH-1)推导如下：

pDsY[x][y]＝(pY[2*x][2*y-1]+

pY[2*x-1][2*y]+4*pY[2*x][2*y]+pY[2*x+1][2*y]+

pY[2*x][2*y+1]+4)>>3 (8-163)

–如果availL等于TRUE，则pDsY[0][y]，其中，y＝1..nTbH–1，推导如下：

pDsY[0][y]＝(pY[0][2*y-1]+

pY[-1][2*y]+4*pY[0][2*y]+pY[1][2*y]+ (8-164)

pY[0][2*y+1]+4)>>3

–否则，pDsY[0][y](其中，y＝1..nTbH-1)推导如下：

pDsY[0][y]＝(pY[0][2*y-1]+2*pY[0][2*y]+pY[0][2*y+1]+2)>>2 (8-165)

–如果availT等于TURE，则pDsY[x][0]，其中，x＝1..nTbW–1，推导如下：

–否则，pDsY[x][0]，其中，x＝1..nTbW–1，推导如下：

pDsY[x][0]＝(pY[2*x-1][0]+2*pY[2*x][0]+

pY[2*x+1][0]+2)>>2 (8-167)

–如果availL等于TURE并且availT等于TURE，则pDsY[0][0]推导如下：

–否则，如果availL等于TURE并且availT等于FALSE，则pDsY[0][0]推导如下：

pDsY[0][0]＝(pY[-1][0]+2*pY[0][0]+

pY[1][0]+2)>>2 (8-169)

–否则，如果availL等于FALSE并且availT等于TURE，则pDsY[0][0]推导如下：

pDsY[0][0]＝(pY[0][-1]+2*pY[0][0]+

pY[0][1]+2)>>2 (8-170)

–否则(availL等于FALSE并且availT等于FALSE)，pDsY[0][0]推导如下：

pDsY[0][0]＝pY[0][0] (8-171)

–否则，以下适用：

–pDsY[x][y]，其中，x＝1..nTbW-1,y＝0..nTbH–1，推导如下：

pDsY[x][y]＝(pY[2*x-1][2*y]+pY[2*x-1][2*y+1]+2*pY[2*x][2*y]+2*pY[2*x][2*y+1]+pY[2*x+1][2*y]+pY[2*x+1][2*y+1]+4)>>3 (8-172)

–如果availL等于TURE，则pDsY[0][y]，其中，y＝0..nTbH–1，推导如下：

pDsY[0][y]＝(pY[-1][2*y]+pY[-1][2*y+1]+2*pY[0][2*y]+2*pY[0][2*y+1]+pY[1][2*y]+pY[1][2*y+1]+4)>>3 (8-173)

–否则，pDsY[0][y]，其中，y＝0..nTbH–1，推导如下：pDsY[0][y]＝(pY[0][2*y]+pY[0][2*y+1]+1)>>1 (8-174)

4.当numSampL大于0时，所选择的邻近左侧色度样点pSelC[idx]被设置为等于p[- 1][pickPosL[idx]]，其中，idx＝0..(cntL–1)，并且所选择的降采样后的邻近左侧亮度样点pSelDsY[idx]，其中，idx＝0..(cntL-1)，推导如下：

–变量y被设置为等于pickPosL[idx]。

–如果sps_cclm_colocated_chroma_flag等于1，则以下适用：

–如果y>0||availTL＝＝TRUE，

pSelDsY[idx]＝(pY[-2][2*y-1]+pY[-3][2*y]+4*pY[-2][2*y]+pY[-1][2*y]+pY [-2][2*y+1]+4)>>3 (8-175)

–否则：

pSelDsY[idx]＝(pY[-3][0]+2*pY[-2][0]+pY[-1][0]+2)>>2 (8-177)

–否则，以下适用：

pSelDsY[idx]＝(pY[-1][2*y]+pY[-1][2*y+1]+2*pY[-2][2*y]+2*pY[-2][2*y+1]+pY[-3][2*y]+pY[-3][2*y+1]+4)>>3 (8-178)

5.当numSampT大于0时，所选择的邻近上方色度样点pSelC[idx]被设置为等于p [pickPosT[idx–cntL]][-1]，其中，idx＝cntL..(cntL+cntT–1)，并且降采样后的邻近上方亮度样点pSelDsY[idx]，其中，idx＝0..(cntL+cntT–1)，指定如下：

–变量x被设置为等于pickPosT[idx–cntL]。

–如果sps_cclm_colocated_chroma_flag等于1，则以下适用：

–如果x>0：

–如果bCTUboundary等于FALSE，则以下适用：

pSelDsY[idx]＝(pY[2*x][-3]+

pY[2*x-1][-2]+4*pY[2*x][-2]+

pY[2*x+1][-2]+

pY[2*x][-1]+4)>>3 (8-179)

–否则(bCTUboundary等于TRUE)，以下适用：

pSelDsY[idx]＝(pY[2*x-1][-1]+

2*pY[2*x][-1]+

pY[2*x+1][-1]+2)>>2 (8-180)

–否则：

–如果availTL等于TRUE，并且bCTUboundary等于FALSE，则以下适用：

pSelDsY[idx]＝(pY[0][-3]+

pY[-1][-2]+4*pY[0][-2]+pY[1][-2]+

pY[0][-1]+4)>>3 (8-181)

–否则，如果availTL等于TRUE，并且bCTUboundary等于TRUE，则以下适用：

pSelDsY[idx]＝(pY[-1][-1]+

2*pY[0][-1]+

pY[1][-1]+2)>>2 (8-182)

–否则，如果availTL等于FALSE，并且bCTUboundary等于FALSE，则以下适用：

pSelDsY[idx]＝(pY[0][-3]+2*pY[0][-2]+

pY[0][-1]+2)>>2 (8-183)

–否则(availTL等于FALSE，并且bCTUboundary等于TRUE)，以下适用：

pSelDsY[idx]＝pY[0][-1] (8-184)

–否则，以下适用：

–如果x>0：

–如果bCTUboundary等于FALSE，则以下适用：

pSelDsY[idx]＝(pY[2*x-1][-2]+

pY[2*x-1][-1]+2*pY[2*x][-2]+2*pY[2*x

][-1]+pY[2*x+1][-2]+

pY[2*x+1][-1]+4)>>3 (8-185)

–否则(bCTUboundary等于TRUE)，以下适用：

pSelDsY[idx]＝(pY[2*x-1][-1]+

2*pY[2*x][-1]+

pY[2*x+1][-1]+2)>>2 (8-186)

–否则：

–如果availTL等于TRUE，并且bCTUboundary等于FALSE，则以下适用：

pSelDsY[idx]＝(pY[-1][-2]+pY[-1][-1]+

2*pY[0][-2]+2*pY[0][-1]+

pY[1][-2]+pY[1][-1]+4)>>3 (8-187)

pSelDsY[idx]＝(pY[-1][-1]+

2*pY[0][-1]+pY[1][-1]+2)>>2 (8-188)

pSelDsY[idx]＝(pY[0][-2]+

pY[0][-1]+1)>>1 (8-189)

–否则(availTL等于FALSE，并且bCTUboundary等于TRUE)，以下适用：

pSelDsY[idx]＝pY[0][-1] (8-190)

6.当cntT+cntL不等于0时，变量minY、maxY、minC和maxC推导如下：

–当cntT+cntL等于2时，将pSelComp[3]设置为等于pSelComp[0]，pSelComp[2]设置为等于pSelComp[1]，pSelComp[0]设置为等于pSelComp[1]，pSelComp[1]设置为等于 pSelComp[3]，其中Comp由DsY和C替换。

–阵列minGrpIdx和maxGrpIdx设置为：minGrpIdx[0]＝0、minGrpIdx[1]＝2、 maxGrpIdx[0]＝1、maxGrpIdx[1]＝3。

–如果pSelDsY[minGrpIdx[0]]>pSelDsY[minGrpIdx[1]]，Swap(minGrpIdx[0], minGrpIdx[1])。

–如果pSelDsY[maxGrpIdx[0]]>pSelDsY[maxGrpIdx[1]]，Swap(maxGrpIdx[0], maxGrpIdx[1])。

–如果pSelDsY[minGrpIdx[0]]>pSelDsY[maxGrpIdx[1]]，Swap(minGrpIdx, maxGrpIdx)。

–如果pSelDsY[minGrpIdx[1]]>pSelDsY[maxGrpIdx[0]]，Swap(minGrpIdx[1], maxGrpIdx[0])。

–maxY＝(pSelDsY[maxGrpIdx[0]]+pSelDsY[maxGrpIdx[1]]+1)>>1。

–maxC＝(pSelC[maxGrpIdx[0]]+pSelC[maxGrpIdx[1]]+1)>>1。

–minY＝(pSelDsY[minGrpIdx[0]]+pSelDsY[minGrpIdx[1]]+1)>>1。

–minC＝(pSelC[minGrpIdx[0]]+pSelC[minGrpIdx[1]]+1)>>1。

7.变量a、b和k推导如下：

–如果numSampL等于0，并且numSampT等于0，则以下适用：

k＝0 (8-208)

a＝0 (8-209)

b＝1<<(BitDepthC-1) (8-210)

–否则，以下适用：

diff＝maxY–minY (8-211)

–如果diff不等于0，则以下适用：

diffC＝maxC-minC (8-212)

x＝Floor(Log2(diff)) (8-213)

normDiff＝((diff<<4)>>x)&15 (8-214)

x+＝(normDiff！＝0)？1:0 (8-215)

y＝Floor(Log2(Abs(diffC)))+1 (8-216)

a＝(diffC*(divSigTable[normDiff]|8)+2^y-1)>>y

(8-217)

k＝((3+x-y)<1)？1:3+x-y (8-218)

a＝((3+x-y)<1)？Sign(a)*15:a(8-219)

b＝minC-((a*minY)>>k) (8-220)

其中，divSigTable[]指定如下：

divSigTable[]＝{0,7,6,5,5,4,4,3,3,2,2,1,1,1,1,0} (8-221)

–否则(diff等于0)，以下适用：

k＝0 (8-222)

a＝0 (8-223)

b＝minC (8-224)

8.预测样点predSamples[x][y]，其中，x＝0..nTbW-1,y＝0..nTbH–1，推导如下：

predSamples[x][y]＝Clip1C(((pDsY[x][y]*a)>>k)+b)

(8-225)

2.2.3.3杂项帧内预测方面

VTM4包括很多不同于HEVC的帧内编解码工具，例如，以下特征已被包含到VVC测试模型3中加于块树结构之上。

·67种帧内模式连同宽角度模式扩展

·块尺寸和模式相关4抽头插值滤波器

·位置相关帧内预测组合(position dependent intra predictioncombination，PDPC)

·跨分量线性模型帧内预测

·多参考线帧内预测

·帧内子分割

2.2.4VVC中的帧间预测

2.2.4.1组合帧间和帧内预测(combined inter and intra prediction，CIIP)

在VTM4中，当在merge模式下对CU编解码时，并且如果CU含有至少64个亮度样点(也就是说，CU宽度乘以CU高度等于或者大于64)，那么信令通知附加的标志，以指示是否对当前CU应用组合帧间/帧内预测(CIIP)。

为了形成CIIP预测，首先由两个附加语法元素推导出帧内预测模式。可以采用多达四种可能的帧内预测模式：DC、平面、水平或垂直。之后，使用常规的帧内和帧间解码过程推导帧间预测和帧内预测信号。最后，执行对帧间和帧内预测信号的加权求均值，以获得CIIP预测。

2.2.4.2杂项帧间预测方面

VTM4包括很多不同于HEVC的帧间编解码工具，例如，以下特征包含到了VVC测试模型3当中加于块树结构之上。

·仿射运动帧间预测

·基于子块的时域运动矢量预测

·自适应运动矢量分辨率

·用于时域运动预测的基于8x8块的运动压缩

·针对亮度分量采用8抽头插值滤波器以及针对色度分量采用4抽头插值滤波器的高分辨率(1/16像素)运动矢量存储和运动补偿

·三角形分割

·组合帧内和帧间预测

·采用MVD的Merge(MMVD)

·对称MVD编解码

·双向光流

·解码器侧运动矢量细化

·双向预测加权求均值

2.2.5环路滤波器

在VTM4中总共有三个环路滤波器。除了去方块滤波器和SAO(HEVC中的两个环路滤波器)之外，在VTM4中还应用自适应环路滤波器(ALF)。VTM4中的滤波过程的顺序是去方块滤波器、SAO和ALF。

在VTM4中，SAO和去方块滤波过程与HEVC中的那些过程几乎相同。

在VTM4中，添加了被称为“带有色度缩放的亮度映射”的新过程(这一过程先前被称为自适应环路整形器)。在去方块之前执行这一新过程。

2.2.6带有色度缩放的亮度映射(LMCS，又名环路整形)

在VTM4中，添加了被称为带有色度缩放的亮度映射(luma mapping withchromascaling，LMCS)的编解码工具作为环路滤波器之前的新处理块。LMCS具有两个主要构成部分：1)基于自适应分段线性模型的亮度分量的环路映射；2)对于色度分量，应用亮度相关的色度残差缩放。图4示出了来自解码器视角的LMCS架构。图4中的虚线阴影块指示在映射域中何处应用该处理；并且这些包括逆量化、逆变换、亮度帧内预测以及将亮度预测与亮度残差加到一起。图4中的无阴影块指示在原始(即，未映射)域中何处应用该处理；并且这些包括诸如去方块、ALF和SAO的环路滤波器、运动补偿预测、色度帧内预测、将色度预测与色度残差加到一起以及将解码图片作为参考图片存储。图4中的交叉影线阴影块是新的LMCS功能块，包括亮度信号的正向映射和逆向映射以及亮度相关的色度缩放过程。像VVC中大部分其他工具一样，可以使用SPS标志在序列级上启用/禁用LMCS。

2.2.6.1采用分段线性模型的亮度映射

亮度分量的环路映射通过对跨输入信号的动态范围的码字进行重新分布而对该动态范围加以调整，从而提高压缩效率。亮度映射利用了正向映射函数FwdMap和对应的逆映射函数InvMap。使用具有16个相等片段的分段线性模型信令通知FwdMap函数。不必对InvMap函数信令通知，相反其由FwdMap函数推导。

在片组级上信令通知亮度映射模型。首先信令通知存在标志。如果在当前片组中存在亮度映射模型，则信令通知对应的分段线性模型参数。分段线性模型将输入信号的动态范围分割成16个相等片段，并且对于每一片段，使用分配给该片段的码字的数量表示其线性映射参数。以10比特输入为示例。默认情况下，16个片段的每个具有分配给它的64个码字。使用信令通知的码字数量计算缩放因子，并且相应地，对于该片段，调整映射函数。在片组级上，信令通知另一LMCS启用标志，以指示是否对当前片组应用如图4所示的LMCS过程。

FwdMap分段线性模型的每一第i片段(i＝0…15)由两个输入轴点InputPivot[]和两个输出(映射后)轴点MappedPivot[]定义。

如下计算InputPivot[]和MappedPivot[](假定10比特视频)：

1)OrgCW＝64

2)对于i＝0:16，InputPivot[i]＝i*OrgCW

3)对于i＝0:16，如下计算MappedPivot[i]：

MappedPivot[0]＝0；

for(i＝0；i<16；i++)

MappedPivot[i+1]＝MappedPivot[i]+SignalledCW[i]

其中，SignalledCW[i]是第i片段的信令通知码字数量。

如图4所示，对于帧间编解码块，在映射域内执行运动补偿预测。换言之，在基于DPB中的参考信号计算出运动补偿预测块Y_pred之后，应用FwdMap函数，从而将原始域内的亮度预测块映射至映射域Y′_pred＝FwdMap(Y_pred)。对于帧内编解码块，不应用FwdMap函数，因为帧内预测是在映射域内执行的。在计算了重建块Y_r之后，应用InvMap函数，从而将映射域内的重建亮度值转换回原始域

内的重建亮度值。对帧内和帧间编解码亮度块均应用InvMap函数。

可以采用查找表(LUT)或者采用即时计算来实施亮度映射过程(正向映射和/或逆向映射)。如果采用LUT，那么可以预先计算并且预先存储FwdMapLUT和InvMapLUT，以供在片组级上使用，并且可以简单地将正向映射和逆向映射分别实施为FwdMap(Y_pred)＝FwdMapLUT[Y_pred]和InvMap(Y_r)＝InvMapLUT[Y_r]。可替换地，可以使用即时计算。以正向映射函数FwdMap为例。为了断定亮度样点属于哪一片段，使样点值向右移位6比特(其对应于16个相等片段)。之后，检索并且即时应用该片段的线性模型参数，以计算出映射后的亮度值。令i为片段索引，a1、a2分别为InputPivot[i]和InputPivot[i+1]，并且b1、b2分别为MappedPivot[i]和MappedPivot[i+1]。如下估算FwdMap函数：

FwdMap(Y_pred)＝((b2-b1)/(a2-a1))*(Y_pred-a1)+b1

可以按照类似的方式计算InvMap函数，只是在断定样点值所属的片段时需要应用条件性检查，而非简单地向右移位，因为映射域内的片段不是相等尺寸的。

2.2.6.2亮度相关的色度残差缩放

色度残差缩放被设计为补偿亮度信号与其对应的色度信号之间的相互作用。在片组级上也会信令通知是否启用色度残差缩放。如果启用亮度映射并且如果不对当前片组应用双重树分割(又称为单独色度树)，那么信令通知附加标志，以指示是否启用亮度相关的色度残差缩放。在不使用亮度映射时，或者当在当前片组中使用双重树分割时，禁用亮度相关的色度残差缩放。此外，对于其面积小于或者等于4的色度块始终禁用亮度相关的色度残差缩放。

色度残差缩放取决于对应亮度预测块的平均值(对于帧内编解码块和帧间编解码块两者)。将avgY′表示成亮度预测块的平均值。按照下述步骤计算C_ScaleInv的值：

1)基于InvMap函数找到avgY′所属的分段线性模型的索引Y_Idx。

2)C_ScaleInv＝cScaleInv[Y_Idx]，其中，cScaleInv[]是预先计算的16片段LUT。

如果当前块被编解码成帧内、CIIP或帧内块复制(IBC，又名当前图片引用或CPR)模式，那么将avgY′计算为帧内预测亮度值、CIIP预测亮度值或IBC预测亮度值的平均值；否则将avgY′计算为正向映射帧间预测亮度值的平均值(图4中的Y′_pred)。与在样点基础上执行的亮度映射不同，对于整个色度块，C_ScaleInv为常数值。借助于C_ScaleInv，如下应用色度残差缩放：

编码器侧：C_ResScale＝C_Res*C_Scale＝C_Res/C_ScaleInv

解码器侧：C_Res＝C_ResScale/C_Scale＝C_ResScale*C_ScaleInv

2.2.6.3JVET-M1001_v7中的对应工作草案，连同JVET-N0220中的采纳方案

下文的规范基于JVET-M1001的修改后的工作草案和JVET-N0220中的采纳方案。通过粗体和下划线示出了所采纳的JVET-N0220中的修改。

语法表

在7.3.2.1序列参数集RBSP语法中

在7.3.4.1一般片组标头语法中

在7.3.4.4带有色度缩放的亮度映射数据语法中

语义

在7.4.3.1序列参数集RBSP语义中

sps_lmcs_enabled_flag等于1指定在CVS中使用带有色度缩放的亮度映射。sps_lmcs_enabled_flag等于0指定在CVS中不使用带有色度缩放的亮度映射。

tile_group_lmcs_model_present_flag等于1指定在片组标头中存在lmcs_data()。tile_group_lmcs_model_present_flag等于0指定在片组标头中不存在lmcs_data()。在tile_group_lmcs_model_present_flag不存在时，推断其等于0。

tile_group_lmcs_enabled_flag等于1指定对当前片组启用带有色度缩放的亮度映射。tile_group_lmcs_enabled_flag等于0指定对当前片组不启用带有色度缩放的亮度映射。在tile_group_lmcs_enabled_flag不存在时，推断其等于0。

tile_group_chroma_residual_scale_flag等于1指定对当前片组启用色度残差缩放。tile_group_chroma_residual_scale_flag等于0指定对当前片组不启用色度残差缩放。在tile_group_chroma_residual_scale_flag不存在时，推断其等于0。

在7.4.5.4带有色度缩放的亮度映射数据语义中

lmcs_min_bin_idx指定在带有色度缩放的亮度映射构建过程中使用的最小二进制索引。lmcs_min_bin_idx的值应当在0到15的范围内，包括0和15。

lmcs_delta_max_bin_idx指示15与在带有色度缩放的亮度映射构建过程中使用的最大二进制索引LmcsMaxBinIdx之间的Δ值。lmcs_delta_max_bin_idx的值应当在0到15的范围内，包括0和15。将LmcsMaxBinIdx的值设置为等于15-lmcs_delta_max_bin_idx。LmcsMaxBinIdx的值应当大于或等于lmcs_min_bin_idx。

lmcs_delta_cw_prec_minus1加1指定用于表示语法lmcs_delta_abs_cw[i]的比特的数量。lmcs_delta_cw_prec_minus1的值应当在0到BitDepthY-2的范围内，包括0和BitDepthY-2。

lmcs_delta_abs_cw[i]指定第i二进制位的绝对Δ码字值。

lmcs_delta_sign_cw_flag[i]如下指定变量lmcsDeltaCW[i]的符号：

–如果lmcs_delta_sign_cw_flag[i]等于0，那么lmcsDeltaCW[i]为正值。

–否则(lmcs_delta_sign_cw_flag[i]不等于0)，lmcsDeltaCW[i]为负值。

当lmcs_delta_sign_cw_flag[i]不存在时，那么推断其等于0。

如下推导变量OrgCW：

OrgCW＝(1<<BitDepthY)/16 (7-70)

如下推导变量lmcsDeltaCW[i]，其中，i＝lmcs_min_bin_idx..LmcsMaxBinIdx：

lmcsDeltaCW[i]＝(1-2*lmcs_delta_sign_cw_flag[i])*

lmcs_delta_abs_cw[i] (7-71)

如下推导变量lmcsCW[i]：

–对于i＝0..lmcs_min_bin_idx-1，将lmcsCW[i]设置为等于0。

–对于i＝lmcs_min_bin_idx..LmcsMaxBinIdx，以下内容适用：

lmcsCW[i]＝OrgCW+lmcsDeltaCW[i] (7-72)

lmcsCW[i]的值应当在(OrgCW>>3)到(OrgCW<<3-1)的范围内，

包含端点。

–对于i＝LmcsMaxBinIdx+1..15，将lmcsCW[i]设置为等于0。

以下条件为真是比特流一致性的要求：

如下推导变量InputPivot[i]，其中，i＝0..16：

InputPivot[i]＝i*OrgCW (7-74)

如下推导变量LmcsPivot[i](其中，i＝0..16)以及变量ScaleCoeff[i]和InvScaleCoeff[i](其中，i＝0..15)：

LmcsPivot[0]＝0；

for(i＝0；i<＝15；i++){

LmcsPivot[i+1]＝LmcsPivot[i]+lmcsCW[i]

ScaleCoeff[i]＝(lmcsCW[i]*(1<<11)+(1<<(Log2(OrgCW)-1)))>>(Log2 (OrgCW))(7-75)

if(lmcsCW[i]＝＝0)

InvScaleCoeff[i]＝0

else

InvScaleCoeff[i]＝OrgCW*(1<<11)/lmcsCW[i]

}

如下推导变量ChromaScaleCoeff[i]，其中，i＝0…15：

if(lmcsCW[i]＝＝0)

ChromaScaleCoeff[i]＝(1<<11)

else{

ChromaScaleCoeff[i]＝InvScaleCoeff[i]

}

如下推导变量ClipRange、LmcsMinVal和LmcsMaxVal：

ClipRange＝((lmcs_min_bin_idx>0)&&(LmcsMaxBinIdx<15) (7-77)

LmcsMinVal＝16<<(BitDepthY-8) (7-78)

LmcsMaxVal＝235<<(BitDepthY-8) (7-79)

注意–仅当tile_group_lmcs_model_present_flag等于1时更新数组InputPivot[i]和LmcsPivot[i]、ScaleCoeff[i]以及InvScaleCoeff[i]、ChromaScaleCoeff[i]、ClipRange、LmcsMinVal和LmcsMaxVal。因而，例如，可以将lmcs模型与IRAP图片一起发送，但是对该IRAP图片禁用lmcs。

3.现有实施方式的缺点

LMCS/CCLM的当前设计可能具有以下问题：

1.在LMCS编解码工具中，通过并置亮度预测块的平均值推导色度残差缩放因子，其引起了在LMCS色度残差缩放中处理色度样点的延迟。

a)就单一/共享树而言，该延迟是由(a)等待整个亮度块的所有预测样点可用，和(b)对通过(a)获得的所有亮度预测样点求平均而导致的。

b)就双重/单独树而言，由于在I条带中启用了针对亮度分量和色度分量的单独块分割结构，因而延迟更加严重。因此，一个色度块可以对应于多个亮度块，并且一个4x4色度块可以对应于64x64亮度块。因此，最坏的情况是当前4x4色度块的色度残差缩放因子可能需要一直等到整个64x64亮度块中的所有预测样点都可用为止。简言之，双重/单独树中的延迟问题会严重得多。

2.在CCLM编解码工具中，用于帧内色度预测的CCLM模型计算取决于亮度块和色度块两者的左侧和上方参考样点。并且，色度块的CCLM预测取决于相同CU的并置亮度重建样点。这会在双重/单独树内导致高延迟。

·就双重/单独树而言，一个4x4色度块可以对应于64x64亮度块。因此，最坏的情况是当前色度块的CCLM过程可能需要一直等到对应的整个64x64亮度块被重建为止。这种延迟问题与双重/单独树中的LMCS色度缩放类似。

4.示例技术和实施例

为了解决这些问题，我们提出了几种方法，用以消除/减少/限制亮度相关色度残差缩放、CCLM和其他依赖于来自不同颜色分量的信息的编解码工具中的跨分量依赖性。

下文描述的详细实施例应被视为解释一般原理的示例。不应狭义地解释这些实施例。此外，这些实施例可以以任何方式组合。

注意，尽管下文描述的项目符号明确提及了LMCS/CCLM，但是这些方法也可以适用于其他依赖于来自不同颜色分量的信息的编解码工具。此外，可以分别通过“第一颜色分量”和“第二颜色分量”(诸如RBG颜色格式中的“G分量”和“B/R分量”)代替下文提及的术语“亮度”和“色度”。

在下文的讨论中，“并置样点/块”的定义与VVC工作草案JVET-M1001中的并置样点/块的定义一致。更具体而言，在4:2:0颜色格式中，假设色度块的左上样点处于位置(xTbC,yTbC)处，那么如下推导该左上样点的并置亮度块位置(xTbY,yTbY)：(xTbY,yTbY)＝(xTbC<<1,yTbC<<1)。如图5所示，当前色度块的左上样点位于色度图片中的(x＝16,y＝16)处，然后其并置亮度块的左上样点位于亮度图片中的(x＝32,y＝32)处，而不管亮度图片中的并置亮度块的块分割如何。作为另一示例，设想在相同颜色分量中，参考帧内的并置块的左上样点的位置应当与当前帧中的当前块的左上样点的位置相同，如图6所示，假设当前块的左上样点为当前帧中的(x,y)，那么当前块的并置块的左上样点在参考帧内具有相同位置(x,y)。

在下文的讨论当中，“对应块”可以具有不同于当前块的位置。例如，在当前块与其在参考帧中的对应块之间可能存在运动移位。如图6所示，假设当前块在当前帧中位于(x,y)处并且其具有运动矢量(mv_x,mv_y)，那么当前块的对应块可能在参考帧中位于(x+mv_x,y+mv_y)处。并且，对于IBC编解码块而言，并置亮度块(由零矢量所指)和对应亮度块(由非零BV(块矢量)所指)可以位于当前帧的不同地方。作为另一示例，当亮度块的分割与色度块的分割不一致时(在I条带的双重树分割当中)，当前色度块的并置亮度块可以属于较大亮度块，这取决于覆盖该并置亮度块的左上样点的重叠亮度编解码块的分割尺寸。如图5所示，假设粗线矩形表示块的分割，使得64×64亮度块首先按照BT(二叉树)划分，之后64×64亮度块的右侧部分进一步按照TT(三叉树)划分，这样产生了尺寸分别等于32×16、32×32、32×16的三个亮度块。因此，看到当前色度块的并置亮度块的左上样点(x＝32,y＝32)，它属于TT分割的中心32×32亮度块。在这种情况下，我们将覆盖并置亮度块的左上样点的对应亮度块称为“对应亮度块”。因此，在这一示例中，对应亮度块的左上样点位于(x＝32,y＝16)处。

在下文中，使用DMVD(解码器侧运动矢量推导)表示BDOF(又名BIO)或/和DMVR(解码侧运动矢量细化)或/和FRUC(帧速率上转换)或/和其他在解码器处细化运动矢量或/和预测样点值的方法。

LMCS的色度缩放延迟的去除和CCLM的模型计算1.提出了对于帧间编解码块，可以使用当前块在参考帧中的一个或多个参

考样点来推导LMCS模式中的色度残差缩放因子。

a)在一个示例中，可以直接使用参考亮度样点推导色度残差缩放因子。i.替代性地，可以首先对参考样点应用插值，并且可以使用经插值的样点推导色度残差缩放因子。

ii.替代性地，可以采用不同参考帧中的参考样点推导用于色度残差缩放因子推导的最终参考样点。

1)在一个示例中，对于双向预测编解码块，可以应用上述方法。

iii.在一个示例中，可以在参考样点用于推导色度残差缩放因子之前，将参考样点的强度转换至整形域。

iv.在一个示例中，可以使用参考样点的线性组合来推导色度残差缩放因子。

1)例如，可以采用a×S+b推导色度残差缩放因子，其中，S是参考样点，a和b是参数。在一个示例中，可以通过局部照明补偿(LIC)推导a和b。

b)在一个示例中，参考帧中的参考亮度样点的位置可以取决于当前块的(多个)运动矢量。

i.在一个示例中，参考样点属于参考亮度块，该参考亮度块处于参考图片内，并且具有与当前亮度块相同的宽度和高度。可以将参考图片中的参考亮度样点的位置计算为其对应亮度样点在当前图片中的位置加上运动矢量。

ii.在一个示例中，可以通过当前亮度块的左上(或中心或右下)样点的位置和当前块的运动矢量推导参考亮度样点(其被称为参考帧中的对应亮度样点)的位置。

1)在一个示例中，可以使用整数运动矢量来推导参考帧中的对应亮度样点。在一个示例中，可以对与一个块相关联的运动矢量进行朝向零的取整，或者进行背离零的取整，以推导出整数运动矢量。

2)替代性地，可以使用分数运动矢量来推导参考帧中的对应亮度样点，从而可能需要插值过程来推导分数参考样点。

iii.替代性地，可以通过当前亮度块的左上(或中心或右下)样点的位置推导参考亮度样点的位置。

iv.替代性地，可以挑选参考帧中的一些预定义位置上的多个对应亮度样点来计算色度残差缩放因子。

c)在一个示例中，可以采用多个参考亮度样点的中值或平均值来推导色度残差缩放因子。

d)在一个示例中，可以采用预定义参考帧中的参考亮度样点来推导色度残差缩放因子。

i.在一个示例中，预定义参考帧可以是其参考索引等于参考图片列表0的0的一个参考帧。

ii.替代性地，可以在序列/图片/片组/条带/片/CTU行/视频单元级中信令通知预定义参考帧的参考索引和/或参考图片列表。

iii.替代性地，可以推导多个参考帧中的参考亮度样点，并且可以采用平均值或者加权平均值得到色度残差缩放因子。

2.提出了在LMCS模式中是否以及如何由亮度样点推导色度残差缩放因子可以取决于当前块是否应用双向预测。

a)在一个示例中，针对每一预测方向单独推导色度残差缩放因子。

3.提出了在LMCS模式中是否以及如何由亮度样点推导色度残差缩放因子可以取决于当前块是否应用基于子块的预测。

a)在一个示例中，基于子块的预测是仿射预测；

b)在一个示例中，基于子块的预测是可选时域运动矢量预测(ATMVP)。

c)在一个示例中，针对每一子块单独推导色度残差缩放因子。

d)在一个示例中，针对整个块推导色度残差缩放因子，即使其是通过子块预测的。

i.在一个示例中，可以采用一个所选择的子块(或者左上子块)的运动矢量来识别当前块的参考样点，如项目符号1中所述。

4.提出了用于推导色度残差缩放因子的亮度预测值可以是中间亮度预测值而非最终亮度预测值。

a)在一个示例中，可以采用在双向光流(BDOF，又名BIO)的过程之前的亮度预测值来推导色度残差缩放因子。

b)在一个示例中，可以采用在解码器侧运动矢量细化(DMVR)的过程之前的亮度预测值来推导色度残差缩放因子。

c)在一个示例中，可以采用在LIC的过程之前的亮度预测值来推导色度残差缩放因子。

d)在一个示例中，可以采用预测细化光流(PROF)的过程之前的亮度预测值来推导色度残差缩放因子。

5.可以采用中间运动矢量来识别参考样点。

a)在一个示例中，可以采用在BDOF或/和DMVR或/和其他DMVD方法的过程之前的运动矢量来识别参考样点。

b)在一个示例中，可以采用在如JVET-N0236中提出的预测细化光流(PROF)的过程之前的运动矢量来识别参考样点。

6.当用帧间模式对当前块编解码时，上述方法可以是适用的。

7.提出了对于IBC编解码块，可以采用当前帧的参考块中的一个或多个参考样点来推导LMCS模式中的色度残差缩放因子。当该块是IBC编解码时，术语“运动矢量”还可以被称为“块矢量”，其中，将参考图片设置为当前图片。

a)在一个示例中，参考样点属于参考块，参考块处于当前图片内，并且具有与当前块相同的宽度和高度。可以将参考样点的位置计算为其对应样点的位置加上运动矢量。

b)在一个示例中，可以通过当前亮度块的左上(或中心，或右下)样点的位置加上运动矢量来推导参考亮度样点的位置。

c)替代性地，可以通过当前亮度块的左上(或中心，或右下)样点的位置加上当前块的块矢量来推导参考亮度样点的位置。

d)替代性地，可以挑选在当前亮度块的参考区域中的一些预定义位置处的多个对应亮度样点来计算色度残差缩放因子。

e)在一个示例中，可以用函数推导多个对应亮度样点，以推导色度残差缩放因子。

i.例如，可以计算多个对应亮度样点的中值或平均值来推导色度残差缩放因子。

f)在一个示例中，可以在参考样点用于推导色度残差缩放因子之前，将参考样点的强度转换至整形域。

i.替代性地，可以在参考样点用于推导色度残差缩放因子之前，将参考样点的强度转换至原始域。

8.提出了可以采用位于当前帧中的当前亮度块的所识别的(多个)位置上的一个或多个预测/重建样点来推导LMCS模式中的用于当前色度块的色度残差缩放因子。

a)在一个示例中，如果当前块是帧间编解码的，那么可以挑选位于当前亮度块的中心的亮度预测(或重建)样点来推导色度残差缩放因子。

b)在一个示例中，可以挑选第一MxN亮度预测(或重建)样点的平均值来推导色度残差缩放因子，其中，MxN可以小于并置亮度块尺寸widthxheight。

9.提出了用于计算CCLM模型的流程的全部或部分可以用于LMCS模式中的当前色度块的色度残差缩放因子推导。

a)在一个示例中，可以利用在CCLM模型参数推导过程中位于并置亮度块的所识别的邻近亮度样点的位置上的参考样点来推导色度残差缩放因子。

i.在一个示例中，可以直接采用那些参考样点。

ii.替代性地，可以对那些参考样点应用降采样，并且可以应用降采样后的参考样点。

b)在一个示例中，可以将为CCLM模型计算而选择的S个参考样点中的K个参考样点用于LMCS模式中的色度残差缩放因子推导。例如，K等于1，并且S等于4。

c)在一个示例中，可以将CCLM模式中的并置亮度块的参考样点的平均值/最小值/最大值用于LMCS模式中的色度残差缩放因子推导。

10.如何选择用于色度残差缩放因子的推导的样点可以取决于当前块的编解码信息。

a)编解码信息包括QP、编解码模式、POC、帧内预测模式、运动信息等。

b)在一个示例中，对于IBC编解码块或非IBC编解码块，选择样点的方式可以是不同的。

c)在一个示例中，选择样点的方式可以基于参考图片信息(例如，参考图片与当前图片之间的POC距离)而不同。

11.提出了色度残差缩放因子和/或CCLM的模型计算可以取决于覆盖并置亮度块的左上样点的对应亮度块的邻近样点。在本发明中，“编解码块”可以指代HEVC规范或者VVC工作草案中规定的视频编解码区域，诸如CU/TU/PU。

a)可以将“对应亮度编解码块”定义为覆盖并置亮度编解码块的左上位置的编解码块。

i.图5示出了一个示例，其中，对于双树情况中的帧内编解码色度块，色度分量的CTU分割可以不同于亮度分量的CTU分割。首先，检索覆盖当前色度块的并置亮度块的左上样点的“对应亮度编解码块”。之后，通过使用“对应亮度编解码块”的块尺寸信息，可以推导“对应亮度编解码块”的左上样点，覆盖并置亮度块的左上样点的“对应亮度编解码块”的左上亮度样点位于(x＝32,y＝16)处。

b)在一个示例中，可以需要块尺寸/分割/位置/坐标来推导覆盖并置亮度编解码块的左上样点的“对应亮度编解码块”的位置。

i.在一个示例中，可以对于指定颜色分量(例如，亮度分量)的每一块，存储块尺寸和/或块分割和/或块坐标。

ii.在一个示例中，“对应亮度编解码块”和当前块可以总是处于同一CTU或CTU行内，因此在线缓冲区内可以不存储块尺寸/分割/位置/坐标。

c)在一个示例中，可以采用不在“对应亮度编解码块”内的重建样点来推导色度残差缩放因子和/或CCLM的模型计算。

i.在一个示例中，可以采用与“对应亮度编解码块”毗邻的重建样点推导色度残差缩放因子和/或CCLM的模型计算。

1)在一个示例中，可以采用位于“对应亮度编解码块”的左方邻近列和/或上方邻近行处的N个样点来推导色度残差缩放因子和/或CCLM的模型计算，其中，N＝1…2W+2H，W和H是“对应亮度编解码块”的宽度和高度。

a)假定“对应亮度编解码块”的左上样点是(xCb,yCb)，那么在一个示例中，上方邻近亮度样点可以位于(xCb+W/2,yCb-1)或(xCb-1,yCb-1)处。在替代示例中，左侧邻近亮度样点可以位于(xCb+W-1,yCb-1)处。

b)在一个示例中，(多个)邻近样点的(多个)位置可以是固定的和/或具有预定义检查顺序。

2)在一个示例中，可以选择N个邻近样点中的一个样点来推导色度残差缩放因子和/或CCLM的模型计算。假设N＝3，并且三个邻近样点的检查顺序为(xCb-1,yCb-H-1)、(xCb+W/2,yCb-1)、(xCb-1,yCb-1)，那么可以选择检查列表中的第一可用邻近样点来推导色度残差缩放因子。

3)在一个示例中，可以采用位于“对应亮度编解码块”的左侧邻近列和/或上侧邻近行处的N个样点的中值或平均值来推导色度残差缩放因子和/或CCLM的模型计算，其中，N＝1…2W+2H，W和H是“对应亮度编解码块”的宽度和高度。

d)在一个示例中，是否执行色度残差缩放可以取决于对应亮度块的“可用”邻近样点。

i.在一个示例中，邻近样点的“可用性”可以取决于当前块/子块的编码模式或/和邻近样点的编码模式。

1)在一个示例中，对于按照帧间模式编解码的块，可以认为按照帧内模式或/和IBC模式或/和CIIP模式或/和LIC模式编解码的邻近样点是“不可用的”。

2)在一个示例中，对于按照帧间模式编解码的块，可以认为采用扩散滤波器或/和双边滤波器或/和哈达玛(Hadamard)变换滤波器的邻近样点是“不可用的”。

ii.在一个示例中，邻近样点的“可用性”可以取决于当前图片/片/片组/VPDU/条带的宽度和/或高度。

1)在一个示例中，如果邻近块位于当前图片外，那么将其作为“不可用”来对待。

iii.在一个示例中，在没有“可用”邻近样点时，可以不允许色度残差缩放。

iv.在一个示例中，在“可用”邻近样点的数量小于K(K>＝1)时，可以不允许色度残差缩放。

v.替代性地，可以通过默认固定值、或填补、或替换来填充不可用的邻近样点，以使得总是可以应用色度残差缩放。

1)在一个示例中，如果邻近样点不可用，那么可以通过1<<(bitDepth-1)对其填充，其中，bitDepth指定亮度/色度分量的样点的比特深度。

2)替代性地，如果邻近样点不可用，那么可以通过由位于左侧/右侧/顶部/底部邻近的周围样点进行填补而对其进行填充。

3)替代性地，如果邻近样点不可用，那么可以由第一可用毗邻样点按照预定义检查顺序对其进行替代。

4)替代性地，如果邻近样点不可用，那么可以通过预定义的经滤波/映射的值(例如，1<<(bitDepth-1)的经滤波/映射的值，其中，bitDepth指定亮度/色度分量的样点的比特深度)对其填充。

a)在一个示例中，该滤波/映射过程可以是LMCS的正向映射的LUT索引。

e)在一个示例中，是否以及如何执行色度残差缩放可以取决于当前块的编解码模式和/或邻近块的编解码模式。

i.“当前块”可以指代当前色度块，或者其可以指代并置亮度块或覆盖并置色度块的至少一个样点的对应亮度块。“邻近块”(毗邻或非毗邻)可以指代与当前色度块邻近的色度块，或者它们可以指代与当前亮度块邻近的亮度块。

ii.在一个示例中，可以利用覆盖给定位置(例如，相对于当前块的左上坐标的(-1,-1))的一个亮度邻近块的编解码模式。

iii.在一个示例中，可以利用覆盖多个位置的多个邻近块的编解码模式，该多个位置诸如是相对于当前块的左上坐标的(x,-1)(例如，其中x为0到块宽度减1)，和/或相对于当前块的左上坐标的(-1,y)(例如，其中y为-1到块高度减1)。

iv.在一个示例中，如果一个邻近块的重建需要访问当前条带/片组内的样点，例如，其是X编解码的，那么禁用色度残差缩放。

1)例如，模式X可以是帧内模式；

2)例如，模式X可以是CIIP模式；

3)例如，模式X可以是IBC模式；

4)在一个示例中，如果当前块是帧间编解码的而非CIIP编解码的并且与对应亮度块邻近的邻近块采用模式X编解码的，那么禁用色度残差缩放。

v.在一个示例中，如果一个邻近块的重建需要访问当前条带/片组内的样点，例如，其是X编解码的，那么可以采用默认值来推导色度残差缩放因子。

1)例如，模式X可以是帧内模式；

2)例如，模式X可以是CIIP模式；

3)例如，模式X可以是IBC模式；

4)在一个示例中，如果当前块是帧间编解码的而非CIIP编解码的，并且对应亮度块的邻近块是采用模式X编解码的，那么可以采用默认值来推导色度残差缩放因子。

5)在一个示例中，默认值可以取决于亮度样点/色度样点的比特深度。

6)在一个示例中，可以将默认值设置为1<<(bitDepth-1)的经滤波/映射的值，其中，bitDepth指定亮度/色度分量的样点的比特深度。在一个示例中，该滤波/映射过程可以是LMCS的正向映射的LUT索引。

f)在一个示例中，可以采用与“对应亮度编解码块”邻近的经滤波/映射的重建样点来推导色度残差缩放因子和/或CCLM的模型计算。

i.在一个示例中，滤波/映射过程可以包括针对帧内块的参考平滑化滤波、诸如双边滤波器的后滤波、基于哈达玛变换的滤波器、整形器域的正向映射等。

12.提出了可以采用固定值来推导对于当前条带/片组内的各种数量的色度块(诸如CU或TU)的色度残差缩放因子。

a)在一个示例中，可以通过固定值推导对于N个色度块的色度残差缩放因子，其中，N为1到当前条带/片组内的色度块的总数。

b)在一个示例中，可以采用固定值找到该值所属的分段线性模型的索引，并且然后由所推导的分段索引计算色度残差缩放因子。在一个示例中，该固定值可以取决于亮度样点的内部比特深度。

c)在一个示例中，可以直接使用固定值来表示色度残差缩放因子。

d)在一个示例中，该固定值和/或固定色度残差缩放因子可以取决于图片/条带/片组类型(例如，I或P或B条带)和/或块的编解码模式(例如，帧内模式或帧间模式)。

e)在一个示例中，该固定值对于不同图片/条带/片组/片可以是不同的。

f)在一个示例中，在LMCS中可以直接采用固定色度残差缩放因子来对色度残差进行缩放。

i.在一个示例中，可以在诸如DPS/SPS/PPS(picture parameter set，图片参数集)/VPS/APS(adaptation parameter set，调适参数集)/条带标头/片组标头的视频单元中信令通知固定色度残差缩放因子。

ii.在一个示例中，用于图片/条带/片组/片的固定色度残差缩放因子可以取决于用于该图片/条带/片组/片内的亮度样点整形的映射函数(例如，分段线性函数)。

1)在一个示例中，固定色度残差缩放因子可以取决于如JVET-M1001-v7中定义的数组InvScaleCoeff[]和/或数组ScaleCoeff[]。

a)例如，图片/条带/片组/片的固定色度残差缩放因子所依赖的数组InvScaleCoeff[]和/或数组ScaleCoeff[]可以用于对该图片/条带/片组/片内的亮度样点整形。

2)在一个示例中，可以通过用于对亮度样点整形的分段线性函数的所有缩放系数当中的最小值/最大值/中值/平均值推导固定色度残差缩放因子。

a)例如，可以通过InvScaleCoeff[i]的最小值/最大值/中值/平均值推导固定色度残差缩放因子，其中，i为从最小索引(例如，JVET-M1001-v7中的lmcs_min_bin_idx)到最大索引(例如，JVET-M1001-v7中的LmcsMaxBinIdx)。

i.例如，该固定色度残差缩放因子可以等于InvScaleCoeff[i]的最小值/最大值/中值/平均值，其中，i为从最小索引(例如，JVET-M1001-v7中的lmcs_min_bin_idx)到最大索引(例如，JVET-M1001-v7中的LmcsMaxBinIdx)。

ii.替代性地，可以通过InvScaleCoeff[i]的最小值/最大值/中值/平均值推导该固定色度残差缩放因子，其中，i为从最小索引(例如，0)到最大索引(例如，15)，并且如JVET-M1001-v7中所定义的lmcsCW[i]不等于0。g)在一个示例中，可以采用固定值来表示用以推导色度缩放因子的分段函数索引。

i.在一个示例中，可以在诸如DPS/SPS/PPS/VPS/APS/条带标头/片组标头的视频单元中信令通知固定值。

ii.在一个示例中，该固定值可以表示亮度样点强度，其可以用于识别分段函数索引，并且所识别的分段函数被进一步用于找到色度缩放因子。在一个示例中，该固定值等于0，或(1<<lumaBitDepth)–1，或1<<(lumaBitDepth-1)，其中，lumaBitDepth表示亮度样点的比特深度。

1)在一个示例中，如果该固定值处于分段函数的输入范围内，则识别分段函数。

2)在一个示例中，如果该固定值处于分段函数的输出范围内，则识别分段函数。

iii.在一个示例中，该固定值可以表示固定分段函数索引，其可以用于找到色度缩放因子。

1)在一个示例中，该固定值可以等于在LMCS构建过程中使用的最小二进制索引(例如，lmcs_min_bin_idx)。

2)在一个示例中，该固定值可以等于在LMCS构建过程中使用的最大二进制索引(例如，LmcsMaxBinIdx)。

3)在一个示例中，该固定值可以等于在LMCS构建过程中使用的最大二进制索引和最小二进制索引的平均值。

关于是否应用色度残差缩放和/或CCLM的限制

13.提出了是否应用色度残差缩放或CCLM可以取决于对应和/或并置亮度块的分割。

a)在一个示例中，启用还是禁用具有跨分量信息的工具可以取决于并置亮度(例如，Y或G分量)块内的CU/PU/TU的数量。

i.在一个示例中，如果并置亮度(例如，Y或G分量)块内的CU/PU/TU的数量超过了数量阈值，那么可以禁用这样的工具。

ii.替代性地，启用还是禁用具有跨分量信息的工具可以取决于分割树深度。

1)在一个示例中，如果并置亮度块内的CU的最大(或最小或平均或其他变型)四叉树深度超过了阈值，那么可以禁用这样的工具。

2)在一个示例中，如果并置亮度块内的CU的最大(或最小或平均或其他变型)BT和/或TT深度超过了阈值，那么可以禁用这样的工具。

iii.替代性地，此外，启用还是禁用具有跨分量信息的工具可以取决于色度块的块维度。

iv.替代性地，此外，启用还是禁用具有跨分量信息的工具可以取决于并置亮度是否跨多个VPDU/预定义区域尺寸。

v.上文的讨论中的阈值可以是固定数值，或者可以是信令通知的，或者可以取决于标准简表/级别/层次。

b)在一个示例中，如果当前色度块的并置亮度块是通过多重分割划分的(例如，在图7中)，那么可以禁止色度残差缩放和/或CCLM。

i.替代性地，如果当前色度块的并置亮度块未划分(例如，处于一个CU/TU/PU内)，那么可以应用色度残差缩放和/或CCLM。

c)在一个示例中，如果当前色度块的并置亮度块含有超过M个CU/PU/TU，那么可以禁止色度残差缩放和/或CCLM。

i.在一个示例中，M可以是大于1的整数。

ii.在一个示例中，M可以取决于是CCLM过程还是色度残差缩放过程。

iii.M可以是固定数值，或者可以是信令通知的，或者可以取决于标准简表/级别/层次。

d)可以将上文提及的处于并置亮度块内的CU解释为该并置亮度块内的所有CU。替代性地，可以将上文提及的处于并置亮度块内的CU解释为该并置亮度块内的部分CU，例如，沿并置亮度块的边界的CU。

e)可以将上文提及的处于并置亮度块内的CU解释为子CU或子块。

i.例如，可以在ATMVP中使用子CU或子块；

ii.例如，可以在仿射预测中使用子CU或子块；

iii.例如，可以在帧内子分割(ISP)模式中使用子CU或子块。

f)在一个示例中，如果覆盖并置亮度块的左上亮度样点的CU/PU/TU大于预定义亮度块尺寸，那么可以禁止色度残差缩放和/或CCLM。

i.图8描述了一个示例，并置亮度块为32x32，但是其处于尺寸等于64x64的对应亮度块内，因而如果预定义亮度块尺寸为32x64，那么在这种情况下禁止色度残差缩放和/或CCLM。

ii.替代性地，如果当前色度块的并置亮度块未划分，并且覆盖并置亮度块的左上亮度样点的对应亮度块完全包含在预定义边界框内，那么可以对当前色度块应用色度残差缩放和/或CCLM。边界框可以被定义为具有宽度W和高度H的矩形，通过WxH表示，如图9所示，其中，对应亮度块具有宽度32和高度64，并且边界框具有宽度40和高度70。

1)在一个示例中，可以根据CTU宽度和/或高度，或者根据CU宽度和/或高度，或者根据任意值来定义边界框的尺寸WxH。

g)在一个示例中，如果当前色度块的并置亮度块是通过多重分割划分的，那么仅采用并置亮度块的预定义分割内的预测样点(或重建样点)来推导LMCS模式中的色度残差缩放因子。

i.在一个示例中，采用并置亮度块的第一分割内的所有预测样点(或重建样点)的平均值推导LMCS模式中的色度残差缩放因子。

ii.替代性地，采用并置亮度块的第一分割内的左上预测样点(或重建样点)推导LMCS模式中的色度残差缩放因子。

iii.替代性地，采用并置亮度块的第一分割内的中心预测样点(或重建样点)推导LMCS模式中的色度残差缩放因子。

h)提出了是否以及如何应用跨分量工具(诸如CCLM和LMCS)可以取决于覆盖并置亮度块的至少一个样点的一个或多个亮度CU的(多个)编解码模式。

i.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU是用仿射模式编解码的，那么禁用跨分量工具。

ii.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU是用双向预测编解码的，那么禁用跨分量工具。

iii.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU是用BDOF编解码的，那么禁用跨分量工具。

iv.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU是用DMVR编解码的，那么禁用跨分量工具。

v.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU是用如JVET-N0217中提出的矩阵仿射预测模式编解码的，那么禁用跨分量工具。

vi.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU是用帧间模式编解码的，那么禁用跨分量工具。

vii.例如，如果覆盖并置亮度块的至少一个样点的一个或多个亮度CU是用ISP模式编解码的，那么禁用跨分量工具。

viii.在一个示例中，“覆盖并置亮度块的至少一个样点的一个或多个亮度CU”可以指代对应亮度块。

i)在禁止CCLM/LMCS时，可以跳过对CCLM/LMCS的使用的指示的信令通知。

j)在本公开中，CCLM可以指代CCLM的任何变型模式，包括LM模式、LM-T模式和LM-L模式。

14.提出了是否以及如何可以对色度块的部分执行应用跨分量工具(诸如CCLM和LMCS)。

a)在一个示例中，是否以及如何在色度子块级上应用诸如CCLM和LMCS的跨分量工具。

i.在一个示例中，将色度子块定义为色度CU内的2x2或4x4块。

ii.在一个示例中，对于色度子块，在当前色度CU的对应亮度编解码块覆盖该子块的对应块的所有样点时，可以应用CCLM。

iii.在一个示例中，对于色度子块，在当前色度CU的对应亮度编解码块未覆盖该对应块的所有样点时，不应用CCLM。

iv.在一个示例中，在将每一色度子块视为色度CU时，为每一色度子块推导CCLM或LMCS的参数。

v.在一个示例中，在对色度子块应用CCLM或LMCS时，可以采用并置块的样点。

15.提出了是否以及如何应用诸如CCLM的跨分量工具可以取决于块维度和/或分割信息和/或分割结构类型(例如，双重树或单一树)。

a)在一个示例中，对于色度双重树分割可以禁用CCLM。

b)在一个示例中，可以依据块维度而有条件地禁用CCLM。

i.在一个示例中，假定当前块维度为WB×HB，那么可以依据WB、HB和两个整数T1和T2之间的关系禁用以下CCLM。

1)在一个示例中，如果WB>＝T1并且HB>＝T2，那么可以禁用CCLM。例如，T1＝T2＝8。

2)在一个示例中，如果WB*HB>＝T1，那么可以禁用CCLM。例如，T1＝64。

3)在一个示例中，如果Min(WB,HB)>＝T1，那么可以禁用CCLM。例如，T1＝8。

4)在一个示例中，如果Max(WB,HB)>＝T1，那么可以禁用CCLM。例如，T1＝8。

5)在一个示例中，如果WB<＝T1 and HB<＝T2，那么可以禁用CCLM。例如，T1＝T2＝16。

6)在一个示例中，如果WB*HB<＝T1，那么可以禁用CCLM。例如，T1＝4096。

7)在一个示例中，如果Min(WB,HB)<＝T1，那么可以禁用CCLM。例如，T1＝64。

8)在一个示例中，如果Max(WB,HB)<＝T1，那么可以禁用CCLM。例如，T1＝64。

c)在一个示例中，可以通过块维度和/或分割信息限制CCLM。

i.在一个示例中，对于具有维度WB×HB的色度块，如果满足以下条件中的一个或多个，那么禁用CCLM。例如，WB＝HB＝32。在下面的项目符号当中，并置亮度块维度可以是(sh×WB)×(sv×HB)，其中，sh和sv是缩放因子。例如，在颜色格式为4:2:0时，sh＝sv＝2。

1)当前色度块处于具有水平划分的叶节点处，并且并置亮度块处于具有垂直划分的叶节点处。

a)在一个示例中，当前色度块是采用SPLIT_TT_HOR模式划分的，并且并置亮度块是采用SPLIT_TT_VER模式划分的。

b)在一个示例中，当前色度块是采用SPLIT_TT_HOR模式划分的，并且并置亮度块是采用SPLIT_BT_VER模式划分的。

c)在一个示例中，当前色度块是采用SPLIT_BT_HOR模式划分的，并且并置亮度块是采用SPLIT_TT_VER模式划分的。

d)在一个示例中，当前色度块是采用SPLIT_BT_HOR模式划分的，并且并置亮度块是采用SPLIT_BT_VER模式划分的。

2)当前色度块处于具有垂直划分的叶节点处，并且并置亮度块处于具有水平划分的叶节点处。

a)在一个示例中，当前色度块是采用SPLIT_TT_VER模式划分的，并且并置亮度块是采用SPLIT_TT_HOR模式划分的。

b)在一个示例中，当前色度块是采用SPLIT_TT_VER模式划分的，并且并置亮度块是采用SPLIT_BT_HOR模式划分的。

c)在一个示例中，当前色度块是采用SPLIT_BT_VER模式划分的，并且并置亮度块是采用SPLIT_TT_HOR模式划分的。

d)在一个示例中，当前色度块是采用SPLIT_BT_VER模式划分的，并且并置亮度块是采用SPLIT_BT_HOR模式划分的。

d)在一个示例中，如果对块禁用CCLM，那么可以不在该块中信令通知与CCLM有关的语法元素。

i.替代性地，如果对块禁用CCLM，那么可以信令通知与CCLM有关的语法元素，但是不应在一致性比特流中的该块当中使用CCLM模式。

ii.替代性地，如果对块禁用CCLM，那么可以信令通知与CCLM有关的语法元素。如果信令通知了CCLM模式，那么可以应用诸如平面或DC的默认模式。

LMCS模式中的色度残差缩放的适用性

16.提出了除了如JVET-M1001中规定的片组标头之外可以在其他语法级别上信令通知是否能够应用亮度相关的色度残差缩放。

a)例如，可以在序列级上(例如，在SPS中)，在图片级上(例如，在PPS或图片标头中)，在条带级上(例如，在条带标头中)，在片级上，在CTU行级上，在CTU级上，在CU级上信令通知chroma_residual_scale_flag。chroma_residual_scale_flag等于1规定对处于信令通知语法级以下的CU启用色度残差缩放。chroma_residual_scale_flag等于0规定对处于信令通知语法级以下的CU不启用色度残差缩放。在chroma_residual_scale_flag不存在时，推断其等于0。

b)在一个示例中，如果在分割节点级上限制色度残差缩放。那么对于被该分割节点覆盖的CU可以不信令通知chroma_residual_scale_flag，并且可以将其推断为0。在一个示例中，分割节点可以是CTU(将CTU视为四叉树分割的根节点)。

c)在一个示例中，如果针对等于或小于32x32的色度块尺寸限制色度残差缩放，那么对于等于或者小于32x32的色度块尺寸可以不信令通知chroma_residual_scale_flag，并且将其推断为0。

CCLM模式的适用性

17.提出了除了如JVET-M1001中规定的sps级之外可以在其他语法级别上信令通知是否能够应用CCLM模式。

a)例如，可以在图片级上(例如，在PPS或图片标头中)，在条带级上(例如，在条带标头中)，在片组级上(例如，在片组标头中)，在片级上，在CTU行级上，在CTU级上，在CU级上对其做信令通知。

b)在一个示例中，如果不能应用CCLM，那么可以不信令通知cclm_flag，并且可以将其推断为0。

i.在一个示例中，如果针对等于或小于8x8的色度块尺寸限制色度残差缩放，那么对于等于或者小于8x8的色度块尺寸可以不信令通知cclm_flag，并且将其推断为0。

针对帧内模式和帧间模式的色度残差缩放因子推导的统一

18.可以在对亮度块编码/解码之后推导色度残差缩放因子，并且可以将其

存储并将其用于随后的编解码块。

a)在一个示例中，亮度块中的某些预测样点或/和中间预测样点或/和重建样点或/和环路滤波之前的重建样点(例如，在由去方块滤波器或/和SAO滤波器或/和双边滤波器或/和哈达玛变换滤波器或/和ALF滤波器处理之前)可以用于色度残差缩放因子的推导。

i.例如，亮度块的底部行或/和右侧列中的部分样点可以用于色度残差缩放因子的推导。

b)在单一树情况下，在对按照帧内模式或/和IBC模式或/和帧间模式编解码的块进行编码时，邻近块的所推导的色度残差缩放因子可以用于当前块的缩放因子的推导。

i.在一个示例中，可以按顺序检查某些邻近块，并且第一可用色度残差缩放因子可以用于当前块。

ii.在一个示例中，可以按顺序检查某些邻近块，并且可以基于前K个可用邻近色度残差缩放因子来推导缩放因子。

iii.在一个示例中，对于按照帧间模式或/和CIIP模式编解码的块，如果邻近块是按照帧内模式或/和IBC模式或/和CIIP模式编解码的，那么可以认为该邻近块的色度残差缩放因子“不可用”。

iv.在一个示例中，可以按照左侧(或左上)->上方(或右上)的顺序检查邻近块。

1)替代性地，可以按照上方(或者右上)->左侧(或左上)的顺序检查邻近块。

c)在单独树情况下，在对色度块编码时，可以首先识别对应亮度块。之后，可以将它(例如，该对应亮度块)的邻近块的所推导的色度残差缩放因子用于推导当前块的缩放因子。

i.在一个示例中，可以按顺序检查某些邻近块，并且可以将第一可用色度残差缩放因子用于当前块。

ii.在一个示例中，可以按顺序检查某些邻近块，并且可以基于前K个可用邻近色度残差缩放因子推导缩放因子。

d)可以按照预定义顺序检查邻近块。

i.在一个示例中，可以按照左侧(或左上)->上方(或右上)的顺序检查邻近块。

ii.在一个示例中，可以按照上方(或者右上)->左侧(或左上)的顺序检查邻近块。

iii.在一个示例中，可以按照左下->左侧->右上->上方->左上的顺序检查邻近块。

iv.在一个示例中，可以按照左侧->上方->右上->左下->左上的顺序检查邻近块。

e)在一个示例中，是否应用色度残差缩放可以取决于邻近块的“可用性”。

i.在一个示例中，在没有“可用的”邻近块时，可以不允许色度残差缩放。

ii.在一个示例中，在“可用的”邻近块的数量小于K(K>＝1)时，可以不允许色度残差缩放。

iii.替代性地，在没有“可用的”邻近块时，可以通过默认值推导色度残差缩放因子。

1)在一个示例中，可以采用默认值1<<(BitDepth-1)推导色度残差缩放因子。

f)在一个示例中，可以存储当前色度块的色度残差缩放因子，并将其用于随后的编解码块。

g)在一个示例中，可以从线缓冲区去除色度残差缩放因子的存储。

i.在一个示例中，在当前块和待访问的邻近(毗邻或非毗邻)块处于不同区域内时，可以认为其色度残差缩放因子“不可用”，并且可以不采用其推导当前块的色度残差缩放因子。

1)区域可以是条带、片、片组、CTU行或CTU。

2)替代性地，在这样的情况下可以认为其色度残差缩放因子是默认值。

3)替代性地，在这样的情况下不能应用色度残差缩放。

h)在一个示例中，可以即时更新当前色度块的色度残差缩放因子，并且可以将其保存到用于随后块的缩放因子推导的历史表格当中。

i.可以按照FIFO(先进先出)方式更新历史表格。

ii.在对色度块解码/解码之后，可以推导色度残差缩放因子(例如，根据亮度值)，并且可以将其存储到FIFO历史表格当中。

iii.在一个示例中，FIFO历史表格可以最多包含1个条目。在这种情况下，将最后解码块的推导色度残差缩放因子用于当前块。

iv.在一个示例中，在对图片和/或条带和/或片组和/或片和/或CTU行和/或CTU编码/解码之前刷新历史表格。

1)在一个示例中，在刷新历史表格时，可以将默认色度残差缩放因子放到历史表格当中。

2)在一个示例中，在刷新FIFO历史表格时，将历史表格设置为空。

用于色度残差缩放的新语法元素

19.提出了可以信令通知一个或多个新语法元素，以推导在色度残差缩放过程中使用的缩放因子。

a)在一个示例中，可以将这些语法元素添加至LMCS APS数据(例如，VVC规范中lmcs_data())，以用于LMCS编解码工具的色度残差缩放。

b)在一个示例中，可以将这些语法元素添加至SPS/条带标头/片组标头/PPS/图片标头/砖块/CTU行/CTU/CU等。

i.如果在视频单元中信令通知这些语法元素，那么它们可以控制与该视频单元相关联的所有块中的缩放因子。例如，如果它们是在条带标头中信令通知的，那么它们可以控制该条带中的所有块当中的缩放因子。

1)替代性地，如果这些语法元素是在视频单元中信令通知的，那么它们可以控制与该视频单元相关联的一些块中的缩放因子。

c)在一个示例中，可以对新语法元素(例如，即lmcs_crs_fixed_bin_idx)编解码，以推导用于色度残差缩放的色度缩放因子。

i.在一个示例中，lmcs_crs_fixed_bin_idx可以用于呈现用于推导缩放因子的代表性亮度值。

ii.替代性地，lmcs_crs_fixed_bin_idx可以用于呈现用于推导缩放因子的索引，例如，该索引是针对查找表ChromaScaleCoeff的索引。

iii.替代性地，此外，lmcs_crs_fixed_bin_idx的值必须处于范围[k0,k1]内。在一个示例中，lmcs_crs_fixed_bin_idx的范围可以被设置为等于带有色度缩放的亮度映射构建过程中的最小(例如，lmcs_min_bin_idx)和/或最大二进制索引的范围，例如，[0,15]。

1)在一个示例中，lmcs_crs_fixed_bin_idx必须处于一致性比特流中的有效范围内。

2)在一个示例中，按照使得lmcs_crs_fixed_bin_idx必须处于有限范围内的方式对lmcs_crs_fixed_bin_idx编解码。

iv.替代性地，此外，可以采用固定长度、截断一元码、一元码、指数哥伦布(exp-golomb)编解码对lmcs_crs_fixed_bin_idx编解码。

v.替代性地，此外，可以对lmcs_crs_fixed_bin_idx预测编解码，例如，使用在带有色度缩放的亮度映射构建过程中使用的最小和最大二进制索引的平均值(例如，(lmcs_min_bin_idx+lmcs_max_bin_idx+offset)>>1)，其中，将offset设置为0或1，以作为该预测。替代性地，可以采用lmcs_min_bin_idx或lmcs_max_bin_idx作为该预测。

vi.替代性地，此外，可以对lmcs_crs_fixed_bin_idx进行条件性编解码。

1)在一个示例中，在当前颜色格式不是4:0:0时。

2)在一个示例中，在禁用单独平面编解码时。

3)在一个示例中，在ChromaArrayType不等于0时。

4)在一个示例中，在启用色度残差缩放时。

d)在一个示例中，对于共享相同LMCS模型的所有色度残差缩放块，可以使用通过(多个)新语法元素推导的固定色度缩放因子。

i.在一个示例中，对一个IDR(instantaneous decoder refresh，即时解码器刷新)/CRA(clean random access，清洁随机访问)/IRAP(intra random access picture，帧内随机访问图片)图片计算一次由lmcs_crs_fixed_bin_idx索引的固定色度缩放因子，并且将其用于IDR/CRA/IRAP图片内的所有块。

ii.在一个示例中，一个IDR/CRA/IRAP图片计算一次由lmcs_crs_fixed_bin_idx索引的固定色度缩放因子，并且将其用于下一IDR/CRA/IRAP图片之前的帧间编解码图片中的所有块。

5.实施例

5.1实施例#1

下文讨论的示例实施例是针对章节4的项目11中的例示性方法的。

通过下划线和粗体示出了新添加的部分，并且通过大写粗体示出了从VVC工作草案中删除的部分。修改以最新VVC工作草案(JVET-M1007-v7)和JVET-N220-v3中的最新采纳方案为基础。

8.7.5.4采用针对色度样点的亮度相关色度残差缩放过程的图片重建

这一过程的输入为：

–当前变换块的左上样点相对于当前图片的左上样点的位置(xCurr,yCurr)，

–指定变换块宽度的变量nCurrSw，

–指定变换块高度的变量nCurrSh，

–指定当前块的色度预测样点的(nCurrSw)x(nCurrSh)阵列predSamples，

–指定当前块的色度残差样点的(nCurrSw)x(nCurrSh)阵列resSamples。

这一过程的输出是重建的色度图片样点阵列recSamples。

将当前亮度位置(xTbY,yTbY)设置为(xCurr<<1,yCurr<<1)

如下推导对应亮度位置(xTbCorrY,yTbCorrY)：

–如果片组类型等于2(I片组)并且qtbtt_dual_tree_intra_flag等于1，那么将对应亮度位置(xTbCorrY,yTbCorrY)设置为覆盖当前亮度位置(xTbY,yTbY)的左上样点的对应CU的左上样点位置。

–否则，将对应亮度位置(xTbCorrY,yTbCorrY)设置为当前亮度位置(xTbY,yTbY)

如下推导变量availL：

–在以对应亮度位置(xTbCorrY,yTbCorrY)和邻近亮度位置(xTbCorrY-1, yTbCorrY)为输入的情况下调用如条款6.4.X[Ed.(BB):邻近块可用性检查过程tbd]中规定的针对块的左侧邻近样点可用性推导过程，并且将输出分配至availL。

在availL等于TRUE时，将邻近左上亮度样点pY[x][y](其中，x＝-1，y＝0)设置为等于位置(xTbCorrY+x,yTbCorrY+y)处的去方块滤波过程之前的重建亮度样点。如下推导邻近左上亮度样点的映射值pYMap[x][y](其中，x＝-1，y＝-1)：

idxY＝pY[x][y]>>Log2(OrgCW)

pYMap[x][y]＝Clip1Y(LmcsPivot[idxY]+(ScaleCoeff[idxY]*

(pY[x][y]-InputPivot[idxY])+(1<<10))>>11)

对于i＝0..nCurrSw-1，j＝0..nCurrSh-1，如下推导重建色度图片样点recSamples：

–如果TILE_GROUP_CHROMA_RESIDUAL_SCALE_FLAG等于0或者NCURRSW*NCURRSH小于或等于4，那么以下内容适用：

RECSAMPLES[XCURR+I][YCURR+J]＝CLIP1C

(PREDSAMPLES[I][J]+RESSAMPLES[I][J]) (8-1063)–如果以下条件之一为真，那么将recSamples[xCurr+i][yCurr+j]设置为等于Clip1c(predSamples[i][j]+ resSamples[i][j])

–tile_group_chroma_residual_scale_flag等于0

–nCurrSw*nCurrSh小于或等于4

–availL等于假

–CuPredMode[xCurr][yCurr]等于MODE_INTER并且ciip_flag[xCurr][yCurr]等于0，并且CuPredMode[xTbCorrY-1][yTbCorrY]等于MODE_INTRA

–CuPredMode[xCurr][yCurr]等于MODE_INTER并且ciip_flag[xCurr][yCurr]等于0，并且CuPredMode[xTbCorrY-1][yTbCorrY]等于MODE_IBC

–CuPredMode[xCurr][yCurr]等于MODE_INTER并且ciip_flag[xCurr][yCurr]等于0，并且CuPredMode[xTbCorrY-1][yTbCorrY]等于MODE_INTER并且ciip_flag[xCurr] [yCurr]等于1

–否则(tile_group_chroma_residual_scale_flag等于1并且nCurrSw*nCurrSh大于4)，以下内容适用：

–对于变量varScale的推导，以下有序步骤适用：

1.如下推导变量invAvgLuma：

通过在以invAvgLuma作为输入并且以idxYInv作为输出的情况下调用条款8.7.5.3.2中规定的分段函数索引的标识推导变量idxYInv。

2.如下推导变量varScale：

varScale＝ChromaScaleCoeff[idxYInv] (8-1065)

–如下推导recSamples：

–如果tu_cbf_cIdx[xCurr][yCurr]等于1，那么以下内容适用：

resSamples[i][j]＝Clip3(-(1<<BitDepth_C),

1<<BitDepth_C-1,resSamples[i][j])

recSamples[xCurr+i][yCurr+j]＝ClipCidx1(predSamples[i][j]+(8-1066)

Sign(resSamples[i][j])*((Abs(resSamples[i][j])*varScale+(1<<10))>>11))

–否则(tu_cbf_cIdx[xCurr][yCurr]等于0)，以下内容适用：

recSamples[xCurr+i][yCurr+j]＝

ClipCidx1(predSamples[i][j]) (8-1067)

5.2实施例#2

以下实施例是针对本发明的描述的项目11中的方法的。

如下列举了实施例#2和实施例#1之间的差异：

–检查多个邻近亮度样点，以推导色度残差缩放因子。

–在邻近亮度样点不可用时，或者在邻近亮度按照INTRA/CIIP/IBC模式编解码，而当前亮度按照INTER模式编解码时，#2使用色度残差缩放因子推导的默认值。

这一过程的输入为：

–指定变换块宽度的变量nCurrSw，

–指定变换块高度的变量nCurrSh，

这一过程的输出是重建的色度图片样点阵列recSamples。

将当前亮度位置(xTbY,yTbY)设置为(xCurr<<1,yCurr<<1)

如下推导对应亮度位置(xTbCorrY,yTbCorrY)：

如下推导变量availTL：

–在以对应亮度位置(xTbCorrY,yTbCorrY)和邻近亮度位置(xTbCorrY-1, yTbCorrY-1)为输入的情况下调用如条款6.4.X[Ed.(BB):邻近块可用性检查过程tbd]中规定的针对块的左上邻近样点可用性推导过程，并且将输出分配至availTL。

如下推导变量availT：

–在以对应亮度位置(xTbCorrY,yTbCorrY)和邻近亮度位置(xTbCorrY,yTbCorrY- 1)为输入的情况下调用如条款6.4.X[Ed.(BB):邻近块可用性检查过程tbd]中规定的针对块的顶部邻近样点可用性推导过程，并且将输出分配至availT。

将numAvailNeigh设置为等于availTL+availT。

如果numAvailNeigh大于或等于1，那么将邻近亮度样点pY[x][y](其中，x＝-1,0， y＝-1)设置为等于位置(xTbCorrY+x,yTbCorrY+y)处的去方块滤波过程之前的重建亮度样点的平均值。如下推导邻近亮度样点的平均值pY_Avg：

pY_Avg＝((availTL？pY[-1][-1]:0)+(availT？pY[0][-1]:0))>>(numAvailNeigh> 1？1:0)

否则，如果下述条件之一为真，那么将pY_Avg设置为等于(1<<(BitDepthY-1))。

–availTL等于假

–CuPredMode[xCurr][yCurr]等于MODE_INTER并且ciip_flag[xCurr][yCurr]等于0，并且CuPredMode[xTbCorrY-1][yTbCorrY–1]等于MODE_INTRA

–CuPredMode[xCurr][yCurr]等于MODE_INTER并且ciip_flag[xCurr][yCurr]等于0，并且CuPredMode[xTbCorrY-1][yTbCorrY–1]等于MODE_IBC

–CuPredMode[xCurr][yCurr]等于MODE_INTER并且ciip_flag[xCurr][yCurr]等于0，并且CuPredMode[xTbCorrY-1][yTbCorrY–1]等于MODE_INTER并且ciip_flag[xCurr] [yCurr]等于1

如下推导邻近左上亮度样点的映射值pYMapAvg：

idxY＝pYAvg>>Log2(OrgCW)

pYMapAvg＝Clip1Y(LmcsPivot[idxY]+(ScaleCoeff[idxY]*

(pYAvg-InputPivot[idxY])+(1<<10))>>11)

recSamples[xCurr+i][yCurr+j]＝Clip1_C(predSamples[i][j]+resSamples[i][j])

(8-1063)

–对于变量varScale的推导，以下有序步骤适用：

–如下推导变量invAvgLuma：

通过在以invAvgLuma作为输入并且以idxYInv作为输出的情况下调用条款8.7.5.3.2中规定的分段函数索引的标识来推导变量idxYInv。

如下推导变量varScale：

varScale＝ChromaScaleCoeff[idxYInv] (8-1065)

–如下推导recSamples：

–如果tu_cbf_cIdx[xCurr][yCurr]等于1，那么以下内容适用：

resSamples[i][j]＝Clip3(-(1<<BitDepth_C),

1<<BitDepth_C-1,resSamples[i][j])

recSamples[xCurr+i][yCurr+j]＝

ClipCidx1(predSamples[i][j]+ (8-1066)

Sign(resSamples[i][j])*((Abs(resSampl

es[i][j])*varScale+(1<<10))>>11))

–否则(tu_cbf_cIdx[xCurr][yCurr]等于0)，以下内容适用：

recSamples[xCurr+i][yCurr+j] ＝

ClipCidx1(predSamples[i][j]) (8-1067)

5.3实施例#3

以下实施例是针对本发明的描述的项目12中的方法的。

通过粗斜体突出表示新添加的部分，并且通过大写粗体突出表示从VVC工作草案删除的部分。修改以最新VVC工作草案(JVET-M1007-v7)和JVET-N220-v3中的最新采纳方案为基础。

这一过程的输入为：

–指定变换块宽度的变量nCurrSw，

–指定变换块高度的变量nCurrSh，

这一过程的输出是重建的色度图片样点阵列recSamples。

–如果slice_chroma_residual_scale_flag等于0或者nCurrSw*nCurrSh小于或等于4，那么以下内容适用：

recSamples[xCurr+i][yCurr+j]＝Clip1_C(predSamples[i][j]+

resSamples[i][j]) (8-1063)

–否则(slice_chroma_residual_scale_flag等于1并且nCurrSw*nCurrSh大于4)，以下内容适用：

–对于变量varScale的推导，以下有序步骤适用：

1.如下推导变量INVAVGLUMA：

2.通过在以INVAVGLUMA作为输入并且以IDXYINV作为输出的情况下调用条款8.7.5.3.2中规定的分段函数索引的标识来推导变量IDXYINV。

3.如下推导变量varScale：

varScale＝ChromaScaleCoeff[IDXYINV lmcs_min_bin_idx]

(8-1064)

–如下推导recSamples：

–如果tu_cbf_cIdx[xCurr][yCurr]等于1，那么以下内容适用：

resSamples[i][j]＝Clip3(-(1<<BitDepth_C),

1<<BitDepth_C-1,resSamples[i][j])recSamples[xCurr+i][yCurr+j]＝

ClipCidx1(predSamples[i][j]+ (8-1066)

Sign(resSamples[i][j])*((Abs(resSamples[i][j])*var

Scale+(1<<10))>>11))

–否则(tu_cbf_cIdx[xCurr][yCurr]等于0)，以下内容适用：

recSamples[xCurr+i][yCurr+j]＝

ClipCidx1(predSamples[i][j]) (8-1067)

5.4实施例#4

以下实施例是针对本发明的描述的项目12中的方法的。

这一过程的输入为：

–指定变换块宽度的变量nCurrSw，

–指定变换块高度的变量nCurrSh，

这一过程的输出是重建的色度图片样点阵列recSamples。

recSamples[xCurr+i][yCurr+j]＝Clip1_C(predSamples[i][j]+

resSamples[i][j])(8-1063)

–对于变量varScale的推导，以下有序步骤适用：

1.如下推导变量invAvgLuma：

2.通过在以invAvgLuma作为输入并且以idxYInv作为输出的情况下调用条款8.7.5.3.2中规定的分段函数索引的标识推导变量idxYInv。

3.如下推导变量varScale：

varScale＝ChromaScaleCoeff[idxYInv] (8-994)

–如下推导recSamples：

–如果tu_cbf_cIdx[xCurr][yCurr]等于1，那么以下内容适用：

resSamples[i][j]＝Clip3(-(1<<BitDepthC),1<<BitDepthC-1,resSamples[i][j])

recSamples[xCurr+i][yCurr+j]＝ClipCidx1(predSamples[i][j]+(8-1066)

Sign(resSamples[i][j])*((Abs(resSamples[i][j])*varScale+(1<<10))>>11))

–否则(tu_cbf_cIdx[xCurr][yCurr]等于0)，以下内容适用：

recSamples[xCurr+i][yCurr+j]＝ClipCidx1(predSamples[i][j]) (8-1067)

5.5实施例#5

以下实施例是针对本发明的描述的项目12中的方法的。

7.4.5.4带有色度缩放的亮度映射数据语义

如下推导变量ChromaScaleCoeff[i]，其中，i＝0…15：

if(lmcsCW[i]＝＝0)

ChromaScaleCoeff[i]＝(1<<11)

else{

ChromaScaleCoeff[i]＝InvScaleCoeff[i]

}

如下推导变量varScale：

这一过程的输入为：

–指定变换块宽度的变量nCurrSw，

–指定变换块高度的变量nCurrSh，

这一过程的输出是重建的色度图片样点阵列recSamples。

recSamples[xCurr+i][yCurr+j]＝Clip1_C(predSamples[i][j]+resSamples[i][j]) (8-1063)

–对于变量VARSCALE的推导，以下有序步骤适用：

1.如下推导变量INVAVGLUMA：

3.如下推导变量VARSCALE：

VARSCALE＝CHROMASCALECOEFF[IDXYINV](8-994)

–如下推导recSamples：

–如果tu_cbf_cIdx[xCurr][yCurr]等于1，那么以下内容适用：

resSamples[i][j]＝Clip3(-(1<<BitDepth_C),1<<BitDepth_C-1,resSamples[i][j])

recSamples[xCurr+i][yCurr+j]＝ClipCidx1(predSamples[i][j]+(8-1066)

Sign(resSamples[i][j])*((Abs(resSamples[i][j])*varScale+(1<<10))>>11))

–否则(tu_cbf_cIdx[xCurr][yCurr]等于0)，以下内容适用：

recSamples[xCurr+i][yCurr+j]＝ClipCidx1(predSamples[i][j]) (8-1067)

5.6实施例#6

以下实施例是针对前一章节中的列举的项目19中的方法的。

可以如下改变在JVET-N1001-v8中规定的工作草案(下划线或粗斜体用于突出表示，大写粗体用于删除)。

7.3.4.4带有色度缩放的亮度映射数据语法

7.4.6.4带有色度缩放的亮度映射数据语义

lmcs_crs_fixed_bin_idx指定在带有色度缩放的亮度映射构建过程中用以推导色度缩放因子的二进制索引。lmcs_crs_fixed_bin_idx的值应当在0到15的范围内，包括0 和15。

…

如下推导变量ChromaScaleCoeff[i]，其中，i＝0…15：

if(lmcsCW[i]＝＝0)

ChromaScaleCoeff[i]＝(1<<11)

else (7-94)

ChromaScaleCoeff[i]＝InvScaleCoeff[i]

如下推导变量varScale：

varScale＝ChromaScaleCoeff[lmcs_crs_fixed_bin_idx]

8.7.5.3采用针对色度样点的亮度相关色度残差缩放过程的图片重建

这一过程的输入为：

–指定变换块宽度的变量nCurrSw，

–指定变换块高度的变量nCurrSh，

–指定当前色度变换块的编解码块标志的变量tuCbfChroma，

这一过程的输出是重建的色度图片样点阵列recSamples。

–如果以下条件之一为真，那么将recSamples[xCurr+i][yCurr+j]设置为等于Clip1C(predSamples[i][j]+resSamples[i][j])：

–slice_chroma_residual_scale_flag等于0

–nCurrSw*nCurrSh小于或等于4

–tu_cbf_cb[xCurr][yCurr]等于0，并且tu_cbf_cr[xCurr][yCurr]等于0

–否则，以下内容适用：

–对于变量VARSCALE的推导，以下有序步骤适用：

1.如下推导变量INVAVGLUMA：

2.通过在以被设置为等于INVAVGLUMA的变量LUMASAMPLE作为输入并且以IDXYINV作为输出的情况下调用在条款8.8.2.3中规定的用于亮度样点的分段函数索引过程的标识推导变量IDXYINV。

3.如下推导变量VARSCALE：

VARSCALE＝CHROMASCALECOEFF[IDXYINV]

–如下推导recSamples：

–如果tuCbfChroma等于1，那么以下内容适用：

resSamples[i][j]＝Clip3(-(1<<BitDepth_C),(1<<BitDepth_C)-1,resSamples[i][j])

(8-998)

recSamples[xCurr+i][yCurr+j]＝Clip1_C(predSamples[i][j]+ (8-999)

Sign(resSamples[i][j])*((Abs(resSamples[i][j])*varScale+(1<<10))>>11))

–否则(tu_cbf等于0)，则以下适用：

recSamples[xCurr+i][yCurr+j]＝Clip1_C(predSamples[i][j])

5.7实施例#7

以下实施例是针对本发明的描述的项目12中的方法的。

可以如下改变JVET-N1001-v8中规定的工作草案。

7.4.6.4带有色度缩放的亮度映射数据语义

如下推导变量ChromaScaleCoeff[i]，其中，i＝0…15：

if(lmcsCW[i]＝＝0)

ChromaScaleCoeff[i]＝(1<<11)

else (7-94)

ChromaScaleCoeff[i]＝InvScaleCoeff[i]

如下推导变量varScale：

varScale＝ChromaScaleCoeff[(lmcs_min_bin_idx+LmcsMaxBinIdx)>>1]

这一过程的输入为：

–指定变换块宽度的变量nCurrSw，

–指定变换块高度的变量nCurrSh，

–指定当前色度变换块的编解码块标志的变量tuCbfChroma，

这一过程的输出是重建的色度图片样点阵列recSamples。

–slice_chroma_residual_scale_flag等于0

–nCurrSw*nCurrSh小于或等于4

–tu_cbf_cb[xCurr][yCurr]等于0，并且tu_cbf_cr[xCurr][yCurr]等于0

–否则，以下内容适用：

–对于变量VARSCALE的推导，以下有序步骤适用：

1.如下推导变量INVAVGLUMA：

3.如下推导变量VARSCALE：

VARSCALE＝CHROMASCALECOEFF[IDXYINV]

–如下推导recSamples：

–如果tuCbfChroma等于1，那么以下内容适用：

resSamples[i][j]＝Clip3(-(1<<BitDepth_C),(1<<BitDepth_C)-1,resSamples[i][j])

(8-998)

recSamples[xCurr+i][yCurr+j]＝Clip1_C(predSamples[i][j]+ (8-999)

Sign(resSamples[i][j])*((Abs(resSamples[i][j])*varScale+(1<<10))>>11))

–否则(tu_cbf等于0)，则以下适用：

recSamples[xCurr+i][yCurr+j]＝Clip1_C(predSamples[i][j])

6.所公开技术的示例实施方式

图10是视频处理装置1000的框图。装置1000可以用于实施本文描述的方法中的一个或多个。装置1000可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等当中。装置1000可以包括一个或多个处理器1002、一个或多个存储器1004和视频处理硬件1006。(多个)处理器1002可以配置为实施本文中描述的一种或多种方法(包括，但不限于方法800和900)。(多个)存储器1004可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件1006可用于在硬件电路系统中实施本文档中描述的一些技术。

在一些实施例中，可以使用在关于图10描述的硬件平台上实施的装置来实施这些视频编解码方法。

图11示出了根据所公开技术的用于跨分量预测的线性模型推导的示例方法1100的流程图。方法1100包括在步骤1110中执行当前视频块与当前视频块的比特流表示之间的转换，其中，在转换期间，由包含在一个或多个参考帧内的第一组颜色分量值推导当前视频块的第二组颜色分量值，其中，第一组颜色分量值可用于视频编解码步骤的线性模型当中。

可以利用以下基于条款的格式来描述一些实施例。

1.一种用于视频处理的方法，包括：

执行当前视频块与当前视频块的比特流表示之间的转换，其中，在转换期间，由包含在一个或多个参考帧内的第一组颜色分量值推导当前视频块的第二组颜色分量值，其中，第一组颜色分量值可用于视频编解码步骤的线性模型中。

2.根据条款1所述的方法，其中，在将第一组颜色分量值用于视频编解码步骤的线性模型之前，对第一组颜色分量值进行插值。

3.根据条款1-2中的任何一项或多项所述的方法，其中，第一组颜色分量值的线性组合可被用作线性模型的参数。

4.根据条款1所述的方法，其中，至少部分地基于当前视频块的运动信息选择包含在一个或多个参考帧内的第一组颜色分量值的位置。

5.根据条款4所述的方法，其中，一个或多个参考帧内的亮度分量的位置是由当前视频块中的对应亮度分量值的位置和当前视频块的运动信息计算的。

6.根据条款5所述的方法，其中，对应亮度分量值的位置是当前视频块中的左上样点、中心样点或右下样点。

7.根据条款6所述的方法，其中，当前视频块的运动信息对应于整数运动矢量或分数运动矢量。

8.根据条款7所述的方法，其中，使用一个或多个参考帧中的分数亮度分量值推导分数运动矢量。

9.根据条款7所述的方法，其中，通过朝向零或背离零的取整推导整数运动矢量。

10.根据条款1所述的方法，其中，包含在一个或多个参考帧内的第一组颜色分量值的位置是预定义位置。

11.根据条款1-10中的任何一项或多项所述的方法，其中，采用第一组颜色分量值的中值或平均值推导当前视频块的第二组颜色分量值。

12.根据条款1-11中的任何一项或多项所述的方法，其中，该一个或多个参考帧是预定义参考帧。

13.根据条款12所述的方法，其中，预定义参考帧包括具有参考图片列表的参考索引的帧。

14.根据条款13所述的方法，其中，参考索引为0，并且参考图片列表为0。

15.根据条款13所述的方法，其中，在与以下内容项中的一个或多个相关联的比特流表示中信令通知参考索引和/或参考图片列表：序列、图片、片、组、条带、片、编解码树单元行或视频块。

16.根据条款1所述的方法，其中，当前视频块的第二组颜色分量值是由包含在一个或多个参考帧内的第一组颜色分量值的数学中值或加权平均值推导的。

17.根据条款1所述的方法，其中，基于当前视频块是否是双向预测编解码块，选择性地由包含在一个或多个参考帧内的第一组颜色分量值推导当前视频块的第二组颜色分量值。

18.根据条款17所述的方法，其中，对于第一组颜色分量值的每个预测方向，单独推导当前视频块的第二组颜色分量值。

19.根据条款1所述的方法，其中，基于当前视频块是否与基于子块的预测相关联，选择性地由包含在一个或多个参考帧内的第一组颜色分量值推导当前视频块的第二组颜色分量值。

20.根据条款1所述的方法，其中，基于子块的预测对应于仿射预测或者可选时域运动矢量预测(ATMVP)。

21.根据条款19-20中的任何一项或多项所述的方法，其中，对于各个子块推导当前视频块的第二组颜色分量值。

22.根据条款19-21中的任何一项或多项所述的方法，其中，对于整个当前视频块推导当前视频块的第二组颜色分量值，而不管基于子块的预测如何。

23.根据条款19-22中的任何一项或多项所述的方法，其中，至少部分地基于当前视频块的子块的运动矢量选择包含在一个或多个参考帧内的第一组颜色分量值。

24.根据条款1-23中的任何一项或多项所述的方法，其中，包含在一个或多个参考帧内的第一组颜色分量值是中间颜色分量值。

25.根据条款1-24中的任何一项或多项所述的方法，其中，该视频编解码步骤处于另一视频编解码步骤之前。

26.根据条款25所述的方法，其中，至少部分地基于当前视频块或当前视频块的子块的中间运动矢量，选择包含在一个或多个参考帧内的第一组颜色分量值，并且其中，该中间运动矢量是在另一视频编解码步骤之前计算的。

27.根据条款24-26中的任何一项或多项所述的方法，其中，另一视频编解码步骤包括下述步骤之一或下述步骤的组合：双向光流(BDOF)步骤、解码器侧运动矢量细化(DMVR)步骤、预测细化光流(PROF)步骤。

28.根据条款1-27中的任何一项或多项所述的方法，其中，包含在一个或多个参考帧内的第一组颜色分量值对应于与对应亮度块相关联的MxN亮度分量值。

29.根据条款28所述的方法，其中，该对应亮度块是当前视频块的并置亮度块。

30.根据条款29所述的方法，其中，M和N的乘积小于当前视频块的并置亮度块的块宽度和块高度的乘积。

31.根据条款27-30中的任何一项或多项所述的方法，其中，包含在该一个或多个参考帧内的第一组颜色分量值对应于在该并置亮度块的邻近亮度样点的位置上识别的参考样点的至少部分。

32.根据条款1-31中的任何一项或多项所述的方法，其中，在将第一组颜色分量值用于视频编解码步骤的线性模型中之前，对第一组颜色分量值进行降采样。

33.根据条款1所述的方法，其中，至少部分地基于当前视频块的下述信息中的一个或多个来选择当前视频块的第二组颜色分量值：量化参数、编解码模式或图片顺序计数(POC)。

34.根据条款31所述的方法，其中，邻近亮度样点的位置使得并置亮度块的左上样点被覆盖。

35.根据条款28所述的方法，其中，包含在该一个或多个参考帧内的第一组颜色分量值对应于在对应亮度块之外的位置上识别的参考样点的至少部分。

36.根据条款28所述的方法，其中，基于对应亮度块的邻近样点的可用性，选择性地由包含在一个或多个参考帧内的第一组颜色分量值推导当前视频块的第二组颜色分量值。

37.根据条款28所述的方法，其中，对应亮度块的邻近样点的可用性是基于以下述内容项中的一个或多个：当前视频块的编解码模式的使用、对应亮度块的邻近样点的编解码模式的使用、对应亮度块的编解码模式的使用、一个或多个邻近视频块的编解码模式的使用、与对应亮度块的邻近样点相关联的滤波器的类型的使用或者对应亮度块的邻近样点相对于当前视频块或其子块的位置。

38.根据条款28所述的方法，还包括：

响应于对应亮度块的邻近样点的可用性的缺乏，采用其他样点替代、填充或填补不可用的样点。

39.根据条款28所述的方法，还包括：

对与对应亮度块邻近的样点应用平滑滤波器。

40.一种用于视频处理的方法，包括：

执行当前视频块与当前视频块的比特流表示之间的转换，其中，在转换期间，由包含在一个或多个参考帧内的第一组颜色分量值推导当前视频块的第二组颜色分量值，其中，第一组颜色分量值可用于视频编解码步骤的线性模型中；以及

响应于确定包含在一个或多个参考帧内的第一组颜色分量值是当前视频块的并置亮度块，基于与当前视频块的并置亮度块相关联的一个或多个条件选择性地启用或禁用对当前视频块的第二组颜色分量值的推导。

41.根据条款40所述的方法，其中，与当前视频块的并置亮度块相关联的一个或多个条件包括：并置亮度块的分割尺寸、并置亮度块的编解码单元的数量达到阈值数量、并置亮度块的左上亮度样点达到阈值尺寸、并置亮度块的分割树深度、覆盖并置亮度块的左上亮度样点的对应亮度块、并置亮度块或当前视频块的维度或者覆盖并置亮度块的左上亮度样点并且还包含在预定义尺寸的边界框内的对应亮度块。

42.根据条款40所述的方法，其中，将指示选择性地启用或禁用推导的信息包含在比特流表示当中。

43.根据条款28所述的方法，其中，对应亮度块的邻近样点的可用性与根据预定义顺序检查邻近样点相关联。

44.根据条款41所述的方法，其中，并置亮度块和当前视频块与同一编解码树单元或编解码树单元的同一行相关联。

45.一种用于视频处理的方法，包括：

响应于确定满足当前视频块或者当前视频块的邻近视频块的一个或多个特性，选择性地启用或禁用对当前视频块的第二组颜色分量值的推导。

46.根据条款45所述的方法，其中，当前视频块或者当前视频块的邻近视频块的一个或多个特性对应于覆盖相对于当前视频块的空域位置的空域位置的邻近亮度块。

47.根据条款45所述的方法，其中，当前视频块或者当前视频块的邻近视频块的一个或多个特性对应于当前视频块的邻近视频块相对于当前视频块的空域位置的空域位置。

48.根据条款45所述的方法，还包括：

响应于确定邻近视频块的重建至少部分地基于当前视频块的编解码模式，禁用对当前视频块的第二组颜色分量值的推导。

49.根据条款45所述的方法，还包括：

响应于确定当前视频块是帧间编解码块而非组合帧间和帧内预测编解码块并且与当前视频块的对应亮度块邻近的块是帧内编解码块、组合帧间和帧内预测(CIIP)块或者帧内块复制(IBC)编解码块，禁用对当前视频块的第二组颜色分量值的推导。

50.根据条款45所述的方法，还包括：

响应于确定当前视频块是帧间编解码块而非组合帧间和帧内预测编解码块并且与当前视频块的对应亮度块邻近的块是帧内编解码块、组合帧间和帧内预测(CIIP)块或者帧内块复制(IBC)编解码块，启用对当前视频块的第二组颜色分量值的推导，其中，第一组颜色分量值是固定值。

51.据条款45所述的方法，其中，第一组颜色分量值是固定值。

52.根据条款51所述的方法，其中，固定值对应于视频编解码步骤的线性模型的分段索引。

53.根据条款1-52中的任何一项或多项所述的方法，其中，邻近样点可以与当前视频块毗邻或非毗邻。

54.根据条款1-52中的任何一项或多项所述的方法，其中，邻近样点可以与和当前视频块邻近的色度块相关联或者可以是与当前视频块邻近的色度块。

55.根据条款1-54中的任何一项或多项所述的方法，其中，当前视频块对应于色度块、并置亮度块或者覆盖并置色度块的左上亮度样点的对应亮度块。

56.根据条款1-54中的任何一项或多项所述的方法，其中，存储当前视频块的第二组颜色分量值，以供结合一个或多个其他视频块使用。

57.根据条款1-56中的任何一项或多项所述的方法，其中，该线性模型对应于跨分量线性模型(CCLM)，并且该视频编解码步骤对应于带有色度缩放的亮度映射(LMCS)模式。

58.根据条款1-57中的任何一项或多项所述的方法，其中，当前视频块是帧间编解码块、双向预测编解码块、组合帧间和帧内预测(CIIP)块或者帧内块复制(IBC)编解码块。

59.根据条款1-58中的任何一项或多项所述的方法，其中，存储当前视频块的第二组颜色分量值，以供与比特流中的其他视频块相关联的使用。

60.根据条款59所述的方法，其中，将当前视频块的第二组颜色分量值存储到线缓冲区内，以供对其他视频块中包括的邻近视频块选择性地可用或不可用，其中，当前视频块和邻近视频块与不同条带、片、片组、编解码树单元或者编解码树单元行相关联。

61.根据条款60所述的方法，其中，当前视频块的第二组颜色分量值是固定值。

62.根据条款60所述的方法，其中，防止推导当前视频块的第二组颜色分量值。

63.根据条款59所述的方法，其中，防止对当前视频块的第二组颜色分量值的推导。

64.根据条款59所述的方法，其中，将当前视频块的第二组颜色分量值存储到表格中，以供对其他视频块中包括的邻近视频块选择性地可用或不可用。

65.根据条款64所述的方法，其中，动态更新当前视频块的第二组颜色分量值。

66.根据条款65所述的方法，其中，当前视频块的第二组颜色分量值与其他视频块中的前一视频块相同。

67.根据条款64所述的方法，其中，按照先进先出(FIFO)方式动态更新当前视频块的第二组颜色分量值。

68.根据条款1-67中的任何一项或多项所述的方法，其中，第一组颜色分量值对应于亮度样点值，并且第二组颜色分量值对应于色度缩放因子。

69.一种用于视频处理的方法，包括：为包括至少两个分量块的视频块和视频块的比特流表示之间的转换，基于规则确定跨分量编解码工具的适用性；以及选择性地使用跨分量编解码工具执行转换。

70.根据条款69所述的方法，其中，该规则基于当前视频块的维度。

71.根据条款69-70中的方法，其中，该规则基于当前视频块的分割信息。

72.根据条款69-71中的任何一项所述的方法，其中，该规则基于当前视频块的分割树结构。

73.根据条款72所述的方法，其中，该分割树结构是双重树或单一树中的一个。

74.根据条款72所述的方法，其中，该规则规定由于当前视频块是采用双重树分割树结构的色度块而禁用跨分量编解码工具。

75.根据条款69-74中的任何一项所述的方法，其中，该规则规定在比特流表示中省略对跨分量编解码工具的语法元素的信令通知。

在章节4中的项目15中描述了条款69-75的的附加示例和方面。

76.一种在视频系统中的装置，包括处理器和其上具有指令的非暂态存储器，其中，该指令在被处理器执行时使得处理器实施根据条款1到75中的任一项所述的方法。

77.一种存储在非暂态计算机可读介质上的计算机程序产品，该计算机程序产品包括用于实施根据条款1到75中的任一项所述的方法的程序代码。

图12是示出示例视频处理系统1200的框图，在该系统中可以实施本文公开的各种技术。各种实施方式可以包括系统1200的部分或全部部件。系统1200可包括用于接收视频内容的输入1202。视频内容可以是按照原始或未压缩格式接收的，例如8比特或10比特多分量像素值，或者可以是按照压缩或编码格式接收的。输入1202可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等的有线接口，以及诸如Wi-Fi或蜂窝接口的无线接口。

系统1200可以包括编解码部件1204，其可以实施本文档中所描述的各种编解码或编码方法。编解码部件1204可以降低从输入1202到编解码部件1204的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码部件1204的输出可以被存储，也可以通过所连接的通信进行传输，如部件1206所示。输入1202处接收的视频的存储或传达比特流(或经编解码的)表示可由部件1208用于生成像素值或发送到显示接口1210的可显示视频。从比特流表示生成用户可观看视频的处理有时称为视频解压缩。此外，尽管某些视频处理操作被称为“编解码”操作或工具，但应当理解的是，编解码工具或操作被用于编码器处，并且逆转编解码结果的对应的解码工具或操作将由解码器执行。

外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或Displayport等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可体现在各种电子设备中，例如移动电话、笔记本电脑、智能手机或其他能够执行数字数据处理和/或视频显示的设备。

图13是视觉媒体处理的示例方法。结合本文档的章节4中的示例19讨论这一流程图的步骤。在步骤1302中，为视觉媒体数据的视频区域中的当前视频块与比特流表示之间的转换，对比特流表示进行处理，其中，该比特流表示基于一种规则，该规则规定将在亮度相关的色度残差缩放步骤中使用的一个或多个语法元素选择性地包含到该比特流表示当中；其中，该亮度相关的色度残差缩放步骤包括在该转换期间基于邻近重建亮度样点缩放色度样点；并且其中，该一个或多个语法元素可用于推导色度残差缩放因子。

现在以基于条款的格式提供本文档的一些实施例。

1.一种用于视频媒体处理的方法(例如，图13中所示的方法)，包括：为视觉媒体数据的视频区域中的当前视频块与比特流表示之间的转换，对比特流表示进行处理，其中，该比特流表示基于一种规则，该规则规定将在亮度相关的色度残差缩放步骤中使用的一个或多个语法元素选择性地包含到该比特流表示当中；其中，该亮度相关的色度残差缩放步骤包括在该转换期间基于邻近重建亮度样点缩放色度样点；并且其中，该一个或多个语法元素可用于推导用于该缩放的色度残差缩放因子。例如，在编码期间，该一个或多个语法元素可以是由用于编码的色度残差缩放因子推导的，并且在解码期间，该一个或多个语法元素可以用于推导色度残差缩放因子，以供在解码期间使用。在本文中，术语“视觉媒体数据”可以是指单个图像或者图像序列或视频。

2.根据条款1所述的方法，其中，如果该一个或多个语法元素包含到比特流表示当中，那么该规则规定将该一个或多个语法元素表示为视觉媒体数据的比特流表示中的字段。

3.根据条款1-2中的任何一项或多项所述的方法，其中，包含在比特流表示中的一个或多个语法元素与调适参数集(APS)数据相关联，该APS数据与带有色度缩放的亮度映射(LMCS)模式的应用有关。

4.根据条款1-2中的任何一项或多项所述的方法，其中，包含在比特流表示中的一个或多个语法元素与下述选项之一相关联：序列参数集(SPS)、条带标头、片组标头、图片参数集(PPS)、图片标头、砖块、编解码树单元(CTU)行、编解码树单元(CTU)或编解码单元(CU)。

5.根据条款1-4中的任何一项或多项所述的方法，其中，视频单元包括多个视频块，该方法还包括：在检测到该一个或多个语法元素与该视频单元相关联时，确定在针对该视频单元中包含的多个视频块的亮度相关的色度残差缩放步骤中使用该一个或多个语法元素。

6.根据条款1-5中的任何一项或多项所述的方法，其中，该一个或多个语法元素包括落在被表示为[k0,k1]的预定义区间内的第一语法元素，其中，k0、k1表示该预定义区间的端点，并且其中，k0和k1两者均包含在该预定义区间内。

7.根据条款1-6中的任何一项或多项所述的方法，其中，该一个或多个语法元素包括基于满足一个或多个条件而被选择性地包含在该比特流表示当中的第二语法元素。

8.根据条款1-7中的任何一项或多项所述的方法，其中，使用下述选项之一对该一个或多个语法元素编解码：固定长度精度、截断一元码精度、一元码精度或指数哥伦布精度。

9.根据条款1所述的方法，其中，该一个或多个语法元素包括表示用于计算色度残差缩放步骤中的残差缩放(residual scaling，CRS)因子的亮度样点的索引，使得该色度残差缩放步骤是亮度相关的色度残差缩放步骤。

10.根据条款9所述的方法，其中，该索引是固定索引，并且如果该一个或多个语法元素包含到比特流表示当中，那么该规则规定将该固定索引表示为视觉媒体数据的比特流表示中的字段。

11.根据条款9-10中的任何一项或多项所述的方法，其中，该索引还表示用于推导亮度相关的色度残差缩放步骤中的色度残差缩放(CRS)因子的查找表中的索引。

12.根据条款9-10中的任何一项或多项所述的方法，其中，该索引落在被表示为[k0,k1]的预定义区间内，其中，k0、k1表示该预定义区间的端点，并且其中，k0和k1两者均包含在该预定义区间内。

13.根据条款12所述的方法，其中，k0＝0并且k1＝15。

14.根据条款12-13中的任何一项或多项所述的方法，其中，该索引是由亮度相关的色度残差缩放步骤中使用的至少一个其他索引预测性推导的。

15.根据条款14所述的方法，其中，该至少一个其他索引对应于亮度相关的色度残差缩放步骤中使用的最小索引。

16.根据条款11-12中的任何一项或多项所述的方法，其中，该至少一个其他索引对应于亮度相关的色度残差缩放步骤中使用的最大索引。

17.根据条款11-12中的任何一项或多项所述的方法，其中，该索引是至少部分地基于将偏移值加到该亮度相关的色度残差缩放步骤中使用的最大索引和该亮度相关的色度残差缩放步骤中使用的最小索引之和上而被预测性地推导的。

18.根据条款14所述的方法，其中，该索引经过取整运算。

19.根据条款14-15中的任何一项或多项所述的方法，其中，该偏移值为0或1。

20.根据条款6-16中的任何一项或多项所述的方法，其中，使用下述选项之一对该索引的精度编解码：固定长度精度、截断一元码精度、一元码精度或指数哥伦布精度。

21.根据条款6-17中的任何一项或多项所述的方法，其中，基于满足一个或多个条件，将在亮度相关的色度残差缩放步骤中识别的索引选择性地包含到该比特流表示当中。

22.根据条款18所述的方法，其中，该一个或多个条件包括：

(1)检测到当前视频块的颜色格式并非是4:0:0格式，

(2)检测到针对当前视频块禁用单独平面编解码技术，

(3)检测到ChromaArrayType不等于0，或者

(4)检测到对当前视频块启用亮度相关的色度残差缩放步骤。

23.根据条款6-19中的任何一项或多项所述的方法，其中，该亮度相关的色度残差缩放步骤与和带有色度缩放的亮度映射(LMCS)模式的应用有关的数据相关联，该方法还包括：在确定多个视频块共享与带有色度缩放的亮度映射(LMCS)模式的应用有关的相同数据时，该规则规定将该CRS因子基于该索引推导为固定值。

24.根据条款20所述的方法，其中，对一个即时解码器刷新(IDR)图片、一个清洁随机访问(CRA)图片或者一个帧内随机访问图片(IRAP)图片推导一次CRS因子。

25.根据条款21所述的方法，其中，该CRS因子适用于该即时解码器刷新(IDR)图片、清洁随机访问(CRA)图片或者帧内随机访问图片(IRAP)图片中包含的所有视频块。

26.根据条款20所述的方法，其中，该CRS因子适用于后续即时解码器刷新(IDR)图片、后续清洁随机访问(CRA)图片或者后续帧内随机访问图片(IRAP)图片之前的帧间编解码图片中包含的所有视频块。

27.根据条款1-23中任一项所述的方法，其中，该转换包括从当前视频块生成比特流表示。

28.根据条款9-27中任一项所述的方法，其中，该索引是二进制索引。例如，该二进制索引可以用于上下文编解码，如本文档中所公开的。

29.根条款9-27中任一项所述的方法，其中，该索引是整数。

30.根据条款1-29中任一项所述的方法，其中，该转换包括从比特流表示生成当前视频块的像素值。

31.一种视频编码器装置，包括处理器，该处理器被配置为实施根据条款1-30中的任何一项或多项中所述的方法。

32.一种视频解码器装置，包括处理器，该处理器被配置为实施根据条款1-30中的任何一项或多项中所述的方法。

33.一种其上存储有代码的计算机可读介质，该代码体现为用于实施根据条款1-30中的任何一项或多项中所述的方法的处理器可读指令。

在本文档中，术语“视频处理”或“视觉媒体处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到对应的比特流表示的转换或反之期间应用视频压缩算法。当前视频块的比特流表示可以(例如)对应于在比特流内位于一处或散布在不同地方的比特，如语法所定义。例如，可以在依据经变换和编解码的误差残差值并且还使用比特流中的标头和其他字段中的比特的情况下来编码宏块。此外，在转换期间，解码器可以在基于该确定了解某些字段可以存在或不存在的情况下解析比特流，如上文的解决方案所述。类似的，编码器可以判断是否包含某些语法字段并且通过在编解码表示中包含或者从编解码表示中排除这些语法字段而相应地生成编解码表示。将要认识到，可以将所公开的技术体现到视频编码器或解码器当中，从而使用包括基于子块的运动矢量细化的使用的技术提高压缩效率。

从前述内容可知，将要认识到，本文已经出于例示的目的描述了本文公开的技术的具体实施例，但可以做出各种修改而不脱离本发明的范围。相应地，本公开的技术除了受到所附权利要求限制外，不受其他限制。

本专利文档中描述的主题和功能操作的实施方式可以在各种系统、数字电子电路，或者计算机软件、固件或硬件中实施，包括本说明书中所公开的结构及其结构等价方案或者它们当中的一者或多者的组合。本说明书中描述的主题的实施方式可以被实施成一个或多个计算机程序产品，即编码在有形且非暂态计算机可读介质上的计算机程序指令的一个或多个模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组成或者它们当中的一者或多者的组合。术语“数据处理单元”或“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括(例如)可编程处理器、计算机或多个处理器或计算机。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或者它们当中的一者或多者的组合。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以按照任何形式部署，包括作为独立程序或作为模块、部件、子例程或其他适合在计算环境中使用的单元。计算机程序不一定与文档系统中的文档对应。程序可以存储在保存其他程序或数据的文档(例如，存储在标记语言文档中的一个或多个脚本)的部分中，专用于该程序的单个文档中，或者多个协调文档(例如，存储一个或多个模块、子程序或代码部分的文档)中。可以将计算机程序部署为在一个或多个计算机上执行，这一个或多个计算机位于一个站点上，或者跨越多个站点分布并通过通信网络互连。

本说明书中描述的过程和逻辑流可以通过由一个或多个可编程处理器执行一个或多个计算机程序来执行，从而通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流也可以通过专用逻辑电路来执行，并且装置也可以被实施成专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。一般来讲，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是执行指令的处理器以及存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或被操作性地耦接为从一个或多个大容量存储设备接收数据或向其传输数据，或两者兼有。然而，计算机不一定具有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括(例如)半导体存储设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。

意在将说明书连同附图仅视为示范性的，其中示范性表示示例。如本文所用，“或”的使用意在包含“和/或”，除非上下文明确做出其他表述。

虽然本专利文档包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定发明的特定实施例的具体特征的描述。本专利文档在各单独实施例的语境下描述的某些特征也可以在单个实施例中组合实施。相反地，在单个实施例的语境下描述的各种特征也可单独地或者以任何合适的子组合的形式在多个实施例中实施。此外，虽然某些特征可能在上面被描述为以某些组合来起作用并且甚至最初也这样地来要求对其的权利保护，但是来自要求权利保护的组合的一个或多个特征在某些情况下可从该组合中去除，并且要求权利保护的组合可涉及子组合或子组合的变型。

类似地，虽然操作在附图中以特定次序示出，但不应将这种情况理解为需要以相继次序或所示的特定次来执行此类操作，或者需要执行所有所示的操作以实现期望的结果。此外，在本专利文档中描述的实施例当中对各种系统部件的划分不应被理解为在所有实施例中都要求这样的划分。

仅描述了几种实施方式和示例，其他实施方式、增强和变化可以基于本专利文档中描述和说明的内容做出。

Claims

1.一种用于视觉媒体处理的方法，包括：

为视觉媒体数据的视频区域中的当前视频块与比特流表示之间的转换，对所述比特流表示进行处理，

其中，所述比特流表示基于一种规则，所述规则规定将在亮度相关的色度残差缩放步骤中使用的一个或多个语法元素选择性地包含到所述比特流表示当中；

其中，所述亮度相关的色度残差缩放步骤包括在所述转换期间基于邻近重建亮度样点缩放色度样点；并且

其中，所述一个或多个语法元素可用于推导用于所述缩放的色度残差缩放因子。

2.根据权利要求1所述的方法，其中，如果所述一个或多个语法元素包含在所述比特流表示中，那么所述规则规定将所述一个或多个语法元素表示为所述视觉媒体数据的比特流表示中的字段。

3.根据权利要求1-2中的任何一项或多项所述的方法，其中，包含在所述比特流表示中的所述一个或多个语法元素与调适参数集(APS)数据相关联，所述APS数据与带有色度缩放的亮度映射(LMCS)模式的应用有关。

4.根据权利要求1-2中的任何一项或多项所述的方法，其中，包含在所述比特流表示中的所述一个或多个语法元素与下述选项之一相关联：序列参数集(SPS)、条带标头、片组标头、图片参数集(PPS)、图片标头、砖块、编解码树单元(CTU)行、编解码树单元(CTU)或编解码单元(CU)。

5.根据权利要求1-4中的任何一项或多项所述的方法，其中，视频单元包括多个视频块，所述方法还包括：

在检测到所述一个或多个语法元素与所述视频单元相关联时，确定在针对所述视频单元中包含的多个视频块的亮度相关的色度残差缩放步骤中使用所述一个或多个语法元素。

6.根据权利要求1-5中的任何一项或多项所述的方法，其中，所述一个或多个语法元素包括落在被表示为[k0,k1]的预定义区间内的第一语法元素，其中，k0、k1表示所述预定义区间的端点，并且其中，k0和k1两者均包含在所述预定义区间内。

7.根据权利要求1-6中的任何一项或多项所述的方法，其中，所述一个或多个语法元素包括基于满足一个或多个条件而被选择性地包含在所述比特流表示当中的第二语法元素。

8.根据权利要求1-7中的任何一项或多项所述的方法，其中，使用下述选项之一对所述一个或多个语法元素编解码：固定长度精度、截断一元码精度、一元码精度或指数哥伦布精度。

9.根据权利要求1所述的方法，其中，所述一个或多个语法元素包括表示用于计算所述色度残差缩放步骤中的残差缩放(CRS)因子的亮度样点的索引，使得所述色度残差缩放步骤是亮度相关的色度残差缩放步骤。

10.根据权利要求9所述的方法，其中，所述索引是固定索引，并且如果所述一个或多个语法元素包含在所述比特流表示中，那么所述规则规定将所述固定索引表示为所述视觉媒体数据的比特流表示中的字段。

11.根据权利要求9-10中的任何一项或多项所述的方法，其中，所述索引还表示用于推导所述亮度相关的色度残差缩放步骤中的色度残差缩放(CRS)因子的查找表中的索引。

12.根据权利要求9-10中的任何一项或多项所述的方法，其中，所述索引落在被表示为[k0,k1]的预定义区间内，其中，k0、k1表示所述预定义区间的端点，并且其中，k0和k1两者均包含在所述预定义区间内。

13.根据权利要求12所述的方法，其中，k0＝0并且k1＝15。

14.根据权利要求12-13中的任何一项或多项所述的方法，其中，所述索引是由所述亮度相关的色度残差缩放步骤中使用的至少一个其他索引预测性推导的。

15.根据权利要求14所述的方法，其中，所述至少一个其他索引对应于所述亮度相关的色度残差缩放步骤中使用的最小索引。

16.根据权利要求11-12中的任何一项或多项所述的方法，其中，所述至少一个其他索引对应于所述亮度相关的色度残差缩放步骤中使用的最大索引。

17.根据权利要求11-12中的任何一项或多项所述的方法，其中，所述索引是至少部分地基于将偏移值加到所述亮度相关的色度残差缩放步骤中使用的最大索引和所述亮度相关的色度残差缩放步骤中使用的最小索引之和上而预测性的推导的。

18.根据权利要求14所述的方法，其中，所述索引经过取整运算。

19.根据权利要求14-15中的任何一项或多项所述的方法，其中，所述偏移值为0或1。

20.根据权利要求6-16中的任何一项或多项所述的方法，其中，使用下述选项之一对所述索引的精度编解码：固定长度精度、截断一元码精度、一元码精度或指数哥伦布精度。

21.根据权利要求6-17中的任何一项或多项所述的方法，其中，基于满足一个或多个条件，将在所述亮度相关的色度残差缩放步骤中识别的索引选择性地包含到所述比特流表示当中。

22.根据权利要求18所述的方法，其中，所述一个或多个条件包括：

(1)检测到所述当前视频块的颜色格式并非是4:0:0格式，

(2)检测到针对当前视频块禁用单独平面编解码技术，

(3)检测到ChromaArrayType不等于0，或者

(4)检测到对当前视频块启用亮度相关的色度残差缩放步骤。

23.根据权利要求6-19中的任何一项或多项所述的方法，其中，所述亮度相关的色度残差缩放步骤与和带有色度缩放的亮度映射(LMCS)模式的应用有关的数据相关联，所述方法还包括：

在确定多个视频块共享与所述带有色度缩放的亮度映射(LMCS)模式的应用有关的相同数据时，所述规则规定将所述CRS因子基于所述索引推导为固定值。

24.根据权利要求20所述的方法，其中，对一个即时解码器刷新(IDR)图片、一个清洁随机访问(CRA)图片或者一个帧内随机访问图片(IRAP)图片推导一次CRS因子。

25.根据权利要求21所述的方法，其中，所述CRS因子适用于所述即时解码器刷新(IDR)图片、清洁随机访问(CRA)图片或者帧内随机访问图片(IRAP)图片中包含的所有视频块。

26.根据权利要求20所述的方法，其中，所述CRS因子适用于后续即时解码器刷新(IDR)图片、后续清洁随机访问(CRA)图片或者后续帧内随机访问图片(IRAP)图片之前的帧间编解码图片中包含的所有视频块。

27.根据权利要求1-23中任一项所述的方法，其中，所述转换包括由所述当前视频块生成所述比特流表示。

28.根据权利要求9-27中任一项所述的方法，其中，所述索引是二进制索引。

29.根据权利要求9-27中任一项所述的方法，其中，所述索引是整数。

30.根据权利要求1-29中任一项所述的方法，其中，其中，所述转换包括从所述比特流表示生成所述当前视频块的像素值。

31.一种视频编码器装置，包括处理器，所述处理器被配置为实施根据权利要求1-30中的任何一项或多项中所述的方法。

32.一种视频解码器装置，包括处理器，所述处理器被配置为实施根据权利要求1-30中的任何一项或多项中所述的方法。

33.一种其上存储有代码的计算机可读介质，所述代码体现为用于实施根据权利要求1-30中的任何一项或多项中所述的方法的处理器可执行指令。