CN115004697A - 来自多个跨分量的预测 - Google Patents

Abstract

描述了用于数字视频编解码的设备、系统和方法，其包括来自多个跨分量(PMC)方法的预测。一种用于视频处理的示例性方法包括：对于视频的第一分量的视频块和视频的比特流表示之间的转换，使用视频块之外的代表性样点来确定视频块的样点的预测值。代表性样点在转换过程期间确定。该方法还包括基于该确定来执行转换。

Description

来自多个跨分量的预测

相关应用的交叉引用

本申请要求2019年12月4日提交的国际专利申请PCT/CN2019/122946的优先权和利益。上述申请的全部公开内容通过引用并入作为本申请公开内容的一部分。

技术领域

本专利文件涉及视频编解码技术、设备和系统。

背景技术

尽管在视频压缩方面取得了进步，但是在互联网和其他数字通信网络上，数字视频仍然占据了最大的带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

发明内容

描述了与跨分量预测方法相关的设备、系统和方法。

在一个代表性方面中，一种用于视频处理的方法包括对于视频的第一分量的视频块和视频的比特流表示之间的转换，使用视频块之外的代表性样点来确定视频块的样点的预测值。代表性样点在转换过程期间确定。该方法还包括基于该确定来执行转换。

在另一代表性方面中，一种视频处理的方法包括对于视频的第一分量的视频块和视频的比特流表示之间的转换，确定多个跨分量编解码工具的编解码模式。该方法还包括基于该确定来执行转换。编解码模式是从可用于编解码视频块的多个模式中确定的，多个模式具有不同的参数，用于使用来自第二分量、第三分量或视频块的临近块中的至少一个的代表性样点来确定视频块的样点的预测值。

在另一个代表性方面，一种视频处理的方法包括执行视频的视频块和视频的比特流表示之间的转换。使用来自多个跨分量预测(PMC)编解码工具的预测的多个预测模式中的多个跨分量预测模式编解码视频块，并且多个跨分量预测模式在比特流表示中被信号通知为帧内预测模式或帧间预测模式。

在另一代表性方面，一种视频处理的方法包括在对于第一分量启用来自多个跨分量(PMC)编解码工具的预测的情况下，确定用于视频的视频块和视频的比特流表示之间的转换的视频单元的残差信息。该方法还包括基于该确定来执行转换。

在另一个代表性方面，一种视频处理的方法包括：对于视频的视频块和视频的比特流表示之间的转换，基于视频块的临近样点的可用性，确定是否在比特流表示中信令通知跨分量预测(CCP)编解码工具的使用。临近样点与视频块相邻或不相邻。该方法还包括基于该确定来执行转换。

在另一代表性方面，一种视频处理的方法包括：使用视频的第二分量和/或视频的第三分量的代表性样点来确定视频的视频块的第一分量的样点的预测值，以及根据确定的第一分量的预测值来执行视频块和视频块的比特流表示之间的转换。

在另一个代表性方面，上述方法以处理器可执行代码的形式实现，并存储在计算机可读程序介质中。

在又一个代表性方面，公开了一种被配置或可操作来执行上述方法的设备。该设备可以包括被编程来实现该方法的处理器。

在又一个代表性方面，视频解码器装置可以实现如本文所述的方法。

在附图、说明书和权利要求中更详细地描述了所公开技术的上述和其他方面和特征。

附图说明

图1显示了帧内模式预测中使用的临近块。

图2显示了67种帧内预测模式。

图3显示了在最可能模式(MPM)列表构造过程中使用的临近块。

图4显示了对于广角帧内预测的参考样点。

图5显示了方向超过45度时的不连续性的问题。

图6A显示了应用于对角右顶部模式的位置相关帧内预测组合(PDPC)所使用的样点的示例定义。

图6B显示了应用于对角左底部模式的位置相关帧内预测组合(PDPC)所使用的样点的示例定义。

图6C显示了应用于相邻右顶部模式的位置相关帧内预测组合(PDPC)所使用的样点的示例定义。

图6D显示了应用于相邻左底部模式的位置相关帧内预测组合(PDPC)所使用的样点的示例定义。

图7显示了用于帧内预测的参考线的示例。

图8显示了用于导出α和β的样点的位置。

图9A显示了色度样点(三角形)及其对应的四个亮度样点(圆形)。

图9B显示了通用视频编解码(VVC)中的跨分量线性模型(CCLM)的下采样滤波。

图10A显示了假设色度块尺寸等于N×N的线性模型顶部(LM-T)侧。

图10B显示了假设色度块尺寸等于N×N的线性模型左(LM-L)侧。

图11A显示了具有4个条目的线性模型(LM)参数导出过程的示例。

图11B显示了具有4个条目的线性模型(LM)参数导出过程的另一个示例。

图12显示了最小和最大亮度值之间的直线的说明。

图13显示了以4:2:0和8×8亮度块、4×4色度块为作为示例的两步跨分量预测模式(TSCPM)的编解码流程。

图14显示了四个临近样点的示例，其中左侧和上方的参考样点均可用。

图15A显示了用于预测(X_c,Y_c)的6个代表性颜色分量C1样点(深灰)。

图15B显示了用于预测(X_c,Y_c)的8个代表性颜色分量C1样点(深灰)。

图16显示了利用提议的方法的解码流程图。

图17显示了示例视频处理的方法的流程图。

图18是视频处理装置的框图。

图19是显示示例视频处理系统的框图，其中可以实现本文公开的各种技术。

图20是说明示例视频编解码系统的框图。

图21是说明根据本公开的一些实施例的编码器的框图。

图22是说明根据本公开的一些实施例的解码器的框图。

图23是根据本技术的视频处理的方法的流程图表示。

图24是根据本技术的另一种视频处理的方法的流程图表示。

图25是根据本技术的另一种视频处理的方法的流程图表示。

图26是根据本技术的另一种视频处理的方法的流程图表示。

图27是根据本技术的另一种视频处理的方法的流程图表示。

具体实施方式

在本文件中使用节标题是为了便于理解，而不是将节中公开的实施例仅限于该节。此外，尽管参考通用视频编解码或其他特定视频编解码器描述了某些实施例，但是所公开的技术也适用于其他视频编解码技术。此外，尽管一些实施例详细描述了视频编解码步骤，但是将会理解，撤消编解码的对应的解码步骤将由解码器来实现。此外，术语视频处理包括视频编解码或压缩、视频解码或解压缩以及视频代码转换，其中视频像素从一种压缩格式表示为另一种压缩格式或者以不同的压缩比特率表示。

1初始介绍

该专利申请中描述的技术涉及图像/视频编解码技术。具体地，它涉及图像/视频编解码中的跨分量预测。它可以应用于现有的视频编解码标准，如高效视频编解码(HEVC)，或者即将完成的标准(通用视频编解码)。它也可以适用于未来的视频编解码标准或视频编解码器。

2视频编解码讨论

视频编解码标准主要通过众所周知的ITU-T和ISO/IEC标准的发展而演进。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4Visual，并且这两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编解码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。此后，JVET采用了许多新方法，并将其输入到名为联合探索模型(JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1SC29/WG11(MPEG)成立了联合视频专家小组(JVET)，致力于VVC标准，目标是与HEVC相比将比特率降低50％。

2.1颜色格式

色度子采样是通过利用人类视觉系统对色差的敏感度低于对亮度的敏感度，对色度信息实现比亮度信息更低的分辨率来编码图像的实践。

4:2:0是水平和垂直的2:1子采样。色度为4:4:4的信号无压缩(因此不会进行子采样)，并且完全传输亮度和颜色数据。在四乘二的像素阵列中，4:2:2具有4:4:4的色度是的一半，而4:2:0具有可用颜色信息的四分之一。

假设一个色度块尺寸为MxN，其中M是色度块的宽度，并且N是色度块的高度，色度块内的左顶部位置由(x,y)表示。则可以通过以下方式来识别共位的亮度块：

2.2 HEVC/H.265中的帧内预测

在图片中，可以识别两种不同的冗余：1)空域或时域冗余，2)心理视觉冗余。为了消除空域冗余，使用预测过程。帧内预测是预测图片帧的像素的过程。图片内预测使用邻域(neighborhood)像素来预测图片块。在帧内预测之前，帧必须被划分。

在HEVC，一个图片/条带/片可以被划分成多个编解码树单元(CTU)。根据纹理复杂度等参数，CTU的尺寸可以是64×64、32×32或16×16。编解码树单元(CTU)因此是编解码逻辑单元，其进而被编码成HEVC比特流。它包括三个块，即亮度(Y)和两个色度分量(Cb和Cr)。以4:2:0颜色格式为例，亮度分量具有LxL个样点，并且每个色度分量具有L/2xL/2个样点。每个块被称为编解码树块(CTB)。每个CTB的尺寸(LxL)与CTU相同(64×64、32×32或16×16)。每个CTB可以在四叉树结构中重复划分，从与CTB相同的尺寸到8×8的尺寸。由这种分割产生的每个块被称为编解码块(CB)，并成为预测类型(帧间或帧内预测)的决定点。预测类型连同其他参数在编解码单元(CU)中被编解码。所以CU是HEVC预测的基本单位，每一个都是从先前编解码的数据预测出来的。并且CU包括三种Cb(Y、Cb和Cr)。CB可能仍然太大而无法存储运动向量(图片间(时域)预测)或图片内(空域)预测模式。因此，预测块(PB)被引入。根据时域和/或空域的可预测性，每个CB可以被不同地划分成PB。CTU的尺寸可以是：32×32、16×16、8×8或4×4。

有两种帧内预测模式，PCM(脉冲编解码调制)和普通帧内预测模式。

2.2.1 PCM(脉冲编解码调制)

在I_PCM模式下，会旁路预测、变换、量化和熵编解码。通过直接表示样点值而不进行预测或应用变换来对块的样点进行编解码。

在HEVC，I_PCM模式仅适用于2Nx2N PU。最大和最小I_PCM CU尺寸在SPS中信令通知，合法的I_PCM CU尺寸为8×8、16×16和32×32，用户选择的PCM样点位深度，在SPS中分别为亮度和色度信令通知。

以亮度样点为例：recSamplesL[i,j]＝pcm_sample_luma[(nS*j)+i]<<(BitDepthY–PCMBitDepthY)。当PCMBitDepthY＝BitDepthY时，它变成无损编解码。

2.2.2正常帧内预测

对于亮度分量，有35个模式，包括平面、DC和33种角度预测模式，适用于所有块尺寸。为了更好地编解码这些亮度预测模式，首先对一个最可能模式(MPM)标志进行编解码，以指示是否选择了3种MPM模式中的一种。如果MPM标志为假，则32种其余模式用固定长度编解码进行编解码)。

三个最可能模式的集合的选择是基于两个临近PU的模式，一个在当前PU的左侧，并且一个在当前PU的上方。假设当前PU的左上方的帧内模式分别是A和B，其中两个临近块在图1中示出。

如果临近PU没有被编解码为帧内，或者以脉冲编解码调制(PCM)模式被编解码，则该PU被认为是DC预测的PU。此外，当上方临近PU在CTU之外时，假设B是DC模式，以避免引入附加的行缓冲器用于帧内模式重构。

如果A不等于B，则表示为MPM[0]和MPM[1]的前两个最可能模式分别设置为等于A和B，并且表示为MPM[2]的第三最可能模式确定如下：

–如果A或B都不是平面模式，则MPM[2]被设置为平面模式。

–否则，如果A或B都不是DC模式，则MPM[2]被设置为DC模式。

–否则(两个最可能模式之一是平面模式，另一个是DC模式)，则MPM[2]被设置为等于角度模式26(直接垂直)。

如果A等于B，三种最可能模式确定如下。在它们不是角度模式的情况下(A和B小于2)，三个最可能模式分别被设置为等于平面模式、DC模式和角度模式26。否则(A和B大于或等于2)，第一最可能模式MPM[0]被设置为等于A，并且两个剩余的最可能模式MPM[1]和MPM[2]被设置为等于A的临近方向，并且计算如下：

MPM[1]＝2+((A-2–1+32)％32)

MPM[2]＝2+((A-2+1)％32)

其中％表示模运算符(例如，a％b表示a除以b的余数)。

对于色度分量，有5个模式，包括DM、平面、DC、水平、垂直。

2.3 VVC的帧内预测

2.3.1具有67种帧内预测模式的帧内模式编解码

为了捕获自然视频中呈现的任意边缘方向，方向帧内模式的数量从HEVC使用的33种增加到65种。附加的方向模式在图2中用灰色虚线箭头表示，并且平面和DC模式保持不变。这些更密集的方向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。

传统的角度帧内预测方向被定义为顺时针方向从45度到-135度，如图2所示。在VTM2中，对于非正方形块，几个传统的角度帧内预测模式被适应性地替换为广角帧内预测模式。

帧内预测模式的总数不变，例如67，并且帧内模式编解码不变。

在HEVC中，每个帧内编解码的块具有正方形形状，并且其每条边的长度是2的幂。因此，使用DC模式生成帧内预测值(predictor)不需要除法运算。在VVV2中，块可以具有矩形形状，这使得在一般情况下对每个块使用除法运算成为必要。为了避免DC预测的除法运算，只有较长的边用于计算非正方形块的平均值。

2.3.2带有6个MPM的亮度分量的帧内模式编解码

在VVC参考软件VTM3.0.rc1中，如图3所示，只有表示为左侧(LEFT)和上方(ABOVE)的临近位置A和B的帧内模式用于MPM列表生成。对于非MPM编解码，应用截断的二进制编解码。

设当前CU左侧和上方的帧内模式分别为Mode_A和Mode_B。

如果临近CU没有被编解码为帧内，或者以脉冲编解码调制(PCM)模式被编解码，则该CU被认为是

预测的CU。此外，当上方临近CU在CTU之外时，Mode_B被假设为

模式，以避免引入附加的行缓冲器用于帧内模式重构。

这6种MPM模式由MPM[i]表示(i为0…5)。按顺序执行以下步骤：

1.初始化的值：MPM[6]＝{Mode_A,！Mode_A,50,18,46,54}；

2.如果Mode_A等于Mode_B，则以下适用

–如果Mode_A大于1(非DC/平面)，MPM[6]＝{Mode_A,planar,DC,2+((candIntraPredModeA+62)％65),2+((candIntraPredModeA-1)％65,2+((candIntraPredModeA+61)％65))}；

3.否则(Mode_A等于Mode_B)，则以下适用：

–MPM[0]＝Mode_A，MPM[1]＝Mode_B

–设置变量biggerIdx如下：

biggerIdx＝candModeList[0]>candModeList[1]？0:1

–如果Mode_A和Mode_B都大于1，则MPM[x]、其中x＝

2..5的导出如下：

MPM[2]＝INTRA_PLANAR

PM[3]＝INTRA_DC

–如果MPM[biggerIdx]–MPM[！biggerIdx]既不等于64

也不等于1，则以下适用：

MPM[4]＝2+((MPM[biggerIdx]+62)％65)

MPM[5]＝2+((MPM[biggerIdx]-1)％65)

–否则，以下适用：

MPM[4]＝2+((MPM[biggerIdx]+61)％65)

MPM[5]＝2+(candModeList[biggerIdx]％65)

–否则，如果Mode_A和Mode_B之和大于或等于2，则以下适用：

MPM[2]＝！MPM[！biggerIdx]

MPM[3]＝2+((MPM[biggerIdx]+62)％65)

MPM[4]＝2+((MPM[biggerIdx]-1)％65)

MPM[5]＝2+((MPM[biggerIdx]+61)％65)

其中％表示模运算符(例如，a％b表示a除以b的余数)。

2.3.3非正方形块的广角帧内预测

传统的角度帧内预测方向被定义为顺时针方向从45度到-135度。在VTM2中，对于非正方形块，若干传统的角度帧内预测模式被适应性地替换为广角帧内预测模式。使用原始方法信令通知替换的模式，并在解析后重新映射到广角度模式的索引。特定块的帧内预测模式的总数不变，例如67，并且帧内模式编解码不变。

为了支持这些预测方向，长度为2W+1的顶部参考和长度为2H+1的左侧参考被定义为如图4所示。

广角方向模式中的替换的模式的模式号取决于块的纵横比。替换的帧内预测模式在表2-1中示出。

表2-1-帧内预测模式被广角模式替代

如图5所示，在广角帧内预测的情况下，两个垂直相邻的预测的样点可以使用两个不相邻的参考样点。因此，低通参考样点滤波和侧面平滑被应用于广角预测，以减少增加的间隙Δp_α的负面影响。

2.3.4位置相关帧内预测组合

在VTM2中，通过位置相关帧内预测组合(PDPC)方法进一步修改平面模式的帧内预测的结果。PDPC是一种帧内预测方法，其调用未滤波的边界参考样点和具有滤波的边界参考样点的HEVC风格帧内预测的组合。PDPC应用于以下没有信令通知的帧内模式：平面、DC、水平、垂直、左底部角度模式及其

相邻角度模式，以及右顶部角度模式及其

相邻角度模式。

使用帧内预测模式(DC、平面、角度)和参考样点的线性组合，根据如下等式来预测预测样点pred(x,y)：

pred(x,y)＝(wL×R_-1,y+wT×R_x,-1–wTL×R_-1,-1+(64–wL–wT+wTL)×pred(x,y)+32)>>6

其中R_x,-1,R_-1,y分别表示位于当前样点(x,y)顶部和左侧的参考样点，并且R_-1,-1表示位于当前块左顶部角的参考样点。

如果PDPC应用于DC、平面、水平和垂直帧内模式，则不需要附加的边界滤波器，而在HEVC DC模式边界滤波器或水平/垂直模式边缘滤波器的情况下则需要。

图6A-图6D说明了应用于各个预测模式的PDPC的参考样点(R_x,-1,R_-1,y and R_-1,-1)的定义。预测样点pred(x’,y’)位于预测块内的(x’,y’)处。参考样点R_x,-1的坐标x由下式给出：x＝x’+y’+1，并且参考样点R_-1,y的坐标y类似地由下式给出：y＝x’+y’+1。

PDPC权重取决于预测模式，并且如表0-1所示。

表0-1-根据预测模式的PDPC权重的示例

预测模式	wT	wL	wTL
				对角线右顶部	16>>((y’<<1)>>shift)	16>>((x’<<1)>>shift)	0
对角线左底部	16>>((y’<<1)>>shift)	16>>((x’<<1)>>shift)	0
				相邻对角线右顶部	32>>((y’<<1)>>shift)	0	0
相邻对角线左底部	0	32>>((x’<<1)>>shift)	0

2.3.5多参考线帧内预测(MRLIP)

提议允许使用位于不同距离的参考样点，而不是总是使用相邻左侧列和上方行(例如，参考线0)中的重构的样点进行帧内预测。

MRLIP具有以下特性：

–参考线索引信令通知

–可以为一个亮度块选择三条线中的一条：参考线0、1、3，如图7所示。

–CTU限制的顶部线

-

2.3.6色度编解码

在HEVC色度编解码中，对于色度块允许五个模式(包括一种直接模式(DM)，其是来自左顶部方对应的亮度块的帧内预测模式，以及四种默认模式)。双色分量共享相同的帧内预测模式。

与HEVC的设计不同，提议两种新方法，包括：跨分量线性模型(CCLM)预测模式和多种DM。

2.3.6.1 CCLM

为了减少跨分量冗余，在JEM中使用跨分量线性模型(CCLM)预测模式，也称为LM，通过使用如下的线性模型，基于相同CU的重构的亮度样点来预测色度样点：

pred_C(i，j)＝α·rec_L′(i，j)+β (1)

其中pred_C(i，j)表示CU中的预测色度样点，并且rec_L′(i，j)表示颜色格式4∶2∶0或4∶2∶2的相同CU的下采样的重构的亮度样点，而rec_L′(i，j)表示颜色格式4∶4∶4的相同CU的重构的亮度样点。CCLM参数α和β是通过最小化当前块周围的临近重构的亮度和色度样点之间的回归误差而导出的，如下所示：

其中L(n)表示下采样的(对于颜色格式4∶2∶0或4∶2∶2)或原始的(对于颜色格式4∶4∶4)顶部和左侧临近重构的亮度样点，C(n)表示顶部和左侧临近重构的色度样点，并且N的值等于当前色度编解码块的最小宽度和高度的两倍。对于具有正方形形状的编解码块，直接应用上述两个等式。

CCLM亮度到色度预测模式被添加为一种附加的色度帧内预测模式。在编码器侧，为选择色度帧内预测模式，添加了一个色度分量的RD成本检查。当除CCLM亮度到色度预测模式之外的帧内预测模式用于CU的色度分量时，CCLM Cb到Cr预测用于Cr分量预测。

2.3.6.1.1非正方形块的CCLM

对于非正方形编解码块，首先对较长边界的临近样点进行子采样，以具有与较短边界相同数量的样点。图8显示了左侧和上方重构的样点的位置以及CCLM模式中涉及的当前块的样点。

这种回归误差最小化计算是作为解码过程的一部分来执行的，而不仅仅是作为编码器搜索操作，因此不使用语法来传达α和β值。

2.3.6.1.2色度分量之间的CCLM

CCLM预测模式还包括两个色度分量之间的预测，例如，从Cb分量预测Cr分量。在残差域中应用CCLM Cb到Cr预测，而不是使用重构的样点信号。这是通过将加权的重构的Cb残差添加到原始Cr帧内预测以形成最终Cr预测来实现的：

其中resi_Cb′(i，j)在位置(i，j)呈现重构的Cb残差样点。

缩放因子α以与CCLM亮度到色度预测中类似的方式导出。唯一的区别是在误差函数中添加了相对于默认值α的回归成本，因此导出的缩放因子偏向默认值-0.5，如下所示：

其中Cb(n)表示临近重构的Cb样点，Cr(n)表示临近重构的Cr样点，并且λ等于∑(Cb(n)·Cb(n))＞＞9。

2.3.6.1.3 CCLM模式中的下采样滤波

为了执行跨分量预测，对于4∶2∶0色度格式，其中4个亮度样点对应于1个色度样点，重构的亮度块需要被下采样以匹配色度信号的尺寸。CCLM模式中使用的默认下采样滤波器(例如，如图9B所示的6抽头)如下。

请注意，色度样点的位置相对于亮度样点位置，这种下采样假设“类型0”相位关系，如图9A所示，例如水平共位的采样和垂直填隙采样。

2.3.6.2多方向LM

这篇文章提议了多方向LM(MDLM)。在MDLM中，提议了两种附加的CCLM模式：LM-T，其中仅基于顶部临近样点来导出线性模型参数，如图10A所示；以及LM-L，其中仅基于左侧临近样点来导出线性模型参数，如图10B所示。

2.3.6.3 VVC中的三个CCLM解决方案

在VTM 2.0中采用了如JEM中的从亮度到色度预测的CCLM。此外，JVET-L0338和JVET-L0191被进一步采用到VTM-3.0中。

总共支持三种CCLM模式，分别是INTRA_LT_CCLM(JEM内的一种)、INTRA_L_CCLM(LM-T)和INTRA_T_CCLM(LM-L)。这三个模式的不同之处在于利用了哪些临近样点来导出线性模型参数(例如α,β)。

假设色度块尺寸等于nTbW×nTbH，则当前块的顶部或左侧块的可用性分别由availT和availL决定。上方行和左侧列的子采样率分别为xS和yS。

2.3.6.3.1 INTRA_LT_CCLM

在这个模式中，也表示为LM-LT，上方行和左侧列可以用于导出线性模型参数。对于非正方形色度块，可以对对应的较长边进行子采样。也就是说，至多2*nS＝2*(min(nTbW,nTbH))个样点可用于线性模型参数导出。

更具体地说，以下适用：

nS＝((availL&&availT)？Min(nTbW,nTbH):(availL？nTbH:nTbW)) (6)

xS＝1<<(((nTbW>nTbH)&&availL&&availT)？(Log2(nTbW)-Log2(nTbH)):0) (7)

yS＝1<<(((nTbH>nTbW)&&availL&&availT)？(Log2(nTbH)-Log2(nTbW)):0) (8)

2.3.6.3.2 INTRA_L_CCLM

在这个模式下，也表示为LM-L，如果需要，上方行和右上侧(至多numSampL个样点)都被利用。

更具体地说，以下适用：

xS和yS被设置为1(例如，不管它是非正方形还是正方形块，都不进行子采样)。

numSampL＝(availL&&predModeIntra＝＝INTRA_L_CCLM)？(nTbH+numLeftBelow):0 (9)

2.3.6.3.3 INTRA_T_CCLM

在这个模式下，也表示为LM-T，如果需要，左侧列和左下侧(至多numSampT个样点)都被利用。

更具体地说，以下适用：

xS和yS被设置为1(例如，不管它是非正方形还是正方形块，都不进行子采样)。

numSampT＝(availT&&predModeIntra＝＝INTRA_T_CCLM)？(nTbW+numTopRight):0 (10)

2.3.6.4基于四点的线性模型导出

利用临近亮度样点的2点或4点及其对应的色度样点来导出线性模型参数。根据颜色格式，亮度样点可以是那些下采样的亮度样点，而不是直接使用重构的亮度样点。

基本上，2或4点是以相等的距离选择的。假设当前色度块的块宽和块高分别为W和H。并且当前色度块的左顶部坐标是[0，0]。

1.如果上方和左侧块都可用，并且当前模式是正常LM模式(不包括LM-T和LM-L)，则选择位于上方行的2个色度样点和位于左侧列的2个色度样点。

两个上方样点的坐标是[floor(W/4),-1]和[floor(3*W/4),-1]。两个左侧样点的坐标是[-1,floor(H/4)]和[-1,floor(3*H/4)]。如图11A所示，选择的样点涂有纯色(例如灰色或黑色)。图11A显示了当上方和左侧临近样点都可用时的示例。

随后，根据亮度样点强度对这4个样点进行排序(sort)，并将其分为2组。分别对两个较大的样点和两个较小的样点进行平均。跨分量预测模型是用2个平均点导出的。或者，使用四个样点的最大值和最小值来导出LM参数。

2.如果上方块可用，而左侧块不可用，则当W>2时，从上方块中选择4个色度样点，并且当W＝2时，选择2个色度样点。

四个选择的上方样点的坐标是[W/8，-1]、[W/8+W/4，-1]、[W/8+2*W/4，-1]和[W/8+3*W/4，-1]。如图11B所示，选择的样点被涂上纯色(例如灰色或黑色)。图11B显示了当只有上方临近样点可用并且右顶部不可用时的示例。

3.如果左侧块可用，而上方块不可用，则当H>2时，选择来自左侧块的4个色度样点，并且当H＝2时，选择2个色度样点。

四个选择的左侧样点的坐标是[-1，H/8]，[-1，H/8+H/4]，[-1，H/8+2*H/4，-1]和[-1，H/8+3*H/4]。

4.如果左侧和上方块都不可用，则使用默认预测。其中α等于0，β等于1<<(BitDepth-1)，其中BitDepth表示色度样点的位深度。

5.如果当前模式是LM-T模式，当W’>2时，从上方块中选择4个色度样点，并且当W’＝2时，选择2个色度样点。W’是上方临近样点的可用数量，其可以是2*W。

四个选择的上方样点的坐标是[W’/8，-1]、[W’/8+W’/4，-1]、[W’/8+2*W’/4，-1]和[W’/8+3*W’/4，-1]。

6.如果当前模式是LM-L模式，当H’＞2时，从左侧块中选择4个色度样点，并且当H’＝2时，选择2个色度样点。H’是左侧临近样点的可用数量，其可以是2*H。

四个选择的左侧样点的坐标是[-1，H’/8]、[-1，H’/8+H’/4]、[-1，H’/8+2*H’/4，-1]和[-1，H’/8+3*H’/4]。

JVET-L0191提议用直线方程代替线性模型参数α和β的LMS算法，即所谓的两点法。四点中的两个较小值被平均，表示为A；并且四点中较大的两个值(剩余的两个)被平均，用B表示。图12中描绘了A和B。

其中线性模型参数α和β根据以下等式获得：

β＝y_A-α*x_A (12)

要导出α的除法被避免，并替换为如下的乘法和移位：

-如果上方或左侧临近块可用，则以下适用：

a＝0；

iShift＝16

shift＝(IntemalBitDepth＞8)？IntemalBitDepth-9：0；

add＝shift？1＜＜(shift-1)：0；

diff＝(max luma-min luma+add)＞＞shift；

如果(差值＞0)

{

div＝((MaxChroma-min chroma)*g_aiLMDivTableLow[diff-1]+32768)＞＞16；

a＝(((MaxChroma-min chroma)*g_aiLMDivTableHigh[diff-1]+div+add)＞＞shift)；

}

b＝min chroma-((a*min luma)＞＞is hift)；

-否则，以下适用：

a＝0；iShift＝0；b＝1<<(BitDepth_C-1)

其中S被设置为等于iShift，α被设置为等于a，并且β被设置为等于b；g_aiLMDivTableLow和g_aiLMDivTableHigh是两个各有512个条目的表。每个条目存储16位整数。

为了导出色度预测值，对于当前的VTM实现，乘法由如下的整数运算代替：

预测值被进一步裁剪到色度值的允许的范围。

2.3.6.5色度预测生成过程

对于所有三种支持的LM模式，以下适用：

一个色度块的预测样点predSamples[x][y](其中x＝0..nTbW-1,y＝0..nTbH-1)导出如下：

predSamples[x][y]＝Clip1C(((pDsY[x][y]*a)>>k)+β) (13)

Clip1_C(x)＝Clip3(0,(1<<BitDepth_C)-1,x) (14)

其中(a，b)，k(设置为S)是从小节0或者0或者0根据为色度块选择的CCLM模式导出的两个线性模型参数，nTbW和nTbH分别是色度块的宽度和高度，并且pDsY是下采样的共位的亮度重构的块。

更具体地，下采样的共位的亮度采样pDsY[x][y]、其中x＝0..nTbW-1,y＝0..nTbH-1导出如下，其中用于左顶部位置(1,2,1；1,2,1)下采样滤波器或的(1,1)下采样滤波器：

–pDsY[x][y]、其中x＝1..nTbW-1,y＝0..nTbH-1导出如下：

pDsY[x][y]＝(pY[2*x-1][2*y]+pY[2*x-1][2*y+1]+ (15)

2*pY[2*x][2*y]+2*pY[2*x][2*y+1]+pY[2*x+1][2*y]+pY[2*x+1][2*y+1]+4)>>3

–如果availL等于TRUE，pDsY[0][y]、其中y＝0..nTbH-1导出如下：

–否则，pDsY[0][y]、其中y＝0..nTbH-1导出如下：

pDsY[0][y]＝(pY[0][2*y]+pY[0][2*y+1]+1)>>1 (17)

在以上示例中，pY指示去块滤波之前的共位的亮度重构的样点。

2.3.6.6色度帧内预测模式的语法设计

7.3.9.5编解码单元语法

表20–取决于cclm_mode_flag、cclm_mode_idx、intra_chroma_pred_mode和lumaIntraPredMode的IntraPredModeC[xCb][yCb]的规范

2.4 AVS3中的两步跨分量预测模式(TSCPM)

本节给出了AVS3中两步跨分量预测模式(TSCPM)的示例。TSCPM通过以下步骤完成：

1)从临近重构的样点中获得线性模型

2)将线性模型应用于原始重构的亮度块，以获得内部预测块。

3)内部预测块被下采样以生成最终色度预测块。

图13描绘了色度预测块生成过程的基本过程。左侧正方形表示位于R_L(x,y)的共位的亮度块的(x,y)处的原始重构的亮度样点。通过简单地将具有参数(α,β)的线性模型应用于每个亮度样点，生成临时色度预测块。此后，临时色度预测块被进一步下采样以生成最终色度预测块。

线性模型导出过程和下采样过程在下面的小节中描述。

2.4.1线性模型的导出

在一个实施例中，可以选择4或2个样点，并且利用两个较大值和两个较小值的平均值来计算参数。

临近样点的选择

首先，按照等式19计算色度编解码的块的宽度和高度的比率r。然后，基于上方行和左侧列的可用性，选择四个或两个样点。

更具体地，如果上方和左侧临近参考样点都可用，则选择位于[0，-1]、[宽度-max(1，r)，-1]、[-1，0]、[-1，高度-max(1，r)]的四个样点。当只有上方临近参考样点可用时，使用位于[0，-1]、[宽度/4，-1]、[2宽度/4，-1]、[3宽度/4，-1]的四个样点。对于只有左侧参考样点可访问的情况，采用[-1，0]、[-1，高度/4]、[-1，2高度/4]、[-1，3高度/4]。图14显示了关于四个临近样点的位置示例。选择的样点被涂上黄色。

随后，根据亮度样点强度对这4个样点进行排序，并将其分为2组。分别对两个较大的样点和两个较小的样点进行平均。跨分量预测模型是用2个平均点导出的。在一个示例中，类似于0可用于导出α、β和shift(偏移)，其中两个较大选择的样点值的平均值为(MaxLuma，MaxChroma)，两个较小选择的样点值的平均值为(MinLuma，MinChroma)。

如果只有当前色度块宽度为2的上方块或当前色度块高度为2的左侧块可用，则选择上方线的[0，-1]和[1，-1]，或左侧线的[-1，0]，[-1，1]。根据选择的2个样点的亮度和色度值导出色度预测模型。在一个示例中，类似于0可用于导出α、β和shift。

如果左侧和上方块都不可用，则使用默认预测。其中α等于0，并且β等于1＜＜(BitDepth-1)，其中BitDepth表示色度样点的位深度。

2.4.2色度预测块的两步导出过程

利用等式21生成临时色度预测块，其中P′_c(x，y)表示临时预测块。α和β是模型参数。R_L(x，y)是重构的亮度样点。

P′_c(x，y)＝α×R_L(x，y)+β (19)

类似于正常帧内预测过程，裁剪操作应用于P′_c(x，y)以确保其在[0，1＜＜(BitDepth-1)]内。

六抽头滤波器(例如，[121；121])被引入用于临时色度预测块的下采样的过程，如等式4所示

P_c＝(2×P′_c(2x，2y)+2×P′_c(2x，2y+1)+P′_c(2x-1，2y)+P′_c(2x+1，2y)+P′_c(2x-1，2y+1)+P′_c(2x+1，2y-1)+offset0)＞＞3 (20)

此外，对于位于最左侧列的色度样点，[11]如果改为应用下采样滤波器。

P_c＝(P′_c(2x，2y)+P′_c(2x+1，2y)+offset1)＞＞1

这两个变量offset0和offset1是整数值。在一些示例中，变量offset0和offset1可以分别被设置为4和1。在一些示例中，offset0和offset1可以被设置为0。

2.4.3其他TSCPM模式

除了上述小节中描述的TSCPM模式(表示为TSCPM-LT)，还引入了两种附加的TSCPM模式，表示为TSCPM-L和TSCPM-A，其中仅利用了左侧或上方的临近样点。

2.4.4语法设计

基于AVS3规范，使用标志来信令通知色度帧内预测模式是否为TSCPM。该标志(作为第二bin)在DM模式使用指示(第一bin)后立即进行编解码。下表列出了每种色度模式的详细bin串。

表0-4：使用TAVS3中的色度帧内模式的TSCPM的编解码信令通知。

3问题

跨分量预测方法(包括CCLM、TSCPM)的设计利用亮度信息来预测色度颜色分量(例如，Cb或Cr)。注意，对于要编解码的第二色度颜色分量(例如，Cr)，其他两种颜色分量(例如，亮度和Cb)已经可用。如何利用这些信息需要进一步研究。

4技术解决方案

为了解决上述问题，提议了从多个跨分量(PMC)进行预测的方法。在PMC，第一颜色分量C0的预测信号可以使用由C1和C2表示的第二和/或第三颜色分量的的对应的块的重构的代表性样点来导出。在又一示例中，C0的预测信号还可以取决于1的临近(例如，相邻或不相邻)样点。在又一实例中，C0的预测信号可进一步取决于C0的重构的样点的临近(例如，相邻或不相邻)样点。

下面的详细技术应该被认为是解释一般概念的示例。不应该以狭隘的方式解释这些技术。此外，这些技术可以以任何方式组合。

在下面的描述中，术语“跨分量预测(CCP)”可以表示使用第二颜色分量的信息导出第一颜色分量的重构/预测信号的编解码方法的任何变体。

1.PMC编解码的C0块的编解码/解码过程(例如，预测信号导出过程)可取决于具有对应于当前C0样点的C1颜色分量和/或C2颜色分量的代表性样点的重构样点和/或预测样点。

a.在一个示例中，线性函数可以应用于具有C1和/或C2颜色分量的代表性样点和/或当前C0块的临近样点(包括相邻或不相邻)。

b.在一个示例中，非线性函数可以被应用于具有C1和/或C2颜色分量的代表性样点和/或当前C0块的临近样点(包括相邻的或不相邻的)。

c.在一个示例中，由FPred_c0表示的C0块中的一个样点的最终预测值是通过使用以下等式导出的：

FPred_c0＝X×TPred_c0+Y×(Rec_c2-FPred_c2)+Z (4-1)

其中TPred_c0表示使用现有预测模式(例如，帧内/帧间/IBC预测模式)的样点的临时预测值，Rec_c2和FPred_c2表示代表性C2样点的重构和最终预测值。

d.在一个示例中，C0块中的一个样点的最终预测值，由FPred_c0表示，使用下面的等式导出：

FPred_c0＝X×(α_c0*Rec_c1+β_c0)+Y×(Rec_c2–(α_c2*Rec_c1+β_c2)+Z (4-2)

其中Rec_c1和Rec_c2分别表示代表性C1和C2样点的重构值。

e.在一个示例中，由FPred_c0表示的C0块中的一个样点的最终预测值是通过使用以下等式导出的：

FPred_c0＝(X×α_c0-Y×α_c2)*Rec_c1+(X×β_c0-Y×β_c2)+Y×Rec_c2+Z (4-3)

f.在一个示例中，对于尺寸等于K’×L’的当前C0块，可以首先根据线性模型参数(X×α_c0,X×β_c0)和(Y×α_c2,Y×β_c2)分别导出C0和C2的两个临时块(尺寸等于K×L)，以及对应的C1块(尺寸等于K×L)。临时块可以在有/没有裁剪的情况下进一步下采样到K’×L’。

i.在一个示例中，使用应用于对应的C1块的线性模型参数来导出两个临时块，类似于CCLM/TSCPM过程。

g.在一个示例中，对于尺寸等于K’×L’的当前C0块，可以根据(X×α_c0-Y×α_c2,X×β_c0-Y×β_c2)和尺寸等于K×L的对应的C1块来导出一个临时块(尺寸等于K×L’)。

i.或者，此外，最终预测可通过加上(有/没有被下采样到Y×Rec_c2的)临时块中的共位样点，或者减去(有/没有从Y×Rec_c2下采样的)临时块中的共位的样点来生成。

h.在一个示例中，对于尺寸等于K’×L’的当前C0块，可以首先从尺寸等于K×L的C1块导出临时C1块，例如，使用下采样滤波器。线性模型参数(X×α_c0,X×β_c0)和(Y×α_c2,Y×β_c2)可以被应用于临时C1块，随后在应用线性模型参数之后将临时块中的共位样点添加到Y×Rec_c2，或者随后在线性模型参数被应用之后从Y×Rec_c2减去临时块中的共位样点。

i.在上面的示例中，变量X、Y是可以表示加权因子的两个变量，并且Z是偏移值；α_c0、α_c2是应用于代表性C1样点的两个变量；β_c0和β_c2为偏移值。

i.在一个示例中，X或Y或Z等于1。

ii.在一个示例中，X或Y或Z等于0。

iii.在一个示例中，X等于1，Y等于-1，Z等于0。

iv.在一个示例中，X或Y或Z等于2^K或-2^K，其中K是整数值，诸如在[-M，N]范围内的值，其中M和N不小于0。

v.以上等式中使用的变量可以是预定义的或在比特流中信令通知的。

1)或者，上述等式中使用的变量可以即时导出。

vi.对于一个视频单元(例如，编解码块/预测块/变换块)内的所有样点，以上等式中使用的一个或多个变量可以是相同的。

1)可选地，可以导出或信令通知以上等式中使用的多组变量。

2)或者，视频单元中的第一样点可以选择第一组变量值；且视频单元中的第二样点可选择第二组变量值，其中第一组和第二组中至少一个变量值不同。

j.在上述示例中，Ci(i为0至2)可以定义如下：

i.在一个示例中，C0是Cb；C1是Y，并且C2是Cr颜色分量。

ii.在一个示例中，C0是Cr；C1是Y，并且C2是Cb颜色分量。

iii.在一个示例中，C0是亮度颜色分量(YCbCr格式中的Y；RGB格式的G)，并且C1和C2是剩余的双色分量。

k.在一个示例中，代表性样点可以通过下采样来获得。

l.在以上示例中，Rec_c2可以是对应的C2样点。

m.在上面的示例中，最终预测值可以被进一步裁剪到特定的范围。

2.可以即时确定如何选择和/或多少个C1和/或C2的代表性样点用于预测一个C0样点。

a.在一个示例中，如何选择C1和/或C2的代表性样点可以基于当前C0样点的位置和/或颜色格式。

i.以4:2:0颜色格式为例，代表性C1/C2样点可以是对应于该样点的C1/C2样点周围的样点。

a)假设要预测的色度样点位于(X_c,Y_c),其可以等于(X,Y)，L个代表性亮度重构样点可以定义为：

1)例如，两个代表性亮度重构样点被定义为位于(2X,2Y),(2X,2Y+1)处的样点。

2)例如，两个代表性亮度重构样点被定义为样点：(2X,2Y),(2X+1,2Y)。

3)例如，图15A中描绘了六个代表性亮度重构样点。图15A-图15B显示了PMC代表性C1样点的选择示例。

4)例如，图15B中描绘了八个代表性亮度重构样点。

ii.在一个示例中，代表性C2样点可以与当前的C0样点具有相同的协调器。

b.在一个示例中，代表性样点可以被定义为在应用环路滤波方法(例如，去块滤波器/SAO/ALF/CCALF)之前的那些重构的样点。

c.在一个示例中，在应用环路滤波方法(例如，去块滤波器/SAO/ALF/CCALF)之前，代表性样点可以被定义为多个重构的样点的函数。

i.在一个示例中，该函数可以被定义为下采样滤波过程。

ii.在一个示例中，该函数可以被定义为线性函数(例如，加权平均)或非线性函数。

3.线性模型参数可以应用于代表性C1样点。

a.在一个示例中，(α_c0,β_c0)是为当前样点/当前块导出的线性模型参数。

i.在一个示例中，它们可以使用当前块C0的临近样点和

C1块的临近样点来导出。

b.在一个示例中，(α_c2,β_c2)是为代表性C2样点/覆盖代表性C2样点的C2块导出的线性模型参数。

i.在一个示例中，它们可以使用C2块的临近样点和C1块的临近样点来导出。

c.线性模型参数可以以与VVC/JEM中使用的相同的方式导出，或者以与TSCPM中使用的相同的那些方式导出，或者如PCT/CN2018/114158、PCT/CN2018/118799、PCT/CN2018/119709、PCT/CN2018/125412、PCT/CN2019/070002、PCT/CN2019/075874、PCT/CN2019/075993、PCT/CN2019/076195、PCT/CN2019/079396、PCT/CN2019/079431、PCT/CN2019/079769中描述的方式导出，这些专利通过引用整体结合于此。

i.或者，线性模型参数可以从临近重构的C1样点中导出，而无需下采样。

ii.或者，线性模型参数可以通过上采样从临近重构的C0/C2样点中导出。

iii.或者，此外，在用于CCP(TSCPM或CCLM)模式之前，线性模型参数可以首先被裁剪到一范围。

4.可以允许多个PMC模式具有不同的变量值/不同的线性模型参数导出方法和/或不同的下采样/上采样方法和/或为线性模型导出的重构的/下采样重构的临近样点的不同位置。

a.在一个示例中，一个模式被定义为可以仅利用来自上方行和/或正上方行的临近样点。

b.在一个示例中，一个模式被定义为可以仅利用来自左侧列和/或左下方列的临近样点。

c.在一个示例中，一个模式被定义为可以导出多个线性模型(例如，多组线性模型)并将其应用于一个块。

i.在一个示例中，当前亮度重构块和/或临近重构的样点可被划分成M(M>1)个类别。不同类别可以利用不同的线性模型。

d.在一个示例中，一个模式被定义为下采样滤波器被定义为子采样滤波器。假设要预测的色度样点位于(x,y)，L个代表性亮度重构样点被定义为位于(2*x–1,2*y)、(2*x-1,2*y+1)、(2*x,2*y)、(2*x,2*y+1)、(2*x+1,2*y)和(2*x+1,2*y+1)的样点。

i.在一个示例中，可以使用最接近位置(a,b)的K个样点。变量(a,b)可以取决于颜色格式。在一个示例中，对于4:2:0颜色格式，a＝2*x，b＝2*y。

ii.在一个示例中，色度块的预测样点可仅取决于L个代表性亮度重构样点中的K个样点(K是整数值)。

iii.在一个示例中，色度块的预测样点可仅取决于位于(2*x,2*y)处的样点。

iv.在一个示例中，色度块的预测样点可仅取决于位于(2*x+1,2*y)处的样点。

v.在一个示例中，色度块的预测样点可仅取决于位于(2*x+1,2*y+1)的样点。

vi.在一个示例中，色度块的预测样点可仅取决于位于(2*x,2*y+1)处的样点。

vii.在一个示例中，色度块的预测样点可仅取决于位于(2*x,2*y)and(2*x,2*y+1)的样点。

5.当为C0颜色分量的视频单元(例如，对Cr块)启用PMC时，可进一步信令通知该视频单元的残差信息。

a.或者，可省略视频单元的残差信息的信令通知，例如，仅零系数可用。

b.或者，标志(例如，对于C0颜色分量的编解码的块标志(CBF))仍可被信令通知，以指示视频单元中是否存在非零系数。

i.或者，对于C0颜色分量的CBF不被信令通知，并且在一个示例中，CBF被推断为等于1。

c.或者，此外，可以总是跳过指示在对应的C2块中是否存在非零系数的标志(例如，C2颜色分量的编解码的块标志(CBF))的信令通知。

i.或者，此外，C2颜色分量的CBF被推断为等于1。

ii.或者，此外，是否和/或如何信令通知C2块的CBF可以取决于PMC的使用和/或哪个PMC模式。

iii.或者，此外，是否和/或如何信令通知C0块的CBF可以取决于PMC的使用和/或哪个PMC模式。

d.或者，此外，指示在相应的C1块中是否存在非零系数的标志(例如，C1颜色分量的编解码的块标志(CBF))的信令通知可以总是被跳过。

i.或者，此外，C1颜色分量的CBF被推断为等于1。

ii.或者，此外，是否和/或如何信令通知C1块的CBF可以取决于PMC的使用和/或哪个PMC模式。

iii.或者，此外，是否和/或如何信令通知于C0块的CBF可以取决于PMC的使用和/或哪个PMC模式。

与PMC相关的信令

6.PMC模式可以被视为一些附加的预测模式。

a.是否信令通知PMC模式的指示可取决于当前块的编解码模式。

i.在一个示例中，仅当当前块用一个或多个特定模式编解码时，才信令通知该指示。

b.是否信令通知PMC模式的指示可以取决于颜色格式。

i.例如，如果颜色格式是4:0:0，则不信令通知该指示。

c.在一个示例中，可以根据CBF标志和/或C₁和/或C₂的预测模式来信令通知/解析指示使用C₀的PMC模式的二进制位(bin)/标志。

i.在一个示例中，当C₁和/或C₂的CBF标志为1或0，和/或C₁和/或C₂的预测模式是CCP(例如，TSCPM/CCLM)模式之一时，可以信令通知PMC模式。

ii.在一个示例中，如果C₁和/或C₂的CBF标志为0和/或C₁和/或C₂的预测模式不是CCP(例如，TSCPM/CCLM)模式之一，PMC模式可被推断为0。

d.在一个示例中，除了现有的帧内预测模式之外，可以首先信令通知/解析启用多个PMC模式之一的指示。

i.或者，此外，当为块启用多个PMC模式中的一个时，可以进一步信令通知多个PMC模式的索引。

ii.在一个示例中，第一bin可被编解码以指示DM模式的使用，随后第二bin被编解码以指示CCP(例如，TSCPM/CCLM)的使用，并且第三bin被编解码以指示PMC模式的使用。

a)可选地，第二bin被编解码以指示PMC的使用，并且第三bin被编解码以指示CCP(例如，TSCPM/CCLM)模式的使用。

b)可选地，第一bin可以被编解码以指示PMC模式的使用，随后bin被编解码以指示DM和/或CCP(例如，TSCPM/CCLM)模式的使用。

e.在一个示例中，PMC模式可被视为跨分量预测方法的附加变化，诸如作为一组CCP(例如，CCLM/TSCPM)模式的一部分。

i.或者，此外，是否信令通知/解析PMC模式可以取决于CCP模式的使用。

a)在一个示例中，如果对块启用了CCP模式(例如，VVC中的

AVS3中的色度帧内预测模式的第二bin)，则可进一步信令通知索引以指示多个CCP模式中的哪一个应用于该块。

1)或者，此外，对于那些可用的CCP方法，它可以进一步分为多个类别，诸如TSCPM/CCLM/PMC。类别索引的指示可以进一步信令通知。

[1]在一个示例中，类别索引的指示可以首先被编解码，如果需要，随后是相对于类别的索引。

[2]在一个示例中，如果需要，可以在相对于类别的索引之后对类别索引的指示进行编解码。

[3]在一个示例中，可以利用相同或不同的上下文来编解码相对于第一类别的第一索引(例如，TSCPM的指示)和相对于第二类别的第二索引。

f.在一个示例中，信令通知DM/CCP/PMC模式的顺序(例如，DM在PMC之前或之后)可以取决于空域块的编解码的模式信息。

i.在一个示例中，如果临近块用PMC模式编解码，则可以在指示其他CCP/DM模式之前信令通知PMC模式的指示。

ii.或者，如果临近块用DM模式编解码，则DM模式的指示可以在CCP模式的指示之前信令通知。

iii.可选地，如果临近块以非PMC模式(例如，DM模式或不等于PMC的其他色度帧内预测模式)编解码，则DM模式的指示可以在PMC模式的指示之前信令通知。

g.或者，除了现有的模式之外，PMC模式被视为新的帧内预测模式。

i.在一个示例中，不同的PMC模式可以被分配不同的模式索引，并且用二进制bin串进行编解码。

h.在一个示例中，PMC模式的使用的指示(例如，标志/bin)可以被旁路编解码，例如，无需任何上下文。

i.或者，PMC模式的使用的指示(例如，标志/bin)可以被上下文编解码，例如，用一个或多个上下文。

a)在一个示例中，可使用临近块的模式信息(例如，等于PMC或等于CCP)和/或临近块的可用性来导出上下文。

b)在一个示例中，可以根据当前块的块维度(例如，宽度和/或高度)来导出上下文。

i.在一个示例中，启用三个PMC模式来处理视频单元(例如，视频/图片/条带/图块/片/子图片)，可利用一个模式的使用的指示的以下编解码方法。用PMC_Mode0、PMC_Mode1、PMC_Mode2表示三种PCM模式，其中PMC_Mode0指示使用左侧和上方临近样点来导出线性模型参数的PMC模式；PMC_Mode1和PMC_Mode2分别指示使用仅左侧和仅上方临近样点来导出线性模型参数的PMC模式。

i.在表4-1、表4-2、表4-3、表4-4、表4-5、表4-6、表4-7中列出了一些示例，以描述不同色度帧内预测模式的对应的bin串。与引入PMC之前的设计相比，差异以

文本突出显示。注意，这些表中列出的TSCPM可以由其他CCP方法代替，bin顺序/模式索引也可以交换。

与跨分量预测(CCP)方法的差异的信令通知相关

7.是否信令通知/解析CCP方法(例如，LM-T、LM-L、TSCPM-T、TSCPM-L、PMC-T、PMC-L)的指示可能取决于临近样点(例如，相邻或不相邻)的可用性。

a.在一个示例中，如果上方临近样点不可用，则依赖于上方临近样点的CCP方法(例如，LM-T、TSCPM-T、PMC-T)的指示可能不会被信令通知。

b.在一个示例中，如果左侧临近样点不可用，则依赖于左侧临近样点的CCP方法(例如，LM-L、TSCPM-L、PMC-L)的指示可能不会被信令通知。

c.在一个示例中，如果左侧和上方临近样点都不可用，则依赖于临近样点的CCP方法的指示(例如，LM-T、LM-L、TSCPM-T、TSCPM-L、PMC-T、PMC-L、LM-LT、TSCPM-LT、PMC-LT、CCLM/TSCPM/PMC的其他变化)可能不会被信令通知。

d.在一个示例中，如果仅位于一侧(当前块的左侧或上方)的临近样点可用，则依赖于两侧的临近样点的CCP方法(例如，LM-LT、TSCPM-LT、PMC-LT)的指示可能不会被信令通知。

e.在一个示例中，如果左侧或上方临近样点不可用，则依赖于临近样点的CCP方法(例如，LM-T、LM-L、TSCPM-T、TSCPM-L、PMC-T、PMC-L、CCLM、TSCPM、PMC)的指示可能不会被信令通知。

f.可替换地，此外，当指示没有被信令通知时，编解码方法被推断为被禁用。

8.是否和/或如何使用上述方法的指示可以在视频处理单元(例如，序列/视频/图片/条带/片/图块/子图片/CTU行/CTU/VPDU/CU/PU/TU/CU/PU中的子块)中信令通知。

a.或者，此外，是否和/或如何使用上述方法的指示可以在SPS/VPS/PPS/图片标头/条带标头/片组标头/CTU的组/CTU/其他种类的视频数据单元中信令通知。

9.是否和/或如何使用上述方法可取决于解码的信息，诸如块维度、块相对于视频处理单元(例如，相对于条带)的位置、条带/图片类型、分割类型(例如，双树或单树)等。

a.在一个示例中，对于样点的数量大于(或等于)M(例如，M＝4096，1024)的块(例如，色度块)，这种方法是不允许的。

b.在一个示例中，对于样点的数量小于(或等于)M(例如，M＝4，8，16)的块(例如，色度块)，这种方法是不允许的。

c.在一个示例中，对于宽度和/或高度大于(或等于)M(例如，M＝64，32)的块(例如，色度块)，这种方法是不允许的。

d.在一个示例中，对于宽度和/或高度小于(或等于)M(例如，M＝2，4)的块(例如，色度块)，这种方法是不允许的。

e.当上述方法被禁止时，可以跳过这些方法的使用的指示。

f.或者，确认比特流遵循当满足某些条件(例如，取决于块维度)时禁用这种方法的规则。

表4-1：每个色度帧内预测模式的bin串(PMC被视为TSCPM模式之一，并且一个bin(例如，第4bin)被进一步信令通知以指示其属于TSCPM或PMC)。

表4-2：每个色度帧内预测模式的bin串(PMC被视为TSCPM模式之一，并且一个bin串(例如，第4bin)被进一步信令通知以指示其属于TSCPM或PMC)。

表4-3：每个色度帧内预测模式的bin串(PMC被视为新的类别(由第1bin指示)，在由第2bin表示的TSCPM的指示之前)。

表4-4：每个色度帧内预测模式的bin串(PMC被视为新的类别(由第0bin指示))。

表4-5：每个色度帧内预测模式的bin串(PMC模式的指示在TSCPM模式之后信令通知，由第二bin表示)。

表4-6：每个色度帧内预测模式的Bin串(每个PMC模式被视为新的色度帧内预测模式。所有PMC模式都被添加到现有模式之后)。

表4-7：每个色度帧内预测模式的Bin串(在CBF标志之后信令通知的模式索引)。

5实施例

解码过程的示例如下所示。提议了从多个跨分量(PMC)模式进行预测。分量C0的预测由其他颜色分量C1和C2的重构的样点导出。

5.1实施例#1

在该实施例中，C0是Cr颜色分量，C1是亮度颜色分量，并且C2是Cb颜色分量。

Cr分量的预测是通过Y和Cb重构的样点的线性组合导出的。提议了三种多个跨分量(如PMC_LT、PMC_L和PMC_T)模式。如表5-1所示，PMC模式在TSCPM后用标志表示。同时，显式PMC模式索引(例如，PMC_LT、PMC_L和PMC_T)的指示与TSCPM模式索引(例如，TSCPM_LT、TSCPM_L和TSCPM_T)的表示对准。此外，如果对应的Cb/Cr块以PMC模式编解码，则Cb块的编解码的块标志(cbf)被推断为1。对于左侧和/或上方临近参考样点不可用的情况，仅使用TSCPM_LT/PMC_LT。在这种情况下，指示增强型TSCPM/PMC(例如，TSCPM_L，TSCPM_T/PMC_L，PMC_T)的利用和指数的bin2和bin3可以被移除。

表0-1：每个色度帧内预测模式的bin串(PMC被视为TSCPM模式之一，并且一个bin(例如，第4bin)被进一步信令通知以指示其属于TSCPM或PMC)。

整体流程如图16所示。首先，从临近重构的样点中获得Y-Cb的通道间线性模型参数(α₀，β₀)和Y-Cr的模型参数(α₁，β₁)。PMC_LT、PMC_L和PMC_T的线性模型参数导出的方法分别与AVS3中的TSCPM_LT、TSCPM_L和TSCPM_T相同。

第二，通过如下线性模型生成具有相同亮度编解码块的维度的内部块IPred

IPred＝(α₀+α₁)·Rec_Y+(β₀+β₁)， (21)

其中Rec_Y是Y分量的重构的样点。

第三，从IPred生成下采样的块IPred′，它采用与TSCPM中相同的下采样滤波器组。

第四，Cr的最终预测FPred_Cr可以用公式表示如下：

FPred_Cr＝Clip(0，(1＜＜bitDepth)-1，IPred′-Rec_Cb). (22)

其中Rec_Cb是Cb分量的重构的样点。

或者，以下可能适用：

提议了来自多个跨分量进行预测(PMC)的方法，其中通过Y和Cb重构的样点的线性组合来导出Cr分量的预测。首先根据应用于对应的亮度块的线性模型导出内部块IPred，并且Cr的最终预测被设置为下采样的临时块和重构的Cb块之间的差。更具体地，Cr块的最终预测定义如下：

IPred＝A·Rec_Y+B， (24)

FPred_Cr＝IPred′-Rec_Cb. (25)

其中Rec_Y表示Y分量的重构，并且IPred是内部块，其具有相同的亮度编解码块的维度。IPred′表示下采样的IPred，它采用与TSCPM中相同的下采样滤波器组。

为了保持尽可能低的复杂度并恢复TSCPM的逻辑，线性参数(A，B)被设置为(α₀+α₁，β₀+β₁)，其中(α₀，β₀)和(α₁，β₁)是分别为Cb和Cr导出的两组线性模型参数，诸如使用TSCPM/CCLM方法。

5.2实施例#2

如果TSCPM模式被禁用(tscpm_enable_flag＝0)，则指示增强型TSCPM(例如，TSCPM_L、TSCPM_T)的启用的标志/bin(enhance_tscpm_enable_flag)被隐式推断为0，而无需信令通知/解析。

5.3实施例#3

如果增强型TSCPM模式被禁用(例如，enhance_tscpm_enable_flag＝0)，则指示TSCPM类型(例如，TSCPM_LT或增强型TSCPM)的标志/bin(表5-1中的索引2)被移除。用于区分TSCPM-L和TSCPM-T的标志/bin(表5-1中的索引3)也被排除在外。

5.4实施例#4

如果块内复制(IBC)模式被禁用(ibc_enable_flag＝0)，则标志/bin(abvr_enable_flag)被隐式推断为0，而无需信令通知/解析。

所公开技术的示例实现

图17显示了示例视频处理的方法1700的流程图。在操作1702，使用视频的第二分量和/或视频的第三分量的代表性样点来确定视频的视频块的第一分量的样点的预测值。在操作1704，根据确定的第一分量的预测值，在视频块和视频块的比特流表示之间执行转换。

在一些实施例中，该确定基于代表性样点的重构的值或代表性样点的预测值。在一些实施例中，代表性样点是在转换期间获得的。在一些实施例中，使用等式获得视频块的一个样点的第一分量的预测值。在一些实施例中，等式包括：FPred_c0＝X×TPred_c0+Y×(Rec_c2-FPred_c2)+Z，其中FPred_c0是一个样点的预测值，X和Y是加权因子，Z是偏移值，TPred_c0是使用预测模式的一个样点的临时预测值，并且Rec_c2和FPred_c2分别表示第三分量的代表性样点的重构值和最终预测值。

在一些实施例中，等式包括：FPred_c0＝X×(α_c0*Rec_c1+β_c0)+Y×(Rec_c2–(α_c2*Rec_c1+β_c2)+Z，其中FPred_c0是一个样点的预测值，X和Y是加权因子，Z是偏移值，α_c0、α_c2是应用于第二分量的代表性样点的两个变量，β_c0和β_c2是偏移值，Rec_c1和Rec_c2分别表示第二分量和第三分量的代表性样点的重构值。

在一些实施例中，等式包括：FPred_c0＝(X×α_c0-Y×α_c2)*Rec_c1+(X×β_c0-Y×β_c2)+Y×Rec_c2+Z，其中FPred_c0是一个样点的预测值，X和Y是加权因子，Z是偏移值，α_c0、α_c2是应用于第二分量的代表性样点的两个变量，β_c0和β_c2是偏移值，Rec_c1和Rec_c2分别表示第二分量和第三分量的代表性样点的重构值

在一些实施例中，X或Y或Z等于1，或者X或Y或Z等于0，或者X等于1，Y等于-1且Z等于0，或者X或Y或Z等于2K或-2K，其中K是在[-M，N]范围内的整数值，其中M和N大于或等于0。在一些实施例中，该等式包括预定义的、或在比特流中信令通知的、或导出的变量。

在一些实施例中，图17的方法进一步包含根据对应于与第二分量相关联的第二视频块的两组线性模型参数来导出用于第一分量和第三分量的两个临时视频块，其中两个临时视频块和第二视频块具有第一宽度和第一高度，第一宽度和第一高度不同于视频块的第二宽度和第二高度。在一些实施例中，使用应用于与第二分量相关联的第二视频块的线性模型参数来导出两个临时块。

在一些实施例中，图17的方法进一步包含根据对应于与第二分量相关联的第二视频块的线性模型参数导出一个临时视频块，其中该一个临时视频块和第二视频块具有第一宽度和第一高度，第一宽度和第一高度不同于视频块的第二宽度和第二高度。在一些实施例中，图17的方法还包括从与第二分量相关联的第二视频块中导出用于第二分量的临时视频块，其中第二视频块具有第一宽度和第一高度，第一宽度和第一高度不同于视频块的第二宽度和第二高度，将线性模型参数应用于临时视频块，以及在应用线性模型参数之后，将共位的样点添加到临时视频块或从临时视频块中减去共位的样点。

在一些实施例中，第一分量是蓝色色度分量，第二分量是亮度分量，第三分量是红色色度分量，或者第一分量是红色色度分量，第二分量是亮度分量，第三分量是蓝色色度分量，或者第一分量是亮度分量或蓝色分量，第二分量和第三分量是剩余的分量。

在一些实施例中，即时确定第二分量和/或第三分量的代表性样点的选择和代表性样点的数量。在一些实施例中，代表性样点的选择基于第一分量的当前样点的位置和/或颜色格式。在一些实施例中，颜色格式包括4:2:0颜色格式，并且第二分量和/或第三分量的代表性样点围绕第二分量和/或第三分量的样点。

在一些实施例中，代表性样点包括环路滤波方法之前的重构的样点。在一些实施例中，代表性样点是环路滤波方法之前的重构的样点的函数。在一些实施例中，线性模型参数被应用于第二分量的代表性样点。在一些实施例中，线性模型参数包括针对样点或视频块导出的αc0和βc0，α_c0是应用于第二分量的代表性样点的变量，并且β_c0是偏移值。

在一些实施例中，使用视频块的临近样点和与第二分量相关联的第二视频块的临近样点来导出α_c0和β_c0。在一些实施例中，线性模型参数包括针对第三分量的代表性样点或与第三分量相关联的第三视频块导出的αc2和βc2，α_c2是应用于第三分量的代表性样点的变量，并且β_c2是偏移值。在一些实施例中，使用与第二分量相关联的第二视频块的临近样点和第三视频块的临近样点来导出α_c2和β_c2。

在一些实施例中，使用通用视频编解码(VVC)、联合探索模型(JEM)或两步跨分量预测模式(TSCPM)来导出线性模型参数。在一些实施例中，该方程包括变量，并且使用来自多个跨分量(PMC)模式的多个预测中的一个来确定预测值，这些预测包括：用于线性模型参数的不同变量值或不同导出方法，和/或不同下采样或上采样方法，和/或用于导出线性模型参数的重构的或下采样的重构的临近样点的不同位置。

在一些实施例中，当针对第一分量的视频块启用来自多个跨分量(PMC)模式的预测时，进一步信令通知视频块的残差信息。在一些实施例中，当针对第一分量的视频块启用来自多个跨分量(PMC)模式的预测时，视频块的残差信息被省略。在一些实施例中，信令通知指示第一分量的视频块中存在非零系数的标志。在一些实施例中，基于视频块的编解码模式来信令通知针对视频块的来自多个跨分量(PMC)模式的预测的指示。在一些实施例中，基于颜色格式来信令通知针对视频块的来自多个跨分量(PMC)模式的预测的指示。

在一些实施例中，根据第二分量和/或第三分量的编解码的块标志(CBF)和/或预测模式，信令通知或解析指示来自第一分量的多个跨分量(PMC)模式的预测的利用的bin或标志。在一些实施例中，使用来自多个跨分量(PMC)模式的多个预测中的一个来确定预测值，并且除了现有的帧内预测模式之外，还信令通知或解析启用一个PMC模式的指示。在一些实施例中，信令通知对于多个PMC模式的索引。

在一些实施例中，使用来自多个跨分量(PMC)模式的多个预测中的一个来确定预测值，并且除了现有的帧内预测模式之外，还信令通知或解析启用一个PMC模式的指示。在一些实施例中，使用来自多个跨分量(PMC)模式的多个预测中的一个来确定预测值，并且多个PMC模式是跨分量预测(CCP)模式或方法的附加变化。在一些实施例中，信令通知或解析一个PMC模式的确定取决于一个CCP模式的使用。

在一些实施例中，使用跨分量预测(CCP)方法来确定预测值，并且基于与第一分量的样点相邻的临近样点的可用性来信令通知CCP方法。在一些实施例中，对于依赖于位于第一分量的样点之上并且不可用的临近样点的CCP方法，不信令通知指示。在一些实施例中，对于依赖于位于第一分量的样点左侧并且不可用的临近样点的CCP方法，不信令通知指示。在一些实施例中，使用跨分量预测(CCP)方法或来自多个跨分量的预测(PMC)模式来确定预测值，其中CCP方法或PMC模式经由视频处理单元中的信号通知来指示。

在一些实施例中，图17的方法进一步包括基于与视频块相关联的解码的信息来执行确定，预测值是使用跨分量预测(CCP)方法还是来自多个跨分量(PMC)模式的预测来确定的。在一些实施例中，响应于视频块具有大于或等于整数M的样点的数量，确定不允许使用CCP或PMC来确定预测值，其中M是4096或1024。在一些实施例中，响应于视频块具有小于或等于整数M的样点的数量，确定不允许使用CCP或PMC来确定预测值，其中M是4、8或16。

图18是视频处理装置1800的框图。装置1800可用于实现本文描述的一种或多种方法。装置1800可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置1800可以包括一个或多个处理器1802、一个或多个存储器1804和视频处理硬件1806。处理器1802可以被配置为实现本文档中描述的一种或多种方法(包括但不限于方法15)。存储器1804可用于存储用于实现本文所述方法和技术的数据和代码。视频处理硬件1806可以用于在硬件电路中实现本文档中描述的一些技术。在一些实施例中，可以使用在硬件平台上实现的装置来实现视频编解码方法，如参考图18所述。

图19是显示示例视频处理系统1900的框图，其中可以实现本文公开的各种技术。各种实现可以包括系统1900的一些或所有组件。系统1900可以包括用于接收视频内容的输入1902。视频内容可以以原始或未压缩格式接收，例如8或10位多分量像素值，或者可以是压缩或编码的格式。输入1902可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口，例如以太网、无源光网络(PON)等，以及无线接口，诸如Wi-Fi或蜂窝接口。

系统1900可以包括编解码组件1704，其可以实现本文档中描述的各种编解码或编码方法。编解码组件1704可以降低从输入1902到编解码组件1704的输出的视频的平均比特率，以产生视频的编解码的表示。因此，编解码技术有时被称为视频压缩或视频代码转换技术。如组件1706所表示的，编解码组件1704的输出可以被存储，或者经由连接的通信被发送。组件1908可以使用在输入1902处接收的视频的存储或传送的比特流(或编解码的)表示来生成发送到显示接口1910的像素值或可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，编解码工具或操作在编码器处使用，并且与编解码的结果相反的对应的解码工具或操作将由解码器执行。

外围总线接口或显示器接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以在各种电子设备中实现，诸如移动电话、膝上型电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。

图20是说明可利用本发明的技术的实例视频编解码系统100的框图。

如图20所示，视频编解码系统100可以包括源设备110和目的设备120。源设备110生成可被称为视频编码设备的编码的视频数据。目的地设备120可解码由源设备110生成的编码的视频数据，其可称为视频解码设备。

源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括诸如视频捕获设备、从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形系统的源，或者这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编解码的表示的比特的序列。比特流可以包括编解码的图片和相关联的数据。编解码的图片是图片的编解码的表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发送器。编码的视频数据可经由I/O接口116通过网络130a直接传输到目的地设备120。编码的视频数据还可存储在存储媒体/服务器130b上以供目的地设备120访问。

目的地设备120可以包括I/O接口126、视频解码器124和显示设备122。

I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码的视频数据。视频解码器124可以解码该编码的视频数据。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目的设备120集成在一起，或者可以在目的设备120的外部，目的设备120被配置为与外部显示设备接口。

视频编码器114和视频解码器124可以根据视频压缩标准，诸如高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其他当前和/或进一步的标准来操作。

图21是显示视频编码器200的示例的框图，该视频编码器可以是图20所示的系统100中的视频编码器114。

视频编码器200可经配置为执行本发明的任何或所有技术。在图21的示例中，视频编码器200包括多个功能组件。本发明中描述的技术可在视频编码器200的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

视频编码器200的功能组件可包括分割单元201、可包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206的预测单元202、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编码单元214。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一实例中，预测单元202可包括帧内块复制(IBC)单元。IBC单元可以以IBC模式执行预测，其中至少一个参考图片是当前视频块所在的图片。

此外，一些组件(诸如运动估计单元204和运动补偿单元205)可高度集成，但是为了解释的目的，在图5的示例中被分开表示。

分割单元201可将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。

模式选择单元203可以例如基于误差结果选择编解码模式(帧内或帧间)之一，且将所得帧内或帧间编解码的块提供到残差生成单元207以生成残差块数据，且提供到重构单元212以重构编码的块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择运动向量的分辨率(例如，子像素或整数像素精度)。

为了对当前视频块执行帧间预测，运动估计单元204可通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可基于来自缓冲器213的除了与当前视频块相关联的图片之外的图片的运动信息和解码的样点来确定当前视频块的预测的视频块。

运动估计单元204和运动补偿单元205可对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。

在一些实例中，运动估计单元204可对当前视频块执行单向预测，且运动估计单元204可在列表0或列表1的参考图片中搜索当前视频块的参考视频块。运动估计单元204可接着生成指示列表0或列表1中的参考图片的参考索引，参考图片包含参考视频块和指示当前视频块与参考视频块之间的空域位移的运动向量。运动估计单元204可输出参考索引、预测方向指示符和运动向量作为当前视频块的运动信息。运动补偿单元205可基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测的视频块。

在其它实例中，运动估计单元204可对当前视频块执行双向预测，运动估计单元204可在列表0中的参考图片中搜索当前视频块的参考视频块，且还可在列表1中的参考图片中搜索当前视频块的另一参考视频块。运动估计单元204然后可以生成参考索引和运动向量，参考索引指示包含参考视频块的列表0和列表1中的参考图片，运动向量指示参考视频块与当前视频块之间的空域位移。运动估计单元204可输出当前视频块的参考索引和运动向量作为当前视频块的运动信息。运动补偿单元205可基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测的视频块。

在一些实例中，运动估计单元204可输出用于解码器的解码处理的全部运动信息的集合。

在一些实例中，运动估计单元204可能不输出当前视频的全部运动信息的集合。相反，运动估计单元204可参考另一视频块的运动信息来信令通知当前视频块的运动信息。举例来说，运动估计单元204可确定当前视频块的运动信息与临近视频块的运动信息足够相似。

在一个实例中，运动估计单元204可在与当前视频块相关联的语法结构中指示一值，该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。

在另一实例中，运动估计单元204可在与当前视频块相关联的语法结构中识别另一视频块和运动向量差(MVD)。运动向量差指示当前视频块的运动向量和所指示的视频块的运动向量之间的差。视频解码器300可使用所指示的视频块的运动向量和运动向量差来确定当前视频块的运动向量。

如上所述，视频编码器200可以预测性地信令通知运动向量。可由视频编码器200实施的预测信令技术的两个实例包含高级运动向量预测(AMVP)和合并模式信令通知。

帧内预测单元206可对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可基于同一图片中的其它视频块的解码的样点来生成当前视频块的预测数据。当前视频块的预测数据可包括预测的视频块和各种语法元素。

残差生成单元207可通过从当前视频块减去(例如，由负号指示)当前视频块的预测的视频块来生成当前视频块的残差数据。当前视频块的残差数据可包括对应于当前视频块中的样点的不同样点分量的残差视频块。

在其它实例中，当前视频块可能没有当前视频块的残差数据，例如在跳过模式中，且残差生成单元207可不执行减法操作。

变换处理单元208可通过将一个或多个变换应用于与当前视频块相关联的残差视频块来生成当前视频块的一个或多个变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

逆量化单元210和逆变换单元211可分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元212可将重构的残差视频块添加到来自由预测单元202生成的一个或多个预测的视频块的对应样点，以产生与当前块相关联的重构的视频块，以存储在缓冲器213中。

在重构单元212重构视频块之后，可执行环路滤波操作以减少视频块中的视频块伪像。

熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时，熵编码单元214可以执行一个或多个熵编码操作以生成熵编码的数据并输出包括熵编码的数据的比特流。

图22是说明视频解码器300的示例的框图，该视频解码器300可以是图20所示的系统100中的视频解码器114。

视频解码器300可被配置为执行本发明的任何或所有技术。在图22的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

在图22的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、重构单元306和缓冲器307。在一些示例中，视频解码器300可以执行通常与针对视频编码器200(例如，图21)描述的编码过程相反的解码过程。

熵解码单元301可检索编码的比特流。编码的比特流可以包括熵编解码的视频数据(例如，视频数据的编码的块)。熵解码单元301可解码熵译码的视频数据，且从熵解码的视频数据，运动补偿单元302可确定运动信息，包括运动向量、运动向量精度、参考图片列表索引和其它运动信息。运动补偿单元302可以例如通过执行AMVP和合并模式来确定此信息。

运动补偿单元302可产生运动补偿块，可能基于插值滤波器执行插值。语法元素中可包括要以子像素精度使用的插值滤波器的识别符。

运动补偿单元302可使用如视频编码器20在视频块的编码期间所使用的插值滤波器来计算参考块的子整数像素的插值值。运动补偿单元302可根据所接收的语法信息来确定视频编码器200所使用的插值滤波器，并使用插值滤波器来产生预测块。

运动补偿单元302可使用一些语法信息来确定用于编码编码的视频序列的帧和/或条带的块的尺寸、描述编码的视频序列的图片的每一宏块如何被分割的分割信息、指示每个分割如何被编码的模式、每个帧间编码的块的一个或多个参考帧(和参考帧列表)以及解码编码视频序列的其它信息。

帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域相邻的块形成预测块。逆量化单元303逆量化(例如，去量化)比特流中提供的并且由熵解码单元301解码的量化的视频块系数。逆变换单元303应用逆变换。

重构单元306可将残差块与由运动补偿单元202或帧内预测单元303生成的对应的预测块相加，以形成解码的块。如果需要，还可以应用去块滤波器来对解码的块进行滤波，以便去除块效应伪像。解码的视频块然后被存储在缓冲器307中，缓冲器307为后续的运动补偿/帧内预测提供参考块，并且还产生解码的视频以在显示设备上呈现。

图23是根据本技术的视频处理的方法2300的流程图表示。方法2300包括，在操作2310，对于视频的第一分量的视频块和视频的比特流表示之间的转换，使用视频块之外的代表性样点来确定视频块的样点的预测值。代表性样点在转换过程期间确定。方法2300还包括，在操作2320，基于该确定执行转换。

在一些实施例中，代表性样点包括来自以下至少一个的样点：第二分量的视频块、第三分量的视频块或视频块的临近块，临近块与视频块相邻或不相邻。在一些实施例中，该确定基于代表性样点的重构的值或代表性样点的预测值。

在一些实施例中，该确定基于对代表性样点应用线性函数。在一些实施例中，该确定基于对代表性样点应用非线性函数。

在一些实施例中，第一分量C₀中的样点的最终预测值被表示为FPred_c0，并且FPred_c0＝X×TPred_c0+Y×(Rec_c2-FPred_c2)+Z。TPred_c0表示样点的临时预测值，其中Rec_c2和FPred_c2表示第三分量C₂中的代表性样点的重构值和最终预测值。X和Y表示加权因子，并且Z表示偏移值，X、Y和Z是实数。在一些实施例中，第一分量C₀中的样点的最终预测值被表示为FPred_c0，并且FPred_c0＝X×(α_c0*Rec_c1+β_c0)+Y×(Rec_c2–(α_c2*Rec_c1+β_c2)+Z，其中Rec_c1表示第二分量C1中的代表性样点的重构值，并且Rec_c2表示第三分量C2中的代表性样点的重构值。X和Y表示加权因子，并且Z表示偏移值，α_c0和β_c0是用于第一分量的线性模型参数，并且α_c2和β_c2是用于第三分量的线性模型参数，X、Y、Z、α_c0、β_c0、α_c2和β_c2是实数。在一些实施例中，第一分量C₀中的样点的最终预测值被表示为FPred_c0，并且FPred_c0＝(X×α_c0-Y×α_c2)*Rec_c1+(X×β_c0-Y×β_c2)+Y×Rec_c2+Z。Rec_c1表示第二分量C1中的代表性样点的重构值，并且Rec_c2表示第三分量C2中的代表性样点的重构值。X和Y表示加权因子，并且Z代表偏移值。α_c0和β_c0是用于第一分量的线性模型参数，并且α_c2和β_c2是用于第三分量的线性模型参数，X、Y、Z、α_c0、β_c0、α_c2和β_c2是实数。

在一些实施例中，第一分量具有K’×L’的尺寸，并且第二分量具有K×L.W的尺寸。根据线性模型参数(X×α_c0,X×β_c0)和(Y×α_c2,Y×β_c2)导出具有K×L的尺寸的两个临时块，并且两个临时块被下采样到K′×L′的尺寸。在一些实施例中，两个临时块在有或没有裁剪的情况下被下采样。

在一些实施例中，第一分量具有K’×L’的尺寸，并且第二分量具有K×L的尺寸。根据线性模型参数(X×α_c0-Y×α_c2,X×β_c0-Y×β_c2)导出具有K×L的尺寸的一个临时块，并且该临时块被下采样到K’×L’的尺寸。在一些实施例中，临时块在有或没有裁剪的情况下被下采样。

在一些实施例中，在执行或不执行下采样的情况下，通过增加或减去临时块中的共位的样点来确定视频块的样点的预测值。在一些实施例中，第一分量具有K’×L’的尺寸，并且第二分量具有K×L的尺寸。基于将第二分量下采样到K×L的尺寸来导出一个临时块，并且通过将线性模型参数(X×α_c0,X×β_c0)和(Y×α_c2,Y×β_c2)应用于临时块并且通过在临时块中添加或减去共位的样点来确定视频块的样点的预测值。

在一些实施例中，使用第一分量的临近样点和第二分量的临近样点来导出α_c0和β_c0。在一些实施例中，使用第三分量的临近样点和第二分量的临近样点来导出α_c2和β_c2。在一些实施例中，线性模型参数以与跨分量线性模型(CCLM)预测模式或两步跨分量预测模式的参数相同的方式导出。在一些实施例中，基于第二分量的临近样点的重构的值导出线性模型参数，而不执行下采样。在一些实施例中，基于与上采样一起使用的第一分量或第三分量的临近样点的重构的值导出线性模型参数。在一些实施例中，线性模型参数在被CCP编解码工具使用之前被裁剪在一范围内。

在一些实施例中，X、Y或Z中的至少一个等于1。在一些实施例中，X、Y或Z中的至少一个等于0。在一些实施例中，X等于1，Y等于-1，并且Z等于0。在一些实施例中，X、Y或Z中的至少一个等于2K或-2K，K是[-M，N]范围内的整数值，其中M和N不小于0。在一些实施例中，在比特流表示中指示包括至少X、Y、Z、α_c0、β_c0、α_c2或β_c2的变量。在一些实施例中，包括至少X、Y、Z、α_c0、β_c0、α_c2或β_c2的变量是即时导出的。在一些实施例中，对于视频单元内的所有样点，变量中的至少一个具有相同的值，该视频单元包括编解码块、预测块或变换块。

在一些实施例中，线性模型参数具有多组值。在一些实施例中，视频单元内的不同样点使用不同组值。在一些实施例中，第一分量是Cb颜色分量，第二分量是Y分量，并且第三分量是Cr分量。在一些实施例中，第一分量是Cr颜色分量，第二分量是Y分量，并且第三分量是Cb分量。在一些实施例中，第一分量是亮度分量，并且第二分量和第三分量是色度分量。

在一些实施例中，最终预测值被裁剪在预定范围内。在一些实施例中，代表性样点在转换期间基于第一分量的特性来选择。在一些实施例中，第一分量的特性包括第一分量的样点的位置或者第一分量的颜色格式。在一些实施例中，在颜色格式为4:2:0的情况下，代表性样点位于第一分量的当前样点周围。

在一些实施例中，当前样点位于位置(x，y)，并且一个代表性样点位于(2x，2y)。在一些实施例中，当前样点位于位置(x，y)，并且一个代表性样点位于(2x+1，2y)。在一些实施例中，当前样点位于位置(x，y)，并且一个代表性样点位于(2x+1，2y+1)。在一些实施例中，当前样点位于位置(x，y)，并且一个代表性样点位于(2x，2y+1)。在一些实施例中，当前样点位于位置(x，y)，并且两个代表性样点位于(2x，2y)和(2x，2y+1)。在一些实施例中，当前样点位于位置(x，y)，并且两个代表性样点位于(2x，2y)和(2x+1，2y)。在一些实施例中，当前样点位于位置(x，y)，并且六个代表性样点位于(2x-1，2y)、(2x，2y)、(2x+1，2y)、(2x-1，2y+1)、(2x，2y+1)和(2x+1，2y+1)。在一些实施例中，当前样点位于位置(x，y)，并且八个代表性样点位于(2x，2y-1)、(2x-1，2y)、(2x，2y)、(2x+1，2y)、(2x-1，2y+1)、(2x，2y+1)、(2x+1，2y+1)和(2x，2y+2)。在一些实施例中，代表性样点位于与第一分量的当前样点相同的位置。

在一些实施例中，第一分量的特性包括应用于第一分量的环路滤波方法。在一些实施例中，代表性样点基于应用环路滤波方法之前的重构的样点。在一些实施例中，代表性样点基于应用环路滤波方法之前的重构的样点的函数。在一些实施例中，该函数包括下采样滤波函数。在一些实施例中，该函数包括线性函数或非线性函数。在一些实施例中，环路滤波方法包括去块滤波方法、样点自适应偏移(SAO)方法、自适应环路滤波方法或跨分量自适应环路滤波方法。

图24是根据本技术的视频处理的方法2400的流程图表示。方法2400包含在操作2410处，对于视频的第一分量的视频块和视频的比特流表示之间的转换，确定多个跨分量编解码工具的编解码模式。编解码模式是从可用于编解码视频块的多个模式中确定的。多个模式具有不同的参数，用于使用来自第二分量、第三分量或视频块的临近块中的至少一个的代表性样点来确定视频块的样点的预测值。方法2400还包括，在操作2420，基于该确定执行转换。

在一些实施例中，多个模式中的一个模式指定仅来自第一分量上方或正上方的行的临近样点用于第一分量的样点的预测值。在一些实施例中，多个模式中的一个模式指定仅来自第一分量左侧或左下方的列的临近样点用于第一分量的样点的预测值。在一些实施例中，多个模式中的一个模式指定多个线性模型适用于视频块。在一些实施例中，第一分量的样点和临近块的样点的重构的值被分组为多个类别，并且不同的线性模型适用于不同类别的样点。在一些实施例中，多个模式中的一个模式指定下采样滤波器包括子采样滤波器。在一些实施例中，多个模式中的一个模式指定样点的K个预测值取决于L个代表性样点，K和L是整数。

图25是根据本技术的视频处理的方法2500的流程图表示。方法2500包括，在操作2510，执行视频的视频块和视频的比特流表示之间的转换。使用来自多个跨分量预测(PMC)编解码工具的预测的多个预测模式中的多个跨分量预测模式编解码视频块。多个跨分量预测模式在比特流表示中被信号通知为帧内预测模式或帧间预测模式。

在一些实施例中，比特流表示中的多个模式的信令通知基于视频块的特性。在一些实施例中，该特性包括视频块的编解码模式。在一些实施例中，在使用指定的编解码模式编解码视频块的情况下，在比特流表示中信令通知多个模式。在一些实施例中，该特性包括视频块的颜色格式。在一些实施例中，在视频块的颜色格式为4:0:0的情况下，在比特流表示中信令通知多个模式。在一些实施例中，该特性包括第二分量或第三分量的码块标志(code block flag)或预测模式。在一些实施例中，在第二分量或第三分量的码块标志是1或0，和/或第二分量或第三分量的预测模式包括跨分量预测(CCP)模式的情况下，在比特流表示中信令通知多个模式中的至少一个。在一些实施例中，在第二分量或第三分量的码块标志为0并且第二分量或第三分量的预测模式不是跨分量预测(CCP)模式的情况下，多个模式之一被确定为0。

在一些实施例中，除了信令通知一个或多个预测模式之外，在比特流表示中还包括信令通知多个模式之一被启用。在一些实施例中，比特流表示还包括在信令通知启用多个模式之一之后指示多个模式之一的索引。在一些实施例中，DM模式的使用、跨分量预测(CCP)模式的使用以及PMC编解码工具的多个模式之一的使用以特定顺序组织。在一些实施例中，特定顺序基于临近块的编解码的信息。在一些实施例中，在使用PMC编解码工具编解码临近块的情况下，在DM模式的使用和CCP模式的使用之前，信令通知PMC编解码工具的使用。在一些实施例中，在使用DM模式编解码临近块的情况下，在CCP模式的使用或PMC编解码工具的使用之前，信令通知DM模式的使用。

在一些实施例中，将用于PMC编解码工具的多个模式信令通知为用于CCP编解码工具的一个或多个跨分量预测(CCP)模式的信息的一部分。在一些实施例中，用于PMC编解码工具的多个模式的信令通知是基于CCP模式的使用。在一些实施例中，在针对视频块启用CCP编解码工具的情况下，在比特流表示中包括索引，以指示适用于视频块的一个或多个CCP模式之一。在一些实施例中，一个或多个CCP模式被分类成多个类别，并且比特流表示包括指示对应的类别的类别索引。在一些实施例中，索引和类别索引按顺序组织。

在一些实施例中，用于PMC编解码工具的多个模式之一被视为帧内预测模式。在一些实施例中，用于PMC编解码工具的不同模式分配不同的索引，并用不同的二进制bin串进行编解码。在一些实施例中，比特流表示中的多个模式的信令通知被旁路编解码而无需任何上下文。在一些实施例中，使用基于视频块或临近块的信息导出的一个或多个上下文来对比特流表示中的多个模式的信令通知进行上下文编解码。在一些实施例中，基于临近块的编解码模式或可用性来导出一个或多个上下文。在一些实施例中，基于视频块的维度导出一个或多个上下文。

图26是根据本技术的视频处理的方法2600的流程图表示。方法2600包括，在操作2610处，在对于第一分量启用来自多个跨分量(PMC)编解码工具的预测的情况下，确定用于视频的视频块和视频的比特流表示之间的转换的视频单元的残差信息。方法2600还包括，在操作2620，基于该确定执行转换。

在一些实施例中，视频单元的残差信息在比特流表示中被指示。在一些实施例中，在只有零系数可用的情况下，从比特流表示中省略视频单元的残差信息。在一些实施例中，比特流表示包括指示在视频单元中是否存在非零系数的标志。在一些实施例中，在从比特流表示中省略标志的情况下，标志被推断为等于1。在一些实施例中，信令通知标志的方式基于PMC编解码工具的使用。

在一些实施例中，使用PMC编解码工具，使用来自至少第二分量或第三分量的代表性样点来确定第一分量的样点的预测值，并且比特流表示包括指示在第二分量或第三分量中是否存在非零系数的标志。在一些实施例中，该标志被推断为等于1，并从比特流表示中省略。在一些实施例中，信令通知标志的方式基于PMC编解码工具的使用。

图27是根据本技术的视频处理的方法2700的流程图表示。该方法包括，在操作2710，对于视频的视频块和视频的比特流表示之间的转换，基于视频块的临近样点的可用性，确定是否在比特流表示中信令通知跨分量预测(CCP)编解码工具的使用。临近样点与视频块相邻或不相邻。该方法还包括，在操作2720，基于该确定执行转换。

在一些实施例中，CCP编解码工具依赖于视频块上方的临近样点，并且在视频块上方的临近样点不可用的情况下，省略CCP编解码工具的使用的信令通知。在一些实施例中，CCP编解码工具依赖于视频块左侧的临近样点，并且在视频块左侧的临近样点不可用的情况下，省略CCP编解码工具的使用的信令通知。在一些实施例中，CCP编解码工具依赖于视频块上方和左侧的临近样点，并且在视频块上方和左侧的临近样点不可用的情况下，省略CCP编解码工具的使用的信令通知。在一些实施例中，CCP编解码工具依赖于视频块两侧的临近样点，并且在仅视频块一侧的临近样点可用的情况下，省略CCP编解码工具的使用的信令通知。在一些实施例中，CCP编解码工具依赖于视频块的临近样点，并且在视频块左侧或右侧的临近样点不可用的情况下，省略CCP编解码工具的使用的信令通知。在一些实施例中，在CCP的使用的信令通知被省略的情况下，CCP编解码工具被认为是禁用的。

在一些实施例中，在视频处理单元中的比特流表示中指示任何上述方法的使用。在一些实施例中，视频处理单元包括序列、图片、条带、片、图块、子图片、编解码树单元行、编解码树单元、虚拟管道数据单元、编解码单元、预测单元、变换单元或编解码单元或预测单元中的子块。在一些实施例中，使用被包括在序列参数集、视频参数集、图片参数集、图片标头、条带标头、片组标头、一组编解码树单元或编解码树单元中。

在一些实施例中，该方法的使用基于关于视频的信息。在一些实施例中，关于视频的信息包括视频块的维度、视频块中的样点的数量、视频块相对于视频处理单元的位置、条带类型、图片类型或分割类型。在一些实施例中，在视频块中的样点的数量大于或等于阈值的情况下，禁用该方法。在一些实施例中，阈值是1024或4096。在一些实施例中，在视频块中的样点的数量小于或等于阈值的情况下，禁用该方法。在一些实施例中，阈值是4、8或16。在一些实施例中，在视频块的维度大于或等于阈值的情况下，禁用该方法。在一些实施例中，阈值是32或64。在一些实施例中，在视频块的维度小于或等于阈值的情况下，禁用该方法。在一些实施例中，阈值是2或4。在一些实施例中，在该方法被禁用的情况下，省略该方法的使用的信令通知。

在一些实施例中，执行转换包括将视频块编码成比特流表示。在一些实施例中，执行转换包括从比特流表示中解码视频块。

所公开的技术的一些实施例包括做出决定或确定以启用视频处理工具或模式。在一实例中，当启用视频处理工具或模式时，编码器将在视频块的处理中使用或实施该工具或模式，但可能不一定基于工具或模式的使用来修改所得比特流。也就是说，当基于决定或确定启用视频处理工具或模式时，从视频块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一个示例中，当启用视频处理工具或模式时，解码器将在知道比特流已经基于视频处理工具或模式被修改的情况下处理比特流。也就是说，将使用基于该决定或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。

所公开的技术的一些实施例包括做出禁用视频处理工具或模式的决定或确定。在一个示例中，当视频处理工具或模式被禁用时，编码器在将视频块转换成视频的比特流表示时将不使用该工具或模式。在另一个示例中，当视频处理工具或模式被禁用时，解码器将在知道比特流没有被使用基于决定或确定而启用的视频处理工具或模式修改的情况下处理比特流。

从上文可以理解，为了说明的目的，本文已经描述了当前公开的技术的具体实施例，但是在不脱离本发明的范围的情况下，可以进行各种修改。因此，除了所附权利要求之外，当前公开的技术不受限制。

本专利文件中描述的主题和功能操作的实现可以在各种系统、数字电子电路或计算机软件、固件或硬件中实现，包括本说明书中公开的结构及其结构等同物，或者它们中的一个或多个的组合。本说明书中描述的主题的实现可以被实现为一个或多个计算机程序产品，例如，编码在有形和非暂时性计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实现机器可读传播的信号的物质组合，或者它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”包含用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适用于计算环境的其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协作文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一台计算机或位于一个站点或分布在多个站点并通过通信网络互连的多台计算机上执行。

本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以被实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来说，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。通常，计算机还将包括或可操作地耦合到用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，以从该大容量存储设备接收数据或向其传送数据，或两者兼有。然而，计算机不需要有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充或并入其中。

本说明书连同附图仅被认为是示例性的，其中示例性意味着实例。如在此所使用的，“或”的使用旨在包括“和/或”，除非上下文清楚地另外指出。

虽然本专利文件包含许多细节，但是这些细节不应该被解释为对任何发明或所要求保护的范围的限制，而是对特定发明的特定实施例所特有的特征的描述。在本专利文件中在独立实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实现。此外，尽管特征可能在上面被描述为在某些组合中起作用，并且甚至最初被如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。

类似地，虽然在附图中以特定的顺序描述了操作，但是这不应该被理解为要求这些操作以所示的特定顺序或顺序执行，或者要求所有示出的操作都被执行，以获得期望的结果。此外，在本专利文件中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离。

仅描述了一些实施方式和示例，并且可以基于本专利文件中描述和示出的内容进行其他实施方式、增强和变化。

Claims (119)

1.一种视频处理方法，包括：

对于视频的第一分量的视频块和所述视频的比特流表示之间的转换，使用所述视频块之外的代表性样点来确定所述视频块的样点的预测值，其中所述代表性样点在所述转换期间确定；以及

基于所述确定来执行所述转换。

2.根据权利要求1所述的方法，其中所述代表性样点包括来自以下至少一个的样点：第二分量的视频块、第三分量的视频块或所述视频块的临近块，所述临近块和所述视频块相邻或不相邻。

3.根据权利要求1或2所述的方法，其中所述确定基于所述代表性样点的重构值或所述代表性样点预测值。

4.根据权利要求1至3中任一项所述的方法，其中所述确定基于对所述代表性样点应用线性函数。

5.根据权利要求1至3中任一项所述的方法，其中所述确定基于对所述代表性样点应用非线性函数。

6.根据权利要求1至5中任一项所述的方法，其中所述第一分量C₀中的样点的最终预测值被表示为FPred_c0，并且FPred_c0＝X×TPred_c0+Y×(Rec_c2-FPred_c2)+Z，其中TPred_c0表示所述样点的临时预测值，其中Rec_c2和FPred_c2表示所述第三分量C₂中的代表性样点的重构值和最终预测值，并且其中X和Y表示加权因子，并且Z表示偏移值，X、Y和Z是实数。

7.根据权利要求1至5中任一项所述的方法，其中所述第一分量C₀中的样点的最终预测值被表示为FPred_c0，并且FPred_c0＝X×(α_c0*Rec_c1+β_c0)+Y×(Rec_c2–(α_c2*Rec_c1+β_c2)+Z，其中Rec_c1表示所述第二分量C1中的代表性样点的重构值，并且Rec_c2表示所述第三分量C2中的代表性样点的重构值，其中X和Y表示加权因子，并且Z表示偏移值，其中α_c0和β_c0是第一分量的线性模型参数，并且其中α_c2和β_c2是第三分量的线性模型参数，X、Y、Z、α_c0、β_c0、α_c2和β_c2是实数。

8.根据权利要求1至5中任一项所述的方法，其中第一分量C₀中的样点的最终预测值被表示为FPred_c0，并且FPred_c0＝(X×α_c0-Y×α_c2)*Rec_c1+(X×β_c0-Y×β_c2)+Y×Rec_c2+Z，其中Rec_c1表示所述第二分量C1中的代表性样点的重构值，并且Rec_c2表示所述第三分量C2中的代表性样点的重构值，其中X和Y表示加权因子，并且Z代表偏移值，并且其中α_c0和β_c0是所述第一分量的线性模型参数，并且α_c2和β_c2是所述第三分量的线性模型参数，X、Y、Z、α_c0、β_c0、α_c2和β_c2是实数。

9.根据权利要求1至8中任一项所述的方法，其中所述第一分量具有K’×L’的尺寸，并且所述第二分量具有K×L的尺寸，其中根据线性模型参数(X×α_c0,X×β_c0)和(Y×α_c2,Y×β_c2)导出具有K×L的尺寸的两个临时块，并且所述两个临时块被下采样到K’×L’的尺寸。

10.根据权利要求9所述的方法，其中所述两个临时块在有或没有裁剪的情况下被下采样。

11.根据权利要求1至8中任一项所述的方法，其中第一分量具有K’×L’的尺寸，并且所述第二分量具有K×L的尺寸，其中根据线性模型参数(X×α_c0-Y×α_c2,X×β_c0-Y×β_c2)导出具有K×L的尺寸的一个临时块，并且所述临时块被下采样到K’×L’的尺寸。

12.根据权利要求11所述的方法，其中所述临时块在有或没有裁剪的情况下被下采样。

13.根据权利要求11或12所述的方法，其中在执行或不执行下采样的情况下，通过增加或减去所述临时块中的共位的样点来确定所述视频块的所述样点的所述预测值。

14.根据权利要求1至8中任一项所述的方法，其中所述第一分量具有K’×L’的尺寸，并且所述第二分量具有K×L的尺寸，其中基于将所述第二分量下采样到K×L的尺寸来导出一个临时块，并且其中通过将线性模型参数(X×α_c0,X×β_c0)和(Y×α_c2,Y×β_c2)应用于所述临时块，并且通过在所述临时块中添加或减去共位的样点来确定所述视频块的样点的预测值。

15.根据权利要求7至14中任一项所述的方法，其中使用所述第一分量的临近样点和所述第二分量的临近样点来导出α_c0和β_c0。

16.根据权利要求7至14中任一项所述的方法，其中使用所述第三分量的临近样点和所述第二分量的临近样点来导出α_c2和β_c2。

17.根据权利要求7至16中任一项所述的方法，其中所述线性模型参数以与跨分量线性模型(CCLM)预测模式或两步跨分量预测模式的参数相同的方式导出。

18.根据权利要求17所述的方法，其中基于所述第二分量的临近样点的重构值导出所述线性模型参数，而不执行下采样。

19.根据权利要求17所述的方法，其中基于与上采样一起使用的所述第一分量或所述第三分量的临近样点的重构的值导出所述线性模型参数。

20.根据权利要求17至19中任一项所述的方法，其中所述线性模型参数在被所述CCP编解码工具使用之前被裁剪在一范围内。

21.根据权利要求1至20中任一项所述的方法，其中X、Y或Z中的至少一个等于1。

22.根据权利要求1至20中任一项所述的方法，其中X、Y或Z中的至少一个等于0。

23.根据权利要求1至20中任一项所述的方法，其中X等于1，Y等于-1，并且Z等于0。

24.根据权利要求1至20中任一项所述的方法，其中X、Y或Z中的至少一个等于2K或-2K，其中K是[-M，N]范围内的整数值，其中M和N不小于0。

25.根据权利要求1至24中任一项所述的方法，其中在所述比特流表示中指示至少包括X、Y、Z、α_c0、β_c0、α_c2或β_c2的变量。

26.根据权利要求1至24中任一项所述的方法，其中至少包括X、Y、Z、α_c0、β_c0、α_c2或β_c2的变量是即时导出的。

27.根据权利要求25或26所述的方法，其中对于视频单元内的所有样点,所述变量中的至少一个具有相同值，所述视频单元包括编解码块、预测块或变换块。

28.根据权利要求1至27中任一项所述的方法，其中所述线性模型参数具有多组值。

29.根据权利要求28所述的方法，其中视频单元内的不同样点使用不同组值。

30.根据权利要求2至29中任一项所述的方法，其中所述第一分量是Cb颜色分量，所述第二分量是Y分量，并且所述第三分量是Cr分量。

31.根据权利要求2至29中任一项所述的方法，其中所述第一分量是Cr颜色分量，所述第二分量是Y分量，并且所述第三分量是Cb分量。

32.根据权利要求2至29中任一项所述的方法，其中，所述第一分量是亮度分量，并且所述第二分量和所述第三分量是色度分量。

33.根据权利要求1至32中任一项所述的方法，其中所述最终预测值被裁剪在预定范围内。

34.根据权利要求1至33中任一项所述的方法，其中基于所述第一分量的特性，在所述转换期间选择所述代表性样点。

35.根据权利要求34所述的方法，其中所述第一分量的特性包括所述第一分量的样点的位置或者所述第一分量的颜色格式。

36.根据权利要求34或35所述的方法，其中在所述颜色格式为4:2:0的情况下，所述代表性样点位于所述第一分量的当前样点周围。

37.根据权利要求34至36中任一项所述的方法，其中所述当前样点位于位置(x，y)，并且其中一个代表性样点位于(2x，2y)。

38.根据权利要求34至36中任一项所述的方法，其中所述当前样点位于位置(x，y)，并且其中一个代表性样点位于(2x+1，2y)。

39.根据权利要求34至36中任一项所述的方法，其中所述当前样点位于位置(x，y)，并且其中一个代表性样点位于(2x+1，2y+1)。

40.根据权利要求34至36中任一项所述的方法，其中所述当前样点位于位置(x，y)，并且其中一个代表性样点位于(2x，2y+1)。

41.根据权利要求34至36中任一项所述的方法，其中所述当前样点位于位置(x，y)，并且其中两个代表性样点位于(2x，2y)和(2x，2y+1)。

42.根据权利要求34至36中任一项所述的方法，其中所述当前样点位于位置(x，y)，并且其中两个代表性样点位于(2x，2y)和(2x+1，2y)。

43.根据权利要求34至36中任一项所述的方法，其中所述当前样点位于位置(x，y)，并且其中六个代表性样点位于(2x-1，2y)、(2x，2y)、(2x+1，2y)、(2x-1，2y+1)、(2x，2y+1)和(2x+1，2y+1)。

44.根据权利要求34至36中任一项所述的方法，其中所述当前样点位于位置(x，y)，并且其中八个代表性样点位于(2x，2y-1)、(2x-1，2y)、(2x，2y)、(2x+1，2y+1)、(2x，2y+1)、(2x+1，2y+1)和(2x，2y+2)。

45.根据权利要求34或35所述的方法，其中所述代表性样点位于和所述第一分量的当前样点相同的位置。

46.根据权利要求34所述的方法，其中所述第一分量的特性包括应用于所述第一分量的环路滤波方法。

47.根据权利要求46所述的方法，其中所述代表性样点基于应用所述环路滤波方法之前的重构的样点。

48.根据权利要求46或47所述的方法，其中所述代表性样点基于应用所述环路滤波方法之前的重构样点的函数。

49.根据权利要求48所述的方法，其中所述函数包括下采样滤波函数。

50.根据权利要求48所述的方法，其中所述函数包括线性函数或非线性函数。

51.根据权利要求46至50中任一项所述的方法，其中所述环路滤波方法包括去块滤波方法、样点自适应偏移(SAO)方法、自适应环路滤波方法或跨分量自适应环路滤波方法。

52.一种视频处理方法，包括：

对于视频的第一分量的视频块和所述视频的比特流表示之间的转换，确定多个跨分量编解码工具的编解码模式；以及

基于所述确定来执行所述转换；

其中所述编解码模式是从可用于编解码所述视频块的多个模式中确定的，为了使用来自第二分量、第三分量或所述视频块的临近块中的至少一个的代表性样点来确定所述视频块的样点的预测值，所述多个模式具有不同的参数。

53.根据权利要求52所述的方法，其中所述多个模式中的一个模式规定仅来自所述第一分量上方或正上方的行的临近样点用于所述第一分量的样点的预测值。

54.根据权利要求52或53所述的方法，其中所述多个模式中的一个模式规定仅来自所述第一分量左侧或左下方的列的临近样点用于所述第一分量的样点的预测值。

55.根据权利要求52至54中任一项所述的方法，其中所述多个模式中的一个模式规定多个线性模型应用于所述视频块。

56.根据权利要求55所述的方法，其中所述第一分量的样点和所述临近块的样点的重构的值被分组为多个类别，并且其中不同的线性模型应用于不同类别的样点。

57.根据权利要求52至56中任一项所述的方法，其中所述多个模式中的一个模式规定下采样滤波器包括子采样滤波器。

58.根据权利要求52至57中任一项所述的方法，其中所述多个模式中的一个模式规定所述样点的K个预测值取决于L个代表性样点，K和L是整数。

59.一种视频处理方法，包括：

执行视频的视频块和所述视频的比特流表示之间的转换；

其中使用来自多个跨分量(PMC)编解码工具的预测的多个预测模式中的多个跨分量预测模式来编解码所述视频块，

其中所述多个跨分量预测模式在比特流表示中被信令通知为帧内预测模式或帧间预测模式。

60.根据权利要求59所述的方法，其中所述比特流表示中的所述多个模式的信令通知基于所述视频块的特性。

61.根据权利要求60所述的方法，其中所述特性包括所述视频块的编解码模式。

62.根据权利要求61所述的方法，其中在使用指定的编解码模式编解码视频块的情况下，在所述比特流表示中信令通知所述多个模式。

63.根据权利要求60所述的方法，其中所述特性包括所述视频块的颜色格式。

64.根据权利要求63所述的方法，其中在所述视频块的所述颜色格式为4:0:0的情况下，在所述比特流表示中信令通知所述多个模式。

65.根据权利要求60所述的方法，其中所述特性包括第二分量或第三分量的码块标志或预测模式。

66.根据权利要求65所述的方法，其中在所述第二分量或所述第三分量的码块标志是1或0，和/或所述第二分量或所述第三分量的预测模式包括跨分量预测(CCP)模式的情况下，在所述比特流表示中信令通知所述多个模式中的至少一个。

67.根据权利要求65所述的方法，其中在所述第二分量或所述第三分量的码块标志为0并且所述第二分量或所述第三分量的预测模式不是跨分量预测(CCP)模式的情况下，所述多个模式之一被确定为0。

68.根据权利要求59到67中任一权利要求所述的方法，其中除了信令通知一个或多个预测模式之外，在所述比特流表示中还包括对于所述多个模式之一被启用的信令通知。

69.根据权利要求68所述的方法，其中在信令通知启用所述多个模式之一之后，所述比特流表示还包括指示所述多个模式之一的索引。

70.根据权利要求68或69所述的方法，其中DM模式的使用、跨分量预测(CCP)模式的使用以及PMC编解码工具的多个模式之一的使用以特定顺序组织。

71.根据权利要求70所述的方法，其中所述特定顺序基于所述临近块的编解码的信息。

72.根据权利要求71所述的方法，其中在使用所述PMC编解码工具编解码所述临近块的情况下，在所述DM模式的使用和所述CCP模式的使用之前，信令通知所述PMC编解码工具的使用。

73.根据权利要求71所述的方法，其中在使用所述DM模式编解码所述临近块的情况下，在所述CCP模式的使用或所述PMC编解码工具的使用之前，信令通知所述DM模式的使用。

74.根据权利要求59到73中任一权利要求所述的方法，其中将所述PMC编解码工具的所述多个模式信令通知为CCP编解码工具的一个或多个跨分量预测(CCP)模式的信息的一部分。

75.根据权利要求74所述的方法，其中所述PMC编解码工具的所述多个模式的信令通知是基于所述CCP模式的使用。

76.根据权利要求74或75所述的方法，其中在对所述视频块启用所述CCP编解码工具的情况下，在所述比特流表示中包括索引，以指示应用于所述视频块的所述一个或多个CCP模式之一。

77.根据权利要求74到76中任一权利要求所述的方法，其中所述一个或多个CCP模式被分类成多个类别，并且其中所述比特流表示包括指示对应的类别的类别索引。

78.根据权利要求77所述的方法，其中所述索引和类别索引按顺序组织。

79.根据权利要求59到78中任一权利要求所述的方法，其中所述PMC编解码工具的所述多个模式之一被视为帧内预测模式。

80.根据权利要求79所述的方法，其中所述PMC编解码工具的不同模式被分配不同的索引，并用不同的二进制字符串进行编解码。

81.根据权利要求59至80中任一项所述的方法，其中所述比特流表示中的所述多个模式的信令通知被旁路编解码而无需任何上下文。

82.根据权利要求59到81中任一权利要求所述的方法，其中使用基于所述视频块或所述临近块的信息导出的一个或多个上下文来对所述比特流表示中的所述多个模式的信令通知进行上下文编解码。

83.根据权利要求82所述的方法，其中基于所述临近块的编解码模式或可用性来导出所述一个或多个上下文。

84.根据权利要求74所述的方法，其中基于所述视频块的维度导出所述一个或多个上下文。

85.一种视频处理方法，包括：

在对于第一分量启用来自多个跨分量(PMC)编解码工具的预测的情况下，为视频的视频块和所述视频的比特流表示之间的转换，确定视频单元的残差信息；以及

基于所述确定来执行所述转换。

86.根据权利要求85所述的方法，其中所述视频单元的残差信息在所述比特流表示中指示。

87.根据权利要求85所述的方法，其中在只有零系数可用的情况下，从所述比特流表示中省略所述视频单元的残差信息。

88.根据权利要求87所述的方法，其中所述比特流表示包括指示在所述视频单元中是否存在非零系数的标志。

89.根据权利要求88所述的方法，其中在从所述比特流表示中省略所述标志的情况下，所述标志被推断为等于1。

90.根据权利要求88或89所述的方法，其中信令通知所述标志的方式基于所述PMC编解码工具的使用。

91.根据权利要求85至90中任一项所述的方法，其中，使用所述PMC编解码工具，使用来自至少第二分量或第三分量的代表性样点来确定第一分量的样点的预测值，并且其中，所述比特流表示包括指示在所述第二分量或所述第三分量中是否存在非零系数的标志。

92.根据权利要求91所述的方法，其中所述标志被推断为等于1，并且从所述比特流表示中被省略。

93.根据权利要求91所述的方法，其中信令通知所述标志的方式基于所述PMC编解码工具的使用。

94.一种视频处理方法，包括：

对于视频的视频块和所述视频的比特流表示之间的转换，基于所述视频块的临近样点的可用性，确定是否在所述比特流表示中信令通知跨分量预测(CCP)编解码工具的使用，所述临近样点与所述视频块相邻或不相邻；以及

基于所述确定来执行所述转换。

95.根据权利要求94所述的方法，其中所述CCP编解码工具依赖于所述视频块上方的临近样点，并且其中在所述视频块上方的临近样点不可用的情况下，省略所述CCP编解码工具的使用的信令通知。

96.根据权利要求94所述的方法，其中所述CCP编解码工具依赖于所述视频块左侧的临近样点，并且其中在所述视频块左侧的临近样点不可用的情况下，省略所述CCP编解码工具的使用的信令通知。

97.根据权利要求94所述的方法，其中所述CCP编解码工具依赖于所述视频块上方和左侧的临近样点，并且其中在所述视频块上方和左侧的临近样点不可用的情况下，省略所述CCP编解码工具的使用的信令通知。

98.根据权利要求94所述的方法，其中所述CCP编解码工具依赖于所述视频块两侧的临近样点，并且其中在所述视频块仅一侧的临近样点可用的情况下，省略所述CCP编解码工具的使用的信令通知。

99.根据权利要求94所述的方法，其中所述CCP编解码工具依赖于所述视频块的临近样点，并且其中在所述视频块的左侧或右侧的临近样点不可用的情况下，省略所述CCP编解码工具的使用的信令通知。

100.根据权利要求94至99中任一项所述的方法，其中，在所述CCP的使用的信令通知被省略的情况下，所述CCP编解码工具被认为是禁用的。

101.根据权利要求1至97中任一项所述的方法，其中所述方法的使用在视频处理单元的比特流表示中被指示。

102.根据权利要求101所述的方法，其中所述视频处理单元包括序列、图片、条带、片、图块、子图片、编解码树单元行、编解码树单元、虚拟流水线数据单元、编解码单元、预测单元、变换单元或编解码单元或预测单元中的子块。

103.根据权利要求101所述的方法，其中所述使用被包括在序列参数集、视频参数集、图片参数集、图片标头、条带标头、片组标头、一组编解码树单元或编解码树单元中。

104.根据权利要求1至103中任一项所述的方法，其中所述方法的使用基于关于所述视频的信息。

105.根据权利要求104所述的方法，其中，关于所述视频的信息包括所述视频块的维度、所述视频块中的样点的数量、视频块相对于视频处理单元的位置、条带类型、图片类型或分割类型。

106.根据权利要求104或105所述的方法，其中在所述视频块中的样点的数量大于或等于阈值的情况下，禁用所述方法。

107.根据权利要求106所述的方法，其中所述阈值是1024或4096。

108.根据权利要求104或105所述的方法，其中在所述视频块中的样点的数量小于或等于阈值的情况下，禁用所述方法。

109.根据权利要求108所述的方法，其中所述阈值是4、8或16。

110.根据权利要求104或105所述的方法，其中在所述视频块的维度大于或等于阈值的情况下，禁用所述方法。

111.根据权利要求110所述的方法，其中所述阈值是32或64。

112.根据权利要求104或105所述的方法，其中在所述视频块的维度小于或等于阈值的情况下，禁用所述方法。

113.根据权利要求112所述的方法，其中所述阈值是2或4。

114.根据权利要求1至113中任一项所述的方法，其中在所述方法被禁用的情况下，省略所述方法的使用的信令通知。

115.根据权利要求1至114中任一项或多项所述的方法，其中执行所述转换包括将所述视频块编码成比特流表示。

116.根据权利要求1至114中任一项或多项所述的方法，其中执行所述转换包括从所述比特流表示中解码所述视频块。

117.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由处理器执行时，使所述处理器实现权利要求1至116中任一项所述的方法。

118.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于执行权利要求1至116中任一项所述的方法的程序代码。

119.一种计算机可读介质，其上存储有视频的比特流表示，所述比特流表示是根据权利要求1至116中任一项或多项所述的方法生成的。

Images