CN113924783A - 用于视频编解码的组合式帧内和帧内块复制预测 - Google Patents

Abstract

公开了一种用于视频编解码的组合式帧内和帧内块复制预测。一种视频处理方法包括：针对视频的块和该块的比特流表示之间的转换，采用组合式方法生成该块的预测，该组合式方法以组合方式使用帧内块复制(IBC)预测和帧内预测；以及基于该预测执行转换。

Description

用于视频编解码的组合式帧内和帧内块复制预测

相关申请的交叉引用

根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2019年6月3日提交的国际专利申请号PCT/CN2019/089789以及于2019年7月23日提交的国际专利申请号PCT/CN2019/097311的优先权和利益。将国际专利申请号PCT/CN2019/089789和PCT/CN2019/097311的全部公开以引用方式并入本文，作为本申请公开的一部分。

技术领域

本文件涉及视频以及图像编解码和解码技术。

背景技术

数字视频在互联网和其他数字通信网络上的带宽使用量最大。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将持续增长。

发明内容

可以通过视频或图像解码器或编码器实施例使用所公开的技术，在这样的实施例中，使用某些编解码规则执行帧内和帧间的基于块的编解码和解码。

在一个示例性方面当中，公开了一种视频处理方法。该方法包括：在包括一个或多个分量块的视频块和该视频块的比特流表示之间的转换期间，基于该视频块满足的条件确定将第一帧内编解码技术用于该视频块的第一部分的转换，并且将不同于第一帧内编解码技术的第二帧内编解码技术用于该视频块的不同于第一部分的第二部分的转换；以及根据该确定使用第一帧内编解码技术和第二帧内编解码技术执行该转换。

在一个示例性方面当中，公开了一种视频处理方法。该方法包括：针对视频的块和该块的比特流表示之间的转换，采用组合式方法生成该块的预测，该组合式方法以组合方式使用帧内块复制(IBC)预测和帧内预测；以及基于该预测执行转换。

在一个示例性方面当中，公开了一种视频处理方法。该方法包括：针对视频的块和该块的比特流表示之间的转换将该块划分成多个子块；采用帧内块复制(IBC)模式生成至少第一子块的预测块，并且采用选自排除IBC模式的群组的其他方法生成至少第二子块的预测块；以及基于预测块执行转换。

在另一个示例性方面中，可以由包括处理器的视频解码器装置实施上述方法。

在另一个示例性方面中，可以由包括处理器的视频编码器装置实施上述方法。

在又一示例性方面中，这些方法可以被体现为处理器可执行指令的形式并存储于计算机可读程序介质上。

在本文中进一步描述了这些和其他方面。

附图说明

图1示出了多类型树划分模式的示例。

图2示出了具有嵌套多类型树的四叉树编解码树结构中的划分标志信令通知的示例。

图3示出了具有嵌套多类型树的四叉树的快结构的示例。

图4示出了针对128×128编解码块的No Tt(无TT)划分的示例。

图5示出了67种帧内预测模式的示例。

图6示出了用于α和β的推导的样点的示例性位置。

图7示出了与预测块相邻的四条参考线的示例。

图8示出了取决于块尺寸的子分割——针对4×8(顶部)和8×4CU的子分割的示例以及针对4×8、8×4和4×4(底部)之外的CU的子分割的示例。

图9是4×4块的ALWIP的例示。

图10是针对8×8块的ALWIP的例示。

图11是针对8×4块的ALWIP的例示。

图12是针对16×16块的ALWIP的例示。

图13示出了用于merge候选列表构建的推导过程的示例。

图14示出了空域merge候选的示例性位置。

图15示出了针对空域merge候选的冗余检查所考虑的候选对的示例。

图16示出了N×2N和2N×N分割的第二PU的示例性位置。

图17是针对时域merge候选的运动矢量缩放的例示。

图18示出了时域merge候选的候选位置的示例C0和C1。

图19示出了组合式双向预测merge候选的示例。

图20示出了运动矢量预测候选的示例性推导过程。

图21是针对空域运动矢量候选的运动矢量缩放的例示。

图22示出了4参数和6参数仿射模型的示例。

图23示出了每子块的仿射MVF的示例。

图24示出了仿射merge模式的候选位置的示例。

图25示出了经修改的merge列表构建过程的示例。

图26示出了基于三角形分割的帧间预测的示例。

图27示出了UMVE搜索过程的示例。

图28示出了UMVE搜索点的示例。

图29示出了帧内块复制的例示。

图30是视频处理装置的框图。

图31是视频处理的示例性方法的流程图。

图32示出了在调色板模式中编解码的块的示例。

图33示出了使用调色板预测子信令通知调色板条目的示例。

图34示出了水平和垂直遍历扫描的示例。

图35示出了调色板索引的编解码的示例。

图36示出了视频处理的示例性方法的示例。

图37示出了视频处理的示例性方法的示例。

具体实施方式

本文件提供了图像或视频比特流的解码器可以使用的各种技术，以提高解压缩或解码数字视频或图像的质量。为了简洁起见，“视频”一词在本文当中被用来既包含图片的序列(常规上被称为视频)，又包含单独图像。此外，视频编码器还可以在编码过程期间实施这些技术，以便重建用于进一步的编码的解码帧。

本文中使用了章节标题，其目的是便于理解，而非使实施例和技术局限于对应的章节。照此，来自一个章节的实施例可以与来自其他章节的实施例相结合。

1.概述

本文件涉及视频编解码技术。具体地，其涉及预测块生成。其可以应用于现有的视频编解码标准，如HEVC，或待定案的标准(多功能视频编解码)。其还可能适用于未来的视频编解码标准或视频编解码器。

2.背景

视频编解码标准主要是通过开发公知的ITU-T和ISO/IEC标准而演变的。ITU-T开发了H.261和H.263，ISO/IEC开发了MPEG-1和MPEG-4视觉，并且两个组织联合开发了H.262/MPEG-2视频、H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中采用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(JEM)的参考软件中。2018年4月，在VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间创建了联合视频专家团队(JVET)，其致力于研究以相较于HEVC有50％的比特率下降为目标的VVC标准。

2.1.使用树结构的CTU分割

在HEVC中，通过使用四叉树结构(表示为编解码树)将CTU划分成CU来适应各种局部特性。在叶CU级别决定是使用图片间(时域)预测还是图片内(空域)预测对图片区域进行编解码。根据PU的划分类型，每个叶CU可以进一步划分成一个、两个或四个PU。在一个PU中，采用相同的预测处理，并且以PU为基础将相关信息传输到解码器。在基于PU划分类型通过应用预测处理获得残差块后，可以根据与叶CU的编解码树相似的另一个四叉树结构将该CU分割成变换单元(TU)。HEVC结构的一个重要特征是它具有多个划分概念，包括CU、PU以及TU。

在VVC中，使用二元和三元划分分段结构的具有嵌套多类型树的四叉树替代了多种分割单元类型的概念，即，它消除了CU、PU和TU概念的分离，除非尺寸对于最大变换长度而言过大的CU需要，并支持CU分割形状的更大灵活性。在编解码树结构中，CU可以是方形或矩形。首先根据四叉树(又名四元树)结构分割编解码树单元(CTU)。然后，可以进一步根据多类型树结构分割四叉树叶节点。如图1中所示，在多类型树结构中有四种划分类型，垂直二叉划分(SPLIT_BT_VER)、水平二叉划分(SPLIT_BT_HOR)、垂直三叉划分(SPLIT_TT_VER)和水平三叉划分(SPLIT_TT_HOR)。多类型树叶节点被称为编解码单元(CU)，除非CU对于最大变换长度而言过大，否则就将这种分段用于预测和变换处理而不进行任何进一步分割。这意味着，在大多数情况下，在具有嵌套多类型树的四叉树编解码块结构中，CU、PU和TU具有相同的块尺寸。在最大支持变换长度小于CU的颜色分量的宽度或高度时，发生异常。

图2示出了具有嵌套多类型树的四叉树编解码树结构中的分割划分信息的信令通知机制。编解码树单元(CTU)被作为四叉树的根部对待，并且首先根据四叉树结构受到分割。之后，根据多类型树结构进一步分割每一四叉树叶节点(在其足够大从而允许的时候)。在多类型树结构中，信令通知第一标志(mtt_split_cu_flag)，以指示节点受到进一步分割；在节点受到进一步分割时，信令通知第二标志(mtt_split_cu_vertical_flag)，以指示划分方向，之后信令通知第三标志，以指示该划分是二元划分还是三元划分。基于mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag的值，推导CU的多类型树划分模式(MttSplitMode)，如表格1中所示。

表格1–基于多类型树语法元素的MttSplitMode推导

图3示出了借助于四叉树和嵌套多类型树编解码块结构被划分成多个CU的CTU，其中，粗的块边缘表示四叉树分割，并且其余边缘表示多类型树分割。具有嵌套多类型树的四叉树的分割提供由CU构成的内容自适应编解码树结构。在亮度样点单元中，CU的尺寸可以大到CTU，或者可以小到4×4。对于4:2:0色度格式的情况而言，最大色度CB尺寸为64×64，并且最小色度CB尺寸为2×2。

在VVC中，最大的所支持亮度变换尺寸为64×64，并且最大的所支持色度变换尺寸为32×32。当CB的宽度或高度大于最大变换宽度或高度时，CB被沿水平方向和/或垂直方向自动化分，以符合该方向的变换尺寸限制。

对于具有嵌套多类型树的四叉树编解码树方案而言，下述参数是通过SPS语法元素定义和规定的。

–CTU尺寸：四叉树的根节点尺寸

–MinQTSize：最小允许四叉树叶节点尺寸

–MaxBtSize：最大允许二叉树根节点尺寸

–MaxTtSize：最大允许三叉树根节点尺寸

–MaxMttDepth：从四叉树叶所做的多类型树划分的最大允许层次深度

–MinBtSize：最小允许二叉树叶节点尺寸

–MinTtSize：最小允许三叉树叶节点尺寸

在具有嵌套多类型树的四叉树编解码树结构的一个示例中，CTU尺寸被设置为128×128个亮度样点连同4:2:0色度样点的两个对应的64×64块，MinQTSize被设置为16×16，MaxBtSize被设置为128×128，并且MaxTtSize被设置为64×64，MinBtSize和MinTtSize(对于宽度和高度两者)被设置为4×4，并且MaxMttDepth被设置为4。四叉树分割首先应用于CTU，以生成四叉树叶节点。四叉树叶节点的尺寸可以具有从16×16(即MinQTSize)到128×128(即CTU尺寸)的尺寸。如果叶QT节点是128×128，则不会根据根据二叉树对其做进一步划分，因为其尺寸超过了MaxBtSize和MaxTtSize(即64×64)。否则，可以根据多类型树对叶四叉树节点做进一步分割。因此，四叉树叶节点也是多类型树的根节点，并且具有为0的多类型树深度(mttDepth)。当多类型树深度达到MaxMttDepth(即4)时，不考虑进一步划分。当多类型树节点具有等于MinBtSize的宽度并且小于等于2*MinTtSize时，不考虑进一步的水平划分。同样，当多类型树节点具有等于MinBtSize的高度并且小于等于2*MinTtSize时，不考虑进一步的垂直划分。

为了在VVC硬件解码器中允许64×64亮度块和32×32色度管道设计，在亮度编解码块的宽度或者高度大于64时禁止TT划分，如图4所示。当色度编解码块的宽度或者高度大于32时禁止TT划分。

在VTM5中，该编解码树方案支持使亮度和色度具有单独块树结构的能力。当前，对于P条带和B条带，一个CTU中的亮度CTB和色度CTB必须共享相同的编解码树结构。然而，对于I条带而言，亮度和色度可以具有单独块树结构。在应用单独块树结构时，亮度CTB被根据一种编解码树结构分割成CU，并且色度CTB被根据另一种编解码树结构分割成色度CU。这意味着I条带中的CU可以由亮度分量的编解码块或两个色度分量的编解码块构成，P条带或B条带中的CU总是由所有三种颜色分量的编解码块构成，除非视频是单色的。

2.2.VVC中的帧内预测

2.2.1 67种帧内预测模式

为了捕获自然视频中存在的任意边缘方向，VTM4中的定向帧内模式的数量被从33(如HEVC中使用的)扩展到65。不在HEVC中的新定向模式在图5中被绘示为红色虚线箭头，平面和DC模式保持相同。这些更密集的定向帧内预测模式适用于所有块尺寸以及亮度帧内预测和色度帧内预测两者。

2.2.2.位置相关帧内预测组合(PDPC)

在VTM4中，通过位置相关帧内预测组合(PDPC)方法进一步修改平面模式的帧内预测结果。PDPC是一种帧内预测方法，其调用未经滤波的边界参考样点与具有经滤波的边界参考样点的HEVC样式帧内预测的组合。PDPC被应用于下述帧内模式而无需信令通知：平面、DC、水平、垂直、左下角度模式及其八个相邻角度模式以及右上角度模式及其八个相邻角度模式。

根据如下方程采用帧内预测模式(DC、平面、角度)和参考样点的线性组合预测出预测样点pred(x,y)：

pred(x,y)＝(wL×R_-1,y+wT×R_x,-1–wTL×R_-1,-1+(64–wL–wT+wTL)×pred(x,y)+32)>>6

其中，R_x,-1、R_-1,y表示分别位于当前样点(x,y)的顶上和左侧的参考样点，并且R_-1,-1表示位于当前块的左上角的参考样点。

如果将PDPC应用于DC、平面、水平和垂直帧内模式，那么不需要附加边界滤波器，如HEVC DC模式边界滤波器或水平/垂直模式边缘滤波器的情况中所需的。

2.2.3.跨分量线性模型预测(CCLM)

为了减小跨分量冗余，在VTM4中使用跨分量线性模型(CCLM)预测模式，对于该模式而言通过使用如下线性模型基于同一CU的重建亮度样点预测出色度样点：

pred_C(i,j)＝α·rec_L′(i,j)+β

其中，pred_C(i,j)表示CU中的预测色度样点，rec_L(i,j)表示同一CU中的降采样重建亮度样点。线性模型参数α和β是从来自两个样点的亮度值和色度值之间的关系导出的，这两个样点是降采样相邻亮度样点的集合内的具有最小样点值和最大样点值的亮度样点及其对应的色度样点。图6示出了CCLM模式中涉及的左侧和上方样点以及当前块的样点的位置的示例。

这一参数计算是作为解码过程的部分执行的，而非仅作为编码器搜索操作执行。因此，不采用语法向解码器传达α值和β值。

对于色度帧内模式编解码而言，对色度帧内模式编解码允许总共8个帧内模式。这些模式包括五个传统帧内模式和三个跨分量线性模型模式(CCLM、LM_A和LM_L)。色度模式编解码直接取决于对应亮度块的帧内预测模式。由于在I条带中启用针对亮度分立和色度分量的单独块分割结构，因而一个色度块可以对应于多个亮度块。因此，对于色度DM模式，直接继承覆盖当前色度块的中心位置的对应亮度块的帧内预测模式。

2.2.4.多参考线(MRL)帧内预测

多参考线(MRL)帧内预测使用更多参考线进行帧内预测。在图7中，绘示了4条参考线的示例，其中，片段A和F的样点并非是从重建的相邻样点取出的，而是分别用来自片段B和E的最接近样点填充的。HEVC帧内预测使用最近的参考线(即，参考线0)。在MRL中，使用2条附加的线(参考线1和参考线3)。选定参考线的索引(mrl_idx)被信令通知并用于生成帧内预测子。对于大于0的参考线idx，在MPM列表中仅包括附加参考线模式，并且仅信令通知mpm索引而没有其余模式。

2.2.5帧内子分割(ISP)

帧内子分割(ISP)工具根据块尺寸将亮度帧内预测块垂直或水平地划分成2个或4个子分割。例如，ISP的最小块尺寸为4×8(或8×4)。如果块尺寸大于4×8(或8×4)，则通过4个子分割划分对应块。图8示出了两种可能性的示例。所有子分割满足具有至少16个样点的条件。

对于每个子分割，通过向预测信号添加残差信号来获得重建样点。这里，通过诸如熵解码、逆量化和逆变换的过程来生成残差信号。因此，每个子分割的重建样点值可用于生成下一子分割的预测，并且重复对每个子分割的处理。另外，要处理的第一子分割是包含CU的左上样点的子分割，然后向下(水平划分)或向右(垂直划分)继续。因此，用于生成子分割预测信号的参考样点仅位于线的左侧和上侧。所有子分割共享相同的帧内模式。

2.2.6仿射线性加权帧内预测(ALWIP，又名基于矩阵的帧内预测)

提出了仿射线性加权帧内预测(ALWIP，又名基于矩阵的帧内预测(MIP))。

进行两种测试。在测试1中，采用每样点8K字节以及最多4次乘法的存储限制设计ALWIP。测试2与测试1类似，但是在存储要求和模型架构方面进一步简化了设计。

·用于所有块形状的单个由矩阵和偏移量矢量构成的集合。

·对于所有块形状模式数量缩减至19

·存储要求缩减至5760个10比特值，即7.20千字节

·在单个步骤中执行预测样点的线性插值，从而替代第一测试中那样的迭代插值。

2.2.6.1测试1

为了预测具有宽度W和高度H的矩形块的样点，仿射线性加权帧内预测(ALWIP)采取块左侧的一条线列的H个重建相邻边界样点以及块上方的一条线列的W个重建相邻边界样点作为输入。如果重建样点不可得，那么就像常规帧内预测所做的那样生成重建样点。

预测信号的生成以下文的三个步骤为基础：

1.在边界样点当中，通过求均值提取＝H＝4的情况下的四个样点以及所有其他情况下的八个样点。

2.以均值样点作为输入执行矩阵矢量乘法，随后加上偏移量。结果是原始块中的样点的子采样集合上的缩减预测信号。

3.其余位置上的预测信号是通过线性插值由子采样集合上的预测信号生成的，该线性插值是每一方向内的单步骤线性插值。

生成预测信号所需的矩阵和偏移量矢量取自三个矩阵集合S₀、S₁、S₂。集合S₀由18个每者具有16行、4列的矩阵

以及18个每者具有尺寸16的偏移量矢量

构成。该集合的矩阵和偏移量矢量用于具有尺寸4×4的块。集合S₁由10个每者具有16行、8列的矩阵

以及10个每者具有尺寸16的偏移量矢量

构成。该集合的矩阵和偏移量矢量用于具有尺寸4×8、8×4和8×8的块。最后，集合S₂由6个每者具有64行、8列的矩阵

以及6个每者具有尺寸64的偏移量矢量

构成。该集合的矩阵和偏移量矢量或者这些矩阵和偏移量矢量的部分用于所有其他块形状。

矩阵矢量乘积的计算中所需的乘法的总数总是小于或者等于4×W×H。换言之，对于ALWIP模式需要每样点最多四次乘法。

2.2.6.2边界的求均值

在第一步骤中，输入边界bdry^top和bdry^left被缩减至更小的边界

和

这里，

和

在4×4块情况下两者均由2个样点构成，并且在所有其他情况下两者均由4个样点构成。

在4×4块情况下，对于0≤i<2，定义了

并且类似地定义了

否则，如果块宽度W被给定为W＝4·2^k，那么对于0≤i<4，定义了

并且类似地定义了

两个缩减边界

和

被连接至缩减边界矢量bdry_red，因而该矢量对于具有形状4×4的块而言具有尺寸四，并且对于具有所有其他形状的块而言具有尺寸八。如果mode是指ALWIP模式，那么这一连接被如下定义：

最后，对于降采样预测信号的插值而言，在大块上，需要第二版本的均值边界。即，如果min(W,H)>8并且W≥H，那么写作W＝8*2^l，并且对于0≤i<8，定义

如果min(W,H)>8并且H>W，那么类似地定义

2.2.6.3通过矩阵矢量乘法生成缩减预测信号

从缩减输入矢量bdry_red当中，生成缩减预测信号pred_red。后一信号是具有宽度W_red和高度H_red的降采样块上的信号。这里，W_red和H_red被定义为：

通过计算矩阵矢量乘积并添加偏移量而计算出缩减预测信号pred_red：

pred_red＝A·bdry_red+b。

这里，A为矩阵，其具有W_red·H_red行，并且在W＝H＝4的情况下具有4列，而在所有其他情况下则具有8列。b为具有尺寸W_red·H_red的矢量。

矩阵A和矢量b取自如下的集合S₀、S₁、S₂之一。定义如下的索引idx＝idx(W,H)：

此外，令m如下：

因而，如果idx≤1或idx＝2并且min(W,H)>4，那么令

和

在idx＝2并且min(W,H)＝4的情况下，令A是通过遗漏掉

的每一在W＝4的情况下对应于降采样块中的奇数x坐标或者在H＝4的情况下对应于降采样块中的奇数y坐标的行而产生的矩阵。

最后，在下述情况下使缩减预测信号被其转置替代：

·W＝H＝4并且mode≥18

·max(W,h)＝8并且mode≥10

·max(W,h)>8并且mode≥6

在W＝H＝4的情况下，pred_red的计算所需的乘法的次数为4，因为在这种情况下A具有4列、16行。在所有其他情况下，A具有8列、W_red·H_red行，并且立即验证：在这些情况下需要8·W_red·H_red≤4·W·H次乘法，即，还是在这些情况下，每样点最多需要4次乘法来计算pred_red。

2.2.6.4对整个ALWIP过程的举例说明

在图9到图12中针对不同形状例示了求均值、矩阵矢量乘法和线性插值的整个过程。注意，像在所描绘的情况之一当中那样对待其他形状。

1.在给定4×4块的情况下，ALWIP沿边界的每一轴取两个平均值。所得到的四个输入样点参加矩阵矢量乘法。矩阵是从集合S₀取得的。在添加偏移量之后，其得到了16个最终预测样点。线性插值对于生成预测信号是不必要的。因而，每样点执行总共(4·16)/(4·4)＝4次乘法。

2.在给定8×8块的情况下，ALWIP沿边界的每一轴取四个平均值。所得到的八个输入样点参加矩阵矢量乘法。矩阵是从集合S₁取得的。其获得了处于预测块的奇数位置上的16个样点。因而，每样点执行总共(8·16)/(8·8)＝2次乘法。在添加偏移量之后，通过使用缩减顶部边界垂直地对这些样点插值。水平插值通过使用原始左边界而紧随其后。

3.在给定8×4块的情况下，ALWIP沿边界的水平轴取得四个平均值并且取得左边界上的四个原始边界值。所得到的八个输入样点参加矩阵矢量乘法。矩阵是从集合S₁取得的。其获得了处于预测块的奇数水平位置上和每一垂直位置上的16个样点。因而，每样点执行总共(8·16)/(8·4)＝4次乘法。在添加偏移量之后，通过使用原始左侧边界水平地对这些样点插值。

相应地对待转置后的情况。

4.在给定16×16块的情况下，ALWIP沿边界的每一轴取四个平均值。所得到的八个输入样点参加矩阵矢量乘法。矩阵是从集合S₂取得的。其获得了处于预测块的奇数位置上的64个样点。因而，每样点执行总共(8·64)/(16·16)＝2次乘法。在添加偏移量之后，通过使用顶部边界的八个平均值垂直地对这些样点插值。水平插值通过使用原始左边界而紧随其后。在这种情况下，插值过程不增加任何乘法。因此，需要每样点的两次乘法来计算ALWIP预测。

对于更大形状，流程基本相同，并且易于检查每样点的乘法数量小于四。

对于W×8块(其中，W>8)，只有水平插值是必需的，因为样点是在奇数水平位置上和每一垂直位置上给出的。

最后，对于W×4块(其中，W>8)而言，令A_k是通过遗漏沿降抽样块的水平轴对应于奇数条目的每一行而产生的矩阵。因而，输出尺寸为32，并且仍然只需执行水平插值。

相应地对待转置后的情况。

在下文的讨论中，用于与矩阵相乘边界样点可以被称为“缩减边界样点”。用于由降采样块对最终预测块插值的边界样点可以被称为“上采样样点”。

2.2.6.5单步骤线性插值

对于W×H块(其中，max(W,H)≥8)，预测信号是通过线性插值由W_red×H_red上的缩减预测信号pred_red产生的。依据块尺寸，在垂直方向、水平方向或两者内完成线性插值。如果要在两个方向内都应用，那么在W<H的情况下首先将其应用到水平方向内，否则首先将其应用在垂直方向内。

不失一般性地考虑W×H块，其中，max(W,H)≥8并且W≥H。于是如下执行一维线性插值。不失一般性地，描述垂直方向内的线性插值就足够了。首先，通过边界信号将缩减预测信号扩展至顶部。定义垂直上采样因子U_ver＝H/H_red，并且写作

之后，通过下式定义扩展缩减预测信号

之后，由这一扩展缩减预测信号，通过下式生成经垂直线性插值的预测信号

其中，0≤x<W_red，0≤y<H_red并且0≤k<U_ver。

2.2.6.6所提出的帧内预测模式的信令化

对于帧内模式中的每一编解码单元(CU)，在比特流内发送指示是否将对对应的预测单元(PU)应用ALWIP模式的标志。使后者的索引的信令化与MRL协调一致。如果将应用ALWIP模式，使用具有3个MPM的MPM列表信令通知ALWIP模式的索引predmode。

这里，使用如下的上方和左侧PU的帧内模式执行这些MPM的推导。有三个固定表格map_angular_to_alwip_idx(idx∈{0,1,2})，其向每一常规帧内预测模式predmode_Angular分配ALWIP模式

predmode_ALWIP＝map_angular_to_alwip_idx[predmode_Angular]。

对于具有宽度W和高度H的每一PU而言，定义索引

idx(PU)＝idx(W,H)∈{0,1,2}

其指示ALWIP参数将取自三个集合中的哪一个，就像上文的章节2.2.6.3中那样。

如果上方预测单元PU_above可得，与当前PU属于同一CTU，并且处于帧内模式，如果idx(PU)＝idx(PU_above)，并且如果以ALWIP模式

对PU_above应用ALWIP，那么令

如果上方PU可得，与当前PU属于同一CTU，并且处于帧内模式，并且如果对该上方PU应用常规帧内预测模式

那么令

在所有其他情况下，令

这意味着这种模式不可用。在不存在左侧PU必须与当前PU属于同一CTU的限制的情况下按照相同方式，推导出模式

最后，提供三个固定的默认列表list_idx(idx∈{0,1,2})，它们的每者含有三个截然不同的ALWIP模式。通过以默认值替代-1以及消除重复，从默认列表list_idx(PU)以及模式

和

中构建三个截然不同的MPM。

在ALWIP MPM列表构建中使用的左侧相邻块和上方相邻块为A1和B1。

2.2.6.7用于常规亮度和色度帧内预测模式的经调适MPM列表

推导

如下使所提出的ALWIP模式与常规帧内预测模式的基于MPM的编解码协调一致。用于常规帧内预测模式的亮度和色度MPM列表推导过程使用固定表格map_alwip_to_angulari_idx(idx∈{0,1,2})，从而将给定PU上的ALWIP模式predmode_ALWIP映射至常规帧内预测模式之一。

predmode_Angular＝map_alwip_to_angular_idx(PU)[predmode_ALWIP]。

对于亮度MPM列表推导，每当遇到使用ALWIP模式predmode_ALWIP的相邻亮度块时，都像这一块使用常规帧内预测模式predmode_Angular那样对待这一块。对于色度MPM列表推导，每当当前亮度块使用LWIP模式时，就采用相同的映射将ALWIP模式转化为常规帧内预测模式。

2.3 HEVC/H.265中的帧间预测

对于帧间编解码的编解码单元(CU)，可以根据分割模式借助于一个预测单元(PU)、2个PU对其编解码。每一帧间预测PU具有针对一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。还可以使用inter_pred_idc对两个参考图片列表之一的使用进行信令通知。运动矢量可以被显式编解码成相对于预测子(predictor)的Δ。

在采用skip模式对CU编解码时，一个PU与该CU相关联，并且没有显著的残差系数，没有编解码运动矢量Δ或参考图片索引。merge模式被规定为使得当前PU的运动参数是从相邻PU获得的，包括空域候选和时域候选。merge模式可以被应用于任何帧间预测PU，而不仅针对skip模式的那些。merge模式的一种替代方案是运动参数的显式传输，其中，根据每一PU对运动矢量(更确切而言，相较于运动矢量预测子的运动矢量差(MVD))、每一参考图片列表的对应参考图片索引和参考图片列表使用进行显式信令通知。在本公开中将这样的模式称为高级运动矢量预测(AMVP)。

在信令表明将采用这两个参考图片列表之一时，PU由一个样点块生成。这种做法被称为“单向预测”。对于P条带和B条带两者而言，单向预测都是可用的。

在信令表明这两个参考图片列表都要使用时，PU由两个样点块生成。这种做法被称为“双向预测”。双向预测只对B条带可用。

下文将提供有关在HEVC中规定的这些帧间预测模式的细节。描述将开始于merge模式。

2.3.1参考图片列表

在HEVC中，帧间预测一词用于表示从参考图片(而非当前解码图片)的数据元(例如，样点值或运动矢量)推导的预测。与H.264/AVC中类似，一个图片可以是由多个参考图片预测的。用于帧间预测的参考图片被组织到一个或多个参考图片列表当中。参考索引识别出应当将列表中的哪个参考图片用于创建预测信号。

单个参考图片列表，即List 0被用于P条带，两个参考图片列表，即List0和List 1被用于B条带。应当指出，包含在List 0/1中的参考图片可以参照捕获/显示顺序来自于过去图片和未来图片。

2.3.2 Merge模式

2.3.2.1 merge模式的候选的推导

在使用merge模式预测PU时，从比特流中解析出指向merge候选列表中的条目的索引，并采用其检索运动信息。在HEVC标准中规定了对这一列表的构建，可以根据下述步骤序列对其做出总结：

·步骤1：初始候选推导

ο步骤1.1：空域候选推导

ο步骤1.2：对空域候选的冗余检查

ο步骤1.3：时域候选推导

·步骤2：附加候选插入

ο步骤2.1：双向预测候选的创建

ο步骤2.2：零运动候选的插入

还在图13中示意性示出了这些步骤。对于空域merge候选推导而言，从位于五个不同位置上的候选当中选出最多四个merge候选。对于时域merge候选推导而言，从两个候选当中选出最多一个merge候选。由于在解码器处对于每一PU采取恒定数量的候选，因而在从步骤1获得的候选的数量未达到在条带标头中信令通知的merge候选最大数量(MaxNumMergeCand)时，生成附加候选。由于候选的数量是恒定的，因而采用截断一元二值化(TU)对最佳merge候选的索引编码。如果CU的尺寸等于8，那么当前CU的所有PU都共享单个merge候选列表，其等同于2N×2N预测单元的merge候选列表。

在下文中，将详述与前述步骤相关联的操作。

2.3.2.2空域候选推导

在空域merge候选的推导当中，在位于图14所示的位置上的候选当中选择最多四个merge候选。推导的顺序为A₁、B₁、B₀、A₀和B₂。只有在位置A₁、B₁、B₀、A₀的任何PU不可用(例如，因为其属于另一条带或片)或者受到帧内编解码时才考虑位置B₂。在位置A₁处的候选被添加之后，其余候选的添加要受到冗余检查，其确保从列表中排除具有相同运动信息的候选，从而提高编解码效率。为了降低计算复杂性，在所提及的冗余检查当中并未考虑所有可能的候选对。相反，仅考虑用图14的箭头联系起来的对，并且只有在用于冗余检查的对应候选不具有相同的运动信息时才将该候选添加至列表。重复运动信息的另一来源是与不同于2N×2N的分割相关联的“第二PU”。作为示例，图15分别示出了N×2N和2N×N情况的第二PU。在当前PU被分割成N×2N时，不考虑将处于位置A₁处的候选用于列表构建。实际上，添加这一候选将引起两个预测单元具有相同的运动信息，其对于令编解码单元内只有一个PU而言是冗余的。类似地，在当前PU被分割成2N×N时，不考虑位置B₁。

2.3.2.3时域候选推导

在这一步骤中，只有一个候选被添加至列表。尤其是，在这一时域merge候选的推导当中，在属于处在既定参考图片列表内的与当前图片之间具有最小POC差的图片的并置PU的基础上推导出缩放运动矢量。在条带标头内对将用于并置PU的推导的参考图片列表进行显式信令通知。用于时域merge候选的缩放运动矢量是如图17中的虚线所示获得的，其利用POC距离(即tb和td)由并置PU的运动矢量缩放而成，其中，tb被定义为当前图片的参考图片与当前图片之间的POC距离，并且td被定义为并置图片的参考图片与并置图片之间的POC距离。时域merge候选的参考图片索引被设为等于零。在HEVC规范中描述了缩放过程的实际实现。对于B条带而言，获得两个运动矢量(一个针对参考图片列表0，另一个针对参考图片列表1)，并且将其结合产生双向预测merge候选。

在属于参考帧的并置PU(Y)中，在候选C₀和C₁之间选择时域候选的位置，如图18所示。如果位置C₀处的PU不可用，是帧内编解码的，或者处于当前编解码树单元(CTU，又名LCU，最大编解码单元)行之外，则采用位置C₁。否则，将位置C₀用到时域merge候选的推导当中。

2.3.2.4附加候选插入

除了空域和时域merge候选之外，还有两种附加类型的merge候选：组合式双向预测merge候选和零merge候选。组合式双向预测merge候选是通过使用空域merge候选和时域merge候选生成的。组合式双向预测merge候选仅用于B条带。组合式双向预测候选是通过使初始候选的第一参考图片列表运动参数与另一个的第二参考图片列表运动参数相结合而生成的。如果这两个元组提供不同的运动假设，那么它们将形成新的双向预测候选。作为示例，图19示出了采用处于原始列表(左侧)内的两个候选(它们具有mvL0和refIdxL0或者mvL1和refIdxL1)来创建被添加至最终列表(右侧)的组合式双向预测merge候选时的情况。关于所考虑的用以生成这些附加merge候选的组合存在很多规则。

零运动候选被插入以填充merge候选列表中的剩余条目，并因此命中MaxNumMergeCand容量。这些候选具有零空域位移和开始于零并且在每次向列表添加新的零运动候选时增大的参考图片索引。最后，不对这些候选执行冗余检查。

2.3.3 AMVP

AMVP利用运动矢量与相邻PU的空时相关性，该空时相关性用于运动参数的显式传输。对于每一参考图片列表而言，运动矢量候选列表的构建方式是：首先检左侧、上侧时域相邻PU位置的可用性，去除冗余候选，并且添加零矢量，从而使候选列表具有恒定长度。之后，编码器可以从候选列表选择最佳预测子，并且传输指示所选候选的对应索引。与merge索引信令通知类似，采用截断一元码对最佳运动矢量候选的索引编码。在这一情况下要编码的最大值为2(参考图20)。在下文的章节中，将提供有关运动矢量预测候选的推导过程的细节。

2.3.3.1 AMVP候选的推导

图20总结了运动矢量预测候选的推导过程。

在运动矢量预测中，考虑两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选推导而言，最终在位于如图20所示的五个不同位置上的每一PU的运动矢量的基础上推导出两个运动矢量候选。

对于时域运动矢量候选推导而言，从基于两个不同并置位置推导出的两个候选中选出一个运动矢量候选。在制作空时候选的第一列表之后，去除该列表中的重复运动矢量候选。如果可能候选的数量大于二，那么从列表中去除这样的运动矢量候选：其在相关联的参考图片列表内的参考图片索引大于1。如果空时运动矢量候选的数量小于二，那么向列表添加附加的零运动矢量候选。

2.3.3.2空域运动矢量候选

在空域运动矢量候选的推导当中，在五个可能的候选当中考虑最多两个候选，这五个可能候选是从位于如图16所示的位置上的PU推导出，这些位置与运动merge的那些位置相同。针对当前PU的左侧的推导顺序被定义为A₀、A₁以及缩放A₀、缩放A₁。针对当前PU的上侧的推导顺序被定义为B₀、B₁、B₂、缩放B₀、缩放B₁、缩放B₂。对于每一侧，都因此存在可以被用作运动矢量候选的四种情况，其中两种情况不要求使用空域缩放，并且两种情况使用空域缩放。这四种不同情况的总结如下：

·无空域缩放

–(1)相同参考图片列表和相同参考图片索引(相同POC)

–(2)不同参考图片列表，但相同参考图片(相同POC)

·空域缩放

–(3)相同参考图片列表，但不同参考图片索引(不同POC)

–(4)不同参考图片列表和不同参考图片(不同POC)

首先检查无空域缩放情况，随后继之以空域缩放。当POC在相邻PU的参考图片和当前PU的参考图片之间存在不同时，不管参考图片列表如何，都考虑空域缩放。如果左侧候选的所有PU都不可用或者是帧内编解码的，那么允许针对上侧运动矢量的缩放，从而有助于左侧MV候选和上侧MV候选的并行推导。否则，不允许针对上侧运动矢量的空域缩放。

在空域缩放过程中，按照与时域缩放的类似的方式对相邻PU的运动矢量进行缩放，如图21所示。主要差异在于当前PU的参考图片列表和索引是作为输入给出的；实际缩放过程与时域缩放的相同。

2.3.3.3时域运动矢量候选

撇除参考图片索引推导之外，时域merge候选的推导的所有过程均与空域运动矢量候选的推导(参见图20)相同。将参考图片索引信令通知给解码器。

2.4 VVC中的帧间预测方法

有几种用于帧间预测的改进的新型编解码工具，诸如用于信令通知MVD的自适应运动矢量差分辨率(AMVR)、采用运动矢量差的Merge(MMVD)、三角形预测模式(TPM)、组合式帧内-帧间预测(CIIP)、高级TMVP(ATMVP，又名SbTMVP)、仿射预测模式、广义双向预测(GBI)、解码器侧运动矢量细化(DMVR)和双向光流(BIO，又名BDOF)。

有三种不同的在VVC中受到支持的merge列表构建过程：

1)子块merge候选列表：其包括ATMVP和仿射merge候选。对于仿射模式和ATMVP模式两者而言，共享一种merge列表构建过程。这里，可以按顺序添加ATMVP和仿射merge候选。在条带标头中信令通知子块merge列表尺寸，并且最大值为5。

2)常规merge列表：对于其余编解码块，共享一种merge列表构建过程。这里，可以按顺序插入空域/时域/HMVP成对组合式双向预测merge候选以及零运动候选。在条带标头中信令通知常规merge列表尺寸，并且最大值为6。MMVD、TPM、CIIP依赖常规merge列表。

3)IBC merge列表：按照与常规merge列表类似的方式完成该列表。

类似地，有三种在VVC中受支持的AMVP列表：

1)仿射AMVP候选列表

2)常规AMVP候选列表

3)IBC AMVP候选列表:与IBC merge相同的构建过程

2.4.1 VVC中的编解码块结构

在VVC中，采取四叉树/二叉树/三叉树(QT/BT/TT)结构将图片划分成方形或矩形块。

除了QT/BT/TT之外，在VVC中还对I帧采取分离(separate)树(又称双重编解码树)。借助于分离树，为亮度分量和色度分量单独地信令通知编解码块结构。

此外，除了采用几种具体编解码方法(诸如帧内子分割预测(其中，PU等于TU，但是小于CU)以及用于帧间编解码块的子块变换(其中，PU等于CU，但是TU小于PU))编解码的块之外，CU被设置为等于PU和TU。

2.4.2仿射预测模式

在HEVC中，仅应用平移运动模型进行运动补偿预测(MCP)。而在现实世界中，则有很多种类的运动，例如，拉近/拉远、旋转、透视运动和其他不规则运动。在VVC中，采用4参数仿射模型和6参数仿射模型应用简化的仿射变换运动补偿预测。如图22所示，通过4参数仿射模型的两个控制点运动矢量(CPMV)和6参数仿射模型的3个CPMV描述块的仿射运动场。

分别通过下述方程描述块的运动矢量场(MVF)，其中，4参数仿射模型(其中，4个参数被定义为变量a、b、e和f)处于方程(1)当中，并且6参数仿射模型(其中，6个参数被定义为a、b、c、d、e和f)处于方程(2)中：

其中，(mv^h ₀,mv^h ₀)是左上角控制点的运动矢量，(mv^h ₁,mv^h ₁)是右上角控制点的运动矢量，(mv^h ₂,mv^h ₂)是左下角控制点的运动矢量，所有的这三个运动矢量都被称为控制点运动矢量(CPMV)，(x,y)表示代表点相对于当前块内的左上样点的坐标，(mv^h(x,y),mv^v(x,y))是针对位于(x,y)处的样点推导出的运动矢量。CP运动矢量可以是信令通知的(比如在仿射AMVP模式当中)或者可以是在运行中(on-the-fly)推导的(比如在仿射merge模式当中)。w和h是当前块的宽度和高度。在实践当中，通过右移连同取整运算实施该除法。在VTM中，代表点被定义为子块的中心位置，例如，在子块的左顶角相对于当前块内的左顶样点的坐标为(xs,ys)时，那么代表点的坐标被定义为(xs+2,ys+2)。对于每一子块(例如，VTM中的4×4)，均采用该代表点推导整个子块的运动矢量。

为了进一步简化运动补偿预测，应用基于子块的仿射变换预测。为了推导每一M×N(在当前VVC中，M和N两者都被设置为4)子块的运动矢量，根据方程(1)和方程(2)计算每一子块的中心样点的运动矢量(如图23所示)，并且取整为达到1/16分数精度。之后，应用针对1/16像素的运动补偿插值滤波器，从而借助于推导出的运动矢量生成每一子块的预测。针对1/16像素的插值滤波器是由仿射模式引入的。

在MCP之后，按照与正常运动矢量相同的精度对每一子块的高精度运动矢量取整并保存。

2.4.3用于整个块的MERGE

2.4.3.1平移常规merge模式的merge列表构建

2.4.3.1.1基于历史的运动矢量预测(HMVP)

与merge列表设计不同的是，在VVC中，采用基于历史的运动矢量预测(HMVP)方法。

在HMVP中，存储先前编解码的运动信息。先前编解码的运动信息被定义为HMVP候选。多个HMVP候选被存储到名为HMVP表格的表格当中，并且在运行中编码/解码过程期间保持这一表格。在开始对新的片/LCU行/条带进行编码/解码时，清空HMVP表。每当有帧间编解码块和非子块、非TPM模式时，相关联的运动信息被作为新HMVP候选添加至该表格的最后条目。在图24中绘示了总的编解码流程。

2.4.3.1.2常规merge列表构建过程

可以根据下述步骤序列总结常规merge列表(用于平移运动)的构建：

·步骤1：空域候选的推导

·步骤2：HMVP候选的插入

·步骤3：成对平均候选的插入

·步骤4：默认运动候选

HMVP候选可以被用到AMVP候选列表构建过程和merge候选列表构建过程两者当中。图24示出了经修改的merge列表构建过程(用蓝色突出表示)。当在TMVP候选插入之后merge候选列表未满时，可以采用存储在HMVP表格中的HMVP候选填充merge候选列表。在考虑到一个块往往在运动信息方面与最近相邻块之间具有更高相关性的情况下，按照索引的降序插入该表格中的HMVP候选。该表格中的最后条目被首先添加至列表，而第一条目则被最后添加。类似地，对HMVP候选应用冗余去除。一旦可用merge候选的总数达到了允许信令通知的merge候选的最大数量，就终止merge候选列表构建过程。

注意，必须采用非IBC模式对所有空域/时域/HMVP候选编解码。否则，不允许将其添加至常规merge候选列表。

HMVP表格含有最多可达5个常规运动候选，并且它们当中的每者是唯一的。

2.4.3.2三角预测模式(TPM)

在VTM4中，支持三角形分割模式，以进行帧间预测。仅对8×8或更大的并且在merge模式下而非MMVD或CIIP模式下编解码的CU应用三角形分割模式。对于满足这些条件的CU，信令通知CU级标志，以指示是否应用三角形分割模式。

在使用这一模式时，使用对角线划分或者反对角线划分将CU均匀地划分成两个三角形分割，如图26所示。对CU内的每一三角形分割使用其自身的运动进行帧间预测；对于每一分割只允许单向预测，即，每一分割具有一个运动矢量和一个参考索引。应用单向预测运动约束来确保：与常规双向预测相同，每一CU只需两项运动补偿预测。

如果CU级标志指示当前CU是采用三角形分割模式编解码的，那么进一步信令通知指示三角形分割的方向(对角线或反对角线)的标志以及两个merge索引(每分割一个)。在预测三角形分割的每者之后，使用具有自适应权重的混合处理来调节沿对角线或反对角线边缘的样点值。这是整个CU的预测信号，并且将像在其他预测模式中一样对该整个CU应用变换和量化过程。最后，将使用三角形分割模式预测的CU的运动场存储到各4×4单元内。

将常规merge候选列表重复用于三角形分割merge预测，而不进行多余运动矢量剪枝。对于常规merge候选列表中的每个merge候选，其L0或L1运动矢量中有且仅有一者被用于三角形预测。此外，L0对比L1运动矢量的选择顺序以其merge索引奇偶性为基础。借助于这一方案，能够直接使用常规merge列表。

2.4.3.3 MMVD

将介绍最终运动矢量表达(UMVE，又称为MMVD)。UMVE用于与所提出的运动矢量表达方法相结合的skip模式或merge模式。

UMVE重新使用与包含在VVC中的常规merge候选列表当中的那些merge候选相同的merge候选。在这些merge候选当中，可以选择基础候选，并且通过所提出的运动矢量表达方法对基础候选做进一步扩充。

UMVE提供了一种新的运动矢量差(MVD)表示方法，其中，采用起始点、运动幅度和运动方向表示MVD。

所提出的这种技术照原样使用merge候选列表。但是仅考虑将默认merge类型(MRG_TYPE_DEFAULT_N)的候选用于UMVE的扩充。

基础候选索引定义起始点。基础候选索引指示列表内的候选当中的最佳候选，如下文所述。

表格2基础候选IDX

基础候选IDX	0	1	2	3
					第N MVP	第1MVP	第2MVP	第3MVP	第4MVP

如果基础候选的数量等于1，那么不对基础候选IDX进行信令通知。

距离索引是运动幅度信息。距离索引由起始点信息指示预定义距离。预定义距离如下：

表格3距离IDX

方向索引表示MVD相对于起始点的方向。方向索引可以表示如下文所示的四个方向。

表格4方向IDX

方向IDX	00	01	10	11
					x轴	+	–	N/A	N/A
y轴	N/A	N/A	+	–

在发送skip标志或merge标志之后立即信令通知UMVE标志。如果skip或merge标志为真，那么对UMVE标志进行解析。如果UMVE标志等于1，那么对UMVE语法进行解析。但是，如果不等于1，那么对AFFINE标志进行解析。如果AFFINE标志等于1，其为AFFINE模式，但是如果不等于1，那么对skip/merge索引进行针对VTM的skip/merge模式的解析。

不需要因UMVE候选引起的附加行缓存。因为软件的skip/merge候选被直接用作基础候选。在使用输入UMVE索引的情况下，对MV的补充是刚好在运动补偿之前决定的。没有必要为此保持长行缓存。

在当前的普通测试条件下，可以选择merge候选列表内的第一merge候选或者第二merge候选作为基础候选。

UMVE又被称为采用MV差的Merge(MMVD)。

2.4.3.4组合式帧内-帧间预测(CIIP)

提出了多假设预测，其中，组合式帧内和帧间预测是一种生成多个假设的方式。

在应用多假设预测改善帧内模式时，多假设预测结合了一种帧内预测和一种merge索引预测。在merge CU中，针对merge模式信令通知一个标志，从而在该标志为真时从帧内候选列表选择帧内模式。对于亮度分量，仅由一个帧内预测模式(即，平面模式)推导帧内候选列表。通过两个相邻块(A1和B1)的编解码模式(帧内或非帧内)确定对来自帧内和帧间预测的预测块应用的权重。

2.4.4针对基于子块的技术的MERGE

建议除了用于非子块merge候选的常规merge列表之外，将所有子块相关的运动候选放在独立的merge列表中。

放置子块相关运动候选的独立merge列表被称为“子块merge候选列表”。

在一个示例中，子块merge候选列表包括ATMVP候选和仿射merge候选。

按以下顺序利用候选填充子块merge候选列表：

a.ATMVP候选(可能可用或不可用)；

b.仿射merge列表(包括继承的仿射候选；以及构建的仿射候选)

c.填补为零MV 4参数仿射模型

2.4.4.1.1 ATMVP(又名子块时域运动矢量预测器，SbTMVP)

ATMVP的基本理念是针对一个块推导多组时域运动矢量预测子。为每个子块分配一组运动信息。在生成ATMVP merge候选时，在8×8级别而不是整个块的级别上进行运动补偿。

2.4.5常规帧间模式(AMVP)

2.4.5.1 AMVP运动候选列表

类似于HEVC中的AMVP设计，可以推导最多2个AMVP候选。不过，也可以在TMVP候选之后添加HMVP候选。按照索引的升序(即，从等于0的索引，即最早的索引开始)遍历HMVP表中的HMVP候选。可以检查最多达4个HMVP候选以查明其参考图片是否与目标参考图片相同(即，相同的POC值)。

2.4.5.2 AMVR

在HEVC中，当条带标头中的use_integer_mv_flag等于0时，以四分之一亮度样点为单位信令通知运动矢量差(MVD)(PU的运动矢量和预测运动矢量之间的)。在VVC中，引入了局部自适应运动矢量分辨率(AMVR)。在VVC中，能够以四分之一亮度样点、整亮度样点和四亮度样点(即，1/4像素、1像素、4像素)为单位对MVD编解码。在编解码单元(CU)级上控制该MVD分辨率，并且针对每一个具有至少一个非零MVD分量的CU以常规方式信令通知MVD分辨率标志。

对于具有至少一个非零MVD分量的CU而言，信令通知第一标志，以指示在CU中是否使用四分之一亮度样点MV精确度。在第一标志(等于1)指示不使用四分之一亮度样点MV精确度时，信令通知另一标志，以指示是采用整亮度样点MV精确度还是四亮度样点MV精确度。

在CU的第一MVD分辨率标志为零时，或者未对CU编解码该标志时(意味着CU内的所有MVD均为零)，对该CU使用四分之一亮度样点MV分辨率。在CU使用整亮度样点MV精确度或者四亮度样点MV精确度时，该CU的AMVP候选列表中的MVP被相对于对应的精确度取整。

2.4.5.3对称运动矢量差

对双向预测中的运动信息编解码应用对称运动矢量差(SMVD)。

首先，如N1001-v2中规定的，在条带级上，采用下述步骤推导出分别指示SMVD模式中使用的列表0/1的参考图片索引的变量RefIdxSymL0和RefIdxSymL1。在这两个变量中的至少一者等于-1时，应当禁用SMVD模式。

2.5多变换选择(MTS)

除了已经在HEVC中采用的DCT-II之外，还将多变换选择(MTS)方案用于对帧间编解码块和帧内编解码块两者进行残差编解码。其采用来自DCT8/DST7的多种选定变换。新引入的变换矩阵是DST-VII和DCT-VIII。表示出了选定DST/DCT的基函数。

表5-用于N点输入的DCT-II/III和DSTVII的变换基函数

为了保持变换矩阵的正交性，要对这些变换矩阵做出比HEVC中的变换矩阵更准确的量化。为了使经变换的系数的中间值保持在16比特范围内，在水平变换之后以及在垂直变换之后，所有的系数都将具有10比特。

为了控制MTS方案，分别针对帧内和帧间在SPS级上规定单独的启用标志。当在SPS上启用MTS时，信令通知CU级标志，以指示是否应用MTS。这里，仅对亮度应用MTS。在满足下述条件时信令通知MTS CU级标志。

-宽度和高度两者都小于或者等于32

-CBF标志等于1

如果MTS CU标志等于0，那么在两个方向内都应用DCT2。然而，如果MTS CU标志等于1，那么附加地信令通知其他两个标志，从而分别指示水平方向和垂直方向的变换类型。变换和信令通知映射表格如表格6中所示。在涉及到变换矩阵精确度时，采用8比特主变换核心。因此，使HEVC中使用的所有变换核心保持相同，其包括4点DCT-2和DST-7以及8点、16点和32点DCT-2。而且，其他变换核心包括64点DCT-2、4点DCT-8以及8点、16点、32点DST-7和DCT-8主变换核心。

表格6-变换和信令通知映射表格

与HEVC中一样，可以采用变换跳过模式对块的残差编解码。为了避免语法编解码的冗余，在CU级MTS_CU_flag不等于零时不信令通知变换跳过标志。在块宽度和高度等于或小于4时启用变换跳过。

2.6帧内块复制

帧内块复制(IBC)，又名当前图片引用，已经被采纳到HEVC屏幕内容编解码扩展(HEVC-SCC)和当前VVC测试模型(VTM-4.0)中。IBC将运动补偿的概念从帧间编解码扩展到帧内编解码。如图29中所示，在应用IBC时，通过同一图片中的参考块预测当前块。在对当前块进行编解码或解码之前，必须已经重建了参考块中的样点。尽管IBC并非对于大部分相机捕获序列都那么高效率，但其展现出对于屏幕内容显著的编解码增益。原因在于在屏幕内容图片中存在大量的重复图案，例如图标和文本字符。IBC能够有效地消除这些重复图案之间的冗余。在HEVC-SCC中，如果IBC选择当前图片作为其参考图片，则帧间编解码的编解码单元(CU)可以应用IBC。在这种情况下，MV被重新命名为块矢量(BV)，BV始终具有整像素的精度。为了与主简档HEVC兼容，在解码图片缓冲区(DPB)中将当前图片标记为“长期”参考图片。应当指出，类似地，在多种视图/3D视频编解码标准中，视图间参考图片也被标记为“长期”参考图片。

在遵循BV找到其参考块的情况下，可以通过复制参考块来生成预测。可以通过从初始信号减去参考像素来获得残差。然后可以如其他编解码模式中那样，应用变换和量化。

不过，在参考块在图片外部，或与当前块重叠，或在重建区域外部，或在某些约束限制的有效区域外部时，不定义部分或全部像素值。基本上，有两种方案来处理此类问题。一种方案是不允许此类状况，例如，在比特流一致性中。另一种方案是针对那些未定义的像素值应用填补。以下小节将详细描述这些方案。

2.6.1 VCC测试模型中的IBC(VTM4.0)

在当前的VCC测试模型中，即，VTM-4.0设计中，整个参考块应当利用当前编解码树单元(CTU)，而且不和当前块重叠。因此，不需要填补参考块或预测块。IBC标志被编解码为当前CU的预测模式。于是，对于每个CU共有三种预测模式，MODE_INTRA、MODE_INTER和MODE_IBC。

2.6.1.1 IBC Merge模式

在IBC Merge模式中，从比特流解析出指向IBC merge候选列表中的条目的索引。可以根据以下步骤序列总结IBC merge列表的构建：

·步骤1：空域候选的推导

·步骤2：HMVP候选的插入

·步骤3：成对平均候选的插入

在空域merge候选的推导当中，在位于图14所示的A₁、B₁、B0、A₀和B₂中所示位置上的候选当中选择最多四个merge候选。推导的顺序为A1、B1、B0、A0和B2。仅在位置A1、B1、B0、A0的任何PU不可用(例如，因为它属于另一个条带或片)或未利用IBC模式编解码时，才考虑位置B2。在添加位置A1处的候选之后，对剩余候选的插入进行冗余检查，冗余检查确保从列表排除具有相同运动信息的候选，从而改善编解码效率。

在插入空域候选之后，如果IBC merge列表尺寸仍然小于最大IBC merge列表尺寸，则可以插入来自HMVP表的IBC候选。在插入HMVP候选时执行冗余检查。

最后，向IBC merge列表中插入成对的平均候选。

在merge候选标识的参考块在图片外部，或与当前块重叠，或在重建区域外部，或在某些约束限制的有效区域外部时，该merge候选被称为无效merge候选。

要指出的是，可以向IBC merge列表中插入无效merge候选。

2.6.1.2 IBC AMVP模式

在IBC AMVP模式中，从比特流解析指向IBC AMVP列表中的条目的AMVP索引。可以根据以下步骤序列总结IBC AMVP列表的构建：

·步骤1：空域候选的推导

o检查A₀、A₁，直到发现可用候选。

ο检查B₀、B₁、B₂，直到发现可用候选。

·步骤2：HMVP候选的插入

·步骤3：零候选的插入

在插入空域候选之后，如果IBC AMVP列表尺寸仍然小于最大IBC AMVP列表尺寸，则可以插入来自HMVP表的IBC候选。

最后，向IBC AMVP列表中插入零个候选。

2.6.1.3色度IBC模式

在当前VVC中，在子块级别执行色度IBC模式中的运动补偿。色度块将被分割成几个子块。每个子块判断对应亮度块是否具有块矢量，并且如果存在，判断其有效性。在当前的VTM中存在编码器约束，其中，如果当前色度CU中的所有子块都具有有效亮度块矢量，将测试色度IBC模式。例如，在YUV 420视频上，色度块为N×M，则同位(collocated)的亮度区域为2N×2M。色度块的子块尺寸为2×2。有几个步骤来执行色度mv推导，然后执行块复制过程。

1)色度块首先将被分割成(N>>1)*(M>>1)个子块。

2)左上样点坐标为(x,y)的每个子块获取覆盖坐标为(2x,2y)的相同左上样点的对应亮度块。

3)编码器检查所获取亮度块的块矢量(bv)。如果符合以下条件之一，则认为bv是无效的。

a.对应亮度块的bv不存在。

b.由bv标识的预测块尚未被重建。

c.由bv标识的预测块部分或全部与当前块重叠。

4)子块的色度运动矢量被设置为对应亮度子块的运动矢量。

在所有子块都找到有效bv时，在编码器处允许IBC模式。

下文列出了IBC块的解码过程。与IBC模式中的色度mv推导相关的部分被突出表示为灰色。

8.6.1用于IBC预测中编解码的编解码单元的通用解码过程

这一过程的输入为：

–亮度位置(xCb,yCb)，相对于当前图片的左-上亮度样点指定当前编解码块的左上样点，

–变量cbWidth，以亮度样点为单位指定当前编解码块的宽度，

–变量cbHeight，以亮度样点为单位指定当前编解码块的高度，

–变量treeType，指定使用一元树还是二元树，如果使用二元树，指定当前树对应于亮度分量还是色度分量。

这一过程的输出是环路滤波之前的修改重建图片。

调用条款8.7.1中规定的用于量化参数的推导过程，以亮度位置(xCb,yCb)、当前编解码块以亮度样点为单位的宽度cbWidth和当前编解码块以亮度样点为单位的高度cbHeight以及变量treeType作为输入。

在ibc预测模式中编解码的编解码单元的解码过程由以下有序步骤构成：

1.如下推导当前编解码单元的运动矢量分量：

1.如果treeType等于SINGLE_TREE或DUAL_TREE_LUMA，以下适用：

–调用条款8.6.2.1中规定的运动矢量分量的推导过程，以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight作为输入，以亮度运动矢量mvL[0][0]作为输出。

–在treeType等于SINGLE_TREE时，调用条款8.6.2.9中的色度运动矢量的推导过程，以亮度运动矢量mvL[0][0]作为输入，以色度运动矢量mvC[0][0]作为输出。

–亮度编解码子块在水平方向上的数量numSbX以及在垂直方向上的数量numSbY都被设置为等于1。

1.否则，如果treeType等于DUAL_TREE_CHROMA，则以下适用：

–如下推导水平方向上亮度编解码子块的数量numSbX和垂直方向上的数量numSbY：

numSbX＝(cbWidth>>2)(8-886)

numSbY＝(cbHeight>>2)(8-887)

–针对xSbIdx＝0..numSbX-1、ySbIdx＝0..numSbY-1，如下推导色度运动矢量mvC [xSbIdx][ySbIdx]：

–如下推导亮度运动矢量mvL[xSbIdx][ySbIdx]：

–如下推导同位亮度编解码单元的位置(xCuY,yCuY)：

xCuY＝xCb+xSbIdx*4 (8-888)

yCuY＝yCb+ySbIdx*4 (8-889)

–如果CuPredMode[xCuY][yCuY]等于MODE_INTRA，以下适用：

mvL[xSbIdx][ySbIdx][0]＝0 (8-890)

mvL[xSbIdx][ySbIdx][1]＝0 (8-891)

predFlagL0[xSbIdx][ySbIdx]＝0 (8-892)

predFlagL1[xSbIdx][ySbIdx]＝0 (8-893)

–否则(CuPredMode[xCuY][yCuY]等于MODE_IBC)，以下适用：

mvL[xSbIdx][ySbIdx][0]＝MvL0[xCuY][yCuY][0] (8-894)

mvL[xSbIdx][ySbIdx][1]＝MvL0[xCuY][yCuY][1] (8-895)

predFlagL0[xSbIdx][ySbIdx]＝1 (8-896)

predFlagL1[xSbIdx][ySbIdx]＝0 (8-897)

–调用条款8.6.2.9中的色度运动矢量的推导过程，以mvL[xSbIdx][ySbIdx]作为输入，并以mvC[xSbIdx][ySbIdx]作为输出。

–比特流一致性的要求是色度运动矢量mvC[xSbIdx][ySbIdx]应当遵守以下约束：

–在调用条款6.4.X[Ed.(BB)：相邻块可用性检查过程tbd]中规定的块可用性的推导过程时，以设置成等于(xCb/SubWidthC,yCb/SubHeightC)的当前色度位置(xCurr,yCurr)和相邻色度位置(xCb/SubWidthC+(mvC[xSbIdx][ySbIdx][0]>>5),yCb/SubHeightC+(mvC[xSbIdx][ySbIdx][1]>>5))作为输入，输出应当等于真。

–在调用条款6.4.X[Ed.(BB)：相邻块可用性检查过程tbd]中规定的块可用性的推导过程时，以设置成等于(xCb/SubWidthC,yCb/SubHeightC)的当前色度位置(xCurr,yCurr)和相邻色度位置(xCb/SubWidthC+(mvC[xSbIdx][ySbIdx][0]>>5)+cbWidth/SubWidthC-1,yCb/SubHeightC+(mvC[xSbIdx][ySbIdx][1]>>5)+cbHeight/SubHeightC-1)作为输入，输出应当等于真。

–以下状况之一或两者应当为真：

–(mvC[xSbIdx][ySbIdx][0]>>5)+xSbIdx*2+2小于或等于0。

–(mvC[xSbIdx][ySbIdx][1]>>5)+ySbIdx*2+2小于或等于0。

2.如下推导当前编解码单元的预测样点：

–如果treeType等于SINGLE_TREE或DUAL_TREE_LUMA，则如下推导当前编解码单元的预测样点：

–调用条款8.6.3.1中规定的ibc块的解码过程，以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight、亮度编解码子块在水平方向上的数量numSbX和在垂直方向上的数量numSbY、其中xSbIdx＝0..numSbX-1且ySbIdx＝0..numSbY-1的亮度运动矢量mvL[xSbIdx][ySbIdx]、被设置为等于0的变量cIdx作为输入，并以作为预测亮度样点的(cbWidth)x(cbHeight)阵列predSamples_L的ibc预测样点(predSamples)作为输出。

–否则，如果treeType等于SINGLE_TREE或DUAL_TREE_CHROMA，则如下推导当前编解码单元的预测样点：

–调用条款8.6.3.1中规定的ibc块的解码过程，以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight、亮度编解码子块在水平方向上的数量numSbX和在垂直方向上的数量numSbY、其中xSbIdx＝0..numSbX-1且ySbIdx＝0..numSbY-1的色度运动矢量mvC[xSbIdx][ySbIdx]，以及被设置为等于1的变量cIdx作为输入，并以作为用于色度分量Cb的预测色度样点的(cbWidth/2)x(cbHeight/2)阵列predSamples_Cb的ibc预测样点(predSamples)作为输出。

–调用条款8.6.3.1中规定的ibc块的解码过程，以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight、亮度编解码子块在水平方向上的数量numSbX和在垂直方向上的数量numSbY、其中xSbIdx＝0..numSbX-1且ySbIdx＝0..numSbY-1的色度运动矢量mvC[xSbIdx][ySbIdx]，以及被设置为等于2的变量cIdx作为输入，并以作为用于色度分量Cr的预测色度样点的(cbWidth/2)x(cbHeight/2)阵列predSamples_Cr的ibc预测样点(predSamples)作为输出。

3.变量NumSbX[xCb][yCb]和NumSbY[xCb][yCb]被设置为分别等于numSbX和numSbY。

4.如下推导当前编解码单元的残差样点：

–在treeType等于SINGLE_TREE或treeType等于DUAL_TREE_LUMA时，调用条款8.5.8中规定的在帧间预测模式中编解码的编解码块的残差信号的解码过程，以被设置为等于亮度位置(xCb,yCb)的位置(xTb0,yTb0)、被设置为等于亮度编解码块宽度cbWidth的宽度nTbW、被设置为等于亮度编解码块高度cbHeight的高度nTbH，以及被设置为等于0的变量cIdx作为输入，并以阵列resSamples_L作为输出。

–在treeType等于SINGLE_TREE或treeType等于DUAL_TREE_CHROMA时，调用条款8.5.8中规定的在帧间预测模式中编解码的编解码块的残差信号的解码过程，以被设置为等于色度位置(xCb/2,yCb/2)的位置(xTb0,yTb0)、被设置为等于色度编解码块宽度cbWidth/2的宽度nTbW、被设置为等于色度编解码块高度cbHeight/2的高度nTbH，以及被设置为等于1的变量cIdx作为输入，并以阵列resSamples_Cb作为输出。

–在treeType等于SINGLE_TREE或treeType等于DUAL_TREE_CHROMA时，调用条款8.5.8中规定的在帧间预测模式中编解码的编解码块的残差信号的解码过程，以被设置为等于色度位置(xCb/2,yCb/2)的位置(xTb0,yTb0)、被设置为等于色度编解码块宽度cbWidth/2的宽度nTbW、被设置为等于色度编解码块高度cbHeight/2的高度nTbH，以及被设置为等于2的变量cIdx作为输入，并以阵列resSamples_Cr作为输出。

5.如下推导当前编解码单元的重建样点：

–在treeType等于SINGLE_TREE或treeType等于DUAL_TREE_LUMA时，调用条款8.7.5中规定的用于颜色分量的图片重建过程，以被设置为等于(xCb,yCb)的块位置(xB,yB)、被设置为等于cbWidth的块宽度bWidth、被设置为等于cbHeight的块高度bHeight、被设置为等于0的变量cIdx、被设置为等于predSamples_L的(cbWidth)×(cbHeight)阵列predSamples和被设置为等于resSamples_L的(cbWidth)×(cbHeight)阵列resSamples作为输入，并且输出是环路滤波之前的修改重建图片。

–在treeType等于SINGLE_TREE或treeType等于DUAL_TREE_CHROMA时，调用条款8.7.5中规定的用于颜色分量的图片重建过程，以被设置为等于(xCb/2,yCb/2)的块位置(xB,yB)、被设置为等于cbWidth/2的块宽度bWidth、被设置为等于cbHeight/2的块高度bHeight、被设置为等于1的变量cIdx、被设置为等于predSamples_Cb的(cbWidth/2)×(cbHeight/2)阵列predSamples和被设置为等于resSamples_Cb的(cbWidth/2)×(cbHeight/2)阵列resSamples作为输入，并且输出是环路滤波之前的修改重建图片。

–在treeType等于SINGLE_TREE或treeType等于DUAL_TREE_CHROMA时，调用条款8.7.5中规定的用于颜色分量的图片重建过程，以被设置为等于(xCb/2,yCb/2)的块位置(xB,yB)、被设置为等于cbWidth/2的块宽度bWidth、被设置为等于cbHeight/2的块高度bHeight、被设置为等于2的变量cIdx、被设置为等于predSamples_Cr的(cbWidth/2)×(cbHeight/2)阵列predSamples和被设置为等于resSamples_Cr的(cbWidth/2)×(cbHeight/2)阵列resSamples作为输入，并且输出是环路滤波之前的修改重建图片。

2.6.2 IBC的最近进展(VTM5.0中)

2.6.2.1单一BV列表

IBC中用于merge模式和AMVP模式的BV预测子将共享公共预测子列表，该公共预测子列表由以下元素构成：

·2个空间相邻的位置(如图14中的A1、B1)

·5个HMVP条目

·默认零个矢量

列表中候选的数量受到从条带标头导出的变量的控制。对于merge模式而言，将使用这一列表的高达前6个条目；对于AMVP模式而言，将使用这一列表的前2个条目。该列表符合共享merge列表区域要求(共享SMR之内的同一列表)。

除了上述BV预测子候选列表之外，还提出简化HMVP候选和现有merge候选(A1,B1)之间的剪枝操作。在简化中，将有最多2次剪枝操作，因为它仅将第一HMVP候选与空域merge候选进行比较。

2.6.2.1.1解码过程

8.6.2.2用于IBC亮度运动矢量预测的推导过程

仅在CuPredMode[xCb][yCb]等于MODE_IBC时调用这个过程，其中(xCb,yCb)相对于当前图片的左上亮度样点指定当前亮度编解码块的左上样点。

这一过程的输入为：

–当前亮度编解码块的左上样点相对于当前图片的左上亮度样点的亮度位置(xCb,yCb)，

–变量cbWidth，以亮度样点为单位指定当前编解码块的宽度，

–变量cbHeight，以亮度样点为单位指定当前编解码块的高度，这个过程的输出为：

–1/16分数样点精度的亮度运动矢量mvL。

如下推导变量xSmr、ySmr、smrWidth、smrHeight和smrNumHmvpIbcCand：

xSmr＝IsInSmr[xCb][yCb]？SmrX[xCb][yCb]:xCb (8-910)

ySmr＝IsInSmr[xCb][yCb]？SmrY[xCb][yCb]:yCb (8-911)

smrWidth＝IsInSmr[xCb][yCb]？SmrW[xCb][yCb]:cbWidth

(8-912)

smrHeight＝IsInSmr[xCb][yCb]？SmrH[xCb][yCb]:cbHeight

(8-913)

smrNumHmvpIbcCand＝IsInSmr[xCb][yCb]？NumHmvpSmrIbcCand:NumHmvpIbcCand(8-914)

通过以下有序步骤推导亮度运动矢量mvL：

1.调用条款8.6.2.3中规定的来自相邻编解码单元的空域运动矢量候选的推导过程，以被设置为等于(xSmr,ySmr)的亮度编解码块位置(xCb,yCb)、被设置为等于smrWidth和smrHeight的亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight作为输入，并且输出为可用性标志availableFlagA₁、availableFlagB₁和运动矢量mvA₁和mvB₁。

2.如下构建运动矢量候选列表mvCandList：

i＝0

if(availableFlagA₁)

mvCandList[i++]＝mvA₁ (8-915)

if(availableFlagB₁)

mvCandList[i++]＝mvB₁

3.变量numCurrCand被设置为等于mvCandList中的merging候选的数量。

4.在numCurrCand小于MaxNumMergeCandand且smrNumHmvpIbcCand大于0时，调用8.6.2.4中规定的基于IBC历史的运动矢量候选的推导过程，以mvCandList、被设置为等于IsInSmr[xCb][yCb]的isInSmr和numCurrCand作为输入，并且以修改的mvCandList和numCurrCand作为输出。

5.在numCurrCand小于MaxNumMergeCand时，以下适用，直到numCurrCand等于MaxNumMergeCand：

1.将mvCandList[numCurrCand][0]设置为等于0。

2.将mvCandList[numCurrCand][1]设置为等于0。

3.将numCurrCand增加1。

6.如下推导变量mvIdx：

mvIdx＝general_merge_flag[xCb][yCb]？merge_idx[xCb][yCb]:mvp_l0_flag[xCb][yCb] (8-916)

7.作出如下赋值：

mvL[0]＝mergeCandList[mvIdx][0] (8-917)

mvL[1]＝mergeCandList[mvIdx][1] (8-918)

2.6.2.2 IBC的尺寸限制

在最新的VVC和VTM5中，提出在此前VTM和VVC版本中的当前比特流约束之上显式地使用语法约束来禁用128×128IBC模式，这使得IBC标志的存在取决于CU尺寸<128×128。

2.6.2.3用于IBC的共享merge列表

为了降低解码器复杂度并支持并行编码，提出为CU划分树中的一个祖先节点的所有叶编解码单元(CU)共享相同的merging候选列表，用于实现skip/merge编解码的小CU的并行处理。祖先节点被命名为merge共享节点。在merge共享节点处生成共享merging候选列表，假装merge共享节点为叶CU。

更具体而言，以下可以适用：

-如果块具有不大于32的亮度样点，并且被划分成2个4×4子块，则在非常小的块(例如，两个相邻4×4块)之间使用共享merge列表。

-不过，如果该块具有大于32个亮度样点，在划分之后，至少一个子块小于阈值(32)，则该划分的所有子块共享同一个merge列表(例如，16×4或4×16三元划分或8×8四元划分)。

这样的限制仅应用于IBC merge模式。

2.7组合式帧内和帧间预测(CIIP)

提出了多假设预测，其中，组合式帧内和帧间预测是一种生成多个假设的方式。

在应用多假设预测改善帧内模式时，多假设预测结合了一种帧内预测和一种merge索引预测。在merge CU中，针对merge模式信令通知一个标志，从而在该标志为真时从帧内候选列表选择帧内模式。对于亮度分量而言，帧内候选列表是由包括DC模式、平面模式、水平模式和垂直模式在内的4个帧内预测模式推导的，并且帧内候选列表的尺寸可以是3或4，具体取决于块尺寸。当CU宽度大于CU高度的二倍时，水平模式被排除到帧内模式列表之外，并且当CU高度大于CU宽度的二倍时，垂直模式被从帧内模式列表中去除。使用加权平均结合通过帧内模式索引选择的一种帧内预测模式和通过merge索引选择的一种merge索引预测。对于色度分量而言，总是应用DM，而无需多余信令。用于使预测相结合的权重如下文所述。在选择DC或平面模式，或者CB宽度或高度小于4时，应用相等权重。对于那些具有大于或者等于4的CB宽度和高度的CB而言，在选择水平/垂直模式时，一个CB首先被垂直/水平划分成四个等面积区域。被表示为(w_intra_i,w_inter_i)的每一权重集将被应用于对应区域，其中，i从1到4，并且(w_intra₁,w_inter₁)＝(6,2)，(w_intra₂,w_inter₂)＝(5,3)，(w_intra₃,w_inter₃)＝(3,5)，(w_intra₄,w_inter₄)＝(2,6)。(w_intra₁,w_inter₁)用于最接近参考样点的区域，并且(w_intra₄,w_inter₄)用于离参考样点最远的区域。之后，可以通过对两个加权预测求和并且右移3个位而计算出组合式预测。此外，能够将用于预测子的帧内假设的帧内预测模式保存起来，以供接下来的相邻CU的参考。

在VTM4中，当在merge模式下对CU编解码时，并且如果CU含有至少64个亮度样点(也就是说，CU宽度乘以CU高度等于或者大于64)，那么信令通知附加标志，以指示是否对当前CU应用组合式帧间/帧内预测(CIIP)。

2.8 VTM-4.0中的去方块方案

在当前的VTM中，即VTM-4.0中，使用了去方块方案。

2.8.1用于亮度的更强去方块滤波器

该提议在边界的任一侧的样点属于大块时使用双线性滤波器。如垂直边缘的宽度>＝32时，或水平边缘的高度>＝32时那样定义属于大块的样点。

下文列出了双线性滤波器。

然后如下利用线性插值替代块边界样点p_i(i＝0到Sp-1)和q_i(j＝0到Sq-1)(pi和qi遵循上述HEVC去方块中的定义)：

—p_i′＝(f_i*Middle_s,t+(64-f_i)*P_S+32)＞＞6),clipped to p_i±tcPD_i

—q_j′＝(g_j*Middle_s,t+(64-g_j)*Q_s+32)＞＞6),clipped to q_j±tcPD_j

其中tcPD_i和tcPD_j项是在章节2.2.5中描述的位置相关裁剪，并且g_j、f_i、Middle_s,t、P_s和Q_s在下文中给出：

2.8.2用于亮度的去方块控制

在这个小节中描述去方块决策过程。

更宽更强亮度滤波器是仅在条件1、条件2和条件3全部为真时才使用的滤波器。

条件1是“大块条件”。这个条件检测P侧和Q侧的样点是否属于大块，分别由变量bSidePisLargeBlk和bSideQisLargeBlk表示。如下定义bSidePisLargeBlk和bSideQisLargeBlk。

bSidePisLargeBlk＝((边缘类型为垂直，且p₀属于CU，其中宽度>＝32)||(边缘类型为水平，且p₀属于CU，其中高度>＝32))？真：假

bSideQisLargeBlk＝((边缘类型为垂直，且q₀属于CU，其中宽度>＝32)||(边缘类型为水平，且q₀属于CU，其中高度>＝32))？真：假

基于bSidePisLargeBlk和bSideQisLargeBlk，则如下定义条件1。

条件1＝(bSidePisLargeBlk||bSidePisLargeBlk)？真：假

接下来，如果条件1为真，将进一步检查条件2。首先，推导以下变量：

首先，如HEVC中那样推导dp0、dp3、dq0、dq3

如果(p侧大于或等于32)

dp0＝(dp0+Abs(p_5,0-2*p_4,0+p_3,0)+1)>>1

dp3＝(dp3+Abs(p_5,3-2*p_4,3+p_3,3)+1)>>1

如果(q侧大于或等于32)

dq0＝(dq0+Abs(q_5,0-2*q_4,0+q_3,0)+1)>>1

dq3＝(dq3+Abs(q_5,3-2*q_4,3+q_3,3)+1)>>1

然后，如HEVC中那样推导dpq0、dpq3、dp、dq、d

然后如下定义条件2。

条件2＝(d<β)？真：假

其中d＝dp0+dq0+dp3+dq3，如2.1.4节所示。

如果条件1和条件2有效，则检查任何块是否使用了子块：

最后，如果条件1和条件2都有效，所提出的去方块方法将检查条件3(大块强滤波器条件)，条件3如下定义。

在条件3StrongFilterCondition中，推导以下变量：

如在HEVC中那样推导dpq。

sp₃＝Abs(p₃-p₀)，如在HEVC中那样推导

如果(p侧大于或等于32)

如HEVC推导中那样，StrongFilterCondition＝(dpq小于(β>>2),sp₃+sq₃小于(3*β>>5)并且Abs(p₀-q₀)小于(5*t_C+1)>>1)？真：假

2.8.3用于色度的强去方块滤波器

定义以下用于色度的强去方块滤波器：

p₂′＝(3*p₃+2*p₂+p₁+p₀+q₀+4)>>3

p₁′＝(2*p₃+p₂+2*p₁+p₀+q₀+q₁+4)>>3

p₀′＝(p₃+p₂+p₁+2*p₀+q₀+q₁+q₂+4)>>3

所提出的色度滤波器对4×4色度样点网格进行去方块。

2.8.4针对色度的去方块控制

在块边界的两侧上都使用色度强滤波器。在此，在色度边缘的两侧都大于或等于8(色度位置)时，选择色度滤波器，满足以下具有三个条件的决策：第一个用于边界强度以及大块的决策。在与块边缘正交交叉的块宽度或高度在色度样点域中等于或大于8时，可以应用所提出的滤波器。第二和第三个条件与HEVC亮度去方块决策基本相同，分别为开/关决策和强滤波器决策。

在第一种决策中，修改边界强度(bS)用于表1中所示的色度滤波。顺序地检查表1中的条件。如果满足条件，则跳过具有更低优先级的剩余条件。

表格7修改的边界强度

在bS等于2时，执行色度去方块，或者在检测到大块边界时，bS等于1。

第二和第三条件与以下的HEVC亮度强滤波器决策基本相同。

在第二条件中：

然后如HEVC亮度去方块中那样推导d。

在d小于β时，第二条件将为真。

在第三条件中，如下推导StrongFilterCondition：

如在HEVC中那样推导dpq。

sp₃＝Abs(p₃-p₀)，如在HEVC中那样推导

sq₃＝Abs(q₀-q₃)，如在HEVC中那样推导

如HEVC推导中那样，StrongFilterCondition＝(dpq小于(β>>2),sp₃+sq₃小于(β>>3)并且Abs(p₀-q₀)小于(5*t_C+1)>>1)

2.8.5取决于位置的裁剪

该提议还引入了取决于位置的裁剪tcPD，其被应用于涉及强且长滤波器的亮度滤波处理的输出样点，该滤波器修改边界处的7、5和3个样点。假设量化错误分布，提出了针对预期具有更高量化噪声，从而预期与真正样点值具有更高的重建样点值偏差的样点增大裁剪值。

对于利用所提出的不对称滤波器滤波的每个P或Q边界，根据2.2节中描述的决策过程的结果，从作为边信息提供给解码器的Tc7和Tc3表选择取决于位置的阈值表：

Tc7＝{6,5,4,3,2,1,1}；

Tc3＝{6,4,2}；

tcPD＝(SP＝＝3)？Tc3:Tc7；

tcQD＝(SQ＝＝3)？Tc3:Tc7；

对于利用短对称滤波器滤波的P或Q边界，应用更低量值的取决于位置的阈值：

Tc3＝{3,2,1}；

在定义阈值之后，根据tcP和tcQ裁剪值裁剪经滤波的p’_i和q’_i样点值：

p”_i＝clip3(p’_i+tcP_i,p’_i–tcP_i,p’_i)；

q”_j＝clip3(q’_j+tcQ_j,q’_j–tcQ_j,q’_j)；

其中，p’_i和q’_i是经滤波的样点值，p”_i和q”_j是裁剪之后的输出样点值，tcP_i和tcP_i是从VVC tc参数和tcPD与tcQD导出的裁剪阈值。clip3项是VVC中规定的裁剪函数。

2.8.6子块去方块调节

为了能够使用长滤波器和子块去方块两者并行友好地去方块，长滤波器被限制为在如长滤波器的亮度控制中所示使用子块去方块(AFFINE或ATMVP)一侧修改最多5个样点。此外，调节子块去方块，使得接近CU的8×8网格上的子块边界或隐式TU边界被限制为修改每侧最多两个样点。

下文适用于不与CU边界对齐的子块边界。

其中等于0的边缘对应于CU边界，等于2或等于orthogonalLength-2的边缘对应于来自CU边界等的子块边界8个样点。其中如果使用TU的隐式划分，隐式TU为真。

2.8.7针对亮度/色度限制到4CTU/2CTU线缓冲区

在水平边界与CTU边界对齐时，水平边界的滤波针对亮度限制为Sp＝3，针对色度限制为Sp＝1和Sq＝1。

2.9 HEVC屏幕内容编解码扩展(HEVC-SCC)中的调色板模式

调色板模式背后的基本理念在于，通过代表性颜色值的小集合来表示CU中的样点。这个集合被称为调色板。还可以通过信令通知逸出符号和随后的(可能量化的)分量值来指示调色板外部的样点。在图32中对此给出了例示。

在HEVC-SCC中的调色板模式当中，采用预测性方式对调色板和索引映射编解码。

2.9.1调色板条目的编解码

[1]为了对调色板条目进行编解码，维护调色板预测子。在SPS中信令通知调色板和调色板预测子的最大尺寸。在HEVC-SCC中，在PPS中引入palette_predictor_initializer_present_flag。在这个标志为1时，在比特流中信令通知用于初始化调色板预测子的条目。在每个CTU行、每个条带和每个片的开始处对调色板预测子进行初始化。根据palette_predictor_initializer_present_flag的值，将调色板预测子重置为0，或者使用PPS中信令通知的调色板预测子初始化器条目进行初始化。在HEVC-SCC中，启用尺寸为0的调色板预测子初始化器，以允许在PPS级别上显式禁用调色板预测子初始化。

对于调色板预测子中的每个条目，信令通知重复使用标志以指示它是否是当前调色板的一部分。在图33中对此给出了例示。使用零的游程长度编解码发送重复使用标志。在此之后，使用0阶指数Golomb代码信令通知新调色板条目的数量。最后，信令通知用于新调色板条目的分量值。

2.9.2调色板索引的编解码

使用如图34所示的水平和垂直遍历扫描来对调色板索引编解码。使用palette_transpose_flag在比特流中显式地信令通知扫描顺序。对于小节的剩余部分，假设扫描是水平的。

使用两种调色板样点模式：′INDEX’和′COPY_ABOVE′，对调色板索引进行编解码。如前所述，逸出符号也被信令通知为′INDEX’模式，并被分配以等于最大调色板尺寸的索引。除了顶行之外，或者在前一模式为′COPY_ABOVE’时，使用标志信令通知该模式。在′COPY_ABOVE’模式中，复制上方行中样点的调色板索引。在′INDEX’模式中，显式地信令通知调色板索引。对于′INDEX’和′COPY_ABOVE’模式两者，信令通知游程值，该游程值规定也使用相同模式编解码的后续样点的数量。在逸出符号是′INDEX’或′COPY_ABOVE’模式中游程的部分时，针对每个逸出符号信令通知逸出分量值。图35中示出了调色板索引的编解码。

如下完成这种语法顺序。首先，信令通知CU的索引值的数量。在此之后，使用截断二元编解码信令通知整个CU的实际索引值。索引数量和索引值都以绕过模式编解码。这样将索引相关的绕过二进制位分到一起。然后以交织方式信令通知调色板样点模式(如果必要)和游程。最后，对应于整个CU的逸出样点的分量逸出值被分在一起并以绕过模式编解码。

在信令通知索引值之后，信令通知附加的语法元素，last_run_type_flag。这一语法元素结合索引数量，消除了信令通知对应于块中最后游程的游程值的需求。

在HEVC-SCC中，还针对4:2:2、4:2:0和单色色度格式启用调色板模式。调色板条目和调色板索引的信令对于所有色度格式几乎相同。对于非单色格式而言，每个调色板条目由3个分量构成。对于单色格式而言，每个调色板条目由单个分量构成。对于子采样色度方向，色度样点与可除以2的亮度样点索引相关联。在针对CU重建调色板索引之后，如果样点仅具有与其相关联的单个分量，则仅使用调色板条目的第一分量。信令中的仅有差异针对逸出分量值。对于每个逸出样点，根据与该样点相关联的分量数量，信令通知的逸出分量值的数量可以不同。

3现有技术的限制

当前设计可能具有下述问题：

1.在采用针对亮度和色度的分离编解码树时，色度块/子块可能无法推导BV。

2.可以通过结合IBC和帧内编解码模式提高编解码效率。

3.在对亮度块执行子块级上的IBC模式时，可以提高编解码效率。

4示例性技术和实施例的列举

下文详述的发明应当被视为解释一般原理的示例。不应狭义地解释这些发明。此外，这些发明可以按照任何方式组合。

要指出的是，下文的“IBC”一词可以指背景技术部分介绍的“IBC”，或者其可以指排除2.2中描述的帧内预测方法的任何可以由当前视频单元中的样点(例如，条带/片/砖块/片组/图片)生成预测信号的技术。

1.帧内预测和IBC预测两者都可以用于生成块的预测。

a.在一个示例中，块内的样点的子集可以使用帧内预测信号作为预测，其余样点可以使用IBC预测信号作为预测。

i.在一个示例中，对于具有指向无效参考区域的块矢量的样点而言，可以采用帧内预测作为该样点的预测。

1)替代性地，对于具有有效块矢量的样点，可以采用IBC预测作为该样点的预测。

ii.在一个示例中，对于当前块中接近相邻块的重建样点的样点而言，可以采用帧内预测作为该样点的预测。

1)替代性地，对于当前块中远离相邻块的重建样点的样点而言，可以采用IBC预测作为该样点的预测。

iii.在一个示例中，对于色度子块，如果其同位亮度子块是按照IBC模式编解码的，那么该色度子块的预测可以来自IBC预测。

iv.在一个示例中，对于色度子块，如果其同位亮度子块是按照IBC模式编解码的，并且由该亮度子块推导的BV对于该色度子块是有效的，那么该色度子块的预测可以来自IBC预测。

v.在一个示例中，对于色度子块，如果其同位亮度子块是按照帧内模式编解码的，那么该色度子块的预测可以来自帧内预测。

vi.在一个示例中，对于色度子块，如果可以由对应亮度分量推导出有效BV，那么该色度子块的预测可以来自IBC预测。

1)例如，来自对应亮度分量的色度分量的的BV可以被推导为与亮度样点相关联的BV，该亮度样点与该色度块的样点同位。在一个示例中，色度块的该样点可以处于色度块的中心。在另一示例中，色度块的该样点可以处于色度块的左上。

b.可以通过对帧内预测和IBC预测信号加权求均值生成块的预测。

i.在一个示例中，可以预定义一个或多个权重集，以组合帧内预测和IBC预测。

ii.在一个示例中，可以将IBC当成帧间模式来处理，并可以应用CIIP权重来组合帧内预测和IBC预测。

iii.在一个示例中，样点上的权重可以取决于该样点在当前块内的相对位置。

iv.在一个示例中，权重可以取决于当前块的编解码信息，诸如帧内预测模式、块维度、颜色分量、颜色格式等。

c.类似地，来自IBC以及排除IBC的一种或多种其他模式(例如，调色板模式、BDPCM)的预测可以全部用于生成块的最终预测块。

d.可以在序列/图片/条带/片组/片/砖块/CTU/CTB/CU/PU/TU/其他视频单元级中信令通知或在运行中推导以上方法和/或加权值的使用的指示。

i.在一个示例中，可以将以上方法当做特殊IBC模式。亦即，如果一个块是按照IBC模式编解码的，则可以信令通知或推导出使用常规IBC方法或以上方法的进一步指示。

ii.在一个示例中，可以将以上方法作为特殊帧内模式对待。亦即，如果一个块是按照帧内模式编解码的，则可以信令通知或推导使用常规帧内模式或以上方法的进一步指示。

iii.在一个示例中，可以将以上方法作为新的预测模式对待。亦即，可以进一步扩展所允许的模式，诸如帧内、帧间和IBC模式，以包括这种新模式。

2.亮度块可以被划分成一个或多个子块，并且至少第一子块的预测块采用IBC模式生成，至少第二子块的预测块采用排除IBC模式的其他方法生成。

a.在一个示例中，所有的IBC编解码子块可以共享相同BV。

i.替代性地，不同的IBC编解码子块可以具有不同BV。

b.在一个示例中，可以从块的比特流仅信令通知/推导出一个BV。

i.替代性地，可以信令通知/推导出多个BV，以得到用于所有IBC编解码子块的BV。

c.在一个示例中，对于块内的所有子块而言，子块尺寸可以是固定的，例如，4×4或者用于存储运动信息/BV的最小单元或者用于允许IBC模式的最小单元。

i.替代性地，可以为不同子块分配不同维度。

d.在一个示例中，可以在子块级上而非整个块级上执行IBC启用/禁用。

e.在一个示例中，对于亮度块而言，块矢量(BV)可以是对一些子块有效的，并且对一些其他子块是无效的。

i.在一个示例中，如果未完全重建出由BV指示的预测块，那么该BV可以是无效的。

ii.在一个示例中，如果由BV指示的预测块处于当前图片/条带/片组/砖块之外，那么该BV可以是无效的。

iii.在一个示例中，如果由BV指示的预测块与当前块重叠，那么该BV可以是无效的。

iv.在一个示例中，对于具有被标记为有效的BV的子块而言，可以使用IBC模式生成该子块的预测信号。

v.在一个示例中，对于具有被标记为无效的BV的子块而言，可以使用排除IBC的其他模式生成该子块的预测信号。

1)在一个示例中，可以采用帧内预测生成具有无效块/运动矢量的子块的预测。

2)在一个示例中，可以使用调色板模式生成具有无效块/运动矢量的子块的预测。

3.一个或多个颜色分量的预测可以来自帧内预测，并且一个视频单元(例如，编解码单元/预测单元/变换单元)的其他颜色分量的预测可以来自IBC预测。

a.在一个示例中，IBC可以被应用于亮度，并且帧内预测可以被应用于色度。

i.替代性地，帧内预测可以被应用于亮度，并且IBC可以被应用于色度。

4.在采用以上方法时，可以修改帧内预测过程。

a.在一个示例中，可以在生成帧内预测信号时禁用PDPC模式。

b.在一个示例中，可以在生成帧内预测信号时禁用参考样点平滑。

5.在采用以上方法时，可以推导或信令通知帧内预测模式。

a.在一个示例中，可以使用某一最可能模式(MPM)模式生成帧内预测。

i.在一个示例中，可以使用第1MPM模式生成帧内预测。

ii.在一个示例中，可以使用第1可用MPM模式生成帧内预测。

iii.在一个示例中，可以使用第1有角度MPM模式生成帧内预测。

iv.在一个示例中，可以使用平面或DC模式生成帧内预测。

b.在一个示例中，对于色度块，可以使用DM模式生成帧内预测。

i.替代性地，可以使用DC模式为色度块生成帧内预测。

ii.替代性地，可以使用平面模式为色度块生成帧内预测。

iii.替代性地，可以使用VER模式为色度块生成帧内预测。

iv.替代性地，可以使用HOR模式为色度块生成帧内预测。

v.替代性地，可以使用CCLM模式(诸如LM和/或LM-L和/或LM-T)为色度块生成帧内预测。

c.在一个示例中，对于亮度块，可以使用DM模式生成帧内预测。

i.替代性地，可以使用对角线模式为亮度块生成帧内预测。

ii.替代性地，可以使用反对角线模式为亮度块生成帧内预测。

iii.替代性地，可以使用平面模式为亮度块生成帧内预测。

iv.替代性地，可以使用VER模式为亮度块生成帧内预测。

v.替代性地，可以使用HOR模式为亮度块生成帧内预测。

d.在一个示例中，可以发送一个标志，以指示帧内预测是水平模式还是垂直模式。

e.在一个示例中，可以发送索引，以指示可以采用哪一MPM模式为色度块生成帧内预测。

f.在一个示例中，可以按顺序检查一组帧内模式，以推导出帧内模式以生成帧内预测。

g.在一个示例中，可以使用与当前块相关联的帧内模式作为相继编解码的块的MPM。

i.替代性地，可以按照与正常IBC模式类似的方式对待这样的块，即，其不与任何帧内预测模式相关联。

h.在一个示例中，可以使用与当前块相关联的帧内模式推导对应色度块的DM模式。

i.替代性地，如果对应亮度块是采用所提出的方法(例如，项目符号1-3)编解码的，那么对应色度块的DM模式可以被设置为默认模式。

i.在一个示例中，在应用所提出的方法(例如，项目符号1-3)时，在滤波过程(诸如，去方块滤波或ALF)期间，可以将此类块作为常规IBC编解码块对待。

i.替代性地，可以将此类块作为常规帧内编解码块对待。

ii.替代性地，可以将此类块作为不同于现有IBC或帧内模式的新编解码模式对待。

1)替代性地，此外，如何应用滤波过程/是否应用滤波过程可以取决于所提出的方法的使用。

6.在使用以上方法时，可以通过复制相邻重建样点而生成帧内预测。

a.在一个示例中，可以复制当前块的左侧的列，以生成帧内预测。

i.在一个示例中，可以水平地执行复制。

b.在一个示例中，可以复制当前块的上方的行，以生成帧内预测。

i.在一个示例中，可以垂直地执行复制。

c.在一个示例中，可以复制当前块的左侧的列(在可用时)来生成帧内预测，否则可以复制当前块的上方的行来生成帧内预测。

d.在一个示例中，可以复制当前块的上方的行(在可用时)来生成帧内预测，否则可以复制当前块的左侧的列来生成帧内预测

e.在一个示例中，可以复制当前子块的左侧的列或者上方的行中的预测样点来生成帧内预测。

i.在一个示例中，如果当前子块的左侧的列或者上方的行中的预测样点在通过IBC方法预测的子块中，那么可以应用以上方法。

7.在使用以上方法时，可以不允许关于帧内块的一些编解码技术。

a.在一个示例中，可以不允许一些帧内预测模式。

i.在一个示例中，可以不允许ISP。

ii.在一个示例中，可以不允许MRL。

iii.在一个示例中，可以不允许基于矩阵的帧内预测。

b.在一个示例中，可以不允许多变换集(MTS)。

c.在一个示例中，可以不允许缩减二次变换(RST)。

8.在使用以上方法时，可以推导或信令通知IBC模式和/或块矢量(BV)。

a.在一个示例中，对于色度子块，其BV可以是由其同位亮度块推导的。

b.在一个示例中，可以使用第1AMVP/merge候选生成IBC预测。

c.在一个示例中，可以使用第1有效AMVP/merge候选生成IBC预测。

d.在一个示例中，可以发送索引，以指示可以使用哪一merge候选生成IBC预测。

e.在一个示例中，可以使用第1HMVP候选生成IBC预测。

f.在一个示例中，可以发送索引，以指示可以使用哪一HMVP候选生成IBC预测。

g.在一个示例中，可以发送BV，从而基于AMVP生成IBC预测。

h.在一个示例中，可以使用BV作为相继编解码的块的BV预测。

9.在对块使用以上方法时，可以在环路滤波过程(例如，去方块流程)中将该块作为帧内块对待。

a.替代性地，可以在环路滤波过程(例如，去方块流程)中将该块作为IBC块对待。

b.替代性地，可以不对该块内的样点滤波。

10.在使用以上方法时，可以在变换流程中将该块作为帧内块对待。

a.在一个示例中，可以对该块应用帧内MTS。

b.替代性地，可以在变换流程中将该块作为IBC块对待。

i.在一个示例中，可以不对该块使用DST7和DCT8。

11.是否和/或如何应用以上方法可以取决于是否启用IBC。

a.在一个示例中，在启用IBC时，可以应用以上方法。

b.替代性地，在禁用IBC时，可以不应用以上方法。

c.替代性地，是否能够应用以上方法可以取决于SPS/片组/片/砖块/PPS/条带/CTU/CU级上的标志/信号。

12.是否和/或如何应用以上方法可以取决于内容类型

a.在一个示例中，可以针对屏幕内容应用以上方法。

b.在一个示例中，可以针对含有文本和图形的视频应用以上方法。

c.替代性地，针对相机捕获内容可以不允许以上方法。

13.是否和/或如何应用以上方法可以取决于下述信息：

a.在DPS/SPS/VPS/PPS/APS/图片标头/条带标头/片组标头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/LCU组/TU/PU块/视频编解码单元中信令通知的消息

b.CU/PU/TU/块/视频编解码单元的位置

c.当前块和/或其相邻块的块尺度

d.当前块和/或其相邻块的块形状

e.当前块和/或其相邻块的帧内模式

f.其相邻块的运动/块矢量

g.颜色格式的指示(例如4:2:0、4:4:4)

h.编解码树结构

i.条带/片组类型和/或图片类型

j.颜色分量(例如，可以仅应用于色度分量或亮度分量)

k.时域层ID

l.标准的简档/级别/层次

图30是视频处理装置3000的框图。装置3000可以用于实施本文描述的方法中的一者或多者。装置3000可以被体现到智能手机、平板电脑、计算机、物联网(IoT)接收器等当中。装置3000可以包括一个或多个处理器3002、一个或多个存储器3004和视频处理硬件3006。(一个或多个)处理器3002可以被配置为实施本文件中描述的一种或多种方法。(一个或多个)存储器3004可用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件3006可以用于在硬件电路中实施本文件中描述的一些技术。视频处理硬件3006可以部分或完全地包括在处理器3002之内，处理器的形式为专用硬件或图形处理单元(GPU)或专用信号处理块。

可以利用以下基于条款的描述来说明一些实施例。

1.一种视频处理方法，包括：在包括一个或多个分量块的视频块和该视频块的比特流表示之间的转换期间，基于该视频块满足的条件确定将第一帧内编解码技术用于该视频块的第一部分的转换，并且将不同于第一帧内编解码技术的第二帧内编解码技术用于该视频块的不同于第一部分的第二部分的转换；以及根据该确定使用第一帧内编解码技术和第二帧内编解码技术执行该转换。

2.根据条款1所述的方法，其中，该视频块的第一部分包括该视频块的样点的第一子集，该视频块的第二部分包括该视频块的样点的第二子集。

3.根据条款1-2中的任何条款所述的方法，其中，确定将第一帧内编解码技术用于视频块的第一部分归因于确定视频块的第一部分的块矢量指向无效参考区域。

4.根据条款1-2中的任何条款所述的方法，其中，该确定基于第一部分的样点和第二部分的样点与相邻块的重建样点之间的距离。

5.根据条款1所述的方法，其中，该视频块对应于作为色度块的分量块，并且其中，对于色度块的子块，执行转换包括响应于确定对应同位亮度子块是使用帧内块复制预测编解码的而使用帧内块复制预测。

6.根据条款1所述的方法，其中，该视频块对应于作为色度块的分量块，并且其中，对于色度块的子块，执行转换包括响应于确定对应的同位亮度子块是使用帧内块复制预测编解码的并且由对应的同位亮度子块推导的块矢量对于色度块的该子块是有效的而使用帧内块复制预测。

7.根据条款1-6中的任何条款所述的方法，其中，执行转换包括将该视频块的预测值生成为使用第一帧内编解码技术生成的该视频块的第一预测和使用第二帧内编解码技术生成的该视频块的第二预测的加权平均值。

8.根据条款7所述的方法，其中，该加权平均值是使用针对每一样点的权重确定的，权重取决于视频块内的相对位置。

9.根据条款7-8中的任何条款所述的方法，其中，比特流表示中的语法元素包括有关加权平均值的信息。

10.根据条款9所述的方法，其中，在序列级或图片级或条带级或片组级或片级或砖块级或编解码树单元级或编解码树块级或编解码单元级或预测单元级或变换单元级上信令通知该语法元素。

11.根据条款7-8中的任何条款所述的方法，其中，加权平均值是使用针对权重的计算预先规定的规则计算的。

章节4中的项目1提供了以上条款的附加特征。

12.根据条款1所述的方法，其中，该视频块的第一部分对应于该视频块的第一分量块，第二部分对应于该视频块的第二分量块。

13.根据条款12所述的方法，其中，该视频块的第一部分对应于该视频块的亮度分量，并且第二部分对应于该视频块的一个或多个颜色分量。

章节4中的项目2提供了以上条款的附加特征。

14.根据条款1到13中的任何条款所述的方法，其中，第一帧内编解码技术包括经修改的帧内预测技术，并第二帧内编解码技术包括帧内块复制技术，在该技术中，该视频块的像素值是从该视频块的视频区域内的其他像素值复制的，其中，该经修改的帧内预测技术包括通过禁用位置相关帧内预测组合技术而受到修改的帧内预测技术，或者其中，该经修改的帧内预测技术包括通过禁用参考样点平滑而受到修改的帧内预测技术。

章节4中的项目3提供了以上条款的附加特征。

15.根据条款1到13中的任何条款所述的方法，其中，第一帧内编解码技术包括基于该比特流表示中的信令通知推导的在该转换中使用的帧内预测模式。

16.根据条款15所述的方法，其中，该推导包括使用预定义最可能模式(MPM)推导出该帧内预测。

17.根据条款16所述的方法，其中，该预定义最可能模式包括第一MPM或第一可用MPM或者第一有角度MPM。

18.根据条款15所述的方法，其中，对应于颜色分量块的帧内预测模式是基于预定义规则确定的。

章节4中的项目4提供了以上条款的附加特征。

19.根据条款1所述的方法，其中，第一帧内编解码技术包括通过复制相邻重建样点生成帧内预测的帧内预测模式。

20.根据条款19所述的方法，其中，相邻重建样点包括来自左侧列或上方行的样点。

章节4中的项目5提供了以上条款的附加特征。

21.根据条款1所述的方法，其中，该转换基于不允许在第一帧内编解码技术或第二帧内编解码技术中使用下述技术的规则：

-基于多线参考的帧内预测

-基于帧内子分割的帧内预测，或者

-基于矩阵的帧内预测。

22.根据条款1所述的方法，其中，该转换基于不允许在第一帧内编解码技术或第二帧内编解码技术中使用下述技术的规则：

-基于多变换集的帧内预测，或者

-基于缩减二次变换的帧内预测。

章节4中的项目6提供了以上条款的附加特征。

23.根据条款1-22中的任何条款所述的方法，其中，执行该转换包括推导出帧内块复制模式和/或块矢量。

24.根据条款1-22中的任何条款所述的方法，其中，该比特流表示包括帧内块复制模式和/或块矢量的信令通知。

章节4中的项目7提供了以上条款的附加特征。

25.根据条款1到24中的任何条款所述的方法，其中，该转换进一步包括使用预先确定的滤波器执行环路滤波。

26.根据条款25所述的方法，其中，该预先确定的滤波器处于帧内编解码滤波器或帧内块复制滤波器中。

章节4中的项目8提供了以上条款的附加特征。

27.根据条款1到24中的任何条款所述的方法，其中，该转换使用预先确定的变换。

28.根据条款25所述的方法，其中，该预先确定的变换是帧内编解码变换或帧内块复制变换。

章节4中的项目9提供了以上条款的附加特征。

29.根据条款1-28中的任何条款所述的方法，其中，该条件对应于针对当前视频块是否启用帧内块复制。

30.根据条款1-28中的任何条款所述的方法，其中，该条件是基于该比特流表示中的比特字段确定的。

章节4中的项目10提供了以上条款的附加特征。

根据条款1-28中的任何条款所述的方法，其中，该条件取决于当前视频块的内容类型。

32.根据条款31所述的方法，其中，对于包括屏幕内容或者文本和图形的内容类型而言，该条件指定应用该方法。

章节4中的项目11提供了以上条款的附加特征。

33.根据条款1-28中的任何条款所述的方法，其中，该条件对应于：

在DPS/SPS/VPS/PPS/APS/图片标头/条带标头/片组标头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/LCU组/TU/PU块/视频编解码单元中信令通知的消息，或者

CU/PU/TU/块/视频编解码单元的位置，或者

当前视频块和/或其相邻块的块维度，或者

当前块和/或其相邻块的块形状，或者

当前视频块和/或其相邻块的帧内模式，或者

其相邻块的运动/块矢量，或者

颜色格式的指示(诸如4:2:0、4:4:4)，或者

编解码树结构，或者

条带/片组类型和/或图片类型，或者

颜色分量，或者

时域层ID，或者

该转换使用的转换的简档或级别或层次。

章节4中的项目12提供了以上条款的附加特征。

34.根据条款1到33中任何条款所述的方法，其中，该转换包括从当前视频块生成比特流表示。

35.根据条款1到33中任何条款所述的方法，其中，该转换包括从比特流表示生成当前视频块的样点。

36.一种视频处理装置，包括处理器，该处理器被配置为实施条款1到35中任一者或多者所述的方法。

37.一种具有存储于其上的代码的计算机可读介质，该代码在执行时，使处理器实施根据条款1到35中任一者或多者所述的方法。

图36是视频处理的示例性方法3600的流程图。方法3600包括：在3602中针对视频的块和该块的比特流表示之间的转换，采用组合式方法生成该块的预测，该组合式方法以组合方式使用帧内块复制(IBC)预测和帧内预测；以及在3604中基于该预测执行转换。

在一些示例中，该块中的样点的子集使用帧内预测的帧内预测信号作为预测，并且其余样点使用IBC预测的IBC预测信号作为预测。

在一些示例中，对于具有指向无效参考区域的块矢量的样点而言，采用帧内预测作为该样点的预测。

在一些示例中，对于具有有效块矢量的样点而言，使用IBC预测作为该样点的预测。

在一些示例中，对于当前块中接近相邻块的重建样点的样点而言，使用帧内预测作为该样点的预测。

在一些示例中，对于当前块中远离相邻块的重建样点的样点而言，使用IBC预测作为该样点的预测。

在一些示例中，对于该块的色度子块，如果其同位亮度子块是在IBC模式下编解码的，那么使用IBC预测作为该色度子块的预测。

在一些示例中，对于该块的色度子块，如果其同位亮度子块是在IBC模式下编解码的，并且由该亮度子块推导的块矢量(BV)对于该色度子块有效，那么使用IBC预测作为该色度子块的预测。

在一些示例中，对于该块的色度子块，如果其同位亮度子块是在帧内模式下编解码的，那么使用帧内预测作为该色度子块的预测。

在一些示例中，对于该块的色度子块，如果由对应亮度分量推导出有效BV，那么使用IBC预测作为该色度子块的预测。

在一些示例中，来自对应亮度分量的色度分量的BV被推导为与亮度样点相关联的BV，所述亮度样点与该色度块的样点同位。

在一些示例中，色度块的该样点处于色度块的中心。

在一些示例中，色度块的该样点处于色度块的左上。

在一些示例中，该块的预测是通过对帧内预测的帧内预测信号和IBC预测的IBC预测信号进行加权求均值而生成的。

在一些示例中，预定义一个或多个权重集，以组合帧内预测和IBC预测。

在一些示例中，将IBC模式预测当成帧间模式来对待，并可以应用组合式帧内-帧间预测(CIIP)权重来组合帧内预测和IBC预测。

在一些示例中，样点上的权重取决于该样点在块内的相对位置。

在一些示例中，权重取决于该块的编解码信息，其包括帧内预测模式、块维度、颜色分量和颜色格式中的至少一者。

在一些示例中，在序列、图片、条带、片组、片、砖块、编解码树单元(CTU)、编解码树块(CTB)、编解码单元(CU)、预测单元(PU)、变换单元(TU)、其他视频单元级上信令通知或者在运行中推导各方法和/或加权值的使用的指示。

在一些示例中，将该组合式方法作为特殊IBC模式对待。

在一些示例中，如果一个块是按照IBC模式编解码的，则信令通知或推导使用常规IBC方法或该组合式方法进一步指示。

在一些示例中，该组合式方法被作为特殊帧内模式对待。

在一些示例中，如果一个块是按照帧内模式编解码的，则信令通知或推导出使用常规帧内方法或该组合式方法的进一步指示。

在一些示例中，该组合式方法被作为新预测模式对待。

在一些示例中，进一步扩展包括帧内模式、帧间模式和IBC模式的允许模式以包括新的预测模式。

在一些示例中，通过使用来自IBC模式以及不同于IBC模式的一种或多种其他模式的预测生成该块的最终预测块。

在一些示例中，其他模式包括调色板模式和块差分脉冲编解码调制(BDPCM)模式中的至少一者。

在一些示例中，一个视频单元的一个或多个颜色分量的预测来自帧内预测，并且该一个视频单元的其他颜色分量的预测来自IBC预测。

在一些示例中，该视频单元包括编解码单元、预测单元和变换单元中的至少一者。

在一些示例中，对亮度分量应用IBC预测，并且对色度分量应用帧内预测。

在一些示例中，对亮度分量应用帧内预测，并且对色度分量应用IBC预测。

在一些示例中，在使用该组合式方法时，修改帧内预测过程。

在一些示例中，在生成帧内预测信号时禁用位置相关帧内预测组合(PDPC)模式。

在一些示例中，在生成帧内预测信号时禁用参考样点平滑。

在一些示例中，在使用该组合式方法时，推导或信令通知帧内模式。

在一些示例中，使用某一最可能模式(MPM)模式生成帧内预测。

在一些示例中，使用第一MPM模式生成帧内预测。

在一些示例中，使用第一可用MPM模式生成帧内预测。

在一些示例中，使用第一有角度MPM模式生成帧内预测。

在一些示例中，使用平面或DC模式生成帧内预测。

在一些示例中，使用VER或HOR模式生成帧内预测。

在一些示例中，使用对角线或反对角线模式生成帧内预测。

在一些示例中，使用DM模式为该块的色度块生成帧内预测。

在一些示例中，使用DC模式为该块的色度块生成帧内预测。

在一些示例中，使用平面模式为该块的色度块生成帧内预测。

在一些示例中，使用VER模式为该块的色度块生成帧内预测。

在一些示例中，使用HOR模式为该块的色度块生成帧内预测。

在一些示例中，使用包括LM、LM-L和LM-T模式中的至少一者的跨分量线性模型(CCLM)模式为该块的色度块生成帧内预测。

在一些示例中，使用DC模式为该块的亮度块生成帧内预测。

在一些示例中，使用对角线模式为该块的亮度块生成帧内预测。

在一些示例中，使用反对角线模式为该块的亮度块生成帧内预测。

在一些示例中，使用平面模式为该块的亮度块生成帧内预测。

在一些示例中，使用VER模式为该块的亮度块生成帧内预测。

在一些示例中，使用HOR模式为该块的亮度块生成帧内预测。

在一些示例中，信令通知一个标志，以指示帧内预测是水平模式还是垂直模式。

在一些示例中，信令通知指示将使用哪一MPM模式为色度块生成帧内预测的的索引。

在一些示例中，按顺序检查一组帧内模式，从而推导出帧内模式以生成帧内预测。

在一个示例中，使用与当前块相关联的帧内模式作为相继编解码的块的MPM。

在一些示例中，该块被按照与正常IBC模式类似的方式对待。

在一些示例中，使用与当前块相关联的帧内模式推导用于当前块的对应色度块的DM模式。

在一些示例中，如果对应亮度块是采用该组合式方法编解码的，那么用于该块的对应色度块的DM模式被设置为默认模式。

在一些示例中，在应用该组合式方法时，在滤波过程期间，块被作为常规IBC编解码块对待。

在一些示例中，在应用该组合式方法时，在滤波过程期间，块被作为常规帧内编解码块对待。

在一些示例中，在应用该组合式方法时，在滤波过程期间，块被作为不同于现有IBC模式或帧内模式的新编解码模式对待。

在一些示例中，如何应用滤波过程/是否应用滤波过程取决于该组合式方法的使用。

在一些示例中，在使用该组合式方法时，通过复制相邻重建样点生成帧内预测。

在一些示例中，复制当前块的左侧的列来生成帧内预测。

在一些示例中，水平地执行复制。

在一些示例中，复制当前块的上方的行来生成帧内预测。

在一些示例中，垂直地执行复制。

在一些示例中，当前块的左侧的列在可用时受到复制，以生成帧内预测，否则当前块的上方的行受到复制，以生成帧内预测。

在一些示例中，当前块的上方的行在可用时受到复制，以生成帧内预测，否则当前块的左侧的列受到复制，以生成帧内预测。

在一些示例中，复制当前子块的左侧的列或者上方的行内的预测样点来生成帧内预测。

在一些示例中，如果当前子块的左侧的列或者上方的行中的预测样点在通过IBC方法预测的子块中，那么应用该组合式方法。

在一些示例中，在使用该组合式方法时，不允许关于帧内块的某些编解码技术。

在一些示例中，某些编解码技术包括某些帧内预测模式。

在一些示例中，某些帧内预测模式包括ISP、MRL和基于矩阵的帧内预测中的至少一者。

在一些示例中，某些编解码技术包括多变换集(MTS)和缩减二次变换(RST)中的至少一者。

在一些示例中，在使用该组合式方法时，推导出或信令通知用于该块的IBC模式和/或块矢量(BV)。

在一些示例中，对于该块的色度子块，其BV是由其同位亮度块推导的。

在一些示例中，使用第一AMVP或merge候选生成IBC预测。

在一些示例中，使用第一有效AMVP或merge候选生成IBC预测。

在一些示例中，信令通知指示使用哪一merge候选生成IBC预测的索引。

在一些示例中，使用第一HMVP候选生成IBC预测。

在一些示例中，信令通知指示使用哪一HMVP候选生成IBC预测的索引。

在一些示例中，信令通知BV以基于AMVP生成IBC预测。

在一些示例中，使用BV作为该块的相继编解码块的BV预测。

在一些示例中，在对块使用该组合式方法时，在环路滤波过程中将该块作为帧内块对待。

在一些示例中，在对块使用该组合式方法时，在环路滤波过程中将该块作为IBC块对待。

在一些示例中，在对块使用该组合式方法时，在环路滤波过程中不对该块中的样点滤波。

在一些示例中，在使用该组合式方法时，在变换流程中将该块作为帧内块对待。

在一些示例中，对该块应用帧内MTS。

在一些示例中，在使用该组合式方法时，在变换流程中将该块作为IBC块对待。

在一些示例中，不对该块使用DST7和DCT8。

在一些示例中，是否和/或如何应用该组合式方法取决于是否启用IBC模式。

在一些示例中，在启用IBC模式时，应用该组合式方法。

在一些示例中，在禁用IBC模式时，不应用该组合式方法。

在一些示例中，是否能够应用该组合式方法取决于SPS、片组、片、砖块、PPS、条带、CTU或CU级之一上的标志或信号。

在一些示例中，是否和/或如何应用该组合式方法取决于内容类型。

在一个示例中，针对屏幕内容应用该组合式方法。

在一个示例中，针对含有文本和图形的视频应用该组合式方法。

在一些示例中，针对相机捕获内容不允许该组合式方法。

在一些示例中，是否和/或如何应用该组合式方法取决于以下信息：

a.在DPS、SPS、VPS、PPS、APS、图片标头、条带标头、片组标头、最大编解码单元(LCU)、编解码单元(CU)、LCU行、LCU组、TU、PU块、视频编解码单元中的至少一者当中信令通知的消息；

b.CU、PU、TU、块、视频编解码单元中的至少一者的位置；

c.当前块和/或其相邻块的块维度；

d.当前块和/或其相邻块的块形状；

e.当前块和/或其相邻块的帧内模式；

f.其相邻块的运动矢量或块矢量；

g.包括4:2:0、4:4:4之一的颜色格式的指示；

h.编解码树结构；

i.条带或片组类型和/或图片类型；

j.包括色度分量或亮度分量的颜色分量；

k.时域层ID；以及

l.标准的简档和/或级和/或层次。

图37是视频处理的示例性方法3700的流程图。方法3700包括：在3702中，针对视频的块和该块的比特流表示之间的转换将该块划分成多个子块；在3704中，采用帧内块复制(IBC)模式生成至少第一子块的预测块，并且采用选自排除IBC模式的群组的其他方法生成至少第二子块的预测块；以及在3706中，基于预测块执行转换。

在一些示例中，所有的IBC编解码子块共享相同的块矢量(BV)。

在一些示例中，不同的IBC编解码子块具有不同块矢量(BV)。

在一些示例中，由该块的比特流信令通知或推导仅一个块矢量(BV)。

在一些示例中，由该块的比特流信令通知或推导多个块矢量(BV)。

在一些示例中，子块尺寸对于该块内的所有子块是固定的。

在一些示例中，子块尺寸为4×4，或者用于存储运动信息或BV的最小单元，或者用于允许IBC模式的最小单元。

在一些示例中，为不同子块分配不同子块尺寸。

在一些示例中，在子块级上而非整个块级上执行IBC启用或禁用。

在一些示例中，对于该块的亮度块，块矢量(BV)对于部分子块是有效的，并且对于其他子块是无效的。

在一些示例中，如果未完全重建出由BV指示的预测块，那么该BV是无效的。

在一些示例中，如果由BV指示的预测块处于当前图片或条带或片组或砖块之外，那么该BV是无效的。

在一些示例中，如果由BV指示的预测块与当前块重叠，那么该BV可以是无效的。

在一些示例中，对于具有被标记为有效的BV的子块而言，使用IBC模式生成该子块的预测信号。

在一些示例中，对于具有被标记为无效的BV的子块而言，使用排除IBC的其他模式生成该子块的预测信号。

在一些示例中，采用帧内预测为具有无效的块矢量或运动矢量的子块输出预测。

在一些示例中，采用调色板预测为具有无效的块矢量或运动矢量的子块的预测。

在一些示例中，该转换由比特流表示生成视频的块。

在一些示例中，该转换由视频的块生成比特流表示。

本文件中描述的所公开的以及其他的解决方案、示例、实施例、模块和功能操作可以在数字电子电路、或计算机软件、固件或硬件中实施，其包括本文中所公开的结构及其结构等价方案或者它们当中的一者或多者的组合。所公开的实施例和其他实施例可以被实施成一个或多个计算机程序产品，即编码在计算机可读介质上的计算机程序指令的一个或多个模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储substrate、存储设备、影响机器可读传播信号的物质组成或者它们当中的一者或多者的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括(例如)可编程处理器、计算机或者多个处理器或计算机。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或者它们当中的一者或多者的组合。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成为对信息编码，以便传输到合适的接收器装置。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以按照任何形式部署，包括作为独立程序或作为模块、部件、子例程或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件(例如，存储在标记语言文档中的一个或多个脚本)的部分中，专用于该程序的单个文件中，或者多个协调文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。可以将计算机程序部署为在一个或多个计算机上执行，这一个或多个计算机位于一个站点上，或者跨越多个站点分布并通过通信网络互连。

本说明书中描述的过程和逻辑流可以通过由一个或多个可编程处理器执行一个或多个计算机程序来执行，从而通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流也可以通过专用逻辑电路来执行，并且装置也可以被实施成专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。一般来讲，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是执行指令的处理器以及存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或被操作性地耦接为从一个或多个大容量存储设备接收数据或向其传输数据，或两者兼有。然而，计算机不一定具有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括(例如)半导体存储设备，例如EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动盘；磁光盘；以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。

虽然本专利文件包含许多细节，但不应将其解释为对任何主题或权利要求范围的限制，而应解释为对特定技术的特定实施例的具体特征的描述。本专利文件在各单独实施例的语境下描述的某些特征也可以在单个实施例中组合实施。相反地，在单个实施例的语境下描述的各种特征也可单独地或者以任何合适的子组合的形式在多个实施例中实施。此外，虽然某些特征可能在上面被描述为以某些组合来起作用并且甚至最初也这样地来要求对其的权利保护，但是来自要求权利保护的组合的一个或多个特征在某些情况下可从该组合中去除，并且要求权利保护的组合可涉及子组合或子组合的变型。

类似地，虽然操作在附图中以特定次序示出，但不应将这种情况理解为需要以相继次序或所示的特定次来执行此类操作，或者需要执行所有所示的操作以实现期望的结果。此外，在本专利文件中描述的实施例当中对各种系统部件的划分不应被理解为在所有实施例中都要求这样的划分。

仅描述了一些实施方式和示例，其他实施方式、增强和变化可以基于本专利文件中描述和说明的内容做出。

Claims (124)

1.一种用于视频处理的方法，包括：

针对视频的块和所述块的比特流表示之间的转换，采用组合式方法生成所述块的预测，所述组合式方法以组合方式使用帧内块复制(IBC)预测和帧内预测；以及

基于所述预测执行所述转换。

2.根据权利要求1所述的方法，其中，所述块中的样点的子集使用所述帧内预测的帧内预测信号作为预测，并且其余样点使用所述IBC预测的IBC预测信号作为预测。

3.根据权利要求1或2所述的方法，其中，对于具有指向无效参考区域的块矢量的样点而言，使用所述帧内预测作为所述样点的预测。

4.根据权利要求1或2所述的方法，其中，对于具有有效块矢量的样点而言，使用所述IBC预测作为所述样点的预测。

5.根据权利要求1或2所述的方法，其中，对于当前块中的接近相邻块的重建样点的样点而言，使用所述帧内预测作为所述样点的预测。

6.根据权利要求1或2所述的方法，其中，对于当前块中远离相邻块的重建样点的样点而言，使用所述IBC预测作为该样点的预测。

7.根据权利要求1或2所述的方法，其中，对于所述块的色度子块，如果其同位亮度子块是在IBC模式下编解码的，那么使用所述IBC预测作为所述色度子块的预测。

8.根据权利要求1或2所述的方法，其中，对于所述块的色度子块，如果其同位亮度子块是在IBC模式下编解码的，并且由所述亮度子块推导的块矢量(BV)对于所述色度子块有效，那么使用所述IBC预测作为所述色度子块的预测。

9.根据权利要求1或2所述的方法，其中，对于所述块的色度子块，如果其同位亮度子块是在帧内模式下编解码的，那么使用所述帧内预测作为所述色度子块的预测。

10.根据权利要求1或2所述的方法，其中，对于所述块的色度子块，如果由对应亮度分量推导出有效BV，那么使用所述IBC预测作为所述色度子块的预测。

11.根据权利要求10所述的方法，其中，来自对应亮度分量的色度分量的BV被推导为与亮度样点相关联的BV，所述亮度样点与所述色度块的样点同位。

12.根据权利要求11所述的方法，其中，所述色度块的所述样点处于所述色度块的中心。

13.根据权利要求11所述的方法，其中，所述色度块的所述样点处于所述色度块的左上。

14.根据权利要求1所述的方法，其中，所述块的预测是通过对所述帧内预测的帧内预测信号和所述IBC预测的IBC预测信号进行加权求均值而生成的。

15.根据权利要求14所述的方法，其中，预定义一个或多个权重集，以组合所述帧内预测和所述IBC预测。

16.根据权利要求14所述的方法，其中，所述IBC预测被作为帧间模式对待，并且应用组合式帧内-帧间预测(CIIP)权重来组合所述帧内预测和所述IBC预测。

17.根据权利要求14所述的方法，其中，样点上的权重取决于所述样点在所述块内的相对位置。

18.根据权利要求14所述的方法，其中，权重取决于所述块的编解码信息，所述编解码信息包括帧内预测模式、块维度、颜色分量和颜色格式中的至少一者。

19.根据权利要求1-18中任一项所述的方法，其中，在序列、图片、条带、片组、片、砖块、编解码树单元(CTU)、编解码树块(CTB)、编解码单元(CU)、预测单元(PU)、变换单元(TU)、其他视频单元级上信令通知或者在运行中推导所述方法和/或加权值的使用的指示。

20.根据权利要求19所述的方法，其中，所述组合式方法被作为特殊IBC模式对待。

21.根据权利要求20所述的方法，其中，如果一个块是按照IBC模式编解码的，则信令通知或推导出使用常规IBC方法或所述组合式方法的进一步指示。

22.根据权利要求19所述的方法，其中，所述组合式方法被作为特殊帧内模式对待。

23.根据权利要求22所述的方法，其中，如果一个块是按照帧内模式编解码的，则信令通知或推导出使用常规帧内方法或所述组合式方法的进一步指示。

24.根据权利要求19所述的方法，其中，所述组合式方法被作为新预测模式对待。

25.根据权利要求24所述的方法，其中，进一步扩展包括帧内模式、帧间模式和IBC模式在内的允许模式，以包括所述新预测模式。

26.根据权利要求1-25中任一项所述的方法，其中，通过使用来自IBC模式以及不同于IBC模式的一种或多种其他模式的预测生成所述块的最终预测块。

27.根据权利要求26所述的方法，其中，所述其他模式包括调色板模式和块差分脉冲编解码调制(BDPCM)模式中的至少一者。

28.根据权利要求1-27中任一项所述的方法，其中，一个视频单元的一个或多个颜色分量的预测来自所述帧内预测，并且所述的一个视频单元的其他颜色分量的预测来自所述IBC预测。

29.根据权利要求28所述的方法，其中，所述视频单元包括编解码单元、预测单元和变换单元中的至少一者。

30.根据权利要求28或29所述的方法，其中，对亮度分量应用所述IBC预测，并且对色度分量应用所述帧内预测。

31.根据权利要求28或29所述的方法，其中，对亮度分量应用所述帧内预测，并且对色度分量应用所述IBC预测。

32.根据权利要求1-31中任一项所述的方法，其中，在使用所述组合式方法时，帧内预测过程受到修改。

33.根据权利要求32所述的方法，其中，在生成帧内预测信号时禁用位置相关帧内预测组合(PDPC)模式。

34.根据权利要求32所述的方法，其中，在生成帧内预测信号时禁用参考样点平滑。

35.根据权利要求1-34中任一项所述的方法，其中，在使用所述组合式方法时，推导出或信令通知帧内模式。

36.根据权利要求35所述的方法，其中，使用某一最可能模式(MPM)模式生成帧内预测。

37.根据权利要求36所述的方法，其中，使用第一MPM模式生成所述帧内预测。

38.根据权利要求36所述的方法，其中，使用第一可用MPM模式生成所述帧内预测。

39.根据权利要求36所述的方法，其中，使用第一有角度MPM模式生成所述帧内预测。

40.根据权利要求36所述的方法，其中，使用平面或DC模式生成所述帧内预测。

41.根据权利要求36所述的方法，其中，使用VER或HOR模式生成所述帧内预测。

42.根据权利要求36所述的方法，其中，使用对角线或反对角线模式生成所述帧内预测。

43.根据权利要求35所述的方法，其中，使用DM模式为所述块的色度块生成所述帧内预测。

44.根据权利要求35所述的方法，其中，使用DC模式为所述块的色度块生成所述帧内预测。

45.根据权利要求35所述的方法，其中，使用平面模式为所述块的色度块生成所述帧内预测。

46.根据权利要求35所述的方法，其中，使用VER模式为所述块的色度块生成所述帧内预测。

47.根据权利要求35所述的方法，其中，使用HOR模式为所述块的色度块生成所述帧内预测。

48.根据权利要求35所述的方法，其中，使用包括LM、LM-L和LM-T模式中的至少一者的跨分量线性模型(CCLM)模式为所述块的色度块生成所述帧内预测。

49.根据权利要求35所述的方法，其中，使用DC模式为所述块的亮度块生成所述帧内预测。

50.根据权利要求35所述的方法，其中，使用对角线模式为所述块的亮度块生成所述帧内预测。

51.根据权利要求35所述的方法，其中，使用反对角线模式为所述块的亮度块生成所述帧内预测。

52.根据权利要求35所述的方法，其中，使用平面模式为所述块的亮度块生成所述帧内预测。

53.根据权利要求35所述的方法，其中，使用VER模式为所述块的亮度块生成所述帧内预测。

54.根据权利要求35所述的方法，其中，使用HOR模式为所述块的亮度块生成所述帧内预测。

55.根据权利要求35所述的方法，其中，信令通知一个标志，以指示所述帧内预测是水平模式还是垂直模式。

56.根据权利要求35所述的方法，其中，信令通知指示将使用哪一MPM模式为色度块生成所述帧内预测的索引。

57.根据权利要求35所述的方法，其中，按顺序检查一组帧内模式，从而推导出帧内模式以生成所述帧内预测。

58.根据权利要求35所述的方法，其中，使用与当前块相关联的帧内模式作为相继编解码的块的MPM。

59.根据权利要求35所述的方法，其中，所述块被按照与正常IBC模式类似的方式对待。

60.根据权利要求35所述的方法，其中，使用与当前块相关联的帧内模式推导用于当前块的对应色度块的DM模式。

61.根据权利要求35所述的方法，其中，如果所述块的对应亮度块是采用所述组合式方法编解码的，那么用于所述块的对应色度块的DM模式被设置为默认模式。

62.根据权利要求35所述的方法，其中，在应用所述组合式方法时，在滤波过程期间，所述块被作为常规IBC编解码块对待。

63.根据权利要求35所述的方法，其中，在应用所述组合式方法时，在滤波过程期间，所述块被作为常规帧内编解码块对待。

64.根据权利要求35所述的方法，其中，在应用所述组合式方法时，在滤波过程期间，所述块被作为不同于现有IBC模式或帧内模式的新编解码模式对待。

65.根据权利要求64所述的方法，其中，如何应用滤波过程/是否应用滤波过程取决于所述组合式方法的使用。

66.根据权利要求1-65中任一项所述的方法，其中，在使用所述组合式方法时，通过复制相邻重建样点生成所述帧内预测。

67.根据权利要求66所述的方法，其中，复制当前块的左侧的列来生成所述帧内预测。

68.根据权利要求67所述的方法，其中，水平地执行所述复制。

69.根据权利要求66所述的方法，其中，复制当前块的上方的行来生成所述帧内预测。

70.根据权利要求69所述的方法，其中，垂直地执行所述复制。

71.根据权利要求66所述的方法，其中，当前块的左侧的列在可用时受到复制，以生成所述帧内预测，否则当前块的上方的行受到复制，以生成所述帧内预测。

72.根据权利要求66所述的方法，其中，当前块的上方的行在可用时受到复制，以生成所述帧内预测，否则当前块的左侧的列受到被复制，以生成所述帧内预测。

73.根据权利要求66所述的方法，其中，复制当前子块的左侧的列或者上方的行内的预测样点来生成所述帧内预测。

74.根据权利要求73所述的方法，其中，如果当前子块的左侧的列或者上方的行中的预测样点在通过IBC方法预测的子块中，那么应用所述组合式方法。

75.根据权利要求1-74中任一项所述的方法，在使用所述组合式方法时，不允许关于帧内块的某些编解码技术。

76.根据权利要求75所述的方法，其中，所述的某些编解码技术包括某些帧内预测模式。

77.根据权利要求76所述的方法，其中，所述的某些帧内预测模式包括ISP、MRL和基于矩阵的帧内预测中的至少一者。

78.根据权利要求75所述的方法，其中，所述的某些编解码技术包括多变换集(MTS)和缩减二次变换(RST)中的至少一者。

79.根据权利要求1-78中任一项所述的方法，其中，在使用所述组合式方法时，推导出或信令通知用于所述块的IBC模式和/或块矢量(BV)。

80.根据权利要求79所述的方法，其中，对于所述块的色度子块，其BV是由其同位亮度块推导的。

81.根据权利要求79所述的方法，其中，使用第一AMVP或merge候选生成所述IBC预测。

82.根据权利要求79所述的方法，其中，使用第一有效AMVP或merge候选生成所述IBC预测。

83.根据权利要求79所述的方法，其中，信令通知指示使用哪一merge候选生成所述IBC预测的索引。

84.根据权利要求79所述的方法，其中，使用第一HMVP候选生成所述IBC预测。

85.根据权利要求79所述的方法，其中，信令通知指示使用哪一HMVP候选生成所述IBC预测的索引。

86.根据权利要求79所述的方法，其中，信令通知BV以基于AMVP生成所述IBC预测。

87.根据权利要求79所述的方法，其中，使用BV作为所述块的相继编解码块的BV预测。

88.根据权利要求1-87中任一项所述的方法，其中，在对块使用所述组合式方法时，在环路滤波过程中将所述块作为帧内块对待。

89.根据权利要求1-87中任一项所述的方法，其中，在对块使用所述组合式方法时，在环路滤波处理中将所述块作为IBC块对待。

90.根据权利要求1-87中任一项所述的方法，其中，在对块使用所述组合式方法时，在环路滤波过程中不对所述块中的样点滤波。

91.根据权利要求1-90中任一项所述的方法，其中，在使用所述组合式方法时，在变换流程中将所述块作为帧内块对待。

92.根据权利要求91所述的方法，其中，对所述块应用帧内MTS。

93.根据权利要求1-90中任一项所述的方法，其中，在使用所述组合式方法时，在变换流程中将所述块作为IBC块对待。

94.根据权利要求93所述的方法，其中，不对所述块使用DST7和DCT8。

95.根据权利要求1-94中任一项所述的方法，其中，是否和/或如何应用所述组合式方法取决于是否启用IBC模式。

96.根据权利要求95所述的方法，其中，在启用IBC模式时，应用所述组合式方法。

97.根据权利要求95所述的方法，其中，在禁用IBC模式时，不应用所述组合式方法。

98.根据权利要求95所述的方法，其中，是否能够应用所述组合式方法取决于SPS、片组、片、砖块、PPS、条带、CTU或CU级之一上的标志或信号。

99.根据权利要求1-94中任一项所述的方法，其中，是否和/或如何应用所述组合式方法取决于内容类型。

100.根据权利要求99所述的方法，其中，针对屏幕内容应用所述组合式方法。

101.根据权利要求99所述的方法，其中，针对含有文本和图形的视频应用所述组合式方法。

102.根据权利要求99所述的方法，其中，针对相机捕获内容不允许所述组合式方法。

103.根据权利要求1-102中任一项所述的方法，其中，是否和/或如何应用所述组合式方法取决于下述信息：

a.在DPS、SPS、VPS、PPS、APS、图片标头、条带标头、片组标头、最大编解码单元(LCU)、编解码单元(CU)、LCU行、LCU组、TU、PU块、视频编解码单元中的至少一者当中信令通知的消息；

b.CU、PU、TU、块、视频编解码单元中的至少一者的位置；

c.当前块和/或其相邻块的块维度；

d.当前块和/或其相邻块的块形状；

e.当前块和/或其相邻块的帧内模式；

f.其相邻块的运动矢量或块矢量；

g.包括4:2:0、4:4:4之一的颜色格式的指示；

h.编解码树结构；

i.条带或片组类型和/或图片类型；

j.包括色度分量或亮度分量的颜色分量；

k.时域层ID；以及

l.标准的简档和/或级和/或层次。

104.一种用于视频处理的方法，包括：

针对视频的块和所述块的比特流表示之间的转换将所述块划分成多个子块；

采用帧内块复制(IBC)模式生成至少第一子块的预测块，并且采用选自排除IBC模式的群组的其他方法生成至少第二子块的预测块；以及

基于所述预测块执行所述转换。

105.根据权利要求104所述的方法，其中，所有的IBC编解码子块共享相同的块矢量(BV)。

106.根据权利要求104所述的方法，其中，不同的IBC编解码子块具有不同块矢量(BV)。

107.根据权利要求104所述的方法，其中，由所述块的比特流信令通知或推导仅一个块矢量(BV)。

108.根据权利要求104所述的方法，其中，由所述块的比特流信令通知或推导多个块矢量(BV)。

109.根据权利要求104-108中任一项所述的方法，其中，子块尺寸对于所述块内的所有子块是固定的。

110.根据权利要求109所述的方法，其中，所述子块尺寸为4×4，或者用于存储运动信息或BV的最小单元，或者用于允许IBC模式的最小单元。

111.根据权利要求104-108中任一项所述的方法，其中，为不同子块分配不同子块尺寸。

112.根据权利要求104-111中任一项所述的方法，其中，在子块级上而非整个块级上控制IBC模式启用或禁用。

113.根据权利要求104-112中任一项所述的方法，其中，对于所述块的亮度块，块矢量(BV)对于部分子块是有效的，并且对于其他子块是无效的。

114.根据权利要求113所述的方法，其中，如果未完全重建出由BV指示的预测块，那么所述BV是无效的。

115.根据权利要求113所述的方法，其中，如果由BV指示的预测块处于当前图片或条带或片组或砖块之外，那么所述BV是无效的。

116.根据权利要求113所述的方法，其中，如果由BV指示的预测块与当前块重叠，那么所述BV是无效的。

117.根据权利要求113所述的方法，其中，对于具有被标记为有效的BV的子块而言，使用IBC模式生成所述子块的预测信号。

118.根据权利要求113所述的方法，其中，对于具有被标记为无效的BV的子块而言，使用排除IBC模式的其他模式生成所述子块的预测信号。

119.根据权利要求118所述的方法，其中，采用帧内预测为具有无效的块矢量或运动矢量的子块生成预测。

120.根据权利要求118所述的方法，其中，采用调色板预测为具有无效的块矢量或运动矢量的子块生成预测。

121.根据权利要求1-120中任一项所述的方法，其中，所述转换从所述比特流表示生成视频的所述块。

122.根据权利要求1-120中任一项所述的方法，其中，所述转换由视频的所述块生成所述比特流表示。

123.一种处于视频系统中的装置，包括处理器以及具有位于其上的指令的非暂态存储器，其中，所述指令在被所述处理器执行时使得所述处理器实施根据权利要求1到122中任一项所述的方法。

124.一种存储在非暂态计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实施根据权利要求1到122中任一项所述的方法的程序代码。

Images