CN113508594A - 视频编解码中三角形合并模式索引的信令 - Google Patents

Abstract

视频解码器获取指定第一三角形合并候选索引的第一三角形合并索引语法元素。第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选。视频解码器可以确定三角形合并候选的最大数量是否大于2。基于三角形合并候选的最大数量不大于2，视频解码器可以推断第二三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第二三角形合并候选，而无需从比特流中获取指定第二三角形合并候选索引的任何语法元素，第二三角形合并候选与第一三角形合并候选不同。

Description

视频编解码中三角形合并模式索引的信令

相关申请的交叉引用

本申请要求于2020年3月5日提交的美国专利申请第16/809,774号、于2019年3月6日提交的美国临时专利申请第62/814,492号和于2019年3月11日提交的美国临时专利申请第62/816,837号的利益，通过引用并入其中每个的全部内容。

技术领域

本公开涉及视频编码和视频解码。

背景技术

数字视频能力可以被并入到各种设备中，包括数字电视、数字直播广播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码摄像机、数字录音设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话、所谓的“智能手机”、视频电话会议设备、视频流设备等。数字视频设备实现视频编解码技术，例如那些在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分、高级视频编解码(AVC)、ITU-T H.265/高效视频编解码(HEVC)所定义的标准以及此类标准的扩展中所描述的那些技术。视频设备可以通过实现此类视频编解码技术来更高效地发送、接收、编码、解码和/或存储数字视频信息。

视频编解码技术包括空域(图片内)预测和/或时域(图片间)预测来减少或消除视频序列中固有的冗余。对于基于块的视频编解码，视频条带(例如，视频图片或视频图片的一部分)可被分割成视频块，这些视频块也可以被称为编解码树单元(CTU)、编解码单元(CU)和/或编解码节点。使用关于同一图片中相邻块中的参考样点的空域预测，对图片的帧内编解码的(I)条带中的视频块进行编码。图片的帧间编解码的(P或B)条带中的视频块，可以使用关于同一图片中相邻块中的参考样点的空域预测或者关于其他参考图片中的参考样点的时域预测。图片可以被称为帧，并且参考图片可以被称为参考帧。

发明内容

总体上，本公开描述了用于视频编解码的技术。更具体地，本公开描述了可以改进合并模式的语法的技术，该合并模式可以包括正常合并模式、具有运动矢量差(MVD)的合并、三角形合并模式和组合的帧内帧间模式。本公开的技术可与开发中的多功能视频编解码(VVC)标准和其他未来视频编解码标准一起使用。

在一个示例中，本公开描述了一种解码视频数据的方法，该方法包括：基于在包括视频数据的已编码的表示的比特流中信令通知的第一语法元素，确定三角形合并候选的最大数量；从比特流中获取第一三角形合并索引语法元素，该第一三角形合并索引语法元素指定第一三角形合并候选索引，该第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；确定三角形合并候选的最大数量是否大于2；基于三角形合并候选的最大数量不大于2，推断第二三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第二三角形合并候选，而无需从比特流中获取指定第二三角形合并候选索引的任何语法元素，该第二三角形合并候选与该第一三角形合并候选不同；生成编解码单元(CU)的预测块，其中生成CU的预测块包括：使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割；以及使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割；以及基于CU的预测块和CU的残差数据重建CU。

在另一个示例中，本公开描述了一种编码视频数据的方法，该方法包括：确定三角形合并候选的最大数量；在比特流中信令通知第一三角形合并索引语法元素，该第一三角形合并索引指定第一三角形合并候选索引，该第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；确定三角形合并候选的最大数量是否大于2；基于三角形合并候选的最大数量不大于2，从比特流中省略指示第二三角形合并候选索引的第二三角形合并索引语法元素，该第二三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第二三角形合并候选，该第二三角形合并候选与该第一三角形合并候选不同；生成编解码单元(CU)的预测块，其中生成CU的预测块包括：使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割；以及使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割；以及基于CU的预测块和CU的样点生成CU的残差数据。

在另一个示例中，本公开描述了一种用于解码视频数据的设备，该设备包括：用于存储视频数据的存储器；以及在电路中实现的一个或多个处理器，该一个或多个处理器被配置为：基于在包括视频数据的已编码的表示的比特流中信令通知的第一语法元素，确定三角形合并候选的最大数量；从比特流中获取第一三角形合并索引语法元素，该第一三角形合并索引指定第一三角形合并候选索引，该第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；确定三角形合并候选的最大数量是否大于2；基于三角形合并候选的最大数量不大于2，推断第二三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第二三角形合并候选，而无需从比特流中获取指定第二三角形合并候选索引的任何语法元素，该第二三角形合并候选与该第一三角形合并候选不同；生成编解码单元(CU)的预测块，其中作为生成CU的预测块的一部分，该一个或多个处理器被配置为使得该一个或多个处理器：使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割；以及使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割；以及基于CU的预测块和CU的残差数据重建CU。

在另一个示例中，本公开描述了一种用于编码视频数据的设备，该设备包括：用于存储视频数据的存储器；以及在电路中实现的一个或多个处理器，该一个或多个处理器被配置为：确定三角形合并候选的最大数量；在比特流中信令通知第一三角形合并索引语法元素，该第一三角形合并索引指定第一三角形合并候选索引，该第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；确定三角形合并候选的最大数量是否大于2；基于三角形合并候选的最大数量不大于2，从比特流中省略指定第二三角形合并候选索引的第二三角形合并索引语法元素，该第二三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第二三角形合并候选，该第二三角形合并候选与该第一三角形合并候选不同；生成编解码单元(CU)的预测块，其中作为生成CU的预测块的一部分，该一个或多个处理器被配置为使得该一个或多个处理器：使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割；以及使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割；以及基于CU的预测块和CU的样点生成CU的残差数据。

在一个示例中，本公开描述了一种用于解码视频数据的设备，该设备包括：用于基于在包括视频数据的已编码的表示的比特流中信令通知的第一语法元素，确定三角形合并候选的最大数量的部件；用于从比特流中获取第一三角形合并索引语法元素的部件，该第一三角形合并索引指定第一三角形合并候选索引，该第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；用于确定三角形合并候选的最大数量是否大于2的部件；用于基于三角形合并候选的最大数量不大于2，推断第二三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第二三角形合并候选，而无需从比特流中获取指定第二三角形合并候选索引的任何语法元素的部件，该第二三角形合并候选与该第一三角形合并候选不同；用于生成编解码单元(CU)的预测块的部件，其中用于生成CU的预测块的部件包括：用于使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割的部件；以及用于使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割的部件；以及用于基于CU的预测块和CU的残差数据重建CU的部件。

在另一个示例中，本公开描述了一种用于编码视频数据的设备，该设备包括：用于确定三角形合并候选的最大数量的部件；用于在比特流中信令通知第一三角形合并索引语法元素的部件，该第一三角形合并索引指定第一三角形合并候选索引，该第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；用于确定三角形合并候选的最大数量是否大于2的部件；用于基于三角形合并候选的最大数量不大于2，从比特流中省略指定第二三角形合并候选索引的第二三角形合并索引语法元素的部件，该第二三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第二三角形合并候选，该第二三角形合并候选与该第一三角形合并候选不同；用于生成编解码单元(CU)的预测块的部件，其中用于生成CU的预测块的部件包括：用于使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割的部件；以及用于使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割的部件；以及用于基于CU的预测块和CU的样点生成CU的残差数据的部件。

在另一个示例中，本公开描述了一种其上存储有指令的计算机可读数据存储介质，当执行该指令时，使得一个或多个处理器：基于在包括视频数据的已编码的表示的比特流中信令通知的第一语法元素，确定三角形合并候选的最大数量；从比特流中获取第一三角形合并索引语法元素，该第一三角形合并索引语法元素指定第一三角形合并候选索引，该第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；确定三角形合并候选的最大数量是否大于2；基于三角形合并候选的最大数量不大于2，推断第二三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第二三角形合并候选，而不无需比特流中获取指定第二三角形合并候选索引的任何语法元素，该第二三角形合并候选与该第一三角形合并候选不同；生成编解码单元(CU)的预测块，其中生成CU的预测块包括：使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割；以及使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割；以及基于CU的预测块和CU的残差数据重建CU。

在另一个示例中，本公开描述了一种其上存储有指令的计算机可读数据存储介质，当执行该指令时，使得一个或多个处理器：确定三角形合并候选的最大数量；在比特流中信令通知第一三角形合并索引语法元素，该第一三角形合并索引指定第一三角形合并候选索引，该第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；确定三角形合并候选的最大数量是否大于2；基于三角形合并候选的最大数量不大于2，从比特流中省略指定第二三角形合并候选索引的第二三角形合并索引语法元素，该第二三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第二三角形合并候选，该第二三角形合并候选与该第一三角形合并候选不同；生成编解码单元(CU)的预测块，其中生成CU的预测块包括：使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割；以及使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割；以及基于CU的预测块和CU的样点生成CU的残差数据。

一个或多个示例的细节在附图和下面的描述中被阐述。其他特征、对象和优点将从说明书、附图和权利要求书中显而易见。

附图说明

图1是示出了可以执行本公开的技术的示例视频编码和解码系统的框图。

图2是示出了具有运动矢量差搜索点的合并模式的概念图。

图3是示出了继承仿射运动预测器的位置的概念图。

图4是示出了控制点运动矢量继承的概念图。

图5是示出了用于构造仿射合并模式的候选的位置的概念图。

图6是示出了基于三角形分割的帧间预测的概念图。

图7是示出了用于构造单向预测候选列表的空域和时域相邻块的概念图。

图8A和图8B是示出了示例四叉树二叉树(QTBT)结构和对应的编解码树单元(CTU)的概念图。

图9是示出了可以执行本公开的技术的示例视频编码器的框图。

图10是示出了可以执行本公开的技术的示例视频解码器的框图。

图11是示出了示例编码方法的流程图。

图12是示出了示例解码方法的流程图。

图13是示出了根据本公开的一个或多个技术的示例编码方法的流程图。

图14是示出了根据本公开的一个或多个技术的示例解码方法的流程图。

具体实施方式

多功能视频编解码(VVC)包括三角形分割模式。当使用三角形分割模式时，可以使用对角线划分或反对角线划分将编解码单元(CU)对角划分成两个三角形形状的分割。在一些示例中，可以改为将CU对角线划分成两个大小不等的分割。使用单独的运动参数对CU中的每个三角形分割进行帧间预测。对于每个分割，VVC中只允许单向预测。也就是说，每个分割有一个运动矢量和一个参考索引。应用需要单向预测的约束以确保对于每个CU只需要两个运动补偿预测操作。对CU执行三个或更多个运动补偿预测操作可显著增加复杂性。视频编解码器可以从被称为合并候选列表的单向预测候选列表中导出每个分割的单向预测运动参数。

如果CU级别标志指示使用三角形分割模式对当前CU进行编解码，则针对每个三角形分割进一步信令通知索引(即三角形分割索引)。对于每个三角形分割，视频解码器可以使用三角形分割的三角形分割索引来确定合并候选列表中三角形分割的合并候选。视频解码器可以使用三角形分割的合并候选的运动信息来生成三角形分割的预测数据。

在预测每个三角形分割后，使用具有自适应权重的混合过程来调整沿对角线或反对角线边缘的样点值。在应用混合过程之后对三角形分割的结果预测是对整个CU的预测信号，并且视频编解码器像在其他预测模式中一样对整个CU应用变换和量化过程。

视频编码器可以信令通知图块级别语法元素(例如，five_minus_max_num_triangle_merge_cand)，视频解码器可以使用该语法元素来确定使用三角形分割模式编码的CU的合并候选列表中可使用的合并候选的最大数量。在一些示例中，视频解码器可基于该语法元素确定使用三角形分割模式编码的CU的合并候选列表中可使用的合并候选的最大数量小于或等于2。

在此类合并候选的最大数量小于或等于2的情况下，不需要信令通知CU的第二三角形分割的三角形分割索引。这是因为如果CU的两个三角形分割都使用相同的合并候选，那么完全不使用三角形分割模式而是使用整个CU的单个运动参数集将更有效。因此，在存在2个合并候选的情况下，如果CU的第一三角形分割使用合并候选中的一个，则视频解码器可以推断CU的第二三角形分割使用合并候选中的另一个。因此，仅当合并候选的最大数量大于2时，才信令通知两个三角形分割的三角形分割索引是更有效的。

因此，根据本公开的技术，视频编码过程包括仅当合并候选的最大数量大于2时才信令通知CU的第二三角形分割的三角形分割索引。类似地，视频解码过程包括仅当合并候选的最大数量大于2时才解析CU的第二三角形分割的三角形分割索引。

此外，根据本公开的技术，视频解码器用于确定使用三角形分割模式编码的CU的合并候选列表中可使用的合并候选的最大数量的图块级别语法元素的信令(例如，five_minus_max_num_triangle_merge_cand)可以取决于指示是否启用了三角形合并模式的更高级别语法元素。因此，视频解码器可以基于更高级别语法元素指示是否启用了三角形合并模式来确定在比特流中是否信令通知图片级别语法元素。

图1是示出了可以执行本公开的技术的示例视频编码和解码系统100的框图。本公开的技术通常针对对视频数据进行编解码(编码和/或解码)。通常，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的、未编解码的视频、已编码的视频、已解码的(例如，重建的)视频和诸如信令数据的视频元数据。

如图1所示，在该示例中，系统100包括提供要由目的地设备116解码和显示的已编码的视频数据的源设备102。具体地，源设备102经由计算机可读介质110向目的地设备116提供视频数据。源设备102和目的地设备116可以包括多种设备中的任何一种，包括台式计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、诸如智能手机的电话手持设备、电视、摄像机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备等。在一些情况下，源设备102和目的地设备116可以被配备用于无线通信，因此可以被称为无线通信设备。

在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200和输出接口108。目的地设备116包括输入接口122、视频解码器300、存储器120和显示设备118。根据本公开，源设备102的视频编码器200和目的地设备116的视频解码器300可以被配置为应用视频编解码的技术。因此，源设备102表示视频编码设备的示例，而目的地设备116表示视频解码设备的示例。在其他示例中，源设备和目的地设备可以包括其他组件或布置。例如，源设备102可以从外部视频源(例如外部摄像机)接收视频数据。类似地，目的地设备116可以与外部显示设备接口，而不是包括集成的显示设备。

如图1所示的系统100仅仅是一个示例。通常，任何数字视频编码和/或解码设备都可以执行用于视频编解码的技术。源设备102和目的地设备116仅仅是这样的编解码设备的示例，其中源设备102生成编解码的视频数据以发送到目的地设备116。本公开将“编解码”设备称为执行数据编解码(编码和/或解码)的设备。因此，视频编码器200和视频解码器300表示编解码设备的示例，具体地，分别表示视频编码器和视频解码器。在一些示例中，设备102、116可以以基本对称的方式操作，使得设备102、116中的每一个都包括视频编码和解码组件。因此，系统100可以支持源设备102和目的地设备116之间的单向或双向视频传输，例如，用于视频流式传输、视频回放、视频广播或视频电话。

通常，视频源104表示视频数据的源(即，原始的、未编解码的视频数据)，并向视频编码器200提供视频数据的连续系列的图片(也被称为“帧”)，视频编码器200对图片的数据进行编码。源设备102的视频源104可以包括视频捕获设备，例如摄像机、包含先前捕获的原始视频的视频存档和/或从视频内容提供商接收视频的视频馈送接口。作为进一步的替代，视频源104可以生成基于计算机图形的数据作为源视频，或者生成实时视频、存档视频和计算机生成的视频的组合。在每种情况下，视频编码器200对捕获的、预捕获的或计算机生成的视频数据进行编码。视频编码器200可以将图片从接收到的顺序(有时被称为“显示顺序”)重新排列成编解码顺序以进行编解码。视频编码器200可以生成包括已编码的视频数据的比特流。然后源设备102可经由输出接口108将已编码的视频数据输出到计算机可读介质110上，以供例如目的地设备116的输入接口122进行接收和/或检索。

源设备102的存储器106和目的地设备116的存储器120表示通用存储器。在一些示例中，存储器106、120可以存储原始视频数据，例如，来自视频源104的原始视频和来自视频解码器300的原始的、已解码的视频数据。附加地或替代地，存储器106、120可以存储可分别由例如视频编码器200和视频解码器300执行的软件指令。尽管在该示例中，存储器106和存储器120与视频编码器200和视频解码器300被分开示出，但是应当理解，视频编码器200和视频解码器300还可以包括用于功能相似或等效目的的内部存储器。此外，存储器106、120可以存储例如从视频编码器200输出并输入到视频解码器300的已编码的视频数据，。在一些示例中，存储器106、120的部分可被分配为一个或多个视频缓冲器，例如用于存储原始的、已解码的和/或已编码的视频数据。

计算机可读介质110可以表示能够将已编码的视频数据从源设备102传输到目的地设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示使源设备102能够例如经由射频网络或基于计算机的网络实时地将已编码的视频数据直接发送到目的地设备116的通信介质。输出接口108可以调制包括经已编码的视频数据的发送信号，并且输入接口122可以根据诸如无线通信协议的通信标准解调所接收的发送信号。通信介质可以包括任何无线或有线通信介质，例如射频(RF)频谱或一条或多条物理传输线。通信介质可以形成基于分组的网络的一部分，例如局域网、广域网或诸如互联网的全球网络。通信介质可包括路由器、交换机、基站或可用于促进从源设备102到目的地设备116的通信的任何其他设备。

在一些示例中，计算机可读介质110可以包括存储设备112。源设备102可以将已编码的数据从输出接口108输出到存储设备112。类似地，目的地设备116可以经由输入接口122从存储设备112访问已编码的数据。存储设备112可以包括各种分布式或本地访问的数据存储介质中的任何一种，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器，或者用于存储已编码的视频数据的任何其他合适的数字存储介质。

在一些示例中，计算机可读介质110可以包括文件服务器114或可以存储由源设备102生成的已编码的视频数据的另一中间存储设备。源设备102可以将已编码的视频数据输出到文件服务器114或存储由源设备102生成的已编码的视频的另一中间存储设备。目的地设备116可以经由流式传输或下载从文件服务器114访问存储的视频数据。文件服务器114可以是能够存储已编码的视频数据并将该已编码的视频数据发送到目的地设备116的任何类型的服务器设备。文件服务器114可以表示web服务器(例如，对于网站)、文件传输协议(FTP)服务器、内容递送网络设备或网络附加存储(NAS)设备。目的地设备116可以通过包括互联网连接的任何标准数据连接从文件服务器114访问已编码的视频数据。这可以包括无线信道(例如，Wi-Fi连接)、有线连接(例如，数字用户线(DSL)、电缆调制解调器等)或两者的组合，其适于访问存储在文件服务器114上的已编码的视频数据。文件服务器114和输入接口122可以被配置为根据流传输协议、下载传输协议或其组合来操作。

输出接口108和输入接口122可以表示无线发送器/接收器、调制解调器、有线网络组件(例如，以太网卡)、根据各种IEEE 802.11标准中的任何一种进行操作的无线通信组件或其他物理组件。在输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据蜂窝通信标准(例如4G、4G-LTE(长期演进)、LTE高级、5G等)传送诸如已编码的视频数据的数据。在输出接口108包括无线发送器的一些示例中，输出接口108和输入接口122可被配置为根据其他无线标准(例如IEEE 802.11规范、IEEE 802.15规范(例如ZigBee^TM)、蓝牙^TM标准等)传送诸如已编码的视频数据的数据。在一些示例中，源设备102和/或目的地设备116可以包括相应的片上系统(SoC)设备。例如，源设备102可以包括用于执行归属于视频编码器200和/或输出接口108的功能的SoC设备，并且目的地设备116可以包括用于执行归属于视频解码器300和/或输入接口122的功能的SoC设备。

本公开的技术可以被应用于支持各种多媒体应用中的任何一种的视频编解码，例如空中电视广播、有线电视传输、卫星电视传输、诸如HTTP上的动态自适应流式传输(DASH)的互联网流视频传输、被编码到数据存储介质上的数字视频、对存储在数据存储介质上的数字视频的解码或其他应用。

目的地设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收已编码的视频比特流。已编码的视频比特流可以包括由视频编码器200定义的信令信息(例如具有描述视频块或其他编解码单元(例如，条带、图片、图片组、序列等)的特性和/或处理的值的语法元素)，该信令信息也由视频解码器300使用。显示设备118向用户显示已解码的视频数据的已解码的图片。显示设备118可以表示各种显示设备中的任何一种，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示设备。

尽管在图1中未示出，但在一些示例中，视频编码器200和视频解码器300可以各自与音频编码器和/或音频解码器集成，并且可以包括适当的MUX-DEMUX单元，或者其他硬件和/或软件，以处理包括公共数据流中的音频和视频二者的复用流。如果适用，MUX-DEMUX单元可以符合ITU H.223复用器协议或诸如用户数据报协议(UDP)的其他协议。

视频编码器200和视频解码器300各自可以被实现为各种合适的编码器和/或解码器电路中的任何一种，例如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑、软件、硬件，固件或其任何组合。当这些技术部分地在软件中被实现时，设备可以将用于该软件的指令存储在适当的非暂时性计算机可读介质中，并且使用一个或多个处理器在硬件中执行该指令以执行本公开的技术。视频编码器200和视频解码器300中的每一个都可以包括在一个或多个编码器或解码器中，其中任何一个都可以作为组合编码器/解码器(编解码器(CODEC))的一部分集成在相应设备中。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器和/或诸如蜂窝电话的无线通信设备。

视频编码器200和视频解码器300可以根据视频编解码标准(例如，ITU-T H.265，也被称为高效视频编解码(HEVC))或其扩展(例如，多视图和/或可缩放视频编解码扩展)来操作。替代地，视频编码器200和视频解码器300可以根据其他专有或行业标准来操作，例如联合探索测试模型(JEM)或ITU-T H.266，也称为多功能视频编解码(VVC)。Bross等人的“Versatile Video Coding(Draft 4)”(“多功能视频编解码(草案4)”)，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)，第13次会议：马萨诸塞州，MA，2019年1月9日至18日，JVET-M1001-v5(以下简称“VVC草案4”)中描述了VVC标准的最新草案。然而，本公开的技术不限于任何特定的编解码标准。

通常，视频编码器200和视频解码器300可以执行基于块的图片编解码。术语“块”通常指包括要处理的(例如，已编码的、已解码的或以其他方式被用于编码和/或解码过程的)数据的结构。例如，块可以包括亮度和/或色度数据的样点的二维矩阵。通常，视频编码器200和视频解码器300可以对以YUV(例如，Y、Cb、Cr)格式表示的视频数据进行编解码。也就是说，视频编码器200和视频解码器300可以对亮度和色度分量进行编解码，而不是对用于图片的样点的红、绿和蓝(RGB)数据进行编解码，其中色度分量可以包括红色调和蓝色调色度分量。在一些示例中，视频编码器200在编码之前将接收到的RGB格式的数据转换为YUV表示，并且视频解码器300将YUV表示转换为RGB格式。替代地，预处理单元和后处理单元(未示出)可以执行这些转换。

本公开通常可以涉及对图片进行编解码(例如，编码和解码)，以包括对图片的数据进行编码或解码的过程。类似地，本公开可以涉及对图片的块进行编解码，以包括对块的数据进行编码或解码的过程，例如预测和/或残差编解码。已编码的视频比特流通常包括表示编解码决策(例如编解码模式)以及图片到块的分割的语法元素的一系列值。因此，对图片或块进行编解码的引用通常应理解为对形成图片或块的语法元素的值进行编解码。

HEVC定义了各种的块，包括编解码单元(CU)、预测单元(PU)和变换单元(TU)。根据HEVC，视频编码器(例如视频编码器200)根据四叉树结构将编解码树单元(CTU)分割为CU。也就是说，视频编解码器将CTU和CU分割为四个相等的、不重叠的正方形，并且四叉树的每一个节点都有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，并且此类叶节点的CU可以包括一个或多个PU、和/或一个或多个TU。视频编解码器可以进一步分割PU和TU。例如，在HEVC中，残差四叉树(RQT)表示对TU的分割。在HEVC中，PU表示帧间预测数据，TU表示残差数据。帧内预测的CU包括诸如帧内模式指示的帧内预测信息。

作为另一示例，视频编码器200和视频解码器300可以被配置为根据JEM或VVC操作。根据JEM或VVC，视频编解码器(例如视频编码器200)将图片分割成多个编解码树单元(CTU)。视频编码器200可以根据树结构(例如四叉树二叉树(QTBT)结构或多类型树(MTT)结构)来分割CTU。QTBT结构移除了多个分割类型(例如HEVC的CU、PU和TU的分隔)的概念。QTBT结构包括两个级别：根据四叉树分割来进行分割的第一级别，根据二叉树分割来进行分割的第二级别。QTBT结构的根节点对应于CTU。二叉树的叶节点对应于编解码单元(CU)。

在MTT分割结构中，可以使用四叉树(QT)分割、二叉树(BT)分割以及一种或多种类型的三叉树(TT)分割来分割块。三叉树分割是其中块被分割成三个子块的分割。在一些示例中，三叉树分割在没有通过中心划分原始块的情况下将块划分为三个子块。MTT中的分割类型(例如QT、BT和TT)可以是对称或不对称的。

在一些示例中，视频编码器200和视频解码器300可以使用单个QTBT或MTT结构来表示亮度和色度分量中的每一个，而在其他示例中，视频编码器200和视频解码器300可以使用两个或更多个QTBT或MTT结构，例如用于亮度分量的一个QTBT/MTT结构和用于两个色度分量的另一QTBT/MTT结构(或用于相应色度分量的两个QTBT/MTT结构)。

视频编码器200和视频解码器300可以配置为使用按照HEVC的四叉树分割、QTBT分割、MTT分割或其他分割结构。出于解释的目的，本公开技术的描述是关于QTBT分割来呈现的。但是，应该理解的是，本公开的技术也可以应用于被配置为使用四叉树分割或者其他类型的分割的视频编解码器。

本公开可以互换地使用“N×N”和“N乘N”来指代块(例如CU或其他视频块)在垂直和水平方面的样点维度，例如16×16样点或16乘16样点。一般来说，16×16CU在垂直方向上将有16个样点(y＝16)，并且在水平方向上将有16个样点在(x＝16)。同样地，N×N CU通常在垂直方向上具有N个样点，并且在水平方向上具有N个样点，其中N表示非负整数值。CU中的样点可以被排列成行和列。此外，CU在水平方向上不必具有与垂直方向上相同数量的样点。例如，CU可以包括N×M样点，其中M不一定等于N。

视频编码器200对表示预测和/或残差信息以及其他信息的CU的视频数据进行编码。预测信息指示如何预测CU，从而形成CU的预测块。残差信息通常表示编码前的CU的样点与预测块之间的逐样点差。

为了预测CU，视频编码器200通常可以通过帧间预测或帧内预测来形成CU的预测块。帧间预测通常指从先前已编解码的图片的数据中预测CU，而帧内预测通常指从同一图片的先前已编解码的数据中预测CU。为了执行帧间预测，视频编码器200可以使用一个或多个运动矢量来生成预测块。视频编码器200通常可以执行运动搜索，以识别例如就CU与参考块之间的差而言与CU紧密地匹配的参考块。视频编码器200可以使用绝对差之和(SAD)、平方差之和(SSD)、平均绝对差(MAD)、均方差(MSD)和或其他此类差值计算来计算差值度量，以确定参考块是否与当前CU紧密地匹配。在一些示例中，视频编码器200可以使用单向预测或双向预测来对当前CU进行预测。

JEM和VVC的一些示例还提供了仿射运动补偿模式，该模式可以被视为帧间预测模式。在仿射运动补偿模式中，视频编码器200可以确定表示非平移运动(例如放大或缩小、旋转、透视运动或其他不规则运动类型)的两个或更多个运动矢量。

为了执行帧内预测，视频编码器200可以选择帧内预测模式来生成预测块。JEM和VVC的一些示例提供了六十七种帧内预测模式，包括各种方向模式，以及平面模式和DC模式。通常，视频编码器200选择描述到当前块(例如CU的块)的相邻样点的帧内预测模式，以从该相邻样点预测当前块的样点。假设视频编码器200以光栅扫描顺序(从左到右、从上到下)对CTU和CU进行编解码，则此类样点通常可以在与当前块相同的图片中在当前块的上方、左上方或左侧。

视频编码器200对表示当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可以对表示使用了各种可用的帧间预测模式中的哪一种以及用于对应模式的运动信息的数据进行编码。例如，对于单向或双向帧间预测，视频编码器200可以使用高级运动矢量预测(AMVP)或合并模式对运动矢量进行编码。视频编码器200可以使用类似的模式来对用于仿射运动补偿模式的运动矢量进行编码。

视频编码器200可以以各种方式信令通知块的运动参数。这种运动参数可以包括运动矢量、参考索引、参考图片列表指示符和/或与运动相关的其他数据。在一些示例中，视频编码器200和视频解码器300可以使用运动预测来减少用于信令通知运动参数的数据量。运动预测可以包括基于一个或多个其他块的运动参数来确定块(例如，PU、CU等)的运动参数。有各种类型的运动预测。例如，合并模式和高级运动矢量预测(AMVP)模式是两种类型的运动预测。

在合并模式下，视频编码器200生成候选列表。候选列表包括指示一个或多个源块的运动参数的候选集。源块可以与当前块空域或时域相邻。此外，在合并模式下，视频编码器200可以从候选列表中选择候选，并且可以使用由所选择的候选指示的运动参数作为当前块的运动参数。视频编码器200可以信令通知所选择的候选在候选列表中的位置。视频解码器300可以基于从比特流中获取的信息，确定到候选列表中的索引。此外，视频解码器300可以生成相同的候选列表，并且可以基于索引确定所选择的候选。然后视频解码器300可以使用所选择的候选的运动参数来为当前块生成预测器块。

跳过模式类似于合并模式。在跳过模式中，视频编码器200和视频解码器300以与视频编码器200和视频解码器300在合并模式中使用候选列表相同的方式生成和使用候选列表。然而，当视频编码器200使用跳过模式信令通知当前块的运动参数时，视频编码器200不信令通知当前块的任何残差数据。因此，视频解码器300可以基于由候选列表中的所选择的候选的运动参数指示的一个或多个参考块来确定当前块的预测器块。然后视频解码器300随后可以重建当前块的编解码块中的样点，使得重建的样点等于当前块的预测器块中的对应样点。

AMVP模式类似于合并模式，因为视频编码器200可以为当前块生成候选列表，并且可以从候选列表中选择候选。然而，对于用于确定当前块的预测器块的每个相应参考块，视频编码器200可以信令通知对当前块的相应的运动矢量差(MVD)、当前块的相应参考索引和指示候选列表中的所选择的候选的相应候选索引。块的MVD可指示块的运动矢量与所选择的候选的运动矢量之间的差。当前块的参考索引指示从中确定参考块的参考图片。

此外，当使用AMVP模式时，对于用于确定当前块的预测器块的每个相应参考块，视频解码器300可以确定当前块的MVD、当前块的参考索引以及候选索引和运动矢量预测(MVP)标志。视频解码器300可以生成相同的候选列表，并且可以基于候选索引确定候选列表中的所选择的候选。如前所述，该候选列表可以包括与相同参考索引相关联的相邻块的运动矢量以及基于在时域参考图片中同位(co-located)块的相邻块的运动参数导出的时域运动矢量预测器。视频解码器300可以通过将MVD加到由所选择的AMVP候选指示的运动矢量来恢复当前块的运动矢量。也就是说，视频解码器300可以基于由所选择的AMVP候选和MVD指示的运动矢量来确定当前块的运动矢量。然后视频解码器300可以使用恢复的运动矢量或当前块的运动矢量来生成当前块的预测器块。

当视频编解码器(例如，视频编码器200或视频解码器300)生成当前块的AMVP候选列表时，视频编解码器可基于包含与当前PU空域相邻的位置的参考块(例如，空域相邻块)的运动参数导出一个或多个AMVP候选，以及基于与当前PU时域相邻的PU的运动参数导出一个或多个AMVP候选。候选列表可以包括与相同参考索引相关联的参考块的运动矢量以及基于在时域参考图片中同位块的相邻块的运动参数导出的时域运动矢量预测器。合并候选列表或AMVP候选列表中的候选是基于与当前块时域相邻的参考块的运动参数。本公开可以使用术语“时域运动矢量预测器”来指代处于与当前块不同的时域实例中且用于运动矢量预测的块。

在诸如块的帧内预测或帧间预测等预测之后，视频编码器200可以计算块的残差数据。残差数据(诸如残差块)表示块与该块的使用相应预测模式形成的预测块之间的逐样点差。视频编码器200可以将一个或多个变换应用于残差块，以在变换域中而非样点域中产生变换的数据。例如，视频编码器200可以将离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残差视频数据。此外，视频编码器200可以在初级变换之后应用次级变换，例如模式依赖的不可分次级变换(MDNSST)、信号依赖的变换、Karhun-Loeve变换(KLT)等。视频编码器200在应用一个或多个变换后产生变换系数。

如上所述，在用来产生变换系数的任何变换之后，视频编码器200可以执行变换系数的量化。量化通常指将变换系数进行量化以尽可能地减少用于表示变换系数的数据量，从而提供进一步的压缩的过程。通过执行量化过程，视频编码器200可以减少与一些或所有变换系数相关联的比特深度。例如，视频编码器200可以在量化期间将n比特值向下舍入为m比特值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可以对待量化的值执行按比特右移。

量化之后，视频编码器200可以对变换系数进行扫描，从包括量化的变换系数的二维矩阵中产生一维矢量。可以将扫描设计为将较高能量(因此较低频率)的系数放在矢量的前面，并将较低能量(因此较高频率)的变换系数放在矢量的后面。在一些示例中，视频编码器200可以利用预定义的扫描顺序来对量化的变换系数进行扫描以产生序列化的矢量，然后对矢量的量化的变换系数进行熵编码。在其他示例中，视频编码器200可以执行自适应扫描。在对量化的变换系数进行扫描以形成一维矢量之后，例如根据上下文自适应的二进制算术编解码(CABAC)，视频编码器200可以对一维矢量进行熵编码。视频编码器200还可以对描述与编码视频数据相关联的元数据的语法元素的值进行熵编码，以供视频解码器300在对视频数据进行解码中使用。

为了执行CABAC，视频编码器200可以将上下文模型内的上下文分配给待发送的符号。上下文可以涉及例如符号的相邻值是否是零值。概率确定可以基于分配给符号的上下文。

视频编码器200还可以诸如在图片标头、块标头、条带标头中向视频解码器300生成语法数据，例如基于块的语法数据、基于图片的语法数据以及基于序列的语法数据或其他语法数据，诸如序列参数集(SPS)、图片参数集(PPS)或视频参数集(VPS)。视频解码器300可以类似地对此类语法数据进行解码来确定如何对对应的视频数据进行解码。

图片的条带可以包括整数个图片块。例如，图片的条带可以包括整数个图片的CTU。可以以扫描顺序(例如光栅扫描顺序)将条带的CTU连续排列。图块扫描是分割图片的CTU的特定顺序，其中在图块的CTU光栅扫描中连续排列CTU，而在图片的图块的光栅扫描中连续排列图片中的图块。图块是在图片中的特定图块列和特定图块行内的CTU的矩形区域。

以此方式，视频编码器200可以生成包括已编码的视频数据的比特流，例如描述将图片分割成块(例如CU)的语法元素以及块的预测和/或残差信息。最终，视频解码器300可以接收比特流并且对已编码的视频数据进行解码。

通常，视频解码器300执行的是与视频编码器200执行的过程相反过程，以对比特流的已编码的视频数据进行解码。例如，视频解码器300可以以与视频编码器200的CABAC编码过程基本相似但相反的方式，使用CABAC对比特流的语法元素的值进行解码。语法元素可以定义分割信息，该分割信息用于将图片分割为CTU，以及根据诸如QTBT结构的相应分割结构对每一个CTU进行分割来定义CTU的CU。语法元素还可以定义视频数据的块(例如CU)的预测和残差信息。

残差信息可以由例如量化的变换系数表示。视频解码器300可以对块的量化的变换系数进行逆量化和逆变换，以对该块的残差块进行再现。视频解码器300使用被信令通知的预测模式(帧内或帧间预测)和相关的预测信息(例如用于帧间预测的运动信息)来形成块的预测块。然后，视频解码器300可以(在逐样点的基础上)组合预测块和残差块以对初始块进行再现。视频解码器300可以执行附加处理(诸如执行去方块过程)来减少沿块边界的视觉伪影。

在下一节中，将讨论与本申请的技术相关的视频编解码技术和工具。这些视频编解码技术和工具包括扩展合并预测、具有运动矢量差的合并模式、仿射合并预测、三角形合并模式以及组合帧间和帧内预测(CIIP)，这些将在下文中讨论。

扩展合并预测

在扩展合并预测中，视频编码器200和视频解码器300可以被配置为通过依次包括以下五种类型的候选来构造合并候选列表：

1)来自空域相邻CU的空域MVP

2)来自同位CU的时域MVP

3)来自先进先出(FIFO)表的基于历史的MVP

4)成对平均MVP

5)零运动矢量(多个MV)。

在条带标头中信令通知合并候选列表的大小。在一些示例中，合并候选列表的最大允许大小为6。对于合并模式中的每个CU，使用截断的一元二值化对合并候选的索引进行编码。合并索引的第一二进制位(bin)使用上下文进行编解码，旁路编解码用于其他二进制位。

具有运动矢量差的合并模式(MMVD)

除了合并模式(其中隐式导出的运动信息直接用于生成当前CU的预测样点)之外，VVC中还引入了MMVD。在发送跳过标志和合并标志后立即信令通知MMVD标志，以指定是否将MMVD模式用于CU。

在MMVD中，在选择合并候选之后，通过信令通知的MVD信息进一步细化合并候选。进一步的信息包括合并候选标志、用于指定运动幅度的索引和用于指示运动方向的索引。在MMVD模式下，选择合并候选列表中前两个候选中的一个用作MV基准。信令通知合并候选标志以指定使用哪一个。

距离索引指定运动幅度信息，并指示距起点的预定义偏移。图2是示出了具有运动矢量差搜索点的合并模式的概念图。如图2所示，向起始MV的水平分量或垂直分量添加偏移。在图2的示例中，虚线中心圆表示起始MV指示的位置。此外，在图2的示例中，由起始MV指示的位置的上方、下方、左侧和右侧的圆圈指示从将偏移添加到由起始MV指示的位置所产生的位置。对于同一块的L0运动矢量和L1运动矢量，偏移可以不同。表1中指定了距离索引与预定义偏移的关系。

表1—距离索引与预定义偏移的关系

方向索引表示MVD相对于起点的方向。方向索引可以表示如下表2所示的四个方向之一。需要注意的是，MVD符号的含义可能会根据起始MV的信息而变化。当起始MV包括单向预测MV或双向预测MV，且两个列表都指向当前图片的同一侧(即，两个参考的图片顺序计数(POC)都大于当前图片的POC，或者都小于当前图片的POC)时，下面的表2中的符号指定了添加到起始MV的MV偏移的符号。当起始MV包括双向预测MV，且两个MV指向当前图片的不同侧面时(即，一个参考的POC大于当前图片的POC，而另一个参考的POC小于当前图片的POC)，表2中的符号指定了被添加到起始MV的列表0MV分量的MV偏移符号并且指定了具有相反的值的用于列表1MV的符号。

表2–方向索引指定的MV偏移符号

仿射合并预测

仿射合并(AF_MERGE)模式可应用于宽度和高度均大于或等于8的CU。在此模式中，基于空域相邻CU的运动信息生成当前CU的控制点运动矢量(CPMV)。最多可以有五个控制点运动矢量预测器(CPMVP)候选。信令通知索引以指示用于当前CU的候选。

以下三种类型的CPMV候选用于形成仿射合并候选列表：

1)从相邻CU的CPMV推断出的继承仿射合并候选

2)使用相邻CU的平移MV导出的构造仿射合并候选CPMVP

3)零MV

在一个示例中，最多有两个继承仿射候选，它们是从相邻块的仿射运动模型导出的：来自左相邻CU的一个继承仿射候选，来自上相邻CU的一个继承仿射候选。候选块如图3所示。图3是示出了继承仿射运动预测器的位置的概念图。对于左侧预测器，扫描顺序为A0->A1，对于上方预测器，扫描顺序为B0->B1->B2。仅选择来自每一侧的第一个继承候选。在两个继承候选之间不执行修剪检查。当识别相邻仿射CU时，其控制点运动矢量用于在当前CU的仿射合并候选列表中导出CPMVP候选。

图4是示出了控制点运动矢量继承的概念图。如图4所示，如果以仿射模式对相邻的左下方块A进行编解码，则获得包含块A的CU的左上角、右上角和左下角的运动矢量v₂、v₃和v₄。当使用4-参数仿射模型对块A进行编解码时，根据v₂和v₃计算当前CU(Cur)的两个CPMV。当使用6-参数仿射模型对块A进行编解码时，根据v₂、v₃和v₄计算当前CU的三个CPMV。

构造仿射候选是通过组合每个控制点的相邻平移运动信息来构造的候选。控制点的运动信息是从图5所示的指定的空域邻域和时域邻域导出的。图5是示出了构造仿射合并模式的候选的位置的概念图。CPMV_k(k＝1,2,3,4)表示第k个控制点。对于CPMV₁，按照B2->B3->A2的顺序检查块B2、B3和A2，并使用第一可用块的MV。对于CPMV₂，按照B1->B0的顺序检查块B1和B0，并且对于CPMV₃，按照A1->A0的顺序检查A1、A0块。如果时域运动矢量预测器(TMVP)可用，则将TMVPT用作CPMV₄。

在获得四个控制点的MV后，基于运动信息来构造仿射合并候选。以下控制点MV的示例组合用于以如下顺序构造仿射合并候选：{CPMV₁，CPMV₂，CPMV₃}，{CPMV₁，CPMV₂，CPMV₄}，{CPMV₁，CPMV₃，CPMV₄}，{CPMV₂，CPMV₃，CPMV₄}，{CPMV₁，CPMV₂}，{CPMV₁，CPMV₃}

3个CPMV的组合构成6-参数仿射合并候选，2个CPMV的组合构成4-参数仿射合并候选。为了避免运动缩放过程，如果控制点的参考索引不同，则丢弃控制点MV的相关组合。

在检查继承仿射合并候选和构造仿射合并候选之后，如果列表仍然未满(例如，小于预定的最大值)，则在列表的末尾插入零-MV。零-MV是具有零幅度的MV。

三角形合并模式

已经为帧间预测引入三角形分割模式。在一个示例中，三角形分割模式仅应用于8×8或更大的CU，并以跳过或合并模式进行编解码。对于满足这些条件的CU，信令通知CU级别标志，以指示是否应用三角形分割模式。

如图6所示，当使用三角形合并模式时，可以使用对角线分割或反对角线分割将CU均匀分割为两个三角形分割。图6是示出了基于三角形分割的帧间预测的概念图。CU中的每个三角形分割使用其自身的运动进行帧间预测。在一个示例中，对于每个分割只允许单向预测。也就是说，每个分割具有一个运动矢量和一个参考索引。应用单向预测运动约束以确保与传统双向预测一样，对于每个CU只需要两个运动补偿预测。每个分割的单向预测运动从使用下面描述的单向预测候选列表构造过程构造的单向预测候选列表导出。

如果CU级别标志指示当前CU是使用三角形分割模式进行编解码的，则进一步信令通知三角形分割索引(例如，在[0,39]范围内)。使用此三角形分割索引，可以通过查找表获得三角形分割的方向(对角线或反对角线)以及每个分割的运动。与其他预测模式一样，变换和量化过程将应用于整个CU。例如，在一些示例中，在预测每个三角形分割之后，使用具有自适应权重的混合处理来调整沿对角线或反对角线边缘的样点值。混合过程之后的三角形分割的预测是整个CU的预测信号，并且变换和量化过程可以应用于整个CU，如在其他预测模式中一样。使用三角形分割模式预测的CU的运动字段可以被存储在4×4单元中。

单向预测候选列表构造

单向预测候选列表包括五个单向预测运动矢量候选。图7是示出了用于构造单向预测候选列表的空域和时域相邻块的概念图。从七个相邻块导出单向预测候选列表，该七个相邻块包括五个空域相邻块(图7中标记为1到5)和两个时域同位块(图7中标记为6到7)。收集七个相邻块的运动矢量，并按照以下顺序将其放入单向预测候选列表中：首先，单向预测相邻块的运动矢量；然后，对于双向预测的相邻块，L0运动矢量(即，双向预测MV的L0运动矢量部分)、L1运动矢量(即，双向预测MV的L1运动矢量部分)以及双向预测MV的L0和L1运动矢量的平均运动矢量。如果候选数量少于五个，则在列表末尾添加零运动矢量。

组合帧间和帧内预测(CIIP)

当在合并模式下对CU进行编解码时，如果CU包含至少64个亮度样点(即，CU宽度乘以CU高度等于或大于64)，则信令通知附加标志，以指示组合帧间和帧内预测(CIIP)模式是否应用于当前CU。为了形成CIIP预测，首先从两个附加语法元素(例如ciip_luma_mpm_flag和ciip_luma_mpm_idx)导出帧内预测模式。最多可以使用四种可能的帧内预测模式：DC、平面、水平或垂直。然后，使用常规的帧内和帧间解码过程导出帧间预测和帧内预测信号。最后，对帧间和帧内预测信号执行加权平均以获得CIIP预测。

帧内预测模式推导

最多可以使用四种帧内预测模式(包括DC、平面、水平和垂直模式)来预测CIIP模式中的亮度分量。如果CU形状非常宽(即宽度大于高度的两倍)，则不允许水平模式。如果CU形状非常窄(即高度大于宽度的两倍)，则不允许垂直模式。在这些情况下，仅允许三种帧内预测模式。

CIIP模式使用三种最可能的模式(MPM)进行帧内预测。CIIP MPM候选列表形成如下：

左侧和顶部相邻块被分别设置为A和B。块A和块B的帧内预测模式分别表示为intraModeA和intraModeB，推导如下：

a.设X为A或B

b.如果1)块X不可用；2)不使用CIIP模式或帧内模式预测块X；或3)块B在当前CTU之外，则将intraModeX设置为DC。

c.否则，1)如果块X的帧内预测模式是DC或平面，则将intraModeX设置为DC或平面；或者2)如果块X的帧内预测模式是“类似垂直”的角度模式(大于34)，则将intraModeX设置为垂直；或者3)如果块X的帧内预测模式是“类似水平”的角度模式(小于或等于34)，则将intraModeX设置为水平。

如果intraModeA和intraModeB相同：

d.如果intraModeA是平面或DC，则三个MPM被设置为按{PLANAR，DC，VERTICAL}的顺序。

e.否则，三个MPM被设置为按{intraModeA，平面，DC}的顺序。

否则(intraModeA和intraModeB不同)：

f.前两个MPM被设置为按{intraModeA，intraModeB}的顺序。

g.根据前两个MPM候选模式，按该顺序检查平面、DC和垂直的唯一性；一旦找到唯一模式，该唯一模式将被添加为第三个MPM。

如果CU形状如上所定义的非常宽或非常窄，则MPM标志被推断为1而无需进行信令通知。否则，信令通知MPM标志以指示CIIP帧内预测模式是否是CIIP MPM候选模式之一。

如果MPM标志为1(即，CIIP帧内预测模式是CIIP MPM候选模式之一)，则进一步信令通知MPM索引以指示在CIIP帧内预测中使用哪一个MPM候选模式。否则，如果MPM标志为0(即，CIIP帧内预测模式不是CIIP MPM候选模式之一)，则帧内预测模式被设置为MPM候选列表中的“缺失”模式。例如，如果平面模式不在MPM候选列表中，则平面是缺失模式，并且帧内预测模式被设置为平面。由于CIIP中允许四种可能的帧内预测模式，并且MPM候选列表仅包含三种帧内预测模式，因此四种可能的模式之一必须是缺失模式。

对于色度分量，始终应用直接模式(DM)模式，而无需附加信令。也就是说，色度使用与亮度相同的预测模式。CIIP编解码的CU的帧内预测模式可被保存并用于未来相邻CU的帧内模式编解码中。

组合帧间和帧内预测信号

CIIP模式P_inter中的帧间预测信号是使用应用于常规合并模式的相同帧间预测过程导出的，并且帧内预测信号P_intra是在常规帧内预测过程之后使用CIIP帧内预测模式导出的。然后，可以使用加权平均来组合帧内和帧间预测信号，其中权重值取决于帧内预测模式以及样点在编解码块中的位置，如下所示：

-如果帧内预测模式是DC或平面模式，或者如果块宽度或高度小于4，则对帧内预测和帧间预测信号应用相等的权重。

-否则，基于帧内预测模式(在这种情况下为水平模式或垂直模式)和块中的样点位置来确定权重。以水平预测模式为例(垂直模式的权重导出类似，但在正交方向上)。W表示块的宽度，H表示块的高度。首先将编解码块划分成四个面积相等的部分，每个部分的维度为(W/4)×H。从最接近帧内预测参考样点的部分开始并在最远离帧内预测参考样点的部分结束，4个区域中的每个区域的权重wt分别被设置为6、5、3和2。最终CIIP预测信号是使用以下等式导出的：

P_CIIP＝((8-wt)*P_inter+wt*P_intra+4)＞＞3

合并数据的语法

下表示出了VVC草案4中合并数据的语法，该合并数据包括扩展合并数据、MMVD数据、仿射合并数据、三角形合并数据和CIIP数据。

VVC草案4第7.3.2.1节

VVC草案4第7.3.3.1节

VVC草案4第7.3.4.1节

VVC草案4第7.3.4.8节

VVC草案4第7.3.6.8节

合并数据语义如下所示：

sps_temporal_mvp_enabled_flag等于1指定tile_group_temporal_mvp_enabled_flag存在于已编解码的视频序列(CVS)中带有tile_group_type不等于I的图块组的图块组标头中。

sps_temporal_mvp_enabled_flag等于0指定tile_group_temporal_mvp_enabled_flag不存在于图块组标头中，并且在CVS中不使用时域运动矢量预测器。

sps_sbtmvp_enabled_flag等于1指定基于子块的时域运动矢量预测器可用于解码CVS中具有tile_group_type不等于I的所有图块组的图片。sps_sbtmvp_enabled_flag等于0指定在CVS中不使用基于子块的时域运动矢量预测器。当sps_sbtmvp_enabled_flag不存在时，sps_sbtmvp_enabled_flag被推断为等于0。

sps_ibc_enabled_flag等于1指定当前图片参考可用于解码CVS中的图片。sps_ibc_enabled_flag等于0指定在CVS中不使用当前图片参考。当sps_ibc_enabled_flag不存在时，sps_ibc_enabled_flag被推断为等于0。

sps_ciip_enabled_flag指定ciip_flag可以存在于帧间编解码单元的编解码单元语法中。sps_ciip_enabled_flag等于0指定ciip_flag不存在于帧间编解码单元的编解码单元语法中。

sps_fpel_mmvd_enabled_flag等于1指定具有运动矢量差的合并模式使用整数样点精度。sps_fpel_mmvd_enabled_flag等于0指定具有运动矢量差的合并模式可以使用分数样点精度。

sps_triangle_enabled_flag指定基于三角形形状的运动补偿是否可用于帧间预测。sps_triangle_enabled_flag等于0指定应约束语法使得在CVS中不使用基于三角形形状的运动补偿，并且CVS的编解码单元语法中不存在merge_triangle_flag、merge_triangle_split_dir、merge_triangle_idx0、和merge_triangle_idx1。sps_triangle_enabled_flag等于1指定可以在CVS中使用基于三角形形状的运动补偿。

tile_group_temporal_mvp_enabled_flag指定时域运动矢量预测器是否可用于帧间预测。如果tile_group_temporal_mvp_enabled_flag等于0，则应约束当前图片的语法元素，以便在当前图片的解码中不使用时域运动矢量预测器。否则(tile_group_temporal_mvp_enabled_flag等于1)，可以在当前图片的解码中使用时域运动矢量预测器。当不存在tile_group_temporal_mvp_enabled_flag时，tile_group_temporal_mvp_enabled_flag的值被推断为等于0。

mvd_l1_zero_flag等于1指示未解析mvd_coding(x0，y0，1)语法结构，并且对于compIdx＝0..1，MvdL1[x0][y0][compIdx]被设置为等于0。mvd_l1_zero_flag等于0指示已解析mvd_coding(x0，y0，1)语法结构。

collocated_from_l0_flag等于1指定用于时域运动矢量预测的同位图片是从参考图片列表0导出的。collocated_from_l0_flag等于0指定用于时域运动矢量预测的同位图片是从参考图片列表1导出的。当collocated_from_l0_flag不存在时，collocated_from_l0_flag被推断为等于1。

six_minus_max_num_merge_cand指定从6中减去图块组中支持的合并运动矢量预测(MVP)候选的最大数量。合并MVP候选的最大数量MaxNumMergeCand的推导如下：

MaxNumMergeCand＝6-six_minus_max_num_merge_cand

MaxNumMergeCand的值应在1到6的范围内(包括1和6)。

five_minus_max_num_subblock_merge_cand指定从5中减去图块组中支持的基于子块的合并运动矢量预测(MVP)候选的最大数量。当不存在five_minus_max_num_subblock_merge_cand时，five_minus_max_num_subblock_merge_cand被推断为等于5-sps_sbtmvp_enabled_flag。基于子块的合并MVP候选的最大数量MaxNumSubblockMergeCand的推导如下：

MaxNumSubblockMergeCand＝5-five_minus_max_num_subblock_merge_cand

MaxNumSubBlockMergeCnd的值应在0到5的范围内(包括0和5)。

tile_group_fpel_mmvd_enabled_flag等于1指定具有运动矢量差的合并模式在当前图块组中使用整数样点精度。tile_group_fpel_mmvd_enabled_flag等于0指定具有运动矢量差的合并模式可以在当前图块组中使用分数样点精度。当不存在tile_group_fpel_mmvd_enabled_flag时，tile_group_fpel_mmvd_enabled_flag的值被推断为0。

mmvd_flag[x0][y0]等于1指定使用具有运动矢量差的合并模式来生成当前编解码单元的帧间预测参数。阵列索引x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。当mmvd_flag[x0][y0]不存在时，mmvd_flag[x0][y0]被推断为等于0。

mmvd_merge_flag[x0][y0]指定合并候选列表中的第一(0)候选或者第二(1)候选与从mmvd_distance_idx[x0][y0]和mmvd_direction_idx[x0][y0]导出的运动矢量差一起使用。阵列索引x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。

如表4中所指定的，mmvd_distance_idx[x0][y0]指定用于导出MmvdDistance[x0][y0]的索引。阵列索引x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。

表4-基于mmvd_distance_idx[x0][y0]的MmvdDistance[x0][y0]的规范。

mmvd_distance_idx[x0][y0]	MmvdDistance[x0][y0]
		0	1
1	2
		2	4
3	8
		4	16
5	32
		6	64
7	128

表4的另一个版本如下所示：

如表5中所指定的，mmvd_direction_idx[x0][y0]指定用于导出MmvdSign[x0][y0]的索引。阵列索引x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。

表5–基于mmvd_direction_idx[x0][y0]的MmvdSign[x0][y0]的规范

mmvd_direction_idx[x0][y0]	MmvdSign[x0][y0][0]	MmvdSign[x0][y0][1]
			0	+1	0
1	-1	0
			2	0	+1
3	0	-1

合并加MVD偏移MmvdOffset[x0][y0]的两个分量的推导如下：

MmvdOffset[x0][y0][0]＝(MmvdDistance[x0][y0]<<2)×MmvdSign[x0][y0][0]

MmvdOffset[x0][y0][1]＝(MmvdDistance[x0][y0]<<2)×MmvdSign[x0][y0][1]

merge_subblock_flag[x0][y0]指定是否从相邻块推断当前编解码单元的基于子块的帧间预测参数。阵列索引x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。当merge_subblock_flag[x0][y0]不存在时，merge_subblock_flag[x0][y0]被推断为等于0。

merge_subblock_idx[x0][y0]指定基于子块的合并候选列表的合并候选索引，其中x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。当merge_subblock_idx[x0][y0]不存在时，merge_subblock_idx[x0][y0]被推断为等于0。

ciip_flag[x0][y0]指定是否对当前编解码单元应用组合的图片间合并和图片内预测。阵列索引x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。当ciip_flag[x0][y0]不存在时，ciip_flag[x0][y0]被推断为等于0。

语法元素ciip_luma_mpm_flag[x0][y0]和ciip_luma_mpm_idx[x0][y0]指定组合的图片间合并和图片内预测中使用的亮度样点的帧内预测模式。阵列索引x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。根据VVC草案4第8.4.5条导出帧内预测模式。

当ciip_luma_mpm_flag[x0][y0]不存在时，ciip_luma_mpm_flag[x0][y0]的推断如下：

-如果cbWidth大于2×cbHeight或cbHeight大于2×cbWidth，则ciip_luma_mpm_flag[x0][y0]被推断为等于1。

-否则，ciip_luma_mpm_flag[x0][y0]被推断为等于0。

merge_triangle_flag[x0][y0]等于1指定对于当前编解码单元，在解码B图块组时，使用基于三角形形状的运动补偿来生成当前编解码单元的预测样点。merge_triangle_flag[x0][y0]等于0指定不通过基于三角形形状的运动补偿对编解码单元进行预测。当merge_triangle_flag[x0][y0]不存在时，merge_triangle_flag[x0][y0]被推断为等于0。

merge_triangle_split_dir[x0][y0]指定合并三角形模式的分割方向。阵列索引x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。当merge_triangle_split_dir[x0][y0]不存在时，merge_triangle_split_dir[x0][y0]被推断为等于0。

merge_triangle_idx0[x0][y0]指定基于三角形形状的运动补偿候选列表的第一三角形合并候选索引，其中x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。当merge_triangle_idx0[x0][y0]不存在时，merge_triangle_idx0[x0][y0]被推断为等于0。

merge_triangle_idx1[x0][y0]指定基于三角形形状的运动补偿候选列表的第二合并候选索引，其中x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。当merge_triangle_idx1[x0][y0]不存在时，merge_triangle_idx1[x0][y0]被推断为等于0。

merge_idx[x0][y0]指定合并候选列表的合并候选索引，其中x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。

当merge_idx[x0][y0]不存在时，merge_idx[x0][y0]的推断如下：

–如果mmvd_flag[x0][y0]等于1，则merge_idx[x0][y0]被推断为等于mmvd_merge_flag[x0][y0]。

–否则(merge_idx[x0][y0]等于0)，则merge_idx[x0][y0]被推断为等于0。

比特流一致性的要求是，当对应于当前编解码单元的ref_idx_l0[x0][y0]的参考图片是当前解码的图片时，mmvd_flag[x0][y0]、merge_subblock_flag[x0][y0]、ciip_flag[x0][y0]和merge_triangle_flag[x0][y0]都应等于0。

视频编码器200和视频解码器300可被配置为执行用于改进本公开所述的合并模式的语法的技术。例如，视频编码器200和视频解码器300可被配置为对指示三角形合并候选的最大数量的图块级别语法元素(例如，minus_max_num_triange_merge_cand)进行编解码，根据三角形合并候选的最大数量构造三角形合并候选列表，并使用三角形合并候选列表和三角形合并模式对视频数据进行编解码。

例如，在本公开的一些示例中，视频编码器200可以确定三角形合并候选的最大数量。另外，视频编码器200可以在比特流中信令通知第一三角形合并索引语法元素。第一三角形合并索引语法元素指定第一个三角形合并候选索引。第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选。此外，视频编码器200确定三角形合并候选的最大数量是否大于2。基于三角形合并候选的最大数量大于2，视频编码器200可以在比特流中信令通知第二三角形合并索引。第二三角形合并索引指定基于三角形形状的运动补偿候选列表的第二三角形合并候选。然而，基于三角形合并候选的最大数量不大于2，视频编码器200可以从比特流中省略第二三角形合并索引语法元素。然而，视频解码器300可以仍然能够确定第二三角形合并索引的值，因为第二三角形合并候选必须不同于第一三角形合并候选。在任一情况下，视频编码器200可以生成CU的预测块。作为生成CU的预测块的一部分，视频编码器200可以使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割。另外，视频编码器200可以使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割。视频编码器200可以基于CU的预测块和CU的样点生成CU的残差数据。

类似地，根据本公开的一个或多个示例，视频解码器300可以基于在包括视频数据的已编码的表示的比特流中信令通知的第一语法元素来确定三角形合并候选的最大数量。视频解码器300还可以从比特流中获取第一三角形合并索引语法元素。第一三角形合并索引语法元素指定第一三角形合并候选索引。第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选。此外，视频解码器300可以确定三角形合并候选的最大数量是否大于2。基于三角形合并候选的最大数量大于2，视频解码器300可以从比特流中获取第二三角形合并索引。第二三角形合并索引指定基于三角形形状的运动补偿候选列表的第二三角形合并候选。然而，基于三角形合并候选的最大数量不大于2，视频解码器300可以推断第二三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第二三角形合并候选，而无需从比特流中获取指定第二三角形合并候选索引的任何语法元素。这是因为第二个三角形合并候选必须不同于第一三角形合并候选，并且三角形候选的最大数量不大于2。此外，在此示例中，视频解码器300可以生成CU的预测块。作为生成CU的预测块的一部分，视频解码器300可以使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割。另外，视频解码器300可以使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割。视频解码器300可以基于CU的预测块和CU的残差数据来重建CU。

本公开通常可以指“信令通知”某些信息，诸如语法元素。术语“信令通知”通常可以指用于对已编码的视频数据进行解码的语法元素和/或其他数据的值的通信。也就是说，视频编码器200可以在比特流中信令通知语法元素的值。通常，信令通知是指在比特流中生成值。如上所述，源设备102可以基本上实时地将比特流传输到目的地设备116，或非实时地将比特流传输到目的地设备116，诸如在将语法元素存储到存储设备112以供稍后由目的地设备116检索时可能发生。

图8A和图8B是示出了示例四叉树二叉树(QTBT)结构130和对应的编解码树单元(CTU)132的概念图。实线表示四叉树划分，并且虚线指示二叉树划分。在二叉树的每一个划分(即非叶)节点中，信令通知一个标志以指示使用哪种划分类型(即水平或垂直)，其中在本示例中0指示水平划分，而1指示垂直划分。对于四叉树划分，由于四叉树节点将块水平和垂直地划分为大小相等的4个子块，因此无需指示划分类型。因此，视频编码器200和视频解码器300可以分别地对用于QTBT结构130的区域树级别(即第一级别)(即实线)的语法元素(例如划分信息)和用于QTBT结构130的预测树级别(即第二级别)(即虚线)的语法元素(例如划分信息)进行编码和解码。视频编码器200和视频解码器300可以分别地对针对由QTBT结构130的终端叶节点表示的CU的视频数据(诸如预测和变换数据)进行编码和解码。

通常，图8B的CTU132可以与参数相关联，这些参数定义与第一和第二级别处的QTBT结构130的节点相对应的块的大小。这些参数可以包括CTU大小(表示样点中CTU 132的大小)、最小四叉树大小(MinQTSize，表示最小允许四叉树叶节点大小)、最大二叉树大小(MaxBTSize，表示最大允许二叉树根节点大小)、最大二叉树深度(MaxBTDepth，表示最大允许二叉树深度)和最小二叉树大小(MinBTSize，表示最小允许二叉树叶节点大小)。

与CTU相对应的QTBT结构的根节点可以在QTBT结构的第一级别具有四个子节点，每一个子节点可以根据四叉树分割来被分割。即第一级别的节点要么是叶节点(没有子节点)要么具有四个子节点。QTBT结构130的示例表示这样的节点，其包括父节点和具有用于分支的实线的子节点。如果第一级别的节点不大于最大允许二进制树根节点大小(MaxBTSize)，则可以通过相应的二进制树进一步分割这些节点。可以对一个节点的二叉树划分进行迭代，直到划分生成的节点达到最小允许二叉树叶节点大小(MinBTSize)或最大允许二叉树深度(MaxBTDepth)。QTBT结构130的示例将这样的节点表示为具有用于分支的虚线。二叉树叶节点被称为编解码单元(CU)，其用于预测(例如图片内或图片间预测)和变换，而无需任何进一步分割。如上所述，CU也可以被称为“视频块”或“块”。

在QTBT分割结构的一个示例中，CTU大小被设置为128×128(亮度样点和两个对应的64×64色度样点)、MinQTSize被设置为16×16、MaxBTSize被设置为64×64、MinBTSize(针对宽度和高度两者)被设置为4并且MaxBTDepth被设置为4。首先将四叉树分割应用于CTU来生成四叉树叶节点。四叉树叶节点可以具有从16×16(即MinQTSize)到128×128(即CTU大小)的大小。如果四叉树叶节点为128×128，则四叉树叶节点将不会被二叉树进一步划分，因为其大小超过了MaxBTSize(即，在本例中为64×64)。否则，四叉树叶节点将被二叉树进一步分割。因此，四叉树叶节点也是二叉树的根节点，且具有为0的二叉树深度。当二叉树深度达到MaxBTDepth(在此示例中为4)时，不允许进一步划分。当二叉树节点具有等于MinBTSize(本例中为4)的宽度时，表示不允许进一步的垂直划分。类似地，具有等于MinBTSize的高度的二叉树节点意味着对于该二叉树节点不允许进一步的水平划分。如上所述，二叉树的叶节点被称为CU，并且根据预测和变换对其进行进一步处理而无需进一步分割。

图9是示出了可以执行本公开的技术的示例视频编码器200的框图。图9是出于解释的目的而被提供的，并且不应被认为是对本公开中广泛例示和描述的技术的限制。出于解释的目的，本公开在视频编解码标准(例如HEVC视频编解码标准和正在开发的H.266视频编解码标准)的上下文中描述了视频编码器200。然而，本公开的技术不限于这些视频编解码标准，并且通常适用于视频编码和解码。

在图9的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重建单元214、滤波器单元216、已解码的图片缓冲器(DPB)218，以及熵编码单元220。视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重建单元214、滤波器单元216、DPB 218和熵编码单元220中的任一个或全部可以在一个或多个处理器或处理电路中实现。此外，视频编码器200可包括附加或替代处理器或处理电路以执行这些和其他功能。

视频数据存储器230可以存储要由视频编码器200的组件进行编码的视频数据。视频编码器200可以从例如视频源104(图1)接收存储在视频数据存储器230中的视频数据。DPB 218可以充当参考图片存储器，其存储参考视频数据，以供视频编码器200预测后续视频数据时使用。视频数据存储器230和DPB 218可以由多种存储器设备中的任何一种形成，例如包括同步DRAM(SDRAM)的动态随机存取存储器(DRAM)、磁阻RAM(MRAM)、电阻RAM(RRAM)或其他类型的存储器设备。视频数据存储器230和DPB218可以由相同的存储器设备或单独的存储器设备提供。在各种示例中，如图所示，视频数据存储器230可以与视频编码器200的其他组件一起在芯片上，或者相对于那些组件在芯片之外。

在本公开中，对视频数据存储器230的引用不应被解释为限于视频编码器200内部的存储器，除非具体描述为这样，或者限于视频编码器200外部的存储器，除非具体描述为这样。相反，对视频数据存储器230的引用应当理解为对存储视频编码器200接收用于已编码的视频数据(例如，用于要编码的当前块的视频数据)的存储器的引用。图1的存储器106还可以提供来自视频编码器200的各个单元的输出的临时存储。

示出图9的各个单元以帮助理解由视频编码器200执行的操作。这些单元可以被实现为固定功能电路、可编程电路或其组合。固定功能电路是指提供特定功能并预设在可以被执行的操作上的电路。可编程电路是指可以被编程以执行各种任务并在可以被执行的操作中提供灵活功能的电路。例如，可编程电路可执行软件或固件，使可编程电路以由软件或固件的指令所定义的方式操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，一个或多个单元可以是不同的电路块(固定功能的或可编程的)，并且在一些示例中，一个或多个单元可以是集成电路。

视频编码器200可以包括由可编程电路形成的算术逻辑单元(ALU)、基本功能单元(EFU)、数字电路、模拟电路和/或可编程核心。在使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图1)可以存储视频编码器200接收和执行的软件的目标代码，或者视频编码器200内的另一存储器(未示出)可以存储这样的指令。

视频数据存储器230被配置成存储接收到的视频数据。视频编码器200可以从视频数据存储器230检索视频数据的图片，并将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是要编码的原始视频数据。

模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括附加功能单元以根据其他预测模式执行视频预测。作为示例，模式选择单元202可以包括调色板单元、帧内块复制单元(其可以是运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(LM)单元等。

模式选择单元202通常协调多个编码过程，以测试编码参数的组合和用于这种组合的结果的率失真值。编码参数可以包括CTUCU到的分割、CU的预测模式、CU的残差数据的变换类型、CU的残差数据的量化参数等。模式选择单元202可最终选择具有比其他经测试的组合更好的率失真值的编码参数的组合。

视频编码器200可将从视频数据存储器230中检索到的图片分割成一系列CTU，并将一个或多个CTU封装在条带内。模式选择单元202可以根据树结构(例如上述HEVC的QTBT结构或四叉树结构)来分割图片的CTU。如上所述，视频编码器200可以根据树结构从分割CTU来形成一个或多个CU。这样的CU通常也可以被称为“视频块”或“块”

通常，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以生成对当前块的预测块(例如，当前CU，或在HEVC中，PU和TU的重叠部分)。对于当前块的帧间预测，运动估计单元222可以执行运动搜索以识别一个或多个参考图片(例如，DPB 218中存储的一个或多个先前已编解码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可以例如根据绝对差和(SAD)、平方差和(SSD)、平均绝对差(MAD)、均方差(MSD)等来计算表示潜在参考块与当前块的相似程度的值。运动估计单元222通常可以使用当前块和正被考虑的参考块之间的逐样点差来执行这些计算。运动估计单元222可以识别具有从这些计算得到的最低值的参考块，该最低值指示与当前块最紧密匹配的参考块。

运动估计单元222可以形成一个或多个运动矢量(MV)，其定义参考图片中的参考块的位置相对于当前图片中的当前块的位置。然后，运动估计单元222可以将运动矢量提供给运动补偿单元224。例如，对于单向帧间预测，运动估计单元222可以提供单个运动矢量，而对于双向帧间预测，运动估计单元222可以提供两个运动矢量。然后，运动补偿单元224可以使用运动矢量生成预测块。例如，运动补偿单元224可以使用运动矢量来检索参考块的数据。作为另一示例，如果运动矢量具有分数样点精度，则运动补偿单元224可以根据一个或多个插值滤波器对预测块的值进行插值。此外，对于双向帧间预测，运动补偿单元224可以检索由相应的运动矢量标识的两个参考块的数据，并且例如通过逐样点平均或加权平均来组合检索到的数据。

运动估计单元222和运动补偿单元224可以实现三角形合并模式。因此，运动估计单元222和运动补偿单元224可以生成基于三角形形状的运动补偿候选列表。运动估计单元222和运动补偿单元224可以使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割。运动估计单元222和运动补偿单元224可以使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割。

作为另一个示例，对于帧内预测或帧内预测编解码，帧内预测单元226可以从与当前块相邻的样点生成预测块。例如，对于方向模式，帧内预测单元226通常可以在数学上组合相邻样点的值，并在跨当前块的定义方向上填充这些计算值以产生预测块。作为另一个示例，对于DC模式，帧内预测单元226可以计算到当前块的相邻样点的平均值，并且生成预测块以包括预测块的每个样点的该结果平均值。

模式选择单元202将预测块提供给残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始的、未编解码的版本，并从模式选择单元202接收预测块。残差生成单元204计算当前块和预测块之间的逐样点差。结果的逐样点差定义了当前块的残差块。在一些示例中，残差生成单元204还可以确定残差块中的样点值之间的差，以使用残差差分脉冲编解码调制(RDPCM)生成残差块。在一些示例中，可以使用执行二进制减法的一个或多个减法器电路来形成残差生成单元204。

在模式选择单元202将CU分割为PU的示例中，每个PU可以与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种大小的PU。如上所述，CU的大小可以指CU的亮度编解码块的大小，PU的大小可以指PU的亮度预测单元的大小。假设特定CU的大小为2N×2N，则视频编码器200可支持用于帧内预测的2N×2N或N×N的PU大小，以及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似的对称PU大小。视频编码器200和视频解码器300还可以支持用于帧间预测的2N×nU、2N×nD、nL×2N和nR×2N的PU大小的非对称分割。

在模式选择单元不进一步将CU分割为PU的示例中，每个CU可以与亮度编解码块以及对应的色度编解码块相关联。如上所述，CU的大小可以指CU的亮度编解码块的大小。视频编码器200和视频解码器300可以支持2N×2N、2N×N或N×2N的CU大小。

对于其他视频编解码技术，作为几个示例，诸如块内复制模式编解码、仿射模式编解码和线性模型(LM)模式编解码，模式选择单元202经由与编解码技术相关联的相应单元，生成正被编码的块的预测块。在一些示例中，例如调色板模式编解码，模式选择单元202可以不生成预测块，而是生成语法元素，这些语法元素指示基于所选择的调色板重建块的方式。在这种模式中，模式选择单元202可以向熵编码单元220提供这些语法元素以进行编码。

如上所述，残差生成单元204接收当前块和对应的预测块的视频数据。然后残差生成单元204生成当前块的残差块。为了生成残差块，残差生成单元204计算预测块与当前块之间的逐样点差。

变换处理单元206将一个或多个变换应用于残差块以生成变换系数的块(本文称为“变换系数块”)。变换处理单元206可以将各种变换应用于残差块以形成变换系数块。例如，变换处理单元206可以对残差块应用离散余弦变换(DCT)、方向变换、karhun-Loeve变换(KLT)或概念上相似的变换。在一些示例中，变换处理单元206可以对残差块执行多个变换，例如，初级变换和次级变换，例如旋转变换。在一些示例中，变换处理单元206不将变换应用于残差块。

量化单元208可以对变换系数块中的变换系数进行量化，以生成量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(QP)值对变换系数块的变换系数进行量化。视频编码器200(例如，经由模式选择单元202)可以通过调整与CU相关联的QP值来调整应用于与当前块相关联的变换系数块的量化程度。量化可能引入信息丢失，因此，量化的变换系数可能比由变换处理单元206产生的原始变换系数具有更低的精度。

逆量化单元210和逆变换处理单元212可以分别对量化的变换系数块应用逆量化和逆变换，以从变换系数块重建残差块。重建单元214可以基于重建的残差块和由模式选择单元202生成的预测块来产生与当前块相对应的重建块(尽管可能具有一定程度的失真)。例如，重建单元214可以将重建的残差块的样点加到由模式选择单元202生成的预测块的对应样点，以产生重建块。

滤波单元216可以对重建块执行一个或多个滤波操作。例如，滤波器单元216可以执行去方块操作以减少沿CU的边缘的块效应伪影。在一些示例中，可以跳过滤波器单元216的操作。

视频编码器200将重建块存储在DPB 218中。例如，在不需要滤波器单元216的操作的示例中，重建单元214可以将重建块存储到DPB 218。在需要滤波器单元216的操作的示例中，滤波器单元216可以将滤波后的重建块存储到DPB 218。运动估计单元222和运动补偿单元224可以从DPB 218中检索由重建的(和潜在地滤波的)块形成的参考图片，以对随后编码的图片的块进行帧间预测。另外，帧内预测单元226可以使用当前图片的DPB 218中的重建块来对当前图片中的其他块进行帧内预测。

通常，熵编码单元220可以对从视频编码器200的其他功能组件接收的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的量化的变换系数块进行熵编码。作为另一示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对作为视频数据的另一个示例的语法元素执行一个或多个熵编码操作，以生成熵编码的数据。例如，熵编码单元220可以对数据执行上下文自适应可变长度编解码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度编解码操作、基于语法的上下文自适应二进制算术编解码(SBAC)操作、概率间隔分割熵(PIPE)编解码操作、指数哥伦布(Exponential-Golomb)编码操作或对数据的另一种类型的熵编码操作。在一些示例中，熵编码单元220可以以旁路模式操作，其中语法元素不被熵编码。

视频编码器200可以输出比特流，该比特流包括重建条带或图片的块所需的熵编码的语法元素。具体地，熵编码单元220可以输出比特流。例如，根据本公开的技术，在使用三角形合并模式对CU进行编码的情况下，视频编码器200可以在比特流中信令通知第一三角形合并索引语法元素，其中第一三角形合并索引语法元素指定第一三角形合并候选索引。第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选。另外，视频编码器200可以确定三角形合并候选的最大数量是否大于2。基于三角形合并候选的最大数量不大于2，视频编码器200可以从比特流中省略指定第二三角形合并索引的第二三角形合并索引语法元素，该第二三角形合并索引指示基于三角形形状的运动补偿候选列表的第二三角形合并候选。第二三角形合并候选与第一三角形合并候选不同。

上述操作是关于块进行描述的。这种描述应当理解为用于亮度编解码块和/或色度编解码块的操作。如上所述，在一些示例中，亮度编解码块和色度编解码块是CU的亮度和色度分量。在一些示例中，亮度编解码块和色度编解码块是PU的亮度和色度分量。

在一些示例中，关于亮度编解码块执行的操作不需要针对色度编解码块重复。作为一个示例，为了识别色度块的运动矢量(MV)和参考图片，不需要重复用于识别亮度编解码块的运动矢量(MV)和参考图片的操作。相反，可以缩放亮度编解码块的MV以确定色度块的MV，并且参考图片可以是相同的。作为另一个示例，对于亮度编解码块和色度编解码块，帧内预测处理可以是相同的。

视频编码器200表示被配置为编码视频数据的设备的示例，该设备包括被配置为存储视频数据的存储器，以及在电路中实现并被配置为执行如本公开所述的用于改进合并模式的语法的技术的一个或多个处理单元。例如，一个或多个处理单元可被配置为对指示三角形合并候选的最大数量的图块级别语法元素(例如，minus_max_num_triange_merge_cand)进行编码，根据三角形合并候选的最大数量构造三角形合并候选列表，并使用三角形合并候选列表和三角形合并模式对视频数据进行编码。

在一些示例中，视频编码器200表示被配置为编码视频数据的设备的示例，其中该设备包括配置为存储视频数据的存储器，以及在电路中实现的一个或多个处理单元并且一个或多个处理单元被配置为确定三角形合并候选的最大数量；在比特流中信令通知第一三角形合并索引语法元素，该第一三角形合并索引语法元素指定第一三角形合并候选索引，该第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；确定三角形合并候选的最大数量是否大于2；基于三角形合并候选的最大数量大于2，在比特流中信令通知第二三角形合并索引，该第二三角形合并索引指定基于三角形形状的运动补偿候选列表的第二三角形合并候选；基于三角形合并候选的最大数量不大于2，从比特流中省略第二三角形合并索引语法元素，该第二三角形合并索引语法元素指定指示基于三角形形状的运动补偿候选列表的第二三角形合并候选的第二三角形合并候选索引，该第二三角形合并候选与该第一三角形合并候选不同；生成编解码单元(CU)的预测块，其中生成CU的预测块包括：使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割；以及使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割；以及基于CU的预测块和CU的样点生成CU的残差数据。

图10是示出了可以执行本公开的技术的示例视频解码器300的框图。图10是出于解释的目的而被提供的，并且不限制在本公开中广泛例示和描述的技术。出于解释的目的，本公开描述了根据JEM、VVC和HEVC的技术的视频解码器300。然而，本公开的技术可以由被配置成其他视频编解码标准的视频编解码设备来执行。

在图10的示例中，视频解码器300包括已编解码的图片缓冲器(CPB)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重建单元310、滤波器单元312和已解码的图片缓冲器(DPB)314。CPB存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重建单元310、滤波器单元312和DPB 314中的任一个或全部可以在一个或多个处理器或处理电路中实现。此外，视频解码器300可包括附加或替代处理器或处理电路以执行这些和其他功能。

预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括附加单元，以根据其他预测模式执行预测。作为示例，预测处理单元304可以包括调色板单元、帧内块复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(LM)单元等。在其他示例中，视频解码器300可以包括更多、更少或不同的功能组件。

CPB存储器320可以存储要由视频解码器300的组件进行解码的视频数据，例如已编码的视频比特流。存储在CPB存储器320中的视频数据可以例如从计算机可读介质110(图1)获得。CPB存储器320可以包括存储来自已编码的视频比特流的已编码的视频数据(例如，语法元素)的CPB。此外，CPB存储器320可以存储除已编解码图片的语法元素以外的视频数据，例如表示来自视频解码器300的各个单元的输出的临时数据。DPB 314通常存储已解码的图片，视频解码器300在对已编码的的视频比特流的后续数据或图片进行解码时可以输出已解码的图片和/或将其用作参考视频数据。CPB存储器320和DPB 314可以由多种存储器设备中的任何一种形成，例如包括同步DRAM(SDRAM)的动态随机存取存储器(DRAM)、磁阻RAM(MRAM)、电阻RAM(RRAM)或其他类型的存储器设备。CPB存储器320和DPB 314可以由同一存储器设备或单独的存储器设备提供。在各种示例中，CPB存储器320可以与视频解码器300的其他组件一起在芯片上，或者相对于那些组件在芯片之外。

附加地或替代地，在一些示例中，视频解码器300可以从存储器120(图1)检索已编解码的视频数据。即，存储器120可以如上所讨论的用CPB存储器320存储数据。同样地，当视频解码器300的一些或全部功能在要由视频解码器300的处理电路执行的软件中实现时，存储器120可以存储要由视频解码器300执行的指令。

示出图10中所示的各种单元以帮助理解视频解码器300执行的操作。这些单元可以被实现为固定功能电路、可编程电路或其组合。与图9类似，固定功能电路是指提供特定功能并且预设在可以被执行的操作上的电路。可编程电路是指可被编程以执行各种任务并在可以被执行的操作中提供灵活功能的电路。例如，可编程电路可执行软件或固件，使可编程电路以由软件或固件的指令所定义的方式操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，一个或多个单元可以是不同的电路块(固定功能的或可编程的)，并且在一些示例中，一个或多个单元可以是集成电路。

视频解码器300可以包括由可编程电路形成的ALU、EFU、数字电路、模拟电路和/或可编程核心。在视频解码器300的操作由在可编程电路上执行的软件执行的示例中，片上或片外存储器可以存储视频解码器300接收和执行的软件的指令(例如，目标代码)。

熵解码单元302可以从CPB接收已编码的视频数据，并且对视频数据进行熵解码以再现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重建单元310和滤波器单元312可以基于从比特流提取的语法元素生成解码的视频数据。

通常，视频解码器300在逐块地基础上重建图片。视频解码器300可以单独地对每个块执行重建操作(其中当前正在重建的(即解码的)块可以被称为“当前块”)。

熵解码单元302可以对定义量化的变换系数块的量化的变换系数的语法元素以及诸如量化参数(QP)和/或(多个)变换模式指示的变换信息进行熵解码。逆量化单元306可以使用与量化的变换系数块相关联的QP来确定量化程度，并且同样地，确定逆量化程度以供逆量化单元306应用。逆量化单元306例如可以执行按比特左移操作以对量化的变换系数进行逆量化。逆量化单元306由此可以形成包括变换系数的变换系数块。

在逆量化单元306形成变换系数块之后，逆变换处理单元308可以对变换系数块应用一个或多个逆变换，以生成与当前块相关联的残差块。例如，逆变换处理单元308可以对变换系数块应用逆DCT、逆整数变换、逆Karhunen-Loeve变换(KLT)、逆旋转变换、逆方向变换或另一逆变换。

此外，预测处理单元304根据由熵解码单元302熵解码的预测信息语法元素来生成预测块。例如，如果预测信息语法元素指示当前块是被帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示要从中检索参考块的DPB 314中的参考图片，以及标识参考图片中的参考块的位置的运动矢量相对于当前图片中的当前块的位置。运动补偿单元316通常可以以与关于运动补偿单元224(图9)描述的方式基本相似的方式来执行帧间预测处理。

运动补偿单元316可以实现三角形合并模式。因此，运动补偿单元316可以生成基于三角形形状的运动补偿候选列表。运动补偿单元316可以使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割。运动补偿单元316可以使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割。

此外，为了支持三角形合并模式，熵解码单元302可以基于在比特流中信令通知的第一语法元素(例如，minus_max_num_triangle_merge_cand)确定三角形合并候选的最大数量。熵解码单元302可以从比特流中获取第一三角形合并索引语法元素。第一三角形合并索引语法元素指定第一三角形合并候选索引。第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选。另外，熵解码单元302可以确定三角形合并候选的最大数量是否大于2。基于三角形合并候选的最大数量大于2，熵解码单元302可以从比特流中获取第二三角形合并索引。第二三角形合并索引指定基于三角形形状的运动补偿候选列表的第二三角形合并候选。基于三角形合并候选的最大数量不大于2，熵解码单元302可以推断第二三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第二三角形合并候选，而无需从比特流中获取指定第二三角形合并候选索引的任何语法元素。熵解码单元302可以这样做，因为第二三角形合并候选必须不同于第一三角形合并候选。

作为另一示例，如果预测信息语法元素指示当前块是被帧内预测的，则帧内预测单元318可以根据由预测信息语法元素指示的帧内预测模式生成预测块。再次，帧内预测单元318通常可以以与关于帧内预测单元226(图9)描述的方式基本相似的方式来执行帧内预测处理。帧内预测单元318可以从DPB 314检索当前块的相邻样点的数据。

重建单元310可以使用预测块和残差块重建当前块。例如，重建单元310可以将残差块的样点加到预测块的对应样点，以重建当前块。

滤波单元312可以对重建块执行一个或多个滤波操作。例如，滤波器单元312可以执行去方块操作，以减少沿重建块的边缘的块效应伪影。不必在所有示例中执行滤波器单元312的操作。

视频解码器300可以将重建块存储在DPB 314中。例如，在不执行滤波单元312的操作的示例中，重建单元310可以将重建块存储到DPB 314。在执行滤波单元312的操作的示例中，滤波单元312可以将滤波后的重建块存储到DPB 314。如上所述，DPB 314可以向预测处理单元304提供参考信息，例如用于帧内预测的当前图片的样点和用于后续运动补偿的先前已解码的图片。此外，视频解码器300可以输出来自DPB的已解码的图片，用于随后在显示设备(诸如图1的显示设备118)上呈现。

以此方式，视频解码器300表示视频解码设备的示例，该视频解码设备包括被配置为存储视频数据的存储器，以及在电路中实现并被配置为执行如本公开所述的用于改进合并模式的语法的技术的一个或多个处理单元。例如，一个或多个处理单元可被配置为对指示三角形合并候选的最大数量的图块级别语法元素(例如，minus_max_num_triange_merge_cand)进行解码，根据三角形合并候选的最大数量构造三角形合并候选列表，并使用三角形合并候选列表和三角形合并模式对视频数据进行解码。

此外，在一些示例中，视频解码器300可以表示视频解码设备的示例，该视频解码设备包括被配置为存储视频数据的存储器和在电路中实现的一个或多个处理单元，并且一个或多个处理单元被配置为基于在包括视频数据的已编码的表示的比特流中信令通知的第一语法元素来确定三角形合并候选的最大数量；从比特流中获取第一三角形合并索引语法元素，该第一三角形合并索引语法元素指定第一三角形合并候选索引，该第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；确定三角形合并候选的最大数量是否大于2；基于三角形合并候选的最大数量大于2，从比特流中获取第二三角形合并索引，该第二三角形合并索引指定基于三角形形状的运动补偿候选列表的第二三角形合并候选；基于三角形合并候选的最大数量不大于2，推断第二三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第二三角形合并候选，而无需从比特流中获取指定第二三角形合并候选索引的任何语法元素，该第二三角形合并候选与该第一三角形合并候选不同；生成CU的预测块，其中生成CU的预测块包括：使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割；以及使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割；以及基于CU的预测块和CU的残差数据重建CU。

在VVC的当前语法设计中，没有图块级别标志来定义三角形合并候选的最大数量MaxNumTriangleMergeCand。注意，已经存在图块级别标志通过语法参数six_minus_max_num_merge_cand和five_minus_max_num_subblock_merge_cand定义正常合并候选的最大数量MaxNumMergeCand和子块合并候选的最大数量MaxNumSubblockMergeCand。注意，MaxNumMergeCand和MaxNumSubblockMergeCand的数量越少可能使得解码器侧的复杂性较低。在VVC测试模型4中，MaxNumTriangleMergeCand被设置为5。然而，可能希望以更高级别的语法(例如，图块、图片参数集(PPS)、序列参数集(SPS)等)灵活地设置MaxNumTriangleMergeCand，以允许设置较少数量的MaxNumTriangleMergeCand。这些技术可以满足可能需要较低解码器复杂度的场景的需求。

本公开建议添加图块级别语法元素minus_max_num_triangle_merge_cand，以指示三角形合并候选的最大数量MaxNumTriangleMergeCand。MaxNumTriangleMergeCand可按如下方式导出：MaxNumTriangleMergeCand＝T-minus_max_num_triangle_merge_cand，其中T是预先分配的正整数，MaxNumTriangleMergeCand的最小值可以被定义为U。因此，minus_max_num_triangle_merge_cand可以在0到(T-U)的范围内(包括0和T-U)。一个实施例是将T设置为5，将U设置为2。然后，minus_max_num_triangle_merge_cand在0到3的范围内(包括0和3)。语法和语义的对应修改可在下表中用标记<m>…</m>显示：

VVC草案4第7.3.2.1节

seq_parameter_set_rbsp(){	描述符
		…
sps_triangle_enabled_flag	u(1)
		…
}

VVC草案4第7.3.3.1节

在一些示例中，视频编码器200不信令通知并且视频解码器300不解析five_minus_max_num_subblock_merge_cand和six_minus_max_num_merge_cand后面的minus_max_num_triangle_merge_cand。

在上面描述的某些示例中，视频编码器200和视频解码器300可被配置为对指示三角形合并候选的最大数量的图块级别语法元素(例如，minus_max_num_triange_merge_cand)进行编解码，根据三角形合并候选的最大数量构造三角形合并候选列表，并使用三角形合并候选列表和三角形合并模式对视频数据进行编解码。

在另一个示例中，MaxNumTriangleMergeCand＝2。在VVC的一些示例中，始终解析merge_triangle_idx0[x0][y0]和merge_triangle_idx1[x0][y0]。当MaxNumTriangleMergeCand＝2时，本公开建议跳过解析merge_triangle_idx1[x0][y0]，因为merge_triangle_idx1[x0][y0]必须是merge_triangle_idx0[x0][y0]的相反数，即当merge_triangle_idx0[x0][y0]＝1，merge_triangle_idx1[x0][y0]＝0，以及当merge_triangle_idx0[x0][y0]＝0，merge_triangle_idx1[x0][y0]＝1。语法和语义的对应修改可以如下表所示(用标记<m>…</m>标志)：

另一个示例与表8-10中针对MaxNumTriangleMergeCand的不同数量的合并候选对的优先级有关。在当前表中，由于一些合并候选对(m，n)被放在不能使用的对之后，因此当MaxNumTriangleMergeCand<4时，二值化效率可能较低。一种情况是MaxNumTriangleMergeCand＝4：当MaxNumTriangleMergeCand＝4，(m，n)＝(3，1)被放在不能使用的对之后，即m或n＝4的任何对。本公开描述了改进表设计的两种技术。第一种技术是通过基于以下优先级对合并候选对(m，n)重新排序来更改表：(m，n)＝(1，0)和(0，1)是放入表中的第一组，(m，n)＝(2，0)、(2，1)、(0，2)和(1，2)是放入表中的第二组，然后(m，n)＝(3，0)、(3，1)、(3，2)、(0，3)、(1，3)和(2，3)是放入表中的第三组，(m，n)＝(4，0)、(4，3)、(4，2)、(4，1)、(0，4)、(1，4)、(2，4)和(3，4)是放入表中的最后一组。注意，每组中(m，n)的顺序可以不限于上面所示的实施例。另一种技术是对MaxNumTriangleMergeCand的不同的数量使用可切换的三角形合并表。MaxNumTriangleMergeCand的每个值对应于不同的三角形合并表。一个示例是将T设置为5，将U设置为2。那么MaxNumTriangleMergeCand的范围是2到5(包括2和5)。最多有4个不同的三角形合并表，分别被应用于不同的MaxNumTriangleMergeCand值。

因此，在一些示例中，视频编码器200和视频解码器300可以基于表生成基于三角形形状的运动补偿候选列表。在一些这样的示例中，表中的条目对应于合并候选列表中的合并候选对的不同组合。第一和第二三角形合并候选索引指定表中的相应条目。在表中对条目进行排序，以便在给定三角形合并候选的最大数量的情况下，如果无法使用第二合并候选对，则与第一合并候选对对应的条目不会被放在与第二合并候选对对应的另一条目之后。

在其他示例中，视频编码器200和视频解码器300可以基于多个表中的所选择的表生成基于三角形形状的运动补偿候选列表。多个表中的每个表对应于三角形合并候选的不同的最大数量。所选择的表对应于基于第一语法元素确定的三角形合并候选的最大数量。表中的条目对应于合并候选列表中的合并候选对的不同组合。第一和第二三角形合并候选索引指定所选择的表中的相应条目。

在VVC的当前语法设计中，没有图块级别标志或语法元素来定义三角形合并候选的最大数量MaxNumTriangleMergeCand和MMVD基本MV候选的最大数量MaxNumMmvdBaseMergeCand。注意，已经存在高级别标志以通过语法参数six_minus_max_num_merge_cand和five_minus_max_num_subblock_merge_cand定义正常合并候选的最大数量MaxNumMergeCand和子块合并候选的最大数量MaxNumSubblockMergeCand。合并候选的数量越少，使得编码器和解码器端的复杂度就越低。希望以更高级别的语法(例如，图块、PPS、SPS等)灵活地设置MaxNumTriangleMergeCand和MaxNumMmvdBaseMergeCand，以允许设置较少的数量的MaxNumTriangleMergeCand。较少数量的合并候选可以满足可能需要较低的编码器和解码器复杂度的场景中的需求。

本公开提出了可改进VVC信令的几个变化示例。下面提供了列举的示例的集合。下面提供的列举示例可单独使用或组合使用，包括与本公开其他地方提供的示例组合使用。

示例1：在该示例中，添加了SPS级别标志sps_mmvd_enabled_flag，以指定MMVD可用于解码CVS中的图片。sps_mmvd_enabled_flag允许VVC在CVS中灵活地启用或禁用MMVD。与MMVD相关的一些较低级别标志可以使用此sps_mmvd_enabled_flag作为条件检查，以减少信令开销。在此示例中，VVC草案4如标记<！>…</！>所示被更改：

示例2：建议添加图块组级别语法元素(例如，标志或其他类型的语法元素)max_num_mmvd_merge_base_cand，以指定图块组中支持的MMVD基本合并候选的最大数量。例如，在一些示例中，max_num_mmvd_merge_base_cand指定图块组中支持的MMVD基本合并候选的最大数量减1。MMVD基本合并候选的最大数量MaxNumMmvdBaseMergeCand可以(例如，通过视频编码器200和/或视频解码器300)如下导出：

MaxNumMmvdBaseMergeCand＝1+max_num_mmvd_merge_base_cand

在该示例中，MaxNumMmvdBaseMergeCand的值应在1到2的范围内(包括1和2)。MaxNumMmvdBaseMergeCand允许VVC在图块组中灵活启用或禁用MMVD。与MMVD相关的CU级别标志可以使用此max_num_mmvd_merge_base_cand进行隐式推导并减少信令开销。结合示例1，可以在解析max_num_mmvd_merge_base_cand之前将SPS标志sps_mmvd_enabled_flag添加为条件检查，以减少信令开销。当MaxNumMmvdBaseMergeCand＝2且MaxNumMergeCand＝1时，即max_num_mmvd_merge_base_cand＝1且six_minus_max_num_merge_cand＝5，因为MMVD基本合并候选直接重复使用第一个MaxNumMmvdBaseMergeCand可用的正常合并候选，所以MMVD基本合并候选之一是无用的。在这种情况下，至少一个正常合并候选对于MMVD基本合并候选不可用。因为在MaxNumMergeCand＝1的情况下，可以在不影响编解码性能的情况下大幅降低复杂度，所以当six_minus_max_num_merge_cand＝5，VVC编解码器可以通过将MaxNumMmvdBaseMergeCand设置为1而进一步降低复杂度而不影响编解码性能。因此，在解析max_num_mmvd_merge_base_cand之前，可以添加图块组标志six_minus_max_num_merge_cand<5作为条件检查，以进一步减少信令开销。当six_minus_max_num_merge_cand＝5时，max_num_mmvd_merge_base_cand可以被推断为0。下表用<！>…</！>标记示出了对VVC草案4的建议更改：

另一个示例是，在解析max_num_mmvd_merge_base_cand之前，仅使用至少一个条件(例如sps_mmvd_enabled_flag、six_minus_max_num_merge_cand<5以及其他条件)作为条件检查，以减少信令开销。在一些示例中，可以在没有任何条件的情况下信令通知max_num_mmvd_merge_base_cand。

示例3：该建议的方法是在示例2的基础上。在示例3中，添加条件检查以跳过对mmvd_merge_flag的解析，因为MMVD基本合并候选的数量等于1，即MaxNumMmvdBaseMergeCand>1。如果该语法与示例1相结合，则可以在mmvd_flag之前添加条件检查sps_mmvd_enabled_flag，以减少冗余的信令开销。下表用<！>…</！>标记示出了对VVC草案4的建议更改：

另一个示例是，在解析mmvd_merge_flag之前，仅使用其中一个条件(例如MaxNumMmvdBaseMergeCand和MaxNumMergeCand和其他条件)作为条件检查，以减少信令开销。

示例4：在该示例中，添加了图块组级别标志max_num_mmvd_merge_base_cand，以指定图块组中支持的MMVD基本合并候选的最大数量。例如，max_num_mmvd_merge_base_cand可以指定图块组中支持的MMVD基本合并候选的最大数量减1。MMVD基本合并候选的最大数量MaxNumMmvdBaseMergeCand推导如下：

MaxNumMmvdBaseMergeCand＝1+max_num_mmvd_merge_base_cand

MaxNumMmvdBaseMergeCand的值应在1到2的范围内(包括1和2)。建议将six_minus_max_num_merge_cand的最小数量限制为2，因为max_num_mmvd_merge_base_cand为真。该建议的更改可以保证可以针对数量为2的MMVD基本合并候选创建和提供至少两个正常合并候选。可以提供图块组级别标志six_minus_max_num_ibc_merge_cand，以指定用于帧内块复制(IBC)模式的合并候选的数量，即MaxNumIbcMergeCand。此更改可以避免MaxNumMergeCand、MaxNumIbcMergeCand和MaxNumMmvdBaseMergeCand之间的歧义。下表用<！>…</！>标记示出了对VVC草案4的建议更改以及在下表中示出了<d>…</d>标记以指示删除：

第7.3.4.1节

six_minus_max_num_merge_cand指定从6中减去图块组中支持的合并运动矢量预测(MVP)候选的最大数量。合并MVP候选的最大数量MaxNumMergeCand的推导如下：

MaxNumMergeCand＝6-six_minus_max_num_merge_cand

MaxNumMergeCand的值应在<！>max_num_mmvd_merge_base_cand</！>到6的范围内(包括<！>max_num_mmvd_merge_base_cand</！>和6)。

MaxNumMergeCand的另一个实施例将SPS MMVD标志组合如下：

MaxNumMergeCand的值应在<！>1+sps_mmvd_enabled_flag</！>到6的范围内(包括<！>1+sps_mmvd_enabled_flag</！>和6)。

<！>six_minus_max_num_ibc_merge_cand指定从6中减去图块组中支持的IBC合并运动矢量预测(MVP)候选的最大数量。IBC合并MVP候选的最大数量MaxNumIbcMergeCand的推导如下：

MaxNumIbcMergeCand＝6-six_minus_max_num_ibc_merge_cand

MaxNumIbcMergeCand的值应在1到6的范围内(包括1和6)</！>。

第7.3.6.8节

示例5：在该示例中，six_minus_max_num_merge_cand的最小数量被限制为2，而不是1。该建议的更改可以保证可以针对数量为2的MMVD基本合并候选创建和提供至少两个正常合并候选。由于有两个正常的合并候选，因此在merge_idx之前不需要具有条件检查MaxNumMergeCand>1。下表示出了对VVC草案4的建议更改，用<！>…</！>标记指示更改以及用<d>…</d>标记指示删除：

第7.3.4.1节

six_minus_max_num_merge_cand指定从6中减去图块组中支持的合并运动矢量预测(MVP)候选的最大数量。合并MVP候选的最大数量MaxNumMergeCand的推导如下：

MaxNumMergeCand＝6-six_minus_max_num_merge_cand

MaxNumMergeCand的值应在<！>2</！>到6的范围内(包括<！>2</！>和6)。

第7.3.6.8节

示例6：在当前的VVC测试模型(VTM)设计中，mergeCandList中的合并候选的数量被设置为MaxNumMergeCand。在示例6中建议，如果此CU中MaxNumMergeCand＝1并且启用了mmvd_flag，则此CU的mergeCandList中的合并候选的数量被推断为2，而不是MaxNumMergeCand。在示例2和示例4的基础上，将示例6修改如下：如果此CU中MaxNumMergeCand＝1、MaxNumMmvdBaseMergeCand＝2并且启用了mmvd_flag，则此CU的mergeCandList中的合并候选的数量被推断为2，而不是MaxNumMergeCand。

示例1至示例6的组合是可能的。然后，有三种改进的解决方案：

解决方案1：示例1、示例2和示例3的组合。当MaxNumMergeCand＝1时，MaxNumMmvdBaseMergeCand在图块组级别或CU级别被强制为1。

解决方案2：示例1和示例4的组合。当MaxNumMmvdBaseMergeCand＝2时，MaxNumMergeCand在图块组级别或CU级别被强制为2。

解决方案3：示例6。当MaxNumMergeCand＝1且MaxNumMmvdBaseMergeCand＝2时，由于此CU中启用了mmvd_flag，因此mergeCandList中的合并候选的数量被推断为2。

三角形合并候选的最大数量

有几个建议的更改以改进VVC信令：

示例7：在该示例中，添加了图块级别标志five_minus_max_num_triangle_merge_cand，以指示三角形合并候选的最大数量MaxNumTriangleMergeCand。MaxNumTriangleMergeCand可按如下方式导出：MaxNumTriangleMergeCand＝T-five_minus_max_num_triangle_merge_cand，其中T是预先分配的正整数，并且MaxNumTriangleMergeCand的最小值可以被定义为U。因此，five_minus_max_num_triangle_merge_cand可以在0到(T-U)的范围内(包括0和T-U)。在一个示例中，将T设置为5，将U设置为2。然后，five_minus_max_num_triangle_merge_cand在0到3的范围内(包括0和3)。另一个示例与MaxNumTriangleMergeCand＝2的情况有关。在VVC草案4的设计中，始终解析merge_triangle_idx0和merge_triangle_idx1。当MaxNumTriangleMergeCand＝2时，建议跳过解析mmerge_triangle_idx1，因为merge_triangle_idx1必须是merge_triangle_idx0的相反数，即当merge_triangle_idx0＝1时，merge_triangle_idx1＝0以及当merge_triangle_idx0＝0时，merge_triangle_idx1＝1。下表用<！>…</！>标记示出了对VVC草案4的建议更改：

第7.3.4.1节

five_minus_max_num_triangle_merge_cand指定从5中减去图块组中支持的三角形合并运动矢量预测(MVP)候选的最大数量。合并MVP候选的最大数量MaxNumTriangleMergeCand的推导如下：

MaxNumTriangleMergeCand＝5-five_minus_max_num_triangle_merge_candMaxNumTriangleMergeCand的值应在2到5的范围内(包括2和5)。

VVC草案4第7.3.6.8节

图11是示出了用于编码当前块的示例方法的流程图。本公开的流程图作为示例呈现。在其他示例中，流程图可包括更多、更少或不同的步骤，和/或可按不同顺序或并行地执行的步骤。关于图11，当前块可以包括当前CU。尽管关于视频编码器200(图1和图9)进行了描述，但应理解，其他设备可以被配置为执行与图11的方法类似的方法。

在本示例中，视频编码器200最初预测当前块(350)。例如，视频编码器200可以形成当前块的预测块。根据本公开的技术，视频编码器200可以使用三角形合并模式形成预测块并信令通知相关联的语法元素。然后，视频编码器200可以计算当前块的残差块(352)。为了计算残差块，视频编码器200可以计算当前块的原始、未编解码的块和预测块之间的差。然后，视频编码器200可以对残差块的系数进行变换和量化(354)。接下来，视频编码器200可以对残差块的量化的变换系数进行扫描(356)。在扫描期间或在扫描之后，视频编码器200可以对变换系数进行熵编码(358)。例如，视频编码器200可以使用CAVLC或CABAC对变换系数进行编码。然后，视频编码器200可以输出块的熵编码的数据(360)。

图12是示出了用于解码当前视频数据块的示例方法的流程图。当前块可以包括当前CU。尽管关于视频解码器300(图1和图10)进行了描述，但应理解，其他设备可以被配置为执行与图12的方法类似的方法。

视频解码器300可以接收当前块的熵编解码的数据，例如对应于当前块的残差块的变换系数的熵编解码的预测信息和熵编解码的数据(370)。视频解码器300可以对熵编解码的数据进行熵解码，以确定当前块的预测信息，并再现残差块的变换系数(372)。视频解码器300可以例如使用由当前块的预测信息指示的帧内或帧间预测模式来预测当前块，以计算当前块的预测块(374)。视频解码器300可以使用三角形合并模式来计算当前块的预测块，并根据本公开的一个或多个技术来解码相关联的语法元素。然后，视频解码器300可以对再现的变换系数进行扫描，以创建量化的变换系数块(376)。然后，视频解码器300可以对变换系数进行逆量化和逆变换以产生残差块(378)。最终，视频解码器300可以通过组合预测块和残差块对当前块进行解码(380)。

图13是示出了根据本公开的一个或多个技术的示例编码方法的流程图。在图13的示例中，视频编码器200可以确定三角形合并候选的最大数量(400)。例如，视频编码器200可以基于提供给视频编码器200的配置输入来确定三角形合并候选的最大数量。在一些示例中，视频编码器200可以尝试三角形合并候选的最大数量的不同值，以确定最佳的三角形合并候选的最大数量。

在一些示例中，视频编码器200可以在比特流中信令通知第一语法元素(例如，sps_triangle_enabled_flag)，其中该语法元素指示是否启用三角形合并模式。在这样的示例中，视频编码器200可以基于指示三角形合并模式被启用的语法元素来信令通知第二语法元素(例如，five_minus_max_num_triangle_merge_cand)。例如，视频编码器200可以将第二语法元素的值确定为T减去三角形合并候选的最大数量，其中T是预先分配的正整数(例如，5)。然后，视频编码器200可以在比特流中信令通知该第二语法元素。

此外，在图13的示例中，视频编码器200可以在比特流中信令通知第一三角形合并索引语法元素(例如，merge_triangle_idx0)(402)。第一三角形合并索引语法元素指定第一三角形合并候选索引。第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选。该第一三角形合并候选不必是基于三角形形状的运动补偿候选列表中第一个出现的三角形合并候选。

视频编码器200可以确定三角形合并候选的最大数量是否大于2(404)。响应于确定三角形合并候选的最大数量大于2(404的“是”分支)，视频编码器200可以在比特流中信令通知第二三角形合并索引语法元素(例如，merge_triangle_idx1)(406)。第二三角形合并索引语法元素指定第二三角形合并候选索引。第二三角形合并候选索引指定基于三角形形状的运动补偿候选列表的第二三角形合并候选。第二三角形合并候选不必是基于三角形形状的运动补偿候选列表中第二个出现的三角形合并候选。相反，第二三角形合并候选可以是基于三角形形状的运动补偿候选列表中除第一三角形合并候选之外的任何三角形合并候选。

在一些示例中，视频解码器300基于表生成基于三角形形状的运动补偿候选列表。在一些这样的示例中，表中的条目对应于合并候选列表中的合并候选对的不同组合。第一三角形合并候选索引和第二三角形合并候选索引指定表中的相应条目。在表中对条目进行排序，以便在给定三角形合并候选的最大数量的情况下，如果无法使用第二合并候选对，则与第一合并候选对对应的条目不会被放在与第二合并候选对对应的另一条目之后。

在其他示例中，视频解码器300可以基于多个表中的所选择的表生成基于三角形形状的运动补偿候选列表。多个表中的每个表对应于三角形合并候选的不同的最大数量。所选择的表对应于基于第一语法元素确定的三角形合并候选的最大数量。表中的条目对应于合并候选列表中的合并候选对的不同组合。第一三角形合并候选索引和第二三角形合并候选索引指定所选择的表中的相应条目。

响应于确定三角形合并候选的最大数量不大于2(404的“否”分支)，视频编码器200可以从比特流中省略第二三角形合并索引语法元素(408)。因此，视频编码器200可以从比特流中省略指定第二三角形合并候选索引的三角形合并索引语法元素，该第二三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第二三角形合并候选。第二三角形合并候选与第一三角形合并候选不同。

此外，在图13的示例中，视频编码器200可以生成CU的预测块(410)。为了生成CU的预测块，视频编码器200可以使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割。另外，视频编码器200可以使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割。

视频编码器200可以基于CU的预测块和CU的样点生成CU的残差数据(412)。例如，视频编码器200可以通过从CU的对应样点减去预测块的样点来生成CU的残差数据。

图14是示出了根据本公开的一个或多个技术的示例解码方法的流程图。在图14的示例中，视频解码器300可以基于在包括视频数据的已编码的表示的比特流中信令通知的第一语法元素(例如，minus_max_num_triangle_merge_cand)确定三角形合并候选的最大数量(450)。在一些示例中，为了确定三角形合并候选的最大数量，视频解码器300可以从比特流中获取第一语法元素，并将三角形合并候选的最大数量确定为T减去由第一语法元素指定的值，其中T是预先分配的正整数(例如，5)。

此外，在一些示例中，比特流中的第一语法元素的信令可以取决于另一语法元素(例如，sps_triangle_enabled_flag)是否指示三角形合并模式已被启用。因此，在一个示例中，视频解码器300可以从比特流中获取语法元素(例如，sps_triangle_enabled_flag)，其中该语法元素指示是否启用了三角形合并模式。此外，在该示例中，视频解码器300可以基于指示三角形合并模式被启用的语法元素来获得第一语法元素(例如，minus_max_num_triangle_merge_cand)。

另外，在图14的示例中，视频解码器300可以从比特流中获取第一三角形合并索引语法元素(例如，merge_triangle_idx0)(452)。第一三角形合并索引语法元素指定第一三角形合并候选索引。第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选。该第一三角形合并候选不必是基于三角形形状的运动补偿候选列表中第一个出现的三角形合并候选。

此外，视频解码器300可以确定三角形合并候选的最大数量是否大于2(454)。响应于确定三角形合并候选的最大数量大于2(454的“是”分支)，视频解码器300可从比特流中获取第二三角形合并索引语法元素(456)。第二三角形合并索引语法元素指定第二三角形合并候选索引。第二三角形合并候选索引指定基于三角形形状的运动补偿候选列表的第二三角形合并候选。第二三角形合并候选不必是基于三角形形状的运动补偿候选列表中第二个出现的三角形合并候选。相反，第二三角形合并候选可以是基于三角形形状的运动补偿候选列表中除第一三角形合并候选之外的任何三角形合并候选。

在一些示例中，视频解码器300基于表生成基于三角形形状的运动补偿候选列表。在一些这样的示例中，表中的条目对应于合并候选列表中的合并候选对的不同组合。第一三角形合并候选索引和第二三角形合并候选索引指定表中的相应条目。在表中对条目进行排序，以便在给定三角形合并候选的最大数量的情况下，如果无法使用第二合并候选对，则与第一合并候选对对应的条目不会被放在与第二合并候选对对应的另一条目之后。

在其他示例中，视频解码器300可以基于多个表中的所选择的表生成基于三角形形状的运动补偿候选列表。多个表中的每个表对应于三角形合并候选的不同的最大数量。所选择的表对应于基于第一语法元素确定的三角形合并候选的最大数量。表中的条目对应于合并候选列表中的合并候选对的不同组合。第一三角形合并候选索引和第二三角形合并候选索引指定所选择的表中的相应条目。

响应于确定三角形合并候选的最大数量不大于2(454的“否”分支)，视频解码器300可以推断第二三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第二三角形合并候选，而无需从比特流中获取指定第二三角形合并候选索引的任何语法元素(458)。第二三角形合并候选可以不同于第一三角形合并候选。

此外，在图14的示例中，视频解码器300可以生成CU的预测块(460)。作为生成CU的预测块的一部分，视频解码器300可以使用第一三角形合并候选的运动信息来帧间预测CU的第一三角形分割。另外，视频解码器300可以使用第二三角形合并候选的运动信息来帧间预测CU的第二三角形分割。

视频解码器300可以基于CU的预测块和CU的残差数据来重建CU(462)。例如，视频解码器300可以将CU的预测块的样点加到残差数据的对应样点以重建CU。

尽管本公开的技术主要关于其中CU被对角分割成两个大小均匀的分割的三角形合并模式进行了描述，但是本发明的技术也可适用于其中CU被对角线分割成两个大小不均匀的分割的几何分割模式。例如，视频编码器200可以确定几何分割模式合并候选的最大数量；在比特流中信令通知第一几何分割模式合并索引语法元素，该第一几何分割模式合并索引语法元素指定第一几何分割模式合并候选索引，该第一几何分割模式合并候选索引指示运动补偿候选列表的第一几何分割模式合并候选；确定几何分割模式合并候选的最大数量是否大于2；基于几何分割模式合并候选的最大数量不大于2，从比特流中省略指定第二几何分割模式合并候选索引的第二几何分割模式合并索引语法元素，该第二几何分割模式合并候选索引指示基于几何分割模式形状的运动补偿候选列表的第二几何分割模式合并候选的，该第二几何分割模式合并候选与该第一几何分割模式合并候选不同；生成CU的预测块，其中生成CU的预测块包括：使用第一几何分割模式合并候选的运动信息来帧间预测CU的第一几何分割模式分割；以及使用第二几何分割模式合并候选的运动信息来帧间预测CU的第二几何分割模式分割；以及基于CU的预测块和CU的样点生成CU的残差数据。

类似地，视频解码器300可以基于在包括视频数据的已编码的表示的比特流中信令通知的第一语法元素来确定几何分割模式合并候选的最大数量；从比特流中获取第一几何分割模式合并索引语法元素，该第一几何分割模式合并索引语法元素指定第一几何分割模式合并候选索引，该第一几何分割模式合并候选索引指示基于三角形形状的运动补偿候选列表的第一几何分割模式合并候选；确定几何分割模式合并候选的最大数量是否大于2；基于几何分割模式合并候选的最大数量不大于2，推断第二几何分割模式合并候选索引指示基于几何分割模式形状的运动补偿候选列表的第二几何分割模式合并候选，而无需从比特流中获取指定第二几何分割模式合并候选索引的任何语法元素，该第二几何分割模式合并候选与该第一几何分割模式合并候选不同；生成CU的预测块，其中生成CU的预测块包括：使用第一几何分割模式合并候选的运动信息来帧间预测CU的第一几何分割模式分割；以及使用第二几何分割模式合并候选的运动信息来帧间预测CU的第二几何分割模式分割；以及基于CU的预测块和CU的残差数据重建CU。

以下段落是根据本公开的技术的非限制性示例的集合。

示例1A。一种编解码视频数据的方法，该方法包括：对指示三角形合并候选的最大数量的图块级别语法元素进行编解码；根据三角形合并候选的最大数量构建三角形合并候选列表；以及使用三角形合并候选列表和三角形合并模式对视频数据进行编解码。

示例2A。根据示例1A的方法，还包括：基于三角形合并候选的最大数量确定三角形合并候选列表的优先级顺序。

示例3A。根据示例1A-2A中任一示例的方法，其中编解码包括解码。

示例4A。根据示例1A-3A中任一示例的方法，其中编解码包括编码。

示例5A。一种用于编解码视频数据的设备，该设备包括一个或多个用于执行示例1A-4A中任一示例的方法的部件。

示例6A。根据示例5A的设备，其中一个或多个部件包括在电路中实现的一个或多个处理器。

示例7A。根据示例5A和6A中任一示例的设备，还包括用于存储视频数据的存储器。

示例8A。根据示例5A-7A中任一示例的设备，还包括被配置为显示已解码的视频数据的显示器。

示例9A。根据示例5A-8A中任一示例的设备，其中该设备包括摄像机、计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。

示例10。根据示例5A-9A中任一示例的设备，其中该设备包括视频解码器。

示例11A。根据示例5A-10A中任一示例的设备，其中该设备包括视频编码器。

示例12A。一种其上存储有指令的计算机可读存储介质，当执行该指令时，使得一个或多个处理器执行示例1A-4A中任一示例的方法。

示例1B。一种解码视频数据的方法，该方法包括：从包括视频数据的已编码的表示的比特流的序列参数集(SPS)获取语法元素，该语法元素指示是否针对已编解码的视频序列(CVS)启用具有运动矢量差的合并模式(MMVD)；以及基于该语法元素对视频数据进行解码。

示例2B。一种编码视频数据的方法，该方法包括：在序列参数集(SPS)中生成语法元素，该语法元素指示是否针对已编解码的视频序列(CVS)启用具有运动矢量差的合并模式(MMVD)；以及在包括视频数据的已编码的表示的比特流中包括该SPS。

示例3B。一种解码视频数据的方法，该方法包括：从包括视频数据的已编码的表示的比特流中获取图块组级别语法元素，该语法元素指示图块组中支持的具有运动矢量差的合并模式(MMVD)基本合并候选的最大数量；以及基于该语法元素对视频数据进行解码。

示例4B。根据示例3B的方法，还包括示例1B的方法。

示例5B。一种编码视频数据的方法，该方法包括：从包括视频数据的已编码的表示的比特流，信令通知图块组级别语法元素，该语法元素指示图块组中支持的具有运动矢量差的合并模式(MMVD)基本合并候选的最大数量；以及使用不超过MMVD基本合并候选的最大数量来对视频数据的图块进行编码。

示例6B。根据示例5B的方法，还包括示例2B的方法。

示例7B。一种解码视频数据的方法，该方法包括：基于图块组中支持的具有运动矢量差的合并模式(MMVD)基本合并候选的最大数量大于阈值数量，从包括视频数据的已编码的表示的比特流中获取MMVD合并标志语法元素，该MMVD合并标志语法元素指示合并候选列表中的第一候选或第二候选是否与从MMVD距离索引和MMVD方向索引导出的运动矢量差一起使用；以及使用合并候选列表中的第一候选或第二候选对视频数据的一个或多个图块进行解码。

示例8B。根据示例7B的方法，还包括示施例3B或4B中任一示例的方法。

示例9B。一种编码视频数据的方法，该方法包括：基于图块组中支持的具有运动矢量差的合并模式(MMVD)基本合并候选的最大数量大于阈值数量，在包括视频数据的已编码的表示的比特流中包括MMVD合并标志语法元素，该MMVD合并标志语法元素指示合并候选列表中的第一候选或第二候选是否与从MMVD距离索引和MMVD方向索引导出的运动矢量差一起使用；以及使用合并候选列表中的第一候选或第二候选对视频数据的一个或多个图块进行编码。

示例10B。根据示例9B的方法，还包括示施例5B或6B中任一示例的方法。

示例11B。一种解码视频数据的方法，该方法包括：从包括视频数据的已编码的表示的比特流中获取第一图块组级别语法元素，该第一图块组级别语法元素指示图块组中支持的具有运动矢量差的合并模式(MMVD)基本合并候选的最大数量；从比特流中获取第二图块组级别语法元素，该第二图块组级别语法元素指示等于6减去图块组中支持的帧内块复制合并运动矢量预测(MVP)候选的最大数量的值；以及基于第一语法元素和第二语法元素对视频数据进行解码。

示例12B。一种编码视频数据的方法，该方法包括：在包括视频数据的已编码的表示的比特流中包括第一图块组级别语法元素，该第一图块组级别语法元素指示图块组中支持的具有运动矢量差的合并模式(MMVD)基本合并候选的最大数量；在比特流中包括第二图块组级别语法元素，该第二图块组级别语法元素指示等于6减去图块组中支持的帧内块复制合并运动矢量预测(MVP)候选的最大数量的值；以及基于第一语法元素和第二语法元素对视频数据进行编码。

示例13B。一种解码视频数据的方法，该方法包括：从包含视频数据的已编码的表示的比特流中获取图块组级别语法元素，该图块组级别语法元素指示等于6减去图块组中支持的合并运动矢量预测(MVP)候选的最大数量的值，其中图块组中支持的合并MVP候选的最大数量的最小值被限制为2；以及基于该语法元素对视频数据进行解码。

示例14B。一种编码视频数据的方法，该方法包括：在包含视频数据的已编码的表示的比特流中信令通知图块组级别语法元素，该图块组级别语法元素指示等于6减去图块组中支持的合并运动矢量预测(MVP)候选的最大数量的值，其中图块组中支持的合并MVP候选的最大数量的最小值被限制为2；以及基于该语法元素对视频数据的图块进行编码。

示例15B。一种编解码视频数据的方法，该方法包括：基于合并运动矢量预测(MVP)候选的最大数量等于1以及具有运动矢量差的合并模式(MMVD)标志指示针对编解码单元(CU)启用MMVD，推断CU的合并候选列表中的合并候选数量为2；以及基于合并候选列表对CU进行编解码。

示例16B。一种解码视频数据的方法，该方法包括：从包括视频数据的已编码的表示的比特流中获取语法元素，该语法元素指示从5减去图块组中支持的三角形合并运动矢量预测(MVP)候选的最大数量；以及基于该语法元素对视频进行解码。

示例17B。一种编码视频数据的方法，该方法包括：在包括视频数据的已编码的表示的比特流中信令通知语法元素，该语法元素指示从5减去图块组中支持的三角形合并运动矢量预测(MVP)候选的最大数量；以及基于该语法元素对视频进行编码。

示例18B。一种用于编解码视频数据的设备，该设备包括一个或多个用于执行示例1B-17B中任一示例的方法的部件。

示例19B。根据示例18B的设备，其中一个或多个部件包括在电路中实施的一个或多个处理器。

示例20B。根据示例18B和19B中任一示例的设备，还包括用于存储视频数据的存储器。

示例21B。根据示例18B-20B中任一示例的设备，还包括配置为显示已解码的视频数据的显示器。

示例22B。根据示例18B-21B中任一示例的设备，其中该设备包括摄像机、计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。

示例23B。根据示例18B-22B中任一示例的设备，其中该设备包括视频解码器。

示例24B。根据示例18B-23B中任一示例的设备，其中该设备包括视频编码器。

示例25B。一种其上存储有指令的计算机可读存储介质，当执行该指令时，使得一个或多个处理器执行示例1B-17B中任一示例的方法。

应当认识到，根据示例，本文所述任何技术的某些动作或事件可以以不同的顺序执行，可以被添加、合并或完全排除(例如，并非所有描述的动作或事件对于技术的实践都是必要的)。此外，在某些示例中，可以并行地执行动作或事件，例如通过多线程处理、中断处理或多个处理器，而不是顺序地执行。

在一个或多个示例中，所述功能可以在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或在其上传输，并由基于硬件的处理单元执行。计算机可读介质可以包括与有形介质(例如数据存储介质)相对应的计算机可读存储介质，或包括有助于将计算机程序从一个地方转移到另一个地方(例如，根据通信协议)的任何介质的通信介质。以这种方式，计算机可读介质通常可对应于(1)非暂时的有形计算机可读存储介质或(2)诸如信号或载波的通信介质。数据存储介质可以是可由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。

通过示例而不是限制，这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、闪存或可用于以指令或数据结构的形式存储并且可以由计算机进行访问的所需的程序代码的任何其他介质。此外，任何连接都被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或无线技术(诸如红外线、无线电和微波)从网站、服务器或其他远程源发送指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外线、无线电和微波)被包括在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂时介质，而是针对非暂时的有形存储介质。本文所使用的磁盘和光盘包括光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘则以激光光学方式再现数据。上述的组合也应包括在计算机可读介质的范围内。

指令可由一个或多个处理器执行，例如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他等效集成或分立逻辑电路。因此，本文使用的术语“处理器”和“处理电路”可指上述结构中的任何一个或适合实现本文所述技术的任何其他结构。此外，在一些方面，本文描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块内被提供，或被并入组合的编解码器中。此外，这些技术可以在一个或多个电路或逻辑元件中完全实现。

本公开的技术可以在多种设备或装置中实现，包括无线手持机、集成电路(IC)或IC集合，例如芯片集合。本公开中描述了各种组件、模块或单元，以强调被配置为执行所公开技术的设备的功能方面，但不一定需要由不同硬件单元来实现。相反，如上所述，各种单元可以被组合在编解码器硬件单元中，或者由互操作硬件单元的集合(包括如上所述的一个或多个处理器)结合合适的软件和/或固件提供。

已经描述了各种示例。这些和其他示例在以下权利要求的范围内。

Claims (37)

1.一种解码视频数据的方法，所述方法包括：

基于在包括所述视频数据的已编码的表示的比特流中信令通知的第一语法元素，确定三角形合并候选的最大数量；

从所述比特流中获取第一三角形合并索引语法元素，所述第一三角形合并索引语法元素指定第一三角形合并候选索引，所述第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；

确定三角形合并候选的所述最大数量是否大于2；

基于三角形合并候选的所述最大数量不大于2，推断第二三角形合并候选索引指示所述基于三角形形状的运动补偿候选列表的第二三角形合并候选，而无需从所述比特流中获取指定所述第二三角形合并候选索引的任何语法元素，所述第二三角形合并候选与所述第一三角形合并候选不同；

生成编解码单元(CU)的预测块，其中生成CU的预测块包括：

使用所述第一三角形合并候选的运动信息来帧间预测所述CU的第一三角形分割；以及

使用所述第二三角形合并候选的运动信息来帧间预测所述CU的第二三角形分割；以及

基于所述CU的预测块和所述CU的残差数据重建所述CU。

2.根据权利要求1所述的方法，还包括：

从所述比特流中获取第三语法元素，所述第三语法元素指示是否启用三角形合并模式；以及

基于所述第三语法元素指示启用三角形合并模式来获取所述第一语法元素。

3.根据权利要求1所述的方法，其中：

所述CU是第一CU，

三角形合并候选的所述最大数量是三角形合并候选的第一最大数量，

所述基于三角形形状的运动补偿候选列表是第一基于三角形形状的运动补偿候选列表，以及

所述方法还包括：

确定三角形合并候选的第二最大数量是否大于2；

从所述比特流中获取第三三角形合并索引语法元素，所述第三三角形合并索引语法元素指定第三三角形合并候选索引，所述第三三角形合并候选索引指示第二基于三角形形状的运动补偿候选列表的第三三角形合并候选；

基于三角形合并候选的所述第二最大数量大于2，从所述比特流中获取第四三角形合并索引语法元素，所述第四三角形合并索引语法元素指定第四三角形合并候选索引，所述第四三角形合并候选索引指示所述第二基于三角形形状的运动补偿候选列表的第四三角形合并候选；

生成第二编解码单元(CU)的预测块，其中生成第二CU的预测块包括：

使用所述第三三角形合并候选的运动信息来帧间预测所述第二CU的第一三角形分割；以及

使用所述第四三角形合并候选的运动信息来帧间预测所述第二CU的第二三角形分割；以及

基于所述第二CU的预测块和所述第二CU的残差数据重建所述第二CU。

4.根据权利要求1所述的方法，其中，确定三角形合并候选的所述最大数量包括：

从所述比特流中获取所述第一语法元素；以及

确定三角形合并候选的所述最大数量为T减去由所述第一语法元素指定的值，其中T是预先分配的正整数。

5.根据权利要求4所述的方法，其中，T等于5。

6.根据权利要求1所述的方法，还包括：

基于表生成所述基于三角形形状的运动补偿候选列表，其中：

所述表中的条目对应于合并候选列表中的合并候选对的不同组合，

所述第一三角形合并候选索引和所述第二三角形合并候选索引指定所述表中的相应条目，以及

在所述表中对所述条目进行排序，以便在给定三角形合并候选的所述最大数量的情况下，如果无法使用第二合并候选对，则与第一合并候选对对应的条目不会被放在与所述第二合并候选对对应的另一条目之后。

7.根据权利要求1所述的方法，还包括：

基于多个表中的所选择的表生成所述基于三角形形状的运动补偿候选列表，其中：

所述多个表中的每个表对应于三角形合并候选的不同的最大数量，

所述所选择的表对应于基于所述第一语法元素确定的三角形合并候选的最大数量，

所述表中的条目对应于合并候选列表中的合并候选对的不同组合，以及

所述第一三角形合并候选索引和所述第二三角形合并候选索引指定所述所选择的表中的相应条目。

8.根据权利要求1所述的方法，其中，所述比特流是根据多功能视频编解码进行编码的。

9.根据权利要求1所述的方法，其中，获取第一三角形合并索引语法元素包括从合并数据语法结构获取所述第一三角形合并索引语法元素。

10.一种编码视频数据的方法，所述方法包括：

确定三角形合并候选的最大数量；

在比特流中信令通知第一三角形合并索引语法元素，所述第一三角形合并索引语法元素指定第一三角形合并候选索引，所述第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；

确定三角形合并候选的所述最大数量是否大于2；

基于三角形合并候选的所述最大数量不大于2，从所述比特流中省略指定第二三角形合并候选索引的第二三角形合并索引语法元素，所述第二三角形合并候选索引指示所述基于三角形形状的运动补偿候选列表的第二三角形合并候选，所述第二三角形合并候选与所述第一三角形合并候选不同；

生成编解码单元(CU)的预测块，其中生成CU的预测块包括：

使用所述第一三角形合并候选的运动信息来帧间预测所述CU的第一三角形分割；以及

使用所述第二三角形合并候选的运动信息来帧间预测所述CU的第二三角形分割；以及

基于所述CU的预测块和所述CU的样点生成所述CU的残差数据。

11.根据权利要求10所述的方法，还包括：

在所述比特流中信令通知第二语法元素，所述第二语法元素指示是否启用三角形合并模式；以及

基于所述第二语法元素指示启用三角形合并模式来信令通知第三语法元素，其中所述第三语法元素指示三角形合并候选的所述最大数量。

12.根据权利要求10所述的方法，其中：

所述CU是第一CU，

三角形合并候选的所述最大数量是三角形合并候选的第一最大数量，

所述基于三角形形状的运动补偿候选列表是第一基于三角形形状的运动补偿候选列表，以及

所述方法还包括：

在所述比特流中信令通知第三三角形合并索引语法元素，所述第三三角形合并索引语法元素指定第三三角形合并候选索引，所述第三三角形合并候选索引指示第二基于三角形形状的运动补偿候选列表的第三三角形合并候选；

确定三角形合并候选的第二最大数量是否大于2；

基于三角形合并候选的所述第二最大数量大于2，在所述比特流中信令通知第四三角形合并索引语法元素，所述第四三角形合并索引语法元素指定第四三角形合并候选索引，所述第四三角形合并候选索引指示所述第二基于三角形形状的运动补偿候选列表的第四三角形合并候选；

生成第二编解码单元(CU)的预测块，其中生成第二CU的预测块包括：

使用所述第三三角形合并候选的运动信息来帧间预测所述第二CU的第一三角形分割；以及

使用所述第四三角形合并候选的运动信息来帧间预测所述第二CU的第二三角形分割；以及

基于所述第二CU的预测块和所述第二CU的残差数据重建所述第二CU。

13.根据权利要求10所述的方法，还包括：

将语法元素的值确定为T减去三角形合并候选的所述最大数量，其中T是预先分配的正整数；以及

在所述比特流中信令通知所述语法元素。

14.根据权利要求13所述的方法，其中，T等于5。

15.根据权利要求10所述的方法，还包括：

基于表生成所述基于三角形形状的运动补偿候选列表，其中：

所述表中的条目对应于合并候选列表中的合并候选对的不同组合，

所述第一三角形合并候选索引和所述第二三角形合并候选索引指定所述表中的相应条目以及

在所述表中对所述条目进行排序，以便在给定三角形合并候选的所述最大数量的情况下，如果无法使用第二合并候选对，则与第一合并候选对对应的条目不会被放在与所述第二合并候选对对应的另一条目之后。

16.根据权利要求10所述的方法，还包括：

基于多个表中的所选择的表生成所述基于三角形形状的运动补偿候选列表，其中：

所述多个表中的每个表对应于三角形合并候选的不同的最大数量，

所述所选择的表对应于基于所述第一语法元素确定的三角形合并候选的最大数量，

所述表中的条目对应于合并候选列表中的合并候选对的不同组合，以及

所述第一三角形合并候选索引和所述第二三角形合并候选索引指定所述表中的相应条目。

17.一种用于解码视频数据的设备，所述设备包括：

用于存储所述视频数据的存储器；以及

在电路中实现的一个或多个处理器，所述一个或多个处理器被配置为：

基于在包括所述视频数据的已编码的表示的比特流中信令通知的第一语法元素，确定三角形合并候选的最大数量；

从所述比特流中获取第一三角形合并索引语法元素，所述第一三角形合并索引指定第一三角形合并候选索引，所述第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；

确定三角形合并候选的所述最大数量是否大于2；

基于三角形合并候选的所述最大数量不大于2，推断第二三角形合并候选索引指示所述基于三角形形状的运动补偿候选列表的第二三角形合并候选，而无需从所述比特流中获取指定所述第二三角形合并候选索引的任何语法元素，所述第二三角形合并候选与所述第一三角形合并候选不同；

生成编解码单元(CU)的预测块，其中作为生成CU的预测块的一部分，所述一个或多个处理器被配置为使得所述一个或多个处理器：

使用所述第一三角形合并候选的运动信息来帧间预测所述CU的第一三角形分割；以及

使用所述第二三角形合并候选的运动信息来帧间预测所述CU的第二三角形分割；以及

基于所述CU的预测块和所述CU的残差数据重建所述CU。

18.根据权利要求17所述的设备，其中，所述一个或多个处理器还被配置为：

从所述比特流中获取第三语法元素，所述第三语法元素指示是否启用三角形合并模式；以及

基于所述第三语法元素指示启用三角形合并模式来获取所述第一语法元素。

19.根据权利要求17所述的设备，其中：

所述CU是第一CU，

三角形合并候选的所述最大数量是三角形合并候选的第一最大数量，

所述基于三角形形状的运动补偿候选列表是第一基于三角形形状的运动补偿候选列表，以及

所述一个或多个处理器还被配置为：

确定三角形合并候选的第二最大数量是否大于2；

从所述比特流中获取第三三角形合并索引语法元素，所述第三三角形合并索引语法元素指定第三三角形合并候选索引，所述第三合并候选索引指示第二基于三角形形状的运动补偿候选列表的第三三角形合并候选；

基于三角形合并候选的所述第二最大数量大于2，从所述比特流中获取第四三角形合并索引语法元素，所述第四三角形合并索引语法元素指定第四三角形合并候选索引，所述第四三角形合并候选索引指示所述第二基于三角形形状的运动补偿候选列表的第四三角形合并候选；

生成第二编解码单元(CU)的预测块，其中作为生成第二CU的预测块的一部分，所述一个或多个处理器被配置为使得所述一个或多个处理器：

使用所述第三三角形合并候选的运动信息来帧间预测所述第二CU的第一三角形分割；以及

使用所述第四三角形合并候选的运动信息来帧间预测所述第二CU的第二三角形分割；以及

基于所述第二CU的预测块和所述第二CU的残差数据重建所述第二CU。

20.根据权利要求17所述的设备，其中，作为确定三角形合并候选的所述最大数量的一部分，所述一个或多个处理器被配置为使得所述一个或多个处理器：

从所述比特流中获取所述第一语法元素；以及

确定三角形合并候选的所述最大数量为T减去由所述第一语法元素指定的值，其中T是预先分配的正整数。

21.根据权利要求20所述的设备，其中，T等于5。

22.根据权利要求17所述的设备，其中，所述一个或多个处理器还被配置为：

基于表生成所述基于三角形形状的运动补偿候选列表，其中：

所述表中的条目对应于合并候选列表中的合并候选对的不同组合，

所述第一三角形合并候选索引和所述第二三角形合并候选索引指定所述表中的相应条目，以及

在所述表中对所述条目进行排序，以便在给定三角形合并候选的所述最大数量的情况下，如果无法使用第二合并候选对，则与第一合并候选对对应的条目不会被放在与所述第二合并候选对对应的另一条目之后。

23.根据权利要求17所述的设备，其中，所述一个或多个处理器还被配置为：

基于多个表中的所选择的表生成所述基于三角形形状的运动补偿候选列表，其中：

所述多个表中的每个表对应于三角形合并候选的不同的最大数量，

所述所选择的表对应于基于所述第一语法元素确定的三角形合并候选的所述最大数量，

所述表中的条目对应于合并候选列表中的合并候选对的不同组合，以及

所述第一三角形合并候选索引和所述第二三角形合并候选索引指定所述表中的相应条目。

24.根据权利要求17所述的设备，还包括被配置为显示已解码的视频数据的显示器。

25.根据权利要求17所述的设备，其中，所述设备包括摄像机、计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。

26.一种用于编码视频数据的设备，所述设备包括：

用于存储所述视频数据的存储器；以及

在电路中实现的一个或多个处理器，所述一个或多个处理器配置为：

确定三角形合并候选的最大数量；

在比特流中信令通知第一三角形合并索引语法元素，所述第一三角形合并索引语法元素指定第一三角形合并候选索引，所述第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；

确定三角形合并候选的所述最大数量是否大于2；

基于三角形合并候选的所述最大数量不大于2，从所述比特流中省略指定第二三角形合并候选索引的第二三角形合并索引语法元素，所述第二三角形合并候选索引指示所述基于三角形形状的运动补偿候选列表的第二三角形合并候选，所述第二三角形合并候选与所述第一三角形合并候选不同；

生成编解码单元(CU)的预测块，其中作为生成CU的预测块的一部分，所述一个或多个处理器被配置为使得所述一个或多个处理器：

使用所述第一三角形合并候选的运动信息来帧间预测所述CU的第一三角形分割；以及

使用所述第二三角形合并候选的运动信息来帧间预测所述CU的第二三角形分割；以及

基于所述CU的预测块和所述CU的样点生成所述CU的残差数据。

27.根据权利要求26所述的设备，其中，所述一个或多个处理器还被配置为：

在所述比特流中信令通知第二语法元素，所述第二语法元素指示是否启用三角形合并模式；以及

基于所述第二语法元素指示启用三角形合并模式来信令通知第三语法元素，其中所述第三语法元素指示三角形合并候选的所述最大数量。

28.根据权利要求26所述的设备，其中：

所述CU是第一CU，

三角形合并候选的所述最大数量是三角形合并候选的第一最大数量，

所述基于三角形形状的运动补偿候选列表是第一基于三角形形状的运动补偿候选列表，以及

所述一个或多个处理器还被配置为：

在所述比特流中信令通知第三三角形合并索引语法元素，所述第三三角形合并索引语法元素指定第三三角形合并候选索引，所述第三三角形合并候选索引指示第二基于三角形形状的运动补偿候选列表的第三三角形合并候选；

确定三角形合并候选的第二最大数量是否大于2；

基于三角形合并候选的所述第二最大数量大于2，在所述比特流中信令通知第四三角形合并索引语法元素，所述第四三角形合并索引语法元素指定第四三角形合并候选索引，所述第四三角形合并候选索引指示所述第二基于三角形形状的运动补偿候选列表的第四三角形合并候选；

生成第二编解码单元(CU)的预测块，其中作为生成第二CU的预测块的一部分，所述一个或多个处理器被配置为使得所述一个或多个处理器：

使用所述第三三角形合并候选的运动信息来帧间预测所述第二CU的第一三角形分割；以及

使用所述第四三角形合并候选的运动信息来帧间预测所述第二CU的第二三角形分割；以及

基于所述第二CU的预测块和所述第二CU的残差数据重建所述第二CU。

29.根据权利要求26所述的设备，其中，所述一个或多个处理器还被配置为：

将语法元素的值确定为T减去三角形合并候选的所述最大数量，其中T是预先分配的正整数；以及

在所述比特流中信令通知所述语法元素。

30.根据权利要求29所述的设备，其中，T等于5。

31.根据权利要求26所述的设备，其中，所述一个或多个处理器还被配置为：

基于表生成所述基于三角形形状的运动补偿候选列表，其中：

所述表中的条目对应于合并候选列表中的合并候选对的不同组合，

所述第一三角形合并候选索引和所述第二三角形合并候选索引指定所述表中的相应条目，以及

在所述表中对所述条目进行排序，以便在给定三角形合并候选的所述最大数量的情况下，如果无法使用第二合并候选对，则与第一合并候选对对应的条目不会被放在与所述第二合并候选对对应的另一条目之后。

32.根据权利要求26所述的设备，其中，所述一个或多个处理器还被配置为：

基于多个表中的所选择的表生成所述基于三角形形状的运动补偿候选列表，其中：

所述多个表中的每个表对应于三角形合并候选的不同的最大数量。

所述所选择的表对应于基于所述第一语法元素确定的三角形合并候选的所述最大数量。

所述表中的条目对应于合并候选列表中的合并候选对的不同组合，以及

所述第一三角形合并候选索引和所述第二三角形合并候选索引指定所述表中的相应条目。

33.根据权利要求26所述的设备，其中，所述设备包括摄像机、计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。

34.一种用于解码视频数据的设备，所述设备包括：

用于基于在包括所述视频数据的已编码的表示的比特流中信令通知的第一语法元素，确定三角形合并候选的最大数量的部件；

用于从所述比特流中获取第一三角形合并索引语法元素的部件，所述第一三角形合并索引语法元素指定第一三角形合并候选索引，所述第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；

用于确定三角形合并候选的所述最大数量是否大于2的部件；

用于基于三角形合并候选的所述最大数量不大于2，推断第二三角形合并候选索引指示所述基于三角形形状的运动补偿候选列表的第二三角形合并候选，而无需从所述比特流中获取指定所述第二三角形合并候选索引的任何语法元素的部件，所述第二三角形合并候选与所述第一三角形合并候选不同；

用于生成编解码单元(CU)的预测块的部件，其中用于生成CU的预测块的部件包括：

用于使用所述第一三角形合并候选的运动信息来帧间预测所述CU的第一三角形分割的部件；以及

用于使用所述第二三角形合并候选的运动信息来帧间预测所述CU的第二三角形分割的部件；以及

用于基于所述CU的预测块和所述CU的残差数据重建所述CU的部件。

35.一种用于编码视频数据的设备，所述设备包括：

用于确定三角形合并候选的最大数量的部件；

用于在比特流中信令通知第一三角形合并索引语法元素的部件，所述第一三角形合并索引语法元素指定第一三角形合并候选索引，所述第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；

用于确定三角形合并候选的最大数量是否大于2的部件；

用于基于三角形合并候选的所述最大数量不大于2，从所述比特流中省略指定第二三角形合并候选索引的第二三角形合并索引语法元素的部件，所述第二三角形合并候选索引指示所述基于三角形形状的运动补偿候选列表的第二三角形合并候选，所述第二三角形合并候选与所述第一三角形合并候选不同；

用于生成编解码单元(CU)的预测块的部件，其中用于生成CU的预测块的部件包括：

用于使用所述第一三角形合并候选的运动信息来帧间预测所述CU的第一三角形分割的部件；以及

用于使用所述第二三角形合并候选的运动信息来帧间预测所述CU的第二三角形分割的部件；以及

用于基于所述CU的预测块和所述CU的样点生成所述CU的残差数据的部件。

36.一种其上存储有指令的计算机可读数据存储介质，当执行所述指令时，使得一个或多个处理器：

基于在包括视频数据的已编码的表示的比特流中信令通知的第一语法元素，确定三角形合并候选的最大数量；

从所述比特流中获取第一三角形合并索引语法元素，所述第一三角形合并索引语法元素指定第一三角形合并候选索引，所述第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；

确定三角形合并候选的所述最大数量是否大于2；

基于三角形合并候选的所述最大数量不大于2，推断第二三角形合并候选索引指示所述基于三角形形状的运动补偿候选列表的第二三角形合并候选，而无需从所述比特流中获取指定所述第二三角形合并候选索引的任何语法元素，所述第二三角形合并候选与所述第一三角形合并候选不同；

生成编解码单元(CU)的预测块，其中生成CU的预测块包括：

使用所述第一三角形合并候选的运动信息来帧间预测所述CU的第一三角形分割；以及

使用所述第二三角形合并候选的运动信息来帧间预测所述CU的第二三角形分割；以及

基于所述CU的预测块和所述CU的残差数据重建所述CU。

37.一种其上存储有指令的计算机可读数据存储介质，当执行所述指令时，使得一个或多个处理器：

确定三角形合并候选的最大数量；

在比特流中信令通知第一三角形合并索引语法元素，所述第一三角形合并索引指定第一三角形合并候选索引，所述第一三角形合并候选索引指示基于三角形形状的运动补偿候选列表的第一三角形合并候选；

确定三角形合并候选的所述最大数量是否大于2；

基于三角形合并候选的所述最大数量不大于2，从所述比特流中省略指定第二三角形合并候选索引的第二三角形合并索引语法元素，所述第二三角形合并候选索引指示所述基于三角形形状的运动补偿候选列表的第二三角形合并候选，所述第二三角形合并候选与所述第一三角形合并候选不同；

生成编解码单元(CU)的预测块，其中生成CU的预测块包括：

使用所述第一三角形合并候选的运动信息来帧间预测所述CU的第一三角形分割；以及

使用所述第二三角形合并候选的运动信息来帧间预测所述CU的第二三角形分割；以及

基于所述CU的预测块和所述CU的样点生成所述CU的残差数据。

Images