CN117643054A - 具有运动矢量细化的几何分区模式 - Google Patents

Abstract

提供了用于以GPM对视频块进行解码的方法和设备。该方法包括：将视频块划分为第一和第二几何分区；接收针对第一几何分区的具有运动矢量细化的第一GPM(GPM‑MVR)使能标志，以及接收针对第二几何分区的第二GPM‑MVR使能标志；接收针对第一和第二几何分区的联合模板匹配(TM)使能标志，该标志联合地指示第一分区的单向运动是否通过TM进行了细化、以及第二分区的单向运动是否通过TM进行了细化；接收第一几何分区的第一合并GPM索引和第二几何分区的第二合并GPM索引；构建GPM的单向MV候选列表；以及生成第一几何分区的单向MV和第二几何分区的单向MV。

Description

具有运动矢量细化的几何分区模式

相关申请的交叉引用

本申请基于2021年6月23日提交的临时申请No.63/214,230并要求享受其优先权，故出于全部目的以引用方式将其全部内容并入本文。

技术领域

概括地说，本公开内容涉及视频编码和压缩，具体地说，本公开内容涉及用于改进几何分区(GPM)模式(也称为角加权预测(AWP)模式)的编码效率的方法和装置。

背景技术

可以使用各种视频编码技术来压缩视频数据。根据一种或多种视频编码标准来执行视频编码。例如，目前，一些已知的视频编码标准包括通用视频编码(VVC)、高效视频编码(HEVC，也称为H.265或MPEG-H第2部分)和高级视频编码(AVC，也称为H.264或MPEG-4第10部分)，它们由ISO/IEC MPEG和ITU-T VECG联合开发。开放媒体联盟(AOM)开发了AOMediaVideo 1(AV1)，作为其先前标准VP9的后继产品。音视频编码(AVS)是指数字音频和数字视频压缩标准，是中国音视频编码标准工作组开发的另一个视频压缩标准系列。大多数现有的视频编码标准建立在著名的混合视频编码框架上，即，使用基于块的预测方法(例如，帧间预测、帧内预测)来减少视频图像或序列中存在的冗余，并使用变换编码来压缩预测误差的能量。视频编码技术的一个重要目标是将视频数据压缩为使用较低比特率的形式，同时避免或最小化视频质量的下降。

发明内容

本公开内容提供了用于视频编码的方法和装置以及非临时性计算机可读存储介质。

根据本公开内容的第一方面，提供了一种用于以GPM对视频块进行解码的方法。该方法可以包括：将所述视频块划分为第一几何分区和第二几何分区。该方法可以包括：接收针对所述第一几何分区的具有运动矢量细化的第一GPM(GPM-MVR)使能标志，以及接收针对所述第二几何分区的第二GPM-MVR使能标志。该方法可以包括：接收针对所述第一几何分区和所述第二几何分区的联合模板匹配(TM)使能标志，其中所述联合TM使能标志可以联合地指示所述第一分区的单向运动是否通过TM进行了细化、以及所述第二分区的单向运动是否通过TM进行了细化。该方法可以包括：接收针对所述第一几何分区的第一合并GPM索引和针对所述第二几何分区的第二合并GPM索引。该方法可以包括：构建所述GPM的单向运动矢量(MV)候选列表。该方法可以包括：生成针对所述第一几何分区的单向MV和针对所述第二几何分区的单向MV。

根据本公开内容的第二方面，提供了一种用于视频解码的装置。该装置可以包括一个或多个处理器和非临时性计算机可读存储介质。所述非临时性计算机可读存储介质被配置为存储可由所述一个或多个处理器执行的指令。所述一个或多个处理器在执行指令时，被配置为执行第一方面中的方法。

根据本公开内容的第三方面，提供了一种非临时性计算机可读存储介质。所述非临时性计算机可读存储介质可以存储计算机可执行指令，当所述计算机可执行指令由一个或多个计算机处理器执行时，使得所述一个或多个计算机处理器执行第一方面中的方法。

附图说明

并入本文并构成本说明书的一部分的附图说明与本公开内容一致的示例，并与说明书一起用于解释本公开内容的基本原理。

图1是根据本公开内容的示例的编码器的框图。

图2是根据本公开内容的示例的解码器的框图。

图3A是根据本公开内容的例子，示出多类型树结构中的块划分的图。

图3B是根据本公开内容的例子，示出多类型树结构中的块划分的图。

图3C是根据本公开内容的例子，示出多类型树结构中的块划分的图。

图3D是根据本公开内容的例子，示出多类型树结构中的块划分的图。

图3E是根据本公开内容的例子，示出多类型树结构中的块划分的图。

图4是根据本公开内容的例子，允许的几何分区(GPM)划分的视图。

图5是根据本公开内容的例子，示出单向预测运动矢量选择的表。

图6A是根据本公开内容的例子的运动矢量差(MMVD)模式的视图。

图6B是根据本公开内容的例子的MMVD模式的视图。。

图7是根据本公开内容的例子的模板匹配(TM)算法的视图。

图8是根据本公开内容的例子，以GPM对视频块进行解码的方法。

图9是根据本公开内容的例子，示出与用户界面耦合的计算环境的图。。

图10是根据本公开内容的一些例子，示出用于对视频块进行编码和解码的系统的框图。

具体实施方式

现在将详细地参考实施例，在附图中示出了其一些示例。以下描述参考附图，其中不同附图中相同的数字表示相同或相似的元件，除非另外说明。以下实施例描述中阐述的实施方式并不表示与本公开内容一致的所有实施方式。相反，它们仅仅是与本公开内容相关的方面一致的装置和方法的举例，如所附权利要求中所阐述的。

如本公开内容中所使用的术语，仅用于描述特定的实施例，并且并不旨在对本公开内容进行限制。如本公开内容和所附权利要求中所使用的，单数形式的“一个(a)”、“某个(an)”和“该(the)”也旨在包括复数形式，除非上下文另外明确地说明。还应当理解的是，本文所使用的术语“和/或”旨在表示并涵盖一个或多个相关列出的项目中的任何一个或者所有可能的组合。

应当理解的是，尽管在本文中可以使用术语“第一”、“第二”、“第三”等等来描述各种信息，但是该信息不应受到这些术语的限制。这些术语仅仅用于区分一个类别的信息与另一个类别的信息。例如，在不脱离本公开内容的保护范围的基础上，第一信息可以称为第二信息；同理，第二信息也可以称为第一信息。如本文所使用的，根据上下文，可以将术语“如果”理解为表示“何时”或“在”或“响应于判决”。

第一代AVS标准包括中国国家标准“信息技术、高级音频视频编码第2部分：视频”(称为AVS1)和“信息技术、高级音频视频编码第16部分：无线电视视频”(也称为AVS+)。与MPEG-2标准相比，它可以在相同的感知质量下提供大约50％的比特率节省。2006年2月将AVS1标准视频部分颁布为中国国家标准。第二代AVS标准包括一系列中国国家标准“信息技术、高效多媒体编码”(称为AVS2)，其主要针对于超高清电视节目的传输。AVS2的编码效率是AVS+的两倍。2016年5月，AVS2作为中国国家标准发布。同时，电气和电子工程师协会(IEEE)将AVS2标准视频部分提交为用于应用的一个国际标准。AVS3标准是用于UHD视频应用的新一代视频编码标准，其旨在超越最新国际标准HEVC的编码效率。2019年3月，在第68届AVS会议上，AVS3-P2基线完成，比HEVC标准节省了大约30％的比特率。目前，AVS组维护了一个称为高性能模型(HPM)的参考软件，以演示AVS3标准的参考实现。

与HEVC一样，AVS3标准建立在基于块的混合视频编码框架之上。

图10是根据本公开内容的一些实施方式，示出用于并行地对视频块进行编码和解码的示例系统10的框图。如图1中所示，系统10包括源设备12，源设备12生成视频数据并对其进行编码，以便稍后由目的地设备14进行解码。源设备12和目的地设备14可以包括各种电子设备中的任何一种，其包括桌面型或膝上型计算机、平板计算机、智能手机、机顶盒、数字电视、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备等等。在一些实现中，源设备12和目的地设备14被配备有无线通信能力。

在一些实现中，目的地设备14可以通过链路16接收要解码的经编码视频数据。链路16可以包括能够将经编码视频数据从源设备12移动到目的地设备14的任何类型的通信介质或设备。在一个例子中，链路16可以包括通信介质，以使源设备12能够实时地将编码的视频数据直接发送到目的地设备14。可以根据通信标准(例如，无线通信协议)调制经编码的视频数据，并将其发送到目的地设备14。该通信介质可以包括任何无线或有线通信介质，例如射频(RF)频谱或者一个或多个物理传输线。通信介质可以形成基于分组的网络(例如，局域网、广域网或诸如互联网的全球网络)的一部分。该通信介质可以包括路由器、交换机、基站、或者有助于促进从源设备12到目的地设备14的通信的任何其它设备。

在一些其它实现中，可以将编码的视频数据从输出接口22传输到存储设备32。随后，目的地设备14可以经由输入接口28访问存储设备32中的编码的视频数据。存储设备32可以包括各种分布式或本地访问的数据存储介质中的任何一种，例如，硬盘、蓝光盘、数字通用光盘(DVD)、压缩光盘只读存储器(CD-ROM)、闪存、易失性或非易失性存储器、或者用于存储编码的视频数据的任何其它适当的数字存储介质。在另外的例子中，存储设备32可以对应于文件服务器或者另一个中间存储设备，其可以保存由源设备12生成的经编码视频数据。目的地设备14可以通过流传输或下载，从存储设备32访问存储的视频数据。文件服务器可以是能够存储编码的视频数据并将编码的视频数据传输到目的地设备14的任何类型的计算机。示例性文件服务器包括web服务器(例如，用于网站)、文件传输协议(FTP)服务器、网络连接存储(NAS)设备或本地磁盘驱动器。目的地设备14可以通过任何标准数据连接来访问编码的视频数据，这些数据连接包括适合于访问存储在文件服务器上的编码的视频数据的无线信道(例如，无线保真(Wi-Fi)连接)、有线连接(例如，数字订户线(DSL)、有线调制解调器等)或两者的组合。来自存储设备32的编码的视频数据的传输可以是流传输、下载传输或两者的组合。

如图10中所示，源设备12包括视频源18、视频编码器20和输出接口22。视频源18可以包括诸如视频捕获设备(例如，摄像机)之类的源、包含先前捕获的视频的视频档案、从视频内容提供商接收视频的视频馈送接口、和/或用于生成计算机图形数据作为源视频的计算机图形系统、或这些源的组合。举一个例子，如果视频源18是安全监控系统的摄像机，则源设备12和目的地设备14可以形成摄像机电话或视频电话。然而，在本申请中描述的实现通常可以应用于视频编码，并且可以应用于无线和/或有线应用。

捕获的、预捕获的、或计算机生成的视频可以由视频编码器20进行编码。可以通过源设备12的输出接口22，将编码的视频数据直接传输到目的地设备14。经编码的视频数据也可以(或替代地)存储在存储设备32上，以供目的地设备14或其它设备稍后访问，以用于解码和/或回放。输出接口22还可以包括调制解调器和/或发射器。

目的地设备14包括输入接口28、视频解码器30和显示设备34。输入接口28可以包括接收器和/或调制解调器，并通过链路16接收编码的视频数据。通过链路16传送或者在存储设备32上提供的编码的视频数据，可以包括由视频编码器20生成的各种语法元素，以供视频解码器30在解码视频数据时使用。在通信介质上传输的、在存储介质上存储的、或者在文件服务器上存储的编码的视频数据内，可以包括这样的语法元素。

在一些实现中，目的地设备14可以包括显示设备34，其可以是集成显示设备和被配置为与目的地设备12通信的外部显示设备。显示设备34向用户显示解码的视频数据，并且可以包括各种显示设备中的任何一种，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或其它类型的显示设备。

视频编码器20和视频解码器30可以根据专有或行业标准(例如，VVC、HEVC、MPEG-4、第10部分、AVC或这些标准的扩展)进行操作。应当理解，本申请并不限于特定的视频编码/解码标准，并且可以适用于其它视频编码/解码标准。通常预期，源设备12的视频编码器20可以被配置为根据这些当前或未来标准中的任何标准，对视频数据进行编码。类似地，还通常预期，目的地设备14的视频解码器30可以被配置为根据这些当前或未来标准中的任何标准，对视频数据进行解码。

视频编码器20和视频解码器30可以实现为各种适当的编码器和/或解码器电路中的任何一种，例如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。当部分地以软件实现时，电子设备可以将软件的指令存储在适当的非临时性计算机可读介质中，并使用一个或多个处理器来执行硬件中的指令，以执行本公开内容中公开的视频编码/解码操作。视频编码器20和视频解码器30中的每一个可以包括在一个或多个编码器或解码器中，其中任何一个可以集成为相应设备中的组合编码器/解码器(CODEC)的一部分。

图1显示了用于VVC的基于块的视频编码器的总体图。具体来说，图1示出了典型的编码器100。编码器100可以是如图10中所示的视频编码器20。编码器100具有视频输入110、运动补偿112、运动估计114、帧内/帧间模式决策116、块预测器140、加法器128、变换器130、量化132、预测相关信息142、帧内预测118、图片缓冲器120、逆量化134、逆变换136、加法器126、存储器124、环路滤波器122、熵编码138和比特流144。

在编码器100中，将视频帧分割成多个视频块进行处理。对于每个给定的视频块，基于帧间预测方法或帧内预测方法来形成预测。

表示当前视频块(视频输入110的一部分)与其预测器(块预测器140的一部分)之间的差异的预测残差，从加法器128发送到变换器130。然后，将变换系数从变换器130发送到量化132以用于熵减少。然后将量化系数馈送到熵编码138以生成压缩视频比特流。如图1中所示，来自帧内/帧间模式决策116的预测相关信息142(例如，视频块分区信息、运动矢量(MV)、参考图片索引和帧内预测模式)也通过熵编码138馈送并保存到压缩比特流144中。压缩比特流144包括视频比特流。

在编码器100中，还需要与解码器相关的电路以便重构像素以用于预测。首先，通过逆量化134和逆变换136来重构预测残差。该重构的预测残差与块预测器140进行组合，以生成当前视频块的未过滤重构像素。

空间预测(或“帧内预测”)使用与当前视频块相同的视频帧中的已编码相邻块的样本(称为参考样本)的像素，来预测当前视频块。

时间预测(也称为“帧间预测”)使用来自已编码视频图片的重构像素来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。给定编码单元(CU)或编码块的时间预测信号通常由一个或多个MV发出信号通知，这些MV指示当前CU与其时间参考之间的运动量和方向。进一步地，如果支持多个参考图片，则额外发送一个参考图片索引，其用于标识时间预测信号来自参考图片存储器中的哪个参考图片。

运动估计114接收视频输入110和来自图片缓冲器120的信号，并且将运动估计信号输出到运动补偿112。运动补偿112接收视频输入110、来自图片缓冲器120的信号和来自运动估计114的运动估计信号，并且向帧内/帧间模式决策116输出运动补偿信号。

在执行空间和/或时间预测之后，编码器100中的帧内/帧间模式决策116例如基于率失真优化方法来选择最佳预测模式。然后，从当前视频块中减去块预测器140，并且使用变换器130和量化132将得到的预测残差进行去相关。获得的量化残差系数由逆量化134进行逆量化，并由逆变换136进行逆变换以形成重构的残差，然后将其添加回预测块以形成CU的重构信号。可以在将重构的CU放入图片缓冲器120的参考图片存储中并用于对未来视频块进行编码之前，向重构的CU应用进一步的环路滤波122(例如，去块滤波器、样本自适应偏移(SAO)和/或自适应环路滤波器(ALF))。为了形成输出视频比特流144，将编码模式(帧间或帧内)、预测模式信息、运动信息和量化的残差系数都发送到熵编码单元138，以进一步压缩和打包以形成比特流。

图1给出了通用的基于块的混合视频编码系统的框图。对输入视频信号进行逐块(称为编码单元(CU))处理。与仅基于四叉树来分割块的HEVC不同，在AVS3中，将一个编码树单元(CTU)拆分为CU，以适应基于四叉树/二叉树/扩展四叉树的不同局部特征。另外，去除HEVC中多划分单元类型的概念，即AVS3中不再存在CU、预测单元(PU)和变换单元(TU)的分离；相反，每个CU始终用作预测和变换的基本单元，而无需进一步划分。在AVS3的树划分结构中，首先基于四叉树结构对一个CTU进行划分。然后，每个四叉树的叶子节点可以基于二叉树和扩展四叉树结构进一步划分。

如图3A、3B、3C、3D和3E中所示，存在五种分割类型，四元划分、水平二元划分、垂直二元划分、水平扩展四叉树划分和垂直扩展四叉树划分。

图3A根据本公开内容，示出了用于描绘多类型树结构中的块四元划分的图。

图3B根据本公开内容，示出了用于描绘多类型树结构中的块垂直二元划分的图。

图3C根据本公开内容，示出了用于描绘多类型树结构中的块水平二元划分的图。

图3D根据本公开内容，示出了用于描绘多类型树结构中的块垂直三元划分的图。

图3E根据本公开内容，示出了用于描绘多类型树结构中的块水平三元划分的图。

在图1中，可以执行空间预测和/或时间预测。空间预测(或“帧内预测”)使用来自同一视频图片/条带中已编码相邻块的样本(称为参考样本)的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测(也称为“帧间预测”或“运动补偿预测”)使用来自已编码视频图片的重构像素来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。给定CU的时间预测信号通常由一个或多个运动矢量(MV)发出信号通知，这些MV指示当前CU与其时间参考之间的运动量和方向。此外，如果支持多个参考图片，则额外发送一个参考图片索引，其用于标识时间预测信号来自参考图片存储器中的哪个参考图片。在空间和/或时间预测之后，编码器中的模式决策块选择最佳预测模式(例如，基于率失真优化方法)。然后，从当前视频块中减去预测块，并使用变换对预测残差进行去相关和量化。对量化后的残差系数进行逆量化和逆变换，以形成重构残差，然后将其加回预测块，形成CU的重构信号。可以在将重构的CU放入参考图片存储中并用于对未来视频块进行编码之前，向重构的CU应用进一步的环路滤波(例如，去块滤波器、样本自适应偏移(SAO)和自适应环路滤波器(ALF))。为了形成输出视频比特流，将编码模式(帧间或帧内)、预测模式信息、运动信息和量化的残差系数都发送到熵编码单元，以进一步压缩和打包。

图2示出了用于VVC的视频解码器的一般框图。具体地说，图2示出了典型的解码器200框图。基于块的视频解码器200可以是如图10中所示的视频解码器30。解码器200具有比特流210、熵解码212、逆量化214、逆变换216、加法器218、帧内/帧间模式选择220、帧内预测222、存储器230、环路滤波器228、运动补偿224、图片缓冲器226、预测相关信息234和视频输出232。

解码器200类似于位于图1的编码器100中的重构相关部分。在解码器200中，首先通过熵解码212对输入视频比特流210进行解码，以导出量化的系数电平和预测相关信息。然后通过逆量化214和逆变换216来处理量化的系数电平，以获得重构的预测残差。在帧内/帧间模式选择器220中实现的块预测器机制被配置为基于解码的预测信息来执行帧内预测222或运动补偿224。通过使用加法器218将来自逆变换216的重构预测残差与块预测器机制生成的预测输出相加，来获得一组未过滤的重构像素。

在将重构块存储在用作参考图片存储的图片缓冲器226中之前，可以进一步经过环路滤波器228。可以发送图片缓冲器226中的重构视频以驱动显示设备，以及用于预测未来的视频块。在环路滤波器228开启的情况下，对这些重构的像素执行滤波操作以导出最终的重构视频输出232。

图2给出了基于块的视频解码器的一般框图。首先在熵解码单元处，对视频比特流进行熵解码。将编码模式和预测信息发送到空间预测单元(如果是帧内编码)或时间预测单元(如果是帧间编码)以形成预测块。将残差变换系数发送到逆量化单元和逆变换单元以重构残差块。然后将预测块和残差块进行相加。重构块存储在参考图片存储中之前，可以进一步经过环路滤波。然后，将参考图片存储中的重构视频发送出去以用于显示，并用于预测未来的视频块。

本公开内容的重点是提高VVC和AVS3标准中使用的几何分区模式(GPM)的编码性能。在AVS3中，该工具也称为角度加权预测(AWP)，它遵循GPM的相同设计精神，但在某些设计细节上存在一些细微差异。为了便于描述本公开内容起见，在下文中，使用VVC标准中的现有GPM设计作为示例来解释GPM/AWP工具的主要方面。同时，还简要回顾了在VVC和AVS3标准中应用的另一种称为具有运动矢量差的合并模式(MMVD)的现有帧间预测技术，因为它与本公开内容中提出的技术密切相关。然后，确定了当前GPM/AWP设计的一些缺点。最后，详细介绍了所提出的方法。应当注意，尽管贯穿本公开内容使用VVC标准中的现有GPM设计作为示例，但对于现代视频编码技术领域的技术人员来说，所提出的技术也可以应用于具有相同或类似设计精神的其它GPM/AWP设计或其它编码工具。

几何分区模式(GPM)

在VVC中，帧间预测支持几何分区模式。通过一个CU级标志，将几何分区模式发信号通知为一个特殊合并模式。在当前的GPM设计中，对于每个可能的CU大小(宽度和高度都不小于8且不大于64，不包括8x64和64x8)，GPM模式总共支持64个分区。

当使用该模式时，通过几何定位的直线将CU分割成两个部分，如图4中所示(以下提供描述)。在数学上，根据特定分区的角度和偏移参数来导出分割线的位置。CU中的几何分区的每个部分使用其自身的运动进行帧间预测；每个分区只允许单向预测，即每个部分有一个运动矢量和一个参考索引。应用单向预测运动约束，以确保与传统双向预测相同，每个CU只需要两个运动补偿预测。如果当前CU使用几何分区模式，则几何分区索引指示几何分区的分区模式(角度和偏移)，并且进一步用信号通知两个合并索引(每个分区一个)。在序列级别，显式地发信号通知最大GPM候选大小的数量。

图4显示了允许的GPM分区，其中每个图片中的分割具有一个相同的分割方向。

单向预测候选列表构建

为了导出一个几何分区的单向预测运动矢量，首先直接从常规合并候选列表生成过程中导出一个单向预测候选列表。将n表示为几何单向预测候选列表中的单向预测运动的索引。将第n个合并候选的LX运动矢量(X等于n的奇偶性)用作几何分区模式的第n个单向预测运动矢量。

在图5中用“x”标记这些运动矢量(如下所述)。如果第n个扩展合并候选的对应LX运动矢量不存在，则使用相同候选的L(1-X)运动矢量作为几何分区模式的单向预测运动矢量。

图5示出了从GPM的合并候选列表的运动矢量中选择的单向预测运动矢量。

沿几何分区边缘的混合

在使用其自身运动获得每个几何分区之后，将混合应用于两个单向预测信号，以导出几何分区边缘周围的样本。基于从每个单独样本位置到相应分区边缘的距离，来得出CU的每个位置的混合权重。

GPM信令设计

根据当前的GPM设计，通过在CU级发送一个标志来指示GPM的使用。仅在当前CU通过合并模式或跳过模式进行编码时，才发信号通知该标志。具体地说，当该标志等于1时，它指示GPM预测当前CU。否则(该标志等于零)，CU通过另一种合并模式(例如，常规合并模式、具有运动矢量差的合并模式、组合的帧间和帧内预测等等)进行编码。在为当前CU启用GPM时，进一步发信号通知一个语法元素(即，merge_gpm_partition_idx)以指示所应用的几何分区模式(其指定从CU中心的直线的方向和偏移，该直线将CU划分为两个分区，如图4中所示)。之后，用信号通知两个语法元素merge_gpm_idx0和merge_gpm_idx1，以指示用于第一和第二gpm分区的单向预测合并候选的索引。具体地说，使用这两个语法元素从单向预测合并列表中确定两个GPM分区的单向MV，如“单向预测合并列表构造”一节中所描述的。根据当前的GPM设计，为了使两个单向MV更不同，两个索引不能相同。基于这样的先验知识，首先发信号通知第一GPM分区的单向预测合并索引，并将其用作预测器，以减少第二GPM分区的单向预测合并索引的信令开销。详细地，如果第二单向预测合并索引小于第一单向预测合并索引，则直接用信号通知其原始值。否则(第二单向预测合并索引大于第一单向预测合并索引)，将其值减去1，然后用信号发送到比特流。在解码器侧，第一单向预测合并索引被首先解码。然后，对于第二单向预测合并索引的解码，如果解析值小于第一单向预测合并索引，则将第二单向预测合并索引设置为等于解析值；否则(解析值等于或大于第一单向预测合并索引)，将第二单向预测合并索引设置为等于解析的值加1。表1说明了当前VVC规范中用于GPM模式的现有语法元素。

表1 VVC规范的合并数据语法表中现有的GPM语法元素

另一方面，在当前的GPM设计中，截断的一元代码用于两个单向预测合并索引(即，merge_GPM_idx0和merge_GPM_idx1)的二进制化。此外，由于两个单向预测合并索引不能相同，因此使用不同的最大值来截断两个单向预测合并索引的码字，对于merge_gpm_idx0和merge_gpm_idx1，这两个索引分别设置为MaxGPMMergeCand-1和MaxGPMMergeCand-2。MaxGPMMergeCand是单向预测合并列表中的候选数量。

当应用GPM/AWP模式时，应用两种不同的二进制化方法将语法merge_gpm_partition_idx转换为二进制位字符串。具体而言，分别通过VVC和AVS3标准中的固定长度代码和截断二进制代码，对语法元素进行二进制化。同时，对于AVS3中的AWP模式，不同的最大值用于语法元素的值的二进制化。具体地说，在AVS3中，允许的GPM/AWP分区模式的数量是56(即，merge_gpm_partition_idx的最大值是55)，而在VVC中，将该数量增加到64(即，merge_gpm_papartition_idx最大值是63)。

具有运动矢量差的合并模式(MMVD)

除了从其空间/时间邻居中导出一个当前块的运动信息的传统合并模式之外，在VVC和AVS标准中都引入MMVD/UMVE模式作为一种特殊的合并模式。具体地说，在VVC和AVS3两者中，通过编码块级别的一个MMVD标志来发信号通知该模式。在MMVD模式中，选择常规合并模式的合并列表中的前两个候选作为MMVD的两个基本合并候选。在选择并发信号通知一个基本合并候选之后，发信号通知附加语法元素以指示添加到所选合并候选的运动的运动矢量差(MVD)。MMVD语法元素包括用于选择基本合并候选的合并候选标志、用于指定MVD幅度的距离索引、以及用于指示MVD方向的方向索引。

在现有的MMVD设计中，距离索引指定了MVD幅度，该幅度是基于距起点的一组预定义偏移量来定义的。如图6A和6B中所示，将该偏移被添加到起始MV的水平或垂直分量(即，所选基本合并候选的MV)。

图6A示出了L0参考的MMVD模式。图6B示出了L1参考的MMVD模式。

表2说明了在AVS3中分别应用的MVD偏移。

表2在AVS3中使用的MVD偏移

距离IDX	0	1	2	3	4
						偏移(以亮度样本为单位)	1/4	1/2	1	2	4

如表3中所示，使用方向索引来指定发信号通知的MVD的符号。应当注意，MVD符号的含义可以根据起始MV而变化。当起始MV是单向预测MV或双向预测MV时(其中MV指向其POC都大于当前图片的POC或者都小于当前图片的POC的两个参考图片)，用信号通知的符号是添加到起始MV的MVD的符号。当起始MV是指向两个参考图片的双向预测MV时(其中一个图片的POC大于当前图片，另一个图片POC小于当前图片)，用信号通知的符号应用于L0 MVD，而用信号通知的符号的相反值应用于L1 MVD。

表3如方向索引所指定的MVD符号

方向IDX	00	01	10	11
					x轴	+	–	N/A	N/A
y轴	N/A	N/A	+	–

常规帧间模式的运动信令

与HEVC标准类似，除了合并/跳过模式之外，VVC和AVS3都允许一个帧间CU在比特流中显式地指定其运动信息。总体而言，VVC和AVS3中的运动信息信令保持与HEVC标准中的相同。具体地说，首先用信号通知一个帧间预测语法(即，inter_pred_idc)，以指示来自列表L0、L1或两者的预测信号。对于每个使用的参考列表，通过发信号通知对应的参考列表的一个参考图片索引ref_idx_lx(x＝0,1)来标识对应的参考图片，并且对应的MV由一个MVP索引mvp_lx_flag(x＝0,1)来表示，该MVP索引用于选择MV预测器(MVP)，随后是目标MV和所选MVP之间的运动矢量差(MVD)。此外，在VVC标准中，以条带级别发信号通知一个控制标志mvd_l1_zero_flag。当mvd_l1_zero_flag等于0时，在比特流中发信号通知L1 MVD；否则(当mvd_l1_zero_flag标志等于1时)，不发信号通知L1 MVD，并且在编码器和解码器处总是推断其值为零。

具有CU级别权重的双向预测

在VVC和AVS3之前的先前标准中，当不应用加权预测(WP)时，通过对从两个参考图片获得的单向预测信号进行平均来生成双向预测信号。在VVC中，引入了一种工具编码，即具有CU级别权重的双向预测(BCW)，以提高双向预测的效率。具体地说，代替简单的平均，通过允许两个预测信号的加权平均来扩展BCW中的双向预测，如下所示：

P′(i,j)＝((8-w)·P₀(i,j)+w·P₁(i,j)+4)＞＞3

在VVC中，在当前图片是一个低延迟图片时，允许从一组预定义的权重值w∈{-2,3,4,5,10}中选择一个BCW编码块的权重，并且权重4表示对两个单向预测信号进行相等加权的传统双向预测情况。对于低延迟，仅允许3个权重w∈{3,4,5}。一般来说，虽然WP和BCW之间存在一些设计上的相似之处，但这两种编码工具旨在解决不同粒度下的照明变化问题。然而，由于WP和BCW之间的交互可能潜在地使VVC设计复杂化，因此不允许同时启用这两个工具。具体地说，当针对一个条带启用WP时，则不发信号通知条带中所有双向预测CU的BCW权重，并将其推断为4(即，应用相等的权重)。

模板匹配

模板匹配(TM)是一种解码器侧MV推导方法，用于通过找到当前CU的顶部和左侧相邻重构样本组成的一个模板与参考图片中的参考块(即，与模板大小相同)之间的最佳匹配，来细化当前CU的运动信息。如图7中所示，将在[–8,+8]像素搜索范围内围绕当前CU的初始运动矢量来搜索一个MV。可以将最佳匹配定义为在当前模板和参考模板之间实现最低匹配成本(例如，绝对差之和(SAD)、绝对变换差之和(SATD)等等)的MV。存在两种不同的方式将TM模式应用于帧间编码：

在AMVP模式中，基于模板匹配差异来确定MVP候选，以挑选达到当前块模板和参考块模板之间的最小差异的MVP，然后TM仅对该特定MVP候选执行MV细化。TM通过使用迭代菱形搜索，从[–8,+8]像素搜索范围内的全像素MVD精度(或4像素AMVR模式的4像素)开始，对MVP候选进行优化。可以通过使用具有全像素MVD精度的交叉搜索(或4像素AMVR模式的4像素)进一步细化AMVP候选，然后根据AMVR模式依次进行半像素和四分之一像素的搜索，如下表13中所示。该搜索过程确保MVP候选在TM过程之后仍然保持与AMVR模式所指示的相同MV精度。

表14

在合并模式下，类似的搜索方法应用于合并索引所指示的合并候选。如上表所示，TM可以一直执行到1/8像素MVD精度或跳过超过半像素MVD的精度，这取决于是否根据合并的运动信息使用替代插值滤波器(当AMVR为半像素模式时使用)。

如上面所提及的，用于生成两个GPM分区的预测样本的单向运动直接从常规合并候选中获得。在空间/时间相邻块的MV之间没有强相关性的情况下，从合并候选中导出的单向MV可能不够精确，无法捕捉每个GPM分区的真实运动。运动估计能够提供更精确的运动，然而，这是以不可忽略的信令开销为代价(由于可应用于现有单向MV之上的任意运动的细化)。另一方面，在VVC和AVS3标准中使用MVMD模式，这已被证明是一种高效的用于减少MVD信令开销的信令机制。因此，将GPM与MMVD模式相结合也是有益的。通过提供更精确的MV来捕获每个GPM分区的单独运动，这种组合可以潜在地提高GPM工具的总体编码效率。

如先前所讨论的，在VVC和AVS3标准中，GPM模式仅适用于合并/跳过模式。考虑到所有非合并帧间CU不能从GPM的灵活非矩形分区中受益，这样的设计在编码效率方面可能不是最优的。另一方面，由于与上述相同的原因，从常规合并/跳过模式导出的单向预测运动候选并不总是精确地捕捉两个几何分区的真实运动。基于这样的分析，通过将GPM模式合理扩展到非合并帧间模式(即，在比特流中显式地发信号通知其运动信息的CU)，可以预期额外的编码增益。然而，MV准确性的提高是以增加信令开销为代价的。因此，为了高效地将GPM模式应用于显式帧间模式，重要的是确定一种有效的信令方案，该信令方案可以最小化信令成本，同时为两个几何分区提供更准确的MV。

提出的方法

在本公开内容中，提出了通过在应用于每个GPM分区的现有单向MV之上应用进一步的运动细化，来进一步提高GPM编码效率的方法。所提出的方法称为具有运动矢量细化的几何分区模式(GPM-MVR)。另外，在所提出的方案中，以现有MMVD设计的一种类似方式(即，基于一组预定义的MVD幅度和运动细化的方向)，来发信号通知运动细化。

在本公开内容的另一个方面，提供了将GPM模式扩展到显式帧间模式的解决方案。为了便于描述起见，将这些方案命名为具有显式运动信令的几何分区模式(GPM-EMS)。具体而言，为了实现与常规帧间模式的更好协调，在所提出的GPM-EMS方案中使用了现有的运动信令机制(即，MVP加MVD)，以指定两个几何分区的对应单向MV。

具有单独运动矢量细化的几何分区模式

为了提高GPM的编码效率，在本节中，提出了一种具有单独运动矢量细化的改进几何分区模式。具体地说，给定GPM分区，所提出的方法首先使用现有语法merge_gpm_idx0和merge_gpm_idx1从现有的单向预测合并候选列表中识别两个GPM分区的单向MV，并将它们用作基本MV。在确定两个基本MV之后，引入两组新的语法元素来指定分别应用于两个GPM分区的基本MV之上的运动细化的值。具体地说，首先发信号通知两个标志(即，gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag)，以指示GPM-MVR是否分别应用于第一和第二GPM分区。当一个GPM分区的标志等于1时，以MMVD样式发信号通知应用于分区的基本MV的MVR的对应值，即一个距离索引(如语法元素gpm_mvr_partIdx0_distance_idx和gpm_mvr_partIdx1_distance_idx所指示的)用于指定MVR的幅度，一个方向索引(如语法元素gpm_mvr_partIdx0_direction_idx和gpm_mvr_partIdx1_distance_idx所指示的)指定MVR的方向。表4说明了所提出的GPM-MVR方法引入的语法元素。

表4所提出的具有用于两个GPM分区的单独MVR的GPM-MVR方法的语法元素(方法一)

基于如表4所示的建议的语法元素，在解码器处，用于生成每个GPM分区的单向预测样本的最终MV等于用信号通知的运动矢量细化和对应的基本MV的总和。在实践中，可以预定义不同的MVR幅度和方向集，并将其应用于所提议的GPM-MVR方案，这可以在运动矢量精度和信令开销之间提供各种折衷。在一个具体的示例中，建议将VVC标准中使用的八个MVD偏移(即，1/4、1/2、1、2、4、8、16和32像素)和四个MVD方向(即，+/-x和y轴)用于所提出的GPM-MVR方案。在另一个例子中，AVS3标准中使用的现有五个MVD偏移{1/4、1/2、1、2和4像素}和四个MVD方向(即，+/-x和y轴)应用于所提出的GPM-MVR方案中。

如“GPM信令设计”一节中所讨论的，由于用于两个GPM分区的单向MV不可能相同，因此在现有GPM设计中应用了一个约束，即强制两个单向预测合并索引不同。然而，在所提出的GPM-MVR方案中，在现有GPM单向MV的基础上应用了进一步的运动细化。因此，即使当两个GPM分区的基本MV相同时，只要两个运动矢量细化的值不相同，用于预测两个分区的最终单向MV仍可能不同。基于上述考虑，当应用所提出的GPM-MVR方案时，去除了该约束(其将两个单向预测合并索引限制为不同)。另外，由于允许两个单向预测合并索引相同，因此将使用相同的最大值MaxGPMMergeCand–1对merg_gpm_idx0和merge_gpm_idx1进行二进制化，其中MaxGPMMergeCand是单向预测合并列表中的候选数量。

如上面所分析的，当两个GPM分区的单向预测合并索引(即，merge_gpm_idx0和merge_gpm_idx1)相同时，两个运动矢量细化的值不能相同，以确保用于两个分区的最终MV不同。基于这样的条件，在本公开内容的一个实施例中，提出了一种信令冗余去除方法，当两个GPM分区的单向预测合并索引相同(即，merge_gpm_idx0等于merge_gpm_idx1)时，使用第一GPM分区的MVR来减少第二GPM分区的MVR的信令开销。在一个例子中，应用以下的信令条件：

首先，当标志gpm_mvr_partIdx0_enable_flag等于0(即，GPM-MVR未应用于第一GPM分区)时，不发信号通知gpm_mvr_partIdx1_enable_flag的标志，而是推断其为1(即，将GPM-MVR应用于第二GPM分区)。

其次，当标志gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag都等于1(即，GPM-MVR应用于两个GPM分区)并且gpm_mvr_partIdx0_direction_idx等于gpm_mvr_partIdx1_direction_idx(即，两个GPM分区的MVR具有相同的方向)时，第一GPM分区的MVR的幅度(即，gpm_mvr_partIdx0_distance_idx)用于预测第二GPM分区的MVR的幅度(即，gpm_mvr_partIdx1_distance_idx)。具体而言，如果gpm_mvr_partIdx1_distance_idx小于gpm_mvr_partIdx0_distance_idx，则直接发信号通知其原始值。否则(gpm_mvr_partIdx1_distance_idx大于gpm_mvr_partIdx0_distance_idx)，将其值减去1，然后用信号发送到比特流。在解码器侧，为了对gpm_mvr_partIdx1_distance_idx的值进行解码，如果解析的值小于gpm_mvr_partIdx0_distance_idx，则将gpm_mver_partIdx1_distance.idx设置为等于解析值；否则(解析值等于或大于gpm_mvr_partIdx0_distance_idx)，将gpm_mvr_partIdx1_distance_idx设置为等于解析值加1。在这种情况下，为了进一步减少开销，可以将不同的最大值MaxGPMMVRDistance–1和MaxGPMMVRDistance-2用于gpm_mvr_partIdx0_distance_idx和gpm_mvr_partIdx1_distance_idx的二进制化，其中MaxGPMMVRDistance是运动矢量细化的允许幅度的数量。

在另一个实施例中，建议将信令顺序切换为gpm_mvr_partIdx0_direction_idx/gpm_mvr_partIdx1_direction_idx和gpm_mver_partIdx0_distance_idx/gpm_mvr_partIdx1_distance_idx，以使MVR幅度在MVR幅度之前发信号通知。以此方式，遵循与上面描述的相同逻辑，编码器/解码器可以使用第一GPM分区的MVR方向来调节第二GPM分区的MVR方向的信令。在另一个实施例中，建议首先发信号通知第二GPM分区的MVR幅度和方向，并使用它们来调节第二GPM分区的MVR幅度和方向的信令。

在另一个实施例中，建议在现有GPM语法元素的信令之前，发信号通知GPM-MVR相关语法元素。具体地说，在这样的设计中，首先发信号通知两个标志gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag，以指示GPM-MVR是否分别应用于第一和第二GPM分区。当一个GPM分区的标志等于1时，距离索引(如语法元素gpm_mvr_partIdx0_distance_idx和gpm_mvr_partIdx1_distance_idx所指示的)和方向索引(如语法元素gpm_mvr_partIdx0_direction_idx和gpm_mvr_partIdx1_distance_idx所指示的)用于指定MVR的方向。之后，发信号通知现有语法merge_gpm_idx0和merge_gpm_idx1，以识别两个GPM分区的单向MV(即，基于的MV)。表5说明了所提出的GPM-MVR信令方案。

表5所提出的具有用于两个GPM分区的单独MVR的GPM-MVR方法的语法元素(方法二)

类似于表4中的信令方法，当应用表5中的GPM-MVR信令方法时，可以应用某些条件，以确保用于两个GPM分区的预测的最终MV不相同。具体地说，根据应用于第一和第二GPM分区的MVR的值，提出以下条件来约束单向预测合并索引merge_gpm_idx0和merge_gpm_idx1的信令：

首先，当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的值都等于0(即，两个GPM分区都禁用GPM-MVR)时，merge_gpm_idx0和merge_gpm_idx1的值不能相同；

第二，当gpm_mvr_partIdx0_enable_flag等于1(即，第一GPM分区启用了GPM-MVR)且gpm_mvr_partIdx1_enable_flag等于0(即，第二GPM分区禁用了GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

第三，当gpm_mvr_partIdx0_enable_flag等于0(即，第一GPM分区禁用GPM-MVR)且gpm_mvr_partIdx1_enable_flag等于1(即，第二GPM分区启用GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

第四，当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable-flag的值都等于1(即，两个GPM分区都启用了GPM-MVR)时，关于是否允许merge_gpm_idx0和merge_gpm_idx1的值相同的判断取决于应用于这两个GPM分区的MVR的值(如gpm_mvr_partIdx0_direction_idx和gpm_mvr_partIdx0_distance_idx，以及gpm_mvr_partIdx1_direction_idx和gpm_mvr_partIdx1_distance_idx所指示的)。如果两个MVR的值相等，则不允许merge_gpm_idx0和merge_gpm_idx1相同。否则(两个MVR的值不相等)，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

在上述四种情况下，当不允许merge_gpm_idx0和merge_gpm_idx1的值相同时，一个分区的索引值可以用作另一个分区索引值的预测值。在一种方法中，建议首先发信号通知merge_gpm_idx0，并使用其值来预测merge_gpm_idx1。具体地说，在编码器处，当merge_gpm_idx1大于merge_gpm_idx0时，发送到解码器的merge_gpm_idx1的值减小1。在解码器处，当merge_gpm_idx1的接收值等于或大于merge_gpm_idx0的接收值时，merge_gpm_idx1的值增加1。在另一种方法中，建议首先发信号通知merge_gpm_idx1，并使用其值来预测merge_gpm_idx0。因此，在这种情况下，在编码器处，当merge_gpm_idx0大于merge_gpm_idx1时，发送到解码器的merge_gpmidx0的值减小1。在解码器处，当merge_gpm_idx0的接收值等于或大于merge_gpm_idx1的接收值时，merge_gpm_idx0的值增加1。此外，与现有的GPM信令设计类似，可以使用不同的最大值MaxGPMMergeCand–1和MaxGPMMergeCand–2来分别根据信令顺序对第一和第二索引值进行二进制化。另一方面，当允许merge_gpm_idx0和merge_gpm_idx1的值相同(因为两个索引值之间没有相关性时)，相同的最大值MaxGPMMergeCand–1用于两个索引值的二进制化。

在上述方法中，为了降低信令成本，可以将不同的最大值应用于merge_gpm_idx0和merge_gpm_idx1的二进制化。相应最大值的选择取决于MVR的解码值(如gpm_mvr_partIdx0_enable、gpm_mvr_partIdx1_enable、gpm_mver_partIdx0_direction_idx、gpm_mvr_partIdx1_direction_idx、gpm_mvr_partIdx0_distance_idx和gpm_mvr-partIdx1_distance_idx_所指示的)。这种设计在不同的GPM语法元素之间引入了不希望的解析依赖性，这可能影响整个解析。为了解决这样的问题，在一个实施例中，建议始终使用一个相同的最大值(例如，MaxGPMMergeCand-1)来解析merge_gpm_idx0和merge_gpm_idx1的值。当使用这种方法时，可以使用一个比特流一致性约束来防止两个GPM分区的两个解码的MV相同。在另一种方法中，还可以移除这种非一致性约束，使得允许两个GPM分区的解码MV相同。另一方面，当应用这种方法时(即，对于merge_gpm_idx0和merge_gpm_idx1使用相同的最大值)，merge_gpm_idx0/merge_gpm_idx1和其它GPM-MVR语法元素之间不存在解析依赖性。因此，发信号通知这些语法元素的顺序不再重要。在一个例子中，建议将merge_gpm_idx0/merge_gpm_idx1的信令移动到gpm_mvr_partIdx0_enable,gpm_mvr_partIdx1_enable、gpm_mvr_partIdx0_direction_idx、gpm_mvr_partIdx1_direction_idx、gpm_mvr_partIdx0_distance_idx和gpm_mvr_partIdx1_distance_idx的信令之前。

具有对称运动矢量细化的几何分区模式

对于上面讨论的GPM-MVR方法，用信号通知两个单独的MVR值，其中一个用于改善仅一个GPM分区的基本MV。通过允许对每个GPM分区进行独立的运动细化，这种方法在提高预测精度方面是高效的。然而，考虑到需要从编码器向解码器发送两组不同的GMP-MVR语法元素，这种灵活的运动细化以增加信令开销为代价。为了减少信令开销，在本节中，提出了一种具有对称运动矢量细化的几何分区模式。具体而言，在该方法中，根据当前图片和与两个GPM分区相关联的参考图片的图片顺序计数(POC)值之间的对称关系，为一个GPM CU发信号通知一个单个MVR值，并将其用于两个GPM分区。表6说明了应用所提出的方法时的语法元素。

表6所提出的具有用于两个GPM分区的对称MVR的GPM-MVR方法的语法元素(方法一)

如表6中所示，在选择了两个GPM分区的基本MV(基于merge_gpm_idx0和merge_gpm_idx1)之后，用信号通知一个标志gpm_mvr_enable_flag，以指示是否将GPM-MVR模式应用于当前GPM CU。当该标志等于1时，它指示应用运动细化来增强两个GPM分区的基本MV。否则(当该标志等于零时)，它指示运动细化不应用于两个分区中的任何一个。如果启用了GPM-MVR模式，则通过方向索引gpm_mvr_direction_idx和幅度索引gpm_mvr_distance_idx进一步发信号通知另外的语法元素来指定所应用的MVR的值。此外，类似于MMVD模式，MVR符号的含义可以根据当前图片和GPM分区的两个参考图片的POC之间的关系而变化。具体地说，当两个参考图片的两个POC大于或小于当前图片的POC时，发信号通知的符号是添加到两个基本MV的MVR的符号。否则(当一个参考图片的POC大于当前图片而另一个参考图片的POC小于当前图片时)，将发信号通知的符号应用于第一GPM分区的MVR，而相反的符号应用到第二GPM分区。在表6中，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

在另一个实施例中，建议发信号通知两个不同的标志，以分别控制两个GPM分区的GPM-MVR模式的启用/禁用。然而，当启用GPM-MVR模式时，基于语法元素gpm_mvr_direction_idx和gpm_mvr_distance_idx，仅发信号通知一个MVR。在表7中示出了这种信令方法的对应语法表。

表7所提出的具有用于两个GPM分区的对称MVR的GPM-MVR方法的语法元素(方法二)

当应用表7中的信令方法时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。然而，为了确保应用于两个GPM分区的最终MV不是冗余的，当标志gpm_mvr_partIdx0_enable_flag等于0(即，GPM-MVR未应用于第一GPM分区)时，不发信号通知标志gpm_mvr_partIdx1_enable_flag，而是推断其为1(即，将GPM-MVR应用于第二GPM分区)。

针对GPM-MVR允许的MVR的适配

在上面讨论的GPM-MVR方法中，使用一组固定的MVR值用于一个视频序列中在编码器和解码器两处的GPM CU。这种设计对于具有高分辨率或剧烈运动的视频内容来说是次优的。在这些情况下，MV往往很大，使得固定的MVR值可能不是捕捉这些块的真实运动的最佳值。为了进一步提高GPM-MVR模式的编码性能，在本公开内容中提出支持允许GPM-MVR模式在各种编码级别(例如，序列级别、图片/条带图片、编码块组级别等等)选择的MVR值的自适应。例如，可以根据不同视频序列的特定运动特性，离线地导出多个MVR集合以及对应的码字。编码器可以选择最佳MVR集合，并将所选集合的对应索引用信号发送给解码器。

在本公开内容的具体实施例中，除了包括八个偏移量(即，1/4、1/2、1、2、4、8、16和32像素)和四个MVR方向(即，+/-x轴和y轴)的缺省MVR偏移外，还为GPM-MVR模式提出了下表中定义的另一种MVR偏移。

表15

距离IDX	0	1	2	3	4	5	6	7	8
										偏移(以亮度样本为单位)	1/4	1/2	1	2	3	4	6	8	16

表16

方向IDX	000	001	010	011	100	101	110	111
									x-轴	+1	–1	0	0	+1/2	-1/2	-1/2	+1/2
y-轴	0	0	+1	–1	+1/2	-1/2	+1/2	-1/2

在上面的表15和表16中，x轴和y轴上的值+1/2和-1/2表示水平和垂直方向的对角线方向(+45°和-45°)。如表15和表16中所示，与现有MVR偏移集合相比，第二MVR偏移集合引入了两个新的偏移幅度(即，3像素和6像素)和四个偏移方向(45°、135°、225°和315°)。新添加的MVR偏移使得第二MVR偏移集合更适合于对具有复杂运动的视频块进行编码。另外，为了实现两个MVR偏移集合之间的自适应切换，提出一个控制标志以在一个特定编码级别(例如，序列、图片、条带、CTU和编码块等等)发信号，以指示为在该编码级别下应用的GPM-MVR模式选择哪一组MVR偏移。假设所提出的适配是在图片级别执行的，下面的表17示出了在图片报头处用信号通知的对应语法元素。

表17

/>

在上面的表17中，使用新标志ph_gpm_mvr_offset_set_flag来指示用于图片的相应GPM MVR偏移的选择。当该标志等于0时，这意味着缺省MVR偏移(即，1/4、1/2、1、2、4、8、16和32像素以及四个MVR方向+/-x轴和y轴)应用于图片中的GPM-MVR模式。否则，当该标志等于1时，意味着第二MVR偏移(即，1/4、1/2、1、2、3、4、6、8、16像素的幅度和八个MVR方向+/-x、y轴和45°、135°、225°和315°)应用于图片中的GPM-MVR模式。

为了发信号通知MVR偏移，可以采用不同的方法。首先，考虑到MVR方向通常在统计上均匀分布，建议使用固定长度码字对MVR方向进行二进制化。以缺省MVR偏移为例，总共存在四个方向，可以使用00、01、10和11的码字来表示这四个方向。另一方面，由于MVR偏移幅度可能具有适应于视频内容的特定运动特性的变化分布，因此建议使用可变长度码字来对MVR幅度进行二进制化。下面的表18示出了一个特定码字表，该码字表可以用于缺省MVR偏移集合和第二MVR偏移集合的MVR幅度的二进制化。

表18

/>

在其它实施例中，也可以应用不同的固定长度可变码字来对缺省和第二MVR偏移集合的MVR偏移幅度进行二进制化，例如，可以交换上面的码字表中的二进制“0”和“1”，以适应上下文自适应二进制算术编码(CABAC)引擎的各种0/1统计。

在一个特定示例中，提供了两个不同的码字表来对MVR幅度的值进行二进制化。下面的表说明了在第一和第二码字表中应用的缺省和第二MVR偏移集合的对应码字。表19示出了第一码字表中的MVR偏移幅度的码字。表20示出了第二码字表中的MVR偏移幅度的码字。

表19

表20

/>

为了实现两个码字表之间的自适应切换，建议按照一个特定编码级别(例如，序列、图片、条带、CTU和编码块等)发信号通知一个指示标志，以指定使用哪个码字表来对该编码级别下的MVR幅度进行二进制化。假设所提出的自适应是在图片级别执行的，下面的表21示出了在图片报头处用信号通知的相应语法元素，其中新添加的语法元素是斜体粗体。

表21

/>

在上面的语法表中，使用新标志ph_gpm_mvr_step_codeword_flag来指示用于图片的MVR幅度二进制化的对应码字表的选择。当该标志等于0时，它指示将第一码字表应用于图片；否则(即，该标志等于1)，则指示将第二码字表应用于图片。

在另一个实施例中，建议在整个视频序列的编码/解码期间，始终使用一个码字表对MVR偏移幅度进行二进制化。在一个例子中，建议始终使用第一码字表来对MVR幅度进行二进制化。在另一个例子中，建议始终使用第二码字表来对MVR幅度进行二进制化。在另一种方法中，建议使用一个固定码字表(例如，第二码字表)来对所有MVR幅度进行二进制化。

在其它方法中，可以应用一种基于统计的二进制化方法来动态地自适应设计用于MVR偏移幅度的最佳码字，而无需信令。用于确定最佳码字的统计可以是但不限于在多个先前编码的图片、条带和/或编码块上收集的MVR偏移幅度的概率分布。可以在各种频率水平，对码字进行重新确定/更新。例如，可以在每次以GPM-MVR模式对CU进行编码时进行更新。在另一个例子中，每当存在以GPM-MVR模式编码的多个CU(例如，8个或16个)时，可以重新确定和/或更新该更新。

在另一种方法中，代替重新设计一组新的码字，所提出的基于统计的方法也可以用于基于同一组码字对MVR幅度值进行重新排序，以便将较短的码字分配给使用较多的幅度，将较长的码字分配给使用较少的幅度。以下表为例，假设统计数据是在图片级别收集的，“使用”一列指示先前编码图片中GPM-MVR编码块使用的不同MVR偏移幅度的相应百分比。根据“使用”一列中的值，使用相同的二进制化方法(即，截断的一元码字)，编码器/解码器可以基于使用情形对MVR幅值进行排序；之后，编码器/解码器可以将最短码字(即，“1”)分配给最频繁使用的MVR幅度(即，1像素)，将第二短码字(即，“01”)分配给第二频繁使用的MVR幅度(即，1/2像素)，…，将最长码字(即，“0000001”和“0000000”)分配给两个最不常用的MVR幅度(例如，16像素和32像素)。因此，通过这种重新排序方案，可以对相同的码字集合进行自由地重新排序，以适应MVR幅度的统计分布的动态变化。

用于GPM-MVR速率失真优化的编码器加速逻辑

对于所提出的GPM-MVR方案，为了确定每个GPM分区的最佳MVR，编码器可能需要多次测试每个GPM分区的速率失真成本，每次都会改变所应用的MVR值。这将显著增加GPM模式的编码复杂性。为了解决编码复杂性问题，本节提出了以下快速编码逻辑：

首先，由于在VVC和AVS3中应用了四元/二元/三元树块划分结构，在速率失真优化(RDO)过程中可以检查一个相同的编码块，每个编码块通过一个不同的划分路径进行划分。在当前VTM/HPM编码器实现中，每当通过不同的块分区组合获得一个相同CU时，总是测试GPM和GPM-MVR模式以及其它帧间和帧内编码模式。一般来说，对于不同的划分路径，只有一个CU的相邻块可能不同，然而，这对一个CU将选择的最佳编码模式的影响相对较小。基于这样的考虑，为了减少正在应用的GPM RDO的总数，建议在第一次检查一个CU的RD成本时，存储是否选择GPM模式的决定。此后，当RDO过程再次(通过另一划分路径)检查同一CU时，仅当第一次为CU选择GPM时，才检查GPM(包括GPM-MVR)的RD成本。如果没有为一个CU的初始RD检查选择GPM，则当通过另一个划分路径来实现同一CU时，仅测试GPM(没有GPM-MVR)。在另一种方法中，当没有选择GPM以用于一个CU的初始RD检查时，在通过另一个划分路径实现同一CU时，不测试GPM和GPM-MVR。

其次，为了减少GPM-MVR模式的GPM分区的数量，建议在第一次检查一个CU的RD成本时，保持前M个GPM分区模式(而没有最小的RD成本)。之后，当RDO过程再次(通过另一个划分路径)检查同一CU时，仅针对GPM-MVR模式来测试M个GPM分区模式。

第三，为了减少初始RDO过程中测试的GPM分区的数量，对于每个GPM分区，建议在两个GPM分区使用不同的单向预测合并候选时，首先计算和绝对差(SAD)值。然后，对于一个特定分区模式下的每个GPM分区，选择具有最小SAD值的最佳单向预测合并候选，并计算分区模式的对应SAD值，该值等于两个GPM分区的最佳单向预测合并候选的SAD值之和。然后，对于接下来的RD过程，针对GPM-MVR模式，仅测试前一步骤具有最佳SAD值的前N个分区模式。

具有显式运动信令的几何分区

在本节中，提出了多种方法来将GPM模式扩展到常规帧间模式的双向预测，其中从编码器显式地向解码器发信号通知GPM模式的两个单向MV。

在第一解决方案(解决方案一)中，建议充分重用现有的双向预测的运动信令，以发信号通知GPM模式的两个单向MV。表8说明了所提出方案的修改语法表，其中新添加的语法元素是斜体粗体。如表8所示，在该解决方案中，对信令L0和L1运动信息的所有现有语法元素进行完全重用，以分别指示两个GPM分区的单向MV。此外，假设L0 MV始终与第一GPM分区相关联，并且L1 MV始终与第二GPM分区相关联。另一方面，在表8中，在GPM标志(即，gpm_flag)前面发信号通知帧间预测语法(即，inter_pred_idc)，使得可以使用inter_pred_idc的值来调节gpm_flag的存在。具体地说，仅当inter_pred_idc等于PRED_BI(即，双向预测)并且inter_affine_flag和sym_mvd_flag都等于0(即，既不通过仿射模式也不通过SMVD模式来对CU进行编码)时，才需要用信号通知标志gpm_flag。当未发信号通知标志gpm_flag时，总是推断其值为0(即，禁用GPM模式)。当gpm_flag为1时，进一步发信号通知另一个语法元素gpm_partition_idx来指示当前CU的所选GPM模式(总共64个GPM分区中)。

表8解决方案一的运动信令的修改语法表(选项一)

/>

在另一种方法中，建议将标志gpm_flag的信令放置在其它帧间信令语法元素之前，以便可以使用gpm_flag的值来判断是否需要存在其它帧间信令语法元素。表9说明了应用这种方法时的对应语法表，其中新添加的语法元素为斜体粗体。可以看出，首先在表9中发信号通知gpm_flag。当gpm_flag等于1时，可以绕过inter_pred_idc、inter_affine_flag和sym_mvd_flag的相应信令。相反，可以将三个语法元素的对应值分别推断为PRED_BI、0和0。

表9解决方案一的运动信令的修改语法表(选项二)

/>

在表8和表9中，SMVD模式不能与GPM模式组合。在另一个例子中，建议在当前CU使用GPM模式进行编码时允许SMVD模式。当允许这样的组合时，通过遵循SMVD的相同设计，假设两个GPM分区的MVD是对称的，使得仅需要用信号通知第一GPM分区的MVD，并且第二GPM分区的MVD总是与第一MVD对称。当应用这种方法时，可以去除gpm_flag上的sym_mvd_flag的相应信令条件。

如上文所示，在第一种解决方案中，始终假设L0 MV用于第一GPM分区，L1 MV用于第二GPM分区。这种设计可能不是最佳的，因为这种方法禁止两个GPM分区的MV来自同一预测列表(L0或L1)。为了解决这一问题，提出了一种替代的GPM-EMS方案(即，解决方案二)，其信令设计如表10所示。在表10中，新添加的语法元素以斜体粗体显示。如表10所示，首先发信号通知标志gpm_flag。当该标志等于1(即，启用GPM)时，发信号通知语法gpm_partition_idx以指定所选的GPM模式。然后，发信号通知一个附加标志gpm_pred_dir_flag0，以指示第一GPM分区的MV来自的对应预测列表。当标志gpm_pred_dir_flag0等于1时，其表示第一GPM分区的MV来自L1；否则(该标志等于0)，则表示第一GPM分区的MV来自L0。之后，利用现有语法元素ref_idx_l0、mvp_l0_flag和mvd_coding()来发信号通知参考图片索引、mvp索引和第一GPM分区的MVD的值。另一方面，与第一分区类似，引入另一个语法元素gpm_pred_dir_flag1来选择第二GPM分区的对应预测列表，然后是现有语法元素ref_idx_l1、mvp_l1_flag和mvd_coding()，用于导出第二GPM分区的MV。

表10解决方案二的运动信令的修改语法表

/>

/>

]最后，应当提及的是，鉴于GPM模式由两个单向预测分区组成(分割边缘上的混合样本除外)，VVC和AVS3中的一些现有编码工具专门设计用于双向预测(例如，双向光流)，当针对一个帧间CU启用所提出的GPM-EMS方案时，可以自动地绕过解码器侧运动矢量细化(DMVR)和具有CU权重的双向预测(BCW)。例如，当针对一个CU启用所提出的GPM-EMS中的一个时，考虑到BCW不能应用于GPM模式，不需要为CU进一步发信号通知相应的BCW权重，从而减少信令开销。

GPM-MVR和GPM-EMS的组合

在本节中，建议将一个CU的GPM-MVR和GPM-EMS与几何分区相结合。具体地说，与GPM-MVR或GPM-EMS(此时，可以应用基于合并的运动信令或显式信令中的仅一个，来发信号通知两个GPM分区的单向预测MV)不同，在所提出的方案中，它允许：1)一个分区使用基于GPM-MVR的运动信令，另一个分区则使用基于GPM-EMS的运动信令；或2)两个分区使用基于GPM-MVR的运动信令；或3)两个分区使用基于GPM-EMS的运动信令。使用表4中的GPM-MVR信令和表10中的GPM-EMS，表11显示了对所提出的GPM-MV和GPM-EMS组合后的对应语法表。在表11中，新添加的语法元素以斜体粗体显示。如表11中所示，分别为分区#1和#2引入了两个附加语法元素gpm_merge_flag0和gpm_merge_flag1，它们使用基于GPM-MVR的合并信令或基于GPM-EMS的显式信令来指定相应的分区。当该标志为1时，这意味着对于其GPM单向预测运动将通过merge_gpm_idxX、gpm_mvr_partIdxX_enabled_flag、gpm_mvr_partIdxX_direction_idx和gpm_mvr_partIdxX_distance_idx来发信号通知的分区，将启用GPM-MVR基础信令，其中X＝0，1。否则，如果该标志为零，则意味着将使用语法元素gpm_pred_dir_flagX、ref_idx_lX、mvp_lX_flag和mvd_lX(其中X＝0，1)以GPM-EMS方式来显式地发信号通知该分区的单向预测运动。

表11所提议的GPM-MVR和GPM-EMS组合的GPM模式的语法表

/>

GPM-MVR与模板匹配的组合

在本节中，提供了不同的解决方案，以将GPM-MVR与模板匹配相结合。

在方法一中，当以GPM模式对一个CU进行编码时，建议为两个GPM分区发送两个单独的标志，每个标志指示是否通过模板匹配进一步细化相应分区的单向运动。当该标志被启用时，使用当前CU的左侧和顶部相邻重构样本来生成模板；然后，按照“模板匹配”一节中介绍的相同过程，通过最小化模板与其参考样本之间的差异，来细化分区的单向运动。否则(当该标志被禁用时)，模板匹配不应用于该分区，可以进一步应用GPM-MVR。以使用表5中的GPM-MVR信令方法为例，表12示出了当GPM-MVR与模板匹配相结合时的对应语法表。在表12中，新添加的语法元素以斜体粗体显示。

表12所提出的将GPM-MVR与模板匹配相结合的方法的语法元素(方法一)

如表12所示，在所提出的方案中，首先发信号通知两个附加标志gpm_tm_enable_flag0和gpm_tm-enable_flag1，以分别指示是否细化两个GPM分区的运动。当该标志为1时，其表示应用TM来细化一个分区的单向MV。当该标志为零时，进一步发信号通知一个标志(gpm_mvr_partIdx0_enable_flag或gpm_mvr_partIdx1_enable_flag)，以分别指示GPM-MVR是否应用于GPM分区。当一个GPM分区的标志等于1时，发信号通知距离索引(如语法元素gpm_mvr_partIdx0_distance_idx和gpm_mvr_partIdx1_distance_idx所示)和方向索引(如语法元素gpm_mvr_partIdx0_direction_idx和gpm_mvr_partIdx1_distance_idx所示)以指定MVR的方向。之后，用信号通知现有语法merge_gpm_idx0和merge_gpm_idx1，以识别两个GPM分区的单向MV。同时，类似于应用于表5的信令条件，可以应用以下条件以确保用于两个GPM分区的预测的最终MV不相同。

首先，当gpm_tmp_enable_flag0和gpm_tm_enable_flag1的值都等于1(即，两个GPM分区都启用了TM)时，merge_gpm_idx0和merge_gpm_idx1的值不能相同。

其次，当gpm_tmp_enable_flag0和gpm_tm_enable_flag1中的一个为1而另一个为0时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

否则(即，gpm_tmp_enable_flag0和gpm_tm_enable_flag1都等于1)：首先，当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的值都等于0(即，两个GPM分区都禁用GPM-MVR)时，merge_gpm_idx0和merge_gpm_idx1的值不能相同；第二，当gpm_mvr_partIdx0_enable_flag等于1(即，第一GPM分区启用GPM-MVR)并且gpm_mvr_partIdx1_enable_flag等于0(即，第二GPM分区禁用GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同；第三，当gpm_mvr_partIdx0_enable_flag等于0(即，第一GPM分区禁用GPM-MVR)并且gpm_mvr_partIdx1_enable_flag等于1(即，第二GPM分区启用GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同；第四，当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的值都等于1(即，两个GPM分区都启用GPM-MVR)时，关于是否允许merge_gpm_idx0和merge_gpm_idx1的值相同的判断取决于应用于这两个GPM分区的MVR的值(如gpm_mvr_partIdx0_direction_idx和gpm_mvr_partIdx0_distance_idx、以及gpm_mvr_partIdx1_direction_idx和gpm_mvr_partIdx1_distance_idx所指示的)。如果两个MVR的值相等，则不允许merge_gpm_idx0和merge_gpm_idx1相同。否则(两个MVR的值不相等)，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

在上面的方法一中，TM和MVR仅适用于GPM。在这种方案中，禁止在TM模式的细化MV之上进一步应用MVR。因此，为了进一步为GPM提供更多MV候选，提出了方法二，以使MVR偏移能够应用于TM细化的MV之上。表13说明了当GPM-MVR与模板匹配相结合时的对应语法表。在表13中，新添加的语法元素以斜体粗体显示。

表13所提出的将GPM-MVR与模板匹配相结合的方法的语法元素(方法二)

/>

如表13中所示，与表12不同，删除了gpm_tm_enable_flag0和gpm_tm_enable_flag1上的gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的信令条件。这样，无论是否应用TM来细化一个GPM分区的单向运动，总是允许将MV细化应用于GPM分区中的MV。与之前类似，应当应用以下条件以确保两个GPM分区的最终MV不相同。

首先，当gpm_tmp_enable_flag0和gpm_tm_enable_flag1中的一个为1而另一个为0时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

否则(即，gpm_tmp_enable_flag0和gpm_tm_enable_flag1都等于1，或者两个标志都等于零)：首先，当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的值都等于0(即，两个GPM分区都禁用GPM-MVR)时，merge_gpm_idx0和merge_gpm_idx1的值不能相同；第二，当gpm_mvr_partIdx0_enable_flag等于1(即，第一GPM分区启用GPM-MVR)并且gpm_mvr_partIdx1_enable_flag等于0(即，第二GPM分区禁用GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同；第三，当gpm_mvr_partIdx0_enable_flag等于0(即，第一GPM分区禁用GPM-MVR)并且gpm_mvr_partIdx1_enable_flag等于1(即，第二GPM分区启用GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同；第四，当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的值都等于1(即，两个GPM分区都启用GPM-MVR)时，关于是否允许merge_gpm_idx0和merge_gpm_idx1的值相同的判断取决于应用于两个GPM分区的MVR的值(如gpm_mvr_partIdx0_direction_idx和gpm_mvr_partIdx0_distance_idx、以及gpm_mvr_partIdx1_direction_idx和gpm_mvr_partIdx1_distance_idx所指示的)。如果两个MVR的值相等，则不允许merge_gpm_idx0和merge_gpm_idx1相同。否则(两个MVR的值不相等)，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

在上面的两种方法中，需要发送两个单独的标志，以指示是否将TM应用于每个GPM分区。由于额外的开销(特别是在低比特率下)，增加的信令可能降低总体编码效率。为了减少信令开销，代替引入额外的信令，提出了方法三，将基于TM的单向MV插入到GPM模式的单向MV候选列表中。基于TM的单向MV是按照“模板匹配”一节中描述的相同TM过程生成的，并使用GPM的原始单向MV作为初始MV。通过这种方案，无需从编码器向解码器发送额外的控制标志。相反，解码器可以通过从比特流接收的相应合并索引(即，merge_gpm_idx0和merge_gpm_idx1)来识别一个MV是否通过TM进行细化。可以存在不同的方法来安排常规GPM MV候选(即，非TM)和基于TM的MV候选。在一种方法中，建议将基于TM的MV候选放在MV候选列表的开头，然后是非基于TM的MV候选。在另一种方法中，建议首先将非基于TM的MV候选放在开头，然后是基于TM的候选。在另一种方法中，建议以交织的方式放置基于TM的MV候选和非基于TM的MV候选。例如，它可以放置前N个非基于TM的候选；然后是所有基于TM的候选；最后，剩下的非基于TM的候选。在另一个例子中，它可以放置前N个基于TM的候选；然后，所有非基于TM的候选；最后是其余基于TM的候选。在另一个例子中，建议将非TM候选和基于TM的候选逐一放置，即，一个非基于TM的候选、一个基于TM的候选等等。

在方法一中，在GPM-MVR标志之前发信号通知两个GPM模板标志。具体地说，在这种设计方案中，通过首先发信号通知一个分区的GPM模板标志等于零，只能针对一个给定的GPM分区启用GPM-MVR。虽然可以使用适当的上下文模型对GPM模板标志进行编码，但它将在GPM-MVR模式上产生信令惩罚。为了解决这样的问题，在本公开内容的一个实施例中，建议在发信号通知GPM-TM模式之前先发信号通知GPS-MVR模式。具体地说，在该方法中，首先为每个GPM分区发信号通知GPM-MVR标志，以指示GPM-MVR是否应用于该分区。当该标志等于1时，进一步发信号通知MVR语法元素gpm_mvr_partIdx0_distance_idx/gpm_mvr_partIdx1_distance_idx和gpm_mvr_partIdx0_dierction_idx/gpm_mvr_partIdx1_direction_idx以指定分区的MVR幅度和方向的对应值。否则，当分区的GPM-MVR标志等于假时，将发信号通知GPM-TM标志以指示是否应用了GPM-TM模式(使用左侧和顶部相邻的重构样本来细化分区的MV)。表22示出了当应用上面的信令方法时的对应语法表，其中新添加的语法元素为斜体粗体。

表22

/>

此外，为了去除GPM合并索引之间的信令冗余，应当应用以下条件。

首先，当gpm_tm_enable_flag0和gpm_tm_enable_flag1中的一个为1而另一个为0时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

其次，当gpm_tmp_enable_flag0和gpm_tm_enable_flag1都等于1时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

第三，当gpm_tm_enable_flag0和gpm_tm_enable_flag1都等于零时，应用不同的条件。当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的值都等于0(即，两个GPM分区都禁用GPM-MVR)时，merge_gpm_idx0和merge_gpm_idx1的值不能相同。当gpm_mvr_partIdx0_enable_flag等于1(即，第一GPM分区启用了GPM-MVR)并且gpm_mvr_partIdx1_enable_flag等于0(即，第二GPM分区禁用了GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。当gpm_mvr_partIdx0_enable_flag等于0(即，第一GPM分区禁用了GPM-MVR)并且gpm_mvr_partIdx1_enable_flag等于1(即，第二GPM分区启用了GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的值都等于1(即，两个GPM分区都启用GPM-MVR)时，关于是否允许merge_gpm_idx0和merge_gpm_idx1的值相同的判断取决于应用于两个GPM分区的MVR的值(如gpm_mvr_partIdx0_direction_idx和gpm_mvr_partIdx0_distance_idx、以及gpm_mvr_partIdx1_direction_idx和gpm_mvr_partIdx1_distance_idx所指示的)。如果两个MVR的值相等，则不允许merge_gpm_idx0和merge_gpm_idx1相同。否则(两个MVR的值不相等)，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

在另一种方法中，代替使用两个单独的GPM-TM标志，建议使用一个单独的标志来共同控制两个GPM分区的模板匹配的启用/禁用。当该标志为真时，这意味着需要基于模板(即，左侧和顶部相邻的重构样本)与其对应的参考样本之间的差异的最小化，通过模板匹配方案来细化两个GPM分区的两个单向MV。具体地说，类似于方法4，首先为一个GPM CU发信号通知两个GPM-MVR标志，以指示是否向一个特定的GPM分区应用GPM-MVR。当每个分区的GPM-MVR标志等于真时，将在下面进一步针对该分区来发信号通知MVR幅度和MVR方向。此外，当两个GPM分区的GPM-MVR标志都等于假时，将进一步发信号通知GPM-TM标志以指示GPM-TM是否应用于两个GPM分区。表23示出了当应用这种设计时GPM模式的对应语法表，其中新添加的语法元素为斜体粗体。

表23

/>

在另一个实施例中，建议在发信号通知两个GPM-MVR标志之前，发信号通知用于两个GPM分区的GPM-TM标志。相应地，可以使用GPM-TM的值来调节两个GPM-MVR标志的存在，使得仅当GPM-TM标志的值等于零时(即，GPM-TM不应用于两个GPM分区)才发信号通知GPM-MVR标志。表24示出了当应用这样的信令方案时GPM模式的对应语法表，其中新添加的语法元素为斜体粗体。

表24

/>

此外，对于这两种方法，为了去除GPM合并索引之间的信令冗余，应当应用以下条件。

首先，当gpm_tm_enable_flag为1时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。第二，当gpm_tm_enable_flag等于零时，可以应用不同的条件。例如，当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的值都等于0(即，两个GPM分区都禁用GPM-MVR)时，merge_gpm_idx0和merge_gpm_idx1的值不能相同。此外，当gpm_mvr_partIdx0_enable_flag等于1(即，第一GPM分区启用了GPM-MVR)并且gpm_mvr_partIdx1_enable_flag等于0(即，第二GPM分区禁用了GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。此外，当gpm_mvr_partIdx0_enable_flag等于0(即，第一GPM分区禁用了GPM-MVR)并且gpm_mvr_partIdx1_enable_flag等于1(即，第二GPM分区启用了GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。此外，当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的值都等于1(即，两个GPM分区都启用GPM-MVR)时，关于是否允许merge_gpm_idx0和merge_gpm_idx1的值相同的判断取决于应用于两个GPM分区的MVR的值(如gpm_mvr_partIdx0_direction_idx和gpm_mvr_partIdx0_distance_idx、以及gpm_mvr_partIdx1_direction_idx和gpm_mvr_partIdx1_distance_idx所指示的)。如果两个MVR的值相等，则不允许merge_gpm_idx0和merge_gpm_idx1相同。否则(两个MVR的值不相等)，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

当将模板匹配方案应用于GPM模式时，通过进行计算上广泛的运动估计来识别每个GPM分区的最佳单向MV，编码器和解码器都需要额外的复杂性。这种不可忽略的复杂度增加，可能使得GPM模式对于某些低端编码器或某些视频应用(例如，需要低视频延迟的实况视频流、视频会议和视频游戏)不可行。基于这样的考虑，建议在某些高编码级别(例如，序列级别、图片/条带级别编码块组级别和额外级别)添加一个控制标志，以自适应地启用或禁用该级别下的CU的GPM-TM模式。假设所提出的适应是在图片级别执行的，表25示出了在图片报头处发信号通知的相应语法元素，其中新添加的语法元素为斜体粗体。

表25

/>

在上面的语法表25中，标志sps_dmvd_enable_flag是序列级别控制标志，其指示是否为视频序列编码启用了模板匹配，而ph_gpm_tm_enable_flag则是建议的GPM-TM控制标志，其用于指示是否可以将GPM-TM应用于图片内的CU。

具有运动矢量修剪的GPM候选列表构建

如引言中所讨论的，为了获得两个几何分区的MV，首先从常规合并候选列表生成过程中直接导出一个单向预测候选列表。假设每个GPM MV的预测方向的选择是基于相应合并索引的奇偶性，两个几何分区的MV可能是相同的，这显然是没有意义的(因为CU的几何分区不能提供比非分区情况更多的好处)。为了避免这种冗余，建议在生成一个GPM CU的单向预测MV候选列表时应用运动矢量修剪，当且仅当一个MV与列表中的任何现有候选不相同时，才能将该MV添加到该列表中。在另一种方案中，进一步提出在比较两个MV时应用一个MV阈值。具体地说，通过这种方法，当两个MV(分别在水平和垂直方向上)的差异小于一个MV阈值时，将这两个MV视为相同；否则(在一个方向上的MV差大于或等于MV阈值)，将这两个MV视为不相同。在一种方法中，建议对所有块大小使用一个固定的MV阈值。在另一种方法中，建议基于编码块的大小来确定MV阈值的值，使得较大的MV阈值用于较大的CU，而较小的MV阈值则用于较小的CU。在一些例子中，当块中的样本数量N<64时，将MV阈值的值设置为1/4像素；当64<＝N<256时，将MV阈值的值设置为1/2像素；而当N>＝256时，将MV阈值的值设置为1像素。

图9示出了与用户界面960耦合的计算环境(或计算设备)910。计算环境910可以是数据处理服务器的一部分。在一些实施例中，根据本公开内容的各种示例，计算设备910可以执行如上所述的各种方法或过程(例如，编码/解码方法或过程)中的任何一种。计算环境910可以包括处理器920、存储器940和I/O接口950。

处理器920通常控制计算环境910的整体操作，例如与显示器、数据采集、数据通信和图像处理相关联的操作。处理器920可以包括一个或多个处理器，以执行指令来执行上面描述的方法中的所有步骤或一些步骤。此外，处理器1020可以包括有助于处理器920与其它组件之间的交互的一个或多个模块。该处理器可以是中央处理单元(CPU)、微处理器、单片机、GPU等。

存储器940被配置为存储各种类型的数据以支持计算环境910的操作。存储器940可以包括预定软件942。这种数据的例子包括用于在计算环境910、视频数据集、图像数据等等上操作的任何应用或方法的指令。可以通过使用任何类型的易失性或非易失性存储器件或其组合(例如，静态随机存取存储器(SRAM)、电可擦可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪存、磁盘或光盘)来实现存储器940。

I/O接口950提供处理器920和外围接口模块(例如，键盘、点击轮、按钮等)之间的接口。按钮可以包括但不限于主页按钮、开始扫描按钮和停止扫描按钮。I/O接口950可以与编码器和解码器耦合。

在一些实施例中，还提供了一种非临时性计算机可读存储介质，其包括可由计算环境910中的处理器920执行的多个程序(例如，包括在存储器940中)，以用于执行上面描述的方法。例如，非临时性计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备等等。

非临时性计算机可读存储介质已经在其中存储了具有一个或多个处理器的用于由计算设备执行的多个程序，其中当所述多个程序由一个或多个处理器执行时，导致计算设备执行上面描述的运动预测方法。

在一些实施例中，可以使用用于执行上述方法的一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、控制器、微控制器、微处理器或其它电子组件来实现计算环境910。

图8是根据本公开内容的例子，示出用于以GPM对视频块进行解码的方法的流程图。

在步骤801中，处理器920可以将视频块划分为第一几何分区和第二几何分区。

在步骤802中，处理器920可以接收针对第一几何分区的第一GPM-MVR使能标志，并接收针对第二几何分区的第二GPM-MVR使能标志。如表23和24所示，第一GPM-MVR使能标志可以是gpm_mvr_partIdx0_enable_flag，第二GPM-MVR使能标志可以是gpm_mvr_partIdx1_enable_flag。

在步骤803中，处理器920可以接收第一和第二几何分区的联合TM使能标志，其中联合TM使能标志可以联合地指示第一分区的单向运动是否通过TM进行了细化，以及第二分区的单向运动是否通过TM进行了细化。如表23和24所示，该联合TM使能标志可以是gpm_tm_enable_flag。如表23所示，可以在联合TM使能标志之前发信号通知第一和第二GPM-MVR使能标志。如表24所指示的，可以在第一和第二GPM-MVR使能标志之前发信号通知联合TM使能标志。

在步骤804中，处理器920可以接收第一几何分区的第一合并GPM索引和第二几何分区的第二合并GPM索引。

在一些例子中，第一合并GPM索引标识第一几何分区的单向MV，第二合并GPM索引标识第二几何分区的双向MV。

在一些例子中，第一合并GPM索引可以是如表11或12所示的语法元素merge_gpm_idx0，第二合并GPP索引可以是如表23或24所示的语法元素merge_gpm_idx1。

在步骤805中，处理器920可以构建GPM的单向MV候选列表。

在步骤806中，处理器920可以生成第一几何分区的单向MV和第二几何分区的单向MV。

在一些例子中，处理器920可以响应于确定第一和第二GPM-MVR使能标志均等于0(即，MVR未应用于第一或第二几何分区)，而接收针对第一和第二几何分区的联合TM使能标志。

在一些例子中，响应于确定联合TM使能标志等于0，处理器920可以接收针对第一几何分区的第一GPM-MVR使能标志，并接收针对第二几何分区的第二GPM-MVR使能标志。

在一些例子中，处理器920可以基于联合TM使能标志，约束第一合并GPM索引和第二合并GPM索引。

在一些例子中，处理器920可以响应于确定联合TM使能标志等于1，确定允许第一合并GPM索引和第二合并GPM索引相同。

在一些例子中，处理器920可以响应于确定联合TM使能标志等于0并且第一和第二GPM-MVR使能标志都等于0，而确定第一合并GPM索引和第二合并GPM索引不同。

在一些例子中，处理器920可以响应于确定第一和第二GPM-MVR使能标志之一为0，而第一和第二GPM-MVM使能标志中的另一个为1，确定允许第一合并GPM索引和第二合并GPM索引相同。

在一些例子中，处理器920可以响应于确定第一和第二GPM-MVR使能标志都等于1，基于分别应用于第一和第二几何分区的第一和第二MVR，来确定第一合并GPM索引和第二合并GPM索引。

在一些例子中，处理器920可以响应于确定第一MVR等于第二MVR，而确定第一合并GPM索引和第二合并GPM索引不同。

在一些例子中，响应于确定第一MVR不等于第二MVR，处理器920可以确定允许第一合并GPM索引和第二合并GPM索引相同。

在一些例子中，提供了一种用于以GPM对视频块进行解码的装置。该装置包括处理器920和存储器940，其中存储器940被配置为存储可由处理器执行的指令；在指令被执行时，处理器被配置为执行如图8中所示的方法。

在一些其它例子中，提供了一种其中存储有指令的非临时性计算机可读存储介质。当这些指令由处理器920执行时，使处理器执行如图8中所示的方法。

通过考虑本文所公开的说明书和实践，本公开内容的其它示例对于本领域普通技术人员将是显而易见的。本申请旨在涵盖遵循一般原则的本公开内容的任何变化、使用或改编，并包括在本领域已知或常规实践范围内的对本公开内容的这种偏离。本说明书和示例仅应当视作为示例性的。

应当理解，本公开内容并不限于上面所描述并且在附图中示出的具体示例，并且可以在不脱离保护范围的情况下进行各种修改和改变。

Claims (11)

1.一种用于以几何分区模式(GPM)对视频块进行解码的方法，包括：

将视频块划分为第一几何分区和第二几何分区；

接收针对所述第一几何分区的具有运动矢量细化的第一GPM(GPM-MVR)使能标志，以及接收针对所述第二几何分区的第二GPM-MVR使能标志；

接收针对所述第一几何分区和所述第二几何分区的联合模板匹配(TM)使能标志，其中所述联合TM使能标志联合地指示所述第一分区的单向运动是否通过TM进行了细化、以及所述第二分区的单向运动是否通过TM进行了细化；

接收针对所述第一几何分区的第一合并GPM索引和针对所述第二几何分区的第二合并GPM索引；

构建所述GPM的单向运动矢量(MV)候选列表；以及

生成针对所述第一几何分区的单向MV和针对所述第二几何分区的单向MV。

2.根据权利要求1所述的方法，还包括：

响应于确定所述第一GPM-MVR使能标志和所述第二GPM-MVR使能标志都等于0，接收针对所述第一几何分区和所述第二几何分区的所述联合TM使能标志。

3.根据权利要求1所述的方法，还包括：

响应于确定所述联合TM使能标志等于0，接收针对所述第一几何分区的所述第一GPM-MVR使能标志，以及接收针对所述第二几何分区的所述第二GPM-MVR使能标志。

4.根据权利要求1所述的方法，还包括：

基于所述联合TM使能标志，来约束所述第一合并GPM索引和所述第二合并GPM索引。

5.根据权利要求4所述的方法，其中，基于所述联合TM使能标志，约束所述第一合并GPM索引和所述第二合并GPM索引包括：

响应于确定所述联合TM使能标志等于1，确定允许所述第一合并GPM索引和所述第二合并GPM索引相同。

6.根据权利要求4所述的方法，其中，基于所述联合TM使能标志来约束所述第一合并GPM索引和所述第二合并GPM索引包括：

响应于确定所述联合TM使能标志等于0并且所述第一GPM-MVR使能标志和所述第二GPM-MVR使能标志都等于0，确定所述第一合并GPM索引和所述第二合并GPM索引不同。

7.根据权利要求4所述的方法，其中，基于所述联合TM使能标志来约束所述第一合并GPM索引和所述第二合并GPM索引包括：

响应于确定所述第一GPM-MVR使能标志和所述第二GPM-MVR使能标志中的一个为0，并且所述第一GPM-MVR使能标志和所述第二GPM-MVR使能标志中的另一个为1，确定允许所述第一合并GPM索引和第二合并GPM索引相同。

8.根据权利要求4所述的方法，其中，基于所述联合TM使能标志来约束所述第一合并GPM索引和所述第二合并GPM索引包括：

响应于确定所述第一GPM-MVR使能标志和所述第二GPM-MVR使能标志都等于1，基于分别应用于所述第一几何分区和所述第二几何分区的第一MVR和第二MVR，来确定所述第一合并GPM索引和所述第二合并GPM索引。

9.根据权利要求8所述的方法，其中，基于应用于所述第一几何分区和所述第二几何分区的所述第一MVR和所述第二MVR来确定所述第一合并GPM索引和所述第二合并GPM索引包括：

响应于确定所述第一MVR等于所述第二MVR，确定所述第一合并GPM索引和所述第二合并GPM索引不同；以及

响应于确定所述第一MVR不等于所述第二MVR，确定允许所述第一合并GPM索引和所述第二合并GPM索引相同。

10.一种用于视频编解码的装置，包括：

一个或多个处理器；以及

非临时性计算机可读存储介质，被配置为存储能够由所述一个或多个处理器执行的指令；其中，在执行所述指令时，所述一个或多个处理器被配置为执行根据权利要求1-9中的任一项所述的方法。

11.一种存储有计算机可执行指令的非临时性计算机可读存储介质，当所述计算机可执行指令被一个或多个计算机处理器执行时，使得所述一个或多个计算机处理器执行根据权利要求1-9中的任一项所述的方法。