CN117426087A - 用于具有运动矢量细化的几何划分模式的方法和设备 - Google Patents

Abstract

提供了一种用于视频解码的方法，包括：接收控制变量，控制变量实现在运动矢量细化(MVR)偏移集合之间的自适应切换；接收指示变量，指示变量实现在码字表之间的自适应切换，码字表在编码级下对MVR偏移集合中的偏移幅度进行二值化；将视频块划分为第一几何分区和第二几何分区；基于控制变量选择MVR偏移集合；接收语法元素以使用指示变量从所选择的MVR偏移集合确定被应用于第一几何分区和第二几何分区的第一MVR偏移和第二MVR偏移；从用于第一几何分区和第二几何分区的候选列表获得第一MV和第二MV；基于第一MV和第二MV以及第一MVR偏移和第二MVR偏移来计算第一细化MV和第二细化MV；以及基于第一细化MV和第二细化MV获得预测样点。

Description

用于具有运动矢量细化的几何划分模式的方法和设备

相关申请的交叉引用

本申请基于2021年6月14日提交的申请号为63/210,484的临时申请并要求该临时申请的优先权，该临时申请的公开内容通过引用整体并入本文用于所有目的。

技术领域

本公开涉及视频编解码和压缩。更具体地，本公开涉及关于提高几何划分模式(GPM)(也称为角度加权预测(AWP)模式)的编解码效率的方法和装置。

背景技术

各种视频编解码技术可用于压缩视频数据。根据一个或多个视频编解码标准执行视频编解码。例如，现今，一些众所周知的视频编解码标准包括由ISO/IEC MPEG及ITU-TVECG联合开发的通用视频编解码(VVC)、高效视频编解码(HEVC，也称为H.265或MPEG-H第2部分)及高级视频编解码(AV C，也称为H.264或MPEG-4第10部分)。AOMedia Video 1(AV1)由开放媒体联盟(AOM)开发，作为其先前标准VP9的后继。音视频编解码(AVS)是指数字音频和数字视频压缩标准，由中国音视频编码标准工作组开发的另一个视频压缩标准系列。大多数现有视频编解码标准建立在著名的混合视频编解码框架上，即，使用基于块的预测方法(例如，帧间预测、帧内预测)来减少视频图像或序列中存在的冗余，并使用变换编码来压缩预测误差的能量。视频编解码技术的重要目标是将视频数据压缩成使用更低比特率同时避免或最小化视频质量降级的形式。

发明内容

本公开提供用于视频编解码的方法和装置以及非暂态计算机可读存储介质。

根据本公开的第一方面，提供了一种用于在GPM下对视频块进行解码的方法。所述方法可包括接收与所述视频块相关联的控制变量，其中所述控制变量可实现多个运动矢量细化(MVR)偏移集合之间的自适应切换，并且在编码级应用所述控制变量。所述方法可包括接收与所述视频块相关联的指示变量，其中所述指示变量可实现多个码字表之间的自适应切换，所述多个码字表在所述编码级下对所述多个MVR偏移集合中的多个偏移幅度进行二值化。所述方法可包括将所述视频块划分为第一几何分区和第二几何分区。所述方法可包括基于所述控制变量从所述多个MVR偏移集合中选择MVR偏移集合。所述方法可包括接收一个或多个语法元素以从所选择的MVR偏移集合中确定被应用于所述第一几何分区和所述第二几何分区的第一MVR偏移和第二MVR偏移。所述方法可包括从用于所述第一几何分区和所述第二几何分区的候选列表获得第一运动矢量(MV)和第二MV。所述方法可包括基于所述第一MV和所述第二MV以及所述第一MVR偏移和所述第二MVR偏移计算第一细化MV和第二细化MV。此外，所述方法可包括基于所述第一细化MV和所述第二细化MV获得所述视频块的预测样点。

根据本公开的第二方面，提供了一种用于视频解码的装置。所述装置可包括一个或多个处理器和非暂态计算机可读存储介质。非暂态计算机可读存储介质被配置为存储可由一个或多个处理器执行的指令。一个或多个处理器在执行指令时被配置为执行第一方面中的方法。

根据本公开的第三方面，提供了一种非暂态计算机可读存储介质。所述非暂态计算机可读存储介质可存储计算机可执行指令，所述计算机可执行指令在由一个或多个计算机处理器执行时使所述一个或多个计算机处理器执行第一方面中的方法。

应当理解，前面的一般性描述和下面的详细描述都仅是示例，并不限制本公开。

附图说明

并入本说明书中并构成本说明书的一部分的附图示出了与本公开一致的示例，并且与说明书一起用于解释本公开的原理。

图1是根据本公开的示例的编码器的框图。

图2A是示出根据本公开的示例的多类型树结构中的块划分的示图。

图2B是示出根据本公开的示例的多类型树结构中的块划分的示图。

图2C是示出根据本公开的示例的多类型树结构中的块划分的示图。

图2D是示出根据本公开的示例的多类型树结构中的块划分的示图。

图2E是说明根据本公开的示例的多类型树结构中的块划分的示图。

图3是根据本公开的示例的解码器的框图。

图4是根据本公开的示例的允许的几何划分(GPM)分区的图示。

图5是示出根据本公开的示例的单向预测运动矢量选择的表。

图6A是根据本公开的示例的运动矢量差模式(MMVD)的图示。

图6B是根据本公开的示例的MMVD模式的图示。

图7是根据本公开的示例的模板匹配(TM)算法的图示。

图8是根据本公开的示例的在GPM下对视频块进行解码的方法。

图9是示出根据本公开的示例的与用户界面耦接的计算环境的示图。

图10是示出根据本公开的一些示例的用于对视频块进行编码和解码的系统的框图。

具体实施方式

现在将详细参考实施例，其示例在附图中示出。以下描述参考附图，其中除非另有表示，否则不同附图中的相同数字表示相同或相似的元件。在实施例的以下描述中阐述的实施方式并不表示与本公开一致的所有实施方式。相反，它们仅是与本公开相关的方面一致的装置和方法的示例，如所附权利要求中所述。

本公开中使用的术语仅用于描述特定实施例的目的，并不旨在限制本公开。如在本公开和所附权利要求中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。还应当理解，本文使用的术语“和/或”旨在表示并包括一个或多个相关联的所列项目的任何或所有可能的组合。

应当理解，尽管本文可使用术语“第一”、“第二”、“第三”等来描述各种信息，但是该信息不应受这些术语的限制。这些术语仅用于区分一类信息与另一类信息。例如，在不脱离本公开的范围的情况下，第一信息可被称为第二信息；并且类似地，第二信息也可被称为第一信息。如本文所使用的，取决于上下文，术语“如果”可被理解为意指“当……时”或“在……时”或“响应于判断”。

第一代AVS标准包括中国国家标准“信息技术，高级音视频编解码，第2部分：视频”(称为AVS1)和“信息技术，高级音视频编解码，第16部分：广播电视视频”(称为AVS+)。与MPEG-2标准相比，它可在相同的感知质量下提供大约50％的比特率节省。在2006年2月，AVS1标准视频部分作为中国国家标准发布。第二代AVS标准包括中国国家标准“信息技术，高效多媒体编解码”(称为AVS2)，其主要针对超高清电视(extra HD TV)节目的传输。AVS2的编解码效率是AVS+的两倍。在2016年5月，AVS2作为中国国家标准发布。同时，AVS2标准视频部分由电气和电子工程师协会(IEEE)提交作为应用的一个国际标准。AVS3标准是针对UHD视频应用的新一代视频编解码标准，旨在超过最新国际标准HEVC的编解码效率。在2019年3月，在第68次AVS会议上，AVS3-P2基线完成，其与HEVC标准相比提供了大约30％的比特率节省。目前，有一种称为高性能模型(HPM)的参考软件由AVS组维护以演示AVS3标准的参考实现。

与HEVC一样，AVS3标准建立在基于块的混合视频编解码框架上。

图10是示出根据本公开的一些实施方式的用于并行地对视频块进行编码和解码的示例性系统10的框图。如图10中所示，系统10包括源设备12，源设备12生成并编码稍后将由目标设备14进行解码的视频数据。源设备12和目标设备14可包括各种各样的电子设备中的任何电子设备，包括台式计算机或膝上型计算机、平板计算机、智能电话、机顶盒、数字电视、相机、显示器设备、数字媒体播放器、视频游戏机、视频流传输设备等。在一些实施方式中，源设备12和目标设备14配备有无线通信能力。

在一些实施方式中，目标设备14可经由链路16接收待解码的编码视频数据。链路16可包括能够将编码视频数据从源设备12移动到目标设备14的任何类型的通信介质或设备。在一个示例中，链路16可包括使源设备12能够实时地将编码视频数据直接发送到目标设备14的通信介质。编码视频数据可根据通信标准(诸如无线通信协议)被调制，并且被发送到目标设备14。通信介质可包括任何无线或有线通信介质，诸如射频(RF)频谱或一个或多个物理传输线。通信介质可形成基于分组的网络(例如，局域网、广域网或诸如互联网的全球网)的一部分。通信介质可包括路由器、交换机、基站或可有利于促进从源设备12到目标设备14的通信的任何其他设备。

在一些其他实施方式中，编码视频数据可从输出接口22被发送到存储设备32。随后，存储设备32中的编码视频数据可通过目标设备14经由输入接口28被访问。存储设备32可包括各种分布式或本地访问的数据存储介质中的任何数据存储介质，诸如硬盘驱动器、蓝光光盘、数字多用磁盘(DVD)、光盘只读存储器(CD-ROM)、闪存存储器、易失性或非易失性存储器、或者用于存储编码视频数据的任何其他合适的数字存储介质。在另一示例中，存储设备32可对应于文件服务器或可保留由源设备12生成的编码视频数据的另一中间存储设备。目标设备14可经由流传输或下载来从存储设备32访问存储的视频数据。文件服务器可以是能够存储编码视频数据并且将编码视频数据发送到目标设备14的任何类型的计算机。示例性文件服务器包括web服务器(例如，用于网站)、文件传输协议(FTP)服务器、网络附属存储(NAS)设备或本地磁盘驱动器。目标设备14可通过适合于访问存储在文件服务器上的编码视频数据的任何标准数据连接来访问编码视频数据，标准数据连接包括无线信道(例如，无线保真(Wi-Fi)连接)、有线连接(例如，数字用户线路(DSL)、电缆调制解调器等)或无线信道和有线连接两者的组合。编码视频数据从存储设备32的传输可以是流传输、下载传输或流传输和下载传输两者的组合。

如图10中所示，源设备12包括视频源18、视频编码器20和输出接口22。视频源18可包括诸如以下项的源或此类源的组合：视频捕获设备(例如，摄像机)、包含先前捕获的视频的视频存档、用于从视频内容提供商接收视频的视频馈入接口、和/或用于生成作为源视频的计算机图形数据的计算机图形系统。作为一个示例，如果视频源18是安全监控系统的摄像机，则源设备12和目标设备14可形成相机电话或视频电话。然而，本申请中所描述的实施方式通常可适用于视频编解码，并且可应用于无线和/或有线应用。

可由视频编码器20对捕获、预先捕获或计算机生成的视频进行编码。可经由源设备12的输出接口22直接将编码视频数据发送到目标设备14。还可(或可选地)将编码视频数据存储到存储设备32上以供稍后由目标设备14或其他设备访问，以用于解码和/或播放。输出接口22还可包括调制解调器和/或发送器。

目标设备14包括输入接口28、视频解码器30和显示器设备34。输入接口28可包括接收器和/或调制解调器，并且通过链路16接收编码视频数据。通过链路16通信传送或在存储设备32上提供的编码视频数据可包括由视频编码器20生成的各种语法元素以供视频解码器30在对视频数据进行解码时使用。此类语法元素可被包括于在通信介质上发送、存储在存储介质上或存储在文件服务器上的编码视频数据内。

在一些实施方式中，目标设备14可包括显示器设备34，显示器设备34可以是集成显示器设备和被配置为与目标设备14通信的外部显示器设备。显示器设备34将解码视频数据显示给用户，并且可包括各种显示器设备中的任何显示器设备，诸如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或其他类型的显示器设备。

视频编码器20和视频解码器30可根据专有标准或行业标准(例如，VVC、HEVC、MPEG-4、第10部分、AVC)或此类标准的扩展进行操作。应当理解，本申请不限于特定的视频编码/解码标准，并且可适用于其他视频编码/解码标准。通常认为源设备12的视频编码器20可被配置为根据这些当前标准或未来标准中的任何标准对视频数据进行编码。类似地，还通常认为目标设备14的视频解码器30可被配置为根据这些当前标准或未来标准中的任何标准对视频数据进行解码。

视频编码器20和视频解码器30均可被实现为各种合适的编码器电路和/或解码器电路中的任何电路，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件实现时，电子设备可将用于软件的指令存储于合适的非易失性计算机可读介质中，并且使用一个或多个处理器执行硬件中的指令以执行本公开中所公开的视频编码/解码操作。视频编码器20和视频解码器30中的每一个可被包括在一个或多个编码器或解码器中，编码器或解码器中的任一个可被集成为相应设备中的组合式编码器/解码器(CODEC)的一部分。

图1示出了用于VVC的基于块的视频编码器的一般示图。具体地，图1示出了典型的编码器100。编码器100可以是如图10中所示的编码器20。编码器100具有视频输入110、运动补偿112、运动估计114、帧内/帧间模式决策116、块预测值140、加法器128、变换130、量化132、预测相关信息142、帧内预测118、图片缓冲器120、反量化134、逆变换136、加法器126、存储器124、环路滤波器122、熵编码138和比特流144。

在编码器100中，将视频帧划分为多个视频块以进行处理。对于每个给定视频块，基于帧间预测方法或帧内预测方法来形成预测。应注意，术语“帧”可用作视频编解码领域中的术语“图像”或“图片”的同义词。

预测残差，表示当前视频块(视频输入110的一部分)与其预测值(块预测值140的一部分)之间的差，从加法器128被发送到变换130。然后将变换系数从变换130发送到量化132以用于熵减少。然后将量化的系数馈送到熵编码138以生成压缩的视频比特流。如图1所示，来自帧内/帧间模式决策116的预测相关信息142(诸如视频块划分信息、运动矢量(MV)、参考图片索引和帧内预测模式)也通过熵编码138被馈送并保存到压缩比特流144中。压缩比特流144包括视频比特流。

在编码器100中，还需要解码器相关电路以重建用于预测目的的像素。首先，通过反量化134和逆变换136重建预测残差。该重建的预测残差与块预测值140组合，以生成用于当前视频块的未经滤波的重建像素。

空间预测(或“帧内预测”)使用来自与当前视频块相同的视频帧中的已经编码的相邻块的样点(其被称为参考样点)的像素，来预测当前视频块。

时间预测(也被称为“帧间预测”)使用来自已经编码的视频图片的重建像素，来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。用于给定编码单元(CU)或编码块的时间预测信号通常由一个或多个MV用信号表示，该一个或多个MV指示当前CU与其时间参考之间的运动量和方向。此外，如果支持多个参考图片，则额外发送一个参考图片索引，该参考图片索引用于标识时间预测信号来自参考图片存储库中的哪个参考图片。

运动估计114接收视频输入110和来自图片缓冲器120的信号，并且将运动估计信号输出到运动补偿112。运动补偿112接收视频输入110、来自图片缓冲器120的信号、以及来自运动估计114的运动估计信号，并且将运动补偿信号输出到帧内/帧间模式决策116。

在执行空间和/或时间预测之后，编码器100中的帧内/帧间模式决策116例如基于率失真优化方法来选择最佳预测模式。然后从当前视频块中减去块预测值140，并且使用变换130和量化132对得到的预测残差进行去相关。得到的量化残差系数由反量化134进行反量化并且由逆变换136进行逆变换以形成重建的残差，然后将该重建的残差加回到预测块以形成CU的重建信号。在将重建的CU放入图片缓冲器120的参考图片存储库中并用于对未来的视频块进行编解码之前，可对重建的CU进一步应用环路滤波122，诸如去块滤波器、样点自适应偏移(SAO)、和/或自适应环路滤波器(ALF)。为了形成输出视频比特流144，编码模式(帧间或帧内)、预测模式信息、运动信息、以及量化的残差系数全部被发送到熵编码单元138，以进一步被压缩和打包以形成比特流。

图1给出了通用的基于块的混合视频编码系统的框图。将输入视频信号逐块(称为CU)处理。与仅基于四叉树对块进行划分的HEVC不同，在AVS3中，将一个编码树单元(CTU)分割为CU以适应基于四叉树/二叉树/扩展四叉树的变化的局部特性。另外，去除了HEVC中的多分区单元类型的概念，即，在AVS3中不再区分CU、预测单元(PU)和变换单元(TU)；相反，每个CU总是用作用于预测和变换两者的基本单元，而无需进一步的划分。在AVS3的树划分结构中，首先基于四叉树结构对一个CTU进行划分。然后，可基于二叉树结构和扩展四叉树结构进一步对每个四叉树叶节点进行划分。

如图2A、图2B、图2C、图2D和图2E所示，具有五种分割类型，四元划分、水平二元划分、垂直二元划分、水平扩展四叉树划分和垂直扩展四叉树划分。

图2A示出了说明根据本公开的多类型树结构中的块四元划分的示图。

图2B示出了说明根据本公开的多类型树结构中的块垂直二元划分的示图。

图2C示出了说明根据本公开的多类型树结构中的块水平二元划分的示图。

图2D示出了说明根据本公开的多类型树结构中的块垂直三元划分的示图。

图2E示出了说明根据本公开的多类型树结构中的块水平三元划分的示图。

在图1中，可执行空间预测和/或时间预测。空间预测(或“帧内预测”)使用来自相同视频图片/条带中的已经编码的相邻块的样点(其被称为参考样点)的像素，来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测(也被称为“帧间预测”或“经运动补偿的预测”)使用来自已经编码的视频图片的重建像素，来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。用于给定CU的时间预测信号通常由一个或多个运动矢量(MV)用信号表示，该一个或多个运动矢量指示当前CU与其时间参考之间的运动量和方向。此外，如果支持多个参考图片，则额外发送一个参考图片索引，该参考图片索引用于标识时间预测信号来自参考图片存储库中的哪个参考图片。在空间和/或时间预测之后，编码器中的模式决策块例如基于率失真优化方法来选择最佳预测模式。然后从当前视频块中减去预测块，并且使用变换对预测残差进行去相关并进行量化。对量化的残差系数进行反量化和逆变换以形成重建的残差，然后将重建的残差加回到预测块以形成CU的重建信号。此外，在将重建的CU放入参考图片存储库中并用作对未来的视频块进行编解码的参考之前，可对重建的CU应用环路滤波，诸如去块滤波器、样点自适应偏移(SAO)、以及自适应环路滤波器(ALF)。为了形成输出视频比特流，编码模式(帧间或帧内)、预测模式信息、运动信息和量化的残差系数全部被发送到熵编码单元，以进一步被压缩和打包。

图3是示出根据本公开的一些实施方式的基于块的视频解码器的框图。基于块的视频解码器可以是如图10中所示的视频解码器30。首先在熵解码单元(例如，熵解码301)对视频比特流进行熵解码。将编码模式和预测信息发送到空间预测单元(在帧内编码的情况下)(例如，帧内预测308)或时间预测单元(在帧间编码的情况下)(例如，运动补偿307)以形成预测块。将残差变换系数发送到反量化单元(例如，反量化302)和逆变换单元(例如，逆变换303)以重建残差块。然后将预测块和残差块相加在一起(例如，通过帧内/帧间模式选择309和/或存储在存储器304中)。重建块可在其存储于参考图片存储库(例如，图片缓冲器306)中之前进一步被执行环路滤波。然后，将参考图片存储库中的重建视频发送出去以驱动显示设备，以及用于预测未来的视频块。

本公开的焦点在于提高在VVC标准和AVS3标准两者中使用的几何划分模式(GPM)的编解码性能。在AVS3中，该工具也被称为角度加权预测(AWP)，其遵循GPM的相同设计精神，但在某些设计细节上具有一些细微差异。为了便于描述本公开，在下文中，使用VVC标准中的现有GPM设计作为示例来解释GPM/AWP工具的主要方面。此外，还简要回顾在VVC标准和AVS3标准两者中应用的被称为具有运动矢量差的合并模式(MMVD)的另一现有帧间预测技术，假定其与本公开中所提出的技术密切相关。之后，找出当前GPM/AWP设计的一些缺点。最后详细提供所提出的方法。请注意，尽管VVC标准中的现有GPM设计在整个公开中用作示例，但是对于现代视频编解码技术领域的技术人员来说，所提出的技术也可应用于其他GPM/AWP设计或具有相同或相似设计精神的其他编码工具。

几何划分模式(GPM)

在VVC中，支持几何划分模式用于帧间预测。几何划分模式由一个CU级标志用信号表示为一个特殊合并模式。在当前GPM设计中，对于宽度和高度均不小于8且不大于64(不包括8×64和64×8)的每个可能CU尺寸，GPM模式总共支持64种分区。

当使用该模式时，通过几何定位的直线将CU分割为两部分，如图4所示(下面提供描述)。分割线的位置在数学上是根据特定分区的角度和偏移参数导出。CU中的几何分区的每个部分使用其自身的运动进行帧间预测；对于每个分区仅允许单向预测，即，每个部分具有一个运动矢量和一个参考索引。应用单向预测运动约束以确保与常规双向预测相同，每个CU仅需要两个运动补偿预测。如果针对当前CU使用几何划分模式，则进一步用信号发送指示几何分区的划分模式的几何划分索引(角度和偏移)和两个合并索引(每个分区一个合并索引)。在序列级显式地用信号发送最大GPM候选大小的数量。

图4示出了允许的GPM分区，其中每个图片中的分割具有一个相同的分割方向。

单向预测候选列表构建

为了导出用于一个几何分区的单向预测运动矢量，首先直接从常规合并候选列表生成过程导出一个单向预测候选列表。将n表示为单向预测候选列表中的单向预测运动的索引。第n个合并候选的LX运动矢量(其中X等于n的奇偶性)用作用于几何划分模式的第n个单向预测运动矢量。

这些运动矢量在图5(下文描述)中用“x”标记。在不存在第n个扩展合并候选的对应LX运动矢量的情况下，使用相同候选的L(1-X)运动矢量来代替作为用于几何划分模式的单向预测运动矢量。

图5示出了从用于GPM的合并候选列表的运动矢量中选择单向预测运动矢量。

沿几何分区边缘的融合

在每个几何分区使用自己的运动获得几何分区之后，对两个单向预测信号应用融合以导出几何分区边缘周围的样点。基于从每个单独样点位置到对应分区边缘的距离来导出针对CU的每个位置的融合权重。

GPM信令设计

根据当前GPM设计，通过在CU级用信号发送一个标志来指示GPM的使用。仅在通过合并模式或跳过模式对当前CU进行编码时用信号发送该标志。具体地，当该标志等于1时，它指示当前CU通过GPM预测。否则(该标志等于零)，通过另一合并模式(诸如常规合并模式、具有运动矢量差的合并模式、组合的帧间和帧内预测等)对CU进行编码。当针对当前CU启用GPM时，进一步用信号发送一个语法元素(即，merge_gpm_partition_idx)以指示所应用的几何划分模式(其指定将CU分割为两个分区的距CU中心的直线的方向和偏移，如图4所示)。之后，用信号发送两个语法元素merge_gpm_idx0和merge_gpm_idx1以指示用于第一GPM分区和第二GPM分区的单向预测合并候选的索引。更确切地说，这两个语法元素用于从如在章节“单向预测合并列表构造”中所描述的单向预测合并列表中确定两个GPM分区的单向MV。根据当前GPM设计，为了使两个单向MV更加不同，两个索引不能相同。基于此类先验知识，首先用信号发送第一GPM分区的单向预测合并索引并将其用作预测因子以减少第二GPM分区的单向预测合并索引的信令开销。详细来说，如果第二单向预测合并索引小于第一单向预测合并索引，则直接用信号发送第二单向预测合并索引的原始值。否则(第二单向预测合并索引大于第一单向预测合并索引)，在将第二单向预测合并索引的值减去1之后再用信号发送到比特流。在解码器侧，首先对第一单向预测合并索引进行解码。然后，对于第二单向预测合并索引的解码，如果解析出的值小于第一单向预测合并索引，则将第二单向预测合并索引设置为等于解析出的值；否则(解析出的值等于或大于第一单向预测合并索引)，将第二单向预测合并索引设置为等于解析出的值加1。表1示出用于当前VVC规范中的GPM模式的现有语法元素。

表1 VVC规范的合并数据语法表中现有的GPM语法元素

另一方面，在当前GPM设计中，截断一元码用于两个单向预测合并索引(即，merge_gpm_idx0和merge_gpm_idx1)的二值化。另外，因为这两个单向预测合并索引不能相同，所以使用不同的最大值来截断这两个单向预测合并索引的码字，对于merge_gpm_idx0和merge_gpm_idx1，这两个单向预测合并索引分别被设置为等于MaxGPMMergeCand-1和MaxGPMMergeCand-2。MaxGPMMergeCand是单向预测合并列表中的候选的数量。

当应用GPM/AWP模式时，应用两种不同的二值化方法来将语法merge_gpm_partition_idx转换成二进制位串。具体地，分别通过VVC和AVS3标准中的固定长度码和截断二元码来对语法元素进行二值化。此外，对于AVS3中的AWP模式，不同的最大值用于语法元素的值的二值化。具体地，在AVS3中，允许的GPM/AWP划分模式的数量是56(即，merge_gpm_partition_idx的最大值是55)，而在VVC中该数量增加到64(即，merge_gpm_partition_idx的最大值是63)。

具有运动矢量差的合并模式(MMVD)

除了从一个当前块的空间/时间相邻块导出该当前块的运动信息的常规合并模式之外，在VVC和AVS标准两者中引入MMVD/UMVE模式作为一种特殊合并模式。具体来说，在VVC和AVS3两者中，在编码块级通过一个MMVD标志用信号发送该模式。在MMVD模式中，选择用于常规合并模式的合并列表中的前两个候选作为用于MMVD的两个基本合并候选。在选择并用信号发送一个基本合并候选之后，用信号发送额外语法元素以指示与所选择的合并候选的运动相加的运动矢量差(MVD)。MMVD语法元素包括用于选择基本合并候选的合并候选标志、用于指定MVD幅度的距离索引和用于指示MVD方向的方向索引。

在现有的MMVD设计中，距离索引指定MVD幅度，其基于距起始点的一组预定义偏移来定义。如图6A和图6B所示，偏移与起始MV(即，所选择的基本合并候选的MV)的水平分量或垂直分量相加。

图6A示出了L0参考的MMVD模式。图6B示出了L1参考的MMVD模式。

表2示出了分别应用于AVS3中的MVD偏移。

表2 AVS3中使用的MVD偏移

距离索引	0	1	2	3	4
						偏移(以亮度样点为单位)	1/4	1/2	1	2	4

如表3中所展示，方向索引用于指定用信号发送的MVD的符号。注意，MVD符号的含义可根据起始MV而变化。当起始MV是单向预测MV或者是具有指向两个参考图片(其中两个参考图片的POC均大于当前图片的POC，或均小于当前图片的POC)的MV的双向预测MV时，用信号发送的符号是与起始MV相加的MVD的符号。当起始MV是指向两个参考图片(其中一个图片的POC大于当前图片，另一个图片的POC小于当前图片)的双向预测MV时，将用信号发送的符号应用于L0 MVD并且将用信号发送的符号的相反值应用于L1 MVD。

表3由方向索引指定的MVD符号

方向IDX	00	01	10	11
					x-axis	+	-	N/A	N/A
y-axis	N/A	N/A	+	-

用于常规帧间模式的运动信令

类似于HEVC标准，除了合并/跳过模式之外，VVC和AVS3都允许一个帧间CU在比特流中显式地指定其运动信息。总的来说，VVC和AVS3两者中的运动信息信令保持与HEVC标准中的运动信息信令相同。具体地，首先用信号发送一个帧间预测语法，即inter_pred_idc，以指示预测信号是来自列表L0、来自列表L1还是来自列表L0和列表L1两者。对于每个使用的参考列表，通过用信号发送相应参考列表的一个参考图片索引ref_idx_lx(x＝0,1)来识别相应的参考图片，并且由用于选择MV预测因子(MVP)的一个MVP索引mvp_lx_flag(x＝0,1)来表示相应MV，其中在所述MVP索引之后是在目标MV和所选择的MVP之间的运动矢量差(MVD)。另外，在VVC标准中，在条带级用信号发送一个控制标志mvd_l1_zero_flag。当mvd_l1_zero_flag等于0时，在比特流中用信号发送L1 MVD；否则(当mvd_l1_zero_flag标志等于1时)，不用信号发送L1 MVD且在编码器及解码器处将L1 MVD的值总是推断为零。

具有CU级权重的双向预测

在VVC和AVS3之前的先前标准中，当不应用加权预测(WP)时，通过对从两个参考图像获得的单向预测信号求平均来生成双向预测信号。在VVC中，引入了一种工具编码，即具有CU级权重(BCW)的双向预测，以提高双向预测的效率。具体地，代替简单的求平均，通过允许两个预测信号的加权平均来扩展BCW中的双向预测，如下所描绘的：

P′(i,j)＝((8-w)·P₀(i,j)+w·P₁(i,j)+4)＞＞3

在VVC中，在当前图片是一个低延迟图片时，允许从一组预定义权重值w∈{-2,3,4,5,10}中选择一个BCW编码块的权重，并且权重4表示传统的双向预测情况，其中两个单向预测信号被相等地加权。对于低延迟，仅允许3个权重w∈{3,4,5}。一般来说，尽管WP与BCW之间存在一些设计相似性，但这两个编码工具以用不同粒度解决亮度改变问题为目标。然而，因为WP和BCW之间的交互可能潜在地使VVC设计复杂化，所以不允许同时启用这两个工具。具体来说，当针对一个条带启用WP时，则该条带中的所有双向预测CU的BCW权重不用信号发送且被推断为4(即，应用相等权重)。

模板匹配

模板匹配(TM)是解码器侧MV推导方法，其通过找到由当前CU的顶部和左侧相邻重建样点组成的一个模板与参考图片中的参考块(即，与模板大小相同)之间的最佳匹配来细化当前CU的运动信息。如图7中所示，将在当前CU的初始运动矢量周围的像素搜索范围[-8,+8]内搜索一个MV。最佳匹配可被定义为实现当前模板与参考模板之间的最低匹配代价(例如，绝对差之和(SAD)、绝对变换差之和(SATD)等)的MV。存在将TM模式应用于帧间编解码的两种不同方式：

在AMVP模式中，基于模板匹配差异确定MVP候选以选择达到当前块模板与参考块模板之间的最小差异的MVP候选，然后仅针对此特定MVP候选执行TM以进行MV细化。TM通过使用迭代菱形搜索从像素搜索范围[-8,+8]内的全像素MVD精度(或4像素AMVR模式的4像素)开始来细化此MVP候选。可根据AMVR模式通过使用具有全像素MVD精度(或4像素AMVR模式的4像素)的交叉搜索、随后依序是半像素的交叉搜索及1/4像素的交叉搜索来进一步细化AMVP候选，如下表14中所指定。此搜索过程确保MVP候选在TM过程之后仍保持与AMVR模式所指示相同的MV精度。

表14

在合并模式中，将类似的搜索方法应用于由合并索引指示的合并候选。如上表中所示，TM可一直执行到1/8像素MVD精度或跳过超出半像素MVD精度的那些精度，这取决于是否根据合并运动信息使用可选插值滤波器(其在AMVR为半像素模式时使用)。

如上所述，从常规合并候选直接获得用于生成两个GPM分区的预测样点的单向运动。在空间/时间相邻块的MV之间不存在强相关性的情况下，从合并候选导出的单向MV可能不够准确地捕获每一GPM分区的真实运动。运动估计能够提供更准确的运动，然而，这以不可忽略的信令开销为代价，这是因为可在现有单向MV之上应用的任意运动细化。另一方面，在VVC和AVS3标准中都使用MVMD模式，这已经证明是减少MVD信令开销的一种有效的信令机制。因此，将GPM与MMVD模式组合也可能是有益的。这种组合可通过提供更准确的MV来捕获每个GPM分区的单独运动来潜在地提高GPM工具的整体编解码效率。

如前所述，在VVC标准和AVS3标准两者中，GPM模式仅应用于合并/跳过模式。考虑到所有非合并帧间CU不能受益于GPM的灵活非矩形分区，这种设计在编解码效率方面可能不是最佳的。另一方面，由于与上述相同的原因，从常规合并/跳过模式导出的单向预测运动候选并不总是精确地捕获两个几何分区的真实运动。基于此类分析，可通过将GPM模式合理扩展到非合并帧间模式(即，在比特流中显式地用信号发送运动信息的CU)来预期额外编解码增益。然而，MV精度的提高以增加的信令开销为代价。因此，为了有效地将GPM模式应用于显式帧间模式，重要的是找到可最小化信令代价、同时为两个几何分区提供更准确的MV的一种有效的信令方案。

提出的方法

在本公开中，提出了通过在应用于每个GPM分区的现有单向MV之上应用进一步的运动细化来进一步提高GPM的编解码效率的方法。所提出的方法被称为具有运动矢量细化的几何划分模式(GPM-MVR)。另外，在所提出的方案中，以与现有MMVD设计类似的一种方式(即，基于一组预定义的MVD幅度和运动细化的方向)用信号发送运动细化。

在本公开的另一方面，提供了将GPM模式扩展到显式帧间模式的解决方案。为了便于描述，这些方案被命名为具有显式运动信令的几何划分模式(GPM-EMS)。具体来说，为了实现与常规帧间模式的更好协调，在所提出的GPM-EMS方案中利用现有运动信令机制(即，MVP加MVD)来指定两个几何分区的对应单向MV。

具有单独运动矢量细化的几何划分模式

为了提高GPM的编解码效率，在本章节中，提出了一种具有单独运动矢量细化的改进的几何划分模式。具体地，给定GPM分区，所提出的方法首先使用现有语法merge_gpm_idx0和merge_gpm_idx1来从现有单向预测合并候选列表中识别两个GPM分区的单向MV，并将它们用作基本MV。在确定两个基本MV之后，引入两组新语法元素以指定分别应用于两个GPM分区的基本MV之上的运动细化的值。具体地，首先用信号发送两个标志，即gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag以分别指示是否对第一GPM分区和第二GPM分区应用GPM-MVR。当一个GPM分区的标志等于一时，以MMVD样式用信号发送应用于该分区的基本MV的MVR的对应值，即，用于指定MVR的幅度的一个距离索引(如由语法元素gpm_mvr_partIdx0_distance_idx和gpm_mvr_partIdx1_distance_idx所指示)和用于指定MVR的方向的一个方向索引(如由语法元素gpm_mvr_partIdx0_direction_idx和gpm_mvr_partIdx1_distance_idx所指示)。表4示出由所提出的GPM-MVR方法引入的语法元素。

表4所提出的具有用于两个GPM分区的单独MVR的GPM-MVR方法(方法一)的语法元素

基于如表4所示的所提出的语法元素，在解码器处，用于生成每个GPM分区的单向预测样点的最终MV等于用信号发送的运动矢量细化与对应的基本MV之和。在实践中，不同组的MVR幅度和方向可被预定义并应用于所提出的GPM-MVR方案，这可在运动矢量精度和信令开销之间提供各种权衡。在一个特定示例中，提出了重复使用VVC标准中使用的八个MVD偏移(即，1/4像素、1/2像素、1像素、2像素、4像素、8像素、16像素及32像素)和四个MVD方向(即，+/-x轴及+/-y轴)以用于所提出的GPM-MVR方案。在另一示例中，AVS3标准中使用的现有五个MVD偏移{1/4像素、1/2像素、1像素、2像素及4像素}和四个MVD方向(即，+/-x轴及+/-y轴)应用于所提出的GPM-MVR方案中。

如章节“GPM信令设计”中所讨论的，因为用于两个GPM分区的单向MV不能相同，所以在现有GPM设计中应用一个约束，其强制两个单向预测合并索引不同。然而，在所提出的GPM-MVR方案中，在现有GPM单向MV之上应用进一步的运动细化。因此，即使当两个GPM分区的基本MV相同时，只要两个运动矢量细化的值不同，用于预测两个分区的最终单向MV仍然可以不同。基于上述考虑，当应用所提出的GPM-MVR方案时，去除该约束(其将两个单向预测合并索引限制为不同)。另外，因为允许两个单向预测合并索引相同，所以相同的最大值MaxGPMMergeCand-1被用于merg_gpm_idx0和merge_gpm_idx1两者的二值化，其中MaxGPMMergeCand是单向预测合并列表中的候选的数量。

如上分析的，当两个GPM分区的单向预测合并索引(即，merge_gpm_idx0和merge_gpm_idx1)相同时，两个运动矢量细化的值不能相同以确保用于两个分区的最终MV不同。基于此条件，在本公开的一个实施例中，提出了一种信令冗余去除方法，当两个GPM分区的单向预测合并索引相同(即，merge_gpm_idx0等于merge_gpm_idx1)时，使用第一GPM分区的MVR来减少第二GPM分区的MVR的信令开销。在一个示例中，应用以下信令条件：

首先，当标志gpm_mvr_partIdx0_enable_flag等于0(即，GPM-MVR不应用于第一GPM分区)时，gpm_mvr_partIdx1_enable_flag的标志不用信号发送，而是被推断为1(即，GPM-MVR应用于第二GPM分区)。

其次，当标志gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag都等于1(即，GPM-MVR应用于两个GPM分区)并且gpm_mvr_partIdx0_direction_idx等于gpm_mvr_partIdx1_direction_idx(即，两个GPM分区的MVR具有相同的方向)时，第一GPM分区的MVR的幅度(即，gpm_mvr_partIdx0_distance_idx)用于预测第二GPM分区的MVR的幅度(即，gpm_mvr_partIdx1_distance_idx)。具体地，如果gpm_mvr_partIdx1_distance_idx小于gpm_mvr_partIdx0_distance_idx，则直接用信号发送gpm_mvr_partIdx1_distance_idx的原始值。否则(gpm_mvr_partIdx1_distance_idx大于gpm_mvr_partIdx0_distance_idx)，在将gpm_mvr_partIdx1_distance_idx的值减去1之后再用信号发送到比特流。在解码器侧，为了解码gpm_mvr_partIdx1_distance_idx的值，如果解析的值小于gpm_mvr_partIdx0_distance_idx，则将gpm_mvr_partIdx1_distance_idx设置为等于解析的值；否则(解析的值等于或大于gpm_mvr_partIdx0_distance_idx)，将gpm_mvr_partIdx1_distance_idx设置为等于解析的值加一。在这种情况下，为了进一步减少开销，可将不同的最大值MaxGPMMVRDistance-1和MaxGPMMVRDistance-2用于gpm_mvr_partIdx0_distance_idx和gpm_mvr_partIdx1_distance_idx的二值化，其中，MaxGPMMVRDistance是用于运动矢量细化的所允许的幅度的数量。

在另一实施例中，提出将信令顺序切换为gpm_mvr_partIdx0_direction_idx/gpm_mvr_partIdx1_direction_idx和gpm_mvr_partIdx0_distance_idx/gpm_mvr_partIdx1_distance_idx，使得在MVR幅度之前用信号发送MVR幅度。通过这种方式，遵循如上所述的相同逻辑，编码器/解码器可使用第一GPM分区的MVR方向来调节第二GPM分区的MVR方向的信令。在另一个实施例中，提出首先用信号发送第二GPM分区的MVR幅度和方向，并使用它们来调节第二GPM分区的MVR幅度和方向的信令。

在另一实施例中，提出在用信号发送现有GPM语法元素之前用信号发送GPM-MVR相关语法元素。具体地，在这种设计中，首先用信号发送两个标志gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag以指示GPM-MVR是否分别应用于第一GPM分区和第二GPM分区。当一个GPM分区的标志等于一时，距离索引(如由语法元素gpm_mvr_partIdx0_distance_idx和gpm_mvr_partIdx1_distance_idx所指示)和方向索引(如由语法元素gpm_mvr_partIdx0_direction_idx和gpm_mvr_partIdx1_distance_idx所指示)指定MVR的方向。之后，用信号发送现有语法merge_gpm_idx0和merge_gpm_idx1以识别用于两个GPM分区的单向MV，即基本MV。表5示出了所提出的GPM-MVR信令方案。

表5所提出的具有用于两个GPM分区的单独MVR的GPM-MVR方法(方法二)的语法元素

类似于表4中的信令方法，当应用表5中的GPM-MVR信令方法时，可应用某些条件以确保用于两个GPM分区的预测的所得MV不同。具体地，提出以下条件以根据应用于第一GPM分区和第二GPM分区的MVR的值来约束单向预测合并索引merge_gpm_idx0和merge_gpm_idx1的信令：

首先，当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的值都等于0(即，针对两个GPM分区禁用GPM-MVR)时，merge_gpm_idx0和merge_gpm_idx1的值不能相同；

其次，当gpm_mvr_partIdx0_enable_flag等于1(即，针对第一GPM分区启用GPM-MVR)并且gpm_mvr_partIdx1_enable_flag等于0(即，针对第二GPM分区禁用GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

第三，当gpm_mvr_partIdx0_enable_flag等于0(即，针对第一GPM分区禁用GPM-MVR)并且gpm_mvr_partIdx1_enable_flag等于1(即，针对第二GPM分区启用GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

第四，当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的值都等于1(即，针对两个GPM分区启用GPM-MVR)时，关于merge_gpm_idx0和merge_gpm_idx1的值是否被允许相同的确定取决于应用于两个GPM分区的MVR的值(如由gpm_mvr_partIdx0_direction_idx和gpm_mvr_partIdx0_distance_idx以及gpm_mvr_partIdx1_direction_idx和gpm_mvr_partIdx1_distance_idx所指示)。如果两个MVR的值相等，则不允许merge_gpm_idx0和merge_gpm_idx1相同。否则(两个MVR的值不相等)，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

在上述四种情况下，当merge_gpm_idx0和merge_gpm_idx1的值不允许相同时，一个分区的索引值可用作另一分区的索引值的预测因子。在一种方法中，提出首先用信号发送merge_gpm_idx0并使用其值来预测merge_gpm_idx1。具体地，在编码器处，当merge_gpm_idx1大于merge_gpm_idx0时，发送到解码器的merge_gpm_idx1的值减小1。在解码器处，当merge_gpm_idx1的接收值等于或大于merge_gpm_idx0的接收值时，merge_gpm_idx1的值增加1。在另一种方法中，提出首先用信号发送merge_gpm_idx1并使用其值来预测merge_gpm_idx0。因此，在这种情况下，在编码器处，当merge_gpm_idx0大于merge_gpm_idx1时，发送到解码器的merge_gpm_idx0的值减小1。在解码器处，当merge_gpm_idx0的接收值等于或大于merge_gpm_idx1的接收值时，merge_gpm_idx0的值增加1。另外，类似于现有GPM信令设计，不同的最大值MaxGPMMergeCand-1及MaxGPMMergeCand-2可根据信令顺序分别用于第一索引值和第二索引值的二值化。另一方面，当由于两个索引值之间没有相关性而允许merge_gpm_idx0和merge_gpm_idx1的值相同时，相同的最大值MaxGPMMergeCand-1用于这两个索引值的二值化。

在上述方法中，为了降低信令代价，可将不同的最大值应用于merge_gpm_idx0和merge_gpm_idx1的二值化。对应最大值的选择取决于MVR的解码值(如由gpm_mvr_partIdx0_enable、gpm_mvr_partIdx1_enable、gpm_mvr_partIdx0_direction_idx、gpm_mvr_partIdx1_direction_idx、gpm_mvr_partIdx0_distance_idx和gpm_mvr_partIdx1_distance_idx_所指示)。这种设计在不同GPM语法元素之间引入不期望的解析依赖性，这可能影响整个解析过程。为了解决这样的问题，在一个实施例中，提出总是一个相同的最大值(例如，MaxGPMMergeCand-1)用于解析merge_gpm_idx0和merge_gpm_idx1的值。当使用此方法时，一个比特流符合性约束可用于防止两个GPM分区的两个解码MV相同。在另一种方法中，还可去除这种非识别约束，使得允许两个GPM分区的解码MV相同。另一方面，当应用此方法时(即，针对merge_gpm_idx0及merge_gpm_idx1使用相同最大值)，在merge_gpm_idx0/merge_gpm_idx1与其他GPM-MVR语法元素之间不存在解析依赖性。因此，用信号发送那些语法元素的顺序不再重要。在一个示例中，提出将merge_gpm_idx0/merge_gpm_idx1的信令移动到gpm_mvr_partIdx0_enable、gpm_mvr_partIdx1_enable、gpm_mvr_partIdx0_direction_idx、gpm_mvr_partIdx1_direction_idx、gpm_mvr_partIdx0_distance_idx和gpm_mvr_partIdx1_distance_idx的信令之前。

具有对称运动矢量细化的几何划分模式

对于上文所讨论的GPM-MVR方法，用信号发送两个单独MVR值，其中应用一个MVR值以改进仅一个GPM分区的基本MV。这种方法通过允许对每个GPM分区进行独立的运动细化，在提高预测精度方面可以是有效的。然而，考虑到需要从编码器向解码器发送两组不同的GMP-MVR语法元素，这种灵活的运动细化以增加信令开销为代价。为了减少信令开销，在本章节中，提出了一种具有对称运动矢量细化的几何划分模式。具体来说，在此方法中，针对一个GPM CU用信号发送一个单个MVR值，并根据当前图片与和两个GPM分区相关联的参考图片的图片顺序计数(POC)值之间的对称关系，将这一个单个MVR值用于这两个GPM分区。表6示出了当应用所提出的方法时的语法元素。

表6所提出的具有用于两个GPM分区的对称MVR的GPM-MVR方法(方法一)的语法元素

如表6所示，在(基于merge_gpm_idx0和merge_gpm_idx1)选择两个GPM分区的基本MV之后，用信号发送一个标志gpm_mvr_enable_flag以指示GPM-MVR模式是否应用于当前GPM CU。当该标志等于1时，它指示应用运动细化以增强两个GPM分区的基本MV。否则(当该标志等于零时)，它指示运动细化不应用于这两个分区中的任一个。如果启用GPM-MVR模式，则进一步用信号发送额外语法元素以通过方向索引gpm_mvr_direction_idx和幅度索引gpm_mvr_distance_idx指定所应用MVR的值。另外，类似于MMVD模式，MVR符号的含义可根据的当前图片和GPM分区的两个参考图片的POC之间的关系而变化。具体来说，当两个参考图片的POC均大于或小于当前图片的POC时，用信号发送的符号是与两个基本MV两者相加的MVR的符号。否则(当一个参考图片的POC大于当前图片而另一参考图片的POC小于当前图片时)，将用信号发送的符号应用于第一GPM分区的MVR，并且将相反符号应用于第二GPM分区。在表6中，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

在另一个实施例中，提出用信号发送两个不同的标志以分别控制分别用于两个GPM分区的GPM-MVR模式的启用/禁用。然而，当启用GPM-MVR模式时，基于语法元素gpm_mvr_direction_idx和gpm_mvr_distance_idx，仅用信号发送一个MVR。这种信令方法的对应语法表在表7中示出。

表7所提出的具有用于两个GPM分区的对称MVR的GPM-MVR方法(方法二)的语法元素

当应用表7中的信令方法时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。然而，为了确保应用于两个GPM分区的所得MV不是冗余的，当标志gpm_mvr_partIdx0_enable_flag等于0(即，GPM-MVR不应用于第一GPM分区)时，不用信号发送标志gpm_mvr_partIdx1_enable_flag，而是将其推断为1(即，GPM-MVR应用于第二GPM分区)。

用于GPM-MVR的允许的MVR的适配

在上面讨论的GPM-MVR方法中，一组固定的MVR值用于一个视频序列中的编码器和解码器两者处的GPM CU。这种设计对于具有高分辨率或具有剧烈运动的视频内容是次优的。在那些情况下，MV倾向于非常大，使得固定的MVR值对于捕获那些块的真实运动可能不是最佳的。为了进一步提高GPM-MVR模式的编解码性能，在本公开中提出支持允许由GPM-MVR模式在各种编码级(诸如序列级、图片/条带图片、编码块组级等)选择的MVR值的适配。例如，可根据不同视频序列的特定运动特性离线地导出多个MVR集合以及相应的码字。编码器可选择最佳MVR集合且将所选择集合的对应索引用信号发送到解码器。

在本公开的一些实施例中，除了包括八个偏移幅度(即，1/4像素、1/2像素、1像素、2像素、4像素、8像素、16像素和32像素)和四个MVR方向(即，+/-x轴和+/-y轴)的默认MVR偏移之外，针对GPM-MVR模式提出了如下表中定义的另外的MVR偏移。表15示出了所提出的第二MVR偏移集合中的偏移幅度。表16示出了所提出的第二MVR偏移集合中的MVR方向。

表15

距离索引	0	1	2	3	4	5	6	7	8
										偏移(以亮度样点为单位)	1/4	1/2	1	2	3	4	6	8	16

表16

在上表15和表16中，x轴和y轴上的值+1/2和-1/2表示水平方向和垂直方向的对角线方向(+45°和-45°)。如表15和表16所示，与现有的MVR偏移集合相比，第二MVR偏移集合引入两个新的偏移幅度(即，3像素和6像素)和四个偏移方向(45°、135°、225°和315°)。新添加的MVR偏移使得第二MVR偏移集合更适合于对具有复杂运动的视频块进行编码。另外，为了实现两个MVR偏移集合之间的自适应切换，提出了一个控制标志以在一个特定编码级(例如，序列、图片、条带、CTU和编码块等)用信号发送，以指示针对在该编码级下应用的GPM-MVR模式选择哪个MVR偏移集合。假设所提出的适配是在图片级执行的，下面的表17示出了在图片头处用信号发送的对应语法元素。

表17

在上面的表17中，新标志ph_gpm_mvr_offset_set_flag用于指示对用于图片的相应GMP MVR偏移的选择。当该标志等于0时，它表示在该图片中将默认MVR偏移(即，偏移幅度1/4像素、1/2像素、1像素、2像素、4像素、8像素、16像素和32像素以及四个MVR方向+/-x轴和+/-y轴)应用于GPM-MVR模式。否则，当该标志等于1时，它表示在该图片中将第二MVR偏移(即，偏移幅度1/4像素、1/2像素、1像素、2像素、3像素、4像素、6像素、8像素、16像素和八个MVR方向+/-x轴、+/-y轴和45°、135°、225°和315°)应用于GPM-MVR模式。

为了用信号发送MVR偏移，可应用不同的方法。首先，考虑到MVR方向通常是统计上均匀分布的，提出使用固定长度码字来对MVR方向进行二值化。以默认MVR偏移为例，总共有四个方向，并且码字00、01、10和11可用于表示四个方向。另一方面，因为MVR偏移幅度可具有适应于视频内容的特定运动特性的变化分布，所以提出使用可变长度码字来对MVR幅度进行二值化。下面的表18示出了可用于对默认MVR偏移集合和第二MVR偏移集合的MVR幅度进行二值化的一个特定码字表。

表18

在其他实施例中，还可应用不同固定长度可变码字以对默认MVR偏移集合和第二MVR偏移集合的MVR偏移幅度进行二值化，例如，可交换以上码字表中的二进制位“0”和“1”以适应上下文自适应二进制算术编解码(CABAC)引擎的各种0/1统计。

在一个特定示例中，提供两个不同码字表以对MVR幅度的值进行二值化。下表示出了在第一码字表和第二码字表中应用的默认MVR偏移集合和第二MVR偏移集合的对应码字。表19示出了第一码字表中的MVR偏移幅度的码字。表20示出了第二码字表中的MVR偏移幅度的码字。

表19

/>

表20

为了实现两个码字表之间的自适应切换，提出一个指示标志以在一个特定编码级(例如，序列、图片、条带、CTU和编码块等)用信号发送，以指定在该编码级下使用哪个码字表来对MVR幅度进行二值化。假设在图片级执行所提出的适配，下表21示出了在图片头处用信号发送的对应语法元素，其中新添加的语法元素是斜粗体。

表21

在上述语法表中，新标志ph_gpm_mvr_step_codeword_flag用于指示对用于图像的MVR幅度的二值化的相应码字表的选择。当该标志等于0时，它指示第一码字表应用于该图片；否则(即，该标志等于1)，它指示第二码字表应用于该图片。

在另一个实施例中，提出在整个视频序列的编码/解码期间总是使用一个码字表来对MVR偏移幅度进行二值化。在一个示例中，提出总是使用第一码字表进行MVR幅度的二值化。在另一示例中，提出总是使用第二码字表进行MVR幅度的二值化。

在其他方法中，可应用一种基于统计的二值化方法以在运行中自适应地设计用于MVR偏移幅度的最优码字而无需用信号发送。用于确定最佳码字的统计量可以是但不限于在多个先前编码的图片、条带和/或编码块上收集的MVR偏移幅度的概率分布。可在各种频率水平重新确定/更新码字。例如，可在每次CU在GPM-MVR模式下被编解码时进行更新。在另一示例中，每当存在在GPM-MVR模式下被编解码的若干CU(例如，8个或16个)时，可重新确定和/或更新所述更新。

在其他方法中，代替重新设计一组新的码字，所提出的基于统计的方法还可用于基于同一组码字对MVR幅度值进行重新排序，以便将较短的码字分配给被较多次使用的幅度，并且将较长的码字分配给被较少次使用的幅度。以下表为例，假设统计量是在图片级收集的，列“使用率”指示由先前编码图片中的GPM-MVR编码块使用的不同MVR偏移幅度的对应百分比。根据“使用率”列中的值，使用相同的二值化方法(即，截断的一元码字)，编码器/解码器可基于MVR幅度值的使用来对MVR幅度值进行排序；之后，编码器/解码器可将最短码字(即，“1”)分配给最频繁使用的MVR幅度(即，1像素)，并且将第二短码字(即，“01”)分配给第二频繁使用的MVR幅度(即，1/2像素)，…，并且将最长码字(即，“0000001”和“0000000”)分配给两个最少使用的MVR幅度(即，16像素和32像素)。因此，通过这种重新排序方案，可自由地重新排序同一组码字以适应MVR幅度的统计分布的动态变化。

MVR偏移	使用率	二值化
			1/4像素	15％	001
1/2像素	20％	01
			1像素	30％	1
2像素	10％	0001
			4像素	9％	00001
8像素	6％	000001
			16像素	5％	0000001
32像素	5％	0000000

用于GPM-MVR率失真优化的编码器加速逻辑

对于所提出的GPM-MVR方案，为了确定每个GPM分区的最优MVR，编码器可能需要多次测试每个GPM分区的率失真代价，每次测试改变正被应用的MVR值。这可能显著增加GPM模式的编解码复杂度。为了解决编解码复杂度问题，在本章节中提出了以下快速编解码逻辑：

首先，由于在VVC和AVS3中应用的四/二/三叉树块划分结构，可在率失真优化(RDO)过程期间检查同一个编码块，每次通过一个不同的划分路径对该同一个编码块进行分割。在当前的VTM/HPM编码器实现中，每当通过不同的块分区组合获得同一个CU时，总是测试GPM模式和GPM-MVR模式以及其他帧间和帧内编解码模式。一般来说，对于不同的划分路径，针对一个CU仅是其相邻块可能不同，然而，这应该对一个CU将选择的最佳编解码模式具有相对较小影响。基于这种考虑，为了减少被应用的GPM RDO的总数，提出存储当第一次检查一个CU的RD代价时是否选择GPM模式的决定。之后，当通过RDO过程(通过另一个划分路径)再次检查同一CU时，只有在第一次针对该CU选择GPM时才检查GPM(包括GPM-MVR)的RD代价。在GPM未被选择用于一个CU的初始RD检查的情况下，当通过另一分区路径得到同一CU时，仅测试GPM(没有GPM-MVR)。在另一方法中，当GPM未被选择用于一个CU的初始RD检查时，当通过另一划分路径得到同一CU时，不测试GPM和GPM-MVR两者。

其次，为了减少GPM-MVR模式的GPM分区的数量，提出了当第一次检查一个CU的RD代价时，保留不具有最小RD代价的前M个GPM划分模式。之后，当通过RDO过程(通过另一个划分路径)再次检查同一CU时，针对GPM-MVR模式仅测试这M个GPM划分模式。

第三，为了减少针对初始RDO过程测试的GPM分区的数量，对于每个GPM分区，提出当针对两个GPM分区使用不同的单向预测合并候选时，首先计算绝对差总和(SAD)值。然后，对于一个特定划分模式下的每个GPM分区，选择具有最小SAD值的最佳单向预测合并候选，并计算该划分模式的对应SAD值，其等于针对两个GPM分区的最佳单向预测合并候选的SAD值之和。然后，对于随后的RD过程，针对GPM-MVR模式仅测试具有前一步骤的最佳SAD值的前N个划分模式。

具有显式运动信令的几何划分

在本章节中，提出了多种方法以将GPM模式扩展到常规帧间模式的双向预测，其中GPM模式的两个单向MV从编码器显式地用信号发送到解码器。

在第一解决方案(解决方案一)中，提出完全重复使用双向预测的现有运动信令以用信号发送GPM模式的两个单向MV。表8示出了所提出的方案的修改后的语法表，其中新添加的语法元素是斜粗体。如表8中所示，在所述解决方案中，完全重复使用用信号发送L0运动信息和L1运动信息的所有现有语法元素以分别指示两个GPM分区的单向MV。另外，假设L0MV总是与第一GPM分区相关联，并且L1 MV总是与第二GPM分区相关联。另一方面，在表8中，在GPM标志(即，gpm_flag)之前用信号发送帧间预测语法，即，inter_pred_idc，使得inter_pred_idc的值可用于调节gpm_flag的存在。具体来说，仅在inter_pred_idc等于PRED_BI(即，双向预测)且inter_affine_flag和sym_mvd_flag两者等于0(即，CU既不通过仿射模式也不通过SMVD模式被编解码)时需要用信号发送标志gpm_flag。当不用信号发送标志gpm_flag时，其值总是被推断为0(即，禁用GPM模式)。当gpm_flag为1时，进一步用信号发送另一语法元素gpm_partition_idx以指示针对当前CU选择的GPM模式(在总共64个GPM划分中选择)。

表8解决方案一(选项一)的用于运动信令的修改后的语法表

/>

/>

在另一方法中，提出将标志gpm_flag的信令放置在其他帧间语法元素的信令之前，使得gpm_flag的值可用于确定是否需要存在其他帧间语法元素。表9示出了当应用这种方法时的对应语法表，其中新添加的语法元素是斜粗体。可看出，在表9中，首先用信号发送gpm_flag。当gpm_flag等于1时，inter_pred_idc、inter_affine_flag和sym_mvd_flag的对应信令可被绕过。作为代替，三个语法元素的对应值可分别被推断为PRED_BI、0和0。

表9解决方案一(选项二)的用于运动信令的修改后的语法表

/>

在表8和表9中，SMVD模式不能与GPM模式组合。在另一示例中，提出在通过GPM模式对当前CU进行编解码时允许SMVD模式。当允许此类组合时，通过遵循SMVD的相同设计，假设两个GPM分区的MVD是对称的，使得仅需要用信号发送第一GPM分区的MVD并且第二GPM分区的MVD总是相对于第一MVD对称。当应用此方法时，可去除gpm_flag上的sym_mvd_flag的对应信令条件。

如上所述，在第一解决方案中，总是假设L0 MV用于第一GPM分区并且L1 MV用于第二GPM分区。在该方法禁止两个GPM分区的MV来自同一个预测列表(L0或L1)的意义上，这种设计可能不是最佳的。为了解决这样的问题，提出了一种可选的GPM-EMS方案，解决方案二，其具有如表10所示的信令设计。在表10中，新添加的语法元素为斜粗体。如表10所示，首先用信号发送标志gpm_flag。当该标志等于1(即，启用GPM)时，用信号发送语法gpm_partition_idx以指定所选择的GPM模式。然后，用信号发送一个额外标志gpm_pred_dir_flag0以指示第一GPM分区的MV所来自的对应预测列表。当标志gpm_pred_dir_flag0等于1时，它指示第一GPM分区的MV来自L1；否则(该标志等于0)，它指示第一GPM分区的MV来自L0。之后，利用现有语法元素ref_idx_l0、mvp_l0_flag和mvd_coding()来用信号发送第一GPM分区的参考图片索引、mvp索引和MVD的值。另一方面，类似于第一分区，引入另一语法元素gpm_pred_dir_flag1以选择第二GPM分区的对应预测列表，随后是用于导出第二GPM分区的MV的现有语法元素ref_idx_l1、mvp_l1_flag和mvd_coding()。

表10解决方案二的用于运动信令的修改后的语法表

/>

最后，应提及，鉴于GPM模式由两个单向预测分区(除分割边缘上的混合样点之外)组成，当针对一个帧间CU启用所提出的GPM-EMS方案时，可自动绕过VVC和AVS3中专门设计用于双向预测的一些现有编码工具，例如双向光流、解码器侧运动矢量细化(DMVR)和具有CU权重的双向预测(BCW)。例如，当针对一个CU启用所提出的GPM-EMS之一时，鉴于BCW无法被应用于GPM模式，不需要针对CU进一步用信号发送对应的BCW权重以减少信令开销。

GPM-MVR与GPM-EMS的组合

在本章节中，提出针对一个具有几何分区的CU组合GPM-MVR和GPM-EMS。具体地，与仅可应用基于合并的运动信令或显式信令中的一个来用信号发送两个GPM分区的单向预测MV的GPM-MVR或GPM-EMS不同，在所提出的方案中，它允许1)一个分区使用基于GPM-MVR的运动信令，另一个分区使用基于GPM-EMS的运动信令；或2)两个分区使用基于GPM-MVR的运动信令；或3)两个分区使用基于GPM-EMS的运动信令。使用表4中的GPM-MVR信令和表10中的GPM-EMS，表11示出了在组合所提出的GPM-MVR和GPM-EMS之后的对应语法表。在表11中，新添加的语法元素为斜粗体。如表11中所示，分别针对分区#1和分区#2引入两个额外语法元素gpm_merge_flag0和gpm_merge_flag1，其指定对应分区使用基于GPM-MVR的合并信令或基于GPM-EMS的显式信令。当该标志为一时，它表示针对将通过merge_gpm_idxX、gpm_mvr_partIdxX_enabled_flag、gpm_mvr_partIdxX_direction_idx和gpm_mvr_partIdxX_distance_idx用信号发送GPM单向预测运动的分区启用GPM-MVR基本信令，其中X＝0,1。否则，如果该标志为零，则它表示将使用语法元素gpm_pred_dir_flagX、ref_idx_lX、mvp_lX_flag和mvd_lX通过GPM-EMS方式显式地用信号发送该分区的单向预测运动，其中X＝0,1。

表11所提出的具有GPM-MVR和GPM-EMS的组合的GPM模式的语法表

/>

GPM-MVR与模板匹配的组合

在本章节中，提供了不同的解决方案以将GPM-MVR与模板匹配组合。

在方法一中，当一个CU在GPM模式下被编解码时，提出用信号发送用于两个GPM分区的两个单独标志，每个标志指示是否通过模板匹配进一步细化对应分区的单向运动。当启用该标志时，使用当前CU的左侧和顶部相邻重建样点来产生模板；然后，按照与“模板匹配”章节中介绍的相同的过程，通过最小化模板与其参考样点之间的差异来细化分区的单向运动。否则(当禁用该标志时)，不将模板匹配应用于分区，可进一步应用GPM-MVR。使用表5中的GPM-MVR信令方法作为示例，表12示出了当GPM-MVR与模板匹配组合时的对应语法表。在表12中，新添加的语法元素为斜粗体。

表12所提出的组合GPM-MVR与模板匹配的方法(方法一)的语法元素

如表12所示，在所提出的方案中，首先用信号发送两个额外标志gpm_tm_enable_flag0和gpm_tm_enable_flag1以分别指示是否针对两个GPM分区细化运动。当该标志为一时，它指示应用TM以细化一个分区的单向MV。当该标志为零时，进一步用信号发送一个标志(gpm_mvr_partIdx0_enable_flag或gpm_mvr_partIdx1_enable_flag)以分别指示是否将GPM-MVR应用于GPM分区。当一个GPM分区的标志等于一时，用信号发送距离索引(如由语法元素gpm_mvr_partIdx0_distance_idx和gpm_mvr_partIdx1_distance_idx所指示)和方向索引(如由语法元素gpm_mvr_partIdx0_direction_idx和gpm_mvr_partIdx1_distance_idx所指示)以指定MVR的方向。之后，用信号发送现有语法merge_gpm_idx0和merge_gpm_idx1以标识用于两个GPM分区的单向MV。此外，类似于应用于表5的信令条件，可应用以下条件以确保用于两个GPM分区的预测的所得MV不同。

首先，当gpm_tm_enable_flag0和gpm_tm_enable_flag1的值都等于1(即，针对两个GPM分区启用TM)时，merge_gpm_idx0和merge_gpm_idx1的值不能相同。

其次，当gpm_tm_enable_flag0和gpm_tm_enable_flag1之一为一并且另一个为零时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

否则，即gpm_tm_enable_flag0和gpm_tm_enable_flag1都等于1：首先，当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的值都等于0时(即，针对两个GPM分区禁用GPM-MVR)，merge_gpm_idx0和merge_gpm_idx1的值不能相同；其次，当gpm_mvr_partIdx0_enable_flag等于1(即，针对第一GPM分区启用GPM-MVR)并且gpm_mvr_partIdx1_enable_flag等于0(即，针对第二GPM分区禁用GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同；第三，当gpm_mvr_partIdx0_enable_flag等于0(即，针对第一GPM分区禁用GPM-MVR)并且gpm_mvr_partIdx1_enable_flag等于1(即，针对第二GPM分区启用GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同；第四，当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的值都等于1(即，针对两个GPM分区启用GPM-MVR)时，关于merge_gpm_idx0和merge_gpm_idx1的值是否被允许相同的确定取决于应用于两个GPM分区的MVR的值(如由gpm_mvr_partIdx0_direction_idx和gpm_mvr_partIdx0_distance_idx以及gpm_mvr_partIdx1_direction_idx和gpm_mvr_partIdx1_distance_idx所指示)。如果两个MVR的值相等，则不允许merge_gpm_idx0和merge_gpm_idx1相同。否则(两个MVR的值不相等)，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

在上述方法1中，TM和MVR专门应用于GPM。在这种方案中，禁止在TM模式的细化MV之上进一步应用MVR。因此，为了进一步为GPM提供更多MV候选，提出了方法二以使得能够在经TM细化的MV之上应用MVR偏移。表13示出了当GPM-MVR与模板匹配组合时的对应语法表。在表13中，新添加的语法元素为斜粗体。

表13所提出的组合GPM-MVR与模板匹配的方法(方法二)的语法元素

如表13所示，与表12不同，去除了gpm_tm_enable_flag0和gpm_tm_enable_flag1上的gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的信令条件。使得无论TM是否被应用于细化一个GPM分区的单向运动，MV细化总是被允许应用于GPM分区的MV。与之前类似，应当应用以下条件以确保两个GPM分区的所得MV不同。

首先，当gpm_tm_enable_flag0和gpm_tm_enable_flag1之一为一并且另一个为零时，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

否则，即gpm_tm_enable_flag0和gpm_tm_enable_flag1都等于一，或者两个标志都等于零：首先，当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的值都等于0时(即，针对两个GPM分区禁用GPM-MVR)，merge_gpm_idx0和merge_gpm_idx1的值不能相同；其次，当gpm_mvr_partIdx0_enable_flag等于1(即，针对第一GPM分区启用GPM-MVR)并且gpm_mvr_partIdx1_enable_flag等于0(即，针对第二GPM分区禁用GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同；第三，当gpm_mvr_partIdx0_enable_flag等于0(即，针对第一GPM分区禁用GPM-MVR)并且gpm_mvr_partIdx1_enable_flag等于1(即，针对第二GPM分区启用GPM-MVR)时，允许merge_gpm_idx0和merge_gpm_idx1的值相同；第四，当gpm_mvr_partIdx0_enable_flag和gpm_mvr_partIdx1_enable_flag的值都等于1(即，针对两个GPM分区启用GPM-MVR)时，关于merge_gpm_idx0和merge_gpm_idx1的值是否被允许相同的确定取决于应用于两个GPM分区的MVR的值(如由gpm_mvr_partIdx0_direction_idx和gpm_mvr_partIdx0_distance_idx以及gpm_mvr_partIdx1_direction_idx和gpm_mvr_partIdx1_distance_idx所指示)。如果两个MVR的值相等，则不允许merge_gpm_idx0和merge_gpm_idx1相同。否则(两个MVR的值不相等)，允许merge_gpm_idx0和merge_gpm_idx1的值相同。

在上述两种方法中，需要用信号发送两个单独的标志以指示TM是否被应用于每个GPM分区。添加的信令可能由于额外的开销而降低整体编解码效率，特别是在低比特率下。为了减少信令开销，代替引入额外信令，提出方法三以将基于TM的单向MV插入到GPM模式的单向MV候选列表中。在与“模板匹配”章节中描述的相同的TM过程之后并且使用GPM的原始单向MV作为初始MV来生成基于TM的单向MV。通过这种方案，不需要进一步从编码器向解码器用信号发送额外的控制标志。相反，解码器可通过从比特流接收的对应合并索引(即，merge_gpm_idx0和merge_gpm_idx1)来识别一个MV是否通过TM被细化。可存在不同方法来布置常规GPM MV候选(即，非TM)和基于TM的MV候选。在一种方法中，提出将基于TM的MV候选放置在MV候选列表的开始处，随后是非基于TM的MV候选。在另一种方法中，提出首先在开始处放置非基于TM的MV候选，然后放置基于TM的候选。在另一种方法中，提出以交织方式放置基于TM的MV候选和非基于TM的MV候选。例如，它可放置前N个非基于TM的候选；然后是所有基于TM的候选；最后是其余的非基于TM的候选。在另一示例中，可放置前N个基于TM的候选；然后是所有非基于TM的候选；最后是其余的基于TM的候选。在另一示例中，提出将非基于TM的候选和基于TM的候选交替地放置，即，一个非基于TM的候选、一个基于TM的候选等。

可使用包括一个或多个电路的装置来实现上述方法，一个或多个电路包括专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件。装置可使用与其他硬件或软件组件组合的电路来执行上述方法。上面公开的每个模块、子模块、单元或子单元可至少部分地使用一个或多个电路来实现。

图9示出了与用户接口960耦接的计算环境(或计算设备)910。计算环境910可以是数据处理服务器的一部分。在一些实施例中，计算环境910可执行如上文根据本公开的各种示例所描述的各种方法或过程(诸如编码/解码方法或过程)中的任何一种。计算环境910包括处理器920、存储器940和I/O接口950。

处理器920通常控制计算环境910的整体操作，诸如与显示、数据采集、数据通信和图像处理相关联的操作。处理器920可包括一个或多个处理器来执行指令以执行上述方法中的全部或一些步骤。此外，处理器920可包括促使处理器920与其他组件之间的交互的一个或多个模块。处理器可以是中央处理单元(CPU)、微处理器、单片机、GPU等。

存储器940被配置为存储各种类型的数据，以支持计算环境910的操作。存储器940可包括预定软件942。这类数据的示例包括用于在计算环境910上操作的任何应用或方法的指令、视频数据集、图像数据等。存储器940可通过使用任何类型的易失性或非易失性存储器设备或其组合来实现，诸如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪存、磁盘或光盘。

I/O接口950提供处理器920与外围接口模块(诸如键盘、点击轮、按钮等)之间的接口。按钮可包括但不限于主页按钮、启动扫描按钮和停止扫描按钮。I/O接口950可与编码器和解码器耦接。

在一些实施例中，还提供了一种非暂态计算机可读存储介质，其包括多个程序，诸如被包括在存储器940中，能够由计算环境910中的处理器920执行，用于执行上述方法。例如，非暂态计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘、光学数据存储设备等。

非暂态计算机可读存储介质中存储有多个程序，多个程序由具有一个或多个处理器的计算设备执行，其中多个程序在由一个或多个处理器执行时使计算设备执行用于运动预测的上述方法。

在一些实施例中，计算环境910可利用一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、控制器、微控制器、微处理器或其他电子组件来实现，以用于执行上述方法。

图8是示出根据本公开的示例的用于在GPM下对视频块进行解码的方法的流程图。

在步骤801中，处理器920可接收与视频块相关联的控制标志。控制标志可以是包括一个或多个标志(诸如二进制标志、非二进制标志)的控制变量或任何其他变量。在一个或多个示例中，控制变量可以是如表17或表21所示的标志“ph_gpm_mvr_offset_set_flag”。

在一些示例中，控制变量实现在多个MVR偏移集合之间的自适应切换，并且在编码级应用控制变量。

在一些示例中，编码级可以是序列级、图片/条带级、CTU级或编码块级。例如，当在编码器侧在图片级用信号发送控制变量时，解码器侧在图片级对应地接收控制变量以指示将选择哪个MVR偏移集合，以用于选择与当前视频块相关联的对应MVR偏移的目的。

在步骤802中，处理器920可接收与视频块相关联的指示标志。指示标志可以是包括一个或多个标志(诸如二进制标志、非二进制标志)的指示变量或任何其他变量。在一个或多个示例中，控制变量可以是如表21所示的标志“ph_gpm_mvr_step_codeword_flag”。标志“ph_gpm_mvr_step_codeword_flag”的值对二值化表进行切换，以便利用不同码字表对不同偏移集合进行二值化，从而获得更大的灵活性。

在一些示例中，指示变量实现在多个码字表之间的自适应切换，所述多个码字表在编码级下对多个MVR偏移集合中的多个偏移幅度进行二值化。

在步骤803中，处理器920可将视频块划分为第一几何分区和第二几何分区。

在步骤804中，处理器920可基于控制变量从多个MVR偏移集合中选择MVR偏移集合。

在步骤805中，处理器920可接收一个或多个语法元素以从所选择的MVR偏移集合中确定被应用于第一几何分区和第二几何分区的第一MVR偏移和第二MVR偏移。所选择的MVR偏移可以是由控制变量选择的一个MVR偏移。

在一些示例中，多个MVR偏移集合可包括第一MVR偏移集合以及第二MVR偏移集合。在一些示例中，第一MVR偏移集合可包括多个默认MVR偏移，所述多个默认MVR偏移包括多个默认偏移幅度和多个默认MVR方向。在一些示例中，第二MVR偏移集合可包括多个可选MVR偏移，所述多个可选MVR偏移包括多个可选偏移幅度和多个可选MVR方向。在一些示例中，第二MVR偏移集合可包括比第一MVR偏移集合更多的偏移幅度以及比第一MVR偏移集合更多的MVR方向。例如，多个默认偏移幅度和多个默认MVR方向可包括八个偏移幅度(即，1/4像素、1/2像素、1像素、2像素、4像素、8像素、16像素和32像素)和四个MVR方向(即，+/-x轴和+/-y轴)。多个可选偏移幅度和多个可选MVR方向可包括如表15-表16和表19-表20中所示的偏移和方向。

如表15-表16和表19-表20所示，可选MVR偏移集合除了可包括多个默认偏移幅度之外，还可包括更多的偏移幅度，并且可选MVR偏移集合除了可包括多个默认MVR方向之外，还可包括更多的MVR方向。

在一些示例中，处理器920可响应于确定控制变量等于0而确定应用第一MVR偏移集合，并且可响应于确定控制变量等于1而确定应用第二MVR偏移集合。

在一些示例中，多个码字表包括第一码字表和第二码字表，并且使用第一码字表和第二码字表分别对第一MVR偏移集合和第二MVR偏移集合进行二值化，如图19-表20中所示。

如表19-表20中所示，第一默认偏移幅度(即，1/4像素)指示距视频块1/4像素的距离、第二默认偏移幅度(即，1/2像素)指示距视频块1/2像素的距离、第三默认偏移幅度(即，1像素)指示距视频块1像素的距离、第四默认偏移幅度(即，2像素)指示距视频块2像素的距离、第五默认偏移幅度(即，4像素)指示距视频块4像素的距离、第六默认偏移幅度(即，8像素)指示距视频块8像素的距离、第七默认偏移幅度(即，16像素)指示距视频块16像素的距离，第八默认偏移幅度(即，32像素)指示距视频块32像素的距离。

此外，如表19-表20中所示，第一可选偏移幅度(即，1/4像素)指示距视频块1/4像素的距离、第二可选偏移幅度(即，1/2像素)指示距视频块1/2像素的距离、第三可选偏移幅度(即，1像素)指示距视频块1像素的距离、第四可选偏移幅度(即，2像素)指示距视频块2像素的距离、第五可选偏移幅度(即，3像素)指示距视频块3像素的距离、第六可选偏移幅度(即，4像素)指示距视频块4像素的距离、第七可选偏移幅度(即，6像素)指示距视频块6像素的距离、第八可选偏移幅度(即，8像素)指示距视频块8像素的距离，第九可选偏移幅度(即，16像素)指示距视频块16像素的距离。

在一些示例中，处理器920可响应于确定控制变量等于0且指示变量等于0而进一步确定应用第一MVR偏移集合且使用第一码字表对多个默认偏移幅度进行二值化。如表19所示，将第一默认偏移幅度二值化为1，将第二默认偏移幅度二值化为10，将第三默认偏移幅度二值化为110，将第四默认偏移幅度二值化为1110，将第五默认偏移幅度二值化为11110，将第六默认偏移幅度二值化为111110，将第七默认偏移幅度二值化为1111110，并且将第八默认偏移幅度二值化为1111111。

在一些示例中，处理器920可响应于确定控制变量等于0且指示变量等于1而进一步确定应用第一MVR偏移集合且使用第二码字表对多个默认偏移幅度进行二值化。如表20所示，将第一默认偏移幅度二值化为111110，将第二默认偏移幅度二值化为1，将第三默认偏移幅度二值化为10，将第四默认偏移幅度二值化为110，将第五默认偏移幅度二值化为1110，将第六默认偏移幅度二值化为11110，将第七默认偏移幅度二值化为1111110，并且将第八默认偏移幅度二值化为1111111。

在一些示例中，处理器920可响应于确定控制变量等于1且指示变量等于0而进一步确定应用第二MVR偏移集合且使用第一码字表对多个可选偏移幅度进行二值化。如表19所示，将第一可选偏移幅度二值化为1，将第二可选偏移幅度二值化为10，将第三可选偏移幅度二值化为110，将第四可选偏移幅度二值化为1110，将第五可选偏移幅度二值化为11110，将第六可选偏移幅度二值化为111110，将第七可选偏移幅度二值化为1111110，将第八可选偏移幅度二值化为11111110，将第九可选偏移幅度二值化为11111111。

在一些示例中，处理器920可响应于确定控制变量等于1且指示变量等于1而进一步确定应用第二MVR偏移集合且使用第二码字表对多个可选偏移幅度进行二值化。如表20所示，将第一可选偏移幅度二值化为111110，将第二可选偏移幅度二值化为1，将第三可选偏移幅度二值化为10，将第四可选偏移幅度二值化为110，将第五可选偏移幅度二值化为1110，将第六可选偏移幅度二值化为11110，将第七可选偏移幅度二值化为1111110，将第八可选偏移幅度二值化为11111110，将第九可选偏移幅度二值化为11111111。

在一些示例中，处理器还可使用固定长度码字分别对第一MVR偏移集合和第二MVR偏移集合中的偏移方向进行二值化。

在一些示例中，处理器920还可接收指示MVR是否应用于第一几何分区的第一几何分区启用语法元素(例如，gpm_mvr_partIdx0_enable_flag)；响应于确定几何分区启用语法元素等于1，接收指示基于所选择的MVR偏移集合确定的第一几何分区的第一MVR偏移的方向和幅度的第一方向语法元素(例如，gpm_mvr_partIdx0_direction_idx)和第一幅度语法元素(例如，gpm_mvr_partIdx0_distance_idx)；接收指示MVR是否应用于第二几何分区的第二几何分区启用语法元素(例如，gpm_mvr_partIdx1_enable_flag)；以及响应于确定第二几何分区启用语法元素等于1，接收指示基于所选择的MVR偏移集合确定的第二几何分区的第二MVR偏移的方向和幅度的第二方向语法元素(例如，gpm_mvr_partIdx1_direction_idx)和第二幅度语法元素(例如，gpm_mvr_partIdx1_distance_idx)。

在步骤806中，处理器920可从用于第一几何分区和第二几何分区的候选列表获得第一MV和第二MV。

在步骤807中，处理器920可基于第一MV和第二MV以及第一MVR偏移和第二MVR偏移来计算第一细化MV和第二细化MV。

在步骤808中，处理器920可基于第一细化MV和第二细化MV获得视频块的预测样点。

在一些示例中，提供一种用于在GPM下对视频块进行解码的装置。该装置包括处理器920和被配置为存储可由处理器执行的指令的存储器940；其中处理器在执行指令时被配置为执行如图8所示的方法。

在一些其他示例中，提供了一种非暂态计算机可读存储介质，其具有存储在其中的指令。当指令由处理器920执行时，指令使处理器执行如图8所示的方法。

考虑到本文公开的本公开的说明书和实践，本公开的其他示例对于本领域技术人员而言将是显而易见的。本申请旨在涵盖遵循本公开的一般原理的本公开的任何变化、用途或改编，并且包括在本领域已知或常规实践内的与本公开的这种偏离。说明书和示例旨在仅被认为是示例性的。

应当理解，本公开不限于上面描述的和在附图中示出的确切示例，并且在不脱离其范围的情况下可进行各种修改和改变。

Claims (15)

1.一种在几何划分模式GPM下对视频块进行解码的方法，包括：

接收与所述视频块相关联的控制变量，其中所述控制变量实现在多个运动矢量细化MVR偏移集合之间的自适应切换，并且在编码级应用所述控制变量；

接收与所述视频块相关联的指示变量，其中所述指示变量实现多个码字表之间的自适应切换，所述多个码字表在所述编码级下对所述多个MVR偏移集合中的多个偏移幅度进行二值化；

将所述视频块划分为第一几何分区和第二几何分区；

基于所述控制变量从所述多个MVR偏移集合中选择MVR偏移集合；

接收一个或多个语法元素以使用所述指示变量从所选择的MVR偏移集合中确定被应用于所述第一几何分区和所述第二几何分区的第一MVR偏移和第二MVR偏移；

从用于所述第一几何分区和所述第二几何分区的候选列表获得第一运动矢量MV和第二MV；

基于所述第一MV和所述第二MV以及所述第一MVR偏移和所述第二MVR偏移来计算第一细化MV和第二细化MV；以及

基于所述第一细化MV和所述第二细化MV获得所述视频块的预测样点。

2.根据权利要求1所述的方法，其中所述编码级包括序列级、图片级、编码树单元级或编码块级。

3.根据权利要求1所述的方法，其中所述多个MVR偏移集合包括第一MVR偏移集合和第二MVR偏移集合，以及

其中所述第二MVR偏移集合包括所述第一MVR偏移集合的偏移幅度和MVR方向，

其中所述多个码字表包括第一码字表和第二码字表，使用所述第一码字表和所述第二码字表分别对所述第一MVR偏移集合和所述第二MVR偏移集合中的偏移幅度进行二值化。

4.根据权利要求3所述的方法，还包括：

响应于确定所述控制变量等于0，确定应用所述第一MVR偏移集合；以及

响应于确定所述控制变量等于1，确定应用所述第二MVR偏移集合。

5.根据权利要求4所述的方法，还包括：

响应于确定所述指示变量等于0，确定应用所述第一码字表；以及

响应于确定所述指示变量等于1，确定应用所述第二码字表。

6.根据权利要求5所述的方法，其中所述第一MVR偏移集合包括多个默认偏移幅度，所述多个默认偏移幅度包括：

第一默认偏移幅度，指示距所述视频块1/4像素的距离，

第二默认偏移幅度，指示距所述视频块1/2像素的距离，

第三默认偏移幅度，指示距所述视频块1像素的距离，

第四默认偏移幅度，指示距所述视频块2像素的距离，

第五默认偏移幅度，指示距所述视频块4像素的距离，

第六默认偏移幅度，指示距所述视频块8像素的距离，

第七默认偏移幅度，指示距所述视频块16像素的距离，以及

第八默认偏移幅度，指示距所述视频块32像素的距离；并且

其中所述第二MVR偏移集合包括多个可选偏移幅度，所述多个可选偏移幅度包括：

第一可选偏移幅度，指示距所述视频块1/4像素的距离，

第二可选偏移幅度，指示距所述视频块1/2像素的距离，

第三可选偏移幅度，指示距所述视频块1像素的距离，

第四可选偏移幅度，指示距所述视频块2像素的距离，

第五可选偏移幅度，指示距所述视频块3像素的距离，

第六可选偏移幅度，指示距所述视频块4像素的距离，

第七可选偏移幅度，指示距所述视频块6像素的距离，

第八可选偏移幅度，指示距所述视频块8像素的距离，以及

第九可选偏移幅度，指示距所述视频块16像素的距离。

7.根据权利要求6所述的方法，还包括：

响应于确定所述控制变量等于0并且所述指示变量等于0，确定应用所述第一MVR偏移集合并且使用所述第一码字表对所述多个默认偏移幅度进行二值化，

其中使用所述第一码字表对所述多个默认偏移幅度进行二值化包括：

将所述第一默认偏移幅度二值化为1，

将所述第二默认偏移幅度二值化为10，

将所述第三默认偏移幅度二值化为110，

将所述第四默认偏移幅度二值化为1110，

将所述第五默认偏移幅度二值化为11110，

将所述第六默认偏移幅度二值化为111110，

将所述第七默认偏移幅度二值化为1111110，并且

将所述第八默认偏移幅度二值化为1111111。

8.根据权利要求6所述的方法，还包括：

响应于确定所述控制变量等于0并且所述指示变量等于1，确定应用所述第一MVR偏移集合并且使用所述第二码字表对所述多个默认偏移幅度进行二值化，

其中使用所述第二码字表对所述多个默认偏移幅度进行二值化包括：

将所述第一默认偏移幅度二值化为111110，

将所述第二默认偏移幅度二值化为1，

将所述第三默认偏移幅度二值化为10，

将所述第四默认偏移幅度二值化为110，

将所述第五默认偏移幅度二值化为1110，

将所述第六默认偏移幅度二值化为11110，

将所述第七默认偏移幅度二值化为1111110，并且

将所述第八默认偏移幅度二值化为11111111。

9.根据权利要求6所述的方法，还包括：

响应于确定所述控制变量等于1并且所述指示变量等于0，确定应用所述第二MVR偏移集合并且使用所述第一码字表对所述多个可选偏移幅度进行二值化，

其中使用所述第一码字表对所述多个可选偏移幅度进行二值化包括：

将所述第一可选偏移幅度二值化为1，

将所述第二可选偏移幅度二值化为10，

将所述第三可选偏移幅度二值化为110，

将所述第四可选偏移幅度二值化为1110，

将所述第五可选偏移幅度二值化为11110，

将所述第六可选偏移幅度二值化为111110，

将所述第七可选偏移幅度二值化为1111110，

将所述第八可选偏移幅度二值化为11111110，并且

将所述第九可选偏移幅度二值化为11111111。

10.根据权利要求6所述的方法，还包括：

响应于确定所述控制变量等于1并且所述指示变量等于1，确定应用所述第二MVR偏移集合并且使用所述第二码字表对所述多个可选偏移幅度进行二值化，

其中使用所述第二码字表对所述多个可选偏移幅度进行二值化包括：

将所述第一可选偏移幅度二值化为111110，

将所述第二可选偏移幅度二值化为1，

将所述第三可选偏移幅度二值化为10，

将所述第四可选偏移幅度二值化为110，

将所述第五可选偏移幅度二值化为1110，

将所述第六可选偏移幅度二值化为11110，

将所述第七可选偏移幅度二值化为1111110，

将所述第八可选偏移幅度二值化为11111110，并且

将所述第九可选偏移幅度二值化为11111111。

11.根据权利要求1所述的方法，其中所述多个MVR偏移集合包括第一MVR偏移集合和第二MVR偏移集合，以及

其中使用固定长度码字分别对所述第一MVR偏移集合和所述第二MVR偏移集合中的偏移方向进行二值化。

12.根据权利要求1所述的方法，其中接收所述一个或多个语法元素以从所选择的MVR偏移集合中确定被应用于所述第一几何分区和所述第二几何分区的第一MVR偏移和第二MVR偏移包括：

接收指示MVR是否应用于所述第一几何分区的第一几何分区启用语法元素；

响应于确定所述几何分区启用语法元素等于1，接收指示基于所选择的MVR偏移集合确定的所述第一几何分区的所述第一MVR偏移的方向和幅度的第一方向语法元素和第一幅度语法元素；

接收指示MVR是否应用于所述第二几何分区的第二几何分区启用语法元素；以及

响应于确定所述第二几何分区启用语法元素等于1，接收指示基于所选择的MVR偏移集合确定的所述第二几何分区的所述第二MVR偏移的方向和幅度的第二方向语法元素和第二幅度语法元素。

13.根据权利要求12所述的方法，其中所述第一几何分区启用语法元素包括gpm_mvr_partIdx0_enable_flag；

其中所述第一方向语法元素和所述第一幅度语法元素分别包括gpm_mvr_partIdx0_direction_idx和gpm_mvr_partIdx0_distance_idx；

其中所述第二几何分区启用语法元素包括gpm_mvr_partIdx1_enable_flag；以及

其中所述第二方向语法元素和所述第二幅度语法元素分别包括gpm_mvr_partIdx1_direction_idx和gpm_mvr_partIdx1_distance_idx。

14.一种用于视频解码的装置，包括：

一个或多个处理器；以及

存储器，被配置为存储能够由所述一个或多个处理器执行的指令，

其中所述一个或多个处理器在执行所述指令时被配置为执行根据权利要求1-13中任一项所述的方法。

15.一种存储计算机可执行指令的非暂态计算机可读存储介质，所述计算机可执行指令在由一个或多个计算机处理器执行时使所述一个或多个计算机处理器执行根据权利要求1-13中任一项所述的方法。