CN113273209A

CN113273209A - Mmvd和smvd与运动和预测模型的组合

Info

Publication number: CN113273209A
Application number: CN201980083741.1A
Authority: CN
Inventors: F·莱纳内克; F·加尔平; E·弗兰科伊斯
Original assignee: InterDigital VC Holdings Inc
Current assignee: InterDigital VC Holdings Inc
Priority date: 2018-12-17
Filing date: 2019-12-16
Publication date: 2021-08-17
Also published as: WO2020131659A3; MX2021007225A; WO2020131659A2; JP2022515088A; US20220078488A1; EP3900353A2

Abstract

主要方面将运动模式(例如，合并运动向量差及对称运动向量差)扩展到简单平移模型以外的运动模型，例如，其与合并及替代时间运动向量预测模式相组合。实施例将MMVD和SMVD运动向量译码工具的使用扩展到在所提出的视频标准中支持的所有运动模型推导方法和时间预测方法，以便提高整体压缩性能。特定实施例描述了将MMVD或SMVD与仿射运动模型、ATMVP运动模型、平面运动模型、回归运动场、基于三角形分区的运动模型、GBI时间预测方法、LIC时间预测方法和多假设预测方法相组合。

Description

MMVD和SMVD与运动和预测模型的组合

技术领域

本发明的至少一个实施例主要涉及用于视频编码(encoding)或解码(decoding)、压缩或解压缩的方法或装置。

背景技术

为了实现高压缩效率，图像和视频译码(coding)方案通常采用预测(包括运动向量预测)和变换以利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间相关性，然后对原始图像与预测图像之间的差(其通常被表示为预测误差或预测残差)进行变换、量化和熵编码。为了重构所述视频，通过与所述熵编码、量化、变换和预测相对应的逆处理来对所述压缩数据进行解码。

发明内容

本发明的至少一个实施例主要涉及一种用于视频编码或解码的方法或装置，更具体地讲，涉及一种基于相邻样本相关参数模型来简化译码模式的方法或装置。

根据第一方面，提供了一种方法。该方法包括步骤：通过视频比特流中的语法，指示第一运动模式；通过在视频比特流中语法的存在，指示第二运动模式的使用，并且如果存在，则包括与所述第二运动模式相关的信息；以及使用对应于所述第一和第二运动模式的运动信息来编码视频块。

根据第二方面，提供了一种方法。所述方法包括以下步骤：针对指示第一运动模式的语法，解析视频比特流；针对指示第二运动模式的存在的语法，解析所述视频比特流，且如果存在，那么确定与所述第二运动模式相关的信息；获得对应于所述第一运动模式的运动信息；以及使用所述运动信息来解码所述块。

根据另一方面，提供了一种装置。该装置包括处理器。所述处理器可被配置以通过执行上述方法中的任意者来编码视频的块或解码比特流。

根据至少一个实施例的另一个主要方面，提供了一种设备，该设备包括：根据解码实施例中的任意者的装置；以及(i)天线，被配置成接收信号，该信号包括视频块，(ii)频带限制器，被配置成将所接收的信号限制到包括所述视频块的频带，或(iii)显示器，被配置成显示表示视频块的输出。

根据至少一个实施例的另一个主要方面，提供了一种非暂时性计算机可读介质，其包含根据所描述的编码实施例或变型中的任意者生成的数据内容。

根据至少一个实施例的另一个主要方面，提供了一种包括根据所描述的编码实施例或变型中的任意者生成的视频数据的信号。

根据至少一个实施例的另一个主要方面，比特流被格式化为包括根据所描述的编码实施例或变型中的任意者所生成的数据内容。

根据至少一个实施例的另一个主要方面，提供了一种包括指令的计算机程序产品，当计算机执行该程序时，该指令使计算机执行所描述的解码实施例或变型中的任意者。

从以下结合附图阅读的示例性实施例的详细描述中，所述主要方面的这些和其它方面、特征和优点将变得显而易见。

附图说明

图1示出了用于表示压缩HEVC图片的译码树单元和译码树概念的示例。

图2示出了将译码树单元划分为译码单元、预测单元和变换单元的示例。

图3示出了标准的、通用的视频压缩方案。

图4示出了标准的、通用的视频解压缩方案。

图5示出了当前方案中的解码过程的简化框图。

图6示出了在双向预测模式情况下的MMVD图示。

图7示出了SMVD(对称运动向量差)的示例。

图8示出了用于译码单元的ATMVP运动预测的示例。

图9示出了联合探索模型和VTM中使用的简单仿射模型的示例。

图10示出了基于4×4子CU的仿射运动向量场的示例。

图11示出了仿射帧间译码的译码单元的运动向量预测过程的示例。

图12示出了仿射合并模式中的运动向量预测候选。

图13示出了在仿射合并的情况下仿射运动场控制点的空间推导。

图14示出了示例平面运动向量预测过程。

图15示出了基于回归的运动向量场构造。

图16示出了将译码单元划分成两个三角形预测单元(PU)的示例。

图17示出了非矩形分区和相关的OBMC对角加权。

图18示出了如何从(a)相邻重构样本和(b)对应的共位(collocated)参考样本导出LIC参数的示例。

图19示出了用于导出IC参数的相邻样本的示例。

图20示出了在计算非子块STMVP合并候选时考虑的空间位置。

图21示出了当MMVD和双向预测被组合时的运动向量解码过程的简化框图。

图22示出了CPR限制的示例。

图23示出了在MMVD模式下对CPR MV应用限制。

图24示出了ATMVP情况下的MMVD模式适配。

图25示出了使用MMVD的仿射运动生成过程的第一版本的简化框图。

图26示出了使用MMVD的仿射运动产生过程的第二版本的简化框图。

图27示出了基于用于所考虑的仿射运动场的第一CPMV的MVD索引的差分MVD的允许量值的限制。

图28示出了与MMVD相结合的平面MVP模式的示例。

图29示出了使用MMVD的PMVD运动生成过程的第一版本的简化框图。

图30示出了使用MMVD的PMVD运动生成过程的第二版本的简化框图。

图31示出了使用MMVD的PMVD运动生成过程的第三版本的简化框图。

图32示出了基于回归的运动向量场构造。

图33示出了使用SMVD的仿射运动生成过程的一个版本的简化框图。

图34示出了用于所描述方面的用于编码和解码的基于处理器的系统。

图35示出了根据主要描述的方面进行编码的方法的一个实施例。

图36示出了根据主要描述的方面进行解码的方法的一个实施例。

图37示出了根据主要描述的方面的装置的一个实施例。

具体实施方式

这里描述的实施例属于视频压缩领域，并且主要涉及视频压缩以及视频编码和解码。所描述的主要方面旨在提供一种机制，以操作高级视频译码语法或视频译码语义中的限制，以约束工具组合的可能集合。

为了实现高压缩效率，图像和视频译码方案通常采用预测(包括运动向量预测)以及变换以利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间相关性，然后对通常表示为预测误差或预测残差的原始图像与预测图像之间的差异进行变换、量化和熵译码。为了重构所述视频，通过与熵译码、量化、变换和预测相对应的逆处理来对压缩数据进行解码。

在HEVC(高效视频译码，ISO/IEC23008-2，ITU-TH.265)视频压缩标准中，采用运动补偿时间预测来利用存在于视频的连续图片之间的冗余。

为此，将运动向量与每一预测单元(PU)相关联。每个译码树单元(CTU)由压缩域中的译码树表示。这是CTU的四叉树划分，其中每个叶被称为译码单元(CU)，如图1中所示。

然后，每个CU被给予一些帧内或帧间预测参数(预测信息)。为此，将其空间地分区成一个或多个预测单元(PU)，每个PU被指派一些预测信息。如图2中，在CU层级上指派帧内或帧间译码模式。

确切地，一个运动向量被指派给HEVC中的每个PU。该运动向量用于所考虑的PU的运动补偿时间预测。因此，在HEVC中，链接预测块及其参考块的运动模型简单地包括平移。

HEVC中采用两种模式来编码所述运动数据。它们分别被称为AMVP(自适应运动向量预测)和合并(Merge)。

AMVP基本上在于用信号发送用于预测当前PU的参考图片(一个或多个)、运动向量预测值(Predictor)索引(在具有2个预测值的列表中取得)和运动向量差。本文涉及合并模式，因此在下文中不涉及AMVP。

所述合并模式在于对在运动数据预测值的列表中收集的一些运动数据的索引进行信号发送和解码。该列表由5个候选组成，并且在解码器和编码侧以相同的方式被构造。因此，所述合并模式旨在导出从所述合并列表中取得的一些运动信息。所述合并列表通常包含与一些空间和时间周围块相关联的运动信息，当当前PU正在被处理时，这些块在它们的解码状态中可用。

在VTM-3(VVC草案3)中，采用了一种新型的运动向量译码，其被称为MMVD(Mergewith Motion Vector Difference，合并运动向量差)。MMVD模式基本上在于引入某一运动向量差，将其添加到某一经典合并候选，以产生待编码或解码的块的某一运动信息。

MMVD提高了VVC译码系统的译码效率。然而，已经观察到，在VVC草案3中，MMVD工具仅应用于通常的平移合并模式。可能感兴趣的是将MMVD工具与一些其它帧间译码模式组合，尤其是包含在VVC编码系统中的一些其它运动向量(或在基于子块的运动场的情况下的运动模型)生成工具。

另一种针对VVC标准化提出的运动向量译码工具是所谓的对称运动向量译码(SMVD)。与MMVD一样，SMVD是一种提高运动向量译码效率的新模式。它在AMVP模式中被提出。然而，SMVD仅应用于平移AMVP的情况。如同对于MMVD那样，将其扩展到简单平移模型之外的一些运动模型可能是有益的。

在用于新的视频压缩标准的JVET(联合视频探索组)提议(称为联合探索模型(JEM))中，由于高压缩性能，已经提出接受四叉树-二叉树(QTBT)块分区结构。通过在中间水平或垂直地分区二叉树(BT)中的块，可以将其分区成两个相等大小的子块。因此，BT块可以具有宽度和高度不相等的矩形形状，这与QT中的块不同，QT中的块总是具有高度和宽度相等的正方形形状。在HEVC中，在180°角上从45°到-135°定义角度帧内预测方向，并且它们已经被保持在JEM中，JEM已经使得角度方向的定义独立于目标块形状。

为了编码这些块，使用帧内预测来使用先前重构的相邻样本提供关于所述块的估计版本。然后，对源块和预测之间的差进行编码。在上述经典编解码器中，在当前块的左边和顶部使用单行参考样本。

在HEVC(高效视频译码，H.265)中，视频序列的帧的编码是基于四叉树(QT)块分区结构的。帧被划分为正方形译码树单元(CTU)，所述CTU全部基于速率失真(RD)标准而经历基于四叉树的划分而被划分为多个译码单元(CU)。每一CU是帧内预测的(即，其是从因果相邻CU而被空间预测的)或帧间预测的(即，其是从已解码的参考帧而被时间预测的)。在I切片中，所有CU都是帧内预测的，而在P切片和B切片中，CU都可以是帧内或帧间预测的。对于帧内预测，HEVC定义了35个预测模式，其包含一个平面模式(索引为模式0)、一个DC模式(索引为模式1)和33个角度模式(索引为模式2到34)。该角度模式与顺时针方向上的范围从45度到-135度的预测方向相关联。由于HEVC支持四叉树(QT)块分区结构，所以所有预测单元(PU)具有正方形形状。因此，从PU(预测单元)形状的角度来看，从45度到-135度的预测角度的定义是合理的。对于大小为N×N个像素的目标预测单元，顶部参考阵列和左侧参考阵列各自具有大小为2N+1个样本，这是覆盖所有目标像素的上述角度范围所需要的。考虑到PU的高度和宽度具有相等长度，两个参考阵列的长度相等也是有意义的。

本发明属于视频压缩领域。其目的在于与现有视频压缩系统相比，改进帧间译码块中的双向预测。本发明还提出了为帧间切片，分离亮度译码树和色度译码树。

在HEVC视频压缩标准中，图片被分成所谓的译码树单元(CTU)，其大小通常为64×64、128×128或256×256像素。每个CTU由压缩域中的译码树表示。这是CTU的四叉树划分，其中每个叶被称为译码单元(CU)。

然后，每个CU被给予一些帧内或帧间预测参数(预测信息)。为此，将其空间地分区成一个或多个预测单元(PU)，每个PU被指派一些预测信息。在CU层级上指派帧内或帧间译码模式。

为了在压缩域中以更灵活的方式表示图片数据，提出了新出现的视频压缩工具，其包括压缩域中的译码树单元表示。译码树的这种更灵活表示的优点在于，与HEVC标准的CU/PU/TU布置相比，其提供了增加的压缩效率。

所述四叉树加二叉树(QTBT)译码工具提供了这种增加的灵活性。它在于译码树，其中译码单元可以被划分成四叉树和二叉树形式。示出了译码树单元的这种译码树表示。

译码单元的划分在编码器侧通过速率失真优化过程来决定，该过程包括以最小速率失真成本来确定CTU的QTBT表示。

在QTBT技术中，CU具有正方形或矩形形状。译码单元的大小总是2的幂，并且通常从4到128。

除了译码单元的这种矩形形状之外，与HEVC相比，这种新的CTU表示具有以下不同的特性。

CTU的QTBT分解由两个阶段组成：首先，CTU以四叉树方式被划分，然后，每个四叉树叶可以进一步以二叉树方式被划分。

本发明解决的一个问题是如何将MMVD和SMVD运动向量译码工具的使用扩展到当前提出的视频标准中支持的所有运动模型推导方法和时间预测方法，以便提高这些提出的标准的整体压缩性能。

本公开的基本原理由两个方面构成：

–将MMVD运动向量编码的使用扩展了到用于VVC草案3中支持所有运动模型和/或时间预测方法、以及被提议用于VVC标准化过程的其它运动模型。具体来说，在本发明中，描述了如何将MMVD与仿射运动模型、ATMVP运动模型、平面运动模型、回归运动场、基于三角形分区的运动模型、GBI时间预测方法、LIC时间预测方法和多假设预测方法相组合。还提供了在双向预测情况下MMVD的丰富使用。

–将SMVD运动向量译码工具的使用扩展到VVC草案3中支持的所有运动模型和/或时间预测方法、以及其它被提议用于VVC标准化过程的运动模型生成器。具体来说，在本发明中，描述了如何将SMVD与仿射运动模型、ATMVP运动模型、平面运动模型、回归运动场、基于三角形分区的运动模型、GBI时间预测方法、LIC时间预测方法和多假设预测方法相组合。

在正在开发的VVC视频标准中，支持或正在提出多个帧间预测模式。

图5描绘了VVC草案的版本3中的帧间解码过程的简化框图。该过程开始于基于MV候选列表(1001)的构造来推导MV预测值(mvp)，其可以根据用于译码CU或PU的帧间模式而不同。

步骤1002是运动向量差(MVd)解码步骤。所解码的MVd将被用于通过将其与在先前步骤(1001)获得的运动向量预测值相加来重构所考虑的CU/PU的运动向量(一个或多个)。

下一步骤1003在于从由两个先前步骤发出的运动向量值，导出运动模型。该模型可以是简单的平移模型或更复杂的模型，如稍后将描述的。

在步骤1004中，针对一个参考图像，使用所解码的MV来执行对CU中的样本的预测，并且在双向预测模式的情况下，对另一个参考图像执行步骤1005。在步骤1006中，针对一个参考图片，进一步细化(refine)所述预测信号，并且在双向预测模式的情况下，在步骤1007中，针对另一参考图片进一步细化所述预测信号。当适用时，在步骤1008中实现关于以下的组合：双向预测、或混合帧内/帧间预测、或针对CU内PU。在步骤1009中执行所述预测信号的最终细化步骤。

图5还示出了应用于VTM3中这些不同步骤的不同模式。以该(*)表示的工具相当于正被提出来采用但在VVC草案3阶段未采用的工具。

在帧间，使用了用于导出MV的两种基本模式：合并和AMVP。在两种情况下，都导出MV候选列表。这个推导过程对于这两个模式通常是不同的，并且甚至对于给定的模式，根据应用于CU的其它设置(例如，合并或AMVP，平移或仿射模型)来应用变型。

在合并模式中，用信号通知预测值索引以获取合并候选列表中的MV。另外，在不应用跳过模式的情况下，用信号发送样本预测残差。在AMVP模式中，针对每一参考图片(在单向预测的情况下为1个参考图片，在双向预测的情况下为2个参考图片)，用信号发送参考帧索引、预测值索引和运动向量差(mvd)。另外，用信号发送样本预测残差。

表1提供了当前VTM中的不同候选列表的内容的概述。

表1.所述不同MV候选列表中的候选的概述

在下表中提供了本发明中考虑的帧间模式的概要，其中具有关于性能的某个指示性数字(在随机访问配置中，对于psnrY，以百分比表示比特率变化)。

工具	描述	性能
			affine	仿射运动模型	-3.8
atmvp	替代时间运动向量预测	-0.7
			bio	双向光流	-1.3
cpr	MV参考当前图片	特定屏幕内容
			gbi	广义双预测	-0.7
lic	局部照度补偿	-0.5
			mh	组合了多假设的合并/帧间	-0.5
mmvd	合并MVD，又称终极MV表示	-1.3
			平面	基于平面模型的每子块的Mv场	-0.6
rmvf	基于回归模型的每子块的Mv场	-0.7
			smvd	对称mvd，在双向预测中仅译码1个mvd	-0.6
三角形	三角形分区	-0.6

以下子部分提供关于所考虑的帧间模式的更多细节，其中语法元素与这些模式或工具相关联。

在此描述的主要方面集中在图5的“Mvd导出”和“模型导出”步骤。本发明的目的是将MMVD和SMVD运动向量译码工具的使用扩展到简单平移运动模型之外的运动模型。

MMVD运动向量差译码工具描述

MMVD仅应用于合并模式。其使用合并候选列表。标志“mmvd_skip”指示MMVD模式是否适用。当该模式适用时，MV差(mmvd)被建立为：

–用信号发送语法元素(这里记为mmvd_idx)以构建校正MV mmvd，

该语法元素包括以下信息：

○基础MV索引，由所述编码器在所述两个第一平移合并候选中选择。

○记为mmvd_dir_idx的索引，其与(x，y)坐标系中与方向D有关(当前为4)(指定了具有4个元素{(0,1),(1,0),(-1,0),(0,-1)}的表dir[])

○记为mmvd_dist_idx的索引，其与距基础MV的距离步长S有关(在具有8个元素{1/4-pel,1/2-pel,1-pel,2-pel,4-pel,8-pel,16-pel,32-pel}的表格dist[]的规范的情况下，目前可能达到8个距离)

当应用MMVD模式时，MV差被计算为

refinementMV＝dir[mmvd_dir_idx]*dist[mmvd_dist_idx]

即使在双向预测中对CU进行译码，也用信号发送一个单个MV差。在双向预测的情况下，从单个译码的MV中获得两个对称的MV差。当预测图片和参考图片之间的时间距离在参考图片列表L0和L1之间不同时，所解码的mmvd被指派给与最大时间距离相关联的MV差(mvd)。与最小距离相关联的mvd被作为POC距离的函数进行缩放。

例如，考虑参考图片k(k＝0或1)是最接近当前图片的情况。让我们定义kk＝1-k，POCref_0、POCref_1和POCcur分别为参考图片0、参考图片1和当前图片的图片顺序计数。如下导出缩放因子：

sc＝(POCref_kk–POCcur)/(POCref_k–POCcur)

然后，如下导出每个参考图片的细化MV：

refinementMV_k＝refinementMV

refinementMV_kk＝sc*refinementMV

在VVC草案3中，MMVD仅应用于平移运动模型。

在JVET-L0370中提出的对称MVD

对称MVD(SMVD)工具正在考虑用于VVC。其原理是在双向预测的情况下，在CU的运动信息由两个对称的前向和后向运动向量差构成的约束下，对一些运动向量信息进行编码。SMVD模式仅应用于VVC草案3中的AMVP。

在这种约束下的CU的译码(称为SMVD模式)通过CU级标志symmetrical_mvd_flag来发信号通知。

如果SMVD模式可行，即，如果CU的预测模式是双向预测且CU的两个参考图片被如下发现，那么译码此标志：

–分别在(L0和L1)或(L1和L0)参考图片列表中搜索当前CU的参考图片作为最接近的前向和后向参考图片。如果没有找到，所述SMVD模式是不适用的，并且symmetrical_mvd_flag被省略。

如果symmetrical_mvd_flag被用信号通知且等于真，那么：

–为L0参考图片发信号通知一个mvd，并且作为对称，导出另一参考图片列表的mvd，即与所述第一个相反，。

–如在经典AMVP模式中一样，用信号发送2个MV预测值索引(每个参考图片列表一个)。

VVC草案3中支持的或向VVC提出的运动模型

平移式模型(VVC草案3)

默认地，CU中的运动是基于应用于块中的所有样本的平移MV。

ATMVP(VVC草案3)

在图8所示的替代(高级)时间运动向量预测(ATMVP)方法中，从当前CU的参考图片(一个或多个)检索该当前CU的一个或几个时间运动向量预测值。

首先，所谓的时间运动向量和相关联的参考图片索引被获取作为与当前CU的通常合并候选列表中的第一候选相关联的运动数据。

接着，目前CU被分成N×N个子CU，N通常等于4。如图8所示，对于每个N×N子块(子CU)，所述运动向量(一个或多个)和参考图片索引(一个或多个)在与时间MV相关的参考图片中，在时间运动向量的帮助下被识别。考虑由所述时间MV自当前子CU位置指向的参考图片中的NxN子块。其运动数据被用作当前子CU的ATMVP运动数据预测。接着通过适当的运动向量缩放，将其转换为当前子CU的运动向量和参考图片索引。

注意，在VVC草案3中，ATMVP运动信息预测值是基于子块的合并候选列表的一部分。

仿射运动模型(VVC草案3)

在VVC中引入的新运动模型之一是仿射模式，其基本上在于使用仿射运动场来表示CU中的运动向量。

图9示出了用于2或3个控制点运动向量(以下也称为控制点)的所使用的运动模型。基于2个控制点的4参数仿射运动场包括所考虑的块内的每个位置(x，y)的以下运动向量分量值：

等式1：用于在CU内产生运动场以进行预测的仿射模型

其中(v_0x，v_0y)和(v_1x，v_1y)是用于产生所述仿射运动场的所谓控制点运动向量(CPMV)。(v_0x，v_0y)是左上角控制点运动向量。(v_1x，v_1y)是右上角控制点运动向量。如JVET-J0021中所述，从3个CPMV产生的6参数仿射场也是可能的。

实际上，为了保持合理的复杂度，仿射运动是在4×4子块的基础上管理的，即，相同的运动向量用于所考虑的CU的每个4×4子块(子CU)中的每个样本(参见图10)。在每个子块的中心位置处，根据所述CPMV计算仿射运动向量。获得的MV以1/16-pel精度表示。

结果，通过利用其自身的MV对每个4×4子块(子CU)进行运动补偿来对整个块(CU)进行时间预测。仿射运动补偿可以以2种方式用于VTM中：仿射帧间(AF_INTER)和仿射合并(或合并仿射)，如下所述。

-仿射间距(AF INTER)

可在仿射帧间模式中预测AMVP模式中的CU，其大小大于8x8。这是通过在CU层级处译码的标志inter_affine_flag来用信号发送。用于所述帧间CU的仿射运动场的产生包含：确定控制点运动向量(CPMV)，其由解码器通过运动向量差加控制点运动向量预测(CPMVP)的相加而获得。所述CPMVP是一对(对于具有2CPMV的4参数仿射模型)或三个(对于具有3CPMV的6参数仿射模型)运动向量候选，其可从仿射相邻者被继承(如在仿射合并模式中那样)或从分别取自图11上所说明的列表(A，B，C)和(D，E)和/或(F，G)的非仿射运动向量来构造。这对应于表1中所提及的“虚拟候选”。

-仿射合并

在仿射合并模式中，CU层级标志指示了合并模式中的CU是否采用仿射运动补偿。如果是，那么在JEM(JVC之前由JVET开发的探索性参考软件)中，在图12的候选位置(A，B，C，D，E)有序列表中选择已在仿射模式中被译码的第一可用相邻CU。

一旦获得仿射模式下的第一相邻CU，那么检索来自相邻CU的左上角、右上角和左下角的3个运动向量

和

(参见图13)。基于这三个向量，当前CU的左上角、右上角和/或左下角的两个或三个CPMV被导出如下：

○

○

○

方程式2：基于相邻CU的三个角落运动向量，推导当前CU的CPMV

当获得了当前CU的控制点运动向量

和/或

时，通过等式1的模型，基于4×4子CU计算当前CU内的运动场。

在并行应用中，考虑了仿射合并模式的更多候选。在编码器处，接着通过速率失真优化过程选择最佳候选，且通过merge_idx语法元素将此最佳候选的索引译码于比特流中。

与继承候选相反，放入仿射合并候选列表中的下一仿射候选是“构造的”(或“虚拟的”)仿射模型候选。所构造的候选是仿射运动场，该仿射运动场是基于当前CU周围的可用相邻运动向量(包括来自未以仿射模式译码的相邻CU的运动向量)来计算的。导出2或3个相邻MV，且将其用于产生当前CU的候选仿射运动场。

用于构造仿射合并候选的所述相邻MV包括若干空间MVP和一个时间MVP。

平面运动模型(JVET-L0070中提出)

在JVET-L0070中，提出了平面运动向量预测(PMVP)作为VVC编解码器设计的附加合并模式。图14所示的平面运动向量预测是通过如下在4×4块的基础上对水平和垂直线性内插进行平均来实现的。这些线性内插是从位于CU的拐角(AR、AL、BL)上的产生器MV执行的。其原理在图14中示出。

P(x，y)＝(H×P_h(x，.y)+W×P_v(x，.y)+H×W)/(2×H×W)

回归MVF(RMVF)模型

JVET-L0171中，基于回归的运动向量预测正被提出作为VVC编解码器设计的附加合并模式。

图15所示的基于回归的运动向量场(RMVF)包括以下内容。RMVF的原理是使用6参数运动模型来计算子块的运动向量。

基于一列和一行空间相邻的4×4子块，使用它们的运动向量和中心位置作为线性回归方法的输入来计算运动参数。

基于三角形分区的运动模型

在VVC草案3中采用了三角形运动分区工具。它允许在将块分区为2个预测单元时的灵活性，如图16所示。基本上，CU在对角或逆对角方向上被分为2个三角形预测单元。每一三角形PU通过使用从专用的单向预测候选列表导出的其自身的单向预测运动向量和参考图片而被帧间预测。

在预测所述三角形预测单元之后，对对角边缘执行自适应加权过程(见图17)。然后，将变换和量化处理应用于整个CU。三角形PU模式仅应用于跳过模式和合并模式。

局部照度补偿(LIC)

LIC的目的是补偿可能在预测块与通过运动补偿(MC)时间预测而采用的其参考块之间发生的照度改变。在该工具中，解码器基于定位在当前块的左列和/或顶行上的一些重构图片样本以及定位在运动补偿块的左列和/或顶行上的参考图片样本来计算一些预测参数(图18a)。

在另一方法中，可以使用相邻左/上重构块的预测样本(图18b)。

在双向预测的情况下，LIC的变型(“bi-dir-IC”)在于估计两个当前参考块之间的照度变化，以导出当前块的IC参数。

选择LIC参数以便最小化Vcur中的样本与Vref(MV)中的校正样本之间的均方误差差异(MSE)。通常，LIC模型是线性的：LIC(x)＝a.x+b。

s和r分别对应于图19所示的Vcur和Vref(MV)中的像素位置。

结果，当LIC用于时间预测时，线性LIC模型被应用于运动补偿块上，以提供当前块的时间预测。

广义双向预测(GBI)

在VVC草案3中采用了GBI。它在双向预测模式中对来自L0和L1的预测值应用不相等的权重。在帧间预测模式中，基于速率失真优化(RDO)来评估包含相等权重对(1/2、1/2)的多个权重对，且将选定权重对的GBI索引用信号发送到解码器。

在AMVP模式中，在CU层级用信号发送携载GBI权重信息的GBI索引。

在合并模式中，从相邻CU继承所述GBI索引。以GBI模式预测的块被计算如下：

P_GBi＝(w₀*P_L0+w₁*P_L1)

其中w₀和w₁是所选择的GBI权重。所支持的w₁值通常是{-1/4，3/8，1/2，5/8，5/4}。w₁和w₀之和等于1，则相应的w₀值是{5/4，5/8，1/2，3/8，-1/4}。在CU级选择并用信号发送所述权重对。

对于非低延迟图片，减少了权重的数量。w₁和w₀值分别为{3/8，1/2，5/8}和{5/8，1/2，3/8}。

1.1.1非子块时空合并运动向量预测值(STMVP)

本部分描述了现有技术方法JVET-L0354，以生成被称为STMVP的时空合并候选。该方法基本上在于检索当前PU的两个顶部和左侧空间相邻运动向量、以及当前CU的时间运动向量预测值。

空间相邻者取自图20中所示的称为Afar的空间位置。Afar相对于当前PU的左上位置的空间位置由坐标(nbPW*2，-1)给出。这里nbPW是当前块的宽度。如果在位置Afar没有运动向量可用(不存在或帧内编码)，则认为位置B1是当前块的顶部相邻运动向量。

左相邻块的选择是类似的。如果可以，则选择在相对空间位置(-1，2*nbPH)处的相邻运动向量，记为Lfar。nbPH是当前块的高度。如果不可用，则选择位置A1(-1，nbPH-1)处的左相邻运动向量，如果它可用的话。

接下来，如在HEVC的时间运动向量预测中一样，导出当前块中的TMVP预测值。

最后，当前块的STMVP合并候选被计算为高达3个获得的空间和时间相邻运动向量的平均值。因此，与JEM中STMVP的基于子块的方法相反，这里STMVP候选由每个参考图片列表最多一个运动向量构成。例如，在JVET-L0207中提出了JVET-L0354的方法的一些变型。

用于扩展MMVD的使用的建议实施例

MMVD和双向预测的组合

在当前MMVD设计中，即使在双向预测的情况下，也用信号通知由方向索引和距离索引构成的一个单独的MMVD数据集合。

实施例1-用于两个参考图片的mmvd数据的帧间相关信令

在实施例中，当CU在双向预测(bipred)模式中编码并且对于该CU启用MMVD模式时，用信号发送两组mmvd数据，2MMVD中的每一个对应一组，应用于参考图片中的每一个(来自列表L0和L1)。此外，第二组MMVD数据可以从第一组MMVD数据中导出，具有各种可能的选择。

这在图21的简化框图中示出。在步骤1101中，对第一参考图片解码mmvd数据。如果双向预测应用(步骤1102的检查)，则有条件地针对第一参考图片的mmvd数据，对第二参考图片的mmvd数据进行解码(步骤1103)。然后在步骤1104中，从第一和第二参考图片的mmvd数据中导出双向预测MV。如果不应用双向预测(步骤1102的检查)，则在步骤1105中从第一参考图片的mmvd数据导出单向预测MV。

实施例1-选项1-第2参考图片的mmvd的推断方向

在一个选项中，仅针对两个mmvd(mmvd0_dist_idx和mmvd1_dist_idx)译码距离索引。第二mmvd的方向是从第一mmvd(mmvd0_dir_idx)的方向推导出的。如果两个参考图片都位于与当前图片相关的相同时间侧，则mmvd1_dir_idx被设置为等于mmvd0_dir_idx。如果参考图片位于当前图片的两个时间侧，则mmvd1_dir_idx被设置为等于-mmvd0_dir_idx。

下面描述相关简化语法的示例。

实施例1-选项2-第2参考图片的mmvd的距离的差分译码

在另一选项中，将第二参考图片的距离译码为与第一参考图片的距离的差。对应于与mmvdd1_dist_idx的差的索引mmvdd1_dist_idx被译码。

下面描述相关简化语法的示例。

细化MV0的距离被计算为：

distMV0＝dist[mmvd0_dist_idx]

并且细化MV1的距离被计算为：

distMV1＝distMV0+dist[mmvdd1_dist_idx]

实施例1-选项3-第2参考图片的mmvd的可能距离值的限制

在一个实施例中，第二距离(是由mmvd1_dist_idx发信号通知的距离，或者是如选项2中由mmvdd1_dist_idx发信号通知的距离差)的最大值与mmvd0_dist_idx中的一个值相比被减小。让我们考虑对于mmvd0_dist_idx，使用N个可能的距离(例如8，dist[]＝{1/4-pel，1/2-pel，1-pel，2-pel，4-pel，8-pel，16-pel，32-pel})。对于mmvdd1_dist_idx，仅可使用dist[]的前N’个值，其中N’＜N。

考虑以下变型：

-N′是从N计算的(例如，N′＝N/2)

-N′是从mmvd0_dist_idx的值计算的(例如，N’＝mmvd0_dist_idx或N’

＝mmvd0_dist_idx/2)

-N′取决于缩放参数“sc”(如在MMVD译码工具描述部分中所描述的)的值。例如，N’＝sc*N

MMVD-CPR组合

在一个实施例中，当应用CPR(当前图片参考)模式时，启用MMVD模式，其具有CPR特定的适配。

用于CPR的MV参考当前图片。在VVC草案3中规定了限制，以将MV限制为指向接近当前CU的受限区域内，以便限制存储器存储需求。在当前VTM中，所述受限区域由包含当前CU的CTU组成，如图22所示。CPR MV的其它限制是它具有整数精度。

实施例2a-对CPR的整数精确度的mmvd限制

在一个实施例中，mmvd的启用距离被限制为与CPR的启用MV精确度兼容的那些距离。例如，在当前VTM中，CPR MV精确度是整数，本发明考虑到当CPR模式被使用时，mmvd的距离在以下集合中：

{1-pel，2-pel，4-pel，8-pel，16-pel，32-pel}

而不是mmvd通常使用的全集：

dist[]＝{1/4-pel，1/2-pel，1-pel，2-pel，4-pel，8-pel，16-pel，32-pel}

在CPR情况下mmvd_dist_idx的最大值N′(例如5)小于mmvd_dist_idx的最大值N(例如8)。

在实施例中，使用如下应用于mmvd_dist_idx的偏移来实现该解决方案：

-如果MMVD模式被应用

○如果CPR模式被应用

■distMV＝dist[mmvd_dist_idx+offset]

○否则

■distMV＝dist[mmvd_dist_idx]

为了限制整数精度，offset等于2。

实施例2b-针对CPR的mmvd最大值的限制

在实施例中，与常规mmvd使用相比，在激活CPR模式的情况下，减少了mmvd的最大距离。例如，在当前VTM中，CPR MV精确度是整数，本发明考虑到当CPR模式被激活时mmvd的距离在以下集合中：

{1-pel，2-pel，4-pel，8-pel}

而不是mmvd通常使用的全集：

dist[]＝{1/4-pel，1/2-pel，1-pel，2-pel，4-pel，8-pel，16-pel，32-pel}

在CPR情况下mmvd_dist_idx的最大值N′(例如3)小于mmvd_dist_idx的最大值N(例如8)。

实施例2c-，针对CPR，裁切来自mmvd的MV

在一个实施例中，剪切从mmvd细化得到的MV，以便用于预测的运动补偿块停留在所述受限区域内。基本过程在图23中示出。

实施例3：MMVD和ATMVP的组合

实施例3.1-MMVD与基于子块的模式ATMVP结合使用

在VVC草案3中，MMVD仅应用于通常的平移合并模式。因此，当针对给定CU激活基于子块的合并模式时，不使用MMVD。

根据该实施例3，当子块合并模式被激活时，可以使用MMVD运动向量表示工具。特别地，MMVD可以与ATMVP运动向量预测模式结合使用。

当merge_flag语法指示当前CU使用合并模式时，以与VVC草案3中相同的方式发信号通知MMVD的使用。此外，指示基于子块的合并模式的使用的标志subblock_merge_flag被译码，而不管指示MMVD用于当前块的语法元素mmvd_merge_flag的值如何。

根据第一子实施例3.0，仿射模式是不允许与MMVD结合的。因此，如果mmvd_merge_flag是开启，则推断所使用的合并模式是ATMVP模式。因此，从所译码的比特流中省略merge_idx语法元素。

根据另一个子实施例，仿射模式是允许与MMVD结合的。因此，merge_idx语法元素如当前在VVC草案3中所做的那样被译码。

实施例3.2-mmvd用作ATMVP的继承子块MV的细化

在一个实施例中，当选择ATMVP候选，并且启用MMVD时，mmvd细化应用于为每个子块继承的所有MV。该过程在图24的简化框图中示出。在第一步中，对mmv数据进行解码。在下一步骤中，识别全局ATMVP MV。接着，对于CU的每一子块，提取来自由全局MV在参考图片中识别的对应子块的运动数据。这些运动数据使用mmvd数据而被细化，类似于传统的MMVD细化过程。

实施例4：MMVD和仿射模式的组合

根据一个实施例，MMVD与仿射模式结合使用。在该实施例中可以应用若干变型。它们被列于下面。

为所有CPMV译码的一个单个mmvd

-根据第一变型，对单个运动向量差mmvd进行译码并将其应用于用于生成仿射运动场的所有CPMV。这导致将恒定运动向量添加到整个仿射运动模型。这在以下描述的当MMVD模式被激活时仿射运动场产生过程的简化解码框图的图中被说明。

○在双向仿射预测的情况下，使用与平移情况下相同的对称运动向量差概念。

为每个CPMV译码的mmvd数据

-根据第二变型，允许每CPMV一个运动向量差mmvd，这增加了生成候选仿射运动场的灵活性。MMVD的常规MMVD编码可以用于第一CPMV。接下来，对于第二和第三CPMV，可以在与第一CPMV相关联的mmvd之上译码差分运动向量差(mmvdd)。这种方法的优点是限制mmvd信令的速率开销，同时允许MMVD应用对仿射模式的某些灵活性。下面在对3个仿射CPMV的mmvd信息进行译码的情况下描述了相关简化语法的示例。根据本实施例，可将差分运动向量差(一个或多个)的量值限制为小于第一CPMV的mmvd的值(例如，限于dist[]＝{1/4-pel，1/2-pel，1-pel}，而值的全集可为dist[]＝{1/4-pel，1/2-pel，1-pel，2-pel，4-pel，8-pel，16-pel，32-pel})。该过程在以下描述当MMVD模式被激活时仿射运动场产生过程的简化解码框图的图中被说明。

-根据一些变型，在差分mmvd的译码中，根据与第一CPMV的mmvd相关联的距离索引来限制允许量值的范围。例如，mmvd1_dist_idx以及当可应用时的mmvd2_dist_idx被限制为低于mmvd0_dist_idx。如图27示例性示出的，可以限制第二mmvd在水平和垂直方向的允许范围。

-根据另一变型，相同的方向索引用于所有mmvd，因此可针对第二和第三CPMV仅译码距离信息。下面在对3个仿射CPMV的mmvd信息进行译码的情况下描述了相关简化语法的示例。

通过移除虚拟候选来限制仿射合并候选列表

-根据另一变型，由于用于仿射的MMVD模式在仿射合并候选集合中带来一些分集，所以与VVC草案3的仿射合并列表相比，仿射合并候选的仿射列表被减小，从而导致简化的整体编解码器设计。举例来说，在实施例中，从仿射合并列表抑制一些构造(虚拟)仿射模型候选。在实施例中，从仿射合并列表中抑制所有构造(虚拟)仿射模型候选，并且仿射合并列表仅由继承的仿射候选组成。

基于第1mmvd的距离值而约束第2(和第3)mmvd的距离值

-根据附加特性，对于第二CPMV和第三CPMV(当其应用时)，mmvd相对于第一CPMV的mmvd的差分译码(运动向量差)包括对差分运动向量差(dist[]＝{0-pel，1/4-pel，...})的距离值0进行译码/解码的可能性。实际上，在仅应用于平移运动情况的现有MMVD中，不支持等于0的距离，因为它将提供与通常的合并预测冗余的MV预测值。

在双向仿射的情况下，对仿射模型参数施加对称约束

-根据另一特征，在双向仿射的情况下，作为第一mmvd(附着于第一参考图片)的函数的第二mmvd(附着于第二参考图片)的推导使用对称约束，类似于在平移情况下施加的两个双向预测mmvd之间的对称约束。为此，几种方法是可能的。

○在一种第一方法中，与第二参考图片列表相关联的mmvd是直接从与第一参考图片列表相关联的mmvd中推导出的。例如，通过缩放第一mmvd来导出第二mmvd，该缩放考虑了参考图片和当前图片之间的时间距离。

○在另一方法中，从和第一参考图片相关联的仿射模型的MVD推断出和第二参考图片列表相关联的仿射模型的MVD，这通过施加仿射模型参数(其通常链接到角度和缩放因子)与和第一参考图片相关联的仿射模型的MVD相比是对称的而进行。为此，计算与第一仿射模型相关联的缩放因子和角度值。接着，对其进行变换以满足对称性约束，接着，对仿射模式参数进行逆变换以提供当前CU的第二仿射模型，以用于CU的双向仿射预测。这采取以下形式。

假设4参数模型用于所考虑的块：

然后，如下获得旋转角度和缩放参数：

然后，角度和缩放因子被变换如下：

其中k是取决于当前图片和其两个参考图片之间的时间距离的缩放因子。最后，从a′和b′，很容易地计算第二参考图片的仿射模型参数a′和b′。

在简化版本中，仅修改所述缩放因子，导致MVd的简单缩放。

实施例5：MMVD和平面运动向量预测的组合

根据实施例5，MMVD与平面运动向量预测(PMVP)模式结合使用。

这可以采取以下形式之一。

一个单个mmvd，其细化了PMVP运动场的每个MV

–根据第一基本方法，在将PMVP模式用于当前CU的情况下，对MMVD运动向量差进行译码。mmvd被应用于PMVP产生的运动场，该运动场最初是从其生成器MV产生的。因此，mmvd被用作对于PMVP运动场的每个MV上的附加偏移。这在以下描述PMVD运动生成过程的简化解码框图的图中示出。

一个单个mmvd，其用以细化至少一个用以产生所述PMVD运动场的MV

–根据另一变型，对用于产生平面运动场的至少一个运动向量(生成器MV)应用一个运动向量差。例如，在产生平面MV场之前，单个MVD可被译码并被应用到图28的AL(左上)运动向量上。这在以下描述PMVD运动生成过程的简化解码框图的图中示出。

–根据另一变形，在产生平面MV场之前，MVD被译码并被应用到BR运动向量上。

–根据另一变形，在产生平面MV场之前，MVD被译码并被应用到AR运动向量上。

–根据另一变形，在产生平面MV场之前，MVD被译码并被应用到BL运动向量上。

数个mmvd，其用以细化用以产生PMVD运动场的数个MV

–根据另一实施例，在产生平面运动场之前，将多个MVD译码并应用到AL、BL、AR和BR运动向量中的一个或多个MV上。这在以下描述PMVD运动生成过程的简化解码框图的图中示出。

–根据另一实施例，当数个MVD被译码并应用于AL、BL、AR、BR运动向量中的数个MV时，第一译码MVD如MMVD中那样被译码。基于上一个译码MVD，以差分方式对下一个MVD进行译码，以限制与MVD译码过程相关联的速率成本。

–根据一个变形，与VVC草案3中当前使用的MMVD工具相比，修改了平面情况下MVD的允许距离集合，例如，允许MVD距离的受限范围是被允许的。

–根据一种变型，与VVC草案3中现有的MMVD系统相比，所允许的MVD取向的数量被修改，例如，当MMVD与平面MV预测结合使用时，可以支持MVD角度的富集集合。

实施例6：MMVD和基于回归的运动向量场的组合

根据实施例5，MMVD与在回归MVF模型的部分中引入的基于回归的6参数运动场结合使用。

这可以采取以下形式之一。

对RMVF运动场的每个MV进行一个单独的mmvd细化

–根据第一基本方法，在RMVF模式用于当前CU的情况下，对MMVD运动向量差进行译码，并且将其应用于RMVF所生成的运动场。因此，MVd用作RMVF运动场上的附加偏移。如图29中所示的类似框图可以适当地描述根据该变型的用于生成RMVF运动场的简化过程。

一个单个mmvd，其用于细化用于生成RMVF运动场的MV中的至少一个MV

–根据另一变型，对用于生成RMVF运动场的至少一个运动向量应用一个运动向量差。例如，在产生RMVF运动场之前，单个MVD可被译码并应用到当前块左边的运动向量上。

–根据另一变型，在产生基于回归的MV场之前，一个MVD被译码并应用到顶部相邻运动向量。如图30中所示的类似框图可以适当地描述根据该变型的用于生成RMVF运动场的简化过程。

两个mmvd，其用于细化用于生成RMVF运动场的两个MV

–根据另一实施例，在产生基于回归的运动场之前，两个MVD被译码并分别应用于顶部和左侧MV。

–根据另一实施例，当如上所述译码并应用两个MVD时，第一译码MVD如MMVD中那样被译码。基于第一个译码MVD，以差分方式对下一个MVD进行译码，以限制与MVD译码过程相关联的速率成本。

–根据一个变型，与VVC草案3中当前使用的MMVD工具相比，修改了基于回归情况下的MVD的允许距离集合。例如，允许MVD距离的受限范围是被允许的。

–根据一种变型，与VVC草案3中的现有MMVD系统相比，修改了所允许的MVD取向的数量，例如，当MMVD与RMVF结合使用时，可以支持MVD角度的富集集合。

–如图31中所示的类似框图可以适当地描述根据那些变型用于生成RMVF运动场的简化过程。

实施例7：MMVD与LIC的组合

在一个实施例中，MMVD和LIC可以一起被启用。在这种情况下，所译码的运动向量差被应用到考虑的CU的运动向量上，如在VVC草案3中的情况。因此，与当前CU的时间预测相关联的LIC线性模型参数从使用的合并候选导出，如在当前LIC工具中的情况。

根据一变型，如果MVD量值高于某一阈值，那么当前CU的LIC标志可设定为假，即，可针对当前CU停用LIC时间预测细化。实际上，直观地，如果当前CU的运动向量显著不同于用以导出当前CU的MV的合并候选的运动向量，那么用于合并候选CU的LIC线性模型可能与当前CU不相关。

举例来说，如果MVD量值高于或等于16或32，那么对于当前CU，可将LIC模式强制为0。

根据另一变型，上述MVD量值上的阈值可取决于当前CU大小。

实施例8：MMVD与GBI的组合

在VVC草案3中，当CU以平移合并模式译码时，其运动向量是从选定合并候选且从其GBI索引导出的。这意味着用作导出当前CU运动数据的参考的CU的GBI权重也用于当前CU而不改变，这其中包括在MMVD针对当前CU被激活的情况下。

在此当前实施例中，可基于用于当前合并CU的MVD的量值，应用当前CU的GBI权重的适配。

例如，如果MVD量值高于某个阈值，则GBI可以被重置为当前CU的默认GBI权重(1/2,1/2)。实际上，直观地，如果当前CU的运动向量显著不同于用以导出当前CU的MV的合并候选的运动向量，那么用于合并候选CU的GBI权重可能与当前CU不相关。

例如，如果MVD量值高于或等于16或32，则对于当前CU，GBI权重可被强制到(1/2，1/2)。

根据另一变型，上述MVD量值上的阈值可取决于当前CU大小。

实施例9：MMVD和三角形运动分区

根据一个实施例，MMVD运动向量译码工具与三角形运动分区工具结合使用。

根据第一变型，遵循MMVD的VVC草案3MVD译码系统，为每个三角形分区译码一个MVD。

根据另一变型，单个MVD被译码且由两个三角形运动分区共同使用。

根据另一变型，当两个MVD被译码时，第二MVD以与第一MVD不同的方式被译码。在这种情况下，第二MVD可以以与仿射情况相同的方式被限制在较小的允许量值范围内(见实施例4的部分)。

根据一个更先进的实施例，如果对MVD进行译码，每个分区一个MVD，则基于第一和第二分区的运动向量的相对值，以有条件的方式对第二MVD进行译码。例如，可以限制第二MVD，使得第二细化MV不接近第一三角形分区的细化MV。实际上，如果接近，那么当前CU的总体预测可能表现得非常接近整个矩形块的通常平移运动补偿预测。

实施例10：MMVD和多假设(MH)预测

在当前视频标准中，例如VVC草案3，一种称为多假设的新预测模式在于合并/跳过时间预测块和帧内预测块的组合预测。

然而，在VVC草案3中，MMVD和MH预测不能一起使用。

在本实施例中，允许以组合的方式使用MMVD和多假设预测模式。

基本上，这在于将合并运动向量差应用于用于导出当前译码单元的运动信息的合并或跳过候选运动向量。

该实施例的优点是进一步提高了译码效率。

实施例11：MMVD和时空运动向量预测(STMVP)

在VVC草案3中，提出了被称为STMVP的运动向量预测模式，如在关于非子块时空合并运动向量预测值的部分中所描述的。STMVP运动向量候选是额外的合并候选，其通常可为平移合并候选列表的一部分。其在于预测当前CU的单个运动向量。因此，MMVD可以以直接的方式应用于STMVP候选。

然而，MMVD也可以应用于用于计算STMVP候选的3个空间和时间MV预测值中的仅一个。

根据实施例，对一个或两个空间运动向量预测值应用MMVD的运动向量差，这发生在计算这两个空间运动向量预测值和时间运动向量预测值之间的平均运动向量之前。

根据实施例，在计算该时间MV预测值与一个或两个空间运动向量预测值之间的平均运动向量之前，将MMVD的运动向量差应用于时间运动向量预测值。

扩展SMVD的使用的建议实施例

实施例12：在AMVP模式中，MMVD替代SMVD

如对称MVC部分中所述，SMVD运动向量译码模式仅适用于AMVP模式，而MMVD运动向量表示模式仅适用于合并模式。在该实施例中，协调编解码器设计。对于整个设计，仅提出MMVD和SMVD中的一种运动向量译码模式，以在合并上下文中处理对称双向运动的情况和低量值运动向量的情况。

提出了以下两种变型。

在MMVD和SMVD模式下使用mmvd语法来译码MV差

–在AMVP模式中，当对称模式开启时，那么用MMVD运动向量差译码工具描述部分中所描绘的MMVD MVD编码语法来译码运动向量差。因此，如果对称MVD模式对于所考虑的CU是有效的，则取代AMVP中的VVC草案3的传统MVD译码方法。

使用VTM3 MVd语法在MMVD和SMVD模式下译码MV差异

–在AMVP模式中，当对称模式开启时，则如当前在AMVP中的VVC草案3中所进行的那样对运动向量差进行译码。然而，如果在合并情况下MMVD模式是开启的，则MMVD的运动向量差以AMVP方式来译码。

实施例13：结合仿射运动模型的SMVD

根据一个实施例，SMVD使用被扩展到仿射AMVP的情况。这可以采取以下形式。

所考虑的仿射CU的第一CPMV是根据关于对称MVD的部分的SMVD模式来译码的，如在经典的平移AMVP的情况中那样。接下来，所考虑的仿射CU的其它CPMV的MVD在第一CPMV的MVD的基础上被差分译码，如当前在仿射AMVP的情况下所做的那样。在下面的图中描述了相应的简化框图。

根据另一变型，第二和可选的第三CPMV的差分MVD在第一CPMV的MVD的基础上被差分译码，但也在对称模式约束下被差分译码。这使得能够降低第二和第三CPMV的速率成本。

实施例14：结合三角形运动分区的SMVD

如果三角形分区用于AMVP中，那么对称MVD模式可扩展到三角形分区情况。

在此情况下，在一实施例中，第一和第二三角形分区的两个单向MVD可彼此对称。

实施例15：结合多假设预测模式的SMVD

在一实施例中，除了合并模式之外，多假设还可用于AMVP模式。在这种情况下，SMVD模式可以与多假设预测模式结合使用，这可发生在这种帧间/帧内复合预测的帧间分量使用双向预测的情况下。

实施例16：结合平面运动模型的SMVD

在实施例中，除了合并模式中的当前使用之外，平面运动模型可以在AMVP模式中使用。在所述情况下，可使用运动差并将其应用于当前CU周围且用于产生当前CU的运动场的运动向量上。

此外，所述SMVD模式可以与这种AMVP平面运动模型情况结合使用。在这种情况下，一些对称的双向运动向量差可以被应用到当前CU的用于产生当前CU的平面MV场的周围运动向量上。这种实施例类似于覆盖实施例5的部分的实施例，但是在AMVP+对称模式的情况下。

实施例17：结合基于回归的运动模型的SMVD

在一实施例中，除了在合并模式中的当前使用之外，基于回归的运动模型还可在AMVP模式中使用。在所述情况下，可使用运动差，其应用于当前CU周围的用于产生当前CU的基于回归的运动场的运动向量上。

此外，所述SMVD模式可与这种基于AMVP回归的运动模型情况结合使用。在这种情况下，一些对称的双向运动向量差可被应用于当前CU的用于产生当前CU的基于回归的MV场的周围运动向量。这种实施例类似于覆盖实施例5的部分的实施例，但是在AMVP+对称模式的情况下。

实施例18：结合ATMVP运动模型的SMVD

因为AMVP和合并而独有的

在一实施例中，除了合并模式中的当前使用之外，ATMVP运动模型还可用于AMVP模式中。在此情况下，可使用运动差，将其应用于当前CU的ATMVP预测运动向量中所含有的运动向量上。

此外，所述SMVD模式可以与这个AMVP ATMVP运动模型情况结合使用。在此情况下，可将一些对称双向运动向量差应用于针对当前CU导出的ATMVP运动向量上。这种实施例类似于覆盖实施例3的部分的实施例，但是在AMVP+ATMVP模式的情况下。

实施例19：结合时空运动向量预测(STMVP)的SMVD

在当前的视频标准提议中，例如VVC草案3，仅在合并情况下提出STMVP运动向量预测值(参见关于STMVP的部分)。然而，在AMVP模式中可允许STMVP。在这种情况下，SMVD可以以直接的方式应用于STMVP候选。

然而，SMVD也可以应用于用于计算STMVP候选的3个空间和时间MV预测值中的仅一个。

根据实施例，将SMVD的运动向量差应用于一个或两个空间运动向量预测值，这发生在计算这两个空间运动向量预测值和时间运动向量预测值之间的平均运动向量之前。

根据实施例，将SMVD的运动向量差应用于时间运动向量预测值，这发生在计算该时间MV预测值与所述一个或两个空间运动向量预测值之间的平均运动向量之前。

1.1.2实施例20：修改的SMVD模式，以施加最终双向运动向量对的对称性。平移情况

此部分呈现一实施例，其中SMVD模式经修改以使得不对运动向量差MVd施加对称约束，但对用于在平移AMVP模式中对块进行双向预测的最终运动向量施加对称约束。

实际上，如在覆盖对称MVD的部分中所解释的，在SMVD中，针对一对双向MV的第一运动向量，对MVD进行译码，然后从第一MVD中推导出第二运动向量的MVD作为相反的MVD向量，其可能作为当前图片与其参考图片之间的时间距离的函数而被缩放。

这里，在所提出的实施例中，所修改的SMVD模式是这样的：第一向量的MVD如现有SMVD中那样被译码。接着，将第一运动向量重构为运动向量预测值与所解码的运动向量差的总和。最后，从重构的第一运动向量中推导出重构的第二运动向量，作为相反的MV，其可能作为当前图片和其参考图片之间的时间距离的函数而被缩放。

这样，所提出的新SMVD模式确保了预测块与其两个后向和前向参考块位于同一行上。与现有的覆盖对称MVD的部分的SMVD相比，这种方法被期望提供改进的译码效率。

实施例21：修改的SMVD模式，以施加最终仿射模型(旋转、缩放/变比(zoom)和平移)的对称性

根据实施例，SMVD模式与仿射AMVP结合使用。在这种情况下，对称性约束可以以直接的方式施加到仿射MVD上。

根据另一种方法，所述对称性约束可以以与实施例4上相对于MMVD和仿射的组合的部分的相应特性类似的方式，被施加到仿射模型参数(角度和缩放因子)上。

图35示出了根据此处所述的主要方面的方法3500的一个实施例。该方法开始于起始框3501，并且控制进行到框3510，用于通过视频比特流中的语法来指示第一运动模式。控制从框3510前进到框3520，以通过在视频比特流中语法的存在来指示使用第二运动模式，并且如果存在，则包括与第二运动模式相关的信息。控制从框3520前进到框3530，以使用对应于第一和第二运动模式的运动信息来对视频块进行编码。

图36示出了在此描述的主要方面下的方法3600的另一个实施例。该方法开始于框3601，并且控制进行到框3610，用于针对指示第一运动模式的语法，解析视频比特流。控制从框3610进行到框3620，用于针对指示第二运动模式的存在的语法来解析视频比特流，并且如果存在，则确定与所述第二运动模式相关的信息。控制从框3620前进到框3630，以获得对应于所述第一运动模式的运动信息。控制从框3630进行到框3640，以便使用所述运动信息对所述块进行解码。

图37展示了用于基于相邻样本相依参数模型使用译码模式的简化来编码、解码、压缩或解压缩视频数据的装置3700的一个实施例。该装置包括处理器3710并且能够通过至少一个端口互连到存储器3720。处理器3710和存储器3720两者还可具有到外部连接的一个或多个额外互连。

处理器3710还被配置以在比特流中插入或接收信息，且使用所描述方面中的任意者进行压缩、编码或解码。

本申请描述了多个方面，这其中包括工具、特征、实施例、模型、方法等。这些方面中的许多方面被描述为具有特异性，并且至少为了示出个体特性，通常以可能听起来受限的方式来描述。然而，这是为了描述清楚的目的，并且不限制那些方面的应用或范围。实际上，所有不同的方面可以组合和互换以提供另外的方面。此外，这些方面也可以与在较早的文档中描述的方面组合和互换。

本申请中描述和预期的方面可以以许多不同的形式实现。以下图3、4和34提供了一些实施例，但是可以设想其他实施例，并且对图3、4和34的讨论不限制实现的广度。所述方面中的至少一个方面主要涉及视频编码和解码，并且至少一个其它方面主要涉及传送所生成或编码的比特流。这些和其它方面可以被实现为方法、装置、其上存储有用于根据所描述的任何方法来编码或解码视频数据的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。

在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不是必须的，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。

本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非所述方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。

本申请中描述的各种方法和其它方面可用于修改模块，例如，图3和图4所示的视频编码器100和视频解码器200的帧内预测、熵编码、和/或解码模块(160、360、145)。此外，本发明不限于VVC或HEVC，并且可应用于例如其它标准和提案(无论是预先存在的还是将来开发的)以及任何此类标准和提案(包括VVC和HEVC)的扩展。除非另外指出或在技术上排除，本申请中描述的方面可以单独或组合使用。

在本申请中使用各种数值。具体值是出于示例目的，并且所描述的方面不限于这些具体值。

图3示出了编码器100。可以设想该编码器100的变型，但是为了清楚起见，下面描述编码器100，而没有描述所有预期的变型。

在被编码之前，视频序列可以经历预编码处理(101)，例如，对输入颜色图片应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或者执行输入图片分量的重新映射，以便获得对压缩更有弹性的信号分布(例如，使用所述颜色分量之一的直方图均衡)。元数据可以与所述预处理相关联，并且被附加到比特流。

在编码器100中，如下所述，由编码器元件对图片进行编码。以例如CU为单位分区(102)并处理要编码的图片。使用例如帧内或帧间模式来编码每个单元。当以帧内模式对单元进行编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。所述编码器决定(105)使用帧内模式或帧间模式中的哪一者来对所述单元进行编码，并且通过例如预测模式标志来指示所述帧内/帧间决定。例如，通过从原始图像块中减去(110)预测块来计算预测残差。

然后，对所述预测残差进行变换(125)和量化(130)。对所量化的变换系数以及运动向量和其它语法元素进行熵编码(145)以输出比特流。所述编码器可以跳过所述变换，并直接对未变换的残差信号应用量化。所述编码器可以绕过变换和量化这两者，即，直接对所述残差进行编码而不应用所述变换或量化处理。

所述编码器对编码块进行解码，以提供用于进一步预测的参考。对所量化的变换系数进行解量化(140)和逆变换(150)以对预测残差进行解码。组合(155)所解码的预测残差和预测块，重构图像块。环内滤波器(165)被应用于所重构的图片，以执行例如解块/SAO(样本自适应偏移)滤波，从而减少编码伪像。将所滤波的图像存储在参考图片缓冲器(180)中。

图4示出了视频解码器200的框图。在解码器200中，如下所述，由解码器元件解码比特流。视频解码器200通常执行与如图3中所描述的编码过程互逆的解码过程。所述编码器100通常还执行视频解码作为编码视频数据的一部分。

特别地，所述解码器的输入包括视频比特流，其可以由视频编码器100生成。所述比特流首先被熵解码(230)以获得变换系数、运动向量和其它编码信息。图片分区信息指示所述图片如何被分区。所述解码器因此可以根据所解码的图片分区信息来划分(235)所述图片。所述变换系数被解量化(240)和逆变换(250)以解码所述预测残差。将所解码的预测残差与预测块进行组合(255)，重构图像块。所述预测块可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)。环内滤波器(265)被应用于所重构的图像。将所滤波的图像存储在参考图片缓冲器(280)中。

解码后的图片可以进一步经历解码后处理(285)，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)或执行在预编码处理(101)中执行的所述重新映射过程的逆重新映射。所述解码后处理可以使用在所述预编码处理中导出并且在所述比特流中用信号发送的元数据。

图34示出了其中实现了各个方面和实施例的系统的示例的框图。系统1000可以被实现为包括以下描述的各种组件的设备，并且被配置为执行本文中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1000的元件可以单独地或组合地被实现在单个集成电路(IC)、多个IC和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，所述系统1000经由例如通信总线或通过专用输入和/或输出端口而被通信地耦合到一个或多个其他系统或其他电子设备。在各种实施例中，所述系统1000被配置为实现本文中描述的一个或多个方面。

所述系统1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，以用于实现例如本文中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。所述系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，这其中包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，所述存储设备1040可以包括内部存储设备、附接的存储设备(包括可拆卸的存储设备和不可拆卸的存储设备)和/或网络可访问的存储设备。

系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供所编码的视频或所解码的视频，并且所述编码器/解码器模块1030可以包括其自己的处理器和存储器。所述编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的模块(一个或多个)。如已知的，设备可以包括所述编码模块和解码模块中的一个或两个。另外，编码器/解码器模块1030可实施为系统1000的单独元件或可并入处理器1010内作为如所属领域的技术人员已知的硬件与软件的组合。

要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可以在执行本文中描述的过程期间存储各种项中的一者或多者。这些存储的项可以包括但不限于输入视频、所解码的视频或该解码的视频的部分、比特流、矩阵、变量以及来自方程式、公式、运算和运算逻辑的处理的中间或最终结果。

在一些实施例中，所述处理器1010和/或所述编码器/解码器模块1030内的存储器用于存储指令，并且提供用于在编码或解码期间需要的处理的工作存储器。然而，在其它实施例中，所述处理设备(例如，所述处理设备可为所述处理器1010或所述编码器/解码器模块1030)外部的存储器用于这些功能中的一者或多者。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储例如电视的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作视频编码和解码操作的工作存储器，诸如用于MPEG-2(MPEG是指运动图像专家组，MPEG-2也被称为ISO/IEC13818，并且13818-1也被称为H.222，并且13818-2也被称为H.262)、HEVC(HEVC是指高效视频编码，也被称为H.265和MPEG-H部分2)、或VVC(通用视频编码，由联合视频团队专家JVET开发的新标准)的工作存储器。

如框1130中所示，可以通过各种输入设备来提供对系统1000的元件的输入。这样的输入设备包括但不限于：(i)接收例如由广播者通过空中传输的射频(RF)信号的RF部分，(ii)分量(COMP)输入端子(或一组分量输入端子)，(iii)通用串行总线(USB)输入端子，和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图34中未示出的其它示例包括合成视频。

在各种实施例中，框1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，所述RF部分可以与适合于以下的元件相关联：(i)选择期望频率(也称为选择信号，或将信号频带限制到一频带)，(ii)将所选择的信号下变频，(iii)再次将频带限制到较窄频带，以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调所述下变频且频带限制的信号，(v)执行纠错，和(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。所述RF部分可以包括执行各种这些功能的调谐器，这些功能包括例如将所接收的信号下变频到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，所述RF部分及其相关的输入处理元件接收通过有线(例如，电缆)介质发送的RF信号，并通过滤波、下变频和再次滤波来执行到期望频带的频率选择。各种实施例重新安排上述(和其它)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件，例如插入放大器和模数转换器。在各种实施例中，所述RF部分包括天线。

另外，USB和/或HDMI终端可以包括用于通过USB和/或HDMI连接将系统1000连接到其它电子设备的相应接口处理器。应当理解，输入处理的各个方面(例如,，所罗门纠错)可以根据需要在例如单独的输入处理IC或处理器1010内实现。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件，这其中包括例如处理器1010和编码器/解码器1030，其与存储器和存储元件结合操作以根据需要来处理所述数据流以便在输出设备上呈现。

系统1000的各种元件可以设置在集成壳体内。在该集成壳体内，各种元件可以使用合适的连接布置(例如，本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并在其间传输数据。

所述系统1000包括通信接口1050，其使得能够经由通信信道1060与其他设备通信。所述通信接口1050可以包括但不限于被配置为通过通信信道1060发送和接收数据的收发器。所述通信接口1050可以包括但不限于调制解调器或网卡，并且所述通信信道1060可以例如在有线和/或无线介质内实现。

在各种实施例中，使用无线网络(例如，Wi-Fi网络，例如IEEE 802.11(IEEE是指电气和电子工程师协会))，将数据流式传输或以其他方式提供给所述系统1000。这些实施例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050来接收。这些实施例的通信信道1060通常连接到接入点或路由器，所述接入点或路由器提供对包括因特网的外部网络的接入以允许流式传输应用和其它云上通信。其它实施例使用通过输入框1130的HDMI连接来传递数据的机顶盒而向系统1000提供流式传输的数据。还有一些实施例使用输入框1130的RF连接而向所述系统1000提供流式传输的数据。如上所述，各种实施例以非流式传输方式提供数据。另外，各种实施例使用除Wi-Fi之外的无线网络，例如，蜂窝网络或蓝牙网络。

所述系统1000可以向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。各种实施例的显示器1100包含以下中的一者或多者：例如触摸屏显示器、有机发光二极管(OLED)显示器、弯曲显示器和/或可折叠显示器。所述显示器1100可以用于电视、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。所述显示器1100还可与其它组件集成(例如，如在智能电话中)，或是单独的(例如，用于膝上型计算机的外部监视器)。在各实施例的各示例中，所述其它外围设备1120包括以下中的一者或多者：独立数字视频盘(或数字多功能盘)(DVR，针对这两项)、盘播放器、立体声系统和/或照度系统。各种实施例使用一个或多个外围设备1120，其基于系统1000的输出来提供功能。例如，盘播放器执行播放所述系统1000的输出的功能。

在各种实施例中，使用信令(诸如，AV.Link(AV.链路)、消费电子控制(CEC)、或在有或没有用户干预的情况下实现设备到设备控制的其他通信协议)在系统1000和显示器1100、扬声器1110或其它外围设备1120之间传送控制信号。所述输出设备可以经由通过相应接口1070、1080和1090的专用连接而通信地耦合到系统1000。作为替代，所述输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。所述显示器1100和扬声器1110可以与系统1000的其它组件一起集成在电子设备(例如电视机)中的单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如定时控制器((T Con)芯片。

例如，如果输入1130的RF部分是单独机顶盒的一部分，则所述显示器1100和扬声器1110可以备选地与其它组件中的一个或多个分离。在所述显示器1100和扬声器1110是外部组件的各种实施例中，所述输出信号可以经由专用输出连接来提供，所述专用输出连接例如包括HDMI端口、USB端口或COMP输出。

这些实施例可以由处理器1010或由硬件实现的计算机软件或由硬件和软件的组合来实现。作为非限制性示例，所述实施例可以由一个或多个集成电路实现。所述存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。所述处理器1010可以是适合于技术环境的任何类型，并且作为非限制性示例，可以包含以下中的一者或多者：微处理器、通用计算机、专用计算机和基于多核架构的处理器。

各种实现方式涉及解码。如本申请中所使用的，“解码”可以包括例如对接收到的编码序列执行的全部或部分处理，以便产生适合于显示的最终输出。在各种实施例中，此类过程包括通常由解码器执行的过程中的一个或多个，例如熵解码、逆量化、逆变换和差分解码。在各种实施例中，此类过程还或替代地包含由本申请中所描述的各种实施方案的解码器执行的过程。

作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一实施例中，“解码”仅指差分解码，并且在另一实施例中，“解码”指熵解码和差分解码的组合。短语“解码过程”是旨在具体地指代操作的子集还是一般地指代更广泛的解码过程，这基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。

各种实现涉及编码。以与以上关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可以包括例如对输入视频序列执行的以便产生编码比特流的过程的全部或部分。在各种实施例中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施例中，此类过程还或替代地包含由本申请中所描述的各种实施方案的编码器执行的过程。

作为进一步的示例，在一个实施例中，“编码”仅指熵编码，在另一实施例中，“编码”仅指差分编码，而在另一实施例中，“编码”指差分编码和熵编码的组合。短语“编码过程”的旨在具体地指代操作的子集还是一般地指代更广泛的编码过程，这将基于具体描述的上下文而变得清楚，并且相信是本领域技术人员所充分理解的。

注意，如本文所使用的语法元素是描述性术语。因此，它们不排除使用其它语法元素名称。

当附图被呈现为流程图时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。

各种实施例可以涉及参数模型或速率失真优化。特别地，在编码过程期间，通常考虑速率和失真之间的平衡或折衷，通常给出计算复杂度的约束。它可以通过速率失真优化(RDO)度量，或者通过最小均方(LMS)、绝对误差均值(MAE)或其它这样的测量来测量。速率失真优化通常被公式化为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法来解决速率失真优化问题。例如，这些方法可以基于对所有编码选项的广泛测试，这其中包括所有考虑的模式或编码参数值，且对它们的编码成本和在编码和解码之后的重构信号的相关失真进行完整评估。还可以使用更快的方法来节省编码复杂度，特别是基于预测或预测残差信号而不是重构信号来计算近似失真。还可以使用这两种方法的混合，例如通过仅对一些可能的编码选项使用近似失真，而对其他编码选项使用完全失真。其它方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中的任何一种来执行所述优化，但是该优化不一定是对编码成本和相关失真这两者的完整评估。

本文描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中被讨论(例如，仅作为方法而被讨论)，所讨论的特征的实现也可以以其他形式(例如，装置或程序)来实现。例如，可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如处理器中实现，所述处理器通常指处理设备，这其中包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和便于终端用户之间的信息通信的其他设备。

对“一个实施例”或“一实施例”或“一个实现方式”或“一实现方式”以及其它变化形式的提及意味着结合该实施例描述的特定特征、结构、特性等包含于至少一个实施例中。因此，在本申请中的各个地方出现的短语“在一个实施例中”或“在一实施例中”或“在一个实现方式中”或“在一实现方式中”以及任何其他变型的出现不一定都指同一实施例。

另外，本申请可以涉及“确定”各种信息。确定该信息可以包括例如以下一者或多者：估计该信息、计算该信息、预测该信息或从存储器检索该信息。

此外，本申请可以涉及“访问”各种信息。访问该信息可以包括例如以下一者或多者：接收该信息、检索该信息(例如，从存储器检索该信息)、存储该信息、移动该信息、复制该信息、计算该信息、确定该信息、预测该信息或估计该信息。

另外，本申请可以指“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收所述信息可以包括例如以下一者或多者：访问该信息或(例如从存储器)检索该信息。此外，在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。

应当理解，例如在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”以及“中的至少一者”中的任意者旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，这样的措词旨在包括仅选择第一个列出的选项(A)、或者仅选择第二个列出的选项(B)、或者仅选择第三个列出的选项(C)、或者仅选择第一个和第二个列出的选项(A和B)、或者仅选择第一个和第三个列出的选项(A和C)、或者仅选择第二个和第三个列出的选项(B和C)、或者选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员所清楚的，这可以扩展到所列的多个项目。

此外，如本文所使用的，词语“信号”尤其是指向对应的解码器指示某物。例如，在某些实施例中，编码器发信号发送多个变换、译码模式、或标志中的特定一者。这样，在一实施例中，在编码器侧和解码器侧使用相同的变换、参数或模式。因此，例如，编码器可以向解码器发送(显式地用信号发送)特定参数，使得解码器可以使用该相同的特定参数。相反，如果解码器已经具有所述特定参数以及其它参数，则可以使用信令而不进行发送(隐式地用信号发送)，以简单地允许解码器知道并选择所述特定参数。通过避免任何实际功能的传输，在各种实施例中实现了比特节省。应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号发送给对应的解码器。虽然前述内容涉及词语“信号”的动词形式，但是词语“信号”在本文中也可以用作名词。

如对于本领域普通技术人员将显而易见的，实现方式可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实现方式之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。所述格式化可以包括例如对数据流进行编码并且利用所编码的数据流对载波进行调制。所述信号携带的信息可以是例如模拟或数字信息。如已知的，所述信号可以通过各种不同的有线或无线链路来传输。所述信号可以存储在处理器可读介质上。

我们描述了跨各种权利要求类别和类型的多个实施例。这些实施例的特征可以单独提供或以任何组合提供。此外，跨越各种权利要求类别和类型，实施例可以单独或以任意组合包括以下特征、设备或方面中的一者或多者：

●一种使用MMVD和/或SMVD与仿射运动模型的过程或设备。

●一种使用MMVD和/或SMVD与替代时间运动向量预测的过程或设备。

●一种使用MMVD和/或SMVD与双向光流的过程或设备。

●一种使用MMVD和/或SMVD与参考当前图像的运动向量的方法或设备。

●一种使用MMVD和/或SMVD与广义双向预测的过程或设备。

●一种使用MMVD和/或SMVD与局部照度补偿的过程或设备。

●一种使用MMVD和/或SMVD与多假设组合的合并/帧内模式的过程或设备。

●一种使用MMVD和/或SMVD与合并MVD或最终MV表达的过程或设备。

●一种使用MMVD和/或SMVD与基于回归模型的每个子块的运动向量场的过程或设备。

●一种使用MMVD和/或SMVD与对称MVD的过程或设备，其中只有1MVD以双向预测被译码。

●一种使用MMVD和/或SMVD与三角形分区的过程或设备。

●一种结合MMVD和双向预测的过程或设备。

●一种结合MMVD和CPR的过程或设备。

●一种结合MMVD和ATMVP的过程或设备。

●一种结合MMVD和仿射模式的过程或设备。

●一种结合MMVD和平面运动向量预测的过程或设备。

●一种结合MMVD和基于回归的运动向量场的过程或设备。

●一种结合MMVD与GBI的过程或设备。

●一种结合MMVD和时空运动向量预测的过程或设备。

●一种在AMVP模式下以MMVD取代SMVD的过程或设备。

●一种将SMVD与仿射运动模型相结合的过程或设备。

●一种将SMVD与平面运动模型相结合的过程或设备。

●一种将SMVD与基于回归的运动模型相结合的过程或设备。

●一种将SMVD与ATMVP运动模型相结合的过程或设备。

●一种将SMVD与时空运动向量预测相结合的过程或设备。

●一种过程或设备，其修改SMVD模式，以在平移情况下对双向运动向量施加对称性。

●一种过程或设备，其修改SMVD模式，以在包括旋转、缩放、变比或平移的最终仿射模型上施加对称性。

●一种包括所描述的语法元素中的一个或多个或其变型的比特流或信号。

●一种比特流或信号，包括根据所描述的任意实施例生成的语法传达信息。

●根据所述的任意实施例，创建和/或发送和/或接收和/或解码。

●根据所描述的任意实施例的方法、过程、装置、存储指令的介质、存储数据的介质或信号。

●在所述信令中插入使得所述解码器能够以对应于编码器所使用的方式来确定译码模式的语法元素。

●创建和/或发送和/或接收和/或解码包括一个或多个所描述的语法元素或其变型的比特流或信号。

●一种TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其执行根据所描述的实施例中的任意者的变换方法(一个或多个)。

●一种TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其执行根据所描述的任意实施例的变换方法(一个或多个)确定，并且显示(例如，使用监视器、屏幕或其他类型的显示器)最终图像。

●一种TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其选择、频带限制或调谐(例如，使用调谐器)信道以接收包括编码图像的信号，并且执行根据所描述的实施例中的任意者的变换方法(一个或多个)。

●一种TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其通过空中接收(例如，使用天线)包括编码图像的信号，并且执行变换方法(一个或多个)。

Claims

1.一种方法，包括：

通过视频比特流中的语法，指示第一运动模式；

通过在视频比特流中语法的存在，指示第二运动模式的使用，并且如果存在，则包括与所述第二运动模式相关的信息；以及

使用对应于所述第一和第二运动模式的运动信息，编码视频块。

2.一种装置，包括：

处理器，其被配置为：

通过视频比特流中的语法，指示第一运动模式；

通过在所述视频比特流中语法的存在来指示第二运动模式的使用，且如果存在，那么包含与所述第二运动模式相关的信息；以及

3.一种方法，包括：

针对指示第一运动模式的语法，解析视频比特流；

针对指示第二运动模式的存在的语法，解析所述视频比特流，且如果存在，那么确定与所述第二运动模式相关的信息；

获得对应于所述第一运动模式的运动信息；以及

使用所述运动信息，解码所述块。

4.一种装置，包括：

处理器，其被配置为：

针对指示第一运动模式的语法，解析视频比特流；

获得对应于所述第一运动模式的运动信息；以及

使用所述运动信息，解码所述块。

5.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中指示第一运动模式的所述语法是使用所述块的第一参考图片的合并运动差数据，并且还包括：

如果双向预测不用于所述块，则导出所述第一参考图像的运动向量，或者如果双向预测用于所述块，则解码第二参考图像的合并运动差数据，并导出所述第一参考图像和所述第二参考图像的运动向量；以及

使用所述运动向量，解码所述块。

6.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中，所述第一运动模式是合并运动向量差，并且所述第二运动模式是当前图片参考。

7.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中，所述第一运动模式是合并运动向量差，并且所述第二运动模式是替代时间运动向量预测。

8.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中，所述第一运动模式是合并运动向量差，并且所述第二运动模式是仿射模式。

9.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中，所述第一运动模式是合并运动向量差，并且所述第二运动模式是平面运动向量预测。

10.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中，所述第一运动模式是合并运动向量差，并且所述第二运动模式是基于回归的6参数运动场。

11.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中，所述第一运动模式是合并运动向量差，并且所述第二运动模式是局部照度补偿。

12.一种设备，包括：

根据权利要求4至11中任一项所述的装置；以及

以下任意者：(i)天线，其被配置以接收信号，所述信号包含所述视频块，(ii)频带限制器，其被配置以将所述所接收信号限制到包含所述视频块的频带，以及(iii)显示器，其被配置以显示表示视频块的输出。

13.一种非暂时性计算机可读介质，包含根据权利要求1和5至11中任一项所述的方法或者由权利要求2和5至11中任一项所述的装置生成的数据内容，用于使用处理器进行回放。

14.一种包括根据权利要求1和5至11中任一项所述的方法或由权利要求2和5至11中任一项所述的装置生成的视频数据的信号，用于使用处理器进行回放。

15.一种包括指令的计算机程序产品，当所述程序由计算机执行时，所述指令使所述计算机执行根据权利要求1、3和5至11中任一项所述的方法。