CN114041291B - 视频编解码中的运动矢量预测的方法、设备和存储介质 - Google Patents

Abstract

提供用于视频编解码的方法和设备。在所述方法中，设备构建针对当前CU的合并候选列表。设备通过对合并候选列表中的一对或更多对候选求平均导出一个或多个成对合并候选并且导出一个或多个HMVP候选，所述HMVP候选定义先前经编解码的CU的运动信息。设备将所述一个或多个成对合并候选插入到合并候选列表中；并且将所述一个或多个HMVP候选插入到合并候选列表中，使得在将所述一个或多个HMVP候选插入到合并候选列表中之后，没有成对合并候选被插入到合并候选列表中，而在插入所述一个或多个HMVP候选时不检查合并候选列表中的所有候选的总数是否达到预设阈值。

Description

视频编解码中的运动矢量预测的方法、设备和存储介质

相关申请的交叉引用

本申请要求于2019年06月21日提交的申请号为62/865,138、题为“History-basedMotion Vector Prediction for Video Coding”的美国临时申请的优先权，其全部内容通过引用并入本文用于所有目的。

技术领域

本申请总体涉及视频编解码和压缩，并且具体地，但不限于用于视频编解码中的运动矢量预测的方法和计算设备。

背景技术

各种视频编解码技术可以被用于压缩视频数据。根据一个或多个视频编解码标准执行视频编解码。例如，视频编解码标准包括通用视频编解码(VVC)、联合探索测试模型(JEM)、高效视频编解码(H.265/HEVC)、高级视频编解码(H.264/AVC)、运动图片专家组(MPEG)编解码等。视频编解码通常使用利用了视频图像或序列中存在的冗余的预测方法(例如，帧间预测、帧内预测等)。视频编解码技术的重要目标在于将视频数据压缩为使用更低比特率的形式，同时避免或最小化视频质量的下降。

发明内容

一般来说，本公开描述了与视频编解码中的运动矢量预测相关的技术的示例。

根据本公开的第一方面，提供一种用于视频编解码的方法，所述方法包括：构建针对当前编解码单元CU的合并候选列表；通过对所述合并候选列表中的一对或更多对候选求平均导出一个或多个成对合并候选并且导出一个或多个基于历史的运动矢量预测HMVP候选，所述HMVP候选定义先前经编解码的CU的运动信息，其中N是所述一个或多个成对合并候选的数量并且N是非负整数；将所述一个或多个成对合并候选插入到所述合并候选列表中；以及将所述一个或多个HMVP候选插入到所述合并候选列表中，使得在将所述一个或多个HMVP候选插入到所述合并候选列表中之后，没有成对合并候选被插入到所述合并候选列表中，而在插入所述一个或多个HMVP候选时不检查所述合并候选列表中的所有候选的总数是否达到预设阈值。

根据本公开的第二方面，提供一种计算设备，所述计算设备包括：一个或多个处理器；非暂态存储装置，被耦接到所述一个或多个处理器；以及多个程序，被存储在所述非暂态存储装置中，所述多个程序在由所述一个或多个处理器执行时使所述一个或多个处理器执行动作，所述动作包括：构建针对当前编解码单元CU的合并候选列表；通过对所述合并候选列表中的一对或更多对候选求平均导出一个或多个成对合并候选并且导出一个或多个基于历史的运动矢量预测HMVP候选，所述HMVP候选定义先前经编解码的CU的运动信息，其中N是所述一个或多个成对合并候选的数量并且N是非负整数；将所述一个或多个成对合并候选插入到所述合并候选列表中；以及将所述一个或多个HMVP候选插入到所述合并候选列表中，使得在将所述一个或多个HMVP候选插入到所述合并候选列表中之后，没有成对合并候选被插入到所述合并候选列表中，而在插入所述一个或多个HMVP候选时不检查所述合并候选列表中的所有候选的总数是否达到预设阈值。

根据本公开的第三方面，提供一种非暂态计算机可读存储介质，存储用于由具有一个或多个处理器的计算设备执行的多个程序，其中所述多个程序在由所述一个或多个处理器执行时使所述一个或多个处理器执行动作，所述动作包括：构建针对当前编解码单元CU的合并候选列表；通过对所述合并候选列表中的一对或更多对候选求平均导出一个或多个成对合并候选并且导出一个或多个基于历史的运动矢量预测HMVP候选，所述HMVP候选定义先前经编解码的CU的运动信息，其中N是所述一个或多个成对合并候选的数量并且N是非负整数；将所述一个或多个成对合并候选插入到所述合并候选列表中；以及将所述一个或多个HMVP候选插入到所述合并候选列表中，使得在将所述一个或多个HMVP候选插入到所述合并候选列表中之后，没有成对合并候选被插入到所述合并候选列表中，而在插入所述一个或多个HMVP候选时不检查所述合并候选列表中的所有候选的总数是否达到预设阈值。

附图说明

将通过参照附图中所示的具体示例来呈现本公开的示例的更详细的描述。鉴于这些附图仅描绘了一些示例，并且因此不被认为是对范围的限制，将通过使用附图利用附加的特征和细节来描述和解释示例。

图1是示出根据本公开的一些实施方式的示例性视频编码器的框图。

图2是示出根据本公开的一些实施方式的示例性视频解码器的框图。

图3是示出根据本公开的一些实施方式的空间运动矢量预测候选和时间运动矢量预测候选的位置的示意图。

图4是示出根据本公开的一些实施方式的用于视频编解码的示例性计算设备的框图。

图5是示出根据本公开的一些实施方式的视频编解码中的运动矢量预测的示例性过程的流程图。

具体实施方式

现在将详细参照具体实施方式，在附图中示出具体实施方式的示例。在以下详细描述中，阐述了很多非限制性具体细节以便帮助理解本文呈现的主题。但是对于本领域普通技术人员将显而易见的是，可以使用各种替代方案。例如，对于本领域普通技术人员将显而易见的是，本文呈现的主题可以在具有数字视频能力的许多类型的电子设备上实现。

贯穿本说明书对“一个实施例”、“实施例”、“示例”、“一些实施例”、“一些示例”或类似语言的引用表示所描述的特定特征、结构或特性被包括在至少一个实施例或示例中。除非另有明确说明，否则结合一个或一些实施例描述的特征、结构、元件或特性也适用于其它实施例。

在整个公开内容中，除非另有明确说明，否则术语“第一”、“第二”、“第三”等都用作仅用于提及相关元件(例如，设备、组件、组合物、步骤等)的命名，而不指示任何空间或时间顺序。例如，“第一设备”和“第二设备”可以指两个单独形成的设备，或者同一设备的两个部分、组件或操作状态，并且可以被任意命名。

术语“模块”、“子模块”、“电路”、“子电路”、“电路系统”、“子电路系统”、“单元”或“子单元”可以包括存储可以由一个或多个处理器执行的代码或指令的存储器(共享、专用或组合)。模块可以包括具有或不具有存储的代码或指令的一个或多个电路。模块或电路可以包括直接或间接连接的一个或多个组件。这些组件可以或可以不物理地附接到彼此或彼此相邻定位。

如本文所使用的，取决于上下文，术语“如果”或“当......时”可以被理解为表示“在......时”或“响应于......”。这些术语如果出现在权利要求中，则可以不指示相关限制或特征是有条件的或可选的。例如，方法可以包括以下步骤：i)当条件X存在时或如果条件X存在，则执行功能或动作X'，以及ii)当条件Y存在时或如果条件Y存在，则执行功能或动作Y'。方法可以被实现为具有执行功能或动作X'的能力和执行功能或动作Y'的能力两者。因此，功能X'和功能Y'两者可以在多次执行方法时在不同时间被执行。

单元或模块可以纯粹通过软件、纯粹通过硬件或通过硬件和软件的组合来实现。在纯软件实施方式中，例如，单元或模块可以包括直接或间接链接在一起的功能上相关的代码块或软件组件，以便执行特定功能。

图1展示了示出可以与使用基于块的处理的许多视频编解码标准结合使用的示例性的基于块的混合视频编码器100的框图。在编码器100中，视频帧被分割为多个视频块以进行处理。对于每个给定视频块，基于帧间预测方法或帧内预测方法来形成预测。在帧间预测中，基于来自先前重建帧的像素点，通过运动估计和运动补偿来形成一个或多个预测因子。在帧内预测中，基于当前帧中的重建像素点来形成预测因子。通过模式决策，选择最佳预测因子来预测当前块。

表示当前视频块与其预测因子之间的差的预测残差被发送到变换电路102。然后变换系数从变换电路102被发送到量化电路104以用于熵减少。然后量化的系数被馈送到熵编解码电路106以产生压缩的视频比特流。如图1所示，来自帧间预测电路和/或帧内预测电路112的预测相关信息110(诸如视频块分割信息、运动矢量、参考图片索引和帧内预测模式)也通过熵编解码电路106被馈送并保存到压缩的视频比特流114中。

在编码器100中，为了预测的目的，还需要解码器相关电路以便重建像素点。首先，通过反量化116和逆变换电路118重建预测残差。该重建的预测残差与块预测因子120组合以产生当前视频块的未经滤波的重建像素点。

例如，去块滤波器在AVC、HEVC以及VVC的目前版本中可用。在HEVC中，被称为样点自适应偏移(SAO)的附加环路滤波器被定义用于进一步提高编解码效率。在VVC标准的当前版本中，正在被积极地研究被称为自适应环路滤波器(ALF)的额外的环路滤波器，并且它很有可以能被包括在最终标准中。

图2是示出可以与许多视频编解码标准结合使用的示例性的基于块的视频解码器200的框图。该解码器200类似于驻留在图1的编码器100中的重建相关部分。在解码器200中，首先输入的视频比特流201通过熵解码202被解码，以导出量化的系数等级和预测相关信息。然后量化的系数等级通过反量化204和逆变换206被处理，以获得重建的预测残差。在帧内/帧间模式选择器212中实现的块预测因子机制被配置为基于经解码的预测信息来执行帧内预测208或运动补偿210。来自逆变换206的重建预测残差和由块预测因子机制产生的预测输出通过使用求和器214被求和以获得一组未经滤波的重建像素点。当打开环路滤波器时，对这些未经滤波的重建像素执行滤波操作以导出最终的重建视频以用于输出。

在通用视频编解码(VVC)中，具有嵌套多类型树的四叉树是初始新编解码特征。嵌套多类型树是包括二元划分和三元划分两者的编解码块分割结构。输入视频的图片被分割为称为编解码树单元(CTU)的块。使用具有嵌套多类型树结构的四叉树将CTU划分为多个编解码单元(CU)，CU定义共享包括帧内和帧间的相同预测模式的像素的区域。在本公开中，术语“单元”定义图像的覆盖所有分量(诸如亮度和色度)的区域。术语“块”定义覆盖包括亮度的特定分量的区域。当考虑色度采样格式(诸如4：2：0)时，包括亮度和色度的不同分量的块可以在空间位置上不同。

VVC中的帧间预测

对于每个帧间CU，可以选择三种预测模式(包括作为经典帧间模式的高级运动矢量预测(AMVP)模式、跳过模式和合并模式)之一。在帧间模式下，被发送的运动信息包括帧间预测方向指示符(包括列表0、列表1和双向预测)、参考索引、运动候选索引、运动矢量差(MVD)和预测残差。在跳过模式和合并模式下，仅发送合并索引，并且当前CU从由经编解码的合并索引参考的相邻CU继承帧间预测方向指示符、参考索引和运动矢量。在经跳过编解码的CU中，还省略了残差信号。

运动矢量预测被用于用信号发送运动矢量以减少信令开销。通常引入运动矢量竞争(MVC)方案以从包括空间运动候选和时间运动候选以及基于历史的运动矢量预测(HMVP)候选的给定候选集中选择运动候选。

VVC中用于AMVP的运动矢量预测

图3是示出根据本公开的一些实施方式的空间运动矢量预测候选和时间运动矢量预测候选的位置的示意图。运动矢量预测利用相邻CU的运动矢量之间的空间和时间相关性。运动矢量预测被用于运动参数的显式传输以减少信令开销。为了在VVC中执行运动矢量预测，首先基于来自如图3中所示的左侧相邻块、上方相邻块和时间相邻块的运动矢量(MV)以及基于历史的运动矢量来构建运动矢量预测因子(MVP)候选列表。在候选列表构建期间，可以执行运动矢量修剪以去除冗余候选，并且可以将零运动矢量添加到候选列表以使其填满。基于特定优化标准，编码器从候选列表中选择最佳预测因子并且发送其在列表中的索引以指示所选择的候选。

在运动矢量预测(MVP)中，考虑三种类型的运动矢量候选：空间运动矢量候选、时间运动矢量候选和基于历史的运动矢量候选。对于空间运动矢量候选导出，可以基于如图3中描绘的位于五个不同位置中的块的运动矢量来最终导出至多两个运动矢量候选。A0、A1、B0、B1和B2指示空间MVP候选的位置。T0和T1指示时间MVP候选的位置。对于时间运动矢量候选导出，从基于两个不同的同位位置导出的两个候选中将至多一个运动矢量候选选择到候选列表中。然后，如果候选列表中的MVP候选的数量小于二，则将额外的零运动矢量候选添加到候选列表以使其为二。

通过按顺序包括以下候选来构建运动矢量预测因子(MVP)候选列表：

1.从左侧空间相邻CU导出至多一个未经缩放的MVP(A0→A1)；

2.如果来自左侧的未经缩放的MVP不可用，则从左侧空间相邻CU导出至多一个经缩放的MVP(A0→A1)；

3.从上方空间相邻CU导出至多一个未经缩放的MVP(B0→B1→B2)；

4.如果相邻块A0和A1两者不可用或在帧内模式下被编解码，则从上方空间相邻CU导出至多一个经缩放的MVP(B0→B1→B2)；

5.条件修剪；

6.从时间同位CU导出至多一个MVP(T0→T1)；

7.从FIFO表导出至多两个基于历史的MVP；

8.导出至多两个零MV。

上面的“5.条件修剪”在存在从空间块导出的两个MVP候选时被实施。将两个MVP候选彼此进行比较，并且当它们相同时从MVP候选列表去除一个MVP。帧间MVP列表的大小被固定为2。对于在帧间模式下而非合并模式下被编解码的每个CU，标志被编解码用于指示使用哪个MVP候选。

VVC中的合并/跳过模式

在跳过模式和合并模式下，用信号发送合并索引以指示使用合并候选列表中的哪个候选。对于在跳过或合并模式下被编解码的每个CU，不发送帧间预测方向指示符、参考索引或MVD。实际上，CU重复使用所选候选的帧间预测方向指示符、一个或多个参考索引和运动矢量。如果所选候选是时间运动候选，则将参考索引始终设置为0。在VVC中，通过按顺序包括以下五种类型的候选来构建合并候选列表：

1.从块A1、B1、B0和A0导出至多四个空间候选；

2.如果候选的数量小于4，则从块B2导出至多一个空间候选；

3.导出至多一个时间运动矢量预测(TMVP)候选；

4.如果候选的数量小于(maxNumMergeCand-1)，则导出至多六个HMVP候选；

5.导出至多一个成对平均候选；

6.导出至多六个零候选。

在VVC中，合并列表的大小在条带头中被用信号发送，并且合并列表的最大允许大小为6。对于在合并模式下被编解码的每个CU，合并候选索引使用截断一元(TU)二值化被编解码。合并索引的第一个二进制位用上下文被编解码，并且其它二进制位在旁路模式下被编解码。

在VVC中，成对平均候选和HMVP候选相对于HEVC是新的。因此，VVC中的合并模式被称为扩展合并模式。这种合并模式在本公开中也被称为常规合并模式。

帧内块复制(IBC)

帧内块复制(IBC)是在关于屏幕内容编解码(SCC)的HEVC扩展简档中采用的工具。IBC显著提高了屏幕内容视频材料的编解码效率。具体地，IBC可以从当前图片的重建区域中高效地产生预测因子。在块级用信号发送IBC模式。在编码器处执行块匹配(BM)，以找到用于每个CU的最佳块矢量或运动矢量。块矢量被用于指示从当前块到已经在当前图片内重建的参考块的位移。经IBC编解码的CU的亮度块矢量呈整数精度。对于诸如420的特定视频格式，可以通过舍入运算从亮度块矢量导出色度块矢量，其结果也为整数精度。当与自适应运动矢量分辨率(AMVR)组合时，IBC模式可以在1像素运动矢量精度与4像素运动矢量精度之间切换。除帧内预测模式或帧间预测模式之外，经IBC编解码的CU还被视为第三预测模式。IBC模式适用于宽度和高度均小于或等于64个亮度样点的CU。

在CU级，IBC模式用标志被用信号发送，并且其可以如下被用信号发送为IBC AMVP模式或IBC跳过/合并模式：

在IBC跳过/合并模式下，合并候选索引被用于指示合并列表中来自相邻候选经IBC编解码的块的块矢量中的哪个块矢量被用于预测当前块。合并列表由至多两个空间候选和至多两个HMVP候选组成。

在IBC AMVP模式下，块矢量差按与运动矢量差相同的方式被编解码。块矢量预测方法使用两个候选作为预测因子并且使用与IBC合并列表相同的构建过程来构建IBC AMVP候选列表。

成对平均合并候选导出

通过对现有合并候选列表中的前两个候选求平均来产生成对平均候选。针对每个参考列表单独地计算平均运动矢量。如果两个运动矢量在一个列表中都可用，则这两个运动矢量即使在它们指向不同的参考图片时也被平均。并且如果只有一个运动矢量可用，则直接使用该运动矢量；如果没有运动矢量可用，则保持该列表无效。在当前VVC中，至多一个成对平均合并候选将被插入到合并候选列表中。当在添加成对平均合并候选之后合并列表未满时，在末尾插入零MVP，直到满足最大合并候选数量。

基于历史的运动矢量预测

HMVP候选被定义为先前经编解码的块的运动信息。在编码/解码过程期间维持具有多个HMVP候选的历史MV表。当遇到新条带或每个CTU行的第一CTU时，历史MV表被清空。每当存在非子块经帧间编解码的CU时，将相关联运动信息添加到历史MV表的最后一个条目，作为新HMVP候选。在VCC测试模式5(VTM5)中，将历史MV表的大小设置为6，即，可以将至多6个基于历史的MVP(HMVP)候选添加到该表。当将新的运动候选插入到表中时，利用受约束的先进先出(FIFO)规则，其中首先应用冗余检查(例如MV修剪)，以找到表中是否存在相同的HMVP。如果找到，则从表中去除相同的HMVP，并且之后将所有HMVP候选向前移动，即，朝向第一个条目移动。结果，存储在最后一个条目中的MVP是最新的MVP，并且存储在第一个条目中的MVP是最旧的MVP。

HMVP候选可以在TMVP候选之后被用于合并候选列表构建过程中。按从HMVP表中的最后一个条目到第一个条目的顺序检查表中的HMVP候选。对前两个HMVP候选应用冗余检查，这两个HMVP候选中的每一个与左侧空间合并候选A1和上方空间合并候选B1进行比较。即，当插入HMVP候选时相同MV候选检查的次数为至多4次。一旦可用合并候选的总数达到最大允许的合并候选减1，就终止来自HMVP的合并候选列表构建过程。

HMVP候选还可以被用于AMVP候选列表构建过程中。按从HMVP表中的第一个条目到最后一个条目的顺序检查表中的HMVP候选，并且将其在TMVP候选之后插入到候选列表。不对HMVP候选应用冗余检查。

HMVP候选可以被用于IBC合并候选列表构建过程以及IBC AMVP列表构建中。按从HMVP表中的最后一个条目到第一个条目的顺序检查表中的HMVP候选，并且将其在TMVP候选之后插入到候选列表。对第一个HMVP候选应用冗余检查，并且被检查的HMVP候选仅需要与左侧空间合并候选和上方空间合并候选进行比较。即，当插入HMVP候选时相同MV候选检查的次数为至多2次。

当将HMVP候选插入到合并列表中时，存在一个额外检查以检查可用合并候选的总数是否达到最大允许的合并候选减1。如果大小达到最大大小减1，则终止来自HMVP的合并候选列表构建过程。这样做的动机是为了保留至少一个条目可用，使得可以在HMVP之后插入成对候选以获得更好的编解码性能。然而，每当插入一个HMVP候选时，需要一个额外检查。提出了若干方法来去除这种条件检查同时保持相似的编解码性能。

此外，存在当将HMVP候选插入到合并列表、IBC合并列表和IBC AMVP合并列表中时应用的MV冗余检查过程。然而，由于这种MV冗余检查的额外逻辑，其在实现时并非优选。提出了若干方法来去除或减少MV冗余检查过程同时保持相似的编解码性能。

在本公开中，提出了用于在插入HMVP合并候选时去除条件检查同时保持相似编解码性能的方法。条件检查可以包括检查候选的数量是否小于(maxNumMergeCand-1)。

在一个或多个示例中，可以在HMVP候选之前插入至多N个成对合并候选，并且在HMVP之后不插入成对合并候选。这里，N是非负整数。由于成对候选被插入在HMVP候选之前，因此不必检查可用合并候选的总数是否达到“最大允许的合并候选减1”。利用所提出的在HMVP候选之前插入成对候选的方法，可以去除在插入HMVP候选时对候选的数量是否小于(maxNumMergeCand-1)的检查。

在一个或多个示例中，在构建针对当前CU的合并候选列表之后，通过对合并候选列表中的一对或更多对候选求平均来导出一个或多个成对合并候选，并且导出一个或多个HMVP候选，HMVP候选定义先前经编解码的CU的运动信息。然后，将一个或多个成对合并候选插入到合并候选列表中并且将一个或多个HMVP候选插入到合并候选列表中，使得在将一个或多个HMVP候选插入到合并候选列表中之后没有成对合并候选被插入到合并候选列表中，避免在插入一个或多个HMVP候选时检查合并候选列表中的所有候选的总数是否达到预设阈值。

因此，所提出的方法减少或去除在将HMVP合并候选插入到常规合并候选列表中时的MV冗余检查，同时保持相似编解码性能。这里，常规合并候选列表是指用于常规合并模式的候选列表。用于IBC合并模式的候选列表被称为IBC合并候选列表。可以独立地或联合地应用所提出的方法。

在一个或多个示例中，当将HMVP候选插入到常规合并候选列表中时，仅第一个HMVP候选需要针对左侧空间合并候选和上方空间合并候选的MV冗余检查。通过这样做，关于HMVP的MV冗余检查过程对于常规合并候选列表和IBC合并候选列表两者是统一的。

在一个或多个示例中，仅对一个或多个HMVP候选中首先插入到合并候选列表中的第一个HMVP候选应用冗余检查。具体地，检查第一个HMVP候选是否与合并候选列表中的当前CU的空间合并候选相同。空间合并候选可以是左侧空间合并候选或上方空间合并候选。并且当第一个HMVP候选与合并候选列表中的空间合并候选相同时，从合并候选列表去除空间合并候选。

在一个或多个示例中，当将HMVP候选插入到常规合并候选列表和/或IBC合并候选列表中时，HMVP候选仅需要针对左侧空间合并候选和上方空间合并候选中的至多一个候选的MV冗余检查。例如，对于给定HMVP候选，如果已经在该候选与左侧空间合并候选之间执行了MV冗余检查，则在该候选与上方空间合并候选之间不存在MV冗余检查。然而，在左侧空间候选不存在的情况下，仍然执行该候选与上方空间合并候选之间的MV冗余检查。

在一个或多个示例中，当将HMVP候选插入到常规合并候选列表和/或IBC合并候选列表中时，HMVP候选仅需要针对左侧空间合并候选的MV冗余检查。

在一个或多个示例中，当将HMVP候选插入到常规合并候选列表和/或IBC合并候选列表中时，在HMVP候选与左侧空间候选和/或上方空间候选之间不执行MV冗余检查。

在一个或多个示例中，当将HMVP候选插入到常规合并候选列表和/或IBC合并候选列表中时，按从HMVP表中的第一个条目到最后一个条目的顺序检查HMVP表中的HMVP候选。

在一个或多个示例中，当将HMVP候选插入到常规合并候选列表和/或IBC合并候选列表中时，按以下顺序检查表中的HMVP候选：从HMVP表中的第K个条目到第一个条目，接着是HMVP表中的最后一个条目到第(K+1)个条目。K可以是不小于1且不大于HMVP表中的HMVP候选的数量的非负整数。

在一个或多个示例中，可以联合应用上述方法。当将HMVP候选插入到常规合并候选列表和/或IBC合并候选列表中时，按从HMVP表中的第一个条目到最后一个条目的顺序检查表中的HMVP候选，并且仅第一个HMVP候选需要针对左侧空间合并候选和上方空间合并候选的MV冗余检查。

在一个或多个示例中，当将HMVP候选插入到常规合并候选列表和/或IBC合并候选列表中时，按从HMVP表中的第一个条目到最后一个条目的顺序检查表中的HMVP候选，并且HMVP候选仅需要针对左侧空间合并候选的MV冗余检查。

在一个或多个示例中，当将HMVP候选插入到常规合并候选列表和/或IBC合并候选列表中时，按从HMVP表中的第一个条目到最后一个条目的顺序检查表中的HMVP候选，并且当插入HMVP候选时不执行MV冗余检查。

在一个或多个示例中，在HMVP候选之前插入一个成对合并候选，并且在HMVP候选之后不插入成对合并候选。当插入HMVP候选时，不需要检查可用合并候选的总数是否达到合并候选的最大允许数量减1。当将HMVP候选插入到常规合并候选列表和/或IBC合并候选列表中时，按从HMVP表中的第一个条目到最后一个条目的顺序检查HMVP表中的HMVP候选，并且当插入HMVP候选时不执行MV冗余检查。

在一个或多个示例中，在HMVP候选之前插入一个成对合并候选，并且在HMVP候选之后不插入成对合并候选。当插入HMVP候选时，不需要检查可用合并候选的总数是否达到合并候选的最大允许数量减1。当将HMVP候选插入到常规合并候选列表和/或IBC合并候选列表中时，按从HMVP表中的第一个条目到最后一个条目的顺序检查表中的HMVP候选，并且仅第一个HMVP候选需要针对左侧空间合并候选和上方空间合并候选的MV冗余检查。

在一个或多个示例中，在HMVP候选之前插入一个成对合并候选，并且在HMVP候选之后不插入成对合并候选。当插入HMVP候选时，不需要检查可用合并候选的总数是否达到合并候选的最大允许数量减1。当将HMVP候选插入到常规合并候选列表和/或IBC合并候选列表中时，按从HMVP表中的第一个条目到最后一个条目的顺序检查表中的HMVP候选，并且仅第一个HMVP候选需要针对左侧空间合并候选的MV冗余检查。

图4是示出根据本公开的一些实施方式的用于视频编解码的装置的框图。装置400可以是终端，诸如移动电话、平板计算机、数字广播终端、平板设备或个人数字助理。

如图4所示，装置400可以包括以下组件中的一个或多个：处理组件402、存储器404、电源组件406、多媒体组件408、音频组件410、输入/输出(I/O)接口412、传感器组件414和通信组件416。

处理组件402通常控制装置400的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作有关的操作。处理组件402可以包括用于执行指令以完成上述方法的全部或部分步骤的一个或多个处理器420。此外，处理组件402可以包括用于促进处理组件402与其他组件之间的交互的一个或多个模块。例如，处理组件402可以包括用于促进多媒体组件408与处理组件402之间的交互的多媒体模块。

存储器404被配置为存储不同类型的数据以支持装置400的操作。此类数据的示例包括用于在装置400上操作的任何应用或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器404可以由任何类型的易失性或非易失性存储设备或其组合来实现，并且存储器404可以是静态随机存取存储器(SRAM)、电可以擦除可以编程只读存储器(EEPROM)、可以擦除可以编程只读存储器(EPROM)、可以编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪存、磁盘或光盘。

电源组件406为装置400的不同组件供电。电源组件406可以包括电源管理系统、一个或多个电源以及与为装置400产生、管理和分配电力相关联的其他组件。

多媒体组件408包括在装置400和用户之间提供输出接口的屏幕。在一些示例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，则屏幕可以被实现为从用户接收输入信号的触摸屏。触摸面板可以包括用于感测触摸面板上的触摸、滑动和手势的一个或多个触摸传感器。触摸传感器不仅可以感测触摸或滑动动作的边界，而且可以检测与触摸或滑动操作相关的持续时间和压力。在一些示例中，多媒体组件408可以包括前置相机和/或后置相机。当装置400处于诸如拍摄模式或视频模式的操作模式时，前置相机和/或后置相机可以接收外部多媒体数据。

音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括麦克风(MIC)。当装置400处于操作模式(诸如呼叫模式、录音模式和语音识别模式)时，麦克风被配置为接收外部音频信号。接收的音频信号可以进一步被存储在存储器404中或经由通信组件416被发送。在一些示例中，音频组件410还包括用于输出音频信号的扬声器。

I/O接口412提供处理组件402与外围接口模块之间的接口。上述外围接口模块可以是键盘、点击轮、按钮等。这些按钮可以包括但不限于主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件414包括用于在装置400的不同方面中提供状态评估的一个或多个传感器。例如，传感器组件414可以检测装置400的开/关状态和组件的相对位置。例如，组件是装置400的显示器和键盘。传感器组件414还可以检测装置400或装置400的组件的位置变化、用户在装置400上接触的存在或离开、装置400的方向或加速度/减速度、以及装置400的温度变化。传感器组件414可以包括被配置为在没有任何物理触摸的情况下检测附近物体的存在的接近传感器。传感器组件414还可以包括光学传感器，诸如在成像应用中使用的CMOS或CCD图像传感器。在一些示例中，传感器组件414还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。

通信组件416被配置为促进装置400与其它设备之间的有线或无线通信。装置400可以基于诸如WiFi、4G或其组合的通信标准来接入无线网络。在示例中，通信组件416经由广播信道从外部广播管理系统接收广播信号或广播相关信息。在示例中，通信组件416还可以包括用于促进短距离通信的近场通信(NFC)模块。例如，NFC模块可以基于射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术和其他技术来实现。

在示例中，装置400可以由专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可以编程逻辑器件(PLD)、现场可以编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件中的一个或多个来实现，以执行上述方法。

非暂态计算机可读存储介质可以是例如硬盘驱动器(HDD)、固态驱动器(SSD)、闪存、混合驱动器或固态混合驱动器(SSHD)、只读存储器(ROM)、光盘只读存储器(CD-ROM)、磁带、软盘等。

图5是示出根据本公开的一些实施方式的视频编解码中的运动矢量预测的示例性过程的流程图。

在步骤502，处理器420构建针对当前编解码单元(CU)的合并候选列表。

在步骤504，处理器420通过对合并候选列表中的一对或更多对候选求平均导出一个或多个成对合并候选并且导出一个或多个HMVP候选，HMVP候选定义先前经编解码的CU的运动信息。

在步骤506，处理器420将一个或多个成对合并候选插入合并候选列表中。

在步骤508，处理器420将一个或多个HMVP候选插入到合并候选列表中。结果是，在将一个或多个HMVP候选插入到合并候选列表中之后，没有成对合并候选被插入到合并候选列表中，避免在插入一个或多个HMVP候选时检查合并候选列表中的所有候选的总数是否达到预设阈值。

处理器420可以仅对一个或多个HMVP候选中首先插入到合并候选列表中的第一个HMVP候选应用冗余检查。具体地，检查第一个HMVP候选是否与合并候选列表中的当前CU的空间合并候选相同。空间合并候选是左侧空间合并候选或上方空间合并候选。并且响应于确定第一个HMVP候选与合并候选列表中的空间合并候选相同，从合并候选列表去除该空间合并候选。

处理器420可以对一个或多个HMVP候选应用冗余检查。具体地，检查一个或多个HMVP候选之一是否与合并候选列表中的当前CU的空间合并候选相同。空间合并候选是左侧空间合并候选或上方空间合并候选。并且响应于确定一个或多个HMVP候选之一与合并候选列表中的空间合并候选相同，从合并候选列表去除该空间合并候选。

处理器420可以对一个或多个HMVP候选应用冗余检查。仅当合并候选列表中既不存在当前CU的左侧空间合并候选也不存在当前CU的上方空间合并候选时，检查一个或多个HMVP候选之一是否与合并候选列表中的当前CU的顶部空间合并候选相同。并且响应于确定一个或多个HMVP候选之一与合并候选列表中的顶部空间合并候选相同，从合并候选列表去除顶部空间合并候选。

处理器420可以对一个或多个HMVP候选应用冗余检查。检查一个或多个HMVP候选之一是否与合并候选列表中的当前CU的左侧空间合并候选相同。并且响应于确定一个或多个HMVP候选之一与合并候选列表中的左侧空间合并候选相同，从合并候选列表去除左侧空间合并候选。

当将一个或多个HMVP候选插入到合并候选列表中时，处理器420可以按从包括一个或多个HMVP候选的HMVP表中的第一个条目到最后一个条目的顺序检查一个或多个HMVP候选。

当将一个或多个HMVP候选插入到合并候选列表中时，处理器420可以按从HMVP表中的第K个条目到第一个条目然后从HMVP表中的最后一个条目到第(K+1)个条目的顺序检查一个或多个HMVP候选，其中HMVP表包括一个或多个HMVP候选，并且K是不小于1且不大于HMVP表中的HMVP候选的数量的非负整数。

在一些示例中，提供了一种用于视频编解码的计算设备。该计算设备包括一个或多个处理器420；以及存储器404，被配置为存储可以由一个或多个处理器执行的指令；处理器在执行所述指令时被配置为执行如图5所示的方法。

在一些其他示例中，提供了一种非暂态计算机可读存储介质404，其中存储有指令。当所述指令由一个或多个处理器420执行时，所述指令使处理器执行如图5所示的方法。

本公开的描述已经出于说明的目的被呈现，并且不旨在穷举或限于本公开。受益于在前面的描述和相关联的附图中呈现的教导，许多修改、变化和替代实施方式对于本领域普通技术人员将是显而易见的。

选择和描述示例是为了解释本公开的原理，并且使本领域的其它技术人员能够理解本公开的各种实施方式，并且最好地利用基本原理和具有适合于预期的特定用途的各种修改的各种实施方式。因此，将理解，本公开的范围不限于所公开的实施方式的具体示例，并且修改和其它实施方式旨在被包括在本公开的范围内。

Claims (20)

1.一种视频编解码方法，包括：

构建针对当前编解码单元CU的合并候选列表；

通过对所述合并候选列表中的一对或更多对候选求平均导出一个或多个成对合并候选并且导出一个或多个基于历史的运动矢量预测HMVP候选，所述HMVP候选定义先前经编解码的CU的运动信息，其中所述一个或多个成对合并候选的数量为N并且N是非负整数；

将所述一个或多个成对合并候选插入到所述合并候选列表中；以及

将所述一个或多个HMVP候选插入到所述合并候选列表中，使得在将所述一个或多个HMVP候选插入到所述合并候选列表中之后，没有成对合并候选被插入到所述合并候选列表中，而在插入所述一个或多个HMVP候选时不检查所述合并候选列表中的所有候选的总数是否达到预设阈值。

2.根据权利要求1所述的方法，还包括：

通过以下操作仅对所述一个或多个HMVP候选中首先被插入到所述合并候选列表中的第一个HMVP候选应用冗余检查：

检查所述第一个HMVP候选是否与所述合并候选列表中的所述当前CU的空间合并候选相同，其中所述空间合并候选是左侧空间合并候选或上方空间合并候选；以及

响应于确定所述第一个HMVP候选与所述合并候选列表中的所述空间合并候选相同，从所述合并候选列表去除所述空间合并候选。

3.根据权利要求1所述的方法，还包括：

通过以下操作对所述一个或多个HMVP候选应用冗余检查：

检查所述一个或多个HMVP候选之一是否与所述合并候选列表中的所述当前CU的空间合并候选相同，其中所述空间合并候选是左侧空间合并候选或上方空间合并候选；以及

响应于确定所述一个或多个HMVP候选之一与所述合并候选列表中的所述空间合并候选相同，从所述合并候选列表去除所述空间合并候选。

4.根据权利要求1所述的方法，还包括：

通过以下操作对所述一个或多个HMVP候选应用冗余检查：

仅当所述合并候选列表中既不存在所述当前CU的左侧空间合并候选也不存在所述当前CU的上方空间合并候选时，检查所述一个或多个HMVP候选之一是否与所述合并候选列表中的所述当前CU的顶部空间合并候选相同；以及

响应于确定所述一个或多个HMVP候选之一与所述合并候选列表中的所述顶部空间合并候选相同，从所述合并候选列表去除所述顶部空间合并候选。

5.根据权利要求1所述的方法，还包括：通过以下操作对所述一个或多个HMVP候选应用冗余检查：

检查所述一个或多个HMVP候选之一是否与所述合并候选列表中的所述当前CU的左侧空间合并候选相同；以及

响应于确定所述一个或多个HMVP候选之一与所述合并候选列表中的所述左侧空间合并候选相同，从所述合并候选列表去除所述左侧空间合并候选。

6.根据权利要求1所述的方法，其中当将所述一个或多个HMVP候选插入到所述合并候选列表中时，不通过检查所述一个或多个HMVP候选之一是否与所述当前CU的左侧空间候选或上方空间候选相同来对所述一个或多个HMVP候选应用MV冗余检查。

7.根据权利要求1所述的方法，还包括：

当将所述一个或多个HMVP候选插入到所述合并候选列表中时，按从包括所述一个或多个HMVP候选的HMVP表中的第一个条目到最后一个条目的顺序检查所述一个或多个HMVP候选。

8.根据权利要求1所述的方法，还包括：

当将所述一个或多个HMVP候选插入到所述合并候选列表中时，按从HMVP表中的第K个条目到第一个条目然后从所述HMVP表中的最后一个条目到第(K+1)个条目的顺序检查所述一个或多个HMVP候选，其中所述HMVP表包括所述一个或多个HMVP候选，并且K是不小于1且不大于所述HMVP表中的HMVP候选的数量的非负整数。

9.根据权利要求7所述的方法，还包括：

通过以下操作仅对所述一个或多个HMVP候选中首先被插入到所述合并候选列表中的第一个HMVP候选应用冗余检查：

检查所述第一个HMVP候选是否与所述合并候选列表中的所述当前CU的空间合并候选相同，其中所述空间合并候选是左侧空间合并候选或上方空间合并候选；以及

响应于确定所述第一个HMVP候选与所述合并候选列表中的所述空间合并候选相同，从所述合并候选列表去除所述空间合并候选。

10.根据权利要求7所述的方法，还包括：

通过以下操作对所述一个或多个HMVP候选应用冗余检查：

检查所述一个或多个HMVP候选之一是否与所述合并候选列表中的所述当前CU的左侧空间合并候选相同；以及

响应于确定所述一个或多个HMVP候选之一与所述合并候选列表中的所述左侧空间合并候选相同，从所述合并候选列表去除所述左侧空间合并候选。

11.根据权利要求7所述的方法，其中当将所述一个或多个HMVP候选插入到所述合并候选列表中时，不通过检查所述一个或多个HMVP候选之一是否与所述当前CU的左侧空间候选或上方空间候选相同来对所述一个或多个HMVP候选应用MV冗余检查。

12.一种计算设备，包括：

一个或多个处理器；

非暂态存储装置，被耦接到所述一个或多个处理器；以及

多个程序，被存储在所述非暂态存储装置中，所述多个程序在由所述一个或多个处理器执行时使所述一个或多个处理器执行动作，所述动作包括：

构建针对当前编解码单元CU的合并候选列表；

通过对所述合并候选列表中的一对或更多对候选求平均导出一个或多个成对合并候选并且导出一个或多个基于历史的运动矢量预测HMVP候选，所述HMVP候选定义先前经编解码的CU的运动信息，其中所述一个或多个成对合并候选的数量为N并且N是非负整数；

将所述一个或多个成对合并候选插入到所述合并候选列表中；以及

将所述一个或多个HMVP候选插入到所述合并候选列表中，使得在将所述一个或多个HMVP候选插入到所述合并候选列表中之后，没有成对合并候选被插入到所述合并候选列表中，而在插入所述一个或多个HMVP候选时不检查所述合并候选列表中的所有候选的总数是否达到预设阈值。

13.根据权利要求12所述的计算设备，其中所述多个程序使所述一个或多个处理器执行动作，所述动作还包括：

通过以下操作仅对所述一个或多个HMVP候选中的第一个HMVP候选应用冗余检查：

检查所述第一个HMVP候选是否与所述合并候选列表中的所述当前CU的空间合并候选相同，其中所述空间合并候选是左侧空间合并候选或上方空间合并候选；以及

响应于确定所述第一个HMVP候选与所述合并候选列表中的所述空间合并候选相同，从所述合并候选列表去除所述空间合并候选。

14.根据权利要求12所述的计算设备，其中所述多个程序使所述一个或多个处理器执行动作，所述动作还包括：

通过以下操作对所述一个或多个HMVP候选应用冗余检查：

检查所述一个或多个HMVP候选之一是否与所述合并候选列表中的所述当前CU的空间合并候选相同，其中所述空间合并候选是左侧空间合并候选或上方空间合并候选；以及

响应于确定所述一个或多个HMVP候选之一与所述合并候选列表中的所述空间合并候选相同，从所述合并候选列表去除所述空间合并候选。

15.根据权利要求12所述的计算设备，其中所述多个程序使所述一个或多个处理器执行动作，所述动作还包括：

通过以下操作对所述一个或多个HMVP候选应用冗余检查：

仅当所述合并候选列表中既不存在所述当前CU的左侧空间合并候选也不存在所述当前CU的上方空间合并候选时，检查所述一个或多个HMVP候选之一是否与所述合并候选列表中的所述当前CU的顶部空间合并候选相同；以及

响应于确定所述一个或多个HMVP候选之一与所述合并候选列表中的所述顶部空间合并候选相同，从所述合并候选列表去除所述顶部空间合并候选。

16.根据权利要求12所述的计算设备，其中所述多个程序使所述一个或多个处理器执行动作，所述动作还包括：

通过以下操作对所述一个或多个HMVP候选应用冗余检查：

检查所述一个或多个HMVP候选之一是否与所述合并候选列表中的所述当前CU的左侧空间合并候选相同；以及

响应于确定所述一个或多个HMVP候选之一与所述合并候选列表中的所述左侧空间合并候选相同，从所述合并候选列表去除所述左侧空间合并候选。

17.根据权利要求12所述的计算设备，其中当将所述一个或多个HMVP候选插入到所述合并候选列表中时，不通过检查所述一个或多个HMVP候选之一是否与所述当前CU的左侧空间候选或上方空间候选相同来对所述一个或多个HMVP候选应用MV冗余检查。

18.根据权利要求12所述的计算设备，其中所述多个程序使所述一个或多个处理器执行动作，所述动作还包括：

当将所述一个或多个HMVP候选插入到所述合并候选列表中时，按从包括所述一个或多个HMVP候选的HMVP表中的第一个条目到最后一个条目的顺序检查所述一个或多个HMVP候选。

19.根据权利要求12所述的计算设备，其中所述多个程序使所述一个或多个处理器执行动作，所述动作还包括：

当将所述一个或多个HMVP候选插入到所述合并候选列表中时，按从HMVP表中的第K个条目到第一个条目然后从所述HMVP表中的最后一个条目到第(K+1)个条目的顺序检查所述一个或多个HMVP候选，其中所述HMVP表包括所述一个或多个HMVP候选，并且K是不小于1且不大于所述HMVP表中的HMVP候选的数量的非负整数。

20.一种非暂态计算机可读存储介质，存储用于由具有一个或多个处理器的计算设备执行的多个程序，其中所述多个程序在由所述一个或多个处理器执行时使所述一个或多个处理器执行动作，所述动作包括：

构建针对当前编解码单元CU的合并候选列表；

通过对所述合并候选列表中的一对或更多对候选求平均导出一个或多个成对合并候选并且导出一个或多个基于历史的运动矢量预测HMVP候选，所述HMVP候选定义先前经编解码的CU的运动信息，其中所述一个或多个成对合并候选的数量为N并且N是非负整数；

将所述一个或多个成对合并候选插入到所述合并候选列表中；以及

将所述一个或多个HMVP候选插入到所述合并候选列表中，使得在将所述一个或多个HMVP候选插入到所述合并候选列表中之后，没有成对合并候选被插入到所述合并候选列表中，而在插入所述一个或多个HMVP候选时不检查所述合并候选列表中的所有候选的总数是否达到预设阈值。

Images