CN113574890B

CN113574890B - 基于指定的候选的成对运动候选列的构造

Info

Publication number: CN113574890B
Application number: CN202080020109.5A
Authority: CN
Inventors: 张凯; 张莉; 刘鸿彬; 许继征; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-03-11
Filing date: 2020-03-11
Publication date: 2024-04-12
Anticipated expiration: 2040-03-11
Also published as: WO2020182148A1; CN113557735A; CN113557735B; CN113574890A; WO2020182147A1

Abstract

一种视频处理方法，包括从特定组的一个或多个子组获取至少一组运动信息，该特定组包括作为成员的N个空域或时域邻近块和/或基于历史的运动矢量预测(HMVP)表中的P个条目，N和P是整数；基于至少一组运动信息，构造要插入到与当前视频块相关联的候选列表中的至少一个成对平均Merge候选；以及使用该候选列表执行当前视频块和当前视频块的比特流表示之间的转换。

Description

基于指定的候选的成对运动候选列的构造

根据适用的专利法和/或巴黎公约的规则，本申请旨在及时要求于2019年3月11日提交的国际专利申请PCT/CN2019/077637、2019年3月14日提交的国际专利申请PCT/CN2019/078147、2019年3月18日提交的国际专利申请PCT/CN2019/078505的优先权和利益。前述申请的全部公开内容通过引用并入作为本申请的公开内容的一部分。

技术领域

本专利文档涉及视频编解码技术、设备和系统。

背景技术

尽管在视频压缩方面取得了进步，数字视频仍然占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计对数字视频使用的带宽需求将继续增长。

发明内容

在一个示例方面，公开了一种视频处理的方法。该方法包括：从特定组的一个或多个子组获取至少一组运动信息，该特定组包括作为成员的N个空域或时域邻近块和/或基于历史的运动矢量预测(HMVP)表中的P个条目，N和P是整数；基于至少一组运动信息，构造要插入到与当前视频块相关联的候选列表中的至少一个成对平均Merge候选；以及使用该候选列表执行当前视频块和当前视频块的比特流表示之间的转换。

在另一个示例方面，公开了一种视频系统中的装置。该装置包括处理器和其上具有指令的非暂时性存储器，其中指令在由处理器运行时使得处理器实施如上所述的方法。

在又一个示例方面，公开了一种其上存储有程序代码的非暂时性计算机可读介质，该程序代码在被运行时使得处理器实施如上所述的方法。

在又一个示例方面，公开了一种被配置为实施上述方法之一的视频编码器装置。

在又一个示例方面，公开了一种被配置为实施上述方法之一的视频解码器装置。

在又一方面，公开了一种计算机可读介质。用于实施上述方法之一的处理器可运行代码存储在该计算机可读介质上。

本文档中描述了这些和其他方面。

附图说明

图1示出了Merge候选列表构造的示例推导过程。

图2示出了空域Merge候选的位置的示例。

图3示出了考虑用于空域Merge候选的冗余检查的候选对的示例。

图4示出了N×2N和2N×N分割的第二PU(Prediction Unit，预测单元)的位置的示例。

图5是时域Merge候选的运动矢量缩放的示例图示。

图6示出了时域Merge候选C0和C1的候选位置的示例。

图7示出了组合的双向预测Merge候选的示例。

图8总结了运动矢量预测候选的推导过程。

图9示出了空域运动矢量候选的运动矢量缩放的图示。

图10示出了用于实施本文档中描述的技术的示例装置。

图11是视频处理的示例方法的流程图。

具体实施方式

本文档提供了图像或视频比特流的解码器可以使用的各种技术，以改进解压缩或解码的数字视频或图像的质量。为简洁起见，本文使用的术语“视频”包括图片序列(传统上称为视频)和单个图像。此外，视频编码器还可以在编码过程中实施这些技术，以便重建用于进一步编码的解码帧。

为了便于理解，在本文档中使用了章节标题，但是不将实施例和技术限制到相应的章节。这样，来自一个章节的实施例可以与来自其他章节的实施例相结合。

1.简要总结

本专利文档涉及视频编解码技术。具体地，它涉及视频编解码中的候选列表构造。它可以应用于现有的视频编解码标准，如HEVC，或即将要定案的标准(例如，多功能视频编解码(Versatile Video Coding，VVC))。它也可以应用于未来的视频编解码标准或视频编解码器。

2.初步讨论

视频编解码标准主要是通过熟知的ITU-T和ISO/IEC标准的发展而演变的。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4可视化，并且这两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(Advanced Video Coding，AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中利用时域预测加变换编解码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索组(Joint Video Exploration Team，JVET)。此后，JVET采用了许多新方法，并将其放入名为联合探索模型(Joint Exploration Model，JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家组(JVET)成立，以致力于VVC标准，目标是与HEVC相比比特率降低50％。

2.1HEVC/H.265中的帧间预测

每个帧间预测的PU具有一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。也可以使用inter_pred_idc来信令通知对两个参考图片列表中的一个的使用。运动矢量可以被显式地编解码为相对于预测量的偏差(delta)。

当CU以跳过模式编解码时，一个PU与CU相关联，并且不存在显著的残差系数、没有编解码的运动矢量偏差或参考图片索引。规定Merge模式，从而从包括空域和时域候选的邻近PU获得当前PU的运动参数。Merge模式可以应用于任何帧间预测的PU，而不仅仅用于跳过模式。Merge模式的可选方案是运动参数的显式传输，其中每PU显式地信令通知运动矢量(更准确地，与运动矢量预测量相比的运动矢量差(MVD))、每个参考图片列表的对应参考图片索引和参考图片列表的使用。在本公开中，这种模式被称为高级运动矢量预测(AdvancedMotion Vector Prediction，AMVP)。

当信令指示要使用两个参考图片列表中的一个时，从一个样点块产生PU。这被称为“单向预测”。单向预测可用于P条带和B条带两者。

当信令指示要使用两个参考图片列表时，从两个样点块产生PU。这被称为“双向预测”。双向预测仅可用于B条带。

以下文本提供了关于HEVC中规定的帧间预测模式的详细信息。描述将从Merge模式开始。

2.1.1参考图片列表

在HEVC中，术语帧间预测被用来表示从除当前解码图片之外的参考图片的数据元素(例如，样点值或运动矢量)推导的预测。像在H.264/AVC中一样，图片可以从多个参考图片中预测。用于帧间预测的参考图片被组织在一个或多个参考图片列表中。参考索引标识列表中的哪个参考图片应该用于创建预测信号。

单个参考图片列表，列表0，用于P条带，两个参考图片列表，列表0和列表1，用于B条带。应当注意，列表0/列表1中包括的参考图片在捕捉/显示顺序方面可以来自过去和未来的图片。

2.1.2 HEVC中的Merge模式

2.1.2.1Merge模式的候选的推导

当使用Merge模式预测PU时，从比特流中解析指向Merge候选列表中的条目的索引并将其用于检索运动信息。在HEVC标准中规定了该列表的构造，并且可以按照以下步骤的序列进行概述：

·步骤1：初始候选推导

ο步骤1.1：空域候选推导

ο步骤1.2：空域候选的冗余检查

ο步骤1.3：时域候选推导

·步骤2：附加候选插入

ο步骤2.1：创建双向预测候选

ο步骤2.2：插入零运动候选

这些步骤也示意性地描绘在图1中。对于空域Merge候选推导，在位于五个不同位置的候选当中选择最多四个Merge候选。对于时域Merge候选推导，在两个候选当中选择最多一个Merge候选。由于在解码器处假设每个PU的恒定数量的候选，因此当从步骤1获得的候选的数量未达到在条带头中信令通知的Merge候选的最大数量(MaxNumMergeCand)时，生成附加候选。由于候选的数量是恒定的，因此使用截断一元二值化(Truncated Unarybinarization，TU)对最佳Merge候选的索引进行编码。如果CU的尺寸等于8，则当前CU的所有PU共用单个Merge候选列表，其与2N×2N预测单元的Merge候选列表相同。

在下文中，将详细描述与上述步骤相关联的操作。

2.1.2.2空域候选推导

在空域Merge候选的推导中，在位于图2中描绘的位置的候选当中选择最多四个Merge候选。推导的顺序是A₁、B₁、B₀、A₀和B₂。仅当位置A₁、B₁、B₀、A₀的任何PU不可用(例如，因为它属于另一条带或片)或者是帧内编解码的时，才考虑位置B₂。在添加位置A₁处的候选之后，对剩余候选的添加进行冗余检查，其确保具有相同运动信息的候选被排除在列表之外，从而提高编解码效率。为了降低计算复杂度，在所提到的冗余检查中并非所有可能的候选对都被考虑。相反，只考虑与图3中的箭头链接的对，并且仅在用于冗余检查的对应候选没有相同的运动信息，才将候选添加到列表中。重复运动信息的另一源是与不同于2N×2N的分割相关联的“第二PU”。作为示例，图4描绘了第二PU是N×2N和2N×N的情况。在当前PU被分割为N×2N时，位置A₁处的候选不被考虑用于列表构造。事实上，通过添加该候选将导致两个预测单元具有相同的运动信息，这对于在编解码单元中只具有一个PU是冗余的。类似地，在当前PU被分割为2N×N时，不考虑位置B₁。

2.1.2.3时域候选推导

在该步骤中，仅一个候选被添加到列表。具体地，在该时域Merge候选的推导中，基于属于给定参考图片列表内与当前图片具有最小POC(Picture Order Count，图片顺序计数)差的图片的共位(co-located)PU来推导缩放运动矢量。在条带头中显式地信令通知要用于推导共位PU的参考图片列表。如在图5中由虚线所示的，获得了对时域Merge候选的缩放运动矢量，该缩放运动矢量是使用POC距离tb和td从共位PU的运动矢量缩放的，其中tb被定义为当前图片的参考图片与当前图片之间的POC差，并且td被定义为共位图片的参考图片与共位图片之间的POC差。时域Merge候选的参考图片索引被设置为等于零。HEVC规范中描述了缩放过程的实际实现。对于B条带，两个运动矢量(一个用于参考图片列表0，并且另一个用于参考图片列表1)被获得并组合，以生成双向预测Merge候选。

在属于参考帧的共位PU(Y)中，在候选C₀和C₁之间选择时域候选的位置，如图6所描绘的。如果位置C₀处的PU不可用、是帧内编解码的、或者在当前编解码树单元(CTU，又称LCU，最大编解码单位)行(row)的外部，则使用位置C₁。否则，在时域Merge候选的推导中使用位置C₀。

时域运动矢量预测也被称为“TMVP”。

2.1.2.4附加候选插入

除了空域和时域的Merge候选之外，存在两种附加类型的Merge候选：组合的双向预测Merge候选和零Merge候选。通过利用空域和时域的Merge候选来生成组合的双向预测Merge候选。组合的双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一个的第二参考图片列表运动参数组合来生成组合的双向预测候选。如果这两个元组提供不同的运动假设，则它们将形成新的双向预测候选。作为示例，图7示出了当原始列表(在左边)中的两个候选(其具有mvL0和refIdxL0或mvL1和refIdxL1)用于创建被添加到最终列表(在右边)的组合的双向预测Merge候选。存在许多关于组合的规则，这些规则被考虑以生成这些附加Merge候选。

插入零运动候选以填充Merge候选列表中的剩余条目，并因此达到MaxNumMergeCand容量。这些候选具有零空域位移和参考图片索引，该索引从零开始并且每次向列表中添加新的零运动候选时增加。最后，不对这些候选执行冗余检查。

2.1.3 AMVP

AMVP利用运动矢量与邻近PU的空时相关性，该空时相关性用于运动参数的显式传输。对于每个参考图片列表，通过首先检查左边、上边的时域邻近的PU位置的可用性，移除冗余候选并添加零矢量以使候选列表为恒定长度，来构造运动矢量候选列表。然后，编码器可以从候选列表中选择最佳预测量，并发送指示所选候选的对应索引。与Merge索引信令类似，使用截断一元对最佳运动矢量候选的索引进行编码。在这种情况下，要编码的最大值是2(见图8)。在接下来的章节中，将提供关于运动矢量预测候选的推导过程的细节。

2.1.3.1推导AMVP候选

图8示出了运动矢量预测候选的示例推导过程。

在运动矢量预测中，考虑两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选推导，最终基于位于如在图2中描绘的五个不同位置的每个PU的运动矢量来推导两个运动矢量候选。

对于时域运动矢量候选推导，从基于两个不同共位位置而推导的两个候选中选择一个运动矢量候选。在产生第一空时候选列表之后，移除列表中的重复运动矢量候选。如果潜在候选的数量大于二，则从列表中移除相关联的参考图片列表内其参考图片索引大于1的运动矢量候选。如果空时运动矢量候选的数量小于二，则将附加的零运动矢量候选添加到列表。

2.1.3.2空域运动矢量候选

在空域运动矢量候选的推导中，在从位于如在图2中描绘的位置的PU中推导的五个潜在候选当中考虑最多两个候选，那些位置与运动Merge的位置相同。当前PU的左侧的推导顺序被定义为A₀、A₁、以及缩放A₀、缩放A₁。当前PU的上侧的推导顺序被定义为B₀、B₁、B₂、缩放B₀、缩放B₁、缩放B₂。因此对于每一侧，存在可以用作运动矢量候选的四种情况，其中两种情况不需要使用空域缩放，两种情况使用空域缩放。四种不同的情况概述如下：

·没有空域缩放

-(1)相同的参考图片列表，以及相同的参考图片索引(相同的POC)

-(2)不同的参考图片列表，但是相同的参考图片(相同的POC)

·空域缩放

-(3)相同的参考图片列表，但是不同的参考图片(不同的POC)

-(4)不同的参考图片列表，以及不同的参考图片(不同的POC)

首先检查非空域缩放情况，然后是允许空域缩放的情况。当不管参考图片列表如何，POC在邻近PU的参考图片与当前PU的参考图片之间都不同时，考虑空域缩放。如果左边候选的所有PU都不可用或者都是帧内编解码的，则允许针对上边运动矢量的缩放有助于对左边和上边MV候选的并行推导。否则，针对上边运动矢量不允许空域缩放。

在空域缩放过程中，以与时域缩放类似的方式来缩放邻近PU的运动矢量，如图9所描绘的。主要差异在于参考图片列表和当前PU的索引被给定作为输入；实际缩放过程与时域缩放的过程相同。

2.1.3.3时域运动矢量候选

除了参考图片索引推导之外，用于推导时域Merge候选的所有过程与用于推导空域运动矢量候选的过程相同(见图6)。参考图片索引被信令通知给解码器。

2.2 VVC中的帧间预测方法

有几种用于帧间预测改进的新的编解码工具，诸如用于信令通知MVD的自适应运动矢量差分辨率(Adaptive motion vector difference resolution，AMVR)、仿射预测模式、三角形预测模式(TPM)、ATMVP、广义双向预测(GBI)、双向光流(BIO)。

2.2.1 VVC中的编解码块结构

在VVC中，采用四叉树/二叉树/多叉树(QT/BT/TT)结构将图片划分为正方形或矩形块。

除了QT/BT/TT，在VVC中对于I-帧还采用了分开的树(又称双重编解码树)。利用分开的树，针对亮度和色度分量分别信令通知编解码块结构。

2.2.2 VVC中的扩展Merge预测

在VTM4中，Merge候选列表是通过按顺序包括以下五种类型的候选来构造的：

来自空域邻近者CU的空域MVP

来自共位CU的时域MVP

来自FIFO表中的基于历史的MVP

成对平均MVP

零MV。

Merge列表的尺寸在条带头中信令通知，并且在VTM4中Merge列表的最大允许尺寸是6。对于Merge模式中的每个CU码，使用截断的一元二值化(TU)编码最佳Merge候选的索引。Merge索引的第一个位元用上下文编解码，旁路编解码用于其他位元。

Merge候选的每个类别的生成过程都在此进程中提供。

2.2.1.1空域候选推导

VVC中的空域Merge候选的推导与HEVC中的相同。

2.2.2.2时域候选推导

VVC中的时域Merge候选的推导与HEVC中的相同。

2.2.2.3基于历史的Merge候选推导

基于历史的MVP(history-based MVP，HMVP)Merge候选被添加到Merge列表中的空域MVP和TMVP之后。在该方法中，先前编解码的块的运动信息被存储在表中，并被用作当前CU的MVP。在编码/解码过程期间，维护具有多个HMVP候选的表。当遇到新的CTU行时，表被重置(清空)。每当有非子块帧间编解码的CU时，相关联的运动信息被添加到表的最后一个条目，作为新的HMVP候选。

在VTM4中，HMVP表的尺寸S设置为6，这表示可以向表中添加最多6个基于历史的MVP(HMVP)候选。当向表中插入新的候选运动时，利用受约束的先进先出(First-In-First-Out，FIFO)规则，其中首先应用冗余检查来发现表中是否存在相同的HMVP。如果找到，则从表中移除相同的HMVP，然后所有之后的HMVP候选向前移动。

HMVP候选可以用于Merge候选列表构造过程。表中最新的若干个候选被按顺序检查并被插入到候选列表中的TMVP候选之后。冗余检查应用于空域或时域Merge候选的HMVP候选。

为了减少冗余检查操作的数量，引入了以下简化：

用于Merge列表生成的HMPV候选的数量设置为(N<＝4)？M:(8-N)，其中N表示Merge列表中现有候选的数量，M表示表中可用的HMVP候选的数量。

一旦可用Merge候选的总数量达到最大允许的Merge候选减1，则根据HMVP的Merge候选列表构造过程就终止。

2.2.2.4成对平均Merge候选推导

成对平均候选是通过对现有Merge候选列表中的预定的候选对进行平均而生成的，并且预定的对被定义为{(0,1)}，其中，数字表示Merge候选列表的Merge索引。为每个参考列表单独计算平均运动矢量。如果两个运动矢量在一个列表中可用，则即使这两个运动矢量指向不同的参考图片，也会对它们进行平均；如果只有一个运动矢量可用，则直接使用该运动矢量；如果没有运动矢量可用，则保持该列表无效。

当添加成对平均Merge候选后Merge列表未满时，将在末尾插入零MVP，直到达到最大Merge候选数量。

2.2.3 VVC中的共用Merge列表

为了降低解码器的复杂度并支持并行编码，JVET-M0147提出为CU划分树中一个祖先节点的所有叶编解码单元(CU)共用相同的Merge候选列表，以便能够并行处理小的跳过/Merge编解码的CU。祖先节点被命名为Merge共用节点。在Merge共用节点处生成共用Merge候选列表，假设Merge共用节点是叶CU。

更具体地，以下可能适用：

如果块具有不大于32个的亮度样点，并且被划分成2个4×4子块，则在非常小的块(例如，两个相邻的4×4块)之间使用共用Merge列表。

然而，如果块具有大于32个的亮度样点，在划分之后，至少一个子块小于阈值(32)，则该划分的所有子块共用相同的Merge列表(例如，16×4三叉树划分或8×8四叉树划分)。

这种限制仅应用于常规Merge模式。

2.2.4 IBC Merge列表

当按照JVET-M0483中的提议添加IBC时，HMVP候选也适用于IBC Merge列表。

更具体地，可以存储另外5个IBC候选。在当前实施方式中，常规和IBC候选存储在相同的HMVP表中。但是，它们是独立使用和更新的。前M(M≤5)个候选用于常规Merge/AMVP列表；剩余的N个候选(N≤5)用于IBC模式。维护两个计数器以指示在HMVP表中有多少常规运动候选和多少IBC运动候选。因此，它相当于使用两个HMVP表，一个用于常规Merge模式，另一个用于IBC模式。

共用与常规MV Merge相同的过程，但不允许TMVP，零矢量表示不可用，因为其是无效的。注意，对于空域邻近块，仅当其以IBC模式编解码时，相关联的运动信息才可以被添加到IBC Merge列表。同时，对于HMVP部分，在IBC Merge列表中只有最后几个HMVP候选(存储的IBC运动候选)可以被考虑。

3.由实施例解决的问题的示例

在Merge候选列表构造的当前设计中，只有在前两个Merge候选已经在候选列表中时，才能构建成对平均Merge候选。在最坏的情况下，在构建成对平均候选之前，必须遍历所有可能的Merge候选。因此，成对平均候选不能与其他候选并行构建。

4.示例技术和实施例

下面列出的技术应被视为解释一般概念的示例。这些技术不应狭义地解释。此外，这些技术可以以任何方式组合。

在以下讨论中，SatShift(x,n)定义为

Shift(x,n)定义为Shift(x,n)＝(x+offset0)>>n。

在一个示例中，offset0和/或offset1被设置为(1<<n)>>1or(1<<(n-1))。在一个示例中，offset0和/或offset1被设置为0。

在另一个示例中，offset0＝offset1＝((1<<n)>>1)-1or((1<<(n-1)))-1。

Clip3(min,max,x)定义为

在本文档中，两个运动矢量之间的运算意味着该运算将应用于运动矢量的两个分量。例如，MV3＝MV1+MV2相当于MV3_x＝MV1_x+MV2_x and MV3_y＝MV1_y+MV2_y。

在本文档中，左侧邻近块、左下邻近块、上侧邻近块、右上邻近块和左上邻近块被表示为块A₁、A₀、B₁、B₀和B₂，如图2所示。

1.在一个示例中，如果只有一组运动信息(它可以从空域邻近块、或从时域邻近块、或从HMVP条目等获取)可用于构建成对平均Merge候选，则不能构建成对平均Merge候选。

a.可替代地，可以用一组运动信息来构建成对平均Merge候选。假设运动信息包括：表示为inter_dir的帧间预测方向、表示为ref_idx[0]和ref_idx[1]的两个列表的参考索引(ref_idx[L]L＝0或1，如果没有运动矢量参考参考列表x，则其被标记为“-1”)、表示为gbi_idx的GBi索引、表示为对参考列表0进行参考的运动矢量(mv⁰ _x,mv⁰ _y)以及表示为对参考列表1进行参考的运动矢量(mv¹ _x,mv¹ _y)。则可以遵循下面的一个或一些示例性规则来构建成对平均Merge候选的运动信息：

1)在一个示例中，inter_dir被复制到成对平均Merge候选。

2)在一个示例中，ref_idx[0]，ref_idx[1]被复制到成对平均Merge候选。

3)在一个示例中，gbi_idx被复制到成对平均Merge候选。

a.可替代地，成对平均Merge候选的GBi索引被设置为零或其他默认值，意味着GBi关闭。

4)在一个示例中，如果(mv^L _x,mv^L _y)可用，其中L＝0或1，则(f(mv^L _x),g(mv^L _y))被设置为对参考列表L进行参考的成对平均Merge候选的运动矢量。f和g是两个函数。

a.在一个示例中，f(m)＝g(m)＝m+offset，其中offset是整数，诸如3。

b.在一个示例中，f(m)＝g(m)＝m+(offset<<Precise)，其中offset是整数，诸如3；Precise定义MV精度，例如，Precise＝4。

c.在一个示例中，f(m)＝g(m)＝SatShift(m,k)，其中k是整数，诸如1。

d.在一个示例中，f(m)＝g(m)＝Shift(m,k)，其中k是整数，诸如1。

e.在一个示例中，f(m)＝g(m)＝m<<k，其中k是整数，诸如1。

b.可替代地，可以用一组可用的运动信息和一组构造的运动信息来构建成对平均Merge候选。

i.在一个示例中，所构造的该组运动信息的帧间预测方向被设置为等于该组可用的运动信息的帧间预测方向。

ii.在一个示例中，所构造的该组运动信息的参考列表X的参考索引被设置为等于该组可用的运动信息的参考列表X的参考索引。X可以是0或1。

iii.在一个示例中，所构造的该组运动信息的参考列表X的MV被设置为等于零。X可以是0或1。

2.在一个示例中，在添加成对平均Merge候选之前，当Merge候选列表中只有一个可用Merge候选时，可以应用项目1。

3.在一个示例中，在使用第一组运动信息和第二组运动信息来构建成对平均Merge候选之前，可以检查它们是否相同或相似。

a.在一个示例中，如果两组运动信息相同或相似，则不能用它们来构建成对平均Merge候选。

b.在另一个示例中，如果两组运动信息相同或相似，则可以用它们构建成对平均Merge候选。

i.在一个示例中，第二组(或第一组)运动信息可以被视为不可用。

ii.可以应用项目1。

4.提出了总是用从两个预定的空域邻近块获取的运动信息来构建成对平均Merge候选。

a.在一个示例中，总是用从{块A₁，块B₁}获取的运动信息来构建成对平均Merge候选。

i.可替代地，总是用从{块A₁，块A₀}获取的运动信息来构建成对平均Merge候选。

ii.可替代地，总是用从{块B₁，块B₀}获取的运动信息来构建成对平均Merge候选。

iii.可替代地，总是用从{块A₁，块B₀}获取的运动信息来构建成对平均Merge候选。

iv.可替代地，总是用从{块B₁，块A₀}获取的运动信息来构建成对平均Merge候选。

v.可替代地，总是用从{块A₁，块B₂}获取的运动信息来构建成对平均Merge候选。

vi.可替代地，总是用从{块B₁，块B₂}获取的运动信息来构建成对平均Merge候选。

vii.可替代地，总是用从{块A₀，块B₂}获取的运动信息来构建成对平均Merge候选。

viii.可替代地，总是用从{块B₀，块B₂}获取的运动信息来构建成对平均Merge候选。

b.在一个示例中，如果不能从两个预定的空域邻近块获取运动信息(例如，邻近块不可用或是帧内编解码的)，则不能构建成对平均Merge候选。

c.在一个示例中，如果只能从两个预定的空域邻近块中的一个获取运动信息(例如，另一个邻近块不可用或是帧内编解码的)，则可以应用项目1。

d.在一个示例中，项目3可以应用于从两个预定的空域邻近块获取的两组运动信息。

e.在一个示例中，两个空域邻近块可以被当前CTU/CTU行/条带/片组/片内的两个块代替，这两个块不一定与当前块相邻。

5.提出了总是用从N个预定的空域邻近块，其中N>2，获取的运动信息来构建一个或多个成对平均Merge候选。例如，N＝3。

a.在一个示例中，预定的空域邻近块是{块A₁，块B₁，块B₀}；

b.在一个示例中，预定的空域邻近块是{块A₁，块B₁，块A₀}；

c.在一个示例中，预定的空域邻近块是{块A₁，块B₁，块B₂}；

d.在一个示例中，预定的空域邻近块是{块A₁，块A₀，块B₂}；

e.在一个示例中，预定的空域邻近块是{块B₁，块B₀，块B₂}；

f.在一个示例中，预定的空域邻近块是{块A₁，块B₁，块B₀}；

g.在一个示例中，预定的空域邻近块是{块A₁，块B₁，块B₀，块B₁}；

h.在一个示例中，预定的空域邻近块是{块A₁，块B₁，块B₀，块B₁，块B₂}；

i.在一个示例中，只有一个成对平均Merge候选可以用从N个预定的空域邻近块获取的运动信息来构建。

i.例如，按顺序检查每对预定的空域邻近块，直到可以用来自一对预定的空域邻近块的运动信息来构建成对平均Merge候选。

ii.在一个示例中，如果不能从N个预定的空域邻近块获取运动信息，则不能构建成对平均Merge候选。

iii.在一个示例中，如果只能从N个预定的空域邻近块中的一个获取运动信息，则可以应用项目1。

iv.可以应用项目3来确定是否可以用来自一对预定的空域邻近块的运动信息来构建成对平均Merge候选。

j.在一个示例中，可以用从N个预定的空域邻近块获取的运动信息来构建S(S>1)个成对平均Merge候选。

i.例如，按顺序检查每对预定的空域邻近块，直到可以用来自S对预定的空域邻近块的运动信息来构建S对成对平均Merge候选。

k.在一个示例中，N个空域邻近块可以被当前CTU/CTU行/条带/片组/片内的两个块代替，这两个块不一定与当前块相邻。

6.提出了总是用从N个预定的空域邻近块和M个预定的TMVP获取的运动信息来构建一个或多个成对平均Merge候选。例如，N＝2，M＝1。

b.在一个示例中，预定的空域邻近块是{块A₁，块B₁，块B₀}；

c.在一个示例中，预定的空域邻近块是{块A₁，块B₁，块A₀}；

d.在一个示例中，预定的空域邻近块是{块A₁，块B₁，块B₂}；

e.在一个示例中，预定的空域邻近块是{块A₁，块A₀，块B₂}；

f.在一个示例中，预定的空域邻近块是{块B₁，块B₀，块B₂}；

g.在一个示例中，预定的空域邻近块是{块A₁，块B₁，块B₀}；

h.在一个示例中，预定的空域邻近块是{块A₁，块B₁，块B₀，块B₁}；

i.在一个示例中，预定的空域邻近块是{块A₁，块B₁，块B₀，块B₁，块B₂}；

j.在一个示例中，TMVP可以用与HEVC或VVC中相同的方法来推导。

k.在一个示例中，只有一个成对平均Merge候选可以用从N个预定的空域邻近块和M个预定的TMVP获取的运动信息来构建。

i.例如，按顺序检查每对预定的空域邻近块和/或TMVP，直到可以用来自一对预定的空域邻近块或TMVP的运动信息来构建成对平均Merge候选。

1)例如，检查顺序是{块A₁，块B₁}、{块A₁，TMVP}、{块A₂，TMVP}。

ii.在一个示例中，如果不能从N个预定的空域邻近块和M个TMVP获取运动信息，则不能构建成对平均Merge候选。

iii.在一个示例中，如果只能从N个预定的空域邻近块和/或M个TMVP中的一个获取运动信息，则可以应用项目1。

iv.可以应用项目3来确定是否可以用来自一对预定的空域邻近块和/或TMVP的运动信息来构建成对平均Merge候选。

l.在一个示例中，可以用从N个预定的空域邻近块和/或M个TMVP获取的运动信息来构建S(S>1)个成对平均Merge候选。

i.例如，按顺序检查每对预定的空域邻近块和/或TMVP，直到可以用来自S对预定的空域邻近块和/或TMVP的运动信息来构建S个成对平均Merge候选。

ii.在一个示例中，如果不能从N个预定的空域邻近块和/或M个TMVP获取运动信息，则不能构建成对平均Merge候选。

m.在一个示例中，N个空域邻近块可以被当前CTU/CTU行/条带/片组/片内的两个块代替，这两个块不一定与当前块相邻。

7.提出了总是用从HMVP表中的N个条目获取的运动信息来构建一个或多个成对平均Merge候选。例如，N＝2。

a.N个条目可以被预定。例如，它们可以是表中的前N个条目，也可以是表中的最后N个条目；

i.N不应大于表中可用条目的总数。

ii.在一个示例中，N被设置为表中可用条目的总数。

iii.可替代地，所选择的N个条目可以不与连续的条目索引相关联，例如，可以利用第一个和最后一个条目。

b.在一个示例中，只有一个成对平均Merge候选可以用从HMVP表中的N个条目获取的运动信息来构建。

i.例如，按顺序检查HMVP表中的每对条目，直到可以用来自HMVP表中的一对条目的运动信息来构建成对平均Merge候选。

ii.在一个示例中，如果不能从HMVP表中的N个条目获取运动信息，则不能构建成对平均Merge候选。

iii.在一个示例中，如果只能从HMVP表中的N个条目中的一个获取运动信息，则可以应用项目1。

iv.可以应用项目3来确定是否可以用来自HMVP表中的一对条目的运动信息来构建成对平均Merge候选。

c.在一个示例中，可以用从HMVP表中的N个条目获取的运动信息来构建S(S>1)个成对平均Merge候选。

i.例如，按顺序检查HMVP表中的N个条目中的每对，直到可以用来自HMVP表中的N个条目中的S对的运动信息来构建S个成对平均Merge候选。

iv.可以应用项目3来确定是否可以用来自HMVP表中的N个条目中的一对的运动信息来构建成对平均Merge候选。

8.提出了总是用从N个预定的空域邻近块获取的运动信息和从HMVP表中的M个条目获取的运动信息来构建一个或多个成对平均Merge候选。例如，N＝1，M＝1。

a.N个预定的空域邻近块可以如项目6中那样被预定。

b.HMVP表中的M个条目可以如项目7中那样被预定。

c.在一个示例中，仅一个成对平均Merge候选可以用从N个预定的空域邻近块和/或HMVP表中的M个条目获取的运动信息来构建。

i.例如，按顺序检查N个预定的空域邻近块和/或HMVP表中的条目中的每对，直到可以用来自N个预定的空域邻近块和/或HMVP表中的M个条目中的一对的运动信息来构建成对平均Merge候选。

ii.在一个示例中，如果没有运动信息可以从N个预定的空域邻近块和/或HMVP表中的M个条目获取，则不能构建成对平均Merge候选。

iii.在一个示例中，如果只能从N个预定的空域邻近块和/或HMVP表中的M个条目中的一个获取运动信息，则可以应用项目1。

iv.可以应用项目3来确定是否可以用来自N个预定的空域邻近块和/或HMVP表中的M个条目中的一对的运动信息来构建成对平均Merge候选。

d.在一个示例中，可以用从N个预定的空域邻近块和/或HMVP表中的M个条目获取的运动信息来构建S(S>1)个成对平均Merge候选。

i.例如，按顺序检查N个预定的空域邻近块和/或HMVP表中的M个条目中的每对，直到可以用来自N个预定的空域邻近块和/或HMVP表中的M个条目中的S对的运动信息来构建S个成对平均Merge候选。

9.提出了总是用从N个预定的空域邻近块获取的运动信息以及从HMVP表中的M个条目和P个TMVP获取的运动信息来构建一个或多个成对平均Merge候选。例如，N＝1，M＝1，P＝1。

a.N个预定的空域邻近块可以如项目6中那样被预定。

b.HMVP表中的M个条目可以如项目7中那样被预定。

c.TMVP可以用与HEVC或VVC中相同的方式来推导。

d.在一个示例中，仅一个成对平均Merge候选可以用从N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP获取的运动信息来构建。

i.例如，按顺序检查N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP中的每对，直到可以用来自N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP中的一对的运动信息来构建成对平均Merge候选。

ii.在一个示例中，如果没有运动信息可以从N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP获取，则不能构建成对平均Merge候选。

iii.在一个示例中，如果运动信息只能从N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP中的一个获取，则可以应用项目1。

iv.可以应用项目3来确定是否可以用来自N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP中的一对的运动信息来构建成对平均Merge候选。

e.在一个示例中，可以用从N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP获取的运动信息来构建S(S>1)个成对平均Merge候选。

i.例如，按顺序检查N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP中的每对，直到可以用来自N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP中的S对的运动信息来构建S个成对平均Merge候选。

10.在一个示例中，如果不能构建成对平均Merge候选(例如，用于成对平均候选推导的所有块都被帧内编解码)，则一个或多个默认Merge候选被放入Merge候选列表中。

a.在一个示例中，(多个)默认Merge候选被放在Merge候选列表中的零候选之前。

i.可替代地，(多个)默认Merge候选被放在Merge候选列表中的零候选之后。

b.在一个示例中，可以预定(多个)默认Merge候选。

i.例如，(多个)默认Merge候选可以是(S，0)或(0，S)；

1)可替代地，(多个)默认Merge候选可以是(S，S)或(S，-S)；

ii.在上述示例中，S是非零整数，诸如N或-N，其中N可以是1、2、3、4…。在另一示例中，S是非零整数，诸如2N或-2N，其中N可以是1、2、3、4…。在又一示例中，S是非零整数，诸如(2N-1)或-(2N-1)，其中N可以是1、2、3、4…。在再一示例中，S是非零整数，诸如2^N或-2^N，其中N可以是1、2、3、4…。

c.在一个示例中，可以从编码器向解码器信令通知(多个)默认Merge候选。

d.在一个示例中，默认Merge候选的MV必须引用整数位置。

i.例如，默认Merge候选的MV必须引用帧内块复制(intra-block copy，IBC)Merge候选列表的整数位置。

e.在一个示例中，如果不能从预定的块中找到成对平均候选，则它可以从HMVP表中推导。

f.可替代地，可以跳过成对平均候选的插入。

11.本文档中公开的方法可以应用于构建任何种类的Merge候选列表中的成对平均Merge候选。

a.例如，它们可以用于构建常规Merge候选列表中的(多个)成对平均Merge候选。

b.例如，它们可以用于构建三角形Merge候选列表中的(多个)成对平均Merge候选。

c.例如，它们可以用于构建IBC Merge候选列表中的(多个)成对平均Merge候选。

d.例如，它们可以用于构建基于子块的Merge候选列表中的(多个)成对平均Merge候选。

e.例如，它们可以用于构建仿射Merge候选列表中的(多个)成对平均Merge候选。

12.在一个示例中，从上述方法推导的成对Merge候选可以在被添加到候选列表之前被进一步修改。

a.在一个示例中，对于IBC Merge候选列表，用所提出的方法推导的成对Merge候选的MV应该取整到整数精度。假设存储MV精度为P，MV_pair是用所提出的方法推导的成对Merge候选的MV，则将从MV_pair取整的MV_pair’放入IBC Merge候选列表中。

b.在一个示例中，MV_pari’＝Shift(MV_pair,P)<<P；

c.在一个示例中，MV_pari’＝SatShift(MV_pair,P)<<P；

d.在一个示例中，MV_pari’＝MV_pair&(-1<<P)。

13.在一个示例中，当(多个)成对Merge候选在常规Merge候选列表中时，可以应用本文档中公开的成对Merge候选推导方法。

a.可替代地，当(多个)成对Merge候选在帧内块复制(IBC)Merge候选列表中时，可以应用本文档公开的成对Merge候选推导方法。

b.可替代地，当(多个)成对Merge候选在基于子块的Merge候选列表中时，可以应用本文档公开的成对Merge候选推导方法。

6.某些实施例的语法结构的示例

实施例中的示例性语法设计公开如下。章节号指的是VVC文档的当前版本标准。使用粗体斜体文本突出显示实现一些实施例的语法变化的示例。

8.5.2.2用于Merge模式的亮度运动矢量的推导过程

该过程仅在merge_flag[xCb][yPb]等于1时调用，其中(xCb，yCb)指定当前亮度编解码块的左上角样点相对于当前图片的左上角亮度样点。

这一过程的输入是：

-当前亮度编解码块的左上角样点相对于当前图片的左上角亮度样点的亮度位置(xCb，yCb)，

-变量cbWidth以亮度样点指定当前编解码块的宽度，

-变量cbHeight以亮度样点指定当前编解码块的高度。

这一过程的结果是：

-1/16分数样点精度的亮度运动矢量，mvL0[0][0]和mvL1[0][0]，

-参考索引refIdxL0和refIdxL1，

-预测列表利用标志predFlagL0[0][0]和predFlagL1[0][0]，

-双向预测权重索引gbiIdx。

双向预测权重索引gbiIdx被设置为等于0。

变量xSmr、ySmr、smrWidth、smrHeight和smrNumHmvpCand推导如下：

xSmr＝IsInSmr[xCb][yCb]？SmrX[xCb][yCb]:xCb (8-276)

ySmr＝IsInSmr[xCb][yCb]？SmrY[xCb][yCb]:yCb (8-277)

smrWidth＝IsInSmr[xCb][yCb]？SmrW[xCb][yCb]:cbWidth (8-278)

smrHeight＝IsInSmr[xCb][yCb]？SmrH[xCb][yCb]:cbHeight (8-279)

smrNumHmvpCand＝IsInSmr[xCb][yCb]？NumHmvpSmrCand:NumHmvpCand

(8-280)

运动矢量mvL0[0][0]和mvL1[0][0]，参考索引refIdxL0和refIdxL1以及预测利用标志predFlagL0[0][0]和predFlagL1[0][0]通过以下有序步骤推导：

1.调用章节8.5.2.3中规定的从邻近编解码单元推导Merge候选的过程，其中，设置为等于(xSmr，ySmr)的亮度编解码块位置(xCb，yCb)、设置为等于smrWidth的亮度编解码块宽度cbWidth和设置为等于smrHeight的亮度编解码块高度cbHeight作为输入，输出是可用性标志availableFlagA₀、availableFlagA₁、availableFlagB₀、availableFlagB₁和availableFlagB₂，参考索引refIdxLXA₀、refIdxLXA₁、refIdxLXB₀、refIdxLXB₁和refIdxLXB₂，预测列表利用标志predFlagLXA₀、predFlagLXA₁、predFlagLXB₀、predFlagLXB₁和predFlagLXB₂，和运动矢量mvLXA₀、mvLXA₁、mvLXB₀、mvLXB₁和mvLXB₂，其中X为0或1，以及双向预测权重索引gbiIdxA₀、gbiIdxA₁、gbiIdxB₀、gbiIdxB₁、gbiIdxB₂。

2.X为0或1的参考索引refIdxLXCol和时域Merge候选Col的双向预测权重索引gbiIdxCol设置为等于0。

3.调用章节8.5.2.11中规定的时域亮度运动矢量预测的推导过程，其中，设置为等于(xSmr，ySmr)的亮度位置(xCb，yCb)、设置为等于smrWidth的亮度编解码块宽度cbWidth、设置为等于smrHeight的亮度编解码块高度cbHeight和变量refIdxL0Col作为输入，输出为可用性标志availableFlagL0Col和时域运动矢量mvL0Col。变量availableFlagCol、predFlagL0Col和predFlagL1Col如下推导：

availableFlagCol＝availableFlagL0Col (8-281)

predFlagL0Col＝availableFlagL0Col (8-282)

predFlagL1Col＝0 (8-283)

4.当tile_group_type等于B时，调用章节8.5.2.11中规定的时域亮度运动矢量预测的推导过程，其中，设置为等于(xSmr，ySmr)亮度位置(xCb，yCb)、设置为等于smrWidth的亮度编解码块宽度cbWidth、设置为等于smrHeight亮度编解码块高度cbHeight和变量refIdxL1Col作为输入，输出为可用性标志availableFlagL1Col和时域运动矢量mvL1Col。变量availableFlagCol和predFlagL1Col如下推导：

availableFlagCol＝availableFlagL0Col||availableFlagL1Col (8-284)

predFlagL1Col＝availableFlagL1Col (8-285)

5.Merge候选列表，mergeCandList，被构造如下:

i＝0

if(availableFlagA₁)

mergeCandList[i++]＝A₁

if(availableFlagB₁)

mergeCandList[i++]＝B₁

if(availableFlagB₀)

mergeCandList[i++]＝B₀ (8-286)

if(availableFlagA₀)

mergeCandList[i++]＝A₀

if(availableFlagB₂)

mergeCandList[i++]＝B₂

if(availableFlagCol)

mergeCandList[i++]＝Col

6.变量numCurrMergeCand和numOrigMergeCand设置为等于mergeCandList中的Merge候选的数量。

7.当numCurrMergeCand小于(MaxNumMergeCand-1)且smrNumHmvpCand大于0时，应用以下过程：

-调用章节8.5.2.6中规定的基于历史的Merge候选的推导过程，其中，mergeCandList、设置为等于IsInSmr[xCb][yCb]的isInSmr和

numCurrMergeCand作为输入，经修改的mergeCandList和

numCurrMergeCand作为输出。

-numOrigMergeCand设置为等于numCurrMergeCand。

8.当numCurrMergeCand小于MaxNumMergeCand且availableFlagA₁||availableFlagB₁不等于FALSE时，应用以下过程：

-调用章节8.5.2.4中规定的成对平均Merge候选的推导过程，mergeCandList、参考索引refIdxL0N和refIdxL1N、预测列表利用标志predFlagL0N和predFlagL1N、运动矢量mvL0N和mvL1N(N为A₁和B₁)、可用性标志availableFlagA₁和availableFlagB₁、numCurrMergeCand和numOrigMergeCand作为输入，输出指定为mergeCandList、numCurrMergeCand、参考索引refIdxL0avgCand和refIdxL1avgCand、预测列表利用标志predFlagL0avgCand和predFlagL1avgCand以及添加到mergeCandList中的候选avgCand的运动矢量mvL0avgCand和mvL1avgCand。添加到mergeCandList中的候选avgCand的双预测权重索引gbiIdx设置为等于0。

-numOrigMergeCand设置为等于numCurrMergeCand。

…

8.5.2.4成对平均Merge候选的推导过程

这一过程的输入是：

-Merge候选列表mergeCandList，

-参考索引refIdxL0N和refIdxL1N，其中N是A₁和B₁，

-预测列表利用标志predFlagL0N和predFlagL1N，其中N是A₁和B₁，

-1/16分数样点精度的运动矢量mvL0N和mvL1N，其中N为A₁和B₁，

-可用性标志availableFlagA₁和availableFlagB

-mergeCandList中的元素的数量numCurrMergeCand。

这一过程的结果是：

-Merge候选列表mergeCandList，

-mergeCandList中的元素的数量numCurrMergeCand，

-在该过程的调用期间，将候选avgCand的参考索引refIdxL0avgCand和

refIdxL1avgCand添加到mergeCandList中，

-在该过程的调用期间，候选avgCand的预测列表利用标志

predFlagL0avgCand和predFlagL1avgCand被添加到mergeCandList中，

-在该过程的调用期间，将候选avgCand的1/16分数样点精度的运动矢量

mvL0avgCand和mvL1avgCand添加到mergeCandList中。

变量numRefLists如下推导：

numRefLists＝(tile_group_type＝＝B)？2:1 (8-314)

进行以下指定，p0Cand是Merge候选列表mergeCandList中的位置0处的候选，p1Cand是Merge候选列表mergeCandList中的位置1处的候选：

p0Cand＝A₁ (8-315)

p1Cand＝B₁ (8-316)

将候选avgCand添加到mergeCandList的末尾，即将mergeCandList[numCurrMergeCand]设置为等于avgCand，并且参考索引、avgCand的运动矢量和预测列表利用标志如下推导，并且numCurrMergeCand递增1：

如果availableFlagA₁为真且availableFlagB₁为真，则应用以下过程：

-对于X范围从0到(numRefLists-1)的每个参考图片列表LX，应用以下过程：

-如果predFlagLXp0Cand等于1并且predFlagLXp1Cand等于1，则变量refIdxLXavgCand、predFlagLXavgCand、mvLXavgCand[0]和mvLXavgCand[1]如下推导：

refIdxLXavgCand＝refIdxLXp0Cand (8-317)

predFlagLXavgCand＝1 (8-318)

mvLXavgCand[0]＝(mvLXp0Cand[0]+mvLXp1Cand[0])/2(8-319)

mvLXavgCand[1]＝(mvLXp0Cand[1]+mvLXp1Cand[1])/2(8-320)

-否则，如果predFlagLXp0Cand等于1并且predFlagLXp1Cand等于0，则变量refIdxLXavgCand、predFlagLXavgCand、mvLXavgCand[0]、mvLXavgCand[1]如下推导：

refIdxLXavgCand＝refIdxLXp0Cand (8-321)

predFlagLXavgCand＝1 (8-322)

mvLXavgCand[0]＝mvLXp0Cand[0] (8-323)

mvLXavgCand[1]＝mvLXp0Cand[1] (8-324)

-否则，如果predFlagLXp0Cand等于0并且predFlagLXp1Cand等于1，则变量refIdxLXavgCand、predFlagLXavgCand、mvLXavgCand[0]、mvLXavgCand[1]如下推导：

refIdxLXavgCand＝refIdxLXp1Cand (8-325)

predFlagLXavgCand＝1 (8-326)

mvLXavgCand[0]＝mvLXp1Cand[0] (8-327)

mvLXavgCand[1]＝mvLXp1Cand[1] (8-328)

-否则，如果predFlagLXp0Cand等于0并且predFlagLXp1Cand等于0，则变量refIdxLXavgCand、predFlagLXavgCand、mvLXavgCand[0]、mvLXavgCand[1]如下推导：

refIdxLXavgCand＝-1 (8-329)

predFlagLXavgCand＝0 (8-330)

mvLXavgCand[0]＝0 (8-331)

mvLXavgCand[1]＝0 (8-332)

-当numRefLists等于1时，应用以下过程:

refIdxL1avgCand＝-1 (8-333)

predFlagL1avgCand＝0 (8-334)

否则，应用以下过程：

-如果availableFlagB₁为真，p0Cand设置为等于B₁。

refIdxLXavgCand＝refIdxLXp0Cand (8-317)

predFlagLXavgCand＝1 (8-318)

mvLXavgCand[0]＝mvLXp0Cand[0]>＝0？((mvLXp0Cand[0]+1)>>1):

-(-mvLXp0Cand[0]+1)>>1) (8-319)

mvLXavgCand[1]＝mvLXp0Cand[1]>＝0？((mvLXp0Cand[1]+1)>>1):

-(-mvLXp0Cand[1]+1)>>1) (8-320)

图10是视频处理设备1000的框图。装置1000可以用于实施本文描述的方法中的一个或多个。装置1000可以体现在智能电话、平板电脑、计算机、物联网(Internet ofThings，IoT)接收器等中。装置1000可以包括一个或多个处理器1002、一个或多个存储器1004和视频处理硬件1006。(多个)处理器1002可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件1006可以用于以硬件电路实施本文档中描述的一些技术。

图11是视频处理的示例方法1100的流程图。方法1100包括从从特定组的一个或多个子组获取(1102)至少一组运动信息，该特定组包括作为成员的N个空域或时域邻近块和/或基于历史的运动矢量预测(HMVP)表中的P个条目，N和P是整数；基于至少一组运动信息，构造(1104)要插入到与当前视频块相关联的候选列表中的至少一个成对平均Merge候选；以及使用该候选列表执行当前视频块和当前视频块的比特流表示之间的转换(1106)。

额外的实施例和技术可以如以下示例中所述。

在一个方面，公开了一种视频处理方法，包括：

从特定组的一个或多个子组获取至少一组运动信息，该特定组包括作为成员的N个空域或时域邻近块和/或基于历史的运动矢量预测(HMVP)表中的P个条目，N和P是整数；

基于至少一组运动信息，构造要插入到与当前视频块相关联的候选列表中的至少一个成对平均Merge候选；以及

使用该候选列表执行当前视频块和当前视频块的比特流表示之间的转换。

在一个示例中，特定组包括第一子组，该第一子组包括作为成员的N个空域邻近块，其中N>＝2。

在一个示例中，该方法还包括：

从第一子组中的K₁对成员获取运动信息，以及

用从第一子组中的K₁对成员获取的运动信息构造K₁个成对平均Merge候选，K₁>＝1。

在一个示例中，特定组还包括第二子组，该第二子组包括作为成员的M个时域运动矢量预测量(TMVP)，其中M>＝1。

在一个示例中，该方法还包括：

从第一子组和第二子组中的K₂对成员提取运动信息，以及

用从第一子组和第二子组中的K₂对成员提取的运动信息构造K₂个成对平均Merge候选，K₂>＝1。

在一个示例中，以与高效视频编码(HEVC)或多功能视频编码(VVC)中相同的方式推导M个TMVP。

在一个示例中，特定组包括第三子组，该第三子组包括作为成员的基于历史的运动矢量预测(HMVP)表中的P个条目，其中P>＝1。

在一个示例中，该方法还包括：

从第三子组中的K₃对成员提取运动信息，以及

用从第三子组中的K₃对成员提取的运动信息构造K₃个成对平均Merge候选，K₃>＝1。

在一个示例中，特定组还包括第三子组，该第三子组包括作为成员的基于历史的运动矢量预测(HMVP)表中的P个条目，其中P>＝1。

在一个示例中，该方法还包括：

从第一子组和第三子组中的K₄对成员提取运动信息，以及

用从第一子组和第三子组中的K₄对成员提取的运动信息构造K₄个成对平均Merge候选，K₄>＝1。

在一个示例中，该方法还包括：

从第一子组、第二子组和第三子组中的K₅对成员获取运动信息，以及

用从第一子组、第二子组和第三子组中的K₅对成员获取的运动信息构造K₅个成对平均Merge候选，K5>＝1。

在一个示例中，P个条目是预定的。

在一个示例中，P个条目是HMVP表中的前P个条目或最后P个条目。

在一个示例中，HMVP表中的所有可用条目都被选择为P个条目。

在一个示例中，P个条目在HMVP表中不具有连续的索引。

在一个示例中，对于N＝2，空域邻近块为如下之一：

{A₁，B₁}；

{A₁，A₀}；

{B₁，B₀}；

{A₁，B₀}；

{B₁，A₀}；

{A₁，B₂}；

{B₁，B₂}；

{A₀，B₂}；

{B₀，B₂}，

其中A₁、A₀、B₁、B₀和B₂分别表示当前视频块的左侧邻近块、左下邻近块、上侧邻近邻块、右上邻近块和左上邻近块。

在一个示例中，对于N＝3，空域邻近块为如下之一：

{A₁，B₁，B₀}；

{A₁，B₁，A₀}；

{A₁，B₁，B₂}；

{A₁，A₀，B₂}；

{B₁，B₀，B₂}；

{A₁，B₁，B₀}，

其中A₁、A₀、B₁、B₀和B₂分别表示当前视频块的左侧邻近块、左下邻近块、上侧邻近块、右上邻近块和左上邻近块。

在一个示例中，空域邻近块为如下之一：

{A₁，B₁，B₀，B₁}，

其中A₁、B₁和B₀分别表示当前视频块的左侧邻近块、左下邻近块、上侧邻近块、右上邻近块和左上邻近块。

在一个示例中，空域邻近块为如下之一：

{A₁，B₁，B₀，B₁，B₂}，

其中A₁、B₁、B₀和B₂分别表示当前视频块的左侧邻近块、左下邻近块、上侧邻近块、右上邻近块和左上邻近块。

在一个示例中，N个空域邻近块是当前视频区域内不与当前视频块相邻的两个块。

在一个示例中，当前视频区域属于当前编码树单元(CTU)、当前CTU行、当前条带、当前片组和当前片中的一个。

在一个示例中，按顺序检查特定组的一个或多个子组中的每对成员，直到可以用从K_i对成员导出的运动信息构造K_i个成对平均Merge候选，其中i为从1到5。

在一个示例中，一个或多个子组包括第一子组。

在一个示例中，一个或多个子组还包括第二子组。

在一个示例中，第一子组和第二子组中的K_i对成员是{A₁，B₁}、{A₁，TMVP}、{A₂，TMVP}。

在一个示例中，一个或多个子组包括第三子组。

在一个示例中，一个或多个子组包括第一子组和第三子组。

在一个示例中，一个或多个子组包括第一子组、第二子组和第三子组。

在一个示例中，如果不能从特定组的一个或多个子组推导运动信息，则不能构造成对平均Merge候选。

在一个示例中，如果只能从特定组的一个或多个子组中的一对成员推导一组运动信息，则成对平均Merge候选可以从该组运动信息构造。

在一个示例中，如果可以从来自特定组的子组的一对成员推导两组运动信息，则该方法还包括：

检查该两组运动信息是否彼此相同或相似。

在一个示例中，如果该两组运动信息彼此相同或相似，则确定不能用该两组运动信息构造成对平均Merge候选。

在一个示例中，如果该两组运动信息彼此相同或相似，则从该两组运动信息之一构造成对平均Merge候选，并且该两组运动信息中的另一组运动信息被视为不可用。

在一个示例中，转换包括将当前视频块编码成视频的比特流表示，和从视频的比特流表示中解码当前视频块。

在另一个方面，公开了一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中指令在由处理器运行时使得处理器实施如上所述的方法。

在另一方面，公开了一种其上存储有程序代码的非暂时性计算机可读介质，该程序代码在被运行时使得处理器实施如上所述的方法。

应当理解，所公开的技术可以体现在视频编码器或解码器中，以在视频编码或解码操作期间使用包括使用成对平均来生成Merge候选的技术来改进压缩效率。

本文档中描述的所公开的和其它解决方案、示例、实施例、模块和功能操作可以在数字电子电路中实施，或者在计算机软件、固件或硬件中实施，包括本文档中公开的结构及其结构等同物，或者在它们中的一个或多个的组合中实施。所公开的和其它实施例可以实施为一个或多个计算机程序产品，即编码在计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实现机器可读传播信号的物质组合，或者它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，例如，包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电信号、光信号或电磁信号，其被生成来编码信息以传输到合适的接收器装置。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其它程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协调文件中(例如，存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以被部署为在一个计算机或在位于一个站点或分布在多个站点并通过通信网络互连的多个计算机上执行。

本文中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，该处理器运行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以实施为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来说，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或者被可操作地耦合以从一个或多个大容量存储设备接收数据或向其传送数据或两者兼有。然而，计算机不一定需要这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，例如，包括半导体存储器设备，例如，EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充或并入专用逻辑电路。

虽然本专利文档包含许多细节，但这些不应被解释为对任何主题或所要求保护的范围的限制，而是对特定技术的特定实施例所特有的特征的描述。本专利文件中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实施。此外，尽管上述特征可以被描述为以某些组合起作用，甚至最初被要求这样来保护，但是在某些情况下，可以从所要求保护的组合中删除该组合中的一个或多个特征，并且所要求保护的组合可以指向子组合或子组合的变体。

类似地，尽管在附图中以特定顺序描述了操作，但这不应理解为要求以所示的特定顺序或顺序地执行这些操作，或者要求执行所有所示的操作，以获得期望的结果。此外，在本专利文件中描述的实施例中的各种系统组件的分离不应该理解为在所有实施例中都需要这种分离。

仅描述了几个实施方式和示例，并且可以基于本专利文件中描述和图示的内容进行其它实施、增强和变化。

Claims

1.一种用于视频处理的方法，包括：

从特定组的一个或多个子组获取至少一组运动信息，该特定组包括作为成员的N个空域或时域邻近块和/或基于历史的运动矢量预测HMVP表中的P个条目，N和P是整数；

使用该候选列表执行当前视频块和当前视频块的比特流表示之间的转换，

其中，所述特定组包括第一子组，所述第一子组包括作为成员的N个空域邻近块，其中N>＝2，

其中，所述特定组还包括第二子组，所述第二子组包括作为成员的M个时域运动矢量预测TMVP，其中M>＝1，

所述方法还包括：

从所述第一子组和所述第二子组中的K₂对成员获取运动信息，以及

用从所述第一子组和所述第二子组中的K₂对成员获取的运动信息构造K₂个成对平均Merge候选，K₂>＝1。

2.根据权利要求1所述的方法，所述方法还包括：

从所述第一子组中的K₁对成员获取运动信息，以及

用从所述第一子组中的K₁对成员获取的运动信息构造K₁个成对平均Merge候选，K₁>＝1。

3.根据权利要求1所述的方法，其中，以与高效视频编解码HEVC或多功能视频编解码VVC中相同的方式推导所述M个TMVP。

4.根据权利要求1所述的方法，其中，所述特定组包括第三子组，所述第三子组包括作为成员的基于历史的运动矢量预测HMVP表中的P个条目，其中P>＝1。

5.根据权利要求4所述的方法，所述方法还包括：

从所述第三子组中的K₃对成员提取运动信息，以及

用从所述第三子组中的K₃对成员提取的运动信息构造K₃个成对平均Merge候选，K₃>＝1。

6.根据权利要求4所述的方法，所述方法还包括：

从所述第一子组和所述第三子组中的K₄对成员提取运动信息，以及

用从所述第一子组和所述第三子组中的K₄对成员提取的运动信息构造K₄个成对平均Merge候选，K₄>＝1。

7.根据权利要求4所述的方法，所述方法还包括：

从所述第一子组、所述第二子组和所述第三子组中的K₅对成员获取运动信息，以及

用从所述第一子组、所述第二子组和所述第三子组中的K₅对成员获取的运动信息构造K₅个成对平均Merge候选，K₅>＝1。

8.根据权利要求4至7中任一项所述的方法，其中，所述P个条目是预定的。

9.根据权利要求8所述的方法，其中，所述P个条目是所述HMVP表中的前P个条目或最后P个条目。

10.根据权利要求8所述的方法，其中，所述HMVP表中的所有可用条目都被选择为所述P个条目。

11.根据权利要求8所述的方法，其中，所述P个条目在所述HMVP表中不具有连续的索引。

12.根据权利要求1至7中任一项所述的方法，其中，对于N＝2，空域邻近块为如下之一：

{A₁，B₁}；

{A₁，A₀}；

{B₁，B₀}；

{A₁，B₀}；

{B₁，A₀}；

{A₁，B₂}；

{B₁，B₂}；

{A₀，B₂}；

{B₀，B₂}，

其中A₁、A₀、B₁、B₀和B₂分别表示所述当前视频块的左侧邻近块、左下邻近块、上侧邻近邻块、右上邻近块和左上邻近块。

13.根据权利要求1至7中任一项所述的方法，其中，对于N＝3，空域邻近块为如下之一：

{A₁，B₁，B₀}；

{A₁，B₁，A₀}；

{A₁，B₁，B₂}；

{A₁，A₀，B₂}；

{B₁，B₀，B₂}；

其中A₁、A₀、B₁、B₀和B₂分别表示所述当前视频块的左侧邻近块、左下邻近块、上侧邻近块、右上邻近块和左上邻近块。

14.根据权利要求1至7中任一项所述的方法，其中，空域邻近块为如下之一：

{A₁，B₁，B₀，B₁}，

其中A₁、B₁和B₀分别表示所述当前视频块的左侧邻近块、左下邻近块、上侧邻近块、右上邻近块和左上邻近块。

15.根据权利要求1至7中任一项所述的方法，其中，空域邻近块为如下之一：

{A₁，B₁，B₀，B₁，B₂}，

其中A₁、B₁、B₀和B₂分别表示所述当前视频块的左侧邻近块、左下邻近块、上侧邻近块、右上邻近块和左上邻近块。

16.根据权利要求1至7中任一项所述的方法，其中，所述N个空域邻近块是当前视频区域内不与所述当前视频块相邻的两个块。

17.根据权利要求16所述的方法，其中，所述当前视频区域属于当前编解码树单元CTU、当前CTU行、当前条带、当前片组和当前片中的一个。

18.根据权利要求1至7中任一项所述的方法，其中，按顺序检查所述特定组的一个或多个子组中的每对成员，直到能够用从K_i对成员导出的运动信息构造K_i个成对平均Merge候选，其中i为从1到5。

19.根据权利要求18所述的方法，其中，所述一个或多个子组包括所述第一子组。

20.根据权利要求19所述的方法，其中，所述一个或多个子组还包括所述第二子组。

21.根据权利要求20所述的方法，其中，所述第一子组和所述第二子组中的K_i对成员是{A₁，B₁}、{A₁，TMVP}、{A₂，TMVP}。

22.根据权利要求18所述的方法，其中，所述一个或多个子组包括第三子组，所述第三子组包括作为成员的基于历史的运动矢量预测HMVP表中的P个条目，其中P>＝1。

23.根据权利要求18所述的方法，其中，所述一个或多个子组包括所述第一子组和第三子组，所述第三子组包括作为成员的基于历史的运动矢量预测HMVP表中的P个条目，其中P>＝1。

24.根据权利要求18所述的方法，其中，所述一个或多个子组包括所述第一子组、所述第二子组和第三子组，所述第三子组包括作为成员的基于历史的运动矢量预测HMVP表中的P个条目，其中P>＝1。

25.根据权利要求18所述的方法，其中，如果不能从所述特定组的一个或多个子组推导运动信息，则不能构造成对平均Merge候选。

26.根据权利要求18所述的方法，其中，如果只能从所述特定组的一个或多个子组中的一对成员推导一组运动信息，则成对平均Merge候选能够从该组运动信息构造。

27.根据权利要求18所述的方法，其中，如果能够从来自所述特定组的子组的一对成员推导两组运动信息，则所述方法还包括：

检查该两组运动信息是否彼此相同或相似。

28.根据权利要求27所述的方法，其中，如果该两组运动信息彼此相同或相似，则确定不能用该两组运动信息构造成对平均Merge候选。

29.根据权利要求27所述的方法，其中，如果该两组运动信息彼此相同或相似，则从该两组运动信息之一构造成对平均Merge候选，并且该两组运动信息中的另一组被视为不可用。

30.根据权利要求1至7中任一项所述的方法，其中所述转换包括将当前视频块编码到视频的比特流表示，和从视频的比特流表示中解码当前视频块。

31.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由处理器运行时，使处理器实施权利要求1至30中任一项所述的方法。

32.一种非暂时性计算机可读介质，其上存储有程序代码，所述程序代码在被运行时使处理器实施权利要求1至30中任一项所述的方法。