CN113273208A

CN113273208A - 仿射预测模式的改进

Info

Publication number: CN113273208A
Application number: CN201980074269.5A
Authority: CN
Inventors: 张莉; 张凯; 刘鸿彬; 许继征; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2018-11-14
Filing date: 2019-11-14
Publication date: 2021-08-17
Also published as: WO2020098752A1; CN112997496A; WO2020098753A1

Abstract

描述了仿射预测模式的改进。在一个示例中，公开了一种用于视频处理的方法。该方法包括：使用与来自单个参考图片列表的第一参考图片相关的运动信息，对于当前块推导与来自不同于单个参考图片列表的另一参考图片列表的第二参考图片相关的运动信息；以及基于与第一参考图片相关的运动信息和与第二参考图片相关的运动信息，对当前块执行视频处理。

Description

仿射预测模式的改进

相关申请的交叉引用

根据适用的专利法和/或巴黎公约的规则，本申请及时要求2018年11月14日提交的国际专利申请PCT/CN2018/115354的优先权和利益。上述申请的全部公开内容通过引用而并入，作为本专利公开内容的一部分。

技术领域

该专利文档涉及图像和视频编码和解码。

背景技术

数字视频在互联网和其他数字通信网络中占据了最大的带宽使用。随着能够接收和显示视频的联网用户设备数量的增加，预计对于数字视频使用的带宽需求将继续增长。

发明内容

所公开的技术可以由视频解码器或编码器实施例在使用仿射运动预测或补偿工具进行视频解码或编码期间使用。

在一个示例方面，公开了一种用于视频处理的方法。该方法包括：使用与来自单个参考图片列表的第一参考图片相关的运动信息，对于当前块推导与来自不同于单个参考图片列表的另一参考图片列表的第二参考图片相关的运动信息；以及基于与第一参考图片相关的运动信息和与第二参考图片相关的运动信息，对当前块执行视频处理。

在另一示例方面，公开了一种用于视频处理的方法。该方法包括：确定与当前块相关联的仿射模式类型；以及基于所确定的仿射模式类型对当前块执行视频处理；其中，仿射模式类型被限制用于当前块所位于的视频图片的一部分，并且所确定的仿射模式类型被禁止用于该视频图片的其他部分。

在另一示例方面，公开了一种视频处理方法。该方法包括：生成当前块的仿射候选列表，其中，仿射候选列表包括通过对来自仿射候选列表的多个仿射候选进行平均而生成的附加仿射候选；以及基于扩展的仿射候选列表对当前块执行视频处理。

在另一示例方面，公开了一种视频处理装置。该视频处理装置包括被配置为实施在此描述的方法的处理器。

在另一示例方面，公开了一种存储在非暂时性计算机可读介质上的计算机程序产品。计算机程序产品包括用于执行在此描述的方法的程序代码。

在又一示例方面，公开了一种视频编码器装置。视频编码器装置包括处理器，该处理器被配置为实施在此描述的方法。

在又一示例方面，公开了一种视频解码器装置。视频解码器装置包括处理器，该处理器被配置为实施在此描述的方法。

在又一方面，公开了一种其上存储有代码的计算机可读介质。当由处理器执行时，该代码使处理器实现本文中描述的方法。

本文描述了这些和其他方面。

附图说明

图1是用于Merge候选列表构建的推导过程的示例。

图2示出了空域Merge候选的示例位置。

图3示出了考虑用于空域Merge候选的冗余检查的候选对的示例。

图4A-图4B示出了N×2N和2N×N分割的第二PU(Prediction Unit，预测单元)的示例位置。

图5是时域Merge候选的运动矢量缩放的示例图示。

图6示出了时域Merge候选C0和C1的示例候选位置。

图7示出了组合的双向预测Merge候选的示例。

图8示出了运动矢量预测候选的示例推导过程。

图9是空域运动矢量候选的运动矢量缩放的示例图示。

图10示出了用于CU(Coding Unit，编码单元)的可选时域运动矢量预测(Alternative Temporal Motion Vector Prediction，ATMVP)运动预测的示例。

图11示出了具有四个子块(A-D)及其临近块(a-d)的一个CU的示例。

图12是用不同MV(Motion Vector，运动矢量)精度进行编码的示例的流程图。

图13A-图13B示出了135度分割类型(从左上角向右下角划分)和45度划分模式。将CU划分成两个三角形预测单元(两种划分模式)的图示。

图14示出了临近块的位置的示例。

图15示出了上侧的块和左侧的块的示例。

图16A-图16B示出了2个控制点运动矢量(control point motion vector，CPMV)和3个CPMV的示例。

图17示出了两个CPMV的示例。

图18A-图18B示出了4参数和6参数仿射模型示例。

图19示出了继承的仿射候选的AF_INTER的MVP(Motion Vector Predictor，运动矢量预测量)。

图20示出了在AF_INTER中构建仿射运动预测量的示例。

图21A-图21B示出了在AF_MERGE下仿射编码时的控制点运动矢量的示例。

图22示出仿射Merge模式的候选位置的示例。

图23示出了帧内图片块复制操作的示例。

图24示出仿射Merge模式的候选位置。

图25示出了修改的Merge列表构建过程。

图26是视频处理装置的示例的框图。

图27是视频处理方法的示例的流程图。

图28是视频处理方法的另一示例的流程图。

图29是视频处理方法的又一示例的流程图。

具体实施方式

本文档提供了视频比特流的解码器可以使用的各种技术，以提高解压缩或解码的数字视频的质量。此外，视频编码器也可以在编码的过程期间实施这些技术，以便重构用于进一步编码的解码帧。

为了便于理解，在本文档中使用了章节标题，并且不将实施例和技术限制于对应的章节。如此以来，来自一个章节的实施例可以与来自其它章节的实施例组合。

1.概述

本文档涉及视频编码技术。具体地，它涉及视频编码中仿射预测模式。它可以应用于现有的视频编码标准，如HEVC，或即将要定案的标准(例如，多功能视频编码)。它也可以应用于未来的视频编码标准或视频编解码器。

在本文档中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到对应的比特流表示的转换期间应用视频压缩算法，反之亦然。

2.介绍性注解

视频编码标准主要是通过熟知的ITU-T和ISO/IEC标准的发展而演变的。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4可视化，并且这两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编码(Advanced Video Coding，AVC)和H.265/HEVC标准。自H.262以来，视频编码标准基于混合视频编码结构，其中使用时域预测加变换编码。为了探索HEVC以外的未来视频编码技术，VCEG和MPEG于2015年联合成立了联合视频探索组(Joint Video Exploration Team，JVET)。此后，JVET采用了许多新方法，并将其放入名为联合探索模型(Joint Exploration Model，JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家组(JVET)成立，以致力于多功能视频编码(VVC)标准，目标是与HEVC相比比特率降低50％。

2.1 HEVC/H.265的帧间预测

每个帧间预测的PU具有针对一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。也可以使用inter_pred_idc信令通知对两个参考图片列表之一的使用。运动矢量可以被显式地编码为相对于预测量的增量。

当用跳过模式对CU进行编码时，一个PU与该CU相关联，并且不存在显著的残差系数、编码的运动矢量增量或参考图片索引。规定Merge模式，由此从包括空域和时域候选的临近PU获得当前PU的运动参数。Merge模式可以应用于任何帧间预测的PU，而不仅仅对于跳跃模式。Merge模式的可替代方案是运动参数的显式传输，其中每一PU显式地信令通知运动矢量(更准确地，与运动矢量预测量相比的运动矢量差(motion vector difference，MVD))、每个参考图片列表的对应参考图片索引和参考图片列表的使用。在本公开中，这种模式被称为高级运动矢量预测(Advanced Motion Vector Prediction，AMVP)。

当信令指示要使用两个参考图片列表之一时，从样点的一个块中产生PU。这被称为“单向预测”。单向预测可用于P条带和B条带。

当信令指示要使用两个参考图片列表两者时，从样点的两个块中产生PU。这被称为“双向预测”。双向预测仅可用于B条带。

以下文本提供了关于HEVC中规定的帧间预测模式的详细信息。描述将从Merge模式开始。

2.1.1参考图片列表

在HEVC中，术语帧间预测用于表示从除当前解码图片之外的参考图片的数据元素(例如，样点值或运动矢量)推导的预测。像在H.264/AVC中一样，可以从多个参考图片中预测图片。用于帧间预测的参考图片被组织在一个或多个参考图片列表中。参考索引标识列表中哪个参考图片应该用于创建预测信号。

单个参考图片列表(列表0)用于P条带，并且两个参考图片列表(列表0和列表1)用于B条带。应当注意，就捕获/显示顺序而言，列表0/1中包括的参考图片可以是来自过去和未来的图片。

2.1.2 Merge模式

2.1.2.1 Merge模式的候选的推导

当使用Merge模式预测PU时，从比特流中解析指向Merge候选列表中的条目的索引并将其用于检索运动信息。在HEVC标准中规定了该列表的构建，并且可以按照以下步骤的序列进行概述：

·步骤1：初始候选推导

ο步骤1.1：空域候选推导

ο步骤1.2：空域候选的冗余检查

ο步骤1.3：时域候选推导

·步骤2：附加候选插入

ο步骤2.1：创建双向预测候选

ο步骤2.2：插入零运动候选

这些步骤也示意性地描绘在图1中。对于空域Merge候选推导，在位于五个不同位置的候选当中选择最多四个Merge候选。对于时域Merge候选推导，在两个候选当中选择最多一个Merge候选。由于在解码器处假设每个PU的恒定数量的候选，因此当从步骤1获得的候选的数量未达到在条带头中信令通知的Merge候选的最大数量(MaxNumMergeCand)时，生成附加候选。由于候选的数量是恒定的，因此使用截断一元二值化(Truncated Unarybinarization，TU)对最佳Merge候选的索引进行编码。如果CU的尺寸等于8，则当前CU的所有PU共享单个Merge候选列表，其与2N×2N预测单元的Merge候选列表相同。

在下文中，将详细描述与上述步骤相关联的操作。

2.1.2.2空域候选推导

在空域Merge候选的推导中，在位于图2中描绘的位置的候选当中选择最多四个Merge候选。推导的顺序是A₁、B₁、B₀、A₀和B₂。仅当位置A₁、B₁、B₀、A₀的任何PU不可用(例如，因为它属于另一条带或片)或者是帧内编码的时，才考虑位置B₂。在添加位置A₁处的候选之后，对剩余候选的添加进行冗余检查，其确保具有相同运动信息的候选被排除在列表之外，从而提高编码效率。为了降低计算复杂度，在所提到的冗余检查中不是考虑所有可能的候选对。相反，只考虑与图3中的箭头链接的对，并且仅当用于冗余检查的对应候选没有相同的运动信息时，候选才被添加到列表中。重复运动信息的另一来源是与不同于2N×2N的分割相关联的“第二PU”。作为示例，图4A和图4B分别描绘了N×2N和2N×N的情况下的第二PU。在当前PU被分割为N×2N时，位置A₁处的候选不被考虑用于列表构建。事实上，添加该候选将导致两个预测单元具有相同的运动信息，这对于在编码单元中只具有一个PU是冗余的。类似地，在当前PU被分割为2N×N时，不考虑位置B₁。

2.1.2.3时域候选推导

在该步骤中，仅一个候选被添加到列表。具体地，在该时域Merge候选的推导中，基于共位(co-located)PU来推导缩放运动矢量,共位PU属于在给定参考图片列表内与当前图片具有最小POC(Picture Order Count，图片顺序计数)差的图片。在条带头中显式地信令通知要用于推导共位PU的参考图片列表。如在图5中由虚线所示的，获得了对时域Merge候选的缩放运动矢量，其是使用POC距离tb和td从共位PU的运动矢量缩放的，其中tb被定义为当前图片的参考图片与当前图片之间的POC差，并且td被定义为共位图片的参考图片与共位图片之间的POC差。时域Merge候选的参考图片索引被设置为等于零。HEVC规范中描述了缩放过程的实际实现。对于B条带，两个运动矢量(一个用于参考图片列表0，并且另一个用于参考图片列表1)被获得并组合，以生成双向预测Merge候选。

在属于参考帧的共位PU(Y)中，在候选C₀和C₁之间选择时域候选的位置，如图6所描绘的。如果位置C₀处的PU不可用、是帧内编码的、或者在当前编码数单元(coding treeunit，CTU，又称LCU，最大编码单元)行(row)的外部，则使用位置C₁。否则，在时域Merge候选的推导中使用位置C₀。

2.1.2.4附加候选插入

除了空域和时域的Merge候选之外，存在两种附加类型的Merge候选：组合的双向预测Merge候选和零Merge候选。通过利用空域和时域的Merge候选来生成组合的双向预测Merge候选。组合的双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一初始候选的第二参考图片列表运动参数组合来生成组合的双向预测候选。如果这两个元组提供不同的运动假设，则它们将形成新的双向预测候选。作为示例，图7示出了当原始列表(在左侧)中的两个候选(其具有mvL0和refIdxL0或mvL1和refIdxL1)用于创建被添加到最终列表(在右侧)的组合的双向预测Merge候选。存在许多关于组合的规则，这些规则被考虑以生成这些附加Merge候选。

插入零运动候选以填充Merge候选列表中的剩余条目，并因此达到MaxNumMergeCand容量。这些候选具有零空域位移和从零开始并且每次向列表中添加新的零运动候选时增加的参考图片索引。这些候选使用的参考帧的数量对于单向预测和双向预测分别是1和2。最后，不对这些候选执行冗余检查。

2.1.3 AMVP

AMVP利用运动矢量与临近PU的时空相关性，用于运动参数的显式传输。对于每个参考图片列表，通过首先检查左侧、上侧的时域临近的PU位置的可用性，移除冗余候选并添加零矢量以使候选列表为恒定长度，来构建运动矢量候选列表。然后，编码器可以从候选列表中选择最佳预测量，并发送指示所选候选的对应索引。与Merge索引信令类似，使用截断一元对最佳运动矢量候选的索引进行编码。在这种情况下，要编码的最大值是2(见图8)。在接下来的章节中，将提供关于运动矢量预测候选的推导过程的细节。

2.1.3.1 AMVP候选的推导

图8概述了运动矢量预测候选的推导过程。

在运动矢量预测中，考虑两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选推导，最终基于位于如图2所示描绘五个不同位置的每个PU的运动矢量来推导两个运动矢量候选。

对于时域运动矢量候选推导，从基于两个不同共位位置而推导的两个候选中选择一个运动矢量候选。在产生第一时空候选列表之后，移除列表中的重复运动矢量候选。如果潜在候选的数量大于二，则从列表中移除相关联的参考图片列表内其参考图片索引大于1的运动矢量候选。如果时空运动矢量候选的数量小于二，则将附加的零运动矢量候选添加到列表。

2.1.3.2空域运动矢量候选

在空域运动矢量候选的推导中，在从位于如图2所描绘的位置的PU中推导的五个潜在候选当中考虑最多两个候选，那些位置与运动Merge的位置相同。当前PU的左侧的推导顺序被定义为A₀、A₁、以及缩放的A₀、缩放的A₁。当前PU的上侧的推导顺序被定义为B₀、B₁、B₂、缩放的B₀、缩放的B₁、缩放的B₂。因此对于每一侧，存在可以用作运动矢量候选的四种情况，其中两种情况不需要使用空域缩放，两种情况使用空域缩放。四种不同的情况概述如下：

·没有空域缩放

-(1)相同的参考图片列表，以及相同的参考图片索引(相同的POC)-(2)不同的参考图片列表，但是相同的参考图片(相同的POC)

·空域缩放

-(3)相同的参考图片列表，但是不同的参考图片(不同的POC)

-(4)不同的参考图片列表，以及不同的参考图片(不同的POC)

首先检查非空域缩放情况，然后是空域缩放。当POC在临近PU的参考图片与当前PU的参考图片之间不同时，考虑空域缩放，无论参考图片列表如何。如果左侧候选的所有PU都不可用或者都是帧内编码的，则允许针对上侧运动矢量的缩放以帮助对左侧和上侧MV候选的并行推导。否则，针对上侧运动矢量不允许空域缩放。

如图9所描绘的，在空域缩放过程中，以与时域缩放类似的方式来缩放临近PU的运动矢量。主要差异在于参考图片列表和当前PU的索引作为输入给出；实际缩放过程与时域缩放的过程相同。

2.1.3.3时域运动矢量候选

除了参考图片索引推导之外，用于推导时域Merge候选的所有过程与用于推导空域运动矢量候选的过程相同(参见图6)。参考图片索引被信令通知给解码器。

2.2 JEM中的基于子CU的运动矢量预测方法

在具有QTBT(QuadTrees plus Binary Trees，四叉树加二叉树)的JEM中，每个CU对于每个预测方向最多可以有一组运动参数。通过将大CU划分成子CU并且推导大CU的所有子CU的运动信息，在编码器中考虑两个子CU级别运动矢量预测方法。可选时域运动矢量预测(ATMVP)方法允许每个CU从共位参考图片中比当前CU更小的多个块中提取多组运动信息。在时空运动矢量预测(Spatial-Temporal Motion Vector Prediction，STMVP)方法中，通过使用时域运动矢量预测量和空域临近运动矢量来递归地推导子CU的运动矢量。

为了保持对于子CU运动预测的更准确的运动场，当前禁用参考帧的运动压缩。

2.2.1可选时域运动矢量预测

在可选时域运动矢量预测(ATMVP)方法中，通过从比当前CU小的块提取多组运动信息(包括运动矢量和参考索引)来修改运动矢量时域运动矢量预测(Temporal MotionVector Prediction，TMVP)。作为示例，子CU是正方形的N×N块(N默认被设置为4)。图10示出了对于CU的ATMVP运动预测的示例。

ATMVP分两个步骤来预测CU内的子CU的运动矢量。第一步骤是用所谓的时域矢量来识别参考图片中的对应块。参考图片也称为运动源图片。第二步骤是将当前CU划分成子CU，并从与每个子CU相对应的块中获得每个子CU的运动矢量以及参考索引，作为示例。

在第一步骤中，参考图片和对应块由当前CU的空域临近块的运动信息确定。为了避免临近块的反复的扫描过程，使用当前CU的Merge候选列表中的第一Merge候选。第一可用运动矢量以及其相关联的参考索引被设置为时域矢量和运动源图片的索引。这样，在ATMVP中，与TMVP相比，可以更准确地识别对应块，其中对应块(有时称为共位块)总是相对于当前CU处于右下或中心位置。

在第二步骤中，通过向当前CU的坐标添加时域矢量，通过运动源图片中的时域矢量来识别子CU的对应块。对于每个子CU，其对应块的运动信息(覆盖中心样点的最小运动网格)用于推导子CU的运动信息。在识别对应的N×N块的运动信息之后，以与HEVC的TMVP相同的方式将其转换成当前子CU的运动矢量和参考索引，其中运动缩放和其它过程适用。例如，解码器检查是否满足低延迟条件(即当前图片的所有参考图片的POC小于当前图片的POC)，并且可能使用运动矢量MV_x(与参考图片列表X相对应的运动矢量)来预测每个子CU的运动矢量MV_y(其中X等于0或1，并且Y等于1-X)。

2.2.2时空运动矢量预测(STMVP)

在该方法中，按照光栅扫描顺序递归地推导子CU的运动矢量。图11示出了这个概念。考虑8×8的CU，它包含4个4×4的子CU：A、B、C和D。当前帧中的临近的4×4块被标记为a、b、c和d。

子CU A的运动推导通过识别其两个空域邻居(neighbour)开始。第一邻居是子CUA上侧的N×N块(块c)。如果这个块c不可用或是帧内编码的，则检查子CU A上侧的其它N×N块(从左到右，从块c开始)。第二邻居是子CU A左侧的块(块b)。如果块b不可用或是帧内编码的，则检查子CU A左侧的其它块(从上到下，从块b开始)。从每个列表的临近块中获得的运动信息被缩放到给定列表的第一参考帧。接下来，通过遵循如HEVC规定的TMVP推导的相同过程来推导子块A的时域运动矢量预测量(TMVP)。在位置D处的共位块的运动信息被相应地提取和缩放。最后，在检索和缩放运动信息之后，对每个参考列表单独地平均所有可用的运动矢量(最多3个)。平均后的运动矢量被分配为当前子CU的运动矢量。

2.2.3子CU运动预测模式信令

子CU模式被启用作为附加Merge候选，并且不需要附加语法元素来信令通知这些模式。两个附加Merge候选被添加到每个CU的Merge候选列表以表示ATMVP模式和STMVP模式。如果序列参数集指示启用了ATMVP和STMVP，则可以使用多达七个Merge候选。附加Merge候选的编码逻辑与HM中的Merge候选的编码逻辑相同，这意味着，对于P条带或B条带中的每个CU，针对两个附加Merge候选还需要两次RD检查。

在JEM中，Merge索引的所有位元(bin)都由CABAC进行上下文编码。而在HEVC中，仅对第一位元进行上下文编码，并且对其余位元进行上下文旁路编码。

2.3 VVC中的帧间预测方法

有几种用于帧间预测改进的新的编码工具，诸如用于信令通知MVD的自适应运动矢量差分辨率(Adaptive motion vector difference resolution，AMVR)、仿射预测模式、三角形预测模式(Triangular prediction mode，TPM)、ATMVP、广义双向预测(GeneralizedBi-Prediction，GBI)、双向光流(Bi-directional Optical flow，BIO)。

2.3.1自适应运动矢量差分辨率

在HEVC中，当条带头中的use_integer_mv_flag等于0时，以四分之一(quarter)亮度样点为单位来信令通知(PU的运动矢量和预测运动矢量之间的)运动矢量差(MVD)。在VVC中，引入了局部自适应运动矢量分辨率(Locally Adaptive Motion Vector Resolution，LAMVR)。在VVC中，可以以四分之一亮度样点、整数亮度样点或四亮度样点(即1/4像素、1像素、4像素)为单位对MVD进行编码。以编码单元(CU)级别控制MVD分辨率，并且对于具有至少一个非零MVD分量的每个CU，有条件地信令通知MVD分辨率标志。

对于具有至少一个非零MVD分量的CU，信令通知第一标志以指示在CU中是否使用四分之一亮度样点MV精度。当第一标志(等于1)指示未使用四分之一亮度样点MV精度时，信令通知另一个标志以指示是使用整数亮度样点MV精度还是四亮度样点MV精度。

当CU的第一MVD分辨率标志为零或未针对CU进行编码(意味着CU中的所有MVD均为零)时，四分之一亮度样点MV分辨率用于CU。当CU使用整数亮度样点MV精度或四亮度样点MV精度时，CU的AMVP候选列表中的MVP被取整到对应精度。

在编码器中，CU级别的RD检查用于确定哪个MVD分辨率要用于CU。也就是说，对于每个MVD分辨率，执行三次CU级别的RD检查。为了加快编码器速度，在JEM中应用以下编码方案：

·在具有正常四分之一亮度样点MVD分辨率的CU的RD检查期间，存储当前CU(整数亮度样点准度)的运动信息。存储的运动信息(取整之后)被用作在针对具有整数亮度样点和4亮度样点MVD分辨率的相同CU的RD检查期间的进一步的小范围运动矢量细化的起始点，使得耗时的运动估计过程不会重复三次。

·有条件地调用具有4亮度样点MVD分辨率的CU的RD检查。对于CU，当整数亮度样点MVD分辨率的RD成本远大于四分之一亮度样点MVD分辨率的RD成本时，跳过对于CU的4亮度样点MVD分辨率的RD检查。

编码过程如图12所示。首先，测试1/4像素MV，计算RD成本并表示为RDCost0，然后测试整数MV，并且RD成本表示为RDCost1。如果RDCost1<th*RDCost0(其中th为正值)，则测试4像素MV；否则，跳过4像素MV。基本上，在检查整数或4像素MV时已知对于1/4像素MV的运动信息和RD成本等，其可重复使用以加速整数或4像素MV的编码过程。

2.3.2三角形预测模式

三角形预测模式(TPM)的概念是为运动补偿预测引入一种新的三角形分割。如图13A-图13B所示，它沿对角线或相反的对角线方向将CU划分成两个三角形预测单元。CU中的每个三角形预测单元使用其自己的从单个单向预测候选列表中推导的单向预测运动矢量和参考帧索引而被帧间预测。在预测三角形预测单元之后，对对角线边缘执行自适应加权过程。然后，将变换和量化过程应用于整个CU。注意，该模式仅适用于Merge模式(注意：跳过模式被视为特殊Merge模式)。

图13A-图13B是将CU划分成两个三角形预测单元(两个分割模式)的图示；图13A：135度分割类型(从左上角到右下角划分)，以及图13B：45度划分模式。

2.3.2.1 TPM的单向预测候选列表

单向预测候选列表，称为TPM运动候选列表，包括五个单向预测运动矢量候选。如图14所示，它是从包括五个空域临近块(1到5)和两个时域共位块(6到7)的七个临近块推导的。收集七个临近块的运动矢量并按照单向预测运动矢量、双向预测运动矢量的L0运动矢量、双向预测运动矢量的L1运动矢量以及双向预测运动矢量的L0运动矢量和L1运动矢量的平均运动矢量的顺序，将其放入单向预测候选列表。如果候选的数量少于五个，则零运动矢量被添加到列表中。添加到TPM列表中的运动候选被称为TPM候选，从空域/时域块推导的运动信息被称为规则运动候选(regular motion candidate)。

更具体地，涉及以下步骤：

1)从A₁、B₁、B₀、A₀、B₂、Col和Col2(对应于图14中的块1-7)中获得规则运动候选，无需任何修剪操作。

2)设置变量numCurrMergeCand＝0。

3)对于从A₁、B₁、B₀、A₀、B₂、Col和Col2推导的每个规则运动候选以及numCurrMergeCand小于5，如果规则运动候选是单向预测(来自列表0或列表1)，则将其作为TPM候选直接添加到Merge列表中，numCurrMergeCand增加1。这种TPM候选被称为“原始单向预测候选(originally uni-predicted candidate)”。

应用完全修剪(full pruning)。

4)对于从A₁、B₁、B₀、A₀、B₂、Col和Col2推导的每个运动候选以及numCurrMergeCand小于5，如果规则运动候选是双向预测，则来自列表0的运动信息作为新的TPM候选被添加到TPM Merge列表(即被修改为来自列表0的单向预测)，并且numCurrMergeCand增加1。这种TPM候选被称为“截断列表0预测候选(Truncated List0-predicted candidate)”。

应用完全修剪。

5)对于从A₁、B₁、B₀、A₀、B₂、Col和Col2推导的每个运动候选以及numCurrMergeCand小于5，如果规则运动候选是双向预测，则来自列表1的运动信息被添加到TPM Merge列表(即被修改为来自列表1的单向预测)，并且numCurrMergeCand增加1。这种TPM候选被称为“截断列表1预测候选(Truncated List1-predicted candidate)”。

应用完全修剪。

6)对于从A₁、B₁、B₀、A₀、B₂、Col和Col2推导的每个运动候选以及numCurrMergeCand小于5，如果规则运动候选是双向预测，

–如果列表0参考图片的条带QP小于列表1参考图片的条带QP，则首先将列表1的运动信息缩放到列表0参考图片，并将两个MV(一个来自原始列表0，并且另一个是来自列表1的缩放的MV)的平均量添加到TPM Merge列表中，这样的候选称为来自列表0的平均单向预测运动候选(averaged uni-prediction from List 0motion candidate)，并且numCurrMergeCand增加1。

–否则，首先将列表0的运动信息缩放到列表1参考图片，并将两个MV(一个来自原始列表1，并且另一个是来自列表0的缩放的MV)的平均量添加到TPM Merge列表中，这样的TPM候选被称为来自列表1的平均单向预测运动候选(averaged uni-prediction fromList 1motion candidate)，并且numCurrMergeCand增加1。

应用完全修剪。

7)如果numCurrMergeCand小于5，则添加零运动矢量候选。

将候选插入列表时，如果必须与先前添加的所有候选进行比较，以查看其是否与其中一个相同，这种过程称为完全修剪。

2.3.2.2自适应加权过程

在预测每个三角形预测单元之后，将自适应加权过程应用于两个三角形预测单元之间的对角线边缘，以推导整个CU的最终预测。两个加权因子组定义如下：

·第一加权因子组：{7/8,6/8,4/8,2/8,1/8}和{7/8,4/8,1/8}分别用于亮度和色度样点；

·第二加权因子组：{7/8,6/8,5/8,4/8,3/8,2/8,1/8}和{6/8,4/8,2/8}分别用于亮度和色度样点。

基于两个三角形预测单元的运动矢量的比较来选择加权因子组。当两个三角形预测单元的参考图片彼此不同或者它们的运动矢量差大于16像素时，使用第二加权因子组。否则，使用第一加权因子组。示例如图15所示。

2.3.2.3三角形预测模式(TPM)的信令

可以首先信令通知指示是否使用TPM的一个比特标志。此后，进一步信令通知两种划分模式(如图13所描绘的)的指示，以及为两个分区中的每一个选择的Merge索引。

2.3.2.3.1 TPM标志的信令

让我们分别用W和H来表示一个亮度块的宽度和高度。如果W*H<64，则禁用三角形预测模式。

当一个块用仿射模式进行编码时，也禁用三角形预测模式。

当一个块用Merge模式进行编码时，可以信令通知一个比特标志来指示对于该块是启用还是禁用三角形预测模式。

基于以下等式，该标志用3个上下文进行编码。

Ctx索引＝((左侧的块L可用&&L是用TPM进行编码的？)1:0)

+((上侧的块A可用&&A是用TPM进行编码的？)1:0)；

2.3.2.3.2信令通知两种划分模式(如图13所描绘的)的指示以及为两个分区中的每个分区选择的Merge索引

注意，划分模式、两个分区的Merge索引是联合编码的。作为示例，限制两个分区不能使用相同的参考索引。因此，存在2(划分模式)*N(最大Merge候选数量)*(N-1)种可能性，其中N被设置为5。一个指示被编码，并且划分模式、两个Merge索引和编码指示之间的映射从下面定义的数组中推导：

const uint8_t g_TriangleCombination[TRIANGLE_MAX_NUM_CANDS][3]＝{

{0,1,0},{1,0,1},{1,0,2},{0,0,1},{0,2,0},

{1,0,3},{1,0,4},{1,1,0},{0,3,0},{0,4,0},

{0,0,2},{0,1,2},{1,1,2},{0,0,4},{0,0,3},

{0,1,3},{0,1,4},{1,1,4},{1,1,3},{1,2,1},

{1,2,0},{0,2,1},{0,4,3},{1,3,0},{1,3,2},

{1,3,4},{1,4,0},{1,3,1},{1,2,3},{1,4,1},

{0,4,1},{0,2,3},{1,4,2},{0,3,2},{1,4,3},

{0,3,1},{0,2,4},{1,2,4},{0,4,2},{0,3,4}}；

划分模式(45度或135度)＝g_TriangleCombination[信令通知的指示][0]；

候选A的Merge索引＝g_TriangleCombination[信令通知的指示][1]；

候选B的Merge索引＝g_TriangleCombination[信令通知的指示][2]；

一旦推导出了两个运动候选A和B，就可以根据A或B设置两个分区(PU1和PU2)的运动信息。PU1是否使用Merge候选A或B的运动信息取决于两个运动候选的预测方向。表1示出了两个推导出的运动候选A和B与两个分区之间的关系。

表1：从推导出的两个Merge候选(A、B)中推导分区的运动信息

A的预测方向	B的预测方向	PU1的运动信息	PU2的运动信息
				L0	L0	A(L0)	B(L0)
L1	L1	B(L1)	A(L1)
				L0	L1	A(L0)	B(L1)
L1	L0	B(L0)	A(L1)

2.3.2.3.3指示的熵编码(由merge_triangle_idx表示)

merge_triangle_idx在[0,39](含端点)的范围内。K阶指数哥伦布(ExponentialGolomb，EG)码用于merge_triangle_idx的二值化，其中K被设置为1。

K阶EG

为了用更少的比特来编码更大的数字(以用更多的比特来编码更小的数字为代价)，这可以使用非负整数参数k来概括。为了用k阶指数哥伦布码对非负整数x进行编码：

1.使用上述0阶指数哥伦布码对

进行编码，然后

2.用二进制对x mod 2^k进行编码

表2：指数哥伦布-k编码示例

2.3.3仿射运动补偿预测

在HEVC中，只有平移运动模型被应用于运动补偿预测(motion compensationprediction，MCP)。而在现实世界中，存在许多种运动，例如，放大/缩小、旋转、透视运动和其它不规则运动。在VVC中，用4参数仿射模型和6参数仿射模型应用简化的仿射变换运动补偿预测。如图16A-图16B所示，块的仿射运动场由4参数仿射模型(图16A)的两个控制点运动矢量(CPMV)和6参数仿射模型(图16B)的3个CPMV来描述。

块的运动矢量场(Motion Vector Field，MVF)由以下等式分别通过等式(1)中的4参数仿射模型(其中4参数被定义为变量a、b、e和f)和等式(2)中的6参数仿射模型(其中6参数被分别定义变量a、b、c、d、e和f)来描述：

其中(mv^h ₀,mv^h ₀)是左上角控制点的运动矢量，并且(mv^h ₁,mv^h ₁)是右上角控制点的运动矢量，并且(mv^h ₂,mv^h ₂)是左下角控制点的运动矢量，所有三个运动矢量都被称为控制点运动矢量(CPMV)，(x,y)表示当前块内代表点(representative point)相对于左上样点的坐标，并且(mv^h(x,y),mv^v(x,y))是对于位于(x,y)处的样点推导的运动矢量。CP运动矢量可以被信令通知(像在仿射AMVP模式下)或者实时(on-the-fly)推导(像在仿射Merge模式下)。w和h是当前块的宽度和高度。实际上，除法是通过右移和取整操作来实施的。在VTM中，代表点被定义为子块的中心位置，例如，当子块的左上角相对于当前块内的左上角样点的坐标是(xs,ys)时，代表点的坐标被定义为(xs+2,ys+2)。对于每个子块(即VTM中的4×4)，利用代表点来推导整个子块的运动矢量。

为了进一步简化运动补偿预测，应用了基于子块的仿射变换预测。为了推导每个M×N(在当前VVC中，M和N都被设置为4)子块的运动矢量，如图17所示，根据等式(1)和(2)计算每个子块的中心样点的运动矢量，并取整到1/16的分数精度。然后，应用1/16像素的运动补偿插值滤波器来生成具有推导出的运动矢量的每个子块的预测。仿射模式引入了1/16像素的插值滤波器。

在MCP之后，每个子块的高精度运动矢量被取整并保存为与正常运动矢量相同的精度。

2.3.3.1仿射预测的信令通知

类似于平移运动模型，也有两种模式用于信令通知由于仿射预测的边信息。它们是AFFINE_INTER和AFFINE_MERGE模式。

2.3.3.2 AF_INTER模式

对于宽度和高度都大于8的CU，可以应用AF_INTER模式。在比特流中信令通知CU级别的仿射标志，以指示是否使用AF_INTER模式。

在这种模式下，对于每个参考图片列表(列表0或列表1)，仿射AMVP候选列表以以下顺序用三种类型的仿射运动预测量构建，其中每个候选包括当前块的估计的CPMV。在编码器侧发现的最佳CPMV(诸如图20中的mv₀mv₁mv₂)和估计的CPMV的差被信令通知。另外，进一步信令通知从其中推导估计的CPMV的仿射AMVP候选的索引。

1)继承的仿射运动预测量

检查顺序类似于HEVC AMVP列表构建中的空域MVP的顺序。首先，从{A1,A0}中的被仿射编码并且具有与当前块中相同的参考图片的第一块中推导左侧继承的仿射运动预测量。第二，从{B1,B0,B2}中的被仿射编码并且具有与当前块中相同的参考图片的第一块推导上侧继承的仿射运动预测量。图19中描绘了五个块A1、A0、B1、B0、B2。

一旦发现临近块被用仿射模式编码，则覆盖临近块的编码单元的CPMV被用于推导当前块的CPMV的预测量。例如，如果A1用非仿射模式编码，而A0用4参数仿射模式编码，则左侧继承的仿射MV预测量将从A0中推导出。在这种情况下，覆盖A0的CU的CPMV，如图21B中的左上角CPMV

和右上角CPMV

所表示的，被用于推导当前块的估计的CPMV，由当前块的左上方(具有坐标(x0,y0))、右上方(具有坐标(x1,y1))和右下方位置(具有坐标(x2,y2))的

表示。

2)构建的仿射运动预测量

如图20所示，构建的仿射运动预测量包括从具有相同参考图片的临近帧间编码块中推导的控制点运动矢量(CPMV)。如果当前仿射运动模型是4参数仿射，则CPMV的数量是2，否则如果当前仿射运动模型是6参数仿射，则CPMV的数量是3。左上方的CPMV

是由组{A,B,C}中的被帧间编码并且具有与当前块中相同的参考图片的第一块处的MV推导的。右上方的CPMV

是由组{D,E}中的被帧间编码并且具有与当前块中相同的参考图片的第一块处的MV推导的。左下方的CPMV

是由组{F,G}中的被帧间编码并且具有与当前块中相同的参考图片的第一块处的MV推导。

-如果当前仿射运动模型是4参数仿射，则只有当

和

两者都被建立时，即

和

被用作当前块的左上方(具有坐标(x0,y0))、右上方(具有坐标(x1,y1))位置的估计的CPMV，构建的仿射运动预测量才被插入候选列表。

-如果当前仿射运动模型是6参数仿射，则只有当

和

都被建立时，即

和

被用作当前块的左上方(具有坐标(x0,y0))、右上方(具有坐标(x1,y1))和右下方(具有坐标(x2,y2))位置的估计的CPMV，构建的仿射运动预测量才被插入候选列表。

当将构建的仿射运动预测量插入候选列表时，不应用修剪过程。

3)正常AMVP运动预测量

以下条件适用，直到仿射运动预测量的数量达到最大值为止。

1)通过将所有CPMV设置为等于

(如果可用的话)，推导仿射运动预测量。

2)通过将所有CPMV设置为等于

(如果可用的话)，推导仿射运动预测量。

3)通过将所有CPMV设置为等于

(如果可用的话)，推导仿射运动预测量。

4)通过将所有CPMV设置为等于HEVC TMVP(如果可用的话)，推导仿射运动预测量。

5)通过将所有CPMV设置为零MV，推导仿射运动预测量。

注意，

已经在构建的仿射运动预测量中推导出。

图18A-图18B分别示出了4参数仿射模型和6参数仿射模型。

图19示出了继承的仿射候选的AF_INTER的MVP的示例。

图20示出了构建的仿射候选的AF_INTER的MVP的示例。

在AF_INTER模式下，当使用4/6参数仿射模式时，需要2/3个控制点，并且因此需要为这些控制点编码2/3个MVD，如图18A-图18B所示。在示例中，提出按如下方式来推导MV，即从mvd₀中预测mvd₁和mvd₂。

其中，

mvd_i和mv₁分别是左上方像素(i＝0)、右上方像素(i＝1)或左下方像素(i＝2)的预测运动矢量、运动矢量差和运动矢量，如图18B所示。请注意，两个运动矢量(例如，mvA(xA,yA)和mvB(xB,yB))的相加等于两个分量的单独求和，即newMV＝mvA+mvB，newMV的两个分量分别设置为(xA+xB)和(yA+yB)。

2.3.3.3AF_MERGE模式

当在AF_MERGE模式下应用CU时，它从有效的临近重建块中获得用仿射模式编码的第一块。并且候选块的选择顺序是从左、上、右上、左下到左上，如图21A所示(依次由A、B、C、D、E表示)。例如，如果临近的左下块以仿射模式编码，如图21B中的A0所表示，则提取包含块A的临近CU/PU的左上角、右上角和左下角的控制点(CP)运动矢量mv₀ ^N、mv₁ ^N和mv₂ ^N。并且基于mv₀ ^N、mv₁ ^N和mv₂ ^N来计算当前CU/PU上的左上角/右上/左下的运动矢量mv₀ ^C、mv₁ ^C和mv₂ ^C(其仅用于6参数仿射模式)。应该注意的是，在VTM-2.0中，如果当前块被仿射编码，位于左上角的子块(例如，VTM中的4×4块)存储mv0，则位于右上角的子块存储mv1。如果当前块用6参数仿射模型来编码，则位于左下角的子块将存储mv2；否则(用4参数仿射模型)，LB存储mv2’。其他子块存储用于MC的MV。

在推导出当前CU的CPMV mv₀ ^C、mv₁ ^C和mv₂ ^C之后，根据简化的仿射运动模型等式(1)和(2)，生成当前CU的MVF。为了识别当前CU是否用AF_MERGE模式编码，当存在至少一个临近块以仿射模式编码时，在比特流中信令通知仿射标志。

图21A-图21B分别示出了具有五个临近块的AF_MERGE的候选和CPMV预测量推导。

在示例中，仿射Merge候选列表由以下步骤构建：

1)插入继承的仿射候选

继承的仿射候选是指候选是从其有效临近仿射编码块的仿射运动模型中推导的。从临近块的仿射运动模型中推导最多两个继承的仿射候选，并将其插入到候选列表中。对于左侧预测量，扫描顺序为{A0,A1}；对于上侧预测量，扫描顺序为{B0,B1,B2}。

2)插入构建的仿射候选

如果仿射Merge候选列表中的候选的数量小于MaxNumAffineCand(设置为5)，则将构建的仿射候选插入候选列表中。构建的仿射候选是指通过组合每个控制点的临近运动信息来构建候选。

控制点的运动信息首先从图22所示的指定的空域邻居和时域邻居中推导。CPk(k＝1,2,3,4)代表第k个控制点。A0、A1、A2、B0、B1、B2和B3是预测CPk(k＝1,2,3)的空域位置；T是预测CP4的时域位置。

CP1、CP2、CP3和CP4的坐标分别是(0,0)、(W,0)、(H,0)和(W,H)，其中W和H是当前块的宽度和高度。

根据以下优先级顺序获得每个控制点的运动信息：

对于CP1，检查优先级是B₂->B₃->A₂。如果B₂可用，则使用B₂。否则，如果B₂不可用，则使用B₃。如果B₂和B₃都不可用，则使用A₂。如果三个候选全部都不可用，则无法获得CP1的运动信息。

对于CP2，检查优先级是B₁->B₀。

对于CP3，检查优先级是A₁->A₀。

对于CP4，使用T。

其次，使用控制点的组合来构建仿射Merge候选。

构建6参数仿射候选需要三个控制点的运动信息。三个控制点可以从以下四个组合中选择一个({CP1,CP2,CP4}、{CP1,CP2,CP3}、{CP2,CP3,CP4}、{CP1,CP3,CP4})。组合{CP1,CP2,CP3}、{CP2,CP3,CP4}、{CP1,CP3,CP4}将转换为由左上、右上和左下控制点表示的6参数运动模型。

构建4参数仿射候选需要两个控制点的运动信息。这两个控制点可以从以下两个组合中选择一个({CP1,CP2}、{CP1,CP3})。这两个组合将被转换为由左上和右上控制点表示的4参数运动模型。

构建的仿射候选的组合按以下顺序插入候选列表：

{CP1,CP2,CP3}、{CP1,CP2,CP4}、{CP1,CP3,CP4}、{CP2,CP3,CP4}、{CP1,CP2}、{CP1,CP3}。

仅当CP具有相同的参考索引时，才将CP的运动信息的可用组合添加到仿射Merge列表中。

3)用零运动矢量进行填充

如果仿射Merge候选列表中的候选的数量少于5，则具有零参考索引的零运动矢量被插入到候选列表中，直到列表满为止。

2.3.4当前图片参考

在HEVC屏幕内容编码扩展(screen content coding，SCC)中采用了帧内块复制(IBC(Intra block copy)，或帧内图片块补偿)，也称为当前图片参考(current picturereferencing，CPR)。该工具对于屏幕内容视频的编码非常有效，因为文本和图形丰富的内容中的重复模式经常出现在同一图片中。将先前重建的具有相同或类似模式的块作为预测量可以有效地减少预测误差，从而提高编码效率。图23示出了帧内块补偿的示例。

类似于HEVC SCC中的CRP设计，在VVC中，IBC模式的使用在序列和图片级别上都被信令通知。当在序列参数集(sequence parameter set，SPS)下启用IBC模式时，它可以在图片级别下启用。当在图片级别下启用IBC模式时，当前重建的图片被视为参考图片。因此，在现有的VVC帧间模式的基础上，不需要在块级别上进行语法改变来信令通知IBC模式的使用。

主要特点：

-它被视为正常帧间模式。因此，Merge和跳过模式也可用于IBC模式。Merge候选列表构建是统一的，包含来自临近位置的、以IBC模式编码或以HEVC帧间模式编码的Merge候选。根据选择的Merge索引，Merge或跳过模式下的当前块可以合并到IBC模式编码的邻居中，或者以其它方式合并到用不同图片作为参考图片的正常帧间模式编码的邻居中。

-用于IBC模式的块矢量预测和编码方案重用用于HEVC帧间模式(AMVP和MVD编码)下的运动矢量预测和编码的方案。

-对于IBC模式的运动矢量，也称为块矢量，以整数像素精度编码，但解码后以1/16像素精度存储在存储器中，因为插值和去块阶段需要四分之一像素精度。当用于IBC模式的运动矢量预测时，存储的矢量预测量将右移4。

-搜索范围：限于当前CTU内。

-启用仿射模式/三角形模式/GBI/加权预测时，不允许CPR。

2.3.5 VVC中的Merge列表设计

VVC中支持三种不同的Merge列表构建过程：

1)子块Merge候选列表：它包括ATMVP和仿射Merge候选。仿射模式和ATMVP模式共享一个Merge列表构建过程。这里，ATMVP和仿射Merge候选可以按顺序添加。子块Merge列表尺寸在条带头中信令通知，并且最大值为5。

2)单向预测TPM Merge列表：对于三角形预测模式，两个分区共享一个Merge列表构建过程，即使两个分区可以选择它们自己的Merge候选索引。当构建该Merge列表时，检查块的空域临近块和两个时域块。从空域临近块和时域块中推导出的运动信息在本文中被称为规则运动候选。这些规则运动候选被进一步用于推导多个TPM候选。请注意，变换在整个块级别下执行，即使两个分区也可以使用不同的运动矢量来生成它们自己的预测块。

单向预测TPM Merge列表尺寸被固定为5。

3)规则Merge列表：对于剩余的编码块，共享一个Merge列表构建过程。这里，可以按顺序插入空域/时域/HMVP、成对组合的双向预测Merge候选和零运动候选。规则Merge列表尺寸在条带头中信令通知，并且最大值为6。

2.3.5.1子块Merge候选列表

建议将除了用于非子块Merge候选的规则Merge列表之外的所有子块相关的运动候选放入单独的Merge列表中。

子块相关的运动候选被放入单独的Merge列表中，该列表被命名为“子块Merge候选列表”。

在一个示例中，子块Merge候选列表包括仿射Merge候选、和ATMVP候选和/或基于子块的STMVP候选。

在示例中，正常Merge列表中的ATMVP Merge候选被移动到仿射Merge列表的第一位置。使得新列表(即基于子块的Merge候选列表)中的所有Merge候选都基于子块编码工具。

2.3.5.2规则Merge列表

与Merge列表设计不同，在VVC中，采用基于历史的运动矢量预测(history-basedmotion vector prediction，HMVP)方法。

在HMVP中，存储先前编码的运动信息。先前编码块的运动信息被定义为HMVP候选。多个HMVP候选被存储在名为HMVP表的表中，并且该表在编码/解码过程中实时维护。当开始编码/解码新条带时，HMVP表被清空。每当有帧间编码块时，相关联的运动信息被添加到表的最后一个条目中作为新的HMVP候选。整个编码流程如图24所示。

HMVP候选可以用于AMVP和Merge候选列表构建过程。图25描绘了修改的Merge候选列表构建过程(以灰色突出显示)。当Merge候选列表在TMVP候选插入后未满时，存储在HMVP表中的HMVP候选可以用来填充Merge候选列表。考虑到一个块通常与最近的临近块在运动信息方面具有更高的相关性，表中的HMVP候选以索引的降序插入。表中的最后一个条目首先被添加到列表中，而第一个条目被最后添加。类似地，冗余消除也适用于HMVP候选。一旦可用的Merge候选的总数达到信令通知的所允许的Merge候选的最大数量，Merge候选列表构建过程就终止。

3.通过公开的实施例解决的技术示例

在当前VVC设计中，仿射预测模式可以实现对于具有仿射运动的序列的显著编码增益。但是，它可能有以下问题：

1)对于双向预测仿射模式，不考虑两个参考图片列表之间的仿射运动信息的相关性。

2)对于仿射Merge候选推导过程，仿射模型(4参数或6参数)类型直接从临近块继承，这需要附加的行缓冲区尺寸来存储仿射模型类型。

4.各种技术的描述

下面的详细发明应该被认为是解释一般概念的示例。这些发明不应该被狭义地解释。此外，这些发明可以以任何方式组合。

1.提出了添加到一个参考图片列表的候选可以被用于预测另一参考图片的CPMV。

a.在一个示例中，一个参考图片的CPMV可以被用于预测另一参考图片的CPMV。

b.在一个示例中，一个参考图片的编码的MVD可以被(如果需要的话被缩放)用于预测另一参考图片的MVD。

2.提出了对称仿射编码模式，其中一个参考图片列表(列表X)的运动信息被信令通知，而另一参考图片列表(列表Y，其中Y不等于X)的运动信息总是被跳过。

a.在一个示例中，没有信令通知的参考图片列表(列表Y)的运动信息(诸如CPMV)可以从参考图片列表(列表X)的运动信息中推导。

b.在一个示例中，该模式的预测方向也被设置为双向预测。

c.在一个示例中，它被添加作为新的编码模式。可替代地，它可以被用来代替单向仿射编码模式。

3.提出了仿射模型类型(例如，4参数或6参数)可以用于在构建仿射候选列表(例如，仿射AMVP/Merge候选列表、子块Merge候选列表)时决定仿射候选的插入顺序。

a.对于仿射AMVP候选列表，具有相同仿射模型类型的临近块可以被赋予更高的优先级。例如，具有相同仿射模型类型的临近块的运动信息可以在具有不同仿射模型类型的第二临近块的运动信息之前被添加到AMVP列表中。

b.在一个示例中，可以为仿射Merge模式进一步信令通知仿射类型。

c.对于仿射Merge候选列表和/或子块Merge候选列表，具有相同仿射模型类型的临近块可以被赋予更高的优先级。

i.在一个示例中，具有与第一仿射候选相同仿射模型类型的临近块的运动信息可以在具有不同仿射模型类型的第二临近块的运动信息之前添加到Merge列表中。

ii.在一个示例中，构建的仿射候选的组合可以用添加在6参数仿射候选之前的4参数仿射候选(2个CPMV)来重新排序。

d.对于仿射Merge候选列表和/或子块Merge候选列表，可以构建具有与选择的Merge候选的仿射模型类型相同的仿射模型类型的更多构建的仿射候选。

i.在一个示例中，所选择的Merge候选是第一个可用仿射Merge候选。

ii.在一个示例中，所选择的Merge候选是与空域临近块的特定位置相关联的仿射Merge候选。

e.对于仿射Merge候选列表和/或子块Merge候选列表，构建的仿射候选的顺序可以取决于选择的仿射Merge候选的仿射模型类型。

4.提出了不存储与块相关联的仿射模型类型并不将其用于编码随后的块。

a.可替代地，这样的信息可以被存储，但仅用于编码当前CTU内或相同M×N区域或当前CTU行内的随后的块。在一个示例中，一个图片/片/条带可以被划分成尺寸等于M×N(例如，64×64)的非重叠区域。

b.在一个示例中，在对具有4参数仿射模型的AMVP仿射编码块进行解码之后，不是存储2个CPMV(来自左上方和右上方位置)，而是可以存储3个CPMV(来自左上方、右上方和左下方位置)。

i.在一个示例中，可以利用左上方和右上方的CPMV来推导左下方的CPMV。

c.在一个示例中，对于每个仿射Merge候选，利用6参数仿射模型。可替代地，对于每个仿射Merge候选，利用4参数仿射模型。

5.提出了仿射候选可以被重新排序，而不是使用固定的插入顺序。

a.在一个示例中，重新排序取决于相对于当前块的代表性临近位置的推导出的MV。每个仿射候选被用于推导若干代表性临近位置的运动矢量，然后计算推导出的MV和与那些代表性临近位置相关联的所解码的MV的差。最后，仿射候选按差的升序重新排序。

b.在一个示例中，差度量是MSE(mean squared error，均方误差)。

c.可替代地，此外，在计算差之前，如果仿射候选具有与代表性临近块不同的参考图片，则可以进一步缩放推导出的MV。

d.可替代地，此外，在计算差之前，可以将推导出的MV和代表性临近MV都缩放到一些选择的参考图片。

e.在一个示例中，只有一些仿射候选被重新排序。例如，只有临近仿射候选被重新排序。它们可以总是在构建的仿射候选之前被插入。

f.在一个示例中，只有构建的仿射候选被重新排序。它们可能总是在临近仿射候选之后被插入。

g.在一个示例中，只有前N个仿射候选被重新排序。

h.在一个示例中，只有重新排序的仿射Merge候选的前N个被插入子块Merge列表。

i.在一个示例中，如果执行这种重新排序，则子块Merge列表的最大长度减少了K。例如，K＝2。

6.提出了将上述4中描述的重新排序方法应用于仿射AMVP列表构建。

a.在一个示例中，没有仿射AMVP索引被信令通知，并且只有重新排序的仿射AMVP候选中的第一个被用作预测量。

7.提出了可以对多个(例如，2个)仿射候选进行平均，以生成新的仿射候选。

a.在一个示例中，只有具有相同参考图片的仿射候选被用于生成平均仿射候选。

b.在一个示例中，具有不同参考图片的仿射候选可以用于生成平均仿射候选，并且所有仿射候选被缩放到相同的参考图片。

i.在一个示例中，这些仿射候选中的任何一个的参考图片可以被用作平均仿射候选的参考图片。

ii.在一个示例中，可以针对每个CU/片/条带/图片/视频/片定义平均仿射候选的参考图片，并且可以在片头/条带头/PPS/VPS/SPS中信令通知。

iii.在一个示例中，参考图片在编码器和解码器处都被隐式预定义。

iv.在一个示例中，不执行缩放。

图26是视频处理装置2600的框图。装置2600可以用于实施本文描述的一种或多种方法。装置2600可以体现在智能手机、平板电脑、计算机、物联网(Internet of Things，IoT)接收器等中。装置2600可以包括一个或多个处理器2602、一个或多个存储器2604和视频处理硬件2606。(多个)处理器2602可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)2604可以被用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件2606可以被用于在硬件电路中实施本文档中描述的一些技术。

图27是视频处理的示例方法2700的流程图。该方法可以由视频编码器，在其解码环路中，或由视频解码器来执行。方法2700包括：使用与来自单个参考图片列表的第一参考图片相关的运动信息，对于当前块，推导(2702)与来自不同于单个参考图片列表的另一参考图片列表的第二参考图片相关的运动信息；以及基于与第一参考图片相关的运动信息和与第二参考图片相关的运动信息，对当前块执行(2704)视频处理。

图28是视频处理的示例方法2800的流程图。该方法可以由视频编码器，在其解码环路中，或由视频解码器来执行。方法2800包括确定(2802)与当前块相关联的仿射模式类型；以及基于所确定的仿射模式类型对当前块执行(2804)视频处理；其中仿射模式类型被限制用于当前块所位于的视频图片的一部分，并且所确定的仿射模式类型被禁止用于该视频图片的其他部分。

图29是视频处理的示例方法2900的流程图。该方法可以由视频编码器，在其解码环路中，或由视频解码器来执行。方法2900包括生成(2902)对于当前块的仿射候选列表，其中仿射候选列表包括通过对来自仿射候选列表的多个仿射候选进行平均而生成的附加仿射候选；以及基于扩展的仿射候选列表对当前块执行(2904)视频处理。

应当理解，已经公开了若干技术，这些技术通过允许在如本文档中的许多技术和实施例所描述的视频压缩和解压缩中使用仿射模型，而有益于结合在诸如智能手机、膝上型电脑、台式电脑和类似设备的视频处理设备中的视频编码器和解码器实施例。

一些实施例可以使用以下示例来描述。

1.一种用于视频处理的方法，包括：

使用与来自单个参考图片列表的第一参考图片相关的运动信息，对于当前块推导与来自不同于单个参考图片列表的另一参考图片列表的第二参考图片相关的运动信息；以及

基于与第一参考图片相关的运动信息和与第二参考图片相关的运动信息，对当前块执行视频处理。

2.根据示例1所述的方法，其中，与第一参考图片相关的运动信息被信令通知，并且推导与第二参考图片相关的运动信息包括：

从信令通知的与第一参考图片相关的运动信息中推导与第二参考图片相关的运动信息。

3.根据示例1-2中任一项所述的方法，其中，运动信息包括控制点运动矢量(CPMV)，并且与第二参考图片相关的CPMV从与第一参考图片相关的CPMV中推导。

4.根据示例1-2中任一项所述的方法，其中，运动信息包括运动矢量差(MVD)，并且与第二参考图片相关的MVD从与第一参考图片相关的MVD中推导。

5.根据示例1-4中任一项所述的方法，其中，执行视频处理包括基于双向预测仿射模式执行对于当前块的预测。

6.根据示例1-4中任一项所述的方法，其中，执行视频处理包括基于对称仿射模式执行对于当前块的预测。

7.根据示例6所述的方法，其中，对称仿射模式被设置为双向仿射模式。

8.根据示例6所述的方法，其中，对称仿射模式是独立于双向仿射模式和单向仿射模式的模式；或者当前块的可选择的仿射模式包括对称仿射模式，而不包括单向仿射模式。

9.一种用于视频处理的方法，包括：

确定与当前块相关联的仿射模式类型；以及

基于所确定的仿射模式类型对当前块执行视频处理；

其中，仿射模式类型被限制用于当前块所位于的视频图片的一部分，并且所确定的仿射模式类型被禁止用于该视频图片的其他部分。

10.根据示例9所述的方法，其中，视频图片的该部分是当前块，并且仿射模式类型不被存储。

11.根据示例9或10所述的方法，其中，视频图片的该部分对应于以下中的至少一个：

当前块所位于的编码树单元(CTU)：

当前块所位于的M×N区域；以及

当前块所位于的CTU行。

12.根据示例11所述的方法，其中，M×N区域是从图片、片和条带中的至少一个分割的具有相同尺寸的多个非重叠的M×N区域之一。

13.根据示例11或12所述的方法，其中，M＝N＝64。

14.根据示例9-13中任一项所述的方法，其中，与当前块相关联的运动信息包括当前块的控制点运动矢量(CPMV)，所述方法包括：

存储当前块的三个控制点运动矢量(CPMV)，而不管是6参数仿射模型还是4参数仿射模型被应用于当前块。

15.根据示例14所述的方法，其中，三个CPMV包括分别位于当前块的左上角、右上角和左下角的CPMV。

16.根据示例15所述的方法，还包括：

从分别位于当前块的左上角和右上角的CPMV中推导位于当前块的左下角的CPMV。

17.根据示例14-16中任一项所述的方法，其中，将高级运动矢量预测(AMVP)模式应用于当前块。

18.根据示例14-16中任一项所述的方法，其中，将仿射Merge模式应用于当前块，该方法包括：

从多个仿射Merge候选中推导当前块的运动信息，每个仿射Merge候选利用6参数仿射模型或4参数仿射模型。

19.一种用于视频处理的方法，包括：

生成当前块的仿射候选列表，其中，仿射候选列表包括通过对来自仿射候选列表的多个仿射候选进行平均而生成的附加仿射候选；以及

基于扩展的仿射候选列表对当前块执行视频处理。

20.根据示例19所述的方法，其中，多个仿射候选的数量是2。

21.根据示例19或20所述的方法，其中，多个仿射候选参考相同的参考图片。

22.根据示例19或20所述的方法，其中，多个仿射候选中的至少两个参考不同的参考图片。

23.根据示例22所述的方法，其中，所有多个仿射候选被缩放到附加候选的相同参考图片。

24.根据示例22或23所述的方法，其中，多个仿射候选中的任何一个所参考的参考图片被用作附加候选的参考图片。

25.根据示例21-24中任一项所述的方法，其中，针对编码单元级别、片级别、条带级别、图片级别、视频级别中的至少一个定义附加候选的参考图片。

26.根据示例21-25中任一项所述的方法，其中，附加候选的参考图片在片头、条带头、图片参数集(PPS)、视频参数集(VPS)、序列参数集(SPS)中的至少一个中被信令通知。

27.根据示例21-25中任一项所述的方法，其中，在编码和解码侧两者处隐式地预定义附加候选的参考图片。

28.根据示例1-27中任一项所述的方法，其中，视频处理包括将视频块编码成视频块的比特流表示和从视频块的比特流表示解码视频块中的至少一项。

29.一种视频处理装置，包括被配置为实现所述示例1至28中任一项的方法的处理器。

30.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行示例1至28中任一项的方法的程序代码。

本文档中描述的所公开的和其它解决方案、示例、实施例、模块和功能操作可以在数字电子电路中实施，或者在计算机软件、固件或硬件中实施，包括本文档中公开的结构及其结构等同物，或者在它们中的一个或多个的组合中实施。所公开的和其它实施例可以实施为一个或多个计算机程序产品，即编码在计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实现机器可读传播信号的物质组合，或者它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，例如，包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电信号、光信号或电磁信号，其被生成来编码信息以传输到合适的接收器装置。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其它程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协调文件中(例如，存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以被部署为在位于一个站点或分布在多个站点并通过通信网络互连的一个或多个计算机上执行。

本文中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，该处理器运行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以实施为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来说，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或者被可操作地耦合以从一个或多个大容量存储设备接收数据或向其传送数据或两者兼有。然而，计算机不一定需要这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，例如，包括半导体存储器设备，例如，EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充或并入专用逻辑电路。

虽然本专利文档包含许多细节，但这些不应被解释为对任何主题或所要求保护的范围的限制，而是对特定技术的特定实施例所特有的特征的描述。本专利文件中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实施。此外，尽管上述特征可以被描述为以某些组合起作用，甚至最初被要求这样来保护，但是在某些情况下，可以从所要求保护的组合中删除该组合中的一个或多个特征，并且所要求保护的组合可以指向子组合或子组合的变体。

类似地，尽管在附图中以特定顺序描述了操作，但这不应理解为要求以所示的特定顺序或顺序地执行这些操作，或者要求执行所有所示的操作，以获得期望的结果。此外，在本专利文件中描述的实施例中的各种系统组件的分离不应该理解为在所有实施例中都需要这种分离。

仅描述了几个实施方式和示例，并且可以基于本专利文件中描述和图示的内容进行其它实施、增强和变化。

Claims

1.一种用于视频处理的方法，包括：

使用与来自单个参考图片列表的第一参考图片相关的运动信息，对当前块推导与来自不同于该单个参考图片列表的另一参考图片列表的第二参考图片相关的运动信息；以及

基于与第一参考图片相关的运动信息和与第二参考图片相关的运动信息，对所述当前块执行视频处理。

2.根据权利要求1所述的方法，其中，所述与第一参考图片相关的运动信息被信令通知，并且推导与第二参考图片相关的运动信息包括：

3.根据权利要求1-2中任一项所述的方法，其中，所述运动信息包括控制点运动矢量CPMV，并且与第二参考图片相关的CPMV从与第一参考图片相关的CPMV中推导。

4.根据权利要求1-2中任一项所述的方法，其中，所述运动信息包括运动矢量差MVD，并且与第二参考图片相关的MVD从与第一参考图片相关的MVD中推导。

5.根据权利要求1-4中任一项所述的方法，其中，执行视频处理包括基于双向预测仿射模式执行对所述当前块的预测。

6.根据权利要求1-4中任一项所述的方法，其中，执行视频处理包括基于对称仿射模式执行对所述当前块的预测。

7.根据权利要求6所述的方法，其中，所述对称仿射模式被设置为双向仿射模式。

8.根据权利要求6所述的方法，其中，所述对称仿射模式是独立于双向仿射模式和单向仿射模式的模式；或者当前块的可选择的仿射模式包括所述对称仿射模式而不包括单向仿射模式。

9.一种用于视频处理的方法，包括：

确定与当前块相关联的仿射模式类型；以及

基于所确定的仿射模式类型对所述当前块执行视频处理；

其中，所述仿射模式类型被限制用于所述当前块所位于的视频图片的一部分，并且所确定的仿射模式类型被禁止用于该视频图片的其他部分。

10.根据权利要求9所述的方法，其中，视频图片的所述部分是所述当前块，并且所述仿射模式类型不被存储。

11.根据权利要求9或10所述的方法，其中，视频图片的所述部分对应于以下中的至少一个：

所述当前块所位于的编码树单元CTU：

所述当前块所位于的M×N区域；以及

所述当前块所位于的CTU行。

12.根据权利要求11所述的方法，其中，所述M×N区域是从图片、片和条带中的至少一个分割的具有相同尺寸的多个非重叠的M×N区域之一。

13.根据权利要求11或12所述的方法，其中，M＝N＝64。

14.根据权利要求9-13中任一项所述的方法，其中，与所述当前块相关联的运动信息包括所述当前块的控制点运动矢量CPMV，所述方法包括：

存储所述当前块的三个控制点运动矢量CPMV，无论是6参数仿射模型还是4参数仿射模型被应用于所述当前块。

15.根据权利要求14所述的方法，其中，所述三个CPMV包括分别位于所述当前块的左上角、右上角和左下角的CPMV。

16.根据权利要求15所述的方法，还包括：

从分别位于所述当前块的左上角和右上角的CPMV中推导位于所述当前块的左下角的CPMV。

17.根据权利要求14-16中任一项所述的方法，其中，将高级运动矢量预测AMVP模式应用于所述当前块。

18.根据权利要求14-16中任一项所述的方法，其中，将仿射Merge模式应用于所述当前块，所述方法包括：

从多个仿射Merge候选中推导所述当前块的运动信息，每个仿射Merge候选利用6参数仿射模型或4参数仿射模型。

19.一种用于视频处理的方法，包括：

生成当前块的仿射候选列表，其中，所述仿射候选列表包括通过对来自所述仿射候选列表的多个仿射候选进行平均而生成的附加仿射候选；以及

基于扩展的仿射候选列表对所述当前块执行视频处理。

20.根据权利要求19所述的方法，其中，所述多个仿射候选的数量是2。

21.根据权利要求19或20所述的方法，其中，所述多个仿射候选参考相同的参考图片。

22.根据权利要求19或20所述的方法，其中，所述多个仿射候选中的至少两个参考不同的参考图片。

23.根据权利要求22所述的方法，其中，所述多个仿射候选均被缩放到所述附加候选的相同参考图片。

24.根据权利要求22或23所述的方法，其中，所述多个仿射候选中的任何一个所参考的参考图片被用作所述附加候选的参考图片。

25.根据权利要求21-24中任一项所述的方法，其中，针对编码单元级别、片级别、条带级别、图片级别、视频级别中的至少一个定义所述附加候选的参考图片。

26.根据权利要求21-25中任一项所述的方法，其中，所述附加候选的参考图片在片头、条带头、图片参数集(PPS)、视频参数集(VPS)、序列参数集(SPS)中的至少一个中被信令通知。

27.根据权利要求21-25中任一项所述的方法，其中，在编码和解码侧两者处隐式地预定义所述附加候选的参考图片。

28.根据权利要求1-27中任一项所述的方法，其中，所述视频处理包括将所述视频块编码成所述视频块的比特流表示和从所述视频块的比特流表示解码所述视频块中的至少一个。

29.一种视频处理装置，包括被配置为实施权利要求1至28中任一项的方法的处理器。

30.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于执行权利要求1至28中任一项的方法的程序代码。