CN113924771B

CN113924771B - 子块Merge模式中的语法信令

Info

Publication number: CN113924771B
Application number: CN202080038020.1A
Authority: CN
Inventors: 张凯; 张莉; 刘鸿彬; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-05-21
Filing date: 2020-05-21
Publication date: 2024-01-12
Anticipated expiration: 2040-05-21
Also published as: CN117714682A; EP3954119A4; JP2023145610A; CN113906738B; US20220060695A1; CN113924771A; KR20220009951A; WO2020233661A1; US11627313B2; WO2020233659A1; JP7323641B2; EP3954120A4; CN113853793B; EP3954120A1; EP3954119A1; JP2022533056A; WO2020233662A1; JP2022532629A; US11496733B2; CN113853793A

Abstract

一种视觉媒体处理方法，包括：依赖于视觉媒体数据的比特流表示中与仿射自适应运动矢量分辨率(AMVR)技术相关的控制信息，确定是否对所述视觉媒体数据使用仿射AMVR技术，其中，基于规则将所述控制信息包括在所述比特流表示中，或者从所述比特流表示中排除；以及执行所述视觉媒体数据和所述视觉媒体数据的所述比特流表示之间的转换。

Description

子块Merge模式中的语法信令

相关申请的交叉引用

根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求2019年5月21日提交的国际专利申请No.PCT/CN2019/087805的优先权和权益。根据法律，将上述申请的全部公开以参考方式并入本文，作为本申请公开的一部分。

技术领域

本专利文件涉及视频编码/解码技术、设备和系统。

背景技术

尽管在视频压缩方面取得了进步，但在互联网和其他数字通信网络中，数字视频仍然是使用带宽最多的。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

发明内容

本文描述使用基于子块的运动矢量细化来执行视频编码或解码的各种实施例和技术。在一个示例方面，公开了一种视觉媒体处理方法。该方法包括：依赖于视觉媒体数据的比特流表示中与仿射自适应运动矢量分辨率(AMVR)技术相关的控制信息，确定是否对所述视觉媒体数据使用仿射AMVR技术，其中，基于规则将所述控制信息包括在所述比特流表示中，或者从所述比特流表示中排除；以及执行所述视觉媒体数据和所述视觉媒体数据的所述比特流表示之间的转换。

在另一示例方面，公开了另一种视觉媒体处理方法。该方法包括：做出是否将基于子块的时域运动矢量预测(sbTMVP)技术应用于视觉媒体数据的确定；响应于所述确定，为包括在所述视觉媒体数据中的当前视频块生成子块Merge候选列表；以及使用所述子块Merge候选列表执行所述当前视频块和所述当前视频块的比特流表示之间的转换。

在又一示例方面，公开了另一种视觉媒体处理方法。该方法包括：在当前视频块和比特流表示之间的转换期间，将一个或多个默认Merge候选附加到用于所述转换的子块Merge候选列表；以及使用附加了一个或多个默认Merge候选的所述子块Merge候选列表来执行所述转换。

在又一示例方面，公开了另一种视觉媒体处理方法。该方法包括：在视频的当前视频块和比特流表示之间的转换期间，确定基于子块的时域运动矢量预测(sbTMVP)对所述转换的适用性，其中，比特流表示中的一个或多个比特对应于所述确定；以及基于所述确定执行所述转换。

在又一示例方面，公开了另一种视觉媒体处理方法。该方法包括：基于与时域运动矢量预测(TMVP)步骤或基于子块的时域运动矢量预测(sbTMVP)步骤相关联的条件选择性地构建子块Merge候选列表；以及基于所述子块Merge候选列表执行当前视频块和所述当前视频块的比特流表示之间的转换。

在又一示例方面，公开了另一种视觉媒体处理方法。该方法包括：在视觉媒体数据和所述视觉媒体数据的比特流表示之间的转换期间，确定与所述视觉媒体数据相关联的并置参考图片相关的信息，其中，基于是否启用访问时域运动信息的编解码模式，在所述比特流表示中包括或排除所述信息；根据所述指示确定所述并置参考图片；以及基于所述并置参考图片执行所述视觉媒体数据和所述视觉媒体数据的所述比特流表示之间的转换。

在又一示例方面，公开了另一种视觉媒体处理方法。该方法包括：执行视觉媒体数据的视频块和所述视觉媒体数据的比特流表示之间的转换；以及在所述转换期间，依赖于控制信息来确定是否应用使用光流的预测细化(PROF)，基于规则在所述比特流表示中包括或排除所述控制信息。

在又一示例性方面，公开了一种视频编码和/或解码装置，其包括配置为实现上述方法的处理器。

在又一示例方面，公开了一种计算机可读介质。该计算机可读介质存储实现上述方法中的一个的处理器可执行代码。

在本文中进一步描述了这些方面和其他方面。

附图说明

图1示出了Merge候选列表构造的示例推导处理。

图2示出了空域Merge候选的位置的示例。

图3示出了考虑空域Merge候选的冗余检查的候选对的示例。

图4A-4B示出了N×2N和2N×N分割的第二PU的示例位置。

图5是时域Merge候选的运动矢量缩放的图示。

图6示出了时域Merge候选的候选位置的示例C0和C1。

图7示出了组合双向预测Merge候选的示例。

图8总结了运动矢量预测候选的推导处理。

图9示出了用于空域运动矢量候选的运动矢量缩放的图示。

图10示出了CU的ATMVP运动预测的示例。

图11示出了具有四个子块(A-D)及其临近块(a-d)的一个CU的示例。

图12是用不同MV精度编解码的示例流程图。

图13示出了：(a)135度分割类型(从左上角到右下角划分)(b)45度划分模式。

图14示出了临近块的示例位置。

图15示出了在TPM标志编解码中用于上下文选择的临近块(A和L)。

图16示出了(a)4参数仿射和(b)6参数仿射模型。

图17示出每个子块的仿射MVF的示例。

图18示出了：(a)4参数仿射模型(b)和6参数仿射模型。

图19示出了继承仿射候选的AF_INTER的MVP。

图20示出了构造仿射候选的AF_INTER的MVP。

图21示出了：(a)五个临近块，(b)CPMV预测器推导的示例。

图22示出了仿射Merge模式的示例候选位置。

图23示出了ATMVP使用的空域临近块的示例。

图24示出了通过应用来自空域邻居的运动移位和缩放来自对应并置子CU的运动信息来导出子CU运动场的示例。

图25示出了仿射Merge模式的候选位置。

图26示出了修改的Merge列表构造处理。

图27示出了子块MV VSB和像素Δv(i,j)(红色箭头)。

图28是用于实现本文中描述的方法的硬件平台的示例的框图。

图29是视频处理的示例方法的流程图。

图30是可以实现所公开的技术的示例性视频处理系统的框图。

图31是视觉媒体处理的示例方法的流程图。

图32是视觉媒体处理的示例方法的流程图。

图33是视觉媒体处理的示例方法的流程图。

图34是视觉媒体处理的示例方法的流程图。

图35是视觉媒体处理的示例方法的流程图。

图36是视觉媒体处理的示例方法的流程图。

图37是视觉媒体处理的示例方法的流程图。

具体实施方式

在本文中使用章节标题是为了便于理解，并且不将在章节中公开的实施例限于该章节。此外，尽管参考多功能视频编码或其他特定视频编解码器描述了某些实施例，但是所公开的技术也适用于其他视频编解码技术。此外，尽管一些实施例详细描述了视频编码步骤，但是应当理解的是，将通过解码器来实现撤销编码的对应解码步骤。此外，术语视频处理涵盖视频编码或压缩、视频解码或解压缩以及视频转码，其中视频像素从一种压缩格式表示为另一种压缩格式或以不同的压缩比特率表示。

1.概述

本文涉及视频编解码技术。具体地，涉及视频编解码中的运动矢量编解码。其可应用于现有视频编解码标准(如HEVC)或待定的标准(多功能视频编解码)。其也可适用于未来的视频编解码标准或视频编解码器。

2.初始讨论

视频编解码标准主要是通过开发众所周知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视频，并且这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262开始，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(JEM)[3，4]的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立，以致力于目标是与HEVC相比其降低50％比特率的VVC标准。可以在以下位置找到VVC草案的最新版本(即，多功能视频编解码(草案5))：

phenix.it-sudparis.eu/jvet/doc_end_user/documents/14_Geneva/wg11/JVET-N1001-v5.zip

可以在以下位置找到VVC的最新参考软件(名为VTM):

vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-5.0

2.1HEVC/H.265中的帧间预测

每个帧间预测的PU都有一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。两个参考图片列表之一的使用也可以使用inter_pred_idc信令通知。运动矢量可显式地编码为相对于预测器的增量。

当CU采用跳过模式编解码时，一个PU与CU相关联，并且没有显著的残差系数，没有编解码运动矢量增量或参考图片索引。指定了一种Merge模式，通过该模式，可以从临近的PU(包括空域和时域候选)中获取当前PU的运动参数。Merge模式可以应用于任何帧间预测的PU，而不仅仅是跳过模式。Merge模式的另一种选择是运动参数的显式传输，其中运动矢量(更精确地，与运动矢量预测器相比的运动矢量差(MVD))、每个参考图片列表的对应的参考图片索引、以及参考图片列表的使用都会根据每个PU显式地信令通知。在本公开中，这样的模式被命名为高级运动矢量预测(AMVP)。

当信令指示要使用两个参考图片列表中的一个时，从一个样本点块中生成PU。这被称为“单向预测”。单向预测对P条带和B条带都可用。

当信令指示要使用两个参考图片列表时，从两个样本点块中生成PU。这被称为“双向预测”。双向预测仅对B条带可用。

下文提供了在HEVC中规定的关于帧间预测模式的细节。描述将从Merge模式开始。

2.1.1参考图片列表

在HEVC中，术语帧间预测用于表示从除了当前解码图片之外的参考图片的数据元素(例如，样本点值或运动矢量)导出的预测。如在H.264/AVC中一样，可以从多个参考图片预测图片。用于帧间预测的参考图片被组织在一个或多个参考图片列表中。参考索引标识列表中的哪些参考图片应用于创建预测信号。

单个参考图片列表(列表0)被用于P条带，并且两个参考图片列表(列表0和列表1)被用于B条带。需要注意的是，列表0/1中包含的参考图片就捕获/显示顺序而言可以来自过去和将来的图片。

2.1.2Merge模式

2.1.2.1Merge模式的候选的推导

当使用Merge模式预测PU时，从比特流中解析指向Merge候选列表中条目的索引，并且使用该索引检索运动信息。在HEVC标准中规定了此列表的构建，并且可按以下步骤顺序进行概括：

步骤1：初始候选推导

步骤1.1：空域候选推导

步骤1.2：空域候选冗余检查

步骤1.3：时域候选推导

步骤2：附加候选插入

步骤2.1：创建双向预测候选

步骤2.2：插入零运动候选

在图1中也示意性地示出了这些步骤。对于空域Merge候选推导，在位于五个不同位置的候选中最多选择四个Merge候选。对于时域Merge候选推导，在两个候选中最多选择一个Merge候选。由于在解码器处假定每个PU的候选数为常量，因此当从步骤1获得的候选数未达到条带标头中信令通知的最大Merge候选数(maxNumMergeCand)时，生成附加的候选。由于候选数是恒定的，所以最佳Merge候选的索引使用截断的一元二值化(TU)进行编解码。如果CU的尺寸等于8，则当前CU的所有PU都共享一个Merge候选列表，这与2N×2N预测单元的Merge候选列表相同。

在下文中，详细描述与前述步骤相关联的操作。

图1示出了Merge候选列表构造的示例推导处理。

2.1.2.2空域候选推导

在空域Merge候选的推导中，在位于图2所示位置的候选中最多选择四个Merge候选。推导顺序为A₁，B₁，B₀，A₀和B₂。只有当位置A₁，B₁，B₀，A₀的任何PU不可用(例如，因为它属于另一个条带或片)或是帧内编解码时，才考虑位置B₂。在增加A1位置的候选后，对剩余候选的增加进行冗余检查，其确保具有相同运动信息的候选被排除在列表之外，从而提高编解码效率。为了降低计算的复杂度，在所提到的冗余检查中并不考虑所有可能的候选对。相反，只有与图3中的箭头链接的对才会被考虑，并且只有当用于冗余检查的对应候选没有相同的运动信息时，才将候选添加到列表中。复制运动信息的另一个来源是与2Nx2N不同的分割相关的“第二PU”。例如，图4A-4B分别描述了N×2N和2N×N情况下的第二PU。当当前的PU被划分为N×2N时，对于列表构建不考虑A1位置的候选。实际上，通过添加此候选可能导致两个具有相同运动信息的预测单元，这对于在编解码单元中仅具有一个PU是冗余的。同样地，当当前PU被划分为2N×N时，不考虑位置B₁。

2.1.2.3时域候选推导

在此步骤中，只有一个候选添加到列表中。特别地，在这个时域Merge候选的推导中，基于属于与给定参考图片列表中当前图片具有最小POC差的图片的并置PU导出了缩放运动矢量。用于推导并置PU的参考图片列表在条带标头中显式地信令通知。获取时域Merge候选的缩放运动矢量(如图5中虚线所示)，其使用POC距离tb和td从并置PU的运动矢量进行缩放，其中tb定义为当前图片的参考图片和当前图片之间的POC差，并且td定义为并置图片的参考图片与并置图片之间的POC差。时域Merge候选的参考图片索引设置为零。HEVC规范中描述了缩放处理的实际实现。对于B条带，得到两个运动矢量(一个是对于参考图片列表0，另一个是对于参考图片列表1)并将其组合使其成为双向预测Merge候选。

图5是时域Merge候选的运动矢量缩放的图示。

在属于参考帧的并置PU(Y)中，在候选C₀和C₁之间选择时域候选的位置，如图6所示。如果位置C₀处的PU不可用、帧内编解码或在当前编解码树单元(CTU也称为LCU，最大编解码单元)行之外，则使用位置C₁。否则，位置C₀被用于时域Merge候选的推导。

图6示出了时域Merge候选的候选位置的示例C0和C1。

2.1.2.4附加候选插入

除了空域和时域Merge候选，还有两种附加类型的Merge候选：组合双向预测Merge候选和零Merge候选。组合双向预测Merge候选是利用空域和时域Merge候选生成的。组合双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一候选的第二参考图片列表运动参数相结合，生成组合双向预测候选。如果这两个元组提供不同的运动假设，它们将形成新的双向预测候选。作为示例，图7示出了该情形，其中原始列表(在左侧)中具有MVL0和refIdxL0或MVL1和refIdxL1的两个候选被用于创建添加到最终列表(在右侧)中的组合双向预测Merge候选。定义了许多关于被认为生成这些附加Merge候选的组合的规则。

插入零运动候选以填充Merge候选列表中的其余条目，从而达到MaxNumMergeCand的容量。这些候选具有零空域位移和从零开始并且每次将新的零运动候选添加到列表中时都会增加的参考图片索引。

更具体地，顺序执行以下步骤直到Merge列表满为止：

1.将变量numRef设置为与P条带的列表0相关联的参考图片的数量，或B条带的两个列表中参考图片的最小数量；

2.添加非重复的零运动候选：

对于变量i为0…numRef-1，对于列表0(如果为P条带)或两个列表(如果为B条带)，将MV设置为(0，0)，并将参考图片索引设置为i，添加默认运动候选。

3.添加重复的零运动候选，其中将MV设置为(0，0)，列表0的参考图片索引设置为0(如果是P条带)，两个列表的参考图片索引都设置为0(如果是B条带)。

最后，对这些候选不执行冗余检查。

2.1.3AMVP

AMVP利用运动矢量与临近的PU的空时相关性，其用于运动参数的显式传输。对于每个参考图片列表，首先通过检查左上方的时域临近的PU位置的可用性、去掉多余的候选并且加上零矢量以使候选列表长度恒定来构建运动矢量候选列表。然后，编解码器可以从候选列表中选择最佳的预测器，并发送指示所选候选的对应索引。与Merge索引信令类似，最佳运动矢量候选的索引使用截断的一元进行编解码。在这种情况下，要编解码的最大值是2(参见图8)。在以下各章节中，提供了关于运动矢量预测候选的推导处理的细节。

2.1.3.1AMVP候选的推导

图8概括了运动矢量预测候选的推导处理。

在运动矢量预测中，考虑了两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选的推导，基于位于图2所示的五个不同位置的每个PU的运动矢量最终推导出两个运动矢量候选。

对于时域运动矢量候选的推导，从两个候选中选择一个运动矢量候选，这两个候选是基于两个不同的并置位置推导出的。在做出第一个空时候选列表后，移除列表中重复的运动矢量候选。如果潜在候选的数量大于二，则从列表中移除相关联的参考图片列表中参考图片索引大于1的运动矢量候选。如果空时运动矢量候选数小于二，则会在列表中添加附加的零运动矢量候选。

2.1.3.2空域运动矢量候选

在推导空域运动矢量候选时，在五个潜在候选中最多考虑两个候选，这五个候选来自图2所示位置上的PU，这些位置与运动Merge的位置相同。当前PU左侧的推导顺序定义为A₀、A₁、以及缩放的A₀、缩放的A₁。当前PU上侧的推导顺序定义为B₀、B₁,B₂、缩放的B₀、缩放的B₁、缩放的B₂。因此，每侧有四种情况可以用作运动矢量候选，其中两种情况不需要使用空域缩放，并且两种情况使用空域缩放。四种不同的情况概括如下：

--无空域缩放

(1)相同的参考图片列表，并且相同的参考图片索引(相同的POC)

(2)不同的参考图片列表，但是相同的参考图片(相同的POC)

--空域缩放

(3)相同的参考图片列表，但是不同的参考图片(不同的POC)

(4)不同的参考图片列表，并且不同的参考图片(不同的POC)

首先检查无空域缩放的情况，然后检查允许空域缩放的情况。当POC在临近PU的参考图片与当前PU的参考图片之间不同时，都会考虑空域缩放，而不管参考图片列表如何。如果左侧候选的所有PU都不可用或是帧内编解码，则允许对上述运动矢量进行缩放，以帮助左侧和上方MV候选的平行推导。否则，不允许对上述运动矢量进行空域缩放。

图9是空域运动矢量候选的运动矢量缩放的图示。

在空域缩放处理中，以与时域缩放类似的方式缩放临近PU的运动矢量，如图9所示。主要区别是，给出当前PU的参考图片列表和索引作为输入；实际的缩放处理与时域缩放处理相同。

2.1.3.3时域运动矢量候选

除了参考图片索引的推导外，时域Merge候选的所有推导处理与空域运动矢量候选的推导处理相同(参见图6)。将参考图片索引信令通知给解码器。

2.2JEM中基于子CU的运动矢量预测方法

在具有QTBT的JEM中，每个CU对于每个预测方向最多可以具有一组运动参数。通过将大的CU分割成子CU并推导该大CU的所有子CU的运动信息，编解码器中考虑了两种子CU级的运动矢量预测方法。可可选时域运动矢量预测(ATMVP)方法允许每个CU从并置参考图片中多个小于当前CU的块中提取多组运动信息。在空时运动矢量预测(STMVP)方法中，通过利用时域运动矢量预测值和空域邻接运动矢量递归地推导子CU的运动矢量。

为了为子CU运动预测保留更精确的运动场，参考帧的运动压缩当前被禁用。

图10示出了CU的ATMVP运动预测的示例。

2.2.1可选时域运动矢量预测

在可选时域运动矢量预测(ATMVP)方法中，运动矢量时域运动矢量预测(TMVP)是通过从小于当前CU的块中提取多组运动信息(包括运动矢量和参考索引)来修改的。子CU为方形N×N块(默认N设置为4)。

ATMVP分两步预测CU内的子CU的运动矢量。第一步是用所谓的时域矢量识别参考图片中的对应块。参考图片称为运动源图片。第二步是将当前CU划分成子CU，并从每个子CU对应的块中获取运动矢量以及每个子CU的参考索引。

在第一步中，参考图片和对应的块由当前CU的空域临近块的运动信息确定。为了避免临近块的重复扫描处理，使用当前CU的Merge候选列表中的第一个Merge候选。第一个可用的运动矢量及其相关联的参考索引被设置为时域矢量和运动源图片的索引。这样，在ATMVP中，与TMVP相比，可以更准确地识别对应的块，其中对应的块(有时称为并置块)始终位于相对于当前CU的右下角或中心位置。

在第二步中，通过将时域矢量添加到当前CU的坐标中，通过运动源图片中的时域矢量识别子CU的对应块。对于每个子CU，使用其对应块的运动信息(覆盖中心样本点的最小运动网格)来推导子CU的运动信息。在识别出对应N×N块的运动信息后，将其转换为当前子CU的运动矢量和参考索引，与HEVC的TMVP方法相同，其中应用运动缩放和其它处理。例如，解码器检查是否满足低延迟条件(例如，当前图片的所有参考图片的POC都小于当前图片的POC)，并可能使用运动矢量MVx(与参考图片列表X对应的运动矢量)来为每个子CU预测运动矢量MVy(X等于0或1且Y等于1-X)。

2.2.2空时运动矢量预测(STMVP)

在这种方法中，子CU的运动矢量是按照光栅扫描顺序递归推导的。图11说明了该概念。考虑一个8×8的CU，它包含四个4×4的子CU A、B、C和D。当前帧中临近的4×4的块标记为a、b、c和d。

子CU A的运动推导由识别其两个空域邻居开始。第一个邻居是子CU A上方的N×N块(块c)。如果该块c不可用或帧内编解码，则检查子CU A上方的其它N×N块(从左到右，从块c处开始)。第二个邻居是子CU A左侧的一个块(块b)。如果块b不可用或是帧内编解码，则检查子CU A左侧的其它块(从上到下，从块b处开始)。每个列表从临近块获得的运动信息被缩放到给定列表的第一个参考帧。接下来，按照HEVC中规定的与TMVP推导相同的程序，推导子块A的时域运动矢量预测(TMVP)。提取位置D处的并置块的运动信息并进行对应的缩放。最后，在检索和缩放运动信息后，对每个参考列表分别平均所有可用的运动矢量(最多3个)。将平均运动矢量指定为当前子CU的运动矢量。

2.2.3子CU运动预测模式信令

子CU模式作为附加的Merge候选启用，并且不需要附加的语法元素来对该模式信令通知。将另外两个Merge候选添加到每个CU的Merge候选列表中，以表示ATMVP模式和STMVP模式。如果序列参数集指示启用了ATMVP和STMVP，则最多使用七个Merge候选。附加Merge候选的编解码逻辑与HM中的Merge候选的编解码逻辑相同，这意味着对于P条带或B条带中的每个CU，需要对两个附加Merge候选进行两次更多RD检查。

在JEM中，Merge索引的所有bin都由CABAC进行上下文编解码。然而在HEVC中，只有第一个bin是上下文编解码的，并且其余的bin是上下文旁路编解码的。

2.3VVC中的帧间预测方法

存在几种新的用于帧间预测改进的编解码工具，诸如用于信令通知MVD的自适应运动矢量差分辨率(AMVR)、仿射预测模式、三角预测模式(TPM)、ATMVP、广义双向预测(GBI)、双向光流(BIO)。

2.3.1自适应运动矢量差分辨率

在HEVC中，当在条带标头中use_integer_mv_flag等于0时，运动矢量差(MVD)(在PU的运动矢量和预测运动矢量之间)以四分之一亮度样本点为单位信令通知。在VVC中，引入了局部自适应运动矢量分辨率(LAMVR或简称为AMVR)。在VVC中，MVD可以用四分之一亮度样本点、整数亮度样本点或四亮度样本点的单位(即1/4像素、1像素、4像素)进行编解码。MVD分辨率控制在编解码单元(CU)级别，并且MVD分辨率标志有条件地为每个至少有一个非零MVD分量的CU信令通知。

对于具有至少一个非零MVD分量的CU，信令通知第一个标志以指示CU中是否使用四分之一亮度样本点MV精度。当第一个标志(等于1)指示不使用四分之一亮度样本点MV精度时，信令通知另一个标志以指示是使用整数亮度样本点MV精度还是使用四亮度样本点MV精度。

当CU的第一个MVD分辨率标志为零或没有为CU编解码(意味着CU中的所有MVD都为零)时，CU使用四分之一亮度样本点MV分辨率。当一个CU使用整数亮度样本点MV精度或四亮度样本点MV精度时，该CU的AMVP候选列表中的MVP将取整到对应的精度。

在编解码器中，CU级别的RD检查用于确定哪个MVD分辨率将用于CU。也就是说，对每个MVD分辨率执行三次CU级别的RD检查。为了加快编解码器速度，在JEM中应用以下编解码方案。

-在对具有正常四分之一亮度样本点MVD分辨率的CU进行RD检查期间，存储当前CU(整数亮度样本点精度)的运动信息。在对具有整数亮度样本点和4亮度样本点MVD分辨率的相同个CU进行RD检查时，将存储的运动信息(取整后)用作进一步小范围运动矢量细化的起始点，从而使耗时的运动估计处理不会重复三次。

-有条件地调用具有4亮度样本点MVD分辨率的CU的RD检查。对于CU，当整数亮度样本点MVD分辨率的RD检查成本远大于四分之一亮度样本点MVD分辨率的RD检查成本时，将跳过对CU的4亮度样本点MVD分辨率的RD检查。

编码处理如图12所示。首先，测试1/4像素MV，并且计算RD成本并表示为RDCost0，然后测试整数MV，并且将RD成本表示为RDCost1。如果RDCost1<th*RDCost0(其中th为正值)，则测试4像素MV；否则，跳过4像素MV。基本上，在检查整数或4像素MV时，1/4像素MV的运动信息和RD成本等都是已知的，其可以被重用来加速整数或4像素MV的编码处理。

在VVC中，AMVR也可应用于仿射预测模式，其中可以从1/16像素、1/4像素和1像素中选择分辨率。

图12是用不同MV精度编码的流程图。

2.3.2三角预测模式

三角预测模式(TPM)的概念是引入一种用于运动补偿预测的新的三角分割。如图13所示，在对角线方向或逆对角线方向上将CU划分成两个三角预测单元。CU中的每个三角预测单元是使用从单个单向预测候选列表导出的其自身的单向预测运动矢量和参考帧索引进行帧间预测的。在对三角预测单元进行预测后，对对角线边缘进行自适应加权处理。然后，将变换和量化处理应用到整个CU中。应当注意的是，此模式仅适用于Merge模式(注意，将跳过模式视为特殊的Merge模式)。

2.3.2.1TPM的单向预测候选列表

单向预测候选列表(称为TPM运动候选列表)由五个单向预测运动矢量候选组成。它从七个临近块导出，包括五个空域临近块(1到5)和两个时域并置块(6到7)，如图14所示。收集7个临近块的运动矢量，并将其按照单向预测运动矢量、双向预测运动矢量的L0运动矢量、双向预测运动矢量的L1运动矢量、以及双向预测运动矢量的L0和L1运动矢量的平均运动矢量的顺序放入单向预测候选列表中。如果候选数目小于5，则将零运动矢量添加到列表中。添加到该TPM列表中的运动候选被称为TPM候选，从空域/时域块导出的运动信息被称为常规运动候选。

更具体地，涉及以下步骤：

1)当添加来自空域临近块的常规运动候选时，使用完全修剪操作从A₁，B₁，B₀，A₀，B₂，Col和Col2(对应于图14中的块1至7)中获取常规运动候选。

2)设置变量numCurrMergeCand＝0。

3)对于从A₁，B₁，B₀，A₀，B₂，Col和Col2导出的每个常规运动候选，如果未修剪并且numCurrMergeCand小于5，如果该运动候选是单向预测(来自列表0或列表1)，则将其直接添加到Merge列表中作为TPM候选，将numCurrMergeCand增加1。这样的TPM候选被命名为“原始单向预测预测候选”。

应用完全修剪。

4)对于从A₁，B₁，B₀，A₀，B₂，Col和Col2导出的每个运动候选，如果未修剪，并且numCurrMergeCand小于5，如果该常规运动候选是双向预测，则将来自列表0的运动信息添加到TPM Merge列表(即，修改为来自列表0的单向预测)作为新的TPM候选，并且numCurrMergeCand增加1。这样的TPM候选被命名为“截断的列表0预测候选”。

应用完全修剪。

5)对于从A₁，B₁，B₀，A₀，B₂，Col和Col2导出的每个运动候选，如果未修剪，并且numCurrMergeCand小于5，如果该常规运动候选是双向预测，则将来自列表1的运动信息添加到TPM Merge列表(即，修改为来自列表1的单向预测)，并且numCurrMergeCand增加1。这样的TPM候选被命名为“截断的列表1预测候选”。

应用完全修剪。

6)对于从A₁，B₁，B₀，A₀，B₂，Col和Col2导出的每个运动候选，如果未修剪，并且numCurrMergeCand小于5，如果该常规运动候选是双向预测，

-如果列表0参考图片的条带QP小于列表1参考图片的条带QP，则首先将列表1的运动信息缩放到列表0参考图片，并且将两个MV(一个来自原始列表0，并且另一个是来自列表1的缩放MV)的平均添加到TPMMerge列表，这样的候选被称为来自列表0运动候选的平均单向预测，并且numCurrMergeCand增加1。

-否则，首先将列表0的运动信息缩放到列表1参考图片，并且将两个MV(一个来自原始列表1，并且另一个是来自列表0的缩放MV)的平均添加到TPM Merge列表中，这样的TPM候选被称为来自列表1运动候选的平均单向预测，并且numCurrMergeCand增加1。

应用完全修剪。

7)如果numCurrMergeCand小于5，则添加零运动矢量候选。

图14示出了临近块的示例位置。

当将候选插入到列表中时，如果将其与所有先前添加的候选进行了比较以查看它是否和它们中的一个相同，则将这样的处理称为完全修剪。

2.3.2.2自适应加权处理

在对每个三角预测单元进行预测后，对两个三角预测单元之间的对角线边缘应用自适应加权处理，以导出整个CU的最终预测。两个加权因子组定义如下：

-第一加权因子组：分别将{7/8、6/8、4/8、2/8、1/8}和{7/8、4/8、1/8}用于亮度和色度样本点；

-第二加权因子组：分别将{7/8、6/8、5/8、4/8、3/8、2/8、1/8}和{6/8、4/8、2/8}用于亮度和色度样本点。

在比较两个三角预测单元的运动矢量的基础上，选择一个加权因子组。当两个三角预测单元的参考图片彼此不同、或其运动矢量差大于16像素时，使用第二加权因子组。否则，使用第一加权因子组。示例如图15所示。

2.3.2.3三角预测模式(TPM)的信令

首先可以信令通知指示是否使用TPM的一个比特标志。然后，进一步信令通知两个划分模式(如图13所示)的指示、以及两个分割的每一个的选定Merge索引。

2.3.2.3.1TPM标志的信令

让我们分别用W和H来表示一个亮度块的宽度和高度。如果W*H<64，则禁用三角预测模式。

当一个块用仿射模式编解码时，三角预测模式也被禁用。

当一个块用Merge模式编解码时，可以信令通知一个比特标志，以指示对该块是启用还是禁用三角预测模式。

基于以下公式，该标志由3个上下文编解码：

Ctx索引＝((左侧块L可用&&L用TPM编解码？)1:0)+((上方块A可用&&A用TPM？编解码)1:0)；

图15示出了在TPM标志编解码中用于上下文选择的临近块(A和L)的示例。

2.3.2.3.2两个划分模式(如图13所示)的指示、以及两个分割中的每个的选择的Merge索引

应当注意的是，划分模式、两个分割的Merge索引是联合编解码的。在一些实现中，限制了两个分割不能使用相同的参考索引。因此，存在2(划分模式)*N(最大Merge候选数)*(N-1)种可能性，其中N被设置为5。一个指示被编解码，并且从以下定义的阵列导出划分模式、两个Merge索引和编解码指示之间的映射：

const uint8_t g_TriangleCombination[TRIANGLE_MAX_NUM_CANDS][3]＝{{0,1,0},{1,0,1},{1,0,2},{0,0,1},{0,2,0},{1,0,3},{1,0,4},{1,1,0},{0,3,0},{0,4,0},{0,0,2},{0,1,2},{1,1,2},{0,0,4},{0,0,3},{0,1,3},{0,1,4},{1,1,4},{1,1,3},{1,2,1},{1,2,0},{0,2,1},{0,4,3},{1,3,0},{1,3,2},{1,3,4},{1,4,0},{1,3,1},{1,2,3},{1,4,1},{0,4,1},{0,2,3},{1,4,2},{0,3,2},{1,4,3},{0,3,1},{0,2,4},{1,2,4},{0,4,2},{0,3,4}}；

划分模式(45度或135度)＝g_TriangleCombination[信令通知的指示][0]；

候选A的Merge索引＝g_TriangleCombination[信令通知的指示][1]；

候选B的Merge索引＝g_TriangleCombination[信令通知的指示][2]；

一旦导出两个运动候选A和B，就可以从A或B设置两个分割(PU1和PU2)的运动信息。PU1是否使用Merge运动候选A或B的运动信息取决于两个运动候选的预测方向。表1示出了具有两个分割的两个导出的运动候选A和之间的关系。

表1：从导出的两个Merge候选(A，B)推导分割的运动信息

A的预测方向	B的预测方向	PU1的运动信息	PU2的运动信息
				L0	L0	A(L0)	B(L0)
L1	L1	B(L1)	A(L1)
				L0	L1	A(L0)	B(L1)
L1	L0	B(L0)	A(L1)

2.3.2.3.3指示(用merge_triangle_idx表示)的熵编码

merge_triangle_idx在[0，39]范围内，包括0和39。K阶指数哥伦布(EG)编码被用于merge_triangle_idx的二值化，其中K设为1。

K阶EG

为了用较少的比特编码较大的数字(以使用较多的比特来编码较小的数字为代价)，可以使用非负整数参数k来进行归一化。要在k阶指数哥伦布编码中编码非负整数x：

1.使用上述0阶指数哥伦布编码对进行编码，然后，

2.在二进制中编码x mod 2^k。

表2k阶指数哥伦布编码的示例

2.3.3仿射运动补偿预测的示例

在HEVC中，仅将平移运动模型应用于运动补偿预测(MCP)。然而，在真实世界中存在多种运动，例如放大/缩小、旋转、透视运动和其他不规则运动。在VVC中，采用4参数仿射模型和6参数仿射模型的简化仿射变换运动补偿预测。如图16所示，对于4参数仿射模型，块的仿射运动场由两个控制点运动矢量(CPMV)描述，对于6参数仿射模型，块的仿射运动场由三个CPMV描述。

图16示出了简化仿射运动模型的示例。

分别用以下等式来描述块的运动矢量场(MVF)，等式(1)中是4参数仿射模型(其中4参数被定义为变量a、b、e和f)且等式(2)中是6参数仿射模型(其中4参数被定义为变量a、b、c、d、e和f)：

其中(mv^h ₀,mv^h ₀)为左上控制点(CP)的运动矢量，并且(mv^h ₁,mv^h ₁)为右上角控制点的运动矢量，并且(mv^h ₂,mv^h ₂)为左下角控制点的运动矢量，所有这三个运动矢量被称为控制点运动矢量(CPMV)，(x，y)表示代表点相对于当前块内的左上样本点的代表点的坐标，并且(mv^h(x,y),mv^v(x,y))是为位于(x，y)处的样本点导出的运动矢量。CP运动矢量可以被信令通知(如在仿射AMVP模式中)或者是动态地导出(如在仿射Merge模式中)。w和h是当前块的宽度和高度。实际上，除法是通过带取整的右移操作来实现的。在VTM中，代表点被定义为子块的中心位置，例如，当子块的左上相对于当前块内的左上样本点的坐标为(xs，ys)时，代表点的坐标被定义为(xs+2，ys+2)。对于每个子块(即VTM中的4×4)，代表点被用于导出整个子块的运动矢量。

为了进一步简化运动补偿预测，应用基于子块的仿射变换预测。为了得到每个M×N(在当前VVC中M和N二者都被设置为4)子块的运动矢量，如图17所示，可以根据等式(1)和(2)计算每个子块的中心样本点的运动矢量，并取整到1/16分数精度。然后应用1/16像素的运动补偿插值滤波器，利用导出的运动矢量生成各子块的预测。通过仿射模式介绍了1/16像素的插值滤波器。

在MCP之后，将每个子块的高精度运动矢量取整，并保存为与常规运动矢量相同的精度。

2.3.3.1仿射预测的信令

与平移运动模型类似，仿射预测也有两种模式用于信令通知侧面信息。它们是AFFINE_INTER模式和AFFINE_MERGE模式。

2.3.3.2AF_INTER模式

对于宽度和高度都大于8的CU，可以应用AF_INTER模式。在比特流中，CU级别的仿射标志被信令通知，以指示是否使用AF_INTER模式。

在此模式中，对于每个参考图片列表(列表0或列表1)，按照以下顺序用三种类型的仿射运动预测器构造仿射AMVP候选列表，其中每个候选包括当前块的估计的CPMV。信令通知在编码器侧发现的最佳CPMV的差(例如图20中的mv₀mv₁mv₂)、以及估计的CPMV。此外，进一步信令通知从中导出估计的CPMV的仿射AMVP候选的索引。

1)继承的仿射运动预测器

检查顺序与在HEVC AMVP列表构造中空域MVP的检查顺序相似。首先，从{A1，A0}中的第一个块导出左继承的仿射运动预测器，该块是仿射编解码的，并且具有与当前块相同的参考图片。其次，从{B1，B0，B2}中的第一块导出上述继承的仿射运动预测器，该块是仿射编解码的，并且具有与当前块相同的参考图片。图19描绘了五个块A1、A0、B1、B0、B2。

一旦发现临近块是仿射编解码的，则利用覆盖临近块的编解码单元的CPMV来推导当前块的CPMV的预测器。例如，如果A1用非仿射模式编解码，并且A0用4参数仿射模式编解码，则将从A0导出左侧继承的仿射MV预测器。在这种情况下，覆盖A0的CU的CPMV(如图21(b)中表示为的左上CPMV和表示为/>的右上CPMV)被用于导出当前块的估计的CPMV(表示为/>的当前块的左上(坐标为(x0，y0))、右上(坐标为(x1，y1))和右下(坐标为(x2，y2))位置)。

2)构造的仿射运动预测器

如图20所示，构造的仿射运动预测器由从具有相同参考图片的临近帧间编解码块导出的控制点运动矢量(CPMV)组成。如果当前仿射运动模型为4参数仿射，则CPMV的数量为2；否则，如果当前仿射运动模型为6参数仿射，则CPMV的数量为3。左上CPMV由组{A，B，C}中的第一个块处的MV导出，该块帧间编解码的，并且具有与当前块相同的参考图片。右上CPMV/>由组{D，E}中的第一个块处的MV导出，该块是帧间编解码的，并且具有与当前块相同的参考图片。左下/>由组{F，G}中第一个块处的MV导出，该是帧间编解码的，并且具有与当前块相同的参考图片。

–如果当前仿射运动模型是4参数仿射，则只有当和/>两者都被找到(也就是说，/>和/>被用作当前块的左上(坐标为(x0，y0))和右上(坐标为(x1，y1))位置的估计的CPMV)时，将构造的仿射运动预测器插入候选列表。

–如果当前仿射运动模型是6参数仿射，则只有当和/>都被找到(也就是说，/>和/>被用作当前块的左上(坐标为(x0，y0))、右上(坐标为(x1，y1))和右下(坐标为(x2，y2))位置的估计的CPMV)时，将构造的仿射运动预测器插入候选列表。

在将构造的仿射运动预测器插入候选列表中时，不应用剪切处理。

3)常规AMVP运动预测器

以下适用，直到仿射运动预测器的数量达到最大值。

1)如果可用，通过将所有CPMV设置为等于来导出仿射运动预测器。

2)如果可用，通过将所有CPMV设置为等于来导出仿射运动预测器。

3)如果可用，通过将所有CPMV设置为等于来导出仿射运动预测器。

4)如果可用，通过将所有CPMV设置为等于HEVC TMVP来导出仿射运动预测器。

5)通过将所有CPMV设置为等于零MV来导出仿射运动预测器。

注意，已在构造的仿射运动预测器中导出

在AF_INTER模式中，当使用4/6参数仿射模式时，需要2/3个控制点，并且因而需要对这些控制点编解码2/3个MVD，如图18所示。在JVET-K0337中，提出如下推导MV，即从mvd₀预测mvd₁和mvd₂。

其中，mvd_i和mv₁分别是左上像素(i＝0)、右上像素(i＝1)或左下像素(i＝2)的预测运动矢量、运动矢量差和运动矢量，如图18(b)所示。应当注意的是，两个运动矢量的相加(例如，mvA(xA，yA)和mvB(xB，yB))分别等于两个分量的总和。也就是说，newMV＝mvA+mvB，并且newMV的两个分量分别设置为(xA+xB)和(yA+yB)。

2.3.3.3AF_MERGE模式

当在AF_MERGE模式中应用CU时，它从有效的临近重构块中获得以仿射模式编解码的第一个块。并且候选块的选择顺序是从左、上、右上、左下到左上，如图21(a)所示(依次表示为A、B、C、D、E)。例如，如果临近左下块用仿射模式编解码(如图21(b)中A0表示的)，则提取包含块A的临近CU/PU的左上、右上和左下的控制点(CP)运动矢量mv₀ ^N,mv₁ ^N和mv₂ ^N。并且基于mv₀ ^N,mv₁ ^N和mv₂ ^N计算当前CU/PU左上/右上/左下的运动矢量mv₀ ^C,mv₁ ^C和mv₂ ^C(仅用于6参数仿射模型)，需要注意的是，在VTM-2.0中，如果当前块是仿射编解码的，则位于左上角的子块(例如，VTM中的4×4块)存储mv0，位于右上角的子块存储mv1。如果当前块用6参数仿射模型编解码，则位于左下角的子块存储mv2；否则(用4参数仿射模型)，LB存储mv2′。其他子块存储用于MC的MV。

在推导出当前CU的CPMV mv₀ ^C,mv₁ ^C和mv₂ ^C之后，根据等式(1)和(2)中的简化的仿射运动模型，生成当前CU的MVF。为了识别当前CU是否以AF_MERGE模式编解码，当至少一个临近块以仿射模式编解码时，在比特流中信令通知仿射标志。

在JVET-L0142和JVET-L0632中，用以下步骤来构造仿射Merge候选：

1)插入继承的仿射候选

继承仿射候选是指该候选是从其有效临近仿射编解码块的仿射运动模型导出的。从临近块的仿射运动模型中导出最大的两个仿射候选并插入候选列表中。对于左侧预测器，扫描顺序是{A0，A1}；对于上方预测，扫描顺序是{B0，B1，B2}。

2)插入构造的仿射候选

如果仿射Merge候选列表中的候选数量小于MaxNumAffineCand(例如，5)，则将构造仿射候选插入候选列表中。构造仿射候选是指该候选是通过组合每个控制点的临近运动信息构造的。

a)首先从图22所示的规定的空域邻居和时域邻居导出控制点的运动信息。CPk(k＝1,2,3,4)表示第k个控制点。A0,A1,A2,B0,B1,B2和B3是用于预测CPk(k＝1,2,3)的空域位置；T是用于预测CP4的时域位置。

CP1、CP2、CP3和CP4的坐标分别为(0，0)，(W，0)，(H，0)和(W，H)，其中W和H是当前块的宽度和高度。

按照以下优先顺序获得每个控制点的运动信息：

对于CP1，检查优先级为B2->B3->A2。如果B2可用，则使用B₂。否则，如果B2可用，则使用B3。如果B2和B3都不可用，则使用A2。如果三个候选都不可用，则无法获得CP1的运动信息。

对于CP2，检查优先级为B1->B0；

对于CP3，检查优先级为A1->A0；

对于CP4，使用T。

b)其次，使用控制点的组合来构造仿射Merge候选。

I.需要三个控制点的运动信息来构造6参数仿射候选。可以从以下四个组合中的一个来选择这三个控制点({CP1，CP2，CP4}，{CP1，CP2，CP3}，{CP2，CP3，CP4}，{CP1，CP3，CP4})。组合{CP1,CP2,CP3},{CP2,CP3,CP4},{CP1,CP3,CP4}将被转换到由左上、右上和左下控制点表示的6参数运动模型。

II.需要两个控制点的运动信息来构造4参数仿射候选。可以从以下两个组合中的一个来选择这两个控制点({CP1,CP2},{CP1,CP3})。这两个组合将被转换到由左上和右上控制点表示的4参数运动模型。

III.按以下顺序将构造仿射候选的组合插入到候选列表中：

{CP1,CP2,CP3},{CP1,CP2,CP4},{CP1,CP3,CP4},{CP2,CP3,CP4},{CP1,CP2},{CP1,CP3}。

i.对于每个组合，检查每个CP的列表X的参考索引，如果它们都相同，则该组合具有列表X有效的CPMV。如果该组合不具有列表0和列表1有效的CPMV，则该组合被标记为无效。否则，它是有效的，并且CPMV被放入子块Merge列表中。

3)填充零仿射运动矢量候选

如果仿射Merge候选列表中的候选数量小于5，则对于子块Merge候选列表，4参数Merge候选的MV设置为(0，0)且预测方向设置为来自列表0的单向预测(对于P条带)和双向预测(对于B条带)。

2.3.4.VVC中的Merge列表设计

VVC中支持三种不同的Merge列表构造处理：

1)子块Merge候选列表：它包括ATMVP和仿射Merge候选。仿射模式和ATMVP模式共享一个Merge列表构造处理。这里，可以按顺序添加ATMVP和仿射Merge候选。在条带标头中信令通知子块Merge列表尺寸，并且最大值为5。

2)单向预测TPM Merge列表：对于三角预测模式，两个分割共享一个Merge列表构造处理，即使两个分割可以选择自己的Merge候选索引。在构造这个Merge列表时，检查块的空域临近块和两个时域块。在我们的IDF中，从空域邻居和时域块导出的运动信息被称为常规运动候选。这些常规运动候选被进一步用于导出多个TPM候选。请注意，变换是在整个块级别执行的，即使两个分割可以使用不同的运动矢量来生成它们自己的预测块。

单向预测TPM Merge列表尺寸被固定为5。

3)常规Merge列表：剩余的编解码块共享一个Merge列表构造处理。这里，可以依次插入空域/时域/HMVP、成对组合双向预测Merge候选和零运动候选。在条带标头中信令通知常规Merge列表尺寸，并且最大值为6。

2.3.4.1子块Merge候选列表

除了非子块Merge候选的常规Merge列表，建议将所有与子块相关的运动候选放在单独的Merge列表中。

将与子块相关的运动候选放在名为“子块Merge候选列表”的单独的Merge列表中，

在一个示例中，子块Merge候选列表包括仿射Merge候选、以及ATMVP候选、和/或基于子块的STMVP候选。

2.3.4.1.1JVET-L0278

在该贡献中，将普通Merge列表中的ATMVP Merge候选移动到仿射Merge列表的第一个位置。使得新列表(即基于子块的Merge候选列表)中的所有Merge候选都基于子块编解码工具。

2.3.4.1.2JVET-N1001中的ATMVP

ATMVP也称为基于子块的时域运动矢量预测(SbTMVP).

在JVET-N1001中，除了常规Merge候选列表外，还增加了特殊的Merge候选列表，称为子块Merge候选列表(又称为仿射Merge候选列表)。按以下顺序填充子块Merge候选列表的候选：

a.ATMVP候选(可能可用或不可用)；

b.继承的仿射候选；

c.构造的仿射候选，包括基于TMVP的仿射候选，该仿射候选使用并置参考图片中的MV；

d.填充为零MV 4参数仿射模型

VTM支持基于子块的时域运动矢量预测(SbTMVP)方法。与HEVC中的时域运动矢量预测(TMVP)类似，SbTMVP使用并置图片中的运动场来改进当前图片中CU的运动矢量预测和Merge模式。将TMVP使用的相同并置图片用于SbTVMP。SbTMVP与TMVP在以下两个主要方面有所不同：

1.TMVP在CU级预测运动，而SbTMVP在子CU级预测运动；

2.TMVP从并置图片中的并置块获取时域运动矢量(并置块是相对于当前CU的右下或中心块)，而SbTMVP在从并置图片获取时域运动信息之前应用运动移位，其中，从当前CU的空域临近块中的一个的运动矢量获得运动移位。

在图23和图24中示出了SbTVMP处理。SbTMVP分两步预测当前CU内子CU的运动矢量。在第一步中，检查图23中的空域邻居A1。如果A1具有使用并置图片作为其参考图片的运动矢量，则选择该运动矢量作为要应用的运动移位。如果未识别出此类运动，则将运动移位设置为(0，0)。

在第二步中，应用在步骤1中识别的运动移位(即添加到当前块的坐标)以从如图24所示的并置图片中获得子CU级运动信息(运动矢量和参考索引)。图24中的示例假设将运动移位设置为块A1的运动。然后，对于每个子CU，使用并置图片中其对应块(覆盖中心样本点的最小运动网格)的运动信息来导出子CU的运动信息。在识别出并置子CU的运动信息后，以与HEVC的TMVP处理类似的方式将其转换为当前子CU的运动矢量和参考索引，其中应用时域运动缩放将时域运动矢量的参考图片与当前CU的参考图片对齐。

在VTM中，将包含SbTVMP候选和仿射Merge候选的基于组合子块的Merge列表用于基于子块的Merge模式的信令。SbTVMP模式由序列参数集(SPS)标志启用/禁用。如果启用了SbTMVP模式，则将SbTMVP预测器添加为基于子块的Merge候选列表的第一个条目，然后是仿射Merge候选。在SPS中信令通知基于子块的Merge列表的尺寸，并且在VTM4中，基于子块的Merge列表的最大允许尺寸为5。

将SbTMVP中使用的子CU尺寸固定为8x8，并且如仿射Merge模式中一样，SbTMVP模式也仅适用于宽度和高度都大于或等于8的CU。

附加SbTMVP Merge候选的编解码逻辑与其他Merge候选的编解码逻辑相同，即，对于P或B条带中的每个CU，执行附加RD检查以决定是否使用SbTMVP候选。

图23-24示出了VVC中SbTMVP处理的示例。

将子块Merge候选列表中的最大候选数表示为MaxNumSubblockMergeCand。

2.3.4.1.3与子块Merge列表相关的语法/语义

7.3.2.3序列参数集RBSP语法

/>

7.3.5.1通用条带标头语法

/>

7.3.7.7Merge数据语法

/>

five_minus_max_num_subblock_merge_cand指定从5减去条带中支持的基于子块的Merge运动矢量预测(MVP)最大候选数目。当five_minus_max_num_subblock_merge_cand不存在时，推断它等于5-sps_sbtmvp_enabled_flag。基于子块的Merge MVP最大候选数目MaxNumSubblockMergeCand导出如下：

MaxNumSubblockMergeCand＝5-five_minus_max_num_subblock_merge_cand

MaxNumSubblockMergeCand的值应在0到5之间(包括0和5)。

8.5.5.2子块Merge模式下运动矢量和参考索引的推导处理

该处理的输入是：

–当前亮度编解码块的左上样本点相对于当前图片的左上亮度样本点的亮度位置(xCb，yCb)，

–两个变量cbWidth和cbHeight，其指定亮度编解码块的宽度和高度。

该处理的输出是：

–水平方向和垂直方向的亮度编解码子块数目numSbX和numSbY，

–参考索引refIdxL0和refIdxL1，

–预测列表使用标志阵列predFlagL0[xSbIdx][ySbIdx]和predFlagL1[xSbIdx][ySbIdx]，

–1/16分数采样精度的亮度子块运动矢量阵列mvL0[xSbIdx][ySbIdx]和mvL1[xSbIdx][ySbIdx]，其中xSbIdx＝0..numSbX-1，ySbIdx＝0..numSbY-1，

–1/32分数采样精度的色度子块运动矢量阵列mvCL0[xSbIdx][ySbIdx]和mvCL1[xSbIdx][ySbIdx]，其中xSbIdx＝0..numSbX-1，ySbIdx＝0..numSbY-1，

–双向预测权重索引bcwIdx。

按以下顺序步骤导出变量numSbX、numSbY和子块Merge候选列表subblockMergeCandList：

1.当sps_sbtmvp_enabled_flag等于1时，以下适用：

–对于availableFlagA₁，refIdxLXA₁，predFlagLXA₁和mvLXA₁的推导，以下适用：

–将临近亮度编解码块内的亮度位置(xNbA₁，yNbA₁)设置为等于(xCb-1，yCb+cbHeight-1)。

–将设置为等于(xCb，yCb)的当前亮度位置(xCurr，yCurr)和临近亮度位置(xNbA₁，yNbA₁)作为输入，调用第6.4.X条[Ed.(BB)：临近块可用性检查处理(待定)]中指定的块的可用性推导处理，并将输出分配给块可用性标志availableA₁。

–变量availableFlagA₁，refIdxLXA₁，predFlagLXA₁和mvLXA₁导出如下：

–如果availableA₁等于FALSE，则将availableFlagA₁设置为等于0，将mvLXA₁的两个分量都设置为等于0，将refIdxLXA₁设置为等于-1，并且将predFlagLXA₁设置为等于0，X为0或1，并且将bcwIdxA₁设置为等于0。

–否则，将availableFlagA₁设置为等于1，并进行以下分配：

mvLXA₁＝MvLX[xNbA₁][yNbA₁] (8-485)

refIdxLXA₁＝RefIdxLX[xNbA₁][yNbA₁] (8-486)

predFlagLXA₁＝PredFlagLX[xNbA₁][yNbA₁] (8-487)

–将亮度位置(xCb，yCb)、亮度编解码块宽度cbWidth、亮度编解码块高度cbHeight、可用性标志availableFlagA₁、参考索引refIdxLXA₁、预测列表使用标志predFlagLXA₁和运动矢量mvLXA₁作为输入，调用第8.5.5.3条中规定的基于子块的时域Merge候选的推导处理，并且输出为可用性标志availableFlagSbCol、水平方向的亮度编解码子块数目numSbX和垂直方向的亮度编解码子块数目numSbY、参考索引refIdxLXSbCol、亮度运动矢量mvLXSbCol[xSbIdx][ySbIdx]和预测列表使用标志predFlagLXSbCol[xSbIdx][ySbIdx]，其中xSbIdx＝0..numbx-1，ySbIdx＝0..numSbY-1，并且X为0或1。

2.当sps_affine_enabled_flag等于1时，样本点位置(xNbA₀，yNbA₀)，(xNbA₁，yNbA₁)，(xNbA₂，yNbA₂)，(xNbB₀，yNbB₀)，(xNbB₁，yNbB₁)，(xNbB₂，yNbB₂)，(xNbB₃，yNbB₃)和变量numSbX和numSbY导出如下：

(xA₀，yA₀)＝(xCb-1，yCb+cbHeight) (8-488)

(xA₁，yA₁)＝(xCb-1，yCb+cbHeight-1) (8-489)

(xA₂，yA₂)＝(xCb-1，yCb) (8-490)

(xB₀，yB₀)＝(xCb+cbWidth，yCb-1) (8-491)

(xB₁，yB₁)＝(xCb+cbWidth-1，yCb-1) (8-492)

(xB₂，yB₂)＝(xCb-1，yCb-1) (8-493)

(xB₃，yB₃)＝(xCb，yCb-1) (8-494)

numSbX＝cbWidth>>2 (8-495)

numSbY＝cbHeight>>2 (8-496)

3.当sps_affine_enabled_flag等于1时，将变量availableFlagA设置为等于FALSE，并且以下适用于(xNbA_k，yNbA_k)，从(xNbA₀，yNbA₀)至(xNbA₁，yNbA₁)：

–将设置为等于(xCb，yCb)的当前亮度位置(xCurr，yCurr)和临近亮度位置(xNbA_k，yNbA_k)作为输入，调用第6.4.X条[Ed.(BB)：临近块可用性检查处理(待定)]中指定的块的可用性推导处理，并将输出分配给块可用性标志availableA_k。

–当availableA_k等于TRUE且MotionModelIdc[xNbA_k][yNbA_k]大于0且availableFlagA等于FALSE时，以下适用：

–将变量availableFlagA设置为等于TRUE，将motionModelIdcA设置为等于MotionModelIdc[xNbA_k][yNbA_k]，将(xNb，yNb)设置为等于(CbPosX[xNbA_k][yNbA_k]，CbPosY[xNbA_k][yNbA_k])，将nbW设置为等于CbWidth[xNbA_k][yNbA_k]，将nbH设置为等于CbHeight[xNbA_k][yNbA_k]，将numCpMv设置为等于MotionModelIdc[xNbA_k][yNbA_k]+1，并且将bcwIdxA设置为等于BcwIdx[xNbA_k][yNbA_k]。

–对于X被0或1替换，以下适用：

-当PredFlagLX[xNbA_k][yNbA_k]等于1时，以亮度编解码块位置(xCb，yCb)、亮度编解码块宽度和高度(cbWidth，cbHeight)、临近亮度编解码块位置(xNb，yNb)、临近亮度编解码块的宽度和高度(nbW，nbH)以及控制点运动矢量的数目numCpMv作为输入，调用第8.5.5.5条中指定的从临近块的亮度仿射控制点运动矢量的推导处理，将控制点运动矢量预测器候选cpMvLXA[cpIdx](cpIdx＝0..numCpMv-1)作为输出。

–进行以下分配：

predFlagLXA＝PredFlagLX[xNbA_k][yNbA_k] (8-497)

refIdxLXA＝RefIdxLX[xNbAk][yNbAk] (8-498)

4.当sps_affine_enabled_flag等于1时，将变量availableFlagB设置为等于FALSE，并且以下适用于(xNbB_k，yNbB_k)，从(xNbB₀，yNbB₀)到(xNbB₂，yNbB₂)：

–将设置为等于(xCb，yCb)的当前亮度位置(xCurr，yCurr)和临近亮度位置(xNbB_k，yNbB_k)作为输入，调用第6.4.X条[Ed.(BB)：临近块可用性检查处理(待定)]中指定的块的可用性推导处理，并将输出分配给块可用性标志availableB_k。

–当availableB_k等于TRUE并且MotionModelIdc[xNbB_k][yNbB_k]大于0并且availableFlagB等于FALSE时，以下适用：

-将变量availableFlagB设置为等于TRUE，将motionModelIdcB设置为等于MotionModelIdc[xNbB_k][yNbB_k]，将(xNb，yNb)设置为等于(CbPosX[xNbAB][yNbB_k]，CbPosY[xNbB_k][yNbB_k])，将nbW设置为等于CbWidth[xNbB_k][yNbB_k]，将nbH设置为等于CbHeight[xNbB_k][yNbB_k]，将numCpMv设置为等于MotionModelIdc[xNbB_k][yNbB_k]+1，并且将bcwIdxB设置为等于BcwIdx[xNbB_k][yNbB_k]。

–对于X被0或1替换，以下适用：

-当PredFlagLX[xNbB_k][yNbB_k]等于1时，以亮度编解码块位置(xCb，yCb)、亮度编解码块宽度和高度(cbWidth，cbHeight)、临近亮度编解码块位置(xNb，yNb)、临近亮度编解码块的宽度和高度(nbW，nbH)以及控制点运动矢量的数目numCpMv作为输入，调用第8.5.5.5条中指定的从临近块的亮度仿射控制点运动矢量的推导处理，将控制点运动矢量预测器候选cpMvLXB[cpIdx](cpIdx＝0..numCpMv-1)作为输出。

–进行以下分配：

predFlagLXB＝PredFlagLX[xNbB_k][yNbB_k] (8-499)

refIdxLXB＝RefIdxLX[xNbB_k][yNbB_k] (8-500)

5.当sps_affine_enabled_flag等于1时，将亮度编解码块位置(xCb，yCb)、亮度编解码块宽度和高度(cbWidth，cbHeight)、可用性标志availableA₀，availableA₁，availableA₂，availableB₀，availableB₁，availableB₂，availableB₃作为输入，调用第8.5.5.6条中指定的构造仿射控制点运动矢量Merge候选的推导处理，并且将可用性标志availableFlagConstK、参考索引refIdxLXConstK、预测列表使用标志predFlagLXConstK、运动模型索引motionModelIdcConstK、双向预测加权索引bcwIdxConstK和cpMvpLXConstK[cpIdx](X为0或1，K＝1..6，cpIdx＝0..2)作为输出。

6.初始子块Merge候选列表subblockMergeCandList构造如下：

i＝0

if(availableFlagSbCol)

subblockMergeCandList[i++]＝SbCol

if(availableFlagA&&i<MaxNumSubblockMergeCand)

subblockMergeCandList[i++]＝A

if(availableFlagB&&i<MaxNumSubblockMergeCand)

subblockMergeCandList[i++]＝B

if(availableFlagConst1&&i<MaxNumSubblockMergeCand)

subblockMergeCandList[i++]＝Const1 (8-501)

if(availableFlagConst2&&i<MaxNumSubblockMergeCand)

subblockMergeCandList[i++]＝Const2

if(availableFlagConst3&&i<MaxNumSubblockMergeCand)

subblockMergeCandList[i++]＝Const3

if(availableFlagConst4&&i<MaxNumSubblockMergeCand)

subblockMergeCandList[i++]＝Const4

if(availableFlagConst5&&i<MaxNumSubblockMergeCand)

subblockMergeCandList[i++]＝Const5

if(availableFlagConst6&&i<MaxNumSubblockMergeCand)

subblockMergeCandList[i++]＝Const6

7.将变量numCurrMergeCand和numOrigMergeCand设置为等于subblockMergeCandList中的Merge候选数目。

8.当numCurrMergeCand小于MaxNumSubblockMergeCand时，重复以下操作直到numCurrMergeCand等于MaxNumSubblockMergeCand，其中mvZero[0]和mvZero[1]都等于0：

–参考索引、预测列表使用标志和zeroCand_m(其中m等于(numCurrMergeCand–numOrigMergeCand))的运动矢量导出如下：

refIdxL0ZeroCand_m＝0 (8-502)

predFlagL0ZeroCand_m＝1 (8-503)

cpMvL0ZeroCand_m[0]＝mvZero (8-504)

cpMvL0ZeroCand_m[1]＝mvZero (8-505)

cpMvL0ZeroCand_m[2]＝mvZero (8-506)

refIdxL1ZeroCand_m＝(slice_type＝＝B)？0：-1 (8-507)

predFlagL1ZeroCand_m＝(slice_type＝＝B)？1：0 (8-508)

cpMvL1ZeroCand_m[0]＝mvZero (8-509)

cpMvL1ZeroCand_m[1]＝mvZero (8-510)

cpMvL1ZeroCand_m[2]＝mvZero (8-511)

motionModelIdcZeroCand_m＝1 (8-512)

bcwIdxZeroCand_m＝0 (8-513)

-将zeroCand_m(其中m等于(numCurrMergeCand–numOrigMergeCand))添加到subblockMergeCandList的末尾，并且numCurrMergeCand增加1，如下所示：

subblockMergeCandList[numCurrMergeCand++]＝zeroCand_m(8-514)

变量refIdxL0、refIdxL1、predFlagL0[xSbIdx][ySbIdx]、predFlagL1[xSbIdx][ySbIdx]、mvL0[xSbIdx][ySbIdx]、mvL1[xSbIdx][ySbIdx]、mvCL0[xSbIdx][ySbIdx]和mvCL1[xSbIdx][ySbIdx](其中xSbIdx＝0..numSbX-1，ySbIdx＝0..numSbY-1)导出如下：

–如果subblockMergeCandList[merge_subblock_idx[xCb][yCb]]等于SbCol，则将双向预测权重索引bcwIdx设置为等于0，并且对于X为0或1，以下适用：

refIdxLX＝refIdxLXSbCol (8-515)

–对于xSbIdx＝0..numSbX–1，ySbIdx＝0..numSbY–1，以下适用：predFlagLX[xSbIdx][ySbIdx]＝predFlagLXSbCol[xSbIdx][ySbIdx](8-516)mvLX[xSbIdx][ySbIdx][0]＝mvLXSbCol[xSbIdx][ySbIdx][0](8-517)mvLX[xSbIdx][ySbIdx][1]＝mvLXSbCol[xSbIdx][ySbIdx][1](8-518)

–当predFlagLX[xSbIdx][ySbIdx]等于1时，以mvLX[xSbIdx][ySbIdx]和refIdxLX作为输入，调用第8.5.2.13条中的色度运动矢量推导处理，并且输出为mvCLX[xSbIdx][ySbIdx]。

–对于x＝xCb..xCb+cbWidth-1和y＝yCb..yCb+cbHeight–1，进行以下分配：

MotionModelIdc[x][y]＝0 (8-519)

–否则(subblockMergeCandList[merge_subblock_idx[xCb][yCb]]不等于SbCol)，则对于X为0或1，以下适用：

–进行以下分配，其中N是子块Merge候选列表subblockMergeCandList中位置merge_subblock_idx[xCb][yCb]处的候选(N＝subblockMergeCandList[merge_subblock_idx[xCb][yCb]])：：

refIdxLX＝refIdxLXN (8-520)

predFlagLX[0][0]＝predFlagLXN (8-521)

cpMvLX[0]＝cpMvLXN[0] (8-522)

cpMvLX[1]＝cpMvLXN[1] (8-523)

cpMvLX[2]＝cpMvLXN[2] (8-524)

numCpMv＝motionModelIdxN+1 (8-525)

bcwIdx＝bcwIdxN (8-526)

–对于xSbIdx＝0..numSbX-1，ySbIdx＝0..numSbY-1，以下适用：

predFlagLX[xSbIdx][ySbIdx]＝predFlagLX[0][0](8-527)

–当predFlagLX[0][0]等于1时，将亮度编解码块位置(xCb，yCb)、亮度编解码块宽度cbWidth、亮度预测块高度cbHeight、控制点运动矢量的数目numCpMv、控制点运动矢量cpMvLX[cpIdx](cpIdx为0..2)、以及水平方向和垂直方向亮度编解码子块的数目numSbX和numSbY作为输入，调用子条款8.5.5.9中指定的从仿射控制点运动矢量的运动矢量阵列的推导处理，将亮度子块运动矢量阵列mvLX[xSbIdx][ySbIdx]和色度子块运动矢量阵列mvCLX[xSbIdx][ySbIdx](其中xSbIdx＝0..numSbX-1，ySbIdx＝0..numSbY-1)作为输出。

–对于x＝xCb..xCb+cbWidth-1和y＝yCb..yCb+cbHeight-1，进行以下分配：

MotionModelIdc[x][y]＝numCpMv-1 (8-528)

8.5.5.6构造仿射控制点运动矢量Merge候选的推导处理

该处理的输入是：

–亮度位置(xCb，yCb)，其指定当前亮度编解码块相对于当前图片的左上亮度样本点的左上样本点，

–两个变量cbWidth和cbHeight，其指定当前亮度编解码块的宽度和高度，

–可用性标志availableA₀，availableA₁，availableA₂，availableB₀，availableB₁，availableB₂，availableB₃，

–样本点位置(xNbA₀，yNbA₀)，(xNbA₁，yNbA₁)，(xNbA₂，yNbA₂)，(xNbB₀，yNbB₀)，(xNbB₁，yNbB₁)，(xNbB₂，yNbB₂)and(xNbB₃，yNbB₃)。

该处理的输出为：

–构造仿射控制点运动矢量Merge候选的可用性标志availableFlagConstK，其中K＝1..6，

–参考索引refIdxLXConstK，其中K＝1..6，X为0或1，

–预测列表使用标志predFlagLXConstK，其中K＝1..6，X为0或1，

–仿射运动模型索引motionModelIdcConstK，其中K＝1..6，

–双向预测权重索引bcwIdxConstK，其中K＝1..6，

–构造仿射控制点运动矢量cpMvLXConstK[cpIdx]，其中cpIdx＝0..2，K＝1..6，X为0或1。

第一个(左上)控制点运动矢量cpMvLXCorner[0]，参考索引refIdxLXCorner[0]，预测列表使用标志predFlagLXCorner[0]，双向预测权重索引bcwIdxCorner[0]和可用性标志availableFlagCorner[0](其中X为0和1)导出如下：

–将可用性标志availableFlagCorner[0]设置为等于FALSE。

–以下适用于(xNbTL，yNbTL)，其中TL替换为B₂，B₃，和A₂：

–当availableTL等于TRUE且availableFlagCorner[0]等于FALSE时，以下适用，其中X为0和1：

refIdxLXCorner[0]＝RefIdxLX[xNbTL][yNbTL] (8-572)

predFlagLXCorner[0]＝PredFlagLX[xNbTL][yNbTL] (8-573)

cpMvLXCorner[0]＝MvLX[xNbTL][yNbTL] (8-574)

bcwIdxCorner[0]＝BcwIdx[xNbTL][yNbTL] (8-575)

availableFlagCorner[0]＝TRUE (8-576)

第二个(右上)控制点运动矢量cpMvLXCorner[1]，参考索引refIdxLXCorner[1]，预测列表使用标志predFlagLXCorner[1]，双向预测权重索引bcwIdxCorner[1]和可用性标志availableFlagCorner[1](其中X为0和1)导出如下：

–将可用性标志availableFlagCorner[1]设置为等于FALSE。

–以下适用于(xNbTR，yNbTR)，其中TR替换为B₁和B₀：

–当availableTR等于TRUE且availableFlagCorner[1]等于FALSE时，以下适用，其中X为0和1：

refIdxLXCorner[1]＝RefIdxLX[xNbTR][yNbTR] (8-577)

predFlagLXCorner[1]＝PredFlagLX[xNbTR][yNbTR] (8-578)

cpMvLXCorner[1]＝MvLX[xNbTR][yNbTR] (8-579)

bcwIdxCorner[1]＝BcwIdx[xNbTR][yNbTR] (8-580)

availableFlagCorner[1]＝TRUE (8-581)

第三个(左下)控制点运动矢量cpMvLXCorner[2]，参考索引refIdxLXCorner[2]，预测列表使用标志predFlagLXCorner[2]，双向预测权重索引bcwIdxCorner[2]和可用性标志availableFlagCorner[2](其中X为0和1)导出如下：

–将可用性标志availableFlagCorner[2]设置为等于FALSE。

–以下适用于(xNbBL，yNbBL)，其中BL替换为A₁和A₀：

–当availableBL等于TRUE且availableFlagCorner[2]等于FALSE时，以下适用，其中X为0和1：

refIdxLXCorner[2]＝RefIdxLX[xNbBL][yNbBL] (8-582)

predFlagLXCorner[2]＝PredFlagLX[xNbBL][yNbBL] (8-583)

cpMvLXCorner[2]＝MvLX[xNbBL][yNbBL] (8-584)

bcwIdxCorner[2]＝BcwIdx[xNbBL][yNbBL] (8-585)

availableFlagCorner[2]＝TRUE (8-586)

第四个(并置右下)控制点运动矢量cpMvLXCorner[3]，参考索引refIdxLXCorner[3]，预测列表使用标志predFlagLXCorner[3]，双向预测权重索引bcwIdxCorner[3]和可用性标志availableFlagCorner[3](其中X为0和1)导出如下：

-将时域Merge候选的参考索引refIdxLXCorner[3](LX为0或1)设置为等于0。

-变量mvLXCol和availableFlagLXCol(其中X为0或1)导出如下：

-如果slice_temporal_mvp_enabled_flag等于0，则将mvLXCol的两个分量都设置为等于0，并且将availableFlagLXCol设置为等于0。

-否则(slice_temporal_mvp_enabled_flag等于1)，以下适用：

xColBr＝xCb+cbWidth (8-587)

yColBr＝yCb+cbHeight (8-588)

–如果yCb>>CtbLog2SizeY等于yColBr>>CtbLog2SizeY，yColBr小于pic_height_in_luma_samples并且xColBr小于pic_width_in_luma_samples，则以下适用：

–变量colCb指定ColPic指定的并置图片内覆盖由((xColBr>>3)<<3，(yColBr>>3)<<3)给出的位置的亮度编解码块。

–将亮度位置(xColCb，yColCb)设置为等于由colCb指定的并置亮度编解码块相对于由ColPic指定的并置图片的左上亮度样本点的左上亮度样本点。

–将currCb，colCb，(xColCb，yColCb)，refIdxLXCorner[3]和设置为0的sbFlag作为输入，调用第8.5.2.12条中指定的并置运动矢量的推导处理，并将输出分配给mvLXCol和availableFlagLXCol。

–否则，将mvLXCol的两个分量都设置为等于0并且将availableFlagLXCol设置为等于0。

–变量availableFlagCorner[3]，predFlagL0Corner[3]，cpMvL0Corner[3]和predFlagL1Corner[3]导出如下：

availableFlagCorner[3]＝availableFlagL0Col (8-589)

predFlagL0Corner[3]＝availableFlagL0Col (8-590)

cpMvL0Corner[3]＝mvL0Col (8-591)

predFlagL1Corner[3]＝0 (8-592)

–当slice_type等于B时，变量availableFlagCorner[3]，predFlagL1Corner[3]和cpMvL1Corner[3]导出如下：

availableFlagCorner[3]＝availableFlagL0Col||availableFlagL1Col (8-593)

predFlagL1Corner[3]＝availableFlagL1Col (8-594)

cpMvL1Corner[3]＝mvL1Col (8-595)

bcwIdxCorner[3]＝0 (8-596)

当sps_affine_type_flag等于1时，前四个构造仿射控制点运动矢量Merge候选ConstK(K＝1..4)(包括可用性标志availableFlagConstK)，参考索引refIdxLXConstK，预测列表使用标志predFlagLXConstK，仿射运动模型索引motionModelIdcConstK，以及构造仿射控制点运动矢量cpMvLXConstK[cpIdx](cpIdx＝0..2并且X为0或1)导出如下：

1.当availableFlagCorner[0]等于TRUE并且availableFlagCorner[1]等于TRUE并且availableFlagCorner[2]等于TRUE时，以下适用：

–对于X被0或1替换，以下适用：

–变量availableFlagLX导出如下：

–如果以下条件都为TRUE，则将availableFlagLX设置为等于TRUE：

–predFlagLXCorner[0]等于1

–predFlagLXCorner[1]等于1

–predFlagLXCorner[2]等于1

–refIdxLXCorner[0]等于refIdxLXCorner[1]

–refIdxLXCorner[0]等于refIdxLXCorner[2]

–否则，将availableFlagLX设置为等于FALSE.

–当availableFlagLX等于TRUE时，进行以下分配：

predFlagLXConst1＝1 (8-597)

refIdxLXConst1＝refIdxLXCorner[0] (8-598)

cpMvLXConst1[0]＝cpMvLXCorner[0] (8-599)

cpMvLXConst1[1]＝cpMvLXCorner[1] (8-600)

cpMvLXConst1[2]＝cpMvLXCorner[2] (8-601)

–双向权重索引bcwIdxConst1导出如下：

–如果availableFlagL0等于1并且availableFlagL1等于1，则将双向预测权重索引bcwIdxCorner[0]，bcwIdxCorner[1]和bcwIdxCorner[2]作为输入，调用第8.5.5.10条中指定的构造仿射控制点运动矢量Merge候选的推导处理，并将输出分配给双向预测权重索引bcwIdxConst1。

–否则，将双向预测权重索引bcwIdxConst1设置为等于0。

–变量availableFlagConst1和motionModelIdcConst1导出如下：

–如果availableFlagL0或availableFlagL1等于1，则将availableFlagConst1设置为等于TRUE并且将motionModelIdcConst1设置为等于2。

–否则，将availableFlagConst1设置为等于FALSE并且将motionModelIdcConst1设置为等于0。

2.当availableFlagCorner[0]等于TRUE并且availableFlagCorner[1]等于TRUE并且availableFlagCorner[3]等于TRUE时，以下适用：

–对于X被0或1替换，以下适用：

–变量availableFlagLX导出如下：

–如果以下所有条件都为TRUE，则将availableFlagLX设置为等于TRUE：

–predFlagLXCorner[0]等于1

–predFlagLXCorner[1]等于1

–predFlagLXCorner[3]等于1

–refIdxLXCorner[0]等于refIdxLXCorner[1]

–refIdxLXCorner[0]等于refIdxLXCorner[3]

–否则，将availableFlagLX设置为等于FALSE。

–当availableFlagLX等于TRUE时，进行以下分配：

predFlagLXConst2＝1 (8-602)

refIdxLXConst2＝refIdxLXCorner[0] (8-603)

cpMvLXConst2[0]＝cpMvLXCorner[0] (8-604)

cpMvLXConst2[1]＝cpMvLXCorner[1] (8-605)

cpMvLXConst2[2]＝cpMvLXCorner[3]+cpMvLXCorner[0]-cpMvLXCorner[1] (8-606)

cpMvLXConst2[2][0]＝Clip3(-2¹⁷，2¹⁷-1，cpMvLXConst2[2][0]) (8-607)

cpMvLXConst2[2][1]＝Clip3(-2¹⁷，2¹⁷-1，cpMvLXConst2[2][1]) (8-608)

–双向预测权重索引bcwIdxConst2导出如下：

–如果availableFlagL0等于1并且availableFlagL1等于1，则将双向预测权重索引bcwIdxCorner[0]，bcwIdxCorner[1]和bcwIdxCorner[3]作为输入，调用第8.5.5.10条中指定的构造仿射控制点运动矢量Merge候选的推导处理，并将输出分配给双向预测权重索引bcwIdxConst2。

–否则，将双向预测权重索引bcwIdxConst2设置为等于0。

–变量availableFlagConst2和motionModelIdcConst2导出如下：

–如果availableFlagL0或availableFlagL1等于1，则将availableFlagConst2设置为等于TRUE并且将motionModelIdcConst2设置为等于2。

–否则，讲availableFlagConst2设置为等于FALSE并且将motionModelIdcConst2设置为等于0。

3.当availableFlagCorner[0]等于TRUE并且availableFlagCorner[2]等于TRUE并且availableFlagCorner[3]等于TRUE时，以下适用：

–对于X被0或1替换，以下适用：

–变量availableFlagLX导出如下：

–如果以下条件都为TRUE，则将availableFlagLX设置为等于TRUE：

–predFlagLXCorner[0]等于1

–predFlagLXCorner[2]等于1

–predFlagLXCorner[3]等于1

–refIdxLXCorner[0]等于refIdxLXCorner[2]

–refIdxLXCorner[0]等于refIdxLXCorner[3]

–否则，将availableFlagLX设置为等于FALSE。

–当availableFlagLX等于TRUE时，进行以下分配：

predFlagLXConst3＝1 (8-609)

refIdxLXConst3＝refIdxLXCorner[0] (8-610)

cpMvLXConst3[0]＝cpMvLXCorner[0] (8-611)

cpMvLXConst3[1]＝cpMvLXCorner[3]+cpMvLXCorner[0]-cpMvLXCorner[2] (8-612)

cpMvLXConst3[1][0]＝Clip3(-2¹⁷，2¹⁷-1，cpMvLXConst3[1][0]) (8-613)

cpMvLXConst3[1][1]＝Clip3(-2¹⁷，2¹⁷-1，cpMvLXConst3[1][1]) (8-614)

cpMvLXConst3[2]＝cpMvLXCorner[2] (8-615)

–双向预测权重索引bcwIdxConst3导出如下：

–如果availableFlagL0等于1并且availableFlagL1等于1，则将双向预测权重索引bcwIdxCorner[0]，bcwIdxCorner[2]和bcwIdxCorner[3]作为输入，调用第8.5.5.10条中指定的构造仿射控制点运动矢量Merge候选的推导处理，并将输出分配给双向预测权重索引bcwIdxConst3。

–否则，将双向预测权重索引bcwIdxConst3设置为等于0。

–变量availableFlagConst3和motionModelIdcConst3导出如下：

–如果availableFlagL0或availableFlagL1等于1，则将availableFlagConst3设置为等于TRUE并且将motionModelIdcConst3设置为等于2。

–否则，将availableFlagConst3设置为等于FALSE并且将motionModelIdcConst3设置为等于0。

4.当availableFlagCorner[1]等于TRUE并且availableFlagCorner[2]等于TRUE并且availableFlagCorner[3]等于TRUE时，以下适用：

–对于X被0或1替换，以下适用：

–变量availableFlagLX导出如下：

–如果以下条件都为TRUE，则将availableFlagLX设置为等于TRUE：

–predFlagLXCorner[1]等于1

–predFlagLXCorner[2]等于1

–predFlagLXCorner[3]等于1

–refIdxLXCorner[1]等于refIdxLXCorner[2]

–refIdxLXCorner[1]等于refIdxLXCorner[3]

–否则，将availableFlagLX设置为等于FALSE。

–当availableFlagLX等于TRUE时，进行以下分配：

predFlagLXConst4＝1 (8-616)

refIdxLXConst4＝refIdxLXCorner[1] (8-617)

cpMvLXConst4[0]＝cpMvLXCorner[1]+cpMvLXCorner[2]-cpMvLXCorner[3] (8-618)

cpMvLXConst4[0][0]＝Clip3(-2¹⁷，2¹⁷-1，cpMvLXConst4[0][0]) (8-619)

cpMvLXConst4[0][1]＝Clip3(-2¹⁷，2¹⁷-1，cpMvLXConst4[0][1]) (8-620)

cpMvLXConst4[1]＝cpMvLXCorner[1] (8-621)

cpMvLXConst4[2]＝cpMvLXCorner[2] (8-622)

–双向预测权重索引bcwIdxConst4导出如下：

–如果availableFlagL0等于1并且availableFlagL1等于1，则将双向预测权重索引bcwIdxCorner[1]，bcwIdxCorner[2]和bcwIdxCorner[3]作为输入，调用第8.5.5.10条中指定的构造仿射控制点运动矢量Merge候选的推导处理，并将输出分配给双向预测权重索引bcwIdxConst4。

–否则，将双向预测权重索引bcwIdxConst4设置为等于0。

–变量availableFlagConst4和motionModelIdcConst4导出如下：

–如果availableFlagL0或availableFlagL1等于1，将availableFlagConst4设置为等于TRUE并且将motionModelIdcConst4设置为等于2。

–否则，将availableFlagConst4设置为等于FALSE并且将motionModelIdcConst4设置为等于0。

最后两个构造仿射控制点运动矢量Merge候选ConstK(K＝5..6)(包括可用性标志availableFlagConstK)，参考索引refIdxLXConstK，预测列表使用标志predFlagLXConstK，仿射运动模型索引motionModelIdcConstK，以及构造仿射控制点运动矢量cpMvLXConstK[cpIdx](cpIdx＝0..2并且X为0或1)导出如下：

5.当availableFlagCorner[0]等于TRUE并且availableFlagCorner[1]等于TRUE时，以下适用：

–对于X被0或1替换，以下适用：

–变量availableFlagLX导出如下：

–如果以下条件都为TRUE，则将availableFlagLX设置为等于TRUE：

–predFlagLXCorner[0]等于1

–predFlagLXCorner[1]等于1

–refIdxLXCorner[0]等于refIdxLXCorner[1]

–否则，将availableFlagLX设置为等于FALSE。

–当availableFlagLX等于TRUE时，进行以下分配：

predFlagLXConst5＝1 (8-623)

refIdxLXConst5＝refIdxLXCorner[0] (8-624)

cpMvLXConst5[0]＝cpMvLXCorner[0] (8-625)

cpMvLXConst5[1]＝cpMvLXCorner[1] (8-626)

–双向预测权重索引bcwIdxConst5导出如下：

–如果availableFlagL0等于1，并且availableFlagL1等于1，并且bcwIdxCorner[0]等于bcwIdxCorner[1]，则将bcwIdxConst5设置为等于bcwIdxCorner[0]。

–否则，将双向预测权重索引bcwIdxConst5设置为等于0。

–变量availableFlagConst5和motionModelIdcConst5导出如下：

–如果availableFlagL0或availableFlagL1等于1，则将availableFlagConst5设置为等于TRUE并且将motionModelIdcConst5设置为等于1。

–否则，将availableFlagConst5设置为等于FALSE并且将motionModelIdcConst5设置为等于0。

6.当availableFlagCorner[0]等于TRUE并且availableFlagCorner[2]等于TRUE时，以下适用：

–对于X被0或1替换，以下适用：

–变量availableFlagLX导出如下：

–如果以下条件都为TRUE，则将availableFlagLX设置为等于TRUE：

–predFlagLXCorner[0]等于1

–predFlagLXCorner[2]等于1

–refIdxLXCorner[0]等于refIdxLXCorner[2]

–否则，将availableFlagLX设置为等于FALSE。

–当availableFlagLX等于TRUE时，以下适用：

–第二控制点运动矢量cpMvLXCorner[1]导出如下：

cpMvLXCorner[1][0]＝(cpMvLXCorner[0][0]<<7)+((cpMvLXCorner[2][1]-cpMvLXCorner[0][1]) (8-627)<<(7+Log2(cbHeight/cbWidth)))

cpMvLXCorner[1][1]＝(cpMvLXCorner[0][1]<<7)+((cpMvLXCorner[2][0]-cpMvLXCorner[0][0]) (8-628)<<(7+Log2(cbHeight/cbWidth)))

–将mvX设置为等于cpMvLXCorner[1]，rightShift设置为等于7，并且leftShift设置为等于0作为输入，调用第8.5.2.14条中指定的运动矢量的取整处理，并将取整的cpMvLXCorner[1]作为输出。

–进行以下分配：

predFlagLXConst6＝1 (8-629)

refIdxLXConst6＝refIdxLXCorner[0] (8-630)

cpMvLXConst6[0]＝cpMvLXCorner[0] (8-631)

cpMvLXConst6[1]＝cpMvLXCorner[1] (8-632)

cpMvLXConst6[0][0]＝Clip3(-2¹⁷，2¹⁷-1，cpMvLXConst6[0][0]) (8-633)

cpMvLXConst6[0][1]＝Clip3(-2¹⁷，2¹⁷-1，cpMvLXConst6[0][1]) (8-634)

cpMvLXConst6[1][0]＝Clip3(-2¹⁷，2¹⁷-1，cpMvLXConst6[1][0]) (8-635)

cpMvLXConst6[1][1]＝Clip3(-2¹⁷，2¹⁷-1，cpMvLXConst6[1][1]) (8-636)

–双向预测权重索引bcwIdxConst6导出如下：

–如果availableFlagL0等于1并且availableFlagL1等于1并且bcwIdxCorner[0]等于bcwIdxCorner[2]，则将bcwIdxConst6设置为等于bcwIdxCorner[0]。

–否则，将双向预测权重索引bcwIdxConst6设置为等于0。

–变量availableFlagConst6和motionModelIdcConst6导出如下：

–如果availableFlagL0或availableFlagL1等于1，则将availableFlagConst6设置为等于TRUE并且将motionModelIdcConst6设置为等于1。

否则，将availableFlagConst6设置为等于FALSE并且将motionModelIdcConst6设置为等于0。

2.3.4.2常规Merge列表

与Merge列表设计不同，VVC中采用基于历史的运动矢量预测(HMVP)方法。

在HMVP中，存储先前编解码的运动信息。先前编解码块的运动信息被定义为HMVP候选。将多个HMVP候选存储在一个名为HMVP表的表中，并且在动态的编码/解码处理期间维护该表。当开始对新条带进行编码/解码时，HMVP表被清空。每当存在帧间编解码块时，将相关联的运动信息作为新的HMVP候选添加到表的最后一个条目中。图25描绘了整体编解码流程。

可以在AMVP和Merge候选列表构造处理中使用HMVP候选。图26描绘了修改的Merge候选列表构造处理。当TMVP候选插入后Merge候选列表未满时，可以使用HMVP表中存储的HMVP候选来填充Merge候选列表。考虑到一个块在运动信息方面通常与最临近块具有更高的相关性，将表中的HMVP候选按索引的降序插入。将表中的最后一个条目首先添加到列表中，而第一个条目则添加到最后。类似地，对HMVP候选应用冗余移除。一旦可用Merge候选总数达到允许信令通知的最大Merge候选数，则终止Merge候选列表构造处理。

图25示出了仿射Merge模式的候选位置。

图26示出了修改的Merge列表构造处理。

2.3.5JVET-N0236

该贡献提出了一种用光流细化基于子块的仿射运动补偿预测的方法。在进行基于子块的仿射运动补偿后，通过加入由光流方程导出的差来细化预测样本点，称为使用光流的预测细化(PROF)。所提出的方法可以在不增加存储器访问带宽的情况下，实现像素级粒度的帧间预测。

为了获得更精细的运动补偿粒度，该贡献提出了一种使用光流细化基于子块的仿射运动补偿预测的方法。在进行基于子块的仿射运动补偿之后，通过加入由光流方程导出的差来细化亮度预测样本点。按以下四个步骤描述所提出的PROF(使用光流的预测细化)：

步骤1)执行基于子块的仿射运动补偿以生成子块预测I(i，j)。

步骤2)使用3抽头滤波器在每个样本点位置处计算子块预测的空域梯度g_x(i，j)和g_y(i，j)。

g_x(i，j)＝I(i+1，j)-I(i-1，j)

g_y(i，j)＝I(i，j+1)-I(i，j-1)

将子块预测在每一侧扩展一个像素用于梯度计算。为了减少存储器带宽和复杂度，扩展边界上的像素是从参考图片中最近的整数像素位置复制的。因此，避免了对填充区域进行额外的插值。

步骤3)利用光流方程计算亮度预测细化。

ΔI(i，j)＝g_x(i，j)*Δv_x(i，j)+g_y(i，j)*Δv_y(i，j)

其中Δv(i，j)是为样本点位置(i，j)计算的像素MV(表示为v(i，j))和像素(i，j)所属的子块的子块MV之间的差，如图27所示。

由于仿射模型参数和相对于子块中心的像素位置不会从子块到子块改变，因此可为第一个子块计算Δv(i，j)，并可重复用于同一CU中的其他子块。让x和y作为从像素位置到子块中心的水平和垂直偏移，则Δv(i，j)可以由下面的方程导出，

对于4参数仿射模型，

对于6参数仿射模型，

其中(v_0x，v_0y)，(v_1x，v_1y)，(v_2x，v_2y)是左上、右上和左下控制点运动矢量，w和h是CU的宽度和高度。

步骤4)最后，将亮度预测细化添加到子块预测(v_0x，v_0y)，(v_1x，v_1y)，(v_2x，v_2y)中。最终预测I′由下等式产生。

I′(i，j)＝I(i，j)+ΔI(i，j)

2.3.6PCT/CN2018/125420和PCT/CN2018/116889关于ATMVP的改进

在这些贡献中，我们公开了使ATMVP设计更加合理和高效的几种方法，将二者的全部以参考方式并入本文。

3.实施例解决的问题的示例

在VVC的当前设计中，基于子块的预测模式存在以下问题：

1)当常规AMVR关闭时，SPS中的仿射AMVR标志可能是打开的。

2)当仿射模式关闭时，SPS中的仿射AMVR标志可能是打开的。

3)当未应用ATMVP时，未正确设置MaxNumSubblockMergeCand。

4)当为条带禁用TMVP、并且为序列启用ATMVP时，未识别B条带的并置图片，然而，在ATMVP处理中需要并置图片。

5)TMVP和ATMVP二者都需要从参考图片中提取运动信息，在当前的设计中，假设两者是相同的，这可能是次优的。

6)PROF应该有一个控制其开/关的标志。

4.实施例

下面的详细发明应被视为解释一般概念的示例。不应对这些发明做出狭义的解释。此外，这些发明可以以任何方式组合在一起。尽管使用可选时域运动矢量预测(ATMVP)技术的示例来描述一些实施例，但是在替代实施例中，基于子块的时域运动矢量预测(sbTMVP)技术也可以适用。

下面描述的方法也可以适用于其他类型的运动候选列表(诸如AMVP候选列表)。

1.是否信令通知仿射AMVR的控制信息可取决于是否应用仿射预测。

a)在一个示例中，如果不应用仿射预测，则不信令通知仿射AMVR的控制信息。

b)在一个示例中，如果一致性比特流中未应用仿射预测，则应禁用仿射AMVR(例如，仿射AMVR的使用应被通知为假)。

c)在一个示例中，如果不应用仿射预测，则可忽略仿射AMVR的信令通知的控制信息并且推断为不应用。

2.是否信令通知仿射AMVR的控制信息可取决于是否应用常规AMVR。

a)在一个示例中，如果不应用常规AMVR，则不信令通知仿射AMVR的控制信息。

b)在一个示例中，如果一致性比特流中未应用常规AMVR，则应禁用仿射AMVR(例如，仿射AMVR标志的使用被信令通知为假)。

c)在一个示例中，如果不应用常规AMVR，则可以忽略仿射AMVR的信令通知的控制信息并推断为不应用。

d)在一个示例中，可以在序列/图片/条带/片组/片/砖/其它视频单元中信令通知自适应运动矢量分辨率的指示(例如，一个标志)，以控制多种编解码方法对AMVR的使用，多种编解码方法诸如常规AMVR(即，应用于平移运动的AMVR)和仿射AMVR(即，应用于仿射运动的AMVR)。

i.在一个示例中，可以在SPS/DPS/VPS/PPS/图片标头/条带标头/片组标头中信令通知这样的指示。

ii.此外，可选地，是否信令通知常规AMVR和/或仿射AMVR的使用指示可取决于该指示。

1)在一个示例中，当这样的指示指示自适应运动矢量分辨率被禁用时，可以跳过常规AMVR的使用指示的信令。

2)在一个示例中，当这样的指示指示自适应运动矢量分辨率被禁用时，可以跳过仿射AMVR的使用指示的信令。

iii.此外，可选地，是否信令通知仿射AMVR的使用指示可取决于仿射预测模式的指示和使用。

1)例如，如果仿射预测模式被禁用，则可以跳过这种指示。

iv.在一个示例中，如果只能从先前的图片预测当前条带/片组/图片并且可以导出为假，则可以不信令通知这样的指示。

v.在一个示例中，如果只能从后续的图片预测当前条带/片组/图片并且可以导出为假，则可以不信令通知这样的指示。

vi.在一个示例中，如果可以从先前的图片和后续的图片二者预测当前的条带/片组/图片，则可以信令通知这样的指示。

3.是否信令通知仿射AMVR的控制信息可取决于是否应用常规AMVR，以及是否应用仿射预测。

a)在一个示例中，如果未应用仿射预测或未应用常规AMVR，则不信令通知仿射AMVR的控制信息。

i.在一个示例中，如果一致性比特流中未应用仿射预测或未应用常规AMVR，则仿射AMVR应被禁用(例如，仿射AMVR的使用应被信令通知为假)。

ii.在一个示例中，如果未应用仿射预测或未应用常规AMVR，则忽略仿射AMVR的信令通知的控制信息并推断为不应用。

b)在一个示例中，如果未应用仿射预测且未应用常规AMVR，则不信令通知仿射AMVR的控制信息。

i.在一个示例中，如果一致性比特流中未应用仿射预测且未应用常规AMVR，则仿射AMVR应被禁用(例如，仿射AMVR的使用应被信令通知为假)。

ii.在一个示例中，如果未应用仿射预测且未应用常规AMVR，则忽略仿射AMVR的信令通知的控制信息并推断为不应用。

4.子块Merge候选列表中的最大候选数(表示为MaxNumSubblockMergeCand)可取决于是否启用ATMVP。是否启用ATMVP不能仅由SPS中的sps_sbtmvp_enabled_flag指示。

a)例如，是否启用ATMVP可不仅取决于序列级中信令通知的标志(例如，SPS中的sps_sbtmvp_enabled_flag)。它还可以取决于序列/图片/条带/片组/片级的任何其他视频单元(诸如VPS、DPS、APS、PPS、条带标头、片组标头、图片标头等)中信令通知的一个或多个语法元素。

i.可选地，是否启用ATMVP可以在没有信令的情况下隐式地导出。

ii.例如，如果没有为图片、条带或片组启用TMVP，则不会为图片、条带或片组启用ATMVP。

b)例如，是否和/或如何信令通知与MaxNumSubblockMergeCand相关的语法元素(诸如five_minus_max_num_subblock_merge_cand)可取决于是否启用ATMVP。

i.例如，如果未启用ATMVP，则在一致性比特流中five_minus_max_num_subblock_merge_cand可以是受限的。

1)例如，如果未启用ATMVP，则不允许five_minus_max_num_subblock_merge_cand等于固定数。在两个示例中，固定数可以是0或5。

2)例如，如果未启用ATMVP，则不允许five_minus_max_num_subblock_merge_cand大于固定数。在一个示例中，固定数可以是4。

3)例如，如果未启用ATMVP，则不允许five_minus_max_num_subblock_merge_cand小于固定数。在一个示例中，固定数可以是1。

ii.例如，当不存在时，可将five_minus_max_num_subblock_merge_cand设置为five_minus_max_num_subblock_merge_cand-(ATMVP被启用？0:1)，其中是否启用ATMVP不仅仅取决于SPS中的标志(诸如sps_sbtmvp_enabled_flag)。

c)例如，可以取决于一个或多个语法元素(例如，five_minus_max_num_subblock_merge_cand)以及是否启用ATMVP来导出MaxNumSubblockMergeCand。

i.例如，可将MaxNumSubblockMergeCand导出为MaxNumSubblockMergeCand＝5-five_minus_max_num_subblock_merge_cand–(ATMVP被启用？0:1)。

d)当启用ATMVP且禁用仿射运动预测时，可将MaxNumSubblockMergeCand设置为等于1。

5.可将默认候选(具有平移和/或仿射运动)附加在子块Merge候选列表中。默认候选可以具有诸如子块预测的预测类型，也可以具有整块预测。

a)在一个示例中，默认候选的整块预测可以遵循平移运动模型(诸如常规Merge候选的整块预测)。

b)在一个示例中，默认候选的子块预测可以遵循平移运动模型(诸如ATMVP候选的子块预测)。

c)在一个示例中，默认候选的子块预测可以遵循仿射运动模型(诸如仿射Merge候选的子块预测)。

d)在一个示例中，默认候选可以具有等于0的仿射标志。

i.可选地，默认候选可以具有等于1的仿射标志。

e)在一个示例中，对于块的后续处理可取决于块是否使用默认候选编解码。

i.在一个示例中，块被视为用整块预测编解码(例如，所选择的默认候选使用整块预测)，并且

1)例如，可不将PROF应用于块。

2)例如，可以对块应用DMVR(解码侧运动矢量细化)。

3)例如，可将BDOF(双向光流)应用于块。

4)例如，可不将去方块滤波应用于块中子块之间的边界。

ii.在一个示例中，块被视为用子块预测编解码(例如，所选择的默认候选使用子块预测)，并且

1)例如，可将PROF应用于块。

2)例如，可以不对块应用DMVR(解码侧运动矢量细化)。

3)例如，可不将BDOF(双向光流)应用于块。

4)例如，可将去方块滤波应用于块中子块之间的边界。

iii.在一个示例中，块被视为用平移预测编解码，并且

1)例如，可不将PROF应用于块。

2)例如，可以对块应用DMVR(解码侧运动矢量细化)。

3)例如，可将BDOF(双向光流)应用于块。

4)例如，可不将去方块滤波应用于块中子块之间的边界。

iv.在一个示例中，块被视为用仿射预测编解码，并且

1)例如，可将PROF应用于块。

2)例如，可以不对块应用DMVR(解码侧运动矢量细化)。

3)例如，可不将BDOF(双向光流)应用于块。

4)例如，可将去方块滤波应用于块中子块之间的边界。

f)在一个示例中，可以将一种或多种默认候选放入子块Merge候选列表中。

i.例如，可将具有整块预测的第一种默认候选和具有子块预测的第二种默认候选都放入子块Merge候选列表中。

ii.例如，可将具有平移预测的第一种默认候选和具有仿射预测的第二种默认候选都放入子块Merge候选列表中。

iii.每种类型的默认候选的最大数量可取决于是否启用ATMVP和/或是否启用仿射预测。

g)在一个示例中，对于B条带，对于所有子块，默认候选都具有零运动矢量，则应用双向预测，并且将两个参考图片索引都设置为0。

h)在一个示例中，对于P条带，对于所有子块，默认候选都具有零运动矢量，则应用单向预测，并且将参考图片索引设置为0。

i)将哪种默认候选放入子块Merge候选列表可取决于ATMVP和/或仿射预测模式的使用。

i.在一个示例中，当启用仿射预测模式时，可以添加仿射标志等于1的仿射运动模型的默认候选(例如，所有CPMV都等于0)。

ii.在一个示例中，当仿射预测模式和ATMVP都被启用时，可以添加仿射标志为0的平移运动模型的默认候选(例如，零MV)和/或仿射标志为1的仿射运动模型的默认候选(例如，所有CPMV都等于0)。

1)在一个示例中，可以在仿射运动模型的默认候选之前添加平移运动模型的默认候选。

iii.在一个示例中，当仿射预测被禁用并且ATMVP被启用时，可以添加仿射标志等于0的平移运动模型的默认候选，而不添加仿射运动模型的默认候选。

j)在检查了ATMVP候选和/或空域/时域/构造仿射Merge候选之后，当子块Merge候选未填满时，可以应用上述方法，

6.可以在条带标头、或片组标头、或条带标头中信令通知有关ATMVP的信息(诸如是否为条带、或片组、或图片启用ATMVP)。

a)在一个示例中，ATMVP的并置图片可与用于TMVP的并置图片不同。

b)在一个示例中，可不对I条带、或I片组、或I图片信令通知关于ATMVP的信息。

c)在一个示例中，只有在序列级信令通知将启用ATMVP时(例如，sps_sbtmvp_enabled_flag等于1)才信令通知有关ATMVP的信息。

d)在一个示例中，如果对条带、或片组、或图片禁用了TMVP，则不会为该条带、或片组、或图片信令通知有关ATMVP的信息。

i.例如，在这种情况下，可以推断ATMVP被禁用。

e)如果对条带(或片组、或图片)禁用TMVP，则可以推断对该条带(或片组、或图片)禁用ATMVP，而不考虑ATMVP的使用的信令通知的信息。

7.是否添加基于子块的时域Merge候选(例如，时域仿射运动候选)可取决于TMVP的使用。

a)可选地，可取决于sps_temporal_mvp_enabled_flag的值。

b)可选地，可取决于slice_temporal_mvp_enabled_flag的值。

c)当sps_temporal_mvp_enabled_flag或slice_temporal_mvp_enabled_flag为真时，可以将基于子块的时域Merge候选添加到子块Merge候选中。

i.可选地，当sps_temporal_mvp_enabled_flag和slice_temporal_mvp_enabled_flag都为真时，可以将基于子块的时域Merge候选添加到子块Merge候选中。

ii.可选地，当sps_temporal_mvp_enabled_flag或slice_temporal_mvp_enabled_flag为假时，不应将基于子块的时域Merge候选添加到子块Merge候选中。

d)可选地，可以在序列/图片/条带/片组/片/砖/其他视频单元中信令通知添加基于子块的时域Merge候选的指示。

i.另外，可选地，还可以根据时域运动矢量预测的使用(例如，sps_temporal_mvp_enabled_flag和/或slice_temporal_mvp_enabled_flag)有条件地将其信令通知。

8.可以根据需要访问时域运动信息的多个编解码方法的使用来有条件地信令通知并置参考图片的指示，诸如并置参考图片是从哪个参考图片列表导出的(例如，collocated_from_l0_flag)和/或并置参考图片的参考索引。

a)在一个示例中，所述条件是启用ATMVP或TMVP中的一个。

b)在一个示例中，所述条件是启用ATMVP或TMVP或仿射运动信息预测中的一个。

9.在一个示例中，只有当为当前图片/条带/片组同时启用ATMVP和TMVP时，才可以将基于子块的时域Merge候选放入子块Merge候选列表中。

a)可选地，只有当为当前图片/条带/片组启用ATMVP时，才可以将基于子块的时域Merge候选放入子块Merge候选列表中。

10.MaxNumSubblockMergeCand可取决于是否可以使用基于子块的时域Merge候选。

a)可选地，MaxNumSubblockMergeCand可取决于是否可以使用TMVP。

b)例如，如果不能使用基于子块的时域Merge候选(或TMVP)，则MaxNumSubblockMergeCand不应大于4。

i.例如，如果不能使用基于子块的时域Merge候选(或TMVP)并且可以使用ATMVP，则MaxNumSubblockMergeCand不应大于4。

ii.例如，如果不能使用基于子块的时域Merge候选(或TMVP)并且不能使用ATMVP，则MaxNumSubblockMergeCand不应大于4。

iii.例如，如果不能使用基于子块的时域Merge候选(或TMVP)并且不能使用ATMVP，则MaxNumSubblockMergeCand不应大于3。

11.可以在序列/图片/条带/片组/片/CTU行/CTU/CU/PU/TU级的任何视频单元(如VPS、DPS、APS、PPS、条带标头、片组标头、图片标头、CTU、CU、PU等)中信令通知指示是否和/或如何进行PROF的一个或多个语法元素。

a)在一个示例中，可以取决于其他语法元素(诸如指示仿射预测是否启用的语法元素)有条件地信令通知一个或多个语法元素(诸如指示PROF是否启用的标志)。

i.例如，当仿射预测被禁用时，可不信令通知指示是否启用PROF的语法元素，并且推断PROF被禁用。

b)在一个示例中，当一致性比特流中禁用仿射预测时，必须将指示是否启用PROF的语法元素设置为禁用PROF。

c)在一个示例中，当一致性比特流中禁用仿射预测时，忽略指示是否启用PROF的信令通知的语法元素，并且推断PROF被禁用。

d)在一个示例中，可以信令通知一个语法元素，以指示PROF是否仅应用于单向预测。

5.实施例

对于以下所有实施例，可以在不同的级别上信令通知语法元素，诸如在SPS/PPS/条带标头/图片标头/片组标头/片或其它视频单元中。

5.1实施例1：SPS/PPS/条带标头/片组标头中sps_affine_amvr_enabled_flag的语法设计示例

可选地，

5.2实施例2：five_minus_max_num_subblock_merge_cand的语义示例

five_minus_max_num_subblock_merge_cand指定从5减去条带中支持的基于子块的Merge运动矢量预测(MVP)最大候选数目。当five_minus_max_num_subblock_merge_cand不存在时，推断它等于5–(sps_sbtmvp_enabled_flag&&slice_temporal_mvp_enabled_flag)。基于子块的Merge MVP最大候选数目MaxNumSubblockMergeCand导出如下：

MaxNumSubblockMergeCand＝5-five_minus_max_num_subblock_merge_cand

MaxNumSubblockMergeCand的值应在0到5之间(包括0和5)。

可选地，以下也可适用：

当启用ATMVP且禁用仿射时，MaxNumSubblockMergeCand的值应在0到1的范围内(包括0和1)。当启用仿射时，MaxNumSubblockMergeCand的值应在0到5之间(包括0和5)。

5.3实施例3：条带标头(或片组标头)中ATMVP语法元素的示例

可选地，

5.4.实施例4：条带标头(或片组标头)中基于子块的时域Merge候选的语法元素示例

if(slice_temporal_mvp_enabled_flag&&MaxNumSubblockMergeCand>0)
		sub_block_tmvp_merge_candidate_enalbed_flag	u(1)

sub_block_tmvp_merge_candidate_enalbed_flag指定是否可以使用基于子块的时域Merge候选。

如果不存在，则sub_block_tmvp_merge_candidate_enalbed_flag被推断为0。

8.5.5.6构造仿射控制点运动矢量Merge候选的推导处理

…

-变量mvLXCol和availableFlagLXCol(其中X为0或1)导出如下：

-如果SLICE_TEMPORAL_MVP_ENABLED_FLAG sub_block_tmvp_merge_candidate_enalbed_flag等于0，或者mvLXCol的两个分量都设置为等于0，并且将availableFlagLXCol设置为等于0。

-否则(SLICE_TEMPORAL_MVP_ENABLED_FLAG sub_block_tmvp_merge_candidate_enalbed_flag等于1)，以下适用：

…

5.5实施例4：SPS中控制PROF的语法/语义示例

sps_affine_enabled_flag	u(1)
		if(sps_affine_enabled_flag)
sps_prof_flag	u(1)

sps_prof_flag指定PROF是否可用于帧间预测。如果sps_prof_flag等于0，则不应用PROF。否则(sps_prof_flag等于1)，应用PROF。当不存在时，sps_prof_flag的值被推断为等于0。

图28是视频处理装置1400的框图。装置1400可用于实现本文所述的一种或多种方法。装置1400可以被实现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置1400可以包括一个或多个处理器1402、一个或多个存储器1404和视频处理硬件1406。处理器1402可以被配置成实现本文中描述的一个或多个方法。存储器1404可用于存储用于实现本文所述的方法和技术的数据和代码。视频处理硬件1406可用于在硬件电路中实现本文档中描述的一些技术。

图29是视频处理的示例方法2900的流程图。方法2900包括：使用仿射自适应运动矢量分辨率技术执行(2902)视频的当前视频块和所述视频的比特流表示之间的转换，使得所述比特流表示基于规则选择性地包括与所述仿射自适应运动矢量分辨率技术相关的控制信息。

下面的示例列表提供了可以解决本文中描述的技术问题以及其他问题的实施例。

1.一种视频处理方法，包括：使用仿射自适应运动矢量分辨率技术执行视频的当前视频块和所述视频的比特流表示之间的转换，使得所述比特流表示基于规则选择性地包括与所述仿射自适应运动矢量分辨率技术相关的控制信息。

2.根据示例1所述的方法，其中，所述规则指定：在所述转换期间使用仿射预测的情况下包括所述控制信息，并且在所述转换期间不使用仿射预测的情况下省略所述控制信息。

3.根据示例1所述的方法，其中，所述规则还指定：在仿射预测未应用于所述转换的情况下，在所述转换期间排除使用自适应运动矢量分辨率步骤。

在第4节第1项中提供了与上述示例相关的附加示例和实施例。

4.根据示例1所述的方法，其中，所述规则指定：基于是否在所述转换期间使用常规自适应运动矢量分辨率步骤来包括或省略所述控制信息。

5.根据示例4所述的方法，其中，所述规则指定：在所述转换期间不应用常规自适应运动矢量分辨率步骤的情况下省略所述控制信息。

6.根据示例1所述的方法，其中，所述控制信息包括指示在所述转换期间使用多个自适应运动矢量分辨率技术的相同字段。

在第4节第2项中提供了与上述示例相关的附加示例和实施例。

7.根据示例1所述的方法，其中，所述规则指定：基于是否在所述转换期间使用常规自适应运动矢量分辨率和仿射预测来包括或省略所述控制信息。

8.根据示例7所述的方法，其中，所述规则指定：在所述转换期间不应用常规自适应运动矢量分辨率和仿射预测的情况下省略所述控制信息。

在第4节第3项中提供了与上述示例相关的附加示例和实施例。

9.一种视频处理方法，包括：在当前视频块和比特流表示之间的转换期间，确定用于所述转换的子块Merge候选列表，其中子块Merge候选列表中的最大候选数目取决于是否将可选时域运动矢量预测(ATMVP)应用于所述转换；以及使用所述子块Merge候选列表执行所述转换。

10.根据示例9所述的方法，其中，所述比特流表示中的字段指示是否将可选时域运动矢量预测应用于所述转换。

11.根据示例10所述的方法，其中，所述字段位于序列级、或视频参数集级、或图片参数集级、或条带级、或片组级、或图片标头级。

12.根据示例9所述的方法，其中，在将ATMVP应用于所述转换并且对所述转换禁用仿射预测的情况下，将最大候选数目被设置为等于1。

在第4节第4项中提供了与上述示例相关的附加示例和实施例。

13.一种视频处理方法，包括：在当前视频块和比特流表示之间的转换期间，将一个或多个默认Merge候选附加到用于所述转换的子块Merge候选列表；以及使用具有附加的一个或多个默认Merge候选的所述子块Merge候选列表来执行所述转换。

14.根据示例13所述的方法，其中，所述默认候选与子块预测类型相关联。

15.根据示例14所述的方法，其中，所述子块预测类型包括基于平移运动模型或仿射运动模型的预测。

16.根据示例13所述的方法，其中，所述默认候选与整块预测类型相关联。

17.根据示例14所述的方法，其中，所述整块预测类型包括基于平移运动模型或仿射运动模型的预测。

在第4节第5项中提供了与上述示例相关的附加示例和实施例。

18.一种视频处理方法，包括：在视频的当前视频块和比特流表示之间的转换期间，确定可选时域运动矢量预测(ATMVP)对所述转换的适用性，其中所述比特流表示中的一个或多个比特对应于所述确定；以及基于所述确定执行所述转换。

19.根据示例18所述的方法，其中，所述一个或多个比特包括在图片标头、条带标头或片组标头。

20.根据示例18-19所述的方法，其中，所述转换使用用于ATMVP的并置图片，所述用于ATMVP的并置图片与用于使用时域运动矢量预测(TMVP)的所述视频的所述转换的另一并置图片不同。

第4节第6项中提供了与上述示例相关的附加示例和实施例。

21.一种视频处理方法，包括：基于与时域运动矢量预测(TMVP)步骤或可选时域运动矢量预测(ATMVP)相关联的条件选择性地建立子块Merge候选列表；以及基于所述子块Merge候选列表执行当前视频块和所述当前视频块的比特流表示之间的转换。

22.根据示例21所述的方法，其中，所述条件对应于在比特流表示的序列参数集级、或条带级、或片级、或砖级中标志的存在。

23.根据示例21所述的方法，其中，仅当对所述当前视频块所属的图片、或片、或片组同时启用了可选运动矢量预测和TMVP步骤时，才使用基于子块的时域Merge候选来构建所述子块Merge候选列表。

24.根据示例21所述的方法，其中，仅当对所述当前视频块所属的图片、或片、或片组同时启用ATMVP和TMVP步骤时，才使用基于子块的时域Merge候选来构建所述子块Merge候选列表。

25.根据示例21所述的方法，其中，仅当对当前视频块所属的图片、或片、或片组启用ATMVP并且禁用TMVP步骤时，才使用基于子块的时域Merge候选来构建所述子块Merge候选列表。

在第4节第7项和第9项中提供了与上述示例相关的附加示例和实施例。

26.根据示例21-25所述的方法，其中，基于在所述转换期间是否使用基于子块的时域Merge候选来包括或省略所述比特流表示中的标志。

在第4节第10项中提供了与上述示例相关的附加示例和实施例。

27.一种视频处理方法，包括：基于规则，使用使用光流(PROF)的预测细化选择性地执行视频的当前视频块和所述视频的比特流表示之间的转换，其中所述规则包括(1)在所述比特流表示中包含或省略字段，或(2)是否将仿射预测应用于所述转换。

28.根据示例27所述的方法，其中，所述规则指定：由于对所述转换禁用仿射预测而禁用PROF。

29.根据示例27所述的方法，其中，在仿射预测被禁用的情况下，则推断对所述转换禁用PROF。

30.根据示例27所述的方法，其中，所述规则还指定：基于所述比特流表示中的对应标志，仅将PROF用于单向预测。

在第4节第11项中提供了与上述示例相关的附加示例和实施例。

31.一种视频处理装置，其包括处理器，所述处理器被配置成实现示例1至30中的一个或多个。

32.一种其上存储有代码的计算机可读介质，所述代码在由处理器执行时，使所述处理器实现示例1至30中任一个或多个中所述的方法。

在本文的示例列表中，术语“转换”可指为当前视频块生成比特流表示或从比特流表示生成当前视频块。比特流表示不需要表示连续的比特组，并且可以被划分为包括在标头字段中的比特或包括在表示编解码像素值信息的码字中的比特。

在上面的示例中，所述规则可以是预先定义的并且为编码器和解码器所知。

图30是示出其中可以实现本文公开的各种技术的示例视频处理系统3000的框图。各种实现可以包括系统3000的部分或全部组件。系统3000可以包括用于接收视频内容的输入3002。视频内容可以原始或未压缩格式(例如，8或10比特多分量像素值)接收，或者可以压缩或编解码格式接收。输入3002可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等有线接口和诸如Wi-Fi或蜂窝接口的无线接口。

系统3000可以包括编码分量3004，其可以实现本文所述的各种编码或编码方法。编码分量3004可以降低从输入3002到编码分量3004的输出的视频的平均比特率，以产生视频的编码表示。因此，编码技术有时被称为视频压缩或视频转码技术。编码分量3004的输出可以存储，或者通过由分量3006表示的连接的通信来发送。分量3008可以使用在输入3002处接收的视频的存储或通信的比特流(或编码)表示，用于生成发送到信令通知接口3010的像素值或可信令通知视频。从所述比特流表示生成用户可视视频的处理有时被称为视频解压缩。此外，虽然一些视频处理操作被称为“编码”操作或工具，但是应当理解的是，在编码器处使用编码工具或操作，并且将由解码器执行反转编码结果的对应的解码工具或操作。

外围总线接口或信令通知接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或信令通知端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文所述的技术可以实施在各种电子设备中，诸如移动电话、膝上型计算机、智能手机、或能够执行数字数据处理和/或视频信令通知的其他设备。

图31是视觉媒体处理的示例方法的流程图。结合本文第4节中的实施例1对本流程图的步骤进行讨论。在步骤3102处，处理依赖于与视觉媒体数据的比特流表示中的仿射AMVR技术相关的控制信息来确定是否对视觉媒体数据使用仿射自适应运动矢量分辨率(AMVR)技术，其中基于规则将控制信息包括在比特流表示中或从比特流表示中排除。在步骤3104处，处理执行视觉媒体数据和视觉媒体数据的比特流表示之间的转换。

图32是视觉媒体处理的示例方法的流程图。结合本文第4节中的实施例4对本流程图的步骤进行讨论。在步骤3202处，处理做出是否将基于子块的时域运动矢量预测(sbTMVP)技术应用于视觉媒体数据的确定。在步骤3204处，响应于所述确定，处理为包括在视觉媒体数据中的当前视频块生成子块Merge候选列表。在步骤3206处，处理使用子块Merge候选列表执行当前视频块和当前视频块的比特流表示之间的转换。

图33是视觉媒体处理的示例方法的流程图。结合本文第4节中的实施例5对本流程图的步骤进行讨论。在步骤3302处，在当前视频块和比特流表示之间的转换期间，处理将一个或多个默认Merge候选附加到用于转换的子块Merge候选列表。在步骤3304处，处理使用附加了一个或多个默认Merge候选的子块Merge候选列表来执行所述转换。

图34是视觉媒体处理的示例方法的流程图。结合本文第4节中的实施例6对本流程图的步骤进行讨论。在步骤3402处，在视频的当前视频块和比特流表示之间的转换期间，处理确定基于子块的时域运动矢量预测(sbTMVP)对所述转换的适用性，其中比特流表示中的一个或多个比特对应于所述确定。在步骤3404处，处理基于所述确定执行所述转换。

图35是视觉媒体处理的示例方法的流程图。结合本文第4节中的实施例7对本流程图的步骤进行讨论。在步骤3502处，处理基于与时域运动矢量预测(TMVP)步骤或基于子块的时域运动矢量预测(sbTMVP)步骤相关联的条件选择性地构建子块Merge候选列表。在步骤3504处，处理基于子块Merge候选列表执行当前视频块和当前视频块的比特流表示之间的转换。

图36是视觉媒体处理的示例方法的流程图。结合本文第4节中的实施例8对本流程图的步骤进行讨论。在步骤3602处，在视觉媒体数据和视觉媒体数据的比特流表示之间的转换期间，处理确定与视觉媒体数据相关联的并置参考图片相关的信息，其中，基于是否启用访问时域运动信息的编解码模式，在比特流表示中包括或排除所述信息。在步骤3604处，处理根据指示确定并置参考图片。在步骤3606处，处理基于并置参考图片执行视觉媒体数据和视觉媒体数据的比特流表示之间的转换。

图37是视觉媒体处理的示例方法的流程图。结合本文第4节中的实施例11对本流程图的步骤进行讨论。在步骤3702处，处理执行视觉媒体数据的视频块和视觉媒体数据的比特流表示之间的转换。在步骤3704处，在所述转换期间，处理依赖于控制信息来确定是否应用使用光流的预测细化(PROF)，基于规则在比特流表示中包括或排除控制信息。

现在以基于条款的格式呈现本文的一些实施例。

A1.一种视觉媒体处理方法，包括：

依赖于视觉媒体数据的比特流表示中与仿射自适应运动矢量分辨率(AMVR)技术相关的控制信息，确定是否对所述视觉媒体数据使用仿射AMVR技术，其中，基于规则将所述控制信息包括在所述比特流表示中，或者从所述比特流表示中排除；以及

执行所述视觉媒体数据和所述视觉媒体数据的所述比特流表示之间的转换。

A2.根据条款A1所述的方法，其中，所述规则指定：基于以下中的至少一个在所述比特流表示中包括或排除所述控制信息：

(1)所述转换期间是否使用仿射预测，

(2)所述转换期间是否使用常规AMVR技术，

(3)与自适应运动矢量分辨率相关的信息是否指示启用或禁用所述AMVR技术。

A3.根据条款A1所述的方法，其中，所述规则指定：在所述转换期间不使用仿射预测的情况下排除所述控制信息。

A4.根据条款A1所述的方法，其中，所述规则指定：在所述转换期间使用仿射预测的情况下包括所述控制信息。

A5.根据条款A1所述的方法，其中，在不使用仿射预测的情况下，在所述转换期间禁止所述仿射AMVR技术的使用。

A6.根据条款A2所述的方法，其中，所述与自适应运动矢量分辨率相关的信息用于控制多个编解码技术对所述AMVR技术的使用，其中所述多个编解码技术包括常规AMVR技术和仿射AMVR技术。

A7.根据条款A2或A6中任一项或多项所述的方法，其中，所述规则指定：在所述与自适应运动矢量分辨率相关的信息指示所述AMVR技术被禁用的情况下，排除与所述仿射AMVR技术相关的所述控制信息。

A8.根据条款A2或A6中任一项或多项所述的方法，其中所述规则指定：在所述与自适应运动矢量分辨率相关的信息指示所述AMVR技术被启用的情况下，包括与所述仿射AMVR技术相关的所述控制信息。

A9.根据条款A2或A6-A8中的任一项或多项所述的方法，其中，在所述比特流表示的序列级中信令通知所述与自适应运动矢量分辨率相关的信息。

A10.根据条款A1-A9中任一项或多项所述的方法，其中，所述规则还指定：在所述转换期间使用常规AMVR技术的情况下，包括与所述仿射AMVR技术相关的所述控制信息。

A11.根据条款A1-A9中任一项或多项所述的方法，其中，所述规则还指定：在所述转换期间不应用常规AMVR技术的情况下，排除与所述仿射AMVR技术相关的所述控制信息。

A12.根据条款A5所述的方法，其中，在所述转换期间不应用常规AMVR技术的情况下，禁用所述仿射AMVR技术。

A13.根据条款A1-A4中任一项或多项所述的方法，其中，所述控制信息包括指示在所述转换期间使用多个自适应运动矢量分辨率技术的相同字段。

A14.根据条款A1-A13中任一项或多项所述的方法，其中，在所述转换期间不使用仿射预测的情况下，还包括：

忽略与所述仿射AMVR技术相关的所述控制信息。

A15.根据条款A1-A14中任一项或多项所述的方法，其中，所述规则指定：基于在所述转换期间是否使用常规自适应运动矢量分辨率和仿射预测，来包括或排除所述控制信息。

A16.根据条款A15所述的方法，其中，所述规则指定：在所述转换期间不应用所述常规自适应运动矢量分辨率和仿射预测中的至少一个的情况下，排除所述控制信息。

A17.根据条款A1-A16中任一项或多项所述的方法，其中，所述规则还指定：在所述比特流表示中包括或排除所述控制信息基于与仿射预测的使用相关联的一个或多个准则。

A18.根据条款A17所述的方法，其中，所述规则还指定：在仿射预测的使用被禁用的情况下，在所述比特流表示中排除所述控制信息，并且进一步地，在所述比特流表示中缺少所述控制信息被用于推断仿射AMVR的使用被禁用。

A19.根据条款A1-A18中任一项或多项所述的方法，其中，在仅从与所述视觉媒体数据相关联的一个或多个先前图片预测当前条带、片组或图片的情况下，在所述比特流表示中排除所述控制信息。

A20.根据条款A1-A18中任一项或多项所述的方法，其中，在仅从与所述视觉媒体数据相关联的一个或多个后续图片预测当前条带、片组或图片的情况下，在所述比特流表示中排除所述控制信息。

A21.根据条款A1-A18中任一项或多项所述的方法，其中，在从与所述视觉媒体数据相关联的一个或多个后续或先前图片预测当前条带、片组或图片的情况下，在所述比特流表示中排除所述控制信息。

A22.根据条款A1所述的方法，其中，在所述转换期间未使用仿射预测或常规AMVR技术的情况下禁用所述仿射AMVR技术。

A23.根据条款A22所述的方法，其中，如果禁用仿射AMVR，则在所述比特流表示中排除与所述仿射AMVR技术相关的所述控制信息。

A24.根据条款A1所述的方法，其中，所述规则还指定：在所述转换期间不应用仿射预测或所述常规AMVR技术中的至少一种的情况下，排除与所述仿射AMVR技术相关的所述控制信息。

A25.根据条款A1所述的方法，其中，所述规则还指定：在所述转换期间既不应用仿射预测也不应用所述常规AMVR技术的情况下，排除与所述仿射AMVR技术相关的所述控制信息。

A26.根据条款A1-A25所述的方法，其中，所述控制信息包含在以下的一个中：与当前视频块或所述视觉媒体数据的另一视频块相关联的序列、图片、条带、片组、片、砖。

A27.根据条款A26所述的方法，其中，所述控制信息包含在以下的一个中：序列参数集(SPS)、解码参数集(DPS)、视频参数集(VPS)、图片参数集(PPS)、图片标头、条带标头或片组标头。

B1.一种视觉媒体处理方法，包括：

做出是否将基于子块的时域运动矢量预测(sbTMVP)技术应用于视觉媒体数据的确定；

响应于所述确定，为包括在所述视觉媒体数据中的当前视频块生成子块Merge候选列表；以及

使用所述子块Merge候选列表执行所述当前视频块和所述当前视频块的比特流表示之间的转换。

B2.根据条款B1所述的方法，其中，所述子块Merge候选列表中的最大候选数目取决于以下中的至少一个：是否将所述sbTMVP技术应用于所述转换，或者是否将时域运动矢量预测(TMVP)技术应用于所述转换。

B3.根据条款B1所述的方法，其中，所述子块Merge候选列表中的最大候选数目取决于是否使用基于子块的时域Merge候选。

B4.根据条款B3所述的方法，其中，如果将时域运动矢量预测(TMVP)技术和所述sbTMVP技术应用于所述转换，则使用所述基于子块的时域Merge候选。

B5.根据条款B1或B2中任一项或多项所述的方法，其中，所述比特流表示中的字段明确指示是否将所述sbTMVP技术应用于所述转换。

B6.根据条款B5所述的方法，其中，所述字段处于序列级、或视频参数集级、或图片参数集级、或条带级、或片组级或图片标头级。

B7.根据条款B1所述的方法，还包括：

在检测到未将时域运动矢量预测(TMVP)技术应用于图片、或条带、或片组时，确定不将所述sbTMVP技术应用于所述图片、或所述条带、或所述片组。

B8.根据条款B2所述的方法，其中，与所述子块Merge候选列表中的所述最大候选数目有关的所述比特流表示中的一个或多个语法元素取决于是否将所述sbTMVP技术应用于所述转换。

B9.根据条款B8所述的方法，还包括：

在确定未将所述sbTMVP技术应用于所述转换时，约束所述一个或多个语法元素的值。

B10.根据条款B6所述的方法，其中，在所述比特流表示中选择性地包括或排除与所述子块Merge候选列表中的所述最大候选数目相关的所述一个或多个语法元素。

B11.根据条款B2-B10中任一项或多项所述的方法，其中，所述子块Merge候选列表中的所述最大候选数目为0、1或5。

C1.一种视觉媒体处理方法，包括：

在当前视频块和比特流表示之间的转换期间，将一个或多个默认Merge候选附加到用于所述转换的子块Merge候选列表；以及

使用附加了一个或多个默认Merge候选的所述子块Merge候选列表来执行所述转换。

C2.根据条款C1所述的方法，其中，所述默认候选与子块预测类型相关联。

C3.根据条款C2所述的方法，其中，所述子块预测类型包括基于平移运动模型或仿射运动模型的预测。

C4.根据条款C1所述的方法，其中，所述默认候选与整块预测类型相关联。

C5.根据条款C2所述的方法，其中，所述整块预测类型包括基于平移运动模型或仿射运动模型的预测。

D1.一种视觉媒体处理方法，包括：

在视频的当前视频块和比特流表示之间的转换期间，确定基于子块的时域运动矢量预测(sbTMVP)对所述转换的适用性，其中，比特流表示中的一个或多个比特对应于所述确定；以及

基于所述确定执行所述转换。

D2.根据条款D1所述的方法，其中，将所述一个或多个比特包括在图片标头、条带标头或片组标头中。

D3.根据条款D1-D2中任一项或多项所述的方法，其中，所述转换使用用于ATMVP的并置图片，所述用于ATMVP的并置图片与用于使用时域运动矢量预测(TMVP)的所述视频的所述转换的另一并置图片不同。

D4.根据条款D1-D3中任一项或多项所述的方法，其中，所述一个或多个比特包括在I条带、或I片组、或I图片中。

D5.根据条款D1-D3中任一项或多项所述的方法，其中，如果在序列级应用sbTMVP，则将所述一个或多个比特包括在所述比特流表示的所述序列级中。

D6.根据条款D1-D3中任一项或多项所述的方法，其中，如果对条带级、或片组级、或图片级禁用TMVP，则在所述比特流表示的所述条带级、所述片组级、或所述图片级中排除所述一个或多个比特。

D7.根据条款D6所述的方法，其中，sbTMVP被确定为不适用。

D8.根据条款D1所述的方法，其中，对条带、或片组、或图片禁用TMVP，还包括：

在不考虑所述比特流表示中的所述一个或多个比特的情况下，推断对所述条带、或所述片组、或所述图片禁用sbTMVP。

E1.一种视觉媒体处理方法，包括：

基于与时域运动矢量预测(TMVP)步骤或基于子块的时域运动矢量预测(sbTMVP)步骤相关联的条件选择性地构建子块Merge候选列表；以及

基于所述子块Merge候选列表执行当前视频块和所述当前视频块的比特流表示之间的转换。

E2.根据条款E1所述的方法，其中，所述条件对应于在比特流表示的序列参数集级、或条带级、或片级、或砖级中标志的存在和/或所述标志的值。

E3.根据条款E1所述的方法，其中，仅当对所述当前视频块所属的图片、或片、或片组、或条带同时启用sbTMVP和TMVP步骤时，才使用基于子块的时域Merge候选来构建所述子块Merge候选列表。

E4.根据条款1所述的方法，其中，仅当对所述当前视频块所属的图片、或片、或片组、或条带启用sbTMVP步骤时，才使用基于子块的时域Merge候选来构建所述子块Merge候选列表。

E5.根据条款1所述的方法，其中，仅当对所述当前视频块所属的图片、或片、或片组、或条带启用sbTMVP并且禁用TMVP步骤时，才使用基于子块的时域Merge候选来构建所述子块Merge候选列表。

E6.根据条款E1-E5中任一项或多项所述的方法，其中，基于是否在所述转换期间使用基于子块的时域Merge候选，包括或排除所述比特流表示中的标志。

E7.根据条款E2所述的方法，其中，所述标志包括sps_temporal_mvp_enabled_flag或sps_sbtmvp_enabled_flag中的至少一个。

F1.一种视觉媒体处理方法，包括：

在视觉媒体数据和所述视觉媒体数据的比特流表示之间的转换期间，确定与所述视觉媒体数据相关联的并置参考图片相关的信息，其中，基于是否启用访问时域运动信息的编解码模式，在所述比特流表示中包括或排除所述信息；

根据所述指示确定所述并置参考图片；以及

基于所述并置参考图片执行所述视觉媒体数据和所述视觉媒体数据的所述比特流表示之间的转换。

F2.根据条款F1所述的方法，其中，所述信息指示用于导出所述并置参考图片的参考图片列表和/或所述并置参考图片的参考索引。

F3.根据条款F1所述的方法，其中，所述编解码模式包括时域运动矢量预测(TMVP)编解码技术。

G1.一种视觉媒体处理方法，包括：

执行视觉媒体数据的视频块和所述视觉媒体数据的比特流表示之间的转换；以及

在所述转换期间，依赖于控制信息来确定是否应用使用光流的预测细化(PROF)，基于规则在所述比特流表示中包括或排除所述控制信息。

G2.根据条款G1所述的方法，其中，所述规则指定：基于是否对所述转换应用仿射预测，在所述比特流表示中包括或排除所述控制信息。

G3.根据条款G1-G2中任一项或多项所述的方法，其中，基于对所述转换禁用仿射预测，禁止PROF的应用。

G4.根据条款G2所述的方法，其中，所述规则还指定：在仿射预测被禁用的情况下排除所述控制信息。

G5.根据条款G4所述的方法，其中，仿射预测被禁用，还包括：

推断对所述转换禁用PROF。

G6.根据条款G2所述的方法，其中，基于所述比特流表示中的对应标志，PROF的应用仅与单向预测相关联。

G7.根据条款G1-G6所述的方法，其中，所述控制信息包括在以下的一个中：与当前视频块或所述视觉媒体数据的另一视频块相关联的序列、图片、条带、片组、片、砖。

G8.根据条款G7所述的方法，其中，所述控制信息包括在以下的一个中：序列参数集(SPS)、解码参数集(DPS)、视频参数集(VPS)、图片参数集(PPS)、图片标头、条带标头、或片组标头。

H1.根据条款A1-G8中任一项或多项所述的方法，其中，所述转换包括：从所述当前视频块生成所述比特流表示。

H2.根据条款A1-G8中任一项或多项所述的方法，其中，所述转换包括:从所述比特流表示生成所述当前视频块的像素值。

H3.一种视频编码器装置，其包括处理器，所述处理器被配置为实现条款A1-G8中任一项或多项所述的方法。

H4.一种视频解码器装置，其包括处理器，所述处理器被配置为实现条款A1-G8中任一项或多项所述的方法。

H5.一种其上存储有代的计算机可读介质，所述代码包含用于实现条款A1-G8中任一项或多项所述的方法的处理器可执行指令。

在本文中，术语“视频处理”或“视觉媒体处理”可指视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到对应的比特流表示的转换期间中应用视频压缩算法，反之亦然。例如，当前视频块的比特流表示可以对应于由语法定义的比特流中的并置位置或在不同位置传播的比特。例如，可以根据经过转换和编码的误差残差值、并且也可以使用比特流中的标头和其他字段中的比特对宏块进行编码。此外，在转换期间，解码器可以在知道某些字段可能存在或不存在的情况下，基于上述解决方案中描述的确定来解析比特流。类似地，编码器可以通过在编码表示中包括或排除语法字段来确定是否包括某些语法字段，并相应地生成编码表示。应当理解的是，所公开的技术可以实施在视频编码器或解码器中，以使用包括使用基于子块的运动矢量细化的技术来提高压缩效率。

本文中描述的所公开的和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件中实现，包括本文中公开的结构及其结构等效物，或者一个或多个的组合。所公开的实施例和其他实施例可以实现为一个或多个计算机程序产品，即在计算机可读介质上编码以供数据处理设备执行或控制其操作的计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质的组合，或者一个或多个它们的组合。术语“数据处理设备”包括用于处理数据的所有设备、装置和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除硬件外，设备还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或其中一个或多个的组合的代码。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以传输到合适的接收器设备。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、分量、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标志语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。

本文中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如，帧内硬盘或可移动硬盘；磁光盘；以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。

虽然本专利文件包含许多细节，但不应将其解释为对任何主题或权利要求范围的限制，而应解释为对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。

同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件实施例中各种系统分量的分离不应理解为在所有实施例中都需要这样的分离。

仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims

1.一种处理视频数据的方法，包括：

针对视频的视觉媒体数据与所述视频的比特流之间的转换，确定指示是否在第一级别中为所述视觉媒体数据启用时域运动矢量预测编解码模式的第一信息；

基于所述第一信息，确定第二信息是否包括在所述比特流中，其中所述第二信息指示是否在所述第一级别中启用基于子块的时域运动矢量预测；

基于所述第一信息，确定第三信息是否包括在所述比特流中，其中所述第三信息指示是否在第二级别中对所述视觉媒体数据启用时域运动矢量预测编解码模式；

基于所述第三信息，确定第四信息是否包括在所述比特流中，其中所述第四信息指示在第二级别中与所述视觉媒体数据相关联的并置参考图片相关的信息；以及

至少基于所述第四信息执行所述转换，

其中，在所述转换期间，构建候选列表，

其中，所述候选列表的最大数量是否基于包括在所述比特流中的第五信息是基于所述第一级别中的指示编解码模式的第六信息，并且其中，通过从5减去整数来编解码所述第五信息，并且

其中，所述第四信息指示所述并置参考图片的参考索引。

2.根据权利要求1所述的方法，其中，所述第四信息指示所述并置参考图片是从哪个参考图片列表导出。

3.根据权利要求1所述的方法，其中，响应于所述时域运动矢量预测编解码模式被启用，所述第四信息包括在所述比特流中。

4.根据权利要求1所述的方法，其中，基于所述时域运动矢量预测编解码模式被禁用，所述第四信息不包括在所述比特流中。

5.根据权利要求1所述的方法，其中，所述候选列表中的候选的最大数目取决于是否启用所述时域运动矢量预测编解码模式。

6.根据权利要求1所述的方法，其中，所述候选列表中的候选的最大数目取决于是否启用基于子块的时域运动向量预测编解码模式。

7.根据权利要求1到6的任一项所述的方法，其中，所述转换包括将所述视觉媒体数据编码到所述比特流中。

8.根据权利要求1到6的任一项所述的方法，其中，所述转换包括从所述比特流解码所述视觉媒体数据。

9.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中在由所述处理器执行所述指令时，使得所述处理器：

至少基于所述第四信息执行所述转换，

其中，在所述转换期间，构建候选列表，

其中，所述第四信息指示所述并置参考图片的参考索引。

10.根据权利要求9所述的装置，其中，所述第四信息指示所述并置参考图片是从哪个参考图片列表导出。

11.根据权利要求9所述的装置，其中，响应于所述时域运动矢量预测编解码模式被启用，所述第四信息包括在所述比特流中。

12.根据权利要求9所述的装置，其中，基于所述时域运动矢量预测编解码模式被禁用，所述第四信息不包括在所述比特流中。

13.根据权利要求9所述的装置，其中，所述候选列表中的候选的最大数目取决于是否启用所述时域运动矢量预测编解码模式。

14.根据权利要求9所述的装置，其中，所述候选列表中的候选的最大数目取决于是否启用基于子块的时域运动向量预测编解码模式。

15.一种用于存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：

至少基于所述第四信息执行所述转换，

其中，在所述转换期间，构建候选列表，

其中，所述第四信息指示所述并置参考图片的参考索引。

16.根据权利要求15所述的非暂时性计算机可读存储介质，其中，所述第四信息指示所述并置参考图片是从哪个参考图片列表导出。

17.一种用于存储视频的比特流的方法，包括：

确定指示是否在第一级别中为视频的视觉媒体数据启用时域运动矢量预测编解码模式的第一信息；

基于所述第三信息，确定第四信息是否包括在所述比特流中，其中所述第四信息指示在第二级别中与所述视觉媒体数据相关联的并置参考图片相关的信息；

至少基于所述第四信息执行来生成所述比特流；以及

将所述比特流存储在非暂时性计算机可读存储介质中，

其中，在所述生成期间，构建候选列表，

其中，所述第四信息指示所述并置参考图片的参考索引。

18.一种其上存储有指令的计算机可读介质，所述指令被处理器执行时实现权利要求3-8中任一项所述的方法。