CN113273186A

CN113273186A - Lut更新的调用

Info

Publication number: CN113273186A
Application number: CN202080008061.6A
Authority: CN
Inventors: 张莉; 张凯; 刘鸿彬; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-01-10
Filing date: 2020-01-10
Publication date: 2021-08-17
Also published as: EP3888355A4; US20230156217A1; US20210235108A1; EP3888355A1; JP2022516191A; WO2020143741A1; KR102648159B1; KR20210110814A; KR20240010576A; JP7275286B2; JP2023099078A; US11589071B2

Abstract

提供一种视频处理方法，包括：维护一个或多个运动候选表；使用运动候选表按顺序使用多个视频处理操作来执行视频的当前视频块和当前视频块的编解码表示之间的转换；以及由于特定处理操作的完成而更新运动候选表。

Description

LUT更新的调用

相关申请的交叉引用

根据适用的专利法和/或依据巴黎公约的规则，本申请是为了及时要求于2019年1月10日提交的国际专利申请No.PCT/CN2019/071214的优先权和利益。出于根据相关法律的所有目的，前述申请的全部公开内容通过引用并入作为本申请公开内容的一部分。

技术领域

本专利文档涉及视频编解码技术、设备和系统。

背景技术

尽管在视频压缩方面取得了进步，数字视频仍然占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计对数字视频使用的带宽需求将继续增长。

发明内容

本文档公开了用于使用运动矢量的Merge列表来编码和解码数字视频的方法、系统和设备。

在一个示例方面，公开了一种视频处理方法。该方法包括：维护一个或多个运动候选表；使用运动候选表按顺序使用多个视频处理操作来执行视频的当前视频块和当前视频块的编解码表示之间的转换；以及由于特定处理操作的完成而更新运动候选表。

在另一个示例方面，公开了另一种视频处理方法。该方法包括：维护一个或多个运动候选表；基于包括编解码模式、大小、视频处理数据单元或低延迟检查的当前视频块的特性，确定以下中的至少一项：i)是否更新一个或多个运动候选表中的一个运动候选表，或者ii)如何更新运动候选表；以及基于确定来执行视频的当前视频块和视频的编解码表示之间的转换。

在又一个示例方面，公开了一种实施本文描述的视频编码方法的视频编码器设备。

在又一个代表性方面，本文描述的各种技术可以体现为存储在非暂时性计算机可读介质上的计算机程序产品。该计算机程序产品包括用于执行本文描述的方法的程序代码。

在再一个代表性方面，视频解码器装置可以实施如本文描述的方法。

一个或多个实施方式的细节在下面的附件、附图和描述中阐述。从说明书和附图以及权利要求书中，其他特征将是显而易见的。

附图说明

图1是示出视频编码器实施方式的示例的框图。

图2示出了在H.264视频编解码标准中的宏块分割。

图3示出了将编解码块(coding block，CB)划分成预测块(prediction block，PU)的示例。

图4示出了将CTB细分为CB和变换块(transform block，TB)的示例实施方式。实线指示CB边界，并且虚线指示TB边界，包括示例CTB及其分割，以及对应的四叉树。

图5示出了用于分割视频数据的四叉树二叉树(Quad Tree Binary Tree，QTBT)结构的示例。

图6示出了视频块分割的示例。

图7示出了四叉树分割的示例。

图8示出了树类型信令的示例。

图9示出了Merge候选列表构造的推导过程的示例。

图10示出了空域Merge候选的示例位置。

图11示出了空域Merge候选的冗余检查考虑的候选对的示例。

图12示出了Nx2N和2NxN分割的第二PU的位置的示例。

图13示出了时域Merge候选的运动矢量缩放。

图14示出了时域Merge候选的候选位置，以及它们并置图片。

图15示出了组合的双向预测Merge候选的示例。

图16示出了运动矢量预测候选的推导过程的示例。

图17示出了空域运动矢量候选的运动矢量缩放的示例。

图18示出了用于CU的运动预测的示例可选时域运动矢量预测(AlternativeTemporal Motion Vector Prediction，ATMVP)。

图19图画般地描绘了源块和源图片的识别的示例。

图20示出了具有四个子块和临近块的一个CU的示例。

图21示出了双边匹配的示例。

图22示出了模板匹配的示例。

图23描绘了帧速率上转换(Frame Rate Up Conversion，FRUC)中的单边运动估计(Motion Estimation，ME)的示例。

图24示出了基于双边模板匹配的DMVR的示例。

图25示出了用于推导空域Merge候选的空域临近块的示例。

图26描绘了如何选择用于查找表更新的代表性位置的示例。

图27A和图27B示出了用新的运动信息集来更新查找表的示例。

图28A和图28B示出了用于实施本文档中描述的可视媒体解码或可视媒体编码技术的硬件平台的示例。

图29是基于所公开技术的一些实施方式的视频处理方法的流程图的示例。

图30是基于所公开技术的一些实施方式的视频处理方法的流程图的示例。

图31示出了使用所提出的HMVP方法的解码流程图的示例。

图32示出了使用所提出的HMVP方法来更新表的示例。

图33A和图33B示出了基于冗余移除的LUT更新方法(移除了一个冗余运动候选)的示例。

图34A和图34B示出了基于冗余移除的LUT更新方法(移除了多个冗余运动候选)的示例。

具体实施方式

为了提高视频的压缩率，研究人员不断寻找对视频进行编码的新技术。

1.概述

本文档涉及视频编解码技术。具体地，它涉及视频编解码中的运动信息编解码(诸如Merge模式、AMVP模式)。它可以应用于现有的视频编解码标准，如HEVC，或即将要定案的标准(例如，多功能视频编解码)。它也可以应用于未来的视频编解码标准或视频编解码器。

简要讨论

视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准的发展而演变的。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4可视化，并且这两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(Advanced Video Coding，AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准是基于混合视频编解码结构，其中利用了时域预测加变换编解码。在图1中描绘了典型的HEVC编码器框架的示例。

2.1分割结构

2.1.1H.264/AVC中的分割树结构

在以前的标准中，编解码层的核心是宏块，包含16×16个亮度样点块，并且在4:2:0颜色采样的通常情况下，包含两个对应的8×8个色度样点块。

帧内编解码块使用空域预测来利用像素之间的空域相关性。定义了两个分区：16x16和4x4。

帧间编解码块通过估计图片间的运动来使用时域预测，而不是空域预测。可以对16×16宏块或其任何子宏块分区：16×8、8×16、8×8、8×4、4×8、4×4(参见图2)独立地估计运动。每个子宏块分区只允许一个运动矢量(motion vector，MV)。

2.1.2HEVC中的分割树结构

在HEVC中，通过使用表示为编解码树的四叉树结构将CTU划分成CU，以适应各种局部特性。在CU级别做出是使用帧间(时域)还是帧内(空域)预测来编解码图片区域的决定。根据PU划分类型，每个CU可以进一步划分成一个、两个或四个PU。在一个PU内，应用相同的预测过程，并且相关信息在PU的基础上被传输到解码器。在通过应用基于PU划分类型的预测过程获得残差块之后，可以根据类似于CU的编解码树的另一个四叉树结构将CU分割成变换单元(transform unit，TU)。HEVC结构的一个重要特征是它具有多重分割概念，包括CU、PU和TU。

在下文中，使用HEVC的混合视频编解码中涉及的各种特征被强调如下。

1)编解码树单元和编解码树块(coding tree block，CTB)结构：HEVC中的相似结构是编解码树单元(coding tree unit，CTU)，其具有由编码器选择的尺寸，并且可以大于传统的宏块。CTU包括亮度CTB和对应的色度CTB和语法元素。亮度CTB的尺寸L×L可以选择为L＝16、32或64个样点，其中较大的尺寸通常使能更好的压缩。然后，HEVC支持使用树形结构和类四叉树(quadtree-like)的信令将CTB分割成更小的块。

2)编解码单元(coding unit，CU)和编解码块(CB)：CTU的四叉树语法规定其亮度CB和色度CB的尺寸和位置。四叉树的根与CTU相关联。因此，亮度CTB的尺寸是亮度CB的最大支持尺寸。联合地信令通知将CTU划分成亮度CB和色度CB。一个亮度CB和一般两个色度CB，连同相关联的语法，形成一个编解码单元(CU)。CTB可以仅包含一个CU或者可以被划分以形成多个CU，并且每个CU具有相关联地分割成预测单元(PU)和变换单元(TU)的树。

3)预测单元和预测块(prediction block，PB)：在CU级别做出是使用帧间还是帧内预测来编解码图片区域的决定。PU分割结构的根在CU级别。取决于基本的预测类型决定，亮度CB和色度CB可以进一步在尺寸上进行划分，并从亮度和色度预测块(PB)进行预测。HEVC支持从64×64到4×4个样点的各种PB尺寸。图3示出了M×M的CU允许的PB的示例。

4)TU和变换块：使用块变换对预测残差进行编解码。TU树结构的根在CU级别。亮度CB残差可以与亮度变换块(TB)相同，或者可以进一步划分成更小的亮度TB。这同样适用于色度TB。对于尺寸为4×4、8×8、16×16和32×32的方形TB，定义了类似于离散余弦变换(discrete cosine transform，DCT)的整数基函数。对于亮度帧内预测残差的4×4变换，可替代地规定从离散正弦变换(discrete sine transform，DST)的形式推导的整数变换。

图4示出了将CTB细分成CB和变换块(TB)的示例。实线指示CB边界，并且虚线指示TB边界。(a)CTB及其分割，(b)对应的四叉树。

2.1.2.1树结构分割成变换块和单元

对于残差编解码，CB可以被递归地分割成变换块(TB)。该分割由残差四叉树信令通知。仅规定了方形CB和TB分割，其中块可以被递归地划分成四象限(quadrant)，如图4所示。对于尺寸为M×M的给定亮度CB，标志信令通知它是否被划分成尺寸为M/2×M/2的四个块。如果可以进一步划分，如由SPS中指示的残差四叉树的最大深度所信令通知的，则每个象限被分配标志，该标志指示它是否被划分为四个象限。由残差四叉树引起的叶节点块是由变换编解码进一步处理的变换块。编码器指示它将使用的最大和最小亮度TB尺寸。当CB尺寸大于最大TB尺寸时，划分是隐式的。当划分会引起亮度TB尺寸小于所指示的最小值时，不划分是隐式的。色度TB尺寸在每个维度中是亮度TB尺寸的一半，除了亮度TB尺寸为4×4的情况，在这种情况下，单个4×4色度TB用于由4个4×4亮度TB覆盖的区域。在帧内预测的CU的情况下，(在CB内或外的)最临近TB的解码样点被用作帧内预测的参考数据。

与以前的标准相反，HEVC设计对于帧间预测的CU，允许TB跨越多个PB，以最大化四叉树结构TB分割的潜在编解码效率优势。

2.1.2.2父节点和子节点

CTB是根据四叉树结构划分的，其节点是编解码单元。四叉树结构中的多个节点包括叶节点和非叶节点。在树结构中，叶节点没有子节点(即，叶节点没有被进一步划分)。非叶节点包括树结构的根节点。根节点与视频数据的初始视频块(例如，CTB)相对应。对于多个节点中的每个相应的非根节点，相应的非根节点与视频块相对应，该视频块是与相应的非根节点的树结构中的父节点相对应的视频块的子块。多个非叶节点中的每个相应的非叶节点在树结构中具有一个或多个子节点。

2.1.3在JEM中具有较大CTU的四叉树加二叉树块结构

为了探索超HEVC的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索组(Joint Video Exploration Team，JVET)。此后，JVET采用了许多新方法，并将其输入到称为联合探索模型(Joint Exploration Model，JEM)的参考软件中。

2.1.3.1QTBT块分割结构

与HEVC不同，QTBT结构移除了多重分割类型的概念，即它移除了CU、PU和TU概念的分离，并支持CU分割形状的更大灵活性。在QTBT块结构中，CU可以是正方形或矩形。如图5所示，编解码树单元(CTU)首先通过四叉树结构分割。四叉树叶节点通过二叉树结构进一步分割。在二叉树划分中存在两种划分类型，对称水平划分和对称垂直划分。二叉树叶节点被称为编解码单元(CU)，并且该分割被用于预测和变换过程，而无需任何进一步的分割。这意味着在QTBT编解码块结构中，CU、PU和TU具有相同的块尺寸。在JEM中，CU有时包括不同颜色分量的编解码块(CB)，例如，在4:2:0色度格式的P条带和B条带的情况下，一个CU包含一个亮度CB和两个色度CB，并且CU有时包括单个分量的CB，例如，在I条带的情况下，一个CU仅包含一个亮度CB，或者仅包含两个色度CB。

对于QTBT分割方案，定义了以下参数。

–CTU尺寸：四叉树的根节点尺寸，与HEVC的概念相同

–MinQTSize：最小允许的四叉树叶节点尺寸

–MaxBTSize：最大允许的二叉树根节点尺寸

–MaxBTDepth：最大允许的二叉树深度

–MinBTSize：最小允许的二叉树叶节点尺寸

在QTBT分割结构的一个示例中，CTU尺寸被设置为128×128个亮度样点，且具有两个对应的64×64个色度样点块，MinQTSize被设置为16×16，MaxBTSize被设置为64×64，(对于宽度和高度两者)MinBTSize被设置为4×4，并且MaxBTDepth被设置为4。四叉树分割首先应用于CTU以生成四叉树叶节点。四叉树叶节点可以具有从16×16(即，MinQTSize)到128×128(即，CTU尺寸)的尺寸。如果叶四叉树节点是128×128，则它将不会由二叉树进一步划分，因为它的尺寸超过了MaxBTSize(即，64×64)。否则，叶四叉树节点可以由二叉树进一步分割。因此，四叉树叶节点也是二叉树的根节点，并且它的二叉树深度为0。当二叉树深度达到MaxBTDepth(即4)时，不再考虑进一步的划分。当二叉树节点的宽度等于MinBTSize(即4)时，不再考虑进一步的水平划分。类似地，当二叉树节点的高度等于MinBTSize时，不再考虑进一步的垂直划分。二叉树的叶节点通过预测和变换过程被进一步处理，无需任何进一步的分割。在JEM中，最大CTU尺寸为256×256个亮度样点。

图5(左)示出了通过使用QTBT进行块分割的示例，并且图5(右)示出了对应的树表示。实线指示四叉树划分，并且虚线指示二叉树划分。在二叉树的每个划分(即，非叶)节点中，信令通知一个标志来指示使用哪种划分类型(即，水平或垂直)，其中0指示水平划分，1指示垂直划分。对于四叉树划分，不需要指示划分类型，因为四叉树划分总是水平和垂直地划分块，以产生具有相等尺寸的四个子块。

此外，QTBT方案支持亮度和色度具有分离的QTBT结构的能力。目前，对于P条带和B条带，一个CTU中的亮度CTB和色度CTB共享相同的QTBT结构。然而，对于I条带，亮度CTB通过QTBT结构被分割成CU，并且色度CTB通过另一QTBT结构被分割成色度CU。这意味着，I条带中的CU包括亮度分量的编解码块或两个色度分量的编解码块，并且P条带或B条带中的CU包括所有三种颜色分量的编解码块。

在HEVC中，小块的帧间预测被限制以减少运动补偿的存储器访问，诸如4×8和8×4块不支持双向预测，以及4×4块不支持帧间预测。在JEM的QTBT中，这些限制被移除了。

2.1.4VVC的三叉树

支持除了四叉树和二叉树以外的树类型。在该实施方式中，如图6(d)和(e)所示，引入了另外两种三叉树(ternary tree，TT)分割，即水平和垂直中心侧三叉树。

图6示出了：(a)四叉树分割(b)垂直二叉树分割(c)水平二叉树分割(d)垂直中心侧三叉树分割(e)水平中心侧三叉树分割。

存在两级树，区域树(四叉树)和预测树(二叉树或三叉树)。首先通过区域树(region tree，RT)分割CTU。可以用预测树(prediction tree，PT)来进一步划分RT叶。还可以用PT进一步划分PT叶，直到达到最大PT深度。PT叶是基本的编解码单元。为了方便起见，它仍被称为CU。CU不能被进一步划分。预测和变换都以与JEM中的方式相同的方式应用于CU。整个分割结构被命名为“多类型树”。

2.1.5分割结构

在这种响应中使用的树结构，称为多树类型(Multi-Tree Type，MTT)，是QTBT的泛化。在QTBT中，如图5所示，编解码树单元(CTU)首先通过四叉树结构分割。四叉树叶节点通过二叉树结构进一步分割。

MTT的基本结构包括两种类型的树节点：区域树(RT)和预测树(PT)，支持九种类型的分割，如图7所示。

图7示出了：(a)四叉树分割(b)垂直二叉树分割(c)水平二叉树分割(d)垂直三叉树分割(e)水平三叉树分割(f)水平向上不对称二叉树分割(g)水平向下不对称二叉树分割(h)垂直向左不对称二叉树分割(i)垂直向右不对称二叉树分割。

区域树可以递归地将CTU划分成方块，直到划分到4x4尺寸的区域树叶节点。在区域树的每个节点处，预测树可以从三种树类型中的一种形成：二叉树(BT)、三叉树(TT)和非对称二叉树(Asymmetric Binary Tree，ABT)。在PT划分中，禁止在预测树的分支中具有四叉树分割。如同在JEM中，亮度树和色度树在I条带中是分离的。RT和PT的信令通知方法如图8所示。

2.2HEVC/H.265中的帧间预测

每个帧间预测的PU具有一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。也可以使用inter_pred_idc来信令通知对两个参考图片列表中的一个的使用。运动矢量可以被显式地编解码为相对于预测值的偏差(delta)，这样的编解码模式称为AMVP模式。

当用跳过模式对CU进行编解码时，一个PU与CU相关联，并且不存在显著的残差系数、没有编解码的运动矢量偏差或参考图片索引。规定Merge模式，从而从包括空域和时域候选的临近PU获得当前PU的运动参数。Merge模式可以应用于任何帧间预测的PU，而不仅仅对于跳过模式。Merge模式的可选方案是运动参数的显式传输，其中每PU显式地信令通知运动矢量、每个参考图片列表的对应参考图片索引和参考图片列表的使用。

当信令指示要使用两个参考图片列表中的一个时，从一个样点块中产生PU。这被称为“单向预测”。单向预测可用于P条带和B条带两者。

当信令指示要使用两个参考图片列表时，从两个样点块中产生PU。这被称为“双向预测”。双向预测仅可用于B条带。

以下文本提供了关于HEVC中规定的帧间预测模式的细节。描述将从Merge模式开始。

2.2.1Merge模式

2.2.1.1Merge模式的候选的推导

当使用Merge模式预测PU时，从比特流中解析指向Merge候选列表中的条目的索引并将其用于检索运动信息。在HEVC标准中规定了该列表的构造，并且可以根据以下顺序步骤进行概述：

·步骤1：初始候选推导

ο步骤1.1：空域候选推导

ο步骤1.2：空域候选的冗余检查

ο步骤1.3：时域候选推导

·步骤2：附加候选插入

ο步骤2.1：创建双向预测候选

ο步骤2.2：插入零运动候选

这些步骤也示意性地描绘在图9中。对于空域Merge候选推导，在位于五个不同位置的候选当中选择最多四个Merge候选。对于时域Merge候选推导，在两个候选当中选择最多一个Merge候选。由于在解码器处假设每个PU的恒定数量的候选，因此当候选的数量未达到在条带标头中信令通知的Merge候选的最大数量(MaxNumMergeCand)时，生成附加候选。由于候选的数量是恒定的，因此使用截断的一元二值化(TU)对最佳Merge候选的索引进行编码。如果CU的尺寸等于8，则当前CU的所有PU共享单个Merge候选列表，其与2N×2N预测单元的Merge候选列表相同。

在下文中，将详细描述与前述步骤相关联的操作。

2.2.1.2空域候选推导

在空域Merge候选的推导中，在位于图10中描绘的位置的候选当中选择最多四个Merge候选。推导的顺序是A₁、B₁、B₀、A₀和B₂。仅当位置A₁、B₁、B₀、A₀的任何PU不可用(例如，因为它属于另一条带或片)或者被帧内编解码时，才考虑位置B₂。在添加位置A₁处的候选之后，对剩余候选的添加进行冗余检查，确保具有相同运动信息的候选被排除在列表之外，从而提高编解码效率。为了降低计算复杂度，不是所有可能的候选对都在所提到的冗余检查中被考虑。相反，只考虑与图11中的箭头链接的对，并且仅当用于冗余检查的对应候选没有相同的运动信息时，候选才被添加到列表中。重复运动信息的另一来源是与不同于2N×2N的分割相关联的“第二PU”。作为示例，图12分别描绘了N×2N和2N×N的情况下的第二PU。当当前PU被分割为N×2N时，位置A₁处的候选不被考虑用于列表构造。事实上，通过添加该候选将导致两个预测单元具有相同的运动信息，这对于在编解码单元中只具有一个PU是冗余的。类似地，当当前PU被分割为2N×N时，不考虑位置B₁。

2.2.1.3时域候选推导

在该步骤中，仅一个候选被添加到列表。具体地，在该时域Merge候选的推导中，基于属于与给定参考图片列表内的当前图片具有最小POC(Picture Order Count，图片顺序计数)差的图片的并置PU来推导缩放后的运动矢量。在条带标头中显式地信令通知要用于推导并置PU的参考图片列表。获得时域Merge候选的缩放后的运动矢量，如在图13中由虚线所示，该缩放后的运动矢量是使用POC距离，tb和td，从并置PU的运动矢量缩放的，其中tb被定义为当前图片的参考图片与当前图片之间的POC差，td被定义为并置图片的参考图片与并置图片之间的POC差。时域Merge候选的参考图片索引被设置为等于零。HEVC规范中描述了缩放过程的实际实现。对于B条带，两个运动矢量(一个用于参考图片列表0，另一个用于参考图片列表1)被获得并组合，以生成双向预测Merge候选。时域Merge候选的运动矢量缩放的说明。

在属于参考帧的并置PU(Y)中，在候选C₀和C₁之间选择时域候选的位置，如图14所描绘的。如果位置C₀处的PU不可用、被帧内编解码、或者在当前CTU的外部，则使用位置C₁。否则，在时域Merge候选的推导中使用位置C₀。

2.2.1.4.附加候选插入

除了空时(spatio-temporal)Merge候选之外，存在两种附加类型的Merge候选：组合的双向预测Merge候选和零Merge候选。通过利用空时Merge候选来生成组合的双向预测Merge候选。组合的双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一初始候选的第二参考图片列表运动参数组合来生成组合的双向预测候选。如果这两个元组提供不同的运动假设，则它们将形成新的双向预测候选。作为示例，图15描绘了当(在左边的)原始列表中的两个候选(其具有mvL0和refIdxL0或mvL1和refIdxL1)用于创建被添加到(在右边的)最终列表的组合的双向预测Merge候选。存在许多关于组合的、考虑来生成这些附加Merge候选的规则。

插入零运动候选以填充Merge候选列表中的剩余条目，并因此达到MaxNumMergeCand容量。这些候选具有零空域位移和从零开始并且每次列表中添加新的零运动候选时会增加的参考图片索引。对于单向预测和双向预测，这些候选使用的参考帧的数量分别是1和2。最后，不对这些候选执行冗余检查。

2.2.1.5用于并行处理的运动估计区域

为了加速编码过程，可以并行执行运动估计，由此同时推导给定区域内部的所有预测单元的运动矢量。从空域邻域推导Merge候选可能干扰并行处理，因为一个预测单元在其相关联的运动估计完成之前不能从相邻PU推导运动参数。为了缓和编解码效率和处理时延之间的折衷(trade-off)，HEVC定义了运动估计区域(Motion Estimation Region，MER)，在图片参数集中使用“log2_parallel_merge_level_minus2”语法元素信令通知MER的尺寸。当定义MER时，落入相同区域的Merge候选被标记为不可用，并且因此在列表构造中不被考虑。

7.3.2.3图片参数集RBSP语法

7.3.2.3.1常用图片参数集RBSP语法

log2_parallel_merge_level_minus2加2规定变量Log2ParMrgLevel的值，其用于条款8.5.3.2.2中规定的Merge模式的亮度运动矢量的推导过程，以及条款8.5.3.2.3中规定的空域Merge候选的推导过程。log2_parallel_merge_level_minus2的值应在0到CtbLog2SizeY-2的范围内，包含端点。

变量Log2ParMrgLevel推导如下：

Log2ParMrgLevel＝log2_parallel_merge_level_minus2+2 (7-37)

注意3–Log2ParMrgLevel的值指示Merge候选列表的并行推导的内置能力。例如，当Log2ParMrgLevel等于6时，可以并行推导包含在64x64块中的所有预测单元(PU)和编解码单元(CU)的Merge候选列表。

2.2.2AMVP模式中的运动矢量预测

运动矢量预测利用了运动矢量与临近PU的空时相关性，用于运动参数的显式传输。通过首先检查左侧、上侧时域临近的PU位置的可用性，移除冗余候选，并添加零向量以使候选列表为恒定长度，来构造运动矢量候选列表。然后，编码器可以从候选列表中选择最佳预测值，并发送指示所选候选的对应索引。类似于Merge索引信令，使用截断的一元来对最佳运动矢量候选的索引进行编码。在这种情况下，要编码的最大值是2(例如，图2至图8)。在以下章节中，提供了关于运动矢量预测候选的推导过程的细节。

2.2.2.1运动矢量预测候选的推导

图16总结了运动矢量预测候选的推导过程。

在运动矢量预测中，考虑两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选推导，基于位于如图11所描绘的五个不同位置的每个PU的运动矢量，最终推导出两个运动矢量候选。

对于时域运动矢量候选推导，从基于两个不同并置位置推导的两个候选中选择一个运动矢量候选。在产生空时候选的第一列表之后，移除列表中的重复运动矢量候选。如果潜在候选的数量大于二，则从列表中移除其在相关联的参考图片列表内的参考图片索引大于1的运动矢量候选。如果空时运动矢量候选的数量小于二，则将附加零运动矢量候选添加到列表。

2.2.2.2空域运动矢量候选

在空域运动矢量候选的推导中，在从位于如图11所描绘的位置的PU推导的五个潜在候选当中考虑最多两个候选，那些位置与运动Merge的位置相同。当前PU的左侧的推导顺序被定义为A₀、A₁、以及缩放后的A₀、缩放后的A₁。当前PU的上侧的推导顺序被定义为B₀、B₁、B₂、缩放后的B₀、缩放后的B₁、缩放后的B₂。因此对于每一侧，存在可以用作运动矢量候选的四种情况，其中两种情况不需要使用空域缩放，两种情况使用空域缩放。四种不同的情况总结如下：

·无空域缩放

(1)相同的参考图片列表，以及相同的参考图片索引(相同的POC)

(2)不同的参考图片列表，但是相同的参考图片(相同的POC)

·空域缩放

(3)相同的参考图片列表，但是不同的参考图片(不同的POC)

(4)不同的参考图片列表，以及不同的参考图片(不同的POC)

首先检查无空域缩放情况，然后是空域缩放。当POC在临近PU的参考图片与当前PU的参考图片之间不同时，不管参考图片列表如何，都考虑空域缩放。如果左侧候选的所有PU都不可用或者被帧内编解码，则允许对上侧运动矢量进行缩放以帮助对左侧和上侧MV候选的并行推导。否则，对上侧运动矢量不允许空域缩放。

如图17所描绘的，在空域缩放过程中，以与时域缩放类似的方式来缩放临近PU的运动矢量。主要差异在于参考图片列表和当前PU的索引被给定作为输入；实际缩放过程与时域缩放的过程相同。

2.2.2.3时域运动矢量候选

除了参考图片索引推导之外，用于推导时域Merge候选的所有过程与用于推导空域运动矢量候选的过程相同(参见例如图6)。参考图片索引被信令通知给解码器。

2.2.2.4AMVP信息的信令

对于AMVP模式，在比特流中可以信令通知四个部分，即预测方向、参考索引、MVD和mv预测值候选索引。

语法表：

7.3.8.9运动矢量差语法

2.3在JEM(联合探索模型)中的新的帧间预测方法

2.3.1基于子CU的运动矢量预测

在具有QTBT的JEM中，每个CU对于每个预测方向最多可以有一个运动参数集。通过将大CU划分成子CU并且推导大CU的所有子CU的运动信息，在编码器中考虑两个子CU级别的运动矢量预测方法。可选时域运动矢量预测(ATMVP)方法允许每个CU从比并置参考图片中的当前CU小的多个块中提取多个运动信息集。在空时运动矢量预测(Spatial-TemporalMotion Vector Prediction，STMVP)方法中，通过使用时域运动矢量预测值和空域临近运动矢量来递归地推导子CU的运动矢量。

为了保持子CU运动预测的更准确的运动场，当前禁用参考帧的运动压缩。

2.3.1.1可选时域运动矢量预测

在可选时域运动矢量预测(ATMVP)方法中，通过从小于当前CU的块提取多个运动信息集(包括运动矢量和参考索引)来修改运动矢量时域运动矢量预测(TemporalMotionVector Prediction，TMVP)。如图18中所示，子CU是方形N×N块(默认将N设置为4)。

ATMVP以两步来预测CU内的子CU的运动矢量。第一步是利用所谓的时域矢量来识别参考图片中的对应块。参考图片被称为运动源图片。第二步是将当前CU划分成子CU并且从对应于每个子CU的块获得运动矢量以及每个子CU的参考索引，如图18所示。

在第一步中，参考图片和对应块由当前CU的空域临近块的运动信息确定。为了避免临近块的重复扫描过程，使用当前CU的Merge候选列表中的第一Merge候选。第一可用运动矢量以及其相关联的参考索引设置为时域矢量和运动源图片的索引。这样，在ATMVP中，与TMVP相比，可以更准确地识别对应块，其中对应块(有时被称为并置块)总是相对于当前CU在右下或中心位置。在一个示例中，如果第一Merge候选来自左侧临近块(即，图19中的A₁)，则利用相关联的MV和参考图片来识别源块和源图片。

图19示出了识别源块和源图片的示例。

在第二步中，通过向当前CU的坐标添加时域矢量，由运动源图片中的时域矢量识别子CU的对应块。对于每个子CU，其对应块(覆盖中心样点的最小运动网格)的运动信息用于推导子CU的运动信息。在识别了对应的N×N块的运动信息之后，以与HEVC的TMVP的方式相同的方式将其转换为当前子CU的运动矢量和参考索引，其中运动缩放和其它过程适用。例如，解码器检查是否满足低延迟条件(即，当前图片的所有参考图片的POC小于当前图片的POC)并且可能使用运动矢量MV_x(对应于参考图片列表X的运动矢量)以预测每个子CU的运动矢量MV_y(其中X等于0或1，Y等于1-X)。

2.3.1.2空时运动矢量预测(STMVP)

在此方法中，遵循光栅扫描顺序递归地推导子CU的运动矢量。图20示出了此概念。让我们考虑包含四个4×4子CU A、B、C、和D的8×8CU。当前帧中的临近4×4块标记为a、b、c、和d。

子CU A的运动推导通过识别其两个空域邻居开始。第一邻居是子CU A上侧的N×N块(块c)。如果该块c是不可用的或被帧内编解码，则检查子CU A上侧的其它N×N块(从左到右，从块c处开始)。第二邻居是子CU A的左侧的块(块b)。如果块b是不可用的或被帧内编解码，则检查子CU A的左侧的其它块(从上到下，从块b处开始)。从每个列表的临近块获得的运动信息缩放到给定列表的第一参考帧。接下来，通过遵循与HEVC中规定的TMVP推导的过程相同的过程来推导子块A的时域运动矢量预测值(Temporal MotionVector Predictor，TMVP)。提取位置D处的并置块的运动信息并且对应地缩放。最后，在检索和缩放运动信息之后，分别针对每个参考列表平均所有可用的运动矢量(最多3个)。平均的运动矢量被指派为当前子CU的运动矢量。

图20示出了具有四个子块(A-D)及其临近块(a-d)的一个CU的示例

2.3.1.3子CU运动预测模式信令

启用子CU模式作为附加Merge候选，并且不要求附加语法元素来信令通知该模式。将两个附加Merge候选添加到每个CU的Merge候选列表以表示ATMVP模式和STMVP模式。如果序列参数集指示启用了ATMVP和STMVP，则使用最多七个Merge候选。附加Merge候选的编码逻辑与用于HM中的Merge候选相同，这意味着，对于P条带或B条带中的每个CU，对两个附加Merge候选需要更多的两个RD检查。

在JEM中，Merge索引的所有二进制位都由CABAC上下文编解码。而在HEVC中，仅第一二进制位被上下文编解码并且剩余的二进制位被上下文旁路编解码。

2.3.2自适应运动矢量差分辨率

在HEVC中，当在条带标头中的use_integer_mv_flag等于0时，以四分之一(quarter)亮度样点为单位信令通知(PU的运动矢量和预测的运动矢量之间的)运动矢量差(Motion Vector Difference，MVD)。在JEM中，引入了局部自适应运动矢量分辨率(LocallyAdaptive Motion Vector Resolution，LAMVR)。在JEM中，可以以四分之一亮度样点、整数亮度样点或四亮度样点为单位对MVD进行编解码。以编解码单元(CU)级别控制MVD分辨率，并且对于具有至少一个非零MVD分量的每个CU，有条件地信令通知MVD分辨率标志。

对于具有至少一个非零MVD分量的CU，信令通知第一标志以指示在CU中是否使用四分之一亮度样点MV精度。当第一标志(等于1)指示不使用四分之一亮度样点MV精度时，信令通知另一个标志以指示是使用整数亮度样点MV精度还是四亮度样点MV精度。

当CU的第一MVD分辨率标志为零或未针对CU进行编解码(意味着CU中的所有MVD均为零)时，四分之一亮度样点MV分辨率用于CU。当CU使用整数亮度样点MV精度或四亮度样点MV精度时，CU的AMVP候选列表中的MVP被取整到对应精度。

在编码器中，CU级别的RD检查用于确定哪个MVD分辨率要用于CU。也就是说，对于每个MVD分辨率，执行三次CU级别的RD检查。为了加快编码器速度，在JEM中应用以下编码方案：

在具有正常四分之一亮度样点MVD分辨率的CU的RD检查期间，存储当前CU(整数亮度样点精度)的运动信息。存储的运动信息(取整之后)被用作在针对具有整数亮度样点和4亮度样点MVD分辨率的相同CU的RD检查期间的进一步的小范围运动矢量细化的起点，使得耗时的运动估计过程不会重复三次。

有条件地调用具有4亮度样点MVD分辨率的CU的RD检查。对于CU，当整数亮度样点MVD分辨率的RD成本远大于四分之一亮度样点MVD分辨率的RD成本时，跳过对CU的4亮度样点MVD分辨率的RD检查。

2.3.3模式匹配运动矢量推导

模式匹配的运动矢量推导(Pattern Matched Motion Vector Derivation，PMMVD)模式是基于帧速率上转换(Frame-Rate Up Conversion，FRUC)技术的特殊Merge模式。利用该模式，在解码器侧推导块的运动信息，而不是信令通知块的运动信息。

当CU的Merge标志为真时，向CU信令通知FRUC标志。当FRUC标志为假时，信令通知Merge索引并使用常规Merge模式。当FRUC标志为真时，信令通知的附加FRUC模式标志以指示将使用哪种方法(双边匹配或模板匹配)来推导块的运动信息。

在编码器侧，关于是否对CU使用FRUC Merge模式的决定是基于对正常Merge候选所做的RD成本选择。即，通过使用RD成本选择来检查CU的两种匹配模式(双边匹配和模板匹配)。引起最小成本的匹配模式与其他CU模式进一步比较。如果FRUC匹配模式是最有效的模式，则对于CU将FRUC标志设置为真，并且使用相关的匹配模式。

FRUC Merge模式中的运动推导过程具有两个步骤：首先执行CU级别的运动搜索，然后进行子CU级别的运动细化。在CU级别，基于双边匹配或模板匹配，推导整个CU的初始运动矢量。首先，生成MV候选列表，并且选择引起最小匹配成本的候选作为进一步CU级别的细化的起点。然后，在起点附近执行基于的双边匹配或模板匹配的局部搜索，并且将最小匹配成本的MV结果作为整个CU的MV。随后，以推导的CU运动矢量作为起点，进一步在子CU级别细化运动信息。

例如，对于W×H的CU运动信息推导执行以下推导过程。在第一阶段，推导整个W×H的CU的MV。在第二阶段，CU进一步被划分成M×M的子CU。M的值的计算方法如(16)所示，D是预先定义的划分深度，在JEM中默认设置为3。然后推导每个子CU的MV。

如图21所示，通过在两个不同参考图片中沿当前CU的运动轨迹找到两个块之间的最接近匹配，使用双边匹配来推导当前CU的运动信息。在连续运动轨迹的假设下，指向两个参考块的运动矢量MV0和MV1应当与当前图片和两个参考图片之间的时域距离(即TD0和TD1)成比例。作为特殊情况，当当前图片在时域上在两个参考图片之间并且从当前图片到两个参考图片的时域距离相同时，双边匹配成为基于镜像的双向MV。

如图22所示，模板匹配用于通过找到当前图片中的模板(当前CU的顶部和/或左侧临近块)与参考图片中的块(与模板的尺寸相同)之间的最接近匹配来推导当前CU的运动信息。除了前述FRUC Merge模式之外，模板匹配也应用于AMVP模式。在JEM中，正如在HEVC中那样，AMVP具有两个候选。使用模板匹配方法，新的候选被推导出。如果由模板匹配新推导的候选与第一现有AMVP候选不同，则将其插入AMVP候选列表的最开始处，然后将列表尺寸设置为2(意味着移除第二现有AMVP候选)。当应用于AMVP模式时，仅应用CU级别的搜索。

2.3.3.1CU级别的MV候选集

在CU级别处设置的MV候选包括：

(i)如果当前CU处于AMVP模式，则为原始AMVP候选

(ii)所有Merge候选，

(iii)插值MV场中的几个MV。

(iv)顶部和左侧临近运动矢量

当使用双边匹配时，将Merge候选的每个有效MV用作输入，以生成假设双边匹配的情况下的MV对。例如，在参考列表A处，Merge候选的一个有效MV是(MVa，refa)。然后，在其他参考列表B中找到其配对的双边MV的参考图片refb，使得refa和refb在时域上位于当前图片的不同侧。如果这样的refb在参考列表B中不可用，则refb被确定为与refa不同的参考，并且其到当前图片的时域距离是列表B中的最小值。在确定refb之后，通过基于当前图片与refa、refb之间的时域距离来缩放MVa来推导MVb。

来自插值MV场的四个MV也被添加到CU级别的候选列表。更具体地，添加当前CU的位置(0,0)、(W/2,0)、(0,H/2)和(W/2,H/2)处的插值MV。

当FRUC应用于AMVP模式时，原始AMVP候选也被添加到CU级别的MV候选集。

在CU级别，对于AMVP CU，最多将15个MV添加到候选列表，并且对于Merge CU，最多将13个MV添加到候选列表。

2.3.3.2子CU级别的MV候选集

在子CU级别处设置的MV候选包括：

(i)从CU级别的搜索确定的MV，

(ii)顶部、左侧、左上角和右上角的临近MV，

(iii)来自参考图片的并置MV的缩放版本，

(iv)最多4个ATMVP候选，

(v)最多4个STMVP候选

来自参考图片的缩放后的MV如下推导。遍历两个列表中的所有参考图片。参考图片中的子CU的并置位置处的MV被缩放到起始CU级别的MV的参考。

ATMVP和STMVP候选限于前四个。

在子CU级别，最多将17个MV添加到候选列表。

2.3.3.3插值MV场的生成

在对帧进行编解码之前，基于单边ME为整个图片生成插值运动场。然后，运动场可以稍后用作CU级别或子CU级别的MV候选。

首先，两个参考列表中的每个参考图片的运动场以4×4块级别遍历。对于每个4×4块，如果与块相关联的运动通过当前图片中的4×4块(如图23所示)并且块未被分配任何插值运动，则参考块的运动根据时域距离TD0和TD1(以与HEVC中的TMVP的MV缩放的方式相同的方式)被缩放到当前图片，并且将缩放后的运动分配给当前帧中的块。如果没有缩放后的MV被分配到4×4块，则在插值运动场中将块的运动标记为不可用。

2.3.3.4插值和匹配成本

当运动矢量指向分数样点位置时，需要运动补偿插值。为了降低复杂度，将双线性插值而不是常规8抽头HEVC插值用于双边匹配和模板匹配两者。

匹配成本的计算在不同步骤处有点不同。当从CU级别的候选集中选择候选时，匹配成本是双边匹配或模板匹配的绝对和差(Absolute Sum Difference，SAD)。在确定起始MV之后，子CU级别的搜索处的双边匹配的匹配成本C计算如下：

其中，w是根据经验设置为4的加权因子，MV和MV^s分别指示当前MV和起始MV。SAD仍用作子CU级别的搜索处的模板匹配的匹配成本。

在FRUC模式中，仅通过使用亮度样点来推导MV。推导的运动将用于MC帧间预测的亮度和色度两者。在决定MV之后，使用用于亮度的8抽头插值滤波器和用于色度的4抽头插值滤波器来执行最终MC。

2.3.3.5MV细化

MV细化是基于模式的MV搜索，以双边匹配成本或模板匹配成本为标准。在JEM中，支持两种搜索模式—无限制中心偏置菱形搜索(Unrestricted Center-Biased DiamondSearch，UCBDS)和自适应交叉搜索，分别用于CU级别和子CU级别的MV细化。对于CU和子CU级别的MV细化两者，以四分之一亮度样点MV精度直接搜索MV，并且接着是八分之一亮度样点MV细化。将用于CU和子CU步骤的MV细化的搜索范围设置为等于8个亮度样点。

2.3.3.6模板匹配FRUC Merge模式中预测方向的选择

在双边匹配Merge模式中，始终应用双向预测，因为CU的运动信息是基于两个不同参考图片中的沿当前CU的运动轨迹的两个块之间的最接近匹配而推导的。对于模板匹配Merge模式没有这样的限制。在模板匹配Merge模式中，编码器可以在根据list0的单向预测、根据list1的单向预测或CU的双向预测当中选取。基于模板匹配成本的选择，如下所示：

如果costBi<＝factor*min(cost0,cost1)

使用双向预测；

否则,如果cost0<＝cost1

使用根据list0的单向预测；

否则,

使用根据list1的单向预测；

其中，cost0是list0模板匹配的SAD，cost1是list1模板匹配的SAD，并且costBi是双向预测模板匹配的SAD。factor的值等于1.25，这意味着选择过程偏向双向预测。

帧间预测方向选择仅应用于CU级别的模板匹配过程。

2.3.4解码器侧运动矢量细化

在双向预测操作中，对于一个块区域的预测，分别使用列表0的运动矢量(MV)和列表1的MV形成的两个预测块被组合以形成单个预测信号。在解码器侧运动矢量细化(decoder-side motion vector refinement，DMVR)方法中，双向预测的两个运动矢量通过双边模板匹配过程进一步细化。双边模板匹配应用于解码器中，以在双边模板和参考图片中的重构样点之间执行基于失真的搜索，以便在不发送附加运动信息的情况下获得细化的MV。

在DMVR中，双边模板生成为分别来自列表0的初始MV0和列表1的MV1的两个预测块的加权组合(即平均)，如图23所示。模板匹配操作包括计算生成的模板和参考图片中的(初始预测块周围的)样点区域之间的成本度量。对于两个参考图片中的每一个，产生最小模板成本的MV被认为是该列表中用以替换原始MV的更新后的MV。在JEM中，对于每个列表搜索9个MV候选。9个候选MV包括原始MV和其一个亮度样点在水平或垂直方向或两者上相对于原始MV偏移的8个周围MV。最后，两个新的MV(即如图24所示的MV0′和MV1′)用于生成最终的双向预测结果。绝对差之和(SAD)被用作成本度量。

DMVR应用于双向预测的Merge模式，其中一个MV来自过去的参考图片，并且另一个来自未来的参考图片，而无需传输附加语法元素。在JEM中，当对CU启用LIC、仿射运动、FRUC或子CU Merge候选时，不应用DMVR。

2.3.5具有双边匹配细化的Merge/跳过模式

首先，通过用冗余检查将空域临近和时域临近块的运动矢量和参考索引插入到候选列表中，直到可用候选的数量达到最大候选尺寸19，来构造Merge候选列表。通过根据预先定义的插入顺序插入空域候选(图11)、时域候选、仿射候选、高级时域MVP(advancedtemporal MVP，ATMVP)候选、空时MVP(STMVP)候选和在HEVC中使用的附加候选(组合的候选和零候选)来构造用于Merge/跳过模式的Merge候选列表:

-块1-4的空域候选。

-块1-4的外推仿射候选。

-ATMVP。

-STMVP。

-虚拟仿射候选。

-空域候选(块5)(仅当可用候选的数量小于6时才使用)。

-外推仿射候选(块5)。

-(从HEVC推导的)时域候选。

-不相邻的空域候选，接着是外推仿射候选(块6至49，如图25所描绘)。

-组合的候选。

-零候选

注意，IC标志也是从除了STMVP和仿射以外的Merge候选中继承的。此外，对于前四个空域候选，双向预测的候选被插入到单向预测的候选之前。

可以访问未与当前块连接的块。如果用非帧内模式来编解码非相邻块，则可以添加相关联的运动信息作为附加Merge候选。

3.本文公开的实施例解决的问题的示例

当前的HEVC设计可以利用当前块与其临近块(在当前块旁边)的相关性来更好地编解码运动信息。然而，临近块可能对应于具有不同运动轨迹的不同对象。在这种情况下，来自其临近块的预测是无效的。

根据非相邻块的运动信息的预测可以带来附加编解码增益，其代价是将所有运动信息(通常在4x4级别上)存储到高速缓存中，这显著增加了硬件实施方式的复杂性。

4.一些示例

下面的示例应该被认为是解释一般概念的示例。不应狭隘地理解这些示例。此外，这些示例可以以任何方式组合。

一些实施例可以使用存储了至少一个运动候选的一个或多个查找表来预测块的运动信息。实施例可以使用运动候选来指示存储在查找表中的运动信息集。对于传统的AMVP或Merge模式，实施例可以使用AMVP或Merge候选以用于存储运动信息。

下面的示例解释了一般概念。

查找表的示例

示例A1：每个查找表可以包含一个或多个运动候选，其中每个候选与其运动信息相关联。

a.这里，运动候选的运动信息可以包括预测方向、参考索引/图片、运动矢量、LIC标志、仿射标志、MVD精度、MVD值中的部分或全部。

b.运动信息还可以包括块位置信息和/或块形状，以指示运动信息来自哪里。

c.还可以为每个查找表分配计数器。

i.在开始编码/解码图片/条带/LCU(CTU)行/片时，计数器可以被初始化为零。

ii.在一个示例中，可以在编码/解码CTU/CTB/CU/CB/PU/某一区域尺寸(例如，8×8或16×16)之后更新计数器。

iii.在一个示例中，每次一个候选被添加到查找表中，计数器就增加一。

iv.在一个示例中，计数器应该不大于表尺寸(允许的运动候选的数量)。

v.可替代地，计数器可以用于指示有多少运动候选已经尝试添加到查找表中(其中一些在查找表中，但是稍后可以从表中移除)。在这种情况下，计数器可以大于表尺寸。

d.表尺寸(允许的运动候选的数量)和/或表的数量可以是固定的或自适应的。所有表的表尺寸可以相同，或者不同表的表尺寸可以不同。

i.可替代地，不同的尺寸可以用于不同的查找表(例如，1或2)。

ii.在一个示例中，表尺寸和/或表的数量可以预先定义。

iii.在一个示例中，可以在视频参数集(Video Parameter Set，VPS)、序列参数集(Sequence Parameter Set，SPS)、图片参数集(Picture Parameter Set，PPS)、条带标头、片标头、编解码树单元(CTU)、编解码树块(CTB)、编解码单元(CU)或预测单元(PU)、覆盖多个CTU/CTB/CU/PU的区域中信令通知表尺寸和/或表的数量。

iv.表尺寸和/或表的数量还可以取决于条带类型、图片的时域层索引、一个条带和最近的帧内条带之间的图像顺序计数(POC)距离。

e.假设存在用于编解码线程的N个表，可能需要N*P个表来编解码条带，其中P指示LCU行的数量或片的数量。

i.可替代地，可能只需要P个表来编解码条带，其中P指示LCU行的数量，其中当片被禁用时，即使N可能大于1，每个LCU行也仅使用一个查找表。

LUT的选择

示例B1：为了对块进行编解码，可以按顺序检查来自一个查找表的部分或全部运动候选。当在编解码块期间检查一个运动候选时，它可以被添加到运动候选列表(例如，AMVP，Merge候选列表)。

a.可替代地，可以按顺序检查来自多个查找表的运动候选。

b.可以在CTU、CTB、CU或PU、或覆盖多个CTU/CTB/CU/PU的区域中信令通知查找表索引。

示例B2：查找表的选择可以取决于块的位置。

a.它可以取决于覆盖该块的CTU地址。这里，我们以两个查找表(双查找表，DLUT(Dual Look Up Tables))为例来说明这一思想：

i.如果块位于CTU行中的前M个CTU中的一个处，则第一查找表可以用于编解码该块，而对于位于该CTU行中的剩余CTU中的块，则可以利用第二查找表。

ii.如果块位于CTU行中的前M个CTU中的一个处，则可以首先检查第一查找表的运动候选以用于编解码块，如果在第一表中没有足够的候选，则还可以利用第二查找表。而对于位于该CTU行中剩余的CTU中的块，可以利用第二查找表。

iii.可替代地，对于位于该CTU行中剩余的CTU中的块，可以首先检查第二查找表的运动候选以用于编解码块，如果在第二表中没有足够的候选，则还可以利用第一查找表。

b.它可以取决于块的位置和与一个或多个查找表中的一个运动候选相关联的位置之间的距离。

iv.在一个示例中，如果一个运动候选与距要编解码的块的较小距离相关联，则与另一运动候选相比，它可以更早地被检查。

查找表的使用

示例C1：可以预先定义查找表中要检查的运动候选的总数量。

a.它还可以取决于编解码信息、块尺寸、块形状等。例如，对于AMVP模式，可以只检查m个运动候选，而对于Merge模式，可以检查n个运动候选(例如，m＝2，n＝44)。

b.在一个示例中，可以在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、条带标头、片标头、编解码树单元(CTU)、编解码树块(CTB)、编解码单元(CU)或预测单元(PU)、覆盖多个CTU/CTB/CU/PU的区域中信令通知要检查的运动候选的总数量。

示例C2：包括在查找表中的(多个)运动候选可以由块直接继承。

a.它们可以用于Merge模式编解码，即，可以在Merge候选列表推导过程中检查运动候选。

b.它们可以用于仿射Merge模式编解码。

i.如果查找表中的运动候选的仿射标志是1，则查找表中的运动候选可以作为仿射Merge候选被添加。

c.在以下情况下，可以启用查找表中的运动候选的检查：

i.在插入TMVP候选之后，Merge候选列表未满；

ii.在检查用于空域Merge候选推导的某一空域临近块之后，Merge候选列表未满；

iii.在所有空域Merge候选之后，Merge候选列表未满；

iv.在组合的双向预测Merge候选之后，Merge候选列表未满；

v.当根据其他编解码方法(例如，HEVC设计或JEM设计的Merge推导过程)已经放入Merge候选列表的空域或时域(例如，包括相邻空域和非相邻空域、TMVP、STMVP、ATMVP等)Merge候选的数量小于最大允许的Merge候选减去给定阈值。

1.在一个示例中，阈值被设置为1或0。

2.可替代地，可以在SPS/PPS/序列、图片、条带标头/片中信令通知或预先定义阈值。

3.可替代地，阈值可以从块到块自适应地改变。例如，它可以取决于编解码块信息，如块尺寸/块形状/条带类型，和/或取决于可用的空域或时域Merge候选的数量。

4.在另一示例中，当已经被放入Merge候选列表的某种Merge候选的数量小于最大允许的Merge候选减去给定阈值时。“某种Merge候选”可以是如在HEVC中的空域候选或者非相邻Merge候选。

vi.可以在将运动候选添加到Merge候选列表之前应用修剪(pruning)。

1.在一个示例中，可以将运动候选与Merge候选列表中来自其他编解码方法的可用空域或时域(例如，包括相邻空域和非相邻空域、TMVP、STMVP、ATMVP等)Merge候选的全部或部分进行修剪。

2.可以不将运动候选与基于子块的运动候选(例如，ATMVP，STMVP)进行修剪。

3.在一个示例中，可以将当前运动候选与Merge候选列表中的(插入在当前运动候选之前的)可用运动候选的全部或部分进行修剪。

4.与运动候选相关的修剪操作的数量(即，运动候选需要与Merge列表中的其他候选进行比较的次数)可以取决于可用的空域或时域Merge候选的数量。例如，当检查新的运动候选时，如果在Merge列表中存在M个候选是可用的，则新的运动候选可以仅与前K个(K≤M)候选进行比较。如果修剪函数返回假(例如，与前K个候选中的任何一个都不相同)，则新的运动候选被认为不同于M个候选的全部，并且它可以被添加到Merge候选列表中。在一个示例中，K被设置为min(K，2)。

5.在一个示例中，新附加的运动候选仅与Merge候选列表中的前N个候选进行比较。例如，N＝3、4或5。N可以从编码器信令通知到解码器。

6.在一个示例中，要检查的新的运动候选仅与Merge候选列表中的最后N个候选进行比较。例如，N＝3、4或5。N可以从编码器信令通知到解码器。

7.在一个示例中，如何选择先前添加在列表中的候选与来自表中的新的运动候选进行比较可以取决于先前添加的候选从哪里推导。

a.在一个示例中，可以将查找表中的运动候选与从给定时域和/或空域临近块推导的候选进行比较。

b.在一个示例中，可以将查找表中运动候选的不同条目与不同的先前添加的候选(即，从不同位置推导的候选)进行比较。

示例C3：包括在查找表中的(多个)运动候选可以用作编解码块的运动信息的预测值。

a.它们可以用于AMVP模式编解码，即，可以在AMVP候选列表推导过程中检查运动候选。

b.在以下情况下，可以启用对查找表中的运动候选的检查：

i.在插入TMVP候选之后，AMVP候选列表未满；

ii.正好在插入TMVP候选之前，在从空域邻居选择并且进行修剪之后，AMVP候选列表未满；

iii.当不存在不用缩放的来自上侧临近块的AMVP候选时和/或不存在不用缩放的来自左侧临近块的AMVP候选时；

iv.可以在将运动候选添加到AMVP候选列表之前应用修剪。

v.类似于项目5.(3)(4)中提到的规则可以应用于AMVP模式。

c.检查具有与当前参考图片相同的参考图片的运动候选。

i.可替代地，另外，也检查具有不同于当前参考图片的参考图片的运动候选(在缩放MV的情况下)。

ii.可替代地，首先检查具有与当前参考图片相同的参考图片的所有运动候选，然后检查具有不同于当前参考图片的参考图片的运动候选。

iii.可替代地，按照Merge中的相同步骤检查运动侯选。

示例C4：查找表中的运动候选的检查顺序定义如下(假设允许检查K(K>＝1))个运动候选)：

a.查找表中的最后K个运动候选，例如，按照LUT的条目索引的降序。

b.前K％L个候选，其中L是查找表的尺寸，当K>＝L时，例如，按照LUT的条目索引的降序。

c.当K>＝L时，查找表中的所有候选(L个候选)，基于顺序。在一个示例中，按照LUT的条目索引的降序检查表中的前K％L个候选，并且然后按照条目索引的降序检查最后(L–K％L)个候选。

d.可替代地，此外，基于运动候选索引的降序。

e.可替代地，此外，基于运动候选索引的升序。

f.可替代地，基于候选信息，诸如与运动候选相关联的位置和当前块的距离，选择K个运动候选。

i.在一个示例中，选择K个最近的运动候选。

ii.在一个示例中，当计算距离时，候选信息还可以考虑块形状。

g.在一个示例中，对来自包括L个候选的表中的K个运动候选的检查顺序可以被定义为：按顺序选择其索引等于a₀、a₀+T₀、a₀+T₀+T₁、a₀+T₀+T₁+T₂、…a₀+T₀+T₁+T₂+…+T_K-1的那些候选，其中a₀和T_i(i为0…K-1)为整数值。

i.在一个示例中，a₀被设置为0(即，表中运动候选的第一个条目)。可替代地，a₀被设置为(K–L/K)。算术运算“/”被定义为结果向零截断的整数除法。可替代地，a₀被设置为0和L/K之间的任何整数。

1.可替代地，a₀的值可以取决于当前块和临近块的编解码信息。

ii.在一个示例中，所有间隔T_i(i为0…K-1)都是相同的，诸如

L/K。算术运算“/”被定义为结果向零截断的整数除法。

iii.在一个示例中，(K，L，a₀，T_i)被设置为(4，16，0，4)或(4，12，0，3)或(4，8，0，1)或(4，16，3，4)或(4，12，2，3)，或(4，8，1，2)。对于所有i，T_i都相同。

iv.这样的方法只能在K小于L时应用。

v.可替代地，此外，当K大于或等于阈值时，可以应用项目7.c。阈值可以被定义为L，或者它可以取决于K或者从块到块自适应地改变。在一个示例中，阈值可以取决于在从查找表添加新的运动候选之前，列表中的可用运动候选的数量。

h.在一个示例中，来自包括L个候选的表的K个运动候选的检查顺序可以被定义为：按顺序选择其索引等于a₀、a₀-T₀、a₀-T₀-T₁、a₀-T₀-T₁-T₂、…a₀-T₀-T₁-T₂-…-T_K-1的那些候选，其中a₀和T_i(i为0…K-1)为整数值。

i.在一个示例中，a₀被设置为L-1(即，表中运动候选的最后一个条目)。可替代地，a₀被设置为L-1-L/K和L-1之间的任何整数。

ii.在一个示例中，所有间隔T_i(i为0…K-1)都是相同的，诸如L/K。

iii.在一个示例中，(K，L，a₀，T_i)被设置为(4，16，L-1，4)或(4，12，L-1，3)或(4，8，L-1，1)或(4，16，L-4，4)或(4，12，L-3，3)，或(4，8，L-2，2)。对于所有i，T_i都相同。

iv.这样的方法只能在K小于L时应用。

可替代地，此外，当K大于或等于阈值时，可以应用项目7.c。阈值可以被定义为L，或者它可以取决于K或者从块到块自适应地改变。在一个示例中，阈值可以取决于在从查找表添加新的运动候选之前，列表中的可用运动候选的数量。

i.从查找表中选择多少和/或如何选择运动候选可以取决于编解码信息，诸如块尺寸/块形状。

i.在一个示例中，对于较小的块尺寸，替代选择最后K个运动候选，可以选择其他K个运动候选(不是从最后一个开始)。

ii.在一个示例中，编解码信息可以是AMVP或Merge模式。

iii.在一个示例中，编解码信息可以是仿射模式或非仿射AMVP模式或非仿射Merge模式。

iv.在一个示例中，编解码信息可以是仿射AMVP(帧间)模式仿射Merge模式或非仿射AMVP模式或非仿射Merge模式。

v.在一个示例中，编解码信息可以是当前图片参考(Current PictureReference，CPR)模式或者不是CPR模式。

vi.可替代地，如何从查找表中选择运动候选还可以取决于查找表中的运动候选的数量，和/或在从查找表中添加新的运动候选之前列表中可用运动候选的数量。

j.在一个示例中，查找表中要检查的运动候选(即，其可以被添加到Merge/amvp候选列表)的最大数量可以取决于查找表中的可用运动候选的数量(由N_avaiMCinLUT表示)，和/或最大允许的要添加的运动候选(由NUM_maxMC表示)，和/或在检测来自查找表的候选之前，候选列表中可用候选的数量(由N_avaiC表示)。

i.在一个示例中，查找表中要检查的运动候选的最大数量被设置为(N_avaiMCinLUT，NUM_maxMC，N_avaiC)中的最小值。

ii.可替代地，查找表中要检查的运动候选的最大数量被设置为(N_avaiMCinLUT，NUM_maxMC-N_avaiC)中的最小值。

iii.在一个示例中，N_avaiC表示从空域或时域(相邻和/或非相邻)临近块推导的插入候选的数量。可替代地，此外，子块候选(如AMTVP、STMVP)的数量不算在N_avaiC中。

iv.NUM_maxMC可以取决于编解码模式，例如，对于Merge模式和AMVP模式，NUM_maxMC可以被设置为不同的值。在一个示例中，对于Merge模式，NUM_maxMC可以被设置为4、6、8、10等。对于AMVP模式，NUM_maxMC可以设置为1、2、4等。

v.可替代地，NUM_maxMC可以取决于其他编解码信息，如块尺寸、块形状、条带类型等。

k.不同查找表的检查顺序在下一小节中的查找表的使用中定义。

l.一旦Merge/AMVP候选列表达到最大允许的候选数量，检查过程将终止。

m.一旦Merge/AMVP候选列表达到最大允许的候选数减去阈值(Th)，检查过程将终止。在一个示例中，Th可以被预先定义为正整数值，例如1、或2、或3。可替代地，Th可以从块到块自适应地改变。可替代地，Th可以在SPS/PPS/条带标头等中信令通知。可替代地，Th还可以取决于块形状/块尺寸/编解码模式等。可替代地，Th可以取决于在从LUT添加运动候选之前有多少可用的候选。

n.可替代地，一旦添加的运动候选的数量达到最大允许的运动候选数量，它将终止。可以信令通知或预先定义最大允许的运动候选数量。可替代地，最大允许的运动候选数量还可以取决于块形状/块尺寸/编解码模式等。

o.可以在SPS、PPS、条带标头、片标头中信令通知指示表尺寸以及允许检查的运动候选的数量(即，K＝L)的一个语法元素。

示例C5：可以在SPS、PPS、条带标头、片标头、CTU、CTB、CU或PU、覆盖多个CTU/CTB/CU/PU的区域中信令通知启用/禁用用于块的运动信息编解码的查找表的使用。

示例C6：是否应用来自查找表的预测还可以取决于编解码信息。当推断不应用于块时，跳过预测指示的附加信令。可替代地，当推断不应用于块时，不需要访问查找表的运动候选，并且省略了对相关运动候选的检查。

a.是否应用来自查找表的预测可以取决于块尺寸/块形状。在一个示例中，对于较小的块，诸如4x4、8x4或4x8块，不允许执行来自查找表的预测。

b.是否应用来自查找表的预测可以取决于块以AMVP模式还是Merge模式编解码。在一个示例中，对于AMVP模式，不允许执行来自查找表的预测。

c.是否应用来自查找表的预测可以取决于块以仿射运动或其他种类的运动(诸如平移运动)编解码。在一个示例中，对于仿射模式，不允许执行来自查找表的预测。

示例C7：先前编解码的帧/条带/片中的查找表的运动候选可以用于预测不同帧/条带/片中的块的运动信息。

a.在一个示例中，只有与当前块的参考图片相关联的查找表可以用于编解码当前块。

b.在一个示例中，只有与具有与当前块相同条带类型和/或相同量化参数的图片相关联的查找表可以用于编解码当前块。

查找表的更新

示例D1：在用运动信息(即，IntraBC模式、帧间编解码模式)编解码块之后，可以更新一个或多个查找表。

a.在一个示例中，是否更新查找表可以重用用于选择查找表的规则，例如，当可以选择查找表以用于编解码当前块时，在编解码/解码该块之后，还可以更新所选择的查找表。

b.可以基于编解码信息和/或块/LCU的位置来选择要更新的查找表。

c.如果用直接信令通知的运动信息(诸如AMVP模式、用于正常/仿射帧间模式的MMVD模式、用于正常/仿射帧间模式的AMVR模式)来对块进行编解码，则可以将块的运动信息添加到查找表。

i.可替代地，如果用直接从空域临近块继承的、没有进行任何细化的运动信息(例如，没有细化的空域Merge候选)来对块进行编解码，则该块的运动信息不应该被添加到查找表。

ii.可替代地，如果用直接从空域临近块继承的、有进行细化的运动信息(诸如DMVR、FRUC)对块进行编解码，则该块的运动信息不应被添加到任何查找表。

iii.可替代地，如果用直接从存储在查找表中的运动候选继承的运动信息来对块进行编解码，则该块的运动信息不应被添加到任何查找表。

iv.在一个示例中，这样的运动信息可以被直接添加到查找表，诸如添加到表的最后一个条目，或者添加到用于存储下一个可用运动候选的条目。

v.可替代地，这样的运动信息可以在无需修剪的情况下直接添加到查找表，例如，无需任何修剪。

vi.可替代地，这样的运动信息可以用于对查找表重新排序。

vii.可替代地，这样的运动信息可以用于在有限的修剪的情况下(例如，与查找表中的最新一个(latest one)进行比较)更新查找表。

d.选择块内的M(M>＝1)个代表性位置，并且使用与该代表性位置相关联的运动信息来更新查找表。

i.在一个示例中，代表性位置被定义为块内的四个角位置之一(例如，图26中的C0-C3)。

ii.在一个示例中，代表性位置被定义为块内的中心位置(例如，图26中的Ca-Cd)。

iii.当不允许对块进行子块预测时，M被设置为1。

iv.当允许对块进行子块预测时，可以将M设置为1或者子块的总数量或者[1、子块的数量]之间的任何其他值(不含端点)。

v.可替代地，当允许对块进行子块预测时，可以将M设置为1，并且基于以下内容来选择代表性子块：

1.所利用的运动信息的频率，

2.它是否是双向预测块，

3.基于参考图片索引/参考图片，

4.与其他运动矢量相比的运动矢量差(例如，选择最大MV差)，

5.其他编解码信息。

e.当选择代表性位置的M(M>＝1)个集合来更新查找表时，在将它们作为附加运动候选添加到查找表之前，可以检查其他的条件。

i.修剪可以应用于查找表中的现有运动候选的新的运动信息集。

ii.在一个示例中，新的运动信息集不应该与查找表中的任何或部分现有运动候选相同。

iii.可替代地，对于来自新的运动信息集和一个现有运动候选的相同参考图片，MV差应该不小于一个/多个阈值。例如，MV差的水平和/或垂直分量应该大于1个像素距离。

iv.可替代地，新的运动信息集仅与最后K个候选或当K>L时，前K％L个现有运动候选进行修剪，以允许重新激活旧的运动候选。

v.可替代地，不应用修剪。

f.如果使用M个运动信息集来更新查找表，则对应的计数器应该增加M。

g.假设要更新的查找表的计数器在编解码当前块之前由K表示，在编解码块之后，对于(使用上述方法的)一个所选择的运动信息集，它被添加为索引等于K％L的附加运动候选(其中L是查找表尺寸)。在图27A和图27B中示出了示例。

i.可替代地，它被添加为索引等于min(K+1，L-1)的附加运动候选。此外，可替代地，如果K>＝L，则从查找表中移除第一运动候选(索引等于0)，并且将随后的K个候选索引减少1。

ii.对于以上两种方法(将新的运动候选添加到索引等于K％L的条目，或者添加它且具有等于min(K+1，L-1)的索引)，它们都试图保留来自先前编解码的块的最近的几个运动信息集，而不管是否有相同/相似的运动候选。

iii.可替代地，当向LUT添加新的运动信息集作为运动候选时，首先应用冗余检查。在这种情况下，LUT将从先前编解码的块中保留最近的几个运动信息集，然而，冗余的运动信息集可以从查找表中移除。这样的方法被称为基于冗余移除的LUT更新方法。

1.如果LUT中存在冗余运动候选，则与LUT相关联的计数器可能不会增加或减少。

2.冗余检查可以被定义为Merge候选列表构造过程中的修剪过程，例如，检查参考图片/参考图片索引是否相同，以及运动矢量差是否在范围内或是否相同。

3.如果在LUT中发现了冗余运动候选，则冗余运动候选从其当前位置移动到LUT的最后一个位置。

a.类似地，如果在LUT中发现了冗余运动候选，则从LUT中移除该冗余运动候选。此外，在冗余运动候选之后插入到LUT的所有运动候选向前移动，以重新填充被移除的冗余运动候选的条目。在移位之后，新的运动候选被添加到LUT。

b.在这种情况下，计数器保持不变。

c.一旦在LUT中识别出冗余运动候选，冗余检查过程就终止。

4.可以识别多个冗余运动候选。在这种情况下，它们全部都从LUT中移除。此外，所有剩余的运动候选可以按顺序向前移动。

a.在这种情况下，计数器减少(冗余运动候选的数量减去1)。

b.在识别出maxR个冗余运动候选(maxR是正整数变量)之后，冗余检查过程终止。

5.冗余检查过程可以从第一个运动候选开始到最后一个运动候选(即，以添加到LUT的顺序，以运动信息来自的块的解码过程的顺序)。

6.可替代地，当LUT中存在冗余运动候选时，替代从LUT中移除一个或多个冗余运动候选，可以从冗余运动候选推导出虚拟运动候选，并且可以使用虚拟运动候选来取代冗余运动候选。

a.通过向一个或多个运动矢量的水平和/或垂直分量添加(多个)偏移，可以从冗余运动候选推导虚拟运动候选；或者如果指向相同的参考图片，则两个运动矢量的平均。可替代地，虚拟运动候选可以从任何以查找表中的运动矢量作为输入的函数推导。示例性函数是：将两个或多个运动矢量相加；将两个或多个运动矢量求平均。运动矢量可以在被输入到函数之前被缩放。

b.虚拟运动候选可以被添加到与冗余运动候选相同的位置。

c.虚拟运动候选可以被添加在所有其他运动候选之前(例如，从最小的条目索引开始，如零)。

d.在一个示例中，它仅在某些条件下应用，诸如在当前LUT未满时。

7.基于冗余移除的LUT更新方法可以在某些条件下被调用，诸如：

a.当前块以Merge模式编解码，

b.当前块以AMVP模式编解码，但是其中MV差的至少一个分量非零；

c.当前块以或未以基于子块的运动预测/运动补偿方法编解码(例如，未以仿射模式编解码)；

d.当前块以Merge模式编解码，并且运动信息与某一类型相关联(例如，来自空域临近块、来自左侧临近块、来自时域块)。

h.在对一个块进行编码/解码之后，可以通过仅将M个运动信息集插入到表的末尾，即在所有现有候选之后，来更新一个或多个查找表。

i.可替代地，此外，可以移除表中的一些现有运动候选。

1.在一个示例中，如果在插入M个运动信息集之后，表已满，则可以从表中移除运动候选的前几个条目。

2.在一个示例中，如果在插入M个运动信息集之前，表已满，则可以从表中移除运动候选的前几个条目。

ii.可替代地，此外，如果块以来自表的运动候选编解码，则表中的运动候选可以被重新排序，以使得所选择的运动候选被放入表的最后一个条目。

i.在一个示例中，在对块进行编码/解码之前，查找表可以包括由HMVP₀、HMVP₁、HMVP₂、…、HMVP_K-1、HMVP_K、HMVP_K+1、…、HMVP_L-1表示的运动候选，其中HMVP_i表示查找表中的第i个条目。如果块是从HMVP_K预测的(K在[0，L-1]的范围内，包含端点)，在对该块进行编码/解码之后，查找表被重新排序为：HMVP₀，HMVP₁，HMVP₂，…，HMVP_K-1，HMVP_K，HMVP_K+1，…，HMVP_L-1，HMVP_K。

j.在编解码一个帧内约束块之后，可以清空查找表。

k.如果运动信息的条目被添加到查找表中，则运动信息的更多条目也可以通过从运动信息推导而被添加到表中。在这种情况下，与查找表相关联的计数器可以增加超过1。

i.在一个示例中，运动信息的条目的MV被缩放并被放入表中；

ii.在一个示例中，运动信息的条目的MV增加(dx，dy)并被放入表中；

iii.在一个示例中，计算运动信息的两个或更多个条目的MV的平均，并将其放入表中。

示例D2：如果一个块位于图片/条带/片边界处，则可以始终不允许查找表的更新。

示例D3：可以禁用LCU行上侧的运动信息来编解码当前LCU行。

a.在这种情况下，在新的条带/片/LCU行的开始处，可以将可用运动候选的数量重置为0。

示例D4：在编解码具有新的时域层索引的条带/片的开始处，可以将可用运动候选的数量重置为0。

示例D5：可以用具有相同时域层索引的一个条带/片/LCU行/多个条带来连续地更新查找表。

a.可替代地，可以仅在编解码/解码每S(S>＝1)个CTU/CTB/CU/CB之后或者在编解码/解码某一区域(例如，尺寸等于8×8或16×16)之后更新查找表。

b.可替代地，可以仅在用某些模式编解码/解码每S(S>＝1)个块(例如，CU/CB)(例如，S个帧间编解码块)之后更新查找表。可替代地，可以仅在编解码/解码每S(S>＝1)个没有以基于子块的运动预测/运动补偿方法编解码(例如，没有以仿射和/或ATMVP模式编解码)的帧间编解码块(例如，CU/CB)之后更新查找表。

c.可替代地，仅当编解码/解码块的左上坐标满足一些条件时，才可以更新查找表。例如，仅在(x&M＝＝0)&&(y&M＝＝0)时，更新查找表，其中(x，y)是编解码/解码块的左上坐标。M是整数，诸如2、4、8、16、32或64。

d.可替代地，一个查找表一旦达到最大允许的计数器，就可以停止更新。

e.在一个示例中，计数器可以是预先定义的。可替代地，它可以在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、条带标头、片标头、编解码树单元(CTU)、编解码树块(CTB)、编解码单元(CU)或预测单元(PU)、覆盖多个CTU/CTB/CU/PU的区域中信令通知。示例D6：可以在不同过程内调用查找表更新过程。

a.在一个示例中，对于以Merge模式编解码的块，可以在解码Merge候选之后或者在构造Merge列表之后或者在解码有和/或没有进行细化的运动信息之后调用查找表更新过程。

b.在一个示例中，对于以AMVP模式编解码的块，可以在解码有和/或没有进行细化的运动信息之后调用查找表更新过程。

c.何时和/或如何更新查找表可以取决于编解码模式、块大小、视频处理数据单元、低延迟检查等。

i.在一个示例中，当一个块以AMVP模式编解码时，可以在不进行修剪的情况下直接更新查找表。

ii.可替代地，当一个块以Merge模式编解码时，可以在进行修剪的情况下更新查找表。

iii.可替代地，当一个块以Merge模式编解码并且其运动信息是从空域和/或时域块推导的时，可以在进行修剪的情况下更新查找表。

iv.可替代地，当一个块以Merge模式编解码并且其运动信息是从查找表中的运动候选推导的时，可以在不进行修剪的情况下重新排序查找表。

v.可替代地，当一个块以Merge模式编解码并且其运动信息是从查找表中的虚拟候选(例如，组合的双向、成对、零运动矢量候选)推导的时，可以不更新查找表。

vi.可替代地，当一个块以子块Merge模式和/或三角形Merge模式编解码时，可以不更新查找表。

vii.可替代地，当一个块以具有运动矢量差的Merge(MMVD)模式编解码并且其运动信息是从空域和/或时域块推导的时，可以直接更新查找表。

viii.在一个示例中，当一个块以照明补偿(illumination compensation，IC)模式和/或重叠块运动补偿(Overlapped Block Motion Compensation，OBMC)模式和/或解码侧运动矢量推导(Decode-side Motion Vector Derivation，DMVD)模式编解码时，可以不更新查找表。可替代地，当一个块以这样的模式编解码时，可以更新查找表。

附加示例实施例

提出了基于历史的MVP(HMVP)方法，其中HMVP候选定义为先前编解码的块的运动信息。在编码/解码过程期间维护具有多个HMVP候选的表。当遇到新的条带时，清空表。每当存在帧间编解码的块时，相关联的运动信息添加到表的最后条目作为新的HMVP候选。整个编解码流程在图31中描绘。

在一个示例中，表尺寸设置为L(例如，L＝16或6、或44)，L指示最多L个HMVP候选可以添加到表。

在一个实施例中(对应于示例11.g.i)，如果存在来自先前编解码的块的多于L个HMVP候选，则应用先进先出(First-In-First-Out，FIFO)规则，使得表始终包含最近的先前编解码的L个运动候选。图32描绘了应用FIFO规则以移除HMVP候选并且将新的一个候选添加到在提出的方法中使用的表的示例。

在另一实施例中(对应于发明11.g.iii)，每当添加新的运动候选(诸如当前块是帧间编解码的和非仿射模式)时，首先应用冗余检查过程来识别是否LUT中存在相同或类似的运动候选。

一些示例描述如下：

图33A示出在添加新的运动候选之前LUT已满的示例。

图33B示出在添加新的运动候选之前LUT未满的示例。

图33A和图33B一起示出基于冗余移除的LUT更新方法的示例(移除了一个冗余运动候选)。

图34A和图34B示出用于基于冗余移除的LUT更新方法的两种情况的示例实施方式(移除了多个冗余运动候选，图中有2个候选)。

图34A示出在添加新的运动候选之前LUT已满的示例情况。

图34B示出在添加新的运动候选之前LUT未满的示例情况。

HMVP候选可以用于Merge候选列表构造过程。表中从最后一个条目到第一个条目(或最后K0个HMVP，例如，K0等于16或6)的所有HMVP候选被插入在TMVP候选之后。修剪应用于HMVP候选。一旦可用Merge候选的总数量达到信令通知的最大允许的Merge候选，Merge候选列表构造过程就终止。可替代地，一旦添加的运动候选的总数量达到给定值，就终止从LUT取出运动候选。

类似地，HMVP候选也可以用于AMVP候选列表构造过程。表中的最后K1个HMVP候选的运动矢量被插入在TMVP候选之后。只有具有与AMVP目标参考图片相同的参考图片的HMVP候选被用于构造AMVP候选列表。修剪应用于HMVP候选。在一个示例中，K1被设置为4。

参考文献

[1]“Overview of the High Efficiency Video Coding(HEVC)Standard”,GaryJ.Sullivan,Jens-Rainer Ohm,Woo-Jin Han,and Thomas Wiegand,IEEE Transactionson Circuits and Systems for Video Technology,Vol.22,No.12,December 2012.

[2]“Overview of the H.264/AVC video coding standard”,Ajay Luthra,Pankaj Topiwala,Proceedings of SPIE Vol.5203Applications of Digital ImageProcessing XXVI.

[3]J.Chen,E.Alshina,G.J.Sullivan,J.-R.Ohm,J.Boyce,“Algorithmdescription of Joint Exploration Test Model 7(JEM7),”JVET-G1001,Aug.2017.

[4]JEM-7.0:https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-7.0.

[5]H.265/HEVC,https://www.itu.int/rec/T-REC-H.265

[6]“Multi-Type-Tree”,JVET-D0117

[7]International Patent Application WO2016/091161

[8]“Description of SDR,HDR and 360°video coding technology proposalby Qualcomm and Technicolor–low and high complexity versions”,JVET-J0021.

图28A是视频处理装置2800的框图。装置2800可以用于实施本文描述的方法中的一个或多个。装置2800可以体现在智能电话、平板电脑、计算机、物联网(Internet ofThings，IoT)接收器等中。装置2800可以包括一个或多个处理器2802、一个或多个存储器2804和视频处理硬件2806。(多个)处理器2802可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件2806可以用于以硬件电路实施本文档中描述的一些技术。

图28B是其中可以实施所公开的技术的视频处理系统的框图的另一示例。图28B是示出其中可以实施本文公开的各种技术的示例视频处理系统3100的框图。各种实施方式可以包括系统3100的一些或全部组件。系统3100可以包括用于接收视频内容的输入3102。视频内容可以以原始或未压缩格式接收，例如8或10比特多分量像素值，或者可以以压缩或编码格式接收。输入3102可以代表网络接口、外围总线接口或存储接口。网络接口的例子包括诸如以太网、无源光网络(passive optical network，PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。

系统3100可以包括编解码组件3104，其可以实施本文档中描述的各种编解码或编码方法。编解码组件3104可以降低从输入3102到编解码组件3104的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件3104的输出可以被存储，或者经由连接的通信传输，如组件3106所示。组件3108可以使用在输入3102处接收的视频的存储或通信的比特流(或编解码的)表示以用于生成发送到显示接口3110的像素值或可显示视频。从比特流表示生成用户可观看的视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，编解码工具或操作是在编码器处使用的，并且将由解码器来执行反转编解码结果的对应解码工具或操作。

外围总线接口或显示接口的示例可以包括通用串行总线(universal serialbus，USB)或高清多媒体接口(high definition multimedia interface，HDMI)或显示端口等。存储接口的示例包括SATA(serial advanced technology attachmen，串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。

在一些实施例中，视频编解码方法可以使用如参考图28A或图28B所述的在硬件平台上实施的装置来实施。

图29是视频处理方法2900的示例的流程图。方法2900包括在步骤2902处，维护一个或多个运动候选表。方法2900还包括，在步骤2904处，使用运动候选表按顺序使用多个视频处理操作来执行视频的当前视频块和当前视频块的编解码表示之间的转换。方法2900还包括，在步骤2906处，由于特定处理操作的完成，更新运动候选表。

图30是视频处理方法3000的示例的流程图。方法3000包括，在步骤3002处，维护一个或多个运动候选表。方法3000还包括，在步骤3004处，基于包括编解码模式、大小、视频处理数据单元或低延迟检查的当前视频块的特性，确定i)是否更新一个或多个运动候选表中的一个运动候选表，或者ii)如何更新运动候选表。方法3000还包括，在步骤3006处，基于确定执行视频的当前视频块和视频的编解码表示之间的转换。

关于方法2900和方法3000，在一些实施例中，运动信息包括以下中的至少一个：预测方向、参考图像索引、运动矢量值、光强度补偿标志、仿射标志、运动矢量差精度和运动矢量差值。此外，运动信息还可以包括指示运动信息的来源的块位置信息。在一些实施例中，视频块可以是CU或PU，并且视频的部分可以对应于一个或多个视频条带或一个或多个视频图片。

在一些实施例中，每个LUT包括相关联的计数器，其中该计数器在视频部分的开始处被初始化为零值，并且对于视频部分中的每个编码的视频区域而增加。视频区域包括编解码树单元、编解码树块、编解码单元、编解码块或预测单元中的一个。在一些实施例中，对于对应的LUT，计数器指示从对应的LUT移除的运动候选的数量。在一些实施例中，运动候选集对于所有LUT可以具有相同的尺寸。在一些实施例中，视频部分对应于视频的条带，并且其中LUT的数量等于N*P，其中N是表示每一解码线程的LUT的整数，并且P是表示最大编解码单元行的数量或视频的条带中片的数量的整数。方法2900和3000的附加细节在第4节提供的示例和下面列出的示例中描述。

1.一种视频处理方法，包括：维护一个或多个运动候选表；使用运动候选表按顺序使用多个视频处理操作来执行视频的当前视频块和当前视频块的编解码表示之间的转换；以及由于特定处理操作的完成而更新运动候选表。

2.根据示例1所述的方法，其中，特定处理操作的识别取决于当前视频块的编解码特性。

3.根据示例1所述的方法，其中，当前视频块以Merge模式编解码，并且其中，在作为转换的一部分的以下操作中的至少一个之后更新运动候选表：

(i)解码Merge候选，

(ii)构造包括Merge候选的Merge列表，

(iii)解码没有进行细化的运动信息，或者

(iv)解码有进行细化的运动信息。

4.根据示例3所述的方法，其中，当前视频块以Merge模式编解码，并且其中在用解码侧运动细化(DMVR)对解码的运动信息进行细化之前，使用该解码的运动信息更新运动候选表。

5.根据示例3所述的方法，其中，当前视频块以Merge模式编解码，并且其中，在用具有运动矢量差的Merge(MMVD)对解码的运动信息进行细化之后，使用该解码的运动信息来更新运动候选表。

6.根据示例1所述的方法，其中，当前视频块以高级运动矢量预测(AMVP)模式编解码，并且其中，在解码有或没有进行细化的运动信息之后更新运动候选表。

7.一种视频处理方法，包括：维护一个或多个运动候选表；基于包括编解码模式、大小、视频处理数据单元或低延迟检查的当前视频块的特性，确定以下至少一个：i)是否更新一个或多个运动候选表中的一个运动候选表，或者ii)如何更新运动候选表；以及基于该确定来执行视频的当前视频块和视频的编解码表示之间的转换。

8.根据示例7所述的方法，其中，当前视频块以高级运动矢量预测(AMVP)模式编解码，并且其中，在不进行修剪的情况下，更新运动候选表。

9.根据示例7所述的方法，其中，当前视频块以Merge模式编解码，并且其中，在进行修剪的情况下更新运动候选表。

10.根据示例8或9所述的方法，其中，修剪包括将与当前视频块相关联的运动信息与运动候选表中的至少一个运动候选进行比较。

11.根据示例9所述的方法，其中，当前视频块的运动信息是从空域块或时域块推导的。

12.根据示例7所述的方法，其中，当前视频块以Merge模式编解码，并且当前视频块的运动信息是从运动候选表中的运动候选推导的，在不进行修剪的情况下，重新排序运动候选表。

13.根据示例7所述的方法，其中，当前视频块以Merge模式编解码，并且当前视频块的运动信息是从运动候选表中的虚拟候选推导的，不更新运动候选表。

14.根据示例7所述的方法，其中，当前视频块以子块Merge模式和/或三角形Merge模式编解码，不更新运动候选表。

15.根据示例7所述的方法，其中，当前视频块以具有运动矢量差的Merge(MMVD)模式编解码，并且当前视频块的运动信息是从空域块或时域块推导的，更新运动候选表。

16.根据示例7所述的方法，其中，当前视频块以照明补偿(IC)模式、重叠块运动补偿(OBMC)模式或解码侧运动矢量推导(DMVD)模式中的一种或多种编解码，不更新运动候选表。

17.根据示例7所述的方法，其中，当前视频块以照明补偿(IC)模式、重叠块运动补偿(OBMC)模式或解码侧运动矢量推导(DMVD)模式中的一种或多种编解码，更新运动候选表。

18.根据示例1至17中任一项所述的方法，其中，运动候选表是历史运动矢量预测(HMVP)表。

19.根据示例1至18中任一项所述的方法，其中，执行转换包括从当前视频块生成编解码表示。

20.根据示例1至18中任一项所述的方法，其中，执行转换包括从编解码表示生成当前视频块。

21.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中，指令在由处理器运行时使处理器实施示例1至20中的一项或多项所述的方法。

22.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行示例1至20中的一项或多项所述的方法的程序代码。

根据前述内容，可以理解，本文已经出于说明的目的描述了本公开的技术的具体实施例，但是可以在不脱离本发明的范围的情况下做出各种修改。因此，除了由所附权利要求之外，本公开的技术不受限制。

本文档中描述的公开的和其它实施例、模块和功能性操作可以在数字电子电路系统中实施，或者在计算机软件、固件、或硬件中实施，包括本文档中公开的结构及其结构等同物，或者在它们中的一个或多个的组合中实施。公开的和其它实施例可以实施为一个或多个计算机程序产品，即，在计算机可读介质上编码的计算机程序指令的一个或多个模块，用于由数据处理装置运行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或者它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备、和机器，示例地包括可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或者它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如机器生成的电信号、光信号、或电磁信号，生成信号以编码信息以便传输到合适的接收器装置。

计算机程序(也被称为程序、软件、软件应用、脚本、或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且其可以以任何形式部署，包括作为独立程序或作为适合于在计算环境中使用的模块、组件、子例程、或其它单元。计算机程序不必对应于文件系统中的文件。程序可以存储在保存其它程序或数据的文档的部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文档中，或存储在多个协调文档(例如，存储一个或多个模块、子程序、或代码的部分的文档)中。可以部署计算机程序以在一个计算机上运行或者在定位在一个站点处或分布跨越多个站点并且通过通信网络互连的多个计算机上运行。

本文档中描述的过程和逻辑流程可以由运行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据操作并且生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以实施为专用逻辑电路，例如FPGA(FieldProgrammable Gate Array，现场可编程门阵列)或ASIC(ApplicationSpecificIntegrated Circuit，专用集成电路)。

适合于计算机程序的运行的处理器示例地包括通用和专用微处理器两者、以及任何种类的数字计算机的任何一个或多个处理器。一般地，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。一般地，计算机也将包括或可操作地耦合到用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，以从其接收数据或向其传送数据或者进行接收数据和传送数据两者。但是，计算机不需要具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，示例地包括半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；和CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

虽然本专利文档包含许多细节，但是这些细节不应该解释为对任何发明或可以要求保护的范围的限制，而是作为可以特定于具体发明的具体实施例的特征的描述。在本专利文档中在分离的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以分离地或以任何合适的子组合在多个实施例中实施。此外，尽管以上特征可以描述为以某些组合起作用并且甚至最初如此要求保护，但是来自所要求保护的组合的一个或多个特征可以在一些情况下从组合中切除，并且所要求保护的组合可以针对子组合或子组合的变化。

类似地，虽然在附图中以具体顺序描绘了操作，但是这不应该理解为要求以所示的具体顺序或按次序顺序执行这样的操作，或者执行所有示出的操作，以达到期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应该理解为在所有实施例中要求这样的分离。

仅描述了少数实施方式和示例，并且可以基于本专利文档中描述和示出的内容做出其它实施方式、增强和变化。

Claims

1.一种视频处理方法，包括：

维护一个或多个运动候选表；

使用运动候选表按顺序使用多个视频处理操作来执行视频的当前视频块和当前视频块的编解码表示之间的转换；以及

由于特定处理操作的完成而更新运动候选表。

2.根据权利要求1所述的方法，其中，所述特定处理操作的识别取决于当前视频块的编解码特性。

3.根据权利要求1所述的方法，其中，当前视频块以Merge模式编解码，并且其中，在作为转换的一部分的以下操作中的至少一个之后更新运动候选表：

(i)解码Merge候选，

(ii)构造包括Merge候选的Merge列表，

(iii)解码没有进行细化的运动信息，或者

(iv)解码有进行细化的运动信息。

4.根据权利要求3所述的方法，其中，当前视频块以Merge模式编解码，并且其中在用解码侧运动细化(DMVR)对解码的运动信息进行细化之前，使用所述解码的运动信息更新运动候选表。

5.根据权利要求3所述的方法，其中，当前视频块以Merge模式编解码，并且其中，在用具有运动矢量差的Merge(MMVD)对解码的运动信息进行细化之后，使用所述解码的运动信息来更新运动候选表。

6.根据权利要求1所述的方法，其中，当前视频块以高级运动矢量预测(AMVP)模式编解码，并且其中，在解码有或没有进行细化的运动信息之后更新运动候选表。

7.一种视频处理方法，包括：

维护一个或多个运动候选表；

基于包括编解码模式、大小、视频处理数据单元或低延迟检查的当前视频块的特性，确定以下至少一个：i)是否更新一个或多个运动候选表中的一个运动候选表，或者ii)如何更新所述运动候选表；以及

基于所述确定来执行视频的当前视频块和视频的编解码表示之间的转换。

8.根据权利要求7所述的方法，其中，当前视频块以高级运动矢量预测(AMVP)模式编解码，并且其中，在不进行修剪的情况下更新运动候选表。

9.根据权利要求7所述的方法，其中，当前视频块以Merge模式编解码，并且其中，在进行修剪的情况下更新运动候选表。

10.根据权利要求8或9所述的方法，其中，所述修剪包括将与当前视频块相关联的运动信息与运动候选表中的至少一个运动候选进行比较。

11.根据权利要求9所述的方法，其中，当前视频块的运动信息是从空域块或时域块推导的。

12.根据权利要求7所述的方法，其中，当前视频块以Merge模式编解码，并且当前视频块的运动信息是从运动候选表中的运动候选推导的，在不进行修剪的情况下，重新排序运动候选表。

13.根据权利要求7所述的方法，其中，当前视频块以Merge模式编解码，并且当前视频块的运动信息是从运动候选表中的虚拟候选推导的，不更新运动候选表。

14.根据权利要求7所述的方法，其中，当前视频块以子块Merge模式和/或三角形Merge模式编解码，不更新运动候选表。

15.根据权利要求7所述的方法，其中，当前视频块以具有运动矢量差的Merge(MMVD)模式编解码，并且当前视频块的运动信息是从空域块或时域块推导的，更新运动候选表。

16.根据权利要求7所述的方法，其中，当前视频块以照明补偿(IC)模式、重叠块运动补偿(OBMC)模式或解码侧运动矢量推导(DMVD)模式中的一种或多种编解码，不更新运动候选表。

17.根据权利要求7所述的方法，其中，当前视频块以照明补偿(IC)模式、重叠块运动补偿(OBMC)模式或解码侧运动矢量推导(DMVD)模式中的一种或多种编解码，更新运动候选表。

18.根据权利要求1至17中任一项所述的方法，其中，运动候选表是历史运动矢量预测(HMVP)表。

19.根据权利要求1至18中任一项所述的方法，其中，执行所述转换包括从当前视频块生成编解码表示。

20.根据权利要求1至18中任一项所述的方法，其中，执行所述转换包括从编解码表示生成当前视频块。

21.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中，指令在由处理器运行时使处理器实施权利要求1至20中的一项或多项所述的方法。

22.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于执行权利要求1至20中的一项或多项所述的方法的程序代码。