CN110662053A

CN110662053A - 查找表尺寸

Info

Publication number: CN110662053A
Application number: CN201910586573.XA
Authority: CN
Inventors: 张莉; 张凯; 刘鸿彬; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2018-06-29
Filing date: 2019-07-01
Publication date: 2020-01-07
Anticipated expiration: 2039-07-01
Also published as: GB2588006A; TW202019181A; GB2588006B; GB202018263D0; US11159807B2; CN110662057A; US11909989B2; TW202002641A; CN110662053B; TWI728390B; WO2020003270A1; US20200396466A1; CN110662057B; US20210337216A1; WO2020003282A1; TWI744661B

Abstract

描述了用于使用包含编码候选的表来编码和解码数字视频的设备、系统和方法。在代表性方面，提供了一种视频处理方法，以包括：维护由索引i＝1至N索引的N个表，其中第i个表具有等于与第i个表中的运动候选的最大数量相对应的M(i)的尺寸，其中i、N和M(i)为整数，并且其中每个运动候选与对应的运动信息相关联；以及使用来自表的运动候选来执行当前视频块与包括当前视频块的视频数据的比特流表示之间的转换。

Description

查找表尺寸

相关申请的交叉引用

根据适用的专利法和/或依据巴黎公约的规则，本申请是为了及时要求于 2018年6月29日提交的国际专利申请No.PCT/CN2018/093663以及于2018 年7月2日提交的国际专利申请No.PCT/CN2018/093987的优先权和权益。为了根据美国法律的所有目的，国际专利申请No.PCT/CN2018/093663和国际专利申请No.PCT/CN2018/093987的全部公开通过引用并入，作为本申请的公开的一部分。

技术领域

本专利文献涉及视频编码和解码技术、设备和系统

背景技术

尽管视频压缩有所进步，但数字视频仍占互联网和其他数字通信网络上的最大的带宽使用。随着能够接收和显示视频的连接用户设备的数量增加，预计数字视频使用的带宽需求将继续增长。

发明内容

描述了与使用包含编码候选的查找表(look-up table，LUT)的集合来编码和解码数字视频有关的设备、系统和方法。所描述的方法可以应用于现有视频编码标准(例如，高效视频编码(High Efficiency Video Coding，HEVC)) 和未来视频编码标准或视频编解码器两者。

在一个代表性方面，所公开的技术可以用于提供一种用于视频处理方法的方法，该方法包括：维护由索引i＝1至N索引的N个表，其中，第i个表具有等于与第i个表中的运动候选的最大数量相对应的M(i)的尺寸，其中， i、N和M(i)为整数，并且其中每个运动候选与对应的运动信息相关联；以及使用来自表的运动候选来执行当前视频块与包括当前视频块的视频数据的比特流表示之间的转换。

在另一方面，提供了一种视频处理方法，以包括：接收视频数据中的当前视频块的比特流表示；以及基于由索引i＝1至N索引的N个表来处理比特流表示，其中，第i个表具有等于与第i个表中的运动候选的最大数量相对应的M(i)的尺寸，其中，i、N和M(i)为整数，并且其中每个运动候选与对应的运动信息相关联。

在又一代表性方面，上述方法以处理器可执行代码的形式实施并存储在计算机可读程序介质中。

在又一代表性方面，公开了一种被配置为或可操作来执行上述方法的设备。该设备可以包括被编程以实现该方法的处理器。

在又一代表性方面，视频解码器装置可以实现如本文所描述的方法。

在附图、说明书和权利要求中更详细地描述了所公开的技术的以上及其他方面和特征。

附图说明

图1示出了典型的高效视频编码(HEVC)视频编码器和解码器的示例框图。

图2示出了H.264/AVC中的宏块(MacroBlock，MB)分割的示例。

图3示出了将编码块(Coding Block，CB)划分为预测块(Prediction Block， PB)的示例。

图4A和图4B分别示出了将编码树块(Coding Tree Block，CTB)细分为CB和变换块(Transform Block，TB)、以及对应的四叉树的示例。

图5A和图5B示出了用于最大编码单元(Largest Coding Unit，LCU)的细分和对应的QTBT(QuadTree plus Binary Tree，四叉树加二叉树)的示例。

图6A-图6E示出了分割编码块的示例。

图7示出了基于QTBT的CB的示例细分。

图8A-图8I示出了支持作为QTBT的一般化的多树类型(Multi-Tree Type， MTT)的CB的分割的示例。

图9A示出了树型信令的示例。

图9B示出了构造Merge候选列表的示例。

图10示出了空间候选的位置的示例。

图11示出了对其进行空间Merge候选的冗余检查的候选对的示例。

图12A和图12B示出了基于当前块的尺寸和形状的第二预测单元 (PredictionUnit，PU)的位置的示例。

图13示出了用于时间Merge候选的运动矢量缩放的示例。

图14示出了时间Merge候选的候选位置的示例。

图15示出了生成组合的双向预测Merge候选的示例。

图16A和图16B示出了用于运动矢量预测候选的推导过程的示例。

图17示出了用于空间运动矢量候选的运动矢量缩放的示例。

图18示出了使用用于编码单元(Coding Unit，CU)的可选时域运动矢量预测(Alternative Temporal Motion Vector Prediction，ATMVP)算法的运动预测的示例。

图19示出了识别源块和源图片的示例。

图20示出了由时空运动矢量预测(Spatial-Temporal Motion VectorPrediction，STMVP)算法使用的具有子块和相邻块的编码单元(CU)的示例。

图21示出了作为基于帧速率上转换(Frame-Rate Up Conversion，FRUC) 算法的特殊Merge模式的模式匹配的运动矢量推导(Pattern Matched Motion VectorDerivation，PMMVD)模式中的双向匹配的示例。

图22示出了FRUC算法中的模板匹配的示例。

图23示出了FRUC算法中的单向运动估计的示例。

图24示出了基于双向模板匹配的解码器侧运动矢量细化(Decoder-side MotionVector Refinement，DMVR)算法的示例。

图25示出了用于推导光照补偿(Illumination Compensation，IC)参数的相邻样点的示例。

图26示出了用于推导空间Merge候选的相邻块的示例。

图27示出了所提出的67个帧内预测模式的示例。

图28示出了用于最可能模式推导的相邻块的示例。

图29A和图29B示出了具有QTBT结构的I条带中的对应的亮度和色度子块。

图30示出了基于LUT(查找表)的预测方法的过程流程图的示例。

图31示出了基于优先级插入来自非邻近块和LUT的候选的示例。

图32A示出了根据本公开技术的用于视频处理的示例方法的流程图。

图32B示出了根据本公开技术的用于视频处理的另一示例方法的流程图。

图33是用于实现本文档中描述的可视媒体解码或可视媒体编码技术的硬件平台的示例的框图。

具体实施方式

由于对更高分辨率视频的日益增长的需求，视频编码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且不断被改进以提供更高的编码效率。视频编解码器将未压缩的视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率确定)、编码和解码算法的复杂性、对数据丢失和错误的敏感性、编辑的简易性、随机访问和端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如，高效视频编码(HEVC)标准(也已知为H.265或MPEG-H部分2)、即将完成的通用视频编码标准、或其他当前和/或未来视频编码标准。

所公开的技术的实施例可以应用于现有视频编码标准(例如，HEVC、 H.265)和未来标准以改进压缩性能。在本文档中使用章节标题以提高描述的可读性，并且不以任何方式将讨论或实施例(和/或实现方式)限制于仅相应的章节。

1.视频编码的示例实施例

图1示出了典型HEVC视频编码器和解码器的示例框图。产生符合HEVC 的比特流的编码算法通常如下进行。每个图片被划分为块状区域，其中精确的块分割被传递到解码器。视频序列的第一图片(以及到视频序列中的每个完全随机访问点(clean randomaccess point)处的第一图片)仅使用(在相同图片内从区域到区域空间地使用一些数据预测，但不取决于其他图片的)帧内预测而编码。对于序列的或随机访问点之间的所有剩余图片，帧间时间预测编码模式通常用于大多数块。用于帧间预测的编码过程包括选择包括所选择的参考图片和要应用于预测每个块的样点的运动矢量(Motion Vector，MV) 的运动数据。编码器和解码器通过应用使用MV和模式判定数据的运动补偿 (MotionCompensation，MC)来生成相同的帧间预测信令，其作为边信息(side information)被发送。

通过线性空间变换来变换帧内预测或帧间预测的残差信号，其是原始块与其预测之间的差异。变换系数然后被缩放、量化、熵编码，并与预测信息一起被发送。

编码器复制解码器处理环路(参见图1中的灰色阴影框)，使得两者都将生成对后续数据的相同预测。因此，量化的变换系数通过逆缩放而构造并且然后被逆变换以复制残差信号的解码的近似。残差然后被添加到预测，添加的结果然后可以被馈送到一个或两个环路滤波器中以平滑由分块处理和量化引起的伪影。最终图片表示(即解码器的输出的副本)存储在解码图片缓冲器中以用于后续图片的预测。通常，图片的编码或解码处理的顺序通常不同于它们从源到达的顺序；需要区分解码器的解码顺序(即比特流顺序)和输出顺序(即显示顺序)。

通常期望通过HEVC编码的视频材料作为逐行扫描影像而输入(由于源视频源自该格式或者由编码之前的去交错产生)。HEVC设计中不存在显式的编码特征以支持交错扫描的使用，因为交错扫描不再用于显示器并且对于分发而言变得基本上不常见。然而，在HEVC中已经提供了元数据语法(syntax)，以允许编码器指示已经通过将交错视频的每个场(即每个视频帧的偶数或奇数行)编码为单独的图片来传送交错扫描视频或已经通过将每个交错帧编码为HEVC编码图片来传送交错扫描视频。这提供了一种对交错视频进行编码而无需使解码器需要支持针对其的特殊解码过程的有效方法。

1.1.H.264/AVC中的分割树结构的示例

先前标准中的编码层的核心是宏块，其包含16×16亮度样点块，并且在 4:2:0颜色采样的通常情况下，包含两个对应的8×8色度样点块。

帧内编码块使用空间预测来利用像素当中的空间相关性。定义了两个分割：16×16和4×4。

帧间编码块通过估计图片当中的运动来使用时间预测而不是空间预测。可以针对16×16宏块或其任何子宏块分割(16×8、8×16、8×8、8×4、4 ×8、4×4)独立地估计运动，如图2所示。仅允许每一子宏块分割一个运动矢量(MV)。

1.2.HEVC中分割树结构的示例

在HEVC中，通过使用表示为编码树的四叉树结构将编码树单元(Coding TreeUnit，CTU)划分为编码单元(CU)以适应各种局部特性。使用帧间(时间)还是帧内(空间)预测来编码图片区域的判定是在CU级别进行的。可以根据预测单元(PU)划分类型将每个CU进一步划分为一个、两个或四个PU。在一个PU内部，应用相同的预测过程，并且基于PU将相关信息发送到解码器。在通过应用基于PU划分类型的预测过程来获得残差块之后，可以根据类似于CU的编码树的另一个四叉树结构将CU分割为变换单元(TU)。HEVC 结构的关键特征中的一个是它具有多个分割概念，包括CU、PU和TU。

使用HEVC的混合视频编码中涉及的某些特征包括：

(1)编码树单元(CTU)和编码树块(CTB)结构：HEVC中的模拟结构是编码树单元(CTU)，其具有由编码器选择的尺寸并且可以大于传统宏块。CTU由亮度CTB和对应的色度CTB以及语法元素组成。亮度CTB的尺寸L×L可以选择为L＝16、32或64个样点，其中更大的尺寸通常能够实现更好的压缩。HEVC然后支持使用树结构和类似四叉树的信令将CTB分割为更小的块。

(2)编码单元(CU)和编码块(CB)：CTU的四叉树语法指定其亮度CB和色度CB的尺寸和位置。四叉树的根与CTU相关联。因此，亮度CTB 的尺寸是亮度CB的最大支持尺寸。将CTU划分为亮度CB和色度CB是联合信令通知的。一个亮度CB和通常两个色度CB与相关联的语法一起形成编码单元(CU)。CTB可以仅包含一个CU或者可以被划分以形成多个CU，并且每个CU具有分割为预测单元(PU)的相关联分割和变换单元(TU)的树。

(3)预测单元和预测块(PB)：是使用帧间还是帧内预测来编码图片区域的判定是在CU级别进行的。PU分割结构的根在CU级别。根据基本预测类型判定，亮度CB和色度CB然后可以进一步在尺寸上被划分，并且根据亮度和色度预测块(PB)而预测。HEVC支持从64×64到4×4个样点的可变PB尺寸。图3示出了M×M CU的允许的PB的示例。

(4)变换单元(TU)和变换块：使用块变换对预测残差进行编码。 TU树结构的根在CU级别。亮度CB残差可以与亮度变换块(TB)相同，或者可以进一步划分为更小的亮度TB。这同样适用于色度TB。针对正方形TB 尺寸4×4、8×8、16×16和32×32定义类似于离散余弦变换(Discrete Cosine Transform，DCT)的函数的整数基函数。对于亮度帧内预测残差的4×4变换，交替地指定从离散正弦变换(Discrete Sine Transform，DST)的形式推导的整数变换。

1.2.1.树结构分割为TB和TU的示例

对于残差编码，CB可以被递归地分割为变换块(TB)。分割由残差四叉树信令通知。仅指定了正方形CB和TB分割，其中块可以被递归地划分为象限，如图4A和图4B所示。对于尺寸为M×M的给定亮度CB，标志信令通知其是否被划分为四个尺寸为M/2×M/2的块。如果进一步划分是有可能的，如通过序列参数集(Sequence Parameter Set，SPS)中指示的残差四叉树的最大深度信令通知的，则为每个象限分配指示其是否被划分为四个象限的标志。由残差四叉树产生的叶节点块是通过变换编码进一步处理的变换块。编码器指示其将使用的最大和最小亮度TB尺寸。当CB尺寸大于最大TB尺寸时，划分是隐式的。当划分将导致亮度TB尺寸小于指示的最小值时，不划分是隐式的。除了当亮度TB尺寸为4×4时(在这种情况下，单个4×4色度TB用于由四个4×4亮度TB覆盖的区域)，色度TB尺寸在每个维度中是亮度TB 尺寸的一半。在帧内预测的CU的情况下，(在CB内或外部的)最近的相邻TB的解码样点被用作用于帧内预测的参考数据。

与先前标准相反，HEVC设计允许TB跨越帧间预测的CU的多个PB，以最大化四叉树结构的TB分割的潜在编码效率益处。

1.2.2.父节点和子节点

根据四叉树结构划分CTB，四叉树结构的节点是编码单元。四叉树结构中的多个节点包括叶节点和非叶节点。叶节点在树结构中没有子节点(即叶节点不被进一步划分)。非叶节点包括树结构的根节点。根节点对应于视频数据的初始视频块(例如，CTB)。对于多个节点中的每个相应的非根节点，相应的非根节点对应于视频块，该视频块是与相应的非根节点的树结构中的父节点相对应的视频块的子块。多个非叶节点中的每个相应的非叶节点在树结构中具有一个或多个子节点。

1.3.在JEM中的具有更大CTU的四叉树加二叉树块结构的示例

在一些实施例中，使用已知为联合探索模型(Joint Exploration Model， JEM)的参考软件来探索未来视频编码技术。除二叉树结构外，JEM还描述了四叉树加二叉树(QTBT)和三叉树(Ternary Tree，TT)结构。

1.3.1.QTBT块分割结构的示例

与HEVC相反，QTBT结构移除了多个分割类型的概念，即它移除了CU、 PU和TU概念的分离，并且支持CU分割形状的更多灵活性。在QTBT块结构中，CU可以具有正方形或矩形形状。如图5A所示，首先通过四叉树结构分割编码树单元(CTU)。通过二叉树结构进一步分割四叉树叶节点。在二叉树划分中有两种划分类型，对称水平划分和对称垂直划分。二叉树叶节点被称为编码单元(CU)，并且该分段用于预测和变换处理而无需任何进一步的分割。这意味着CU、PU和TU在QTBT编码块结构中具有相同的块尺寸。在JEM中，CU有时由不同颜色分量的编码块(CB)组成，例如，一个CU 在4：2：0色度格式的P条带和B条带的情况下包含一个亮度CB和两个色度CB，并且有时由单个分量的CB组成，例如，一个CU在I条带的情况下仅包含一个亮度CB或只包含两个色度CB。

为QTBT分割方案定义以下参数：

--CTU尺寸：四叉树的根节点尺寸，与HEVC中的概念相同

--MinQTSize：最小允许的四叉树叶节点尺寸

--MaxBTSize：最大允许的二叉树根节点尺寸

--MaxBTDepth：最大允许的二叉树深度

--MinBTSize：最小允许二叉树叶节点尺寸

在QTBT分割结构的一个示例中，CTU尺寸被设置为具有两个对应的64 ×64色度样点块的128×128个亮度样点，MinQTSize被设置为16×16， MaxBTSize被设置为64×64，MinBTSize(宽度和高度)被设置为4×4，并且MaxBTDepth被设置为4。四叉树分割首先应用于CTU以生成四叉树叶节点。四叉树叶节点可以具有从16×16(即MinQTSize)至128×128(即CTU 尺寸)的尺寸。如果四叉树叶节点为128×128，则由于尺寸超过MaxBTSize (即64×64)，所以它不会通过二叉树被进一步划分。否则，四叉树叶节点可以通过二叉树被进一步分割。因此，四叉树叶节点也是二叉树的根节点，并且其二叉树深度为0。当二叉树深度达到MaxBTDepth(即4)时，不考虑进一步的划分。当二叉树节点具有等于MinBTSize(即4)的宽度时，不考虑进一步的水平划分。类似地，当二叉树节点具有等于MinBTSize的高度时，不考虑进一步的垂直划分。通过预测和变换处理进一步处理二叉树的叶节点，而无需任何进一步的分割。在JEM中，最大CTU尺寸为256×256个亮度样点。

图5A示出了通过使用QTBT进行块分割的示例，并且图5B示出了对应的树表示。实线指示四叉树划分，并且虚线指示二叉树划分。在二叉树的每个划分(即非叶)节点中，信令通知一个标志以指示使用哪种划分类型(即水平或垂直)，其中0指示水平划分，并且1指示垂直划分。对于四叉树划分，不需要指示划分类型，因为四叉树划分总是水平和垂直地划分块以产生具有相同尺寸的4个子块。

另外，QTBT方案支持亮度和色度具有单独的QTBT结构的能力。目前，对于P条带和B条带，一个CTU中的亮度CTB和色度CTB共享相同的 QTBT结构。然而，对于I条带，通过QTBT结构将亮度CTB分割为CU，并且通过另一个QTBT结构将色度CTB分割为色度CU。这意味着I条带中的CU由亮度分量的编码块或两个色度分量的编码块组成，并且P条带或B 条带中的CU由所有三个颜色分量的编码块组成。

在HEVC中，小块的帧间预测被限制，以减少运动补偿的存储器访问，使得对于4×8块和8×4块不支持双向预测，并且对于4×4块不支持帧间预测。在JEM的QTBT中，这些限制被移除。

1.4.多功能视频编码(VVC)的三叉树(TT)

图6A示出了四叉树(QT)分割的示例，并且图6B和图6C分别示出了垂直和水平二叉树(BT)分割的示例。在一些实施例中，除了四叉树和二叉树之外，还支持三叉树(TT)分割，例如，水平和垂直中心侧三叉树(如图 6D和图6E所示)。

在一些实现方式中，支持两级树：区域树(四叉树)和预测树(二叉树或三叉树)。首先通过区域树(RT)对CTU进行分割。可以用预测树(PT)进一步划分RT叶。还可以用PT进一步划分PT叶，直到达到最大PT深度。 PT叶是基本编码单元。为方便起见，它仍被称为CU。CU无法被进一步划分。预测和变换都以与JEM相同的方式应用于CU。整个分割结构命名为“多类型树”。

1.5.可选视频编码技术中的分割结构的示例

在一些实施例中，支持作为QTBT的一般化的称为多树类型(MTT)的树结构。在QTBT中，如图7所示，首先通过四叉树结构分割编码树单元 (CTU)。通过二叉树结构进一步分割四叉树叶节点。

MTT的结构由两种类型的树节点构成：区域树(RT)和预测树(PT)，支持九种类型的分割，如图8A-图8I所示。区域树可以递归地将CTU划分为方块，直到4×4尺寸的区域树叶节点。在区域树中的每个节点处，可以从三种树类型(二叉树、三叉树和非对称二叉树)中的一种形成预测树。在PT划分中，禁止在预测树的分支中具有四叉树分割。如在JEM中，亮度树和色度树在I条带中被分离。在图9A中示出了RT和PT的信令方法。

2HEVC/H.265中的帧间预测的示例

多年来，视频编码标准已经显着改进，并且现在部分地提供高编码效率和对更高分辨率的支持。诸如HEVC和H.265的最新标准基于其中利用时间预测加变换编码的混合视频编码结构。

2.1预测模式的示例

每个帧间预测的PU(预测单元)具有针对一个或两个参考图片列表的运动参数。在一些实施例中，运动参数包括运动矢量和参考图片索引。在其他实施例中，还可以使用inter_pred_idc信令通知两个参考图片列表中的一个的使用。在其他实施例中，运动矢量可以被显式地编码为相对于预测器的增量。

当用跳过模式对CU进行编码时，一个PU与CU相关联，并且不存在显著的残差系数、没有编码的运动矢量增量或参考图片索引。指定Merge模式，由此从相邻PU获得当前PU的运动参数，包括空间和时间候选。Merge模式可以应用于任何帧间预测的PU，不仅应用于跳过模式。Merge模式的可选方案是运动参数的显式传输，其中每一PU显式地信令通知运动矢量、每个参考图片列表的对应参考图片索引、以及参考图片列表使用。

当信令指示要使用两个参考图片列表中的一个时，从一个样点块产生PU。这被称为“单向预测”。单向预测可用于P条带和B条带两者。

当信令指示要使用参考图片列表中的两者时，从两个样点块产生PU。这被称为“双向预测”。双向预测仅可用于B条带。

2.1.1构造Merge模式的候选的实施例

当使用Merge模式预测PU时，从比特流解析指向Merge候选列表中的条目的索引并将其用于检索运动信息。可以根据以下步骤的序列概述该列表的构造：

步骤1：初始候选推导

步骤1.1：空间候选推导

步骤1.2：空间候选的冗余检查

步骤1.3：时间候选推导

步骤2：附加候选插入

步骤2.1：创建双向预测候选

步骤2.2：插入零运动候选

图9B示出了基于上面概述的步骤的序列构造Merge候选列表的示例。对于空间Merge候选推导，在位于五个不同位置的候选当中选择最多四个 Merge候选。对于时间Merge候选推导，在两个候选当中选择最多一个Merge 候选。由于在解码器处假设每个PU的恒定数量的候选，因此当候选的数量未达到在条带头中信令通知的Merge候选的最大数量(MaxNumMergeCand) 时，生成附加候选。由于候选的数量是恒定的，因此使用舍位一元二值化 (Unary Binarization，TU)来编码最佳Merge候选的索引。如果CU的尺寸等于8，则当前CU的所有PU共享单个Merge候选列表，其与2N×2N预测单元的Merge候选列表相同。

2.1.2构造空间Merge候选

在对空间Merge候选的推导中，在位于图10中描绘的位置的候选当中选择最多四个Merge候选。推导的顺序是A1、B1、B0、A0和B2。仅当位置 A1、B1、B0、A0的任何PU不可用(例如，因为它属于另一个条带或片)或者是帧内编码的时，才考虑位置B2。在添加位置A1处的候选之后，对剩余候选的添加进行冗余检查，其确保具有相同运动信息的候选被排除在列表之外，从而改进编码效率。

为了降低计算复杂度，在所提到的冗余检查中不考虑所有可能的候选对。相反，只考虑与图11中的箭头链接的对，并且如果用于冗余检查的对应候选没有相同的运动信息，则候选仅被添加到列表中。重复运动信息的另一个源是与不同于2N×2N的分割相关联的“第二PU”。作为示例，图12A和图12B 分别描绘了N×2N和2N×N的情况下的第二PU。当当前PU被分割为N× 2N时，位置A1处的候选不被考虑用于列表构造。在一些实施例中，添加该候选可能导致两个预测单元具有相同的运动信息，这对于在编码单元中只具有一个PU是冗余的。类似地，当当前PU被分割为2N×N时，不考虑位置 B1。

2.1.3构造时态Merge候选

在该步骤中，仅一个候选被添加到列表。具体地，在对该时间Merge候选的推导中，基于属于与给定参考图片列表内的当前图片具有最小POC差异的图片的共定位PU来推导缩放运动矢量。在条带头中显式地信令通知要用于推导共定位PU的参考图片列表。

图13示出了对时间Merge候选(如虚线)的缩放运动矢量的推导的示例，该缩放运动矢量使用POC距离tb和td从共定位PU的运动矢量缩放，其中tb被定义为当前图片的参考图片与当前图片之间的POC差异，并且td 被定义为共定位图片的参考图片与共定位图片之间的POC差异。时间Merge 候选的参考图片索引被设置为等于零。对于B条带，两个运动矢量(一个用于参考图片列表0，并且另一个用于参考图片列表1)被获得并组合，以产生双向预测Merge候选。

在属于参考帧的共定位PU(Y)中，在候选C0和C1之间选择时间候选的位置，如图14中所描绘的。如果位置C0处的PU不可用、是帧内编码的、或者在当前CTU外部，则使用位置C1。否则，位置C0用于对时间Merge候选的推导中。

2.1.4构造附加类型的Merge候选

除了时空Merge候选之外，存在两种附加类型的Merge候选：组合的双向预测Merge候选和零Merge候选。通过利用时空Merge候选来生成组合的双向预测Merge候选。组合的双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一个初始候选的第二参考图片列表运动参数组合来生成组合的双向预测候选。如果这两个元组提供不同的运动假设，它们将形成新的双向预测候选。

图15示出了该过程的示例，其中具有mvL0和refIdxL0或mvL1和 refIdxL1的原始列表(左边的1510)中的两个候选用于创建被添加到最终列表(右边的1520)的组合的双向预测Merge候选。

插入零运动候选以填充Merge候选列表中的剩余条目，并因此达到MaxNumMergeCand容量。这些候选具有零空间位移和参考图片索引，其从零开始并且每当新的零运动候选被添加到列表时增加。由这些候选使用的参考帧的数量对于单向预测和双向预测分别是1和2。在一些实施例中，不对这些候选执行冗余检查。

2.1.5用于并行处理的运动估计区域的示例

为了加速编码过程，可以并行执行运动估计，由此同时推导给定区域内部的所有预测单元的运动矢量。从空间邻域推导Merge候选可能干扰并行处理，因为一个预测单元不能从邻近PU推导运动参数，直到其相关联的运动估计被完成。为了缓和编码效率和处理时延之间的折衷，可以定义运动估计区域(Motion Estimation Region，MER)。可以使用“log2_parallel_merge_level_minus2”语法元素在图片参数集(PPS)中信令通知MER的尺寸。当定义MER时，落入相同区域的Merge候选被标记为不可用，并且因此在列表构造中不考虑。

表1中示出了图片参数集(PPS)原始字节序列有效载荷(Raw Byte SequencePayload RBSP)语法，其中log2_parallel_merge_level_minus2加2指定变量Log2ParMrgLevel的值，其用于Merge模式的亮度运动矢量的推导过程以及现有视频编码标准中指定的空间Merge候选的推导过程中。 log2_parallel_merge_level_minus2的值必须在0至CtbLog2SizeY-2的范围内，包括0和CtbLog2SizeY-2。

变量Log2ParMrgLevel如下推导：

Log2ParMrgLevel＝log2_parallel_merge_level_minus2+2

注意，Log2ParMrgLevel的值指示Merge候选列表的并行推导的内置能力。例如，当Log2ParMrgLevel等于6时，被包含在64×64块中的所有预测单元(PU)和编码单元(CU)的Merge候选列表可以并行地推导。

表1：一般图片参数设置RBSP语法

2.2AMVP模式中的运动矢量预测的实施例

运动矢量预测利用运动矢量与相邻PU的时空相关性，其用于运动参数的显式传输。它通过首先检查左边、上面时间上相邻的PU位置的可用性，移除冗余候选并添加零矢量以使候选列表为恒定长度来构造运动矢量候选列表。然后，编码器可以从候选列表选择最佳预测器，并发送指示所选择的候选的对应索引。与Merge索引信令类似，使用舍位一元来编码最佳运动矢量候选的索引。

2.2.1构造运动矢量预测候选的示例

图16A和图16B概述了运动矢量预测候选的推导过程，并且可以针对以 refidx作为输入的每个参考图片列表来实现。

在运动矢量预测中，考虑两种类型的运动矢量候选：空间运动矢量候选和时间运动矢量候选。对于空间运动矢量候选推导，最终基于位于如先前在图10中所示的五个不同位置的每个PU的运动矢量推导两个运动矢量候选。

对于时间运动矢量候选推导，从基于两个不同的共定位位置而推导的两个候选选择一个运动矢量候选。在产生第一时空候选列表之后，移除列表中的重复的运动矢量候选。如果潜在候选的数量大于二，则从列表移除其相关联的参考图片列表内的参考图片索引大于1的运动矢量候选。如果时空运动矢量候选的数量小于二，则将附加的零运动矢量候选添加到列表。

2.2.2构造空间运动矢量候选

在对空间运动矢量候选的推导中，在从位于如先前在图10中所示的位置的PU推导的五个潜在候选当中考虑最多两个候选。那些位置与运动Merge 的位置相同。当前PU的左侧的推导顺序被定义为A₀、A₁、以及缩放A₀、缩放A₁。当前PU的上侧的推导顺序被定义为B₀、B₁、B₂、缩放B₀、缩放B₁、缩放B₂。对于每一侧，因此存在可用作运动矢量候选的四种情况，其中两种情况不需要使用空间缩放，并且两种情况使用空间缩放。四种不同的情况概述如下：

--没有空间缩放

(1)相同的参考图片列表，以及相同的参考图片索引(相同的 POC)

(2)不同的参考图片列表，但是相同的参考图片(相同的POC) --空间缩放

(3)相同的参考图片列表，但是不同的参考图片(不同的POC)

(4)不同的参考图片列表，以及不同的参考图片(不同的POC)

首先检查非空间缩放情况，然后是允许空间缩放的情况。当POC在相邻 PU的参考图片与当前PU的参考图片之间不同而不管参考图片列表时，考虑空间缩放。如果左边候选的所有PU都不可用或者是帧内编码的，则允许针对以上运动矢量的缩放以帮助对左边和上面MV候选的并行推导。否则，针对以上运动矢量不允许空间缩放。

如图17中的示例所示，对于空间缩放情况，以与时间缩放类似的方式缩放相邻PU的运动矢量。一个差异是参考图片列表和当前PU的索引被给出作为输入；实际缩放过程与时间缩放的过程相同。

2.2.3构造时间运动矢量候选

除了参考图片索引推导外，对时间Merge候选的推导的所有过程与对空间运动矢量候选的推导的所有过程相同(如图14中的示例所示)。在一些实施例中，将参考图片索引信令通知给解码器。

2.2.4 Merge/AMVP信息的信令

对于AMVP模式，可以在比特流中信令通知四个部分，例如，预测方向、参考索引、MVD和mv预测器候选索引，其在表2-4中所示的语法的上下文中描述。而对于Merge模式，可能只需要信令通知Merge索引。

表2：一般条带分段标头语法

表3：预测单元语法

表4：运动矢量差语法

对应语义包括：

five_minus_max_num_merge_cand指定从5减去的条带中支持的Merge MVP候选的最大数量。Merge MVP候选的最大数量MaxNumMergeCand如下推导：

MaxNumMergeCand＝5-five_minus_max_num_merge_cand

MaxNumMergeCand的值必须在1至5的范围内，包括1和5。

merge_flag[x0][y0]指定是否从相邻的帧间预测分割推断出当前预测单元的帧间预测参数。阵列索引x0、y0指定所考虑的预测块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。

当merge_flag[x0][y0]不存在时，推断如下：

--如果CuPredMode[x0][y0]等于MODE_SKIP，则merge_flag[x0][y0] 被推断为等于1。

--否则，merge_flag[x0][y0]被推断为等于0。

merge_idx[x0][y0]指定Merge候选列表的Merge候选索引，其中x0、y0 指定所考虑的预测块的左上亮度样点相对于图片的左上亮度样点的位置(x0， y0)。

3.联合探索模型(JEM)中的帧间预测方法的示例

在一些实施例中，使用已知为联合探索模型(JEM)的参考软件来探索未来视频编码技术。在JEM中，在若干编码工具中采用基于子块的预测，诸如仿射预测、可选时域运动矢量预测(ATMVP)、时空运动矢量预测(STMVP)、双向光流(bi-directional opticalflow，BIO)、帧速率上转换(FRUC)、局部自适应运动矢量分辨率(Locally AdaptiveMotion Vector Resolution，LAMVR)、重叠块运动补偿(Overlapped Block MotionCompensation，OBMC)、局部光照补偿(Local Illumination Compensation，LIC)和解码器侧运动矢量细化 (DMVR)。

3.1基于子CU的运动矢量预测的示例

在具有四叉树加二叉树(QTBT)的JEM中，每个CU可以具有每个预测方向的运动参数的至多一个集合。在一些实施例中，通过将大CU划分为子CU并且推导大CU的所有子CU的运动信息，在编码器中考虑两个子CU 级别运动矢量预测方法。可选时域运动矢量预测(ATMVP)方法允许每个CU 从比并置参考图片中的当前CU小的多个块提取运动信息的多个集合。在时空运动矢量预测(STMVP)方法中，通过使用时间运动矢量预测器和空间相邻运动矢量来递归地推导子CU的运动矢量。在一些实施例中，并且为了保留子CU运动预测的更准确的运动场，可以禁用参考帧的运动压缩。

3.1.1可选时域运动矢量预测(ATMVP)的示例

在ATMVP方法中，通过从比当前CU小的块提取运动信息(包括运动矢量和参考索引)的多个集合来修改时间运动矢量预测(TMVP)方法。

图18示出了用于CU 1800的ATMVP运动预测过程的示例。ATMVP方法以两个步骤预测CU 1800内的子CU 1801的运动矢量。第一步骤是用时间矢量识别参考图片1850中的对应块1851。参考图片1850也称为运动源图片。第二步骤是将当前CU 1800划分为子CU1801，并从对应于每个子CU的块获得运动矢量以及每个子CU的参考索引。

在第一步骤中，参考图片1850和对应块由当前CU 1800的空间相邻块的运动信息确定。为了避免相邻块的重复扫描过程，使用当前CU 1800的 Merge候选列表中的第一Merge候选。第一可用运动矢量以及其相关联的参考索引被设置为时间矢量和运动源图片的索引。这样，与TMVP相比，可以更准确地识别对应块，其中对应块(有时称为并置块)总是相对于当前CU处于右下或中心位置。

在一个示例中，如果第一Merge候选来自左边相邻块(即图19中的A₁)，则利用相关联的MV和参考图片来识别源块和源图片。

在第二步骤中，通过向当前CU的坐标添加时间矢量，通过运动源图片 1850中的时间矢量识别子CU 1851的对应块。对于每个子CU，其对应块的运动信息(例如，覆盖中心样点的最小运动网格)用于推导子CU的运动信息。在识别出对应的N×N块的运动信息之后，以与HEVC的TMVP相同的方式将其转换为当前子CU的运动矢量和参考索引，其中运动缩放和其他过程适用。例如，解码器检查是否满足低延迟条件(例如，当前图片的所有参考图片的POC小于当前图片的POC)，并且可能使用运动矢量MVx(例如，对应于参考图片列表X的运动矢量)来预测每个子CU的运动矢量MVy(例如，其中X等于0或1，并且Y等于1-X)。

3.1.2时空运动矢量预测(STMVP)的示例

在STMVP方法中，按照光栅扫描顺序递归地推导子CU的运动矢量。图 20示出了具有四个子块和相邻块的一个CU的示例。考虑包括四个4×4子 CU A(2001)、子CU B(2002)、子CU C(2003)和子CU D(2004)的8× 8CU 2000。当前帧中的相邻4×4块标记为a(2011)、b(2012)、c(2013) 和d(2014)。

子CU A的运动推导通过识别其两个空间邻域开始。第一邻域是子CU A 2001上面的N×N块(块c 2013)。如果该块c(2013)不可用或是帧内编码的，则检查子CU A(2001)上面的其他N×N块(在块c 2013处开始，从左到右)。第二邻域是子CU A 2001的左边的块(块b 2012)。如果块b(2012) 不可用或是帧内编码的，则检查子CU A 2001的左边的其他块(在块b 2012 处开始，从上到下)。从每个列表的相邻块获得的运动信息被缩放为给定列表的第一参考帧。接下来，通过按照与HEVC中指定的TMVP推导相同过程来推导子块A 2001的时间运动矢量预测器(TMVP)。在块D 2004处的并置块的运动信息被提取并相应地缩放。最后，在检索和缩放运动信息之后，针对每个参考列表单独地平均所有可用运动矢量。平均运动矢量被指定为当前子 CU的运动矢量。

3.1.3子CU运动预测模式信令的示例

在一些实施例中，子CU模式被启用作为附加Merge候选，并且不需要附加语法元素来信令通知模式。两个附加Merge候选被添加到每个CU的 Merge候选列表以表示ATMVP模式和STMVP模式。在其他实施例中，如果序列参数集指示启用了ATMVP和STMVP，则可以使用多达七个Merge候选。附加Merge候选的编码逻辑与HM中的Merge候选的编码逻辑相同，这意味着，对于P条带或B条带中的每个CU，针对两个附加Merge候选可能还需要两次RD检查。在一些实施例中，例如，JEM，通过CABAC(Context- based Adaptive Binary ArithmeticCoding，基于上下文的自适应二进制算术编码)对Merge索引的所有二进制位进行上下文编码。在其他实施例中，例如， HEVC，仅对第一二进制位进行上下文编码，并且对剩余的二进制位进行上下文旁路编码。

3.2自适应运动矢量差分辨率的示例

在一些实施例中，当条带头中的use_integer_mv_flag等于0时，以四分之一(quarter)亮度样点为单位信令通知(在PU的运动矢量和预测运动矢量之间的)运动矢量差(MVD)。在JEM中，引入了局部自适应运动矢量分辨率(LAMVR)。在JEM中，可以以四分之一亮度样点、整数亮度样点或四亮度样点为单位编码MVD。以编码单元(CU)级别控制MVD分辨率，并且对于具有至少一个非零MVD分量的每个CU，有条件地信令通知MVD分辨率标志。

对于具有至少一个非零MVD分量的CU，信令通知第一标志以指示在 CU中是否使用四分之一亮度样点MV精度。当第一标志(等于1)指示未使用四分之一亮度样点MV精度时，信令通知另一个标志以指示使用整数亮度样点MV精度还是四亮度样点MV精度。

当CU的第一MVD分辨率标志为零或未针对CU编码(意味着CU中的所有MVD均为零)时，四分之一亮度样点MV分辨率用于CU。当CU使用整数亮度样点MV精度或四亮度样点MV精度时，CU的AMVP候选列表中的MVP被取整为对应精度。

在编码器中，CU级别RD检查用于确定哪个MVD分辨率要被用于CU。也就是说，对于每个MVD分辨率，执行CU级别RD检查三次。为了加快编码器速度，在JEM中应用以下编码方案：

--在具有正常四分之一亮度样点MVD分辨率的CU的RD检查期间，存储当前CU(整数亮度样点准度)的运动信息。存储的运动信息(取整之后)被用作在针对具有整数亮度样点和4亮度样点MVD分辨率的相同CU 的RD检查期间的进一步小范围运动矢量细化的起始点，使得耗时的运动估计过程不会重复三次。

--有条件地调用具有4亮度样点MVD分辨率的CU的RD检查。对于CU，当整数亮度样点MVD分辨率的RD成本远大于四分之一亮度样点 MVD分辨率的RD成本时，跳过对于CU的4亮度样点MVD分辨率的RD 检查。

3.2.1 AMVP候选列表构造的示例

在JEM中，该过程类似于HEVC设计。然而，当当前块选择更低精度的 MV(例如，整数精度)时，可以应用取整操作。在当前实现方式中，在从空间位置选择2个候选之后，如果两者都可用，则将这两个候选取整，然后进行修剪。

3.3模式匹配的运动矢量推导(PMMVD)的示例

PMMVD模式是基于帧速率上转换(FRUC)方法的特殊Merge模式。用该模式，不信令通知块的运动信息，而是在解码器侧推导。

当CU的Merge标志为真时，可以对CU信令通知FRUC标志。当FRUC 标志为假时，可以信令通知Merge索引并使用常规Merge模式。当FRUC标志为真时，可以信令通知附加FRUC模式标志以指示要使用哪个方法(例如，双向匹配或模板匹配)来推导块的运动信息。

在编码器侧，关于是否对CU使用FRUC Merge模式的判定是基于对正常Merge候选所做的RD成本选择。例如，通过使用RD成本选择对CU检查多个匹配模式(例如，双向匹配和模板匹配)。产生最小成本的一个匹配模式进一步与其他CU模式比较。如果FRUC匹配模式是最有效的模式，则对于CU将FRUC标志设置为真，并且使用相关匹配模式。

通常，FRUC Merge模式中的运动推导过程具有两个步骤：首先执行CU 级别运动搜索，然后执行子CU级别运动细化。在CU级别，基于双向匹配或模板匹配针对整个CU推导初始运动矢量。首先，生成MV候选列表，并且选择产生最小匹配成本的候选作为进一步CU级别细化的起始点。然后，执行起始点周围的基于双向匹配或模板匹配的本地搜索。将最小匹配成本的 MV结果作为整个CU的MV。随后，以推导的CU运动矢量作为起始点，以子CU级别进一步细化运动信息。

例如，针对W×HCU运动信息推导执行以下推导过程。在第一阶段，推导整个W×HCU的MV。在第二阶段，CU被进一步划分为M×M个子CU。M的值按公式(3)计算。D是在JEM中默认设置为3的预定义划分深度。然后推导每个子CU的MV。

图21示出了在帧速率上转换(FRUC)方法中使用的双向匹配的示例。双向匹配用于通过沿着两个不同参考图片(2110、2111)中的当前CU(2100) 的运动轨迹找到两个块之间的最接近匹配来推导当前CU的运动信息。在连续运动轨迹的假设下，指向两个参考块的运动矢量MV0(2101)和MV1(2102) 和当前图片与两个参考图片之间的时间距离(例如，TD0(2103)和TD1(2104)) 成比例。在一些实施例中，当当前图片2100在时间上在两个参考图片(2110、 2111)之间并且从当前图片到两个参考图片的时间距离相同时，双向匹配变为基于镜像的双向MV。

图22示出了在帧速率上转换(FRUC)方法中使用的模板匹配的示例。模板匹配可以用于通过找到当前图片中的模板(例如，当前CU的上和/或左边相邻块)与参考图片2210中的块(例如，与模板尺寸相同)之间的最接近匹配来推导当前CU 2200的运动信息。除了上述FRUC Merge模式之外，模板匹配也可以应用于AMVP模式。在JEM和HEVC中，AMVP具有两个候选。用模板匹配方法，可以推导新的候选。如果通过模板匹配的新推导的候选与第一现有AMVP候选不同，则将其插入AMVP候选列表的最开端，然后(例如，通过移除第二现有AMVP候选)将列表尺寸设置为二。当应用于 AMVP模式时，仅应用CU级别搜索。

在CU级别的MV候选集可以包括以下：(1)如果当前CU处于AMVP 模式的原始AMVP候选，(2)所有Merge候选，(3)内插MV场中的若干 MV(稍后描述)，以及上边和左边相邻运动矢量。

当使用双向匹配时，Merge候选的每个有效MV可以用作输入以在假设双向匹配的情况下生成MV对。例如，Merge候选的一个有效MV是(MVa、 ref_a)在参考列表A处。然后，在其他参考列表B中找到其配对双向MV的参考图片ref_b，使得ref_a和ref_b在时间上位于当前图片的不同侧。如果这样的 ref_b在参考列表B中不可用，则ref_b被确定为与ref_a不同的参考，并且其到当前图片的时间距离是列表B中的最小一个。在确定ref_b之后，基于当前图片和refa、ref_b之间的时间距离通过缩放MVa来推导MVb。

在一些实现方式中，还可以将来自内插MV场的四个MV添加到CU级别候选列表。更具体地，添加当前CU的位置(0，0)、(W/2，0)、(0，H/2) 和(W/2，H/2)处的内插MV。当FRUC被应用于AMVP模式中时，原始 AMVP候选也被添加到CU级别MV候选集。在一些实现方式中，在CU级别，可以将AMVP CU的15个MV和Merge CU的13个MV添加到候选列表。

在子CU级别的MV候选集包括从CU级别搜索确定的MV，(2)上边、左边、左上和右上相邻MV，(3)来自参考图片的并置MV的缩放版本，(4) 一个或多个ATMVP候选(例如，多达四个)，以及(5)一个或多个STMVP 候选(例如，多达四个)。来自参考图片的缩放MV如下推导。遍历两个列表中的参考图片。参考图片中的子CU的并置位置处的MV被缩放为起始CU 级别MV的参考。ATMVP和STMVP候选可以是前四个。在子CU级别，将一个或多个MV(例如，多达17个)添加到候选列表。

内插MV场的生成。在对帧进行编码之前，基于单向ME针对整个图片生成内插运动场。然后，运动场可以稍后用作CU级别或子CU级MV候选。

在一些实施例中，两个参考列表中的每个参考图片的运动场以4×4块级别遍历。图23示出了FRUC方法中的单向运动估计(ME)2300的示例。对于每个4×4块，如果与块相关联的运动穿过当前图片中的4×4块并且块未被分配任何内插运动，则参考块的运动根据时间距离TD0和TD1缩放为当前图片(与HEVC中的TMVP的MV缩放的方式相同的方式)，并且缩放的运动被分配给当前帧中的块。如果没有将缩放的MV分配给4×4块，则在内插运动场中将块的运动标记为不可用。

插值和匹配成本。当运动矢量指向分数样点位置时，需要运动补偿内插。为了降低复杂性，双线性内插代替常规8抽头HEVC内插可以用于双向匹配和模板匹配两者。

匹配成本的计算在不同步骤处略微不同。当从CU级别的候选集选择候选时，匹配成本可以是双向匹配或模板匹配的绝对和差(Absolute Sum Difference，SAD)。在确定起始MV之后，子CU级别搜索的双向匹配的匹配成本C计算如下：

这里，w是加权因子。在一些实施例中，w可以根据经验设置为4。MV 和MV^s分别指示当前MV和起始MV。SAD仍然可以用作子CU级别搜索的模板匹配的匹配成本。

在FRUC模式中，通过仅使用亮度样点来推导MV。推导的运动将用于 MC帧间预测的亮度和色度两者。在决定MV之后，使用用于亮度的8抽头内插滤波器和用于色度的4抽头内插滤波器来执行最终MC。

MV细化是基于模式的MV搜索，其具有双向匹配成本或模板匹配成本的标准。在JEM中，支持两个搜索模式—无限制的中心偏置菱形搜索 (Unrestricted Center-BiasedDiamond Search，UCBDS)和分别在CU级别和子CU级别的MV细化的自适应交叉搜索。对于CU级别和子CU级别MV 细化，以四分之一亮度样点MV准度直接搜索MV，并且接着是八分之一亮度样点MV细化。CU步骤和子CU步骤的MV细化的搜索范围被设置为等于8个亮度样点。

在双向匹配Merge模式中，应用双向预测，因为CU的运动信息是基于沿着两个不同参考图片中的当前CU的运动轨迹的两个块之间的最接近匹配而推导的。在模板匹配Merge模式中，编码器可以在来自列表0的单向预测、来自列表1的单向预测、或者CU的双向预测当中选择。选择可以基于模板匹配成本，如下所示：

如果costBi<＝factor*min(cost0，cost1)

使用双向预测；

否则，如果cost0<＝cost1

使用来自list0的单向预测；

否则，

使用来自list1的单向预测；

这里，cost0是list0模板匹配的SAD，cost1是list1模板匹配的SAD，并且costBi是双向预测模板匹配的SAD。例如，当因子的值等于1.25时，这意味着选择过程偏向于双向预测。帧间预测方向选择可以应用于CU级别模板匹配过程。

3.4解码器侧运动矢量细化(DMVR)的示例

在双向预测操作中，为了预测一个块区域，分别使用list0的运动矢量(MV) 和list1的MV形成的两个预测块被组合以形成单个预测信令。在解码器侧运动矢量细化(DMVR)方法中，通过双向模板匹配过程进一步细化双向预测的两个运动矢量。双向模板匹配在解码器中应用，以在双向模板和参考图片中的重建样点之间执行基于失真的搜索，以便获得细化的MV而不发送附加运动信息。

在DMVR中，分别从list0的初始MV0和list1的MV1生成双向模板作为两个预测块的加权组合(即平均)，如图24所示。模板匹配操作包括计算所生成的模板与参考图片中的(初始预测块周围的)样点区域之间的成本度量。对于两个参考图片中的每一个，产生最小模板成本的MV被视为该列表的更新后的MV以替换原始MV。在JEM中，针对每个列表搜索九个MV候选。九个MV候选包括原始MV和8个围绕的MV，其中一个亮度样点在水平或垂直方向上或两个方向上与原始MV偏移。最终，两个新的MV(即如图24所示的MV0'和MV1')用于生成最终的双向预测结果。绝对误差和(SAD) 用作成本度量。

DMVR被应用于双向预测的Merge模式，其中一个MV来自过去的参考图片，并且另一个MV来自未来的参考图片，而无需发送附加语法元素。在 JEM中，当针对CU启用LIC、仿射运动、FRUC或子CU Merge候选时，不应用DMVR。

3.5局部光照补偿

局部光照补偿(IC)基于用于光照改变的线性模型，使用缩放因子a和偏移b。并且针对每个帧间模式编码的编码单元(CU)自适应地启用或禁用局部光照补偿。

当IC应用于CU时，采用最小平方误差方法通过使用当前CU的相邻样点及其对应的参考样点来推导参数a和b。更具体地，如图25所示，使用CU 的子采样的(2:1子采样)相邻样点和参考图片中的(由当前CU或子CU的运动信息识别的)对应样点。IC参数被推导并分别应用于每个预测方向。

当以Merge模式对CU进行编码时，以与Merge模式中的运动信息复制类似的方式从相邻块复制IC标志；否则，对CU信令通知IC标志以指示LIC 是否适用。

当针对图片启用IC时，需要附加CU级别RD检查以确定是否将LIC应用于CU。当针对CU启用IC时，对于整数像素运动搜索和分数像素运动搜索分别使用均值移除绝对和差(Mean-Removed Sum of Absolute Diffefference， MR-SAD)以及均值移除绝对Hadamard变换和差(Mean-Removed Sum of Absolute Hadamard-Transformed Difference，MR-SATD)，而不是SAD和SATD。

为了降低编码复杂度，在JEM中应用以下编码方案。当当前图片与其参考图片之间没有明显的光照改变时，针对全部图片禁用IC。为了识别这种情况，在编码器处计算当前图片的直方图和当前图片的每个参考图片。如果当前图片与当前图片的每个参考图片之间的直方图差异小于给定阈值，则针对当前图片禁用IC；否则，针对当前图片启用IC。

3.6具有双向匹配细化的Merge/跳过模式的示例

首先通过利用冗余检查将空间相邻和时间相邻块的运动矢量和参考索引插入候选列表中来构造Merge候选列表，直到可用候选的数量达到最大候选尺寸19。通过根据预定义的插入顺序，在插入空间候选、时间候选、仿射候选、高级时间MVP(AdvancedTemporal MVP，ATMVP)候选、时空MVP (Spatial Temporal，STMVP)候选和HEVC中使用的附加候选(组合候选和零候选)来构造Merge/跳过模式的Merge候选列表，并且在图25中所示的编号块的上下文中：

(1)块1-4的空间候选

(2)块1-4的外推(extrapolated)仿射候选

(3)ATMVP

(4)STMVP

(5)虚拟仿射候选

(6)空间候选(块5)(仅当可用候选的数量小于6时使用)

(7)外推仿射候选(块5)

(8)时间候选(如在HEVC中推导的)

(9)非邻近空间候选，其后是外推仿射候选(块6至49)

(10)组合候选

(11)零候选

可以注意到，除了STMVP和仿射之外，IC标志也从Merge候选继承。而且，对于前四个空间候选，在具有单向预测的候选之前插入双向预测候选。

4.二值化方法和Merge索引编码的示例

在一些实施例中，可以选择若干二值化方法。对于一个语法元素，应该首先基于分布将相关值二值化为二进制串。对于每个二进制位，可以用上下文或旁路编码方法对其进行编码。

4.1示例性一元和舍位一元(TU)二值化过程

对于每个无符号整数值符号x≥0，CABAC中的一元码字由x个“1”比特加上终止“0”比特组成。仅针对0≤x≤S的x定义舍位一元(TU)码，其中对于x<S，该码由一元码给出，而对于x＝S，终止“0”比特被忽略，使得x＝S的TU码仅由x个“1”比特组成的码字给出。

表5：一元二值化的二进制串

表6：舍位一元二值化的二进制串

4.2示例性K阶Exp-Golomb(K-th order Exp-Golomb，EGk)二值化过程

对于EGk二值化，具有相同码长k+2·l(x)+1的符号的数量在几何上增长。通过反转理想码长与符号概率之间的香农关系，我们可以例如容易推断出EG0是概率分布函数(pdf)p(x)＝1/2·(x+1)-2(其中x≥0)的最优码。这意味着对于适当选择的参数k，EGk码表示通常观察到的概率分布函数的尾部的理想无前缀码的相当好的一阶近似。

表7：EG0二值化的二进制串

4.3示例性舍位Rice(Truncated Rice，TR)二值化过程

该过程的输入是对TR二值化、cMax和cRiceParam的请求。

该过程的输出是将每个值symbolVal与对应的二进制串相关联的TR二值化。

TR二进制串是前缀二进制串和后缀二进制串(当存在时)的串联。

为了推导前缀二进制串，以下适用：

--symbolVal的前缀值prefixVal如下推导：

prefixVal＝symbolVal>>cRiceParam

--TR二进制串的前缀指定如下：

如果prefixVal小于cMax>>cRiceParam，则前缀二进制串是由 binIdx索引的长度为prefixVal+1的比特串。小于prefixVal的binIdx的二进制位等于1。binIdx等于prefixVal的二进制位等于0。

当cMax大于symbolVal且cRiceParam大于0时，存在TR二进制串的后缀，并且如下推导：

--后缀值suffixVal如下推导：

suffixVal＝symbolVal-((prefixVal)<<cRiceParam)

--通过以等于(1<<cRiceParam)-1的cMax值调用suffixVal的固定长度(Fixed-Length，FL)二值化过程来指定TR二进制串的后缀。

注意，对于输入参数cRiceParam＝0，TR二值化恰好是舍位一元二值化，并且其总是以等于被解码的语法元素的最大可能值的cMax值而调用。

4.4示例性固定长度(FL)二值化过程

该过程的输入是对FL二值化和cMax的请求。

该过程的输出是将每个值symbolVal与对应的二进制串相关联的FL二值化。

通过使用符号值symbolVal的fixedLength比特无符号整数二进制串来构造FL二值化，其中fixedLength＝Ceil(Log2(cMax+1))。FL二值化的二进制位的索引使得binIdx＝0与最高有效位相关，其中binIdx的值向最低有效位增加。

表8：FL二值化的二进制串(cMax＝7)

4.5merge_idx的示例性编码

如HEVC规范中所指定的，如果允许的Merge候选的总数大于1，则首先将Merge索引二值化为二进制串。

表9：二值化和编码merge_idx的二进制位的方式

使用cRiceParam等于0的TR，即TU。merge_idx的第一二进制位用一个上下文编码，并且剩余的二进制位(如果存在)用旁路编码。

5.JEM中的帧内预测的示例实施例

5.1具有67个帧内预测模式的帧内模式编码的示例

为了捕获在自然视频中呈现的任意边缘方向，定向帧内模式的数量从如在HEVC中使用的33扩展到65。附加定向模式在图27中被描绘为浅灰色虚线箭头，并且平面和DC模式保持不变。这些更密集的定向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。

5.2亮度帧内模式编码的示例

在JEM中，帧内预测模式的总数已经从HEVC中的35增加到67。图27 描绘了67个帧内预测模式的示例。

为了适应增加数量的定向帧内模式，使用具有6个最可能模式(Most ProbableMode，MPM)的帧内模式编码方法。涉及两个主要技术方面：1)对 6个MPM的推导，以及2)6个MPM和非MPM模式的熵编码。

在JEM中，被包括在MPM列表中的模式被分类为三组：

--邻域帧内模式

--推导的帧内模式

--默认帧内模式

使用五个相邻帧内预测模式来形成MPM列表。5个相邻块的那些位置与 Merge模式中使用的那些位置相同，即如图28所示的左边(L)、上面(A)、左下(BL)、右上(AR)和左上(AL)。通过将5个邻域帧内模式以及平面和DC模式插入MPM列表来形成初始MPM列表。修剪过程用于移除重复模式，以便只有唯一模式可以被包括在MPM列表中。初始模式被包括的顺序是：左边、上面、平面、DC、左下、右上、并且然后左上。

如果MPM列表未满(即列表中少于6个MPM候选)，则添加推导模式；通过将-1或+1添加到已被包括在MPM列表中的角度模式(angular mode) 来获得这些帧内模式。这样的附加推导模式不是从非角度模式(DC或平面) 生成的。

最后，如果MPM列表仍未完成，则按以下顺序添加默认模式：垂直、水平、模式2和对角线模式。作为该过程的结果，生成6个MPM模式的唯一列表。

对于使用6个MPM对所选择的模式进行熵编码，使用舍位一元二值化。前三个二进制位用上下文编码，该上下文取决于与当前信令通知的二进制位相关的MPM模式。MPM模式分类为以下三类中的一类：(a)主要为水平的模式(即MPM模式数量小于或等于对角线方向的模式数量)，(b)主要为垂直的模式(即MPM模式大于对角线方向的模式数量，以及(c)非角度(DC 和平面)类。因此，基于该分类，三个上下文用于信令通知MPM索引。

用于选择剩余的61个非MPM的编码如下进行。61个非MPM首先划分为两个集合：所选择的模式集和非选择模式集。所选择的模式集包含16个模式，其余模式(45个模式)分配给未选择模式集。当前模式所属的模式集在具有标志的比特流中指示。如果要指示的模式在所选择的模式集内，则用4 比特固定长度码信令通知所选择的模式，并且如果要指示的模式来自未选择模式集，则用舍位二进制码信令通知所选择的模式。所选择的模式集是通过如下所示对61个非MPM模式进行子采样而生成的：

--所选择的模式集＝{0,4,8,12,16,20…60}

--未选择模式集＝{1,2,3,5,6,7,9,10…59}

在编码器侧，使用HM的类似的两阶段帧内模式判定过程。在第一阶段 (即帧内模式预选阶段)中，使用更低复杂度的绝对变换差和(Sum of Absolute TransformDifference，SATD)成本来从所有可用帧内模式预选N个帧内预测模式。在第二阶段中，进一步应用更高复杂度的R-D成本选择以从N个候选选择一个帧内预测模式。然而，当应用67个帧内预测模式时，由于可用模式的总数大致加倍，所以如果直接使用HM的相同的编码器模式判定过程，则帧内模式预选阶段的复杂度也将增加。为了最小化编码器复杂度增加，执行两步帧内模式预选过程。在第一步，基于绝对变换差和(SATD)度量，从(图 27中由黑色实线箭头指示的)原始的35个帧内预测模式选择N(N取决于帧内预测块尺寸)个模式；在第二步，通过SATD进一步检查所选择的N个模式的直接邻域(如图27中由浅灰色虚线箭头指示的附加帧内预测方向)，并且更新所选择的N个模式的列表。最后，如果尚未包括MPM，则将前M个 MPM添加到N个模式，并且针对第二阶段R-D成本检查生成候选帧内预测模式的最终列表，其以与HM相同的方式完成。基于HM中的原始设置，M 的值增加1，并且N稍微减小，如下表10所示。

表10：帧内模式预选步骤中的模式候选的数量

帧内预测块尺寸	4×4	8×8	16×16	32×32	64×64	>64×64
							HM	8	8	3	3	3	3
具有67个帧内预测模式的JEM	7	7	2	2	2	2

5.3色度帧内模式编码的示例

在JEM中，允许总共11个帧内模式用于色度CB编码。这些模式包括5 个传统帧内模式和6个跨分量线性模型模式。色度模式候选的列表包括以下三个部分：

●CCLM模式

●DM模式，从覆盖当前色度块的并置的五个位置的亮度CB推导的帧内预测模式

○按顺序检查的五个位置是：I条带的当前色度块的对应亮度块内的中心(CR)、左上(TL)、右上(TR)、左下(BL)和右下(BR)4×4块。对于P条带和B条带，仅检查这五个子块中的一个，因为它们具有相同的模式索引。图29A和图29B中示出了五个并置的亮度位置的示例。

●根据空间相邻块的色度预测模式：

○5个色度预测模式：根据左边、上面、左下、右上和左上空间上相邻的块

○平面和DC模式

○添加推导的模式，通过将-1或+1添加到已被包括在列表中的角度模式来获得这些帧内模式。

○垂直、水平、模式2

每当将新的色度帧内模式添加到候选列表时，应用修剪过程。然后将非 CCLM色度帧内模式候选列表尺寸修整为5。对于模式信令，首先信令通知标志以指示使用CCLM模式中的一个还是传统色度帧内预测模式中的一个。然后可以跟随几个更多的标志以指定用于当前色度CB的精确色度预测模式。

6.现有实现方式的示例

当前HEVC设计可以采用当前块与其相邻块(紧邻当前块)的相关性来更好地编码运动信息。然而，相邻块有可能对应于具有不同运动轨迹的不同对象。在这种情况下，根据其相邻块的预测效率不高。

根据非邻近块的运动信息的预测可以带来附加编码增益，其存在将所有运动信息(通常在4×4级别上)存储到高速缓存中的成本，这显着增加了硬件实现方式的复杂性。

一元二值化方法适用于较少数量的允许的Merge候选。然而，当允许的候选的总数变得更大时，一元二值化可能是次优的。

AMVP候选列表构造过程的HEVC设计仅调用两个空间AMVP候选当中的修剪。没有利用完全修剪(可用候选中的每一个与所有其他候选相比)，因为由于有限的修剪而编码损失可忽略不计。然而，如果有更多的AMVP候选可用，修剪变得重要。此外，当启用LAMVR时，应该研究如何构造AVMP 候选列表。

7.基于LUT的运动矢量预测的示例方法

本公开技术的实施例克服了现有实现方式的缺点，从而为视频编码提供更高的编码效率。可以在各种实施例中实现使用具有被存储以预测块的运动信息的至少一个运动候选的一个或多个表(例如，查找表)的基于LUT的运动矢量预测技术，以为视频编码提供更高的编码效率。查找表是可以用于包括用于预测块的运动信息的运动候选的表的示例，并且其他实现方式也是可能的。每个LUT可以包括一个或多个运动候选，每个运动候选与对应的运动信息相关联。运动候选的运动信息可包括预测方向、参考索引/图片图片、运动矢量、LIC标志、仿射标志、运动矢量推导(MVD)精度和/或MVD值的部分或全部。运动信息可以进一步包括块位置信息，以指示运动信息来自哪里。

可以增强现有和未来视频编码标准的、基于所公开的技术的基于LUT的运动矢量预测在针对各种实现方式描述的以下示例中阐明。因为LUT允许基于历史数据(例如，已经被处理的块)执行编码/解码过程，所以基于LUT的运动矢量预测也可以被称为基于历史的运动矢量预测(History-based Motion Vector Prediction，HMVP)方法。在基于LUT的运动矢量预测方法中，在编码/解码过程期间维护具有来自先前编码的块的运动信息的一个或多个表。存储在LUT中的这些运动候选被命名为HMVP候选。在一个块的编码/解码期间，可以将LUT中的相关联的运动信息添加到运动候选列表(例如， Merge/AMVP候选列表)，并且在对一个块进行编码/解码之后，可以更新LUT。然后使用更新的LUT对后续块进行编码。也就是说，LUT中的运动候选的更新基于块的编码/解码顺序。以下示例应被视为解释一般概念的示例。不应以狭隘的方式解释这些示例。此外，这些示例可以以任何方式组合。

可以增强现有和未来视频编码标准的、基于所公开的技术的基于LUT的运动矢量预测在针对各种实现方式描述的以下示例中阐明。以下提供的所公开的技术的示例解释了一般概念，并且不意味着被解释为限制。在一个示例中，除非明确地相反指示，否则可以组合这些示例中描述的各种特征。

关于术语，LUT的条目的以下示例是运动候选。术语运动候选用于指示存储在查找表中的运动信息的集合。对于传统AMVP或Merge模式，AMVP 或Merge候选用于存储运动信息。如下面将描述的，并且在非限制性示例中，具有用于运动矢量预测的运动候选的LUT的概念被扩展到具有用于帧内模式编码的帧内预测模式的LUT，或者扩展到具有用于IC参数编码的光照补偿参数的LUT或扩展到具有滤波器参数的LUT。用于运动候选的基于LUT 的方法可以扩展到其他类型的编码信息，如本专利文献中所述的，现有和未来视频编码标准。

示例1和示例2有利地定义了如在所公开的技术中使用的LUT。

示例1.每个查找表可以包含一个或多个运动候选，其中每个候选与其运动信息相关联。

a.表尺寸(允许的运动候选的数量)和/或表的数量可以是固定的或自适应的。表尺寸对于所有表可以相同，或者对于不同的表可以不同。

i.可替换地，不同的尺寸可以用于不同的查找表(例如，1或2)。

ii.在一个示例中，可以预定义表尺寸和/或表的数量。

iii.在一个示例中，可以在视频参数集(Video Parameter Set，VPS)、序列参数集(Sequence Parameter Set，SPS)、图片图片参数集(Picture Parameter Set，PPS)、条带头、片头、编码树单元(CTU)、编码树块(CTB)、编码单元(CU)或预测单元(PU)、覆盖多个CTU/CTB/CU/PU的区域中信令通知信令通知表尺寸或表的数量。

iv.表尺寸和/或表的数量可以进一步取决于条带类型、图片图片的时间层索引、一个条带与最接近的帧内条带之间的图片图片顺序计数(Picture Order Count，POC)距离。

b.假定存在用于编码线程的N个表，可能需要N*P个表来对条带进行编码，其中P指示LCU行的数量或片的数量。

i.可替换地，可能仅需要P个表来对条带进行编码，其中P指示LCU 行的数量，其中每个LCU行仅使用一个查找表，甚至当禁用片时N可以大于 1。

示例2.在一个示例中，表尺寸(例如，运动候选的最大允许条目的数量) 和/或表的数量可以取决于序列分辨率、最大编码单元尺寸、Merge候选列表的尺寸。

(a)在一个示例中，没有表尺寸的附加信令。

(b)推断表尺寸与信令通知信令通知的最大Merge候选相同。

(c)可替换地，推断表尺寸与信令通知信令通知的最大Merge候选减去某个值相同。该某个值可以被定义为在Merge候选列表构造过程中可以访问多少空间/时间相邻块，例如，在HEVC中为5。

示例3.当用Merge或AMVP模式对块进行编码时，可以用与块相关联的运动信息来更新LUT。

(a)在一个示例中，在用帧内模式对块进行编码/解码之后，所有 LUT不更新。

(b)在一个示例中，在用帧内块复制模式对块进行编码/解码之后，所有LUT不更新。

(c)在一个示例中，在用仿射Merge或仿射AMVP模式对块进行编码/解码之后，所有LUT不更新。

示例4.在通过添加从编码块获得的运动候选来更新LUT之前，可以应用修剪。

示例5.可以周期性地更新LUT。

示例6.当使用Merge或AMVP模式对块进行编码时，可以使用LUT。

示例7.当不允许具有某些信息(诸如块模式)的块使用来自LUT的信息时，不允许编码的运动信息更新LUT。也就是说，在对这样的块进行编码或解码之后，跳过更新LUT的过程。

在一些实现方式中，类似于对具有用于运动矢量预测的运动候选的LUT 的使用，提出了可以构造和/或更新一个或多个LUT以存储来自先前编码的块的帧内预测模式，并且LUT可以用于对帧内编码块进行编码/解码。

8.基于LUT的运动矢量预测的附加实施例

图30中描绘了基于LUT的预测方法的编码流程的示例。在一些实现方式中，更新过程在对区域进行解码之后完成。避免频繁更新LUT的示例在图 31中描绘。

上述示例可以并入在下面描述的方法(例如，可以在视频解码器和/或视频编码器处实现的方法3200)的上下文中。

图32A示出了用于视频处理的示例性方法的流程图。方法3200包括：在步骤3202处，维护由索引i＝1至N索引的N个表，其中第i个表具有等于与第i个表中的运动候选的最大数量相对应的M(i)的尺寸，其中i、N和M(i) 为整数，并且其中每个运动候选与对应的运动信息相关联。方法3200包括，在步骤3204处，使用来自表的运动候选来执行当前视频块与包括当前视频块的视频数据的比特流表示之间的转换。

图32B示出了用于视频处理的示例性方法的另一流程图。方法3600包括：在步骤3602处，接收包括当前视频块的视频数据的比特流表示。方法366 进一步包括，在步骤3604处，基于由索引i＝1至N索引的N个表来处理比特流表示，其中第i个表具有等于与第i个表中的运动候选的最大数量相对应的M(i)的尺寸，其中i、N和M(i)为整数，并且其中每个运动候选与对应的运动信息相关联。

9.所公开的技术的示例实现方式

图33是视频处理装置3300的框图。装置3300可以用于实现本文描述的一个或多个方法。装置3300可以实施在智能手机、平板电脑、计算机、物联网(Internet of Things，IoT)接收器等中。装置3300可以包括一个或多个处理器3302、一个或多个存储器3304和视频处理硬件3306。(多个)处理器 3302可以被配置为实现本文档中描述的一个或多个方法(包括但不限于方法 3200和3600)。存储器3304可以用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件3306可以用于在硬件电路中实现本文档中描述的一些技术。

在一些实施例中，视频编码方法可以使用在如关于图33所描述的硬件平台上实现的装置而实现。

下面描述了上述方法/技术的特征和实施例。

1.一种视频处理方法，包括：维护由索引i＝1至N索引的N个表，其中，第i个表具有等于与第i个表中的运动候选的最大数量相对应的M(i)的尺寸，其中，i、N和M(i)为整数，并且其中每个运动候选与对应的运动信息相关联；以及使用来自表的运动候选来执行当前视频块与包括当前视频块的视频数据的比特流表示之间的转换。

2.根据条款1所述的方法，其中，N个表包括来自视频数据中的先前处理的视频块的运动信息。

3.根据条款1所述的方法，其中，M(i)对于所有表是相同的。

4.根据条款1所述的方法，其中，至少一些表具有与其他表中的任何一个表的尺寸不同的尺寸。

5.根据条款1所述的方法，其中，N和M(i)是预定义的。

6.根据条款1所述的方法，其中，表的尺寸是在视频参数集、序列参数集、图片图片参数集、条带头或片头中的一个或多个中信令通知信令通知的。

7.根据条款1所述的方法，其中，表的尺寸是在与编码树单元或编码树块单元或编码单元或预测单元中的一个或多个相对应的比特字段中信令通知信令通知的。

8.根据条款1所述的方法，其中，N和M(i)中的至少一个取决于以下中的至少一个：i)条带类型，ii)图片图片的时间层索引，或iii)一个条带与最接近该条带的帧内条带之间的图片图片顺序计数(POC)距离。

9.根据条款1所述的方法，其中，当前视频块对应于视频数据的条带，并且其中N等于K*P，其中K是表示每一解码线程的表的整数，并且P是表示视频数据的条带中的最大编码单元(LCU)行的数量或片的数量的整数。

10.根据条款1所述的方法，其中，视频数据的部分对应于视频数据的条带，并且其中当每个LCU行使用单个表时N等于P，并且P是表示视频数据的条带中的最大编码单元行的数量或片的数量的整数。

11.根据条款1所述的方法，其中，N或M(i)中的至少一个基于序列分辨率、最大编码单元(LCU)尺寸、或Merge或高级运动矢量预测(AMVP) 候选列表的尺寸。

12.根据条款1所述的方法，其中，表的尺寸不被信令通知。

13.根据条款1所述的方法，其中，表的尺寸与Merge候选列表中的Merge 候选的最大数量相同。

14.根据条款1所述的方法，其中，表的尺寸与通过从Merge候选列表中的Merge候选的最大数量减去某个值而获得的尺寸相同。

15.根据条款14所述的方法，其中，该某个值表示在构造Merge候选列表期间访问了多少空间或时间相邻块。

16.一种用于视频处理的方法，包括：接收包括当前视频块的视频数据的比特流表示；以及基于由索引i＝1至N索引的N个表来处理比特流表示，其中第i个表具有等于与第i个表中的运动候选的最大数量相对应的M(i)的尺寸，其中i、N和M(i)为整数，并且其中每个运动候选与对应的运动信息相关联。

17.根据条款16所述的方法，其中，N个表包括来自视频数据中的先前处理的视频块的运动信息。

18.根据条款16所述的方法，进一步包括：基于来自视频数据中的视频块的运动信息来更新一个或多个表。

19.根据条款16所述的方法，其中，每个运动候选与对应的运动信息相关联。

20.根据条款16所述的方法，其中，N或M(i)中的至少一个基于序列分辨率、最大编码单元(LCU)尺寸、或Merge或高级运动矢量预测(AMVP) 候选列表的尺寸。

21.根据条款16所述的方法，其中，表的尺寸不被信令通知。

22.根据条款16所述的方法，其中，表的尺寸等于Merge候选列表中的 Merge候选的最大数量。

23.根据条款16所述的方法，其中，表的尺寸是通过从Merge候选列表中的Merge候选的最大数量减去固定值而获得的。

24.根据条款23所述的方法，其中，所述固定值基于在构造Merge候选列表或AMVP候选列表期间访问的时间或空间相邻块的数量。

25.根据条款16所述的方法，其中，M(i)对于所有表是相同的。

26.根据条款16所述的方法，其中，至少一些表具有与其他表中的任何一个表的尺寸不同的尺寸。

27.根据条款16所述的方法，其中，N和M(i)是预定义的。

28.根据条款16所述的方法，其中，表的尺寸是在视频参数集、序列参数集、图片图片参数集、条带头或片头中的一个或多个中信令通知信令通知的。

29.根据条款16所述的方法，其中，表的尺寸是在与编码树单元、编码树块单元、编码单元或预测单元中的一个或多个相对应的比特字段中信令通知信令通知的。

30.根据条款16所述的方法，其中，N或M(i)中的至少一个取决于以下中的至少一个：i)条带类型，ii)图片图片的时间层索引，或iii)一个条带与最接近该条带的帧内条带之间的图片图片顺序计数(POC)距离。

31.根据条款16所述的方法，其中，当前视频块对应于视频数据的条带，并且其中，N等于K*P，其中，K是表示每一解码线程的表的整数，并且P 是表示视频数据的条带中的最大编码单元行的数量或片的数量的整数。

32.根据条款16所述的方法，其中，当前视频块对应于视频数据的条带，并且其中当每个LCU行使用单个表时N等于P，并且P是表示视频数据的条带中的最大编码单元行的数量或片的数量的整数。

33.根据条款1-32中任一项所述的方法，其中，执行转换包括从当前视频块生成比特流表示。

34.根据条款1-32中任一项所述的方法，其中，执行转换包括从比特流表示生成当前视频块。

35.根据条款1-34中任一项所述的方法，其中，运动候选与运动信息相关联，其中该运动信息包括以下中的至少一个：预测方向、参考图片图片索引、运动矢量值、强度补偿标志、仿射标志、运动矢量差精度或运动矢量差值。

36.根据条款16-32中任一项所述的方法，进一步包括基于转换来更新一个或多个表。

37.根据条款1-36中任一项所述的方法，其中，更新一个或多个表包括在执行转换之后基于当前视频块的运动信息来更新一个或多个表。

38.根据条款37所述的方法，进一步包括：基于更新的表来执行视频数据的后续视频块与视频数据的比特流表示之间的转换。

39.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中该指令在由处理器运行时使得处理器实现根据条款1-38中任一项所述的方法。

40.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行根据条款1-38中任一项所述的方法的程序代码。

根据前述内容，可以理解本文已经出于说明的目的描述了本公开技术的具体实施例，但是在不脱离本发明范围的情况下可以进行各种修改。因此，本公开技术不受除了所附权利要求之外的限制。

本专利文档中描述的主题和功能操作的实现方式可以在各种系统、数字电子电路或计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物、或者它们中的一个或多个的组合)中实现。本说明书中描述的主题的实现方式可以实现为一个或多个计算机程序产品，即编码在有形和非暂时性计算机可读介质上的计算机程序指令的一个或多个模块，该计算机程序指令用于由数据处理装置运行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组成、或它们中的一个或多个的组合。术语“数据处理单元” 或“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置还可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。

计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写，并且其可以以任何形式部署，包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署以在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上运行。

本说明书中描述的过程和逻辑流程可以由运行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以实现为专用逻辑电路，例如，FPGA(Field Programmable Gate Array，现场可编程门阵列)或ASIC(Application SpecificIntegrated Circuit，专用集成电路)。

适合于运行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而，计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如，EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

说明书与附图一起旨在被视为是示例性的，其中示例性意味着示例。如本文所使用的，除非上下文另有清楚说明，否则单数形式“一”、“一个”和 “该”旨在也包括复数形式。另外，除非上下文另有清楚说明，否则使用“或” 旨在包括“和/或”。

虽然本专利文档包含许多细节，但这些细节不应被解释为对任何发明或可能要求保护的范围的限制，而是作为特定于特定发明的特定实施例的特征的描述。在单独的实施例的上下文中在本专利文档中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合实现。而且，尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。

仅描述了一些实现方式和示例，并且可以基于本专利文档中描述和示出的内容来进行其他实现、增强和变化。

Claims

1.一种视频处理方法，包括：

维护由索引i＝1至N索引的N个表，其中，第i个表具有等于与所述第i个表中的运动候选的最大数量相对应的M(i)的尺寸，其中，i、N和M(i)为整数，并且其中每个运动候选与对应的运动信息相关联；以及

使用来自所述表的运动候选来执行当前视频块与包括所述当前视频块的视频数据的比特流表示之间的转换。

2.根据权利要求1所述的方法，其中，所述N个表包括从视频数据中的先前处理的视频块推导的运动信息。

3.根据权利要求1所述的方法，其中，M(i)对于所有表是相同的。

4.根据权利要求1所述的方法，其中，至少一些表具有与其他表中的任何一个表的尺寸不同的尺寸。

5.根据权利要求1所述的方法，其中，N和M(i)是预定义的。

6.根据权利要求1所述的方法，其中，表的尺寸是在视频参数集、序列参数集、图片参数集、条带头或片头中的一个或多个中信令通知的。

7.根据权利要求1所述的方法，其中，表的尺寸是在与编码树单元或编码树块单元或编码单元或预测单元中的一个或多个相对应的比特字段中信令通知的。

8.根据权利要求1所述的方法，其中，N和M(i)中的至少一个取决于以下中的至少一个：i)条带类型，ii)图片的时间层索引，或iii)一个条带与最接近所述条带的帧内条带之间的图片顺序计数(POC)距离。

9.根据权利要求1所述的方法，其中，所述当前视频块对应于视频数据的条带，并且其中，N等于K*P，其中，K是表示每一解码线程的表的整数，并且P是表示视频数据的条带中的最大编码单元(LCU)行的数量或片的数量的整数。

10.根据权利要求1所述的方法，其中，所述当前视频块对应于视频数据的条带，并且其中当每个LCU行使用单个表时N等于P，并且P是表示视频数据的条带中的最大编码单元行的数量或片的数量的整数。

11.根据权利要求1所述的方法，其中，N或M(i)中的至少一个基于序列分辨率、最大编码单元(LCU)尺寸、或Merge或高级运动矢量预测(AMVP)候选列表的尺寸。

12.根据权利要求1所述的方法，其中，表的尺寸不被信令通知。

13.根据权利要求1所述的方法，其中，所述表的尺寸与Merge候选列表中的Merge候选的最大数量相同。

14.根据权利要求1所述的方法，其中，所述表的尺寸与通过从Merge候选列表中的Merge候选的最大数量减去某个值而获得的尺寸相同。

15.根据权利要求14所述的方法，其中，所述某个值表示在构造Merge候选列表期间访问了多少空间或时间相邻块。

16.一种用于视频处理的方法，包括：

接收包括当前视频块的视频数据的比特流表示；以及

基于由索引i＝1至N索引的N个表来处理所述比特流表示，其中，第i个表具有等于与所述第i个表中的运动候选的最大数量相对应的M(i)的尺寸，其中，i、N和M(i)为整数，并且其中每个运动候选与对应的运动信息相关联。

17.根据权利要求16所述的方法，其中，所述N个表包括从视频数据中的先前处理的视频块推导的运动信息。

18.根据权利要求16所述的方法，进一步包括：基于来自视频数据中的视频块的运动信息来更新一个或多个表。

19.根据权利要求16所述的方法，其中，每个运动候选与对应的运动信息相关联。

20.根据权利要求16所述的方法，其中，N或M(i)中的至少一个基于序列分辨率、最大编码单元(LCU)尺寸、或Merge或高级运动矢量预测(AMVP)候选列表的尺寸。

21.根据权利要求16所述的方法，其中，表的尺寸不被信令通知。

22.根据权利要求16所述的方法，其中，表的尺寸等于Merge候选列表中的Merge候选的最大数量。

23.根据权利要求16所述的方法，其中，表的尺寸是通过从Merge候选列表中的Merge候选的最大数量减去固定值而获得的。

24.根据权利要求23所述的方法，其中，所述固定值基于在构造Merge候选列表或AMVP候选列表期间访问的时间或空间相邻块的数量。

25.根据权利要求16所述的方法，其中，M(i)对于所有表是相同的。

26.根据权利要求16所述的方法，其中，至少一些表具有与其他表中的任何一个表的尺寸不同的尺寸。

27.根据权利要求16所述的方法，其中，N和M(i)是预定义的。

28.根据权利要求16所述的方法，其中，所述表的尺寸是在视频参数集、序列参数集、图片参数集、条带头或片头中的一个或多个中信令通知的。

29.根据权利要求16所述的方法，其中，所述表的尺寸是在与编码树单元、编码树块单元、编码单元或预测单元中的一个或多个相对应的比特字段中信令通知的。

30.根据权利要求16所述的方法，其中，N或M(i)中的至少一个取决于以下中的至少一个：i)条带类型，ii)图片的时间层索引，或iii)一个条带与最接近所述条带的帧内条带之间的图片顺序计数(POC)距离。

31.根据权利要求16所述的方法，其中，所述当前视频块对应于视频数据的条带，并且其中，N等于K*P，其中，K是表示每一解码线程的表的整数，并且P是表示视频数据的条带中的最大编码单元行的数量或片的数量的整数。

32.根据权利要求16所述的方法，其中，所述当前视频块对应于视频数据的条带，并且其中，当每个LCU行使用单个表时N等于P，并且P是表示视频数据的条带中的最大编码单元行的数量或片的数量的整数。

33.根据权利要求1-32中任一项所述的方法，其中，执行转换包括从当前视频块生成比特流表示。

34.根据权利要求1-32中任一项所述的方法，其中，执行转换包括从比特流表示生成当前视频块。

35.根据权利要求1-34中任一项所述的方法，其中，运动候选与运动信息相关联，其中所述运动信息包括以下中的至少一个：预测方向、参考图片索引、运动矢量值、强度补偿标志、仿射标志、运动矢量差精度或运动矢量差值。

36.根据权利要求16-32中任一项所述的方法，进一步包括基于转换来更新一个或多个表。

37.根据权利要求1-36中任一项所述的方法，其中，更新一个或多个表包括在执行转换之后基于所述当前视频块的运动信息来更新一个或多个表。

38.根据权利要求37所述的方法，进一步包括：

基于所更新的表来执行视频数据的后续视频块与视频数据的比特流表示之间的转换。

39.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由处理器运行时使得处理器实现根据权利要求1-38中的一项或多项所述的方法。

40.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于执行根据权利要求1-38中的一项或多项所述的方法的程序代码。