CN113196777B - 用于运动补偿的参考像素填充 - Google Patents

Abstract

描述了用于运动补偿的参考像素填充。一个示例方法包括：针对视频的第一块和第一块的比特流表示之间的转换，从参考图片提取第一参考块的参考像素，其中，第一参考块小于第一块的运动补偿所需的第二参考块；用填充像素来填充第一参考块，以生成第二参考块；以及通过使用所生成的第二参考块来执行该转换。

Description

用于运动补偿的参考像素填充

相关申请的交叉引用

根据巴黎公约适用的专利法和/或规则，本申请旨在及时要求2018年12月17日提交的国际专利申请No.PCT/CN2018/121438和2019年1月11日提交的国际专利申请No.PCT/CN2019/071396的优先权和利益。国际专利申请No.PCT/CN2018/121438和No.PCT/CN2019/071396的全部公开内容通过引用而并入作为本申请公开内容的一部分。

技术领域

本文档涉及视频编解码技术。

背景技术

数字视频占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的联网用户设备的数量增加，预计数字视频使用的带宽需求将继续增长。

发明内容

所公开的技术可以由其中使用块形状插值顺序技术来改善插值的视频解码器或编码器实施例使用。

在一个示例方面，公开了一种视频比特流处理的方法。该方法包括：确定第一视频块的形状；基于第一视频块的形状来确定插值顺序，该插值顺序指示执行水平插值和垂直插值的次序；以及根据插值顺序来按次序对第一视频块执行水平插值和垂直插值，以重构第一视频块的解码表示。

在另一个示例方面，一种视频比特流处理的方法，包括：确定与第一视频块相关的运动矢量的特性；基于运动矢量的特性来确定插值顺序，该插值顺序指示执行水平插值和垂直插值的次序；以及根据插值顺序来按次序对第一视频块执行水平插值和垂直插值，以重构第一视频块的解码表示。

在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：由处理器确定第一视频块的大小特性；由处理器基于对大小特性的确定来确定第一插值滤波器要被应用于第一视频块；以及使用第一插值滤波器来执行第一视频块的进一步处理。

在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：由处理器确定第一视频块的第一特性；由处理器基于第一特性来确定第一插值滤波器要被应用于第一视频块；使用第一插值滤波器来执行第一视频块的进一步处理；由处理器确定第二视频块的第二特性；由处理器基于第二特性来确定第二插值滤波器要被应用于第二视频块，第一插值滤波器和第二插值滤波器是不同的短抽头滤波器；以及使用第二插值滤波器来执行第二视频块的进一步处理。

在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：由处理器确定第一视频块的特性，该特性包括以下中的一个或多个：第一视频块的大小信息、第一视频块的预测方向、或第一视频块的运动信息；基于对第一视频块的特性的确定，将与第一视频块相关的运动矢量(MV)取整为整数像素精度或半像素精度；以及使用被取整的运动矢量来执行第一视频块的进一步处理。

在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：由处理器确定第一视频块是以Merge模式编解码的；基于对第一视频块是以Merge模式编解码的确定，将与第一视频块相关的运动信息取整为整数精度以生成修改后的运动信息；以及使用修改后的运动信息对第一视频块执行运动补偿过程。

在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：确定第一视频块的特性，该特性是以下中的一个或两个：第一视频块的尺寸或第一视频块的形状；将与第一视频块相关的运动矢量修改为整数像素精度或半像素精度，以生成修改后的运动矢量；以及使用修改后的运动矢量来执行第一视频块的进一步处理。

在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：确定第一视频块的特性，该特性是以下中的一个或两个：第一视频块的尺寸大小或第一视频块的预测方向；基于对第一视频块的特性的确定，确定MMVD边信息；以及使用MMVD边信息来执行第一视频块的进一步处理。

在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：确定第一视频块的特性，该特性是以下中的一个或两个：第一视频块的尺寸或第一视频块的形状；将与第一视频块相关的运动矢量修改为整数像素精度或半像素精度，以生成修改后的运动矢量；以及使用修改后的运动矢量来执行第一视频块的进一步处理。

在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：确定第一视频块的特性，该特性是以下中的一个或两个：第一视频块的尺寸或第一视频块的形状；基于对第一视频块的特性的确定，确定要被约束的半像素运动矢量(MV)分量或四分之一像素MV分量的阈值数量；以及使用阈值数量来执行第一视频块的进一步处理。

在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：确定第一视频块的特性，该特性包括第一视频块的尺寸；基于对第一视频块的特性的确定，将与第一视频块相关的运动矢量(MV)从分数精度修改为整数精度；以及使用修改后的MV对第一视频块执行运动补偿。

在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：确定第一视频块的第一大小；基于对第一大小的确定，确定与第一视频块相关的运动矢量(MV)的第一精度；确定第二视频块的第二大小，第一大小和第二大小是不同的大小；基于对第二大小的确定，确定与第二视频块相关的MV的第二精度，第一精度和第二精度是不同的精度；以及使用第一大小执行第一视频块的进一步处理并且使用第二大小执行第二视频块的进一步处理。

在另一个示例方面，公开了一种视频处理的方法。该方法包括：为视频的第一块和第一块的比特流表示之间的转换确定第一块的特性；基于第一块的特性，确定具有用于第一块的插值的插值滤波器参数的滤波器；以及通过使用具有插值滤波器参数的滤波器来执行该转换。

在另一个示例方面，公开了一种视频处理的方法。该方法包括：针对视频的第一块和第一块的比特流表示之间的转换，从参考图片提取第一参考块的参考像素，其中，第一参考块小于第一块的运动补偿所需的第二参考块；用填充像素来填充第一参考块，以生成第二参考块；以及通过使用所生成的第二参考块来执行该转换。

在另一个示例方面，上述方法可以由包括处理器的视频解码器装置实施。

在另一个示例方面，上述方法可以由包括用于在视频编码过程期间对编码视频进行解码的处理器的视频编码器装置实施。

在又一个示例方面，这些方法可以以处理器可执行指令的形式被体现并被存储在计算机可读程序介质上。

这些以及其他方面在本文档中进一步描述。

附图说明

图1是四叉树二叉树(QUAD TREE BINARY TREE，QTBT)结构的图示。

图2示出了Merge候选列表构建的示例推导过程。

图3示出了空域Merge候选的示例位置。

图4示出了考虑用于空域Merge候选的冗余检查的候选对的示例。

图5(a)和图5(b)示出了N×2N和2N×N分割的第二预测单元(Prediction Unit，PU)的位置的示例。

图6是时域Merge候选的运动矢量缩放的图示。

图7示出了时域Merge候选的示例候选位置C0和C1。

图8示出了组合的双向预测Merge候选的示例。

图9示出了运动矢量预测候选的推导过程的示例。

图10是空域运动矢量候选的运动矢量缩放的图示。

图11示出了用于编解码单元(Coding Unit，CU)的高级时域运动矢量预测(Alternative Temporal Motion Vector Prediction，ATMVP)的示例。

图12示出了具有四个子块(A-D)的一个CU及其临近块(a-d)的示例。

图13示出了一个示例中的提出的非相邻Merge候选。

图14示出了一个示例中的提出的非相邻Merge候选。

图15示出了一个示例中的提出的非相邻Merge候选。

图16示出了用于四分之一样点亮度插值的整数样点和分数样点位置的示例。

图17是视频处理装置的示例的框图。

图18示出了视频编码器的示例实施方式的框图。

图19是视频比特流处理方法的示例的流程图。

图20是视频比特流处理方法的示例的流程图。

图21示出了插值之前的参考块的重复边界像素的示例。

图22是视频比特流处理方法的示例的流程图。

图23是视频比特流处理方法的示例的流程图。

图24是视频比特流处理方法的示例的流程图。

图25是视频比特流处理方法的示例的流程图。

具体实施方式

本文档提供了可以由视频比特流的解码器使用的各种技术，以提高解压缩或解码的数字视频的质量。此外，视频编码器还可在编码过程期间实施这些技术，以便重构用于进一步编码的解码帧。

在本文档中使用章节标题是为了易于理解，并且不将实施例和技术限于相应的章节。如此以来，一个章节的实施例可以与其他章节的实施例相结合。

1.概述

该专利文档涉及视频编解码技术。具体地，它涉及视频编解码中的插值。它可以应用于现有的视频编解码标准，如HEVC，或待定稿的标准(多功能视频编解码)。它也可能适用于未来的视频编解码标准或视频编解码器。

2.背景

视频编解码标准主要是通过熟知的ITU-T和ISO/IEC标准的发展演变而来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视觉，并且这两个组织联合制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262年以来，视频编解码标准基于混合视频编解码结构，其中利用时域预测加变换编解码。为了探索HEVC以外的未来视频编解码技术，由VCEG和MPEG于2015年联合成立了联合视频探索组(JVET)。此后，JVET采用了许多新方法，并将其输入到名为联合探索模型(JEM)的参考软件中。2018年4月，在VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间创建了联合视频专家组(JVET)，目标是与HEVC相比比特率降低50％的VVC标准。

图18是视频编码器的示例实施方式的框图。

2.1具有较大CTU的四叉树加二叉树(QTBT)块结构

在HEVC中，通过使用表示为编解码树的四叉树结构将CTU划分为CU，以适应各种局部特征。在CU级别决定是否使用图片间(时域)或图片内(空域)预测对图片区域进行编解码。可以根据PU划分类型将每个CU进一步划分为一个、两个或四个PU。在一个PU内部，应用相同的预测过程，并且相关信息以PU为基础被发送到解码器。在基于PU划分类型通过应用预测处理而获得残差块之后，可以根据类似于用于CU的编解码树的另一四叉树结构将CU分割为变换单元(TU)。HEVC结构的关键特征之一是它具有多个分区概念，包括CU、PU和TU。

QTBT结构移除了多个分区类型的概念，即它移除了CU、PU和TU概念的分离，并且支持CU分区形状的更大灵活性。在QTBT块结构中，CU可以具有正方形或矩形形状。如图1所示，首先通过四叉树结构来分割编解码树单元(CTU)。四叉树叶节点由二叉树结构进一步分割。在二叉树划分中，有两种划分类型，对称水平分割和对称垂直分割。二叉树叶子节点称为编解码单元(CU)，该分段用于预测和变换处理，而无需任何进一步分割。这意味着在QTBT编解码块结构中，CU、PU和TU具有相同的块尺寸。在JEM中，CU有时由不同色彩分量的编解码块(CB)组成，例如，在4:2:0色度格式的P和B条带的情况下，一个CU包含一个亮度CB和两个色度CB，并且有时由单个分量的CB组成，例如，在I条带的情况下，一个CU仅包含一个亮度CB或仅包含两个色度CB。

为QTBT分割方案定义了以下参数。

–CTU尺寸：四叉树的根节点尺寸，与HEVC中的概念相同

–MinQTSize：最小允许四叉树叶节点尺寸

–MaxBTSize：最大允许二叉树根节点尺寸

–MaxBTDepth：最大允许二叉树深度

–MinBTSize：最小允许二叉树叶子节点尺寸

在QTBT分割结构的一个示例中，CTU尺寸被设置为具有两个相应的64×64色度样点块的128×128亮度样点，MinQTSize被设置为16×16，MaxBTSize被设置为64×64，MinBTSize(对于宽度和高度两者)被设置为4×4，并且MaxBTDepth被设置为4。首先将四叉树分区应用于CTU，以生成四叉树叶节点。四叉树叶节点的尺寸可以从16×16(即MinQTSize)到128×128(即CTU尺寸)。如果叶子四叉树节点为128×128，则由于尺寸超过MaxBTSize(即64×64)，因此不会被二叉树进一步划分。否则，四叉树叶节点可以由二叉树进一步分割。因此，四叉树叶节点也是二叉树的根节点，并且其二叉树的深度为0。当二叉树的深度达到MaxBTDepth(即4)时，不再考虑进一步划分。当二叉树节点的宽度等于MinBTSize(即4)时，不考虑进一步水平划分。类似地，当二叉树节点的高度等于MinBTSize时，不考虑进一步垂直划分。二叉树的叶节点通过预测和变换处理进行进一步处理，而无需任何进一步分割。在JEM中，最大CTU尺寸为256×256亮度样点。

图1示出了通过使用QTBT进行块分割的示例，图1(右)示出了对应的树表示。实线表示四叉树划分，虚线表示二叉树划分。在二叉树的每个划分(即非叶)节点中，信令通知一个标志以指示使用哪种划分类型(即水平或垂直)，其中0指示水平划分，并且1指示垂直划分。对于四叉树划分，由于四叉树划分总是在水平和垂直方向对块进行划分以产生具有相同尺寸的4个子块，因此无需指示划分类型。

此外，QTBT方案支持亮度和色度具有单独的QTBT结构的能力。当前，对于P和B条带，一个CTU中的亮度和色度CTB共享相同的QTBT结构。然而，对于I条带，亮度CTB通过QTBT结构被分割成CU，并且色度CTB通过另一QTBT结构被分割成色度CU。这意味着，I条带中的CU包括亮度分量的编解码块或两个色度分量的编解码块，并且P或B条带中的CU包括所有三个色彩分量的编解码块。

在HEVC中，限制用于小块的帧间预测以减少运动补偿的存储器访问，使得对于4×8和8×4块不支持双向预测，并且对于4×4块不支持帧间预测。在JEM的QTBT中，这些限制被移除。

2.2 HEVC/H.265的帧间预测

每个帧间预测的PU具有针对一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。也可以使用inter_pred_idc来信令通知对两个参考图片列表之一的使用。运动矢量可以被显式地编解码为相对于预测值的增量。

当用跳过模式来编解码CU时，一个PU与该CU相关联，并且不存在显著的残差系数、没有编解码的运动矢量增量或参考图片索引。规定Merge模式，由此从包括空域和时域候选的临近PU获得当前PU的运动参数。Merge模式可以应用于任何帧间预测的PU，而不仅仅对于跳跃模式。Merge模式的可选方案是运动参数的显式传输，其中每一PU显式地信令通知运动矢量(更准确地，与运动矢量预测量相比的运动矢量差)、每个参考图片列表的对应参考图片索引和参考图片列表的使用。在本公开中，这样的模式被称为高级运动矢量预测(Advanced Motion Vector Prediction，AMVP)。

当信令指示要使用两个参考图片列表之一时，从一个样点块中产生PU。这被称为“单向预测”。单向预测可用于P条带和B条带。

当信令指示要使用两个参考图片列表两者时，从两个样点块中产生PU。这被称为“双向预测”。双向预测仅可用于B条带。

以下文本提供了关于HEVC中规定的帧间预测模式的详细信息。描述将从Merge模式开始。

2.2.1 Merge模式

2.2.1.1 Merge模式的候选的推导

当使用Merge模式预测PU时，从比特流中解析指向Merge候选列表中的条目的索引并将其用于检索运动信息。在HEVC标准中规定了该列表的构建，并且可以按照以下步骤的序列进行概述：

·步骤1：初始候选推导

ο步骤1.1：空域候选推导

ο步骤1.2：空域候选的冗余检查

ο步骤1.3：时域候选推导

·步骤2：附加候选插入

ο步骤2.1：创建双向预测候选

ο步骤2.2：插入零运动候选

这些步骤也示意性地描绘在图2中。对于空域Merge候选推导，在位于五个不同位置的候选当中选择最多四个Merge候选。对于时域Merge候选推导，在两个候选当中选择最多一个Merge候选。由于在解码器处假设每个PU的恒定数量的候选，因此当从步骤1获得的候选的数量未达到在条带头中信令通知的Merge候选的最大数量(MaxNumMergeCand)时，生成附加候选。由于候选的数量是恒定的，因此使用截断一元二值化(Truncated Unarybinarization，TU)对最佳Merge候选的索引进行编码。如果CU的尺寸等于8，则当前CU的所有PU共享单个Merge候选列表，其与2N×2N预测单元的Merge候选列表相同。

在下文中，将详细描述与上述步骤相关联的操作。

2.2.1.2空域候选推导

在空域Merge候选的推导中，在位于图3中描绘的位置的候选当中选择最多四个Merge候选。推导的顺序是A₁、B₁、B₀、A₀和B₂。仅当位置A₁、B₁、B₀、A₀的任何PU不可用(例如，因为它属于另一条带或片)或者是帧内编解码的时，才考虑位置B₂。在添加位置A₁处的候选之后，对剩余候选的添加进行冗余检查，其确保具有相同运动信息的候选被排除在列表之外，从而提高编解码效率。图4示出了考虑用于空域Merge候选的冗余检查的候选对的示例。为了降低计算复杂度，在所提到的冗余检查中不考虑所有可能的候选对。相反，只考虑与图4中的箭头链接的对，并且如果用于冗余检查的对应候选没有相同的运动信息，则候选仅被添加到列表中。重复运动信息的另一源是与不同于2N×2N的分割相关联的“第二PU”。作为示例，图5描绘了N×2N和2N×N的情况下的第二PU。当当前PU被分割为N×2N时，位置A₁处的候选不被考虑用于列表构建。事实上，通过添加该候选将导致两个预测单元具有相同的运动信息，这对于在编解码单元中只具有一个PU是冗余的。类似地，当当前PU被分割为2N×N时，不考虑位置B₁。

2.2.1.3时域候选推导

在该步骤中，仅一个候选被添加到列表。特别地，在该时域Merge候选的推导中，基于属于与给定参考图片列表内的当前图片具有最小POC(Picture Order Count，图片顺序计数)差的图片的并置(co-located)PU来推导缩放运动矢量。在条带头中显式地信令通知要用于推导并置PU的参考图片列表。图5是时域Merge候选的运动矢量缩放的图示。如在图5中由虚线所示的，获得了对时域Merge候选的缩放运动矢量，该缩放运动矢量是使用POC距离tb和td从并置PU的运动矢量缩放的，其中tb被定义为当前图片的参考图片与当前图片之间的POC差，并且td被定义为并置图片的参考图片与并置图片之间的POC差。时域Merge候选的参考图片索引被设置为等于零。HEVC规范中描述了缩放过程的实际实现。对于B条带，两个运动矢量(一个用于参考图片列表0，并且另一个用于参考图片列表1)被获得并组合，以生成双向预测Merge候选。

图6是用于时域Merge候选的运动矢量缩放的图示。

在属于参考帧的并置PU(Y)中，在候选C₀和C₁之间选择时域候选的位置，如图7所描绘的。如果位置C₀处的PU不可用、是帧内编解码的、或者在当前CTU行(row)的外部，则使用位置C₁。否则，在时域Merge候选的推导中使用位置C₀。

2.2.1.4附加候选插入

除了空域和时域的Merge候选之外，存在两种附加类型的Merge候选：组合的双向预测Merge候选和零Merge候选。通过利用空域和时域的Merge候选来生成组合的双向预测Merge候选。组合的双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一初始候选的第二参考图片列表运动参数组合来生成组合的双向预测候选。如果这两个元组提供不同的运动假设，则它们将形成新的双向预测候选。作为示例，图8描绘了当原始列表(在左边)中的两个候选(其具有mvL0和refIdxL0或mvL1和refIdxL1)用于创建被添加到最终列表(在右边)的组合的双向预测Merge候选的情况。存在许多关于组合的规则，这些规则被考虑以生成这些附加Merge候选。

插入零运动候选以填充Merge候选列表中的剩余条目，并因此达到MaxNumMergeCand容量。这些候选具有零空域位移和参考图片索引，该索引从零开始并且每次向列表中添加新的零运动候选时增加。这些候选使用的参考帧的数量对于单向预测和双向预测分别是1和2。最后，不对这些候选执行冗余检查。

2.2.1.5用于并行处理的运动估计区域

为了加速编码过程，可以并行执行运动估计，由此同时推导给定区域内部的所有预测单元的运动矢量。从空域邻域推导Merge候选可能干扰并行处理，因为一个预测单元不能从临近PU推导运动参数，直到其相关联的运动估计完成。为了缓和编解码效率和处理时延之间的折衷(trade-off)，HEVC定义了运动估计区域(Motion Estimation Region，MER)，使用“log2_parallel_merge_level_minus2”语法元素在图片参数集中信令通知MER的尺寸。当定义MER时，落入相同区域的Merge候选被标记为不可用，并且因此在列表构建中不被考虑。

2.2.2 AMVP

AMVP利用运动矢量与临近PU的时空相关性，该时空相关性用于运动参数的显式传输。对于每个参考图片列表，通过首先检查左边、上边的时域临近的PU位置的可用性，移除冗余候选并添加零矢量以使候选列表为恒定长度，来构建运动矢量候选列表。然后，编码器可以从候选列表中选择最佳预测量，并发送指示所选候选的对应索引。与Merge索引信令类似，使用截断一元对最佳运动矢量候选的索引进行编码。在这种情况下，要编码的最大值是2(参见图9)。在接下来的章节中，将提供关于运动矢量预测候选的推导过程的细节。

2.2.2.1 AMVP候选的推导

图9概述了运动矢量预测候选的推导过程。

在运动矢量预测中，考虑两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选推导，最终基于位于如图3所描绘的五个不同位置的每个PU的运动矢量来推导两个运动矢量候选。

对于时域运动矢量候选推导，从基于两个不同并置位置而推导的两个候选中选择一个运动矢量候选。在产生第一时空候选列表之后，移除列表中的重复运动矢量候选。如果潜在候选的数量大于二，则从列表中移除相关联的参考图片列表内其参考图片索引大于1的运动矢量候选。如果时空运动矢量候选的数量小于二，则将附加的零运动矢量候选添加到列表。

2.2.2.2空域运动矢量候选

在空域运动矢量候选的推导中，在从位于如图3所描绘的位置的PU中推导的五个潜在候选当中考虑最多两个候选，那些位置与运动Merge的位置相同。当前PU的左侧的推导顺序被定义为A₀、A₁、以及缩放A₀、缩放A₁。当前PU的上侧的推导顺序被定义为B₀、B₁、B₂、缩放B₀、缩放B₁、缩放B₂。因此对于每一侧，存在可以用作运动矢量候选的四种情况，其中两种情况不需要使用空域缩放，两种情况使用空域缩放。四种不同的情况概述如下：

·没有空域缩放

-(1)相同的参考图片列表，以及相同的参考图片索引(相同的POC)

-(2)不同的参考图片列表，但是相同的参考图片(相同的POC)

·空域缩放

-(3)相同的参考图片列表，但是不同的参考图片(不同的POC)

-(4)不同的参考图片列表，以及不同的参考图片(不同的POC)

首先检查非空域缩放情况，然后是空域缩放。当不管参考图片列表如何POC在临近PU的参考图片与当前PU的参考图片之间都不同时，考虑空域缩放。如果左边候选的所有PU都不可用或者都是帧内编解码的，则允许针对上边运动矢量的缩放以帮助对左边和上边MV候选的并行推导。否则，针对上边运动矢量不允许空域缩放。

图10是用于空域运动矢量候选的运动矢量缩放的图示。

如图10所描绘的，在空域缩放过程中，以与时域缩放类似的方式来缩放临近PU的运动矢量。主要差异在于参考图片列表和当前PU的索引被给定作为输入；实际缩放过程与时域缩放的过程相同。

2.2.2.3时域运动矢量候选

除了参考图片索引推导之外，用于推导时域Merge候选的所有过程与用于推导空域运动矢量候选的过程相同(参见图7)。参考图片索引被信令通知给解码器。

2.3 JEM中的新的帧间Merge候选

2.3.1基于子CU的运动矢量预测

在具有QTBT的JEM中，每个CU对于每个预测方向最多可以有一个运动参数集。通过将大CU划分成子CU并且推导大CU的所有子CU的运动信息，在编码器中考虑两个子CU级别运动矢量预测方法。可选时域运动矢量预测(ATMVP)方法允许每个CU从比并置参考图片中的当前CU小的多个块中提取运动信息的多个集合。在时空运动矢量预测(Spatial-TemporalMotion Vector Prediction，STMVP)方法中，通过使用时域运动矢量预测量和空域临近运动矢量来递归地推导子CU的运动矢量。

为了保持对于子CU运动预测的更准确的运动场，当前禁用参考帧的运动压缩。

2.3.1.1可选时域运动矢量预测

在可选时域运动矢量预测(ATMVP)方法中，通过从比当前CU小的块提取运动信息(包括运动矢量和参考索引)的多个集合来修改运动矢量时域运动矢量预测(TemporalMotion Vector Prediction，TMVP)。如图11所示，子CU是正方形的N×N块(N默认被设置为4)。

ATMVP分两个步骤来预测CU内的子CU的运动矢量。第一步骤是用所谓的时域矢量来识别参考图片中的对应块。参考图片也称为运动源图片。第二步骤是将当前CU划分成子CU，并从与每个子CU相对应的块中获得运动矢量以及每个子CU的参考索引，如图11所示。

在第一步骤中，参考图片和对应块由当前CU的空域临近块的运动信息确定。为了避免临近块的反复的扫描过程，使用当前CU的Merge候选列表中的第一Merge候选。第一可用运动矢量以及其相关联的参考索引被设置为时域矢量和运动源图片的索引。这样，在ATMVP中，与TMVP相比，可以更准确地识别对应块，其中对应块(有时称为并置块)总是相对于当前CU处于右下或中心位置。

在第二步骤中，通过向当前CU的坐标添加时域矢量，通过运动源图片中的时域矢量来识别子CU的对应块。对于每个子CU，其对应块的运动信息(覆盖中心样点的最小运动网格)用于推导子CU的运动信息。在识别对应的N×N块的运动信息之后，以与HEVC的TMVP相同的方式将其转换成当前子CU的运动矢量和参考索引，其中运动缩放和其它过程适用。例如，解码器检查是否满足低延迟条件(即当前图片的所有参考图片的POC小于当前图片的POC)，并且可能使用运动矢量MV_x(例如，与参考图片列表X相对应的运动矢量)来预测每个子CU的运动矢量MV_y(例如，其中X等于0或1，并且Y等于1-X)。

2.3.1.2时空运动矢量预测(STMVP)

在该方法中，按照光栅扫描顺序递归地推导子CU的运动矢量。图12示出了这个概念。让我们考虑8×8的CU，它包含4个4×4的子CU：A、B、C和D。当前帧中的临近的4×4块被标记为a、b、c和d。

子CU A的运动推导通过识别其两个空域邻居(neighbour)开始。第一邻居是子CUA上边的N×N块(块c)。如果这个块c不可用或是帧内编解码的，则检查子CU A上边的其它N×N块(从左到右，从块c开始)。第二邻居是子CU A左边的块(块b)。如果块b不可用或是帧内编解码的，则检查子CU A左边的其它块(从上到下，从块b开始)。从每个列表的临近块中获得的运动信息被缩放到给定列表的第一参考帧。接下来，通过遵循如HEVC规定的TMVP推导的相同过程来推导子块A的时域运动矢量预测量(TMVP)。在位置D处的并置块的运动信息被相应地提取和缩放。最后，在检索和缩放运动信息之后，对每个参考列表单独地平均所有可用的运动矢量(最多3个)。平均运动矢量被分配为当前子CU的运动矢量。

2.3.1.3子CU运动预测模式信令

子CU模式被启用作为附加Merge候选，并且不需要附加语法元素来信令通知这些模式。两个附加Merge候选被添加到每个CU的Merge候选列表以表示ATMVP模式和STMVP模式。如果序列参数集指示启用了ATMVP和STMVP，则可以使用多达七个Merge候选。附加Merge候选的编码逻辑与HM中的Merge候选的编码逻辑相同，这意味着，对于P条带或B条带中的每个CU，针对两个附加Merge候选可能还需要两次RD检查。

在JEM中，Merge索引的所有二进制位(bin)都由CABAC进行上下文编解码。而在HEVC中，仅对第一二进制位进行上下文编解码，并且对剩余二进制数进行上下文旁路编解码。

2.3.2非相邻Merge候选

高通提出从如图13中标记为6到49的不相邻的临近位置推导附加空域Merge候选。推导出的候选在TMVP候选之后被添加到Merge候选列表中。

腾讯提出从外部参考区域中相对于当前块的偏移为(-96,-96)的位置推导附加空域Merge候选。

如图14所示，位置被标记为A(i,j)、B(i,j)、C(i,j)、D(i,j)和E(i,j)。每个候选B(i,j)或C(i,j)与先前的B或C候选相比在垂直方向上的偏移为16。每个候选A(i,j)或D(i,j)与先前的A或D候选相比在水平方向上的偏移为16。每个E(i,j)与先前的E候选相比在水平方向和垂直方向上的偏移均为16。从内部到外部检查候选。并且候选的顺序为A(i,j)、B(i,j)、C(i,j)、D(i,j)和E(i,j)。进一步研究是否可以进一步减少Merge候选的数量。候选在TMVP候选之后被添加到Merge候选列表中。

在一些示例中，如在图15中，可以根据它们在时域候选之后的数字顺序来检查从6到27的扩展空域位置。为了保存MV行缓冲区，所有空域候选都被限制在两个CTU行内。

2.4 JEM中的帧内预测

2.4.1具有67种帧内预测模式的帧内模式编解码

对于亮度插值滤波，8抽头可分离的基于DCT的插值滤波器用于2/4精度样点，并且7抽头可分离的基于DCT的插值滤波器用于1/4精度样点，如表1所示。

表1：用于第1/4亮度插值的8抽头DCT-IF系数

类似地，4抽头可分离的基于DCT的插值滤波器用于色度插值滤波器，如表2所示。

表2：用于1/8色度插值的4抽头DCT-IF系数

位置	滤波器系数
		1/8	{-2,58,10,-2}
2/8	{-4,54,16,-2}
		3/8	{-6,46,28,-4}
4/8	{-4,36,36,-4}
		5/8	{-4,28,46,-6}
6/8	{-2,16,54,-4}
		7/8	{-2,10,58,-2}

对于4:2:2的垂直插值和对于4:4:4色度通道的水平和垂直插值，不使用表2中的奇数位置，从而导致第1/4色度插值。

对于双向预测，在对两个预测信号求平均之前，将插值滤波器的输出的比特深度保持为14比特精度，而不管源比特深度如何。实际的求平均过程是利用比特深度减小过程隐式完成的：

predSamples[x,y]＝(predSamplesL0[x,y]+predSamplesL1[x,y]+offset)>>shift

其中shift＝(15-BitDepth)andoffset＝1<<(shift-1)

如果运动矢量的水平分量和垂直分量都指向子像素位置，则总是首先执行水平插值，然后执行垂直插值。例如，要对图16所示的子像素j_0,0进行插值，可以对子像素j_0,0进行插值。在图16中，首先根据等式2-1对b_0,k(k＝-3,-2,…3)进行插值，然后根据等式2-2对j_0,0进行插值。这里，shift1＝Min(4,BitDepthY-8)且shift2＝6。

b_0,k＝(-A_-3,k+4*A_-2,k-11*A_-1,k+40*A_0,k+40*A_1,k-11^*A_2,k+4*A_3,k-A_4,k)>>shift1(2-1)

j_0,0＝(-b0,-3+4*b_0,-2-11*b_0,-1+40*b_0,0+40*b_0,1-11*b_0,2+4*b_0,3-b_0,4)>>shift2(2-2)

可替代地，我们可以首先执行垂直插值，然后执行水平插值。在这种情况下，要对插值j_0,0进行插值，首先根据等式2-3对h_k,0(k＝-3,-2,…3)进行插值，然后根据等式2-4对j_0,0进行插值。当BitDepthY小于或等于8时，shift1为0，在第一插值阶段不会丢失任何内容，因此，最终插值结果不按插值顺序而变化。然而，当BitDepthY大于8时，shift1大于0。在这种情况下，当应用不同的插值顺序时，最终插值结果可能不同。

h_k,0＝(-A_k,-3+4*A_k,-2-11*A_k,-1+40*A_k,0+40*A_k,1-11*A_k,2+4*A_k,3-A_k,4)>>shift1(2-3)

j_0,0＝(-h_-3,0+4*h_-2,0-11*h_-1,0+40*h_0,0+40*h_1,0-11*h_2,0+4*h_3,0-h_4,0)>>shift2(2-4)

3.实施例解决的问题的示例

对于亮度块尺寸W×H，如果我们总是首先执行水平插值，则所需的插值(每像素)如表3所示。

表3：通过HEVC/JEM的W×H亮度分量所需的插值

另一方面，如果我们首先执行垂直插值，则所需的插值如表4所示。显然，最佳插值顺序是在表3和表4之间需要较小插值时间的顺序。

表4：当反转插补顺序时W×H亮度分量所需的插值

对于色度分量，如果总是首先执行水平插值，则所需插值是((H+3)×W+W×H)/(W×H)＝2+3/H。如果我们总是首先执行垂直插值，则所需插值是((W+3)×H+W×H)/(W×H)＝2+3/W。

如上所述，当输入视频的比特深度大于8时，不同的插值顺序会导致不同的插值结果。因此，应该在编码器和解码器两者中隐式地定义插值顺序。

4.实施例的示例

为了解决这些问题并提供其他益处，我们提出了依赖于形状的插值顺序。假设插值滤波器抽头(在运动补偿中)为N(例如，8、6、4或2)，并且当前块尺寸为W×H。

假设MMVD中允许的MVD的数量(诸如距离表的条目的数量)为M。注意，三角形模式被视为双向预测模式，并且与双向预测相关的以下技术也可以被应用于三角形模式。

下面的详细示例应该被认为是解释一般概念的示例。这些示例不应该被狭义地解释。此外，这些示例可以以任何方式被组合。

1.提出了插值顺序取决于当前编解码块形状(例如，编解码块是CU)。

a.在一个示例中，对于宽度>高度的块(诸如在如仿射、ATMVP或BIO的基于子块的预测中使用的CU、PU或子块)，首先执行垂直插值，然后执行水平插值，例如首先对像素d_k,0、h_k,0和n_k,0进行插值，然后对e_0,0至r_0,0进行插值。j_0,0的示例在等式2-3和2-4中示出。

i.可替代地，对于宽度>＝高度的块(诸如在如仿射、ATMVP或BIO的基于子块的预测中使用的CU、PU或子块)，首先执行垂直插值，然后执行水平插值。

b.在一个示例中，对于宽度<＝高度的块(诸如在如仿射、ATMVP或BIO的基于子块的预测中使用的CU、PU或子块)，首先执行水平插值，然后执行垂直插值。

i.可替代地，对于宽度<高度的块(诸如在如仿射、ATMVP或BIO的基于子块的预测中使用的CU、PU或子块)，首先执行水平插值，然后执行垂直插值。

c.在一个示例中，亮度分量和色度分量都遵循相同的插值顺序。

d.可替代地，当一个色度编解码块对应于多个亮度编解码块时(例如，对于4:2:0色彩格式，一个色度4×4块可以对应于两个8×4或4×8亮度块)，亮度和色度可以使用不同的插值顺序。

e.在一个示例中，当利用不同的插值顺序时，还可以相应地改变多个阶段中的缩放因子(即shift1和shift2)。

2.此外，可替代地，提出了亮度分量的插值顺序还可以取决于MV。

a.在一个示例中，如果垂直MV分量指向四分之一像素位置，并且水平MV分量指向半像素位置，则首先执行水平插值，然后执行垂直插值。

b.在一个示例中，如果垂直MV分量指向半像素位置，并且水平MV分量指向四分之一像素位置，则首先执行垂直插值，然后执行水平插值。

c.在一个示例中，所提出的方法仅被应用于正方形编解码块。

3.提出了对于以Merge模式(例如，规则Merge列表、三角形Merge列表、仿射Merge列表或其他非帧内/非AMVP模式)编解码的块，可以在调用运动补偿过程之前将相关联的运动信息修改为整数精度(例如，经由取整)。

a.可替代地，可以从Merge列表排除具有分数Merge候选的Merge候选。

b.可替代地，当将从空域或时域块或者其他方式(诸如HMVP、成对双向预测Merge候选)推导出的Merge候选与分数运动矢量相关联时，在被添加到Merge列表之前，分数运动矢量可以首先被修改为整数精度(例如，经由取整)。

c.在一个示例中，可以动态地(on-the-fly)保持单独的HMVP表，以存储具有整数精度的运动候选。

d.可替代地，仅当Merge候选是双向预测候选时，才可以应用以上方法。

e.在一个示例中，以上方法可以被应用于某些块大小，诸如4×16、16×4，4×8、8×4、4×4。

f.在一个示例中，以上方法可以被应用于AMVP编解码块，其中，可以用AMVP候选替换Merge候选。

g.在一个示例中，以上方法可以被应用于某些块模式，诸如非仿射模式。

4.提出了MMVD边信息(诸如距离表、方向)可以取决于块大小和/或预测方向(例如，单向预测或双向预测)。

a.在一个示例中，可以定义或信令通知具有所有整数精度的距离表。

b.在一个示例中，如果基本Merge候选与分数精度的运动矢量相关联，则其可以首先被修改(诸如经由取整)为整数精度，然后用于推导用于运动补偿的最终运动矢量。

5.提出了对于某些块尺寸或块形状，可以将MMVD模式下的MV约束为具有整数像素精度或半像素精度。

a.在一个示例中，如果针对MMVD编解码块选择了整数像素精度，则可以首先将在MMVD中使用的基本Merge候选修改为整数像素精度(诸如经由取整)。

b.在一个示例中，如果针对MMVD编解码块选择了半像素精度，则可以将在MMVD中使用的基本Merge候选修改为半像素精度(诸如经由取整)。

i.在一个示例中，可以在基本Merge列表构建过程中执行取整，因此，在修剪中使用取整后的MV。

ii.在一个示例中，可以在基本Merge列表构建过程之后执行取整，

因此，在修剪中使用未取整的MV。

c.在一个示例中，如果整数像素精度或半像素精度用于MMVD模式，则仅允许具有相同或更低精度的MVD。

i.例如，如果整数像素精度用于MMVD模式，则仅允许整数像素精度、2像素精度或N像素精度(N>＝1)MVD。

d.在一个示例中，如果在MMVD模式下不允许K MVD，则可以修改MVD索引的二值化，因为最大MVD索引是M–K–1而不是M–1。

同时，可以在CABAC编解码中使用不同的上下文。

e.在一个示例中，可以在MMVD模式下推导MV之后执行取整。

f.该约束对于双向预测和单向预测可以不同。例如，该约束可以不被应用于单向预测中。

g.该约束对于不同的块尺寸或块形状可以不同。

6.提出了对于某些块尺寸或块形状，可以约束半像素MV分量或/和四分之一像素MV分量(例如，水平MV或垂直MV)的最大数量。

a.在一个示例中，比特流应当符合该约束。

b.该约束对于双向预测和单向预测可以不同。例如，该约束可以不被应用于单向预测中。

i.例如，这样的约束可以被应用于双向预测的4×8或/和8×4或/和4×16或/和16×4块，然而，它可以不被应用于单向预测的4×8或/和8×4或/和4×16或/和16×4块。

ii.例如，这样的约束可以被应用于双向预测和单向预测的4×4块。

c.该约束对于不同的块尺寸或块形状可以不同。

d.该约束可以被应用于三角形模式。

i.例如，这样的约束可以被应用于在三角形模式下编解码的4×16或/和16×4块。

e.在一个示例中，对于双向预测块，可以允许最多3个四分之一像素MV分量。

f.在一个示例中，对于双向预测块，可以允许最多2个四分之一像素MV分量。

g.在一个示例中，对于双向预测块，可以允许最多1个四分之一像素MV分量。

h.在一个示例中，对于双向预测块，可以允许最多0个四分之一像素MV分量。

i.在一个示例中，对于单向预测块，可以允许最多1个四分之一像素MV分量。

j.在一个示例中，对于单向预测块，可以允许最多0个四分之一像素MV分量。

k.在一个示例中，对于双向预测块，可以允许最多3个分数MV分量。

l.在一个示例中，对于双向预测块，可以允许最多2个分数MV分量。

m.在一个示例中，对于双向预测块，可以允许最多1个分数MV分量。

n.在一个示例中，对于双向预测块，可以允许最多0个分数MV分量。

o.在一个示例中，对于单向预测块，可以允许最多1个分数MV分量。

p.在一个示例中，对于单向预测块，可以允许最多0个分数MV分量。

7.提出了可以根据块的大小(例如，宽度和/或高度、宽度和高度的比率)或/和预测方向或/和运动信息将MV的一些分量取整为整数像素精度或半像素精度。

a.在一个示例中，MV被取整为最接近的整数像素精度MV或/和半像素精度MV。

b.在一个示例中，可以使用不同的取整方法。例如，可以使用向下取整、向上取整、向零取整或远零取整(rounding away from zero)。

c.在一个示例中，如果块的尺寸(即，宽度*高度)小于(或大于)(和/或等于)阈值L(例如，L＝16或64)，则MV取整可以被应用于水平或/和垂直MV分量。

d.在一个示例中，如果块的宽度(或高度)小于(和/或等于)阈值L1(例如，L1＝4、8)，则MV取整可以被应用于水平(或垂直)MV分量。

e.在一个示例中，阈值L和L1对于双向预测块和单向预测块可以不同。例如，更小的阈值可以用于双向预测块。

f.在一个示例中，如果宽度和高度之间的比率大于第一阈值或小于第二阈值(诸如对于如4×16或16×4的窄块)，则可以应用MV取整。

g.在一个示例中，仅当MV的水平和垂直分量都是分数的(即，它们指向分数像素位置而不是整数像素位置)时，才可以应用MV取整。

h.是否应用MV取整可以取决于当前块是双向预测还是单向预测。

i.例如，仅当当前块是双向预测的时，才可以应用MV取整。

i.是否应用MV取整可以取决于预测方向(例如，来自列表0或列表1)和/或相关联的运动矢量。在一个示例中，对于双向预测块，是否应用MV取整对于不同的预测方向可以不同。

i.在一个示例中，如果预测方向X(X＝0或1)的MV在水平方向和垂直方向上均具有分数分量，则MV取整可以被应用于预测方向X的N个MV分量；否则，可以不应用MV取整。这里，N＝0、1或2。

ii.在一个示例中，如果N(N>＝0)个MV分量具有分数精度，则MV取整可以被应用于N个MV分量中的M(0<＝M<＝N)个MV分量。

1.N和M对于双向预测块和单向预测块可以不同。

2.N和M对于不同的块尺寸(宽度或/和高度或/和宽度*高度)可以不同。

3.例如，对于双向预测块，N等于4且M等于4。

4.例如，对于双向预测块，N等于4且M等于3。

5.例如，对于双向预测块，N等于4且M等于2。

6.例如，对于双向预测块，N等于4且M等于1。

7.例如，对于双向预测块，N等于3且M等于3。

8.例如，对于双向预测块，N等于3且M等于2。

9.例如，对于双向预测块，N等于3且M等于1。

10.例如，对于双向预测块，N等于2且M等于2。

11.例如，对于双向预测块，N等于2且M等于1。

12.例如，对于双向预测块，N等于1且M等于1。

13.例如，对于单向预测块，N等于2且M等于2。

14.例如，对于单向预测块，N等于2且M等于1。

15.例如，对于单向预测块，N等于1且M等于1。

iii.在一个示例中，M个MV分量中的K个MV分量被取整为整数像素精度，并且M-K个MV分量被取整为半像素精度，其中，K＝0,1,…,M–1。

j.是否应用MV取整对于不同的色彩分量(诸如Y、Cb和Cr)可以不同。

i.例如，是否以及如何应用MV取整可以取决于色彩格式，诸如4:2:0、4:2:2或4:4:4。

k.是否和/或如何应用MV取整可以取决于块尺寸(或宽度、高度)、块形状、预测方向等。

i.在一个示例中，4×16或/和16×4双向预测亮度块或/和单向预测亮度块的一些MV分量可以被取整为半像素精度。

ii.在一个示例中，4×16或/和16×4双向预测亮度块或/和单向预测亮度块的一些MV分量可以被取整为整数像素精度。

iii.在一个示例中，4×4单向预测亮度块或/和双向预测亮度块的一些MV分量可以被取整为整数像素精度。

iv.在一个示例中，4×8或/和8×4双向预测亮度块或/和单向预测亮度块的一些MV分量可以被取整为整数像素精度。

l.在一个示例中，MV取整可以不被应用于子块预测，诸如仿射预测。i.在替代示例中，MV取整可以被应用于诸如ATMVP预测的子块预测。在这种情况下，每个子块被视为编解码块，以判断是否以及如何应用MV取整。

8.提出了对于某些块尺寸，一个块的运动矢量应当在用于运动补偿之前(例如，如果它们为分数精度)被修改为整数精度。

9.在一个示例中，对于某些块大小，所存储的运动矢量和用于运动补偿的运动矢量可以为不同的精度。

a.在一个示例中，可以为具有某些块大小的块存储子像素精度(又称为分数精度，诸如1/4像素、1/16像素)，但是运动补偿过程基于这些运动矢量的整数版本(诸如经由取整)。

10.提出了可以在序列参数集/图片参数集/序列头/图片头/片头/片组头/CTU行/区域/其他高级语法中信令通知对某些块大小不允许双向预测的指示。

a.可替代地，可以在序列参数集/图片参数集/序列头/图片头/片头/片组头/CTU行/区域/其他高级语法中信令通知对某些块大小不允许双向预测的指示。

b.可替代地，可以在序列参数集/图片参数集/序列头/图片头/片头/片组头/CTU行/区域/其他高级语法中信令通知对某些块大小不允许双向预测和/或单向预测的指示。

c.此外，可替代地，这样的指示可以仅被应用于某些模式，诸如非仿射模式。

d.此外，可替代地，当对块不允许单向预测/双向预测时，可以相应地修改AMVR索引的信令，诸如仅允许整数像素精度，或者相反可以利用不同的MV精度。

e.此外，可替代地，以上方法(诸如项目符号3-9)也可以适用。

11.提出了一致性比特流应当遵循这样的规则，即对于某些块大小，对双向预测编解码块仅允许整数像素运动矢量。

a.提出了一致性比特流应当遵循这样的规则，即对于某些块大小，对双向预测编解码块仅允许整数像素运动矢量。

12.AMVR标志的信令可以取决于是否对块允许分数运动矢量。

a.在一个示例中，如果对于块不允许分数(即，1/4像素)MV/MVD精度，则可以跳过指示当前块的MV/MVD精度是否为1/4像素的标志并将其隐式地推导为假。

13.在一个示例中，上述块大小为例如4×16、16×4、4×8、8×4、4×4。

14.提出了可以根据块的大小(例如，宽度和/或高度、宽度和高度的比率)在插值中使用具有不同插值滤波器(例如，不同的滤波器抽头和/或不同的滤波器插值滤波器系数)的滤波器。

a.不同的滤波器可以用于垂直插值和水平插值。例如，与用于水平插值的滤波器相比，更短的抽头滤波器可以被应用于垂直插值。

b.在一个示例中，可以在某些情况下应用抽头少于VTM-3.0中的插值滤波器的插值滤波器。抽头更少的这些插值滤波器也被称为“短抽头滤波器”。

c.在一个示例中，如果块的尺寸(即，宽度*高度)小于(或大于)(和/或等于)阈值L(例如，L＝16或64)，则不同的滤波器(例如，短抽头滤波器)可以用于水平插值或/和垂直插值。

d.在一个示例中，如果块的宽度(或高度)小于(和/或等于)阈值L1(例如，L1＝4、8)，则不同的滤波器(例如，短抽头滤波器)可以用于水平(或垂直)插值。

e.在一个示例中，如果宽度和高度之间的比率大于第一阈值或小于第二阈值(诸如对于如4×16或16×4的窄块)，则可以选择与用于其他种类的块的滤波器不同的滤波器(例如，短抽头滤波器)。

f.在一个示例中，仅当MV的水平和垂直分量都是分数的(即，它们指向分数像素位置而不是整数像素位置)时，才可以使用短抽头滤波器。

g.要使用哪个滤波器(例如，可以使用或不使用短抽头滤波器)可以取决于当前块是双向预测还是单向预测。

i.例如，仅当当前块是双向预测时，才可以使用短抽头滤波器。

h.要使用哪个滤波器(例如，可以使用或不使用短抽头滤波器)可以取决于预测方向(例如，来自列表0或列表1)和/或相关联的运动矢量。在一个示例中，对于双向预测块，是否使用短抽头滤波器对于不同的预测方向可以不同。

i.在一个示例中，如果预测方向X(X＝0或1)的MV在水平方向和垂直方向上均具有分数分量，则短抽头滤波器用于预测方向X；否则，不使用短抽头滤波器。

ii.在一个示例中，如果N(N>＝0)个MV分量具有分数精度，则短抽头滤波器可以被应用于N个MV分量中的M(0<＝M<＝N)个MV分量。

1.N和M对于双向预测块和单向预测块可以不同。

2.N和M对于不同的块尺寸(宽度或/和高度或/和宽度*高度)可以不同。

3.例如，对于双向预测块，N等于4且M等于4。

4.例如，对于双向预测块，N等于4且M等于3。

5.例如，对于双向预测块，N等于4且M等于2。

6.例如，对于双向预测块，N等于4且M等于1。

7.例如，对于双向预测块，N等于3且M等于3。

8.例如，对于双向预测块，N等于3且M等于2。

9.例如，对于双向预测块，N等于3且M等于1。

10.例如，对于双向预测块，N等于2且M等于2。

11.例如，对于双向预测块，N等于2且M等于1。

12.例如，对于双向预测块，N等于1且M等于1。

13.例如，对于单向预测块，N等于2且M等于2。

14.例如，对于单向预测块，N等于2且M等于1。

15.例如，对于单向预测块，N等于1且M等于1。

iii.不同的短抽头滤波器可以用于M个MV分量。

1.在一个示例中，M个MV分量中的K个MV分量使用S1抽头滤波器，并且M–K个MV分量使用S2抽头滤波器，其中，K＝0,1,...,M-1。例如，S1等于6且S2等于4。

i.在一个示例中，不同的滤波器(例如，短抽头滤波器)可以仅用于一些像素。例如，它们仅用于块的边界像素。

i.例如，它们仅用于块的N1右列或/和N2左列或/和N3顶部行或/和N4底部行。

j.是否使用短抽头滤波器对于单向预测块和双向预测块可以不同。

k.是否使用短抽头滤波器对于不同的色彩分量(诸如Y、Cb和Cr)可以不同。

i.例如，是否以及如何应用短抽头滤波器可以取决于色彩格式，诸如4:2:0、4:2:2或4:4:4。

l.不同的短抽头滤波器可以用于不同的块。所选择的短抽头滤波器可以取决于块尺寸(或宽度、高度)、块形状、预测方向等。

i.在一个示例中，7抽头滤波器用于4×16或/和16×4双向预测亮度块或/和单向预测亮度块的水平插值和垂直插值。

ii.在一个示例中，7抽头滤波器用于4×4单向预测亮度块或/和双向预测亮度块的水平(或垂直)插值。

iii.在一个示例中，6抽头滤波器用于4×8或/和8×4双向预测亮度块或/和单向预测亮度块的水平插值和垂直插值。

1.可替代地，6抽头滤波器和5抽头滤波器(或5抽头滤波器和6抽头滤波器)用于分别针对4×8或/和8×4双向预测亮度块或/和单向预测亮度块的水平插值和垂直插值中。

m.不同的短抽头滤波器可以用于不同种类的运动矢量。

i.在一个示例中，更长的抽头长度滤波器可以用于仅在一个方向(即，水平方向或垂直方向)上具有分数分量的运动矢量，并且更短的抽头长度滤波器可以用于在水平方向和垂直方向上均具有分数分量的运动矢量。

ii.例如，8抽头滤波器用于仅在一个方向上具有分数MV分量的4×16或/和16×4或/和4×8或/和8×4或/和4×4双向预测块或/和单向预测块，并且在项目符号3.h中描述的短抽头滤波器用于在两个方向上具有分数MV分量的4×16或/和16×4或/和4×8或/和8×4或/和4×4双向预测块或/和单向预测块。

iii.在一个示例中，用于仿射运动的插值滤波器可以与用于平移运动矢量的插值滤波器不同。

iv.在一个示例中，与用于平移运动矢量的插值滤波器相比，短抽头插值滤波器可以用于仿射运动。

n.在一个示例中，短抽头滤波器可以不被应用于子块预测，诸如仿射预测。

i.在替代示例中，短抽头滤波器可以被应用于子块预测，诸如ATMVP预测。在这种情况下，每个子块被视为编解码块，以判断是否以及如何应用短抽头滤波器。

o.在一个示例中，是否应用短抽头滤波器和/或如何应用抽头滤波器可以取决于块大小、编解码信息等。

i.在一个示例中，当对块启用某个模式(诸如OBMC、交织仿射预测模式)时，可以应用短抽头滤波器。

15.提出了可以提取(W+N–1–PW)*(W+N–1–PH)个参考像素(而不是(W+N–1)*(H+N–1)个参考像素)以用于W×H块的运动补偿，其中，PW和PH不能都等于0。

a.此外，在一个示例中，对于剩余参考像素(未提取，但运动补偿所需的)，可以应用根据所提取的参考样点的填充或推导。

b.此外，可替代地，参考块边界(顶部边界、左边界、底部边界和右边界)处的像素被重复以生成(W+N–1)*(H+N–1)块，其用于最终插值。示例如图21所示，在图中，W＝8，H＝4，N＝7，PW＝2并且PH＝3。

c.所提取的参考像素可以由(x+MVXInt–N/2+offSet1,y+MVYInt–N/2+offSet2)标识，其中，(x,y)是当前块的左上方位置，(MVXInt,MVYInt)是MV的整数部分，offSet1和offSet2是诸如-2、-1、0、1、2等的整数。

d.在一个示例中，PH为零，并且仅左边界或/和右边界被重复。

e.在一个示例中，PW为零，并且仅顶部边界或/和底部边界被重复。

f.在一个示例中，PW和PH都大于零，并且首先左边界或/和右边界被重复，然后顶部边界或/和底部边界被重复。

g.在一个示例中，PW和PH都大于零，并且首先顶部边界或/和底部边界被重复，然后左边界或/和右边界被重复。

h.在一个示例中，左边界被重复M1次，并且右边界被重复PW–M1次，其中，M1是整数，并且M1>＝0。

i.可替代地，如果M1(或PW-M1)大于1，则代替将第一左(或右)列重复M1次，可以利用多个列，诸如可以重复M1个左列(或PW-M1个右列)。

i.在一个示例中，顶部边界被重复M2次，并且底部边界被重复PH-M2次，其中，M2是整数，并且M2>＝0。

i.可替代地，如果M2(或PH-M2)大于1，则代替将第一顶部(或底部)行重复M2次，可以利用多个行，诸如可以重复M2个顶部行(或PH-M2个底部行)。

j.在一个示例中，一些默认值可以用于边界填充。

k.在一个示例中，仅当MV的水平分量和垂直分量都是分数的(即，它们指向分数像素位置而不是整数像素位置)时，才可以使用这样的边界像素重复方法。

l.在一个示例中，这样的边界像素重复方法可以被应用于一些或所有参考块。

i.在一个示例中，如果预测方向X(X＝0或1)的MV在水平方向和垂直方向上均具有分数分量，则这样的边界像素重复方法用于预测方向X；否则，不使用该方法。

ii.在一个示例中，如果N(N>＝0)个MV分量具有分数精度，则边界像素重复方法可以被应用于N个MV分量中的M(0<＝M<＝N)个MV分量。

1.N和M对于双向预测块和单向预测块可以不同。

2.N和M对于不同的块尺寸(宽度或/和高度或/和宽度*高度)可以不同。

3.例如，对于双向预测块，N等于4且M等于4。

4.例如，对于双向预测块，N等于4且M等于3。

5.例如，对于双向预测块，N等于4且M等于2。

6.例如，对于双向预测块，N等于4且M等于1。

7.例如，对于双向预测块，N等于3且M等于3。

8.例如，对于双向预测块，N等于3且M等于2。

9.例如，对于双向预测块，N等于3且M等于1。

10.例如，对于双向预测块，N等于2且M等于2。

11.例如，对于双向预测块，N等于2且M等于1。

12.例如，对于双向预测块，N等于1且M等于1。

13.例如，对于单向预测块，N等于2且M等于2。

14.例如，对于单向预测块，N等于2且M等于1。

15.例如，对于单向预测块，N等于1且M等于1。

iii.不同的边界像素重复方法可以用于M个MV分量。

m.PW和/或PH对于不同的色彩分量(诸如Y、Cb和Cr)可以不同。

i.例如，是否以及如何应用边界像素重复可以取决于色彩格式，诸如4:2:0、4:2:2或4:4:4。

n.在一个示例中，PW和/或PH对于不同的块尺寸或形状可以不同。

iv.在一个示例中，对于4×16或/和16×4双向预测块或/和单向预测块，PW和PH被设置为等于1。

v.在一个示例中，对于4×4双向预测或/和单向预测块，PW和PH被分别设置为等于0和1(或1和0)。

vi.在一个示例中，对于4×8或/和8×4双向预测块或/和单向预测块，PW和PH被设置为等于2。

1.可替代地，对于4×8或/和8×4双向预测块或/和单向预测块，PW和PH被分别设置为等于2和3(或3和2)。

o.在一个示例中，PW和PH对于单向预测和双向预测可以不同。

p.PW和PH对于不同种类的运动矢量可以不同。

vii.在一个示例中，对于仅在一个方向(即水平方向或垂直方向)上具有分数分量的运动矢量，PW和PH可能更小(甚至为零)，并且对于在水平和垂直方向上均具有分数分量的运动矢量，PW和PH可能更大。

viii.例如，对于仅在一个方向上具有分数MV分量的4×16或/和16×4或/和4×8或/和8×4或/和4×4双向预测块或/和单向预测块，PW和PH被设置等于0，并且项目符号4.i所描述的PW和PH用于在两个方向上均具有分数MV分量的4×16或/和16×4或/和4×8或/和8×4或/和4×4双向预测块或/和单向预测块。

图21示出了在插值之前重复参考块的边界像素的示例。

16.所提出的方法可以被应用于某些模式、块尺寸/形状、和/或某些子块尺寸。

a.所提出的方法可以被应用于某些模式，诸如双向预测模式。

b.所提出的方法可以被应用于某些块尺寸。

i.在一个示例中，其仅被应用于w×h<＝T的块，其中w和h是当前块的宽度和高度。

ii.在一个示例中，其仅被应用于h<＝T的块。

c.所提出的方法可以被应用于某个色彩分量(诸如仅亮度分量)。

17.上述取整运算可以被定义为：

a.Shift(x,s)被定义为

Shift(x,s)＝(x+off)＞＞s

b.SignShift(x,s)被定义为

其中off是整数，诸如0或2^s-1。

c.其可以被定义为在AMVR过程、仿射过程或其他过程模块中用于运动矢量取整的那些。

18.在一个示例中，如何对MV进行取整可以取决于MV分量。

a.例如，MV的y分量被取整为整数像素，但MV的x分量不被取整。

b.在一个示例中，MV可以在用于亮度分量的运动补偿之前被取整为整数像素，但是当色彩格式为4:2:0时，在用于色度分量的运动补偿之前被取整为2像素像素。

19.提出了双线性滤波器用于针对一种或多种特定情况进行插值滤波，诸如：

a.4×4单向预测；

b.4×8双向预测；

c.8×4双向预测；

4.4×16双向预测；

e.16×4双向预测；

f.8×8双向预测；

g.8×4单向预测；

h.4×8单向预测；

20.提出了当多假设预测被应用于一个块时，与应用于正常预测模式的那些滤波器相比，可以应用短抽头或不同插值滤波器。

a.在一个示例中，可以使用双线性滤波器。

b.短抽头或第二插值滤波器可以被应用于涉及多个参考块的参考图片列表，而对于仅具有一个参考块的另一参考图片，可以应用与用于正常预测模式的滤波器相同的滤波器。

c.所提出的方法可以在某些条件下被应用，诸如某个(某些)时域层，包含块的块/片/条带/图片的量化参数在一范围内(诸如大于阈值)。

图17是视频处理装置1700的框图。装置1700可以用于实施本文描述的一种或多种方法。装置1700可以被体现在智能手机、平板电脑、计算机，物联网(IoT)接收器等中。装置1700可以包括一个或多个处理器1702、一个或多个存储器1704、以及视频处理硬件1706。(多个)处理器1702可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)1704可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件1706可以用于在硬件电路中实施本文档中描述的一些技术。

图19是视频比特流处理的方法1900的流程图。方法1900包括：确定(1905)视频块的形状；基于视频块来确定(1910)插值顺序，该插值顺序指示执行水平插值和垂直插值的次序；以及根据视频块的插值顺序来执行水平插值和垂直插值，以重构(1915)视频块的解码表示。

图20是视频比特流处理的方法2000的流程图。方法2000包括：确定(2005)与视频块相关的运动矢量的特性；基于运动矢量的特性来确定(2010)视频块的插值顺序，该插值顺序指示执行水平插值和垂直插值的次序；以及根据视频块的插值顺序来执行水平插值和垂直插值，以重构(2015)视频块的解码表示。

图22是视频比特流处理的方法2200的流程图。方法2200包括：确定(2205)第一视频块的大小特性；基于对大小特性的确定来确定(2210)第一插值滤波器要被应用于第一视频块；以及使用第一插值滤波器来执行(2215)第一视频块的进一步处理。

图23是视频比特流处理的方法2300的流程图。方法2300包括：确定(2305)第一视频块的第一特性；基于对第一特性的确定来确定(2310)第一插值滤波器要被应用于第一视频块；使用第一插值滤波器来执行(2315)第一视频块的进一步处理；确定(2320)第二视频块的第二特性；基于第二特性来确定(2325)第二插值滤波器要被应用于第一视频块，第一插值滤波器和第二插值滤波器是不同的短抽头滤波器；以及使用第二插值滤波器来执行(2330)第二视频块的进一步处理。

参考方法1900、2000、2200和2300，在本文档的第4节中描述了执行水平插值和垂直插值的次序的一些示例及其使用。例如，如第4节所述，在视频块的不同形状下，可以优先考虑首先执行水平插值或垂直插值中的一个。在一些实施例中，在垂直插值之前执行水平插值，并且在一些实施例中，在水平插值之前执行垂直插值。

参考方法1900、2000、2200和2300，可以在其中可以通过使用与插值顺序相关的比特流生成规则来实现比特效率的视频比特流中编码视频块，其中该插值顺序也取决于视频块的形状。

该方法可以包括，其中，对运动矢量进行取整包括以下中的一个或多个：取整为最接近的整数像素精度MV或取整为半像素精度MV。

该方法可以包括，其中，对MV进行取整包括以下中的一个或多个：向下取整、向上取整、向零取整或远零取整。

该方法可以包括，其中，大小信息表示第一视频块的尺寸小于阈值，并且对MV进行取整基于大小信息表示第一视频块的尺寸小于阈值而应用于水平MV分量或垂直MV分量中的一个或两个。

该方法可以包括，其中，大小信息表示第一视频块的宽度或高度小于阈值，并且对MV进行取整基于大小信息表示第一视频块的宽度或高度小于阈值而应用于水平MV分量或垂直MV分量中的一个或两个。

该方法可以包括，其中，阈值对于双向预测块和单向预测块是不同的。

该方法可以包括，其中，大小信息表示第一视频块的宽度和高度之间的比率大于第一阈值或小于第二阈值，并且其中，对MV的取整基于对大小信息的确定。

该方法可以包括，其中，对MV进行取整还基于MV的水平分量和垂直分量都是分数的。

该方法可以包括，其中，对MV进行取整还基于第一视频块是双向预测或单向预测的。

该方法可以包括，其中，对MV进行取整还基于与第一视频块相关的预测方向。

该方法可以包括，其中，对MV进行取整还基于第一视频块的色彩分量。

该方法可以包括，其中，对MV进行取整还基于第一视频块的尺寸、第一视频块的形状或第一视频块的预测形状。

该方法可以包括，其中，对MV进行取整被应用于子块预测。

该方法可以包括，其中，短抽头滤波器基于MV分量具有分数精度而应用于MV分量。

该方法可以包括，其中，短抽头滤波器基于第一视频块的大小或第一视频块的编解码信息而应用。

该方法可以包括，其中，短抽头滤波器基于第一视频块的模式而应用。

该方法可以包括，其中，默认值用于与第一视频块相关的边界填充。

该方法可以包括，其中，Merge模式是以下中的一个或多个：规则Merge列表、三角形Merge列表、仿射Merge列表、或者其他非帧内或非AMVP模式。

该方法可以包括，其中，具有分数Merge候选的Merge候选从Merge列表中排除。

该方法可以包括，其中，对运动信息进行取整包括将与分数运动矢量相关联的Merge候选取整为整数精度，并且修改后的运动信息被插入到Merge列表中。

该方法可以包括，其中，运动信息是双向预测候选。

该方法可以包括，其中，MMVD是矢量差的平均幅度。

该方法可以包括，其中，运动矢量处于MMVD模式。

该方法可以包括，其中，第一视频块是要与整数像素精度相关联的MMVD编解码块，并且其中，在MMVD中使用的基本Merge候选经由取整被修改为整数像素精度。

该方法可以包括，其中，第一视频块是要与半像素精度相关联的MMVD编解码块，并且其中，在MMVD中使用的基本Merge候选经由取整被修改为半像素精度。

该方法可以包括，其中，阈值数量是允许的半像素MV分量或四分之一像素MV分量的最大数量。

该方法可以包括，其中，阈值数量在双向预测和单向预测之间是不同的。

该方法可以包括，其中，不允许双向预测的指示在序列参数集、图片参数集、序列头、图片头、片头、片组头、CTU行、区域或其他高级语法中被信令通知。

该方法可以包括，其中，该方法符合比特流规则，其中该比特流规则仅允许具有特定大小的双向预测编解码块的整数像素运动矢量。

该方法可以包括，其中，第一视频块的尺寸为：4×6、16×4、4×8、8×4或4×4。

该方法可以包括，其中，对运动信息进行修改或取整包括不同地修改不同的MV分量。

该方法可以包括，其中，第一MV的y分量被修改或取整为整数像素，并且第一MV的x分量不被修改或取整。

该方法可以包括，其中，第一MV的亮度分量被取整为整数像素，并且第一MV的色度分量被取整为2像素像素。

该方法可以包括，其中，第一MV与具有作为4:2:0的色彩格式的视频块相关。

该方法可以包括，其中，双边滤波器用于4×4单向预测、4×8双向预测、8×4双向预测、4×16双向预测、16×4双向预测、8×8双向预测、8×4单向预测或4×8单向预测。

图24是视频处理的方法2400的流程图。方法2400包括：为视频的第一块和第一块的比特流表示之间的转换确定(2402)第一块的特性；基于第一块的特性，确定(2404)具有用于第一块的插值的插值滤波器参数的滤波器；以及通过使用具有插值滤波器参数的滤波器来执行(2406)该转换。

在一些示例中，插值滤波器参数包括滤波器抽头和/或插值滤波器系数，并且插值包括垂直插值和水平插值中的至少一个。

在一些示例中，滤波器包括抽头少于常规插值滤波器的短抽头滤波器。

在一些示例中，常规插值滤波器具有8个抽头。

在一些示例中，第一块的特性包括大小参数，其中该大小参数包括第一块的宽度、高度、宽度和高度的比率、宽度*高度的尺寸中的至少一个。

在一些示例中，用于垂直插值的滤波器与用于水平插值的滤波器在抽头数量上不同。

在一些示例中，用于垂直插值的滤波器具有比用于水平插值的滤波器更少的抽头。

在一些示例中，用于水平插值的滤波器具有比用于垂直插值的滤波器更少的抽头。

在一些示例中，当第一块的尺寸小于和/或等于阈值时，短抽头滤波器用于水平插值或/和垂直插值。

在一些示例中，当第一块的尺寸大于和/或等于阈值时，短抽头滤波器用于水平插值或/和垂直插值。

在一些示例中，当第一块的宽度小于和/或等于阈值时，短抽头滤波器用于水平插值，或者当第一块的高度小于和/或等于阈值，短抽头滤波器用于垂直插值。

在一些示例中，当宽度和高度之间的比率大于第一阈值或小于第二阈值时，短抽头滤波器用于垂直插值和/或水平插值。

在一些示例中，第一块的特性包括与第一块相关联的至少一个运动矢量(MV)。

在一些示例中，仅当MV的水平分量和垂直分量都是分数的时，短抽头滤波器才用于插值。

在一些示例中，第一块的特性包括指示第一块是双向预测还是单向预测的预测参数。

在一些示例中，是否使用短抽头滤波器取决于预测参数。

在一些示例中，仅当第一块是双向预测的时，短抽头滤波器才用于插值。

在一些示例中，第一块的特性包括指示来自列表0或列表1的预测方向和/或相关联的运动矢量(MV)。

在一些示例中，是否使用短抽头滤波器取决于第一块的预测方向和/或MV。

在一些示例中，在第一块是双向预测块的情况下，是否使用短抽头滤波器对于不同的预测方向是不同的。

在一些示例中，如果预测方向X(X为0或1)的MV在水平方向和垂直方向上均具有分数分量，则短抽头滤波器用于预测方向X；否则，不使用短抽头滤波器。

在一些示例中，如果N个MV分量具有分数精度，则短抽头滤波器用于N个MV分量中的M个MV分量，其中，N、M是整数，并且0<＝M<＝N。

在一些示例中，N和M对于双向预测块和单向预测块是不同的。

在一些示例中，对于双向预测块，N等于4且M等于4，或者N等于4且M等于3，或者N等于4且M等于2，或者N等于4且M等于1，或者N等于3且M等于3，或者N等于3且M等于2，或者N等于3且M等于1，或者N等于2且M等于2，或者N等于2且M等于1，或者N等于1且M等于1。

在一些示例中，对于单向预测块，N等于2且M等于2，或者N等于2且M等于1，或者N等于1且M等于1。

在一些示例中，短抽头滤波器包括具有S1抽头的第一短抽头滤波器和具有S2抽头的第二短抽头滤波器，并且其中，M个MV分量中的K个MV分量使用第一短抽头滤波器，并且M个MV分量中的(M–K)个MV分量使用第二短抽头滤波器，其中，K是从0到M–1的范围内的整数，S1和S2是整数。

在一些示例中，N和M对于块的不同大小参数是不同的，其中，大小参数包括块的宽度或/和高度或/和宽度*高度。

在一些示例中，第一块的特性包括第一块的像素的位置。

在一些示例中，是否使用短抽头滤波器取决于像素的位置。

在一些示例中，短抽头滤波器仅用于第一块的边界像素。

在一些示例中，短抽头滤波器仅用于第一块的N1右列或/和N2左列或/和N3顶部行或/和N4底部行，N1、N2、N3、N4是整数。

在一些示例中，第一块的特性包括第一块的色彩分量。

在一些示例中，是否使用短抽头滤波器对于第一块的不同色彩分量是不同的。

在一些示例中，色彩分量包括Y、Cb和Cr。

在一些示例中，第一块的特性包括第一块的色彩格式。

在一些示例中，是否以及如何应用短抽头滤波器取决于第一块的色彩格式。

在一些示例中，色彩格式包括4:2:0、4:2:2或4:4:4。

在一些示例中，滤波器包括具有不同抽头的不同的短抽头滤波器，并且不同的短抽头滤波器的选择基于块的特性。

在一些示例中，7抽头滤波器被选择用于4×16或/和16×4双向预测亮度块或/和单向预测亮度块的水平插值和垂直插值。

在一些示例中，7抽头滤波器被选择用于4×4单向预测亮度块或/和双向预测亮度块的水平插值或垂直插值。

在一些示例中，6抽头滤波器被选择用于4×8或/和8×4双向预测亮度块或/和单向预测亮度块的水平插值和垂直插值。

在一些示例中，6抽头滤波器和5抽头滤波器或者5抽头滤波器和6抽头滤波器被选择用于分别针对4×8或/和8×4双向预测亮度块或/和单向预测亮度块的水平插值和垂直插值。

在一些示例中，滤波器包括具有不同抽头的不同的短抽头滤波器，并且不同的短抽头滤波器用于不同种类的运动矢量(MV)。

在一些示例中，来自不同的短抽头滤波器的更长的抽头长度滤波器用于仅在水平方向或垂直方向中的一个上具有分数分量的MV，并且来自不同的短抽头滤波器的更短的抽头长度滤波器用于在水平方向和垂直方向上均具有分数分量的MV。

在一些示例中，8抽头滤波器用于仅在水平方向或垂直方向中的一个上具有分数MV分量的4×16或/和16×4或/和4×8或/和8×4或/和4×4双向预测块或/和单向预测块，并且短抽头滤波器用于在两个方向上均具有分数MV分量的4×16或/和16×4或/和4×8或/和8×4或/和4×4双向预测块或/和单向预测块。

在一些示例中，用于仿射运动的滤波器与用于平移运动矢量的滤波器不同。

在一些示例中，与用于平移运动矢量的滤波器相比，用于仿射运动的滤波器具有更少的抽头。

在一些示例中，短抽头滤波器不被应用于包括仿射预测的基于子块的预测。

在一些示例中，短抽头滤波器被应用于包括高级时域运动矢量预测(ATMVP)预测的基于子块的预测。

在一些示例中，每个子块用作编解码块，以确定是否以及如何应用短抽头滤波器。

在一些示例中，第一块的特性包括第一块的大小参数和编解码信息，并且是否以及如何应用短抽头滤波器取决于第一块的块大小和编解码信息。

在一些示例中，当对第一块启用包括OBMC和交织仿射预测模式中的至少一个的某个模式时，短抽头滤波器被应用。

在一些示例中，该转换从比特流表示生成视频的第一/第二块。

在一些示例中，该转换从视频的第一/第二块生成比特流表示。

图25是视频处理的方法2500的流程图。方法2500包括：针对视频的第一块和第一块的比特流表示之间的转换，从参考图片提取(2502)第一参考块的参考像素，其中，第一参考块小于第一块的运动补偿所需的第二参考块；用填充像素来填充(2504)第一参考块，以生成第一块的运动补偿所需的第二参考块；以及通过使用所生成的第二参考块来执行(2506)该转换。

在一些示例中，第一块的尺寸为W*H，第一参考块的尺寸为(W+N–1–PW)*(H+N–1–PH)，并且第二参考块的尺寸为(W+N–1)*(H+N–1)，其中，W是第一块的宽度，H是第一块的高度，N是用于第一块的插值滤波器抽头的数量，PW和PH是整数。

在一些示例中，用填充像素来填充第一参考块以生成第二参考块的步骤包括：重复第一参考块的一个或多个边界处的像素作为填充像素，以生成第二参考块。

在一些示例中，边界是第一参考块的顶部边界、左边界、底部边界和右边界。

在一些示例中，W＝8，H＝4，N＝7，PW＝2并且PH＝3。

在一些示例中，顶部边界、左边界和右边界处的像素被重复一次，并且底部边界处的像素被重复两次。

在一些示例中，所提取的参考像素由(x+MVXInt–N/2+offSet1,y+MVYInt–N/2+offSet2)标识，其中，(x,y)是第一块的左上方位置，(MVXInt,MVYInt)是第一块的运动矢量(MV)的整数部分，并且offSet1和offSet2是整数。

在一些示例中，当PH为零时，仅第一参考块的左边界或/和右边界处的像素被重复。

在一些示例中，当PW为零时，仅第一参考块的顶部边界或/和底部边界处的像素被重复。

在一些示例中，当PW和PH都大于零时，首先第一参考块的左边界或/和右边界处的像素被重复，然后第一参考块的顶部边界或/和底部边界处的像素被重复，或者首先第一参考块的顶部边界或/和底部边界被重复，然后第一参考块的左边界或/和右边界被重复。

在一些示例中，第一参考块的左边界处的像素被重复M1次，并且第一参考块的右边界处的像素被重复(PW–M1)次，其中，M1是整数，并且M1>＝0。

在一些示例中，第一参考块的M1个左列的像素或第一参考块的(PW-M1)个右列的像素被重复，其中，M1>1或PW-M1>1。

在一些示例中，第一参考块的顶部边界处的像素被重复M2次，并且第一参考块的底部边界处的像素被重复(PH-M2)次，其中，M2是整数，并且M2>＝0。

在一些示例中，第一参考块的M2个顶部行的像素或第一参考块的(PH-M2)个底部行的像素被重复，其中，M2>1或PW-M2>1。

在一些示例中，当第一块的MV的水平分量和垂直分量都是分数的时，第一参考块的一个或多个边界处的像素被重复作为填充像素，以生成第二参考块。

在一些示例中，当预测方向X(X为0或1)的MV在水平方向和垂直方向上均具有分数分量时，第一参考块的一个或多个边界处的像素被重复作为填充像素，以生成第二参考块。

在一些示例中，第一参考块是第一块的部分或所有参考块中的任何一个。

在一些示例中，如果预测方向X(X为0或1)的MV在水平方向和垂直方向上均具有分数分量，则第一参考块的一个或多个边界处的像素被重复作为填充像素，以生成预测方向X的第二参考块；否则，像素不被重复。

在一些示例中，如果N2个MV分量具有分数精度，则第一参考块的一个或多个边界处的像素被重复作为填充像素，以生成N2个MV分量中的M个MV分量的第二参考块，其中，N2、M是整数，并且0<＝M<＝N2。

在一些示例中，N2和M对于双向预测块和单向预测块是不同的。

在一些示例中，N2和M对于不同的块尺寸是不同的，块尺寸与块的宽度或/和高度或/和宽度*高度相关联。

在一些示例中，对于双向预测块，N2等于4且M等于4，或者N2等于4且M等于3，或者N2等于4且M等于2，或者N2等于4且M等于1，或者N2等于3且M等于3，或者N2等于3且M等于2，或者N2等于3且M等于1，或者N2等于2且M等于2，或者N2等于2且M等于1，或者N2等于1且M等于1。

在一些示例中，对于单向预测块，N2等于2且M等于2，或者N2等于2且M等于1，或者N2等于1且M等于1。

在一些示例中，第一参考块的不同边界处的像素以不同的方式被重复作为填充像素，以生成M个MV分量的第二参考块。

在一些示例中，当像素填充不用于水平MV分量时，当使用MV提取第一参考块时，PW被设置为等于零。

在一些示例中，当像素填充不用于垂直MV分量时，当使用MV提取第一参考块时，PH被设置为等于零。

在一些示例中，PW和/或PH对于第一块的不同色彩分量是不同的。

在一些示例中，色彩分量包括Y、Cb和Cr。

在一些示例中，PW和/或PH对于不同的块尺寸或形状是不同的。

在一些示例中，对于4×16或/和16×4双向预测块或/和单向预测块，PW和PH被设置为等于1。

在一些示例中，对于4×4双向预测块或/和单向预测块，PW和PH被分别设置为等于0和1、或者1和0。

在一些示例中，对于4×8或/和8×4双向预测块或/和单向预测块，PW和PH被设置为等于2。

在一些示例中，对于4×8或/和8×4双向预测块或/和单向预测块，PW和PH被分别设置为等于2和3、或者3和2。

在一些示例中，PW和PH对于单向预测和双向预测是不同的。

在一些示例中，PW和PH对于不同种类的运动矢量是不同的。

在一些示例中，对于仅在水平方向或垂直方向中的一个上具有分数分量的运动矢量(MV)，PW和PH被设置为更小的值或等于零，并且对于在水平方向和垂直方向上均具有分数分量的MV，PW和PH被设置为更大的值。

在一些示例中，对于仅在水平方向或垂直方向中的一个上具有分数MV分量的4×16或/和16×4或/和4×8或/和8×4或/和4×4双向预测块或/和单向预测块，PW和PH被设置为等于0。

在一些示例中，PW和PH用于在水平方向和垂直方向上均具有分数MV分量的4×16或/和16×4或/和4×8或/和8×4或/和4×4双向预测块或/和单向预测块。

在一些示例中，是否以及如何重复边界处的像素取决于第一块的色彩格式。

在一些示例中，色彩格式包括4:2:0、4:2:2或4:4:4。

在一些示例中，用填充像素来填充第一参考块以生成第二参考块的步骤包括：填充默认值作为填充像素，以生成第二参考块。

在一些示例中，该转换从比特流表示生成视频的第一块。

在一些示例中，该转换从视频的第一/第二块生成比特流表示。

5.实施例

在以下实施例中，PW和PH被设计用于4×16、16×4、4×4、8×4和4×8块。

假设参考列表X中的块的MV为MVX，并且MVX的水平分量和垂直分量分别为MVX[0]和MVX[1]，并且MVX[0]和MVX[1]的整数部分分别为MVXInt[0]和MVXInt[1]，其中，X＝0或1。假设插值滤波器抽头(在运动补偿中)为N(例如，8、6、4或2)，并且当前块尺寸为W×H，并且当前块的位置(即，左上方像素的位置)为(x,y)。行和列的索引从1开始，例如，H个行包括第1,…,(H–1)行。

仅当MVX[0]和MVX[1]都是分数的时，才执行以下边界像素重复过程。

5.1实施例

对于4×16和16×4单向预测块和双向预测块，对于预测方向X，PW和PH都被设置为等于1。首先，从参考图片提取(W+N–2)*(H+N–2)个参考像素，其中，参考像素的左上方位置由(MVXInt[0]+x–N/2+1,MVXInt[1]+y–N/2+1)标识。然后，通过复制第(W+N-2)列来生成第(W+N-1)列。最后，通过复制第(H+N-2)行来生成第(H+N-1)行。

对于4×4单向预测块，PW和PH被分别设置为等于0和1。首先，从参考图片提取(W+N–1)*(H+N–2)个参考像素，其中，参考像素的左上方位置由(MVXInt[0]+x–N/2+1,MVXInt[1]+y–N/2+1)标识。然后，通过复制第(H+N-2)行来生成第(H+N-1)行。

对于4×8和8×4单向预测块和双向预测块，PW和PH被分别设置为等于2和3。首先，从参考图片提取(W+N–3)*(H+N–4)个参考像素，其中，参考像素的左上方位置由(MVXInt[0]+x–N/2+2,MVXInt[1]+y–N/2+2)标识。然后，第1列被复制到其左侧以获得W+N–2个列，此后，通过复制第(W+N-2)列来生成第(W+N-1)列。最后，第1行被复制到其上侧以获得H+N-3个行，此后，通过复制第(H+N-3)来生成第(H+N-2)行和第(H+N-1)行。

5.2实施例

对于4×16和16×4单向预测块和双向预测块，对于预测方向X，PW和PH都被设置为等于1。首先，从参考图片提取(W+N–2)*(H+N–2)个参考像素，其中，参考像素的左上方位置由(MVXInt[0]+x–N/2+2,MVXInt[1]+y–N/2+2)标识。然后，第1列被复制到其左侧以获得W+N-1个列。最后，第1行被复制到其上侧以获得H+N-1个行。

对于4×4单向预测块，PW和PH被分别设置为等于0和1。首先，从参考图片提取(W+N–1)*(H+N–2)个参考像素，其中，参考像素的左上方位置由(MVXInt[0]+x–N/2+1,MVXInt[1]+y–N/2+2)标识。然后，第1行被复制到其上侧以获得H+N-1个行。

对于4×8和8×4单向预测块和双向预测块，PW和PH被分别设置为等于2和3。首先，从参考图片提取(W+N–3)*(H+N–4)个参考像素，其中，参考像素的左上方位置由(MVXInt[0]+x–N/2+2,MVXInt[1]+y–N/2+2)标识。然后，第1列被复制到其左侧以获得W+N-2个列，此后，通过复制第(W+N-2)列来生成第(W+N-1)列。最后，第1行被复制到其上侧以获得H+N-3个行，此后，通过复制第(H+N-3)行来生成第(H+N-2)行和第(H+N-1)行。

应当理解，当被压缩的编解码单元的形状与传统的正方形块或半正方形的矩形块明显不同时，所公开的技术可以体现在视频编码器或解码器中以提高压缩效率。例如，使用诸如4×32或32×4尺寸的单元的长的或高的编解码单元的新的编解码工具可以受益于所公开的技术。

本文档中描述的所公开的和其它解决方案、示例、实施例、模块和功能操作可以在数字电子电路中实施，或者在计算机软件、固件或硬件中实施，包括本文档中公开的结构及其结构等同物，或者在它们中的一个或多个的组合中实施。所公开的和其它实施例可以实施为一个或多个计算机程序产品，即编码在计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实现机器可读传播信号的物质组合，或者它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，例如，包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电信号、光信号或电磁信号，其被生成来编码信息以传输到合适的接收器装置。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其它程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协调文件中(例如，存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以被部署为在位于一个站点或分布在多个站点并通过通信网络互连的一个或多个计算机上执行。

本文中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，该处理器运行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以实施为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来说，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或者被可操作地耦合以从一个或多个大容量存储设备接收数据或向其传送数据或两者兼有。然而，计算机不需要这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，例如，包括半导体存储器设备，例如，EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充或并入专用逻辑电路。

虽然本专利文档包含许多细节，但这些不应被解释为对任何发明或所要求保护的范围的限制，而是对特定发明的特定实施例所特有的特征的描述。本专利文档中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实施。此外，尽管上述特征可以被描述为以某些组合起作用，甚至最初被要求这样来保护，但是在某些情况下，可以从所要求保护的组合中删除该组合中的一个或多个特征，并且所要求保护的组合可以指向子组合或子组合的变体。

类似地，尽管在附图中以特定顺序描述了操作，但这不应理解为要求以所示的特定顺序或顺序地执行这些操作，或者要求执行所有所示的操作，以获得期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应该理解为在所有实施例中都需要这种分离。

仅描述了几个实施方式和示例，并且可以基于本专利文档中描述和图示的内容进行其它实施、增强和变化。

Claims (44)

1.一种视频处理的方法，包括：

针对视频的第一块和所述第一块的比特流之间的转换，从参考图片提取第一参考块的参考像素，其中，所述第一参考块小于所述第一块的运动补偿所需的第二参考块；

用填充像素来填充所述第一参考块，以生成所述第二参考块；以及

通过使用所生成的第二参考块来执行所述转换，

其中，所述第一块的尺寸为W*H，所述第一参考块的尺寸为(W+N–1–PW)*(H+N–1–PH)，并且所述第二参考块的尺寸为(W+N–1)*(H+N–1)，其中，W是所述第一块的宽度，H是所述第一块的高度，N是用于所述第一块的插值滤波器抽头的数量，PW和PH是整数。

2.根据权利要求1所述的方法，其中，用填充像素来填充所述第一参考块以生成所述第二参考块的步骤包括：

重复所述第一参考块的一个或多个边界处的像素作为所述填充像素，以生成所述第二参考块。

3.根据权利要求2所述的方法，其中，所述边界是所述第一参考块的顶部边界、左边界、底部边界和右边界。

4.根据权利要求2所述的方法，其中，W＝8，H＝4，N＝7，PW＝2并且PH＝3。

5.根据权利要求3所述的方法，其中，所述顶部边界、左边界和右边界处的像素被重复一次，并且所述底部边界处的像素被重复两次。

6.根据权利要求1-5中任一项所述的方法，其中，所提取的参考像素由(x+MVXInt–N/2+offSet1,y+MVYInt–N/2+offSet2)标识，其中(x,y)是所述第一块的左上方位置，(MVXInt,MVYInt)是所述第一块的运动矢量(MV)的整数部分，并且offSet1和offSet2是整数。

7.根据权利要求2所述的方法，其中，当PH为零时，仅所述第一参考块的左边界或/和右边界处的像素被重复。

8.根据权利要求2所述的方法，其中，当PW为零时，仅在所述第一参考块的顶部边界或/和底部边界处的像素被重复。

9.根据权利要求2所述的方法，其中，当PW和PH都大于零时，首先所述第一参考块的左边界或/和右边界处的像素被重复，然后所述第一参考块的顶部边界或/和底部边界处的像素被重复，或者首先所述第一参考块的顶部边界或/和底部边界被重复，然后所述第一参考块的左边界或/和右边界被重复。

10.根据权利要求2所述的方法，其中，所述第一参考块的左边界处的像素被重复M1次，并且所述第一参考块的右边界处的像素被重复(PW-M1)次，其中，M1是整数，并且M1>＝0。

11.根据权利要求2所述的方法，其中，所述第一参考块的M1个左列的像素或所述第一参考块的(PW-M1)个右列的像素被重复，其中，M1>1或PW-M1>1。

12.根据权利要求2所述的方法，其中，所述第一参考块的顶部边界处的像素被重复M2次，并且所述第一参考块的底部边界处的像素被重复(PH-M2)次，其中，M2是整数，并且M2>＝0。

13.根据权利要求2所述的方法，其中，所述第一参考块的M2个顶部行的像素或所述第一参考块的(PH-M2)个底部行的像素被重复，其中，M2>1或PW-M2>1。

14.根据权利要求2-5、7-13中任一项所述的方法，其中，当所述第一块的MV的水平分量和垂直分量都是分数的时，所述第一参考块的一个或多个边界处的像素被重复作为所述填充像素，以生成所述第二参考块。

15.根据权利要求2-5、7-13中任一项所述的方法，其中，当预测方向X的MV在水平方向和垂直方向上均具有分数分量时，所述第一参考块的一个或多个边界处的像素被重复作为填充像素，以生成所述第二参考块，其中X为0或1。

16.根据权利要求1-5、7-13中任一项所述的方法，其中，所述第一参考块是所述第一块的部分或所有参考块中的任何一个。

17.根据权利要求16所述的方法，其中，如果预测方向X的MV在水平方向和垂直方向上均具有分数分量，其中X为0或1，则所述第一参考块的一个或多个边界处的像素被重复作为所述填充像素，以生成预测方向X的第二参考块；否则，所述像素不被重复。

18.根据权利要求17所述的方法，其中，如果N2个MV分量具有分数精度，则所述第一参考块的一个或多个边界处的像素被重复作为所述填充像素，以生成N2个MV分量中的M个MV分量的第二参考块，其中，N2、M是整数，并且0<＝M<＝N2。

19.根据权利要求18所述的方法，其中，N2和M对于双向预测块和单向预测块是不同的。

20.根据权利要求18所述的方法，其中，N2和M对于不同的块尺寸是不同的，所述块尺寸与块的宽度或/和高度或/和宽度*高度相关联。

21.根据权利要求18所述的方法，其中，对于双向预测块，

N2等于4且M等于4，或者

N2等于4且M等于3，或者

N2等于4且M等于2，或者

N2等于4且M等于1，或者

N2等于3且M等于3，或者

N2等于3且M等于2，或者

N2等于3且M等于1，或者

N2等于2且M等于2，或者

N2等于2且M等于1，或者

N2等于1且M等于1。

22.根据权利要求18所述的方法，其中，对于单向预测块，

N2等于2且M等于2，或者

N2等于2且M等于1，或者

N2等于1且M等于1。

23.根据权利要求18所述的方法，其中，所述第一参考块的不同边界处的像素以不同的方式被重复作为所述填充像素，以生成M个MV分量的第二参考块。

24.根据权利要求18所述的方法，其中，当像素填充不用于水平MV分量时，当使用所述MV提取所述第一参考块时，PW被设置为等于零。

25.根据权利要求18所述的方法，其中，当像素填充不用于垂直MV分量时，当使用所述MV提取所述第一参考块时，PH被设置为等于零。

26.根据权利要求25所述的方法，其中，PW和/或PH对于所述第一块的不同色彩分量是不同的。

27.根据权利要求26所述的方法，其中，所述色彩分量包括Y、Cb和Cr。

28.根据权利要求1-5、7-13中任一项所述的方法，其中，PW和/或PH对于不同的块尺寸或形状是不同的。

29.根据权利要求28所述的方法，其中，对于4×16或/和16×4双向预测块或/和单向预测块，PW和PH被设置为等于1。

30.根据权利要求28所述的方法，其中，对于4×4双向预测块或/和单向预测块，PW和PH被分别设置为等于0和1、或者1和0。

31.根据权利要求28所述的方法，其中，对于4×8或/和8×4双向预测块或/和单向预测块，PW和PH被设置为等于2。

32.根据权利要求28所述的方法，其中，对于4×8或/和8×4双向预测块或/和单向预测块，PW和PH被分别设置为等于2和3、或者3和2。

33.根据权利要求1-5、7-13中任一项所述的方法，其中，PW和PH对于单向预测和双向预测是不同的。

34.根据权利要求1-5、7-13中任一项所述的方法，其中，PW和PH对于不同种类的运动矢量是不同的。

35.根据权利要求34所述的方法，其中，对于仅在水平方向或垂直方向中的一个上具有分数分量的运动矢量(MV)，PW和PH被设置为更小的值或等于零，并且对于在水平方向和垂直方向上均具有分数分量的MV，PW和PH被设置为更大的值。

36.根据权利要求34所述的方法，其中，对于仅在水平方向或垂直方向中的一个上具有分数MV分量的4×16或/和16×4或/和4×8或/和8×4或/和4×4双向预测块或/和单向预测块，PW和PH被设置为等于0。

37.根据权利要求12或13所述的方法，其中，PW和PH用于在水平方向和垂直方向上均具有分数MV分量的4×16或/和16×4或/和4×8或/和8×4或/和4×4双向预测块或/和单向预测块。

38.根据权利要求1-5、7-13中任一项所述的方法，其中，是否以及如何重复边界处的像素取决于所述第一块的色彩格式。

39.根据权利要求38所述的方法，其中，所述色彩格式包括4:2:0、4:2:2或4:4:4。

40.根据权利要求1所述的方法，其中，用填充像素来填充所述第一参考块以生成所述第二参考块的步骤包括：

填充默认值作为所述填充像素，以生成所述第二参考块。

41.根据权利要求1-5、7-13中任一项所述的方法，其中，所述转换从所述比特流生成视频的第一块。

42.根据权利要求1-5、7-13中任一项所述的方法，其中，所述转换从视频的第一/第二块生成所述比特流。

43.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时，使得所述处理器实施根据权利要求1至42中任一项所述的方法。

44.一种非暂时性计算机可读介质，其上存储有指令，所述指令使得处理器执行根据权利要求1至42中任一项所述的方法。