CN114026867B - 分辨率自适应视频编解码 - Google Patents

Abstract

提供了用于实现通过以下步骤所支持的帧间编码分辨率自适应视频编码的系统和方法：在运动预测期间调整当前帧的运动信息的大小，从而减少作为广泛应用插值滤波器以将参考帧的图像信息生成到子像素粒度的结果将引发的广泛计算成本和计算时间，并且从而总体上减少解码的计算成本和计算时间。本文描述的方法和系统包括：确定参考帧的分辨率与当前帧的分辨率的比率；确定所述当前帧的块的运动矢量，并且计算与所述当前帧的块的运动矢量相对应的至少一个像素坐标；依照所述比率根据所述参考帧的分辨率来调整所述当前帧的块的运动信息的大小；依照所述调整大小后的运动信息定位所述参考帧的预测块；以及随后最小化或避免对处于所述参考帧处的缩放后的坐标处的块应用插值滤波器以生成所述预测块的子像素值。

Description

分辨率自适应视频编解码

背景技术

在诸如H.264/AVC(高级视频编解码)和H.265/HEVC(高效视频编解码)标准的常规视频编解码格式中，序列中的视频帧具有以序列级记录在序列头中的大小和分辨率。因此，为了改变帧分辨率，必须从帧内编码帧开始生成新视频序列，与帧间编码帧相比，传输所述帧内编码帧带来显著更大的带宽成本。因此，尽管期望在网络带宽变低、减小或节流时通过网络自适应地传输下采样的低分辨率视频，但是难以在使用常规视频编码格式的同时实现带宽节省，这是由于自适应地下采样的带宽成本抵消了带宽增益。

已经对在发送帧间编码帧的同时支持分辨率改变进行了研究。在由AOM开发的AV1编解码器的实现方式中，提供了称作切换帧的新帧类型，其可以在具有与先前帧的分辨率不同的分辨率后被传输。然而，切换帧在其使用方面受限制，因为切换帧的运动矢量编码不能参考先前帧的运动矢量。此类参考通常是提供降低带宽成本的另一方式，因此切换帧的使用仍然承受更大的带宽消耗，这抵消了带宽增益。

在下一代视频编解码器规范VVC/H.266的开发中，提供了若干新运动预测编解码工具以进一步支持参考先前帧的运动矢量编码。针对这些新编解码工具，需要新技术来实现视频序列中的分辨率变化。

附图说明

参考附图阐述详细描述。在各图中，附图标记的最左边数字标识附图标记首次出现在其中的图。在不同图中使用相同的附图标记指示类似或相同的项目或特征。

图1图示根据本公开的示例实施例的视频编解码过程的示例框图。

图2图示通过对参考帧进行上采样的运动预测的示例。

图3图示根据本公开的示例实施例的实现分辨率自适应视频编解码的视频编解码方法的流程图。

图4A至图4C图示根据本公开的示例实施例的在不用调整参考帧的大小的情况下的运动预测的示例。

图5图示用于实现本文描述的用于实现分辨率自适应视频编解码的过程和方法的示例系统。

具体实施方式

本文讨论的系统和方法涉及在视频编码器中实现帧间自适应分辨率改变，并且更具体地涉及实现帧的运动信息的大小调整以实现基于运动预测视频编解码标准的帧间自适应分辨率改变。

根据被实现为与AVC、HEVC、VVC以及实现运动预测的此类视频编解码标准兼容的本公开的示例实施例，帧可以被细分成宏块(MB)，每个宏块(MB)具有16×16个像素的尺寸，其可以被进一步细分成分区。根据被实现为与HEVC标准兼容的本公开的示例实施例，帧可以被细分成编码树单元(CTU)，其亮度和色度分量可以被进一步细分成编码树块(CTB)，它们被进一步细分成编码单元(CU)。根据作为其他标准实现的本公开的示例实施例，帧可以被细分成N×N个像素的单元，其然后可以被进一步细分成子单元。出于本公开的目的，可以将帧的这些最大细分单元中的每一个通常称为“块”。

根据本公开的示例实施例，块可以被细分成具有4×4个像素的倍数的尺寸的分区。例如，块的分区可以具有8×4个像素、4×8个像素、8×8个像素、16×8个像素或8×16个像素的尺寸。

根据本公开的示例实施例，运动预测编解码格式可以是指这样的数据格式，其中通过包括对一个或多个其它帧的运动信息和预测单元(PU)的一个或多个参考，用帧的运动矢量信息和预测信息对帧进行编解码。运动信息可以是指描述帧或其单元或子单元的块结构的运动的数据，例如运动矢量以及对当前帧或另一帧的块的参考。PU可以是指与帧的多个块结构当中的块结构相对应的单元或多个子单元，例如MB或CTU，其中基于帧数据对块进行划分并且根据建立的视频编解码器对块进行编解码。与PU相对应的运动信息可以将运动预测描述为由任何运动矢量编解码工具(包括但不限于本文描述的那些)编解码。

同样地，可以通过包括一个或多个变换单元(TU)用变换信息对帧进行编码。变换信息可以是指表示可以被应用于子块的诸如对角线翻转、垂直翻转或旋转的若干空间变换之一的系数。

诸如PU和TU的CU的子块可以按如上所述的子块尺寸的任何组合来布置。CU可以被细分成残差四叉树(RQT)，即TU的分层结构。RQT为在每个级别的子块之上且递归地向RQT的每个级别下的运动预测和残差编码提供顺序。

根据运动预测编码的视频编码器可以从视频源获得图像并且对帧进行编码以获得可以被输出以供传输的重建帧。重建帧的块可以被帧内编码或帧间编码。

图1图示根据本公开的示例实施例的视频编解码过程100的示例框图。

在视频编码过程100中，可以对来自视频源102的图像进行编码以生成重建帧，并且可以在诸如参考帧缓冲区104或传输缓冲区的目的地处输出重建帧。可以将图像输入到编码环路中，所述编码环路可以包括以下步骤：将图像输入到第一环路内上采样器或下采样器106中；生成上采样或下采样的图像；将上采样或下采样的图像输入到视频编码器108中；基于参考帧缓冲区104的前一重建帧生成重建帧；将重建帧输入到一个或多个环路内滤波器110中；以及从环路输出重建帧，这可以包括将重建帧输入到第二上采样器或下采样器114中、生成上采样或下采样的重建帧、并且将上采样或下采样的重建帧输出到参考帧缓冲区104中或到传输缓冲区中以被发送到位流。

在视频解码过程120中，从诸如位流121的源获得编码帧。根据本公开的示例实施例，给定在位流121中具有位置N的当前帧，在位流121中具有位置N-1的前一帧的分辨率可以大于或小于当前帧的分辨率，而在位流121中具有位置N+1的下一帧的分辨率可以大于或小于当前帧的分辨率。可以将当前帧输入到编码环路中，所述编码环路可以包括以下步骤：将当前帧输入到视频解码器122中；将当前帧输入到一个或多个环路内滤波器124中；将当前帧输入到第三环路内上采样器或下采样器128中；生成上采样或下采样的重建帧；以及将上采样或下采样的重建帧输出到参考帧缓冲区104中。或者，可以从环路输出当前帧，这可以包括将上采样或下采样的重建帧输出到显示缓冲区中。

根据本公开的示例实施例，视频编码器108和视频解码器122可以各自实现运动预测编解码格式，包括但不限于本文描述的那些编解码格式。基于参考帧缓冲区104的前一重建帧生成重建帧可以包括如本文所描述的帧间编码运动预测，其中前一重建帧可以是由环路内上采样器或下采样器114/128输出的上采样或下采样的重建帧，并且前一重建帧用作如本文所描述的帧间编码运动预测中的参考图像。

根据本公开的示例实施例，运动预测信息可以包括识别预测块的运动矢量。运动矢量可以是表示当前块与被参考用于对当前块进行编码的预测块之间的位移的位移矢量。可以在当前帧上的水平方向和垂直方向上按像素测量位移。位移矢量可以表示当前块的像素与相应块内的相同位置处的预测块的对应像素之间的位移。例如，位移矢量可以表示从当前块的左上拐角处的像素到预测块的左上拐角处的像素的位移。

帧间编码运动预测可以将当前帧的块和当前帧的运动矢量相加以定位预测块。例如，在对当前帧的块进行解码的同时，给定当前帧的块的左上拐角处的像素的坐标，运动矢量可以指示参考帧的预测块的坐标，据此应该为当前帧的块导出运动信息。可以通过将运动矢量加到当前帧的块的坐标来定位参考帧的预测块的坐标，假定当前帧和参考帧具有相同的分辨率，使得像素在当前帧与参考帧之间一一对应。

此外，运动预测可以支持到整数像素级别或到子像素级别的精度。例如，根据按照HEVC标准实现的本公开的示例实施例，运动预测可以准确到四分之一像素级别，使得将插值滤波器应用于帧以将帧插值4倍。也就是说，在帧的每两个像素之间，生成三个像素作为子像素图像信息。可以将4倍的插值滤波器实现为例如7抽头双线性滤波器和基于8抽头离散余弦变换(DCT)的有限脉冲响应(FIR)滤波器。插值可以发生在第一阶段中，在所述第一阶段中插值被执行到半像素精度，使得第一插值滤波器被应用于帧以将帧插值2倍，然后在第二阶段中，在所述第二阶段中插值被执行到四分之一像素精度。子像素级别的运动预测精度可以将压缩帧的质量提高到整数像素级别的运动预测精度以上，但是以对每个插值像素增加计算成本和计算时间为代价。

根据本公开的示例实施例，第一上采样器或下采样器106、第二上采样器或下采样器114以及第三上采样器或下采样器128可以各自实现上采样或下采样算法，该上采样或下采样算法分别适合于至少对以运动预测编码格式编码的帧的编码像素信息进行上采样或下采样。第一上采样器或下采样器106、第二上采样器或下采样器114以及第三上采样器或下采样器128可以各自实现进一步适合于分别放大和缩减诸如运动矢量的运动信息的上采样或下采样算法。

因此可以依照相对于前一帧和下一帧的分辨率的当前帧的分辨率对在为当前帧生成重建帧(例如前一重建帧)时用作参考图像的帧进行上采样或下采样。例如，可以在当前帧的分辨率大于前一帧和下一帧任一者或两者的分辨率的情况下对用作参考图像的帧进行上采样。可以在当前帧的分辨率小于前一帧和下一帧任一者或两者的分辨率情况下对用作参考图像的帧进行下采样。

图2图示通过如上所述对参考帧进行上采样的运动预测的示例200。当前帧210的分辨率是参考帧220的分辨率的三倍，使得对于参考帧220的每个像素，当前帧210具有9个像素；参考帧220的分辨率与当前帧210的分辨率的比率可以是1:3。给定具有坐标(3,3)的当前帧210的块212(即，块212的最左上像素具有像素坐标(3,3))和块212的运动矢量(1,1)，将运动矢量加到块212的坐标产生坐标(4，4)。因此，运动矢量指示具有(4,4)处的坐标的预测块。

通过将参考帧220上采样到放大的参考帧230，这导致放大的参考帧230具有与当前帧210一一对应的像素。因此，坐标(4,4)可以被直接应用于放大的参考帧230，并且可以在针对当前帧210的运动预测中使用放大的参考帧230中(4,4)处的预测块232。

然而，对参考帧执行此类操作可能在视频编码过程和/或视频解码过程期间引发相当大的计算成本和计算时间。例如，对参考帧进行上采样利用插值滤波器来在原始参考帧的像素之间生成附加子像素图像信息，以填充上采样的参考帧的附加像素，使得参考帧的像素一一对应于当前帧的像素。当图像被放大x倍时，对于原始图像的每一像素，上采样的图像的至少附加x-1个像素将开始清空并且必须由插值滤波器填充。然而，利用参考帧的运动预测不太可能引用由插值滤波器生成的新像素的大多数，因为对参考帧的引用通常是到通过当前帧的运动矢量指向的参考帧的特定预测块。因此，在视频解码过程期间，对参考帧应用插值滤波器可以引起许多像素的计算，这最终无助于视频解码过程。

根据本公开的示例实施例，在视频解码器确定参考帧的分辨率与当前帧的分辨率不同时，不是对参考帧进行上采样或下采样，而是视频解码器可以替代地调整当前帧的运动信息(包括运动矢量)的大小。为了调整当前帧的运动信息的大小，视频解码器可以确定当前帧的分辨率与参考帧的分辨率的比率。

图3图示根据本公开的示例实施例的实现分辨率自适应视频编解码的视频编解码方法300的流程图。

在步骤302，视频解码器从序列获得帧间编码的当前帧。当前帧可以具有位置N。在序列中具有位置N-1的前一帧的分辨率可以大于或小于当前帧的分辨率，而在序列中具有位置N+1的下一帧的分辨率可以大于或小于当前帧的分辨率。

在步骤304，视频解码器从参考帧缓冲区获得参考帧。

在步骤306，视频解码器将参考帧的分辨率与当前帧的分辨率进行比较并且确定参考帧的分辨率与当前帧的分辨率不同。

根据本公开的示例实施例，具有与当前帧的分辨率不同的分辨率的参考帧可以是例如参考帧缓冲区的最近帧，但是具有与当前帧的分辨率不同的分辨率的参考帧可以是不为参考帧缓冲区的最近帧的帧。

在步骤308，视频解码器确定参考帧的分辨率与当前帧的分辨率的比率。

图4A图示如本文所描述的在不用调整参考帧的大小的情况下的运动预测的示例400。类似于图2的图示，当前帧410的分辨率是参考帧420的分辨率的三倍，使得当前帧410对于参考帧420的每个像素具有9个像素，并且参考帧420的分辨率与当前帧410的分辨率的比率是1:3。

在步骤310，视频解码器确定当前帧的块的运动矢量，并且计算由当前帧的块的运动矢量指示的像素坐标。

可以依照运动预测的步骤确定运动矢量。在此不详细地描述执行运动预测从而确定运动矢量的步骤，但是这些步骤可以包括例如：导出当前帧的块的运动候选列表；从所导出的运动候选列表中选择运动候选或者合并候选列表；以及导出运动候选的运动矢量作为当前帧的块的运动矢量。

解码器可以按帧的各块当中的编码顺序在每块基础上对帧进行解码，所述编码顺序诸如光栅扫描顺序，其中根据视频编码标准，首先解码的块是帧的最上和最左块。

如由图4A所图示的，作为计算由运动矢量指示的像素坐标的示例400，给定具有坐标(3,3)的当前帧410的块412(即，块412的最上像素具有像素坐标(3,3))和块412的运动矢量(1,1)，将运动矢量加到块412的坐标产生坐标(4,4)。因此，运动矢量指示具有(4,4)处的坐标的预测块。

在步骤312，视频解码器依照比率将当前帧的块的运动信息的大小调整为参考帧的分辨率。

根据本公开的示例实施例，调整运动信息的大小可以包括，在将缩放后的运动矢量加到缩放后的块坐标之后，对所得的坐标进行缩放以导出由运动矢量指示的缩放后的坐标。

如由图4A所图示的，给定参考帧420的分辨率与当前帧410的分辨率的比率为1:3，在参考帧420中坐标(4,4)处定位预测块将产生不正确的结果。图4A图示由与当前帧410具有相同分辨率的假定参考帧416勾勒出的此假定预测块414，根据本公开的示例实施例所述假定参考帧416并不存在。替代地，视频解码器可以基于比率1:3将坐标(4,4)乘以因子1/3，从而生成坐标(4/3,4/3)。图4A图示在参考帧420中具有这些坐标的假定块418。

在步骤314，视频解码器依照调整大小后的运动信息定位参考帧的预测块。

调整大小后的运动信息本身可能不足以定位参考帧的预测块。特别地，由运动矢量指示的缩放后的坐标可以与参考帧的分辨率成比例，但是可能与参考帧的整数像素坐标不对应；附加地，可能在视频解码器实现半像素运动预测的情况下与参考帧的半像素坐标不对应；并且附加地，可能在视频解码器实现四分之一像素运动预测的情况下与参考帧的四分之一像素坐标不对应。因此，视频解码器可以进一步将块的缩放后的坐标舍入到由视频解码器支持的最接近的像素级别或子像素级别。

如由图4B和图4C所图示的，例如，由运动矢量指示的(4/3,4/3)的缩放后的坐标可能与参考帧420中的任何像素坐标不对应，无论是整数像素精度、半像素精度还是四分之一像素精度。因此，视频解码器可以在视频解码器支持四分之一像素精度的情况下将缩放后的坐标舍入到四分之一像素精度；因此，可以将(4/3,4/3)舍入到(1.25,1.25)，从而将预测块422定位在(1.25,1.25)处。视频解码器可以在视频解码器不支持四分之一像素精度但是支持半像素精度的情况下将缩放后的坐标舍入到半像素精度；因此，可以将(4/3,4/3)舍入到(1.5,1.5)，从而将预测块(未图示)定位在(1.5,1.5)处。视频解码器可以在视频解码器不支持任何一个子像素精度级别的情况下将缩放后的坐标舍入到整数像素精度；因此，可以将(4/3,4/3)舍入到(1,1)，从而将预测块424定位在(1,1)处。

在缩放后的坐标已经处于子像素精度的情况下，舍入可能是不必要的，并且视频解码器可以将预测块直接定位在参考帧处的缩放后的坐标处。

根据本公开的其它示例实施例，在缩放后的坐标不对应于由视频编码器支持的任何精度级别的情况下，视频解码器可以仍然不将缩放后的坐标舍入到由视频解码器支持的最高粒度精度级别。替代地，视频解码器可以将缩放后的坐标舍入到比所支持的最高级别更低的粒度精度级别。

在步骤316，在缩放后的坐标处于子像素精度或者被舍入到子像素精度的情况下，视频解码器对处于参考帧处的缩放后的坐标处的块应用插值滤波器以生成预测块的子像素值。可以如上所述应用插值滤波器，并且此外，在缩放后的坐标处于半像素精度或者被舍入到半像素精度的情况下，可以执行仅如上所述的插值的第一阶段，跳过第二阶段，从而减少解码的计算成本和计算时间。

在缩放后的坐标处于整数像素精度或者被舍入到整数像素精度的情况下，视频解码器不需要对参考块的像素应用插值滤波器，并且可以跳过步骤316，同时在运动预测中直接使用处于参考帧处的缩放后的坐标处的块。避免应用插值滤波器可以大大地减少解码的计算成本和计算时间。

类似地，在视频解码器将缩放后的坐标舍入到比如关于步骤314所描述的支持的最高级别更低的粒度精度级别的情况下，可以同样地减少计算成本和计算时间。

随后，无论步骤316是被执行还是被跳过，视频解码器都可以通过参考参考帧和定位在其中的预测块来对当前块进行解码。可以依照通过位流支持的多个分辨率中的不同分辨率将解码帧各自上采样或下采样到多个分辨率。可以将上采样和/或下采样的解码帧输入到参考帧缓冲区和显示缓冲区中的至少一个中。

图5图示用于实现上述用于实现分辨率自适应视频编解码的过程和方法的示例系统500。

本文描述的技术和机制可以由系统500的多个实例以及由任何其它计算装置、系统和/或环境来实现。图5所示的系统500仅是系统的一个示例，而不旨在关于被用来执行上述过程和/或程序的任何计算装置的使用范围或功能性暗示任何限制。可以适合于与实施例一起使用的其它公知计算装置、系统、环境和/或配置包括但不限于个人计算机、服务器计算机、手持或膝上型装置、多处理器系统、基于微处理器的系统、机顶盒、游戏机、可编程消费者电子装置、网络PC、小型计算机、大型计算机、包括上述系统或装置中的任一个的分布式计算环境、使用现场可编程门阵列(“FPGA”)和专用集成电路(“ASIC”)的实现方式和/或类似物。

系统500可以包括一个或多个处理器502和通信地耦合到处理器502的系统存储器504。处理器502可以执行一个或多个模块和/或过程以使处理器502执行各种功能。在一些实施例中，处理器502可以包括中央处理单元(CPU)、图形处理单元(GPU)、或者CPU和GPU，或本领域中已知的其他处理单元或组件。附加地，处理器502中的每一个可以拥有它自己的本地存储器，其也可以存储程序模块、程序数据和/或一个或多个操作系统。

取决于系统500的确切配置和类型，系统存储器504可以是易失性的，诸如RAM，可以是非易失性的，诸如ROM、闪速存储器、微型硬盘驱动器、存储卡等，或者可以是其某种组合。系统存储器504可以包括可由处理器502执行的一个或多个计算机可执行模块506。

模块506可以包括但不限于运动预测模块508，其包括帧获得子模块510、参考帧获得子模块512、分辨率比较子模块514、比率确定子模块516、运动矢量确定子模块518、运动信息调整大小子模块520、预测块定位子模块522和插值滤波器应用模块524。

帧获得子模块510可以被配置为如参考图3的上述的那样从序列获得帧间编码的当前帧。

参考帧获得子模块512可以被配置为如参考图3的上述的那样从参考帧缓冲区获得参考帧。

分辨率比较子模块514可以被配置为将参考图像的分辨率与当前帧的分辨率进行比较并且确定参考帧的分辨率与当前帧的分辨率不同，如参考图3的上述的那样。

比率确定子模块516可以被配置为确定参考帧的分辨率与当前帧的分辨率的比率，如参考图3的上述的那样。

运动信息确定子模块518可以被配置为确定当前帧的块的运动矢量，并且计算由当前帧的块的运动矢量指示的像素坐标，如参考图3的上述的那样。

运动信息调整大小子模块520可以被配置为依照比率将当前帧的块的运动信息调整大小为参考帧的分辨率，如参考图3的上述的那样。

预测块定位子模块522可以被配置为依照调整大小后的运动信息定位参考帧的预测块，如参考图3上述的那样。

插值滤波器应用子模块524可以被配置为在缩放后的坐标处于子像素精度或者被舍入到子像素精度的情况下，对处于参考帧处的缩放后的坐标处的块应用插值滤波器以生成预测块的子像素值，如参考图3上述的那样。

系统500可以附加地包括用于接收视频源数据和位流数据并且用于将解码帧输出到参考帧缓冲区和/或显示缓冲区中的输入/输出(I/O)接口540。系统500还可以包括允许系统500通过网络(未示出)与其他装置(未示出)进行通信的通信模块550。网络可以包括因特网、诸如有线网络或直接有线连接的有线介质、以及诸如声学、射频(RF)、红外和其他无线介质的无线介质。

能够通过执行如下所定义的存储在计算机可读存储介质上的计算机可读指令来执行上述方法的一些或所有操作。如说明书和权利要求书中使用的术语“计算机可读指令”包括例程、应用、应用模块、程序模块、程序、组件、数据结构、算法等。能够在包括以下各项的各种系统配置上实现计算机可读指令：单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持计算装置、基于微处理器的可编程消费者电子装置、其组合等。

计算机可读存储介质可以包括易失性存储器(诸如随机存取存储器(RAM))和/或非易失性存储器(诸如只读存储器(ROM)、闪速存储器等)。计算机可读存储介质还可以包括附加可移动存储装置和/或不可移动存储装置，包括但不限于闪速存储器、磁存储装置、光学存储装置和/或带存储装置，它们可以提供计算机可读指令、数据结构、程序模块等的非易失性存储。

非瞬时计算机可读存储介质是计算机可读介质的示例。计算机可读介质包括至少两种类型的计算机可读介质，即计算机可读存储介质和通信介质。计算机可读存储介质包括以任何过程或技术实现以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的易失性和非易失性、可移动和不可移动介质。计算机可读存储介质包括但不限于相变存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器或其他存储器技术、紧致盘只读存储器(CD-ROM)、数字通用盘(DVD)或其他光学存储装置、磁盒、磁带、磁盘存储装置或其他磁存储装置，或能够用于存储信息以供由计算装置访问的任何其他非传输介质。相比之下，通信介质可以在调制数据信号(诸如载波或其他传输机制)中体现计算机可读指令、数据结构、程序模块或其他数据。本文采用的计算机可读存储介质不应被解释为瞬态信号它本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(诸如通过光纤线缆的光脉冲)或通过电线传播的电信号。

存储在一个或多个非暂时性计算机可读存储介质上的计算机可读指令当由一个或多个处理器执行时，可以执行上面参考图1-5描述的操作。通常，计算机可读指令包括执行特定功能或者实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序不旨在被解释为限制，并且能够以任何顺序和/或并行地组合任何数量的所描述的操作以实现过程。

通过上述技术解决方案，本发明提供了通过以下步骤所支持的帧间编码分辨率自适应视频编码：在运动预测期间调整当前帧的运动信息的大小，从而减少作为广泛应用插值滤波器以将参考帧的图像信息生成到子像素粒度的结果将引发的广泛计算成本和计算时间，并且从而总体上减少解码的计算成本和计算时间。本文描述的方法和系统包括：确定参考帧的分辨率与当前帧的分辨率的比率；确定当前帧的块的运动矢量，并且计算由当前帧的块的运动矢量指示的像素坐标；依照比率将当前帧的块的运动信息大小调整为参考帧的分辨率；依照调整大小后的运动信息定位参考帧的预测块；以及随后最小化或避免对处于参考帧处的缩放后的坐标处的块应用插值滤波器以生成预测块的子像素值。

示例条款

A.一种方法，所述方法包括：确定当前帧的块的运动信息，所述运动信息包括所述块的运动矢量和由所述运动矢量指示的至少一个像素坐标；根据参考帧的分辨率调整所述运动信息的大小；依照所述调整大小后的运动信息定位所述参考帧的预测块；以及通过参考所述定位的预测块对所述当前块执行运动预测。

B.如段落A所述的方法，进一步包括确定所述参考帧的分辨率与所述当前帧的分辨率不同，并且确定所述参考帧的分辨率与所述当前帧的分辨率的比率。

C.如段落B所述的方法，其中确定与所述运动矢量相对应的所述至少一个像素坐标包括：将所述运动矢量加到所述块的至少一个像素坐标。

D.如段落C所述的方法，其中根据所述参考帧的分辨率调整所述运动信息的大小包括：按所述参考帧的分辨率与所述当前帧的分辨率的比率缩放与所述运动矢量相对应的所述至少一个像素坐标，以导出与所述运动矢量相对应的至少一个缩放后的坐标。

E.如段落D所述的方法，其中定位所述参考帧的预测块包括将所述至少一个缩放后的坐标的每一个舍入到整数像素级别上的各自最接近值。

F.如段落F所述的方法，其中在通过参考所述定位的预测块对所述当前块执行运动预测之前不对所述参考帧应用插值滤波器。

G.如段落D所述的方法，其中定位所述参考帧的预测块包括将所述至少一个缩放后的坐标的每一个舍入到子像素级别上的各自最接近值。

H.如段落G所述的方法，其中在通过参考所述定位的预测块对所述当前块执行运动预测之前在所述至少一个缩放后的坐标处对所述参考帧应用准确到所述子像素级别的插值滤波器。

I.如段落H所述的方法，其中所述子像素级别的粒度小于四分之一像素级别。

J.如段落I所述的方法，其中决定对所述帧的CTB应用SAO进一步包括基于所述帧的头部标志的值决定对所述CTB应用频带偏移。

K.一种系统，所述系统包括：一个或多个处理器；以及通信地耦合到所述一个或多个处理器的存储器，所述存储器存储可由所述一个或多个处理器执行的计算机可执行模块，当由所述一个或多个处理器执行时，所述计算机可执行模块执行相关操作，所述计算机可执行模块包括：运动预测模块，所述运动预测模块包括被配置为确定当前帧的块的运动信息的运动信息确定子模块，所述运动信息包括所述块的运动矢量和与所述运动矢量相对应的至少一个像素坐标；运动信息大小调整子模块，所述运动信息大小调整子模块被配置为根据参考帧的分辨率调整所述运动信息的大小；以及预测块定位子模块，所述预测块定位子模块被配置为依照所述调整大小的运动信息定位所述参考帧的预测块；其中所述运动预测模块被进一步配置为通过参考所述定位的预测块对所述当前块执行运动预测。

L.如段落K所述的系统，其中所述运动预测模块还包括：分辨率比较子模块，所述分辨率比较子模块被配置为确定所述参考帧的分辨率与所述当前帧的分辨率不同；以及比率确定子模块，所述比率确定子模块被配置为确定所述参考帧的分辨率与所述当前帧的分辨率的比率。

M.如段落L所述的系统，其中所述运动信息确定子模块被配置为通过将所述运动矢量加到所述块的像素坐标来确定与所述运动矢量相对应的至少一个像素坐标。

N.如段落M所述的系统，其中所述运动信息大小调整子模块被配置为通过按所述参考帧的分辨率与所述当前帧的分辨率的比率缩放与所述运动矢量相对应的所述至少一个像素坐标来根据所述参考帧的分辨率调整所述运动信息的大小，以导出与所述运动矢量相对应的至少一个缩放后的坐标。

O.如段落N所述的系统，其中所述预测块定位子模块被配置为通过将所述至少一个缩放后的坐标的每一个舍入到整数像素级别上的各自最接近值来定位所述参考帧的预测块。

P.如段落O所述的系统，其中在所述运动预测模块通过参考所述定位的预测块对所述当前块执行运动预测之前不对所述参考帧应用插值滤波器。

Q.如段落N所述的系统，其中所述预测块定位子模块被配置为通过将所述至少一个缩放后的坐标的每一个舍入到子像素级别上的各自最接近值来定位所述参考帧的预测块。

R.如段落Q所述的系统，还包括插值滤波器应用子模块，所述插值滤波器应用子模块被配置为在所述运动预测模块通过参考所述定位的预测块对所述当前块执行运动预测之前在所述至少一个缩放后的坐标处对所述参考帧应用准确到所述子像素级别的插值滤波器。

S.如段落R所述的系统，其中所述子像素级别的粒度小于四分之一像素级别。

T.一种计算机可读存储介质，所述计算机可读存储介质存储可由一个或多个处理器执行的计算机可读指令，当由所述一个或多个处理器执行时，所述计算机可读指令使所述一个或多个处理器执行操作，所述操作包括：确定当前帧的块的运动信息，所述运动信息包括所述块的运动矢量和与所述运动矢量相对应的至少一个像素坐标；根据参考帧的分辨率调整所述运动信息的大小；依照所述调整大小后的运动信息定位所述参考帧的预测块；以及通过参考所述定位的预测块对所述当前块执行运动预测。

U.如段落T所述的计算机可读存储介质，其中所述操作进一步包括确定所述参考帧的分辨率与所述当前帧的分辨率不同，并且确定所述参考帧的分辨率与所述当前帧的分辨率的比率。

V.如段落U所述的计算机可读存储介质，其中确定与所述运动矢量相对应的所述至少一个像素坐标包括将所述运动矢量加到所述块的至少一个像素坐标。

W.如段落V所述的计算机可读存储介质，其中根据所述参考帧的分辨率调整所述运动信息的大小包括按所述参考帧的分辨率与所述当前帧的分辨率的比率缩放与所述运动矢量相对应的所述至少一个像素坐标，以导出与所述运动矢量相对应的至少一个缩放后的坐标。

X.如段落W所述的计算机可读存储介质，其中定位所述参考帧的预测块包括将所述至少一个缩放后的坐标的每一个舍入到整数像素级别上的各自最接近值。

Y.如段落X所述的计算机可读存储介质，其中在通过参考所述定位的预测块对所述当前块执行运动预测之前不对所述参考帧应用插值滤波器。

Z.如段落W所述的计算机可读存储介质，其中定位所述参考帧的预测块包括将所述至少一个缩放后的坐标的每一个舍入到子像素级别上的各自最接近值。

AA.如段落Z所述的计算机可读存储介质，其中在通过参考所述定位的预测块对所述当前块执行运动预测之前在所述至少一个缩放后的坐标处对所述参考帧应用准确到所述子像素级别的插值滤波器。

BB.如段落AA所述的计算机可读存储介质，其中所述子像素级别的粒度小于四分之一像素级别。

虽然已经用特定于结构特征和/或方法学行为的语言描述了主题，但是应当理解，所附权利要求中限定的主题不一定限于所描述的特定特征或行为。相反，特定特征和行为作为实现权利要求的示例性形式被公开。

Claims (15)

1.一种方法，所述方法包括：

确定当前帧的块的运动信息，所述运动信息包括所述块的运动矢量和与所述运动矢量相对应的至少一个像素坐标；

根据参考帧的分辨率调整所述运动信息的大小，包括：按所述参考帧的分辨率与所述当前帧的分辨率的比率缩放与所述运动矢量相对应的所述至少一个像素坐标，以导出与所述运动矢量相对应的至少一个缩放后的坐标；

依照调整大小后的运动信息定位所述参考帧的预测块，包括：将所述至少一个缩放后的坐标的每一个舍入到子像素级别上的各自最接近值；以及

通过参考所述定位的预测块对当前块执行运动预测。

2.根据权利要求1所述的方法，进一步包括：确定所述参考帧的分辨率与所述当前帧的分辨率不同，并且确定所述参考帧的分辨率与所述当前帧的分辨率的比率。

3.根据权利要求2所述的方法，其中确定与所述运动矢量相对应的所述至少一个像素坐标包括：将所述运动矢量加到所述块的至少一个像素坐标。

4.根据权利要求1所述的方法，其中定位所述参考帧的预测块包括将所述至少一个缩放后的坐标的每一个舍入到整数像素级别上的各自最接近值。

5.根据权利要求1所述的方法，其中在通过参考所述定位的预测块对所述当前块执行运动预测之前在所述至少一个缩放后的坐标处对所述参考帧应用准确到所述子像素级别的插值滤波器。

6.一种系统，所述系统包括：

一个或多个处理器；以及

通信地耦合到所述一个或多个处理器的存储器，所述存储器存储可由所述一个或多个处理器执行的计算机可执行模块，当由所述一个或多个处理器执行时，所述计算机可执行模块执行相关操作，所述计算机可执行模块包括：

运动预测模块，所述运动预测模块包括被配置为确定当前帧的块的运动信息的运动信息确定子模块，所述运动信息包括所述块的运动矢量和与所述运动矢量相对应的至少一个像素坐标；

运动信息大小调整子模块，所述运动信息大小调整子模块被配置为根据参考帧的分辨率调整所述运动信息的大小，包括：通过按所述参考帧的分辨率与所述当前帧的分辨率的比率缩放与所述运动矢量相对应的所述至少一个像素坐标来根据所述参考帧的分辨率调整所述运动信息的大小，以导出与所述运动矢量相对应的至少一个缩放后的坐标；以及

预测块定位子模块，所述预测块定位子模块被配置为依照调整大小的运动信息定位所述参考帧的预测块，包括：通过将所述至少一个缩放后的坐标的每一个舍入到子像素级别上的各自最接近值来定位所述参考帧的预测块；

其中所述运动预测模块被进一步配置为通过参考所述定位的预测块对当前块执行运动预测。

7.根据权利要求6所述的系统，其中所述运动预测模块还包括：分辨率比较子模块，所述分辨率比较子模块被配置为确定所述参考帧的分辨率与所述当前帧的分辨率不同；以及比率确定子模块，所述比率确定子模块被配置为确定所述参考帧的分辨率与所述当前帧的分辨率的比率。

8.根据权利要求7所述的系统，其中所述运动信息确定子模块被配置为通过将所述运动矢量加到所述块的像素坐标来确定与所述运动矢量相对应的至少一个像素坐标。

9.根据权利要求6所述的系统，其中所述预测块定位子模块被配置为通过将所述至少一个缩放后的坐标的每一个舍入到整数像素级别上的各自最接近值来定位所述参考帧的预测块。

10.根据权利要求6所述的系统，还包括插值滤波器应用子模块，所述插值滤波器应用子模块被配置为在所述运动预测模块通过参考所述定位的预测块对所述当前块执行运动预测之前在所述至少一个缩放后的坐标处对所述参考帧应用准确到所述子像素级别的插值滤波器。

11.一种计算机可读存储介质，所述计算机可读存储介质存储可由一个或多个处理器执行的计算机可读指令，当由所述一个或多个处理器执行时，所述计算机可读指令使所述一个或多个处理器执行操作，所述操作包括：

确定当前帧的块的运动信息，所述运动信息包括所述块的运动矢量和与所述运动矢量相对应的至少一个像素坐标；

根据参考帧的分辨率调整所述运动信息的大小，包括：按所述参考帧的分辨率与所述当前帧的分辨率的比率缩放与所述运动矢量相对应的所述至少一个像素坐标，以导出与所述运动矢量相对应的至少一个缩放后的坐标；

依照调整大小后的运动信息定位所述参考帧的预测块，包括：将所述至少一个缩放后的坐标的每一个舍入到子像素级别上的各自最接近值；以及

通过参考所述定位的预测块对当前块执行运动预测。

12.根据权利要求11所述的计算机可读存储介质，其中所述操作进一步包括确定所述参考帧的分辨率与所述当前帧的分辨率不同，并且确定所述参考帧的分辨率与所述当前帧的分辨率的比率。

13.根据权利要求12所述的计算机可读存储介质，其中确定与所述运动矢量相对应的所述至少一个像素坐标包括将所述运动矢量加到所述块的至少一个像素坐标。

14.根据权利要求11所述的计算机可读存储介质，其中定位所述参考帧的预测块包括将所述至少一个缩放后的坐标的每一个舍入到整数像素级别上的各自最接近值。

15.根据权利要求14所述的计算机可读存储介质，其中在通过参考所述定位的预测块对所述当前块执行运动预测之前在所述至少一个缩放后的坐标处对所述参考帧应用准确到所述子像素级别的插值滤波器。