CN104995917B - 一种自适应运动估计方法和模块 - Google Patents

Abstract

一种自适应运动估计方法和模块，该模块包括宏块划分单元、宏块选择单元、运动强度判断单元和运动估计单元。宏块划分单元待编码的视频帧划分宏块。宏块选择单元用于依次选择视频帧中的图像块作为当前图像块。运动强度判断单元用于判断当前图像块的运动强度，并根据当前图像块的运动强度自适应选择用于对当前图像块进行运动估计的运动估计方法。运动估计单元根据运动强度判断单元所选择的运动估计方法对当前图像块进行运动估计。在对图像块进行运动估计之前，先判断图像块的运动强度，根据当前图像块的运动强度自适应选择用于对当前图像块进行运动估计的运动估计方法，以提高视频编解码中运动估计的效率。

Description

一种自适应运动估计方法和模块

技术领域

本申请涉及视频编解码领域，具体涉及一种自适应运动估计方法和模块。

背景技术

随着众多如数字电视、互联网高清视频、数码相机、数码摄像机等高清数码产品的逐渐普及，人们对视频清晰度的要求越来越高，视频的分辨率也越来越高。因此，新一代高效视频编码标准的开发迫在眉睫。

大多数主流的视频编解码标准为了充分利用视频的时间冗余性，都采用帧间预测的方法来提高压缩的效率，而运动估计是帧间预测中最重要的环节，在某些视频编码标准中甚至占用了一半以上的编码时间。在视频压缩编码中，运动估计作为减少视频序列时间冗余度的有效手段，其运算效率对整个编码系统的性能有着重大影响。运动估计算法一般有像素递归法和块匹配法两种，其中块匹配法是现在最常用的方法。块匹配法中精度最高运算复杂度也最大的是全搜索(Full Search,FS)算法。为加快搜索速度人们提出了许多快速算法，以损失一定的搜索精度为代价来降低运算复杂度，如三步搜索法(Three StepSearch，TSS)、菱形搜索法(Diamond Search，DS)、六边形搜索法(Hexagon-based Search，HEXBS)等。

然而，随着分辨率的不断提高，运动估计的准确性与高效性越来越受到重视。现有的运动估计方法要么速度快但不适合快速运动的场景；要么性能好但设计得很复杂，搜索速度慢。

发明内容

本申请提供了一种自适应运动估计方法和模块，能够在不影响运动估计准确性的情况下，尽可能提高运动估计的搜索速度。

根据本申请的第一方面，本申请提供了一种自适应运动估计方法，包括：

将待编码的视频帧划分宏块；

依次选择视频帧中的图像块作为当前图像块；

判断当前图像块的运动强度，并根据当前图像块的运动强度自适应选择用于对当前图像块进行运动估计的运动估计方法；所述运动强度用于表征视频图像帧中物体的运动幅度和/或运动频率；

根据所选择的运动估计方法对当前图像块进行运动估计。

在某些实施例中，判断当前图像块的运动强度是否满足预设条件，如果不满足，判断为当前图像块的运动强度高，则选择第一运动估计方法；如果满足，判断为当前图像块的运动强度低，则选择第二运动估计方法；所述第二运动估计方法比第一运动估计方法的搜索速度快。

在某些实施例中，根据当前图像块及其相邻已编码图像块的运动信息判断当前图像块的运动强度。

在某些实施例中，根据当前图像块的预测运动矢量和相邻已编码图像块的运动矢量差判断当前图像块的运动强度。

在某些实施例中，所述预设条件为：

f(PMV)＜TH1且

其中，TH1和TH2分别为两个预设的门限值，f为矢量运算函数，PMV为当前图像块的预测运动矢量，MVD为当前图像块的相邻已编码图像块的运动矢量差。

根据本申请的第二方面，本申请提供了一种自适应运动估计模块，包括：

宏块划分单元，用于将待编码的视频帧划分宏块；

宏块选择单元，用于依次选择视频帧中的图像块作为当前图像块；

运动强度判断单元，用于判断当前图像块的运动强度，并根据当前图像块的运动强度自适应选择用于对当前图像块进行运动估计的运动估计方法；所述运动强度用于表征视频图像帧中物体的运动幅度和/或运动频率；

运动估计单元，根据运动强度判断单元所选择的运动估计方法对当前图像块进行运动估计。

在某些实施例中，所述运动强度判断单元用于判断当前图像块的运动强度是否满足预设条件，如果不满足，判断为当前图像块的运动强度高，则选择第一运动估计方法；如果满足，判断为当前图像块的运动强度低，则选择第二运动估计方法；所述第二运动估计方法比第一运动估计方法的搜索速度快。

在某些实施例中，运动强度判断单元用于根据当前图像块及其相邻已编码图像块的运动信息判断当前图像块的运动强度。

在某些实施例中，运动强度判断单元用于根据当前图像块的预测运动矢量和相邻已编码图像块的运动矢量差判断当前图像块的运动强度。

在某些实施例中，所述预设条件为：

f(PMV)＜TH1且

其中，TH1和TH2分别为两个预设的门限值，f为矢量运算函数，PMV为当前图像块的预测运动矢量，MVD为当前图像块的相邻已编码图像块的运动矢量差。

本申请提供的自适应运动估计方法和模块，在对图像块进行运动估计之前，先判断图像块的运动强度，根据当前图像块的运动强度自适应选择用于对当前图像块进行运动估计的运动估计方法，以提高视频编解码中运动估计的效率。

附图说明

图1为视频编码中划分宏块及当前图像块的相邻已编码图像块的选择示意图；

图2为一种视频编码标准采用的编码框图；

图3为本申请一种实施例中自适应运动估计模块的示意图；

图4为本申请一种实施例中自适应运动估计方法的流程示意图；

图5为本申请一种实施例中当前图像块的相邻已编码图像块的选择示意图。

具体实施方式

在目前主流视频编解码标准(如MPEG4、H.264/AVC、H.264/AVS)和相关视频处理应用(如超分辨率及帧率上采样)中，大多数的运动估计方法都按照从上到下从左往右的扫描顺序对二维视频帧中的图像块进行扫描来搜索对应的运动矢量。同时，在对每一个图像块进行估计时，一般用其左侧和上方区域中的相邻块的运动矢量作为空间参考运动矢量，用前一帧对应图像块右下方的图像块的运动矢量作为时间参考运动矢量，然后采用某种策略在参考运动矢量中选择最准确的作为当前图像块的初始运动矢量。运用这一种方法，先估计出的运动矢量能够按照从上到下从左往右的扫描顺序从左上的图像块传递到右下角的图像块，起到逐步细化运动矢量的目的。

请参考图1，例如将一帧图像划分为16*16像素的宏块(图像块)，每个宏块具有固定大小，每一宏块的大小为16*16像素，对图像的处理顺序为，先从左到右处理第一行的图像块，然后再依次处理第二行，直到整帧图像被处理完毕。

假设图像块P为待编码的当前图像块，在某些实施例中，在对当前图像块P进行处理时，以其参考图像块的运动矢量作为参考值来计算当前图像块的运动矢量。由于帧图像中的每一个图像块与其相邻已编码图像块具有最高的相似性，因此，一般的，参考图像块采用当前图像块的相邻已编码图像块。如图1中，当前图像块P的参考图像块为A、B、C、D。

在某些实施例中，参考图像块在选择时，也可以选择当前图像块相邻的上块、右上块和左块图像块作为参考图像块，例如图1中当前图像块P的参考图像块为A、B、C；如果当前图像块的右上块图像块不存在(当前图像块位于右边第一列时)或者图像块C不具有运动矢量时，则用当前图像块的左上块图像块来代替，例如图1中当前图像块P的参考图像块选为A、B、D。

所以，在具体实施例中，当前图像块的相邻图像块可以根据实际需求进行定义。

请参考图2，为当前主流的视频编码标准采用的编码框图。对输入的帧图像划分成若干宏块(图像块)，然后对当前图像块进行帧内预测(帧内编码)或运动补偿(帧间编码)，通过模式决策过程选择编码代价最小的编码模式，从而得到当前图像块的预测块，当前图像块与预测块相差得到残差值，并对残差进行变换、量化、扫描和熵编码，形成码流序列输出。图2所示编码框图为本领域技术人员所熟知，此处不对其进行细述。

为解决现有技术存在的缺陷，本申请的发明构思在于：提出一种基于上下文的自适应运动估计方法，通过利用当前图像块以及其相邻图像块的运动信息来判断当前图像块的运动强度，如果运动强度低，就可以采用搜索速度快的运动估计方法；否则，采用较复杂的运动方法来提高准确性。常用的运动信息有图像块的预测运动矢量、运动矢量、运动矢量差等。

下面通过具体实施方式结合附图对本申请作进一步详细说明。

本实施例提供了一种用于视频编码的自适应运动估计方法和模块。

请参考图3，自适应运动估计模块包括宏块划分单元101、宏块选择单元104、运动强度判断单元102和运动估计单元103。

请参考图4，自适应运动估计方法包括下面步骤：

步骤1.1：宏块划分单元101将待编码的视频帧划分宏块。

步骤1.2：宏块选择单元104依次选择视频帧中的图像块作为当前图像块，以进行处理。本实施例中，图像块的处理顺序可以按照从左往右、从上到下的方式。

在步骤1.2后，运动强度判断单元102便对当前图像块的运动强度进行判断，本实施例中，判断当前图像块的运动强度是否满足预设条件，如果不满足，判断为当前图像块的运动强度高，则选择第一运动估计方法；如果满足，判断为当前图像块的运动强度低，则选择第二运动估计方法。运动强度用于表征视频图像帧中物体的运动幅度和/或运动频率。例如在视频图像帧中，物体运动幅度和/或运动频率较大，则说明物体运动剧烈，当前图像的运动强度较大，有必要采用搜索准确率更高的运动估计方法对当前图像(块)进行运动估计；相反，则可以采用搜索速度更快的运动估计方法对当前图像(块)进行运动估计。从而可以在保证运动估计准确性的前提下，尽可能提高运动估计的搜索速度，以提高运动估计的整体效率。

本实施例中，第二运动估计方法比第一运动估计方法的搜索速度快。具体的，第一运动估计方法可以为TZ(Test Zone)搜索算法，其搜索速度较慢，但准确性高，适用于运动强度高的图像；第二运动估计方法可以为六边形搜索算法，其准确性较差，但搜索速度较慢，适用于运动强度低的图像。

在其他实施例中，第一运动估计方法和第二运动估计方法可以为其他搜索算法，本实施例只是以TZ搜索算法和六边形搜索算法为例进行说明。并且，在某些实施例中，第一运动估计方法和第二运动估计方法分别可以包括多种搜索算法，视频编码过程中，选择好第一运动估计方法和第二运动估计方法后，再根据某些条件从多种搜索算法中选择一种较优的算法对图像进行运动估计。

进一步，本实施例中，运动强度判断单元102根据当前图像块及其相邻已编码图像块的运动信息判断当前图像块的运动强度。进一步，运动强度判断单元102根据当前图像块的预测运动矢量(PMV)和相邻已编码图像块的运动矢量差(MVD)判断当前图像块的运动强度。即，本实施例中，运动强度判断单元102根据当前图像块及其相邻已编码图像块的运动信息判断当前图像块的运动强度时，当前图像块的运动信息选当前图像块的预测运动矢量，相邻已编码图像块的运动信息选相邻已编码图像块的运动矢量差。在其他实施例中，当前图像块和相邻已编码图像块的运动信息还可以选择其他参数，例如相邻已编码图像块的运动信息选相邻已编码图像块的运动矢量。

如图5所示，当前图像块的预测运动矢量为PMV，选择其左、上、右上的相邻已编码图像块的运动矢量差(分别为MVD1、MVD2、MVD3)作为参考，来对当前图像块的运动强度进行判断。需要说明的是，当当前图像块不存在上位于右上位置的相邻已编码图像块时，可选择其左上位置的相邻已编码图像块的运动矢量差作为参考；当当前图像块不存在左边位置的相邻已编码图像块时，可只选择上、右上的相邻已编码图像块的运动矢量差作为参考；当当前图像块不存在或仅存在左边位置的相邻已编码图像块时，可以不对当前图像块进行运动强度判断，直接确定一种运动估计方法对当前图像块进行运动估计。

本实施例中，运动强度判断单元102判断当前图像块是否满足下面条件，如果满足，则判断为当前图像块的运动强度低，如果不满足，则判断为当前图像块的运动强度高。

f(PMV)＜TH1且

其中，TH1和TH2分别为两个预设的门限值，其值可以根据需要选取；f为矢量运算函数，例如，f为表示求取矢量的模的平方的函数，以简化运算，避免复杂的开平方运算。

当前图像块的预测运动矢量是通过已知的信息计算出来的。常用的计算方法有，将前一帧当前位置的图像块的运动矢量，当前图像块周围已编码图像块的运动矢量的中值或者均值，或者直接用某个相邻已编码图像块的运动矢量作为当前图像块的预测运动矢量。得到预测运动矢量后，会再通过运动估计的过程，即运用TZ搜索算法或者六边形搜索算法找出一个较准确的运动矢量，与预测运动矢量做差，视频编码时，码流真正记录的便是运动估计得到的运动矢量与预测运动矢量的差(运动矢量差)，运动矢量差的值较小，甚至为0，因此可以节省码率，使传输视频所需要的码流更小。

下面，为运动强度判断单元102判断当前图像块运动强度的具体步骤。

步骤1.3：运动强度判断单元102判断当前图像块是否满足条件：

f(PMV)＜TH1

如果满足，则转到步骤1.4；如果不满足，表示当前图像块的运动强度高，则转到步骤1.6。

步骤1.4：运动强度判断单元102判断当前图像块是否满足条件：

如果满足，则转到步骤1.5；如果不满足，表示当前图像块的运动强度高，则转到步骤1.6。

步骤1.5：此时，运动强度判断单元102判断到当前图像块的运动强度低，因此，选择搜索速度较快的六边形搜索算法对当前图像块进行运动估计。

步骤1.6：此时，运动强度判断单元102判断到当前图像块的运动强度高，因此，选择搜索准确性较高的六边形搜索算法对当前图像块进行运动估计。

步骤1.7：判断是否处理完整帧图像，如果否，则转到步骤1.2，选择下一个图像块作为当前图像块，继续进行处理；如果是，则结束对本帧图像的处理。

本实施例提供的用于视频编码的自适应运动估计方法和模块，利用上下文信息(相邻已编码图像块的运动信息)来计算当前图像块的运动强度，从而自适应得调整所使用的运动估计方法，以实现在不影响运动估计准确性的情况下，降低了整体的复杂度，提高了搜索速度。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存取存储器、磁盘或光盘等。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。

Claims (2)

1.一种自适应运动估计方法，其特征在于，包括：

将待编码的视频帧划分宏块；

依次选择视频帧中的图像块作为当前图像块；

根据当前图像块的预测运动矢量和相邻已编码图像块的运动矢量差判断当前图像块的运动强度是否满足预设条件，所述预设条件为：

f(PMV)＜TH1且

其中，TH1和TH2分别为两个预设的门限值，f为矢量运算函数，PMV为当前图像块的预测运动矢量，MVD为当前图像块的预测运动矢量和相邻已编码图像块的运动矢量差；

根据当前图像块的运动强度自适应选择用于对当前图像块进行运动估计的运动估计方法，具体为：如果不满足所述预设条件，判断为当前图像块的运动强度高，则选择第一运动估计方法；如果满足所述预设条件，判断为当前图像块的运动强度低，则选择第二运动估计方法；所述第二运动估计方法比第一运动估计方法的搜索速度快；所述运动强度用于表征视频图像帧中物体的运动幅度和/或运动频率；

根据所选择的运动估计方法对当前图像块进行运动估计。

2.一种自适应运动估计模块，其特征在于，包括：

宏块划分单元，用于将待编码的视频帧划分宏块；

宏块选择单元，用于依次选择视频帧中的图像块作为当前图像块；

运动强度判断单元，用于根据当前图像块的预测运动矢量和相邻已编码图像块的运动矢量差判断当前图像块的运动强度是否满足预设条件，所述预设条件为：

f(PMV)＜TH1且

其中，TH1和TH2分别为两个预设的门限值，f为矢量运算函数，PMV为当前图像块的预测运动矢量，MVD为当前图像块的预测运动矢量和相邻已编码图像块的运动矢量差；

所述运动强度判断单元根据当前图像块的运动强度自适应选择用于对当前图像块进行运动估计的运动估计方法，具体为：如果不满足所述预设条件，判断为当前图像块的运动强度高，则选择第一运动估计方法；如果满足所述预设条件，判断为当前图像块的运动强度低，则选择第二运动估计方法；所述第二运动估计方法比第一运动估计方法的搜索速度快；所述运动强度用于表征视频图像帧中物体的运动幅度和/或运动频率；

运动估计单元，根据运动强度判断单元所选择的运动估计方法对当前图像块进行运动估计。