CN103139557B - 一种视频编码中的运动估计方法及系统 - Google Patents

Abstract

本发明涉及一种视频编码中的运动估计方法，包括以下步骤：首先将原始待编码帧和原始参考帧按照预设比例缩小；然后在缩小后的待编码帧中，对每一个与原始待编码帧中宏块相对应的块，在缩小后的参考帧中搜索参考块；再对原始待编码帧中每一个宏块，根据缩小后的待编码帧中与该宏块相对应的块在缩小后参考帧中的参考块位置，获取该宏块在原始参考帧中搜索参考宏块的初始位置；最后在所述初始位置的邻域位置，搜索与该宏块最匹配的图像方块作为该宏块的参考宏块。本发明还涉及一种与上述方法相对应的视频编码中的运动估计系统。本发明所述方法及系统极大地提高了运动估计的整体效率。

Description

一种视频编码中的运动估计方法及系统

技术领域

本发明属于视频编码技术领域，具体涉及一种视频编码中的运动估计方法及系统。

背景技术

视频编码是将视频图像压缩以便于传输或保存的方法，即通过特定的压缩技术，将某段视频的无压缩格式转换成某种二进制编码的视频压缩格式。通常，在一段视频中，相近的图像帧之间存在大量的相关信息(即图像内容相仿的信息，也称冗余信息)。在时间顺序上，后面显示帧的内容可以简单的看作是前面显示帧(参考帧)的内容进行分块运动的结果。这样，如果已编码了前面显示帧，后面显示帧只需编码相关分块运动的矢量(运动向量)，和少量分块运动后的误差信息(残差信息)即可。这样可以有效地减少冗余信息的编码量，提高编码的压缩效率。多数视频编码标准中，将16×16平方像素的图像方块(宏块)作为分块运动的基本单位。

编码当前帧时，先将当前帧分割成多个相邻的16×16平方像素的图像方块，称为宏块。并认为当前帧中各个宏块是参考帧中某个16×16的图像方块(参考宏块)运动的结果。在参考帧中找到与当前帧中待编码宏块内容最接近的参考宏块，并计算参考宏块运动向量的方法称为运动估计方法。

在编码当前帧的某个宏块时，寻找参考宏块的通常做法是：在参考帧中，按照某种搜索算法找到一个个16×16的图像方块，并将这些方块与当前宏块相减，使相减结果能量最小的16×16方块就是参考宏块。运动估计在视频编码中花费了近一半的时间，是影响编码效率的瓶颈。在运动估计中，时间主要消耗在搜索参考宏块的步数和计算当前宏块与参考帧中宏块的残差能量上。如果能够减小参考宏块的搜索范围，或是减少残差能量的计算量就能提高运动估计的效率。

发明内容

针对现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种效率高的视频编码中的运动估计方法及系统。

为解决上述技术问题，本发明采用的技术方案如下：

一种视频编码中的运动估计方法，包括以下步骤：

(1)将原始待编码帧和原始参考帧按照预设比例缩小；

(2)在缩小后的待编码帧中，对每一个与原始待编码帧中宏块相对应的块，在缩小后的参考帧中搜索参考块；

(3)对原始待编码帧中每一个宏块，根据缩小后的待编码帧中与该宏块相对应的块在缩小后参考帧中的参考块位置，获取该宏块在原始参考帧中搜索参考宏块的初始位置；

(4)在所述初始位置的邻域位置中，搜索与该宏块最匹配的图像方块作为该宏块的参考宏块。

一种视频编码中的运动估计系统，包括用于将原始待编码帧和原始参考帧按照预设比例缩小的缩小装置；

用于在缩小后的待编码帧中，对每一个与原始待编码帧中宏块相对应的块，在缩小后的参考帧中搜索参考块的第一搜索装置；

用于对原始待编码帧中每一个宏块，根据缩小后的待编码帧中与该宏块相对应的块在缩小后参考帧中的参考块位置，获取该宏块在原始参考帧中搜索参考宏块的初始位置的获取装置；

用于在所述初始位置的邻域位置中，搜索与该宏块最匹配的图像方块作为该宏块的参考宏块的第二搜索装置。

本发明所述方法及系统，虽然增加了缩小图像帧的计算量，但运动估计的整体效率大大提高，提高到现有方法的200％以上，编码后的图像质量几乎不受影响，图像质量按峰值信噪比计算下降0.1db左右，可以忽略不计。

附图说明

图1是具体实施方式中视频编码中的运动估计系统的结构框图；

图2是具体实施方式中视频编码中的运动估计方法的流程图；

图3是具体实施方式中待编码帧缩小过程示意图。

具体实施方式

本发明的核心思想是：将原始待编码帧和原始参考帧按照比例缩小，相应的宏块也按同样比例缩小了；对缩小后的待编码帧中的块(与原始待编码帧中的宏块对应)，首先在缩小后的参考帧上粗粒度搜索参考块。由于参考帧面积变小，参考块搜索范围自然就按比例减小；块面积变小，残差能量的计算量同样也按比例减小，搜索效率自然增加。在此基础上再在原始参考帧上进行小范围高精度(细粒度)的搜索。下面结合附图对本发明的具体实施方式进行详细说明。

如图1所示，本实施方式中视频编码中的运动估计系统包括缩小装置11、第一搜索装置12、获取装置13和第二搜索装置14，第二搜索装置14包括计算单元141和比较单元142。

缩小装置11用于将原始待编码帧和原始参考帧按照预设比例缩小。

第一搜索装置12用于在缩小后的待编码帧中，对每一个与原始待编码帧中宏块相对应的块，在缩小后的参考帧中搜索参考块。

获取装置13用于对原始待编码帧中每一个宏块，根据缩小后的待编码帧中与该宏块相对应的块在缩小后参考帧中的参考块位置，获取该宏块在原始参考帧中搜索参考宏块的初始位置。

第二搜索装置13用于在所述初始位置的邻域位置中，搜索与该宏块最匹配的图像方块作为该宏块的参考宏块。其中，计算单元141用于计算原始待编码帧中的宏块与该宏块在原始参考帧中搜索参考宏块的初始位置的邻域图像方块相减后能量；比较单元142用于比较所述相减后能量，并将能量最小的图像方块作为原始待编码帧中宏块的参考宏块。

如图2所示，采用图1所示系统实现视频编码中的运动估计方法包括以下步骤：

(1)缩小装置11将原始待编码帧和原始参考帧按照预设比例缩小。

原始待编码帧和原始参考帧缩小的幅度可以根据实际应用情况确定，如缩小为原尺寸长和宽的1/2，或者缩小为原尺寸长和宽的1/4。原始待编码帧和原始参考帧缩小的幅度越大，编码的效率越高，同时编码后的质量也下降得越多。

如图3所示，以将原始待编码帧的长和宽缩小1/2为例对缩小过程进行举例说明。设将4×4的原始待编码帧图像缩小为2×2的图像。其中，V1到V16是4×4图像各个像素的值；V′1到V′4是2×2图像各个像素的值。缩小后图像的像素值的计算方法如下：

V′1＝[(V1+V2+V5+V6)/4]；

V′2＝[(V3+V4+V7+V8)/4]；

V′3＝[(V9+V10+V13+V14)/4]；

V′4＝[(V11+V12+V15+V16)/4]。

其中，“[]”表示四舍五入取整。

原始参考帧的缩小方法与原始待编码帧的缩小方法相同。缩小为其他比例的方法与上述方法类似。

(2)第一搜索装置12在缩小后的待编码帧中，对每一个与原始待编码帧中宏块相对应的块，在缩小后的参考帧中搜索参考块。

在缩小后的参考帧中搜索缩小后的待编码帧中的块的参考块的方法为现有技术，例如，可以采用全搜索法，菱形搜索法，六角形搜索法等，此处不再展开说明。

(3)获取装置13对原始待编码帧中每一个宏块，根据缩小后的待编码帧中与该宏块相对应的块在缩小后参考帧中的参考块位置，获取该宏块在原始参考帧中搜索参考宏块的初始位置。

根据原始待编码帧和原始参考帧的缩小倍数，将缩小后的待编码帧中与该宏块相对应的块在缩小后参考帧中的参考块的坐标各分量扩大相应的倍数，作为该宏块在原始参考帧中搜索参考宏块的初始位置。即根据预设比例将参考帧缩小多少倍，便将参考块的坐标各分量放大相应倍数。

(4)第二搜索装置13在所述初始位置的邻域位置中，搜索与该宏块最匹配的图像方块作为该宏块的参考宏块。

所述与该宏块最匹配的图像方块是指在所述初始位置的邻域图像方块中，与该宏块相减后能量最小的图像方块。

首先计算单元141分别计算原始待编码帧中的宏块与该宏块在原始参考帧中初始位置的邻域图像方块相减后能量，计算方法如下：将两个宏块的各分量值分别相减，再将相减结果的绝对值相加。所述邻域的范围可以参考原始待编码帧和原始参考帧的缩小比例确定。缩小比例越大，邻域的范围越大；缩小比例越小，邻域的范围越小。实验表明：当原始待编码帧和原始参考帧的长和宽缩小1/2时，3×3邻域较为合适；当原始待编码帧和原始参考帧的长和宽缩小1/4时，7×7邻域较为合适。

然后比较单元142比较所述相减后能量，并将能量最小的图像方块作为原始待编码帧中宏块的参考宏块。

例如，一段尺寸为720×576的视频，正在编码其中的某帧，设为P，其参考帧设为R。对于P帧中的某个16×16的宏块a，不妨设其坐标为(32，16)(因为宏块是帧的分割，因此宏块的坐标分量是16的整数倍)。需要在参考帧R中找到与a最匹配的参考宏块。

先进行粗粒度搜索：先将P帧缩小成360×288(长和宽均为原尺寸的一半，面积缩小到原面积的四分之一)的P′帧，R帧缩小成360×288的R′帧，相应的宏块a变为P′中8×8块a′，坐标相应变为(16，8)。在R帧中搜索宏块a的参考宏块，可以近似地看作是在R′中搜索块a′的参考块，只不过搜索的精度变低了。如果在R′中搜索到a′的参考块的坐标为(m，n)，则可以近似的认为宏块a在R中的参考宏块的坐标为(2m，2n)，即将原始参考帧的长和宽缩小了二分之一倍，此处便将参考块的坐标各分量放大2倍。

经过粗粒度搜索得到的参考宏块的坐标分量只能是2的整数倍，于是需要细粒度搜索：在P帧中，考虑坐标为(2m，2n)的3×3邻域，即其附近的9个16×16图像方块，坐标分别为(2m-1，2n-1)，(2m，2n-1)，(2m+1，2n-1)，(2m-1，2n)，(2m，2n)，(2m+1，2n)，(2m-1，2n+1)，(2m，2n+1)，(2m+1，2n+1)。在这9个图像方块中，将与宏块a最匹配的图像方块作为a最终的参考宏块。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种视频编码中的运动估计方法，其特征在于，包括以下步骤：

(1)将原始待编码帧和原始参考帧按照预设比例缩小；

(2)在缩小后的待编码帧中，对每一个与原始待编码帧中宏块相对应的块，在缩小后的参考帧中搜索参考块；

(3)对原始待编码帧中每一个宏块，根据缩小后的待编码帧中与该宏块相对应的块在缩小后参考帧中的参考块位置，获取该宏块在原始参考帧中搜索参考宏块的初始位置；

(4)在所述初始位置的邻域位置中，搜索与该宏块最匹配的图像方块作为该宏块的参考宏块。

2.如权利要求1所述的视频编码中的运动估计方法，其特征在于：步骤(1)中将原始待编码帧和原始参考帧的长和宽缩小为原尺寸的二分之一或者四分之一。

3.如权利要求1或2所述的视频编码中的运动估计方法，其特征在于：步骤(1)中缩小后的待编码帧中每个像素的像素值为其在原始待编码帧中相对应区域内所有像素的像素值的平均值的四舍五入取整值；缩小后的参考帧中每个像素的像素值为其在原始参考帧中相对应区域内所有像素的像素值的平均值的四舍五入取整值。

4.如权利要求1所述的视频编码中的运动估计方法，其特征在于，步骤(3)中所述获取该宏块在原始参考帧中搜索参考宏块的初始位置的方法为：根据原始待编码帧和原始参考帧的缩小倍数，将缩小后的待编码帧中与该宏块相对应的块在缩小后参考帧中的参考块的坐标各分量扩大相应倍数，作为该宏块在原始参考帧中搜索参考宏块的初始位置。

5.如权利要求1所述的视频编码中的运动估计方法，其特征在于：步骤(4)中所述邻域的范围参考原始待编码帧和原始参考帧的缩小比例确定；缩小比例越大，邻域的范围越大；缩小比例越小，邻域的范围越小。

6.如权利要求5所述的视频编码中的运动估计方法，其特征在于：当原始待编码帧和原始参考帧的长和宽缩小1/2时，所述邻域范围为3×3；当原始待编码帧和原始参考帧的长和宽缩小1/4时，所述邻域范围为7×7。

7.如权利要求1所述的视频编码中的运动估计方法，其特征在于：步骤(4)中所述与该宏块最匹配的参考宏块是指在所述初始位置的邻域位置中，与该宏块相减后能量最小的图像方块。

8.如权利要求7所述的视频编码中的运动估计方法，其特征在于，所述宏块相减后能量的计算方法如下：将两个宏块的各分量值分别相减，再将相减结果的绝对值相加。

9.一种视频编码中的运动估计系统，其特征在于，包括用于将原始待编码帧和原始参考帧按照预设比例缩小的缩小装置(11)；

用于在缩小后的待编码帧中，对每一个与原始待编码帧中宏块相对应的块，在缩小后的参考帧中搜索参考块的第一搜索装置(12)；

用于对原始待编码帧中每一个宏块，根据缩小后的待编码帧中与该宏块相对应的块在缩小后参考帧中的参考块位置，获取该宏块在原始参考帧中搜索参考宏块的初始位置的获取装置(13)；

用于在所述初始位置的邻域宏块中，搜索与该宏块最匹配的图像方块作为该宏块的参考宏块的第二搜索装置(14)。

10.如权利要求9所述的视频编码中的运动估计系统，其特征在于：所述第二搜索装置(14)包括用于计算原始待编码帧中的宏块与该宏块在原始参考帧中搜索参考宏块的初始位置的邻域图像方块相减后能量的计算单元(141)；用于比较所述相减后能量，并将能量最小的图像方块作为原始待编码帧中宏块的参考宏块的比较单元(142)。