CN101179726A - 一种运动估计方法及装置 - Google Patents

Abstract

本发明公开了一种运动估计方法及装置。方法包括：对参考帧进行半像素插值；采用3抽头非对称滤波器，对参考帧整像素水平方向和垂直方向、以及半像素水平方向和垂直方向上的四分之一像素进行插值；采用对称滤波器，对参考帧整像素对角线方向上的四分之一像素进行插值；在插值后的参考帧中，搜索与当前块最匹配的预测块。本发明提高了四分之一像素插值的精度，从而提高了运动估计的精度。

Description

一种运动估计方法及装置

技术领域

本发明涉及视频编码技术领域，具体涉及一种运动估计方法及装置。

背景技术

在帧间编码时需要进行运动估计，最初的运动估计算法是在整像素基础上进行的，在参考帧中搜索到与当前块最匹配的块作为当前块的预测块，然后根据该预测块对当前块进行编码。最常用的匹配原则是使当前块与预测块的像素值的绝对误差和最小，以4×4块为例，其定义见公式(1)：

$\mathrm{SAD}=\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\underset{j=0}{\overset{3}{\mathrm{\Σ}}}|S(i,j)-O(i,j)|---\left(1\right)$

其中，S(i，j)表示当前块中的像素值，O(i，j)表示参考帧中的搜索块的像素值，使得SAD最小的搜索块即为与当前块最匹配的预测块。

为了达到更好的编码性能，H.264标准中引入了半像素和四分之一像素插值技术。在每个整像素的周围插值得到半像素，再以整像素与半像素为参考，插值得到四分之一像素。这种分数精度像素插值技术的引入，经过实验证明会明显提高编码性能，尤其提高了帧间编码时运动估计预测的准确性。

在H.264标准中，当进行运动估计预测时，运动向量的搜索不只限定在整像素范围内，利用半像素与四分之一像素插值技术，能搜索到与当前块更加匹配的预测块。图1为H.264标准中的半像素和四分之一像素插值示意图，如图1所示，大写字母如：A、B、...、T、U表示整像素，双小写字母如：aa、bb、...、gg、hh表示半像素，单小写字母如：a、c、...、q、r表示四分之一像素。

H.264标准中的半像素插值技术使用6抽头滤波器(1，-5，20，20，-5，1)，根据半像素的位置，可分为三种情况：

情况一、水平方向上的半像素，例如：图1中的aa、bb，以aa为例，利用公式(2)和公式(3)插值得到。

       X＝A_-2-5A_-1+20A+20B-5B₁+B₂         (2)

       aa＝Clip1((X+16)/2⁵)               (3)

其中，公式(2)中大写字母的脚标-2、-1、1、2代表相邻整像素的索引值，例如：A_-1表示与A同一行且位于A左边的第一个整像素，B₂表示与B同一行且位于B右边的第二个整像素。Clip1(s)函数的作用是将s的值限定在0到255之间。

情况二、垂直方向上的半像素，例如：图1中的jj、nn，以jj为例，利用公式(4)和公式(5)插值得到：

       Y＝A-5C+20G+20M-5R+T               (4)

       jj＝Clip1((Y+16)/2⁵)               (5)

情况三、对角线方向上的半像素，例如：图1中的kk，利用公式(6)和公式(7)插值得到：

       Z＝aa-5bb+20ii+20ll-5gg+hh         (6)

       kk＝Clip1((Z+16)/2⁵)               (7)

H.264标准中的四分之一像素插值利用双线性滤波器(1，1)，根据四分之一像素所处的位置可分成三种情况：

情况一、整像素水平方向和半像素水平方向上的四分之一像素，例如：图2中的a、b、e、f。以a和e为例，利用公式(8)插值得到：

       a＝(A+aa+1)/2

       e＝(bb+cc+1)/2                     (8)

即：对整像素或半像素水平方向上距四分之一像素最近的一个整像素和一个半像素或者两个半像素插值，可得到整像素或半像素水平方向上的四分之一像素。

情况二、整像素垂直方向和半像素垂直方向上的四分之一像素，例如：图2中的c、d、g、h。以c和g为例，利用公式(9)插值得到：

       c＝(A+bb+1)/2

       g＝(aa+cc+1)/2                     (9)

即：对整像素或半像素垂直方向上距四分之一像素最近的一个整像素和一个半像素或者两个半像素插值，可得到整像素或半像素垂直方向上的四分之一像素。

情况三、整像素对角线方向上的四分之一像素，例如：图2中的i、j、k、l，以i点为例，利用公式(10)插值得到：

       i＝(aa+bb+1)/2                     (10)

即：对整像素对角线方向上的两个半像素插值，可得到整像素对角线方向上的四分之一像素。

引入分数精度的像素插值技术之后，当进行运动估计时，首先在参考帧的整像素上进行搜索，得到整数精度的最优匹配像素之后，再利用一定的搜索策略在最优整数精度像素的周围搜索分数精度像素，最终得到最佳匹配块和匹配精度。

从以上描述可以看出，在进行四分之一像素插值时，使用的是两个像素，这样虽然实现简单，但是插值精度不高，最终会导致运动估计的精度不高。

发明内容

本发明提供一种运动估计方法及装置，以提高运动估计的精度。

本发明的技术方案是这样实现的：

一种运动估计方法，该方法包括：

对参考帧进行半像素插值；

采用3抽头非对称滤波器，对参考帧整像素水平方向和垂直方向、以及半像素水平方向和垂直方向上的四分之一像素进行插值；

采用对称滤波器，对参考帧整像素对角线方向上的四分之一像素进行插值；

在插值后的参考帧中，搜索与当前块最匹配的预测块。

所述采用3抽头非对称滤波器，对参考帧整像素水平方向和垂直方向上的四分之一像素进行插值为：

                 u＝(16U+15uu+V+16)/2⁵

且，所述采用3抽头非对称滤波器，对参考帧半像素水平方向和垂直方向上的四分之一像素进行插值为：

               z＝(2vv+15ww+15xx+16)/2⁵；

或者，

所述采用3抽头非对称滤波器，对参考帧整像素水平方向和垂直方向上的四分之一像素进行插值为：

                  u＝(8U+7uu+V+8)/2⁴

且，所述采用3抽头非对称滤波器，对参考帧半像素水平方向和垂直方向上的四分之一像素进行插值为：

                z＝(2vv+7ww+7xx+8)/2⁴；

或者，

所述采用3抽头非对称滤波器，对参考帧整像素水平方向和垂直方向上的四分之一像素进行插值为：

                u＝(32U+31uu+V+32)/2⁶

且，所述采用3抽头非对称滤波器，对参考帧半像素水平方向和垂直方向上的四分之一像素进行插值为：

               z＝(2vv+31ww+31xx+32)/2⁶

其中，u为参考帧中整像素水平方向或整像素垂直方向上的四分之一像素，U、uu、V与四分之一像素同一方向，且，U为距四分之一像素最近的整像素，V为距四分之一像素次最近的整像素，uu为距四分之一像素最近的半像素；

z为参考帧中半像素水平方向或半像素垂直方向上的四分之一像素，vv、ww、xx与四分之一像素同一方向，且，ww、xx为距四分之一像素最近的半像素，vv为距四分之一像素次最近的半像素。

所述采用对称滤波器，对整像素对角线方向上的四分之一像素进行插值为：

                    o＝(U+ww+1)/2

其中，o为参考帧中整像素对角线方向上的四分之一像素，U、ww与四分之一像素同一方向，且，U为距四分之一像素最近的整像素，ww为距四分之一像素最近的半像素。

所述对参考帧进行半像素插值为：采用H.264标准中的半像素插值方法，对参考帧进行半像素插值。

一种运动估计装置，包括：

插值模块，对参考帧进行半像素插值；采用3抽头非对称滤波器，对参考帧整像素水平方向和垂直方向、以及半像素水平方向和垂直方向上的四分之一像素进行插值；采用对称滤波器，对参考帧整像素对角线方向上的四分之一像素进行插值；

匹配模块，在插值后的参考帧中，搜索与当前块最匹配的预测块。

所述插值模块包括：

半像素插值模块，采用H.264标准中的半像素插值方法，对参考帧进行半像素插值；

四分之一像素插值模块，采用(16，15，1)滤波器对整像素水平方向或整像素垂直方向上的四分之一像素插值，采用(15，15，2)滤波器对半像素水平方向或半像素垂直方向上的四分之一像素插值；或者，采用(8，7，1)滤波器对整像素水平方向或整像素垂直方向上的四分之一像素插值，采用(7，7，2)滤波器对半像素水平方向或半像素垂直方向上的四分之一像素插值；或者，采用(32，31，1)滤波器对整像素水平方向或整像素垂直方向上的四分之一像素插值，采用(31，31，2)滤波器对半像素水平方向或半像素垂直方向上的四分之一像素插值；采用(1，1)滤波器对整像素对角线方向上的四分之一像素插值。

与现有技术相比，本发明采用3抽头非对称滤波器，对参考帧整像素水平方向和垂直方向、以及半像素水平方向和垂直方向上的四分之一像素进行插值；采用对称滤波器，对参考帧整像素对角线方向上的四分之一像素进行插值，在不增加插值复杂度的前提下，经过实验证明明显提高了插值精度，从而提高了运动估计的精度。

附图说明

图1为现有的H.264标准中的半像素和四分之一像素插值示意图；

图2为现有的H.264标准中的四分之一像素插值示意图；

图3为本发明实施例提供的运动估计流程图；

图4为本发明实施例提供的运动估计装置的组成图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

图3为本发明实施例提供的运动估计流程图，如图3所示，其具体步骤如下：

步骤301：采用H.264标准中的半像素插值方法，对参考帧进行半像素插值。

步骤302：采用3抽头非对称滤波器对参考帧进行四分之一像素插值。

本步骤的具体过程如下：

01：整像素水平方向或整像素垂直方向上的四分之一像素，例如：图2中的a、b和c、d，采用(16，15，1)滤波器插值得到。以a、d为例，利用公式(11)插值得到：

       a＝(16A+15aa+B+16)/2⁵

       d＝(A+15bb+16C+16)/2⁵              (11)

即：利用同一方向上距四分之一像素最近的两个整像素和一个半像素插值得到。其中，距四分之一像素最近的整像素的滤波系数为16，最近的半像素的滤波系数为15，次最近的整像素的滤波系数为1。

02：半像素水平方向或半像素垂直方向上的四分之一像素，例如：图2中的e、f、g、h，以f、g为例，利用公式(12)插值得到：

       f＝(2bb+15cc+15dd+16)/2⁵

       g＝(15aa+15cc+2ee+16)/2⁵           (12)

即：利用同一方向上最近的三个半像素插值得到。其中：距四分之一像素最近的两个半像素的滤波系数为15，次最近的一个半像素的滤波系数为2。

03：整像素对角线方向上的四分之一像素，例如：图2中的i、j、k、l，以i、k为例，利用公式(13)插值得到：

       i＝(A+cc+1)/2

       k＝(C+cc+1)/2                      (13)

即：利用同一方向上最近的一个整像素和一个半像素插值得到。

步骤303：在插值后的参考帧的整像素上搜索与当前块最匹配的块，然后在该最匹配块上的整数精度的最优匹配点周围搜索分数精度最优匹配点，最终得到最匹配的预测块。

在实际应用中，整像素水平方向及整像素垂直方向上的四分之一像素也可采用(8，7，1)滤波器插值得到，同时，半像素水平方向及半像素垂直方向上的四分之一像素采用(7，7，2)滤波器插值得到，仍然以图2中的a、d，f、g为例，即：

       a＝(8A+7aa+B+8)/2⁴

       d＝(A+7bb+8C+8)/2⁴                 (14)

即：距四分之一像素最近的整像素的滤波系数为8，最近的半像素的滤波系数为7，次最近的整像素的滤波系数为1；

       f＝(2bb+7cc+7dd+8)/2⁴

       g＝(7aa+7cc+2ee+8)/2⁴              (15)

即：距四分之一像素最近的两个半像素的滤波系数为7，次最近的一个半像素的滤波系数为2。

或者，整像素水平方向及整像素垂直方向上的四分之一像素也可采用(32，31，1)滤波器插值得到，同时，半像素水平方向及半像素垂直方向上的四分之一像素采用(31，31，2)滤波器插值得到，仍然以图2中的a、d，f、g为例，即：

       a＝(32A+31aa+B+32)/2⁶

       d＝(A+31bb+32C+32)/2⁶              (16)

即：距四分之一像素最近的整像素的滤波系数为32，最近的半像素的滤波系数为31，次最近的整像素的滤波系数为1；

       f＝(2bb+31cc+31dd+32)/2⁶

       g＝(31aa+31cc+2ee+32)/2⁶           (17)

即：距四分之一像素最近的两个半像素的滤波系数为31，次最近的一个半像素的滤波系数为2。

图4为本发明实施例提供的运动估计装置组成示意图，如图4所示，其主要包括：插值模块41和匹配模块42，其中：

插值模块41：采用H.264标准中的半像素插值技术，对参考帧进行半像素插值；采用3抽头非对称滤波器，对参考帧整像素水平方向和垂直方向、以及半像素水平方向和垂直方向上的四分之一像素进行插值；采用对称滤波器，对参考帧整像素对角线方向上的四分之一像素进行插值。

匹配模块42：在插值后的参考帧的整像素上搜索与当前块最匹配的块，然后在该最匹配的块上的整数精度的最优匹配点周围搜索分数精度最优匹配点，最终得到最匹配的预测块。

插值模块41可包括：半像素插值模块411和四分之一像素插值模块412，其中：

半像素插值模块411：采用H.264标准中的半像素插值方法，对参考帧进行半像素插值。

四分之一像素插值模块412：采用(16，15，1)滤波器对整像素水平方向或整像素垂直方向上的四分之一像素插值，采用(15，15，2)滤波器对半像素水平方向或半像素垂直方向上的四分之一像素插值；或者，采用(8，7，1)滤波器对整像素水平方向或整像素垂直方向上的四分之一像素插值，采用(7，7，2)滤波器对半像素水平方向或半像素垂直方向上的四分之一像素插值；或者，采用(32，31，1)滤波器对整像素水平方向或整像素垂直方向上的四分之一像素插值，采用(31，31，2)滤波器对半像素水平方向或半像素垂直方向上的四分之一像素插值；采用(1，1)滤波器对整像素对角线方向上的四分之一像素插值。

与现有的H.264标准中的四分之一像素插值方法相比，本发明实施例提供的四分之一像素插值方法改变了滤波系数，使用了三种滤波系数(16，15，1)、(15，15，2)、(1，1)，或者：(8，7，1)、(7，7，2)、(1，1)，或者：(32，31，1)、(31，31，2)、(1，1)。以(16，15，1)、(15，15，2)、(1，1)为例，在硬件实现算法时，乘16操作可以利用左移4位来实现，乘15可以利用左移4位再减1实现。由于移位操作和加减法操作在硬件实现上是等价的，所以本发明实施例提出的滤波系数与现有的H.264标准中四分之一像素插值方法中的滤波系数的计算复杂度是相当的。

经过实验证明，本发明实施例提供的四分之一像素插值方法明显提高了插值精度，从而提高了运动估计精度，提高了帧间编码效率。且经过实验证明，滤波系数(16，15，1)、(15，15，2)、(1，1)的插值精度最高。

以上所述仅为本发明的过程及方法实施例，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种运动估计方法，其特征在于，该方法包括：

对参考帧进行半像素插值；

采用3抽头非对称滤波器，对参考帧整像素水平方向和垂直方向、以及半像素水平方向和垂直方向上的四分之一像素进行插值；

采用对称滤波器，对参考帧整像素对角线方向上的四分之一像素进行插值；

在插值后的参考帧中，搜索与当前块最匹配的预测块。

2.如权利要求1所述的方法，其特征在于，所述采用3抽头非对称滤波器，对参考帧整像素水平方向和垂直方向上的四分之一像素进行插值为：

                   u＝(16U+15uu+V+16)/2⁵

且，所述采用3抽头非对称滤波器，对参考帧半像素水平方向和垂直方向上的四分之一像素进行插值为：

                 z＝(2vv+15ww+15xx+16)/2⁵；

或者，

所述采用3抽头非对称滤波器，对参考帧整像素水平方向和垂直方向上的四分之一像素进行插值为：

                   u＝(8U+7uu+V+8)/2⁴

且，所述采用3抽头非对称滤波器，对参考帧半像素水平方向和垂直方向上的四分之一像素进行插值为：

                 z＝(2vv+7ww+7xx+8)/2⁴；

或者，

所述采用3抽头非对称滤波器，对参考帧整像素水平方向和垂直方向上的四分之一像素进行插值为：

                 u＝(32U+31uu+V+32)/2⁶

且，所述采用3抽头非对称滤波器，对参考帧半像素水平方向和垂直方向上的四分之一像素进行插值为：

            z＝(2vv+31ww+31xx+32)/2⁶

其中，u为参考帧中整像素水平方向或整像素垂直方向上的四分之一像素，U、uu、V与四分之一像素同一方向，且，U为距四分之一像素最近的整像素，V为距四分之一像素次最近的整像素，uu为距四分之一像素最近的半像素；

z为参考帧中半像素水平方向或半像素垂直方向上的四分之一像素，vv、ww、xx与四分之一像素同一方向，且，ww、xx为距四分之一像素最近的半像素，vv为距四分之一像素次最近的半像素。

3.如权利要求1所述的方法，其特征在于，所述采用对称滤波器，对整像素对角线方向上的四分之一像素进行插值为：

                      o＝(U+ww+1)/2

其中，o为参考帧中整像素对角线方向上的四分之一像素，U、ww与四分之一像素同一方向，且，U为距四分之一像素最近的整像素，ww为距四分之一像素最近的半像素。

4.如权利要求1所述的方法，其特征在于，所述对参考帧进行半像素插值为：采用H.264标准中的半像素插值方法，对参考帧进行半像素插值。

5.一种运动估计装置，其特征在于，包括：

插值模块，对参考帧进行半像素插值；采用3抽头非对称滤波器，对参考帧整像素水平方向和垂直方向、以及半像素水平方向和垂直方向上的四分之一像素进行插值；采用对称滤波器，对参考帧整像素对角线方向上的四分之一像素进行插值；

匹配模块，在插值后的参考帧中，搜索与当前块最匹配的预测块。

6.如权利要求5所述的装置，其特征在于，所述插值模块包括：

半像素插值模块，采用H.264标准中的半像素插值方法，对参考帧进行半像素插值；

四分之一像素插值模块，采用(16，15，1)滤波器对整像素水平方向或整像素垂直方向上的四分之一像素插值，采用(15，15，2)滤波器对半像素水平方向或半像素垂直方向上的四分之一像素插值；或者，采用(8，7，1)滤波器对整像素水平方向或整像素垂直方向上的四分之一像素插值，采用(7，7，2)滤波器对半像素水平方向或半像素垂直方向上的四分之一像素插值；或者，采用(32，31，1)滤波器对整像素水平方向或整像素垂直方向上的四分之一像素插值，采用(31，31，2)滤波器对半像素水平方向或半像素垂直方向上的四分之一像素插值；采用(1，1)滤波器对整像素对角线方向上的四分之一像素插值。

Images