CN1195255A - 运动图像的运动估算方法 - Google Patents

Abstract

一种利用二维三角形线框模型估算运动图像运动的方法,包括步骤:将输入图像信号的当前帧划分为N1×N2个宏块单元,将宏块的每一个划分为二以生成三角形,根据三角形各自顶点的坐标值,在一预定范围内计算参照块和先前帧的搜索块之间的像素差值,和由在计算出的像素差值中具有最小像素差值的先前帧的配匹块的坐标值计算当前帧的参照块的运动矢量。从而,与由传统的估算运动的块匹配方法重建的图像相比可以获得高质量图像。

Description

运动图像的运动 估算方法

本发明涉及一种估算(estimate)运动图像运动的方法，并且更具体地，涉及一种利用二维三角形线框模型估算运动图像运动的方法。

一般地，在一个运动图像压缩系统中，在当运动图像的冗余度被有效消除时可以有效地降低编码期间的位数消耗。从而，在几乎所有的图像压缩系统中，例如MPEG H.261，利用估算运动的方法来消除运动图像的冗余度。运动图像的运动估算按如下步骤进行。当前帧划分成很多小参照块。每个参照块与先前帧的各个搜索块相比较。计算先前帧搜索块与参照块的差别度。为每个参照块找到其差别度最小的搜索块(这以后称为配匹块)。通过每个参照块与相对应的匹配块之间的坐标差估算一个运动矢量。同时，当前帧仅由具有上述运动矢量的匹配块的像素与相应参照块的像素之间的差值编码。通过将每个被编码的像素差值与各自匹配块的像素值结合则如上编码的帧恢复成原图像。

图1解释用于估算一运动的传统方法。用于一传统编码器中的估算运动的标准方法是一个块配匹算法(这以后写作BMA)。参照编号10和12分别标记当前帧参照块和先前帧搜索块。

参照图1，使用BMA的运动估算方法来确定当前帧K+1的参照块来自先前帧K的哪个块。在这种方法中，利用诸如由下面的式1表示的均方误差(MSE)或者由下面式2表示的最小平均绝对差值(MAD)的测度准则。基于这样的测量准则的计算在一块单位上进行，其中计算当前帧的参照块和先前帧搜索块之间的像素差。在此时，给出最小计算差值的搜索块成为配匹块并且通过计算配匹块的运动矢量估算该运动。即，运动矢量由计算参照块和配匹块的座标差值获得。[式1] $\mathrm{MSE}(d_1,d_2)=\frac{1}{N_1{N}_2}\underset{(n_1,n_2)\∈B}{\mathrm{\Σ}}{\left[f_{k+1}\right(n_1,n_2)-f_k(n_1+d_1,n_2+d_2\left)\right]}^2$ [式2] $\mathrm{MAD}(d_1,d_2)=\frac{1}{N_1{N}_2}\underset{(n_1,n_2)\∈B}{\mathrm{\Σ}}|f_{k+1}(n_1,n_2)-f_k(n_1+d_1,n_2+d_2)|$ 其中B＝N1^*N2。

然而，由于是在连续运动图像的运动估算期间，假设运动是平面的情况下生成的，所以传统的用于估算运动的BMA方法难于反映旋转运动和大小变化的运动。从而，它难于估算细微的运动。另外，由于在块之间产生图像不连续性，图像质量在编码图像的恢复时也被劣化。

本发明的目的在于提供一种估算运动图像的运动的方法，其采用了一二维三角形线框模型，通过根据二维三角形线框模型估算三角形的顶点运动矢量，由于三角形是相连的，从而利用该模型可以消除图像的不连续性。

依据本发明，使用二维三角形线框模型、估算运动图像运动的方法包括步骤：将输入图像信号的当前帧划分为N1×N2个宏块单元；将宏块的每个划分为二以生成三角形；在预定的范围内，根据三角形各自顶点的坐标值计算参照块和先前帧的搜索块之间的像素差值，并且从具有在计算过的像素差值中间具有最小像素差值的先前帧的配匹块的坐标值计算参照块的运动矢量。

在本发明中，在像素差值计算步骤中，三角形中重合的顶点只计算一次并且参照块边界上的顶点不计算。

在本发明中，在像素差值计算步骤中，像素差值以当前帧像素值和先前帧像素值之间差值的绝对值计算。

在本发明中，根据计算出的运动矢量，为了更精确地估算运动还包括估算中间像素单元的运动的步骤。

在本发明中，中间像素值通过结合周围全像素值产生。

本发明的上述目的和优点通过结合附图详细描述优选实施例将变得更明显，其中：

图1解释估算运动的传统方法；

图2解释依据本发明，利用二维三角形线框模型，估算运动图像运动的方法；

图3解释依据本发明初始化二维三角形线框模型的步骤；

图4解释依据本发明确定一个中间像素位置的方法；和

图5A至5C示出应用本发明的估算运动图像运动的例子。

以下将结合附图更详细描述本发明。

图2解释依据本发明使用二维三角形线框模型来估算运动图像运动的方法。该方法包括用于初始化二维三角形线框模型的步骤和用于从初始化的三角形线框模型估算一个运动矢量的步骤。

首先，初始化二维三角形线框模型的步骤如下：

输入图像信号的当前帧被划分成N1×N2个宏块单元(步骤200)。通过将每个宏块划分为二，产生二维三角形小块(triangle-patch)(步骤202)。即，如图3所示，通过沿宏块的左上角至右下角或者右上角至左下角划一条对角线产生三角形。

由初始化后的三角形线框模型估算运动矢量的步骤如下。

分别计算根据产生的三角形顶点选择的预定尺寸(例如，16×16像素)的参照块和先前帧的搜索块之间的像素差(步骤204)。即，在根据三角形顶点设定预定尺寸的参照块后，在一预定的搜索范围(±15个像素)内计算各个搜索块和参照块之间的像素差。例如，全部的具有诸如±15个像素的预定搜索范围的搜索块和参照块之间的像素差值被计算。此时，重合三角顶点只计算一次并且位于图像边界上的顶点不被计算。

具有在参照块和搜索块之间的全部像素差值的最小像素差值的先前帧的搜索块的坐标值，作为当前帧参照块的运动矢量产生(步骤206)。这里，运动矢量(MVx，MVy)由下面的式3表示的差值和计算。[式3] ${\mathrm{SAD}}_N(u,v)=\underset{i=1,j=1}{\overset{N,N}{\mathrm{\Σ}}}|\mathrm{rb}(i,j)-\mathrm{sw}(i+u,j+v)|$ 其中，N等于16，rb(i，j)是当前帧该参照块中的第(i，j)个像素值，并且sw(i，j)是先前帧搜索块中第(i，j)个像素值。

同时，从一个预定值减去零矢量的SAD(0，0)值，并且其结果与其它矢量的SAD值比较，也就是说，零矢量的SAD值与其它搜索块的运动矢量的SAD值几乎没有什么差别，在决定作为运动矢量中零矢量被优先考虑。从而，编码运动矢量所消耗的位数被降低。然后，在各(x，y)的SAD值中搜索最小的SAD值，具有最小SAD值的(x，y)被选择作为运动矢量(MVx，MVy)。[式4]

SAD(0，0)＝SAD(0，0)-100

进一步地，使用通过上述步骤估算出的运动矢量，进行精确估算运动的更进一步的步骤。根据上述步骤提取的运动矢量，在预定搜索范围内(例如，±6个像素)如图4所示搜索一中间像素单元内的运动矢量。即，图4中所示的用A，B，C和D标记的像素的坐标值(+)表示通过上述步骤提取的像素的坐标值。用a，b，c和d标记的像素坐标值(0)表示由用大写字母标记的坐标值结合产生的中间像素的坐标值。这里中间像素的坐标值由下面的式5产生。[式5]a＝Ab＝(A+B)/＝2c+(A+C)/2d＝(A+B+C+D)/4这时，对应于相应坐标值的各像素的运动矢量(MVx，MVy)被更新。最终运动矢量利用式3和式4由该更新的像素估算。

图5A至5C示出应用本发明估算运动图像运动的例子。图5A示出先前帧的图像。图5B示出当前帧的图像。图5C示出在利用依据本发明的二维三角形线框模型进行图像估算之后被变换的图像。由于在运动估算之后在二维三角形线框模型中相应的三角彼此相连，所以从图5C中注意到在运动补偿期间在相应的三角中以像素为单元重构时，在相应三角形的边界上没有不连续性产生。

当图像由依据本发明的利用二维三角线形线框模型对运动图像的运动进行估算的方法重建时，与由对运动进行估算的传统BMA的方法重建的图像质量相比可以获得高质量的图像。

Claims (5)

1.在运动图像压缩系统中，估算运动图像运动的一种方法，包括步骤：

将输入图像信号的当前帧划分为N1×N2个宏块单元；

将所述宏块的每一个划分为二以生成三角形；

根据所述三角形的各自顶点的坐标值，在一个预定范围内计算参照块和先前帧的搜索块之间像素差值；

由在所述计算出的像素差值中间具有最小像素差值的先前帧的配匹块的坐标值计算当前帧参照块的运动矢量。

2.如权利要求1所述的方法，其中，在所述像素差值计算步骤中，所述三角形的重合顶点仅计算一次并且在所述参照块边界上的顶点不计算。

3.如权利要求1所述的方法，其中，在所述的像素差值的计算步骤中，像素差值按当前帧像素值和先前帧像素值之间的差值的绝对差值计算。

4.如权利要求1所述的方法，进一步包括步骤：根据所述计算出的运动矢量，估算中间像素单元的运动以便更精确地估算运动。

5.如权利要求1所述的方法，其中所述的中间像素值由结合周边的整个像素值产生。

Images