CN1195256A - 运动图像的运动补偿方法 - Google Patents

Abstract

一种利用二维三角形线框模型对运动图像进行运动补偿的方法,包括步骤:在对运动进行估算期间形成一三角形,并且使用对应于三角形的各个顶点的运动矢量变换该三角形,用对应于所述变换后的线框模型中的先前帧的匹配块的一预定位置的像素值替换对应于当前帧参照块的一预定位置的像素值,并且利用替换后的像素值重构一图像。

Description

运动图像的运动 补偿方法

本发明涉及一种利用一个二维三角形(triangle-patch)线框模型、使用由运动矢量估算变换的像素对运动图像进行运动补偿以重建一个新的图像的方法。

在运动图像的运动补偿之前所进行的运动图像的运动估算包括步骤：输入图像的当前帧被分成很多小的参照块；每个参照块与先前帧的不同搜索块比较；计算先前帧的各块不同于参照块的差异程度，为每个参照块找到其差异程度最小的块(以后记为匹配块)；在每个参照块和相应匹配块之间的坐标差被估算作为运动矢量。同时，当前帧仅由具有上面的运动矢量的匹配块的像素与相应参照块的像素之间的差进行编码。如上编码的图像帧通过将每个编码的像素值和相应的匹配块的像素值结合重建原始图像。

图1解释运动补偿的传统方法。

在图1中，数字10和12分别标记当前帧和先前帧。如图1所示，在曾用于传统编码器的标准的运动补偿的方法中，估算每个参照块的先前帧的相应匹配块的运动矢量，然后，利用对应于相应估算矢量的先前帧的各匹配块对当前的图像进行编码。

在传统的运动补偿方法中，由于匹配块的运动矢量是根据当前帧10中的参照块和在先前帧12中具有与参照块相似像素值的块进行计算的，所以匹配块常常相互重叠，并且先前帧12的匹配块运动形成当前帧10。所以，由于在每个块的边界上图像被切断，造成新帧图像的图像质量变坏。

本发明的目的在于提供一种在利用二维三角形线框模型估算一运动矢量之后使用双直线插入法，对运动图像进行运动补偿以重建图像的方法。

依据本发明，在利用二维三角形线框模型估算一运动图像的运动之后，对运动图像的运动进行补偿的方法包括一种在对一运动图像的运动进行估算之后对该同一运动图像的运动进行补偿的方法的步骤，所述方法包括步骤：在估算该运动期间形成一个三角形，并且利用对应于该三角形的各顶点的运动矢量变换该三角形线框模型，用对应于在所述变换后的线框模型中的先前帧的匹配块中的预定位置的一个像素值替换对应于当前帧参照块的一预定位置的像素值，并且利用替换后的像素值重构一个新图像。

在本发明中，在替换像素值的步骤中用于替换的像素的位置不是一个整数值的情况下，像素值利用双直线插入法(bilinear interpolation)决定。

本发明的上述目的和优点通过参照附图详细描述优选实施例将变得更明显，其中：

图1解释传统的运动补偿方法；

图2解释依据本发明的一运动图像的运动补偿方法；

图3A和3B解释依据本发明的，使用在运动估算期间计算的运动矢量变换线框模型的方法；

图4解释应用于本发明的一种双直线插入法；和

图5A至5D示出应用依据本发明的运动补偿的方法的一个例子。

以下，将结合附图更详细地描述本发明。

图2解释依据本发明的运动图像运动补偿的一种方法。

利用在估算运动期间计算出的运动矢量，变换线框模型(步骤200)。即，如图3B所示，当当前帧的三角形顶点是A，B和C并且在三角内一任选像素的位置是X时，由运动矢量变换过的先前帧的三角形的顶点是A′，B′和C′并且对应于该任选像素X在先前帧中的位置为X′，如图3A所示。对应于每一个顶点和该任选像素的位置矢量定义在下面的式1中[式1]

A′＝(x′_a，y_a′)，B′＝(x′_b，y′_b)，C′＝(x′_c，y′_c)，X′＝(x′，y′)

A＝(x_a，y_a)，B＝(x_b，y_b)，C＝(X_c，y_c)，X＝(x′，y′)

在当前帧中该任选像素位置(X)的位置矢量和先前帧中相应像素位置(X′)的位置矢量由下面的式2表示。在当前帧位置(X)中的像素值和先前帧位置(X′)中像素值之间的差以下面的式3表示。[式2]

X′＝A′+p A′B′+q A′C′

X＝A+p AB+q AC[式3] $X{X}^{\′}=\left[\begin{array}{c}u\\ v\end{array}\right]=(1-p-q)\left[\begin{array}{c}{u}_a\\ v_a\end{array}\right]+p\begin{array}{c}\left[\begin{array}{c}{u}_b\\ v_b\end{array}\right]\end{array}+q\left[\begin{array}{c}{u}_c\\ v_c\end{array}\right]$

其中，由式2导出式3的过程描述如下。

X-X＇＝(A-A′)+(B-B′)+(C-C′)

     ＝(A-A′)+p(AB-A′B′)+q(AC-A′C′)

     ＝(x_a-x_a′，y_a-y_a′)+p(x_b-x_b，y_b-y_a)

        -p(x_b′-x_a′，y_v′-y_a′)+q(x_c-x_a，y_c-y_a)

        -q(x_c′-x_a′，y_c-y_a′) $=(1-p-q)\left[\begin{array}{c}{x}_a-{x_a}^{\′}\\ y_a-{y_a}^{\′}\end{array}\right]+p\left[\begin{array}{c}{x}_b-{x_b}^{\′}\\ y_b-{y_b}^{\′}\end{array}\right]+q\left[\begin{array}{c}{x}_c-{x_c}^{\′}\\ y_c-{y_c}^{\′}\end{array}\right]$ $=(1-p-q)\left[\begin{array}{c}{u}_a\\ v_a\end{array}\right]+p\left[\begin{array}{c}{u}_b\\ v_b\end{array}\right]+q\left[\begin{array}{c}{u}_c\\ v_c\end{array}\right]$ 其中，

u＝x-x′，v＝y-y′

u_a＝x_a-x_a′，v_a＝y_a-y_a′

u_b＝x_b-x_b′，v_b＝y_b-y_b′

u_c＝x_c-x_c′，v_c＝y_c-y_c′

p＝((x-x_a)v_y1-(y-y_a)v_x1)/(v_x0v_y1-v_x1v_y0)

q＝((y-y_a)v_x0-(x-x_a)v_y0)/(v_x0v_y1-v_x1v_y0)

v_x0＝x_b-x_a，v_y0＝y_b-y_a，v_x1＝x_c-x_a，v_y1＝y_c-y_a

0≤p≤1，0≤q≤1，0≤p+q≤1

由于如上所得的运动矢量对三角形的每个顶点都存在，对应于各个顶点的运动矢量是(u_a，v_a)，(u_bv_b)，和(u_c，v_c)。对应于存在于三角内的该任选像素的运动矢量是X＝(x′，y′)，和X＝(x，y)。

由通过式2计算出的运动矢量得到的对应于当前帧位置(X)的像素值，被先前帧的位置(X′)像素值代替(步骤204)。其中，在所获得的位置X′不是整数的情况下，位置X′的像素值利用双线插入法确定。

图4解释应用于本发明的双直线插入法。这里，在先前帧中用于替换的像素f(x′y′)的位置不是一整数的情况下，利用下面所述的双直线插入法，位置(x′，y′)的像素值由位于(x′，y′)周围的整数位置的像素值决定。即，点A的坐标值是f(x+1，y)^*(1-yr)+f(x+1，y+1)^*yr和点B的坐标值是f(x，y)^*(1-yr)+f(x，y+1)^*yr。由于可得到A和B的坐标值，所以f(x，′y′)的像素值由下面的式4表示。[式4]

f(x′，y′)＝B^*(1-xr)+A^*yr

           ＝(1-xr){(1-yr)f(x，y)+yrf(x，y+1)}

+xr{(1-yr)f(x+1，y)+yrf(x+1，y+1)}

利用一由式4所示的替换的像素值，一新图像被重构(步骤206)。

通过对所有如上所述的三角形中的所有像素应用公式4，可以得到其运动被补偿的图像的像素值。

图5A至5D示出应用依据本发明的图像补偿方法的一个例子。图5A示出先前帧的图像。图5B示出当前帧的图像。图5C示出在运动估算之后变换的一个二维三角形线框模型。图5D示出运动补偿的图像。从图5D注意到在块之间没有在传统的补偿方法中经常发生的图像的不连续性。

按照依据本发明的运动图像的运动补偿方法，由于在块之间没有图像的不连续性，所以可以获得高质量图像。

Claims (2)

1.一种在对一运动图像的运动进行估算之后对该同一运动图像的运动进行补偿的方法，包括步骤：

在对该运动进行估算期间形成一个三角形，并且利用对应于该三角形的各个顶点的运动矢量变换该三角形线框模型；

用对应于在所述变换后的线框模型中的先前帧的匹配块的一预定位置的像素值替换对应于当前帧参照块的一预定位置的像素值，并且利用替换后的像素值重构一新图像。

2.如权利要求1的对运动图像的运动进行补偿的方法，其中在所述的替换像素值的步骤中在用于替换的像素的位置不是一个整数值的情况下，该像素值利用双直线插入法确定。

Images