CN101073256B - 产生运动补偿图像的方法和设备 - Google Patents

Abstract

本发明涉及一种通过对两幅连续图像进行内插来产生运动补偿图像而不使用运动估计器的新方法。对于要进行内插的给定像素，考虑前一帧和下一帧之间给定搜索范围内的所有位移，并且针对每一个位移来计算移位的块差。于是，像素值等于由对应移位块差的相关系数函数加权的搜索范围内的每一个平均像素对的总和。

Description

产生运动补偿图像的方法和设备

技术领域

本发明涉及根据两幅连续源图像来内插运动补偿图像的新方法和设备。

背景技术

众所周知，为了将50Hz的视频信号转换为100Hz的视频信号，需要产生内插图像。应该对这些内插图像进行运动补偿，以免产生视觉伪像。

一般而言，使用运动估计器对50Hz信号中源图像的每个像素计算运动矢量。运动矢量表示两幅连续源图像之间的像素运动(由像素数目表示)。然后将像素的运动矢量用于确定该像素在内插图像中的位置。

在一些情况下，使用这种运动估计器是不令人满意的，特别是两幅连续源图像之间存在放大(zoom in)或缩小(zoom out)时。放大的图像区域中出现一些孔洞，缩小的区域中出现一些冲突。冲突指出了存在两个运动矢量对给定像素施加两种不同位移。孔洞指出了缺少给定像素的运动矢量。

发明内容

本发明提出了一种根据两幅连续图像来内插运动补偿图像而不使用运动估计器的新方法。

本发明涉及一种用于根据两幅源图像来内插运动补偿图像的方法。其中帧存储器中存储了所述两幅连续源图像中的一幅，所述一幅源图像被称作第一源图像，所述方法包括以下确定运动补偿图像中坐标为(x，y)的每个像素的像素值的步骤：

-针对水平方向上第一运动值范围中的每个运动值mx和垂直方向上第二运动值范围中的每个运动值my，在第一源图像中坐标为(x-mx，y-my)的像素周围，定义像素块，并在称作第二源图像的另一幅源图像中坐标为(x+mx，y+my)的像素周围，定义像素块；

-计算每个运动值对(mx，my)的相关系数，所述系数与针对所述运动值对而定义的两个像素块之间的差值成反比；

-向运动补偿图像中坐标为(x，y)的像素分配值，对于所有运动值对(mx，my)，所述值是第一源图像中坐标为(x-mx，y-my)的像素和第二源图像中坐标为(x+mx，y+my)的像素的像素值的算术平均值和对应的相关系数的加权平均。

如果每幅源图像包括至少两个颜色分量，则根据所述颜色分量的视频灰度级计算所述块差值。

本发明还涉及一种根据两幅源图像来内插运动补偿图像的设备。为了确定运动补偿图像中坐标为(x，y)的每个像素的像素值，所述设备包括：

-帧存储器，用于存储所述两幅源图像中称作第一源图像的一幅图像，另一幅源图像被称作第二源图像；

-第一产生器，用于计算每个运动值对(mx，my)的相关系数，其中运动值mx属于水平方向上第一运动值范围，运动值my属于垂直方向上第二运动值范围，所述系数与在第一源图像中坐标为(x-mx，y-my)的像素周围定义的像素块与在第二源图像中坐标为(x+mx，y+my)的像素周围定义的像素块之间的差值成反比；

-第二产生器，用于针对所有运动值对(mx，my)，计算第一源图像中坐标为(x-mx，y-my)的像素和第二源图像中坐标为(x+mx，y+my)的像素的像素值的算术平均值；以及

-模糊内插块，用于计算作为由第一产生器计算的相关系数和由第二产生器计算的对应算术平均值的加权平均的值。

附图说明

本发明的典型实施例在附图中示出，并在以下描述中得到更加详细的说明。

图1示出了源图像中用于定义内插图像中像素值的像素块；以及

图2示出了本发明方法的可能电路实现的方框图。

具体实施方式

根据本发明，所述方法是对内插图像进行逐像素计算。在处理开始时，该图像中没有任何已知像素值。这些值是依次逐像素地确定的。例如，首先分别确定第一行的像素，然后第二行的像素，依此类推确定内插图像的其余像素。也可以采用其他扫描方式，但是无论扫描方式如何，像素值受到一次且只有一次处理。

根据被称作第一源图像的当前源图像(帧t)和被称作第二源图像的在后源图像(帧t+1)，产生内插图像(帧t+1/2)。

针对该图像的每个空间方向，定义包括运动值的运动范围。运动值定义内插图像与两幅源图像相比较时的运动。例如，在水平方向上，被称作mx的运动值包括在范围[-Mx，+Mx]中，在垂直方向上，被称作my的运动值包括在范围[-My，+My]中。根据两幅源图像之间的最大可能运动(水平方向上是2*Mx，垂直方向上是2*My)，选择这些范围。对这些范围进行限制，以限制计算的次数。

对于内插图像中坐标为(x，y)的每个像素和每个运动值mx和my，在第一源图像中坐标为(x-mx，y-my)的像素周围定义像素块B(x-mx，y-my，t)，并在第二源图像中坐标为(x+mx，y+my)的像素周围定义像素块B(x+mx，y+my，t+1)。这两个块B(x-mx，y-my，t)和B(x+mx，y+my，t+1)是在空间与时间上关于像素(x，y)对称的块。块可以是不同形式，可以是水平段、矩形等。在图1示例中，块是矩形。块的尺寸在水平方向上是2Bx，在垂直方向上是2By。块B(x-mx，y-my，t)包括第一源图像中坐标为(x+bx-mx，y+by-my)的所有像素，其中bx和by与[-Bx，+Bx]中包括的所有值相对应。同样，B(x+mx，y+my，t+1)包括第二源图像中坐标为(x+bx+mx，y+by+my)的所有像素，其中bx和by与[-Bx，+Bx]中包括的所有值相对应。

接着，对于内插图像中坐标为(x，y)的每个像素，计算源图像中除图像边界上的像素块之外的、在空间与时间上对称的两个像素块之间的块差值。针对每个运动值mx和my，进行该计算。

针对每个颜色分量红Red，绿Green和蓝Blue执行该计算，并将结果累加。

对于运动值mx和my，可以用以下公式定义块差值：

$\mathrm{Diff}(t,x,y,\mathrm{mx},\mathrm{my})=$

$\underset{(\mathrm{bx},\mathrm{by})}{\mathrm{\Σ}}\left(\begin{array}{c}|\mathrm{Red}(t,x+\mathrm{bx}-\mathrm{mx},y+\mathrm{by}-\mathrm{my})-\mathrm{Red}(t+1,x+\mathrm{bx}+\mathrm{mx},y+\mathrm{by}+\mathrm{my})|\\ +|\mathrm{Green}(t,x+\mathrm{bx}-\mathrm{mx},y-\mathrm{my})-\mathrm{Green}(t+1,x+\mathrm{bx}+\mathrm{mx},y+\mathrm{by}+\mathrm{my})|\\ +|\mathrm{Blue}(t,x+\mathrm{bx}-\mathrm{mx},y+\mathrm{by}-\mathrm{my})-\mathrm{Blue}(t+1,x+\mathrm{bx}+\mathrm{mx},y+\mathrm{by}+\mathrm{my})|\end{array}\right)$

该块差值的另一可能值可以是：

Diff(t，x，y，mx，my)＝

MAX(|Red(t，x+bx-mx，y+by-my)-Red(t+1，x+bx+mx，y+by+my)|；

|Green(t，x+bx-mx，y+by-my)-Green(t+1，x+bx+mx，y+by+my)|；

|Blue(t，x+bx-mx，y+by-my)-Blue(t+1，x+bx+mx，y+by+my)|)

根据针对内插图像的当前像素所计算的每个块差值，计算相关系数。该相关系数称作C(mx，my)，表示两个对称像素块之间的相关性。该系数与差值成反比例。因此，差值越小，该系数越大，反之差值越大，该系数越小。例如，

$C(\mathrm{mx},\mathrm{my})=\left[\underset{\underset{-\mathrm{My}\≤m^{\′}y\≤\mathrm{My}}{-\mathrm{Mx}\≤m^{\′}x\≤\mathrm{Mx}}}{\mathrm{Max}}\mathrm{Diff}(t,x,y,m^{\′}x,m^{\′}y)\right]-\mathrm{Diff}(t,x,y,\mathrm{mx},\mathrm{my})$

最后，例如，内插图像中的当前像素(x，y)可以获得以下红、绿和蓝色分量的值：

$\mathrm{Red}(t+\frac{1}{2}x,y)=\frac{\underset{\mathrm{my}=-\mathrm{My}}{\overset{\mathrm{my}=\mathrm{My}}{\mathrm{\Σ}}}\underset{\mathrm{mx}=-\mathrm{Mx}}{\overset{\mathrm{mx}=\mathrm{Mx}}{\mathrm{\Σ}}}C(\mathrm{mx},\mathrm{my})*(\mathrm{Red}(t,x-\mathrm{mx},y-\mathrm{my})+\mathrm{Red}(t+1,x+\mathrm{mx},y+\mathrm{my}))}{2*\underset{\mathrm{my}=-\mathrm{My}}{\overset{\mathrm{my}=\mathrm{My}}{\mathrm{\Σ}}}\underset{\mathrm{mx}=-\mathrm{Mx}}{\overset{\mathrm{mx}=\mathrm{Mx}}{\mathrm{\Σ}}}C(\mathrm{mx},\mathrm{my})}$

$\mathrm{Blue}(t+\frac{1}{2}x,y)=\frac{\underset{\mathrm{my}=-\mathrm{My}}{\overset{\mathrm{my}=\mathrm{My}}{\mathrm{\Σ}}}\underset{\mathrm{mx}=-\mathrm{Mx}}{\overset{\mathrm{mx}=\mathrm{Mx}}{\mathrm{\Σ}}}C(\mathrm{mx},\mathrm{my})*(\mathrm{Blue}(t,x-\mathrm{mx},y-\mathrm{my})+\mathrm{Blue}(t+1,x+\mathrm{mx},y+\mathrm{my}))}{2*\underset{\mathrm{my}=-\mathrm{My}}{\overset{\mathrm{my}=\mathrm{My}}{\mathrm{\Σ}}}\underset{\mathrm{mx}=-\mathrm{Mx}}{\overset{\mathrm{mx}=\mathrm{Mx}}{\mathrm{\Σ}}}C(\mathrm{mx},\mathrm{my})}$

$\mathrm{Green}(t+\frac{1}{2}x,y)=\frac{\underset{\mathrm{my}=-\mathrm{My}}{\overset{\mathrm{my}=\mathrm{My}}{\mathrm{\Σ}}}\underset{\mathrm{mx}=-\mathrm{Mx}}{\overset{\mathrm{mx}=\mathrm{Mx}}{\mathrm{\Σ}}}C(\mathrm{mx},\mathrm{my})*(\mathrm{Green}(t,x-\mathrm{mx},y-\mathrm{my})+\mathrm{Green}(t+1,x+\mathrm{mx},y+\mathrm{my}))}{2*\underset{\mathrm{my}=-\mathrm{My}}{\overset{\mathrm{my}=\mathrm{My}}{\mathrm{\Σ}}}\underset{\mathrm{mx}=-\mathrm{Mx}}{\overset{\mathrm{mx}=\mathrm{Mx}}{\mathrm{\Σ}}}C(\mathrm{mx},\mathrm{my})}$

这种运动补偿只需要一个外部帧存储器。该帧存储器也可以用于其他目的(例如，在PDP的情况下，用于APL测量)。

图2是用于如上所述地内插运动补偿图像的可能电路实现的方框图。帧存储器10将输入的R、G和B视频数据IN[9:0]延迟一个帧。在块11中，使用输入视频数据和延迟视频数据来计算空间与时间上的平均数，并且产生器12使用输入视频数据和延迟视频数据来产生相关系数。相关系数产生器12在内部划分为至少两部分：第一部分用于计算块差值，第二部分用于根据这些块差值来产生相关系数。时空平均数块11和相关系数产生器12向模糊平均数块13提供与补偿运动值(2*Mx*2*My)一样多的值。模糊平均数块13根据这些值产生单个值，即，针对每个输入像素，只产生一个输出像素值。

为了提高性能或简化实现，可以由置于产生器12之前的块14执行一些预处理或后处理，例如，滤波、上或下采样。

Claims (3)

1.一种用于根据两幅连续源图像来内插运动补偿图像的方法，其中帧存储器存储了所述两幅连续源图像中的一幅，所述一幅源图像被称作第一源图像，其特征在于所述方法包括确定运动补偿图像中坐标为(x，y)的每个像素的像素值的以下步骤：

-针对水平方向上第一运动值范围中的每个运动值mx和垂直方向上第二运动值范围中的每个运动值my，在所述第一源图像中坐标为(x-mx，y-my)的像素周围，定义像素块，并在被称作第二源图像的另一幅源图像中坐标为(x+mx，y+my)的像素周围，定义像素块；

-计算每个运动值对(mx，my)的相关系数，所述系数与针对所述运动值对(mx，my)所定义的两个像素块之间的差值成反比；

-向运动补偿图像中坐标为(x，y)的像素分配值，对于所有运动值对(mx，my)，所分配的值是第一源图像中坐标为(x-mx，y-my)的像素和第二源图像中坐标为(x+mx，y+my)的像素的像素值的算术平均值和对应的相关系数的加权平均。

2.根据权利要求1所述的方法，其中每幅源图像包括至少两个颜色分量，以及根据所述颜色分量的视频灰度级计算所述块差值。

3.一种根据两幅连续源图像来内插运动补偿图像的设备，其中所述设备包括帧存储器，用于存储所述两幅连续源图像中的一幅，所述一幅源图像被称作第一源图像，另一幅源图像被称作第二源图像，其特征在于，为了确定运动补偿图像中坐标为(x，y)的每个像素的像素值，所述设备还包括：

-第一产生器(12)，用于计算每个运动值对(mx，my)的相关系数，其中运动值mx属于水平方向上第一运动值范围，运动值my属于垂直方向上第二运动值范围，所述系数与在第一源图像中坐标为(x-mx，y-my)的像素周围定义的像素块与在第二源图像中坐标为(x+mx，y+my)的像素周围定义的像素块之间的差值成反比；

-第二产生器(11)，用于针对所有运动值对(mx，my)，计算第一源图像中坐标为(x-mx，y-my)的像素和第二源图像中坐标为(x+mx，y+my)的像素的像素值的算术平均值；以及

-模糊内插块(13)，用于计算作为由第一产生器(12)计算的相关系数和由第二产生器(11)计算的对应算术平均值的加权平均的值。

Images