CN1806444A

CN1806444A - 自适应加权运动估计方法和采用该方法的帧频转换设备

Info

Publication number: CN1806444A
Application number: CNA2005800005019A
Authority: CN
Inventors: 河泰铉
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-05-10
Filing date: 2005-05-09
Publication date: 2006-07-19
Also published as: DE112005000033T5; US20050249288A1; KR100584597B1; WO2005109897A1; GB2430103A; KR20050107849A; GB0600067D0

Abstract

提供一种自适应加权运动估计方法和一种采用该方法的帧频转换设备。该方法包括：根据帧之间的相关来估计全局运动矢量；和根据应用估计的全局运动矢量的权值计算帧之间的块匹配值，并将最低的块匹配值确定为运动矢量。

Description

自适应加权运动估计方法和采用该方法的帧频转换设备

技术领域

本发明涉及一种帧频转换系统，更具体地讲，涉及一种自适应加权运动估计方法和一种采用该方法的帧频转换设备。

背景技术

通常，进行帧频转换以建立个人电脑(PC)或高清晰电视(HDTV)中的诸如逐行倒相制(PAL)或国家电视系统委员会(NTSC)的广播标准之间的兼容性。帧频转换是将一种帧转换成另一种帧的行为。具体地讲，帧频上转换需要将新帧进行插值的处理。最近，随着广播技术的发展，在利用诸如运动图像专家组(MPEG)和H.263的图像压缩方法对图像数据压缩之后进行帧频转换。

这种图像处理系统中的图像信号包括由图像信号之间的强相关性引起的大量冗余。可通过消除冗余对图像信号进行有效压缩。为了有效地压缩时变视频帧，必须消除时间轴方向上的冗余。换句话说，通过用紧接着的前帧代替未变化或稍微变化的帧，可显著地减小将被传送的数据量。运动估计(ME)是识别前一帧和当前帧之间的最相似的块的任务。运动矢量(MV)指示ME中块的位移量。

通常，考虑到实时处理的可能性、硬件实现等，ME利用基于块的运动估计(BME)。

BME将连续输入的图像分割成具有统一尺寸的像素块，对于每个分割的像素块，搜索前一帧或后一帧和当前帧之间最相似的块，并确定MV。为了在BME中确定相邻块之间的相似性的度量，主要使用平均绝对差(MAD)、均方误差(MSE)或绝对差和(SAD)。因为MAD不需要乘法操作，所以MAD具有少量操作，从而硬件实现简单。使用MAD的BME估计与参考帧内的块相邻的一帧内的块中的具有最小MAD值的块，并获得两个块之间的MV。

通常，具有最小MAD值的MV指示在两帧之间目标的实际位移量。然而，在复杂的图像中，通过MAD估计的MV和指示实际目标的运动的MV通常彼此不同。

图1A到图1F是显示由于ME的失败而导致MCI帧中块假像的发生的示图。

图1A和图1B分别显示相邻的图像序列中的前一帧和当前帧。‘H’形图像沿着水平轴从左移到右。该图像表现出：当在帧之间进行BME时，尽管在H形图像的大多数块中通过MAD操作估计的MV和指示实际目标的运动的MV是相同的，但是在位于图1A的右上部分的块中ME失败。图1C和图1D显示分别通过使用‘实际运动’和‘MADMIN’被插值到图1B的帧和图1A的帧之间的帧。此时，图1C和图1D中显示的两帧几乎相同，而且没有发生块假像。图1E和图1F显示分别通过使用‘实际运动’和‘MADMIN’将运动补偿插值(MCI)应用于图1A和图1B的帧之间的帧。如图1E所示，当通过使用指示实际目标的运动的MV来执行MCI时不会发生块假像。然而，如图1F所示，当通过使用具有最小MAD值的MV来执行MCI时，发生块假像。在图1F中，发生块假像的部分被圈起来。

结果，如果当在帧频转换中执行MCI时实际目标的ME失败，则在插值的图像中产生块假像。

另外，在图像序列中，大多数MV汇集在(0，0)附近。换句话说，在帧区域的较大部分，两个相邻的图像帧在运动中没有变化或仅仅稍微变化。在运动中图像帧可能保持不变。因而，在传统的矢量估计方法中，在具有相似的MAD值的两个不同的候选MV中，接近(0，0)的MV的权值较大。然而，在具有由相机的摇动或变焦引起的全局运动的图像序列中，大多数MV位于全局MV周围，而不是(0，0)周围。

发明内容

因此，问题在于传统的矢量估计方法的使用可引起图像的严重恶化。

本发明提供一种通过使用自适应加权MAD执行ME和运动补偿插值来提高具有全局运动的图像帧之间的ME效率。

本发明还提供一种用于转换帧频的方法和设备，该方法和设备采用自适应加权ME方法。

根据本发明，通过使用自适应加权MAD执行ME和运动补偿插值，可提高具有与整个屏幕的运动相应的全局运动的图像帧之间的ME效率。

附图说明

通过参考附图对本发明的示例性实施例进行描述，本发明的以上和其它特征和优点将变得更清楚，其中：

图1A到图1F是显示由于ME失败而导致MCI帧中块假像的发生的示图；

图2是显示根据本发明的自适应加权ME方法的流程图；和

图3是显示采用根据本发明的ME方法的帧频转换设备的方框图。

具体实施方式

根据本发明的一方面，提供一种ME方法，包括：一帧一帧地存储输入图像；通过存储的帧之间的相关来估计全局MV；和根据应用估计的全局MV的权值计算帧之间的块匹配值，并将最小块匹配值确定为MV。

根据本发明的另一方面，提供一种转换帧频的方法，包括：一帧一帧地存储输入图像；通过存储的帧之间的相关来估计全局MV；根据应用估计的全局MV的权值计算帧之间的块匹配值，并将最小块匹配值确定为MV；通过对确定的MV滤波来去除异常值；和使用滤波的MV和相邻帧之间的匹配块的像素值来产生将被插值到帧之间的像素值。

根据本发明的另一方面，提供一种帧频转换设备，包括：帧缓冲单元，一帧一帧地存储输入图像；全局MV单元，通过存储在帧缓冲装置中的帧之间的相关来估计全局MV；块ME单元，根据应用在全局ME中估计的全局MV的权值计算帧之间的块匹配值，并将最小块匹配值确定为MV；和运动补偿插值单元，使用在块ME装置中估计的MV和帧之间的匹配块的像素值来产生将插值到帧之间的像素值。

现在将参考附图详细描述根据本发明的示例性实施例。

图2是显示根据本发明的自适应加权ME方法的流程图。

首先，一帧一帧地存储输入图像(操作210)。

接下来，通过使用第(n-1)帧F_n-1和第n帧F_n之间的相关性来估计全局MV(g_x，g_y)(操作220)。根据方程1表示全局MV(g_x，g_y)。

[方程1]

g_{x} = \arg \min_{x &Element; S_{h}} {Σ_{h = 0}^{N_{h}} H_{n - 1} (h) H_{n} (h + x)}

g_{y} = \arg \min_{y &Element; S_{v}} {Σ_{v = 0}^{N_{v}} V_{n - 1} (v) V_{n} (v + y)}

其中，H_n-1和H_n表示第(n-1)帧F_n-1和第n帧F_n中的第h列内的所有像素的平均值。V_n-1和V_n表示第(n-1)帧F_n-1和第n帧F_n中的第v行内的所有像素的平均值。N_h和N_v表示水平和垂直相关系数。S_h和S_v表示水平和垂直全局运动的搜索范围。

接下来，计算自适应加权平均绝对差(MAD)值(操作230)。根据方程2表示自适应加权MAD(AWMAD)。

[方程2]

AWMAD(x，y)＝MAD_(k，1)(x，y)(1+KD)

其中，K表示弹性系数，使用经验值获得，D表示应用全局MV(g_x，g_y)的权值。

从方程3计算MAD。

[方程3]

{MAD}_{(k, l)} (x, y) = Σ_{i = 1}^{N_{1}} Σ_{j = 1}^{N_{2}} \frac{| f_{n - 1} (k + i + x, l + j + y) - f_{n} (k + i, l + j) |}{N_{1} \times N_{2}}

其中，n表示指示时域中的输入帧序列的变量，(i，j)表示指示像素的空间坐标的变量，(x，y)表示指示两个匹配块之间的距离差的变量，(k，l)表示指示构成N₁×N₂像素的两个块的空间坐标的变量，其中N₁和N₂分别表示两个匹配块的水平和垂直大小。

另外，根据方程4表示权值D。

[方程4]

D = ({[\frac{x - g_{x}}{Q_{x}}]}^{2} + {[\frac{y - g_{y}}{Q_{y}}]}^{2})

其中，[x/Q]表示不大于x/Q的最大的整数，Q_x和Q_y表示量化常数。为了避免出现这样的误差，即在具有平缓MAD特性的图像中，尽管实际MV不是全局MV(g_x，g_y)，但是实际MV通过权值收敛成全局MV(g_x，g_y)，使用Q_x和Q_y单元来量化全局MV和与当前估计的位置对应的MV之间的差。

返回到方程3，MAD越接近全局MV(g_x，g_y)，权值D越低。因此，在具有相同或相似MAD值的两个不同的候选MV的情况下，与全局运动最接近的候选MV具有相对的优势。

接下来，具有最小自适应加权MAD值的位置的(x，y)值被确定为MV(操作240)。从方程5获得最后的MV。

[方程5]

{(x_{m}, y_{m})}_{(k, l)} = \arg \min_{(x, y) &Element; S} {{AWMAD}_{(k, l)} (x, y)}

其中，S表示ME的搜索范围，(x_m，y_m)表示具有最小MAD值的块的MV。

第一帧缓冲器310一帧一帧地存储输入图像序列。帧延迟单元320逐帧地延迟输入的图像序列。第二帧缓冲器330一帧一帧地存储在帧延迟单元320中延迟一帧的图像信号。

全局ME单元340在从第一帧缓冲器310输出的第n帧F_n和从第二帧缓冲器330输出的第n-1帧F_n-1的基础上估计全局MV(g_x，g_y)。

基于块的ME单元350确定应用在全局ME单元340中估计的全局MV(g_x，g_y)的权值，根据该权值计算第n帧F_n和第n-1帧F_n-1之间的MAD值，并将该MAD值中的最小MAD值标识为MV。此时，可使用绝对差和(SAD)或平均绝对误差(MAE)来代替MAD。

中值滤波单元360从基于块的ME单元350中估计的MV去除异常值(outlier)，并平稳地调整该MV。

运动补偿插值单元370通过将在中值滤波单元360中滤波的MV分别应用于存储在第一帧缓冲器310中的第n帧和存储在第二帧缓冲器330中的第n-1帧的N₁×N₂个像素来产生将被插值到帧之间的像素值。例如，假设属于帧F_n、帧F_n-1和帧F_i的块B内的像素值分别是f_n、f_n-1和f_i，属于帧F_n的坐标值是x，根据以下的方程6表示将使用运动补偿进行插值的图像信号。

[方程6]

f_i(x+MV(x)/2)＝{f_n(x)+f_n-1(x+MV(x))}/2

尽管已参考本发明的示例性实施例对本发明进行了描述，但是本领域的技术人员应该理解，在不脱离由权利要求所限定的本发明的范围的情况下，可对其进行形式和细节的各种改变。

产业上的可利用性

可在计算机可读记录介质上使用计算机可读代码实现本发明。计算机可读记录介质的示例包括在其中存储有将被计算机系统读取的数据的所有类型的记录装置，诸如ROM、RAM、CD-ROM、磁盘、硬盘、软盘、闪存和光学存储装置。以载波形式实现的介质(如，经由互联网传输)是计算机可读记录介质的另一示例。此外，计算机可读记录介质可分布在通过网络连接的计算机系统中，并且可以以分布式方式使用计算机可读代码被记录和被实施。

Claims

1、一种运动估计方法，包括：

一帧一帧地存储输入图像；

通过存储的帧之间的相关来估计全局运动矢量；和

根据应用估计的全局运动矢量的权值计算帧之间的块匹配值，并将最小块匹配值确定为运动矢量。

2、如权利要求1所述的运动估计方法，其中，所述块匹配值越接近全局运动矢量，权值越低。

3、如权利要求1所述的运动估计方法，其中，在具有相同的块匹配值的两个不同的候选运动矢量的情况下，最接近全局运动的候选运动矢量具有相对的优势。

4、如权利要求1所述的运动估计方法，其中，如下表示所述权值D：

D = ({[\frac{x - g_{x}}{Q_{x}}]}^{2} + {[\frac{y - g_{y}}{Q_{y}}]}^{2})

其中，[x/Q]表示不大于x/Q的最大的整数，g_x和g_y表示全局运动矢量值，Q_x和Q_y表示量化常数。

5、如权利要求1所述的运动估计方法，其中，所述块匹配值是MAD(平均绝对差)。

6、一种转换帧频的方法，包括：

一帧一帧地存储输入图像；

通过存储的帧之间的相关来估计全局运动矢量；

根据应用估计的全局运动矢量的权值计算帧之间的块匹配值，并将最小块匹配值确定为运动矢量；

通过对确定的运动矢量滤波来去除异常值；和

使用滤波的运动矢量和相邻的帧之间的匹配块的像素值来产生将被插值到帧之间的像素值。

7、一种帧频转换设备，包括：

帧缓冲单元，一帧一帧地存储输入图像；

全局运动估计单元，根据存储在帧缓冲单元中的帧之间的相关来估计全局运动矢量；

块运动估计单元，根据应用在全局运动估计单元中估计的全局运动矢量的权值计算帧之间的块匹配值，并将最小块匹配值确定为运动矢量；和

运动补偿插值单元，使用在块运动估计单元中估计的运动矢量和帧之间的匹配块的像素值来产生将被插值到帧之间的像素值。

8、如权利要求7所述的帧频转换设备，还包括：滤波单元，对在块运动估计单元中估计的运动矢量的异常值进行滤波。

9、如权利要求8所述的帧频转换设备，其中，所述滤波单元是中值滤波器。