CN1414787A - 使用自适应运动补偿转换帧和/或半帧速率的装置和方法 - Google Patents

Abstract

提供一种用于根据帧的每一块的运动信息使用不同运动补偿方法转换该帧速率的装置和方法。在该方法中，使用前一个和下一个帧和/或半帧的运动矢量来估计要插入的帧和/或半帧的运动矢量和该运动矢量的精度。通过分析所估计的运动矢量确定运动信息，并且同时计算当前块的运动矢量和相邻块的运动矢量间的相关性。通过使用所估计的运动矢量在要插入的帧和/或半帧中执行运动来补偿产生要插入的像素。使用相邻于要插入到该要插入的帧和/或半帧中的像素的多个像素、和相邻于要插入到该要插入的像素其前一个和下一个帧和/或半帧中的像素的多个像素来产生要插入的像素。根据所估计的运动矢量的精度、运动信息、及相关性将所产生的像素作为插入值输出。

Description

使用自适应运动补偿转换帧和/或半帧速率的装置和方法

技术领域

本发明涉及一种用于转换图像信号格式的装置和方法，尤其涉及一种用于根据帧/半帧(tield)的每一块(block)的运动信息使用不同的运动补偿方法转换帧和/或半帧速率的装置和方法。

背景技术

通常，为了交换符合各种TV标准的TV节目，需要对这些节目进行格式转换。在TV格式转换的早期阶段，使用重复帧和简单时空滤波器执行格式转换，它导致了视觉上今人讨厌的运动抖动和图像边缘的模糊。尤其是，当屏幕分辩率如在HDTV中那样很高时，这些现象非常突出。近来，为消除这些现象，发展了使用运动补偿的帧转换方法。

图1为说明使用现有技术运动补偿方法转换帧速率的方法的原理示意图。

参考图1，使用如下公式1的3-分支中值滤波(3-tap median filtering)定义了要插入的帧 $F_i(\stackrel{\→}{x},n-\frac{1}{2}):$ $F_i(\stackrel{\→}{x},n-\frac{1}{2})=\mathrm{MEDIAN}(\mathrm{mcl},\mathrm{av},\mathrm{mcr})......\left(1\right)$

这里，考虑运动轨迹从两个相邻帧(n-1，n)获得的数据为“mcl”和“mcr”，通过线性插入两帧获得的数据为“av”，并且这些数据可以如下表示： $\mathrm{mcl}=F(\stackrel{\→}{x}-\mathrm{\α}\stackrel{\→}{D}(\stackrel{\→}{x},n),n-1)$ $\mathrm{mcr}=F(\stackrel{\→}{x}-(1-\mathrm{\α})\stackrel{\→}{D}(\stackrel{\→}{x},n),n)$ $\mathrm{av}=\frac{1}{2}(F(\stackrel{\→}{x},n)+F(\stackrel{\→}{x},n-1))......\left(2\right)$

这里，α由从将要定位的两帧中插入的帧的时间确定，并且 为运动矢量。

如果在公式2中精确估计出运动矢量，则运动补偿数据具有值“mcl”和“mcr”，并且将这些值确定为要插入的像素。此时，如果运动矢量不精确，运动补偿数据会具有不同的值，从而很有可能确定的“av”数据未按照要插入的像素考虑运动。但是，由于现有技术补偿型插入方法是以帧/半帧块为单位执行的，如果估计的运动矢量不精确，则会发生块伪像。

发明内容

为解决上述和相关问题，本发明的第一个目的是提供一种用于转换图像信号的帧和/或半帧速率的方法，它可以通过根据以块分类的运动信息应用不同的补偿方法，和通过使用当前块的运动矢量和相邻块的运动矢量间的相关性、执行运动补偿的插入值和线性插入值间的软切换(soft-switching)而减少帧/半帧块伪像。

本发明的第二个目的是提供一种执行上述方法的用于转换图像信号的帧和/或半帧速率的装置。

为实现本发明的第一个目的，提供一种用于转换输入图像信号的帧和/或半帧速率的方法。使用前一个和下一个帧和/或半帧的运动矢量估计要插入的帧和/或半帧的运动矢量和该运动矢量的精度。通过分析估计的运动矢量确定运动信息，并且同时计算当前块的运动矢量和相邻块的运动矢量间的相关性。通过使用所估计的运动矢量在要插入的帧和/或半帧中执行运动补偿产生要插入的像素。通过使用相邻于要插入到当前要插入的帧和/或半帧中的像素的多个像素和相邻于要插入到其前一个和下一个帧和/或半帧中的像素的多个像素产生要插入的像素。根据所估计的运动矢量的精度、确定的运动信息、及计算的相关性将所产生的像素作为插入值输出。

为实现本发明的第二个目的，提供一种用于转换图像信号的帧和/或半帧速率的装置。该装置包括：运动估计部件、运动分析部件、运动补偿插入部件、时空插入部件、以及自适应运动补偿部件。所述运动估计部件使用前一个和下一个帧和/或半帧的运动矢量估计要插入的帧和/或半帧的运动矢量。所述运动分析部件通过分析在所述运动估计部件中估计的运动矢量确定运动信息，并且计算当前块的运动矢量和相邻块的运动矢量间的相关性。所述运动补偿插入部件通过使用在所述运动估计部件中估计的运动矢量在要插入的帧和/或半帧中执行运动补偿而产生要插入的像素。所述时空插入部件产生要插入的像素作为相邻于要插入到相邻于要插入的帧和/或半帧的帧和/或半帧中的像素的像素。所述自适应运动补偿部件根据在所述运动分析部件中估计的运动信息和相关性将在所述运动补偿插入部件和所述时空插入部件中产生的像素作为要插入的像素值输出。

附图说明

通过参考附图对本发明的优选实施例的详细说明本发明的上述目的和优点将变得更加清楚。

图1是说明使用现有技术运动补偿方法转换图像信号的帧速率的方法的原理示意图；

图2是说明使用本发明的自适应运动补偿转换图像信号的帧速率的装置的方框图；

图3是说明使用在图2的运动估计单元中估计的运动矢量补偿运动的过程的原理示意图；

图4是图3的运动分析单元的详细示意图；

图5是图4的全局运动估计单元的详细示意图；

图6是自适应运动补偿单元的详细示意图；以及

图7是使用由图6的局部运动补偿单元所使用的当前帧/半帧块和相邻帧/半帧块的运动矢量进行运动补偿的原理示意图。

具体实施方式

根据图2的本发明使用自适应运动补偿转换帧速率的装置具有运动估计单元210、运动分析单元230、运动补偿插入单元220、线性插入单元240、以及自适应运动补偿单元250。

首先，运动估计单元210使用前一个和下一个帧/半帧间的运动矢量估计要插入的帧/半帧的运动矢量和该运动矢量的精度。即，在连续输入的两个帧/半帧间执行基于块的运动估计。将当前帧/半帧划分为每个都具有预定尺寸的多个块。对于每个块，从前一个帧/半帧中的预定搜索区计算差值，并且将具有最小差值的块的位置估计为当前块的运动矢量。将要插入的帧/半帧放置在连续输入的两个帧/半帧的中间。如果从帧/半帧估计的要插入的运动矢量为 则如图3所示执行运动补偿。使用通过累加该块的所有像素的差值获得的值计算运动矢量的精度。

运动分析单元230通过分析在运动估计单元210在估计的运动矢量确定运动的类型，并且同时计算当前块的运动矢量和相邻块的运动矢量间的相关值。此时，该相关值用作软切换值k。软切换根据运动矢量的可靠性通过使用运动补偿的平均值和时间平均值调整权重值。

使用在运动估计单元210中估计的运动矢量，运动补偿插入单元220通过在所插入的帧中执行运动补偿产生要插入的像素。作为优选实施例，运动补偿插入单元220通过使用包含要插入的帧和/或半帧的像素的块的运动矢量补偿相邻帧和/或半帧的像素的运动，或通过使用相邻于包含要插入的帧和/或半帧的像素的块的块的运动矢量，补偿相邻帧和/或半帧的像素的运动。

线性插入单元240使用相邻于要插入到该要插入的半帧中的像素的多个像素和相邻于要插入到该要插入的其前一个和下一个半帧中的像素的多个像素，产生要插入的像素。此时，根据相邻帧/半帧中的相应像素插入该要插入的帧/半帧的像素。

自适应运动补偿单元250根据在运动估计单元210中估计的运动矢量的精度和在运动分析单元230中估计的运动信包和相关值，将由运动补偿插入单元220和线性插入单元240产生的像素作为插入值输出。

图4是运动分析单元230的详细示意图。

参考图4，运动分析单元230具有全局运动估计单元420、运动类型确定单元430、及可靠性计算单元410，其参考与相邻运动矢量的相关性计算当前块的运动矢量的可靠性。

全局运动估计单元420通过使用输入的运动矢量估计全局运动，现在将参考图5详细进行说明。

首先，在步骤510输入运动矢量并且获得每一块的运动矢量的直方图(histogram)。接着，在步骤520确定直方图中的主(dominent)运动，并且在步骤530确定为全局运动矢量。

这里，假定直方图在水平方向和垂直方向分别为h_x和h_y，将全局运动定义为如公式3和4所示：

其中I_x和I_y定义如下：

I_x＝{k|k∈[-sr，sr]，k≠0，h_x(k)＞ε_p(k)}

I_y＝{k|k∈[-sr，sr]，k≠0，h_y(k)＞ε_p(k)}

其中[-sr，sr]表示搜索范围，而ε_p(k)为阈值。这里， $V^g={(V_x^g,V_y^g)}^T$ 如下。 $V_x^g=\arg \max h_x\left(k\right),k\∈[-\mathrm{sr},\mathrm{sr}]$ $V_y^g=\arg \max h_y\left(k\right),k\∈[-\mathrm{sr},\mathrm{sr}]$

运动类型确定单元430通过使用由全局运动估计单元420估计的全局运动矢量计算相关值而确定运动类型，如下列公式4所示：

其中为ε_g阈值。

可靠性计算单元410计算当前块的运动矢量和相邻块的运动矢量间的相关值。该相关性用作用于运动补偿像素和不考虑其运动的像素间的软切换值。即，软切换值由公式5中所表示的进行定义：

图6是自适应运动补偿单元250的详细示意图。

首先，如果运动类型信息提示为全局运动，则选择单元620输出在运动补偿插入单元220中产生的像素值，如公式6所示： $f_i\left(x\right)=\frac{1}{2}[f_{n-1}(x+V)+f_n(x-V)]......\left(6\right)$

这里，V表示当前块的运动矢量，并且f_i、f_n-1和f_n表分别示要插入的帧、前一个帧、及当前帧，其中前一个帧和当前帧为连续地输入。

如果运动类型信息为零运动，则选择单元620输出在线性插入单元240中产生的像素值，如公式7所示： $f_i\left(x\right)=\frac{1}{2}[f_{n-1}\left(x\right)+f_n\left(x\right)]......\left(7\right)$

如果运动类型信息为局部运动，则选择单元620输出在局部运动补偿单元610中产生的像素值。局部运动补偿单元610根据相关值(k)调整运动补偿像素(P_mc(x))和线性插入像素(P_avg(x))的比率。更具体地说，局部运动补偿单元610接收运动补偿像素和线性插入像素，通过下面公式8至10获得运动补偿像素值(P_mc(x))和线性插入像素值(P_avg(x))，然后使用这些像素值确定最终插入值(f_i(x))，如公式11所示。

f_i(x)＝f_n-1(x+V_i)，

r_i(x)＝f_n(x-V_i)，i＝0，1，…，N……(8)

这里，运动矢量V_I指示如图7所示的当前块的运动矢量(V₀)和相邻块的运动矢量(V₁-V₈)。使用相邻块的运动矢量，形成了在前一个帧和当前帧的运动补偿中使用的像素集合，并且在每个像素集合中，如下面公式9所示获得中值：

l_med(x)＝MEDIAN{l_i}，

r_med(x)＝MEDIAN{r_i}，i＝0，1，…，N……(9)

这些中值使在当前块的运动矢量不精确时能够获得运动矢量的平滑效果。具有平滑效果的运动矢量用于运动补偿像素，而该运动补偿像素用于局部运动的软切换。

P_mc(x)＝MEDIAN{l_med，r_med，(f_n-1(x)+f_n(x))/2}，

P_avg(x)＝MEDIAN{f_n-1(x)，f_n(x)(l_med+r_med)/2}……(10)

这里，将在图4的可靠性计算单元410中获得的用于软切换的相关值(k)确定为P_mc和P_avg之间的值。因此，在选择单元620中选中的最终插入像素由公式11表示：

f_i(x)＝k×p_avg+(l-k)×p_mc……(11)

此外，选择单元620还根据在运动估计单元210中估计的精确参数确定要插入的像素值和运动类型。如果确定了运动类型为全局运动，则输出运动补偿的插入值，而如果运动类型为局部运动，则应用通过使用多个运动轨迹减少块伪像的软切换方法。这里，确定根据运动类型估计的矢量精度的阈值，并且可以通过比较所估计的矢量精度和预定的阈值改变运动类型。即，虽然运动类型确定为全局运动，如果所估计的矢量精度大于阈值，则将全局运动改变为局部运动类型。

如上所述，根据本发明，通过根据每个帧/半帧块的运动信息应用不同的运动补偿方法，可以获得较高质量的画面。而且，当估计的运动矢量可能导致块伪像时，使用与相邻块的运动矢量的相关性执行软切换，从而可以减少块伪像。将相邻块的运动矢量中的候选矢量用于定义要在运动补偿中使用的插入像素，从而同时可以获得运动矢量的平滑效果。

Claims (19)

1.一种用于转换输入图像信号的帧和/或半帧速率的方法，该方法包括：

(a)使用前一个和下一个帧和/或半帧的运动矢量，估计要插入的帧和/或半帧的运动矢量和该运动矢量的精度；

(b)通过分析在步骤(a)中估计的运动矢量确定运动信息，并且同时计算当前块的运动矢量和相邻块的运动矢量间的相关性；

(c)通过使用在步骤(a)中估计的运动矢量在要插入的帧和/或半帧中执行运动补偿产生要插入的像素；

(d)通过使用相邻于要插入到该要插入的帧和/或半帧中的像素的多个像素和相邻于要插入到其前一个和下一个帧和/或半帧中的像素的多个像素，产生要插入的像素；以及

(e)根据在步骤(a)中估计的运动矢量的精度、和在步骤(b)中估计的运动信息和相关性，将在步骤(c)和步骤(d)中产生的像素作为插入值输出。

2.如权利要求1所述的方法，其中使用通过累加块中所有像素间的差值获得的值来计算步骤(a)中运动矢量的精度。

3.如权利要求1所述的方法，其中步骤(b)中确定运动信息包括：

(a-1)使用在步骤(a)中所估计的多个帧和/或半帧的运动矢量的分布，估计当前情景的全局运动矢量；

(a-2)通过将包含要插入的帧和/或半帧的像素的块的运动矢量与在步骤(a-1)中产生的全局运动矢量进行比较，确定相关于包含要插入的该帧和/或半帧的像素的该块的运动信息；以及

(a-3)通过使用当前块的运动矢量和相邻块的运动矢量间的差值来计算相关值。

4.如权利要求3所述的方法，其中通过使用直方图表示所述运动矢量的分布。

5.如权利要求3所述的方法，其中将所述全局运动矢量估计为在运动矢量的水平方向的直方图主值，和在运动矢量的垂直方向的直方图的主值。

6.如权利要求3所述的方法，其中通过比较运动矢量的直方图值和阈值估计所述全局运动矢量。

7.如权利要求3所述的方法，其中确定运动信息包括：

(a-1)比较当前块的运动矢量和全局运动矢量，并且如果所述两个值的差值小于预定的阈值，则将该块的运动信息设置为全局运动；

(a-2)如果所述两个值的差值大于预定的阈值，则将该块的运动信息设置为局部运动；以及

(a-3)如果该块的运动矢量为零矢量，则将该块的运动信息设置为零运动。

8.如权利要求3所述的方法，其中将步骤(a-3)中的当前块的运动矢量和相邻块的运动矢量间的差值用做运动补偿中的软切换值。

9.如权利要求1所述的方法，其中在步骤(c)中产生像素时，通过使用包含要插入的帧和/或半帧的像素的块的运动矢量，补偿相邻帧和/或半帧的像素的运动。

10.如权利要求1所述的方法，其中在步骤(c)中产生像素时，通过使用相邻于包含要插入的帧和/或半帧的像素的块的块的运动矢量，补偿相邻帧和/或半帧的像素的运动。

11.如权利要求1所述的方法，其中在步骤(d)中产生像素时，根据对应于要插入的帧和/或半帧中的像素的相邻帧/半帧中的像素，插入该要插入的帧和/或半帧的像素。

12.如权利要求1所述的方法，其中在步骤(c)中产生像素时，使用相邻帧和/或半帧的相邻像素，插入该要插入的帧和/或半帧的像素。

13.如权利要求1所述的方法，其中在步骤(e)中产生像素时，如果包含要插入的帧和/或半帧的像素的块的运动类型为全局运动，并且在步骤(a)中估计的精度高于预定阈值，则将在步骤(c)中获得的像素选择为要插入的像素，并且如果在步骤(a)中估计的精度小于预定阈值，则将在步骤(d)中获得的像素选择为要插入的像素。

14.如权利要求1所述的方法，其中在步骤(e)中产生像素时，如果包含要插入的帧和/或半帧的像素的块的运动类型为局部运动，则通过使用当前块的运动矢量和相邻块的运动矢量间的差值软切换，而根据在步骤(c)中产生的像素和在步骤(d)获得的像素执行插入。

15.如权利要求14所述的方法，其中根据当前块的运动矢量和相邻块的运动矢量间的差值，将不同的权重值赋于在步骤(c)中产生的像素和在步骤(d)中获得的像素，来通过软切换执行插入。

16.如权利要求1所述的方法，其中在步骤(e)中产生像素时，通过基于包含要插入的帧和/或半帧的像素的块的运动矢量和相邻块的运动矢量、使用前一个帧和/或半帧的像素的中值和下一个帧和/或半帧的像素的中值来执行插入。

17.如权利要求1所述的方法，其中在步骤(c)中产生像素时，通过使用前一个帧和/或半帧的像素的平均值和下一个帧和/或半帧的像素的平均值、并且通过使用包含要插入的帧和/或半帧的像素的块的运动矢量和相邻块的运动矢量来产生要插入的像素。

18.一种用于转换图像信号的帧和/或半帧速率的装置，包括：

运动估计部件，用于使用前一个和下一个帧和/或半帧的运动矢量估计要插入的帧和/或半帧的运动矢量；

运动分析部件，用于通过分析在所述运动估计部件中估计的运动矢量确定运动信息，并且计算当前块的运动矢量和相邻块的运动矢量间的相关性；

运动补偿插入部件，用于通过使用在所述运动估计部件中估计的运动矢量在要插入的帧和/或半帧中执行运动补偿来产生要插入的像素；

时空插入部件，用于产生要插入的像素，作为相邻于要插入到相邻于一要插入的帧和/或半帧的帧和/或半帧中的像素的像素；以及

自适应运动补偿部件，用于根据在所述运动分析部件中估计的运动信息和相关性，将在所述运动补偿插入部件和所述时空插入部件中产生的像素作为要插入的像素值输出。

19.如权利要求18所述的装置，其中所述运动分析部件包括：

全局运动估计单元，用于参考估计的运动矢量的分布来估计全局运动矢量；

运动类型确定单元，用于通过比较在所述全局运动估计单元中估计的全局运动矢量和所述估计的运动矢量来确定块的运动信息；以及

可靠性计算单元，用于通过计算当前块的运动矢量和相邻块的运动矢量的差值，来调整运动补偿平均值和时间平均值的权重值。

Images