CN1270526C - 使用自适应运动补偿转换帧/半帧速率的装置和方法 - Google Patents

Abstract

提供一种用于根据帧的每一块的运动类型信息使用不同运动补偿方法转换该帧速率的装置和方法。在该方法中，使用前一个和下一个帧/半帧的运动矢量来估计要插入的帧/半帧的运动矢量和该运动矢量的精度。通过分析所估计的运动矢量确定运动类型信息，并且同时计算当前块的运动矢量和相邻块的运动矢量间的相关性。通过使用所估计的运动矢量在要插入的帧/半帧中执行运动来补偿产生要插入的像素。使用相邻于要插入到该要插入的帧/半帧中的像素的多个像素、和相邻于要插入到该要插入的像素其前一个和下一个帧/半帧中的像素的多个像素来产生要插入的像素。根据所估计的运动矢量的精度、运动类型信息、及相关性将所产生的像素作为插入值输出。

Description

使用自适应运动补偿转换帧/半帧速率的装置和方法

技术领域

本发明涉及一种用于转换图像信号格式的装置和方法，尤其涉及一种用于根据帧/半帧(field)的每一块(block)的运动类型信息使用不同的运动补偿方法转换帧/半帧速率的装置和方法。

背景技术

通常，为了交换符合各种TV标准的TV节目，需要对这些节目进行格式转换。在TV格式转换的早期阶段，使用重复帧和简单时空滤波器执行格式转换，它导致了视觉上令人讨厌的运动抖动和图像边缘的模糊。尤其是，当屏幕分辨率如在HDTV中那样很高时，这些现象非常突出。近来，为消除这些现象，发展了使用运动补偿的帧转换方法。

图1为说明使用现有技术运动补偿方法转换帧速率的方法的原理示意图。

参考图1，使用如下公式1的3-分支中值滤波(3-tap median filtering)定义了要插入的帧

$F_i(\stackrel{\→}{x},n-\frac{1}{2})=\mathrm{MEDIAN}(\mathrm{mcl},\mathrm{av},\mathrm{mcr})---\left(1\right)$

这里，考虑运动轨迹从两个相邻帧(n-1，n)获得的数据为“mcl”和“mcr”，通过线性插入两帧获得的数据为“av”，并且这些数据可以如下表示：

$\mathrm{mcl}=F(\stackrel{\→}{x}-\mathrm{\α}\stackrel{\→}{D}(\stackrel{\→}{x},n),n-1)$

$\mathrm{mcr}=F(\stackrel{\→}{x}-(1-\mathrm{\α})\stackrel{\→}{D}(\stackrel{\→}{x},n),n)$

$\mathrm{av}=\frac{1}{2}(F(\stackrel{\→}{x},n)+F(\stackrel{\→}{x},n-1))---\left(2\right)$

这里，α由从将要定位的两帧中插入的帧的时间确定，并且 为运动矢量。

如果在公式2中精确估计出运动矢量，则运动补偿数据具有值“mcl”和“mcr”，并且将这些值确定为要插入的像素。此时，如果运动矢量不精确，运动补偿数据会具有不同的值，从而很有可能确定的“av”数据未按照要插入的像素考虑运动。但是，由于现有技术补偿型插入方法是以帧/半帧块为单位执行的，如果估计的运动矢量不精确，则会发生块伪像。

发明内容

为解决上述和相关问题，本发明的第一个目的是提供一种用于转换图像信号的帧/半帧速率的方法，它可以通过根据以块分类的运动类型信息应用不同的补偿方法，和通过使用当前块的运动矢量和相邻块的运动矢量间的相关性、执行运动补偿的插入值和线性插入值间的软切换(soft-switching)而减少帧/半帧块伪像。

本发明的第二个目的是提供一种执行上述方法的用于转换图像信号的帧/半帧速率的装置。

为实现本发明的第一个目的，提供一种转换输入图像信号的帧/半帧速率的方法，该方法包括：使用前一个和下一个帧/半帧的运动矢量，估计要插入的帧/半帧的运动矢量和该运动矢量的精度；通过分析在运动矢量估计中所估计的运动矢量确定运动类型信息，并且同时对要插入的帧/半帧计算当前块的运动矢量和相邻块的运动矢量间的相关性；通过使用所估计的运动矢量在要插入的帧/半帧中执行运动补偿来产生要插入的第一像素，其中，通过使用包含要插入的帧/半帧的像素的当前块的运动矢量来补偿相邻帧/半帧的像素的运动，或者使用相邻于包含要插入的帧/半帧的像素的当前块的块的运动矢量来补偿相邻帧/半帧的像素的运动；通过使用相邻于要插入到该要插入的半帧中的像素的多个像素和相邻于要插入到该要插入的其前一个和下一个半帧中的像素的多个像素来产生要插入的第二像素，其中，根据相邻帧/半帧中的相应像素插入该要插入的帧/半帧的像素；以及根据所估计的运动矢量的精度、所确定的运动类型信息和所计算的相关性，选择在产生要插入的所述第一和第二像素的步骤中产生的像素作为插入值输出，其中确定运动类型信息包括：使用多个帧/半帧的所估计的运动矢量的分布，来估计当前情景中的全局运动矢量，每个所估计的运动矢量按照运动矢量估计估计而来；通过将包含要插入的该帧/半帧的像素的当前块的运动矢量与所估计的全局运动矢量的矢量值进行比较，来确定相关于当前块的运动类型信息；以及通过使用当前块的所估计的运动矢量和相邻块的所估计的运动矢量间之间的差值来计算相关值。

为实现本发明的第二个目的，提供一种转换图像信号的帧/半帧速率的装置，包括：运动估计单元，用于使用前一个和下一个帧/半帧的运动矢量估计要插入的帧/半帧的运动矢量以及该运动矢量的精度；运动分析单元，用于通过分析在所述运动估计单元中估计的运动矢量确定运动类型信息，并且计算当前块的运动矢量和相邻块的运动矢量间的相关性；运动补偿插入单元，用于通过使用在所述运动估计单元中所估计的运动矢量在要插入的帧/半帧中执行运动补偿，来产生要插入的第一像素；时空插入单元，用于使用相邻于要插入到该要插入的半帧中的像素的多个像素和相邻于要插入到该要插入的其前一个和下一个半帧中的像素的多个像素，来产生要插入的第二像素，其中，根据相邻帧/半帧中的相应像素插入该要插入的帧/半帧的像素；以及自适应运动补偿单元，用于根据在所述运动分析单元中估计的运动类型信息和相关性，选择在所述运动补偿插入单元和所述时空插入单元中产生的第一和第二像素作为要插入的像素值，其中所述运动分析单元包括：全局运动估计单元，用于使用估计的运动矢量的分布来估计全局运动矢量；运动类型确定单元，用于通过比较在所述全局运动估计单元中估计的全局运动矢量和所述估计的运动矢量来确定当前块的运动类型信息；以及可靠性计算单元，用于通过计算当前块的运动矢量和相邻块的运动矢量的差值，来调整运动补偿像素值的平均值和线性插入像素值的平均值的权重值。

附图说明

通过参考附图对本发明的优选实施例的详细说明本发明的上述目的和优点将变得更加清楚。

图1是说明使用现有技术运动补偿方法转换图像信号的帧速率的方法的原理示意图；

图2是说明使用本发明的自适应运动补偿转换图像信号的帧速率的装置的方框图；

图3是说明使用在图2的运动估计单元中估计的运动矢量补偿运动的过程的原理示意图；

图4是图3的运动分析单元的详细示意图；

图5是图4的全局运动估计单元的详细示意图；

图6是自适应运动补偿单元的详细示意图；以及

图7是使用由图6的局部运动补偿单元所使用的当前帧/半帧块和相邻帧/半帧块的运动矢量进行运动补偿的原理示意图。

具体实施方式

根据图2的本发明使用自适应运动补偿转换帧速率的装置具有运动估计单元210、运动分析单元230、运动补偿插入单元220、线性插入单元240、以及自适应运动补偿单元250。

首先，运动估计单元210使用前一个和下一个帧/半帧间的运动矢量估计要插入的帧/半帧的运动矢量和该运动矢量的精度。即，在连续输入的两个帧/帧间执行基于块的运动估计。将当前帧/帧划分为每个都具有预定尺寸的多个块。对于每个块，从前一个帧/半帧中的预定搜索区计算差值，并且将具有最小差值的块的位置估计为当前块的运动矢量。将要插入的帧/半帧放置在连续输入的两个帧/半帧的中间。如果从帧/半帧估计的要插入的运动矢量为 ，则如图3所示执行运动补偿。使用通过累加该块的所有像素的差值获得的值计算运动矢量的精度。

运动分析单元230通过分析在运动估计单元210估计出的运动矢量确定运动的类型，并且同时计算当前块的运动矢量和相邻块的运动矢量间的相关值。此时，该相关值用作软切换值k。软切换根据运动矢量的可靠性通过使用运动补偿的平均值和时间平均值调整权重值。

使用在运动估计单元210中估计的运动矢量，运动补偿插入单元220通过在所插入的帧中执行运动补偿产生要插入的像素。作为优选实施例，运动补偿插入单元220通过使用包含要插入的帧/半帧的像素的块的运动矢量补偿相邻帧/半帧的像素的运动，或通过使用相邻于包含要插入的帧/半帧的像素的块的块的运动矢量，补偿相邻帧/半帧的像素的运动。

线性插入单元240使用相邻于要插入到该要插入的半帧中的像素的多个像素和相邻于要插入到该要插入的其前一个和下一个半帧中的像素的多个像素，产生要插入的像素。此时，根据相邻帧/半帧中的相应像素插入该要插入的帧/半帧的像素。

自适应运动补偿单元250根据在运动估计单元210中估计的运动矢量的精度和在运动分析单元230中估计的运动类型信息和相关值，将由运动补偿插入单元220和线性插入单元240产生的像素作为插入值输出。

图4是运动分析单元230的详细示意图。

参考图4，运动分析单元230具有全局运动估计单元420、运动类型确定单元430、及可靠性计算单元410，其参考与相邻运动矢量的相关性计算当前块的运动矢量的可靠性。

全局运动估计单元420通过使用输入的运动矢量估计全局运动，现在将参考图5详细进行说明。

首先，在步骤510输入运动矢量并且获得每一块的运动矢量的直方图(histogram)。接着，在步骤520确定直方图中的主(dominent)运动，并且在步骤530确定为全局运动矢量。

这里，假定直方图在水平方向和垂直方向分别为h_x和h_y，将全局运动定义为如公式3和4所示：

          是，如果I_x≠0或I_y≠0，

全局运动＝                       ......(3)

          否，否则

其中I_x和I_y定义如下：

I_x＝{k|k∈[-sr，sr]，k≠0，h_x(k)＞ε_p(k)}

I_y＝{k|k∈[-sr，sr]，k≠0，h_y(k)＞ε_p(k)}

其中[-sr，sr]表示搜索范围，而ε_p(k)为阈值。这里， $V^g={(V_x^g,V_y^g)}^T$ 如下。

$V_x^g=\underset{k\∈[-\mathrm{sr},\mathrm{sr}]}{\arg \max h_x\left(k\right)}$

$V_y^g=\underset{k\∈[-\mathrm{sr},\mathrm{sr}]}{\arg \max h_y\left(k\right)}$

运动类型确定单元430通过使用由全局运动估计单元420估计的全局运动矢量计算相关值而确定运动类型，如下列公式4所示：

          全局，如果‖V-V^g‖＜ε_g，

运动类型＝零，如果V＝0，           ......(4)

          局部，否则

其中为ε_g阈值。

可靠性计算单元410计算当前块的运动矢量和相邻块的运动矢量间的相关值。该相关性用作用于运动补偿像素和不考虑其运动的像素间的软切换值。即，软切换值由公式5中所表示的进行定义：

图6是自适应运动补偿单元250的详细示意图。

首先，如果运动类型信息提示为全局运动，则选择单元620输出在运动补偿插入单元220中产生的像素值，如公式6所示：

$f_i\left(x\right)=\frac{1}{2}[f_{n-1}(x+V)+f_n(x-V)]---\left(6\right)$

这里，V表示当前块的运动矢量，并且f_i、f_n-1和f_n表分别示要插入的帧、前一个帧、及当前帧，其中前一个帧和当前帧为连续地输入。

如果运动类型信息为零运动，则选择单元620输出在线性插入单元240中产生的像素值，如公式7所示：

$f_i\left(x\right)=\frac{1}{2}[f_{n-1}\left(x\right)+f_n\left(x\right)]---\left(7\right)$

如果运动类型信息为局部运动，则选择单元620输出在局部运动补偿单元610中产生的像素值。局部运动补偿单元610根据相关值(k)调整运动补偿像素(P_mc(x))和线性插入像素(P_avg(x))的比率。更具体地说，局部运动补偿单元610接收运动补偿像素和线性插入像素，通过下面公式8至10获得运动补偿像素值(P_mc(x))和线性插入像素值(P_avg(x))，然后使用这些像素值确定最终插入值(f_i(x))，如公式11所示。

l_i(x)＝f_n-1(x+V_i)，

r_i(x)＝f_n(x-V_i)，i＝0，...，N   ......(8)

这里，运动矢量V_I指示如图7所示的当前块的运动矢量(V₀)和相邻块的运动矢量(V₁-V₈)。使用相邻块的运动矢量，形成了在前一个帧和当前帧的运动补偿中使用的像素集合，并且在每个像素集合中，如下面公式9所示获得中值：

l_med(x)＝MEDIAN{l_i}，

r_med(x)＝MEDIAN{r_i}，i＝0，1，...，N  ......(9)

这些中值使在当前块的运动矢量不精确时能够获得运动矢量的平滑效果。具有平滑效果的运动矢量用于运动补偿像素，而该运动补偿像素用于局部运动的软切换。

P_mc(x)＝MEDIAN{l_med，r_med，(f_n-1(x)+f_n(x))/2}，

P_avg(x)＝MEDIAN{f_n-1(x)，f_n(x)，(1_med+r_med)/2} ......(10)

这里，将在图4的可靠性计算单元410中获得的用于软切换的相关值(k)确定为P_mc和P_avg之间的值。因此，在选择单元620中选中的最终插入像素由公式11表示：

f_i(x)＝k×p_avg+(1-k)×p_mc  ......(11)

此外，选择单元620还根据在运动估计单元210中估计的精确参数确定要插入的像素值和运动类型。如果确定了运动类型为全局运动，则输出运动补偿的插入值，而如果运动类型为局部运动，则应用通过使用多个运动轨迹减少块伪像的软切换方法。这里，确定根据运动类型估计的矢量精度的阈值，并且可以通过比较所估计的矢量精度和预定的阈值改变运动类型。即，虽然运动类型确定为全局运动，如果所估计的矢量精度大于阈值，则将全局运动改变为局部运动类型。

如上所述，根据本发明，通过根据每个帧/半帧块的运动类型信息应用不同的运动补偿方法，可以获得较高质量的画面。而且，当估计的运动矢量可能导致块伪像时，使用与相邻块的运动矢量的相关性执行软切换，从而可以减少块伪像。将相邻块的运动矢量中的候选矢量用于定义要在运动补偿中使用的插入像素，从而同时可以获得运动矢量的平滑效果。

Claims (14)

1.一种转换输入图像信号的帧/半帧速率的方法，该方法包括：

使用前一个和下一个帧/半帧的运动矢量，估计要插入的帧/半帧的运动矢量和该运动矢量的精度；

通过分析在运动矢量估计中所估计的运动矢量确定运动类型信息，并且同时对要插入的帧/半帧计算当前块的运动矢量和相邻块的运动矢量间的相关性；

通过使用所估计的运动矢量在要插入的帧/半帧中执行运动补偿来产生要插入的第一像素，其中，通过使用包含要插入的帧/半帧的像素的当前块的运动矢量来补偿相邻帧/半帧的像素的运动，或者使用相邻于包含要插入的帧/半帧的像素的当前块的块的运动矢量来补偿相邻帧/半帧的像素的运动；

通过使用相邻于要插入到该要插入的半帧中的像素的多个像素和相邻于要插入到该要插入的其前一个和下一个半帧中的像素的多个像素来产生要插入的第二像素，其中，根据相邻帧/半帧中的相应像素插入该要插入的帧/半帧的像素；以及

根据所估计的运动矢量的精度、所确定的运动类型信息和所计算的相关性，选择在产生要插入的所述第一和第二像素的步骤中产生的像素作为插入值输出，

其中确定运动类型信息包括：

使用多个帧/半帧的所估计的运动矢量的分布，来估计当前情景中的全局运动矢量，每个所估计的运动矢量按照运动矢量估计估计而来；

通过将包含要插入的该帧/半帧的像素的当前块的运动矢量与所估计的全局运动矢量的矢量值进行比较，来确定相关于当前块的运动类型信息；以及

通过使用当前块的所估计的运动矢量和相邻块的所估计的运动矢量间之间的差值来计算相关值。

2.如权利要求1所述的方法，其中运动矢量估计使用通过累加当前块中所有像素的差值获得的值来计算运动矢量的精度。

3.如权利要求1所述的方法，其中通过使用直方图表示所述运动矢量的分布。

4.如权利要求1所述的方法，其中所述全局运动矢量被确定为直方图的主运动。

5.如权利要求1所述的方法，其中通过比较运动矢量的直方图值和阈值估计所述全局运动矢量。

6.如权利要求1所述的方法，其中确定运动类型信息包括：

获得并比较当前块的运动矢量和所估计的全局运动矢量之间的差；

如果所述差值小于预定阈值，则将当前块的运动类型信息设置为全局运动；

如果所述差值大于预定阈值，则将当前块的运动类型信息设置为局部运动；以及

如果所述差值为零矢量，则将当前块的运动类型信息设置为零运动。

7.如权利要求1所述的方法，其中相关值的计算包括使用当前块的运动矢量和相邻块的运动矢量间的差值作为运动补偿中的软切换值。

8.如权利要求6所述的方法，其中选择像素包括：

如果包含要插入的帧/半帧的像素的当前块的运动类型为零运动，则使用相邻帧/半帧的相邻像素插入要插入的帧/半帧的像素。

9.如权利要求6所述的方法，其中选择像素包括：

如果包含要插入的帧/半帧的像素的当前块的运动类型为全局运动，并且在运动矢量估计中所估计的精度高于预定阈值，则在产生要插入的第一像素时获得的第一像素被选择为要插入的像素，并且

如果在运动矢量估计中所估计的精度低于该预定阈值，则在产生要插入的第二像素时获得的第二像素被选择为要插入的像素。

10.如权利要求6所述的方法，其中选择像素包括如果包含要插入的帧/半帧的像素的当前块的运动类型为局部运动，则通过使用当前块的运动矢量和相邻块的运动矢量间的差值进行软切换，使用在产生要插入的第一像素时产生的第一像素和在产生要插入的第二像素时产生的第二像素执行插入。

11.如权利要求10所述的方法，其中通过软切换插入包括根据所述差值，将不同的权重值赋于在产生要插入的第一像素时产生的第一像素和在产生要插入的第二像素时产生的第二像素。

12.如权利要求10所述的方法，其中选择像素包括基于包含要插入的帧/半帧的像素的当前块的运动矢量和相邻块的运动矢量，使用前一个帧/半帧的像素的中值和下一个帧/半帧的像素的中值来执行插入。

13.如权利要求12所述的方法，其中产生要插入的第一像素包括通过使用前一个帧/半帧的像素的第一平均值和下一个帧/半帧的像素的第二平均值，使用包含要插入的帧/半帧的像素的当前块的运动矢量和相邻块的运动矢量，来产生第一像素。

14.一种转换图像信号的帧/半帧速率的装置，包括：

运动估计单元，用于使用前一个和下一个帧/半帧的运动矢量估计要插入的帧/半帧的运动矢量以及该运动矢量的精度；

运动分析单元，用于通过分析在所述运动估计单元中估计的运动矢量确定运动类型信息，并且计算当前块的运动矢量和相邻块的运动矢量间的相关性；

运动补偿插入单元，用于通过使用在所述运动估计单元中所估计的运动矢量在要插入的帧/半帧中执行运动补偿，来产生要插入的第一像素；

时空插入单元，用于使用相邻于要插入到该要插入的半帧中的像素的多个像素和相邻于要插入到该要插入的其前一个和下一个半帧中的像素的多个像素，来产生要插入的第二像素，其中，根据相邻帧/半帧中的相应像素插入该要插入的帧/半帧的像素；以及精度？

自适应运动补偿单元，用于根据在所述运动分析单元中估计的运动类型信息和相关性，选择在所述运动补偿插入单元和所述时空插入单元中产生的第一和第二像素作为要插入的像素值，

其中所述运动分析单元包括：

全局运动估计单元，用于使用估计的运动矢量的分布来估计全局运动矢量；

运动类型确定单元，用于通过比较在所述全局运动估计单元中估计的全局运动矢量和所述估计的运动矢量来确定当前块的运动类型信息；以及

可靠性计算单元，用于通过计算当前块的运动矢量和相邻块的运动矢量的差值，来调整运动补偿像素值的平均值和线性插入像素值的平均值的权重值。

Images