CN1645907A - 考虑水平和垂直图形的全局运动补偿的顺序扫描方法 - Google Patents

Abstract

一种通过正确地检测由运动估计和补偿引起的误差，使用运动信息和运动补偿的顺序扫描处理，其中所述运动信息补偿不充分的运动估计，否则的话，所述运动补偿可能会导致图像的恶化。比较运动估计(MC)和空间内插(SI)的每一个的水平和垂直(滤波)的图形(pattern)。如果在运动估计和空间内插的过程中存在误差，则使用运动补偿和空间内插的混合(加权)组合或仅使用空间内插，而不是运动补偿来执行所述处理。

Description

考虑水平和垂直图形的全局运动补偿的顺序扫描方法

相关申请的交叉引用

本申请要求于2004年1月20日提交的韩国专利申请第2004-04110号的优先权，其全部内容在此包含作为参考。

技术领域

本发明涉及处理视频信号，并尤其涉及一种顺序(或连续)扫描(sequential(or progressive)scanning)方法以及在其中内插当前块的方法。

背景技术

在消费性电子产品如高清晰电视机、多媒体和个人计算机中的最近开发需要在各种图像格式之间变换图像。顺序扫描处理日益重要，该处理从被用于节省存储和通信带宽的交织扫描图像中生成顺序扫描图像。特别是，随着日益增长的对高质量图像和多媒体产品的需求，需要用于顺序扫描的先进技术，该技术能够利用具有高稳定性和高性能的运行算法来产生高质量图像。

典型的顺序扫描算法通常分为仅使用一场(field)的场内内插(intra-fieldinterpolation)、使用两场数据的场间内插(inter-field interpolation)和混合内插。使用一场的场内内插包括简单线性内插方法、使用具有加权值的中值滤波器以及中值滤波器和低通滤波器的混合类型(NMF/MAF；邻近中值滤波器/中值平均滤波器(Nexted Median Filter/Median Averaging Filter))的方法、和边缘相关内插(EDI，Edge-Dependent Interpolation)方法。具体地，EDI算法在保存边缘方面的效果优于增强可视度性能方面。这样的场内内插方法或算法与使用多场的方法相比具有减轻计算负担的优点。然而，由于这些方法使用有限的图像信息来实施，因此不可能完全恢复在原始图像数据中的高频成分。

使用多场的方法分为运动自适应滤波(MAF，Motion Adaptive Filtering)和运动补偿(MC，Motion Compensation)类型。MAF方法首先检测运动以及区分存在运动的区域和不存在运动的区域。接着，MAF方法分别对这两种情形(运动存在和运动不存在)采用空间域滤波(space-domain filter)、时域滤波(time-domain filter)、或时间/空间域滤波(time/space-domain filter)的算法。不同地，MC方法寻找运动，然后在时间维(time dimension)上沿着运动方向对数据滤波。在使用运动信息的顺序扫描处理中，在运动估计中的不稳定处理导致图像质量比不采用运动信息的处理差，并增加了硬件上的负担。

在全局运动补偿(GMC，Global Motion Compensation)中，运动模型基本反映了摄像机运动，如推动(向前、向后)、跟踪(左、右)、升降(上、下)、摇动(左、右)、倾斜(上、下)和(沿观察轴)转动。在块运动补偿(BMC，Block MotionCompensation)中，以像素块(例如，在MPEG中的16×16像素的宏块)来划分帧。根据参考帧中的相同尺寸的块来预测每一块。除了将这些块移动到所预测的块的位置之外，不以任何方式变换这些块。由运动矢量表示这种移动。

通常，当物体在视野中出现或从视野中消失时，或当物体的尺寸变化(例如，放大或缩小)时，难于执行精确的运动估计(ME)。而且，当在块匹配算法(BMA，Block Matching Algorithm)模式中同时出现多个运动时，当产生其它噪声时，或当通过运动估计器的具有子像素精度的运动估计结果彼此不同时，ME可能不足以显示良好的性能。为了完成高性能的顺序扫描处理，需要执行精确的运动估计。但是，当不能容易地得到精确的运动估计时，使用未完成的运动估计的正确部分并且然后通过其它方法补偿运动。

发明内容

本发明针对能够可靠地检测在视频图像序列中由运动估计或运动补偿所引起的误差的高性能顺序扫描方法。

本发明的一个实施例提供一种不受不精确的运动估计和帧中图像信息不充足的影响的基于EDI(边缘相关内插)和GMC(全局运动补偿)的混合顺序扫描算法。为了减轻硬件负担，仅利用先前运动来执行运动估计。在此期间，它利用具有子像素精度的运动信息以便获得正确的高频分量，通过垂直/水平高频分量的图形(pattern)来精确划分由不正确的运动信息导致的任意误差。不正确的运动信息使得GMC的垂直高频增加得超过EDI的垂直高频，而不增加GMC的水平频率。建立与这样的属性相关的门限值，以保持从多个场输入的信息，以及正确地分类由不正确的运动信息导致的误差。

本发明的一个实施例提供一种顺序扫描图像数据的方法，包括步骤：执行空间内插；(利用整体像素分辨率)执行运动补偿；比较运动补偿结果的垂直高频能量和空间内插结果的垂直高频能量；该方法还可以包括条件步骤：即如果所述运动补偿的垂直高频能量高于所述空间内插的垂直高频能量，则选择所述空间内插结果作为当前场的内插值。

在该实施例中，选择步骤可以包括：如果所述运动补偿结果的垂直高频能量高于所述空间内插结果的垂直高频能量，则选择所述空间内插结果作为当前像素的内插值。在该实施例中，比较步骤可以包括：根据所述运动补偿结果和所述空间内插结果的每一个的水平微分值和垂直微分值计算加权差值；其中所述水平微分值和所述垂直微分值的每一个反映所述运动补偿和所述空间内插的结果之间的差。如果所述加权差值高于第一门限值，则选择所述空间内插结果作为当前像素的内插值。

在该实施例中，计算加权差值包括：计算所述运动补偿结果的水平和垂直微分值；计算所述空间内插结果的水平和垂直微分值；获得像素块中的像素的第一数目，其中在所述像素块中，运动补偿结果的水平微分值的绝对值大于预定高频临界值(门限值)，以及空间内插结果的水平微分值的绝对值小于预定高频门限值；获得像素块中的像素的第二数目，其中在所述像素块中，运动补偿结果的垂直微分值的绝对值大于高频门限值，以及空间内插结果的垂直微分值的绝对值小于高频门限值；和由像素的所述第一和第二数目计算加权差值。

在该实施例中，所述加权差值包括加法加权值和乘法加权值。在该实施例中，通过下列公式给出反映加权值的差：加法加权值+(乘法加权值×|运动补偿结果-空间内插结果|)。

在该实施例中，选择步骤包括：选择所述空间内插结果和所述运动补偿结果的加权组合作为当前所内插像素的值。

在该实施例中，通过下列加法得到所述加权组合：(空间内插结果×第二加权值)+(运动补偿结果×(1-第二加权值))。

在该实施例中，所述第二加权值由如下公式给出：(加权差值-第二门限值)/(第一门限值-第二门限值)。

本发明的另一方面是一种顺序扫描图像数据的方法，包括步骤：使用前一场和下一场执行第一运动补偿；使用运动矢量对前一场和下一场进行运动补偿，以对应于当前场；如果在所述运动补偿的前一场和运动补偿的下一场之间的差小于第一门限值，则选择前一场和下一场的平均值作为当前场。可以如下获得所述运动补偿的前一场和运动补偿的下一场之间的差：在所述运动补偿的前一场和下一场的每一个中的多个相应像素之间的绝对差之和(SAD)。该方法还可以包括：当所述运动补偿的前一场和运动补偿的下一场之间的差等于或大于第一门限值时，利用所述前一场、当前场和下一场来执行具有子像素精度的第二运动补偿。

附图说明

下面将参照附图详细说明本发明的优选实施例。所包含的所述附图用于提供对本发明的进一步理解，并被包含到说明书中以及构成说明书的一部分。然而，本发明可以以不同的形式体现并且不应当被曲解为限于在此提供的示例性实施例。附图和所写的描述一起说明了本发明的示例性实施例，并用于解释本发明的原理。在附图中，同样的附图标记在整个说明书中表示相同的组件，其中：

图1是示出根据本发明优选实施例的顺序扫描算法的流程图；

图2说明具有尺寸3的更高和更低矢量的特征；

图3说明随时间推移的前一场、当前场、和下一场的特征；

图4简短地说明在整个单元中的运动估计的过程；

图5说明用于从所估计的运动信息和多个场产生一帧的过程；

图6A到6F示例性地说明当在运动估计和补偿期间存在误差时相对于EDI的VHF能量而增加的GMC的垂直高频(VHF)能量的特征；和

图7A和7B分别说明垂直微分滤波器和水平微分滤波器。

具体实施方式

图1是示出根据本发明优选实施例的顺序扫描算法的流程图。本发明的示例性实施例在图1的步骤10使用整体分辨率(整个像素)执行运动估计。通过块匹配算法(BMA)，对具有相似性的帧x₁(具有前一场，在时刻t-1)和帧x₃(具有下一场，在时刻t+1)之间的运动变化执行整体分辨率运动估计(如图3所示)。下面将参照图2、3、4、5、6(6A-6F)、和7(7A和7B)，更详细地说明图1的步骤(10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30)。

在给定时刻t在坐标(h，v)上的将被内插的像素x的亮度(辉度)被表示成x(h，v，t)。为了从前一场(t-1)和下一场(t+1)的图像数据正确地估计x(h，v，t)，在步骤17中的空间内插采用使用将被内插的像素的更高和更低矢量的边缘相关内插(EDI)形式。

图2说明了具有尺寸3的更高和更低矢量的特征。参照图2，属于水平线h的将被内插的像素x的图像数据x(h，v)被从更高和更低的水平线h-1和h+1内插。用于内插到像素x(h，v)的更高和更低的矢量被分别定义成u(l，d)和v(m，d)。

[方程1]

$u(l,d)=\left[\begin{array}{c}x(h+d+l-1,v-1)\\ x(h+d+l,v-1)\\ x(h+d+l+1,v-1)\end{array}\right]=\left[\begin{array}{c}{T}_1\\ T_2\\ T_3\end{array}\right]$

[方程2]

在方程1和2中，l和m是表示在将被内插的像素x(i，j)的位置上的水平方向上的矢量位置的参数，参数d表示边缘的坡度。T₁、T₂和T₃是在更高矢量中的像素的辉度值，而B₁、B₂和B₃是在更低矢量中的像素的辉度值。

可以估计朝向其中差值之和在更高和更低矢量之间变化的方向的边缘方向。然而，在存在噪声和边缘细的情形中，难于由仅依靠更高和更低矢量之间的差值的顺序扫描算法来实现良好性能。在该实施例中，空间内插执行边缘图形(edge pattern)的轮廓内插(contour interpolation)。

边缘图形沿着如上所述的边缘方向、水平方向和垂直方向存在。虽然该实施例公开了仅仅应用于水平模式(horizontal pattern)的顺序扫描算法，但是它适于将类似的顺序扫描算法应用于垂直模式(vertical pattern)。

为了分类水平模式，根据矢量中的像素的关系来划分图像图形。图像图形被分成在方程3中所总结的三组。

[方程3]

类0(增加)I_T1，T2：|T₁-T₂|＞th并且T₂-T₁＞0

类1(减少)D_T1，T2：|T₁-T₂|＞th并且T₂-T₁＜0

类0(平直)F_T1，T2：|T₁-T₂|＞th

利用这样的方法，区分T₁和T₂、B₁和B₂、以及B₂和B₃的图形模式，将在后面讨论门限值。

根据划分的更高和更低图形模式，确定加权值w1和w2。在该实施例中，由于更高和更低图形矢量的每一个包括三个像素，所以获得两个加权值。如果更高和更低矢量均包括五个像素，则加权值的个数将是4。获得加权值的方法可包括执行如方程4所示的IF-THEN-ELSE(伪代码)程序。

[方程4]

$\mathrm{if}\left(\left(I_{T_1,T_2}\mathrm{and}{I}_{B_1,B_2}\right)\mathrm{or}\left(D_{T_1,T_2}\mathrm{and}{D}_{B_1,B_2}\right)\right)$

w₁＝1

$\mathrm{else\; if}\left(\left(F_{T_1,T_2}\mathrm{and}{I}_{B_1,B_2}\right)\mathrm{or}\left(F_{T_1{,T}_2}\mathrm{and}{D}_{B_1,B_2}\right)\right)$

w₁＝2

$\mathrm{else\; if}\left(\left(I_{T_1,T_2}\mathrm{and}{I}_{B_1,B_2}\right)\mathrm{or}\left(D_{T_1,T_2}\mathrm{and}{D}_{B_1,B_2}\right)\right)$

w₁＝2

$\mathrm{else\; if}\left(\left(I_{T_1,T_2}\mathrm{and}{D}_{B_1,B_2}\right)\mathrm{or}\left(D_{T_1,T_2}\mathrm{and}{I}_{B_1,B_2}\right)\right)$

w₁＝3

else w₁＝2

这里，如果更高矢量的模式增加(I_T1，T2)；则更低矢量的模式增加(I_B1，B2)或更高矢量的模式减小(D_T1，T2)；以及更低矢量的模式增加(I_B1，B2)，则加权值变小(w₁＝1)。否则，如果更高矢量的模式增加(I_T1，T2)；更低矢量的模式减少(D_B1，B2)或更高矢量的模式减小(D_T1，T2)；以及更低矢量的模式增加(I_T1，T2)，则加权值变大(w₁＝3)。这里，应当注意，当更高和更低矢量的模式都是常量或平直的(F_T1，T2，F_B1，B2)，则加权值设置在中间值(w₁＝2)。当边缘细时，由于矢量的像素具有类似于背景的亮度，因此通过将加权值归入‘平直(或常量)F’，加权值被设置得大于原始边缘方向的一部分。

类似于方程4的方法，可从参数T₂、T₂、B₂和B₃得到加权值w₂。而且，从所得到的加权值w₁和w₂选择边缘方向。

[方程5]

diff(d，l，m)＝|u(d，l)-v(d，m)|×w(d，l，m)

其中，d、m和l由下列方程6给出：

[方程6]

-1≤l≤1

-1≤m≤1

-R≤d≤R

这里，l和m的范围是从-1到1，而边缘方向上的坡度d的范围是从-R到R。根据R的维数，确定在边缘方向上的坡度的角裕量(angular margin)。参照所获得的 和 来内插第j行上的像素x(i，j)。

[方程7]

$x(i,j)=\frac{x(h-1,v+a)+x(h-1,v+b)+x(h+1,v+c)+x(h+1,v+e)}{4}$

这里，参数a、b、c和e由下面方程8给出：

[方程8]

$(a,b,d,d)=\left\{\begin{array}{c}(\hat{d},\hat{d},-\hat{d},-\hat{d})\mathrm{if}(\hat{l},\hat{m})=(-1,-1),(\mathrm{0,0},),\left(\mathrm{1,1}\right)\\ (\hat{d}-1,\hat{d},-\hat{d},1-\hat{d})\mathrm{if}(\hat{l},\hat{m})=(-1,-1),\left(\mathrm{0,1}\right)\\ (\hat{d}-1,\hat{d}-\mathrm{1,1}-\hat{d},1-\hat{d})\mathrm{if}(\hat{l},\hat{m})=(-\mathrm{1,1})\\ (\hat{d},\hat{d}+1,-1-\hat{d},-\hat{d})\mathrm{if}(\hat{l},\hat{m})=(0,-1),\left(\mathrm{1,0}\right)\\ (\hat{d}+1,\hat{d}+1,-1-\hat{d},-1-\hat{d})\mathrm{if}(\hat{l},\hat{m})=(1,-1)\end{array}\right.$

这里，

表示边缘方向。为了估计具有子像素精度的边缘方向，进一步操作

和

因此，可以参照 和

估计具有子像素精度的边缘方向。

下面描述根据本发明的运动估计。

图3说明随时间推移的前一场(在时刻t-1)、当前场(在时刻t)、以及下一场(在时刻t+1)的特征。由三个帧x₁、x₂和x₃获得GMC的合成帧。所执行的运动补偿的精度依赖于运动估计的精度。为了精确的运动补偿，本发明的该实施例利用整体(整个像素)和子像素分辨率来执行图1的步骤10和15的运动估计的分操作。

通过块匹配算法(BMA)，对具有相似性(parity)的帧x₁和x₃之间的运动变化执行图1的步骤10中的利用整体分辨率的运动估计。然而，由于将BMA应用于整个图像在硬件上效率非常低，所以在以小块为单位估计运动矢量之后，由中值滤波器获得运动矢量，以便提高运行速度。

图4简略地描述了利用整体分辨率的运动估计的过程。方程9提供x_{1_I}和x_{3_I}，所述x_{1_I}和x_{3_I}是利用整体分辨率运动矢量h_I和v_I的当前帧x₂的运动补偿的相位。

[方程9]

$x_{1\_1}(h,v)=x_1(h-\frac{h_1}{2},v-\frac{v_1}{2})$

$x_{3\_l}(h,v)=x_3(h+\frac{h_1}{2},v+\frac{v_1}{2})$

图1的移动步骤11是用于移动和重叠前一帧x₁和下一帧x₃到当前帧x₂的过程。随后，步骤12计算帧x₁和x₃中的所重叠的前一和下一场之间的差。然后，如果(在帧x₁中的)前一场和(在帧x₃中的)下一场之间的差小于门限值th1，则参照整体分辨率运动估计所得到的值执行内插(步骤14)。如果相反，(在帧x₁中的)前一场和(在帧x₃中的)下一场之间的差大于门限值th1，则执行子像素分辨率运动估计(步骤15)。

步骤15的子像素分辨率运动估计不需要内插，这使得可以使用光学流动方程(OFE)方法，该方法的运行对硬件具有较小的负担。当光强度在具有运动的图像中恒定时，则可以由此提供方程10。

[方程10]

$\frac{d{X}_C(h,v,t)}{\mathrm{dt}}=0$

重写方程10的参数作为方程11。

[方程11]

$\frac{\∂X_C(h,v,t)}{\∂h}{v}_{h(h,v,t)}+\frac{\∂X_C(h,v,t)}{\∂v}{v}_{v(h,v,t)}+\frac{\∂X_C(h,v,t)}{\∂t}=0$

这里， $v_h(h,v,t)=\frac{\mathrm{dh}}{\mathrm{dt}}$ 和 $v_v(h,v,t)=\frac{\mathrm{dv}}{\mathrm{dt}},$ 表示沿方向h和v的运动速率。在像素组和中的OFE的误差函数被定义成方程12。

[方程12]

$E=\underset{h,v\∈B}{\mathrm{\Σ}}{(\frac{\∂X_C(h,v,t)}{\∂h}{v}_h(h,v,t)+\frac{\∂X_C(h,v,t)}{\∂v}{v}_v(h,v,t)+\frac{\∂X_C(h,v,t)}{\∂t})}^2$

通过利用参数v_h(h，v，t)和v_v(h，v，t)的微积分，将误差函数E变换成方程13，以便最小化误差。

[方程13]

$\underset{h,v\∈B}{\mathrm{\Σ}}(\frac{\∂X_C(h,v,t)}{\∂h}{\hat{v}}_h(h,v,t)+\frac{\∂X_C(h,v,t)}{\∂v}{\hat{v}}_v(h,v,t)+\frac{\∂X_C(h,v,t)}{\∂t})\frac{\∂X_C(h,v,t)}{\∂h}=0$

$\underset{h,v\∈B}{\mathrm{\Σ}}(\frac{\∂X_C(h,v,t)}{\∂h}{\hat{v}}_h(h,v,t)+\frac{\∂X_C(h,v,t)}{\∂v}{\hat{v}}_v(h,v,t)+\frac{\∂X_C(h,v,t)}{\∂t})\frac{\∂X_C(h,v,t)}{\∂v}=0$

在方程14中，方程13被写成矩阵形式。

[方程14]

$\left[\begin{array}{c}{\hat{v}}_h(h,v,t)\\ {\hat{v}}_v(h,v,t)\end{array}\right]=$

${\left[\begin{array}{cc}\underset{h,v\∈B}{\mathrm{\Σ}}\frac{\∂X_C(h,v,t)}{\∂h}\frac{\∂X_C(h,v,t)}{\∂v}& \underset{h,v\∈B}{\mathrm{\Σ}}\frac{\∂X_C(h,v,t)}{\∂h}\frac{\∂X_C(h,v,t)}{\∂v}\\ \underset{h,v\∈B}{\mathrm{\Σ}}\frac{\∂X_C(h,v,t)}{\∂h}\frac{\∂X_C(h,v,t)}{\∂v}& \underset{h,v\∈B}{\mathrm{\Σ}}\frac{\∂X_C(h,v,t)}{\∂v}\frac{\∂X_C(h,v,t)}{\∂v}\end{array}\right]}^{-1}\left[\begin{array}{c}-\underset{h,v\∈B}{\mathrm{\Σ}}\frac{\∂X_C(h,v,t)}{\∂h}\frac{\∂X_C(h,v,t)}{\∂t}\\ -\underset{h,v\∈B}{\mathrm{\Σ}}\frac{\∂X_C(h,v,t)}{\∂v}\frac{\∂X_C(h,v,t)}{\∂t}\end{array}\right]$

在方程14中，可以通过与规模为2*2的矩阵的逆矩阵相乘而容易地获得子像素分辨率运动。

在x₂和x_{1_I}之间操作的OFE方法获得第i场的子像素分辨率运动矢量。在此期间，如果为第i场所估计的子像素分辨率运动被定义成Δh_i和Δv_i，则GMC的结果x_{2_GMC}由方程15给出。

[方程15]

x_{2_GMC}(h，v)＝x_{1_I}(h，v)×w₁+x₂(h，v)×w₂+x_{3_I}(h，v)×w₃

每一加权值由方程16定义。

[方程16]

$u_i=\frac{k_i}{\mathrm{\Σ}{k}_i}$ 对于i＝1，2，3

这里，k由方程17给出。

[方程17]

$k_i=\frac{1}{\sqrt{{\left(\mathrm{\Δ}{h}_i\right)}^2+{\left(\mathrm{\Δ}{v}_i\right)}^2}},$ 对于i＝1，2，3

图5说明用于从所估计的运动信息和多个场生成一帧(a sheet of frame)的过程。

现在将说明在混合内插方法中确定运动补偿和空间内插中的加权值的过程。

图6A到6F说明当在运动估计和补偿期间存在误差时，GMC的垂直高频(VHF)能量相对于EDI的VHF能量增加的特征。图6A到6C分别示出在时间点t-1、t和t+1上包括移动物体的场。图6D示出EDI结果，而图6E示出GMC结果。图6F示出在通过GMC完成顺序扫描处理之后的合成图形。

如图6A到6F所示，当在ME和MC操作期间存在误差时，GMC的垂直高频能量增加得大于EDI的VHF能量。该实施例提供了通过以参照这些特征的比率混合EDI和GMC来内插图像数据的方法。

首先，在(图1的)步骤17中执行空间内插(SI)，而在步骤16中执行运动补偿(MC)。然后，在完成对在步骤17中的空间内插结果的水平微分值H_SI(步骤18)和垂直微分值V_SI(步骤20)的计算之后，得到运动补偿结果(步骤16)的水平微分值H_MC(步骤19)和垂直微分值V_MC(步骤21)。

图7A和7B分别说明了垂直微分滤波器和水平微分滤波器。利用图7A和7B所示的微分滤波器、从合成水平和垂直微分值所得到的是空间内插和运动补偿的水平微分值之间的差D_H，和垂直微分值之间的差D_V(图1的步骤22和23)。差值D_H和D_V由方程18给出。

[方程18]

$D\_H=\left[\begin{array}{cc}1& \mathrm{if}|H\_\mathrm{MC}|>{\mathrm{th}}_{\mathrm{HF}}\mathrm{and}|H\_\mathrm{SI}|<{\mathrm{th}}_{\mathrm{HF}}\\ 0& \mathrm{otherwise}\end{array}\right]$

$D\_V=\left[\begin{array}{cc}1& \left|\mathrm{if}\right|V\_\mathrm{MC}|>t{h}_{\mathrm{HF}}\mathrm{and}|V\_\mathrm{SI}|<t{h}_{\mathrm{HF}}\\ 0& \mathrm{otherwise}\end{array}\right]$

这里，参数th_HF是定义高频能量的门限值。

在产生加权值的过程中，Bh×Bv维的块被用于消除差值D_H和D_V的噪声。如下是获得加权值中的进一步考虑。

(i)当与高值D_V结合的块是具有MC误差的场时，在其中执行空间内插是适当的；

(ii)最好对高值D_V和D_H的具有低密度的场运行空间内插(SI)；和

(iii)类似地最好对高值D_V和D_H的具有高密度的场运行运动补偿(MC)。

接着，获得用于空间内插和运动补偿的水平和垂直微分值D_H和D_V的差的密度。此时，假定C_VD和C_HD是当D_H＝1和D_V＝1时每一块中的像素的数目，由方程19给出加法加权值W_a和乘法加权值W_m(步骤24)。

[方程19]

if((C_VD-C_HD)＞block50)

    {W_a(h，v，t)＝w_ah，W_m(h，v，t)＝w_mh)}

else if(C_VD＞block50)

    {W_a(h，v，t)＝w_ah，W_m(h，v，t)＝w_mh)}

else if((C_VD＜block20)and(C_HD＜block20))

    {W_a(h，v，t)＝w_al，W_m(h，v，t)＝w_ml)}

else if

    {W_a(h，v，t)＝w_am，W_m(h，v，t)＝w_mm)}

这里，block50和block20分别代表块中的像素数目的50％和20％。加权值的关系为w_ah＞w_am＞w_al和w_mh＞w_mm＞w_ml。当加法和乘法加权值变大时，空间内插相应地变大，此外，当加权值变小时，运动补偿相应地变大。方程20提供了在空间内插和运动补偿之间的加权差值WD(h，v，t)，其中反映了像素x(h，v，t)的加权值(图1的步骤25)。

[方程20]

WD(h，v，t)＝Wa(h，v，t)+Wm(h，v，t)×|X_SI(h，s，t)-X_MC(h，v，t)|

如果加权差值WD(h，v，t)小于第二门限值th2(步骤26)，所内插像素的值x(h，v，t)被设置为运动补偿结果，即通过GMC获得的值(步骤27)。如果加权差值WD(h，v，t)不小于第二门限值th2(步骤26)，并且大于第三门限值th3(步骤28)，则所内插像素的值x(h，v，t)被设置为空间内插结果，即通过EDI获得的值(步骤29)。

如果加权差值WD(h，v，t)不大于第三门限值th3，则所内插像素的值x(h，v，t)是新产生的(步骤30)。根据在包括加权值、第二门限值th2和第三门限值th3的加权差值WD(h，v，t)之间的关系，方程21提供了所内插像素值x(h，v，t)。

[方程21]

if(WD(h，v，t)＜th2)

    {x(h，v，t)＝X_MC(h，v，t)

    else if(WD(h，v，t)＞th3)

        {x(h，v，t)＝X_SI(h，s，t)}

        else

        {x(h，v，t)＝a×X_SI(h，v，t)+(1-a)×X_MC(h，v，t)}

这里a由方程22给出。

[方程22]

$a=\frac{(\mathrm{weighted}\_\mathrm{difference}\_\mathrm{Th}2)}{(\mathrm{Th}3-\mathrm{Th}2)}$

下面将结合图1进一步说明上述的内插过程。

首先，利用前一场(t-1)和下一场(t+1)执行整体分辨率运动估计(步骤10)。通过运动矢量，前一场(t-1)和下一场(t+1)被移动以位于当前场(t)的相同相位上(步骤12)。如果在所移动的前一场和下一场之间的差接近0(即，小于第一门限值th1)(步骤12和13)，则认为不存在运动，并且通过将前一场和下一场的平均插入当前场来执行场插入(步骤14)。

对于其中在所移动的前一场和下一场之间的差较大的场，利用前一场、当前场和下一场三个场来执行具有子像素精度的运动估计(ME)(步骤15)。然后，执行运动补偿(步骤16)。另一方面，通过边缘内插(EDI)顺序地扫描当前场(在时刻t)。

根据运动补偿(MC)和空间内插(EDI)的结果获得水平和垂直微分值H_SI、V_SI、H_MC和V_MC(步骤18、19、29、21)。

为了相互比较水平和垂直模式，计算H_SI和H_MC之间的差D_H(步骤22)，以及计算V_SI和V_MC之间的差D_V(步骤23)。

在步骤24中，由(H_SI和H_MC之间的)差值D_H以及(V_SI和V_MC之间的)差D_V获得加权值Wa和Wm。在步骤25中产生反映加权值的差WD。根据反映加权的差值WD、第二门限值th2和第三门限值th3之间的关系内插当前场(在时刻t)。

在运动估计和补偿期间存在误差的情况下，GMC的垂直高频(VHF)能量增加得大于EDI的垂直高频能量。利用VHF能量的这种特性，当GMC的VHF能量大于SI的VHF能量时，本发明的实施例选择空间内插(SI)结果作为当前场(t)的内插值；当GMC的VHF能量小于SI的VHF能量时，本发明的实施例选择运动补偿(MC)结果作为当前场(t)的内插值。否则，如果GMC的VHF能量类似于SI的VHF能量时，当前场(t)的内插值变成通过加权值混合了GMC和SI结果的值。

因此，甚至在运动估计期间存在误差时，本发明通过正确地根据比较水平和垂直高频分量来检测运动误差，而可以减小错误的图形。因此，它可以提高顺序扫描功能的性能。

虽然已结合在附图中所示的本发明的优选实施例说明了本发明，但是本发明不限于此。本技术领域人员应当理解，在不脱离本发明的范围和精神的情况下，可以对这些实施例进行各种替换、修改和变化。将理解的是，由于在不脱离如后面所要求的本发明的精神和范围的前提下，很多变化是可能的，因此由所附权利要求限定的本发明不限于在上述示例性实施例的描述中所提供的特定细节。

Claims (17)

1、一种顺序扫描图像数据的方法，包括步骤：

执行空间内插；

执行运动补偿；和

比较运动补偿结果的垂直高频能量和空间内插结果的垂直高频能量；和

选择运动补偿结果、空间内插结果以及运动补偿结果和空间内插结果的加权组合之一。

2、如权利要求1所述的方法，其中，选择步骤包括：

如果所述运动补偿结果的垂直高频能量高于所述空间内插结果的垂直高频能量，则选择所述空间内插结果作为当前像素的内插值。

3、如权利要求1所述的方法，其中，比较步骤包括：

根据所述运动补偿结果和所述空间内插结果的每一个的水平微分值和垂直微分值计算加权差值；其中所述水平微分值和所述垂直微分值的每一个反映所述运动补偿和所述空间内插的结果之间的差。

4、如权利要求3所述的方法，其中，选择步骤包括：

如果所述加权差值高于第一门限值，则选择所述空间内插结果作为当前像素的内插值。

5、如权利要求3所述的方法，其中计算加权差值包括：

计算所述运动补偿结果的水平和垂直微分值；

计算所述空间内插结果的水平和垂直微分值；

获得像素块中的像素的第一数目，其中在所述像素块中，运动补偿结果的水平微分值的绝对值大于预定高频门限值，以及空间内插结果的水平微分值的绝对值小于预定高频门限值；

获得像素块中的像素的第二数目，其中在所述像素块中，运动补偿结果的垂直微分值的绝对值大于高频门限值，以及空间内插结果的垂直微分值的绝对值小于高频门限值；和

由像素的所述第一和第二数目计算加权差值。

6、如权利要求3所述的方法，其中所述加权差值包括加法加权值和乘法加权值。

7、如权利要求6所述的方法，其中通过下列公式给出所述加权差值：

加法加权值+(乘法加权值×|运动补偿结果-空间内插结果|)。

8、如权利要求3所述的方法，还包括：如果所述加权差值小于第二门限值，则选择所述运动补偿结果作为当前所内插像素的值。

9、如权利要求1所述的方法，其中选择步骤包括：选择所述空间内插结果和所述运动补偿结果的加权组合作为当前所内插像素的值。

10、如权利要求9所述的方法，其中通过下列加法得到所述加权组合：

(空间内插结果×第二加权值)+(运动补偿结果×(1-第二加权值))。

11、如权利要求10所述的方法，其中，所述第二加权值是：

(加权差值-第二门限值)/(第一门限值-第二门限值)。

12、一种顺序扫描图像数据的方法，包括步骤：

使用前一场和下一场执行第一运动补偿；

使用运动矢量对前一场和下一场进行运动补偿，以对应于当前场；

如果在所述运动补偿的前一场和运动补偿的下一场之间的差小于第一门限值，则选择前一场和下一场的平均值作为当前场。

13、如权利要求12所述的方法，其中如下获得所述运动补偿的前一场和运动补偿的下一场之间的差：在所述运动补偿的前一场和下一场的每一个中的多个相应像素之间的绝对差之和。

14、如权利要求12所述的方法，还包括：

当所述运动补偿的前一场和运动补偿的下一场之间的差等于或大于第一门限值时，利用所述前一场、当前场和下一场来执行具有子像素精度的第二运动补偿。

15、如权利要求14所述的方法，其中如下获得所述运动补偿的前一场和运动补偿的下一场之间的差：在所述运动补偿的前一场和下一场的每一个中的多个相应像素之间的绝对差之和。

16、如权利要求12所述的方法，还包括：

执行运动补偿；

对当前场执行空间内插；

计算所述运动补偿结果和所述空间内插结果的每一个的水平微分值和垂直微分值；

由所述水平和垂直微分值计算加权差值。

17、如权利要求16所述的方法，还包括：

比较所述加权差值和第二门限值，并且如果所述加权差值大于所述第二门限值，则选择所述空间内插结果。

Images