CN102158678A

CN102158678A - 一种运动向量场插值方法

Info

Publication number: CN102158678A
Application number: CN 201010179010
Authority: CN
Inventors: 王洪剑
Original assignee: Individual
Current assignee: Individual
Priority date: 2010-05-20
Filing date: 2010-05-20
Publication date: 2011-08-17

Abstract

一种运动向量场插值方法，用于在视频帧图像之间插入运动补偿帧，基于两帧运动估计和四场运动向量，在原始帧上把区域分割为复杂区域、遮盖/暴露区域和确定区域，通过运动向量校正得到在遮盖/暴露区域正确的运动向量，从而在插值位置上正确地进行运动向量插值，使视频图像的运动画面更加清晰流畅，将影像拖尾降至人眼感知不到的程度。

Description

一种运动向量场插值方法

技术领域

本发明涉及通信领域的视频图像处理，尤其涉及视频图像的运动向量场插值方法。

背景技术

液晶屏发展初期屏幕响应时间需要40ms以上，作为普通文本处理尚可，但观赏影片、玩3D游戏时，就难免会出现难看的拖影。这也就是为什么最初的液晶屏被认为不适合打游戏和看电影的原因。液晶屏厂商着重提高液晶屏响应时间，从初期黑白响应时间的改善，到降低灰阶响应时间，液晶屏也正式开始走向娱乐领域。目前液晶屏响应时间可以达到1ms，但实际使用当中，却并没有数字提升带来的改观那么大。

目前，液晶电视的100/120Hz刷新频率的技术暂时统一称为插帧倍频技术，其原理就是采用动态映像系统，在传统的两帧图像之间加插一帧运动补偿帧，将普通平板电视的60Hz刷新率提升至120Hz。这样，运动画面更加清晰流畅，优于4ms响应效果，从而达到清除上一帧图像的残影、提高动态清晰度的效果，将影像拖尾降至人眼难以感知的程度

一般电影都是24或25Hz，为了与电视制式NTSC和PAL匹配，采用3:2和2:2模式进行重复得到60Hz和50Hz，如在大屏幕液晶播放，图像抖动十分严重。

网络视频电视化是一个大趋势，但是由于网络带宽的限制，高清晰度高帧率的正版视频无法以原始帧率通过网络从视频网站传到终端用户。互联网传输的视频的帧率一般在12～24帧/秒内浮动，导致用户终端接收到的视频产生抖动的视觉效果，还不能满足用户通过网络传输对正版高清视频数据的观赏级用户体验。

利用运动估计/补偿技术MEMC(Motion Estimation MotionCompensation)恢复或增加原来的帧率，能够解决以上问题。

但是运动估计和运动补偿(MEMC)也有固有的缺陷：运动物体边缘包围一圈轮廓(Halo)，主要由于遮盖/暴露(Occlusion)，向量场无法准确求解。因此，检测准确的遮盖/暴露区域和获得这一区域正确的向量场是解决这一问题的关键。例如，飞利浦公司应用三帧图像进行运动估计，从而得到遮盖/暴露区正确的运动向量。但是三帧图像运动估计在硬件上成本太高。

发明内容

针对现有技术存在的缺点，本发明要解决的技术问题在于利用运动估计/补偿技术MEMC(Motion Estimation Motion Compensation)，更具体地，利用基于两帧运动估计和四场运动向量，得到在遮盖/暴露区域正确的运动向量，从而对从网络接收的低帧率的视频帧图像之间插入运动补偿帧，以恢复或增加原来的帧率，使视频图像的运动画面更加清晰流畅，将影像拖尾降至人眼感知不到的程度。

为了解决上述技术问题，本发明提供了一种运动向量场插值方法，用在视频帧图像之间插入运动补偿帧，包括如下步骤：

(10)在原始帧上，把区域分割为复杂区域、遮盖/暴露区域和确定区域；

(20)根据不同的区域，采用不同的运动向量校正方法，使得原始桢上得到准确的运动向量；

(30)求取原始帧上局部前景向量、局部背景向量和全局向量：统计整帧遮盖/暴露区域的向量的均值，得到全局向量；在原始桢上任何位置，取一个窗口，统计校正过了的向量或者与全局向量的比较、从而得到局部前景/背景向量；

(40)在插值位置上运动向量的插值，具体包括：

(4010)选取候选向量：在插值位置上，寻找对应位置的前一桢Fn-1和后一桢Fn同样位置处的向量，用局部前景向量、局部背景向量作为候选向量；

(4020)根据候选向量，在插值位置上确认遮挡和暴露区；

(4030)根据以上得到的不同区域，从而确定当前插桢位置处的向量。

本发明所述的方法，在所述步骤(10)还包括：

(101)根据前后两帧Fn和Fn+1，求得相应的运动向量Fn+1_L_MV、Fn_R_MV和两帧数据差的绝对和Fn+1_L_SAD、Fn_R_SAD；

(102)根据运动向量Fn+1_L_MV、Fn_R_MV求取相应的前向后向投影Fn+1_L_FBP和Fn_R_FBP；

(103)基于Fn_L_FBP和Fn_L_SAD，以及Fn_R_FBP和Fn_R_SAD，把区域分割为复杂区域、遮盖/暴露区域和确定区域。

本发明所述的方法，其中所述步骤(20)具体为：

在Fn时刻，在遮盖A区，Fn_L_MV正确，Fn_R_MV不正确，故Fn_R_MV(A)＝-Fn_L_MV(A)；在暴露C区，Fn_L_MV不正确，Fn_R_MV正确，故Fn_L_MV(C)＝-Fn_R_MV(C)；在其他区域，保持原来运动向量不变。

本发明所述的方法，其中所述步骤(4020)具体为：

对候选向量聚类，找到两个向量，分别向Fn-1_R_MV和Fn_L_MV上投影，根据投影得到的4个向量的关系，确认遮盖/暴露区。

本发明基于两帧运动估计和四场运动向量，在原始帧上把区域分割为复杂区域、遮盖/暴露区域和确定区域，通过运动向量校正得到在遮盖/暴露区域正确的运动向量，从而在插值位置上正确地进行运动向量插值，使视频图像的运动画面更加清晰流畅，将影像拖尾降至人眼感知不到的程度。

附图说明

图1是向量场的定义的示意图；

图2是前向后向投影示意图；

图3是区域的划分的示意图；

图4是原始帧向量场的校正的示意图；

图5是插值处的运动向量求取的示意图；

图6是本发明技术方案的总框图。

具体实施方式

下面结合附图对本发明所述技术方案的实施方式作进一步的详细描述：

本发明利用基于两帧运动估计和四场运动向量，以得到在遮盖/暴露区域正确的运动向量。运动估计和运动补偿(MEMC)分为四个部分：

1)基于两帧帧运动估计；

2)原始帧上向量的校正/全局运动向量检测/局部前景背景向量场检测；

3)插值位置处向量场求取；

4)插帧算法。

其中2)和3)部分是运动估计和运动补偿的关键。下文将结合附图具体描述。

运动估计和向量场的定义

运动估计是以图像块为基本处理的。块的大小可以是8*8或者16*16或者其他的大小。搜索范围的大小决定所能求得运动物体最大的运动速度，同时也是计算成本的关键。搜索范围越大，计算成本越高。因此，通常做运动估计前，先把用作运动估计的视频图像下采样，以减少计算成本，同时增大了搜索范围。

如图1所示，Fn，Fn-1，Fn+1分别代表当前桢、前参考桢、后参考桢。Fn_L_MV表示以Fn为当前桢，Fn-1为参考桢，求得的运动向量场，如图1中A所示，对应求得两帧差的绝对值和表示为Fn_L_SAD。Fn_R_MV表示以Fn为当前桢，Fn+1为参考桢，求得的运动向量场，如图1中B所示，对应求得两帧差的绝对值和表示为Fn_R_SAD。

前向/后向投影

本发明中的运动估计用两帧数据，比如Fn和Fn-1，以Fn为当前帧，Fn-1为参考帧，求得向量场Fn_L_MV；以Fn-1为当前帧，Fn为参考帧，求得向量场Fn-1_R_MV，两个运动向量场可以通过本领域已有技术求出。并且两个运动向量场在遮盖/暴露区都不准确。但是通过多个向量场的互相校正，就可以得到正确的向量场。

下面以示例性的方式定义运动向量场的前向后向投影(Forward-Backward-Projection)。如图2，Fn_L_MV的前向后向投影记为Fn_L_FBP，即对于运动向量场Fn_L_MV上A处的一个运动向量MV_A，投影到运动向量场Fn-1_R_MV上B处，B处的向量为MV_B。我们定义在Fn上，

Fn_L_FBP(A)＝|MV_A-MV_B|

基于上述定义可知，视频帧中存在下述三种不同性质的区域：

在前景区：前景都存在于Fn和Fn-1上，能得到确定的向量，并且可以相互确认。

在遮盖/暴露区：被遮挡的背景只存在Fn和Fn-1上的其中一桢上，导致向量投影得不到相互的确认，因此Fn_L_FBP(A)很大。

在不确定区：由于物体变形，或者多重复杂区，造成向量场在Fn和Fn-1不稳定，导致Fn_L_FBP(A)很大。

原始帧上向量场校正

为了能够在原始帧上进行较好的向量场校正，需要在原始帧上进行区域划分，如图3中，灰色条为前景，其余的为背景。

在前景B区：前景都存在于Fn-1，Fn和Fn+1上，使得Fn-1_R_MV，Fn_L_MV，Fn_R_MV和Fn+1_L_MV都很一致，经过前向后向投影后，Fn_L_FBP小，Fn_R_FBP小，Fn_L_SAD小，Fn_R_SAD小。

在遮盖A区：块A存在Fn-1上，但在Fn+1上被前景物体遮挡，因此Fn_L_FBP小，Fn_R_FBP大，Fn_L_SAD小，Fn_R_SAD大。

在暴露C区：块C存在Fn+1上，但在Fn-1上被前景物体遮挡，因此Fn_L_FBP大，Fn_R_FBP小，Fn_L_SAD大，Fn_R_SAD小。

在复杂区：Fn_L_FBP大，Fn_R_FBP大，Fn_L_SAD大，Fn_R_SAD大。

为便于区域分割，定义：

Fn_L_T＝Fn_L_FBP+k*Fn_L_SAD；

Fn_R_T＝Fn_R_FBP+k*Fn_R_SAD；

其中k比例参数。

区域分割过程分成两步，第一步：复杂区检测，令Fn_C＝min(Fn_L_T，Fn_R_T)；如果Fn_C大，可以确定此区域为复杂区，否则为其他类型区。第二步：遮盖/暴露区域检测，令Fn_O＝Fn_L_T-Fn_R_T；如果Fn_O绝对值大，负值为遮盖区，正值为暴露区，剩下的为确定区。

在区域分割完成之后，在原始帧上进行向量校正，如图4所示，根据不同的区域，采用不同的校正方法，使得原始桢上得到准确的向量。具体来说，在Fn时刻，在遮盖A区，Fn_L_MV正确，Fn_R_MV不正确，故Fn_R_MV(A)＝-Fn_L_MV(A)；在暴露C区，Fn_L_MV不正确，Fn_R_MV正确，故Fn_L_MV(C)＝-Fn_R_MV(C)；在其他区域，保持原来运动向量不变。

在原始帧上求取局部前景和背景运动向量场。首先统计在整帧遮盖/暴露区的运动向量的平均值，作为全局运动向量Fn_G_MV

Fn_G_MV＝Mean{Fn_R_MV(x)；x属于A或者C区域}，其中Mean为求取均值。

局部的前景/背景运动向量检测：Fn_R_Bg_MV，Fn_R_Fg_MV。在Fn时刻，在任意位置x处，以一维为例，局部的背景运动向量为：

Fn_R_Bg_MV(x)＝median{MV(i)，i属于x-w＜i＜x+w并且i属于遮盖/暴露区，其中w为窗口大宽度}

如果在一个窗口内，没有遮盖/暴露区，统计与Fn_G_MV最相近的运动向量作为候选。

统计与Fn_G_MV差别最大的运动向量作为前景运动向量Fn_R_Fg_MV的候选。

插值位置上运动向量场的插值

在FI时刻，在已知Fn-1校正过的向量场Fn-1_R_MV，以及Fn-1_R_Fg_MV和Fn-1_R_Bg_MV；和Fn_L_MV，以及Fn_L_Fg_MV和Fn_L_Bg_MV。具体描述如何求得中间插值位置处的向量场和遮挡信息。

如图5所示，以任取位置x2为例；候选向量分别为：Fn-1_R_MV(x2)、Fn-1_R_Fg_MV(x2)、Fn-1_R Bg_MV(x2)、Fn_L_MV(x2)、Fn_L_Fg_MV(x2)、Fn_L_Bg_MV(x2)。

通过聚类，可以得到两类向量，一个是前景向量MV0，另外一个是背景向量：MV1。然后用这两个向量分别向Fn-1_R_MV和Fn_L_MV上投影；得到四个向量：Fn-1_R_MV(x1)、Fn-1_R_MV(x3)、Fn_L_MV(x9)、Fn_L_MV(x10)。

定义下述变量：

Fn-1_Diff1＝‖Fn-1_R_MV(x1)-Fn-1_R_MV(x3)‖；

Fn-1_Diff2＝‖MV0- Fn-1_R_MV(x3)‖；

Fn-1_Diff3＝‖MV1- Fn-1_R_MV(x1)‖；

Fn_Diff1 ＝‖Fn_L_MV(x9)-Fn_L_MV(x10)‖；

Fn_Diff2 ＝‖MV0- Fn_L_MV(x9)‖；

Fn_Diff3 ＝‖MV1- Fn_L_MV(x10)‖；

判断遮挡/暴露区：如果Fn-1_Diff1＜T0 && Fn_Dif1＞T0，则此位置位于遮盖区；如果Fn-1_Diff1＞T0 && Fn_Diff1＜T0，则此位置位于暴露区，因此定义遮盖/暴露属性为：

FI_OCC(x2)＝sign(Fn-1_Diff1-Fn_Diff1)*min(32，|Fn-1_Diff1-Fn_Diff1|)

即，如果此值是大的负数，说明是确定的遮盖区域；如果此值是很大的正数，说明是确定的暴露区域；如果此值绝对值很小，说明是物体或其它区域。

据以上得到的不同区域，确定当前插桢位置处的向量。如果处于遮盖区域，则FI_MV(x2)＝(Fn-1_R_MV(x1)+Fn-1_R_MV(x3))/2；如果处于暴露区域，则FI_MV(x2)＝(Fn_L_MV(x9)+Fn_L_MV(x10))/2；如果处于其他区域，则FI_MV(x2)＝MV0。

图6是本发明技术方案的总框图。可以实现成硬件，也可以实现成基于PC和DSP的软件。

上述对本发明的技术方案的进行了详细的说明，本发明的运动向量场插值方法的优选实施例包括如下步骤：

(1)两帧运动估计：根据前后两帧Fn和Fn+1，求得相应的运动向量Fn+1_L_MV、Fn_R_MV和两帧数据差的绝对和Fn+1_L_SAD，、Fn_R_SAD；

(2)前向后向投影：根据运动向量Fn+1_L_MV、Fn_R_MV求取相应的前向后向投影Fn+1_L_FBP和Fn_R_FBP；

(3)原始帧上区域的划分：基于Fn_L_FBP和Fn_L_SAD，以及Fn_R_FBP和Fn_R_SAD，通过计算把区域分割为复杂区域、遮盖/暴露区域和确定区域；

(4)原始帧向量校正：根据不同的区域，采用不同的校正方法，使得原始桢上得到准确的向量，优选地，在Fn时刻，在遮盖A区，Fn_L_MV正确，Fn_R_MV不正确，故Fn_R_MV(A)＝-Fn_L_MV(A)；在暴露C区，Fn_L_MV不正确，Fn_R_MV正确，故Fn_L_MV(C)＝-Fn_R_MV(C)；在其他区域，保持原来运动向量不变；

(5)求取原始帧上局部前景向量、局部背景向量和全局向量：统计整帧遮盖/暴露区域的向量的均值，得到全局向量；在原始桢上任何位置，取一个窗口，统计校正过了的向量或者与全局向量的比较、从而得到局部前景/背景向量；

(6)在插值位置上运动向量的插值，具体包括：

(a)选取候选向量：在插值位置上，寻找对应位置的前一桢Fn-1和后一桢Fn同样位置处的向量，用局部前景向量，局部背景向量作为候选向量；

(b)插值位置上遮挡和暴露区的确认：对候选向量聚类，找到两个向量，分别向Fn-1_R_MV和Fn_L_MV上投影，根据投影得到的4个向量的关系，确认遮盖/暴露区；

(c)根据以上得到的不同区域，从而确定当前插桢位置处的向量。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种运动向量场插值方法，用在视频帧图像之间插入运动补偿帧，包括如下步骤：

(40)在插值位置上运动向量的插值，具体包括：

(4020)根据候选向量，在插值位置上确认遮挡和暴露区域；

(4030)根据以上得到的不同区域，确定当前插桢位置处的向量。

2.如权利要求1所述的方法，在所述步骤(10)还包括：

(101)根据前后两帧Fn和Fn+1，求得相应的运动向量Fn+1_L_MV、Fn_R_MV和两帧数据差的绝对和Fn+1_L_SAD，、Fn_R_SAD；

3.如权利要求2所述的方法，其中所述步骤(20)具体为：

4.如权利要求3所述的方法，其中所述步骤(4020)具体为：

对候选向量聚类，找到两个向量，并分别向Fn-1_R_MV和Fn_L_MV上投影，根据投影得到的4个向量的关系，确认遮盖/暴露区。