CN101309385A - 一种基于运动检测的去隔行处理方法 - Google Patents

Abstract

本发明涉及一种将隔行视频信号转换成逐行视频信号的去隔行处理方法。该方法中，对待插值场进行基于像素点的运动检测，并根据运动检测的结果进行相应的插值。在运动检测的过程中，在时间上选择与当前场采集时间最接近的场，在空间上选择与当前场扫描线位置相同的场，综合考虑时空相关性来判断待插值点的运动状态。在设计插值滤波器的时候，通过进行多方向的边缘检测以及对假边缘和弱边缘的分析，得到图像中存在的边缘，根据像素点的运动状态和边缘方向进行相应的插值，将插值得到的场与待插值场进行交织，形成逐行视频图像。与现有技术相比，本发明能很好地改善视频的主观质量，且具有处理速度快、抗噪声能力强的优点。

Description

一种基于运动检测的去隔行处理方法

技术领域

本发明涉及一种将隔行视频信号转换成逐行视频信号的去隔行处理方法，尤其涉及一种利用像素点的时间相关性和空间相关性进行运动检测，并根据像素点的运动状态进行插值，从而将隔行视频信号转换成逐行视频信号的去隔行处理方法，属于计算机视觉技术领域。

背景技术

逐行视频信号是指每一帧均是由电子束顺序地一行接一行连续扫描而成的视频图像。隔行视频信号是指电子束在扫描每一帧时，先扫描奇数行再扫描偶数行，通过两场扫描获得的视频图像。隔行视频信号在保留垂直分辨率的同时降低了传输所需带宽，因此一直是电视系统广泛使用的信号形式。现行的PAL、NTSC、SECAM等电视系统都将隔行视频信号作为基本的输出信号。

但是，逐行视频信号也存在许多缺点，如会产生行间闪烁效应、出现并行现象及出现垂直边沿锯齿化现象等不良效应。自从电视技术开始向数字化方向转型之后，为了得到高品质的图像质量，逐行视频信号已成为数字电视的优选方案。

隔行视频信号不能直接在逐行显示设备上正常显示。如果要在逐行显示设备上显示隔行视频信号，需要先将隔行视频信号转换为逐行视频信号。由于从模拟电视到数字电视的过渡时间较长，因此隔行视频信号在一定时期内还会普遍存在。随着逐行显示设备的日趋普及，将隔行视频信号转换成逐行视频信号的去隔行处理技术也得到了越来越广泛的应用。

到目前为止，国内外已经提出了各种各样的去隔行处理技术方案。这些技术方案包括以下几方面的内容：自适应处理与静态处理、场内相对于场间、运动自适应相对于运动补偿。下面分别进行简单的说明：

静态处理的典型实例包括线平均和垂直滤波、垂直时间滤波和交织等。静态处理与场内的图像内容无关，复杂性相对较低，并能在较低分辨率的显示器上提供较好的性能，但在HDTV显示器上性能则较差。自适应处理的实例包括运动自适应和运动补偿，其效果取决于一场或几个场内的图像内容。自适应处理的复杂性非常高，但可提供非常优异的性能。

场内处理仅采用一个场(有时也被称为空间处理)，其曲型实例包括线平均、垂直滤波和边缘适应。场间处理采用了来自不同场的信息(有时被称为时间处理)，典型实例包括交织、垂直时间过滤、运动自适应和运动补偿。

运动自适应处理通过检测两个场之间的运动，根据运动状态的不同采用不同的插值方法，其处理的复杂性趋于中等，并具有较好的性能。运动补偿处理通过估计两个场之间的运动，其复杂性非常高，具有非常优越的性能。

在实际操作中，视频场景中通常有多个运动目标，且场景常常受到各种噪声的影响，这些因素都给去隔行处理造成一定的困难。去隔行处理实施得不好，会给视频场景带来一系列的不良影响，例如拖影、锯齿等，给后续的视频处理和分析带来困难。同时，某些系统如视频监控系统需要同时完成多项处理任务，可供去隔行处理使用的计算资源非常有限。因此，研究复杂度低、实时性好的去隔行处理方法很有必要。

发明内容

针对现有去隔行处理技术在处理效果和实时性等方面存在的不足，本发明的目的在于提出一种新的基于运动像素检测的去隔行处理方法。该方法可以快速有效地将隔行视频信号转换成逐行视频信号。

为实现上述的发明目的，本发明采用下述的技术方案：

一种基于运动检测的去隔行处理方法，用于将隔行视频信号转换成逐行视频信号，其特征在于：

(1)在隔行视频图像的场序列中选择待插值场，根据时间相关性选择选择与所述待插值场采集时间最接近的相邻两场，基于空间相关性选择与所述待插值场场扫描线位置相同的前前场，计算所述待插值场与所述相邻两场及前前场的差值；

(2)将步骤(1)计算出的三个差值分别与预设阈值进行比较，如果差值中的最大值大于所述阈值，则判断所述待插值场对应的点为运动像素点，否则为背景点；

(3)对所述运动像素点采用先腐蚀后扩张的方法进行处理；

(4)设计基于边缘方向的插值滤波器，用所述插值滤波器对所述待插值场中的每个像素点进行插值，将插值得到的场与所述待插值场进行交织，形成逐行视频图像。

其中，在所述步骤(3)中，腐蚀和扩张选择大小为3×3的十字型结构元素。

所述步骤(4)中，在设计基于边缘方向的插值滤波器时，对所述待插值场对应的点左右共五个方向进行边缘检测，并沿着梯度最小的方向进行插值。

在进行边缘检测时，依据最相邻点相关的可能性最大的原则，给予各方向不同的逻辑权重，依次从最相邻点判断到距离最远的点，取最相关方向进行插值。

如果所述待插值场对应的点的上、下两行像素分别处于水平边缘的上、下沿，在不同边缘方向的上、下两行像素的差值的最小值大于预定阈值，则认为存在假边缘；在存在假边缘的条件下，直接使用所述待插值场中的上一行像素进行插值。

本发明所提供的基于运动检测的去隔行处理方法可以获得较好的处理效果，并且具有速度快、抗干扰能力强等优点。有关的测试结果表明，本去隔行处理方法对于室内、室外各类场景的隔行视频序列都能取得较好的处理效果。

附图说明

下面结合附图和具体实施方式对本发明作进一步的说明。

图1为本发明所述的基于运动检测的去隔行处理方法的实施流程图；

图2为在基于时空相关性选择场的基础上进行运动像素点检测的示意图；

图3为基于边缘方向的插值滤波器的设计示意图。

具体实施方式

在本发明中，首先利用时间相关性和空间相关性选择合适的场进行基于像素的运动检测，然后利用基于边缘方向的插值滤波器对插值场进行插值，从而将隔行视频信号快速有效地转换成逐行视频信号。

图1中显示了本发明所提供的去隔行处理方法的基本实施流程：首先，计算隔行视频的场序列中前前场和当前场的对应像素差，以及当前场分别与前一场和后一场的对应像素差，求差的结果是分别得到一个场与场的差图(简称场差图)，将场差图中的每个差值与阈值进行比较得到对应像素的运动状态。综合考虑当前场中与待插值点在空间上具有相关性的点的运动状态，以及前一场中与待插值点在时间上有相关性的点的运动状态，来决定待插值点的运动状态。其次，通过对已经得到的运动像素点进行区域平滑处理，以提高运动对象检测精度。本发明采用先腐蚀后扩张的方法进行处理。先腐蚀后扩张的方法通常称为开运算，该方法具有对消除细小物体、在纤细处分离物体和平滑较大物体的边缘时不明显改变其面积的作用。最后，根据运动检测所得到的运动信息和像素的位置信息设计插值滤波器进行插值，并将插值得到的场与当前场交织在一起形成一帧图像。

下面对上述各个步骤的具体实施过程展开详细的说明。

1.对待插值场实施基于像素的运动检测

在本实施例中，将当前的待插值场称为第k场(K为自然数)，最终插值得到的场与当前场交织成一帧逐行视频图像。相应的，前一场为第k-1场，前前场为k-2场，后一场为k+1场，以此类推。

为了避免单独考虑时间或空间相关性选择场所造成的检测与插值误差，本方法在选择实施运动检测的场时，从基于时间相关性和空间相关性两方面进行选择。这样可以减少在时间上由于物体快速运动引起的检测误差，以及在空间上由于扫描线位置不同所造成的检测误差。

从时间相关性考虑，应该选择与待插值场采集时间比较接近的场，这样像素点的运动状态也会比较接近。因此，本方法从时间上选择与第k场采集时间接近的相邻两场第k-1与k+1场，不选择与第k场采集时间间隔较远的第k-3场。

从空间相关性考虑，应该选择与待插值像素点空间位置较近的像素点。但由于采集设备在成像时奇、偶场扫描线的空间位置不同，容易引起检测误差，因而从空间上最好选择与第k场扫描位置相同的第k-2场，此外，第k+2场虽然与第k场的扫描线位置相同，但因其会造成延时而不宜选择。

在选择好场之后，根据所选场检测待插值场中像素点的运动状态。由于待插值的像素点并不是实际的采样点，所以需要通过与其在时间和空间上相关的像素点的状态来进行判断。在成像时，由于奇偶场中扫描线的空间位置是不同的，因而在对应像素点求差时，应该采用扫描位置相同的点，这样可以避免由于奇、偶性不同所造成的检测误差，此外还可以抑制噪声，检测结果会更准确。

图2为对像素点进行运动检测的示意图。其中，实心点均为原始采样点，空心点表示待插值的像素点。

以待插值的像素点(x，y)为例，在所选择的第k-2，k-1，k，k+1场中，在空间上与待插值像素点(x，y)接近的点为第k场的像素点(x-1，y)和(x+1，y)；在时间上与待插值像素点(x，y)接近的点为第k-1场中的像素点(x，y)；通过这三个点来确定待插值像素点(x，y)状态。

在确定三个点的状态时，如图2所示，通过扫描位置相同场的对应像素点求差，分别得到d_u(x-1，y)，d_d(x+1，y)，d_f(x，y)，见式(1)，其中的I_k(x，y)代表场k中的像素点(x，y)的亮度值。

d_u(x-1，y)＝|I_k(x-1，y)-I_k-2(x-1，y)|

d_d(x+1，y)＝|I_k(x+1，y)-I_k-2(x+1，y)|

d_f(x，y)＝|I_k-1(x，y)-I_k+1(x，y)|       (1)

$M(x,y)=\left\{\begin{array}{cc}1& \mathrm{ifMax}(d_u(x-1,y),d_d(x+1,y),d_c(x,y))>S_{\mathrm{th}}\\ 0& \mathrm{otherwise}\end{array}\right.---\left(2\right)$

式(2)中的M(x，y)表示待插值点的运动状态，值为1表示是运动像素点，值为0表示为背景点。如果三个差值的最大值大于选定的阈值，也即三个像素点中至少有一个为运动像素点，则判断待插值点(x，y)为运动像素点，否则为背景点。这里的判断依据是因为在时域上，像素点的运动应该具有一致性，所以如果前后两场像素点的变化超出了阈值，则检测待插值点为运动像素点；同理，在空域上，由于待插值点与其空间上相邻的点的运动具有一致性，因此如果相邻点存在运动，则检测待插值点为运动像素点。

2.对运动检测结果进行形态学后处理

通过对已经得到的运动像素点进行区域平滑处理，可以提高运动对象检测精度。为此，本发明采用先腐蚀后扩张的方法进行处理。

腐蚀是消除物体边缘点的一种过程，对去除尺寸小且无意义的物体非常有效。一般腐蚀过程的定义为： $B^{\′}=B\⊗S=\{x,y|S_{\mathrm{xy}}\⊆B\},$ 由结构元素S对二值图像B进行腐蚀，生成二值图像B′。二值图像B′是这样一些点(x，y)的集合：将图像B中的点在结构元素的范围内移动，依次与S中的每个元素相减，并将结果放到图像B′中对应的位置。

扩张是将与物体接触的背景点合并到该物体的过程，扩张在填补分割后物体中的空洞时非常有用。一般定义为： $B^{\′}=B\⊕S=\{x,y|S_{\mathrm{xy}}\∩B\≠\mathrm{\φ}\},$

由结构元素S对二值图像B进行腐蚀，二值图像B′是这样一些点(x，y)的集合：将图像B中的点在结构元素的范围内移动，依次与S中的每个元素相加，并将结果放到对应的位置。

本发明在扩张过程中，选择3×3大小的十字型结构元素，3×3的大小是根据需要检测的精度确定的。选用十字型结构元素可以避免由于物体的边缘方向不规则而造成区域平滑错误。

3.设计插值滤波器对插值场进行插值

在去隔行处理中，待插值场中的像素点的值需要经过插值才能得到，因而需要设计插值滤波器。本发明为了提高插值精度，在得到像素点运动状态的基础上，结合像素点的位置信息，设计了基于边缘方向的插值滤波器，以便进行像素点的插值。

由于运动物体边缘处的场效应会更加明显，为了能够取得好的插值效果，在检测出运动像素点之后，需要检测其是否处于运动物体的边缘，从而根据像素点所处的位置设计滤波器，并沿边缘方向进行滤波，从而完成对运动物体边缘处的滤波，有效地消除锯齿效应。

传统的三方向边缘检测方法只根据梯度值进行检测边缘，没有针对图像中的弱边缘或假边缘进行处理。参照图3所示的多方向边缘检测的示意图，本发明对传统的边缘检测方法进行了改进，利用5个角度进行边缘检测，并通过相邻点相关性最大的原则，对弱边缘和假边缘两种边缘进行处理，有效提高了边缘方向检测的准确度。

上述的弱边缘是指：如果图像中A、B、C、D、G、H、I、J处于同一亮度渐变的物体区域，而E、F两点处于亮度对比度较小的背景区域，若待插值像素点取值为(E+F)/2，容易造成插值不准确。对于这种情况，在检测边缘时，依据最相邻点相关的可能性最大这一原则，给予各方向不同的逻辑权重(例如对于待插值点而言，C和H是其与最相邻的点，因此其权重最大)，依次从最相邻点判断到距离最远的点，取最相关方向进行插值，见式(3)。

D_min＝min(α×|I((x+σ)，(y-1))-I((x-σ，(y+1))|) σ∈{0，±1，±2}    (3)

式(3)中的D_min代表不同边缘方向的上下两行像素差值的最小值，I((x+σ)，(y-1))，I((x-σ)，(y+1))分别为待插值像素上、下两行中对应于某方向的像素点亮度值，参数α随方向而变化。σ＝±1时参数 $\mathrm{\α}=1/\sqrt{2}\≈0.7,$ σ＝±2时参数α＝1/2，σ＝0时参数α＝1。

假边缘是指：如果待插值像素点的上、下两行像素分别处于水平边缘的上、下沿，也即分属于亮度差别很大的区域，如果直接沿最小梯度方向进行插值，容易造成经过插值后的边缘区域出现虚像。如果D_min大于某一阈值，我们可以认为上下两行的差值超过了一个范围，则认为存在假边缘。

为避免插值结果出现虚像，待插值点的值可直接选取C或H的像素点亮度值。当灰度值为128左右时，人眼对亮度变化最敏感，敏感度为10，而阈值随敏感度线性变化；当灰度值为255或0时，人眼对亮度变化不敏感，此时的敏感度为20；因此取阈值为固定值25。

通过上述对假边缘和弱边缘的分析，针对运动像像素点，本发明设计的插值表达式见式(4)，其中ELA为插值像素点的亮度值，I_C、I_H表示C与H点的亮度值，σ_min表示取得D_min时候的σ值。

$\mathrm{ELA}=\left\{\begin{array}{cc}(I\left((x+{\mathrm{\&sigma;}}_{\min })\right),(y-1))+I\left((x-{\mathrm{\&sigma;}}_{\min })\right),(y+1)\left)\right)/2& \mathrm{if}{D}_{\min }<25\\ I_C\left(\mathrm{or}{I}_H\right)& \mathrm{else}\end{array}\right.---\left(4\right)$

结合像素点的运动状态和位置信息，本发明设计的插值滤波器形式见式(5)，F_o(x，n)表示去隔行处理后逐行帧中各像素点的值。

$F_o(\stackrel{\&RightArrow;}{x},n)=\left\{\begin{array}{cc}F(\stackrel{\&RightArrow;}{x},n)& (y\mathrm{mod}2=n\mathrm{mod}2)\\ (1-\mathrm{\&beta;})\&times;F(\stackrel{\&RightArrow;}{x},n-1)+\mathrm{\&beta;}\&times;\mathrm{ELA}& \mathrm{otherwise}\end{array}\right.---\left(5\right)$

式(5)中参数β用于表示待插值像素点的运动状态。如果为背景点，β＝0，待插值像素点的亮度值取前一场对应位置像素点的值F(

，n-1)，如果为运动像素点(即M(x，y)＝1)，β＝1，待插值像素点的亮度值为基于边缘的插值输出ELA。

在利用上面提供的基于边缘方向的插值滤波器对像素点进行插值之后，将最终插值得到的场与当前的待插值场进行交织，即可完成将一帧隔行视频图像转换成逐行视频图像的工作。

以上对本发明所提供的基于运动检测的去隔行处理方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (6)

1.一种基于运动检测的去隔行处理方法，用于将隔行视频信号转换成逐行视频信号，其特征在于：

(1)在隔行视频图像的场序列中选择待插值场，根据时间相关性选择选择与所述待插值场采集时间最接近的相邻两场，基于空间相关性选择与所述待插值场场扫描线位置相同的前前场，计算所述待插值场与所述相邻两场及前前场的差值；

(2)将步骤(1)计算出的三个差值分别与预设阈值进行比较，如果差值中的最大值大于所述阈值，则判断所述待插值场对应的点为运动像素点，否则为背景点；

(3)对所述运动像素点采用先腐蚀后扩张的方法进行处理；

(4)设计基于边缘方向的插值滤波器，用所述插值滤波器对所述待插值场中的每个像素点进行插值，将插值得到的场与所述待插值场进行交织，形成逐行视频图像。

2.如权利要求1所述的基于运动检测的去隔行处理方法，其特征在于：

所述步骤(3)中，腐蚀和扩张选择十字型结构元素。

3.如权利要求2所述的基于运动检测的去隔行处理方法，其特征在于：

所述十字型结构元素的大小为3×3。

4.如权利要求1所述的基于运动检测的去隔行处理方法，其特征在于：

所述步骤(4)中，在设计基于边缘方向的插值滤波器时，对所述待插值场对应的点左右共五个方向进行边缘检测，并沿着梯度最小的方向进行插值。

5.如权利要求4所述的基于运动检测的去隔行处理方法，其特征在于：

在进行边缘检测时，依据最相邻点相关的可能性最大的原则，给予各方向不同的逻辑权重，依次从最相邻点判断到距离最远的点，取最相关方向进行插值。

6.如权利要求4所述的基于运动检测的去隔行处理方法，其特征在于：

如果所述待插值场对应的点的上、下两行像素分别处于水平边缘的上、下沿，在不同边缘方向的上、下两行像素的差值的最小值大于预定阈值，则认为存在假边缘；在存在假边缘的条件下，直接使用所述待插值场中的上一行像素进行插值。

Images