CN106027943A - 一种视频去隔行方法 - Google Patents

Abstract

本发明提供一种视频去隔行方法，包括以下步骤：区域划分步骤，利用五场运动检测器，将视频图像划分为运动区域和静止区域；静态区域插值步骤，在所述静止区域，将两个邻场合并为一帧，采用时插法进行插值；动态区域插值步骤，在所述运动区域，采用加强的边缘线平均法进行插值。本发明通过精准的运动检测来提高边缘线平均，提高了去隔行处理的效果。

Description

一种视频去隔行方法

技术领域

本发明属于视频图像处理技术领域，特别是涉及一种视频去隔行方法。

背景技术

传统的视频有隔行扫描视频和逐行扫描视频两种格式。隔行扫描格式由于节省带宽所而被广泛用于广播电视系统。但隔行扫描会带来诸如锯齿化、行蠕动、行间闪烁、清晰度低等缺陷，并且这些现象在运动区域会更加明显。由于像液晶显示屏、高清电视、超高清电视、等离子显示面板等显示设备需要更多的逐行扫描视频，因此，一种高质量的去隔行技术变得更加重要，实现从隔行到逐行扫描的帧格式转换技术。

从现有技术文献中我们可以看到，许多去隔行算法已经被提出并且现有的去隔行算法可以大致分为两大类：场内去隔行算法和场间去隔行算法。在场内去隔行算法中，空间域内插值被广泛使用，其中一种是边缘线平均法。在某种程度上，由于边缘线平均算法运算量低，所以这种算法比较流行。边缘线平均算法的缺点是，它在高频区域非常灵敏，并且可能会减少在垂直方向上的分辨率。场间去隔行方法包括运动补偿算法和运动自适应算法。运动补偿算法可以产生最佳的重建质量，但其计算复杂度太高，对于实时视频系统他会产生复杂缓冲结构。因此，提出了运动自适应法去隔行算法来权衡它的质量性和复杂性。

由于运动自适应去隔行算法较低的计算复杂度和可接受的视频质量，所以在显示设备，消费电子产品和其他实时视频应用领域得到了广泛的应用。运动自适应去隔行算法首先用运动检测器将视频图像划分为运动和静止区域，然后在静止区域采用场内插值，在运动区域采用场间算法进行插值。并且运动自适应去隔行方法依赖于运动检测器的精度。

发明内容

针对上述问题，本发明提供一种视频去隔行方法，包括以下步骤：区域划分步骤，利用五场运动检测器，将视频图像划分为运动区域和静止区域；静态区域插值步骤，在所述静止区域，将两个邻场合并为一帧，采用时插法进行插值；以及动态区域插值步骤，在所述运动区域，采用加强的边缘线平均法进行插值。

优选为，所述动态区域插值步骤，具体包括以下步骤：动态区域划分步骤，通过纹理检测器确定平滑区域和纹理区域；平滑区域插值步骤，在所述平滑区域采用3×13边缘线平均法进行插值；以及纹理区域插值步骤，在所述纹理区域采用3×3边缘线平均法进行插值。

优选为根据以下公式计算所述相邻四个参考场中的两个像素的差值

$d1=\left[\begin{array}{c}|p(x-1,y+1,t)-p(x-1,y+1,t-2)|\\ +|p(x-1,y+1,t+2)-p(x-1,y+1,t)|\end{array}\right]/2$

$d2=\left[\begin{array}{c}|p(x,y+1,t)-p(x,y+1,t-2)|\\ +|p(x,y+1,t+2)-p(x,y+1,t)|\end{array}\right]/2$

$d3=\left[\begin{array}{c}|p(x+1,y+1,t)-p(x+1,y+1,t-2)|\\ +|p(x+1,y+1,t+2)-p(x+1,y+1,t)|\end{array}\right]/2$

d4＝[|p(x-1,y,t-1)-p(x-1,y,t+1)|]

d5＝[|p(x,y,t-1)-p(x,y,t+1)|]

d6＝[|p(x+1,y,t-1)-p(x+1,y,t+1)|]

$d7=\left[\begin{array}{c}|p(x-1,y-1,t)-p(x-1,y-1,t-2)|\\ +|p(x-1,y-1,t+2)-p(x-1,y-1,t)|\end{array}\right]/2$

$d8=\left[\begin{array}{c}|p(x,y-1,t)-p(x,y-1,t-2)|\\ +|p(x,y-1,t+2)-p(x,y-1,t)|\end{array}\right]/2$

$d9=\left[\begin{array}{c}|p(x+1,y-1,t)-p(x+1,y-1,t-2)|\\ +|p(x+1,y-1,t+2)-p(x+1,y-1,t)|\end{array}\right]/2$

优选为，所述计算像素的运动状态，表示为下式，

EV＝DV*GV

其中，

$\begin{array}{cc}DV=\left[\begin{array}{ccc}d1& d2& d3\\ d4& d5& d6\\ d7& d8& d9\end{array}\right]& GV=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\end{array}$

GV为为二维高斯滤波器的值矩阵。

优选为，所述根据阈值判定像素是静止还是运动，表示为

其中，M(x,y)＝1表示该像素是运动的，M(x,y)＝0表示该像素是静止的。

优选为，根据以下方程对所述阈值进行调整，

其中，y表示像素值。

优选为，当前像素值是255或0时，阈值设定为25；当前像素值是127，阈值被设定为10。

优选为，在所述动态区域划分步骤中，包括：

根据以下公式计算区域特征值Val值，

$Val={\mathrm{\Σ}}_{k=-1}^1({\left(x_{i-k,j-1}-avg\right)}^2+(x_{i-k,j+1}\left)\right)/10$

$avg=\left({\mathrm{\Σ}}_{k=-1}^1\right(x_{i-k,j-1}+x_{i-k,j+1}\left)\right)/10$

当Val值大于纹理检测阈值时，则该动态区域分类为纹理区，否则，该动态区域分类为平滑区。

优选为，在所述3×13边缘线平均法中，包括

根据以下公式查找相对方向：

$D\left(k\right)={\mathrm{\Σ}}_{k=-4}^4|X(i-1,j-k)-X(i+1,j+k)|$

θ＝arg min D(k))

得到D(k)的最小值时，θ等于k。

根据以下公式计算内插像素值：

X(i,j)＝[X(i-1,j-dmin)+X(i+1,j+θ)]/2。

本发明通过精准的运动检测来提高边缘线平均，提高了去隔行处理的效果。

附图说明

图1是视频去隔行方法的流程图。

图2是从相邻的参考场提取运动信息的示意图。

图3是内插像素及周边像素的示意图。

图4是改进的边缘线平均线插值法的示意图。

图5是常规的边缘平均线插值法的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明的视频去隔行方法包括如下步骤：

区域划分步骤S1，利用五场运动检测器，将视频图像划分为运动区域和静止区域。在该步骤中，利用了相邻四个参考场像素灰度的差异性。在图2中显示了如何从相邻的参考场提取运动信息。其中X轴和Y轴分别代表对应场的行和列，t轴为场号。在图3中示出了内插像素及其周边像素。

$d1=\left[\begin{array}{c}|p(x-1,y+1,t)-p(x-1,y+1,t-2)|\\ +|p(x-1,y+1,t+2)-p(x-1,y+1,t)|\end{array}\right]/2---\left(1\right)$

$d2=\left[\begin{array}{c}|p(x,y+1,t)-p(x,y+1,t-2)|\\ +|p(x,y+1,t+2)-p(x,y+1,t)|\end{array}\right]/2---\left(2\right)$

$d3=\left[\begin{array}{c}|p(x+1,y+1,t)-p(x+1,y+1,t-2)|\\ +|p(x+1,y+1,t+2)-p(x+1,y+1,t)|\end{array}\right]/2---\left(3\right)$

d4＝[|p(x-1,y,t-1)-p(x-1,y,t+1)|] (4)

d5＝[|p(x,y,t-1)-p(x,y,t+1)|] (5)

d6＝[|p(x+1,y,t-1)-p(x+1,y,t+1)|] (6)

$d7=\left[\begin{array}{c}|p(x-1,y-1,t)-p(x-1,y-1,t-2)|\\ +|p(x-1,y-1,t+2)-p(x-1,y-1,t)|\end{array}\right]/2---\left(7\right)$

$d8=\left[\begin{array}{c}|p(x,y-1,t)-p(x,y-1,t-2)|\\ +|p(x,y-1,t+2)-p(x,y-1,t)|\end{array}\right]/2---\left(8\right)$

$d9=\left[\begin{array}{c}|p(x+1,y-1,t)-p(x+1,y-1,t-2)|\\ +|p(x+1,y-1,t+2)-p(x+1,y-1,t)|\end{array}\right]/2---\left(9\right)$

两个场像素的差值可以利用公式(1)到公式(9)计算。t是场号。p(x,y)是示内插的像素值。

$DV=\left[\begin{array}{ccc}d1& d2& d3\\ d4& d5& d6\\ d7& d8& d9\end{array}\right]---\left(10\right)$

$GV=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]---\left(11\right)$

DV是一个3×3的矩阵。GV定义为二维高斯滤波器的值矩阵，并且此矩阵的其西格玛值设为1。我们利用高斯滤波器来减少噪音的影响，运动状态由下列式子表示。

EV＝DV*GV (12)

M(x,y)＝1表示这个像素是运动的，M(x,y)＝0表示这个像素是静止的。

我们使用阈值来确定运动区域。当场差比阈值小时，我们判断该区域为静止区域。当该场差比阈值大时，我们认为该区域为运动区域。人眼对比灰色区域较亮和较暗区域较不敏感，因此，在较亮和较暗区域中的阈值应该比在灰色区域中的阈值小。下面的方程提出了运动检测一种简单的阈值调整原理。

若当前像素值是255或0，则将阈值设定为25；若当前像素值是127，则将阈值设定为10。

静态区域插值步骤S2，在静止区域，将两个邻场合并为一帧，采用时插法进行插值。

动态区域插值步骤S3，在运动区域，采用加强的边缘线平均法进行插值。具体地来说，包括以下步骤：

由于边缘线平均具有更宽的通带，在水平边缘区域中能表现出更好的性能，但是在高频区域中表现不佳。为了在所有运动区域，都能得到很高的质量，在动态区域区分步骤S31中，使用纹理检测器来确定平滑区域和纹理区域，包括以下步骤：

首先计算区域特征值

$Val={\mathrm{\Σ}}_{k=-1}^1({\left(x_{i-k,j-1}-avg\right)}^2+(x_{i-k,j+1}\left)\right)/10---\left(15\right)$

其中，

$avg=\left({\mathrm{\Σ}}_{k=-1}^1\right(x_{i-k,j-1}+x_{i-k,j+1}\left)\right)/10---\left(16\right)$

然后，通过纹理检测阈值进行判定，如果实验中Val值大于纹理检测阈值，则该区域分类为纹理区；否则，该区域分类为平滑区。

接下来，进行平滑区域插值步骤S32和纹理区域插值步骤S33。在平滑区一个3×13的窗上用边缘线平均法查找相对方向，如图4所示，其中，差值最小处为最佳的修正方向。将像素值插在该最佳的修正方向。

具体表示为下式

$D\left(k\right)={\mathrm{\Σ}}_{k=-4}^4|X(i-1,j-k)-X(i+1,j+k)|---\left(17\right)$

θ＝argminD(k) (18)

Dk代表每个方向的预测值，取最小值为所查找到的相对方向。当我们得到D(k)的最小值时，θ等于k。

然后，内插像素值可以如下计算：

X(i,j)＝[X(i-1,j-d min)+X(i+1,j+θ)]/2 (19)

在纹理区域插值步骤S33中，在纹理区域加一个3×3的窗来获得更好的表现，将上述公式中k的范围设定为(-1，1)，与常规的边缘线平均插值算法相似，该算法如图5所示。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种视频去隔行方法，其特征在于，

包括以下步骤：

区域划分步骤，利用五场运动检测器，将视频图像划分为运动区域和静止区域；

静态区域插值步骤，在所述静止区域，将两个邻场合并为一帧，采用时插法进行插值；以及

动态区域插值步骤，在所述运动区域，采用加强的边缘线平均法进行插值。

2.根据权利要求1所述的视频去隔行方法，其特征在于，

所述动态区域插值步骤，具体包括以下步骤：

动态区域划分步骤，通过纹理检测器确定平滑区域和纹理区域；

平滑区域插值步骤，在所述平滑区域采用3×13边缘线平均法进行插值；以及

纹理区域插值步骤，在所述纹理区域采用3×3边缘线平均法进行插值。

3.根据权利要求1所述的视频去隔行方法，其特征在于，

所述区域划分步骤，包括：

计算相邻四个参考场中的两个像素的差值；

计算像素的运动状态；

根据阈值判定像素是静止还是运动。

4.根据权利要求3所述的视频去隔行方法，其特征在于，

根据以下公式计算所述相邻四个参考场中的两个像素的差值

$d1=\left[\begin{array}{c}\left|p\right(x-1,y+1,t)-p(x-1,y+1,t-2\left)\right|\\ +\left|p\right(x-1,y+1,t+2)-p(x-1,y+1,t\left)\right|\end{array}\right]/2$

$d2=\left[\begin{array}{c}\left|p\right(x,y+1,t)-p(x,y+1,t-2\left)\right|\\ +\left|p\right(x,y+1,t+2)-p(x,y+1,t\left)\right|\end{array}\right]/2$

$d3=\left[\begin{array}{c}\left|p\right(x+1,y+1,t)-p(x+1,y+1,t-2\left)\right|\\ +\left|p\right(x+1,y+1,t+2)-p(x+1,y+1,t\left)\right|\end{array}\right]/2$

d4＝[|p(x-1,y,t-1)-p(x-1,y,t+1)|]

d5＝[|p(x,y,t-1)-p(x,y,t+1)|]

d6＝[|p(x+1,y,t-1)-p(x+1,y,t+1)|]

$d7=\left[\begin{array}{c}\left|p\right(x-1,y-1,t)-p(x-1,y-1,t-2\left)\right|\\ +\left|p\right(x-1,y-1,t+2)-p(x-1,y-1,t\left)\right|\end{array}\right]/2$

$d8=\left[\begin{array}{c}\left|p\right(x,y-1,t)-p(x,y-1,t-2\left)\right|\\ +\left|p\right(x,y-1,t+2)-p(x,y-1,t\left)\right|\end{array}\right]/2$

$d9=\left[\begin{array}{c}|p(x+1,y-1,t)-p(x+1,y-1,t-2)|\\ +|p(x+1,y-1,t+2)-p(x+1,y-1,t)|\end{array}\right]/2.$

5.根据权利要求3所述的视频去隔行方法，其特征在于，所述计算像素的运动状态，表示为下式，

EV＝DV*GV

其中，

$\begin{array}{cc}DV=\left[\begin{array}{ccc}d1& d2& d3\\ d4& d5& d6\\ d7& d8& d9\end{array}\right]& GV=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\end{array}$

GV为为二维高斯滤波器的值矩阵。

6.根据权利要求3所述的视频去隔行方法，其特征在于，

所述根据阈值判定像素是静止还是运动，表示为

其中，M(x,y)＝1表示该像素是运动的，M(x,y)＝0表示该像素是静止的。

7.根据权利要求3或6所述的视频去隔行方法，其特征在于，

根据以下方程对所述阈值进行调整，

其中，y表示像素值。

8.根据权利要求7所述的视频去隔行方法，其特征在于，

当前像素值是255或0时，阈值设定为25；当前像素值是127，阈值被设定为10。

9.根据权利要求2所述的视频去隔行方法，其特征在于，

在所述动态区域划分步骤中，包括：

根据以下公式计算区域特征值Val值，

$Val={\Σ}_{k=-1}^1({\left(x_{i-k,j-1}-avg\right)}^2+(x_{i-k,j+1}\left)\right)/10$

$avg=\left({\Σ}_{k=-1}^1\right(x_{i-k,j-1}+x_{i-k,j+1}\left)\right)/10$

当Val值大于纹理检测阈值时，则该动态区域分类为纹理区，否则，该动态区域分类为平滑区。

10.根据权利要求2所述的视频去隔行方法，其特征在于，

在所述3×13边缘线平均法中，包括

根据以下公式查找相对方向：

$D\left(k\right)={\Σ}_{k=-4}^4|X(i-1,j-k)-X(i+1,j+k)|$

θ＝arg min D(k)

得到D(k)的最小值时，θ等于k；

根据以下公式计算内插像素值：

X(i,j)＝[X(i-1,j-d min)+X(i+1,j+θ)]/2。