CN101600061B - 视频运动自适应去隔行的方法及装置 - Google Patents

Abstract

本发明提供了视频运动自适应去隔行的方法及装置，视频运动自适应去隔行装置包括运动检测模块、空间插值运算模块、时域插值运算模块以及运动自适应模块，运动检测模块输入当前场、后一场以及前一场的图像数据，空间插值运算模块输入当前场的图像数据，时域插值运算模块输入后一场以及前一场的图像数据，运动检测模块、空间插值运算模块、时域插值运算模块连接运动自适应模块，运动自适应模块根据运动检测模块的判断结果，选择空间插值运算模块或时域插值运算模块的输出。利用本发明提供的装置和方法能够正确地检测图像细节和图像边缘方向，避免大片面积图像的丢失，具有较小硬件代价。

Description

视频运动自适应去隔行的方法及装置

技术领域

本发明涉图像和视频处理中的去隔行技术。

背景技术

由于人的视觉系统对图像细节的闪烁不敏感，因此广播电视标准采用了隔行扫描技术。然而，隔行扫描使许多图像处理变得复杂，尤其是扫描格式的转换。现在人们越来越关心图像的质量，以前的隔行图像不再满足观众对图像质量的要求，去隔行技术应运而生。去隔行就是把隔行扫描图像转换成逐行扫描图像，进行去隔行后的视频没有了扫描行、行间闪烁以及锯齿，另外，目前很多应用都采用逐行扫描，比如PC显示器、投影系统、视频会议系统，进行去隔行后的视频可以更方便地在这些逐行扫描的设备上进行显示、存储和传输。

隔行视频的输入场只包括图像的奇数或偶数场，去隔行就是要把“场”转换为“帧”。这些输出“帧”和对应的“场”表示的是同一幅图像，不同的是“帧”包含所有的行。

目前较为领先的去隔行算法是基于运动自适应的去隔行算法(也称为“非线性去隔行方法”)，其步骤包括：运动检测、空间插值(即场内插值)、时域插值(即场间插值)，对于运动检测判断为静止的图像，采用时域插值算法，使得要插的值倾向介于当前场中与它相邻位置点的值之间；对于运动检测判断为运动的图像，利用运动物体的当前场中相邻象素之间的相关性，采用空间插值算法。

常用的运动自适应去隔行算法使用四场中3×3邻域的象素点进行运动自适应去隔行，该方法对图像运动部分的边沿部分检测效果很好，但对内部大片运动区域检测时出现错误，造成大片的运动丢失，而且使用四场的数据也会带来较大的硬件实现代价。同时其空间插值算法是基于边缘方向的检测，使用3×3的sobel算子分别计算水平梯度和垂直梯度，然后根据边缘方向不同的情况采用不同的插值方法，但该算法对图象细节部分的处理不够理想，这主要是因为在图像的粗分类过程中不能正确地检测细小的边缘方向。

发明内容

本发明的目的是为了克服已有技术的不足，提出了一种基于三场实现的视频运动自适应去隔行的方法，采用该方法能够正确地检测图像细节和图像边缘方向，避免大片面积图像的丢失，该方法的实现具有较小硬件代价。

同时本发明还提出一种用于视频运动自适应去隔行的运动检测模块。

视频运动自适应去隔行的方法，包括以下步骤：

(1)进行运动检测，判断图像的运动状态；

选取当前场F(n)和后一场F(n+1)中的图像数据，其中c_n为当前场F(n)的待插值，uc_n为c_n上行对应的点、dc_n为c_n下行对应的点，c_n+1为后一场F(n+1)中对应于c_n点的值，uc_n+1为c_n+1上行对应的点，dc_n+1为c_n+1下行对应的点，进行下列判断：

(A)通过当前待插场F(n)和后一场F(n+1)对应点之间的运动向量差值，判断是否：

|c_n+1-uc_n|＞thr1 and|c_n+1-dc_n|＞thr1

其中，thr1＝5

还可进一步判断是否：

|c_n+1-uc_n|＞thr1and|c_n+1-dc_n|＞thr1 and|uc_n+1-uc_n|＞thr1 and|dc_n+1-dc_n|＞thr1

(B)判断是否：sign(c_n+1-uc_n)＝sign(c_n+1-dc_n)

还可以进一步判断是否：

sign(c_n+1-uc_n)＝sign(c_n+1-dc_n)＝sign(uc_n+1-uc_n)＝sign(dc_n+1-dc_n)

sign(x)表示值x的符号，1为正，0为负

(C)选取前一场F(n-1)中的图像数据，其中c_n-1为前一场F(n-1)中对应当前场F(n)的c_n值，判断是否：|c_n+1-c_n-1|＞thr2

其中，thr2＝10。

若同时满足(A)、(B)以及(C)，则当前场F(n)待插值c_n为运动的，否则为静止的。

为进一步准确判断当前场F(n)待插值c_n的运动状态，还可进行以下判断：

(A)如果当前场F(n)待插值c_n为运动点，其相邻8个点中运动点的个数与阈值thr3比较，如果大于thr3，则判定c_n为运动点，反之c_n为静止点，其中所述阈值thr3＝3。

(B)如果当前场F(n)待插值c_n为静止点，其相邻8个点中运动点的个数与阈值thr4比较，如果大于thr4，则判定c_n为运动点，反之c_n为静止点，其中所述阈值thr4＝4。

(2)经过运动检测判断出当前场F(n)待插值c_n为运动的，则执行空间插值运算，包括如下步骤：

(A)采用Sobel算子分别来计算当前场F(n)待插值c_n在水平方向的梯度系数C_h和和垂直方向的C_v，其中P1、N1、N2、N3、P2为待插值c_n上行从左到右依次排列的五个点，N2在待插值c_n的正上方，P3、N4、N5、N6、P4为待插值c_n下行从左到右依次排列的五个点，N5在待插值c_n的正下方。

C_h＝|N₁+2N₂+N₃-N₄-2N₅-N₆|

C_v＝|N₁-N₃+N₄-N₆|

(B)同时，选择当前场F(n)待插值c_n两个对角线方向上的4个对角像素，计算两个对角线像素距离的差值D₀；

D₀＝||N₁-N₆|-|N₃-N₄||

判断过程如下：

(a)如果(C_h＜th_h)或(D₀＜th_d0)，则判断出当前场F(n)待插值c_n处于平坦区域或垂直边缘区域，当前场F(n)待插值c_n的值等于当前场F(n)待插值c_n上下两个点(N2和N5)的均值；

(b)如果(C_h≥th_h)且(C_v＜th_v)且(D₀＞th_d0)，则判断出当前场F(n)待插值c_n处于水平边缘区域，当前场F(n)待插值c_n点的值由对角像素的均值得到，所述对角像素的均值选择对角线上的像素点差值较小的两点的均值；(若P1和P4的差值小于P2和P3的差值，前场F(n)待插值c_n的值取P1和P4的均值，否则前场F(n)待插值c_n的值取P2和P3的均值。)

(c)如果(C_h≥th_h)且(C_v≥th_v)且(D₀＞th_d0)，则判断出前场F(n)待插值c_n处于对角边缘区域，进行对角边缘细化，找出最佳的边缘方向，

其中，th_h＝th_v＝10，th_d0＝6。

所述的对角边缘方向细化的方法，包括如下步骤：

(a)计算边缘的方向，计算边缘与x轴的夹角A，得到a₀、a₁、a₂、a₃四种边沿方向：方向a₀通过第一象限和第五象限，方向a₁通过第二象限和第六象限，方向a₂通过第三象限和第七象限；方向a₃通过第四象限和第八象限，从而将像素点位置分为八个象限；

(b)用线性插值算法计算出用于插值的亚象素点。(例如相邻两个象素点U₁和U₂之间插入三个亚象素点u₁₁、u₁₂、u₁₃，其中 $u_{11}=U_1\×\frac{3}{4}+U_2\×\frac{1}{4},$ $u_{12}=U_1\×\frac{1}{2}+U_2\×\frac{1}{2},$ $u_{13}=U_1\×\frac{1}{4}+U_2\×\frac{3}{4}$ )

(c)针对不同的边缘方得到待插值c_n：在a₀方向时，c_n为第一或第五象限内的像素点或亚像素点的均值；在a₁方向时，c_n为第二或第六象限内的像素点或亚像素点的均值；在a₂方向时，c_n为第三或第七象限内的像素点或亚像素点的均值；在a₃方向时，c_n为第四或第八象限内的像素点或亚像素点的均值。

(3)经过运动检测判断出当前场F(n)待插值c_n为静止的，则执行时域插值计算待插值c_n：

所述的时域插值采用线性时域滤波算法，用前后两场对应象素点的亮度均值进行插补，插值公式为：

c_n＝(c_n-1+c_n+1)/2

一种视频运动自适应去隔行的装置，包括运动检测模块、空间插值运算模块、时域插值运算模块以及运动自适应模块，所述的运动检测模块输入当前场F(n)、后一场F(n+1)以及前一场F(n-1)中的图像数据，所述的空间插值运算模块输入当前场F(n)的图像数据，所述的时域插值运算模块输入后一场F(n+1)以及前一场F(n-1)的图像数据，其中c_n为当前场F(n)的待插值，uc_n为c_n上行对应的点、dc_n为c_n下行对应的点，c_n+1为后一场F(n+1)中对应于c_n点的值，uc_n+1为c_n+1上行对应的点，dc_n+1为c_n+1下行对应的点，c_n-1为前一场F(n-1)中对应当前场F(n)的c_n对应的点，所述运动检测模块、空间插值运算模块、时域插值运算模块连接运动自适应模块。

所述的运动检测模块判断图像的运动状态，根据当前场和后一场的图像运动状态，以及前一场和后一场的图像运动状态判断当前场F(n)待插值c_n为是否为运动的，若c_n为运动的，则输出为第一状态；若为静止的，则输出为第二状态。

所述运动自适应模块判断运动检测模块的输出，运动检测模块的输出为第一状态时，即当前点为运动，则运动自适应模块选择输出空间插值运算模块的结果；运动检测模块的输为第二状态，即当前点为静止，则运动自适应模块选择输出时域插值运算模块的结果。

所述空间插值运算模块沿边缘方向做空间插值，在当前帧各自的象素位置计算边缘方向。

所述时域插值运算模块根据前一帧和后一帧的象素计算当前帧。

其中，所述的运动检测模块，其特征在于所述的运动检测模块输入当前场F(n)和后一场F(n+1)中的图像数据，其中c_n为当前场F(n)的待插值，uc_n为c_n上行对应的点、dc_n为c_n下行对应的点，c_n+1为后一场F(n+1)中对应于c_n点的值，uc_n+1为c_n+1上行对应的点，dc_n+1为c_n+1下行对应的点，进行：

(A)计算是否：

|c_n+1-uc_n|＞thr1 and|c_n+1-dc_n|＞thr1

其中，thr1＝5

进一步计算是否：

|c_n+1-uc_n|＞thr1 and|c_n+1-dc_n|＞thr1 and|uc_n+1-uc_n|＞thr1 and|dc_n+1-dc_n|＞thr1

(B)计算是否：sign(c_n+1-uc_n)＝sign(c_n+1-dc_n)

进一步计算是否：

sign(c_n+1-uc_n)＝sign(c_n+1-dc_n)＝sign(uc_n+1-uc_n)＝sign(dc_n+1-dc_n)

sign(x)表示x值的符号，1为正，0为负

(C)选取前一场F(n-1)中的图像数据，其中c_n-1为前一场F(n-1)中对应当前场F(n)的c_n值，计算是否：|c_n+1-c_n-1|＞thr2

其中，thr2＝10。

若同时满足(A)、(B)以及(C)，则运动检测模块判断当前场F(n)待插值c_n为运动的，输出第一状态，否则为静止的，输出第二状态。

为进一步准确判断当前场F(n)待插值c_n的运动状态，所述的运动检测模块还可进行以下判断：

(A)如果当前场F(n)待插值c_n为运动点，其相邻8个点中运动点的个数与阈值thr3比较，如果大于thr3，则判定c_n为运动点，反之c_n为静止点，其中所述阈值thr3＝3。

(B)如果当前场F(n)待插值c_n为静止点，其相邻8个点中运动点的个数与阈值thr4比较，如果大于thr4，则判定c_n为运动点，反之c_n为静止点，其中所述阈值thr4＝4。

其中，所述的空间插值模块：

(A)采用Sobel算子分别来计算当前场F(n)待插值c_n在水平方向和垂直方向上的梯度系数C_h和C_v

其中P1、N1、N2、N3、P2为待插值c_n上行从左到右依次排列的五个点，N2在待插值c_n的正上方，P3、N4、N5、N6、P4为待插值c_n下行从左到右依次排列的五个点，N5在待插值c_n的正下方。

C_h＝|N₁+2N₂+N₃-N₄-2N₅-N₆|

C_v＝|N₁-N₃+N₄-N₆|

(B)同时，选择当前场F(n)待插值c_n两个对角线方向上的4个对角像素，计算两个对角线像素距离的差值D₀；

D₀＝||N₁-N₆|-|N₃-N₄||

判断过程如下：

(a)如果(C_h＜th_h)或(D₀＜th_d0)，则判断出当前场F(n)待插值c_n处于平坦区域或垂直边缘区域，当前场F(n)待插值c_n的值等于当前场F(n)待插值c_n上下两个点的均值；

(b)如果(C_h≥th_h)且(C_v＜th_v)且(D₀＞th_d0)，则判断出当前场F(n)待插值c_n处于水平边缘区域，当前场F(n)待插值c_n点的值由对角像素的均值得到，所述对角像素的均值选择对角线上的像素点差值较小的两点的均值；

(c)如果(C_h≥th_h)且(C_v≥th_v)且(D₀＞th_d0)，则判断出前场F(n)待插值c_n处于对角边缘区域，空间插值模块进行对角边缘细化，找出最佳的边缘方向，

其中，th_h＝th_v＝10，th_d0＝6。

所述空间插值模块进行的对角边缘方向细化为：

(a)计算边缘与x轴的夹角A，得到a₀、a₁、a₂、a₃四种边沿方向：方向a₀通过第一象限和第五象限，方向a₁通过第二象限和第六象限，方向a₂通过第三象限和第七象限；方向a₃通过第四象限和第八象限，从而将像素点位置分为八个象限；

(b)用线性插值算法计算出用于插值的亚象素点。

(c)针对不同的边缘方得到待插值c_n：在a₀方向时，c_n为第一或第五象限内的像素点或亚像素点的均值；在a₁方向时，c_n为第二或第六象限内的像素点或亚像素点的均值；在a₂方向时，c_n为第三或第七象限内的像素点或亚像素点的均值；在a₃方向时，c_n为第四或第八象限内的像素点或亚像素点的均值。

其中，所述的时域插值模块采用线性时域滤波算法，用前后两场对应象素点的亮度均值进行插补，插值公式为：c_n＝(c_n-1+c_n+1)/2

利用本发明可以正确地检测图像细节和图像边缘方向，避免大片面积的图像的丢失，改善了大面积运动区域运动检测的效果，减少了插值不当造成的边缘锯齿。由于本发明只用到三场的数据，因此本发明具有运算少，较小硬件代价实现。

附图说明

图1为本发明基于三场的运动检测算法所用到的象素点示意图

图2为本发明计算梯度系数

图3为本发明边缘方向判断

图4为本发明插值参考点

图5为本发明视频运动自适应去隔行装置

具体实施方式

以下结合附图对本实用新型内容进一步说明。

视频运动自适应去隔行的方法，包括以下步骤：

(2)进行运动检测，判断图像的运动状态；

选取当前场F(n)和后一场F(n+1)中的图像数据，如图1所示，其中c_n为当前场F(n)的待插值，uc_n为c_n上行对应的点、dc_n为c_n下行对应的点，c_n+1为后一场F(n+1)中对应于c_n点的值，uc_n+1为c_n+1上行对应的点，dc_n+1为c_n+1下行对应的点，进行下列判断：

(A)通过当前待插场F(n)和后一场F(n+1)对应点之间的运动向量差值，判断是否：

|c_n+1-uc_n|＞thr1 and|c_n+1-dc_n|＞thr1 and|uc_n+1-uc_n|＞thr1 and|dc_n+1-dc_n|＞thr1

其中，thr1＝5

(B)判断是否：

sign(c_n+1-uc_n)＝sign(c_n+1-dc_n)＝sign(uc_n+1-uc_n)＝sign(dc_n+1-dc_n)

sign(x)表示值x的符号，1为正，0为负

(C)选取前一场F(n-1)中的图像数据，其中c_n-1为前一场F(n-1)中对应当前场F(n)的c_n值，判断是否：|c_n+1-c_n-1|＞thr2

其中，thr2＝10。

若同时满足(A)、(B)以及(C)，则当前场F(n)待插值c_n为运动的，否则为静止的。

为进一步准确判断当前场F(n)待插值c_n的运动状态，还可进行以下判断：

(A)如果当前场F(n)待插值c_n为运动点，其相邻8个点中运动点的个数与阈值thr3比较，如果大于thr3，则判定c_n为运动点，反之c_n为静止点，其中所述阈值thr3＝3。

(B)如果当前场F(n)待插值c_n为静止点，其相邻8个点中运动点的个数与阈值thr4比较，如果大于thr4，则判定c_n为运动点，反之c_n为静止点，其中所述阈值thr4＝4。

(2)经过运动检测判断出当前场F(n)待插值c_n为运动的，则执行空间插值运算，包括如下步骤：

(A)采用Sobel算子分别来计算当前场F(n)待插值c_n在水平方向的梯度系数C_h和和垂直方向的C_v，其中P1、N1、N2、N3、P2为待插值c_n上行从左到右依次排列的五个点，如图2所示，N2在待插值c_n的正上方，P3、N4、N5、N6、P4为待插值c_n下行从左到右依次排列的五个点，N5在待插值c_n的正下方。

C_h＝|N₁+2N₂+N₃-N₄-2N₅-N₆|

C_v＝|N₁-N₃+N₄-N₆|

(B)同时，选择当前场F(n)待插值c_n两个对角线方向上的4个对角像素，计算两个对角线像素距离的差值D₀；

D₀＝||N₁-N₆|-|N₃-N₄||

判断过程如下：

(a)如果(C_h＜th_h)或(D₀＜th_d0)，则判断出当前场F(n)待插值c_n处于平坦区域或垂直边缘区域，当前场F(n)待插值c_n的值等于当前场F(n)待插值c_n上下两个点N2和N5的均值；

(b)如果(C_h≥th_h)且(C_v＜th_v)且(D₀＞th_d0)，则判断出当前场F(n)待插值c_n处于水平边缘区域，当前场F(n)待插值c_n点的值由对角像素的均值得到，所述对角像素的均值选择对角线上的像素点差值较小的两点的均值；若P1和P4的差值小于P2和P3的差值，前场F(n)待插值c_n的值取P1和P4的均值，否则前场F(n)待插值c_n的值取P2和P3的均值。

(c)如果(C_h≥th_h)且(C_v≥th_v)且(D₀＞th_d0)，则判断出前场F(n)待插值c_n处于对角边缘区域，进行对角边缘细化，找出最佳的边缘方向，

其中，th_h＝th_v＝10，th_d0＝6。

所述的对角边缘方向细化的方法，包括如下步骤：

(a)计算边缘的方向，计算边缘与x轴的夹角A，得到a₀、a₁、a₂、a₃四种边沿方向：方向a₀通过第一象限和第五象限，方向a₁通过第二象限和第六象限，方向a₂通过第三象限和第七象限；方向a₃通过第四象限和第八象限，从而将像素点位置分为八个象限；

(b)用线性插值算法计算出用于插值的亚象素点。在图4中，相邻两个象素点U₁和U₂之间插入三个亚象素点u₁₁、u₁₂、u₁₃，其中 $u_{11}=U_1\×\frac{3}{4}+U_2\×\frac{1}{4},$ $u_{12}=U_1\×\frac{1}{2}+U_2\×\frac{1}{2},$ $u_{13}=U_1\×\frac{1}{4}+U_2\×\frac{3}{4}$

(c)针对不同的边缘方向得到待插值c_n：在a₀方向时，c_n为第一或第五象限内的像素点或亚像素点的均值；在a₁方向时，c_n为第二或第六象限内的像素点或亚像素点的均值；在a₂方向时，c_n为第三或第七象限内的像素点或亚像素点的均值；在a₃方向时，c_n为第四或第八象限内的像素点或亚像素点的均值。

(3)经过运动检测判断出当前场F(n)待插值c_n为静止的，则执行时域插值计算待插值c_n：

所述的时域插值采用线性时域滤波算法，用前后两场对应象素点的亮度均值进行插补，插值公式为：

c_n＝(c_n-1+c_n+1)/2

一种视频运动自适应去隔行的装置，如图5所示，包括运动检测模块(1)、空间插值运算模块(2)、时域插值运算模块(3)以及运动自适应模块(4)，所述的运动检测模块(1)输入当前场F(n)、后一场F(n+1)以及前一场F(n-1)中的图像数据，所述的空间插值运算模块(2)输入当前场F(n)的图像数据，所述的时域插值运算模块(3)输入后一场F(n+1)以及前一场F(n-1)的图像数据，其中c_n为当前场F(n)的待插值，uc_n为c_n上行对应的点、dc_n为c_n下行对应的点，c_n+1为后一场F(n+1)中对应于c_n点的值，uc_n+1为c_n+1上行对应的点，dc_n+1为c_n+1下行对应的点，c_n-1为前一场F(n-1)中对应当前场F(n)的c_n对应的点，所述运动检测模块(1)、空间插值运算模块(2)、时域插值运算模块(3)连接运动自适应模块(4)。

所述的运动检测模块(1)判断图像的运动状态，根据当前场和后一场的图像运动状态，以及前一场和后一场的图像运动状态判断当前场F(n)待插值c_n为是否为运动的，若c_n为运动的，则输出为第一状态；若为静止的，则输出为第二状态。

所述运动自适应模块(4)判断运动检测模块(1)的输出，运动检测模块(1)的输出为第一状态时，即当前点为运动，则运动自适应模块(4)选择输出空间插值运算模块(2)的结果；运动检测模块(1)的输为第二状态，即当前点为静止，则运动自适应模块(4)选择输出时域插值运算模块(3)的结果。

所述空间插值运算模块(2)沿边缘方向做空间插值，在当前帧各自的象素位置计算边缘方向。

所述时域插值运算模块(3)根据前一帧和后一帧的象素计算当前帧。

其中，所述的运动检测模块(1)，其特征在于所述的运动检测模块输入当前场F(n)和后一场F(n+1)中的图像数据，其中c_n为当前场F(n)的待插值，uc_n为c_n上行对应的点、dc_n为c_n下行对应的点，c_n+1为后一场F(n+1)中对应于c_n点的值，uc_n+1为c_n+1上行对应的点，dc_n+1为c_n+1下行对应的点，进行：

(A)计算是否：

|c_n+1-uc_n|＞thr1 and|c_n+1-dc_n|＞thr1 and|uc_n+1-uc_n|＞thr1 and|dc_n+1-dc_n|＞thr1

其中，thr1＝5

(B)计算是否：

sign(c_n+1-uc_n)＝sign(c_n+1-dc_n)＝sign(uc_n+1-uc_n)＝sign(dc_n+1-dc_n)

sign(x)表示x值的符号，1为正，0为负

(C)选取前一场F(n-1)中的图像数据，其中c_n-1为前一场F(n-1)中对应当前场F(n)的c_n值，计算是否：|c_n+1-c_n-1|＞thr2

其中，thr2＝10。

若同时满足(A)、(B)以及(C)，则运动检测模块判断当前场F(n)待插值c_n为运动的，输出第一状态，否则为静止的，输出第二状态。

为进一步准确判断当前场F(n)待插值c_n的运动状态，所述的运动检测模块(1)还可进行以下判断：

(A)如果当前场F(n)待插值c_n为运动点，其相邻8个点中运动点的个数与阈值thr3比较，如果大于thr3，则判定c_n为运动点，反之c_n为静止点，其中所述阈值thr3＝3。

(B)如果当前场F(n)待插值c_n为静止点，其相邻8个点中运动点的个数与阈值thr4比较，如果大于thr4，则判定c_n为运动点，反之c_n为静止点，其中所述阈值thr4＝4。

其中，所述的空间插值模块：

(A)采用Sobel算子分别来计算当前场F(n)待插值c_n在水平方向和垂直方向上的梯度系数C_h和C_v，其中P1、N1、N2、N3、P2为待插值c_n上行从左到右依次排列的五个点，N2在待插值c_n的正上方，P3、N4、N5、N6、P4为待插值c_n下行从左到右依次排列的五个点，N5在待插值c_n的正下方。

C_h＝|N₁+2N₂+N₃-N₄-2N₅-N₆|

C_v＝|N₁-N₃+N₄-N₆|

(B)同时，选择当前场F(n)待插值c_n两个对角线方向上的4个对角像素，计算两个对角线像素距离的差值D₀；

D₀＝||N₁-N₆|-|N₃-N₄||

判断过程如下：

(a)如果(C_h＜th_h)或(D₀＜th_d0)，则判断出当前场F(n)待插值c_n处于平坦区域或垂直边缘区域，当前场F(n)待插值c_n的值等于当前场F(n)待插值c_n上下两个点N2和N5的均值；

(b)如果(C_h≥th_h)且(C_v＜th_v)且(D₀＞th_d0)，则判断出当前场F(n)待插值c_n处于水平边缘区域，当前场F(n)待插值c_n点的值由对角像素的均值得到，所述对角像素的均值选择对角线上的像素点差值较小的两点的均值；若P1和P4的差值小于P2和P3的差值，前场F(n)待插值c_n的值取P1和P4的均值，否则前场F(n)待插值c_n的值取P2和P3的均值。

(c)如果(C_h≥th_h)且(C_v≥th_v)且(D₀＞th_d0)，则判断出前场F(n)待插值c_n处于对角边缘区域，空间插值模块进行对角边缘细化，找出最佳的边缘方向，

其中，th_h＝th_v＝10，th_d0＝6。

所述空间插值模块进行的对角边缘方向细化为：

(a)计算边缘与x轴的夹角A，得到a₀、a₁、a₂、a₃四种边沿方向：方向a₀通过第一象限和第五象限，方向a₁通过第二象限和第六象限，方向a₂通过第三象限和第七象限；方向a₃通过第四象限和第八象限，从而将像素点位置分为八个象限；

(b)用线性插值算法计算出用于插值的亚象素点。相邻两个象素点U₁和U₂之间插入三个亚象素点u₁₁、u₁₂、u₁₃，其中 $u_{11}=U_1\×\frac{3}{4}+U_2\×\frac{1}{4},$ $u_{12}=U_1\×\frac{1}{2}+U_2\×\frac{1}{2},$ $u_{13}=U_1\×\frac{1}{4}+U_2\×\frac{3}{4}$

(c)针对不同的边缘方得到待插值c_n：在a₀方向时，c_n为第一或第五象限内的像素点或亚像素点的均值；在a₁方向时，c_n为第二或第六象限内的像素点或亚像素点的均值；在a₂方向时，c_n为第三或第七象限内的像素点或亚像素点的均值；在a₃方向时，c_n为第四或第八象限内的像素点或亚像素点的均值。

其中，所述的时域插值模块采用线性时域滤波算法，用前后两场对应象素点的亮度均值进行插补，插值公式为：c_n＝(c_n-1+c_n+1)/2

应该理解到的是，上述实施例只是对本发明的说明，而不是对本发明的限制，任何不超出本发明实质精神范围内的发明创造，均落入本发明保护范围之内。

Claims (20)

1.视频运动自适应去隔行的方法，其特征在于包括以下步骤：

(1)进行运动检测，判断图像的运动状态：选取当前场F(n)和后一场F(n+1)中的图像数据，其中c_n为当前场F(n)的待插值，uc_n为c_n上行对应的点、dc_n为c_n下行对应的点，c_n+1为后一场F(n+1)中对应于c_n点的值，uc_n+1为c_n+1上行对应的点，dc_n+1为c_n+1下行对应的点，进行下列判断：

(A)通过当前待插场F(n)和后一场F(n+1)对应点之间的运动向量差值，判断是否：

|c_n+1-uc_n|＞thr1和|c_n+1-dc_n|＞thr1

(B)判断是否：sign(c_n+1-uc_n)＝sign(c_n+1-dc_n)

sign()表示值的符号，1表示为正，0表示为负

(C)选取前一场F(n-1)中的图像数据，其中c_n-1为前一场F(n-1)中对应当前场F(n)的c_n值，判断是否：|c_n+1-c_n-1|＞thr2

若同时满足(A)、(B)以及(C)，则当前场F(n)待插值c_n为运动的，否则为静止的；

(2)经过运动检测判断出当前场F(n)待插值c_n为运动的，则执行空间插值运算，包括如下步骤：

(A)计算当前场F(n)待插值c_n在水平方向的梯度系数C_h和垂直方向的梯度系数C_v，

(B)同时，选择当前场F(n)待插值c_n两个对角线方向上的4个对角像素，计算两个对角线像素距离的差值D₀；

如果(C_h＜th_h)或(D₀＜th_d0)，则判断出当前场F(n)待插值c_n处于平坦区域或垂直边缘区域，当前场F(n)待插值c_n的值等于当前场F(n)待插值c_n上下两个点的均值；

如果(C_h≥th_h)且(C_v＜th_v)且(D₀＞th_d0)，则判断出当前场F(n)待插值c_n处于水平边缘区域，当前场F(n)待插值c_n点的值由对角像素的均值得到，所述对角像素的均值选择对角线上的像素点差值较小的两点的均值；

如果(C_h≥th_h)且(C_v≥th_v)且(D₀＞th_d0)，则判断出前场F(n)待插值c_n处于对角边缘区域，进行对角边缘细化，找出最佳的边缘方向，

(3)经过运动检测判断出当前场F(n)待插值c_n为静止的，执行时域插值计算待插值c_n：

其中，thr1＝5、thr2＝10，th_h＝th_v＝10，th_d0＝6。

2.如权利要求1所述的视频运动自适应去隔行的方法，其特征在于步骤(1)(A)替换为判断是否：|c_n+1-uc_n|＞thr1和|c_n+1-dc_n|＞thr1和|uc_n+1-uc_n|＞thr1和|dc_n+1-dc_n|＞thr1。

3.如权利要求1所述的视频运动自适应去隔行的方法，其特征在于步骤(1)(B)替换为判断是否：sign(c_n+1-uc_n)＝sign(c_n+1-dc_n)＝sign(uc_n+1-uc_n)＝sign(dc_n+1-dc_n)。

4.如权利要求1所述的视频运动自适应去隔行的方法，其特征在于进行步骤(1)(C)后，进一步判断待插值c_n的运动状态：

(A1)如果当前场F(n)待插值c_n为运动点，其相邻8个点中运动点的个数与阈值thr3比较，如果大于thr3，则判定c_n为运动点，反之c_n为静止点；

(B1)如果当前场F(n)待插值c_n为静止点，其相邻8个点中运动点的个数与阈值thr4比较，如果大于thr4，则判定c_n为运动点，反之c_n为静止点；

其中，Thr3＝3、Thr4＝4。

5.如权利要求1所述的视频运动自适应去隔行的方法，其特征在于步骤(2)(A)梯度系数C_h和C_v的计算方法采用Sobel算子，其中P1、N1、N2、N3、P2为待插值c_n上行从左到右依次排列的五个点，N2在待插值c_n的正上方，P3、N4、N5、N6、P4为待插值c_n下行从左到右依次排列的五个点，N5在待插值c_n的正下方；

C_h＝|N₁+2N₂+N₃-N₄-2N₅-N₆|；

C_v＝|N₁-N₃+N₄-N₆|。

6.如权利要求1所述的视频运动自适应去隔行的方法，其特征在于步骤(2)(B)两个对角线像素距离的差值的计算方法为：D₀＝||N₁-N₆|-|N₃-N₄||；

其中P1、N1、N2、N3、P2为待插值c_n上行从左到右依次排列的五个点，P3、N4、N5、N6、P4为待插值c_n下行从左到右依次排列的五个点。

7.如权利要求1所述的视频运动自适应去隔行的方法，其特征在于步骤(2)所述对角边缘方向细化的方法，包括如下步骤：

(a)计算边缘的方向，计算边缘与x轴的夹角A，得到a₀、a₁、a₂、a₃四种边沿方向：方向a₀通过第一象限和第五象限，方向a₁通过第二象限和第六象限，方向a₂通过第三象限和第七象限；方向a₃通过第四象限和第八象限，从而将像素点位置分为八个象限；

(b)用线性插值算法计算出用于插值的亚象素点；

(c)针对不同的边缘方得到待插值c_n：在a₀方向时，c_n为第一或第五象限内的像素点或亚像素点的均值；在a₁方向时，c_n为第二或第六象限内的像素点或亚像素点的均值；在a₂方向时，c_n为第三或第七象限内的像素点或亚像素点的均值；在a₃方向时，c_n为第四或第八象限内的像素点或亚像素点的均值。

8.如权利要求1所述的视频运动自适应去隔行的方法，其特征在于步骤(3)所述的时域插值采用线性时域滤波算法，用前后两场对应象素点的亮度均值进行插补，插值公式为：c_n＝(c_n-1+c_n+1)/2。

9.一种运动检测方法，其特征在于：选取当前场F(n)和后一场F(n+1)中的图像数据，其中c_n为当前场F(n)的待插值，uc_n为c_n上行对应的点、dc_n为c_n下行对应的点，c_n+1为后一场F(n+1)中对应于c_n点的值，uc_n+1为c_n+1上行对应的点，dc_n+1为c_n+1下行对应的点，进行下列判断：

(A)通过当前待插场F(n)和后一场F(n+1)对应点之间的运动向量差值，判断是否：

|c_n+1-uc_n|＞thr1和|c_n+1-dc_n|＞thr1

(B)判断是否：sign(c_n+1-uc_n)＝sign(c_n+1-dc_n)

sign()表示值的符号，1表示为正，0表示为负

(C)选取前一场F(n-1)中的图像数据，其中c_n-1为前一场F(n-1)中对应当前场F(n)的c_n值，判断是否：|c_n+1-c_n-1|＞thr2

其中，thr1＝5、thr2＝10；

若同时满足(A)、(B)以及(C)，则当前场F(n)待插值c_n为运动的，否则为静止的。

10.如权利要求9所述的运动检测方法的方法，其特征在于步骤(A)替换为判断是否：

|c_n+1-uc_n|＞thr1和|c_n+1-dc_n|＞thr1和|uc_n+1-uc_n|＞thr1和|dc_n+1-dc_n|＞thr1。

11.如权利要求9所述的运动检测方法的方法，其特征在于步骤(B)替换为判断是否：

sign(c_n+1-uc_n)＝sign(c_n+1-dc_n)＝sign(uc_n+1-uc_n)＝sign(dc_n+1-dc_n)。

12.如权利要求9所述的运动检测方法的方法，其特征在于进行步骤(C)后，进一步判断待插值c_n的运动状态：

(A1)如果当前场F(n)待插值c_n为运动点，其相邻8个点中运动点的个数与阈值thr3比较，如果大于thr3，则判定c_n为运动点，反之c_n为静止点；

(B1)如果当前场F(n)待插值c_n为静止点，其相邻8个点中运动点的个数与阈值thr4比较，如果大于thr4，则判定c_n为运动点，反之c_n为静止点；

其中，Thr3＝3、Thr4＝4。

13.一种视频运动自适应去隔行的装置，包括运动检测模块、空间插值运算模块、时域插值运算模块以及运动自适应模块，所述的运动检测模块输入当前场F(n)、后一场F(n+1)以及前一场F(n-1)中的图像数据，所述运动检测模块判断图像的运动状态，根据当前场和后一场的图像运动状态，以及前一场和后一场的图像运动状态判断当前场F(n)待插值c_n为是否为运动的，若c_n为运动的，则输出为第一状态；若为静止的，则输出为第二状态；所述的空间插值运算模块输入当前场F(n)的图像数据，所述空间插值运算模块沿边缘方向做空间插值，在当前帧各自的象素位置计算边缘方向；所述的时域插值运算模块输入后一场F(n+1)以及前一场F(n-1)的图像数据，其中c_n为当前场F(n)的待插值，uc_n为c_n上行对应的点、dc_n为c_n下行对应的点，c_n+1为后一场F(n+1)中对应于c_n点的值，uc_n+1为c_n+1上行对应的点，dc_n+1为c_n+1下行对应的点，c_n-1为前一场F(n-1)中对应当前场F(n)的c_n对应的点，所述运动检测模块、空间插值运算模块、时域插值运算模块连接运动自适应模块，运动自适应模块根据运动检测模块的判断结果，选择空间插值运算模块或时域插值运算模块的输出。

14.如权利要求13所述的视频运动自适应去隔行的装置，其特征在于：所述运动自适应模块判断运动检测模块的输出，运动检测模块的输出为第一状态时，即当前点为运动，则运动自适应模块选择输出空间插值运算模块的结果；运动检测模块的输为第二状态，即当前点为静止，则运动自适应模块选择输出时域插值运算模块的结果。

15.如权利要求13所述的视频运动自适应去隔行的装置，其特征在于：所述时域插值运算模块根据前一帧和后一帧的象素计算当前帧。

16.如权利要求13所述的视频运动自适应去隔行的装置，其特征在于：所述的运动检测模块输入当前场F(n)和后一场F(n+1)中的图像数据，其中c_n为当前场F(n)的待插值，uc_n为c_n上行对应的点、dc_n为c_n下行对应的点，c_n+1为后一场F(n+1)中对应于c_n点的值，uc_n+1为c_n+1上行对应的点，dc_n+1为c_n+1下行对应的点，进行下列判断：

(A)计算是否：|c_n+1-uc_n|＞thr1和|c_n+1-dc_n|＞thr1

(B)计算是否：sign(c_n+1-uc_n)＝sign(c_n+1-dc_n)

sign()表示值的符号，1表示为正，0表示为负

(C)选取前一场F(n-1)中的图像数据，其中c_n-1为前一场F(n-1)中对应当前场F(n)的c_n值，判断是否：|c_n+1-c_n-1|＞thr2；

其中，thr1＝5、thr2＝10

若同时满足(A)、(B)以及(C)，则运动检测模块判断当前场F(n)待插值c_n为运动的，输出第一状态，否则为静止的，输出第二状态。

17.如权利要求16所述的视频运动自适应去隔行的装置，其特征在于将(A)的计算替换为：

|c_n+1-uc_n|＞thr1和|c_n+1-dc_n|＞thr1和|uc_n+1-uc_n|＞thr1和|dc_n+1-dc_n|＞thr1。

18.如权利要求16所述的视频运动自适应去隔行的装置，其特征在于将(B)的计算替换为sign(c_n+1-uc_n)＝sign(c_n+1-dc_n)＝sign(uc_n+1-uc_n)＝sign(dc_n+1-dc_n)。

19.如权利要求16所述的视频运动自适应去隔行的装置，进一步判断待插值c_n的运动状态：

(A1)如果当前场F(n)待插值c_n为运动点，其相邻8个点中运动点的个数与阈值thr3比较，如果大于thr3，则判定c_n为运动点，反之c_n为静止点；

(B1)如果当前场F(n)待插值c_n为静止点，其相邻8个点中运动点的个数与阈值thr4比较，如果大于thr4，则判定c_n为运动点，反之c_n为静止点；

其中，Thr3＝3、Thr4＝4。

20.如权利要求13所述的视频运动自适应去隔行的装置，其特征在于所述的空间插值模块计算当前场F(n)待插值c_n在水平方向的梯度系数C_h和垂直方向的梯度系数C_v，同时选择当前场F(n)待插值c_n两个对角线方向上的4个对角像素，计算两个对角线像素距离的差值D₀；

如果(C_h＜th_h)或(D₀＜th_d0)，则判断出当前场F(n)待插值c_n处于平坦区域或垂直边缘区域，当前场F(n)待插值c_n的值等于当前场F(n)待插值c_n上下两个点的均值；

如果(C_h≥th_h)且(C_v＜th_v)且(D₀＞th_d0)，则判断出当前场F(n)待插值c_n处于水平边缘区域，当前场F(n)待插值c_n点的值由对角像素的均值得到，所述对角像素的均值选择对角线上的像素点差值较小的两点的均值；

如果(C_h≥th_h)且(C_v≥th_v)且(D₀＞th_d0)，则判断出前场F(n)待插值c_n处于对角边缘区域，进行对角边缘细化，找出最佳的边缘方向；

其中，th_h＝th_v＝10，th_d0＝6。

Images