CN100336395C

CN100336395C - 数字化电视后处理去隔行技术的自适应运动检测方法

Info

Publication number: CN100336395C
Application number: CNB2004100263624A
Authority: CN
Inventors: 郑南宁; 肖瑞洁; 葛晨阳; 沈云红; 李永; 柴屹华
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2004-07-26
Filing date: 2004-07-26
Publication date: 2007-09-05
Anticipated expiration: 2024-07-26
Also published as: CN1599446A

Abstract

本发明公开了一种用于数字化电视后处理去隔行技术的自适应运动检测方法，包括自适应阈值选择，帧差场差非线性映射，运动信息归一化和边缘场保护四个步骤，本发明充分考虑硬件的实现因素，对象素点的运动相当敏感，具有低成本、行存少、硬件易实现，以及边缘保护的特点，能够很好地解决消锯齿过程中因图像中的运动物体与静止物体错误区分，而导致的补偿出来的逐行图象在边缘区域的失真现象。

Description

数字化电视后处理去隔行技术的自适应运动检测方法

技术领域

本发明属于计算视频、数字化电视后处理中的去隔行技术领域，具体涉及一种具有边缘保护的基于场差和场差的自适应运动检测方法。

背景技术

运动检测广泛应用于计算视频领域，是运动分析的重要基础和组成部分。尤其在数字处理电视的后处理技术中的电视扫描格式转换去隔行技术领域里，与去隔行技术中的运动补偿方法相辅相成，共同起着至关重要的作用，直接关系到处理后图象质量的好坏问题。

随着应用逐行扫描格式的高清晰度电视、PC机视频，以及背投电视，等离子电视(PDP)等高清晰度大屏幕显示器的出现；另外传统隔行扫描的固有特性而无法消除的损坏图象质量，如边缘闪烁，行间闪烁，图像垂直清晰度降低，和行爬行等现象，所以隔行扫描已不能满足人们目前的需要。在目前隔行、逐行扫描技术并存的过渡阶段，在不同设备之间传输视频信号进行视频格式转换就显得十分必要。去隔行技术是专门针对隔行到逐行转换问题的解决方案，运动检测技术又是去隔行技术中极为重要的第一步，运动信息检测的正确与否直接关系到后一步运动补偿方法的效果，最终影响图象质量的好坏。在本发明以前的现有技术中，对于动静点的检测一般采用传统的基于场差(DFD)加运动扩展的检测方法：即相邻两场的亮度差大于一定阈值则认为是运动点，否则认为是静止点，最后再进行运动扩展处理。这种方法容易造成误判断，不仅对电视信号中广泛存在的噪声很敏感，容易将静止点当作运动点，造成垂直清晰度降低一半，导致静止图象失真，尤其不能正确的检测出运动的斜边等特殊场景，错把运动点当成静止点，造成消锯齿消不干净，图象质量不可忍受。目前还没有一种方法可以既使硬件实现简单易行，又可以十分准确的区分运动静止和检测出运动斜边，同时可以很好地解决运动检测错误所造成的图象失真，质量下降的问题。

发明内容

针对上述现有技术存在的缺陷或不足，本发明的目的在于提供一种低成本、硬件易实现、具有边缘保护的基于帧差和场差的自适应运动的数字化运动检测方案，并能够同时很好地解决因图像中的运动物体与静止物体错误区分，而导致的补偿出来的逐行图象在边缘区域的失真现象。

现将本发明方法叙述如下：首先对以下全文通用的数字标识进行解释说明：函数f均代表图象的亮度信息；f_n表示第n场(当前待插场)的亮度信息；f_n-1表示第n-1场(前一场)的亮度信息；(i，j)表示图象第i行j列的象素的空间位置；f_n(i，j)表示位于第n场(i，j)处的采样象素点的亮度值。f_sp为运动补偿的结果，同时也作为运动点的最终结果输出。

为达到上述目的，本发明用于数字化电视后处理去隔行技术的自适应运动检测方法(总方法框图见图1)，首先需要在存储器中读入前一场、当前场、后一场(f_n-1，f_n，f_n+1)三场图像亮度的数据信息，其特征在于：运动检测包括以下步骤(见图2)：

步骤1：对于象素不同的亮度选取不同的划分运动静止的阈值，即建立象素不同的亮度与划分运动静止的阈值的一一对应关系；所述的划分运动静止的阈值是：考虑到人眼对不同亮度的敏感程度不同，对不同的亮度的象素采用不同的阈值来判断运动静止，假设f_n是当前场图像，f_n(i，j)是当前场空间位置(i，j)的象素点的亮度值；th(i，j)是根据当前点亮度值的不同自适应变化的运动检测阈值，将这些对应关系写入一个查找表(LUT)中，其th(i，j)的计算如下：

步骤2：利用到相邻三场图象的帧差和场差信息，通过一个非线性映射函数来得到最大运动信息；所述基于帧差场差非线性映射函数是：利用图象的帧差和场差信息，根据当前点的垂直细节丰富程度，通过一个非线性映射函数来找出最大运动信息。

步骤3：取得运动信息归一化的运动系数alpha；所述的运动信息归一化是：利用最大运动信息和静止图象的垂直细节条件，归一化得到运动系数alpha。

步骤4：利用形态学算子操作来划分运动和静止，并保护边缘场，以弥补在运动与静止部分边缘的交界处所产生的补偿失真；所述边缘场保护是：求出所要处理像素的临域内的运动点的个数，并根据阈值来确定该像素是否受到保护；从而修正由于运动补偿算法所带来的新的边缘锯齿效应，具体方法步骤如下：

对要处理的点的8临域进行分析，其表达式如下：

SumMotion(i，j)＝Sum(alpha(m，n))； (10)

其中

[\begin{matrix} i - 1 \leq m \leq i + 1 \\ j - 1 \leq n \leq j + 1 \end{matrix}]

式(10)中的Sum()是求和函数，式(9)中的SumTh是根据经验选取的阈值，其目的是求出每一点所对应的Protect[i，j]的值，如果该值为1，则其对应的点就受到保护，而不进行任何运算；反之，则表明该点需要通过运动补偿算法的处理。

上述自适应运动检测的方法，步骤2按以下具体步骤进行：

步骤2.1假设f_n是当前帧图像，f_n-1是上一帧图像；f_n(i，j)和f_n-1(i，j)分别是当前帧和前一帧空间位置是(i，j)的象素点的亮度值；

步骤2.2：用ve(i，j)来判断当前点的垂直细节丰程度，如下：

ve(i，j)＝|f_n(i-1，j)-f_n(i+1，j)| (2)

步骤2.3：根据垂直细节丰富程度ve(i，j)，进行归一化处理，得到下述加权系数delta

其中t1，t2是两个经验阈值，且满足0＜t1＜t2＜255。

步骤2.4：设当前点处的帧差和场差表示为：

帧差：FrameDif(i，j)＝|f_n-1(i，j)-f_n+1(i，j)|；

向后场差：

FieldDif_B (i, j) = | \frac{[f_{n} (i - 1, j) - f_{n} (i + 1, j)]}{2} - f_{n - 1} (i, j) |;

向前场差：

FieldDif_F (i, j) = | \frac{[f_{n} (i - 1, j) - f_{n} (i + 1, j)}{2} - f_{n + 1} (i, j) |;

(4)

步骤2.5：根据步骤2.2比较垂直细节加权了的帧差和场差，得到当前点的最大运动信息如下：

MaxMotion(i，j)＝

max[FrameDif(i，j)，delta*FieldDif_F(i，j)，delta*FieldDif_B(i，j)]；(5)

上述自适应运动检测的方法，步骤3按以下具体步骤进行：

步骤3.1：同时考虑到垂直细节丰富的静止图象，建立如下模型：

定义垂直三点的帧差分别为：

sta1(i，j)＝|f_n-1(i-1，j)-f_n+1(i-1，j)|；

sta2(i，j)＝|f_n-1(i，j)-(f_n+1(i，j)|； (6)

sta3(i，j)＝|f_n-1(i+1，j)-f_n+1(i+1，j)|；

SumSta(i，j)＝sta1(i，j)+sta2(i，j)+sta3(i，j)；

步骤3.2：定义运动检测的判断条件，这时需要根据当前点亮度值，在LUT查找表中读出所对应的阈值。

Cond1＝

(MaxMotion(i，j)＞th(i，j)+δ)并且SumSta(i，j)＞0；

Cond2＝ (7)

(th(i，j)-δ＜MaxMotion(i，j)≤th(i，j)+δ)

并且SumSta(i，j)＞0；

步骤3.3：运动系数alpha的确定：假设用运动系数alpha(i，j)来表明f_n(i，j)是运动还是静止，则alpha(i，j)的表达式如下：

如果alpha为1，表明该像素f_n(i，j)属于绝对运动部分；如果alpha为0，表明该像素f_n(i，j)属于绝对静止部分；如果alpha介于0-1之间，则表示该象素点的运动程度不大也不小。

该基于帧差场差非线性映射模型的建立，充分考虑了垂直细节丰富的运动图象和静止图象的区分，能够很好的检测出去隔行技术中存在的运动斜边的现象。

附图说明

图1：本发明的系统流程图。

图2：图1中运动检测的细化示意框图；

图3：本发明的自适应运动阈值选择的示意图；

图4：人眼对不同亮度下的敏感程度示意曲线；

图5：垂直细节的非线性映射函数示意图；

图6：帧差和场差计算的示意图；

图7：亮度-阈值对照表(LUT)

以下结合附图对本发明具体实施方式作进一步的详细描述。

参照图1：表明了本发明在数字化电视后处理去隔行技术中所承担的角色，有暗色背景的方框内是本发明运动检测方法的主要步骤，首先在存储器中读入前一场、当前场、后一场fn-1，fn，fn+1三场图像亮度的数据信息后进入本发明方法。第一步：自适应阈值选择、写入一个查找表(LUT)中；第二步：建立基于帧差场差非线性映射模型没，同时计算运动指数alpha；第三步：8领域分析，保护当前点，若边缘场不受保护，则作为运动点进行方向相关内差fsp，若边缘场收到保护，则作为静止点进行时间差fst；然后根据计算运动指数alpha、方向相关内差fsp、时间插值fst，输出alpha*fsp+alphafst结果，最后与当前帧一同行交替输出逐行图像。

参照图2：表明了本发明运动检测方法的四个步骤的详细过程，步骤1.1：建立象素不同的亮度与划分运动静止的阈值的一一对应关系；对不同的亮度的象素采用不同的阈值来判断运动静止，写入一个查找表(LUT)中；步骤2.1：用垂直细节丰富度ve(i，j)来判断当前点的垂直细节丰富程度；步骤2.2：由ve(i，j)得到归一化加权值delta；步骤2.3：定义帧差和场差；步骤2.4：得到当前点的最大运动信息；步骤3.1：定义垂直三点帧差；步骤3.2：结合步骤1.1和步骤3.1，定义运动检测的判断条件Cond1和Cond2；步骤3.3：结合步骤1.1和步骤3.2确定运动系数alpha(i，j)；步骤4.1：8领域分析，确定边缘场是否受保护，若边缘场不受到保护，则作为运动点用方向相关运动补偿法进行内差fsp，若边缘场受到保护，则作为静止点进行时间插fst。

参见图3：表明了人眼对不同亮度下的敏感程度。纵坐标为人眼敏感程度值，横坐标为亮度值。

参见图4：表明了亮度与运动检测阈值的关系曲线，根据不同的亮度象素采用不同的阈值来判断运动静止，纵坐标为阈值，横坐标为亮度值。

参见图5：表明了用垂直细节丰富度来判断当前点的垂直细节丰富程度，纵坐标表示加权系数，横坐标表示垂直边缘细节。

参见图6：表明了基于帧差和场插的三维示意图，三坐标轴分别是时间、列、行。

参见图7：根据图3、图4建立的亮度-阈值对照表。

具体实施方式

实施例1：

步骤1：(参见图1、图2)建立象素不同的亮度与划分运动静止的阈值的一一对应关系；所述自适应阈值选择算法是：考虑到人眼对不同亮度的敏感程度不同，对不同的亮度的象素采用不同的阈值来判断运动静止，写入一个查找表(LUT)(图7)中。

如图3给出了人眼对不同亮度下的敏感程度示意曲线，在亮度值越接近两头最暗(亮度值在0附近)和最亮(亮度值在255附近)的区域，人眼对其亮度变化最不敏感；而在越接近中间(亮度值在128附近)，人眼对亮度变化最敏感。由此，提出了根据亮度不同而自适应选取不同阈值的算法，亮度与阈值的函数关系如图4所示。该函数的数学模型如下：

步骤1.1：假设f_n是当前场图像，f_n(i，j)是当前场空间位置(i，j)的象素点的亮度值；th(i，j)是根据当前点亮度值的不同自适应变化的运动检测阈值，将这些对应关系写入一个LUT查找表中。其th(i，j)的计算如下：

步骤2：所述基于帧差场差非线性映射方法是：利用图象的帧差和场差信息，根据当前点的垂直细节丰富程度，通过一个非线性映射函数来找出最大运动信息。

步骤2.1：假设f_n是当前场图像，f_n-1是上一场图像；f_n(i，j)和f_n-1(i，j)分别是当前场和前一场空间位置是(i，j)的象素点的亮度值；

步骤2.2：(参见图5)用垂直细节丰富度ve(i，j)来判断当前点的垂直细节丰富程度，如下：

ve(i，j)＝|f_n(i-1，j)-_fn(i+1，j)| (2)

步骤2.3：根据垂直细节丰富度ve(i，j)，将ve(i，j)非线性映射到[0，1]区间，如图3所示，t1，t2是经验值确定的两个参数。得到一个归一化加权值delta，假设t1＝32，t2＝128：

图6表示了帧差和场差的计算示意图。给定隔行输入的三场信号f_n，f_n-1，f_n+1，每场信号中用实线表示的行代表隔行信号中实际存在的信号行，用虚线表示的行代表隔行信号中待插补的信号行，黑色实心圆圈表示输入的隔行信号中实际存在的象素，空心圆圈表示当前场f_n中不存在的待插补的象素。i，j表示了象素的空间位置参数。待插象素处于(i，j)处。

步骤2.4：当前点处的帧差和场差表示为：

帧差：FrameDif(i，j)＝|f_n-1(i，j)-f_n+1(i，j)|；

向后场差：

FieldDif_B (i, j) = | \frac{[f_{n} (i - 1, j) - f_{n} (i + 1, j)}{2} - f_{n - 1} (i, j) |; . . . (4)

向前场差：

FieldDif_F (i, j) = | \frac{[f_{n} (i - 1, j) - f_{n} (i + 1, j)]}{2} - f_{n + 1} (i, j) |;

步骤2.5：比较垂直细节加权了的帧差和场差，得到当前点的最大运动信息，如下：

MaxMotion(i，j)＝ (5)

max[FrameDif(i，j)，delta*FieldDif_F(i，j)，delta*FieldDif_B(i，j)]；

步骤3：所述的运动信息归一化方法是：利用最大运动信息和静止图象的垂直细节条件，归一化得到运动系数alpha。

定义垂直三邻点的帧差分别为：

sta1(i，j)＝|f_n-1(i-1，j)-f_n+1(i-1，j)|；

sta2(i，j)＝f_n-1(i，j)-f_n+1(i，j)|； (6)

sta3(i，j)＝|f_n-1(i+1，j)-f_n+1(i+1，j)|；

SumSta(i，j)＝sta1(i，j)+sta2(i，j)+sta3(i，j)；

这时需要根据当前点亮度值，在LUT查找表中读出所对应的阈值。

步骤3.2：运动检测的判断条件定义如下：

Cond1＝

(MaxMotion(i，j)＞th(i，j)+δ)并且SumSta(i，j)＞0；

Cond2＝ (7)

(th(i，j)-δ＜MaxMotion(i，j)≤th(i，j)+δ)

并且SumSta(i，j)＞0；

步骤3.3：假设用运动系数alpha(i，j)来表明f_n(i，j)是运动还是静止，则alpha(i，j)的表达式如下：

步骤4：所述边缘场保护算法是：求出所要处理像素的临域内的运动点的个数，并根据阈值来确定该像素是否受到保护；从而修正由于运动补偿算法所带来的新的边缘锯齿效应；

步骤4.1：对要处理的点的8临域进行分析，其表达式如下：

SumMotion(i，j)＝Sum(alpha(m，n))；

其中

\{\begin{matrix} i - 1 \leq m \leq i + 1 \\ j - 1 \leq n \leq j + 1 \end{matrix}\} . . . (10)

该方法首先对要处理的点的8临域进行分析，其表达式如下：

SumMotion(i，j)＝Sum(alpha[m，n])；

其中

\{\begin{matrix} i - 1 \leq m \leq i + 1 \\ j - 1 \leq n \leq j + 1 \end{matrix}\} . . . (10)

式(10)中的Sum(alpha[m，n])是求和函数，式(9)中的SumTh是根据经验选取的阈值，其目的是求出每一点所对应的Protect[i，j]的值，如果该值为1，则其对应的点就受到保护，而不进行任何运算；反之，则表明该点需要通过运动补偿方法的处理。

本发明自适应运动检测方法可同任何相关技术匹配，也可以同方向相关运动补偿相匹配。这里我们采用方向相关运动补偿方法的结果为f_sp，同时也作为完全运动点的最终结果输出。最后图象调整生成逐行图象。

Claims

1、数字化电视后处理去隔行技术的自适应运动检测方法，首先需要在存储器中读入前一场、当前场、后一场(f_n-1，f_n，f_n+1)三场图像亮度的数据信息，然后进入运动检测，其特征在于：运动检测包括以下步骤：

步骤2：利用到相邻三场图象的帧差和场差信息，通过一个非线性映射函数来得到最大运动信息；所述基于帧差场差非线性映射函数是：利用图象的帧差和场差信息，根据当前点的垂直细节丰富程度，通过一个非线性映射函数来找出最大运动信息；

步骤3：取得运动信息归一化的运动系数alpha；所述的运动信息归一化是：利用最大运动信息和静止图象的垂直细节条件，归一化得到运动系数alpha；

对要处理的点的8临域进行分析，其表达式如下：

SumMotion(i，j)＝Sum(alpha(m，n))； (10)

其中

\{\begin{matrix} i - 1 \leq m \leq i + 1 \\ j - 1 \leq n \leq j + 1 \end{matrix}\}

2、根据权利要求1所述的一种用于数字化电视后处理去隔行技术的自适应运动检测方法，其特征在于：步骤2的具体方法步骤如下：

步骤2.1：假设f_n是当前帧图像，f_n-1是上一帧图像；f_n(i，j)和f_n-1(i，j)分别是当前帧和前一帧空间位置是(i，j)的象素点的亮度值；

步骤2.2：用ve(i，j)来判断当前点的垂直细节丰富程度，如下：

ve(i，j)＝|f_n(i-1，j)-f_n(i+1，j)| (2)

步骤2.3：根据垂直细节丰富程度ve(i，j)，进行归一化处理，得到下述加权系数delta，

其中t1，t2是两个经验阈值，且满足0＜t1＜t2＜255；

步骤2.4：设当前点处的帧差和场差表示为：

帧差：FrameDif(i，j)＝|f_n-1(i，j)-f_n+1(i，j)|；

向后场差：

FieldDif_B (i, j) = | \frac{[f_{n} (i - 1, j) - f_{n} (i + 1, j)]}{2} - f_{n - 1} (i, j) |; . . . (4)

向前场差：

FieldDif_F (i, j) = | \frac{[f_{n} (i - 1, j) - f_{n} (i + 1, j)]}{2} - f_{n + 1} (i, j) |;

MaxMotion(i，j)＝ (5)

max[FrameDif(i，j)，delta*FieldDif_F(i，j)，delta*FieldDif_B(i，j)]。

3、根据权利要求1所述的一种用于数字化电视后处理去隔行技术的自适应运动检测方法，其特征在于：步骤3的具体方法步骤如下：

定义垂直三邻点的帧差分别为：

sta1(i，j)＝|f_n-1(i-1，j)-f_n+1(i-1，j)|；

sta2(i，j)＝|f_n-1(i，j)-f_n+1(i，j)|； (6)

sta3(i，j)＝|f_n-1(i+1，j)-f_n+1(i+1，j)|；

SumSta(i，j)＝sta1(i，j)+sta2(i，j)+sta3(i，j)；

这时需要根据当前点亮度值，在LUT查找表中读出所对应的阈值；

步骤3.2：运动检测的判断条件定义如下：

Cond1＝

(MaxMotion(i，j)＞th(i，j)+δ)并且SumSta(i，j)＞0；

Cond2＝

(th(i，j)-δ＜MaxMotion(i，j)≤th(i，j)+δ) (7)

并且SumSta(i，j)＞0；

如alpha(i，j)为1，表明该像素f_n(i，j)属于绝对运动部分；如果alpha(i，j)为0，表明该像素f_n(i，j)属于绝对静止部分；如果alpha介于0-1之间，则表示该象素点的运动程度不大也不小。