CN100366071C - 数字电视后处理去隔行技术的方向相关运动补偿方法 - Google Patents

Abstract

本发明涉及一种数字处理逐行扫描电视信号的去隔行方向相关运动补偿方法，采用运动补偿去隔行技术。其特征在于：包括基于有消噪功能的方向相关滤波、基于象素的运动估计、滤波补偿模型方法步骤。本发明方法提供了一种低成本、硬件易实现，有良好的边缘保护和运动斜边保护的性能和消锯齿能力的方案，用本发明方法可以很好的消除运动失真，边缘闪烁，行间闪烁，图像垂直清晰度降低，和爬行等现象。具有实时、高效的特点。产品化后的性价比远高于现有国际品牌的产品。

Description

数字电视后处理去隔行技术的方向相关运动补偿方法

技术领域

本发明属于计算视频、数字电视后处理中的去隔行技术领域，具体涉及一种利用方向相关滤波和基于象素的运动估计和补偿模型的运动补偿方法。

背景技术

随着应用逐行扫描格式的高清晰度电视、PC机视频，以及背投电视，等离子电视(PDP)等高清晰度大屏幕显示器的出现，传统的隔行扫描技术因其固有特性而无法消除损坏图象质量的现象，已不能满足人们目前的需要。在隔行、逐行扫描技术并存的过渡阶段，进行不同设备之间传输视频信号的格式转换就显得十分必要。在本发明以前的国内外现有技术中，一般用去隔行技术将现行的隔行扫描电视信号直接转换为逐行扫描信号，但由于时空差异，会造成图像中运动物体产生边缘模糊与锯齿现象。运动补偿方法是去隔行技术中最重要的部分，它可以克服模拟电视的缺陷，在不改变现行电视制式的前提下，通过扫描格式的转换，变隔行扫描为逐行扫描，提高清晰度，实现对普通各种视频信号的数字处理，并实现与计算机VGA显示方式的兼容。但是传统的运动补偿方法仍不能完全消除运动的斜边锯齿，消除图象闪烁和爬行，同时会引入计算带来的噪声。据了解，美国Trident公司和NDSP公司的产品在采用去隔行技术后，视频仍有比较明显的闪烁，边缘也有明显的锯齿现象。世界知名企业Genesis公司的技术在国际上虽然处于领先地位，但其产品也存在噪声，图像清晰度下降和锯齿消除不干净的问题，同时其产品价格昂贵，性价比差。涉及图像中运动物体产生边缘模糊与锯齿现象的技术解决方案，由于该公司的保密，未见公开报道。目前为止，还没有发现一种方法可以同时很好地解决运动物体与静止物体的模糊失真、完全消锯齿及抑止噪声的问题。

发明内容

针对上述现有技术存在的问题，弥补现有去隔行技术的缺陷，本发明的目的在于，提供一种成本低、硬件易实现的数字自适应方向相关运动补偿去隔行技术处理方案，即用方向相关滤波和基于象素的运动估计和补偿模型方法，在保证良好的消锯齿能力的前提下，兼顾了边缘保护和运动斜边保护的性能，同时具有抑止噪声能力和较高的稳定性。

现将本发明方法叙述如下：首先对以下全文通用的数字标识进行解释说明：函数f均代表图象的亮度信息；f_n表示第n场(当前待插场)的亮度信息；f_n-1表示第n-1场(前一场)的亮度信息；(i，j)表示图象第i行j列的象素的空间位置；f_n(i，j)表示位于第n场(i，j)处的采样象素点的亮度值。f_sp为运动补偿的结果，同时也作为运动点的最终结果输出；

为达到本发明目的，本发明采用运动补偿去隔行技术(总方法框图见图1)；先需要在存储器中读入前一场、当前场、后一场(f_n-1，f_n，f_n+1)三场图像亮度的数据信息，然后根据读入的数据进行逐象素的运动检测；根据运动检测信息判断待插点是否是运动点，若是，则进入方向相关运动补偿方法步骤：其特征在于：所述方向相关运动补偿方法，包括具有消噪功能的方向相关滤波、基于象素的运动估计、滤波补偿三个步骤；

步骤1：所述具有消噪功能的方向相关滤波步骤是指在运动物体中找到当前待插点所具有的最大空间相关性的方向，即在一个窗口内根据相关性检测判据确定一个采样点空间邻域相关性最大的方向，具体如下：

步骤1.1：假设在当前场f_n内待插点位于(i，j)处，定义一个以(i，j)为待插点的穿过两个相邻行的2x(2*N+1)的窗口W_2N+1，其中(i，j)是对称中心(见图3a)。该窗口定义为：

$W_{2N+1}=\left[\begin{array}{c}{f}_n(i-1,j-N),...,f_n(i-1,j+N)\\ f_n(i+1,j-N),...,f_n(i+1,j+N)\end{array}\right]---\left(1\right)$

步骤1.2：考虑到窗口W_2N+1内象素的空间相关性，在窗口W_2N+1内定义一个通过(i，j)点的不同方向的空间相关度定义为：

$C\left(x\right)=\underset{k=-\mathrm{thk}}{\overset{\mathrm{thk}}{\mathrm{\Σ}}}|f_n(i-1,j+x+k)-f_n(i+1,j-x+k)|---\left(2\right)$

其中-thx≤x≤thx

空间相关度C(x)给出了求通过(i，j)点空间相关性最大的方向的判别依据。该式不仅适合理想无噪的情况，同时也适合实际电视信号中普遍存在着椒盐噪声的情况。k是抑噪因子，以减少的椒盐噪声对其邻域内的空间相关度的计算的影响。该模型的抗噪能力对图象的平缓区域效果尤为显著。

步骤1.3：最大相关性方向由步骤1.2中定义的C(x)的窗口内最小值得到。最大相关性方向判别准则以及定义该方向的方向性指数ind1的数学表达式为：

C(ind1)＝min{C(-thx)，...，C(thx)}    (3)

$\mathrm{ind}1=\underset{x}{\arg }\underset{-\mathrm{thx}<x<\mathrm{thx}}{\min }C\left(x\right)---\left(4\right)$

C(ind1)表示最大空间相关度，方向性指数ind1标明了最大空间相关方向。

步骤1.4：由步骤1.3中的方向性指数ind1得到空间相关性最大的方向(见图3b)，取这两个方向上的两特征点为：

f_up(i，j)＝f_n(i-1，j+ind1)

f_down(i，j)＝f_n(i+1，j-ind1)    (5)

步骤2：所述基于象素的运动估计步骤是指估计出前一场中最匹配点所处位置，即在待插像素临域内，搜寻与步骤1中具有方向特征的象素点f_up(i，j)和f_down(i，j)最匹配的象素点。通过对(i，j)处像素点的空间相关度C(x)的计算，以得到(i，j)点的相关性方向指数ind1，然后在前一场f_n-1中找到与该方向最匹配的象素点；

步骤3：所述滤波补偿步骤是指对电视信号中运动物体进行有效的补偿，即对以上两步已求出的最相关的点进行中值或均值滤波，得到最终的运动补偿输出结果。

实现上述运动补偿方法具体按以下步骤进行：

步骤2.1：假设在前一场f_n-1的i行内，确定一个以(i，j)位置为中心的1x(2*M+1)的搜索区域，在该区域内定义一个大小为1x(2*thq+1)的滑动窗口W_2*thq+1，(i，j+x)是窗口的对称中心(见图3c)。该窗口定义为：

$W_{2*\mathrm{thq}+1}=[f_{n-1}(i,j+x-\mathrm{thq}),...,f_n(i,j+x+\mathrm{thq})]---\left(6\right)$

步骤2.2：类似的，在窗口W_2*thq+1内定义空间匹配度M(x)为：

$M\left(x\right)=\underset{q=-\mathrm{thq}}{\overset{\mathrm{thq}}{\mathrm{\&Sigma;}}}\left[\begin{array}{c}|f_n(i-1,j+\mathrm{ind}1+q)-f_{n-1}(i,j+x+q)|\\ +|f_n(i+1,j-\mathrm{ind}1+q)-f_{n-1}(i,j-x+q)|\end{array}\right]---\left(7\right)$

其中x∈(-thmid，thmid)

空间匹配度M(x)给出了求场f_n-1中与场f_n中f_up(i，j)和f_down(i，j)最匹配的象素点的判别依据。该式同样考虑到了电视信号普遍存在的孤立点椒盐噪声的影响，普遍地适合普通电视信号的应用。

步骤2.3：滑动窗口W_2*thq+1取遍搜索区域里的每一个可能取值，按照空间匹配度M(x)定义，唯一的确定使得M(x)取值最小的x，定义为匹配度指数ind2。

M(ind2)＝min{M(-thmid)，...，M(thmid)}    (8)

$\mathrm{ind}2=\underset{x}{\arg }\underset{-\mathrm{thx}\&le;x\&le;\mathrm{thx}}{\min }M\left(x\right)---\left(9\right)$

步骤2.4：由步骤2.3中的方向性指数ind2可标识出与f_up(i，j)和f_down(i，j)最匹配的象素点的空间位置，则最匹配象素表示为(见图3b)：

f_middle(i，j)＝f_n-1(i，j+ind2)            (10)

步骤3.1：根据步骤1和步骤2中求得的f_up(i，j)，f_middle(i，j)和f_down(i，j)，最终的运动补偿输出结果为B，C，D三点的中值或均值。

定义运动补偿的运动补偿输出为：

fs(i，j)＝Med{f_up(i，j)，f_middle(i，j)，f_down(i，j)}    (11)

式(11)给出了最终的运动补偿输出结果，其中函数Med表示取中值运算。

附图说明

图1：本发明的去隔行技术的系统总框图；

图2：图1中运动补偿方法的细化示意框图；

图3：方向相关运动补偿方法的具体实施步骤图；

图3(a)运动补偿方法步骤1

图3(b)运动补偿方法步骤1的结果

图3(c)运动补偿方法步骤2

图3(d)运动补偿方法步骤2的结果

具体实施方式

以下结合附图对本发明作进一步的详细描述。

参见图1：表示去隔行技术的总体技术，首先要在存储器中读入三场信息，然后进行运动检测(运动检测方法另案申请)，然后判断待插点是否是运动点，若是，则进入本发明方向相关运动补偿方法步骤；步骤1：计算当前帧空间相关度最大方向及指数ind1，取该方向上两点fup、fdown；步骤2：根据ind1计算前一帧最匹配点f及ind2；步骤3：将fup、fdown、fmiddl通过一个三点中值滤波器得空间插值输出fsp，得出的运动补偿的结果，与运动检测方法得到的计算运动系数alpha、时间插值fst一起，得到最终输出。

参见图2：表示本发明方法步骤及各步骤之间的关系，其中W_2N+1为所定义的窗口，C(x)为不同方向的空间相关度，ind1、2为方向指数，fup、fdown、分别为在空间相关最大的方向具有方向特征的像素点，fsp为运动补偿的结果，W2^* _thmid+1为所定义的滑动窗口，M(x)为空间匹配度。步骤1.1：定义窗口W_2N+1；步骤1.2定义空间相关度C(x)；步骤1.3由C(x)在窗口W_2N+1内最小值得到方向性指数ind1；步骤1.4：由ind1得到最相关方向上的两特征点fup、fdown；：步骤2.1：定义窗口W2^* _thmid+1；步骤2..2：利用ind1在窗口W2^* _thmid+1内定义空间匹配度M(x)；步骤2.3：由M(x)在窗口W2^* _thmid+1内最小值得到匹配度指数ind2；步骤2.4：由ind2得到与fup、fdown；最匹配的点fmid；步骤3：fup、fdown、fmid的三点中或均值输出，作为最终的方向相关内插输出fsp。

参见图3：图示中的圆圈表示一个象素，其中黑色实线绘制的圆圈表示当前场f_n中实际存在的象素，虚线绘制的圆圈表示当前场f_n中不存在的待插补的象素。i，j表示了象素的空间位置参数。待插象素A处于(i，j)处。

参见图3(a)：表示了待插象素A处于(i，j)处的示意图。

参见图3(b)：表示了相关度最大的两点B、C的示意图。

参见图3(c)；表示了相关度最大的两点B、C、在定义窗口W2^* _thmid+1中的插值位置。

参见图3(d)：表示了由ind2得到与B、C最匹配的点D在定义窗口W2^* _thmid+1中的插值位置。

实施例：

步骤1：具有消噪功能的方向相关滤波算法步骤如图3(a)所示，求得的方向性指数ind1结果如图3(b)所示：

步骤1.1：假设在当前场f_n内待插点A位于(i，j)处，如图例子里我们假定取N＝4。首先定义一个以(i，j)为待插点的穿过两个相邻行i-1和i+1行的大小为2x9的滑动窗口W₉，其中(i，j)是对称中心。窗口W₉定义为：

$W_9=\left[\begin{array}{c}{f}_n(i-1,j-4),...,f_n(i-1,j+4)\\ f_n(i+1,j-4),...,f_n(i+1,j+4)\end{array}\right]---\left(1\right)$

步骤1.2：考虑到窗口W₉内象素的空间相关性，在窗口W₉内定义一个通过(i，j)点的不同方向的空间相关度定义为：

$C\left(x\right)=\underset{k=-2}{\overset{2}{\mathrm{\&Sigma;}}}|f_n(i-1,j+x+k)-f_n(i+1,j-x+k)|---\left(2\right)$

其中-2≤x≤2

空间相关度C(x)给出了求通过(i，j)点空间相关性最大的方向的判别依据。该式不仅适合理想无噪的情况，同时也适合实际电视信号中普遍存在着椒盐噪声的情况。k是抑噪因子，以减少的椒盐噪声对其邻域内的空间相关度的计算的影响。该模型的抗噪能力对图象的平缓区域效果尤为显著。

步骤1.3：最大相关性方向由步骤1.2中定义的C(x)的窗口内最小值得到。最大相关性方向判别准则以及定义该方向的方向性指数ind1的数学表达式为：

C(ind1)＝min{C(-2)，...，C(2)}    (3)

$\mathrm{ind}1=\underset{x}{\arg }\underset{-2<x<2}{\min }C\left(x\right)---\left(4\right)$

假设求得的ind1＝1，如图3(b)所示，C，B分别代表了f_up，f_down两点，图中也同时标明了ind1。其中方向性指数ind1＝1标明了最大空间相关方向，C(1)表示最大空间相关度。

步骤1.4：由步骤1.3中的方向性指数ind1＝1得到空间相关性最大的方向(见图3b)，取这两个方向上的两特征点为：

f_up(i，j)＝f_n(i-1，j+1)                  (5)

f_down(i，j)＝f_n(i+1，j-1)

步骤2：基于象素的运动估计方法步骤如图3(c)所示，求得的方向性指数ind2结果如图3(d)所示：根据第一步中求得的f_up，f_down两点，接下来需要在前一场f_n-1第i行中找到与f_up，f_down最匹配的象素点f_middle。

步骤2.1：如图3(c)(d)例子里我们假定取M＝4，thq＝1，thmid＝3。假设在前一场f_n-1的i行内，确定一个以(i，j)位置为中心的1x9的搜索区域，在该区域内定义一个大小为1x3的滑动窗口W₃，(i，j+x)是窗口的对称中心。

该窗口定义为：

W₃＝[f_n-1(i，j+x-1)，...，f_n(i，j+x+1)]  (6)

$M\left(x\right)=\underset{q=-1}{\overset{1}{\mathrm{\&Sigma;}}}\left[\begin{array}{c}|f_n(i-1,j+1+q)-f_{n-1}(i,j+x+q)|\\ +|f_n(i+1,j-1+q)-f_{n-1}(i,j-x+q)|\end{array}\right]---\left(7\right)$

其中x∈[-3，3]

空间匹配度M(x)给出了求场f_n-1中与场f_n中f_up(i，j)f_down(i，j)最匹配的象素点的判别依据。该式同样考虑到了电视信号普遍存在的孤立点椒盐噪声的影响，普遍地适合普通电视信号的应用。

步骤2.3：滑动窗口W₃取遍搜索区域里的每一个可能取值，按照空间匹配度M(x)定义，唯一的确定使得M(x)取值最小的x，定义为匹配度指数ind2。

M(ind2)＝min{M(-3)，...，M(3)}           (8)

$\mathrm{ind}2=\underset{x}{\arg }\underset{-3\&le;x\&le;3}{\min }M\left(x\right)---\left(9\right)$

假定计算得到ind2＝2，如图3(c)中同时给出了两个窗口的计算步骤，红线所示滑动窗口的空间匹配度大于黑线所示滑动窗口的空间匹配度，故选取ind2＝2的方向。

步骤2.4：由步骤2.3中的方向性指数ind2＝2可标识出与f_up(i，j)和f_down(i，j)最匹配的象素点的空间位置，则最匹配象素表示为：

f_middle(i，j)＝f_n-1(i，j+2)    (10)

这样我们就得到了待插点处分别具有时间和空间特征的相关性最大的三个特征点B，C，D，结果如图3(d)所示。

步骤3：根据步骤1和步骤2中求得的f_up(i，j)，f_middle(i，j)和f_down(i，j)，最终的运动补偿输出结果为B，C，D三点的中值或均值。

最终可定义运动补偿的运动补偿输出为：

$\mathrm{fsp}(i,j)=\frac{1}{3}\{f_n(i-1,j+1)+f_{n-1}(i,j+2)+f_n(i+1,j-1)\}---\left(11\right)$

式(11)给出了最终的运动补偿输出结果，其中函数Med表示取中值运算。

本发明的数字处理逐行扫描电视信号的运动补偿去隔行方法，提供了一种低成本、硬件易实现，有良好的边缘保护和运动斜边保护的性能和消锯齿能力的方案，具有抑止噪声和较高的稳定性，性价比远高于诸多国际知名公司的同类解决方案。本发明在方法的实现上充分考虑硬件的实现因素。使得该方法实时、高效。与美国Trident公司和nDSP公司比较，在解决边缘锯齿和消除闪烁方面有更好的效果；而与在去隔行消除画面斜线锯齿现象方面国际领先的Genesis公司相比，在消除噪声引入和保持图像清晰度方面效果更好，同时产品化后的性价比远高与以上现有产品。

Claims (3)

1.一种用于数字电视后处理去隔行技术的方向相关运动补偿方法，采用运动补偿去隔行技术；先需要在存储器中读入前一场、当前场、后一场(f_n-1，f_n，f_n+1)三场图像亮度的数据信息；然后根据读入的数据进行逐象素的运动检测；根据运动检测信息判断待插点是否是运动点，若是，则进入方向相关运动补偿方法步骤，其特征在于：所述方向相关运动补偿方法，包括具有消噪功能的方向相关滤波、基于象素的运动估计、滤波补偿三个步骤；下述步骤中，函数f均代表图象的亮度信息；f_n表示第n场(当前待插场)的亮度信息；f_n-1表示第n-1场(前一场)的亮度信息；(i，j)表示图象第i行j列的象素的空间位置；f_n(i，j)表示位于第n场(i，j)处的采样象素点的亮度值，f_sp为运动补偿的结果，同时也作为运动点的最终结果输出；

步骤1：所述具有消噪功能的方向相关滤波步骤是指在运动物体中找到当前待插点所具有的最大空间相关性的方向，即在一个窗口内根据相关性检测判据确定一个采样点空间邻域相关性最大的方向，具体步骤为：

步骤1.1：假设在当前场f_n内待插点位于(i，j)处，定义一个以(i，j)为待插点的穿过两个相邻行的2x(2*N+1)的窗口W_2N+1，其中(i，j)是对称中心，该窗口定义为：

$W_{2N+1}=\left[\begin{array}{c}{f}_n(i-1,j-N),...,f_n(i-1,j+N)\\ f_n(i+1,j-N),...,f_n(i+1,j+N)\end{array}\right];---\left(1\right)$

步骤1.2：考虑到窗口W_2N+1内象素的空间相关性，在窗口W_2N+1内定义一个通过(i，j)点的不同方向的空间相关度定义为：

$C\left(x\right)=\underset{k=-\mathrm{thk}}{\overset{\mathrm{thk}}{\mathrm{\&Sigma;}}}|f_n(i-1,j+x+k)-f_n(i+1,j-x-k)|---\left(2\right)$

其中  -thx≤x≤thx

空间相关度C(x)给出了求通过(i，j)点空间相关性最大的方向的判别依据，k是抑噪因子，以减少的椒盐噪声对其邻域内的空间相关度的计算的影响；

步骤1.3：最大相关性方向由步骤1.2中定义的C(x)的窗口内最小值得到，最大相关性方向判别准则以及定义该方向的方向性指数ind1的数学表达式为：

C(ind1)＝min{C(-thx)，...，C(thx)}    (3)

$\mathrm{ind}1=\underset{x}{\arg }\underset{-\mathrm{thx}<x<\mathrm{thx}}{\min }C\left(x\right)---\left(4\right)$

C(ind1)表示最大空间相关度，方向性指数ind1标明了最大空间相关方向；

步骤1.4：由步骤1.3中的方向性指数ind1得到空间相关性最大的方向，取这两个方向上的两特征点为：

f_up(i，j)＝f_n(i-1，j+ind1)

f_down(i，j)＝f_n(i+1，j-ind1)；    (5)

步骤2：所述基于象素的运动估计步骤是指估计出前一场中最匹配点所处位置，即在待插像素临域内，搜寻与步骤1中具有方向特征的象素点f_up(i，j)和f_down(i，j)最匹配的象素点，通过对(i，j)处像素点的空间相关度C(x)的计算，以得到(i，j)点的相关性方向指数ind1，然后在前一场f_n-1中找到与该方向最匹配的象素点；

步骤3：所述滤波补偿步骤是指对电视信号中运动物体进行有效的补偿，即对以上两步已求出的最相关的点进行中值或均值滤波，得到最终的运动补偿输出结果。

2.根据权利要求1所述的一种用于数字电视后处理去隔行技术的方向相关运动补偿方法，其特征在于：实现步骤2的具体过程为：

步骤2.1：假设在前一场f_n-1的i行内，确定一个以(i，j)位置为中心的1x(2*M+1)的搜索区域，在该区域内定义一个大小为1x(2*thq+1)的滑动窗口W_2*thq+1，(i，j+x)是窗口的对称中心，

该窗口定义为：

W_2*thq+1＝[f_n-1(i，j+x-thq)，...，f_n(i，j+x+thq)]；    (6)

步骤2.2：类似的，在窗口W_2*thq+1内定义空间匹配度M(x)为：

$M\left(x\right)=\underset{q=-\mathrm{thq}}{\overset{\mathrm{thq}}{\mathrm{\&Sigma;}}}\left[\begin{array}{c}|f_n(i-1,j+\mathrm{ind}1+q)-f_{n-1}(i,j+x+q)|\\ +|f_n(i+1,j-\mathrm{ind}1+q)-f_{n-1}(i,j-x+q)|\end{array}\right]---\left(7\right)$

其中x∈(-thmid，thmid)；

步骤2.3：滑动窗口W_2*thq+1取遍搜索区域里的每一个可能取值，按照空间匹配度M(x)定义，唯一的确定使得M(x)取值最小的x，定义为匹配度指数ind2，

M(ind2)＝min{M(-thmid)，..，M(thmid)}    (8)

$\mathrm{ind}2=\underset{x}{\arg }\underset{-\mathrm{thx}\&le;x\&le;\mathrm{thx}}{\min }M\left(x\right)---\left(9\right)$

步骤2.4：由步骤2.3中的方向性指数ind2可标识出与f_up(i，j)和f_down(i，j)最匹配的象素点的空间位置，则最匹配象素表示为：

f_middle(i，j)＝f_n-1(i，j+ind2)。    (10)

3.根据权利要求1所述的一种用于数字电视后处理去隔行技术的方向相关运动补偿方法，其特征在于：实现步骤3的具体过程为：

步骤3.1：根据步骤1和步骤2中求得的f_up(i，j)，f_middle(i，j)和f_down(i，j)，运动补偿输出结果为B，C，D三点的中值或均值，最终可定义运动补偿的运动补偿输出为：

$\mathrm{fs}(i,j)=\frac{1}{3}\{f_{\mathrm{up}}(i,j)+f_{\mathrm{middle}}(i,j)+f_{\mathrm{down}}(i,j)\}$

或fs(i，j)＝Med{f_up(i，j)，f_middle(i，j)，f_down(i，j)}。    (11)

Images