CN100518243C - 采用运动检测和自适应加权滤波的去隔行装置 - Google Patents

Abstract

本发明属于数字电视集成电路视频处理领域，具体讲是涉及采用运动检测和自适应加权滤波的去隔行装置。为提供一种采用运动检测和自适应加权滤波的去隔行装置，既可以保持图像的空间特性又可以保持图像的垂直细节，同时不需要进行准确的运动信息估算，可以改善去隔行效果，大大降低硬件设计的复杂度，提高设计的可靠性，本发明采用的技术方案是，装置包括：数据存储单元、权值计算单元、基于边缘保持的时空中值滤波插值单元、混合中值滤波插值单元、插值输出单元构成。本发明主要应用于数字视频信号处理。

Description

采用运动检测和自适应加权滤波的去隔行装置

技术领域

本发明属于数字电视集成电路视频处理领域，具体讲是涉及采用运动检测和自适应加权滤波的去隔行装置。

背景技术

早期的电视由于技术水平的限制，基于视频传输带宽和画质的折中考虑，采用隔行扫描的方式，使每幅画面的信息总量减为原来的一半，而人眼视觉暂留效应使得观看到的两场图像模糊成一帧图像，从而得到了相对平滑的视觉效果。但是随着大屏幕电视以及高清晰电视的逐步实用化，由隔行扫描所带来的行间闪烁，场间闪烁以及爬行现象越来越明显，从而导致图像质量的下降。为了抑制和消除传统电视的缺陷，隔行转逐行技术得到广泛的研究。

去隔行处理是从隔行扫描到逐行扫描的格式变换处理。其基本原理是根据像素在时间和空间上的相关性，通过数字处理的方法生成空缺位置的像素点(插补像素)，连同原始像素，重构整个帧图像。它可以有效地提高画面的垂直清晰度，消除行间闪烁和爬行现象，在很大程度上改善电视图像的显示效果。

去隔行方案，主要可以分为线性算法、非线性算法、运动自适应算法和运动补偿算法。线性算法主要有行复制、行平均、场复制、场平均等。场内滤波会带来垂直清晰度的降低，场间滤波会导致运动模糊和运动锯齿，因此，无法在运动和静止的两种情况下都获得较理想的去隔行效果。非线性算法主要有边沿保护插值去隔行算法、中值滤波等算法。它的主要缺点是会降低垂直清晰度，引起图像模糊，但是很强的适应性和很低的硬件成本使它运用非常广泛。运动自适应算法是根据运动信息来调整去隔行策略，在不同的区域采用适合该区域的算法，它可以消除运动锯齿，提高图像的垂直清晰度，但是需要逐点运动检测，受噪声影响太大，使得运动检测不准。运动补偿算法是通过对图像进行运动估计(如块匹配，光流法等)，求得运动位移矢量，在运动轨迹上进行插值。由这种方法还原出的图像能够很好地保持原图象的垂直清晰度，但是它要求估算出的运动矢量必须准确可靠，消耗硬件资源较大，硬件实现复杂度高，因此在实际应用中采用的较少。

发明内容

虽然在众多去隔行算法中，运动自适应算法的转换效果并不是最优的，且由于一些最优算法的芯片实现往往需要很高的代价。为克服现有技术的前述不足，本发明的目的是提供一种采用运动检测和自适应加权滤波的去隔行装置和方法，弥补和消除运动自适应算法受噪声影响大和运动检测不准的缺点，以及运动补偿算法硬件实现复杂度高的缺点，既可以保持图像的空间特性又可以保持图像的垂直细节，同时不需要进行准确的运动信息估算，可以改善去隔行效果，大大降低硬件设计的复杂度，提高设计的可靠性，易于硬件实现。

本发明采用的技术方案是，一种采用运动检测和自适应加权滤波的去隔行装置，所述装置包括：

数据存储单元：一个用于存储视频信号隔行扫描的三个连续场数据的存储单元；

权值计算单元：用于计算视频图像的运动程度和运动状态；

基于边缘保持的时空中值滤波插值单元：检测包含在与要插入当前场的像素所相邻的当前场的像素值中的边缘方向，并且通过方向数据使用相邻像素值和要插值像素在先前场及后续场的对应像素值来计算第一个插值；

混合中值滤波插值单元：分别计算出三点中值滤波和七点中值滤波的插值，计算行平均插值，取三个插值的平均值作为第二个插值；

插值输出单元：通过使用运动信息权值来混合前述第一个和第二个插值，输出混合值。

其中，数据存储单元包括：按特定格式预先存放前一场和当前场的视频图像数据、将后一场的视频图像数据从信号源经滤波降噪后存回的SDRAM。

权值计算单元包括：

数据缓存器：用以存储用于计算的图像数据；

运动检测单元：首先需要从数据存储单元中读入前一场和后一场两场中运动检测计算所需的部分图像亮度信息，然后进行运动检测计算，通过一预定搜索区域单元，计算搜索区内的绝对差值的和，基于此值确定该预定搜索区域的运动信息权值；

运动等级判断单元：基于绝对差值的和的值与运动等级阈值的关系，通过查找表确定其运动信息权值。

运动检测单元的预定搜索区域是以当前场待插补像素第i行第j列P(i，j，t)为中心，在先前场和后续场找到要插值的像素的对应像素P(i，j，t-1)和P(i，j，t+1)，分别以对应像素P(i，j，t-1)和P(i，j，t+1)为中心，搜索框大小为N×N，N为搜索框点数，来确定的区域计算该预定搜索区域的绝对差值的和的值，作为搜索区的运动信息，该装置包括：

列绝对差值的和缓存单元：存储由列绝对差值的和计算单元所计算出的列绝对差值的和；

搜索区绝对差值的和计算单元：将列绝对差值的和缓存单元中的列绝对差值的和值相加以计算出搜索区的绝对差值的和值；

列绝对差值的和计算单元：用于计算预定搜索区域内的列绝对差值的和。

运动等级判断单元比较绝对差值的值与两个运动等级阈值的大小关系，确定绝对差值和所在区间，在查找表中得出运动信息权值，该装置包括用以存储判决结果的判决结果存储器。

所述的基于边缘保持的时空中值滤波插值单元装置，包括：

数据缓存器：用以存储用于计算的图像数据；

检测边界方向单元：对多个方向的边界变化进行估算，确定相关性最大的方向；

时空中值滤波计算单元：沿相关性最大的方向进行计算，再通过中值滤波得到基于边缘保持的时空中值滤波插值。

混合中值滤波插值单元包括：

数据缓存器：用以存储用于计算的图像数据；

行平均插值单元：用以计算待插值点的上下行对应像素的平均值；

三点中值滤波单元：用以计算三点中值滤波的插值；

七点中值滤波单元：用以计算七点中值滤波的插值；

比较单元：用以上三个单元所计算出来的插值，通过中值滤波的方法确定混合中值滤波插值的最后结果。

插值输出单元包括：

高通滤波插值单元：用以将混合中值滤波插值单元所得的插值结果乘以运动信息权值α；

低通滤波插值单元：用以将基于方向的时空中值滤波插值单元所得的插值结果乘以(1-α)；

权值混合单元：将以上两个插值结果相加即得最终插值。

本发明提供的可以带来如下效果：

采用前后场相应区域的绝对差之和检测运动，采用自适应加权中值滤波插补像素的去隔行方法，弥补和消除了运动自适应算法受噪声影响大和运动检测不准的缺点，以及运动补偿算法硬件实现复杂度高的缺点，而结合了上述算法的优点，既可以保持图像的空间特性又可以保持图像的垂直细节，同时不需要进行准确的运动信息估算，可以改善去隔行效果，大大降低硬件设计的复杂度，提高设计的可靠性，易于硬件实现。

附图说明

图1是去隔行装置总体实现架构。

图2是数据存储架构。

图3是权值计算单元结构图。

图4是基于边缘保持的时空中值滤波插值单元结构图；

图5是混合中值滤波插值单元结构图。

具体实施方式

为更好的说明本发明，首先将各算法详细介绍如下：

1线性滤波算怯

最早出现在上世纪70年代末，具有简单易实现的优点，仍在计算机图形显示领域内被广泛应用。其基本思想是，各场中需要补齐的像素点等于它的若干相邻点的加权和。用公式表达为：

$F_0(x,n)=\left\{\begin{array}{c}F(x,n),(x_2\mathrm{mod}2=n\mathrm{mod}2)\\ \underset{k}{\mathrm{\Σ}}{F}_1(x+{\mathrm{ku}}_y,n+m)h(k,m),\left(\mathrm{others}\right)\\ (k,m\∈\{...,-\mathrm{1,0,1},...\},(k+m)\mathrm{mod}2=1)\end{array}\right.$

其中，uy＝(0，Δx2)为垂直方向上的单位向量，h(k，m)为加权系数。n＝(...-2，-1，0，1，2...)为当前场的序号，m为参与当前场隔行转逐行运算的相邻场序号。从上式可以看到，线性滤波的相邻点包括两类，即同一场上的相邻像素(空间相邻点)以及相邻场上的像素(时间相邻点)。对于相邻点的分类就引出了三种不同的滤波器类型：空间滤波(Spatial Filtering)，时间滤波(Temporal Filtering)，以及时-空滤波(Spatial-Temporal Filtering)。

1.1空间滤波(Spatial Filtering)

所谓空间滤波，就是在求取未知点的时候只使用同一场内相邻点的信息。最简单的空间滤波就是扫描线重复(Line Repetition)，即一场中未知的像素点直接取它上面相邻点的值。如果用上述公式的形式来表示的话，那就是取h(-1，0)＝1，而其它所有的h(k，m)都为0。一种稍微复杂一点的形式为线平均(Line Averaging)，即未知的像素点等于其上下两个相邻已知的点的值的平均。即：h(-1，0)＝h(1，0)＝0.5，而其他所有的h(k，m)都为0。空间滤波有一个共同的特点，即它们在时间频率方向上是全通的，这说明使用空间滤波器不会造成视频运动信息上的损失。但是，由于其频谱在垂直方向上的低通形状，使得视频信号在垂直方向上的一些高频分量被抑制，从而降低了图像在垂直方向上的清晰度。

1.2时间滤波(Temporal Filtering)

与空间滤波正好相反，时间滤波器就是使用所有相邻场内的点来求取当前场的未知像素。最简单的时间滤波就是场重复(Field Repetition)，即一场中未知的像素点用上一场对应的已知像素值来代替。如果用上述公式的形式来表示的话，我们取h(0，-1)＝1，而其他所有的h(k，m)都为0。如果视频中没有运动的话，这一滤波器就是最优滤波器。

时间滤波器在垂直方向上是全通的，回此不会造成图像垂直清晰度上的损失，但其在时间频率上的频谱的衰降，会造成视频运动信息的损失。

1.3时空滤波(Spatial-Temporal Filtering)

所谓时空滤波，就是在计算像素点的值的时候综合考虑空间邻点与时间邻点。从理论上说，如果视频信号满足采样定理，即其频谱没有混叠的话，那么使用时空滤波器就能完美地从隔行信号恢复出逐行信号。一个常用的时空滤波器的系数为：

$18h(k,m)=\left\{\begin{array}{c}\mathrm{1,8,8,1}(k=-\mathrm{3,1,1,3})\∩(m=0)\\ -\mathrm{5,10},-5,(k=-\mathrm{2,0,2})\∩(m=0)\\ 0\left(\mathrm{others}\right)\end{array}\right.$

2.非线性算法

根据上一小节的讨论，我们知道在没有运动的情况下，时间滤波器的性能最好。而在有运动，但没有过多的垂直细节的情况下，空间滤波的效果最好。为取得更好的效果，在本发明中将两者结合起来，根据情况有选择地使用时间滤波或空间滤彼。

3.运动自适应算法(Motion-Adaptive Algorithms)

运动自适应算法就是根据上述思想发展起来的。顾名思义，运动自适应算法需要一个检测图像中是否存在运动的模块，称为运动检测模块(Motion Detector)。其输入就是视频信号的一个固定区域，而其输出则是一个概率值α，表明该区域存在运动的可能性大小。当然，它的输出也可以简化为一个二进制的结果，即有无运动。运动检测的算法有许多，在这里只是给出运动检测算法生效所必需满足的条件：

◆相对信号来说，噪声必须足够小；

◆信号中的低频部分的能量必须大于噪声与频率混叠部分。

◆视频中的物体大小必须大于像素点的大小。

假设针对静止图像的最优滤波器输出值为fst(x，n)，而针对活动图像的最优滤波器输出值为fmot(x，n)，而运动检测器给出的结果，即运动的概率值为α，则最终的自适应滤波器为：

$F_0(x,n)=\left\{\begin{array}{c}F(x,n),(x_2\mathrm{mod}2=n\mathrm{mod}2)\\ f_{\mathrm{st}}(x,n)(1-\mathrm{\α})+f_{\mathrm{mot}}(x,n)\mathrm{\α},\left(\mathrm{others}\right)\end{array}\right.$

由上式可见，当检测出运动的可能性恨大时，结果将会倾向于采用运动最优滤波器，反之则会倾向于静止最优滤波器，从而达到了自适应的目的。

4.中值滤波算法(Median Filtering Algorithms)

在所有的非线性算法中，中值滤波算法因其实现简单而成为很受欢迎的一种算法。它的计算公式如下：

$F_0(x,n)=\left\{\begin{array}{c}F(x,n),(x_2\mathrm{mod}2=n\mathrm{mod}2)\\ \mathrm{med}(F(x-u_{x_2},n),F(x+u_{x_2},n),F(x,n-1)),\left(\mathrm{others}\right)\end{array}\right.$

其中中值函数med(A，B，C)定义为：

$\mathrm{med}(A,B,C)=\left\{\begin{array}{c}A,(B<A<C)\&cap;(C<A<B)\\ B,(A\&le;B\&le;C)\&cap;(C\&le;B\&le;A)\\ C,\left(\mathrm{others}\right)\end{array}\right.$

中值滤波算法实质上包含着运动自适应的思想、这是因为：如果图像区域是静止的，则F(x，n-1)的值很有可能处在当前场上下两个像素点值的中间，此时根据中值函数的定义，F0(x，n)直接等于F(x，n-1)；反之，若图像区域存在运动，则前后两场之间的变化会较大，导致F(x，n-1)与处在当前场的和

差较远。此时，通过中值函数，最后相当于切换到场平均滤波。

主要符号说明：

P(i，j，n)：在第n场内坐标为(i，j)的像素点；

f(i，j，n)：在第n场内坐标为(i，j)的像素点的值；

D：预定搜索框区域中像素点的集合；

SAD：绝对差之和；

N：搜索框内一列像素点的总数，N＞1；

α：运动权值系数；

th1，th2：用于计算权值的两个预定经验阈值；

A：经基于边缘保持的时空中值滤波插值单元计算后的第一个插值；

B：经混合中值滤波插值单元计算后的第二个插值。

本发明是主要采用运动检测来进行加权中值滤波的装置和方法，达到快速自适应地进行各行内插像素。附图1表明了本装置的总体结构图。

人眼对亮度信号的细节比较敏感，而对色度信号的细节并不敏感。根据此特性，数字视频信号多采用YUV 4:2:2的格式(即亮色分离，色度信号的信息量仅为亮度信号的一半)。在去隔行模块的设计过程中，我们也考虑了此方面的问题：对Y信号做运动自适应算法处理，得到细节丰富的亮度图像；而对U、V信号只做简单的行复制算法处理，得到垂直细节有损失的色度图像。这样可以显著降低去隔行处理的运算量，大幅节省该模块的硬件开销，同时得到主观效果几乎一致的完美逐行图像。实施方法如下：

步骤1：如图2所示，将顺序输入的视频前一场、当前场和下一场数据，以行为单位，存入SDRAM相应的逻辑行中，通过总线管理器将SDRAM中前一场、当前场和下一场相应行的数据取出并暂存到片内RAM中，ram1、ram2和ram3在输出数据时，同时存入ram1a、ram2a和ram3a中，而此时存入ram1、ram2和ram3中数据为新行的数据，这样最终实现ram1和ram1a、ram2和ram2a、ram3和ram3a同时输出前一场、当前场和下一场中相邻的两行数据，以供核心算法部分的运算。

步骤2：如图3所示，从搜索框的左边开始，按列一次取先前场内预定搜索框中的像素点的值和后续场内对应的像素点的值，存入数据缓存器中。依照以下公式计算几组相应像素对的绝对插值的和：

SAD＝∑_{{(i，j)∈D}}|f(i，j，n-1)-f(i，j，n+1)|

即先取先前场内位于

列的N个像素点和后续场内位于列的N个像素点，将2N个像素点按对应位置组成N个像素点对，经列SAD计算单元分别做差，计算绝对插值的和，并保存在列SAD缓存中。

取值遍历整个预定搜索框后，将所得的列SAD缓存中的绝对差值和经搜索区SAD计算单元相加即为整个搜索区域的绝对差值的和SAD。

根据运动自适应算法，计算一行插补像素NY(y，t3)所需的6行原始像素也可以理解为需要1行原始像素和N-1行运动量。其中，N-1行运动量是运算的中间结果。另外，像素的数据量是8bit而运动量的数据量仅为1bit。所以，我们在片外存储设备内开辟一块较小的空间存储N-1行运动量。这样做不但可以节省片外存储设备的存储空间，更重要的是运动量的存储可以避免不必要的重复运算。在计算行插补像素时，所需的N行运动量有N-1行可以直接从片外存储设备读入，另外的1行运动量由2行原始像素算出。同时，新算出的1行运动量被送往片外存储设备，更新对应位置的运动量数据，以备后用。

步骤3：如图3所示，建立运动程度与运动权值的对应关系，根据细节丰富程度，进行归一化处理，将加权系数α按以下公式计算后存入查找表中：

且满足0＜th1＜th2＜255N²。

将第二步得到的整个搜索区域的绝对差值的和SAD与查找表对比，找到对应的运动权值系数，存入判决结果存储器中。

步骤4：计算第一个插值A，即基于边缘保持的时空中值滤波插值。如图4所示：步骤a、检测边缘方向。

对当前场待插入点的空域内的五个方向的变化进行估算。

以待插值像素点为中心，取3×5窗口内的像素为原始数据，这些像素中隐含着待插值像素点的边缘信息。将图像可能的边缘方向划分为15°、45°、90°、135°和165°五个角度，基于这五个方向检测图像在此处的边缘情况，即计算五个方向的像素对的绝对差值，找到绝对差值的最小方向作为边缘保持方向。取边缘保持方向上的像素对的均值作为定向滤波的一个值。

步骤b、将步骤a所得的像素对的均值加上待插值点在当前场相邻的上下两个像素点，先前场和后续场中的对应点共五个像素点的值去中值滤波作为第一个插值的结果。

5.计算第二个插值B，即混合中值滤波插值。如图5所示：

步骤a、分别计算行平均插值、三点中值滤波插值和七点中值滤波的插值。

步骤i、计算行平均插值。

取待插值点在当前场的相邻的上下两个像素点，计算其均值。

步骤ii、计算三点中值滤波插值。

取当前场待插值点的相邻的上下两个像素点和前一场中与待插值点对应的像素点，共三个点计算三点中值滤波插值；

步骤iii、计算七点中值滤波插值。

取当前场待插值点的相邻的上扫描线的对应点及其左右相邻两个像素点和插值点相邻的下扫描线的对应点及其左右相邻两个像素点，加上前一场中与待插值点对应的像素点，共七个点计算七点中值滤波插值；

步骤b、计算混合中值滤波

将步骤a中计算的行平均插值、三点中值滤波插值和七点中值滤波的插值进行中值滤波作为混合中值滤波的结果。

6.输出插值像素点。将步骤4中所得的第一个插值和第二个插值，分别乘上步骤3所得的运动信息权值。使用下述公式：

f(i，j，n)＝(1-α)*A+α*B

f(i，j，n)即是待插值像素点的最终结果。

Claims (8)

1.一种采用运动检测和自适应加权滤波的去隔行装置，其特征是，所述装置包括：

数据存储单元：用于存储视频信号隔行扫描的三个连续场数据；

权值计算单元：用于确定视频图像单元的运动信息权值；

基于边缘保持的时空中值滤波插值单元：检测包含在与要插入当前场的像素相邻的当前场的像素值中的边缘方向，并且通过边缘方向使用相邻像素值和要插值像素在先前场及后续场的对应像素值来计算第一个插值；

混合中值滤波插值单元：取当前场待插值点的相邻的上下两个像素点和前一场中与待插值点对应的像素点，共三个点计算三点中值滤波插值；取当前场待插值点的相邻的上扫描线的对应点及其左右相邻两个像素点和插值点相邻的下扫描线的对应点及其左右相邻两个像素点，加上前一场中与待插值点对应的像素点，共七个点计算七点中值滤波插值；计算行平均插值；对前述三个插值进行中值滤波得到混合中值滤波的结果，即第二个差值；插值输出单元：通过使用运动信息权值来混合前述第一个插值和第二个插值，输出最终插值。

2.根据权利要求1所述的一种采用运动检测和自适应加权滤波的去隔行装置，其特征是，数据存储单元包括：预先存放前一场和当前场的视频图像数据、将后一场的视频图像数据从信号源经滤波降噪后存回的SDRAM。

3.根据权利要求1所述的一种采用运动检测和自适应加权滤波的去隔行装置，其特征是，权值计算单元包括：

数据缓存器：用以存储用于计算的图像数据；

运动检测单元：首先从数据存储单元中读入前一场和后一场两场中运动检测计算所需的部分图像亮度信息，然后进行运动检测计算，通过一预定搜索区域单元，计算预定搜索区域内的绝对差值的和；

运动等级判断单元：基于绝对差值的和的值与运动等级阈值的关系，通过查找表确定其运动信息权值。

4.根据权利要求3所述的一种采用运动检测和自适应加权滤波的去隔行装置，其特征是，运动检测单元的预定搜索区域是以当前场待插补像素第i行第j列P(i，j，t)为中心，在先前场和后续场找到要插值的像素的对应像素P(i，j，t-1)和P(i，j，t+1)，分别以对应像素P(i，j，t-1)和P(i，j，t+1)为中心来确定的区域，搜索框大小为N×N，N为搜索框点数，计算该预定搜索区域的绝对差值的和的值，作为搜索区的运动信息，该运动检测单元包括：

列绝对差值的和缓存单元：存储由列绝对差值的和计算单元所计算出的列绝对差值的和；

搜索区绝对差值的和计算单元：将列绝对差值的和缓存单元中的列绝对差值的和值相加以计算出搜索区的绝对差值的和值；

列绝对差值的和计算单元：用于计算预定搜索区域内的列绝对差值的和。

5.根据权利要求3所述的一种采用运动检测和自适应加权滤波的去隔行装置，其特征是，运动等级判断单元比较绝对差值的和的值与两个运动等级阈值的大小关系，确定绝对差值的和的值所在区间，在查找表中得出运动信息权值，该运动等级判断单元包括用以存储判决结果的判决结果存储器。

6.根据权利要求1所述的一种采用运动检测和自适应加权滤波的去隔行装置，其特征是，所述的基于边缘保持的时空中值滤波插值单元，包括：

数据缓存器：用以存储用于计算的图像数据；

检测边界方向单元：对多个方向的边界变化进行估算，确定相关性最大的方向；

时空中值滤波计算单元：沿相关性最大的方向进行计算，再通过中值滤波得到基于边缘保持的时空中值滤波插值。

7.根据权利要求1所述的一种采用运动检测和自适应加权滤波的去隔行装置，其特征是，混合中值滤波插值单元包括：

数据缓存器：用以存储用于计算的图像数据；

行平均插值单元：用以计算待插值点的上下行对应像素的平均值；

三点中值滤波单元：用以计算三点中值滤波的插值；

七点中值滤波单元：用以计算七点中值滤波的插值；

比较单元：用以上三个单元所计算出来的插值，通过中值滤波的方法确定混合中值滤波插值的最后结果。

8.根据权利要求1所述的一种采用运动检测和自适应加权滤波的去隔行装置，其特征是，插值输出单元包括：

高通滤波插值单元：用以将混合中值滤波插值单元所得的插值结果乘以运动信息权值α；低通滤波插值单元：用以将基于边缘保持的时空中值滤波插值单元所得的插值结果乘以(1-α)；

权值混合单元：将以上两个插值结果相加即得最终插值。

Images