CN100385914C - 具有噪音降低/消除装置的解隔行设备 - Google Patents

Abstract

一种具有噪音降低/消除装置的解隔行设备。噪音降低/消除装置可以包括运动预测单元，用于预测相对于顺序输入的单独图像的在前图像的一个周期之前的图像和当前图像之间的运动矢量；运动校验单元，用于将由运动预测单元预测的运动矢量及时应用到在前图像一个周期之前的图像与当前图像之前的两个不同图像，并且校验运动矢量是否是精确的运动矢量；运动补偿单元，利用由运动校验单元为精确性而校验的运动矢量来补偿运动；以及噪音消除单元，利用来自于运动补偿单元的补偿了运动的图像和输入的图像来消除图像的噪音。因此，该噪音降低/消除装置可以通过对携带噪音的图像的简单处理过程来降低或消除噪音。

Description

具有噪音降低/消除装置的解隔行设备

技术领域

本发明涉及一种具有有效的噪音降低/消除装置的解隔行设备，尤其涉及一种具有不但能够有效降低/消除图像上的噪音而且能够改善对受严重噪音影响的图像的解隔行性能的有效的噪音降低/消除装置的解隔行设备。

背景技术

用于运动图像扫描格式的主要有逐行扫描格式与隔行扫描格式。为了便于理解，图1A示出了30Hz隔行扫描(60Hz场频)并且图1B示出了30Hz逐行扫描。

逐行扫描随着其中每一个都在同时采样的采样图像帧而执行，反之，隔行扫描随着其中每一个都在不同时刻采样的采样图像帧而执行，并且采样隔行重复。即，在隔行扫描中，每一图像帧通常由两个像场构成，并且在不同时刻采样的像场分别被称作顶场和底场、奇数场和偶数场、上场和下场、第一场和第二场，等等。

运动图像专家组(MPEG)将一幅图像作为“一个画面(单一视图)”的一个单元来处理，并且，在MPEG-2中，画面能够被重构成帧或场。即，将画面重构成帧的结构被称作“帧结构”，并且将画面重构成场的结构被称作“场结构”。

电影使用即时逐一提取图像场景并将该图像场景记录到胶片上，并且逐图每次将一幅视图投影到屏幕上的逐行扫描格式。另一方面，电视使用将一个图像帧分为两个场并且交替扫描该场的隔行扫描格式，以便在利用有限的扫描行的同时有效显示运动图像。在美国、日本、韩国等国家采用的NTSC彩色电视系统中，对一幅视图每秒发送其每一个都具有525扫描行的30个帧，并且，在欧洲等地采用的PAL或SECAM系统中，每秒发送其每一个都具有625扫描行的25个帧，从而NTSC电视对于一幅视图每秒处理60个场，PAL或SECOM电视对于一幅视图每秒处理50个场。

随着使用逐行扫描格式的视频显示装置的普及，以及对在使用不同扫描格式的装置中数据交换的增长的需要，将隔行扫描格式转换为逐行扫描格式的需要前所未有地增加了。这种扫描格式转换被称作解隔行，并且这种解隔行方法被用于其中通过天波广播的电视信号被转换为用于计算机的信号以显示电视节目的情况。

图2是示意地示出传统解隔行设备的图。参照图2，解隔行设备具有存储器单元210、运动估计/运动补偿(ME/MC)单元220、权值计算单元230、空间轴执行单元240、以及权值平均单元250。

存储器210存储有所输入图像的当前场f(k)(包括增加的噪音)和在前场f(k-1)。ME/MC单元220利用存储在存储器210中的当前场f(k)(包括增加的噪音)和在前场f(k-1)计算运动矢量v。即，ME/MC单元220利用图像前后的场预测运动，并且判定运动是否存在。而且，ME/MC单元220利用当前场f(k)(包括增加的噪音)、在前场f(k-1)、以及计算出的运动矢量v计算补偿运动的场f_mc(k)。

权值计算单元230利用当前场f(k)(包括增加的噪音)和在前场f(k-1)计算用于运动自适应的权值w。由权值计算单元230计算的权值被发送到权值平均单元250。

空间轴执行单元240根据用于执行空间轴解隔行的方法利用当前场f(k)(包括增加的噪音)进行空间轴解隔行，从而生成逐行扫描图像f_sp(k)。即，对于解隔行方法有利用运动信息的方法和不利用的运动信息的方法，并且空间轴执行单元240不利用运动信息执行解隔行。空间轴解隔行方法包括行平均方法、加权中滤波方法、基于边缘的(Edge-based)行平均方法等。

权值平均单元250利用由ME/MC单元220计算的补偿场f_mc(k)、由权值计算单元230计算的权值w、和由空间轴执行单元240生成的逐行扫描图像f_sp(k)按时间执行解隔行，并且通过按时间执行的解隔行生成逐行扫描图像g(k)。

同时，传统解隔行设备具有噪音降低装置以降低影响安装了该设备的显示器的噪音。图3示出了传统噪音降低装置。参照图3，传统噪音降低装置具有存储器310、ME/MC单元320、权值计算单元330、以及权值平均单元340。

存储器310存储了所输入图像的包括在前场f(k-1)的逐行扫描图像g(k-1)和当前场f(k)(包括增加的噪音)。ME/MC单元320利用存储在存储器310中的图像的当前场f(k)(包括增加的噪音)和在前场f(k-1)计算运动矢量v。即，ME/MC单元320利用图像前后的场预测运动，并且判定该运动是否存在。而且，ME/MC单元320利用在前场f(k-1)和计算出的运动矢量v计算运动补偿的场f_mc(k)。

权值计算单元330利用当前场f(k)(包括增加的噪音)和在前场f(k-1)计算用于运动自适应的权值w。由权值计算单元330计算的权值被发送到权值平均单元340。

权值平均单元340通过利用ME/MC单元320计算的补偿场f_mc(k)和由权值计算单元330计算的权值w来降低噪音，并且随着所执行的噪音降低操作生成噪音降低的图像f’(k)。

然而，如上所述的传统解隔行设备和噪音降低装置始终使用用于运动预测的包括有增加的噪音的当前场f(k)，所述预测由于噪音的影响导致了误算运动矢量v的高可能性。因此，存在有由于被误算的运动矢量v的使用而导致解隔行与噪音降低性能被恶化的问题。

发明内容

本发明总体构思的目的在于解决传统方案的上述缺点和其它问题。本发明总体构思的一方面在于，将基于其上具有严重噪音的图像计算精确的运动矢量，从而通过利用精确计算的运动矢量改善噪音降低/消除和解隔行性能。

本发明总体构思的其它方面和优点将在随后的描述中部分阐明，并且将从描述中部分地变得清楚，或者可以通过本发明总体构思的实践来了解。

本发明上述的和/或其它方面和优点通过提供包含有运动预测单元、运动校验单元、运动补偿单元、以及噪音消除单元的噪音降低/消除装置来实质性地实现，所述运动预测单元根据顺序输入的单独图像预测在前图像的一个周期之前的图像与当前图像之间的运动矢量，所述运动校验单元将由运动预测单元预测的运动矢量及时应用到在前图像一个周期之前的图像与当前图像之前的两个不同图像，并且校验运动矢量是否是精确的运动矢量，所述运动补偿单元利用由运动校验单元为精确性而校验的运动矢量来补偿运动，以及所述噪音消除单元利用来自于运动补偿单元的补偿了运动的图像和输入的图像来消除图像的噪音。

本发明总体构思的一方面在于，运动预测单元可以计算关于预测半径中的全部矢量的块单元的绝对差之和(SAD)值和/或对应于该SAD值的开销函数，并且可以基于所计算的开销函数预测运动矢量。

而且，本发明总体构思的一方面在于，运动校验单元可以及时计算关于在前图像一个周期之前的图像和当前图像之前的两个不同图像的块单元的SAD值和/或对应于该SAD值的开销函数，并且可以基于所计算的开销函数来校验运动矢量是否是精确的运动矢量。

此外，本发明总体构思的一方面在于，运动校验单元可以比较计算的SAD值和/或对应于该SAD值的开销函数与对应于除所预测运动矢量之外的多重运动矢量的SAD值和/或对应于该SAD值的开销函数，并且可以校验运动矢量是否是精确的运动矢量。

而且，本发明总体构思的一方面在于，如果所计算的SAD值和/或对应于该SAD值的开销函数的值大于任何对应于除所预测的运动矢量之外的多重运动矢量的块单元的SAD值和/或对应于该SAD值的开销函数的值，则运动补偿单元可以利用除所预测运动矢量之外的任何多重运动矢量来补偿运动。

另外，本发明总体构思的一方面在于，噪音消除单元将输入图像与通过使用由运动校验单元校验的运动矢量所补偿的图像的权值相加，并且生成消除了噪音的图像。

本发明上述的和/或其它方面和优点通过还提供包含有运动预测单元、运动校验单元、运动补偿单元、以及解隔行单元的解隔行设备来实质性地实现，所述运动预测单元预测相对于顺序输入的单独图像的在前图像的一个周期之前的图像与当前图像之间的运动矢量，所述运动校验单元将由运动预测单元预测的运动矢量及时应用到在前图像一个周期之前的图像与当前图像之前的两个不同图像，并且校验运动矢量是否是精确的运动矢量，所述运动补偿单元利用由运动校验单元为精确性而校验的运动矢量来补偿运动，以及所述解隔行单元利用来自于运动补偿单元的补偿了运动的图像和输入的图像将隔行扫描格式转换为逐行扫描格式。

本发明总体构思的一方面在于，运动预测单元计算关于预测半径中的全部矢量的块单元的绝对差之和(SAD)值和/或对应于该SAD值的开销函数，并且可以基于所计算的开销函数预测运动矢量。

而且，本发明总体构思的一方面在于，运动校验单元及时计算关于在前图像一个周期之前的图像和当前图像之前的两个不同图像的块单元的SAD值和/或对应于该SAD值的开销函数，并且可以基于所计算的开销函数来校验运动矢量是否是精确的运动矢量。

此外，本发明总体构思的一方面在于，运动校验单元比较SAD值和/或对应于该SAD值的开销函数与对应于除所预测运动矢量之外的多重运动矢量的SAD值和/或对应于该SAD值的开销函数，并且可以校验运动矢量是否是精确的运动矢量。

而且，本发明总体构思的一方面在于，如果所计算的SAD值和/或对应于该SAD值的开销函数的值大于任何对应于除所预测的运动矢量之外的多重运动矢量的块单元的SAD值和/或对应于该SAD值的开销函数的值，则运动补偿单元利用除所预测运动矢量之外的任何多重运动矢量来补偿运动。

另外，本发明总体构思的一方面在于，解隔行单元将所输入图像和通过利用由运动校验单元校验的运动矢量来补偿的图像的权值相加，生成消除了噪音的图像。

因此，根据本发明具有噪音降低/消除装置的解隔行设备能够在带有严重噪音的图像基础上计算出精确的运动矢量，从而利用所计算的运动矢量改善噪音降低/消除和解隔行性能。

附图说明

结合附图，本发明总体构思的上述和其他方面和优点将会变得更加清楚，并从下面对实施例的描述中更容易被理解，其中：

图1是解释一般逐行扫描格式与隔行扫描格式的图；

图2是示意性地示出传统解隔行设备的图；

图3是示意性地示出传统噪音消除装置的图；以及

图4是示意性地示出根据本发明实施例的具有噪音消除装置的解隔行设备的方框图。

具体实施方式

以下，参照附图来更加详细说明本发明总体构思的实施例。在下面的描述中，相同的附图标号在不同附图中指的是同样的元件。诸如详细结构的描述所定义的内容和元件仅仅用于帮助理解本发明。因此，应该明确本发明可以在没有所定义内容的情况下实施。而且，由于不必要的细节可能使本发明不清楚，公知的功能或结构不再被详细描述。

图4使示意性地示出根据本发明实施例的具有噪音降低/消除装置的解隔行设备的方框图。参照图4，噪音降低/消除装置可以具有存储器单元410，运动预测单元420，运动校验单元430，以及噪音处理单元440。噪音处理单元440可以包括运动补偿单元441，权值计算单元443，以及噪音消除单元445。

存储器单元410存储输入图像的当前场f(k)，下一场f(k+1)，在前场f(k-1)，以及再前图像y(k-2)。再前图像y(k-2)是在图像传输和处理过程中得到噪音的携带噪音的图像，其可以被如下方程式1以高斯噪音模型来表示：

【方程式1】

y＝f+n，

其中，y表示在其上观察噪音的图像，并且n表示高斯噪音。

运动预测单元420根据顺序输入的单独图像预测在前图像一个周期之前的图像与当前图像之间的运动矢量。在前图像一个周期之前的图像是在图像传输或图像处理过程期间增加了噪音的图像。而且，运动预测单元420计算关于预测半径内的全部矢量的单元块的绝对差之和(SAD)值或对应于该SAD值的开销函数，并且基于所计算的开销函数预测运动矢量。

运动校验单元430将运动预测单元420所预测的运动矢量及时应用于在前图像一个周期之前的图像以及在当前图像之前的两个不同图像，并且校验运动矢量预测是否精确。这是为了防止由于根据当前图像和一个周期之前的图像所预测的运动矢量可能导致关于承受严重噪音的图像的低精度从而预测出错误的运动矢量。假设运动以恒速持续。

假设根据其每一个都具有[bs，bs]大小的宏块预测运动矢量，可以定义关于已知的运动矢量v＝[v_i，v_j]^t的在

和y(k-2)之间的第(m，n)宏块的SAD值如下。

表示其上应用了无限冲击响应(IIR)滤波器的原始图像。

【方程式2】

$\mathrm{\Φ}(m,n,k;v)=\underset{(i,j)\∈B(m,n,k)}{\mathrm{\Σ}}|\hat{f}(i+v_i,j+v_j,k)-y(i,j,k-2)|$

其中，B(m，n，k)表示在第k时间轴上在第(m，n)宏块中的一组已知像素坐标。

假设所预测矢量被表示为

可以用下面的方程式3来表示。

【方程式3】

$\hat{v}(m,n,k)=\arg \underset{v\∈S}{\min }\mathrm{\Φ}(m,n,k;v)$

其中，S表示搜索范围内的一组矢量。用这种方法，运动校验单元430可以及时计算关于在前图像一个周期之前的图像以及在当前图像之前的两个不同图像的单元块的SAD值或对应于该SAD值的开销函数，并且可以基于所计算的开销函数校验是否得到了精确的运动矢量。而且，运动校验单元430可以比较所计算的SAD或对应于该SAD的开销函数与对应于除所预测运动矢量之外的多重运动矢量的SAD值或对应于该SAD值的开销函数，并且可以校验是否得到了精确的运动矢量。

噪音处理单元440的运动补偿单元441可以通过使用由运动校验单元430为其精确性而校验的运动矢量来补偿运动。如果所计算的SAD值或对应于该SAD值的开销函数的值大于至少一个其每一个都对应于除所预测运动矢量之外的多重运动矢量的单元块的SAD值或对应于这些SAD值的开销函数的值，本发明总体构思的一方面在于运动补偿单元441可以通过利用除所预测运动矢量之外的多个运动矢量中的任意一些来补偿运动。

权值计算单元443可以通过使用下一场f(k+1)、当前场f(k)、以及在前场f(k-1)来计算用于运动自适应的权值w。由权值计算单元443所计算的权值被发送到噪音消除单元445。

噪音消除单元445可以通过使用由运动补偿单元441所提供的补偿图像和输入的图像来消除图像的噪音。此时，噪音消除单元445可以通过使用由运动校验单元430所校验的运动矢量将被补偿的图像与输入图像的权值相加，并且随后可以生成降低了噪音或是消除了噪音的图像。从噪音消除单元445输出的图像f(k-2)表示从携带噪音的图像y(k-2)中得到的消除了噪音的图像。

因此，噪音消除单元445可以通过简单的过程消除或有效降低带有噪音的图像中的噪音。

同时，解隔行设备具有存储器单元410、运动预测单元420、运动校验单元430、以及解隔行处理单元450。解隔行处理单元450具有运动补偿单元451、权值计算单元453、以及解隔行单元455。存储器单元410、运动预测单元420、运动校验单元430、运动补偿单元451、以及权值计算单元453这些部件与噪音消除装置中的那些部件是一样的，因此这些部件显示在一幅图中，并且其中的详细说明也将被省略。

解隔行单元455可以通过利用由运动校验单元430所校验的运动矢量将被补偿图像和输入图像的权值相加，并且随后可以生成解隔行图像。图4中的图像g(k)表示关于隔行扫描格式图像f(k)的逐行扫描格式的解隔行图像。

因此，解隔行设备可以对带有噪音的图像执行精确的解隔行。

根据本发明，噪音降低/消除装置可以通过对输入图像执行的简单处理降低/消除噪音，并且解隔行设备可以对带有噪音的图像执行精确的解隔行。

尽管示出并描述了本发明总体构思的实施例，但是，本发明总体构思不限于上述实施例，在不脱离本发明范围的情况下，本领域技术人员可以进行各种变形和修改。

Claims (10)

1.一种噪音降低/消除装置，包括：

运动预测单元，用于根据顺序输入的单独图像预测在前图像的一个周期之前的图像和当前图像之间的运动矢量；

运动校验单元，用于将由运动预测单元预测的运动矢量及时应用到在前图像一个周期之前的图像与当前图像之前的两个不同图像，并且校验运动矢量是否是精确的运动矢量；

运动补偿单元，利用由运动校验单元为精确性而校验的运动矢量来补偿运动；以及

噪音消除单元，利用由运动补偿单元补偿了运动的图像和输入的图像来消除图像的噪音，

其中，运动校验单元及时计算关于在前图像一个周期之前的图像和当前图像之前的两个不同图像的块单元的绝对差之和值和/或对应于该绝对差之和值的开销函数，并且基于所计算的开销函数来校验运动矢量是否是精确的运动矢量。

2.如权利要求1中所述的噪音降低装置，其中，运动预测单元计算关于预测半径中的全部矢量的块单元的绝对差之和值和/或对应于该绝对差之和值的开销函数，并且基于所计算的开销函数预测运动矢量。

3.如权利要求1中所述的噪音降低/消除装置，其中，运动校验单元比较计算的绝对差之和值和/或对应于该绝对差之和值的开销函数与对应于除所预测运动矢量之外的多重运动矢量的绝对差之和值和/或对应于该绝对差之和值的开销函数，并且校验运动矢量是否是精确的运动矢量。

4.如权利要求3中所述的噪音降低/消除装置，其中，如果所计算的绝对差之和值和/或对应于该绝对差之和值的开销函数的值大于任何对应于除所预测的运动矢量之外的多重运动矢量的块单元的绝对差之和值和/或对应于该绝对差之和值的开销函数的值，则运动补偿单元利用除所预测运动矢量之外的任何多重运动矢量来补偿运动。

5.如权利要求4中所述的噪音降低/消除装置，其中，噪音消除单元将输入图像与通过使用由运动校验单元校验的运动矢量所补偿的图像的权值相加，并且生成消除了噪音的图像。

6.一种解隔行设备，包括：

运动预测单元，用于预测相对于顺序输入的单独图像的在前图像的一个周期之前的图像和当前图像之间的运动矢量；

运动校验单元，用于将由运动预测单元预测的运动矢量及时应用到在前图像一个周期之前的图像与当前图像之前的两个不同图像，并且校验运动矢量是否是精确的运动矢量；

运动补偿单元，利用由运动校验单元为精确性而校验的运动矢量来补偿运动；以及

解隔行单元，利用来自于运动补偿单元的补偿了运动的图像和输入的图像将隔行扫描格式转换为逐行扫描格式，

其中，运动校验单元及时计算关于在前图像一个周期之前的图像和当前图像之前的两个不同图像的块单元的绝对差之和值和/或对应于该绝对差之和值的开销函数，并且基于所计算的开销函数来校验运动矢量是否是精确的运动矢量。

7.如权利要求6中所述的解隔行设备，其中，运动预测单元计算关于预测半径中的全部矢量的块单元的绝对差之和值和/或对应于该绝对差之和值的开销函数，并且基于所计算的开销函数预测运动矢量。

8.如权利要求6中所述的解隔行设备，其中，运动校验单元比较计算的绝对差之和值和/或对应于该绝对差之和值的开销函数与对应于除所预测运动矢量之外的多重运动矢量的绝对差之和值和/或对应于该绝对差之和值的开销函数，并且校验运动矢量是否是精确的运动矢量。

9.如权利要求8中所述的解隔行设备，其中，如果所计算的绝对差之和值和/或对应于该绝对差之和值的开销函数的值大于任何对应于除所预测的运动矢量之外的多重运动矢量的块单元的绝对差之和值和/或对应于该绝对差之和值的开销函数的值，则运动补偿单元利用除所预测运动矢量之外的任何多重运动矢量来补偿运动。

10.如权利要求9中所述的解隔行设备，其中，解隔行单元将输入图像与通过使用由运动校验单元校验的运动矢量所补偿的图像的权值相加，并且生成消除了噪音的图像。

Images