CN1607833B - 用于视频信号降噪的设备和方法 - Google Patents

Abstract

本发明涉及一种用于视频信号降噪的设备(1)和方法。所述设备包括：运动补偿插值装置(2)；递归过滤器(3)，意欲在第一输入接收由插值装置(2)运动补偿的递归过滤器(3)的输出(r(x，y，t))，以及在第二输入接收视频信号(12)；用于计算视频信号(12)和由所述插值装置(2)运动补偿的递归过滤器(3)的输出(r(x，y，t))之间的差的装置(9)；依照本发明，所述设备具有：用于提供递归过滤器的第一输入的装置(8)，如果所述差大于预定噪声电平阀值(Sc)，那么其具有视频信号(12)，或者如果所述差小于所述预定噪声电平阀值(Sc)，那么其具有递归过滤器(3)的运动补偿输出(r(x，y，t))。本发明在压缩之前应用于降噪设备。

Description

用于视频信号降噪的设备和方法

技术领域

本发明涉及一种用于降低噪声电平的设备和方法。

背景技术

降噪是在编码之前视频预处理的基本部分。它基于递归时间过滤。

降噪技术通常以样品的矩阵形式在数字视频图像上进行；每一样品由亮度信号和色度信号组成(就彩色信号而言)。

迄今为止，仍然广泛地以模拟获得视频图像序列，所以一旦它们已经被获得并选择性地以模拟格式发射和存储，那么所述图像包含相当的噪声分量。一旦它们已经被数字化，这些图像常常还要经受存储/编辑操作的影响，所述操作也会引入噪声，这次是数字的特性。最后，图像序列经历连续的变换，这导致高随机特性的时空噪声。

为了获得优良的结果，使用递归过滤的降噪方法解决在视频序列中所述图像的非常高的时间相关性。因此，为了发展有效的降噪，运动和位移的概念是重要的。

“位移”是用来指在场景中目标的位置变换，这个位置变换是局部的并且特定地指向这个目标。“运动”是用来意指在视频序列中所有合起来的目标的位移。

所述运动通常通过简单的图像到图像的区别或者通过使用运动估算器来检测。

当使用运动估算器时，通过获得在独立时间的图像差别以及通过所述帧空间地移动来说明所述位移。这些位移由涉及像素(每一像素的运动估计)或块(块中的运动估计)的运动矢量场表示。这提供运动补偿图像差别，称为DFD(位移帧差)，用于像素或块。

然而，运动估算器有缺点，所述缺点可能导致递归过滤器的输出缺陷，并且通过递归原则在整个时间里被传播。这些缺点的例子是目标跟踪的问题，一个目标被另一个所掩盖，并且出现新目标。

为了克服这些缺点，一个设想的解决方案是将所述递归过滤器只适用于固定区域或小运动区域。然后降噪器是运动适应降噪器，而不是运动补偿降噪器。这种方法的主要缺点是：仅仅是在没有运动或小运动的序列中，或从图像区域中除掉所述噪声，但是如果在序列中存在噪声，那么所述噪声将遍及所述序列而存在。因此这种降噪器往往不是很有效的。

发明内容

本发明涉及一种用于降噪的设备和方法，其估算图像中的所述噪声和由运动补偿产生的误差。

为此，本发明涉及一种用于视频信号降噪的设备，包括：

运动补偿插值装置；

递归过滤器，用于在第一输入接收由所述插值装置运动补偿的递归过滤器的输出，并且在第二输入接收所述视频信号；

装置，用于计算所述视频信号和由所述插值装置运动补偿的递归过滤器的输出之间的差。

依照本发明，所述设备具有：

用于提供递归过滤器的第一输入的装置，如果所述差大于预定噪声电平阀值，那么所述第一输入具有所述视频信号，或者如果所述差小于所述预定噪声电平阀值，那么其具有所述递归过滤器的运动补偿的输出。

因此，本发明使因所述运动补偿和实际噪声所产生的误差分开成为可能。当视频信号和递归过滤器的运动补偿输出之间的差大于阀值时，递归循环被中断，这通过中断所述递归循环使得避免由所述运动补偿所传播的误差成为可能。因此，在所述过滤器的输出没有产生伪差的情况下，执行严格的过滤是可能的，如果运动估计较差，所述伪差可能由于强烈的运动补偿误差而出现。

依照优选实施例，所述设备具有：

用于估算视频信号的噪声电平的装置；

用于计算所述预定噪声电平阀值的装置。

依照优选实施例，所述用于计算在视频信号和通过插值装置运动补偿的递归过滤器的输出之间的差的装置对视频信号携带图像的每一像素计算所述差。

有利地是，所述递归过滤器具有一个或两个过滤单元。

依照优选实施例，所述阀值与所述递归过滤器的过滤器参数有关。

这使手动地调整所述阀值成为可能，并且因此可允许用户依照本申请调整所述阀值。

依照优选实施例，所述阀值取决于每一帧的噪声电平。

用这种方法，由于噪声电平能从一个帧到另一个帧变化，所以对于每一帧可以修改并重新计算所述阀值。

依照优选实施例，通过适用所述阀值到每一图像特性区域，可以动态地并局部地修改所述阀值。

这使得适应具有不规则的噪声电平的帧成为可能，因而在维持过滤的高电平的同时，能够在给定帧内局部地限制所述伪差风险。

本发明还涉及一种用于视频信号降噪的方法，包括下列步骤：

运动补偿插值；

递归过滤意欲在第一输入接收所述递归过滤器的运动补偿输出，并在第二输入接收所述视频信号；

计算视频信号和递归过滤器的运动补偿输出之间的差。

依照本发明，所述方法包括：

用于提供递归过滤器的第一输入的步骤，如果所述差大于预定噪声电平阀值，那么其具有所述视频信号，或者如果所述差小于所述预定噪声电平阀值，那么其具有所述递归过滤器的运动补偿输出。

本发明还涉及一种程序产品，包括程序代码指令，当所述程序在计算机上执行时，所述程序代码指令能够执行依照本发明的方法。

附图说明

参考附图借助于优选示例性的实施例能够更清楚地理解并说明本发明，其中：

图1表示根据具有一个过滤单元的递归过滤器的本发明的优选实施例；

图2表示根据具有两个过滤单元的递归过滤器的本发明的优选实施例；

具体实施方式

如图1所示，降噪设备1可以允许在运动补偿递归过滤设备中校正与运动补偿相关联的缺点。

这种设备能够分离由于所述运动补偿和实际噪声所产生的误差。

所述设备1具有递归过滤模块3和运动补偿插值模块2。

包含在一些视频序列中的所述噪声可能降低例如MPEG类型的视频编码器的有效性，导致解码图像具有较差的视觉质量，即使是用合理的编码率。

所述降噪设备1取决于由递归过滤器3和运动插值装置2进行的递归过滤。

所述递归过滤器3优选具有约为一个像素阶的粒度。

视频信号12表示由一定数目像素组成的图像。每一图像以交叉方式编码并由两个帧组成。图像中的每一像素由所述设备3进行过滤。

所述视频信号12在减法器7的一个输入被接收。所述减法器7在其第二输入处接收多路复用器8的输出m(x，y，t)。

递归过滤器3的输入接收估算噪声电平13的估算值sigma(σ)，其通过噪声电平估算器(图1未示出)对应每一帧而产生。

使用噪声电平(σ)以便计算递归系数α。

所述递归系数α加权在帧中涉及噪声电平σ的函数的过滤有效性和多路复用器8的输入视频信号e(x，y，t)和输出m(x，y，t)之间计算的误差14，也就是说微分器7的输出。

$\mathrm{\α}=\frac{\mathrm{\ϵ}}{4\×\mathrm{\δ}}$ 其中α∈[0.25；1]

所述系数α被发送给乘法器6，所述乘法器在其另一输入接收微分器7的输出ε。

因此，下面是在乘法器6的输出获得的：

α×ε＝α(e(x，y，t)-m(x，y，t))

乘法器6的输出与加法器10的输入相连。所述加法器10的另一个输入与所述多路复用器8的输出相连。在所述加法器10的输出获得f(x，y，t)：

f(x，y，t)＝α×e(x，y，t)+(1-α)×m(x，y，t)

然后在经历一个帧f(x，y，t-1)的延迟之后，将信号f(x，y，t)发送给所述运动补偿插值装置2。所述插值装置2产生根据f(x，y，t-1)和在当前帧和前一帧之间的估算的位移矢量(dx，dy)生成所述运动补偿输出r(x，y，t)。

然后将所述运动补偿输出r(x，y，t)发送给微分器9。所述微分器9还接收视频信号e(x，y，t)作为输入。微分器9在其输出产生信号g(x，y，t)。

g(x，y，t)＝e(x，y，t)-r(x，y，t)

比较器11接收g(x，y，t)和噪声电平阀值Sc作为输入。

所述阀值Sc取决于最后的操作，所述最后操作与依照本发明的降噪设备相关联。这表示在所述降噪器的有效性和降噪器的输出伪差的出现之间的折中。在第一实施例中，所述阀值Sc可能与过滤的严格度线性相关。

如果假定对例如具有5个位置(Cursor_position)的过滤调整的游标生效，那么下列值将被分配给Sc：

Sc＝16+cursor_position，16是一任意的固定值。

Sc可能在第二个值实施例中适应噪声电平σ以便它可以因每一帧而变化。

依照第三实施例，通过适用所述阀值到每一被处理图像的特性区域，可以动态地并局部地修改所述阀值。例如，伪差的风险因运动区域而增加，并且优选的是其具有较低的阀值。对于具有小运动的区域，阀值可能较高。

多路复用器8取决于由比较器11执行的比较结果，提供具有视频信号e(x，y，t)或运动补偿输出r(x，y，t)的递归过滤器的输入。

多路复用器使在实际噪声和补偿误差之间进行分类成为可能。

比较器11为多路复用器8产生一控制信号。

如果g(x，y，t)＞Sc，那么发送给多路复用器8的控制信号告诉多路复用器8向递归过滤器3传送视频信号e(x，y，t)。

如果g(x，y，t)＜Sc，那么发送给多路复用器8的控制信号告诉多路复用器8向递归过滤器3传送运动补偿输出r(x，y，t)。

图2示出了本发明的另一实施例，适用于包括两个单元的递归过滤器。

像图1中所示设备一样，图2中所示的设备能够在运动补偿递归过滤设备中避免与所述运动补偿相关联的缺点的不利影响。

具有两个递归过滤单元的递归过滤器比包括单个单元的递归过滤器更有效。

如图2中所示的降噪设备具有两个递归过滤器29和39，分别与两个运动插值模块28和38连在一起。

所述递归过滤器29和39优选具有约为一个像素阶的粒度。

视频信号18表示由一定数目像素组成的图像。在优选实施例中，每一图像以交叉方式编码并且由两个帧组成，不过它还可能以渐进方式编码。引入图像的每一像素由递归过滤器29和递归过滤器39过滤。在减法器23的一个输入和减法器33的一个输入上接收视频信号。所述减法器23在其第二输入处接收多路复用器22的输出，并且所述减法器33在其第二输入处接收多路复用器32的输出。

递归过滤器29和39的输入接收所述噪声电平的估算值delta(δ)，所述δ由噪声电平估算器(图2未示出)为每一帧产生。使用所述噪声电平δ以便计算递归过滤器29的递归系数α1和递归过滤器39的递归系数α2。

所述递归系数α1和α2加权在帧中涉及噪声电平δ的过滤有效性，和分别在输入视频信号e(x，y，t)和多路复用器22的输出m1(x，y，t)或多路复用器32的输出m2(x，y，t)之间的计算的误差ε1或ε2，就是说分别为微分器23或33的输出。

$\mathrm{\α}1=\frac{\mathrm{\ϵ}1}{4\×\mathrm{\δ}}$ 其中α1∈[0.25；1]

所述系数α1被发送给乘法器24，所述乘法器在其其它输入处接收所述减法器23的输出ε1。

下列是因此在乘法器24的输出获得的：

α1×ε1＝α1(e(x，y，t)-m1(x，y，t))

乘法器24的输出与加法器26的输入相连。所述加法器26的另一个输入与所述多路复用器22的输出相连。在所述加法器26的输出获得fl(x，y，t)。

fl(x，y，t)＝α1×e(x，y，t)+(1-α1)×m1(x，y，t)

$\mathrm{\α}2=\frac{\mathrm{\ϵ}2}{4\×\mathrm{\δ}}$ 其中α2∈[0.25；1]

所述系数α2被发送给乘法器34，所述乘法器在其其它输入接收所述减法器33的输出ε2。

下列是因此在乘法器34的输出获得的：

α2×ε2＝α2(e(x，y，t)-m2(x，y，t))

乘法器34的输出与加法器36的输入相连。所述加法器36的另一个输入与所述多路复用器32的输出相连。在所述加法器36的输出获得f2(x，y，t)。

f2(x，y，t)＝α2×e(x，y，t)+(1-α2)×m2(x，y，t)

然后向加法器39发送fl(x，y，t)和f2(x，y，t)，所述加法器39在其输出提供已过滤信号f(x，y，t)。

f(x，y，t)＝[f1(x，y，t)+f2(x，y，t)]/2

然后向帧延迟模块27和图像延迟模块37发送所述信号f′(x，y，t)。

从而在所述帧延迟模块27的输出处获得信号f′(x，y，t-1)，以及在所述图像延迟模块37的输出处获得f′(x，y，t-2)。

插值装置27根据在当前帧和前一帧之间的估算的运动矢量以及f′(x，y，t-1)产生当前帧的运动补偿输出r1(x，y，t)。

插值装置37根据在当前帧和前一帧之间的估算的运动矢量以及f′(x，y，t-2)产生当前帧的运动补偿输出r2(x，y，t)。

运动补偿输出r1(x，y，t)被发送给微分器21。所述微分器21还接收视频信号e(x，y，t)以作为输入。所述微分器21在其输出产生所述信号g1(x，y，t)。

g1(x，y，t)＝e(x，y，t)-r1(x，y，t)

比较器20接收g1(x，y，t)和噪声电平阀值Sc1作为输入。

多路复用器22根据由比较器20执行的比较结果，提供具有视频信号e(x，y，t)或运动补偿输出r1(x，y，t)的递归过滤器的输入。

多路复用器22使在实际噪声和补偿误差之间进行分类成为可能。

比较器20为多路复用器8产生一控制信号。

如果g1(x，y，t)＞Sc，那么发送给多路复用器22的控制信号告诉多路复用器22向递归过滤器29传送视频信号e(x，y，t)。

如果g1(x，y，t)＜Sc，那么发送给多路复用器22的控制信号告诉多路复用器22向递归过滤器29传送运动补偿输出r1(x，y，t)。

运动补偿输出r2(x，y，t)被发送给微分器31。所述微分器31还接收视频信号e(x，y，t)以作为输入。所述微分器31在其输出产生所述信号g2(x，y，t)。

g2(x，y，t)＝e(x，y，t)-r2(x，y，t)

比较器30接收g2(x，y，t)和噪声电平阀值Sc2作为输入。

所述两个噪声电平阀值Sc1和Sc2可以是独立的。

多路复用器32根据由比较器30执行的比较结果，提供具有视频信号e(x，y，t)或运动补偿输出r2(x，y，t)的递归过滤器的输入。

多路复用器32使在实际噪声和补偿误差之间进行分类成为可能。

比较器30为多路复用器32产生一控制信号。

如果g2(x，y，t)＞Sc2，那么发送给多路复用器32的控制信号告诉多路复用器32向递归过滤器39传送视频信号e(x，y，t)。

如果g2(x，y，t)＜Sc2，那么发送给多路复用器32的控制信号告诉多路复用器32向递归过滤器39传送运动补偿输出r2(x，y，t)。

如上所指出的关于阀值Sc，所述阀值Sc1和Sc2可以是固定的、可变的或取决于过滤的严格度。

Claims (8)

1.一种用于视频信号降噪的设备(1)，包括：

运动补偿插值装置(2)；

递归过滤器(3)，用于在第一输入接收由插值装置(2)运动补偿的递归过滤器的输出(r(x，y，t))，以及在第二输入接收视频信号(12)；

装置(9)，用于计算视频信号(12)和由所述插值装置(2)运动补偿的递归过滤器(3)的输出(r(x，y，t))之间的差；

其特征在于还包括

用于提供递归过滤器的第一输入的装置(8)，如果所述差大于预定噪声电平阀值(Sc)，那么其具有视频信号(12)，或者如果所述差小于所述预定噪声电平阀值(Sc)，那么其具有递归过滤器(3)的运动补偿输出(r(x，y，t))的。

2.如权利要求1所述的设备，其特征在于还包括：

装置，用于估算视频信号的噪声电平；

装置，用于计算所述预定噪声电平阀值。

3.如权利要求2所述的设备，其特征在于用于计算视频信号(12)和由所述插值装置(2)运动补偿的递归过滤器(3)的输出(r(x，y，t))之间的差的所述装置(9)为所述视频信号(12)所携带图像的每一像素计算所述差。

4.如前述权利要求任一项所述的设备，其特征在于所述递归过滤器(3)具有一个或两个过滤单元。

5.如权利要求1所述的设备，其特征在于所述阀值(Sc)与所述递归过滤器的过滤器参数有关。

6.如权利要求1所述的设备，其特征在于所述阀值取决于每一帧的噪声电平。

7.如权利要求1所述的设备，其特征在于通过将所述阀值应用到每一图像特性区域，可以动态地并局部地修改所述阀值。

8.一种用于视频信号降噪的方法，包括下列步骤：

运动补偿插值；

递归过滤意欲在第一输入接收所述递归过滤器的运动补偿输出，并在第二输入接收所述视频信号；

计算视频信号和递归过滤器的运动补偿输出之间的差。

其特征在于其包括：

用于提供递归过滤器的第一输入的步骤，如果所述差大于预定噪声电平阀值，那么其有所述视频信号，或者如果所述差小于所述预定噪声电平阀值，那么其具有所述递归过滤器的运动补偿输出。

Images