CN1812489A - 用于去除视频信号的噪声的装置 - Google Patents

Abstract

本发明公开了去除视频信号噪声的装置，通过它，可以有效地估算噪声电平以增强视频信号的图像质量，通过运动自适应滤波，可以以一种有效的估算噪声电平的方式去除噪声，并且通过它，在去除噪声的处理中防止了模糊。本发明包括：时间噪声电平估算单元，使用两个时间连续的视频之间的差，估算包括在视频信号中的时间噪声的电平；噪声校正单元，校正通过时间噪声电平估算单元估算的噪声；和噪声去除单元，使用校正的噪声的电平来去除包括在视频信号中的噪声。

Description

用于去除视频信号的噪声的装置

本申请要求受益于韩国专利申请No.10-2005-0004498，于2005年1月18日提出申请，和韩国专利申请No.10-2005-0091446，于200年9月29日提出申请，在此结合参考它们的全部内容。

技术领域

本发明涉及广播接收机，尤其涉及去除视频信号的噪声的装置。尽管本发明适用于广泛的应用领域，但特别适用于视频信号的噪声减少。

背景技术

通常，在TV视频信号中，总是存在各种噪声，比如摄像机的热噪声，传输处理过程中的噪声等等。而且，这些噪声是图像质量下降的主要因素。

因此，TV接收单元等等执行噪声去除等处理。在如此操作中，如果附加到视频上的噪声的电平是未知的，处理不能提供正确的结果。

例如，如果在具有很小噪声的视频上执行强噪声排除，细节的视频成分被去除而提供不清楚的视频，即模糊的视频。

另一方面，如果在具有大噪声的视频上执行弱噪声排除处理，则不能够充分的去除附加到该视频上的噪声。

因此，噪声减少对于高视频质量是一种必要的技术。

视频信号的噪声通常由公式1表示。

[公式1]

g(x，y)＝f(x，y)+n(x，y)

在公式1中，如果通过把噪声信号n(x，y)添加到原始的视频信号f(x，y)来测量信号g(x，y)，假设噪声信号具有正态分布，该分布具有平均0的σ_n ²，如N(0，σ_n ²)。

在此情况下，通过以一种从测量的视频信号g(x，y)中估测不包含噪声的原始视频信号f(x，y)滤波的方式滤波来完成噪声减少，。

为此，使用空间滤波、时间滤波、空间-时间滤波等等这样的方法。这些方法通过计算有效的减少噪声，来输出被滤波的目标象素和目标象素的附近中的相邻象素之间的平均，中间值，加权总和等等。

然而，通过这些方法，模糊了视频的细微成分。特别的是，在视频运动随时间有许多变化的情况下，在时间或空间-时间滤波中模糊转变成残留影像。因此，降低了相应的图像质量。

发明内容

因而，本发明直接针对去除视频信号的噪声的装置，充分地克服了由于现有技术的限制和缺点所带来的一个或多个问题。

本发明的一个目的是提供一种去除视频信号的噪声的装置，通过该装置，能够有效的估算噪声电平以增强视频信号的图像质量。

本发明的另一个目的是提供一种去除视频信号的噪声的装置，通过该装置，通过运动自适应滤波，能够以有效的估算噪声电平的方式去除噪声。

本发明的另一个目的是提供一种去除视频信号的噪声的装置，通过该装置，在去除噪声的处理中防止了模糊。

下面的描述将使部分前述的本发明的附加的优点、目的、和特点更加显而易见，根据下述内容和从本发明的实践中学习，本发明的附加的优点、目的、和特点对本领域普通技术人员将是显而易见的。通过所述说明书和它的权利要求以及附图所指出的特殊的结构，可以实现和获得本发明的目的和优点。

为实现这些目的和其他的优点，以及根据本发明的目的，如在此具体实施和广义说明的，根据本发明的去除视频信号噪声的装置包括：时间噪声电平估算单元，其使用两个时间连续的视频之间的差，估算包括在视频信号中的时间噪声的电平；噪声校正单元，校正通过时间噪声电平估算单元估算的噪声；和噪声去除单元，使用校正的噪声的电平来去除包括在视频信号中的噪声。

优选地，时间噪声电平估算单元包括：运算单元，其输出两个时间连续的视频之间的帧差的绝对值；和方差计算单元，计算绝对值的方差来作为时间噪声的电平。

优选地，时间噪声电平估算单元包括：界外值拒绝单元，如果两个时间连续的视频信号之间的差大于预定的门限，把相同位置上两个时间连续的视频信号之间的差钳位成预定的门限以输出；和方差计算单元，对从界外值拒绝单元输出的差值计算方差以便输出成时间噪声的电平。

优选地，噪声校正单元包括无限冲激响应(IIR)滤波器，其具有多个分接头，接收两个时间连续的视频信号。

在本发明的另一个方面中，用于去除视频信号噪声的装置包括：空间噪声电平估算单元，使用噪声分布和视频信号分布的特性来估算包括在视频信号中的空间噪声的电平；时间噪声电平估算单元，使用两个时间连续的视频之间的帧差来估算包括在视频信号中的时间噪声的电平；全局运动检测单元，分别根据两个时间连续的视频的运动程度，选择以输出通过空间和时间噪声电平估算单元所估算的噪声电平的其中之一；噪声校正单元，根据全局运动检测单元的控制，接收以校正有选择地输出的噪声的电平；和噪声去除单元，使用校正的噪声电平来去除包括在视频信号中的噪声。

优选地，时间噪声电平估算单元包括：运算单元，其输出两个时间连续的视频之间的帧差的绝对值；和方差计算单元，计算绝对值的方差来作为时间噪声的电平。

优选地，时间噪声电平估算单元包括：界外值拒绝单元，如果两个时间连续的视频信号之间的差大于预定的门限，把在相同位置上两个时间连续的视频信号之间的差钳位成预定的门限以输出；和方差计算单元，对从界外值拒绝单元输出的差值计算方差以便输出作为时间噪声的电平。

在本发明的另一个方面中，用于去除视频信号噪声的装置包括：空间滤波单元，其利用输入的时间噪声的电平，去除包括在输入视频中的空间噪声以输出；视频信号存储单元，延迟输出通过空间滤波单元输出的视频信号；时间噪声估算单元，如果两个时间连续的视频信号之间的差大于预定的门限，把相同位置上通过空间滤波单元和视频信号存储单元分别输出的两个时间连续的视频信号之间的差钳位成预定的门限以输出；噪声校正单元，校正通过时间噪声电平估算单元估算的噪声，以输出到空间滤波单元；和噪声去除单元，使用校正的噪声的电平，去除时间区域中包括在视频信号中的噪声。

在本发明的另一个方面中，用于去除视频信号的噪声的装置包括：空间噪声电平估算单元，估算输出来自输入的视频信号的空间噪声的电平；空间滤波单元，使用从空间噪声电平估算单元输出的空间噪声的电平，去除包括在输入视频中的空间噪声以输出；视频信号存储单元，延迟输出通过空间滤波单元输出的视频信号；时间噪声估算单元，如果两个时间连续的视频信号之间的差大于预定的门限，把相同位置上通过空间滤波单元和视频信号存储单元分别输出的两个时间连续的视频信号之间的差钳位成预定的门限以输出；时间噪声估算单元估算输出时间噪声的电平；和时间滤波单元，使用分别通过时间和空间噪声电平估算单元估算的噪声的电平，去除包括在视频信号中的噪声。

应该明白，本发明的前述的一般性描述和下面的详细描述是示例性的，并意在提供如权利要求的本发明的进一步的解释。

附图说明

所包括的附图提供本发明的进一步解释，并被结合和构成本申请的一部分，其示出本发明的实施例，并连同说明书用来解释本发明的原理。附图中：

图1是根据本发明第一实施例的用于去掉视频信号噪声的装置的方框图；

图2是用于解释根据本发明的用于去掉视频信号噪声的装置中时间滤波概念的图；

图3是用于解释根据本发明的对时间差计算局部方差的处理过程和窗口的例子的图；

图4是根据本发明第二实施例的去除视频信号噪声的装置的方框图；

图5是根据本发明第三实施例的去除视频信号噪声的装置的方框图；

图6是根据本发明一个实施例的图5所示的空间噪声电平估算单元的详细方框图；

图7是根据本发明第四实施例的去除视频信号噪声的装置的方框图；

图8是根据本发明第五实施例的去除视频信号噪声的装置的方框图；和

图9是根据本发明一个实施例的图8所示的空间噪声电平估算单元的详细方框图。

具体实施方式

现在将详细参考本发明的各种实施例，其例子被示例在附图中。只要可能的话，整个附图中使用的相同的参考数字表示相同的部分。

下面，本发明描述了通过各种实施例的视频信号的电平估算和去除。

第一实施例

图1是根据本发明第一实施例的用于去除视频信号的噪声的装置的方框图。

参考图1，根据本发明第一实施例的用于去除视频信号噪声的装置包括：视频信号延迟单元110，时间噪声电平估算单元120，卡尔曼(Kalman)滤波单元130，和时间滤波单元140。

在上述结构的装置中，当前输入的视频被送到视频信号存储单元110、时间噪声电平估算单元120和时间滤波单元140。

视频信号存储单元110以帧单元延迟输入视频，并接着把延迟的信号输出到时间噪声电平估算单元120和时间滤波单元140。

时间噪声电平估算单元120包括：操作单元121，发现两个时间连续的视频的亮度值之间的帧差的绝对值；和方差计算单元122，通过计算相应于绝对值的方差来输出时间噪声的方差σ_t ²(t)。

操作单元121接收当前输入的视频和来自视频存储单元110的1-帧延迟的视频，并输出两个时间连续的视频的亮度值之间的帧差的绝对值到方差计算单元122。方差计算单元122对绝对值计算方差以便输出作为包含在视频信号中的时间噪声的电平的估算值σ_t ²(t)。通过时间噪声电平估算单元120估算的时间噪声的电平接着被输入到卡尔曼滤波单元130。

卡尔曼滤波单元(数据相关和卡尔曼滤波单元)130执行输入的噪声估算值σ_t ²(t)上的时间校正。由于噪声的电平不是实际噪声而是估算的噪声，估算有可能是错误的。因此，执行时间校正。

为此，卡尔曼滤波单元130对估算的噪声σ_t ²(t)放置两个状态值以执行与噪声的估算电平的数据相关，和执行1-维卡尔曼滤波。卡尔曼滤波单元130接着输出滤波的状态值，在时间方差中其是较小的，作为最后的估算的噪声。

下面详细解释该处理过程。

首先，考虑两个状态值x₁(t)和x₂(t)。状态值是随机的(概率)变量，分别具有正态分布(m_k(t)，σ_t ²(t)))，k＝1 and(m_k(t)，σ_t ²(t)))，k＝2。

在此情形下，如果t＝0，通过公式2建立每个状态值的初始值。

[公式2]

m₁(0)＝361， ${\mathrm{\σ}}_1^2\left(0\right))={361}^2$

m₂(0)＝0， ${\mathrm{\σ}}_2^2\left(0\right))={361}^2$

在公式2中，‘361’是假设标准偏差的最大值是‘19’所建立的初始值。根据噪声的最大电平可以不同的设置该值。

因此，每次输入通过时间噪声电平估算单元120估算的噪声σ_t ²(t)，卡尔曼滤波单元130选择具有较近距离的状态值。特别的是，如果输入的噪声的方差σ_t ²(t)符合公式3，卡尔曼滤波单元130选择状态值x₁(t-1)。否则，卡尔曼滤波单元130选择另一个状态值x₂(t-1)。

[公式3]

$\frac{|{\mathrm{\&sigma;}}_n\left(t\right)-m_1(t-1)|}{{\mathrm{\&sigma;}}_1(t-1)}<\frac{|{\mathrm{\&sigma;}}_n\left(t\right)-m_2(t-1)|}{{\mathrm{\&sigma;}}_2(t-1)}$

在选择状态值x₁(t-1)的情况下，通过公式4更新。

[公式4]

${\mathrm{\&sigma;}}_{\mathrm{dist}}^2\left(t\right)={\{{\mathrm{\&sigma;}}_n\left(t\right)-m_1(t-1)\}}^2$

${\mathrm{\&alpha;}}_1=\frac{{\mathrm{\&sigma;}}_1^2(t-1)}{{\mathrm{\&sigma;}}_1^2(t-1)+{\mathrm{\&sigma;}}_1^{\mathrm{dist}}\left(t\right)}$

m₁(t)＝α₁·σ₁(t)+(1-α₁)·m₁(t-1)

${\mathrm{\&sigma;}}_1^2\left(t\right)=(1-{\mathrm{\&alpha;}}_1)\&CenterDot;{\mathrm{\&sigma;}}_1^2(t-1)$

随着未选择的状态值x₂(t-1)不确定的增加，当前的平均值被维持但方差代之以如公式5增加。

[公式5]

m₂(t)＝m₂(t-1)

${\mathrm{\&sigma;}}_1^2\left(t\right)=(1+{\mathrm{\&alpha;}}_1)\&CenterDot;{\mathrm{\&sigma;}}_2^2(t-1)$

在此情况下，如果σ_t ²(t)不能满足公式3，应用公式4来更新状态值x₂(t-1)，和应用公式5来维持当前的状态值x₁(t-1)并代之方差增加。

最后，具有较小方差的平均的状态值被输出作为相应定时点上的估算的噪声。

特别的是，如果满足公式6，‘m₁(t)’变为定时点t上的估算的噪声。否则，‘m₂(t)’变为定时点t上的估算的噪声。

[公式6]

σ₁(t)＜σ₂(t)

图2是用于解释根据本发明的去除视频信号噪声的装置中时间滤波概念的图。

参考图2，两个状态值x₁(t-1)和x₂(t-1)在定时点(t-1)上分别具有平均值m₁(t-1)和m₂(t-1)以及方差σ₁(t-1)和σ₂(t-1)。

一旦通过时间噪声电平估算输入了σ_t ²(t)，根据公式3所示的距离参考，从两个状态值中选择具有相距σ_t ²(t)较近距离的状态。

在图2所示的实施例中，状态值x₁(t-1)比另一个状态值x₂(t-1)更接近于σ_t ²(t)。因此，通过公式4更新x₁(t-1)和通过公式5更新x₂(t-1)。

也就是，x₁(t-1)的平均位置被更新而意味着不定性的方差被减少。另一方面，由于不定性的增量，x₂(t-1)的平均值被维持而方差被增加。

通过卡尔曼滤波单元130校正的噪声电平被提供给时间滤波单元140。时间滤波单元140从视频信号存储单元110接收1-帧延迟的信号和从卡尔曼滤波单元130接收校正的噪声的电平，去除包含在相应的视频信号中的噪声，并接着输出去除噪声的信号。

根据本发明的一个实施例，时间滤波单元140包括2-分接头IIR(无限冲激响应)滤波器，其接收两个时间连续的视频信号。

在此情况下，每个视频信号是提供给包括在一帧或场中的像素的信号。

从时间滤波单元140输出的结果可以采用线性最小均方误差的概念(LMMSE)。因此，通过对经公式7的对当前视频信号和对于当前视频信号时间连续的先前的视频信号的像素的总的加权可以确定时间滤波单元的滤波的结果。

[公式7]

$g_0(t,x,y)=\frac{1+w(t,x,y)}{2}g(t,x,y)+\frac{1-w(t,x,y)}{2}g(t-1,x,y)$

在公式7中，‘t’表示时间而‘x’或‘y’表示象素的位置。‘w(t，x，y)’表示加权，这取决于噪声方差σ_n ²和视频信号方差σ_p ²之间的关系。而且，该关系可以被表示成公式8。

[公式8]

$w(t,x,y)=\frac{{\mathrm{\&sigma;}}_p^2(t,x,y)}{{\mathrm{\&sigma;}}_p^2(t,x,y)+{2\mathrm{\&sigma;}}_n^2}$

在公式8中，视频信号方差σ_p ²被表示成公式9。

[公式9]

${\mathrm{\&sigma;}}_p^2(t,x,y)=\max (0,{\mathrm{\&sigma;}}_g^2(t,x,y)-{2\mathrm{\&sigma;}}_n^2\left(t\right))$

在公式9中，σ_g ²是通过在两个时间连续的视频信号之间的差之上放置具有规定尺寸的窗口所计算的局部方差。

下面结合图3解释计算σ_g ²的例子。

图3是用于解释根据本发明的对于时间差计算局部方差的处理过程和窗口的例子的图。

参考图3，为发现用于视频信号g(t，x)的σ_g ²，例如使用1×5窗口。窗口的尺寸可以被不同的确定。

首先，寻找根据相同位置上像素的定时点t和(t-1)之间的时间差的视频信号差d_k。随后，对于窗口的时间间隔，通过从d_k的平方的总和中减去d_k平均的平方可以发现d_k的方差。特别的是，发现对于每个像素的d_k的1×5窗口内的方差变为方差σ_g ²。

从公式8可以看出，相同定时点上的视频信号的方差在每个像素的位置上具有不同的值，以便被表示成σ_p ²(t，x，y)。然而，在相同定时点上在场或帧内噪声的方差具有相同的值σ_n ²。

为了从公式8和公式9计算加权，应该优先地计算噪声的电平。当通过噪声电平确定时间滤波结果时，应当保证噪声电平估算方的稳定性，以便提供时间滤波结果可靠性。

第二实施例

图4是根据本发明第二实施例的用于去除视频信号噪声的装置的方框图。

参考图4，根据本发明第二实施例的用于去除视频信号噪声的装置包括：视频信号存储单元410，时间噪声电平估算单元420，卡尔曼滤波单元430和时间滤波单元440。

本发明的第二实施例与本发明的第一实施例的不同在于时间噪声电平估算单元420的估算处理。

时间噪声电平估算单元420接收两个时间连续的视频信号之间的差，计算噪声的方差，通过它，在从两个定时点之间的视频运动所产生的噪声中，超过特定电平的噪声成分被去除，并接着输出计算的方差。

就是说，视频信号，即在定时点t上测量的当前输入的视频信号(此后称作测量的信号)可以用公式10表示，其中噪声分量n(t)被加到原始的视频信号f(t，x，y)。

[公式10]

g(t，x，y)＝f(t，x，y)+n(t)

假设噪声信号具有正态分布，其中平均值是‘0’和其中方差是σ_n ²。而且，还假设噪声信号具有广义平稳特性。而且，假设噪声信号与视频信号不相关。

如果原始视频在定时点(t+1)上离开(dx，dy)，测量的视频信号可以表示成公式11。

[公式11]

g(t+1，x，y)＝f(t+1，x-dx(x，y)，y-dy(x，y))+n(t+1)

定时点t和(t+1)之间的差d(t，x，y)，如公式12所示，包括视频信号差和噪声信号差。

[公式12]

d(t，x，y)＝g(t+1，x，y)-g(t，x，y)

＝f(t+1，x-dx(x，y)，y-dy(x，y))-f(t，x，y)+n(t+1)+n(t)

＝d_f(t，x，y)+d_n(t)

差d(t，x，y)的平均，如公式13所示，可以被表示成视频信号差平均和噪声信号差平均。根据前述的假设，噪声信号差的平均E_(x，y)(d_n(t))为0。

[公式13]

E_(x，y)(d(t，x，y))＝E_(x，y)(d_s(t，x，y))+E_(x，y)(d_n(t))

＝E_(x，y)(d_s(t，x，y))

通过使用公式12的计算，差d(t，x，y)的方差可以被表示成公式14或可以表示成公式15。

[公式14]

Var_(x，y)(d(t，x，y))＝E_(x，y)(d² _s(t，x，y))+E² _(x，y)(d_s(t，x，y))

[公式15]

${\mathrm{Var}}_{(x,y)}\left(d(t,x,y)\right)={\mathrm{Var}}_{(x,y)}\left(d_s(t,x,y)\right)+{\mathrm{Var}}_{(x,y)}\left(d_n\left(t\right)\right)$

$=E_{(x,y)}\left({d^2}_s(t,x,y)\right)-{E^2}_{(x,y)}\left(d_s(t,x,y)\right)+{2\mathrm{\&sigma;}}_n^2$

使用这个事实，即，测量的信号的差平均等于来自公式13的视频信号的差平均，公式14和公式15可以被安排成公式16。

[公式16]

${\mathrm{\&sigma;}}_n^2=\frac{E_{(x,y)}\left(d^2(t,x,y)\right)-E_{(x,y)}\left(d_f^2(t,x,y)\right)}{2}$

根据公式16，噪声方差相当于测量的信号的平方差的平均和原始视频信号的平方差的平均之间的差。

在此情况下，公式16的右边的第一项可以被容易地计算但第二项是未知的。因此，通过可靠的假设可以获得近似值以计算噪声电平。

下面结合参考图4解释根据本发明的时间噪声电平估算单元420的操作。

首先，时间噪声电平估算单元420可以包括界外值拒绝单元421和方差计算单元422以计算噪声。

界外值拒绝单元421通过公式17拒绝通过方差计算单元432计算的噪声的界外值，以便使公式16的第二项的值近似为零。

[公式17]

d(t，x，y)＝min(th，g(t+1，x，y)-g(t，x，y))

如图17所示，如果在相同位置(x，y)上两个时间连续的像素的视频信号的差大于门限值(th)，视频信号的值被强行的钳位成门限(th)。在两个连续视频的运动是大的情况下，视频信号值的差不偏离基准值。因此，可以对运动自适应地执行滤波。

门限的初始值可以被复位到适当的值，而且在初始值之后，门限可以被设置到一个如公式18以常数k乘以在先前的帧或场中计算的噪声而得到的值。

[公式18]

th(t)＝k·σ_n(t-1)

界外值意味着偏离通常的统计分布的不正常值。假设噪声具有正态分布，界外值拒绝单元421可以使用公式17去除噪声中偏离正态分布的值，即，对于一个时间从两个视频信号的运动所产生的值的界外值。

方差计算单元422计算噪声的差分量的平方的平均，通过它，界外值被排除。而且，如公式19所示，计算的值变成近似于噪声的方差的一个值。

[公式19]

${\mathrm{\&sigma;}}_d^2=E_{(x,y)}{d}^2(t,x,y)\&ap;{2\mathrm{\&sigma;}}_n^2$

通过方差计算单元422计算的噪声电平被输入到卡尔曼滤波单元430。

卡尔曼滤波单元430和时间滤波单元440的操作与本发明第一实施例的相同，在下述中省略它们的描述。

第三实施例

图5是根据本发明第三实施例的用于去除视频信号噪声的装置的方框图。

参考图5，根据本发明第三实施例的用于去除视频信号噪声的装置包括：视频信号存储单元510，空间噪声电平估算单元520，时间噪声电平估算单元530，全局运动检测单元540，卡尔曼滤波单元550和时间滤波单元560。

当前输入的视频被提供给视频信号存储单元510、空间噪声电平估算单元520、时间噪声电平估算单元530和时间滤波单元560。

视频信号存储单元510以帧单元延迟输入的视频，并接着把延迟的信号输出到空间噪声电平估算单元520、时间噪声电平估算单元530和时间滤波单元560。

时间噪声电平估算单元520使用噪声和信号分布的特性估算包含在输入的视频信号中的空间噪声的电平。

图6是根据本发明一个实施例的空间噪声电平估算单元520的详细方框图。

参考图6，空间噪声电平估算单元520包括：像素方差检测单元610，对输入像素计算局部方差值σ_g ²(t，x，y)；每部分直方图计算单元620，对每个像素的方差值σ_g ²(t，x，y)计算每部分直方图；有效直方图值判定单元630，判定被用于噪声的方差判定的直方图值的数K；有效直方图值计算单元640，得出从有效直方图值判定单元630输出的有效直方图值的平均；和方差计算单元650，在与超过平均值的直方图值相应的方差中判定最小方差来作为噪声的方差。

假设输入视频信号具有噪声，即输入像素被设置为g(t，x，y)，‘(t，x，y)’的输入像素表示空间-时间位置。而且，‘g(t，x，y)’意味着定位在水平方向的‘x’上，垂直方向的‘y’上，和时间轴的方向的‘t’上的输入像素。

在此情况下，像素方差检测单元610根据公式20计算输入像素的局部方差值σ_g ²(t，x，y)，并接着把计算的值输出到每部分直方图计算单元620。

[公式20]

${\mathrm{\&sigma;}}_g^2(t,x,y)=E\left[{(g-{\mathrm{\&mu;}}_g)}^2\right]$

$=E\left[g^2\right]-{\mathrm{\&mu;}}_g^2$

$\&cong;\frac{1}{S}\underset{(t,x,y)\&Element;S}{\mathrm{\&Sigma;}}{g}^2(t,x,y)-{\left(\frac{1}{S}\underset{(t,x,y)\&Element;S}{\mathrm{\&Sigma;}}g(t,x,y)\right)}^2$

在此情况下，运算符E[·]是一个用于得到期望值的操作符，而‘S’意味着支持区域。

例如，使用3×3窗口内的像素得到局部方差的情况下，‘S’变为中心在输入像素的位置上的3×3窗口。

每部分直方图计算单元620对从像素方差检测单元610输出的每个像素的方差值σ_g ²(t，x，y)计算每部分直方图H(k)。特别的是，每部分直方图计算单元620对一帧内存在的像素的局部方差计算每部分直方图H(k)。

通过每部分直方图计算单元620得到的每部分直方图H(k)被输入到有效直方图值判定单元630。有效直方图值判定单元630接着根据公式21判定用于噪声的方差判定的直方图值的数K。

[公式21]

$K{=}_k^{\max }\{k\underset{l=1}{\overset{k}{|\mathrm{\&Sigma;}}}H\left(l\right)\&le;\mathrm{TH}\}$

${=}_k^{\max }\left\{k\right|H\_\mathrm{sum}\&le;\mathrm{TH}\}$

通过公式21得出的‘K’的意义表示，在满足一个条件的累积值中在最大值的数目中包括的直方图数，该条件是，从每部分直方图计算单元620的累计输出所产生的结果小于门限‘TH’。

在此情况下，门限‘TH’是用于获得噪声的可靠测量结果所需的像素数，并且根据本文结果，最好相当于包括在一屏中的总像素数的25％。

有效直方图平均值计算单元640得到相应于有效直方图值判定单元630的输出的有效直方图值的平均，并接着把得到的值输出到方差计算单元650。

在与大于有效直方图平均值H_avg的有效直方图值相应的方差中，方差计算单元650判定最小方差，来作为包括在当前(第t)帧中的噪声的方差σ_s ²(t)。

同时，通过本发明的第一和第二实施例，时间噪声电平估算单元120得到时间噪声的方差σ_s ²(t)。

公式22表示在没有全局运动的情况下两个时间连续的视频之间亮度差(帧差)的绝对值。在此情况下，两个视频之间的差遵循正态分布并且它的方差对应于相应噪声的电平。

[公式22]

d(x，y)＝|g_t(x，y)-g_t-1(x，y)|

另一方面，如果存在运动，根据公式23，在运动补偿之后亮度值的差遵循噪声的分布。

[公式23]

d(x，y)＝|g_t(x，y)-g_t-1(x+dx，y+dy)|

然而，运动估算和补偿需要考虑运算量，并且硬件实现的成本是相当高的。

于是，全局运动检测单元540通过接收时间噪声电平估算单元530的输出，来判定两个连续视频之间的全局运动的存在或不存在。如果存在全局运动，选择通过空间噪声电平估算单元520估算的空间噪声的方差。如果不存在全局运动，选择通过时间噪声电平估算单元530所估算的时间噪声的方差，将其输出到卡尔曼滤波单元550。

例如，通过接收时间噪声电平估算单元530的输出或当前视频和存储在视频信号存储单元510中的视频，全局运动检测单元540判定在两个连续的视频之间是否具有摄像机运动。特别的，对两个时间连续的视频的亮度值的差计算平均m_d和方差σ_d，并且计算的值接着分别与预定的门限m_th和σ_th相比较。

如果满足公式24，确定没有摄像机运动并选择通过时间噪声电平估算单元530所估算的噪声方差。如果不满足公式24，确定摄像机运动是大的并且选择通过空间噪声电平估算单元520所估算的噪声方差，将其输出到卡尔曼滤波单元550。

[公式24]

m_d＜m_th，σ_d＜σ_th

因此，全局运动检测单元540运动-自适应地选择空间估算的噪声电平或时间估算的噪声电平，并接着把选择的电平输出到卡尔曼滤波单元550。

卡尔曼滤波单元550和时间滤波单元560的操作与本发明第一实施例的相同，下述省略它们的描述。

第四实施例

图7是根据本发明第四实施例的用于去除视频信号噪声的装置的方框图。

参考图7，空间滤波单元710可以以级联形式连接到时间滤波单元440，如图4所示，根据视频的运动自适应地执行滤波。

就是说，用于根据视频的运动自适应地执行时间滤波的部分可以具有图4所示的实施例的结构。可替换的，该部分可以具有图1所示的实施例的结构。

然而，图7所示的本发明的第四实施例可以进一步包括空间滤波单元710，其在执行时间滤波之前去除视频信号中空间分布的噪声。

为了使空间滤波单元710去除噪声，可以使用自适应均值滤波器，中值滤波器，自适应中值滤波器等等。

在使用自适应滤波器系列的滤波器的情况下，噪声分布应该是已知的，这是由于自适应滤波器系列根据噪声自适应地判定是否执行噪声滤波。在图7所示的本发明第四实施例中，通过时间噪声电平估算单元420估算的和通过卡尔曼滤波单元430校正的时间噪声的电平被用于空间滤波。可替换的，通过图1中时间噪声电平估算单元120估算的和通过图1中卡尔曼滤波单元130校正的时间噪声的电平可以被用于空间滤波。

通过执行图4所解释的自适应时间滤波，经过空间滤波单元710的信号从视频的测量信号中去除了噪声信号。

然而，如果估算时间产生的噪声的结果被应用于去除空间产生的噪声，则不适于噪声去除，这是由于它们之间不同的特性。另一方面，如果估算空间产生的噪声的结果被应用于去除时间产生的噪声，也不适于噪声去除。因此，优选是用于计算和提供空间噪声的独立的装置被附加到空间滤波单元710。

第五实施例

图8是根据本发明第五实施例的用于去除视频信号噪声的装置的方框图。

参考图8，单独估算空间噪声的空间噪声电平估算单元720被进一步包括在图7所示的本发明第四实施例的结构中。

通过空间噪声电平估算单元720估算的空间噪声的方差被输入到空间滤波单元710以便可以执行噪声的空间滤波工作。

图9是根据本发明一个实施例的图8所示的空间噪声电平估算单元的详细方框图。

参考图9，根据本发明一个实施例的图8所示的空间噪声电平估算单元720包括：局部方差计算单元810，方差频率计算单元820和空间噪声计算单元830。

局部方差计算单元810在相同定时点上输入的帧或场的每个像素上放置预定尺寸(例如3×3)的窗口以计算空间噪声。通过计算窗口内像素的视频信号的局部方差，局部方差计算单元810则获得所有象素的方差值。

方差频率计算单元820把计算的局部方差值划分成预定尺寸的部分，并接着计算包括在每个部分中的方差值显露的频率。

如果视频信号的空间方差是值得考虑的，则对于包括在一帧或场中的像素的视频信号的方差值的变化是值得可虑的。否则，方差值的变化将不被考虑。

因此，可以确定，在局部方差值中，从原始视频信号的变化中产生一些方差值，这些方差每个等于或大于预定的电平。然而，在局部方差值中，每个小于预定电平的一些方差值可以表示在视频信号中包括噪声。

空间噪声计算单元830得出方差频率计算单元820所计算的频率的基准频率，并计算与具有包括在其中的基准频率的频率部分相应的方差值的其中之一，来作为空间噪声的方差值。

空间计算单元830例如以下述方式计算空间噪声。首先，基准频率可以是计算的频率的平均频率。与具有包括在其中的平均频率的频率部分对应的方差值最小的一个可以被计算作为空间噪声的方差值。

已经通过空间滤波单元710对其完成对噪声空间滤波的信号，被输入到视频信号存储单元410以经受运动自适应时间滤波。

随后的噪声去除操作与图4所解释的实施例相同。然而，图8所示的实施例可以进一步包括噪声电平判定单元730。

噪声电平判定单元730使用通过时间和空间噪声电平估算单元420和720分别计算的时间和空间噪声的方差，来确定用于经时间滤波单元440的噪声去除的噪声方差。特别的，噪声电平判定单元730将从空间噪声电平估算单元720输出的空间噪声的方差和从时间噪声电平估算单元420输出的时间噪声的方差融合在一起，并接着把最终噪声的方差σ_n ²(t)提供给时间滤波单元440。

下面结合参考公式25解释通过噪声电平判定单元730确定最后噪声σ_n ²(t)的方法。

[公式25]

如果σ_t≥σ_s，则σ_n＝max(0，σ_t-(σ_t-σ_s))

如果σ_t＜σ_s，则σ_n＝σ_s

如果从时间噪声电平估算单元420输出的时间噪声的方差σ_t等于或大于从空间噪声电平估算单元720输出的空间噪声的方差σ_s，可以确定视频间的运动是大的。因此，为执行少的时间滤波，通过减少从空间噪声电平估算单元420输出的空间噪声的方差可以决定最后噪声的方差σ_n。例如，使时间噪声的方差减少公式25中时间噪声的方差和空间噪声的方差之间的差。

如果从时间噪声电平估算单元420输出的时间噪声的方差σ_t小于从空间噪声电平估算单元720输出的空间噪声的方差σ_s，最终噪声的方差σ_n可以被设置为空间噪声的方差σ_s。

就是说，参考空间噪声，如果时间噪声大于空间噪声，意味着一种情况，即视频间的运动是大的。因此，减少时间噪声以便执行少的滤波。否则，意味着一种情况，即视频间的运动是小的。因此，空间噪声被提供给空间滤波。

而且，卡尔曼滤波单元可以被进一步提供到时间噪声电平估算单元420的输出端、空间噪声电平估算单元720的输出端和噪声电平判定单元730的输出端的至少其中之一，以校正估算的噪声。

因而，本发明提供了下列效果或优点。

首先，从视频中直接地估算噪声的电平。因此，本发明可应用于请求减少运动图像中的噪声的所有系统。

第二，本发明可以更有效的应用于减少噪声以便增强TV视频信号的图像质量。

第三，在时间或空间-时间滤波的噪声去除处理过程中，防止了视频模糊。

第四，通过对视频运动执行自适应滤波，能够防止在运动很大的情况下，在噪声滤波处理过程中出现残余影像。

对本领域技术人员显而易见的是，在不脱离本发明的精神或范围的情况下，能在本发明中作出各种修改和变化。因此，本发明意在覆盖落在所附权利要求及其等效物范围内的本发明的修改和变化。

Claims (29)

1.一种去除视频信号的噪声的装置，包括：

时间噪声电平估算单元，其使用两个时间连续的视频之间的差，估算包括在视频信号中的时间噪声的电平；

噪声校正单元，其校正通过时间噪声电平估算单元估算的噪声；和

噪声去除单元，其使用校正的噪声的电平来去除包括在视频信号中的噪声。

2.如权利要求1的装置，该时间噪声电平估算单元包括：

运算单元，输出两个时间连续的视频之间的帧差的绝对值；和

方差计算单元，计算绝对值的方差来作为时间噪声的电平。

3.如权利要求1的装置，该时间噪声电平估算单元包括：

界外值拒绝单元，如果两个时间连续的视频信号之间的差大于预定的门限，把相同位置上这两个时间连续的视频信号之间的差钳位成预定的门限以输出；和

方差计算单元，计算从界外值拒绝单元输出的差值的方差以便输出作为时间噪声的电平。

4.如权利要求3的装置，其中该门限被确定为将从方差计算单元反馈回的先前视频信号的时间噪声的电平乘以一个常数而得到的值。

5.如权利要求1的装置，其中该噪声校正单元通过建立与估算的噪声的电平数据相关的多个状态值，执行1D卡尔曼时间滤波。

6.如权利要求5的装置，其中多个状态值x₁(t)和x₂(t)是随机变量，其分别具有正态分布(m_k(t)，σ_t ²(t)))，k＝1和(m_k(t)，σ_t ²(t)))，k＝2。

7.如权利要求6的装置，其中如果输入估算的噪声的电平，该噪声校正单元输出具有较小方差的状态值的平均来作为在相应定时点上的估算的噪声。

8.如权利要求7的装置，其中如果选择第一状态值的平均作为相应定时点上的估算的噪声，则噪声校正单元更新第一状态值的平均的位置，减少第一状态值的方差，维持第二状态值的平均不变，而增加第二状态值的方差。

9.如权利要求7的装置，其中如果选择第二状态值的平均作为相应定时点上的估算的噪声，则噪声校正单元更新第二状态值的平均的位置，减少第二状态值的方差，维持第一状态值的平均不变，而增加第一状态值的方差。

10.如权利要求1的装置，其中该噪声校正单元包括无限冲激响应(IIR)滤波器，该滤波器具有接收两个时间连续的视频信号的多个分接头。

11.一种用于去除视频信号的噪声的装置，包括：

空间噪声电平估算单元，其使用噪声分布和视频信号分布的特性，来估算包括在视频信号中的空间噪声的电平；

时间噪声电平估算单元，其使用两个时间连续的视频之间的帧差，来估算包括在视频信号中的时间噪声的电平；

全局运动检测单元，其分别根据两个时间连续的视频的运动程度，有选择地输出通过空间和时间噪声电平估算单元所估算的噪声电平的其中之一；

噪声校正单元，其接收校正根据全局运动检测单元的控制有选择地输出的噪声的电平；和

噪声去除单元，其使用校正的噪声的电平来去除包括在视频信号中的噪声。

12.如权利要求11的装置，该时间噪声电平估算单元包括：

运算单元，其输出两个时间连续的视频之间的帧差的绝对值；和

方差计算单元，其计算该绝对值的方差来作为时间噪声的电平。

13.如权利要求11的装置，该时间噪声电平估算单元包括：

界外值拒绝单元，如果两个时间连续的视频信号之间的差大于预定的门限，则把在相同位置上这两个时间连续的视频信号之间的差钳位成预定的门限以输出；和

方差计算单元，计算从界外值拒绝单元输出的差值的方差以输出作为时间噪声的电平。

14.如权利要求13的装置，其中该门限被决定为将从方差计算单元反馈回的先前视频信号的时间噪声的电平乘以一个常数而得到的值。

15.如权利要求11的装置，其中该全局运动检测单元判定是否在两个时间连续的视频之间存在运动，其中如果确定运动是大的，则全局运动检测单元选择通过空间噪声电平估算单元所估算的空间噪声的电平，来输出到时间滤波单元，而其中如果确定运动不大，则全局运动检测单元选择通过时间噪声电平估算单元所估算的时间噪声的电平，来输出到时间滤波单元。

16.如权利要求11的装置，其中该全局运动检测单元通过对空间噪声电平估算单元所估算两个时间连续的视频之间的帧差计算平均和方差，并通过将平均和方差分别与预定的参考值相比较，确定两个时间连续的视频之间的运动程度。

17.如权利要求16的装置，其中如果两个时间连续的视频之间的帧差的平均(m_d)和方差(σ_d)分别小于预定的基准值(m_th，σ_th)，(m_d＜m_th，σ_d＜σ_th)，全局运动检测单元选择通过时间噪声电平估算单元估算的时间噪声的电平，来输出到时间滤波单元，和其中如果两个时间连续的视频之间的帧差的平均(m_d)和方差(σ_d)分别不小于预定的基准值(m_th，σ_th)，则全局运动检测单元选择通过空间噪声电平估算单元所估算的空间噪声的电平，来输出到时间滤波单元。

18.如权利要求11的装置，其中该噪声校正单元通过建立与估算的噪声电平数据相关的多个状态值，来执行1D卡尔曼时间滤波。

19.如权利要求18的装置，其中如果输入估算的噪声的电平，噪声校正单元输出具有较小方差的状态值的平均，来作为相应定时点上的估算的噪声。

20.如权利要求11的装置，其中噪声校正单元包括无限冲激响应(IIR)滤波器，其具有接收两个时间连续的视频信号的多个分接头。

21.一种用于去除视频信号的噪声的装置，包括：

空间滤波单元，其使用输入的时间噪声的电平，去除包括在输入视频中的空间噪声以输出；

视频信号存储单元，延迟输出通过空间滤波单元输出的视频信号；

时间噪声估算单元，如果两个时间连续的视频信号之间的差大于预定的门限，把相同位置上通过空间滤波单元和视频信号存储单元分别输出的这两个时间连续的视频信号之间的差钳位输出成预定的门限；

噪声校正单元，校正通过时间噪声电平估算单元估算的噪声，来输出到空间滤波单元；和

噪声去除单元，使用校正的噪声的电平，去除时间区域中包括在视频信号中的噪声。

22.如权利要求21的装置，其中该门限被确定为从将先前视频信号的时间噪声的电平乘以一个常数而得到的值。

23.如权利要求21的装置，其中噪声校正单元通过建立与估算的噪声的电平数据相关的多个状态值，执行1D卡尔曼时间滤波。

24.一种用于去除视频信号的噪声的装置，包括：

空间噪声电平估算单元，其估算输出来自输入的视频信号的空间噪声的电平；

空间滤波单元，其使用从空间噪声电平估算单元输出的空间噪声的电平，去除包括在输入视频中的空间噪声以输出；

视频信号存储单元，其延迟输出通过空间滤波单元输出的视频信号；

时间噪声估算单元，如果两个时间连续的视频信号之间的差大于预定的门限，把相同位置上通过空间过滤单元和视频信号存储单元分别输出的这两个时间连续的视频信号之间的差钳位输出成预定的门限，该时间噪声估算单元估算输出时间噪声的电平；和

时间滤波单元，其使用分别通过时间和空间噪声电平估算单元估算的噪声的电平，去除包括在视频信号中的噪声。

25.如权利要求24的装置，其中时间噪声电平估算单元的门限被确定为从将先前视频信号的时间噪声的电平乘以一个常数而得到的值。

26.如权利要求24的装置，进一步包括噪声电平判定单元，通过将从空间噪声电平估算单元输出的空间噪声的电平和从时间噪声电平估算单元输出的时间噪声的电平融合在一起，来把最终噪声的电平输出到时间滤波单元。

27.如权利要求26的装置，其中如果从时间噪声电平估算单元输出的时间噪声的电平等于或大于从空间噪声电平估算单元输出的空间噪声的电平，则噪声电平判定单元输出小于时间噪声的电平的值来作为最终噪声的电平，和其中如果从时间噪声电平估算单元输出的时间噪声的电平小于从空间噪声电平估算单元输出的空间噪声的电平，则噪声电平判定单元输出从空间噪声电平估算单元输出的空间噪声的电平来作为最终噪声的电平。

28.如权利要求26的装置，其中如果从时间噪声电平估算单元输出的时间噪声的电平等于或大于从空间噪声电平估算单元输出的空间噪声的电平，则噪声电平判定单元通过将时间噪声的方差减少时间和空间噪声的方差之间的差，输出最终噪声的电平。

29.如权利要求24-26的其中之一所述的装置，进一步包括卡尔曼滤波单元，以校正估算的噪声的电平，该卡尔曼滤波单元被提供到从下面的组中所选择的至少一个，该组包括空间噪声电平估算单元的输出端、时间噪声电平估算单元的输出端和噪声电平判定单元的输出端。

Images