CN101087436A - 视频信号的时间噪声分析 - Google Patents

Abstract

一种确定视频信号的噪声特性的方法，包括形成连续帧的像素之间的亮度差和/或色度差的矩阵33，和确定像素的亮度差和/或色度差与多个相邻像素的亮度差和/或色度差的平均值之间的绝对差值34。计算差值在预定范围内的出现次数，并形成每一个范围中的出现次数的直方图。

Description

视频信号的时间噪声分析

技术领域

本发明涉及确定视频信号的噪声特性。

背景技术

在试图从图像，特别是视频中过滤出随机噪声时，知道噪声表现的特性是有利的。知道噪声表现的特性允许系统在使被处理的图像中的不想要的伪像最小化时更为有效地去除噪声。噪声可以其幅度和出现的幅度范围的直方图为特征。

经常使用的一种表示时间噪声的特性的方法是，减去连续图像中的空间上共同定位的像素(下文中称为pel)以形成差值图。然而，这种噪声的估计值很大程度上受到连续图像之间的运动物体的影响，并且产生对任何后续处理有不利影响的不可靠的结果，后续处理取决于这种噪声的测量。噪声和运动的混淆是由它们共用由整个信号占据的三维频谱空间引起的。改进可受到噪声估计测量方法的影响，该方法在试图减少噪声的同时，避开最可能由运动引起的信号频谱分量占据的频谱的区域。

发明内容

本发明的一个目的是至少改进现有技术中的上述缺点。

根据本发明的第一方面，提供了一种确定视频信号的噪声特性的方法，该方法包括以下步骤：形成连续帧的像素之间的亮度和/或色度差的矩阵；确定像素的亮度和/或色度差与多个相邻像素的亮度和/或色度差的平均值的绝对差值；和，计算差值在预定范围内的出现次数。

适当地，绝对差值是差值的均值的平方与差值的均值的平方的正根这二者之一。

适当地，多个相邻像素包括八个最直接相邻的像素。

优选地，计算差值在预定范围内的出现次数的步骤包括，在存储器中的地址上存储的差值出现在预定范围内的次数。

适当地，该方法还包括，形成差值在预定范围中的出现次数的直方图。

优选地，为了检测像素是否在帧的边缘上，该方法还包括几个初始步骤：从中心pel的亮度和/或色度值减去正被处理的中心pel周围的每一个pel的亮度和/或色度值，以获得亮度和/或色度值的差值；将亮度和/或色度值的差值相加以获得和值；和，确定该和值是否超过阈值，如果不超过阈值，则执行权利要求1的步骤，而如果超过阈值，则将差值归类，以从中心像素的亮度和/或色度确定最小差值的预定大小的子集，并使用该子集作为相邻像素。

适当地，预定大小的子集包括四个亮度差。

根据本发明的第二方面，提供了一种被设置成确定视频信号的噪声特性的设备，该设备包括：减法装置，其被设置成形成连续帧的像素之间的亮度和/或色度差的矩阵；处理装置，其被设置成确定像素的亮度和/或色度差和多个相邻像素的亮度和/或色度差的平均值之间的绝对差值；和，计数装置，其被设置成计算差值在预定范围的出现次数。

适当地，绝对差值是差值的均值的平方与差值的均值的平方的正根这二者之一。

适当地，多个相邻像素包括八个最直接相邻的像素。

优选地，计数装置包括存储器，存储器被设置成在地址上存储差值在预定范围中的出现次数。

适当地，该设备还包括绘制装置，绘制装置被设置成形成差值在预定范围中出现次数的直方图。

优选地，为了检测像素是否在帧的边缘上，该设备还包括：减法装置，其被设置成从中心pel的亮度和/或色度值减去正被处理的中心pel周围每一个pel的亮度和/或色度值，以获得亮度和/或色度值的差值；加法装置，其被设置成将亮度和/或色度值的差值相加以获得和值；和，处理装置，其被设置成确定该和值是否超过阈值，如果超过阈值，则将差值归类以从中心像素的亮度和/或色度确定最小差值的预定大小的子集，并使用该子集作为相邻相素。

适当地，预定大小的子集包括四个亮度差。

根据本发明的第三方面，提供了一种计算机程序，其包括代码装置，该代码装置用于在程序在一个或多个计算机上运行的时候执行上述方法的所有步骤。

附图说明

现将参照附图以举例方式对本发明进行说明，在附图中：

图1是连续图像的空间和时间域的奈奎斯特立方体；

图2是图像次序的示意性表示；

图3是根据本发明的计算连续帧的像素之间的差值的方法的示意性表示；

图4是产生图3的差值的直方图的示意性表示；

图5是图3的方法的示意性表示，增强位于帧的边缘上或靠近图像剧烈变化处的像素；

图6是根据本发明的确定噪声特性的方法的流程图；

图7是根据本发明的计算连续帧的像素之间的差值的方法的又一实施例的示意性表示；

图8和9是已在数字域中被采样的模拟视频信号的二维实例的图示，便于理解本发明；

图10是采样曲线上的噪声的效果图，便于理解本发明。

在这些附图中，相同的附图标记表示相同的部分。

具体实施方式

图1将空间和时间频率域表示为三维立方体。X和Y轴表示图像内的空间频率维度，T表示连续图像之间的时间频率域。如图1所示的奈奎斯特立方体表示完整的信号空间。区域1应该包括来自图像的大部分频谱能量和基本图像中的运动，同时仍包括一部分存在的白噪声。

区域1表示通常由运动图像信息占据的区域，因为该区域一般具有较低的空间频率，并在高时间频率上的占据减少。区域2是位于高空间和低时间频率处的截然不同的区域。区域3是出现高空间和高时间频率的空间。一般说来，假设噪声为“白色”的，也就是说，其在整个奈奎斯特立方体中均匀分布。

所以，与现有技术相比，可通过观察视频信号能量持续降低的频谱区域，来获得信号中存在的噪声的更为可靠的估计。这出现在空间和时间维度中的高频处，其中存在的信号能量的累加与噪声更为相关，而不是存在的图像和运动。

在视频信道的拍摄和处理中，天然的和合成的处理均表示空间噪声趋于“粉红”，也就是说，朝向高频衰减。然而，此衰减趋于恒定，并且高频分量仅衰减到有限的程度。通过简单的比例因数的方式，直接对衰减进行补偿。值得注意的重要特征是，在区域3中一直有噪声存在，并且有时有信号，从而噪声占优势。

以下方法从图1的高频区域3表示图像噪声的特性。优选地，不需要借助于执行例如傅立叶变换的频域方法所需要的大量计算和处理功率来完成噪声线型。该方法还需要在任何时间仅存储一幅图像，使存储需求和该存储器的存取带宽最小化。

噪声矩阵计算

参考图2，视频序列中的第n幅图像被定义为F_n＝{f_n(x，y)}。该图像的差值矩阵D_n＝{d_n(x，y)}由下式给出：

d_n(x，y)＝f_n(x，y)-f_n-1(x，y)

等式1

即，当前帧和先前的帧中的共同定位的像素之间的差值。

假设像素和它直接相邻的周围像素之间的差值代表噪声，则绝对噪声幅度矩阵A_n＝{a_n(x，y)}可由下式计算：

$a_n(x,y)=\left|\frac{(\underset{l=-1}{\overset{1}{\mathrm{\Σ}}}\underset{m=-1}{\overset{1}{\mathrm{\Σ}}}{d}_n(x+l,y+m)-9\×d_n(x,y))}{8}\right|$

等式2

此等式将a_n(x，y)设置成等于该位置(x，y)处的pel相邻的选定的矩阵中的9个pel之和与该pel的值的9倍之间的差值的均值的绝对值，其中被求和的是9个pel，但仅用8个来求平均值。该实例中使用9个pel的区域大小，但也可使用其它适当的矩阵大小。

然而，也可使用其它可替代的测度来代替，例如，位置(x，y)处的pel的相邻的选定的矩阵中8个pel中的每一个之间的差值的均值的平方，如等式3所示。等式4中的均值的平方的正根也是等效的替代方案。该实例中的矩阵大小为9个pel，但也可以是任何适当的值。

$a_n(x,y)={\left[\frac{\underset{l=-1}{\overset{1}{\mathrm{\Σ}}}\underset{m=-1}{\overset{1}{\mathrm{\Σ}}}{d}_n(x+l,y+m)-9\×d_n(x,y)}{8}\right]}^2$

等式3

$a_n(x,y)=\sqrt[+]{{\left[\frac{\underset{l=-1}{\overset{1}{\mathrm{\Σ}}}\underset{m=-1}{\overset{1}{\mathrm{\Σ}}}{d}_n(x+l,y+m)-9\×d_n(x,y)}{8}\right]}^2}$

等式4

图3表示根据等式2的公式的操作。也可参考图6，块31表示帧n-1，并且块32表示帧n。步骤67的第一阶段是从块32中的帧n中的那些采样减去块31中的帧n-1中的所有空间上共同定位的采样，以提供块33的新数据场。随后将操作下的pel的差值332周围的8个差值331相加并归一化，并且从中心值减去它们的平均值，输出该差值的绝对值34。应注意，对于隔行扫描的图像，使用来自相同场中相邻直线的pel，而对于逐行扫描图像，使用连续直线。这保证所有使用的采样都取自相同的时刻，因此它们之间不会受到时间切变的影响。

差值分布的计算

差值分布P(v)是直方图，即，a_n的每一个可能值v出现在噪声幅度矩阵A_n中的次数的计算。

$P\left(v\right)=\underset{y=1}{\overset{Y}{\mathrm{\Σ}}}\underset{x=1}{\overset{X}{\mathrm{\Σ}}}\left\{\begin{array}{c}1|a_n(x,y)=v\\ 0|a_n(x,y)\≠v\end{array}\right\}$

等式5

其中X和Y是图像的每个维度中的pel的数量。

应注意，如果如等式1和2中的每个那样处理色度信息，则在该进一步下游的处理会分别作用于这些亮度和色度噪声差值分布的假设下，将对那些结果累加单独的差值分布。

在图4中，依次使用图3中的每一个差值34，对存储器40编址；

在步骤68，将差值所指向的位置D_OUT处的存储器的内容加1，并写回到相同的位置D_IN。假设对每一个图像，在处理开始时，存储器中的所有位置都被初始化为零。

在处理图像结束时，在步骤69，存储器包含差值出现的直方图数据，该数据可用于提供高频噪声的估计值。该数据可以被读取41，也可用于本文中没有说明的其它算法和系统，例如，控制于2006年6月2日提交的该申请人的申请0610967.2中使用的降噪线型。

将会理解，所说明的方法分两个阶段工作。第一阶段是时间域滤波。通过将一个图像从下一图像中减去，来获得差值图。

该方法的第二阶段根据数字视频的采样规格和多数图像的性质中要求的有限带宽，将运动和空间高频区分开。

图8和9示出了已经被采样到数字域中的模拟视频的一些两维的实例。实线表示最初的模拟电压，而虚线显示的是从一个pel到下一个(且仅为一个)pel的两点线性内插。

由于采样为数字式需要将带宽限制在奈奎斯特率以下，所以可看出，对于许多点，这种粗略的内插给出了对被检查的采样之间的pel的合理估计。

在对二维图像执行该实例时，使用来自操作下的pel的所有方向上的pel来形成估计值。这表明，来自任何相对方向的边缘都对预测值起作用。这种二维平均值的计算可被认为能够产生三维网格或曲面，其中，使用对信号带宽的基本限制来形成中心pel的估计值。

假设噪声是相对于它们的期望值随机移动采样值而进入该处理的。图10用图形对此进行了显示。

假设从实际值减去期望值的操作给出噪声的估计。该方法的限制可在图8的图形中看出。这里，边缘的曲率导致在仅使用两个点时发生内插错误。

两种改进估计的方法是进行更好的内差，可能使用在每个方向上都有一些抽头的FIR滤波器或使用平均值处理中被丢弃的具有较大差值的采样。

进一步扩展

精确映射噪声的一个缺点是，靠近图像中的物体边缘的pel趋于产生与平均信号的差值，该差值不与噪声相关，而是与和边缘位置有关的采样的相位相关。

进一步增强以改进构建的噪声统计的精确度是通过检测哪些像素属于此类并减去它们，不是从周围8个像素的平均值减去这些像素，而是从具有最接近的相应亮度等级的pel的子集的平均值减去这些像素。可基于目标区域内的某种适当的统计测量，来决定使用哪种方法。

参考图5和6，这可以被实现如下。在图像51中，从中心pel 512的亮度值中减去52正被处理的pel 512周围的八个pel中的每一个511的亮度值，步骤61。将这些值相加53，步骤62，并将和值的大小与阈值相比较54，步骤63，以产生二进制决策，该二进制决策是关于使用输入到转换器59的哪个方法。可使用可替代算法来取得该信息，例如，信号行为的测量。

如果相加的差值，或同样有效的平方和，低于阈值，则选择八个周围的pel的亮度等级，步骤65，并从正被处理的pel的亮度等级减去56平均的55和转换的59后的亮度等级，如前所述。如果超过阈值，则将差值归类57，步骤64，以找到哪一个子集与中心pel 512的等级最接近匹配。随后，从操作下的pel减去56四个或其它适当数目的最接近的匹配的平均58和转换59后的绝对亮度等级。

参考图7，在对图3和5中显示的实施例的进一步可选的增强是，选取差值pel场33，并向多维空间内插滤波器35输入相邻pel 331的较大集合。该块的输出被输入到减法器36，并被从操作下的pel 332中减去。

一种空间内插滤波器35的适当的形式将是多抽头FIR滤波器。

Claims (15)

1.一种确定视频信号的噪声特性的方法，包括以下步骤：

a.形成连续帧的像素之间的亮度差和/或色度差的矩阵；

b.确定像素的亮度和/或色度差与多个相邻像素的亮度和/或色度差的平均值之间的绝对差值；和

c.计算差值在预定范围的出现次数。

2.如权利要求1所述的方法，其中，所述绝对差值是所述差值的均值的平方与所述差值的均值的平方的正根这二者之一。

3.如权利要求1或2所述的方法，其中，所述多个相邻像素包括八个最直接相邻的像素。

4.如权利要求1所述的方法，其中，所述计算预定范围的差值的出现次数的步骤包括，在存储器中的地址上存储所述差值在预定范围内的出现次数。

5.如权利要求4所述的方法，还包括，形成所述差值在所述预定范围中的出现次数的直方图。

6.如权利要求1所述的方法，为了检测像素是否在帧的边缘上，所述方法包括以下初始步骤：

d.从中心pel的亮度和/或色度值减去正被处理的中心pel周围的每一个pel的亮度和/或色度值，以获得亮度和/或色度值的差值，可选的是，获得色度差。

e.将所述亮度和/或色度值的差值相加以获得和值；和

f.确定所述和值是否超过阈值，如果不超过所述阈值，则执行权利要求1中的步骤，如果超过所述阈值，则将所述差值归类，以从所述中心像素的所述亮度和/或色度确定最小差值的预定大小的子集，并使用所述子集作为权利要求1的所述相邻像素。

7.如权利要求6所述的方法，其中，所述预定大小的子集包括四个亮度差。

8.一种设备，其被设置成确定视频信号的噪声特性，所述设备包括：

a.减法装置，其被设置成形成连续帧的像素之间的亮度差和/或色度差的矩阵；

b.处理装置，其被设置成确定像素的亮度差和/或色度差与多个相邻像素的亮度差和/或色度差的平均值之间的绝对差值；和

c.计数装置，其被设置成计算所述差值在预定范围的出现次数。

9.如权利要求8所述的设备，其中，所述绝对差值是所述差值的均值的平方与所述差值的均值的平方的正根这二者之一。

10.如权利要求8或9所述的设备，其中，所述多个相邻像素包括八个最直接相邻的像素。

11.如权利要求8所述的设备，其中，所述计数装置包括存储器，所述存储器被设置成在地址上存储所述差值在预定范围内的出现次数。

12.如权利要求11所述的设备，还包括绘制装置，所述绘制装置被设置成形成所述差值在所述预定范围中的出现次数的直方图。

13.如权利要求8所述的设备，其被设置成检测像素是否在帧的边缘上，所述设备还包括：

g.减法装置，其被设置成从中心pel的亮度和/或色度值减去正被处理的所述中心pel周围的每一个pel的亮度和/或色度值，以获得亮度和/或色度值的差值；

h.加法装置，其被设置成将所述亮度和/或色度值的差值相加，以获得和值；和

i.处理装置，其被设置成确定所述和值是否超过阈值，如果超过所述阈值，则将所述差值归类，以从所述中心像素的亮度和/或色度确定最小差的预定大小的子集，并使用所述子集作为所述相邻像素。

14.如权利要求13所述的设备，其中，所述预定大小的子集包括四个亮度差。

15.一种计算机程序，包括代码装置，所述代码装置用于在所述程序在一个或多个计算机上运行的时候执行权利要求1至7中的任一个的方法的所有步骤。

Images