CN102118546B

CN102118546B - 一种视频图像噪声估计算法的快速实现方法

Info

Publication number: CN102118546B
Application number: CN2011100687320A
Authority: CN
Inventors: 刘文江; 戎蒙恬; 张昊; 胡巍; 董鹏宇; 郝腾; 万建军
Original assignee: SHANGHAI FULLHAN MICROELECTRONICS CO Ltd
Current assignee: SHANGHAI FULHAN MICROELECTRONICS CO., LTD.
Priority date: 2011-03-22
Filing date: 2011-03-22
Publication date: 2012-07-25
Anticipated expiration: 2031-03-22
Also published as: CN102118546A

Abstract

本发明提出一种视频图像噪声估计算法的快速实现方法，采用了灵活的方法求得了方差值最小的c％(0＜c＜100，c是一个需要根据实际图像的大小以及噪声等因素综合考虑选取的因子)的像素块，将原算法的复杂度由O(n²)或者O(nlog₂n)降为O(n)，显著地降低了算法的复杂度，进而能够达到该算法的快速实现。

Description

一种视频图像噪声估计算法的快速实现方法

技术领域

本发明属于数字视频图像处理领域，本发明涉及一种视频图像噪声估计算法的快速实现方法，尤其是涉及一种针对加性高斯白噪声环境下基于排序的噪声估计算法速度较慢问题的视频图像噪声估计优化方法。

背景技术

视频图像噪声估计是视频降噪处理的前提。加性高斯白噪声(AWGN)是最基本的噪声与干扰模型，本方法就是对一种AWGN估计算法进行优化，进而达到该算法的快速实现。

经对现有技术文献的检索发现，“Fast Multi-Hypothesis MotionCompensated Filter for Video Denoising”(Liwei Guo.et al，Journalof Signal Processing Systems，2009)一文中介绍了如何对视频图像的AWGN进行估计。具体算法为：

是当前帧噪声的方差，视频图像的一帧是由平滑区域(Smooth Region)和质地区域(Texture Region)组成。与质地区域相比，平滑区域倾向于拥有小的像素方差值，而这个方差值主要由噪声决定。为了估计

当前帧被分割为相同尺寸的块，拥有小的像素方差值的块被认为是属于平滑区域的块。由于一个大的块可以同时包含质地区域和平滑区域，而一个小的块没有足够的样本来反映这些统计数据，因此，块的尺寸要仔细的设计。根据经验，对于采用CommonIntermediate Format(CIF)或更高分辨率格式的视频本文中采用16×16尺寸的块，而小一些的视频采用8×8尺寸的块。然后计算每个块的像素方差值(称为块的方差)。假设在当前帧共有L个块，按照块的方差值选择其中最小的c％，其中c是一个需要根据实际图像的大小以及噪声等因素综合考虑选取的因子，0＜c＜100，然后计算它们的平均按照如下公式由

来估计当前帧噪声的方差

其中a是纠正因子，可以通过实验测得：

a = 1 + 0.001 ({\overset{&OverBar;}{σ}}_{v}^{2} - 40) .

由于在选择方差值最小的c％的块时难免要用到相应的排序方法，而目前常用的排序方法，其复杂度是O(n²)或者O(nlog₂n)，无法在硬件上实现快速的噪声估计。因此，这种算法的处理方式不利于实际硬件工程实现。

发明内容

本发明要解决的技术问题是提供一种视频图像噪声估计算法的快速实现方法，解决目前的视频图像噪声估计算法中由于排序算法造成的估计时间较长无法达到快速实现的问题，使得视频图像噪声估计在保持原有估计算法的精度同时能够在较短的时间内完成，达到视频图像的实时噪声估计。

为实现上述目的，本发明提出一种视频图像噪声估计算法的快速实现方法，包括以下步骤：

A.取某一时刻的视频帧为当前帧，设此帧的尺寸为M×N，将当前帧按照规定的尺寸分割成若干8×8大小的像素块；

B.采用8×8尺寸的滑动窗口在当前帧滑动，对第一行像素块从左向右依次用滑动窗口计算每个像素块的方差值，然后计算出此行像素块方差的均值

C.参照步骤B依次对其余各行像素块进行求方差均值的计算，得到剩余各行像素块的方差均值2≤k≤Y；

D.对上述求得的Y个方差均值求平均，得到当前帧所有像素块方差的均值

E.确定参考阈值V，参考阈值V为根据单峰分布特性，在所有像素块方差的均值应位于1/2峰值附近时，相应的将

乘以一个调整系数β；

F.取下一时刻的视频帧为当前帧，将当前帧按照规定的尺寸分割成若干8×8大小的像素块，同上依次用滑动窗口计算每个像素块的方差值，并同时将方差值小于参考阈值V的像素块取出，对得到的像素块进行求方差均值的计算得到

然后求出当前帧噪声的方差

最后调整参考阈值V；

G.重复步骤F的操作，使得按照经过调整的参考阈值V取出的像素块数目占总像素块数目的百分比收敛于c％，此时求出的

是稳定的噪声方差估计值，其中c是一个需要根据实际图像的大小以及噪声等因素综合考虑选取的因子，0＜c＜100。

进一步地，当步骤A中当前帧像素块分割中如遇到不能完整分割情况时，已知当前帧的高和宽分别为M和N，将M和N分别除以所规定的尺寸然后进行向上取整运算，得到Y和X，Y和X分别为垂直方向和水平方向上的像素块数目，即当无法整除的时候，将剩余像素点和相邻像素块的部分像素点拼凑在一起组成最后一行或者最后一列像素块。

进一步地，步骤B中滑动窗口是按照预先分割好的当前帧进行滑动，即滑动一次就从一个像素块移动到邻近的像素块上，先按行滑动，在滑到行尾的像素块并完成相关计算后，跳转到下一行的行首继续按行滑动。

进一步地，步骤B中8×8滑动窗口内的像素块的方差由公式：

求出，其中

代表8×8滑动窗口的第i行第j列处像素点的灰度值，

是8×8滑动窗口中64个像素点的灰度值的均值，由公式：求出，最后按照下面的公式计算出此行像素块的方差均值

{\overset{&OverBar;}{n}}_{1} = \frac{Σ_{j = 1}^{X} {variance}_{j}}{X} .

进一步地，步骤C中所述的对剩余像素块行进行求方差均值的计算是在每个像素块行各像素块的方差值计算完成之后，即在计算出每行中的各个像素块的方差值后立即算出该行方差的均值然后再计算下一行像素块的方差值。

进一步地，步骤D中对上述求得的Y个方差均值求平均，是在计算完本帧图像最后一行像块的方差值并算出该行的均值后，立即计算出(1≤k≤Y)的均值

即为该帧所有像素块的方差的均值。

进一步地，步骤E中参考阈值V的公式为：

所述的单峰分布类似高斯分布，调整系数β的选取范围为0＜β＜1。

进一步地，步骤F中所述的过程是将下一时刻的视频帧取为当前帧进行操作，

为按照阈值V选出的像素块的方差均值，求当前帧噪声的方差

公式为：

其中a是纠正因子，可以通过实验测得：

a = 1 + 0.001 ({\overset{&OverBar;}{σ}}_{v}^{2} - 40) .

进一步地，步骤F中一帧图像只对参考阈值V进行一次调整，调整算法具体为：为了使按照阈值V选出的像素块占总像素块数目的百分比收敛于c％，选取相应的调整阶STEP，当百分比超出设定的上限时，就将参考值V减小一个STEP，当百分比不足设定的下限时，就将参考值V增大一个STEP。

进一步地，步骤A中所述的视频帧不限制式，分割像素块的尺寸不限于8×8，可以按照其他尺寸来分割当前帧。

进一步地，步骤B中所述的滑动窗口的尺寸不限于8×8，而是与步骤A中分割得到的像素块尺寸相匹配。

本发明中，由于采用了灵活的方法求得了方差值最小的c％的像素块，将原算法的复杂度由O(n²)或者O(nlog₂n)降为O(n)，显著地降低了算法的复杂度，进而能够达到该算法的快速实现。

附图说明

图1为当前帧，尺寸为M×N。

图2为按规定尺寸分割当前帧的示意图。

图3为滑动窗口在当前帧滑动的示意图。

图4为当前帧像素块方差值的单峰分布曲线。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

本发明提供一种视频图像噪声估计算法的快速实现方法，包括以下步骤：

A.取某一时刻的视频帧为当前帧，设此帧的尺寸为M×N，如图1所示；将当前帧按照规定的尺寸分割成若干8×8大小的像素块，如图2所示。

其中，步骤A中所述的对当前帧进行分割的详细过程为：

已知当前帧的高和宽分别为M和N，将M和N分别除以8然后进行向上取整运算，得到Y和X。Y和X分别为垂直方向和水平方向上的像素块数目，如图2所示。当无法整除的时候，将剩余像素点和相邻像素块的部分像素点拼凑在一起组成最后一行或者最后一列8×8像素块，这样就与向上取整运算的结果相一致了。

B.采用8×8尺寸的滑动窗口在当前帧滑动，对第一行像素块，从左向右依次用滑动窗口计算每个像素块的方差值，然后计算出此行像素块方差的均值

。

步骤B中所述的8×8滑动窗口是按照预先分割好的当前帧进行滑动，即滑动一次就从一个8×8的像素块移动到邻近的8×8像素块上。如图3所示，先按行滑动，在滑到行尾的像素块并完成相关计算后，跳转到下一行的行首继续按行滑动。

对窗口内8×8像素块进行求方差的详细算法为：

8×8的滑动窗口，包含64个像素点，首先要运用下面的公式求出这64个像素点灰度值的均值

其中，代表8×8滑动窗口的第i行第j列处像素点的灰度值。然后按照下面的公式求出这个8×8滑动窗口内像素块的方差variance：

接着依次求出一整行像素块中各像素块的方差variance_j，1≤j≤X。最后按照下面的公式计算出此行像素块的方差均值

C.参照步骤B依次对其余各行像素块进行求方差均值的计算，得到剩余各行像素块的方差均值2≤k≤Y，如图3所示。

D.对上述求得的Y个方差均值求平均，即可得到当前帧所有像素块方差的均值

步骤D中所述的对Y个方差均值求平均的公式为：

即为当前帧所有像素块方差的均值。

E.根据单峰分布的特点，所有像素块方差的均值

应位于1/2峰值附近，相应的将

乘以一个调整系数β就可以得到一个参考阈值V；步骤E中所述的求参考阈值V的公式为：

其中调整系数β的选取是经过推断以及实验统计得到的，其范围为0＜β＜1。

F.取下一时刻的视频帧为当前帧，将当前帧按照规定的尺寸分割成若干8×8大小的像素块，同上依次采用滑动窗口计算每个像素块的方差值，并同时将方差值小于参考阈值V的像素块取出，对得到的像素块进行求方差均值的计算，得到

然后根据给定的公式求出

最后调整参考阈值V；

步骤F中所述的过程为，取下一时刻的视频帧为当前帧，将当前帧按照规定的尺寸分割成若干8×8大小的像素块，依次采用滑动窗口计算每个像素块的方差值，并同时将方差值小于参考阈值V的像素块取出，对得到的像素块进行求方差均值的计算，得到

然后根据如下公式求出当前帧噪声的方差

其中a是纠正因子，可以通过实验测得：

最后调整参考阈值V，参考阈值V的调整算法如下：为了使按照阈值V选出的像素块占总像素块数目的百分比收敛于c％，选取相应的调整阶STEP，当百分比超出设定的上限时，就将参考值V减小一个STEP，当百分比不足设定的下限时，就将参考值V增大一个STEP。同时，步骤F中一帧图像只对参考阈值V进行一次调整。

G.重复步骤F的操作，使得按照经过调整的参考阈值V取出的像素块数目占总像素块数目的百分比收敛于c％，如图4所示，这时求出的

是稳定的噪声方差估计值。

为验证本发明的实际性能，在

和

的情况下将本发明的噪声估计方法与基于排序的噪声估计方法进行对比。视频序列采用City.yuv和Container.yuv(业界通用的视频测试序列)，分辨率为City.yuv(704×576)和Container.yuv(352×288)。两种方法求滑动窗口内像素块方差的方法与参数均一致，均采用8×8大小的滑动窗口。本方法中设定c％(c＝3)的收敛范围为2.9％至3.1％。β取0.012。

在噪声标准差σ_N为15、估计10帧图像时，采用本发明的噪声估计方法的用时分别为0.201s(City.yuv)和0.207s(Container.yuv)，估计出的噪声方差分别为14.137027(City.yuv)和15.182335(Container.yuv)。而采用普通噪声估计方法的用时分别为0.257s(City.yuv)和0.257s(Container.yuv)，估计出的噪声方差分别为14.070875(City.yuv)和13.284024(Container.yuv)。

而在噪声标准差σ_N为25、估计10帧图像时，采用本发明的噪声估计方法的用时分别为0.208s(City.yuv)和0.202s(Container.yuv)，估计出的噪声方差分别为25.475363(City.yuv)和24.128771(Container.yuv)。而采用普通噪声估计方法的用时分别为0.267s(City.yuv)和0.263s(Container.yuv)，估计出的噪声方差分别为25.248184(City.yuv)和23.729956(Container.yuv)。

根据上述结果，可得出以下结论：

1、本发明的噪声估计方法的速度比普通基于排序的噪声估计方法快，估计10帧图像平均快0.0565s。

2、本发明的噪声估计方法的估计精度与普通基于排序的噪声估计方法基本一致，这也是理论上两种方法精度一致的表现。

在本发明实施例中，对于像素块的分割为8×8，但本发明实际应用的视频帧不限制式，分割像素块的尺寸不限于8×8，可以按照其他尺寸来分割当前帧，如在较高的分辨率视频格式中采用16×16或者其他尺寸。同样，本发明中的滑动窗口的尺寸也不限于8×8，而是与视频帧分割得到的像素块尺寸相匹配即可，相应的计算与上述公式一致。

但是，上述的具体实施方式只是示例性的，是为了更好的使本领域技术人员能够理解本专利，不能理解为是对本专利包括范围的限制；只要是根据本专利所揭示精神的所作的任何等同变更或修饰，均落入本专利包括的范围。

Claims

1.一种视频图像噪声估计算法的快速实现方法，其特征在于，包括以下步骤：

C.参照步骤B依次对其余各行像素块进行求方差均值的计算，得到剩余各行像素块的方差均值

2≤k≤Y；

E.确定参考阈值V，参考阈值V为根据单峰分布特性，在所有像素块方差的均值

应位于1/2峰值附近时，相应的将乘以一个调整系数β；

F.取下一时刻的视频帧为当前帧，将当前帧按照规定的尺寸分割成若干8×8大小的像素块，同上依次用滑动窗口计算每个像素块的方差值，并同时将方差值小于参考阈值V的像素块取出，对得到的像素块进行求方差均值的计算得到然后求出当前帧噪声的方差

最后调整参考阈值V；

G.重复步骤F的操作，使得按照经过调整的参考阈值V取出的像素块数目占总像素块数目的百分比收敛于c％，此时求出的是稳定的噪声方差估计值，其中c是一个需要根据实际图像的大小以及噪声因素综合考虑选取的因子，0＜c＜100。

2.如权利要求1所述的视频图像噪声估计算法的快速实现方法，其特征在于，当步骤A中当前帧像素块分割中如遇到不能完整分割情况时，已知当前帧的高和宽分别为M和N，将M和N分别除以所规定的尺寸然后进行向上取整运算，得到Y和X，Y和X分别为垂直方向和水平方向上的像素块数目，即当无法整除的时候，将剩余像素点和相邻像素块的部分像素点拼凑在一起组成最后一行或者最后一列像素块。

3.如权利要求1所述的视频图像噪声估计算法的快速实现方法，其特征在于，步骤B中滑动窗口是按照预先分割好的当前帧进行滑动，即滑动一次就从一个像素块移动到邻近的像素块上，先按行滑动，在滑到行尾的像素块并完成相关计算后，跳转到下一行的行首继续按行滑动。

4.如权利要求3所述的视频图像噪声估计算法的快速实现方法，其特征在于，步骤B中8×8滑动窗口内的像素块的方差由公式：求出，其中

代表8×8滑动窗口的第i行第j列处像素点的灰度值，是8×8滑动窗口中64个像素点的灰度值的均值，由公式：

求出，最后按照下面的公式计算出此行像素块的方差均值

其中，X为此行像素块数目。

5.如权利要求1所述的视频图像噪声估计算法的快速实现方法，其特征在于，步骤C中所述的对剩余像素块行进行求方差均值的计算是在每个像素块行各像素块的方差值计算完成之后，即在计算出每行中的各个像素块的方差值后立即算出该行方差的均值

然后再计算下一行像素块的方差值。

6.如权利要求1所述的视频图像噪声估计算法的快速实现方法，其特征在于，步骤D中对上述求得的Y个方差均值求平均，是在计算完本帧图像最后一行像块的方差值并算出该行的均值后，立即计算出的均值

1≤k≤Y，

即为该帧所有像素块的方差的均值。

7.如权利要求1所述的视频图像噪声估计算法的快速实现方法，其特征在于，步骤E中参考阈值V的公式为：所述的单峰分布类似高斯分布，调整系数β的选取范围为0＜β＜1。

8.如权利要求1所述的视频图像噪声估计算法的快速实现方法，其特征在于，步骤F中是将下一时刻的视频帧取为当前帧进行操作，为按照阈值V选出的像素块的方差均值，求当前帧噪声的方差

公式为：

其中a是纠正因子，可以通过实验测得：

9.如权利要求1所述的视频图像噪声估计算法的快速实现方法，其特征在于，步骤F中一帧图像只对参考阈值V进行一次调整，调整算法具体为：为了使按照阈值V选出的像素块占总像素块数目的百分比收敛于c％，选取相应的调整阶STEP，当百分比超出设定的上限时，就将参考值V减小一个STEP，当百分比不足设定的下限时，就将参考值V增大一个STEP。

10.如权利要求1至9中任一所述的视频图像噪声估计算法的快速实现方法，其特征在于，步骤A中所述的视频帧不限制式，分割像素块的尺寸不限于8×8，可以按照其他尺寸来分割当前帧。

11.如权利要求10所述的视频图像噪声估计算法的快速实现方法，其特征在于，步骤B中所述的滑动窗口的尺寸不限于8×8，而是与步骤A中分割得到的像素块尺寸相匹配。