CN105991900B - 噪声检测方法和去噪方法 - Google Patents

Abstract

一种噪声检测方法和去噪方法。上述的噪声检测方法包括以下步骤：比较当前窗口内的每一像素在前帧、中帧与后帧的亮度值，以判断位于中帧的当前窗口中央的当前像素是否为噪声数据。上述的前帧、中帧与后帧为同一视频流中的连续三帧。上述的去噪方法更包括以下步骤：根据中帧的当前窗口内的每一像素的亮度值计算空间权重；根据前帧、中帧与后帧的当前窗口内的每一像素的亮度值计算时间权重；以及，若当前像素为噪声数据，则根据空间权重与时间权重对当前像素进行滤波以去噪。

Description

噪声检测方法和去噪方法

技术领域

本发明是有关于一种噪声检测方法和去噪方法，且特别是有关于一种应用于视频流的噪声检测方法和去噪方法。

背景技术

随着网络技术持续进步，网络频宽持续成长，视频流的传送不再受到网络频宽限制。现在已经有很多提供视频流的网站，用户随时都能用电脑或手机等电子装置来连接这些网站以观看视频流。

用户对于图像质量的追求是永无止境的。用户总是希望视频流的图像能更清晰美观。而视频流中经常存在高斯白噪声，这些噪点的存在影响了视频流的图像质量。因此如何检测与去除噪声始终是这个领域的技术重点。

发明内容

本发明提供一种噪声检测方法和去噪方法，以解决视频流中经常存在的高斯白噪声的问题。

本发明的噪声检测方法包括以下步骤：比较当前窗口内的每一像素在前帧、中帧与后帧的亮度值，以判断位于中帧的当前窗口中央的当前像素是否为噪声数据。上述的前帧、中帧与后帧为同一视频流中的连续三帧。

本发明的去噪方法包括以下步骤：根据中帧的当前窗口内的每一像素的亮度值计算空间权重；根据前帧、中帧与后帧的当前窗口内的每一像素的亮度值计算时间权重，上述的前帧、中帧与后帧为同一视频流中的连续三帧；比较当前窗口内的每一像素在前帧、中帧与后帧的亮度值，以判断位于中帧的当前窗口中央的当前像素是否为噪声数据；若当前像素为噪声数据，则根据空间权重与时间权重对当前像素进行滤波以去噪。

上述的噪声检测方法和去噪方法能以参数的形式控制时间上与空间上的滤波强度，在噪声去除的同时可以保持视频流的图像中的边缘及细节的清晰度。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

附图说明

图1至图3是依照本发明的不同实施例的当前窗口与当前像素的示意图。

图4是依照本发明的一实施例的一种去噪方法的流程图。

图5是依照本发明的一实施例的一种噪声检测方法的流程图。

图6是依照本发明的一实施例的当前窗口与邻近窗口的示意图。

图7是依照本发明的另一实施例的当前窗口与邻近窗口的示意图。

附图标记说明

100、200、300：当前窗口

101、201～204、301：当前像素

410～440、510～530：方法步骤

600：当前窗口

601：当前像素

611～614、711～714：邻近窗口

具体实施方式

本发明的一个实施例提供一种适用于视频流的去噪方法。此去噪方法的流程如图4所示。此实施例对视频流的当前帧的每一个像素执行如图4所示的去噪方法。以下将正在接受此去噪方法处理的像素称为当前像素。

本实施例的去噪方法不只需要当前帧的像素数据，也需要当前帧的前帧和后帧的像素数据。上述的前帧、当前帧和后帧是同一个视频流中的连续三帧。为了避免「当前帧」和「前帧」这两个名词混淆，以下将「当前帧」称为「中帧」。

本实施例的去噪方法不只需要当前像素的数据，也需要当前像素周围的像素数据。以下将当前像素与其周围像素合称为当前窗口。当前窗口在前帧、中帧和后帧的位置都相同，随着当前像素的位置而移动。当前窗口的大小可以是M*N个像素，其中M、N都是预设的大于一的整数。M和N可以相同，也可以不同。

当前像素位于当前窗口中央。例如图1绘示一个M＝N＝3的当前窗口100，对应于当前窗口100的当前像素就是像素101。图2绘示一个M＝N＝4的当前窗口200，对应于当前窗口200的当前像素可以是像素201～204其中之一。图3绘示一个M＝N＝5的当前窗口300，对应于当前窗口300的当前像素就是像素301。除了当前像素以外，当前窗口内的其余像素皆称为周围像素。

图4是本实施例的去噪方法的流程图。此去噪方法的输入是前帧、中帧和后帧的当前窗口内的每一像素的亮度值，输出则是中帧的当前像素的亮度值。在步骤410，判断中帧的当前像素是否为噪声数据。在步骤420计算当前像素的空间权重。在步骤430计算当前像素的时间权重。如果中帧的当前像素不是噪声数据，则不做任何处理，直接输出中帧的当前像素的亮度值。如果中帧的当前像素是噪声数据，则在步骤440进行时间空间联合滤波，也就是根据空间权重与时间权重对当前像素进行滤波以去噪，然后输出滤波之后的中帧的当前像素的亮度值。

图5是依照本发明的一实施例的一种噪声检测方法的流程图。图5流程也就是步骤410的较详细的流程。在步骤510，判断当前窗口内的每一像素的种类。更详细的说，对于当前窗口内的每一像素，若该像素满足下列的公式(1)，则判断该像素的种类为浮出像素；若该像素满足下列的公式(2)，则判断该像素的种类为沉入像素。

cur>pre&&cur>next………………………………(1)

cur<pre&&cur<next………………………………(2)

公式(1)和(2)当中，pre是前帧的该像素的亮度值，cur是中帧的该像素的亮度值，next是后帧的该像素的亮度值。&&表示逻辑上的「且」。

接下来，在步骤520计算当前窗口内的周围像素其中的浮出像素数量lofty_counter和沉入像素数量sunken_counter。在步骤530判断当前像素是否为噪声数据。更详细的说，若当前像素至少满足下列的公式(3)～(7)其中之一，则当前像素是噪声数据，否则当前像素不是噪声数据。

cur_sunken&&lofty_counter>＝thr0…………………(3)

cur_lofty&&sunken_counter>＝thr0…………………(4)

(cur_sunken||cur_lofty)&&lofty_counter>＝thr1&&sunken_counter>＝thr1…………………………………………(5)

cur_sunken&&sunken_counter<＝thr2………………(6)

cur_lofty&&lofty_counter<＝thr2……………………(7)

公式(3)～(7)其中，cur_sunken是逻辑变数。若当前像素的种类为沉入像素，则cur_sunken的值为「真」，否则cur_sunken的值为「伪」。cur_lofty是另一个逻辑变数。若当前像素的种类为浮出像素，则cur_lofty的值为「真」，否则cur_lofty的值为「伪」。||表示逻辑上的「或」。thr0、thr1和thr2都是预设的界限值，其中thr0>thr1而且thr0>thr2。

以下说明如何计算步骤420的空间权重。首先是在中帧的当前窗口内定义多个邻近窗口，其中每一个邻近窗口皆包括当前像素。例如图6是依照本发明的一实施例的当前窗口600与其中的四个邻近窗口611～614的示意图。邻近窗口611～614以粗线方框绘示。从图6可以看出每一个邻近窗口皆以当前像素601为中心。每一个邻近窗口的大小皆不相同。邻近窗口611～614的大小分别为2*2个像素、3*3个像素、4*4个像素、以及5*5个像素。除了最小的邻近窗口611以外，每一个邻近窗口皆包括较小的邻近窗口。邻近窗口612包括邻近窗口611。邻近窗口613包括邻近窗口611和612。最大的邻近窗口614即为当前窗口600。邻近窗口614包括邻近窗口611～613。

图7是依照本发明的另一实施例的当前窗口600与其中的四个邻近窗口711～714的示意图。本实施例采用另一种方式来定义邻近窗口。从图7可以看出，每一个邻近窗口的大小同样是3*3。每一个邻近窗口各朝不同方向，位置各不相同。当前像素601分别位于每一个邻近窗口的不同角落。

定义邻近窗口之后，可为每一个邻近窗口计算该邻近窗口中的全部像素的亮度平均值，然后可依照下列的公式(8)计算步骤420的空间权重weight。

公式(8)其中，|DC_L–DC_H|表示上述邻近窗口的亮度平均值其中两个亮度平均值所构成的每一组合。举例而言，若有四个邻近窗口1～4，则DC₁、DC₂、DC₃和DC₄分别为这四个邻近窗口的像素的亮度平均值。公式(8)会包括六个|DC_L–DC_H|，分别是|DC₁–DC₂|、|DC₁–DC₃|、|DC₁–DC₄|、|DC₂–DC₃|、|DC₂–DC₄|以及|DC₃–DC₄|。W_L,H是每一个组合|DC_L–DC_H|所对应的权重值。每一个权重值W_L,H皆可随应用需求而调整。

公式(8)是藉由每一个邻近窗口的像素的亮度平均值而分析中帧的当前窗口内的像素相关性，得到对应于中帧的当前像素的一个高频权重值，也就是空间权重weight。

在本发明的一个实施例中，可将空间权重weight限制在(0,weight_thr)范围中。也就是说，若空间权重weight大于界限值weight_thr，则将空间权重weight设定为等于界限值weight_thr。界限值weight_thr可随应用需求而调整。

步骤430的时间权重diff可依照下列的公式(9)～(11)来计算。假设当前窗口的大小为M*N个像素。abs()是绝对值函数。cur、pre和next分别是中帧、前帧和后帧的当前窗口中的像素亮度值。coef是预设的滤波器系数。max()是最大值函数。先用公式(9)根据前帧与中帧的当前窗口内的每一像素的亮度值计算权重平均值pre_diff，用公式(10)根据后帧与中帧的当前窗口内的每一像素的亮度值计算另一权重平均值next_diff，然后用公式(11)计算时间权重diff。时间权重diff为权重平均值pre_diff和next_diff其中的最大值。

diff＝max(pre_diff，next_diff)……………………………(11)

公式(9)将中帧和前帧的像素亮度值相减是为了计算当前窗口内的中帧和前帧的像素相关性。所以pre_diff是当前窗口内的中帧和前帧的像素相关性的权重平均值。公式(10)将中帧和后帧的像素亮度值相减是为了计算当前窗口内的中帧和后帧的像素相关性。所以next_diff是当前窗口内的中帧和后帧的像素相关性的权重平均值。公式(11)的时间权重diff就是当前窗口内的前帧、中帧和后帧的像素相关性其中的最大值。

在本发明的一个实施例中，可将时间权重diff限制在(0,diff_thr)范围中。也就是说，若时间权重diff大于界限值diff_thr，则将时间权重diff设定为等于界限值diff_thr。界限值diff_thr可随应用需求而调整。

在本发明的一个实施例中，当前窗口的大小为3*3个像素，此实施例采用的滤波器系数coef如下面的表1所示。

1	2	1
			2	4	2
1	2	1

表1，滤波器系数coef

以下说明如何进行步骤440的时间空间联合滤波。假设当前窗口的大小是M*N个像素。首先选择对应当前窗口的三组滤波器系数coef0、coef1和coef2。这三组滤波器系数的滤波强度关系为coef0>coef1>coef2。然后使用这三组滤波器系数分别对前帧、中帧和后帧的当前窗口进行滤波，以产生多个当前滤波结果。本实施例的当前滤波结果共有九个，分别对应三组滤波器系数coef0、coef1和coef2其中一组以及前帧、中帧和后帧其中一帧。例如下面的公式(12)说明如何计算对应滤波器系数coef0和中帧的当前滤波结果cur_res0。其余八个当前滤波结果可用同样方式计算。公式(12)其中的cur是中帧的当前窗口中的像素亮度值。

接下来，为每一组滤波器系数计算该组滤波器系数对于前帧、中帧和后帧的当前滤波结果的三帧平均值。例如下面的公式(13)说明如何计算滤波器系数coef0的三帧平均值frame3_res0。公式(13)之中的pre_res0是对应滤波器系数coef0和前帧的当前滤波结果，next_res0是对应滤波器系数coef0和后帧的当前滤波结果。其余两组滤波器系数coef1和coef2的三帧平均值可用同样方式计算。

接下来是时间滤波运算，也就是根据时间权重diff和时间权重的界限值diff_thr为每一组滤波器系数计算该组滤波器系数的中帧的当前滤波结果和三帧平均值的权重平均值，以产生三个时间滤波结果。这三个时间滤波结果分别对应三组滤波器系数coef0、coef1和coef2其中之一。例如下面的公式(14)说明如何计算滤波器系数coef0的时间滤波结果temp_res0。其余两组滤波器系数coef1和coef2的时间滤波结果temp_res1和temp_res2可用同样方式计算。

接下来是空间滤波运算，也就是根据空间权重weight、空间权重的界限值weight_thr、时间滤波结果temp_res0、temp_res1和temp_res2、以及下面的公式(15)、(16)计算最终的去噪结果res，然后输出去噪结果res以取代中帧的当前像素的亮度值。从公式(15)、(16)可看出空间权重weight就是空间滤波运算的权重。去噪结果res是时间滤波结果temp_res0、temp_res1和temp_res2的权重平均值。去噪结果res是经由公式(14)的时间滤波运算和公式(15)、(16)的空间滤波运算而产生。去噪结果res也就是步骤440的时间空间联合滤波的输出。

本发明的一个实施例的当前窗口的大小为3*3个像素。此实施例的滤波器系数coef0、coef1和coef2如下面的表2、表3和表4所示。

1	1	1
			1	1	1
1	1	1

表2，滤波器系数coef0

1	2	1
			2	4	2
1	2	1

表3，滤波器系数coef1

0	1	0
			1	4	1
0	1	0

表4，滤波器系数coef2

以上的实施例使用三组滤波器系数coef0、coef1和coef2来计算去噪结果res。在另一实施例中，可使用更多组滤波器系数来计算去噪结果res。

综上所述，以上实施例所提供的噪声检测方法和去噪方法可透过时间权重diff和空间权重weight以参数形式控制时间上和空间上的滤波强度，在噪声去除的同时可以保持视频流的图像的边缘及细节的清晰度。另外需要指出的是，时空联合去噪作为一种常见的技术手段，其权重计算公式需要根据实际情况与个案模型进行计算参数的取舍及演变，本发明并不局限于实施例中所展示的公式形式，例如使用多组滤波器系数计算去噪结果res时，公式(15)、(16)的形式亦会产生相应变化，本领域技术人员可以根据本案发明思想理解并自行推得。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的申请专利范围所界定者为准。

Claims (8)

1.一种噪声检测方法，包括：

比较当前窗口内的每一像素在前帧、中帧与后帧的亮度值，以判断位于该中帧的该当前窗口中央的当前像素的种类，对于该当前窗口内的每一像素，若该像素的中帧亮度值大于前帧亮度值和后帧亮度值，则判断该像素的种类为浮出像素，若该像素的中帧亮度值小于该前帧亮度值和该后帧亮度值，则判断该像素的种类为沉入像素；

计算该当前窗口中的该当前像素以外的周围像素中不同种类的像素数量；及

根据该当前像素的种类及该周围像素中不同种类的像素数量判断该当前像素是否为噪声数据，包括：

计算该当前窗口中的该当前像素以外的周围像素中的浮出像素数量；

计算所述周围像素中的沉入像素数量；以及

根据该当前像素的种类、该浮出像素数量和该沉入像素数量判断该中帧的该当前像素是否为该噪声数据，当与该当前像素相同种类的该周围像素的数量小于等于第一阈值、或与该当前像素不同种类的该周围像素的数量大于等于第二阈值、或该当前像素的周围沉入像素或浮出像素的数量大于等于第三阈值时，判定该当前像素为该噪声数据，其中该第一阈值大于该第二阈值及该第三阈值；

其中该前帧、该中帧与该后帧为同一视频流中的连续三帧。

2.如权利要求1所述的噪声检测方法，其特征在于，更包括：

若该当前像素为该沉入像素而且所述周围像素中的该浮出像素数量大于或等于界限值，则判断该中帧的该当前像素为该噪声数据。

3.如权利要求1所述的噪声检测方法，其特征在于，更包括：

若该当前像素为该浮出像素而且所述周围像素中的该沉入像素数量大于或等于界限值，则判断该中帧的该当前像素为该噪声数据。

4.如权利要求1所述的噪声检测方法，其特征在于，更包括：

若该当前像素的种类为该浮出像素与该沉入像素其中之一而且所述周围像素中的该浮出像素数量与该沉入像素数量皆大于或等于界限值，则判断该中帧的该当前像素为该噪声数据。

5.如权利要求1所述的噪声检测方法，其特征在于，更包括：

若该当前像素为该沉入像素而且所述周围像素中的该沉入像素数量小于或等于界限值，则判断该中帧的该当前像素为该噪声数据。

6.如权利要求1所述的噪声检测方法，其特征在于，更包括：

若该当前像素为该浮出像素而且所述周围像素中的该浮出像素数量小于或等于界限值，则判断该中帧的该当前像素为该噪声数据。

7.一种去噪方法，包括：

根据中帧的当前窗口内的每一像素的亮度值计算空间权重；

根据前帧、该中帧与后帧的该当前窗口内的每一像素的亮度值计算时间权重，其中该前帧、该中帧与该后帧为同一视频流中的连续三帧；

比较该当前窗口内的每一像素在该前帧、该中帧与该后帧的亮度值，以判断位于该中帧的该当前窗口中央的当前像素的种类，对于该当前窗口内的每一像素，若该像素的中帧亮度值大于前帧亮度值和后帧亮度值，则判断该像素的种类为浮出像素，若该像素的中帧亮度值小于该前帧亮度值和该后帧亮度值，则判断该像素的种类为沉入像素；

计算该当前窗口中的该当前像素以外的周围像素中不同种类的像素数量；

根据该当前像素的种类及该周围像素中不同种类的像素数量判断该当前像素是否为噪声数据，包括：

计算该当前窗口中的该当前像素以外的周围像素中的浮出像素数量；

计算所述周围像素中的沉入像素数量；

根据该当前像素的种类、该浮出像素数量和该沉入像素数量判断该中帧的该当前像素是否为该噪声数据，当与该当前像素相同种类的该周围像素的数量小于等于第一阈值、或与该当前像素不同种类的该周围像素的数量大于等于第二阈值、或该当前像素的周围沉入像素或浮出像素的数量大于等于第三阈值时，判定该当前像素为该噪声数据，其中该第一阈值大于该第二阈值及该第三阈值；以及

若该当前像素为该噪声数据，则根据该空间权重与该时间权重对该当前像素进行滤波以去噪，

其中所述计算该空间权重的步骤包括：

计算该中帧的该当前窗口中的每一邻近窗口中的全部像素的亮度平均值，其中每一所述邻近窗口皆包括该当前像素；以及

根据所述邻近窗口的所述亮度平均值所构成的多种组合和每一所述组合对应的权重值计算该空间权重，其中每一所述组合由任两个所述邻近窗口的亮度平均值的差值的绝对值所构成；

其中所述计算该时间权重的步骤包括：

根据该前帧与该中帧的该当前窗口内的每一像素的亮度值差值的绝对值与滤波器系数计算第一权重平均值；

根据该后帧与该中帧的该当前窗口内的每一像素的亮度值差值的绝对值与该滤波器系数计算第二权重平均值；以及

根据该第一权重平均值和该第二权重平均值中的最大值获得该时间权重；

其中，每一所述邻近窗口的大小皆不相同，每一所述邻近窗口包括较小的所述邻近窗口，最大的所述邻近窗口即为该当前窗口，而且该当前像素位于每一所述邻近窗口的中央，或者，每一所述邻近窗口的大小皆相同，而每一所述邻近窗口的位置各不相同，该当前像素分别位于每一所述邻近窗口的不同角落。

8.如权利要求7所述的去噪方法，其特征在于，更包括：

加总所述每一组合中两个亮度平均值的差值的绝对值和每一所述组合对应的权重值的乘积，以获得该空间权重。