CN116363018B - 一种自适应的nlm降噪方法 - Google Patents

Abstract

本发明公开了一种自适应的NLM降噪方法，1）对于Bayer格式图像中每个像素点，计算以像素点为中心的像素块的局部梯度，用于确定每个像素点的细节等级；2）根据每个像素点的细节等级自适应选择块匹配模式；所述匹配模式中，以图像块为单位进行搜索匹配；3）以2*2的像素块为单位，先按照位移向量计算单位之间的像素差值，再根据差值图像以积分图像法计算得到对应的积分图像；4）在确认的匹配模式基础上确定目标块以及搜索区域，搜索匹配过程中根据积分图像计算目标块和匹配块的距离，从而确定匹配权重；5）根据匹配权重得到去噪后的图像。本方法采用整块匹配的总体思路，在具有较好降噪前提下降低算法运行时的系统资源占用量。

Description

一种自适应的NLM降噪方法

技术领域

本发明涉及一种图像降噪方法，具体涉及一种NLM（non-local means,非局部均值）降噪方法。

背景技术

数字图像采集是利用摄像头等传感器将光信号转化成电信号并用数字形式进行存储、传输和显示的过程，数字图像处理是将采集的数字图像针对使用目的和场景进行处理优化的过程，其中常见的方法包括：图像增强和复原、图像编码压缩、图像描述等。

图像的降噪是图像增强和复原中十分重要的一项内容。其广泛应用于车载影像、监控摄像头等诸多领域。在某些低照度的环境下，比如在傍晚和夜晚的户外，摄像头由于感光不足会产生大量的噪点，为了能够显示清晰，需要对低照度影像降噪，便于肉眼清晰获取实时信息和存储清晰图像便于后续使用。

NLM方法是一种具有良好效果的2D图像降噪方法，其基于图像中像素块的相似性，对于每个像素点，取其所在像素块与周围像素块根据合适的距离公式和阈值进行块匹配，再对匹配得到的图像块中对应点做均值得到本点的估计值。由于其相比局部的降噪方法更多地利用了图像信息，一般具有良好的降噪效果，但缺点在于块匹配的运算过于消耗资源，在很多场景不具备应用条件。

如今，图像处理在智能汽车、智能家居、智能监控等诸多领域发挥着越来越重要的作用，也对图像的质量提出了更高的要求，传统NLM降噪方法的高资源占用率并不能满足使用要求。

发明内容

发明目的：针对上述现有技术，提出一种自适应的NLM降噪方法，在具有较好降噪前提下降低算法运行时的系统资源占用量。

技术方案：一种自适应的NLM降噪方法，包括：

步骤1：对于Bayer格式图像中每个像素点，计算以像素点为中心的像素块的局部梯度，根据所述局部梯度以及预设阈值确定每个像素点的细节等级；

步骤2：根据每个像素点的所述细节等级以及预设阈值自适应选择块匹配模式；所述匹配模式中，以图像块为单位进行搜索匹配，最小的中心块尺寸为2*2；

步骤3：以2*2的像素块为单位，先按照位移向量计算单位之间的像素差值，再根据差值图像，以积分图像法计算得到对应的积分图像；

步骤4：在步骤2确认的匹配模式基础上确定目标块以及搜索区域，搜索匹配过程中根据步骤3得到的积分图像计算目标块和匹配块的距离，从而确定匹配权重；

步骤5：根据所述匹配权重计算得到去噪后的图像。

进一步的，所述步骤1中，通过计算像素点与周围同通道像素点的像素值之差来计算所述像素块的局部梯度。

进一步的，所述步骤1中，当所述局部梯度小于阈值th1时，像素点的细节等级设置为0；当所述局部梯度在阈值th1至阈值th2之间时，像素点的细节等级设置为1；当所述局部梯度大于阈值th2时，像素点的细节等级设置为2。

进一步的，所述步骤2包括：选取大小为8*8的图像块作为基本块，首先计算基本块中各像素点的细节等级之和s0；将s0与预设阈值Th8进行比较，若s0≤Th8则直接用该8*8的基本块作为中心块进行匹配；若s0＞Th8则将所述基本块分为四个4*4的子块，对于各子块，分别计算子块中各像素点的细节等级level之和s1，再将s1与预设阈值Th4进行比较，若s1≤Th4则直接用该4*4的子块作为中心块进行匹配；若s1＞Th4则将所述4*4的子块分为四个2*2的子块，以各2*2的子块作为中心块进行匹配。

进一步的，所述步骤3包括：以2*2的像素块为单位，首先，计算每个单位相对于向量(2x,2y)的单位的像素差值，其中0≤x≤m，-m≤y≤m，m为决定于搜索区域大小的参数；对于-m≤x＜0的向量，通过查找其相反向量的方式计算与对应单元的像素差值，从而得到原始图像对应于向量(2x,2y)的各差值图像；然后，对各差值图像，分别用积分图像法计算得到对应的积分图像。

进一步的，所述步骤4中，选取以待处理的中心块为中心，各方向分别扩大两个像素的图像块作为目标块。

进一步的，所述步骤4中，所述搜索区域为以所述目标块为中心，各方向分别扩大2m个像素的区域，所述m取2、3、4、5。

进一步的，所述步骤4中，在搜索区域内，依次以步长2选取与目标块大小相同的图像块进行匹配，目标块和匹配块的相对位置表示为向量(2x,2y)，找到向量(2x,2y)对应的积分图像，设此时目标块右下角像素点的坐标为d(i,j)，则通过下式计算目标块和匹配块之间的距离d(i,j)：

其中，l=n/2，匹配块的大小为n*n；i'=i+2x，j'=j+2y。

进一步的，所述步骤4中，所述匹配权重为：，其中，c2为根据降噪强度确定的第一参数，d为距离d(i,j)的简写，g为单调递增的函数，s为中心块中各像素的细节等级之和，/>为基于双边滤波的思想引入的基于空间距离的权重项，σ为反应滤波强度的项。

进一步的，所述步骤5中，当匹配块对应的距离d大于阈值th时，定义匹配块对应的匹配权重W为0；阈值th的计算公式为：

th=n²*(f(s)+c1)

其中，f为单调递增的函数，c1为根据降噪强度确定的第二参数。

有益效果：考虑到NLM图像降噪效果良好但消耗资源，本方法采用整块匹配的总体思路，具体具有如下优点：

1. 用加权的图像块计算代替逐点计算。逐点计算可以得到效果更好的图像，但需要消耗大量运算资源。而图像大多存在大片平滑区域，对这些区域整块计算和逐点计算效果差异不大，本发明采用不同的阈值进行整块计算，再通过图片不同区域的高频和低频性质对图像进行自适应的加权平均，可以在保留NLM良好效果的基础上大幅节省计算资源。

2. 用局部梯度区域的细节等级，以决定不同区域的降噪参数。

3. 采用Bayer域上的同通道匹配方法。主流的NLM都是在RGB域进行，少数在Bayer域进行的NLM一般采用分离通道的方法，浪费了不同通道之间的结构信息。本发明为了增强算法效果和提高算法效率在Bayer域进行计算，并在匹配块时只对相同通道位置进行匹配，避免去马赛克插值带来的“数据污染”，在降低计算数据量的同时保留了不同通道之间的结构信息。

4.采用积分图像法，减少重复计算，进一步提高运算效率。

5.引入双边滤波思想，同时用空间参数和距离参数进行匹配。

附图说明

图1为本发明流程图；

图2为本发明方法中计算像素点的细节等级的示意图。

实施方式

下面结合附图对本发明做更进一步的解释。

如图1所示，一种自适应的NLM降噪方法，包括如下步骤：

步骤1：对于Bayer格式图像中每个像素点，计算以其为中心的像素块的局部梯度，通过局部梯度确定每个像素点的细节等级。

具体地，对Bayer格式图像中每个像素点，在以该像素点为中心的5x5像素块中，通过计算该像素点与周围同通道像素点的像素值之差来计算该像素块的局部梯度，再将计算得到的局部梯度与预设阈值进行比较来确定细节等级。

如图2所示，以像素点33为例，选取其周围同通道的31、33、35、13、53五个像素点，用pij表示对应点的像素值，则以像素点33为中心的像素块的局部梯度G的计算方式为：

此梯度公式为最简情况下的公式，可以用最少的算力达到效果。也可以采用其他公式，牺牲时间资源得到更准确的计算。

根据计算得到的局部梯度G，按照下式进行该像素点的细节等级level判定：

其中，th1和th2表示预设的两个阈值。表1给出了阈值取值方案，模式1到模式5表示降噪越来越强，对应的阈值参数越来越大，即更易将图像中一个区域判定为平坦区域。

表1

步骤2：根据每个像素点的细节等级自适应选择块匹配模式，匹配模式中，以图像块为单位进行搜索匹配，最小单位尺寸为2*2。

每次选取8*8的图像块，作为基本块，如图2所示，首先计算基本块中各像素点的细节等级level之和s0；将s0与预设阈值Th8进行比较，若s0≤Th8则直接用该8*8的基本块作为中心块进行匹配；若s0＞Th8则将基本块分为四个4*4的子块，对于各子块，计算该子块中各像素点的细节等级level之和s1，再将s1与预设阈值Th4进行比较，若s1≤Th4则直接用该4*4的子块作为中心块进行匹配；若s1＞Th4则将4*4的子块分为四个2*2的子块，以各2*2的子块作为中心块进行匹配。其中，阈值Th8和Th4的几种设置方案如表2所示。模式1到模式5表示降噪越来越强，对应的阈值参数越来越小，更易将一个区域判定为平坦区域。

表2

步骤3：获取图像对应的积分图像。

在NLM降噪方法中，进行搜索匹配时，根据步骤2确认的中心块，需要逐一比较以待处理的中心块为中心的图像块P（也称为目标块）与搜索区域内所有可能匹配的图像块Q（也称为匹配块）的距离，以此作为赋予相似度权重的基础。设图像块P和Q的大小为n*n，两者之间的距离d的计算方式一般有如下两种形式：

其中，p(i,j)、q(i,j)分别表示图像块P和Q中的像素点的像素值，(i,j)表示像素点的坐标。

在搜索过程中，需对搜索区域内所有可能与目标块匹配的图像块进行距离计算，这将消耗大量计算资源。因此，本发明采用积分图像法来减少重复计算的次数，并在现有的积分图像法基础上做了如下调整，以适应当前算法并节省计算资源：

计算积分图像时以2*2的像素块为单位，从而节省存储和计算资源；

按照位移向量计算积分图像，用于适应不同的匹配块大小；

通过查找相反向量的方式减少一半计算量。

获取图像对应的积分图像的具体实施方式如下：

A1）确定所有可能的位移向量为：(2x,2y)，0≤x≤m，-m≤y≤m，m为取决于搜索区域大小的参数，一般取2、3、4、5。

A2）对于原始图像，以2*2的像素块为单位，计算每个单位相对于向量(2x,2y)的单元的像素差值sub_(2x,2y)(i,j)：

其中，p(2i-1,2j-1)、p(2i,2j-1)、p(2i-1,2j)、p(2i,2j)分别表示2*2像素块中四个像素点的像素值。对于-m≤x＜0的向量，通过查找其相反向量的方式计算与对应单元的像素差值。由此，对于原大小为2M*2N的图像Sub，计算得到了对应于向量(2x,2y)的各差值图像，各差值图像的大小均为M*N。

A3）对各差值图像Sub，分别用积分图像法计算得到对应的积分图像S。

对于差值图像中坐标为(i,j)的像素点，其在积分图像中的数值为积分图像S以(1,1)、(i,1)、(1,j)、(i,j)为顶点的矩形中所有像素点(k,l)之和，即，其具体计算方法为：递归地计算该像素点左上方所有像素点(k,l)的积分图像值，其中1≤k≤i，1≤l≤j。

向量(2x,2y)对应的差值图像Sub，计算其对应的积分图像S时，积分图像S中坐标为(i,j)的像素点处的积分和函数值s_(2x,2y)(i,j)计算方式为：

s_(2x,2y)(i,j)=s_(2x,2y)(i-2,j)+s_(2x,2y)(i,j-2)-s_(2x,2y)(i-2,j-2)+sub_(2x,2y)(i,j)

其中，s_(2x,2y)(i-2,j)、s_(2x,2y)(i,j-2)、s_(2x,2y)(i-2,j-2)分别为坐标为(i-2,j)、(i,j-2)、(i-2,j-2)处的积分和函数值，且当i,j≤0时，s_(2x,2y)(i,j)=0，即对应图像第一、第二行和第一、第二列的情况。

步骤4：在步骤2选择的中心块基础上，按如下方式进行搜索匹配：

B1）根据中心块确定目标块的尺寸，并确定搜索区域，如表3所示：

表3

即选取以待处理的中心块为中心，各方向分别扩大两个像素的图像块作为目标块，以此与搜索区域内相同尺寸的匹配块进行匹配。对于确定的目标块，选取该目标块周围一定范围内的区域作为搜索区域。

B2）通过步骤3获得的积分图像计算目标块和匹配块的欧式距离。

具体的，首先，在搜索区域内，依次以步长2选取与目标块大小相同的图像块进行匹配。确定目标块和匹配块的相对位置，由于采用同通道匹配，相对位置可用向量(2x,2y)表示，找到向量(2x,2y)对应的积分图像。设此时目标块右下角像素点的坐标为(i,j)，则通过下式计算目标块和匹配块之间的距离d(i,j)：

其中，l=n/2，n为匹配块的大小。i'=i+2x，j’=j+2y。

B3）确定NLM匹配过程中的阈值和匹配权重。

按如下式分别计算阈值th和匹配权重W：

th=n²*(f(s)+c1)

其中，c1和c2为根据降噪强度确定的参数，其一般根据对于图片噪声水平的先验知识确定，例如采集图像时的曝光增益等。图像噪声强度越大，c1取值越大，c2取值越小，对应降噪强度越大。s为中心块中各像素的细节等级之和；f和g为单调递增的函数，通常情况下，取线性函数、多项式或幂函数可达到较好效果，d为步骤B2中得到的距离d(i,j)的简写；为基于双边滤波的思想引入的基于空间距离的权重项，匹配块与目标块距离越远时，权重越小，σ为反应滤波强度的项，σ越大滤波越强。x、y即上述用于表示向量的（2x,2y）中的数值。由于x、y的取值有限，实际通过查表法进行，无需进行指数运算。

阈值th用于判断匹配块在融合中是否被计算的参数。具体地，对于匹配块P，当对应的距离d>th时，定义匹配权重W=0。这一参数可以在图像块差异很大时不进行计算，进一步提高计算效率。

通过此以上方法得到匹配权重进行归一化处理后，进而可与原始图像运算得到去噪后的图像。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种自适应的NLM降噪方法，其特征在于，包括：

步骤1：对于Bayer格式图像中每个像素点，计算以像素点为中心的像素块的局部梯度，根据所述局部梯度以及预设阈值确定每个像素点的细节等级；

步骤2：根据每个像素点的所述细节等级以及预设阈值自适应选择块匹配模式；所述匹配模式中，以图像块为单位进行搜索匹配，最小的中心块尺寸为2*2；

步骤3：以2*2的像素块为单位，先按照位移向量计算单位之间的像素差值，再根据差值图像，以积分图像法计算得到对应的积分图像；

步骤4：在步骤2确认的匹配模式基础上确定目标块以及搜索区域，搜索匹配过程中根据步骤3得到的积分图像计算目标块和匹配块的距离，从而确定匹配权重；

步骤5：根据所述匹配权重计算得到去噪后的图像；

所述步骤1中，当所述局部梯度小于阈值th1时，像素点的细节等级设置为0；当所述局部梯度在阈值th1至阈值th2之间时，像素点的细节等级设置为1；当所述局部梯度大于阈值th2时，像素点的细节等级设置为2；

所述步骤2包括：选取大小为8*8的图像块作为基本块，首先计算基本块中各像素点的细节等级之和s0；将s0与预设阈值Th8进行比较，若s0≤Th8则直接用该8*8的基本块作为中心块进行匹配；若s0＞Th8则将所述基本块分为四个4*4的子块，对于各子块，分别计算子块中各像素点的细节等级level之和s1，再将s1与预设阈值Th4进行比较，若s1≤Th4则直接用该4*4的子块作为中心块进行匹配；若s1＞Th4则将所述4*4的子块分为四个2*2的子块，以各2*2的子块作为中心块进行匹配；

所述步骤4中，选取以待处理的中心块为中心，各方向分别扩大两个像素的图像块作为目标块。

2.根据权利要求1所述的自适应的NLM降噪方法，其特征在于，所述步骤1中，通过计算像素点与周围同通道像素点的像素值之差来计算所述像素块的局部梯度。

3.根据权利要求1所述的自适应的NLM降噪方法，其特征在于，所述步骤3包括：以2*2的像素块为单位，首先，计算每个单位相对于向量(2x,2y)的单位的像素差值，其中0≤x≤m，-m≤y≤m，m为决定于搜索区域大小的参数；对于-m≤x＜0的向量，通过查找其相反向量的方式计算与对应单元的像素差值，从而得到原始图像对应于向量(2x,2y)的各差值图像；然后，对各差值图像，分别用积分图像法计算得到对应的积分图像。

4.根据权利要求3所述的自适应的NLM降噪方法，其特征在于，所述步骤4中，所述搜索区域为以所述目标块为中心，各方向分别扩大2m个像素的区域，所述m取2、3、4、5。

5.根据权利要求1-4任一所述的自适应的NLM降噪方法，其特征在于，所述步骤4中，在搜索区域内，依次以步长2选取与目标块大小相同的图像块进行匹配，目标块和匹配块的相对位置表示为向量(2x,2y)，找到向量(2x,2y)对应的积分图像，设此时目标块右下角像素点的坐标为d(i,j)，则通过下式计算目标块和匹配块之间的距离d(i,j)： 其中，l=n/2，匹配块的大小为n*n；i'=i+2x，j'=j+2y。

6.根据权利要求5所述的自适应的NLM降噪方法，其特征在于，所述步骤4中，所述匹配权重为：，其中，c2为根据降噪强度确定的第一参数，d为距离d(i,j)的简写，g为单调递增的函数，s为中心块中各像素的细节等级之和，/>为基于双边滤波的思想引入的基于空间距离的权重项，σ为反应滤波强度的项。

7.根据权利要求6所述的自适应的NLM降噪方法，其特征在于，所述步骤5中，当匹配块对应的距离d大于阈值th时，定义匹配块对应的匹配权重W为0；阈值th的计算公式为：

th=n²*(f(s)+c1)

其中，f为单调递增的函数，c1为根据降噪强度确定的第二参数。