CN113793280B - 局部噪声方差估计与bm3d块匹配相结合的真实图像降噪方法 - Google Patents

Abstract

本发明涉及一种局部噪声方差估计与BM3D块匹配相结合的真实图像降噪方法。该方法包括：通过输入任意一张真实场景下拍摄且需要降噪的图片，与BM3D块匹配相结合得到当前目标块的噪声标准差，而后根据得到的噪声标准差，选择最佳滤波参数，然后先对图像做基础估计以消除大部分噪点，噪声标准差参与计算；再对图像做最终估计以还原图像的细节，噪声标准差参与最终估计的计算，得到最终估计后的图像并输出。本发明方法可有效提高去噪效果，具有较好的保留细节能力，解决了BM3D算法针对真实图像不能直接降噪的缺点；同时，该方法解决了图像整体噪声方差估计过小，导致BM3D去噪效果不佳的问题。

Description

局部噪声方差估计与BM3D块匹配相结合的真实图像降噪方法

技术领域

本发明涉及图像增强与处理中的图像去噪技术领域，特别是一种局部噪声方差估计与BM3D块匹配相结合的真实图像降噪方法。

背景技术

随着多媒体设备的迅速发展，对图像处理的需求日渐升高，数字图像处理也成为广大研究人员的重点研究领域，而图像去噪是数字图像处理时代研究的重点。图像去噪算法主要分为空域、频域和空频域结合三大类。针对图像去噪领域，BM3D是目前最好的算法之一。BM3D及其大部分改进算法假设噪声图像的强度是已知的，而真实图像并不知道具体的噪声强度。而且，许多噪声估计方法存在估计值小于真实值的问题。在这种情况下，就会出现BM3D的去噪效果达不到预期的问题。在用BM3D算法对真实图像进行去噪的时候，我们首先要获取到图像的噪声强度。对于真实的噪声图像，可以通过一些噪声估计方法来估计噪声水平，通常噪声水平被估计为齐次斑块协方差矩阵的某个特征值。然而，当有少量的平面块时，最小特征值通常小于真实的噪声方差。在这种情况下，就会出现BM3D的去噪效果达不到预期的问题。

本发明的局部噪声方差估计与BM3D块匹配相结合的真实图像降噪方法是基于在传统的BM3D算法中加入局部噪声方差估计，将噪声方差估计与BM3D的块匹配相结合，得到处理目标块的噪声方差，并依此方差进行了自适应参数选择，同时用此方差参与后续计算。

发明内容

本发明的目的在于提供一种局部噪声方差估计与BM3D块匹配相结合的真实图像降噪方法，将局部噪声方差估计算法与BM3D的块匹配相结合，得到处理目标块的噪声方差，并依此方差进行了自适应参数选择，同时用此方差参与后续的协调滤波和聚合运算，获取更精确的计算结果。实验结果表明，改进的BM3D算法针对真实图像可有效提高去噪效果，具有较好的保留细节能力，解决了BM3D算法针对真实图像不能直接降噪的缺点。同时，该算法解决了图像整体噪声方差估计过小，导致BM3D去噪效果不佳的问题。

为实现上述目的，本发明的技术方案是：一种局部噪声方差估计与BM3D块匹配相结合的真实图像降噪方法，包括如下步骤：

步骤S1、输入一张真实场景下拍摄的噪声图像；

步骤S2、将局部噪声方差估计与BM3D的块匹配相结合，得到输入图像每个目标块的邻域图像的噪声方差，作为当前目标块的噪声方差；

步骤S3、利用各个目标块的噪声方差分别选择BM3D处理的参数；

步骤S4、对图像做最终估计，输出得到降噪后的图像。

在本发明一实施例中，步骤S1中，输入的图像有以下特征：

(1)在真实场景下拍摄；

(2)图像不需要经过任何图像处理，图像尺寸为M×N；其中，M为输入图像的行数，N为输入图像的列数；

(3)图像都带有噪声。

在本发明一实施例中，所述步骤S2具体实现方式如下：

步骤S21、输入待处理的图像I∈R^M×N，I_R＝I+I_X，其中I_R表示待估计噪声图像，I_X表示拓展像素，生成以Z_R(i)为中心的N_S×N_S邻域数据I_R(i)，Z_R(i)表示待处理的图像I中第i个目标块，大小为N₁×N₁；

步骤S22、从I_R(i)中生成数据包含s＝(Ns²-1)个块，块大小r＝d²；

步骤S23、计算出当r＝d²，且λ₁≥λ₂≥…≥λ_r时协方差矩阵∑的特征值其中，/>

步骤S24、接下来从1到r遍历i的取值，并按公式计算出τ的取值，并实时做判断：如果τ等于数据集/>的中值，则噪声标准差σ就等于/>停止遍历并输出；否则，继续遍历运算；最后返回当前第i个目标块的噪声标准差σ(i)。

在本发明一实施例中，所述步骤S3具体实现方式如下：

步骤S31、将步骤S2获取的目标块的噪声标准差σ(i)输入到BM3D的算法中，进行参数选择；

步骤S32、对图像做基础估计，σ(i)参与后续计算，以消除图像中大部分的噪声；

步骤S33、再对基础估计处理完图像做最终估计，σ(i))参与后续计算，以还原原图中更多的细节。

在本发明一实施例中，所述步骤S31具体实现方式为：根据噪声标准差σ(i)选择在BM3D基础估计阶段判断其他块和目标块相似的阈值参数和相似块数量上限参数，以及在最终估计阶段判断其他块和目标块相似的阈值参数。

在本发明一实施例中，所述步骤S32具体实现方式如下：

步骤S321、对于每个目标图块，在附近寻找相似的图块；首先在噪声图像中选择N₁×N₁大小的目标块，在目标块的周围N_S×N_S的区域内进行搜索，按目标块和其他块的距离从小到大排序后取最多前个，先对图块进行二维变换，并把这些块整合成一个3维的矩阵，参照块自身也要整合进3维矩阵；

步骤S322、在矩阵的第三个维度进行一维变换，变换后采用硬阈值的方式将小于阈值γ的系数置为0；其中，硬阈值的计算公式为：γ＝λ_3D×σ(i)，σ(i)是上式中所求得的噪声标准差；同时统计系数非零成分的数量作为后续权重的参考，权重计算公式为：i表示当前第i个目标块；最后通过在第三维的一维反变换和二维反变换得到处理后的图像块；

步骤S323、将逆变换后的图像像素除以每个点的权重就得到基础估计的图像，权重取决于置0的个数和噪声强度，此时图像的噪点得到了较大的去除。

在本发明一实施例中，所述步骤S33具体实现方式如下：

步骤S331、按目标块和其他块的距离从小到大排序后取最多前个；将基础估计图块、含噪原图图块分别叠成两个三维矩阵，一个是噪声图像形成的三维矩阵，一个是基础估计得到的三维矩阵；

步骤S332、将两个三维矩阵都进行二维和一维变换，用维纳滤波将噪声图形成的三维矩阵进行系数放缩，该系数通过基础估计的三维矩阵的值以及噪声强度得出，将这些图块逆变换后放回原位，这一过程用/>表示，其中/>是维纳滤波的系数，/>和/>分别表示三维的变换和逆变换；

步骤S333、利用系数非零成分数量统计叠加权重，最后将叠放后的图除以每个点的权重就得到基础估计的图像，权重计算公式为：此时图像还原更多原图的细节，整幅图像也就完成去噪的全部过程。

相较于现有技术，本发明具有以下有益效果：本发明方法，将局部噪声方差估计算法与BM3D的块匹配相结合，得到处理目标块的噪声方差，并依此方差进行了自适应参数选择，同时用此方差参与后续的协调滤波和聚合运算，获取更精确的计算结果。实验结果表明，改进的BM3D算法针对真实图像可有效提高去噪效果，具有较好的保留细节能力，解决了BM3D算法针对真实图像不能直接降噪的缺点。同时，该算法解决了图像整体噪声方差估计过小，导致BM3D去噪效果不佳的问题。

附图说明

图1是本发明实施例的结构框图。

图2是本发明实施例中输入的在真实场景下拍摄且需要降噪的图片。

图3是本发明实施例中输入图像的局部噪声标准差的概率分布图。

图4是本发明实施例中步骤S31不同噪声方差条件下最适宜的滤波系数。

图5是本发明实施例中经过降噪处理后最终输出的图片。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1所示，本实例提供了一种局部噪声方差估计与BM3D块匹配相结合的真实图像降噪方法，具体包括以下步骤：

步骤S1、输入一张真实场景下拍摄的噪声图像；

步骤S2、将局部噪声方差估计与BM3D的块匹配相结合，得到输入图像每个目标块的邻域图像的噪声方差，作为当前目标块的噪声方差；

步骤S3、利用各个目标块的噪声方差分别选择BM3D处理的参数并参与后续的计算，改进了BM3D的去噪效果。

步骤S4、输出得到降噪后的图像；

在本实施实例中，所述步骤S1的输入图像如图2所示，有以下特征：

(1)在真实场景下拍摄；

(2)图像不需要经过任何图像处理，图像尺寸为M×N(其中，M为输入图像的行数，N为输入图像的列数)；

(3)图像都带有噪声。

在本实施实例中，输入一张真实场景下拍摄且需要降噪的图片，可进入步骤S2，图像的局部噪声标准差σ(i)的概率分布如图3所示；

在本实施实例中，所述步骤S2主要包括以下步骤

步骤S21、输入待处理的图像I∈R^M×N，I_R＝I+I_X，其中I_R表示待估计噪声图像，I_X表示拓展像素，生成以Z_R(i)为中心的N_S×N_S邻域数据I_R(i)，Z_R(i)表示待处理的图像I中第i个目标块，大小为8×8；

步骤S22、从I_R(i)中生成数据包含了s＝(Ns²-1)个块，块大小r＝d²，其中，d的取值为2，N_s取值为39；

步骤S23、计算出当r＝d²，且λ₁≥λ₂≥…≥λ_r时协方差矩阵∑的特征值其中，/>

步骤S24、接下来从1到r遍历i的取值，并按公式计算出τ的取值，并实时做判断：如果τ等于数据集/>的中值，则噪声标准差σ就等于/>停止遍历并输出；否则，继续遍历运算。最后返回当前第i个目标块的噪声标准差σ(i)。

在本实施实例中，所述步骤S3具体包括以下步骤

步骤S31、将步骤S2获取的目标块的噪声标准差σ(i)输入到BM3D的算法中，进行参数选择；

步骤S32、对图像做基础估计，σ(i)参与后续计算，以消除图像中大部分的噪声；

步骤S33、再对基础估计处理完图像做最终估计，σ(i)参与后续计算，以还原原图中更多的细节；

在本实施例中，所述步骤S31具体包括以下步骤：

步骤S331、根据噪声标准差σ(i)选择在BM3D基础估计阶段判断其他块和目标块相似的阈值参数τ^hard和相似块数量上限参数N^hard，以及在最终估计阶段判断其他块和目标块相似的阈值参数τ^wien，如图4所示。

所述步骤S32具体包括以下步骤：

步骤S321、对于每个目标图块，在附近寻找相似的图块，按目标块和其他块的距离从小到大排序后取最多前N^hard个。首先在噪声图像中选择k^hard×k^hard大小的目标块，在目标块的周围39×39的区域内进行搜索，寻找若干个差异度最小的块，先对图块进行二维变换，并把这些块整合成一个3维的矩阵，参照块自身也要整合进3维矩阵。

步骤S322、在矩阵的第三个维度进行一维变换，通常为Hadamard Transform。变换后采用硬阈值的方式将小于阈值γ的系数置为0。其中，硬阈值的计算公式为：σ(i)是上式中所求得的噪声标准差。同时统计系数非零成分的数量/>作为后续权重的参考，权重计算公式为：/>i表示当前第i个目标块。最后通过在第三维的一维反变换和二维反变换得到处理后的图像块；

步骤S323、将逆变换后的图像像素除以每个点的权重就得到基础估计的图像，权重取决于置0的个数和噪声强度，此时图像的噪点得到了较大的去除；

所述步骤S33具体包括以下步骤：

步骤S331、按目标块和其他块的距离从小到大排序后取最多前N^wien个。首先在噪声图像中选择k^wien×k^wien大小的目标块，在目标块的周围39×39的区域内进行搜索，寻找若干个差异度最小的块，将基础估计图块、含噪原图图块分别叠成两个三维数组。所以这一步与第一步中不同的是这次会得到两个三维数组，一个是噪声图像形成的三维数组一个是基础估计得到的三维数组。

步骤S332、将两个三维矩阵都进行二维和一维变换，这里的二维变换采用DCT变换。用维纳滤波(Wiener Filtering)将噪声图形成的三维矩阵进行系数放缩，该系数通过基础估计的三维矩阵的值以及噪声强度得出，将这些图块逆变换后放回原位。这一过程用/>表示，其中/>是维纳滤波的系数，/>和/>分别表示三维的变换和逆变换；

步骤S333、将这些图块逆变换后放回原位，利用系数非零成分数量统计叠加权重，最后将叠放后的图除以每个点的权重就得到基础估计的图像，权重计算公式为：此时图像还原了更多原图的细节，整幅图像也就完成了去噪的全部过程，输出图片如图5所示。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (2)

1.一种局部噪声方差估计与BM3D块匹配相结合的真实图像降噪方法，其特征在于，包括如下步骤：

步骤S1、输入一张真实场景下拍摄的噪声图像；

步骤S2、将局部噪声方差估计与BM3D的块匹配相结合，得到输入图像每个目标块的邻域图像的噪声方差，作为当前目标块的噪声方差；

步骤S3、利用各个目标块的噪声方差分别选择BM3D处理的参数；

步骤S4、对图像做最终估计，输出得到降噪后的图像；

所述步骤S2具体实现方式如下：

步骤S21、输入待处理的图像I∈R^M×N，I_R＝I+I_X，其中I_R表示待估计噪声图像，I_X表示拓展像素，生成以Z_R(i)为中心的N_S×N_S邻域数据I_R(i)，Z_R(i)表示待处理的图像I中第i个目标块，大小为N₁×N₁；

步骤S22、从I_R(i)中生成数据包含s＝(Ns²-1)个块，块大小r＝d²；

步骤S23、计算出当r＝d²，且λ₁≥λ₂≥···≥λ_r时协方差矩阵∑的特征值其中，/>

步骤S24、接下来从1到r遍历i的取值，并按公式计算出τ的取值，并实时做判断：如果τ等于数据集/>的中值，则噪声标准差σ就等于/>停止遍历并输出；否则，继续遍历运算；最后返回当前第i个目标块的噪声标准差σ(i)；

所述步骤S3具体实现方式如下：

步骤S31、将步骤S2获取的目标块的噪声标准差σ(i)输入到BM3D的算法中，进行参数选择；

步骤S32、对图像做基础估计，σ(i)参与后续计算，以消除图像中大部分的噪声；

步骤S33、再对基础估计处理完图像做最终估计，σ(i)参与后续计算，以还原原图中更多的细节；

所述步骤S31具体实现方式为：根据噪声标准差σ(i)选择在BM3D基础估计阶段判断其他块和目标块相似的阈值参数和相似块数量上限参数，以及在最终估计阶段判断其他块和目标块相似的阈值参数；

所述步骤S32具体实现方式如下：

步骤S321、对于每个目标图块，在附近寻找相似的图块；首先在噪声图像中选择N₁×N₁大小的目标块，在目标块的周围N_S×N_S的区域内进行搜索，按目标块和其他块的距离从小到大排序后取最多前个，先对图块进行二维变换，并把这些块整合成一个3维的矩阵，参照块自身也要整合进3维矩阵；

步骤S322、在矩阵的第三个维度进行一维变换，变换后采用硬阈值的方式将小于阈值γ的系数置为0；其中，硬阈值的计算公式为：γ＝λ_3D×σ(i)，σ(i)是上式中所求得的噪声标准差；同时统计系数非零成分的数量作为后续权重的参考，权重计算公式为：i表示当前第i个目标块；最后通过在第三维的一维反变换和二维反变换得到处理后的图像块；

步骤S323、将逆变换后的图像像素除以每个点的权重就得到基础估计的图像，权重取决于置0的个数和噪声强度，此时图像的噪点得到了较大的去除；

所述步骤S33具体实现方式如下：

步骤S331、按目标块和其他块的距离从小到大排序后取最多前个；将基础估计图块、含噪原图图块分别叠成两个三维矩阵，一个是噪声图像形成的三维矩阵，一个是基础估计得到的三维矩阵；

步骤S332、将两个三维矩阵都进行二维和一维变换，用维纳滤波将噪声图形成的三维矩阵进行系数放缩，该系数通过基础估计的三维矩阵的值以及噪声强度得出，将这些图块逆变换后放回原位，这一过程用/>表示，其中/>是维纳滤波的系数，/>和/>分别表示三维的变换和逆变换；

步骤S333、利用系数非零成分数量统计叠加权重，最后将叠放后的图除以每个点的权重就得到基础估计的图像，权重计算公式为：此时图像还原更多原图的细节，整幅图像也就完成去噪的全部过程。

2.根据权利要求1所述的局部噪声方差估计与BM3D块匹配相结合的真实图像降噪方法，其特征在于，步骤S1中，输入的图像有以下特征：

(1)在真实场景下拍摄；

(2)图像不需要经过任何图像处理，图像尺寸为M×N；其中，M为输入图像的行数，N为输入图像的列数；

(3)图像都带有噪声。