CN109685743A - 基于噪声学习神经网络模型的图像混合噪声消除方法 - Google Patents

Abstract

基于噪声学习神经网络模型的图像混合噪声消除方法，由构建训练模型数据集、噪声学习神经网络模型构建、噪声学习神经网络模型训练及初始参数的确定、对混合噪声图像进行去噪四部分组成。本发明通过构建训练模型数据集对噪声学习神经网络模型进行训练，通过第一噪声特征抽取单元提取混合噪声的特征，利用中间层的噪声特征强化模块和第一正则化单元增强混合噪声的特征，在第二噪声特征抽取单元产生预测的噪声残差图像；将带有混合噪声的测试图像输入到噪声学习神经网络模型中，输出残差图像，用带有混合噪声的图像减去残差图像可得到清晰的图像。本发明具有自适应能力高，泛化能力强，测试时间短等优点，可用于图像的混合噪声消除。

Description

基于噪声学习神经网络模型的图像混合噪声消除方法

技术领域

本发明属于图像处理领域，具体涉及一种基于噪声学习神经网络模型的图像混合噪声消除方法。

背景技术

在图像成像过程中，由于传感器温度和环境的低照度会使采集到的图像中包含混合噪声。噪声的引入，不仅降低了图像的质量，而且会严重影响图像的高级视觉处理任务。因此，消去图像中包含的混合噪声是一个基本而又重要的步骤。近年来，许多学者提出了不同的方法来消除图像中包含的混合噪声，如何更好地保留图像的边缘、纹理等信息，成为图像去噪中的重要研究内容。

一种加权编码与稀疏非局部正则化方法被提出来实现消去混合噪声。在该方法中，将重加权l₂范数引入到最小平方的式子中，可以同时处理高斯噪声和脉冲噪声的混合噪声。但是，其中心化稀疏约束过于严格，没有考虑到相似图像块之间的差异；Lichen Liu提出了一种加权联合稀疏表示模型来抑制混合噪声，但由于字典学习采用了贪婪算法，计算成本较高。Tao Huang提出了一种Laplacian混合模型和非局部低秩正则化模型，实现了良好的混合噪声去除效果。然而，这种方法非常耗时，涉及到复杂的优化过程，并需要人工设置模型的参数。

上述的这些混合噪声去噪方法共同的缺点是：其一，都使用到了稀疏表示模型和基于图像块的方法，需要手动设置模型参数，并涉及到复杂的模型优化过程；其二，对图像消去混合噪声的时间长，其三，需要对异常点噪声像素的位置进行检测，严重影响去噪的效果。

发明内容

本发明所要解决的主要技术问题在于克服上述现有方法的缺陷，提供一种不需要异常点检测，自适应能力高，泛化能力强，测试时间短的基于噪声学习神经网络模型的图像混合噪声消除方法。

解决上述技术问题所采用的技术方案由下述步骤组成：

(1)构建模型训练数据集

灰度图像数据集为X，根据图像分辨率的大小，将图像数据集X中每张图像分割成像素为p×p的图像块，将图像块进行数据增强后构成图像块数据集PX1，对数据集PX1中的图像块加入混合噪声，得到混合噪声图像块集合NPX2，用混合噪声图像块集合NPX2中的图像块减去图像块集合PX1中的对应的图像块，得到只含有混合噪声的残差图像块，所有的残差图像块构成残差图像块数据集NPY，则(NPX2,NPY)组成用于监督训练的数据集；

(2)噪声学习神经网络模型构建

噪声学习神经网络模型的第一层为第一噪声特征抽取单元，中间层由N∈[5，16]个集成层串联组成，集成层由噪声特征强化模块和第一正则化单元构成，最后一层为第二噪声特征抽取单元，所述的第一噪声特征抽取单元将混合噪声图像块集合NPX2作为输入，所述的噪声特征强化模块用于强化和传递提取的噪声特征，所述的第一正则化单元用于加速和稳定训练过程，所述的第二噪声特征抽取单元用于产生预测的残差图像块；

所述的噪声特征强化模块由第一空洞卷积单元、第二正则化单元、带泄露线性整流单元、第二空洞卷积单元、第三正则化单元、指数映射单元、特征融合单元构成，第一空洞卷积单元的输出分两支，一支输出到第二正则化单元，另一支输出到特征融合单元，第二正则化单元输出到带泄露线性整流单元，带泄露线性整流单元输出到第二空洞卷积单元，第二空洞卷积单元输出到第三正则化单元，第三正则化单元输出到指数映射单元，指数映射单元输出到特征融合单元；

(3)噪声学习神经网络模型训练及初始参数的确定

(3.1)网络模型参数初始化：网络参数的初始值按照如下公式进行：

A＝randn(n,n,in,out) (I)

[θ_i，～，～]＝SVD(A×α×ch_i) (2)

公式(1)中n表示卷积核的大小，in表示输入的特征图数量，out表示输出的特征图数量，randn表示生成n×n×in×out四维的具有高斯分布的矩阵，公式(2)中θ_i是当前卷积层的参数矩阵，符号～表示忽略该处的矩阵值，SVD表示执行奇异值分解操作，A是参数矩阵，α是参数变化率，ch_i表示当前卷积层的通道数；

(3.2)使用训练数据集(NPX2,NPY)对噪声学习神经网络模型进行训练，利用随机梯度下降算法来最小化损失函数L(θ)，通过对损失函数L(θ)不断地迭代优化，直到迭代次数达到迭代次数上限，即完成噪声学习神经网络模型的训练和参数的优化，其中，噪声学习神经网络模型的损失函数L(θ)如下所示：

公式(3)中K表示训练数据集(NPX2，NPY)中样本的个数，表示执行l2范数操作，R(y_i；θ)表示在噪声学习神经网络模型的参数为θ的条件下，预测出的第i张残差图像y_i，NPY_i表示第i张预测的残差图像对应的真实的残差图像，γ∈(0，1)是正则化系数，d(R(y_i；θ)，NPY_i)表示距离函数；

所述距离函数d(R(y_i；θ)，NPY_i)为：

d(R(y_i；θ)，NPY_i)＝(R(y_i；θ)-NPY_i)^T×[βI-M^TM]×(R(y_i；θ)-NPY_i) (4)

公式(4)中I是单位矩阵，M是二进制对角矩阵，β是距离调整参数，β取值为δ×c，δ是控制因子，c为M的最大特征值，满足βI＞||M||₂＝1；

(4)对混合噪声图像进行去噪

利用训练好的噪声学习神经网络模型对带有混合噪声的图像进行处理，输出残差图像，用带有混合噪声的图像减去残差图像可得到清晰图像。

作为一种优选的方案，所述的步骤(2)中噪声特征强化模块中，噪声特征强化模块的噪声特征强化公式为：

output_i＝f(inPut_i) (5)

公式(5)中f(input_i)是噪声特征强化模块的特征强化函数，input_i和output_i分别是第i个噪声特征强化模块的输入和输出；

所述的噪声特征强化模块的特征强化函数f(input_i)为：

f(input_i)＝exp{-(Dconv(LReLU(BN(Dconv(inputi)))))²}×Dconv(input_i) (6)

公式(6)中Dconv是执行空洞卷积操作，BN是执行正则化操作，LReLU是执行带泄露线性整流操作，exp{·}是执行指数操作。

作为一种优选的方案，所述的步骤(2)中，噪声特征强化模块和第一正则化单元构成集成层的方式为：

boutput_j＝BN(f(input_j)) (7)

公式(7)中的boutput_j是第j个集成层的输出。

作为一种优选的方案，所述的步骤(3.1)中卷积核大小n∈{3，5，7，9}；初始变化率α∈(0.001，0.01)。

作为一种优选的方案，所述步骤(3.2)中，控制因子δ∈(1，2)。

作为一种优选的方案，所述的步骤(1)中p∈{40，50，60}。

作为一种优选的方案，所述的步骤(1)和步骤(4)中混合噪声由高斯噪声级别σ∈(0，50)的高斯噪声、椒盐噪声比率s∈(0，0.4)的椒盐噪声、随机噪声比率r∈(0，0.3)的随机噪声中的两种或三种组成。

本发明的有益效果如下：

本发明采用训练数据集(NPX2,NPY)对噪声学习神经网络模型进行训练，充分学习混合噪声的特征分布，通过第一层的第一噪声特征抽取单元提取混合噪声的特征，利用中间层的噪声特征强化模块和正则化单元增强混合噪声的特征，并进行复杂的空间处理和非线性变换，在最后一层的第二噪声特征抽取单元产生预测的噪声残差图像；通过对损失函数L(θ)的不断迭代，得到训练好的噪声学习神经网络模型，将带有混合噪声的测试图像输入到噪声学习神经网络模型中，输出残差图像，用带有混合噪声的图像减去残差图像可得到清晰的图像。本发明具有自适应能力高，泛化能力强，测试时间短等优点，可用于图像的混合噪声消除。

附图说明

图1是基于噪声学习神经网络模型的图像混合噪声消除方法的流程图。

图2是噪声学习神经网络模型的结构示意图。

图3是噪声特征强化模块的结构示意图。

图4是图像去噪前与去噪后的效果对比图。

具体实施方式

下面结合附图和实施例对本发明进一步详细说明，但本发明不限于这些实施例。

实施例1

如图1所示，本实施例的基于噪声学习神经网络模型的图像混合噪声消除方法包括以下步骤：

(1)构建模型训练数据集

从Berkeley Segmentation Data Set数据集中选取400张图像作为训练数据集，选取4张图像作为测试图像，将训练数据集和测试图像都转换灰度图，将训练数据集中的每张图像分割成像素为60×60的图像块，也可以分割成像素为40×40的图像块，也可以分割成像素为50×50的图像块，将图像块进行数据增强后构成图像块数据集PX1，对数据集PX1中的图像块加入高斯噪声的噪声级别为σ＝15，椒盐噪声的噪声比率s＝0.3，随机噪声的噪声比率为r＝0.2的混合噪声，得到混合噪声图像块集合NPX2，用混合噪声图像块集合NPX2中的图像块减去图像块集合PX1中的对应的图像块，得到只含有混合噪声的残差图像块，所有的残差图像块构成残差图像块数据集NPY，则(NPX2,NPY)组成用于监督训练的数据集；

(2)噪声学习神经网络模型构建

噪声学习神经网络模型是由噪声特征抽取单元，噪声特征强化模块和正则化单元构成，噪声特征抽取单元用于对输入的带有混合噪声的图像块进行噪声特征提取，噪声特征强化模块用于强化和传递提取的噪声特征，正则化单元用于加速和稳定训练过程；

在图2中，噪声学习神经网络模型的第一层为第一噪声特征抽取单元，中间层由N＝5个集成层串联组成，集成层由噪声特征强化模块和第一正则化单元构成，最后一层为第二噪声特征抽取单元，第一噪声特征抽取单元将混合噪声图像块集合NPX2作为输入，第一噪声特征抽取单元中的卷积神经网络的卷积核大小n为5，也可以为3或7或9，输入特征图数量in为1，输出特征图数量out为64；噪声特征强化模块用于强化和传递提取的噪声特征，第一正则化单元用于加速和稳定训练过程，第二噪声特征抽取单元用于产生预测的残差图像块,第二噪声特征抽取单元中的卷积神经网络的卷积核大小n为5，输入特征图数量in为64，输出特征图数量out为1；

在图3中，噪声特征强化模块由第一空洞卷积单元、第二正则化单元、带泄露线性整流单元、第二空洞卷积单元、第三正则化单元、指数映射单元、特征融合单元构成，第一空洞卷积单元和第二空洞卷积单元网络结构相同，第二正则化单元和第三正则化单元网络结构相同，第一空洞卷积单元的卷积核n大小为5，也可以为3或7或9，膨胀因子为2，输入特征图数量in为64，输出特征图数量out为64，第一空洞卷积单元的输出分两支，一支输出到第二正则化单元，另一支输出到特征融合单元，第二正则化单元输出到带泄露线性整流单元，带泄露线性整流单元输出到第二空洞卷积单元，第二空洞卷积单元输出到第三正则化单元，第三正则化单元输出到指数映射单元，指数映射单元输出到特征融合单元；

(3)噪声学习神经网络模型训练及初始参数的确定

(3.1)网络模型参数初始化：网络参数的初始值按照如下公式进行：

A＝randn(n，n，in，out) (1)

[θ_i，～，～]＝SVD(A×α×ch_i) (2)

公式(1)中n表示卷积核的大小，in表示输入的特征图数量，out表示输出的特征图数量，randn表示生成n×n×in×out四维的具有高斯分布的矩阵，公式(2)中θ_i是当前卷积层的参数矩阵，符号～表示忽略该处的矩阵值，SVD表示执行奇异值分解操作，A是参数矩阵，α是参数变化率，ch_i表示当前卷积层的通道数；

(3.2)使用训练数据集(NPX2，NPY)对噪声学习神经网络模型进行训练，利用随机梯度下降算法来最小化损失函数L(θ)，通过对损失函数L(θ)不断地迭代优化，直到迭代次数达1600次，即完成噪声学习神经网络模型的训练和参数的优化，其中，噪声学习神经网络模型的损失函数L(θ)如下所示：

公式(3)中K表示训练数据集(NPX2，NPY)中样本的个数，表示执行l₂范数操作，R(y_i；θ)表示在噪声学习神经网络模型的参数为θ的条件下，预测出的第i张残差图像y_i，NPY_i表示第i张预测的残差图像对应的真实的残差图像，γ是正则化系数，取值为0.36，d(R(y_i；θ)，NPY_i)表示距离函数；

所述距离函数d(R(y_i；θ)，NPY_i)为：

d(R(y_i；θ)，NPY_i)＝(R(y_i；θ)-NPY_i)^T×[βI-M^TM]×(R(y_i；θ)-NPY_i) (4)

公式(4)中I是单位矩阵，M是二进制对角矩阵，β是距离调整参数，β取值为δ×c，δ是控制因子，δ取值为1.3，c为M的最大特征值，满足βI＞||M||₂＝1；

(4)对混合噪声图像进行去噪

将4张带有高斯噪声的噪声级别为σ＝15，椒盐噪声的噪声比率s＝0.3，随机噪声的噪声比率为r＝0.2的混合噪声的测试图像输入到训练好的噪声学习神经网络模型，输出残差图像，用带有混合噪声的图像减去残差图像可得到对应的清晰图像，如图4所示。

Claims (7)

1.一种基于噪声学习神经网络模型的图像混合噪声消除方法，其特征在于由下述步骤组成：

(1)构建模型训练数据集

灰度图像数据集为X，根据图像分辨率的大小，将图像数据集X中每张图像分割成像素为p×p的图像块，将图像块进行数据增强后构成图像块数据集PX1，对数据集PX1中的图像块加入混合噪声，得到混合噪声图像块集合NPX2，用混合噪声图像块集合NPX2中的图像块减去图像块集合PX1中的对应的图像块，得到只含有混合噪声的残差图像块，所有的残差图像块构成残差图像块数据集NPY，则(NPX2,NPY)组成用于监督训练的数据集；

(2)噪声学习神经网络模型构建

噪声学习神经网络模型的第一层为第一噪声特征抽取单元，中间层由N∈[5，16]个集成层串联组成，集成层由噪声特征强化模块和第一正则化单元构成，最后一层为第二噪声特征抽取单元，所述的第一噪声特征抽取单元将混合噪声图像块集合NPX2作为输入，所述的噪声特征强化模块用于强化和传递提取的噪声特征，所述的第一正则化单元用于加速和稳定训练过程，所述的第二噪声特征抽取单元用于产生预测的残差图像块；

所述的噪声特征强化模块由第一空洞卷积单元、第二正则化单元、带泄露线性整流单元、第二空洞卷积单元、第三正则化单元、指数映射单元、特征融合单元构成，第一空洞卷积单元的输出分两支，一支输出到第二正则化单元，另一支输出到特征融合单元，第二正则化单元输出到带泄露线性整流单元，带泄露线性整流单元输出到第二空洞卷积单元，第二空洞卷积单元输出到第三正则化单元，第三正则化单元输出到指数映射单元，指数映射单元输出到特征融合单元；

(3)噪声学习神经网络模型训练及初始参数的确定

(3.1)网络模型参数初始化：网络参数的初始值按照如下公式进行：

A＝randn(n，n，in，out) (1)

[θ_i，～，～]＝SVD(A×α×ch_i) (2)

公式(1)中n表示卷积核的大小，in表示输入的特征图数量，out表示输出的特征图数量，randn表示生成n×n×in×out四维的具有高斯分布的矩阵，公式(2)中θ_i是当前卷积层的参数矩阵，符号～表示忽略该处的矩阵值，SVD表示执行奇异值分解操作，A是参数矩阵，α是参数变化率，ch_i表示当前卷积层的通道数；

(3.2)使用训练数据集(NPX2,NPY)对噪声学习神经网络模型进行训练，利用随机梯度下降算法来最小化损失函数L(θ)，通过对损失函数L(θ)不断地迭代优化，直到迭代次数达到迭代次数上限，即完成噪声学习神经网络模型的训练和参数的优化，其中，噪声学习神经网络模型的损失函数L(θ)如下所示：

公式(3)中K表示训练数据集(NPX2,NPY)中样本的个数，表示执行l₂范数操作，R(y_i；θ)表示在噪声学习神经网络模型的参数为θ的条件下，预测出的第i张残差图像y_i，NPY_i表示第i张预测的残差图像对应的真实的残差图像，γ∈(0，1)是正则化系数，d(R(y_i；θ)，NPY_i)表示距离函数；

所述距离函数d(R(y_i；θ)，NPY_i)为：

d(R(y_i；θ)，NPY_i)＝(R(y_i；θ)-NPY_i)^T×[βI-M^TM]×(R(y_i；θ)-NPY_i) (4)

公式(4)中I是单位矩阵，M是二进制对角矩阵，β是距离调整参数，β取值为δ×c，δ是控制因子，c为M的最大特征值，满足βI＞||M||₂＝1；

(4)对混合噪声图像进行去噪

利用训练好的噪声学习神经网络模型对带有混合噪声的图像进行处理，输出残差图像，用带有混合噪声的图像减去残差图像可得到清晰图像。

2.根据权利要求1所述的基于噪声学习神经网络模型的图像混合噪声消除方法，其特征在于：

所述的步骤(2)中噪声特征强化模块中，噪声特征强化模块的噪声特征强化公式为：

output_i＝f(input_i) (5)

公式(5)中f(input_i)是噪声特征强化模块的特征强化函数，input_i和output_i分别是第i个噪声特征强化模块的输入和输出；

所述的噪声特征强化模块的特征强化函数f(input_i)为：

f(input_i)＝exp{-(Dconv(LReLU(BN(Dconv(input_i)))))²}×Dconv(input_i) (6)

公式(6)中Dconv是执行空洞卷积操作，BN是执行正则化操作，LReLU是执行带泄露线性整流操作，exp{.}是执行指数操作。

3.根据权利要求2所述的基于噪声学习神经网络模型的图像混合噪声消除方法，其特征在于：

所述的步骤(2)中，噪声特征强化模块和第一正则化单元构成集成层的方式为：

boutput_j＝BN(f(input_j)) (7)

公式(7)中的boutput_j是第j个集成层的输出。

4.根据权利要求1所述的基于噪声学习神经网络模型的图像混合噪声消除方法，其特征在于：所述的步骤(3.1)中卷积核大小n∈{3，5，7，9}；初始变化率α∈(0.001，0.01)。

5.根据权利要求1所述的基于噪声学习神经网络模型的图像混合噪声消除方法，其特征在于：所述步骤(3.2)中，控制因子δ∈(1，2)。

6.根据权利要求1所述的基于噪声学习神经网络模型的图像混合噪声消除方法，其特征在于：所述的步骤(1)中p∈{40，50，60}。

7.根据权利要求1所述的基于噪声学习神经网络模型的图像混合噪声消除方法，其特征在于：所述的步骤(1)和步骤(4)中混合噪声由高斯噪声级别σ∈(0，50]的高斯噪声、椒盐噪声比率s∈(0，0.4]的椒盐噪声、随机噪声比率r∈(0，0.3]的随机噪声中的两种或三种组成。