CN108564555B - 一种基于nsst和cnn的数字图像降噪方法 - Google Patents

Abstract

本发明涉及一种基于NSST和CNN的数字图像降噪方法，包括如下步骤：步骤1：网络训练；通过Ascombe变换将图像中近似服从泊松分布的噪声转换为近似服从标准高斯分布的噪声；通过NSST即通过非下采样剪切波变换，分别将噪声图像以及其对应的高质量图像分解为多级子带图像，将各级子带图像分别剪切为一定大小的图像块作为数据集；基于获得的数据集，进行卷积神经网络训练即进行CNN训练；步骤2：基于步骤1获得的网络模型，进行图像降噪。

Description

一种基于NSST和CNN的数字图像降噪方法

技术领域

本发明涉及一种基于NSST和CNN的数字图像降噪方法。

背景技术

现有技术中，数字图像降噪算法包括基于非局部相似性理论、稀疏表示和字典学习理论以及变换滤波理论的方法。基于变换滤波理论的方法，大多是在变换域中对变换系数进行阈值滤波，然后将滤波结果逆变换后合成最终降噪图像，但是阈值滤波过程中的阈值难以估计和调整，从而难以达到理想的去燥效果，难以在去除噪声的同时保留更多的图像细节信息。

近年来，卷积神经网络（CNN）得到了快速发展，并在图像、语音和文字识别等方面取得了突破性研究。卷积神经网络基于其强大的特征提取能力，能够在一张输入图像中提取多张特征图，有助于图像的映射和恢复。而且卷积神经网络的训练过程是输入图像和标签图像之间误差函数的最小化过程，训练过程中只需要人工调节少量参数就可以实现网络参数的自动更新，从而实现误差函数的最小化，因此可以将图像的降噪过程看作是噪声图像到高质量图像的映射过程。但是图像域卷积神经网络用于数字图像降噪时也会产生过度模糊的现象，造成图像细节信息的丢失。

发明内容

本发明目的在于提供一种基于NSST和CNN的数字图像降噪方法，在去除噪声的同时保留图像细节信息，能够有效提高图像降噪效果。

实现本发明目的的技术方案：

一种基于NSST和CNN的数字图像降噪方法，其特征在于，包括如下步骤：

步骤1：网络训练；具体步骤如下：

步骤1.1：通过Ascombe变换将图像中近似服从泊松分布的噪声转换为近似服从标准高斯分布的噪声；

步骤1.2：通过NSST即通过非下采样剪切波变换，分别将噪声图像以及其对应的高质量图像分解为多级子带图像，将各级子带图像分别剪切为一定大小的图像块作为数据集；

步骤1.3：基于步骤1.2获得的数据集，进行卷积神经网络训练即进行CNN训练；

步骤2：基于步骤1获得的网络模型，进行图像降噪。

进一步地，步骤2包括如下步骤：

步骤2.1：通过Ascombe变换将待降噪图像中近似服从泊松分布的噪声转换为近似服从标准高斯分布的噪声；

步骤2.2：通过NSST将待降噪图像分解为多级子带图像；

步骤2.3：利用步骤1获得的网络模型分别对待降噪图像的各级子带图像降噪；

步骤2.4：采用NSST反变换将降噪后的子带图像进行合成，获得最终降噪图像。

进一步地，步骤1.2或步骤2.2中，非下采样剪切波变换即NSST包括非下采样拉普拉斯金字塔分解和方向局部化。

进一步地，NSLP分解采用二通道非下采样滤波，源图像经一级NSLP分解产生一个低通子带图像和一个带通子带图像，以后每一级NSLP分解都在低通子带图像上进行。

进一步地，NSST分解需要执行的级数根据图像大小和噪声的统计特性确定，512×512分辨率的图像对应的级数取值范围为[2,5]。

进一步地，方向局部化采用剪切滤波器实现，得到各级方向子带图像。

进一步地，各级方向子带图像个数根据图像大小和噪声的统计特性确定，512×512分辨率的图像对应的各级方向子带图像个数取值为2的n次方，其中，n取值范围为[1,5]。

进一步地，步骤1.2中，数据集制作时，采用NSST分别将噪声图像以及其对应的高质量图像以相同的参数分解为多级子带图像，并采用剪切的方式，分别将各级的方向子带图像以相同步长剪切为适当大小的方向子带图像块。

进一步地，将各级的方向子带图像以相同步长剪切为适当大小的方向子带图像块时，所述的步长和方向子带图像块大小根据所述的方向子带图像大小和数量确定，512×512分辨率的方向子带图像对应的步长取值范围为[5,30]，图像块边长取值范围为[30-60]。

进一步地，步骤1.3中，卷积神经网络采用VGG-19网络结构，并去掉池化层和全连接层，由卷积层、激活函数和批量归一化层组成，设置网络层数，根据网络层数加入旁路连接模块，并设置损失函数计算预测图像和标签图像之间的误差。

进一步地，卷积神经网络的网络层数根据方向子带图像块大小和噪声的统计特性确定，50×50分辨率的方向子带图像块对应的卷积层数取值范围为[5,20]。

进一步地，卷积层根据方向子带图像块大小和噪声的统计特性确定卷积核数量和尺寸，50×50分辨率的方向子带图像块对应的卷积核数量取值范围为[64,128]，卷积核尺寸取值范围为[3,7]。

进一步地，批量归一化层根据方向子带图像块的数量采取批量数值，万级以上的方向子带图像块数量对应的批量大小取值范围为[10,15]。

进一步地，卷积神经网络的旁路连接模式具体为，采用旁路连接方式连接两个有一定间隔的卷积层，间隔的大小和旁路连接的个数根据卷积层的个数而定，16个卷积层对应的间隔大小取值为2或者3，旁路连接个数取值为6或者4。

进一步地，卷积神经网络中设置的损失函数采用均方差函数。

进一步地，卷积神经网络训练采取分级训练方式，即不同分辨率的子带图像分开训练，并根据噪声的统计特性采取直接训练模式或者残差训练模式；所述的直接训练模式是采用将所述的噪声图像子带图像块作为输入，高质量图像子带图像块作为标签的方式进行训练；所述的残差训练模式是采用将所述的噪声图像子带图像块作为输入，噪声图像子带图像块与高质量图像子带图像块相减得到的残差子带图像块作为标签的方式进行训练。

进一步地，网络模型训练模块采取随机梯度下降算法或Adam算法进行网络参数的更新，训练过程中，根据网络的收敛情况和测试结果不断调节所述的学习率、卷积核数量、卷积核大小，权重、网络层数等其中的一种或多种。

进一步地，根据网络的收敛情况设置学习率和训练次数，学习率取值范围为[10^-5,10^-3]，数据集的训练次数取值范围为[30,50]epoch，1个epoch等于使用训练集中的全部样本训练一次。

进一步地，步骤1.1或步骤2.1中，Ascombe变换定义为

，该变换可以使随机变量近似服从均值为0、方差为1的标准高斯分布；通过Ascombe变换将待降噪图像中近似服从泊松分布的噪声转换为近似服从均值为0、方差为1的标准高斯分布的噪声。

本发明具有的有益效果：

本发明将非下采样剪切波变换（NSST）与卷积神经网络（CNN）有效结合。非下采样剪切波变换（NSST）能够获得最优的图像逼近，是最优的图像表示，可以有效提取图像各个方向的高频信息，而卷积神经网络（CNN）有强大的特征提取能力，两者有效结合，将图像降噪过程看作噪声图像高频子带到高质量图像高频子带的映射过程，有助于在去除噪声的同时保护图像边缘细节信息,克服了基于变换滤波理论的降噪方法由于阈值难以估计调整而造成的不能在去除噪声的同时更多保留图像细节信息的缺点，同时也弥补了图像域卷积神经网络进行数字图像降噪时会造成图像过度模糊和图像细节信息丢失的不足。

本发明步骤1.2或步骤2.2中，非下采样剪切波变换即NSST包括非下采样拉普拉斯金字塔分解和方向局部化；非下采样金字塔(NSLP)分解采用二通道非下采样滤波，源图像经一级NSLP分解产生一个低通子带图像和一个带通子带图像，以后每一级NSLP分解都在低通子带图像上进行； NSST分解需要执行的级数根据图像大小和噪声的统计特性确定，512×512分辨率的图像对应的级数取值范围为[2,5]；方向局部化采用剪切滤波器实现，得到各级方向子带图像；各级方向子带图像个数根据图像大小和噪声的统计特性确定，512×512分辨率的图像对应的各级方向子带图像个数取值为2的n次方，其中，n取值范围为[1,5]；数据集制作时，采用NSST分别将噪声图像以及其对应的高质量图像以相同的参数分解为多级子带图像，并采用剪切的方式，分别将各级的方向子带图像以相同步长剪切为适当大小的方向子带图像块；将各级的方向子带图像以相同步长剪切为适当大小的方向子带图像块时，所述的步长和方向子带图像块大小根据所述的方向子带图像大小和数量确定，512×512分辨率的方向子带图像对应的步长取值范围为[5,30]，图像块边长取值范围为[30-60]。本发明通过对NSST具体步骤及参数的设定，进一步保证了图像降噪达到更佳效果。

本发明卷积神经网络采用VGG-19网络结构，并去掉池化层和全连接层，由卷积层、激活函数和批量归一化层组成，设置网络层数，根据网络层数加入旁路连接模块，并设置损失函数计算预测图像和标签图像之间的误差；卷积神经网络的网络层数根据方向子带图像块大小和噪声的统计特性确定，50×50分辨率的方向子带图像块对应的卷积层数取值范围为[5,20]；卷积层根据方向子带图像块大小和噪声的统计特性确定卷积核数量和尺寸，50×50分辨率的方向子带图像块对应的卷积核数量取值范围为[64,128]，卷积核尺寸取值范围为[3,7]；批量归一化层根据方向子带图像块的数量采取批量数值，万级以上的方向子带图像块数量对应的批量大小取值范围为[10,15]；卷积神经网络的旁路连接模式具体为，采用旁路连接方式连接两个有一定间隔的卷积层，间隔的大小和旁路连接的个数根据卷积层的个数而定，16个卷积层对应的间隔大小取值为2或者3，旁路连接个数取值为6或者4；卷积神经网络中设置的损失函数采用均方差函数；卷积神经网络训练采取分级训练方式，即不同分辨率的子带图像分开训练，并根据噪声的统计特性采取直接训练模式或者残差训练模式；所述的直接训练模式是采用将所述的噪声图像子带图像块作为输入，高质量图像子带图像块作为标签的方式进行训练；所述的残差训练模式是采用将所述的噪声图像子带图像块作为输入，噪声图像子带图像块与高质量图像子带图像块相减得到的残差子带图像块作为标签的方式进行训练；网络模型训练模块采取随机梯度下降算法或Adam算法进行网络参数的更新，训练过程中，根据网络的收敛情况和测试结果不断调节所述的学习率、卷积核数量、卷积核大小，权重、网络层数等其中的一种或多种；根据网络的收敛情况初始化学习率和训练次数，学习率初始化取值范围为[10^-5,10^-3]，数据集的训练次数初始化取值范围为[30,50] epoch，1个epoch等于使用训练集中的全部样本训练一次。本发明通过卷积神经网络的架构及相关参数的设定，进一步保证了图像降噪达到更佳效果。

附图说明

图1是实现本发明基于NSST和CNN的数字图像降噪方法的系统示意图；

图2是本发明中网络模型设计模块的网络结构示意图。

具体实施方式

如图1所示，本发明基于NSST和CNN的数字图像降噪方法包括如下步骤：

步骤1：网络训练阶段，具体步骤如下：

步骤1.1：通过Ascombe变换模块101进行Ascombe变换，将图像中近似服从泊松分布的噪声转换为近似服从标准高斯分布的噪声；

步骤1.2：通过NSST变换模块102进行NSST变换（非下采样剪切波变换），通过数据集制作模块，分别将噪声图像以及其对应的高质量图像分解为多级子带图像，将各级子带图像分别剪切为一定大小的图像块作为数据集；

步骤1.3：基于步骤1.2获得的数据集，通过网络模型训练模块进行卷积神经网络训练即进行CNN训练；

步骤2：降噪阶段，基于步骤1获得的网络模型，进行图像降噪。包括如下步骤：

步骤2.1：通过Ascombe变换模块101进行Ascombe变换，将待降噪图像中近似服从泊松分布的噪声转换为近似服从标准高斯分布的噪声；

步骤2.2：通过NSST变换模块102进行NSST变换，将待降噪图像分解为多级子带图像；

步骤2.3：利用步骤1获得的网络模型即降噪模块108，分别对待降噪图像的各级子带图像降噪；

步骤2.4：采用NSST反变换模块109进行NSST反变换，将降噪后的子带图像进行合成，获得最终降噪图像。

步骤1.1或步骤2.1中，Ascombe变换定义为

，该变换可以使随机变量近似服从均值为0、方差为1的标准高斯分布；通过Ascombe变换将待降噪图像中近似服从泊松分布的噪声转换为近似服从均值为0、方差为1的标准高斯分布的噪声。

步骤1.2或步骤2.2中，非下采样剪切波变换即NSST包括非下采样拉普拉斯金字塔分解和方向局部化。非下采样金字塔分解(NSLP)采用二通道非下采样滤波，源图像经一级NSLP分解产生一个低通子带图像和一个带通子带图像，以后每一级NSLP分解都在低通子带图像上进行。NSST分解需要执行的级数根据图像大小和噪声的统计特性确定，512×512分辨率的图像对应的级数取值范围为[2,5]。方向局部化采用剪切滤波器实现，得到各级方向子带图像。各级方向子带图像个数根据图像大小和噪声的统计特性确定，512×512分辨率的图像对应的各级方向子带图像个数取值为2的n次方，其中，n取值范围为[1,5]。

步骤1.2中，数据集制作时，采用NSST分别将噪声图像以及其对应的高质量图像以相同的参数分解为多级子带图像，并采用剪切的方式，分别将各级的方向子带图像以相同步长剪切为适当大小的方向子带图像块。将各级的方向子带图像以相同步长剪切为适当大小的方向子带图像块时，所述的步长和方向子带图像块大小根据所述的方向子带图像大小和数量确定，512×512分辨率的方向子带图像对应的步长取值范围为[5,30]，图像块边长取值范围为[30-60]。

步骤1.3中，通过网络模型设计模块建立卷积神经网络，卷积神经网络采用VGG-19网络结构。

如图2所示，卷积神经网络去掉了池化层和全连接层，由卷积层、激活函数和批量归一化层组成，设置网络层数，根据网络层数加入旁路连接模块，并设置损失函数计算预测图像和标签图像之间的误差。其中卷积层可以提取特征图，激活函数可将特征图进行非线性变换，批量归一化层在每个非线性变换引入标准化和移位步骤，有效地解决网络训练过程中内部协变量的转移问题，从而加快网络收敛速度。为防止图像经过卷积层后存在信息丢失现象，可在每个卷积层前都对图像进行零填充。卷积神经网络的网络层数根据方向子带图像块大小和噪声的统计特性确定，50×50分辨率的方向子带图像块对应的卷积层数取值范围为[5,20]。

假设输入为m通道大小为a×a的图像块，经过包含n组k×k卷积核的卷积层和激活函数后，会产生n个大小为a×a的特征图，再经过包含n组k×k×n卷积核的网络基本单元，会产生新的n个大小为a×a的特征图，以此类推，最后一层卷积层设置m组k×k×n卷积核，将n个a×a特征图转换为m个大小为a×a的图像块，以此作为输出。其中m为输入通道数，即NSST各级分解下的方向子带个数；a×a为输入方向子带图像块大小；n为卷积核数量，k×k为卷积核大小，n和k都可根据方向子带图像块大小和噪声的统计特性判定调节（比如，50×50分辨率的方向子带图像块可选择卷积核数量取值范围为[64,128]，卷积核尺寸取值范围为[3,7]）。卷积层根据方向子带图像块大小和噪声的统计特性确定卷积核数量和尺寸，50×50分辨率的方向子带图像块对应的卷积核数量取值范围为[64,128]，卷积核尺寸取值范围为[3,7]。

初始化权重参数的实现方式为：随机初始化、高斯初始化等。

激活函数可采用sigmoid函数，ReLU函数，tanh函数，softmax函数中的一种。

批量归一化层根据方向子带图像块的数量采取批量数值，万级以上的方向子带图像块数量对应的批量大小取值范围为[10,15]。卷积神经网络的旁路连接模式具体为，采用旁路连接方式连接两个有一定间隔的卷积层，间隔的大小和旁路连接的个数根据卷积层的个数而定，16个卷积层对应的间隔大小取值为2或者3，旁路连接个数取值为6或者4。卷积神经网络中设置的损失函数采用均方差函数。

均方误差函数：

，

其中I为预测的图像块、K为标签图像块，a是图像边长。

卷积神经网络训练采取分级训练方式，即不同分辨率的子带图像分开训练，并根据噪声的统计特性采取直接训练模式或者残差训练模式；所述的直接训练模式是采用将所述的噪声图像子带图像块作为输入，高质量图像子带图像块作为标签的方式进行训练；所述的残差训练模式是采用将所述的噪声图像子带图像块作为输入，噪声图像子带图像块与高质量图像子带图像块相减得到的残差子带图像块作为标签的方式进行训练。网络模型训练模块采取随机梯度下降算法或Adam算法进行网络参数的更新，训练过程中，根据网络的收敛情况和测试结果不断调节所述的学习率、卷积核数量、卷积核大小，权重、网络层数等其中的一种或多种。根据网络的收敛情况初始化学习率和训练次数，学习率初始化取值范围为[10^-5,10^-3]，数据集的训练次数初始化取值范围为[30,50]epoch，1个epoch等于使用训练集中的全部样本训练一次。

Claims (11)

1.一种基于NSST和CNN的数字图像降噪方法，其特征在于，包括如下步骤：

步骤1：网络训练；具体步骤如下：

步骤1.1：通过Ascombe变换将图像中近似服从泊松分布的噪声转换为近似服从标准高斯分布的噪声；

步骤1.2：通过NSST即通过非下采样剪切波变换，分别将噪声图像以及其对应的高质量图像分解为多级子带图像，将各级子带图像分别剪切为一定大小的图像块作为数据集；

步骤1.3：基于步骤1.2获得的数据集，进行卷积神经网络训练即进行CNN训练；

步骤2：基于步骤1获得的网络模型，进行图像降噪；

各级方向子带图像个数根据图像大小和噪声的统计特性确定，512×512分辨率的图像对应的各级方向子带图像个数取值为2的n次方，其中，n取值范围为[1,5]；

步骤1.2中，数据集制作时，采用NSST分别将噪声图像以及其对应的高质量图像以相同的参数分解为多级子带图像，并采用剪切的方式，分别将各级的方向子带图像以相同步长剪切为适当大小的方向子带图像块；

将各级的方向子带图像以相同步长剪切为适当大小的方向子带图像块时，所述的步长和方向子带图像块大小根据所述的方向子带图像大小和数量确定，512×512分辨率的方向子带图像对应的步长取值范围为[5,30]，图像块边长取值范围为[30-60]；

步骤1.3中，卷积神经网络采用VGG-19网络结构，并去掉池化层和全连接层，由卷积层、激活函数和批量归一化层组成，设置网络层数，根据网络层数加入旁路连接模块，并设置损失函数计算预测图像和标签图像之间的误差；

卷积神经网络的网络层数根据方向子带图像块大小和噪声的统计特性确定，50×50分辨率的方向子带图像块对应的卷积层数取值范围为[5,20]；

卷积层根据方向子带图像块大小和噪声的统计特性确定卷积核数量和尺寸，50×50分辨率的方向子带图像块对应的卷积核数量取值范围为[64,128]，卷积核尺寸取值范围为[3,7]；

批量归一化层根据方向子带图像块的数量采取批量数值，万级以上的方向子带图像块数量对应的批量大小取值范围为[10,15]；

卷积神经网络的旁路连接模式具体为，采用旁路连接方式连接两个有一定间隔的卷积层，间隔的大小和旁路连接的个数根据卷积层的个数而定，16个卷积层对应的间隔大小取值为2或者3，旁路连接个数取值为6或者4。

2.根据权利要求1所述的基于NSST和CNN的数字图像降噪方法，其特征在于，步骤2包括如下步骤：

步骤2.1：通过Ascombe变换将待降噪图像中近似服从泊松分布的噪声转换为近似服从标准高斯分布的噪声；

步骤2.2：通过NSST将待降噪图像分解为多级子带图像;

步骤2.3：利用步骤1获得的网络模型分别对待降噪图像的各级子带图像降噪;

步骤2.4：采用NSST反变换将降噪后的子带图像进行合成，获得最终降噪图像。

3.根据权利要求2所述的基于NSST和CNN的数字图像降噪方法，其特征在于：步骤1.2或步骤2.2中，非下采样剪切波变换即NSST包括非下采样拉普拉斯金字塔分解和方向局部化。

4.据权利要求3所述的基于NSST和CNN的数字图像降噪方法，其特征在于：NSLP分解采用二通道非下采样滤波，源图像经一级NSLP分解产生一个低通子带图像和一个带通子带图像，以后每一级NSLP分解都在低通子带图像上进行。

5.根据权利要求4所述的基于NSST和CNN的数字图像降噪方法，其特征在于：NSST分解需要执行的级数根据图像大小和噪声的统计特性确定，512×512分辨率的图像对应的级数取值范围为[2,5]。

6.根据权利要求5所述的基于NSST和CNN的数字图像降噪方法，其特征在于：方向局部化采用剪切滤波器实现，得到各级方向子带图像。

7.根据权利要求6所述的基于NSST和CNN的数字图像降噪方法，其特征在于：卷积神经网络中设置的损失函数采用均方差函数。

8.根据权利要求7所述的基于NSST和CNN的数字图像降噪方法，其特征在于：卷积神经网络训练采取分级训练方式，即不同分辨率的子带图像分开训练，并根据噪声的统计特性采取直接训练模式或者残差训练模式；所述的直接训练模式是采用将所述的噪声图像子带图像块作为输入，高质量图像子带图像块作为标签的方式进行训练；所述的残差训练模式是采用将所述的噪声图像子带图像块作为输入，噪声图像子带图像块与高质量图像子带图像块相减得到的残差子带图像块作为标签的方式进行训练。

9.根据权利要求8所述的基于NSST和CNN的数字图像降噪方法，其特征在于：网络模型训练模块采取随机梯度下降算法或Adam算法进行网络参数的更新，训练过程中，根据网络的收敛情况和测试结果不断调节学习率、卷积核数量、卷积核大小、权重、网络层数其中的一种或多种。

10.根据权利要求9所述的基于NSST和CNN的数字图像降噪方法，其特征在于：根据网络的收敛情况初始化学习率和训练次数，学习率初始化取值范围为[ 10^-5,10^-3]，数据集的训练次数初始化取值范围为[30,50]epoch，1个epoch等于使用训练集中的全部样本训练一次。

11.根据权利要求10所述的基于NSST和CNN的数字图像降噪方法，其特征在于：步骤1.1或步骤2.1中，Ascombe变换定义为

，该变换可以使随机变量近似服从均值为0、方差为1的标准高斯分布；通过Ascombe变换将待降噪图像中近似服从泊松分布的噪声转换为近似服从均值为0、方差为1的标准高斯分布的噪声。

Images