CN111242862A - 多尺度融合并行稠密残差卷积神经网络图像去噪方法 - Google Patents
多尺度融合并行稠密残差卷积神经网络图像去噪方法 Download PDFInfo
- Publication number
- CN111242862A CN111242862A CN202010021463.1A CN202010021463A CN111242862A CN 111242862 A CN111242862 A CN 111242862A CN 202010021463 A CN202010021463 A CN 202010021463A CN 111242862 A CN111242862 A CN 111242862A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- noise
- data set
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 74
- 238000012360 testing method Methods 0.000 claims abstract description 61
- 230000006870 function Effects 0.000 claims abstract description 41
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 238000002474 experimental method Methods 0.000 claims abstract description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 31
- 238000010606 normalization Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 description 12
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了多尺度融合并行稠密残差卷积神经网络图像去噪方法，具体为：步骤1、构造训练数据集，得到数量充足的训练数据集；步骤2、搭建网络框架；步骤3、设置步骤2中所搭建网络框架的超参数、损失函数，选择网络优化算法优化损失函数；步骤4、训练构建的网络，根据步骤3设置的网络超参数、损失函数以及选择的网络优化算法对噪声图像数据集进行训练，得到与其对应的已训练网络模型；步骤5、对步骤4中的已训练网络模型进行去噪测试实验，并用峰值信噪比和结构相似性指数度量去噪测试图像，说明网络性能。该方法在在消除噪声的同时能够保留更多的图像轮廓和纹理信息。
Description
技术领域
本发明属于图像处理方法技术领域，具体涉及一种多尺度融合并行稠密残差卷积神经网络图像去噪方法。
背景技术
在数字信息时代的今天，随着计算机技术和数字化设备普及的发展，对视觉信息的有效处理成为一个很重要的课题。多媒体信息很大一部分由图像的视觉信息组成，但是在图像信息获取或者传输的过程中，会不可避免的受到一些不可抗拒因素的影响，例如光照、天气、光强和传输设备等的影响，得到含噪声的模糊图像，会极大地影响了图像的质量。含噪的图像会对后续的识别操作带来很大的影响，减弱了图像的可读性能。因此，图像去噪技术在图像处理领域中占据十分重要的地位，具有很大的研究意义。根据图像的自身相关性，通常情况下图像去噪主要分为两大类：一类是空间滤波去噪，另一类是频率域滤波去噪。上述方法在某些方面存在各自的缺陷：
对于空间滤波去噪来说，虽然可以有效的抑制噪声，但是会造成图像轮廓和纹理信息的丢失，造成图像的边缘过于平滑。例如均值滤波和中值滤波方法，在处理较低噪声强度时去噪能力较理想，但是在处理较高噪声强度时它们的去噪性能却急剧下降。
对于频率域滤波去噪来说，虽然较空间滤波去噪效果较好，但是也会模糊图像的边缘信息，另外也会损失一部分图像的高频信息，而高频信息为图像的纹理信息，因此去噪图像存在瑕疵。小波去噪方法在图像去噪方面表现较好，但是依赖于选择合适的小波基函数，因此需要大量的经验工作。
另外，非局部自相似模型(NSS)，稀疏模型和梯度下降模型，其中表现优越性能的有：基于块匹配的3D滤波(BM3D)去噪方法，K奇异值分解方法以及贝叶斯最小二乘去噪方法等在图像去噪方面都取得了不错的效果，但是存在以下缺陷：首先上述方法的优化算法很复杂，在进行测试时十分耗时，很难在短时间内完成去噪工作；另外上述方法依赖于人为操作，有很强的不确定性。
目前深度学习发展迅速，在很多领域取得了十分显著的发展，如语音、图像、识别等。多层感知机网络、栈式稀疏去噪自编码网络、深度置信神经网络网络等逐渐应用在图像去噪领域中。随后卷积神经网络被广泛的应用在图像去噪中，其具有权值共享和局部感知的特点，相比于其他神经网络具有更少的可调参数，具有较低的学习复杂度，另外，卷积神经网络具有高度不变性。因此，结合上述有特点，提出一种改进的多尺度融合并行稠密残差卷积神经网络图像去噪算法。
发明内容
本发明的目的是提供一种多尺度融合并行稠密残差卷积神经网络图像去噪方法，该方法在消除噪声的同时能够保留更多的图像轮廓和纹理信息。
本发明所采用的技术方案是，多尺度融合并行稠密残差卷积神经网络图像去噪方法，具体按照以下步骤实施：
步骤1、构造训练数据集，并对数据进行预处理操作，得到数量充足的训练数据集；
步骤2、搭建网络框架，使用稠密残差块和多尺度特征融合块结合并行卷积神经网络的方式构建网络主体，对网络的最终输出结果与网络输入端使用残差学习策略，搭建网络框架完成；
步骤3、设置步骤2中所搭建网络框架的超参数、损失函数，选择网络优化算法优化损失函数；
步骤4、训练构建的网络，根据步骤3设置的网络超参数、损失函数以及选择的网络优化算法对噪声图像数据集进行训练，得到与其对应的已训练网络模型；
步骤5、对步骤4中的已训练网络模型进行去噪测试实验，并用峰值信噪比和结构相似性指数度量去噪测试图像，说明网络性能。
本发明的特点还在于，
步骤1具体包括以下步骤：
步骤1.1、训练数据集包括加噪图像数据集和与其相对应的原始图像数据集，通过已有资源选取原始图像数据集，加噪图像数据集制作方法为：对原始图像数据集加入标准差范围为σ＝[m,n]的高斯白噪声，其中m,n均为正整数；设置噪声步长s，其中s为正整数，可以得到
组不同标准差的加噪图像，最终可得到
组加噪图像数据集；将一组加噪图像数据集和一组与其相对应的原始图像数据集称为一组训练数据集，共得到
组训练数据集；
步骤1.2、对步骤1.1得到的
组训练数据集进行预处理操作，将训练数据集中的每张图像进行0.7，0.8，0.9，1倍的缩放，根据训练数据集中图像的大小，选择适合尺度的滑动窗口进行平移操作，即完成对图像的小块分割得到若干个小块图像，以提高网络训练性能；紧接着对每个小块图像进行90°旋转、180°旋转、270°旋转和上下翻转的增广操作，从而得到数量充足的训练数据集，训练数据集中的加噪图像数据集为网络的输入图像。
步骤2具体包括以下步骤：
步骤2.1、使用两个深度不同的网络分支作为网络主体，每个网络分支使用不同数量的稠密残差块，稠密残差块的数量代表网络的深度；对于每个网络分支来说，使用跳远连接将浅层图像信息和深层图像信息组合起来，以获得不同尺度的图像信息，然后将两个网络分支的输出进一步组合起来；稠密残差块由卷积层构成，卷积层由64个大小为3*3的卷积核组成，其中卷积核的数量由硬件内存大小决定；卷积层中激活函数采用线性整流函数(ReLU)，并且每个卷积层加入批量归一化操作(BN)；至此，网络主体构建完成；
步骤2.2、将步骤2.1构建的网络主体中加入多尺度特征融合块，即在两个网络分支的末尾处的图像特征图后加入多尺度特征融合块，多尺度特征融合块中具有不同尺度卷积核的卷积组，将卷积组做卷积操作后得到的结果进行组合，随后对两个网络分支进行合并操作得到输出的图像特征图；
步骤2.3、将步骤2.2中两个网络分支合并操作后的结果连接一个稠密残差块和多尺度特征融合块，稠密残差块和多尺度特征融合块中的卷积层由64个大小为3*3的卷积核组成，激活函数采用线性整流函数(ReLU)，并且加入批量归一化操作(BN)，得到网络的输出；
步骤2.4、网络采用残差学习策略，此时网络学习到的为残差，将步骤2.3中得到的输出结果与网络的输入做相减操作，得到最终去噪图像，至此，网络框架搭建完成。
步骤3具体包括以下步骤：
步骤3.1、将网络训练集中的图像分批次输入到步骤2中所搭建的网络框架中，根据硬件内存条件设置合适的批次大小，设置网络框架的超参数，设置初始学习速率为0.001，设定迭代一定次数后将学习速率减少1/10，迭代一次意味着将网络训练集中的图像学习一遍；
步骤3.2、步骤2所搭建的网络框架采用残差学习策略，设置网络训练的损失函数为：
其中，N为原始图像数据集中原始图像的数目，xi和yi分别表示原始图像数据集中的原始图像与对应的加噪图像数据集中加噪图像，θ为当前网络的参数数值，F(yi；θ)为加噪图像输入到网络后得到的残差图像；
步骤3.3、根据步骤3.2设定的网络损失函数，优化算法使用自适应时刻估计算法，通过引入随时间变化的学习速率与衰减量来不断优化步骤3.2中的损失函数。
步骤5具体包括以下步骤：
步骤5.1、选取测试图像，其不在网络训练集中，对测试图像加入标准差范围为σ＝[m,n]的高斯白噪声，其中m,n均为正整数；设置噪声步长s，其中s为正整数，得到
张不同标准差的加噪测试图像；
步骤5.2、将步骤5.1中得到的加噪测试图像对应地输入到步骤4得到的已训练网络模型中，进而获得网络的输出图像，即去噪测试图像；
步骤5.3、为了说明网络性能，用峰值信噪比和结构相似性指数度量步骤5.2中获得的去噪测试图像，其中PSNR指标的基准为：20dB以上，PSNR越大表示图像去噪效果更好；SSIM指标的取值范围为[0,1]，其值越大表示图像越接近原始图像。
本发明的有益效果是：该方法通过对搭建好网络框架进行训练，使用已训练好的网络可以直接完成图像去噪的工作，并且不需要手动调节网络各个参数，本发明可以很好的恢复图像的轮廓信息与纹理信息，具有很大的实际意义。
附图说明
图1是本发明一种多尺度融合并行稠密残差卷积神经网络图像去噪方法的流程图；
图2是本发明一种多尺度融合并行稠密残差卷积神经网络图像去噪方法中构建的网络模型；
图3是稠密残差块结构图；
图4是多尺度卷积块结构图；
图5是对噪声标准差σ＝30的加噪测试图像进行测试时，本发明提出的方法与其他方法的去噪图像对比图；
图5中，(a)表示测试图像；(b)表示标准差为σ＝30的加噪测试图像；(c)表示使用中值滤波后的去噪测试图像；(d)表示使用小波变换后的去噪测试图像；(e)表示使用维纳滤波后的去噪测试图像；(f)表示使用去噪卷积神经网络(DnCNN)后的去噪测试图像；(g)表示使用残差网络(ResNet)后的去噪测试图像；(h)表示使用本发明提出方法后的去噪测试图像；
图6是对噪声标准差σ＝50的加噪测试图像进行测试时，本发明提出的方法与其他方法的去噪图像对比图；
图6中，(a)表示测试图像；(b)表示标准差为σ＝50的加噪测试图像；(c)表示使用中值滤波后的去噪测试图像；(d)表示使用小波变换后的去噪测试图像；(e)表示使用维纳滤波后的去噪测试图像；(f)表示使用去噪卷积神经网络(DnCNN)后的去噪测试图像；(g)表示使用残差网络(ResNet)后的去噪测试图像；(h)表示使用本发明提出方法后的去噪测试图像。
图中，1.输入图像，2.输出图像，3.卷积层，4.稠密残差块，5.多尺度卷积块，6.先前层的图像特征图，7.输出的图像特征图，8.大小为1*1的卷积核，9.大小为3*3的卷积核，10.大小为5*5的卷积核，11.大小为7*7的卷积核。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明多尺度融合并行稠密残差卷积神经网络图像去噪方法，如图1所示，具体按照以下步骤实施：
步骤1、构造训练数据集，并对数据进行预处理操作，得到数量充足的训练数据集；
步骤1具体包括以下步骤：
步骤1.1、训练数据集包括加噪图像数据集和与其相对应的原始图像数据集，通过已有资源选取原始图像数据集，加噪图像数据集制作方法为：对原始图像数据集加入标准差范围为σ＝[m,n]的高斯白噪声，其中m,n均为正整数；设置噪声步长s，其中s为正整数，可以得到
组不同标准差的加噪图像，最终可得到
组加噪图像数据集；将一组加噪图像数据集和一组与其相对应的原始图像数据集称为一组训练数据集，共得到
组训练数据集；
步骤1.2、对步骤1.1得到的
组训练数据集进行预处理操作，将训练数据集中的每张图像进行0.7，0.8，0.9，1倍的缩放，根据训练数据集中图像的大小，选择适合尺度的滑动窗口进行平移操作，即完成对图像的小块分割得到若干个小块图像，以提高网络训练性能；紧接着对每个小块图像进行90°旋转、180°旋转、270°旋转和上下翻转的增广操作，从而得到数量充足的训练数据集，训练数据集中的加噪图像数据集为网络的输入图像。
步骤2、搭建网络框架，使用稠密残差块和多尺度特征融合块结合并行卷积神经网络的方式构建网络主体，对网络的最终输出结果与网络输入端使用残差学习策略，搭建网络框架完成；
步骤2具体包括以下步骤：
步骤2.1、使用两个深度不同的网络分支作为网络主体，每个网络分支使用不同数量的稠密残差块，稠密残差块的数量代表网络的深度；对于每个网络分支来说，使用跳远连接将浅层图像信息和深层图像信息组合起来，以获得不同尺度的图像信息，然后将两个网络分支的输出进一步组合起来；稠密残差块由卷积层构成，卷积层由64个大小为3*3的卷积核组成，其中卷积核的数量由硬件内存大小决定；卷积层中激活函数采用线性整流函数(ReLU)，并且每个卷积层加入批量归一化操作(BN)；至此，网络主体构建完成；
步骤2.2、将步骤2.1构建的网络主体中加入多尺度特征融合块，即在两个网络分支末尾处的图像特征图后加入多尺度特征融合块，多尺度特征融合块中具有不同尺度卷积核的卷积组，将卷积组做卷积操作后得到的结果进行组合，随后对两个网络分支进行合并操作得到输出的图像特征图；
步骤2.3、将步骤2.2中两个网络分支合并操作后的结果连接一个稠密残差块和多尺度特征融合块，稠密残差块和多尺度特征融合块中的卷积层由64个大小为3*3的卷积核组成，激活函数采用线性整流函数(ReLU)，并且加入批量归一化操作(BN)，得到网络的输出；
步骤2.4、网络采用残差学习策略，此时网络学习到的为残差(即原始图像数据集中加入的高斯白噪声)，将步骤2.3中得到的输出结果与网络的输入(即加噪图像数据集中的加噪图像)做相减操作，得到最终去噪图像，至此，网络框架搭建完成。
步骤3、设置步骤2中所搭建网络框架的超参数、损失函数，选择网络优化算法优化损失函数；
步骤3具体包括以下步骤：
步骤3.1、将网络训练集中的图像分批次输入到步骤2中所搭建的网络框架中，根据硬件内存条件设置合适的批次大小，一般设置为(32～512)，设置网络框架的超参数，设置初始学习速率为0.001，设定迭代一定次数后将学习速率减少1/10，迭代一次意味着将网络训练集中的图像学习一遍；
步骤3.2、步骤2所搭建的网络框架采用残差学习策略，设置网络训练的损失函数为：
其中，N为原始图像数据集中原始图像的数目，xi和yi分别表示原始图像数据集中的原始图像与对应的加噪图像数据集中加噪图像，θ为当前网络的参数数值，F(yi；θ)为加噪图像输入到网络后得到的残差图像；
步骤3.3、根据步骤3.2设定的网络损失函数，优化算法使用自适应时刻估计(Adam)算法，通过引入随时间变化的学习速率与衰减量来不断优化步骤3.2中的损失函数。
步骤4、训练构建的网络，根据步骤3设置的网络超参数、损失函数以及选择的网络优化算法对噪声图像数据集进行训练，得到与其对应的已训练网络模型；
步骤5、对步骤4中的已训练网络模型进行去噪测试实验，并用峰值信噪比和结构相似性指数度量去噪测试图像，说明网络性能；
步骤5具体包括以下步骤：
步骤5.1、选取测试图像，其不在网络训练集中，对测试图像加入标准差范围为σ＝[m,n]的高斯白噪声，其中m,n均为正整数；设置噪声步长s，其中s为正整数，得到
张不同标准差的加噪测试图像；
步骤5.2、将步骤5.1中得到的加噪测试图像对应地输入到步骤4得到的已训练网络模型中，进而获得网络的输出图像，即去噪测试图像；
步骤5.3、为了说明网络性能，用峰值信噪比(PSNR)和结构相似性指数(SSIM)度量步骤5.2中获得的去噪测试图像，其中PSNR指标的基准为：20dB以上，PSNR越大表示图像去噪效果更好；SSIM指标的取值范围为[0,1]，其值越大表示图像越接近原始图像。
实施例
本发明一种多尺度融合并行稠密残差卷积神经网络图像去噪方法使用的实验平台为Tensorflow，安装环境为拥有Nvidia 
MX250GPU和Inter Core i5-8265UCPU的计算机。如图1所示，具体步骤分别如下：
步骤1、构造训练数据集，并对数据进行预处理操作，得到数量充足的训练数据集；
步骤1.1、训练数据集包括加噪图像数据集和与其相对应的原始图像数据集，通过已有资源选取原始图像数据集，本实例采用BSD300数据集，其图像为256*256像素的彩色图像，从中随机选取50张图片作为是原始图像数据集中的原始图像。加噪图像数据集制作方法为：对原始图像数据集加入标准差范围为σ＝[10,60]的高斯白噪声。设置噪声步长10，可以得到6组不同标准差的加噪图像，最终可得到6组加噪图像数据集；将一组加噪图像数据集和一组与其相对应的原始图像数据集称为一组训练数据集，共得到6组训练数据集；
步骤1.2、对步骤1.1得到的6组训练数据集进行预处理操作，将训练数据集中的每张图像进行0.7，0.8，0.9，1倍的缩放，根据训练数据集中图像的大小，选择适合尺度的滑动窗口进行平移操作，即完成对图像的小块分割得到若干个小块图像，以提高网络训练性能；紧接着对每个小块图像进行90°旋转、180°旋转、270°旋转和上下翻转的增广操作，从而得到数量充足的训练数据集，训练数据集中的加噪图像数据集为网络的输入图像1；
步骤2、搭建网络框架，使用稠密残差块和多尺度特征融合块结合并行卷积神经网络的方式构建网络主体，对网络的最终输出结果与网络输入端使用残差学习策略，搭建网络框架完成；
本示例中搭建的网络模型如图2所示，输入图像1通过由两个网络分支构成的并行网络，上分支由三个稠密残差块4和一个多尺度特征融合块5组成，下分支由五个稠密残差块4和一个多尺度特征融合块5组成，两个分支都以一个卷积层3作为起始层和结尾层，两个网络分支的输出合并后经过一个多尺度特征融合块5和一个卷积层3，通过残差策略后得到最终的输出图像2。其中，稠密残差块4的具体结构模型见图3，3个卷积层3连接先前层的图像特征图6和输出的图像特征图7，且卷积层3之间引入跳远连接和稠密连接；多尺度特征融合块5的具体结构模型见图4，其包括4组不同尺度的卷积核，分别为大小为1*1的卷积核8，大小为3*3的卷积核9，大小为5*5的卷积核10和大小为7*7的卷积核11。
步骤2.1、使用两个深度不同的网络分支作为网络主体，每个网络分支使用不同数量的稠密残差块4，稠密残差块如图3所示，3个卷积层3连接先前层的图像特征图6和输出的图像特征图7，且卷积层3之间引入跳远连接和稠密连接。对于上分支使用3个稠密残差块4，对于下分支使用5个稠密残差块。对于网络中每个分支来说，使用跳远连接将浅层图像信息和深层图像信息组合起来，以获得不同尺度的图像信息，然后将两个分支的输出进一步组合起来，其中网络的卷积层3使用64个大小为3*3的卷积核组成，采用线性整流函数(ReLU)，并且每个卷积层加入批量归一化操作(BN)；
步骤2.2、将步骤2.1构建的网络主框架中加入多尺度特征融合块，多尺度特征融合块5如图4所示，其有四组不同尺度的卷积核组成(具体为大小为1*1的卷积核8，大小为3*3的卷积核9，大小为5*5的卷积核10及大小为7*7的卷积核11)。在两个网络分支的末尾处的图像特征图6后加入多尺度融合块，其包括不同尺度的卷积核组，将每组卷积操作后得到的结果进行合并操作得到输出的图像特征图7；
步骤2.3、将步骤2.2中两个网络分支合并操作后的结果连接一个稠密残差块和多尺度特征融合块，稠密残差块和多尺度特征融合块中的卷积层3由64个大小为3*3的卷积核组成，激活函数采用线性整流函数(ReLU)，并且加入批量归一化操作(BN)，得到网络的输出；
步骤2.4、网络采用残差学习策略，此时网络学习到的为残差(即原始图像数据集中加入的高斯白噪声)，将步骤2.3中得到的输出结果与网络的输入(即加噪图像数据集中的加噪图像)做相减操作，得到最终去噪图像，至此，网络框架搭建完成；
步骤3.设置步骤2中所构建网络的超参数、损失函数以及网络优化算法；
步骤3.1、将网络训练集中的图像分批次输入到网络中，根据硬件内存条件设置合适的批次大小为64，设置网络的超参数，设置初始学习速率为0.001，设定迭代一定次数后将学习速率减少1/10，设置迭代次数为120，迭代一次意味着将网络训练集中的图像学习一遍；
步骤3.2、步骤2所搭建的网络采用残差学习策略，设置网络训练的损失函数为：
其中，N为原始图像数据集中原始图像的数目，xi和yi分别表示原始图像数据集中的原始图像与对应的加噪图像数据集中加噪图像，θ为当前网络的各个参数数值，F(yi；θ)为加噪图像输入到网络后得到的残差图像；
步骤3.3、根据步骤3.2设定的网络损失函数，优化算法使用自适应时刻估计(Adam)算法，通过引入随时间变化的学习速率与衰减量来不断优化步骤3.2中的损失函数。
步骤4.训练构建的网络，使用步骤2所构建的网络框架训练噪声图像数据集，得到与其对应的已训练网络模型；
步骤5、对步骤4中的已训练网络模型进行去噪测试实验，并用峰值信噪比和结构相似性指数度量去噪测试图像，说明网络性能；
步骤5.1、选取测试图像，其不在网络训练集中，对测试图像加入标准差范围为σ＝[10,60]的高斯白噪声。设置噪声步长10，可以得到6张不同标准差的加噪测试图像；
步骤5.2、将步骤5.1中得到的加噪测试图像分别对应地输入到步骤4得到的已训练网络模型中，进而获得网络的输出图像2，即去噪测试图像；
步骤5.3、为了检测网络性能，用峰值信噪比(PSNR)和结构相似性指数(SSIM)度量去噪测试图像，其中PSNR指标的普遍基准为20dB以上，PSNR越大表示图像去噪效果更好，SSIM指标的取值范围为[0,1]，其值越大表示图像越接近原始图像。
实验结果：
本发明的具体实施过程被应用于BSD300数据集，该数据集中包括大小为256*256像素的彩色图像，随机挑选50张图像用于网络训练中，另挑选1张图像作为网络的测试图像。通过对不同方法的对比试验来证明本发明方法的有效性。表1为使用不同方法时在不同噪声强度下去噪图像的PSNR(dB)对比结果，表2为使用不同方法时在不同噪声强度下去噪图像的SSIM的对比结果，可以看出本发明提出方法的PSNR指标和SSIM指标高于其他方法，因此具有更好的去噪能力。为了对测试结果的可视化显示，图5(包括图5(a)、图5(b)、图5(c)、图5(d)、图5(e)、图5(f)、图5(g)、图5(h))和图6(包括图6(a)、图6(b)、图6(c)、图6(d)、图6(e)、图6(f)、图6(g)、图6(h))分别展示了在对噪声标准差σ＝30和噪声标准差σ＝50时不同方法的去噪图像，对局部进行放大，并将放大区域放置于图像左上角，可以看出，本发明可以更好的恢复图像的轮廓和纹理信息，降低对图像有效细节的损伤，有效的保护了图像的原始信息结构。
表1
表2
通过以上具体实例的实施，本发明相较于对比方法可以更好的恢复图像的有效信息，保留更多的图像轮廓和纹理信息，不同深度的分支可以学习到不同深度的图像信息，稠密残差块解决网络训练中过梯度消失和梯度弥散的问题，多尺度特征融合块可以学习到不同尺度的图像信息，结合各个优势，本发明提出的去噪方法具有更好的去噪性能，并且可以应用于实际中。
Claims (5)
1.多尺度融合并行稠密残差卷积神经网络图像去噪方法，其特征在于，具体按照以下步骤实施：
步骤1、构造训练数据集，并对数据进行预处理操作，得到数量充足的训练数据集；
步骤2、搭建网络框架，使用稠密残差块和多尺度特征融合块结合并行卷积神经网络的方式构建网络主体，对网络的最终输出结果与网络输入端使用残差学习策略，搭建网络框架完成；
步骤3、设置步骤2中所搭建网络框架的超参数、损失函数，选择网络优化算法优化损失函数；
步骤4、训练构建的网络，根据步骤3设置的网络超参数、损失函数以及选择的网络优化算法对噪声图像数据集进行训练，得到与其对应的已训练网络模型；
步骤5、对步骤4中的已训练网络模型进行去噪测试实验，并用峰值信噪比和结构相似性指数度量去噪测试图像，说明网络性能。
2.根据权利要求1所述的多尺度融合并行稠密残差卷积神经网络图像去噪方法，其特征在于，所述步骤1具体包括以下步骤：
步骤1.1、训练数据集包括加噪图像数据集和与其相对应的原始图像数据集，通过已有资源选取原始图像数据集，加噪图像数据集制作方法为：对原始图像数据集加入标准差范围为σ＝[m,n]的高斯白噪声，其中m,n均为正整数；设置噪声步长s，其中s为正整数，可以得到
组不同标准差的加噪图像，最终可得到
组加噪图像数据集；将一组加噪图像数据集和一组与其相对应的原始图像数据集称为一组训练数据集，共得到
组训练数据集；
步骤1.2、对步骤1.1得到的
组训练数据集进行预处理操作，将训练数据集中的每张图像进行0.7，0.8，0.9，1倍的缩放，根据训练数据集中图像的大小，选择适合尺度的滑动窗口进行平移操作，即完成对图像的小块分割得到若干个小块图像，以提高网络训练性能；紧接着对每个小块图像进行90°旋转、180°旋转、270°旋转和上下翻转的增广操作，从而得到数量充足的训练数据集，训练数据集中的加噪图像数据集为网络的输入图像。
3.根据权利要求1所述的多尺度融合并行稠密残差卷积神经网络图像去噪方法，其特征在于，所述步骤2具体包括以下步骤：
步骤2.1、使用两个深度不同的网络分支作为网络主体，每个网络分支使用不同数量的稠密残差块，稠密残差块的数量代表网络的深度；对于每个网络分支来说，使用跳远连接将浅层图像信息和深层图像信息组合起来，以获得不同尺度的图像信息，然后将两个网络分支的输出进一步组合起来；稠密残差块由卷积层构成，卷积层由64个大小为3*3的卷积核组成，其中卷积核的数量由硬件内存大小决定；卷积层中激活函数采用线性整流函数，并且每个卷积层加入批量归一化操作；至此，网络主体构建完成；
步骤2.2、将步骤2.1构建的网络主体中加入多尺度特征融合块，即在两个网络分支的末尾处的图像特征图后加入多尺度特征融合块，多尺度特征融合块中具有不同尺度卷积核的卷积组，将卷积组做卷积操作后得到的结果进行组合，随后对两个网络分支进行合并操作得到输出的图像特征图；
步骤2.3、将步骤2.2中两个网络分支合并操作后的结果连接一个稠密残差块和多尺度特征融合块，稠密残差块和多尺度特征融合块中的卷积层由64个大小为3*3的卷积核组成，激活函数采用线性整流函数，并且加入批量归一化操作，得到网络的输出；
步骤2.4、网络采用残差学习策略，此时网络学习到的为残差，将步骤2.3中得到的输出结果与网络的输入做相减操作，得到最终去噪图像，至此，网络框架搭建完成。
4.根据权利要求1所述的多尺度融合并行稠密残差卷积神经网络图像去噪方法，其特征在于，所述步骤3具体包括以下步骤：
步骤3.1、将网络训练集中的图像分批次输入到步骤2中所搭建的网络框架中，根据硬件内存条件设置合适的批次大小，设置网络框架的超参数，设置初始学习速率为0.001，设定迭代一定次数后将学习速率减少1/10，迭代一次意味着将网络训练集中的图像学习一遍；
步骤3.2、步骤2所搭建的网络框架采用残差学习策略，设置网络训练的损失函数为：
其中，N为原始图像数据集中原始图像的数目，xi和yi分别表示原始图像数据集中的原始图像与对应的加噪图像数据集中加噪图像，θ为当前网络的参数数值，F(yi；θ)为加噪图像输入到网络后得到的残差图像；
步骤3.3、根据步骤3.2设定的网络损失函数，优化算法使用自适应时刻估计算法，通过引入随时间变化的学习速率与衰减量来不断优化步骤3.2中的损失函数。
5.根据权利要求2所述的多尺度融合并行稠密残差卷积神经网络图像去噪方法，其特征在于，所述步骤5具体包括以下步骤：
步骤5.1、选取测试图像，其不在网络训练集中，对测试图像加入标准差范围为σ＝[m,n]的高斯白噪声，其中m,n均为正整数；设置噪声步长s，其中s为正整数，得到
张不同标准差的加噪测试图像；
步骤5.2、将步骤5.1中得到的加噪测试图像对应地输入到步骤4得到的已训练网络模型中，进而获得网络的输出图像，即去噪测试图像；
步骤5.3、为了说明网络性能，用峰值信噪比和结构相似性指数度量步骤5.2中获得的去噪测试图像，其中PSNR指标的基准为：20dB以上，PSNR越大表示图像去噪效果更好；SSIM指标的取值范围为[0,1]，其值越大表示图像越接近原始图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010021463.1A CN111242862B (zh) | 2020-01-09 | 2020-01-09 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010021463.1A CN111242862B (zh) | 2020-01-09 | 2020-01-09 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111242862A true CN111242862A (zh) | 2020-06-05 |
| CN111242862B CN111242862B (zh) | 2022-02-22 |
Family
ID=70878129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010021463.1A Active CN111242862B (zh) | 2020-01-09 | 2020-01-09 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111242862B (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111739034A (zh) * | 2020-06-28 | 2020-10-02 | 北京小白世纪网络科技有限公司 | 基于改进的3D Unet的冠状动脉区域分割系统及方法 |
| CN111832621A (zh) * | 2020-06-11 | 2020-10-27 | 国家计算机网络与信息安全管理中心 | 基于稠密多路卷积网络的图片分类方法与系统 |
| CN111932474A (zh) * | 2020-07-30 | 2020-11-13 | 深圳市格灵人工智能与机器人研究院有限公司 | 基于深度学习的图像去噪方法 |
| CN112132768A (zh) * | 2020-09-30 | 2020-12-25 | 西京学院 | 一种基于多降噪器联合优化降噪的mri图像降噪方法 |
| CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
| CN112435191A (zh) * | 2020-11-25 | 2021-03-02 | 西安交通大学 | 一种基于多个神经网络结构融合的低照度图像增强方法 |
| CN112927159A (zh) * | 2021-03-11 | 2021-06-08 | 清华大学深圳国际研究生院 | 基于多尺度选择反馈网络的真实图像去噪方法 |
| CN113191983A (zh) * | 2021-05-18 | 2021-07-30 | 陕西师范大学 | 一种基于深度学习注意力机制的图像去噪方法及装置 |
| CN113299298A (zh) * | 2021-05-06 | 2021-08-24 | 成都数联云算科技有限公司 | 残差单元及网络及目标识别方法及系统及装置及介质 |
| CN113610719A (zh) * | 2021-07-19 | 2021-11-05 | 河南大学 | 一种注意力和密集连接残差块卷积核神经网络图像去噪方法 |
| CN113762479A (zh) * | 2021-09-10 | 2021-12-07 | 深圳朴生智能科技有限公司 | 一种神经网络优化方法和装置 |
| CN113947547A (zh) * | 2021-10-19 | 2022-01-18 | 东北大学 | 基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法 |
| CN113962901A (zh) * | 2021-11-16 | 2022-01-21 | 中国矿业大学(北京) | 一种基于深度学习网络的矿山图像粉尘去除方法及系统 |
| CN114240797A (zh) * | 2021-12-22 | 2022-03-25 | 海南大学 | 一种oct图像去噪方法、装置、设备及介质 |
| CN114898110A (zh) * | 2022-04-25 | 2022-08-12 | 四川大学 | 一种基于全分辨率表示网络的医学图像分割方法 |
| CN114998160A (zh) * | 2022-08-04 | 2022-09-02 | 江苏游隼微电子有限公司 | 一种并行多尺度特征融合的卷积神经网络去噪方法 |
| US11540798B2 (en) | 2019-08-30 | 2023-01-03 | The Research Foundation For The State University Of New York | Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising |
| CN116012307A (zh) * | 2022-12-14 | 2023-04-25 | 广州科盛隆纸箱包装机械有限公司 | 基于孪生网络的瓦楞纸箱印刷图案色差检测方法、系统及存储介质 |
| CN116051408A (zh) * | 2023-01-06 | 2023-05-02 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
| CN116524327A (zh) * | 2023-06-25 | 2023-08-01 | 云账户技术(天津)有限公司 | 人脸识别模型的训练方法、装置、电子设备及存储介质 |
| CN116563146A (zh) * | 2023-04-26 | 2023-08-08 | 中科南京人工智能创新研究院 | 基于可学习曲率图的图像增强方法与系统 |
| CN116862790A (zh) * | 2023-06-30 | 2023-10-10 | 中北大学 | 基于神经网络的低剂量ct图像降噪方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109003240A (zh) * | 2018-07-16 | 2018-12-14 | 安徽理工大学 | 一种基于多尺度并行cnn的图像去噪方法 |
| US20190096038A1 (en) * | 2017-09-26 | 2019-03-28 | Samsung Electronics Co., Ltd. | Image denoising neural network architecture and method of training the same |
| CN109978778A (zh) * | 2019-03-06 | 2019-07-05 | 浙江工业大学 | 基于残差学习的卷积神经网络医学ct图像去噪方法 |
-
2020
- 2020-01-09 CN CN202010021463.1A patent/CN111242862B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190096038A1 (en) * | 2017-09-26 | 2019-03-28 | Samsung Electronics Co., Ltd. | Image denoising neural network architecture and method of training the same |
| CN109003240A (zh) * | 2018-07-16 | 2018-12-14 | 安徽理工大学 | 一种基于多尺度并行cnn的图像去噪方法 |
| CN109978778A (zh) * | 2019-03-06 | 2019-07-05 | 浙江工业大学 | 基于残差学习的卷积神经网络医学ct图像去噪方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHANG LIU ET AL.: "A Multiscale Image Denoising Algorithm Based On Dilated Residual Convolution Network", 《ARXIV》 * |
| SHENGYU LI ET AL.: "Image Denoising via Multi-Scale Gated Fusion Network", 《IEEE》 * |
| 范瑞 等: "多尺度并行融合的轻量级卷积神经网络设计", 《广西师范大学学报(自然科学版)》 * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11540798B2 (en) | 2019-08-30 | 2023-01-03 | The Research Foundation For The State University Of New York | Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising |
| CN111832621A (zh) * | 2020-06-11 | 2020-10-27 | 国家计算机网络与信息安全管理中心 | 基于稠密多路卷积网络的图片分类方法与系统 |
| CN111739034A (zh) * | 2020-06-28 | 2020-10-02 | 北京小白世纪网络科技有限公司 | 基于改进的3D Unet的冠状动脉区域分割系统及方法 |
| CN111932474A (zh) * | 2020-07-30 | 2020-11-13 | 深圳市格灵人工智能与机器人研究院有限公司 | 基于深度学习的图像去噪方法 |
| CN112132768A (zh) * | 2020-09-30 | 2020-12-25 | 西京学院 | 一种基于多降噪器联合优化降噪的mri图像降噪方法 |
| CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
| CN112435191A (zh) * | 2020-11-25 | 2021-03-02 | 西安交通大学 | 一种基于多个神经网络结构融合的低照度图像增强方法 |
| CN112435191B (zh) * | 2020-11-25 | 2024-04-16 | 西安交通大学 | 一种基于多个神经网络结构融合的低照度图像增强方法 |
| CN112927159B (zh) * | 2021-03-11 | 2022-08-02 | 清华大学深圳国际研究生院 | 基于多尺度选择反馈网络的真实图像去噪方法 |
| CN112927159A (zh) * | 2021-03-11 | 2021-06-08 | 清华大学深圳国际研究生院 | 基于多尺度选择反馈网络的真实图像去噪方法 |
| CN113299298A (zh) * | 2021-05-06 | 2021-08-24 | 成都数联云算科技有限公司 | 残差单元及网络及目标识别方法及系统及装置及介质 |
| CN113299298B (zh) * | 2021-05-06 | 2022-09-13 | 成都数联云算科技有限公司 | 残差单元及网络及目标识别方法及系统及装置及介质 |
| CN113191983A (zh) * | 2021-05-18 | 2021-07-30 | 陕西师范大学 | 一种基于深度学习注意力机制的图像去噪方法及装置 |
| CN113610719A (zh) * | 2021-07-19 | 2021-11-05 | 河南大学 | 一种注意力和密集连接残差块卷积核神经网络图像去噪方法 |
| CN113762479A (zh) * | 2021-09-10 | 2021-12-07 | 深圳朴生智能科技有限公司 | 一种神经网络优化方法和装置 |
| CN113947547B (zh) * | 2021-10-19 | 2024-04-09 | 东北大学 | 基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法 |
| CN113947547A (zh) * | 2021-10-19 | 2022-01-18 | 东北大学 | 基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法 |
| CN113962901A (zh) * | 2021-11-16 | 2022-01-21 | 中国矿业大学(北京) | 一种基于深度学习网络的矿山图像粉尘去除方法及系统 |
| CN114240797A (zh) * | 2021-12-22 | 2022-03-25 | 海南大学 | 一种oct图像去噪方法、装置、设备及介质 |
| CN114898110A (zh) * | 2022-04-25 | 2022-08-12 | 四川大学 | 一种基于全分辨率表示网络的医学图像分割方法 |
| CN114998160A (zh) * | 2022-08-04 | 2022-09-02 | 江苏游隼微电子有限公司 | 一种并行多尺度特征融合的卷积神经网络去噪方法 |
| CN114998160B (zh) * | 2022-08-04 | 2022-11-01 | 江苏游隼微电子有限公司 | 一种并行多尺度特征融合的卷积神经网络去噪方法 |
| CN116012307A (zh) * | 2022-12-14 | 2023-04-25 | 广州科盛隆纸箱包装机械有限公司 | 基于孪生网络的瓦楞纸箱印刷图案色差检测方法、系统及存储介质 |
| CN116051408A (zh) * | 2023-01-06 | 2023-05-02 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
| CN116051408B (zh) * | 2023-01-06 | 2023-10-27 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
| CN116563146A (zh) * | 2023-04-26 | 2023-08-08 | 中科南京人工智能创新研究院 | 基于可学习曲率图的图像增强方法与系统 |
| CN116524327B (zh) * | 2023-06-25 | 2023-08-25 | 云账户技术(天津)有限公司 | 人脸识别模型的训练方法、装置、电子设备及存储介质 |
| CN116524327A (zh) * | 2023-06-25 | 2023-08-01 | 云账户技术(天津)有限公司 | 人脸识别模型的训练方法、装置、电子设备及存储介质 |
| CN116862790A (zh) * | 2023-06-30 | 2023-10-10 | 中北大学 | 基于神经网络的低剂量ct图像降噪方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111242862B (zh) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111242862B (zh) | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 | |
| CN110599409B (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
| Tian et al. | Deep learning on image denoising: An overview | |
| CN107633486B (zh) | 基于三维全卷积神经网络的结构磁共振图像去噪方法 | |
| CN108765319B (zh) | 一种基于生成对抗网络的图像去噪方法 | |
| CN110045419B (zh) | 一种感知器残差自编码网络地震资料去噪方法 | |
| CN109685743B (zh) | 基于噪声学习神经网络模型的图像混合噪声消除方法 | |
| CN112233026A (zh) | 一种基于多尺度残差注意力网络的sar图像去噪方法 | |
| CN111145123B (zh) | 基于U-Net融合保留细节的图像去噪方法 | |
| CN110992275A (zh) | 一种基于生成对抗网络的细化单幅图像去雨方法 | |
| CN112819732B (zh) | 一种探地雷达B-scan图像去噪方法 | |
| CN110288550B (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
| CN110490816B (zh) | 一种水下异构信息数据降噪方法 | |
| CN111145102A (zh) | 一种基于卷积神经网络的合成孔径雷达图像去噪方法 | |
| CN113066025A (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
| CN115063434B (zh) | 一种基于特征去噪的低弱光图像实例分割方法及系统 | |
| CN116823627A (zh) | 一种基于图像复杂度评价的超大尺寸图像快速去噪方法 | |
| CN116563144A (zh) | 一种基于动态注意力的密集型lstm残差网络去噪方法 | |
| Zou et al. | EDCNN: a novel network for image denoising | |
| CN116416212A (zh) | 路面破损检测神经网络训练方法及路面破损检测神经网络 | |
| CN115187855A (zh) | 一种海底底质声呐图像分类方法 | |
| CN113129237B (zh) | 基于多尺度融合编码网络的深度图像去模糊方法 | |
| CN115456908A (zh) | 一种鲁棒的自监督图像去噪方法 | |
| CN115223033A (zh) | 一种合成孔径声呐图像目标分类方法及系统 | |
| CN115689958A (zh) | 一种基于深度学习的合成雷达图像去噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |