CN110599409A - 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 - Google Patents

基于多尺度卷积组与并行的卷积神经网络图像去噪方法 Download PDF

Info

Publication number
CN110599409A
CN110599409A CN201910705382.0A CN201910705382A CN110599409A CN 110599409 A CN110599409 A CN 110599409A CN 201910705382 A CN201910705382 A CN 201910705382A CN 110599409 A CN110599409 A CN 110599409A
Authority
CN
China
Prior art keywords
noise
network
image
images
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910705382.0A
Other languages
English (en)
Other versions
CN110599409B (zh
Inventor
罗静蕊
王婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910705382.0A priority Critical patent/CN110599409B/zh
Publication of CN110599409A publication Critical patent/CN110599409A/zh
Application granted granted Critical
Publication of CN110599409B publication Critical patent/CN110599409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于多尺度卷积组与并行的卷积神经网络图像去噪方法，具体为：步骤1、准备训练集，选择合适的数据集作为训练集中的原始图像，并对其进行预处理操作，采用高斯白噪声模拟真实噪声并加入到原始图像中，作为与之对应的噪声图像；步骤2、构建网络模型，结合多尺度卷积组与并行的卷积网络方式搭建网络模型；步骤3、根据步骤2中所构建的网络模型设置网络的超参数、损失函数和优化算法；步骤4、进行网络训练，使用步骤2中的构建网络模型来分别训练单噪声训练集和多噪声训练集，来得到多个与训练集相对应的网络模型；步骤5、测试网络性能。该方法在消除噪声的同时可以保留更多的图像轮廓和纹理细节。

Description

基于多尺度卷积组与并行的卷积神经网络图像去噪方法
技术领域
本发明属于图像处理方法技术领域，具体涉及一种基于多尺度卷积组与并行的卷积神经网络图像去噪方法。
背景技术
随着数字信息时代的到来，尤其是计算机技术的不断发展和图像数字化设备普及的提高，人们收到的多媒体信息很大一部分为图像的视觉信息。但是在图像数字化传输的过程中，不可避免的会收到噪声的污染，这样会使得图像质量的恶化，污染后的图像不仅对人们视觉上的识别造成影响，也会给计算机识别带来很大的负面影响，影响图片的可读性。图像去噪的目的就是减少或者消除噪声对图像的影响，从而获得高质量的图像。
传统的图像去噪主要分为两大类：一类是空间滤波去噪，另一类是频率域滤波去噪。这两类方法的主要思想是利用图像相邻像素的相关性，它们在处理简单噪声情况下是有效的，但是它们存在严重的缺陷：采用邻域均值的方式必定会平滑图像的边缘、细节等重要的特征。随后有人提出利用模型优化方法，从贝叶斯观点出发，很多模型被建立用来获取图像的先验知识，比如，非局部自相似模型(NSS)，稀疏模型和梯度下降模型，其中表现优越性能的有：基于块匹配的3D滤波(BM3D)去噪方法，K奇异值分解方法以及贝叶斯最小二乘去噪方法等。尽管上述方法可以处理图像去噪问题，并能取得较好的的效果，但是它们普遍存在以下两个缺点，一是这些方法的优化比较复杂，在进行测试时十分消耗时间，很难在低耗时的情况下高效恢复出原图像；二是这些方法都需要人为的调节参数，具有很大的不确定性和人为性，导致获得很好的去噪结果比较难。
随着深度学习的发展，其在语音、图像、自然语言等领域取得了显著的发展，比如多层感知机网络、栈式稀疏去噪自编码网络、深度置信神经网络网络等都被应用于图像去噪中。随后出现的卷积神经网络是一种权值共享的网络结构，与深度学习的其他网络相比，具有较少的可调参数，降低了学习的复杂度；卷积网络在处理二维图像时，对平移、倾斜、缩放以及其他形式的形变具有高度不变性。结合卷积网络的优点，提出了一种关于卷积神经网络的去噪方法。
发明内容
本发明的目的是提供一种基于多尺度卷积组与并行的卷积神经网络图像去噪方法，该方法首先对搭建好的网络进行训练，之后训练好的网络可以较好的完成图像去噪的工作，在消除噪声的同时能够保留更多的图像轮廓和纹理细节。
本发明所采用的技术方案是，基于多尺度卷积组与并行的卷积神经网络图像去噪方法，具体按照以下步骤实施：
步骤1、准备训练集，选择合适的数据集作为训练集中的原始图像，并对其进行预处理操作，采用高斯白噪声模拟真实噪声并加入到原始图像中，作为与之对应的噪声图像；
步骤2、构建网络模型，结合多尺度卷积组与并行的卷积网络方式搭建网络模型；
步骤3、根据步骤2中所构建的网络模型设置网络的超参数、损失函数和优化算法；
步骤4、进行网络训练，使用步骤2中的构建网络模型来分别训练单噪声训练集和多噪声训练集，来得到多个与训练集相对应的网络模型；
步骤5、测试网络性能。
本发明的特点还在于，
步骤1具体包括以下步骤：
步骤1.1、训练集包括噪声图像和相对应的原始图像，准备训练集的方法为：对制作单噪声训练集而言，对原始图像加入固定标准差的高斯白噪声，其中，噪声标准差的范围为σ＝[m,n]，其中m,n均为正整数，步长为s，s为正整数，可以得到组标准差不同的噪声图像，每种噪声图像对应相应的原始图像，形成组单噪声训练集；对制作多噪声训练集而言，将上述的组标准差不同的噪声图像合并成一组，然后与对应的原始图像合称为多噪声训练集；
步骤1.2、扩大训练集中的数据，分别对步骤1.1得到的所有单噪声训练集和多噪声训练集进行预处理操作，为了增加训练集的图像数量，将每组训练集进行一定程度的放缩，然后通过合适尺度的滑动窗口进行平移操作，将图片分割为小块图像，这样做是为了提高网络的训练速度，减少输入的参数数量，之后对小块图像进行90°旋转、180°旋转、270°旋转和上下翻转操作，进一步扩大训练集中的图像数量。
步骤2具体包括以下步骤：
步骤2.1、网络首先由两层不同深度的并行网络组成，两个分支采用特征融合加权的方式将浅层的轮廓特征图与深层的细节特征图融合，然后进行卷积操作，实现不同特征的加权，最后将两层分支合并起来，其中，上述的每个卷积层的激活函数都采用线性整流函数(ReLU)，并且给每个卷积层加入归一化操作(BN)；
步骤2.2、将步骤2.1的并行网络的输出连接一个多尺度卷积组模块，多尺度卷积组模块包括不同大小的卷积核组，对每组卷积操作的结果进行合并操作，最后将合并的结果通过4个串联的卷积层，其中，上述的每个卷积层的激活函数都采用ReLU函数，并且给每个卷积层加入BN操作，网络采用残差学习策略，因此，此时网络的输出为学习到的残差(即加入的高斯白噪声)图像；
步骤2.3、本网络采用残差学习策略，因此将网络输入的噪声图像与步骤2.2中输出的残差图像作相减的操作，得到最终的去噪图像，至此，网络模型构建完成。
步骤3具体包括以下步骤：
步骤3.1、设置网络的超参数，设置网络初始学习率为0.01～0.0001，并设定在合适的epoch后，学习率降为原来的1/10，其中一个epoch为将训练集中的图像都被网络学习一遍，把训练集中的图像分为若干个批，按批来输入到网络，一个批的大小为batch_size，其大小根据计算机运行内存而设定；
步骤3.2、步骤2所述的网络采用残差学习策略，因此网络的损失函数设定为：
其中，N为训练集中原始图像的数目，xi和yi分别表示训练集中的原始图像与对应的噪声图像，θ为当前网络的各个参数值，F(yi；θ)为噪声图像输入到网络后得到的残差图像；
步骤3.3、根据步骤3.2设定的网络损失函数，优化算法使用自适应时刻估计(Adam)算法，通过引入可变的学习速率与衰减量来不断优化步骤3.2中的损失函数，加快收敛速度，并且在一定程度上减少过拟合和欠拟合的情况。
步骤5的具体实施方式为：选取不在训练集中的图像作为原始测试图像，对原始测试图像加入固定标准差的高斯白噪声，其中，噪声标准差的范围为σ＝[m,n]，其中m,n均为正整数，步长为s，s为正整数，可以得到张标准差不同的测试噪声图像，将测试噪声图像分别输入到对应噪声标准差的网络模型得到去噪图像，为了检测网络的性能，使用峰值信噪比、均方误差和结构相似性指数这三个参数测量去噪图像结果从而检测网络的性能，其中，PSNR的普遍基准是30dB，其值越大表示图像趋于无劣化；MSE反映了去噪图像与原始图像之间差异程度的一种度量，其值越小表示去噪结果越接近原始图像；SSIM值的范围是[0,1]，网络的去噪结果越好，其值越接近1。
本发明的有益效果是，该方法通过对搭建好网络的训练，可以直接完成图像去噪的工作，并且不需要手动调节网络参数，很好的恢复图像的轮廓信息与细节的纹理信息，该方法具有很大的实际意义。
附图说明
图1是本发明基于多尺度卷积组与并行的卷积神经网络图像去噪方法的流程图；
图2是本发明的卷积神经网络图像去噪方法中构建的网络模型；
图3是多尺度卷积组模块；
图4是对噪声标准差σ＝50的单噪声训练集训练时，本发明提出的方法与DnCNN在训练过程中PSNR变化曲线图；
图5是对噪声标准差σ＝30的单噪声训练集测试时，本发明提出的方法与DnCNN的去噪图像对比图；
图5中，(a)表示原始测试图像，(b)表示噪声标准差σ＝30的噪声测试图像，(c)表示DnCNN的去噪图像结果，(d)表示本发明提出方法的去噪图像结果；
图6是对噪声标准差σ＝50的单噪声训练集测试时，本发明提出的方法与DnCNN的去噪图像对比图；
图6中，(a)表示原始测试图像，(b)表示噪声标准差σ＝50的噪声测试图像，(c)表示DnCNN的去噪图像结果，(d)表示本发明提出方法的去噪图像结果；
图7是对噪声标准差σ＝80的单噪声训练集测试时，本发明提出的方法与DnCNN的去噪图像对比图；
图7中，(a)表示原始测试图像，(b)表示噪声标准差σ＝80的噪声测试图像，(c)表示DnCNN的去噪图像结果，(d)表示本发明提出方法的去噪图像结果；
图8是对多噪声训练集测试时，当测试图像的噪声标准差为80时本发明提出的方法与DnCNN的去噪图像对比图；
图8中，(a)表示原始测试图像，(b)表示噪声标准差σ＝80的噪声测试图像，(c)表示DnCNN的去噪图像结果，(d)表示本发明提出方法的去噪图像结果。
图中，1.输入图像，2.多尺度卷积组模块，3.网络学习到的残差，4.去噪图像，5.表示卷积层，6.先前层的输出，7.网络的输出，8.大小为1*1的卷积核，9.大小为3*3的卷积核，10.大小为5*5的卷积核，11.大小为7*7的卷积核。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于多尺度卷积组与并行的卷积神经网络图像去噪方法，如图1所示，具体按照以下步骤实施：
步骤1、准备训练集，选择合适的数据集作为训练集中的原始图像，并对其进行预处理操作，采用高斯白噪声模拟真实噪声并加入到原始图像中，作为与之对应的噪声图像；
步骤1具体包括以下步骤：
步骤1.1、训练集包括噪声图像和相对应的原始图像，准备训练集的方法为：对制作单噪声训练集而言，对原始图像加入固定标准差的高斯白噪声，其中，噪声标准差的范围为σ＝[m,n]，其中m,n均为正整数，步长为s，s为正整数，可以得到组标准差不同的噪声图像，每种噪声图像对应相应的原始图像，形成组单噪声训练集；对制作多噪声训练集而言，将上述的组标准差不同的噪声图像合并成一组，然后与对应的原始图像合称为多噪声训练集；
步骤1.2、扩大训练集中的数据，分别对步骤1.1得到的所有单噪声训练集与多噪声训练集进行预处理操作，为了增加训练集的图像数量，将每组训练集进行一定程度的放缩，然后通过合适尺度的滑动窗口进行平移操作，将图片分割为小块图像，这样做是为了提高网络的训练速度，减少输入的参数数量，之后对小块图像进行90°旋转、180°旋转、270°旋转和上下翻转操作，进一步扩大训练集中的图像数量。
步骤2、构建网络模型，结合多尺度卷积组与并行的卷积网络方式搭建网络模型；
步骤2具体包括以下步骤：
步骤2.1、网络首先由两层不同深度的并行网络组成，两个分支采用特征融合加权的方式将浅层的轮廓特征图与深层的细节特征图融合，然后进行卷积操作，实现不同特征的加权，最后将两层分支合并起来，其中，上述的每个卷积层的激活函数都采用线性整流函数(ReLU)，并且给每个卷积层加入归一化操作(BN)；
步骤2.2、将步骤2.1的并行网络的输出连接一个多尺度卷积组模块，多尺度卷积组模块包括不同大小的卷积核组，对每组卷积操作的结果进行合并操作，最后将合并的结果通过4个串联的卷积层，其中，上述的每个卷积层的激活函数都采用ReLU函数，并且给每个卷积层加入BN操作，网络采用残差学习策略，因此，此时网络的输出为学习到的残差(即加入的高斯白噪声)图像；
步骤2.3、本网络采用残差学习策略，因此将网络输入的噪声图像与步骤2.2中输出的残差图像作相减的操作，得到最终的去噪图像，至此，网络模型构建完成。
步骤3、根据步骤2中所构建的网络模型设置网络的超参数、损失函数和优化算法；
步骤3具体包括以下步骤：
步骤3.1、设置网络的超参数，为了使网络达到更好的训练效果，一般设置网络初始学习率为0.01～0.0001，并设定在合适的epoch后，学习率降为原来的1/10，其中一个epoch为将训练集中的图像都被网络学习一遍，把训练集中的图像分为若干个批，按批来输入到网络，一个批的大小为batch_size，其大小根据计算机运行内存而设定；
步骤3.2、步骤2所述的网络采用残差学习策略，因此网络的损失函数设定为：
其中，N为训练集中原始图像的数目，xi和yi分别表示训练集中的原始图像与对应的噪声图像，θ为当前网络的各个参数值，F(yi；θ)为噪声图像输入到网络后得到的残差图像；
步骤3.3、根据步骤3.2设定的网络损失函数，优化算法使用自适应时刻估计(Adam)算法，通过引入可变的学习速率与衰减量来不断优化步骤3.2中的损失函数，加快收敛速度，并且在一定程度上减少过拟合和欠拟合的情况。
步骤4、
进行网络训练，将步骤1中的噪声图像作为输入，经过步骤2的网络后得到去噪图像。
训练步骤1中的多种单噪声训练集和多噪声训练集，分别以同一个模型训练不同种类的训练集，来得到多个与训练集相对应的网络模型。
步骤5、测试网络性能，在步骤5中，选取不在训练集中的图像作为原始测试图像，对原始测试图像加入固定标准差的高斯白噪声，其中，噪声标准差的范围为σ＝[m,n]，其中m,n均为正整数，步长为s，s为正整数，可以得到张标准差不同的测试噪声图像，将测试噪声图像分别输入到对应噪声标准差的网络模型，(即步骤4中训练好的网络)，得到去噪图像，为了检测网络的性能，使用峰值信噪比(PSNR)，均方误差(MSE)和结构相似性指数(SSIM)这三个参数测量去噪图像结果从而检测网络的性能。其中，PSNR的普遍基准是30dB，其值越大表示图像趋于无劣化；MSE反映了去噪图像与原始图像之间差异程度的一种度量，其值越小表示去噪结果越接近原始图像；SSIM值的范围是[0,1]，网络的去噪结果越好，其值越接近1。
实施例
基于多尺度卷积组与并行的卷积神经网络图像去噪方法，本发明使用的实验平台为Tensorflow。如图1所示，具体步骤分别如下：
步骤1、准备训练集，对选定的数据集进行预处理操作，采用高斯白噪声模拟真实噪声，训练集包括噪声图像和相应的原始图像。
步骤1.1、采用BSD500数据集，其图像大小为180*180，从中随机选取60张图片作为是训练集中的原始图像。对上述的原始图像加入不同噪声标准差的高斯白噪声，形成多种噪声图像，其中噪声标准差的范围为σ＝[10，100]，步长为10，可以得到10组标准差不同的噪声图像。每种噪声图像对应相应的原始图像，形成多组单噪声训练集，上述单噪声训练集的噪声图像加入的为固定标准差的高斯白噪声。将不同标准差的噪声图像与对应的原始图像合并在一起形成多噪声训练集。
步骤1.2扩大训练集中的数据，对步骤1.1的多组训练集进行预处理操作，将每组训练集进行1、0.9、0.8、0.7倍的放缩，然后进行平移操作，滑动窗口大小为40*40，滑动步长为20，将图片分割为小块图像。之后对小块图像进行90°旋转、180°旋转、270°旋转以及上下翻转操作，从而扩大训练集中的数据。
步骤2、构建网络模型，结合多尺度卷积组与并行的卷积网络方式搭建网络模型。其网络模型如图2所示，其中1表示输入图像，2表示多尺度卷积组模块，3表示网络学习到的残差图像，4表示去噪图像，其中，多尺度卷积组模块的具体结构见图3。
步骤2.1、网络首先由两层不同深度的并行网络组成，较浅的分支含有3层卷积层，较深的分支含有5层卷积层，每层卷积层的包括32个卷积核，卷积核大小为3*3，两个分支采用特征融合加权的方式将浅层的轮廓特征图与深层的细节特征图融合，然后进行卷积操作，实现不同特征的加权，最后将两层分支合并起来。其中，上述所有的卷积层的激活函数都采用线性整流函数(ReLU)，并且给每个卷积层加入归一化(BN)操作。
步骤2.2将步骤2.1的网络输出连接一个多尺度卷积组模块，如图3所示多尺度卷积组模块由4组大小不同的卷积核组成，将步骤2.1的网络输出分别通过大小为1*1、3*3、5*5、7*7的卷积核组，并进行卷积操作，每组卷积操作的特征图数量为16个，进行特征图融合后得到64个特征图。最后将合并后的64个特征图通过4个卷积层，每个卷积层有32个大小为3*3的卷积核。其中，上述所有的卷积层的激活函数都采用ReLU函数，并且给每个卷积层加入BN操作，网络采用残差学习策略，因此，此时网络的输出为学习到的残差(即加入的高斯白噪声)图像
步骤2.3本网络采用残差学习策略，因此将网络输入的噪声图像与步骤2.2中输出的残差图像作相减的操作，得到最终的去噪图像，至此，网络构建完成。
步骤3.根据步骤2中的网络模型设置网络的超参数、损失函数和优化器。
步骤3.1设置网络的超参数，设置网络初始学习率设为0.0001，并设定大约每8个epoch后，学习率降为原来的1/10，其中一个epoch为所有训练集中的图像都被网络学习一遍，将其设置为120。根据计算机的性能，把训练集中的图像分为若干个批，按批来输入到网络，一个批的大小为batch_size，将其设置为64。
步骤3.2步骤2所述的网络采用残差学习策略，因此网络的损失函数设定为：
其中，N为训练集中原始图像的数目，xi和yi分别表示训练集中的原始图像与对应的噪声图像，θ为当前网络的参数，F(yi；θ)为噪声图像输入到网络后得到的残差图像。
步骤3.3根据步骤3.2设定的网络损失函数，优化算法使用自适应时刻估计(Adam)算法，通过引入可变的学习速率与衰减量来不断优化步骤3.2中的损失函数，可以加快收敛速度，并且在一定程度上减少过拟合和欠拟合的情况。
步骤4.进行网络训练，将步骤1中的噪声图像作为输入，经过步骤2的网络后得到去噪图像。
训练步骤1中的多种单噪声训练集和多噪声训练集，分别以同一个模型训练不同种类的训练集，来得到多个与训练集相对应的网络模型。
步骤5.测试网络性能。在BSD500数据集中选取1张不在训练集中的图像作为原始测试图像，分别加入噪声标准差的范围为σ＝[10，100]，步长为10的高斯白噪声，共得到10张标准差不同的噪声测试图像。将噪声测试图像分别输入到对应标准差的网络模型下，得到去噪图像。为了检测网络的性能，将本发明与去噪卷积神经网络(DnCNN)进行对比实验，并且使用峰值信噪比(PSNR)，均方误差(MSE)和结构相似性指数(SSIM)这三个参数测量去噪图像结果从而检测网络的性能。其中，PSNR的普遍基准是30dB，其值越大表示图像趋于无劣化；MSE反映了去噪图像与原始图像之间差异程度的一种度量，其值越小表示去噪结果越接近原始图像；SSIM值的范围是[0,1]，网络的去噪结果越好，其值越接近1。
实验结果：
本发明的具体实施过程被应用于BSD500数据集，该数据集的图片为大小为180*180的灰度图，挑选1张作为测试图片。表1是对多组单噪声训练集测试时，本发明提出的方法与DnCNN的测试结果对比，可以看出，与DnCNN相比，本发明的网络对较低水平的噪声图片去噪效果更加显著，对于高水平噪声图片也具有较好的去噪能力。图4是对噪声标准差为50的单噪声训练集训练时，本发明提出的方法与DnCNN在训练过程中PSNR变化曲线图，可以看出网络在训练的过程中本发明的网络相比较DnCNN去噪性能有明显的提高。图5中，(a)表示原始测试图像，(b)表示噪声标准差σ＝30的噪声测试图像，(c)表示DnCNN的去噪图像结果，PSNR＝30.77dB，(d)表示本发明提出方法的去噪图像结果，PSNR＝36.67dB。图6中，(a)表示原始测试图像，(b)表示噪声标准差σ＝50的噪声测试图像，(c)表示DnCNN的去噪图像结果，PSNR＝31.75dB，(d)表示本发明提出方法的去噪图像结果，PSNR＝37.68dB。图7中，(a)表示原始测试图像，(b)表示噪声标准差σ＝80的噪声测试图像，(c)表示DnCNN的去噪图像结果，PSNR＝27.28dB，(d)表示本发明提出方法的去噪图像结果，PSNR＝30.21dB。从图5、6和7中可以看出，本发明提出的方法能够更好的恢复出图像的细节和轮廓特征，DnCNN的去噪结果细节模糊并且对图像亮度有很大的损伤，而本发明的网络可以更好的保护原始图像的有效结构。
对多组单噪声训练集测试时，本发明提出的方法与DnCNN的测试结果对比见表1；
表1
图8是对多噪声训练集测试时，当测试图像的噪声标准差为80时本发明提出的方法与DnCNN的去噪图像对比图。其中，(a)表示原始测试图像，(b)表示噪声标准差σ＝80的噪声测试图像，(c)表示DnCNN的去噪图像结果，PSNR＝30.76dB，(d)表示本发明提出方法的去噪图像结果，PSNR＝33.92dB。由于可以把多噪声训练集中噪声标准差的种类看作灰度图像的通道数目，如单噪声灰度图像的通道数为1。不同标准差的噪声图像的噪声服从相同的分布，即高斯白噪声分布，因此使用同一个网络模型对任何标准差的噪声图像进行去噪其结果是相同的。结合单噪声训练集实验的结果可以看出，使用混合噪声训练集的网络对于处理较高标准差的噪声图像效果更好，因此在实际应用中可以将这两种方法结合使用，来达到更好的去噪效果。
从以上实验可以看出，网络中较浅的分支可以保留更多的细节信息，较深的分支具有更好的去噪能力，通过合并分支可以使网络同时具有去噪和恢复细节的能力，可以重建更多的图像细节以及轮廓信息，而多尺度卷积组模块则可以学习更多的纹理信息。相比较DnCNN，本发明提出的方法对于图像去噪有更好的性能，并且可以应用于实际。

Claims (5)

1.基于多尺度卷积组与并行的卷积神经网络图像去噪方法，其特征在于，具体按照以下步骤实施：
步骤1、准备训练集，选择合适的数据集作为训练集中的原始图像，并对其进行预处理操作，采用高斯白噪声模拟真实噪声并加入到原始图像中，作为与之对应的噪声图像；
步骤2、构建网络模型，结合多尺度卷积组与并行的卷积网络方式搭建网络模型；
步骤3、根据步骤2中所构建的网络模型设置网络的超参数、损失函数和优化算法；
步骤4、进行网络训练，使用步骤2中的构建网络模型来分别训练单噪声训练集和多噪声训练集，来得到多个与训练集相对应的网络模型；
步骤5、测试网络性能。
2.根据权利要求1所述的基于多尺度卷积组与并行的卷积神经网络图像去噪方法，其特征在于，所述步骤1具体包括以下步骤：
步骤1.1、训练集包括噪声图像和相对应的原始图像，准备训练集的方法为：对制作单噪声训练集而言，对原始图像加入固定标准差的高斯白噪声，其中，噪声标准差的范围为σ＝[m,n]，其中m,n均为正整数，步长为s，s为正整数，可以得到组标准差不同的噪声图像，每种噪声图像对应相应的原始图像，形成组单噪声训练集；对制作多噪声训练集而言，将上述的组标准差不同的噪声图像合并成一组，然后与对应的原始图像合称为多噪声训练集；
步骤1.2、扩大训练集中的数据，分别对步骤1.1得到的所有单噪声训练集进行预处理操作，为了增加训练集的图像数量，将每组训练集进行一定程度的放缩，然后通过合适尺度的滑动窗口进行平移操作，将图片分割为小块图像，这样做是为了提高网络的训练速度，减少输入的参数数量，之后对小块图像进行90°旋转、180°旋转、270°旋转和上下翻转操作，进一步扩大训练集中的图像数量。
3.根据权利要求1所述的基于多尺度卷积组与并行的卷积神经网络图像去噪方法，其特征在于，所述步骤2具体包括以下步骤：
步骤2.1、网络首先由两层不同深度的并行网络组成，两个分支采用特征融合加权的方式将浅层的轮廓特征图与深层的细节特征图融合，然后进行卷积操作，实现不同特征的加权，最后将两层分支合并起来，其中，上述的每个卷积层的激活函数都采用线性整流函数，并且给每个卷积层加入归一化操作；
步骤2.2、将步骤2.1的并行网络的输出连接一个多尺度卷积组模块，多尺度卷积组模块包括不同大小的卷积核组，对每组卷积操作的结果进行合并操作，最后将合并的结果通过4个串联的卷积层，其中，上述的每个卷积层的激活函数都采用ReLU函数，并且给每个卷积层加入BN操作，网络采用残差学习策略，因此，此时网络的输出为学习到的残差图像；
步骤2.3、本网络采用残差学习策略，因此将网络输入的噪声图像与步骤2.2中输出的残差图像作相减的操作，得到最终的去噪图像，至此，网络模型构建完成。
4.根据权利要求1所述的基于多尺度卷积组与并行的卷积神经网络图像去噪方法，其特征在于，所述步骤3具体包括以下步骤：
步骤3.1、设置网络的超参数，设置网络初始学习率为0.01～0.0001，并设定在合适的epoch后，学习率降为原来的1/10，其中一个epoch为将训练集中的图像都被网络学习一遍，把训练集中的图像分为若干个批，按批来输入到网络，一个批的大小为batch_size，其大小根据计算机运行内存而设定；
步骤3.2、步骤2所述的网络采用残差学习策略，因此网络的损失函数设定为：
其中，N为训练集中原始图像的数目，xi和yi分别表示训练集中的原始图像与对应的噪声图像，θ为当前网络的各个参数值，F(yi；θ)为噪声图像输入到网络后得到的残差图像；
步骤3.3、根据步骤3.2设定的网络损失函数，优化算法使用自适应时刻估计算法，通过引入可变的学习速率与衰减量来不断优化步骤3.2中的损失函数，加快收敛速度，并且在一定程度上减少过拟合和欠拟合的情况。
5.根据权利要求2所述的基于多尺度卷积组与并行的卷积神经网络图像去噪方法，其特征在于，步骤5的具体实施方式为：选取不在训练集中的图像作为原始测试图像，对原始测试图像加入固定标准差的高斯白噪声，其中，噪声标准差的范围为σ＝[m,n]，其中m,n均为正整数，步长为s，s为正整数，可以得到张标准差不同的测试噪声图像，将测试噪声图像分别输入到对应噪声标准差的网络模型得到去噪图像，为了检测网络的性能，使用峰值信噪比、均方误差和结构相似性指数这三个参数测量去噪图像结果从而检测网络的性能，其中，PSNR的普遍基准是30dB，其值越大表示图像趋于无劣化；MSE反映了去噪图像与原始图像之间差异程度的一种度量，其值越小表示去噪结果越接近原始图像；SSIM值的范围是[0,1]，网络的去噪结果越好，其值越接近1。
CN201910705382.0A 2019-08-01 2019-08-01 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 Active CN110599409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910705382.0A CN110599409B (zh) 2019-08-01 2019-08-01 基于多尺度卷积组与并行的卷积神经网络图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910705382.0A CN110599409B (zh) 2019-08-01 2019-08-01 基于多尺度卷积组与并行的卷积神经网络图像去噪方法

Publications (2)

Publication Number Publication Date
CN110599409A true CN110599409A (zh) 2019-12-20
CN110599409B CN110599409B (zh) 2022-02-22

Family

ID=68853204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910705382.0A Active CN110599409B (zh) 2019-08-01 2019-08-01 基于多尺度卷积组与并行的卷积神经网络图像去噪方法

Country Status (1)

Country Link
CN (1) CN110599409B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223160A (zh) * 2020-01-02 2020-06-02 苏州瑞派宁科技有限公司 图像重建方法、装置、设备、系统及计算机可读存储介质
CN111292260A (zh) * 2020-01-17 2020-06-16 四川翼飞视科技有限公司 一种进化神经网络的构建方法及基于进化神经网络的高光谱图像去噪方法
CN111292259A (zh) * 2020-01-14 2020-06-16 西安交通大学 一种综合多尺度与注意力机制的深度学习图像去噪方法
CN111311506A (zh) * 2020-01-21 2020-06-19 辽宁师范大学 基于双残差网络的低剂量ct牙齿图像去噪方法
CN111598184A (zh) * 2020-05-25 2020-08-28 海南大学 一种基于DenseNet的图像噪声识别方法和装置
CN111612709A (zh) * 2020-05-11 2020-09-01 济南浪潮高新科技投资发展有限公司 一种基于DnCNNs改进的图像降噪方法
CN111860290A (zh) * 2020-07-16 2020-10-30 大连理工大学 一种激光熔覆过程中裂纹识别的方法
CN112381733A (zh) * 2020-11-13 2021-02-19 四川大学 面向图像恢复的多尺度神经网络结构搜索方法及网络应用
CN112581397A (zh) * 2020-12-21 2021-03-30 华南农业大学 一种基于图像先验信息的退化图像修复方法及其应用
CN112634159A (zh) * 2020-12-23 2021-04-09 中国海洋大学 基于盲噪声估计的高光谱图像去噪方法
CN112634171A (zh) * 2020-12-31 2021-04-09 上海海事大学 基于贝叶斯卷积神经网络的图像去雾方法及存储介质
CN112767271A (zh) * 2021-01-19 2021-05-07 西安交通大学 一种基于三维变分网络的高光谱图像深度降噪的方法
CN112801897A (zh) * 2021-01-19 2021-05-14 西安理工大学 一种基于宽卷积神经网络的图像去噪方法
CN112819705A (zh) * 2021-01-13 2021-05-18 西安交通大学 一种基于网状结构与长距离相关性的真实图像去噪方法
CN112991198A (zh) * 2021-02-08 2021-06-18 西安理工大学 一种基于噪声建模的盲去噪方法
CN113034373A (zh) * 2019-12-24 2021-06-25 无锡祥生医疗科技股份有限公司 超声图像去噪神经网络、去噪方法及超声诊断设备
CN113129296A (zh) * 2021-04-29 2021-07-16 深圳高性能医疗器械国家研究院有限公司 基于变换域下去噪自动编码器作为先验的图像处理方法
CN113450275A (zh) * 2021-06-28 2021-09-28 上海人工智能研究院有限公司 基于元学习的画质增强系统及方法、存储介质
CN113533220A (zh) * 2021-07-25 2021-10-22 吉林大学 一种基于高光谱成像技术的煤炭种类识别方法
CN113591563A (zh) * 2021-06-24 2021-11-02 金陵科技学院 图像固定值脉冲噪声去噪方法及其模型训练方法
CN113609954A (zh) * 2021-07-30 2021-11-05 西安交通大学 一种基于深度学习的社交网络图像源识别方法及系统
CN113643189A (zh) * 2020-04-27 2021-11-12 深圳市中兴微电子技术有限公司 图像去噪方法、装置和存储介质
CN114565540A (zh) * 2022-04-30 2022-05-31 深圳市巨力方视觉技术有限公司 基于多路对照图像去噪用机器视觉集成系统
CN114973698A (zh) * 2022-05-10 2022-08-30 阿波罗智联(北京)科技有限公司 控制信息的生成方法和机器学习模型的训练方法、装置
CN114998160A (zh) * 2022-08-04 2022-09-02 江苏游隼微电子有限公司 一种并行多尺度特征融合的卷积神经网络去噪方法
CN116681618A (zh) * 2023-06-13 2023-09-01 强联智创（北京）科技有限公司 图像去噪方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003240A (zh) * 2018-07-16 2018-12-14 安徽理工大学 一种基于多尺度并行cnn的图像去噪方法
US20190096038A1 (en) * 2017-09-26 2019-03-28 Samsung Electronics Co., Ltd. Image denoising neural network architecture and method of training the same
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190096038A1 (en) * 2017-09-26 2019-03-28 Samsung Electronics Co., Ltd. Image denoising neural network architecture and method of training the same
CN109003240A (zh) * 2018-07-16 2018-12-14 安徽理工大学 一种基于多尺度并行cnn的图像去噪方法
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHANG LIU ET AL.: "A Multiscale Image Denoising Algorithm Based On Dilated Residual Convolution Network", 《ARXIV》 *
SHENGYU LI ET AL.: "Image Denoising via Multi-Scale Gated Fusion Network", 《IEEE》 *
范瑞 等: "多尺度并行融合的轻量级卷积神经网络设计", 《广西师范大学学报(自然科学版)》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034373A (zh) * 2019-12-24 2021-06-25 无锡祥生医疗科技股份有限公司 超声图像去噪神经网络、去噪方法及超声诊断设备
CN111223160A (zh) * 2020-01-02 2020-06-02 苏州瑞派宁科技有限公司 图像重建方法、装置、设备、系统及计算机可读存储介质
WO2021135773A1 (zh) * 2020-01-02 2021-07-08 苏州瑞派宁科技有限公司 图像重建方法、装置、设备、系统及计算机可读存储介质
CN111292259A (zh) * 2020-01-14 2020-06-16 西安交通大学 一种综合多尺度与注意力机制的深度学习图像去噪方法
CN111292260A (zh) * 2020-01-17 2020-06-16 四川翼飞视科技有限公司 一种进化神经网络的构建方法及基于进化神经网络的高光谱图像去噪方法
CN111311506B (zh) * 2020-01-21 2023-05-09 辽宁师范大学 基于双残差网络的低剂量ct牙齿图像去噪方法
CN111311506A (zh) * 2020-01-21 2020-06-19 辽宁师范大学 基于双残差网络的低剂量ct牙齿图像去噪方法
CN113643189A (zh) * 2020-04-27 2021-11-12 深圳市中兴微电子技术有限公司 图像去噪方法、装置和存储介质
CN111612709A (zh) * 2020-05-11 2020-09-01 济南浪潮高新科技投资发展有限公司 一种基于DnCNNs改进的图像降噪方法
CN111612709B (zh) * 2020-05-11 2023-03-28 山东浪潮科学研究院有限公司 一种基于DnCNNs改进的图像降噪方法
CN111598184B (zh) * 2020-05-25 2023-04-18 海南大学 一种基于DenseNet的图像噪声识别方法和装置
CN111598184A (zh) * 2020-05-25 2020-08-28 海南大学 一种基于DenseNet的图像噪声识别方法和装置
CN111860290A (zh) * 2020-07-16 2020-10-30 大连理工大学 一种激光熔覆过程中裂纹识别的方法
CN112381733A (zh) * 2020-11-13 2021-02-19 四川大学 面向图像恢复的多尺度神经网络结构搜索方法及网络应用
CN112381733B (zh) * 2020-11-13 2022-07-01 四川大学 面向图像恢复的多尺度神经网络结构搜索方法及网络应用
CN112581397B (zh) * 2020-12-21 2023-08-08 华南农业大学 一种基于图像先验信息的退化图像修复方法、系统、介质和设备
CN112581397A (zh) * 2020-12-21 2021-03-30 华南农业大学 一种基于图像先验信息的退化图像修复方法及其应用
CN112634159A (zh) * 2020-12-23 2021-04-09 中国海洋大学 基于盲噪声估计的高光谱图像去噪方法
CN112634159B (zh) * 2020-12-23 2022-07-26 中国海洋大学 基于盲噪声估计的高光谱图像去噪方法
CN112634171A (zh) * 2020-12-31 2021-04-09 上海海事大学 基于贝叶斯卷积神经网络的图像去雾方法及存储介质
CN112634171B (zh) * 2020-12-31 2023-09-29 上海海事大学 基于贝叶斯卷积神经网络的图像去雾方法及存储介质
CN112819705B (zh) * 2021-01-13 2023-04-18 西安交通大学 一种基于网状结构与长距离相关性的真实图像去噪方法
CN112819705A (zh) * 2021-01-13 2021-05-18 西安交通大学 一种基于网状结构与长距离相关性的真实图像去噪方法
CN112801897B (zh) * 2021-01-19 2024-02-09 西安理工大学 一种基于宽卷积神经网络的图像去噪方法
CN112767271A (zh) * 2021-01-19 2021-05-07 西安交通大学 一种基于三维变分网络的高光谱图像深度降噪的方法
CN112767271B (zh) * 2021-01-19 2023-09-22 西安交通大学 一种基于三维变分网络的高光谱图像深度降噪的方法
CN112801897A (zh) * 2021-01-19 2021-05-14 西安理工大学 一种基于宽卷积神经网络的图像去噪方法
CN112991198A (zh) * 2021-02-08 2021-06-18 西安理工大学 一种基于噪声建模的盲去噪方法
CN113129296A (zh) * 2021-04-29 2021-07-16 深圳高性能医疗器械国家研究院有限公司 基于变换域下去噪自动编码器作为先验的图像处理方法
CN113591563B (zh) * 2021-06-24 2023-06-06 金陵科技学院 图像固定值脉冲噪声去噪方法及其模型训练方法
CN113591563A (zh) * 2021-06-24 2021-11-02 金陵科技学院 图像固定值脉冲噪声去噪方法及其模型训练方法
CN113450275A (zh) * 2021-06-28 2021-09-28 上海人工智能研究院有限公司 基于元学习的画质增强系统及方法、存储介质
CN113533220A (zh) * 2021-07-25 2021-10-22 吉林大学 一种基于高光谱成像技术的煤炭种类识别方法
CN113609954A (zh) * 2021-07-30 2021-11-05 西安交通大学 一种基于深度学习的社交网络图像源识别方法及系统
CN114565540A (zh) * 2022-04-30 2022-05-31 深圳市巨力方视觉技术有限公司 基于多路对照图像去噪用机器视觉集成系统
CN114973698A (zh) * 2022-05-10 2022-08-30 阿波罗智联(北京)科技有限公司 控制信息的生成方法和机器学习模型的训练方法、装置
CN114973698B (zh) * 2022-05-10 2024-04-16 阿波罗智联(北京)科技有限公司 控制信息的生成方法和机器学习模型的训练方法、装置
CN114998160B (zh) * 2022-08-04 2022-11-01 江苏游隼微电子有限公司 一种并行多尺度特征融合的卷积神经网络去噪方法
CN114998160A (zh) * 2022-08-04 2022-09-02 江苏游隼微电子有限公司 一种并行多尺度特征融合的卷积神经网络去噪方法
CN116681618A (zh) * 2023-06-13 2023-09-01 强联智创（北京）科技有限公司 图像去噪方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN110599409B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN110599409B (zh) 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
CN114140353B (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN111242862B (zh) 多尺度融合并行稠密残差卷积神经网络图像去噪方法
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN108510485B (zh) 一种基于卷积神经网络的无参照图像质量评估方法
CN106204468B (zh) 一种基于ReLU卷积神经网络的图像去噪方法
CN111275637A (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN112233026A (zh) 一种基于多尺度残差注意力网络的sar图像去噪方法
Yin et al. Highly accurate image reconstruction for multimodal noise suppression using semisupervised learning on big data
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
Wang et al. Channel and space attention neural network for image denoising
CN112991493B (zh) 基于vae-gan和混合密度网络的灰度图像着色方法
CN111275643A (zh) 基于通道和空间注意力的真实噪声盲去噪网络模型及方法
CN111047543A (zh) 图像增强方法、装置和存储介质
CN111145102A (zh) 一种基于卷积神经网络的合成孔径雷达图像去噪方法
CN112651917A (zh) 一种基于生成对抗网络的空间卫星低照度图像增强方法
CN113256508A (zh) 一种改进的小波变换与卷积神经网络图像去噪声的方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN111931857A (zh) 一种基于mscff的低照度目标检测方法
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
CN116596809A (zh) 一种基于Residual-Unet网络的低照度图像增强方法
Yang et al. Mixed noise removal by residual learning of deep cnn
ZhiPing et al. A new generative adversarial network for texture preserving image denoising
CN114897884A (zh) 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法
CN114881879A (zh) 一种基于亮度补偿残差网络的水下图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant