CN109003240A - 一种基于多尺度并行cnn的图像去噪方法 - Google Patents
一种基于多尺度并行cnn的图像去噪方法 Download PDFInfo
- Publication number
- CN109003240A CN109003240A CN201810777558.9A CN201810777558A CN109003240A CN 109003240 A CN109003240 A CN 109003240A CN 201810777558 A CN201810777558 A CN 201810777558A CN 109003240 A CN109003240 A CN 109003240A
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- convolutional layer
- multiple dimensioned
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000011248 coating agent Substances 0.000 claims abstract description 52
- 238000000576 coating method Methods 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000003062 neural network model Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims description 27
- 230000008520 organization Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于多尺度并行CNN的图像去噪方法,包括五步。步骤一,搭建多尺度并行卷积神经网络模型,其中只有卷积层和激活层,同时加入了残差学习;步骤二,设置多尺度并行卷积神经网络模型的训练参数;步骤三,选取训练集,并对选取的训练图像进行裁剪、翻转等操作,以增强训练集的数量;步骤四,选取均方误差作为损失函数,并以最小化损失函数来训练多尺度并行卷积神经网络模型,得到图像去噪模型;步骤五,将任意大小的噪声图像输入到图像去噪模型,输出即为去噪后的干净图像。本发明在去噪的同时能尽可能的保留图像的边缘信息和细节信息,能提高图像的结构相似性,获得高质量去噪图像。
Description
技术领域
本发明涉及计算机视觉与数字图像处理领域,尤其涉及一种基于多尺度并行CNN的图像去噪方法。
背景技术
由于在采集图像的过程中会不可避免地受周围环境、设备、人为因素等影响,得到的总是有噪声的图像,噪声使图像的质量变差,从而影响了图片的可读性以及对图像的后续处理。图像去噪的任务就是把噪声从图像中去除,以减少噪声对图像的影响。目前图像去噪的经典方法有很多,但大致可以分为两类,一类是基于空间域滤波,如均值滤波、中值滤波等等;另一类是基于变换域滤波,如高斯尺度混合模型中的贝叶斯最小二乘法。这些局部滤波方法既没有在全局范围内滤波,也没有考虑到自然图像块与块之间的联系性,因此获得的去噪效果不尽人意。
为了解决传统去噪方法存在的问题,神经网络被用于图像去噪。专利“一种基于ReLU卷积神经网络的图像去噪方法”(专利号:201610482594.3),公开了一种实时去噪方法。图1是该专利的卷积神经网络模型,它与本发明设计不同之处在于:
(1)本发明使用了多尺度提取层。
(2)本发明设计的网络学习的是噪声,而不是潜在的干净图像。
(3)本发明使用了卷积神经网络并行结构。
(4)本发明加入了跳跃链接,使网络更快的收敛。
(5)本发明上使用了残差学习。
本发明与“一种基于ReLU卷积神经网络的图像去噪方法”相比,其优点为:
(1)在第一个卷积层使用了多个卷积核,可以从原始图像中提取更多的特征,对之后的图像重建非常有利。
(2)使用并行卷积神经网络结构,即浅通道和深通道的并行连接,因为浅通道可以恢复图像的总体轮廓,而深通道提取详细的纹理信息,采用并行结构可以更好地恢复图像,尽可能的保留图像的边缘信息和细节信息,以提高图像的结构相似性。
(3)使用了跳跃链接和残差学习,可以有效地防止梯度消失和梯度爆炸的出现,同时在训练网络时,可以使网络更快的收敛,对恢复的图像质量也有所提高。
本发明的目的在于提供一种高质量的图像去噪方法,在去噪的同时尽可能的保留图像的边缘信息和细节信息,以提高图像的结构相似性。
发明内容
为解决现有技术的不足,本发明的目的在于提供一种基于多尺度并行CNN的图像去噪方法,以提高图像的去噪效果。
本发明涉及一种基于多尺度并行CNN的图像去噪方法,其特征在于,具体按照以下步骤进行:
步骤一,搭建多尺度并行卷积神经网络模型;
步骤二,设置多尺度并行卷积神经网络模型的训练参数;
步骤三、构建训练集;
步骤四,选取均方误差作为损失函数,并以最小化损失函数来训练多尺度并行卷积神经网络模型,得到图像去噪模型;
步骤五,将噪声图像输入到图像去噪模型,其输出即为去噪后的干净图像。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述步骤一中,多尺度并行卷积神经网络模型包括卷积层和激活层,激活层的激活函数均是RELU函数,引入残差学习保证多尺度并行卷积神经网络学习的是图像中的噪声。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述步骤一中,多尺度并行卷积神经网络模型包括五个部分,分别为,
(1)输入噪声图像;
(2)特征融合;
(3)并行结构;
(4)融合;
(5)输出干净图像。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述(2)中,特征融合的步骤为,
步骤一,输入经过一个卷积核为1×1的卷积、激活层得到输出4-1;输入经过一个卷积核为1×1的卷积、激活层和一个卷积核为3×3的卷积、激活层得到输出4-2;输入经过一个卷积核为1×1的卷积、激活层和一个卷积核为5×5的卷积、激活层得到输出4-3;输入经过一个卷积核为7×7的卷积、激活层得到输出4-4;
步骤二,将输出4-1、输出4-2、输出4-3和输出4-4进行特征融合,特征融合的结果将作为并行结构的输入。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述(3)中,并行结构包括深通道卷积层和浅通道卷积层,其中,
深通道卷积层包括跳跃链接和25个卷积层,卷积核都是3×3,分成六段,第一段有一个卷积层,一个激活层,三个卷积、激活层和一个卷积层,第二到五段均包含一个激活层,四个卷积、激活层和一个卷积层,第六段有一个激活层;第一段的第一个卷积层的输出5-0和第一段的输出融合得到5-1,5-1作为第二段的输入得到输出5-2,5-0和5-2融合作为第三段的输入得到输出5-3,5-0和5-3融合作为第四段的输入得到输出5-4,5-0和5-4融合作为第五段的输入得到输出5-5,5-0和5-5融合作为第六段输入得到深通道卷积层的输出;
浅通道卷积层包括跳跃链接和7层卷积层,卷积核都是3×3,分成两段,第一段包括一个卷积层,一个激活层,五个卷积、激活层,和一个卷积层,第二段有一个激活层;第一段的第一个卷积层的输出融合最后一个卷积层的输出后,输入第二段得到浅通道卷积层的输出。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述(4)中,融合的方法为,将权利要求5所述的深通道卷积层和浅通道卷积层的输出融合后,经过一个卷积核为3×3×128的卷积、激活层和一个卷积核为3×3的卷积层得到尺度并行卷积神经网络模型学习的图像噪声。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述步骤二中,多尺度并行卷积神经网络模型训练参数的具体设置为:图像深度设置为1,Adam优化器的学习效率设为0.001,卷积层的padding设置为“SAME”,输入模型的图像块的数量设置为64。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述步骤三中,训练集的构建方法具体包括以下步骤,
步骤一,对400幅180×180的标准图像中随机加入高斯白噪声;
步骤二,将每一幅加入高斯白噪声的标准图像裁剪成多张40×40的图像块;
步骤三,对每一个图像块进行上下翻转、任意角度的旋转等操作,最后得到23.84万幅40×40的图像块,形成训练集。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述步骤五中,噪声图像与训练图像的大小无关,可以是任意尺寸。
本发明相对于现有技术取得了以下技术效果:
(1)本发明的图像经过卷积层以后,图像的大小不会减小,能够尽可能的保留图像的边缘信息。
(2)本发明第一层卷积层使用了四个大小分别为1×1,3×3,5×5,7×7的卷积核,能够从原始图像中提取更多有用的特征,这对之后的图像重建非常有利。
(3)使用了浅通道和深通道的并行结构,浅通道提取低级特征,深通道提取高级特征,把深、浅通道提取的特征进行融合,可以更好的保留图像的细节信息和边缘信息,使恢复的图像质量更高。
(4)网络中加入残差学习,不仅可以有效地避免梯度爆炸,而且可以使网络快速收敛,对图像去噪的效果也有所提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是一种基于ReLU卷积神经网络的图像去噪方法的网络模型图;
图2是本发明的去噪流程图;
图3是多尺度并行卷积神经网络模型图;
图4是12种广泛使用的测试图像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图2所示,本发明公开一种基于多尺度并行CNN的图像去噪方法,包括五步。步骤S1,搭建多尺度并行卷积神经网络模型;步骤S2,设置多尺度并行卷积神经网络模型的训练参数;步骤S3、构建训练集;步骤S4,选取均方误差作为损失函数,并以最小化损失函数来训练多尺度并行卷积神经网络模型,得到图像去噪模型;步骤S5,将噪声图像输入到图像去噪模型,其输出即为去噪后的干净图像。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述步骤一中,多尺度并行卷积神经网络模型包括卷积层和激活层,激活层的激活函数均是RELU函数,引入残差学习保证多尺度并行卷积神经网络学习的是图像中的噪声。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述步骤一中,如图3,多尺度并行卷积神经网络模型包括五个部分,分别为,
(1)输入噪声图像;
(2)特征融合;
(3)并行结构;
(4)融合;
(5)输出干净图像。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述(2)中,特征融合的步骤为,
步骤一,输入经过一个卷积核为1×1的卷积、激活层得到输出4-1;输入经过一个卷积核为1×1的卷积、激活层和一个卷积核为3×3的卷积、激活层得到输出4-2;输入经过一个卷积核为1×1的卷积、激活层和一个卷积核为5×5的卷积、激活层得到输出4-3;输入经过一个卷积核为7×7的卷积、激活层得到输出4-4;
步骤二,将输出4-1、输出4-2、输出4-3和输出4-4进行特征融合,特征融合的结果将作为并行结构的输入。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述(3)中,如图3,并行结构包括深通道卷积层和浅通道卷积层,其中,
深通道卷积层包括跳跃链接和25个卷积层,卷积核都是3×3,分成六段,第一段有一个卷积层,一个激活层,三个卷积、激活层和一个卷积层,第二到五段均包含一个激活层,四个卷积、激活层和一个卷积层,第六段有一个激活层;第一段的第一个卷积层的输出5-0和第一段的输出融合得到5-1,5-1作为第二段的输入得到输出5-2,5-0和5-2融合作为第三段的输入得到输出5-3,5-0和5-3融合作为第四段的输入得到输出5-4,5-0和5-4融合作为第五段的输入得到输出5-5,5-0和5-5融合作为第六段输入得到深通道卷积层的输出;
浅通道卷积层包括跳跃链接和7层卷积层,卷积核都是3×3,分成两段,第一段包括一个卷积层,一个激活层,五个卷积、激活层,和一个卷积层,第二段有一个激活层;第一段的第一个卷积层的输出融合最后一个卷积层的输出后,输入第二段得到浅通道卷积层的输出。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述(4)中,融合的方法为,将权利要求5所述的深通道卷积层和浅通道卷积层的输出融合后,经过一个卷积核为3×3×128的卷积、激活层和一个卷积核为3×3的卷积层得到尺度并行卷积神经网络模型学习的图像噪声。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述步骤二中,多尺度并行卷积神经网络模型训练参数的具体设置为:图像深度设置为1,Adam优化器的学习效率设为0.001,卷积层的padding设置为“SAME”,输入模型的图像块的数量设置为64。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述步骤三中,训练集的构建方法具体包括以下步骤,
步骤一,对400幅180×180的标准图像中随机加入高斯白噪声;
步骤二,将每一幅加入高斯白噪声的标准图像裁剪成多张40×40的图像块;
步骤三,对每一个图像块进行上下翻转、任意角度的旋转等操作,最后得到23.84万幅40×40的图像块,形成训练集。
进一步的,所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述步骤五中,噪声图像与训练图像的大小无关,可以是任意尺寸。
为了验证本发明的有效性,进行了仿真试验。
实验均在Intel(R)Core(TM)i5-8300H CPU2.30GHz和Nvidia 1050 Ti GPU的PC上的TensorFlow环境中运行。
对400幅180×180的标准图像中随机加入高斯白噪声,将每一幅加入高斯白噪声的标准图像裁剪成多张40×40的图像块,对每一个图像块进行上下翻转、任意角度的旋转等操作,最后得到23.84万幅40×40的图像块,形成训练集。利用此训练集训练本发明的去噪模型,根据测试集的不同,进行了两个实验,并分别和几种先进的去噪方法对比。比较的方法包括:BM3D(K.Dabov,et al,“Image denoising by sparse 3-D transform-domaincollaborative filtering,”IEEE Trans.Image Process.,2007,16(8):2080–2095),WNNM(S.Gu,et al,“Weighted nuclear norm minimization with application to imagedenoising,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2014:2862–2869),TNRD(Y.Chen,et al,Trainable nonlinear reaction diffusion:A flexible frameworkfor fast and effective image restoration,IEEE Trans.PatternAnal.Mach.Intell.,2017,39(6):1256-1272),MLP(H.C.Burger,et al,Image denoising:Can plain neuralnetworks compete with BM3D?,in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2012:2392–2399),EPLL(D.Zoran,et al,From learning models ofnatural imagepatches to whole image restoration,in Proc.IEEE Int.Conf.Comput.Vis.,2011:479–486)和SCNN(I.Kenzo,Deep shrinkage convolutional neural network foradaptive noise reduction,IEEE Signal Processing Letters,2018,25(2):224-228)。采用客观评价方法峰值信噪比(Peak Signal to Noise Ratio,PSNR)衡量去噪效果,其中峰值信噪比的计算公式为:
其中,f是原始图像,表示待评价图像,M,N分别是图像的长和宽,Q表示图像的灰度级数。一般来说,PSNR的值越大,表示噪声对信号干扰程度越弱,图像失真越少,说明图像的去噪效果越好。
实验一,利用图4中的图像作为测试图像,表1是试验结果,其中峰值信噪比最高值用黑色粗体显示。表1中的图像与图4中从左到右的顺序想对应。在实验中,噪声水平σ分别设置为15、25、35、50,从测试结果可以看出,本发明的去噪效果比其它几种去噪方法的效果好。
表1本发明的方法与几种先进方法比较结果
实验二,为了进一步说明本发明的去噪效果,选取了BSD68作为测试集,并与最先进的几种方法进行比较,结果如表2所示:
表2在BSD68测试集上的测试(PSNR)结果
Methods | BM3D | TNRD | WNNM | EPLL | MLP | CSF | SCNN | MPCNN |
σ=15 | 31.07 | 31.42 | 31.37 | 31.21 | - | 31.24 | 31.48 | 31.56 |
σ=25 | 28.57 | 28.92 | 28.83 | 28.68 | 28.96 | 28.74 | 29.03 | 29.12 |
σ=50 | 25.62 | 25.97 | 25.87 | 25.67 | 26.03 | - | 26.08 | 26.13 |
从表2测试结果可以看出,本发明的去噪方法都能获得更好的PSNR。
以上所述仅为本发明的一个实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (9)
1.一种基于多尺度并行CNN的图像去噪方法,其特征在于,具体按照以下步骤进行:
步骤一,搭建多尺度并行卷积神经网络模型;
步骤二,设置多尺度并行卷积神经网络模型的训练参数;
步骤三、构建训练集;
步骤四,选取均方误差作为损失函数,并以最小化损失函数来训练多尺度并行卷积神经网络模型,得到图像去噪模型;
步骤五,将噪声图像输入到图像去噪模型,其输出即为去噪后的干净图像。
2.根据权利要求1所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述步骤一中,多尺度并行卷积神经网络模型包括卷积层和激活层,激活层的激活函数均是RELU函数,引入残差学习保证多尺度并行卷积神经网络学习的是图像中的噪声。
3.根据权利要求1所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述步骤一中,多尺度并行卷积神经网络模型包括五个部分,分别为,
(1)输入噪声图像;
(2)特征融合;
(3)并行结构;
(4)融合;
(5)输出干净图像。
4.根据权利要求3所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述(2)中,特征融合的步骤为,
步骤一,输入经过一个卷积核为1×1的卷积、激活层得到输出4-1;输入经过一个卷积核为1×1的卷积、激活层和一个卷积核为3×3的卷积、激活层得到输出4-2;输入经过一个卷积核为1×1的卷积、激活层和一个卷积核为5×5的卷积、激活层得到输出4-3;输入经过一个卷积核为7×7的卷积、激活层得到输出4-4;
步骤二,将输出4-1、输出4-2、输出4-3和输出4-4进行特征融合,特征融合的结果将作为并行结构的输入。
5.根据权利要求3所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述(3)中,并行结构包括深通道卷积层和浅通道卷积层,其中,
深通道卷积层包括跳跃链接和25个卷积层,卷积核都是3×3,分成六段,第一段有一个卷积层,一个激活层,三个卷积、激活层和一个卷积层,第二到五段均包含一个激活层,四个卷积、激活层和一个卷积层,第六段有一个激活层;第一段的第一个卷积层的输出5-0和第一段的输出融合得到5-1,5-1作为第二段的输入得到输出5-2,5-0和5-2融合作为第三段的输入得到输出5-3,5-0和5-3融合作为第四段的输入得到输出5-4,5-0和5-4融合作为第五段的输入得到输出5-5,5-0和5-5融合作为第六段输入得到深通道卷积层的输出;
浅通道卷积层包括跳跃链接和7层卷积层,卷积核都是3×3,分成两段,第一段包括一个卷积层,一个激活层,五个卷积、激活层,和一个卷积层,第二段有一个激活层;第一段的第一个卷积层的输出融合最后一个卷积层的输出后,输入第二段得到浅通道卷积层的输出。
6.根据权利要求3所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述(4)中,融合的方法为,将权利要求5所述的深通道卷积层和浅通道卷积层的输出融合后,经过一个卷积核为3×3×128的卷积、激活层和一个卷积核为3×3的卷积层得到尺度并行卷积神经网络模型学习的图像噪声。
7.根据权利要求1所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述步骤二中,多尺度并行卷积神经网络模型训练参数的具体设置为:图像深度设置为1,Adam优化器的学习效率设为0.001,卷积层的padding设置为“SAME”,输入模型的图像块的数量设置为64。
8.根据权利要求1所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述步骤三中,训练集的构建方法具体包括以下步骤,
步骤一,对400幅180×180的标准图像中随机加入高斯白噪声;
步骤二,将每一幅加入高斯白噪声的标准图像裁剪成多张40×40的图像块;
步骤三,对每一个图像块进行上下翻转、任意角度的旋转等操作,最后得到23.84万幅40×40的图像块,形成训练集。
9.根据权利要求1所述的一种基于多尺度并行CNN的图像去噪方法,其特征在于,所述步骤五中,噪声图像与训练图像的大小无关,可以是任意尺寸。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810777558.9A CN109003240B (zh) | 2018-07-16 | 2018-07-16 | 一种基于多尺度并行cnn的图像去噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810777558.9A CN109003240B (zh) | 2018-07-16 | 2018-07-16 | 一种基于多尺度并行cnn的图像去噪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109003240A true CN109003240A (zh) | 2018-12-14 |
CN109003240B CN109003240B (zh) | 2021-07-27 |
Family
ID=64599372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810777558.9A Active CN109003240B (zh) | 2018-07-16 | 2018-07-16 | 一种基于多尺度并行cnn的图像去噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109003240B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109670516A (zh) * | 2018-12-19 | 2019-04-23 | 广东工业大学 | 一种图像特征提取方法、装置、设备及可读存储介质 |
CN109859141A (zh) * | 2019-02-18 | 2019-06-07 | 安徽理工大学 | 一种深立井井壁图像去噪方法 |
CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
CN110189260A (zh) * | 2019-04-15 | 2019-08-30 | 浙江大学 | 一种基于多尺度并行门控神经网络的图像降噪方法 |
CN110211069A (zh) * | 2019-06-03 | 2019-09-06 | 广东工业大学 | 一种图像去噪模型及训练方法、系统、设备、计算机介质 |
CN110458778A (zh) * | 2019-08-08 | 2019-11-15 | 深圳市灵明光子科技有限公司 | 一种深度图像去噪方法、装置及存储介质 |
CN110490824A (zh) * | 2019-08-23 | 2019-11-22 | 广东浪潮大数据研究有限公司 | 图像去噪的方法及装置 |
CN110599409A (zh) * | 2019-08-01 | 2019-12-20 | 西安理工大学 | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 |
CN110610464A (zh) * | 2019-08-15 | 2019-12-24 | 天津中科智能识别产业技术研究院有限公司 | 一种基于稠密残差神经网络的人脸图像超分辨率方法 |
CN110852966A (zh) * | 2019-11-04 | 2020-02-28 | 西北工业大学 | 基于深度卷积神经网络的图像噪声估计方法 |
CN110992285A (zh) * | 2019-11-30 | 2020-04-10 | 温州大学 | 一种基于分层神经网络的图像去雾方法 |
CN111242862A (zh) * | 2020-01-09 | 2020-06-05 | 西安理工大学 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
CN111275643A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 |
CN111292259A (zh) * | 2020-01-14 | 2020-06-16 | 西安交通大学 | 一种综合多尺度与注意力机制的深度学习图像去噪方法 |
CN111724312A (zh) * | 2019-03-22 | 2020-09-29 | Tcl集团股份有限公司 | 一种处理图像的方法及终端 |
CN112381733A (zh) * | 2020-11-13 | 2021-02-19 | 四川大学 | 面向图像恢复的多尺度神经网络结构搜索方法及网络应用 |
CN113034373A (zh) * | 2019-12-24 | 2021-06-25 | 无锡祥生医疗科技股份有限公司 | 超声图像去噪神经网络、去噪方法及超声诊断设备 |
CN113052768A (zh) * | 2019-12-27 | 2021-06-29 | 武汉Tcl集团工业研究院有限公司 | 一种处理图像的方法、终端及计算机可读存储介质 |
WO2021169740A1 (zh) * | 2020-02-28 | 2021-09-02 | Oppo广东移动通信有限公司 | 图像修复方法、装置、计算机设备及存储介质 |
CN116029946A (zh) * | 2023-03-29 | 2023-04-28 | 中南大学 | 基于异构残差注意神经网络模型的图像去噪方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104008537A (zh) * | 2013-11-04 | 2014-08-27 | 无锡金帆钻凿设备股份有限公司 | 结合cs-ct-chmm的噪声图像融合新方法 |
CN104008536A (zh) * | 2013-11-04 | 2014-08-27 | 无锡金帆钻凿设备股份有限公司 | 基于cs-chmt和idpcnn的多聚焦噪声图像融合方法 |
US20160321523A1 (en) * | 2015-04-30 | 2016-11-03 | The Regents Of The University Of California | Using machine learning to filter monte carlo noise from images |
CN106408522A (zh) * | 2016-06-27 | 2017-02-15 | 深圳市未来媒体技术研究院 | 一种基于卷积对神经网络的图像去噪方法 |
CN106599797A (zh) * | 2016-11-24 | 2017-04-26 | 北京航空航天大学 | 一种基于局部并行神经网络的红外人脸识别方法 |
CN106875361A (zh) * | 2017-02-17 | 2017-06-20 | 深圳市唯特视科技有限公司 | 一种基于深度卷积神经网络去除泊松噪声的方法 |
-
2018
- 2018-07-16 CN CN201810777558.9A patent/CN109003240B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104008537A (zh) * | 2013-11-04 | 2014-08-27 | 无锡金帆钻凿设备股份有限公司 | 结合cs-ct-chmm的噪声图像融合新方法 |
CN104008536A (zh) * | 2013-11-04 | 2014-08-27 | 无锡金帆钻凿设备股份有限公司 | 基于cs-chmt和idpcnn的多聚焦噪声图像融合方法 |
US20160321523A1 (en) * | 2015-04-30 | 2016-11-03 | The Regents Of The University Of California | Using machine learning to filter monte carlo noise from images |
CN106408522A (zh) * | 2016-06-27 | 2017-02-15 | 深圳市未来媒体技术研究院 | 一种基于卷积对神经网络的图像去噪方法 |
CN106599797A (zh) * | 2016-11-24 | 2017-04-26 | 北京航空航天大学 | 一种基于局部并行神经网络的红外人脸识别方法 |
CN106875361A (zh) * | 2017-02-17 | 2017-06-20 | 深圳市唯特视科技有限公司 | 一种基于深度卷积神经网络去除泊松噪声的方法 |
Non-Patent Citations (2)
Title |
---|
KAI ZHANG ET AL: "Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
李传朋等: "基于深度卷积神经网络的图像去噪研究", 《计算机工程》 * |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109670516A (zh) * | 2018-12-19 | 2019-04-23 | 广东工业大学 | 一种图像特征提取方法、装置、设备及可读存储介质 |
CN109859141B (zh) * | 2019-02-18 | 2022-05-27 | 安徽理工大学 | 一种深立井井壁图像去噪方法 |
CN109859141A (zh) * | 2019-02-18 | 2019-06-07 | 安徽理工大学 | 一种深立井井壁图像去噪方法 |
CN111724312A (zh) * | 2019-03-22 | 2020-09-29 | Tcl集团股份有限公司 | 一种处理图像的方法及终端 |
CN110189260A (zh) * | 2019-04-15 | 2019-08-30 | 浙江大学 | 一种基于多尺度并行门控神经网络的图像降噪方法 |
CN110189260B (zh) * | 2019-04-15 | 2021-01-26 | 浙江大学 | 一种基于多尺度并行门控神经网络的图像降噪方法 |
CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
CN110211069A (zh) * | 2019-06-03 | 2019-09-06 | 广东工业大学 | 一种图像去噪模型及训练方法、系统、设备、计算机介质 |
CN110599409A (zh) * | 2019-08-01 | 2019-12-20 | 西安理工大学 | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 |
CN110599409B (zh) * | 2019-08-01 | 2022-02-22 | 西安理工大学 | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 |
CN110458778A (zh) * | 2019-08-08 | 2019-11-15 | 深圳市灵明光子科技有限公司 | 一种深度图像去噪方法、装置及存储介质 |
CN110610464A (zh) * | 2019-08-15 | 2019-12-24 | 天津中科智能识别产业技术研究院有限公司 | 一种基于稠密残差神经网络的人脸图像超分辨率方法 |
CN110490824A (zh) * | 2019-08-23 | 2019-11-22 | 广东浪潮大数据研究有限公司 | 图像去噪的方法及装置 |
CN110852966A (zh) * | 2019-11-04 | 2020-02-28 | 西北工业大学 | 基于深度卷积神经网络的图像噪声估计方法 |
CN110992285B (zh) * | 2019-11-30 | 2022-05-20 | 温州大学 | 一种基于分层神经网络的图像去雾方法 |
CN110992285A (zh) * | 2019-11-30 | 2020-04-10 | 温州大学 | 一种基于分层神经网络的图像去雾方法 |
CN113034373A (zh) * | 2019-12-24 | 2021-06-25 | 无锡祥生医疗科技股份有限公司 | 超声图像去噪神经网络、去噪方法及超声诊断设备 |
CN113052768A (zh) * | 2019-12-27 | 2021-06-29 | 武汉Tcl集团工业研究院有限公司 | 一种处理图像的方法、终端及计算机可读存储介质 |
CN113052768B (zh) * | 2019-12-27 | 2024-03-19 | 武汉Tcl集团工业研究院有限公司 | 一种处理图像的方法、终端及计算机可读存储介质 |
CN111242862B (zh) * | 2020-01-09 | 2022-02-22 | 西安理工大学 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
CN111242862A (zh) * | 2020-01-09 | 2020-06-05 | 西安理工大学 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
CN111292259A (zh) * | 2020-01-14 | 2020-06-16 | 西安交通大学 | 一种综合多尺度与注意力机制的深度学习图像去噪方法 |
CN111275643A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 |
WO2021169740A1 (zh) * | 2020-02-28 | 2021-09-02 | Oppo广东移动通信有限公司 | 图像修复方法、装置、计算机设备及存储介质 |
CN112381733A (zh) * | 2020-11-13 | 2021-02-19 | 四川大学 | 面向图像恢复的多尺度神经网络结构搜索方法及网络应用 |
CN112381733B (zh) * | 2020-11-13 | 2022-07-01 | 四川大学 | 面向图像恢复的多尺度神经网络结构搜索方法及网络应用 |
CN116029946A (zh) * | 2023-03-29 | 2023-04-28 | 中南大学 | 基于异构残差注意神经网络模型的图像去噪方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109003240B (zh) | 2021-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109003240A (zh) | 一种基于多尺度并行cnn的图像去噪方法 | |
CN114140353B (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 | |
Zhang et al. | Image restoration using joint statistical modeling in a space-transform domain | |
CN109118435A (zh) | 一种基于PReLU的深度残差卷积神经网络图像去噪方法 | |
Bertalmio et al. | Simultaneous structure and texture image inpainting | |
CN109754391A (zh) | 一种图像质量评价方法、装置及电子设备 | |
Wang et al. | A hybrid model for image denoising combining modified isotropic diffusion model and modified Perona-Malik model | |
CN109214990A (zh) | 一种基于Inception模型的深度卷积神经网络图像去噪方法 | |
CN109948573A (zh) | 一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法 | |
CN109410149A (zh) | 一种基于并行特征提取的cnn去噪方法 | |
CN106331433A (zh) | 基于深度递归神经网络的视频去噪方法 | |
CN106204482A (zh) | 基于加权稀疏的混合噪声去除方法 | |
CN107343196A (zh) | 一种混合失真无参考图像质量评价方法 | |
CN113128583B (zh) | 基于多尺度机制和残差注意力的医学图像融合方法及介质 | |
CN114240797A (zh) | 一种oct图像去噪方法、装置、设备及介质 | |
CN111489300B (zh) | 基于无监督学习的屏幕图像去摩尔纹方法 | |
Watkins et al. | Image compression: Sparse coding vs. bottleneck autoencoders | |
Seetharaman et al. | Retracted: A novel approach in hybrid median filtering for denoising medical images | |
CN111080540A (zh) | 一种图像修复模型的训练方法和计算机设备 | |
Sheng et al. | SRNet: Sparse representation-based network for image denoising | |
Cai et al. | Contextual-assisted scratched photo restoration | |
Zeng et al. | Denoising stochastic progressive photon mapping renderings using a multi-residual network | |
CN109993701A (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 | |
Kumar et al. | Image denoising based on fractional gradient vector flow and overlapping group sparsity as priors | |
CN106683129B (zh) | 一种基于双边核回归的相对约减纹理分解方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |