CN111915513B - 一种基于改进的自适应神经网络的图像去噪方法 - Google Patents
一种基于改进的自适应神经网络的图像去噪方法 Download PDFInfo
- Publication number
- CN111915513B CN111915513B CN202010660791.6A CN202010660791A CN111915513B CN 111915513 B CN111915513 B CN 111915513B CN 202010660791 A CN202010660791 A CN 202010660791A CN 111915513 B CN111915513 B CN 111915513B
- Authority
- CN
- China
- Prior art keywords
- network
- layer
- convolution
- gan
- convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 31
- 230000003044 adaptive effect Effects 0.000 title claims description 13
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000017105 transposition Effects 0.000 claims description 17
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000008034 disappearance Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 abstract description 8
- 238000013527 convolutional neural network Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于改进的自适应神经网络的图像去噪方法，首先，收集无噪声的图片和被噪声污染过的图片形成数据集，并对数据集进行预处理；其次，搭建并训练Cycle‑GAN网络，并在Cycle‑GAN网络后连接U型神经网络,将整体的网络命名为Cycle‑GAN‑Unet网络；对搭建完成的网络进行训练；将卷积神经网络的损失函数同Cycle‑GAN的损失函数相加；最后，将整个训练好网络的输出使用滤波器进行最后的去噪得到去噪的图像。本发明训练数据的图像不需要一一对应的标注，只需要一组无噪图像和一组有噪图像即可，最终训练好的系统就可对新输入的有噪声图像进行降噪输出无噪图像，并且相比于单独的Cycle‑GAN网络有更好的降噪能力。
Description
技术领域
本发明专利属于计算机视觉领域，具体涉及一种基于改进的自适应神经网络的图像去噪方法。
背景技术
图像处理一直计算机领域热门的研究话题，而图像的去噪则是前提条件，我们需要获得清晰的图片以方便下一步的操作。近年来，神经网络的兴起给人工智能界注入了全新的活力，神经网络强大的拟合能力几乎可以拟合任何复杂到原来都不能想象的函数。而在计算机视觉领域，卷积神经网络的提出更是奠基性的，它提取图像特征的能力是目前没有别的方法能及的，相比于传统的图像处理例如滤波器的去噪方法，神经网络有着更强的普适性，一个网络可以应对各种滤波，这正是因为神经网络能拟合复杂的函数，一个函数产生噪声从通常来说是因为引入了一个未知的退化函数和加性噪声，而神经网络的强大就能无线逼近这样的退化函数，这是传统滤波器不能比的。
上海联影医疗科技有限公司在其申请的专利文献“一种图像降噪的方法和装置”(专利申请号201210588033.3，授权公告号103903227B)设计了一种基于加权平均值的平滑处理，他对这样的方法做了进一步的后续处理，使得图像处理结果不仅仅像平均值处理那么简单，他还引入了权重图像，基于权重图像可以在原平均值图像的基础上进行更有效的处理和降噪，使得效果更加好。但是可以看出这样的人工设定的传统方法也是基于人的直觉和经验来做出的调整，效果上的确有所改善，但是实际上的噪声是千变万化的，无论手工设计多少的改进都无法应对复杂的场景，多噪声的混合一定会让这种方法出现瑕疵。
发明内容
发明目的：本发明为了解决传统图像去噪方法不能应对复杂噪声提出一种基于改进的自适应神经网络的图像去噪方法，面对被多种噪声混合污染的图像，也有很好的去噪效果。
技术方案：本发明所述的一种基于改进的自适应神经网络的图像去噪方法，包括如下步骤：
(1)收集无噪声的图片和被噪声污染过的图片分别形成数据集，并对数据集进行预处理；
(2)搭建并训练Cycle-GAN网络：需要搭建两个生成网络两个判别网络，一个生成网络和一个判别网络组成一个GAN网络，一个GAN网络用来把数据A映射到数据B，另一个GAN网络把数据B映射回数据A，两个GAN网络结构相同；
(3)搭建卷积U型神经网络：在由数据A映射到数据B的GAN网络后面连接一个采用U型网络设计的神经网络；
(4)先对Cycle-GAN部分进行训练，设置一个alpha阈值，当训练超过一定步数还无法达到网络进行自适应调整，增加残差块；当训练达到目标要求后，Cycle-GAN网络训练好，再将U型网络的损失函数加到Cycle-GAN网络的后面形成总损失函数进行联合训练，将加入U型网络的网络命名为Cycle-GAN-Unet网络，给予U型网络损失函数较小权重，通常可选取1e-3甚至更小；
(5)设定一个beta阈值，对于一个新的带噪图片，若图片处理结果的损失函数值超过beta阈值则使用传统滤波器进行最后的修正；若损失函数没超过阈值则不再用传统滤波器处理。
进一步地，步骤(1)所述的预处理主要对数据集进行增强及归一化处理。
进一步地，所述步骤(2)包括以下步骤：
(22)生成网络中包括一个conv1卷积层，conv2卷积层，conv3卷积层，N个残差块，N的个数由模型自适应改变，初值设为3，上限为9个残差块，transposeconv1转置卷积层，transposeconv2转置卷积层，conv4卷积层，conv5卷积层；
(22)采用残差模块将深一层的特征与浅层特征融合，同时加深网络深度而不出现梯度消失的现象，使得网络更加的强大和可训练，其主要由以下几层组成：res_conv1卷积层，res_conv2卷积层，然后和未经这两层卷积的输入直接进行通道的拼接；
(23)判别网络包括conv1卷积层，conv2卷积层，conv3卷积层，conv4卷积层，conv5卷积层；
(24)参数设置方面：生成网络的conv1和conv5卷积核为7*7大小，conv4卷积核为1*1，conv2,conv3卷积核大小都为3*3，步长为2，transposeconv1,transposeconv2卷积核大小为4*4，步长为2；输出通道数上，conv1,conv2,conv3,conv4,conv5分别为64，128，256，64，3；transposeconv1,transposeconv2为128，64；残差模块res_conv1,resconv2卷积核为3*3，通道数都为256；生成网络所有卷积核大小都选择4*4，通道数分别为64，128，256，512，1，并且除了conv5所有卷积层步长都为2；
(25)生成网络中的除了conv5卷积层，其它卷积层包括残差快中的卷积层除了包含卷积以外，后面接着InstanceNormalization归一化层和ReLU激活层，conv5卷积层则是后面接着InstanceNormalization归一化层和Tanh激活层；判别网络除了conv5卷积层，其余卷积层除了普通卷积后面都接着InstanceNormalization归一化层和LeakyReLU激活层，超参数设置为0.2，conv5卷积层则除了卷积没有额外的层。
进一步地，所述步骤(3)包括以下步骤：
(31)U型网络包含conv1卷积层，conv2卷积层，conv3卷积层，conv4卷积层，conv5卷积层，conv6卷积层，conv7卷积层，conv8卷积层，conv9卷积层，conv10卷积层，conv11卷积层，conv12卷积层，conv13卷积层，conv14卷积层，transposeconv1转置卷积层，conv15卷积层，conv16卷积层，transposeconv2转置卷积层，conv17卷积层，conv18卷积层，transposeconv3转置卷积层，conv19卷积层，conv20卷积层，transposeconv4转置卷积层，conv21卷积层，conv22卷积层，conv23卷积层；
(32)跳跃连接部分，conv2卷积层的输出通道拼接到transposeconv4转置卷积层的输出上，conv5卷积层的输出通道拼接到transposeconv3转置卷积层的输出上，conv8卷积层的输出通道拼接到transposeconv2转置卷积层的输出上，conv11卷积层的输出通道拼接到transposeconv1转置卷积层的输出上；
(33)参数部分，conv1，conv2，conv4，conv5，conv7，conv8，conv10，conv11，conv13，conv14，conv16，conv17，conv19，conv20，conv22，conv23，conv25，conv26卷积层卷积核大小都为3*3，输出通道数分别为64，64，128，128，256，256，512，512，1024，1024，512，512，256，256，128，128，64，64；conv27卷积层卷积核大小为1*1，输出通道数为原图通道数；conv3，conv6，conv9，conv12卷积层卷积核大小为3*3，步长为2，输出通道数分别为64，128，256，512；transposeconv1，transposeconv2，transposeconv3，transposeconv4转置卷积层卷积核大小为4*4，步长为2，输出通道数分别为512，256，128，64；
(34)除了conv27卷积层，其余所有卷积层除了第一个卷积操作还连接着BatchNormalization层和ReLU激活层。
进一步地，所述步骤(4)包括以下步骤：
(41)将准备好的无噪声图片数据集和有噪声图片数据集喂入Cycle-GAN网络；
(42)设定训练准确度的alpha阈值；
(43)单独训练Cycle-GAN，等待自适应GAN网络自动调整训练好，若网络如何调整都无法达到alpha阈值，可适当降低alpha阈值，即重复步骤(42)；若达到阈值则进行(44)；
(44)将Cycle-GAN网络的损失函数加上U型网络的损失函数即得到Cycle-GAN-Unet网络的损失函数；
(45)对Cycle-GAN-Unet网络的损失函数进行训练，此时给予U型网络损失函数1e-3甚至可以更小的权重；
(46)将Cycle-GAN网络种由数据A映射为数据B的GAN网络的输出作为U型网络的输入，并对该输入引入随机噪声；
(47)等待loss稳定后，Cycle-GAN-Unet网络训练完毕。
有益效果：与现有技术相比，本发明的有益效果：
1、相较于监督学习需要一一对应的标注，本方法不需要有一一对应的数据和数据标注，只需要有有噪声的图片数据集和无噪声图片数据集两种数据集就可训练，大大节约了手机数据的时间和成本；
2、利用了神经网络的强大能力，相比较于传统方法和较简单的神经网络结构，具有强大的鲁棒性，引入的自适应结构和残差结构以及U型结构能很好的让网络捕获深层次的特征信息，并与浅层信息融合进行分析，使得模型的拟合能力大大增强，对于多噪声混合的图片也具有很强的降噪能力；
3、改进了神经网络结构，将U型网络中涉及到的下采样步骤用最大池化换成步长卷积进行下采样，这样网络就能够自行学习下采样种的操作而非如最大池化这样的人工指定下采样操作，使得网络具有更加强大的学习能力；同时GAN网络生成器部分还引入适合处理噪声模型的1*1卷积使得模型对噪声更加敏感。
附图说明
图1为本发明的流程图；
图2是整个去噪方法的简单示意图；
图3是改进Cycle-GAN结构示意图；
图4是Cycle-GAN的Generator结构示意图；
图5是Cycle-GAN的Discriminator结构示意图；
图6是U型网络结构示意图；
图7是训练过程流程图；
图8是推理过程示意图。
具体实施方式
下面结合附图对本发明作进一步详细描述。
本发明应用了最近流行的生成对抗网络对图像进行变换以及卷积神经网络对图像特征进行提取，以及传统的图像滤波器对图像进行过滤。如图1所示，本发明提供一种基于改进的自适应神经网络的图像去噪方法，具体包括以下步骤：
步骤1：收集无噪声的图片和被噪声污染过的图片形成数据集，并对数据集进行预处理。
现在需要实现对较为老旧的图片进行修复，即对老照片上的噪声进行消除。从网上以及周围人手中搜集意见带有噪声的老照片，越多越好，同时再搜集一些近几年或者网上的清晰无噪声的图片和照片。然后将带噪声的数据按照8：2分割成训练集和测试集，测试集用来测试当网络训练好后网络降噪的能力；不带噪声的数据集无需分割，到时与80％的带噪声数据集一同喂入Cycle-GAN网络进行训练。
对现收集到的图像进行图像增强，进行随机剪裁以及随机的旋转，还有亮度的变化即可。这样做可以让数据集的数量翻倍，也可以让模型见识数据的多样性更加的丰富，有助于模型能力的提升。同时还要把图片数据归一化到[-1,1]方便训练。
步骤2：搭建并训练Cycle-GAN网络：需要搭建两个生成网络两个判别网络，一个生成网络和一个判别网络组成一个GAN网络，一个GAN网络用来把数据A映射到数据B，另一个GAN网络把数据B映射回数据A，两个GAN网络结构相同。
整个图像去噪构成如图2所示，先搭建神经网络种改进的Cycle-GAN部分，如图3所示，具体步骤如下：
①生成网络中包括一个conv1卷积层，conv2卷积层，conv3卷积层，N个残差块(N的个数由模型自适应改变，初值设为3，如果最终网络训练精度不够则自动增加1个，设置上限为9个残差块)，transposeconv1转置卷积层,transposeconv2转置卷积层，conv4卷积层，conv5卷积层。生成网络添加conv4卷积层，卷积核为1*1的目的在于提取单像素通道之间的关系，由于噪声通常比较分散，是独立的单像素，因此添加此卷积层有利于噪声的提取，对于成片的噪声，最后一个大卷积核的大感受野也可以兼顾到。生成网络结构如图4所示。
②残差模块用于将深一层的特征与浅层特征融合，同时也可加深网络深度而不出现梯度消失的现象，使得网络更加的强大和可训练，其主要由以下几层组成：res_conv1卷积层，res_conv2卷积层，然后和未经这两层卷积的输入直接进行通道的拼接。
③判别网络结构简练，包括conv1卷积层，conv2卷积层，conv3卷积层，conv4卷积层，conv5卷积层。判别网络结构如图5所示。
④参数设置方面，生成网络的conv1和conv5卷积核为7*7大小，conv4卷积核为1*1，conv2,conv3卷积核大小都为3*3，步长为2，transposeconv1,transposeconv2卷积核大小为4*4，步长为2。输出通道数上，conv1,conv2,conv3,conv4,conv5分别为64，128，256，64，3。transposeconv1,transposeconv2为128，64。残差模块res_conv1,resconv2卷积核为3*3，通道数都为256。生成网络所有卷积核大小都选择4*4，通道数分别为64，128，256，512，1，并且除了conv5所有卷积层步长都为2。
⑤生成网络中的除了conv5卷积层，其它卷积层包括残差快中的卷积层除了包含卷积以外，后面接着InstanceNormalization归一化层和ReLU激活层，conv5卷积层则是后面接着InstanceNormalization归一化层和Tanh激活层。判别器网络除了conv5卷积层，其余卷积层除了普通卷积后面都接着InstanceNormalization归一化层和LeakyReLU激活层，超参数设置为0.2，conv5卷积层则除了卷积没有额外的层。
步骤3：搭建卷积U型神经网络(Unet)：在由数据A映射到数据B的GAN网络后面连接一个采用U型网络设计的神经网络。
搭建如图6所示的U型网络结构，步骤如下：
①U型网络包含conv1卷积层，conv2卷积层，conv3卷积层，conv4卷积层，conv5卷积层，conv6卷积层，conv7卷积层，conv8卷积层，conv9卷积层，conv10卷积层，conv11卷积层，conv12卷积层，conv13卷积层，conv14卷积层，transposeconv1转置卷积层，conv15卷积层，conv16卷积层，transposeconv2转置卷积层，conv17卷积层，conv18卷积层，transposeconv3转置卷积层，conv19卷积层，conv20卷积层，transposeconv4转置卷积层，conv21卷积层，conv22卷积层，conv23卷积层。
②跳跃连接部分，conv2卷积层的输出通道拼接到transposeconv4转置卷积层的输出上，conv5卷积层的输出通道拼接到transposeconv3转置卷积层的输出上，conv8卷积层的输出通道拼接到transposeconv2转置卷积层的输出上，conv11卷积层的输出通道拼接到transposeconv1转置卷积层的输出上。
③参数部分，conv1，conv2，conv4，conv5，conv7，conv8，conv10，conv11，conv13，conv14，conv16，conv17，conv19，conv20，conv22，conv23，conv25，conv26卷积层卷积核大小都为3*3，输出通道数分别为64，64，128，128，256，256，512，512，1024，1024，512，512，256，256，128，128，64，64。conv27卷积层卷积核大小为1*1，输出通道数为原图通道数。conv3，conv6，conv9，conv12卷积层卷积核大小为3*3，步长为2，输出通道数分别为64，128，256，512。transposeconv1，transposeconv2，transposeconv3，transposeconv4转置卷积层卷积核大小为4*4，步长为2，输出通道数分别为512，256，128，64。
④除了conv27卷积层，其余所有卷积层除了第一个卷积操作还跟着BatchNormalization层和ReLU激活层。
步骤4：先对Cycle-GAN部分进行训练，设置一个alpha阈值(即Cycle-GAN网络损失函数的一个期望值)，当训练超过一定步数还无法达到网络进行自适应调整，增加残差块；当训练达到目标要求后，Cycle-GAN网络训练好，再将U型网络的损失函数加到Cycle-GAN网络的后面形成总损失函数进行联合训练，将加入U型网络的网络命名为Cycle-GAN-Unet网络，给予U型网络损失函数较小权重，通常可选取1e-3甚至更小。如图7所示，具体包括以下步骤：
①将准备好的两组数据集(即无噪声图片组和有噪声图片组)喂入Cycle-GAN网络。
②设定训练准确度的alpha阈值。
③单独训练Cycle-GAN，等待自适应GAN网络自动调整训练好，若网络如何调整都无法达到阈值，可适当降低alpha阈值，即重复步骤2。若达到alpha阈值则进行下一步。
④将Cycle-GAN网络的损失函数加上U型网络的损失函数即得到Cycle-GAN-Unet网络的损失函数。
⑤对Cycle-GAN-Unet网络的损失函数进行训练，此时给予U型网络损失函数比较小的权重通常为1e-3甚至更小。
给U型网络损失函数权重较小的原因在于，由于U型网络的损失函数用的是输入和输出的MSE，根据我的实验显示当单纯的使用U型网络及MSE损失进行图像降噪网络的训练，最终显示的图像结果会变得模糊，因此联合损失函数中MSE权值过大会导致去噪图像变得模糊，因此取较小权值仅仅取到修正平滑图像的作用，本方法主要的去噪工作已经在Cycle-GAN中完成。
⑥将Cycle-GAN由数据A映射为数据B的输出作为U型网络的输入，并对改输入引入随机噪声(高斯噪声，椒盐噪声等等混合)。引入噪声的操作在此阶段去除，只在训练阶段添加。
⑦等待loss稳定后，Cycle-GAN-Unet网络训练完毕。此时的网络对于新输入的图片数据，输出的就是经过比较好的降噪处理的图片。
使用Adam优化器，学习率0.0002开始训练，学习率每100轮衰减为原来的1/2。然后就开始训练直至结束，期间每100轮算法会检查有没有到达阈值，如果没有则会自动增加残差块继续进行训练，直到到达阈值或者残差块添加到了9个的时候，训练自动结束。此时的网已经络拥有很强的去噪能力。
将U型网络部分加入网络的训练中，即将U型网络的损失函数加到总损失函数中。U型网络损失函数给予权重0.01，优化器继续使用Adam，学习率0.0002，训练轮数自定义，这里定义为200轮。此时总损失函数的形式如下：
L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)+βLmse(G(X),X_hat)
LGAN(G,DY,X,Y)＝Ey～pdata(y)[logDY(y)]+Ex～pdata(x)[log(1-DY(G(x)))]
Lcyc(G,F)＝Ex～pdata(x)[||F(G(x))-x||]+Ey～pdata(y)[||G(F(y))-y||]
Lmse＝Ex～pdata(x)[||G(x)-x_hat||]
其中，LGAN(G,DY,X,Y)表示把数据集从A映射到B的GAN网络的损失函数，G表生成网络，DY表示判别网络，X代表数据集A(即有噪声图片集)，Y代表X经过生成网络G生成的数据集；LGAN(F,DX,Y,X)代表把数据集从B映射到A的GAN网络的损失函数，F表示生成网络，DX代表判别网络，Y代表数据集B(即无噪声图片集)，X代表经过生成网络F生成的数据集；Lcyc(G,F)表示Cycle-GAN的循环损失函数，G代表将数据集A映射到数据集B的GAN网络中的生成网络，F则代表另一个GAN网络种的生成网络；引入这样的损失的目的在于确保A到B的映射要一对一，不能出现多个数据集A中多个数据都映射为同一个B中数据；Lmse则表示U型网络的损失函数，x_hat代表U型网络的输出结果；λ表示Lcyc(G,F)的权重，可以选取10；γ表示Lmse的权重，可以选取1e-3或更小。
步骤5：设定一个beta阈值，对于一个新的带噪图片，若图片处理结果的损失函数值超过beta阈值则使用传统滤波器进行最后的修正；若损失函数没超过阈值则不再用传统滤波器处理。
使用之前分割出来的测试集的噪声图片输入Cycle-GAN-Unet网络中，得到去噪的结果，此时设定一个beta阈值，如果某个测试图片的loss大于beta阈值则利用传统滤波器的中值滤波器进行最后的小修正。最终得到最后去噪完成的老照片，虽然没有对照片进行专门的超分辨率操作，但是去噪完成后的老照片没有了噪声干扰显得更加清晰。用训练好的网络对新的带噪图片去噪的推理过程如图8所示。
Claims (5)
1.一种基于改进的自适应神经网络的图像去噪方法，其特征在于，包括以下步骤：
(1)收集无噪声的图片和被噪声污染过的图片分别形成数据集，并对数据集进行预处理；
(2)搭建并训练Cycle-GAN网络：需要搭建两个生成网络两个判别网络，一个生成网络和一个判别网络组成一个GAN网络，一个GAN网络用来把数据A映射到数据B，另一个GAN网络把数据B映射回数据A，两个GAN网络结构相同；
(3)搭建卷积U型神经网络：在由数据A映射到数据B的GAN网络后面连接一个采用U型网络设计的神经网络；
(4)先对Cycle-GAN部分进行训练，设置一个alpha阈值，当训练超过一定步数还无法达到网络进行自适应调整，增加残差块；当训练达到目标要求后，Cycle-GAN网络训练好，再将U型网络的损失函数加到Cycle-GAN网络的后面形成总损失函数进行联合训练，将加入U型网络的网络命名为Cycle-GAN-Unet网络，给予U型网络损失函数较小权重，通常可选取1e-3甚至更小；
(5)设定一个beta阈值，对于一个新的带噪图片，若图片处理结果的损失函数值超过beta阈值则使用传统滤波器进行最后的修正；若损失函数没超过阈值则不再用传统滤波器处理。
2.根据权利要求1所述的一种基于改进的自适应神经网络的图像去噪方法，其特征在于，步骤(1)所述的预处理主要对数据集进行增强及归一化处理。
3.根据权利要求1所述的一种基于改进的自适应神经网络的图像去噪方法，其特征在于，所述步骤(2)包括以下步骤：
(21)生成网络中包括一个conv1卷积层，conv2卷积层，conv3卷积层，N个残差块，N的个数由模型自适应改变，初值设为3，上限为9个残差块，transposeconv1转置卷积层，transposeconv2转置卷积层，conv4卷积层，conv5卷积层；
(22)采用残差模块将深一层的特征与浅层特征融合，同时加深网络深度而不出现梯度消失的现象，使得网络更加的强大和可训练，其主要由以下几层组成：res_conv1卷积层，res_conv2卷积层，然后和未经这两层卷积的输入直接进行通道的拼接；
(23)判别网络包括conv1卷积层，conv2卷积层，conv3卷积层，conv4卷积层，conv5卷积层；
(24)参数设置方面：生成网络的conv1和conv5卷积核为7*7大小，conv4卷积核为1*1，conv2,conv3卷积核大小都为3*3，步长为2，transposeconv1,transposeconv2卷积核大小为4*4，步长为2；输出通道数上，conv1,conv2,conv3,conv4,conv5分别为64，128，256，64，3；transposeconv1,transposeconv2为128，64；残差模块res_conv1,resconv2卷积核为3*3，通道数都为256；生成网络所有卷积核大小都选择4*4，通道数分别为64，128，256，512，1，并且除了conv5所有卷积层步长都为2；
(25)生成网络中的除了conv5卷积层，其它卷积层包括残差快中的卷积层除了包含卷积以外，后面接着InstanceNormalization归一化层和ReLU激活层，conv5卷积层则是后面接着InstanceNormalization归一化层和Tanh激活层；判别网络除了conv5卷积层，其余卷积层除了普通卷积后面都接着InstanceNormalization归一化层和LeakyReLU激活层，超参数设置为0.2，conv5卷积层则除了卷积没有额外的层。
4.根据权利要求1所述的一种基于改进的自适应神经网络的图像去噪方法，其特征在于，所述步骤(3)包括以下步骤：
(31)U型网络包含conv1卷积层，conv2卷积层，conv3卷积层，conv4卷积层，conv5卷积层，conv6卷积层，conv7卷积层，conv8卷积层，conv9卷积层，conv10卷积层，conv11卷积层，conv12卷积层，conv13卷积层，conv14卷积层，transposeconv1转置卷积层，conv15卷积层，conv16卷积层，transposeconv2转置卷积层，conv17卷积层，conv18卷积层，transposeconv3转置卷积层，conv19卷积层，conv20卷积层，transposeconv4转置卷积层，conv21卷积层，conv22卷积层，conv23卷积层；
(32)跳跃连接部分，conv2卷积层的输出通道拼接到transposeconv4转置卷积层的输出上，conv5卷积层的输出通道拼接到transposeconv3转置卷积层的输出上，conv8卷积层的输出通道拼接到transposeconv2转置卷积层的输出上，conv11卷积层的输出通道拼接到transposeconv1转置卷积层的输出上；
(33)参数部分，conv1，conv2，conv4，conv5，conv7，conv8，conv10，conv11，conv13，conv14，conv16，conv17，conv19，conv20，conv22，conv23，conv25，conv26卷积层卷积核大小都为3*3，输出通道数分别为64，64，128，128，256，256，512，512，1024，1024，512，512，256，256，128，128，64，64；conv27卷积层卷积核大小为1*1，输出通道数为原图通道数；conv3，conv6，conv9，conv12卷积层卷积核大小为3*3，步长为2，输出通道数分别为64，128，256，512；transposeconv1，transposeconv2，transposeconv3，transposeconv4转置卷积层卷积核大小为4*4，步长为2，输出通道数分别为512，256，128，64；
(34)除了conv27卷积层，其余所有卷积层除了第一个卷积操作还连接着BatchNormalization层和ReLU激活层。
5.根据权利要求1所述的一种基于改进的自适应神经网络的图像去噪方法，其特征在于，所述步骤(4)包括以下步骤：
(41)将准备好的无噪声图片数据集和有噪声图片数据集喂入Cycle-GAN网络；
(42)设定训练准确度的alpha阈值；
(43)单独训练Cycle-GAN，等待自适应GAN网络自动调整训练好，若网络如何调整都无法达到alpha阈值，可适当降低alpha阈值，即重复步骤(42)；若达到阈值则进行(44)；
(44)将Cycle-GAN网络的损失函数加上U型网络的损失函数即得到Cycle-GAN-Unet网络的损失函数；
(45)对Cycle-GAN-Unet网络的损失函数进行训练，此时给予U型网络损失函数1e-3甚至可以更小的权重；
(46)将Cycle-GAN网络种由数据A映射为数据B的GAN网络的输出作为U型网络的输入，并对该输入引入随机噪声；
(47)等待loss稳定后，Cycle-GAN-Unet网络训练完毕。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010660791.6A CN111915513B (zh) | 2020-07-10 | 2020-07-10 | 一种基于改进的自适应神经网络的图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010660791.6A CN111915513B (zh) | 2020-07-10 | 2020-07-10 | 一种基于改进的自适应神经网络的图像去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111915513A CN111915513A (zh) | 2020-11-10 |
| CN111915513B true CN111915513B (zh) | 2022-07-26 |
Family
ID=73227984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010660791.6A Active CN111915513B (zh) | 2020-07-10 | 2020-07-10 | 一种基于改进的自适应神经网络的图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111915513B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529929A (zh) * | 2020-12-07 | 2021-03-19 | 北京邮电大学 | 一种基于全卷积稠密网络的人像抠图方法 |
| CN112861712B (zh) * | 2021-02-06 | 2022-08-02 | 郑州师范学院 | 基于人工智能与多时相遥感的农业病虫害监测方法 |
| CN113191972B (zh) * | 2021-04-27 | 2023-04-14 | 西安交通大学 | 一种轻量真实图像去噪的神经网络设计及训练方法 |
| CN113449622A (zh) * | 2021-06-20 | 2021-09-28 | 石河子大学 | 一种棉株和杂草的图像分类识别检测方法 |
| CN114511475B (zh) * | 2022-04-21 | 2022-08-02 | 天津大学 | 一种基于改进Cycle GAN的图像生成方法 |
| CN115936985A (zh) * | 2022-12-01 | 2023-04-07 | 华中光电技术研究所(中国船舶集团有限公司第七一七研究所) | 一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204467B (zh) * | 2016-06-27 | 2021-07-09 | 深圳市未来媒体技术研究院 | 一种基于级联残差神经网络的图像去噪方法 |
| CN106408522A (zh) * | 2016-06-27 | 2017-02-15 | 深圳市未来媒体技术研究院 | 一种基于卷积对神经网络的图像去噪方法 |
| US11532073B2 (en) * | 2018-03-29 | 2022-12-20 | Pixar | Temporal techniques of denoising Monte Carlo renderings using neural networks |
| CN110020684B (zh) * | 2019-04-08 | 2021-01-29 | 西南石油大学 | 一种基于残差卷积自编码网络的图像去噪方法 |
| CN110648292B (zh) * | 2019-09-11 | 2022-06-21 | 昆明理工大学 | 一种基于深度卷积网络的高噪声图像去噪方法 |
-
2020
- 2020-07-10 CN CN202010660791.6A patent/CN111915513B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111915513A (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111915513B (zh) | 一种基于改进的自适应神经网络的图像去噪方法 | |
| CN111311518B (zh) | 基于多尺度混合注意力残差网络的图像去噪方法及装置 | |
| CN111612722B (zh) | 基于简化Unet全卷积神经网络的低照度图像处理方法 | |
| CN111260591B (zh) | 一种基于注意力机制的图像自适应去噪方法 | |
| CN110570377A (zh) | 一种基于组归一化的快速图像风格迁移方法 | |
| CN112308803B (zh) | 一种基于深度学习的自监督低照度图像增强及去噪方法 | |
| CN113450290B (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
| CN111696033B (zh) | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 | |
| CN113052814B (zh) | 基于Retinex和注意力机制的暗光图像增强方法 | |
| CN112507617A (zh) | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 | |
| CN111563854B (zh) | 用于水下图像增强处理的粒子群优化方法 | |
| CN116109509A (zh) | 基于逐像素伽马矫正的实时低光照图像增强方法及系统 | |
| CN117422653A (zh) | 一种基于权重共享和迭代数据优化的低光照图像增强方法 | |
| CN111369451B (zh) | 一种基于复杂任务分解正则化的图像复原模型、方法及设备 | |
| CN107729885A (zh) | 一种基于多重残差学习的人脸增强方法 | |
| CN110177229B (zh) | 基于多任务对抗学习的视频转换方法、存储介质及终端 | |
| He et al. | Low-light image enhancement combined with attention map and u-net network | |
| CN111161189A (zh) | 一种基于细节弥补网络的单幅图像再增强方法 | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| CN113837963A (zh) | 基于深度网络在lab颜色空间下的水下图像增强方法 | |
| CN113781333A (zh) | 一种基于引导滤波的gan网络对水下图像进行处理的方法 | |
| CN106952243A (zh) | Uuv近海面红外图像自适应归并直方图拉伸增强方法 | |
| CN114897718B (zh) | 一种能同时平衡上下文信息和空间细节的低光图像增强方法 | |
| CN117788303B (zh) | 基于自适应直方图与g-msrcr的水下图像增强的方法 | |
| CN114511462B (zh) | 一种视觉图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |