CN113379641B - 一种基于自编码卷积神经网络的单幅图像去雨方法及系统 - Google Patents

一种基于自编码卷积神经网络的单幅图像去雨方法及系统 Download PDF

Info

Publication number
CN113379641B
CN113379641B CN202110714021.XA CN202110714021A CN113379641B CN 113379641 B CN113379641 B CN 113379641B CN 202110714021 A CN202110714021 A CN 202110714021A CN 113379641 B CN113379641 B CN 113379641B
Authority
CN
China
Prior art keywords
rain
layer
image
neural network
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110714021.XA
Other languages
English (en)
Other versions
CN113379641A (zh
Inventor
盖杉
支援
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202110714021.XA priority Critical patent/CN113379641B/zh
Publication of CN113379641A publication Critical patent/CN113379641A/zh
Application granted granted Critical
Publication of CN113379641B publication Critical patent/CN113379641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于自编码卷积神经网络的单幅图像去雨方法及系统。该方法包括：训练基于自编码卷积神经网络的去雨模型；基于自编码卷积神经网络的去雨模型包括输入层、隐含层以及输出层；隐含层包括4层卷积层以及4层反卷积层；改进卷积层与卷积层之间、反卷积层与反卷积层之间的激活函数；利用跳转连接，在卷积层与反卷积层之间添加权重系数；将待去雨的有雨图像分解为低频基础层以及高频细节层；利用基于自编码卷积神经网络的去雨模型对高频细节层进行去雨处理，生成去雨后的高频细节层；增强去雨后的高频细节层，生成增强后的高频细节层；根据低频基础层与增强后的高频细节层确定去雨后的图像。本发明能够提高去雨效果、解决梯度消失的问题。

Description

一种基于自编码卷积神经网络的单幅图像去雨方法及系统
技术领域
本发明涉及图像处理领域，特别是涉及一种基于自编码卷积神经网络的单幅图像去雨方法及系统。
背景技术
随着信息科学技术的快速发展，人类社会的信息化程度加深，在人类获取外界的信息中，百分之八十的信息是通过视觉获取的，同时图像信息由于具备传输速度快、作用距离长和信息量大等优点，已成为人类获取信息的重要来源。雨天拍摄的图像中雨滴和雨雾的存在会降低图像的质量，并且雨线会遮挡实际需要分析的对象，导致算法无法达到理想环境下的性能，因此图像去雨一直是计算机视觉和数字图像处理的重点研究课题。
单幅图像去雨由于所获得的图像信息有限，雨滴的检测与去除难度较大，相较于视频图像去雨研究时间也较晚。单幅图像去雨算法可以分为基于模型的方法和基于数据驱动的方法，其中基于模型的方法又可以被细分为基于引导滤波、基于稀疏编码和基于高斯混合模型，基于数据的方法可以分为基于卷积神经网络、基于对抗生成网络、基于无监督算法以及基于半监督算法共四类。雨天情况下获取的视频图像光线暗时模糊不清，主要原因在于雨滴会遮挡重要信息，有时彩色图像还会失真。这一系列问题在很大程度上缩减了视频图像的可用部分，因此检测和去除视频图像中的雨滴对图像的复原有着重要意义。
目前基于深度学习的单幅图像去雨算法做的比较好的主要是Clearing theSkies:A Deep Network Architecture for Single-Image Rain Removal这篇论文里提到的方法，主要技术方案是：
1)训练和测试数据：对于网络的训练数据，在细节层上进行训练而不是整个图像域上训练，在细节层而不是图像域上进行训练可以提高网络权值的学习，从而提高去训练的结果，而不需要大量增加训练数据或计算资源。对于测试数据，首先对新合成的雨象进行了测试。在第一个结果中，从数据库中选取350张干净的图像来合成新的雨图像合成图像进行测试。由于不具备与真实世界的雨图像相对应的地面真相，使用前一节4900张合成图像训练的网络对真实世界数据测试去雨网络。
2)参数设置和网络训练：去雨网络框架是将每个图像分解成一个低频基层和一个高频细节层。细节层是CNN去雨的输入，因为大雨的影响自然会导致模糊的效果，为了进一步提高视觉质量，引入了图像增强步骤来锐化两层的结果。
具体网络结构和参数设置细节的结构如下：
网络结构：
第一隐藏层：大小为16×16×3的512个滤波器，第一个隐藏层在输入的细节层上执行提取特征操作，这个和用于图像恢复的通用策略相似，即通过一组数据字典来提取和表示图像块。
第二隐藏层:大小为1×1×512的512个滤波器，第二层隐藏层实行去掉雨线操作。
第三层输出层：大小为8×8×512的3个滤波器，第三层执行重建并增强关于图像内容的平滑细节。
参数设置：测试不同的参数设置，以研究它们对性能的影响，使用与前面相同的训练数据。测试数据包括同样的100个新合成的图像和新的去雨图像。最终选择了16-1-8作为内核大小的默认设置，n1＝n2＝512作为网络宽度的默认设置，采用三层作为网络深度的默认设置。
3)模型的评估与对比分析：在模型对训练数据集进行训练和优化后，通过由测试数据对训练好的模型进行评估，通过峰值信噪比(PNSR)和结构相似性(SSIM)进行性能评估。
Figure BDA0003134078930000021
Figure BDA0003134078930000022
实验装置和环境：在Matlab(R2015b)环境中进行，Intel Core i5 CPU 4460、8GBRAM和NVIDIA Geforce GTX 750的PC上进行。
在高频细节内容上使用卷积神经网络，学习干净和雨图像细节层之间的映射函数。由于不具备地面真相干净的图像对应于现实世界雨的图像，合成干净雨的图像用于网络学习，并展示了这个网络如何仍然很好地传输到真实世界的图像。该方法展示了卷积神经网络的深度学习，一种广泛用于高级视觉任务的技术，也可以被用来成功地处理恶劣天气条件下的自然图像。该方法还表明，在图像质量和计算效率方面，DerainNet明显优于其他最先进的方法。但是作者发现，直接加深模型也不会带来很好的效果，反而使得图片变得模糊，因为去雨是个低层次的图像处理任务，而深层次模型一般用于获取高层次的特征，所以单纯地加深模型不会带来太多效果。
此方法不足之处有以下几点：
该方法所采用的去雨网络DerainNet，CNN结构很简单，共三层，在大雨情景下，直接将基础层加上经过去雨的细节层得到的去雨结果较为模糊，即使在提出对基础层和细节层进行图像增强，对前者使用非线性函数、对后者利用CNN的输出加倍的方式减轻图像的雾效，得到最终的去雨结果仍很模糊。
该方法中的卷积神经网络算法，它的隐藏层使用的激活函数为tanh函数，其数学表达式为：
Figure BDA0003134078930000031
图1为tanh函数相应的函数图像示意图，如图1所示，可以看出：tanh激活函数输出都是以(0，0)为中心，同时，其收敛速度相对于Sigmoid更快。tanh在特征相差明显时的效果会很好，在循环过程中会不断扩大特征效果。与Sigmoid的区别是，tanh是0均值的，因此实际应用中tanh会比Sigmoid更好。该方法实验数据确实说明了tanh函数的这些特性，但是tanh函数在神经网络训练的时候表现的并不如意，tanh并没有解决Sigmoid梯度消失的问题。
发明内容
本发明的目的是提供一种基于自编码卷积神经网络的单幅图像去雨方法及系统，以解决去雨结果模糊以及梯度消失的问题。
为实现上述目的，本发明提供了如下方案：
一种基于自编码卷积神经网络的单幅图像去雨方法，包括：
获取图像数据集；所述图像数据集包括多对有雨图像以及无雨图像对；
根据所述图像数据集训练基于自编码卷积神经网络的去雨模型；所述基于自编码卷积神经网络的去雨模型包括输入层、隐含层以及输出层；所述隐含层包括4层卷积层以及4层反卷积层；所述卷积层与所述卷积层之间使用Batch normalization和Leaky-Relu激活函数，所述反卷积层与所述反卷积层之间使用Batch normalization和Relu激活函数；基于加权系数思想，利用跳转连接，在所述卷积层与所述反卷积层之间添加权重系数，所述跳转连接用于将所述卷积层的映射信息直接添加至所述反卷积层上；
获取待去雨的有雨图像；
将所述待去雨的有雨图像分解为低频基础层以及高频细节层；
利用所述基于自编码卷积神经网络的去雨模型对所述高频细节层进行去雨处理，生成去雨后的高频细节层；
增强所述去雨后的高频细节层，生成增强后的高频细节层；
根据所述低频基础层与所述增强后的高频细节层确定去雨后的图像。
可选的，所述将所述待去雨的有雨图像分解为低频基础层以及高频细节层，具体包括：
利用低通滤波器将所述待去雨的有雨图像分解为低频基础层以及高频细节层。
可选的，所述基于自编码卷积神经网络的去雨模型中的输入图像与输出图像均为彩色图像，所述待去雨的有雨图像为含有噪声的噪声图像，所述噪声图像经过所述输入层之后，生成噪声图像数值矩阵；在所述隐含层对所述噪声图像进行学习，输入至所述输出层；在所述输出层中，采用残差学习方法确定所述噪声图像数值矩阵的估计值。
可选的，所述根据所述低频基础层与所述增强后的高频细节层确定去雨后的图像，具体包括：
利用公式Oenhanced＝Ibase+2fw(Idetail)确定去雨后的图像；其中，Oenhanced为去雨后的图像；Ibase为低频基础层；fw为对所述高频细节层进行增强；Idetail为高频细节层。
可选的，所述根据所述低频基础层与所述增强后的高频细节层确定去雨后的图像，之后还包括：
利用测试数据集对所述基于自编码卷积神经网络的去雨模型进行评估，确定峰值信噪比以及结构相似性，以表征所述基于自编码卷积神经网络的去雨模型的去雨性能；所述测试数据集包括多对有雨图像以及无雨图像对。
一种基于自编码卷积神经网络的单幅图像去雨系统，包括：
图像数据集获取模块，用于获取图像数据集；所述图像数据集包括多对有雨图像以及无雨图像对；
去雨模型构建模块，用于根据所述图像数据集训练基于自编码卷积神经网络的去雨模型；所述基于自编码卷积神经网络的去雨模型包括输入层、隐含层以及输出层；所述隐含层包括4层卷积层以及4层反卷积层；所述卷积层与所述卷积层之间使用Batchnormalization和Leaky-Relu激活函数，所述反卷积层与所述反卷积层之间使用Batchnormalization和Relu激活函数；基于加权系数思想，利用跳转连接，在所述卷积层与所述反卷积层之间添加权重系数，所述跳转连接用于将所述卷积层的映射信息直接添加至所述反卷积层上；
待去雨的有雨图像获取模块，用于获取待去雨的有雨图像；
分解模块，用于将所述待去雨的有雨图像分解为低频基础层以及高频细节层；
去雨模块，用于利用所述基于自编码卷积神经网络的去雨模型对所述高频细节层进行去雨处理，生成去雨后的高频细节层；
增强模块，用于增强所述去雨后的高频细节层，生成增强后的高频细节层；
去雨后的图像确定模块，用于根据所述低频基础层与所述增强后的高频细节层确定去雨后的图像。
可选的，所述分解模块，具体包括：
分解单元，用于利用低通滤波器将所述待去雨的有雨图像分解为低频基础层以及高频细节层。
可选的，所述基于自编码卷积神经网络的去雨模型中的输入图像与输出图像均为彩色图像，所述待去雨的有雨图像为含有噪声的噪声图像；
所述输入层，用于将所述噪声图像生成噪声图像数值矩阵；
所述隐含层，用于对所述噪声图像进行学习，输入至所述输出层；
所述输出层，用于采用残差学习方法确定所述噪声图像数值矩阵的估计值。
可选的，所述去雨后的图像确定模块，具体包括：
去雨后的图像确定单元，用于利用公式Oenhanced＝Ibase+2fw(Idetail)确定去雨后的图像；其中，Oenhanced为去雨后的图像；Ibase为低频基础层；fw为对所述高频细节层进行增强；Idetail为高频细节层。
可选的，还包括：
评估模块，用于利用测试数据集对所述基于自编码卷积神经网络的去雨模型进行评估，确定峰值信噪比以及结构相似性，以表征所述基于自编码卷积神经网络的去雨模型的去雨性能；所述测试数据集包括多对有雨图像以及无雨图像对。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提出了一种基于自编码卷积神经网络的单幅图像去雨方法及系统，在所述基于自编码卷积神经网络的去雨模型中卷积层与卷积层之间使用Batch normalization和Leaky-Relu激活函数，反卷积层与反卷积层之间使用Batch normalization和Relu激活函数，改进原有的激活函数，只需要更少的隐含层就能达到原有的去噪效果，并且训练时间和测试时间均有所减少，解决了Sigmoid梯度消失的问题。
本发明还引入加权系数的思想，即跳跃连接不是直接将卷积层与反卷积层相加，而是在卷积层和反卷积层之前添加权重系数，通过跳跃连接把卷积层中大量的特征图传输到反卷积层，有助于反卷积层恢复更清晰的图像，同时也有利于将梯度反向传播到底层，使得训练更深层次的网络变得更加容易，实验结果显示峰值信噪比也有所增高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为tanh函数相应的函数图像示意图；
图2为本发明所提供基于自编码卷积神经网络的单幅图像去雨方法流程图；
图3为本发明所提供的自编码卷积神经网络的结构框架图；
图4为本发明所提供的自编码卷积神经网络中卷积层与反卷积层之间的细节框架图；
图5为本发明所提供的第一组图片可视化对比图；
图6为本发明所提供的第二组图片可视化对比图；
图7为本发明与DnCNN去噪效果对比图；
图8为本发明所提供的基于自编码卷积神经网络的单幅图像去雨系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于自编码卷积神经网络的单幅图像去雨方法及系统，能够提高去雨效果以及解决Sigmoid梯度消失的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图2为本发明所提供基于自编码卷积神经网络的单幅图像去雨方法流程图，如图2所示，一种基于自编码卷积神经网络的单幅图像去雨方法，包括：
步骤201：获取图像数据集；所述图像数据集包括多对有雨图像以及无雨图像对。
训练输入图像需要有大量的有雨图像和无雨图像对，有雨图像和无雨图像对是指一对有雨图像和无雨图像，其中有雨图像与无雨图像的区别在于有雨图像具有雨痕；有雨图像包含多种类型的雨痕，以增强模型的泛化能力，避免训练的模型过拟合；此外，模型的设置是建立在输入图像为三通道的RGB图像的基础上，而不是灰度图像。
步骤202：根据所述图像数据集训练基于自编码卷积神经网络的去雨模型；所述基于自编码卷积神经网络的去雨模型包括输入层、隐含层以及输出层；所述隐含层包括4层卷积层以及4层反卷积层；所述卷积层与所述卷积层之间使用Batch normalization和Leaky-Relu激活函数，所述反卷积层与所述反卷积层之间使用Batch normalization和Relu激活函数；基于加权系数思想，利用跳转连接，在所述卷积层与所述反卷积层之间添加权重系数，所述跳转连接用于将所述卷积层的映射信息直接添加至所述反卷积层上。这样的设计结构在简化模型、减少参数的基础上，保证了图像去噪的性能。
图3为本发明所提供的自编码卷积神经网络的结构框架图，图4为本发明所提供的自编码卷积神经网络中卷积层与反卷积层之间的细节框架图，如图3-图4所示。
自编码卷积神经网络使用的是端对端的设置，输入与输出均是彩色图像，且输入图像与输出图像的尺寸大小一致。其中，输入是含有噪声的噪声图像，在经过输入层之后，含有噪声的噪声图像就会转变成一个数值矩阵；在隐含层对噪声图像进行学习，而输出层则采用残差学习方法，得到噪声图像矩阵的估计值，并把它转变成去噪图像的输出。在模型训练过程当中，输出层得到噪声图像矩阵的估计值之后，将进行损失函数的计算、改进权值并将其返回到网络中，进行相关参数的优化。
对于浅层网络来说，噪声图像经过卷积和反卷积的过程便能得到复原图像，随着网络层数的增加，即使有反卷积层，依旧会丢失部分图像细节。在优化过程中，深度网络经常会遇到梯度消失的问题，变得更加难以训练。为了解决这个问题，本发明添加了跳跃连接结构，通过跳跃连接把大量的特征图传输到反卷积层，这样有助于反卷积层恢复更清晰的图像，同时也有利于将梯度反向传播到底层，这使得训练更深层次的网络变得更加容易。
网络参数设置：自编码卷积神经网络(Convolutional Neural Network，CNN)所用卷积核尺寸为3×3，步长设置为1，训练的迭代次数设置为2000，学习率设置为2×10-5。
步骤203：获取待去雨的有雨图像。
步骤204：将所述待去雨的有雨图像分解为低频基础层以及高频细节层。
对待去雨的有雨图像进行处理，使用低通滤波器将输入图像每张图像分解为低频基础层和高频细节层，便于后续进行图像去雨。
步骤205：利用所述基于自编码卷积神经网络的去雨模型对所述高频细节层进行去雨处理，生成去雨后的高频细节层。
步骤206：增强所述去雨后的高频细节层，生成增强后的高频细节层。
步骤207：根据所述低频基础层与所述增强后的高频细节层确定去雨后的图像。
所述步骤207具体包括：利用公式Oenhanced＝Ibase+2fw(Idetail)确定去雨后的图像；其中，Oenhanced为去雨后的图像；Ibase为低频基础层；fw为对所述高频细节层进行增强；Idetail为高频细节层。
所述步骤207之后还包括：利用测试数据集对所述基于自编码卷积神经网络的去雨模型进行评估，确定峰值信噪比以及结构相似性，以表征所述基于自编码卷积神经网络的去雨模型的去雨性能；所述测试数据集包括多对有雨图像以及无雨图像对。
在实际应用中，基于均方误差(Mean Squared Error，MSE)计算峰值信噪比(PeakSignal to Noise Ratio，PNSR)，通过峰值信噪比PNSR和结构相似性(StructuralSimilarity，SSIM)对测试数据在最优模型上的去雨性能进行评估，并与一些传统的去雨方法算法进行对比和分析，最后总结分析本发明方法的模型的性能的优劣。
PNSR：
Figure BDA0003134078930000101
Figure BDA0003134078930000102
其中，上述公式中MSE为两张大小均为m×n的灰度图像I和灰度图像K的均方误差，MAXI为图像点灰度的最大值，m、n为图像的尺寸，i为图像内像素点的行，j为图像内像素点的列。
SSIM公式为图像x和图像y之间的亮度、对比度和结构的综合衡量：
Figure BDA0003134078930000103
Figure BDA0003134078930000104
Figure BDA0003134078930000105
一般取c3＝c2/2，c1为第一常数、c2为第二常数、c3为第三常数，c1、c2、c3为任一常数，是为了避免分母为0而维持稳定，l(x,y)为比较x和y的亮度，c(x,y)为比较x和y的对比度，s(x,y)为比较x和y的结构。μx、μy分别为x、y的均值，
Figure BDA0003134078930000106
为x、y的方差，σxy为x和y的协方差，σx为图像x的标准差，σy为图像y的标准差。c1＝(k1L)2、c2＝(k2L)2为两个常数，k1＝0.01，k2＝0.03，L为像素值的动态范围，一般都取为255。
SSIM(x,y)＝[l(x,y)αc(x,y)βs(x,y)γ]
将α，β，γ设为1，可以得到：
Figure BDA0003134078930000107
每次计算的时候都从图片上取一个M×N的窗口，然后不断滑动窗口进行计算，最后取平均值作为全局的SSIM。
通过测试数据集对最终训练学习得到的去雨模型的去噪性能进行测试并可视化测试结果，如图5-图6所示，选择2组图片进行可视化对比，其中，σ＝15，σ为高斯白噪声的标准偏差。
通过平均峰值信噪比对本发明的最终的去雨(去噪)效果进行衡量并与传统方法和DerainNet在Rain12数据集上的去噪效果进行对比(单位：dB)，表1为本发明与现有方法的PSNR和SSIM的对比表，如表1所示。
表1
Figure BDA0003134078930000111
表1中，Method[1]为“Self-learning based image decomposition withapplications to single image denoising”中的方法；Method[2]为“Removing rainfrom a single image via discriminative sparse coding”中的方法；Method[3]为“Rain steak removal using layer priors”中的方法，对比数据表明本发明方法在去雨性能上的确优于目前几个比较先进的传统的去雨方法和最新发明中表现较好的DerainNet的去雨方法，同时本发明方法在与DerainNet同等条件下，训练相同的训练数据集时，比DerainNet节省了半个小时左右的训练收敛时间，其在训练效率上表现的更为可观。图7为本发明与DnCNN去噪效果对比图，图7中含噪声图像σ＝15。
图8为本发明所提供的基于自编码卷积神经网络的单幅图像去雨系统结构图，如图8所示，一种基于自编码卷积神经网络的单幅图像去雨系统，包括：
图像数据集获取模块801，用于获取图像数据集；所述图像数据集包括多对有雨图像以及无雨图像对。
去雨模型构建模块802，用于根据所述图像数据集训练基于自编码卷积神经网络的去雨模型；所述基于自编码卷积神经网络的去雨模型包括输入层、隐含层以及输出层；所述隐含层包括4层卷积层以及4层反卷积层；所述卷积层与所述卷积层之间使用Batchnormalization和Leaky-Relu激活函数，所述反卷积层与所述反卷积层之间使用Batchnormalization和Relu激活函数；基于加权系数思想，利用跳转连接，在所述卷积层与所述反卷积层之间添加权重系数，所述跳转连接用于将所述卷积层的映射信息直接添加至所述反卷积层上。
所述基于自编码卷积神经网络的去雨模型中的输入图像与输出图像均为彩色图像，所述待去雨的有雨图像为含有噪声的噪声图像；所述输入层，用于将所述噪声图像生成噪声图像数值矩阵；所述隐含层，用于对所述噪声图像进行学习，输入至所述输出层；所述输出层，用于采用残差学习方法确定所述噪声图像数值矩阵的估计值。
待去雨的有雨图像获取模块803，用于获取待去雨的有雨图像。
分解模块804，用于将所述待去雨的有雨图像分解为低频基础层以及高频细节层。
所述分解模块804，具体包括：分解单元，用于利用低通滤波器将所述待去雨的有雨图像分解为低频基础层以及高频细节层。
去雨模块805，用于利用所述基于自编码卷积神经网络的去雨模型对所述高频细节层进行去雨处理，生成去雨后的高频细节层。
增强模块806，用于增强所述去雨后的高频细节层，生成增强后的高频细节层。
去雨后的图像确定模块807，用于根据所述低频基础层与所述增强后的高频细节层确定去雨后的图像。
所述去雨后的图像确定模块807，具体包括：去雨后的图像确定单元，用于利用公式Oenhanced＝Ibase+2fw(Idetail)确定去雨后的图像；其中，Oenhanced为去雨后的图像；Ibase为低频基础层；fw为对所述高频细节层进行增强；Idetail为高频细节层。
本发明还包括：评估模块，用于利用测试数据集对所述基于自编码卷积神经网络的去雨模型进行评估，确定峰值信噪比以及结构相似性，以表征所述基于自编码卷积神经网络的去雨模型的去雨性能；所述测试数据集包括多对有雨图像以及无雨图像对。
在实际应用中，还可以通过以下方式实现去雨效果：
a)利用卷积神经网络中的卷积层和池化层以及通过下采样提取含噪图片中的有用信息的特征。
b)对a)中所提取的图像的特征采用反卷积网络即通过卷积层加池化层通过上采样对提取的特征图像进行图像重构。
c)最后通过清晰的目标图片与重构图片之间的均方误差作为目标损失函数，采用随机梯度下降的优化算法对目标损失函数进行固定轮数(根据实验数据效果来定)的迭代训练学习优化。
这种方案的去雨效果同样可以比拟本发明中所提的技术方案的去雨效果，但是对于少部分图像来说其去雨效果并不是那么理想，但是却略胜DerainNet去雨网络。
本发明提出卷积神经网络模型的输入是含噪声的彩色图像﹐包含RGB3个通道，输出是去噪后的彩色图像。网络的隐含层由4个卷积层和4个反卷积层构成，为了使网络能够更好地收敛，加速训练并且提升性能﹐在前4个卷积层都使用了Batch normalization和Leaky-Relu激活函数。在后4个反卷积层都使用了Batch normalization和Relu激活函数。本发明通过改进原有的激活函数、跳跃连接和学习率，只需要更少的隐含层就能达到原有的去噪效果﹐并且训练时间和测试时间均有所减少。
本发明所提出去雨模型添加跳跃连接将卷积层对反卷层连接起来。将卷积层的映射信息直接添加到反卷积层。卷积核的大小为3×3，填充方式为Same卷积，步长设置为l，这样卷积前和卷积之后的图像大小是一致的。对于RGB图像﹐分别对3个通道进行卷积，然后再将其生成的图片进行合并。与原有算法相比，本发明在原有神经网络结构上还引入加权系数的思想，即跳跃连接不是直接将卷积层与反卷积层相加，而是在卷积层和反卷积层之前添加权重系数，实验结果显示峰值信噪比也有所增高。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于自编码卷积神经网络的单幅图像去雨方法，其特征在于，包括：
获取图像数据集；所述图像数据集包括多对有雨图像以及无雨图像对；
根据所述图像数据集训练基于自编码卷积神经网络的去雨模型；所述基于自编码卷积神经网络的去雨模型包括输入层、隐含层以及输出层；所述隐含层包括4层卷积层以及4层反卷积层；所述卷积层与所述卷积层之间使用Batchnormalization和Leaky-Relu激活函数，所述反卷积层与所述反卷积层之间使用Batchnormalization和Relu激活函数；基于加权系数思想，利用跳转连接，在所述卷积层与所述反卷积层之间添加权重系数，所述跳转连接用于将所述卷积层的映射信息直接添加至所述反卷积层上；
所述自编码卷积神经网络使用的是端对端的设置，输入与输出均是彩色图像，且输入图像与输出图像的尺寸大小一致；其中，输入是含有噪声的噪声图像，在经过输入层之后，含有噪声的噪声图像就会转变成一个数值矩阵；在隐含层对噪声图像进行学习，而输出层则采用残差学习方法，得到噪声图像矩阵的估计值，并把它转变成去噪图像的输出；在模型训练过程当中，输出层得到噪声图像矩阵的估计值之后，将进行损失函数的计算、改进权值并将其返回到网络中，进行相关参数的优化；
获取待去雨的有雨图像；
将所述待去雨的有雨图像分解为低频基础层以及高频细节层；
利用所述基于自编码卷积神经网络的去雨模型对所述高频细节层进行去雨处理，生成去雨后的高频细节层；
增强所述去雨后的高频细节层，生成增强后的高频细节层；
根据所述低频基础层与所述增强后的高频细节层确定去雨后的图像。
2.根据权利要求1所述的基于自编码卷积神经网络的单幅图像去雨方法，其特征在于，所述将所述待去雨的有雨图像分解为低频基础层以及高频细节层，具体包括：
利用低通滤波器将所述待去雨的有雨图像分解为低频基础层以及高频细节层。
3.根据权利要求1所述的基于自编码卷积神经网络的单幅图像去雨方法，其特征在于，所述根据所述低频基础层与所述增强后的高频细节层确定去雨后的图像，具体包括：
利用公式Oenhanced＝Ibase+2fw(Idetail)确定去雨后的图像；其中，Oenhanced为去雨后的图像；Ibase为低频基础层；fw为对所述高频细节层进行增强；Idetail为高频细节层。
4.据权利要求1所述的基于自编码卷积神经网络的单幅图像去雨方法，其特征在于，所述根据所述低频基础层与所述增强后的高频细节层确定去雨后的图像，之后还包括：
利用测试数据集对所述基于自编码卷积神经网络的去雨模型进行评估，确定峰值信噪比以及结构相似性，以表征所述基于自编码卷积神经网络的去雨模型的去雨性能；所述测试数据集包括多对有雨图像以及无雨图像对。
5.一种基于自编码卷积神经网络的单幅图像去雨系统，其特征在于，包括：
图像数据集获取模块，用于获取图像数据集；所述图像数据集包括多对有雨图像以及无雨图像对；
去雨模型构建模块，用于根据所述图像数据集训练基于自编码卷积神经网络的去雨模型；所述基于自编码卷积神经网络的去雨模型包括输入层、隐含层以及输出层；所述隐含层包括4层卷积层以及4层反卷积层；所述卷积层与所述卷积层之间使用Batchnormalization和Leaky-Relu激活函数，所述反卷积层与所述反卷积层之间使用Batchnormalization和Relu激活函数；基于加权系数思想，利用跳转连接，在所述卷积层与所述反卷积层之间添加权重系数，所述跳转连接用于将所述卷积层的映射信息直接添加至所述反卷积层上；
所述自编码卷积神经网络使用的是端对端的设置，输入与输出均是彩色图像，且输入图像与输出图像的尺寸大小一致；其中，输入是含有噪声的噪声图像，在经过输入层之后，含有噪声的噪声图像就会转变成一个数值矩阵；在隐含层对噪声图像进行学习，而输出层则采用残差学习方法，得到噪声图像矩阵的估计值，并把它转变成去噪图像的输出；在模型训练过程当中，输出层得到噪声图像矩阵的估计值之后，将进行损失函数的计算、改进权值并将其返回到网络中，进行相关参数的优化；
待去雨的有雨图像获取模块，用于获取待去雨的有雨图像；
分解模块，用于将所述待去雨的有雨图像分解为低频基础层以及高频细节层；
去雨模块，用于利用所述基于自编码卷积神经网络的去雨模型对所述高频细节层进行去雨处理，生成去雨后的高频细节层；
增强模块，用于增强所述去雨后的高频细节层，生成增强后的高频细节层；
去雨后的图像确定模块，用于根据所述低频基础层与所述增强后的高频细节层确定去雨后的图像。
6.根据权利要求5所述的基于自编码卷积神经网络的单幅图像去雨系统，其特征在于，所述分解模块，具体包括：
分解单元，用于利用低通滤波器将所述待去雨的有雨图像分解为低频基础层以及高频细节层。
7.根据权利要求5所述的基于自编码卷积神经网络的单幅图像去雨系统，其特征在于，所述去雨后的图像确定模块，具体包括：
去雨后的图像确定单元，用于利用公式Oenhanced＝Ibase+2fw(Idetail)确定去雨后的图像；其中，Oenhanced为去雨后的图像；Ibase为低频基础层；fw为对所述高频细节层进行增强；Idetail为高频细节层。
8.据权利要求5所述的基于自编码卷积神经网络的单幅图像去雨系统，其特征在于，还包括：
评估模块，用于利用测试数据集对所述基于自编码卷积神经网络的去雨模型进行评估，确定峰值信噪比以及结构相似性，以表征所述基于自编码卷积神经网络的去雨模型的去雨性能；所述测试数据集包括多对有雨图像以及无雨图像对。
CN202110714021.XA 2021-06-25 2021-06-25 一种基于自编码卷积神经网络的单幅图像去雨方法及系统 Active CN113379641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110714021.XA CN113379641B (zh) 2021-06-25 2021-06-25 一种基于自编码卷积神经网络的单幅图像去雨方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110714021.XA CN113379641B (zh) 2021-06-25 2021-06-25 一种基于自编码卷积神经网络的单幅图像去雨方法及系统

Publications (2)

Publication Number Publication Date
CN113379641A CN113379641A (zh) 2021-09-10
CN113379641B true CN113379641B (zh) 2022-09-16

Family

ID=77579223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110714021.XA Active CN113379641B (zh) 2021-06-25 2021-06-25 一种基于自编码卷积神经网络的单幅图像去雨方法及系统

Country Status (1)

Country Link
CN (1) CN113379641B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455809B (zh) * 2023-10-24 2024-05-24 武汉大学 基于深度引导扩散模型的图像混合雨去除方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345449A (zh) * 2018-07-17 2019-02-15 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN111815526A (zh) * 2020-06-16 2020-10-23 中国地质大学（武汉） 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统
CN112184573A (zh) * 2020-09-15 2021-01-05 西安理工大学 基于卷积神经网络的上下文聚合残差单幅图像去雨方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765344A (zh) * 2018-05-30 2018-11-06 南京信息工程大学 一种基于深度卷积神经网络的单幅图像雨线去除的方法
CN110163813B (zh) * 2019-04-16 2022-02-01 中国科学院深圳先进技术研究院 一种图像去雨方法、装置、可读存储介质及终端设备
DE102019205962A1 (de) * 2019-04-25 2020-10-29 Robert Bosch Gmbh Verfahren zur Generierung von digitalen Bildpaaren als Trainingsdaten für Neuronale Netze
KR102205708B1 (ko) * 2019-09-18 2021-01-20 고려대학교 산학협력단 인공지능 기반의 폭우제거 영상 제공장치 및 그 동작 방법
CN111815523A (zh) * 2020-06-08 2020-10-23 天津中科智能识别产业技术研究院有限公司 一种基于生成对抗网络的图像修复方法
CN111968058B (zh) * 2020-08-25 2023-08-04 北京交通大学 一种低剂量ct图像降噪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345449A (zh) * 2018-07-17 2019-02-15 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN111815526A (zh) * 2020-06-16 2020-10-23 中国地质大学（武汉） 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统
CN112184573A (zh) * 2020-09-15 2021-01-05 西安理工大学 基于卷积神经网络的上下文聚合残差单幅图像去雨方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Spatial Image Steganography Based on Generative Adversarial Network;Jianhua Yang等;《arXiv》;20180421;第1-7页 *
融合残差及通道注意力机制的单幅图像去雨方法;张世辉等;《计量学报》;20210128;第42卷(第01期);第20-28页 *

Also Published As

Publication number Publication date
CN113379641A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN111028177A (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN113808032A (zh) 多阶段渐进式的图像去噪算法
CN111127354A (zh) 一种基于多尺度字典学习的单图像去雨方法
CN112991199B (zh) 一种基于残差密集网络的图像高低频分解噪声去除方法
Tang et al. A reduced-reference quality assessment metric for super-resolution reconstructed images with information gain and texture similarity
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN112070688A (zh) 一种基于上下文引导生成对抗网络的单幅图像去雾方法
CN114821449B (zh) 一种基于注意力机制的车牌图像处理方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN113066025A (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN113379641B (zh) 一种基于自编码卷积神经网络的单幅图像去雨方法及系统
Chen et al. Attention-based Broad Self-guided Network for Low-light Image Enhancement
Zhao et al. A multi-scale U-shaped attention network-based GAN method for single image dehazing
Lu et al. Underwater image enhancement method based on denoising diffusion probabilistic model
CN116452469B (zh) 一种基于深度学习的图像去雾处理方法及装置
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN116563144A (zh) 一种基于动态注意力的密集型lstm残差网络去噪方法
CN115564676A (zh) 一种水下图像增强方法、系统及可读存储介质
CN112070693B (zh) 一种基于灰度世界自适应网络的单幅沙尘图像恢复方法
Wang et al. Division gets better: Learning brightness-aware and detail-sensitive representations for low-light image enhancement
CN112862698B (zh) 一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法
Wang et al. Frequency and content dual stream network for image dehazing
Shaliniswetha et al. RESIDUAL LEARNING BASED IMAGE DENOISING AND COMPRESSION USING DNCNN.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant