CN113450288B - 基于深度卷积神经网络单图像去雨方法、系统和存储介质 - Google Patents
基于深度卷积神经网络单图像去雨方法、系统和存储介质 Download PDFInfo
- Publication number
- CN113450288B CN113450288B CN202110889468.0A CN202110889468A CN113450288B CN 113450288 B CN113450288 B CN 113450288B CN 202110889468 A CN202110889468 A CN 202110889468A CN 113450288 B CN113450288 B CN 113450288B
- Authority
- CN
- China
- Prior art keywords
- rain
- image
- layer
- network
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013527 convolutional neural network Methods 0.000 title claims description 24
- 238000000926 separation method Methods 0.000 claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 117
- 238000011156 evaluation Methods 0.000 claims description 37
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 32
- 230000000694 effects Effects 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 18
- 230000008439 repair process Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 239000011800 void material Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims 1
- 238000013507 mapping Methods 0.000 abstract description 9
- 230000004931 aggregating effect Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 45
- 238000012360 testing method Methods 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请的目的在于提供一种基于深度卷积神经网络单图像去雨方法、系统和存储介质，首先在第一阶段的雨层分离网络中，借助引入通道注意力的空洞卷积模块充分聚合输入雨图像的空间上下文信息，提取雨层信息，实现雨层分离和背景层的初步重建；然后在第二阶段的细节修复网络中，对分离的雨层生成雨纹位置信息的注意力映射，再借助引入通道注意力的多尺度特征融合的卷积模块，修复初步重建背景层中因移除雨层而丢失的细节，得到高质量的无雨图像。本发明通过搭建两阶段的深度卷积神经网络，有效地提取并移除雨图像中雨层，并修复退化的背景层，得到更高质量的无雨图像。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于两阶段深度卷积神经网络单图像去雨方法。
背景技术
现实中大部分计算机视觉算法都假定输入时清晰的，然而户外摄取的视频与图像数据常常受到恶劣天气的干扰，这很大程度上限制了计算机视觉系统的正常使用。下雨天是自然界最为常见的恶劣天气之一，雨纹离散分布在整张图像中，而且受雨纹影响的区域和旁边不受影响的区域会产生像素值突变，使得问题的建模和处理都变得非常困难。此外雨纹随机地出现在图像上遮盖原本的信息，原来的物体信息丢失，需要重新生成或者用相邻去雨的像素进行填补。因此，如何去除有雨图像上的雨纹，使有雨图像清晰化，开展单幅图像去雨课题的研究具有重要意义与实际应用价值。
现今基于学习的方法是研究的热点，由于雨图像中雨纹的大小、形状、方向不同，大量不同的雨纹叠加，因此单图像去雨是个高度复杂的问题，用单个网络往往很难一次性地修复雨图像，多阶段学习的方法如Li等提出的RESCAN网络，Ren等提出的PReNet，都取得了更好的去雨效果。
但现有的方法仍存在改进空间，如移除雨纹之后，会出现图像退化，即雨痕覆盖区域存在视觉伪影，偏移以及细节损失等问题。
发明内容
本申请的目的在于提供一种基于深度卷积神经网络单图像去雨方法、系统和存储介质，首先在第一阶段的雨层分离网络中，借助引入通道注意力的空洞卷积模块充分聚合输入雨图像的空间上下文信息，提取雨层信息，实现雨层分离和背景层的初步重建；然后在第二阶段的细节修复网络中，对分离的雨层生成雨纹位置信息的注意力映射，再借助引入通道注意力的多尺度特征融合的卷积模块，修复初步重建背景层中因移除雨层而丢失的细节，得到高质量的无雨图像。本发明通过搭建两阶段的深度卷积神经网络，有效地提取并移除雨图像中雨层，并修复退化的背景层，得到更高质量的无雨图像。
本发明第一方面提供了一种基于深度卷积神经网络单图像去雨方法，所述方法包括以下步骤：
获取含有大量干净无雨图像和对应的合成雨图像作为一个样本对的训练图像集；
构建网络模型，所述网络模型包括雨层分离子网络和细节修复子网络；
将所述训练图像集进行预处理，得到预处理训练集，输入所述网络模型中进行训练，获得训练好的去雨网络模型；
将需要去雨图像输入训练好的去雨网络模型中，获得去雨图像；
所述雨层分离子网络由两个卷积层、一个残差块和七个引入通道注意力的空洞卷积模块构成，用于分离雨层及初步重建背景层；
所述细节修复子网络由两个卷积层、一个残差块和五个引入注意力的多尺度特征融合模块构成，用于修复移除雨层后背景层丢失的细节。
本方案中，所述雨层分离子网络具体为：
所述雨层分离子网络的浅层由一个卷积层和一个残差块组成，用于初步得到输入雨图的浅层特征表示Fshallow，表示为，
Fshallow＝Res(Conv3x3(O))
其中，Res(·)为标准残差块，Conv3x3(·)则是卷积核大小为3的卷积层，O为雨图像，然后级联七个相同的引入通道注意力的空洞卷积模块，所述空洞卷积模块由三个卷积核大小为3，空洞分别为1，3，5的空洞卷积层，一个卷积核大小为1的卷积层和一个通道注意力加权操作模块组成，表示为，
DCCA＝SE(Conv1x1(Cat[ConvK3D1(F),ConvK3D3(F),ConvK3D5(F)])),
其中F为输入的特征图，ConvKxDy(·)为卷积核K的大小为x,空洞D的大小为y的卷积层，Cat[·]为通道维度的拼接操作，SE为通道注意力加权操作模块。
本方案中，所述细节修复子网络具体为：
细节修复子网络的浅层由一个卷积层和一个残差块组成，先初步提取初步重建后的背景图像
的浅层特征表示Fshallow，表示为，
其中，Res(·)为标准残差块，Conv3x3(·)则是卷积核大小为3的卷积层；然后级联五个相同的引入通道注意力的多尺度特征融合卷积模块MSCA，所述卷积模块由三个卷积核大小分别为1，3，5的卷积层核，一个卷积核大小为1的卷积层和一个通道注意力加权操作模块组成，表示为，
MSCA＝SE(Conv1x1(Cat[Conv1x1(F),Conv3x3(F),Conv5x5(F)])),
其中F为输入的特征图,Convkxk,表示卷积核大小为k的卷积层，Cat[·]为通道维度的拼接操作，SE为通道注意力加权操作模块。
本方案中，所述将所述训练图像集进行预处理，得到预处理训练集，输入所述网络模型中进行训练，获得训练好的去雨网络模型，具体为：
对训练图像集进行预处理，然后将雨图像输入雨层分离子网络，得到分离的雨层图像和初步重建的背景层图像，表示如下，
Ri＝RainNet(Oi),
其中Oi表示训练图像集中的第i张雨图像，RainNet(·)为雨层分离子网络，Ri为从第i张雨图像中分离出来的雨层图像，
为初步重建出来的背景层图像；
选择损失函数为MSE损失函数，以最小化此损失函数为训练目标，损失函数表达式如下，
其中，θr为雨层分离子网络的网络参数，Bi为Oi所对应的干净图像；
通过雨层图像生成雨纹位置信息的注意力映射，其表示如下，
其中Ai为根据第i张雨层图像生成的注意力映射，σ(·)表示Sigmoid激活函数，所述Sigmoid激活函数将特征图的每个像素点的值映射到(0,1)的区间，形成注意力权重，其公式定义如下，
其中，x为Sigmoid激活函数的输入。
与初步重建的背景图像一同输入细节修复子网络，可表示如下，
其中
为对应第i张雨图像生成的无雨图像，DetailNet(·)为细节修复子网络，Cat[·]为通道维度的拼接操作；
选择的损失函数为Charbonnier损失函数，以最小化此损失函数为训练目标，损失函数表达式如下，
其中θd为细节修复子网络的网络参数，ε为使数值稳定的极小常量，设置为10-3，因此整个网络模型的损失函数可表示为
Losstotal＝λ1Loss1+λ2Loss2
其中λ1，λ2为调节两部分损失函数的权重系数。
本方案中，λ1，λ2值为动态的，具体为：
获取反馈的效果值；
根据所述效果值确定λ1，λ2的大小。
本方案中，所述雨层分离子网络和细节修复子网络，训练完成具体为：
获取不同组训练图像集经过迭代训练后的输出结果，进行可行性评价，生成可行性评价系数；
预设评价系数阈值，判断所述可行性评价系数是否大于所述评价阈值；
若大于，则证明雨层分离子网络模型和细节修复子网络模型训练完毕，得到雨层分离子网络和细节修复子网络。
本发明第二方面提供了一种基于深度卷积神经网络单图像去雨系统，该系统包括：存储器及处理器，所述存储器中包括基于深度卷积神经网络单图像去雨方法的程序，所述基于深度卷积神经网络单图像去雨方法的程序被所述处理器执行时实现以下步骤：
获取含有大量干净无雨图像和对应的合成雨图像作为一个样本对的训练图像集；
构建网络模型，所述网络模型包括雨层分离子网络和细节修复子网络；
将所述训练图像集进行预处理，得到预处理训练集，输入所述网络模型中进行训练，获得训练好的去雨网络模型；
将需要去雨图像输入训练好的去雨网络模型中，获得去雨图像；
所述雨层分离子网络由两个卷积层、一个残差块和七个引入通道注意力的空洞卷积模块构成，用于分离雨层及初步重建背景层；
所述细节修复子网络由两个卷积层、一个残差块和五个引入注意力的多尺度特征融合模块构成，用于修复移除雨层后背景层丢失的细节。
本方案中，所述雨层分离子网络具体为：
所述雨层分离子网络的浅层由一个卷积层和一个残差块组成，用于初步得到输入雨图的浅层特征表示Fshallow，表示为，
Fshallow＝Res(Conv3x3(O))
其中，Res(·)为标准残差块，Conv3x3(·)则是卷积核大小为3的卷积层，O为雨图像，然后级联七个相同的引入通道注意力的空洞卷积模块，所述空洞卷积模块由三个卷积核大小为3，空洞分别为1，3，5的空洞卷积层，一个卷积核大小为1的卷积层和一个通道注意力加权操作模块组成，表示为，
DCCA＝SE(Conv1x1(Cat[ConvK3D1(F),ConvK3D3(F),ConvK3D5(F)])),
其中F为输入的特征图，ConvKxDy(·)为卷积核K的大小为x,空洞D的大小为y的卷积层，Cat[·]为通道维度的拼接操作，SE为通道注意力加权操作模块。
本方案中，所述细节修复子网络具体为：
细节修复子网络的浅层由一个卷积层和一个残差块组成，先初步提取初步重建后的背景图像
的浅层特征表示Fshallow，表示为，
其中，Res(·)为标准残差块，Conv3x3(·)则是卷积核大小为3的卷积层；然后级联五个相同的引入通道注意力的多尺度特征融合卷积模块MSCA，所述卷积模块由三个卷积核大小分别为1，3，5的卷积层核，一个卷积核大小为1的卷积层和一个通道注意力加权操作模块组成，表示为，
MSCA＝SE(Conv1x1(Cat[Conv1x1(F),Conv3x3(F),Conv5x5(F)])),
其中F为输入的特征图,Convkxk,表示卷积核大小为k的卷积层，Cat[·]为通道维度的拼接操作，SE为通道注意力加权操作模块。
本方案中，所述将所述训练图像集进行预处理，得到预处理训练集，输入所述网络模型中进行训练，获得训练好的去雨网络模型，具体为：
对训练图像集进行预处理，然后将雨图像输入雨层分离子网络，得到分离的雨层图像和初步重建的背景层图像，表示如下，
Ri＝RainNet(Oi),
其中Oi表示训练图像集中的第i张雨图像，RainNet(·)为雨层分离子网络，Ri为从第i张雨图像中分离出来的雨层图像，
为初步重建出来的背景层图像；
选择损失函数为MSE损失函数，以最小化此损失函数为训练目标，损失函数表达式如下，
其中，θr为雨层分离子网络的网络参数，Bi为Oi所对应的干净图像；
通过雨层图像生成雨纹位置信息的注意力映射，其表示如下，
其中Ai为根据第i张雨层图像生成的注意力映射，σ(·)表示Sigmoid激活函数，所述Sigmoid激活函数将特征图的每个像素点的值映射到(0,1)的区间，形成注意力权重，其公式定义如下，
其中，x为Sigmoid激活函数的输入。
与初步重建的背景图像一同输入细节修复子网络，可表示如下，
其中
为对应第i张雨图像生成的无雨图像，DetailNet(·)为细节修复子网络，Cat[·]为通道维度的拼接操作；
选择的损失函数为Charbonnier损失函数，以最小化此损失函数为训练目标，损失函数表达式如下，
其中θd为细节修复子网络的网络参数，ε为使数值稳定的极小常量，设置为10-3，因此整个网络模型的损失函数可表示为
Losstotal＝λ1Loss1+λ2Loss2
其中λ1，λ2为调节两部分损失函数的权重系数。
本方案中，λ1，λ2值为动态的，具体为：
获取反馈的效果值；
根据所述效果值确定λ1，λ2的大小。
本方案中，所述雨层分离子网络和细节修复子网络，训练完成具体为：
获取不同组训练图像集经过迭代训练后的输出结果，进行可行性评价，生成可行性评价系数；
预设评价系数阈值，判断所述可行性评价系数是否大于所述评价阈值；
若大于，则证明雨层分离子网络模型和细节修复子网络模型训练完毕，得到雨层分离子网络和细节修复子网络。
本发明第三方面公开了一种可读存储介质，所述可读存储介质中包括基于深度卷积神经网络单图像去雨方法程序，所述基于深度卷积神经网络单图像去雨方法程序被处理器执行时，实现如上述中任一项所述的一种基于深度卷积神经网络单图像去雨方法的步骤。
本申请的目的在于提供一种基于深度卷积神经网络单图像去雨方法、系统和存储介质，首先在第一阶段的雨层分离网络中，借助引入通道注意力的空洞卷积模块充分聚合输入雨图像的空间上下文信息，提取雨层信息，实现雨层分离和背景层的初步重建；然后在第二阶段的细节修复网络中，对分离的雨层生成雨纹位置信息的注意力映射，再借助引入通道注意力的多尺度特征融合的卷积模块，修复初步重建背景层中因移除雨层而丢失的细节，得到高质量的无雨图像。本发明通过搭建两阶段的深度卷积神经网络，有效地提取并移除雨图像中雨层，并修复退化的背景层，得到更高质量的无雨图像。
附图说明
图1示出了本发明一种基于深度卷积神经网络单图像去雨方法的流程图；
图2是本发明两阶段深度卷积神经网络模型；
图3是本发明引入注意力的空洞卷积模块DCCA示意图；
图4是本发明引入注意力的多尺度特征融合模块MSCA示意图；
图5是本发明一种基于深度卷积神经网络单图像去雨系统框图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1示出了本发明一种基于深度卷积神经网络单图像去雨方法的流程图。
如图1所示，本发明公开了一种基于深度卷积神经网络单图像去雨方法，所述方法包括以下步骤：
S1，获取含有大量干净无雨图像和对应的合成雨图像作为一个样本对的训练图像集；
S2，构建网络模型，所述网络模型包括雨层分离子网络和细节修复子网络；
S3，将所述训练图像集进行预处理，得到预处理训练集，输入所述网络模型中进行训练，获得训练好的去雨网络模型；
S4，将需要去雨图像输入训练好的去雨网络模型中，获得去雨图像；
所述雨层分离子网络由两个卷积层、一个残差块和七个引入通道注意力的空洞卷积模块构成，用于分离雨层及初步重建背景层；
所述细节修复子网络由两个卷积层、一个残差块和五个引入注意力的多尺度特征融合模块构成，用于修复移除雨层后背景层丢失的细节。
在步骤S1中，获取含有大量干净无雨图像和其对应的合成雨图像作为一个样本对的训练图像集和测试图像集；由于很难从真实世界中获得大型的无雨和有雨配对的数据集，所以本次实验的训练采用的是人工合成的雨图数据集，由Yang等提供的合成数据集Rain100H，该数据集包括训练集1800对样本，以及测试集100对样本。
在步骤S2中，搭建网络模型，该网络模型如图2所示，由两个阶段的子网络组成，其中第一阶段网络为雨层分离子网络，第二阶段为细节修复子网络，其网络模型如下：
雨层分离子网络RainNet，网络的浅层由一个卷积层和一个残差块组成，用于初步得到输入雨图的浅层特征表示Fshallow，可表示为，
Fshallow＝Res(Conv3x3(O)) (1)
其中，Res(·)为标准残差块，Conv3x3(·)则是卷积核大小为3的卷积层，O为雨图像。然后级联七个相同的引入通道注意力的空洞卷积模块DCCA，该模块如图3所示，由三个卷积核大小为3，空洞分别为1，3，5的空洞卷积层，一个卷积核大小为1的卷积层和一个通道注意力加权操作组成，通过不同膨胀卷积层，获得更大且不同的感受野，同时更好地聚合上下文信息，借助通道注意力机制，对特征图所有通道中有用通道的信息进行加权，对无用通道的信息进行抑制，可表示为，
DCCA＝SE(Conv1x1(Cat[ConvK3D1(F),ConvK3D3(F),ConvK3D5(F)])), (2)
其中F为输入的特征图，ConvKxDy(·)为卷积核大小是x,空洞大小是y的卷积层，Cat[·]为通道维度的拼接操作，SA为通道注意力加权操作模块。
细节修复子网络DetailNet，网络的浅层与RainNet一致，先初步提取初步重建后的背景图像
的浅层特征表示Fshallow，可表示为，
然后级联五个相同的结合通道注意力(SE模块)的多尺度特征融合的卷积模块MSCA，该模块如图4所示，由三个三个卷积核大小分别为1，3，5的卷积层核，一个卷积核大小为1的卷积层和一个通道注意力加权操作组成，通过多尺度的特征信息融合可以捕捉不同尺度的细节损失，结合通道注意力机制让网络的信息流更有效流动，可表示为，
MSCA＝SE(Conv1x1(Cat[Conv1x1(F),Conv3x3(F),Conv5x5(F)])), (4)
其中F为输入的特征图,Convkxk,表示卷积核大小为k的卷积层，其余表示均与上文相同。
以上所述的网络模型可基于深度学习框架Pytorch完成搭建。
在步骤S3，对步骤S1中得到的训练图像集进行预处理，输入步骤S2的网络模型中进行训练，获得学习好的去雨网络参数，具体包括：
首先对训练图像集的预处理，对于训练图像集中的1800个样本对，相应地随机裁剪成256x256大小的图像对，并对这些裁剪后图像进行水平翻转，旋转90°和180°完成数据增强，最终得到7200个训练样本对。
将预处理后的训练样本对中的雨图像分批次，每个批次包含训练样本中的任意k张雨图像，逐个批次输入雨层分离子网络，得到分离的雨层图像和初步重建的背景层图像，可表示如下，
Ri＝RainNet(Oi), (5)
其中Oi表示每个训练批次中的第i张雨图像，RainNet(·)为雨层分离子网络，Ri为从第i张雨图像中分离出来的雨层图像，
为初步重建出来的背景层图像。同时在该部分选择的损失函数为MSE损失函数，以最小化此损失函数为训练目标，损失函数表达式如下，
其中，θr为雨层分离子网络的网络参数，Bi为Oi所对应的干净图像。
通过雨层图像生成雨纹位置信息的注意力映射，初步重建背景图像中被雨纹覆盖的区域在移除雨纹后会有图像退化的现象，通过生成雨纹位置信息的注意力映射，可以使网络关注雨纹覆盖区域的纹理特征，益于细节修复，
其表示如下，
其中Ai为根据第i张雨层图像生成的注意力映射，σ(·)表示Sigmoid激活函数。
与初步重建的背景图像一同输入细节修复子网络，可表示如下，
其中
为对应第i张雨图像生成的无雨图像，DetailNet(·)为细节修复子网络，Cat[·]为通道维度的拼接操作。在该部分选择的损失函数为Charbonnier损失函数，以最小化此损失函数为训练目标，损失函数表达式如下，
其中θd为细节修复子网络的网络参数，ε为使数值稳定的极小常量，通常设置为10-3。
因此，通过分别约束第一个阶段和第二个阶段所重建出的无雨图像和真实图像间的损失，训练整个网络模型，故总的损失函数可表示为，
Losstotal＝λ1Loss1+λ2Loss2 (11)
其中λ1，λ2为调节两部分损失函数的权重系数,在实验中设置λ1＝λ2＝1。
上述的网络训练过程可基于深度学习框架Pytorch实现，在实验参数的设置上，设置每个批次包含的雨图像为32张，学习率为1×10-3,实验迭代100轮，学习率在迭代轮数为30，60，80时逐次衰减为原来的0.2倍。
本方法中，在步骤S4中，所述测试训练好的网络，具体包括：
将步骤S1获得的Rain100H测试集中的雨图像，输入到步骤S3中训练好的网络模型中，得到相应的去雨图像。分别计算输出的去雨图像和测试集中无雨图像的峰值信噪比(PSNR)以及结构相似度(SSIM)，评价实验结果。需要说明的是测试过程中采用的PSNR和SSIM指标具体定义如下：
PSNR＝10×log10(2552/mean(mean((X-Y)2)))
SSIM＝[L(X,Y)a]×[C(X,Y)b]×[S(X,Y)c]
其中，
μX和σY分别代表X和Y的均值，σX，σY和σXY分别代表X和Y的方差以及二者的协方差。PSNR和SSIM数值越高，说明重建效果越好。
根据本发明实施例，λ1，λ2值为动态的，具体为：
获取反馈的效果值；
根据所述效果值确定λ1，λ2的大小。
需要说明的是，获取图像的效果值，可以是用户反馈的，也可以是人工智能判断的，获取了效果值之后，可以根据效果值动态调整λ1，λ2。
根据本发明实施例，所述雨层分离子网络和细节修复子网络，训练完成具体为：
获取不同组训练图像集经过迭代训练后的输出结果，进行可行性评价，生成可行性评价系数；
预设评价系数阈值，判断所述可行性评价系数是否大于所述评价阈值；
若大于，则证明雨层分离子网络模型和细节修复子网络模型训练完毕，得到雨层分离子网络和细节修复子网络。
需要说明的是，在结束神经网络训练时，可以根据评价阈值进行判断。首先，获取不同组训练图像集经过迭代训练后的输出结果，进行可行性评价，生成可行性评价系数，然后预设评价系数阈值，判断所述可行性评价系数是否大于所述评价阈值，如果大于，则说明达到了训练的标准，可以结束训练。
图5是本发明一种基于深度卷积神经网络单图像去雨系统框图。
如图5所示，一种基于深度卷积神经网络单图像去雨系统5，该系统包括：存储器51及处理器52，所述存储器中包括基于深度卷积神经网络单图像去雨方法的程序，所述基于深度卷积神经网络单图像去雨方法的程序被所述处理器执行时实现以下步骤：
S1，获取含有大量干净无雨图像和对应的合成雨图像作为一个样本对的训练图像集；
S2，构建网络模型，所述网络模型包括雨层分离子网络和细节修复子网络；
S3，将所述训练图像集进行预处理，得到预处理训练集，输入所述网络模型中进行训练，获得训练好的去雨网络模型；
S4，将需要去雨图像输入训练好的去雨网络模型中，获得去雨图像；
所述雨层分离子网络由两个卷积层、一个残差块和七个引入通道注意力的空洞卷积模块构成，用于分离雨层及初步重建背景层；
所述细节修复子网络由两个卷积层、一个残差块和五个引入注意力的多尺度特征融合模块构成，用于修复移除雨层后背景层丢失的细节。
在步骤S1中，获取含有大量干净无雨图像和其对应的合成雨图像作为一个样本对的训练图像集和测试图像集；由于很难从真实世界中获得大型的无雨和有雨配对的数据集，所以本次实验的训练采用的是人工合成的雨图数据集，由Yang等提供的合成数据集Rain100H，该数据集包括训练集1800对样本，以及测试集100对样本。
在步骤S2中，搭建网络模型，该网络模型如图2所示，由两个阶段的子网络组成，其中第一阶段网络为雨层分离子网络，第二阶段为细节修复子网络，其网络模型如下：
雨层分离子网络RainNet，网络的浅层由一个卷积层和一个残差块组成，用于初步得到输入雨图的浅层特征表示Fshallow，可表示为，
Fshallow＝Res(Conv3x3(O)) (1)
其中，Res(·)为标准残差块，Conv3x3(μ)则是卷积核大小为3的卷积层，O为雨图像。然后级联七个相同的引入通道注意力的空洞卷积模块DCCA，该模块如图3所示，由三个卷积核大小为3，空洞分别为1，3，5的空洞卷积层，一个卷积核大小为1的卷积层和一个通道注意力加权操作组成，通过不同膨胀卷积层，获得更大且不同的感受野，同时更好地聚合上下文信息，借助通道注意力机制，对特征图所有通道中有用通道的信息进行加权，对无用通道的信息进行抑制，可表示为，
DCCA＝SE(Conv1x1(Cat[ConvK3D1(F),ConvK3D3(F),ConvK3D5(F)])), (2)
其中F为输入的特征图，ConvKxDy(·)为卷积核大小是x,空洞大小是y的卷积层，Cat[·]为通道维度的拼接操作，SA为通道注意力加权操作模块。
细节修复子网络DetailNet，网络的浅层与RainNet一致，先初步提取初步重建后的背景图像
的浅层特征表示Fshallow，可表示为，
然后级联五个相同的结合通道注意力(SE模块)的多尺度特征融合的卷积模块MSCA，该模块如图4所示，由三个三个卷积核大小分别为1，3，5的卷积层核，一个卷积核大小为1的卷积层和一个通道注意力加权操作组成，通过多尺度的特征信息融合可以捕捉不同尺度的细节损失，结合通道注意力机制让网络的信息流更有效流动，可表示为，
MSCA＝SE(Conv1x1(Cat[Conv1x1(F),Conv3x3(F),Conv5x5(F)])), (4)
其中F为输入的特征图,Convkxk,表示卷积核大小为k的卷积层，其余表示均与上文相同。
以上所述的网络模型可基于深度学习框架Pytorch完成搭建。
在步骤S3，对步骤S1中得到的训练图像集进行预处理，输入步骤S2的网络模型中进行训练，获得学习好的去雨网络参数，具体包括：
首先对训练图像集的预处理，对于训练图像集中的1800个样本对，相应地随机裁剪成256x256大小的图像对，并对这些裁剪后图像进行水平翻转，旋转90°和180°完成数据增强，最终得到7200个训练样本对。
将预处理后的训练样本对中的雨图像分批次，每个批次包含训练样本中的任意k张雨图像，逐个批次输入雨层分离子网络，得到分离的雨层图像和初步重建的背景层图像，可表示如下，
Ri＝RainNet(Oi), (5)
其中Oi表示每个训练批次中的第i张雨图像，RainNet(·)为雨层分离子网络，Ri为从第i张雨图像中分离出来的雨层图像，
为初步重建出来的背景层图像。同时在该部分选择的损失函数为MSE损失函数，以最小化此损失函数为训练目标，损失函数表达式如下，
其中，θr为雨层分离子网络的网络参数，Bi为Oi所对应的干净图像。
通过雨层图像生成雨纹位置信息的注意力映射，初步重建背景图像中被雨纹覆盖的区域在移除雨纹后会有图像退化的现象，通过生成雨纹位置信息的注意力映射，可以使网络关注雨纹覆盖区域的纹理特征，益于细节修复，其表示如下，
其中Ai为根据第i张雨层图像生成的注意力映射，σ(·)表示Sigmoid激活函数。
与初步重建的背景图像一同输入细节修复子网络，可表示如下，
其中
为对应第i张雨图像生成的无雨图像，DetailNet(·)为细节修复子网络，Cat[·]为通道维度的拼接操作。在该部分选择的损失函数为Charbonnier损失函数，以最小化此损失函数为训练目标，损失函数表达式如下，
其中θd为细节修复子网络的网络参数，ε为使数值稳定的极小常量，通常设置为10-3。
因此，通过分别约束第一个阶段和第二个阶段所重建出的无雨图像和真实图像间的损失，训练整个网络模型，故总的损失函数可表示为，
Losstotal＝λ1Loss1+λ2Loss2 (11)
其中λ1，λ2为调节两部分损失函数的权重系数,在实验中设置λ1＝λ2＝1。
上述的网络训练过程可基于深度学习框架Pytorch实现，在实验参数的设置上，设置每个批次包含的雨图像为32张，学习率为1×10-3,实验迭代100轮，学习率在迭代轮数为30，60，80时逐次衰减为原来的0.2倍。
本方法中，在步骤S4中，所述测试训练好的网络，具体包括：
将步骤S1获得的Rain100H测试集中的雨图像，输入到步骤S3中训练好的网络模型中，得到相应的去雨图像。分别计算输出的去雨图像和测试集中无雨图像的峰值信噪比(PSNR)以及结构相似度(SSIM)，评价实验结果。需要说明的是测试过程中采用的PSNR和SSIM指标具体定义如下：
PSNR＝10×log10(2552/mean(mean((X-Y)2)))
SSIM＝[L(X,Y)a]×[C(X,Y)b]×[S(X,Y)c]
其中，
μX和μY分别代表X和Y的均值，σX，σY和σXY分别代表X和Y的方差以及二者的协方差。PSNR和SSIM数值越高，说明重建效果越好。
根据本发明实施例，λ1，λ2值为动态的，具体为：
获取反馈的效果值；
根据所述效果值确定λ1，λ2的大小。
需要说明的是，获取图像的效果值，可以是用户反馈的，也可以是人工智能判断的，获取了效果值之后，可以根据效果值动态调整λ1，λ2。
根据本发明实施例，所述雨层分离子网络和细节修复子网络，训练完成具体为：
获取不同组训练图像集经过迭代训练后的输出结果，进行可行性评价，生成可行性评价系数；
预设评价系数阈值，判断所述可行性评价系数是否大于所述评价阈值；
若大于，则证明雨层分离子网络模型和细节修复子网络模型训练完毕，得到雨层分离子网络和细节修复子网络。
需要说明的是，在结束神经网络训练时，可以根据评价阈值进行判断。首先，获取不同组训练图像集经过迭代训练后的输出结果，进行可行性评价，生成可行性评价系数，然后预设评价系数阈值，判断所述可行性评价系数是否大于所述评价阈值，如果大于，则说明达到了训练的标准，可以结束训练。
本发明第三方面公开了一种可读存储介质，所述可读存储介质中包括基于深度卷积神经网络单图像去雨方法程序，所述基于深度卷积神经网络单图像去雨方法程序被处理器执行时，实现如上述中任一项所述的一种基于深度卷积神经网络单图像去雨方法的步骤。
本申请的目的在于提供一种基于深度卷积神经网络单图像去雨方法、系统和存储介质，首先在第一阶段的雨层分离网络中，借助引入通道注意力的空洞卷积模块充分聚合输入雨图像的空间上下文信息，提取雨层信息，实现雨层分离和背景层的初步重建；然后在第二阶段的细节修复网络中，对分离的雨层生成雨纹位置信息的注意力映射，再借助引入通道注意力的多尺度特征融合的卷积模块，修复初步重建背景层中因移除雨层而丢失的细节，得到高质量的无雨图像。本发明通过搭建两阶段的深度卷积神经网络，有效地提取并移除雨图像中雨层，并修复退化的背景层，得到更高质量的无雨图像。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种基于深度卷积神经网络单图像去雨方法，其特征在于，所述方法包括以下步骤：
获取含有大量干净无雨图像和对应的合成雨图像作为一个样本对的训练图像集；
构建网络模型，所述网络模型包括雨层分离子网络和细节修复子网络；
将所述训练图像集进行预处理，得到预处理训练集，输入所述网络模型中进行训练，获得训练好的去雨网络模型；
将需要去雨图像输入训练好的去雨网络模型中，获得去雨图像；
所述雨层分离子网络由两个卷积层、一个残差块和七个引入通道注意力的空洞卷积模块构成，用于分离雨层及初步重建背景层；
所述细节修复子网络由两个卷积层、一个残差块和五个引入注意力的多尺度特征融合模块构成，用于修复移除雨层后背景层丢失的细节；
所述将所述训练图像集进行预处理，得到预处理训练集，输入所述网络模型中进行训练，获得训练好的去雨网络模型，具体为：
对训练图像集进行预处理，然后将雨图像输入雨层分离子网络，得到分离的雨层图像和初步重建的背景层图像，表示如下，
Ri＝RainNet(Oi),
其中Oi表示训练图像集中的第i张雨图像，RainNet(·)为雨层分离子网络，Ri为从第i张雨图像中分离出来的雨层图像，
为初步重建出来的背景层图像；
选择损失函数为MSE损失函数，以最小化此损失函数为训练目标，损失函数表达式如下，
其中，θr为雨层分离子网络的网络参数，Bi为Oi所对应的干净图像；
通过雨层图像生成雨纹位置信息的注意力映射，其表示如下，
其中Ai为根据第i张雨层图像生成的注意力映射，σ(·)表示Sigmoid激活函数，所述Sigmoid激活函数将特征图的每个像素点的值映射到(0,1)的区间，形成注意力权重，其公式定义如下，
其中，x为Sigmoid激活函数的输入；
与初步重建的背景层 图像一同输入细节修复子网络，可表示如下，
其中
为对应第i张雨图像生成的无雨图像，DetailNet(·)为细节修复子网络，Cat[·]为通道维度的拼接操作；
选择的损失函数为Charbonnier损失函数，以最小化此损失函数为训练目标，损失函数表达式如下，
其中θd为细节修复子网络的网络参数，ε为使数值稳定的极小常量，设置为10-3，因此整个网络模型的损失函数可表示为
Losstotal＝λ1Loss1+λ2Loss2
其中λ1，λ2为调节两部分损失函数的权重系数。
2.根据权利要求1所述的一种基于深度卷积神经网络单图像去雨方法，其特征在于，所述雨层分离子网络具体为：
所述雨层分离子网络的浅层由一个卷积层和一个残差块组成，用于初步得到输入雨图的浅层特征表示Fshallow，表示为，
Fshallow＝Res(Conv3x3(O))
其中，Res(·)为标准残差块，Conv3x3(·)则是卷积核大小为3的卷积层，O为雨图像，然后级联七个相同的引入通道注意力的空洞卷积模块，所述空洞卷积模块由三个卷积核大小为3，空洞分别为1，3，5的空洞卷积层，一个卷积核大小为1的卷积层和一个通道注意力加权操作模块组成，表示为，
DCCA＝
SE(Conv1x1(Cat[ConvK3D1(F),ConvK3D3(F),ConvK3D5(F)])),
其中F为输入的特征图，ConvKxDy(·)为卷积核K的大小为x,空洞D的大小为y的卷积层，Cat[·]为通道维度的拼接操作，SE为通道注意力加权操作模块。
3.根据权利要求1所述的一种基于深度卷积神经网络单图像去雨方法，其特征在于，所述细节修复子网络具体为：
细节修复子网络的浅层由一个卷积层和一个残差块组成，先初步提取初步重建后的背景层 图像
的浅层特征表示Fshallow，表示为，
其中，Res(·)为标准残差块，Conv3x3(·)则是卷积核大小为3的卷积层；然后级联五个相同的引入通道注意力的多尺度特征融合卷积模块MSCA，所述卷积模块由三个卷积核大小分别为1，3，5的卷积层核，一个卷积核大小为1的卷积层和一个通道注意力加权操作模块组成，表示为，
MSCA＝
SE(Conv1x1(Cat[Conv1x1(F),Conv3x3(F),Conv5x5(F)])),
其中F为输入的特征图,Convkxk,表示卷积核大小为K的卷积层，Cat[·]为通道维度的拼接操作，SE为通道注意力加权操作模块。
4.根据权利要求1所述的一种基于深度卷积神经网络单图像去雨方法，其特征在于，λ1，λ2值为动态的，具体为：
获取反馈的效果值；
根据所述效果值确定λ1，λ2的大小。
5.根据权利要求1所述的一种基于深度卷积神经网络单图像去雨方法，其特征在于，所述雨层分离子网络和细节修复子网络，训练完成具体为：
获取不同组训练图像集经过迭代训练后的输出结果，进行可行性评价，生成可行性评价系数；
预设评价系数阈值，判断所述可行性评价系数是否大于所述评价系数阈值；
若大于，则证明雨层分离子网络模型和细节修复子网络模型训练完毕，得到雨层分离子网络和细节修复子网络。
6.一种基于深度卷积神经网络单图像去雨系统，其特征在于，该系统包括：存储器及处理器，所述存储器中包括基于深度卷积神经网络单图像去雨方法的程序，所述基于深度卷积神经网络单图像去雨方法的程序被所述处理器执行时实现以下步骤：
获取含有大量干净无雨图像和对应的合成雨图像作为一个样本对的训练图像集；
构建网络模型，所述网络模型包括雨层分离子网络和细节修复子网络；
将所述训练图像集进行预处理，得到预处理训练集，输入所述网络模型中进行训练，获得训练好的去雨网络模型；
将需要去雨图像输入训练好的去雨网络模型中，获得去雨图像；
所述雨层分离子网络由两个卷积层、一个残差块和七个引入通道注意力的空洞卷积模块构成，用于分离雨层及初步重建背景层；
所述细节修复子网络由两个卷积层、一个残差块和五个引入注意力的多尺度特征融合模块构成，用于修复移除雨层后背景层丢失的细节；
所述将所述训练图像集进行预处理，得到预处理训练集，输入所述网络模型中进行训练，获得训练好的去雨网络模型，具体为：
对训练图像集进行预处理，然后将雨图像输入雨层分离子网络，得到分离的雨层图像和初步重建的背景层图像，表示如下，
Ri＝RainNet(Oi),
其中Oi表示训练图像集中的第i张雨图像，RainNet(·)为雨层分离子网络，Ri为从第i张雨图像中分离出来的雨层图像，
为初步重建出来的背景层图像；
选择损失函数为MSE损失函数，以最小化此损失函数为训练目标，损失函数表达式如下，
其中，θr为雨层分离子网络的网络参数，Bi为Oi所对应的干净图像；
通过雨层图像生成雨纹位置信息的注意力映射，其表示如下，
其中Ai为根据第i张雨层图像生成的注意力映射，σ(·)表示Sigmoid激活函数，所述Sigmoid激活函数将特征图的每个像素点的值映射到(0,1)的区间，形成注意力权重，其公式定义如下，
其中，x为Sigmoid激活函数的输入；
与初步重建的背景层 图像一同输入细节修复子网络，可表示如下，
其中
为对应第i张雨图像生成的无雨图像，DetailNet(·)为细节修复子网络，Cat[·]为通道维度的拼接操作；
选择的损失函数为Charbonnier损失函数，以最小化此损失函数为训练目标，损失函数表达式如下，
其中θd为细节修复子网络的网络参数，ε为使数值稳定的极小常量，设置为10-3，因此整个网络模型的损失函数可表示为
Losstotal＝λ1Loss1+λ2Loss2
其中λ1，λ2为调节两部分损失函数的权重系数。
7.根据权利要求6所述的一种基于深度卷积神经网络单图像去雨系统，其特征在于，所述雨层分离子网络具体为：
所述雨层分离子网络的浅层由一个卷积层和一个残差块组成，用于初步得到输入雨图的浅层特征表示Fshallow，表示为，
Fshallow＝Res(Conv3x3(O))
其中，Res(·)为标准残差块，Conv3x3(·)则是卷积核大小为3的卷积层，O为雨图像，然后级联七个相同的引入通道注意力的空洞卷积模块，所述空洞卷积模块由三个卷积核大小为3，空洞分别为1，3，5的空洞卷积层，一个卷积核大小为1的卷积层和一个通道注意力加权操作模块组成，表示为，
DCCA＝
SE(Conv1x1(Cat[ConvK3D1(F),ConvK3D3(F),ConvK3D5(F)])),
其中F为输入的特征图，ConvKxDy(·)为卷积核K的大小为x,空洞D的大小为y的卷积层，Cat[·]为通道维度的拼接操作，SE为通道注意力加权操作模块。
8.根据权利要求6所述的一种基于深度卷积神经网络单图像去雨系统，其特征在于，所述细节修复子网络具体为：
细节修复子网络的浅层由一个卷积层和一个残差块组成，先初步提取初步重建后的背景层 图像
的浅层特征表示Fshallow，表示为，
其中，Res(·)为标准残差块，Conv3x3(·)则是卷积核大小为3的卷积层；然后级联五个相同的引入通道注意力的多尺度特征融合卷积模块MSCA，所述卷积模块由三个卷积核大小分别为1，3，5的卷积层核，一个卷积核大小为1的卷积层和一个通道注意力加权操作模块组成，表示为，
MSCA＝
SE(Conv1x1(Cat[Conv1x1(F),Conv3x3(F),Conv5x5(F)])),
其中F为输入的特征图,Convkxk,表示卷积核大小为k的卷积层，Cat[·]为通道维度的拼接操作，SE为通道注意力加权操作模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110889468.0A CN113450288B (zh) | 2021-08-04 | 2021-08-04 | 基于深度卷积神经网络单图像去雨方法、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110889468.0A CN113450288B (zh) | 2021-08-04 | 2021-08-04 | 基于深度卷积神经网络单图像去雨方法、系统和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113450288A CN113450288A (zh) | 2021-09-28 |
| CN113450288B true CN113450288B (zh) | 2022-09-06 |
Family
ID=77818128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110889468.0A Active CN113450288B (zh) | 2021-08-04 | 2021-08-04 | 基于深度卷积神经网络单图像去雨方法、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113450288B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113850741B (zh) * | 2021-10-10 | 2023-04-07 | 杭州知存智能科技有限公司 | 图像降噪方法、装置、电子设备以及存储介质 |
| CN113920029A (zh) * | 2021-10-20 | 2022-01-11 | 常州微亿智造科技有限公司 | 工业检测中的雨线去除装置 |
| CN114187275B (zh) * | 2021-12-13 | 2024-07-02 | 贵州大学 | 一种基于多阶段和多尺度注意力融合网络及图像去雨方法 |
| CN114820379B (zh) * | 2022-05-12 | 2024-04-26 | 中南大学 | 基于注意力对偶残差生成对抗网络的图像类雨层去除方法 |
| CN114638768B (zh) * | 2022-05-19 | 2022-08-09 | 武汉大学 | 一种基于动态关联学习网络的图像去雨方法、系统及设备 |
| CN114972105B (zh) * | 2022-06-10 | 2024-03-29 | 江苏海洋大学 | 一种基于多尺度融合残差网络的单幅图像去雨方法 |
| CN116091350B (zh) * | 2023-02-03 | 2024-07-19 | 泉州装备制造研究所 | 一种基于多级联递进卷积结构的图像去雨方法及系统 |
| CN116883275B (zh) * | 2023-07-07 | 2023-12-29 | 广州工程技术职业学院 | 基于边界引导的图像去雨方法、系统、装置及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133935A (zh) * | 2017-05-25 | 2017-09-05 | 华南农业大学 | 一种基于深度卷积神经网络的单图像精细去雨方法 |
| CN111145112A (zh) * | 2019-12-18 | 2020-05-12 | 华东师范大学 | 一种基于残差对抗细化网络的两阶段图像去雨方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503609B (zh) * | 2019-07-15 | 2023-04-28 | 电子科技大学 | 一种基于混合感知模型的图像去雨方法 |
| US11403486B2 (en) * | 2019-11-13 | 2022-08-02 | Huawei Technologies Co., Ltd. | Methods and systems for training convolutional neural network using built-in attention |
| CN112085678B (zh) * | 2020-09-04 | 2024-05-14 | 国网福建省电力有限公司检修分公司 | 一种适用于电力设备机巡图像去雨滴的方法及系统 |
| CN112767280B (zh) * | 2021-02-01 | 2022-06-14 | 福州大学 | 一种基于循环迭代机制的单幅图像雨滴去除方法 |
| CN112907479B (zh) * | 2021-03-05 | 2023-04-18 | 西安电子科技大学 | 基于注意力机制的残差单幅图像去雨方法 |
| CN112884073B (zh) * | 2021-03-22 | 2022-05-27 | 上海大学 | 图像去雨方法、系统、终端及存储介质 |
-
2021
- 2021-08-04 CN CN202110889468.0A patent/CN113450288B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133935A (zh) * | 2017-05-25 | 2017-09-05 | 华南农业大学 | 一种基于深度卷积神经网络的单图像精细去雨方法 |
| CN111145112A (zh) * | 2019-12-18 | 2020-05-12 | 华东师范大学 | 一种基于残差对抗细化网络的两阶段图像去雨方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| "基于改进的残差网络的图像去雨方法";林裕鹏，刘怡俊;《计算机与数字工程》;20200831;第2004-2008页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113450288A (zh) | 2021-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113450288B (zh) | 基于深度卷积神经网络单图像去雨方法、系统和存储介质 | |
| CN110163813B (zh) | 一种图像去雨方法、装置、可读存储介质及终端设备 | |
| CN112419184B (zh) | 一种综合局部信息和全局信息的空间注意力图像去噪方法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN105825477B (zh) | 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法 | |
| CN109584178A (zh) | 图像修复方法、装置和存储介质 | |
| CN111861894B (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
| CN111861901A (zh) | 一种基于gan网络的边缘生成图像修复方法 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| CN113763268B (zh) | 人脸图像盲修复方法及系统 | |
| CN112581370A (zh) | 人脸图像的超分辨率重建模型的训练及重建方法 | |
| CN111476739B (zh) | 水下图像增强方法、系统及存储介质 | |
| CN113362338B (zh) | 铁轨分割方法、装置、计算机设备和铁轨分割处理系统 | |
| CN115641391A (zh) | 一种基于密集残差和双流注意力的红外图像彩色化方法 | |
| CN112509144A (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
| CN114742733A (zh) | 云去除方法、装置、计算机设备和存储介质 | |
| CN111402173B (zh) | 一种混合噪声去除方法、装置、电子设备和存储介质 | |
| CN116485741A (zh) | 一种无参考图像质量评价方法、系统、电子设备及存储介质 | |
| CN117114984A (zh) | 基于生成对抗网络的遥感图像超分辨率重建方法 | |
| CN112200752A (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
| CN110570375B (zh) | 一种图像处理方法、装置、电子设置以及存储介质 | |
| CN116051407A (zh) | 一种图像修复方法 | |
| CN117422619A (zh) | 图像重建模型的训练方法、图像重建方法、装置及设备 | |
| CN115346091B (zh) | 一种Mura缺陷图像数据集的生成方法和生成装置 | |
| CN114862699B (zh) | 基于生成对抗网络的人脸修复方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |