CN111062892A - 一种基于复合残差网络和深层监督的单幅图像去雨方法 - Google Patents
一种基于复合残差网络和深层监督的单幅图像去雨方法 Download PDFInfo
- Publication number
- CN111062892A CN111062892A CN201911362316.4A CN201911362316A CN111062892A CN 111062892 A CN111062892 A CN 111062892A CN 201911362316 A CN201911362316 A CN 201911362316A CN 111062892 A CN111062892 A CN 111062892A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- rain
- residual
- residual error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002131 composite material Substances 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000004913 activation Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 13
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000001308 synthesis method Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 2
- 230000009748 deglutition Effects 0.000 claims 2
- 238000012935 Averaging Methods 0.000 claims 1
- 239000010410 layer Substances 0.000 description 68
- 230000006870 function Effects 0.000 description 13
- 238000013507 mapping Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于复合残差网络和深层监督的单幅图像去雨方法，包括以下步骤：构建训练集，收集自然场景下带有多个方向的雨的图像以及对应的干净的图像；预处理，从训练集中随机选取图像对作为网络的输入；提取特征，将带有雨的图像块输入到包含多个残差模块的复合残差网络中进行处理，得到多层次特征；图像重构，将每个残差模块的输出特征进行拼接后，输入到一个卷积层后得到三通道图像，取这个三通道图像为最终的复原图像；使用干净图像对每个残差模块的输出进行监督，即深层监督，以优化网络参数。本发明在有效地去除包含多个方向雨条的同时，能够良好地保留场景细节信息，并可应用到各类图像复原的应用中。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种基于复合残差网络和深层监督的单幅图像去雨方法。
背景技术
在雨天进行拍摄，拍摄得到的图像上会形成一些线状的白斑，因此，图像去雨任务的目的就是要将拍摄得到的图像上的雨线给去除，从而还原出图像中被破坏的背景。
近几年来，以数字图像处理学科为基础的计算机视觉在科学研究，社会生产以及人们的日常生活中都得到了广泛的应用，例如在远程监控，智能交通，遥感，医学，军事国防等领域。然而，在雨天条件下,所拍摄的图像和视频容易受到雨滴的散射和模糊作用,使得图像成像模糊,能见度下降,极大的限制了室外视觉处理算法的性能,例如图像分割,目标识别,目标跟踪等等，因此，去除该类图像上的雨纹成为了一个不可缺少的课题。
目前的去雨方法主要包括两种类型，一种是基于传统的优化方法，比如引入稀疏先验等等；另一种是基于深度学习的方法，近几年来基于深度学习的去雨方法不断被提出，且该类方法可以取得非常不错的效果。当将深层网络应用于单幅图像去除时，一个自然的解决方案是学习直接映射以从多雨图像y预测干净的背景图像x。然而，傅等人在他们的工作中指出，普通的全卷积网络(FCN)在学习直接映射方面是无效的。因此，傅等人应用低通滤波器将y分解为基础层ybase和细节层ydetail。通过假设ybase≈xbase，然后部署FCN以从y细节预测xdetail。相反，李等人采用残差学习公式从y预测雨层y-x。还提出了更复杂的学习公式，例如联合检测和消除雨水条纹，联合降雨密度估计和排水。还引入了对抗损失以增强排水结果的纹理细节。对于排水网络的体系结构，Fu等。首先采用浅层CNN，然后采用深层ResNet。杨等人设计了一种多任务CNN架构，用于联合检测和消除雨条，其中采用了上下文相关的扩张卷积和递归结构来处理多尺度和多重去雨。随后，张等人提出了一种密度感知的多流密集连接的CNN，用于联合估计降雨密度和消除降雨条纹。最近，李等人经常利用膨胀的CNN和挤压和激励块来去除大雨条。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于复合残差网络和深层监督的单幅图像去雨方法。
本发明的目的通过以下的技术方案实现：
一种基于复合残差网络和深层监督的单幅图像去雨方法，包括以下步骤：
S1、构建训练集，收集自然场景下带有多个方向的雨的图像以及对应的干净的图像；
S2、预处理，从训练集中随机选取图像对作为网络的输入；
S3、提取特征，将带有雨的图像块输入到包含多个残差模块的复合残差网络中进行处理，得到多层次特征；
S4、图像重构，将每个残差模块的输出特征进行拼接后，输入到一个卷积层后得到三通道图像，取这个三通道图像为最终的复原图像；
S5、使用干净图像对每个残差模块的输出进行监督，即深层监督，以优化网络参数。
步骤S1中，所述训练集的构建通过如下方式：
收集现有的公开数据集，该数据集中包含了多个方向的雨线，难度比其它仅包含单个方向的雨线更具挑战性；
利用计算机视觉任务中已有的自然图像库，结合雨线合成方法，自身合成所需要的训练数据集。
所述现有的公开数据集包括RianH。
步骤S2中，所述预处理，具体步骤如下：
随机选取训练数据集的图像对，将图像对进行变换；
随机切取图像对，得到裁剪后为256*256的大小的图像块，并将图像对进行正则化处理。
所述将图像对进行变换，包括旋转、放大、缩小。
所述步骤S3，具体步骤如下：
1)输入图像I，将I经过一个卷积层conv0，卷积核大小为3*3，步长为1，得到输出特征X1；
2)将X输入残差模块RBLK1中，RBLK1包含三个卷积层，每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数relu，经过三层卷积后的输出特征(残差)与该模块RBLK1的输入进行相加，得到RBLK1的输出特征图X1；
3)将X1输入残差模块RBLK2中，RBLK2包含两个卷积层，每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数prelu，经过三层卷积后的输出特征(残差)与该模块RBLK2的输入进行相加，得到RBLK2的输出特征图X2；
4)将X1和X2相加后输入残差模块RBLK3中，RBLK3包含三个卷积层，每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数prelu，经过三层卷积后的输出特征(残差)与该模块RBLK3的输入进行相加，得到RBLK3的输出特征图X3；
5)将X1，X2和X3相加后输入残差模块RBLK4中，RBLK4包含三个卷积层，每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数prelu，经过三层卷积后的输出特征(残差)与该模块RBLK4的输入进行相加，得到RBLK4的输出特征图X4；
6)与步骤4)、5)类似，得到特征X5，X6，X7，X8，X9，X10；
7)由于每个残差模块能够看成一个整体的单元，每一个单元都将输出跳接到后面的每个单元中，构成了外部的残差结构，因此称之为复合残差网络。
所述步骤S4，具体为：
将每个残差模块的输出特征-X1，X2，X3，X4，X5，X6，X7，X8，X9，X10进行拼接后，分别输入到卷积层conv11中，其中卷积核大小为3*3，步长为1，其后均接一个relu激活函数，得到的3通道的彩色图像作为最终复原的图像。
步骤S5中，所述深层监督体现为在损失函数中，对每个模块的输出都与干净图像求均方差，然后将梯度反向传播到网络中。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明可以很好地应对带多个方向的雨线图像，在真实的雨天场景下，受到风力等因素的影响，雨线往往是包含多个方向的，因此很自然的想法就是让网络每一阶段可以聚焦于一个方向的雨线，这就是级联多个相同RBLK的主要原因，每个RBLK去除了一部分雨线后，传递到后面的RBLK中，这是一个不断的对图像进行微调的过程。
2、本发明引入残差来克服梯度消失问题，在每一个RBLK中，采用的是残差单元，主要是为了在网络加深的时候，避免梯度消失的问题。
3、本发明可以很好地保证原图像的细节信息，RBLK之间采用了密集的跳接。采用跳接的主要原因是使得低层的特征，即保留了大量细节信息的特征可以传输到网络后面，以免细节信息的过度丢失。
4、本发明采用了网络深层监督来使得网络可以找到更优解，网络对每一个RBLK的输出进行特征选择并监督。深层监督可以使得网络向着更好的方向去学习。
5、本发明还可以迁移到如下领域：图像去噪；图像超分辨率等图像复原相关的应用中。
附图说明
图1是本发明所述一种基于复合残差网络和深层监督的单幅图像去雨方法的流程图。
图2为RainH数据集的图像样本图。
图3为残差模块的结构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
一种基于复合残差网络和深层监督的单幅图像去雨方法：
1.在构建训练集时，可以收集自然场景下带有多个方向的雨的图像以及对应的干净的图像，目前已有公开的包含多个雨线方向的数据集RainH，可以直接使用该数据集对网络进行训练。除此之外，还可以根据自己需要的场景，比如自动驾驶，车辆检测等等，收集相关场景的干净图像，再利用现有的一些雨线合成方法，合成出相应的数据集；
2.对输入进行预处理时，首先从训练集中随机选取图像，但不是直接将图像放入网络中进行训练，而是事先对图像进行合理的处理。为了提高网络对于不同图像的鲁棒性，首先将图像进行仿射变换，比如旋转，放大和缩小。然后，对得到的图像进行切片，切片大小为256*256，因为这个大小的图像块足够包含大量的雨线信息。最后，为了使得网络可以更好地收敛，还必须对图像进行归一化处理；
3.网络提取特征，首先将经过预处理的图像输入到一个卷积层中进行初步的特征提取，然后将该特征输入到包含多个残差模块的复合残差网络中进行处理，每个残差模块输出对应到网络中不同深层的特征，浅层的特征更好地保留了原图像的细节信息，而深层特征得到的是图像的寓意信息，在相同层次中，不同通道对应的是图像中不同模式，因此该复合残差网络后可以得到多层次特征；
4.对图像进行重构，得到了多层次特征后，仍然不是最终需要的复原图像，需要将这些特征进行处理来重构需要的图像。具体做法是，将每个残差模块的输出特征进行拼接后，输入到一个卷积层后得到三通道图像，取这个三通道图像为最终的复原图像；
5.使用干净图像对每个模块的输出进行监督，即深层监督，以优化网络参数。
6.如图1所示，本发明是一种基于复合残差网络和深层监督的单幅图像去雨方法，首先对输入图片进行放射变换，随机切片，归一化处理，预处理完成后输入到网络中。该网络是一个复合的残差网络，即残差单元是包含残差连接，残差单元之间页包含残差连接，通过引入密集的残差连接，一个是可以使网络避免梯度消失的问题，另一个是对于图像处理问题来说，可以更好地保证原图的细节信息的保留。经过多个残差模块的处理之后，每个残差模块都输出对于的特征图，这些特征图来自网络不同深层处，提取到的信息不一样，浅层特征图较好地保留了细节信息之外也伴随了较多的雨线信息，而深层的特征图细节信息被大量丢弃的同时，也去掉了大量的雨线信息，因此最后在重构图像的时候，将所有层次的特征通过拼接进行融合，然后通过一个卷积层来实现特征的选择。最后，该网络的训练不仅仅对最后的输出图像进行监督，而是将每个残差模块的输出特征输入到不同的卷积层中得到多张三通道的输出图，显然，越浅层的输出图像带有更多的雨线，然后对所有这些图像进行监督来达到对网络进行深层监督的目的。
本发明基于复合残差网络和深层监督的单幅图像去雨方法，具体包括了如下主要技术要点：
1.目前公开的数据集中，大部分都是只包含单个方向的雨线，但是在真实的场景中，由于各种外力，比如风等，雨线会呈现出多个方向，因此，如果要使得训练出来的网络可以更好地复原真实场景的带雨图像的话，需要使用包含多个方向的雨线的数据集来训练网络，因此收集训练集对网络的训练至关重要。根据目前已有的工作来看，训练数据集的收集可以通过如下方式：
(1)直接收集现有的公开数据集，如RianH，如图2所示，该数据集中包含了多个方向的雨线，比其它仅包含单个方向的雨线更具挑战性，该数据集可以直接用到网络训练中；
(2)利用计算机视觉任务中已有的自然图像库，比如自动驾驶中的cityscapes数据集，再结合现有的雨线合成方法，合成自身所需要的特定场景的训练数据集。
2.训练样本预处理，训练样本如果直接输入网络中训练，会产生两个主要的问题，一个是图像尺寸过大，在训练过程种处理一张图像需要消耗过多计算资源；另一个问题是图像的像素取值范围是[0,255]，直接采用这个取值范围的输入不利于网络的收敛，因此，在将图像输入到网络前，需要采取以下两个预处理步骤：
(1)随机选取训练数据集的图像对，将图像对进行变换，如旋转，放大，缩小，这样处理相当于对训练数据集进行扩充，因为在实际情况中，由于各种原因，可以收集到的数据集往往很少，而训练集的缺乏是对网络训练非常不利的，因此需要进行这样一个预处理步骤使得数据集可以增加，使得训练出来的网络可以降低过拟合的风险；
(2)随机切取图像对，得到裁剪后为256*256的大小的图像块，这是由于原图像大小较大，在同样的计算资源下，切块后的图像可以增加每一次训练的批量个数，这对应使用批量梯度下降算法进行优化的网络来说是有利的；
(3)将图像对进行正则化处理，这是由于图像的取值范围是0-255，网络直接学习[0,255]到[0,255]的映射的话，会比学习[0,1]到[0,1]的映射收敛更慢，所以可以采用以下的归一化手段，对于输入图像I：
Inorm＝I/255
其中Inorm为归一化后的图像。
3.提取图像的多层次特征，如图1所示，首先将经过预处理的图像输入到一个卷积层中进行初步的特征提取，然后将该特征输入到包含多个残差模块的复合残差网络中进行处理，每个残差模块输出对应到网络中不同深层的特征，浅层的特征更好地保留了原图像的细节信息，而深层特征得到的是图像的寓意信息，在相同层次中，不同通道对应的是图像中不同模式，因此该复合残差网络后可以得到多层次特征，该复合残差网络的具体结构如下：
(1)输入图像I，将I经过一个卷积层conv0，卷积核大小为3*3，步长为1，得到输出特征X0；
(2)将X0输入残差模块RBLK1中，如图3所示，RBLK1包含三个卷积层，可以表达为如下公式：
H(x)＝F(x)+x
每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数prelu，经过三层卷积后的输出特征(残差)与该模块RBLK1的输入进行相加，得到RBLK1的输出特征图X1；
(3)将X1输入残差模块RBLK2中，RBLK2包含两个卷积层，每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数relu，经过三层卷积后的输出特征(残差)与该模块RBLK2的输入进行相加，得到RBLK2的输出特征图X2；
(4)将X1和X2相加后输入残差模块RBLK3中，RBLK3包含三个卷积层，每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数prelu，经过三层卷积后的输出特征(残差)与该模块RBLK3的输入进行相加，得到RBLK3的输出特征图X3；
(5)将X1，X2和X3相加后输入残差模块RBLK4中，RBLK4包含三个卷积层，每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数prelu，经过三层卷积后的输出特征(残差)与该模块RBLK4的输入进行相加，得到RBLK4的输出特征图X4；
(6)与步骤4)5)类似，得到特征X5,X6,X7,X8,X9,X10；
(7)由于每个残差模块可以看成一个整体的单元，每一个单元都将输出跳接到后面的每个单元中，构成了外部的残差结构，因此称之为复合残差网络。
对带雨图像提取如此复杂的特征，主要是因为在很多采用端到端的方法中，最终恢复出来的干净图像往往还不能够满足现实应用的需求，如雨纹去除不干净或者是恢复出来的图像的分辨率比较低，这些因素都会对后面的识别系统产生很大的影响，而通过复合残差网络得到的多层次特征可以很好的解决这个问题，一个原因是残差连接可以将低层特征传播到网络的深层去；另一个原因是该步骤将每个残差模块RBLK的特征都保留下来，传递到步骤4中进行图像的重构，这些特征是来自于网络不同的层中，所提取到的特征都具备不一样的信息，这些信息的融合对应图像的重构都是非常重要的。
4.对图像进行重构，步骤3中已经对图像提取到了多层次的特征，然而这些特征还不是所需要的最终的干净图像，因此需要对这些图像进行重构操作。如图1所示，首先是将每个残差模块的输出特征进行拼接，这些特征分别为，X1,X2,X3,X4,X5,X6,X7,X8,X9,X10，拼接的做法是将这些特征在最后一个维度进行拼接，也就是在批量的通道上进行拼接。由于对特征直接相加会导致信息的损失，因此该发明采用的不是对特征直接相加，最终拼接得到的特征为X，X＝[X1；X2；X3；X4；X5；X6；X7；X8；X9；X10]；
然后把X输入到卷积层conv中，其中卷积核大小为3*3，步长为1，其后接一个relu激活函数，得到的3通道图像Io作为最终复原的彩色图像，这个卷积层conv的主要作用是对多层次特征进行选择，这个选择是一个学习的过程，网络通过学习来筛选出干净图像所拥有的特征，而舍去干净图像中不具备的属性，比如雨纹的特征。
5.对网络进行深层监督，如图1所示，将每个残差模块的输出特征X1,X2,X3,X4,X5,X6,X7,X8,X9,X10分别输入到不同的卷积层中，其中每个卷积层的卷积核大小为3*3，步长为1，进而得到10张不同的输出图像Io1，Io2，Io3，Io4，Io5，Io6，Io7，Io8，Io9，Io10。在损失函数中，可以看出对每个模块的输出都与干净图像求均方差，
其中Igt为干净图像，wi,i＝0,1,2,3…,10为每个残差模块对应的输出权重，其中w0的权重最大，因为该权重对应的输出是通过筛选多层次的特征得到的，输出的结果比单个层次的特征对应的输出结果好，而w1～w10的设定可以通过一个指数函数指定，权重大小为逐渐递增，然后将梯度反向传播到网络中。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.一种基于复合残差网络和深层监督的单幅图像去雨方法，其特征在于，包括以下步骤：
S1、构建训练集，收集自然场景下带有多个方向的雨的图像以及对应的干净的图像；
S2、预处理，从训练集中随机选取图像对作为网络的输入；
S3、提取特征，将带有雨的图像块输入到包含多个残差模块的复合残差网络中进行处理，得到多层次特征；
S4、图像重构，将每个残差模块的输出特征进行拼接后，输入到一个卷积层后得到三通道图像，取这个三通道图像为最终的复原图像；
S5、使用干净图像对每个残差模块的输出进行监督，即深层监督，以优化网络参数。
2.根据权利要求1所述基于复合残差网络和深层监督的单幅图像去雨方法，其特征在于，步骤S1中，所述训练集的构建通过如下方式：
收集现有的公开数据集，该数据集中包含了多个方向的雨线；
利用计算机视觉任务中已有的自然图像库，结合雨线合成方法，自身合成所需要的训练数据集。
3.根据权利要求2所述基于复合残差网络和深层监督的单幅图像去雨方法，其特征在于，所述现有的公开数据集包括RianH。
4.根据权利要求1所述基于复合残差网络和深层监督的单幅图像去雨方法，其特征在于，步骤S2中，所述预处理，具体步骤如下：
随机选取训练数据集的图像对，将图像对进行变换；
随机切取图像对，得到裁剪后为256*256的大小的图像块，并将图像对进行正则化处理。
5.根据权利要求4所述基于复合残差网络和深层监督的单幅图像去雨方法，其特征在于，所述将图像对进行变换，包括旋转、放大、缩小。
6.根据权利要求1所述基于复合残差网络和深层监督的单幅图像去雨方法，其特征在于，所述步骤S3，具体步骤如下：
1)输入图像I，将I经过一个卷积层conv0，卷积核大小为3*3，步长为1，得到输出特征X1；
2)将X输入残差模块RBLK1中，RBLK1包含三个卷积层，每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数relu，经过三层卷积后的输出特征与该模块RBLK1的输入进行相加，得到RBLK1的输出特征图X1；
3)将X1输入残差模块RBLK2中，RBLK2包含两个卷积层，每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数prelu，经过三层卷积后的输出特征与该模块RBLK2的输入进行相加，得到RBLK2的输出特征图X2；
4)将X1和X2相加后输入残差模块RBLK3中，RBLK3包含三个卷积层，每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数prelu，经过三层卷积后的输出特征与该模块RBLK3的输入进行相加，得到RBLK3的输出特征图X3；
5)将X1，X2和X3相加后输入残差模块RBLK4中，RBLK4包含三个卷积层，每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数prelu，经过三层卷积后的输出特征与该模块RBLK4的输入进行相加，得到RBLK4的输出特征图X4；
6)与步骤4)、5)类似，得到特征X5，X6，X7，X8，X9，X10；
7)由于每个残差模块能够看成一个整体的单元，每一个单元都将输出跳接到后面的每个单元中，构成了外部的残差结构，因此称之为复合残差网络。
7.根据权利要求6所述基于复合残差网络和深层监督的单幅图像去雨方法，其特征在于，所述步骤S4，具体为：
将每个残差模块的输出特征-X1，X2，X3，X4，X5，X6，X7，X8，X9，X10进行拼接后，分别输入到卷积层conv11中，其中卷积核大小为3*3，步长为1，其后均接一个relu激活函数，得到的3通道的彩色图像作为最终复原的图像。
8.根据权利要求1所述基于复合残差网络和深层监督的单幅图像去雨方法，其特征在于，步骤S5中，所述深层监督体现为在损失函数中，对每个模块的输出都与干净图像求均方差，然后将梯度反向传播到网络中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911362316.4A CN111062892B (zh) | 2019-12-26 | 2019-12-26 | 一种基于复合残差网络和深层监督的单幅图像去雨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911362316.4A CN111062892B (zh) | 2019-12-26 | 2019-12-26 | 一种基于复合残差网络和深层监督的单幅图像去雨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062892A true CN111062892A (zh) | 2020-04-24 |
| CN111062892B CN111062892B (zh) | 2023-06-16 |
Family
ID=70303685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911362316.4A Active CN111062892B (zh) | 2019-12-26 | 2019-12-26 | 一种基于复合残差网络和深层监督的单幅图像去雨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062892B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111681176A (zh) * | 2020-05-14 | 2020-09-18 | 华南农业大学 | 自适应卷积的残差修正单幅图像去雨方法 |
| CN111861925A (zh) * | 2020-07-24 | 2020-10-30 | 南京信息工程大学滨江学院 | 一种基于注意力机制与门控循环单元的图像去雨方法 |
| CN111861926A (zh) * | 2020-07-24 | 2020-10-30 | 南京信息工程大学滨江学院 | 一种基于空域组增强机制与长短时记忆网络的图像去雨方法 |
| CN111861935A (zh) * | 2020-07-29 | 2020-10-30 | 天津大学 | 一种基于图像修复技术的去雨方法 |
| CN111860003A (zh) * | 2020-07-21 | 2020-10-30 | 济南大学 | 基于密集连接深度残差网络的图像去雨方法及系统 |
| CN112734676A (zh) * | 2021-01-20 | 2021-04-30 | 北京大学 | 一种空间尺度泛化的去雨方法 |
| CN112733861A (zh) * | 2021-01-28 | 2021-04-30 | 华南理工大学 | 基于u型残差网络的文本擦除和抠字方法 |
| CN112785525A (zh) * | 2021-01-26 | 2021-05-11 | 桂林电子科技大学 | 基于深度学习去除刀具刃口图像中的附着物的方法和系统 |
| CN112785523A (zh) * | 2021-01-22 | 2021-05-11 | 北京大学 | 子带网络桥接的半监督图像去雨方法及装置 |
| CN113033687A (zh) * | 2021-04-02 | 2021-06-25 | 西北工业大学 | 一种雨雪气候条件下的目标检测识别方法 |
| CN113052759A (zh) * | 2021-03-31 | 2021-06-29 | 华南理工大学 | 基于mask和自动编码器的场景复杂文本图像编辑方法 |
| CN113191339A (zh) * | 2021-06-30 | 2021-07-30 | 南京派光智慧感知信息技术有限公司 | 一种基于视频分析的轨道异物侵限监测方法及系统 |
| CN113837353A (zh) * | 2021-08-17 | 2021-12-24 | 中国地质大学（武汉） | 基于特征筛选和深度融合的卷积神经网络特征融合算法 |
| CN114862713A (zh) * | 2022-04-29 | 2022-08-05 | 西安理工大学 | 基于注意力平滑膨胀卷积的两阶段图像去雨方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504204A (zh) * | 2016-10-12 | 2017-03-15 | 天津大学 | 一种基于稀疏表示的单幅图像去雨方法 |
| CN108648159A (zh) * | 2018-05-09 | 2018-10-12 | 华南师范大学 | 一种图像去雨方法及系统 |
| CN108765344A (zh) * | 2018-05-30 | 2018-11-06 | 南京信息工程大学 | 一种基于深度卷积神经网络的单幅图像雨线去除的方法 |
| CN110046575A (zh) * | 2019-04-16 | 2019-07-23 | 浙江农林大学 | 基于改进残差网络的遥感图像场景分类方法 |
-
2019
- 2019-12-26 CN CN201911362316.4A patent/CN111062892B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504204A (zh) * | 2016-10-12 | 2017-03-15 | 天津大学 | 一种基于稀疏表示的单幅图像去雨方法 |
| CN108648159A (zh) * | 2018-05-09 | 2018-10-12 | 华南师范大学 | 一种图像去雨方法及系统 |
| CN108765344A (zh) * | 2018-05-30 | 2018-11-06 | 南京信息工程大学 | 一种基于深度卷积神经网络的单幅图像雨线去除的方法 |
| CN110046575A (zh) * | 2019-04-16 | 2019-07-23 | 浙江农林大学 | 基于改进残差网络的遥感图像场景分类方法 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111681176A (zh) * | 2020-05-14 | 2020-09-18 | 华南农业大学 | 自适应卷积的残差修正单幅图像去雨方法 |
| CN111681176B (zh) * | 2020-05-14 | 2023-04-07 | 华南农业大学 | 自适应卷积的残差修正单幅图像去雨方法 |
| CN111860003A (zh) * | 2020-07-21 | 2020-10-30 | 济南大学 | 基于密集连接深度残差网络的图像去雨方法及系统 |
| CN111861925A (zh) * | 2020-07-24 | 2020-10-30 | 南京信息工程大学滨江学院 | 一种基于注意力机制与门控循环单元的图像去雨方法 |
| CN111861926A (zh) * | 2020-07-24 | 2020-10-30 | 南京信息工程大学滨江学院 | 一种基于空域组增强机制与长短时记忆网络的图像去雨方法 |
| CN111861925B (zh) * | 2020-07-24 | 2023-09-29 | 南京信息工程大学滨江学院 | 一种基于注意力机制与门控循环单元的图像去雨方法 |
| CN111861926B (zh) * | 2020-07-24 | 2023-09-29 | 南京信息工程大学滨江学院 | 一种基于空域组增强机制与长短时记忆网络的图像去雨方法 |
| CN111861935B (zh) * | 2020-07-29 | 2022-06-03 | 天津大学 | 一种基于图像修复技术的去雨方法 |
| CN111861935A (zh) * | 2020-07-29 | 2020-10-30 | 天津大学 | 一种基于图像修复技术的去雨方法 |
| CN112734676A (zh) * | 2021-01-20 | 2021-04-30 | 北京大学 | 一种空间尺度泛化的去雨方法 |
| CN112785523A (zh) * | 2021-01-22 | 2021-05-11 | 北京大学 | 子带网络桥接的半监督图像去雨方法及装置 |
| CN112785523B (zh) * | 2021-01-22 | 2023-10-17 | 北京大学 | 子带网络桥接的半监督图像去雨方法及装置 |
| CN112785525A (zh) * | 2021-01-26 | 2021-05-11 | 桂林电子科技大学 | 基于深度学习去除刀具刃口图像中的附着物的方法和系统 |
| CN112733861B (zh) * | 2021-01-28 | 2022-04-22 | 华南理工大学 | 基于u型残差网络的文本擦除和抠字方法 |
| CN112733861A (zh) * | 2021-01-28 | 2021-04-30 | 华南理工大学 | 基于u型残差网络的文本擦除和抠字方法 |
| CN113052759A (zh) * | 2021-03-31 | 2021-06-29 | 华南理工大学 | 基于mask和自动编码器的场景复杂文本图像编辑方法 |
| CN113033687A (zh) * | 2021-04-02 | 2021-06-25 | 西北工业大学 | 一种雨雪气候条件下的目标检测识别方法 |
| CN113191339A (zh) * | 2021-06-30 | 2021-07-30 | 南京派光智慧感知信息技术有限公司 | 一种基于视频分析的轨道异物侵限监测方法及系统 |
| CN113191339B (zh) * | 2021-06-30 | 2021-10-12 | 南京派光智慧感知信息技术有限公司 | 一种基于视频分析的轨道异物侵限监测方法及系统 |
| CN113837353A (zh) * | 2021-08-17 | 2021-12-24 | 中国地质大学（武汉） | 基于特征筛选和深度融合的卷积神经网络特征融合算法 |
| CN114862713A (zh) * | 2022-04-29 | 2022-08-05 | 西安理工大学 | 基于注意力平滑膨胀卷积的两阶段图像去雨方法 |
| CN114862713B (zh) * | 2022-04-29 | 2023-07-25 | 西安理工大学 | 基于注意力平滑膨胀卷积的两阶段图像去雨方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062892B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062892B (zh) | 一种基于复合残差网络和深层监督的单幅图像去雨方法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN110782399B (zh) | 一种基于多任务cnn的图像去模糊方法 | |
| CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN109785236B (zh) | 一种基于超像素和卷积神经网络的图像超分辨方法 | |
| CN108269244B (zh) | 一种基于深度学习和先验约束的图像去雾系统 | |
| Tang et al. | Single image dehazing via lightweight multi-scale networks | |
| CN111696033B (zh) | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 | |
| CN105389778B (zh) | 一种基于字典匹配的图像超分辨率重建方法及装置 | |
| Chen et al. | The enhancement of catenary image with low visibility based on multi-feature fusion network in railway industry | |
| CN114627269A (zh) | 一种基于深度学习目标检测的虚拟现实安防监控平台 | |
| Chen et al. | Visual depth guided image rain streaks removal via sparse coding | |
| CN113326846A (zh) | 一种基于机器视觉的桥梁表观病害快速检测方法 | |
| CN116468625A (zh) | 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统 | |
| Zhang et al. | Single image haze removal based on saliency detection and dark channel prior | |
| Huang et al. | FFNet: A simple image dedusting network with feature fusion | |
| CN112927139B (zh) | 一种双目热成像系统及超分辨率图像获取方法 | |
| Guo et al. | Marg-unet: a single image dehazing network based on multimodal attention residual group | |
| Hsu et al. | Structure-transferring edge-enhanced grid dehazing network | |
| CN112132761B (zh) | 一种基于循环上下文聚合网络的单图像去雾方法 | |
| CN109359654B (zh) | 基于频率调谐全局显著度和深度学习的图像分割方法及系统 | |
| Liao et al. | Learning transmission filtering network for image-based Pm2. 5 estimation | |
| Honnutagi et al. | Underwater video enhancement using manta ray foraging lion optimization-based fusion convolutional neural network | |
| Wang et al. | New region-based image fusion scheme using the discrete wavelet frame transform | |
| Khoond et al. | Image enhancement using nonlocal prior and gradient residual minimization for improved visualization of deep underwater image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |