CN113962905A - 基于多阶段特征互补网络的单幅图像去雨方法 - Google Patents

基于多阶段特征互补网络的单幅图像去雨方法 Download PDF

Info

Publication number
CN113962905A
CN113962905A CN202111469842.8A CN202111469842A CN113962905A CN 113962905 A CN113962905 A CN 113962905A CN 202111469842 A CN202111469842 A CN 202111469842A CN 113962905 A CN113962905 A CN 113962905A
Authority
CN
China
Prior art keywords
rain
stage
network
feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111469842.8A
Other languages
English (en)
Other versions
CN113962905B (zh
Inventor
王明辉
王康荥
李文
青小昀
娄元甲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202111469842.8A priority Critical patent/CN113962905B/zh
Publication of CN113962905A publication Critical patent/CN113962905A/zh
Application granted granted Critical
Publication of CN113962905B publication Critical patent/CN113962905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于多阶段特征互补网络的单幅图像去雨方法，基于深度学习和渐进式复原的思想，构建了一种多阶段的框架，将复原任务分解为更小的子任务，在不同阶段针对性的应用不同的设计，使用编码器‑解码器网络来学习不同尺寸、方向的雨线特征，并且利用循环卷积网络(RNN)跨阶段进行互补的特征处理，最后与原始分辨率的雨图相结合来完成去雨，保留了更丰富的局部细节。从而更彻底地去除雨线并且保留更多的背景细节，提高单幅图像去雨后视觉效果，更好地解决图像中雨线造成背景和目标物体的遮挡和模糊等问题。

Description

基于多阶段特征互补网络的单幅图像去雨方法
技术领域
本发明属于图像处理领域，具体涉及一种单幅图像去雨的方法。
背景技术
计算机视觉系统在户外工作时经常遭受雨水等恶劣天气的影响，往往会造成采集图像的严重质量退化以及重要信息受损。这样会使计算机视觉系统性能下降甚至出现故障，导致在目标跟踪和目标识别等任务中难以发挥其应有的价值。因此，对雨图进行去雨和恢复干净背景是一项非常重要的任务。
单幅图像去雨方法主要有基于模型的方法和基于数据驱动的方法。近年来，得益于计算机硬件的计算能力不断提升，深度学习技术逐渐受到计算机视觉研究者的青睐，在如今的单幅图像去雨研究中，深度学习相关算法已占据主导地位。虽然基于深度学习的去雨算法取得了一定程度上的成功，但是在仍然存在较大的提升空间。
当前存在的大多数去雨方法是基于单阶段设计的，它们的网络组成往往源于高级视觉任务开发成果，比如利用残差网络和密集连接网络进行去雨，主要存在背景纹理模糊以及去雨不充分导致雨线残留等问题。在现有的多阶段技术中，通常的处理方式是将整个去雨过程分解为多阶段，以此来渐进式的完成去雨，因为这些不同阶段之间协同完成去雨，前阶段的去雨信息对于后阶段的去雨是有指导作用的，但现有多阶段去雨方法并没有考虑各阶段之间的联系。
此外，许多去雨算法中都假定了雨线的稀疏性以及雨线性形状和方向的相似性。但是真实雨图中的雨况往通常是很复杂的，即使是在合成雨图中的雨水区域也包含多种雨线，这些雨线可能具有不同的方向和尺寸且相互叠加，因此很难一次性去除所有雨线。如果不能针对上诉问题做出处理，往往只能去除距离较近和尺寸较大的雨线，而忽略了远处的那些细小的雨线。其次，真实世界的雨水模型难以预料，这种影响会给单阶段去雨网络带来困难，即便其具有并行子网络也很难处理。
发明内容
本发明的目的在于针对现有技术的不足，提供一种多阶段特征互补网络的单幅图像去雨方法，从而更彻底地去除雨线并且保留更多的背景细节，提高单幅图像去雨后视觉效果，更好地解决图像中雨线造成背景和目标物体的遮挡和模糊等问题。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于多阶段特征互补网络的单幅图像去雨方法，从而更彻底地去除雨线并且保留更多的背景细节，提高单幅图像去雨后视觉效果，更好地解决图像中雨线造成背景和目标物体的遮挡和模糊等问题。
本发明基于深度学习和渐进式复原的思想，构建了一种多阶段的框架，将复原任务分解为更小的子任务，在不同阶段针对性的应用不同的设计，使用编码器-解码器网络来学习不同尺寸、方向的雨线特征，并且利用循环卷积网络(RNN)跨阶段进行互补的特征处理，最后与原始分辨率的雨图相结合来完成去雨，保留了更丰富的局部细节。
本发明提供的基于多阶段特征互补网络的单幅图像去雨方法，包括以下内容：
(1)去雨模型的确定
将有雨图像O分解为无雨背景层B和雨线层R的线性组合，同时将雨线的预测过程分为多个阶段，雨图模型表示如下：
Figure BDA0003391244560000021
Rs表示第s阶段提取的雨线特征，S表示最大阶段数。
(2)多尺度特征提取
在网络的前期阶段(最后一步骤前的所有阶段)通过基于U-NET改进的编码器-解码器子网络对雨线特征进行提取；在编码器(Encoder)部分通过下采样提取不同尺度的雨线特征得到特征图，通过步长(stride)为2的最大池化(Max Pooling)来降低维度，共池化两次(即进行两次下采样)得到大小变为之前的1/2和1/4的两个特征图；然后采用上采样(Upsample)操作逐步恢复维度，最后在解码器(Decoder)中通过一个1×1大小的卷积核来恢复彩色图像的RGB通道或者灰度图像的灰度通道。
(3)多阶段特征互补
在完成了前期第一个阶段的去雨后，将第一阶段的去雨输出图作为下一阶段的输入，即在第s(s＞1)阶段的输入图Os为第s-1阶段的输出Bs-1；在第S阶段中，将Os输入到编码器-解码器子网络进行进一步雨线特征提取；第s阶段编码器-解码器子网络中，编码器和解码器的各层卷积运算将利用RNN在前一阶段编码器-解码器子网络保留的雨线特征来进行协同，以捕获图像的全局雨线特征。也即是通过引入RNN中的门控循环单元(卷积版本的ConvGRU)来捕获空间维度上的雨线特征信息流，使得这些相关的上下文纹理特性具有循环的依赖关系，具有依赖关系的特征便能协同作用，更好的提取出全局纹理特征。
则，第s阶段雨线特征的提取表述为：
Rs＝UEncoder-Decoder+RNN(Os,xs-1),1＜s≤S
其中，S表示特征提取的最大阶段数，Os表示第s阶段输入的雨图，xs-1表示第s-1阶段的编码器-解码器子网络在同一层中预测到的雨线特征信息。
在第s阶段中，
Figure BDA0003391244560000031
表示编码器-解码器子网络在某一层的卷积层提取到的雨线特征，计算方式如下：
Figure BDA0003391244560000032
Figure BDA0003391244560000033
Figure BDA0003391244560000034
Figure BDA0003391244560000035
其中，σ是sigmoid函数σ(x)＝1/(1+exp(-x))，⊙表示逐元素相乘；
Figure BDA0003391244560000036
表示为第s阶段第j层的特征图，
Figure BDA0003391244560000037
表示上一阶段同层特征图，和
Figure BDA0003391244560000038
表示同阶段上一层特征图，z表示更新的门控(updata gate)，r表示控制重置的门控(reset gate)。
(4)引入原始分辨率子网络
在S个阶段内已经完成了对于雨线特征的提取，由于是将上一个阶段的输出作为下一个阶段的输入，采用的是加性预测(Additice Prediction)的方式来预测雨线，因此最终雨线特征提取的结果R为各阶段提取到的雨线相加，表示为
Figure BDA0003391244560000039
在S个阶段内通过结合编码器-解码器网络和RNN已经充分提取了雨线特征，但是由于在编码器-解码器子网络中重复采用了下采样操作，容易造成失去空间细节，因此为了保留从输入图像到输出图像的精细细节，在最后阶段引入原始分辨率子网络，通过将最终提取的雨线特征图R输入到原始分辨率子网络中生成空间上丰富的高分辨率特征，从而弥补损失的空间信息。然后将原始分辨率子网获得的高分辨率的雨线特征图与原始雨图相结合，通过式
Figure BDA0003391244560000041
获得最终的去雨图像B。
进一步地，步骤(2)中的具体方法是：比如在网络第一阶段中(暂不考虑在此后阶段中通过RNN补充的前一阶段的雨线特征信息)输入的图片大小是256×256，在编码器中的首次卷积操作会提取到256×256的特征图，分别经过两次池化(下采样)和卷积运算后变成128×128、64×64两个不同尺寸的特征图。在解码器部分应用反卷积对64×64的特征图进行上采样，得到128×128的特征图，该128×128的特征图与之前128×128的特征图通过跳跃连接(concat)完成拼接和特征信息融合。对拼接后的特征图进行进一步的雨线特征提取后，对该特征图进行与上一层相同的反卷积和拼接，得到与输入雨图尺寸相同的256×256的多尺度雨线特征预测图。最后在解码器部分通过一个1×1大小的卷积核来恢复彩色图像的RGB通道或者灰度图像的灰度通道，所的图像记为R1，再与该阶段输入的雨图O1相结合，输出去雨后的图像，记为B1,B1＝O1-R1。至此完成第一个阶段的去雨。该过程的可以通过公式简单表达为：
O1＝O
R1＝UEncoder-Decoder(O1)，该表达式表示通过编解码器提取雨线特征
B1＝O1-R1
进一步地，步骤(2)中所述基于U-NET改进的编码器-解码器子网络是指将原来的5个阶段的U-NET结构减为3个阶段，并且移除了BN层的编码器-解码器子网络。这有利于大大减少模型中需要计算的参数量。它与现有模型的一个明显区别是没有批量标准化(BatchNormalization,BN)层。BN层能有效地减少特征映射的内部协变量漂移，在深度神经网络的训练中得到了广泛的应用。通过应用BN层，每个标量特征被归一化并且具有零均值和单位方差。这些特征相互独立，具有相同的分布。然而，在本发明中，不同层中的雨线在方向、颜色和形状上具有不同的分布，对于不同雨线层的每个标量特征也是如此。因此，BN与本发明提出的雨图模型的特征相矛盾，将BN从模型中移除。
进一步地，步骤(4)所述原始分辨率子网络由多个原始分辨率模块组成。
与现有技术相比，本发明具有以下有益效果：
1.本发明方法采用的多阶段特征互补除雨网络能够有效地处理不同的降雨场景，特别是在大雨和雨线重叠的情况下，能够充分发挥网络的性能。本发明在基本U-Net架构上完成了适合雨水去除任务的轻量级操作，很大程度的提高算法的运行效率，从而能更好的避免实际应用中出现高延时的情况。
2.在本发明方法中，并不是简单的将前一阶段的输出用作后一阶段的输入，而是选择将循环神经网络与存储单元结合起来，将前一阶段的去雨信息用来指导后一阶段的学习，以充分利用前一阶段的有用信息来实现多阶段去雨。
3.本发明方法中雨线去除分解为多个阶段，一方面在雨线重叠的情况下，去除最近的(也是最亮的)雨线可以揭示出下面较暗的雨线，另一方面，雨图中大部分雨线具有较为相似的特性，在去除占主导地位的方向或尺寸相似的雨线后，在尺寸或方向上与全局模式不一致的局部雨线将得到更好的检测和处理，从而能够更彻底地去除雨线并且保留更多的背景细节，提高单幅图像去雨后视觉效果。
附图说明
图1为去雨网络结构图；
图2为编码器-解码器子网络结构图；
图3为原始分辨率子网络图；
图4为各方法在合成图像上的去雨效果对比图((a)为Rain100L数据集实验结果；(b)为Rain100H数据集实验结果；(c)为Rain12数据集实验结果)；
图5为各方法在真实图像上的去雨效果对比图。
具体实施方式
下面通过实施例对本发明做进一步说明。有必要指出，以下实施例只用于对本发明作进一步说明，不能理解为对本发明保护范围的限制，所属领域技术人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，仍属于发明保护的范围。
实施例1
为了验证本发明方法的有效性，在合成雨图数据集方面选用了单幅图像去雨研究领域中具有较高认可度的Rain100L、Rain100H和Rain12数据集，其中Rain100L数据集中雨图的典型特征是雨线较细、雨量较小；Rain100H数据集中雨图的雨线尺寸较大且具有不同的下落的方向；Rain12数据集运用渲染技术使得合成雨图更接近现实世界的雨图。在真实雨图数据集方面采用了Yang等人提供的现实世界有雨图像来验证该模型在真实场景中的去雨效果(W.Yang,R.T.Tan,J.Feng,et al.Deep joint rain detection and removalfrom a single image[A].In:IEEE Conference on Computer Vision and PatternRecognition[C],Honolulu,HI,USA:IEEE Press,2017:1357-1366)。Rain100L和Rain100H分别包含2000对合成图像(合成图像对由有雨图像和其对应的无雨图像组成)，从中各自选取1800对合成图像作为训练数据集，剩下的200对合成图像作为测试数据集。Rain12中只有12对合成的有雨图像，因此将Rain12仅作为测试数据集来进行实验。
实验软件环境为Ubuntu 16.04 LTS、CUDA 9.0、OpenCV3.4、PyTorch1.0。应用的硬件环境为Intel(R)Core i7-10700K CPU@3.80GH、内存大小为64G、显卡型号为NVIDIAGeForce RTX 2080Ti。训练时随机选取输入图像对，图像的像素大小为256×256，batch_size为8，并且通过简单的水平翻转图像来实现数据增强。训练网络采用Adam算法的优化器(Diederik P Kingma and Jimmy Ba.Adam:A method for stochasticoptimization.arXiv:1412.6980,2014)来进行优化，初始学习率设置为0.005，最大迭代次数为64000次。
为了验证本发明提出模型的去雨效果，实验将本发明所提方法与JORDER、DDN、DIDMDN这些具有代表性的单幅图像去雨方法在合成数据集上进行对比，由于在合成数据集中有对应的无雨真实图像，实验采用了结构相似性(Structural Similarity IndexMetric,SSIM)和峰值信噪比(Peak Signal to Noise Ratio,PSNR)两个指标来客观评价图像质量，比较不同算法的去雨效果。而在真实雨图数据集上的测试中，由于缺少其对应的真实无雨图像，则通过主观的视觉效果来对去雨质量进行评价。其中JORDER、DDN、DIDMDN为以下文献中的方法：
JORDER：W.Yang,R.T.Tan,J.Feng,et al.Deep joint rain detection andremoval from a single image[A].In:IEEE Conference on Computer Vision andPattern Recognition[C],Honolulu,HI,USA:IEEE Press,2017:1357-1366
DDN：X.Fu,J.Huang,D.Zeng,et al.Removing rain from single images via adeep detail network[A].In:IEEE Conference on Computer Vision and PatternRecognition[C],Honolulu,HI,USA:IEEE Press,2017:1715-1723.
DIDMDN：H.Zhang and V.M.Patel,“Density-aware single image derainingusing a multi-stream dense network,”in Proc.IEEE Int’l Conf.Computer Visionand Pattern Recognition,June 2018.
在表1和表2中分表列出了本发明方法与上述其他3种主流方法在三个合成数据集的SSIM与PSNR的对比结果。从表1可以看出，本发明方法的SSIM在三个数据集上的测试结果均优于其他方法，尤其是在Rain100H数据集上提升幅度较大，这说明了本文方法能更好的应对大雨、暴雨等较复杂的雨情；在表2中，本发明方法在Rain100L和Rain100H数据集上的PSNR指标明显优于DDN和DIDMDN提出的方法，但只略优于文献JORDER方法，这是主要是因为在文献JORDER的去雨过程中添加的去雾算法能够有效处理雨图中出现的雾气。
表1在3个数据集上的SSIM质量评价对比
数据集 JORDER DDN DIDMDN 本发明
Rain100L 0.9701 0.8447 0.8516 0.9729
Rain100H 0.7629 0.6954 0.7822 0.8683
Rain12 0.9568 0.9407 0.9130 0.9592
表2在3个数据集上的PSNR质量评价对比
数据集 JORDER DDN DIDMDN 本发明
Rain100L 35.96 32.57 25.84 36.09
Rain100H 24.15 23.60 23.94 24.82
Rain12 35.72 35.31 31.77 35.78
相较于DDN、DIDMDN这些单阶段去雨网络，由于在单阶段的去雨技术中虽然可以保留较好的背景细节信息，但是由于有限的感受野，它们不能够很好的检测不同形状大小的雨线特征，不能充分去除雨线。本发明方法通过多阶段网络结构循环使用编码器-解码器子网络，能够更好的检测和去除各种形状的雨线；与同为多阶段去雨网络JORDER相比，JORDER没有考虑到各个阶段之间的联系，本发明方法通过RNN保留了前一阶段提取的雨线特征信息，并且将其用于指导后阶段的雨线检测和去除，这对于充分去除雨线时非常有效的。
图4展示了去雨效果对比图，其中图4(a)、4(b)和4(c)分别为Rain100L、Rain100H和Rain12的实验结果。从Rain100L数据集的实验结果图4(a)中可以看出：文献JORDER方法和文献DDN方法都存在明显的雨线残留问题且去雨后图像较模糊，DIDMDN方法在雨线去除上较为彻底，但是丢失了山羊角的部分细节信息，本发明方法去除了全部雨线并且保留了充分的图像细节信息；从Rain100H实验结果图4(b)中可以看出：DDN方法有雨线残留且图像细节信息丢失，JORDER方法相较于DDN去除了更多的雨线，但仍然存在些许雨线残留及部分图像细节丢失，DIDMDN方法能够很好的识别较大雨情况并进行处理，但是去雨后图像较为模糊，本发明方法没有雨线残留并且图像清晰；从Rain12实验结果图4(c)中可以看出:DIDMDN方法在图中裙子部分有较为明显的雨线残留，JORDER和DDN没有明显的雨线残留，但仍然存在细节丢失和图像模糊问题，而本发明方法几乎去除了全部雨线且图像清晰。
为验证本文方法的实用性，将其他3种主流去雨方法与本文方法在真实雨图数据集上进行了测试。由于在真实场景中没有无雨图像作为对比，在真实数据集上的测试只有通过主观视觉效果来进行评估。图5展示了各方法在真实雨图上的去雨效果。相较于其他方法，本文所提方法在真实场景中对雨线的去除更彻底并且保留了更多的细节信息，去雨后的视觉效果最优，从而进一步验证了本文方法的实际性。

Claims (4)

1.基于多阶段特征互补网络的单幅图像去雨方法，其特征在于，包括以下内容：
(1)去雨模型的确定
将有雨图像O分解为无雨背景层B和雨线层R的线性组合，同时将雨线的预测过程分为多个阶段，雨图模型表示如下：
Figure FDA0003391244550000011
Rs表示第s阶段提取的雨线特征，S表示最大阶段数；
(2)多尺度特征提取
在网络的前期阶段通过基于U-NET改进的编码器-解码器子网络对雨线特征进行提取；在编码器部分通过下采样提取不同尺度的雨线特征得到特征图，通过步长为2的最大池化来降低维度，共池化两次，得到大小变为之前的1/2和1/4的两个特征图；然后采用上采样操作逐步恢复维度，最后在解码器中通过一个1×1大小的卷积核来恢复彩色图像的RGB通道或者灰度图像的灰度通道；
(3)多阶段特征互补
在完成了前期第一个阶段的去雨后，将第一阶段的去雨输出图作为下一阶段的输入，即在第S(S＞1)阶段的输入图Os为第S-1阶段的输出Bs-1；在第S阶段中，将Os输入到编码器-解码器子网络进行进一步的雨线特征提取；第S阶段编码器-解码器子网络中，编码器和解码器的各层卷积运算将利用RNN在前一阶段编码器-解码器子网络保留的雨线特征来进行协同，即引入RNN中的门控循环单元来捕获空间维度上的雨线特征信息流，使相关的上下文纹理特性具有循环的依赖关系，以捕获图像的全局雨线特征；第s阶段雨线特征的提取过程表述为
Rs＝UEncoder-Decoder+RNN(Os,xs-1),1＜s≤S，
其中，S表示特征提取的最大阶段数，Os表示第s阶段输入的雨图，xs-1表示第s-1阶段的编码器-解码器子网络在同一层中预测到的雨线特征信息；
在第s阶段中，
Figure FDA0003391244550000012
表示编码器-解码器子网络在某一层的卷积层提取到的雨线特征，计算方式如下：
Figure FDA0003391244550000013
Figure FDA0003391244550000021
Figure FDA0003391244550000022
Figure FDA0003391244550000023
其中，σ是sigmoid函数σ(x)＝1/(1+exp(-x))，⊙表示逐元素相乘；
Figure FDA0003391244550000024
表示为第s阶段第j层的特征图，
Figure FDA0003391244550000025
表示上一阶段同层特征图，和
Figure FDA0003391244550000026
表示同阶段上一层特征图，z表示更新的门控，r表示控制重置的门控；
(4)引入原始分辨率子网络
在S个阶段内已经完成了对于雨线特征的提取，由于是将上一个阶段的输出作为下一个阶段的输入，采用的是加性预测的方式来预测雨线，因此最终雨线特征提取的结果R为各阶段提取到的雨线相加，表示为
Figure FDA0003391244550000027
将最终提取的雨线特征图R输入到原始分辨率子网络中生成空间上丰富的高分辨率特征，再将得到的将原始分辨率子网获得的高分辨率的雨线特征图与原始雨图相结合，通过式
Figure FDA0003391244550000028
获得最终的去雨图像B。
2.根据权利要求1所述方法，其特征在于，步骤(2)中的具体方法是：如在网络第一阶段中输入的图片大小是256×256，在编码器中的首次卷积操作会提取到256×256的特征图，分别经过两次池化和卷积运算后变成128×128、64×64两个不同尺寸的特征图；在解码器部分应用反卷积对64×64的特征图进行上采样，得到128×128的特征图，将该128×128的特征图与之前128×128的特征图通过跳跃连接完成拼接和特征信息融合；对拼接后的特征图进行进一步的雨线特征提取后，对该特征图进行与上一层相同的反卷积和拼接，得到与输入雨图尺寸相同的256×256的多尺度雨线特征图；最后在解码器部分通过一个1×1大小的卷积核来恢复彩色图像的RGB通道或者灰度图像的灰度通道，所的图像记为R1，再与该阶段输入的雨图O1相结合，输出去雨后的图像，记为B1,B1＝O1-R1，至此完成第一个阶段的去雨；该过程的通过公式表达为
O1＝O
R1＝UEncoder-Decoder(O1)，该表达式表示通过编解码器提取雨线特征
B1＝O1-R1。
3.根据权利要求1所述方法，其特征在于，步骤(2)中所述基于U-NET改进的编码器-解码器子网络是指将原来的5个阶段的U-NET结构减为3个阶段，并且移除BN层后得到的编码器-解码器子网络。
4.根据权利要求1所述方法，其特征在于，步骤(4)所述原始分辨率子网络由多个原始分辨率模块组成。
CN202111469842.8A 2021-12-03 2021-12-03 基于多阶段特征互补网络的单幅图像去雨方法 Active CN113962905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111469842.8A CN113962905B (zh) 2021-12-03 2021-12-03 基于多阶段特征互补网络的单幅图像去雨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111469842.8A CN113962905B (zh) 2021-12-03 2021-12-03 基于多阶段特征互补网络的单幅图像去雨方法

Publications (2)

Publication Number Publication Date
CN113962905A true CN113962905A (zh) 2022-01-21
CN113962905B CN113962905B (zh) 2023-05-05

Family

ID=79472870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111469842.8A Active CN113962905B (zh) 2021-12-03 2021-12-03 基于多阶段特征互补网络的单幅图像去雨方法

Country Status (1)

Country Link
CN (1) CN113962905B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627005A (zh) * 2022-02-16 2022-06-14 武汉大学 一种雨密度分类引导的双阶段单幅图像去雨方法
CN114677306A (zh) * 2022-03-29 2022-06-28 中国矿业大学 一种基于边缘信息引导的上下文聚合图像去雨方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909556A (zh) * 2017-11-27 2018-04-13 天津大学 基于卷积神经网络的视频图像去雨方法
US20180247201A1 (en) * 2017-02-28 2018-08-30 Nvidia Corporation Systems and methods for image-to-image translation using variational autoencoders
CN109360155A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于多尺度特征融合的单帧图像去雨方法
CN110443761A (zh) * 2019-07-16 2019-11-12 大连理工大学 一种基于多尺度聚合特征的单幅图像去雨方法
CN110751612A (zh) * 2019-11-05 2020-02-04 哈尔滨理工大学 多通道多尺度卷积神经网络的单幅图像去雨方法
CN111145112A (zh) * 2019-12-18 2020-05-12 华东师范大学 一种基于残差对抗细化网络的两阶段图像去雨方法及系统
CN111861925A (zh) * 2020-07-24 2020-10-30 南京信息工程大学滨江学院 一种基于注意力机制与门控循环单元的图像去雨方法
CN112686815A (zh) * 2020-12-24 2021-04-20 湖南大学 一种基于卷积神经网络的无人机单幅图像去雨方法
CN113538472A (zh) * 2021-07-02 2021-10-22 华东师范大学 一种基于编码-解码网络的向量场引导精细化分割方法
CN113706420A (zh) * 2021-10-20 2021-11-26 常州微亿智造科技有限公司 工业检测中的雨线去除装置、雨线去除方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180247201A1 (en) * 2017-02-28 2018-08-30 Nvidia Corporation Systems and methods for image-to-image translation using variational autoencoders
CN107909556A (zh) * 2017-11-27 2018-04-13 天津大学 基于卷积神经网络的视频图像去雨方法
CN109360155A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于多尺度特征融合的单帧图像去雨方法
CN110443761A (zh) * 2019-07-16 2019-11-12 大连理工大学 一种基于多尺度聚合特征的单幅图像去雨方法
CN110751612A (zh) * 2019-11-05 2020-02-04 哈尔滨理工大学 多通道多尺度卷积神经网络的单幅图像去雨方法
CN111145112A (zh) * 2019-12-18 2020-05-12 华东师范大学 一种基于残差对抗细化网络的两阶段图像去雨方法及系统
CN111861925A (zh) * 2020-07-24 2020-10-30 南京信息工程大学滨江学院 一种基于注意力机制与门控循环单元的图像去雨方法
CN112686815A (zh) * 2020-12-24 2021-04-20 湖南大学 一种基于卷积神经网络的无人机单幅图像去雨方法
CN113538472A (zh) * 2021-07-02 2021-10-22 华东师范大学 一种基于编码-解码网络的向量场引导精细化分割方法
CN113706420A (zh) * 2021-10-20 2021-11-26 常州微亿智造科技有限公司 工业检测中的雨线去除装置、雨线去除方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CONG WANG 等: "DCSFN: Deep Cross-scale Fusion Network for Single Image Rain Removal", ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA (MM\'20) *
蒙佳浩 等: "基于生成对抗网络去除单张图像中的雨滴", 软件 *
郑顾平 等: "基于注意力机制的单幅雨滴图像增强", 计算机应用与软件 *
钟菲 等: "一种新型的基于深度学习的单幅图像去雨方法", 计算机科学 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627005A (zh) * 2022-02-16 2022-06-14 武汉大学 一种雨密度分类引导的双阶段单幅图像去雨方法
CN114627005B (zh) * 2022-02-16 2024-04-12 武汉大学 一种雨密度分类引导的双阶段单幅图像去雨方法
CN114677306A (zh) * 2022-03-29 2022-06-28 中国矿业大学 一种基于边缘信息引导的上下文聚合图像去雨方法

Also Published As

Publication number Publication date
CN113962905B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
Liang et al. Details or artifacts: A locally discriminative learning approach to realistic image super-resolution
Yeh et al. Multi-scale deep residual learning-based single image haze removal via image decomposition
Li et al. Single image rain removal via a deep decomposition–composition network
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN112308860A (zh) 基于自监督学习的对地观测图像语义分割方法
Huang et al. Deep hyperspectral image fusion network with iterative spatio-spectral regularization
CN112150354B (zh) 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN113962905A (zh) 基于多阶段特征互补网络的单幅图像去雨方法
CN116797488A (zh) 一种基于特征融合与注意力嵌入的低照度图像增强方法
CN113658057A (zh) 一种Swin Transformer微光图像增强方法
CN111696110A (zh) 场景分割方法及系统
CN114897742B (zh) 一种纹理和结构特征两次融合的图像修复方法
CN111127354A (zh) 一种基于多尺度字典学习的单图像去雨方法
Zhao et al. Better Visual Image Super-Resolution with Laplacian Pyramid of Generative Adversarial Networks.
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
Zhang et al. Event-guided multi-patch network with self-supervision for non-uniform motion deblurring
Chen et al. Attention-based broad self-guided network for low-light image enhancement
CN113096032B (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN114372962A (zh) 基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统
Liu et al. WSDS-GAN: A weak-strong dual supervised learning method for underwater image enhancement
Yu et al. MagConv: Mask-guided convolution for image inpainting
Liu et al. Dual UNet low-light image enhancement network based on attention mechanism
Wu et al. Infrared and visible light dual-camera super-resolution imaging with texture transfer network
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法
CN115115860A (zh) 一种基于深度学习的图像特征点检测匹配网络

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant