CN113962905B - 基于多阶段特征互补网络的单幅图像去雨方法 - Google Patents
基于多阶段特征互补网络的单幅图像去雨方法 Download PDFInfo
- Publication number
- CN113962905B CN113962905B CN202111469842.8A CN202111469842A CN113962905B CN 113962905 B CN113962905 B CN 113962905B CN 202111469842 A CN202111469842 A CN 202111469842A CN 113962905 B CN113962905 B CN 113962905B
- Authority
- CN
- China
- Prior art keywords
- rain
- stage
- encoder
- decoder
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000000295 complement effect Effects 0.000 title claims abstract description 10
- 238000010586 diagram Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 230000018199 S phase Effects 0.000 claims description 2
- 239000000654 additive Substances 0.000 claims description 2
- 230000000996 additive effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims 2
- 230000004927 fusion Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 8
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 125000004122 cyclic group Chemical group 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 230000000750 progressive effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于多阶段特征互补网络的单幅图像去雨方法,基于深度学习和渐进式复原的思想,构建了一种多阶段的框架,将复原任务分解为更小的子任务,在不同阶段针对性的应用不同的设计,使用编码器‑解码器网络来学习不同尺寸、方向的雨线特征,并且利用循环卷积网络(RNN)跨阶段进行互补的特征处理,最后与原始分辨率的雨图相结合来完成去雨,保留了更丰富的局部细节。从而更彻底地去除雨线并且保留更多的背景细节,提高单幅图像去雨后视觉效果,更好地解决图像中雨线造成背景和目标物体的遮挡和模糊等问题。
Description
技术领域
本发明属于图像处理领域,具体涉及一种单幅图像去雨的方法。
背景技术
计算机视觉系统在户外工作时经常遭受雨水等恶劣天气的影响,往往会造成采集图像的严重质量退化以及重要信息受损。这样会使计算机视觉系统性能下降甚至出现故障,导致在目标跟踪和目标识别等任务中难以发挥其应有的价值。因此,对雨图进行去雨和恢复干净背景是一项非常重要的任务。
单幅图像去雨方法主要有基于模型的方法和基于数据驱动的方法。近年来,得益于计算机硬件的计算能力不断提升,深度学习技术逐渐受到计算机视觉研究者的青睐,在如今的单幅图像去雨研究中,深度学习相关算法已占据主导地位。虽然基于深度学习的去雨算法取得了一定程度上的成功,但是在仍然存在较大的提升空间。
当前存在的大多数去雨方法是基于单阶段设计的,它们的网络组成往往源于高级视觉任务开发成果,比如利用残差网络和密集连接网络进行去雨,主要存在背景纹理模糊以及去雨不充分导致雨线残留等问题。在现有的多阶段技术中,通常的处理方式是将整个去雨过程分解为多阶段,以此来渐进式的完成去雨,因为这些不同阶段之间协同完成去雨,前阶段的去雨信息对于后阶段的去雨是有指导作用的,但现有多阶段去雨方法并没有考虑各阶段之间的联系。
此外,许多去雨算法中都假定了雨线的稀疏性以及雨线性形状和方向的相似性。但是真实雨图中的雨况往通常是很复杂的,即使是在合成雨图中的雨水区域也包含多种雨线,这些雨线可能具有不同的方向和尺寸且相互叠加,因此很难一次性去除所有雨线。如果不能针对上诉问题做出处理,往往只能去除距离较近和尺寸较大的雨线,而忽略了远处的那些细小的雨线。其次,真实世界的雨水模型难以预料,这种影响会给单阶段去雨网络带来困难,即便其具有并行子网络也很难处理。
发明内容
本发明的目的在于针对现有技术的不足,提供一种多阶段特征互补网络的单幅图像去雨方法,从而更彻底地去除雨线并且保留更多的背景细节,提高单幅图像去雨后视觉效果,更好地解决图像中雨线造成背景和目标物体的遮挡和模糊等问题。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于多阶段特征互补网络的单幅图像去雨方法,从而更彻底地去除雨线并且保留更多的背景细节,提高单幅图像去雨后视觉效果,更好地解决图像中雨线造成背景和目标物体的遮挡和模糊等问题。
本发明基于深度学习和渐进式复原的思想,构建了一种多阶段的框架,将复原任务分解为更小的子任务,在不同阶段针对性的应用不同的设计,使用编码器-解码器网络来学习不同尺寸、方向的雨线特征,并且利用循环卷积网络(RNN)跨阶段进行互补的特征处理,最后与原始分辨率的雨图相结合来完成去雨,保留了更丰富的局部细节。
本发明提供的基于多阶段特征互补网络的单幅图像去雨方法,包括以下内容:
(1)去雨模型的确定
将有雨图像O分解为无雨背景层B和雨线层R的线性组合,同时将雨线的预测过程分为多个阶段,雨图模型表示如下:
Rs表示第s阶段提取的雨线特征,S表示最大阶段数。
(2)多尺度特征提取
在网络的前期阶段(最后一步骤前的所有阶段)通过基于U-NET改进的编码器-解码器子网络对雨线特征进行提取;在编码器(Encoder)部分通过下采样提取不同尺度的雨线特征得到特征图,通过步长(stride)为2的最大池化(Max Pooling)来降低维度,共池化两次(即进行两次下采样)得到大小变为之前的1/2和1/4的两个特征图;然后采用上采样(Upsample)操作逐步恢复维度,最后在解码器(Decoder)中通过一个1×1大小的卷积核来恢复彩色图像的RGB通道或者灰度图像的灰度通道。
(3)多阶段特征互补
在完成了前期第一个阶段的去雨后,将第一阶段的去雨输出图作为下一阶段的输入,即在第s(s>1)阶段的输入图Os为第s-1阶段的输出Bs-1;在第S阶段中,将Os输入到编码器-解码器子网络进行进一步雨线特征提取;第s阶段编码器-解码器子网络中,编码器和解码器的各层卷积运算将利用RNN在前一阶段编码器-解码器子网络保留的雨线特征来进行协同,以捕获图像的全局雨线特征。也即是通过引入RNN中的门控循环单元(卷积版本的ConvGRU)来捕获空间维度上的雨线特征信息流,使得这些相关的上下文纹理特性具有循环的依赖关系,具有依赖关系的特征便能协同作用,更好的提取出全局纹理特征。
则,第s阶段雨线特征的提取表述为:
Rs=UEncoder-Decoder+RNN(Os,xs-1),1<s≤S
其中,S表示特征提取的最大阶段数,Os表示第s阶段输入的雨图,xs-1表示第s-1阶段的编码器-解码器子网络在同一层中预测到的雨线特征信息。
其中,σ是sigmoid函数σ(x)=1/(1+exp(-x)),⊙表示逐元素相乘;表示为第s阶段第j层的特征图,表示上一阶段同层特征图,和表示同阶段上一层特征图,z表示更新的门控(updata gate),r表示控制重置的门控(reset gate)。
(4)引入原始分辨率子网络
在S个阶段内已经完成了对于雨线特征的提取,由于是将上一个阶段的输出作为下一个阶段的输入,采用的是加性预测(Additice Prediction)的方式来预测雨线,因此最终雨线特征提取的结果R为各阶段提取到的雨线相加,表示为
在S个阶段内通过结合编码器-解码器网络和RNN已经充分提取了雨线特征,但是由于在编码器-解码器子网络中重复采用了下采样操作,容易造成失去空间细节,因此为了保留从输入图像到输出图像的精细细节,在最后阶段引入原始分辨率子网络,通过将最终提取的雨线特征图R输入到原始分辨率子网络中生成空间上丰富的高分辨率特征,从而弥补损失的空间信息。然后将原始分辨率子网获得的高分辨率的雨线特征图与原始雨图相结合,通过式获得最终的去雨图像B。
进一步地,步骤(2)中的具体方法是:比如在网络第一阶段中(暂不考虑在此后阶段中通过RNN补充的前一阶段的雨线特征信息)输入的图片大小是256×256,在编码器中的首次卷积操作会提取到256×256的特征图,分别经过两次池化(下采样)和卷积运算后变成128×128、64×64两个不同尺寸的特征图。在解码器部分应用反卷积对64×64的特征图进行上采样,得到128×128的特征图,该128×128的特征图与之前128×128的特征图通过跳跃连接(concat)完成拼接和特征信息融合。对拼接后的特征图进行进一步的雨线特征提取后,对该特征图进行与上一层相同的反卷积和拼接,得到与输入雨图尺寸相同的256×256的多尺度雨线特征预测图。最后在解码器部分通过一个1×1大小的卷积核来恢复彩色图像的RGB通道或者灰度图像的灰度通道,所的图像记为R1,再与该阶段输入的雨图O1相结合,输出去雨后的图像,记为B1,B1=O1-R1。至此完成第一个阶段的去雨。该过程的可以通过公式简单表达为:
O1=O
R1=UEncoder-Decoder(O1),该表达式表示通过编解码器提取雨线特征
B1=O1-R1
进一步地,步骤(2)中所述基于U-NET改进的编码器-解码器子网络是指将原来的5个阶段的U-NET结构减为3个阶段,并且移除了BN层的编码器-解码器子网络。这有利于大大减少模型中需要计算的参数量。它与现有模型的一个明显区别是没有批量标准化(BatchNormalization,BN)层。BN层能有效地减少特征映射的内部协变量漂移,在深度神经网络的训练中得到了广泛的应用。通过应用BN层,每个标量特征被归一化并且具有零均值和单位方差。这些特征相互独立,具有相同的分布。然而,在本发明中,不同层中的雨线在方向、颜色和形状上具有不同的分布,对于不同雨线层的每个标量特征也是如此。因此,BN与本发明提出的雨图模型的特征相矛盾,将BN从模型中移除。
进一步地,步骤(4)所述原始分辨率子网络由多个原始分辨率模块组成。
与现有技术相比,本发明具有以下有益效果:
1.本发明方法采用的多阶段特征互补除雨网络能够有效地处理不同的降雨场景,特别是在大雨和雨线重叠的情况下,能够充分发挥网络的性能。本发明在基本U-Net架构上完成了适合雨水去除任务的轻量级操作,很大程度的提高算法的运行效率,从而能更好的避免实际应用中出现高延时的情况。
2.在本发明方法中,并不是简单的将前一阶段的输出用作后一阶段的输入,而是选择将循环神经网络与存储单元结合起来,将前一阶段的去雨信息用来指导后一阶段的学习,以充分利用前一阶段的有用信息来实现多阶段去雨。
3.本发明方法中雨线去除分解为多个阶段,一方面在雨线重叠的情况下,去除最近的(也是最亮的)雨线可以揭示出下面较暗的雨线,另一方面,雨图中大部分雨线具有较为相似的特性,在去除占主导地位的方向或尺寸相似的雨线后,在尺寸或方向上与全局模式不一致的局部雨线将得到更好的检测和处理,从而能够更彻底地去除雨线并且保留更多的背景细节,提高单幅图像去雨后视觉效果。
附图说明
图1为去雨网络结构图;
图2为编码器-解码器子网络结构图;
图3为原始分辨率子网络图;
图4为各方法在合成图像上的去雨效果对比图((a)为Rain100L数据集实验结果;(b)为Rain100H数据集实验结果;(c)为Rain12数据集实验结果);
图5为各方法在真实图像上的去雨效果对比图。
具体实施方式
下面通过实施例对本发明做进一步说明。有必要指出,以下实施例只用于对本发明作进一步说明,不能理解为对本发明保护范围的限制,所属领域技术人员根据上述发明内容,对本发明做出一些非本质的改进和调整进行具体实施,仍属于发明保护的范围。
实施例1
为了验证本发明方法的有效性,在合成雨图数据集方面选用了单幅图像去雨研究领域中具有较高认可度的Rain100L、Rain100H和Rain12数据集,其中Rain100L数据集中雨图的典型特征是雨线较细、雨量较小;Rain100H数据集中雨图的雨线尺寸较大且具有不同的下落的方向;Rain12数据集运用渲染技术使得合成雨图更接近现实世界的雨图。在真实雨图数据集方面采用了Yang等人提供的现实世界有雨图像来验证该模型在真实场景中的去雨效果(W.Yang,R.T.Tan,J.Feng,et al.Deep joint rain detection and removalfrom a single image[A].In:IEEE Conference on Computer Vision and PatternRecognition[C],Honolulu,HI,USA:IEEE Press,2017:1357-1366)。Rain100L和Rain100H分别包含2000对合成图像(合成图像对由有雨图像和其对应的无雨图像组成),从中各自选取1800对合成图像作为训练数据集,剩下的200对合成图像作为测试数据集。Rain12中只有12对合成的有雨图像,因此将Rain12仅作为测试数据集来进行实验。
实验软件环境为Ubuntu 16.04 LTS、CUDA 9.0、OpenCV3.4、PyTorch1.0。应用的硬件环境为Intel(R)Core i7-10700K CPU@3.80GH、内存大小为64G、显卡型号为NVIDIAGeForce RTX 2080Ti。训练时随机选取输入图像对,图像的像素大小为256×256,batch_size为8,并且通过简单的水平翻转图像来实现数据增强。训练网络采用Adam算法的优化器(Diederik P Kingma and Jimmy Ba.Adam:A method for stochasticoptimization.arXiv:1412.6980,2014)来进行优化,初始学习率设置为0.005,最大迭代次数为64000次。
为了验证本发明提出模型的去雨效果,实验将本发明所提方法与JORDER、DDN、DIDMDN这些具有代表性的单幅图像去雨方法在合成数据集上进行对比,由于在合成数据集中有对应的无雨真实图像,实验采用了结构相似性(Structural Similarity IndexMetric,SSIM)和峰值信噪比(Peak Signal to Noise Ratio,PSNR)两个指标来客观评价图像质量,比较不同算法的去雨效果。而在真实雨图数据集上的测试中,由于缺少其对应的真实无雨图像,则通过主观的视觉效果来对去雨质量进行评价。其中JORDER、DDN、DIDMDN为以下文献中的方法:
JORDER:W.Yang,R.T.Tan,J.Feng,et al.Deep joint rain detection andremoval from a single image[A].In:IEEE Conference on Computer Vision andPattern Recognition[C],Honolulu,HI,USA:IEEE Press,2017:1357-1366
DDN:X.Fu,J.Huang,D.Zeng,et al.Removing rain from single images via adeep detail network[A].In:IEEE Conference on Computer Vision and PatternRecognition[C],Honolulu,HI,USA:IEEE Press,2017:1715-1723.
DIDMDN:H.Zhang and V.M.Patel,“Density-aware single image derainingusing a multi-stream dense network,”in Proc.IEEE Int’l Conf.Computer Visionand Pattern Recognition,June 2018.
在表1和表2中分表列出了本发明方法与上述其他3种主流方法在三个合成数据集的SSIM与PSNR的对比结果。从表1可以看出,本发明方法的SSIM在三个数据集上的测试结果均优于其他方法,尤其是在Rain100H数据集上提升幅度较大,这说明了本文方法能更好的应对大雨、暴雨等较复杂的雨情;在表2中,本发明方法在Rain100L和Rain100H数据集上的PSNR指标明显优于DDN和DIDMDN提出的方法,但只略优于文献JORDER方法,这是主要是因为在文献JORDER的去雨过程中添加的去雾算法能够有效处理雨图中出现的雾气。
表1在3个数据集上的SSIM质量评价对比
数据集 | JORDER | DDN | DIDMDN | 本发明 |
Rain100L | 0.9701 | 0.8447 | 0.8516 | 0.9729 |
Rain100H | 0.7629 | 0.6954 | 0.7822 | 0.8683 |
Rain12 | 0.9568 | 0.9407 | 0.9130 | 0.9592 |
表2在3个数据集上的PSNR质量评价对比
数据集 | JORDER | DDN | DIDMDN | 本发明 |
Rain100L | 35.96 | 32.57 | 25.84 | 36.09 |
Rain100H | 24.15 | 23.60 | 23.94 | 24.82 |
Rain12 | 35.72 | 35.31 | 31.77 | 35.78 |
相较于DDN、DIDMDN这些单阶段去雨网络,由于在单阶段的去雨技术中虽然可以保留较好的背景细节信息,但是由于有限的感受野,它们不能够很好的检测不同形状大小的雨线特征,不能充分去除雨线。本发明方法通过多阶段网络结构循环使用编码器-解码器子网络,能够更好的检测和去除各种形状的雨线;与同为多阶段去雨网络JORDER相比,JORDER没有考虑到各个阶段之间的联系,本发明方法通过RNN保留了前一阶段提取的雨线特征信息,并且将其用于指导后阶段的雨线检测和去除,这对于充分去除雨线时非常有效的。
图4展示了去雨效果对比图,其中图4(a)、4(b)和4(c)分别为Rain100L、Rain100H和Rain12的实验结果。从Rain100L数据集的实验结果图4(a)中可以看出:文献JORDER方法和文献DDN方法都存在明显的雨线残留问题且去雨后图像较模糊,DIDMDN方法在雨线去除上较为彻底,但是丢失了山羊角的部分细节信息,本发明方法去除了全部雨线并且保留了充分的图像细节信息;从Rain100H实验结果图4(b)中可以看出:DDN方法有雨线残留且图像细节信息丢失,JORDER方法相较于DDN去除了更多的雨线,但仍然存在些许雨线残留及部分图像细节丢失,DIDMDN方法能够很好的识别较大雨情况并进行处理,但是去雨后图像较为模糊,本发明方法没有雨线残留并且图像清晰;从Rain12实验结果图4(c)中可以看出:DIDMDN方法在图中裙子部分有较为明显的雨线残留,JORDER和DDN没有明显的雨线残留,但仍然存在细节丢失和图像模糊问题,而本发明方法几乎去除了全部雨线且图像清晰。
为验证本文方法的实用性,将其他3种主流去雨方法与本文方法在真实雨图数据集上进行了测试。由于在真实场景中没有无雨图像作为对比,在真实数据集上的测试只有通过主观视觉效果来进行评估。图5展示了各方法在真实雨图上的去雨效果。相较于其他方法,本文所提方法在真实场景中对雨线的去除更彻底并且保留了更多的细节信息,去雨后的视觉效果最优,从而进一步验证了本文方法的实际性。
Claims (4)
1.基于多阶段特征互补网络的单幅图像去雨方法,其特征在于,包括以下内容:
(1)去雨模型的确定
将有雨图像O分解为无雨背景层B和雨线层R的线性组合,同时将雨线的预测过程分为多个阶段,雨图模型表示如下:
Rs表示第s阶段提取的雨线特征,S表示最大阶段数;
(2)多尺度特征提取
在网络的前期阶段通过基于U-NET改进的编码器-解码器子网络对雨线特征进行提取;在编码器部分通过下采样提取不同尺度的雨线特征得到特征图,通过步长为2的最大池化来降低维度,共池化两次,得到大小变为之前的1/2和1/4的两个特征图;然后采用上采样操作逐步恢复维度,最后在解码器中通过一个1×1大小的卷积核来恢复彩色图像的RGB通道或者灰度图像的灰度通道;
(3)多阶段特征互补
在完成了前期第一个阶段的去雨后,将第一阶段的去雨输出图作为下一阶段的输入,即在第S阶段的输入图Os为第S-1阶段的输出Bs-1;在第S阶段中,将Os输入到编码器-解码器子网络进行进一步的雨线特征提取;第S阶段编码器-解码器子网络中,编码器和解码器的各层卷积运算将利用RNN在前一阶段编码器-解码器子网络保留的雨线特征来进行协同,即引入RNN中的门控循环单元来捕获空间维度上的雨线特征信息流,使相关的上下文纹理特性具有循环的依赖关系,以捕获图像的全局雨线特征;第s阶段雨线特征的提取过程表述为
Rs=UEncoder-Decoder+RNN(Os,xs-1),1<s≤S,
其中,S表示特征提取的最大阶段数,Os表示第s阶段输入的雨图,xs-1表示第s-1阶段的编码器-解码器子网络在同一层中预测到的雨线特征信息;
其中,σ是sigmoid函数σ(x)=1/(1+exp(-x)),⊙表示逐元素相乘;表示为第s阶段第j层的特征图,表示上一阶段同层特征图,和表示同阶段上一层特征图,z表示更新的门控,r表示控制重置的门控;
(4)引入原始分辨率子网络
在S个阶段内已经完成了对于雨线特征的提取,由于是将上一个阶段的输出作为下一个阶段的输入,采用的是加性预测的方式来预测雨线,因此最终雨线特征提取的结果R为各阶段提取到的雨线相加,表示为
2.根据权利要求1所述方法,其特征在于,步骤(2)中的具体方法是:如在网络第一阶段中输入的图片大小是256×256,在编码器中的首次卷积操作会提取到256×256的特征图,分别经过两次池化和卷积运算后变成128×128、64×64两个不同尺寸的特征图;在解码器部分应用反卷积对64×64的特征图进行上采样,得到128×128的特征图,将该128×128的特征图与之前128×128的特征图通过跳跃连接完成拼接和特征信息融合;对拼接后的特征图进行进一步的雨线特征提取后,对该特征图进行与上一层相同的反卷积和拼接,得到与输入雨图尺寸相同的256×256的多尺度雨线特征图;最后在解码器部分通过一个1×1大小的卷积核来恢复彩色图像的RGB通道或者灰度图像的灰度通道,所的图像记为R1,再与该阶段输入的雨图O1相结合,输出去雨后的图像,记为B1,B1=O1-R1,至此完成第一个阶段的去雨;该过程通过公式表达为
O1=O
R1=UEncoder-Decoder(O1),该表达式表示通过编解码器提取雨线特征
B1=O1-R1。
3.根据权利要求1所述方法,其特征在于,步骤(2)中所述基于U-NET改进的编码器-解码器子网络是指将原来的5个阶段的U-NET结构减为3个阶段,并且移除BN层后得到的编码器-解码器子网络。
4.根据权利要求1所述方法,其特征在于,步骤(4)所述原始分辨率子网络由多个原始分辨率模块组成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111469842.8A CN113962905B (zh) | 2021-12-03 | 2021-12-03 | 基于多阶段特征互补网络的单幅图像去雨方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111469842.8A CN113962905B (zh) | 2021-12-03 | 2021-12-03 | 基于多阶段特征互补网络的单幅图像去雨方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113962905A CN113962905A (zh) | 2022-01-21 |
CN113962905B true CN113962905B (zh) | 2023-05-05 |
Family
ID=79472870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111469842.8A Active CN113962905B (zh) | 2021-12-03 | 2021-12-03 | 基于多阶段特征互补网络的单幅图像去雨方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113962905B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114627005B (zh) * | 2022-02-16 | 2024-04-12 | 武汉大学 | 一种雨密度分类引导的双阶段单幅图像去雨方法 |
CN114677306B (zh) * | 2022-03-29 | 2022-11-15 | 中国矿业大学 | 一种基于边缘信息引导的上下文聚合图像去雨方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107909556A (zh) * | 2017-11-27 | 2018-04-13 | 天津大学 | 基于卷积神经网络的视频图像去雨方法 |
CN109360155A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
CN110443761A (zh) * | 2019-07-16 | 2019-11-12 | 大连理工大学 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
CN110751612A (zh) * | 2019-11-05 | 2020-02-04 | 哈尔滨理工大学 | 多通道多尺度卷积神经网络的单幅图像去雨方法 |
CN111145112A (zh) * | 2019-12-18 | 2020-05-12 | 华东师范大学 | 一种基于残差对抗细化网络的两阶段图像去雨方法及系统 |
CN111861925A (zh) * | 2020-07-24 | 2020-10-30 | 南京信息工程大学滨江学院 | 一种基于注意力机制与门控循环单元的图像去雨方法 |
CN112686815A (zh) * | 2020-12-24 | 2021-04-20 | 湖南大学 | 一种基于卷积神经网络的无人机单幅图像去雨方法 |
CN113538472A (zh) * | 2021-07-02 | 2021-10-22 | 华东师范大学 | 一种基于编码-解码网络的向量场引导精细化分割方法 |
CN113706420A (zh) * | 2021-10-20 | 2021-11-26 | 常州微亿智造科技有限公司 | 工业检测中的雨线去除装置、雨线去除方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180247201A1 (en) * | 2017-02-28 | 2018-08-30 | Nvidia Corporation | Systems and methods for image-to-image translation using variational autoencoders |
-
2021
- 2021-12-03 CN CN202111469842.8A patent/CN113962905B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107909556A (zh) * | 2017-11-27 | 2018-04-13 | 天津大学 | 基于卷积神经网络的视频图像去雨方法 |
CN109360155A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
CN110443761A (zh) * | 2019-07-16 | 2019-11-12 | 大连理工大学 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
CN110751612A (zh) * | 2019-11-05 | 2020-02-04 | 哈尔滨理工大学 | 多通道多尺度卷积神经网络的单幅图像去雨方法 |
CN111145112A (zh) * | 2019-12-18 | 2020-05-12 | 华东师范大学 | 一种基于残差对抗细化网络的两阶段图像去雨方法及系统 |
CN111861925A (zh) * | 2020-07-24 | 2020-10-30 | 南京信息工程大学滨江学院 | 一种基于注意力机制与门控循环单元的图像去雨方法 |
CN112686815A (zh) * | 2020-12-24 | 2021-04-20 | 湖南大学 | 一种基于卷积神经网络的无人机单幅图像去雨方法 |
CN113538472A (zh) * | 2021-07-02 | 2021-10-22 | 华东师范大学 | 一种基于编码-解码网络的向量场引导精细化分割方法 |
CN113706420A (zh) * | 2021-10-20 | 2021-11-26 | 常州微亿智造科技有限公司 | 工业检测中的雨线去除装置、雨线去除方法 |
Non-Patent Citations (4)
Title |
---|
Cong Wang 等.DCSFN: Deep Cross-scale Fusion Network for Single Image Rain Removal. ACM International Conference on Multimedia (MM'20).2020,1-9. * |
一种新型的基于深度学习的单幅图像去雨方法;钟菲 等;计算机科学;第45卷(第11期);283-287 * |
基于注意力机制的单幅雨滴图像增强;郑顾平 等;计算机应用与软件;第37卷(第09期);160-164 * |
基于生成对抗网络去除单张图像中的雨滴;蒙佳浩 等;软件;第41卷(第05期);46-52 * |
Also Published As
Publication number | Publication date |
---|---|
CN113962905A (zh) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yeh et al. | Multi-scale deep residual learning-based single image haze removal via image decomposition | |
CN109859147B (zh) | 一种基于生成对抗网络噪声建模的真实图像去噪方法 | |
CN111047541B (zh) | 一种基于小波变换注意力模型的图像修复方法 | |
CN113962905B (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
CN111062892A (zh) | 一种基于复合残差网络和深层监督的单幅图像去雨方法 | |
CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
CN113658057A (zh) | 一种Swin Transformer微光图像增强方法 | |
CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 | |
Lin et al. | Single image deraining via detail-guided efficient channel attention network | |
Chen et al. | Attention-based broad self-guided network for low-light image enhancement | |
CN113096032B (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
CN114022392A (zh) | 用于单幅图像去雾的串行注意增强UNet++去雾网络 | |
Cui et al. | Exploring the potential of channel interactions for image restoration | |
Shen et al. | RSHAN: Image super-resolution network based on residual separation hybrid attention module | |
Li et al. | FA-GAN: A feature attention GAN with fusion discriminator for non-homogeneous dehazing | |
CN110852947B (zh) | 一种基于边缘锐化的红外图像超分辨方法 | |
Yu et al. | MagConv: Mask-guided convolution for image inpainting | |
Oh et al. | Fpanet: Frequency-based video demoireing using frame-level post alignment | |
Su et al. | Attention-adaptive multi-scale feature aggregation dehazing network | |
CN110675320A (zh) | 一种空间参数变化及复杂场景下目标图像清晰化方法 | |
Liang et al. | Multi-scale and multi-patch transformer for sandstorm image enhancement | |
CN106934344B (zh) | 一种基于神经网络的快速行人检测方法 | |
CN116029916A (zh) | 基于结合稠密小波的双分支网络的低照度图像增强方法 | |
Zhang et al. | Dual feature enhanced video super-resolution network based on low-light scenarios |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |