CN110443761B - 一种基于多尺度聚合特征的单幅图像去雨方法 - Google Patents
一种基于多尺度聚合特征的单幅图像去雨方法 Download PDFInfo
- Publication number
- CN110443761B CN110443761B CN201910640037.3A CN201910640037A CN110443761B CN 110443761 B CN110443761 B CN 110443761B CN 201910640037 A CN201910640037 A CN 201910640037A CN 110443761 B CN110443761 B CN 110443761B
- Authority
- CN
- China
- Prior art keywords
- rain
- convolution
- feature
- layer
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000002776 aggregation Effects 0.000 title claims abstract description 29
- 238000004220 aggregation Methods 0.000 title claims abstract description 29
- 238000011176 pooling Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 238000011084 recovery Methods 0.000 claims abstract description 5
- 230000004931 aggregating effect Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 9
- 230000010339 dilation Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本发明属于计算机视觉领域，涉及一种基于多尺度聚合特征的单幅图像去雨方法。本发明是基于一种多尺度特征聚合密集连接卷积网络框架，由编码‑解码网络组成，每一个编码网络对应着一个解码网络；编码网络通过最大池化层降维和下采样，在进行最大池化的过程中记录最大池化的索引位置，并由该池化索引来引导对应的解码网络的上采样恢复过程。其中，编码网络和解码网络在卷积层是一样的，都是特征聚合密集连接卷积模块，只有最大池化和其对应的而上采样过程不同。本发明能够有效地去除不同密度的雨条纹，同时很好地保留了图像的细节。
Description
技术领域
本发明属于计算机视觉领域，涉及一种基于多尺度聚合特征的单幅图像去雨方法。
背景技术
在雨天，雨迹对于图像和视频的影响往往是不希望看见的，雨迹会严重影响很多室外计算机视觉应用的性能，譬如监控系统和自动驾驶系统。在安保安防和户外摄像领域中，这些摄像拍照设备在户外工作时很容易受到恶劣暴雨等恶劣天气的影响，但是一般情况下在实际应用中户外采集图像的摄像系统的设计并没有考虑户外天气的影响。在户外遇到大雾、暴雨、大雪这些天气情况时，人们的视线的可见度和摄像设备的清晰程度都会受到很大影响，这些设备拍摄到的照片和录像会出现图像降质、噪声增多遮挡重要背景信息、应用信息较少等情况，在不同的领域中都会遇到这样的问题，图像噪声多、细节信息缺实在很多时候会影响使用者的使用和视觉系统本身的性能降低。
雨滴从摄像机镜头前掉落或者流下会对图像造成阻挡，畸变和模糊，远距离的雨滴持续性的从镜头前掉落也会降低能见度，它影响能见度的原理和雾对图像能见度影响的原理类似，光线被空气中的水散射出去，产生出带着面纱的效果。图像增强和追踪等很多计算机视觉应用都需要一个有效的图像去雨方法。然而，当图像背景中物体的结构和方向都和图像中雨迹相同时，就很难在除去雨迹的同时保留图像背景自身的物体结构。
现在已经有人提出了很多种方法来提升在有雨条件下拍摄照片的能见度，这些方法总体来说可以被分成两类：基于视频的图像去雨方法和基于单幅图像的去雨方法。
基于视频的图像去雨方法比较简单，由于视频在时间域上有许多像素点冗余，所以可以很简单的从视频中找到并去除雨的痕迹。早期的去雨方法都是一些视频片段的雨迹检测和去除的方法。这些检测方法都基于两个假设条件：第一，由于雨滴是动态的，他们在一小段连续帧间的像素值变化非常大。第二，由于画面中的其他物体也有可能是动态变化的，可以通过使用验证条状像素值变化是否和背景的像素值变化呈线性相关的方法将动态变换的物体和雨迹进行区分。第二条限制条件可以减少将视频帧中的其他动态变化物体误当作雨滴进行处理的情况。从视频帧中检测到雨滴之后，可以通过对视频帧前后连续帧中的相应位置像素值中取平均值来替代原来检测出为雨滴的点的像素值的方式来去除视频帧中的雨迹。
还有一部分是基于图像的去雨方法，对于单幅图像的去雨，比较新提出的一种方法是将输入图像分成低频部分(结构层)和高频部分(细节层)两部分进行去雨的方式。高频部分包括了雨迹和物体的边缘信息。这个方法尝试使用利用HOG特征的基于字典学习的稀疏表示方法将雨迹从高频部分分离出来。将图像的低频部分和分离后的高频部分的相结合的方式获得输出去雨的图像。尽管分解的想法很简洁，但是其设计的网络结构十分复杂，而且效果也不是十分理想。这种方式产生的结果都会由于高频部分的缺失使背景变得模糊。这个问题在采用相似想法的方法中都有体现。还有部分方法假设椭圆形，垂直方向的痕迹为雨滴并使用非线性的均值滤波方式来去除雨迹。这种方式对于部分雨迹的例子是有效果的，但是并不是所有雨滴的角度，比例和密度都是一样的，所以他对一些特定的雨迹识别效果非常差。
目前，在处理单幅图像去雨的问题上深度学习算法成为了主流，深度卷积神经网络对特征的强大表达能力为刻画雨的特征提供了很好的基础。在使用卷积神经网络处理去雨的方法中，一种用于单幅图像去雨的网络体系结构，利用深度残差网络(ResNet)作为主干的去雨网络并结合图像处理领域的方法将输入和输出映射到更加稀疏的黑色背景中，这样更容易训练网络，解决了网络难以训练的问题。
有的方法考虑了到之前针对去雨的算法没有考虑在内的雨的密度信息，并结合密集连接网络设计了带有区别雨线密度信息的多流密集连接网络。有的方法提出了一种新的有雨图像的建模和新颖的单幅图像去雨网络算法，能够很好的处理大雨和雨中带有雾气的情况。但是这些算法有的对雨线特征刻画的不完整导致去雨不干净，有些算法的结果导致图像过度平滑，图像背景恢复的不够完好。
发明内容
本发明提出了一种基于多尺度聚合特征的单幅图像去雨方法，用于消除雨天拍摄的图像在视觉上的影响。本发明采用一种端到端的卷积神经网络用来处理单幅图像的去雨工作，可以把网络称为多尺度特征聚合密集连接卷积网络(FJDN)，本发明的网络框架中包含一个完全卷积的编码-解码器网络(Encoder-Decoder)，它已经被证明能够从大量的输入输出图像处理器中学习复杂的特征映射。整个的网络结构如图1所示，在去雨的工作中，为了提取范围更加广泛、更多尺度的雨迹特征，本发明提出了特征提取模块(Feature Block)和特征聚合密集连接卷积模块(FJDB)作为网络的基础结构来组成编码-解码器网络(Encoder-Decoder)。本发明将特征聚合密集连接卷积模块(FJDB)与编码层和解码层集成在一起，从而能够计算出长期的空间依赖关系，并有效地利用前后所有卷积层提取到的特征。
本发明采用的技术方案：
一种基于多尺度聚合特征的单幅图像去雨方法，具体步骤如下：
步骤一、去雨模型建模
在图像去雨中，雨的模型表示如下：
O＝B+S (1)
其中，O为要对其进行去雨恢复的摄像机观测到的有雨图像，B为去雨后得到的清晰的背景图像，S为去除的雨线部分。
步骤二、提取雨图中雨迹的低维特征
采用一个多尺度特征提取模块(Feature Block)提取初始输入的雨图中雨迹的低维特征，过程如下：
F0＝H0(I0) (2)
其中，I0表示的是初始输入的雨图，H0表示的是Feature Block的特征计算，F0表示的是雨迹的低维特征；将生成的雨迹的低维特征F0通过短连接的方式输入到靠近输出的最后一层网络中，将初始输入的雨图I0通过短连接的方式输入到输出之前的残差加和中，即图1中的Tanh输出处。
采用膨胀卷积作为多尺度特征提取模块(Feature Block)的基础结构，并采用4种不同尺度的膨胀卷积(经过实验验证本发明使用的四种膨胀卷积对于提取多尺度的雨线特征十分有效，不同尺度的膨胀卷积可以适用于不同的特征信息，可以结合要提取的特征的具体形式具体分析使用)；DF代表不同的膨胀因子，DF＝1表示卷积时相邻像素之间没有空隙，DF＝2表示卷积时相邻像素之间Kernel间隔一个像素，DF＝3表示卷积时相邻像素之间Kernel间隔两个像素，DF＝4表示卷积时相邻像素之间Kernel间隔三个像素，间隔的像素点处卷积核的值填充为0；且每个膨胀卷积块中使用具有不同膨胀因子的卷积核，得到每个膨胀卷积内的多尺度特征。
先将DF＝1和DF＝2的膨胀卷积提取的特征进行聚合并通过1*1的卷积进行降维得到聚合特征F1，然后将DF＝3和DF＝4的膨胀卷积提取的特征进行聚合并通过1*1的卷积进行降维得到聚合特征F2，最后将聚合特征F1和F2通过1*1的卷积核聚合在一起，最后将聚合的聚合特征通过1*1的卷积降维，最终得到四种不同尺度的聚合雨迹特征信息。
步骤三、构建多尺度特征聚合密集连接模块(FJDB)
在多尺度特征聚合密集连接卷积模块(FJDB)中，采用膨胀卷积作为特征提取的第一部分，将输入的图像分三路进行特征提取，分别为DF＝1、DF＝2和DF＝3；三种不同的膨胀卷积的卷积核大小均为3*3；将三种雨迹特征聚合，再通过1*1的卷积将特征图的通道变换为Input的初始通道数，且在密集连接卷积块(Dense Block)的各个阶段保持通道数一致。在聚合三种雨迹特征后，将聚合特征输入到一个密集连接卷积块(Dense Block)中，密集连接卷积块前面每一层的输出都通过短连接的方式输入到后面的每一层中。
特征聚合的密集连接卷积模块定义为：
Xl＝σ(Hl[X1,X2,...,Xl-1]) (3)
其中，Xl表示第l层的特征，Hl表示第l层的卷积操作，前l-1层的输出是第l层的输入，σ表示ReLU激活函数；
通过Concat层将所有连接的特征聚合(即通道数相加)，再通过1*1的卷积将通道恢复为Input的输入的通道数，输入和输出通道保持一致，将Input的输入作为残差与DenseBlock的输出加和形成多尺度特征聚合密集连接卷积模块(FJDB)的输出。
步骤四、构建多尺度特征聚合密集连接卷积网络(FJDN)
多尺度特征聚合密集连接卷积网络(FJDN)包括编码(Encoder)阶段和解码(Decoder)阶段，将多尺度特征聚合密集连接网络模块(FJDB)插入编码器和解码器的每个阶段；
编码(Encoder)阶段包含3个FJDB，每个FJDB后设有一个最大池化层(Maxpooling)作为编码阶段的下采样器；解码(Decoder)阶段包含3个FJDB，每个FJDB后设有一个最大反池化层(UpMaxPooling)作为解码上采样器；在对称的Encoder模块和Decoder模块之间，通过下采样和上采样层之间的Pooling Indices进行短连接，通过记录下采样时MaxPooling的最大值的位置信息来指导上采样阶段的正确恢复。
UpMaxPooling层使用在对应编码层的MaxPooling步骤中计算的池化索引来执行非线性上采样；根据记录的池化指数矩阵，UpMaxPooling的输出特征图计算方式如下：首先在最大池化操作之前初始化池化卷积核大小，然后输入特征图和特征映射的相应位置分配由索引矩阵记录的特征列，再将其他的位置置零。
将UpMaxPooling的输出特征与步骤二中的聚合特征F1聚合，然后与雨迹的低维特征F0进行加和，得到负向雨的结果，最后将原图作为残差与负向雨进行相加得到最终无雨图片的输出。
本发明的有益效果：本发明针对单幅图像去雨的问题提出的去雨方法在处理大雨以及多种雨线堆叠的去雨情况有很好的表现效果，不仅能够将各种方向堆叠的雨线去除干净，而且还能够很好地恢复图像的背景信息。本发明能够实现端到端的图像去雨并且性能优越。本发明能够有效地去除不同密度的雨条纹，同时很好地保留了图像的细节。
附图说明
图1是本发明方法的构架示意图。
图2是本发明的多尺度特征提取模块示意图(Feature Block)。
图3是本发明的多尺度特征聚合密集连接卷积模块示意图(FJDB)。
图4是本发明在合成数据上的结果展示示意图；其中，(a)、(c)、(e)和(g)为雨图，(b)、(d)、(f)和(h)为对应的结果图。
图5是本发明在真实数据上的结果展示示意图；(a)、(e)为雨图，(b)、(f)为对应的结果图；(c)、(d)、(g)和(h)分别为结果图的细节部分。
图6(a)和图6(b)分别是最大池化与最大反池化的实现的示意图。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
本发明的具体实施流程如图1中所示，输入的雨图为I0，经过多尺度特征提取模块(Feature Block)得到低维的聚合特征F0，F0经过一个卷积层得到特征F1。然后在Encoder-Decoder阶段，F1经过前三个FJDB和Maxpooling层分别得到特征F2、F3、F4，特征F4经过一个FJDB和UpMaxpooling层分别得到特征F5，特征F3和F5的聚合特征经过一个FJDB和UpMaxpooling层分别得到特征F6，然后特征F2和聚合特征F6的聚合特征经过一个FJDB和UpMaxpooling层分别得到特征F7，接着F1和F7的聚合特征经过一个1*1的卷积层分别得到F8，最后再经过一个卷积层和激活函数得到刻画的雨迹层R，也就是公式(1)中的S，然后将输入的雨图I0通过残差加和得到最终输出的清晰背景图像。图1中网络输出前一层输出的R即为雨的部分，最后的输出是通过负向的R得到。
多尺度特征提取模块(Feature Block)如图2所示；多尺度特征聚合密集连接卷积模块(FJDB)如图3所示。
图4是本发明在合成数据上的结果展示示意图；其中，(a)、(c)、(e)和(g)为雨图，(b)、(d)、(f)和(h)为对应的结果图。图5是本发明在真实数据上的结果展示示意图；(a)、(e)为雨图，(b)、(f)为对应的结果图；(c)、(d)、(g)和(h)分别为结果图的细节部分。图4和图5展示本发明方法在不同数据上的结果。
最大池化下采样过程如图6(a)所示，最大反池化上采样过程如图6(b)所示。
本发明采用的是新颖的、端到端的深度卷积神经网络用来实现图像去雨，该方法的具体实现步骤为：准备数据处理数据集-训练网络算法-测试算法性能结果-反复调参使得性能最优。具体的细节如下：在网络训练过程中，调整图像的大小使其边长小于512。由于网络是完全卷积的，并且将训练的批次数量设置为1，输入图像的大小不需要笃定大小。在训练过程中，使用Adam优化器来迭代更新网络的参数，将总的epoch设置为100，将初始的学习率设置为0.0001，在30、50和80个epoch时将学习率乘以0.8降低作为新的学习率进行反向传播训练，来调整学习率的大小。
本发明刻画的是经过去雨之后的预测图像f(x)与真实无雨图像Ground Truth(Y)的相差程度，由于雨迹的特征比较稀疏，因此在刻画雨迹特征时选择对稀疏特性比较敏感的MAE(mean absolute error)函数作为训练的损失函数L，如下所示：
其中，i,j,k代表RGB三通道，
代表网络对于去雨结果的预测，Yi,j,k代表训练标签，也就是由于图像对应的无雨清晰背景(Ground Truth)，H、W和C分别代表训练图像的高度、宽度以及图像的通道数。
损失函数是用来计算预测值与目标值之间的差距，损失值越小说明模型对数据的拟合越好，通过计算本发明的预测函数，可知本发明的方法的数据拟合好，因此去雨效果很好。
Claims (1)
1.一种基于多尺度聚合特征的单幅图像去雨方法，其特征在于，具体步骤如下：
步骤一、去雨模型建模
在图像去雨中，雨的模型表示如下：
O＝B+S (1)
其中，O为要对其进行去雨恢复的摄像机观测到的有雨图像，B为去雨后得到的清晰的背景图像，S为去除的雨线部分；
步骤二、提取雨图中雨迹的低维特征
采用一个多尺度特征提取模块Feature Block提取初始输入的雨图中雨迹的低维特征，过程如下：
F0＝H0(I0) (2)
其中，I0表示的是初始输入的雨图，H0表示的是Feature Block的特征计算，F0表示的是雨迹的低维特征；将生成的雨迹的低维特征F0通过短连接的方式输入到靠近输出的最后一层网络中，将初始输入的雨图I0通过短连接的方式输入到输出之前的残差加和中；
采用膨胀卷积作为多尺度特征提取模块Feature Block的基础结构，并采用4种不同尺度的膨胀卷积；DF代表不同的膨胀因子，DF＝1表示卷积时相邻像素之间没有空隙，DF＝2表示卷积时相邻像素之间Kernel间隔一个像素，DF＝3表示卷积时相邻像素之间Kernel间隔两个像素，DF＝4表示卷积时相邻像素之间Kernel间隔三个像素，间隔的像素点处卷积核的值填充为0；且每个膨胀卷积块中使用具有不同膨胀因子的卷积核，得到每个膨胀卷积内的多尺度特征；
先将DF＝1和DF＝2的膨胀卷积提取的特征进行聚合并通过1*1的卷积进行降维得到聚合特征F1，然后将DF＝3和DF＝4的膨胀卷积提取的特征进行聚合并通过1*1的卷积进行降维得到聚合特征F2，最后将聚合特征F1和F2通过1*1的卷积核聚合在一起，最后将聚合的聚合特征通过1*1的卷积降维，最终得到四种不同尺度的聚合雨迹特征信息；
步骤三、构建多尺度特征聚合密集连接模块FJDB
在多尺度特征聚合密集连接卷积模块FJDB中，采用膨胀卷积作为特征提取的第一部分，将输入的图像分三路进行特征提取，分别为DF＝1、DF＝2和DF＝3；三种不同的膨胀卷积的卷积核大小均为3*3；将三种雨迹特征聚合，再通过1*1的卷积将特征图的通道变换为Input的初始通道数，且在密集连接卷积块Dense Block的各个阶段保持通道数一致；在聚合三种雨迹特征后，将聚合特征输入到一个密集连接卷积块Dense Block中，密集连接卷积块前面所有层的输出都通过短连接的方式输入到后面的所有层中；
特征聚合的密集连接卷积模块定义为：
Xl＝σ(Hl[X1,X2,...,Xl-1]) (3)
其中，Xl表示第l层的特征，Hl表示第l层的卷积操作，前l-1层的输出是第l层的输入，σ表示ReLU激活函数；
通过Concat层将所有连接的特征聚合，再通过1*1的卷积将通道恢复为Input的输入的通道数，输入和输出通道保持一致，将Input的输入作为残差与Dense Block的输出加和形成多尺度特征聚合密集连接卷积模块FJDB的输出；
步骤四、构建多尺度特征聚合密集连接卷积网络FJDN
多尺度特征聚合密集连接卷积网络FJDN包括编码Encoder阶段和解码Decoder阶段，将多尺度特征聚合密集连接网络模块FJDB插入编码器和解码器的每个阶段；
编码Encoder阶段包含3个FJDB，每个FJDB后设有一个最大池化层Maxpooling作为编码阶段的下采样器；解码Decoder阶段包含3个FJDB，每个FJDB后设有一个最大反池化层UpMaxPooling作为解码上采样器；在对称的Encoder模块和Decoder模块之间，通过下采样和上采样层之间的Pooling Indices进行短连接，通过记录下采样时MaxPooling的最大值的位置信息来指导上采样阶段的正确恢复；
UpMaxPooling层使用在对应编码层的MaxPooling步骤中计算的池化索引来执行非线性上采样；根据记录的池化指数矩阵，UpMaxPooling的输出特征图计算方式如下：首先在最大池化操作之前初始化池化卷积核大小，然后输入特征图和特征映射的相应位置分配由索引矩阵记录的特征列，再将其他的位置置零；
将最后一个最大反池化层UpMaxPooling的输出特征与步骤二中的聚合特征F1聚合，然后与雨迹的低维特征F0进行加和，得到负向雨的结果，最后将原图作为残差与负向雨进行相加得到最终无雨图片的输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910640037.3A CN110443761B (zh) | 2019-07-16 | 2019-07-16 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910640037.3A CN110443761B (zh) | 2019-07-16 | 2019-07-16 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110443761A CN110443761A (zh) | 2019-11-12 |
| CN110443761B true CN110443761B (zh) | 2022-02-15 |
Family
ID=68430493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910640037.3A Active CN110443761B (zh) | 2019-07-16 | 2019-07-16 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110443761B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866879B (zh) * | 2019-11-13 | 2022-08-05 | 江西师范大学 | 一种基于多密度雨纹感知的图像去雨方法 |
| CN111340738B (zh) * | 2020-03-24 | 2022-03-04 | 武汉大学 | 一种基于多尺度渐进融合的图像去雨方法 |
| CN111553851B (zh) * | 2020-04-08 | 2022-09-23 | 大连理工大学 | 一种基于时间域的雨线分解和空间结构引导的视频去雨方法 |
| CN111861926B (zh) * | 2020-07-24 | 2023-09-29 | 南京信息工程大学滨江学院 | 一种基于空域组增强机制与长短时记忆网络的图像去雨方法 |
| CN112184573B (zh) * | 2020-09-15 | 2023-05-16 | 西安理工大学 | 基于卷积神经网络的上下文聚合残差单幅图像去雨方法 |
| CN113034413B (zh) * | 2021-03-22 | 2024-03-05 | 西安邮电大学 | 一种基于多尺度融合残差编解码器的低照度图像增强方法 |
| CN113240612A (zh) * | 2021-06-04 | 2021-08-10 | 杭州新州网络科技有限公司 | 一种图像像素级膨胀滤波视觉去雨方法 |
| CN113962905B (zh) * | 2021-12-03 | 2023-05-05 | 四川大学 | 基于多阶段特征互补网络的单幅图像去雨方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9373160B2 (en) * | 2013-12-18 | 2016-06-21 | New York University | System, method and computer-accessible medium for restoring an image taken through a window |
| CN107730459A (zh) * | 2017-09-20 | 2018-02-23 | 大连理工大学 | 一种基于非线性动态系统的图像去模糊方法 |
| CN108564549A (zh) * | 2018-04-20 | 2018-09-21 | 福建帝视信息科技有限公司 | 一种基于多尺度稠密连接网络的图像去雾方法 |
| CN109087258A (zh) * | 2018-07-27 | 2018-12-25 | 中山大学 | 一种基于深度学习的图像去雨方法及装置 |
| CN109360155A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
-
2019
- 2019-07-16 CN CN201910640037.3A patent/CN110443761B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9373160B2 (en) * | 2013-12-18 | 2016-06-21 | New York University | System, method and computer-accessible medium for restoring an image taken through a window |
| CN107730459A (zh) * | 2017-09-20 | 2018-02-23 | 大连理工大学 | 一种基于非线性动态系统的图像去模糊方法 |
| CN108564549A (zh) * | 2018-04-20 | 2018-09-21 | 福建帝视信息科技有限公司 | 一种基于多尺度稠密连接网络的图像去雾方法 |
| CN109087258A (zh) * | 2018-07-27 | 2018-12-25 | 中山大学 | 一种基于深度学习的图像去雨方法及装置 |
| CN109360155A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
Non-Patent Citations (2)
| Title |
|---|
| Removing rain from single images via a deep detail network;Xueyang Fu etal.;《2017 IEEE Conference on Computer Vision and Pattern Recognition》;20171209;全文 * |
| 基于多尺度图像融合的单幅图像去雾算法;潘磊等;《计算机工程》;20160831;第42卷(第8期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110443761A (zh) | 2019-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443761B (zh) | 一种基于多尺度聚合特征的单幅图像去雨方法 | |
| Tian et al. | Deep learning on image denoising: An overview | |
| CN109360155B (zh) | 基于多尺度特征融合的单帧图像去雨方法 | |
| CN110223242B (zh) | 一种基于时空域残差生成对抗网络的视频湍流移除方法 | |
| CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
| CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN110503613B (zh) | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 | |
| CN109859120B (zh) | 基于多尺度残差网络的图像去雾方法 | |
| CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN111553851B (zh) | 一种基于时间域的雨线分解和空间结构引导的视频去雨方法 | |
| CN104282003B (zh) | 一种基于梯度筛选的数字模糊图像盲复原方法 | |
| CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
| CN112365414B (zh) | 一种基于双路残差卷积神经网络的图像去雾方法 | |
| CN111079764A (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| Nie et al. | Ghostsr: Learning ghost features for efficient image super-resolution | |
| CN114140346A (zh) | 一种图像处理方法及装置 | |
| CN114463218A (zh) | 一种基于事件数据驱动的视频去模糊方法 | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| Li et al. | A simple baseline for video restoration with grouped spatial-temporal shift | |
| CN110889868B (zh) | 一种结合梯度和纹理特征的单目图像深度估计方法 | |
| Xing et al. | Digital rock resolution Enhancement and detail recovery with multi attention neural network | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN111553856B (zh) | 基于深度估计辅助的图像去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |