CN112241939A - 一种基于多尺度和非局部的轻量去雨方法 - Google Patents

一种基于多尺度和非局部的轻量去雨方法 Download PDF

Info

Publication number
CN112241939A
CN112241939A CN202011102598.7A CN202011102598A CN112241939A CN 112241939 A CN112241939 A CN 112241939A CN 202011102598 A CN202011102598 A CN 202011102598A CN 112241939 A CN112241939 A CN 112241939A
Authority
CN
China
Prior art keywords
rain
scale
image
module
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011102598.7A
Other languages
English (en)
Other versions
CN112241939B (zh
Inventor
庞彦伟
张雪岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202011102598.7A priority Critical patent/CN112241939B/zh
Publication of CN112241939A publication Critical patent/CN112241939A/zh
Application granted granted Critical
Publication of CN112241939B publication Critical patent/CN112241939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度和非局部的轻量去雨方法，所述方法包括：构建由初始模块和ConvLSTM模块组成的粗融合网络；构建由基于纵横交错关注技术的特征提取模块和重构模块组成的精融合网络；通过有雨图像数据库训练粗融合网络和精融合网络，使用均方差误差损失和感知损失对预测出的去雨图像计算损失值；利用反向传播机制更新网络参数，获取基于多尺度和非局部的轻量去雨模型，基于轻量去雨模型对有雨图像进行处理。本发明通过构建多尺度特征金字塔结构和ConvLSTM模块实现雨线特征信息的粗提取和融合；同时利用基于纵横交错关注技术的特征提取模块从远程依赖中捕获上下文信息，使得残差图像R更为高效和准确地生成，以取得高质量的去雨图像。

Description

一种基于多尺度和非局部的轻量去雨方法
技术领域
本发明涉及深度学习和计算机视觉领域，尤其涉及一种基于多尺度和非局部的轻量去雨方法。
背景技术
阴雨天是最为常见的恶劣天气，其中复杂多变的雨线会使摄像机所捕获的图像受到不同程度地降质，从而导致视觉效果下降。此外，降质的图像将大大降低计算机视觉任务的性能，例如基于图像的物体分类，检测和分割。目前，去雨的方法大致可分成两类：一类是基于字典学习和稀疏编码的传统方法；另一类是深度学习方法。与深度学习方法相比，传统方法所获得的去雨图像更为平滑和模糊，导致去雨图像质量不佳。在图像去雨这一领域中，深度学习方法逐渐普及开来，并且具有十分广阔的前景。在恶劣天气下，摄像机拍摄的图像质量很差，进而严重影响真实场景的应用，例如：无人驾驶和安防监控等。因此，在恶劣天气条件下恢复高质量的去雨图像尤其重要。
现有的去雨算法主要依据一种线性叠加模型[1,2]对图像进行建模：
Y＝X+R (1)
其中，Y表示有雨图像，X表示无雨图像，R表示残差图像(雨线分量)。
目前，采用深度学习的单图像去雨算法大都通过设计不同的网络结构，并采用监督学习的方法将人工合成的有雨图像Y和无雨图像X作为训练集，利用反向传播机制更新网络参数，使网络自行端到端地学习出从有雨图像Y到无雨图像X的复杂函数关系。2017年，Fu等人[3]第一次成功地利用深度学习方法实现单图像去雨。随后，Fu等人[4]受到深度残差网络的启发，提出了深度细节网络并进一步提升了去雨图像的质量。为了进一步提升去雨图像的质量，Li等人[5]提出了基于非局部思想的单图像去雨网络结构，也取得了不错的成果。
上述基于深度学习的单图像去雨算法，虽然能够去除大部分的雨线，但因为没有考虑到有雨图像中不同雨线之间的相似性特征，从而导致去雨图像的质量不高。此外，现有的采用传统非局部方法的去雨算法计算量较大，导致整个去雨过程耗时较长。
参考文献：
[1]Kang L W,Lin C W,Fu Y H.Automatic Single-Image-Based Rain StreaksRemoval via Image Decomposition[J].IEEE Transactions on Image Processing,2012,21(4):1742-1755.
[2]Chen Y L,Hsu C T.A Generalized Low-Rank Appearance Model forSpatio-temporally Correlated Rain Streaks[C]//Proceedings ofthe 2013IEEEInternational Conference on Computer Vision.Sydney,Australia,2013:1968-1975.
[3]Fu X,Huang J,Ding X,et al.Clearing the Skies:A Deep NetworkArchitecture for Single-Image Rain Removal[J].IEEE Transactions on ImageProcessing,2017,26(6):2944-2956.
[4]Fu X,Huang J,Zeng D,et al.Removing Rain from Single Images via aDeep Detail Network[C]//IEEE Conference on Computer Vision and PatternRecognition.Honolulu,USA,2017:3855-3863.
[5]Li G,He X,Zhang W,et al.Non-locally Enhanced Encoder-DecoderNetwork for Single Image De-raining[C]//2018ACM Multimedia Conference,2018.
发明内容
本发明提供了一种基于多尺度和非局部的轻量去雨方法，本发明通过构建多尺度特征金字塔结构和ConvLSTM(卷积长短期记忆网络)模块实现雨线特征信息的粗提取和融合；同时利用基于纵横交错关注技术(一种轻量的非局部方法)的特征提取模块从远程依赖中捕获上下文信息，使得残差图像R更为高效和准确地生成，以取得高质量的去雨图像，详见下文描述：
一种基于多尺度和非局部的轻量去雨方法，所述方法包括：
构建由初始模块和ConvLSTM模块组成的粗融合网络；
构建由基于纵横交错关注技术的特征提取模块和重构模块组成的精融合网络；
通过有雨图像数据库训练粗融合网络和精融合网络，使用均方差误差损失和感知损失对预测出的去雨图像计算损失值；
利用反向传播机制更新网络参数，获取基于多尺度和非局部的轻量去雨模型，基于轻量去雨模型对有雨图像进行处理。
其中，所述初始模块，用于生成原尺度、1/2尺度和1/4尺度的特征图像，组成多尺度特征金字塔；所述初始模块包含三个卷积操作，分别为一个步长为1的3×3卷积层和两个步长为2的3×3卷积层；
将多尺度特征金字塔送入三个ConvLSTM模块中，经一层卷积提取特征，再经过一层ConvLSTM层后将小尺度的图像特征上采样，融合在大尺度图像特征中作为当前ConvLSTM层的输入。
进一步地，所述特征提取模块是一个编解码结构，其中卷积核大小为3的Encoder的下采样尺度为2；在解密部分，将卷积层替换为纵横交错关注层，用于捕获上下文信息；
在特征提取模块内部增加跨连接融合同尺度的特征图，将三个特征提取模块输出的特征图重构为残差图像，有雨图像减去残差图像即可得到去雨图像。
其中，将ConvLSTM模块和特征提取模块的输出，与上采样的小尺度特征图像融合，作为当前阶段步长为1的3×3卷积层的输入；
将三个卷积层输出的特征图像送入重构模块，最终得到残差图像。
本发明提供的技术方案的有益效果是：
1、本发明通过卷积操作对有雨图像进行下采样分解，利用ConvLSTM模块实现雨线特征的粗提取和融合，利用基于纵横交错关注技术的特征提取模块实现雨线特征的精提取和融合；
2、本发明通过多尺度特征金字塔结构，ConvLSTM模块和基于轻量非局部技术的特征提取模块，高效利用了多尺度有雨图像中不同雨线间的相似性特征，因而对于残差图像R的建模更为准确，网络模型的去雨效果更佳；
3、本发明通过在去雨网络内部增加上采样操作、跨连接操作和叠加操作，将相同阶段不同尺度和不同阶段相同尺度的特征图像融合在一起，实现不同语义信息的相结合，使得残差图像的生成更具鲁棒性。
附图说明
图1为一种基于多尺度和非局部的轻量去雨方法的流程图；
图2为粗融合网络和精融合网络的结构图；
图3为粗融合网络部分的初始模块的结构图；
图4为精融合网络部分的特征提取模块的结构图；
图5为特征提取模块的纵横交错关注的结构图；
图6为精融合网络部分的重构模块的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
一种基于多尺度和非局部的轻量去雨方法，参见图1，该方法包括以下步骤：
101：构建有雨图像数据库(包含训练数据集和测试数据集)；
其中，该步骤具体为：收集不同场景下的图像，对收集到的图像进行Photoshop人工处理增加不同雨量的雨线，生成有雨图像Y。选取部分有雨图像Y改变大小至N×N，作为训练数据集。其中，N为预设图像大小。
102：构建粗融合网络；
其中，该粗融合网络主要包括：初始模块和ConvLSTM模块。分批将步骤101中的有雨图像Y送入初始模块中，生成原尺度、1/2尺度和1/4尺度的特征图像。再将三种尺度的图像所组成的特征金字塔送入ConvLSTM模块中，图像首先经过一层卷积进一步提取特征，之后再经过一层ConvLSTM。在每一层操作中都将小尺度图像特征上采样，并融合在大尺度图像特征中作为下一层的输入。
103：构建精融合网络；
其中，该精融合网络主要包括：基于纵横交错关注技术的特征提取模块和重构模块。首先，将步骤102得到的多尺度粗融合特征送入三个特征提取模块，每一个特征提取模块均是Encoder-Decoder(编解码)结构，其中卷积核大小为3的Encoder的下采样尺度为2。
此外，通过增加跨连接来融合同尺度的特征图像，使得特征图的表达更具鲁棒性。最后，将三个特征提取模块输出的特征图像送入重构模块，得到残差图像R，有雨图像Y减去残差图像R即可得到去雨图像。
104：利用步骤101构建的有雨图像数据库训练总体网络(粗融合网络和精融合网络)。在训练总体网络时，使用MSE Loss(均方差误差损失)和Perceptual Loss(感知损失)两种损失函数对预测出的去雨图像计算损失值。利用反向传播机制更新网络参数，最终得到一个基于多尺度和非局部的轻量去雨模型；
105：基于轻量去雨模型对有雨图像进行处理。
实施例2
下面结合具体的实验数据对实施例1中的方案进行进一步地介绍，详见下文描述：
201：准备数据集
其中，该步骤具体包括：
1)准备训练和测试数据集；
DID-MDN作者通过Photoshop人工合成了一个有雨图像数据集，其中训练集包含12000张，测试集包含1200张。训练集用于训练去雨网络模型，测试集用于评估去雨网络模型的性能。
2)增强数据。
为了提升去雨网络模型的性能，应对输入的有雨图像进行增强。增强的方法包括但不限于：随机翻转，随机剪裁，图像缩放等。
202：设计并训练粗融合网络和精融合网络；
其中，该步骤具体包括：
1)构建粗融合网络：主要包含初始模块和ConvLSTM模块。
将有雨图像Y送入初始模块中，生成原尺度、1/2尺度和1/4尺度的特征图像，组成多尺度特征金字塔。如图3所示，初始模块包含三个卷积操作，分别为一个步长为1的3×3卷积层和两个步长为2的3×3卷积层。不同尺度特征图像的感受野范围不同，通过构造多尺度特征金字塔结构能够帮助后续网络模块提取不同雨线间的相似性特征，有助于残差图像的生成。
再将多尺度特征金字塔送入三个ConvLSTM模块中，图像首先经过一层卷积提取特征，之后再经过一层ConvLSTM。如图2所示，在经过ConvLSTM层后都会将小尺度的图像特征上采样，并融合在大尺度图像特征中作为当前ConvLSTM层的输入。
ConvLSTM由FC-LSTM(全连接长短期记忆网络)发展而来，不仅具有时序建模能力，还具有提取局部特征的能力。FC-LSTM通常由输入门it,遗忘门ft,单元状态Ct,输出门ot,隐藏状态Ht五个部分组成。ConvLSTM层则是将FC-LSTM的输入与各个门之间的连接由前馈式替换成了卷积，同时状态与状态之间的运算也换成了卷积，其工作原理可以由以下公式表示：
Figure BDA0002725897270000051
Figure BDA0002725897270000052
Figure BDA0002725897270000053
Figure BDA0002725897270000061
Figure BDA0002725897270000062
其中，*表示卷积，
Figure BDA0002725897270000063
表示Hadamard product(哈达玛积)。X,C,H,i,f,o都是四维的tensor(张量)，第一维度为batch size(批大小)，第二维度为通道数，后两个维度为行和列的空间信息。对于ConvLSTM的初始状态，单元状态Ct和隐藏状态Ht都设置为零状态。
2)构建精融合网络：主要包含基于纵横交错关注技术的特征提取模块和重构模块。
如图2所示，将ConvLSTM层输出的多尺度图像特征送入三个特征提取模块中，在经过特征提取模块后都会将小尺度的图像特征上采样，并融合在大尺度图像特征中作为当前特征提取模块的输入。
如图4所示，每一个特征提取模块都是一个Encoder-Decoder(编解码)结构，其中卷积核大小为3的Encoder的下采样尺度为2。在Decoder部分，将传统的卷积层替换为纵横交错关注层，有助于网络从远程依赖中捕获上下文信息。此外，在特征提取模块内部增加跨连接来融合同尺度的特征图，使得特征图的表达更具鲁棒性。最后，将三个特征提取模块输出的特征图重构为残差图像R，有雨图像Y减去残差图像R即可得到去雨图像。
纵横交错关注层与传统非局部方法不同，特征图像的每一个像素只与本行本列的其他像素进行运算。如图5所示，纵横交错关注层首先对输入的特征图像H进行2个1×1卷积操作来生成两张特征图像Q和K，然后通过亲和操作和softmax操作来生成关注图A，接着对特征图像H进行另一个1×1卷积操作来生成特征图像V，用来实现特征的自适应，最后通过聚合操作可以得到该层最终的输出特征图像H'。其中，亲和操作是计算特征图像Q的每一处位置与特征图像K中同行同列像素的相关度关系，聚合操作则是将关注图A和特征图像V融合后与特征图像H叠加在一起生成特征图像H'。纵横交错关注层作为一种轻量的非局部方法，不仅能学习到全局特征的长程依赖性，还能节省大量的计算提高网络去雨速度。
如图2和图6所示，将ConvLSTM模块和特征提取模块的输出，与上采样的小尺度特征图像融合，作为当前阶段步长为1的3×3卷积层的输入，之后将三个卷积层输出的特征图像送入重构模块，最终得到残差图像R。这样设计的目的是：能够让相同阶段不同尺度和不同阶段相同尺度的特征图像融合在一起，实现不同语义信息的相结合，能够在一定程度上弥补部分操作所带来的特征信息丢失问题，使得残差图像的生成更具鲁棒性。
3)设计网络训练过程中的损失函数：在训练总体网络(粗融合网络和精融合网络)时采用MSE Loss和Perceptual Loss两种损失函数对预测出的去雨图像计算损失值。
4)初始化网络参数：网络参数一般包括卷积层的滤波器参数，归一化层的参数，以及学习率大小、损失函数权重、衰减系数等。本发明采用Kaiming方法对网络参数随机初始化。
5)训练模型：通过最小化损失函数MSE Loss和Perceptual Loss，优化总体网络，实现对有雨图像中雨线的去除。最终训练完成的模型即为本发明基于多尺度和非局部的轻量去雨算法的模型。
203：测试去雨效果
其中，该步骤具体包括：
1)准备好测试集数据，调用设计完成的网络结构和训练完成的网络参数，并将测试集中的有雨图像输入到训练好的模型中；
2)有雨图像Y依次通过粗融合网络的初始模块和三个ConvLSTM模块完成图像特征的粗提取，再经过精融合网络的三个特征提取模块，最后经过重构模块生成残差图像R，有雨图像Y减去残差图像R即可得到去雨图像；
3)将去雨图像与测试集中的无雨图像X逐一进行PSNR(峰值信噪比)和SSIM(结构相似度)计算，得出的PSNR和SSIM的值即可代表本系统的去雨效果。
其中，当PSNR的值位于20-30dB之间，代表去雨效果一般；当位于30dB以上时，代表去雨效果佳。当SSIM的值越接近1时，代表去雨效果越好。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于多尺度和非局部的轻量去雨方法，其特征在于，所述方法包括：
构建由初始模块和ConvLSTM模块组成的粗融合网络；
构建由基于纵横交错关注技术的特征提取模块和重构模块组成的精融合网络；
通过有雨图像数据库训练粗融合网络和精融合网络，使用均方差误差损失和感知损失对预测出的去雨图像计算损失值；
利用反向传播机制更新网络参数，获取基于多尺度和非局部的轻量去雨模型，基于轻量去雨模型对有雨图像进行处理。
2.根据权利要求1所述的一种基于多尺度和非局部的轻量去雨方法，其特征在于，
所述初始模块，用于生成原尺度、1/2尺度和1/4尺度的特征图像，组成多尺度特征金字塔；所述初始模块包含三个卷积操作，分别为一个步长为1的3×3卷积层和两个步长为2的3×3卷积层；
将多尺度特征金字塔送入三个ConvLSTM模块中，经一层卷积提取特征，再经过一层ConvLSTM层后将小尺度的图像特征上采样，融合在大尺度图像特征中作为当前ConvLSTM层的输入。
3.根据权利要求1所述的一种基于多尺度和非局部的轻量去雨方法，其特征在于，
所述特征提取模块是一个编解码结构，其中卷积核大小为3的Encoder的下采样尺度为2；在解密部分，将卷积层替换为纵横交错关注层，用于捕获上下文信息；
在特征提取模块内部增加跨连接融合同尺度的特征图，将三个特征提取模块输出的特征图重构为残差图像，有雨图像减去残差图像即可得到去雨图像。
4.根据权利要求1所述的一种基于多尺度和非局部的轻量去雨方法，其特征在于，
将ConvLSTM模块和特征提取模块的输出，与上采样的小尺度特征图像融合，作为当前阶段步长为1的3×3卷积层的输入；
将三个卷积层输出的特征图像送入重构模块，最终得到残差图像。
CN202011102598.7A 2020-10-15 2020-10-15 一种基于多尺度和非局部的轻量去雨方法 Active CN112241939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011102598.7A CN112241939B (zh) 2020-10-15 2020-10-15 一种基于多尺度和非局部的轻量去雨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011102598.7A CN112241939B (zh) 2020-10-15 2020-10-15 一种基于多尺度和非局部的轻量去雨方法

Publications (2)

Publication Number Publication Date
CN112241939A true CN112241939A (zh) 2021-01-19
CN112241939B CN112241939B (zh) 2023-05-30

Family

ID=74169263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011102598.7A Active CN112241939B (zh) 2020-10-15 2020-10-15 一种基于多尺度和非局部的轻量去雨方法

Country Status (1)

Country Link
CN (1) CN112241939B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884073A (zh) * 2021-03-22 2021-06-01 上海大学 图像去雨方法、系统、终端及存储介质
CN113160078A (zh) * 2021-04-09 2021-07-23 长安大学 雨天交通车辆图像去雨方法、装置、设备及可读存储介质
CN115100740A (zh) * 2022-06-15 2022-09-23 东莞理工学院 一种人体动作识别和意图理解方法、终端设备及存储介质
CN115937049A (zh) * 2023-02-23 2023-04-07 华中科技大学 去雨模型轻量化方法、系统、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130236116A1 (en) * 2012-03-08 2013-09-12 Industrial Technology Research Institute Method and apparatus for single-image-based rain streak removal
CN109165306A (zh) * 2018-08-09 2019-01-08 长沙理工大学 基于多任务哈希学习的图像检索方法
CN110378844A (zh) * 2019-06-14 2019-10-25 杭州电子科技大学 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN110969589A (zh) * 2019-12-03 2020-04-07 重庆大学 基于多流注意对抗网络的动态场景模糊图像盲复原方法
CN111340738A (zh) * 2020-03-24 2020-06-26 武汉大学 一种基于多尺度渐进融合的图像去雨方法
CN111462013A (zh) * 2020-04-03 2020-07-28 西安交通大学 一种基于结构化残差学习的单图去雨方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130236116A1 (en) * 2012-03-08 2013-09-12 Industrial Technology Research Institute Method and apparatus for single-image-based rain streak removal
CN109165306A (zh) * 2018-08-09 2019-01-08 长沙理工大学 基于多任务哈希学习的图像检索方法
CN110378844A (zh) * 2019-06-14 2019-10-25 杭州电子科技大学 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN110969589A (zh) * 2019-12-03 2020-04-07 重庆大学 基于多流注意对抗网络的动态场景模糊图像盲复原方法
CN111340738A (zh) * 2020-03-24 2020-06-26 武汉大学 一种基于多尺度渐进融合的图像去雨方法
CN111462013A (zh) * 2020-04-03 2020-07-28 西安交通大学 一种基于结构化残差学习的单图去雨方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIN, Z ET AL.: "Self-Attention ConvLSTM for Spatiotemporal Prediction", 《PROCEEDINGS OF THE AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 *
宋传鸣 等: "空-频域联合的交通监控视频去雨方法", 《模式识别与人工智能》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884073A (zh) * 2021-03-22 2021-06-01 上海大学 图像去雨方法、系统、终端及存储介质
CN112884073B (zh) * 2021-03-22 2022-05-27 上海大学 图像去雨方法、系统、终端及存储介质
CN113160078A (zh) * 2021-04-09 2021-07-23 长安大学 雨天交通车辆图像去雨方法、装置、设备及可读存储介质
CN113160078B (zh) * 2021-04-09 2023-01-24 长安大学 雨天交通车辆图像去雨方法、装置、设备及可读存储介质
CN115100740A (zh) * 2022-06-15 2022-09-23 东莞理工学院 一种人体动作识别和意图理解方法、终端设备及存储介质
CN115100740B (zh) * 2022-06-15 2024-04-05 东莞理工学院 一种人体动作识别和意图理解方法、终端设备及存储介质
CN115937049A (zh) * 2023-02-23 2023-04-07 华中科技大学 去雨模型轻量化方法、系统、设备及介质

Also Published As

Publication number Publication date
CN112241939B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN110706157B (zh) 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
CN112241939B (zh) 一种基于多尺度和非局部的轻量去雨方法
CN113362223B (zh) 基于注意力机制和双通道网络的图像超分辨率重建方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN111325165B (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN111462013B (zh) 一种基于结构化残差学习的单图去雨方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN112884073B (zh) 图像去雨方法、系统、终端及存储介质
CN112581409B (zh) 一种基于端到端的多重信息蒸馏网络的图像去雾方法
CN111539888B (zh) 一种基于金字塔通道特征注意力的神经网络图像去雾方法
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN116052016A (zh) 基于深度学习的遥感图像云和云影的精细分割检测方法
CN112819705B (zh) 一种基于网状结构与长距离相关性的真实图像去噪方法
CN114255456A (zh) 基于注意力机制特征融合与增强的自然场景文本检测方法和系统
CN115330620A (zh) 一种基于循环生成对抗网络的图像去雾方法
Cai et al. Multiscale attentive image de-raining networks via neural architecture search
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN111861935B (zh) 一种基于图像修复技术的去雨方法
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN112598604A (zh) 一种盲脸复原方法及系统
CN117392065A (zh) 一种云边协同太阳能板覆灰状况自主评估方法
CN116721033A (zh) 一种基于随机掩码卷积和注意力机制的单幅图像去雾方法
CN115641445B (zh) 一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法
Huang et al. FFNet: A simple image dedusting network with feature fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant