CN112070690A - 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 - Google Patents

基于卷积神经网络双分支注意力生成的单幅图像去雨方法 Download PDF

Info

Publication number
CN112070690A
CN112070690A CN202010863062.0A CN202010863062A CN112070690A CN 112070690 A CN112070690 A CN 112070690A CN 202010863062 A CN202010863062 A CN 202010863062A CN 112070690 A CN112070690 A CN 112070690A
Authority
CN
China
Prior art keywords
rain
channel
image
encoder
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010863062.0A
Other languages
English (en)
Other versions
CN112070690B (zh
Inventor
石争浩
高蒙蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010863062.0A priority Critical patent/CN112070690B/zh
Publication of CN112070690A publication Critical patent/CN112070690A/zh
Application granted granted Critical
Publication of CN112070690B publication Critical patent/CN112070690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于卷积神经网络双分支注意力生成的单幅图像去雨方法，包括：对输入图像预处理；构建U型结构网络；将权重通道注意力添加至第一个U型网络中，得到添加后的第一个U型网络；将空间注意力和通道注意力添加至第二个U型结构网络中，得到添加后的第二个U型网络；采用经添加后的第一个U型网络处理得到的处理图像a、经添加后的第二个U型网络处理得到处理图像b与预处理后的图像进行相加的操作，经过卷积，得到卷积神经网络模型；将预处理后图像对卷积神经网络模型进行训练，利用损失函数进行约束，得到训练好的去雨网络模型；将待处理有雨的图像放入训练好的去雨网络模型中，最终输出去雨后的图像，提高单幅图像去雨的性能。

Description

基于卷积神经网络双分支注意力生成的单幅图像去雨方法
技术领域
本发明属于图像处理技术领域，涉及一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法。
背景技术
随着科学技术的迅猛发展，人类社会正在进入信息化社会，计算机的应用日益广泛，图像处理技术对各领域的发展越来越重要。计算机视觉在机器人、国防航空、机器视觉自动化领域已经成为关键技术。同时在监控影像、辅助驾驶中央控制系统，交通网关等场景下也起到了重要作用。随着图像处理技术和计算机视觉技术的快速发展，使得越来越多的计算机视觉系统应用于众多的科学和工程领域。但是随着视觉系统在户外的广泛应用，不可避免碰到恶劣天气使其所拍摄图像的视觉效果和数据质量下降。
计算机视觉系统容易受到户外恶劣天气的影响。主要表现为恶劣天气获取的图像会产生干扰和降质，导致计算机视觉处理算法的性能下降，例如目标跟踪，目标检测，图片检索等等。同时，恶劣天气对人类的视觉也存在巨大的挑战，例如，雨雾天气中驾驶，能见度低和下落的雨滴对人眼的干扰，都严重的影响了肉眼的观察，容易造成交通事故；还有在雪天中对滑雪比赛的报道，下落的雪对解说员的报道也会造成一定的干扰；恶劣天气对拍摄电影也会造成影响，导演可能由于天气变化原因要重新翻拍电影的一些片断等等。
恶劣天气条件存在许多不同的类型，如雾，沙尘，雨，雪等。基于产生的视觉效果不同，恶劣天气一般分为两类:静态(如雾，霾)和动态(如雨，雪)。静态天气图像复原主要是提高图像清晰度，而动态天气图像复原主要是去除对目标的干扰，恢复出真实的背景信息。在各种复杂的天气条件下，雨天的视觉效果较为复杂，且变化多端，大雨、中雨、小雨等产生的效果不尽相同。例如在中小雨情况下，视频图像中的雨滴会比较小，而在大雨甚至暴雨情况下，由于其密度大，降落速度快，雨滴就可能会形成雨线，甚至连成一片，整个图像画面变得完全不可见。所以雨滴附着在图像上会非常明显地影响图像的视觉效果和图像质量，这会间接影响到整个计算机视觉系统的性能。
发明内容
本发明的目的是提供一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，能够提高单幅图像去雨的性能。
本发明所采用的技术方案是，一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，具体按照如下步骤实施：
步骤1，对输入的图像进行预处理，得到输入图像数据集；
步骤2，构建一个具有上下分支结构的U型结构编码器/解码器网络，分别记为第一个U型编码器/解码器网络和第二个U型编码器/解码器网络；
步骤3，将权重通道注意力机制添加至步骤2中第一个U型编码器/解码器网络的前三个下采样中，得到三个尺度编码器下采样的特征，然后对得到的下采样特征与对应上采样得到同样大小和通道数的结果通过残差块的形式进行特征融合，得到添加后的第一个U型编码器/解码器网络；
步骤4，将空间注意力和通道注意力机制添加至步骤2中第二个U型结构编码器/解码器网络的最后一个下采样后和第一个上采样之间，通过跳跃连接结构结合，进行上采样，得到添加后的第二个U型编码器/解码器网络；
步骤5，采用经步骤3得到的添加后的第一个U型编码器/解码器网络处理得到的处理图像a与采用经步骤4得到的添加后的第二个U型编码器/解码器网络处理得到处理图像b，将处理图像a、处理图像b与步骤1中预处理后的输入图像进行相加的操作，再经过最后一层卷积，得到卷积神经网络模型；
步骤6，采用步骤1得到的输入图像数据集对步骤5得到的卷积神经网络模型进行训练，得到去雨卷积神经网络模型，利用损失函数对去雨卷积神经网络模型进行约束，然后反向转播进行参数更新，得到训练好的去雨网络模型；
步骤7，将待处理有雨的图像放入步骤6得到的训练好的去雨网络模型中，最终输出去雨后的图像。
本发明的特征还在于，
步骤1中预处理具体为：将输入的图像的像素值归一化为[0，1]，并裁剪为256*256*3。
步骤2中两个U型结构编码器/解码器网络均由一个收缩路径和一个扩展路径组成，两个U型结构编码器/解码器网络为上下两个分支的结构，上面分支后的为第一个编码器/解码器，下面分支后的为第二个编码器/解码器，两个编码器所用的下采样由一个大小3x3和步长为2的卷积组成，将特征通道的数量增加一倍，两个解码器的上采样由一个大小3x3和步长为2的转置卷积组成，并将特征通道数减半到32；
第一个U型结构编码器/解码器网络通道数量分别为32，64，128，256；
第二个编码器利用第一个编码器的第一层和第二层，把第一个编码器的第一层和第二层通过通道维度相加的方式采样到大小为128*128*64的特征，第二个U型结构编码器/解码器网络通道数量64。
步骤3具体按照以下步骤实施：
步骤3.1，确定权重通道注意力机制的Squeeze单元，通过全局平均池化的方法得到通道上的权重特征；
步骤3.2，确定权重通道注意力机制的Excitation单元，Excitation单元用于生成每个通道的权重；
步骤3.3，确定通道权重注意力机制的Scale单元，Scale单元将步骤3.2得到的通道的权重通过乘法逐通道加权到步骤3.1得到的权重特征上，得到三个尺度编码器下采样的特征；
步骤3.4，将步骤3.3得到的三个尺度编码器下采样的特征与对应上采样得到同样大小和通道数的结果通过残差块的形式进行特征融合，得到添加后的第一个U型编码器/解码器网络。
步骤3中残差块的表达式为：
xl+1＝xl+F(xl+Wl) (1)
式(1)中，xl+1为第l+1层卷积层的卷积结果，xl为第l层卷积层的卷积结果，Wl为第l层卷积层的权重，F(xl+Wl)为残差部分。
步骤4具体按照以下步骤实施：
步骤4.1，将空间注意力机制与通道注意力机制结合，组成一个CA模块，所述CA模块的上分支为通道注意力机制，所述CA模块的下分支为空间注意力机制，所述CA模块共计6个，分别记为第一个CA模块、第二个CA模块、第三个CA模块、第四个CA模块、第五个CA模块、第六个CA模块；
步骤4.2，在空间注意力层面上使用average pooling和max pooling对特征图进行通道压缩操作，对特征分别在通道维度上做了mean和max操作，得到两个二维的特征；
步骤4.3，将步骤4.2得到的两个二维的特征按通道维度上进行拼接在一起得到一个通道数为2的特征；
步骤4.4，将步骤4.3得到的一个通道数为2的特征与CA模块中的通道注意力机制得到的特征通过乘法逐通道进行加权，及完成CA模块的添加；
步骤4.5，重复步骤4.2至步骤4.4，将剩余5个CA模块进行添加；
步骤4.6，将第一个CA模块和第六个CA模块，第二个CA模块和第五个CA模块，第三个CA模块和第四个CA块形成跳跃连接，然后进行上采样，得到添加后的第二个U型编码器/解码器网络。
步骤6中损失函数为：
MAE损失：
Figure BDA0002648821110000051
式(2)中，Yi代表输入的第i张无雨图像，xi代表输入的第i张有雨图像，f(xi)代表处理图像；
SSIM损失：
Figure BDA0002648821110000052
式(3)中，
Figure BDA0002648821110000053
表示输入的有雨图像x经过训练好的去雨网络模型的输出，z表示输入的无雨图像；
其中，
Figure BDA0002648821110000054
式(4)中，g、c和s分别表示亮度、对比度和结构，α，β和γ表示系数，x和z分别表示输入的有雨图像和输入的无雨图像，
Figure BDA0002648821110000061
表示输入的有雨图像x经过训练好的去雨网络模型的输出；
感知损失：
Figure BDA0002648821110000062
式(4)中，l表示卷积神经网络的l层，φl()表示卷积神经网络第l层的激活，
Figure BDA0002648821110000063
代表输入的图像，y代表经过训练好的去雨网络模型输出的图像，ClHlWl表示第l层的特征图大小；
卷积神经网络模型的总损失函数公式为：
Loss＝λ1LoSSMAE+λ2LoSSVGG+LoSSSSIM (5)
式(5)中，λ1、λ2分别代表设置的参数。
本发明的有益效果是：本发明一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，通过在卷积神经网络模型中分别整合了通道注意力机制和空间注意力机制，提高单幅图像去雨的性能，且引入的Sequeeze单元和Excitation单元的注意力机制能够建立特征通道之间的相互依赖性，引入的Spatial单元能够建立空间之间上的依赖性，更专注于需要利用的特征，大大提高了网络的性能，增强了算法的鲁棒性。
附图说明
图1是本发明一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法的流程图；
图2是本发明去雨方法中的基于残差块的跳跃连接结构图；
图3为本发明去雨方法中用于上下文的特征聚合模块；
图4为本发明去雨方法中基于Squeeze单元和Excitation单元的SE_Block网络结构示意图；
图5为本发明去雨方法中基于Spatial单元和Channel单元的网络结构示意图；
图6为本发明去雨方法中卷积神经网络的整体结构示意图；
图7为本发明去雨方法中去雨结果对比图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其流程如图1所示，具体按照如下步骤实施：
步骤1，对输入的图像进行预处理，将输入的图像的像素值归一化为[0，1]，并裁剪为256*256*3，得到输入图像数据集，其中输入图像数据集中的数据均为成对呈现，包含有雨图像和无雨图像；
步骤2，构建一个具有上下分支结构的U型结构编码器/解码器网络，分别记为第一个U型编码器/解码器网络和第二个U型编码器/解码器网络；
两个U型结构编码器/解码器网络均由一个收缩路径和一个扩展路径组成，两个U型结构编码器/解码器网络为上下两个分支的结构，上面分支后的为第一个编码器/解码器，下面分支后的为第二个编码器/解码器，两个编码器所用的下采样由一个大小3x3和步长为2的卷积组成，将特征通道的数量增加一倍，两个解码器的上采样由一个大小3x3和步长为2的转置卷积组成，并将特征通道数减半到32；
第一个U型结构编码器/解码器网络通道数量分别为32，64，128，256；
第二个编码器利用第一个编码器的第一层和第二层，把第一个编码器的第一层和第二层通过通道维度相加的方式采样到大小为128*128*64的特征，第二个U型结构编码器/解码器网络通道数量64。
步骤3，如图4所示，将权重通道注意力机制添加至步骤2中第一个U型编码器/解码器网络的前三个下采样中，得到三个尺度编码器下采样的特征，然后对得到的下采样特征与对应上采样得到同样大小和通道数的结果通过残差块的形式进行特征融合，得到添加后的第一个U型编码器/解码器网络，具体按照以下步骤实施：
步骤3.1，确定权重通道注意力机制的Squeeze单元，通过全局平均池化的方法得到通道上的权重特征；
步骤3.2，确定权重通道注意力机制的Excitation单元，Excitation单元用于生成每个通道的权重；
步骤3.3，确定通道权重注意力机制的Scale单元，Scale单元将步骤3.2得到的通道的权重通过乘法逐通道加权到步骤3.1得到的权重特征上，得到三个尺度编码器下采样的特征；
步骤3.4，如图2所示，将步骤3.3得到的三个尺度编码器下采样的特征与对应上采样得到同样大小和通道数的结果通过残差块的形式进行特征融合，得到添加后的第一个U型编码器/解码器网络；
其中，残差块的表达式为：
xl+1＝xl+F(xl+Wl) (1)
式(1)中，xl+1为第l+1层卷积层的卷积结果，xl为第l层卷积层的卷积结果，Wl为第l层卷积层的权重，F(xl+Wl)为残差部分；
SE_block模块是在通道维度上做注意力监督操作，SE_block模块能够让模型更加关注信息量最大的通道特征，对于那些不重要的通道特征不做过多的处理，将SE_block模块添加到下采样的三个尺度卷积，然后对得到的三个尺度特征与对应上采样得到的同样大小和通道数的结果分别进行特征融合，融合后经过如图3所示的上下文聚合模块，再进行上采样，如图6所示；
步骤4，如图5所示，将空间注意力和通道注意力机制添加至步骤2中第二个U型结构编码器/解码器网络的最后一个下采样后和第一个上采样之间，通过跳跃连接结构结合，进行上采样，得到添加后的第二个U型编码器/解码器网络，具体按照以下步骤实施：
步骤4.1，将空间注意力机制与通道注意力机制结合，组成一个CA模块，所述CA模块的上分支为通道注意力机制，所述CA模块的下分支为空间注意力机制，所述CA模块共计6个，分别记为第一个CA模块、第二个CA模块、第三个CA模块、第四个CA模块、第五个CA模块、第六个CA模块；
步骤4.2，在空间注意力层面上使用average pooling和max pooling对特征图进行通道压缩操作，对特征分别在通道维度上做了mean和max操作，得到两个二维的特征；
步骤4.3，将步骤4.2得到的两个二维的特征按通道维度上进行拼接在一起得到一个通道数为2的特征；
步骤4.4，将步骤4.3得到的一个通道数为2的特征与CA模块中的通道注意力机制得到的特征通过乘法逐通道进行加权，及完成CA模块的添加；
步骤4.5，重复步骤4.2至步骤4.4，将剩余5个CA模块进行添加；
步骤4.6，将第一个CA模块和第六个CA模块，第二个CA模块和第五个CA模块，第三个CA模块和第四个CA块形成跳跃连接，然后进行上采样，得到添加后的第二个U型编码器/解码器网络；
步骤4中的通道注意力机制与步骤3中的权重注意力机制结构不同；CA模块是在空间和通道上做注意力监督操作，在通道注意力上不同于步骤3中的SE_block模块，CA模块的通道注意力机制额外的引入最大池化作为补充，在进行梯度反向传播计算只有特征图中响应最大的地方有梯度的反馈，能作为全局平均池化的一个补充；
步骤5，采用经步骤3得到的添加后的第一个U型编码器/解码器网络处理得到的处理图像a与采用经步骤4得到的添加后的第二个U型编码器/解码器网络处理得到处理图像b，将处理图像a、处理图像b与步骤1中预处理后的输入图像进行相加的操作，再经过最后一层卷积，得到卷积神经网络模型，如图6所示；
步骤6，采用步骤1得到的输入图像数据集对步骤5得到的卷积神经网络模型进行训练，得到去雨卷积神经网络模型，利用损失函数对去雨卷积神经网络模型进行约束，然后反向转播进行参数更新，通过50次训练，其中1次训练指把输入图像数据集训练一遍，得到训练好的去雨网络模型；
其中，损失函数为：
MAE损失：
Figure BDA0002648821110000101
式(2)中，Yi代表输入的第i张无雨图像，xi代表输入的第i张有雨图像，f(xi)代表处理图像；
SSIM损失：
Figure BDA0002648821110000102
式(3)中，
Figure BDA0002648821110000103
表示输入的有雨图像x经过训练好的去雨网络模型的输出，z表示输入的无雨图像；
其中，
式(4)中，g、c和s分别表示亮度、对比度和结构，α，β和γ表示系数，x和z分别表示输入的有雨图像和输入的无雨图像，
Figure BDA0002648821110000112
表示输入的有雨图像x经过训练好的去雨网络模型的输出；
感知损失：
Figure BDA0002648821110000113
式(4)中，l表示卷积神经网络的l层，φl()表示卷积神经网络第l层的激活，
Figure BDA0002648821110000114
代表输入的图像，y代表经过训练好的去雨网络模型输出的图像，ClHlWl表示第l层的特征图大小；
卷积神经网络模型的总损失函数公式为：
Loss＝λ1LoSSMAE+λ2LoSSVGG+LoSSSSIM (5)
式(5)中，λ1、λ2分别代表设置的参数；
步骤7，将待处理有雨的图像放入步骤6得到的训练好的去雨网络模型中，最终输出去雨后的图像。
如图7所示，第一列均为有雨图像，第二均为去雨后的图像，第三列为真实的无雨图像，通过对比可以看出，经本发明去雨方法处理的有雨图像，输出的去雨后的图像与真实的无雨图像无差别。

Claims (7)

1.一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，具体按照如下步骤实施：
步骤1，对输入的图像进行预处理，得到输入图像数据集；
步骤2，构建一个具有上下分支结构的U型结构编码器/解码器网络，分别记为第一个U型编码器/解码器网络和第二个U型编码器/解码器网络；
步骤3，将权重通道注意力机制添加至步骤2中第一个U型编码器/解码器网络的前三个下采样中，得到三个尺度编码器下采样的特征，然后对得到的下采样特征与对应上采样得到同样大小和通道数的结果通过残差块的形式进行特征融合，得到添加后的第一个U型编码器/解码器网络；
步骤4，将空间注意力和通道注意力机制添加至步骤2中第二个U型结构编码器/解码器网络的最后一个下采样后和第一个上采样之间，通过跳跃连接结构结合，进行上采样，得到添加后的第二个U型编码器/解码器网络；
步骤5，采用经步骤3得到的添加后的第一个U型编码器/解码器网络处理得到的处理图像a与采用经步骤4得到的添加后的第二个U型编码器/解码器网络处理得到处理图像b，将处理图像a、处理图像b与步骤1中预处理后的输入图像进行相加的操作，再经过最后一层卷积，得到卷积神经网络模型；
步骤6，采用步骤1得到的输入图像数据集对步骤5得到的卷积神经网络模型进行训练，得到去雨卷积神经网络模型，利用损失函数对去雨卷积神经网络模型进行约束，然后反向转播进行参数更新，得到训练好的去雨网络模型；
步骤7，将待处理有雨的图像放入步骤6得到的训练好的去雨网络模型中，最终输出去雨后的图像。
2.根据权利要求1所述的一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，所述步骤1中预处理具体为：将输入的图像的像素值归一化为[0，1]，并裁剪为256*256*3。
3.根据权利要求1所述的一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，所述步骤2中两个U型结构编码器/解码器网络均由一个收缩路径和一个扩展路径组成，两个U型结构编码器/解码器网络为上下两个分支的结构，上面分支后的为第一个编码器/解码器，下面分支后的为第二个编码器/解码器，两个编码器所用的下采样由一个大小3x3和步长为2的卷积组成，将特征通道的数量增加一倍，两个解码器的上采样由一个大小3x3和步长为2的转置卷积组成，并将特征通道数减半到32；
第一个U型结构编码器/解码器网络通道数量分别为32，64，128，256；
第二个编码器利用第一个编码器的第一层和第二层，把第一个编码器的第一层和第二层通过通道维度相加的方式采样到大小为128*128*64的特征，第二个U型结构编码器/解码器网络通道数量64。
4.根据权利要求1所述的一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，所述步骤3具体按照以下步骤实施：
步骤3.1，确定权重通道注意力机制的Squeeze单元，通过全局平均池化的方法得到通道上的权重特征；
步骤3.2，确定权重通道注意力机制的Excitation单元，Excitation单元用于生成每个通道的权重；
步骤3.3，确定通道权重注意力机制的Scale单元，Scale单元将步骤3.2得到的通道的权重通过乘法逐通道加权到步骤3.1得到的权重特征上，得到三个尺度编码器下采样的特征；
步骤3.4，将步骤3.3得到的三个尺度编码器下采样的特征与对应上采样得到同样大小和通道数的结果通过残差块的形式进行特征融合，得到添加后的第一个U型编码器/解码器网络。
5.根据权利要求4所述的一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，所述步骤3中残差块的表达式为：
xl+1＝xl+F(xl+Wl) (1)
式(1)中，xl+1为第l+1层卷积层的卷积结果，xl为第l层卷积层的卷积结果，Wl为第l层卷积层的权重，F(xl+Wl)为残差部分。
6.根据权利要求1所述的一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，所述步骤4具体按照以下步骤实施：
步骤4.1，将空间注意力机制与通道注意力机制结合，组成一个CA模块，所述CA模块的上分支为通道注意力机制，所述CA模块的下分支为空间注意力机制，所述CA模块共计6个，分别记为第一个CA模块、第二个CA模块、第三个CA模块、第四个CA模块、第五个CA模块、第六个CA模块；
步骤4.2，在空间注意力层面上使用average pooling和max pooling对特征图进行通道压缩操作，对特征分别在通道维度上做了mean和max操作，得到两个二维的特征；
步骤4.3，将步骤4.2得到的两个二维的特征按通道维度上进行拼接在一起得到一个通道数为2的特征；
步骤4.4，将步骤4.3得到的一个通道数为2的特征与CA模块中的通道注意力机制得到的特征通过乘法逐通道进行加权，及完成CA模块的添加；
步骤4.5，重复步骤4.2至步骤4.4，将剩余5个CA模块进行添加；
步骤4.6，将第一个CA模块和第六个CA模块，第二个CA模块和第五个CA模块，第三个CA模块和第四个CA块形成跳跃连接，然后进行上采样，得到添加后的第二个U型编码器/解码器网络。
7.根据权利要求1所述的一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，所述步骤6中损失函数为：
MAE损失：
Figure FDA0002648821100000041
式(2)中，Yi代表输入的第i张无雨图像，xi代表输入的第i张有雨图像，f(xi)代表处理图像；
SSIM损失：
Figure FDA0002648821100000042
式(3)中，
Figure FDA0002648821100000043
表示输入的有雨图像x经过训练好的去雨网络模型的输出，z表示输入的无雨图像；
其中，
Figure FDA0002648821100000044
式(4)中，g、c和s分别表示亮度、对比度和结构，α，β和γ表示系数，x和z分别表示输入的有雨图像和输入的无雨图像，
Figure FDA0002648821100000045
表示输入的有雨图像x经过训练好的去雨网络模型的输出；
感知损失：
Figure FDA0002648821100000046
式(4)中，l表示卷积神经网络的l层，φl()表示卷积神经网络第l层的激活，
Figure FDA0002648821100000047
代表输入的图像，y代表经过训练好的去雨网络模型输出的图像，ClHlWl表示第l层的特征图大小；
卷积神经网络模型的总损失函数公式为：
Loss＝λ1LossMAE+λ2LossVGG+LossSSIM (5)
式(5)中，λ1、λ2分别代表设置的参数。
CN202010863062.0A 2020-08-25 2020-08-25 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 Active CN112070690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010863062.0A CN112070690B (zh) 2020-08-25 2020-08-25 基于卷积神经网络双分支注意力生成的单幅图像去雨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010863062.0A CN112070690B (zh) 2020-08-25 2020-08-25 基于卷积神经网络双分支注意力生成的单幅图像去雨方法

Publications (2)

Publication Number Publication Date
CN112070690A true CN112070690A (zh) 2020-12-11
CN112070690B CN112070690B (zh) 2023-04-25

Family

ID=73660331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010863062.0A Active CN112070690B (zh) 2020-08-25 2020-08-25 基于卷积神经网络双分支注意力生成的单幅图像去雨方法

Country Status (1)

Country Link
CN (1) CN112070690B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686815A (zh) * 2020-12-24 2021-04-20 湖南大学 一种基于卷积神经网络的无人机单幅图像去雨方法
CN112862875A (zh) * 2021-01-18 2021-05-28 中国科学院自动化研究所 基于选择性机制注意力机制的雨图去雨方法、系统及设备
CN112907479A (zh) * 2021-03-05 2021-06-04 西安电子科技大学 基于注意力机制的残差单幅图像去雨方法
CN112949826A (zh) * 2021-02-25 2021-06-11 青岛科技大学 一种用于海洋生物密度估计的多分支注意力网络系统
CN113033448A (zh) * 2021-04-02 2021-06-25 东北林业大学 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质
CN113052934A (zh) * 2021-03-16 2021-06-29 南开大学 基于卷积神经网络的核磁共振图像运动伪影校正
CN114387436A (zh) * 2021-12-28 2022-04-22 北京安德医智科技有限公司 壁冠状动脉检测方法及装置、电子设备和存储介质
CN114677306A (zh) * 2022-03-29 2022-06-28 中国矿业大学 一种基于边缘信息引导的上下文聚合图像去雨方法
CN114998138A (zh) * 2022-06-01 2022-09-02 北京理工大学 一种基于注意力机制的高动态范围图像去伪影方法
CN116485689A (zh) * 2023-06-25 2023-07-25 武汉大水云科技有限公司 基于CNN和Transformer的渐进式耦合图像去雨方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087258A (zh) * 2018-07-27 2018-12-25 中山大学 一种基于深度学习的图像去雨方法及装置
CN109447918A (zh) * 2018-11-02 2019-03-08 北京交通大学 基于注意力机制的单幅图像去雨方法
CN110288535A (zh) * 2019-05-14 2019-09-27 北京邮电大学 一种图像去雨方法和装置
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
AU2020100460A4 (en) * 2020-03-26 2020-04-30 Huang, Shuying DR Single image deraining algorithm based on multi-scale dictionary
CN111145170A (zh) * 2019-12-31 2020-05-12 电子科技大学 一种基于深度学习的医学影像分割方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111539887A (zh) * 2020-04-21 2020-08-14 温州大学 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法
CN111553873A (zh) * 2020-01-17 2020-08-18 西安理工大学 基于多尺度卷积神经网络的脑神经元自动检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087258A (zh) * 2018-07-27 2018-12-25 中山大学 一种基于深度学习的图像去雨方法及装置
CN109447918A (zh) * 2018-11-02 2019-03-08 北京交通大学 基于注意力机制的单幅图像去雨方法
CN110288535A (zh) * 2019-05-14 2019-09-27 北京邮电大学 一种图像去雨方法和装置
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN111145170A (zh) * 2019-12-31 2020-05-12 电子科技大学 一种基于深度学习的医学影像分割方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111553873A (zh) * 2020-01-17 2020-08-18 西安理工大学 基于多尺度卷积神经网络的脑神经元自动检测方法
AU2020100460A4 (en) * 2020-03-26 2020-04-30 Huang, Shuying DR Single image deraining algorithm based on multi-scale dictionary
CN111539887A (zh) * 2020-04-21 2020-08-14 温州大学 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUNSHENG WANG等: "Single Image Rain Removal via Cascading Attention Aggregation Network on Challenging Weather Conditions", 《IEEE ACCESS 》 *
谭台哲等: "基于分组卷积和空间注意力机制的单幅图像去雨方法", 《电脑知识与技术》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686815A (zh) * 2020-12-24 2021-04-20 湖南大学 一种基于卷积神经网络的无人机单幅图像去雨方法
CN112862875A (zh) * 2021-01-18 2021-05-28 中国科学院自动化研究所 基于选择性机制注意力机制的雨图去雨方法、系统及设备
CN112862875B (zh) * 2021-01-18 2022-02-15 中国科学院自动化研究所 基于选择性机制注意力机制的雨图去雨方法、系统及设备
CN112949826A (zh) * 2021-02-25 2021-06-11 青岛科技大学 一种用于海洋生物密度估计的多分支注意力网络系统
CN112949826B (zh) * 2021-02-25 2023-07-21 青岛科技大学 一种用于海洋生物密度估计的多分支注意力网络系统
CN112907479B (zh) * 2021-03-05 2023-04-18 西安电子科技大学 基于注意力机制的残差单幅图像去雨方法
CN112907479A (zh) * 2021-03-05 2021-06-04 西安电子科技大学 基于注意力机制的残差单幅图像去雨方法
CN113052934A (zh) * 2021-03-16 2021-06-29 南开大学 基于卷积神经网络的核磁共振图像运动伪影校正
CN113033448A (zh) * 2021-04-02 2021-06-25 东北林业大学 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质
CN114387436A (zh) * 2021-12-28 2022-04-22 北京安德医智科技有限公司 壁冠状动脉检测方法及装置、电子设备和存储介质
CN114677306B (zh) * 2022-03-29 2022-11-15 中国矿业大学 一种基于边缘信息引导的上下文聚合图像去雨方法
CN114677306A (zh) * 2022-03-29 2022-06-28 中国矿业大学 一种基于边缘信息引导的上下文聚合图像去雨方法
CN114998138A (zh) * 2022-06-01 2022-09-02 北京理工大学 一种基于注意力机制的高动态范围图像去伪影方法
CN114998138B (zh) * 2022-06-01 2024-05-28 北京理工大学 一种基于注意力机制的高动态范围图像去伪影方法
CN116485689A (zh) * 2023-06-25 2023-07-25 武汉大水云科技有限公司 基于CNN和Transformer的渐进式耦合图像去雨方法和系统
CN116485689B (zh) * 2023-06-25 2023-11-14 武汉大水云科技有限公司 基于CNN和Transformer的渐进式耦合图像去雨方法和系统

Also Published As

Publication number Publication date
CN112070690B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN112070690A (zh) 基于卷积神经网络双分支注意力生成的单幅图像去雨方法
CN110111366B (zh) 一种基于多级损失量的端到端光流估计方法
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN110782490A (zh) 一种具有时空一致性的视频深度图估计方法及装置
CN111462013A (zh) 一种基于结构化残差学习的单图去雨方法
CN112184573A (zh) 基于卷积神经网络的上下文聚合残差单幅图像去雨方法
CN111476133B (zh) 面向无人驾驶的前背景编解码器网络目标提取方法
CN112508960A (zh) 一种基于改进注意力机制的低精度图像语义分割方法
CN114463218B (zh) 一种基于事件数据驱动的视频去模糊方法
CN110211052A (zh) 一种基于特征学习的单幅图像去雾方法
CN114742719A (zh) 一种基于多特征融合的端到端图像去雾方法
CN112967327A (zh) 基于联合自注意力机制的单目深度方法
CN114170286B (zh) 一种基于无监督深度学习的单目深度估计方法
CN115294282A (zh) 三维场景重建中增强特征融合的单目深度估计系统及其方法
Qian et al. CIASM-Net: a novel convolutional neural network for dehazing image
CN113052776A (zh) 基于多尺度深度图像先验的无监督图像去雾方法
CN113724134A (zh) 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法
CN116091908A (zh) 水下声呐小目标检测的多尺度特征增强与训练方法和装置
CN116503709A (zh) 一种基于改进YOLOv5的雾霾天气下车辆检测方法
CN114119694A (zh) 一种基于改进U-Net的自监督单目深度估计算法
CN113947538A (zh) 一种多尺度高效卷积自注意力单幅图像除雨方法
CN111275751A (zh) 一种无监督绝对尺度计算方法及系统
CN116704309A (zh) 基于改进生成对抗网络的图像去雾识别方法及系统
Zhou et al. Multi-scale and attention residual network for single image dehazing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant