CN113592011A - 一种端到端雨滴和雾联合去除方法及系统 - Google Patents

一种端到端雨滴和雾联合去除方法及系统 Download PDF

Info

Publication number
CN113592011A
CN113592011A CN202110899881.5A CN202110899881A CN113592011A CN 113592011 A CN113592011 A CN 113592011A CN 202110899881 A CN202110899881 A CN 202110899881A CN 113592011 A CN113592011 A CN 113592011A
Authority
CN
China
Prior art keywords
image
network
raindrop
fog
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110899881.5A
Other languages
English (en)
Inventor
郭一娜
左旺
陈倩
熊棋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN202110899881.5A priority Critical patent/CN113592011A/zh
Publication of CN113592011A publication Critical patent/CN113592011A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Abstract

本发明公开了一种端到端雨滴和雾联合去除方法及系统，雨滴和雾联合去除方法包括，获取雨雾图像，并基于雨雾图像构建图像数据集；基于卷积神经网络构建去雾网络模型，将图像数据集输入去雾网络模型，获得去雾后的图像训练集；基于生成对抗网络GAN和优化视觉注意力网络构建去除雨滴网络模型，将去雾后的图像训练集输入去除雨滴网络模型进行迭代训练；将去雾网络模型与训练好的去除雨滴网络模型进行拼接融合，获得雨雾去除网络模型，所述雨雾去除网络模型用于对雨雾图像进行雨滴和雾的联合去除，获得恢复后的图像。本发明是一种端到端的雨雾去除方法，克服了多模块模型只能去除雨滴的缺陷，一体化去雾和雨滴网络结构简单，减少了工程的复杂度。

Description

一种端到端雨滴和雾联合去除方法及系统
技术领域
本发明属于图像处理技术领域，尤其涉及一种端到端雨滴和雾联合去除方法及系统。
背景技术
2015年，Kanthan等提出了一种新的单幅图像雨滴检测、去除和恢复图像背景的混合算法，该算法基于k均值聚类和中值滤波理论，用于单幅图像中雨滴特征的快速提取。算法的特点是收敛快，迭代少，但是对于不同数据集效果并不都十分理想。2017年，Li等提出了基于大气散射雾天气模型只预测透射率的方法来达到去雾的效果，这个方法相比于其他去雾方法更加简单，网络结构也更加轻巧。2018年，Hao提出了一种去除单幅图像中雨滴或雪花的散射修补算法。为了充分考虑损伤区域的边界信息，该方法采用散点线连续扫描种子点附近的像素颜色值，填充图像的破坏区域，并从外到内进行修复。该方法能有效去除雨滴和雪花，并能在一幅图像中保留大部分图像细节。2018年，Qian 等提出了一种基于单图像的雨滴去除方法，该方法使用生成对抗网络去除图像中的雨滴，其新颖之处在于巧妙地将生成对抗网络与注意力机制相结合。但是， Qian只关注了雨滴退化图像的雨滴区域，而没有考虑远距离雨滴累积和大气遮挡造成的雾效应。2019年Z.Hao等提出了一种端到端的网络来检测和去除图像中附着的雨滴，整个网络共分为两个阶段：第一阶段，两个子网分别检测雨滴位置和恢复附着的雨滴区域；第二阶段，根据位置信息生成融合图像，然后利用细化网络对融合图像进行特殊处理。并且，由于网络缺乏足够的训练数据，Z.Hao等人还制作了一个真实的雨滴附着数据集，其中包含像素级的雨滴二值掩码。2020年，Z.Jia等提出了一种用于单幅图像雨滴去除的两阶段残差自适应掩膜生成对抗网络(RAM-GAN)，该网络可以自动检测雨滴区域，生成无雨滴的恢复图像。此外，还搭建了残差自适应掩码模块(RAMB)结构和残差密集自适应掩码模块(RDAMM)作为网络的主要组成部分。所提出的RAMB结构可以作为特征选择器，自适应地增强有效信息，抑制无效信息。每个块被加工成两个分支:软掩码分支和中继分支。软掩码分支生成一个掩码，对中继分支处理的特征进行软加权。此外，提出了基于RAMB结构的残余密集连接模块RDAMM，使不同块之间的信息流最大化，并保证更好的收敛性。2020年，J.Lin提出了一种由X网和RAD网(雨滴自动检测网)组成的端到端卷积神经网络。X-Net 利用长跳跃连接和交叉分支连接生成细节丰富的无雨滴图像，RAD-Net通过雨滴位置来帮助X-Net生成更好的结果。但是以上两个方法都只对雨滴进行去除，并没有考虑去雾的情况。
发明内容
本发明根据现有技术的不足公开了一种端到端雨滴和雾联合去除方法及系统，本发明要解决的问题是提供一种基于深度学习的端到端的雨雾去除方法和系统，通过检测和去除雨雾带来的影响恢复一张带有雨雾的图像。
本发明通过以下技术方案实现：
一种端到端雨滴和雾联合去除方法，包括以下步骤：
获取雨雾图像，并基于所述雨雾图像构建图像数据集；
基于卷积神经网络构建去雾网络模型，将所述图像数据集输入所述去雾网络模型，获得去雾后的图像训练集；
基于生成对抗网络GAN和优化视觉注意力网络构建去除雨滴网络模型，将所述去雾后的图像训练集输入所述去除雨滴网络模型进行迭代训练；
将所述去雾网络模型与训练好的所述去除雨滴网络模型进行拼接融合，获得雨雾去除网络模型，所述雨雾去除网络模型用于对所述雨雾图像进行雨滴和雾的联合去除，获得恢复后的图像。
优选地，所述去雾网络模型的网络结构包括5个卷积层和3个连接层，所述卷积层用于提取所述雨雾图像的特征，所述连接层用于融合不同尺度的所述雨雾图像的特征；具体包括：依次连接的第一卷积层、第二卷积层、第一连接层、第三卷积层、第二连接层、第四卷积层、第三连接层、第五卷积层。
优选地，通过所述去雾网络模型得到的去雾后的图像J(x)的数学表达式为：
Figure BDA0003199325700000031
式中，x表示图像上任意一点的坐标，J(x)表示去雾后的图像，t(x)表示透射率，I(x)表示有雾图像，b为常量。
优选地，所述生成对抗网络GAN包括自动编码器网络和判别网络，所述优化视觉注意力网络包括依次连接的若干个残差模块和若干个LSTM模块。
优选地，构建所述去除雨滴网络模型的方法包括如下步骤：
S301、获取生成对抗网络GAN和优化视觉注意力网络；
S302、将所述优化视觉注意力网络与所述生成对抗网络GAN中的所述自动编码器网络相连接；
S303、将所述自动编码网络器与所述判别网络相连接，完成所述生成对抗网络GAN与所述优化视觉注意力网络的融合，获得去除雨滴网络模型。
优选地，将去雾后的图像和所述雨雾图像作为所述优化视觉注意力网络的输入，获得单通道的注意力图像，将所述单通道的注意力图像与所述去雾后的图像进行特征融合后获得具有雨滴位置信息的去雾图像，将所述去雾图像输入所述自动编码器网络，再经过所述判别网络进行优化后获得去除雨滴后的图像，其中所述去雾后的图像为具有三通道的图像。
优选地，获得所述注意力图像的方法包括：
分别对所述去雾后的图像和所述雨雾图像进行hadamaed运算；
将hadamaed运算后的结果放入所述优化视觉注意力网络，得到注意力图像。
一种端到端雨滴和雾联合去除系统，包括依次连接的数据采集模块、去雾模块、去除雨滴模块；
所述数据采集模块用于获取雨雾图像；
所述去雾模块基于卷积神经网络构建去雾网络模型，并利用所述去雾网络模型对所述雨雾图像进行处理，得到去雾后的图像；
所述去除雨滴模块基于生成对抗网络GAN和优化视觉注意力网络构建去除雨滴网络模型，并利用所述去除雨滴网络模型对去雾后的图像进行去除雨滴处理，通过去除雨滴后获得恢复后的图像。
优选地，所述去除雨滴模块包括依次连接的优化视觉注意力单元、自动编码器单元、判别单元；
所述优化视觉注意力单元用于生成注意力图像，包括若干个残差模块和若干个LSTM模块，若干个所述残差模块与若干个所述LSTM模块依次连接；
所述自动编码器单元用于对所述注意力图像和所述去雾后的图像进行深度学习；
所述判别单元用于判断所述恢复后的图像是否达到最优。
本发明公开了以下技术效果：
采用本发明的技术方案能够对雨雾联合去除，而不是只对雨滴进行去除；本发明是端到端的雨滴和雾的联合去除，仅用一个模型就能规避多模块的固有缺陷，能够显著减少工程的复杂度；本发明采用一体化去雾网络，整个网络模型结构简单，接在注意力生成对抗网络之后，不会增加整个网络的负担，工作效率得到了较大的提升。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种端到端雨滴和雾联合去除方法流程图；
图2为本发明实施例端到端雨雾去除联合框架图；
图3为本发明实施例一体化去雾网络图；
图4为本发明实施例雨滴去除模块框架图；
图5为本发明实施例优化视觉注意力网络框架图；
图6为本发明实施例一种端到端雨滴和雾联合去除系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1所示，本实施例通过检测和去除雨雾带来的影响来恢复一张带有雨雾的图片，提供了一种端到端雨滴和雾联合去除方法，具体包括以下步骤：
步骤S1，获取雨雾图像，并基于所述雨雾图像构建图像数据集；
采集具有雨雾背景的图像，并利用采集到的图像构建一个图像数据集。
步骤S2，基于卷积神经网络构建去雾网络模型，将所述图像数据集输入所述去雾网络模型，获得去雾后的图像训练集；该步骤的具体过程为：
去雾网络如图3所示，采用全一体化卷积神经网络。该网络由5个卷积层和3个连接层构成，5个卷积层用于对雨雾图像进行多尺度特征提取，3个连接层的作用是把不同尺度下的图像特征融合起来；去雾网络模型包括依次连接的第一卷积层、第二卷积层、第一连接层、第三卷积层、第二连接层、第四卷积层、第三连接层、第五卷积层。
由于空气中的悬浮颗粒对大气光不同程度地吸收以及散射作用，造成雾天条件下图像变得模糊，研究人员根据此物理模型，推导出雾天图像的数学模型为：
I(x)＝t(x)J(x)+A(1-t(x)) (1)
式中，x表示图像上任意一点的坐标；I表示光线衰减后最终到达成像设备的光的强度，即得到的有雾图像；t表示透射率，其值反映光的穿透力；
Figure BDA0003199325700000051
为大气光值；t的值越高，图像质量越高。J为物体反射光的强度。
本实施例中，对式(1)的数学模型进行了进一步改进，去雾网络模型的去雾后的图像J(x)的数学表达式为：
Figure BDA0003199325700000061
式中，x表示图像上任意一点的坐标，J(x)表示去雾后的图像，t(x)表示透射率，I(x)表示有雾图像，b表示大气光强，设为常量。
一体化去雾网络不像之前的算法，通过预测透射率和大气光强并结合大气散射模型的思想得到去雾图像。该网络只预测透射率，大气光强根据经验值设置为1。这样就减少算法的步骤和复杂度，有利于嵌入注意力生成对抗网络也不会增加其负担。
本实施例中，通过去雾网络模型得到的图像为三通道的去雾后的图像，去雾后的图像三通道分别为R,G,B三个通道。
最后，将步骤S1中的雨雾图像作为去雾网络模型的输入，经过去雾网络对雾的去除后，获得雨滴图像，将雨滴图像构建为去除雨滴网络模型的训练集。
步骤S3，基于生成对抗网络GAN和优化视觉注意力网络构建去除雨滴网络模型，将所述去雾后的图像训练集输入所述去除雨滴网络模型进行迭代训练；该步骤的具体过程包括如下步骤：
步骤S301，获取生成对抗网络GAN和优化视觉注意力网络；
本实施例中，基于生成对抗网络GAN和优化视觉注意力网络来构建去除雨滴网络模型。
步骤S302，将所述优化视觉注意力网络与所述生成对抗网络GAN中的所述自动编码器网络相连接；
本实施例的生成对抗网络GAN由自动编码器网络和判别网络构成，优化视觉注意力网络由残差模块和LSTM模块组成。
参照图4所示，去除雨滴网络模型分为两部分，图中G表示生成部分，D 表示判别部分，生成部分由两个子网络组成：优化视觉注意力网络和自动编码器网络，将自动编码器网络接在优化视觉注意力网络之后，形成去除雨滴网络模型的生成部分。
步骤S303，将所述自动编码网络与所述判别网络相连接，完成所述生成对抗网络GAN与所述优化视觉注意网络的融合，获得去除雨滴网络模型。
将步骤S302中的生成部分与判别网络相连接，形成去除雨滴网络模型，图4中的D表示判别部分，①表示优化视觉注意力网络，②表示自动编码器网络，其中A1，A2,……AN是由①优化视觉注意力网络产生的注意力图。
获得去除雨滴网络模型后对其进行训练，利用步骤S2中的雨滴图像作为训练集对网络进行训练，使输出的图像达到最优的去除雨滴效果。
对模型进行训练的关键是获得注意力图像，参照图5所示，优化视觉注意力网络由残差模块以及LSTM模块构成。首先，分别对去雾后的图像和雨雾图像进行hadamaed运算，再将经过hadamaed运算后的去雾图像和雨雾图像进行卷积运算，得到单通道的注意力图像。
在迭代训练过程中，随着迭代次数的增加，Aj值变大，优化视觉注意力网络达到最优。Aj＝ATTj(Fj-1,Hj-1,Cj-1)，ATTj表示优化的视觉注意网络。Fj-1是输入图像和注意图从上一次迭代的级联,
Figure BDA0003199325700000071
为下一个LSTM单元编码细胞状态，Hj＝ojotanh(Cj)描述了LSTM单元的输出特性，这里 ij＝σ[(Wxf*Xj+Whi*Hj-1+bi)]，fj＝σ[(Wxf*Xj+Whf*Hj-1+bf)]， oj＝σ[(Wx0*Xj+Wh0*Hj-1+b0)]分别是卷积LSTM单元的一个输入门、遗忘门和输出门。σ表示为sigmoid的激活函数，tanh是tanh激活函数。算子* 和
Figure BDA0003199325700000072
别分表示卷积和hadamard乘积。Wx，Wh以及b是线性关系的权值和偏差。
最后，将单通道的注意力图像与三通道的去雾后的图像进行特征融合，获得四通道的张量，该张量是包含有雨滴位置信息和去雾后的图像信息的去雾图像，将去雾图像输入自动编码器网络，再经过判别网络进行优化后获得去除雨滴后的图像。
步骤S4，将所述去雾网络模型与训练好的所述去除雨滴网络模型进行拼接融合，获得雨雾去除网络模型，所述雨雾去除网络模型用于对所述雨雾图像进行雨滴和雾的联合去除，获得恢复后的图像。该步骤的具体过程包括：
将步骤S2中的去雾网络模型与步骤S3中的去除雨滴网络模型进行拼接融合获得雨雾去除网络模型。
本实施例提供的是一种端到端的雨雾去除网络模型，模型框如图2所示。本实施例创新性的提出了一种新的雨雾天气模型，目标旨在从被雨滴和雾破坏的图像中恢复干净的背景层B，由于在现实生活中，不同形状和不同方向的雨滴会相互重叠，并且充分考虑到实际场景中雨天伴随着雾霾对于图像的影响，克服现有模型的缺陷，对雨雾天气正确建模，如下所示：
Figure BDA0003199325700000081
式中
Figure BDA0003199325700000082
表示被雨雾退化图像，
Figure BDA0003199325700000083
为背景层，
Figure BDA0003199325700000084
为大气光值，
Figure BDA0003199325700000085
表示透射图，
Figure BDA0003199325700000086
为雨滴层，
Figure BDA0003199325700000087
表示一层雨滴， i表示雨滴层数，r为雨滴层最大层数。
Figure BDA0003199325700000088
为单位矩阵，(I-L)表示为雨滴的位置，(I-t)表示大气光值的权重，
Figure BDA0003199325700000089
为Hadamard乘积，在这里矩阵L里面的元素为二值函数，其中0表示雨滴区域，1表示非雨滴区域。本实施例的目的是从输入图像O中恢复背景层。因此公式(3)可以转化为下式：
Figure BDA00031993257000000810
式中
Figure BDA00031993257000000811
为hadamard分离。
采用本实施例的雨雾去除网络模型，第一步是确定雨雾退化图像，即透射图t的参数，第二步是从雨雾退化图像O中恢复背景图像B,因此根据公式(4)，给定输入图像O，目标是估计背景层B，该问题被定义为：
Figure BDA0003199325700000091
式中，(I-L)表示为可见雨滴的位置，I表示单位矩阵(全为1的矩阵)， L表示二进制数值。并且，L中的元素是二进制值，0表示雨滴区域，1表示非雨滴区域。为了降低算法复杂度和减少训练时间，直接从输入图像中估计参数和t来恢复它们。
本实施例中还提供了一种端到端雨滴和雾联合去除系统，包括依次连接的数据采集模块、去雾模块、去除雨滴模块。
数据采集模块主要是采集带有雨雾背景的雨雾图像，并形成数据集；
去雾模块基于卷积神经网络构建去雾网络模型，并利用所述去雾网络模型对所述雨雾图像进行处理，得到去雾后的图像；
去除雨滴模块基于生成对抗网络GAN和优化视觉注意网络构建去除雨滴网络模型，并利用去除雨滴网络模型对去雾后的图像进行去除雨滴处理，通过去除雨滴后获得恢复后的图像。
进一步地优选，去除雨滴模块还包括依次连接的优化视觉注意力单元、自动编码器单元、判别单元；
进一步地优选，优化视觉注意力单元用于生成注意力图像，包括若干个残差模块和若干个LSTM模块，若干个所述残差模块与若干个所述LSTM模块依次连接；
进一步地优选，自动编码器单元用于对所述注意力图像和所述去雾后的图像进行深度学习；
进一步地优选，判别单元用于判断所述恢复后的图像是否达到最优。
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (9)

1.一种端到端雨滴和雾联合去除方法，其特征在于，包括以下步骤：
获取雨雾图像，并基于所述雨雾图像构建图像数据集；
基于卷积神经网络构建去雾网络模型，将所述图像数据集输入所述去雾网络模型，获得去雾后的图像训练集；
基于生成对抗网络GAN和优化视觉注意力网络构建去除雨滴网络模型，将所述去雾后的图像训练集输入所述去除雨滴网络模型进行迭代训练；
将所述去雾网络模型与训练好的所述去除雨滴网络模型进行拼接融合，获得雨雾去除网络模型，所述雨雾去除网络模型用于对所述雨雾图像进行雨滴和雾的联合去除，获得恢复后的图像。
2.根据权利要求1所述的端到端雨滴和雾联合去除方法，其特征在于，所述去雾网络模型的网络结构包括5个卷积层和3个连接层，所述卷积层用于提取所述雨雾图像的特征，所述连接层用于融合不同尺度的所述雨雾图像的特征；具体包括：依次连接的第一卷积层、第二卷积层、第一连接层、第三卷积层、第二连接层、第四卷积层、第三连接层、第五卷积层。
3.根据权利要求2所述的端到端雨滴和雾联合去除方法，其特征在于，通过所述去雾网络模型得到的去雾后的图像J(x)的数学表达式为：
Figure FDA0003199325690000011
式中，x表示图像上任意一点的坐标，J(x)表示去雾后的图像，t(x)表示透射率，I(x)表示有雾图像，b为常量。
4.根据权利要求1所述的端到端雨滴和雾联合去除方法，其特征在于，所述生成对抗网络GAN包括自动编码器网络和判别网络，所述优化视觉注意力网络包括依次连接的若干个残差模块和若干个LSTM模块。
5.根据权利要求4所述的端到端雨滴和雾联合去除方法，其特征在于，构建所述去除雨滴网络模型的方法包括如下步骤：
S301、获取生成对抗网络GAN和优化视觉注意力网络；
S302、将所述优化视觉注意力网络与所述生成对抗网络GAN中的所述自动编码器网络相连接；
S303、将所述自动编码器网络与所述判别网络相连接，完成所述生成对抗网络GAN与所述优化视觉注意力网络的融合，获得去除雨滴网络模型。
6.根据权利要求5所述的端到端雨滴和雾联合去除方法，其特征在于，获得去除雨滴图像的过程为：将去雾后的图像和所述雨雾图像作为所述优化视觉注意力网络的输入，获得单通道的注意力图像，将所述单通道的注意力图像与所述去雾后的图像进行特征融合后获得具有雨滴位置信息的去雾图像，将所述去雾图像输入所述自动编码器网络，再经过所述判别网络进行优化后获得去除雨滴后的图像。
7.根据权利要求6所述的端到端雨滴和雾联合去除方法，其特征在于，获得所述注意力图像的方法包括：
分别对所述去雾后的图像和所述雨雾图像进行hadamaed运算；
将hadamaed运算后的结果放入所述优化视觉注意力网络，得到注意力图像。
8.一种端到端雨滴和雾联合去除系统，其特征在于，包括依次连接的数据采集模块、去雾模块、去除雨滴模块；
所述数据采集模块用于获取雨雾图像；
所述去雾模块基于卷积神经网络构建去雾网络模型，并利用所述去雾网络模型对所述雨雾图像进行处理，得到去雾后的图像；
所述去除雨滴模块基于生成对抗网络GAN和优化视觉注意力网络构建去除雨滴网络模型，并利用所述去除雨滴网络模型对去雾后的图像进行去除雨滴处理，通过去除雨滴后获得恢复后的图像。
9.根据权利要求8所述的端到端雨滴和雾联合去除系统，其特征在于，所述去除雨滴模块包括依次连接的优化视觉注意力单元、自动编码器单元、判别单元；
所述优化视觉注意力单元用于生成注意力图像，包括若干个残差模块和若干个LSTM模块，若干个所述残差模块与若干个所述LSTM模块依次连接；
所述自动编码器单元用于对所述注意力图像和所述去雾后的图像进行深度学习；
所述判别单元用于判断所述恢复后的图像是否达到最优。
CN202110899881.5A 2021-08-06 2021-08-06 一种端到端雨滴和雾联合去除方法及系统 Pending CN113592011A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110899881.5A CN113592011A (zh) 2021-08-06 2021-08-06 一种端到端雨滴和雾联合去除方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110899881.5A CN113592011A (zh) 2021-08-06 2021-08-06 一种端到端雨滴和雾联合去除方法及系统

Publications (1)

Publication Number Publication Date
CN113592011A true CN113592011A (zh) 2021-11-02

Family

ID=78255677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110899881.5A Pending CN113592011A (zh) 2021-08-06 2021-08-06 一种端到端雨滴和雾联合去除方法及系统

Country Status (1)

Country Link
CN (1) CN113592011A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638767A (zh) * 2022-05-18 2022-06-17 山东师范大学 基于生成对抗网络的腹腔镜影像除烟方法
CN115661535A (zh) * 2022-10-31 2023-01-31 中国矿业大学 一种目标去除背景恢复方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807749A (zh) * 2019-11-06 2020-02-18 广西师范大学 基于密集多尺度生成对抗网络的单幅图像去雨滴方法
CN111652812A (zh) * 2020-04-30 2020-09-11 南京理工大学 基于选择性注意力机制的图像去雾和去雨算法
CN112085678A (zh) * 2020-09-04 2020-12-15 国网福建省电力有限公司检修分公司 一种适用于电力设备机巡图像去雨滴的方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807749A (zh) * 2019-11-06 2020-02-18 广西师范大学 基于密集多尺度生成对抗网络的单幅图像去雨滴方法
CN111652812A (zh) * 2020-04-30 2020-09-11 南京理工大学 基于选择性注意力机制的图像去雾和去雨算法
CN112085678A (zh) * 2020-09-04 2020-12-15 国网福建省电力有限公司检修分公司 一种适用于电力设备机巡图像去雨滴的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BOYI LI 等: "An All-in-One Network for Dehazing and Beyond", 《ARXIV》 *
YINA GUO 等: "Joint Raindrop and Haze Removal From a Single Image", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638767A (zh) * 2022-05-18 2022-06-17 山东师范大学 基于生成对抗网络的腹腔镜影像除烟方法
CN115661535A (zh) * 2022-10-31 2023-01-31 中国矿业大学 一种目标去除背景恢复方法、装置和电子设备
CN115661535B (zh) * 2022-10-31 2023-11-03 中国矿业大学 一种目标去除背景恢复方法、装置和电子设备

Similar Documents

Publication Publication Date Title
Yang et al. Proximal dehaze-net: A prior learning-based deep network for single image dehazing
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN110544213B (zh) 一种基于全局和局部特征融合的图像去雾方法
CN108230264B (zh) 一种基于ResNet神经网络的单幅图像去雾方法
CN108269244B (zh) 一种基于深度学习和先验约束的图像去雾系统
Kuanar et al. Night time haze and glow removal using deep dilated convolutional network
CN113592011A (zh) 一种端到端雨滴和雾联合去除方法及系统
CN105913392A (zh) 复杂环境下退化图像综合质量提升方法
CN112419191B (zh) 基于卷积神经网络的图像运动模糊去除方法
CN111539888B (zh) 一种基于金字塔通道特征注意力的神经网络图像去雾方法
CN107749048B (zh) 图像矫正系统及方法、色盲图像矫正系统及方法
CN114119586A (zh) 一种基于机器视觉的飞机蒙皮缺陷智能检测方法
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
Qian et al. CIASM-Net: a novel convolutional neural network for dehazing image
CN115187474A (zh) 一种基于推理的两阶段浓雾图像去雾方法
CN111539896A (zh) 一种基于域自适应的图像去雾方法及系统
CN112950521B (zh) 一种图像去雾方法及生成器网络
CN112767280B (zh) 一种基于循环迭代机制的单幅图像雨滴去除方法
CN112487874B (zh) 一种基于事件相机消除背景噪声的方法及系统
CN109767407A (zh) 一种去雾过程中大气透射率图像的二次估计方法
CN110738624B (zh) 一种区域自适应的图像去雾系统及方法
CN117475296A (zh) 一种农村违章建筑实时监测方法及系统
CN110544216A (zh) 基于深度学习的视频去雾系统
CN115760640A (zh) 基于含噪Retinex模型的煤矿低光照图像增强方法
CN112132757B (zh) 一种基于神经网络的通用图像复原方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211102