CN114627005B - 一种雨密度分类引导的双阶段单幅图像去雨方法 - Google Patents

一种雨密度分类引导的双阶段单幅图像去雨方法 Download PDF

Info

Publication number
CN114627005B
CN114627005B CN202210139862.7A CN202210139862A CN114627005B CN 114627005 B CN114627005 B CN 114627005B CN 202210139862 A CN202210139862 A CN 202210139862A CN 114627005 B CN114627005 B CN 114627005B
Authority
CN
China
Prior art keywords
rain
image
network
rainy day
synthetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210139862.7A
Other languages
English (en)
Other versions
CN114627005A (zh
Inventor
梅天灿
高智
曹敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210139862.7A priority Critical patent/CN114627005B/zh
Publication of CN114627005A publication Critical patent/CN114627005A/zh
Application granted granted Critical
Publication of CN114627005B publication Critical patent/CN114627005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种雨密度分类引导的双阶段单幅图像去雨方法；本发明引入多幅合成雨天图像和对应的真实清晰图像，进一步引入每幅合成雨天图像对应的雨线层图像、全局大气光图像、传输地图图像、雨密度分类标签真值；依次引入先验去雨网络、雨密度分类网络和优化去雨网络，结合先前所引入的数据分别构建损失函数，得到训练好的各网络模型；将真实雨天图像输入训练好的先验去雨模型和雨密度分类模型，得到对应的预测初始去雨背景和预测雨密度分类级别，再将它们输入至训练好的优化去雨模型得到对应的去雨图像；本发明能解决现有技术难以同时去除雨线和雨雾、对不同密度、不同模式的雨处理不够鲁棒的问题，能对真实雨天场景进行高效、清晰地复原。

Description

一种雨密度分类引导的双阶段单幅图像去雨方法
技术领域
本发明属于深度学习图像增强技术领域，尤其是一种雨密度分类引导的双阶段单幅图像去雨方法。
背景技术
雨天作为一种最常见的恶劣天气，会导致很多原本为清晰成像条件设计的户外视觉系统运行效果大大折扣。雨对图像的退化效应主要包括雨线对背景的遮挡、雨线累积形成的雨雾会使得背景变模糊。单幅图像去雨以一张雨天图像作为输入，目的是去除雨对图像造成的影响，尽可能恢复出清晰的背景。
早期的传统去雨算法通过基于线性叠加雨天物理模型的分层来实现，利用一些先验知识(例如低秩特性、高斯混合模型等)来从雨天图像中分解出待复原的背景层，这些基于不同先验知识的方法对图像的特征提取和表达均停留在较低的层次，当图像中出现外观形态类似雨丝的物体(如砖块、细绳、桅杆等)时也会被误识别为雨丝，并且会对背景中的高频细节信息做平滑和模糊处理，适用场景有限、鲁棒性不足。近年来基于深度学习的去雨算法也不断被提出，由卷积神经网络来学习由于雨天图像到对应清晰背景的端到端映射关系。2019年，Ren等人提出渐进递归残差网络(Progressive Recurrent Network，PReNet)，采用分阶段思想去除雨纹，但该方法不能有效处理不同模式、不同密度的雨，且没有专门地对于雨雾效应的处理，去雨结果存在雨线残留、整体偏模糊，对真实数据泛化性不够。
发明内容
本发明通过提供一种雨密度分类引导的双阶段单幅图像去雨方法，解决了现有技术中难以同时去除雨线和雨雾、对不同密度、不同模式的雨处理不够鲁棒的问题，包括以下步骤：
本发明的技术方案为一种雨密度分类引导的双阶段单幅图像去雨方法，其特征在于，包括以下步骤：
步骤1：引入多幅合成雨天图像、多幅合成雨天图像对应的真实清晰图像，进一步引入每幅合成雨天图像对应的雨线层图像、每幅合成雨天图像对应的全局大气光图像、每幅合成雨天图像对应的传输地图图像，人工标记每幅合成雨天图像的雨密度分类标签真值；
步骤2：引入先验去雨网络，将每幅合成雨天图像输入至先验去雨网络进行图像去雨处理得到每幅合成雨天图像对应的初始去雨背景图像，结合每幅合成雨天图像对应的雨线层图像、全局大气光图像、传输地图图像构建先验去雨网络损失函数，通过ADAM优化器进行梯度反向传播更新网络参数，得到训练好的先验去雨网络模型；
步骤3：引入雨密度分类网络，将每幅合成雨天图像输入至雨密度分类网络进行分级处理得到每幅合成雨天图像的雨密度分类级别，结合每幅合成雨天图像的雨密度分类标签真值构建雨密度分类网络损失函数，通过ADAM优化器进行梯度反向传播更新网络参数，得到训练好的雨密度分类网络模型；
步骤4：将每幅合成雨天图像输入至训练好的先验去雨网络模型进行图像去雨处理得到每幅合成雨天图像对应的预测初始去雨背景，将每幅合成雨天图像输入至训练好的雨密度分类网络模型进行分级处理得到每幅合成雨天图像对应的预测雨密度分类级别；
步骤5：引入优化去雨条件生成对抗网络，将每幅合成雨天图像对应的预测初始去雨背景、每幅合成雨天图像对应的预测雨密度分类级别输入至优化去雨条件生成对抗网络进行高清还原处理，得到每幅合成雨天图像对应的恢复后清晰图像，结合每幅原始雨天图像对应的真实清晰雨天图像构建损失函数，通过ADAM优化器进行梯度反向传播更新网络参数，得到训练好的优化去雨网络模型；
步骤6：将真实采集雨天图像R通过步骤4得到真实雨天图像对应的预测初始去雨背景、真实雨天图像对应的预测雨密度分类级别，将真实雨天图像对应的预测初始去雨背景、真实雨天图像对应的预测雨密度分类级别输入至训练好的优化去雨网络模型预测得到真实雨天图像对应的去雨图像。
作为优选，步骤1所述多幅合成雨天图像，定义为：
{Ik,k∈[1,K]}
其中，Ik是第k幅合成雨天图像，K表示合成雨天图像的数量；
步骤1所述多幅合成雨天图像对应的真实清晰图像，定义为：
其中，是第k幅合成雨天图像对应的真实清晰图像，K表示合成雨天图像的数量；
步骤1所述每幅合成雨天图像的雨线层图像，定义为：
步骤1所述每幅合成雨天图像的全局大气光图像，定义为：
步骤1所述每幅合成雨天图像的传输地图图像，定义为：
其中，是第k幅合成雨天图像对应的雨线层图像，/>是第k幅合成雨天图像对应的全局大气光图像，/>是第k幅合成雨天图像对应的传输地图图像，K表示合成雨天图像的数量；
步骤1所述每幅合成雨天图像的雨密度分类标签真值，定义：
其中，表示第k幅合成雨天图像的雨密度分类标签，/>表示大雨，表示中雨，/>表示小雨；
作为优选，步骤2所述先验去雨网络结构包括：
先验去雨网络由雨雾预测网络A-Net、雨线预测网络S-Net和传输地图预测网络T-Net三个分支并联；
第k幅合成雨天图像分别输入至所述的雨雾预测网络A-Net、雨线预测网络S-Net和传输地图预测网络T-Net；
第k幅合成雨天图像输入至所述的雨雾预测网络A-Net预测得到第k幅合成雨天图像对应的预测雨线层图像Sk；
第k幅合成雨天图像输入至所述的雨线预测网络S-Net预测得到第k幅合成雨天图像对应的预测全局大气光图像Ak；
第k幅合成雨天图像输入至所述的传输地图预测网络T-Net预测得到第k幅合成雨天图像对应的预测传输地图图像Tk；
A-Net采用类似分类器的网络结构，包括：雨雾预测网络第一卷积层、雨雾预测网络第二卷积层、雨雾预测网络第一池化层、雨雾预测网络第三卷积层、雨雾预测网络第二池化层、雨雾预测网络第四卷积层、雨雾预测网络第三池化层、雨雾预测网络第五卷积层、雨雾预测网络第四池化层、雨雾预测网络全连接层、雨雾预测网络Sigmoid层、雨雾预测网络上采样层；
所述的雨雾预测网络第一卷积层、雨雾预测网络第二卷积层、雨雾预测网络第一池化层、雨雾预测网络第三卷积层、雨雾预测网络第二池化层、雨雾预测网络第四卷积层、雨雾预测网络第三池化层、雨雾预测网络第五卷积层、雨雾预测网络第四池化层、雨雾预测网络全连接层、雨雾预测网络Sigmoid层、雨雾预测网络上采样层依次连接；
雨雾预测网络第e卷积层待寻优参数为
S-Net包括：雨线预测网络第一卷积层、雨线预测网络第二空洞卷积层、雨线预测网络第三空洞卷积层、雨线预测网络第四空洞卷积层、雨线预测网络第五卷积层、雨线预测网络第六卷积层、雨线预测网络第七卷积层、雨线预测网络第八卷积层；
所述的雨线预测网络第一卷积层、雨线预测网络第二空洞卷积层、雨线预测网络第三空洞卷积层、雨线预测网络第四空洞卷积层、雨线预测网络第五卷积层、雨线预测网络第六卷积层、雨线预测网络第七卷积层、雨线预测网络第八卷积层依次连接；
雨线预测网络第e卷积层待寻优参数为ηe，e∈[1,8]；
T-Net采用编解码器结构，包括：传输地图预测网络第一卷积层、传输地图预测网络第一池化层、传输地图预测网络第二卷积层、传输地图预测网络第二池化层、传输地图预测网络第三卷积层、传输地图预测网络第三池化层、传输地图预测网络第四卷积层、传输地图预测网络第四池化层，解码器部分包括传输地图预测网络第五卷积层、传输地图预测网络第一上采样层、传输地图预测网络第六卷积层、传输地图预测网络第二上采样层、传输地图预测网络第七卷积层、传输地图预测网络第三上采样层、传输地图预测网络第八卷积层、传输地图预测网络第四上采样层；
所述的传输地图预测网络第一卷积层、传输地图预测网络第一池化层、传输地图预测网络第二卷积层、传输地图预测网络第二池化层、传输地图预测网络第三卷积层、传输地图预测网络第三池化层、传输地图预测网络第四卷积层、传输地图预测网络第四池化层，解码器部分包括传输地图预测网络第五卷积层、传输地图预测网络第一上采样层、传输地图预测网络第六卷积层、传输地图预测网络第二上采样层、传输地图预测网络第七卷积层、传输地图预测网络第三上采样层、传输地图预测网络第八卷积层、传输地图预测网络第四上采样层依次连接；
传输地图预测网络第e卷积层待寻优参数为θe，e∈[1,8]；
先验去雨网络的输出预测量包括第k幅合成雨天图像对应的预测雨线层图像Sk,k∈[1,K]，第k幅合成雨天图像对应的预测全局大气光图像Ak,k∈[1,K],第k幅合成雨天图像对应的预测传输地图图像Tk,k∈[1,K],K表示合成雨天图像的数量；
结合第k幅合成雨天图像Ik、第k幅合成雨天图像对应的预测雨线层图像Sk、第k幅合成雨天图像对应的预测全局大气光图像Ak、第k幅合成雨天图像对应的预测传输地图图像Tk，求解初始去雨背景图像，具体如下：
其中，Ik是第k幅合成雨天图像，第k幅合成雨天图像对应的预测雨线层图像Sk、第k幅合成雨天图像对应的预测全局大气光图像Ak、第k幅合成雨天图像对应的预测传输地图图像TkBk是先验去雨网络对于第k幅合成雨天图像得到的初始去雨背景图像；
步骤2所述先验去雨网络损失函数，定义为：
所述先验去雨网络损失函数包括：雨线层损失、雨雾层损失和传输地图损失；
所述雨线层损失的定义为：
所述雨雾层损失的定义为：
所述传输地图损失的定义为：
其中，K表示合成雨天图像的数量，Sk是第k幅合成雨天图像对应的预测的雨线层图像，Ak是第k幅合成雨天图像对应的预测的全局大气光图像，Tk是第k幅合成雨天图像对应的预测的传输地图图像，是第k幅合成雨天图像对应的雨线层图像，/>是第k幅合成雨天图像对应的全局大气光图像，/>是第k幅合成雨天图像对应的传输地图图像；
所述先验去雨网络损失函数为：
lossstage-1＝loss_s+loss_a+liss_t
步骤2所述将合成雨天图像训练集输入到先验去雨网络进行优化训练为：
将步骤1中所述合成雨天图像训练集作为输入数据，采用Adam优化算法即随机梯度下降算法对所述先验去雨网络损失函数进行寻优，得到优化后的优化参数为
步骤2所述训练后先验去雨网络为：
通过优化后参数集构建先验去雨网络，得到训练好的先验去雨模型；
作为优选，步骤3所述雨密度分类网络结构包括：
雨密度分类网络采用VGG19深度学习网络的部分结构，包括：雨密度分类网络第一卷积层、雨密度分类网络第二卷积层、雨密度分类网络第三卷积层、雨密度分类网络第四卷积层、雨密度分类网络全连接层、雨密度分类网络Sigmoid层；
所述的雨密度分类网络第一卷积层、雨密度分类网络第二卷积层、雨密度分类网络第三卷积层、雨密度分类网络第四卷积层、雨密度分类网络全连接层、雨密度分类网络Sigmoid层依次连接；
以合成雨天图像Ik与初始去雨背景图像Bk之间的残差(Ik-Bk)作为输入，雨密度分类网络第e卷积层待寻优参数为εe，e∈[1,5]；
雨密度分类网络的预测结果为第k幅合成雨天图像的雨密度分类级别：
labelk,labelk∈[0,2]
步骤3所述雨密度分类网络损失函数，定义为：
其中，yk_c表示符号函数，如果第k幅合成雨天图像的真实类别等于c取1，否则取0；pk_c表示由雨密度分类网络的全连接层预测的第k幅合成雨天图像Ik属于类别c的概率，最后经Sigmoid层变换为雨密度分类级别labelk，yk_c∈{0,1}，c∈{0,1,2}，k∈[1,K]，K表示合成雨天图像的数量；
步骤3所述将每幅合成雨天图像输入到雨密度分类网络进行优化训练为：
将步骤1中所述合成雨天图像训练集作为输入数据，采用Adam优化算法即随机梯度下降算法对所述雨密度分类网络损失函数进行寻优，得到优化后的优化参数为
步骤3所述训练后雨密度分类网络为：
通过优化后参数集构建雨密度分类网络，得到训练好的雨密度分类模型；
作为优选，步骤5所述优化去雨条件生成对抗网络结构包括：
优化去雨条件生成对抗网络由生成器G和第一判别器D1、第二判别器D2、第三判别器D3构成；
所述生成器G分别与所述的第一判别器D1、第二判别器D2、第三判别器D3依次连接；
所述的第一判别器D1、第二判别器D2与第三判别器D3并联连接；
第k幅合成图像对应的预测初始去雨背景图像Bk与预测雨密度分类级别labelk共同输入至生成器G得到第k幅合成图像对应的最终复原背景图像Ck；
第k幅图像对应的最终复原背景图像Ck输入第一判别器D1得到对于第k幅图像对应的最终复原背景图像Ck的色彩真实性判别结果D1(Ck)；
第k幅图像对应的最终复原背景图像Ck输入第二判别器D2得到对于第k幅图像对应的最终复原背景图像Ck的纹理真实性判别结果D2(Ck)；
第k幅图像对应的最终复原背景图像Ck输入第三判别器D3得到对于第k幅图像对应的最终复原背景图像Ck的梯度真实性判别结果D3(Ck)；
生成器G采用编解码器结构，包括：生成器第一卷积层、生成器第二空洞卷积层、生成器第三空洞卷积层、生成器第四空洞卷积层、生成器第五空洞卷积层、生成器第六空洞卷积层、生成器第七空洞卷积层、生成器第八空洞卷积层、生成器第九卷积层；
所述的生成器第一卷积层、生成器第二空洞卷积层、生成器第三空洞卷积层、生成器第四空洞卷积层、生成器第五空洞卷积层、生成器第六空洞卷积层、生成器第七空洞卷积层、生成器第八空洞卷积层、生成器第九卷积层依次连接；
生成器第e卷积层待寻优参数为ρe，e∈[1,9]，输入为初始去雨背景图像Bk与雨密度分类级别labelk；
所述的第一判别器D1、第二判别器D2、第三判别器D3均采用PatchGAN判别器网络，且所述的，所述的第一判别器D1、第二判别器D2、第三判别器D3结构完全相同；
所述PatchGAN判别器网络包括：
判别器第一卷积层、判别器第一池化层、判别器第二卷积层、判别器第二池化层、判别器第三卷积层、判别器第三池化层、判别器第四卷积层、判别器第四池化层；
所述的判别器第一卷积层、判别器第一池化层、判别器第二卷积层、判别器第二池化层、判别器第三卷积层、判别器第三池化层、判别器第四卷积层、判别器第四池化层依次连接；
判别器第e卷积层待寻优参数为γe，e∈[1,4]；
优化去雨条件生成对抗网络的预测结果为第k幅合成雨天图像Ik对应的最终复原背景图像Ck；
步骤5所述优化去雨条件生成对抗网络损失函数，定义为：
所述条件生成对抗网络的损失函数由背景重建损失、预训练VGG网络感知损失、梯度损失和对抗损失进一步加权求和；
所述背景重建损失定义为：
其中，Ck是第k幅合成雨天图像Ik对应的最终复原背景图像，是第k幅合成雨天图像对应的真实清晰图像，K表示合成雨天图像的数量；
所述预训练VGG网络感知损失定义为：
其中，VGG(*)为预训练好的VGG16网络用于特征提取，Ck是第k幅合成雨天图像Ik对应的最终复原背景图像，是第k幅合成雨天图像对应的真实清晰图像，K表示合成雨天图像的数量；
所述梯度损失定义为：
其中，表示对图像求水平和竖直方向的梯度，Ck是第k幅合成雨天图像Ik对应的最终复原背景图像，/>是第k幅合成雨天图像对应的真实清晰图像，K表示合成雨天图像的数量；
所述对抗损失定义为：
其中，Ck是第k幅合成雨天图像Ik对应的最终复原背景图像，是第k幅合成雨天图像对应的真实清晰图像，Di表示第i判别器，i∈[1,2,3]；
所述优化去雨条件生成对抗网络损失函数为：
lossstage-2＝lossrec+λp*loss_per+λg*loss_grad+λa*loss_adb
其中，λp是感知损失对应的权重、λg是梯度损失对应的权重、λa是对抗损失对应的权重；
步骤5所述优化去雨条件生成对抗网络训练过程为：
将步骤1中所述合成雨天图像训练集和步骤4得到的初始去雨背景作为输入数据，采用Adam优化算法即随机梯度下降算法对所述优化去雨网络损失函数进行寻优，得到优化后的优化参数为
步骤5所述训练后优化去雨条件生成对抗网络训练为：
通过优化后参数集构建优化去雨条件生成对抗网络，得到训练好的优化去雨模型；
作为优选，步骤6所述利用训练好的去雨网络模型对真实雨天图像进行去雨过程为：
首先将真实雨天图像R输入步骤2训练好的先验去雨网络模型，预测得到真实雨天图像对应的对应的预测雨线层图像S、真实雨天图像对应的全局大气光图像A和真实雨天图像对应的传输地图图像T，并按照雨天物理模型计算出初始去雨背景图像B：
S＝η*(R)
T＝θ*(R)
接下来将真实雨天图像R与其初始去雨背景B之间的残差输入到训练好的雨密度分类网络模型，预测得到对应的预测雨密度级别label：
label＝ε*(R-B)
最后将初始去雨背景B与预测雨密度级别label一同输入到训练好的优化去雨网络模型，预测得到到对应的去雨图像C：
C＝ρ*(B,label)。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
基于MATLAB设计算法合成雨天图像，分别对两种雨天退化效应雨线和雨雾进行仿真并整合，构成成对训练集与测试集；基于PyTorch深度学习框架搭建去雨网络，以物理模型作为约束、三个子网络分支进行特征提取与学习，求解得到初始去雨背景；由一个轻量分类网络进行雨密度分类，为输入雨天图像生成密度分类标签，作为后续优化阶段引导信息；最后条件生成对抗网络对初始去雨背景进行进一步优化，去除雨残留、提高复原效果与细节保真度。针对位置随机分布、不同尺寸和方向的雨线提取与去除，使用了多个膨胀卷积分支，在不增加参数量的同时扩大感受野、融合多尺度特征。本发明能解决现有技术中难以同时去除雨线和雨雾、对不同密度、不同模式的雨处理不够鲁棒的问题，能有效地对复杂多变的真实雨天场景进行高效、清晰的背景复原。
附图说明
图1：是本发明方法流程图。
图2：是带雨密度标签的合成雨天/清晰成对数据集制作流程示意图。
图3：是本发明提出的一种雨密度分类引导的双阶段单幅图像去雨方法网络结构图。
图4：是本发明提出的一种雨密度分类引导的双阶段单幅图像去雨方法中初始去雨阶段涉及到的各个分支网络结构图。
图5：是本发明实施例中去雨结果对比图，图5a)为合成雨天图像原图，图5b)为现有方法对合成雨天图像去雨效果图，图5c)为本发明对合成雨天图像去雨效果图，图5d)为真实雨天图像原图，图5e)为现有方法对真实雨天图像去雨效果图，图5f)为本发明对真实雨天图像去雨效果图。
具体实施方式
为了便于本领域的普通技术人员理解和实施本发明，下面结合附图及具体实施例对本发明做进一步说明，应当理解，此处所描述的实施示例仅用于解释和说明本发明，并不用于限定本发明。
本发明实施例在GTX1080Ti显卡上运行，系统环境为Ubuntu16.04，软件环境为Python2.7+PyTorch1.1.0+CUDA9.0+CUDNN7.2，采用分步训练策略。首先训练初始物理模型去雨网络，初始学习率设置为0.001，迭代次数为60，每10代后学习率减半；再训练密度分类器，以同样初始设置训练60代；最后再训练cGAN优化去雨网络，迭代次数设置为80。
本实施例提供的本发明的技术方案为一种雨密度分类引导的双阶段单幅图像去雨方法，其特征在于，包括以下步骤：
步骤1：引入多幅合成雨天图像、多幅合成雨天图像对应的真实清晰图像，进一步引入每幅合成雨天图像对应的雨线层图像、每幅合成雨天图像对应的全局大气光图像、每幅合成雨天图像对应的传输地图图像，人工标记每幅合成雨天图像的雨密度分类标签真值；
步骤1所述多幅合成雨天图像，定义为：
{Ik,k∈[1,K]}
其中，Ik是第k幅合成雨天图像，K＝13600表示合成雨天图像的数量；
步骤1所述多幅合成雨天图像对应的真实清晰图像，定义为：
其中，是第k幅合成雨天图像对应的真实清晰图像；
步骤1所述每幅合成雨天图像的雨线层图像，定义为：
步骤1所述每幅合成雨天图像的全局大气光图像，定义为：
步骤1所述每幅合成雨天图像的传输地图图像，定义为：
其中，是第k幅合成雨天图像对应的雨线层图像，/>是第k幅合成雨天图像对应的全局大气光图像，/>是第k幅合成雨天图像对应的传输地图图像，K＝13600表示合成雨天图像的数量；
步骤1所述每幅合成雨天图像的雨密度分类标签真值，定义：
其中，表示第k幅合成雨天图像的雨密度分类标签，/>表示大雨，表示中雨，/>表示小雨；
步骤2：引入先验去雨网络，将每幅合成雨天图像输入至先验去雨网络进行图像去雨处理得到每幅合成雨天图像对应的初始去雨背景图像，结合每幅合成雨天图像对应的雨线层图像、全局大气光图像、传输地图图像构建先验去雨网络损失函数，通过ADAM优化器进行梯度反向传播更新网络参数，得到训练好的先验去雨网络模型；
步骤2所述先验去雨网络结构包括：
先验去雨网络由雨雾预测网络A-Net、雨线预测网络S-Net和传输地图预测网络T-Net三个分支并联；
第k幅合成雨天图像分别输入至所述的雨雾预测网络A-Net、雨线预测网络S-Net和传输地图预测网络T-Net；
第k幅合成雨天图像输入至所述的雨雾预测网络A-Net预测得到第k幅合成雨天图像对应的预测雨线层图像Sk；
第k幅合成雨天图像输入至所述的雨线预测网络S-Net预测得到第k幅合成雨天图像对应的预测全局大气光图像Ak；
第k幅合成雨天图像输入至所述的传输地图预测网络T-Net预测得到第k幅合成雨天图像对应的预测传输地图图像Tk；
A-Net采用类似分类器的网络结构，包括：雨雾预测网络第一卷积层、雨雾预测网络第二卷积层、雨雾预测网络第一池化层、雨雾预测网络第三卷积层、雨雾预测网络第二池化层、雨雾预测网络第四卷积层、雨雾预测网络第三池化层、雨雾预测网络第五卷积层、雨雾预测网络第四池化层、雨雾预测网络全连接层、雨雾预测网络Sigmoid层、雨雾预测网络上采样层；
所述的雨雾预测网络第一卷积层、雨雾预测网络第二卷积层、雨雾预测网络第一池化层、雨雾预测网络第三卷积层、雨雾预测网络第二池化层、雨雾预测网络第四卷积层、雨雾预测网络第三池化层、雨雾预测网络第五卷积层、雨雾预测网络第四池化层、雨雾预测网络全连接层、雨雾预测网络Sigmoid层、雨雾预测网络上采样层依次连接，所有卷积层卷积核大小为3x3，池化层步长为2；
雨雾预测网络第e卷积层待寻优参数为
S-Net包括：雨线预测网络第一卷积层、雨线预测网络第二空洞卷积层、雨线预测网络第三空洞卷积层、雨线预测网络第四空洞卷积层、雨线预测网络第五卷积层、雨线预测网络第六卷积层、雨线预测网络第七卷积层、雨线预测网络第八卷积层；
所述的雨线预测网络第一卷积层、雨线预测网络第二空洞卷积层、雨线预测网络第三空洞卷积层、雨线预测网络第四空洞卷积层、雨线预测网络第五卷积层、雨线预测网络第六卷积层、雨线预测网络第七卷积层、雨线预测网络第八卷积层依次连接；
所述的雨线预测网络第一卷积层卷积核为3x3、雨线预测网络第二空洞卷积层卷积核为3x3膨胀率为1、雨线预测网络第三空洞卷积层卷积核为3x3膨胀率为2、雨线预测网络第四空洞卷积层卷积核为3x3膨胀率为3、雨线预测网络第五卷积层卷积核为3x3、雨线预测网络第六卷积层卷积核为3x3、雨线预测网络第七卷积层卷积核为3x3、雨线预测网络第八卷积层卷积核为3x3；
雨线预测网络第e卷积层待寻优参数为ηe，e∈[1,8]；
T-Net采用编解码器结构，包括：传输地图预测网络第一卷积层、传输地图预测网络第一池化层、传输地图预测网络第二卷积层、传输地图预测网络第二池化层、传输地图预测网络第三卷积层、传输地图预测网络第三池化层、传输地图预测网络第四卷积层、传输地图预测网络第四池化层，解码器部分包括传输地图预测网络第五卷积层、传输地图预测网络第一上采样层、传输地图预测网络第六卷积层、传输地图预测网络第二上采样层、传输地图预测网络第七卷积层、传输地图预测网络第三上采样层、传输地图预测网络第八卷积层、传输地图预测网络第四上采样层；
所述的传输地图预测网络第一卷积层、传输地图预测网络第一池化层、传输地图预测网络第二卷积层、传输地图预测网络第二池化层、传输地图预测网络第三卷积层、传输地图预测网络第三池化层、传输地图预测网络第四卷积层、传输地图预测网络第四池化层，解码器部分包括传输地图预测网络第五卷积层、传输地图预测网络第一上采样层、传输地图预测网络第六卷积层、传输地图预测网络第二上采样层、传输地图预测网络第七卷积层、传输地图预测网络第三上采样层、传输地图预测网络第八卷积层、传输地图预测网络第四上采样层依次连接，所有卷积层卷积核为3x3，池化层步长为2；
传输地图预测网络第e卷积层待寻优参数为θe，e∈[1,8]；
先验去雨网络的输出预测量包括第k幅合成雨天图像对应的预测雨线层图像Sk,k∈[1,K]，第k幅合成雨天图像对应的预测全局大气光图像Ak,k∈[1,K],第k幅合成雨天图像对应的预测传输地图图像Tk,k∈[1,K],K＝13600表示合成雨天图像的数量；
结合第k幅合成雨天图像Ik、第k幅合成雨天图像对应的预测雨线层图像Sk、第k幅合成雨天图像对应的预测全局大气光图像Ak、第k幅合成雨天图像对应的预测传输地图图像Tk，求解初始去雨背景图像，具体如下：
其中，Ik是第k幅合成雨天图像，第k幅合成雨天图像对应的预测雨线层图像Sk、第k幅合成雨天图像对应的预测全局大气光图像Ak、第k幅合成雨天图像对应的预测传输地图图像Tk、Bk是先验去雨网络对于第k幅合成雨天图像得到的初始去雨背景图像；
步骤2所述先验去雨网络损失函数，定义为：
所述先验去雨网络损失函数包括：雨线层损失、雨雾层损失和传输地图损失；
所述雨线层损失的定义为：
所述雨雾层损失的定义为：
所述传输地图损失的定义为：
其中，K＝13600表示合成雨天图像的数量，Sk是第k幅合成雨天图像对应的预测的雨线层图像，Ak是第k幅合成雨天图像对应的预测的全局大气光图像，Tk是第k幅合成雨天图像对应的预测的传输地图图像，是第k幅合成雨天图像对应的雨线层图像，/>是第k幅合成雨天图像对应的全局大气光图像，/>是第k幅合成雨天图像对应的传输地图图像；
所述先验去雨网络损失函数为：
lossstage-1＝loss_s+loss_a+loss_t
步骤2所述将合成雨天图像训练集输入到先验去雨网络进行优化训练为：
将步骤1中所述合成雨天图像训练集作为输入数据，采用Adam优化算法即随机梯度下降算法对所述先验去雨网络损失函数进行寻优，得到优化后的优化参数为
步骤2所述训练后先验去雨网络为：
通过优化后参数集构建先验去雨网络，得到训练好的先验去雨模型；
步骤3：引入雨密度分类网络，将每幅合成雨天图像输入至雨密度分类网络进行分级处理得到每幅合成雨天图像的雨密度分类级别，结合每幅合成雨天图像的雨密度分类标签真值构建雨密度分类网络损失函数，通过ADAM优化器进行梯度反向传播更新网络参数，得到训练好的雨密度分类网络模型；
步骤3所述雨密度分类网络结构包括：
雨密度分类网络采用VGG19深度学习网络的部分结构，包括：雨密度分类网络第一卷积层、雨密度分类网络第二卷积层、雨密度分类网络第三卷积层、雨密度分类网络第四卷积层、雨密度分类网络全连接层、雨密度分类网络Sigmoid层；
所述的雨密度分类网络第一卷积层、雨密度分类网络第二卷积层、雨密度分类网络第三卷积层、雨密度分类网络第四卷积层、雨密度分类网络全连接层、雨密度分类网络Sigmoid层依次连接，所有卷积层卷积核大小为3x3；
以合成雨天图像Ik与初始去雨背景图像Bk之间的残差(Ik-Bk)作为输入，雨密度分类网络第e卷积层待寻优参数为εe，e∈[1,5]；
雨密度分类网络的预测结果为第k幅合成雨天图像的雨密度分类级别：
labelk,labelk∈[0,2]
步骤3所述雨密度分类网络损失函数，定义为：
其中，yk_c表示符号函数，如果第k幅合成雨天图像的真实类别等于c则取1，否则取0；pk_c表示由雨密度分类网络的全连接层预测的第k幅合成雨天图像Ik属于类别c的概率，最后经Sigmoid层变换为雨密度分类级别labelk，yk_c∈{0,1}，c∈{0,1,2}，k∈[1,K]，K＝13600表示合成雨天图像的数量；
步骤3所述将每幅合成雨天图像输入到雨密度分类网络进行优化训练为：
将步骤1中所述合成雨天图像训练集作为输入数据，采用Adam优化算法即随机梯度下降算法对所述雨密度分类网络损失函数进行寻优，得到优化后的优化参数为
步骤3所述训练后雨密度分类网络为：
通过优化后参数集构建雨密度分类网络，得到训练好的雨密度分类模型；
步骤4：将每幅合成雨天图像输入至训练好的先验去雨网络模型进行图像去雨处理得到每幅合成雨天图像对应的预测初始去雨背景，将每幅合成雨天图像输入至训练好的雨密度分类网络模型进行分级处理得到每幅合成雨天图像对应的预测雨密度分类级别；
步骤5：引入优化去雨条件生成对抗网络，将每幅合成雨天图像对应的预测初始去雨背景、每幅合成雨天图像对应的预测雨密度分类级别输入至优化去雨条件生成对抗网络进行高清还原处理，得到每幅合成雨天图像对应的恢复后清晰图像，结合每幅原始雨天图像对应的真实清晰雨天图像构建损失函数，通过ADAM优化器进行梯度反向传播更新网络参数，得到训练好的优化去雨网络模型；
步骤5所述优化去雨条件生成对抗网络结构包括：
优化去雨条件生成对抗网络由生成器G和第一判别器D1、第二判别器D2、第三判别器D3构成；
所述生成器G分别与所述的第一判别器D1、第二判别器D2、第三判别器D3依次连接；
所述的第一判别器D1、第二判别器D2与第三判别器D3并联连接；
第k幅合成图像对应的预测初始去雨背景图像Bk与预测雨密度分类级别labelk共同输入至生成器G得到第k幅合成图像对应的最终复原背景图像Ck；
第k幅图像对应的最终复原背景图像Ck输入第一判别器D1得到对于第k幅图像对应的最终复原背景图像Ck的色彩真实性判别结果D1(Ck)；
第k幅图像对应的最终复原背景图像Ck输入第二判别器D2得到对于第k幅图像对应的最终复原背景图像Ck的纹理真实性判别结果D2(Ck)；
第k幅图像对应的最终复原背景图像Ck输入第三判别器D3得到对于第k幅图像对应的最终复原背景图像Ck的梯度真实性判别结果D3(Ck)；
生成器G采用编解码器结构，包括：生成器第一卷积层、生成器第二空洞卷积层、生成器第三空洞卷积层、生成器第四空洞卷积层、生成器第五空洞卷积层、生成器第六空洞卷积层、生成器第七空洞卷积层、生成器第八空洞卷积层、生成器第九卷积层；
所述的生成器第一卷积层、生成器第二空洞卷积层、生成器第三空洞卷积层、生成器第四空洞卷积层、生成器第五空洞卷积层、生成器第六空洞卷积层、生成器第七空洞卷积层、生成器第八空洞卷积层、生成器第九卷积层依次连接；
所述的生成器第一卷积层卷积核为3x3、生成器第二空洞卷积层卷积核为3x3膨胀率为2、生成器第三空洞卷积层卷积核为3x3膨胀率为2、生成器第四空洞卷积层卷积核为3x3膨胀率为2、生成器第五空洞卷积层卷积核为3x3膨胀率为4、生成器第六空洞卷积层卷积核为3x3膨胀率为4、生成器第七空洞卷积层卷积核为3x3膨胀率为4、生成器第八空洞卷积层卷积核为3x3膨胀率为1、生成器第九卷积层卷积核为3x3；
生成器第e卷积层待寻优参数为ρe，e∈[1,9]，输入为初始去雨背景图像Bk与雨密度分类级别labelk；
所述的第一判别器D1、第二判别器D2、第三判别器D3均采用PatchGAN判别器网络，且所述的，所述的第一判别器D1、第二判别器D2、第三判别器D3结构完全相同；
所述PatchGAN判别器网络包括：
判别器第一卷积层、判别器第一池化层、判别器第二卷积层、判别器第二池化层、判别器第三卷积层、判别器第三池化层、判别器第四卷积层、判别器第四池化层；
所述的判别器第一卷积层、判别器第一池化层、判别器第二卷积层、判别器第二池化层、判别器第三卷积层、判别器第三池化层、判别器第四卷积层、判别器第四池化层依次连接，所有卷积层卷积核大小均为3x3，池化层步长为2；
判别器第e卷积层待寻优参数为γe，e∈[1,4]；
优化去雨条件生成对抗网络的预测结果为第k幅合成雨天图像Ik对应的最终复原背景图像Ck；
步骤5所述优化去雨条件生成对抗网络损失函数，定义为：
所述条件生成对抗网络的损失函数由背景重建损失、预训练VGG网络感知损失、梯度损失和对抗损失进一步加权求和；
所述背景重建损失定义为：
其中，Ck是第k幅合成雨天图像Ik对应的最终复原背景图像，是第k幅合成雨天图像对应的真实清晰图像，K＝13600表示合成雨天图像的数量；
所述预训练VGG网络感知损失定义为：
其中，VGG(*)为预训练好的VGG16网络用于特征提取，Ck是第k幅合成雨天图像Ik对应的最终复原背景图像，是第k幅合成雨天图像对应的真实清晰图像，K＝13600表示合成雨天图像的数量；
所述梯度损失定义为：
其中，表示对图像求水平和竖直方向的梯度，Ck是第k幅合成雨天图像Ik对应的最终复原背景图像，/>是第k幅合成雨天图像对应的真实清晰图像，K表示合成雨天图像的数量；
所述对抗损失定义为：
其中，Ck是第k幅合成雨天图像Ik对应的最终复原背景图像，是第k幅合成雨天图像对应的真实清晰图像，Di表示第i判别器，i∈[1,2,3]；
所述优化去雨条件生成对抗网络损失函数为：
lossstage-2＝lossrec+λp*loss_per+λg*loss-grad+λa*loss_adv
其中，λp＝4代表感知损失对应的权重、λg＝1代表梯度损失对应的权重、λa＝0.01代表对抗损失对应的权重；
步骤5所述优化去雨条件生成对抗网络训练过程为：
将步骤1中所述合成雨天图像训练集和步骤4得到的初始去雨背景作为输入数据，采用Adam优化算法即随机梯度下降算法对所述优化去雨网络损失函数进行寻优，得到优化后的优化参数为
步骤5所述训练后优化去雨条件生成对抗网络训练为：
通过优化后参数集构建优化去雨条件生成对抗网络，得到训练好的优化去雨模型；
步骤6：将真实采集雨天图像R通过步骤4得到真实雨天图像对应的预测初始去雨背景、真实雨天图像对应的预测雨密度分类级别，将真实雨天图像对应的预测初始去雨背景、真实雨天图像对应的预测雨密度分类级别输入至训练好的优化去雨网络模型预测得到真实雨天图像对应的去雨图像；
步骤6所述利用训练好的去雨网络模型对真实雨天图像进行去雨过程为：
首先将真实雨天图像R输入步骤2训练好的先验去雨网络模型，预测得到真实雨天图像对应的对应的预测雨线层图像S、真实雨天图像对应的全局大气光图像A和真实雨天图像对应的传输地图图像T，并按照雨天物理模型计算出初始去雨背景图像B：
S＝η*(R)
T＝θ*(R)
接下来将真实雨天图像R与其初始去雨背景B之间的残差输入到训练好的雨密度分类网络模型，预测得到对应的预测雨密度级别label：
label＝ε*(R-B)
最后将初始去雨背景B与预测雨密度级别label一同输入到训练好的优化去雨网络模型，预测得到到对应的去雨图像C：
C＝ρ*(B,label)
为评价本发明对单幅图像去雨的有效性和泛化性，本发明从定性与定量两方面与单幅图像去雨代表算法PReNet进行对比。在本文数据集和真实雨天图像上展开实验对比，本文数据集包含1700张测试图片。本文采用PSNR、SSIM两个客观评价指标对比分析本发明和现有PReNet方法在本文测试数据集上的去雨效果，表1展示了两个算法的平均PSNR与SSIM，相比现有PReNet去雨方法，可以看出本发明PSNR提高了1.58dB，SSIM提高了0.0294。如图5所示定性地对比了在合成数据集示例上的去雨效果，并在真实的雨天图像上进行了泛化性的对比，可以看出PReNet方法对不同尺寸的雨线不能有效去除，存在雨线残留，且去雨结果仍存在雨雾效应、图像整体偏模糊，对比度较低、存在色彩失真和细节信息丢失；而本发明能同时对雨线和雨雾效应进行去除，在保留一定细节信息的同时复原出较为清晰的背景。在真实雨天的数据集测试结果也可以看出，本发明方法可以迁移至真实雨天场景应用，有效对真实的雨线、雨雾进行去除，泛化性较好。
表1本发明与PReNet去雨效果对比
PSNR SSIM
PReNet 23.52 0.8560
本发明方法 25.10 0.8854
综上所述，针对单幅图像去雨问题，本发明结合雨天图像物理特性与cGAN网络，并引入雨密度分类器，提出了一种雨密度分类引导的双阶段去雨算法，实现了在一个端到端网络中同时对雨雾、雨线进行有效处理，基本满足实时处理要求，并能解决现有技术中难以同时去除雨线和雨雾、对不同密度、不同模式的雨处理不够鲁棒的问题，能有效地对复杂多变的真实雨天场景进行高效、清晰的背景复原。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种雨密度分类引导的双阶段单幅图像去雨方法，其特征在于，包括以下步骤：
步骤1：引入多幅合成雨天图像、多幅合成雨天图像对应的真实清晰图像，进一步引入每幅合成雨天图像对应的雨线层图像、每幅合成雨天图像对应的全局大气光图像、每幅合成雨天图像对应的传输地图图像，人工标记每幅合成雨天图像的雨密度分类标签真值；
步骤2：引入先验去雨网络，将每幅合成雨天图像输入至先验去雨网络进行图像去雨处理得到每幅合成雨天图像对应的初始去雨背景图像，结合每幅合成雨天图像对应的雨线层图像、全局大气光图像、传输地图图像构建先验去雨网络损失函数，通过ADAM优化器进行梯度反向传播更新网络参数，得到训练好的先验去雨网络模型；
步骤3：引入雨密度分类网络，将每幅合成雨天图像输入至雨密度分类网络进行分级处理得到每幅合成雨天图像的雨密度分类级别，结合每幅合成雨天图像的雨密度分类标签真值构建雨密度分类网络损失函数，通过ADAM优化器进行梯度反向传播更新网络参数，得到训练好的雨密度分类网络模型；
步骤4：将每幅合成雨天图像输入至训练好的先验去雨网络模型进行图像去雨处理得到每幅合成雨天图像对应的预测初始去雨背景，将每幅合成雨天图像输入至训练好的雨密度分类网络模型进行分级处理得到每幅合成雨天图像对应的预测雨密度分类级别；
步骤5：引入优化去雨条件生成对抗网络，将每幅合成雨天图像对应的预测初始去雨背景、每幅合成雨天图像对应的预测雨密度分类级别输入至优化去雨条件生成对抗网络进行高清还原处理，得到每幅合成雨天图像对应的恢复后清晰图像，结合每幅原始雨天图像对应的真实清晰雨天图像构建损失函数，通过ADAM优化器进行梯度反向传播更新网络参数，得到训练好的优化去雨网络模型；
步骤6：将真实采集雨天图像R通过步骤4得到真实雨天图像对应的预测初始去雨背景、真实雨天图像对应的预测雨密度分类级别，将真实雨天图像对应的预测初始去雨背景、真实雨天图像对应的预测雨密度分类级别输入至训练好的优化去雨网络模型预测得到真实雨天图像对应的去雨图像；
步骤2所述先验去雨网络结构包括：
先验去雨网络由雨雾预测网络A-Net、雨线预测网络S-Net和传输地图预测网络T-Net三个分支并联；
第k幅合成雨天图像分别输入至所述的雨雾预测网络A-Net、雨线预测网络S-Net和传输地图预测网络T-Net；
第k幅合成雨天图像输入至所述的雨雾预测网络A-Net预测得到第k幅合成雨天图像对应的预测雨线层图像Sk；
第k幅合成雨天图像输入至所述的雨线预测网络S-Net预测得到第k幅合成雨天图像对应的预测全局大气光图像Ak；
第k幅合成雨天图像输入至所述的传输地图预测网络T-Net预测得到第k幅合成雨天图像对应的预测传输地图图像Tk；
A-Net采用类似分类器的网络结构，包括：雨雾预测网络第一卷积层、雨雾预测网络第二卷积层、雨雾预测网络第一池化层、雨雾预测网络第三卷积层、雨雾预测网络第二池化层、雨雾预测网络第四卷积层、雨雾预测网络第三池化层、雨雾预测网络第五卷积层、雨雾预测网络第四池化层、雨雾预测网络全连接层、雨雾预测网络Sigmoid层、雨雾预测网络上采样层；
所述的雨雾预测网络第一卷积层、雨雾预测网络第二卷积层、雨雾预测网络第一池化层、雨雾预测网络第三卷积层、雨雾预测网络第二池化层、雨雾预测网络第四卷积层、雨雾预测网络第三池化层、雨雾预测网络第五卷积层、雨雾预测网络第四池化层、雨雾预测网络全连接层、雨雾预测网络Sigmoid层、雨雾预测网络上采样层依次连接；
雨雾预测网络第e卷积层待寻优参数为
S-Net包括：雨线预测网络第一卷积层、雨线预测网络第二空洞卷积层、雨线预测网络第三空洞卷积层、雨线预测网络第四空洞卷积层、雨线预测网络第五卷积层、雨线预测网络第六卷积层、雨线预测网络第七卷积层、雨线预测网络第八卷积层；
所述的雨线预测网络第一卷积层、雨线预测网络第二空洞卷积层、雨线预测网络第三空洞卷积层、雨线预测网络第四空洞卷积层、雨线预测网络第五卷积层、雨线预测网络第六卷积层、雨线预测网络第七卷积层、雨线预测网络第八卷积层依次连接；
雨线预测网络第e卷积层待寻优参数为ηe，e∈[1,8]；
T-Net采用编解码器结构，包括：传输地图预测网络第一卷积层、传输地图预测网络第一池化层、传输地图预测网络第二卷积层、传输地图预测网络第二池化层、传输地图预测网络第三卷积层、传输地图预测网络第三池化层、传输地图预测网络第四卷积层、传输地图预测网络第四池化层，解码器部分包括传输地图预测网络第五卷积层、传输地图预测网络第一上采样层、传输地图预测网络第六卷积层、传输地图预测网络第二上采样层、传输地图预测网络第七卷积层、传输地图预测网络第三上采样层、传输地图预测网络第八卷积层、传输地图预测网络第四上采样层；
所述的传输地图预测网络第一卷积层、传输地图预测网络第一池化层、传输地图预测网络第二卷积层、传输地图预测网络第二池化层、传输地图预测网络第三卷积层、传输地图预测网络第三池化层、传输地图预测网络第四卷积层、传输地图预测网络第四池化层，解码器部分包括传输地图预测网络第五卷积层、传输地图预测网络第一上采样层、传输地图预测网络第六卷积层、传输地图预测网络第二上采样层、传输地图预测网络第七卷积层、传输地图预测网络第三上采样层、传输地图预测网络第八卷积层、传输地图预测网络第四上采样层依次连接；
传输地图预测网络第e卷积层待寻优参数为θe，e∈[1,8]；
先验去雨网络的输出预测量包括第k幅合成雨天图像对应的预测雨线层图像Sk,k∈[1,K]，第k幅合成雨天图像对应的预测全局大气光图像Ak,k∈[1,K],第k幅合成雨天图像对应的预测传输地图图像Tk,k∈[1,K],K表示合成雨天图像的数量；
结合第k幅合成雨天图像Ik、第k幅合成雨天图像对应的预测雨线层图像Sk、第k幅合成雨天图像对应的预测全局大气光图像Ak、第k幅合成雨天图像对应的预测传输地图图像Tk，求解初始去雨背景图像，具体如下：
其中，Ik是第k幅合成雨天图像，第k幅合成雨天图像对应的预测雨线层图像Sk、第k幅合成雨天图像对应的预测全局大气光图像Ak、第k幅合成雨天图像对应的预测传输地图图像Tk，Bk是先验去雨网络对于第k幅合成雨天图像得到的初始去雨背景图像；
步骤2所述先验去雨网络损失函数，定义为：
所述先验去雨网络损失函数包括：雨线层损失、雨雾层损失和传输地图损失；
所述雨线层损失的定义为：
所述雨雾层损失的定义为：
所述传输地图损失的定义为：
其中，K表示合成雨天图像的数量，Sk是第k幅合成雨天图像对应的预测的雨线层图像，Ak是第k幅合成雨天图像对应的预测的全局大气光图像，Tk是第k幅合成雨天图像对应的预测的传输地图图像，是第k幅合成雨天图像对应的雨线层图像，/>是第k幅合成雨天图像对应的全局大气光图像，/>是第k幅合成雨天图像对应的传输地图图像；
所述先验去雨网络损失函数为：
lossstage-1＝loss_s+loss_a+loss_t
步骤2所述将每幅合成雨天图像输入至先验去雨网络进行图像去雨处理得到每幅合成雨天图像对应的初始去雨背景图像为：
将步骤1中所述合成雨天图像训练集作为输入数据，采用Adam优化算法对所述先验去雨网络损失函数进行寻优，得到优化后的寻优参数为
步骤2所述训练好的先验去雨网络为：
通过优化后参数集构建先验去雨网络，得到训练好的先验去雨模型；
步骤3所述雨密度分类网络结构包括：
雨密度分类网络采用VGG19深度学习网络的部分结构，包括：雨密度分类网络第一卷积层、雨密度分类网络第二卷积层、雨密度分类网络第三卷积层、雨密度分类网络第四卷积层、雨密度分类网络全连接层、雨密度分类网络Sigmoid层；
所述的雨密度分类网络第一卷积层、雨密度分类网络第二卷积层、雨密度分类网络第三卷积层、雨密度分类网络第四卷积层、雨密度分类网络全连接层、雨密度分类网络Sigmoid层依次连接；
以合成雨天图像Ik与初始去雨背景图像Bk之间的残差(Ik-Bk)作为输入，雨密度分类网络第e卷积层待寻优参数为εe，e∈[1,4]；
雨密度分类网络的预测结果为第k幅合成雨天图像的雨密度分类级别：
labelk,labelk∈[0,2]
步骤3所述雨密度分类网络损失函数，定义为：
其中，yk_c表示符号函数，如果第k幅合成雨天图像的真实类别等于c取1，否则取0；pk_c表示由雨密度分类网络的全连接层预测的第k幅合成雨天图像Ik属于类别c的概率，最后经Sigmoid层变换为雨密度分类级别labelk，yk_c∈{0,1}，c∈{0,1,2}，k∈[1,K]，K表示合成雨天图像的数量；
步骤3所述将每幅合成雨天图像输入到雨密度分类网络进行优化训练为：
将步骤1中所述合成雨天图像训练集作为输入数据，采用Adam优化算法即随机梯度下降算法对所述雨密度分类网络损失函数进行寻优，得到优化后的优化参数为
训练好的雨密度分类网络为：
通过优化后参数集构建雨密度分类网络，得到训练好的雨密度分类模型。
2.根据权利要求1所述的雨密度分类引导的双阶段单幅图像去雨方法，其特征在于，步骤1所述多幅合成雨天图像，定义为：
{Ik,k∈[1,K]}
其中，Ik是第k幅合成雨天图像，K表示合成雨天图像的数量；
步骤1所述多幅合成雨天图像对应的真实清晰图像，定义为：
其中，是第k幅合成雨天图像对应的真实清晰图像，K表示合成雨天图像的数量；
步骤1所述每幅合成雨天图像的雨线层图像，定义为：
步骤1所述每幅合成雨天图像的全局大气光图像，定义为：
步骤1所述每幅合成雨天图像的传输地图图像，定义为：
其中，是第k幅合成雨天图像对应的雨线层图像，/>是第k幅合成雨天图像对应的全局大气光图像，/>是第k幅合成雨天图像对应的传输地图图像，K表示合成雨天图像的数量；
步骤1所述每幅合成雨天图像的雨密度分类标签真值，定义：
其中，表示第k幅合成雨天图像的雨密度分类标签，/>表示大雨，/>表示中雨，/>表示小雨。
3.根据权利要求1所述的雨密度分类引导的双阶段单幅图像去雨方法，其特征在于，步骤5所述优化去雨条件生成对抗网络结构包括：
优化去雨条件生成对抗网络由生成器G和第一判别器D1、第二判别器D2、第三判别器D3构成；
所述生成器G分别与所述的第一判别器D1、第二判别器D2、第三判别器D3依次连接；
所述的第一判别器D1、第二判别器D2与第三判别器D3并联连接；
第k幅合成图像对应的初始去雨背景图像Bk与雨密度分类级别labelk共同输入至生成器G得到第k幅合成图像对应的最终复原背景图像Ck；
第k幅图像对应的最终复原背景图像Ck输入第一判别器D1得到对于第k幅图像对应的最终复原背景图像Ck的色彩真实性判别结果D1(Ck)；
第k幅图像对应的最终复原背景图像Ck输入第二判别器D2得到对于第k幅图像对应的最终复原背景图像Ck的纹理真实性判别结果D2(Ck)；
第k幅图像对应的最终复原背景图像Ck输入第三判别器D3得到对于第k幅图像对应的最终复原背景图像Ck的梯度真实性判别结果D3(Ck)；
生成器G采用编解码器结构，包括：生成器第一卷积层、生成器第二空洞卷积层、生成器第三空洞卷积层、生成器第四空洞卷积层、生成器第五空洞卷积层、生成器第六空洞卷积层、生成器第七空洞卷积层、生成器第八空洞卷积层、生成器第九卷积层；
所述的生成器第一卷积层、生成器第二空洞卷积层、生成器第三空洞卷积层、生成器第四空洞卷积层、生成器第五空洞卷积层、生成器第六空洞卷积层、生成器第七空洞卷积层、生成器第八空洞卷积层、生成器第九卷积层依次连接；
生成器第e卷积层待寻优参数为ρe，e∈[1,9]，输入为初始去雨背景图像Bk与雨密度分类级别labelk；
所述的第一判别器D1、第二判别器D2、第三判别器D3均采用PatchGAN判别器网络，所述的第一判别器D1、第二判别器D2、第三判别器D3结构完全相同；
所述PatchGAN判别器网络包括：
判别器第一卷积层、判别器第一池化层、判别器第二卷积层、判别器第二池化层、判别器第三卷积层、判别器第三池化层、判别器第四卷积层、判别器第四池化层；
所述的判别器第一卷积层、判别器第一池化层、判别器第二卷积层、判别器第二池化层、判别器第三卷积层、判别器第三池化层、判别器第四卷积层、判别器第四池化层依次连接；
判别器第e卷积层待寻优参数为γe，e∈[1,4]；
优化去雨条件生成对抗网络的预测结果为第k幅合成雨天图像Ik对应的最终复原背景图像Ck；
步骤5所述优化去雨条件生成对抗网络损失函数，定义为：
所述条件生成对抗网络的损失函数由背景重建损失、预训练VGG网络感知损失、梯度损失和对抗损失进一步加权求和；
所述背景重建损失定义为：
其中，Ck是第k幅合成雨天图像Ik对应的最终复原背景图像，是第k幅合成雨天图像对应的真实清晰图像，K表示合成雨天图像的数量；
所述预训练VGG网络感知损失定义为：
其中，VGG(*)为预训练好的VGG16网络用于特征提取，Ck是第k幅合成雨天图像Ik对应的最终复原背景图像，是第k幅合成雨天图像对应的真实清晰图像，K表示合成雨天图像的数量；
所述梯度损失定义为：
其中，表示对图像求水平和竖直方向的梯度，Ck是第k幅合成雨天图像Ik对应的最终复原背景图像，/>是第k幅合成雨天图像对应的真实清晰图像，K表示合成雨天图像的数量；
所述对抗损失定义为：
其中，Ck是第k幅合成雨天图像Ik对应的最终复原背景图像，是第k幅合成雨天图像对应的真实清晰图像，Di表示第i判别器，i∈{}1,2,3}；
所述优化去雨条件生成对抗网络损失函数为：
lossstage-2＝lossrec+λp*loss_per+λg*loss_grad+λa*loss_adv
其中，λp是感知损失对应的权重、λg是梯度损失对应的权重、λa是对抗损失对应的权重；
步骤5所述优化去雨条件生成对抗网络训练过程为：
将步骤1中所述合成雨天图像训练集和步骤4得到的初始去雨背景作为输入数据，采用Adam优化算法对所述优化去雨网络损失函数进行寻优，得到优化后的优化参数为
步骤5所述训练好的优化去雨条件生成对抗网络训练为：
通过优化后参数集构建优化去雨条件生成对抗网络，得到训练好的优化去雨模型。
4.根据权利要求1所述的雨密度分类引导的双阶段单幅图像去雨方法，其特征在于，步骤6利用训练好的去雨网络模型对真实雨天图像进行去雨过程为：
首先将真实雨天图像R输入步骤2训练好的先验去雨网络模型，预测得到真实雨天图像对应的对应的预测雨线层图像S、真实雨天图像对应的全局大气光图像A和真实雨天图像对应的传输地图图像T，并按照雨天物理模型计算出初始去雨背景图像B：
S＝η*(R)
T＝θ*(R)
接下来将真实雨天图像R与其初始去雨背景B之间的残差输入到训练好的雨密度分类网络模型，预测得到对应的预测雨密度级别label：
label＝ε*(R-B)
最后将初始去雨背景B与预测雨密度级别label一同输入到训练好的优化去雨网络模型，预测得到到对应的去雨图像C：
C＝ρ*(B,label)。
CN202210139862.7A 2022-02-16 2022-02-16 一种雨密度分类引导的双阶段单幅图像去雨方法 Active CN114627005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210139862.7A CN114627005B (zh) 2022-02-16 2022-02-16 一种雨密度分类引导的双阶段单幅图像去雨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210139862.7A CN114627005B (zh) 2022-02-16 2022-02-16 一种雨密度分类引导的双阶段单幅图像去雨方法

Publications (2)

Publication Number Publication Date
CN114627005A CN114627005A (zh) 2022-06-14
CN114627005B true CN114627005B (zh) 2024-04-12

Family

ID=81897893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210139862.7A Active CN114627005B (zh) 2022-02-16 2022-02-16 一种雨密度分类引导的双阶段单幅图像去雨方法

Country Status (1)

Country Link
CN (1) CN114627005B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152000B (zh) * 2023-08-08 2024-05-14 华中科技大学 雨天图像-清晰背景成对数据集制作方法、装置及其应用

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503610A (zh) * 2019-07-16 2019-11-26 江苏大学 一种基于gan网络的图像雨雪痕迹去除方法
CN110866879A (zh) * 2019-11-13 2020-03-06 江西师范大学 一种基于多密度雨纹感知的图像去雨方法
AU2020100196A4 (en) * 2020-02-08 2020-03-19 Juwei Guan A method of removing rain from single image based on detail supplement
CN110992275A (zh) * 2019-11-18 2020-04-10 天津大学 一种基于生成对抗网络的细化单幅图像去雨方法
CN111145112A (zh) * 2019-12-18 2020-05-12 华东师范大学 一种基于残差对抗细化网络的两阶段图像去雨方法及系统
CN112884073A (zh) * 2021-03-22 2021-06-01 上海大学 图像去雨方法、系统、终端及存储介质
CN113591617A (zh) * 2021-07-14 2021-11-02 武汉理工大学 基于深度学习的水面小目标检测与分类方法
CN113962905A (zh) * 2021-12-03 2022-01-21 四川大学 基于多阶段特征互补网络的单幅图像去雨方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846355B (zh) * 2018-06-11 2020-04-28 腾讯科技（深圳）有限公司 图像处理方法、人脸识别方法、装置和计算机设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503610A (zh) * 2019-07-16 2019-11-26 江苏大学 一种基于gan网络的图像雨雪痕迹去除方法
CN110866879A (zh) * 2019-11-13 2020-03-06 江西师范大学 一种基于多密度雨纹感知的图像去雨方法
CN110992275A (zh) * 2019-11-18 2020-04-10 天津大学 一种基于生成对抗网络的细化单幅图像去雨方法
CN111145112A (zh) * 2019-12-18 2020-05-12 华东师范大学 一种基于残差对抗细化网络的两阶段图像去雨方法及系统
AU2020100196A4 (en) * 2020-02-08 2020-03-19 Juwei Guan A method of removing rain from single image based on detail supplement
CN112884073A (zh) * 2021-03-22 2021-06-01 上海大学 图像去雨方法、系统、终端及存储介质
CN113591617A (zh) * 2021-07-14 2021-11-02 武汉理工大学 基于深度学习的水面小目标检测与分类方法
CN113962905A (zh) * 2021-12-03 2022-01-21 四川大学 基于多阶段特征互补网络的单幅图像去雨方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Min Cao,et al..SIngle Image Deraining Interating Physics Model and Density-Oriented Conditional GAN Refinement.IEEE.2021,第1635-1639页. *
基于条件生成对抗网络的单图像去雨研究;朱敏;方超;齐美彬;;电光与控制;20200430(第07期);全文 *
渐进式多尺度特征融合的图像去镜头雨滴方法;曹敏等;激光杂志;20211118;第1-10页 *
自然场景图像去雨的可学习混合MAP网络;马龙;刘日升;姜智颖;王怡洋;樊鑫;李豪杰;;中国图象图形学报;20180216(第02期);全文 *

Also Published As

Publication number Publication date
CN114627005A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN109685072B (zh) 一种基于生成对抗网络的复合降质图像高质量重建方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN108197326B (zh) 一种车辆检索方法及装置、电子设备、存储介质
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
CN110310241B (zh) 一种融合深度区域分割的多大气光值交通图像去雾方法
CN110503610B (zh) 一种基于gan网络的图像雨雪痕迹去除方法
CN107657593A (zh) 一种单幅图像去雨方法
CN113610144A (zh) 一种基于多分支局部注意力网络的车辆分类方法
CN108875645B (zh) 一种煤矿井下复杂光照条件下的人脸识别方法
CN110866879A (zh) 一种基于多密度雨纹感知的图像去雨方法
CN111127354A (zh) 一种基于多尺度字典学习的单图像去雨方法
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
CN111539896B (zh) 一种基于域自适应的图像去雾方法及系统
CN114627005B (zh) 一种雨密度分类引导的双阶段单幅图像去雨方法
CN113962905B (zh) 基于多阶段特征互补网络的单幅图像去雨方法
CN113256538B (zh) 一种基于深度学习的无监督去雨方法
CN117495718A (zh) 一种多尺度自适应的遥感图像去雾方法
CN117078553A (zh) 一种基于多尺度深度学习的图像去雾方法
CN116883650A (zh) 一种基于注意力和局部拼接的图像级弱监督语义分割方法
CN116402701A (zh) 一种基于景深信息成雾和Transformer网络的图像去雾方法及系统
CN114549343A (zh) 基于双支残差特征融合去雾方法
CN111046861B (zh) 识别红外影像的方法、构建识别模型的方法及应用
CN113870145A (zh) 基于贝叶斯框架下深度卷积神经网络的图像去雾方法
CN113256517A (zh) 一种基于半监督概率图模型的视频去雨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant