CN113724156A - 一种结合大气散射模型的生成对抗网络去雾方法和系统 - Google Patents

一种结合大气散射模型的生成对抗网络去雾方法和系统 Download PDF

Info

Publication number
CN113724156A
CN113724156A CN202110907658.0A CN202110907658A CN113724156A CN 113724156 A CN113724156 A CN 113724156A CN 202110907658 A CN202110907658 A CN 202110907658A CN 113724156 A CN113724156 A CN 113724156A
Authority
CN
China
Prior art keywords
image
network
fog
generator
atmospheric scattering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110907658.0A
Other languages
English (en)
Other versions
CN113724156B (zh
Inventor
王万良
钱宇彤
屠杭垚
吴菲
陈嘉诚
沈豪鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110907658.0A priority Critical patent/CN113724156B/zh
Publication of CN113724156A publication Critical patent/CN113724156A/zh
Application granted granted Critical
Publication of CN113724156B publication Critical patent/CN113724156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种结合大气散射模型的生成对抗网络去雾方法,包括:S1:构建结合大气散射模型和双解码器的生成器;S2:计算原图和假图之间的距离,训练生成器的能力;S3:将输入的图像随机裁剪成Patch块,进行真伪判断,得到结果真伪矩阵后计算平均值,得到最终输出值;S4:提出反向学习PatchGAN结构;S5:当裁剪Patch块时,同时裁剪Patch块的反向块;S6:在原网络上进行生成器、判别器、损失函数的改进;S7:先将有雾图像集输入进生成网络中,将生成网络生成的无雾图像与现实中无雾图像同时输入判别网络中,判别真假,反复进行网络训练,得到生成对抗网络模型,最后在模型中输入测试图像,得到所需要的无雾图像。本发明还包括一种结合大气散射模型的生成对抗网络去雾的系统。

Description

一种结合大气散射模型的生成对抗网络去雾方法和系统
技术领域
本发明属于计算机视觉领域,是一种结合大气散射模型的生成对抗网络去雾方法和系统。
背景技术
当人们从大雾天气中拍摄所需图像时,图像中的雾霾大概率影响着图像的质量和美观,而对图像的两个主要影响是图像中添加成分的污染和光的衰减两个方面。具体来说,在室外环境中捕获的雾霾图像会导致图像质量较差,并且难以区分图像中的对象特征。因此,图像的去雾工作已成为计算机视觉的重要研究领域。
基于模型的传统算法是根据产生大雾天气的原因做出分析,通过建立大气散射模型研究图像降解的物理原理恢复原无雾图像,所以这类算法不易出现图像特征明显丢失的情况,但在实际应用中效果欠佳。2010年,何凯明等人根据室外环境捕获的图像包含许多暗像素的观察,提出了一种新颖的暗通道先验算法,得到了良好的效果。但若图像的大部分被光线或其他类似物体覆盖的场景中,该方法无法使用。因此,金仙力等人根据此问题提出了基于引导滤波和自适应容差的图像去雾算法,一定程度上解决了暗通道先验算法在对天空区域存在失真的问题。但传统算法效果仍具有一定局限性,并未能适用所有场景图像。
基于深度学习算法的去雾模型也有缺陷,众所周知,深度学习算法采用卷积、池化等方法提取图像中关键的特征来解决各样的问题,但并未加入采用传统算法计算得到的各类模型,这将会导致两种问题:1、网络学习到了使用传统算法获得的特征,但消耗了大量的时间和计算资源。2、网络并没有学习到使用传统算法获得的特征,降低了重建图像某一方面的精度。因此,基于上述问题,考虑深度学习结合传统方法是一项十分有必要的工作。
发明内容
针对目前存在的问题,本发明提供了一种结合大气散射模型的生成对抗网络去雾方法和系统。
本发明方法融合了大气散射模型、双解码器结构、反向学习机制,并对原网络的生成器、判别器、损失函数均做出了改进,提出了一种结合大气散射模型的生成对抗网络去雾算法。
本发明为达上述目的,所采用的技术方案为,一种结合大气散射模型的生成对抗网络去雾方法,包括以下步骤:
S1:构建结合大气散射模型和双解码器的生成器结构,以提高分解的质量,具体包括:
S11:搭建大气散射模型,定义为:
I(x)=J(x)×t(x)+A[1-t(x)] (1)
其中,式中J(x)为无雾霾的图像,I(x)为有雾霾的图像,A为大气光值,t(x)为透射率;
S12:生成器模型的设计:本发明的生成器结构是由一个编码器和两个解码器构成;编码器对有雾图像I(x)进行下采样,下采样完成后,采用两个解码器对编码后的数据进行解码;解码器1与现有深度学习方法相似,旨在获得无雾的图像J(x),使用解码器2用来拟合透射率t(x);
S13:本发明中真实的无雾图像和透射率使用J(x)和t(x)表示,生成的无雾图像和透射率使用G1(x)和G2(x)表示;
S14:将S13中所得G1(x)和G2(x)代入公式(1)中,可计算出有雾图像I(x)’;
S2:通过计算原图I(x)和S14中计算得的假图I(x)’之间的距离,可进一步训练生成器的能力,具体损失函数定义为:
Figure BDA0003202414890000021
其中,LCGAN(G,D)定义如下:
LCGAN(G,D)=Ex,y[logD(x,y)]+Ex[log(1-D(G(x)))] (3)
LL1(G)定义如下:
Figure BDA0003202414890000022
Lfog(G)定义如下:
Figure BDA0003202414890000023
其中,x为有雾图像分布,y为无雾图像分布;上述L1损失为假无雾图像与真无雾图像之间的L1距离;Lfog(G)为雾霾损失,即假有雾图像与真有雾图像之间的L1距离,其中假有雾图像由假无雾图像G1(x)和投射率G2(x)得到;A为大气光值,由图像最高亮度的值替代;
S3:PatchGAN将输入的图像随机裁剪成多个N*N的Patch块,判别器对每项Patch块进行真伪判断,得到结果真伪矩阵后对其进行平均值计算,得到最终输出值,以达到分类的目的;
S4:采用随机裁剪将输入图像裁剪成Patch块可能会导致选择特征区域重复选择致使判断结果不准确,因此本发明提出一种反向学习PatchGAN结构;
S5:将反向学习代替随机裁剪,当裁剪Patch块时,同时裁剪Patch块的反向块,旨在有效地降低因采用随机裁剪算法而导致特征区域重复选择致使判断结果不准确的概率,有效地提高判别器的准确率;
S6:在原网络上进行生成器、判别器、损失函数的改进;
S7:先将有雾图像集输入进生成网络中,生成网络采用双解码器架构并加入大气散射模型生成所需的无雾图像,随后将生成网络生成的无雾图像与现实中无雾图像同时起输入判别网络中,进行图像真假判别,反复进行以上网络训练,得到生成对抗网络模型,最后在模型中输入测试图像,得到所需要的无雾图像。
本发明还包括实施上述一种结合大气散射模型的生成对抗网络去雾方法的系统,包括依次连接的结合大气散射模型和双解码器的生成器构建模块、最终输出值模块、反向学习PatchGAN模块、反向学习代替模块、生成器、判别器、损失函数的改进模块、无雾图像获取模块。
与现有技术相比,本发明的优点主要表现在:
1.将网络生成器改进成双解码器结构,通过解码器分别生成无雾图像G1(x)和透射率G2(x),并结合大气散射模型还原雾图像I(x)’,进一步提高分解的质量;
2.将反向学习机制加入马尔科夫判别器结构中,有效地降低因采用随机裁剪算法而导致特征区域重复选择致使判断结果不准确的概率;
3.在原有的损失函数上,加入雾霾损失函数,使其符合网络训练规律从而提高图像转化的质量。
附图说明
图1为本发明方法的框架图。
图2为本发明方法中生成器结构图。
图3为本发明方法中反向学习判别器可视图。
具体实施方
下面结合附图1-3对本发明的技术方案做进一步描述。
本发明方法的算法框架如图1所示,一种结合大气散射模型的生成对抗网络去雾方法,包括以下步骤:
S1:构建结合大气散射模型和双解码器的生成器结构,以提高分解的质量,具体包括:
S11:搭建大气散射模型,定义为:
I(x)=J(x)×t(x)+A[1-t(x)] (1)
其中,式中J(x)为无雾霾的图像,I(x)为有雾霾的图像,A为大气光值,t(x)为透射率;
S12:生成器模型的设计:本发明的生成器结构是由一个编码器和两个解码器构成;编码器对有雾图像I(x)进行下采样,下采样完成后,采用两个解码器对编码后的数据进行解码;解码器1与现有深度学习方法相似,旨在获得无雾的图像J(x),使用解码器2用来拟合透射率t(x);
S13:本发明中真实的无雾图像和透射率使用J(x)和t(x)表示,生成的无雾图像和透射率使用G1(x)和G2(x)表示;
S14:将S13中所得G1(x)和G2(x)代入公式(1)中,可计算出有雾图像I(x)’;
S2:通过计算原图I(x)和S14中计算得的假图I(x)’之间的距离,可进一步训练生成器的能力,具体损失函数定义为:
Figure BDA0003202414890000041
其中,LCGAN(G,D)定义如下:
LCGAN(G,D)=Ex,y[logD(x,y)]+Ex[log(1-D(G(x)))] (3)
LL1(G)定义如下:
Figure BDA0003202414890000042
Lfog(G)定义如下:
Figure BDA0003202414890000051
其中,x为有雾图像分布,y为无雾图像分布;上述L1损失为假无雾图像与真无雾图像之间的L1距离;Lfog(G)为雾霾损失,即假有雾图像与真有雾图像之间的L1距离,其中假有雾图像由假无雾图像G1(x)和投射率G2(x)得到;A为大气光值,由图像最高亮度的值替代;
S3:PatchGAN将输入的图像随机裁剪成多个N*N的Patch块,判别器对每项Patch块进行真伪判断,得到结果真伪矩阵后对其进行平均值计算,得到最终输出值,以达到分类的目的;
S4:采用随机裁剪将输入图像裁剪成Patch块可能会导致选择特征区域重复选择致使判断结果不准确,因此本发明提出一种反向学习PatchGAN结构;
S5:将反向学习代替随机裁剪,当裁剪Patch块时,同时裁剪Patch块的反向块,旨在有效地降低因采用随机裁剪算法而导致特征区域重复选择致使判断结果不准确的概率,有效地提高判别器的准确率;
S6:在原网络上进行生成器、判别器、损失函数的改进;
S7:先将有雾图像集输入进生成网络中,生成网络采用双解码器架构并加入大气散射模型生成所需的无雾图像,随后将生成网络生成的无雾图像与现实中无雾图像同时起输入判别网络中,进行图像真假判别,反复进行以上网络训练,得到生成对抗网络模型,最后在模型中输入测试图像,得到所需要的无雾图像。
生成器结构如图2所示。本发明的生成器由一个编码器和两个解码器构成。在生成器的结构中,参考Ronneberger等人提出的U-net网络结构,它将下采样中同一维度的特征复制到上采样中,从而减少网络因内容丢失而导致生成低精度图像。网络的下采样采用卷积层和最大池化层对图像进行特征采集。上采样中采用反卷积对还原图像尺度。
反向学习判别器可视图如图3所示。判别器有5层网络结构,采用Conv-BatcNormaliation-LeakyRelu层训练,最后经过卷积操作将学习到的特征输入sigmod函数计算得到真伪结果。
一种结合大气散射模型的生成对抗网络去雾方法的系统,包括依次连接的结合大气散射模型和双解码器的生成器构建模块、最终输出值模块、反向学习PatchGAN模块、反向学习代替模块、生成器、判别器、损失函数的改进模块、无雾图像获取模块。
本说明书实例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不应当被视为仅限于实例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.一种结合大气散射模型的生成对抗网络去雾方法,包括如下步骤:
S1:构建结合大气散射模型和双解码器的生成器,以提高分解的质量,具体包括:
S11:搭建大气散射模型,定义为:
I(x)=J(x)×t(x)+A[1-t(x)] (1)
其中,式中J(x)为无雾霾的图像,I(x)为有雾霾的图像,A为大气光值,t(x)为透射率;
S12:设计生成器模型:生成器由一个编码器和两个解码器构成;编码器对有雾图像I(x)进行下采样,下采样完成后,采用两个解码器对编码后的数据进行解码;解码器1与现有深度学习方法相似,旨在获得无雾的图像J(x),使用解码器2用来拟合透射率t(x);
S13:真实的无雾图像和透射率使用J(x)和t(x)表示,生成的无雾图像和透射率使用G1(x)和G2(x)表示;
S14:将S13中所得G1(x)和G2(x)代入公式(1)中,可计算出有雾图像I(x)
S2:通过计算原图I(x)和S14中计算得的假图I(x)之间的距离,训练生成器的能力,具体损失函数定义为:
Figure FDA0003202414880000011
其中,LCGAN(G,D)定义如下:
LCGAN(G,D)=Ex,y[logD(x,y)]+Ex[log(1-D(G(x)))] (3)
LL1(G)定义如下:
Figure FDA0003202414880000012
Lfog(G)定义如下:
Figure FDA0003202414880000013
其中,x为有雾图像分布,y为无雾图像分布;上述L1损失为假无雾图像与真无雾图像之间的L1距离;Lfog(G)为雾霾损失,即假有雾图像与真有雾图像之间的L1距离,其中假有雾图像由假无雾图像G1(x)和投射率G2(x)得到;A为大气光值,由图像最高亮度的值替代;
S3:PatchGAN将输入的图像随机裁剪成多个N*N的Patch块,判别器对每项Patch块进行真伪判断,得到结果真伪矩阵后对其进行平均值计算,得到最终输出值,以达到分类的目的;
S4:采用随机裁剪将输入图像裁剪成Patch块会导致选择特征区域重复选择致使判断结果不准确,因此提出一种反向学习PatchGAN结构;
S5:将反向学习代替随机裁剪,当裁剪Patch块时,同时裁剪Patch块的反向块,旨在有效地降低因采用随机裁剪算法而导致特征区域重复选择致使判断结果不准确的概率,有效地提高判别器的准确率;
S6:在原网络上进行生成器、判别器、损失函数的改进;
S7:先将有雾图像集输入进生成网络中,生成网络采用双解码器架构并加入大气散射模型生成所需的无雾图像,随后将生成网络生成的无雾图像与现实中无雾图像同时起输入判别网络中,进行图像真假判别,反复进行以上网络训练,得到生成对抗网络模型,最后在模型中输入测试图像,得到所需要的无雾图像。
2.实施权利要求1所述的一种结合大气散射模型的生成对抗网络去雾方法的系统,其特征在于:包括依次连接的结合大气散射模型和双解码器的生成器构建模块、最终输出值模块、反向学习PatchGAN模块、反向学习代替模块、生成器、判别器、损失函数的改进模块、无雾图像获取模块。
CN202110907658.0A 2021-08-09 2021-08-09 一种结合大气散射模型的生成对抗网络去雾方法和系统 Active CN113724156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110907658.0A CN113724156B (zh) 2021-08-09 2021-08-09 一种结合大气散射模型的生成对抗网络去雾方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110907658.0A CN113724156B (zh) 2021-08-09 2021-08-09 一种结合大气散射模型的生成对抗网络去雾方法和系统

Publications (2)

Publication Number Publication Date
CN113724156A true CN113724156A (zh) 2021-11-30
CN113724156B CN113724156B (zh) 2024-03-29

Family

ID=78675236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110907658.0A Active CN113724156B (zh) 2021-08-09 2021-08-09 一种结合大气散射模型的生成对抗网络去雾方法和系统

Country Status (1)

Country Link
CN (1) CN113724156B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117952865A (zh) * 2024-03-25 2024-04-30 中国海洋大学 一种基于循环生成对抗网络的单幅图像去雾方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472818A (zh) * 2018-10-17 2019-03-15 天津大学 一种基于深度神经网络的图像去雾方法
CN109993804A (zh) * 2019-03-22 2019-07-09 上海工程技术大学 一种基于条件生成对抗网络的道路场景去雾方法
CN110211041A (zh) * 2019-05-08 2019-09-06 云南大学 一种基于感受野集成的神经网络图像分类器的优化方法
CN113066028A (zh) * 2021-03-31 2021-07-02 山东师范大学 一种基于Transformer深度神经网络的图像去雾方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472818A (zh) * 2018-10-17 2019-03-15 天津大学 一种基于深度神经网络的图像去雾方法
CN109993804A (zh) * 2019-03-22 2019-07-09 上海工程技术大学 一种基于条件生成对抗网络的道路场景去雾方法
CN110211041A (zh) * 2019-05-08 2019-09-06 云南大学 一种基于感受野集成的神经网络图像分类器的优化方法
CN113066028A (zh) * 2021-03-31 2021-07-02 山东师范大学 一种基于Transformer深度神经网络的图像去雾方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117952865A (zh) * 2024-03-25 2024-04-30 中国海洋大学 一种基于循环生成对抗网络的单幅图像去雾方法

Also Published As

Publication number Publication date
CN113724156B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN109447917B (zh) 基于内容和特征及多尺度模型的遥感图像雾霾消除方法
CN111709888B (zh) 一种基于改进的生成对抗网络的航拍图像去雾方法
CN111986108A (zh) 一种基于生成对抗网络的复杂海空场景图像去雾方法
CN110544213A (zh) 一种基于全局和局部特征融合的图像去雾方法
CN110675340A (zh) 一种基于改进的非局部先验的单幅图像去雾方法及介质
CN112116537A (zh) 图像反射光消除方法及图像反射光消除网络构建方法
CN112651917A (zh) 一种基于生成对抗网络的空间卫星低照度图像增强方法
CN111242868B (zh) 暗视觉环境下基于卷积神经网络的图像增强方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN112070688A (zh) 一种基于上下文引导生成对抗网络的单幅图像去雾方法
CN114627002A (zh) 一种基于自适应特征融合的图像去雾方法
Pham et al. Low-light image enhancement for autonomous driving systems using DriveRetinex-Net
Wang et al. Lightweight multiple scale-patch dehazing network for real-world hazy image
CN114119694A (zh) 一种基于改进U-Net的自监督单目深度估计算法
CN113724156A (zh) 一种结合大气散射模型的生成对抗网络去雾方法和系统
CN112950521B (zh) 一种图像去雾方法及生成器网络
CN113822816A (zh) 气雾散射模型优化的单张遥感图像去霾方法
CN117036182A (zh) 一种单幅图像去雾方法及系统
CN116452450A (zh) 一种基于3d卷积的偏振图像去雾方法
CN116129379B (zh) 一种雾天环境下的车道线检测方法
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
Kumar et al. Underwater image enhancement using deep learning
CN116664415A (zh) 一种基于循环生成对抗网络的图像去雾方法
CN114663315B (zh) 基于语义融合生成对抗网络的图像比特增强方法及装置
Wang et al. Prior‐guided multiscale network for single‐image dehazing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant