CN113554571B - 一种图像去雾方法、装置、电子设备及存储介质 - Google Patents

一种图像去雾方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113554571B
CN113554571B CN202110919960.8A CN202110919960A CN113554571B CN 113554571 B CN113554571 B CN 113554571B CN 202110919960 A CN202110919960 A CN 202110919960A CN 113554571 B CN113554571 B CN 113554571B
Authority
CN
China
Prior art keywords
image
adopting
false
feature map
low level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110919960.8A
Other languages
English (en)
Other versions
CN113554571A (zh
Inventor
房小兆
许炫淦
韩娜
滕少华
谢胜利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110919960.8A priority Critical patent/CN113554571B/zh
Publication of CN113554571A publication Critical patent/CN113554571A/zh
Application granted granted Critical
Publication of CN113554571B publication Critical patent/CN113554571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像去雾方法、装置、电子设备及存储介质，用于解决现有的生成式对抗网络模型对有雾图像的去雾效果较差的技术问题。本发明包括：获取样本图像集；样本集包括多个有雾图像及有雾图像对应的真实图像；将有雾图像输入生成器，生成虚假图像；计算真实图像和虚假图像的特征融合惩罚损失；将虚假图像和真实图像输入鉴别器，生成图像分类概率，并计算鉴别器的对抗损失函数；采用有雾图像和真实图像计算关联损失函数；采用特征融合惩罚误差、对抗损失函数和关联损失函数优化生成式对抗网络的参数，直至图像分类概率满足预设阈值，得到训练好的生成式对抗网络；将目标有雾图像输入训练好的生成式对抗网络，得到目标去雾图像。

Description

一种图像去雾方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像去雾方法、装置、电子设备及存储介质。
背景技术
现实世界存在的大量数据，很多时候都可以通过计算机访问得到。然而，数据不等于信息，更不等于知识，计算机虽然能够筛选数据、提取特征和获取信息，但在分析和理解数据得到可用的知识方面，仍有欠缺。
在现有技术中，解决上述为最有效的方法是生成式对抗网络。
生成式对抗网络(Generative Adversarial Networks,GAN)是一种用来训练生成器模型的方法。通过将博弈论中对抗的思想成功与深度学习相结合，为深度开辟了新的天地。生成式对抗网络将训练过程视为两个独立网络之间的博弈：生成网络以及判别网络，其试图将样本尽量正确地归类为来自真实分布p(x)还是模型生成分布p(z)。每当判别网络注意到两个分布之间的差异时，生成网络稍微调整其参数以使差异消失，直到最后(理论上可收敛)生成网络精确地再现真实的数据分布并且判别网络无法找到一个区别，GAN达到均衡。
然而，现有的生成式对抗网络模型对有雾图像的去雾效果较差。
发明内容
本发明提供了一种图像去雾方法、装置、电子设备及存储介质，用于解决现有的生成式对抗网络模型对有雾图像的去雾效果较差的技术问题。
本发明提供了一种图像去雾方法，涉及生成式对抗网络；所述生成式对抗网络包括生成器和鉴别器；所述方法包括：
获取样本图像集；所述样本集包括多个有雾图像及所述有雾图像对应的真实图像；
将所述有雾图像输入所述生成器，生成虚假图像；
计算所述真实图像和所述虚假图像的特征融合惩罚损失；
将所述虚假图像和所述真实图像输入所述鉴别器，生成图像分类概率，并计算所述鉴别器的对抗损失函数；
采用所述有雾图像和所述真实图像计算关联损失函数；
采用所述特征融合惩罚误差、所述对抗损失函数和所述关联损失函数优化所述生成式对抗网络的参数，直至所述图像分类概率满足预设阈值，得到训练好的生成式对抗网络；
将目标有雾图像输入所述训练好的生成式对抗网络，得到目标去雾图像。
可选地，所述计算所述真实图像和所述虚假图像的特征融合惩罚损失的步骤，包括：
采用所述BLC卷积块计算所述真实图像与所述虚假图像的中低级特征图误差；
采用所述BSC卷积块计算所述真实图像与所述虚假图像的高级特征图误差；
采用所述中低级特征图误差和所述高级特征图误差生成特征融合惩罚损失。
可选地，所述生成器包括BLC卷积块；所述采用所述BLC卷积块计算所述真实图像与所述虚假图像的中低级特征图误差的步骤，包括：
采用所述BLC卷积块提取所述真实图像的第一中低级特征；
采用所述BLC卷积块提取所述虚假图像的第二中低级特征；
采用所述第一中低级特征和所述第二中低级特征生成所述真实图像与所述虚假图像的中低级特征图误差。
可选地，所述生成器包括BSC卷积块；所述采用所述BSC卷积块计算所述真实图像与所述虚假图像的高级特征图误差的步骤，包括：
采用所述BSC卷积块提取所述真实图像的第一高级特征图误差；
采用所述BSC卷积块提取所述虚假图像的第二高级特征图误差；
采用所述第一高级特征图误差和所述第二高级特征图误差生成所述真实图像与所述虚假图像的高级特征图误差。
可选地，所述关联损失函数包括平均惩罚损失、感知损失和重度惩罚损失。
本发明还提供了一种图像去雾装置，涉及生成式对抗网络；所述生成式对抗网络包括生成器和鉴别器；所述装置包括：
样本图像集获取模块，用于获取样本图像集；所述样本集包括多个有雾图像及所述有雾图像对应的真实图像；
虚假图像生成模块，用于将所述有雾图像输入所述生成器，生成虚假图像；
特征融合惩罚损失计算模块，用于计算所述真实图像和所述虚假图像的特征融合惩罚损失；
鉴别模块，用于将所述虚假图像和所述真实图像输入所述鉴别器，生成图像分类概率，并计算所述鉴别器的对抗损失函数；
关联损失函数计算模块，用于采用所述有雾图像和所述真实图像计算关联损失函数；
优化模块，用于采用所述特征融合惩罚误差、所述对抗损失函数和所述关联损失函数优化所述生成式对抗网络的参数，直至所述图像分类概率满足预设阈值，得到训练好的生成式对抗网络；
目标去雾图像生成模块，用于将目标有雾图像输入所述训练好的生成式对抗网络，得到目标去雾图像。
可选地，所述特征融合惩罚损失计算模块，包括：
中低级特征图误差计算子模块，用于采用所述BLC卷积块计算所述真实图像与所述虚假图像的中低级特征图误差；
高级特征图误差计算子模块，用于采用所述BSC卷积块计算所述真实图像与所述虚假图像的高级特征图误差；
特征融合惩罚损失生成子模块，用于采用所述中低级特征图误差和所述高级特征图误差生成特征融合惩罚损失。
可选地，所述中低级特征图误差计算子模块，包括：
第一中低级特征提取单元，用于采用所述BLC卷积块提取所述真实图像的第一中低级特征；
第二中低级特征提取单元，用于采用所述BLC卷积块提取所述虚假图像的第二中低级特征；
中低级特征图误差计算单元，用于采用所述第一中低级特征和所述第二中低级特征生成所述真实图像与所述虚假图像的中低级特征图误差。
本发明还提供了一种电子设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行如上任一项所述的图像去雾方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的图像去雾方法。
从以上技术方案可以看出，本发明具有以下优点：本发明公开了一种图像去雾方法，包括：获取样本图像集；样本集包括多个有雾图像及有雾图像对应的真实图像；将有雾图像集输入生成器，生成虚假图像；计算真实图像和虚假图像的特征融合惩罚损失；将虚假图像和真实图像输入鉴别器，生成图像分类概率，并计算鉴别器的对抗损失函数；采用有雾图像和真实图像计算关联损失函数；采用特征融合惩罚误差、对抗损失函数和关联损失函数优化生成式对抗网络的参数，直至图像分类概率满足预设阈值，得到训练好的生成式对抗网络；将目标有雾图像输入训练好的生成式对抗网络，得到目标去雾图像。从而提高了图像去雾的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种图像去雾方法的步骤流程图；
图2为本发明实施例提供的一种生成器的结构示意图；
图3为本发明实施例提供的一种图像去雾装置的结构框图。
具体实施方式
本发明实施例提供了一种图像去雾方法、装置、电子设备及存储介质，用于解决现有的生成式对抗网络模型对有雾图像的去雾效果较差的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种图像去雾方法的步骤流程图。
本发明提供的一种图像去雾方法，具体可以包括以下步骤：
步骤101，获取样本图像集；样本集包括多个有雾图像及有雾图像对应的真实图像；
在本发明实施例实施例中，样本图像集中的样本包括有雾图像及其对应的清晰的真实图像。
步骤102，将有雾图像输入生成器，生成虚假图像；
在本发明实施例中，生成器由UNet与密集神经网络DenseNet结合成的UDNet网络组成，包括编码器和解码器，密集块中每层神经元之间包括组合操作，其由归一化层、ReLU激活函数及卷积层组成；编码器密集块之间是下采样，包括卷积和平均池化操作；解码器密集块之间是上采样，只包括了反卷积操作；并且连接三层BLC(BN-LeakyReLU-Conv)卷积块和一层BSC(BN-Sigmoid-Conv)卷积块组成。
Unet：该网络结构包括两个对称部分，前面一部分网络与普通卷积网络相同，使用了3x3的卷积和池化下采样，后面部分网络则是与前面基本对称，使用的是3x3卷积核上采样，此外，该网络中前面部分下采样网络的特征与后面上采样的特征进行结合。
DenseNet：该网络设计了多个密集块(DenseBlock，DB)，密集块中的每一层神经元彼此连接，大量的短连接缓解了梯度消失，同时加强信息流动与特征复用，减少参数计算量与特征丢失。在本发明实施例中，编码器与解码器各包括了5个密集块，每个密集块有4层神经元，密集块中的卷积核大小为3x3，零填充为1，步幅为1。
在一个示例中，生成器网络结构参数设置可以如下所示：编码器与解码器各包含5个密集块，其中每个密集块有4层神经元，瓶颈层设1个密集块12层神经元，通道增长率为15，密集块中的卷积核大小是3x3，零填充为1，步幅为1；密集块之间采用2x2平均池化，生成通道数为C(60)-DB(120)-D(60)-DB(120)-D(60)-DB(120)-D(60)-DB(120)-D(60)-DB(120)-D(60)-DB(240)-U(60)-DB(240)-U(60)-DB(240)-U(60)-DB(240)-U(60)-DB(240)-U(60)-DB(240)-C(60)-BLC(128)-BLC(256)-BLC(512)-C(3)-BSC(64)-C(3)，其中：C()指卷积后输出的通道数，DB()指密集块输出的通道数，D()指下采样后的通道数，U()指上采样后的通道数。
将有雾图像输入生成器后，可以生成虚假图像。
步骤103，计算真实图像和虚假图像的特征融合惩罚损失；
在本发明实施例中，生成器包括了三层BLC和一层BSC，通过BLC和BSC可以生成真实图像与虚假图像的特征融合惩罚损失。
在一个示例中，计算真实图像与虚假图像的特征融合惩罚损失的步骤，可以包括：
S31，采用BLC卷积块计算真实图像与虚假图像的中低级特征图误差；
S32，采用BSC卷积块计算真实图像与虚假图像的高级特征图误差；
S33，采用中低级特征图误差和高级特征图误差生成特征融合惩罚损失。
在具体实现中，BLC卷积块可以提取真实图像与虚假图像的RGB三维中低维特征，以生成中低级特征图误差。BSC卷积块可以提取真实图像与虚假图像的高维特征，以生成高级特征图误差。进而可以通过中低级特征图误差和高级特征图误差生成特征融合惩罚损失。
在一个示例中，采用BLC卷积块计算真实图像与虚假图像的中低级特征图误差的步骤，可以包括：
S311，采用BLC卷积块提取真实图像的第一中低级特征；
S312，采用BLC卷积块提取虚假图像的第二中低级特征；
S313，采用第一中低级特征和第二中低级特征生成真实图像与虚假图像的中低级特征图误差。
在另一个示例中，采用BSC卷积块计算真实图像与虚假图像的高级特征图误差的步骤，可以包括：
S321，采用BSC卷积块提取真实图像的第一高级特征图误差；
S322，采用BSC卷积块提取虚假图像的第二高级特征图误差；
S323，采用第一高级特征图误差和第二高级特征图误差生成真实图像与虚假图像的高级特征图误差。
在具体实现中，特征融合惩罚损失，其计算公式如下所示：
Ls＝Lh+αLs1+βLs2+γLs3
其中，Lh表示BSC卷积块计算所得的高级特征图误差；
Lh＝||D(x,y)-D(x,G(x))||1
Lsi表示第i个BLC卷积块计算所得的中低级特征图误差，i＝1，2，3；
Lsi＝||Di(x,y)-Di(x,G(x))||1
α、β、γ表示超参数，且α+β+γ＝1
在一个示例中，如图2所示，图2为本发明实施例提供的一种生成器的结构示意图。其中，Haze Image为有雾图像，Dehaze Image为去雾图像，Conv为卷积层，DB为密集块，D为下采样，U为上采样，G(x)为生成的虚假图像，BN为归一化层，Ls为特征融合惩罚损失。
步骤104，将虚假图像和真实图像输入鉴别器，生成图像分类概率，并计算鉴别器的对抗损失函数；
在获取到虚假图像后，可以将虚假图像和真是图像输入鉴别器中，生成图像分类概率，并计算鉴别器的对抗损失函数。
计算公式如下：
LF＝||Di(x,y)-Di(x,G(x))||1
其中，x代表有雾图像，y代表清晰的真实图像，Di代表鉴别器网络第i层隐含层提取的特征图
其中，鉴别器整体结构可以由五层卷积层组成，其中第二到第四卷积层为BLC卷积块，并采用Patch GAN结构，鉴别器用于判断图像每块区域的真假性；在三个BLC卷积块中，提取真实图像与虚假图像的中低级特征，将特征图误差作为对抗感知损失；并采用Msmall-Patch训练方式，提取糟糕区域或容易被误判区域，对其重度惩罚。
Msmall-Patch训练方式：通过对提取到的多个小区域实施重度惩罚，这些小区域对应糟糕区域或容易被误判的区域。当输入虚假图像时，对鉴别器最后Patch部分用Max-Pool方式训练，应为虚假图像中得分较高的区域容易被误判为真实图像；当输入真实图像时对鉴别器最后Patch部分采用Min-Pool方式训练，因为真实图像中得分较低的区域容易被误判为虚假图像。通过Msmall-Patch训练能够提高鉴别器鉴别能力，另外，保持了生成器与鉴别器训练同步性，加快训练收敛。
在一个示例中，鉴别器网络的结构参数可以设置如下：网络前两层卷积核大小为3x3，步幅为1，零填充为1；后三层卷积核大小为4x4，步幅为2，零填充为1；鉴别器输出Patch大小为32x32，Max/Min-Pool大小为8x8，Msmall-Patch大小为4x4；鉴别器通道数为C(64)-BLC(128)-BLC(256)-BLC(512)-C(1)。
步骤105，采用有雾图像和真实图像计算关联损失函数；
在本发明实施例中，可以采用有雾图像和真实图像计算关联损失函数。
其中，关联损失函数可以包括平均惩罚损失、感知损失和重度惩罚损失。
具体地，平均惩罚损失即对每张图像的损失取均值惩罚图像，计算公式为：
LA＝En[avg[-ln(1-Dlw(x,G(x)))]]+
En[avg[-ln(Dlw(x,y))]]
其中，LA为平均惩罚损失，x代表有雾图像，y代表真实图像，l、w、n分别代表样本图像的长度、宽度与批处理数，E代表期望值，avg代表对所有损失取均值，G(x)表示虚假图像，Dlw(x,G(x))与Dlw(x,y)分别表示在长度和宽度分别为l，w的图像中，有雾图像与生成的虚假图像(或有雾图像与真实图像)之间的误差损失。
感知损失：感知损失是将CNN网络隐含层作为特征提取器，利用已经训练好的图像分类网络VGG做特征提取，提取高级特征，经过Pool4层之后计算得到，计算公式为：
LP＝||V(y)-V(G(x))||1
其中，V代表VGG网络的隐含层提取的特征图，V(y)代表真实图像在VGG网络隐含层所提取的特征图，V(G(x))代表生成的虚假图像在VGG网络隐含层所提取的特征图。
重度惩罚损失：选取数个最大损失值取均值惩罚图像，具体表现为：生成器方法，产生最大损失值的区域对应糟糕区域，鉴别器方法，产生最大损失值的区域对应易被误判区域，计算公式为：
LI＝En[avg[num_max[-ln(1-Dlw(x,G(x)))]]]+
En[avg[num_max[-ln(Dlw(x,y))]]]
其中，num_max表示从输出中选取数个最大损失值。
步骤106，采用特征融合惩罚误差、对抗损失函数和关联损失函数优化生成式对抗网络的参数，直至图像分类概率满足预设阈值，得到训练好的生成式对抗网络；
根据上述各个损失函数对生成式对抗网络的参数进行调整，使得鉴别器对图像的图像分类概率达到0.5时，表征鉴别器已很难分辨生成器生成的图像的真假，此时GAN达到平衡。
步骤107，将目标有雾图像输入训练好的生成式对抗网络，得到目标去雾图像。
在完成生成式对抗网络的训练后，将需要去雾的目标有雾图像输入该训练好的生成式对抗网络，可以得到目标去雾图像。
本发明公开了一种图像去雾方法，包括：获取样本图像集；样本集包括多个有雾图像及有雾图像对应的真实图像；将有雾图像集输入生成器，生成虚假图像；计算真实图像和虚假图像的特征融合惩罚损失；将虚假图像和真实图像输入鉴别器，生成图像分类概率，并计算鉴别器的对抗损失函数；采用有雾图像和真实图像计算关联损失函数；采用特征融合惩罚误差、对抗损失函数和关联损失函数优化生成式对抗网络的参数，直至图像分类概率满足预设阈值，得到训练好的生成式对抗网络；将目标有雾图像输入训练好的生成式对抗网络，得到目标去雾图像。从而提高了图像去雾的准确性。
请参阅图3，图3为本发明实施例提供的一种图像去雾装置的结构框图。
本发明实施例提供了一种图像去雾装置，涉及生成式对抗网络；生成式对抗网络包括生成器和鉴别器；装置包括：
样本图像集获取模块301，用于获取样本图像集；样本集包括多个有雾图像及有雾图像对应的真实图像；
虚假图像生成模块302，用于将有雾图像输入生成器，生成虚假图像；
特征融合惩罚损失计算模块303，用于计算真实图像和虚假图像的特征融合惩罚损失；
鉴别模块304，用于将虚假图像和真实图像输入鉴别器，生成图像分类概率，并计算鉴别器的对抗损失函数；
关联损失函数计算模块305，用于采用有雾图像和真实图像计算关联损失函数；
优化模块306，用于采用特征融合惩罚误差、对抗损失函数和关联损失函数优化生成式对抗网络的参数，直至图像分类概率满足预设阈值，得到训练好的生成式对抗网络；
目标去雾图像生成模块307，用于将目标有雾图像输入训练好的生成式对抗网络，得到目标去雾图像。
在本发明实施例中，特征融合惩罚损失计算模块303，包括：
中低级特征图误差计算子模块，用于采用BLC卷积块计算真实图像与虚假图像的中低级特征图误差；
高级特征图误差计算子模块，用于采用BSC卷积块计算真实图像与虚假图像的高级特征图误差；
特征融合惩罚损失生成子模块，用于采用中低级特征图误差和高级特征图误差生成特征融合惩罚损失。
在本发明实施例中，生成器包括BLC卷积块；中低级特征图误差计算子模块，包括：
第一中低级特征提取单元，用于采用BLC卷积块提取真实图像的第一中低级特征；
第二中低级特征提取单元，用于采用BLC卷积块提取虚假图像的第二中低级特征；
中低级特征图误差计算单元，用于采用第一中低级特征和第二中低级特征生成真实图像与虚假图像的中低级特征图误差。
在本发明实施例中，生成器包括BSC卷积块；高级特征图误差计算子模块，包括：
第一高级特征图误差提取单元，用于采用BSC卷积块提取真实图像的第一高级特征图误差；
第二高级特征图误差提取单元，用于采用BSC卷积块提取虚假图像的第二高级特征图误差；
高级特征图误差生成单元，用于采用第一高级特征图误差和第二高级特征图误差生成真实图像与虚假图像的高级特征图误差。
在本发明实施例中，关联损失函数包括平均惩罚损失、感知损失和重度惩罚损失。
本发明实施例还提供了一种电子设备，设备包括处理器以及存储器：
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行本发明实施例的图像去雾方法。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行本发明实施例的图像去雾方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种图像去雾方法，其特征在于，涉及生成式对抗网络；所述生成式对抗网络包括生成器和鉴别器；所述方法包括：
获取样本图像集；所述样本图像集包括多个有雾图像及所述有雾图像对应的真实图像；
将所述有雾图像输入所述生成器，生成虚假图像；
计算所述真实图像和所述虚假图像的特征融合惩罚损失；
将所述虚假图像和所述真实图像输入所述鉴别器，生成图像分类概率，并计算所述鉴别器的对抗损失函数；
采用所述有雾图像和所述真实图像计算关联损失函数；
采用所述特征融合惩罚损失、所述对抗损失函数和所述关联损失函数优化所述生成式对抗网络的参数，直至所述图像分类概率满足预设阈值，得到训练好的生成式对抗网络；
将目标有雾图像输入所述训练好的生成式对抗网络，得到目标去雾图像；
其中，所述计算所述真实图像和所述虚假图像的特征融合惩罚损失的步骤，包括：
采用BLC卷积块计算所述真实图像与所述虚假图像的中低级特征图误差；
采用BSC卷积块计算所述真实图像与所述虚假图像的高级特征图误差；
采用所述中低级特征图误差和所述高级特征图误差生成特征融合惩罚损失；
其中，所述生成器包括BLC卷积块；所述采用BLC卷积块计算所述真实图像与所述虚假图像的中低级特征图误差的步骤，包括：
采用所述BLC卷积块提取所述真实图像的第一中低级特征；
采用所述BLC卷积块提取所述虚假图像的第二中低级特征；
采用所述第一中低级特征和所述第二中低级特征生成所述真实图像与所述虚假图像的中低级特征图误差；
其中，所述生成器包括BSC卷积块；所述采用BSC卷积块计算所述真实图像与所述虚假图像的高级特征图误差的步骤，包括：
采用所述BSC卷积块提取所述真实图像的第一高级特征图误差；
采用所述BSC卷积块提取所述虚假图像的第二高级特征图误差；
采用所述第一高级特征图误差和所述第二高级特征图误差生成所述真实图像与所述虚假图像的高级特征图误差。
2.根据权利要求1所述的方法，其特征在于，所述关联损失函数包括平均惩罚损失、感知损失和重度惩罚损失。
3.一种图像去雾装置，其特征在于，涉及生成式对抗网络；所述生成式对抗网络包括生成器和鉴别器；所述装置包括：
样本图像集获取模块，用于获取样本图像集；样本集包括多个有雾图像及所述有雾图像对应的真实图像；
虚假图像生成模块，用于将所述有雾图像输入所述生成器，生成虚假图像；
特征融合惩罚损失计算模块，用于计算所述真实图像和所述虚假图像的特征融合惩罚损失；
鉴别模块，用于将所述虚假图像和所述真实图像输入所述鉴别器，生成图像分类概率，并计算所述鉴别器的对抗损失函数；
关联损失函数计算模块，用于采用所述有雾图像和所述真实图像计算关联损失函数；
优化模块，用于采用所述特征融合惩罚损失、所述对抗损失函数和所述关联损失函数优化所述生成式对抗网络的参数，直至所述图像分类概率满足预设阈值，得到训练好的生成式对抗网络；
目标去雾图像生成模块，用于将目标有雾图像输入所述训练好的生成式对抗网络，得到目标去雾图像；
其中，所述特征融合惩罚损失计算模块，包括：
中低级特征图误差计算子模块，用于采用BLC卷积块计算所述真实图像与所述虚假图像的中低级特征图误差；
高级特征图误差计算子模块，用于采用BSC卷积块计算所述真实图像与所述虚假图像的高级特征图误差；
特征融合惩罚损失生成子模块，用于采用所述中低级特征图误差和所述高级特征图误差生成特征融合惩罚损失；
其中，所述生成器包括BLC卷积块；所述中低级特征图误差计算子模块，包括：
第一中低级特征提取单元，用于采用所述BLC卷积块提取所述真实图像的第一中低级特征；
第二中低级特征提取单元，用于采用所述BLC卷积块提取所述虚假图像的第二中低级特征；
中低级特征图误差计算单元，用于采用所述第一中低级特征和所述第二中低级特征生成所述真实图像与所述虚假图像的中低级特征图误差；
其中，生成器包括BSC卷积块；高级特征图误差计算子模块，包括：
第一高级特征图误差提取单元，用于采用BSC卷积块提取真实图像的第一高级特征图误差；
第二高级特征图误差提取单元，用于采用BSC卷积块提取虚假图像的第二高级特征图误差；
高级特征图误差生成单元，用于采用第一高级特征图误差和第二高级特征图误差生成真实图像与虚假图像的高级特征图误差。
4.一种电子设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-2任一项所述的图像去雾方法。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-2任一项所述的图像去雾方法。
CN202110919960.8A 2021-08-11 2021-08-11 一种图像去雾方法、装置、电子设备及存储介质 Active CN113554571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110919960.8A CN113554571B (zh) 2021-08-11 2021-08-11 一种图像去雾方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110919960.8A CN113554571B (zh) 2021-08-11 2021-08-11 一种图像去雾方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113554571A CN113554571A (zh) 2021-10-26
CN113554571B true CN113554571B (zh) 2023-07-04

Family

ID=78133833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110919960.8A Active CN113554571B (zh) 2021-08-11 2021-08-11 一种图像去雾方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113554571B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064422A (zh) * 2018-07-17 2018-12-21 中国海洋大学 一种基于融合对抗网络的水下图像复原方法
CN110738624A (zh) * 2019-10-18 2020-01-31 电子科技大学 一种区域自适应的图像去雾系统及方法
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN112150379A (zh) * 2020-09-22 2020-12-29 武汉工程大学 基于感知判别增强生成对抗网络的图像去雾方法及装置
CN112801902A (zh) * 2021-01-29 2021-05-14 福州大学 一种基于改进生成对抗网络的交通图像去雾方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064422A (zh) * 2018-07-17 2018-12-21 中国海洋大学 一种基于融合对抗网络的水下图像复原方法
CN110738624A (zh) * 2019-10-18 2020-01-31 电子科技大学 一种区域自适应的图像去雾系统及方法
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN112150379A (zh) * 2020-09-22 2020-12-29 武汉工程大学 基于感知判别增强生成对抗网络的图像去雾方法及装置
CN112801902A (zh) * 2021-01-29 2021-05-14 福州大学 一种基于改进生成对抗网络的交通图像去雾方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多输入融合对抗网络的水下图像增强;林森;刘世本;唐延东;;红外与激光工程(第05期);第1-4页 *

Also Published As

Publication number Publication date
CN113554571A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
Gao et al. Classification of CT brain images based on deep learning networks
CN108090902B (zh) 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法
CN109584251A (zh) 一种基于单目标区域分割的舌体图像分割方法
CN107545245A (zh) 一种年龄估计方法及设备
CN111783505A (zh) 伪造人脸的识别方法、装置和计算机可读存储介质
CN109858476B (zh) 标签的扩充方法和电子设备
CN105096259A (zh) 深度图像的深度值恢复方法和系统
CN106815596A (zh) 一种图像分类器建立方法及装置
CN110930418A (zh) 融合W-net和条件生成对抗网络的视网膜血管分割方法
CN112836756B (zh) 图像识别模型训练方法、系统和计算机设备
CN105376563B (zh) 基于双目融合特征相似度的无参考立体图像质量评价方法
CN106650670A (zh) 活体人脸视频的检测方法及装置
CN113239875B (zh) 人脸特征的获取方法、系统、装置及计算机可读存储介质
CN111080592B (zh) 一种基于深度学习的肋骨提取方法及装置
CN111914665A (zh) 一种人脸遮挡检测方法、装置、设备及存储介质
CN107506350A (zh) 一种识别信息的方法和设备
CN107067022B (zh) 图像分类模型的建立方法、建立装置和设备
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN112102928B (zh) 病理图像染色风格归一化方法及装置
CN109409227A (zh) 一种基于多通道cnn的手指静脉图质量评估方法及其装置
CN113963170A (zh) 一种基于交互式特征融合的rgbd图像显著性检测方法
CN110349159A (zh) 基于权重能量自适应分布的三维形状分割方法及系统
CN114842524B (zh) 一种基于不规则显著性像素簇的人脸鉴伪方法
CN117036770A (zh) 基于级联注意力的检测模型训练和目标检测方法、系统
CN107133631A (zh) 一种识别电视台图标的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant