CN114119420B - 一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法 - Google Patents

一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法 Download PDF

Info

Publication number
CN114119420B
CN114119420B CN202111457187.4A CN202111457187A CN114119420B CN 114119420 B CN114119420 B CN 114119420B CN 202111457187 A CN202111457187 A CN 202111457187A CN 114119420 B CN114119420 B CN 114119420B
Authority
CN
China
Prior art keywords
image
fog
defogging
foggy
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111457187.4A
Other languages
English (en)
Other versions
CN114119420A (zh
Inventor
张亚飞
高继蕊
李华锋
谢明鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202111457187.4A priority Critical patent/CN114119420B/zh
Publication of CN114119420A publication Critical patent/CN114119420A/zh
Application granted granted Critical
Publication of CN114119420B publication Critical patent/CN114119420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，属图像处理领域。本发明设计了一种将真实场景下的有雾图像中的雾迁移到清晰图像上以生成数据集，然后再利用一种以特征聚合为基础的去雾网络实现图像去雾的方法。在雾迁移的过程中，设计了一种多层次特征分块鉴别方法将真实场景中的雾迁移到清晰图像上以生成有雾图像训练数据集，该数据集中图像拥有与真实有雾场景下的雾图像相似的风格和在雾图像中的雾的分布特性。此外，通过细粒度细节信息和语义信息聚合的方式实现提取特征的补充以实现图像去雾。该方法在真实场景下的有雾图像上取得了良好的去雾效果，极大克服了合成数据集训练的去雾模型在真实有雾图像上泛化性能较差的问题。

Description

一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法
技术领域
本发明涉及图像处理领域，特别是涉及一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法。
背景技术
图像去雾是一种用于改善图像质量的图像处理技术，优质的图像质量能够为高水平计算机视觉任务如图像识别和分类、语义分割、目标检测等任务起到良好的辅助作用。在图像去雾中，研究者考虑到雾的成像原理—图像质量退化的主要原因一方面是目标物体反射的光受到大气中悬浮粒子的吸收和散射作用，使物体反射的光衰减，一方面是太阳光等环境光受大气中散射介质的散射作用形成背景光，且这部分背景光强度大于目标物体反射的光。因此导致采集到的图像亮度降低、对比度下降且结果模糊不清。根据这一成像原理，早期的研究者们利用图像中存在的统计规律设计先验来实验图像去雾。然而，该方法因为受到图像先验准确性的限制，经常导致去雾过度(局部区域颜色失真)或者去雾不足(有大量的雾残留)的情况。
近年来，随着深度学习技术的发展和大规模数据的出现，研究者们开始用深度学习和机器学习技术解决各种各样的问题。图像处理技术也不例外，然而，在图像去雾中，我们不可能同时从同一时间，同一地点获取一对既有雾又无雾的图像。因此有研究者根据雾的成像原理设计了大气散射模型，并根据大气散射模型合成有雾图像数据集来训练深度神经网络去雾模型，以这种方式训练的模型虽然在合成测试集上取得了良好的去雾效果，但在真实场景中的雾图像上并不友好。
因此，本发明设计了一种能够适应真实场景下有雾图像域的有雾图像合成方法并设计了相应的特征提取模块来实现图像去雾。设计的有雾图像合成方法以真实场景中的雾图像作为辅助信息，联合多层次特征分块鉴别器通过对抗训练的方式来合成更加适应真实场景有雾图像域的有雾图像。此外，设计细节纹理信息和深层语义信息互补的细粒度特征补偿模块和残差密集注意力模块以实现特征的聚合，从而能够更好的实现图像去雾。
发明内容
本发明提供了一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，本方法在真实场景下的有雾图像上取得了良好的去雾效果，在一定程度上克服了合成公开数据集训练去雾模型后在真实有雾图像域上泛化性能较差的问题。
本发明所采用的技术方案是：一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，包括如下步骤：
Step1预训练透射图估计网络：通过室内有雾图像和与之相对应的透射图预训练透射图估计网络；
Step2估计真实有雾图像的全局大气光:通过暗通道先验的原理,首先找到真实有雾图像的暗通道,再找到暗通道中最亮的像素作为大气光；
Step3利用大气散射模型生成有雾图像：利用透射图估计网络估计出真实场景有雾图像的透射图，然后结合Step2中的全局大气光和清晰图像生成有雾图像；
Step4对透射图估计网络进行微调：通过多层次特征分块鉴别器与透射图估计网络进行对抗训练，使Step3中生成的有雾图像风格和真实场景下的有雾图像尽可能相似；
Step5设计清晰图像特征提取器和去雾网络的结构：设计了残差密集注意力模块和细粒度特征信息补偿模块实现特征聚合；
Step6训练清晰图像特征提取器：将清晰图像作为清晰图像特征提取器的输入，最终重建出清晰图像，保证清晰图像提取到的中间特征尽可能准确；
Step7训练去雾网络：将Step3中生成的有雾图像作为去雾网络的输入，以Step6提取的清晰图像特征作为中间特征监督，训练去雾网络，得到最终训练好的去雾模型；
Step8利用Step7中的模型对有雾图像进行去雾并对去雾结果进行评估。
作为本发明的进一步方案，所述Step1中的训练集为RESIDE数据集中室内合成有雾图像和与之相对应的透射图，将透射图作为标签，训练透射图估计网络，使其拥有生成透射图的能力，在训练过程中损失函数如下所示：
Lct＝||T(Xin)-t(x)||1
其中，Xin为RESIDE数据集中室内合成有雾图像，t(x)为Xin对应的透射图，直接从RESIDE公开数据集中的ITS子集中获得，T(·)为透射图估计网络T；
该损失函数约束网络使其生成的透射图和标签透射图保持一致。
作为本发明的进一步方案，所述Step2中：首先在图像中15×15的区域找出像素最小值，然后在这些最小值中找出最亮的像素作为全局大气光的值。
作为本发明的进一步方案，所述Step3中假设I为真实雾场景下的图像，
Figure BDA0003386961650000031
为清晰无雾图像，且和I非成对；假设用于估计透射图t(x)的网络为T，根据透射图估计网络T，从I中估计出透射图t(x)，再按照暗通道先验原理估计出大气光A，然后根据估计出的t(x)和大气光A，生成雾图像
Figure BDA0003386961650000032
Figure BDA0003386961650000033
作为本发明的进一步方案，所述Step4中，通过多层次特征分块鉴别器对生成的雾图像和真实场景下的雾图像不仅做图像级的鉴别，而且做特征块级的鉴别，进而微调透射图估计网络，使其生成的透射图更加适应合格的雾图像的生成，使生成的雾图像风格与真实场景下的雾图像更加相似，微调时的对抗损失函数如下所示：
Figure BDA0003386961650000034
Figure BDA0003386961650000035
其中，
Figure BDA0003386961650000036
和
Figure BDA0003386961650000037
分别表示图像鉴别器和特征分块鉴别器的损失；Dimg、Dfea分别表示图像鉴别器和特征分块鉴别器；
Figure BDA0003386961650000038
分别表示真实雾图像，真实雾图像的大气光和清晰无雾图像，其中I和
Figure BDA0003386961650000039
不成对；FI和
Figure BDA00033869616500000310
分别表示真实雾图像和生成雾图像输入到图像鉴别器Dimg的过程中得到的某层的特征，其次，将透射图估计网络和大气散射模型统称为雾生成器，训练该雾生成器的损失函数LG定义为：
Figure BDA00033869616500000311
其中，T(·)和
Figure BDA00033869616500000312
分别表示预训练好的透射图估计网络和再训练时的透射图估计网络。
作为本发明的进一步方案，所述Step5中设计了一个细粒度特征信息补偿模块，该模块由细粒度细节信息补偿模块和细粒度深层语义信息补偿模块两部分构成，同时补充了纹理细节信息和语义信息，起到很好的特征聚合作用。
作为本发明的进一步方案，所述Step6中清晰图像特征提取器的作用是用于提取足够准确的清晰图像的特征，为保证该提取器提取的中间特征足够准确，将提取到的特征再次重建为清晰图像以判断中间的特征是否准确。
作为本发明的进一步方案，所述Step7中利用生成的有雾图像和它相对应的清晰图像作为数据集训练去雾网络，其中生成的有雾图像作为网络的输入，清晰图像作为标签，同时加入清晰图像特征提取器的特征监督，训练去雾网络的损失函数如下所示：
首先，使用一致性损失函数和重建损失函数保证去雾后的图像与标签图像尽可能的相似，一致性损失函数：
Figure BDA0003386961650000041
其中，
Figure BDA0003386961650000042
表示清晰图像，
Figure BDA0003386961650000043
表示去雾结果；
重建损失函数：
Figure BDA0003386961650000044
此外，去雾分支的训练是以清晰图像提取器提取的特征作为引导和约束，L1损失Ls1和Ls2分别用于约束清晰图像特征提取器和去雾分支中相对应层中提取到的特征之间的距离，以实现更好的去雾效果，作为特征监督的中间损失函数如下所示：
Figure BDA0003386961650000045
Figure BDA0003386961650000046
其中，
Figure BDA0003386961650000047
和
Figure BDA0003386961650000048
分别表示去雾分支中提取到的细粒度特征补偿后的特征和重建特征；F'c和F're分别表示清晰图像特征提取器提取到的细粒度特征补偿后的特征和重建特征；
以上损失函数共同监督训练去雾网络。
作为本发明的进一步方案，所述Step8中利用峰值信噪比PSNR和结构相似性SSIM对模型去雾结果进行评估，同时观察真实场景有雾图像去雾结果的视觉效果。
本发明设计了一种适应真实场景中有雾图像域的雾迁移和特征聚合网络，该网络由雾迁移子网络和去雾子网络两部分构成。其中，雾迁移子网络用于生成接近真实场景中的有雾图像的合成有雾图像数据集；去雾子网络中的细粒度特征补偿模块和残差密集注意力模块使网络提取到的特征聚合，重建出更好的去雾图像。
本发明的有益效果：
1、雾迁移子网络通过加入多层次特征分块鉴别器，在局部特征块水平上对生成有雾图像做出鉴别，使最终雾迁移子网络生成的有雾图像更加真实，更加适应真实有雾图像中雾分布不均匀这一特性；
2、通过利用细粒度特征补偿模块，有效的补偿了浅层细节信息和深层语义信息，同时利用残差密集注意力模块更加突出重要的信息以达到特征聚合的目的。最后利用该聚合特征能够更加有效的重建出去雾图像。
通过上述两个模块相互作用，本发明中的方法能够更好的适应真实场景中的有雾图像域，达到更好的去雾效果。
附图说明
图1为一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法的总体流程图。
具体实施方式
实施例1：如图1所示，一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，所述方法的具体步骤包括：
Step1对透射图估计网络进行预训练：通过室内有雾图像和与之相对应的透射图预训练透射图估计网络。在透射图估计网络预训练的过程中，我们选取公开数据集RESIDE数据集中的室内合成有雾图像和它相对应的透射图作为数据集预训练网络，使网络拥有从有雾图像中估计透射图的能力，然后保存训练模型参数。所述Step1中训练集为RESIDE数据集中室内合成有雾图像和与之相对应的透射图时，将透射图作为标签，训练透射图估计网络，使其拥有生成透射图的能力。在训练过程中损失函数如下所示：
Lct＝||T(Xin)-t(x)||1
其中，Xin为RESIDE数据集中室内合成有雾图像，t(x)为Xin对应的透射图(直接从RESIDE公开数据集中的ITS子集中获得)，T(·)为透射图估计网络T。该损失函数约束网络使其生成的透射图和标签透射图保持一致。
Step2估计真实有雾图像的全局大气光：通过暗通道先验的原理,首先找到真实有雾图像的暗通道,再找到暗通道中最亮的像素作为大气光。与大多数的方法不同，本发明中的方法直接从真实场景有雾图像中提取全局大气光，因此用它来合成的有雾图像更加适应真实场景中的有雾图像。所述Step2中：首先在图像中15×15的区域找出像素最小值，然后在这些最小值中找出最亮的像素作为全局大气光的值。
Step3利用大气散射模型生成有雾图像：利用透射图估计网络估计出真实场景有雾图像的透射图并结合Step2中的全局大气光和清晰图像生成有雾图像。在这一步中，本发明利用Step1中保存的训练模型参数来估计真实场景下有雾图像的透射图，然后根据这一透射图和Step2中提取的全局大气光与任意一张清晰图像利用大气散射模型合成有雾图像。具体地，假设I为真实雾场景下的图像，
Figure BDA0003386961650000061
为清晰无雾图像，且和I非成对。假设用于估计透射图t(x)的网络为T。根据透射图估计网络T，从I中估计出透射图t(x)，再按照暗通道先验原理估计出大气光A，然后根据估计出的t(x)和大气光A，生成雾图像
Figure BDA0003386961650000062
Figure BDA0003386961650000063
Step4对透射图估计网络进行微调：通过多层次特征分块鉴别器与透射图估计网络进行对抗训练，使Step3中生成的有雾图像风格和真实场景下的有雾图像尽可能相似。通过多层次特征分块鉴别器对生成的雾图像和真实场景下的雾图像不仅做图像级的鉴别，而且做特征块级的鉴别，进而微调透射图估计网络，使其生成的透射图更加适应合格的雾图像的生成，使生成的雾图像风格与真实场景下的雾图像更加相似。多层次特征分块鉴别器中包含三个子鉴别器，分别是一个图像鉴别器和两个特征分块鉴别器。图像鉴别器保证合成有雾图像的整体风格和真实的有雾图像相似，而两个特征分块鉴别器的输入分别取自图像鉴别器第二层的特征和第四层的特征，并将其分成两块和四块。两个特征分块鉴别器在图像的局部特征上做鉴别，使鉴别器能够关注到局部区域的信息，即局部区域的雾，同时适应真实场景中非均匀的雾分布。鉴别器的对抗损失函数如下所示：
Figure BDA0003386961650000071
Figure BDA0003386961650000072
其中，
Figure BDA0003386961650000073
和
Figure BDA0003386961650000074
分别表示图像鉴别器和特征分块鉴别器的损失；Dimg、Dfea分别表示图像鉴别器和特征分块鉴别器；
Figure BDA0003386961650000075
分别表示真实雾图像，真实雾图像的大气光和清晰无雾图像，其中I和
Figure BDA0003386961650000076
不成对；FI和
Figure BDA0003386961650000077
分别表示真实雾图像和生成雾图像输入到图像鉴别器Dimg的过程中得到的某层的特征。雾生成器的损失函数LG可以定义为：
Figure BDA0003386961650000078
其中，T(·)和
Figure BDA0003386961650000079
分别表示预训练好的透射图估计网络和微调时的透射图估计网络。
Step5设计清晰图像特征提取器和去雾网络：设计了一个细粒度特征信息补偿模块实现特征聚合。在清晰图像特征提取器中，我们利用残差密集注意力模块作为基本模块。残差密集注意力模块不仅能够补充随着网络结构的加深而丢失的图像特征信息，同时能够利用注意力模块关注有用信息，使有用特征信息更加突出。基于深度神经网络的特性，网络提取到的浅层特征包含丰富的细节纹理信息，而随着网络层数的增多，浅层细节信息丢失严重，而含有丰富的语义信息。因此，本发明设计的细粒度特征信息补偿模块包含细粒度细节信息补偿模块和细粒度深层语义信息补偿模块两部分构成，细粒度细节信息补偿模块将浅层的细节信息补充到深层语义信息中去，而细粒度深层语义信息补偿模块则将深层语义信息补偿到浅层细节信息中去，实现了浅层细节信息和深层语义信息的互补。
Step6训练清晰图像特征提取器：将清晰图像作为清晰图像特征提取器的输入，最终重建出清晰图像，保证中间特征尽可能准确。为了保证清晰图像提取到的特征的准确性，在本发明中将提取到的清晰图像特征重建为清晰图像来训练清晰图像特征提取器分支。在清晰图像特征提取器训练的过程中，我们寻取RESIDE数据集中的室外清晰图像作为训练数据集和测试数据集。在训练的过程中，本发明使用以下损失函数作为监督：
本发明使用一致性损失Lcc和MSE损失LMSEc来监督清晰图像特征提取器的学习：
Figure BDA0003386961650000081
Figure BDA0003386961650000082
其中，I'(x)表示利用清晰图像提取器提取的特征重建的图像，
Figure BDA0003386961650000083
表示标签清晰图像。n表示图像中像素点的个数。
Step7训练去雾网络：将Step3中生成的有雾图像作为去雾网络的输入，以Step6提取的清晰图像特征作为监督，训练去雾网络，得到最终的去雾模型。利用生成的有雾图像和它相对应的清晰图像作为数据集训练去雾网络。其中，在训练去雾网络的过程中，网络的输入为雾迁移网络合成的有雾图像，然后将合成有雾图像相对应的清晰图像作为训练网络的标签，同时加入清晰图像特征提取器的特征监督，在训练的过程中，我们使用到的损失函数包括以下几个部分：
首先，使用一致性损失函数和重建损失函数保证去雾后的图像与标签图像尽可能的相似，一致性损失函数和重建损失函数如下所示：
一致性损失函数：
Figure BDA0003386961650000084
其中，
Figure BDA0003386961650000085
表示清晰图像，
Figure BDA0003386961650000086
表示去雾结果。
重建损失函数：
Figure BDA0003386961650000087
此外，去雾分支的训练是以清晰图像提取器提取的特征作为引导和约束。L1损失Ls1和Ls2分别用于约束清晰图像特征提取器和去雾分支的不同层中提取到的特征之间的距离，以实现更好的去雾效果。作为特征监督的中间损失函数如下所示：
Figure BDA0003386961650000088
Figure BDA0003386961650000089
其中，
Figure BDA00033869616500000810
和
Figure BDA00033869616500000811
分别表示去雾分支中提取到的细粒度特征补偿后的特征和重建特征；F'c和F're分别表示清晰图像特征提取器提取到的细粒度特征补偿后的特征和重建特征。
以上损失函数共同监督训练去雾网络。
Step8利用Step7中的模型对有雾图像进行去雾，然后对去雾模型进行评估。峰值信噪比(PSNR)和结构相似性(SSIM)分别反映的是去雾图像的质量和去雾图像和标签图像的相似性，两个指标的值越大，说明图像的去雾效果越好。为了评估本发明提出方法的有效性，在本发明中主要使用这两个指标来评价图像去雾方法。此外，也使用视觉观察效果来评价。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (9)

1.一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，其特征在于，包括如下步骤：
Step1、预训练透射图估计网络：通过室内有雾图像和与之相对应的透射图预训练透射图估计网络；
Step2、估计真实有雾图像的全局大气光：通过暗通道先验的原理，首先找到真实有雾图像的暗通道，再找到暗通道中最亮的像素作为大气光；
Step3、利用大气散射模型生成有雾图像：利用透射图估计网络估计出真实场景有雾图像的透射图，然后结合Step2中的全局大气光和任意一张清晰图像生成有雾图像；
Step4、对透射图估计网络进行微调：通过多层次特征分块鉴别器与透射图估计网络进行对抗训练，使Step3中生成的有雾图像风格和真实场景下的有雾图像尽可能相似；多层次特征分块鉴别器用于对生成的雾图像和真实场景下的雾图像不仅做图像级的鉴别，而且做特征块级的鉴别，进而微调透射图估计网络，使其生成的透射图更加适应合格的雾图像的生成，使生成的雾图像风格与真实场景下的雾图像更加相似；
Step5、设计清晰图像特征提取器和去雾网络的结构：设计了残差密集注意力模块和细粒度特征信息补偿模块实现特征聚合；
Step6、训练清晰图像特征提取器：将清晰图像作为清晰图像特征提取器的输入，最终重建出清晰图像，保证清晰图像提取到的中间特征尽可能准确；
Step7、训练去雾网络：将Step3中生成的有雾图像作为去雾网络的输入，以Step6提取的清晰图像特征作为中间特征监督，训练去雾网络，得到最终训练好的去雾模型；
Step8、利用Step7中的模型对有雾图像进行去雾并对去雾结果进行评估。
2.根据权利要求1所述的基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，其特征在于，所述Step1中的训练集为RESIDE数据集中室内合成有雾图像和与之相对应的透射图，将透射图作为标签，训练透射图估计网络，使其拥有生成透射图的能力，在训练过程中损失函数如下所示：
Lct＝||T(Xin)-t(x)||1
其中，Xin为RESIDE数据集中室内合成有雾图像，t(x)为Xin对应的透射图，直接从RESIDE公开数据集中的ITS子集中获得，T(·)为透射图估计网络T；该损失函数约束网络使其生成的透射图和标签透射图保持一致。
3.根据权利要求1所述的基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，其特征在于，所述Step2中：首先在图像中15×15的区域找出像素最小值，然后在这些最小值中找出最亮的像素作为全局大气光的值。
4.根据权利要求1所述的基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，其特征在于，所述Step3中假设I为真实雾场景下的图像，
Figure FDA00039229315900000211
为清晰无雾图像，且和I非成对；假设用于估计透射图t(x)的网络为T，根据透射图估计网络T，从I中估计出透射图t(x)，再按照暗通道先验原理估计出大气光A，然后根据估计出的t(x)和大气光A，生成雾图像
Figure FDA00039229315900000212
Figure FDA0003922931590000021
5.根据权利要求1所述的基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，其特征在于，所述Step4中，微调时的对抗损失函数如下所示：
Figure FDA0003922931590000022
Figure FDA0003922931590000023
其中，
Figure FDA0003922931590000024
和
Figure FDA0003922931590000025
分别表示图像鉴别器和特征分块鉴别器的损失；Dimg、Dfea分别表示图像鉴别器和特征分块鉴别器；
Figure FDA0003922931590000026
分别表示真实雾图像，真实雾图像的大气光和清晰无雾图像，其中I和
Figure FDA0003922931590000027
不成对；FI和
Figure FDA0003922931590000028
分别表示真实雾图像和生成雾图像输入到图像鉴别器Dimg的过程中得到的某层的特征，其次，将透射图估计网络和大气散射模型统称为雾生成器，训练该雾生成器的损失函数LG定义为：
Figure FDA0003922931590000029
其中，T(·)和
Figure FDA00039229315900000210
分别表示预训练好的透射图估计网络和再训练时的透射图估计网络。
6.根据权利要求1所述的基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，其特征在于，所述Step5中设计了一个细粒度特征信息补偿模块，该模块由细粒度细节信息补偿模块和细粒度深层语义信息补偿模块两部分构成，同时补充了纹理细节信息和语义信息，起到很好的特征聚合作用。
7.根据权利要求1所述的基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，其特征在于，所述Step6中清晰图像特征提取器的作用是用于提取足够准确的清晰图像的特征，为保证该提取器提取的中间特征足够准确，将提取到的特征再次重建为清晰图像以判断中间的特征是否准确。
8.根据权利要求1所述的基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，其特征在于，所述Step7中利用生成的有雾图像和它相对应的清晰图像作为数据集训练去雾网络，其中生成的有雾图像作为网络的输入，清晰图像作为标签，同时加入清晰图像特征提取器的特征监督，训练去雾网络的损失函数如下所示：
首先，使用一致性损失函数和重建损失函数保证去雾后的图像与标签图像尽可能的相似，一致性损失函数：
Figure FDA0003922931590000031
其中，
Figure FDA0003922931590000032
表示清晰图像，
Figure FDA0003922931590000033
表示去雾结果；
重建损失函数：
Figure FDA0003922931590000034
此外，去雾分支的训练是以清晰图像提取器提取的特征作为引导和约束，L1损失Ls1和Ls2分别用于约束清晰图像特征提取器和去雾分支中相对应层中提取到的特征之间的距离，以实现更好的去雾效果，作为特征监督的中间损失函数如下所示：
Figure FDA0003922931590000035
Figure FDA0003922931590000036
其中，
Figure FDA0003922931590000037
和
Figure FDA0003922931590000038
分别表示去雾分支中提取到的细粒度特征补偿后的特征和重建特征；F'c和F're分别表示清晰图像特征提取器提取到的细粒度特征补偿后的特征和重建特征；
以上损失函数共同监督训练去雾网络。
9.根据权利要求1所述的基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，其特征在于，所述Step8中利用峰值信噪比PSNR和结构相似性SSIM对模型去雾结果进行评估，同时观察真实场景有雾图像去雾结果的视觉效果。
CN202111457187.4A 2021-12-01 2021-12-01 一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法 Active CN114119420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111457187.4A CN114119420B (zh) 2021-12-01 2021-12-01 一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111457187.4A CN114119420B (zh) 2021-12-01 2021-12-01 一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法

Publications (2)

Publication Number Publication Date
CN114119420A CN114119420A (zh) 2022-03-01
CN114119420B true CN114119420B (zh) 2022-12-13

Family

ID=80369456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111457187.4A Active CN114119420B (zh) 2021-12-01 2021-12-01 一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法

Country Status (1)

Country Link
CN (1) CN114119420B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565539B (zh) * 2022-03-17 2023-04-07 中国人民解放军火箭军工程大学 一种基于线上知识蒸馏的图像去雾方法
CN115456915B (zh) * 2022-11-10 2023-05-09 深圳深知未来智能有限公司 基于3DLut的图像去雾处理方法、系统及可存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615226A (zh) * 2018-04-18 2018-10-02 南京信息工程大学 一种基于生成式对抗网络的图像去雾方法
CN111681180A (zh) * 2020-05-25 2020-09-18 厦门大学 先验驱动的深度学习图像去雾方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493303B (zh) * 2018-05-30 2021-08-17 湘潭大学 一种基于生成对抗网络的图像去雾方法
CN111489301B (zh) * 2020-03-19 2022-05-31 山西大学 一种基于迁移学习用图像深度信息引导的图像去雾方法
CN111986108B (zh) * 2020-08-07 2024-04-19 西北工业大学 一种基于生成对抗网络的复杂海空场景图像去雾方法
CN113344806A (zh) * 2021-07-23 2021-09-03 中山大学 一种基于全局特征融合注意力网络的图像去雾方法与系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615226A (zh) * 2018-04-18 2018-10-02 南京信息工程大学 一种基于生成式对抗网络的图像去雾方法
CN111681180A (zh) * 2020-05-25 2020-09-18 厦门大学 先验驱动的深度学习图像去雾方法

Also Published As

Publication number Publication date
CN114119420A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
Ren et al. Single image dehazing via multi-scale convolutional neural networks with holistic edges
Ancuti et al. Dense-haze: A benchmark for image dehazing with dense-haze and haze-free images
Qu et al. Enhanced pix2pix dehazing network
Dudhane et al. Cdnet: Single image de-hazing using unpaired adversarial training
CN114119420B (zh) 一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法
Huang et al. An efficient visibility enhancement algorithm for road scenes captured by intelligent transportation systems
Hsu et al. Single image dehazing using wavelet-based haze-lines and denoising
Gui et al. A comprehensive survey and taxonomy on single image dehazing based on deep learning
Cong et al. Discrete haze level dehazing network
Que et al. Attentive composite residual network for robust rain removal from single images
Huang et al. Towards unsupervised single image dehazing with deep learning
Sahu et al. Trends and prospects of techniques for haze removal from degraded images: A survey
CN111709888A (zh) 一种基于改进的生成对抗网络的航拍图像去雾方法
Sun et al. Underwater image enhancement with encoding-decoding deep CNN networks
CN111210394A (zh) 一种基于深度分解合成网络的图像增强技术
Yuan et al. Image dehazing based on a transmission fusion strategy by automatic image matting
Dong et al. Semi-supervised domain alignment learning for single image dehazing
Wang et al. Lightweight multiple scale-patch dehazing network for real-world hazy image.
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Wu et al. DCFusion: A dual-frequency cross-enhanced fusion network for infrared and visible image fusion
Yang et al. Disentangled bad weather removal gan for pedestrian detection
Al-Zubaidy et al. Removal of atmospheric particles in poor visibility outdoor images
Jiang et al. Pseudo‐Siamese residual atrous pyramid network for multi‐focus image fusion
CN116228550A (zh) 一种基于生成对抗网络的图像自增强去雾算法
Sharma et al. A Review on Image Dehazing Algorithms for Vision based Applications in Outdoor Environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant