CN114004760A - 图像去雾方法、电子设备、存储介质和计算机程序产品 - Google Patents

图像去雾方法、电子设备、存储介质和计算机程序产品 Download PDF

Info

Publication number
CN114004760A
CN114004760A CN202111234337.5A CN202111234337A CN114004760A CN 114004760 A CN114004760 A CN 114004760A CN 202111234337 A CN202111234337 A CN 202111234337A CN 114004760 A CN114004760 A CN 114004760A
Authority
CN
China
Prior art keywords
image
haze
defogging
model
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111234337.5A
Other languages
English (en)
Inventor
李嘉锋
李耀鹏
贾童瑶
张菁
卓力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202111234337.5A priority Critical patent/CN114004760A/zh
Publication of CN114004760A publication Critical patent/CN114004760A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像去雾方法、电子设备、存储介质和计算机程序产品，方法包括获取待去雾的目标雾霾图像；将目标雾霾图像输入至去雾模型，对目标雾霾图像进行去雾处理，获得去雾模型输出的目标去雾图像，去雾模型是基于不成对的清晰图像和雾霾图像构成的训练图像集，对待训练模型进行无监督训练得到的，待训练模型包括用于进行加雾转换处理和去雾转换处理的多尺度注意力模块，及用于区分训练图像集的真实图像和多尺度注意力模块的生成图像的判别器。本发明的去雾模型是基于不成对的清晰图像和雾霾图像构成的训练图像集进行无监督训练得到的，从而避免成对图像训练集对去雾模型训练的限制，进而提高图像去雾的性能。

Description

图像去雾方法、电子设备、存储介质和计算机程序产品
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像去雾方法、电子设备、存储介质和计算机程序产品。
背景技术
图像去雾作为一项重要的视觉增强技术受到了广泛的关注，其可以被应用于监控系统、无人机视觉导航系统、自动驾驶系统等。具体地，当通过图像或视频采集设备采集到的图像受到雨、雪和雾霾等恶劣天气的影响时，户外视觉系统很容易出现不稳定的问题，而雾霾作为一个复杂的图像退化因素，会严重降低图像的可见度，导致边缘、颜色和细节信息的损失。清晰的无雾图像是许多基于视觉的户外系统正常运行的先决条件，因此，单幅图像的去雾处理是非要有必要的。
目前，通过使用成对的图像进行监督训练来解决单幅图像的去雾问题。然而，在实践中，真实的雾霾图像以及对应的清晰图像是难以收集的，并且收集成本昂贵，因此无法获取大量的真实雾霾图像及对应的清晰图像进行神经网络的有监督训练。基于此，大部分基于学习的方法是以有监督的方式在合成数据集上进行训练的，而由于合成数据和真实数据之间的域差异，这些方法应用于真实图像时，去雾性能会显著地下降。
综上所述，如何提高对雾霾图像的去雾性能，是目前亟需解决的问题。
发明内容
本发明提供一种图像去雾方法、电子设备、存储介质和计算机程序产品，用以解决现有技术中成对图像训练集对去雾模型训练的限制，导致去雾性能下降的缺陷，实现通过不成对的清晰图像和雾霾图像构成的训练图像集进行无监督训练得到去雾模型。
本发明提供一种图像去雾方法，包括：
获取待去雾的目标雾霾图像；
将所述目标雾霾图像输入至去雾模型，对所述目标雾霾图像进行去雾处理，获得所述去雾模型输出的目标去雾图像，所述去雾模型是基于不成对的清晰图像和雾霾图像构成的训练图像集，对待训练模型进行无监督训练得到的，所述待训练模型包括用于进行加雾转换处理和去雾转换处理的多尺度注意力模块，及用于区分所述训练图像集的真实图像和所述多尺度注意力模块的生成图像的判别器。
根据本发明提供的一种图像去雾方法，所述去雾模型通过如下方法训练得到：
获取不成对的清晰图像训练样本和雾霾图像训练样本；
基于所述清晰图像训练样本、所述雾霾图像训练样本和预设损失函数，对搭建后的待训练模型进行模型训练，获得去雾模型，所述待训练模型包括用于进行加雾转换处理和去雾转换处理的多尺度注意力模块，及用于区分真实图像和生成图像的判别器，所述真实图像为所述清晰图像训练样本或所述雾霾图像训练样本，所述生成图像为所述多尺度注意力模块输出的生成图像。
根据本发明提供的一种图像去雾方法，所述基于所述清晰图像训练样本、所述雾霾图像训练样本和预设损失函数，对搭建后的待训练模型进行模型训练，获得去雾模型，包括：
基于搭建后的待训练模型的雾霾编码器，对所述雾霾图像训练样本进行特征提取，获得雾霾信息；
基于所述待训练模型的第一多尺度注意力模块和所述雾霾信息，对所述清晰图像训练样本进行加雾转换处理，获得第一加雾图像；
基于所述待训练模型的第一判别器和预设损失函数中的第一对抗损失函数，对所述第一加雾图像进行对抗损失计算，获得雾霾图像对应的第一对抗损失；
基于所述待训练模型的第二多尺度注意力模块，对所述雾霾图像训练样本进行去雾转换处理，获得第一去雾图像；
基于所述待训练模型的第二判别器和所述预设损失函数中的第二对抗损失函数，对所述第一去雾图像进行对抗损失计算，获得清晰图像对应的第二对抗损失；
基于所述第一对抗损失和所述第二对抗损失，对所述待训练模型进行模型训练，获得去雾模型。
根据本发明提供的一种图像去雾方法，所述基于搭建后的待训练模型的雾霾编码器，对所述雾霾图像训练样本进行特征提取，获得雾霾信息，包括：
基于所述雾霾编码器的第一卷积单元，对所述雾霾图像训练样本进行卷积操作，获得第一特征图；
基于所述雾霾编码器的第二卷积单元，对所述第一特征图进行特征提取获得第二特征图，并基于所述雾霾编码器的第三卷积单元，对所述第一特征图进行特征提取获得第三特征图，所述第二特征图和所述第三特征图的分辨率大小不同；
基于所述雾霾编码器的第四卷积单元，对所述第二特征图进行特征提取获得第四特征图，并基于所述雾霾编码器的第五卷积单元，对所述第三特征图进行特征提取获得第五特征图；
将所述第三特征图和所述第五特征图进行相加，获得雾霾信息。
根据本发明提供的一种图像去雾方法，所述基于所述待训练模型的第一多尺度注意力模块和所述雾霾信息，对所述清晰图像训练样本进行加雾转换处理，获得第一加雾图像，包括：
基于所述第一多尺度注意力模块的第一内容编码器，对所述清晰图像训练样本进行编码，获得清晰图像内容特征；
将所述清晰图像内容特征和所述雾霾信息输入至所述第一多尺度注意力模块的第一生成器，进行加雾转换处理，获得所述第一生成器输出的第一加雾图像；
其中，所述基于所述待训练模型的第二多尺度注意力模块，对所述雾霾图像训练样本进行去雾转换处理，获得第一去雾图像，包括：
基于所述第二多尺度注意力模块的第二内容编码器，对所述雾霾图像训练样本进行编码，获得雾霾图像内容特征；
将所述雾霾图像内容特征输入至所述第二多尺度注意力模块的第二生成器，进行去雾转换处理，获得所述第二生成器输出的第一去雾图像。
根据本发明提供的一种图像去雾方法，所述待训练模型的损失函数包括对抗性损失、内容对抗损失、循环一致性损失、暗通道损失、恒等映射损失、重建损失和语义一致损失。
根据本发明提供的一种图像去雾方法，所述将所述目标雾霾图像输入至去雾模型，对所述目标雾霾图像进行去雾处理，获得所述去雾模型输出的目标去雾图像，包括：
将所述目标雾霾图像输入至去雾模型的内容编码器，对所述目标雾霾图像进行编码，获得所述内容编码器输出的目标内容特征；
将所述目标内容特征输入至所述去雾模型的生成器，进行去雾处理，获得所述生成器输出的目标去雾图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像去雾方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像去雾方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像去雾方法的步骤。
本发明提供的图像去雾方法、电子设备、存储介质和计算机程序产品，通过获取待去雾的目标雾霾图像，然后，将目标雾霾图像输入至去雾模型，以对目标雾霾图像进行去雾处理，获得去雾模型输出的目标去雾图像，从而实现图像的去雾处理，进而确保基于视觉的户外系统正常运行。同时，待训练模型包括用于进行加雾转换处理和去雾转换处理的多尺度注意力模块，及用于区分训练图像集的真实图像和多尺度注意力模块的生成图像的判别器，以使去雾模型可以基于不成对的清晰图像和雾霾图像构成的训练图像集进行无监督训练得到，从而避免成对图像训练集对去雾模型训练的限制，且不成对的清晰图像和雾霾图像可以为真实图像，以基于真实数据进行模型训练，从而提高去雾模型的去雾性能，进而提高图像去雾的性能。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的图像去雾方法的流程图之一；
图2为本发明提供的图像去雾方法的流程图之二；
图3为本发明提供的雾霾编码器示意图；
图4为本发明提供的网络架构示意图；
图5为本发明提供的图像去雾方法的流程图之三；
图6示例了一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的图像去雾方法的流程图之一，如图1所示，本发明提供的图像去雾方法，包括：
步骤110，获取待去雾的目标雾霾图像；
在本实施例中，图像去雾方法可以应用于各种领域，例如，汽车无人驾驶领域、无人机视觉导航领域、安防监控领域等，相应的，目标雾霾图像可以为汽车周围图像、无人机拍摄图像、监控图像等。
其中，目标雾霾图像包括雾霾信息，即对应采集设备的环境存在雾霾天气影响。目标雾霾图像的可见度低，且其图像的边缘、颜色和细节信息具有一定的损失。
具体地，从图像采集设备或视频采集设备采集的目标图像中选取待去雾的目标雾霾图像。
步骤120，将所述目标雾霾图像输入至去雾模型，对所述目标雾霾图像进行去雾处理，获得所述去雾模型输出的目标去雾图像，所述去雾模型是基于不成对的清晰图像和雾霾图像构成的训练图像集，对待训练模型进行无监督训练得到的，所述待训练模型包括用于进行加雾转换处理和去雾转换处理的多尺度注意力模块，及用于区分所述训练图像集的真实图像和所述多尺度注意力模块的生成图像的判别器。
在本实施例中，目标去雾图像为目标雾霾图像对应的清晰图像，即目标去雾图像是基于目标雾霾图像进行去雾处理之后重建的图像。目标去雾图像的可见度相比目标雾霾图像的可见度高，且目标去雾图像的边缘、颜色和细节信息的损失也得到了相应的补偿。
其中，去雾模型为深度学习模型，具体地，去雾模型是基于无监督的训练方式得到的，该无监督的训练方式可以为生成对抗网络进行训练。基于此，训练图像集可以为不成对的清晰图像和雾霾图像。
需要说明的是，不成对的清晰图像和雾霾图像为不相关的两幅图像，即清晰图像无需是雾霾图像对应的清晰图像，也就是说，不要求雾霾图像和清晰图像中的场景一致。
在具体实施例中，去雾模型包括特征提取器和生成器，该特征提取器用于提取目标雾霾图像的特征信息，该生成器用于重建目标雾霾图像得到对应的清晰图像。
具体地，将所述目标雾霾图像输入至去雾模型的特征提取器，对所述目标雾霾图像进行特征提取，获得所述特征提取器输出的特征信息；将所述特征信息输入至所述去雾模型的生成器，进行去雾处理，获得所述生成器输出的目标去雾图像。
其中，特征提取器可以为内容编码器，内容编码器用于对目标雾霾图像进行编码得到对应的内容特征。内容编码器和生成器均是训练完成得到的。去雾模型具体的训练过程参考下述第二实施例，此处不再一一赘述。
根据本发明实施例的图像去雾方法，通过获取待去雾的目标雾霾图像，然后，将目标雾霾图像输入至去雾模型，以对目标雾霾图像进行去雾处理，获得去雾模型输出的目标去雾图像，从而实现图像的去雾处理，进而确保基于视觉的户外系统正常运行。同时，待训练模型包括用于进行加雾转换处理和去雾转换处理的多尺度注意力模块，及用于区分训练图像集的真实图像和多尺度注意力模块的生成图像的判别器，以使去雾模型可以基于不成对的清晰图像和雾霾图像构成的训练图像集进行无监督训练得到，从而避免成对图像训练集对去雾模型训练的限制，且不成对的清晰图像和雾霾图像可以为真实图像，以基于真实数据进行模型训练，从而提高去雾模型的去雾性能，进而提高图像去雾的性能。
进一步地，基于上述第一实施例，提出本发明图像去雾方法的第二实施例。图2为本发明提供的图像去雾方法的流程图之二，如图2所示，在本实施例中，还包括所述去雾模型的训练方法：
步骤210，获取不成对的清晰图像训练样本和雾霾图像训练样本；
在本实施例中，不成对的清晰图像训练样本和雾霾图像训练样本为不相关的两幅图像，即清晰图像训练样本无需是雾霾图像训练样本对应的清晰图像，也就是说，不要求雾霾图像训练样本和清晰图像训练样本中的场景一致。
在一实施例中，上述步骤210包括：
获取室外清晰图像和真实雾霾图像；将所述室外清晰图像作为清晰图像训练样本，并将所述真实雾霾图像作为雾霾图像训练样本。
具体地，利用OTS(Outdoor Training Set，室外训练集)数据集中室外清晰图像和URHI(Unannotated Real Hazy Images，无标注的真实雾霾图像)数据集中的真实雾霾图像，构建不成对的训练样本，作为训练图像集，以训练搭建的去雾神经网络(待训练模型)。在一次训练过程中，网络随机输入训练图像集中的不成对的训练样本。
可以理解，使用真实雾霾图像进行训练，可以使训练后的去雾模型更好地对真实雾霾图像进行去雾处理，从而进一步提高去雾处理的性能。
步骤220，基于所述清晰图像训练样本、所述雾霾图像训练样本和预设损失函数，对搭建后的待训练模型进行模型训练，获得去雾模型，所述待训练模型包括用于进行加雾转换处理和去雾转换处理的多尺度注意力模块，及用于区分真实图像和生成图像的判别器，所述真实图像为所述清晰图像训练样本或所述雾霾图像训练样本，所述生成图像为所述多尺度注意力模块输出的生成图像。
在本实施例中，待训练模型是通过生成对抗网络构建的，其是基于分离表示的无监督方法进行构建的，即采用无监督的训练方法进行模型训练。
其中，预设损失函数包括对抗网络的对抗性损失，该对抗性损失包括两个对抗损失函数，一个为雾霾图像对应的对抗性损失，一个为清晰图形对应的对抗性损失。此外，预设损失函数还可以包括以下至少一种：内容对抗损失、循环一致性损失、暗通道损失、恒等映射损失、重建损失和语义一致损失等。
在上述步骤220之前，所述图像去雾方法还包括：
基于双线性插值算法，对所述清晰图像训练样本和所述雾霾图像训练样本进行缩放处理，得到缩放后的清晰图像训练样本和缩放后的雾霾图像训练样本。
其中，缩放后的清晰图像训练样本和缩放后的雾霾图像训练样本的尺寸可以为128*128。
相应的，上述步骤220包括：
基于缩放后的清晰图像训练样本、缩放后的雾霾图像训练样本和预设损失函数，对搭建后的待训练模型进行模型训练，获得去雾模型。
其中，基于分离表示的待训练模型可以包括一个雾霾编码器、两个多尺度注意力模块和两个判别器。每个多尺度注意力模块可以包括一个内容编码器和一个生产器。雾霾编码器用于对雾霾图像训练样本进行编码得到雾霾图像训练样本中的雾霾信息。多尺度注意力模块用于生成对应的生成图像。判别器用于区分真实图像和生成图像，即对图像进行对抗损失计算，得到对抗损失。
具体地，上述步骤220，包括：
步骤221，基于搭建后的待训练模型的雾霾编码器，对所述雾霾图像训练样本进行特征提取，获得雾霾信息；
其中，雾霾编码器用于提取雾霾图像训练样本中的雾霾信息。具体地，基于所述雾霾编码器，对所述雾霾图像训练样本进行编码，获得雾霾信息。
进一步地，上述步骤221包括：
步骤2211，基于所述雾霾编码器的第一卷积单元，对所述雾霾图像训练样本进行卷积操作，获得第一特征图；
在本实施例中，雾霾编码器由多个卷积单元组成，输入的雾霾图像训练样本先经过一个卷积单元处理得到第一特征图，然后在经过不同的卷积单元，得到分辨率大小不同的第二特征图和第三特征图，类似地，第二特征图和第三特征图再经过不同的卷积单元处理，得到第四特征图和第五特征图。最后，将第四特征图和第五特征图相加后，作为雾霾编码器的输出。
其中，第一卷积单元用于对雾霾图像训练样本进行卷积操作得到第一特征图，即用于对雾霾图像训练样本进行特征提取得到第一特征图。
具体地，所述第一卷积单元包括第一卷积层，基于所述雾霾编码器的第一卷积层，对所述雾霾图像训练样本进行卷积操作，获得第一卷积特征。
在一实施例中，第一卷积层的卷积核大小为3*3，卷积步长为1。
步骤2212，基于所述雾霾编码器的第二卷积单元，对所述第一特征图进行特征提取获得第二特征图，并基于所述雾霾编码器的第三卷积单元，对所述第一特征图进行特征提取获得第三特征图，所述第二特征图和所述第三特征图的分辨率大小不同；
其中，第二卷积单元和第三卷积单元用于得到不同分辨率大小的特征图。
具体地，所述第二卷积单元包括第二卷积层，所述第三卷积单元包括第三卷积层和第一池化层，基于所述雾霾编码器的第二卷积层，对所述第一卷积特征进行卷积操作，获得第二卷积特征，并基于所述雾霾编码器的第一池化层，对所述第一卷积特征进行池化操作，获得第一池化特征，基于所述雾霾编码器的第三卷积层，对所述第一池化特征进行卷积操作，获得第三卷积特征。
在一实施例中，第二卷积层的卷积核大小为3*3，卷积步长为1。第一池化层的池化核大小为2*2，池化步长为2，其用于进行平均池化操作。第三卷积层的卷积核大小为3*3，卷积步长为1。
步骤2213，基于所述雾霾编码器的第四卷积单元，对所述第二特征图进行特征提取获得第四特征图，并基于所述雾霾编码器的第五卷积单元，对所述第三特征图进行特征提取获得第五特征图；
其中，第四卷积单元用于对第二特征图进行卷积操作得到第四特征图，即用于对第二特征图进行特征提取得到第四特征图。第五卷积单元用于对第三特征图进行卷积操作得到第五特征图，即用于对第三特征图进行特征提取得到第五特征图。
具体地，所述第四卷积单元包括第二池化层、第四卷积层、第三池化层、第五卷积层和第八卷积层，所述第五卷积单元包括第六卷积层、第四池化层、第七卷积层和第九卷积层。
基于所述雾霾编码器的第二池化层，对所述第二卷积特征进行池化操作，获得第二池化特征，基于所述雾霾编码器的第四卷积层，对所述第二池化特征进行卷积操作，获得第四卷积特征，并基于所述雾霾编码器的第三池化层，对所述第二卷积特征进行池化操作，获得第三池化特征，基于所述雾霾编码器的第五卷积层，对所述第三池化特征进行卷积操作，获得第五卷积特征；
基于所述雾霾编码器的第六卷积层，对所述第三卷积特征进行卷积操作，获得第六卷积特征，并基于所述雾霾编码器的第四池化层，对所述第三卷积特征进行池化操作，获得第四池化特征，基于所述雾霾编码器的第七卷积层，对所述第四池化特征进行卷积操作，获得第七卷积特征；
将所述第四卷积特征和所述第六卷积特征进行相加，获得第一相加特征，并将所述第五卷积特征和所述第七卷积特征进行相加，获得第二相加特征；
基于所述雾霾编码器的第八卷积层，对所述第一相加特征进行卷积操作，获得第八卷积特征，并基于所述雾霾编码器的第九卷积层，对所述第二相加特征进行卷积操作，获得第九卷积特征。
在一实施例中，第二池化层的池化核大小为2*2，池化步长为2，其用于进行平均池化操作。第四卷积层的卷积核大小为3*3，卷积步长为1。第三池化层的池化核大小为4*4，池化步长为4，其用于进行平均池化操作。第五卷积层的卷积核大小为3*3，卷积步长为1。第六卷积层的卷积核大小为3*3，卷积步长为1。第四池化层的池化核大小为2*2，池化步长为2，其用于进行平均池化操作。第七卷积层的卷积核大小为3*3，卷积步长为1。第八卷积层的卷积核大小为3*3，卷积步长为1。第九卷积层的卷积核大小为3*3，卷积步长为1。
步骤2214，将所述第三特征图和所述第五特征图进行相加，获得雾霾信息。
具体地，将所述第八卷积特征和所述第九卷积特征进行相加，获得雾霾信息。
为便于理解，参照图3，图3为本发明提供的雾霾编码器示意图。首先，将输入至模块的雾霾图像I进行卷积核大小为3*3，卷积步长为1的卷积操作，得到特征fin。将特征fin进行卷积核大小为3*3，卷积步长为1的卷积操作，得到特征fh。将特征fin进行池化核为2*2，步长为2的平均池化操作，然后进行卷积核大小为3*3，卷积步长为1的卷积操作，得到特征fl。将特征fh进行池化核为2*2，步长为2的平均池化操作，卷积核大小为3*3，卷积步长为1的卷积操作，得到特征fh2h。将特征fh进行池化核为4*4，步长为4的平均池化操作，然后进行卷积核大小为3*3，卷积步长为1的卷积操作，得到特征fh2l。将特征fl进行卷积核大小为3*3，卷积步长为1的卷积操作，得到特征fl2h。将特征fl进行池化核为2*2，步长为2的平均池化操作，然后进行卷积核大小为3*3，卷积步长为1的卷积操作，得到特征fl2l。将特征fh2h和特征fl2h进行相加，得到特征f′h。将特征fh2l和特征fl2l进行相加，得到特征f′l。将特征f′h进行卷积核大小为为3*3，卷积步长为1的卷积操作，得到特征f′h2。将特征f′l进行卷积核大小为为3*3，卷积步长为1的卷积操作，得到特征f′l2h。将特征f′h2h和特征f′l2h进行相加，得到雾霾编码器的输出特征fout。
可以理解，雾霾编码器通过对提取的特征进行多频率表示，可以捕获更多的全局信息，即通过增大网络的感受野，从而高效提取雾霾图像训练样本中的雾霾信息。
步骤222，基于所述待训练模型的第一多尺度注意力模块和所述雾霾信息，对所述清晰图像训练样本进行加雾转换处理，获得第一加雾图像；
在本实施例中，第一多尺度注意力模块整合了多尺度特征表示和注意力机制，以促进特征表示。
具体地，上述步骤222，包括：
步骤2221，基于所述第一多尺度注意力模块的第一内容编码器，对所述清晰图像训练样本进行编码，获得清晰图像内容特征；
具体地，基于第一内容编码器，对清晰图像训练样本进行特征提取，得到清晰图像内容特征。即第一内容编码器用于提取清晰图像训练样本的内容信息，也就是说，第一内容编码器通过卷积神经网络对输入的清晰图像训练样本进行特征提取，以编码图像的内容信息。
其中，第一内容编码器包括卷积单元和Res2Net(多尺度骨干网络)，卷积单元和Res2Net的数量可以根据实际需要进行设定。卷积单元可以包括卷积层、实例归一化层和激活函数层，该实例归一化层可以为BN(批量标准化层)层，该激活函数层可以为ReLU激活函数层。
在一实施例中，所述第一内容编码器包括三个卷积单元和四个Res2Net模块，一所述卷积单元包括卷积层、实例归一化层和ReLU激活函数层。其中，第一个卷积单元中的卷积层的卷积核大小为7*7，卷积步长为1；第二个卷积单元中的卷积层的卷积核大小为3*3，卷积步长为2；第三个卷积单元中的卷积层的卷积核大小为3*3，卷积步长为2。
可以理解，通过上述内容编码器的设计，可以高效地提取输入图像的多尺度特征信息。即具有较少的参数量，能够高效地处理真实雾霾图像，以恢复出高质量的清晰图像。
步骤2222，将所述清晰图像内容特征和所述雾霾信息输入至所述第一多尺度注意力模块的第一生成器，进行加雾转换处理，获得所述第一生成器输出的第一加雾图像；
在本实施例中，第一生成器用于生成对应的加雾图像，即生成对应的雾霾图像。
其中，第一生成器包括Res2Net模块、卷积单元和注意力模块，卷积单元、Res2Net和注意力模块的数量可以根据实际需要进行设定。卷积单元包括卷积层、实例归一化层和激活函数层，该实例归一化层可以为BN(批量标准化层)层，该激活函数层可以为ReLU激活函数层。此外，卷积单元还可以包括上采样层。
其中，注意力模块包含了通道注意力和空间注意力，可以提高网络处理不同类型特征的灵活性，该通道注意力为输入特征的每个通道生成一个注意力权重；空间注意力为输入特征生成一张注意力权重图，不同通道的同一空间位置特征共享一个权重。
在一实施例中，所述第一生成器包括四个Res2Net模块、三个卷积单元和一个注意力模块。其中，第一个卷积单元包含一个卷积层、一个上采样层、一个实例归一化层和一个ReLU激活函数层，其中卷积层的卷积核大小为3*3，卷积步长为1。第二个卷积单元包含一个卷积层、一个上采样层、一个实例归一化层和一个ReLU激活函数层，其中卷积层的卷积核大小为3*3，卷积步长为1。第三个卷积单元包含一个卷积层、一个实例归一化层和一个ReLU激活函数层，其中卷积层的卷积核大小为7*7，卷积步长为1。
在一些实施例中，所述注意力模块包括通道注意力模块和空间注意力模块，输入特征经过通道注意力模块得到通道注意力权重，再将通道注意力权重与输入特征相乘，得到通道注意力模块的输出。然后将通道注意力模块的输出，作为空间注意力模块的输入，得到空间注意力权重，再将空间注意力权重与空间注意力模块的输入相乘，得到注意力模块的输出。
在具体实施例中，所述注意力模块中的通道注意力包括一个全局平均池化层和两个卷积单元，第一个卷积单元包括一个卷积层和一个ReLU激活函数层，其中，卷积层的卷积核大小为3*3，卷积步长为1；第二个卷积单元包括一个卷积层和一个Sigmoid激活函数层，其中，卷积层的卷积核大小为3*3，卷积步长为1。
在具体实施例中，所述注意力模块中的空间注意力包括两个卷积单元，第一个卷积单元包含一个卷积层和一个ReLU激活函数层，其中，卷积层的卷积核大小为3*3，卷积步长为1；第二个卷积单元包含一个卷积层和一个Sigmoid激活函数层，其中，卷积层的卷积核大小为3*3，卷积步长为1。
步骤223，基于所述待训练模型的第一判别器和预设损失函数中的第一对抗损失函数，对所述第一加雾图像进行对抗损失计算，获得雾霾图像对应的第一对抗损失；
在本实施例中，第一判别器用于区分真实雾霾图像和生成雾霾图像，即用于判别雾霾图像训练样本和第一加雾图像。
其中，预设损失函数包括对抗网络的对抗性损失，该对抗性损失包括两个对抗损失函数，即第一对抗损失函数和第二对抗损失函数，一个为雾霾图像对应的对抗性损失，即第一对抗损失，一个为清晰图形对应的对抗性损失，即第二对抗损失。
具体地，第一对抗损失函数为：
Figure BDA0003317190660000161
其中，DI代表雾霾图像的判别器(第一判别器)，GJ代表雾霾图像的生成器(第一生成器)，EJ和
Figure BDA0003317190660000162
分别表示清晰图像的内容编码器(第一内容编码器)和雾霾图像的雾霾编码器，
Figure BDA0003317190660000164
表示数学期望，～表示服从关系，P表示数据分布概率，I为雾霾图像训练样本，J为清晰图像训练样本，
Figure BDA0003317190660000163
为雾霾图像对应的对抗损失(第一对抗损失)。
步骤224，基于所述待训练模型的第二多尺度注意力模块，对所述雾霾图像训练样本进行去雾转换处理，获得第一去雾图像；
在本实施例中，第二多尺度注意力模块整合了多尺度特征表示和注意力机制，以促进特征表示。
具体地，上述步骤224，包括：
步骤2241，基于所述第二多尺度注意力模块的第二内容编码器，对所述雾霾图像训练样本进行编码，获得雾霾图像内容特征；
具体地，基于第二内容编码器，对雾霾图像训练样本进行特征提取，得到雾霾图像内容特征。即第二内容编码器用于提取雾霾图像训练样本的内容信息，也就是说，第二内容编码器通过卷积神经网络对输入的雾霾图像训练样本进行特征提取，以编码图像的内容信息。
其中，第二内容编码器包括卷积单元和Res2Net(多尺度骨干网络)，卷积单元和Res2Net的数量可以根据实际需要进行设定。卷积单元可以包括卷积层、实例归一化层和激活函数层，该实例归一化层可以为BN(批量标准化层)层，该激活函数层可以为ReLU激活函数层。
在一实施例中，所述第二内容编码器包括三个卷积单元和四个Res2Net模块，一所述卷积单元包括卷积层、实例归一化层和ReLU激活函数层。其中，第一个卷积单元中的卷积层的卷积核大小为7*7，卷积步长为1；第二个卷积单元中的卷积层的卷积核大小为3*3，卷积步长为2；第三个卷积单元中的卷积层的卷积核大小为3*3，卷积步长为2。
可以理解，通过上述内容编码器的设计，可以高效地提取输入图像的多尺度特征信息。即具有较少的参数量，能够高效地处理真实雾霾图像，以恢复出高质量的雾霾图像。
步骤2242，将所述雾霾图像内容特征输入至所述第二多尺度注意力模块的第二生成器，进行去雾转换处理，获得所述第二生成器输出的第一去雾图像。
在本实施例中，第二生成器用于生成对应的去雾图像，即生成对应的清晰图像。
其中，第二生成器包括Res2Net模块、卷积单元和注意力模块，卷积单元、Res2Net和注意力模块的数量可以根据实际需要进行设定。卷积单元包括卷积层、实例归一化层和激活函数层，该实例归一化层可以为BN(批量标准化层)层，该激活函数层可以为ReLU激活函数层。此外，卷积单元还可以包括上采样层。
其中，注意力模块包含了通道注意力和空间注意力，可以提高网络处理不同类型特征的灵活性，该通道注意力为输入特征的每个通道生成一个注意力权重；空间注意力为输入特征生成一张注意力权重图，不同通道的同一空间位置特征共享一个权重。
在一实施例中，所述第二生成器包括四个Res2Net模块、三个卷积单元和一个注意力模块。其中，第一个卷积单元包含一个卷积层、一个上采样层、一个实例归一化层和一个ReLU激活函数层，其中卷积层的卷积核大小为3*3，卷积步长为1。第二个卷积单元包含一个卷积层、一个上采样层、一个实例归一化层和一个ReLU激活函数层，其中卷积层的卷积核大小为3*3，卷积步长为1。第三个卷积单元包含一个卷积层、一个实例归一化层和一个ReLU激活函数层，其中卷积层的卷积核大小为7*7，卷积步长为1。
在一些实施例中，所述注意力模块包括通道注意力模块和空间注意力模块，输入特征经过通道注意力模块得到通道注意力权重，再将通道注意力权重与输入特征相乘，得到通道注意力模块的输出。然后将通道注意力模块的输出，作为空间注意力模块的输入，得到空间注意力权重，再将空间注意力权重与空间注意力模块的输入相乘，得到注意力模块的输出。
在具体实施例中，所述注意力模块中的通道注意力包括一个全局平均池化层和两个卷积单元，第一个卷积单元包括一个卷积层和一个ReLU激活函数层，其中，卷积层的卷积核大小为3*3，卷积步长为1；第二个卷积单元包括一个卷积层和一个Sigmoid激活函数层，其中，卷积层的卷积核大小为3*3，卷积步长为1。
在具体实施例中，所述注意力模块中的空间注意力包括两个卷积单元，第一个卷积单元包含一个卷积层和一个ReLU激活函数层，其中，卷积层的卷积核大小为3*3，卷积步长为1；第二个卷积单元包含一个卷积层和一个Sigmoid激活函数层，其中，卷积层的卷积核大小为3*3，卷积步长为1。
步骤225，基于所述待训练模型的第二判别器和所述预设损失函数中的第二对抗损失函数，对所述第一去雾图像进行对抗损失计算，获得清晰图像对应的第二对抗损失；
在本实施例中，第二判别器用于区分真实清晰图像和生成清晰图像，即用于判别清晰图像训练样本和第一去雾图像。
具体地，第二对抗损失函数为：
Figure BDA0003317190660000191
其中，DJ代表清晰图像的判别器(第二判别器)，GI代表清晰图像的生成器(第二生成器)，EI表示雾霾图像的内容编码器(第二内容编码器)，E表示数学期望，～表示服从关系，P表示数据分布概率，I为雾霾图像训练样本，J为清晰图像训练样本，
Figure BDA0003317190660000192
为清晰图像对应的对抗损失(第二对抗损失)。
步骤226，基于所述第一对抗损失和所述第二对抗损失，对所述待训练模型进行模型训练，获得去雾模型。
其中，网络总损失＝第一对抗损失+第二对抗损失。此外，网络总损失还可以包括以下至少一种：内容对抗损失、循环一致性损失、暗通道损失、恒等映射损失、重建损失和语义一致损失等。
在本实施例中，待训练模型的网络整体结构包括向前转换。在向前转换中，对雾霾图像训练样本进行去雾转换为清晰图像，对清晰图像训练样本进行加雾转换为雾霾图像。
进一步地，基于上述向前转换，待训练模型的网络整体结构还包括向后重建。在完成向前转换后，再实施向后重建，相应的，将得到的第一加雾图像和第一去雾图像，转换回原始的清晰图像训练样本和雾霾图像训练样本。具体地，分别使用对应的第二内容编码器和第一内容编码器对第一加雾图像和第一去雾图像进行编码得到内容特征，过程类似前向转换，此处不再一一赘述，最后，对第一去雾图像加雾得到雾霾图像(第二加雾图像)，对第一加雾图像去雾得到清晰图像(第二去雾图像)。
为便于理解，参照图4，图4为本发明提供的网络架构示意图。首先，获取一组不成对的雾霾图像I和清晰图像J，在向前转换中，对雾霾图像I进行去雾转换为清晰图像Jfake，对清晰图像J进行加雾转换为雾霾图像Ifake。具体地，分别使用对应的内容编码器EI和EJ对雾霾图像I和清晰图像J进行编码得到内容特征ZI和ZJ，使用雾霾编码器提取雾霾图像I中的雾霾信息ZH；将ZJ和ZH按通道维度进行拼接后，输入到生成器GJ中，得到加雾后的雾霾图像Ifake；将ZI输入到生成器GI中，得到去雾后的清晰图像Jfake。完成向前转换后，再实施向后重建，类似地，将得到的雾霾图像Ifake和清晰图像Jfake，转换回原始的清晰图像和雾霾图像。具体地，分别使用对应的内容编码器EI和EJ对Ifake和Jfake进行编码得到内容特征，过程类似前向转换，最后得到加雾后的雾霾图像Ires去雾后的清晰图像Jres。
进一步地，所述待训练模型的损失函数包括对抗性损失、内容对抗损失、循环一致性损失、暗通道损失、恒等映射损失、重建损失和语义一致损失。
其中，对抗性损失包括两个对抗损失函数，即第一对抗损失函数和第二对抗损失函数，一个为雾霾图像对应的对抗性损失，即第一对抗损失，一个为清晰图形对应的对抗性损失，即第二对抗损失。
具体地，第一对抗损失函数为：
Figure BDA0003317190660000201
其中，DI代表雾霾图像的判别器(第一判别器)，GJ代表雾霾图像的生成器(第一生成器)，EJ和
Figure BDA0003317190660000202
分别表示清晰图像的内容编码器(第一内容编码器)和雾霾图像的雾霾编码器，E表示数学期望，～表示服从关系，P表示数据分布概率，I为雾霾图像训练样本，J为清晰图像训练样本，
Figure BDA0003317190660000203
为雾霾图像对应的对抗损失(第一对抗损失)。
具体地，第二对抗损失函数为：
Figure BDA0003317190660000204
其中，DJ代表清晰图像的判别器(第二判别器)，GI代表清晰图像的生成器(第二生成器)，EI表示雾霾图像的内容编码器(第二内容编码器)，E表示数学期望，～表示服从关系，P表示数据分布概率，I为雾霾图像训练样本，J为清晰图像训练样本，
Figure BDA0003317190660000211
为清晰图像对应的对抗损失(第二对抗损失)。
其中，内容对抗损失用于促进雾霾图像训练样本的内容特征(第二内容特征)和清晰图像训练样本的内容特征(第一内容特征)服从相似的分布。
具体地，内容对抗损失函数为：
Figure BDA0003317190660000212
其中，Dc代表内容对抗损失的判别器，ZI代表雾霾图像训练样本的内容特征，ZJ代表清晰图像训练样本的内容特征，E表示数学期望，I为雾霾图像训练样本，J为清晰图像训练样本，
Figure BDA0003317190660000213
为内容对抗损失。
其中，循环一致性损失用于计算原始输入图像和向后重建生成的图像之间的损失，可以使重建的图像尽可能包含原始图像的信息。
具体地，循环一致性损失函数为：
Figure BDA0003317190660000214
其中，E表示数学期望，I为雾霾图像训练样本，J为清晰图像训练样本，Ires为向后重建得到的雾霾图像(第二加雾图像)，Jres为向后重建得到的清晰图像(第二去雾图像)，Lcc为循环一致性损失。
其中，暗通道损失用于使用暗通道先验来约束网络，能够使暗通道的值接近零，从而提升去雾效果。
具体地，暗通道损失函数为：
Ldcp＝‖DC(Jfake)‖1，
其中，DC表示图像的暗通道，Jfake为向前转换的清晰图像(第一去雾图像)，Ldcp为暗通道损失。
其中，恒等映射损失用于保留特征，提高转换的图像的质量，并稳定训练过程。
具体地，恒等映射损失函数为：
Lidt＝‖GI(EI(J))-J‖1，
其中，GI代表清晰图像的生成器(第二生成器)，EI表示雾霾图像的内容编码器(第二内容编码器)，J为清晰图像训练样本，Lidt为恒等映射损失。
其中，重建损失用于促进网络训练。
具体地，重建损失函数为：
Figure BDA0003317190660000221
其中，GJ代表雾霾图像的生成器(第一生成器)，GI代表清晰图像的生成器(第二生成器)，EJ和
Figure BDA0003317190660000222
分别表示清晰图像的内容编码器(第一内容编码器)和雾霾图像的雾霾编码器，EI表示雾霾图像的内容编码器(第二内容编码器)，I为雾霾图像训练样本，J为清晰图像训练样本，LSR为向后重建的重建损失。
其中，语义一致损失用于使雾霾图像训练样本和第一去雾图像的语义保持一致。
具体地，语义一致损失为：
LSC＝‖φl(I)-φl(Jfake)‖2，
其中，φl表示提取预训练VGG-19模型的第l层特征，I为雾霾图像训练样本，Jfake为第一去雾图像，LSC为语义一致损失。
在本实施例中，将对抗性损失、内容对抗损失、循环一致性损失、暗通道损失、恒等映射损失、重建损失和语义一致损失进行聚合处理，获得网络总损失。
其中，聚合处理可以为加权聚合处理，当然也可以为其它聚合处理方法。
在一实施例中，网络总损失为：
Figure BDA0003317190660000231
其中，
Figure BDA0003317190660000232
为雾霾图像对应的对抗损失，
Figure BDA0003317190660000233
为清晰图像对应的对抗损失(第二对抗损失)，
Figure BDA0003317190660000234
为内容对抗损失，Lcc为循环一致性损失，Ldcp为暗通道损失，Lidt为恒等映射损失，LSR为向后重建的重建损失，LSC为语义一致损失。
Figure BDA0003317190660000235
λcc＝λrec＝λidt＝10，λdcp＝0.5。
在本实施例中，去雾模型是基于不成对的清晰图像和雾霾图像构成的训练图像集进行无监督训练得到的，从而避免成对图像训练集对去雾模型训练的限制，且不成对的清晰图像和雾霾图像可以为真实图像，以基于真实数据进行模型训练，从而提高去雾模型的去雾性能，进而提高图像去雾的性能。此外，本发明实施例的多尺度注意力模块，具有较少的参数量，同时能够高效地处理真实雾霾图像，恢复出高质量的清晰图像，从而进一步提高图像去雾的性能。本发明实施例的雾霾编码器，通过增大网络的感受野，高效地提取雾霾图像的雾霾信息，从而进一步提高图像去雾的性能。
进一步地，基于上述第一实施例，提出本发明图像去雾方法的第三实施例。图5为本发明提供的图像去雾方法的流程图之三，如图5所示，在本实施例中，上述步骤120包括：
步骤121，将所述目标雾霾图像输入至去雾模型的内容编码器，对所述目标雾霾图像进行编码，获得所述内容编码器输出的目标内容特征；
具体地，基于去雾模型的内容编码器，对目标雾霾图像进行特征提取，得到目标内容特征。即去雾模型的内容编码器用于提取目标雾霾图像的内容信息，也就是说，去雾模型的内容编码器通过卷积神经网络对输入的目标雾霾图像进行特征提取，以编码图像的内容信息。
其中，去雾模型的内容编码器为训练后的第二内容编码器，其具体的结构可以参照上述关于第二内容编码器的描述，此处不再一一赘述。
步骤122，将所述目标内容特征输入至所述去雾模型的生成器，进行去雾处理，获得所述生成器输出的目标去雾图像。
在本实施例中，去雾模型的生成器用于生成目标雾霾图像对应的去雾图像，即生成对应的清晰图像。
其中，去雾模型的生成器为训练后的第二生成器，其具体的结构可以参照上述关于第二生成器的描述，此处不再一一赘述。
本实施例中，通过获取待去雾的目标雾霾图像，然后，将目标雾霾图像输入至去雾模型的内容编码器和生成器，以对目标雾霾图像进行去雾处理，获得去雾模型输出的目标去雾图像，从而实现图像的去雾处理，进而确保基于视觉的户外系统正常运行。同时，去雾模型的内容编码器和生成器是基于不成对的清晰图像和雾霾图像构成的训练图像集进行无监督训练得到的，从而避免成对图像训练集对去雾模型训练的限制，且不成对的清晰图像和雾霾图像可以为真实图像，以基于真实数据进行模型训练，从而提高去雾模型的去雾性能，进而提高图像去雾的性能。
下面对本发明提供的图像去雾装置进行描述，下文描述的图像去雾装置与上文描述的图像去雾方法可相互对应参照。
获取模块，用于获取待去雾的目标雾霾图像；
去雾模块，用于将所述目标雾霾图像输入至去雾模型，对所述目标雾霾图像进行去雾处理，获得所述去雾模型输出的目标去雾图像，所述去雾模型是基于不成对的清晰图像和雾霾图像构成的训练图像集，对待训练模型进行无监督训练得到的，所述待训练模型包括用于进行加雾转换处理和去雾转换处理的多尺度注意力模块，及用于区分所述训练图像集的真实图像和所述多尺度注意力模块的生成图像的判别器。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行图像去雾方法，该方法包括：获取待去雾的目标雾霾图像；将所述目标雾霾图像输入至去雾模型，对所述目标雾霾图像进行去雾处理，获得所述去雾模型输出的目标去雾图像，所述去雾模型是基于不成对的清晰图像和雾霾图像构成的训练图像集，对待训练模型进行无监督训练得到的，所述待训练模型包括用于进行加雾转换处理和去雾转换处理的多尺度注意力模块，及用于区分所述训练图像集的真实图像和所述多尺度注意力模块的生成图像的判别器。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像去雾方法，该方法包括：获取待去雾的目标雾霾图像；将所述目标雾霾图像输入至去雾模型，对所述目标雾霾图像进行去雾处理，获得所述去雾模型输出的目标去雾图像，所述去雾模型是基于不成对的清晰图像和雾霾图像构成的训练图像集，对待训练模型进行无监督训练得到的，所述待训练模型包括用于进行加雾转换处理和去雾转换处理的多尺度注意力模块，及用于区分所述训练图像集的真实图像和所述多尺度注意力模块的生成图像的判别器。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像去雾方法，该方法包括：获取待去雾的目标雾霾图像；将所述目标雾霾图像输入至去雾模型，对所述目标雾霾图像进行去雾处理，获得所述去雾模型输出的目标去雾图像，所述去雾模型是基于不成对的清晰图像和雾霾图像构成的训练图像集，对待训练模型进行无监督训练得到的，所述待训练模型包括用于进行加雾转换处理和去雾转换处理的多尺度注意力模块，及用于区分所述训练图像集的真实图像和所述多尺度注意力模块的生成图像的判别器。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像去雾方法，其特征在于，包括：
获取待去雾的目标雾霾图像；
将所述目标雾霾图像输入至去雾模型，对所述目标雾霾图像进行去雾处理，获得所述去雾模型输出的目标去雾图像，所述去雾模型是基于不成对的清晰图像和雾霾图像构成的训练图像集，对待训练模型进行无监督训练得到的，所述待训练模型包括用于进行加雾转换处理和去雾转换处理的多尺度注意力模块，及用于区分所述训练图像集的真实图像和所述多尺度注意力模块的生成图像的判别器。
2.根据权利要求1所述的图像去雾方法，其特征在于，所述去雾模型通过如下方法训练得到：
获取不成对的清晰图像训练样本和雾霾图像训练样本；
基于所述清晰图像训练样本、所述雾霾图像训练样本和预设损失函数，对搭建后的待训练模型进行模型训练，获得去雾模型，所述待训练模型包括用于进行加雾转换处理和去雾转换处理的多尺度注意力模块，及用于区分真实图像和生成图像的判别器，所述真实图像为所述清晰图像训练样本或所述雾霾图像训练样本，所述生成图像为所述多尺度注意力模块输出的生成图像。
3.根据权利要求2所述的图像去雾方法，其特征在于，所述基于所述清晰图像训练样本、所述雾霾图像训练样本和预设损失函数，对搭建后的待训练模型进行模型训练，获得去雾模型，包括：
基于搭建后的待训练模型的雾霾编码器，对所述雾霾图像训练样本进行特征提取，获得雾霾信息；
基于所述待训练模型的第一多尺度注意力模块和所述雾霾信息，对所述清晰图像训练样本进行加雾转换处理，获得第一加雾图像；
基于所述待训练模型的第一判别器和预设损失函数中的第一对抗损失函数，对所述第一加雾图像进行对抗损失计算，获得雾霾图像对应的第一对抗损失；
基于所述待训练模型的第二多尺度注意力模块，对所述雾霾图像训练样本进行去雾转换处理，获得第一去雾图像；
基于所述待训练模型的第二判别器和所述预设损失函数中的第二对抗损失函数，对所述第一去雾图像进行对抗损失计算，获得清晰图像对应的第二对抗损失；
基于所述第一对抗损失和所述第二对抗损失，对所述待训练模型进行模型训练，获得去雾模型。
4.根据权利要求3所述的图像去雾方法，其特征在于，所述基于搭建后的待训练模型的雾霾编码器，对所述雾霾图像训练样本进行特征提取，获得雾霾信息，包括：
基于所述雾霾编码器的第一卷积单元，对所述雾霾图像训练样本进行卷积操作，获得第一特征图；
基于所述雾霾编码器的第二卷积单元，对所述第一特征图进行特征提取获得第二特征图，并基于所述雾霾编码器的第三卷积单元，对所述第一特征图进行特征提取获得第三特征图，所述第二特征图和所述第三特征图的分辨率大小不同；
基于所述雾霾编码器的第四卷积单元，对所述第二特征图进行特征提取获得第四特征图，并基于所述雾霾编码器的第五卷积单元，对所述第三特征图进行特征提取获得第五特征图；
将所述第三特征图和所述第五特征图进行相加，获得雾霾信息。
5.根据权利要求3所述的图像去雾方法，其特征在于，所述基于所述待训练模型的第一多尺度注意力模块和所述雾霾信息，对所述清晰图像训练样本进行加雾转换处理，获得第一加雾图像，包括：
基于所述第一多尺度注意力模块的第一内容编码器，对所述清晰图像训练样本进行编码，获得清晰图像内容特征；
将所述清晰图像内容特征和所述雾霾信息输入至所述第一多尺度注意力模块的第一生成器，进行加雾转换处理，获得所述第一生成器输出的第一加雾图像；
其中，所述基于所述待训练模型的第二多尺度注意力模块，对所述雾霾图像训练样本进行去雾转换处理，获得第一去雾图像，包括：
基于所述第二多尺度注意力模块的第二内容编码器，对所述雾霾图像训练样本进行编码，获得雾霾图像内容特征；
将所述雾霾图像内容特征输入至所述第二多尺度注意力模块的第二生成器，进行去雾转换处理，获得所述第二生成器输出的第一去雾图像。
6.根据权利要求2所述的图像去雾方法，其特征在于，所述待训练模型的损失函数包括对抗性损失、内容对抗损失、循环一致性损失、暗通道损失、恒等映射损失、重建损失和语义一致损失。
7.根据权利要求1至6任一项所述的图像去雾方法，其特征在于，所述将所述目标雾霾图像输入至去雾模型，对所述目标雾霾图像进行去雾处理，获得所述去雾模型输出的目标去雾图像，包括：
将所述目标雾霾图像输入至去雾模型的内容编码器，对所述目标雾霾图像进行编码，获得所述内容编码器输出的目标内容特征；
将所述目标内容特征输入至所述去雾模型的生成器，进行去雾处理，获得所述生成器输出的目标去雾图像。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述图像去雾方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像去雾方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像去雾方法的步骤。
CN202111234337.5A 2021-10-22 2021-10-22 图像去雾方法、电子设备、存储介质和计算机程序产品 Pending CN114004760A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111234337.5A CN114004760A (zh) 2021-10-22 2021-10-22 图像去雾方法、电子设备、存储介质和计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111234337.5A CN114004760A (zh) 2021-10-22 2021-10-22 图像去雾方法、电子设备、存储介质和计算机程序产品

Publications (1)

Publication Number Publication Date
CN114004760A true CN114004760A (zh) 2022-02-01

Family

ID=79923613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111234337.5A Pending CN114004760A (zh) 2021-10-22 2021-10-22 图像去雾方法、电子设备、存储介质和计算机程序产品

Country Status (1)

Country Link
CN (1) CN114004760A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155365A (zh) * 2022-02-07 2022-03-08 北京航空航天大学杭州创新研究院 模型训练方法、图像处理方法及相关装置
CN116645298A (zh) * 2023-07-26 2023-08-25 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置
WO2024066654A1 (zh) * 2022-09-28 2024-04-04 泉州装备制造研究所 基于无监督权重深度模型的偏振图像去雾方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155365A (zh) * 2022-02-07 2022-03-08 北京航空航天大学杭州创新研究院 模型训练方法、图像处理方法及相关装置
WO2024066654A1 (zh) * 2022-09-28 2024-04-04 泉州装备制造研究所 基于无监督权重深度模型的偏振图像去雾方法及装置
CN116645298A (zh) * 2023-07-26 2023-08-25 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置
CN116645298B (zh) * 2023-07-26 2024-01-26 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置

Similar Documents

Publication Publication Date Title
Li et al. Single image dehazing via conditional generative adversarial network
CN114004760A (zh) 图像去雾方法、电子设备、存储介质和计算机程序产品
CN110148085B (zh) 人脸图像超分辨率重建方法及计算机可读取的存储介质
CN110378844B (zh) 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN108475415B (zh) 用于图像处理的方法和系统
CN110163813B (zh) 一种图像去雨方法、装置、可读存储介质及终端设备
CN112329800A (zh) 一种基于全局信息引导残差注意力的显著性目标检测方法
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN111507909A (zh) 一种有雾图像清晰化的方法、装置及存储介质
CN114757832B (zh) 基于交叉卷积注意力对抗学习的人脸超分辨方法和装置
CN111986108A (zh) 一种基于生成对抗网络的复杂海空场景图像去雾方法
CN112700460B (zh) 图像分割方法及系统
CN113392937B (zh) 一种3d点云数据分类方法及其相关装置
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN114140346A (zh) 一种图像处理方法及装置
Cui et al. Exploring resolution and degradation clues as self-supervised signal for low quality object detection
CN113393385B (zh) 基于多尺度融合的无监督去雨方法、系统、装置及介质
CN112489103B (zh) 一种高分辨率深度图获取方法及系统
Zhang et al. Iterative multi‐scale residual network for deblurring
CN113191947B (zh) 一种图像超分辨率的方法及系统
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN112801912A (zh) 一种人脸图像复原方法、系统、装置及存储介质
CN114792315B (zh) 医学图像视觉模型训练方法和装置、电子设备和存储介质
CN112258394A (zh) 数据处理方法、船只跟踪方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination