CN116523767A - 一种结合雾浓度分类的图像去雾方法及系统 - Google Patents

一种结合雾浓度分类的图像去雾方法及系统 Download PDF

Info

Publication number
CN116523767A
CN116523767A CN202310267765.0A CN202310267765A CN116523767A CN 116523767 A CN116523767 A CN 116523767A CN 202310267765 A CN202310267765 A CN 202310267765A CN 116523767 A CN116523767 A CN 116523767A
Authority
CN
China
Prior art keywords
image
defogging
fog
branch
foggy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310267765.0A
Other languages
English (en)
Other versions
CN116523767B (zh
Inventor
迟静
张琪东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Finance and Economics
Original Assignee
Shandong University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Finance and Economics filed Critical Shandong University of Finance and Economics
Priority to CN202310267765.0A priority Critical patent/CN116523767B/zh
Publication of CN116523767A publication Critical patent/CN116523767A/zh
Application granted granted Critical
Publication of CN116523767B publication Critical patent/CN116523767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种结合雾浓度分类的图像去雾方法及系统，涉及图像处理和计算机视觉领域，具体方案包括：构建由雾浓度分类器和多分支去雾网络组成的多分支去雾模型，并对所述多分支去雾模型进行训练；通过训练后的雾浓度分类器处理带雾图像，得到带雾图像的雾浓度标签；将带雾图像及对应的雾浓度标签，输入到训练后的多分支去雾网络中，生成并输出无雾图像；本发明通过雾浓度对带雾图像进行分类，并使用复杂度不同的网络来处理不同雾浓度的图像，保证去雾精度的同时，提高计算效率。

Description

一种结合雾浓度分类的图像去雾方法及系统
技术领域
本发明属于图像处理和计算机视觉领域，尤其涉及一种结合雾浓度分类的图像去雾方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
图像去雾是图像处理和计算机视觉领域的研究热点，也是一个充满挑战性的难题；雾是由大气中悬浮的细小水滴或冰晶经大气散射后产生的天气现象，带雾图像存在诸多问题，如对比度、饱和度低、纹理细节丢失、颜色出现偏差等；这类图像实际用于视频监控、自动驾驶、图像识别等领域时，会对现有技术的处理结果造成负面影响；因此，图像去雾作为一种不可或缺的图像预处理技术，具有十分重要的研究意义。
图像去雾可分为基于图像增强的方法、基于图像复原的方法和基于深度学习的方法；基于图像增强的方法通过去除图像噪声和提高图像对比度，恢复出无雾图像；基于图像复原的方法主要利用大气散射模型实现去雾，例如，DCP方法基于暗通道先验和大气散射模型，通过暗通道图来估计透射率和大气光，实现先验去雾；这些方法存在透射率估计不准确、天空区域过曝、生成图像颜色过暗等缺点，去雾效果不理想。
早期的深度学习去雾方法大多基于大气散射模型，利用卷积神经网络估计大气散射模型的参数；DehazeNet模型利用神经网络估计出带雾图像的透射图，通过大气散射模型实现去雾；MSCNN模型采用多尺度卷积神经网络，首先通过粗尺度网络估计出透射图，再通过细尺度网络对透射图进行精细化处理，最后应用大气散射模型输出无雾图像；DCDPN模型将大气散射模型直接嵌入到网络中，利用联合训练实现端到端去雾；这些方法在去雾效果上得到了不同程度的提升，但仍然需要估算透射率和大气光值，难以避免参数估计不准确、无法生成高精度图像等问题。
近年来，基于深度学习的很多图像去雾技术不再依赖大气散射模型，无需估计透射率和大气光，而是利用输入的带雾图像，通过训练卷积神经网络模型，直接生成无雾图像；AOD-Net模型通过将透射率和大气光值统一为一个参数表示，并构建轻量级卷积神经网络估计该参数的值，生成无雾图像；FFA-Net模型将注意力机制引入深度去雾网络；MSBDN模型是一种基于U-Net架构的具有密集特征融合的多尺度增强去雾网络，通过增强解码器逐步恢复无雾图像；这些模型有效提升了生成图像的精度，但精度的提升往往依赖于网络深度与宽度的增加，这会导致参数量与算力需求的增加，从而不可避免地出现模型内存占用增大，计算效率降低的问题。
很多研究工作将生成式对抗网络GAN引入到图像去雾中，例如，基于GAN的GCANet模型可在去雾的同时避免网格伪影的产生；基于Cycle-GAN的Cycle-Dehaze模型无需使用成对的带雾图像与标准无雾图像进行训练，并通过加入循环一致性损失和感知一致性损失，提高了图像纹理细节恢复的质量；上述基于深度学习的去雾模型在训练时大多采用最常见的L1或L2损失，而L1和L2损失在很多情况下会使得模型对图像中纹理细节的处理过度平滑，导致生成图像的部分边缘区域出现一定程度的模糊，并且会存在雾残留，尤其在处理浓雾图像时，部分生成图像会有大量的雾残留，生成图像的质量较差。
总之，现有去雾方法存在对浓雾图像去雾效果欠佳、网络复杂度高、计算效率低、精度和算力难以有效平衡的问题。
发明内容
为克服上述现有技术的不足，本发明提供了一种结合雾浓度分类的图像去雾方法及系统，通过雾浓度对带雾图像进行分类，并使用复杂度不同的网络来处理不同雾浓度的图像，保证去雾精度的同时，提高计算效率。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
本发明第一方面提供了一种结合雾浓度分类的图像去雾方法；
一种结合雾浓度分类的图像去雾方法，包括：
构建由雾浓度分类器和多分支去雾网络组成的多分支去雾模型，并对所述多分支去雾模型进行训练；
通过训练后的雾浓度分类器处理带雾图像，得到带雾图像的雾浓度标签；
将带雾图像及对应的雾浓度标签，输入到训练后的多分支去雾网络中，生成并输出无雾图像。
进一步的，所述雾浓度分类器，根据带雾图像的暗通道特征和恢复难度，对带雾图像的雾浓度进行分类。
进一步的，所述暗通道特征，通过取带雾图像的暗通道图的平均像素值并归一化得到；
所述恢复难度，表示为带雾图像去雾后的图像的峰值信噪比与结构相似性值的乘积。
进一步的，所述多分支去雾网络，包含多个结构相同、宽度不同的分支去雾网络，根据雾浓度标签选择不同的分支去雾网络分别处理带雾图像。
进一步的，对所述多分支去雾模型进行训练，具体步骤为：
(1)构建分支去雾损失函数，对多个分支去雾网络进行训练；
(2)固定训练好的多个分支去雾网络，构建多分支去雾损失函数，对多分支去雾模型进行联合训练。
进一步的，所述分支去雾损失函数，包括三个约束项：
(1)L1损失，用于计算分支去雾网络所生成图像与真实的清晰无雾图像之间对应像素的误差，表示为：
L1＝||Ioutput-IGT||1
其中，IGT为真实的清晰无雾图像，Ioutput为分支去雾网络所生成图像，即去雾后的图像；
(2)暗通道先验损失，表示为：
其中，Idark(xi)为分支去雾网络所生成图像的第i个像素点xi的暗通道值，H、W为图像尺寸；
(3)亮通道先验损失，表示为：
其中，Ilight(xi)为分支去雾网络所生成图像的第i个像素点xi的亮通道值。
进一步的，所述多分支去雾损失函数，包括三个约束项：
(1)L1损失，用于计算多分支去雾模型所生成图像与真实的清晰无雾图像之间对应像素的误差，表示为：
L1＝||IJ-IGT||1
其中，IGT为真实的清晰无雾图像，IJ为多分支去雾模型所生成图像；
(2)类间损失，表示为：
其中，C为带雾图像的总类别数，pi为当前输入图像被分至第i类的概率，pj为当前输入图像被分至第j类的概率；
(3)雾浓度分类损失，表示为：
其中，k为雾浓度系数的归一化值，p1,p2和p3分别表示当前带雾图像经过LFC计算得到的概率向量中属于轻雾、中雾和浓雾类别的概率值。
本发明第二方面提供了一种结合雾浓度分类的图像去雾系统。
一种结合雾浓度分类的图像去雾系统，包括模型构建模块、图像分类模块和分支去雾模块：
模型构建模块，被配置为：构建由雾浓度分类器和多分支去雾网络组成的多分支去雾模型，并对所述多分支去雾模型进行训练；
图像分类模块，被配置为：通过训练后的雾浓度分类器处理带雾图像，得到带雾图像的雾浓度标签；
分支去雾模块，被配置为：将带雾图像及对应的雾浓度标签，输入到训练后的多分支去雾网络中，生成并输出无雾图像。
本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的一种结合雾浓度分类的图像去雾方法中的步骤。
本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的一种结合雾浓度分类的图像去雾方法中的步骤。
以上一个或多个技术方案存在以下有益效果：
本发明针对现有模型对浓雾图像去雾效果欠佳、网络复杂度高、计算效率低、精度和算力难以有效平衡的问题，提出一种新的图像去雾方法，主要贡献如下：
1)提出一个基于雾浓度分类的多分支去雾模型，该模型包括轻量级雾浓度分类器和多分支去雾网络两个部分；前者用于对输入带雾图像进行分类，输出雾浓度标签；后者根据标签针对性地选择相应的分支去雾网络，恢复无雾图像，从而实现图像去雾质量与网络计算效率的良好平衡。
2)提出一个新的雾浓度分类方法，并基于该方法提出一个新的雾浓度分类损失函数；该损失函数的引入，可使模型依据带雾图像的暗通道特征和恢复难度,并结合生成图像的质量与模型的计算效率，得到对带雾图像的更加合理和准确的分类结果，继而依据分类结果，由相应的分支网络处理带雾图像，从而在保证精度的前提下，有效提高模型的效率，减少内存的占用。
3)提出新的暗通道先验损失函数与亮通道先验损失函数，用于约束分支去雾网络，该损失函数可以增强模型去雾性能，提高生成图像的对比度，使去雾后的图像更加清晰。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例的多分支去雾模型结构与流程图。
图2为第一个实施例的基于雾浓度系数的带雾图像预分类结果可视化图。
图3为第一个实施例的使用和未使用暗通道先验损失和亮通道先验损失的去雾结果对比图。
图4为第一个实施例的不同方法对ITS与OTS的不同雾浓度图像的去雾效果对比图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
在图像去雾中，根据雾浓度对带雾图像进行分类，有助于在图像去雾时选择合适的网络模型，使去雾处理更具有针对性，从而在一定程度上简化网络结构，减少内存占用；然而，在目前的去雾领域中，对雾浓度分类的研究较少，多数现有雾浓度分类算法的准确率较低，且没有固定的分类标准；分类网络结构的设计以及带雾图像特征的选择作为两个关键因素，共同影响着最终分类的准确率和识别度；因此，如何借助雾浓度的分类，更具针对性地设计去雾模型的网络结构，使模型能够为不同雾浓度的输入图像选择合适的分支网络，以更灵活地处理，这对于在保证精度的前提下，简化网络结构，减少内存占用，提高计算效率具有重要意义。
实施例一
在一个或多个实施方式中，公开了一种结合雾浓度分类的图像去雾方法，包括如下步骤：
(1)构建由雾浓度分类器和多分支去雾网络组成的多分支去雾模型，并对所述多分支去雾模型进行训练。
(2)通过训练后的雾浓度分类器处理带雾图像，得到带雾图像的雾浓度标签。
(3)将带雾图像及对应的雾浓度标签，输入到训练后的多分支去雾网络中，生成并输出无雾图像。
下面对本实施例一种结合雾浓度分类的图像去雾方法的实现过程进行详细说明。
本实施例提出一个新的基于雾浓度分类的多分支去雾模型，模型的结构与流程图如图1所示，多分支去雾模型由两部分组成，分别是轻量级雾浓度分类器(Light-weightFog image Classifier，LFC)和基于暗-亮通道优化的多分支去雾网络(Multi-batchDefogging Network based on optimization of dark and light channels，MBDN)。
LFC由三个卷积块与两个全连接层组成，利用提出的新的雾浓度分类损失函数，并结合生成图像的质量与模型的计算效率，实现对带雾图像的分类；
MBDN由三个结构相同、宽度不同的分支去雾网络MBDN-B1、MBDN-B2和MBDN-B3组成，分别用于处理轻雾图像、中雾图像和浓雾图像，实现对不同雾浓度图像的去雾；每个分支去雾网络都由三个模块组成：特征提取模块(feature extractor,FE)、通道注意力模块(channel attention,CA)、空间注意力模块(space attention,SA)。
多分支去雾模型的基本流程是：
首先将带雾图像输入至LFC，得到输入图像的概率向量，向量中的元素p1、p2和p3分别表示图像属于轻雾、中雾、浓雾三类图像的概率值，取最大概率值所对应的雾浓度类别作为输入图像的浓度标签。
然后将浓度标签输入至MBDN，MBDN根据当前输入图像的浓度标签将其输送到相应的分支去雾网络，分支去雾网络利用卷积和残差连接提取并融合特征，通过注意力机制在通道方向和空间方向上进一步提取特征，并结合本文新提出的暗通道先验损失与亮通道先验损失，进一步约束分支去雾网络，提高分支网络的去雾性能，最终生成无雾图像。
下面从轻量级雾浓度分类器、基于暗-亮通道优化的多分支去雾网络、训练和实验四个方面，进行详细说明。
一、轻量级雾浓度分类器
本发明提出一个新的轻量级雾浓度分类器LFC，可根据带雾图像的暗通道特征和恢复难度以及生成图像的质量，将带雾图像分为轻雾、中雾、浓雾三类。
LFC由三个卷积块和两个全连接层组成，其中，每个卷积块由一个卷积层、一个激活层和一个最大池化层组成；LFC是一个十分轻量级的分类网络，参数量仅有0.32M，它的引入几乎不会对多分支去雾模型的去雾工作带来计算成本和内存占用量的增加。
设当前带雾图像为I，将其输入至LFC，可得到带雾图像I的概率向量，记为P(I)＝{p1,p2,p3}，p1,p2和p3分别表示带雾图像I属于轻雾、中雾和浓雾类别的概率；取其中最大概率值元素所对应的雾浓度类别作为当前带雾图像I的分类结果，该结果表示为浓度标签L；浓度标签L将与当前带雾图像I共同输入至后续的分支去雾网络MBDN；LFC的处理过程可表示为：
L＝LFC(I) (1)
其中，I表示当前带雾图像，L表示当前带雾图像的浓度标签。
(1)雾浓度分类方法
为了提高雾浓度分类的合理性和准确性，同时保证整个多分支去雾模型在去雾精度和算力消耗上的良好平衡，本发明提出一种新的雾浓度分类方法，根据带雾图像的暗通道特征与恢复难度这两个因素，实现对雾浓度的分类，两个因素值的计算分别为：
1)暗通道特征：求取带雾图像的暗通道图的平均像素值并归一化；
暗通道图的平均像素值代表了带雾图像的暗通道特征，由暗通道先验理论可得，输入图像中存在的雾越浓，其暗通道图就越亮。
2)恢复难度：将带雾图像通过DCP算法去雾处理后，求取生成图像的PSNR与SSIM值。
浓雾图像相对轻雾图像而言，恢复难度自然会更大，即，浓雾图像经同一去雾算法处理后的生成图像的PSNR与SSIM值会更低，因此，可用PSNR与SSIM值的乘积表示带雾图像的恢复难度，即，去雾后具有较小乘积值的雾图像中存在的雾往往较浓，其恢复难度相对于乘积值较大的雾图像而言往往会更高；这里用于计算PSNR与SSIM值所采用的去雾处理操作，仅是为了得到不同带雾图像经过同一算法去雾后的客观量化结果，以此来反映不同带雾图像的恢复难度，对去雾处理操作本身的精度没有特别高的要求，因此，本实施例使用综合速度最快的DCP算法对图像进行去雾操作。
基于上述理论，本发明综合考虑带雾图像的暗通道特征与恢复难度，提出新的雾浓度分类方法，将带雾图像的雾浓度系数定义为去雾后所得图像的PSNR值和SSIM值的乘积与带雾图像的暗通道图的平均像素值的归一化结果之比，具有较小的雾浓度系数的图像，其图像雾浓度通常较大；设雾浓度系数为K，输入的带雾图像为I，其暗通道图为Idark，由DCP算法处理后的生成图像为IDCP，则雾浓度系数K的具体表示如下：
其中，PSNR(.)表示求取图像的PSNR值，SSIM(.)表示求取图像的SSIM值，MeanPixel(.)表示求取暗通道图的平均像素值并归一化。
图2展示了本发明新提出的雾浓度分类方法在RESIDE室内数据集上的预分类结果；这里，利用公式(2)计算带雾图像的雾浓度系数K，并根据K值由小到大对13,990张带雾图像进行了排序；横轴表示带雾图像排序后的索引号，纵轴表示图像的雾浓度系数K；可见，随着K值的增大，图像雾浓度呈现了从浓到轻的趋势，这表明具有较高K值的图像的雾浓度往往较低，而具有较低K值的图像的雾浓度往往较高，图2中的曲线表示了这种趋势。
为更加方便直观地展示效果，这里按照雾浓度系数K值的区间粗略地将其平均分为轻雾、中雾、浓雾三个区域，其中，轻雾区域对应轻雾(Light)图像，中雾区域对应中雾(Medium)图像，浓雾区域对应浓雾(Dense)图像。可见，本发明的雾浓度分类方法可以有效地对带雾图像的浓度进行划分。
显然，仅根据均分K值范围的方式将图像划分为轻雾、中雾和浓雾三类是不合理的，需要结合数据集的实际情况，以及整个网络模型的去雾质量和计算效率，对图像浓度类别进行动态、灵活的划分；因此，基于新的雾浓度分类方法，本发明又提出了雾浓度分类损失函数，用于约束雾浓度分类器LFC对带雾图像类别的识别，以实现动态分类。该损失函数的引入，可建立起轻量级雾浓度分类器LFC和多分支去雾网络MBDN之间的联动优化，使整个网络模型可根据带雾图像的暗通道特征和恢复难度,并结合生成图像的质量与模型的计算效率，得到更加合理和准确的分类结果，继而可根据分类结果，由相应的分支去雾网络去处理不同类别的带雾图像，从而达到整个网络模型在去雾精度和运算效率上的良好平衡。
(2)雾浓度分类损失函数
在考虑到带雾图像的暗通道特征和恢复难度的情况下，图像中存在的雾越多，则雾浓度系数K的值越小；对所有图像的K值做归一化处理，结果记为k,k∈(0,1)，显然，k值的大小同样反映了雾的浓度，当k值趋近于1时，说明图像中存在的雾很少，此时希望LFC所得概率向量中代表轻雾图像的概率p1的值最大；同样，k值趋近于0.5时，说明图像中存在的雾属于中等程度，希望其概率向量中代表中雾图像的概率p2的值最大；k值趋近于0时，说明图像中的雾很浓，希望其概率向量中代表浓雾图像的概率p3的值最大。
基于此，本发明提出新的雾浓度分类损失函数，定义如下：
其中，k为雾浓度系数的归一化值，p1,p2和p3分别表示当前带雾图像经过LFC计算得到的概率向量中属于轻雾、中雾和浓雾类别的概率值，是待优化的未知量。
如公式(3)所示，k值越接近1，则该图像属于轻雾类别的概率应该越高，即：概率向量中p1的值应该越大、越接近于k，公式(3)在优化LFC的过程中，通过缩小k与p1的距离可使p1增大，同时减小p2和p3；k值越接近0.5，则该图像属于中雾类别的概率应该越高，即：该图像的概率向量中p2的值应该越大、越接近于2k，公式(3)通过缩小2k与p2的距离可使p2增大，同时减小p1和p3；k值越接近0，则该图像属于浓雾类别的概率值应该越高，即：该图像的概率向量中p3的值应该越大，公式(3)通过增大k与p3的距离可使p3增大，同时减小p1和p2。
可见，雾浓度分类损失能够使LFC根据带雾图像的暗通道特征和恢复难度，实现对带雾图像的分类；同时，本发明还将雾浓度分类损失引入到对整个模型的联合训练中，通过与其他损失函数相结合，使模型能够进一步根据生成图像的质量和计算效率，得到对带雾图像的更加合理和准确的分类结果；继而依据分类结果，由相应的分支网络处理带雾图像，从而在保证精度的前提下，有效提高模型的效率，减少内存的占用。关于联合训练的方法及总损失函数，会在下面详细说明。
二、基于暗-亮通道优化的多分支去雾网络
多分支去雾网络MBDN由三个结构相同、宽度不同的分支网络MBDN-B1、MBDN-B2和MBDN-B3组成，分别用于处理浓度标签为轻雾、中雾和浓雾的带雾图像，将其恢复为无雾图像。
网络宽度的大小影响着模型的去雾效果，足够的宽度可以使网络的每一层都能够学习到丰富的特征，但宽度过大易使模型学习过多重复的特征，模型生成图像的评估结果不但没有明显的提升，反而使计算量大大增加，影响运行效率。
因此，综合考虑带雾图像的恢复难度，以及网络宽度对精度和速度的影响，并经过多次实验，本实施例将轻雾分支网络MBDN-B1的宽度设置为48，中雾分支网络MBDN-B2的宽度设置为56，浓雾分支网络MBDN-B3的宽度设置为64，以实现图像去雾质量与网络计算效率的良好平衡。
将当前带雾图像I以及经过LFC得到的该图像的浓度标签L，共同输入至MBDN，MBDN根据当前输入图像的浓度标签，为其选择合适的分支去雾网络；这样，随着图像的雾浓度从重、到中、到轻，其恢复难度逐渐降低，即使采用结构逐渐简单的分支网络，亦可以达到理想的去雾效果。
因此，分支网络结构的设计可以在降低网络复杂度，减少内存占用量的同时，保证生成图像的质量；另外，为进一步提升去雾精度，本发明还提出了新的暗通道先验损失函数与亮通道先验损失函数，以进一步约束分支去雾网络，使其具有更好的去雾性能。
(1)分支去雾网络
MBDN中的分支去雾网络由三个模块组成：
特征提取模块FE提取带雾图像的特征，并将输出的特征图在通道方向上相连接，实现特征融合；
通道注意力模块CA在通道方向上获取特征权重，使模型识别并获取更有价值的通道信息；
空间注意力模块SA在空间方向上获取特征权重，使模型定位图像中重要的空间位置，重点关注浓雾区域并进行处理。
注意力机制的引入，使模型能够定位重点信息，并抑制非重点信息，提高了模型的计算效率。同时，结合本发明新提出的暗通道先验损失与亮通道先验损失来训练模型，以进一步提高模型的去雾性能。
下面具体介绍三个模块。
1)特征提取模块FE
将带雾图像输入至特征提取模块FE，具体处理步骤为：
通过卷积层将输入的RGB带雾图像转换为特征图；
通过3个由残差连接的特征提取器FE1、FE2和FE3进一步提取特征，每个特征提取器由20个结构完全相同的残差块组成，加入残差连接可以更有效地减少梯度消失和网络退化问题，使模型训练简单化；
把每个特征提取器输出的特征图在通道方向上连接起来，实现特征融合，输出组合特征图FFE。
2)通道注意力模块CA
通道注意力模块基于注意力机制获取不同通道的权重，该部分的输入是组合特征图FFE，具体处理步骤为：
通过自适应全局平均池化(global average pooling,GAP)将FFE的尺寸由H*W*C变为1*1*C，即，将FFE变成一个维度为C的向量vGAP；
为使特征图的每个通道具有不同的权重，以提取通道相关性，将vGAP进行逐点卷积来提取通道特征，并利用ReLU激活函数获取各通道权重，再卷积恢复至原维度，通过Sigmoid激活函数得到特征向量vCA，vCA中的每个元素值即为各通道的权重值；
将生成的特征向量vCA与FFE逐元素相乘，得到具有通道权重的组合特征图FCA。
3)空间注意力模块SA
空间注意力模块在提取通道特征的基础上，进一步提取空间特征，即：获取组合特征图FCA通道方向上的所有通道在同一像素点位置的权重，空间注意力模块的输入为FCA，具体步骤为：
通过两个卷积层和两个激活层，将FCA的尺寸变为H*W*1，且赋予其空间特征的权重；换言之，空间注意力模块将FCA转换为一个尺寸为H*W的权重矩阵MSA，MSA的每个元素即为FCA相应空间位置的特征权重；
将权重矩阵与FCA逐元素相乘，生成特征图FSA；
将FSA转换为RGB图像，得到输出图像Ioutput，即，最终的去雾图像。
(2)暗通道先验损失函数与亮通道先验损失函数
本发明用于训练分支去雾网络的损失函数由三个约束项组成：L1损失、暗通道先验损失和亮暗通道先验损失，其中，L1损失是传统方法中常采用的约束项，暗通道先验损失和亮暗通道先验损失则是本发明提出的两个新约束项。
暗通道先验损失用于增强模型的去雾性能，提高生成图像的去雾效果；亮暗通道先验损失在增强去雾效果的同时，可适当提高生成图像的亮度与对比度，有效解决因仅使用暗通道先验损失造成的生成图像过暗问题，以及因使用L1损失对纹理细节过度平滑导致的边缘区域模糊问题，从而使去雾后的图像更加清晰。
在具体介绍三个损失约束项之前，先对暗通道先验与亮通道先验理论进行说明。
暗通道先验理论的基本思想是，在非天空区域的彩色无雾图像中，大多数局部区域中都存在一些像素，这些像素在至少一个颜色通道中的强度很低，此处，像素强度指该通道中的像素值，取值范围为0-255，对任意图像I，其暗通道Idark(x)的表达式为：
其中，IC表示彩色图像I的某一颜色通道，y∈Ω(x)表示以像素点x为中心的局部区域内的像素；暗通道先验理论指出，对无雾图像而言，其暗通道Idark(x)应尽可能的小，并且趋近于0。
亮通道先验理论的基本思想是，在大多数模糊图像的局部区域中，都存在一些像素，这些像素在至少一个颜色通道中具有很高的强度，对任意图像I，其亮通道Ilight(x)的表达式为：
其中，IC，y∈Ω(x)的含义与公式(4)中相同，由亮通道先验理论可推得，带雾图像的亮通道相对无雾图像要高。
本发明将图像暗通道图的平均像素值定义为图像的暗通道值，将图像亮通道图的平均像素值定义为图像的亮通道值；由暗通道先验与亮通道先验理论以及实验验证可得，带雾图像的暗通道值与亮通道值都相对较高，而清晰图像的暗通道值与亮通道值都相对较低；因此，根据带雾图像与清晰图像的这一暗通道与亮通道特征，本发明提出了暗通道先验损失与亮通道先验损失，这两项损失能够有效提升模型的去雾能力，使生成图像具有更好的去雾效果，同时提高图像的亮度与对比度，使生成图像更加清晰。
2)暗通道先验损失
上述暗通道先验理论和实验表明，带雾图像的暗通道值较高，清晰图像的暗通道值较低；若模型去雾性能较差，则其生成图像的部分区域仍会存在雾残留，暗通道值就会偏高，而且相比于轻雾图像，浓雾图像去雾后的雾残留会更多，暗通道值会更高；因此，为增强模型的去雾性能，希望生成图像的雾残留尽量少，即，希望生成图像的暗通道值尽可能小。基于此，本发明提出暗通道先验损失函数，用于约束分支去雾网络所生成图像的暗通道值，以提升模型的去雾效果，尤其是对浓雾图像的去雾效果。暗通道先验损失函数表示如下：
其中，Idark(xi)为生成图像的第i个像素点xi的暗通道值，H、W为图像尺寸。
3)亮通道先验损失
上述亮通道先验理论和实验表明，带雾图像的亮通道值相比清晰图像要高，因此，适当降低生成图像的亮通道值，可提升生成图像的清晰度，从而提高模型的去雾效果；基于此，本发明提出亮通道先验损失函数，用于约束分支去雾网络所生成图像的亮通道值，使其尽可能的小；另外，由于暗通道先验损失易使生成图像亮度过暗，导致生成图像的对比度降低，通过引入亮通道先验损失，与暗通道先验损失共同约束模型，可很好地保持生成图像的亮通道值与暗通道值的平衡，从而在提高模型去雾性能的同时，保证生成图像的亮度与对比度，使模型生成的图像更加清晰；亮通道先验损失函数表示如下：
其中，Ilight(xi)为生成图像的第i个像素点xi的亮通道值，H、W为图像尺寸。
3)L1损失
用于计算模型生成图像与真实的清晰无雾图像之间对应像素的误差，表达式为：
L1＝||Ioutput-IGT||1 (8)
其中，IGT为真实的清晰无雾图像，Ioutput为模型的生成图像，即去雾后的图像。
综上，用于训练多分支去雾网络MBDN中每个分支网络的总损失函数，即分支去雾损失函数为：
LB＝ω1L1+ω2Ld+ω3Ll (9)
其中，ω1,ω2,ω3是损失函数的权重。
图3展示了利用不同损失约束项训练的模型在测试集上得到的直观视觉结果。其中，第1列为带雾图像，第2列为仅使用L1损失训练的分支去雾网络的视觉结果，第3列为使用暗通道先验损失和亮通道先验损失与L1损失共同训练分支去雾网络的视觉结果，第4列为真实的清晰无雾图像；第2列与第3列的矩形框对两者在相同位置的细节表现进行了放大；可见，第3列的结果图中的细节更加清晰，去雾效果更好，这证明了本发明提出的两个先验损失的有效性，它们与L1损失共同约束分支去雾网络，可使模型的生成图像在视觉上更加清晰，在精度上达到更高的水平。
三、训练策略
本发明提出新的雾浓度分类方法，根据带雾图像的暗通道特征和恢复难度进行分类，并由此提出了新的浓度损失函数，该损失函数能够使LFC得到对带雾图像的更加合理和准确的分类结果。
然而，实际分类时，还要考虑到分类结果对整个网络模型最终生成图像的质量以及计算效率的影响；因此，本发明不是根据预定的浓度标签来单独训练LFC,而是将LFC和MBDN联合起来一起进行训练,从而使分类既考虑到带雾图像的暗通道特征和恢复难度,又考虑到最终生成图像的质量和网络的计算效率，训练主要分为两个步骤：
第一步，使用公式(9)定义的分支去雾损失函数，将新提出的暗通道先验损失和亮通道先验损失，与L1损失相结合，分别训练多个分支去雾网络，使其能够将带雾图像恢复至无雾清晰图像。
第二步，固定训练好的多个分支去雾网络，使用多分支去雾损失函数，将新提出的雾浓度分类损失与L1损失和类间损失相结合，对多分支去雾模型进行联合训练，使LFC能够根据带雾图像的暗通道特征和恢复难度，并结合生成图像质量与模型计算效率,实现对带雾图像的分类。
联合训练中，当前输入的带雾图像会分别经过每个分支去雾网络，将LFC输出的当前图像的概率向量中每个元素的概率值与对应类别的分支去雾网络所生成图像的乘积之和，作为联合训练的最终结果，联合训练输出图像的公式表示如下：
其中，C为带雾图像的总类别数，本实施例中C的值为3，I为输入图像，pi为当前输入图像被分至第i类的概率，Bi(I)为第i个分支去雾网络所生成的图像。IJ为联合训练的最终输出图像。
在联合训练过程中，带雾图像的特征以及生成图像的质量均是影响模型性能的关键因素，而本发明提出的雾浓度分类损失函数，可根据带雾图像的暗通道特征和恢复难度约束模型，将其与L1损失相结合，可进一步保证生成图像的质量。
此外，通过雾浓度分类损失与L1损失共同约束模型，还可以使模型能够根据计算效率进一步优化分类结果；例如，若低宽度分支网络足以处理当前图像，且能够保证生成图像的质量，则无需使用更高宽度的分支网络，从而使当前图像雾浓度分类降低一个等级，有效提高了模型的计算效率。
另外，为增加分类结果的可信度，本发明还引入了类间损失，用于共同约束整个模型；因此，多分支去雾模型联合训练的总损失函数，即多分支去雾损失函数，由以下三个约束项组成：
(1)L1损失
用于计算生成图像与清晰图像之间对应像素的误差，以保证生成图像的质量，表达式为：
L1＝||IJ-IGT||1 (11)
其中，IGT为清晰无雾图像，IJ为联合训练时模型的生成图像。
(2)类间损失
用于扩大概率向量中各元素之间的距离，即增大每个分类结果之间的概率差距，使概率向量中最大的元素值趋近于1，从而增加最大概率对应的分类结果的可信度，避免分类结果的模糊性，公式如下：
其中，C为带雾图像的总类别数，本实施例中C的值为3，pi为当前输入图像被分至第i类的概率，pj为当前输入图像被分至第j类的概率。
(3)雾浓度分类损失
雾浓度分类损失如公式(3)所示，该损失用于约束LFC，使其能够根据带雾图像的暗通道特征和恢复难度实现分类。
综上，联合训练的总损失函数，即多分支去雾损失函数为：
LJ＝λ1L1+λ2Lk+λ3Lc (13)
其中，λ1,λ2,λ3是损失约束项的权重。
四、实验
1、数据集
本实施例使用RESIDE室内与室外两个数据集进行实验，RESIDE(REalisticsingle Image Dehaze)包含由NYU Depth Dataset V2和Middlebury Stereo Datasets合成的室内图像与室外图像，其中，训练集包括室内训练集ITS(Indoor trainset)和室外训练集OTS(Outdoor trainset)，测试集为SOTS(Synthetic Objective Testing Set)；ITS包含13,990张带雾图像，OTS包含313,950张带雾图像；本实施例在训练分支去雾网络时，在室内数据集ITS中，使用13,000张图像用于训练，990张用于验证，在室外数据集OTS中，随机选取130,000张图像用于训练，990张用于验证；SOTS包含500张室内图像与500张室外图像，本实施例使用SOTS进行测试实验。
2、训练参数
模型训练时的具体参数如下：
使用公式(9)定义的分支去雾损失函数训练MBDN-B1、MBDN-B2和MBDN-B3三个分支去雾网络时，设置公式(9)中的权值为ω1＝1,ω2＝10,ω3＝10；设置迭代次数iteration为8e5，batch size为4,学习率初始值lr为1e-4，使用Adam优化器优化学习率，通过余弦退火衰减函数将学习率从初始值调整为0，设置β1＝0.99，β2＝0.999；固定训练好的三个分支去雾网络，使用公式(13)定义的多分支去雾损失函数对模型进行联合训练时，设置公式(13)中的权值为λ1＝1000,λ2＝1,λ3＝1；设置batch size为64，初始学习率lr为2e-4，epoch为100。
3、雾浓度分类方法的合理性
为证明本发明提出的雾浓度分类方法的合理性和有效性，本实施例对本发明模型在多个数据集上的分类结果，以及生成图像的质量和网络的计算性能进行了测试，实验中，利用训练好的网络模型对500张室内测试图像进行分类，得到轻雾类图像89张、中雾类图像303张、浓雾类图像108张；为测试生成图像的质量和计算性能，将三类图像均输入至MBDN中的每个分支去雾网络，得到不同分支网络下，其生成图像的平均PSNR值，该值可反映图像的生成质量。
表1是对ITS数据集的测试结果，第1列括号内的数字表示分支去雾网络的宽度值，第2-4列分别表示轻雾类、中雾类、浓雾类图像分别由三个分支去雾网络处理后，得到的生成图像的平均PSNR值，第5列为MBDN-B1、MBDN-B2、MBDN-B3与LFC的参数量对比。
表1模型参数量对比与分支去雾网络生成图像的PSNR值对比表
由第5列的参数量对比表明，LFC的参数量相比分支去雾网络而言非常小，因此LFC的引入几乎不会对模型的去雾工作带来更多的计算成本和内存占用；由第2列中轻雾图像去雾后的平均PSNR值对比可得，轻雾图像经过三个不同分支去雾网络处理后，所得图像的平均PSNR值十分接近，而MBDN-B1的参数量相对MBDN-B3减少了40％有余。由此可见，使用低宽度的分支网络处理轻雾图像，即可获得与高宽度网络非常相近的结果，其精度的损失是可以忽略不计的，但计算成本却大大降低。由第3列中雾图像去雾后的平均PSNR值对比可得，中雾图像经过MBDN-B2处理后的图像精度，相比MBDN-B3略有一点下降，该损失是可接受的，但MBDN-B2相比MBDN-B3，参数量却减少了30％有余。因此，通过对带雾图像的分类，以损失极小的精度为代价，使参数量大大降低，从而提高了计算效率，减小了计算成本，这证明了本发明的雾浓度分类方法是合理和有效的。
4、对比实验结果
为了验证本发明方法的有效性，本实施例分别对轻雾、中雾和浓雾三类图像进行测试，并对比了六种去雾算法，在视觉上直观展示了本发明方法与其他方法的去雾对比效果。图4展示了轻雾、中雾、浓雾三类图像经本发明方法和其他方法处理后的视觉对比结果。第1列为输入的带雾图像，最后一列为真实的清晰无雾图像。第(a)、(c)、(e)行的图像来自ITS数据集，第(b)、(d)、(f)行中的图像来自OTS数据集。第(a)和(b)行为轻雾图像，第(c)和(d)行为中雾图像，第(e)和(f)行为浓雾图像。
由图4可见，DCP算法由于先验假设的局限性，存在参数估计不准确等问题，导致其生成图像的颜色失真较为严重，且对浓雾图像处理效果较差，存在着较多的雾残留；AOD-Net算法的去雾效果较差，尤其是在处理浓雾图像时，仅去除了小部分雾霾，而且生成图像色彩比例失衡；DehazeNet算法生成图像的亮度过高，其去雾效果虽优于AOD-Net算法，但仍无法达到满意的结果，尤其浓雾图像在去雾后仍存在较多的雾残留；GCANet算法对纹理边缘细节的处理效果较差，部分图像出现颜色失真问题；FFA算法在轻雾、中雾图像上的表现较好，但在处理浓雾图像时，存在局部区域模糊的问题；MSBDN算法的生成图像整体偏亮，且对浓雾图像的去雾效果欠佳。相比其他方法，本发明模型具有更好的去雾效果，尤其在处理浓雾图像时，可有效减少雾残留，使生成的图像更加清晰，这也证实了本发明提出的暗通道先验损失函数与亮通道先验损失函数的优势。
在视觉对比实验的基础上，本实施例使用不同的图像质量评价指标对模型进行了量化对比实验。使用峰值信噪比(PSNR)反应图像的失真情况，以衡量重构图像的质量；使用结构相似性(SSIM)衡量生成图像与真实图像的相似程度，通过上述两个指标进一步评价和证明本发明方法的有效性。表2展示了本发明模型与其他模型对ITS与OTS图像的评估结果，其中，第1列为各模型简称，第2-3列为处理室内测试集后生成图像的平均PSNR和SSIM值，第4-5列为处理室外测试集后生成图像的平均PSNR和SSIM值。可见，在室内数据集和室外数据集中，本发明方法均表现最佳。
表2不同模型PSNR与SSIM的评估结果
本实施例对ITS的图像进一步测试，保存了模型对ITS图像的分类结果，使用不同模型对轻雾、中雾、浓雾图像分别测试评估。表3展示了ITS轻雾、中雾、浓雾三类图像分别在不同去雾模型上的评估结果。表3中增加了参数量(Param)评估指标，参数量为网络模型中所需要训练的参数总量，可用于衡量网络的空间复杂度以及所占内存的大小。表3的评估结果表明，在去雾质量方面，本发明模型处理不同雾浓度图像的结果均为最佳。在参数量方面，相比AOD-Net、DehazeNet和GCANet方法，本发明模型的参数量略大，但是本发明模型对去雾质量的提升却是极大的；而相比FFA和MSBDN方法，本发明模型均能够以较小的参数量，达到较高的去雾质量。另外，本发明模型自身还可根据带雾图像的分类结果在不同去雾分支间灵活调整，进一步平衡了整个网络的去雾质量和计算效率。综上，本发明方法可以灵活处理不同浓度的带雾图像，大大提高了模型的计算效率，同时使用新提出的暗通道先验损失函数与亮通道先验损失函数，大大提高了模型的去雾性能，使得方法能够在达到较高精度的前提下，有效降低模型的空间复杂度和内存使用量，实现了去雾精度和速度的良好平衡。
表3三类雾浓度图像在不同模型中的评估结果
本发明提出一个基于雾浓度分类的图像去雾方法，可根据带雾图像的暗通道特征与恢复难度，结合生成图像的质量与计算效率，实现对带雾图像的分类，并根据分类结果为当前输入的带雾图像选择合适的分支去雾网络，分别实现轻雾、中雾和浓雾图像的去雾处理；新的雾浓度分类损失函数的提出以及在模型联合优化中的应用，可使模型对带雾图像进行动态分类，达到去雾精度和计算消耗的良好平衡；新的暗通道先验损失和亮通道先验损失的提出以及在分支去雾网络中的应用，大大提高了生成图像的质量；与当前图像去雾领域中现有的大多数经典去雾模型相比，本发明模型具有更高的去雾性能，且能够在保证生成图像精度的同时，减少参数量，降低网络的空间复杂度，提高计算效率。
实施例二
本实施例公开了一种结合雾浓度分类的图像去雾系统；
一种结合雾浓度分类的图像去雾系统，包括模型构建模块、图像分类模块和分支去雾模块：
模型构建模块，被配置为：构建由雾浓度分类器和多分支去雾网络组成的多分支去雾模型，并对所述多分支去雾模型进行训练；
图像分类模块，被配置为：通过训练后的雾浓度分类器处理带雾图像，得到带雾图像的雾浓度标签；
分支去雾模块，被配置为：将带雾图像及对应的雾浓度标签，输入到训练后的多分支去雾网络中，生成并输出无雾图像。
实施例三
本实施例的目的是提供计算机可读存储介质。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例一所述的一种结合雾浓度分类的图像去雾方法中的步骤。
实施例四
本实施例的目的是提供电子设备。
电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的一种结合雾浓度分类的图像去雾方法中的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种结合雾浓度分类的图像去雾方法，其特征在于，包括：
构建由雾浓度分类器和多分支去雾网络组成的多分支去雾模型，并对所述多分支去雾模型进行训练；
通过训练后的雾浓度分类器处理带雾图像，得到带雾图像的雾浓度标签；
将带雾图像及对应的雾浓度标签，输入到训练后的多分支去雾网络中，生成并输出无雾图像。
2.如权利要求1所述的一种结合雾浓度分类的图像去雾方法，其特征在于，所述雾浓度分类器，根据带雾图像的暗通道特征和恢复难度，对带雾图像的雾浓度进行分类。
3.如权利要求2所述的一种结合雾浓度分类的图像去雾方法，其特征在于，所述暗通道特征，通过取带雾图像的暗通道图的平均像素值并归一化得到；
所述恢复难度，表示为带雾图像去雾后的图像的峰值信噪比与结构相似性值的乘积。
4.如权利要求1所述的一种结合雾浓度分类的图像去雾方法，其特征在于，所述多分支去雾网络，包含多个结构相同、宽度不同的分支去雾网络，根据雾浓度标签选择不同的分支去雾网络分别处理带雾图像。
5.如权利要求4所述的一种结合雾浓度分类的图像去雾方法，其特征在于，对所述多分支去雾模型进行训练，具体步骤为：
(1)构建分支去雾损失函数，对多个分支去雾网络进行训练；
(2)固定训练好的多个分支去雾网络，构建多分支去雾损失函数，对多分支去雾模型进行联合训练。
6.如权利要求5所述的一种结合雾浓度分类的图像去雾方法，其特征在于，所述分支去雾损失函数，包括三个约束项：
(1)L1损失，用于计算分支去雾网络所生成图像与真实的清晰无雾图像之间对应像素的误差，表示为：
L1＝||Ioutput-IGT||1
其中，IGT为真实的清晰无雾图像，Ioutput为分支去雾网络所生成图像，即去雾后的图像；
(2)暗通道先验损失，表示为：
其中，Idark(xi)为分支去雾网络所生成图像的第i个像素点xi的暗通道值，H、W为图像尺寸；
(3)亮通道先验损失，表示为：
其中，Ilight(xi)为分支去雾网络所生成图像的第i个像素点xi的亮通道值。
7.如权利要求5所述的一种结合雾浓度分类的图像去雾方法，其特征在于，所述多分支去雾损失函数，包括三个约束项：
(1)L1损失，用于计算多分支去雾模型所生成图像与真实的清晰无雾图像之间对应像素的误差，表示为：
L1＝||IJ-IGT||1
其中，IGT为真实的清晰无雾图像，IJ为多分支去雾模型所生成图像；
(2)类间损失，表示为：
其中，C为带雾图像的总类别数，pi为当前输入图像被分至第i类的概率，pj为当前输入图像被分至第j类的概率；
(3)雾浓度分类损失，表示为：
其中，k为雾浓度系数的归一化值，p1,p2和p3分别表示当前带雾图像经过LFC计算得到的概率向量中属于轻雾、中雾和浓雾类别的概率值。
8.一种结合雾浓度分类的图像去雾系统，其特征在于，包括模型构建模块、图像分类模块和分支去雾模块：
所述模型构建模块，被配置为：构建由雾浓度分类器和多分支去雾网络组成的多分支去雾模型，并对所述多分支去雾模型进行训练；
所述图像分类模块，被配置为：通过训练后的雾浓度分类器处理带雾图像，得到带雾图像的雾浓度标签；
所述分支去雾模块，被配置为：将带雾图像及对应的雾浓度标签，输入到训练后的多分支去雾网络中，生成并输出无雾图像。
9.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
CN202310267765.0A 2023-03-15 2023-03-15 一种结合雾浓度分类的图像去雾方法及系统 Active CN116523767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310267765.0A CN116523767B (zh) 2023-03-15 2023-03-15 一种结合雾浓度分类的图像去雾方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310267765.0A CN116523767B (zh) 2023-03-15 2023-03-15 一种结合雾浓度分类的图像去雾方法及系统

Publications (2)

Publication Number Publication Date
CN116523767A true CN116523767A (zh) 2023-08-01
CN116523767B CN116523767B (zh) 2023-10-17

Family

ID=87392978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310267765.0A Active CN116523767B (zh) 2023-03-15 2023-03-15 一种结合雾浓度分类的图像去雾方法及系统

Country Status (1)

Country Link
CN (1) CN116523767B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738064A (zh) * 2020-05-11 2020-10-02 南京邮电大学 一种雾霾图像的雾浓度识别方法
CN114187203A (zh) * 2021-12-09 2022-03-15 南京林业大学 注意力优化的深度编解码去雾生成对抗网络
CN114742719A (zh) * 2022-03-14 2022-07-12 西北大学 一种基于多特征融合的端到端图像去雾方法
US20220321852A1 (en) * 2019-12-20 2022-10-06 Google Llc Spatially Varying Reduction of Haze in Images
CN115187474A (zh) * 2022-06-23 2022-10-14 电子科技大学 一种基于推理的两阶段浓雾图像去雾方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220321852A1 (en) * 2019-12-20 2022-10-06 Google Llc Spatially Varying Reduction of Haze in Images
CN111738064A (zh) * 2020-05-11 2020-10-02 南京邮电大学 一种雾霾图像的雾浓度识别方法
CN114187203A (zh) * 2021-12-09 2022-03-15 南京林业大学 注意力优化的深度编解码去雾生成对抗网络
CN114742719A (zh) * 2022-03-14 2022-07-12 西北大学 一种基于多特征融合的端到端图像去雾方法
CN115187474A (zh) * 2022-06-23 2022-10-14 电子科技大学 一种基于推理的两阶段浓雾图像去雾方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINJIN WAN: "Classification of fog situations based on Gaussian mixture model", 2017 36TH CHINESE CONTROL CONFERENCE (CCC) *
汪昱东;郭继昌;王天保;: "一种改进的雾天图像行人和车辆检测算法", 西安电子科技大学学报, no. 04 *

Also Published As

Publication number Publication date
CN116523767B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
CN113313657B (zh) 一种用于低光照图像增强的非监督学习方法和系统
CN110992275B (zh) 一种基于生成对抗网络的细化单幅图像去雨方法
CN111861925B (zh) 一种基于注意力机制与门控循环单元的图像去雨方法
CN111681180B (zh) 先验驱动的深度学习图像去雾方法
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
CN114742719A (zh) 一种基于多特征融合的端到端图像去雾方法
CN110807742A (zh) 一种基于一体式网络的微光图像增强方法
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
CN116664446A (zh) 基于残差密集块的轻量级暗光图像增强方法
CN115797205A (zh) 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统
Su et al. Physical model and image translation fused network for single-image dehazing
CN117994167B (zh) 融合并行多卷积注意力的扩散模型去雾方法
CN114140361A (zh) 融合多级特征的生成式对抗网络图像去雾方法
CN118247174A (zh) 浑浊水下图像增强模型训练方法及装置、介质、设备
CN117974459A (zh) 一种融合物理模型和先验的低照度图像增强方法
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
CN113810683A (zh) 一种客观评估水下视频质量的无参考评价方法
CN113947538A (zh) 一种多尺度高效卷积自注意力单幅图像除雨方法
CN116523767B (zh) 一种结合雾浓度分类的图像去雾方法及系统
CN116309170A (zh) 一种输电线路巡检图像去雾方法和装置
CN113962332B (zh) 基于自优化融合反馈的显著目标识别方法
CN115619674A (zh) 一种低照度视频增强方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant