CN115457265B - 基于生成对抗网络和多尺度融合的图像去雾方法及系统 - Google Patents

基于生成对抗网络和多尺度融合的图像去雾方法及系统 Download PDF

Info

Publication number
CN115457265B
CN115457265B CN202211028300.1A CN202211028300A CN115457265B CN 115457265 B CN115457265 B CN 115457265B CN 202211028300 A CN202211028300 A CN 202211028300A CN 115457265 B CN115457265 B CN 115457265B
Authority
CN
China
Prior art keywords
image
defogging
real
model
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211028300.1A
Other languages
English (en)
Other versions
CN115457265A (zh
Inventor
骆爱文
陈希
刘旭彬
梅君妍
曾夏祺
邵奕衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN202211028300.1A priority Critical patent/CN115457265B/zh
Publication of CN115457265A publication Critical patent/CN115457265A/zh
Application granted granted Critical
Publication of CN115457265B publication Critical patent/CN115457265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及图像处理领域，公开了一种基于生成对抗网络和多尺度融合的图像去雾方法及系统，方法包括：构建包括第一去雾单元和第二去雾单元的图像去雾模型；将真实有雾图像输入训练好的图像去雾模型，通过第一去雾单元对真实有雾图像进行暗通道先验去雾处理，得到第一传输映射图像和第一去雾图像；通过第二去雾单元对第一传输映射图像和第一去雾图像进行特征细化处理，得到第二传输映射图像和第二去雾图像；并对第二传输映射图像进行物理去雾处理，得到第三去雾图像；对第二去雾图像和第三去雾图像进行图像融合，得到最终的无雾图像。本发明结合了基于物理模型先验方法和基于深度学习方法对图像进行去雾处理，提高了去雾精度和效率。

Description

基于生成对抗网络和多尺度融合的图像去雾方法及系统
技术领域
本发明涉及图像处理领域，更具体地，涉及一种基于生成对抗网络和多尺度融合的图像去雾方法及系统。
背景技术
在雾、霾等天气条件下，空气中会存在灰层或烟雾等大量的悬浮颗粒物，会对光线产生散射，导致物体反射出的光线发生衰减，造成获取到的图像的对比度和清晰度等特征都发生改变，细节信息大量丢失，这不仅不易于从图像中获取目标信息，而且会影响后续的图像处理。因此，图像去雾技术具有很高的实用价值，在过去的十年中被广泛研究。
现有一种图像去雾方法，其通过先获取公开数据集作为训练数据，所述公开数据集包括同一场景拍摄的有雾图像、去雾图像以及无雾图像，然后将训练数据输入包括生成器和判别器的对抗模型中进行训练，多次训练直到生成器和判别器达到纳什均衡状态，得到训练后对抗模型，最后将待去雾处理图像输入训练后对抗模型，得到优化去雾图像。
然而，上述方法仅通过将图像输入包括生成器和判别器的训练后对抗模型中进行去雾处理，存在着去雾精度和效率低的缺陷。
发明内容
本发明为克服现有技术存在的去雾精度和效率低的缺陷，提供一种基于生成对抗网络和多尺度融合的图像去雾方法及系统。
为解决上述技术问题，本发明的技术方案如下：
第一个方面，本发明提出一种基于生成对抗网络和多尺度融合的图像去雾方法，包括：
S1：获取训练集数据，所述训练集数据包括真实有雾图像和真实无雾图像。
S2：构建图像去雾模型，所述图像去雾模型包括第一去雾单元和第二去雾单元。所述第一去雾单元为暗通道先验去雾单元。所述第二去雾单元为生成对抗网络去雾单元。
S3：将所述训练集数据输入所述图像去雾模型进行训练，直至所述图像去雾模型的损失函数收敛，得到训练好的图像去雾模型。
S4：将真实有雾图像输入训练好的图像去雾模型，通过所述第一去雾单元对所述真实有雾图像进行暗通道先验去雾处理，得到第一传输映射图像和第一去雾图像。
S5：通过所述第二去雾单元对所述第一传输映射图像和所述第一去雾图像进行特征细化处理，得到第二传输映射图像和第二去雾图像。并对所述第二传输映射图像进行物理去雾处理，得到第三去雾图像。
S6：对所述第二去雾图像和第三去雾图像进行图像融合，得到最终的无雾图像。
第二个方面，本发明还提出一种基于生成对抗网络和多尺度融合的图像去雾系统，应用于第一个方面所述的图像去雾方法，包括：
数据获取模块，用于获取训练集数据，所述训练集数据包括真实有雾图像和真实无雾图像。
模型构建模块，用于构建图像去雾模型。
训练模块，用于利用所述训练集数据对所述图像去雾模型进行训练，直至所述图像去雾模型的损失函数收敛，得到训练好的图像去雾模型。
所述图像去雾模型包括第一去雾单元和第二去雾单元。所述第一去雾单元为暗通道先验去雾单元。所述第二去雾单元为生成对抗网络去雾单元。
所述第一去雾单元用于对所述真实有雾图像进行暗通道先验去雾处理，得到第一传输映射图像和第一去雾图像。
所述第二去雾单元用于对所述第一传输映射图像和所述第一去雾图像进行特征细化处理，得到第二传输映射图像和第二去雾图像。并对所述第二传输映射图像进行物理去雾处理，得到第三去雾图像。
图像融合模块，对所述第二去雾图像和第三去雾图像进行图像融合，得到最终的无雾图像。
与现有技术相比，本发明技术方案的有益效果是：本发明基于生成对抗网络和暗通道先验去雾算法相结合构建双阶段图像去雾模型，在模型的第一阶段用真实有雾图像作为输入，经过暗通道先验去雾得到第一传输映射图像和第一去雾图像，在模型的第二阶段细化第一阶段输出的结果，利用生成对抗网络中对未配对的无雾图像和第二去雾图像进行对抗性学习以提高去雾结果真实性，结合了基于物理模型先验方法和基于深度学习方法对图像进行去雾处理，从而提高了去雾精度和效率。
附图说明
图1为本发明的图像去雾方法的流程图。
图2为本发明的图像去雾模型的整体框架图。
图3为本发明加入了卷积块注意力机制CBAM的U-Net网络结构图。
图4为本发明的加入了卷积块注意力机制CBAM的ResNet网络架构图。
图5为本发明的多尺度判别器的结构图。
图6为本发明提出的改进暗通道先验去雾方法的测试结果图。
图7为对BeDDE室内数据集上的模糊图像的定性比较图。
图8为对BeDDE室外数据集上的模糊图像的定性比较图。
图9为当训练集为ITS数据集时，不同的去雾方法在室内测试集SOTS上的可视化结果图。
图10为当训练集为RESIDE-unpaired时，在BeDDE室外数据集上的不同去雾方法定性比较的可视化结果图。
图11为对BeDDE室外数据集上的模糊图像的定性比较的可视化结果图。
图12为不同λ值训练MDehNet双阶段图像去雾模型所得的户外测试结果图。
图13为本发明的图像去雾系统的架构图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
请参阅图1，本实施例提出一种基于生成对抗网络和多尺度融合的图像去雾方法，包括：
S1：获取训练集数据，所述训练集数据包括真实有雾图像和真实无雾图像。
S2：构建图像去雾模型，所述图像去雾模型包括第一去雾单元和第二去雾单元。所述第一去雾单元为暗通道先验去雾单元。所述第二去雾单元为生成对抗网络去雾单元。
S3：将所述训练集数据输入所述图像去雾模型进行训练，直至所述图像去雾模型的损失函数收敛，得到训练好的图像去雾模型。
S4：将真实有雾图像输入训练好的图像去雾模型，通过所述第一去雾单元对所述真实有雾图像进行暗通道先验去雾处理，得到第一传输映射图像和第一去雾图像。
S5：通过所述第二去雾单元对所述第一传输映射图像和所述第一去雾图像进行特征细化处理，得到第二传输映射图像和第二去雾图像。并对所述第二传输映射图像进行物理去雾处理，得到第三去雾图像。
S6：对所述第二去雾图像和第三去雾图像进行图像融合，得到最终的无雾图像。
在具体实施过程中，通过基于生成对抗网络和暗通道先验去雾算法相结合构建双阶段图像去雾模型，在模型的第一阶段用真实有雾图像作为输入，经过暗通道先验去雾得到第一传输映射图像和第一去雾图像，在模型的第二阶段细化第一阶段输出的结果，利用生成对抗网络中对未配对的无雾图像和第二去雾图像进行对抗性学习以提高去雾结果真实性，结合了基于物理模型先验方法和基于深度学习方法对图像进行去雾处理，从而提高了去雾精度和效率。
实施例2
本实施例提出一种基于生成对抗网络和多尺度融合的图像去雾方法，包括：
S1：获取训练集数据，所述训练集数据包括真实有雾图像Freal和真实无雾图像Creal。
本实施例中，训练集图像数据为彩色图像。
S2：构建图像去雾模型，所述图像去雾模型包括第一去雾单元和第二去雾单元。所述第一去雾单元为暗通道先验去雾单元。所述第二去雾单元为生成对抗网络去雾单元。
S3：将所述训练集数据输入所述图像去雾模型进行训练，直至所述图像去雾模型的损失函数收敛，得到训练好的图像去雾模型，如图2所示，其为本发明的图像去雾模型的整体框架图。
S4：将真实有雾图像Freal输入训练好的图像去雾模型，通过所述第一去雾单元对所述真实有雾图像Freal进行暗通道先验去雾处理，得到第一传输映射图像TDCP和第一去雾图像CDCP。
在具体实施过程中，暗通道先验去雾作为图像预处理第一步，被嵌入到图像去雾模型框架中，使图像去雾模型成为一个端到端的训练模型。
当输入图像为彩色图像时，计算输入图像的每个通道最小值作为通道级最小值图像，表示为然后，将卷积核大小为5×5的最大池化层应用于Fmin取负值的反向图，提取得到最小通道值的负值，然后再次取负值，得到最小通道值，即为暗通道图像Fdark提取真实有雾图像Freal的暗通道，其表达式如下所示：
其中，表示真实有雾图像Freal在像素x处的暗通道，maxpool(·)表示最大池化操作，/>表示真实有雾图像Freal的R、B或G通道的其中一个通道。
根据相关成像理论，图像中天空区域的像素值非常接近大气环境光值A，将暗通道图像的所有像素按照亮度大小从大到小进行排序，找到亮度最大的前0.1％的像素位置，根据亮度最大的前0.1％的像素位置在输入的真实有雾图像中计算平均像素亮度值作为全球大气光值A；
根据科施米德定律，利用所述暗通道和全球大气光值A，计算第一传输图像TDCP，其表达式如下所示：
其中，表示无雾图像Creal在像素x处的暗通道，根据暗通道假设理论，绝大多数真实图像的天空区域以外的其它区域的像素至少在一个颜色通道中的像素强度值接近于零，即/>因此得到：
根据逆转科施米德定律，利用所述全球大气光值A和所述第一传输图像TDCP，计算第一去雾图像CDCP，其计算式如下：
另外，本发明的图像去雾模型中嵌入了一个利用一个卷积核大小为31×31，步幅为1的平均池化层来实现的引导滤波器，用来平滑第一传输图像TDCP。
传统的暗通道去雾算法的运行速度很快，可以很好地消除雾霾，提升图片可见性，但同时也会因为大气光的不确定性，导致发生某些未知的畸变，引入伪影，当像素点的强度接近大气光值的时候，使用传统的暗通道去雾算法，去雾后的图片会出现色彩畸变现象，尤其在低对比度的天空区域情况更加严重，经过传统的暗通道去雾算法的去雾结果普遍出现图片亮度偏低的情况，对大量图片处理的效率不高，影响去雾图像的真实性。因此加入了非线性增强-伽马变换(LS)改善亮度，具体变换公式如下：
TDCP＝C×((TDCP)norm)γ
其中，(TDCP)norm表示归一化的第一传输图像TDCP，C表示一个常数系数，用来控制整条伽马曲线的倾斜程度，通常取值为1，为了合理增强去雾图像亮度，经反复测试将γ值设置为0.4。
S5：通过所述第二去雾单元对所述第一传输映射图像TDCP和所述第一去雾图像CDCP进行特征细化处理，得到第二传输映射图像Tref和第二去雾图像Cref。并对所述第二传输映射图像Tref进行物理去雾处理，得到第三去雾图像Crec。
本发明提出的图像去雾模型采用的骨干网络为基于目前流行的循环卷积生成对抗网络CycleGAN。
本实施例中，所述第二去雾单元包括第一生成器RU、第二生成器RT、第一判别器D1、第二判别器D2和第三判别器D3。
本实施例中，所述第一生成器RU为一个以U-Net网络为基本结构，引入卷积块注意力机制的对称细化网络，用于对所述第一传输映射图像TDCP进行特征细化处理，得到第二传输映射图像Tref。U-Net网络结构是自动编解码器结构，与FCN网络结构相似，网络简单但是有效，其大量使用了拼接结构，以实现对图像不同尺度信息的采集，包括两条平行结构，一个条用于捕获上下文信息，另一条保证获得更精确的定位，能够仅仅使用非常少的数据集在端到端的网络上得到的训练效果优于大量数据集。
如图3所示，本实施例中使用的U-Net网络由8个成对的下采样卷积层和上采样转置卷积层组成，输入经过8个下采样卷积块以及8个上采样转置卷积块之后得到输出结果，其中，第i个(8≥i≥2)上采样转置卷积块的输入为第(i-1)个上采样转置卷积块的输出与第(9-i)个下采样卷积块的输出进行拼接(Concat)之后的结果。
为了增强细节处的去雾能力，本发明将卷积块注意力机制CBAM加入到U-Net网络中，如图3所示，其为本发明加入了卷积块注意力机制CBAM的U-Net网络结构图，卷积块注意力机制CBAM以串行的方式连接空间注意力模块和通道注意力模块，输入特征图经过通道注意力机制以后输出的权重和输入特征图相乘，相乘结果重新作为空间注意力机制输入，最后相乘结果和经过空间注意力机制的输出再次相乘，得到优化后的特征图。
本实施例中，为了提高网络的细节特征提取能力，将卷积块注意力机制加入到U-Net网络的第一个上采样转置卷积块之后。
本实施例中，所述第二生成器RT为一个以带有9个残差块的ResNet网络为基本结构，引入卷积块注意力机制的细化网络，用于对所述第一去雾图像CDCP进行特征细化处理，得到第二去雾图像Cref。
ResNet网络借鉴了VGG19网络的设计思想的同时，通过短路机制Shortcut加入残差块，避免了网络深度加深时出现的梯度爆炸和消失现象，提高模型训练的准确率。根据不同的网络深度，残差结构也分为BasicBlock和Bottleneck，分别对应浅层和深层网络。
本实施例选取的残差结构为BasicBlock。如图4所示，其为本发明的加入了卷积块注意力机制CBAM的ResNet网络架构图，对于每个BasicBlock，将输入经过两个3×3的卷积块之后得到的结果再与输入进行逐元素相加，得到输出结果。
本实施例采用由9个BasicBlock组成的ResNet网络结构。如图4所示，输入经过下采样操作之后，再经过九个连续的BasicBlock，最后经过上采样操作得到最终的输出结果，其中下采样操作由一个7×7卷积块以及两个3×3、步距为2的卷积块组成，上采样操作由两个3×3、步距为2的转置卷积块以及一个7×7的卷积块组成。
本实施例中，由于卷积块注意力机制具有即插即用，方便简洁的优势，可以放在网络中的任何一层，考虑到主要是提高图像细节处的去雾性能，将卷积块注意力机制CBAM加入细化网络支路之一ResNet网络中。本实施例采用的ResNet网络包含9个BasicBlock残差块，将卷积块注意力机制CBAM插入每个BasicBlock残差块之后，加强去雾网络的特征提取能力，如图4所示，将卷积块注意力机制引入了第二阶段的细化网络框架(包括第一生成器RU和第二生成器RT)中，给图像不同区域分配不同权重，从而增强细节处去雾能力，精细化去雾图像。
在生成对抗网络中，判别器的作用是判断生成器产生的样本数据的真假，用概率的形式来表示两个样本数据的相似程度，最终结果越趋向于1时，表示生成图像越逼真，结果趋向于0时，表示生成图像越假。训练过程中，生成器和判别器轮流竞争，相互对抗，不断学习。
在对抗学习中，首先是固定生成器，以优化判别器，学习生成器产生样本数据和真实数据的差异，然后固定判别器，以更新生成器，根据判别器的回传数据，及真实数据和造假数据之间的差异性，不断优化生成对抗网络，提升与真实样本之间的相似度，但此时的方向是判别器的能力极限，最后生成器和判别器两者都不断被更新，达到纳什均衡状态，即任何一方的改进都不会导致整体的效益增加。传统的生成对抗网络中的判别器采用5层的卷积神经网络架构，输入64×64×3的图像，依次使用卷积层、归一化层、激活层和全连接层，其中卷积层做图像下采样操作，激活层使用LeakyReLU激活函数，全连接层负责接收激活层图像特征进行分类，判别网络负责判断图像的真假，给出真假预估值，0代表假，1代表真，但是由于判别器普遍是对整张图片的数据样本作判断，因此在图像细节纹理等方面可能存在一定的遗漏和判别失误的问题，最终导致结果的细节处存在较大缺漏。
为了解决上述问题，本实施例中引入多尺度判别器，如图5所示，其为本发明的多尺度判别器的结构图，包含三个具有相同架构的第一判别器D1、第二判别器D2和第三判别器D3。第一判别器D1接收生成器产生的样本数据以及真实无雾图像，第二判别器D2的输入是第一判别器D1的输入进行两倍降采样操作的结果，第三判别器D3的输入是第一判别器D1的输入进行四倍降采样操作的结果。多尺度判别器可以促进生成器变换不同的尺度更新数据，更换不同的感受野，第三判别器D3促进生成器在粗尺度上生成全局伪真实图像，第二判别器D2在细尺度上引导生成器，第一判别器D1在更加细致的尺度上引导生成器，从而使得在不同的尺度上更新了最后的去雾结果。通过引入多尺度判别器，同时从两个尺度上面增强生成对抗网络的学习能力，从而提高了去雾精度，也得到了更好的视觉效果。
本实施例中，所述第一判别器D1为一个带有7个卷积层的卷积神经网络CNN，用于将原始尺寸的第二去雾图像Cref与原始尺寸的真实无雾图像Creal进行对比，得到原始尺寸的第二去雾图像Cref与原始尺寸的真实无雾图像Creal的相似程度；
本实施例中，所述第二判别器D2为一个带有7个卷积层的卷积神经网络CNN，用于将经过二倍下采样的第二去雾图像Cref与经过二倍下采样的真实无雾图像Creal进行对比，得到经过二倍下采样的第二去雾图像Cref与经过二倍下采样的真实无雾图像Creal的相似程度。
本实施例中，所述第三判别器D3为一个带有7个卷积层的卷积神经网络CNN，用于将经过四倍下采样的第二去雾图像Cref与经过四倍下采样的真实无雾图像Creal进行对比，得到经过四倍下采样的第二去雾图像Cref与经过四倍下采样的真实无雾图像Creal的相似程度。
根据原始尺寸的第二去雾图像Cref与原始尺寸的真实无雾图像Creal的相似程度，经过二倍下采样的第二去雾图像Cref与经过二倍下采样的真实无雾图像Creal的相似程度，以及经过四倍下采样的第二去雾图像Cref与经过四倍下采样的真实无雾图像Creal的相似程度对所述第二生成器RT、所述第一判别器D1、所述第二判别器D2和所述第三判别器D3进行更新。
本实施例中，利用所述第二传输映射图像Tref、所述第二去雾图像Cref以及全球大气光值A重建有雾图像，并根据科施米德定律重建有雾图像，得到重建有雾图像Frec，重建公式如下：
Frec(x)＝Cref(x)Tref(x)+A(1-Tref(x))
计算真实有雾图像Freal和重建有雾图像Frec的空间距离；根据所述空间距离，对所述第一生成器RU进行更新。
S6：对所述第二去雾图像Cref和第三去雾图像Crec进行图像融合，得到最终的无雾图像Cfused。
本实施例中，第二去雾图像Cref是由细化网络RT生成的无雾图像，第三去雾图像Crec是由细化网络RU生成的无雾图像，虽然两者的生成方式不同，但目的相同，可以推断出某些图片细节，它们中的任何一种比另外一种更好，因此给第二去雾图像Cref和第三去雾图像Crec中的任何一个更好的区域分配给更大的权重，使得最终的融合结果得到更显著的效果。由于真实有雾图像Freal是一种真实场景的有雾图像，因此真实有雾图像Freal和第二去雾图像Cref(或真实有雾图像Freal和第三去雾图像Crec)的相似度图是衡量第二去雾图像Cref(或第三去雾图像Crec)真实度的信息指标。从这里看，应该给Crec(x)和Cref(x)中分配一个更大的权重，使得它们在相似图中有更大的对应值。为了得到合适的相似度图，本文采用了在IQA(Image Quality Assessment，图像质量评价)领域被广泛采用的LMN颜色空间的梯度模量和色度信息两个特征，提出了一种感知融合策略来融合不同的输出，使得去除雾霾的效果更加显著。具体包括以下步骤：
结合IQA相关研究，在YIQ颜色空间的亮度通道Y中，以及LMN颜色空间的M和N通道分别计算第二去雾图像Cref、第三去雾图像Crec和真实有雾图像Freal的梯度模量和色度信息。
YIQ颜色空间的Y通道取值和LMN颜色空间的M和N通道取值可以根据实际场景需要对R、G和B(红、绿和蓝)三通道进行自定义权重分配。
根据所述梯度模量和色度信息，分别计算第二去雾图像Cref和真实有雾图像Freal的梯度模量相似度和色度信息相似度，以及第三去雾图像Crec与真实有雾图像Freal的梯度模量相似度和色度信息相似度。
本实施例中，利用梯度模量相似度和色度信息相似度评估去雾结果的真实性。分别用G1(x)和G2(x)标识真实有雾图像Freal和第二去雾图像Cref(或真实有雾图像Freal和第三去雾图像Crec)在像素x处的梯度模量值，定义像素x处两图像的梯度模量相似度SG(x)为：
其中，根据经验值，预设的常数正值B1值为160。
假设M1(x)和N1(x)表示从第一张图像计算，M2(x)和N2(x)表示从第二张图像计算，则像素x在色度信息的相似度SC(x)为：
其中，M1(x)为第一张图像在像素x处的M通道值，N1(x)为第一张图像在像素x处的N通道值，M2(x)为第二张图像在像素x处的M通道值，N2(x)为第二张图像在像素x处的N通道值，预设的常数正值B2被设置为130。
综上，同时考虑梯度模量和色度信息，整体相似度SGC(x)为：
SGC(x)＝SG(x)·[SC(x)]α
其中，α表示梯度模量和色度信息权重分配量的参数。根据经验值，本实施例中设置α＝0.4。
将第二去雾图像Cref和真实有雾图像Freal的梯度模量相似度和色度信息相似度转换为第一融合权值，以及将第三去雾图像Crec与真实有雾图像Freal的梯度模量相似度和色度信息相似度转换为第二融合权值；
根据所述第一融合权值和所述第二融合权值，对第二去雾图像Cref和第三去雾图像Crec进行图像融合，得到最终的无雾图像Cfused。
本实施例中，假设是在像素x处Freal(x)和Cref(x)的相似值，/>是像素x处Freal(x)和Crec(x)的相似值，像素x在Cref(x)和Crec(x)的权重定义为/>和/>的Softmax值，则第一融合权值Wref(x)和第二融合权值Wrec(x)的表达式定义如下：
其中，Wref(x)+Wrec(x)＝1。通过分别赋予Cref和Crec不同的融合权重，最终的无雾图像Cfused定义为：
其中，表示像素级融合(即，每个像素乘以相应的分配权重)。
本实施例中，对融合多个结果的进行适应：感知融合可以很容易地适应融合两个以上的去模糊结果。假设C1、C2,...,Cn是n个要融合的无雾图像。对于Ci(i∈1，2，...，n)，首先计算Ci和真实有雾图像Freal的相似度映射然后，对于一个像素x，Ci(x)的融合权重用softmax定义为Wi(x)，其表达式如下所示：
最终得到的所使用的融合图像为：
其中，表示像素级融合。
本实施例中，图像去雾模型的损失函数包括对抗损失函数LGAN、重构损失函数Lrec和身份损失函数Lidt。
对抗损失是指生成器和判别器之间以一种对抗性的方式更新从而产生的损失。本实施例中，本发明继续沿用生成对抗网络的对抗性损失函数的思想，通过使用判别器来定义真实图像和虚假图像之间的相似度从而更新生成器，将去雾图像的精度不断提高。由于优化结构中采用了包括第一判别器D1、第二判别器D2和第三判别器D3，所以本实施例中将对抗性损失函数重新定义为多任务学习损失，所述对抗性损失函数LGAN的表达式如下所示：
其中，LGAN(RT,Dk)表示第k个判别器的单一对抗损失，表示针对输入的真实无雾图像执行·运算之后的期望值，/>表示针对第一去雾图像执行*运算之后的期望值。
本实施例中，采用重建损失来确认细化网络RU和细化网络RT的输出图像重建后的有雾图像Frec与原真实有雾图像Freal的差异，加入正则化。在本文中，将Lrec定义为Freal和Frec之间的欧氏距离，所述重构损失函数Lrec的表达式如下所示：
Lrec＝||Freal-Frec||
其中，Freal为输入的真实有雾图像，Frec为重建有雾图像，||·||表示距离度量；
身份损失目的是抑制由精炼网络RT可能引入的多余的图片伪影。通常情况下，当输入是外界真实场景的清晰图像时，RT网络也会输出类似于其输入的图像，以此来防止RT通过添加额外的纹理来欺骗判别器，从而降低精度，所述身份损失函数Lidt的表达式如下所示：
Lidt＝||Creal-RT(Creal)||。
综上，所述图像去雾模型的损失函数L的表达式如下所示：
其中，RU表示第一生成器，RT表示第二生成器，Dk表示第k个判别器，k＝1,2,3，LGAN为对抗性损失函数，Lrec为重构损失函数，Lidt为身份损失函数，λ表示LGAN权重的超参数。
在具体实施过程中，在训练的第一阶段，经过DCP(暗通道先验去雾算法)得到第一传输映射图像TDCP和第一去雾图像CDCP。在第二阶段的训练过程中，根据科施米德定律，使用第二传输映射图像Tref、第二去雾图像Cref和全球大气光值A重构有雾输入图像称为重建有雾图像Frec，然后通过最小化输入真实有雾图像Freal和重建有雾图像Frec之间的距离来更新第一生成器RU，确保第二传输映射图像Tref被适当地细化。除了用这种方式更新第一生成器RU以外，还有附加的第一判别器D1、第二判别器D2和第三判别器D3，它们分别接收第二去雾图像Cref和真实无雾图像Creal以及经过两倍和四倍降采样的第二去雾图像Cref和真实无雾图像Creal来实现对抗性学习，因为这里不要求真实无雾图像Creal必须和有雾真实图像Freal是对应场景的，所以整个去雾框架都是弱监督的。在生成对抗网络中，第一判别器D1、第二判别器D2和第三判别器D3在弱监督中起着最重要的作用，如果没有第一判别器D1、第二判别器D2和第三判别器D3，就无法进行对抗性学习，也无法更新第二生成器RT。最后，为了得到一个更合理的结果，本发明采用强大的IQA特征来分配权重，使用感知融合策略融合第二去雾图像Cref和第三去雾图像Crec得到最终去雾图像Cfused。
实施例3
本实施例将实施例2提出的图像去雾方法与现有技术作出定性分析并展示可视化结果。
如图6所示，其为本发明提出的改进暗通道先验去雾方法的测试结果图，从图6中可以明显看出，有雾图像经过改进的暗通道先验去雾方法处理以后，伪影明显减少，同时亮度得到增强，更加适应人眼的视觉效果，由此可以推断出非线性增强预处理的改进模块得到了很好的效果。
如图7所示，其为对BeDDE室内数据集上的模糊图像的定性比较图，图7展示了基准线模型(RDN)、初步优化模型(RDN+ATM)和最终优化模型(RDN+ATM+MulD)三个去雾模型在室内场景下的可视化数据测试结果。其中，Haze表示输入有雾图像。从图7中可以看出，初步优化模型(RDN+ATM)在基准线模型加入了卷积块注意力机制(ATM)，细节处反而被放大了，从而导致引入了一些未知的图像纹理，影响最终图像恢复质量。究其原因可能是，一些因卷积块注意力机制带来的未知因素使得生成内容失真加大，使得修复图像和真实图像之间的PSNR(Peak Signal-to-Noise Ratio，峰值信噪比)变小。本发明的最终优化模型(RDN+ATM+MulD)，加入了多尺度判别器(MulD)，改变了损失函数，在内容方面更加丰富，图像纹理更加清楚，伪影减少，这样说明了优化模型对于图像去雾性能的提高。
如图8所示，其为对BeDDE室外数据集上的模糊图像的定性比较图，图8展示了基准线模型(RDN)、初步优化模型(RDN+ATM)和最终优化模型(RDN+ATM+MulD)三个模型在室外场景下的可视化数据测试结果。其中，Haze表示输入有雾图像。图8分别展示了在室外真实场景下，有雾图片在基准线模型RDN，以及它的优化模型的去雾可视化结果。从图像整体对比度进行比较，三个模型给人眼的视觉效果没有比较明显的区别。最终优化模型(RDN+ATM+MulD)展示的图像更加自然和真实，这与去雾图像相应的指标测试结果没有很大改变相互对应，从图像不同区域进行对比，在细节处例如树叶和桥上的车等场景，最终优化模型(RDN+ATM+MulD)的细节处复原效果优于其他模型，这也说明了引入了多尺度判别器和卷积块注意力机制对于恢复图像细节的能力有了很大的提升，证明了最终优化模型(RDN+ATM+MulD)的优异之处。
表1 不同的去雾方法在室内测试集SOTS上的定量测试结果
如表1所示，表1为当训练集为ITS数据集时，不同的去雾方法在室内测试集SOTS上的测试结果，从表1可以看出，相比较一些经典的和先进的一些去雾算法，本发明提出的最终优化图像去雾模型(RDN+ATM+MulD)MDehNet尽管监督能力较弱，但是在PSNR和SSIM(Structural Similarity，结构相似性)指标上面，它的效果优于其它强有力的竞争对手。其中EPDN在生成对抗网络的基础上采用了多尺度的结构提高去雾性能；RDN仅仅在循环生成对抗网络提供的基本主干网络结合了基于先验的暗通道去雾算法；而本发明提出的MDehNet则是同时结合了前面两者的优势，并且在SOTS数据集上面获得了比较优异的效果。结果表明，MDehNet具有更强的鲁棒性，具有良好的泛化能力。
如图9所示，其为当训练集为ITS数据集时，不同的去雾方法在室内测试集SOTS上的可视化结果图。其中，DCP的去雾方法在去雾的同时带来了大量伪影，这也是基于物理模型先验去雾方法的常见弊端，AODNet是将卷积神经网络应用于科施米德定律的变形公式，GCANet加入了空洞卷积，AODNet和GCANet去雾方法，都是基于卷积神经网络的去雾方法，图像恢复结果优于DCP，但相比于其余三种方法仍然存在清晰度不足的问题。RDN去雾网络、EPDN去雾网络和MDehNet双阶段图像去雾模型都是基于生成对抗网络，其中，EPDN的测试结果图片色调偏深，不符合人眼视觉效果，RDN网络和MDehNet双阶段图像去雾模型能够在不引入明显的伪影或扭曲的情况下去除雾霾。
表2 不同去雾方法的BeDDE室外数据集定量比较测试结果
如表2所示，表2为当训练集为RESIDE-unpaired数据集时，不同的去雾方法在BeDDE室外数据集上的定量比较测试结果，表2分别用VI(Visibility Index，可见性指标)和RI(Realness Index，真实性指标)去评估去雾算法的可见性和真实性，用VSI(VisualSaliency-Induced Index，视觉显著性系数)评估去雾图像的失真度。相对于其他先进去雾方法，本发明的MDehNet双阶段图像去雾模型的测试指标值大于其它去雾方法，展示了比较好的性能，不仅可以去除雾霾，还可以避免图片伪影。考虑到只有RDN和MDehNet模型是在未配对的数据集上进行训练的，其他模型只能在配对的室内训练集ITS上训练，虽然训练数据集不同，但同时本文用未配对的数据集训练的测试结果优于其他模型，这些突显出了弱监督去雾框架的优势，证明了通过大量收集未配对的图片进行训练也是有效果的，解决了目前缺乏成对高清雾天数据集的难题，从而推断出未来可以通过高质量的训练样本数据进一步改进模型的训练性能。
如图10所示，其为当训练集为RESIDE-unpaired时，在BeDDE室外数据集上的不同去雾方法定性比较的可视化结果图，图10显示了对真实世界模糊样本的不同脱雾方法的视觉结果。其中，前两行的样本来自互联网，其它的样本来自BeDDE数据集。从图10可以看出DCP去雾算法伪影现象最严重，尤其对城市样本，色调畸变愈发严重，基于卷积神经网络的去雾算法对不同的场景的去雾效果不一致，也侧面反映出了此类方法去雾场景的单一性，图像清晰度有待提高。基于生成对抗网络去雾的恢复图像效果普遍优于前几种方法。然而基于EPDN的去雾方法所得测试图片不符合人眼视觉，色调偏深，比较基准线模型和优化模型的可视化结果，人眼观感差距很小，观察细节处会发现优化模型的脱雾图像在细节方面的处理更加精细，和引入多尺度判别器以及注意力机制的预期结果相吻合，无论是城市样本还是户外其它场景都产生了具有高真实性和高可见性的结果。综上所述，可以得出结论，本发明提出的MDehNet双阶段图像去雾模型同时拥有DCP和基于深度学习的方法的优势，且优于初始模型测试结果。
实施例4
本实施例在实施例2提出的图像去雾方法的基础上，分别从MDehNet双阶段图像去雾模型有效性、损失项分析和图像感知融合分析等方面进行了消融研究。
消融研究通常用于神经网络中，尤其是相对复杂的神经网络，指逐一地研究网络模型的某些模块如何影响模型的整体性能。
(1)MDehNet双阶段图像去雾模型有效性：为了证明MDehNet双阶段图像去雾模型的有效性，第一阶段利用暗通道先验去雾算法DCP恢复可见性，第二阶段利用循环生成对抗网络CycleGAN的细化提高真实性。基于以上想法，本文将MDehNet模型分别和DCP、CycleGAN网络和BasicNet网络进行了比较。其中BasicNet网络具体指MDehNet双阶段模型去掉DCP的部分，即用Freal作为输入。本实施例分别对这四个网络进行了训练，在室内数据集SOTS进行评估。
表3 不同模型的测试结果
评价指标 DCP CycleGAN BasicNet MDehNet
PSNR 15.09 17.51 21.18 25.28↑
SSIM 0.7683 0.7705 0.8625 0.9526↑
如表3所示，将MDehNet双阶段图像去雾模型设为对照组，通过两个阶段去雾，首先利用暗通道先验知识恢复可见性，再利用基于深度学习的细化网络提高真实性，BasicNet网络与它相比去掉了第一阶段，结果表明MDehNet双阶段图像去雾模型的性能明显优于其他网络，这也证明了双阶段去雾的有效性和可信度。
如图11所示，其为对BeDDE室外数据集上的模糊图像的定性比较的可视化结果图，图11展示了DCP和MDehNet双阶段图像去雾模型在室内室外场景下的测试结果。从图11可以看出，经过DCP恢复的去雾图片普遍偏暗，且存在一定的伪影，相比之下MDehNet双阶段图像去雾模型，有效地消除了由DCP产生的伪影，而且产生了非常真实的接近真实场景的无雾图像。
(2)损失函数L的权重分析：分别将λ取值为2，2×10-1，2×10-2，2×10-3，2×10-4和2×10-5代入MDehNet双阶段图像去雾模型中，在BeDDE室外数据集上测试所有MDehNet双阶段图像去雾模型。
如图12所示，其为不同λ值训练MDehNet双阶段图像去雾模型所得的户外测试结果图，图12显示了用不同λ值训练的MDehNet双阶段图像去雾模型的性能和可视化结果，从图12可以看到，当λ值逐渐变小的时候，去雾图像亮度也逐渐变暗，值为0.002时，结果直接出现失真，这和数据分析结果也是相互对应的。
表4 不同λ值进行优化模型训练所得的性能测试结果变化表
λ VI RI VSI
2 0.7758 0.9273 0.8903
0.2 0.8992 0.9652 0.9503
0.02 0.9189 O.9816 0.9663
0.002 0.8053 0.8731 0.9387
0.0002 0.8013 0.8729 0.9381
0.00002 0.8024 0.8726 0.9380
如表4所示，随着λ不断变小，MDehNet双阶段图像去雾模型在BeDDE数据集上的测试性能呈现先上升再下降的趋势，综合所有结果判定λ值为0.02的时候，性能最优。当λ值小于0.02时，曲线下降速度明显加快，说明性能变差的速度很快，随着λ值越变越小，削减了生成对抗损失函数的作用，此时目标函数主要随着身份认证损失和重建损失函数的变化而变化，因此细化网络RT无法发挥作用，使得最终脱雾图像变成类似DCP去雾算法的输出结果，可能会产生畸变和色斑。当λ值偏大时，生成对抗损失函数占主导作用，削弱了细化网络RU的作用，使得去雾效果不明显。
(3)感知融合分析：为了评估感知融合策略对最终去雾图像的影响，分别在室内数据集SOTS和室外数据集BeDDE上测试了MDehNet双阶段图像去雾模型的三个不同的输出性能，包括Crec、Cref和Cfused。
表5 在不同数据集上对不同输出结果的性能指标测试
从表5可以看出，最终去雾图像Cfused所有性能指标在BeDDE和SOTS两个测试数据集上都优于其他两个输出。最终去雾图像Cfused又是第三去雾图像Crec和第二去雾图像Cref不同权重的组合，由此推出本发明提出的感知融合策略有助于获得性能更优的去雾恢复图像。同时，也可以由此提出设想，在未来将感知融合策略应用于更多更丰富的场景，融合大量不同的图片，获得更优的结果。
实施例5
参阅图13，本实施例提出一种基于生成对抗网络和多尺度融合的图像去雾系统，包括：
数据获取模块1，用于获取训练集数据，所述训练集数据包括真实有雾图像和真实无雾图像。
模型构建模块2，用于构建图像去雾模型4。
训练模块3，用于利用所述训练集数据对所述图像去雾模型4进行训练，直至所述图像去雾模型4的损失函数收敛，得到训练好的图像去雾模型4。
所述图像去雾模型4包括第一去雾单元41和第二去雾单元42。所述第一去雾单元41为暗通道先验去雾单元。所述第二去雾单元42为生成对抗网络去雾单元。
所述第一去雾单元41用于对所述真实有雾图像进行暗通道先验去雾处理，得到第一传输映射图像和第一去雾图像。
所述第二去雾单元42用于对所述第一传输映射图像和所述第一去雾图像进行特征细化处理，得到第二传输映射图像和第二去雾图像。并对所述第二传输映射图像进行物理去雾处理，得到第三去雾图像。
图像融合模块5，对所述第二去雾图像和第三去雾图像进行图像融合，得到最终的无雾图像。
在具体实施过程中，通过基于生成对抗网络和暗通道先验去雾算法相结合构建双阶段图像去雾模型，在模型的第一阶段用真实有雾图像作为输入，经过暗通道先验去雾得到第一传输映射图像和第一去雾图像，在模型的第二阶段细化第一阶段输出的结果，利用生成对抗网络中对未配对的无雾图像和第二去雾图像进行对抗性学习以提高去雾结果真实性，结合了基于物理先验方法和基于深度学习方法对图像进行去雾处理，从而提高了去雾精度和效率。
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.基于生成对抗网络和多尺度融合的图像去雾方法，其特征在于，包括：
S1：获取训练集数据，所述训练集数据包括真实有雾图像和真实无雾图像；
S2：构建图像去雾模型，所述图像去雾模型包括第一去雾单元和第二去雾单元；所述第一去雾单元为暗通道先验去雾单元；所述第二去雾单元为生成对抗网络去雾单元；
S3：将所述训练集数据输入所述图像去雾模型进行训练，直至所述图像去雾模型的损失函数收敛，得到训练好的图像去雾模型；
S4：将真实有雾图像输入训练好的图像去雾模型，通过所述第一去雾单元对所述真实有雾图像进行暗通道先验去雾处理，得到第一传输映射图像和第一去雾图像；
S5：通过所述第二去雾单元对所述第一传输映射图像和所述第一去雾图像进行特征细化处理，得到第二传输映射图像和第二去雾图像；并对所述第二传输映射图像进行物理去雾处理，得到第三去雾图像；
S6：对所述第二去雾图像和第三去雾图像进行图像融合，得到最终的无雾图像；
其中，所述第二去雾单元包括第一生成器、第二生成器、第一判别器、第二判别器和第三判别器；
所述第一生成器用于对所述第一传输映射图像进行特征细化处理，得到第二传输映射图像；
所述第二生成器用于对所述第一去雾图像进行特征细化处理，得到第二去雾图像；
所述第一判别器用于将原始尺寸的第二去雾图像与原始尺寸的真实无雾图像进行对比，得到原始尺寸的第二去雾图像与原始尺寸的真实无雾图像的相似程度；
所述第二判别器用于将经过二倍下采样的第二去雾图像与经过二倍下采样的真实无雾图像进行对比，得到经过二倍下采样的第二去雾图像与经过二倍下采样的真实无雾图像的相似程度；
所述第三判别器用于将经过四倍下采样的第二去雾图像与经过四倍下采样的真实无雾图像进行对比，得到经过四倍下采样的第二去雾图像与经过四倍下采样的真实无雾图像的相似程度；
所述图像去雾模型的损失函数L的表达式如下所示：
其中，表示第一生成器，/>表示第二生成器，/>表示第k个判别器，k=1,2,3，/>为对抗性损失函数，/>为重构损失函数，/>为身份损失函数，λ表示/>权重的超参数；
所述对抗性损失函数的表达式如下所示：
其中，表示第k个判别器的单一对抗损失，/>表示针对输入的真实无雾图像执行/>运算之后的期望值，/>表示针对第一去雾图像执行/>运算之后的期望值；
所述重构损失函数的表达式如下所示：
其中，为输入的真实有雾图像，/>为重建有雾图像，||·||表示距离度量；
所述身份损失函数的表达式如下所示：
其中,为输入的真实无雾图像。
2.根据权利要求1所述的基于生成对抗网络和多尺度融合的图像去雾方法，其特征在于，S4中，通过所述第一去雾单元对所述真实有雾图像进行暗通道先验去雾处理，得到第一传输映射图像和第一去雾图像，具体包括：
S4.1：提取真实有雾图像的暗通道，其表达式如下所示：
其中，表示真实有雾图像F real在像素x处的暗通道，/>表示最大池化操作，/>表示真实有雾图像F real的R、B或G通道的其中一个通道；
S4.2：将暗通道图像的所有像素按照亮度大小从大到小进行排序，找到亮度最大的前0.1%的像素位置，根据亮度最大的前0.1%的像素位置在输入的真实有雾图像中计算平均像素亮度值作为全球大气光值A；
S4.3：根据科施米德定律，利用所述暗通道和全球大气光值，计算第一传输映射图像，其表达式如下所示：
S4.4：根据逆转科施米德定律，利用所述全球大气光值A和所述第一传输映射图像，计算第一去雾图像/>，其表达式如下所示：
。
3.根据权利要求1所述的基于生成对抗网络和多尺度融合的图像去雾方法，其特征在于，所述方法还包括：在所述第一去雾单元对所述真实有雾图像进行暗通道先验去雾处理得到第一传输映射图像后，对所述第一传输映射图像进行非线性增强-伽马变换，得到亮度改善后的第一传输映射图像。
4.根据权利要求1所述的基于生成对抗网络和多尺度融合的图像去雾方法，其特征在于，所述第一生成器为以U-Net网络为基本结构，引入卷积块注意力机制的细化网络；
所述第二生成器为以ResNet网络为基本结构，引入卷积块注意力机制的细化网络；
所述卷积块注意力机制包括空间注意力机制和通道注意力机制。
5.根据权利要求1所述的基于生成对抗网络和多尺度融合的图像去雾方法，其特征在于，所述方法还包括：
根据原始尺寸的第二去雾图像与原始尺寸的真实无雾图像的相似程度，经过二倍下采样的第二去雾图像与经过二倍下采样的真实无雾图像的相似程度，以及经过四倍下采样的第二去雾图像与经过四倍下采样的真实无雾图像的相似程度对所述第二生成器、所述第一判别器、所述第二判别器和所述第三判别器进行更新。
6.根据权利要求1所述的基于生成对抗网络和多尺度融合的图像去雾方法，其特征在于，所述方法还包括：
利用所述第二传输映射图像、所述第二去雾图像以及全球大气光值，并根据科施米德定律重建有雾图像，得到重建有雾图像；
计算真实有雾图像和重建有雾图像的空间距离；
根据所述空间距离，对所述第一生成器行更新。
7.根据权利要求1~6任一项所述的基于生成对抗网络和多尺度融合的图像去雾方法，其特征在于，对所述第二去雾图像和第三去雾图像进行图像融合，得到最终的无雾图像，具体包括：
分别计算第二去雾图像、第三去雾图像和真实有雾图像的梯度模量和色度信息；
根据所述梯度模量和色度信息，分别计算第二去雾图像和真实有雾图像的梯度模量相似度和色度信息相似度，以及第三去雾图像与真实有雾图像的梯度模量相似度和色度信息相似度；
将第二去雾图像和真实有雾图像的梯度模量相似度和色度信息相似度转换为第一融合权值，以及将第三去雾图像与真实有雾图像的梯度模量相似度和色度信息相似度转换为第二融合权值；
根据所述第一融合权值和所述第二融合权值，对第二去雾图像和第三去雾图像进行图像融合，得到最终的无雾图像。
8.基于生成对抗网络和多尺度融合的图像去雾系统，应用于如权利要求1~7任一项所述的图像去雾方法中，其特征在于，包括：
数据获取模块，用于获取训练集数据，所述训练集数据包括真实有雾图像和真实无雾图像；
模型构建模块，用于构建图像去雾模型；
训练模块，用于利用所述训练集数据对所述图像去雾模型进行训练，直至所述图像去雾模型的损失函数收敛，得到训练好的图像去雾模型；
所述图像去雾模型包括第一去雾单元和第二去雾单元；所述第一去雾单元为暗通道先验去雾单元；所述第二去雾单元为生成对抗网络去雾单元；
所述第一去雾单元用于对所述真实有雾图像进行暗通道先验去雾处理，得到第一传输映射图像和第一去雾图像；
所述第二去雾单元用于对所述第一传输映射图像和所述第一去雾图像进行特征细化处理，得到第二传输映射图像和第二去雾图像；并对所述第二传输映射图像进行物理去雾处理，得到第三去雾图像；
图像融合模块，对所述第二去雾图像和第三去雾图像进行图像融合，得到最终的无雾图像。
CN202211028300.1A 2022-08-25 2022-08-25 基于生成对抗网络和多尺度融合的图像去雾方法及系统 Active CN115457265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211028300.1A CN115457265B (zh) 2022-08-25 2022-08-25 基于生成对抗网络和多尺度融合的图像去雾方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211028300.1A CN115457265B (zh) 2022-08-25 2022-08-25 基于生成对抗网络和多尺度融合的图像去雾方法及系统

Publications (2)

Publication Number Publication Date
CN115457265A CN115457265A (zh) 2022-12-09
CN115457265B true CN115457265B (zh) 2023-08-01

Family

ID=84298046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211028300.1A Active CN115457265B (zh) 2022-08-25 2022-08-25 基于生成对抗网络和多尺度融合的图像去雾方法及系统

Country Status (1)

Country Link
CN (1) CN115457265B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134194A (zh) * 2014-07-23 2014-11-05 中国科学院深圳先进技术研究院 图像去雾方法和系统
CN112801902A (zh) * 2021-01-29 2021-05-14 福州大学 一种基于改进生成对抗网络的交通图像去雾方法
CN114663292A (zh) * 2020-12-22 2022-06-24 南京大学 超轻量级图片去雾及识别网络模型、图片去雾及识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI674804B (zh) * 2018-03-15 2019-10-11 國立交通大學 視訊除霧處理裝置及方法
CN115398470A (zh) * 2020-04-17 2022-11-25 卡特彼勒公司 用于去除数字图像中的模糊度的系统和方法
CN113222847A (zh) * 2021-05-18 2021-08-06 哈尔滨理工大学 一种基于生成对抗网络的图像去雾方法
CN113516602B (zh) * 2021-07-14 2022-11-22 广东汇天航空航天科技有限公司 一种图像去雾方法、图像去雾装置、电子设备及存储介质
CN114140334A (zh) * 2021-09-04 2022-03-04 西南石油大学 一种基于改进生成对抗网络的复杂煤矿图像去雾方法
CN114742719B (zh) * 2022-03-14 2024-04-16 西北大学 一种基于多特征融合的端到端图像去雾方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134194A (zh) * 2014-07-23 2014-11-05 中国科学院深圳先进技术研究院 图像去雾方法和系统
CN114663292A (zh) * 2020-12-22 2022-06-24 南京大学 超轻量级图片去雾及识别网络模型、图片去雾及识别方法
CN112801902A (zh) * 2021-01-29 2021-05-14 福州大学 一种基于改进生成对抗网络的交通图像去雾方法

Also Published As

Publication number Publication date
CN115457265A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN111709902B (zh) 基于自注意力机制的红外和可见光图像融合方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN109754377B (zh) 一种多曝光图像融合方法
CN111047522B (zh) 一种基于边缘生成的图像修复方法
Hu et al. Underwater image restoration based on convolutional neural network
CN109447917B (zh) 基于内容和特征及多尺度模型的遥感图像雾霾消除方法
WO2021238420A1 (zh) 图像去雾方法、终端及计算机存储介质
CN114897742A (zh) 一种纹理和结构特征两次融合的图像修复方法
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
CN116645569A (zh) 一种基于生成对抗网络的红外图像彩色化方法和系统
CN115861094A (zh) 一种融合注意力机制的轻量级gan水下图像增强模型
CN116563693A (zh) 基于轻量级注意力机制的水下图像色彩复原方法
CN113379861B (zh) 基于色彩恢复块的彩色微光图像重建方法
CN109101985A (zh) 一种基于自适应邻域测试的图像误匹配点对剔除方法
Cheng et al. A highway traffic image enhancement algorithm based on improved GAN in complex weather conditions
CN112037139B (zh) 基于RBW-CycleGAN网络的图像去雾方法
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
CN117495718A (zh) 一种多尺度自适应的遥感图像去雾方法
CN116363036B (zh) 基于视觉增强的红外与可见光图像融合方法
CN117391981A (zh) 一种基于低光照明和自适应约束的红外与可见光图像融合方法
CN112348762A (zh) 一种基于多尺度融合生成对抗网络的单幅图像去雨方法
CN115457265B (zh) 基于生成对抗网络和多尺度融合的图像去雾方法及系统
CN116664446A (zh) 基于残差密集块的轻量级暗光图像增强方法
CN116523794A (zh) 一种基于卷积神经网络的低光照图像增强方法
CN114862707A (zh) 一种多尺度特征恢复图像增强方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant