CN116681626A - 一种基于深度学习的雾霾天气下目标图像去雾方法 - Google Patents

一种基于深度学习的雾霾天气下目标图像去雾方法 Download PDF

Info

Publication number
CN116681626A
CN116681626A CN202310952603.0A CN202310952603A CN116681626A CN 116681626 A CN116681626 A CN 116681626A CN 202310952603 A CN202310952603 A CN 202310952603A CN 116681626 A CN116681626 A CN 116681626A
Authority
CN
China
Prior art keywords
image
defogging
convolution
target image
haze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310952603.0A
Other languages
English (en)
Inventor
王超
李富豪
王西云
刘兆惠
翟雨欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202310952603.0A priority Critical patent/CN116681626A/zh
Publication of CN116681626A publication Critical patent/CN116681626A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的雾霾天气下目标图像去雾方法，本发明属于图像去雾领域，包括：获取雾霾天气下的有雾目标图像，有雾目标图像包括：训练图像和测试图像；构建图像去雾模型，图像去雾模型采用改进的AOD Net去雾算法；改进的AOD Net去雾算法包括：深度可分离卷积和组合损失函数；基于深度可分离卷积，提取有雾目标图像的特征图；基于训练图像训练图像去雾模型，得到训练好的图像去雾模型；将测试图像输入至训练好的图像去雾模型，得到去雾后的清晰图像。本发明使图像去雾模型更加轻量化，加强了网络的特征提取能力，提高了对K值的估计精度，能够获得较好的图像去雾效果。

Description

一种基于深度学习的雾霾天气下目标图像去雾方法
技术领域
本发明属于图像去雾技术领域，尤其涉及一种基于深度学习的雾霾天气下目标图像去雾方法。
背景技术
因在雾霾天气条件下自动驾驶车辆采集的图像质量较低，导致车辆目标检测算法的检测精度大幅下降，其安全性和可靠性备受社会各界的关注，目前已成为阻碍自动驾驶技术发展的重要原因之一。
目前，深度学习去雾算法通过学习雾霾图像及其对应清晰图像之间的映射关系，可直接由雾霾图像还原出无雾图像，该方法去雾效果较好且速度快，现已成为图像去雾领域的研究热点。
DehazeNet去雾算法是Cai等人在2016年提出的一种End-to-End去雾模型，该算法以雾霾图像作为输入数据，透射图为输出端，通过学习两者之间的关系从而估计出较精确的透射率，而大气光值则通过假设先验获取，最后利用大气散射模型得到去雾后的图像，DehazeNet去雾算法主要提升了透射率估计值的精确度，在一定程度上提高了去雾图像的质量。此算法以大气光值是常量为先验条件，但在实际场景中，大气介质的成分比较复杂，且呈不均匀分布状态，导致颗粒物质不仅对光线产生了不同程度的散射和吸收作用，而且还影响了光线的透射强度，使得大气光值并不是一个固定值，所以DehazeNet在真实的雾霾天气条件下的去雾效果可能会存在偏差。
2019年，Chen等人提出了GCANet（gated context aggre-gation network）去雾算法，该算法在编码器和解码器之间利用多个平滑卷积层来保持上下文信息的相关性，有效解决了网格伪影的问题。在后续的研究中，Li等人提出的了AOD Net去雾算法，该算法直接通过CNN还原出无雾图像，所以AOD Net去雾算法结构简单，且实时性较强。但是，在AOD Net去雾算法的网络结构中，采用的是常规卷积操作，常规卷积操作无法生成特征信息较强的特征图，同时采用了单一MSE损失函数，单一MSE损失函数无法精确地计算无雾图像和去雾后图像之间的差异，无法提高K值的估计精度，最后影响模型去雾后的图像质量。
发明内容
本发明提出了一种基于深度学习的雾霾天气下目标图像去雾方法，以解决上述现有技术中存在的技术问题。
为实现上述目的，本发明提供了一种基于深度学习的雾霾天气下目标图像去雾方法，包括：
获取雾霾天气下的有雾目标图像，所述有雾目标图像包括：训练图像和测试图像；
构建图像去雾模型，所述图像去雾模型采用改进的AOD Net去雾算法；改进的AODNet去雾算法包括：深度可分离卷积和组合损失函数；基于所述深度可分离卷积，提取所述有雾目标图像的特征图；所述组合损失函数为MAE损失函数与MS-SSIM损失函数的加权组合；
基于训练图像训练所述图像去雾模型，得到训练好的图像去雾模型；
将所述测试图像输入至训练好的图像去雾模型，得到去雾后的清晰图像。
优选地，所述深度可分离卷积包括：深度卷积和点态卷积。
优选地，基于所述深度可分离卷积，提取有雾目标图像的特征图的过程包括：
基于所述深度卷积，得到有雾目标图像的颜色通道，利用高斯滤波器对所述颜色通道分别进行卷积操作，得到若干个通道特征图，基于所述点态卷积，将所述通道特征图进行融合，生成有雾目标图像的特征图。
优选地，所述高斯滤波器包含一个卷积核。
优选地，得到若干个通道特征图的计算公式：
其中，代表深度卷积通道特征，/>代表输入图像中某个颜色通道的像素值矩阵，/>和/>分别代表对应卷积网络的权重系数矩阵和偏差矩阵。
优选地，生成有雾目标图像的特征图的过程包括：
其中，表示点态滤波卷积通道特征，/>表示/>中R、G、B通道融合后的像素值矩阵，/>、/>则表示对应卷积网络的权重系数矩阵和偏差矩阵。
优选地，生成有雾目标图像的特征图之后还包括：
利用ReLU激活函数，对有雾目标图像的特征图进行线性回归，得到输出特征，将所述输出特征进行拼接并卷积操作，得到估计值，基于/>估计值，重构AOD Net去雾算法中的/>值估计模块，得到改进的AOD Net去雾算法。
优选地，MAE损失函数：
MS-SSIM损失函数：
组合损失函数：
其中，表示无雾图像，/>表示无雾图像相对应的雾霾图像，/>则表示经去雾网络去雾后的图像，N表示训练数据总量，m表示权重系数个数，i是损失函数的数量，/>、分别表示MAE和MS-SSIM的权重系数，设/>，/>代表权重衰减因子，/>为可学习参数。
与现有技术相比，本发明具有如下优点和技术效果：
本发明提供了一种基于深度学习的雾霾天气下目标图像去雾方法，获取雾霾天气下的有雾目标图像，所述有雾目标图像包括：训练图像和测试图像；构建图像去雾模型，所述图像去雾模型采用改进的AOD Net去雾算法；改进的AOD Net去雾算法包括：深度可分离卷积和组合损失函数；基于所述深度可分离卷积，提取所述有雾目标图像的特征图；所述组合损失函数为MAE损失函数与MS-SSIM损失函数的加权组合；基于训练图像训练所述图像去雾模型，得到训练好的图像去雾模型；将所述测试图像输入至训练好的图像去雾模型，得到去雾后的清晰图像。
本发明通过改进的AOD Net去雾算法中的深度可分离卷积，使图像去雾模型更加轻量化，同时加强了网络的特征提取能力；通过组合损失函数，有效消除了歧异值对去雾网络的影响，能较直观地反映出无雾图像和去雾后图像之间的结构相似度，提高了对K值的估计精度，能够获得较好的图像去雾效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例的常规卷积原理图；
图2为本发明实施例的深度卷积原理图；
图3为本发明实施例的点态卷积原理图；
图4为本发明实施例的重构的K值估计模块示意图；
图5为本发明实施例的改进的AOD Net去雾算法示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
本实施例中提供一种基于深度学习的雾霾天气下目标图像去雾方法，包括：
获取雾霾天气下的有雾目标图像，所述有雾目标图像包括：训练图像和测试图像；
构建图像去雾模型，所述图像去雾模型采用改进的AOD Net去雾算法；改进的AODNet去雾算法包括：深度可分离卷积和组合损失函数；基于所述深度可分离卷积，提取所述有雾目标图像的特征图；所述组合损失函数为MAE损失函数与MS-SSIM损失函数的加权组合；
基于训练图像训练所述图像去雾模型，得到训练好的图像去雾模型；
将所述测试图像输入至训练好的图像去雾模型，得到去雾后的清晰图像。
本实施例中，主要是从降低雾霾对图像影响的角度进行研究，具体步骤为：首先利用深度可分离卷积重构AOD Net去雾算法的网络结构，在减少运算量的同时学习更多的特征信息；然后，提出了一种MAE和MS-SSIM结合的组合损失函数，来消除异常数据对模型的影响，从而估计出更精确的K值；最后，选取Retinex、HE、MSRCR、DCP、DehazeNet去雾算法进行对比，通过主观分析和客观分析验证了本实施例的改进方法有效提升了图像的去雾效果，且相对于其他对比算法具有显著优势。具体内容如下：
一，改进的AOD Net去雾算法
如图5所示，本实施例主要从网络结构、损失函数两方面对AOD Net去雾网络进行改进优化，以提升其去雾后的图像质量。
1.深度可分离卷积
原始AOD Net去雾算法的网络结构采用的是常规卷积操作，常规卷积原理图，如下图1所示。对于一幅彩色输入图像，滤波器对输入的每一个颜色通道均进行Conv操作，然后将各颜色通道卷积结果的相同位置数值相加，即可输出特征图，其中滤波器的数量与输入通道数一致，且每个滤波器包含3个卷积核。
而深度可分离卷积的卷积计算共包括两部分，分别为深度卷积和点态卷积。其中，深度卷积将输入图像划分成了R、G、B三个颜色通道，并利用高斯滤波器对上述通道进行Conv操作，且每个滤波器仅对应一个颜色通道，经深度卷积后的结果可表示为：
(1)
其中，代表深度卷积通道特征，/>代表输入图像中某个颜色通道的像素值矩阵，/>和/>则代表对应卷积网络的权重系数矩阵和偏差矩阵。
深度卷积原理图，如下图2所示，输入图像为三通道的彩色图像，首先利用滤波器对每个颜色通道进行Conv操作，滤波器数量与颜色通道数相对应，且每个滤波器仅包含一个3×3的卷积核，最终三通道图像经深度卷积操作后会生成三个特征图。因深度卷积输出的特征图与颜色通道数有关，所以特征图的数量无法进行有效扩充，而且深度卷积分别对每个颜色通道进行卷积，导致无法获取不同颜色通道在相同空间位置上的特征信息，所以深度可分离卷积后续利用点态卷积将上述特征图的特征信息进行有效融合，从而生成特征信息较强的特征图。
点态卷积的运算与常规卷积类似，利用高斯滤波器同时卷积输出的所有通道，其中滤波器的数量为k，卷积核大小为1×1，经点态滤波卷积后的结果为：
(2)
(3)
其中，代表点态滤波卷积通道特征，/>表示/>中R、G、B通道融合后的像素值矩阵，/>、/>则表示对应卷积网络的权重系数矩阵和偏差矩阵。
点态卷积原理图，如图3所示，点态卷积的输入数据为深度卷积输出的特征图，首先利用大小为1×1×M的卷积核对输入数据进行Conv操作，其中M为深度卷积的输出通道数，然后通过卷积运算将深度卷积生成的特征图进行了通道方向的加权融合，从而生成了新的特征图。
从运算参数角度来看，深度卷积中包含了3个滤波器，且每个滤波器中仅有一个尺寸为3×3的卷积核，所以对于三通道的彩色图像，深度卷积的参数量为27个；而点态卷积采用1×1×3的卷积方式，包含了4个滤波器，所以其参数量为12。深度可分离卷积的参数量为深度卷积和点态卷积参数量之和，即深度可分离卷积参数量为39。而常规卷积中包含了4个滤波器，且每个滤波器中有3个尺寸为3×3的卷积核，所以常规卷积参数量为108个。因此，可以得出对于相同的输入图像，深度可分离卷积的参数量明显减少，使模型更加轻量化，从而提高了模型的运行速度。
本实施例通过深度可分离卷积重构值估计模块，图4为该模块的网络结构。同时，对于DS-Conv的输出/>利用ReLU激活函数进行线性回归，得到/>：
(4)
其中，代表/>经线性回归后在DS-Conv1层输出的结果，DS-Conv1的输出/>作为DS-Conv2的输入，经激活函数线性回归得到/>，Concat1层通过拼接/>和/>来融合DS-Conv1层和DS-Conv2层的特征；Concat1层作为DS-Conv3的输入，经过激励函数得到/>，Concat2层通过拼接/>和/>融合DS-Conv2和DS-Conv3的特征；Concat2层作为DS-Conv4的输入，DS-Conv4的输出经激活函数得到/>；最终将/>、/>、/>、/>进行拼接得到Concat3层，Concat3作为DS-Conv5的输入端，经卷积操作后即可得到/>的估计值。深度可分离卷积使得模型更轻量化，且更容易提取图像的深层特征。
2.损失函数
原始的AOD Net去雾算法采用了MSE作为损失函数，但该损失函数易受歧异值的影响，假如样本中出现了歧异值，那么MSE会赋予歧异值更高的权重，使模型对正常点的预测效果变差，最终降低了整个去雾网络的去雾效果。所以本实施例提出了一种MAE和MS-SSIM相结合的组合损失函数。
MAE损失函数用于表征最小化误差，该误差是无雾图像和去雾后图像之间的绝对差，其不受歧异值的影响，数学表达式为：
(5)
其中，表示无雾图像，/>表示无雾图像相对应的雾霾图像，/>则表示经去雾网络去雾后的图像。
MS-SSIM损失函数不仅考虑了人类视觉感知，并在结构信息、亮度和对比度的基础上引入了分辨率因素，能较直观地反映出无雾图像和去雾后图像之间的结构相似度，其数学表达式为：
(6)
由于MS-SSIM损失函数会使图像色彩偏移、明暗程度发生变化，但其可以较好的保留图像的边缘和细节特征；而MAE损失函数能使图像的明暗程度和色彩保持一致。所以，本实施例将两者进行加权组合能更加精确地计算无雾图像和去雾后图像之间的差异，可有效提高K值的估计精度，从而提升模型去雾后的图像质量。该组合损失函数的数学公式，如下式(7)所示：
(7)
其中，N表示训练数据总量，m表示权重系数个数，i是损失函数的数量，、/>分别表示MAE和MS-SSIM的权重系数，一般设/>，/>代表权重衰减因子，/>为可学习参数。
二，去雾实验设置及对比结果分析
1.评价指标
本实施例在去雾对比实验中所用到的图像包括合成雾霾图像和真实雾霾图像，其中合成雾霾图像是由大气散射模型模拟雾气来构建的，所以对于合成雾霾图像可将其对应的无雾图像作为参考图像，并利用全参考评价指标对去雾图像质量进行评价；而真实雾霾图像因无法获取相对应的无雾图像，所以需要通过无参考评价指标来衡量去雾后的图像质量。
本实施例采用的全参考评价指标如下：
（1）峰值信噪比（Peak Signal to Noise Ratio, PSNR）
PSNR是用于评价图像质量的一个重要指标，通过计算无雾图像和去雾后图像之间对应像素点的差值来评价图像质量。PSNR是在MSE的基础上进行定义的，MSE为无雾图像和去雾后图像之间的均方误差，其表达式如下式(8)所示：
(8)
其中，为无雾图像I的尺寸，K为去雾后的图像。基于此，可得出PSNR的数学表达式为：
(9)
式中，为图像的最大像素值，PSNR的值越大表示去雾图像的质量越好。
（2）结构相似性（Structural Similarity, SSIM）
SSIM是一种用于评价无雾图像与去雾后图像相似度的指标，主要从图像的明暗程度、对比度和结构三个角度进行评价，其评价结果较符合人类的视觉特征。SSIM的取值在0到1之间，它的取值越趋近于0，则表明无雾图像与去雾后图像之间的相似度越低，其表达式为：
(10)
其中，、/>和/>、/>分别为/>和/>的平均值、方差，/>是/>和/>的协方差，、/>分别表示对/>和/>像素的亮度、混合相似度的相似性测量。
本实施例采用的无参考评价指标如下：
信息熵（Information Entropy, IE）
信息熵表示一幅图像中包含的平均信息量，该评价指标是从信息论的角度来评价图像质量，IE值越大则表明图像包含的信息量越丰富，其数学表达式为：
(11)
式中，表示像素值/>在图像中的出现概率，/>为灰度值范围，其取值范围一般在0到255之间。
基于感知的图像质量评估（Perception based Image Quality Evaluator,PIQE）
该评价指标认为人的注意力会高度聚集在图像的突出区域，而且局部质量的叠加就是人感知到的图像质量。所以，PIQE通过计算局部区域的失真程度来评价去雾图像质量。PIQE的值越小表示去雾图像质量越好，PIQE的数学表达式为：
(12)
其中，为数值稳定性常数，/>是突出区域个数。
2.实验设置
本实验所用的合成雾霾数据集对应的无雾图像共有5000张，而每张无雾图像会对应生成轻雾、中雾、浓雾三种雾霾图像，训练集、测试集、验证集的比例约为7:2:1。本实验具体的参数设置，如下表1所示。
表1
3.去雾结果对比分析
本章节的对比实验选取了6种去雾算法，分别为：Retinex、HE、MSRCR、DCP、DehazeNet、AOD Net以及本实施例改进的AOD Net去雾算法，前三种是基于非物理模型的去雾算法，DCP为物理模型去雾算法，最后三种是基于深度学习的去雾算法。为了验证本实施例改进后AOD Net算法的去雾效果，分别在合成雾霾图像和真实雾霾图像上作对比实验，并对上述对比算法的去雾效果进行了分析。
（1）针对合成雾霾图像的去雾效果对比分析
从轻雾图像的去雾效果对比中可以看出，Retinex算法处理后的图像相对于参考图像整体色调偏白且存在明显噪点；经HE算法去雾后的图像在天空范围内出现了颜色失真现象，引入了白色噪点，并且损失了小目标的部分特征信息，如削弱了图像中轿车的轮廓信息；MSRCR算法去雾能力较弱，去雾后的图像中还存在明显的雾气；DCP算法去雾后的图像对比度偏高，导致图像色调整体较暗，且在天空区域存在色彩偏移；经DehazeNet算法去雾后的图像在天空区域和道路交接处存在颜色偏差，且损失了轿车的细节信息；AOD Net算法的去雾能力不足，单一的损失函数使得该算法对雾霾区域的复原效果较差；而本实施例改进的AOD Net去雾算法改善了原始算法去雾效果不足的问题，且相较于其他去雾算法在感官上的色彩恢复较好。
在中雾图像中，Retinex和HE去雾算法的复原图像都存在不同程度的白色噪点，图像整体的饱和度和对比度较低，特别是在柜体区域的颜色存在明显偏移；MSRCR算法去雾后的图像仍然有大量的雾气残留，且图像色彩偏差问题较严重；DCP算法的复原图像对比度和饱和度较高，对图像整体的色调恢复相对较好，但在地板区域相对于参考图像存在严重色差；DehazeNet算法去雾后的图像存在少量的雾气残留，且在柜体灯光处发生了光晕现象；AOD Net算法对图像的色彩恢复程度较高，但去雾效果一般，图像中存在明显的雾气残留；本实施例去雾方法处理后的图像相对于参考图像的整体饱和度稍低，但在地板区域的色彩复原优于DCP算法，有效减少了光晕现象，同时提升了AOD Net算法的去雾能力。
在浓雾场景中，Retinex和HE去雾算法处理后的图像色值普遍偏低，相对于参考图像色调偏白，且在雾气集中区域有雾气残留，导致效果图中间的车辆目标处细节信息丢失；MSRCR算法的复原图像出现了杂色，该算法对图像的色彩恢复能力较差；DCP算法的复原图像相对于参考图像整体较暗，削弱了车辆目标的特征信息，且在天空区域出现了明显色彩偏移；DehazeNet算法处理后的图像对比度较高，但是在雾气集中区域产生了色块，导致中间检测目标的清晰度下降；AOD Net算法对图像色彩的恢复程度较高，但其去雾能力较弱，去雾后的图像中还有大量的雾气未被消除；本实施例的去雾方法对去雾后图像的色彩复原程度较好，且图像中基本没有雾气残留，也较好地保留了检测目标的特征信息。
综合上述对不同去雾模型的去雾效果分析可以得出，本实施例提出的去雾方法在去雾能力、色彩恢复、特征保留等方面都优于其他对比算法。但此结论是基于个人的主观感受得出的，此外还需要客观的评价指标对去雾效果进行分析。表2为各去雾算法的复原图像在PSNR、SSIM评价指标上的得分，其中PSNR的得分越高代表复原图像的质量越好，而SSIM的得分越低则代表复原后的图像与参考图像之间的结构差异越大。
去雾效果的客观评价指标得分，如表2所示。
表2
从上表2中可以得出，本实施例所改进的去雾算法在轻雾、中雾、浓雾图像中的PSNR分别达到了26.45dB、19.27dB、18.73dB，而SSIM达到了0.97、0.90、0.86，得分均高于其他对比算法，表明本实施例方法的去雾效果优于其他对比算法，这在客观角度验证了本实施例对AOD Net去雾算法改进策略的有效性。
（2）真实雾霾图像的去雾效果对比分析
考虑到本实施例最终是在真实的混合雾霾数据集上进行模型的训练和测试，上述去雾模型在合成雾霾图像上的去雾效果可能不适用于真实的雾霾图像，所以本实施例在真实雾霾数据集中选取了对应的轻、中、浓三种程度的雾霾图像进行去雾效果对比实验。
在轻雾图像中，经Retinex算法复原后的图像较好地凸显了检测目标的细节特征，但图像整体饱和度较低、色调偏白，同时引入了白色噪点，在天空区域出现了颜色失真问题；HE去雾算法的复原图像中存在明显的色斑和白色噪点，且削弱了检测目标的细节特征；MSRCR算法的去雾能力不足，去雾后的图像中还有明显的雾气残余；DCP去雾算法的去雾效果较好，但其去雾后图像的对比度和饱和度较高，导致图像整体偏暗，在天空和楼宇范围内存在严重的色彩偏移问题；DehazeNet算法去雾后的图像存在少量的雾气残留，在雾浓度集中区域存在色彩偏移问题；AOD Net算法对图像的色彩复原能力较好，但去雾能力较差，图像中存在明显的雾气；而本实施例所提出的去雾方法提升了原AOD Net算法的去雾能力，且在图像复原和细节特征增强等方面均优于其他对比算法。
在中雾图像中，Retinex和HE去雾算法均对图像中的目标细节特征进行了有效增强，但普遍存在明显的色块现象，还引入了白色噪点；MSRCR算法的去雾效果较差，且对检测目标的细节特征没有明显增强；DCP算法复原后的图像整体色调较暗，且在天空区域出现了光晕和色彩偏移现象；DehazeNet和AOD Net算法都存在去雾能力较差的缺点，在复原后的图像中仍然有大量雾气，且远处小目标的清晰度较低，在天空区域均存在不同程度的色块；而本实施例去雾方法的去雾能力相较于其他算法有明显的提升，对小目标的细节特征也进行了有效增强。
在浓雾图像中，Retinex、HE和MSRCR去雾算法均对图像的细节特征进行了增强，但同时复原图像中都存在了大量的雾气残留，且图像的整体色调普遍偏白，其中Retinex算法处理后的图像有明显的色斑，HE算法的去雾效果相对较差，MSRCR算法复原图像的天空区域存在颜色失真问题；DCP去雾算法在雾气集中区域存在雾气残留，且在天空区域出现了绿色色块；DehazeNet算法的去雾能力较强，行人、红绿灯和车辆的细节特征都得到了有效增强，但其复原图像存在色彩偏移问题；AOD Net去雾算法同样存在去雾能力不足的问题，红绿灯的细节特征比较模糊，但其对图像的色彩复原能力较好；而本实施例提出的去雾算法在保持复原图像色彩的同时，进一步提升了AOD Net去雾算法的去雾能力，明显改善了红绿灯处的雾气残留问题，且增强了检测目标的特征信息。
综合上述分析，本实施例去雾算法在真实雾霾图像中的去雾效果相较于其他对比算法，在色彩恢复、细节特征和去雾能力等方面都有着明显优势。
表3为各去雾算法在真实雾霾图像中的去雾效果无参考评价指标得分，从表中可得出，本实施例去雾算法的IE值均高于其他对比算法，在轻雾、中雾、浓雾图像中的IE得分分别达到了7.53、7.58、7.62，表明经本实施例去雾算法处理后的图像包含的信息量较丰富，去雾后的图像质量较好；本实施例去雾算法的PIQE值均低于其他对比算法，说明本实施例去雾算法的复原图像失真程度较低，进一步验证了本实施例方法在真实雾霾图像中去雾效果的有效性。
表3
本实施例有益效果：
本实施例针对AOD Net去雾算法从网络结构和损失函数两方面进行了改进，首先利用深度可分离卷积重构K值估计模块，然后提出了一种MAE+MS-SSIM组合损失函数，使得模型能够更好地学习去雾图像和参考图像之间的偏差，从而更新训练参数，估计出更精确的K值来提高去雾后图像的质量。本实施例在合成雾霾图像和真实雾霾图像上分别作对比实验，并通过主客观评价指标来衡量去雾后的图像质量。经实验验证，本实施例去雾算法在感观上对合成、真实雾霾图像的色彩复原、结构保留和去雾能力均优于其他对比方法，且在各客观评价指标中的得分也验证了本实施例去雾算法相对于其他对比算法的复原图像质量较高，即本实施例方法在不同程度雾霾图像中的去雾效果较好。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于深度学习的雾霾天气下目标图像去雾方法，其特征在于，包括以下步骤：
获取雾霾天气下的有雾目标图像，所述有雾目标图像包括：训练图像和测试图像；
构建图像去雾模型，所述图像去雾模型采用改进的AOD Net去雾算法；改进的AOD Net去雾算法包括：深度可分离卷积和组合损失函数；基于所述深度可分离卷积，提取所述有雾目标图像的特征图；所述组合损失函数为MAE损失函数与MS-SSIM损失函数的加权组合；
基于训练图像训练所述图像去雾模型，得到训练好的图像去雾模型；
将所述测试图像输入至训练好的图像去雾模型，得到去雾后的清晰图像。
2.根据权利要求1所述的基于深度学习的雾霾天气下目标图像去雾方法，其特征在于，所述深度可分离卷积包括：深度卷积和点态卷积。
3.根据权利要求2所述的基于深度学习的雾霾天气下目标图像去雾方法，其特征在于，基于所述深度可分离卷积，提取有雾目标图像的特征图的过程包括：
基于所述深度卷积，得到有雾目标图像的颜色通道，利用高斯滤波器对所述颜色通道分别进行卷积操作，得到若干个通道特征图，基于所述点态卷积，将所述通道特征图进行融合，生成有雾目标图像的特征图。
4.根据权利要求3所述的基于深度学习的雾霾天气下目标图像去雾方法，其特征在于，所述高斯滤波器包含一个卷积核。
5.根据权利要求3所述的基于深度学习的雾霾天气下目标图像去雾方法，其特征在于，得到若干个通道特征图的计算公式：
其中，/>代表深度卷积通道特征，/>代表输入图像中某个颜色通道的像素值矩阵，/>和/>分别代表对应卷积网络的权重系数矩阵和偏差矩阵。
6.根据权利要求3所述的基于深度学习的雾霾天气下目标图像去雾方法，其特征在于，生成有雾目标图像的特征图的过程包括：
其中，/>表示点态滤波卷积通道特征，符号/>表示对/>中R、G、B三通道的融合，符号{}表示参与融合的R、G、B通道，/>表示/>中R、G、B通道融合后的像素值矩阵，/>、/>则表示对应卷积网络的权重系数矩阵和偏差矩阵。
7.根据权利要求3所述的基于深度学习的雾霾天气下目标图像去雾方法，其特征在于，生成有雾目标图像的特征图之后还包括：
利用ReLU激活函数，对有雾目标图像的特征图进行线性回归，得到输出特征，将所述输出特征进行拼接并卷积操作，得到估计值，基于/>估计值，重构AOD Net去雾算法中的/>值估计模块，得到改进的AOD Net去雾算法。
8.根据权利要求1所述的基于深度学习的雾霾天气下目标图像去雾方法，其特征在于：
MAE损失函数：
MS-SSIM损失函数：
组合损失函数：
其中，/>表示无雾图像，/>表示无雾图像相对应的雾霾图像，/>则表示经去雾网络去雾后的图像，N表示训练数据总量，m表示权重系数个数，i是损失函数的数量，/>、/>分别表示MAE和MS-SSIM的权重系数，设/>，/>代表权重衰减因子，/>为可学习参数。
CN202310952603.0A 2023-08-01 2023-08-01 一种基于深度学习的雾霾天气下目标图像去雾方法 Pending CN116681626A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310952603.0A CN116681626A (zh) 2023-08-01 2023-08-01 一种基于深度学习的雾霾天气下目标图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310952603.0A CN116681626A (zh) 2023-08-01 2023-08-01 一种基于深度学习的雾霾天气下目标图像去雾方法

Publications (1)

Publication Number Publication Date
CN116681626A true CN116681626A (zh) 2023-09-01

Family

ID=87784064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310952603.0A Pending CN116681626A (zh) 2023-08-01 2023-08-01 一种基于深度学习的雾霾天气下目标图像去雾方法

Country Status (1)

Country Link
CN (1) CN116681626A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564549A (zh) * 2018-04-20 2018-09-21 福建帝视信息科技有限公司 一种基于多尺度稠密连接网络的图像去雾方法
US20220210350A1 (en) * 2020-12-25 2022-06-30 Industrial Technology Research Institute Image dehazing method and image dehazing apparatus using the same
CN115689932A (zh) * 2022-11-09 2023-02-03 重庆邮电大学 一种基于深度神经网络的图像去雾方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564549A (zh) * 2018-04-20 2018-09-21 福建帝视信息科技有限公司 一种基于多尺度稠密连接网络的图像去雾方法
US20220210350A1 (en) * 2020-12-25 2022-06-30 Industrial Technology Research Institute Image dehazing method and image dehazing apparatus using the same
CN115689932A (zh) * 2022-11-09 2023-02-03 重庆邮电大学 一种基于深度神经网络的图像去雾方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HANG ZHAO: "Loss Functions for Image Restoration With Neural Networks", 《 IEEE TRANSACTIONS ON COMPUTATIONAL IMAGING》, pages 47 - 57 *
SHUAIYU CHEN: "GADO-Net: An Improved AOD-Net Single Image Dehazing Algorithm", 《2021 3RD INTERNATIONAL ACADEMIC EXCHANGE CONFERENCE ON SCIENCE AND TECHNOLOGY INNOVATION (IAECST)》, pages 640 - 646 *
WEN QIAN: "FAOD-Net: A Fast AOD-Net for Dehazing Single Image", 《MATHEMATICAL PROBLEMS IN ENGINEERING》, pages 1 - 11 *
梁毓明;张路遥;卢明建;杨国亮;: "基于条件生成对抗网络的图像去雾算法", 光子学报, no. 05 *

Similar Documents

Publication Publication Date Title
Negru et al. Exponential contrast restoration in fog conditions for driving assistance
Zhao et al. Multi-scale optimal fusion model for single image dehazing
Jiang et al. Fog density estimation and image defogging based on surrogate modeling for optical depth
CN108399403B (zh) 一种基于车牌尺寸计算的车距检测方法
CN111275627B (zh) 一种基于雪模型和深度学习融合的图像去雪算法
Agrawal et al. A comprehensive review on analysis and implementation of recent image dehazing methods
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN103914820A (zh) 一种基于图像分层增强的图像去雾方法及系统
Agrawal et al. Dense haze removal by nonlinear transformation
Bansal et al. A review of image restoration based image defogging algorithms
Cheng et al. A highway traffic image enhancement algorithm based on improved GAN in complex weather conditions
Gangisetty et al. FloodNet: Underwater image restoration based on residual dense learning
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Singh et al. Visibility enhancement and dehazing: Research contribution challenges and direction
Pal et al. A robust framework for visibility enhancement of foggy images
CN116452469B (zh) 一种基于深度学习的图像去雾处理方法及装置
CN117495718A (zh) 一种多尺度自适应的遥感图像去雾方法
CN116681626A (zh) 一种基于深度学习的雾霾天气下目标图像去雾方法
Husain et al. VRHAZE: The simulation of synthetic haze based on visibility range for dehazing method in single image
Hua et al. Iterative residual network for image dehazing
Negru et al. Exponential image enhancement in daytime fog conditions
Li et al. Underwater image enhancement utilizing adaptive color correction and model conversion for dehazing
CN114862695A (zh) 一种基于场景深度的单图像去雨雾方法、设备及存储介质
Guo et al. Fast Defogging and Restoration Assessment Approach to Road Scene Images*.
Gao et al. RASWNet: an algorithm that can remove all severe weather features from a degraded image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination