CN116664448B - 一种基于图像去雾的中高能见度计算方法及计算系统 - Google Patents

一种基于图像去雾的中高能见度计算方法及计算系统 Download PDF

Info

Publication number
CN116664448B
CN116664448B CN202310907452.7A CN202310907452A CN116664448B CN 116664448 B CN116664448 B CN 116664448B CN 202310907452 A CN202310907452 A CN 202310907452A CN 116664448 B CN116664448 B CN 116664448B
Authority
CN
China
Prior art keywords
image
visibility
layer
defogging
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310907452.7A
Other languages
English (en)
Other versions
CN116664448A (zh
Inventor
胡乐乐
成孝刚
周渝锋
朱磊
胡鑫涛
刘泽众
张艳彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202310907452.7A priority Critical patent/CN116664448B/zh
Publication of CN116664448A publication Critical patent/CN116664448A/zh
Application granted granted Critical
Publication of CN116664448B publication Critical patent/CN116664448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明属于气象图像处理技术领域，公开了一种基于图像去雾的中高能见度计算方法及计算系统，计算方法包括如下步骤：步骤1、估计全局大气光，步骤2、构建Defog‑GAN去雾网络模型进行去雾处理，获得能见度好的去雾图像，步骤3、计算透射率图，步骤4、能见度计算：采用微型激光雷达对场景深度进行测量，使用近值合并动态权值多层输入式反向传播感知器网络进行处理，输出能见度值，中高能见度计算系统包括全局大气光估计模块、图像去雾模块、透射率图生成模块和特征融合能见度输出模块。本发明解决了目测计算能见度准确率低、主观性强的问题，无需维护精密能见度设备，使用成本低，无需提前知晓点光源照度先验知识，应用便捷。

Description

一种基于图像去雾的中高能见度计算方法及计算系统
技术领域
本发明属于气象图像处理技术领域，具体的说是涉及一种基于图像去雾的中高能见度计算方法及计算系统。
背景技术
能见度是一种复杂的理化现象，主要受制于悬浮在大气中的固体和液体微粒引起的大气消光系数；消光主要由光的散射而非吸收所造成。其估计值依从于个人的视觉和阐释能力而变化，同时受光源特征和透射因数的影响。因此，能见度的目测估计值都是主观的。
世界气象组织(WMO)在《气象仪器与观测方法指南》第一卷《气象变量的测量》第九章“能见度的测量”中对气象能见度（Meteorological visibility by day）定义为：相对于雾、天空等散射光背景下观测时，一个安置在地面附近的适当尺度的黑色目标物能被看到和辨认出的最大距离。
2014年，WMO 正式确定气象光学视程（Meteorological optical range，MOR）为普通的和航空用的能见度的测量，MOR 通过对比阈值与能见度的直觉概念相联系，MOR的测量分为两类：测量水平空气柱的消光系数或透射因数；测量被少量空气散射到特定方向的光强度。而在自然雾中吸收通常可以忽略，散射系数可视作与消光系数相同。
能见度测量的基本方程是 Bouguer-Lambert 定律：
式中，是在大气中经过/>路径长度接受的光通量，/>是在 L=0 时的光通量，为消光系数。而透射因数(或透射率) />定义为：
此外，在计算机视觉领域，通常使用雾天图像退化模型来描述雾霾等恶劣天气条件对图像造成的影响，该模型是McCartney首先提出。
其中，是图像像素的空间坐标，/>是能见度好的无雾图像，/>是采集的有雾图像，/>是全局大气光。
目前能见度计算有几种方法，但均存在相应缺陷：1. 目测消光表，读数给出发光体与观测员之间空气透明度的测量，可以计算出消光系数获得能见度，但观测的总的准确度，主要取决于观测员眼睛敏感度的变化以及光源辐射强度的波动，误差随 MOR 成比例增加；2.透射表，采用在发射器和接收器之间测量水平空气柱，但若要在长时段内保持测量正确，则光通量必须在该时段内保持稳定；3.能见度激光雷达、后向散射仪、前向散射仪。然而，以上的能见度检测仪器都需要固定角度安装或者需要屏幕或挡板系统，同时需要依照生产厂家的建议定期检查和校准以确保最佳性能；4.多光源图像处理检测，采集的图像存在不同的光源点，不同光源点距离观测点即摄像机的位置各不相同，以此性质计算出能见度，但该方法需要保证提前知晓不同光源的初始照度信息，或者需要保证各光源初始照度相同，不适合普遍应用。
发明内容
为了解决现有技术中计算能见度准确率低、主观性强的问题，本发明提供了一种基于图像去雾的中高能见度计算方法及计算系统，一方面，提供了一种对于雾霾图像去雾恢复的Defog-GAN深度网络模型，恢复准确度高，鲁棒性好；另一方面，摒弃目前通过暗通道先验估计透射率求解能见度的方法，直接完备地计算透射率图并与提取的气象因子关键特征进行融合，进而求得能见度。
为了达到上述目的，本发明是通过以下技术方案实现的：
本发明是一种基于图像去雾的中高能见度计算方法，包括以下步骤：
S1、利用暗通道先验法，计算雾气退化模型中的背景全局大气光
可以理解的是，本发明采用了暗通道先验，它可以还原图像的颜色和能见度，同时也能利用雾的浓度来估计物体的距离，这些在计算机视觉上都有重要应用。每一幅图像的每一个像素的RGB三个颜色通道中，总有一个通道的灰度值很低。
估算环境光有很多方法，比较直观的思路为选取类似天空区域这样最亮的点，可以认为经过长距离散射，透射率t接近于0，雾气退化模型可以近似转换为
（1）
这种简单的估计找到的点很可能是一些白色的物体，而不是雾气最密集的区域，因此可以从观测图像的暗通道中选取最亮的前 0.1%的点，这些点对应到原图/>中，再去找最亮的点作为/>的估计
（2）
S2、图像像素聚类，利用Defog-GAN网络对图像进行去雾处理
本发明使用K-means算法将一幅图像的RGB像素值聚类为500个聚类，并将图像中的每个像素替换为其所属聚类的中心像素。聚类后的图像与原始图像在色彩分布上相差不大，但在像素数量上降低了几个数量级，一方面可以减少后续网络处理的计算量，另一方面对图像的区域进行了处理分割。
本发明提出一种Defog-GAN的网络，以实现更好的图像去雾效果。该网络由生成器和判决器两个部分组成。生成器整体模型包括编码器、中间层和解码器。编码器通过一系列卷积层和池化层，提取出模糊图像的深度特征。中间层将输入图像转换为高层次的特征表示，包含输入图像的抽象语义信息，有助于解码器更准确地重建原始图像。解码器通过一系列反卷积层和上采样层，将编码器提取的特征逐渐恢复为清晰图像。判决器采用了双判别器的结构，双判别器包括本地鉴别器与全局鉴别器。
Defog-GAN的编码器模块采用特征金字塔(FPN)结构，该结构自下往上呈现出一条路径，通过卷积网络进行特征提取，并对空间分辨率进行下采样。自下向上路径包括四个卷积池化层、一个卷积块以及六个多头自注意力前馈层。卷积池化层包括一个1xn卷积层、一个nx1卷积层和一个最大池化层。多头自注意力前馈层由多头自注意力机制和基于位置的前馈神经网络构成。
中间层是由特征增强模块和1x1卷积模块组成的，同时还包括一个门控注意力机制。特征增强模块由尺度分离模块、负值归零模块、高斯滤波模块和尺度融合模块组成。门控注意力机制使用辅助网络动态地选择要参与的元素子集，并计算注意力权重以聚合所选元素。
解码器采用自上往下路径，通过把语义更强的高层特征信息进行上采样，然后横向连接至前一层特征，补充高分辨率细节之处从而进行特征信息的重建。解码器包括上采样层、反卷积层、全连接层和选择层，其中选择层由BN层、ReLU层和卷积层组成。
Defog-GAN的判别器采用双判别器结构，其中包括本地鉴别器和全局鉴别器。将雾霾图像和去雾图像输入到全局鉴别器中，同时将图像随机裁剪成补丁并输入到本地鉴别器中。
Defog-GAN的生成器目标损失函数由像素双向梯度损失(水平、垂直)，深度损失，色调差异损失和能变比损失的加权组成。公式如下：
（3）
为双向梯度损失，/>为深度损失，/>为色调差异损失，/>为能变比损失，/>、/>、/>、/>分别为三种损失的加权系数。
是指重构雾像与输入雾像在水平、垂直方向上梯度差的L2范数。
为重构雾像与输入雾像在景深上的L1范数损失，本发明基于颜色衰减先验提出/>损失，颜色衰减先验的原理为，雾浓度越高，景深越大，图像的亮度和饱和度相差越大，首先利用颜色衰减先验计算出图像处理前后的深度信息，再利用如下定义的第一范式数，计算出/>损失，定义如下：
（4）
为重构雾像与输入雾像在色调差异上的损失，所谓色调差异，指的是图像与其半逆图像在色调上的差值，色调差异已被用于检测的雾度。对于含雾模糊像素，并非所有三个半逆值都将从原始值反转，色调变化较小；相反对于无雾像素，色调差异较大。因此可以利用该性质创建色调差异损失：
（5）
指的是能变比损失，即一种用于度量重构雾像与输入雾像在能变比上的L1范数损失的方法。能变比定义为一幅图像低频部分的能量占整幅图像能量的比重，这是根据频谱的能级分布得出的结论，因为直流分量所含能量最大最多，而频率越高所含能量越少。对于雾霾图像来说，雾气浓度越高，图像越模糊，相应图像相邻区域灰度的差值减少，高频部分降低、低频增加。具体操作步骤为：首先对图像进行傅里叶变换，然后进行频谱中心化处理，接着利用无增益单位阶跃函数对高频低频部分进行频率分离，对分离出的低频图像进行去中心化、反傅里叶变化处理，最后对该图像灰度分布进行统计，按照概率分布计算灰度方值，从而求得低频能量/>。图像总能量也可以按照上述步骤计算出，即/>。能变比定义为/>，能变比损失即为重构雾像与输入雾像在能变比上的L1范数损失。
Defog-GAN的判别器损失函数使用了对 Least Squares GANS(LSGAN)的损失函数。同时在判别中加入两个图像质量指标作为判定因子，包括峰值信噪比(PSNR)与结构相似度(SSIM)。
在实际训练前，单独对编码器进行预训练，即在训练整个Defog-GAN网络之前，单独使用训练数据对编码器进行预训练，预训练时随机地向输入数据中添加噪声，这有助于加快整个网络的训练速度和提高精度，提高模型的泛化能力。
在实际的训练过程中，使用真实的成对雾霾图像数据集，并按照2:8的比例将数据集分成训练集和测试集。在训练过程中，首先将输入图像尺寸统一，然后输入到网络编码器中。图像经过卷积池化层和卷积块后，输出五种不同尺度的特征图，并对其进行标准化。接着，将特征图分别划分为一个个大小相等的块，并编码为一个输入序列。每个块的特征向量可以通过多头自注意力机制进行交互和融合，以捕捉不同块之间的语义信息。这样，模型可以更好地学习到图像中不同块之间的依赖关系和长距离依赖性，从而提高模型的性能和准确性。在经过中间层时，首先对上一步提取的每一层的特征图进行尺度分离，并进行负值归零操作。然后，对处理后的图像进行高斯滤波和再次负值归零，最后尺度融合获得初步增强图像，再与原始图像进行融合，获得增强图像。到达网络的解码器后，利用其图像恢复模块，即后向增强策略，以逐步恢复无雾图像。在每个选择模块中，首先进行BatchNormalization和ReLU激活函数进行非线性变换，然后使用卷积层提取和学习特征，并再次使用Batch Normalization和ReLU激活函数进行非线性变换。最后，可以使用跳层连接将原始输入和卷积后的结果相加，从而得到该模块的输出。最后，利用训练好的网络对单图雾霾图像进行去雾处理，获得去雾图像J(x)。
S3、利用雾气退化模型计算出粗略的透射率图，对该透射率图进行下界修正以及平滑化
由雾气退化模型可以得出：
（6）
将S1步骤求出的大气全局光、S2步骤求出的无雾图像/>与采集的单图雾霾图像/>代入式（6）中，可以计算出透射率图/>。透射率图/>的含义为，图像各个像素点的透射率分布情况。
S301、透射率图的修正
去雾图像是由对抗网络生成的，因此为了防止出现误差，需要对其计算出的透射率图进行偏值修正。根据雾气退化模型推导公6可以得到下面这种大小关系：
（7）
由上式可以计算出透射率的一个下界，是透射率需要满足的下限约束之一。
此外，定义表示/>与/>的差值，利用球坐标系可得/>另一个下限
（8）
综合式（7）和式（8），本发明对S3算出的透射率图进行下限修正，修正如下
（9）
S302、透射率图的平滑
有雾图像同一区域内深度连续，同一细分区域深度相同，其像素点对应的透射率值与周围像素对应的透射率值是相同或者连续变化的，为了满足该条件，需要对透射率图进行平滑化，防止透射率图中同一细分区域内出现间断跳跃点。在实际处理时，本发明借助图像处理的均值滤波思想对透射率图进行处理，具体为：采用(2n+1)*(2n+1)的滑动窗口，对窗口内区域进行均值化，本发明采用积分图形式对区域进行平滑处理。
（10）
这样，只需要首先对整幅图像计算积分图，每次滑动窗口对积分图的数值进行调用即可，时间复杂度由降低到/>，大大降低计算量。
S4、计算能见度
S401、深度图的计算
所谓深度，即照片上的物体到摄像机的距离，所有距离构成的辅助图像即为深度图。对于固定场景下，比如高速公路上的路牌到摄像机的位置是固定已知的，飞机场飞机跑道的标线到摄像机的位置是固定已知的，这些信息均可为能见度值的求解提供支持。
对于复杂场景，其物体分布不是固定的，这时获取物体深度信息就显得比较困难，本发明提出采用微型激光雷达对场景深度进行测量，在摄像头中集成微型激光雷达，根据摄像头的广角信息调整激光雷达的发射范围，使两者保持一致。同时，需要提前获取相机镜头畸变信息，利用棋盘格作为标定板计算畸变参数，总共有五个畸变参数，包括径向畸变3个(k1,k2,k3)和切向畸变2个(p1,p2)。利用畸变参数对图像进行畸变恢复。利用小孔成像法原理，计算点与镜头中心的连接线与成像中心垂线的夹角，微型激光雷达以该夹角向实际场景发射一条激光用于测距，利用激光的往返时间计算出该角度上实际物体到镜头点的距离，即可获取相应的深度信息，由此可以获得图像的深度图。
S402、近约能见度的计算
近约能见度，顾名思义，是近似约近的能见度。本发明具体计算如下：根据柯斯密德定律（Koschmieder Law）和国际照明委员会（CIE）推荐，大气能见度一般表示为，平行光通过大气衰减到原始光通量的0.05时的距离，即光强衰减到人类视觉阈值时的距离，能见度V与消光系数/>的关系如下：
（11）
透射因数(或透射率) 定义为：
表明景物光线是随着景物深度L按指数衰减的，即距离越远透射率越低，光源被散射未抵达摄像机的部分越多。将式/>代入式（11）可得
（12）
表示所求的能见度值。/>是图像像素的空间坐标；/>是该点的深度，即该点物体到摄像机的距离；/>是该点的透射率值。
通过式（12）能见度与像素透射率、像素深度信息的关系可以计算出近约能见度，从理论上讲，近约能见度应该为一固定数值，但实际实验表明计算出的近约能见度存在一个区间范围，该范围值服从正态分布。虽然可以直接以正态分布中心作为能见度计算结果，但这种方法的鲁棒性较低且局于理论。本发明专门针对该方法能见度计算，设计一个近值合并动态权值多层输入式感知器网络，融合PM2.5与湿度这两者气象信息特征，输出能见度值。
S403、近值合并动态权值多层输入式反向传播感知器网络
本发明融合PM2.5与湿度这两者气象信息特征作为该专属网络的输入，较多实验表明PM2.5和湿度与能见度强关联，呈现非线性负相关。具体原理为，大气能见度受空气中的水汽、大气气溶胶等影响明显。提出关系公式，再用实际值进行拟合是获得能见度与相关气象因子的常见方法。本发明不关心具体的关系公式，使用近值合并动态权值多层输入式反向传播感知器网络进行“黑盒”处理，输出能见度值。
该网络包括一个气象因子输入层、多个近约能见度输入层、若干层隐藏层和一层输出层，其中近约能见度输入层与隐藏层的层数相同。近约能见度输入层各层按照正态分布进行划分，对近约能见度的区间等间隔划分成若干个子区间，子区间按照累计随机变量数值进行降序排序，排序后的近约能见度区间值依次作为各层的输入，同时随着层数的递增，相应近约能见度输入层的加权系数递减。此外，各层采用动态权值进行迭代，即从上一层权值调整量取出一部分叠加到本次权值调整量中，动态权值利用前期积累的调整经验，减少训练时出现的异常振荡，提高收敛速度。同时，允许来自代价函数的信息通过网络向后流动，以便计算梯度、更新权值以最小化损失函数。
本发明中将相对湿度和PM2.5这两类关键气象因子作为该专属神经网络的输入，讲透射率图与深度图计算得的近约能见度分级输入到各个近约能见度输入层中，将此时刻的能见度真值作为标签值，送入该专属神经网络中提取相关模型特征。训练时，将输出结果与能见度真值对比得到损失Loss，然后反向传播调整参数不断降低Loss，设置迭代2000次，取最优一次模型并保存。最后，利用该模型求出该图像采集位置的能见度信息。
以上为本发明提供的一种基于图像去雾的中高能见度计算方法的实施例的详细描述，以下为本发明提供的一种基于图像去雾的中高能见度计算系统的实施例的详细描述，包括：
全局大气光估计模块，该模块对图像三通道分割处理，只保留其中灰度值最小通道，筛选暗通道中灰度值最大的前0.1%的点，映射回原图像的灰度值大小即为该图像的全局大气光的数值大小。
图像去雾模块，包括像素聚类子模块以及Defog-GAN去雾子模块。像素聚类子模块使用K-means算法将一幅图像的RGB像素值聚类为500个聚类，并将图像中的每个像素替换为其所属聚类的中心像素。Defog-GAN去雾子模块，采用非对称卷积特征金字塔结构作为编码器主干，多头自注意力前馈层作为特征提取，采用图像增强模块和GA-Net门控注意力机制作为编码器与解码器的中间层，解码器包括上采样层、反卷积层、全连接层和选择层，其中选择层由BN层、ReLU层和卷积层组成，其中生成器损失函数由双向梯度损失、深度损失、色调差异损失和能变比损失的加权组成。
透射率图生成模块，该模块结合全局大气光估计模块与图像去雾模块输出结果，利用大气退化模型，生成初步的透射率图。该模块包括修正子模块和平滑子模块，修正子模块用于初步透射率图根据下限进行偏值修正，平滑子模块用于平滑透射率图，防止透射率图中同一细分区域内出现间断跳跃点。
特征融合能见度输出模块，该模块包含多个输入，分别是近约能见度的分层输入以及相关气象因子的输入，近约能见度由深度图与透射率图生成模块生成，深度图可以利用已知信息获取，也可通过图像畸变恢复和激光雷达测距来获取。由推导出的能见度与像素透射率、像素深度信息的关系，即可计算输出近约能见度值。再通过近值合并动态权值多层输入式反向传播感知器网络融合特征，输出能见度。
本发明的有益效果是：本发明从雾气退化模型出发，通过计算透射率图、融合气象因子计算能见度。具体为，从观测图像的暗通道中选取最亮的前 0.1%的点估计全局大气光；对图像的RGB像素值进行聚类，并将图像中的每个像素替换为其所属聚类的中心像素；提出Defog-GAN去雾模型，采用非对称卷积特征金字塔结构作为编码器主干，以多头自注意力前馈层作为特征提取和下采样，采用特征增强模块和门控注意力机制作为中间层，承载输入图像的语义信息，有助于解码器更好地还原原始图像的细节和结构，采用上采样层、反卷积层、全连接层和选择层作为解码器结构，其中选择层由BN层、ReLU层和卷积层组成，提出新的生成器损失函数，使用改进的网络用于图像去雾；利用雾气退化模型，生成透射率图，并根据下限条件对透射率图进行偏差修正，接着平滑透射率图，防止透射率图中同一细分区域内出现间断跳跃点；接着，利用能见度与像素透射率、像素深度信息的关系，计算出近约能见度区间；通过近值合并动态权值多层输入式反向传播感知器网络融合气象因子特征，输出能见度。
本发明提出一种改进的去雾网络，从定义出发，反向求解透射率，进而通过网络特征融合方式直接求得能见度值，准确性高。
该系统无需维护精密能见度设备，使用成本低，无需提前知晓点光源照度先验知识，应用便捷。
附图说明
图1为本发明中高能见度计算方法的流程图。
图2为本发明Defog-GAN去雾模型网络整体架构图及各模块细分图。
图3为本发明近值合并动态权值多层输入式反向传播感知器网络架构图。
图4为本发明中高能见度计算系统的整体模块流程图。
图5为本发明初步验证结果图，（a）为雾气图、（b）为去雾图、（c）为透射率图。
图6为本发明去雾前后局部对比图及近约能见度计算实例图。
图7为本发明能见度计算结果示意图。
图8 为本发明能见度计算结果误差百分比图。
具体实施方式
以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。
如图1所示，本发明是一种基于图像去雾的中高能见度计算方法，包括以下步骤：
S1、估计全局大气光
光源的大气散色存在一个特性，即其随着距离的增大而散色范围增强。全局大气光可以视为无穷远处的一个大气光源对采集图像的亮度影响。
具体的：一张图像首先被分为R、G、B三色图像，然后将三色图像等宽等高地切割成16x16个子图像，每个子图像对应原图像的不同局部区域。这样可以获得3x256张子图像，并保留它们之间的对应关系。
接下来，对所有子图像的直方图灰度分布进行计算。对于每个子图像，只保留其中灰度值最小的RGB通道。然后，对这些保留的子图像进行二次筛选，选取暗通道中灰度值最大的前0.1%的点。将这些点映射回原图像，就可以获得原图像相应的点集合。该点集的灰度值大小的平均值即为该图像的全局大气光的数值大小。
S2、获得去雾图像J
S201、像素聚类
在一幅图像中，不同颜色的数量比像素的数量小几个数量级，因此可以按颜色对图像中的像素进行聚合分类。本发明使用K-means算法将一幅图像的RGB像素值聚类为500个聚类，并将图像中的每个像素替换为其所属聚类的中心像素。聚类后的图像与原始图像在色彩分布上相差不大，但在像素数量上降低了几个数量级，一方面可以减少后续网络处理的计算量，另一方面对图像的区域进行了处理分割。
S202、Defog-GAN去雾网络模型
本发明采用深度学习方法思想，提出了一种名为Defog-GAN的网络，以实现更好的图像去雾效果。如图2所示，该网络由生成器和判决器两个部分组成。生成器整体模型包括编码器、中间层和解码器。编码器通过一系列卷积层和池化层，提取出模糊图像的深度特征。中间层将输入图像转换为高层次的特征表示，包含输入图像的抽象语义信息，有助于解码器更准确地重建原始图像。解码器通过一系列反卷积层和上采样层，将编码器提取的特征逐渐恢复为清晰图像。判决器采用了双判别器的结构，双判别器包括本地鉴别器与全局鉴别器。
Defog-GAN的编码器模块采用特征金字塔(FPN)结构，该结构自下往上呈现出一条路径，通过卷积网络进行特征提取，并对空间分辨率进行下采样。自下向上路径包括四个卷积池化层、一个卷积块以及六个多头自注意力前馈层。卷积池化层包括一个1xn卷积层、一个nx1卷积层和一个最大池化层，采用两个不规则卷积目的是保持了尺寸不变，确保了新卷积核是可训练的，减少了参数量，提高了卷积的多样性。多头自注意力前馈层由多头自注意力机制和基于位置的前馈神经网络构成。这样的设计使得Defog-GAN的编码器能够有效地进行特征提取和下采样，同时保持了尺寸不变，提高了卷积的多样性，从而提高了图像去雾的效果。
中间层是由特征增强模块和1x1卷积模块组成的，同时还包括一个门控注意力机制。特征增强模块由尺度分离模块、负值归零模块、高斯滤波模块和尺度融合模块组成。门控注意力机制使用辅助网络动态地选择要参与的元素子集，并计算注意力权重以聚合所选元素。中间层承载了输入图像的语义信息，有助于解码器更好地还原原始图像的细节和结构。
解码器采用自上往下路径，通过把语义更强的高层特征信息进行上采样，然后横向连接至前一层特征，补充高分辨率细节之处从而进行特征信息的重建。解码器包括上采样层、反卷积层、全连接层和选择层，其中选择层由BN层、ReLU层和卷积层组成。
Defog-GAN的判别器采用双判别器结构，其中包括本地鉴别器和全局鉴别器。将雾霾图像和去雾图像输入到全局鉴别器中，同时将图像随机裁剪成补丁并输入到本地鉴别器中。这样做不仅保留了PatchGAN结构用于对大小为70×70的补丁进行鉴别，还引入了一个全局鉴别器对整个图像进行鉴别。这样判别器能够在整体信息和局部信息之间寻找平衡点，以达到平衡考虑的效果。
Defog-GAN的生成器目标损失函数由像素双向即水平、垂直的梯度损失，深度损失，色调差异损失和能变比损失的加权组成。公式如下：
（1）
为双向梯度损失，/>为深度损失，/>为色调差异损失，/>为能变比损失，/>、/>、/>、/>分别为三种损失的加权系数。
是指重构雾像与输入雾像在水平、垂直方向上梯度差的L2范数。
为重构雾像与输入雾像在景深上的L1范数损失，本发明基于颜色衰减先验提出/>损失，颜色衰减先验的原理为，雾浓度越高，景深越大，图像的亮度和饱和度相差越大，首先利用颜色衰减先验计算出图像处理前后的深度信息，再利用如下定义的第一范式数，计算出/>损失，定义如下：
（2）
为重构雾像与输入雾像在色调差异上的损失，所谓色调差异，指的是图像与其半逆图像在色调上的差值，色调差异已被用于检测的雾度。对于含雾模糊像素，并非所有三个半逆值都将从原始值反转，色调变化较小；相反对于无雾像素，色调差异较大。因此可以利用该性质创建色调差异损失：
（3）
指的是能变比损失，即一种用于度量重构雾像与输入雾像在能变比上的L1范数损失的方法。根据频谱的能级分布，直流分量所含能量最大最多，而频率越高所含能量越少，能变比定义为一幅图像低频部分的能量占整幅图像能量的比重。对于雾霾图像来说，雾气浓度越高，图像越模糊，相应图像相邻区域灰度的差值减少，高频部分降低、低频增加。本发明对能变比定义为，图像能量的低频部分占比，即/>。图像能量低频部分的计算步骤为：首先对图像进行傅里叶变换，然后进行频谱中心化处理，接着利用无增益单位阶跃函数对高频低频部分进行频率分离，对分离出的低频图像进行去中心化、反傅里叶变化处理，最后对该图像灰度分布进行统计，按照概率分布计算灰度方值，从而求得低频部分能量。对整幅图像进行灰度分布统计，按照概率分布计算灰度方值图像，即可计算出图像总能量/>。
Defog-GAN的判别器损失函数使用 Least Squares GANS(LSGAN)的损失函数。同时在判别中加入两个图像质量指标作为判定因子，包括峰值信噪比(PSNR)与结构相似度(SSIM)。
在整个Defog-GAN网络之前，单独使用训练数据对编码器进行预训练，预训练时随机地向输入数据中添加噪声，这有助于加快整个网络的训练速度和提高精度，提高模型的泛化能力。
在实际的训练过程中，使用真实的成对雾霾图像数据集，并按照2:8的比例将数据集分成训练集和测试集。在训练过程中，首先将输入图像尺寸统一，然后输入到网络编码器中。图像经过卷积池化层和卷积块后，输出五种不同尺度的特征图，并对其进行标准化。接着，将特征图分别划分为一个个大小相等的块，并编码为一个输入序列。每个块的特征向量可以通过多头自注意力机制进行交互和融合，以捕捉不同块之间的语义信息。这样，模型可以更好地学习到图像中不同块之间的依赖关系和长距离依赖性，从而提高模型的性能和准确性。在经过中间层时，首先对上一步提取的每一层的特征图进行尺度分离，并进行负值归零操作。然后，对处理后的图像进行高斯滤波和再次负值归零，最后尺度融合获得初步增强图像，再与原始图像进行融合，获得增强图像。到达网络的解码器时，利用其图像恢复模块，即后向增强策略，以逐步恢复无雾图像。在每个选择模块中，首先进行BatchNormalization和ReLU激活函数进行非线性变换，然后使用卷积层提取和学习特征，并再次使用Batch Normalization和ReLU激活函数进行非线性变换，使用跳层连接将原始输入和卷积后的结果相加，从而得到该模块的输出。最后，利用训练好的网络对单图雾霾图像进行去雾处理，获得去雾图像。
S3、计算透射率图
透射因数(或透射率) 定义为：
由上式透射因数(或透射率)的定义可以看出，/>的范围是[0,1]。根据图像特性，/>与/>的范围是[0,255]。
在计算机视觉领域，通常使用雾天图像退化模型来描述雾霾等恶劣天气条件对图像造成的影响，该模型为：
由上述模型可以得出：
（4）
需要注意的是，该式子由雾气退化模型推导而来，但不同于其他方法利用其他值对透射率进行估计，经过以上步骤，本发明的透射率图可以直接求出，具体步骤为：将S1步骤求出的大气全局光、S2步骤求出的无雾图像/>与采集的单图雾霾图像/>代入式（4）中，可以计算出透射率图/>。透射率图/>的含义为，图像各个像素点的透射率分布情况。同时，以下步骤对透射率图进行了优化处理。
S301、透射率图的修正
去雾图像是由对抗网络生成的，因此为了防止出现误差，需要对其计算出的透射率图进行偏值修正。根据雾气退化模型推导公式（7）可以得到下面这种大小关系：
（5）
由上式可以计算出透射率的一个下界，是透射率需要满足的下限约束之一。
此外，定义表示/>与/>的差值，即
（6）
将转换为球坐标系中，该坐标系以A作为球心，即
（7）
（8）
表示/>和/>的距离，当t=1时，最大半径坐标为：/>
（9）
由于为了修正由生成去雾图像产生的误差，所以式（8）不能直接使用计算出的J，需要在该球坐标系中寻找一个距离最大的点，由该点计算出的/>作为/>值。
（10）
由式（8），式（9），式（10）可得另一个下限
（11）
综合式（5）和式（11），本发明对S3算出的透射率图进行下限修正，修正如下
（12）
S302、透射率图的平滑
有雾图像同一区域内深度连续，同一细分区域深度相同，其像素点对应的透射率值与周围像素对应的透射率值是相同或者连续变化的，为了满足该条件，需要对透射率图进行平滑化，防止透射率图中同一细分区域内出现间断跳跃点。即需要使得下式最小化：
（13）
为某一像素点，/>表示/>的周围的像素点组成的集合，最小化相邻像素的传输率的差值，可以得到更平滑的透射率图。
本发明借助图像处理的均值滤波思想对透射率图进行处理，具体为：采用(2n+1)*(2n+1)的滑动窗口，对窗口内区域进行均值化，这样以来，可以使得式（13）的最小化。
（14）
表示某一像素点在透射率图中的透射率值。通过这种方法，可以平滑掉透射率图中同一细分区域内出现的间断跳跃点。
从式（14）可以看出，窗口的每次滑动，需要重新计算窗口内所有透射率值的和，其计算量是巨大的，为了节省时间，节省资源的消耗，本发明采用积分图形式对区域进行平滑处理。
（15）
因此，式（14）可变为
（16）
这样，只需要首先对整幅图像计算积分图，每次滑动窗口对积分图的数值进行调用即可，时间复杂度由降低到/>，大大降低计算量。/>
S4、能见度计算
S401、深度图的计算
所谓深度，即照片上的物体到摄像机的距离，所有距离构成的辅助图像即为深度图。对于固定场景下，比如高速公路上的路牌到摄像机的位置是固定已知的，飞机场飞机跑道的标线到摄像机的位置是固定已知的，这些信息均可为能见度值的求解提供支持。
对于复杂场景，其物体分布不是固定的，这时获取物体深度信息就显得比较困难，本发明采用微型激光雷达对场景深度进行测量，在摄像头中集成微型激光雷达，根据摄像头的广角信息调整激光雷达的发射范围，使两者保持一致。同时提前获取相机镜头畸变信息，利用棋盘格作为标定板计算畸变参数，对采集的图像进行畸变恢复，便于下一步的深度获取。一般来说，相机采用的是小孔成像法，因此实际物体、相机小孔和物体的像处于一条直线之上。因此微型激光雷达可以成像夹角向实际场景发射一条激光用于测距，利用激光的往返时间计算出该角度上实际物体到镜头点的距离，即可获取相应的深度信息，由此可以获得图像的深度图/>。
S402、近约能见度计算
近约能见度是近似约近的能见度。具体计算如下：根据柯斯密德定律（Koschmieder Law）和国际照明委员会（CIE）推荐，大气能见度一般表示为，平行光通过大气衰减到原始光通量的0.05时的距离，即光强衰减到人类视觉阈值时的距离，能见度V与消光系数/>的关系如下：
（17）
透射因数(或透射率) 定义公式/>中/> 表明景物光线是随着景物深度L按指数衰减的，即距离越远透射率越低，光源被散射未抵达摄像机的部分越多。将/>代入式（17）可得
（18）
表示所求的能见度值。/>是图像像素的空间坐标；/>是该点的深度，即该点物体到摄像机的距离；/>是该点的透射率值。
通过式（18）能见度与像素透射率、像素深度信息的关系可以计算出近约能见度，从理论上讲，近约能见度应该为一固定数值，但实际实验表明计算出的近约能见度存在一个区间范围，该范围值服从正态分布。虽然可以直接以正态分布中心作为能见度计算结果，但这种方法的鲁棒性较低且局于理论。本发明专门针对该方法能见度计算，设计一个近值合并动态权值多层输入式感知器网络，融合PM2.5与湿度这两者气象信息特征，输出能见度值。
如图6所示的雾气图像某点近约能见度的计算过程，a为雾气图像，其中注明了大气背景光A，某点的深度d，能见度观测值Observation，b与c为该点放大局部图，分别雾气局部图和去雾局部图，两张图上的数值分别表示该点的和/>，由/>，，A=227，d=45可求得/>，V=236.25m，误差9.13%
S403、近值合并动态权值多层输入式反向传播感知器网络
本发明融合PM2.5与湿度这两者气象信息特征作为该专属网络的输入，较多实验表明PM2.5和湿度与能见度强关联，呈现非线性负相关。具体原理为，大气能见度受空气中的水汽、大气气溶胶等影响明显。本发明使用近值合并动态权值多层输入式反向传播感知器网络进行“黑盒”处理，输出能见度值。
如图3所示的近值合并动态权值多层输入式反向传播感知器网络架构图。该网络结构包括一个气象因子输入层、多个近约能见度输入层、若干层隐藏层和一层输出层。其中，近约能见度输入层与隐藏层的层数相同。近约能见度输入层的各层按照正态分布进行划分，将近约能见度的区间等间隔划分成若干个子区间，子区间按照累计随机变量数值进行降序排序。排序后的近约能见度区间值依次作为各层的输入，同时随着层数的递增，相应近约能见度输入层的加权系数递减。此外，各层采用动态权值进行迭代，即从上一层权值调整量取出一部分叠加到本次权值调整量中。动态权值利用前期积累的调整经验，减少训练时出现的异常振荡，提高收敛速度。同时，允许来自代价函数的信息通过网络向后流动，以便计算梯度、更新权值以最小化损失函数。
本发明中将相对湿度和PM2.5这两类关键气象因子作为该专属神经网络的输入，讲透射率图与深度图计算得的近约能见度分级输入到各个近约能见度输入层中，将此时刻的能见度真值作为标签值，送入该专属神经网络中提取相关模型特征。训练时，将输出结果与能见度真值对比得到损失Loss，然后反向传播调整参数不断降低Loss，设置迭代2000次，取最优一次模型并保存。最后，利用该模型求出该图像采集位置的能见度信息。
如图7-8所示，通过实验可知，本发明提出的能见度计算方法，可以很好地计算并拟合能见度真值，实验中绝大部分计算值与真值之间的误差维持在20%以下，计算准确度较高，实验效果好
如图4所示，本发明还提供了一种基于图像去雾的中高能见度计算系统，包括：
全局大气光估计模块，该模块首先将一张图像分为R、G、B三色图像，然后将三色图像等宽等高地切割成16x16个子图像，每个子图像对应原图像的不同局部区域。这样可以获得3x256张子图像，并保留它们之间的对应关系。接下来，对所有子图像的直方图灰度分布进行计算。对于每个子图像，只保留其中灰度值最小的RGB通道。然后，对这些保留的子图像进行二次筛选，选取暗通道中灰度值最大的前0.1%的点。将这些点映射回原图像，就可以获得原图像相应的点集合。该点集的灰度值大小即为该图像的全局大气光的数值大小。
图像去雾模块，包括像素聚类子模块以及Defog-GAN去雾子模块。像素聚类子模块使用K-means算法将一幅图像的RGB像素值聚类为500个聚类，并将图像中的每个像素替换为其所属聚类的中心像素。Defog-GAN去雾子模块，采用非对称卷积特征金字塔结构作为编码器主干，多头自注意力前馈层作为特征提取，采用图像增强模块和GA-Net门控注意力机制作为编码器与解码器的中间层，解码器包括上采样层、反卷积层、全连接层和选择层，其中选择层由BN层、ReLU层和卷积层组成，其中生成器损失函数由双向梯度损失、深度损失、色调差异损失和能变比损失的加权组成。
透射率图生成模块，该模块结合全局大气光估计模块与图像去雾模块输出结果，利用大气退化模型，生成初步的透射率图。该模块包括修正子模块和平滑子模块，修正子模块用于初步透射率图根据下限进行偏值修正，平滑子模块用于平滑透射率图，防止透射率图中同一细分区域内出现间断跳跃点。
特征融合能见度输出模块，该模块包含多个输入，分别是近约能见度的分层输入以及相关气象因子的输入，近约能见度由深度图与透射率图生成模块生成，深度图可以利用已知信息获取，也可通过图像畸变恢复和激光雷达测距来获取。由推导出的能见度与像素透射率、像素深度信息的关系，即可计算输出近约能见度值。再通过近值合并动态权值多层输入式反向传播感知器网络融合特征，输出能见度。
本发明的基于图像去雾的能见度计算方法及系统，解决了目测计算能见度准确率低、主观性强的问题，无需维护精密能见度设备，使用成本低，无需提前知晓点光源照度先验知识，应用便捷。
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (8)

1.一种基于图像去雾的中高能见度计算方法，其特征在于：所述中高能见度计算方法包括如下步骤：
步骤1、估计全局大气光A：取一张图像，估计该图像的全局大气光的数值大小；
步骤2、构建Defog-GAN去雾网络模型对单雾霾图像进行去雾处理，获得能见度好的去雾图像J，其中：获得去雾图像J具体包括如下步骤：
步骤201、像素聚类：按颜色对图像中的像素进行聚合分类，具体为：使用K-means算法将一幅图像的RGB像素值聚类为500个聚类，并将图像中的每个像素替换为其所属聚类的中心像素；
步骤202、构建Defog-GAN去雾网络模型，所述Defog-GAN去雾网络模型由生成器和判决器两个部分组成，生成器整体模型包括编码器、中间层和解码器，所述判决器采用双判别器结构，包括本地鉴别器和全局鉴别器；
步骤3、计算透射率图t(x)：透射率图t(x)为去雾图像各个像素点的透射率分布情况，是通过步骤1求出的全局大气光A和步骤2求出的去雾图像J与采集的有雾图像I代入雾气退化模型式直接求出的，即
其中x是图像像素的空间坐标；
步骤4、能见度计算：采用微型激光雷达对场景深度进行测量，使用近值合并动态权值多层输入式反向传播感知器网络进行处理，输出能见度值，能见度计算具体包括如下步骤：
步骤401、深度图的计算：采用微型激光雷达对场景深度进行测量，在摄像头中集成微型激光雷达，根据摄像头的广角信息调整激光雷达的发射范围，使两者保持一致，同时提前获取相机镜头畸变信息，利用棋盘格作为标定板计算畸变参数，对采集的图像进行畸变恢复，便于下一步的深度获取；
步骤402、近约能见度计算：
能见度V与消光系数α的关系如下：
将式代入式/>得
V表示所求的能见度值，x是图像像素的空间坐标，L(x)是该点的深度，即该点物体到摄像机的距离，t(x)是该点的透射率值；
步骤403、实用近值合并动态权值多层输入式反向传播感知器网络进行处理，输出能见度值，其中，所述感知器网络包括一个气象因子输入层、多个近约能见度输入层、若干层隐藏层和一层输出层，所述近约能见度输入层与所述隐藏层的层数相同，近约能见度输入层的各层按照正态分布进行划分，将近约能见度的区间等间隔划分成若干个子区间，子区间按照累计随机变量数值进行降序排序，排序后的近约能见度区间值依次作为各层的输入，同时随着层数的递增，相应近约能见度输入层的加权系数递减，各层采用动态权值进行迭代，即从上一层权值调整量取出一部分叠加到本次权值调整量中。
2.根据权利要求1所述的一种基于图像去雾的中高能见度计算方法，其特征在于：在所述步骤202中：
所述编码器采用特征金字塔结构，所述特征金字塔结构自下向上呈现出一条路径，通过卷积网络进行特征提取，并对空间分辨率进行下采样，其中：自下向上路径包括四个卷积池化层、一个卷积块以及六个多头自注意力前馈层，所述卷积池化层包括一个1xn卷积层、一个nx1卷积层和一个最大池化层，所述多头自注意力前馈层由多头自注意力机制和基于位置的前馈神经网络构成；
所述中间层包括特征增强模块、1x1卷积模块和一个门控注意力机制，所述特征增强模块由尺度分离模块、负值归零模块、高斯滤波模块和尺度融合模块组成，所述门控注意力机制使用辅助网络动态地选择要参与的元素子集，并计算注意力权重以聚合所选元素；
所述解码器包括上采样层、反卷积层、全连接层和选择层，其中所述选择层由BN层、ReLU层和卷积层组成，解码器将编码器提取的特征进行反卷积，根据特征图形进行重构。
3.根据权利要求1所述的一种基于图像去雾的中高能见度计算方法，其特征在于：在所述步骤202中，所述生成器的目标损失函数由像素双向即水平、垂直梯度损失、深度损失、色调差异损失和能变比损失的加权组成，公式如下：
LG＝λEgLEg+λdLd+λHLH+λEnLEn
其中：LEg为双向梯度损失即构雾像与输入雾像在水平、垂直方向上梯度差的L2范数，Ld为深度损失即重构雾像与输入雾像在景深上的L1范数损失，LH为色调差异损失即重构雾像与输入雾像在色调差异上的损失，LEn为能变比损失，即一种用于度量重构雾像与输入雾像在能变比上的L1范数损失的方法，λEg、λd、λH、λEn分别为双向梯度损失、深度损失和色调差异损失的加权系数，
Ld损失定义如下：
Ld＝∑w，h||dJ(x)w，h-dI(x)w，h||1；
LH损失定义如下：
LH＝∑w，h||H(J)w，h-H(I)w，h||1；
能变比为图像能量的低频部分占比，即Ei，j|low为图像能量低频部分，Ei，j|low的计算方法为：首先对图像进行傅里叶变换，然后进行频谱中心化处理，接着利用无增益单位阶跃函数对高频低频部分进行频率分离，对分离出的低频图像进行去中心化、反傅里叶变化处理，最后对该图像灰度分布进行统计，按照概率分布计算灰度方值，从而求得低频部分能量，对整幅图像进行灰度分布统计，按照概率分布计算灰度方值图像，即可计算出图像总能量Ei，j。
4.根据权利要求1所述的一种基于图像去雾的中高能见度计算方法，其特征在于：在训练Defog-GAN去雾网络模型之前，单独使用训练数据对编码器进行预训练，具体包括如下步骤：
步骤2021、使用真实的成对雾霾图像数据集，并按照一定比例将数据集分成训练集和测试集；
步骤2022、在训练过程中，将输入图像尺寸统一，然后输入到网络编码器中，图像经过卷积池化层和卷积块后，输出五种不同尺度的特征图，并对其进行标准化；
步骤2023、将步骤2022中特征图分别划分为一个个大小相等的块，并编码为一个输入序列，每个块的特征向量通过多头自注意力机制进行交互和融合，以捕捉不同块之间的语义信息。
5.根据权利要求4所述的一种基于图像去雾的中高能见度计算方法，其特征在于：所述步骤2022中的特征图中间层用以特征增强，具体步骤为：先对上一步提取的每一层的特征图进行尺度分离，并进行负值归零操作，然后，对处理后的图像进行高斯滤波和再次负值归零，最后尺度融合获得初步增强图像，再与原始图像进行融合，获得增强图像。
6.根据权利要求1所述的一种基于图像去雾的中高能见度计算方法，其特征在于：对步骤3的透射率图t(x)进行优化处理，具体包括如下步骤：
步骤301、透射率图t(x)的修正，具体为：
根据式得到下面的大小关系：
由上式计算出透射率的一个下界
定义IA(x)表示I(x)与A的差值，即
lA(x)＝I(x)-A＝t(x)*[J(x)-A]
将IA(x)转换为球坐标系中，所述球坐标系以A作为球心，即
r(x)＝t(x)||J(x)-A||
||J(x)-A||表示J(x)和A的距离，当透射因数t＝1时，最大半径坐标为：
rmax＝||J-A||max，其中
在所述球坐标系中寻找一个距离最大的点，由该点计算出的r作为rmax值：
由r(x)＝t(x)||J(x)-A||、rmax＝||J-A||max和得t(x)另一个下限
结合和/>对透射率图进行修正：
步骤302、对透射率图t(x)进行平滑处理，具体为：
步骤3021、使得下式最小化：
ωx表示x的周围的像素点组成的集合，最小化相邻像素的传输率的差值，得到更平滑的透射率图；
步骤3022、借助图像处理的均值滤波思想对步骤3021得到的透射率图进行处理，具体为：采用(2n+1)*(2n+1)的滑动窗口，对窗口内区域进行均值化，使得最小化：
t(x,y)表示某一像素点在透射率图中的透射率值，通过步骤3022平滑掉透射率图中同一细分区域内出现的间断跳跃点；
步骤3023、采用积分图形式对区域进行平滑处理：
最小化变为
7.根据权利要求1-6任一项所述的一种基于图像去雾的中高能见度计算方法，其特征在于：所述步骤1估计全局大气光A具体包括如下步骤：
步骤1-1、取一张图像，首先将图像为R、G、B三色图像，将三色图像等宽等高地切割成16x16个子图像，每个子图像对应原图像的不同局部区域；
步骤1-2、对所有子图像的直方图灰度分布进行计算，对于每个子图像，只保留其中灰度值最小的RGB通道，对这些保留的子图像进行二次筛选，选取暗通道Idark中灰度值最大的前0.1％的点，将这些点映射回原图像获得原图像相应的点集合，所述点集合的灰度值大小的平均值即为该图像的全局大气光的数值大小。
8.根据权利要求1所述的一种基于图像去雾的中高能见度计算方法，其特征在于：所述中高能见度计算方法方法通过中高能见度计算系统实现，所述中高能见度计算系统包括：
全局大气光估计模块：该模块将图像分为R、G、B三色图像并对三色图像切割成子图像，对所有子图像的直方图灰度分布进行计算，保留其中灰度值最小的RGB通道，并对保留的子图像进行二次筛选，选取暗通道Idark中灰度值最大的前0.1％的点，将这些点映射会原图像获得原图像的点集合，该点集的灰度值大小即为该图像的全局大气光的数值大小；
图像去雾模块：包括像素聚类子模块以及Defog-GAN去雾子模块，像素聚类子模块使用K-means算法将一幅图像的RGB像素值聚类为500个聚类，并将图像中的每个像素替换为其所属聚类的中心像素，Defog-GAN去雾子模块，采用非对称卷积特征金字塔结构作为编码器主干，多头自注意力前馈层作为特征提取，采用图像增强模块和GA-Net门控注意力机制作为编码器与解码器的中间层，解码器包括上采样层、反卷积层、全连接层和选择层，其中选择层由BN层、ReLU层和卷积层组成，其中生成器损失函数由双向梯度损失、深度损失、色调差异损失和能变比损失的加权组成；
透射率图生成模块：包括修正子模块和平滑子模块，修正子模块用于初步透射率图根据下限进行偏值修正，平滑子模块用于平滑透射率图，防止透射率图中同一细分区域内出现间断跳跃点；
特征融合能见度输出模块：包含近约能见度的分层输入以及相关气象因子的输入，近约能见度由深度图与透射率图生成模块生成，由推导出的能见度与像素透射率、像素深度信息的关系，即可计算输出近约能见度值，再通过近值合并动态权值多层输入式反向传播感知器网络融合特征，输出能见度。
CN202310907452.7A 2023-07-24 2023-07-24 一种基于图像去雾的中高能见度计算方法及计算系统 Active CN116664448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310907452.7A CN116664448B (zh) 2023-07-24 2023-07-24 一种基于图像去雾的中高能见度计算方法及计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310907452.7A CN116664448B (zh) 2023-07-24 2023-07-24 一种基于图像去雾的中高能见度计算方法及计算系统

Publications (2)

Publication Number Publication Date
CN116664448A CN116664448A (zh) 2023-08-29
CN116664448B true CN116664448B (zh) 2023-10-03

Family

ID=87720871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310907452.7A Active CN116664448B (zh) 2023-07-24 2023-07-24 一种基于图像去雾的中高能见度计算方法及计算系统

Country Status (1)

Country Link
CN (1) CN116664448B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252787B (zh) * 2023-11-17 2024-02-02 北京渲光科技有限公司 图像重新照明方法、模型训练方法、装置、设备及介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809707A (zh) * 2015-04-28 2015-07-29 西南科技大学 一种单幅雾天图像能见度估计方法
CN105931220A (zh) * 2016-04-13 2016-09-07 南京邮电大学 基于暗通道先验与最小图像熵的交通雾霾能见度检测方法
CN107194924A (zh) * 2017-05-23 2017-09-22 重庆大学 基于暗通道先验和深度学习的高速公路雾天能见度检测方法
CN107274383A (zh) * 2017-05-17 2017-10-20 南京邮电大学 一种基于深度学习的雾霾能见度检测方法
CN107505291A (zh) * 2017-07-05 2017-12-22 中南大学 一种通过单幅图像估计能见度的方法
CN107506729A (zh) * 2017-08-24 2017-12-22 中国科学技术大学 一种基于深度学习的能见度检测方法
CN109948471A (zh) * 2019-03-04 2019-06-28 南京邮电大学 基于改进InceptionV4网络的交通雾霾能见度检测方法
CN111738939A (zh) * 2020-06-02 2020-10-02 大连理工大学 一种基于半训练生成器的复杂场景图像去雾方法
CN112330675A (zh) * 2020-12-15 2021-02-05 南昌工程学院 基于AOD-Net的交通道路图像大气能见度检测方法
CN112365476A (zh) * 2020-11-13 2021-02-12 南京信息工程大学 一种基于双通路深度网络的雾天能见度检测方法
CN112365467A (zh) * 2020-11-11 2021-02-12 武汉长江通信智联技术有限公司 一种基于单幅图像深度估计的雾天图像能见度估计方法
CN113066028A (zh) * 2021-03-31 2021-07-02 山东师范大学 一种基于Transformer深度神经网络的图像去雾方法
CN113379619A (zh) * 2021-05-12 2021-09-10 电子科技大学 去雾成像、能见度提取和景深估计的一体化处理方法
CN113469912A (zh) * 2021-06-30 2021-10-01 清华大学 一种基于深度学习的雾天能见度估计方法和系统
CN113570554A (zh) * 2021-07-06 2021-10-29 浙江工业大学 一种基于场景深度的单幅图像能见度检测方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809707A (zh) * 2015-04-28 2015-07-29 西南科技大学 一种单幅雾天图像能见度估计方法
CN105931220A (zh) * 2016-04-13 2016-09-07 南京邮电大学 基于暗通道先验与最小图像熵的交通雾霾能见度检测方法
CN107274383A (zh) * 2017-05-17 2017-10-20 南京邮电大学 一种基于深度学习的雾霾能见度检测方法
CN107194924A (zh) * 2017-05-23 2017-09-22 重庆大学 基于暗通道先验和深度学习的高速公路雾天能见度检测方法
CN107505291A (zh) * 2017-07-05 2017-12-22 中南大学 一种通过单幅图像估计能见度的方法
CN107506729A (zh) * 2017-08-24 2017-12-22 中国科学技术大学 一种基于深度学习的能见度检测方法
CN109948471A (zh) * 2019-03-04 2019-06-28 南京邮电大学 基于改进InceptionV4网络的交通雾霾能见度检测方法
CN111738939A (zh) * 2020-06-02 2020-10-02 大连理工大学 一种基于半训练生成器的复杂场景图像去雾方法
CN112365467A (zh) * 2020-11-11 2021-02-12 武汉长江通信智联技术有限公司 一种基于单幅图像深度估计的雾天图像能见度估计方法
CN112365476A (zh) * 2020-11-13 2021-02-12 南京信息工程大学 一种基于双通路深度网络的雾天能见度检测方法
CN112330675A (zh) * 2020-12-15 2021-02-05 南昌工程学院 基于AOD-Net的交通道路图像大气能见度检测方法
CN113066028A (zh) * 2021-03-31 2021-07-02 山东师范大学 一种基于Transformer深度神经网络的图像去雾方法
CN113379619A (zh) * 2021-05-12 2021-09-10 电子科技大学 去雾成像、能见度提取和景深估计的一体化处理方法
CN113469912A (zh) * 2021-06-30 2021-10-01 清华大学 一种基于深度学习的雾天能见度估计方法和系统
CN113570554A (zh) * 2021-07-06 2021-10-29 浙江工业大学 一种基于场景深度的单幅图像能见度检测方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
A Novel Approach to Maritime Image Dehazing Based on a Large Kernel Encoder–Decoder Network with Multihead Pyramids;Wei Yang 等;《electronics》;1-16 *
A variational approach to atmospheric visibility estimation in the weather of fog and haze;Xiaogang Cheng 等;《Sustainable Cities and Society》;215-224 *
Computer Vision Technology for Monitoring of Indoor and Outdoor Environments and HVAC Equipment: A Review;Bin Yang 等;《sensors》;1-42 *
DefogGAN: Predicting Hidden Information in the StarCraft Fog of War with Generative Adversarial Nets;Yonghyun Jeong 等;《arXiv》;1-9 *
Zhixiang Chen 等.Visibility Detection Algorithm of Single Fog Image Based on the Ratio of Wavelength Residual Energy.《Mathematical Problems in Engineering》.2021,第2021卷1-13. *
叶路月.单幅雾天图像能见度恢复深度算法及评价研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2021,(第2021年03期),I138-431. *
图像能见度检测方法研究综述;张雨晴 等;《电子测量技术》;第46卷(第4期);41-47 *
基于多尺度特征的无监督去雾算法;孙祥胜 等;《激光与光电子学进展》;第58卷(第16期);1610024-1-1610024-9 *
基于暗通道先验与图像熵的能见度检测;周凯 等;《南京邮电大学学报（自然科学版）》;第36卷(第6期);90-95 *
基于生成对抗网络的图像去雾算法;仲伟峰 等;《激光与光电子学进展》;第59卷(第4期);0415007-1-0415007-9 *

Also Published As

Publication number Publication date
CN116664448A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
Santra et al. Learning a patch quality comparator for single image dehazing
Hu et al. Single image defogging based on illumination decomposition for visual maritime surveillance
US9064315B2 (en) System and processor implemented method for improved image quality and enhancement
Tripathi et al. Single image fog removal using bilateral filter
CN107103591B (zh) 一种基于图像雾霾浓度估计的单幅图像去雾方法
CN105447825B (zh) 图像去雾方法及其系统
CN110349093B (zh) 基于多级沙漏结构的单幅图像去雾模型构建及去雾方法
CN111179202B (zh) 一种基于生成对抗网络的单幅图像去雾增强方法和系统
Fayaz et al. Underwater image restoration: A state‐of‐the‐art review
CN116664448B (zh) 一种基于图像去雾的中高能见度计算方法及计算系统
Bi et al. Haze removal for a single remote sensing image using low-rank and sparse prior
Huang et al. Haze removal algorithm for optical remote sensing image based on multi-scale model and histogram characteristic
Singh et al. Visibility enhancement and dehazing: Research contribution challenges and direction
CN115641767A (zh) 无人艇感知实验平台装置
Chen et al. Visibility detection algorithm of single fog image based on the ratio of wavelength residual energy
Wang et al. Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN109118450A (zh) 一种沙尘天气条件下的低质图像增强方法
Gong et al. Research on the method of color compensation and underwater image restoration based on polarization characteristics
Huang et al. Image dehazing based on robust sparse representation
Li et al. Multi-scale fusion framework via retinex and transmittance optimization for underwater image enhancement
CN111986109A (zh) 一种基于全卷积网络的遥感影像去雾方法
Wu et al. A novel fog-degraded image restoration model of golden scale extraction in color space
Ghate et al. Recent trends and challenges in Image Enhancement Techniques for Underwater Photography
Yang et al. Wavelength-Dependent Image Defogging Method Based on Mie Scattering of Fog Droplets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant