CN110310241B - 一种融合深度区域分割的多大气光值交通图像去雾方法 - Google Patents

一种融合深度区域分割的多大气光值交通图像去雾方法 Download PDF

Info

Publication number
CN110310241B
CN110310241B CN201910559582.XA CN201910559582A CN110310241B CN 110310241 B CN110310241 B CN 110310241B CN 201910559582 A CN201910559582 A CN 201910559582A CN 110310241 B CN110310241 B CN 110310241B
Authority
CN
China
Prior art keywords
image
sky
haze
representing
atmospheric light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910559582.XA
Other languages
English (en)
Other versions
CN110310241A (zh
Inventor
黄鹤
李光泽
郭璐
王会峰
许哲
茹锋
汪贵平
黄莺
惠晓滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Jiuzhou Longteng Scientific And Technological Achievement Transformation Co ltd
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201910559582.XA priority Critical patent/CN110310241B/zh
Publication of CN110310241A publication Critical patent/CN110310241A/zh
Application granted granted Critical
Publication of CN110310241B publication Critical patent/CN110310241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合深度区域分割的多大气光值交通图像去雾方法，首先制作雾霾图像数据集，然后利用雾霾图像数据集为输入，训练雾霾图像深度分割器，让机器学习雾霾天气下天空和非天空区域的特征；采集雾霾天气下用于测试的交通图像；采用雾霾图像深度分割器对采集的交通图像进行分割，得到天空区域和非天空区域，求取天空区域和非天空区域的大气光值和透射率，加权平均后，得到综合大气光值和综合透射率；利用快速引导滤波对综合透射率细化处理，重构无雾交通场景图片。

Description

一种融合深度区域分割的多大气光值交通图像去雾方法
技术领域
本发明属于图像处理技术领域，具体涉及一种融合深度区域分割的多大气光值交通图像去雾方法。
背景技术
大气污染物是一个待解决的环境问题，其来源有很多，电厂煤炭发电，路上车排放的尾气，工厂排放的废气等，导致雾霾天气频发。细分地说，雾是液体颜色偏白，霾是固体颜色偏黄且有害，二者结合就产生了灰暗色调的雾霾。空气中的雾霾，会使得图像在被采集的过程中发生降质。雾霾越重，图像质量越差。在公路交通视频监控、无人机航拍、卫星遥感等领域，往往需要利用采集到的高质量视频图像进行后续的检测、识别、分类等任务，低质量雾霾图像显然不能满足其输入要求，因此去雾的研究有很大意义。
现阶段，以去雾本质是否基于大气散射模型将算法分成两大类，基于非物理模型的图像增强去雾和基于物理模型参数先验的图像重构去雾，从效果上看，结合雾霾物理成像模型的方法有更好的结果图。但是已有的去雾算法在重构还原图像的时候，由于没有处理好天空区域和场景区域的关系，往往会使结果图的整体亮度下降或者出现光晕现象，严重的会出现失真。
发明内容
本发明的目的在于提供一种融合深度区域分割的多大气光值交通图像去雾方法，以克服现有技术存在的缺陷，本发明提出了一种专门处理雾霾图像的深度分割器，通过机器学习的方法对雾霾图像的天空和场景区域进行特征学习，将图像分割应用到去雾中去，填补了原有分割算法对雾天降质图像的应用空缺，改善了基于物理模型去雾的模型参数大气光和投射率的估计不足。
为达到上述目的，本发明采用如下技术方案：
一种融合深度区域分割的多大气光值交通图像去雾方法，包括以下步骤：
步骤1：制作雾霾图像数据集；
步骤2：利用步骤1中的雾霾图像数据集为输入，训练雾霾图像深度分割器，让机器学习雾霾天气下天空和非天空区域的特征；
步骤3：采集雾霾天气下用于测试的交通图像；
步骤4：采用步骤2中雾霾图像深度分割器对步骤3采集的交通图像进行分割，得到天空区域和非天空区域，求取天空区域和非天空区域的大气光值和透射率，加权平均后，得到综合大气光值和综合透射率；
步骤5：利用快速引导滤波对步骤4中的综合透射率细化处理，重构无雾交通场景图片。
进一步地，步骤1中制作雾霾图像数据集的方法为：
步骤1.1：在含雾的天气下，沿着交通路线，拍摄各个路口，整理成9个视频和1000张图片，对含有天空和非天空区域的图片进行筛选，最终确定264张真实交通场景图像，做成初始雾霾图像数据集；
步骤1.2：对步骤1.1中初始雾霾图像数据集的图片进行标注，即采用github开源工具labelme对雾天场景的天空和非天空区域进行分割，最终得到的雾霾图像数据集包含四类文件，第一类文件是步骤1.1中初始雾霾图像数据集，第二类文件是对第一类文件标注后生成的标签文件，第三类文件是通过第二类文件的标签信息生成的数据集，第四类文件是从第三类文件中提取的分割图片集合，共有两类，分为天空区域和非天空区域。
进一步地，步骤2具体为：
步骤2.1：搭建Mask R-CNN网络
网络第一部分使用了残差网络ResNet对初始雾霾图像数据集中的雾霾图像的结构和纹理特征进行提取；
网络第二部分是候选区生成网络RPN，候选区生成网络RPN依赖于一个滑动的窗口，在网络第一部分输出的特征图上遍历，为每一个像素点生成9种目标框，对于生成的目标框，首先通过目标框与第三类文件中含有标签信息数据集中图片的的交叠比判断当前目标框属于前景还是背景，交叠比大于0.5认为是前景，小于0.3认为是背景，交叠比在0.3和0.5之间的目标框舍弃；然后在判断出目标框为前景的情况下，对其区域的坐标进行依次修正，整个候选区生成网络RPN的损失函数如式(1)：
Figure GDA0003010164300000031
其中，pi为目标框预测为目标的概率，
Figure GDA0003010164300000032
在正标签是值为1，其他全为0，ti＝{tx,ty,tw,th}是一个向量，表示预测的目标框的4个参数化坐标，
Figure GDA0003010164300000033
是前景部分目标框对应的真实标签坐标向量，
Figure GDA0003010164300000034
是目标和非目标的对数损失，
Figure GDA0003010164300000035
是回归损失，λ为10，Ncls为256，Nreg设为2400，以确保两部分损失平衡；
网络第三部分是分类输出，一共有三个输出分支，第一个分支中，每一类都输出一张分割预测图；第二个分支，得到目标框的位置信息输出；第三个分支，得到类别的输出，这三个分支的输出组合成了最终的结果，包含有目标检测、识别和分割，总体损失函数为：
Lfinal＝L({pi},{ti})+(Lcls+Lbox+Lmask)(2)
其中L({pi},{ti})表示RPN部分的损失，Lcls、Lbox、Lmask分别表示类别、目标框、分割部分的损失；
对步骤1中的雾霾图像数据集进行训练，当总体损失函数Lfinal小于0.01时，跳出训练过程；
步骤2.2：对步骤1中获得的图像进行模糊C均值聚类
首先获取步骤1中雾霾图像的暗通道图，求取暗通道的公式表示为：
Figure GDA0003010164300000041
其中，
Figure GDA0003010164300000042
表示训练集中图像的暗通道图，c表示RGB的某个通道，
Figure GDA0003010164300000043
表示训练集中图像对应通道的原图，Ω(x)是计算暗通道的算子滑块大小；
然后对暗通道图进行模糊C均值聚类；
使用随机算法生成一组数据，利用不确定的数据初始化隶属度矩阵U，使其符合式：
Figure GDA0003010164300000044
其中，c表示聚类中心的个数，uij表示索引为(i，j)的隶属度；
计算出聚类中心的个数c，符合下式：
Figure GDA0003010164300000045
其中，c为模糊组的中心的个数，uij表示索引为(i，j)的隶属度，m表示控制算法的柔性参数，n是需要分类的样本数量；
设置阈值判断条件，使算法执行或者跳出，以达到损失函数要求，损失函数表示为：
Figure GDA0003010164300000046
其中，ci为第i个模糊组的中心，U为隶属度矩阵，uij表示索引为(i，j)的隶属度，介于0到1间，dij＝||ci-xj||为第j个数据与第i个中心与的欧式距离，m表示控制算法的柔性参数；
计算每一次迭代后的U矩阵，其中矩阵中每个元素满足：
Figure GDA0003010164300000047
其中，c为模糊组的中心的个数，uij表示索引为(i，j)的隶属度，m表示控制算法的柔性参数，dij＝||ci-xj||为第j个数据与第i个中心与的欧式距离，dkj＝||ck-xj||为第j个数据与第k个中心与的欧式距离；
总体损失函数为：
Figure GDA0003010164300000051
其中，U为隶属度矩阵，c为模糊组的中心的个数，uij表示索引为(i，j)的隶属度，λj表示第索引为j的平衡系数，m表示控制算法的柔性参数，dij为第j个数据与第i个中心与的欧式距离；
步骤2.3：综合步骤2.1和步骤2.2算法，得到雾霾图像深度分割器。
进一步地，步骤4中求取综合大气光值和综合透射率的方法为：
步骤4.1：利用步骤2中得到的雾霾图像深度分割器，对步骤3中采集的测试图像分割，得到雾霾天气下交通图像的天空区域图像Isky，非天空区域图像Inon-sky；
步骤4.2：利用步骤4.1中的Isky，Inon-sky求综合大气光值；
先求出步骤3中测试图像的暗通道图，
Figure GDA0003010164300000052
其中，
Figure GDA0003010164300000053
表示测试图像的暗通道图，c表示RGB的某个通道，
Figure GDA0003010164300000054
表示测试图像对应通道的原图，Ω(x)是计算暗通道的算子滑块大小；
结合步骤4.1中Isky，Inon-sky，对
Figure GDA0003010164300000055
进行分割，得到只含天空区域的暗通道图
Figure GDA0003010164300000056
和只含非天空区域的暗通道图
Figure GDA0003010164300000057
找出图像
Figure GDA0003010164300000058
和
Figure GDA0003010164300000059
中亮度值为从小到大排列后前千分之一点的坐标，将得到的坐标映射到步骤3中的测试图像中，提取出相应点的像素值，累加之后取平均值，得到需要的大气光；
Figure GDA00030101643000000510
Figure GDA00030101643000000511
其中，Asky对应天空区域Isky的大气光值矩阵，Anon-sky对应非天空区域的大气光值矩阵，n1和n2分别表示Asky和Anon-sky的元素个数，
Figure GDA0003010164300000061
和
Figure GDA0003010164300000062
表示天空和非天空区域的大气光值；
综合
Figure GDA0003010164300000063
和
Figure GDA0003010164300000064
得到综合大气光值
Figure GDA0003010164300000065
其中，
Figure GDA0003010164300000066
和
Figure GDA0003010164300000067
表示天空和非天空区域的大气光值，Azonghe表示综合大气光值；
步骤4.3：求透射率图
初始透射率计算的计算如下
Figure GDA0003010164300000068
其中，
Figure GDA0003010164300000069
为估计的初始透射率，ω为影响因子，Ω(x)为计算暗通道的算子滑块大小，Ic(x)为步骤3中测试图像对应RGB三通道的图像，
Figure GDA00030101643000000610
为某一通道对应的大气光值。
进一步地，步骤5中还原无雾图像的方法为：
以初始透射率图
Figure GDA00030101643000000611
为输入图像，步骤3中的测试图像为引导图像，输出图像为最终的透射率图t(x)，采用快速引导滤波对初始透射率细化，首先对输入图像和引导图像以步长为4进行下采样，得到缩小尺寸的输入图像p′和引导图像I′；
之后对输入图像p′和引导图像I′进行引导滤波：
qi′n＝∑jnWinjn(I′)p′jn (14)
其中，I′为缩小尺寸的引导图像，in，jn是图像像素的索引，缩小尺寸的输入图像的像素点为pj′n，输出图像像素点为qi′n，Winjn是由输入图像和引导图像组成的滤波核函数；
假设滤波过程为成局部的线性变换，滤波后的输出图像表示为：
Figure GDA0003010164300000071
其中，ak和bk是以像素k为中心的滑框系数；
对比输入输出图像的差异，将误差降到最低，则得到
Figure GDA0003010164300000072
Figure GDA0003010164300000073
其中，μk和
Figure GDA0003010164300000074
分别表示引导图像I′在局部窗口ωk中的均值和方差，
Figure GDA0003010164300000075
是缩小尺寸的输入图像p′在窗口ωk中的均值；
然后对式(15)中的输出图像进行上采样，恢复到原有尺寸大小，得到输出图像为qin；
公式为：
Figure GDA0003010164300000076
其中，
Figure GDA0003010164300000077
重构图像公式为
Figure GDA0003010164300000078
其中，I(x)表示步骤3中的测试图像，Azonghe表示综合大气光值，t(x)为经过快速引导滤波后的透射率图，即为式(18)的结果图qin，t0为正则化项，取0.15。
与现有技术相比，本发明具有以下有益的技术效果：
对于从雾霾天气下获得的交通图像，传统暗通道去雾算法先取暗通道图中灰度值前千分之一像素对应的位置，然后映射到原图，取平均值作为大气光值，这样会导致图像整体亮度很低。其根本原因是没有考虑天空区域和非天空区域的关系。本发明中兼顾天空区域与非天空区域的关联信息，提出一种新的雾霾图像深度分割器，该分割器融合了Mask R-CNN神经网络和模糊C均值(FCM)聚类的优点，对雾天降质图像进行分割。对分割后得到的天空和非天空区域分别处理，细化透射率后，得到去雾后图像。对比当前图像分割技术，本发明提出的雾霾图像深度分割器(DRSH)能够更好地适应雾霾图像。兼顾了天空和非天空区域信息，去雾后的图像更加接近真实无雾场景图像，克服了传统算法不适用于天空区域的缺陷。
附图说明
图1是本发明的流程示意图；
图2是本发明与其他图像去雾算法的结果图对比，其中，(a)为雾霾图像，(b)雾霾图像深度分割器分割的非天空区域图像，(c)雾霾图像深度分割器分割的天空区域图像，(d)暗通道去雾后图像，(e)双边滤波去雾后图像，(f)引导滤波去雾后图像，(g)DehazeNet去雾后图像，(h)本发明去雾后的图像。
具体实施方式
下面结合附图对本发明作进一步详细描述：
参见图1，本发明提供了一种融合深度区域分割的多大气光值交通图像去雾算法，提出了雾霾图像深度分割器，让分割器对雾霾图像数据集进行学习，完成对天空和非天空区域的分割。对分割后的图像分别处理，综合细化。具体的思路是，考虑到传统暗通道去雾对天空区域的估计不足，导致图像整体亮度偏暗，现设计一种雾霾图像深度分割器，综合了有监督的神经网络Mask R-CNN和无监督的聚类算法FCM的优点，完成对雾霾天气下严重降质图像的天空和非天空区域分割，对分割后的两个区域分别求取大气光值，加权平均得到综合大气光值，利用综合大气光值估计初始透射率，利用快速引导滤波细化透射率，最后结合大气散射模型重构无雾图像。
具体步骤如下：
步骤1、制作雾霾图像数据集；
在含雾的天气下，沿着交通路线，拍摄各个路口，整理成9个视频和1000张图片，对含有天空和非天空区域的图片进行筛选，最终确定264张真实交通场景图像，做成初始雾霾图像数据集；
对初始雾霾图像数据集的图片进行标注，这里只对雾天场景的天空和非天空区域进行分割，选用的是github开源工具labelme，整个数据集制作完成需要包含四类文件，第一类文件是初始雾霾图像数据集，第二类文件是对第一类文件标注后生成的标签文件，第三类文件是通过第二类文件的标签信息生成的数据集，第四类文件是从第三类文件中提取的分割图片集合，共有两类，分为天空区域和非天空区域。
步骤2、利用步骤1中的雾霾数据集为输入，训练雾霾图像深度区域分割器，让机器学习雾霾天气下天空和非天空区域的特征；
搭建Mask R-CNN网络，网络一共分为三个部分。
网络第一部分使用了残差网络ResNet对初始雾霾图像数据集中的雾霾图像的结构和纹理特征进行提取。
网络第二部分是候选区生成网络(RPN)，RPN依赖于一个滑动的窗口，其在网络第一部分输出的特征图上遍历，为每一个像素点生成9种目标框(anchor)，每种anchor包含512×512、256×256、128×128三种面积，每种面积包含1:1、1:2、2:1三种长宽比。对于生成的anchor，RPN需要做两件事，第一判断当前anchor属于目标内部还是外部，判断前景还是背景问题；第二在判断出anchor为前景的情况下，对其区域的坐标进行依次修正，这也是整个网络中第一次对预测框修正。采用Softmax直接进行训练，排除一些明显超出图像边界的anchor。对于RPN网络输出特征图的每个点，由于每一个像素点都对应9个anchor，每个anchor有前景和背景两个的分数，所以第一个卷积层输出了18个值。RPN网络训练时需要用anchor与步骤1中第三类文件中含有标签信息的数据集的交叠比判断，值大于0.5算前景，小于0.3认为是背景，交叠比在0.3和0.5之间的目标框舍弃，以这个为标准答案，对网络进行有效训练得到好的输出。对于第二个问题，网络使用SmoothL1loss训练。整个RPN的损失函数可以写成：
Figure GDA0003010164300000101
其中，pi为目标框预测为目标的概率，
Figure GDA0003010164300000102
在正标签是值为1，其他全为0，ti＝{tx,ty,tw,th}是一个向量，表示预测的目标框的4个参数化坐标，
Figure GDA0003010164300000103
是前景部分目标框对应的真实标签坐标向量，
Figure GDA0003010164300000104
是目标和非目标的对数损失，
Figure GDA0003010164300000105
是回归损失，λ为10，Ncls为256，Nreg设为2400，以确保两部分损失平衡。
网络第三部分是分类输出，一共有三个输出分支，第一个分支中，每一类都输出一张分割预测图；第二个分支，得到目标框的位置信息输出；第三个分支，得到类别的输出，这三个分支的输出组合成了最终的结果，包含有目标检测、识别和分割，总体损失函数为：
Lfinal＝L({pi},{ti})+(Lcls+Lbox+Lmask) (2)
其中L({pi},{ti})表示RPN部分的损失，Lcls、Lbox、Lmask分别表示类别、目标框、分割部分的损。
对步骤1中的雾霾图像数据集进行训练，当总体损失函数Lfinal小于0.01时，跳出训练过程。
对步骤1中获得的图像进行模糊C均值聚类(FCM)。
首先获取步骤1中雾霾图像的暗通道图，求取暗通道的公式表示为：
Figure GDA0003010164300000111
其中，
Figure GDA0003010164300000112
表示训练集中图像的暗通道图，c表示RGB的某个通道，
Figure GDA0003010164300000113
表示训练集中图像对应通道的原图，Ω(x)是计算暗通道的算子滑块大小。
然后对暗通道图进行FCM聚类。
使用随机算法生成一组数据，利用不确定的数据初始化隶属度矩阵U，使其符合式：
Figure GDA0003010164300000114
其中，c表示聚类中心的个数，uij表示索引为(i，j)的隶属度。
计算出聚类中心的个数c，符合式：
Figure GDA0003010164300000115
其中，c为模糊组的中心的个数，uij表示索引为(i，j)的隶属度，m表示控制算法的柔性参数，n是需要分类的样本数量。
设置阈值判断条件，来让算法执行或者跳出，以达到损失函数要求，损失函数表示为：
Figure GDA0003010164300000116
其中，ci为第i个模糊组的中心，U为隶属度矩阵，uij表示索引为(i，j)的隶属度，介于0到1间，dij＝||ci-xj||为第j个数据与第i个中心与的欧式距离，m表示控制算法的柔性参数。
计算每一次迭代后的U矩阵，其中矩阵中每个元素满足：
Figure GDA0003010164300000117
其中，c为模糊组的中心的个数，uij表示索引为(i，j)的隶属度，m表示控制算法的柔性参数，dij＝||ci-xj||为第j个数据与第i个中心与的欧式距离，dkj＝||ck-xj||为第j个数据与第k个中心与的欧式距离。
总体损失函数为：
Figure GDA0003010164300000121
其中，U为隶属度矩阵，c为模糊组的中心的个数，uij表示索引为(i，j)的隶属度，λj表示第索引为j的平衡系数，m表示控制算法的柔性参数，dij为第j个数据与第i个中心与的欧式距离。
综合神经网络和聚类算法的输出，得到雾霾图像深度分割器，此时的分割器可以适应雾霾天气下交通图片，能够很好地分割出雾霾图像的天空和非天空区域，对于一些肉眼难以区分的细节也能做到很好地分割。
步骤3、采集雾霾天气下用于测试的交通图像；
在雾霾天气条件下，去交通路口，使用图像采集设备采集测试图像。
步骤4、采用步骤2中雾霾图像深度分割器对步骤3中的图像进行分割，得到天空区域和非天空区域，求取天空区域和非天空区域的大气光值和透射率，加权平均后，得到综合大气光值和综合透射率；
利用步骤2中得到的雾霾图像深度分割器，对步骤3中获得的图像分割。得到雾霾天气下交通图像的天空区域图像Isky，非天空区域图像Inon-sky。
利用Isky，Inon-sky求综合大气光值。
先求出步骤3中测试图像的暗通道图，
Figure GDA0003010164300000122
其中，
Figure GDA0003010164300000123
表示测试图像的暗通道图，c表示RGB的某个通道，
Figure GDA0003010164300000124
表示测试图像对应通道的原图，Ω(x)是计算暗通道的算子滑块大小。
结合Isky，Inon-sky，对
Figure GDA0003010164300000125
进行分割，得到只含天空区域的暗通道图
Figure GDA0003010164300000126
和只含非天空区域的暗通道图
Figure GDA0003010164300000127
找出图像
Figure GDA0003010164300000128
和
Figure GDA0003010164300000129
中亮度值为前千分之一点的坐标，将得到的坐标映射到原始雾霾图像中，提取出相应点的像素值，累加之后取平均值，得到需要的大气光。
Figure GDA0003010164300000131
Figure GDA0003010164300000132
其中，Asky对应天空区域Isky的大气光值矩阵，Anon-sky对应非天空区域的大气光值矩阵，n1和n2分别表示Asky和Anon-sky的元素个数，
Figure GDA0003010164300000133
和
Figure GDA0003010164300000134
表示天空和非天空区域的大气光值。
综合
Figure GDA0003010164300000135
和
Figure GDA0003010164300000136
得到综合大气光值
Figure GDA0003010164300000137
其中，
Figure GDA0003010164300000138
和
Figure GDA0003010164300000139
表示天空和非天空区域的大气光值，Azonghe表示综合大气光值。
利用综合大气光值求透射率图。
初始透射率计算的计算如下
Figure GDA00030101643000001310
其中，
Figure GDA00030101643000001311
为估计的透射率，ω为影响因子，Ω(x)为计算暗通道的算子滑块大小，Ic(x)为步骤3中测试图像对应RGB三通道的图像，
Figure GDA00030101643000001312
为某一通道对应的大气光值。
步骤5、利用快速引导滤波对步骤4中的综合透射率细化处理，重构无雾交通场景图片。
采用快速引导滤波对初始透射率细化。
以初始透射率图
Figure GDA00030101643000001313
为输入图像，步骤3中的测试图像为引导图像，输出图像为最终的透射率图t(x)，采用快速引导滤波对初始透射率细化，首先对输入图像和引导图像以步长为4进行下采样，得到缩小尺寸的输入图像p′和引导图像I′。
之后对输入图像p′和引导图像I′进行引导滤波：
q′in＝∑jn Winjn(I′)p′jn (14)
其中，I′为缩小尺寸的引导图像，in，jn是图像像素的索引，缩小尺寸的输入图像的像素点为p′jn，输出图像像素点为q′in，Winjn是由输入图像和引导图像组成的滤波核函数；
假设滤波过程为成局部的线性变换，滤波后的输出图像表示为：
Figure GDA0003010164300000141
其中，ak和bk是以像素k为中心的滑框系数；
对比输入输出图像的差异，将误差降到最低，则得到
Figure GDA0003010164300000142
Figure GDA0003010164300000143
其中，μk和
Figure GDA0003010164300000144
分别表示引导图像I′在局部窗口ωk中的均值和方差，
Figure GDA0003010164300000145
是缩小尺寸的输入图像p′在窗口ωk中的均值；
然后对式(15)中的输出图像进行上采样，恢复到原有尺寸大小，得到输出图像为q训
公式为：
Figure GDA0003010164300000146
其中，
Figure GDA0003010164300000147
重构图像公式为
Figure GDA0003010164300000148
其中，I(x)表示步骤3中的测试图像，Azonghe表示综合大气光值，t(x)就是式(18)的结果图qin，t0为正则化项，取0.15。
从图2可以看出，图2中(a)为原始雾霾图像，分别使用传统方法和本文中提出的方法对(a)去雾。首先使用雾霾图像深度分割器对图像中的天空和非天空区域分割，分割后的非天空图像如(b)所示，分割后的天空图像如(c)所示，综合(b)和(c)的结果可以发现分割效果很好，对路灯和树杈区域也能有效分割；(d)是暗通道去雾后图像；(e)双边滤波去雾后图像；(f)引导滤波去雾后图像；(g)DehazeNet去雾后图像。这些方法都对天空区域的处理很不好，整体亮度偏暗，细节还原不到位，对比度不高。(h)是本发明的去雾算法，使用雾霾图像深度分割器，综合了有监督的神经网络Mask R-CNN和无监督的聚类算法FCM的优点，完成对雾霾天气下严重降质图像的天空和非天空区域分割，对分割后的两个区域分别求取大气光值，加权平均得到综合大气光值，利用综合大气光值估计初始透射率，利用快速引导滤波细化透射率，最后结合大气散射模型重构无雾图像。与其他算法相比，该算法在天空区域的处理更好，图像整体亮度提高，细节还原地更充分。
表1多种去雾图像的图像质量评价比较
Figure GDA0003010164300000151
表1通过对比平均梯度、标准差、对比度、模糊系数和雾浓度评估器(FADE)来比较处理后去雾效果。由表1可知，一般情况下平均梯度、标准差和对比度越大表示图像清晰度越高，则说明本发明相比于暗通道去雾、双边滤波去雾、引导滤波去雾、DehazeNet去雾的清晰度高。在对图像的模糊系数进行评价的时候，本发明中的方法参数明显优于其他的去雾方法，图像的边缘轮廓和纹理信息更加清晰突出。雾浓度评估器(FADE)越小表示雾的浓度越小，从表1中可以发现本发明算法的雾浓度是最低，效果最佳。
综合以上可以发现本发明算法优于其他传统去雾算法。

Claims (3)

1.一种融合深度区域分割的多大气光值交通图像去雾方法，其特征在于，包括以下步骤：
步骤1：制作雾霾图像数据集；
具体包括：
步骤1.1：在含雾的天气下，沿着交通路线，拍摄各个路口，整理成9个视频和1000张图片，对含有天空和非天空区域的图片进行筛选，最终确定264张真实交通场景图像，做成初始雾霾图像数据集；
步骤1.2：对步骤1.1中初始雾霾图像数据集的图片进行标注，即采用github开源工具labelme对雾天场景的天空和非天空区域进行分割，最终得到的雾霾图像数据集包含四类文件，第一类文件是步骤1.1中初始雾霾图像数据集，第二类文件是对第一类文件标注后生成的标签文件，第三类文件是通过第二类文件的标签信息生成的数据集，第四类文件是从第三类文件中提取的分割图片集合，共有两类，分为天空区域和非天空区域；
步骤2：利用步骤1中的雾霾图像数据集为输入，训练雾霾图像深度分割器，让机器学习雾霾天气下天空和非天空区域的特征；
具体包括：
步骤2.1：搭建Mask R-CNN网络
网络第一部分使用了残差网络ResNet对初始雾霾图像数据集中的雾霾图像的结构和纹理特征进行提取；
网络第二部分是候选区生成网络RPN，候选区生成网络RPN依赖于一个滑动的窗口，在网络第一部分输出的特征图上遍历，为每一个像素点生成9种目标框，对于生成的目标框，首先通过目标框与第三类文件中含有标签信息数据集中图片的的交叠比判断当前目标框属于前景还是背景，交叠比大于0.5认为是前景，小于0.3认为是背景，交叠比在0.3和0.5之间的目标框舍弃；然后在判断出目标框为前景的情况下，对其区域的坐标进行依次修正，整个候选区生成网络RPN的损失函数如式(1)：
Figure FDA0003010164290000021
其中，pi为目标框预测为目标的概率，
Figure FDA0003010164290000022
在正标签是值为1，其他全为0，ti＝{tx，ty，tw，th}是一个向量，表示预测的目标框的4个参数化坐标，
Figure FDA0003010164290000023
是前景部分目标框对应的真实标签坐标向量，
Figure FDA0003010164290000024
是目标和非目标的对数损失，
Figure FDA0003010164290000025
是回归损失，λ为10，Ncls为256，Nreg设为2400，以确保两部分损失平衡；
网络第三部分是分类输出，一共有三个输出分支，第一个分支中，每一类都输出一张分割预测图；第二个分支，得到目标框的位置信息输出；第三个分支，得到类别的输出，这三个分支的输出组合成了最终的结果，包含有目标检测、识别和分割，总体损失函数为：
Lfinal＝L({pi}，{ti})+(Lcls+Lbox+Lmask) (2)
其中L({pi}，{ti})表示RPN部分的损失，Lcls、Lbox、Lmask分别表示类别、目标框、分割部分的损失；
对步骤1中的雾霾图像数据集进行训练，当总体损失函数Lfinal小于0.01时，跳出训练过程；
步骤2.2：对步骤1中获得的图像进行模糊C均值聚类
首先获取步骤1中雾霾图像的暗通道图，求取暗通道的公式表示为：
Figure FDA0003010164290000026
其中，
Figure FDA0003010164290000027
表示训练集中图像的暗通道图，c表示RGB的某个通道，
Figure FDA0003010164290000028
表示训练集中图像对应通道的原图，Ω(x)是计算暗通道的算子滑块大小；
然后对暗通道图进行模糊C均值聚类；
使用随机算法生成一组数据，利用不确定的数据初始化隶属度矩阵U，使其符合式：
Figure FDA0003010164290000031
其中，c表示聚类中心的个数，uij表示索引为(i，j)的隶属度；
计算出聚类中心的个数c，符合下式：
Figure FDA0003010164290000032
其中，c为模糊组的中心的个数，uij表示索引为(i，j)的隶属度，m表示控制算法的柔性参数，n是需要分类的样本数量；
设置阈值判断条件，使算法执行或者跳出，以达到损失函数要求，损失函数表示为：
Figure FDA0003010164290000033
其中，ci为第i个模糊组的中心，U为隶属度矩阵，uij表示索引为(i，j)的隶属度，介于0到1间，dij＝||ci-xj||为第j个数据与第i个中心与的欧式距离，m表示控制算法的柔性参数；
计算每一次迭代后的U矩阵，其中矩阵中每个元素满足：
Figure FDA0003010164290000034
其中，c为模糊组的中心的个数，uij表示索引为(i，j)的隶属度，m表示控制算法的柔性参数，dij＝||ci-xj||为第j个数据与第i个中心与的欧式距离，dkj＝||ck-xj||为第j个数据与第k个中心与的欧式距离；
总体损失函数为：
Figure FDA0003010164290000035
其中，U为隶属度矩阵，c为模糊组的中心的个数，uij表示索引为(i，j)的隶属度，λj表示第索引为j的平衡系数，m表示控制算法的柔性参数，dij为第j个数据与第i个中心与的欧式距离；
步骤2.3：综合步骤2.1和步骤2.2算法，得到雾霾图像深度分割器；
步骤3：采集雾霾天气下用于测试的交通图像；
步骤4：采用步骤2中雾霾图像深度分割器对步骤3采集的交通图像进行分割，得到天空区域和非天空区域，求取天空区域和非天空区域的大气光值和透射率，对天空区域和非天空区域的大气光值进行加权平均，得到综合大气光值，再根据综合大气光值计算得到综合透射率；
步骤5：利用快速引导滤波对步骤4中的综合透射率细化处理，重构无雾交通场景图片。
2.根据权利要求1所述的一种融合深度区域分割的多大气光值交通图像去雾方法，其特征在于，步骤4中求取综合大气光值和综合透射率的方法为：
步骤4.1：利用步骤2中得到的雾霾图像深度分割器，对步骤3中采集的测试图像分割，得到雾霾天气下交通图像的天空区域图像Isky，非天空区域图像Inon-sky；
步骤4.2：利用步骤4.1中的Isky，Inon-sky求综合大气光值；
先求出步骤3中测试图像的暗通道图，
Figure FDA0003010164290000041
其中，
Figure FDA0003010164290000042
表示测试图像的暗通道图，c表示RGB的某个通道，
Figure FDA0003010164290000043
表示测试图像对应通道的原图，Ω(x)是计算暗通道的算子滑块大小；
结合步骤4.1中Isky，Inon-sky，对
Figure FDA0003010164290000044
进行分割，得到只含天空区域的暗通道图
Figure FDA0003010164290000045
和只含非天空区域的暗通道图
Figure FDA0003010164290000046
找出图像
Figure FDA0003010164290000047
和
Figure FDA0003010164290000048
中亮度值为从小到大排列后前千分之一点的坐标，将得到的坐标映射到步骤3中的测试图像中，提取出相应点的像素值，累加之后取平均值，得到需要的大气光；
Figure FDA0003010164290000051
Figure FDA0003010164290000052
其中，Asky对应天空区域Isky的大气光值矩阵，Anon-sky对应非天空区域的大气光值矩阵，n1和n2分别表示Asky和Anon-sky的元素个数，
Figure FDA0003010164290000053
和
Figure FDA0003010164290000054
表示天空和非天空区域的大气光值；
综合
Figure FDA0003010164290000055
和
Figure FDA0003010164290000056
得到综合大气光值
Figure FDA0003010164290000057
其中，
Figure FDA0003010164290000058
和
Figure FDA0003010164290000059
表示天空和非天空区域的大气光值，Azonghe表示综合大气光值；
步骤4.3：求透射率图
初始透射率计算的计算如下
Figure FDA00030101642900000510
其中，
Figure FDA00030101642900000511
为估计的初始透射率，ω为影响因子，Ω(x)为计算暗通道的算子滑块大小，Ic(x)为步骤3中测试图像对应RGB三通道的图像，
Figure FDA00030101642900000512
为某一通道对应的综合大气光值。
3.根据权利要求2所述的一种融合深度区域分割的多大气光值交通图像去雾方法，其特征在于，步骤5中还原无雾图像的方法为：
以初始透射率图
Figure FDA00030101642900000513
为输入图像，步骤3中的测试图像为引导图像，输出图像为最终的透射率图t(x)，采用快速引导滤波对初始透射率细化，首先对输入图像和引导图像以步长为4进行下采样，得到缩小尺寸的输入图像p′和引导图像I′；
之后对输入图像p′和引导图像I′进行引导滤波：
q′in＝∑jnWinjn(I′)p′jn (14)
其中，I′为缩小尺寸的引导图像，in，jn是图像像素的索引，缩小尺寸的输入图像的像素点为p′jn，输出图像像素点为q′in，Winjn是由输入图像和引导图像组成的滤波核函数；
假设滤波过程为成局部的线性变换，滤波后的输出图像表示为：
Figure FDA0003010164290000061
其中，ak和bk是以像素k为中心的滑框系数；
对比输入输出图像的差异，将误差降到最低，则得到
Figure FDA0003010164290000062
Figure FDA0003010164290000063
其中，μk和
Figure FDA0003010164290000064
分别表示引导图像I′在局部窗口ωk中的均值和方差，
Figure FDA0003010164290000065
是缩小尺寸的输入图像p′在窗口ωk中的均值；
然后对式(15)中的输出图像进行上采样，恢复到原有尺寸大小，得到输出图像为qin；
公式为：
Figure FDA0003010164290000066
其中，
Figure FDA0003010164290000067
重构图像公式为
Figure FDA0003010164290000068
其中，I(x)表示步骤3中的测试图像，Azonghe表示综合大气光值，t(x)为经过快速引导滤波后的透射率图，即为式(18)的结果图qin，t0为正则化项，取0.15。
CN201910559582.XA 2019-06-26 2019-06-26 一种融合深度区域分割的多大气光值交通图像去雾方法 Active CN110310241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910559582.XA CN110310241B (zh) 2019-06-26 2019-06-26 一种融合深度区域分割的多大气光值交通图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910559582.XA CN110310241B (zh) 2019-06-26 2019-06-26 一种融合深度区域分割的多大气光值交通图像去雾方法

Publications (2)

Publication Number Publication Date
CN110310241A CN110310241A (zh) 2019-10-08
CN110310241B true CN110310241B (zh) 2021-06-01

Family

ID=68076398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910559582.XA Active CN110310241B (zh) 2019-06-26 2019-06-26 一种融合深度区域分割的多大气光值交通图像去雾方法

Country Status (1)

Country Link
CN (1) CN110310241B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401559B (zh) * 2020-02-17 2023-05-05 北京石油化工学院 雾霾形成的模糊认知图及其多维时间序列挖掘方法
CN112419166B (zh) * 2020-09-24 2024-01-05 南京晓庄学院 一种基于局部区域分割与scn结合的图像去雾方法
CN112200746B (zh) * 2020-10-16 2024-03-08 中南大学 一种雾天交通场景图像的去雾方法和设备
CN112465697B (zh) * 2020-12-11 2023-03-17 哈尔滨工程大学 一种海上雾天图像模拟方法
CN112581411B (zh) * 2021-02-26 2021-06-15 深圳金三立视频科技股份有限公司 一种图像去雾的方法及终端
CN112950504A (zh) * 2021-03-02 2021-06-11 山东鲁能软件技术有限公司智能电气分公司 一种输电线路巡检雾霾天气单目隐患物体测距方法及系统
CN113689343B (zh) * 2021-03-31 2024-06-18 西安理工大学 一种Resnet计算Veil的单幅图像去雾方法
CN113554872B (zh) * 2021-07-19 2022-09-20 昭通亮风台信息科技有限公司 一种位于交通路口及弯道的检测预警方法及系统
CN113628145B (zh) * 2021-08-27 2024-02-02 燕山大学 一种图像清晰化方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794688A (zh) * 2015-03-12 2015-07-22 北京航空航天大学 基于深度信息分离天空区域的单幅图像去雾方法及装置
CN105701785A (zh) * 2016-02-17 2016-06-22 天津大学 基于天空区域划分加权tv透射率优化的图像雾霾去除方法
CN106204494A (zh) * 2016-07-15 2016-12-07 潍坊学院 一种包含大面积天空区域的图像去雾方法及系统
CN108765336A (zh) * 2018-05-25 2018-11-06 长安大学 基于暗亮原色先验与自适应参数优化的图像去雾方法
CN109523480A (zh) * 2018-11-12 2019-03-26 上海海事大学 一种海雾图像的去雾方法、装置、计算机存储介质及终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134194A (zh) * 2014-07-23 2014-11-05 中国科学院深圳先进技术研究院 图像去雾方法和系统
CN105279739A (zh) * 2015-09-08 2016-01-27 哈尔滨工程大学 一种自适应含雾数字图像去雾方法
CN106934836B (zh) * 2017-03-14 2020-12-01 潍坊学院 一种雾霾图像基于自动聚类的大气光值计算方法及系统
CN108182671B (zh) * 2018-01-25 2022-04-22 南京信息职业技术学院 一种基于天空区域识别的单幅图像去雾方法
CN108596849B (zh) * 2018-04-23 2021-11-23 南京邮电大学 一种基于天空区域分割的单幅图像去雾方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794688A (zh) * 2015-03-12 2015-07-22 北京航空航天大学 基于深度信息分离天空区域的单幅图像去雾方法及装置
CN105701785A (zh) * 2016-02-17 2016-06-22 天津大学 基于天空区域划分加权tv透射率优化的图像雾霾去除方法
CN106204494A (zh) * 2016-07-15 2016-12-07 潍坊学院 一种包含大面积天空区域的图像去雾方法及系统
CN108765336A (zh) * 2018-05-25 2018-11-06 长安大学 基于暗亮原色先验与自适应参数优化的图像去雾方法
CN109523480A (zh) * 2018-11-12 2019-03-26 上海海事大学 一种海雾图像的去雾方法、装置、计算机存储介质及终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Scene-aware image dehazing based on sky-segmented dark channel prior;Xiao,JS et al;《IET IMAGE PROCESSING》;20171231;第11卷(第12期);全文 *
基于图模型分割和大气光细化的天空区域去雾优化算法;陈燕 等;《辽宁工业大学学报(自然科学版)》;20190430;第39卷(第2期);全文 *

Also Published As

Publication number Publication date
CN110310241A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110310241B (zh) 一种融合深度区域分割的多大气光值交通图像去雾方法
Bahnsen et al. Rain removal in traffic surveillance: Does it matter?
Santra et al. Learning a patch quality comparator for single image dehazing
CN108304813B (zh) 一种智能识别圆形交通信号灯状态的方法
Negru et al. Exponential contrast restoration in fog conditions for driving assistance
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN110866879B (zh) 一种基于多密度雨纹感知的图像去雨方法
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN112434723B (zh) 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN116311254B (zh) 一种恶劣天气情况下的图像目标检测方法、系统及设备
CN110728640A (zh) 一种双通道单幅图像精细去雨方法
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
Sahu et al. Trends and prospects of techniques for haze removal from degraded images: A survey
CN110807744A (zh) 一种基于卷积神经网络的图像去雾方法
Singh et al. Visibility enhancement and dehazing: Research contribution challenges and direction
CN114155165A (zh) 一种基于半监督的图像去雾方法
CN114241344A (zh) 一种基于深度学习的植物叶片病虫害严重程度评估方法
CN112419163A (zh) 一种基于先验知识和深度学习的单张图像弱监督去雾方法
CN113989256A (zh) 遥感图像建筑物的检测模型优化方法及检测方法、装置
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
CN116883650A (zh) 一种基于注意力和局部拼接的图像级弱监督语义分割方法
CN113255704B (zh) 一种基于局部二值模式的像素差卷积边缘检测方法
CN112767275B (zh) 一种基于人工稀疏标注信息引导的单张图像去雾方法
CN115496764A (zh) 一种基于密集特征融合的有雾图像语义分割方法
CN112686105B (zh) 一种基于视频图像多特征融合的雾浓度等级识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230227

Address after: 230000 Room 203, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Hefei Jiuzhou Longteng scientific and technological achievement transformation Co.,Ltd.

Address before: 710064 middle section, south two ring road, Shaanxi, Xi'an

Patentee before: CHANG'AN University