CN112365467A - 一种基于单幅图像深度估计的雾天图像能见度估计方法 - Google Patents

一种基于单幅图像深度估计的雾天图像能见度估计方法 Download PDF

Info

Publication number
CN112365467A
CN112365467A CN202011250646.7A CN202011250646A CN112365467A CN 112365467 A CN112365467 A CN 112365467A CN 202011250646 A CN202011250646 A CN 202011250646A CN 112365467 A CN112365467 A CN 112365467A
Authority
CN
China
Prior art keywords
image
depth
fog
data
day
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011250646.7A
Other languages
English (en)
Other versions
CN112365467B (zh
Inventor
谢建
黄琛
何坤
巴继东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WUHAN YANGTZE COMMUNICATIONS INDUSTRY GROUP CO LTD
Wuhan Yangtze Communications Zhilian Technology Co ltd
Original Assignee
WUHAN YANGTZE COMMUNICATIONS INDUSTRY GROUP CO LTD
Wuhan Yangtze Communications Zhilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUHAN YANGTZE COMMUNICATIONS INDUSTRY GROUP CO LTD, Wuhan Yangtze Communications Zhilian Technology Co ltd filed Critical WUHAN YANGTZE COMMUNICATIONS INDUSTRY GROUP CO LTD
Priority to CN202011250646.7A priority Critical patent/CN112365467B/zh
Publication of CN112365467A publication Critical patent/CN112365467A/zh
Application granted granted Critical
Publication of CN112365467B publication Critical patent/CN112365467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单幅图像深度估计的雾天图像能见度估计方法。本发明通过卷积神经网络从原始雾天图像中直接准确的估计出深度信息，仅需要图像采集设备，无需多传感器融合，系统更为简单。通过大量的真实雾天图像数据与无雾图像数据，采用cycleGAN的方式训练雾天生成器，相对人工设计雾天退化模型，cycleGAN可以生成更接近真实雾天的图像数据，用于解决训练从单幅雾天图像中估计深度信息网络数据缺乏的问题。

Description

一种基于单幅图像深度估计的雾天图像能见度估计方法
技术领域
本发明属于图像处理领域，特别是涉及一种基于单幅图像深度估计的雾天图像能见度估计方法。
背景技术
能见度即目标物的能见距离，是指观测目标物时，能从背景上分辨出目标物轮廓的最大距离。能见度是一个重要的气象观测要素。人工观测能见度，一般指有效水平能见度，是指台站四周视野中二分之一以上的范围能看到的目标物的最大水平距离。白天能见度是指视力正常的人，在当时天气条件下，能够从天空背景中看到和辨认的目标物(黑色、大小适度)的最大水平距离；夜间能见度则是指：假定总体照明增加到正常白天水平，适当大小的黑色目标物能被看到和辨认出的最大水平距离；中等强度的发光体能被看到和识别的最大水平距离。随着世界科技和经济的发展航空航天、海陆交通、环境监测及国防部门对能见度的精确测报有着越来越高的要求因此，能见度测量仪器的研制及应用就显得更为重要。随着计算机的普及和集成电路的推广，能见度测量仪器也在不断更新换代，并且应用市场已由50年代替代主观目测，少量应用于机场扩展到目前大量装备到各类机场、港口、桥梁、公路、铁路、环保、气象台站、森林及国防部门。
目前的能见度估计的方法中主要有以下几种：
(1)基于颜色特征的雾天能见度估计方法。首先将RGB颜色空间转换到HSV空间，然后提取HSV各通道的特征，通过颜色特征将天气划分为非雾天、小雾天、大雾天。
(2)基于多种传感器联合的方法。采用多种传感器，包括有透雾摄像机、温度传感器、湿度传感器等，通过对比是否透雾前后图像的直方图，并联合温度和湿度综合判断是否为雾天。
(3)基于暗原色通道的方法，该方法的基本理论是雾天退化模型，首先通过提取有雾图像的暗原色通道图像，然后利用估计出透射率图像。通过直接对原始雾天图像标注能见度，然后利用透射率图像直接估计能见度。通过在图像中标记观测点，利用观测点的深度信息与透射率图像计算出其能见度。
现有技术的缺点：
(1)基于颜色特征算法过于简单，先验条件较多，阈值难以把握，稳定性不够。
(2)基于多传感器的方法过于复杂，成本较高。
(3)基于暗原色通道的方法有理论依据，直接通过透射率估计能见度的方法数据获取困难；利用手动标记观测点计算能见度操作复杂，需要过多的人工干预，无法满足复杂场景需求；通过相机参数粗略估计场景深度信息精度较差。
发明内容
本发明针对现有技术的不足，本发明提供一种基于单幅图像深度估计的雾天图像能见度估计方法，包括如下步骤：
步骤1、获取单张雾天图像数据；
步骤2、将原始雾天图像数据截取掉四周1/4的部分；
步骤3、分别用深度估计网络提取图像的深度信息，用梯度算子计算图像的梯度信息，然后估计图像的透射率；对图像中的每个点pt，对对应位置的深度信息depth及透射率信息trs，将其形成一个字典dict＝{pt:(x,y),depth:d,trs:t}，其中(x,y)表示图像中像素点pt的坐标位置，d表示该像素点描述位置与摄像头之间的距离，t表示该像素点描述的位置对应的透射率；
步骤4、将得到的梯度图像进行二值化；
步骤5、遍历二值化后的梯度图像每个有效点，得到一个列表list＝[dict0,dict1,…dictn]；
步骤6、对步骤5中得到的list按照深度depth进行排序；
步骤7、将最大深度与最小深度的深度差的1/3作为阈值，
Figure BDA0002771472370000021
步骤8、从列表中随机选取点对(p1,p2)，选取的要求是点对的深度差大于步骤7的阈值；
步骤9、根据点对计算大气光散射系数，公式为：
Figure BDA0002771472370000022
其中ti表示第i点的透射率，depthi表示第i点的深度，β表示大气散射系数；
步骤10、根据步骤8取k个点对，将k个点对采用步骤9的方式计算大气散射系数，最后取平均得到平均散射系数
Figure BDA0002771472370000023
步骤11、根据大气光散射系数计算能见度，公式为：
Figure BDA0002771472370000024
其中
Figure BDA0002771472370000025
表示平均散射系数，v表示能见度。
进一步的，步骤3中透射率的估计方法如下；
对于任意图像的暗原色通道信息，用公式表示为：
Figure BDA0002771472370000031
其中，Jc表示原始图像对应的颜色通道，Ω(x)表示以x为中心的局部区域，Jdark为暗通道图像对应的像素值；y表示亮度值，c表示颜色通道，每个像素点由红、绿、蓝3个颜色通道的亮度值组合而成，r,g,b分别表示每个像素点的红、绿、蓝3个亮度值；
在计算机视觉中，雾天退化模型描述为：
I(x)＝J(x)t(x)+A(1-t(x))，其中I(x)表示雾天图像，J(x)表示清晰图像，t(x)表示透射率，A表示全局大气光值；
根据暗通道先验表示方程，得到透射率估算公式：
Figure BDA0002771472370000032
其中Ic表示雾天图像局部区域的每个通道值，Ac表示局部区域每个通道大气光值；
根据上述方法得到粗糙的透射率图，再利用softmatting方式对粗糙的透射率图进行抠图，得到更为精确的透射率图。
进一步的，步骤3中利用深度估计网络提取图像的深度信息的具体实现方式如下，
所述深度估计网络包含两个部分：雾天生成网络模型，雾天深度估计模型；
(1)雾天生成模型
采用cycleGAN的方式训练一个雾天生成模型，将无雾图像转换为有雾图像，为训练雾天深度估计模型提供足够多数据；
通过搜索大量真实的雾天图像数据集，和清晰无雾图像数据集组合而成的非配对的两组数据集，通过cycleGAN的方式训练得到雾天生成模型；其中cycleGAN包含：两个生成器，一个是从清晰图像生成雾天图像G(a:b)，一个是雾天图像生成清晰图像G(b:a)；两个判别器，一个是判断是否为清晰图像D(a)，一个是判断是否为雾天图像D(b)，判别损失函数，循环一致性损失函数；具体训练步骤如下：
(1a)、从数据集中随机选取一张真实清晰无雾图像A与真实雾天图像B作为cycleGAN的训练数据；
(1b)、雾天生成模型前向推理
(1c)、定义判别器loss与生成器loss如下：
单个判别器loss：LGAN(GAB,DB,A,B)＝Eb～B[log DB(b)]+Ea～B[log(1-DB(GAB(a)))]，其中a表示数据集A中的任意一个数据，服从数据集A分布；数据b表示数据集B中的任意一个数据，服从数据集B分布，GAB表示生成器，将数据a生成服从数据集B分布的数据；DB表示判别器，判别数据b是否为真实符合数据集B分布，E表示期望；
单个生成器loss：L(GAB,GBA,A,B)＝Ea～A[||GBA(GAB(a))-a||1]，其中GAB表示将数据a生成服从数据集B分布的数据，GBA表示将数据b生成服从数据集A分布的数据；
两个生成器合起来loss：Lcyc(GAB,GBA)＝Ea～A[||GBA(GAB(a))-a||1]+Eb～B[||GAB(GBA(b))-b||1]
两个判别器合起来loss：L(DA,DB)＝LGAN(GAB,DB,A,B)+LGAN(GBA,DA,B,A)
(1d)、锁定两个判别网络参数，只更新两个生成网络参数；
(1e)、锁定两个生成网络参数，只更新两个判别网络参数；
(2)雾天图像深度估计模型
针对现有数据集中的清晰图像，采用(1)雾天生成模型生成对应的雾天图像，因此每个清晰图像都包含有深度信息、雾天图像；具体步骤如下：
(2a)、从现有数据集中随机选取清晰图像g_image和与之匹配的深度信息g_depth；
(2b)、利用雾天生成模型生成清晰图像g_image对应的雾天图像f_image；
(2c)、将(2b)中生成的雾天图像f_image作为深度估计模型depth_net的输入数据，输出为雾天图像f_image对应的深度数据p_depth；
所述深度估计模型depth_net，其网络结构采用Encoder-Decoder架构模式，Encoder部分采用MobileNet模型提取到7x7x1024的特征；Decoder部分采用了5次上采样，中间三次上采样结果通过Skip Connections的方法分别与Encoder部分的特征进行了特征融合，其中每次上采样前都用5x5卷积核减小通道数；最后使用1x1的卷积得到深度图；
(2d)、计算g_depth与p_depth的L1 loss，Loss的计算方法为：
Figure BDA0002771472370000041
其中yi表示标签深度g_depth第i个像素点的深度值，
Figure BDA0002771472370000042
表示预测深度p_depth第i个像素点的深度值，n表示像素点的个数；
(2e)、根据(2d)得到的loss，采用adam方式更新深度估计模型参数，公式为：
Figure BDA0002771472370000051
其中，α为学习率，w是待训练的网络参数，dw为网络参数w的梯度，v和s为中间变量，β1，β2，ε为常数。
进一步的，β1＝0.9，β2＝0.999，ε＝10-8。
进一步的，大气光值Ac的获取方法为，雾天图像中千分之一最亮像素的平均值。
与现有技术相比，本发明的优点和有益效果：
(1)从雾天图像中估计深度信息：本发明通过卷积神经网络从原始雾天图像中直接准确的估计出深度信息，仅需要图像采集设备，无需多传感器融合，系统更为简单。
(2)利用cycleGAN生成雾天数据：本发明通过大量的真实雾天图像数据与无雾图像数据，采用cycleGAN的方式训练雾天生成器，相对人工设计雾天退化模型，cycleGAN可以生成更接近真实雾天的图像数据。用于解决训练从单幅雾天图像中估计深度信息网络数据缺乏的问题。
(3)自动提取观测点：通过分析图像中的梯度信息、深度信息，从图像中自动选择观测点，通过观测点实现能见度的估计。用于解决手动标注观测点，算法不够智能的问题。
附图说明
图1为基于单幅图像深度估计的雾天能见度估计整体流程图。
图2为cycleGAN雾天生成网络训练流程图。
图3为cycleGAN生成器损失提取流程图。
图4为cycleGAN判别器损失提取流程图。
图5为雾天图像深度估计网络训练流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
本发明方法基于雾天退化模型原理估计天气的能见度，只需单张图片，无需人工额外操作即可估计出当前图像场景的能见度，整体流程图如图1所示。步骤如下：
步骤1、获取单张雾天图像数据。
步骤2、将原始雾天图像数据截取掉四周1/4的部分，可以减小计算量，提升算法精度。
步骤3、分别用深度估计网络提取图像的深度信息，用梯度算子计算图像的梯度信息，然后估计图像的透射率；对图像中的每个点pt，对对应位置的深度(depth)及透射率(trs)信息，将其形成一个字典dict＝{pt:(x,y),depth:d,trs:t}。其中(x,y)表示图像中像素点pt的坐标位置，d表示该像素点描述位置与摄像头之间的距离，t表示该像素点描述的位置对应的透射率。
步骤4、将得到的梯度图像进行二值化(梯度值大于阈值的点为白色，否则为黑色)。
步骤5、遍历二值化后的梯度图每个有效点(二值化后的白点，梯度较大的那些点)，得到一个列表list＝[dict0,dict1,…dictn]。
步骤6、对步骤5中得到的list按照深度depth进行排序。
步骤7、将最大深度与最小深度的深度差的1/3作为阈值，
Figure BDA0002771472370000061
步骤8、从列表中随机选取点对(p1,p2)，选取的要求是点对的深度差大于步骤7的阈值。
列表是通过步骤5，6获取，这里的点对是随机选取的，不一定相邻，但要满足条件(步骤7，点对的深度差大于阈值)，点可以重复选择。
步骤9、根据点对计算大气光散射系数。公式为：
Figure BDA0002771472370000062
其中ti表示第i点的透射率，depthi表示第i点的深度，β表示大气散射系数。
步骤10、根据步骤8获取k个点对默认k＝3，将k个点对采用步骤9的方式计算大气散射系数，最后平均得到平均散射系数
Figure BDA0002771472370000063
步骤11、根据大气光散射系数计算能见度，公式为：
Figure BDA0002771472370000064
其中
Figure BDA0002771472370000065
表示平均散射系数，v表示能见度。
步骤3中，透射率的估计方法如下：
对于任意图像的暗原色通道信息，可用公式表示为：
Figure BDA0002771472370000071
其中，Jc表示原始图像对应的颜色通道，Ω(x)表示以x为中心的局部区域，Jdark为暗通道图像对应的像素值。y表示亮度值，c表示颜色通道(每个像素点由红、绿、蓝3个颜色通道的亮度值组合而成)。r,g,b分别表示每个像素点的红、绿、蓝3个亮度值。
在计算机视觉中，雾天退化模型描述为：
I(x)＝J(x)t(x)+A(1-t(x))，其中I(x)表示雾天图像，J(x)表示清晰图像，t(x)表示透射率，A表示全局大气光值。
根据暗通道先验表示方程，可得到透射率估算公式：
Figure BDA0002771472370000072
其中Ic表示雾天图像局部区域的每个通道值，Ac表示局部区域每个通道大气光值(根据经验，大气光值Ac在单张图片中是恒定的，获取方法为：全图中千分之一最亮像素的平均值)。
根据上述方法得到粗糙的透射率图，再利用softmatting方式对粗糙的透射率图进行抠图，得到更为精确的透射率图。
投射率与大气散射系数的关系式如下：
t(x)＝e-βd(x)，其中β为大气散射系数；d为观察点距离镜头的距离，即深度；t表示透射率。
步骤3中场景深度估计的方法如下：
为了实现本发明对单张图片进行深度估计，需要训练雾天深度估计网络模型，而为了训练雾天深度估计网络模型，需要雾天图像及与之匹配的深度信息，而同时具有雾天图像及与之匹配的深度信息数据很难获取。但是真实的雾天图像容易获取，清晰图像及与之匹配的深度数据也相对容易获取。
本发明通过cycleGAN将清晰图像转换为雾天图像，来解决雾天图像数据的问题。然后再利用雾天图像及与之匹配的深度信息来训练雾天深度估计网络模型。包含两个部分：雾天生成网络模型，雾天深度估计模型。
(1)雾天生成模型
本发明采用cycleGAN的方式训练一个雾天生成模型，将无雾图像转换为有雾图像，为训练雾天深度估计模型提供足够多数据。cycleGAN相对于人工提出的雾天退化模型而言，能够更好的描述事物本质，生成的雾天图像更加真实。通过搜索大量真实的雾天图像数据集，和清晰无雾图像数据集组合而成的非配对的两组数据集，通过cycleGAN的方式训练得到雾天生成模型。其中cycleGAN包含：两个生成器(一个是从清晰图像生成雾天图像G(a:b)，一个是雾天图像生成清晰图像G(b:a))、两个判别器(一个是判断是否为清晰图像D(a)，一个是判断是否为雾天图像D(b))、判别损失函数、循环一致性损失函数。总体流程图如图2所示，具体训练步骤如下：
以下步骤为上述步骤重新编写：
1、从样本集中随机选取一张真实清晰无雾图像A与真实雾天图像B作为cycleGAN的训练数据。
2、网络前向推理
3、如图3所示流程图提取两个生成网络的融合loss，如图4所示流程图提取两个判别网络的融合loss。其中判别器loss与生成器loss定义如下：
单个判别器loss：LGAN(GAB,DB,A,B)＝Eb～B[log DB(b)]+Ea～B[log(1-DB(GAB(a)))]，其中，a表示数据集A中的任意一个数据，服从数据集A分布；数据b表示数据集B中的任意一个数据，服从数据集B分布，GAB表示生成器，将数据a生成服从数据集B分布的数据；DB表示判别器，判别数据b是否为真实符合数据集B分布，E表示期望。
单个生成器loss：L(GAB,GBA,A,B)＝Ea～A[||GBA(GAB(a))-a||1]，其中GAB表示将数据a生成服从数据集B分布的数据，GBA表示将数据b生成服从数据集A分布的数据。
两个生成器合起来loss：Lcyc(GAB,GBA)＝Ea～A[||GBA(GAB(a))-a||1]+Eb～B[||GAB(GBA(b))-b||1]
两个判别器合起来loss：L(DA,DB)＝LGAN(GAB,DB,A,B)+LGAN(GBA,DA,B,A)
4、锁定两个判别网络参数(不更新)，只更新两个生成网络参数。
5、锁定两个生成网络参数(不更新)，只更新两个判别网络参数。
(2)雾天图像深度估计模型
基于单目图像深度估计是计算机视觉领域的一个重要课题，因此其开源数据集也比较多，例如：KITTI、Cityscapes、NYU Depth V2、ScanNet、Make3D等，这些数据即包含有清晰的原始图像，同时也包含原始图像对应的深度信息。本发明对这些数据集中的清晰图像采用(1)雾天生成模型生成对应的雾天图像。这样，每个清晰图像都包含有深度信息、雾天图像。
构建深度估计网络(depth_net)，其网络结构采用Encoder-Decoder架构模式。Encoder部分采用了MobileNet模型提取到7x7x1024的特征；Decoder部分采用了5次上采样，中间三次上采样结果通过Skip Connections的方法分别与Encoder部分的特征进行了特征融合，其中每次上采样前都用5x5卷积核减小通道数；最后使用1x1的卷积得到深度图。
深度估计模型训练流程图如图5所示，具体步骤如下：
1、从样本集中随机选取清晰图像(g_image)和与之匹配的深度信息(g_depth)。
2、利用雾天生成模型生成清晰图像(g_image)对应的雾天图像(f_image)。
3、将步骤2中生成的雾天图像(f_image)作为深度估计模型(depth_net)的输入数据，输出为雾天图像(f_image)对应的深度数据(p_depth)。
4、计算g_depth与p_depth的L1 loss。Loss的计算方法为：
Figure BDA0002771472370000091
其中yi表示标签深度g_depth第i个像素点的深度值，
Figure BDA0002771472370000101
表示预测深度p_depth第i个像素点的深度值。
5、根据步骤4得到的loss，采用adam方式更新深度估计模型参数。公式为：
Figure BDA0002771472370000102
其中，β1＝0.9，β2＝0.999，ε＝10-8，α为学习率，w是待训练的网络参数，dw为待训练网络此时的梯度。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于单幅图像深度估计的雾天图像能见度估计方法，其特征在于，包括如下步骤：
步骤1、获取单张雾天图像数据；
步骤2、将原始雾天图像数据截取掉边缘部分；
步骤3、分别用深度估计网络提取图像的深度信息，用梯度算子计算图像的梯度信息，然后估计图像的透射率；对图像中的每个点pt，对对应位置的深度信息depth及透射率信息trs，将其形成一个字典dict＝{pt:(x,y),depth:d,trs:t}，其中(x,y)表示图像中像素点pt的坐标位置，d表示该像素点描述位置与摄像头之间的距离，t表示该像素点描述的位置对应的透射率；
步骤4、将得到的梯度图像进行二值化；
步骤5、遍历二值化后的梯度图像每个有效点，得到一个列表list＝[dict0,dict1,…dictn]；
步骤6、对步骤5中得到的list按照深度depth进行排序；
步骤7、将最大深度与最小深度的深度差的1/3作为阈值，
Figure FDA0002771472360000011
步骤8、从列表中随机选取点对(p1,p2)，选取的要求是点对的深度差大于步骤7的阈值；
步骤9、根据点对计算大气光散射系数，公式为：
Figure FDA0002771472360000012
其中ti表示第i点的透射率，depthi表示第i点的深度，β表示大气散射系数；
步骤10、根据步骤8取k个点对，将k个点对采用步骤9的方式计算大气散射系数，最后取平均得到平均散射系数
Figure FDA0002771472360000013
步骤11、根据大气光散射系数计算能见度，公式为：
Figure FDA0002771472360000014
其中
Figure FDA0002771472360000015
表示平均散射系数，v表示能见度。
2.如权利要求1所述的一种基于单幅图像深度估计的雾天图像能见度估计方法，其特征在于：步骤3中透射率的估计方法如下；
对于任意图像的暗原色通道信息，用公式表示为：
Figure FDA0002771472360000021
其中，Jc表示原始图像对应的颜色通道，Ω(x)表示以x为中心的局部区域，Jdark为暗通道图像对应的像素值；y表示亮度值，c表示颜色通道，每个像素点由红、绿、蓝3个颜色通道的亮度值组合而成，r,g,b分别表示每个像素点的红、绿、蓝3个亮度值；
在计算机视觉中，雾天退化模型描述为：
I(x)＝J(x)t(x)+A(1-t(x))，其中I(x)表示雾天图像，J(x)表示清晰图像，t(x)表示透射率，A表示全局大气光值；
根据暗通道先验表示方程，得到透射率估算公式：
Figure FDA0002771472360000022
其中Ic表示雾天图像局部区域的每个通道值，Ac表示局部区域每个通道大气光值；
根据上述方法得到粗糙的透射率图，再利用softmatting方式对粗糙的透射率图进行抠图，得到更为精确的透射率图。
3.如权利要求1所述的一种基于单幅图像深度估计的雾天图像能见度估计方法，其特征在于：步骤3中利用深度估计网络提取图像的深度信息的具体实现方式如下，
所述深度估计网络包含两个部分：雾天生成网络模型，雾天深度估计模型；
(1)雾天生成模型
采用cycleGAN的方式训练一个雾天生成模型，将无雾图像转换为有雾图像，为训练雾天深度估计模型提供足够多数据；
通过搜索大量真实的雾天图像数据集，和清晰无雾图像数据集组合而成的非配对的两组数据集，通过cycleGAN的方式训练得到雾天生成模型；其中cycleGAN包含：两个生成器，一个是从清晰图像生成雾天图像G(a:b)，一个是雾天图像生成清晰图像G(b:a)；两个判别器，一个是判断是否为清晰图像D(a)，一个是判断是否为雾天图像D(b)，判别损失函数，循环一致性损失函数；具体训练步骤如下：
(1a)、从数据集中随机选取一张真实清晰无雾图像A与真实雾天图像B作为cycleGAN的训练数据；
(1b)、雾天生成模型前向推理
(1c)、定义判别器loss与生成器loss如下：
单个判别器loss：LGAN(GAB,DB,A,B)＝Eb～B[log DB(b)]+Ea～B[log(1-DB(GAB(a)))]，其中，a表示数据集A中的任意一个数据，服从数据集A分布；数据b表示数据集B中的任意一个数据，服从数据集B分布，GAB表示生成器，将数据a生成服从数据集B分布的数据；DB表示判别器，判别数据b是否为真实符合数据集B分布，E表示期望；
单个生成器loss：L(GAB,GBA,A,B)＝Ea～A[||GBA(GAB(a))-a||1]，其中GAB表示将数据a生成服从数据集B分布的数据，GBA表示将数据b生成服从数据集A分布的数据；
两个生成器合起来loss：Lcyc(GAB,GBA)＝Ea～A[||GBA(GAB(a))-a||1]+Eb～B[||GAB(GBA(b))-b||1]
两个判别器合起来loss：L(DA,DB)＝LGAN(GAB,DB,A,B)+LGAN(GBA,DA,B,A)
(1d)、锁定两个判别网络参数，只更新两个生成网络参数；
(1e)、锁定两个生成网络参数，只更新两个判别网络参数；
(2)雾天图像深度估计模型
针对现有数据集中的清晰图像，采用(1)雾天生成模型生成对应的雾天图像，因此每个清晰图像都包含有深度信息、雾天图像；具体步骤如下：
(2a)、从现有数据集中随机选取清晰图像g_image和与之匹配的深度信息g_depth；
(2b)、利用雾天生成模型生成清晰图像g_image对应的雾天图像f_image；
(2c)、将(2b)中生成的雾天图像f_image作为深度估计模型depth_net的输入数据，输出为雾天图像f_image对应的深度数据p_depth；
所述深度估计模型depth_net，其网络结构采用Encoder-Decoder架构模式，Encoder部分采用MobileNet模型提取到7x7x1024的特征；Decoder部分采用了5次上采样，中间三次上采样结果通过Skip Connections的方法分别与Encoder部分的特征进行了特征融合，其中每次上采样前都用5x5卷积核减小通道数；最后使用1x1的卷积得到深度图；
(2d)、计算g_depth与p_depth的L1 loss，Loss的计算方法为：
Figure FDA0002771472360000031
其中yi表示标签深度g_depth第i个像素点的深度值，
Figure FDA0002771472360000032
表示预测深度p_depth第i个像素点的深度值，n表示像素点的个数；
(2e)、根据(2d)得到的loss，采用adam方式更新深度估计模型参数，公式为：
Figure FDA0002771472360000041
其中，α为学习率，w是待训练的网络参数，dw为网络参数w的梯度，v和s为中间变量，β1，β2，ε为常数。
4.如权利要求3所述的一种基于单幅图像深度估计的雾天图像能见度估计方法，其特征在于：β1＝0.9，β2＝0.999，ε＝10-8。
5.如权利要求2所述的一种基于单幅图像深度估计的雾天图像能见度估计方法，其特征在于：大气光值Ac的获取方法为，雾天图像中千分之一最亮像素的平均值。
6.如权利要求1所述的一种基于单幅图像深度估计的雾天图像能见度估计方法，其特征在于：步骤2中将原始雾天图像数据截取掉四周1/4的部分。
CN202011250646.7A 2020-11-11 2020-11-11 一种基于单幅图像深度估计的雾天图像能见度估计方法 Active CN112365467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011250646.7A CN112365467B (zh) 2020-11-11 2020-11-11 一种基于单幅图像深度估计的雾天图像能见度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011250646.7A CN112365467B (zh) 2020-11-11 2020-11-11 一种基于单幅图像深度估计的雾天图像能见度估计方法

Publications (2)

Publication Number Publication Date
CN112365467A true CN112365467A (zh) 2021-02-12
CN112365467B CN112365467B (zh) 2022-07-19

Family

ID=74508540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011250646.7A Active CN112365467B (zh) 2020-11-11 2020-11-11 一种基于单幅图像深度估计的雾天图像能见度估计方法

Country Status (1)

Country Link
CN (1) CN112365467B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065478A (zh) * 2021-04-09 2021-07-02 长安大学 一种复杂天气道路车辆目标检测方法
CN116452470A (zh) * 2023-06-20 2023-07-18 深圳市欧冶半导体有限公司 一种基于深度学习分阶段式训练的图像去雾方法及装置
CN116664448A (zh) * 2023-07-24 2023-08-29 南京邮电大学 一种基于图像去雾的中高能见度计算方法及计算系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140026747A (ko) * 2012-08-23 2014-03-06 중앙대학교 산학협력단 Ｈｓｖ 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체
CN104809707A (zh) * 2015-04-28 2015-07-29 西南科技大学 一种单幅雾天图像能见度估计方法
CN105931220A (zh) * 2016-04-13 2016-09-07 南京邮电大学 基于暗通道先验与最小图像熵的交通雾霾能见度检测方法
US20170316551A1 (en) * 2016-04-29 2017-11-02 Industry Foundation Of Chonnam National University System for image dehazing by modifying lower bound of transmission rate and method therefor
CN109948471A (zh) * 2019-03-04 2019-06-28 南京邮电大学 基于改进InceptionV4网络的交通雾霾能见度检测方法
CN111598791A (zh) * 2020-04-13 2020-08-28 西安理工大学 一种基于改进动态大气散射系数函数的图像去雾方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140026747A (ko) * 2012-08-23 2014-03-06 중앙대학교 산학협력단 Ｈｓｖ 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체
CN104809707A (zh) * 2015-04-28 2015-07-29 西南科技大学 一种单幅雾天图像能见度估计方法
CN105931220A (zh) * 2016-04-13 2016-09-07 南京邮电大学 基于暗通道先验与最小图像熵的交通雾霾能见度检测方法
US20170316551A1 (en) * 2016-04-29 2017-11-02 Industry Foundation Of Chonnam National University System for image dehazing by modifying lower bound of transmission rate and method therefor
CN109948471A (zh) * 2019-03-04 2019-06-28 南京邮电大学 基于改进InceptionV4网络的交通雾霾能见度检测方法
CN111598791A (zh) * 2020-04-13 2020-08-28 西安理工大学 一种基于改进动态大气散射系数函数的图像去雾方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DEEKSHA PAL 等: "Removal of Fog Effect from Highly Foggy Images Using Depth Estimation and Fuzzy Contrast Enhancement Method", 《2018 4TH INTERNATIONAL CONFERENCE ON COMPUTING COMMUNICATION AND AUTOMATION (ICCCA)》 *
徐敏 等: "基于场景深度的雾天图像能见度检测算法", 《自动化仪表》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065478A (zh) * 2021-04-09 2021-07-02 长安大学 一种复杂天气道路车辆目标检测方法
CN116452470A (zh) * 2023-06-20 2023-07-18 深圳市欧冶半导体有限公司 一种基于深度学习分阶段式训练的图像去雾方法及装置
CN116452470B (zh) * 2023-06-20 2023-09-15 深圳市欧冶半导体有限公司 一种基于深度学习分阶段式训练的图像去雾方法及装置
CN116664448A (zh) * 2023-07-24 2023-08-29 南京邮电大学 一种基于图像去雾的中高能见度计算方法及计算系统
CN116664448B (zh) * 2023-07-24 2023-10-03 南京邮电大学 一种基于图像去雾的中高能见度计算方法及计算系统

Also Published As

Publication number Publication date
CN112365467B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN112365467B (zh) 一种基于单幅图像深度估计的雾天图像能见度估计方法
Li et al. Meteorological visibility evaluation on webcam weather image using deep learning features
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN110827218B (zh) 基于图像hsv透射率加权校正的机载图像去雾方法
CN112487999A (zh) 一种基于CycleGAN的遥感图像鲁棒特征提取方法
CN106815826A (zh) 基于场景识别的夜视图像彩色融合方法
Congalton Remote sensing: an overview
CN112287838B (zh) 基于静止气象卫星影像序列的云雾自动判识方法及系统
CN112862150A (zh) 一种基于图像与视频多模型的森林火情预警方法
CN111242868A (zh) 暗视觉环境下基于卷积神经网络的图像增强方法
CN104318528A (zh) 基于多尺度wls滤波的雾天图像恢复方法
KR102047255B1 (ko) 전천 영상을 이용한 구름량 자동 관측 방법
CN105631825B (zh) 基于滚动导向的图像去雾方法
CN114387195A (zh) 一种基于非全局预增强的红外图像与可见光图像融合方法
CN111667498B (zh) 一种面向光学卫星视频的运动舰船目标自动检测方法
KR102040562B1 (ko) 영상정보를 활용한 시정거리 추정 방법
González et al. Realistic correction of sky-coloured points in Mobile Laser Scanning point clouds
CN116758447A (zh) 一种基于数字孪生的变电站设备故障分析系统
JP2020030751A (ja) 物体検出装置、物体検出方法、及び物体検出プログラム
CN112598777B (zh) 一种基于暗通道先验的雾霾融合方法
CN112686105B (zh) 一种基于视频图像多特征融合的雾浓度等级识别方法
CN109783973A (zh) 一种基于图像退化模型的大气能见度计算方法
Zhou et al. Mapping vegetation-covered urban surfaces using seeded region growing in visible-NIR air photos
CN115100577A (zh) 基于神经网络的能见度识别方法及系统、电子设备、存储介质
Mungekar et al. Color tone determination prior algorithm for depth variant underwater images from AUV’s to improve processing time and image quality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant