CN111161160A - 一种雾天障碍物检测方法、装置、电子设备和存储介质 - Google Patents
一种雾天障碍物检测方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111161160A CN111161160A CN201911230251.8A CN201911230251A CN111161160A CN 111161160 A CN111161160 A CN 111161160A CN 201911230251 A CN201911230251 A CN 201911230251A CN 111161160 A CN111161160 A CN 111161160A
- Authority
- CN
- China
- Prior art keywords
- image
- defogging
- sample image
- defogged
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 238000012805 post-processing Methods 0.000 claims abstract description 19
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 58
- 238000013527 convolutional neural network Methods 0.000 claims description 45
- 238000013528 artificial neural network Methods 0.000 claims description 41
- 238000002372 labelling Methods 0.000 claims description 41
- 238000010276 construction Methods 0.000 claims description 15
- 230000004888 barrier function Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 20
- 238000004422 calculation algorithm Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 10
- 239000010813 municipal solid waste Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种雾天障碍物检测方法、装置、电子设备和存储介质，具体包括：获取待检测路段的原始有雾图像；将所述原始有雾图像输入去雾模型，对所述原始有雾图像进行去雾处理，得到初始去雾图像；对所述初始去雾图像进行后处理，得到第一去雾图像；将所述第一去雾图像输入障碍物检测模型，确定所述第一去雾图像中的障碍物的位置和轮廓。本申请通过合成无雾图像和大气光的方式得到有雾图像，模型判别时不仅通过判别器区分有雾和无雾图像，而且通过无雾图像的各通道像素性质来最终判别有雾和无雾图像；另外，由于雾的形成和大气光有关，去雾算法处理之后会对大气光有一定的调整，因此本申请对获得的无雾图像进行后处理。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种雾天障碍物检测方法、装置、电子设备和存储介质。
背景技术
在数字轨、车路协同、自动驾驶、环境感知、辅助驾驶等技术领域内，需要车辆对周围的环境数据进行收集，进而达到安全、有效的行驶目的。其中，特别需要对车辆行驶道路上的障碍物的信息进行收集分析。但是，如果车辆在雾霾中行驶，导致车辆的视野不够开阔、能见度较低，对于收集车辆行驶道路上的障碍物的信息造成了巨大的阻碍
为了能够在雾天也能实现自动驾驶，相关技术中提出了通过去雾算法对获取的有雾图像进行去雾处理，但是传统的去雾算法所得到的去雾图像容易造成障碍物部分缺失，特别是针对背景与雾霾颜色差距不大的图像处理效果不佳，无法准确的获取障碍物的信息。
发明内容
本申请提供一种雾天障碍物检测方法、装置、电子设备和存储介质，以解决上述技术问题。
本申请第一方面提供了一种雾天障碍物检测方法，具体包括：
获取待检测路段的原始有雾图像；
将所述原始有雾图像输入去雾模型，对所述原始有雾图像进行去雾处理，得到初始去雾图像；其中，所述去雾模型是基于原始无雾样本图像对第一卷积神经网络进行训练得到的；
对所述初始去雾图像进行后处理，得到第一去雾图像；
将所述第一去雾图像输入障碍物检测模型，确定所述第一去雾图像中的障碍物的位置和轮廓；其中，所述障碍物检测模型是基于去雾样本图像对第二卷积神经网络进行训练得到的。
进一步地，所述去雾模型是按照如下方式得到的：
根据所述原始无雾样本图像制作数据集；
根据所述数据集，构建去雾模型。
进一步地，所述去雾模型是按照如下方式得到的：
将所述原始无雾样本图像进行合成，获得合成有雾样本图像；
对第一卷积神经网络的权重进行初始化；
将所述原始无雾样本图像和所述合成有雾样本图像输入所述第一卷积神经网络进行前向传播，获得初代去雾样本图像；
将所述初代去雾样本图像和所述原始无雾样本图像输入判断器，获得第一输出阈值；所述第一输出阈值为：所述初代去雾样本图像和所述原始无雾样本图像之间的差异；
判断所述第一输出阈值是否小于第一预设阈值；
当所述第一输出阈值不小于第一预设阈值时，根据所述第一输出阈值进行反向传播，调整所述第一卷积神经网络的权重，直至获得的第一输出阈值小于第一预设阈值；
判断所述初代去雾样本图像的RGB的3个通道中的像素最大值是否小于第二预设阈值；
当所述初代去雾样本图像的RGB的3个通道中的像素最大值不小于第二预设阈值时，根据所述初代去雾样本图像的RGB的3个通道中的像素最大值进行反向传播，调整所述第一卷积神经网络的权重，直至获得的所述第一输出阈值小于第一预设阈值，且，所述初代去雾样本图像的RGB的3个通道中的像素最大值小于第二预设阈值；
停止所述第一卷积神经网络的训练，完成所述去雾模型的构建。
进一步地，将所述原始无雾样本图像进行合成，获得合成有雾样本图像，具体包括：
基于大气生成模型、大气光条件以及散射系数，通过随机采样将所述原始无雾样本图像获得合成有雾样本图像。
进一步地，停止所述第一卷积神经网络的训练，完成所述去雾模型的构建，具体包括：
停止所述第一卷积神经网络的训练，获得初始去雾模型；
将原始有雾样本图像输入所述初始去雾模型中，获得第一去雾样本图像；
判断所述第一去雾样本图像与所述原始无雾样本图像之间的误差是否小于等于第一期望阈值；
当所述第一去雾样本图像与所述原始无雾样本图像之间的误差不小于第一期望阈值时，根据所述第一去雾样本图像与所述原始无雾样本图像之间的误差进行反向传播，调整所述第一卷积神经网络的权重，直至通过初始去雾模型获得的第一去雾样本图像与原始无雾样本图像之间的误差小于等于第一期望阈值；
停止所述第一卷积神经网络的训练，将当前的初始去雾模型作为最终的去雾模型，完成所述去雾模型的构建。
进一步地，所述障碍物检测模型是按照如下方式获得的：
获取去雾样本图像和标签文本；
对所述去雾样本图像中的障碍物和背景分别通过对应的标签进行标注，得到标准标注去雾样本图像；
对第二卷积神经网络的权重进行初始化；
将所述去雾样本图像和所述标签文本输入所述第二卷积神经网络进行前向传播，得到初始标注去雾样本图像；
判断所述初始标注去雾样本图像与所述标准标注去雾样本图像之间的误差是否小于等于第二期望阈值；
当所述初始标注去雾样本图像与所述标准标注去雾样本图像之间的误差不小于第二期望阈值时，根据所述初始标注去雾样本图像与所述标准标注去雾样本图像之间的误差进行反向传播，调整所述第二卷积神经网络的权重，直至获得的初始标注去雾样本图像与标准标注去雾样本图像之间的误差小于等于第二期望阈值；
停止所述第二卷积神经网络的训练，完成所述障碍物检测模型的构建。
进一步地，对所述初始去雾图像进行后处理，得到第一去雾图像，具体包括：
对所述初始去雾图像进行对比度增强，获得初始去雾子图像；
对所述初始去雾子图像进行障碍物恢复，获得第一去雾图像。
本申请第二方面提供了一种雾天障碍物检测装置，所述装置具体包括：
获取模块，用于获取待检测路段的原始有雾图像；
去雾模块，用于将所述原始有雾图像输入去雾模型，对所述原始有雾图像进行去雾处理，得到初始去雾图像；其中，所述去雾模型是基于原始无雾样本图像对第一卷积神经网络进行训练得到的；
后处理模块，用于对所述初始去雾图像进行后处理，得到第一去雾图像；
障碍物检测模块，用于将所述第一去雾图像输入障碍物检测模型，确定所述第一去雾图像中的障碍物的位置和轮廓；其中，所述障碍物检测模型是基于去雾样本图像对第二卷积神经网络进行训练得到的。
本申请第三方面提供了一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行以实现一种雾天障碍物检测方法。
本申请第四方面提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行实现一种雾天障碍物检测方法。
与现有技术相比，本申请包括以下优点：
(1)图像去雾模块的有雾图像是通过合成无雾图像和大气光的方式得到，模型判别时不仅通过判别器区分有雾和无雾图像，而且通过无雾图像的各通道像素性质来最终判别有雾和无雾图像。
(2)雾的形成和大气光有关，去雾算法处理之后会对大气光有一定的调整，因此有必要再进行模型的后处理步骤，去雾处理后图像进行对比度增强的操作。
(3)去雾模型处理后可能对与雾颜色相近的障碍物有一定的影响，因此需利用图像的局部相关性进行障碍物恢复。
(4)障碍物检测结果包含障碍物的精确轮廓姿态和最小外接矩形。
(5)将最终检测结果通过5G传输设备传输到路侧控制单元和储存设备。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
为了更清楚地说明本申请各个实施例的技术方案，下面将对本申请各个实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种雾天障碍物检测方法的流程图；
图2是本申请提供的去雾模型构建方法的流程图；
图3是本申请提供的构建障碍物检测模型的方法流程图；
图4是本申请提供的一种雾天障碍物检测装置的结构示意图；
图5是本申请提供的一个雾天障碍物检测硬件系统的结构示意图；
图6是本申请中图5所示的图像采集模块的工作流程图；
图7是本申请中图5所示的图像去雾模块的工作流程图；
图8是本申请中图5所示的障碍物标注模块的工作流程图；
图9是本申请中提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
在数字轨、车路协同、自动驾驶、环境感知、辅助驾驶的相关领域中，需要对行驶道路上的障碍物进行收集，当遭遇大雾或雾霾天气时，会影响障碍物收集的效果，进而影响车辆在道路上的行驶安全。
相关技术中，通过成像传感器对道路上的环境信息进行收集，然而，光在雾霾等介质中传播时，由于粒子的散射作用导致成像传感器采集的图像信息严重降质，在很大程度上限制了在图像中进行障碍物的检测和定位的准确性。
为了能够获得较为准确的障碍物信息，需要对图像进行去雾处理。图像去雾的目的是从含有雾霾的图像中增强有效信息，消除雾霾对图像质量的影响。
为了更好的了解雾霾对图像质量的影响，需要了解雾霾的成像机制，具体如下：
大气散射模型描述了雾霾和光照共同作用下的成像机制。阳光在物体表面形成反射光，反射光在穿过雾霾的过程中发生散射，只有部分能量能够到达摄像头，与此同时，阳光也在悬浮颗粒表面被形成形成大气光被摄像头吸收。因此，摄像头中成像可由两部分组成，包括透射的物体亮度和散射的大气光照。大气散射模型的公式如下：
I(x)＝J(x)t(x)+A[1-t(x)]
其中I(x)是采集设备采集到的含有雾霾图像，J(x)为去除雾霾后的清晰图像，t(x)为介质透过率，即能够顺利穿透雾霾到达摄像头的比率，A是大气光。从上述公式中可以发现，能得到的只有采集到的含有雾霾图像I(x)，需要求的是J(x)，因此基于该大气散射模型，去雾算法的核心就是如何精确地估计介质透射率t(x)和大气光A。假定A均匀的条件下，有t(x)＝e-βd(x)。其中d(x)为障碍物到摄像头的距离，β是大气的散射系数。
相关技术中，提供了两个技术方向以实现从雾霾天气中实现对障碍物的检测，包括感知设备的技术方向和雾天检测方法的技术方向。
在采集设备上，现有的主流采集设备主要有毫米波雷达、激光雷达、超声波雷达、红外传感器和摄像头等五种采集设备，还有基于多传感器融合的方式。上述五种采集设备各有优缺点。毫米波雷达和激光雷达在雾霾天气使用性能较好，但是这两种设备采集到的图像的分辨率低，以至于检测到的障碍物边界模糊，并且价格昂贵，特别是激光雷达，一台普通的激光雷达的价格高达十几万甚至二十万；红外传感器基于热能原理检测，能检测出障碍物的热力图，但该传感器的成像没有颜色信息，并且检测范围有限，价格也不便宜；超声波雷达的有效测距范围大致在15m，无法满足自动驾驶的要求。多传感器融合如激光雷达与摄像头组合，可以获得清晰障碍物图像，但也有一些缺点，第一是不同传感器之间的数据同步问题，由于各传感器自身的特性，无法实现完美的数据同步；第二是融合算法设计困难，受标定结果、环境影响较大，导致融合策略复杂，难以选择最优方法，算法开发难度更高，迭代周期较长。
在雾天检测方法上，可以根据雾霾的形成原理和雾霾的成像特点，分离出雾霾和清晰图像；然后，由于对雾霾的分离可能存在一定的误差，导致得到的清晰图像局部有一定的干扰，因此需要进行一定的后处理，得到更加清晰的图像；最后对得到的去雾图像进行障碍物检测。
迄今为止，已经出现了许多图像去雾方法。按照方法的思想和大致分为基于先验知识的传统去雾方法和基于自主特征学习的机器/深度学习去雾方法。
传统的去雾算法主要是基于先验知识的，主要包括暗通道先验方法最大对比度方法，颜色衰减先验方法和色度不一致方法等。其中最著名的是暗通道先验方法，下面以该方法为例进行说明。
基于暗通道先验的去雾方法实际上是一种统计意义上的算法，总结了大量室外无雾的图像，发现了在无雾图像中局部区域存在一些像素，这些像素至少有一个颜色通道的亮度值非常低(低亮度值区域不包括天空区域)。
因此，雾霾图像的暗通道在雾霾较浓的区域有较高的强度，可以将暗通道的强度作为雾霾浓度的粗略估计值，并以此假设计算出t(x)的估计值，之后将暗通道中按亮度大小取前0.1％的像素在原始有雾图像上的位置中找到最亮的点的值作为A值。最后就能根据大气散射模型的公式得出去雾后的图像。
另外，深度学习去雾算法，利用神经网络进行去雾的方法近年来也有一些研究成果；通过卷积神经网络来实现去雾，利用浅层神经网络设计并组合了传统的去雾算法，但由于网络层数较少，最后的效果相较于传统方法有一定的提升；相关技术还提出一种将介质透射率t(x)和大气光A统一到一个公式k(x)中，之后通过CNN来训练k(x)来生成去雾后的图像，但由于k(x)方程较为复杂，得到的去雾图像也不是很理想；相关技术还提出一种先对原始雾霾图像进行白平衡、对比度增强等方法的预处理后，将处理后的图像和原始有雾霾的图像输入在编码解码器模型中进行训练，得到去雾后的图像。这些方法都是通过神经网路自主学习的优势得到去雾后的图像，去雾效果也优于传统的方法，但对于在背景和雾霾颜色相近时对去雾效果有一定的影响。
本申请的发明人在研究过程中，发现摄像头属于众多图像采集设备中成本较为低廉的，并且其分辨率高、成像范围广，因此基于摄像头采集图像，提出了一种雾天障碍物检测方法，其成本低廉、去雾效果好，不会导致障碍物的图像缺失，提高了去雾效果；相比于相关技术，能够避免在背景和雾霾颜色相近时去雾效果产生的影响。
本申请提供的一种雾天障碍物检测方法，如图1所示，具体如下：
步骤S11，获取待检测路段的原始有雾图像。
本申请针对确定的某一监控区域的障碍物进行监控，因为监控区域确定，所以该监控区域的背景是固定的，可以节约大量计算资源。
本申请通过摄像头对该监控区域采集图像。首先在需要监控的道路区域上安装一个摄像头，调整好拍摄的高度、角度和拍摄的帧率，在雾天的时候控制摄像头进行雾天图像采集，最后由于采集的图像可能会发生图像畸变，因此，对拍摄到的视频数据进行图像畸变处理。图像畸变处理常用的方式是图像校正，图像校正的相关技术手段采用的现有技术，此处不再赘述。
步骤S12，将所述原始有雾图像输入去雾模型，对所述原始有雾图像进行去雾处理，得到初始去雾图像；其中，所述去雾模型是基于原始无雾样本图像对第一卷积神经网络进行训练得到的。
根据I(x)＝J(x)t(x)+A[1-t(x)]可知，建立去雾模型的关键就是要估计介质透射率t(x)和大气光A，由于基于神经网络自主学习的方式要优于传统手动设计特征的方式，因此本申请基于卷积神经网络来训练t(x)和A，并输出初始去雾图像。t(x)和A描述的是雾本身的参数，在公式I(x)＝J(x)t(x)+A[1-t(x)]中，I(x)代表有雾图像，J(x)代表无雾图像，t(x)和A是需要网络训练的参数，得到t(x)和A后就可以通过上述公式得到初始去雾图像；得到的初始去雾图像是基于训练得到的t(x)和A两个参数，可能去雾效果不好，所以先用判别器判别通过去雾模型得到的去雾图像是否是有效的去雾图像(当输出的去雾图像还是有一定的雾存在时，则认为是无效的去雾图像)，最后基于有雾图像和无雾图像的特征区别，即有雾图像和无雾图像在像素上有很大差别，即无雾图像在RGB的三通道上必定有一个通道的像素值全部几乎为0；所以在判别器判别完之后，再经过计算像素通道的像素值是否有一个通道的像素值小于一个阈值来判断通过去雾模型得到的初始无雾图像是否是有效的去雾图像。
具体的，将原始有雾图像输入去雾模型，去雾模型可以对原始有雾图像进行去雾处理，待实现去雾处理后得到初始去雾图像，根据初始去雾图像可以实现对该图像上的障碍物的检测。
步骤S13，对所述初始去雾图像进行后处理，得到第一去雾图像。
由于去雾模型在对原始有雾图像进行去雾的过程中，对大气光也进行了处理，因此去雾处理后的图像可能存在亮度较暗的情况，并且可能存在障碍物的局部也会被去除掉的情况，导致障碍物的部分缺失。例如，原始有雾图像所拍摄的道路上有一个停放的汽车(占用道路的宽度是2米)，在通过去雾模型对该原始有雾图像进行去雾的过程中，将汽车的外边缘也去掉了，导致汽车占用道路的宽度变成了1.8米，导致汽车这一障碍物的信息不准确，容易导致自动驾驶的车辆获取信息不准确，存在安全隐患。
为了解决该问题，本申请对初始去雾图像进行后处理，包括对比度增强和障碍物恢复，具体包括：
步骤S1301，对所述初始去雾图像进行对比度增强，获得初始去雾子图像。
本申请选择Gamma变换来进行图像对比度增强。Gamma变换时通过非线性变换，让图像从曝光强度的线性相应变得更接近人眼感受的响应，提升暗部细节实现图像增强的目的。Gamma变换公式如下：
其中Vin的取值范围为[0-1]，因此需要先进行归一化，再取指数，γ是指数。
是一个系数，决定整体效果处理效果是偏暗还是偏亮。当
较亮的区域灰度被拉伸，较暗的区域灰度被压缩的更暗，图像整体变暗；当
较亮的区域灰度被压缩，较暗的区域灰度被拉伸的较亮，图像整体变亮；因此本申请中
取值优选范围为[0，1]。
步骤S1302，对所述初始去雾子图像进行障碍物恢复，获得第一去雾图像。
本申请中障碍物恢复的方式是：利用障碍物与背景之间的纹理差异，以及障碍物本身的局部相似性来进行障碍物恢复，并进一步恢复障碍物的边缘。本申请选择采用全局的马尔可夫随机场(CRF)进行障碍物恢复。
步骤S14，将所述第一去雾图像输入障碍物检测模型，确定所述第一去雾图像中的障碍物的位置和轮廓；其中，所述障碍物检测模型是基于去雾样本图像对第二卷积神经网络进行训练得到的。
在上述步骤中得到的第一去雾图像已经很清晰，并且障碍物的轮廓和位置都是准确的，将第一去雾图像输入障碍物检测模型中，通过障碍物检测模型对第一去雾图像中的障碍物进行标注，具体的，将障碍物的轮廓通过方框进行标识，通过空间坐标系对障碍物的位置进行标识。
在本申请提供的另一实施例中，所述去雾模型是按照如下方式得到的：
根据所述原始无雾样本图像制作数据集；
根据所述数据集，构建去雾模型。
具体地，如图2所示，所述去雾模型是按照如下方式得到的：
步骤S21，将所述原始无雾样本图像进行合成，获得合成有雾样本图像。
由于通过卷积神经网络进行去雾模型的训练，因此，需要通过无雾图像和有雾图像对去雾模型进行训练，即制作数据集，将数据集作为训练集输入卷积神经网络。其中，无雾图像与有雾图像需要满足如下条件：所摄图像的背景相同；角度相同；气候相同(此处气候不包括有雾和无雾)；无雾图像是在无雾的条件下拍摄，有雾图像是在有雾的条件下拍摄。
本申请通过摄像头对该监控区域采集图像。首先在需要监控的道路区域上安装一个摄像头，调整好拍摄的高度、角度和拍摄的帧率，在雾天的时候控制摄像头采集原始有雾样本图像，并在无雾的、与采集原始有雾样本图像时近乎同等气候条件下获取原始无雾图像，最后由于采集的图像可能会发生图像畸变，因此，对拍摄到的视频数据进行图像畸变处理。
但是为了提高所训练的去雾模型的准确度，需要输入卷积神经网络的有雾图像和无雾图像，除了雾这个区别之外，其他都要相同，但是，事实上，在技术上无法实现。因为在同一场景下，不可能在同一时间能够同时拍摄有雾和无雾的图像。因此，本申请需要将拍摄的原始无雾样本图像进行合成，得到合成有雾样本图像。
具体地，本申请基于大气生成模型、大气光条件A∈[0.5,1]以及散射系数β∈[0.4,1.6]，通过随机采样将所述原始无雾样本图像获得合成有雾样本图像。将原始无雾样本图像和合成有雾样本图像作为训练集，原始有雾样本图像作为测试集。
步骤S22，对第一卷积神经网络的权重进行初始化。
权重属于第一卷积神经网络内部的参数，将权重初始化，为初始训练做准备。
步骤S23，将所述原始无雾样本图像和所述合成有雾样本图像输入所述第一卷积神经网络进行前向传播，获得初代去雾样本图像。
本实施例中的卷积神经网络的特征提取层选择Desnet网络模块进行特征提取。其中，前向传播就是搭建去雾模型的计算过程，让去雾模型具有推理能力，可以针对一组输入给出相应的输出。此处的输入即原始无雾样本图像和合成有雾样本图像。此处的输出为初代去雾样本图像。
步骤S24，将所述初代去雾样本图像和所述原始无雾样本图像输入判断器，获得第一输出阈值；所述第一输出阈值为：所述初代去雾样本图像和所述原始无雾样本图像之间的差异。其中，差异是指神经网络内部将输入的数据和提取的特征等都进行向量化和数字化，因此最后会经过一个损失函数来计算输入与输出之间的差异。
判断器用于比较初代去雾样本图像和原始无雾样本图像之间的差异。例如，原始无雾样本图像上包括一辆汽车、一个自行车和一个垃圾桶。如果初代去雾样本图像中汽车不完整、自行车不完整、垃圾桶只剩下了一半，那说明该初代去雾样本图像与原始无雾样本图像之间的差异很大，无法满足要求，需要调整权重继续训练。如果初代去雾样本图像中汽车完整、自行车完整、垃圾桶完整，那说明该初代去雾样本图像与原始无雾样本图像之间的差异很小甚至没有，可以满足要求，则可以不用继续训练。
步骤S25，判断所述第一输出阈值是否小于第一预设阈值。
本申请使用第一预设阈值，对所述初代去雾样本图像和所述原始无雾样本图像之间的差异进行量化，当差异超过第一预设阈值，说明目前的训练无法满足要求，需要调整权重继续训练。反之则不用继续训练。
步骤S26，当所述第一输出阈值不小于第一预设阈值时，根据所述第一输出阈值进行反向传播，调整所述第一卷积神经网络的权重，直至获得的第一输出阈值小于第一预设阈值。
其中，反向传播是指训练模型参数(即权重)，在所有参数(权重)上用梯度下降，使神经网络模型在训练数据上的损失函数最小。
步骤S26是一个反复迭代的步骤，在满足“获得的第一输出阈值小于第一预设阈值”的条件之前，需要反复进行反向传播。在满足“获得的第一输出阈值小于第一预设阈值”的条件之后，说明得到了一个权重合适的第一卷积神经网络，此处获得的初代去雾样本图像初步符合要求。
步骤S27，判断所述初代去雾样本图像的RGB的3个通道中的像素最大值是否小于第二预设阈值。
步骤S28，当所述初代去雾样本图像的RGB的3个通道中的像素最大值不小于第二预设阈值时，根据所述初代去雾样本图像的RGB的3个通道中的像素最大值进行反向传播，调整所述第一卷积神经网络的权重，直至获得的所述第一输出阈值小于第一预设阈值，且，所述初代去雾样本图像的RGB的3个通道中的像素最大值小于第二预设阈值。
原始有雾样本图像具有一个重要的性质，即无雾图像的RGB三个通道的像素值中，一定有一个通道的像素值都很低，并接近于0。
利用这一性质，通过判断器对获得的初代去雾样本图像中的RGB某个通道的像素值进行判断，如果其中像素最大的值小于第二预设阈值，则说明该初代去雾样本图像已经具备上述重要的性质，即无雾图像的RGB三个通道的像素值中，一定有一个通道的像素值都很低，并接近于0。意味着，得到的初代去雾样本图像是符合要求的。反之则不符合要求，说明第一卷积神经网络的权重还需要进行调整，直至同时满足以下两个条件，才能继续进行下一步骤。第一个条件是：获得的所述第一输出阈值小于第一预设阈值；第二个条件是：所述初代去雾样本图像的RGB的3个通道中的像素最大值小于第二预设阈值。
步骤S29，停止所述第一卷积神经网络的训练，完成所述去雾模型的构建。
在满足上述两个条件之后，获得去雾模型成型，但是步骤S21-步骤S280只是对去雾模型的训练过程，还需要对得到的去雾模型进行测试，只有通过测试才能将该去雾模型投入使用。
步骤S29具体包括：
步骤S2901，停止所述第一卷积神经网络的训练，获得初始去雾模型；
步骤S2902，将原始有雾样本图像输入所述初始去雾模型中，获得第一去雾样本图像。
测试，即将原始有雾样本图像作为测试集，输入初始去雾模型中，初始去雾模型对原始有雾样本图像进行去雾，获得第一去雾样本图像。该去雾模型是否通过测试，则需要对比第一去雾样本图像与原始无雾样本图像之间的差异。
步骤S2903，判断所述第一去雾样本图像与所述原始无雾样本图像之间的误差是否小于等于第一期望阈值。
步骤S2904，当所述第一去雾样本图像与所述原始无雾样本图像之间的误差不小于第一期望阈值时，根据所述第一去雾样本图像与所述原始无雾样本图像之间的误差进行反向传播，调整所述第一卷积神经网络的权重，直至通过初始去雾模型获得的第一去雾样本图像与原始无雾样本图像之间的误差小于等于第一期望阈值。
本申请将所述第一去雾样本图像与所述原始无雾样本图像之间的误差进行量化，通过第一期望阈值来表示。例如，原始无雾样本图像包括一辆汽车、一辆自行车和一个垃圾桶，而第一去雾样本图像上还是包括一辆汽车、一辆自行车、一个垃圾桶，但是，只有汽车边缘模糊，则说明第一去雾样本图像与原始无雾样本图像之间的差异很小。
例如，原始无雾样本图像包括一辆汽车、一辆自行车和一个垃圾桶，而第一去雾样本图像上只剩一辆汽车、一辆自行车、垃圾桶不完整，则说明第一去雾样本图像与原始无雾样本图像之间的差异较大。则获得该第一去雾样本图像的初始去雾模型得到的准确度不高，还需要对该初始去雾模型继续训练，继续反向传播，直至得到的第一去雾样本图像与原始无雾样本图像之间的差异小于第一期望阈值。
步骤S2905，停止所述第一卷积神经网络的训练，将当前的初始去雾模型作为最终的去雾模型，完成所述去雾模型的构建。
在满足以下三个条件后，当前的初始去雾模型就可以作为最终的去雾模型投入使用。第一个条件是：获得的所述第一输出阈值小于第一预设阈值；第二个条件是：所述初代去雾样本图像的RGB的3个通道中的像素最大值小于第二预设阈值。第三个条件：获得的第一去雾样本图像与原始无雾样本图像之间的差异小于第一期望阈值。
在本申请提供的另一实施例中，如图3所示，所述障碍物检测模型是按照如下方式获得的：
步骤S31，获取去雾样本图像和标签文本。
此步骤中的去雾样本图像可以是经过去雾模型进行去雾后得到的去雾图像。标签文本是指包含有多种障碍物的名称或者标识的文本文件。
步骤S32，对所述去雾样本图像中的障碍物和背景分别通过对应的标签进行标注，得到标准标注去雾样本图像。
此处在去雾样本图像上进行障碍物和背景的标注，例如通过不同的方框将障碍物与背景进行标注，并贴上对应的标签，此处可以通过人工或者其他方式获得，将得到的标准标注去雾样本图像作为测试集，对第二卷积神经网络进行训练。
步骤S33，对第二卷积神经网络的权重进行初始化；
权重属于第二卷积神经网络内部的参数，将权重初始化，为初始训练做准备。
步骤S34，将所述去雾样本图像和所述标签文本输入所述第二卷积神经网络进行前向传播，得到初始标注去雾样本图像；
将去雾样本图像和标签文本作为第二卷积神经网络的训练集输入第二卷积神经网络中。
由于本申请应用在自动驾驶领域，出于安全考虑，对于障碍物要得到它的准确位置信息和范围，所以本实例中选择既能输出障碍物最小外界矩形又能输出障碍物精确轮廓的Maskcnn网络来训练数据。
首先，将去雾样本图像和标签文本输入Maskcnn网络中；得到最终基于自身数据的Maskcnn网络模型。
步骤S35，判断所述初始标注去雾样本图像与所述标准标注去雾样本图像之间的误差是否小于等于第二期望阈值；
步骤S36，当所述初始标注去雾样本图像与所述标准标注去雾样本图像之间的误差不小于第二期望阈值时，根据所述初始标注去雾样本图像与所述标准标注去雾样本图像之间的误差进行反向传播，调整所述第二卷积神经网络的权重，直至获得的初始标注去雾样本图像与标准标注去雾样本图像之间的误差小于等于第二期望阈值。
例如，标准标注去雾样本图像中包括一辆汽车、一辆自行车和一个垃圾桶，并分别为每个物体标注方框(用于指示该物体占据的位置和面积)。如果初始标注去雾样本图像中只有汽车和自行车被方框标出，垃圾桶并未被标出，则意味着初始标注去雾样本图像与标准标注去雾样本图像之间的差异较大，说明生成该初始标注去雾样本图像的障碍物检测模型还需要继续反向传播，继续训练。反之则满足要求。
步骤S37，停止所述第二卷积神经网络的训练，完成所述障碍物检测模型的构建。
在训练得到Maskcnn网络模型后，输入待检测的障碍物图像到训练好Maskcnn的模型中，得到检测后的障碍物图像。
本申请利用摄像头采集图像；然后计算部件先对图像进行去雾处理，对去雾后图像中的行人，车辆等障碍物进行检测；在通过障碍物检测模型检测之后，可以通过5G网络传输设备将检测的结果传输到数字轨控制单元和存储设备中。
其中，数字轨控制单元可以通过处理多个检测设备的数据的方式得到周围区域的路况障碍物信息，应用到自动驾驶相关场景中，为自动驾驶的环境感知系统提供支持。
本申请提供的方法、装置和系统，具有如下优点：
(1)图像去雾模块的有雾图像是通过合成无雾图像和大气光的方式得到，模型判别时不仅通过判别器区分有雾和无雾图像，而且通过无雾图像的各通道像素性质来最终判别有雾和无雾图像。
(2)雾的形成和大气光有关，去雾算法处理之后会对大气光有一定的调整，因此有必要再进行模型的后处理步骤，去雾处理后图像进行对比度增强的操作。
(3)去雾模型处理后可能对与雾颜色相近的障碍物有一定的影响，因此需利用图像的局部相关性进行障碍物恢复。
(4)障碍物检测结果包含障碍物的精确轮廓姿态和最小外接矩形。
(5)将最终检测结果通过5G传输设备传输到路侧控制单元和储存设备。本申请先使用卷积神经网络训练得到去雾模型，之后利用图像的局部相关性和语义信息恢复图像的细节，最后在清晰的图像上进行障碍物检测。本申请主要针对的是某一特定的监控区域的障碍物，其具有背景固定的特点，因此可以节约大量计算资源。本申请在检测障碍物时，不仅能检测障碍物的位置信息，还能分割出障碍物的具体形态，用于预测障碍物的姿态，并进行行为判断。应用本申请可以有效提高相应的环境感知系统的稳定性和鲁棒性。
环境感知是自动驾驶的第一步也是最为重要的一步，对环境的有效感知是自动驾驶做出科学决策的前提，大雾天气对环境的有效感知有很大影响，因为大雾限制了感知的视野。期望达到的效果是车辆能像人甚至超过人感知与反应能力。路侧单元通过获取道路状况信息，进行分析处理，并将分析后的结果传送至数字轨控制单元，辅助其作出更科学的决策。
本申请应用于自动驾驶的环境感知领域，还具有如下优点：
(1)硬件成本大幅降低：相比于其他硬件设备，如红外传感器造价昂贵，实现大范围的普及有很大的压力，因此现在还处于小规模的研究阶段，而基于本申请提供的基于视觉的摄像头造价便宜一个数量级。
(2)算法设计难度低：红外传感器基于远距离测距精度降低，使得提取障碍物较为困难；基于多传感器融合可以使障碍物检测更加精准，但算法设计难度大，并且各传感器由于各自的设计原理，很难实现真正的同步。对于本申请提供的基于视觉的传感器发展的最为成熟，因此可参考的思路较多。
(3)计算成本大幅降低：对于红外传感器，由于其数据量巨大，再加上时间和计算力成本，需要耗费较大的计算资源。相比于本申请提供的摄像头，采集的数据可以充分利用图像中像素之间的局部相关性，设计轻量级的神经网络结构，大大减低计算量，节约时间成本。
基于同一发明构思，如图4所示，本申请还提供了一种雾天障碍物检测装置，具体如下：
获取模块41，用于获取待检测路段的原始有雾图像；
去雾模块42，用于将所述原始有雾图像输入去雾模型，对所述原始有雾图像进行去雾处理，得到初始去雾图像；其中，所述去雾模型是基于原始无雾样本图像对第一卷积神经网络进行训练得到的；
后处理模块43，用于对所述初始去雾图像进行后处理，得到第一去雾图像；
障碍物检测模块44，用于将所述第一去雾图像输入障碍物检测模型，确定所述第一去雾图像中的障碍物的位置和轮廓；其中，所述障碍物检测模型是基于去雾样本图像对第二卷积神经网络进行训练得到的。
其中，所述去雾模块42包括：
数据集子模块，用于根据所述原始无雾样本图像制作数据集；
去雾模型构建子模块，用于根据所述数据集，构建去雾模型。
更具体地，所述去雾模块42包括：
合成子模块，用于将所述原始无雾样本图像进行合成，获得合成有雾样本图像；
第一初始子模块，用于对第一卷积神经网络的权重进行初始化；
第一获取子模块，用于将所述原始无雾样本图像和所述合成有雾样本图像输入所述第一卷积神经网络进行前向传播，获得初代去雾样本图像；
第二获取子模块，用于将所述初代去雾样本图像和所述原始无雾样本图像输入判断器，获得第一输出阈值；所述第一输出阈值为：所述初代去雾样本图像和所述原始无雾样本图像之间的差异；
第一判断子模块，用于判断所述第一输出阈值是否小于第一预设阈值；
第一调整子模块，用于当所述第一输出阈值不小于第一预设阈值时，根据所述第一输出阈值进行反向传播，调整所述第一卷积神经网络的权重，直至获得的第一输出阈值小于第一预设阈值；
第二判断子模块，用于判断所述初代去雾样本图像的RGB的3个通道中的像素最大值是否小于第二预设阈值；
第二调整子模块，用于当所述初代去雾样本图像的RGB的3个通道中的像素最大值不小于第二预设阈值时，根据所述初代去雾样本图像的RGB的3个通道中的像素最大值进行反向传播，调整所述第一卷积神经网络的权重，直至获得的所述第一输出阈值小于第一预设阈值，且，所述初代去雾样本图像的RGB的3个通道中的像素最大值小于第二预设阈值；
停止子模块，用于停止所述第一卷积神经网络的训练，完成所述去雾模型的构建。
其中，所述合成子模块包括：
第一合成子模块，用于基于大气生成模型、大气光条件以及散射系数，通过随机采样将所述原始无雾样本图像获得合成有雾样本图像。
其中，所述停止子模块包括：
第一停止子模块，用于停止所述第一卷积神经网络的训练，获得初始去雾模型；
去雾子模块，用于将原始有雾样本图像输入所述初始去雾模型中，获得第一去雾样本图像；
第三判断子模块，用于判断所述第一去雾样本图像与所述原始无雾样本图像之间的误差是否小于等于第一期望阈值；
第三调整子模块，用于当所述第一去雾样本图像与所述原始无雾样本图像之间的误差不小于第一期望阈值时，根据所述第一去雾样本图像与所述原始无雾样本图像之间的误差进行反向传播，调整所述第一卷积神经网络的权重，直至通过初始去雾模型获得的第一去雾样本图像与原始无雾样本图像之间的误差小于等于第一期望阈值；
第二停止子模块，用于停止所述第一卷积神经网络的训练，将当前的初始去雾模型作为最终的去雾模型，完成所述去雾模型的构建。
其中，所述后处理模块43包括：
增强子模块，用于对所述初始去雾图像进行对比度增强，获得初始去雾子图像；
恢复子模块，用于对所述初始去雾子图像进行障碍物恢复，获得第一去雾图像。
其中，所述障碍物检测模块44包括：
第三获取子模块，用于获取去雾样本图像和标签文本；
标注子模块，用于对所述去雾样本图像中的障碍物和背景分别通过对应的标签进行标注，得到标准标注去雾样本图像；
第二初始子模块，用于对第二卷积神经网络的权重进行初始化；
第四获取子模块，用于将所述去雾样本图像和所述标签文本输入所述第二卷积神经网络进行前向传播，得到初始标注去雾样本图像；
第四判断子模块，用于判断所述初始标注去雾样本图像与所述标准标注去雾样本图像之间的误差是否小于等于第二期望阈值；
第四调整子模块，用于当所述初始标注去雾样本图像与所述标准标注去雾样本图像之间的误差不小于第二期望阈值时，根据所述初始标注去雾样本图像与所述标准标注去雾样本图像之间的误差进行反向传播，调整所述第二卷积神经网络的权重，直至获得的初始标注去雾样本图像与标准标注去雾样本图像之间的误差小于等于第二期望阈值；
第三停止子模块，用于停止所述第二卷积神经网络的训练，完成所述障碍物检测模型的构建。
本申请还提供了一个雾天障碍物检测硬件系统，如图5所示，具体包括：图像采集模块、图像去雾模块、障碍物标注模块、障碍物训练模块和障碍物检测模块。
如图6所示，图像采集模块用于采集相应条件下监控区域的障碍物图像，具体包括原始有雾样本图像、原始无雾样本图像以及原始有雾图像。图像采集模块的具体工作流程是：首先，布置采集设备；其次，并选定采集路段和采集时间段；然后，对有雾图像采集；最后，对获得的有雾图像进行畸变处理。
如图7所示，图像去雾模块用于利用算法对原始有雾样本图像中的雾进行去除。图像去雾模块的具体流程是：第一，通过图像采集模块获取有雾图像；第二，建立去雾模型；第三，对去雾模型进行处理；第四，对去雾模型处理后的图像进行后处理，最后得到无雾图像，用于后期的障碍物检测。
如图8所示，障碍物标注模块用于在去雾后的清晰图像上标记处障碍物和背景；障碍物标注模块的处理流程是：先输入去雾后的图像；对其进行障碍物标注；得到对应的标注文件(即得到标签文本)，划分训练集和测试集。
障碍物训练模块用于利用卷积神经网络训练一个障碍物检测模型；障碍物训练模块的流程是：输入训练集数据(即去雾样本图像和标签本文)；经过卷积神经网络训练，当得到的初始标注去雾样本图像与标准标注去雾样本图像之间的误差大于期望值时，重新训练，知道误差小于等于期望值，停止训练，得到最终的障碍物检测模型(即训练模型)。
障碍物检测模块用于利用训练好的模型检测出无雾的障碍物图像。它可以应用到自动驾驶相关场景中，为自动驾驶的环境感知部分提供支持。
本申请着重解决的是单目摄像头获得的雾天监控区域的障碍物图像的检测问题。对道路监控区域，获取某一帧有雾图像，先进行去雾处理，在此基础上进行障碍物检测，给出障碍物在世界坐标系中的外部轮廓和对应的最小外界矩形。
本申请还提供了一种电子设备，如图9所示，包括：
处理器91；
用于存储所述处理器91可执行指令的存储器92；
其中，所述处理器91被配置为执行以实现所述的一种雾天障碍物检测方法。
本申请还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器91执行时，使得电子设备能够执行实现如所述的一种雾天障碍物检测方法。
对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
以上对本申请所提供的一种雾天障碍物检测方法、装置、电子设备和存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种雾天障碍物检测方法，其特征在于，所述方法具体包括：
获取待检测路段的原始有雾图像；
将所述原始有雾图像输入去雾模型，对所述原始有雾图像进行去雾处理，得到初始去雾图像；其中，所述去雾模型是基于原始无雾样本图像对第一卷积神经网络进行训练得到的；
对所述初始去雾图像进行后处理，得到第一去雾图像；
将所述第一去雾图像输入障碍物检测模型，确定所述第一去雾图像中的障碍物的位置和轮廓；其中，所述障碍物检测模型是基于去雾样本图像对第二卷积神经网络进行训练得到的。
2.根据权利要求1所述的方法，其特征在于，所述去雾模型是按照如下方式得到的：
根据所述原始无雾样本图像制作数据集；
根据所述数据集，构建去雾模型。
3.根据权利要求1所述的方法，其特征在于，所述去雾模型是按照如下方式得到的：
将所述原始无雾样本图像进行合成，获得合成有雾样本图像；
对第一卷积神经网络的权重进行初始化；
将所述原始无雾样本图像和所述合成有雾样本图像输入所述第一卷积神经网络进行前向传播，获得初代去雾样本图像；
将所述初代去雾样本图像和所述原始无雾样本图像输入判断器，获得第一输出阈值；所述第一输出阈值为：所述初代去雾样本图像和所述原始无雾样本图像之间的差异；
判断所述第一输出阈值是否小于第一预设阈值；
当所述第一输出阈值不小于第一预设阈值时，根据所述第一输出阈值进行反向传播，调整所述第一卷积神经网络的权重，直至获得的第一输出阈值小于第一预设阈值；
判断所述初代去雾样本图像的RGB的3个通道中的像素最大值是否小于第二预设阈值；
当所述初代去雾样本图像的RGB的3个通道中的像素最大值不小于第二预设阈值时，根据所述初代去雾样本图像的RGB的3个通道中的像素最大值进行反向传播，调整所述第一卷积神经网络的权重，直至获得的所述第一输出阈值小于第一预设阈值，且，所述初代去雾样本图像的RGB的3个通道中的像素最大值小于第二预设阈值；
停止所述第一卷积神经网络的训练，完成所述去雾模型的构建。
4.根据权利要求3所述的方法，其特征在于，将所述原始无雾样本图像进行合成，获得合成有雾样本图像，具体包括：
基于大气生成模型、大气光条件以及散射系数，通过随机采样将所述原始无雾样本图像获得合成有雾样本图像。
5.根据权利要求3所述的方法，其特征在于，停止所述第一卷积神经网络的训练，完成所述去雾模型的构建，具体包括：
停止所述第一卷积神经网络的训练，获得初始去雾模型；
将原始有雾样本图像输入所述初始去雾模型中，获得第一去雾样本图像；
判断所述第一去雾样本图像与所述原始无雾样本图像之间的误差是否小于等于第一期望阈值；
当所述第一去雾样本图像与所述原始无雾样本图像之间的误差不小于第一期望阈值时，根据所述第一去雾样本图像与所述原始无雾样本图像之间的误差进行反向传播，调整所述第一卷积神经网络的权重，直至通过初始去雾模型获得的第一去雾样本图像与原始无雾样本图像之间的误差小于等于第一期望阈值；
停止所述第一卷积神经网络的训练，将当前的初始去雾模型作为最终的去雾模型，完成所述去雾模型的构建。
6.根据权利要求1所述的方法，其特征在于，所述障碍物检测模型是按照如下方式获得的：
获取去雾样本图像和标签文本；
对所述去雾样本图像中的障碍物和背景分别通过对应的标签进行标注，得到标准标注去雾样本图像；
对第二卷积神经网络的权重进行初始化；
将所述去雾样本图像和所述标签文本输入所述第二卷积神经网络进行前向传播，得到初始标注去雾样本图像；
判断所述初始标注去雾样本图像与所述标准标注去雾样本图像之间的误差是否小于等于第二期望阈值；
当所述初始标注去雾样本图像与所述标准标注去雾样本图像之间的误差不小于第二期望阈值时，根据所述初始标注去雾样本图像与所述标准标注去雾样本图像之间的误差进行反向传播，调整所述第二卷积神经网络的权重，直至获得的初始标注去雾样本图像与标准标注去雾样本图像之间的误差小于等于第二期望阈值；
停止所述第二卷积神经网络的训练，完成所述障碍物检测模型的构建。
7.根据权利要求1至6任一所述的方法，其特征在于，对所述初始去雾图像进行后处理，得到第一去雾图像，具体包括：
对所述初始去雾图像进行对比度增强，获得初始去雾子图像；
对所述初始去雾子图像进行障碍物恢复，获得第一去雾图像。
8.一种雾天障碍物检测装置，其特征在于，所述装置具体包括：
获取模块，用于获取待检测路段的原始有雾图像；
去雾模块，用于将所述原始有雾图像输入去雾模型，对所述原始有雾图像进行去雾处理，得到初始去雾图像；其中，所述去雾模型是基于原始无雾样本图像对第一卷积神经网络进行训练得到的；
后处理模块，用于对所述初始去雾图像进行后处理，得到第一去雾图像；
障碍物检测模块，用于将所述第一去雾图像输入障碍物检测模型，确定所述第一去雾图像中的障碍物的位置和轮廓；其中，所述障碍物检测模型是基于去雾样本图像对第二卷积神经网络进行训练得到的。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行以实现如权利要求1至7中任一项所述的一种雾天障碍物检测方法。
10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行实现如权利要求1至7中任一项所述的一种雾天障碍物检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911230251.8A CN111161160B (zh) | 2019-12-04 | 2019-12-04 | 一种雾天障碍物检测方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911230251.8A CN111161160B (zh) | 2019-12-04 | 2019-12-04 | 一种雾天障碍物检测方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111161160A true CN111161160A (zh) | 2020-05-15 |
| CN111161160B CN111161160B (zh) | 2023-07-18 |
Family
ID=70556361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911230251.8A Active CN111161160B (zh) | 2019-12-04 | 2019-12-04 | 一种雾天障碍物检测方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111161160B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508814A (zh) * | 2020-12-07 | 2021-03-16 | 重庆邮电大学 | 一种基于无人机低空视角下的图像色调修复型去雾增强方法 |
| CN113554872A (zh) * | 2021-07-19 | 2021-10-26 | 昭通亮风台信息科技有限公司 | 一种位于交通路口及弯道的检测预警方法及系统 |
| CN114862691A (zh) * | 2022-03-23 | 2022-08-05 | 吉林大学 | 一种基于神经网络模型的图像去雾方法、装置和设备 |
| WO2023019507A1 (zh) * | 2021-08-19 | 2023-02-23 | 浙江吉利控股集团有限公司 | 基于深度学习道路图像生成方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316286A (zh) * | 2017-07-07 | 2017-11-03 | 北京邮电大学 | 一种图像中雨雾同步合成、去除的方法和装置 |
| CN108269244A (zh) * | 2018-01-24 | 2018-07-10 | 东北大学 | 一种基于深度学习和先验约束的图像去雾系统 |
| US20180293710A1 (en) * | 2017-04-06 | 2018-10-11 | Pixar | De-noising images using machine learning |
| CN109063594A (zh) * | 2018-07-13 | 2018-12-21 | 吉林大学 | 基于YOLOv2的遥感图像快速目标检测方法 |
| CN110210354A (zh) * | 2019-05-23 | 2019-09-06 | 南京邮电大学 | 一种雾霾天气交通标识检测与识别的方法 |
| CN110263706A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种雾霾天气车载视频动态目标检测和识别的方法 |
| CN110363727A (zh) * | 2019-07-24 | 2019-10-22 | 中国人民解放军火箭军工程大学 | 基于多尺度暗通道先验级联深度神经网络的图像去雾方法 |
-
2019
- 2019-12-04 CN CN201911230251.8A patent/CN111161160B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180293710A1 (en) * | 2017-04-06 | 2018-10-11 | Pixar | De-noising images using machine learning |
| CN107316286A (zh) * | 2017-07-07 | 2017-11-03 | 北京邮电大学 | 一种图像中雨雾同步合成、去除的方法和装置 |
| CN108269244A (zh) * | 2018-01-24 | 2018-07-10 | 东北大学 | 一种基于深度学习和先验约束的图像去雾系统 |
| CN109063594A (zh) * | 2018-07-13 | 2018-12-21 | 吉林大学 | 基于YOLOv2的遥感图像快速目标检测方法 |
| CN110210354A (zh) * | 2019-05-23 | 2019-09-06 | 南京邮电大学 | 一种雾霾天气交通标识检测与识别的方法 |
| CN110263706A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种雾霾天气车载视频动态目标检测和识别的方法 |
| CN110363727A (zh) * | 2019-07-24 | 2019-10-22 | 中国人民解放军火箭军工程大学 | 基于多尺度暗通道先验级联深度神经网络的图像去雾方法 |
Non-Patent Citations (2)
| Title |
|---|
| HUZAIFA RASHID等: "Single Image Dehazing using CNN", 《PROCEDIA COMPUTER SCIENCE》, vol. 147, pages 124 - 103 * |
| 雎青青;李朝锋;桑庆兵;: "改进多尺度卷积神经网络的单幅图像去雾方法", 计算机工程与应用, no. 10, pages 184 - 190 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508814A (zh) * | 2020-12-07 | 2021-03-16 | 重庆邮电大学 | 一种基于无人机低空视角下的图像色调修复型去雾增强方法 |
| CN113554872A (zh) * | 2021-07-19 | 2021-10-26 | 昭通亮风台信息科技有限公司 | 一种位于交通路口及弯道的检测预警方法及系统 |
| WO2023019507A1 (zh) * | 2021-08-19 | 2023-02-23 | 浙江吉利控股集团有限公司 | 基于深度学习道路图像生成方法、装置、设备及存储介质 |
| CN114862691A (zh) * | 2022-03-23 | 2022-08-05 | 吉林大学 | 一种基于神经网络模型的图像去雾方法、装置和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111161160B (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110261436B (zh) | 基于红外热成像和计算机视觉的轨道故障检测方法及系统 | |
| CN111161160B (zh) | 一种雾天障碍物检测方法、装置、电子设备和存储介质 | |
| CN114693615A (zh) | 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法 | |
| CN102073852B (zh) | 基于最优阈值和随机标号法的多车辆分割方法 | |
| CN107588733A (zh) | 一种基于图像的受电弓滑板磨耗在线检测装置与方法 | |
| CN109934108B (zh) | 一种多目标多种类的车辆检测和测距系统及实现方法 | |
| CN109086803B (zh) | 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法 | |
| CN113989613A (zh) | 一种应对复杂环境的轻量级高精度船舶目标检测方法 | |
| CN115311241B (zh) | 一种基于图像融合和特征增强的煤矿井下行人检测方法 | |
| CN113822221A (zh) | 一种基于对抗神经网络和多传感器融合的目标检测方法 | |
| CN103034843A (zh) | 一种基于单目视觉的夜间车辆检测方法 | |
| CN113449632B (zh) | 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车 | |
| CN115330653A (zh) | 基于边窗滤波的多源图像融合方法 | |
| CN114266977A (zh) | 基于超分辨可选择网络的多auv的水下目标识别方法 | |
| CN114119586A (zh) | 一种基于机器视觉的飞机蒙皮缺陷智能检测方法 | |
| CN115376108A (zh) | 一种复杂天气下障碍物检测方法及装置 | |
| CN116086547B (zh) | 一种基于红外成像和气象监测的接触网覆冰检测方法 | |
| CN110689510B (zh) | 一种引入字典信息基于稀疏表示的图像融合方法 | |
| CN116758421A (zh) | 一种基于弱监督学习的遥感图像有向目标检测方法 | |
| CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
| CN116977917A (zh) | 一种红外图像行人检测方法 | |
| Zhang | Image enhancement method based on deep learning | |
| Yuming et al. | Traffic signal light detection and recognition based on canny operator | |
| CN115690190B (zh) | 基于光流图像和小孔成像的运动目标检测与定位方法 | |
| CN115035429A (zh) | 一种基于复合主干网络和多预测头的航拍目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |