CN111695514A - 一种基于深度学习的雾天下车辆检测方法 - Google Patents

一种基于深度学习的雾天下车辆检测方法 Download PDF

Info

Publication number
CN111695514A
CN111695514A CN202010537207.8A CN202010537207A CN111695514A CN 111695514 A CN111695514 A CN 111695514A CN 202010537207 A CN202010537207 A CN 202010537207A CN 111695514 A CN111695514 A CN 111695514A
Authority
CN
China
Prior art keywords
foggy
value
vehicle
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010537207.8A
Other languages
English (en)
Other versions
CN111695514B (zh
Inventor
高涛
陈婷
张赛
刘占文
李永会
王松涛
张亚南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN202010537207.8A priority Critical patent/CN111695514B/zh
Publication of CN111695514A publication Critical patent/CN111695514A/zh
Application granted granted Critical
Publication of CN111695514B publication Critical patent/CN111695514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于深度学习的雾天下车辆检测方法，通过对采集到的雾天交通车辆图片进行图像预处理，采用深度残差网络模型对预处理后的雾天交通车辆图片进行特征提取，获取多个不同大小的特征图，然后对多个不同大小的特征图进行多尺度检测，得到多尺度检测特征图，提高特征提取精度，最后根据获取的多尺度检测特征图采用迁移学习方法对深度残差网络模型进行训练得到雾天下车辆检测网络模型，采用迁移学习方法精简了网络结构，不仅提高了检测速度，而且提高了目标检测精度，利用K‑means聚类方法进行聚类，得到网络所需的初始先验框的尺寸，对浅层网络的加深和整体框架的简化，提升了检测速度，简化了损失函数和预测的输出张量，提高了定位的效率。

Description

一种基于深度学习的雾天下车辆检测方法
技术领域
本发明属于交通车辆检测技术领域，具体涉及一种基于深度学习的雾天下车辆检测方法。
背景技术
随着经济的发展，汽车制造业的繁荣，车辆数目与日俱增，在给人们带来生活方便的同时，也给交通安全带来了严重的隐患。同时工业的进步，导致雾霾天气不断增加，雾霾天气下，能见度降低，驾驶员视野变得模糊，其容易造成交通事故。同时，雾霾天气车速普遍降低，会造成交通堵塞。因此，在雾霾天气下进行车辆将检测问题的研究，提供更好的车辆检测方法，对相关部门进行交通及时制定交通诱导政策，进行交通车流量控制以及救援计划有着重要的意义。
传统的目标检测方法借助于机器学习理论，对图像进行特征提取目标特征，如梯度方向直方图(Histogram of Oriented Gradients,HOG)、尺度不变特征转换(ScaleInvariant Feature Transform,SIFT)特征等进行提取，并将提取到的特征输入到如支持向量机(Support Vector Machine,SVM)、迭代器(AdaBoost)等分类器进行分类识别。这些提取的图像特征本质上是一种手工设计的特征，针对不同的图像检测问题，提取到的特征好坏对检测性能有着直接的影响，因此，需要研究人员针对某个特定的识别任务，泛化能力较差，难以在实际应用问题中设计出具有通用性和鲁棒性的特征。此外，传统机器学习方法从提取图像底层特征到提取表现特征流程相对复杂，并且严重依赖于人工的特征设计，因此，基于传统的机器学习方法的目标检测遇到瓶颈，期待更有效的方法提取图像特征。
2016年Redmon等提出的YOLO(You Only Look Once)v1以45FPS(Frames PerSecond)真正达到了可以检测视频的速度，这位快速检测视频运动目标指明了方向；Liu等提出了SSD(Single Shot multibox Detector)物体检测模型。随后，yolov2，yolov3，提升了检测精度，而且使得检测速度获得增强，但是YOLOv3网络在鉴别小目标且单类目标时，原始网络架构显得过于沉冗，尤其在雾天图像特征较为模糊情况下检测结果较差。
发明内容
本发明的目的在于提供一种基于深度学习的雾天下车辆检测方法，以克服现有技术的不足，本发明能够及时准确的检测出交通车辆，检测速度快、准确度高。
为达到上述目的，本发明采用如下技术方案：
一种基于深度学习的雾天下车辆检测方法，包括以下步骤：
步骤1)、采集雾天交通车辆图片；
步骤2)、对采集到的雾天交通车辆图片进行图像预处理；
步骤3)、采用深度残差网络模型对预处理后的雾天交通车辆图片进行特征提取，获取多个不同大小的特征图；
步骤4)、对多个不同大小的特征图进行多尺度检测，同时利用底层特征的高分辨率和高层特征的高语义信息，通过上采样融合不同层的特征，在三个不同尺度的特征层上实现特征图拼接，得到多尺度检测特征图；
步骤5)、根据获取的多尺度检测特征图采用迁移学习方法对深度残差网络模型进行训练，直至深度残差网络模型最大迭代次数为50000次，采用经过迭代后的深度残差网络模型即可实现雾天下车辆检测。
进一步的，采集的雾天交通车辆图片中，将车辆以外的信息设置为背景。
进一步的，步骤2)中对雾天交通车辆图片具体进行图像去雾、反转和对称处理。
进一步的，采用暗通道先验去雾方法对雾天交通车辆图片进行预处理，建立基于暗通道先验去雾方法的物理模型为：
I(x)＝J(x)t(x)+A(1-t(x)) (1)
其中x表示图像中像素点所处于的位置，I(x)表示所观察到的有雾图像，
J(x)表示清晰无雾的图像，A表示大气光值，t(x)表示透射率；
建立无雾图像的暗原色Jdark(x)求解公式：
Jdark(x)＝miny∈Ω(x)(minc∈[R,G,B]Jc(y)) (2)
式中，C表示R、G、B三个通道的集合；Jc表示图像的一个颜色通道，Ω(x)表示以x为中心的方形滤波模板；无雾图像的非天空区域，Jdark(x)的值很低；
选取暗通道中值最大的0.1％的像素点，找出这些点在原含雾图像中对应点的亮度最大值，将该值作为全球大气光的估计值A；
由以下公式获取透射率值：
Figure BDA0002537420450000031
式中，ω表示去雾的程度，ω取0.95；
Ac表达通道c对应的大气光值，Ic(y)表示大气光阈值范围；
将获取的透射率值t(x)与大气光值A代入式(1)中，可得基于暗通道先验去雾方法的物理模型为：
Figure BDA0002537420450000032
式中，为避免透射率取值过小造成是真，对透射率的下限值做了限定，原文中取限定值t0为0.1。
进一步的，具体的：对于一个任意的图片I(x)，其亮通道Ilight(x)表达式为：
Figure BDA0002537420450000041
亮通道先验理论中，图像中任意一像素点的亮通道值接近于无雾图像的大气光值Alight(x)，可得出下式：
Ilight(x)→Alight(x) (4)
上式可以得到：
Figure BDA0002537420450000042
结合亮通道和暗通道对大气光值进行估计得到大气光值A：
A＝αAlight(x)+βA0 (6)
结合结构相似性和信息熵参数信息，α和β均为变量参数，A0为通过暗通道先验方法中估计的大气光值；设定α＝0.7，β＝0.25。
进一步的，深度残差网络模型第一个卷积层采用32个大小为3×3的卷积核过滤416×416分辨率的输入图像，然后将第一个卷积层的输出作为输入，使用64个大小为3×3的卷积核以步长为2个像素进行卷积操作，实现2倍的下采样，得到208×208分辨率的特征图；然后在深度残差网络模型中添加执行1×，2×，2×，2×和2×的5组残差模块，同时在每2组的残差快之间连接数量不同的3×3大小的卷积核，步长均为2个像素，分别获得104×104，52×52，26×26，13×13大小的特征图。
进一步的，以矩形框的交并比RIOU作为相似度对雾天交通车辆图片的所有目标标注使用K-mens聚类获得锚的大小，K-means聚类的距离函数如下式：
d(B,C)＝1-RIOU(B,C)
其中：B为矩形框的大小，C为矩形框的中心，RIOU(B,C)表示两个矩形框的交叠比；
在每个尺度上的每一个单元格借助4个锚点框预测4个边界框；将13×13特征图经过两倍上样后与26×26特征图拼接，经过卷积运算得到一级拼接特征图；将一级拼接特征图经过两倍上采样后与52×52特征图拼接，经过卷积运算得到二级拼接特征图；将二级拼接特征图经过两倍上采样后与104×104特征图拼接，经过卷积运算得到多尺度检测特征图。
进一步的，矩形框的锚点框数量为12。
与现有技术相比，本发明具有以下有益的技术效果：
本发明一种基于深度学习的雾天下车辆检测方法，通过对采集到的雾天交通车辆图片进行图像预处理，增加网络训练的鲁棒性，采用深度残差网络模型对预处理后的雾天交通车辆图片进行特征提取，获取多个不同大小的特征图，然后对多个不同大小的特征图进行多尺度检测，得到多尺度检测特征图，提高特征提取精度，最后根据获取的多尺度检测特征图采用迁移学习方法对深度残差网络模型进行训练得到雾天下车辆检测网络模型，采用迁移学习方法精简了网络结构，不仅提高了检测速度，而且提高了目标检测精度。
进一步的，利用K-means聚类方法进行聚类，得到网络所需的初始先验框的尺寸，通过对浅层网络的加深和整体框架的简化，提升了检测速度，在训练时，简化了损失函数和预测的输出张量，提高了定位的效率。
附图说明
图1为本发明实施例中具体方法框图。
图2为本发明实施例中采集的原始雾天交通车辆图片。
图3为本发明实施例中对原始雾天交通车辆图片去雾后的雾天交通车辆图片。
图4为本发明实施例中多尺度检测流程图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
如图1所示，一种基于深度学习的雾天下车辆检测方法，包括以下步骤：
步骤1)，采集雾天交通车辆图片；
采集的雾天交通车辆图片中，车辆以外的信息为背景，具体采集的雾天交通车辆图片如图2所示。
步骤2)、对采集到的雾天交通车辆图片进行图像预处理，具体是对雾天交通车辆图片进行图像去雾、反转和对称处理，扩充数据集，增加网络训练的鲁棒性；
具体的，采用暗通道先验去雾方法对图像进行预处理，建立基于暗通道先验去雾方法的物理模型为：
I(x)＝J(x)t(x)+A(1-t(x)) (1)
其中x表示图像中像素点所处于的位置，I(x)表示所观察到的有雾图像，
J(x)表示清晰无雾的图像，A表示大气光值，t(x)表示透射率；
对于无雾图像非天空的局部区域，图像中R、G、B通道中至少有一个颜色通道值很低；
建立无雾图像的暗原色Jdark(x)求解公式：
Jdark(x)＝miny∈Ω(x)(minc∈[R,G,B]Jc(y)) (2)
式中，C表示R、G、B三个通道的意思；Jc表示图像的一个颜色通道，Ω(x)表示以x为中心的方形滤波模板；无雾图像的非天空区域，Jdark(x)的值很低；
选取暗通道中值最大的0.1％的像素点，找出这些点在原含雾图像中对应点的亮度最大值，将该值作为全球大气光的估计值，具体的，对于一个任意的图片I(x)，其亮通道Ilight(x)表达式为：
Figure BDA0002537420450000071
亮通道先验理论中，图像中任意一像素点的亮通道值接近于无雾图像的大气光值Alight(x)，可得出下式：
Ilight(x)→Alight(x) (4)
上式可以得到：
Figure BDA0002537420450000072
结合亮通道和暗通道对大气光值进行估计得到大气光值A：
A＝αAlight(x)+βA0 (6)
结合结构相似性和信息熵参数信息，α和β均为变量参数，A0为通过暗通道先验方法中估计的大气光值；设定α＝0.7，β＝0.25。
由以下公式获取透射率值：
Figure BDA0002537420450000073
式中，ω表示去雾的程度，ω取0.95；
Ac表达通道c对应的大气光值，Ic(y)表示大气光阈值范围；
将获取的透射率值t(x)与大气光值A代入式(1)中，可得基于暗通道先验去雾方法的物理模型为：
Figure BDA0002537420450000074
式中，为避免透射率取值过小造成是真，对透射率的下限值做了限定，原文中取限定值t0为0.1；去雾后的图像如图3所示。
步骤3)、采用深度残差网络模型对预处理后的雾天交通车辆图片进行特征提取，获取多个不同大小的特征图；
具体的，深度残差网络模型采用多层残差网络方法建立，第一个卷积层采用32个大小为3×3的卷积核过滤416×416分辨率的输入图像，然后将第一个卷积层的输出作为输入，使用64个大小为3×3的卷积核以步长为2个像素进行卷积操作，实现2倍的下采样，得到208×208分辨率的特征图。之后再网络中添加执行1×，2×，2×，2×，2×的5组残差模块，同时在每2组的残差快之间连接数量不同的3×3大小的卷积核，步长均为2个像素，分别获得104×104，52×52，26×26，13×13大小的特征图，具体深度残差网络模型网络结构如表1所示：
表1特征提取网络结构
Figure BDA0002537420450000081
步骤4)，对多个不同大小的特征图进行多尺度检测，同时利用底层特征的高分辨率和高层特征的高语义信息，通过上采样融合不同层的特征，在三个不同尺度的特征层上实现特征图拼接，得到多尺度检测特征，具体如图4所示；
具体包括以下步骤：以矩形框的交并比RIOU作为相似度对雾天交通车辆图片的所有目标标注使用K-mens聚类获得锚的大小，K-means聚类的距离函数如下式：
d(B,C)＝1-RIOU(B,C)
其中：B为矩形框的大小，C为矩形框的中心，RIOU(B,C)表示两个矩形框的交叠比；
本申请权衡平均交并比与锚点框数量，取12个锚点框，分别为(8,10)，(10,6)，(13,8)，(15,10)，(30,50)，(45,35)，(62,45)，(80,119)，(116,90)，(135,135)，(156,198)，(250,160)。在每个尺度上的每一个单元格借助4个锚点框预测4个边界框；将13×13特征图经过两倍上样后与26×26特征图拼接，经过卷积运算得到一级拼接特征图；将一级拼接特征图经过两倍上采样后与52×52特征图拼接，经过卷积运算得到二级拼接特征图；将二级拼接特征图经过两倍上采样后与104×104特征图拼接，经过卷积运算得到多尺度检测特征图，从而达到多尺度检测的目的。
步骤5)、根据获取的多尺度检测特征图采用迁移学习方法对深度残差网络模型进行训练，直至深度残差网络模型最大迭代次数为50000次，即可得到雾天下车辆检测网络模型，基于雾天下车辆检测网络模型实现雾天下车辆检测。本申请通过在VOC2007数据集所训练好的权重上做迁移训练，采用迁移学习方法，可以有效解决数据集少的问题。
对本申请方案进行验证：
本申请针对2617张雾天交通车辆图片的原始彩色图片进行验证，经过人工标注，每张图片均已标注好了车辆所在的位置，原始图像大小为2560×1632。为了提高网络训练与测试的效率，将原始图像下采样为640×480分辨率进行实验和性能评价价。同时为了增加模型的泛化能力，对原始数据集采用多种数据增强策略，如随机亮度、饱和度、对比度变化，添加随机椒盐噪声，随机镜像翻转等方法，以扩充训练的数据量，进一步提高模型的泛化能力。在Linux环境下完成，操作系统为Ubuntu16.04，配置为CPU为Intel Xeon E3-1225v6，GPU为Nvidia Quadro p4000，显存为8GB。整个训练过程中，采用小批量随机梯度下降法，批量大小为64，最大迭代此处为50000次，动量参数设置为0.9，衰减系数设置为0.0005，初始化学习率为ηlr＝0.001在迭代次数为15000时，调整学习率ηlr＝0.0005，当迭代次数为25000时，调整整学习率ηlr＝0.0001。
由于研究内容属于多目标检测，在综合精确率(precision)、召回率(recall)、F1值(F1-measure，F1)和检测速度作为评价标准的同时，还需要使用平均精度(averageprecision，AP)来进行综合对比：
Precision:
Figure BDA0002537420450000101
Recall:
Figure BDA0002537420450000102
F1-measure:
Figure BDA0002537420450000103
AP:
Figure BDA0002537420450000104
其中：Tp表示把正例正确分类为正例(true positive)，Fp把负例错误分类正例(false positive)，FN表示把正例错误分类为负例(false negative)。AP为平均精度，采用的是VOC2007中的标准，设定一组阈值，[0，0.1，0.2，...，1]，然后对于recall大于每一个阈值得到对应的最大precision，AP即为这些最大的precision的平均值。
将本申请方法与YOLOv3、YOLOv3-tiny和YOLOv2进行比较，图像在训练前均缩放至640×480检测结果对比见表2。
表2不同算法针对雾天下车辆检测结果
Figure BDA0002537420450000111
由表2中数据使用的模型是去AP值最大的模型，并且召回率、精度是通过调整阈值使F1值最大获得。从表2中可以看出，本文提出的算法在300张的测试集中得到了精度97.64％、召回率87.52％、平均精度85.44％，相对于YOLOv3分别提升了3％，14％，10％，相对于YOLOv3-tiny分别提升了7％，17％，15％。分析原因为在原有的YOLOv3基础上，增加了利于检测小目标的大尺度特征图，并且由于雾天图像特征多为模糊，所以在浅层网络结构上适当的增加了网络深度。在检测速度上，本文提出的方法为40.77f/s，相对于YOLOv3的24.70f/s，提升了40％。对于单类物体的检测，原有的Darknet53网络有些过于复杂与陈冗，过多的参数参与运算，会导致运行速度极大增加，而本文提出的方法相对于雾天图片的特点，减少了网络层数，提升了运行速率。
本申请通过对雾天交通车辆图片的去雾处理，数据增强之后，利用深度残差网络模型对输入的图片进行特征提取与多尺度融合，同时利用K-means算法进行聚类，得到网络所需的初始先验框的尺寸，通过对浅层网络的加深和整体框架的简化，提升了检测速度，在训练时，简化了损失函数和预测的输出张量，提高了定位的效率。实验结果表明，在大雾天气下检测车辆情况下精确度达到了97％，召回率达到87％，速度打40帧/秒。雾天检测是一个迫切需要解决的问题，通过应用本文提出的实时检测算法，可以很好的帮助相关部门信息更好的检测交通，为交通事业更好的服务。

Claims (8)

1.一种基于深度学习的雾天下车辆检测方法，其特征在于，包括以下步骤：
步骤1)、采集雾天交通车辆图片；
步骤2)、对采集到的雾天交通车辆图片进行图像预处理；
步骤3)、采用深度残差网络模型对预处理后的雾天交通车辆图片进行特征提取，获取多个不同大小的特征图；
步骤4)、对多个不同大小的特征图进行多尺度检测，同时利用底层特征的高分辨率和高层特征的高语义信息，通过上采样融合不同层的特征，在三个不同尺度的特征层上实现特征图拼接，得到多尺度检测特征图；
步骤5)、根据获取的多尺度检测特征图采用迁移学习方法对深度残差网络模型进行训练，直至深度残差网络模型最大迭代次数为50000次，采用经过迭代后的深度残差网络模型即可实现雾天下车辆检测。
2.根据权利要求1所述的一种基于深度学习的雾天下车辆检测方法，其特征在于，采集的雾天交通车辆图片中，将车辆以外的信息设置为背景。
3.根据权利要求1所述的一种基于深度学习的雾天下车辆检测方法，其特征在于，步骤2)中对雾天交通车辆图片具体进行图像去雾、反转和对称处理。
4.根据权利要求3所述的一种基于深度学习的雾天下车辆检测方法，其特征在于，采用暗通道先验去雾方法对雾天交通车辆图片进行预处理，建立基于暗通道先验去雾方法的物理模型为：
I(x)＝J(x)t(x)+A(1-t(x)) (1)
其中x表示图像中像素点所处于的位置，I(x)表示所观察到的有雾图像，
J(x)表示清晰无雾的图像，A表示大气光值，t(x)表示透射率；
建立无雾图像的暗原色Jdark(x)求解公式：
Jdark(x)＝miny∈Ω(x)(minc∈[R,G,B]Jc(y)) (2)
式中，C表示R、G、B三个通道的集合；Jc表示图像的一个颜色通道，Ω(x)表示以x为中心的方形滤波模板；无雾图像的非天空区域，Jdark(x)的值很低；
选取暗通道中值最大的0.1％的像素点，找出这些点在原含雾图像中对应点的亮度最大值，将该值作为全球大气光的估计值A；
由以下公式获取透射率值：
Figure FDA0002537420440000021
式中，ω表示去雾的程度，ω取0.95；
Ac表达通道c对应的大气光值，Ic(y)表示大气光阈值范围；
将获取的透射率值t(x)与大气光值A代入式(1)中，可得基于暗通道先验去雾方法的物理模型为：
Figure FDA0002537420440000022
式中，为避免透射率取值过小造成是真，对透射率的下限值做了限定，原文中取限定值t0为0.1。
5.根据权利要求4所述的一种基于深度学习的雾天下车辆检测方法，其特征在于，具体的：对于一个任意的图片I(x)，其亮通道Ilight(x)表达式为：
Figure FDA0002537420440000023
亮通道先验理论中，图像中任意一像素点的亮通道值接近于无雾图像的大气光值Alight(x)，可得出下式：
Ilight(x)→Alight(x) (4)
上式可以得到：
Figure FDA0002537420440000031
结合亮通道和暗通道对大气光值进行估计得到大气光值A：
A＝αAlight(x)+βA0 (6)
结合结构相似性和信息熵参数信息，α和β均为变量参数，A0为通过暗通道先验方法中估计的大气光值；设定α＝0.7，β＝0.25。
6.根据权利要求1所述的一种基于深度学习的雾天下车辆检测方法，其特征在于，深度残差网络模型第一个卷积层采用32个大小为3×3的卷积核过滤416×416分辨率的输入图像，然后将第一个卷积层的输出作为输入，使用64个大小为3×3的卷积核以步长为2个像素进行卷积操作，实现2倍的下采样，得到208×208分辨率的特征图；然后在深度残差网络模型中添加执行1×，2×，2×，2×和2×的5组残差模块，同时在每2组的残差快之间连接数量不同的3×3大小的卷积核，步长均为2个像素，分别获得104×104，52×52，26×26，13×13大小的特征图。
7.根据权利要求1所述的一种基于深度学习的雾天下车辆检测方法，其特征在于，以矩形框的交并比RIOU作为相似度对雾天交通车辆图片的所有目标标注使用K-mens聚类方法获得锚的大小，K-means聚类的距离函数如下式：
d(B,C)＝1-RIOU(B,C)
其中：B为矩形框的大小，C为矩形框的中心，RIOU(B,C)表示两个矩形框的交叠比；
在每个尺度上的每一个单元格借助4个锚点框预测4个边界框；将13×13特征图经过两倍上样后与26×26特征图拼接，经过卷积运算得到一级拼接特征图；将一级拼接特征图经过两倍上采样后与52×52特征图拼接，经过卷积运算得到二级拼接特征图；将二级拼接特征图经过两倍上采样后与104×104特征图拼接，经过卷积运算得到多尺度检测特征图。
8.根据权利要求7所述的一种基于深度学习的雾天下车辆检测方法，其特征在于，矩形框的锚点框数量为12。
CN202010537207.8A 2020-06-12 2020-06-12 一种基于深度学习的雾天下车辆检测方法 Active CN111695514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010537207.8A CN111695514B (zh) 2020-06-12 2020-06-12 一种基于深度学习的雾天下车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010537207.8A CN111695514B (zh) 2020-06-12 2020-06-12 一种基于深度学习的雾天下车辆检测方法

Publications (2)

Publication Number Publication Date
CN111695514A true CN111695514A (zh) 2020-09-22
CN111695514B CN111695514B (zh) 2023-04-18

Family

ID=72480851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010537207.8A Active CN111695514B (zh) 2020-06-12 2020-06-12 一种基于深度学习的雾天下车辆检测方法

Country Status (1)

Country Link
CN (1) CN111695514B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183366A (zh) * 2020-09-29 2021-01-05 重庆大学 一种高压电力线鸟巢检测方法、系统及机器可读介质
CN112949389A (zh) * 2021-01-28 2021-06-11 西北工业大学 一种基于改进目标检测网络的雾霾图像目标检测方法
CN113076898A (zh) * 2021-04-09 2021-07-06 长安大学 一种交通车辆目标检测方法、装置、设备及可读存储介质
CN113409249A (zh) * 2021-05-17 2021-09-17 上海电力大学 一种基于端到端算法的绝缘子缺陷检测的方法
CN113435373A (zh) * 2021-07-05 2021-09-24 西安科技大学 一种矿井火灾视频图像智能识别装置及方法
CN113657183A (zh) * 2021-07-26 2021-11-16 西安邮电大学 一种基于多层特征的光滑神经网络下车辆24色识别方法
CN113705380A (zh) * 2021-08-11 2021-11-26 北京百度网讯科技有限公司 雾天的目标检测方法、装置、电子设备以及存储介质
CN114359791A (zh) * 2021-12-16 2022-04-15 北京信智文科技有限公司 一种基于Yolo v5网络和SlowFast网络的群体猕猴食欲检测方法
CN114549460A (zh) * 2022-02-21 2022-05-27 重庆长安汽车股份有限公司 一种基于暗通道法的雾天车辆检测方法
CN116343144A (zh) * 2023-05-24 2023-06-27 武汉纺织大学 一种融合视觉感知自适应去雾的实时目标检测方法
CN116824542A (zh) * 2023-06-13 2023-09-29 重庆市荣冠科技有限公司 一种基于深度学习的轻量级雾天车辆检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160071244A1 (en) * 2014-09-04 2016-03-10 National Taipei University Of Technology Method and system for image haze removal based on hybrid dark channel prior
CN109829400A (zh) * 2019-01-18 2019-05-31 青岛大学 一种快速车辆检测方法
CN110570371A (zh) * 2019-08-28 2019-12-13 天津大学 一种基于多尺度残差学习的图像去雾方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160071244A1 (en) * 2014-09-04 2016-03-10 National Taipei University Of Technology Method and system for image haze removal based on hybrid dark channel prior
CN109829400A (zh) * 2019-01-18 2019-05-31 青岛大学 一种快速车辆检测方法
CN110570371A (zh) * 2019-08-28 2019-12-13 天津大学 一种基于多尺度残差学习的图像去雾方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵栓峰;许倩;丁志兵;黄涛;: "深度预警网络的车辆识别与检测" *
赵爽;黄怀玉;胡一鸣;娄小平;王欣刚;: "基于深度学习的无人机航拍车辆检测" *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183366A (zh) * 2020-09-29 2021-01-05 重庆大学 一种高压电力线鸟巢检测方法、系统及机器可读介质
CN112949389A (zh) * 2021-01-28 2021-06-11 西北工业大学 一种基于改进目标检测网络的雾霾图像目标检测方法
CN113076898A (zh) * 2021-04-09 2021-07-06 长安大学 一种交通车辆目标检测方法、装置、设备及可读存储介质
CN113076898B (zh) * 2021-04-09 2023-09-15 长安大学 一种交通车辆目标检测方法、装置、设备及可读存储介质
CN113409249A (zh) * 2021-05-17 2021-09-17 上海电力大学 一种基于端到端算法的绝缘子缺陷检测的方法
CN113435373B (zh) * 2021-07-05 2022-12-13 西安科技大学 一种矿井火灾视频图像智能识别装置及方法
CN113435373A (zh) * 2021-07-05 2021-09-24 西安科技大学 一种矿井火灾视频图像智能识别装置及方法
CN113657183A (zh) * 2021-07-26 2021-11-16 西安邮电大学 一种基于多层特征的光滑神经网络下车辆24色识别方法
CN113705380B (zh) * 2021-08-11 2023-08-01 北京百度网讯科技有限公司 雾天的目标检测方法、装置、电子设备以及存储介质
CN113705380A (zh) * 2021-08-11 2021-11-26 北京百度网讯科技有限公司 雾天的目标检测方法、装置、电子设备以及存储介质
CN114359791B (zh) * 2021-12-16 2023-08-01 北京信智文科技有限公司 一种基于Yolo v5网络和SlowFast网络的群体猕猴食欲检测方法
CN114359791A (zh) * 2021-12-16 2022-04-15 北京信智文科技有限公司 一种基于Yolo v5网络和SlowFast网络的群体猕猴食欲检测方法
CN114549460A (zh) * 2022-02-21 2022-05-27 重庆长安汽车股份有限公司 一种基于暗通道法的雾天车辆检测方法
CN116343144A (zh) * 2023-05-24 2023-06-27 武汉纺织大学 一种融合视觉感知自适应去雾的实时目标检测方法
CN116343144B (zh) * 2023-05-24 2023-08-11 武汉纺织大学 一种融合视觉感知自适应去雾的实时目标检测方法
CN116824542A (zh) * 2023-06-13 2023-09-29 重庆市荣冠科技有限公司 一种基于深度学习的轻量级雾天车辆检测方法

Also Published As

Publication number Publication date
CN111695514B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111695514B (zh) 一种基于深度学习的雾天下车辆检测方法
Wu et al. Traffic sign detection based on convolutional neural networks
CN108875608B (zh) 一种基于深度学习的机动车交通信号识别方法
CN110069986B (zh) 一种基于混合模型的交通信号灯识别方法及系统
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN108009518A (zh) 一种基于快速二分卷积神经网络的层次化交通标识识别方法
Zhang et al. Study on traffic sign recognition by optimized Lenet-5 algorithm
Zang et al. Traffic sign detection based on cascaded convolutional neural networks
CN108960074B (zh) 基于深度学习的小尺寸行人目标检测方法
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN107315990A (zh) 一种基于xcs‑lbp特征以及级联aksvm的行人检测算法
CN114049572A (zh) 识别小目标的检测方法
CN105893970A (zh) 基于亮度方差特征的夜间道路车辆检测方法
Yao et al. Coupled multivehicle detection and classification with prior objectness measure
CN111489330A (zh) 基于多源信息融合的弱小目标检测方法
Onim et al. Traffic surveillance using vehicle license plate detection and recognition in bangladesh
Tao et al. Contour-based smoky vehicle detection from surveillance video for alarm systems
CN116259032A (zh) 基于改进YOLOv5的道路交通标志检测与识别算法
CN112347967B (zh) 一种复杂场景下融合运动信息的行人检测方法
Golgire Traffic Sign Recognition using Machine Learning: A Review
CN111931577A (zh) 一种电网线路特定异物智能巡检方法
CN111597939A (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN112131996B (zh) 基于通道分离卷积的路侧图像多尺度行人快速检测方法
Feng et al. Traffic sign recognition based on YOLOX in extreme weather
Nooruddin et al. A bangladeshi license plate detection system based on extracted color features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant