CN111695514B - 一种基于深度学习的雾天下车辆检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的雾天下车辆检测方法，通过对采集到的雾天交通车辆图片进行图像预处理，采用深度残差网络模型对预处理后的雾天交通车辆图片进行特征提取，获取多个不同大小的特征图，然后对多个不同大小的特征图进行多尺度检测，得到多尺度检测特征图，提高特征提取精度，最后根据获取的多尺度检测特征图采用迁移学习方法对深度残差网络模型进行训练得到雾天下车辆检测网络模型，采用迁移学习方法精简了网络结构，不仅提高了检测速度，而且提高了目标检测精度，利用K‑means聚类方法进行聚类，得到网络所需的初始先验框的尺寸，对浅层网络的加深和整体框架的简化，提升了检测速度，简化了损失函数和预测的输出张量，提高了定位的效率。

Description

一种基于深度学习的雾天下车辆检测方法

技术领域

本发明属于交通车辆检测技术领域，具体涉及一种基于深度学习的雾天下车辆检测方法。

背景技术

随着经济的发展，汽车制造业的繁荣，车辆数目与日俱增，在给人们带来生活方便的同时，也给交通安全带来了严重的隐患。同时工业的进步，导致雾霾天气不断增加，雾霾天气下，能见度降低，驾驶员视野变得模糊，其容易造成交通事故。同时，雾霾天气车速普遍降低，会造成交通堵塞。因此，在雾霾天气下进行车辆将检测问题的研究，提供更好的车辆检测方法，对相关部门进行交通及时制定交通诱导政策，进行交通车流量控制以及救援计划有着重要的意义。

传统的目标检测方法借助于机器学习理论，对图像进行特征提取目标特征，如梯度方向直方图(Histogram of Oriented Gradients,HOG)、尺度不变特征转换(ScaleInvariant Feature Transform,SIFT)特征等进行提取，并将提取到的特征输入到如支持向量机(Support Vector Machine,SVM)、迭代器(AdaBoost)等分类器进行分类识别。这些提取的图像特征本质上是一种手工设计的特征，针对不同的图像检测问题，提取到的特征好坏对检测性能有着直接的影响，因此，需要研究人员针对某个特定的识别任务，泛化能力较差，难以在实际应用问题中设计出具有通用性和鲁棒性的特征。此外，传统机器学习方法从提取图像底层特征到提取表现特征流程相对复杂，并且严重依赖于人工的特征设计，因此，基于传统的机器学习方法的目标检测遇到瓶颈，期待更有效的方法提取图像特征。

2016年Redmon等提出的YOLO(You Only Look Once)v1以45FPS(Frames PerSecond)真正达到了可以检测视频的速度，这位快速检测视频运动目标指明了方向；Liu等提出了SSD(Single Shot multibox Detector)物体检测模型。随后，yolov2，yolov3，提升了检测精度，而且使得检测速度获得增强，但是YOLOv3网络在鉴别小目标且单类目标时，原始网络架构显得过于沉冗，尤其在雾天图像特征较为模糊情况下检测结果较差。

发明内容

本发明的目的在于提供一种基于深度学习的雾天下车辆检测方法，以克服现有技术的不足，本发明能够及时准确的检测出交通车辆，检测速度快、准确度高。

为达到上述目的，本发明采用如下技术方案：

一种基于深度学习的雾天下车辆检测方法，包括以下步骤：

步骤1)、采集雾天交通车辆图片；

步骤2)、对采集到的雾天交通车辆图片进行图像预处理；

步骤3)、采用深度残差网络模型对预处理后的雾天交通车辆图片进行特征提取，获取多个不同大小的特征图；

步骤4)、对多个不同大小的特征图进行多尺度检测，同时利用底层特征的高分辨率和高层特征的高语义信息，通过上采样融合不同层的特征，在三个不同尺度的特征层上实现特征图拼接，得到多尺度检测特征图；

步骤5)、根据获取的多尺度检测特征图采用迁移学习方法对深度残差网络模型进行训练，直至深度残差网络模型最大迭代次数为50000次，采用经过迭代后的深度残差网络模型即可实现雾天下车辆检测。

进一步的，采集的雾天交通车辆图片中，将车辆以外的信息设置为背景。

进一步的，步骤2)中对雾天交通车辆图片具体进行图像去雾、反转和对称处理。

进一步的，采用暗通道先验去雾方法对雾天交通车辆图片进行预处理，建立基于暗通道先验去雾方法的物理模型为：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

其中x表示图像中像素点所处于的位置，I(x)表示所观察到的有雾图像，

J(x)表示清晰无雾的图像，A表示大气光值，t(x)表示透射率；

建立无雾图像的暗原色J^dark(x)求解公式：

J^dark(x)＝min_y∈Ω(x)(min_c∈[R,G,B]J^c(y)) (2)

式中，C表示R、G、B三个通道的集合；J^c表示图像的一个颜色通道，Ω(x)表示以x为中心的方形滤波模板；无雾图像的非天空区域，J^dark(x)的值很低；

选取暗通道中值最大的0.1％的像素点，找出这些点在原含雾图像中对应点的亮度最大值，将该值作为全球大气光的估计值A；

由以下公式获取透射率值：

式中，ω表示去雾的程度，ω取0.95；

A^c表达通道c对应的大气光值，I^c(y)表示大气光阈值范围；

将获取的透射率值t(x)与大气光值A代入式(1)中，可得基于暗通道先验去雾方法的物理模型为：

式中，为避免透射率取值过小造成是真，对透射率的下限值做了限定，原文中取限定值t₀为0.1。

进一步的，具体的：对于一个任意的图片I(x)，其亮通道I^light(x)表达式为：

亮通道先验理论中，图像中任意一像素点的亮通道值接近于无雾图像的大气光值A^light(x)，可得出下式：

I^light(x)→A^light(x) (4)

上式可以得到：

结合亮通道和暗通道对大气光值进行估计得到大气光值A：

A＝αA^light(x)+βA₀ (6)

结合结构相似性和信息熵参数信息，α和β均为变量参数，A₀为通过暗通道先验方法中估计的大气光值；设定α＝0.7，β＝0.25。

进一步的，深度残差网络模型第一个卷积层采用32个大小为3×3的卷积核过滤416×416分辨率的输入图像，然后将第一个卷积层的输出作为输入，使用64个大小为3×3的卷积核以步长为2个像素进行卷积操作，实现2倍的下采样，得到208×208分辨率的特征图；然后在深度残差网络模型中添加执行1×，2×，2×，2×和2×的5组残差模块，同时在每2组的残差快之间连接数量不同的3×3大小的卷积核，步长均为2个像素，分别获得104×104，52×52，26×26，13×13大小的特征图。

进一步的，以矩形框的交并比R_IOU作为相似度对雾天交通车辆图片的所有目标标注使用K-mens聚类获得锚的大小，K-means聚类的距离函数如下式：

d(B,C)＝1-R_IOU(B,C)

其中：B为矩形框的大小，C为矩形框的中心，R_IOU(B,C)表示两个矩形框的交叠比；

在每个尺度上的每一个单元格借助4个锚点框预测4个边界框；将13×13特征图经过两倍上样后与26×26特征图拼接，经过卷积运算得到一级拼接特征图；将一级拼接特征图经过两倍上采样后与52×52特征图拼接，经过卷积运算得到二级拼接特征图；将二级拼接特征图经过两倍上采样后与104×104特征图拼接，经过卷积运算得到多尺度检测特征图。

进一步的，矩形框的锚点框数量为12。

与现有技术相比，本发明具有以下有益的技术效果：

本发明一种基于深度学习的雾天下车辆检测方法，通过对采集到的雾天交通车辆图片进行图像预处理，增加网络训练的鲁棒性，采用深度残差网络模型对预处理后的雾天交通车辆图片进行特征提取，获取多个不同大小的特征图，然后对多个不同大小的特征图进行多尺度检测，得到多尺度检测特征图，提高特征提取精度，最后根据获取的多尺度检测特征图采用迁移学习方法对深度残差网络模型进行训练得到雾天下车辆检测网络模型，采用迁移学习方法精简了网络结构，不仅提高了检测速度，而且提高了目标检测精度。

进一步的，利用K-means聚类方法进行聚类，得到网络所需的初始先验框的尺寸，通过对浅层网络的加深和整体框架的简化，提升了检测速度，在训练时，简化了损失函数和预测的输出张量，提高了定位的效率。

附图说明

图1为本发明实施例中具体方法框图。

图2为本发明实施例中采集的原始雾天交通车辆图片。

图3为本发明实施例中对原始雾天交通车辆图片去雾后的雾天交通车辆图片。

图4为本发明实施例中多尺度检测流程图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

如图1所示，一种基于深度学习的雾天下车辆检测方法，包括以下步骤：

步骤1)，采集雾天交通车辆图片；

采集的雾天交通车辆图片中，车辆以外的信息为背景，具体采集的雾天交通车辆图片如图2所示。

步骤2)、对采集到的雾天交通车辆图片进行图像预处理，具体是对雾天交通车辆图片进行图像去雾、反转和对称处理，扩充数据集，增加网络训练的鲁棒性；

具体的，采用暗通道先验去雾方法对图像进行预处理，建立基于暗通道先验去雾方法的物理模型为：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

其中x表示图像中像素点所处于的位置，I(x)表示所观察到的有雾图像，

J(x)表示清晰无雾的图像，A表示大气光值，t(x)表示透射率；

对于无雾图像非天空的局部区域，图像中R、G、B通道中至少有一个颜色通道值很低；

建立无雾图像的暗原色J^dark(x)求解公式：

J^dark(x)＝min_y∈Ω(x)(min_c∈[R,G,B]J^c(y)) (2)

式中，C表示R、G、B三个通道的意思；J^c表示图像的一个颜色通道，Ω(x)表示以x为中心的方形滤波模板；无雾图像的非天空区域，J^dark(x)的值很低；

选取暗通道中值最大的0.1％的像素点，找出这些点在原含雾图像中对应点的亮度最大值，将该值作为全球大气光的估计值，具体的，对于一个任意的图片I(x)，其亮通道I^light(x)表达式为：

亮通道先验理论中，图像中任意一像素点的亮通道值接近于无雾图像的大气光值A^light(x)，可得出下式：

I^light(x)→A^light(x) (4)

上式可以得到：

结合亮通道和暗通道对大气光值进行估计得到大气光值A：

A＝αA^light(x)+βA₀ (6)

结合结构相似性和信息熵参数信息，α和β均为变量参数，A₀为通过暗通道先验方法中估计的大气光值；设定α＝0.7，β＝0.25。

由以下公式获取透射率值：

式中，ω表示去雾的程度，ω取0.95；

A^c表达通道c对应的大气光值，I^c(y)表示大气光阈值范围；

将获取的透射率值t(x)与大气光值A代入式(1)中，可得基于暗通道先验去雾方法的物理模型为：

式中，为避免透射率取值过小造成是真，对透射率的下限值做了限定，原文中取限定值t₀为0.1；去雾后的图像如图3所示。

步骤3)、采用深度残差网络模型对预处理后的雾天交通车辆图片进行特征提取，获取多个不同大小的特征图；

具体的，深度残差网络模型采用多层残差网络方法建立，第一个卷积层采用32个大小为3×3的卷积核过滤416×416分辨率的输入图像，然后将第一个卷积层的输出作为输入，使用64个大小为3×3的卷积核以步长为2个像素进行卷积操作，实现2倍的下采样，得到208×208分辨率的特征图。之后再网络中添加执行1×，2×，2×，2×，2×的5组残差模块，同时在每2组的残差快之间连接数量不同的3×3大小的卷积核，步长均为2个像素，分别获得104×104，52×52，26×26，13×13大小的特征图，具体深度残差网络模型网络结构如表1所示：

表1特征提取网络结构

步骤4)，对多个不同大小的特征图进行多尺度检测，同时利用底层特征的高分辨率和高层特征的高语义信息，通过上采样融合不同层的特征，在三个不同尺度的特征层上实现特征图拼接，得到多尺度检测特征，具体如图4所示；

具体包括以下步骤：以矩形框的交并比R_IOU作为相似度对雾天交通车辆图片的所有目标标注使用K-mens聚类获得锚的大小，K-means聚类的距离函数如下式：

d(B,C)＝1-R_IOU(B,C)

其中：B为矩形框的大小，C为矩形框的中心，R_IOU(B,C)表示两个矩形框的交叠比；

本申请权衡平均交并比与锚点框数量，取12个锚点框，分别为(8,10)，(10,6)，(13,8)，(15,10)，(30,50)，(45,35)，(62,45)，(80,119)，(116,90)，(135,135)，(156,198)，(250,160)。在每个尺度上的每一个单元格借助4个锚点框预测4个边界框；将13×13特征图经过两倍上样后与26×26特征图拼接，经过卷积运算得到一级拼接特征图；将一级拼接特征图经过两倍上采样后与52×52特征图拼接，经过卷积运算得到二级拼接特征图；将二级拼接特征图经过两倍上采样后与104×104特征图拼接，经过卷积运算得到多尺度检测特征图，从而达到多尺度检测的目的。

步骤5)、根据获取的多尺度检测特征图采用迁移学习方法对深度残差网络模型进行训练，直至深度残差网络模型最大迭代次数为50000次，即可得到雾天下车辆检测网络模型，基于雾天下车辆检测网络模型实现雾天下车辆检测。本申请通过在VOC2007数据集所训练好的权重上做迁移训练，采用迁移学习方法，可以有效解决数据集少的问题。

对本申请方案进行验证：

本申请针对2617张雾天交通车辆图片的原始彩色图片进行验证，经过人工标注，每张图片均已标注好了车辆所在的位置，原始图像大小为2560×1632。为了提高网络训练与测试的效率，将原始图像下采样为640×480分辨率进行实验和性能评价价。同时为了增加模型的泛化能力，对原始数据集采用多种数据增强策略，如随机亮度、饱和度、对比度变化，添加随机椒盐噪声，随机镜像翻转等方法，以扩充训练的数据量，进一步提高模型的泛化能力。在Linux环境下完成，操作系统为Ubuntu16.04，配置为CPU为Intel Xeon E3-1225v6，GPU为Nvidia Quadro p4000，显存为8GB。整个训练过程中，采用小批量随机梯度下降法，批量大小为64，最大迭代此处为50000次，动量参数设置为0.9，衰减系数设置为0.0005，初始化学习率为η_lr＝0.001在迭代次数为15000时，调整学习率η_lr＝0.0005，当迭代次数为25000时，调整整学习率η_lr＝0.0001。

由于研究内容属于多目标检测，在综合精确率(precision)、召回率(recall)、F1值(F1-measure，F1)和检测速度作为评价标准的同时，还需要使用平均精度(averageprecision，AP)来进行综合对比：

Precision:

Recall:

F1-measure:

AP:

其中：T_p表示把正例正确分类为正例(true positive)，F_p把负例错误分类正例(false positive)，F_N表示把正例错误分类为负例(false negative)。AP为平均精度，采用的是VOC2007中的标准，设定一组阈值，[0，0.1，0.2，...，1]，然后对于recall大于每一个阈值得到对应的最大precision，AP即为这些最大的precision的平均值。

将本申请方法与YOLOv3、YOLOv3-tiny和YOLOv2进行比较，图像在训练前均缩放至640×480检测结果对比见表2。

表2不同算法针对雾天下车辆检测结果

由表2中数据使用的模型是去AP值最大的模型，并且召回率、精度是通过调整阈值使F1值最大获得。从表2中可以看出，本文提出的算法在300张的测试集中得到了精度97.64％、召回率87.52％、平均精度85.44％，相对于YOLOv3分别提升了3％，14％，10％，相对于YOLOv3-tiny分别提升了7％，17％，15％。分析原因为在原有的YOLOv3基础上，增加了利于检测小目标的大尺度特征图，并且由于雾天图像特征多为模糊，所以在浅层网络结构上适当的增加了网络深度。在检测速度上，本文提出的方法为40.77f/s，相对于YOLOv3的24.70f/s，提升了40％。对于单类物体的检测，原有的Darknet53网络有些过于复杂与陈冗，过多的参数参与运算，会导致运行速度极大增加，而本文提出的方法相对于雾天图片的特点，减少了网络层数，提升了运行速率。

本申请通过对雾天交通车辆图片的去雾处理，数据增强之后，利用深度残差网络模型对输入的图片进行特征提取与多尺度融合，同时利用K-means算法进行聚类，得到网络所需的初始先验框的尺寸，通过对浅层网络的加深和整体框架的简化，提升了检测速度，在训练时，简化了损失函数和预测的输出张量，提高了定位的效率。实验结果表明，在大雾天气下检测车辆情况下精确度达到了97％，召回率达到87％，速度打40帧/秒。雾天检测是一个迫切需要解决的问题，通过应用本文提出的实时检测算法，可以很好的帮助相关部门信息更好的检测交通，为交通事业更好的服务。

Claims (6)

1.一种基于深度学习的雾天下车辆检测方法，其特征在于，包括以下步骤：

步骤1)、采集雾天交通车辆图片；

步骤2)、对采集到的雾天交通车辆图片进行图像预处理；

步骤3)、采用深度残差网络模型对预处理后的雾天交通车辆图片进行特征提取，获取多个不同大小的特征图；深度残差网络模型第一个卷积层采用32个大小为3×3的卷积核过滤416×416分辨率的输入图像，然后将第一个卷积层的输出作为输入，使用64个大小为3×3的卷积核以步长为2个像素进行卷积操作，实现2倍的下采样，得到208×208分辨率的特征图；然后在深度残差网络模型中添加执行1×，2×，2×，2×和2×的5组残差模块，同时在每2组的残差快之间连接数量不同的3×3大小的卷积核，步长均为2个像素，分别获得104×104，52×52，26×26，13×13大小的特征图；

步骤4)、对多个不同大小的特征图进行多尺度检测，同时利用底层特征的高分辨率和高层特征的高语义信息，通过上采样融合不同层的特征，在三个不同尺度的特征层上实现特征图拼接，得到多尺度检测特征图；

以矩形框的交并比R_IOU作为相似度对雾天交通车辆图片的所有目标标注使用K-mens聚类方法获得锚的大小，K-means聚类的距离函数如下式：

d(B,C)＝1-R_IOU(B,C)

其中：B为矩形框的大小，C为矩形框的中心，R_IOU(B,C)表示两个矩形框的交叠比；

在每个尺度上的每一个单元格借助4个锚点框预测4个边界框；将13×13特征图经过两倍上样后与26×26特征图拼接，经过卷积运算得到一级拼接特征图；将一级拼接特征图经过两倍上采样后与52×52特征图拼接，经过卷积运算得到二级拼接特征图；将二级拼接特征图经过两倍上采样后与104×104特征图拼接，经过卷积运算得到多尺度检测特征图；

步骤5)、根据获取的多尺度检测特征图采用迁移学习方法对深度残差网络模型进行训练，直至深度残差网络模型最大迭代次数为50000次，采用经过迭代后的深度残差网络模型即可实现雾天下车辆检测。

2.根据权利要求1所述的一种基于深度学习的雾天下车辆检测方法，其特征在于，采集的雾天交通车辆图片中，将车辆以外的信息设置为背景。

3.根据权利要求1所述的一种基于深度学习的雾天下车辆检测方法，其特征在于，步骤2)中对雾天交通车辆图片具体进行图像去雾、反转和对称处理。

4.根据权利要求3所述的一种基于深度学习的雾天下车辆检测方法，其特征在于，采用暗通道先验去雾方法对雾天交通车辆图片进行预处理，建立基于暗通道先验去雾方法的物理模型为：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

其中x表示图像中像素点所处于的位置，I(x)表示所观察到的有雾图像，

J(x)表示清晰无雾的图像，A表示大气光值，t(x)表示透射率；

建立无雾图像的暗原色J^dark(x)求解公式：

J^dark(x)＝min_y∈Ω(x)(min_c∈[R,G,B]J^c(y)) (2)

式中，C表示R、G、B三个通道的集合；J^c表示图像的一个颜色通道，Ω(x)表示以x为中心的方形滤波模板；无雾图像的非天空区域，J^dark(x)的值很低；

选取暗通道中值最大的0.1％的像素点，找出这些点在原含雾图像中对应点的亮度最大值，将该值作为全球大气光的估计值A；

由以下公式获取透射率值：

式中，ω表示去雾的程度，ω取0.95；

A^c表达通道c对应的大气光值，I^c(y)表示大气光阈值范围；

将获取的透射率值t(x)与大气光值A代入式(1)中，可得基于暗通道先验去雾方法的物理模型为：

式中，为避免透射率取值过小造成是真，对透射率的下限值做了限定，原文中取限定值t₀为0.1。

5.根据权利要求4所述的一种基于深度学习的雾天下车辆检测方法，其特征在于，具体的：对于一个任意的图片I(x)，其亮通道I^light(x)表达式为：

亮通道先验理论中，图像中任意一像素点的亮通道值接近于无雾图像的大气光值A^light(x)，可得出下式：

I^light(x)→A^light(x) (4)

上式可以得到：

结合亮通道和暗通道对大气光值进行估计得到大气光值A：

A＝αA^light(x)+βA₀ (6)

结合结构相似性和信息熵参数信息，α和β均为变量参数，A₀为通过暗通道先验方法中估计的大气光值；设定α＝0.7，β＝0.25。

6.根据权利要求1所述的一种基于深度学习的雾天下车辆检测方法，其特征在于，矩形框的锚点框数量为12。

Images