CN111553201A - 一种基于YOLOv3优化算法的交通灯检测方法 - Google Patents

Abstract

本发明公开了一种基于YOLOv3优化算法的交通灯检测方法，结合k‑means算法与标签统计的结果确定先验框，再通过简化的网络提取图像的特征，利用高斯分布特性增加对边界框准确度的判断。与原始的YOLOv3检测方法相比，本文提出的方法具有更优的检测速度和精度。本文采用BDD100K数据集进行结果验证，实验结果表明，YOLOv3优化算法的平均精准率提高9%，检测速度可达30fps，提高了交通灯检测的精度和速度对于自动驾驶车辆的安全行驶具有重要意义。

Description

一种基于YOLOv3优化算法的交通灯检测方法

技术领域

本发明属于目标检测(Object detection)技术领域，具体涉及一种基于YOLOv3优化算法的交通灯检测方法。

背景技术

随着计算机视觉相关技术的不断突破与创新，目标检测算法在自动驾驶领域取得了重大进展,行人、车辆、道路线等各类道路目标检测算法应运而生。交通灯是室外场景语义视觉定位的重要标识物，同时交通灯对于辅助自动驾驶及构建高精度地图有着重要意义。

2009年De等基于点光源的检测算法，研究了一种车载摄像头实时交通灯识别系统。2012年Siogkas等结合颜色预处理模块，利用快速径向对称变换检测交通灯。2016年清华大学张长水等采用自适应背景抑制算法研究了光照对交通灯检测的影响。传统基于颜色的交通灯检测方法易受到光照、车辆尾灯等影响。深度卷积神经网络由于能够自主完成对目标特征的学习，提取关键信息，因而具有较强的鲁棒性。近年来，主要利用目标候选框思想和回归思想基于卷积神经网络构成目标检测算法。R-CNN、Fast R-CNN、Faster R-CNN等基于目标候选框思想的Two-stage检测算法，首先提取目标候选框，再利用检测网络在目标候选框的基础上完成模型训练。SSD、YOLO、YOLOv3等One-stage检测算法基于回归思想，摒弃了提取目标候选框的步骤，直接利用检测网络产生目标的类别和位置信息，拥有更高的检测速度。

发明内容

为解决上述问题，本发明公开了一种基于YOLOv3优化算法的交通灯检测方法，简化了特征提取步骤，避免了随着网络的加深而导致的交通灯特征消失问题，增加了对边界框可靠性的判断，相较于YOLOv3原始算法，可以有效提升交通灯的检测速度和精度。

为达到上述目的，本发明的技术方案如下：

一种基于YOLOv3优化算法的交通灯检测方法，首先采用k-means算法对数据集进行聚类，结合聚类结果和对交通灯标签的统计，确定先验框的宽高比及其数量；然后，根据交通灯尺寸特点，精简网络结构，分别将8倍降采样信息、16倍降采样信息与高层语义信息进行融合，在两个尺度上建立特征目标检测层；同时，为了避免随着网络加深而产生的交通灯特征消失问题，分别减少两个目标检测层前的两组卷积层，简化特征提取步骤；最后，在损失函数中利用高斯分布特性增加对边界框准确度的判断。

步骤1.YOLOv3检测理论

YOLOv3将图像划分成S×S的网格，目标中心所在的网格负责完成对目标的预测。为完成对C类目标的检测，每个网格需要预测B个边界框及C个条件类别概率，并输出表征边界框中是否包含目标及输出边界框准确度的置信度信息。每个边界框对应的类别置信度计算方法如下所示：

式中，如果网格包含目标，也即目标的中心落在网格内，则Pr(object)的取值为1，否则为0。

表示预测边界框与真实边界框的交并比。每个边界框属于某一类别的详细置信度信息由每个边界框的类别置信度与条件类别概率的乘积构成，计算方法如下所示：

式中，i＝1，2，…，C.

预测得到的边界框中心坐标为(x₀，y₀)，边界框的宽为w₀，高为h₀。为了增加网络的收敛速度，对边界框的中心坐标、宽和高参数进行归一化处理，计算公式如下所示：

式中，(x_c，y_c)代表中心点所在的网格坐标；(w_img，h_img)代表图像的宽度和高度；s代表网格的列数或行数。根据每个网格的输出，计算得到网络的输出大小为S×S×(5×B+C)。

步骤2.数据集标签聚类

先验框用来预测边界框偏移的参考框，具有固定的宽高值。先验框选择的优劣对最终的检测结果有直接的影响。

本发明采用平均交并比(Avg IOU)作为度量标签相似性的指标，避免了由标签尺寸大小在聚类过程中引入的误差，距离公式可表示为：

d(box，centroid)＝1-AvgIOU(box，centroid) (4)

本发明定义d(box，centriod)为标签到聚类中心的距离，AvgIOU(box，centroid)代表标签和聚类中心的交并比。

对数据集中的交通灯标签进行聚类分析，从1开始不断增加聚类中心的个数，得到聚类中心数量k与AvgIOU之间的关系。为了设置与交通灯的尺寸以及比例相匹配的先验框，对数据集中的标签分布情况进行统计，得到目标标签的分布情况。本发明通过K-means算法完成对被检目标尺寸的维度聚类分析，并结合对标签的统计结果确定先验框的参数，以减少训练过程中的匹配误差。

步骤3.网络结构优化

首先将图像统一缩放到3通道分辨率为672×672像素的形式，再利用Darknet-53提取交通灯目标的特征，交替使用3×3和1×1大小的卷积核进行运算，为得到更适合检测交通灯目标的深度卷积神经网络，精简原始YOLOv3网络，并融合大特征图的细节信息和小特征图的语义信息，在两个尺度上训练出最终的交通灯目检测模型。具体步骤如下：

步骤3.1、使用交替的1×1和3×3的卷积核，得到是原始图像1/8尺寸的特征图M¹；

步骤3.2、在特征图M¹后交替使用1×1和3×3的卷积核，降采样到其1/2，得到是原始图像1/16尺寸的特征图M²；

步骤3.3、在特征图M²后交替使用1×1和3×3的卷积核，降采样到其1/2，得到是原始图像1/32尺寸的特征图M³；

步骤3.4、将特征图M³与M²通过1×1和3×3的卷积核进行特征融合，建立第一层目标检测层；

步骤3.5、将特征图M³与M¹通过1×1和3×3的卷积核进行特征融合，建立第二层目标检测层；

步骤3.6、将先验框分别放到两个目标检测层，用于训练所述卷积神经网络。

步骤4.利用高斯分布优化损失函数

本发明在YOLOv3损失函数中利用高斯分布特性增加对每个检测框不确定性的判断，以提升网络的精度。YOLOv3算法的损失函数的设计主要从边界框坐标预测误差、边界框的置信度误差、分类预测误差这三个方面进行考虑。YOLOv3损失函数公式可表示为：

式中，S表示图像的网格数，B表示每个网格中预测的边界框数，C表示总类别数，P表示目标属于某一类别的概率，c＝0，1，…C为类别序号，C＝0，1，…S²为网格序号，j＝0，1，…B为边框序号；x_i表示属于第i个网格的边界框中心点的横坐标，y_i表示属于第i个网格的边界框中心点的纵坐标，w_i表示属于第i个网格的边界框的宽度，h_i表示属于第i个网格的边界框的高度，λ_coord为权重系数，λ_noobj为惩罚权重系数。

表示第i个网格的第j个边界框是否负责预测这个目标，取值为0或1。

本发明受Gaussian YOLOv3的启发，利用高斯分布特性改进损失函数，增加对交通灯边界框可靠性的判断，以边界框中心点x方向坐标为例，修改后的边界框x坐标预测误差计算方法如下所示：

式中，t_x表示边界框的中心坐标相对于网格左上角x坐标的偏移量，W和H分别对应预测层中网格的数目，k对应先验框的数目，

表示输出层第(i，j)个网格中第k个先验框的t_x的均值，

表示对应的t_x的不确定性。

表示t_x的真值，γ_ijk表示权重参数。

本发明的有益效果是：

本发明提出一种基于YOLOv3优化算法的交通灯检测方法，与传统的YOLOv3算法相比，本发明提到的交通灯检测方法在兼具检测速度的同时，可以提高检测精度；本发明提出的方法可以将平均精准率提高9％；对于提高交通灯检测的精度和速度对于自动驾驶车辆的安全行驶具有重要意义。

附图说明

图1是基于YOLOv3优化算法的交通灯检测方法的流程图；

图2是目标标签分布统计图；

图3是聚类分析结果图；

图4是YOLOv3优化算法网络结构图；

图5是YOLOv3优化算法平均损失函数及平均交并比曲线；

图6是YOLOv3网络的AP曲线；

图7是YOLOv3优化网络的AP曲线；

图8是不同场景和目标尺寸下网络的平均精准度对比图；

图9是不同场景和目标尺寸下网络的检测结果对比图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明使用BDD100K数据集对提出的基于YOLOv3优化算法的交通灯检测方法进行了实验。

表1对比了YOLOv3算法和YOLOv3优化算法的总体目标检测结果。其中，YOLOv3优化算法对交通灯的检测平均精准度达到46.78％，召率达到57.58％，精确率达到69.70％，测试单张图片的时间为33ms，较YOLOv3相比，平均精准度提升9.11％，召回率提升8％，精确率提升3％，测试单张图片的时间减少4ms。

表1总体目标检测结果对比

Table 1comparison of total object detection results

根据光线变化、天气变化和目标尺寸分别将测试集分别划分为白天和夜晚两种子测试集、雨天和非雨天两种子测试集、大目标和小目标两种子测试集。表2、表3对比了YOLOv3网络和YOLOv3优化网络在不同目标尺寸和不同场景下的检测精确率、召回率和平均精准度。

表2不同目标尺寸下的检测精确率、召回率和平均精准度

Table 2Detection precision，recall and average precision in differentobject sizes

表3不同场景下的检测精确率、召回率和平均精准度

Table 3Detection precision，recall and average precision in differentscenes

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

Claims (2)

1.一种基于YOLOv3优化算法的交通灯检测方法，其特征在于：首先采用k-means算法对数据集进行聚类，结合聚类结果和对交通灯标签的统计，确定先验框的宽高比及其数量；然后，根据交通灯尺寸特点，精简网络结构，分别将8倍降采样信息、16倍降采样信息与高层语义信息进行融合，在两个尺度上建立特征目标检测层；同时，为了避免随着网络加深而产生的交通灯特征消失问题，分别减少两个目标检测层前的两组卷积层，简化特征提取步骤；最后，在损失函数中利用高斯分布特性增加对边界框准确度的判断。

2.根据要求1所述的一种基于YOLOv3优化算法的交通灯检测方法，其特征在于：包括如下具体步骤：

步骤2.1YOLOv3检测理论

YOLOv3将图像划分成S×S的网格，目标中心所在的网格负责完成对目标的预测，为完成对C类目标的检测，每个网格需要预测B个边界框及C个条件类别概率，并输出表征边界框中是否包含目标及输出边界框准确度的置信度信息，每个边界框对应的类别置信度计算方法如下所示：

式中，如果网格包含目标，也即目标的中心落在网格内，则Pr(object)的取值为1，否则为0，

表示预测边界框与真实边界框的交并比，每个边界框属于某一类别的详细置信度信息由每个边界框的类别置信度与条件类别概率的乘积构成，计算方法如下所示：

式中，i＝1，2，…，C，

预测得到的边界框中心坐标为(x₀，y₀)，边界框的宽为w₀，高为h₀，为了增加网络的收敛速度，对边界框的中心坐标、宽和高参数进行归一化处理，计算公式如下所示：

式中，(x_c，y_c)代表中心点所在的网格坐标；(w_img，h_img)代表图像的宽度和高度；s代表网格的列数或行数，根据每个网格的输出，计算得到网络的输出大小为S×S×(5×B+C)，

步骤2.2数据集标签聚类

先验框用来预测边界框偏移的参考框，具有固定的宽高值，先验框选择的优劣对最终的检测结果有直接的影响，

采用平均交并比作为度量标签相似性的指标，避免了由标签尺寸大小在聚类过程中引入的误差，距离公式表示为：

d(box，centroid)＝1-AvgIOU(box，centroid) (4)

d(box，centriod)为标签到聚类中心的距离，AvgIOU(box，centroid)代表标签和聚类中心的交并比，

对数据集中的交通灯标签进行聚类分析，从1开始不断增加聚类中心的个数，得到聚类中心数量k与AvgIOU之间的关系，为了设置与交通灯的尺寸以及比例相匹配的先验框，对数据集中的标签分布情况进行统计，得到目标标签的分布情况，通过K-means算法完成对被检目标尺寸的维度聚类分析，并结合对标签的统计结果确定先验框的参数，以减少训练过程中的匹配误差，

步骤2.3网络结构优化

首先将图像统一缩放到3通道分辨率为672×672像素的形式，再利用Darknet-53提取交通灯目标的特征，交替使用3×3和1×1大小的卷积核进行运算，为得到更适合检测交通灯目标的深度卷积神经网络，精简原始YOLOv3网络，并融合大特征图的细节信息和小特征图的语义信息，在两个尺度上训练出最终的交通灯目检测模型，具体步骤如下：

步骤2.3.1、使用交替的1×1和3×3的卷积核，得到是原始图像1/8尺寸的特征图M1；

步骤2.3.2、在特征图M1后交替使用1×1和3×3的卷积核，降采样到其1/2，得到是原始图像1/16尺寸的特征图M²；

步骤2.3.3、在特征图M²后交替使用1×1和3×3的卷积核，降采样到其1/2，得到是原始图像1/32尺寸的特征图M³；

步骤2.3.4、将特征图M³与M²通过1×1和3×3的卷积核进行特征融合，建立第一层目标检测层；

步骤2.3.5、将特征图M³与M¹通过1×1和3×3的卷积核进行特征融合，建立第二层目标检测层；

步骤2.3.6、将先验框分别放到两个目标检测层，用于训练所述卷积神经网络，

步骤2.4利用高斯分布优化损失函数

损失函数用来度量神经网络预测值与真实值之间的误差，是决定模型检测效果的重要参数之一，

在YOLOv3损失函数中利用高斯分布特性增加对每个检测框不确定性的判断，以提升网络的精度，YOLOv3算法的损失函数的设计从边界框坐标预测误差、边界框的置信度误差、分类预测误差这三个方面进行考虑，YOLOv3损失函数公式表示为：

式中，S表示图像的网格数，B表示每个网格中预测的边界框数，C表示总类别数，P表示目标属于某一类别的概率，c＝0，1，…C为类别序号，C＝0，1，…S²为网格序号，j＝0，1，…B为边框序号；x_i表示属于第i个网格的边界框中心点的横坐标，y_i表示属于第i个网格的边界框中心点的纵坐标，w_i表示属于第i个网格的边界框的宽度，h_i表示属于第i个网格的边界框的高度，λ_coord为权重系数，λ_noobj为惩罚权重系数，

表示第i个网格的第j个边界框是否负责预测这个目标，取值为0或1，

利用高斯分布特性改进损失函数，增加对交通灯边界框可靠性的判断，以边界框中心点x方向坐标为例，修改后的边界框x坐标预测误差计算方法如下所示：

式中，t_x表示边界框的中心坐标相对于网格左上角x坐标的偏移量，W和H分别对应预测层中网格的数目，k对应先验框的数目，

表示输出层第(i，j)个网格中第k个先验框的t_x的均值，

表示对应的t_x的不确定性，

表示t_x的真值，γ_ijk表示权重参数。

Images