CN108875608A - 一种基于深度学习的机动车交通信号识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的机动车交通信号识别方法，具体步骤如下：步骤一，预处理；步骤二，交通信号灯的定位；步骤三，交通信号灯的识别；步骤四，得到结果：通过步骤一至步骤三得出最终识别结果，用三维向量表示最终识别结果的信号灯状态信息。本发明采用卷积神经网络对交通信号灯进行定位，定位精度更高，采集的图像直接输入训练好的网络，定位更方便快捷，鲁棒性和泛化性能更好；本发明提出的带有压缩扩展模块的10层卷积神经网络在保证识别精度的情况下大大减少了网络的参数，缩小了网络模型的大小；本发明不仅能识别出红绿灯的颜色，还结合各个方向给出方向+颜色的识别结果，适用于大部分机动车交通信号的识别。

Description

一种基于深度学习的机动车交通信号识别方法

技术领域

本发明涉及交通信号识别领域，具体是一种基于深度学习的机动车交通信号识别方法。

背景技术

随着社会经济的飞速发展，越来越多的汽车进入人们的生活。汽车在给人们带来方便和快捷的同时也带来了日益突出的交通安全问题。由此，辅助驾驶、无人驾驶日渐兴起，成为如今大热的研究方向。而无论是辅助驾驶还是无人驾驶，交通信号的识别都是重要的基础性研究工作。目前，传统的交通信号识别主要是运用图像预处理、像素点统计、模板匹配等方法，识别效果差强人意，并且很难进行场景的移植，对于一些强光、弱光、远处的信号灯识别效果不佳。

在有关交通信号识别领域，大多数都是利用传统的图像处理技术。如公开号为106023623A的中国发明专利公布说明书公开的基于机器视觉的车载交通信号与标志的识别及预警方法。对图像进行预处理，通过矩形框扫描确定备选检测区域，统计该区域红、黄、绿、黑像素点数量，根据统计结果判断红绿灯状态。此方法虽然可以识别出红绿灯的状态，但是形式过于固定，只能识别固定的情况，不适用于变化的场景，对光线、夜晚等场景不能很好的适应，不具有很好的鲁棒性和泛化性。

近年来，随着机器视觉、图像处理技术的不断发展，使利用视觉理解技术提供直观的驾驶帮助成为可能。同时，深度学习网络模型的提出，为交通信号灯的高精度识别技术提供更安全可靠的保障。深度学习的概念起源于人工神经网络的研究，它能够通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。相比于传统的手工获取特征，深度学习能够使用非监督式或半监督式的特征学习和分层特征提取算法完成特征是高效提取，但是尚未有深度学习在交通信号领域的应用。

发明内容

本发明的目的在于提供一种基于深度学习的机动车交通信号识别方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于深度学习的机动车交通信号识别方法，具体步骤如下：

步骤一，预处理：收集摄像头采集的交通信号灯的图像或视频信息并且进行预处理，预处理包括对图像进行人工标注、图像增强和滤波；

步骤二，交通信号灯的定位：对图像或视频信息使用第一深度卷积神经网络方法得到交通信号灯的位置数据，采用5层卷积层加2层全连接层的卷积神经网络，并采用ReLU激活函数和SVM分类器；

步骤三，交通信号灯的识别：使用第二深度卷积神经网络方法识别不同类型的交通信号灯，利用定位得到的位置数据作为训练集训练构建的卷积神经网络，不断调整网络参数直到满足收敛条件，网络采用模块化结构，共10层，第一和最后一层为卷积层，中间8层为模块层，网络采用最大池化进行降采样以及全图平均池化得到分类得分，并采用softmax归一化函数得到分类概率；

步骤四，得到结果：通过步骤一至步骤三得出最终识别结果，用三维向量表示最终识别结果的信号灯状态信息。

作为本发明进一步的方案：人工标注为将视频数据信息按帧提取出一张张图像，将图像信息进行人工标注，图像标记格式为标签；图像增强为采用光线补偿和直方图均衡化对图像进行增强；滤波为采用均值、中值或低通滤波对图像进行平滑滤波。

作为本发明进一步的方案：使用第一深度卷积神经网络方法得到交通信号灯的位置数据的具体步骤如下：

(1)候选区域生成：使用选择性搜索方法从一张图像中生成多个候选区域；

(2)特征学习：首先将候选区域归一化成同一尺寸227×227，采用7层卷积神经网络，前五层为卷积层，后两层为全连接层，每一层后面使用ReLU激活函数，其中1、2和5层后加池化层，1和2层后进行标准化；

(3)分类：对每一类目标使用一个线性SVM二类分类器进行判别，输入值为深度网络输出的4096维特征，输出是否属于此类；

(4)位置精修：对每一类目标使用一个线性脊回归器进行精修，正则项λ＝10000，输入为卷积神经网络第五层池化层的4096维特征，输出为xy方向的缩放和平移。

作为本发明进一步的方案：使用第二深度卷积神经网络方法识别不同类型的交通信号灯的具体步骤如下：

(1)选取10层卷积神经网络作为特征学习网络，第1层为卷积层，缩小输入图像，提取96维特征，第2层到第9层都是相同的模块，每个模块内部先减少通道数再增加通道数；每两个模块之后，通道数会增加；在1、4、8层之后加入降采样的最大池化层，缩小一半尺寸，第10层又是卷积层，为小图的每个像素预测1000类分类得分，最后用一个全图的平均池化得到这张图的1000类得分，使用softmax函数归一化为概率；

(2)模块包含三个卷积层，步长均为1，模块分为压缩部分和扩展部分，分别压缩和扩展数据的通道数，扩展部分中，两个不同核尺寸(1*1卷积核和3*3卷积核)的结果通过串接层合并输出，模块包括三个可调参数：s1:压缩部分，1×1卷积层的通道数；e1:扩展部分，1×1卷积层的通道数；e3:扩展部分，3×3卷积层的通道数；

(3)为适用于带有梯度下降法的网络，使网络参数尽快达到最优，将模块的权值矩阵初始化为非常非常小的随机数，将其阈值初始化为零；

(4)将人工标注好的图像数据输入构建的卷积神经网络中，通过前向传播和反向传播不断迭代优化网络参数，直至损失函数小于0.001。

作为本发明进一步的方案：最终识别结果通过训练后的卷积神经网络得出三维向量(x1，x2，x3)表示信号灯状态信息，其中x1表示左转，x2表示直行，x3表示右转，x＝0表示该方向是红灯，x＝1表示该方向是绿灯

与现有技术相比，本发明的有益效果是：

一、本发明采用卷积神经网络对交通信号灯进行定位，定位精度更高，采集的图像直接输入训练好的网络，定位更方便快捷，鲁棒性和泛化性能更好；

二、相比于一些经典的卷积神经网络识别算法，本发明提出的带有压缩扩展模块的10层卷积神经网络在保证识别精度的情况下大大减少了网络的参数，缩小了网络模型的大小；

三、本发明不仅能识别出红绿灯的颜色，还结合各个方向给出方向+颜色的识别结果，适用于大部分机动车交通信号的识别。

附图说明

图1为基于深度学习的机动车交通信号识别方法的整体流程图。

图2为基于深度学习的机动车交通信号识别方法中定位的流程图。

图3为基于深度学习的机动车交通信号识别方法中的网络结构图。

图4为基于深度学习的机动车交通信号识别方法的识别效果图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

如图1所示，本发明的方法，其实现包括以下步骤：

步骤a、对采集的交通信号的图像信息进行预处理，预处理包括对图像进行人工标注、图像增强和滤波等操作，其中图像和视频信息来源于交管部门、司机提供的以及实验室摄像机拍摄的图像及视频信息。视频数据信息按帧提取出一张张图像，将图像信息进行人工标注，图像标记格式为标签，每张图像标注三维向量(x1，x2，x3)，分别表示左转、直行和右转，x＝0表示红灯，x＝1表示绿灯，同时黄灯也用0表示。摄像机所采集的图像效果受外界光线变化影响较大，采用光线补偿、直方图均衡化等技术进行图像增强；采集的图像存在一定的噪声干扰，采用均值、中值、低通滤波等技术对图像进行平滑滤波。

步骤b、交通信号灯的定位，对图像或视频信息使用第一深度卷积神经网络学习得到交通信号灯的位置，如图2所示，具体如下：

首先分别建立训练和测试卷积神经网络的图像集，训练集、验证集和测试集的比例为99：1：1。

其次，使用选择性搜索方法从一张图像中生成约1000-2000个候选区域；为尽可能不遗漏候选区域，上述操作在多个颜色空间中同时进行(RGB,HSV,Lab等)。在一个颜色空间中，使用上述四条规则的不同组合进行合并。所有颜色空间与所有规则的全部结果，在去除重复后，都作为候选区域输出。

然后将候选区域归一化成同一尺寸227×227，构建7层卷积神经网络，前五层为卷积层，后两层为全连接层，每一层后面使用ReLU激活函数，其中1、2、5层后加池化层，1、2层后进行标准化；

再者，对每一类目标，使用一个线性SVM二类分类器进行判别，输入为深度网络输出的4096维特征，输出是否属于此类；由于负样本很多，使用hard negative mining方法。正样本：本类的真值标定框。负样本：考察每一个候选框，如果和本类所有标定框的重叠都小于0.3，认定其为负样本。

最后，对每一类目标，使用一个线性脊回归器进行精修，正则项λ＝10000，输入为卷积神经网络pool5层的4096维特征，输出为xy方向的缩放和平移。判定为本类的候选框中，和真值重叠面积大于0.6的候选框。

步骤c、交通信号灯的识别，使用第二深度卷积神经网络识别不同类型的交通信号灯，利用定位输出的数据作为训练集训练构建的卷积神经网络，根据损失函数大小不断调整网络参数直到满足网络收敛条件。

首先，构建10层卷积神经网络作为特征学习网络，如图3所示，第1层卷积层，缩小输入图像，提取96维特征。第2层到第9层都是相同的模块，每个模块内部先减少通道数再增加通道数。每两个模块之后，通道数会增加。在1、4、8层之后加入降采样的最大池化层，缩小一半尺寸。第10层卷积层，为小图的每个像素预测1000类分类得分。最后用一个全图的平均池化得到这张图的1000类得分，使用softmax函数归一化为概率。

如上所述的模块部分包含三个卷积层，步长均为1，其中k表示卷积核尺寸。分为压缩和扩展两部分，分别压缩和扩展数据的通道数。扩展部分中，两个不同核尺寸(1*1卷积核和3*3卷积核)的结果通过串接层合并输出。模块部分有三个可调参数：s1:压缩部分，1×1卷积层的通道数；e1:扩展部分，1×1卷积层的通道数；e3:扩展部分，3×3卷积层的通道数。

其次，为适用于带有梯度下降法的网络，使网络参数尽快达到最优，将其权值矩阵初始化为非常非常小的随机数，将其阈值初始化为零；

最后，将经过第一深度神经网络标注后的图像数据输入构建的第二深度卷积神经网络中，通过前向传播和反向传播不断迭代优化网络参数，直至满足J(w，b)＜0.001的收敛条件，采用交叉熵损失函数，如公式(1)所示；

步骤d、通过上述步骤得出最终识别结果，用三维向量表示识别出的信号灯状态信息。通过训练后的卷积神经网络得出三维向量(x1，x2，x3)表示信号灯状态信息，x1表示左转，x2表示直行，x3表示右转，x＝0表示该方向是红灯，x＝1表示该方向是绿灯，向量(0，1，1)表示左转红灯，直行和右转绿灯。识别结果示意图如图4所示。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种基于深度学习的机动车交通信号识别方法，其特征在于，具体步骤如下：

步骤一，预处理：收集摄像头采集的交通信号灯的图像或视频信息并且进行预处理，预处理包括对视频的分帧处理和对图像进行人工标注、图像增强和滤波；

步骤二，交通信号灯的定位：对图像或视频信息使用第一深度卷积神经网络方法得到交通信号灯的位置数据，采用5层卷积层加2层全连接层的卷积神经网络，并采用ReLU激活函数和SVM分类器；

步骤三，交通信号灯的识别：使用第二深度卷积神经网络方法识别不同类型的交通信号灯，利用定位得到的位置数据作为训练集训练构建的卷积神经网络，不断调整网络参数直到满足收敛条件，网络采用模块化结构，共10层，第一和最后一层为卷积层，中间8层为模块层，网络采用最大池化进行降采样以及全图平均池化得到分类得分，并采用softmax归一化函数得到分类概率；

步骤四，得到结果：通过步骤一至步骤三得出最终识别结果，用三维向量表示最终识别结果的信号灯状态信息。

2.根据权利要求1所述的基于深度学习的机动车交通信号识别方法，其特征在于，所述人工标注为将视频数据信息按帧提取出一张张图像，将图像信息进行人工标注，图像标记格式为标签；图像增强为采用光线补偿和直方图均衡化对图像进行增强；滤波为采用均值、中值或低通滤波对图像进行平滑滤波。

3.根据权利要求1或2所述的基于深度学习的机动车交通信号识别方法，其特征在于，所述使用第一深度卷积神经网络方法得到交通信号灯的位置数据的具体步骤如下：

(1)候选区域生成：使用选择性搜索方法从一张图像中生成多个候选区域；

(2)特征学习：首先将候选区域归一化成同一尺寸227×227，采用7层卷积神经网络，前五层为卷积层，后两层为全连接层，每一层后面使用ReLU激活函数，其中1、2和5层后加池化层，1和2层后进行标准化；

(3)分类：对每一类目标使用一个线性SVM二类分类器进行判别，输入值为深度网络输出的4096维特征，输出是否属于此类；

(4)位置精修：对每一类目标使用一个线性脊回归器进行精修，正则项λ＝10000，输入为卷积神经网络第五层池化层的4096维特征，输出为xy方向的缩放和平移。

4.根据权利要求1所述的基于深度学习的机动车交通信号识别方法，其特征在于，所述使用第二深度卷积神经网络方法识别不同类型的交通信号灯的具体步骤如下：

(1)选取10层卷积神经网络作为特征学习网络，第1层为卷积层，缩小输入图像，提取96维特征，第2层到第9层都是相同的模块，每个模块内部先减少通道数再增加通道数；每两个模块之后，通道数会增加；在1、4、8层之后加入降采样的最大池化层，缩小一半尺寸，第10层又是卷积层，为小图的每个像素预测1000类分类得分，最后用一个全图的平均池化得到这张图的1000类得分，使用softmax函数归一化为概率；

(2)模块包含三个卷积层，步长均为1，模块分为压缩部分和扩展部分，分别压缩和扩展数据的通道数，扩展部分中，两个不同核尺寸(1*1卷积核和3*3卷积核)的结果通过串接层合并输出，模块包括三个可调参数：s1:压缩部分，1×1卷积层的通道数；e1:扩展部分，1×1卷积层的通道数；e3:扩展部分，3×3卷积层的通道数；

(3)将模块的权值矩阵初始化为非常非常小的随机数，将其阈值初始化为零；

(4)将人工标注好的图像数据输入构建的卷积神经网络中，通过前向传播和反向传播不断迭代优化网络参数，直至损失函数小于0.001。

5.根据权利要求1所述的基于深度学习的机动车交通信号识别方法，其特征在于，所述最终识别结果通过训练后的卷积神经网络得出三维向量(x1，x2，x3)表示信号灯状态信息，其中x1表示左转，x2表示直行，x3表示右转，x＝0表示该方向是红灯，x＝1表示该方向是绿灯。