CN105930830A - 一种基于卷积神经网络的路面交通标志识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的路面交通标志识别方法，包括以下步骤：图像采集和预处理；卷积神经网络结构的设计及训练。本发明采用V‑视差法从原始图像中获取路面区域，能够降低非路面干扰造成的影响，使得提取路面区域的精度提高。本发明采用俯视图重构路面区域，将视觉图像里由于视角的原因，呈现出的不平行的线，重构为近似的平行线，更有利于路面交通标志的识别，提高了对视角倾斜的适应能力。本发明采用卷积神经网络这一深度学习方法，能够从大量的训练样本中提取到反映数据本质的隐性特征。相比于浅层学习分类器，它具有更高的学习效率和识别精度。

Description

一种基于卷积神经网络的路面交通标志识别方法

技术领域

本发明属于汽车安全辅助驾驶领域，特别涉及到一种路面交通标志识别方法。

背景技术

路面交通标志识别是汽车安全辅助驾驶系统研究中一项重要的研究内容，是保证汽车安全驾驶、减少交通事故的一种有效途径。

目前，路面交通标志识别的方法大致可以分为基于形状的识别方法、基于颜色的识别方法和基于机器学习的识别方法。基于形状的识别方法对视角倾斜的适应能力比较差。基于颜色的识别方法对于外界干扰比较多的环境无法取得令人足够满意的效果。基于机器学习的识别方法主要是应用分类器对目标进行分类，一般有人工神经网络、支持向量机等浅层学习模型。但是，这些方法需要提取目标的显式特征，容易造成重要信息的丢失，环境适应能力比较差；而且，有限的学习深度使其难以在参数和样本巨大的情况下，保证学习结构的效率。相比浅层学习，深度学习能够直接对原始图像进行识别，提取反映数据本质的隐性特征，具有足够的学习深度。卷积神经网络隐式地从训练数据中进行学习，具有局部权值共享的特性，对于环境复杂、多角度变化等情况都具有一定的实时性和鲁棒性。因此，需要设计一种能够精确获取道路场景中路面交通标志的识别方法。

发明内容

为解决现有技术存在的上述问题，本发明要设计一种能够精确获取道路场景中路面交通标志的基于卷积神经网络的路面交通标志识别方法，以便有助于辅助驾驶员在复杂的条件下更好地感知车外环境，预防交通事故的发生。

为了实现上述目的，本发明的技术方案如下：

一种基于卷积神经网络的路面交通标志识别方法，包括以下步骤：

A、图像采集和预处理

首先，通过安装在车辆前方的相机采集车辆行驶环境的RGB-D图像，即包含颜色RGB信息的彩色图像和深度Depth信息的深度图像；其次，采用V-视差法从深度图像中检测路面区域，将获取的路面区域作为路面交通标志识别的感兴趣区域；然后，通过计算得到相机的内部参数以及外部参数，对感兴趣区域进行俯视图重构；最后，从俯视图重构的路面区域中提取图像样本，即从图像左下角开始，在横向方向和纵向方向上，每间隔3个像素值，截取像素值大小为64×64的图像样本。

B、卷积神经网络结构的设计及训练

B1、卷积神经网络结构由9层组成，包括1个输入层、1个输出层、1个全连接层、6个隐含层，隐含层由3层卷积层和3层采样层交替组成。输入层的像素值大小为64×64的图像样本。输出层的神经元个数为5个，分别用于识别车道线、停止线、斑马线、行车方向箭头和限速数字。

大小为64×64的图像样本经输入层进入卷积层C1中。卷积层C1有32个大小为56×56的特征图，特征图的每个神经元与输入层中的一个大小为9×9的局部感受野相连接，卷积层C1具有的可训练参数为2624个，连接数为8228864个。采样层S2有32个大小为28×28的特征图，特征图的每个神经元与卷积层C1中的一个大小为2×2的邻域相连，采样层S2具有的可训练参数为64个，连接数为50176个。卷积层C3有64个大小为20×20的特征图，特征图的每个神经元与采样层S2中的一个大小为9×9的局部感受野相连，卷积层C3具有的可训练参数为5248个，连接数为2099200个。采样层S4有64个大小为10×10的特征图，特征图的每个神经元与卷积层C3的一个大小为2×2的邻域相连接，采样层S4具有的可训练参数为128个，连接数为12800个。卷积层C5有96个大小为2×2的特征图，特征图的每个神经元与采样层S4的一个9×9的局部感受野相连，卷积层C5具有的可训练参数为7872个，连接数为31488个。采样层S6有96个大小为1×1的特征图，特征图的每个神经元与卷积层C5的一个大小为2×2的邻域相连接，采样层S6具有的可训练参数为192个，连接数为192个。全连接层F7与采样层S6进行全连接，全连接层F7具有1440个神经元，139680个可训练参数。输出层由径向基函数单元组成。

卷积神经网络第l个卷积层中第j个神经元表示为：

$x_j^l=f(\underset{i\∈M_j}{\Σ}{x}_i^{l-1}*w_{ij}^l+b_j^l)---\left(1\right)$

式中：f(·)表示卷积层的激活函数，是当前层的输入神经元，w是卷积核，M_j代表输入特征图的一个选择，b代表偏置。其中，上标l∈{1,3,5}表示层数索引号；下标i＝1,2,3,……，表示第l层的神经元索引号；下标j＝1,2,3,……，表示第l-1层的神经元索引号。

卷积神经网络第l个采样层中第j个神经元表示为：

$x_j^l=g\left({\mathrm{\β}}_j^{l}down\right(x_i^{l-1})+k_j^l)---\left(2\right)$

式中：g(·)表示采样层的激活函数，β表示采样层的权值，down(·)代表采样函数，是对前一层图像的一个方形的区域求和，是当前层的输入神经元，k代表偏置。其中，上标l∈{2,4,6}表示层数索引号；下标i＝1,2,3,……，表示第l-1层的神经元索引号；下标j＝1,2,3,……，表示第l层的神经元索引号。

激活函数采用线性修正激活函数ReLU，其具体形式为：f＝max(0；x)，其能够使卷积神经网络的训练速度加快，并且能够较好的传递误差梯度。

B2、根据实际应用环境，将上述卷积神经网络的输出神经元的个数设定为5个，分别用于识别车道线、停止线、斑马线、行车方向箭头和限速数字。然后采用步骤A获得的图像样本进行训练。卷积神经网络采用离线训练的方式，卷积神经网络训练的样本集为10000张像素值大小为64×64的图像样本，且保证不同类别的样本数目相同。卷积神经网络初始权值的选取采用随机法产生。当卷积神经网络的输出值与期望值的误差在可接受范围内时，便得到用于路面交通标志识别的卷积神经网络。

与现有技术相比，本发明的益处是：

1、本发明采用V-视差法从原始图像中获取路面区域，能够降低非路面干扰造成的影响，使得提取路面区域的精度提高。

2、本发明采用俯视图重构路面区域，将视觉图像里由于视角的原因，呈现出的不平行的线，重构为近似的平行线，更有利于路面交通标志的识别，提高了对视角倾斜的适应能力。

3、本发明采用卷积神经网络这一深度学习方法，能够从大量的训练样本中提取到反映数据本质的隐性特征。相比于浅层学习分类器，它具有更高的学习效率和识别精度。

附图说明

本发明共有附图9张，其中：

图1是卷积神经网络的结构示意图。

图2是基于卷积神经网络的路面交通标志识别方法流程图。

图3是原始采集图像的彩色图。

图4是原始采集图像的深度图。

图5是基于V视差法检测到的路面区域示意图。

图6是获取的路面区域示意图。

图7俯视图重构后的路面区域示意图.

图8是部分图像样本集示意图。

图9是检测结果示意图。

具体实施方式

下面结合附图和技术方案对本发明作详细说明。

如附图2所示为基于卷积神经网络的路面交通标志识别的流程图，本发明的具体实施方式包括以下步骤：

A、图像采集和预处理

首先，通过安装在车辆前方的相机采集车辆行驶环境的RGB-D图像，即包含颜色RGB信息的彩色图像(如图3所示)和深度Depth信息的深度图像(如图4所示)；其次，采用V-视差法从深度图像中检测路面区域(如图5所示)，将获取的路面区域作为路面交通标志识别的感兴趣区域(如图6所示)；然后，通过计算得到相机的内部参数以及外部参数，对感兴趣区域进行俯视图重构(如图7所示)；最后，从俯视图重构的路面区域中提取图像样本，即从图像左下角开始，在横向方向和纵向方向上，每间隔3个像素值，截取像素值大小唯一的64×64的图像样本。部分样本集如图8所示。

B、CNN网络结构的设计及训练

B1、卷积神经网络结构示意图如图1所示。此卷积神经网络由9个层组成，1个输入层，1个输出层，1个全连接层，隐含层是由3层卷积层和3层采样层交替组成的。网络的输入层为像素值大小为64×64的图像样本。输出层的神经元个数为5个，用于识别车道线、停止线、斑马线、行车方向箭头和限速数字。

大小为64×64的图像样本经输入层进入卷积层C1中。卷积层C1有32个大小为56×56的特征图，特征图的每个神经元与输入层中的一个大小为9×9的局部感受野相连接，卷积层C1具有的可训练参数为2624个，连接数为8228864。采样层S2有32个大小为28×28的特征图，特征图的每个神经元与卷积层C1中的一个大小为2×2的邻域相连，采样层S2具有的可训练参数为64个，连接数为50176个。卷积层C3有64个大小为20×20的特征图，特征图的每个神经元与采样层S2中的一个大小为9×9的局部感受野相连，卷积层C3具有的可训练参数为5248个，连接数为2099200个。采样层S4有64个大小为10×10的特征图，特征图的每个神经元与卷积层C3的一个大小为2×2的邻域相连接，采样层S4具有的可训练参数为128个，连接数为12800个。卷积层C5有96个大小为2×2的特征图，特征图的每个神经元与采样层S4的一个9×9的局部感受野相连，卷积层C5具有的可训练参数为7872个，连接数为31488个。采样层S6有96个大小为1×1的特征图，特征图的每个神经元与卷积层C5的一个大小为2×2的邻域相连接，采样层S6具有的可训练参数为192个，连接数为192个。网络层F7与采样层S6进行全连接，全连接层F7具有1440个神经元，139680个可训练参数。输出层是由径向基函数单元组成。

卷积神经网络第l个卷积层中第j个神经元可表示为：

$x_j^l=f(\underset{i\∈M_j}{\Σ}{x}_i^{l-1}*w_{ij}^l+b_j^l)---\left(1\right)$

式中：f(·)表示卷积层的激活函数，是当前层的输入神经元，w是卷积核，M_j代表输入特征图的一个选择，b代表偏置。其中，上标l∈{1,3,5}表示层数索引号；下标i＝1,2,3,……，表示第l层的神经元索引号；下标j＝1,2,3,……，表示第l-1层的神经元索引号。

卷积神经网络第l个采样层中第j个神经元可表示为：

$x_j^l=g\left({\mathrm{\β}}_j^{l}down\right(x_i^{l-1})+k_j^l)$

式中：g(·)表示采样层的激活函数，β表示采样层的权值，down(·)代表采样函数，是对前一层图像的一个方形的区域求和，是当前层的输入神经元，k代表偏置。其中，上标l∈{2,4,6}表示层数索引号；下标i＝1,2,3,……，表示第l-1层的神经元索引号；下标j＝1,2,3,……，表示第l层的神经元索引号。

激活函数采用线性修正激活函数(ReLU)，其具体形式为：f＝max(0；x)，其能够使网络的训练速度加快，并且能够较好的传递误差梯度。

B2、根据实际应用环境，将上述卷积神经网络的输出神经元的个数设定为5个，用于识别车道线、停止线、斑马线、行车方向箭头和限速数字。然后采用步骤A获得的图像样本进行训练。卷积神经网络采用的是离线训练的方式，卷积神经网络训练的样本集为10000张像素值大小为64×64的图像样本，且保证不同类别的样本数目相同。网络初始权值的选取采用随机法产生。当卷积神经网络的输出值与期望值的误差在可接受范围内时，便得到可用于路面交通标志识别的卷积神经网络。

最后，对训练完的卷积神经网络进行测试，以检测行车方向箭头为例，输入一张原始采集图像后，检测结果如图9所示。

Claims (1)

1.一种基于卷积神经网络的路面交通标志识别方法，其特征在于：包括以下步骤：

A、图像采集和预处理

首先，通过安装在车辆前方的相机采集车辆行驶环境的RGB-D图像，即包含颜色RGB信息的彩色图像和深度Depth信息的深度图像；其次，采用V-视差法从深度图像中检测路面区域，将获取的路面区域作为路面交通标志识别的感兴趣区域；然后，通过计算得到相机的内部参数以及外部参数，对感兴趣区域进行俯视图重构；最后，从俯视图重构的路面区域中提取图像样本，即从图像左下角开始，在横向方向和纵向方向上，每间隔3个像素值，截取像素值大小为64×64的图像样本；

B、卷积神经网络结构的设计及训练

B1、卷积神经网络结构由9层组成，包括1个输入层、1个输出层、1个全连接层、6个隐含层，隐含层由3层卷积层和3层采样层交替组成；输入层的像素值大小为64×64的图像样本；输出层的神经元个数为5个，分别用于识别车道线、停止线、斑马线、行车方向箭头和限速数字；

大小为64×64的图像样本经输入层进入卷积层C1中；卷积层C1有32个大小为56×56的特征图，特征图的每个神经元与输入层中的一个大小为9×9的局部感受野相连接，卷积层C1具有的可训练参数为2624个，连接数为8228864个；采样层S2有32个大小为28×28的特征图，特征图的每个神经元与卷积层C1中的一个大小为2×2的邻域相连，采样层S2具有的可训练参数为64个，连接数为50176个；卷积层C3有64个大小为20×20的特征图，特征图的每个神经元与采样层S2中的一个大小为9×9的局部感受野相连，卷积层C3具有的可训练参数为5248个，连接数为2099200个；采样层S4有64个大小为10×10的特征图，特征图的每个神经元与卷积层C3的一个大小为2×2的邻域相连接，采样层S4具有的可训练参数为128个，连接数为12800个；卷积层C5有96个大小为2×2的特征图，特征图的每个神经元与采样层S4的一个9×9的局部感受野相连，卷积层C5具有的可训练参数为7872个，连接数为31488个；采样层S6有96个大小为1×1的特征图，特征图的每个神经元与卷积层C5的一个大小为2×2的邻域相连接，采样层S6具有的可训练参数为192个，连接数为192个；全连接层F7与采样层S6进行全连接，全连接层F7具有1440个神经元，139680个可训练参数；输出层由径向基函数单元组成；

卷积神经网络第l个卷积层中第j个神经元表示为：

$x_j^l=f(\underset{i\∈M_j}{\mathrm{\Σ}}{x}_i^{l-1}*w_{ij}^l+b_j^l)---\left(1\right)$

式中：f(·)表示卷积层的激活函数，是当前层的输入神经元，w是卷积核，M_j代表输入特征图的一个选择，b代表偏置；其中，上标l∈{1,3,5}表示层数索引号；下标i＝1,2,3,……，表示第l层的神经元索引号；下标j＝1,2,3,……，表示第l-1层的神经元索引号；

卷积神经网络第l个采样层中第j个神经元表示为：

$x_j^l=g\left({\mathrm{\β}}_j^{l}down\right(x_i^{l-1})+k_j^l)---\left(2\right)$

式中：g(·)表示采样层的激活函数，β表示采样层的权值，down(·)代表采样函数，是对前一层图像的一个方形的区域求和，是当前层的输入神经元，k代表偏置；其中，上标l∈{2,4,6}表示层数索引号；下标i＝1,2,3,……，表示第l-1层的神经元索引号；下标j＝1,2,3,……，表示第l层的神经元索引号；

激活函数采用线性修正激活函数ReLU，其具体形式为：f＝max(0；x)，其能够使卷积神经网络的训练速度加快，并且能够较好的传递误差梯度；

B2、根据实际应用环境，将上述卷积神经网络的输出神经元的个数设定为5个，分别用于识别车道线、停止线、斑马线、行车方向箭头和限速数字；然后采用步骤A获得的图像样本进行训练；卷积神经网络采用离线训练的方式，卷积神经网络训练的样本集为10000张像素值大小为64×64的图像样本，且保证不同类别的样本数目相同；卷积神经网络初始权值的选取采用随机法产生；当卷积神经网络的输出值与期望值的误差在可接受范围内时，便得到用于路面交通标志识别的卷积神经网络。