CN107633220A - 一种基于卷积神经网络的车辆前方目标识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的车辆前方目标识别方法，其实现步骤为：1.获取大量车辆交通相关图像作为样本，对收集的图像进行左右镜像化变换，扩充数据集并制作标签；2.将每个彩色图像进行色彩通道的合并，制作灰度化的训练数据集和测试数据集；3.在MATLAB平台搭建卷积神经网络模型；4.将训练数据集输入到卷积神经网络中，得到训练好的卷积神经网络；5.将测试数据集输入到训练好的卷积神经网络中，可得到识别率。本发明能够检测出单目摄像头所摄画面中的车辆和行人，具有识别率高的特点，实现了对不同类型的车辆前方障碍物进行分类的功能。

Description

一种基于卷积神经网络的车辆前方目标识别方法

技术领域

本发明属于汽车高级驾驶辅助系统(Advanced Driver Assistant System，简称ADAS)领域及车辆无人驾驶领域，是一种基于卷积神经网络的车辆前方目标识别方法，可以对车辆前方障碍物进行分类的方法，可以较好地对前方车辆及行人进行分类识别。

背景技术

近年来高级驾驶辅助系统市场增长迅速，高级驾驶辅助系统利用安装在车上的各式各样传感器，在汽车行驶过程中随时感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，或者对车辆进行主动控制，有效增加汽车驾驶的舒适性和安全性，ADAS系统是减少经济损失和提高驾驶车辆安全性的重要保障之一。

车辆前方目标物体的有效识别作为高级驾驶辅助系统中至关重要的一环，受到了各大研究机构和学者的广泛关注，已成为汽车智能驾驶技术领域的研究热点。车辆前方障碍物的识别问题，一般采用激光雷达、毫米波雷达及多传感器融合等几种方案。其中，激光雷达的探测性能容易受到天气，尤其是恶劣天气如雨、雪、雾的影响。毫米波雷达传播损耗比低频段严重，探测波会引入大量的噪声和干扰。因此目前国内外一般采用激光雷达、毫米波雷达等传感器与视觉传感器进行数据融合的方案，使用基于模型匹配和人工提取特征的方法。而视觉传感器很容易受到摄像头拍摄角度、复杂背景和障碍物重叠等因素的干扰，无法保证一个较高的识别成功率。本发明旨在利用卷积神经网络对视觉传感器信息进行图像提取、分类等工作，较好地提高了车辆前方目标的识别率。

发明内容

为了解决现有技术存在的以上问题，本发明提供一种基于卷积神经网络的车辆前方目标识别方法，是一种基于MATLAB平台开发的利用卷积神经网络识别和分类车辆前方障碍物的算法。卷积神经网络能够模拟人类的视觉系统，自动提取图像特征并通过反复的训练学习，对图像进行分类，与其它分类器的算法相比，卷积神经网络具有相对较高的识别准确率，且对图像的平移、扭曲和旋转有一定程度的适应能力，将卷积神经网络应用于车辆前方障碍物的识别和分类上能够较大幅度地提升道路交通事故的发生率。

本发明的目的是通过以下技术方案实现的：

一种基于卷积神经网络的车辆前方目标识别方法，包括以下步骤：

步骤一、从公开数据集中收集大量图像，分为原始训练样本和原始测试样本并分别制作分类标签；对原始训练样本和原始测试样本进行样本扩充和灰度化处理；

步骤二、搭建基于MATLAB平台的卷积神经网络结构，其由两层卷积层、两层池化层和三层全连接层构成；

步骤三、将扩充后的训练样本输入搭建好的卷积神经网络结构中进行训练，得到训练好的卷积神经网络；

步骤四、将扩充后的测试样本输入到训练好的卷积神经网络中，得到特征向量，再将特征向量输入到分类器进行分类，根据测试样本的类别标签与分类器的输出结果得出网络识别率。

进一步地，所述步骤一具体包括以下步骤：

1)获取车辆前方目标样本：从MIT数据集和KITTI数据集中收集大量图像，一部分图像作为原始训练样本，其余的图像作为原始测试样本；原始训练样本和原始测试样本图像内容包括车辆图像、行人图像及其他类别的交通相关图像，将车辆图像和行人图像作为正样本并制作标签，将其他类别的交通相关图像作为负样本并制作标签；

2)扩充样本数据：将原始训练样本和原始测试样本中每个图像进行水平镜像变换，每次变换产生一个新的图像，在新的图像上标记与原始图像相同的标签，得到图像数量扩充后的训练样本和测试样本；

3)样本数据灰度化：对扩充后的训练样本和测试样本的每个图像进行灰度化，将三个彩色通道合并成一个灰度通道，并将像素值进行归一化。

进一步地，所述步骤二搭建基于MATLAB平台的卷积神经网络结构的具体步骤为：

第一层为第一次卷积层，用于对50*50*1*n的输入数据进行卷积操作，n表示输入样本的数量，第一层的卷积核窗口大小为5*5，输出9个特征图；经第一层得到的特征图输入到第二层；

第二层为第一次池化层，用于对第一层的每个特征图进行降维，第二层的核窗口大小为2*2，经池化后得到降维的特征图并输入到第三层；

第三层为第二次卷积层，用于对第二层得到的特征图进行卷积操作，该卷积层的卷积核窗口大小为4*4，输出18个特征图；经第三层得到的特征图输入到第四层；

第四层为第二次池化层，用于对第三层的每个特征图进行降维，第四层的核窗口大小为2*2，经第四层池化后得到降维的特征图并输入到第五层；

第五层是第一次全连接层，第五层有100个神经元，用于将输入的特征图变换成一个n维列向量，n维列向量与第五层全连接层的权值矩阵和偏置进行非线性变换得到一个100维列向量输入到第六层；

第六层是第二次全连接层，第六层有200个神经元，用于将输入的100维列向量与五六层全连接层的权值矩阵和偏置进行非线性变换得到一个200维列向量后输入到第七层；

第七层是输出层，第七层有3个神经元，用于作最后的输出分类。

进一步地，所述步骤三具体包括以下步骤：

5)将扩充后的训练样本输入所述步骤二搭建的卷积神经网络结构中，进行正向传播，得到分类结果；

6)将所述步骤5)的分类结果与训练样本的分类标签进行比较，求出残差和识别误差，进行反向传播，更新权值；

7)重复所述步骤5)和步骤6)，直到识别误差不再下降，得到训练好的卷积神经网络。

进一步地，所述步骤四具体包括以下步骤：

8)将扩充后的测试样本输入到步骤7)训练好的卷积神经网络中，每个测试样本得到一个三维的特征向量：x＝(x₁,x₂,x₃)；

9)将三维特征向量x输入到三类分类器中进行分类，分别计算出测试样本图像所属三类的概率；

10)取概率最大值对应的标签与测试样本的分类标签做对比，得出网络识别率。

本发明与现有技术相比具有以下优点:

1.识别率高：本发明对训练样本和测试样本进行了镜像化变换，扩充了大量的样本，避免了卷积神经网络陷入局部最小值的问题；再通过两层卷积层和三层全连接层提取图片特征，使识别率达到了95％。

2.具有较强的环境适应性：本发明能够在一定程度上适应被检测的车辆前方障碍物的形变和反光，具有一定的环境适应性。

附图说明

图1是本发明的实现流程图。

图2是本发明在训练过程中的识别错误率曲线图。

图3是本发明的部分分类结果图。

图4是本发明的网络结构图。

具体实施方式

一下结合实施例和附图详细介绍本发明的技术方案：

实施例1

参照图1，一种基于卷积神经网络的车辆前方目标识别方法，其步骤如下：

步骤一.样本获取及图像处理

1)获取车辆前方目标样本：获取关于车辆检测、车辆追踪、语义分割等车辆识别算法的公开数据集的图像，一部分图像作为原始训练样本，其余的图像作为原始测试样本。

训练和测试所用的数据为网络上公开的MIT(Massachusetts Institute ofTechnology，麻省理工学院)数据和KITTI(Karlsruhe Institute of Technology andToyota Technological Institute，计算机视觉算法测评平台)数据集。原始训练样本为2000张50*50像素大小的图像，待识别物体在图像中心。原始测试样本为500张50*50像素大小的图像，待识别物体在图像中心。所收集的原始训练和测试样本的图像内容包括车辆、行人、交通标志、广告牌房屋等。将车辆图像和行人图像作为正样本并制作分类标签，将其他类别的图像作为提高正样本识别率的负样本并制作分类标签。

2)扩充样本数据

将扩充后的训练样本和测试样本中每个图像进行水平镜像变换，每次变换产生一个新的图像，在新的图像上标记与原始图像相同的标签，得到图像数量扩充一倍的训练样本和测试样本，得到扩充后的训练样本4000张和测试样本2000张；

3)样本数据灰度化

训练样本和测试样本的原始图像的每个像素由三个颜色通道表示，分别为红色、绿色和蓝色通道，每个通道一个八位无符号整数来表示颜色的饱和度。人眼对三通道颜色的敏感度由高到低为绿色、红色和蓝色，当三种颜色以0.3、0.59和0.11的比例混合时产生的灰色是最接近人眼的视觉系统的。

因此，根据公式Gray＝0.11B+0.59G+0.3R分别对训练样本和测试样本原始图片进行灰度化，将三个彩色通道合并成一个灰度通道，并将像素值进行归一化；式中，B为蓝色通道的像素值；G为绿色通道的像素值；R为红色通道的像素值；Gray为最后的灰色单通道的像素值。

使用MATLAB已有函数rgb2gray()进行图片灰度化。

步骤二、训练阶段

4)搭建基于MATLAB平台的卷积神经网络结构

搭建基于MATLAB平台的卷积神经网络结构，卷积神经网络结构由两层卷积层、两层池化层和三层全连接层构成，搭建步骤如下：

(4a)第一层为卷积层，用于对50*50*1*n的输入数据进行卷积操作，n表示输入样本的个数,该卷积层的卷积核窗口大小为5*5,输出9个特征图。经卷积层得到的特征图输入到第二层；

第一层中的卷积采用以下公式:

式中，表示第1层卷积层的第j个特征图，X⁰表示输入样本，W_j ¹表示第1层第j个特征图的卷积核，表示第1层的第j个特征图的偏置，*表示卷积操作，f()表示激活函数。

(4b)第二层为池化层，用于对第一层的每个特征图进行降维，池化层的核窗口大小为2*2，第二层池化后得到降维的特征图输入到第三层；

第二层的池化层采用平均池化法；

(4c)第三层为卷积层，用于对第二层得到的特征图进行卷积操作，该卷积层的卷积核窗口大小为4*4，输出18个特征图。经第三层得到的特征图输入到第四层；

第三层中的卷积采用以下公式:

式中，表示第3层卷积层的第j个特征图，表示第2层第c个特征图，表示由2层第c个特征图与第3层第j个特征图相连接的卷积核，表示第3层的第j个特征图的偏置，*表示卷积操作，f()表示激活函数。

(4d)第四层为池化层，用于对第三层的每个特征图进行降维，第四层池化层的核窗口大小为4*4，经第四层池化后得到降维的特征图输入到第五层；

第四层的池化层采用平均池化法；

(4e)第五层是全连接层，该层有100个神经元,用于将输入的特征图变换成一个n维列向量，n维列向量与该第五层全连接层的权值矩阵和偏置进行非线性变换得到一个100维列向量输入到第六层；

第五层中的非线性变换采用以下公式：

式中，表示第5层全连接层的第j个神经元，表示第4层第c个特征图，表示由4层第c个特征图与第5层第j个神经元相连接的权值，表示第5层的第j个神经元的偏置，*表示相乘，f()表示激活函数。

(4f)第六层是全连接层，该层有200个神经元，用于将输入的100维列向量与该第六层全连接层的权值矩阵和偏置进行非线性变换得到一个200维列向量后输入到第七层；

第六层中的非线性变换采用以下公式：

式中，表示第6层全连接层的第j个神经元，表示第5层第c个特征图，表示由5层第c个特征图与第6层第j个神经元相连接的权值，表示第6层的第j个神经元的偏置，*表示相乘，f()表示激活函数。

(4g)第七层是全连接层，该层有3个神经元，用于作最后的输出分类。

5)将扩充后的训练样本输入步骤4)搭建的卷积神经网络中，进行正向传播，得到分类结果。

6)将步骤5)的分类结果与训练样本的分类标签进行比较，求出残差和识别误差，进行反向传播，更新权值。

7)重复步骤5)和步骤6)，直到识别误差不再下降，得到训练好的卷积神经网络。

步骤三、测试阶段

8)将扩充后的测试样本输入到步骤7)训练好的卷积神经网络中，每个测试样本得到一个三维的特征向量：x＝(x₁,x₂,x₃)。

9)将三维特征向量x输入到三类的softmax分类器中进行分类，分别计算出测试样本图像所属三类的概率。

10)取概率最大值对应的标签与测试样本的分类标签做对比，得出网络识别率。

本实施例最终的识别率为95.0％。

Claims (7)

1.一种基于卷积神经网络的车辆前方目标识别方法，其特征在于，包括以下步骤：

步骤一、从公开数据集中收集大量图像，分为原始训练样本和原始测试样本并分别制作分类标签；对原始训练样本和原始测试样本进行样本扩充和灰度化处理；

步骤二、搭建基于MATLAB平台的卷积神经网络结构，其由两层卷积层、两层池化层和三层全连接层构成；

步骤三、将扩充后的训练样本输入搭建好的卷积神经网络结构中进行训练，得到训练好的卷积神经网络；

步骤四、将扩充后的测试样本输入到训练好的卷积神经网络中，得到特征向量，再将特征向量输入到分类器进行分类，根据测试样本的类别标签与分类器的输出结果得出网络识别率。

2.如权利要求1所述的一种基于卷积神经网络的车辆前方目标识别方法，其特征在于，所述步骤一具体包括以下步骤：

1)获取车辆前方目标样本：从MIT数据集和KITTI数据集中收集大量图像，一部分图像作为原始训练样本，其余的图像作为原始测试样本；原始训练样本和原始测试样本图像内容包括车辆图像、行人图像及其他类别的交通相关图像，将车辆图像和行人图像作为正样本并制作标签，将其他类别的交通相关图像作为负样本并制作标签；

2)扩充样本数据：将原始训练样本和原始测试样本中每个图像进行水平镜像变换，每次变换产生一个新的图像，在新的图像上标记与原始图像相同的标签，得到图像数量扩充后的训练样本和测试样本；

3)样本数据灰度化：对扩充后的训练样本和测试样本的每个图像进行灰度化，将三个彩色通道合并成一个灰度通道，并将像素值进行归一化。

3.如权利要求2所述的一种基于卷积神经网络的车辆前方目标识别方法，其特征在于，所述步骤1)获取车辆前方目标样本后，原始训练样本为2000张50*50像素大小的图像，待识别物体在图像中心；原始测试样本为500张50*50像素大小的图像，待识别物体在图像中心。

4.如权利要求2所述的一种基于卷积神经网络的车辆前方目标识别方法，其特征在于，所述步骤3)样本数据灰度化的具体方法为：根据公式Gray＝0.11B+0.59G+0.3R分别对扩充后的训练样本和测试样本的每个图像进行灰度化；式中，B为蓝色通道的像素值；G为绿色通道的像素值；R为红色通道的像素值；Gray为最后的灰色单通道的像素值。

5.如权利要求1所述的一种基于卷积神经网络的车辆前方目标识别方法，其特征在于，所述步骤二搭建基于MATLAB平台的卷积神经网络结构的具体步骤为：

第一层为第一次卷积层，用于对50*50*1*n的输入数据进行卷积操作，n表示输入样本的数量，第一层的卷积核窗口大小为5*5，输出9个特征图；经第一层得到的特征图输入到第二层；

第二层为第一次池化层，用于对第一层的每个特征图进行降维，第二层的核窗口大小为2*2，经池化后得到降维的特征图并输入到第三层；

第三层为第二次卷积层，用于对第二层得到的特征图进行卷积操作，该卷积层的卷积核窗口大小为4*4，输出18个特征图；经第三层得到的特征图输入到第四层；

第四层为第二次池化层，用于对第三层的每个特征图进行降维，第四层的核窗口大小为2*2，经第四层池化后得到降维的特征图并输入到第五层；

第五层是第一次全连接层，第五层有100个神经元，用于将输入的特征图变换成一个n维列向量，n维列向量与第五层全连接层的权值矩阵和偏置进行非线性变换得到一个100维列向量输入到第六层；

第六层是第二次全连接层，第六层有200个神经元，用于将输入的100维列向量与五六层全连接层的权值矩阵和偏置进行非线性变换得到一个200维列向量后输入到第七层；

第七层是输出层，第七层有3个神经元，用于作最后的输出分类。

6.如权利要求1所述的一种基于卷积神经网络的车辆前方目标识别方法，其特征在于，所述步骤三具体包括以下步骤：

5)将扩充后的训练样本输入所述步骤二搭建的卷积神经网络结构中，进行正向传播，得到分类结果；

6)将所述步骤5)的分类结果与训练样本的分类标签进行比较，求出残差和识别误差，进行反向传播，更新权值；

7)重复所述步骤5)和步骤6)，直到识别误差不再下降，得到训练好的卷积神经网络。

7.如权利要求1所述的一种基于卷积神经网络的车辆前方目标识别方法，其特征在于，所述步骤四具体包括以下步骤：

8)将扩充后的测试样本输入到步骤7)训练好的卷积神经网络中，每个测试样本得到一个三维的特征向量：x＝(x₁，x₂，x₃)；

9)将三维特征向量x输入到三类分类器中进行分类，分别计算出测试样本图像所属三类的概率；

10)取概率最大值对应的标签与测试样本的分类标签做对比，得出网络识别率。