CN109657584B - 辅助驾驶的改进LeNet-5融合网络交通标志识别方法 - Google Patents

Abstract

本发明公开了辅助驾驶的改进LeNet‑5融合网络交通标志识别方法，首先构建交通标志图像数据集，并根据交通标志图像数据集构建训练集和测试集；其次构建卷积神经网络CNN；然后将训练集图像数据代入卷积神经网络CNN，进行训练，并保存训练好的模型；最后将测试集图像数据代入训练好的模型，进行预测，得到预测结果。

Description

辅助驾驶的改进LeNet-5融合网络交通标志识别方法

技术领域

本发明涉及图像识别领域，具体涉及一种辅助驾驶的改进LeNet-5融合网络交通标志识别方法。

背景技术

目前信息化的时代，随着城市现代化建设的发展，汽车保有量急剧增加，交通拥堵，交通事故频繁发生，因此提高车辆行驶的安全性已成为现代城市智能交通系统的首要问题。近年来，辅助驾驶中的交通标志识别技术逐渐得到国内外研究人员的广泛关注。目前，交通标志分类识别的主要算法包括统计分类法、模板匹配法、稀疏编码法、神经网络法和遗传算法等。其中，基于卷积神经网络的交通标志识别算法因其自学习能力以及权值共享等优点得到国内外研究人员的高度关注。

LeNet-5是一种经典的卷积神经网络结构，极大带动了CNN的发展。然而LeNet-5网络结构对交通标志图像等多类别目标进行分类识别时，准确率并不高。

发明内容

本发明的目的在于一种辅助驾驶的改进LeNet-5融合网络交通标志识别方法，以克服上述现有技术存在的缺陷，本发明改进的LeNet-5网络引入了卷积模块组、并适当更改卷积核数目和卷积核大小，同时引入BN层对输入数据进行规范化处理，使用Relu激活函数替换Sigmoid函数并引入融合层将浅层的和最后一层的特征进行叠加融合，以便将浅层的纹理信息和深层的抽象信息结合，使分类器分类的特征信息更多更清晰，以便获得更好的识别率。

为达到上述目的，本发明采用如下技术方案：

辅助驾驶的改进LeNet-5融合网络交通标志识别方法，包括以下步骤：

步骤1：构建交通标志图像数据集，并根据交通标志图像数据集构建训练集和测试集；

步骤2：构建卷积神经网络CNN；

步骤3：将训练集图像数据代入卷积神经网络CNN，进行训练，并保存训练好的模型；

步骤4：将测试集图像数据代入训练好的模型，进行预测，得到预测结果。

进一步地，步骤1中构建的交通标志图像数据集为64*64*3的RGB图像，其中训练集与测试集中图像数据的个数比为8:2。

进一步地，步骤2中所述的卷积神经网络CNN中，包含3个卷积层、3个池化层、1个融合层、1个平铺层及1个全连接层，其中：

第一层为卷积层Conv1，卷积层Conv1的卷积核大小为5*5，卷积核数目为16，经过Conv1即得到16*60*60的特征图；

第二层为池化层Max_pool2，池化层Max_pool2的池化尺寸为2*2，步长为2，经过Max_pool2即得到16*30*30的特征图；

第三层为卷积层，且第三层为卷积模块组Inception_conv3：有四个分支，分别为Branch3_0、Branch3_1、Branch3_2、Branch3_3，其中Branch3_0使用12个1*1的卷积核；Branch3_1使用两个级联的卷积核，分别为8个1*1的卷积核和12个5*5的卷积核；Branch3_2将Branch3_1中的5*5的卷积核用两个3*3的卷积核替代，即Branch3_2由16个1*1、32个3*3、32个3*3的三级卷积核级联组成；Branch3_3由一个3*3的均值池化和8个1*1的卷积级联组成，经过卷积模块组Inception_conv3即得到64*30*30的特征图；

第四层为池化层，且是一个最大值池化层Max_pool4，最大值池化尺寸为2*2，步长为2，经过Max_pool4即得到64*15*15的特征图；

第五层为卷积层，且第五层为卷积模块组Inception_conv5，它与卷积模块组Inception_conv3的结构完全相同，同样有四个分支，分别为Branch5_0、Branch5_1、Branch5_2、Branch5_3，但是卷积核数目不同，分别为128，128，192，64；经过卷积模块组Inception_conv5即得到512*15*15的特征图；

第六层为池化层，且是最大值池化层Max_pool6，池化尺寸为3*3，步长为3，经过Max_pool6得到512*5*5的特征图；

将池化层Max_pool2和卷积层Inception_conv3的特征进行叠加融合形成融合层Fusion，得到80*30*30的特征图；

第七层为平铺层Flatten，将融合层Fusion和Max_pool6得到的特征图一起送入平铺层Flatten，得到1*1*84800的向量；

第八层是全连接层，全连接数目分别为4096，1000，62，其中在全连接层FC1和全连接层FC2中使用dropout技术；最后进一步输入到Softmax层进行分类输出。

进一步地，步骤2中构建卷积神经网络的过程中，每一层都使用BN层对输入数据进行批规范化处理。

进一步地，步骤3中对卷积神经网络CNN的训练的超参数设置如下：批量样本数量Mini-batch＝256，迭代次数Train_num＝1000次，初始学习率Learn_rate＝0.05，使用指数衰减法对学习率进行衰减，衰减因子Deacy＝0.96，BN层的权重衰减项设为Weight_Deacy＝0.005。

进一步地，步骤3中实验环境是基于Linux系统下的Tensorflow深度学习平台，处理器为Intel core i7-7700k，主频为4.2G-HZ，内存为16GB，显卡为NVdia GTX1080TI，GPU显存为11GB。

进一步地，步骤3中使用小批量梯度下降法对卷积神经网络CNN进行训练。

与现有技术相比，本发明具有以下有益的技术效果：

本发明改进后的网络识别正确率可以达到98％以上，与CNN+SVM网络、传统的LeNet-5网络相比，改进网络正确率得到显著提升，相比CNN+SVM以及传统的LeNet-5网络分别提高了约5％和3％，显著提高了图像识别的准确率。

进一步地，本发明中引入卷积模块组Inception，对同一输入的不同卷积核映射产生的特征图进行叠加融合，增加网络深度的同时，增强了网络特征提取的能力。

进一步地，本发明将池化层Max_pool2和卷积层Conv3的特征进行叠加融合，形成融合层Fusion，然后将Max_pool6和融合层Fusion一起传入全连接层。这样将浅层的纹理信息和深层的抽象信息结合，使分类器分类的特征信息更多更清晰。

进一步地，通过BN层的使用，对输入的批量样本进行规范化处理以改善神经网络的输入，从而在加速网络训练的同时，有效避免了网络过拟合和梯度消失等问题。

附图说明

图1为本发明算法的流程示意图；

图2为具体卷积过程示意图；

图3为最大值池化和平均池化方式具体过程的池化示意图；

图4为梯度下降示意图；

图5为传统LeNet-5网络的结构图；

图6为改进LeNet-5融合网络结构图；

图7为可视化特征图，其中(a)为Max_pool2池化层后的特征图，(b)为Inception_conv3卷积层后的特征图，(c)为Inception_conv5卷积层后的特征图，(d)为Max_pool5池化层后的特征图；

图8Loss曲线；

图9为学习率衰减曲线；

图10为正确率曲线。

具体实施方式

下面结合附图对本发明作进一步详细描述：

1卷积神经网络

1.1卷积层

在卷积神经网络中，卷积层用于特征提取。上一层的特征图feature map输入后，每个卷积核都与它作卷积，卷积核以一定步长在特征图上进行滑动，每滑动一次作一次卷积运算，最终就得到此层的一个特征图feature map，这样每个特征图就与上层的几个特征图建立了某种关系。每一个卷积核可提取一种特征，有n个卷积核就能提取n种特征，得到n个特征图feature map。一般卷积层的计算公式如公式(1)所示：

其中，l代表第几层；w_ij代表卷积核；k_j代表输入层的感受野。每个输出图有个偏置值b。具体卷积过程如图2所示：

1.2池化层

池化层也称为下采样层，其结构与卷积层有点类似，但不会生成更多的特征，有一个池化尺寸和池化步长。CNN的池化方法很多，有均值池化(mean pooling)、最大值池化(max pooling)、重叠池化(overlapping)等方法，特征图经过池化后，特征维数降低，计算量减少。其中，均值池化和最大值池化是最常用的两种方法，计算公式如下：

其中，

表示第i张输入特征图中(m,n)位置的元素，c表示降采样池化域，b₂为偏置。

1.3BN层

在卷积神经网络训练时，每一层的输入分布都会发生变化，这会使网络训练变得困难，所以必须使用较小的学习率来解决该问题。BN(Batch Normalization)层会对网络的每一个输入的批数量数据进行内部标准化处理，使输出规范化到N(0,1)的正态分布。使用BN层可以提高学习率，在达到同等效果时，大大减小迭代次数，提升收敛速度。此外，添加BN层可以起到一定的正则化作用，防止过拟合和梯度消失等问题。

1.4梯度下降算法

梯度下降算法是常用的优化算法，包括：批量梯度下降法(BGD)、随机梯度下降法(SGD)、小批量梯度下降法(MBGD)。其目的是根据反向传播求出梯度，寻找梯度最小的地方，实现损失函数最小化。本发明采用MBGD对样本进行迭代更新，如图4所示，使用固定数目的样本进行迭代更新，避免BGD样本更新速度较慢的问题以及SGD迭代更新过程中“噪音”较多的问题。

图中的红色曲线即为MBGD下降时的轨迹，假设从点x开始，向下移动Δh，将位置更新为x-Δh，并且继续保持一致，直到达到底部，实现损失函数的最小化。

2传统的LeNet-5网络

2.1 LeNet-5网络结构

LeNet-5网络结构一共7层，其中有2个卷积层、2个池化层和3个全连接层。第一层是卷积层Conv1，卷积核大小为5*5，卷积核数目为6，可以输出6个28*28的特征图featuremap；第二层是池化层Pool2，可以输出6个14*14的特征图feature map；第三层为卷积层Conv3，卷积核大小为5*5，卷积核数目为16，输出16个10*10的特征图feature map；第四层为池化层Pool4，输出16个5*5的特征图feature map；第五、六、七层都为全连接层，使用Sigmoid激活函数，其中Fc1、Fc2、Fc3的节点数目分别为120、84、10，Fc3的节点数目也是手写数字集minist的类别数。

2.2在识别交通标志中存在的问题

LeNet-5适用于手写数字图片，但在识别交通标志图像时，损失值很高，识别率不高，存在以下问题：

(1)交通标志图片为64*64，比较大，使用原有的卷积核进行特征提取效果并不好。

(2)交通标志图片的背景、识别对象都较手写数字图片更为复杂，所以，使用传统网络识别率较低。

(3)手写数字种类只有10种，而常见交通标志种类有62种，种类更多，难度更大。

除了考虑以上问题，还需对网络其它部分进行调整、优化，使整个网络性能得到更大程度的提升，达到较高的准确率，必须对传统的LeNet-5网络进行改进。

3基于改进LeNet-5融合网络的交通标志识别

3.1 LeNet-5网络模型的改进

针对传统LeNet-5网络在识别交通标志出现的问题，做了如下改进：

(1)使用卷积模块组Inception_conv3和Inception_conv5分别取代LeNet-5网络第三层卷积层Conv3和第五层Conv5，对同一输入的不同卷积核映射产生的特征图进行叠加融合以便提取到目标更多丰富特征的同时，增加网络深度。两个卷积模块组中分别包含2～3个卷积层。

(2)卷积核的选取关系着能否提取到有效特征，原有5*5的卷积核用于交通标志特征提取效果并不好，本文改变卷积核大小，在Inception_conv3和Inception_conv5模块组里用两个3*3卷积核取代原有卷积核。

(3)传统LeNet-5网络，每层卷积核数量较少，对于62分类的交通标志数据来说，不能充分提取到目标的丰富特征，因此，对卷积核数量进行合理改变。

(4)使用BatchNormalizatioin层，将输入的批样本进行规范化，改善神经网络的输入，在一定程度上可以提升网络训练速度，防止过拟合和梯度消失。

(5)传统LeNet-5采用Sigmod函数不具有通用性，Relu函数具有阻止负信号通过的特性，效率更高，可以提升收敛速度，所以本文选用效果更好的Relu激活函数。

(6)将池化层Max_pool2和卷积层Conv3的特征进行叠加融合，形成融合层Fusion，然后将Max_pool6和融合层Fusion一起传入全连接层。这样将浅层的纹理信息和深层的抽象信息结合，使分类器分类的特征信息更多更清晰。

3.2改进LeNet-5融合网络结构描述

输入层就是交通标志图片，尺寸为64*64*3的RGB图像。第1层是卷积层Conv1，卷积核大小为5*5，卷积核数目为16，经过Conv1可以得到16个60*60的特征图feature map。第2层是最大值池化层Max_pool2，池化尺寸为2*2，步长为2，经过Max_pool2可以得到16个30*30的特征图feature map。第3层是卷积模块组Inception_conv3：有四个分支，分别为Branch_0、Branch_1、Branch_2、Branch_3，其中Branch_0使用12个1*1的卷积核；Branch_1使用两个级联的卷积核，分别为8个1*1的卷积核和12个5*5的卷积核；Branch_2将Branch_1中的5*5的卷积核用两个3*3的卷积核替代，目的是减少参数量的同时提取到了目标更丰富的特征，即Branch_2由16个1*1、32个3*3、32个3*3的三级卷积核级联组成；Branch_3由一个3*3的均值池化和8个1*1的卷积级联组成，经过卷积模块组Inception_conv3可以得到64个30*30的特征图feature map。第4层是一个最大值池化层Max_pool4，最大值池化尺寸为2*2，步长为2，经过Max_pool4可以得到64个15*15的特征图feature map。第5层是卷积模块组Inception_conv5，它与卷积模块组Inception_conv3的结构完全相同，同样有四个分支，分别为Branch_0、Branch_1、Branch_2、Branch_3，不同的是卷积核数目发生了改变，分别为128，128，192，64，经过卷积模块组Inception_conv5，可以得到512个15*15的feature map。第6层是最大值池化层Max_pool6，池化尺寸为3*3，步长为3，经过Max_pool6可以得到512个5*5的特征图feature map。

将池化层Max_pool2和卷积层Conv3的特征进行叠加融合形成Fusion层，然后和Max_pool6一起送入第7层Flatten层，得到1*1*84800的向量。第8层是全连接层，全连接数目分别为4096，1000，62，其中在FC1和FC2中使用dropout技术；最后进一步输入到Softmax层进行分类输出。

改进LeNet-5融合网络参数如表1所示。改进后网络层数表面为8层，实际为14层(其中全连接层包括3层FC1、FC2、FC3，不包括输入层和Softmax)，因为卷积模块组Inception_conv3和Inception_conv5都为三层，增加了网络深度。

表1改进LeNet-5融合网络参数

4实验结果及分析

4.1 BelgiumTSC数据集

本发明选用BelgiumTSC交通标志数据集作为实验数据进行对比实验。BelgiumTSC是比利时一个公开的交通标志数据集，共有62种不同类型的交通标志，包含8000个训练样本和2000个测试样本，图片像素大小为64*64。

4.2实验环境以及超参数的设置

实验基于Linux系统下的Tensorflow深度学习平台，处理器为Intel core i7-7700k，主频为4.2G-HZ，内存为16GB，显卡为NVdia GTX1080TI，GPU显存为11GB。

为了充分发挥GPU的性能，Mini-batch大小设置为2ⁿ，Mini-batch设为256，迭代次数Train_num设为1000次，初始学习率Learn_rate设为0.05，使用指数衰减法对学习率进行衰减，衰减因子Deacy设为0.96，BN层的权重衰减项设为0.005。

4.3实验结果

实验利用CNN+SVM(Support Vector Machine)、传统LeNet-5网络、以及改进LeNet-5网络分别对BelgiumTSC交通标志数据集进行验证。

(1)改进LeNet-5网络的可视化卷积特征图

图7中可以明显看到每一幅图像训练过程中的特征提取情况，越靠后的卷积层提取目标的特征更抽象。

(2)不同迭代次数的训练结果

对LeNet-5网络训练时，将数据集随机分成80％的训练集和20％的验证集，同时对网络权重进行随机初始化，这会造成训练结果产生小幅度波动。所以训练网络时，进行了不同迭代次数的训练，每次迭代又采取三组实验，并求平均值，不同迭代次数的训练结果如表2所示。

表2不同迭代次数的训练结果

由表2可知，5组实验的平均结果均达到98.5％左右。训练结果虽有不同，但差别很细微，说明样本训练的收敛情况已趋于稳定，不会有大的波动。

(3)算法实验结果比较

表3不同网络的性能比较

从表3结果中可以看出，改进后的LeNet-5网络的识别正确率高于传统的LeNet-5以及CNN+SVM网络的识别正确率。相比CNN+SVM以及传统的LeNet-5网络分别提高了约5％和3％，显著提高了图像识别的准确率。

(4)改进LeNet-5网络loss曲线和学习率衰减曲线

从图8中可以看出，在前100次迭代中loss曲线快速下降，随后趋于稳定，并逐渐接近于0，说明改进LeNet-5网络已得到充分训练。网络的收敛速度非常快，这是因为BN层的使用加速了网络的训练过程，同时避免了过拟合和梯度消失的问题。

从图9中可以看到学习率随着迭代次数的增加逐步衰减，最后趋近于0。这样做的好处是避免了学习率过大可能导致的无法找到全局最优解以及学习率过小，导致训练时间较长的问题。

图10中在前100次迭代中accuracy快速上升，之后小幅度震荡，随着迭代次数的增加，趋于稳定，并逐渐接近于100％，说明网络得到充分训练，网络调优效果较好。从Linux终端输出的日志信息中可以发现：迭代到150次的时候，网络已经得到充分训练，训练集正确率已经达到100％，同时测试集正确率也达到98.51％。

Claims (1)

1.辅助驾驶的改进LeNet-5融合网络交通标志识别方法，其特征在于，包括以下步骤：

步骤1：构建交通标志图像数据集，并根据交通标志图像数据集构建训练集和测试集；其中，构建的交通标志图像数据集为64*64*3的RGB图像，其中训练集与测试集中图像数据的个数比为8:2；

步骤2：构建卷积神经网络CNN；所述的卷积神经网络CNN中，包含3个卷积层、3个池化层、1个融合层、1个平铺层及1个全连接层，其中：

第一层为卷积层Conv1，卷积层Conv1的卷积核大小为5*5，卷积核数目为16，经过Conv1即得到16*60*60的特征图；

第二层为池化层Max_pool2，池化层Max_pool2的池化尺寸为2*2，步长为2，经过Max_pool2即得到16*30*30的特征图；

第三层为卷积层，且第三层为卷积模块组Inception_conv3：有四个分支，分别为Branch3_0、Branch3_1、Branch3_2、Branch3_3，其中Branch3_0使用12个1*1的卷积核；Branch3_1使用两个级联的卷积核，分别为8个1*1的卷积核和12个5*5的卷积核；Branch3_2将Branch3_1中的5*5的卷积核用两个3*3的卷积核替代，即Branch3_2由16个1*1、32个3*3、32个3*3的三级卷积核级联组成；Branch3_3由一个3*3的均值池化和8个1*1的卷积级联组成，经过卷积模块组Inception_conv3即得到64*30*30的特征图；

第四层为池化层，且是一个最大值池化层Max_pool4，最大值池化尺寸为2*2，步长为2，经过Max_pool4即得到64*15*15的特征图；

第五层为卷积层，且第五层为卷积模块组Inception_conv5，它与卷积模块组Inception_conv3的结构完全相同，同样有四个分支，分别为Branch5_0、Branch5_1、Branch5_2、Branch5_3，但是卷积核数目不同，分别为128，128，192，64；经过卷积模块组Inception_conv5即得到512*15*15的特征图；

第六层为池化层，且是最大值池化层Max_pool6，池化尺寸为3*3，步长为3，经过Max_pool6得到512*5*5的特征图；

将池化层Max_pool2和卷积层Inception_conv3的特征进行叠加融合形成融合层Fusion，得到80*30*30的特征图；

第七层为平铺层Flatten，将融合层Fusion和Max_pool6得到的特征图一起送入平铺层Flatten，得到1*1*84800的向量；

第八层是全连接层，全连接数目分别为4096，1000，62，其中在全连接层FC1和全连接层FC2中使用dropout技术；最后进一步输入到Softmax层进行分类输出；

构建卷积神经网络的过程中，每一层都使用BN层对输入数据进行批规范化处理；

步骤3：将训练集图像数据代入卷积神经网络CNN，使用小批量梯度下降法对卷积神经网络CNN进行训练，并保存训练好的模型；

其中，对卷积神经网络CNN的训练的超参数设置如下：批量样本数量Mini-batch＝256，迭代次数Train_num＝1000次，初始学习率Learn_rate＝0.05，使用指数衰减法对学习率进行衰减，衰减因子Deacy＝0.96，BN层的权重衰减项设为Weight_Deacy＝0.005；

采用的实验环境是基于Linux系统下的Tensorflow深度学习平台，处理器为Intelcore i7-7700k，主频为4.2G-HZ，内存为16GB，显卡为NVdia GTX1080TI，GPU显存为11GB；

步骤4：将测试集图像数据代入训练好的模型，进行预测，得到预测结果。

Images