CN110580450A - 一种基于卷积神经网络的交通标志识别方法 - Google Patents

Abstract

本发明公开一种基于卷积神经网络的交通标志识别方法，具体按照以下步骤实施：步骤1、获取交通标志识别样本集，并将该样本集分为训练样本集和测试样本集；步骤2、分别对卷积神经网络模型的结构和算法进行改进；步骤3、对训练样本集进行增强处理，得到分布均匀的训练样本集，并通过分布均匀的训练样本集训练改进的卷积神经网络模型；步骤4、通过训练好的卷积神经网络模型识别交通标志。本发明是基于传统的LeNet‑5卷积神经网络结构，对其作出改进，模型的参数量明显减少，降低了模型的复杂度，以便在硬件上实现；在不同数据集上均拥有较好的识别表现，且对不同类型的标志均有较快的识别速度。

Description

一种基于卷积神经网络的交通标志识别方法

技术领域

本发明属于图像识别技术领域，具体涉及一种基于卷积神经网络的交通标志识别方法。

背景技术

现代经济的一日千里使人们的生活水平不断提高，机动车的普及程度越来越高，给人们出行提供更多选择，给我们生活带来极大方便的同时，也给道路交通带去较大的压力。汽车行业的瞬息万变使人们对车辆本身的性能和质量的要求不断提高，由此使得辅助驾驶技术和无人驾驶技术成为国内外专家学者和科技公司的研究热点。交通标志包含大量道路信息，可以分担驾驶员的驾驶压力，防止出现交通安全问题，因此快速可靠的交通标志识别系统成为辅助驾驶与无人驾驶系统中至关重要的关键部分。现有的交通标志识别方法主要有模板匹配法、机器学习法、深度学习法。

Poccoli等将标准交通标志作为模板，将待分类图像与它们进行匹配，此类方法在要被处理的标志发生一定程度被遮挡或形变时准确率不高，不具有较高的鲁棒特性。Doubille等提出了将SVM(支持向量机)分类器与Gabor特征结合的方法，Gabor特征作为一种用来对图像纹理信息进行描述的特征，与人类的视觉系统具有相似之处，可以有效降低图像形变和复杂背景带来的不良影响，提高了准确率及识别速度。Sermanet和LeCun等人采用多规模的MSCNN(多规模卷积神经网络)用作交通标志的识别，并取得了较好的识别结果，但因为算法结构复杂，难以实际应用在硬件上。

发明内容

本发明的目的是提供一种基于卷积神经网络的交通标志识别方法，能够降低模型的复杂度。

本发明采用的技术方案是，一种基于卷积神经网络的交通标志识别方法，具体按照以下步骤实施：

步骤1、获取交通标志识别样本集，并将该样本集分为训练样本集和测试样本集；

步骤2、分别对卷积神经网络模型的结构和算法进行改进；

步骤3、对训练样本集进行增强处理，得到分布均匀的训练样本集，并通过分布均匀的训练样本集训练改进的卷积神经网络模型；

步骤4、通过训练好的卷积神经网络模型识别交通标志。

步骤1具体过程为：以含有一个交通标志的图片为一个样本，样本大小为：16×16至250×250，选取51839个样本，对样本进行等大处理，得到的图片作为交通标志识别样本集，随机选取其中39209张作为训练样本集，剩余的为测试样本集。

对样本进行等大处理过程为：将样本图片利用双线性插值方法统一缩放至32×32大小。

步骤2中对卷积神经网络模型的结构的改进过程包括1)和2)：

1)在卷积操作形成的特征层后添加局部响应归一化函数：

式(1)中，表示卷积层处理后的输出结果，该输出结果是一个四维数据结构[a,b,c,d]，即第a张图的第d个通道下，高度为b宽度为c的点，N表示总通道数，k、α、β均为自定义参数，分别表示bias、alpha、beta；

2)采用两个大小为3×3的卷积核作为卷积层。

步骤2中对卷积神经网络模型的算法改进过程为：采用ReLU函数作为激活函数，ReLU函数的定义为：

ReLU＝max(0,x) (2)

式(2)中，函数梯度在x≥0时保持为1，反之为0。

步骤3具体过程为:对训练样本集进行增强处理，将处理后训练样本集对卷积神经网络模型进行训练，选择交叉熵损失函数作为目标函数，由Softmax函数输出识别结果，0.0001作为初始学习率，通过Adam优化算法设置动态学习率，使学习率随迭代次数增加逐渐衰减，结合梯度的反向传播算法对该卷积神经网络模型中的权重和偏置项进行参数更新，当损失函数收敛时完成对模型的训练，并保存训练好的模型。

对训练样本集进行增强处理过程为：使用平移、旋转及仿射变换的方法对数据集样本作增强处理。

结合梯度的反向传播算法对该卷积神经网络模型中的权重和偏置项进行参数更新过程为：

将分布均匀的训练样本集作为CNN的输入，经前向计算过程得到网络神经元的运算结果，再计算预测输出与理想输出之间的误差并作反向传导，通过误差获得其对于权重值和偏执项的灵敏度，以此调整网络中的权值和偏差；

在反向传播过程中，灵敏度为误差对于卷积神经网络中参数得偏导数，通过下式定义；

式(3)中，E为误差函数，b为偏置项，δ为偏置项的灵敏度；

从同一个神经元上获得的所有偏导数，所有偏导数具有相同大小的残差和误差，如果用l表示当前需要计算的输入层，用L表示输出层，可以得到：

δ^l＝f′(u^L)·(yⁿ-tⁿ)

通过非直接计算的方式获得误差，计算公式如下式：

δ^l＝(W^l+1)^Tδ^l+1·f′(u^l) (4)

式(4)中，W^l表示中间层的权重；

CNN中神经元权重的更新采用的方法是将神经元的输入与更新矩阵相乘；其中用到的向量公式表示；

具体过程为：将只含一个标志的图片作为训练好的卷积神经网络模型的输入，输出该标志的具体类别。

本发明的有益效果是：

本发明一种基于卷积神经网络的交通标志识别方法，基于传统的LeNet-5卷积神经网络结构，对其作出改进，模型的参数量明显减少，降低了模型的复杂度，以便在硬件上实现；在不同数据集上均拥有较好的识别表现，且对不同类型的标志均有较快的识别速度。

附图说明

图1为传统的LeNet-5卷积神经网络模型结构；

图2为改进后的卷积神经网络模型结构；

图3为训练过程中损失函数的变化曲线；

图4为训练过程中训练正确率的变化曲线；

图5为原始GTSRB数据集样本分布；

图6为数据增强过程；

图7为增强后GTSRB数据集样本分布；

图8(a)为初始学习率为0.001的训练过程中损失函数变化曲线；

图8(b)为初始学习率为0.0001的训练过程中损失函数变化曲线；

图9(a)为初始学习率为0.001的训练过程中识别正确率变化曲线；

图9(b)为初始学习率为0.0001的训练过程中识别正确率变化曲线；

图10为模型在GTSDB上的部分识别结果；

图11为模型在自建数据集上的部分识别结果。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于卷积神经网络的交通标志识别方法，具体按照以下步骤实施：

如图1所示，传统的LeNet-5网络结构模型主要包括五个部分，分别为输入层、卷积层、池化层、全连接层和输出层，本发明中输入层为只含有一个交通标志的图片，训练卷积神经网络模型采用GTSRB数据集。

步骤1、获取交通标志识别样本集，并将该样本集分为训练样本集和测试样本集；

具体过程为：以含有一个交通标志的图片为一个样本，样本大小为：16×16至250×250，选取51839个样本，将样本图片利用双线性插值方法统一缩放至32×32大小，得到的图片作为交通标志识别样本集，随机选取其中39209张作为训练样本集，剩余的为测试样本集。

步骤2、分别对卷积神经网络模型的结构和算法进行改进；

对卷积神经网络模型的结构的改进过程包括1)和2)：

1)在卷积操作形成的特征层后添加局部响应归一化函数：

式(1)中，表示卷积层处理后的输出结果，该输出结果是一个四维数据结构[a,b,c,d]，即第a张图的第d个通道下，高度为b宽度为c的点，N表示总通道数，k、α、β均为自定义参数，分别表示bias、alpha、beta；

2)传统的LeNet-5网络模型结构中，卷积层的卷积核较大，最小的也为5×5，虽然大的卷积核拥有较大的视野，可以同时看到更多的图片视野，但也会增加模型的参数数量，降低模型的处理效率。在本发明中采用两个大小为3×3的卷积层代替原结构中卷积核大小为5×5的卷积层作为卷积层，改进后的模型结构如图2所示。

传统的LeNet-5网络模型参数数量如表1所示，改进后模型的参数数量如表2所示，可以看到虽然神经元的数量有所增加，但是模型的可训练参数明显减少，因此降低了模型的运算时间，提高算法的实时性。

表1

表2

卷积层后的非线性激活函数可以使网络更好地应对实际中各种非线性问题，较为常用的激活函数有Sigmoid型和ReLU型。激活函数的出现模仿了生物的神经元特性，当神经元获得输入并产生输出的过程中，生物神经元通常存在一个临界值，只有当获得的输入信号累加超过该临界值才会使神经元处于激活状态，否则仍为未激活状态。

从图3中Sigmoid的函数曲线可以看出，在函数的作用后，输出响应被约束在[0,1]范围内，其中“0”值代表着生物神经元的“未激活状态”，“1”值对应“激活状态”。

但Sigmoid函数会在误差的反向传播过程中出现梯度的“饱和效应”，在后续的训练过程中无法对网络中的参数作出更新。为了避免梯度的“饱和”效应，采用ReLU函数作为激活函数，其函数曲线如图4所示。

对卷积神经网络模型的算法改进过程为：采用ReLU函数作为激活函数，ReLU函数的定义为：

ReLU＝max(0,x) (2)

式(2)中，函数梯度在x≥0时保持为1，反之为0。

其次，在激活函数后添加局部响应归一化函数，其表达式为：

局部响应归一化函数表现为已激活的神经元约束近邻的神经元，归一化函数的目的也是为了“抑制”未激活的神经元，在局部神经元的活动中建立竞争机制，结果是响应剧烈的神经元变得更加剧烈，并约束了其他响应较小的神经元。这么做的优点是提高了模型的鲁棒性，在新样本上有更好的表现。

步骤3、由图5的原始样本分布情况可以得到，数据样本较多的类别多大2010张，最少的只有180张，样本分布不均匀会造成模型对样本的学习能力不全面，可能造成标志的错误识别，因此利用旋转、平移及仿射变换的方法扩充数据的样本数量，过程如图6所示，扩充后的数据分布如图7所示，可以看到数据分布变得均匀，含有样本数量最少的类别增加至1800张，保障了学习特征时的充分性。

对训练样本集进行增强处理，得到分布均匀的训练样本集，并通过分布均匀的训练样本集训练改进的卷积神经网络模型；具体过程为:使用平移、旋转及仿射变换的方法对数据集样本作增强处理，将处理后训练样本集对卷积神经网络模型进行训练，选择交叉熵损失函数作为目标函数，由Softmax函数输出识别结果，0.0001作为初始学习率，通过Adam优化算法设置动态学习率，使学习率随迭代次数增加逐渐衰减，在接近训练结束时，较小的学习率能够让模型更准确地找到全局最优解，结合梯度的反向传播算法对该卷积神经网络模型中的权重和偏置项进行参数更新，当损失函数收敛时完成对模型的训练，并保存训练好的模型。

结合梯度的反向传播算法对该卷积神经网络模型中的权重和偏置项进行参数更新过程为：

将分布均匀的训练样本集作为CNN的输入，经前向计算过程得到网络神经元的运算结果，再计算预测输出与理想输出之间的误差并作反向传导，通过误差获得其对于权重值和偏执项的灵敏度，以此调整网络中的权值和偏差；

在反向传播过程中，灵敏度为误差对于卷积神经网络中参数得偏导数，通过下式定义；

式(3)中，E为误差函数，b为偏置项，δ为偏置项的灵敏度；

从同一个神经元上获得的所有偏导数，所有偏导数具有相同大小的残差和误差，如果用l表示当前需要计算的输入层，用L表示输出层，可以得到：

δ^l＝f′(u^L)·(yⁿ-tⁿ)

位于输入与输出之间的其他层无法直接获得它们的误差，所以通过非直接计算的方式获得误差，计算公式如下式：

δ^l＝(W^l+1)^Tδ^l+1·f′(u^l) (4)

式(4)中，W^l表示中间层的权重；

CNN中神经元权重的更新采用的方法是将神经元的输入与更新矩阵相乘；其中用到的向量公式表示；

图8(a)和图8(b)为训练损失函数在训练过程中的变化曲线，从图中可以看出，损失函数在训练初期下降的幅度较大，说明模型在前几次训练后，预测输出与理想输出差距较大，随着训练次数的增加，损失函数的变化幅度越来越小，卷积神经网络模型逐渐向收敛的方向发展，模型与训练数据的拟合程度越来越高。

图9(a)和图9(b)为训练正确率在训练过程中的变化曲线，训练正确率的变化与损失函数的变化相互对应，在训练初期正确率迅速提高，但当迭代到第四十次时，正确率的变化过程趋于平稳，提升幅度也变得非常小，模型逐渐收敛，当迭代到第八十次时，正确率大小基本不再发生变化。

根据图8(a)、图8(b)和图9(a)、图9(b)对比结果可知，初始学习率为较小的0.0001比初始学习率选择0.001模型训练的收敛速度降低，但收敛效果更好，损失函数曲线不再出现振荡现象，且损失函数的值更接近零，说明模型对训练数据的学习效果更好。

步骤4、通过训练好的卷积神经网络模型识别交通标志。

将检测获得的只含有一个交通标志的图片作为模型的输入，利用前向计算过程实现对标志具体类别属性的正确、高效识别。

由图10与图11分别为在GTSDB数据集和自建数据集上对模型进行验证的部分结果，本文算法模型对于不同类别及不同质量图片的交通标志均具有较高的识别效率与正确率。

通过上述方式，本发明一种基于卷积神经网络的交通标志识别方法，在传统的LeNet-5结构基础上，改进模型的结构与算法，完成对交通标志具体类别的准确识别。本发明选择的数据集为GTSRB(German Traffic Sign Recognition Benchmark)数据集，包含51839张样本图片，训练集39209张，其余均为测试集样本图片。每幅图片只存在一个交通标志，大小从16×16至250×250。使用较小的卷积核代替较大的卷积核，采用两个大小为3×3的卷积核作为卷积层，有效降低模型的参数数量。选择ReLU函数代替Sigmoid函数作为激活函数。将处理后的数据样本作为训练集对卷积神经网络模型作训练，利用Adam优化算法对其作动态改变。当损失函数收敛时完成对模型的训练，并保存训练好的模型。利用训练好的卷积神经网络，对检测出的交通标志进行识别。将只含一个标志的图片作为模型的输入，输出该标志的具体类别，以便控制系统作出快速正确的操作。

Claims (9)

1.一种基于卷积神经网络的交通标志识别方法，其特征在于，具体按照以下步骤实施：

步骤1、获取交通标志识别样本集，并将该样本集分为训练样本集和测试样本集；

步骤2、分别对卷积神经网络模型的结构和算法进行改进；

步骤3、对训练样本集进行增强处理，得到分布均匀的训练样本集，并通过分布均匀的训练样本集训练改进的卷积神经网络模型；

步骤4、通过训练好的卷积神经网络模型识别交通标志。

2.根据权利要求1所述一种基于卷积神经网络的交通标志识别方法，其特征在于，步骤1具体过程为：以含有一个交通标志的图片为一个样本，样本大小为：16×16至250×250，选取51839个样本，对样本进行等大处理，得到的图片作为交通标志识别样本集，随机选取其中39209张作为训练样本集，剩余的为测试样本集。

3.根据权利要求2所述一种基于卷积神经网络的交通标志识别方法，其特征在于，所述对样本进行等大处理过程为：将样本图片利用双线性插值方法统一缩放至32×32大小。

4.根据权利要求1所述一种基于卷积神经网络的交通标志识别方法，其特征在于，步骤2中对卷积神经网络模型的结构的改进过程包括1)和2)：

1)在卷积操作形成的特征层后添加局部响应归一化函数：

式(1)中，表示卷积层处理后的输出结果，该输出结果是一个四维数据结构[a,b,c,d]，即第a张图的第d个通道下，高度为b宽度为c的点，N表示总通道数，k、α、β均为自定义参数，分别表示bias、alpha、beta；

2)采用两个大小为3×3的卷积核作为卷积层。

5.根据权利要求1所述一种基于卷积神经网络的交通标志识别方法，其特征在于，步骤2中对卷积神经网络模型的算法改进过程为：采用ReLU函数作为激活函数，ReLU函数的定义为：

ReLU＝max(0,x) (2)

式(2)中，函数梯度在x≥0时保持为1，反之为0。

6.根据权利要求1所述一种基于卷积神经网络的交通标志识别方法，其特征在于，步骤3具体过程为:对训练样本集进行增强处理，将处理后训练样本集对卷积神经网络模型进行训练，选择交叉熵损失函数作为目标函数，由Softmax函数输出识别结果，0.0001作为初始学习率，通过Adam优化算法设置动态学习率，使学习率随迭代次数增加逐渐衰减，结合梯度的反向传播算法对该卷积神经网络模型中的权重和偏置项进行参数更新，当损失函数收敛时完成对模型的训练，并保存训练好的模型。

7.根据权利要求6所述一种基于卷积神经网络的交通标志识别方法，其特征在于，所述对训练样本集进行增强处理过程为：使用平移、旋转及仿射变换的方法对数据集样本作增强处理。

8.根据权利要求6所述一种基于卷积神经网络的交通标志识别方法，其特征在于，所述结合梯度的反向传播算法对该卷积神经网络模型中的权重和偏置项进行参数更新过程为：

将分布均匀的训练样本集作为CNN的输入，经前向计算过程得到网络神经元的运算结果，再计算预测输出与理想输出之间的误差并作反向传导，通过误差获得其对于权重值和偏执项的灵敏度，以此调整网络中的权值和偏差；

在反向传播过程中，灵敏度为误差对于卷积神经网络中参数得偏导数，通过下式定义；

式(3)中，E为误差函数，b为偏置项，δ为偏置项的灵敏度；

从同一个神经元上获得的所有偏导数，所有偏导数具有相同大小的残差和误差，如果用l表示当前需要计算的输入层，用L表示输出层，可以得到：

δ^l＝f′(u^L)·(yⁿ-tⁿ)

通过非直接计算的方式获得误差，计算公式如下式：

δ^l＝(W^l+1)Tδ^l+1·f′(u^l) (4)

式(4)中，W^l表示中间层的权重；

CNN中神经元权重的更新采用的方法是将神经元的输入与更新矩阵相乘；其中用到的向量公式表示；

9.根据权利要求1所述一种基于卷积神经网络的交通标志识别方法，其特征在于，步骤4具体过程为：将只含一个标志的图片作为训练好的卷积神经网络模型的输入，输出该标志的具体类别。