CN104850845A - 一种基于非对称卷积神经网络的交通标志识别方法 - Google Patents

Abstract

本发明属于智能交通标志识别技术领域，涉及一种基于非对称卷积神经网络的交通标志识别方法，用以解决交通标志识别问题中识别速度较慢，且鲁棒性不强的问题。本发明的方法采用两个不同结构的卷积神经网络并行地进行特征映射和提取，最后将特征进行合并，再经过全连接层和最后的分类器，完成整个分类过程。两个不同结构的卷积神经网络分别采用了随机池化操作和maxout单元，确保了图像特征的多样性，提高了识别精度并加快了网络运算速度。本发明对传统卷积神经网络进行了结构上的改进，使用两个不同结构的卷积神经网络代替了传统的卷积神经网络结构，该方法确保了图像特征的多样性，提高了识别精度并加快了网络运算速度。

Description

一种基于非对称卷积神经网络的交通标志识别方法

技术领域

本发明属于智能交通标志识别技术领域，涉及一种基于非对称卷积神经网络的交通标志识别方法，用以解决交通标志识别问题中识别速度较慢，且鲁棒性不强的问题。

背景技术

近年来，智能交通系统得到了很大的发展，2010年，奥迪无人驾驶自动汽车行驶12.42公里，抵达落基山派克峰顶，标志着智能交通系统中的无人驾驶汽车技术逐渐走向成熟，而交通标志自动识别是无人驾驶汽车技术的重要组成部分。

交通标志识别有着直接的现实应用，如安全驾驶，自动驾驶，场景理解和信号检测等。交通标志的识别是一个受限的分类问题，因为交通标志类别数目是一定的，并且每一类交通标志的形态是严格一致的。通过前面的介绍，交通标志识别似乎是比较容易的问题，其实不然。在实际的交通标志识别过程中，会存在视角变化、不同的光照条件、运动模糊、物理损坏、遮挡、涂鸦和褪色等多种问题，给交通标志的识别问题造成了困难。

分类算法通常分为两类，一类是学习型算法，通过学习找到一个最优的分割平面，将两类或者多类区分开来，比如SVM(Support Vector Machine，支持向量机)，Adaboost(Adaptive Boosting，自适应增强)，神经网络等；另一类为最邻近算法，是在已有的训练样本中找到与测试样本最近的一个，进而判断测试样本类别，比如说模板匹配，k-d(k-dimensionality，k维)树等。

针对道路交通标志的识别，已经有不少方法被提出。FatinZaklouta等采用k-d树和随机森林的方法来对交通标志进行分类(Zaklouta F,Stanciulescu B,Hamdoun O.Traffic sign classification using kd trees and random forests[C].NeuralNetworks(IJCNN),The 2011International Joint Conference on.IEEE,2011:2151-2155.)，具有快速建立、更新和搜索等优点，且更加适合非平衡数据。YaxiangFan等采用层次性稀疏表示方法(Fan Y,Sun H,Zhou S,et al.Hierarchical SparseRepresentation for Traffic Sign Recognition[C].Proceedings of 2013 ChineseIntelligent Automation Conference.Springer Berlin Heidelberg,2013:653-660.)，该方法是利用了稀疏表示对噪音和遮挡具有鲁棒性，且交通标志不同大类之间的区别明显，而同一类之间的区别相对来说不明显等特点。Suisui Tang等利用在计算机视觉中已被证明有效的多个特征，HOG(Histogram of Oriented Gradient，梯度方向直方图)、Garbor滤波器特征和LBP(Local Binary Pattern，局部二值模式)特征，将这三个特征组合起来，用SVM进行分类(Tang S,Huang L L.TrafficSign Recognition Using Complementary Features[C].Pattern Recognition(ACPR),20132nd IAPR Asian Conference on.IEEE,2013:210-214.)，减小了计算量，加快了分类速度。Ciresan等提出的Multi-column deep neural network通过将多个卷积神经网络的结果通过线性组合得到最后的结果(D,Meier U,Masci J,et al.Multi-column deep neural network for traffic sign classification[J].Neural Networks,2012,32:333-338.)，取得了非常好的效果；Pierre Sermanet等提出的多尺度卷积神经网络(Sermanet P,LeCun Y.Traffic sign recognition with multi-scaleconvolutional networks[C].Neural Networks(IJCNN),The 2011 International JointConference on.IEEE,2011:2809-2813.)，将第一层子采样层和第二层子采样层的结果组合后，形成多尺度特征，再经过分类器进行分类，还有Ciresan等结合卷积神经网络与HOG+SVM分类等等，在交通标志分类上面都取得了很好的效果。

卷积神经网络因为其对比例缩放和平移等变形有着不变形，在很多领域，包括交通标志识别领域都取得了很优秀的结果。

传统的卷积神经网络中，在同一层通常对前一层得到的特征是采用的同样的处理方式，因此最终得到的特征类型单一，可能只适用于某一类的分类任务，而且分类效果有待提升。在这样的背景下，有不少文章都提出了改进措施，例如bagging[Breiman,1994]将多个不同模型在不同的子集上训练，取得了不错的效果，Multi-column deep neural network[Ciresan]将多个相同的模型在不同的数据变形中训练，最后将分类结果进行线性组合，最近提出的dropout在训练的时候将神经结点以50％的概率随机隐藏(置为0)起来，而在测试的时候不再隐藏结点激活值，而是将激活值乘以50％，取得了不错的效果。Stochastic pooling是专门针对卷积神经网络提出来的一种平均模型，在训练时pooling阶段按权值随机选取pooling结果，测试阶段采用按权值加权得到pooling结果。

后面的两者可以看做是隐式的平均模型，平均操作隐含在网络内部操作中，而前面两种是显式的平均模型，平均操作采用显而易见的组合方式实现。平均模型因为可以学习到多样的特征，因此在分类任务中，效果很好。

其中，显式的平均模型Multi-column deep neural network[Ciresan]取得了2011年，IJCNN举办了GTSRB(German Traffic Sign Recognition Benchmark)的交通标志识别比赛的最好结果，准确率达到了99.46％，优于人类的表现。

但是，在该方法中因为采用了多个模型且各个模型的输入数据不同，所以模型总的数据量相对来说更大，总的模型规模也更大，不利于实际运用。

为了提升效率，总的卷积神经网络结构必然不会很大，而且网络结构过大也会对学习过程造成更大的困难，但是较小的网络结构产生的单一特征在分类时又不足以达到足够高的准确度。

发明内容

本发明要解决的技术问题是卷积神经网络在进行交通标志识别时，识别精度不高且识别速度较慢的问题，提出了一种基于非对称性卷积神经网络的交通标志识别方法。

本发明的技术方案包含图像预处理、非对称卷积神经网络的训练、准确率验证和图像识别四个部分。

在非对称卷积神经网络中，两个并行的卷积神经网络分别是采用随机池化的卷积神经网络和采用maxout单元的卷积神经网络，卷积神经网络是由交替的卷积层和采样层组成的，每个卷积神经网络共四层，两个卷积神经网络的第四层得到所特征图合并成一个特征，经过全连接层之后送入softmax分类器，得到分类结果。如附图2。

1.图像预处理部分

取原始图像中的目标区域(交通标志区域)取出，为减少计算量，将彩色图像转化为灰度图像，并缩放到同一的A×A大小，为增强对比度，再将目标区域经过对比度增强处理，得到原始的训练集，测试集采用同样的方式处理。为使所训练的模型有更好的鲁棒性，将原始训练集经过旋转[-10°,10°],缩放[0.9,1.1]后，加入原始数据集中，组成新的训练集，在新的数据集中随机取出与测试集数目相当的样本组成验证集，剩余的样本组成最终的训练集。处理后得到的部分图像如附图1。

2.非对称卷积神经网络的训练阶段

模型训练方法采用min batch反向传播方法,每次从训练集中取固定数量的样本参加训练。

(1)前向传播阶段

①从训练集中取出训练样本(x_t,y_t),将x_t作为两个独立的卷积神经网络的输入，y_t作为前向传播结果的比对标准。

②采用随机池化的卷积神经网络卷积过程为，采用可训练的的卷积核W与输入图像做卷积，得到的卷积加上一个可训练的偏置b,然后经过ReLU激活函数得到卷积特征图C_1s；而采用maxout的卷积神经网络是采用训练的方法求得激活函数，即在加上可训练的偏置b之后，须在k个卷积特征图中，按每个位置选取最大值的作为最后的神经元激活值，得到卷积特征图C_1m。

③在随机池化的卷积神经网络中，从池化区域的多项式分布中随机选择出该池化区域的响应值。多项式分布概率根据下面的公式计算得出，

$\left(p_i\right)=\frac{a_i}{{\mathrm{\Σ}}_{k\∈R_j}{a}_k}---\left(1\right)$

R_j是第j个池化区域，a_i、a_k分别为池化区域中元素i和k的值，p_i为池化区域中元素i对应的概率。根据得到的概率，从a_l中采样得到池化结果:

$s_j=a_l\mathrm{wherel}~P(p_1,...,p_{\left|R_j\right|})---\left(2\right)$

通过以上操作，得到池化特征图S_2s。

在maxout卷积神经网络中，采用最大值采样，即在池化区域中取最大激活值，通过上述操作得到池化特征图C_2m。

④重复②和③。依次得到特征图C_3s、C_3m、S_4s和S_4m。

⑤将S_4s和S_4m合并，形成图像的特征，经过全连接层之后送入softmax分类器，得到分类结果O_t。

(2)反向传播阶段

①计算实际输出O_t与相应的理想输出y_t的差；

②计算整体的代价函数为

$J(W,b)=\frac{1}{m}{\mathrm{\Σ}}_{i=1}^m\left(\frac{1}{2}{\left|\right|O_t^{\left(i\right)}-y_t^{\left(i\right)}\left|\right|}^2\right)---\left(3\right)$

反向传播，对于第n_l层(输出层)的每个输出单元i，我们根据以下公式计算残差：

${\mathrm{\δ}}_i^{\left(n_l\right)}=-(y_i-a_i^{\left(n_l\right)})\·f^{\text{'}}\left(z_i^{\left(n_l\right)}\right)---\left(4\right)$

对l＝n_l-1,n_l-2,n_l-3,…,2的各个层，第l层的第i个节点的残差计算方法如下：

${\mathrm{\δ}}_i^{\left(l\right)}=\left({\mathrm{\Σ}}_{i=1}^{s_{l+1}}{W}_{\mathrm{ji}}^{\left(l\right)}{\mathrm{\δ}}_j^{(l+1)}\right)\·f^{\text{'}}\left(z_i^{\left(l\right)}\right)---\left(5\right)$

计算偏导数，计算方法如下：

${\▿}_{W^{\left(l\right)}}J(W,b;x,y)={\mathrm{\δ}}^{(l+1)}{\left(a^{\left(l\right)}\right)}^T---\left(6\right)$

${\▿}_{b^{\left(l\right)}}J(W,b;x,y)={\mathrm{\δ}}^{(l+1)}---\left(7\right)$

$\mathrm{\Δ}{W}^{\left(l\right)}:=\mathrm{\Δ}{W}^{\left(l\right)}+{\▿}_{W^{\left(l\right)}}J(W,b;x,y)---\left(8\right)$

$\mathrm{\Δ}{b}^{\left(l\right)}:=\mathrm{\Δ}{b}^{\left(l\right)}+{\▿}_{b^{\left(l\right)}}J(W,b;x,y)---\left(9\right)$

更新权重参数：

$W^{\left(l\right)}=W^{\left(l\right)}-\mathrm{\α}\left(\frac{1}{m}\mathrm{\Δ}{W}^{\left(l\right)}\right)---\left(10\right)$

$b^{\left(l\right)}=b^{\left(l\right)}-\mathrm{\α}\left[\frac{1}{m}\mathrm{\Δ}{b}^{\left(l\right)}\right]---\left(11\right)$

至此1次迭代完成，保存调整后的权值，重复第一阶段，直至达到设定的迭代次数后，训练结束，保存并把此权值输出给验证集以验证。

3.准确率验证阶段

使用验证集验证输入的权值，将输入和映射的结果进行对比，输出错误率，如果错误率达到满意的要求，则可以进行测试识别，否则，调整网络规模或者增加迭代次数重新进行训练。

4.图像识别阶段

将检测到的交通标志图像经过预处理之后，使用训练好权值的网络模型进行识别并输出其对应的类别。

本发明的方法采用两个不同结构的卷积神经网络并行地进行特征映射和提取，最后将特征进行合并，再经过全连接层和最后的分类器，完成整个分类过程。两个不同结构的卷积神经网络分别采用了随机池化操作和maxout单元，确保了图像特征的多样性，提高了识别精度并加快了网络运算速度。

本发明对传统卷积神经网络进行了结构上的改进，使用两个不同结构的卷积神经网络代替了传统的卷积神经网络结构，该方法确保了图像特征的多样性，提高了识别精度并加快了网络运算速度。

附图说明

图1是预处理后的图片。

图2是非对称卷积神经网络示意图；

图3是非对称卷积神经网络的训练流程图；

图4是应用于交通标志中的非对称卷积神经网络示意图；

图5是错误率随循环次数变化曲线图。

具体实施方式

1、确定训练集，本发明选用的是GTSRB(德国交通标志识别基准，Germantraffic sign recognition benchmark)中的训练集，包含训练图片39,209张，测试图片12630张。

2、对训练集中的图片进行预处理，取原始图像中的目标区域(交通标志区域)取出，将彩色图像转化为灰度图像，并缩放到48×48大小，再将目标区域经过histeq图像对比度增强处理，得到原始的训练集，测试集采用同样的方式处理。为使所训练的模型有更好的鲁棒性，将原始训练集经过旋转[-10°,10°],缩放[0.9,1.1]后，加入原始数据集中，组成新的训练集，在新的数据集中随机取出与测试集数目相当的样本组成验证集，剩余的样本组成最终的训练集。

3、初始化参数，将各层的权值随机初始化为接近于0的随机值，并设定随机梯度下降法学习率为0.01，循环次数为100，确定卷积核大小为5×5。

4、选定训练组；从训练集中每次分别随机地选取50个样本作为训练组。

5、从训练集中取出训练样本(x_t,y_t),将x_t作为两个独立的卷积神经网络的输入，y_t作为前向传播结果的比对标准。

6、第一层卷积层进行卷积操作，使用5×5的卷积核对输入图像进行卷积，步长为1，生成6幅卷积特征图，每个卷积神经网络3幅卷积特征图，如图4所示，两个网络的每幅特征图的大小均为44×44。

7、采样层进行采样操作，采用2×2采样尺寸，两个卷积神经网络特征图大小均变为22×22。

8、再次进行卷积操作和采样操作，卷积特征图变为12幅，特征图大小为9×9。

9、将两个卷积神经网络得到的特征合并为一个特征，为972维的向量，然后送入有1000个神经结点的全连接层，最后送入43个输出结点的softmax分类器，得到最终的分类结果。

10、经过反向传播调整参数，直到验证集正确率达到可接受的范围后，保存参数，用于测试测试集正确率。

11、训练中，迭代次数往往会对最终的准确率产生很大影响，如附图5，因此需要达到一定迭代训练次数才可获得较高的准确率。

Claims (1)

1.一种基于非对称卷积神经网络的交通标志识别方法，包含图像预处理、非对称卷积神经网络的训练、准确率验证和图像识别四个部分；其特征在于以下步骤，

一、图像预处理

取原始图像中的目标区域取出，将彩色图像转化为灰度图像，并缩放到同一的A×A大小，为增强对比度，再将目标区域经过对比度增强处理，得到原始的训练集，测试集采用同样的方式处理；将原始训练集经过旋转[-10°,10°],缩放[0.9，1.1]后，加入原始数据集中，组成新的训练集；在新的数据集中随机取出与测试集数目相当的样本组成验证集，剩余的样本组成最终的训练集；

二、非对称卷积神经网络的训练

模型训练方法采用min batch反向传播方法,每次从训练集中取固定数量的样本参加训练；

(1)前向传播阶段

①从训练集中取出训练样本(x_t,y_t),将x_t作为两个独立的卷积神经网络的输入，y_t作为前向传播结果的比对标准；

②采用随机pooling的卷积神经网络卷积过程为，采用可训练的的卷积核W与输入图像做卷积，得到的卷积加上一个可训练的偏置b,然后经过ReLU激活函数得到卷积特征图C_1s；而采用maxout的卷积神经网络是采用训练的方法求得激活函数，即在加上可训练的偏置b之后，须在k个卷积特征图中，按每个位置选取值最大的作为最后的神经元激活值，得到卷积特征图C_1m；

③在随机pooling的卷积神经网络中，从pooling区域的多项式分布中选择出该pooling区域的响应值；多项式分布概率根据下面的公式计算得出，

$p_i=\frac{a_i}{{\mathrm{\Σ}}_{k\∈R_j}{\mathrm{\α}}_k}---\left(1\right)$

R_j是第j个pooling区域，a_i、a_k分别为pooling区域中元素i和k的值，p_i为pooling区域中元素i对应的概率；根据得到的概率，从a_l中采样得到pooling结果:

$S_j=a_l\mathrm{wherel}~P(p_1,...,p_{\left|R_j\right|})---\left(2\right)$

通过以上操作，得到pooling特征图S_2s；

在maxout卷积神经网络中，采用最大值采样，即在pooling区域中取最大激活值，通过上述操作得到pooling特征图C_2m；

④重复②、③，依次得到特征图C_3s、C_3m、S_4s和S_4m；

⑤将S_4s和S_4m合并，形成图像的特征，经过全连接层之后送入softmax分类器，得到分类结果O_t；

(2)反向传播阶段

①计算实际输出O_t与相应的理想输出y_t的差；

②计算整体的代价函数为

$J=(W,b)=\frac{1}{m}{\mathrm{\Σ}}_{i=1}^m\left(\frac{1}{2}{\left|\right|O_t^{\left(i\right)}-y_t^{\left(i\right)}\left|\right|}^2\right)---\left(3\right)$

反向传播，对于第n_l层(输出层)的每个输出单元i，我们根据以下公式计算残差：

${\mathrm{\δ}}_i^{\left(n_l\right)}=-(y_i-a_i^{\left(n_l\right)})\·f^{\′}\left(z_i^{\left(n_l\right)}\right)---\left(4\right)$

对l＝n_l-1,n_l-2,n_l-3,…,2的各个层，第l层的第i个节点的残差计算方法如下：

${\mathrm{\δ}}_i^{\left(n_l\right)}=-\left({\mathrm{\Σ}}_{j=1}^{s_{l+1}}{W}_{\mathrm{ji}}^{\left(l\right)}{\mathrm{\δ}}_j^{(l+1)}\right)\·f^{\′}\left(z_i^{\left(n_l\right)}\right)---\left(5\right)$

计算偏导数，计算方法如下：

${\▿}_{W^{\left(l\right)}}J(W,b;x,y)={\mathrm{\δ}}^{(l+1)}{\left(a^{\left(l\right)}\right)}^T---\left(6\right)$

${\▿}_{b^{\left(l\right)}}J(W,b;x,y)={\mathrm{\δ}}^{(l+1)}---\left(7\right)$

${\mathrm{\ΔW}}^{\left(l\right)}:={\mathrm{\ΔW}}^{\left(l\right)}+{\▿}_{W^{\left(l\right)}}J(W,b;x,y)---\left(8\right)$

${\mathrm{\Δb}}^{\left(l\right)}:={\mathrm{\Δb}}^{\left(l\right)}+{\▿}_{b^{\left(l\right)}}J(W,b;x,y)---\left(9\right)$

更新权重参数：

$W^{\left(l\right)}=W^{\left(l\right)}-\mathrm{\α}\left(\frac{1}{m}\mathrm{\Δ}{W}^{\left(l\right)}\right)---\left(10\right)$

$b^{\left(l\right)}=b^{\left(l\right)}-\mathrm{\α}\left[\frac{1}{m}{\mathrm{\Δb}}^{\left(l\right)}\right]---\left(11\right)$

至此1次迭代完成，保存调整后的权值，重复第一阶段，直至达到设定的迭代次数后，训练结束，保存并把此权值输出给验证集以验证；

三、准确率验证

使用验证集验证输入的权值，将输入和映射的结果进行对比，输出错误率，如果错误率达到满意的要求，则可以进行测试识别，否则，调整网络规模或者增加迭代次数重新进行训练；

四、图像识别

将检测到的交通标志图像经过预处理之后，使用训练好权值的网络模型进行识别并输出其对应的类别。