CN105631477A - 基于极限学习机和自适应提升的交通标志识别方法 - Google Patents

Abstract

本发明涉及计算机视觉与机器学习领域中的图像识别方法，为减少需要设置的参数，获得一个很高的识别率。本发明采用的技术方案是，基于极限学习机和自适应提升的交通标志识别方法，包括训练阶段和识别阶段；训练阶段：首先提取出交通标志数据库训练样本集中每一张交通标志的方向梯度直方图HOG特征，然后使用主成分分析PCA方法对提取出的HOG特征进行降维，然后初始化每一个训练样本的权重，接着用加权处理后的特征作为多个极限学习机ELM弱分类器的输入进行训练；识别阶段，用已经训练好的AdaBoost强分类器对测试图片进行识别，得到识别输出。本发明主要应用于图像识别场合。

Description

基于极限学习机和自适应提升的交通标志识别方法

技术领域

本发明涉及一种计算机视觉与机器学习领域中的图像识别方法，特别是涉及一种基于极限学习机(ELM)和自适应提升(AdaBoost)的交通标志识别方法。

背景技术

交通标志识别系统是智能交通系统的重要组成部分，同时也是汽车辅助驾驶技术和无人驾驶技术的一个重要模块。由于道路交通环境的复杂性(比如雨雪天气、雾霾天气等)和交通标志的扭曲、遮挡、变形、污损等原因，使得交通标志的实时自动识别变得异常困难，容易出现错检、漏检现象，而现如今自然场景下的交通标志识别技术又尚不成熟，需要进行进一步的深入研究。

2008年，Keller等人[1]提出了一种识别算法，针对限速类交通标志，算法首先对2880张训练样本进行训练，然后对1233张测试样本进行识别，最终得到的识别率为92.4％。该算法存在两大问题，一是识别的交通标志种类太少仅仅局限于限速类交通标志，二是识别率低容易出现错检、漏检现象。2010年，Bascón等人[2]对193类共36000幅交通标志进行训练和识别，算法采用的是支持向量机(SVM)技术，识别准确率达到95.5％，但该算法所采用的数据库并没有公开，识别率也不是太高。2011年，Boi等[3]提出了一种基于方向梯度直方图(HOG)特征和SVM的识别算法，该算法分为预处理阶段和训练识别阶段，预处理阶段提取出训练用交通标志数据库的HOG特征和色调直方图特征，训练识别阶段采用SVM进行训练和识别，算法最终的识别率为96.89％，但也同样存在计算复杂度高的问题。2011年，Ciresan和Meier[4]提出了一种基于卷积神经网络和多层感知技术的识别算法。该算法通过训练多列深层神经网络甚至得到了99.15％的识别率。但该算法对于多列深层神经网络的训练时间达到了50小时，计算复杂度特别高。

2004年新加坡南洋理工大学的黄广斌教授[5]提出极限学习机(ExtreamLearningMachine,ELM)。ELM算法是一种基于单隐层前向反馈神经网络(SingleHiddenLayerFeedForwardNeuralNetworks，SLFNs)的监督型学习算法。假如输入为N个训练样本(x_i,t_i),i＝1,2,...,N，其中x_i＝(x_i1,x_i2,…,x_in)^T∈Rⁿ，t_i＝(t_i1,t_i2,...,t_iK)^T∈R^K，n和k分别为输入和输出神经元的个数。而标准的SLFNs模型为

$\underset{i=1}{\overset{L}{\Σ}}{\mathrm{\β}}_{i}g(w_i*x_j+b_i)=o_j,j=1,2,...,N.---\left(1\right)$

其中L为隐藏层神经元个数，w_i＝(w_i1,w_i2,...,w_in)^T为第i个隐藏层神经元与输入神经元之间的权重向量，β_i＝(β_i1,β_i2,...,β_iK)^T为第i个隐藏神经元与输出神经元之间的权重向量，b_i第i个隐藏神经元的阈值。g(x)为激活函数，本发明中选用的是sigmoidal函数

$g\left(x\right)=\frac{1}{1+e^{-x}}.---\left(2\right)$

标准的SLFNs模型能够做到零误差的逼近N个训练样本，即

$\underset{i=1}{\overset{L}{\Σ}}\left|\right|o_j-t_j\left|\right|=0.j=1,2,...,N.---\left(3\right)$

即

$\underset{i=1}{\overset{L}{\Σ}}{\mathrm{\β}}_{i}g(w_i*x_j+b_i)=t_j,j=1,2,...,N.---\left(4\right)$

可进一步简化为

Hβ＝T.(5)

其中H为隐藏层神经元的输出矩阵，β为隐藏层神经元与输出神经元之间的输出权重，T为期望输出矩阵，如式(6)和(7)所示

$H={\left[\begin{array}{ccc}g(w_1*x_1+b_1)& ...& g(w_L*x_1+b_L)\\ .& & .\\ .& ...& .\\ .& & .\\ g(w_1*x_N+b_1)& ...& g(w_L*x_N+b_L)\end{array}\right]}_{N\×L}.---\left(6\right)$

$\mathrm{\β}={\left[\begin{array}{c}{\mathrm{\β}}_1^T\\ .\\ .\\ .\\ {\mathrm{\β}}_L^T\end{array}\right]}_{L\×K},T={\left[\begin{array}{c}{t}_1^T\\ .\\ .\\ .\\ t_N^T\end{array}\right]}_{N\×K}---\left(7\right)$

最终，可求得β的最小范数二乘解

其中为H的Moore-Penrose广义逆矩阵，且可表示为

其中，I为与HH^T同维数的单位矩阵，C为可设置的常量值。

自适应提升(AdaBoost)算法最早由Friedman[6]提出,是一种自适应增强型学习算法，能将若干弱分类器提升为分类精度更高的强分类器，几乎可以应用于所有目前流行的机器学习算法以进一步提升原算法的识别准确度，被广泛应用于二分类和多分类问题中。其本质思想是对错误分类的样本，通过弱分类器迭代调整使得被错误分类的样本权重加大，而对于正确分类的样本减小其训练权重，从而加大错误分类样本对弱分类器的影响，最终减小错误分类率，提升识别率。

给定N个训练样本数据x＝{(x₁,c₁),(x₂,c₂),...,(x_N,c_N)}，其中x_i＝(x_i1,x_i2,…,x_in)^T∈Rⁿ为第i个训练样本，且为具有n维特征的矩阵，c_i为其类标。算法采用M个ELM分类器作为弱分类器，假设ELM_m(x)为第m个弱分类器，则AdaBoost算法如下：

首先，初始化每一个训练样本的权重w_i＝1/N,i＝1,2,...,N.

对于每一个ELM弱分类器ELM_m(x)，m＝1,2,...,M.

(a)使用弱分类器ELM_m(x)训练带有权重w_i的训练样本

(b)计算加权误差

${\mathrm{err}}_m=\frac{{\mathrm{\Σ}}_{i=1}^N{w}_{i}I(c_i\≠{\mathrm{ELM}}_m(x_i\left)\right)}{{\mathrm{\Σ}}_{i=1}^N{w}_i}---\left(10\right)$

其中，I(x)为二值函数，即

$I\left(x\right)=\left\{\begin{array}{cc}1,& \begin{array}{cc}if& x=true\end{array}\\ 0,& \begin{array}{cc}if& x=false\end{array}\end{array}\right.---\left(11\right)$

(c)计算第m个弱分类器ELM_m(x)的权重

${\mathrm{\α}}_m=log\frac{1-{\mathrm{err}}_m}{{\mathrm{err}}_m}+log(K-1).---\left(12\right)$

其中K为交通标志的总类别数。

(d)根据α_m更新每一个训练样本的权重w_i

w_i＝w_i·exp(α_m·I(c_i≠ELM_m(x_i))).(13)

(3)进而，得到AdaBoost强分类器的输出为

$C\left(x\right)=\arg \underset{k}{max}\underset{m=1}{\overset{M}{\Σ}}{\mathrm{\α}}_m\·I\left({\mathrm{ELM}}_m\right(x)=k).k=1,2,...,K.---\left(14\right)$

参考文献

[1]KellerCG,SprunkC,BahlmannC,etal.Real-timerecognitionofU.S.speedsigns[C]//IntelligentVehiclesSymposium,2008IEEE.IEEE,2008:518-523。

[2]BascónSM,RodríguezJA,ArroyoSL,etal.Anoptimizationonpictogramidentificationfortheroad-signrecognitiontaskusingSVMs[J].ComputerVision&ImageUnderstanding,2010,114(3):373–383。

[3]BoiF,GagliardiniL.ASupportVectorMachinesNetworkForTrafficSignRecognition[C]//ProceedingsoftheInternationalJointConferenceonNeuralNetworks.2011:2210–2216。

[4]Ciresan,Dan,MeierU,MasciJ,etal.Acommitteeofneuralnetworksfortrafficsignclassification[C]//ININTERNATIONALJOINTCONFERENCEONNEURALNETWORKS.2011:1918–1921。

[5]HuangGB,ZhuQY,SiewCK.Extremelearningmachine:anewlearningschemeoffeedforwardneuralnetworks[J].Proc.int.jointConf.neuralNetw,2004,2:985-990vol.2。

[6]FriedmanJH.AdditiveLogisticRegression:aStatisticalViewofBoosting[J].AnnalsofStatistics,1998,28(1):2000。

发明内容

为克服现有技术的不足，减少需要设置的参数，获得一个很高的识别率。本发明采用的技术方案是，基于极限学习机和自适应提升的交通标志识别方法，包括训练阶段和识别阶段；

训练阶段：首先提取出交通标志数据库训练样本集中每一张交通标志的方向梯度直方图HOG特征，然后使用主成分分析PCA方法对提取出的HOG特征进行降维，然后初始化每一个训练样本的权重，接着用加权处理后的特征作为多个极限学习机ELM弱分类器的输入进行训练，计算出每个极限学习机ELM弱分类器的训练误差，由当前弱分类器权重更新训练样本权重进入下一个ELM弱分类器的训练，以此类推可由M个极限学习机ELM弱分类器得到增强后的自适应提升AdaBoost强分类器；

识别阶段，同样首先提取出测试样本集的方向梯度直方图HOG特征，然后经主成分分析PCA降维后得到测试样本集的特征矩阵，最后用已经训练好的AdaBoost强分类器对测试图片进行识别，得到识别输出。

PCA的贡献率阈值选为0.99，即保留了99％以上的HOG特征，选取隐藏层神经元个数L为7000，弱分类器个数M为35，然后按照权利要求1所述的训练阶段、识别阶段流程进行训练和识别，最终验证识别率。

本发明的特点及有益效果是：

与现有的识别算法相比，本发明的有益效果是在保证了一个不是很高的计算复杂度的同时，在很大程度上提高了交通标志的识别率，此外，本发明提出的ELM-AdaBoost算法在学习过程中只需要设置弱分类器的隐藏层神经元个数L和弱分类器个数M两个参数，并且输入层与隐藏层之间的权值向量参数以及隐藏层上的偏置向量参数不需要像其他的大多数机器学习算法那样通过迭代反复进行调整刷新，ELM-AdaBoost算法可以产生唯一的最优解，最终的实验结果表明该算法最高时能获得一个99.07％的高识别率，完全能满足识别率和实时性要求。

附图说明：

图1ELM-AdaBoost算法流程图。

图2PCA-ELM算法中隐元个数L与分类识别率之间关系。

图3PCA-ELM算法中隐元个数L与计算复杂度之间关系。

图4L＝7000且在不同的弱分类器个数M下时ELM-AdaBoost算法分类识别率。

图5M＝35且在不同L值下时ELM、PCA-ELM和ELM-AdaBoost算法分类识别率比较。

具体实施方式

现如今的一些交通标志识别算法，要么识别率低不能满足识别准确率要求而出现错检、漏检现象，要么有着很高的计算复杂度即很长的训练识别时间而不能满足识别的实时性需求。考虑到车辆行驶过程中自然环境和交通标志的复杂性原因，交通标志的识别不仅要求能做到准确识别而且要求能快速识别，这对识别率和实时性有着很高的要求。

为了提升交通标志的识别率，本发明提出了一种基于极限学习机(ExtremeLearningMachine，ELM)和AdaBoost模型的交通标志识别算法，简称为ELM-AdaBoost算法，该算法与现有的绝大部分识别算法相比，需要设置的参数仅仅包括隐藏层神经元的个数L和弱分类器个数M，最终的试验结果表明该算法能获得一个很高的识别率。

本发明提出了一种新型的交通标志识别算法，简称为ELM-AdaBoost算法，其技术方案流程图如图1中所示。训练阶段，首先提取出交通标志数据库训练样本集中每一张交通标志的方向梯度直方图(HOG)特征，然后使用主成分分析(PCA)方法对提取出的HOG特征进行降维，本发明中PCA的贡献率阈值选为0.99，即保留了99％以上的交通标志特征，然后初始化每一个训练样本的权重，接着用加权处理后的特征作为多个ELM弱分类器的输入进行训练，计算出每个ELM弱分类器的训练误差，由当前弱分类器权重更新训练样本权重进入下一个ELM弱分类器的训练，以此类推可由M个ELM弱分类器得到增强后的AdaBoost强分类器。识别阶段，同样首先提取出测试样本集的HOG特征，然后经PCA降维后得到测试样本集的特征矩阵，最后用已经训练好的AdaBoost强分类器对测试图片进行识别，得到识别输出。

为验证发明提出算法的效果，并找到最佳参数设置，我们使用了德国交通标志数据库(GermanTrafficSignRecognitionBenchmark，GTSRB)，GTSRB中有43类交通标志共51839张，包括39209张训练用交通标志和12630张测试用交通标志。

对于通过PCA降维后的PCA-ELM算法来说，隐藏层神经元个数L是影响计算复杂度和分类识别率的一个非常重要的参数。由ELM理论可知，当L等于N时，SLFNs模型能够零误差的逼近N个训练样本，由于训练和测试样本的数目特别大，理论上隐元个数L应该逐渐增大以获得更小的估计误差。而从图2中可看出，随着L的递增，分类识别率显著增加，当L大于7000时识别率增加缓慢，当L为8000时甚至有一定程度的下降。由图图3可知，随着L的增加，计算复杂度也随着大大增加，特别是L大于7000时增加显著，例如当L从7000到9000时计算时间几乎增加了一倍。综合考虑到识别率和计算复杂度，实验中我们选取L为7000，此时对12630张测试用交通标志的总识别率能达到97.69％。

由以上分析可知，综合考虑计算复杂度和识别率，对于本发明中提出的融合ELM和AdaBoost算法的交通标志识别方法，仍然设定作为弱分类器的PCA-ELM模型的隐藏神经元个数L为7000。从图4中可看出，当弱分类器的L值为7000时，ELM弱分类器个数M在区间[5,50]之间变化时，其识别率逐渐增加，当M为35时识别率为98.91％，之后识别率增长很缓慢，且随着M的增加计算复杂度也显著增加，这里选取M为35。图5所示为当弱分类器个数M为35且在不同L值下时ELM、PCA-ELM和ELM-AdaBoost算法分类识别率的比较，可见本发明所提出的ELM-AdaBoost算法能够明显提升交通标志识别率，特别是当L＝10000时，识别率能达到99.07％，且引入PCA降维算法后，ELM-AdaBoost算法的复杂度也没有显著增加，完全能满足交通标志识别的准确率和实时性要求。

在实际应用中，为了得到最佳识别效果，对本发明算法中涉及的参数进行如下设置：PCA的贡献率阈值选为0.99，即保留了99％以上的HOG特征。综合考虑到识别率和计算复杂度，实验中我们选取隐藏层神经元个数L为7000，弱分类器个数M为35，然后按照图1所示的流程进行训练和识别，此时分类识别率为98.91％。如需要，当L设置为10000时识别率甚至可以达到99.07％，完全能满足交通标志的识别率和实时性要求。

Claims (2)

1.一种基于极限学习机和自适应提升的交通标志识别方法，其特征是，包括训练阶段和识别阶段；

训练阶段：首先提取出交通标志数据库训练样本集中每一张交通标志的方向梯度直方图HOG特征，然后使用主成分分析PCA方法对提取出的HOG特征进行降维，然后初始化每一个训练样本的权重，接着用加权处理后的特征作为多个极限学习机ELM弱分类器的输入进行训练，计算出每个极限学习机ELM弱分类器的训练误差，由当前弱分类器权重更新训练样本权重进入下一个ELM弱分类器的训练，以此类推可由M个极限学习机ELM弱分类器得到增强后的自适应提升AdaBoost强分类器；

识别阶段，同样首先提取出测试样本集的方向梯度直方图HOG特征，然后经主成分分析PCA降维后得到测试样本集的特征矩阵，最后用已经训练好的AdaBoost强分类器对测试图片进行识别，得到识别输出。

2.如权利要求1所述的基于极限学习机和自适应提升的交通标志识别方法，其特征是，PCA的贡献率阈值选为0.99，即保留了99％以上的交通标志特征，选取隐藏层神经元个数L为7000，弱分类器个数M为35，然后按照权利要求1所述的训练阶段、识别阶段流程进行训练和识别，最终验证识别率。