CN106022300A - 基于级联深度学习的交通标志识别方法和系统 - Google Patents

Abstract

本发明提供了一种基于级联深度学习的交通标志识别方法和系统，引入级联卷积神经网络的思想，对目标标志样本空间进行扩充，添加更多具有监督性的样本，目的是为了使得交通标志的识别加入更多的先验信息，使进行识别器训练的样本空间有更高的监督性。该方法能更充分地利用标志的各种特征信息，弥补现有基于神经网络的交通标志识别的不足，从而提高标志的检测和识别率。

Description

基于级联深度学习的交通标志识别方法和系统

技术领域

本发明涉及一种计算机视觉和机器学习技术，属于目标检测和识别的方法，具体涉及一种基于级联深度学习的交通标志识别方法和系统，适用于图像或视频中的交通标志的检测和识别。

背景技术

交通标志的识别是目前智能辅助驾驶系统最重要的模块之一，日常驾驶时驾驶人经常会因为有障碍物或精力不足而忽略交通标志，违反交通规则甚至引发车祸，因此，交通标志识别不只是一项技术，更是关系国计民生的大事。

交通标志识别技术是目标识别的一个分支，但是它又不同于传统的大类的目标识别，而是针对某一特定领域的目标识别。目前主要有两种方法：一种是以特征提取为基础，再利用分类器进行分类的方法。这种方法的特征，包括颜色、形状、HoG(梯度直方图)、SIFT、Haar等特征。提取到图像的特征后，在分类时一般有两种方案，例如，基于概率的生成模型(参见Mrinal Haloi.A novel pLSA based Traffic Signs ClassificationSystem.arXiv,2015.)，该方法将标志的检测和识别过程建立一个话题模型，发掘图片中的隐含的相似话题形成分类算法，利用词袋模型以及SIFT特征表示待检测和识别的图片。以及利用特征样本进行训练的判别模型，例如线性判别分析、支持向量机、K-d树等(参见WangG,Ren G,Wu Z,et al.:A hierarchical method for traffic sign classificationwith support vector machines.The 2013International Joint Conference on NeuralNetworks(IJCNN),pp.1–6.IEEE,Texas(2013))。这种方法的优点在于实现简单对机器性能要求低，但需要对特征进行特殊的设计，且无法适应交通标志的复杂多样的变化形式和角度光线等环境影响的背景，因此这类方法陷入了提升识别率的瓶颈。

另外一种方法是基于神经网络的方法，这种方法是将提取特征和特征分类两步结合构造端到端的图像识别的方法，它从信息处理角度对人脑神经网络进行抽象，由大量的神经元(简单运算模型)利用不同的连接方式连接建立神经网络。从1989年，加拿大多伦多大学教授Yann LeCun提出了卷积神经网络(Convolutional Neural Networks，CNN)之后，神经网络在图像识别领域进行了诸多改进。卷积神经网络应用在图像识别领域，一般包括卷积层、激活函数层对图像进行特征的提取，池化层等对特征进行融合和降维，Dropout层等对神经网络结构进行优化防止过拟合，Softmax层对特征图进行转化构造能量函数以便利用梯度下降法对整个网络参数进行调节。从2011年的GTSRB(German Traffic SignRecognition Benchmark)比赛中，基于神经网络的方法开始崭露头角。(参见Ciresan D,Meier U,Masci J,et al.:A committee of neural networks for traffic signclassification.In:The 2011International Joint Conference on Neural Networks(IJCNN),pp.1918–1921.IEEE,California(2011))近五年中，大多数该类方法将精力集中在改进神经网络的结构上，例如增加网络深度或将多个网络进行组合(参见Ciresan D,Meier U,Masci J,et al.:Multi-column deep neural network for traffic signclassification.J.Neural Networks,Vol.32,pp.333-338(2012))，例如改进神经网络的能量函数(Jin J,Fu K,Zhang C.:Traffic sign recognition with hinge loss trainedconvolutional neural networks.J.IEEE Intelligent Transportation SystemsSociety,Vol.15,Issue.5,pp.1991–2000.IEEE Press(2014))等等。这类方法虽然对检测和识别有较好的效果，但是并没有充分利用交通标志的先验知识。

此外，Mrinal Haloi提出训练一个平移不变的神经网络，主要体现在对训练样本进行扩充，做对比度变换、旋转变换和平移变换等，使得训练集更加丰富多样，令深度神经网络在做识别时更加的鲁棒(参见Mrinal Haloi.Traffic Sign Classification UsingDeep Inception Based Convolutional Networks.arXiv 2015.)。可以看到这种方法将样本扩充得到了更加丰富的样本变换空间，但是只是直观上扩充了样本，并不能说明这些样本就一定具有对标志识别有监督性的先验知识。

由于交通标志识别中，标志所在图片的背景复杂多样，标志变化繁多，会有透明、中空、或者不规则轮廓等各种形状，还有角度和光线条件等环境影响，导致标志在纹理、粗糙度、局部灰度对比等方面类内变化多且差异大。因此简单的特征提取方法无法适应，所以采用神经网络这种相对复杂的分类器来进行识别，但现有的基于神经网络的交通检测和标志方法对样本空间的利用不足，不能有效发掘样本的监督信息。

发明内容

针对上述问题，本发明提供了一种基于级联深度学习的交通标志识别方法和系统，引入级联卷积神经网络的思想，对目标标志样本空间进行扩充，添加更多具有监督性的样本，目的是为了使得交通标志的识别加入更多的先验信息，使进行识别器训练的样本空间有更高的监督性。该方法能更充分地利用标志的各种特征信息，弥补现有基于神经网络的交通标志识别的不足，从而提高标志的检测和识别率。

为了实现上述目的，本发明采用以下技术方案：

基于级联深度学习的交通标志识别方法，包括以下步骤：

1)将N类需要识别的交通标志作为目标样本训练得到预检测器，利用该预检测器检测得到目标样本是否为标志的置信度，检测结果中包含假阳性样本和真阳性样本；

2)利用部分目标样本训练得到基于第一个卷积神经网络的样本选择器(作为识别器的基本网络和负监督样本选择器)，并利用该样本选择器从与目标样本无显性关系的海量数据库中选取得到置信度有单一峰值的假阳性样本；

3)将N种真阳性样本作为正样本验证集构造与标志领域相关的负样本集(负样本不包含标志，并且由含有标志的场景中的背景切割分块得到)；

4)将步骤1)中得到的假阳性样本，步骤2)得到的假阳性样本以及步骤3)构造的负样本集，合并构成负样本验证集，作为第N+1类标志；

5)建立第二个卷积神经网络，将步骤4)中构造的N+1类标志放入该第二个卷积神经网络中进行训练得到标志的识别分类器，该识别分类器输出每个标志类别的置信度；

6)将步骤1)得到的置信度与步骤5)得到的置信度进行融合后得到交通标志的识别结果。

进一步地，步骤1)中，对于每一种交通标志，利用图像特征和级联检测器方法训练得到每种标志的预检测器D＝{d_n}(n＝1...N)。

进一步地，所述图像特征包括SIFT、LBP、HoG或Haar特征。

进一步地，步骤1)中，在最后检测到的图像中目标的比例为：

1-(1-σ)^L(0<σ<1,L为检测器的训练层数)，σ为每一个阶段保留的目标标志的比例)。

进一步地，步骤2)中采用LetNet-5取N类交通标志中的一部分进行训练。

进一步地，步骤1)得到的置信度与步骤5)得到的置信度加权结合得到交通标志的识别置信度s：

$s={\mathrm{\&alpha;s}}_n^1+{\mathrm{\&beta;s}}_n^2,(0<\mathrm{\&alpha;}<1,0<\mathrm{\&beta;}<1)$

其中，表示步骤1)得到的置信度，表示步骤5)得到的置信度，Score为分类的置信度，n＝1…N。在这里选最大值的编号作为判定的类别。

基于级联深度学习的交通标志识别系统，包括：

标志预检测模块，用于对N类交通标志训练得到预检测器，并利用预检测器检测得到样本是否为标志的置信度；

验证样本构造模块，用于基于卷积神经网络的样本选择器构造N+1类标志的验证样本集；

标志验证模块，用于将的N+1类标志放入神经网络中进行训练得到标志的识别分类器，并将识别分类器输出的标志类别的置信度与预检测器得到的置信度进行融合后得到交通标志的识别结果。

进一步地，所述标志预检测模块利用图像特征和级联检测器方法训练得到每种标志的预检测器。

进一步地，所述预检测器的检测结果中包含假阳性样本和真阳性样本。

进一步地，所述验证样本集包括将N种真阳性样本作为正样本验证集构造的与标志领域相关的负样本集，利用预检测器获得的假阳性样本，以及从海量数据库中利用卷积神经网络得到的置信度有单一峰值的假阳性样本。

进一步地，所述负样本不包含交通标志，并且由含有交通标志的场景中的背景切割分块得到。

有益效果

本发明的有益效果在于：基于目标识别中最前沿的深度神经网络技术做改进，弥补训练样本监督性不够的缺点，利用级联神经网络的结构，从海量数据库中挖掘和待识别标志目标领域相关的负监督性样本，从而提高标志的检测和识别准确率。

附图说明

图1本发明交通标志识别系统的框架图。

图2本发明标志预检测模块流程图。

图3本发明识别分类器训练示意图。

图4本发明交通标志识别方法的流程图。

具体实施方式

本发明针对基于深度神经网络的交通标志检测和识别方法中不能有效利用训练样本的缺点，发明了一种利用级联卷积神经网络和统计分析的思想，从海量数据库中采集对待识别目标领域有监督性的样本，构造更有效的训练样本空间的方法，从而提高检测和识别的准确率。

本发明拟将整个系统如图1所示，主要分为两部分，第一部分为标志的预检测，对于N类交通标志训练得到的预检测器D＝{d_n}(n＝1...N)，从视频帧中初步得到交通标志的位置{x_i,y_i,w_i,h_i}_n以及这个样本是否为标志的置信度第二部分为标志验证，利用前面的预检测器D从大规模领域相关的图片中提取具有监督性的负样本，扩充训练样本空间。将检测到的待验证图像块进行识别，进行N+1类的识别器的训练，该识别器会输出标志置信度的分布，得到该标志的置信度的第二部分，将这个两个置信度加权结合得到该图像块的识别置信度：

$s={\mathrm{\&alpha;s}}_n^1+{\mathrm{\&beta;s}}_n^2,(0<\mathrm{\&alpha;}<1,0<\mathrm{\&beta;}<1)---\left(1\right)$

进行修正迭代后，得到该图像块的交通标志最终分类。

标志预检测模块

标志检测部分采用Boosting的思想，利用级联检测器和SIFT、LBP、HoG或Haar特征进行训练得到预检测器D1。级联检测器流程图如图2所示。

在这一阶段，针对每一个目标标志logo_1，logo_2，…，logo_n分别训练一个预检测器，从视频帧图像中采用滑动窗口的形式采集到待检测图像块。级联检测器的原理是每一阶段都最大限度的保留目标图像，这样在每个阶段都会去掉待检测样本中的非目标图像，这样检测到的假阳性样本(即非目标样本被认定为目标样本)便会逐层减少。检测器最终会针对每个图像块输出是否为该交通标志的置信度，表征可能性。

标志验证模块

在这一部分将采用两层级联的卷积神经网络，第一个卷积神经网络主要用来提取领域相关的有监督性的样本，利用统计分析的方法构造有效的样本空间。

具有监督性的负样本的选择方案，首先选择在交通场景背景中的图像块，这些样本在检测阶段后的结果得到的是假阳性样本，因此需要在识别验证阶段进行进一步的筛除；其次，利用一部分目标样本类训练第一个卷积神经网络，这个网络可以设置的层数较少，目的只是为了从海量的样本库中选择非目标标志，但对目标标志有干扰的图片。因为普通的识别过程中，倘若一个图片为某一类目标标志，在经过卷积神经网络之后，会得到一个指向该类的单一的峰值置信度，倘若不是某一类标志，则不应该出现这个峰值。因此需要利用这个性质找到在海量数据库中看起来不相关，但是潜在的假阳性样本构造训练样本空间。

识别分类器训练示意图如图3所示。

第二个卷积神经网络是最终的识别网络，是由第一个CNN中的参数传递得到，结构上只有最后一层神经元个数由N变成了N+1。功能上第一个用于选取负监督性样本，第二个用于最后识别分类器的训练。

针对N类目标标志，训练一个N+1类(包含1类负样本)的识别分类器，针对每个图像对需判定的类别都有一个置信度。然后将预检测阶段的置信度和本阶段置信度进行融合后得到最终决策。

本发明采用的检测和识别分为训练阶段和测试阶段两个阶段，初步检测标志、构造识别样本空间、训练识别分类器三个大步骤，流程如图4所示。

步骤如下：

(1)从视频中提取待检测交通标志的视频帧；

(2)对于N种需要检测和识别的标志，利用其标注的位置，分别采集标志样本，尽可能多样的背景和分辨率；

(3)对于采集到的标志样本，进行平移、缩放、旋转等仿射变换来扩充训练样本，提高标志检测的准确率；

(4)对于每一种交通标志，利用图像特征和级联检测器方法训练得到每种标志的预检测器D＝{d_n}(n＝1...N)，预检测器需要提前设置一个百分比σ，表达每一个阶段保留的目标标志的比例。这一步中，需要在检测的结果漏检率尽量低的前提下，降低错检率，可以在一定程度上容忍非目标标志的存在，那么在最后检测到的图像中目标的比例为：

1-(1-σ)^L(0<σ<1,L为检测器的训练层数) (2)

(5)对含有标志的图片集，利用训练得到相应标志的预检测器，由于标志预检测器不能达到百分之百的正确率，故区分检测得到的标志含有假阳性(false positive)和真阳性(true positive)样本。

(6)训练用来采集监督性负样本的卷积神经网络。该网络可采用比较经典的浅层的卷积神经网络CNN-1，例如LetNet-5等，取N类目标标志中的一部分进行训练。

(7)构造识别训练集。将N种真阳性样本作为正样本验证集；构造与标志领域相关的负样本集，负样本不包含标志，并且由含有标志的场景中的背景切割分块得到，将这些领域相关的负样本，第(5)步中得到的假阳性样本，以及从海量数据库(例如SUN database等)中利用第(6)步的卷积神经网络得到的置信度有单一峰值的假阳性样本，合并构成负样本验证集，作为第N+1类标志。

(8)建立深度卷积神经网络学习器，将第(7)步中构造的N+1类标志放入神经网络中进行训练得到标志的识别分类器。

(9)将待测试视频帧分别通过第(4)步预检测器的检测和第(8)步识别分类器的的验证，将得到的置信度进行融合，针对(4)-(8)步进行反复的修正迭代，最终得到标志的位置和类别。

实施例

基于以上方法，发明人做了相关的实验验证，该实验是建立在德国交通标志标准数据库German Traffic Sign Recognition Benchmark(GTSRB)上针对43种交通标志的评测。

首先利用经典的卷积神经网络LeNet-5、VGG-Net、AlexNet作为该框架的基本卷积网络，然后分别进行了四组实验，包括只有正样本、在正样本基础上加入随机负样本和加入负监督性样本的情况。GTSRB数据库中交通标志识别率如下表所示：

基本网络	只有正样本	随机负样本-1	随机负样本-2	负监督性样本
					LeNet-5	92.45％	92.81％	92.28％	93.94％
VGG-Net	94.31％	94.15％	94.33％	95.36％
					AlexNet	95.19％	95.20％	95.33％	96.69％

由以上对比实验数据可以发现，采用本发明对交通标志的识别率能够有1.5％左右的提升。

Claims (10)

1.基于级联深度学习的交通标志识别方法，包括以下步骤：

1)将N类需要识别的交通标志作为目标样本训练得到预检测器，利用该预检测器检测得到目标样本是否为标志的置信度，检测结果中包含假阳性样本和真阳性样本；

2)利用部分目标样本训练得到基于第一个卷积神经网络的样本选择器，并利用该样本选择器从与目标样本无显性关系的海量数据库中选取得到置信度有单一峰值的假阳性样本；

3)将N种真阳性样本作为正样本验证集构造与标志领域相关的负样本集；

4)将步骤1)中得到的假阳性样本，步骤2)得到的假阳性样本以及步骤3)构造的负样本集，合并构成负样本验证集，作为第N+1类标志；

5)建立第二个卷积神经网络，将步骤4)中构造的N+1类标志放入该第二个卷积神经网络中进行训练得到标志的识别分类器，该识别分类器输出每个标志类别的置信度；

6)将步骤1)得到的置信度与步骤5)得到的置信度进行融合后得到交通标志的识别结果。

2.如权利要求1所述的基于级联深度学习的交通标志识别方法，其特征在于，步骤1)中，对于每一种交通标志，利用图像特征和级联检测器方法训练得到每种标志的预检测器。

3.如权利要求2所述的基于级联深度学习的交通标志识别方法，其特征在于，所述图像特征包括SIFT、LBP、HoG或Haar特征。

4.如权利要求1所述的基于级联深度学习的交通标志识别方法，其特征在于，步骤2)中采用LetNet-5取N类交通标志中的一部分进行训练。

5.如权利要求1所述的基于级联深度学习的交通标志识别方法，其特征在于，步骤1)得到的置信度与步骤5)得到的置信度加权结合得到交通标志的识别置信度s：

$s={\mathrm{\&alpha;s}}_n^1+{\mathrm{\&beta;s}}_n^2,(0<\mathrm{\&alpha;}<1,0<\mathrm{\&beta;}<1)$

其中，表示步骤1)得到的置信度，表示步骤5)得到的置信度，Score为分类的置信度，n＝1…N。

6.基于级联深度学习的交通标志识别系统，包括：

标志预检测模块，用于对N类交通标志训练得到预检测器，并利用预检测器检测得到样本是否为标志的置信度；

验证样本构造模块，用于基于卷积神经网络的样本选择器构造N+1类标志的验证样本集；

标志验证模块，用于将的N+1类标志放入神经网络中进行训练得到标志的识别分类器，并将识别分类器输出的标志类别的置信度与预检测器得到的置信度进行融合后得到交通标志的识别结果。

7.如权利要求6所述的基于级联深度学习的交通标志识别系统，其特征在于，所述标志预检测模块利用图像特征和级联检测器方法训练得到每种标志的预检测器。

8.如权利要求6所述的基于级联深度学习的交通标志识别系统，其特征在于，所述预检测器的检测结果中包含假阳性样本和真阳性样本。

9.如权利要求8所述的基于级联深度学习的交通标志识别系统，其特征在于，所述验证样本集包括将N种真阳性样本作为正样本验证集构造的与标志领域相关的负样本集，利用预检测器获得的假阳性样本，以及从海量数据库中利用卷积神经网络得到的置信度有单一峰值的假阳性样本。

10.如权利要求9所述的基于级联深度学习的交通标志识别系统，其特征在于，所述负样本不包含交通标志，并且由含有交通标志的场景中的背景切割分块得到。