CN106682569A

CN106682569A - 一种基于卷积神经网络的快速交通标识牌识别方法

Info

Publication number: CN106682569A
Application number: CN201610860204.1A
Authority: CN
Inventors: 耿磊; 梁晓昱; 肖志涛; 张芳; 吴骏; 杨振杰
Original assignee: Tianjin Polytechnic University
Current assignee: Tianjin Polytechnic University
Priority date: 2016-09-28
Filing date: 2016-09-28
Publication date: 2017-05-17

Abstract

本发明针对已有的交通标识牌识别方法中识别目标种类单一，速度较慢的问题，提出了一种基于卷积神经网络的快速交通标识牌识别方法Fast Traffic Sign Recognition‑Convolution Neural Network，简称FTSR‑CNN。该方法利用卷积核滑动滤波提取特征，在前向学习过程中求得网络的损失，保证了网络模型对交通标示牌多累识别的准确性；调整网络结构中的参数和激活函数类型和降维操作来优化网络性能，最终具有更好的准确性和实时性。同时，为了提升样本的多样性，对数据集的样本进行基于仿射变换的数据增广。FTSR‑CNN在德国交通标识牌数据集GTSRB和Tsinghua‑Tencent 100K两个数据集测试的识别率分别为95.74％和96.67％。结果表明FTSR‑CNN通过改进以往的模型网络和启用不同的训练策略，使得本方法在相同的识别准确水平下加快了方法的识别速度。

Description

一种基于卷积神经网络的快速交通标识牌识别方法

技术领域

本发明涉及一种基于卷积神经网络的快速交通标识牌识别方法，属于图像处理技术领域，可应用于交通标识牌的快速识别。

背景技术

交通标识牌作为道路交通中的重要组成部分，用文字或符号为驾驶员提供引导、指示、警告及限制作用，自动识别交通标识牌是高级驾驶辅助系统设计中不可或缺的一部分。由于交通标识牌种类繁多，应用于各种场景，并且随天气变化和光照影响使得标识牌图像对比度降低；物理损坏及遮挡影响其固有形状；高速行驶带来的运动模糊使得交通标识牌的自动识别非常困难。如何快速和准确地识别交通标识牌对设计者来说是一个很大的挑战。几种受影响的标识牌如图2中所示。此发明基于此应用背景，提出了一种基于卷积神经网络的快速交通标识牌识别的方法，该方法是一种深度学习方法。

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。过去几年，深度学习在计算机视觉领域取得了巨大成功。其中，在物体识别和检测、场景分类、图像分类任务中取得突破性进展，使其适用于图像处理。

交通标志有其规范性，形状可分为圆形，三角形和菱形；颜色可分为蓝色，黄色，白色和红色。它的识别主要由基于形状(模板匹配)、基于颜色等方法。图像中的交通标识牌检测流程一般包括创建适用于训练分类器的样本集，图像特征提取，训练分类器，利用训练好的分类器进行目标检测识别。在图像特征提取方面，传统方法通常使用方向梯度直方图(HOG)、局部二值模式(LBP)及Haar等特征提取方法。然而，不同的特征提取方法都有其适用范围，若脱离其适用范围，则会导致分类结果欠佳，具有局限性。而一般卷积神经网络替代了以上特征提取方法，其深层结构使其能够自动提取图像的深度鲁棒信息，利于分类器的训练和最终的目标检测。但多纵神经网络算法的实现依赖于快速实现的图像处理器GPU，算法采用彩色图作为输入，每层有上百个特征图输出，网络结构复杂，使得识别过程非常耗时。

发明内容

有鉴于此，针对分类单一问题，采用卷积神经网络算法实现多类目标分类，卷积神经网络算法以原始样本直接作为网络的输入，通过大量的样本自动获取最有利于分类的特征；对多类交通标识牌在其数据集的基础上通过仿射变换提高样本多样性，在一定程度上提高了识别率；针对识别过程中对复杂的网络巨大运算量带来的耗时问题，选取多种尺度的小的卷积核，并在保证底层特征多样性的前提下减少网络输出个数，通过调整网络结构中激活函数等因子，提出了一种改进的卷积神经网络FTSR-CNN的快速交通标识牌识别的方法Fast Traffic Sign Recognition-Convolution Neural Network，简称FTSR-CNN。为此，本发明采用如下的技术方案：

第一步骤，将交通标识牌的训练集数据增广并得到灰度化和归一化的数据集；

第二步骤，进行FTSR-CNN网络结构的整体设计，根据已有数据的规模与特点设计FTSR-CNN模型网络结构，选择在MS-3convs-16-32-48基础上进行相应改进，本方法所构建的FTSR-CNN包含3个卷积层convolution layer，2个最大值降采样层max pooling layer和2个全连接层fully-connected layer；

第三步骤，构造卷积核大小分比为5²、3²、3²个像素的FTSR-CNN卷积层；

第四步骤，构造FTSR-CNN降采样层；

第五步骤，构造FTSR-CNN全连接层；

第六步骤，设计选取FTSR-CNN激活函数和学习率参数；

第七步骤，加载网络模型并初始化网络参数；

第八步骤，输入待测试的图像数据，识别交通标示牌。

与现有技术相比，本发明的有益效果是：

1.满足多目标分类；采用基于卷积神经网络FTSR-CNN的实现多类目标分类，自动获取最有利于分类的特征。

2.识别率高；对多类交通标识牌在其数据集的基础上通过仿射变换提高样本多样性。

3.识别效率高、速度快；与其他深度学习方法相比，本文方法的网络结构新颖，计算速度快，通过并联多个网络模型达到提高标识牌识别率的效果；在多数数据集测试的识别率能够保持在95.5％的以上同时对交通标识快速准确地分类，平均识别耗时低于识别率相近的其他方法的1/30。

附图说明

图1为本发明的流程图。

图2为几种难以识别的标识牌示意图。

图3为数据增广样例。

图4为基本算法框图。

图5为FTSR-CNN网络结构示意图。

图6为inv学习率下降方式统计图。

具体实施方式

为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。

本发明的流程如图1所示，首先，根据实际识别过程中的情况，通过图像变换得到增广优化后的训练样本数据集；然后，设计FTSR-CNN网络结构并训练出FTSR-CNN网络模型；最后，应用该网络模型完成交通标示牌快速或实时识别；下面结合附图，对本发明技术方案的具体实施过程加以说明。

1.准备训练样本数据

1.1数据增广

数据集虽然包含了很多标识牌的样本，但实际场景中遇到的标识牌会发生很多种可能的变化：一定角度的旋转，由于碰撞带来的形变等等。想要算法在实际应用中更加具有鲁棒性，就需要训练集中尽可能包含所有类型的样本以帮助FTSR-CNN网络完成学习。

由于数据集很难涵盖所有类型的样本，这里通过仿射变换来增加样本的多样性。仿射变换是空间直角坐标变换的一种，它是一种二维坐标到二维坐标之间的线性变换，保持二维图形间的相对位置关系不变。结合实际场景，交通标识的旋转角度和扭曲程度等控制因子限制在一定范围内，以保证这些变换能够有效地实现数据增广，使得用该训练集训练得到的网络模型具有识别率高、识别速度快的特点。具体情况如下图3所示。

1.2获得算法速度优化的训练集

将交通标识牌的训练集贴上标签，得到不同数量的训练集，并将样本集中的彩色图片进行灰度化，然后将灰度化的图片归一化为30*30。

2.构造FTSR-CNN识别网络

2.1FTSR-CNN网络结构的整体设计

卷积神经网络(Convolutional Neural Nets，CNN)，简称ConvNets，这是为识别二维形状而特殊设计的一个多层感知器，能够实现多层次抽象的数据表示。卷积神经网络作为分类器与传统分类器的最大区别为：是否需要手动设计特征。在传统的模式识别中，需要通过人为设计特征从输入样本中收集信息再进行分类，而CNN是原始图像作为输入，从大量的数据中去学习特征，但人为设计特征存在很难适应多种类识别的局限，自主学习特征避免了由于特征复杂带来的提取特征困难。Gailei方法可分为两部分，训练过程和预测过程，前者用来计算网络的损失，并反馈调节参数降低网络损失，输出网络模型；后者则用生成好的模型测试图像预测分类结果。其具体过程如图4所示。

网络的结构主要有稀疏连接和权值共享两个特点，稀疏连接代替传统神经网络中的全连接，可以很大程度上减少计算量；权值共享是在稀疏连接的同时，图像上所有的输入神经元将共享一个卷积核特征提取作用域的权值。ConvNets的基本结构包括两部分，其一为特征提取，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征，一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是分类，网络的每个计算层由多个特征映射组成，每个特征映射是一个二维平面，平面上所有神经元的权值共享，最终由全连接层作为分类层计算特征向量，在监督学习和反馈机制调节下，模拟人脑神经元认识过程逐步提高对不同物体的辨识能力。

结合卷积神经网络算法原理，根据已有数据的规模与特点设计FTSR-CNN模型网络结构。本方法所构建的FTSR-CNN包含3个卷积层(convolution layer)， 2个最大值降采样层(max pooling layer)和2个全连接层(fully-connected layer)，其网络结构表示在图5。对该网络的设计过程如下阐述。

网络设计的深度和宽度并非越复杂越好，当模型参数的规模大于数据集规模时，会出现维数灾难，即相当于方程组没有唯一最优解，会出现过拟合现象，使网络只记住了训练样本，没有学习到训练样本的共性，而且会增加耗时；与之相反，当模型参数的规模小于数据集时，相当于对无解方程组进行求解，容易出现欠拟合，因此只有设计合理的网络结构，平衡好网络深度宽度和样本数据量的关系才能取得较好的识别结果。这里多次试验对比选出较合理的网络结构作为FTSR-CNN模型。

增加网络的深度和宽度的确可以增强神经网络在分类方面的能力，但同时带来计算量方面的负担需要设计者综合考虑。FTSR-CNN模型权衡识别率和效率两方面因素进行设计，表1里描述了具有代表性的5种。

表1各网络结构参数

SS-2convs-4-8模型代表的是Single Scale卷积核大小不变的单尺度卷积核，两个卷积层分别使用4个和8个卷积核提取特征，该网络在分类时的性能一般，识别率在90％左右；SS-2covs-16-32模型增加了卷积核滤波器的个数，虽然在一定程度上识别率有所提高，但效果并不明显；MS-3convs-4-8-16模型是Multiple Scale采用不同大小的多尺度卷积核滤波器对图像滑动提取特征，将52的卷积核变换为两层32的卷积核，不仅能够增加网络的深度，多尺度特征提取有利于提高识别性能，还能降低网络在运算时的压力，由图可见网络识别率确有提高；MS-3convs-48-64-128模型使用更多的卷积核滤波提取特征，识别率的提升速度明显缓慢，而且计算较多数量的特征图使得识别效率降低。

FTSR-CNN模型选择在MS-3convs-16-32-48的基础上变更卷积核的数目，选取了多种尺度的小的卷积核，最终识别性能进一步提升，识别率达到95.74％。

2.2构造FTSR-CNN卷积层

卷积层是卷积神经网络算法的核心和功能层，卷积操作的过程就是特征提取的过程，每个卷积核相当于一个滤波器，对输入图像进行滤波，得到的响应值加上一个偏置，再通过一个非线性激活函数得到激活值，每个卷积核通过“滑动窗口”的方式提取出输入数据不同位置的特征，所得结果为一个二维特征集合，即特征图(feature map)。本层的特征图将作为下一层的输入继续传播。

通过训练，卷积核可以提取出某些有意义的特征，例如第一个卷积层的卷积核可以提取到类似边缘、角等信息，第二个卷积核将提取类似边角自由组合的信息。FTSR-CNN包含3个卷积层(conv1～conv3)，其卷积核大小(kernel size)分别为52、32、32个像素。多层结构可以对输入对象逐层抽象，获得更高层次的分布式特征表达。

2.3构造FTSR-CNN降采样层

降采样运算是能够在保留图像原有特征的基础上对图像进行降维，大大降低运算量，提高效率，是视觉领域常见的应用。常用的方法有最大值采样(max pooling)、均值采样(mean pooling)和随机采样(stochastic pooling)。FTSR-CNN模型使用最大值采样，在conv1和conv2层的特征图后，均连接了最大值采样层。

2.4构造FTSR-CNN全连接层

经过卷积层、降采样层之后的得到的特征图会被拉伸成一维特征向量，再作为神经元与下一层的全连接层进行全连接，相比于卷积层的局部连接方式，全连接层的全连接方式会带来更多的可调节网络参数。由于之前的卷积层和降采样层已经将特征维数降低至可接受的大小，因而这里使用全连接层不会导致严重的计算负担。FTSR-CNN模型的最后2层为全连接层(full6，full7)，full6层为包含300个神经元的隐藏层，而full7层为包含43类的Softmax输出层。

最终的激活值会经过Softmax函数映射成概率，即将一组输出软性归一化为一组[0，1]之间且和为1的数，概率最大的一维即为分类结果，以K类为例：

其中p_nk表示当前概率，表示当前概率对应输出神经元的激活值。由此计算损失函数，来表示这个网络的误识别程度，对于单标签分类问题，一般选用Softmax损失函数，损失函数的值越小，识别率越高。

2.5设计选取FTSR-CNN激活函数和学习率参数

激活函数是网络的非线性来源，线性分类器例如SVM有效解决了二分类问题，但对于多分类问题，如何准确分类，一个重要影响就是数据的非线性。传统激活函数有sigmoid非线性激活函数f(x)＝(1+e^-x)^-1和tanh双曲正切激活函数f(x)＝tanh(x)，这种被称为饱和非线性激活函数，收敛速度较慢，训练过程中还会出现梯度消隐，陷入局部最优解。

相比传统的非线性激活函数，f(x)＝max(0，x)为不饱和非线性激活函数ReLU，除了收敛速度较快，它的单边抑制更符合生物学观点，可以获得稀疏表达，其性能必传统的激活函数要好。因此FTSR-CNN模型使用ReLU作为激活函数，保证网络非线性来源。具体而言，就是在FTSR-CNN模型的full6层后使用ReLU获取激活值以继续前向传播。

在训练过程中，通过梯度下降法极小化损失函数，使得网络中可学习的参数调节到最优。梯度下降法是沿着梯度相反的方向求解函数的极小值，即沿(损失函数E相对于卷积核权值w的偏导数)和(损失函数E相对于偏置b的偏导数)下降的方向求解损失函数E的极小值，偏导数由反向传播BP算法求解得到。最后通过梯度下降公式计算更新后的参数。公式定义为：

a是学习率，学习率直接关系到权值与偏置的更新幅度，影响收敛速度，具有重要意义。学习率有多种下降的方式，常用的学习率调整策略有：固定值fixed、等步长衰减step和反函数衰减inv等。FTSR-CNN模型选用inv方式调整学习率，具体变化方式如图6所示。

其中，base_a为基础学习率，γ为学习速率变化因子，iter为迭代次数，学习率将随迭代次数按其表达式变化，表达式定义如下：

a＝base_a×(1+γ×iter)^(power)

3.训练卷积神经网络FTSR-CNN

由确定FTSR-CNN的网络结构和参数，输入已经优化后的训练集数据进行相应迭代次数的网络训练，输出网络模型。

4.加载网络模型并初始化网络参数

在加载网络结构配置文件，初始化网络结构后，将获得的网络模型加载到识别模块中并初始化网络参数。

5.输入待测试的图像数据，识别交通标示牌

将待测图像数据集处理为满足识别模型的规定化图像，通过一定的方式输入，将加载好的FTSR-CNN网络模型进行交通标示牌识别，获得的预测标签即为识别结果。

Claims

1.一种基于卷积神经网络的快速交通标识牌识别方法，所述方法包括下列步骤：

(1)依据实际场景交通标示牌发生的变化，通过数据增广交通标识牌的训练集数据并得到灰度化和归一化的数据集；

(2)进行FTSR-CNN网络结构的整体设计，根据已有数据的规模与特点设计FTSR-CNN模型网络结构，选择在MS-3convs-16-32-48基础上进行相应改进，本方法所构建的FTSR-CNN推荐包含3个卷积层convolution layer，2个最大值降采样层max pooling layer和2个全连接层fully-connected layer；

(3)构造卷积核大小分比为5*5、3*3、3*3个像素的FTSR-CNN卷积层；

(4)构造FTSR-CNN降采样层；

(5)构造FTSR-CNN全连接层；

(6)设计选取FTSR-CNN激活函数和学习率参数；

(7)加载网络模型并初始化网络参数；

(8)输入待测试的图像数据，识别交通标示牌。

2.如权利要求1所述的方法，其特征在于，步骤(1)中，数据增广需通过仿射变换来增加样本的多样性，提高训练后模型的识别率和识别速度，交通标识牌的训练集需贴上标签，并将训练集中的彩色图片进行灰度化和归一化。

3.如权利要求1所述的方法，其特征在于，步骤(2)中，FTSR-CNN继承卷积神经网络的基本特性，可自主学习特征进而避免了由于特征复杂带来的提取特征困难；并为了提高识别效率，在MS-3convs-16-32-48的基础上选取了多种尺度的小的卷积核，识别性能进一步提升，使得识别率达到95.74％，设计该网络结构的卷积层和降采样层将特征维数降低，最终整个网络的识别速度降低到了5ms以内。

4.如权利要求1所述的方法，其特征在于，步骤(3)中，推荐使用3个卷积层convolutionlayer，2个最大值降采样层max pooling layer和2个全连接层fully-connected layer，其卷积核大小(kernel size)分别为52、32、32个像素；多层结构可以对输入对象逐层抽象，获得更高层次的分布式特征表达。

5.如权利要求1所述的方法，其特征在于，步骤(4)中，FTSR-CNN模型使用最大值采样，在conv1和conv2层的特征图后，均连接了最大值采样层。

6.如权利要求1所述的方法，其特征在于，步骤(5)中，FTSR-CNN模型的最后2层为全连接层(full6，full7)，full6层为包含300个神经元的隐藏层，而full7层为包含43类的Softmax输出层，对于单标签分类问题，选用Softmax Loss损失函数。

7.根据权利要求1所述方法，其特征在于，步骤(6)中，FTSR-CNN模型选用inv方式调整学习率，具体变化方式如图6所示。

8.根据权利要求1所述方法，其特征在于，步骤(7)中，FTSR-CNN选择较少的输出特征图和隐藏神经元，提高了识别效率。