CN113221620A - 一种基于多尺度卷积神经网络的交通标志快速识别方法 - Google Patents

Abstract

本发明公开了一种基于多尺度卷积神经网络的交通标志快速识别方法，通过从交通摄像头数据中提取交通标志图像；采用双线性插值法，将所有交通标志图像尺寸归一化为32*32像素；改进卷积神经网络算法，利用卷积层组成的卷积模块对交通标志图像进行特征提取；针对图像特征，选取归一化方法，对各个卷积层的均值和方差进行批量归一化；将不同卷积层层级产生的特征融合成多尺度特征，传递给全连接层，最后传递给SoftMax分类器进行分类。本发明采用多尺度融合浅层和高层特征的方式，提高识别的准确度；设计多卷积层结构识别不同的交通标志，充分提取图像特征，最终提高分类的精度；减少数据分布的变化提高模型的训练速度。

Description

一种基于多尺度卷积神经网络的交通标志快速识别方法

技术领域

本发明涉及计算机视觉技术领域，更具体地说，是一种基于多尺 度卷积神经网络的交通标志快速识别方法。

背景技术

随着中国经济的飞速发展，人工智能技术催生了一个以核心技术 为支撑的关联产业链。自动驾驶汽车作为人工智能产业的重点发展目 标，在减少交通事故、提高道路通行率、降低污染与能源消耗等方面 有着重大意义。交通标志作为道路基础设施的重要组成部分，识别和 理解交通标志是确保自动驾驶汽车遵守道路法规的一个重要基础技 术。交通标志识别涉及交通标志检测和交通标志分类两个主题。交通 标志检测侧重于图像中目标的定位，而交通标志分类则侧重于识别检 测到的目标类型。由于现实世界的变化，如尺度变化，视野变化，运 动模糊，褪色，遮挡条件等，自动识别变得非常复杂。目前，实时交 通标志识别系统的发展仍然是一个具有挑战性的任务。

从时间上来看，交通标志识别的研究方法已经从基于颜色和形状 的方法发展到基于机器学习的方法。近年来，由于公布了由数以百万 计图像组成的公开可用的数据集，深度神经网络(DNN)在模式识别 和计算机视觉研究中得到了广泛的关注，并被广泛应用于物体检测和 识别。此外，DNN也已经成功应用于自动驾驶相关的挑战，如车、车 道、行人检测等。在交通标志检测和分类研究中，通过使用不同的颜 色空间，例如RGB、HIS和HSV来分割道路图像是一类非常普遍的 方法。而基于形状的方法是另一种流行的交通标志识别和检测方法， 例如Loy等使用的圆形、三角形、正方形和八角形对称信息，Barnes 等研究的Hough变换，Kaplan等研究的环形交通标志识别系统。但 是，无论是基于颜色，还是基于形状的识别方法，都需要建立交通标 志的先验知识，并且很大程度上依赖于算法的设计。随后，机器学习 开始在交通标志分类任务中发挥关键作用。在GTSRB上，Timofte等 将交通标志图像的灰度值与基于方向梯度直方图(HOG)的特征进行 融合，通过迭代近邻的线性投影(INNLP)降低维数，最后用迭代近 邻(INNC)进行分类，其准确率达到98.53％。尽管其他机器学习算法， 例如支持向量机、随机森林和k近邻等已经被广泛用于识别交通标志 图像。但是，随着深度学习的兴起，卷积神经网络在交通标志识别的 竞争中表现出更高的分类精度。Arcos-Garcia等提出了一种空间变 换网络(STN)和卷积神经网络(CNN)相结合的办法，识别准确率达 到99.71％，在GTSRB挑战赛中排名第一。Jin等提出了一种铰链损 失随机梯度下降方法来训练20个CNN的集合，其精度达到99.65％， 并且比以前的工作提供了更快、更稳定的收敛性。但是，这些方法大 多是通过使用手工数据扩充，或者在一个集合中应用多个CNN模型， 这样通常会导致更高的内存资源和计算成本。

发明内容

本发明要解决的技术问题是目前没有一种模型可兼容准确率较 高、训练时间和识别时间短、模型结构简单等特性。因此针对现有技 术中存在的不足，本发明提供一种基于多尺度卷积神经网络的交通标 志快速识别方法，在保证准确率较高的条件下，减少识别时间，降低 模型复杂度，用较低的存储器需求以及更少的学习参数满足需求。

本发明解决其技术问题所采用的技术方案是：构造一种基于多尺 度卷积神经网络的交通标志快速识别方法，包括：

步骤1，从交通摄像头数据中提取交通标志图像；

步骤2，采用双线性插值法，将所有交通标志图像尺寸归一化为 32*32像素；

步骤3，改进卷积神经网络算法，利用卷积层组成的卷积模块对 交通标志图像进行特征提取；

步骤4，针对图像特征，选取归一化方法，对各个卷积层的均值 和方差进行批量归一化；

步骤5，将不同卷积层层级产生的特征融合成多尺度特征，传递 给全连接层，最后传递给SoftMax分类器进行分类。

其中，在针对图像特征，选取归一化方法，对各个卷积层的均值 和方差进行批量归一化的步骤中，包括步骤：

对中间数据进行归一化处理，公式如下：

其中，x＝(x⁽¹⁾,…,x^(d))表示每一批训练的输入数据，

是对应的 x^(k)归一化处理后的数据。数据归一化处理之后，会改变神经网络隐 藏层的输出，降低图像特征的表达能力。因此，在数据归一化之后， 需要进行一组简单的线性变换，为此BN算法增加了两个控制参数 γ和β：

当

β(k)＝E[x^(k)]时，调整后的数据又还原回去， 恢复出神经网络某一层所提取的特征；

网络某一层对数据进行归一化，步骤如下：

步骤1，计算每个数据块的均值μ_B：

步骤2，计算每个数据块的方差

步骤3，归一化，其中ε是极小值，防止分母为0，公式为：

步骤4，线性变化：

与现有技术相比，本发明提出了一种基于多尺度卷积神经网络 的交通标志快速识别方法，具体构建了一种准确率较高，收敛速度较 快、识别时间较短、模型较简单的多层多尺度卷积神经网络模型， 对简单的卷积神经网络结构进行了三部分的优化：(1)采用了多尺 度融合浅层和高层特征的方式，提高识别的准确度；(2)设计了多 卷积层结构识别不同的交通标志，充分提取图像特征，最终提高分 类的精度；(3)基于批量归一化的方法，减少数据分布的变化，即 增大梯度，提高模型的训练速度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

如图1所示，本发明设计了一种基于多尺度卷积神经网络的交通 标志快速识别方法。

算法选择采用德国交通标志数据集(GTRSB)数据集做相关实 验验证。GTRSB数据集中每张图像中都包含着约占全图面积10％的 非交通标志区域，每个数据类别目录下的CSV文件明确标注了该区 域的位置，所以基于该标注可以直接分割出完整的交通标志。但是， 在实际采集中，随着摄像头与交通标志之间的距离变化，数据集中图 片大小不同，在15×15和250×250像素之间，因此必须做尺寸归一化。 为了验证模型的有效性，本发明针对数据集，采用双线性插值法，将 所有交通标志图像尺寸归一化为32×32像素。

图2是本发明提供的一种基于多尺度卷积神经网络的交通标志 快速识别方法中多层多尺度卷积神经网络模型的结构示意图。

图3是本发明提供的一种基于多尺度卷积神经网络的交通标志 快速识别方法中特征可视化示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现 对照附图详细说明本发明的具体实施方式。

本发明设计的多层多尺度卷积神经网络为14层，如图2，包括1 个输入层，6个卷积层，3个池化层，2个BN层，1个全连接层，1 个输出层，表1是本网络的网络参数。

表1网络的结构参数

本发明在GTRSB数据集上进行多次实验验证模型的稳定性。为 保证模型的鲁棒性，各个模型使用相同的参数：卷积层使用3×3卷积 大小，通道数为100-200，全连接神经元个数为400，使用Relu作为 激活函数，学习率为0.0001，在全连接层使用Dropout的keep_prob 参数为0.5。在训练时，保证模型的准确性，使用早停法，设置参数 为5000。

对于多卷积层数量的选取.本发明的模型中有两个卷积块，分别 为Conv 1st和Conv 2nd,每个卷积块由卷积层和池化层组成。实验发 现使用的卷积层数3-3时，即两个卷积块中卷积层数量都为3层时， 模型收敛速度达到最快，准确率达到最高。综合模型复杂度和参数数 量上考虑，本发明中选用3-3分别代表Conv 1st和Conv 2nd的卷积 层数量)作为最终模型的卷积层数量。

为了提高模型的收敛速度，针对交通标志的图像特征，选取归一 化方法。本方法利用批量归一化的方法，对连续三次卷积后的数据进 行处理。研究发现并不是每层卷积之后添加BN层都会提高实验精度， 本发明在卷积块最后添加BN层，准确率达到了98.615％。

全连接层的主要作用是实现分类，它会使用图像的全局信息，节 点的权值固定，每一个节点都有上一层的所有节点相连，将学到的“分 布式特征表示”映射到样本标记空间，整合在一起输出一个值，很大 程度减少了特征位置对分类带来的影响。不同的全连接层数对实验结 果有不同的影响。

在GTRSB数据集下，不同方法的有不同的准确率值，如表2。 本发明算法MM-CNN(BN)没有经过数据增广，准确率最高达到了 98.615％。Multi-column DNN的准确率有99.46％，但是需要完成大量 的预处理，导致识别时间过长。MSCNN虽然准确率达到了99.25％， 但是经过了数据增广，将每一类的交通标志数据集扩大到2000张， 导致训练过程计算成本高且非常耗时。Multi_CNN准确率达到 98.31％，但是通过尺寸变化、角度旋转等方式使数据集数量扩大了5 倍，操作繁琐。MFC-ELM对数据采用了图像聚类算法进行了样本的 筛选，过程复杂，而且迭代次数超过60000次时，测试精度才达到 98.5％，训练过程时间长。Random Forests、SVM等机器学习算法， 虽然训练时间快，但是识别率远低于深度学习方法。

表2准确率对比

在相同硬件平台、学习环境、GTRSB的测试集下，本发明算法 在识别时间有着很好的表现，如表3。MM-CNN(BN)比Multi_CNN 识别时间略高，但是MM-CNN(BN)没有增强数据集，过程简单， 同时在收敛速度和准确率也有着很大的提高。MM-CNN(BN)与近 期提出的MSCNN识别时间相差不大，但比Multi-column DNN的较 复杂的框架模型识别时间快很多。因此从泛化能力和实时性出发，本 发明设计的模型通过使用多尺度、多层卷积和批量归一化的方法，即 使基于较差的平台，在训练时间、准确率、识别时间上也可获得良好 的表现。

表3识别时间对比

在验证模型的泛化性方面，选用比利时交通标志数据集做验证。 比利时交通标志数据集(BTSC)有4533个训练图像和2562个测试 图像分割成62个交通标志类型。与GTSRB数据集相比，该数据集 具有不同的交通标志象形图、照明条件、遮挡、图像分辨率等。将本 发明算法应用到该数据集上，每张照片的识别时间为0.03885ms，在 没有进行数据预处理，准确率达到97.964％，远远高于MFC-ELM等 模型。表4的实验结果表明该模型有很好的有效性和泛化性。

表4 BTSC数据集上验证

在与传统卷积神经网络模型运算速度对比，采用Params参数进 行对比验证，Param是模型参数量。由表5所示，本发明的模型模 型参数量最低，从而降低了模型复杂度，加快交通标志图像的识别速 度。

表5与传统模型的参数量对比

本发明最后做了特征可视化，以30的交通标志为例，如图3所 示，从图中可以看出在第一个卷积块图像特征边缘信息更加清晰、图 像更加立体，在第二个卷积块则特征更加明显、明亮，经过特征融合 之后、提取的信息更加丰富，这也是导致该模型取得较好结果的原因。

与现有技术相比，本发明提出了一种基于多尺度卷积神经网络 的交通标志快速识别方法，具体构建了一种准确率较高，收敛速度较 快、识别时间较短、模型较简单的多层多尺度卷积神经网络模型， 对简单的卷积神经网络结构进行了三部分的优化：(1)采用了多尺 度融合浅层和高层特征的方式，提高识别的准确度；(2)设计了多 卷积层结构识别不同的交通标志，充分提取图像特征，最终提高分 类的精度；(3)基于批量归一化的方法，减少数据分布的变化，即 增大梯度，提高模型的训练速度。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局 限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而 不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离 本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这 些均属于本发明的保护之内。

Claims (2)

1.一种基于多尺度卷积神经网络的交通标志快速识别方法，其特征在保证准确率处于较高的情况下，减少模型参数，降低模型复杂度，达到快速识别目的，包括：

步骤1，从交通摄像头数据中提取交通标志图像；

步骤2，采用双线性插值法，将所有交通标志图像尺寸归一化为32*32像素；

步骤3，改进卷积神经网络算法，利用卷积层组成的卷积模块对交通标志图像进行特征提取；

步骤4，针对图像特征，选取归一化方法，对各个卷积层的均值和方差进行批量归一化；

步骤5，将不同卷积层层级产生的特征融合成多尺度特征，传递给全连接层，最后传递给SoftMax分类器进行分类。

2.根据权利要求1所述的基于多尺度卷积神经网络的交通标志快速识别方法，其特征在于，根据交通标志的图像特征，选取归一化方法，对各个卷积层的均值和方差进行批量归一化的步骤中，包括步骤：

对中间数据进行归一化处理，公式如下：

其中，x＝(x⁽¹⁾,…,x^(d))表示每一批训练的输入数据，

是对应的x^(k)归一化处理后的数据。数据归一化处理之后，会改变神经网络隐藏层的输出，降低图像特征的表达能力。因此，在数据归一化之后，需要进行一组简单的线性变换，为此BN算法增加了两个控制参数γ和β：

当

β(k)＝E[x^(k)]时，调整后的数据又还原回去，恢复出神经网络前一层所提取的特征。网络某一层对数据进行归一化，步骤如下：

步骤1，计算每个数据块的均值μ_B：

步骤2，计算每个数据块的方差

步骤3，归一化，其中ε是极小值，防止分母为0，公式为：

步骤4，线性变化：

Images