CN106372577A - 一种基于深度学习的交通标志自动识别与标注方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的交通标志自动识别与标注方法，用于智能汽车的环境感知技术领域。本发明采用语义分割结构对交通标志定位检测，获取含有交通标志的候选区域，语义分割结构包含两部分：编码网络；解码网络和基于像素的分类层。然后通过快速区域卷积神经网络对候选区域中的交通标志进行分类识别并定位。基于该交通标志自动识别与标注方法，还相应提供了一种有效的更新地图导航信息的方法。本发明用语义分割的方法对交通标志候选区域进行定位，提供了新思路，并减少了训练的参数数量，节省了存储空间，缩短了计算时间。本发明识别准确率高，可以对地图导航信息进行较准确的交通标志信息更新，以方便更好地服务驾驶员。

Description

一种基于深度学习的交通标志自动识别与标注方法

技术领域

本发明涉及智能汽车的环境感知技术领域，适用于无人驾驶以及辅助驾驶系统，具体涉及一种基于深度学习的交通标志自动识别与标注方法。

技术背景

随着社会的发展，汽车已经成为人类日常生活不可替代的交通工具。然而，随之而来的是日益突出的安全问题。当今，地图导航是人们日常出行常用的工具。但地图导航存在着明显的缺点，它提供的路况信息往往会因为道路维修、扩建、改造等原因而发生变化，其中交通标志的信息也时常发生变化。因此，能使用自动识别交通标志的模块定期对地图导航中的信息进行更新是非常必要的，这关乎人们的出行安全。道路交通标志识别模块是无人驾驶汽车环境感知的重要部分，可以通过与GPS共同使用以获取交通标志的精确地理信息和标志含义，同时无人驾驶汽车也可根据所处环境的交通标志指示信息做出正确决策，进而减少交通事故的发生。

交通标志包含了道路状况的改变、行驶速度以及驾驶行为限制等重要信息，因此，交通标志自动识别技术有很强的必要性：1)能够为驾驶员提供视力延伸：驾驶员因为身体疲劳、视力不佳、注意力不集中等原因，以及受到光照、恶劣天气等因素干扰，有时不能准确快速获取行驶过程中的交通标志信息；2)能够及时获取真实、准确的交通信息：地图导航仪能自动提示行驶路线以及部分现行规则信息，但是由于地图导航仪不能及时跟上道路中标志牌变化，从而经常发生错误的指引；3)采集和更新地理信息时，可以节省大量的人力和物力。

在交通标志的定位检测方面，滑动窗口的方法，如级联分类器或基于梯度方向直方图特征的支持向量机分类器，由于需要在测试图片中要获得大量窗口，使得计算的复杂性和误检率增大。部分学者使用颜色信息对交通标志进行检测，根据图像在一个亮度信号Y和两个色差信号U、V的颜色模型中红色像素所占的比例检测可能的交通标志区域。但是，基于颜色的交通标志检测在强光照、昏暗和不利天气的情况下表现不佳。

在交通标志识别方面，现有的交通标志分类识别方法大多是本身的特征和分类器相结合。有学者提出的基于Zernike不变矩与支持向量机的交通标志识别方法，该方法对于交通标志出现旋转、尺度缩放等情况效果不错，但是在改变光照条件下的识别率效果不佳。

在自然场景下，光照变化、颜色褪色、运动造成的模糊、复杂的背景、部分遮挡等因素，给交通标志的实时自动检测与识别带来了巨大挑战。现有的方法大多基于人工提取的交通标志特征进行分类识别，泛化能力差。

因此，高效准确的交通标志识别系统在智能交通系统中发挥举足轻重的作用，而交通标志的检测与识别算法则是识别系统的核心，决定了识别系统的性能，对于汽车安全驾驶以及无人驾驶汽车正确决策都有着很高的应用价值。

发明内容

针对目前交通标志识别差的问题，本发明提供了一种基于深度学习的交通标志自动识别与标注方法，获取含有交通标志的图片候选区域，对提取的交通标志候选区域使用快速区域卷积神经网络进行分类识别，实现交通标志识别和标注，本发明用于更新地图导航信息，同时为交通标志识别的研究提供新的角度和思路。

本发明的一种基于深度学习的交通标志自动识别与标注方法，通过以下步骤实现：

步骤一：采用语义分割结构对交通标志定位检测，获取含有交通标志的候选区域；

所述的语义分割结构包含两部分：一部分是编码网络；另一部分是相应的解码网络和基于像素的分类层。

所述的编码网络包含VGG16网络的卷积层和最大值池化层，去掉VGG16网络的全连接层；一个卷积层对应一个编码器，每个编码器卷积生成特征图，存储最深的编码器输出的特征图，存储各最大值池化的指数；

所述的解码网络中，对应编码网络中的每个编码器有一个解码器，解码器利用相应编码器在最大值池化时的池化指数对输入的特征图进行非线性上采样，生成稀疏的特征图，再对稀疏的特征图经过卷积操作，生成密集特征图；

基于像素的分类层是指将解码网络输出的密集特征图送入softmax分类器，对图中的每个像素分别进行分类，输出一个p通道的概率图，p为类别数量。

步骤二：将步骤一得到的候选区域输入训练好的快速区域卷积神经网络，对交通标志进行分类识别并定位。所述的快速区域卷积神经网络与解码网络共享卷积层。

基于上述的交通标志自动识别与标注方法，本发明进一步提供了一种有效的更新地图导航信息的方法，通过以下步骤实现：

步骤1：获取精确的地理位置信息和交通标志信息；

采用GPS模块获取精确的地理位置信息，并用交通标志识别模块识别出交通标志信息，将两者结合后得到准确的交通标志本身含有的信息以及其所在的地理位置。所述的交通标识识别模块采用所述的交通标志自动识别与标注方法实现。

步骤2：对地图导航进行更新；

将步骤1识别的交通标识及其所在的地理位置信息，与地图导航仪中的地理信息及交通标志信息进行匹配，如果信息不能匹配则将地图导航信息进行更新，如果完全匹配则地图导航信息保持不变。

本发明的优点和积极效果在于：

1、本发明方法具有识别交通标志的种类多、节省存储空间和计算所需的时间、实时性好等优势，可以将由于路况发生变化或者由于更新不及时或不准确的地图导航信息进行较准确的交通标志信息更新，以方便更好地服务驾驶员。

2、与现有对交通标志的定位检测的研究角度不同，本发明用语义分割的方法对交通标志候选区域进行定位，为交通标志的定位检测提供新的研究思路。本发明主要应用于道路场景的理解，解码器利用了相应编码器在最大值池化时的池化指数来进行非线性上采样，避免了学习上采样的过程，同时改善边界的非线性，减少了端到端训练的参数数量，更节省存储空间，同时缩短计算所需的时间。

3、交通标志识别阶段中，本发明对上述候选区域采用一种与解码网络共享卷积层的快速区域卷积神经网络，能够快速识别高分辨率图片中的交通标志。

4、本发明充分利用图像卷积的优势，降低了光照变化、颜色褪色、运动造成的模糊、复杂的背景、部分遮挡等因素对图像识别的影响，提高了抗干扰能力，识别准确率高，误识别率低。

附图说明

图1是本发明更新地图导航信息的方法流程示意图；

图2是本发明的交通标志自动识别和标注的流程示意图；

图3是本发明方法中交通标志定位检测阶段的示意图；

图4是VGG16的网络配置表示意图；

图5是ReLU激活函数示意图；

图6是解码工作流程示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细陈述。

如图1所示，本发明采用GPS模块获取地理位置信息，并用交通标志识别模块识别出交通标志信息，将两者结合后与地图导航仪中的地理信息与交通标志信息进行匹配，如果信息不能匹配则将地图导航信息进行更新，如果完全匹配则地图导航信息保持不变。通过此方法，本发明可以将由于路况发生变化或者由于更新不及时或不准确的地图导航信息进行较准确的交通标志信息更更新，以方便更好地服务驾驶员。

本发明的交通标志识别模块中使用本发明提出的基于深度学习的交通标志自动识别与标注方法，流程如图2所示，包括以下几个步骤：

步骤一：交通标志定位检测阶段，获取含有交通标志的候选区域。

交通标志的定位检测阶段是整个交通标志识别的基础，本发明采用的语义分割结构包含两部分，一部分是编码网络，另一部分是相应的解码结构和最后的基于像素的分类层，如图3，输出图像中的矩形框选区域为交通标志的候选区域。

(1)VGG16网络。

在介绍本发明的语义分割结构之前，简要介绍一下VGG16结构，如图4所示：每组卷积层由多个卷积层组成，后面紧跟着最大值池化层。在卷积和池化之后，经过3层的全连接，最后一个全连接层的输出作为softmax分类层的输入，生成交通标志分类的结果。softmax函数将多个标量映射为一个概率分布。对于k个标量x₁,x₂,…,x_k,softmax函数定义为:

$z_k=softmax\left(x_k\right)=\frac{\exp \left(x_k\right)}{{\mathrm{\Σ}}_{i=1}^k\exp \left(x_i\right)}---\left(1\right)$

其中，exp(x_k)为z_k为标量x_k对应的softmax函数值。

该网络使用了增加非线性ReLU(Rectified Linear Unit)激活，如图5所示，卷积层和全连接层的输出都经过ReLU的处理，这可以大大缩短了网络训练的时间。ReLu激活函数f(x)的公式为：

f(x)＝max(0,x) (2)

公式(2)中，x表示的是激活函数的输入值，利用该公式，若输入值比0小则输出为0，若输入值比0大则输出值就等于输入值。

此外，该网络还使用一种正则化方法Dropout，避免在全连接层上出现过拟合的现象。

(2)编码网络部分，基于VGG16网络改进实现。

编码网络包含对应于VGG16网络的13个卷积层和5个最大值池化层。本发明保留下最深的编码器输出的特征图，去掉全连接层，这样能极大地减少网络结构中的参数数量。在编码网络中的每一个编码器用一组滤波器卷积后生成一系列特征图。然后把这些特征图进行归一化，之后用ReLU激活函数。

本发明实施例中，最大值池化使用的是2*2的窗口，步长为2，最大值池化是为了获得对于输入图片中空间转移的平移不变性。但是最大值池化会损失边界信息，但是边界信息是至关重要的，因此有必要获取和存储在下采样之前的编码器特征图中的边界信息。但是在实际应用中，存储所有的编码器特征图是不可行的，本发明仅仅存储最大值池化的指数。最大值池化的指数是指最大值池化操作后保留下来的数值在原特征图中的相对位置。

(3)解码网络和基于像素的分类层。

每一个编码层都有一个对应的解码层，因此解码层也有13层。解码器利用了相应编码器在最大值池化时的池化指数来进行非线性上采样，这避免了学习上采样，同时改善边界的非线性，减少了端到端训练的参数数量。本发明主要应用于道路场景的理解，推测时节省存储空间和计算所需的时间。解码网络中的解码器用存储的从相应的编码器中获得的最大值池化指数上采样到输入特征图，这一步可以产生稀疏的特征图，如图6所示，图中的大矩形表示的为稀疏的特征图。这些稀疏的特征图用可训练的解码器卷积后生成密集的特征图。

然后对生成的密集特征图批归一化(batch normalization)。解码器输出的高维特征图送入softmax分类器。softmax对于每个像素分别进行分类，输出的是一个p通道的概率图，其中p是类别的数量。

(4)编码、解码网络的训练。

本发明的语义分割结构在可训练的参数上较为精简，并且不需要复杂的训练协议就能够用随机梯度下降算法进行端到端的训练。编码和解码的权重都采用正态分布上的采样数乘以的方式进行初始化，n是编码或解码的权重的输入值个数。本发明用随机梯度下降算法进行训练，使用固定的学习率0.1和动量0.9来训练。

(5)编码、解码网络的损失函数。

本发明用cross-entropy损失函数作为训练网络的目标函数。cross-entropy损失函数L_i为：

$L_i=-log\left(softmax\right)=-log\left(\frac{\exp \left(x_k\right)}{{\mathrm{\Σ}}_{i=1}^k\exp \left(x_i\right)}\right)---\left(3\right)$

步骤二：交通标志分类识别阶段，对于已经提取出来的交通标志候选区域进行特征提取和分类识别。

(1)快速区域卷积神经网络。

针对步骤一中得到的含有交通标志的候选区域，在交通标志的分类识别阶段，本发明采用一种与解码网络共享卷积层的快速区域卷积神经网络算法(fast-Region basedConvolutional Neural Network)进行交通标志的识别。训练快速区域卷积神经网络时，首先将带有标注的数据集输入卷积神经网络中，生成卷积特征图。带有标注的数据集是指标记有交通类别的交通标志图像的集合。随后将步骤一得到的含有交通标志的候选区域映射到卷积特征图中，获取相应的特征信息。随后，对该特征信息进行池化操作，得到一个大小为7*7的区域特征池化图。紧接着，进一步通过全连接获取一个4096维的特征向量，该特征向量就是卷积神经网络对候选区域所提取出的最终特征。最后，将此特征向量分别输入到softmax分类器与包围盒中，利用非极大值抑制法判断出候选区域的目标类别与在图中的位置。之后，利用判断值与实际标注值之间的差别得到损失函数，然后利用反向传播算法与随机梯度下降法对网络参数结构进行优化，最终得到输出网络。在实验时，将待测图像输入到网络中，直接输出交通标志的类别并进行定位。

(2)解码网络与快速区域卷积网络的联合训练。

本发明采用一种联合训练方法，通过交替优化的方式使得解码网络与快速区域卷积网络可以编码网络中共享卷积层参数。训练步骤分为四步：1)首先对解码网络利用在ImageNet数据集上预训练的模型进行初始化，之后进行微调训练；2)对快速区域卷积网络进行训练，其中利用第一步的解码网络生成的建议框作为训练输入样本，同样由ImageNet预训练的模型进行初始化；3)用检测网络初始化候解码网络，但固定共享的卷积层，并且只微调解码网络独有的层；4)保持共享的卷积层固定，微调快速区域卷积神经网络的全连接层。这样，两个网络共享相同的卷积层，构成一个统一的网络。

(3)快速区域卷积神经网络的损失函数。

快速区域卷积神经网络中，通过softmax分类器对输入的候选区域输出k+1类目标(包含背景)的概率，实现交通标志类别判断，通过包围盒对候选区域输出回归后的包围盒坐标，实现交通标志的定位，k为交通标志的类别数。对于每一个训练候选区域定义损失函数为：

L(p,u,t^u,t^*)＝L_cls(p,u)+[u≥1]L_loc(t^u,t^*) (4)

其中，L_cls(p,u)＝-logp_u是候选区域对应的真实目标类别u的对数损失。对于k+1类目标有p＝(p₀,p₁…p_k)，p_u表示类别为u的真实目标。[u≥1]为示性函数，当候选区域为背景时，u＝0。L_loc(t^u,t^*)为包围盒坐标的回归损失，其中S(x)为：

$S\left(x\right)=\left\{\begin{array}{c}0.5x^2,if\left|x\right|<1\\ \left|x\right|-0.5,otherwise\end{array}\right.---\left(5\right)$

对于回归，对于k类目标中的每一个都有t^k表示类别是k的预测目标对应的包围盒的坐标向量。某个预测区域的包围盒的坐标向量表示为t＝[t_x,t_y,t_w,t_h]^T，候选区域对应的真实目标包围盒的参数坐标向量表示为本发明采用4个坐标的参数：

$\begin{array}{cccc}{t}_x=(x-x_a)/w_a& t_y=(y-y_a)/h_a& t_w=log(w/w_a)& t_h=log(h/h_a)\\ t_x^{*}=(x^{*}-x_a)/w_a& t_y^{*}=(y^{*}-y_a)/h_a& t_w^{*}=\log \left(w^{*}/w_a\right)& t_h^{*}=\log \left(h^{*}{\mathrm{/h}}_a\right)\end{array}---\left(6\right)$

其中，x,y指的是预测的包围盒中心坐标，w,h分别是预测的包围盒的宽、高。

x_a，y_a是候选区域中心坐标，w_a,h_a分别是候选区域的宽、高。

x^*,y^*分别为真实区域包围盒中心坐标。w^*,h^*分别是真实区域包围盒的宽、高。

Claims (4)

1.一种基于深度学习的交通标志自动识别与标注方法，其特征在于，实现步骤如下：

步骤一：采用语义分割结构对交通标志定位检测，获取含有交通标志的候选区域；

所述的语义分割结构包含两部分：一部分是编码网络，另一部分是相应的解码网络和基于像素的分类层；

所述的编码网络包含VGG16网络的卷积层和最大值池化层，去掉VGG16网络的全连接层；一个卷积层对应一个编码器，每个编码器卷积生成特征图，存储最深的编码器输出的特征图，存储各最大值池化的指数；

所述的解码网络中，对应编码网络中的每个编码器有一个解码器，解码器利用相应编码器在最大值池化时的池化指数对输入的特征图进行非线性上采样，生成稀疏的特征图，再对稀疏的特征图经过卷积操作，生成密集特征图；

基于像素的分类层是指将解码网络输出的密集特征图送入softmax分类器，对图中的每个像素分别进行分类，输出一个p通道的概率图，p为类别数量；

步骤二：将步骤一得到的候选区域输入训练好的快速区域卷积神经网络，对交通标志进行分类识别并定位；所述的快速区域卷积神经网络与解码网络共享卷积层。

2.根据权利要求1所述的一种基于深度学习的交通标志自动识别与标注方法，其特征在于，步骤一中所述的编码网络和解码网络，在训练时，

(1)对每个编码器或解码器，权重采用正态分布上的采样数乘以的方式进行初始化，n为编码器或解码器的权重的输入值个数；

(2)采用随机梯度下降算法进行训练，训练时使用固定的学习率0.1和动量0.9。

(3)使用cross-entropy损失函数L_i作为训练网络的目标函数，如下：

$L_i=-log\left(soft\max \right)=-log\left(\frac{\exp \left(x_k\right)}{{\mathrm{\&Sigma;}}_{i=1}^k\exp \left(x_i\right)}\right)$

其中，x₁,…,x_k表示k个标量，exp(x_k)为

3.根据权利要求1所述的一种基于深度学习的交通标志自动识别与标注方法，其特征在于，步骤二中所述的快速区域卷积神经网络，在训练时，首先将带有交通类别标注的数据集输入卷积神经网络中，生成卷积特征图，再将含有交通标志的候选区域映射到所生成的卷积特征图中，获取相应的特征信息；然后，对获取的特征信息进行池化操作，得到一个大小为7*7的区域特征池化图，再进一步通过全连接获取一个4096维的特征向量，该特征向量就是卷积神经网络对含有交通标志的候选区域所提取出的最终特征；将得到的特征向量分别输入到softmax分类器与包围盒中，利用非极大值抑制法判断出含有交通标志的候选区域的交通标志类别与图中位置；之后，利用判断值与实际标注值之间的差别得到损失函数，对卷积神经网络参数结构进行优化，最终得到输出网络。

4.一种基于权利要求1至3任一所述的交通标志自动识别与标注方法的更新地图导航信息的方法，其特征在于，实现步骤如下：

步骤1：采用GPS模块获取地理位置信息，采用交通标志识别模块识别出交通标志信息，所述的交通标识识别模块采用所述的交通标志自动识别与标注方法实现；

步骤2：对地图导航进行更新；

将步骤1识别的交通标识及其所在的地理位置信息，与地图导航仪中相应的地理位置信息及交通标志信息进行匹配，如果信息不能匹配则将地图导航信息进行更新，如果完全匹配则地图导航信息保持不变。