CN106372571A - 路面交通标志检测与识别方法 - Google Patents

Abstract

本公开的实施例关于一种基于深度学习的路面交通标志检测与识别方法,包括利用卷积神经网络对训练集数据计算多个层的卷积特征，利用卷积特征训练感兴趣区域建议网络以及基于卷积特征和由所训练的感兴趣区域建议网络得到的候选框，利用随机梯度下降法训练输出层的分类层和回归层。

Description

路面交通标志检测与识别方法

技术领域

本公开属于图形处理和自动驾驶领域，尤其是涉及一种基于深度学习的路面交通标志检测与识别方法。

背景技术

当今社会，车辆已经成为人们出行的首选工具，很大程度上方便了人们的出行。然而交通事故频发已经成为威胁人们生命安全的重要因素。据统计在所有的交通事故中，由于人的主观原因引起的事故占了很大的比重。例如酒后驾车、超速行驶、闯红灯、随意变道等一系列不遵守交通法规的行为。如何缓解甚至杜绝交通事故频发的难题，高级驾驶员辅助系统和无人驾驶应运而生。通过车载设备例如摄像机、激光雷达等获取车辆周围的环境信息，并通过相关技术对这些原始数据进行解析，以此来提醒驾驶员正确开车或者指挥无人车安全行驶。在车辆所处的环境信息中，交通标志、行人、车辆是首要检测的目标。在交通标志检测中，路面的交通标志检测是很重要的一个组成部分。因为路面交通标志所处环境复杂多样例如遮挡严重、光照变化剧烈、标志磨损严重、形变严重等问题，很难选择或者设计出一种特征来表达路面交通标志。

目前路面交通标志检测的方法主要分为两类：第一中是Wu等人在文献“T.Wu andA.Ranganathan.A Practical System for Road Marking Detection andRecognition.IEEE Intelligent Vehicles Symposium,pp.25-30,2012.”中提出了一个可用的路面标志检测与识别系统。该系统通过逆透视投影变换简称IPM消除由于摄像机拍摄所带来的标志形状形变影响，进而提取方向梯度直方图特征简称Hog特征，通过模板匹配的方法来达到分类目的。该类方法选取的特征Hog依赖于图像的逆透视投影变换，特征鲁棒性欠佳。第二种是Chen等人在文献“T.Chen,Z.Chen,Q.Shi,and X.Huang.Road MarkingDetection and Classification Using Machine Learning Algorithms.IEEEIntelligent Vehicles Symposium,pp.617-621,2015.”中提出的方法，它使用二值化的BING特征来检测和两层的PCANet来实现分类。该方法抛弃了图像的IPM变换使特征提取不依赖拍摄设备的参数更加鲁棒，然而BING特征具有一定的局限性，二值化使它损失了大量的有价值的信息，并不能很好地将标志与背景分开。以上两种方法都是将交通标志的检测与识别分为两个独立的部分，检测结果的好坏直接影响了识别模块是否会有较好的表现。这种相互独立的模块设计积累了错误，使路面交通标志的检测准确率下降。

发明内容

本公开的实施例关于一种基于深度学习的交通标志检测与识别方法，包括利用卷积神经网络对于训练集数据计算多个层的卷积特征，利用所述卷积特征训练感兴趣区域建议网络，基于所述卷积特征和由所训练的感兴趣区域建议网络得到的候选框，利用随机梯度下降法训练输出层的分类层和回归层以及基于所训练的输出层来识别交通标志。

在一些备选实施例中，训练集包括含有多种交通标志的图像。

在一些备选实施例中，卷积神经网络包括多个卷积层、多个池化层以及多个全连接层。

在一些备选实施例中，候选框是根据所训练的感兴趣区域建议网络得出的包括交通标志的概率最大的区域。

在一些备选实施例中，多个池化层中的最后一层针对不同大小的感兴趣区域采用不同的池化窗口以得到固定大小的特征图。

在一些备选实施例中，多个全连接层的最后一层的输出包括多个通道。

在一些备选实施例中，多个通道的每个对应一个类。

在一些备选实施例中，训练感兴趣区域建议网络包括选取不同尺度长宽比的窗口，在最后一层卷积特征图上滑动窗口，通过卷积运算得到窗口的特征，将所得到的窗口特征输入到似物性分类层和窗口坐标回归层进行训练。

在一些备选实施例中，利用随机梯度下降法训练输出层的分类层和回归层包括利用随机梯度下降法训练输出层的分类层和回归层直至分类和回归的损失函数收敛。

在一些备选实施例中，所述交通标志包括速度标志、箭头标志、文字标志、斑马线、网状线、中心圈以及菱形标志中的一个或多个。

本公开为了解决上述现有技术中的至少一些问题，提出了一种基于深度学习的交通标志检测与识别方法。该方法将路面交通标志的检测与识别放到整体的网络中进行考虑，通过深度的卷积神经网络从样本中学习特征进而实现路面交通标志的检测与分类。所学习到的特征具有更好的鲁棒性和更强的表达能力，有效地提高了路面交通标志检测的准确性。

附图说明

本公开提供了附图以便于所公开内容的进一步理解，附图构成本申请的一部分，但仅仅是用于图示出体现发明概念的一些发明的非限制性示例，而不是用于做出任何限制。

图1是根据本公开的一些示范实施例的基于深度学习的交通标志检测与识别方法的流程图。

图2是根据本公开的一些示范实施例的卷积网络的结构图。

图3是根据本公开的一些示范实施例的感兴趣区域建议网络的结构图。

图4是根据本公开的一些示范实施例的交通标志的图示。

图5是根据本公开的一些示范实施例的基于深度学习的交通标志检测与识别方法的检测结果的示意图。

具体实施方式

下文将使用本领域技术人员向本领域的其它技术人员传达他们工作的实质所通常使用的术语来描述本公开的发明概念。然而，这些发明概念可体现为许多不同的形式，因而不应视为限于本文中所述的实施例。提供这些实施例是为了使本公开内容更详尽和完整，并且向本领域的技术人员完整传达其包括的范围。也应注意这些实施例不相互排斥。来自一个实施例的组件、步骤或元素可假设成在另一实施例中可存在或使用。在不脱离本公开的实施例的范围的情况下，可以用多种多样的备选和/或等同实现方式替代所示出和描述的特定实施例。本申请旨在覆盖本文论述的实施例的任何修改或变型。

对于本领域的技术人员而言明显可以仅使用所描述的方面中的一些方面来实践备选实施例。本文出于说明的目的，在实施例中描述了特定的数字、材料和配置，然而，领域的技术人员在没有这些特定细节的情况下，也可以实践备选的实施例。在其它情况下，可能省略或简化了众所周知的特征，以便不使说明性的实施例难于理解。

此外，下文为有助于理解说明性的实施例，将各种操作依次描述为了多个离散的操作；然而，所描述的顺序不应当被认为是意味着这些操作必须依赖于该顺序执行。而是不必以所呈现的顺序来执行这些操作。

下文中的“在一些实施例中”，“在一个实施例中”等短语可以或可以不指相同的实施例。术语“包括”、“具有”和“包含”是同义的，除非上下文中以其它方式规定。短语“A和/或B”意味着(A)、(B)或(A和B)。短语“A/B”意味着(A)、(B)或(A和B)，类似于短语“A和/或B”。短语“A、B和C中的至少一个”意味着(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。短语“(A)B”意味着(B)或(A和B)，即A是可选的。

图1公开了根据本公开的一些示范实施例的基于深度学习的交通标志检测与识别方法的流程图。该方法的流程可包括准备训练数据集，将训练数据集输入卷积神经网络并计算多个层的卷积特征，利用卷积特征训练感兴趣区域建议网络，基于卷积特征和感兴趣区域建议网络得到的候选框，训练输出层的分类层和回归层以及基于所训练的输出层来识别交通标志。方法流程开始于步骤S101，其中准备训练和测试检测系统的数据集。所准备的数据集可以包括用于机器学习的训练集和用于测试训练结果的测试集。可以选取合适的含有路面标志的视频以进行人工标注，并保证每类标志具有一定的样本数量。在本公开的一些实施例中，选取所获取的视频中出现的多种交通标志来加入数据集。在一些实施例中，选取所获取的视频中出现次数较多的13类路面交通标志来进行检测。在采用深度学习方法进行有监督训练的实施例中，深度的网络需要大量的数据输入。若数据量太少容易造成过拟合，即在训练集上能达到很高的准确率，而在测试集上准确率不高。

在一些实施例中，选用行车记录仪拍摄的视频分辨率为1280*720的视频图像。从其中人工标注出现次数较多的多种路面交通标志的具体位置和类别以构成训练集。在图4所示的示例中，所选用的交通标志可以分为13类，分别为时速60、时速70、直行箭头、直行向右箭头、直行向左箭头、向左箭头、向右箭头、菱形标志、斑马线、中心圈、简化网状线、掉头箭头和/或车让人文字。类似地，也可以以人工标注来选取交通标志以构成测试集以评估检测的准确性。

在步骤S102中，将训练集数据输入卷积神经网络(CNN)中并计算各层卷积特征。卷积神经网络为现有技术中常用的人工神经网络结构的多层感知器，常用于图像识别领域。在卷积神经网络中图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。示范性的卷积神经网络包括多个卷积层、多个池化层以及多个全连接层。如图2所示，一种示例的卷积神经网络可以采用K.Simonyan等人在文献“K.Simonyan andA.Zisserman.Very deep convolutional networks for large-scale imagerecognition,2015.”中使用的网络，其简称为VGG16，包括13个卷积层，5个池化层和3个全连接层。为了不限制输入图片的大小同时又要保证输入到全连接层的特征图大小固定，将多个池化层的最后一个池化层作为感兴趣区域池化层。针对不同大小的感兴趣区域可以采用不同的池化窗口，从而得到固定大小的特征图。池化方式可采用最大值池化。根据检测类别的数目，最后一个全连接层的输出为多个通道，每一个通道对应一个类。在使用VGG16的实施例中通道的数目为14个。

在接下来的步骤S103和S104中，利用深度学习训练感兴趣区域建议网络(RPN网络)。RPN网络用于从输入图片中生成感兴趣区域，即输出含有路面交通标志概率最高的候选框的位置。同时参考图3所示，在训练过程中，首先选取不同尺度长宽比的窗口，在最后一层卷积特征图上进行滑动窗口，通过卷积运算得到这些窗口的特征。然后将滑动窗口的得到的窗口特征同时输入到似物性分类层和窗口坐标回归层训练。似物性分类层和窗口坐标回归层的多任务损失函数为：

$L\left(\right\{p_i\},\{t_i\left\}\right)=\frac{1}{N_{cls}}\underset{i}{\Σ}{L}_{cls}(p_i,p_i^{*})+\mathrm{\λ}\frac{1}{N_{reg}}\underset{i}{\Σ}{p}_i^{*}{L}_{reg}(t_i,t_i^{*})---\left(1\right)$

其中i表示第i个窗口，p_i表示第i个窗口是标志的可能性，t_i表示预测的窗口位置坐标，表示窗口实际是否包含标志，1表示包含0表示不包含，表示标志实际的位置坐标，N_cls和N_reg用于归一化L_cls和L_reg，λ为平衡两项的权重。通过将多任务损失函数的回归加入训练过程中，训练RPN网络选出最有可能是路面交通标志的窗口并输出其位置坐标，以供下一步的输出层使用。

在步骤S105和S106中，利用RPN网络得到的候选框和卷积神经网络得到的特征训练输出层的分类层和回归层。对于每一个感兴趣区域，真实类别为u，目标窗口位置为v，则分类和回归的损失函数为：

L(p,u,t^u,v)＝L_cls(p,u)+λ[u≥1]L_loc(t^u,v) (2)

L_cls(p,u)＝-logp_u (3)

$L_{loc}(t^u,u)=\underset{i\∈\{x,y,w,h\}}{\Σ}{\mathrm{smooth}}_{L_1}(t_i^u-v_i)---\left(4\right)$

${\mathrm{smooth}}_{L_1}\left(x\right)=\left\{\begin{array}{cc}0.5x^2& if\left|x\right|<1\\ \left|x\right|-0.5& otherwise\end{array}\right.---\left(5\right)$

根据该损失函数利用随机梯度下降法训练网络，直至L收敛。随机梯度下降法是本领域技术人员使用的常用无模型优化算法，在本公开的实施例中用于得到使得误差函数优化至最小化的参数。

分类层和回归层经以上步骤训练的输出层即可用于检测和识别交通标志。如果已经在准备训练集时类似地准备了测试集，则此时可选地可将训练好的网络在测试集上进行测试。将网络的检测结果和人工标注的实际结果作比较，采用交集比并集即IOU的判定标准。假设路面标志位置的检测结果和人工标注的实际结果分别为A、B，则：

$IOU=\frac{A\&cap;B}{A\&cup;B}---\left(6\right)$

若IOU>0.5且所识别的类别正确则认为检测正确。

为了验证本公开实施例方法的检测和识别效果，在K40GPU服务器、CentOS操作系统的运行环境中以MATLAB软件进行了仿真测试。实验中使用的训练和测试视频均来自于行车记录仪在真实交通环境中拍摄的视频，分辨率为1280*720，通过对视频每一帧进行人工标注，建立了一个路面交通标志检测数据库。该数据库包括28000张以上图片，训练集14000张以上，测试集14000张以上，共有路面交通标志13类：时速60、时速70、直行箭头、直行向右箭头、直行向左箭头、向左箭头、向右箭头、菱形标志、斑马线、中心圈、简化网状线、掉头箭头、车让人文字。各类样本数不一定相同，且包含常见的各种复杂环境，例如雨天，雾霾，也包含大量的处于遮挡、磨损、形变等恶劣情况下的路面标志。如以上所述的方法流程，先在训练集上训练好交通标志检测模型，再用训练好的交通标志检测模型在测试集上计算每类在不同召回率下的正确率，根据正确率-召回率曲线计算每类的平均正确率，并最终计算13类的平均正确率。图5为检测结果图。从图5中可以看到在环境恶劣的情况下本方法依然可以取得不错的检测效果。经过多次实验，从实验结果来看，本方法在真实交通场景下采集的较困难的数据集上检测13类道路标志时，取得不错的结果，13类的平均正确率最高达到49.7％。

综上，本公开由于利用深度的卷积神经网络来学习特征，使得系统更具鲁棒性，能够很大程度缓解路面交通标志遮挡严重、磨损严重、形变严重、光照变化严重等因素带来的检测困难的问题。本文中的部分方法步骤和流程可能需要由计算机执行，从而以硬件、软件、固件及其任何组合的方式来实施，并且可以包括计算机可执行的指令。该计算机可执行的指令可以以计算机程序产品的形式存储在机器可读介质上或者以从远程服务器下载的方式进行提供，并由通用计算机、专用计算机和/或其他可编程数据处理装置的一个或多个处理器读取和执行以实现方法步骤和流程中指明的功能/动作。机器可读介质包括但不限于软盘、光盘、压缩盘、磁光盘、只读存储器ROM、随机存取存储器RAM、可擦可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、存储卡、闪存和/或电、光、声以及其他形式的传播信号(例如载波、红外信号、数字信号等)。

另外需注意，本文中的术语“和/或”可表示“和”、“或”、“异或”、“一个”、“一些但不是全部”、“两者皆不”和/或“两者皆是”，但在此方面并无限制。本文虽然已经示出和描述了本公开的具体实施例，但对本领域技术人员显然可以在不脱离所附权利要求书范围的情况下进行众多改变、变化和修改。另外，在上述具体实施方式中，可看到各种特征在单个实施例中组合在一起以便简化公开内容。此公开方式不应解释为反映要求保护的实施方式需要比每个权利要求项明确所述的具有更多特征。相反，如权利要求所反映的一样，本公开的主题依赖的是比单个公开实施方式所有特征更少的特征。因此，权利要求书的每个权利要求项本身保持为单独的完整的实施例。综上，本领域技术人员将认识到在不脱离本公开的范围和精神的情况下，可在更广阔的各方面中进行改变和修改。所附权利要求书在其范围内涵盖了落入本公开真实范围和精神内的所有此类改变、变化和修改。

Claims (10)

1.一种基于深度学习的交通标志检测与识别方法，包括：

利用卷积神经网络对于训练集数据计算多个层的卷积特征；

利用所述卷积特征训练感兴趣区域建议网络；

基于所述卷积特征和由所训练的感兴趣区域建议网络得到的候选框，利用随机梯度下降法训练输出层的分类层和回归层；以及

基于所训练的输出层来识别交通标志。

2.如权利要求1所述的方法，其中所述训练集包括含有多种交通标志的图像。

3.如权利要求1所述的方法，其中所述卷积神经网络包括多个卷积层、多个池化层以及多个全连接层。

4.如权利要求3所述的方法，其中所述候选框是根据所训练的感兴趣区域建议网络得出的包括交通标志的概率最大的区域。

5.如权利要求3所述的方法，其中所述多个池化层中的最后一层针对不同大小的感兴趣区域采用不同的池化窗口以得到固定大小的特征图。

6.如权利要求3所述的方法，其中所述多个全连接层的最后一层的输出包括多个通道。

7.如权利要求6所述的方法，其中所述多个通道的每个对应一个类。

8.如权利要求1所述的方法，其中训练感兴趣区域建议网络包括：选取不同尺度长宽比的窗口，在最后一层卷积特征图上滑动窗口，通过卷积运算得到窗口的特征，将所得到的窗口特征输入到似物性分类层和窗口坐标回归层进行训练。

9.如权利要求1所述的方法，其中利用随机梯度下降法训练输出层的分类层和回归层包括利用随机梯度下降法训练输出层的分类层和回归层直至分类和回归的损失函数收敛。

10.如前述权利要求中任一项所述的方法，其中所述交通标志包括速度标志、箭头标志、文字标志、斑马线、网状线、中心圈以及菱形标志中的一个或多个。