CN106295546A - 一种基于视频的交通标志检测与识别方法 - Google Patents

Abstract

智能交通系统是计算机视觉领域的一个热点问题，也是国家和省十三五规划的重点内容。交通标志检测与识别技术作为智能交通系统的重要组成部分，其具有非常重要的意义。研究并设计了一套新颖的交通标志检测识别系统，主要分为交通标志检测、分割、识别三大模块。在检测模块中，首次将级联分类器结合大量正负样本进行训练，实现了交通标志的检测定位；在分割模块中，基于检测模块得到的定位先验信息，提出改进的Grab Cut算法实现了精确分割；在识别模块中，提取HOG特征，并利用支持向量机训练识别，最终达到了较优的识别准确率和运行效率。用于选题具有较高的工程应用价值和一定的理论研究价值。

Description

一种基于视频的交通标志检测与识别方法

技术领域

本发明属于实践应用技术领域，特别涉及一种交通标志检测与识别的方法，可应用于智能交通系统以及无人驾驶系统。

背景技术

在科学技术飞速发展、社会经济显著提升的今天，交通运输也进入了飞快的变革发展中，道路交通也在交通运输行业中占据了主导地位。然而，在很多发达国家中，能源消耗问题、空气污染问题已经变得越来越严重，那些追求高质量生活的人们对于一个安全畅通的交通环境的需求也越来越大，这就迫使着解决交通问题的手段变得智能化。为了解决交通运输方面存在的问题，各国的科研人员付出了大量的努力，在研究的过程中，包括自动和半自动驾驶系统在内的智能设备有了相当大的提高。从二十世纪八十年代起，美国、日本、德国等发达国家开始研究智能交通，一个新的研究项目就也应运而生——智能交通系统（ITS，Intelligent Transportation System）。ITS主要由三个主体组成，包括：驾驶员、智能高速公路系统和智能交通工具。如何才能使得道路交通变得更加安全呢？这通常都采用先进的科学技术，就比如电子信息技术还有计算机控制技术，使得道路交通与科学技术紧密相连才能更好地保证道路交通的安全。

经过多年研究，道路交通专家和科技研究人员认为，“智能交通系统”主要应用在以下几个方面：智能交通工具的容量、交通工具的智能化水平、交通工具之间的联系情况以及一些关于智能交通的设施基础。智能交通系统的要求不仅仅在于要对交通工具的智能情况做出研究，还要对交通道路的信息状况进行控制，以及考虑到包括驾驶员在内的人为因素和交通标志检测识别以及其他辅助系统等外在因素，所以交通标志技术的实现与否，也最终决定了智能交通系统的发展走向。同时，道路交通标志识别系统（TSR，Traffic SignRecognition），是一种基于公路上行驶的交通车辆采用计算机视觉技术对交通标志图样进行采集，并且能够实现对交通标志图像的自动监测与识别，最后将所得到的交通标志信息返回给驾驶员，以此来增强交通车辆的驾驶辅助功能的系统。这种系统能够有效地帮助驾驶员及时了解到前方的路况，或者在无人驾驶的情况下帮助车辆自能地进行调整控制，提高交通出行的安全率、规范道路交通的驾驶行为，但是目前技术尚未达到这一水准，在很多技术方面还有很多不足的存在，正因为这些不足之处，才使得交通标志检测识别这一块成为一项极具挑战的任务。

基于视频的智能交通标志检测与识别系统的设计与开发是一项非常有意义的课题，主要表现在以下几个突出方面：

（1）驾驶辅助的重要组成部分

驾驶车辆通常受到天气、环境的外界自然因素和驾驶员的人为因素两方面影响。在天气恶劣的情况下，驾驶员往往不能准确地判别出强前方道路状况，忽略身边可能发生事故的细节，在这个时候智能交通标志检测和识别系统就能够及实地反映道路交通状况，根据这些信息制定合理地交通路线规划，从而使得刚上路的新手和初来此处的游客带来很大的便捷，尽量减少不必要的路程，也最大限度地缓解出行带来的交通拥堵。

（2）无人驾驶智能车辆的组成部分

在国外无人驾驶是一项很热门的课题，智能交通标志检测与识别系统的研发同时也使得无人驾驶车辆有了更强的助力。20世纪九十年代以来，无人驾驶车辆已经成为交通领域另一个新的发展目标。美国、欧洲和日本等国家都进行了相关方面的研究，像1993年美国针对“停车”标志进行检测判别利用颜色聚类方法研制了ADIS 系统。2003年我国第一部无人驾驶的红旗汽车被研发出来，2005年12月第一个智能无人驾驶电动车在上海交通大学被研究诞生。这些车辆可以大致地辨别道路状况，绕离障碍物、搜索最规范的行车路线，但是像这样的大部分车辆还只能运行在特定的道路上，目前还无法完全代替司机的工作。

（3）多学科交叉支持的范例

交通标志检测作为一种模式为如何科学涉及图像处理、 计算机视觉、 自动化、 人工智能和其他学科，提供了一个参考。为此进一步实现该模式，研究人员做了大量准备工作，但由于需要高度的准确性和实时性的测试系统，以及周围的环境和天气条件的影响下，目前尚没有完美的解决方案。此外，交通标志基于视频图像的自然场景下的目标检测和识别主要以相同或相似的研究广泛应用于民用和军事领域。如交通标志检测和跟踪，以及海洋和陆地目标检测与识别。

发明内容

本课题的目标是要设计一个能够高效、快速地检测与识别交通标志的系统。为此，针对目前流行的交通标志检测和识别算法存在的一些主要问题，研究并设计了一套新颖的交通标志检测识别系统。本文的主要研究内容如下：

第一，对交通标志检测的基本方法做出研究。交通标志检测算法包括：颜色阈值检测法、形状检测以及级联分类器检测法等，对这几种方法进行简单地介绍，并且首次将级联分类器运用到交通标志检测方面，与其他检测方法相比，级联分类器法更具有特征优势。级联分类器主要是基于Haar特征，本文将Haar特征分为四大类：边缘特征、中心特征、线性特征、对角线特征，这些特征共同组成特征模板库。本文在级联分类器原理进行深入研究的基础上，根据Adaboost算法训练完成交通标志的级联分类器，该分类器实现了对交通标志的检测，获得的检测信息为之后的分割、识别奠定基础。

第二，对定位的交通标志进行分割。本文介绍和对比了分割常见的几种方法，并提出了改进的基于图割的分割方法（Grab cut）。Grab cut是一种交互式的分割方法，只需要用户简单地框出目标区域就能有效地分割出了目标，而本文提出将检测交通标志信息作为先验信息，不需要用户手动框出目标，自动对交通标志进行精确分割。

第三，对分割的交通标志进行识别。识别包括特征提取和分类训练两块。在特征提取部分，本文将颜色特征、不变矩和HOG特征进行介绍和比较，发现HOG特征对光学形变和图像几何形变都能保持很好的不变性，很适合用来对交通标志进行特征提取。识别这块，本文使用的是支持向量机（Support Vector Machine, SVM），SVM对少量样本也具有很好的识别效果，适用于解决分类和函数估计问题，收敛速度快，分类精度高，已经在图像和字体识别领取得了不错的效果。本文利用SVM这一优点对交通标志样本进行分类训练，实现对分割后的交通标志的识别。该方法在本文自建的2000多张样本库上，通过测试对所使用的识别算法的性能和可靠性进行了验证，结果表明，本文的识别准确率达到了80%以上，与先进的基于视觉显著性的交通标志检测与识别方法相比，不仅效率高而且准确率也高。

附图说明

图1为本发明具体实施方式的流程图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

如附图1所示，本发明实施方案按照以下步骤进行：

步骤A、对交通标志检测的基本方法做出研究。交通标志检测算法包括：颜色阈值检测法、形状检测以及级联分类器检测法等，对这几种方法进行简单地介绍，并且首次将级联分类器运用到交通标志检测方面，与其他检测方法相比，级联分类器法更具有特征优势。级联分类器主要是基于Haar特征，本文将Haar特征分为四大类：边缘特征、中心特征、线性特征、对角线特征，这些特征共同组成特征模板库。本文在级联分类器原理进行深入研究的基础上，根据Adaboost算法训练完成交通标志的级联分类器，该分类器实现了对交通标志的检测，获得的检测信息为之后的分割、识别奠定基础。

步骤B、对定位的交通标志进行分割。本文介绍和对比了分割常见的几种方法，并提出了改进的基于图割的分割方法（Grab cut）。Grab cut是一种交互式的分割方法，只需要用户简单地框出目标区域就能有效地分割出了目标，而本文提出将检测交通标志信息作为先验信息，不需要用户手动框出目标，自动对交通标志进行精确分割。

步骤C、对分割的交通标志进行识别。识别包括特征提取和分类训练两块。在特征提取部分，本文将颜色特征、不变矩和HOG特征进行介绍和比较，发现HOG特征对光学形变和图像几何形变都能保持很好的不变性，很适合用来对交通标志进行特征提取。识别这块，本文使用的是支持向量机（SVM），SVM对少量样本也具有很好的识别效果，适用于解决分类和函数估计问题，收敛速度快，分类精度高，已经在图像和字体识别领取得了不错的效果。本文利用SVM这一优点对交通标志样本进行分类训练，实现对分割后的交通标志的识别。该方法在本文自建的2000多张样本库上，通过测试对所使用的识别算法的性能和可靠性进行了验证，结果表明，本文的识别准确率达到了80%以上，与先进的基于视觉显著性的交通标志检测与识别方法相比，不仅效率高而且准确率也高。

为了更好地说明本方法的有效性，以下表1至表4都是从2016年5月1日至2016年6月16日从不同交通标志中采集的数据，其中表1是不同交通标志的检测时间、表2是使用SVM识别交通标志时间，表3是不同样本下的识别率，表4 是交通标志检测识别系统实现时间。

表1 不同标志的检测时间

执行次数	禁止停车	禁止左转	禁止大型货车运行	注意行人	前方直行
						第1次	0.039322s	0.090775s	0.048528s	0.099516s	0.023531s
第2次	0.039735s	0.060192s	0.054596s	0.096147s	0.121314s
						第3次	0.052512s	0.137250s	0.197106s	0.051595s	0.167601s

表2 使用SVM识别交通标志时间

执行次数	禁止停车	禁止左转	禁止大型货车运行	注意行人	前方直行
						第1次	3.574741s	3.535142s	3.581123s	3.599516s	3.523533s
第2次	3.564966s	3.539042s	3.804947s	3.696147s	3.121314s
						第3次	3.547683s	3.658354s	3.797106s	3.551595s	3.767602s

表3 不同样本数下的识别率

执行次数	第1次	第2次	第3次	第4次	第5次
						训练样本数	200	300	500	700	800
测试样本数	800	700	500	300	200
						识别准确率	80.12%	81.32%	82.14%	82.55%	84.01%
标准误差	1.11	1.09	1.009	0.999	0.996

注：标准误差一般用来判定该组测量数据的可靠性，在数学上它的值等于测量值误差的平方和的平均值的平方根。

表4 交通标志检测识别系统实现时间

交通标志类型	禁止停车	禁止左转	禁止大型货车运行	注意行人	前方直行
						检测时间	0.039735s	0.060192s	0.054596s	0.096147s	0.121314s
识别时间	3.564966s	3.539042s	3.804947s	3.697345s	3.142094s
						总时间	3.604701s	3.599234s	3.859543s	3.793492s	3.263408s

Claims (4)

1.基于视频的交通标志检测与识别系统，该方法包括以下步骤：

a. 首次将级联分类器结合大量正负样本进行训练，实现了交通标志的检测定位；

b. 在分割模块中，基于检测模块得到的定位先验信息，提出改进的Grab Cut算法实现了精确分割；

c. 在识别模块中，提取HOG特征，并利用支持向量机训练识别，最终达到了较优的识别准确率和运行效率。

2. 如权利要求1所述的方法， 级联分类器训练包括如下步骤：

a. 基于Adaboost算法的级联分类器来交通标志检测；

b. 使用Harr特征来进行特征表示;

c. 接着针对特征值的计算采用积分图技术接着从大量的特征集中选出少量的关键特征；

d. 构建弱分类器再采用算法挑选弱分类器组成强分类器；

e. 将多个强分类器组合成为一个层级结构的级联分类器。

3. 如权利要求1所述的方法，Grab cut分割不需要用户手动给出包围盒，检测定位时使用矩形框来圈出交通标志，所获得的矩形框传递给Grab cut算法，然后对含有交通标志的图片进行Grab cut分割。

4.如权利要求1所述的方法，HOG特征提取步骤如下：

a. 将图像灰度化；

b. 使图像标准化或者归一化，主要是为了调节图像的对比度，是光线所导致的不良影响减小到最低，同时经过标准化后的图像可被降噪;

c. 计算出图像所有像素包括大小方向在内的梯度值，主要是为了获取形状信息，也是为了进一步减少光线造成的影响；

d. 将图像划分成正方形小块；

e. 统计每个小方块的不同梯度数量，用来描述每块小块的特征信息；

f. 将每一小块的信息组成大块，大块中包含了所有小块的特征信息，那么大块就可以称作是该图像的特征梯度直方图；

g. 将图像中所有大块的特征直方图信息进行合并，得到最终的可供分类使用的特征向量。