CN107679508A - 交通标志检测识别方法、装置及系统 - Google Patents

Abstract

本发明涉及一种交通标志检测识别方法、装置及系统，综合使用SVF颜色空间与HSV颜色空间分割待识别交通场景图像中标志牌区域与非标志牌区域，能够有效排除干扰色的影响；通过对颜色通道图像进行形状检测与定位，能够实现对圆形、三角形及矩形等多种形状标志牌的检测，以实现标志牌定位，增加了识别种类；最后基于图像特征提取算法提取标志牌图像特征，并送入训练好的预设分类器进行标志牌的分类判别。本发明能够在智能车行驶过程中实时检测并识别架设在车道上方或道路两旁的交通标志牌，然后将识别结果发送至智能车决策系统，让智能车提前预判车辆前方交通状况并做出减速、开车灯等应对动作，以保证道路畅通和智能车的行车安全性。

Description

交通标志检测识别方法、装置及系统

技术领域

本发明涉及智能车技术领域，特别是涉及一种交通标志检测识别方法、装置及系统。

背景技术

目前，国内外企业或研究院所研发的交通标志牌识别系统主要可以分为两类：一类是基于视觉技术，通过相机采集车辆周围环境图像，再利用识别算法提取图像中交通标志牌相关信息；二类是基于V2I(基础设施互联系统，简称V2I：vehicle toinfrastructure)技术，通过无线互联网，在车辆与路标之间进行临时数据交换，从而获取交通标志牌类别信息。

在实现过程中，发明人发现传统技术中至少存在如下问题：传统的基于视觉技术的方案易受干扰且识别类别少，因此仅具备辅助驾驶警示功能，难以满足自动驾驶的要求。而基于V2I技术的方案需要给车辆和交通标志安装信号发送接收等装置，存在成本高、施行难度大、应用范围受限等缺点，难以满足开放工况下自动驾驶的需求。

发明内容

基于此，有必要针对传统交通标志识别技术难以满足实际自动驾驶需求的问题，提供一种交通标志检测识别方法、装置及系统。

为了实现上述目的，一方面，本发明实施例提供了一种交通标志检测识别方法，包括以下步骤：

根据预设的HSV空间颜色通道阈值处理待识别交通场景图像，并合并指定的HSV颜色通道，得到待识别交通场景图像的HSV空间图像；

根据预设的SVF空间颜色通道阈值处理待识别交通场景图像，并合并指定的SVF颜色通道，得到待识别交通场景图像的SVF空间图像；

对HSV空间图像和SVF空间图像进行取与操作，得到待识别交通场景图像的颜色通道图像；

对颜色通道图像进行形状检测与定位，得到待识别交通场景图像包含的交通标志目标区域图像，并提取交通标志目标区域图像的图像特征；

根据交通标志目标区域图像的图像特征，通过预设分类器进行分类识别，得到识别结果。

另一方面，本发明实施例提供了一种交通标志检测识别装置，包括：

通道处理及合并单元，用于根据预设的HSV空间颜色通道阈值处理待识别交通场景图像，并合并指定的HSV颜色通道，得到待识别交通场景图像的HSV空间图像；根据预设的SVF空间颜色通道阈值处理待识别交通场景图像，并合并指定的SVF颜色通道，得到待识别交通场景图像的SVF空间图像；

取与单元，用于对HSV空间图像和SVF空间图像进行取与操作，得到待识别交通场景图像的颜色通道图像；

特征提取单元，用于对颜色通道图像进行形状检测与定位，得到待识别交通场景图像包含的交通标志目标区域图像，并提取交通标志目标区域图像的图像特征；

分类识别单元，用于根据交通标志目标区域图像的图像特征，通过预设分类器进行分类识别，得到识别结果。

另一方面，本发明实施例还提供了一种交通标志检测识别系统，包括连接智能车决策系统的识别控制器，以及连接识别控制器的相机传感器；

相机传感器采集待识别交通场景图像，并将待识别交通场景图像传输给识别控制器；

识别控制器包括存储器和处理器，其中存储器存储有计算机程序，程序被处理器执行时能够实现上述交通标志检测识别方法的步骤。

本发明具有如下优点和有益效果：

本发明交通标志检测识别方法、装置及系统，综合使用SVF颜色空间与HSV颜色空间分割待识别交通场景图像中标志牌区域与非标志牌区域，能够有效排除干扰色的影响；通过对颜色通道图像进行形状检测与定位，能够实现对圆形、三角形及矩形等多种形状标志牌的检测，以实现标志牌定位，增加了识别种类；最后基于图像特征提取算法提取标志牌图像特征，并送入训练好的预设分类器进行标志牌的分类判别。本发明可应用于无人驾驶汽车环境感知系统，基于本发明能够在智能车行驶过程中实时检测并识别架设在车道上方或道路两旁的交通标志牌，然后将识别结果发送至智能车决策系统，让智能车提前预判车辆前方交通状况并做出减速、开车灯等应对动作，以保证道路畅通和智能车的行车安全性。

附图说明

图1为本发明交通标志检测识别方法实施例1的流程示意图；

图2为本发明交通标志检测识别方法一具体实施例的实现流程示意图；

图3为本发明交通标志检测识别方法中常见交通标志牌示意图；

图4为本发明交通标志检测识别方法中交通标识类别示意图；

图5为本发明交通标志检测识别装置实施例1的结构示意图；

图6为本发明交通标志检测识别系统实施例1的结构示意图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的首选实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明交通标志检测识别方法、装置及系统一应用场景说明：

传统的基于视觉技术的方案(如奔驰、福特、本田的方案)只能识别限速、禁止变道等圆形标志牌，而不能识别前方隧道、路面湿滑、前方行人等三角形及矩形标志牌，因此仅具备辅助驾驶警示功能，难以满足自动驾驶的要求。而基于V2I技术的方案需要给车辆和交通标志安装信号发送接收等装置，存在成本高、施行难度大、应用范围受限等缺点，难以满足开放工况下自动驾驶的需求。

具体而言，传统基于视觉技术的识别方法，惯于采用单一的颜色空间进行识别；或基于某一合适的颜色空间，进一步通过二值化处理(或利用三分量差值提取)的方式进行颜色分割，但上述方式易受干扰色的影响且识别类别较少；而由RGB到HSV空间的转换为非线性，运算量大，耗时较长，不利于车载模式下交通标志检测的实效性；同时，V2I的方案需要在车上安装在无线接收装置，且还需在交通标志牌上安装在无线发送装置，要求经过的路段的交通标志牌都有无线发送装置，应用范围受限。

本发明交通标志检测识别方法、装置及系统，可应用于智能车(例如无人驾驶汽车、自动驾驶汽车)环境感知系统软件中的城市道路工况对道路警示标识的处理策略；具体的，综合使用SVF与HSV颜色空间分割标志牌区域与非标志牌区域，有效排除干扰色的影响；利用椭圆拟合、多边形(三边形、四边形)逼近等算法，并结合面积大小、颜色等约束信息，实现了圆形、三角形及矩形标志牌的检测；最后基于HOG算法提取标志牌图像特征并送入训练好的SVM分类器进行标志牌的分类判别。

进一步的，基于本发明，能够在智能车行驶过程中实时检测并识别架设在车道上方或道路两旁的交通标志牌，然后将识别结果发送至智能车决策系统，让智能车提前预判车辆前方交通状况并做出减速、开车灯等应对动作，以保证道路畅通和智能车的行车安全性。

本发明交通标志检测识别方法实施例1：

为了解决传统交通标志识别技术难以满足实际自动驾驶需求的问题，本发明提供了一种交通标志检测识别方法实施例1；图1为本发明交通标志检测识别方法实施例1的流程示意图；如图1所示，可以包括以下步骤：

步骤S110：根据预设的HSV(Hue，Saturation，Value，六角锥体模型)空间颜色通道阈值处理待识别交通场景图像，并合并指定的HSV颜色通道，得到待识别交通场景图像的HSV空间图像；根据预设的SVF(Simple Vector Filter，简单向量滤波器)空间颜色通道阈值处理待识别交通场景图像，并合并指定的SVF颜色通道，得到待识别交通场景图像的SVF空间图像；

具体而言，本发明中待识别交通场景图像可以为RGB(RGB色彩模式)格式的图像；本发明综合使用多种颜色空间(优选的，SVF颜色空间和HSV颜色空间)对标志牌通常呈现出的红色、黄色、蓝色、绿色进行定义，即对像素值设定一些筛选条件(空间颜色通道阈值)，符合该条件的则判定为红、黄、蓝、绿像素(像素值落在预设筛选值范围内的则为红、黄、蓝、绿像素)。进一步，对选取的颜色通道进行合并；优选的，可以采用opencv里自带的cvMerge函数实现上述通道合并的步骤。

步骤S120：对HSV空间图像和SVF空间图像进行取与操作，得到待识别交通场景图像的颜色通道图像；

具体而言，本发明可以对各颜色空间图像进行取与操作，去除干扰色，生成新的颜色通道图像用于后续的形状检测与确认；优选的，可以采用opencv里面的cvAnd函数对SVF颜色空间图和HSV空间图像进行取与操作(即按位与运算)。

步骤S130：对颜色通道图像进行形状检测与定位，得到待识别交通场景图像包含的交通标志目标区域图像，并提取交通标志目标区域图像的图像特征；

具体而言，交通标志牌都具有特定的形状信息，在以上分割出的颜色通道(即上述定义、合并和取与步骤后得到的颜色通道图像)的基础上，为了判断图像中的某一具有特定颜色的区域是否符合交通标志形状的特征，需要对这些区域进行形状的检测与确认。优选的，经过形状检测与确认后的图像区域可以被分割及保存下来，可用于后续训练样本数据库的构建。

步骤S140：根据交通标志目标区域图像的图像特征，通过预设分类器进行分类识别，得到识别结果。

具体而言，本发明可以包括两个关键步骤：特征提取和分类识别。特征提取环节中，可以先对各待识别交通场景图像进行归一化，继而采用相应的特征提取算法对训练样本库中的各个样本进行表达和描述。分类识别环节中，可以采用基于统计学习理论的支持向量机(如预设分类器)方法。基于本发明的技术方案，对于检测、定位、并归一化后的可能含有交通标志的目标区域，使用相关特征提取算法进行特征提取，再利用预设分类器进行进一步的精确分类与识别理解，得到待识别交通场景图像所属标志类别。

在一个具体的实施例中，预设的HSV空间颜色通道阈值包括HSV红色通道阈值以及HSV蓝色通道阈值；

合并指定的HSV颜色通道，得到待识别交通场景图像的HSV空间图像的步骤包括：

合并HSV红色通道和HSV蓝色通道，得到HSV空间图像；

预设的SVF空间颜色通道阈值包括SVF红色通道阈值以及SVF蓝色通道阈值；

合并指定的SVF颜色通道，得到待识别交通场景图像的SVF空间图像的步骤包括：

合并SVF红色通道和SVF蓝色通道，得到SVF空间图像。

具体而言，本发明首先利用SVF和HSV颜色空间分割出红、黄、蓝区域。优选的，本发明综合使用了SVF与HSV颜色空间对标志牌通常呈现出的红色、黄色、蓝色、绿色进行定义(即对像素值设定一些筛选条件，符合该条件的则判定为红、黄、蓝、绿像素)，具体如下：

HSV颜色空间中：

红色：

(((nh>＝0)&&(nh<＝15))||((nh>＝150)&&(nh<＝200)))&&((ns>＝25)&&(ns<＝255))

黄色：((nh>＝42)&&(nh<＝64))&&((ns>＝153)&&(ns<＝255))

绿色：((nh>＝90)&&(nh<＝104))&&((ns>＝55)&&(ns<＝255))

蓝色：((nh>＝105)&&(nh<＝130))&&((ns>＝45)&&(ns<＝235))

SVF颜色空间中：

红色：(nr-ng>6)&&(nr-nb>6)

黄色：(nr-nb>50)&&(ng>50)

绿色：((ng-nr)>＝nr)&&(ng>＝nb)&&(ng-nb<40)

蓝色：(nb-nr>25)&&(nb>25)

其中，nr、ng、nb是像素点在RGB颜色空间R、G、B三个通道上的像素值。nh、ns、nv是像素点在HSV颜色空间H、S、V三个通道上的像素值。>＝是大于等于；||是逻辑或操作；&&是逻辑与操作；上述公式是定义的C程序代码，是合并前的操作。

进一步的，为了达到更好的去除干扰色的效果，可分别合并HSV和SVF空间中的红色和蓝色通道(优选的，可以采用opencv里自带的cvMerge函数实现)，然后进行取与操作(优选的，可以使用opencv里面的cvAnd函数对SVF空间图像和HSV空间图像进行取与操作)，去除一些干扰色，生成新的颜色通道图像用于后续的形状检测与确认。

需要说明的是，RGB颜色空间是由R、G、B三分量共同组成。R代表红色，G代表绿色，B代表蓝色；而简单向量滤波器(SVF)是基于RGB颜色空间的，SVF代表了向量方向和相应颜色区域。merge()函数可以将多个数组组合合并成一个多通道的数组，通过组合一些给定的单通道数组，将这些孤立的单通道数组合并成一个多通道的数组，从而创建出一个由多个单通道阵列组成的多通道阵列。cvAnd是opencv的一个库函数，功能是计算两个数组的按位与的结果，即计算两个数组的每个元素的按位与(&)。

而基于以上定义、合并以及取与的步骤，使得本发明能够综合使用SVF与HSV颜色空间分割标志牌区域与非标志牌区域，能够有效排除干扰色的影响。

在一个具体的实施例中，交通标志目标区域图像的图像特征为HOG特征；预设分类器为SVM分类器；

在通过预设分类器进行分类识别的步骤之前还包括步骤：

提取交通标志训练样本数据库中各样本图像的HOG特征；

根据各样本图像的HOG特征以及各样本图像所属的交通标识类别，通过SVM算法进行离线训练，得到SVM分类器。

具体而言，特征提取环节中，首先将每一样本图像归一化(通过opencv里面的cvResize函数)，继而采用HOG(Histogram of Oriented Gridients)特征提取算法对训练样本库中的各个样本图像进行表达和描述(即提取样本图像的hog特征、此处使用576维特征数据)，使用的具体参数如下：

HOGDescriptor*hog；

hog＝new HOGDescriptor(cvSize(40,40),cvSize(16,16),cvSize(8,8),cvSize(8,8),9)；

vector<float>descriptors(576))；

分类识别环节中，采用基于统计学习理论的支持向量机(Support VectorMachine，SVM)方法。因此，在本发明实现中，对于检测、定位、并归一化后的可能含有交通标志的目标区域，使用HOG算法进行特征提取，再利用SVM分类器进行进一步的精确分类与识别理解，得到待测试样本所属标志类别。

在一个具体的实施例中，还包括步骤：

提取交通标志测试样本数据库中测试样本的HOG特征；

根据测试样本的HOG特征，通过SVM分类器进行分类识别，得到测试样本的交通标识测试类别；

比较测试样本的交通标识测试类别和测试样本所属的交通标识类别，根据比较的结果，获取SVM分类器的分类识别性能检验结果。

具体而言，本发明可以首先构建交通标志训练样本数据库及测试样本数据库，其中训练样本数据库主要用于系统分类器的构建，测试样本数据库则用于对分类器识别性能的检验。具体的，首先对训练样本库中样本进行特征提取，然后根据各个样本的特征值和所属的类别离线训练得到系统分类器。对于测试样本数据库中给定的某个测试样本，提取其特征并将其输入系统分类器以识别判断待测试样本所属类别。

在一个具体的实施例中，在提取交通标志训练样本数据库中各样本图像的HOG特征的步骤之前还包括步骤：

根据中值滤波算法，对各样本图像进行滤波去噪处理，得到滤波后的样本图像；

根据椭圆拟合算法和多边形逼近算法，提取滤波后的样本图像的形状轮廓，并获取形状轮廓的轮廓区域颜色；

根据形状轮廓和轮廓区域颜色，通过多层决策树对各样本图像进行识别，得到交通标识类别；交通标识类别包括红色圆形标志、红色三角形标志、黄色三角形标志、蓝色矩形标志和蓝色圆形标志。

具体而言，拟首先对样本图像进行滤波去噪处理，再使用边缘检测算子对这些区域进行边缘的提取，进一步使用椭圆拟合、多边形(三边形、四边形)逼近等算法，并结合面积大小、颜色等约束信息实现交通标志牌形状的检测与确认。具体的，根据标志牌特有的颜色和形状信息使用一种由粗到精的分层决策检测方法，利用多层决策树进行粗分类(指的是一种分类策略，按照多层决策树的五大类进行识别)；图3为本发明交通标志检测识别方法中常见交通标志牌示意图；可以将图3所示的34种常见交通标志牌粗略的分为：红色圆形标志、红色三角形标志、黄色三角形标志、蓝色矩形标志和蓝色圆形标志5类，如附图4所示，图4为本发明交通标志检测识别方法中交通标识类别示意图。经过形状检测与确认后的图像区域被分割及保存下来，可用于后续训练样本数据库的构建。

在一个具体的实施例中，对颜色通道图像进行形状检测与定位，得到待识别交通场景图像包含的交通标志目标区域图像的步骤包括：

根据中值滤波算法，对颜色通道图像进行滤波去噪处理，得到滤波后的颜色通道图像；

根据椭圆拟合算法和多边形逼近算法，提取滤波后的颜色通道图像的形状轮廓，并获取形状轮廓的面积和轮廓区域颜色；形状轮廓为以下轮廓中的任意一种或任意组合：圆形轮廓、三角形轮廓和矩形轮廓；

根据预设的面积约束值以及形状轮廓的面积和轮廓区域颜色，得到颜色通道图像中交通标志的位置信息；

根据预设ROI区域和交通标志的位置信息，提取出待识别交通场景图像包含的交通标志目标区域图像。

具体而言，本发明首先利用中值滤波算法对对颜色通道图像进行滤波去噪处理；然后使用canny算子提取上一步处理后的图像的边缘；再使用椭圆拟合(cvFitEllipse函数)、多边形逼近(cvApproxPoly函数)提取圆形、三角形、矩形轮廓；再次，结合轮廓的面积(用户输入约束值)、所处区域的颜色判定其是否属于标志牌区域，如果不是就清除，进而得到标志牌的位置；最后利用标志牌的位置信息设置ROI(感兴趣区域，Region of Interest)区域提取标志牌图像。

在一个具体的实施例中，待识别交通场景图像为分辨率为640×480像素的静态图像或视频序列；

在提取交通标志目标区域图像的图像特征的步骤之前还包括步骤：

对交通标志目标区域图像进行归一化处理，得到40×40像素大小的交通标志目标区域图像。

具体而言，基于本发明，只需要在智能汽车上安装相机传感器，能够在智能车行驶过程中实时检测并识别架设在车道上方或道路两旁的交通标志牌，然后将识别结果发送至智能车决策系统，让智能车提前预判车辆前方交通状况并做出减速、开车灯等应对动作，以保证道路畅通和智能车的行车安全性。其中，需采用分辨率要在640*480以上，帧率要在10HZ以上的相机传感器设备。

优选的，本发明可以采用工业相机实时采集待识别交通场景图像；工业相机是安装在智能汽车的挡风玻璃上方的，工业相机采集数据，经过本发明方法处理后把识别结果输出给决策系统作为智能汽车下一步操作的参考。而智能决策系统可以是软件系统，运行在工控机上或者其他嵌入式设备上。

进一步的，本发明可以通过工业相机获取的交通场景下静态图像或视频序列。对于视频，进行分帧处理，得到一个图像集合序列。根据前期相机选型结果，本发明采集得到的图像/视频帧的分辨率为640×480像素。而在特征提取环节中，可以通过opencv里面的cvResize函数将各样本图像(或交通标志目标区域图像)归一化到40×40大小。

在一个具体的实施例中，得到识别结果的步骤之后还包括步骤：

基于轻量级通信与数据封送库，将识别结果传输给智能车决策系统。

具体而言，本发明可基于LCM(Lightweight Communications and Marshalling，轻量级通信与数据封送库)通信机制将识别结果发送给决策系统。基于LCM实现本发明中交通标志检测识别方法与智能车决策方法的数据通信，使得通信过程实时性好，且代码简洁。

在一个具体的实施例中，将识别结果传输给智能车决策系统的步骤之前还包括步骤：

对识别结果进行关键字标记，将标记后的识别结果传输给智能车决策系统。

具体而言，对于交通标志牌的检测与识别结果，可以使用关键字“％MARKXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXEND”来标记，中间数据位为34位；其中，关键字是与决策系统共同定义的，体现34种标志牌信息(例如图3中34种常见交通标志牌)以及标志牌的类别；而通过关键字标记，占内存少，传输快。

在一个具体的实施例中，还包括以下步骤：

智能车决策系统在接收到识别结果时，根据识别结果，控制智能车执行相应的应对动作。

具体而言，基于本发明上述交通报纸检测识别方法得到的识别结果，能够在智能车行驶过程中实时检测并识别架设在车道上方或道路两旁的交通标志牌；然后将识别结果发送至智能车决策系统，使智能车能够提前预判车辆前方交通状况并走出减速、开车灯等应对动作，以保证道路畅通和智能车的行车安全性。

本发明交通标志检测识别方法，综合使用了SVF与HSV颜色空间分割标志牌区域与非标志牌区域，有效排除干扰色的影响；利用椭圆拟合、多边形(三边形、四边形)逼近等算法，并结合面积大小、颜色等约束信息，实现了圆形、三角形及矩形标志牌的检测，基本覆盖了大部分标志牌的类别范围；而根据标志牌特有的颜色和形状信息建立了由粗到精的多层决策树，对35种标志牌进行分类判别，保证了识别结果的准确性。

为了进一步详细说明本申请的技术方案，特以通过工业相机获取的交通场景下静态图像或视频序列的识别处理过程为例，图2为本发明交通标志检测识别方法一具体实施例的实现流程示意图；如图2所示，本发明可以包括数据采集、颜色分割、形状检测与确认、特征提取与分类识别及识别结果发送五大步骤。其中，原始图像/视频数据库也是测试样本，可以验证检测和识别算法的有效性。跟相机输入的不同在于数据库不是实时采集的，而是离线播放的。

(1)数据采集

通过工业相机获取的交通场景下静态图像或视频序列。对于视频，进行分帧处理，得到一个图像集合序列。根据前期相机选型结果，本发明采集得到的图像/视频帧的分辨率为640×480像素。

(2)颜色分割

在本发明中，综合使用了SVF(Simple Vector Filter，简单向量滤波器)与HSV颜色空间对标志牌通常呈现出的红色、黄色、蓝色、绿色进行定义，具体如下：

HSV颜色空间中：

红色：

(((nh>＝0)&&(nh<＝15))||((nh>＝150)&&(nh<＝200)))&&((ns>＝25)&&(ns<＝255))

黄色：((nh>＝42)&&(nh<＝64))&&((ns>＝153)&&(ns<＝255))

绿色：((nh>＝90)&&(nh<＝104))&&((ns>＝55)&&(ns<＝255))

蓝色：((nh>＝105)&&(nh<＝130))&&((ns>＝45)&&(ns<＝235))

SVF颜色空间中：

红色：(nr-ng>6)&&(nr-nb>6)

黄色：(nr-nb>50)&&(ng>50)

绿色：((ng-nr)>＝nr)&&(ng>＝nb)&&(ng-nb<40)

蓝色：(nb-nr>25)&&(nb>25)

分别合并HSV和SVF空间中的红色和蓝色通道，然后进行取与操作，去除一些干扰色，生成新的颜色通道图像用于后续的形状检测与确认。

(3)形状检测与确认

交通标志牌都具有特定的形状信息，在以上分割出的颜色通道的基础上，为了判断图像中的某一具有特定颜色的区域是否符合交通标志形状的特征，需要对这些区域进行形状的检测与确认。此处，拟首先对颜色通道图像进行滤波去噪处理，再使用边缘检测算子对这些区域进行边缘的提取，进一步使用椭圆拟合、多边形(三边形、四边形)逼近等算法，并结合面积大小、颜色等约束信息实现交通标志牌形状的检测与确认。

具体的，在训练样本数据库的构建中，可以根据标志牌(样本图像)特有的颜色和形状信息使用一种由粗到精的分层决策检测方法，利用多层决策树进行粗分类，可以将附图3所示的34种常见交通标志牌粗略的分为：红色圆形标志、红色三角形标志、黄色三角形标志、蓝色矩形标志和蓝色圆形标志5类，如附图4所示。经过形状检测与确认后的图像区域被分割及保存下来，可用于后续训练样本数据库的构建。

(4)特征提取与分类识别

交通标志牌的识别与分类是系统实现的终极目标，它包括两个关键步骤：特征提取和分类识别。此处，拟首先构建交通标志训练样本数据库及测试样本数据库，其中训练样本数据库主要用于系统分类器的构建，测试样本数据库则用于对分类器识别性能的检验。具体的，首先对训练样本库中样本进行特征提取，然后根据各个样本的特征值和所属的类别离线训练得到系统分类器。对于测试样本数据库中给定的某个测试样本，提取其特征并将其输入系统分类器以识别判断待测试样本所属类别。

特征提取环节中，首先将每一样本(或待识别交通场景图像)归一化到40×40大小，继而采用HOG(Histogram of Oriented Gridients)特征提取算法对训练样本库中的各个样本(即现有的经过颜色分割和形状检测提取出来的标志牌样本)进行表达和描述(即提取样本的hog特征，此处可以使用576维特征数据)，使用的具体参数如下：

HOGDescriptor*hog；

hog＝new HOGDescriptor(cvSize(40,40),cvSize(16,16),cvSize(8,8),cvSize(8,8),9)；

vector<float>descriptors(576))；

分类识别环节中，采用基于统计学习理论的支持向量机(Support VectorMachine，SVM)方法。因此，在本发明的实现中，对于检测、定位、并归一化后的可能含有交通标志的目标区域，使用HOG算法进行特征提取，再利用SVM分类器进行进一步的精确分类与识别理解，得到待测试样本所属标志类别。

(5)识别结果发送

本发明可以基于LCM(Lightweight Communications and Marshalling，轻量级通信与数据封送库)通信机制将识别结果发送给决策系统。

其中，交通标志牌的检测与识别结果使用关键字“％MARKXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXEND”标记，中间数据位为34位。标志牌图例序号说明如附图3所示，相应的位置1，其余置0。

本发明作为一种无人驾驶汽车交通标志牌检测与识别方法，可以作为无人驾驶汽车环境感知系统软件的一部分。本发明能够在智能车行驶过程中实时检测并识别架设在车道上方或道路两旁的交通标志牌，然后将识别结果发送至智能车决策系统，让智能车提前预判车辆前方交通状况并做出减速、开车灯等应对动作，以保证道路畅通和智能车的行车安全性。

具体的，本发明综合使用了SVF与HSV颜色空间分割标志牌区域与非标志牌区域，有效排除干扰色的影响。利用椭圆拟合、多边形(三边形、四边形)逼近等算法，并结合面积大小、颜色等约束信息，实现了圆形、三角形及矩形标志牌的检测，基本覆盖了大部分标志牌的类别范围。根据标志牌特有的颜色和形状信息建立了由粗到精的多层决策树，对34种标志牌进行分类判别，可以保证识别结果的准确性。

本发明交通标志检测识别装置实施例1：

为了解决传统交通标志识别技术难以满足实际自动驾驶需求的问题，本发明提供了一种交通标志检测识别装置实施例1图5为本发明交通标志检测识别装置实施例1的结构示意图；如图5所示，可以包括：

通道处理及合并单元510，用于根据预设的HSV空间颜色通道阈值处理待识别交通场景图像，并合并指定的HSV颜色通道，得到待识别交通场景图像的HSV空间图像；根据预设的SVF空间颜色通道阈值处理待识别交通场景图像，并合并指定的SVF颜色通道，得到待识别交通场景图像的SVF空间图像；

取与单元520，用于对HSV空间图像和SVF空间图像进行取与操作，得到待识别交通场景图像的颜色通道图像；

特征提取单元530，用于对颜色通道图像进行形状检测与定位，得到待识别交通场景图像包含的交通标志目标区域图像，并提取交通标志目标区域图像的图像特征；

分类识别单元540，用于根据交通标志目标区域图像的图像特征，通过预设分类器进行分类识别，得到识别结果。

需要说明的是，本发明交通标志检测识别装置实施例1中的各单元模块，能够对应实现上述交通标志检测识别方法中的各流程步骤，此处不再重复赘述。

本发明交通标志检测识别系统实施例1：

为了解决传统交通标志识别技术难以满足实际自动驾驶需求的问题，本发明提供了一种智能车决策系统实施例1；图6为本发明交通标志检测识别系统实施例1的结构示意图，如图6所示，可以包括连接智能车决策系统的识别控制器，以及连接识别控制器的相机传感器；

相机传感器采集待识别交通场景图像，并将待识别交通场景图像传输给识别控制器；

识别控制器包括存储器和处理器，其中存储器存储有计算机程序，程序被处理器执行时能够实现上述交通标志检测识别方法的步骤。

具体而言，基于本发明上述交通报纸检测识别方法得到的识别结果，能够在智能车行驶过程中实时检测并识别架设在车道上方或道路两旁的交通标志牌；然后将识别结果发送至智能车决策系统，使智能车能够提前预判车辆前方交通状况并走出减速、开车灯等应对动作，以保证道路畅通和智能车的行车安全性。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括以上方法所述的步骤，所述的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种交通标志检测识别方法，其特征在于，包括以下步骤：

根据预设的HSV空间颜色通道阈值处理待识别交通场景图像，并合并指定的HSV颜色通道，得到所述待识别交通场景图像的HSV空间图像；

根据预设的SVF空间颜色通道阈值处理所述待识别交通场景图像，并合并指定的SVF颜色通道，得到所述待识别交通场景图像的SVF空间图像；

对所述HSV空间图像和所述SVF空间图像进行取与操作，得到所述待识别交通场景图像的颜色通道图像；

对所述颜色通道图像进行形状检测与定位，得到所述待识别交通场景图像包含的交通标志目标区域图像，并提取所述交通标志目标区域图像的图像特征；

根据所述交通标志目标区域图像的图像特征，通过预设分类器进行分类识别，得到识别结果。

2.根据权利要求1所述的交通标志检测识别方法，其特征在于，

所述预设的HSV空间颜色通道阈值包括HSV红色通道阈值以及HSV蓝色通道阈值；

合并指定的HSV颜色通道，得到所述待识别交通场景图像的HSV空间图像的步骤包括：

合并所述HSV红色通道和所述HSV蓝色通道，得到所述HSV空间图像；

所述预设的SVF空间颜色通道阈值包括SVF红色通道阈值以及SVF蓝色通道阈值；

合并指定的SVF颜色通道，得到所述待识别交通场景图像的SVF空间图像的步骤包括：

合并所述SVF红色通道和所述SVF蓝色通道，得到所述SVF空间图像。

3.根据权利要求1所述的交通标志检测识别方法，其特征在于，所述交通标志目标区域图像的图像特征为HOG特征；所述预设分类器为SVM分类器；

在通过预设分类器进行分类识别的步骤之前还包括步骤：

提取交通标志训练样本数据库中各样本图像的HOG特征；

根据各所述样本图像的HOG特征以及各所述样本图像所属的交通标识类别，通过SVM算法进行离线训练，得到所述SVM分类器。

4.根据权利要求3所述的交通标志检测识别方法，其特征在于，还包括步骤：

提取交通标志测试样本数据库中测试样本的HOG特征；

根据所述测试样本的HOG特征，通过所述SVM分类器进行分类识别，得到所述测试样本的交通标识测试类别；

比较所述测试样本的交通标识测试类别和所述测试样本所属的交通标识类别，根据所述比较的结果，获取所述SVM分类器的分类识别性能检验结果。

5.根据权利要求3所述的交通标志检测识别方法，其特征在于，在提取交通标志训练样本数据库中各样本图像的HOG特征的步骤之前还包括步骤：

根据中值滤波算法，对各所述样本图像进行滤波去噪处理，得到滤波后的样本图像；

根据椭圆拟合算法和多边形逼近算法，提取所述滤波后的样本图像的形状轮廓，并获取所述形状轮廓的轮廓区域颜色；

根据所述形状轮廓和所述轮廓区域颜色，通过多层决策树对各所述样本图像进行识别，得到所述交通标识类别；所述交通标识类别包括红色圆形标志、红色三角形标志、黄色三角形标志、蓝色矩形标志和蓝色圆形标志。

6.根据权利要求1至5任意一项所述的交通标志检测识别方法，其特征在于，对所述颜色通道图像进行形状检测与定位，得到所述待识别交通场景图像包含的交通标志目标区域图像的步骤包括：

根据中值滤波算法，对所述颜色通道图像进行滤波去噪处理，得到滤波后的颜色通道图像；

根据椭圆拟合算法和多边形逼近算法，提取所述滤波后的颜色通道图像的形状轮廓，并获取所述形状轮廓的面积和轮廓区域颜色；所述形状轮廓为以下轮廓中的任意一种或任意组合：圆形轮廓、三角形轮廓和矩形轮廓；

根据预设的面积约束值、所述形状轮廓的面积和所述轮廓区域颜色，得到所述颜色通道图像中交通标志的位置信息；

根据预设ROI区域和所述交通标志的位置信息，提取出所述待识别交通场景图像包含的交通标志目标区域图像。

7.根据权利要求6所述的交通标志检测识别方法，其特征在于，所述待识别交通场景图像为分辨率为640×480像素的静态图像或视频序列；

在提取所述交通标志目标区域图像的图像特征的步骤之前还包括步骤：

对所述交通标志目标区域图像进行归一化处理，得到40×40像素大小的交通标志目标区域图像。

8.根据权利要求6所述的交通标志检测识别方法，其特征在于，得到识别结果的步骤之后还包括步骤：

基于轻量级通信与数据封送库，将所述识别结果传输给智能车决策系统。

9.根据权利要求8所述的交通标志检测识别方法，其特征在于，还包括步骤：

对所述识别结果进行关键字标记，将标记后的识别结果传输给所述智能车决策系统。

10.根据权利要求8所述的交通标志检测识别方法，其特征在于，其特征在于，还包括以下步骤：

所述智能车决策系统在接收到所述识别结果时，根据所述识别结果，控制智能车执行相应的应对动作。

11.一种交通标志检测识别装置，其特征在于，包括：

通道处理及合并单元，用于根据预设的HSV空间颜色通道阈值处理待识别交通场景图像，并合并指定的HSV颜色通道，得到所述待识别交通场景图像的HSV空间图像；根据预设的SVF空间颜色通道阈值处理所述待识别交通场景图像，并合并指定的SVF颜色通道，得到所述待识别交通场景图像的SVF空间图像；

取与单元，用于对所述HSV空间图像和所述SVF空间图像进行取与操作，得到所述待识别交通场景图像的颜色通道图像；

特征提取单元，用于对所述颜色通道图像进行形状检测与定位，得到所述待识别交通场景图像包含的交通标志目标区域图像，并提取所述交通标志目标区域图像的图像特征；

分类识别单元，用于根据所述交通标志目标区域图像的图像特征，通过预设分类器进行分类识别，得到识别结果。

12.一种交通标志检测识别系统，其特征在于，包括连接智能车决策系统的识别控制器，以及连接所述识别控制器的相机传感器；

所述相机传感器采集待识别交通场景图像，并将所述待识别交通场景图像传输给所述识别控制器；

所述识别控制器包括存储器和处理器，其中所述存储器存储有计算机程序，所述程序被处理器执行时能够实现权利要求1-10中任意一项所述方法的步骤。