CN103034836B - 道路标志检测方法和道路标志检测设备 - Google Patents

Abstract

一种道路标志检测方法，包括：场景建模步骤，根据多个场景类别的样本图像，分别确定各个色彩的允许通过范围；色彩过滤步骤，确定待处理图像场景类别，利用各个色彩的允许通过范围，来过滤待处理图像，以获取待处理图像关于各个色彩的分别的二值化图像；几何特征过滤步骤，对各个二值化图像分别进行连通域分析，获取二值化图像中各个连通域的几何特征，排除几何特征不符合道路标志规格的连通域，其余连通域为候选道路标志；形状检测步骤，按照有限种类的预定形状，检测该候选道路标志的形状；识别步骤，针对形状确定的候选道路标志，根据内部特征与标准内部特征的相似程度，来识别该候选道路标志的属性。还相应提供一种道路标志检测设备。

Description

道路标志检测方法和道路标志检测设备

技术领域

本发明涉及一种道路标志检测方法和道路标志检测设备。

背景技术

随着智能交通系统(ITS)技术的日益发展和广泛应用，道路标志检测技术的研究逐渐引人注目。由于世界各国所采用的道路标志的标准基本上统一，因此针对一国的道路标志所研发的道路标志检测技术可以不经过或者仅仅经过细微的调整即应用于其它国家，从而具有普遍的适用性。

当前在道路标志检测技术领域已经取得了一定进展，例如已经有诸多专利或专利申请面世。

专利文件1(US20080002891A1，“Roadsigndeterminationapparatus，methodandprogram”)提供了一种道路标志的决策装置。其中包括：图像识别单元，该单元利用模板执行包含路标的图像数据的识别；决策单元，该单元基于图像识别的结果做出图像数据所包含的路标的决策。其中模板信息是包括一个圆形的路标框架和一个表示方向的箭头所组成的基本模板。但是，此专利仅限于“禁止其它转向”类的路标识别，而非通用于所有路标的识别，且模板仅为固定的圆形轮廓加内部箭头组成。

专利文件2(JP2009217832A，“Methodanddeviceforautomaticallyrecognizingroadsigninvideoimage，andstoragemediumwhichstoresprogramofroadsignautomatic”)提供了一种路标检测技术。其中，定义了一个在视频文件中可能出现道路标志的一个特殊区域，然后对转换到HSV色彩空间的图像数据进行像素色彩分量的检测。然而，在此专利中，仅定义了路标可能存在的特殊区域，在向HSV色彩空间转换后，要过滤的色彩阈值的范围是固定的，以至于图像过滤的结果精确性会受到外界光线的影响；并且，仅依靠形状信息来做路标的下一步识别会增加误检的结果。

专利文件3(CN1014702197A，“ATrafficsigndetectionmethod”)通过分析道路标志的基本的色彩和几何形状的信息，提出了路标模型的色彩形状对的概念。此专利将中国的三类路标划分为七大色彩形状对的子分类，从而降低检测系统的复杂度。但是，此专利中用于色彩分割的阈值也是固定的，以至于图像分割的结果精确性也必然会受到外界光线的影响；同时，基于色彩形状对的粗分类仅针对于路标的外轮廓特征，对路标的内部特征诸如内部色彩和其它特征等并没有涉及，从而也会导致相对高的误检概率。

以上提及的相关专利中关于道路标志的检测而进行的色彩过滤的图像分割方法都不是自适应的，即使涉及到粗分类的概念，也是利用建立在有限的路标集合基础上的明确、固定的模板，或者是基于色彩形状对的概念，但是并没有利用路标的内部特征来做进一步的路标识别。

发明内容

鉴于现有技术中存在的上述问题而做出本发明，本发明实施例属于对象检测和对象识别领域，提供了一种道路标志检测方法和道路标志检测设备，可以通过离线的道路标志维护和基于模糊识别的实时道路标志检测来实现对驾驶的辅助。

根据本发明的一个方面，提供一种道路标志检测方法，包括：场景建模步骤，根据多个场景类别的样本图像，分别确定每个场景类别下各个色彩的允许通过范围；色彩过滤步骤，确定待处理图像所属的场景类别，利用在场景建模步骤中确定的相应场景类别的各个色彩的允许通过范围，来对待处理图像进行过滤，以获取待处理图像关于各个色彩的分别的二值化图像；几何特征过滤步骤，对各个二值化图像分别进行连通域分析，获取二值化图像中各个连通域的几何特征，排除几何特征不符合道路标志规格的连通域，其余连通域为候选道路标志；形状检测步骤，针对几何特征过滤步骤获得的候选道路标志，按照有限种类的预定形状，检测该候选道路标志的形状；识别步骤，针对形状检测步骤获得的各个二值化图像的形状确定的候选道路标志，根据候选道路标志的内部特征与各种属性的道路标志的标准内部特征的相似程度，来识别该候选道路标志的属性。

根据本发明的另一个方面，提供一种道路标志检测设备，包括：场景建模装置，根据多个场景类别的样本图像，分别确定每个场景类别下各个色彩的允许通过范围；色彩过滤装置，确定待处理图像所属的场景类别，利用所述场景建模装置所确定的相应场景类别的各个色彩的允许通过范围，来对待处理图像进行过滤，以获取待处理图像关于各个色彩的分别的二值化图像；几何特征过滤装置，对各个二值化图像分别进行连通域分析，获取二值化图像中各个连通域的几何特征，排除几何特征不符合道路标志规格的连通域，其余连通域为候选道路标志；形状检测装置，针对几何特征过滤装置获得的候选道路标志，按照有限种类的预定形状，检测该候选道路标志的形状；识别装置，针对形状检测装置获得的各个二值化图像的形状确定的候选道路标志，根据候选道路标志的内部特征与各种属性的道路标志的标准内部特征的相似程度，来识别该候选道路标志的属性。

本发明的实施例利用更加有效且鲁棒的色彩过滤方法，以二值化的方式进行图像分割。道路标志具有特定的色彩和形状信息，色彩信息用于第一步的图像分割，且HSV的色彩空间因为较之RGB色彩空间对光线更为不敏感因而在此采用能够取得更好效果。在不同的光照场景下，对同一种色彩设置不同的通过范围，从而实现更有效和鲁棒的图像分割。

本发明的实施例通过内部特征的提取进行模糊匹配以保证较高的检测率，从而有效地降低误检。模糊识别机制的采用，使得路标候选对象一旦判断为属于某粗分类即输出。一个粗分类对应于一个属性，路标候选对象属于某粗分类即该路标候选对象具有某一属性。该方法与一对多(指精确匹配，即一个路标候选对象与多个标准路标进行精确匹配，以此确定候选路标具体准确的含义)的模板匹配相比，后者一旦发生识别错误即有可能误导驾驶员并导致事故的发生。模糊匹配有效地利用道路标志的内部信息提高检测率，从而达到路标检测和识别的一种有效的平衡。另一方面，本发明实施例提供的路标检测手段并非局限于某一种特定路标(如禁止左转)的识别，而是在所有或绝大部分道路标志的检测和识别中都适用的。

与一对多的模板匹配的技术相比，本发明的实施例的道路标志检测技术降低了计算的复杂度，从而执行速度更快。粗分类的数量远少于一对多模板匹配所用的模板数量，因此大大减少了匹配时间，从而能满足现实应用中实时处理的需求。

通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。

附图说明

图1示意性地示出其中可以应用按照本发明实施例的道路标志检测方法和道路标志检测设备的驾驶辅助系统的应用环境。

图2示出按照本发明实施例的道路标志检测方法的总体流程图。

图3示出按照本发明实施例的场景建模步骤的流程图

图4包括图4A和图4B，示意性地示出不同场景下样本图像的例子，其中，图4A示出晴朗的白天场景下样本图像的一个例子，图4B示出夜间场景下样本图像的一个例子。

图5示出经过色调及饱和度分布确定步骤对一个示例样本图像处理后在HSV色彩空间中红色向量的色调和饱和度分量的直方图分布的一个例子。

图6示出按照本发明实施例的色彩过滤步骤的流程图。

图7A示出待处理图像的一个例子，图7B示出图7A所示待处理图像的关于红色进行二值化图像分割的结果示例。

图8示出按照本发明实施例对于道路标志的分类示意图。

图9示出按照本发明实施例的识别步骤的流程图。

图10示出按照本发明实施例的道路标志检测设备的总体框图。

具体实施方式

下面结合附图描述本发明实施例。

图1示意性地示出其中可以应用按照本发明实施例的道路标志检测方法和道路标志检测设备的驾驶辅助系统的应用环境。如图1所示，驾驶辅助系统2安装于车辆1，驾驶辅助系统2包括安装在车辆1上的摄像头4，该摄像头4实时获取当前环境的图像，处理器5对该图像进行道路标志检测，如果检测到道路标志3，则对该道路标志3粗分类，即识别出该道路标志3的属性，并以任意的提示手段诸如音频及视频输出来向驾驶员提示。

图2示出按照本发明实施例的道路标志检测方法的总体流程图。该道路标志检测方法是一种基于自适应的色彩过滤和以粗分类(即按照路标属性分类)为基础的模糊识别来进行道路标志检测的方法，主要包括离线的场景建模及道路属性建模和在线的道路标志检测，离线过程大体上属于为在线部分进行的准备工作，在线过程为驾驶员提供实时的道路标志检测和识别结果。

如图2所示，按照本发明实施例的道路标志检测方法可以包括：场景建模步骤S100，可以根据多个场景类别的样本图像，分别确定每个场景类别下各个色彩的允许通过范围；色彩过滤步骤S200，可以确定待处理图像所属的场景类别，利用在场景建模步骤中确定的相应场景类别的各个色彩的允许通过范围，来对待处理图像进行过滤，以获取待处理图像关于各个色彩的分别的二值化图像；几何特征过滤步骤S300，可以对各个二值化图像分别进行连通域分析，获取二值化图像中各个连通域的几何特征，排除几何特征不符合道路标志规格的连通域，其余连通域为候选道路标志；形状检测步骤S400，可以针对几何特征过滤装置获得的候选道路标志，按照有限种类的预定形状，检测该候选道路标志的形状；识别步骤S500，可以针对形状检测步骤获得的各个二值化图像的形状确定的候选道路标志，根据候选道路标志的内部特征与各种属性的道路标志的标准内部特征的相似程度，来识别该候选道路标志的属性。

其中，场景建模步骤S100属于前述的“离线”过程，建立场景分类可以更有效地以二值化的方式进行色彩分割，而良好的色彩分割对于后续的路标检测和识别具有非常重要的作用。图3示出按照本发明实施例的场景建模步骤S100的流程图。

如图3所示，场景建模步骤S100具体可以包括：第一色彩空间转换步骤S120，可以将多个场景类别的样本图像分别转换为HSV空间图像；色调及饱和度分布确定步骤S140，可以根据各个场景类别的样本图像，确定该场景类别下各个色彩的色调及饱和度分布范围；通过范围确定步骤S160，可以按照预定的通过比率，在每种场景类别下各个色彩的色调及饱和度分布范围中分别确定允许通过范围。

在第一色彩空间转换步骤S120，首先基于天气和光照条件划分不同的场景模型，例如白天晴朗场景、夜间场景、雾天场景、雨天场景、雪天场景，还可以扩展出其它场景。

建立场景类别的集合Category_scene

Category_scene＝{S₀，S₁，S₂，S₃，...}，

其中S_i是可扩展的，i为索引值，自然数。

建立道路标志常用色彩的集合Color_sign

Color_sign＝{C₀，C₁，C₂，C₃，...}，

对于每个国家而言，其标准的道路标志模型所包含的色彩C_i是固定且集合是有限的，i为索引值，自然数。在此，由于按照本发明实施例的道路标志检测方法至少要针对道路标志外轮廓部分的色彩，因此在此的集合Color_sign至少要包括该国标准的道路标志的外轮廓的色彩，例如红色、蓝色、黄色等等，该集合还可以进一步包括该国标准的道路标志的内部色彩，例如绿色等等。

尽管道路标志的色彩集合是固定和有限的，但是图像中包含的路标的色彩却会因为光线天气等影响，显示会有区别，因此不同场景下同一道路标志会体现出不同的色彩。获取各种场景类别的集合Category_scene中所定义的场景下分别包含的各种道路标志常用色彩的集合Color_sign中所设定的色彩的道路标志的样本图像，以用于第一色彩空间转换步骤S120的处理。样本图像是场景已知并且其中包含的道路标志已知的。例如，图4包括图4A和图4B，示意性地示出不同场景下样本图像的例子，图4A示出晴朗的白天场景下样本图像的一个例子，图4B示出夜间场景下样本图像的一个例子。

本领域技术人员可以认识到，至此的处理可以通过人为定义、设定、操作来进行，因此也可以不在第一色彩空间转换步骤S120中进行，而是独立的进行上述操作，仅在第一色彩空间转换步骤S120中采用至此的结果即可。

在第一色彩空间转换步骤S120，针对Category_scene中的每一种场景，关于每一种场景下的各种道路标志，分别通过足够多的样本图像(例如RGB模式)来进行训练。

即，将样本图像转换到HSV色彩空间，HSV色彩空间为色调-饱和度-光强的色彩空间，此转换可以通过任意现有手段进行。

然后，在色调及饱和度分布确定步骤S140，可以将各个样本图像的道路标志外轮廓切割出来，建立切割部分的色调和饱和度分量的直方图，由于样本图像是已知图像，并且除道路标志外轮廓外的部分并非此阶段所关注的，因此该外轮廓部分的直方图在下文也称为样本图像的直方图。假定道路标志常用色彩的集合Color_sign中所设定的色彩包括红色、蓝色和黄色，并且由于实际上一种道路标志的外轮廓只有一种色彩，则可以在关于上述某一种外轮廓色彩的道路标志的样本图像的直方图中得到该路标色彩的色调及饱和度的分布。例如，由于样本图像所含路标的轮廓的色彩已知，假设为红色，则由该样本图像可以获得红色向量的色调及饱和度的分布。图5示出经过色调及饱和度分布确定步骤S140对一个示例样本图像处理后在HSV色彩空间中红色向量的色调和饱和度分量的直方图分布的一个例子。

在由色调及饱和度分布确定步骤S140对各种场景下各种道路标志分别建立了足够多的样本图像的直方图之后，由于所建立的直方图描述了集合Color_sign中道路标志常用色彩在色调和饱和度分量上的分布，因此，在通过范围确定步骤S160，在每一种光线场景下，针对每一种路标色彩(在此主要指外轮廓色彩)，均可提取出该色彩的色调和饱和度分量的通过范围分布，从而所确定的通过范围(高低阈值之间的范围)具有较强的自适应性。

具体地，通过范围确定步骤S160，例如可以通过以下处理来在每种场景类别下各个道路标志常用色彩的色调及饱和度分布范围中分别确定允许通过范围。

针对每个S_p∈Category_scene，在各个S_p之下，针对每个C_q∈Color_sign，从而，针对场景S_p下路标色彩C_q的全部样本图像(指外轮廓部分)(p，q均为索引值，自然数)。如果色调级别范围为0～W，且饱和度级别范围为0～W(W例如可以为255，显然也可以为其它值)，则可以统计出全部样本图像的所有像素在各个色调级别的分布及各个饱和度级别的分布。

针对属于S_p场景下的包含路标色彩C_q的所有样本图像的道路标志外轮廓部分，根据其色彩C_j的色调和饱和度分布，利用计数器记录在色调范围0～W之内和饱和度范围0～W之内一定区间内的概率累积，其中W＝255。

$T\left(h_k\right)={\mathrm{\&Sigma;}}_{k=i}^j(h_k/N)(0<=i<j<=255)$

$P\left(S_k\right)={\mathrm{\&Sigma;}}_{k=i}^j(S_k/N)(0<=i<j<=255)$

其中，h_k/N表示0～k个色调级中每个级别的像素数量和h_k与像素总数N的比值；S_k/N表示0～k个饱和度级的像素数量和S_k与像素总数N的比值；

色调通过范围[HueL，Hue_H]＝selectH(T(h_k)，thrl)；

饱和度通过范围[Saturation_L，Saturation_H]＝selectS(P(h_k)，thr2)；

其中selectH函数表示利用T(h_k)获取色调的重点分布范围，作为其允许通过范围[Hue_L，Hue_H]，一种方法是取连续的一段色调范围，他们的h_k/N累加之和大于预定的阈值thr1，例如90％；

selectS函数表示利用P(h_k)获取饱和度的重点分布范围，作为其允许通过范围[Saturation_L，Saturation_H]，一种方法是取连续的一段饱和度范围，他们的S_k/N累加之和大于预定的阈值thr2，例如90％；

SelectH函数是自定义的获取色调重点分布范围的函数，可以具体实现如下：

其中length表示连续的一段色调或饱和度的长度，初始值设为255，遍历h_k在0～255上任意一段的累加和，若等于预定阈值t(在此为thr1，例如可以是90％)且该段落长度最小，即输出该段落的起始点i与终点j作为输出，Hue_L＝i，Hue_H＝j。

类似地，利用类似于SelectH函数的selectS，遍历S_k，输出饱和度的起始点与终点，即，允许通过范围[Saturation_L，Saturation_H]。

得到该S_p、该C_q情况下的色调的通过范围[Hue_L，Hue_H]及饱和度的通过范围[Saturation_L，Saturation_H]。

本领域技术人员可以认识到，建立不同光线条件的场景模型，以便获取在每种场景模型下每种路标色彩的变化范围，采用该变化范围的手段相对于不考虑场景条件而仅为每种路标色彩创建唯一固定不变阈值的手段更具有自适应性。

在离线建立不同场景下不同路标色彩的色调的通过范围[Hue_L，Hue_H]及饱和度的通过范围[Saturation_L，Saturation_H]之后，完成场景建模步骤S100的处理。

然后，在色彩过滤步骤S200，对车载摄像头捕获的实时图像进行色彩过滤。具体地，图6示出按照本发明实施例的色彩过滤步骤S200的流程图。如图6所示，按照本发明实施例的色彩过滤步骤S200可以包括：场景类别确定步骤S220，可以利用自动的场景识别手段或通过用户介入来确定待处理图像所属的场景类别；第二色彩空间转换步骤S240，将待处理图像转换为HSV空间图像；二值化步骤S260，利用待处理图像所属的场景类别的各个色彩的色调及饱和度的允许通过范围，分别过滤待处理图像的HSV空间图像，获得待处理图像关于各个色彩的分别的二值化图像。

关于场景类别确定步骤S220中的场景识别手段，可以采用目前在照相机等领域中已经使用的本领域惯用的自动场景识别技术，在此也可以采用用户介入的方式，以如同在使用照相机等设备时选择场景模式的方式，确定当前的光线场景，例如，驾驶员在停车时可以设定当前的光线场景。

第二色彩空间转换步骤S240可以采用与第一色彩空间转换步骤S120相同的处理，来将车载摄像头捕获的待处理图像(通常为例如RGB模式)转换为HSV空间图像。

然后，利用二值化步骤S260来进行图像分割，其中，分别关于各个色彩，仅当待处理图像的像素的色调及饱和度均在该色彩的色调及饱和度的允许通过范围内时，将该像素赋为高值，否则赋为低值，获得关于该色彩的二值化图像。也就是，对待处理图像的像素进行逐个过滤处理，按照在场景类别确定步骤S220所确定的该待处理图像的场景，分别关于各个道路标志常用色彩，例如分别关于红色、蓝色等等，当该像素的色调的在相应场景及色彩的色调通过范围[Hue_L，Hue_H]内并且饱和度在相应的场景及色彩的饱和度通过范围[Saturation_L，Saturation_H]内时，赋值例如为1，否则赋值例如为0，从而获取待处理图像关于各个色彩的分别的二值化图像。例如，图7A示出待处理图像的一个例子，图7B示出图7A所示待处理图像的关于红色进行二值化图像分割的结果示例，其中，框R1和框R2分别指示通过过滤的红色区域。

然后，在几何特征过滤步骤S300，可以对各个二值化图像分别进行连通域分析，可以采用本领域成熟的连通域分析技术来获取二值化图像中各个连通域及其几何特征。利用通用的获取轮廓的技术提取出各个连通域的外轮廓，由于各国的道路交通标志均按照一定规格，具有标准且固定的形状，因此其外轮廓形状的几何特征也是固定的，诸如路标的尺寸、外包围盒的长宽比例等，因此可以利用这些信息移除非路标的候选区域，排除几何特征不符合道路标志规格的连通域，其余连通域为候选道路标志。例如，针对图7B所示的二值化图像，在几何特征过滤步骤S300，可以利用本领域熟知的手段来排除框R2所指示的连通域，而将符合道路标志规格的框R1所指示的连通域作为候选道路标志。

然后，在形状检测步骤S400，可以针对几何特征过滤步骤获得的候选道路标志，按照有限种类的预定形状，检测候选道路标志的形状。其中，有限种类的预定形状通常可以是圆形、三角形和矩形，绝大多数国家的绝大多数道路交通标志符合上述形状。形状检测步骤S400所采用的形状检测技术可以是基于图像处理方法的诸如霍夫变换的形状检测子算法等，也可以是基于机器学习的离线训练在线预测的办法，总之，可以采用本领域熟知的形状检测技术来检测候选道路标志的形状。至此，可以在所识别的场景下，检测出待处理图像中所含路标的外轮廓色彩及形状。

本发明的实施例可以执行到此为止，因为各国路标均按照一定规格和标准制定，在同一外轮廓色彩的路标具有类似的特点，在同一色彩下，不同形状的路标又进一步具有类似的特点。因此至此本发明的实施例可以判断出路标的大致情况，可以向用户(驾驶员)提示出有用的信息。当然，本发明还可以进一步深入地识别出路标的种类，因为同一外轮廓色彩、同一形状的路标也可能具有不同的属性。

在此情况下，可以进一步考虑道路标志的内部特征，利用路标内部特征来做进一步的处理，创建对道路标志的粗分类，即在外轮廓色彩、形状的基础上，进一步按照属性来分为子类，以便达到更高的路标检测和识别率，从而为实时的路标识别提供属性信息。

因此，在按照本发明实施例的道路标志检测方法中，可以通过按照样本道路标志的外轮廓色彩将样本道路标志分为大类，在每个样本道路标志大类下，按照形状将样本道路标志分为小类，在每个样本道路标志小类下，提取样本道路标志的内部特征，按照内部特征将样本道路标志进一步分类为与属性相对应的子类。此操作可以在实时检测识别路标之前离线完成。与之前的离线过程场景建模步骤S100类似，确定各种属性的道路标志的标准内部特征的过程也要基于各种样本道路标志。

其中，在上述的每个样本道路标志小类下(即已经确定路标的外轮廓色彩和形状)，定义该小类中n个道路标志的内部特征Fi(i＝1......n)的集合Set(FeatureInner)：

F1，F2，...Fn∈Set(FeatureInner)；

然后，对小类中每一个样本路标Sign_i(i＝1......n)按照定义的内部特征Fi提取特征：

extractFeature(Sign_i)＝{Fi∈Set(FeatureInner)|Fi＝(a1，a2，...am)}，

其中，a1，a2，...am代表内部特征Fi的m个分量；

然后，将具有相同或相似特征的样本路标聚类构成一个子类(粗分类)TSR_i，构成子类的集合Set(TSR)：

Set(TSR)＝{TSR_i|TSR_i＝{Sign₁，Sign₂，...，Sign_K}}

其中子类TSR_i包括K个样本路标Sign_j(j＝1......K)。

一个子类的样本道路标志具有该种属性的道路标志的标准内部特征。

在确定各种属性的道路标志的标准内部特征之后，可以通过识别步骤S500来对待处理图像的属性进行识别。

图8示出按照本发明实施例对于道路标志(即路标)的分类示意图。

如图8所示，以某国主要标准路标为例，道路标志首先按照诸如外轮廓红色、黄色、蓝色分为大类；每个大类内按照路标形状分为诸如圆形、三角形、矩形的小类，并非每个色彩(大类)具有全部三种形状；在小类内，按照下文描述的内部特征将路标分为数目不等的子类，有的小类(诸如红色圆形、蓝色矩形)具有多个子类，有的小类具有一个子类。可以采用下述的识别步骤S500将检测到的候选道路标志分到与其具有相同属性的子类，每个子类具有类似的含义，可以向用户提示。

图9示出按照本发明实施例的识别步骤S500的流程图。如图9所示，识别步骤S500可以包括：提取步骤S520，可以针对形状检测步骤S400获得的各个二值化图像的形状确定的候选道路标志，提取该候选道路标志的内部特征；相似度确定步骤S540，可以确定该候选道路标志的内部特征与相应色彩相应形状的全部属性的道路标志的标准内部特征之间的相似度，取其中的最大相似度；属性确定步骤S560，可以在相似度确定步骤S540所确定的该最大相似度大于预定阈值的情况下，将该候选道路标志确定为具有获得该最大相似度的标准内部特征所对应的属性。

在提取步骤S520，对候选道路标志candidate(已经确定外轮廓色彩及形状，即已经确定其所属小类)按照内部特征的定义提取其内部特征Fcandidate：

extractFeature(candidate)＝{Fcandidate|Fcandidate＝(a1，a2，..an)}，

其中，a1，a2，...an代表内部特征Fcandidate的n个内部特征分量；

在相似度确定步骤S540，计算候选道路标志的内部特征与该小类中各个子类TSR_i的标准内部特征分别的相似度：

similarity(Fcandidate，TSR_i)，并提取其中最大的相似度Max_similarity＝similarity(Fcandidate，TSR_j)，设与第j号子类获得最大相似度；

在属性确定步骤S560，如果判断最大相似度大于某预定阈值threshold，则将该候选道路标志归类为该子类：

Candidate∈TSR_j，其中Max_similarity＞threshold；

否则可以判断该候选道路标志并非路标对象。

具体地，所述标准内部特征及所述内部特征可以为道路标志及候选道路标志的外轮廓之内的内部色彩特征。

在此情况下，对于内部色彩特征，首先定义在道路标志模型中可能存在的内部色彩的集合InnerColor：

InnerColor＝{c1，c2，c3，c4，c5，c6}，

类似于外轮廓特征，各国道路标志内部的色彩通常也是有限的几种，在此假定6种，分别表示为c1、c2、c3、c4、c5、c6。

然后，在确定外轮廓色彩和形状的路标小类中建立基于相同的内部色彩特征的路标子类的集合Set(TSR)：

Set(TSR)＝{TSR_i|extractInnerColor(TSR_i)}

道路标志子类的集合Set(TSR)按照其内部色彩的有限数目的组合而包括有限数目个子类TSR_i，i为索引值，自然数。

其中，函数extractInnerColor用来统计每个路标子类所包含的内部色彩特征，输出其包含的色彩的集合。例如，假定该小类的全部子类的集合Set(TSR)根据其内部色彩而包括7个子类TSR_i：

Set(TSR)＝{c1，c2}+{c3，c2，c4}+{c1，c5}+{c1，c2，c4}+{c2，c4}+{c2，c3}+{c1，c6}；

对于每检测到的候选路标对象Candidate，

同样利用extractInnerColor提取该对象的内部色彩特征Fcandidate：

extractInnerColor(Candidate)＝{Fcandidate＝(a1，a2，...am)}，

其中，a1，a2，...am代表内部特征Fcandidate的m个内部色彩特征分量；

计算该候选路标Candidate与每一个子类TSR_i的相似程度，并取其最大值S

$S=\max \left\{\mathrm{Similarity}(\mathrm{Candidate},{\mathrm{TSR}}_i)\right|{\mathrm{TSR}}_i\&SubsetEqual;\mathrm{Set}\left(\mathrm{TSR}\right)\};$

其中，函数Similarity用于获得候选路标的色彩集合与每个子类的色彩集合的相似性，如果候选路标的色彩集合包含某个子类的所有色彩且不包含该子类没有的色彩，那么此候选道路标志与该子类具有最大相似性。

如果该最大值S大于预定阈值thresholdl，且候选道路标志Candidate与第j号子类得到该最大值，则识别该候选道路标志属于子类TSR_j，具有该子类的属性。否则，否则可以判断该候选道路标志并非路标对象。

函数Similarity可以定义为用来确定候选道路标志的色彩集合与每个子类的色彩集合的相似性，具体实现如下：

对候选对象Candidate，遍历每个子类TSR_i∈Set(TSR)，设g为子类TSR_i含有的特征分量的个数，遍历候选对象Candidate含有的特征分量a_t，t为索引值。用u，v分别来计数候选对象Candidate包含在子类TSR_i中的特征分量个数和不包含在子类TSR_i中的特征分量个数。

遍历a_t，如果a_t∈TSR_i，u递增1；否则v++；

simValue＝u/g-v/g；

记录具有最大simValue的TSR_i，此时的simValue则为最大相似度。

所述标准内部特征及所述内部特征也可以为道路标志及候选道路标志的外轮廓之内的内部纹理特征。

对于内部纹理特征，首先在确定外轮廓色彩和形状的路标小类中定义在样本道路标志中可能存在的内部纹理特征的集合InnerLayout，内部纹理特征可以细分为角点特征corner和梯度特征gradient：

InnerLayout＝{{corner}，{gradient}}；

然后，建立基于相同的内部纹理特征的路标子类的集合Set(TSR)：

Set(TSR)＝{TSR_i|extractInnerC&G(TSR_i)}

其中，函数extractInnerC&G表示提取每个样本路标的内部角点特征及梯度特征，例如sift特征，输出其包含的内部纹理特征的集合。道路标志子类的集合Set(TSR)按照其内部纹理的有限数目的组合而包括有限数目个子类TSR_i，i为索引值，自然数。

对于每检测到的候选路标对象Candidate，

同样利用extractInnerC&G提取该对象的内部纹理特征Fcandidate：

extractInnerC&G(Candidate)＝{Fcandidate＝(a1，a2，...am)}，

其中，a1，a2，...am代表内部纹理特征Fcandidate的m个内部纹理特征分量，诸如角点及梯度；

计算该候选路标Candidate与每一个子类TSR_i的相似程度，并取其最大值S

$S=\max \left\{\mathrm{Similarity}(\mathrm{Candidate},{\mathrm{TSR}}_i)\right|{\mathrm{TSR}}_i\&SubsetEqual;\mathrm{Set}\left(\mathrm{TSR}\right)\};$

纹理特征相似度计算的函数Similarity与前述用于色彩特征的Similarity函数类似，本领域技术人员可以由前述用于色彩特征的Similarity函数推广得到此处用于纹理特征相似度计算的函数Similarity。例如将色彩特征Similarity函数中对“色彩”特征(一个特征)的计算推广至纹理特征中“角点”“梯度”两个特征的计算。

函数Similarity在此用于获得候选路标的纹理集合与每个子类的纹理集合的相似性，例如，如果候选路标的纹理集合包含某个子类的所有纹理且不包含该子类没有的纹理，那么此候选道路标志与该子类具有最大相似性。

如果该最大值S大于预定阈值threshold2，且候选道路标志Candidate与第j号子类得到该最大值，则识别该候选道路标志属于子类TSR_j，具有该子类的属性。否则可以判断该候选道路标志并非路标对象。

内部特征不限于上述内部色彩特征和内部纹理特征，而是可扩展和自定义的。

本发明还可以实施为一种道路标志检测设备，图10示出按照本发明实施例的道路标志检测设备的总体框图。如图10所示，一种按照本发明实施例的道路标志检测设备，可以用来执行上述的道路标志检测方法，该道路标志检测设备包括：场景建模装置100，可以用来执行所述场景建模步骤S100，以根据多个场景类别的样本图像，分别确定每个场景类别下各个色彩的允许通过范围；色彩过滤装置200，可以用来执行所述色彩过滤步骤S200，以确定待处理图像所属的场景类别，利用场景建模装置100确定的相应场景类别的各个色彩的允许通过范围，来对待处理图像进行过滤，以获取待处理图像关于各个色彩的分别的二值化图像；几何特征过滤装置300，可以用来执行所述几何特征过滤步骤S300，以对各个二值化图像分别进行连通域分析，获取二值化图像中各个连通域的几何特征，排除几何特征不符合道路标志规格的连通域，其余连通域为候选道路标志；形状检测装置400，可以用来执行所述形状检测步骤S400，以针对几何特征过滤装置300获得的候选道路标志，按照有限种类的预定形状，检测该候选道路标志的形状；识别装置500，可以用来执行所述识别步骤S500，以针对形状检测装置400获得的各个二值化图像的形状确定的候选道路标志，根据候选道路标志的内部特征与各种属性的道路标志的标准内部特征的相似程度，来识别该候选道路标志的属性。

所述场景建模装置100可以包括：第一色彩空间转换装置，可以用来执行所述第一色彩空间转换步骤S120，以将多个场景类别的样本图像分别转换为HSV空间图像；色调及饱和度分布确定装置，可以用来执行所述色调及饱和度分布确定步骤S140，以根据各个场景类别的样本图像，确定该场景类别下各个色彩的色调及饱和度分布范围；通过范围确定装置，可以用来执行所述通过范围确定步骤S160，以按照预定的通过比率，在每种场景类别下各个色彩的色调及饱和度分布范围中分别确定允许通过范围。

所述色彩过滤装置200可以包括：场景类别确定装置，可以用来执行所述场景类别确定步骤S220，以利用自动的场景识别手段或通过用户介入来确定待处理图像所属的场景类别；第二色彩空间转换装置，可以用来执行所述第二色彩空间转换步骤S240，以将待处理图像转换为HSV空间图像；二值化装置，可以用来执行所述二值化步骤S260，以利用待处理图像所属的场景类别的各个色彩的色调及饱和度的允许通过范围，分别过滤待处理图像的HSV空间图像，获得待处理图像关于各个色彩的分别的二值化图像。

分别关于各个色彩，所述二值化装置可以仅当待处理图像的像素的色调及饱和度均在该色彩的色调及饱和度的允许通过范围内时，将该像素赋为高值，否则赋为低值，获得关于该色彩的二值化图像。

所述形状检测装置400执行所述形状检测步骤S400所依照的有限种类的预定形状可以为圆形、三角形和矩形。

所述道路标志检测设备可以通过按照样本道路标志的外轮廓色彩将样本道路标志分为大类，在每个样本道路标志大类下，按照形状将样本道路标志分为小类，在每个样本道路标志小类下，提取样本道路标志的内部特征，按照内部特征将样本道路标志进一步分类为与属性相对应的子类。

所述识别装置500可以包括：提取装置，可以用来执行所述提取步骤S520，以针对形状检测装置400获得的各个二值化图像的形状确定的候选道路标志，提取该候选道路标志的内部特征；相似度确定装置，可以用来执行所述相似度确定步骤S540，以确定该候选道路标志的内部特征与相应色彩相应形状的全部属性的道路标志的标准内部特征之间的相似度，取其中的最大相似度；属性确定装置，可以用来执行所述属性确定步骤S560，以在相似度确定装置所确定的该最大相似度大于预定阈值的情况下，将该候选道路标志确定为具有获得该最大相似度的标准内部特征所对应的属性。

其中，所述标准内部特征及所述内部特征可以为道路标志及候选道路标志的外轮廓之内的内部色彩特征；所述标准内部特征及所述内部特征也可以为道路标志及候选道路标志的外轮廓之内的内部纹理特征。

按照本发明实施例的道路标志检测方法和道路标志检测设备提供了基于自适应的色彩过滤和以粗分类为基础的模糊识别来进行道路标志检测识别的技术，从而提高路标检测的灵活性。首先，基于场景的色彩过滤可以有效且更鲁棒地进行图像分割，有利于方便地进行此后的检测和识别。然后，模糊识别提供了在检测和识别二者之间的一种有效的平衡。即，一方面，该技术能有效地降低误检，且能够通过内部特征的提取而保证较高的检测率；另一方面，该技术与一对多的模板匹配的手段相比降低了计算的复杂度，从而同等条件下处理速度更快。

在说明书中说明的一系列操作能够通过硬件、软件、或者硬件与软件的组合来执行。当由软件执行该一系列操作时，可以把其中的计算机程序安装到内置于专用硬件的计算机中的存储器中，使得计算机执行该计算机程序。或者，可以把计算机程序安装到能够执行各种类型的处理的通用计算机中，使得计算机执行该计算机程序。

例如，可以把计算机程序预先存储到作为记录介质的硬盘或者ROM(只读存储器)中。或者，可以临时或者永久地存储(记录)计算机程序到可移动记录介质中，诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、或半导体存储器。可以把这样的可移动记录介质作为封装软件提供。

本发明已经参考具体实施例进行了详细说明。然而，很明显，在不背离本发明的精神的情况下，本领域技术人员能够对实施例执行更改和替换。换句话说，本发明用说明的形式公开，而不是被限制地解释。要判断本发明的要旨，应该考虑所附的权利要求。

Claims (9)

1.一种道路标志检测方法，包括：

场景建模步骤，根据多个不同光照的场景类别的样本图像，分别确定每个场景类别下各个色彩的允许通过范围，其中，所述场景建模步骤针对每一种场景，关于每一种场景的各种道路标志，分别通过多个样本图像来进行训练，其中所述场景建模步骤包括：第一色彩空间转换步骤，将多个场景类别的样本图像分别转换为HSV空间图像；色调及饱和度分布确定步骤，将各个样本图像的道路标志外轮廓切割出来，建立切割部分的色调和饱和度分量的直方图；通过范围确定步骤，统计全部样本图像的所有像素在各个色调级别的分布及各个饱和度级别的分布，针对属于各个场景的包含路标色彩的所有样本的道路标志外轮廓部分，根据其色彩的色调和饱和度分布，利用计数器记录在色调范围之内和饱和度范围之内一定区间内的概率累积，取连续的一段色调范围作为色调通过范围，使得它们的概率累加之和大于预定的第一阈值，取连续的一段饱和度范围作为饱和度通过范围，使得它们的概率累加之和大于预定的第二阈值；

色彩过滤步骤，确定待处理图像所属的场景类别，利用在场景建模步骤中确定的相应场景类别的各个色彩的允许通过范围，来对待处理图像进行过滤，以获取待处理图像关于各个色彩的分别的二值化图像；

几何特征过滤步骤，对各个二值化图像分别进行连通域分析，获取二值化图像中各个连通域的几何特征，排除几何特征不符合道路标志规格的连通域，其余连通域为候选道路标志；

形状检测步骤，针对几何特征过滤步骤获得的候选道路标志，按照有限种类的预定形状，检测该候选道路标志的形状；

识别步骤，针对形状检测步骤获得的各个二值化图像的形状确定的候选道路标志，根据候选道路标志的内部特征与各种属性的道路标志的标准内部特征的相似程度，来识别该候选道路标志的属性。

2.按照权利要求1所述的道路标志检测方法，其中，所述色彩过滤步骤包括：

场景类别确定步骤，利用自动的场景识别手段或通过用户介入来确定待处理图像所属的场景类别；

第二色彩空间转换步骤，将待处理图像转换为HSV空间图像；

二值化步骤，利用待处理图像所属的场景类别的各个色彩的色调及饱和度的允许通过范围，分别过滤待处理图像的HSV空间图像，获得待处理图像关于各个色彩的分别的二值化图像。

3.按照权利要求2所述的道路标志检测方法，其中，在所述二值化步骤中，分别关于各个色彩，仅当待处理图像的像素的色调及饱和度均在该色彩的色调及饱和度的允许通过范围内时，将该像素赋为高值，否则赋为低值，获得关于该色彩的二值化图像。

4.按照权利要求1所述的道路标志检测方法，其中，在所述形状检测步骤中，所述有限种类的预定形状为圆形、三角形和矩形。

5.按照权利要求1所述的道路标志检测方法，其中，通过按照样本道路标志的外轮廓色彩将样本道路标志分为大类，在每个样本道路标志大类下，按照形状将样本道路标志分为小类，在每个样本道路标志小类下，提取样本道路标志的内部特征，按照内部特征将样本道路标志进一步分类为与属性相对应的子类。

6.按照权利要求5所述的道路标志检测方法，其中，所述识别步骤包括：

提取步骤，针对形状检测步骤获得的各个二值化图像的形状确定的候选道路标志，提取该候选道路标志的内部特征；

相似度确定步骤，确定该候选道路标志的内部特征与相应色彩相应形状的全部属性的道路标志的标准内部特征之间的相似度，取其中的最大相似度；

属性确定步骤，在相似度确定步骤所确定的该最大相似度大于预定阈值的情况下，将该候选道路标志确定为具有获得该最大相似度的标准内部特征所对应的属性。

7.按照权利要求6所述的道路标志检测方法，其中，

所述标准内部特征及所述内部特征为道路标志及候选道路标志的外轮廓之内的内部色彩特征。

8.按照权利要求6所述的道路标志检测方法，其中，

所述标准内部特征及所述内部特征为道路标志及候选道路标志的外轮廓之内的内部纹理特征。

9.一种道路标志检测设备，包括：

场景建模装置，根据多个不同光照的场景类别的样本图像，分别确定每个场景类别下各个色彩的允许通过范围，其中，所述场景建模装置针对每一种场景，关于每一种场景的各种道路标志，分别通过多个样本图像来进行训练，其中所述场景建模装置进行：第一色彩空间转换步骤，将多个场景类别的样本图像分别转换为HSV空间图像；色调及饱和度分布确定步骤，将各个样本图像的道路标志外轮廓切割出来，建立切割部分的色调和饱和度分量的直方图；通过范围确定步骤，统计全部样本图像的所有像素在各个色调级别的分布及各个饱和度级别的分布，针对属于各个场景的包含路标色彩的所有样本的道路标志外轮廓部分，根据其色彩的色调和饱和度分布，利用计数器记录在色调范围之内和饱和度范围之内一定区间内的概率累积，取连续的一段色调范围作为色调通过范围，使得它们的概率累加之和大于预定的第一阈值，取连续的一段饱和度范围作为饱和度通过范围，使得它们的概率累加之和大于预定的第二阈值；

色彩过滤装置，确定待处理图像所属的场景类别，利用所述场景建模装置所确定的相应场景类别的各个色彩的允许通过范围，来对待处理图像进行过滤，以获取待处理图像关于各个色彩的分别的二值化图像；

几何特征过滤装置，对各个二值化图像分别进行连通域分析，获取二值化图像中各个连通域的几何特征，排除几何特征不符合道路标志规格的连通域，其余连通域为候选道路标志；

形状检测装置，针对几何特征过滤装置获得的候选道路标志，按照有限种类的预定形状，检测该候选道路标志的形状；

识别装置，针对形状检测装置获得的各个二值化图像的形状确定的候选道路标志，根据候选道路标志的内部特征与各种属性的道路标志的标准内部特征的相似程度，来识别该候选道路标志的属性。