CN104766046B - 一种利用交通标识颜色及形状特征进行检测与识别方法 - Google Patents

Abstract

本发明涉及应用计算机视觉研究领域，尤其涉及一种利用交通标识颜色及形状特征进行检测与识别方法。本发明首先选取适当的颜色空间对原始图像做阈值分割，得到了含有红、蓝、黄颜色信息的交通标识目标图，随后对通过图像分割得到的目标图像进行一定的预处理。图像预处理的主要作用就是去除噪声干扰物及对图像做一定的细节处理以改善图像质量，接下来对经过预处理的图像进行形状识别。形状识别可以进一步区分目标物体与非目标物体，对后续的交通标识的识别起到一个辅助的作用，最后对分割得到的不同种类的交通标识进行识别，支持向量机能避免局部最优值及过度拟合等问题，同时对小样本分类有着良好性能。

Description

一种利用交通标识颜色及形状特征进行检测与识别方法

技术领域

本发明涉及应用计算机视觉研究领域，尤其涉及一种利用交通标识颜色及形状特征进行检测与识别方法。

背景技术

人类自步入二十一世纪以来,社会经济和各项科学技术水平均取得了迅猛的发展,机动车的出现正体现了这一点,机动车在现代交通中已经成为了最重要的交通工具,普及率也越来越高。我们甚至可以这么说,人类社会已经离不幵这种快速、便捷的现代文明产物了。但是,由于机动车辆的大范围使用,道路交通面临着日趋严重的承载压力,交通堵塞情况随处可见,更严重的是,由疲劳驾驶和酒后驾驶等不安全因素引发的交通事故越来越多。有资料统计,在世界范围内发生的安全事故中,道路交通事故约占90％,由此造成的伤亡人数占总伤亡人数的80％以上,在非正常死亡人口中位列第一,给国家和人民的生命财产造成了巨大的损失。

针对道路交通的拥堵现象,传统的方法是拓宽道路面积和修建更多的道路,这些方法不仅需要投入大量的人力和财力,而且不能从根本上解决问题。因此从上世纪八十年代起,一些发达国家开始把智能技术的方法应用于交通系统,例如人们幵始研究自动和半自动的驾驶技术以及开展了智能交通系统(Intelligent Transportation System,ITS)的研究工作。所谓智能交通系统,就是通过合理的协调人、车和路来达到缓解交通堵塞、减少交通事故的目的,它综合运用多种先进的科学技术并把它们有效地集成在一起从而建立了一个强大的交通运输管理系统。

道路交通由人、道路和交通工具三个主体构成,其中人发挥着最重要的指导作用。道路不仅仅指路面,它还包括路面上的一些行人和物,以及树立在两旁的交通标识。因此要研究智能交通系统,就必然要涉及到对道路两旁的交通标识的检测和识别。道路交通标识采用文字或者符号的方式表达当前的路况信息,它是交通管理部门进行交通管理的有效措施。在古罗马时代,人们已经采用了类似指示标志的里程碑和指路牌等来引导军队行进。经过两千多年的发展,现在的交通标识已经多种多样,并且有其专门的颜色和形状,它们遍布在世界的任何角落,为道路交通安全护航。总的来说,交通标识识别系统有以下几个方面的应用。

另外,研究交通标识识别系统涉及到机器视觉、模式识别和图像处理等多方面的技术,它和人脸识别、目标跟踪一样是典型的模式识别应用系统。但是由于复杂的场景和较高的实时性要求,对交通标识的检测和识别一直没有理想的解决方案。

发明内容

针对现有技术中存在的缺陷或不足，本发明所要解决的技术问题是：提供一种利用交通标识颜色及形状特征进行检测与识别方法。

为了实现上述目的，本发明采取的技术方案为提供一种利用交通标识颜色及形状特征进行检测与识别方法，包括以下步骤：

A、选取适当的颜色空间对原始图像做阈值分割，然后设置适合的颜色分割阈值，得到含有红、蓝、黄颜色信息的交通标识目标图像；

B、对交通标识目标图像进行预处理；

C、对经过预处理的图像进行形状识别，采取快速径向对称变换方法检测圆形标识，采用角检测与几何信息相结合的方法检测矩形及三角形；

D、对分割得到的不同种类的交通标识进行识别，采用Hu不变矩作为特征向量，在识别方法方面采用支持向量机(SVM)方法。

作为本发明的进一步改进，所述适当的颜色空间为HIS颜色空间。

作为本发明的进一步改进，所述预处理包括图像去噪，使用连通域标记法去除过大过小面积干扰物，区域内部孔洞填充、外边缘轮廓检测、使用图像膨胀方法改善图像形状，选取Prewitt算子进行边缘提取。

作为本发明的进一步改进，所述形状识别还包括采取圆形度的方法对提取的感兴趣区域的圆形标识进行形状判别。

作为本发明的进一步改进，所述步骤B中，三角形判别利用了已知高长度与拐角检测来实现。

作为本发明的进一步改进，所述步骤C中，矩形检测使用矩形的左上角和右下角两个拐角检测模块，进行卷积找到峰值后，使用矩形的集合信息进行矩形的进一步检测，即左拐角及右拐角之间的长宽比需要满足一定条件。

作为本发明的进一步改进，所述步骤C中，三角形检测使用三角形顶部拐角模板及左下角拐角模板进行卷积，找到峰值之后，利用两角之间的宽高比进行筛选与检测。

作为本发明的进一步改进，所述矩形检测方法如下：

(1)将含有矩形及三角形交通标识的图像经过颜色分割，图像预处理及边缘提取等步骤之后，得到一副二值图像，并且将该图像进行填充。

(2)对于矩形将矩形左上角拐角模板与右下角拐角模板依次对二值图像做卷积，产生结果矩阵H1和H2；同样对于三角形使用顶角拐角模板与左下角拐角模板分别对图像做卷积，产生结果矩阵H3和H4。

(3)设立阈值为最大卷积值的0.8，根据阈值分别求得H1、H2中满足条件的点。

(4)将检测出来的距离相近的点进行合并，去除多余的点。

(5)对于矩形，将两个模板对应的检测出的点的横纵坐标分别相减，求得两点的宽高比，若比值满足矩形宽高比范围，则认为这两点能构建一个矩形。

本发明的有益效果是：本发明首先选取适当的颜色空间对原始图像做阈值分割。考虑各种光照及复杂背景下分割效果，最终选取HSI颜色空间，然后通过设置适合的颜色分割阈值，得到了含有红、蓝、黄颜色信息的交通标识目标图，随后对通过图像分割得到的目标图像进行一定的预处理。由于图像在分割之后仍存在大量的噪声及干扰物，图像预处理的主要作用就是去除噪声干扰物及对图像做一定的细节处理以改善图像质量，接下来对经过预处理的图像进行形状识别。形状识别可以进一步区分目标物体与非目标物体，对后续的交通标识的识别起到一个辅助的作用，最后对分割得到的不同种类的交通标识进行识别，支持向量机能避免局部最优值及过度拟合等问题，同时对小样本分类有着良好性能。

附图说明

图1是HSI颜色空间模型图。

图2是HSI颜色空间直接阈值分割结果图。

图3是图像预处理中均值滤波结果过程图；

图4是图像预处理中中值滤波进行平滑过程图；

图5是图像预处理中去除过大过小面积效果图；

图6是图像预处理中膨胀运算效果图；

图7是矩形标识预处理之后效果图；

图8是圆形标识预处理之后效果图；

图9是Prewitt算子边缘检测效果图；

图10是某点在其梯度方向及反方向投影示意图；

图11是快速径向对称变换检测圆形效果图；

图12是矩形标识检测效果图；

图13是三角形标识检测效果图；

图14是模式识别系统流程图；

图15是40限速标识的灰度图像；

图16及禁止鸣笛标识的灰度图像；

图17是交叉验证所得到的最优参数图。

图18是分类结果图。

具体实施方式

下面结合附图说明及具体实施方式对本发明进一步说明。

如图1所示，本发明供一种利用交通标识颜色及形状特征进行检测与识别方法。

本发明主要对交通标识的检测与识别展开了研究，研究内容主要包括交通标识的颜色空间分割、分割后图像预处理和边缘提取、形状识别及交通标识的分类识别。

本发明首先选取适当的颜色空间对原始图像做阈值分割。考虑各种光照及复杂背景下分割效果，最终选取HSI颜色空间，然后通过设置适合的颜色分割阈值，得到了含有红、蓝、黄颜色信息的交通标识目标图像。

交通标识的检测：检测方法主要是根据标识的颜色特征和形状特征进行颜色空间阈值分割与形状判别，从而对交通标识进行检测和粗分类。主要步骤如下：

1、图像预处理：本发明在HIS颜色空间中提出了交通标识的阈值分割方法，针对交通标识的颜色特征根据各自的颜色分量形成红、黄、蓝三幅二值图像,接着对已经粗分类提取出的交通标识相关颜色区域进行图像的预处理，包括图像去噪、小面积区域去除、区域内部孔洞填充、外边缘轮廓检测等。通过预处理,使得目标区域更有利于后续的形状判别分析。

图1至图8分别展示了HSI颜色空间模型图、HSI颜色空间直接阈值分割结果图、图像预处理过程图及图像预处理效果图。

2、图像边缘检测：如果一幅图像中某些点邻近的像素点的值不再是连续的，而是突然发生剧烈的改变，则称这些点是图像的边缘。这些显著的变化也可以表现为该点灰度导数的极大或者较大值，而它们也常常能够反映出图像的重要信息及有意义的特征。边缘检测就是将图像中灰度值发生了明显改变的点提取出来，同时去除其余不重要的信息点的过程。经过边缘检测之后的图像，只将图像重要的结构信息保留下来，大大的减少需要计算的数据量。

边缘提取大多数是利用方向导数模板对图像做卷积以得到其上所有点在一定大小像素范围内灰度值所发生的变化。常用的边缘检测算子有：Prewitt梯度算子、Robert交叉梯度算子、Sobel梯度算子、高斯-拉普拉斯算子等。

针对交通标识，各种算子之间的差异较小，但作为二阶算子Prewitt算子效果会更好些，所以，本论文在经过对以上各种算子进行试验后，决定选用Prewitt算子来进行交通标识的边缘提取。

Prewitt算子是通过寻找相邻元素左右及上下之间的灰度差值的极值检测边缘的。它的去噪过程可以看作是个平均过程，类似于低通滤波，因此能够较好的平滑和抑制噪声。

Prewitt梯度算子模板为公式(2-1)所示：

其中，w₁为水平(左)模板，w₂为竖直(右)模板。其在数学可以表示为公式(2-2)。

g(i,j)＝|(f(i-1,j-1)+f(i-1,j)+f(i-1,j+1))

-(f(i+1,j-1)+f(i+1,j)+f(i+1,j+1))|

+|(f(i-1,j-1)+f(i,j-1)+f(i+1,j-1))

-(f(i-1,j+1)+f(i,j+1)+f(i+1,j+1))| (2-2)

Prewitt算子边缘检测效果图如图9所示。

本发明随后对通过图像分割得到的目标图像进行一定的预处理。由于图像在分割之后仍存在大量的噪声及干扰物，图像预处理的主要作用就是去除噪声干扰物及对图像做一定的细节处理以改善图像质量。预处理主要完成图像去噪，使用连通域标记法去除过大过小面积干扰物，使用图像膨胀方法改善图像形状，选取Prewitt算子进行边缘提取。

本发明接下来对经过预处理的图像进行形状识别。形状识别可以进一步区分目标物体与非目标物体，对后续的交通标识的识别起到一个辅助的作用。经过分析对比，选取了性能较好的快速径向对称变换方法检测圆形标识，采用运行速度较快的拐角检测与几何信息相结合的方法检测矩形及三角形，能够对交通标识进行大致分类。

形状检测：形状是物体的一个重要属性，能够描述出物体的不同特点，从而较好的区分不同的物体。对于交通标识来说，除了视觉效果强烈的颜色之外，形状也是一种能够充分对其进行描述与表征的特性。

本发明采取快速径向对称方法对提取的感兴趣区域的圆形标识进行形状判别，采用拐角检测及几何信息相结合的方法对矩形及三角形标识进行判别，其中三角形判别利用了已知高长度与拐角检测来实现。

(1)采取快速径向对称方法来进行圆形检测

快速径向对称变换(Fast Radial Symmetry Transform)在某种程度上与霍夫变换相近，都是需要设立一个累加器然后求峰值。对一幅二值图像进行边缘提取之后，针对边缘上的每个点求它的梯度，这里的梯度包括梯度大小及方向。在理想情况下，沿着某圆的梯度方向以该圆的半径大小为长度进行投影时，投影点会刚好位于该圆的圆心。图6描述了对圆形边缘上某点投影。

在图10中，p+点表示沿着p点梯度方向投影点，p-表示在梯度反方向投影点，二者都位于以n为半径的虚线圆上。两点的计算方式如公式(3-1)所示。

在公式(3-1)中，g为梯度向量，分母为梯度向量的模值。找到某点梯度映射点之后，在相应点位置设立的累加器O_n上加1，反方向-1，由公式(3-2)所示。

O_n(p₊(p))＝O_n(p₊(p))+1

O_n(p_-(p))＝O_n(p_-(p))-1 (3-2)

根据不同的n值，对待检测区域上的点全部进行投票之后，寻找累加器上的峰值区域，即可检测出相应的圆形。具体的方法及步骤如下：

(a)设立一个半径取值集合N，并建立一组数组，每个数组代表三值中的一个半径，其大小与原始图像大小相同，初始化为0。

(b)利用Sobel算子计算已经得到的边缘点的梯度及梯度角，梯度及梯度角的计算过程如公式(3-3)～(3-4)。

(c)利用公式(3-1)计算出相应的映射点的坐标，并带入到公式(3-2)中对累加器进行累加。

(d)针对不同的n值将全部点进行计算以后，对累加器中的数值进行排序，选出峰值M，取0.8M作为检测阈值，并得到对应的参数点。

(e)考察已经选出的参数点，由于进行边缘提取的形状与理想的圆形存在一定的差距，在梯度进行投票的时候可能会存在投票值相同且坐标几乎相同的点，这时需要对横纵坐标差异特别小的点进行合并。

(f)通过完成合并的参数点确定圆形。

图11表示了使用快速径向对称变换方法对圆形交通标识进行检测的过程，左图为待检测区域图，右图是检测出圆形的结果图。可以发现待检测的图像的圆心位置位于标识的中心，效果较好。

(2)基于拐角检测方法的矩形及三角形检测

拐角是矩形及三角形标识与其他标识区分的一个重要特性，对拐角进行准确的检测并且利用矩形及三角形的几何特性能够对矩形及三角形进行识别。

在对矩形进行检测的时候，将原本需要四个模板进行四次卷积的过程进行简单化，仅使用矩形的左上角和右下角两个拐角检测模板。使用这两个模板进行卷积找到峰值之后，利用矩形的几何信息进行矩形的进一步检测，即左拐角及右拐角之间的长宽比需要满足一定条件。类似的，三角形标识的检测只使用三角形顶部拐角模板及左下角拐角模板进行卷积，找到峰值之后，利用两角之间的宽高比进行筛选与检测。具体的方法步骤如下：

(1)将含有矩形及三角形交通标识的图像经过颜色分割，图像预处理及边缘提取等步骤之后，得到一副二值图像，并且将该图像进行填充。

(2)对于矩形将矩形左上角拐角模板与右下角拐角模板依次对二值图像做卷积，产生结果矩阵H1和H2；同样对于三角形使用顶角拐角模板与左下角拐角模板分别对图像做卷积，产生结果矩阵H3和H4。

(3)设立阈值为最大卷积值的0.8，根据阈值分别求得H1、H2中满足条件的点。对待三角形同理。

(4)将检测出来的距离相近的点进行合并，去除多余的点。

(5)对于矩形，将两个模板对应的检测出的点的横纵坐标分别相减，求得两点的宽高比，若比值满足矩形宽高比范围，则认为这两点能构建一个矩形；三角形的检测同理。这里选取矩形宽高比为[0.5,2]，三角形为[1.2,2.2]。

使用拐角模板与几何信息相结合的矩形及三角形检测方法，大大的缩短了每次检测的时间，提高了检测的效率，同时检测的准确率并没有受到过大的影响。图12表示了使用该检测方法对矩形标识检测的效果图，其中a)图表示原始图像，b)图表示检测到的图像。可以发现，针对正方形或者长方形的矩形，检测性能较好。

图13表示利用拐角检测三角形顶角模板及右下角模板对三角形标识的检测，使用两类模板连同目标形状的集合信息得到图中所示的检测效果。a)表示不同场景下的三角形标识，b)表示检测之后的图像。可以看出，检测的效果比较理想。

最后对分割得到的不同种类的交通标识进行识别。选取对交通标识形状角度改变等问题具有良好性能的Hu不变矩作为特征向量；在识别方法方面采用支持向量机方法，对40限速及禁止鸣笛的交通标识进行实验分析。支持向量机能避免局部最优值及过度拟合等问题，同时对小样本分类有着良好性能。

交通标识的识别：交通标识的识别是交通标识检测与识别系统中的关键部分，也是计算机视觉及模式识别领域的一个主要研究方向。它是利用计算机来仿造人类的思维运算模式，通过对视频采集系统得到的图像进行学习与分析来预测交通标识类别的一种学习方法。交通标识的种类繁多，采集过程中图像因标识的远近距离和角度易变化等原因产生的几何失真，都为识别过程带来了阻碍。考虑到这些因素，在分类特征的选取上应该选取对平移、缩放、旋转具有不变性的特征，因此本论文选取Hu不变矩作为交通标识识别的特征。同时采用支持向量机(SVM)方法作为交通标识分类方法，该方法具有很多优势，首先针对样本数很小的情况表现出较好的性能；其次SVM并不会产生局部最优的情况，而且对高维问题有着较好效果。

图14描述了一个一般的模式识别流程。

1.Hu不变矩特征提取：

不变矩特征是基于图像的统计特性，通过计算从图像中得到的矩特征集合，用其来描述该图像大小，位置方向等几何特征以及该图像的形状的全局特征。

设一幅离散的二维图像的表示为f(x,y)，其(p+q)原点矩由公式(1-1)所示。

公式(1-1)中，p和q取值0，1，2，...。图像的原点矩所得值是由图像的坐标x和y决定的，即随着坐标位置的变化，原点矩的值也会发生变化，因此原点矩并不能够满足平移不变，不符合不变矩的要求，故不能直接拿来使用。为了满足不变矩的要求，可以移动坐标的原点至图像的质心处，此时坐标位置变化不会影响到不变矩，将该不变矩定义为中心矩，由公式(1-2)表示。

(1-2)式中和分别表示图像的质心，其数学形式为公式(1-3)，p和q取值0，1，2，……。由公式可以看出，当坐标变化时，中心矩不会随之变化，具有平移不变性。公式(1-4)表示了对(p+q)阶中心距进行归一化的结果。

公式(1-4)中(p+q)＝2，3，4，……。根据上述理论，能够推导出以下七个不变矩公式。

通过对矩特征的推导得出的七个不变矩具有良好的平移，尺度及旋转的不变性，但是h₇仅具有平移及尺度不变性，仅在镜面对称时才能保持旋转不变性。

本文仅对40限速标识进行识别，样本集206幅40限速标识及275幅禁止鸣笛标识构成，对它们进行Hu不变矩的提取。首先从拍摄的图像中分割出两种交通标识，将分割出的标识统一归一化至5050大小，并将其转换成灰度图，图11表示了40限速标识及禁止鸣笛标识的灰度图像。

对所有已经归一化的标识灰度图进行7个Hu不变矩特征值的求解，表1-1表示了图15和图16中两个交通标识的Hu不变矩特征值。由表1-1可以看出，40限速标识及禁止鸣笛标识的Hu不变矩特征值之间存在着差异，因此可以使用Hu不变矩做特征向量来进行分类识别。

表1-1 单个40限速标识及禁止鸣笛标识的Hu不变矩

2.SVM训练及测试

利用SVM原理进行分类与识别主要分为训练及测试两部分，对所采集的每一个样本分别求Hu不变矩，然后将得到的数据集结合LIBSVM进行训练与检测。LIBSVM使用步骤主要为：首先依照LIBSVM软件包要求的格式对正负样本进行处理并且归一化；其次选取适当的具有好的性能的核函数，本论文选取了径向基核函数进行实验；再次利用交叉验证与网格寻优相结合的方法来确定最佳的参数C和g以构建分类识别模型；最后将准备好的代检测的数据集置入该模型中进行实验与分析。

k重交叉验证就是寻求能使模型性能最佳的参数C和g的过程。首先将训练样本分成无交叉且数量基本相同的k个样本子集，前k-1个子集用来训练得到一组参数，再使用第k组数据的均方差来进行性能评估。k次之后每个子集都参与过性能评估，使用均方差值进行估计，进而得到最优参数。

图17表示了对所选样本进行5重交叉验证时得到的最优C和g值，由图可以看出，当C＝2848.0，g＝2.0时，结果最优。

选定好最优参数C，g之后，利用这些参数就能够建立预测模型。根据这个模型，按照前面所述的LIBSVM操作步骤对准备好的样本进行实验分析。将所有准备好的正负样本集混合一起来进行的预测，最终的结果在命令行窗口得到显示，如图18表示。图18分类结果可以表明，将481幅正负样本合集通过由最优参数C为2048.0，g为2.0条件下建立的预测模型，有435幅图像得到正确分类与识别，识别率为90.4366％，由此可以看出识别效果较为理想，因此基于Hu不变矩特征向量的SVM方法是具有可行性的。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

1.一种利用交通标识颜色及形状特征进行检测与识别方法，其特征在于，包括以下步骤：

A、选取适当的颜色空间对原始图像做阈值分割，然后设置适合的颜色分割阈值，得到含有红、蓝、黄颜色信息的交通标识目标图像；

B、对交通标识目标图像进行预处理；

C、对经过预处理的图像进行形状识别，采取快速径向对称变换方法检测圆形标识，采用角检测与几何信息相结合的方法检测矩形及三角形；

所述步骤C中，矩形检测使用矩形的左上角和右下角两个拐角检测模块，进行卷积找到峰值后，使用矩形的集合信息进行矩形的进一步检测，即左拐角及右拐角之间的长宽比需要满足一定条件；

所述步骤C中，三角形检测使用三角形顶部拐角模板及左下角拐角模板进行卷积，找到峰值之后，利用两角之间的宽高比进行筛选与检测；

所述矩形检测方法如下：

（1）将含有矩形及三角形交通标识的图像经过颜色分割，图像预处理及边缘提取等步骤之后，得到一副二值图像，并且将该图像进行填充；

（2）对于矩形将矩形左上角拐角模板与右下角拐角模板依次对二值图像做卷积，产生结果矩阵H1和H2；同样对于三角形使用顶角拐角模板与左下角拐角模板分别对图像做卷积，产生结果矩阵H3和H4；

（3）设立阈值为最大卷积值的0.8，根据阈值分别求得H1、H2中满足条件的点；

（4）将检测出来的距离相近的点进行合并，去除多余的点；

（5）对于矩形，将两个模板对应的检测出的点的横纵坐标分别相减，求得两点的宽高比，若比值满足矩形宽高比范围，则认为这两点能构建一个矩形；

D、对分割得到的不同种类的交通标识进行识别，采用Hu不变矩作为特征向量，在识别方法方面采用支持向量机SVM方法。

2.根据权利要求1所述的利用交通标识颜色及形状特征进行检测与识别方法，其特征在于：所述适当的颜色空间为HIS颜色空间。

3.根据权利要求1所述的利用交通标识颜色及形状特征进行检测与识别方法，其特征在于：所述预处理包括图像去噪，使用连通域标记法去除过大过小面积干扰物，区域内部孔洞填充、外边缘轮廓检测、使用图像膨胀方法改善图像形状，选取Prewitt算子进行边缘提取。

4.根据权利要求1所述的利用交通标识颜色及形状特征进行检测与识别方法，其特征在于：所述形状识别还包括采取圆形度的方法对提取的感兴趣区域的圆形标识进行形状判别。

5.根据权利要求1所述的利用交通标识颜色及形状特征进行检测与识别方法，其特征在于：所述步骤B中，三角形判别利用了已知高长度与拐角检测来实现。