CN105787475A - 一种复杂环境下的交通标志检测与识别方法 - Google Patents

Abstract

本发明公开了一种复杂环境下的交通标志检测与识别方法，采用归一化RGB空间的颜色分割方法能够减少图像处理时间，保证算法实时性；采用凸壳处理的方法能够解决交通标志被部分遮挡的问题；采用提取轮廓傅里叶描述子的方法进行轮廓分析，能够解决交通标志发生旋转、平移、尺度变化等问题。通过在标准数据库中增加发生投影失真的轮廓数据，还能解决交通标志发生投影失真的问题。相对于传统方法，本发明方法具有鲁棒性高和实时性好的优点，能够被应用于智能车或无人驾驶汽车。

Description

一种复杂环境下的交通标志检测与识别方法

技术领域

本发明涉及图像处理与模式识别技术领域，具体涉及一种基于颜色和形状特征的交通标志检测与识别方法。

背景技术

交通标志检测与识别方法的研究是无人驾驶汽车技术领域的重要内容。交通标志检测与识别分为检测阶段和识别阶段，在检测阶段，通过交通标志的颜色和形状特征，对其进行精确地定位。在识别阶段，则是通过对检测到的交通标志进行特征提取和分类，来确定交通标志的类别。目前，交通标志检测和识别方法的研究主要集中在，提高交通标志检测与识别率和保证算法的实时性上。想要提高交通标志的检测和识别率，必须要考虑一些特殊情况，如交通标志被部分遮挡；由于角度原因，交通标志在镜头中发生投影失真；交通标志在晚上或光线较暗的环境以及恶劣的天气环境下等。在现有的方法中，有些可以解决以上提到的部分问题，但大多数方法，计算过于复杂，在提高交通标志检测与识别率的同时，实时性受到了一定的限制。因此如何在提高方法鲁棒性的同时又能保障实时性是我们必须要解决的瓶颈。

为了实现一种复杂环境下的交通标志检测与识别方法，必须对现有的方法进行改进。在交通标志检测过程中，核心步骤包括，颜色的分割，噪声的滤除，轮廓的检测。在识别过程，主要包括，标志特征提取和分类。因此，如何在颜色分割阶段提高分割效果，如何在噪声滤除的过程尽可能去除所有噪声，如何在轮廓检测过程准确地检测出目标轮廓，如何利用便于分类的特征和分类方法，如何减少算法所用时间，是我们研究的内容。现阶段，绝大多数研究学者提出的方法，都存在一定的缺陷，如有些方法能够准确地检测到通常情况下的交通标志，却不能检测出光线太强或太弱条件下的交通标志，有些方法能够克服光照对检测的影响，但无法检测到部分被遮挡的交通标志。有些方法检测率和识别率都很高，但是计算比较复杂，实时性较差。这些都不能满足无人驾驶技术的要求。

中国专利CN105069419A(申请号：201510447215.2)公开了一种基于边缘颜色对和特征筛选器的交通标志检测方法。其具体步骤如下：对采集到的图像进行预处理，消除噪声干扰，增强颜色对比度；对预处理后的图像进行边缘检测，提取边缘信息；对边缘点进行边缘颜色对检测，去掉不符合交通标志颜色的边缘点；对剩下的边缘点进行形态学闭运算，形成连通区域，实现对交通标志的粗定位；最后设计面积特征和对称特征的二级特征筛选器，对交通标志进行精确定位。该方法在筛选器的设计上，是根据交通标志的面积特征和对称特征来设计的，因此能够检测出在通常条件下的交通标志。但是，对于发生了投影失真和部分被遮挡的交通标志，该方法鲁棒性较差。另外，在一些背景干扰比较多的情况下，也不能准确地检测到交通标志。

中国专利CN103559507A(申请号：201310582174.9)提出了一种基于颜色和形态特征相结合的交通标志检测方法。其特征在于，该方法步骤如下：采用HSV色度模型，通过设置H、S、V三种分量的阈值，来对整幅图像提取可疑目标颜色；对颜色分割后的整幅图像进行基于区域的形状提取，通过求圆度、矩形度、伸展度对各个区域的形状进行判断，留取圆形、矩形以及三角形区域；采用平滑滤波器来滤除图像的边界噪声；通过膨胀与腐蚀算法减少图像中的毛刺、模糊噪声以及去除比结构元素小的暗色细节，保持图像整体灰度值和大的暗区域基本不变；将形态学处理后的形状特征区域与原图进行与运算，提取出彩色的目标图像，即交通标志图像。该方法在颜色分割时采用的是HSV空间，而原始的图像空间为RGB，因此在颜色空间的转换过程会花费一定的时间，所以该方法的实时性受到了一定的限制。另外，该方法采用检测标准的圆形、矩型和三角形的方法，所以不能检测到发生投影失真和部分被遮挡的交通标志。

发明内容

鉴于现有技术的以上不足，本发明的目的是克服发明专利公开号(CN)为CN105069419A和CN103559507A中不能检测到发生失真的交通标志和实时性差的不足，鉴于此，提出了一种鲁棒性高并且实时性好的交通标志检测与识别方法。该方法的关键步骤是在图像的颜色分割阶段和轮廓检测阶段，分别采用归一化的RGB空间和提取傅里叶描述子的方法来进行处理。

本发明所采用的技术方案是：一种复杂环境下的交通标志检测与识别方法，对捕捉到的交通标志图像进行检测与识别，包括以下步骤：

1).颜色的分割：采用归一化的RGB空间，通过预设置不同颜色对应的阈值，来得到目标颜色；设定的对应颜色的阈值为，红色:r(i,j)≥0.4，g(i,j)≤0.3；蓝色:b(i,j)≥0.4；黄色：(r(i,j)＋g(i,j))≥0.85，经颜色分割后分别得到红、蓝、黄三种颜色分割图像；

2).形态学处理：对1)所得颜色分割图像进行去噪处理；去除超过轮廓阈值的面积较大的干扰区域；轮廓阈值设定：轮廓的长度范围为[120,350]，长宽比范围为[0.526,1.9]；

3).轮廓的凸壳处理：对被遮挡交通标志产生的轮廓进行凸壳处理，使得轮廓变得平滑，更近似于标准的圆形、矩形或三角形，便于我们后续对轮廓的分析；

4).傅里叶描述子的提取：首先，提取目标轮廓的序列点，再将这些序列点进行快速傅里叶变换(FFT)，得到所需要的一系列傅里叶描述子；所得傅里叶描述子进行归一化后，计算其与标准轮廓数据的欧氏距离，通过比较来衡量待测轮廓与标准轮廓间的差异，当欧氏距离小于预设的阈值0.12时，判断该轮廓为交通标志轮廓，再返回原始图像找到交通标志区域，输出检测结果；

5).标准数据库的建立：标准的交通标志轮廓傅里叶描述子数据库，包括标准的圆形、矩形、三角形轮廓的傅里叶描述子，也包括发生了投影失真的交通标志轮廓数据；

6).交通标志的HOG特征提取：首先，将4)检测输出的交通标志统一调整为64×64大小，再将其转化为灰度图像；将所得的灰度图像分成小的细胞单元，由8×8个像素构成一个单元，16×16个单元构成一个块，9个bin的直方图来统计8×8个像素的梯度信息，最后得到的特征向量维数为1764(49×4×9)；

7).采用基于SVM的方法对交通标志进行分类；

8).分类器的训练：在对交通标志进行分类之前，采用高斯径向基核函数(RBF)作为SVM的核函数；在分类器的训练过程中，分别采集各种自然环境下的交通标志图像作为正样本，并将可能会被误检为交通标志的干扰图像作为负样本；在正样本中，将交通标志分为，红色圆形交通标志，红色三角形交通标志，蓝色圆形交通标志，蓝色矩形交通标志以及黄色三角形交通标志；训练后，最终得到用于分类的五种SVM分类器。

迄今为止，在交通标志的检测与识别过程中，很少方法既能满足鲁棒性的要求，又能保证算法的实时性。这是因为，提高检测和识别率的过程，是通过增加算法的处理步骤和复杂度来完成的，计算量变大，实时性自然受到一定的限制。因此，采用一种什么样的颜色分割方法，既能保证颜色提取不受光照影响，又能快速地完成颜色分割过程；采用一种什么样的轮廓检测方法，能够快速并且准确地检测出包括发生了投影失真和部分被遮挡的交通标志，是我们需要解决的关键问题。

在本发明方法中，采用归一化RGB空间的颜色分割方法，具有对光照变化不敏感，运算速度快等优点；采用凸壳处理的方法能够解决交通标志被部分遮挡的问题；采用提取轮廓傅里叶描述子的方法进行轮廓分析，能够解决交通标志发生旋转、平移、尺度变化等问题。通过在标准数据库中增加发生投影失真的轮廓数据，还能解决交通标志发生投影失真的问题。有些传统的交通标志检测方法，局限于常见的交通标志检测，很少考虑发生失真和被部分遮挡的交通标志。有些方法的实时性则相对较差。相对于传统的方法，本发明方法具有鲁棒性高和实时性好的优点。能够被应用于智能车或无人驾驶汽车。

附图说明

图1是本发明方法颜色分割处理过程的效果图。其中，图a和对应的图b成对比较，即：(a1)原始图像；(b1)红色分割图像；(a2)原始图像，(b2)蓝色分割图像；(a3)原始图像，(b3)黄色分割图像。

图2是本发明方法形态学处理过程的效果图。其中：(a)颜色分割后图像，(b)腐蚀后图像，(c)膨胀恢复后图像，(d)过滤后图像。

图3是本发明方法凸壳处理过程的效果图。(a)处理前图像(b)处理后图像

图4是本发明数据库中数据的轮廓图。

图5是本发明方法HOG特征提取过程图。

图6是本发明方法SVM分类过程图。

图7是交通标志检测效果图。图(a)、(b)、(c)、(d)分别为不同的场景。

图8是交通标志识别效果图。图(a)、(b)、(c)、(d)分别为不同的场景。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步描述：

本发明所涉及的具体实施方法大致包括以下步骤：

1.颜色的分割：在颜色分割阶段，本发明采用归一化的RGB空间，通过设置不同颜色对应的阈值，来得到目标颜色。经过大量的实验测试，得到的阈值如表1所示。表中r(i,j)，g(i,j)，b(i,j)分别代表红、绿、蓝三种像素归一化的值。经颜色分割，得到如图1所示的效果图。

红色	r(i,j)≥0.4，g(i,j)≤0.3
		蓝色	b(i,j)≥0.4
黄色	(r(i,j)＋g(i,j))≥0.85

表1

2.形态学处理：在对颜色分割后的图像进行去噪处理后，还需去除一些面积较大的干扰区域。因为面积的大小对应轮廓的大小，所以设计了轮廓阈值，轮廓的长度范围为[120,350]。对于那些面积适中，但最小外接矩形长宽比太大或太小的区域也会被滤除，因为这些区域一般被认为是非交通标志区域。本发明设计的长宽比范围为[0.526,1.9]。形态学处理过程如图2所示。

3.轮廓的凸壳处理：对被遮挡交通标志产生的轮廓进行凸壳处理，使得轮廓变得平滑，更近似于标准的圆形、矩形或三角形，便于我们后续对轮廓的分析。其处理的效果如图3所示。

4.傅里叶描述子的提取：首先，提取目标轮廓的序列点，再将这些序列点进行快速傅里叶变换(FFT)，就可以得到所需要的一系列傅里叶描述子。为了保证傅里叶描述子的尺寸不变性，还需对其进行归一化，再来与标准的轮廓数据库进行比较，输出检测结果。为了衡量待测轮廓与标准轮廓间的差异，我们采用欧氏距离进行判断，当欧氏距离小于一定的阈值时，可以判断该轮廓为交通标志轮廓。本发明设计的阈值为0.12。

5.标准数据库的建立：标准的交通标志轮廓傅里叶描述子数据库，包括标准的圆形、矩形、三角形轮廓的傅里叶描述子，也包括发生了投影失真的交通标志轮廓数据，这样能够避免投影失真对交通标志检测产生的影响，有效地提高检测率。数据库中对应的轮廓如图4所示。

6.交通标志的HOG特征提取：首先，将检测输出的交通标志统一调整为64×64大小，再将其转化为灰度图像。将所得的灰度图像分成小的细胞单元，由8×8个像素构成一个单元，16×16个单元构成一个块，9个bin的直方图来统计8×8个像素的梯度信息，最后得到的特征向量维数为1764(49×4×9)。其过程如图5所示。

7.交通标志的分类：在交通标志的分类过程中，本发明采用的是基于SVM的分类方法。分类过程如图6所示。

8.分类器的训练：在对交通标志进行分类之前，我们需要训练分类器，分类器训练的关键在于核函数的选取，经过比较发现采用高斯径向基核函数(RBF)进行训练得到的分类器效果最佳。因此我们采用RBF作为SVM的核函数。在分类器的训练过程中，我们分别采集各种自然环境下的交通标志图像作为正样本，一些可能会被误检为交通标志的干扰图像作为负样本。在正样本中，将交通标志分为，红色圆形交通标志，红色三角形交通标志，蓝色圆形交通标志，蓝色矩形交通标志以及黄色三角形交通标志。训练后，最终得到用于分类的五种SVM分类器。

9.完成以上各个步骤，可以准确地检测并识别出复杂环境下的交通标志。其效果如图7，8所示。

Claims (1)

1.一种复杂环境下的交通标志检测与识别方法，对捕捉到的交通标志图像进行检测与识别，包括以下步骤：

1).颜色的分割：采用归一化的RGB空间，通过预设置不同颜色对应的阈值，来得到目标颜色；设定的对应颜色的阈值为，红色:r(i,j)≥0.4，g(i,j)≤0.3；蓝色:b(i,j)≥0.4；黄色：(r(i,j)+g(i,j))≥0.85，经颜色分割后分别得到红、蓝、黄三种颜色分割图像；

2).形态学处理：对1)所得颜色分割图像进行去噪处理；去除超过轮廓阈值的面积较大的干扰区域；轮廓阈值设定：轮廓的长度范围为[120,350]，长宽比范围为[0.526,1.9]；

3).轮廓的凸壳处理：对被遮挡交通标志产生的轮廓进行凸壳处理，使得轮廓变得平滑，更近似于标准的圆形、矩形或三角形，便于我们后续对轮廓的分析；

4).傅里叶描述子的提取：首先，提取目标轮廓的序列点，再将这些序列点进行快速傅里叶变换(FFT)，得到所需要的一系列傅里叶描述子；所得傅里叶描述子进行归一化后，计算其与标准轮廓数据的欧氏距离，通过比较来衡量待测轮廓与标准轮廓间的差异，当欧氏距离小于预设的阈值0.12时，判断该轮廓为交通标志轮廓，再返回原始图像找到交通标志区域，输出检测结果；

5).标准数据库的建立：标准的交通标志轮廓傅里叶描述子数据库，包括标准的圆形、矩形、三角形轮廓的傅里叶描述子，也包括发生了投影失真的交通标志轮廓数据；

6).交通标志的HOG特征提取：首先，将4)检测输出的交通标志统一调整为64×64大小，再将其转化为灰度图像；将所得的灰度图像分成小的细胞单元，由8×8个像素构成一个单元，16×16个单元构成一个块，9个bin的直方图来统计8×8个像素的梯度信息，最后得到的特征向量维数为1764(49×4×9)；

7).采用基于SVM的方法对交通标志进行分类；

8).分类器的训练：在对交通标志进行分类之前，采用高斯径向基核函数(RBF)作为SVM的核函数；在分类器的训练过程中，分别采集各种自然环境下的交通标志图像作为正样本，并将可能会被误检为交通标志的干扰图像作为负样本；在正样本中，将交通标志分为，红色圆形交通标志，红色三角形交通标志，蓝色圆形交通标志，蓝色矩形交通标志以及黄色三角形交通标志；训练后，最终得到用于分类的五种SVM分类器。