CN108090459B - 一种适用于车载视觉系统的交通标志检测识别方法 - Google Patents

Abstract

本发明涉及一种适用于车载视觉系统的交通标志检测识别方法，包括制作训练样本集，训练支持向量机分类器，形成多颜色模型库；对输入的图像进行有效图像区域截取，获得待处理区域的红色、黄色和蓝色二值图；提取待处理区域的红色、黄色和蓝色的HOG特征，分别代入训练好的支持向量机分类器，合成在不同颜色条件下的交通标志检测识别结果，并参照标准交通标志库将目标图示在图像中显示出来。本发明有效减小了图像的运行时间；结合目标的颜色分布特征和图像相邻灰度连通区域变化程度，获取感兴趣目标区域，能够复杂环境下去除大部分的背景干扰；参照标准交通标志库，将交通标志的结果图示显示在图像中，便于查看大图像小目标的处理效果。

Description

一种适用于车载视觉系统的交通标志检测识别方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种适用于车载视觉系统的交通标志检测识别方法。

背景技术

作为智能交通系统的重要组成部分，交通标志检测识别系统已经成为交通领域的研究热点，受到了越来越多的关注。交通标志是架设在车道上方或道路两旁的标识，其目的是为了警示前方道路状况的改变或限制某些驾驶行为以保证道路车辆或行人的安全。交通标志识别系统一般是通过安装在交通工具上的摄像机摄取户外自然场景中交通标志图像，输入计算机进行处理完成的。有效地检测与识别交通标志将有助于提高车辆在自动驾驶或辅助驾驶功能的安全性和指示性，为人们的日常行车提供帮助。

在交通标志检测与识别领域国内外学者们做了大量的研究。专利文献“基于边缘颜色对和特征筛选器的交通标志检测方法”采用边缘检测的方法获取交通标志的大致位置，并根据面积特征和对称特征进一步设计筛选交通标志。这种方法充分利用了目标的形状知识和先验信息，能够检测出简单场景下的交通标志，但当在背景干扰较多时算法的适应性较弱。专利文献“基于形状特征不变子空间的交通标志识别方法”利用交通标志的二值图像，将主成分分析方法和线性判别分析方法相结合，通过最小距离分类法实现交通标志的识别。该方法仅利用目标的形状特征，摒弃了交通标志的颜色信息，难以排除形状相似干扰物的影响。

发明内容

鉴于上述的分析，本发明旨在提供一种适用于车载视觉系统的交通标志检测识别方法，对车载视觉系统应用环境，排除形状相似干扰物的影响，提升了交通标志检测识别性能，减少了检测识别的时间。

本发明的目的主要是通过以下技术方案实现的：

一种适用于车载视觉系统的交通标志检测识别方法，包括以下步骤：

步骤S1、将车载视觉系统采集的包含交通标志的图像，依据交通标志的具体类别，制作训练样本集，训练支持向量机分类器，获取训练模型与参数，形成多颜色模型库；

步骤S2、对输入的图像进行有效图像区域截取，依据交通标志图像的颜色分布，获得截取区域的红色、黄色和蓝色二值图；依据截取区域的相邻灰度面积变化程度，获得反映待处理区域的灰度二值图；将红色、黄色和蓝色二值图与灰度二值图点乘，得到待处理区域的红色、黄色和蓝色二值图；

步骤S3、提取待处理区域的红色、黄色和蓝色的HOG特征，分别输入训练好的支持向量机分类器，合成在不同颜色条件下的交通标志检测识别结果，并将目标图示在图像中进行显示。

进一步地，步骤S1包括以下子步骤：

步骤S101、将车载视觉系统采集的包含交通标志的图像，依据交通标志的具体类别，制作成训练样本集；

步骤S102、基于图像的梯度和方向信息，分别提取红色、黄色和蓝色样本集下的HOG特征；

步骤S103、将样本HOG特征和样本的类别标签送入支持向量机分类器中进行训练，得到交通标志的多颜色模型库。

进一步地，所述训练样本集的制作包括：

1)将图像中包含交通标志的最小矩形图像区域截取出来，按照交通标志的类别分为禁令标志样本、警告标志样本和指示标志样本，再添加相应样本的类别标签后，形成禁令标志样本集、警告标志样本集和指示标志样本集，以此作为正样本图像数据，其中禁令标志的主色为红色，警告标志的主色为黄色，指示标志的主色为蓝色；

2)截取背景区域中与正样本颜色相似的背景样本，并添加类别标签，形成负样本集；

3)分别将不同颜色的正样本集和负样本集结合起来，形成红色、黄色和蓝色训练样本集；所述红色样本集包括禁令标志样本及其类别标签，与禁令标志样本颜色相似的背景样本及其类别标签；黄色样本集包括警告标志样本及其类别标签，与警告标志样本颜色相似的背景样本及其类别标签；蓝色样本集包括指示标志样本及其类别标签，与指示标志样本颜色相似的背景样本及其类别标签。

进一步地，所述HOG特征提取方法包括：

1)获取大小为m*n样本图像区域每个像素点I(x,y)的梯度信息，包括梯度值和梯度方向角度，计算公式为：

其中，G(x,y)表示像素点(x,y)的梯度值，θ(x,y)表示像素点(x,y)的梯度方向角度；

2)将样本图像区域划分为p*q个单元，在每个单元范围内将所有的梯度方向角度划分为k个角度范围，获取每个角度范围下的梯度累加值，得到梯度方向的直方图H；

3)将相邻的2*2个单元作为1个块，根据公式

进行直方图归一化，获取每个块的特征向量，其中，k为角度范围的数目，H(t)为第t个角度范围下的直方图，h(t)表示第t个角度范围下的归一化值；每个块的特征向量维度为2*2*k；

4)将所有块的特征向量组合在一起，形成该样本图像区域的HOG特征。

进一步地，所述分类器的训练采用libsvm工具箱实现。

进一步地，所述有效区域的截取依据车载视觉成像器的安装姿态，将输入图像分为车头冗余区域和有效图像区域，截取有效图像区域进行图像处理。

进一步地，步骤S2中红色、黄色和蓝色二值图的获取方法包括：

1)将截取区域的彩色图像根据公式

对图像中的像素点进行r、g、b颜色分量的归一化，得到归一化后的r、g、b颜色分量图，其中，R、G、B分别表示处理图像区域的RGB颜色分量，r、g、b表示归一化后RGB颜色分量；

2)依据交通标志图像的颜色分布，设定判断条件，对像素点的红色、黄色和蓝色分量进行判断，满足判断条件，则将红色、黄色和蓝色分量置1，不满足条件，则置0，获取截取区域的红色、黄色和蓝色的二值分量图；

所述判断条件为

其中，α、β、ε、γ表示红色、绿色、蓝色和黄色对应的参数设定值，所述设定值依据交通标志图像的颜色特点设定。

进一步地，所述反映待处理区域的灰度二值图获得方法包括：

1)将截取区域转化为灰度图，并根据交通标志图像的灰度特点选取灰度值范围，判断灰度图中像素点的灰度值是否满足灰度值范围，是，则灰度值取截取区域中对应像素点蓝色分量和红色分量中的最大值，否，则灰度值取0，构建中间图像；

2)由小到大遍历所述中间图像的灰度值，根据公式：

计算相邻灰度值连通区域间的变化程度，其中，i表示当前的灰度阈值，Δ表示微小的阈值变化，Q_i+Δ、Q_i-Δ和Q_i表示对应灰度阈值下的区域面积；

若变化程度小于ω，则认为当前灰度阈值下的区域为待处理区域，将待处理区域的像素值置1；否则，将其余像素值置0；形成反映待处理区域的灰度二值图，所述ω依据交通标志图像的灰度特点设定。

进一步地，步骤S3包括以下子步骤：

步骤S301、筛选待处理区域；并提取该区域红色、黄色和蓝色HOG特征；

步骤S302、分别提取筛选后待处理区域红色、黄色和蓝色HOG特征，代入对应的训练好的支持向量机分类器中进行libsvm测试，获取该区域分别属于红色、黄色和蓝色交通标志的每个类别的置信度，取置信度最大的类别作为该区域下交通标志的识别结果，分别输出红色、黄色和蓝色交通标志下各目标的类别标签和位置属性；

步骤S303、合成不同颜色下交通标志的检测识别信息，在车载视觉系统的界面中显示交通标志目标的位置、置信度和类别信息，并参照标准交通标志库在图像下方将目标图示显示出来。

进一步地，所述筛选的待处理区域形状条件满足

其中，w和h表示区域的宽和高，area表示区域的面积，κ、λ、θ、μ和τ表示对应的参数设置，所述设定值依据交通标志图像的形状特点设定。

本发明有益效果如下：

依据车载视觉系统成像器的姿态信息，减少了冗余区域的处理过程，减小了图像的运行时间；充分利用禁令标志、警告标志和指示标志的主颜色信息，构建多颜色模型库；依据相邻灰度的面积变化程度，获取图像的稳定灰度区域，并结合目标的颜色和形状分布特征，获取感兴趣目标区域，能够复杂环境下去除大部分的背景干扰；参照标准交通标志库，将交通标志的结果图示显示在图像中，便于查看大图像小目标的处理效果。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为交通标志检测识别方法流程图

图2为交通标志检测识别效果图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。

本发明的一个具体实施例，公开了一种适用于车载视觉系统的交通标志检测识别方法；如图1所示，包括以下步骤：

步骤S1、将车载视觉系统采集的包含交通标志的图像，依据交通标志的具体类别，制作训练样本集，训练支持向量机分类器，获取训练模型与参数，形成多颜色模型库；

具体包括以下子步骤：

步骤S101、将车载视觉系统采集的包含交通标志的图像，依据交通标志的具体类别，制作成训练样本集；

1)将图像中包含交通标志的最小矩形图像区域截取出来，按照交通标志的类别分为禁令标志样本、警告标志样本和指示标志样本，再添加相应样本的类别标签后，形成禁令标志样本集、警告标志样本集和指示标志样本集，以此作为正样本图像数据，其中禁令标志的主色为红色，警告标志的主色为黄色，指示标志的主色为蓝色；

2)截取背景区域中与正样本颜色相似的背景样本，并添加类别标签，形成负样本集；

3)分别将不同颜色的正样本集和负样本集结合起来，形成红色、黄色和蓝色训练样本集；所述红色样本集包括禁令标志样本及其多类别标签，与禁令标志样本颜色相似的背景样本及其类别标签；黄色样本集包括警告标志样本及其多类别标签，与警告标志样本颜色相似的背景样本及其类别标签；蓝色样本集包括指示标志样本及其多类别标签，与指示标志样本颜色相似的背景样本及其类别标签。

步骤S102、基于图像的梯度和方向信息，分别提取红色、黄色和蓝色样本集下的HOG特征，构建样本特征分量；

所述红色、黄色和蓝色样本集下样本的HOG特征提取方法相同，具体如下：

1)获取大小为m*n样本图像区域每个像素点I(x,y)的梯度信息，包括梯度幅值和梯度方向分量，计算公式为：

其中，G(x,y)表示像素点(x,y)的梯度值，θ(x,y)表示像素点(x,y)的梯度方向角度；

2)将样本图像区域划分为p*q个cell，在每个cell范围内将所有的梯度方向划分为k个角度范围，获取每个角度范围下的梯度累加值，得到梯度方向的直方图H；

3)将相邻的2*2个cell作为1个block，根据公式

进行直方图归一化，获取每个block的特征向量，其中，k为角度范围的数目，H(t)为第t个角度范围下的直方图，h(t)表示第t个角度范围下的归一化值；每个block特征向量的维度为2*2*k；

4)将所有的block特征向量组合在一起，形成该样本图像区域的HOG特征。

步骤S103、将样本HOG特征和样本的类别标签送入支持向量机分类器中进行训练，得到交通标志的多颜色模型库；

本实施例采用libsvm工具箱实现所述分类器的训练。

步骤S2、对输入的图像进行有效图像区域截取，依据交通标志图像的颜色分布，获得截取区域的红色、黄色和蓝色二值图；依据截取区域的相邻灰度面积变化程度，获得反映待处理区域的灰度二值图；将红色、黄色和蓝色二值图与灰度二值图点乘，得到待处理区域的红色、黄色和蓝色二值图；

依据车载视觉成像器的安装姿态，将输入待处理图像分为车头冗余区域和有效图像区域，截取有效图像区域筛选待处理区域红色、黄色和蓝色二值图，具体如下：

步骤S201、依据交通标志图像的颜色分布，获得截取区域的红色、黄色和蓝色二值图；

1)将截取区域的彩色图像根据公式

对图像中的像素点进行r、g、b颜色分量的归一化，得到归一化后的r、g、b颜色分量图，其中，R、G、B分别表示处理图像区域的RGB颜色分量，r、g、b表示归一化后RGB颜色分量；

2)依据交通标志图像的颜色分布，设定判断条件，对像素点的红色、黄色和蓝色分量进行判断，满足判断条件，则将红色、黄色和蓝色分量置1，不满足条件，则置0，获取截取区域的红色、黄色和蓝色的二值分量图；

所述判断条件为

其中，α、β、ε、γ表示红色、绿色、蓝色和黄色对应的参数设定值，所述设定值依据交通标志图像的颜色特点设定，α取值范围为0.2～0.4之间，β取值范围为0.3～0.5之间，ε取值范围为0.5～0.7之间，γ取值范围为0.2～0.4之间。

步骤S202、依据截取区域的相邻灰度面积变化程度，获得反映待处理区域的灰度二值图

1)将截取区域转化为灰度图，并根据一定的灰度值范围设定像素点的取值，构建中间图像；

所述灰度值范围[g₁ g₂]根据交通标志图像的灰度特点选取，当像素点的灰度值满足灰度值范围时，该点的像素值取截取区域彩色图中蓝色分量和红色分量的最大值，否则，该点的像素值取0；

2)由小到大遍历所述中间图像的灰度值，根据公式：

计算相邻灰度值连通区域间的变化程度，其中，i表示当前的灰度阈值，Δ表示微小的阈值变化，Q_i+Δ、Q_i-Δ和Q_i表示对应灰度阈值下的区域面积；

若变化程度小于ω，则认为当前灰度阈值下的区域为待处理区域，将待处理区域的像素值置1；否则，将其余像素值置0；形成反映待处理区域的灰度二值图，所述ω依据交通标志图像的灰度特点设定，一般取值范围为0.2～0.3之间。

步骤S203、上述两步的结果进行点乘，得到待处理区域的红色、黄色和蓝色二值图。

步骤S3、提取待处理区域的红色、黄色和蓝色的HOG特征，分别代入训练好的支持向量机分类器，合成在不同颜色条件下的交通标志检测识别结果，并参照标准交通标志库将目标图示在图像中显示出来。

步骤S301、筛选满足一定形状条件的待处理区域；并提取该区域红色、黄色和蓝色的HOG特征；

所述一定形状条件满足

其中，w和h表示区域的宽和高，area表示区域的有效像素数，κ、λ、θ、μ和τ表示对应的参数设置，所述设定值依据交通标志图像的形状特点设定，一般κ取值范围为0.5～0.7之间，一般λ取值范围为1.2～1.4之间，一般θ取值范围为30～60之间，一般μ和τ取值范围为12～18之间。

步骤S302、分别提取筛选后待处理区域红色、黄色和蓝色HOG特征，代入对应的训练好的支持向量机分类器中进行libsvm测试，结合多颜色模型库获取该区域分别属于红色、黄色和蓝色交通标志的每个类别的置信度，取置信度最大的类别作为该区域下交通标志的识别结果，分别输出红色、黄色和蓝色交通标志下各目标的类别标签和位置属性；

步骤S303、根据步骤S302的处理结果，合成不同颜色下交通标志的检测识别信息，在车载视觉系统的界面中显示交通标志目标的位置、置信度和类别信息，并参照标准交通标志库在图像下方将目标图示显示出来。

如图2所示，为在车载视觉系统的界面中显示交通标志检测识别结果，显示交通标志目标的位置、置信度和类别信息，并参照标准交通标志库在图像下方将目标图示显示出来，便于查看大图像小目标。

综上所述，本发明实施例提供的适用于车载视觉系统的交通标志检测识别方法，依据车载视觉系统成像器的姿态信息，减少了冗余区域的处理过程，减小了图像的运行时间；充分利用禁令标志、警告标志和指示标志的主颜色信息，构建多颜色模型库；依据相邻灰度的面积变化程度，获取图像的稳定灰度区域，并结合目标的颜色和形状分布特征，获取感兴趣目标区域，能够复杂环境下去除大部分的背景干扰；参照标准交通标志库，将交通标志的结果图示显示在图像中，便于查看大图像小目标的处理效果。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种适用于车载视觉系统的交通标志检测识别方法，其特征在于，包括以下步骤：

步骤S1、将车载视觉系统采集的包含交通标志的图像，依据交通标志的具体类别，制作训练样本集，训练支持向量机分类器，获取训练模型与参数，形成多颜色模型库；

步骤S2、对输入的图像进行有效图像区域截取，依据交通标志图像的颜色分布，获得截取区域的红色、黄色和蓝色二值图；依据截取区域的相邻灰度面积变化程度，获得反映待处理区域的灰度二值图；将红色、黄色和蓝色二值图与灰度二值图点乘，得到待处理区域的红色、黄色和蓝色二值图；

步骤S3、提取待处理区域的红色、黄色和蓝色的HOG特征，分别输入训练好的支持向量机分类器，合成在不同颜色条件下的交通标志检测识别结果，并将目标图示在图像中进行显示；

所述反映待处理区域的灰度二值图获得方法包括：

1)将截取区域转化为灰度图，并根据交通标志图像的灰度特点选取灰度值范围，判断灰度图中像素点的灰度值是否满足灰度值范围，是，则灰度值取截取区域中对应像素点蓝色分量和红色分量中的最大值，否，则灰度值取0，构建中间图像；

2)由小到大遍历所述中间图像的灰度值，根据公式：

计算相邻灰度值连通区域间的变化程度，其中，i表示当前的灰度阈值，Δ表示微小的阈值变化，Q_i+Δ、Q_i-Δ和Q_i表示对应灰度阈值下的区域面积；

若变化程度小于ω，则认为当前灰度阈值下的区域为待处理区域，将待处理区域的像素值置1；否则，将其余像素值置0；形成反映待处理区域的灰度二值图，所述ω依据交通标志图像的灰度特点设定。

2.根据权利要求1所述的交通标志检测识别方法，其特征在于，步骤S1包括以下子步骤：

步骤S101、将车载视觉系统采集的包含交通标志的图像，依据交通标志的具体类别，制作成训练样本集；

步骤S102、基于图像的梯度和方向信息，分别提取红色、黄色和蓝色样本集下的HOG特征；

步骤S103、将样本HOG特征和样本的类别标签送入支持向量机分类器中进行训练，得到交通标志的多颜色模型库。

3.根据权利要求2所述的交通标志检测识别方法，其特征在于，所述训练样本集的制作包括：

1)将图像中包含交通标志的最小矩形图像区域截取出来，按照交通标志的类别分为禁令标志样本、警告标志样本和指示标志样本，再添加相应样本的类别标签后，形成禁令标志样本集、警告标志样本集和指示标志样本集，以此作为正样本图像数据，其中禁令标志的主色为红色，警告标志的主色为黄色，指示标志的主色为蓝色；

2)截取背景区域中与正样本颜色相似的背景样本，并添加类别标签，形成负样本集；

3)分别将不同颜色的正样本集和负样本集结合起来，形成红色、黄色和蓝色训练样本集；所述红色样本集包括禁令标志样本及其类别标签，与禁令标志样本颜色相似的背景样本及其类别标签；黄色样本集包括警告标志样本及其类别标签，与警告标志样本颜色相似的背景样本及其类别标签；蓝色样本集包括指示标志样本及其类别标签，与指示标志样本颜色相似的背景样本及其类别标签。

4.根据权利要求2所述的交通标志检测识别方法，其特征在于，所述HOG特征提取方法包括：

1)获取大小为m*n样本图像区域每个像素点I(x,y)的梯度信息，包括梯度值和梯度方向角度，计算公式为：

其中，G(x,y)表示像素点(x,y)的梯度值，θ(x,y)表示像素点(x,y)的梯度方向角度；

2)将样本图像区域划分为p*q个单元，在每个单元范围内将所有的梯度方向角度划分为k个角度范围，获取每个角度范围下的梯度累加值，得到梯度方向的直方图H；

3)将相邻的2*2个单元作为1个块，根据公式

进行直方图归一化，获取每个块的特征向量，其中，k为角度范围的数目，H(t)为第t个角度范围下的直方图，h(t)表示第t个角度范围下的归一化值；每个块的特征向量维度为2*2*k；

4)将所有块的特征向量组合在一起，形成该样本图像区域的HOG特征。

5.根据权利要求2所述的交通标志检测识别方法，其特征在于，所述分类器的训练采用libsvm工具箱实现。

6.根据权利要求1所述的交通标志检测识别方法，其特征在于，

所述有效区域的截取依据车载视觉成像器的安装姿态，将输入图像分为车头冗余区域和有效图像区域，截取有效图像区域进行图像处理。

7.根据权利要求1所述的交通标志检测识别方法，其特征在于，

步骤S2中红色、黄色和蓝色二值图的获取方法包括：

1)将截取区域的彩色图像根据公式

对图像中的像素点进行r、g、b颜色分量的归一化，得到归一化后的r、g、b颜色分量图，其中，R、G、B分别表示处理图像区域的RGB颜色分量，r、g、b表示归一化后RGB颜色分量；

2)依据交通标志图像的颜色分布，设定判断条件，对像素点的红色、黄色和蓝色分量进行判断，满足判断条件，则将红色、黄色和蓝色分量置1，不满足条件，则置0，获取截取区域的红色、黄色和蓝色的二值分量图；

所述判断条件为

其中，α、β、ε、γ表示红色、绿色、蓝色和黄色对应的参数设定值，所述设定值依据交通标志图像的颜色特点设定。

8.根据权利要求1所述的交通标志检测识别方法，其特征在于，

步骤S3包括以下子步骤：

步骤S301、筛选待处理区域；并提取该区域红色、黄色和蓝色HOG特征；

步骤S302、分别提取筛选后待处理区域红色、黄色和蓝色HOG特征，代入对应的训练好的支持向量机分类器中进行libsvm测试，获取该区域分别属于红色、黄色和蓝色交通标志的每个类别的置信度，取置信度最大的类别作为该区域下交通标志的识别结果，分别输出红色、黄色和蓝色交通标志下各目标的类别标签和位置属性；

步骤S303、合成不同颜色下交通标志的检测识别信息，在车载视觉系统的界面中显示交通标志目标的位置、置信度和类别信息，并参照标准交通标志库在图像下方将目标图示显示出来。

9.根据权利要求8所述的交通标志检测识别方法，其特征在于，

所述筛选的待处理区域形状条件满足

其中，w和h表示区域的宽和高，area表示区域的面积，κ、λ、θ、μ和τ表示对应的参数设置，所述设定值依据交通标志图像的形状特点设定。

Images