CN105893960A - 基于相位对称性的道路交通标志检测方法 - Google Patents

Abstract

本发明公开了一种基于相位对称性的道路交通标志检测方法。本发明流程可分为红蓝标准化预处理、相位对称性检测、形态学滤波以及最大极限稳定区域特征检测，具体的：根据交通标志特有的红色或蓝色，采用红蓝标准化的方法对图像进行颜色预分割处理；根据交通标志外围形状的对称性，利用相位对称性计算高亮凸显交通标志候选区域；采用MSER特征提取相位对称能量图中的标志候选区域；本发明适用于复杂自然环境中道路交通标志的检测，具有更好的检测效果。同时利用交通标志的颜色特性和形状特性，相较于传统的仅基于颜色或形状信息的检测方法，本发明在复杂道路场景下具有更好的鲁棒性。

Description

基于相位对称性的道路交通标志检测方法

技术领域

本发明主要涉及交通标志识别领域，特别涉及一种基于相位对称性的道路交通标志检测方法，适用于复杂自然环境中道路交通标志的检测。

背景技术

道路交通标志识别是汽车自动驾驶和辅助驾驶系统中的道路环境感知技术的重要组成部分，它主要是通过车载成像系统捕获道路场景信息，并从中检测识别出交通标志，并把得到的道路交通信息及时地反馈给驾驶员，帮助驾驶员适当地做出应对措施，从而有效地减少交通事故的发生，提高驾驶的安全性和舒适性。然而在自然场景下，剧烈变化的光照条件、恶劣的天气状况、周遭环境的干扰等因素，给自然场景中道路标志的检测带来了很大挑战。如何在自然场景中快速且高效地检测出道路交通标志成为了该研究领域的重要问题。

交通标志识别通常分为两个阶段：交通标志检测和交通标志识别。由于交通标志通常由特定的颜色和形状构成，在道路环境背景中具有明显可区分的视觉效果。因此，在交通标志检测阶段，通常是利用交通标志的色彩和形状等先验特征检测图像中的交通标志的候选区域。在交通标志识别阶段，采用机器学习和邻近搜索的方法对候选区域进行分类识别。

传统的交通标志检测方法主要可分为三大类：基于颜色信息的检测方法，基于形状信息的检测方法，以及颜色和形状信息融合的检测方法。通常情况下，由于RGB颜色空间对光照变化很敏感，基于颜色信息的检测方法需要先将图像由RGB颜色空间转换到其他的颜色空间，比如HIS，HSV，YcbCr颜色空间，如Y.-Y.Nguwi等人在《Detection andclassification of roadsigns in natural environments》一文中，基于HIS颜色空间对图像做阈值化预处理后，使用以30*30pixels大小的YcbCr图像块为特征训练出的神经网络分类器，检测图像中的标志候选区域；X.Gao等人在《Recognition of traffic signsbased on their colour and shape featuresextracted using human vision models》一文中，根据图像在CIECAM97颜色空间的Hue和Chroma值，使用四叉树直方图的方法检测图像中的标志候选区域。然而，由于交通标志的颜色特征易受道路光照条件变化的影响，导致上述基于颜色信息的检测方法对道路环境的适应性都较弱、检测率较低。

基于形状信息的检测方法一般根据标志的形状特征，采用Canny边缘检测、Hough变换以及对称性等方法检测图像中的标志候选区域，如F.Moutarde等人在《Robust on-vehicle real-time visual detection of American and European speed limitsigns,with a modular traffic signs recognition system》一文中，在Canny边缘检测结果的基础上，采用Hough变换方法来检测图像中的圆形和矩形标志。但是由于Hough变换的计算代价高，这使得它并不能满足交通标志检测方法对实时性的要求。C.Keller等人《Real-time recognition of U.S.speed signs》一文中，采用了一种径向对称性子对图像进行形状信息预处理，然后使用基于Harr小波特征的级联分类器实现标志候选区域的检测。然而，这些基于形状信息的检测方法虽然对环境光照的适应性更好，但其性能却容易受到图像中交通标志发生形变、旋转、局部遮挡等因素的影响。

基于颜色和形状信息的融合检测方法一般是先利用标志颜色信息对图像进行预分割处理，然后再根据标志的形状信息实现交通标志的检测，如S.Xu等人在《Robusttraffic sign shape recognition using geometric matching》一文中，首先在HSV颜色空间上对图像基于Hue通道值进行阈值化分割处理，然后根据简化的标志形状的目标函数与模板目标函数间的距离实现交通标志检测。D.Deguchi等人在《Intelligenttrafficsign detector:Adaptive learning based on online gathering of trainingsamples》一文中，针对七种具体类型的交通标志，使用基于局部等级模式特征的嵌套级联分类器对图像RGB像素值进行分类并得到一幅边缘图像，然后采用RANSAC圆形拟合来检测图像中的圆形交通标志。基于颜色和形状信息融合的检测方法，相较于前两种方法，在复杂道路环境下有更好的鲁棒性。但是，现有的检测方法大都局限在某一种或几种类型的交通标志检测，且实验测试只在作者自己的数据集实施，实验结果缺乏说服力和认可性。

发明内容

本发明的目的在于针对自然场景下交通标志检测所面临的问题，我们充分利用交通标志的颜色特征和外围形状的对称性特征，提出了一种基于相位对称性的交通标志检测方法，光照条件变化、尺度变化、旋转以及局部遮挡等情况下，本发明具有更好的检测效果。本发明的方法流程可分为红蓝标准化预处理、相位对称性检测、形态学滤波以及最大极限稳定区域(MSER，maximally stable extremal regions)特征检测等四个步骤。

本发明解决其技术问题的技术方案是：

步骤1：红蓝标准化预处理，具体的：

1-1、对RGB输入图像的红、蓝两个通道的数值进行加权计算，对图像做红蓝化处理，并得到单通道图像Ω_RB；

1-2、对得到的单通道图像Ω_RB进行线性对比度拉伸，进一步增强单通道图像Ω_RB对比度，区分标志和环境背景；

步骤2：相位对称性检测，具体的：

2-1、构造2倍频的Log Gabor小波滤波器，对线性对比度拉伸后的单通道图像Ω_RB进行滤波，得到每一个像素点的局部频率信息；

2-2、根据获得的局部频率信息，计算每一个像素点上各个方向的幅度A_n(x)及相位

2-3、结合多尺度下的滤波器响应结果，计算每一个像素点上各个方向的相位对称性能量值，并将其各个方向的相位对称能量值累加，得到线性对比度拉伸后的单通道图像Ω_RB的相位对称能量图；

步聚3：形态学滤波，具体的：

3-1、对相位对称能量图做形态学滤波—顶帽变换和底帽变换操作；

3-2、将顶帽变换和底帽变换的结果结合起来用，结果图记为I_enhance，进一步增加对比度得到相位对称能量图更本质的形态，区分交通标志和环境背景；

步骤4：提取标志候选区域为MSER，具体的：

4-1、基于MSER特征检测，提取I_enhance图像中的交通标志候选区域；

4-2、对检测到的标志候选区域的轮廓进行椭圆拟合，减少边界噪声点的干扰，并计算出拟合后区域的最小外围矩形框；

4-3、通过对其最小外围矩形框的相关参数的约束限制，筛选标志候选区域，得到最终的检测结果。

所述步骤1-1具体如下：

对RGB输入图像中的每个像素点x＝{x_R,x_G,x_B}，分别按照公式(1)和(2)对RGB输入图像进行R通道和B通道的进行加权计算；其中，R′为加权后的R通道值，B′为加权后B通道；

$R^{\′}=max(0,\frac{min(R-B,R-G)}{R+G+B})---\left(1\right)$

$B^{\′}=max(0,\frac{B-R}{R+G+B})---\left(2\right).$

所述步骤1-2所述的对得到的单通道图像Ω_RB进行线性对比度拉伸，其拉伸范围设置为[0.3,0.7]。

所述步骤2-1具体如下：

使用k个尺度和l个方向，k∈[3，6]，l一般取值为6，共k*l个滤波器，最小尺度滤波器的带宽为3个像素，相邻尺度间的带宽比为1.8。

所述步骤2-2具体如下：

设和分别表示尺度为n上Log Gabor的偶对称和奇对称小波，则信号I的响应可表示为：其中，e_n(x)和o_n(x)分别为小波分析结果的实数部分和虚数部分；根据这些局部频率信息，按式(3)(4)计算每个像素点上各方向的幅度A_n(x)及相位

$A_n\left(x\right)=\sqrt{e_n{\left(x\right)}^2+o_n{\left(x\right)}^2}---\left(3\right)$

所述步骤2-3具体如下：

根据式(5)计算每一个像素点上各方向的相位对称性能量值，其中,A_n是该像素点在尺度为n的滤波器上响应的幅度值，ε是以防信号均匀分布时产生除数为0的情况的常数值，取0.55，T为噪声补偿项，取2.0；最后将各个方向的相位对称能量值累加，得到图像的相位对称能量图，其中，Sym(x)指代图像中某一个像素点的相位对称能量；

所述步骤3-1具体如下：

将经相位对称性检测后得到的相位对称能量图，根据式(6)(7)做顶帽变换和底帽变换操作，设I表示相位对称能量图，则I_O，I_C，I_D，I_E分别表示开运算、闭运算、膨胀和腐蚀运算操作，得到的结果分别记为I_T和I_B；

I_T＝I-I_O，I_O＝I_DoI_E(6)

I_B＝I_C-I，I_C＝I_EoI_D(7)。

所述步骤3-2具体如下：

将顶帽变换和底帽变换的结果按式(8)结合，结果图记为I_enhance，进一步增加对比度得到相位对称能量图更本质的形态，区分交通标志和环境背景；

I_enhance＝I_T+I-I_B (8)。

所述于步骤4-3所述的约束限制如表1：

表1ROI区域的经验性约束条件

特征	最小值	最大值
			宽度	22	128
高度	22	128
			宽高比＝高度/宽度	0.5	1.5

。

本发明有益效果：

1、本发明根据交通标志特有的颜色信息——红色或蓝色，采用红蓝标准化的方法对图像进行颜色预分割处理，不仅能快速(无需颜色空间的转换)且有效地分割出标志区域，而且对光照条件变化也具有较好的适应性。

2、本发明根据交通标志外围形状的对称性，利用相位对称性计算高亮凸显交通标志候选区域，该方法对标志发生局部封闭、旋转、视角变化等情况都具有较好的适应性和鲁棒性。

3、本发明采用MSER特征提取相位对称能量图中的标志候选区域，而不是通过简单的阈值化处理来提取，对光照强度、对比度和视角变化具有较好的适应性。

4、本发明同时利用了交通标志的颜色特性和形状特性，相较于传统的仅基于颜色或形状信息的检测方法，本发明在复杂道路场景下具有更好的鲁棒性。

附图说明

图1为本发明进行交通标志检测的流程图；

图2(a)(b)(c)为本发明技术的红蓝标准化预处理在不同光照条件下的效果图；

图3(a)(b)(c)(d)为本发明技术的相位对称性检测在环境背景中存在与标志颜色相似物体和不同光照条件下的效果图；

图4为本发明技术中形态学滤波效果图；

图5(a)(b)(c)(d)为本发明技术在视角变化，尺度变化，对比度和光照条件变化，以及旋转等情况下的检测效果图。

具体实施方式

下面结合附图，对本发明的具体实施方案作进一步详细描述。基于相位对称性的道路交通标志检测方法，其具体步骤描述如附图1所示：

步骤(1)：红蓝标准化预处理

1-1、对RGB输入图像的红、蓝两个通道的数值进行加权计算，对图像做红蓝化处理，并得到单通道图像Ω_RB，具体的：

对RGB输入图像(道路采集图像)中的每个像素点x＝{x_R,x_G，x_B}，分别按照公式(1)和(2)对RGB输入图像进行R通道和B通道的进行加权计算。其中，R′为加权后的R通道值，B′为加权后B通道；

$R^{\′}=max(0,\frac{min(R-B,R-G)}{R+G+B})---\left(1\right)$

$B^{\′}=max(0,\frac{B-R}{R+G+B})---\left(2\right)$

1-2、对得到的单通道图像Ω_RB进行线性对比度拉伸，进一步增强单通道图像Ω_RB对比度，区分标志和环境背景，拉伸范围设置为[0.3,0.7]。

红蓝标准化预处理后的效果图如附图2(a)(b)(c)所示。

步骤(2)：相位对称性检测

2-1、计算各个像素点的局部频率信息：构造2倍频的Log Gabor小波滤波器，对线性对比度拉伸后的单通道图像Ω_RB进行滤波，得到每一个像素点的局部频率信息，具体的：使用k个尺度和l个方向，k∈[3，6]，l一般取值为6，共k*l个滤波器，最小尺度滤波器的带宽为3个像素，相邻尺度间的带宽比为1.8。

2-2、根据获得的局部频率信息，计算每一个像素点上各个方向的幅度A_n(x)及相位设和分别表示尺度为n上Log Gabor的偶对称和奇对称小波，则信号I的响应可表示为： 其中，e_n(x)和o_n(x)分别为小波分析结果的实数部分和虚数部分；根据这些局部频率信息，按式(3)(4)计算每个像素点上各方向的幅度A_n(x)及相位

$A_n\left(x\right)=\sqrt{e_n{\left(x\right)}^2+o_n{\left(x\right)}^2}---\left(3\right)$

2-3、结合多尺度下的滤波器响应结果，计算每一个像素点上各个方向的相位对称性能量值，并将其各个方向的相位对称能量值累加，得到线性对比度拉伸后的单通道图像Ω_RB的相位对称能量图。具体的：根据式(5)计算每一个像素点上各方向的相位对称性能量值，其中,A_n是该像素点在尺度为n的滤波器上响应的幅度值，ε是以防信号均匀分布时产生除数为0的情况的常数值，取0.55，T为噪声补偿项，取2.0。最后将各个方向的相位对称能量值累加，得到图像的相位对称能量图，其中，Sym(x)指代图像中某一个像素点的相位对称能量；相位对称性检测效果图如附图3(a)(b)(c)(d)所示。

步骤(3)：形态学滤波

3-1、对相位对称能量图做形态学滤波，将经相位对称性检测后得到的相位对称能量图，根据式(6)(7)做顶帽变换和底帽变换操作，设I表示相位对称能量图，则I_O，I_C，I_D，I_E分别表示开运算、闭运算、膨胀和腐蚀运算操作，得到的结果分别记为I_T和I_B。

I_T＝I-I_O,I_O＝I_DoI_E(6)

I_B＝I_C-I,I_C＝I_EoI_D(7)

3-2、将顶帽变换和底帽变换的结果按式(8)结合，结果图记为I_enhance，进一步增加对比度得到相位对称能量图更本质的形态，区分交通标志和环境背景。形态学滤波的效果图如附图4所示。

I_enhance＝I_T+I-I_B (8)

步骤(4)：提取标志候选区域为MSER

4-1、基于MSER特征检测，提取I_enhance图像中的交通标志候选区域

4-2、计算候选区域的最小外围矩形框。对检测到的标志候选区域的轮廓进行椭圆拟合，减少边界噪声点的干扰，并计算出拟合后区域的最小矩形框。

4-3、几何条件约束。通过对其最小外围矩形框的相关参数的约束限制，如表1，筛选标志候选区域，得到最终的检测结果。

表1ROI区域的经验性约束条件

特征	最小值	最大值
			宽度	22	128
高度	22	128
			宽高比＝高度/宽度	0.5	1.5

本发明同时利用了交通标志的颜色特性和其外围形状的对称性，提出了一种基于相位对称性的交通标志检测方法有，这种方法在视角变化，尺度变化，对比度和光照条件变化，以及旋转等情况下都具备较好的适应性和鲁棒性，具体检测效果图如附图5(a)(b)(c)(d)所示。

Claims (9)

1.基于相位对称性的道路交通标志检测方法，其特征在于包括如下步骤：

步骤1：红蓝标准化预处理，具体的：

1-1、对RGB输入图像的红、蓝两个通道的数值进行加权计算，对图像做红蓝化处理，并得到单通道图像Ω_RB；

1-2、对得到的单通道图像Ω_RB进行线性对比度拉伸，进一步增强单通道图像Ω_RB对比度，区分标志和环境背景；

步骤2：相位对称性检测，具体的：

2-1、构造2倍频的Log Gabor小波滤波器，对线性对比度拉伸后的单通道图像Ω_RB进行滤波，得到每一个像素点的局部频率信息；

2-2、根据获得的局部频率信息，计算每一个像素点上各个方向的幅度A_n(x)及相位

2-3、结合多尺度下的滤波器响应结果，计算每一个像素点上各个方向的相位对称性能量值，并将其各个方向的相位对称能量值累加，得到线性对比度拉伸后的单通道图像Ω_RB的相位对称能量图；

步聚3：形态学滤波，具体的：

3-1、对相位对称能量图做形态学滤波—顶帽变换和底帽变换操作；

3-2、将顶帽变换和底帽变换的结果结合起来用，结果图记为I_enhance，进一步增加对比度得到相位对称能量图更本质的形态，区分交通标志和环境背景；

步骤4：提取标志候选区域为MSER，具体的：

4-1、基于MSER特征检测，提取I_enhance图像中的交通标志候选区域；

4-2、对检测到的标志候选区域的轮廓进行椭圆拟合，减少边界噪声点的干扰，并计算出拟合后区域的最小外围矩形框；

4-3、通过对其最小外围矩形框的相关参数的约束限制，筛选标志候选区域，得到最终的检测结果。

2.根据权利要求1所述的基于相位对称性的道路交通标志检测方法，其特征在于步骤1-1具体如下：

对RGB输入图像中的每个像素点x＝{x_R,x_G,x_B}，分别按照公式(1)和(2)对RGB输入图像进行R通道和B通道的进行加权计算；其中，R′为加权后的R通道值，B′为加权后B通道；

$R^{\′}=max(0,\frac{min(R-B,R-G)}{R+G+B})---\left(1\right)$

$B^{\′}=max(0,\frac{B-R}{R+G+B})---\left(2\right).$

3.根据权利要求2所述的基于相位对称性的道路交通标志检测方法，其特征在于步骤1-2所述的对得到的单通道图像Ω_RB进行线性对比度拉伸，其拉伸范围设置为[0.3,0.7]。

4.根据权利要求3所述的基于相位对称性的道路交通标志检测方法，其特征在于步骤2-1具体如下：

使用k个尺度和1个方向，k∈[3，6]，1一般取值为6，共k*1个滤波器，最小尺度滤波器的带宽为3个像素，相邻尺度间的带宽比为1.8。

5.根据权利要求4所述的基于相位对称性的道路交通标志检测方法，其特征在于步骤2-2具体如下：

设和分别表示尺度为n上Log Gabor的偶对称和奇对称小波，则信号I的响应可表示为：其中，e_n(x)和O_n(x)分别为小波分析结果的实数部分和虚数部分；根据这些局部频率信息，按式(3)(4)计算每个像素点上各方向的幅度A_n(x)及相位

$A_n\left(x\right)=\sqrt{e_n{\left(x\right)}^2+o_n{\left(x\right)}^2}---\left(3\right)$

6.根据权利要求5所述的基于相位对称性的道路交通标志检测方法，其特征在于步骤2-3具体如下：

根据式(5)计算每一个像素点上各方向的相位对称性能量值，其中,A_n是该像素点在尺度为n的滤波器上响应的幅度值，ε是以防信号均匀分布时产生除数为0的情况的常数值，取0.55，T为噪声补偿项，取2.0；最后将各个方向的相位对称能量值累加，得到图像的相位对称能量图，其中，Sym(x)指代图像中某一个像素点的相位对称能量；

7.根据权利要求6所述的基于相位对称性的道路交通标志检测方法，其特征在于步骤3-1具体如下：

将经相位对称性检测后得到的相位对称能量图，根据式(6)(7)做顶帽变换和底帽变换操作，设I表示相位对称能量图，则I_O，I_C，I_D，I_E分别表示开运算、闭运算、膨胀和腐蚀运算操作，得到的结果分别记为I_T和I_B；

I_T＝I-I_O,I_O＝I_DoI_E (6)

I_B＝I_C-I,I_C＝I_EoI_D (7)。

8.根据权利要求7所述的基于相位对称性的道路交通标志检测方法，其特征在于步骤3-2具体如下：

将顶帽变换和底帽变换的结果按式(8)结合，结果图记为I_enhance，进一步增加对比度得到相位对称能量图更本质的形态，区分交通标志和环境背景；

I_enhance＝I_T+I-I_B (8)。

9.根据权利要求8所述的基于相位对称性的道路交通标志检测方法，其特征在于步骤4-3所述的约束限制如表1：

表1ROI区域的经验性约束条件