CN104732211A - 一种基于自适应阈值的交通标志检测方法 - Google Patents

Abstract

本发明公开了一种基于自适应阈值的交通标志检测方法。本发明首先采用红蓝化方法进行图像预处理得到红蓝灰度图，然后对灰度图进行多次阈值化处理。在每次阈值化处理中，对于阈值化处理生成的二值图像进行轮廓检测；然后，根据交通标志的形状特征进行几何条件约束和Hu不变矩的标志轮廓匹配，过滤筛选得到当前阈值图像中的疑似交通标志区域集合；最后，合并多次阈值化处理结果，并根据标志的轮廓区域检测出现的频次确定最终的交通标志感兴趣区域。本发明使图像中的交通标志候选区域得到更好的阈值化处理效果，具有阈值自适应的特点，不仅具有高效的检测效率和时间性能，而且很好地解决了不同光照条件下的适应性问题。

Description

一种基于自适应阈值的交通标志检测方法

技术领域

本发明属于交通标志识别技术领域，涉及车载视频图像的交通标志识别中的高效交通标志检测方法，特别涉及一种基于自适应阈值的交通标志检测方法。

背景技术

随着交通事业的高速发展，交通安全变得越来越重要。高级驾驶辅助系统(Advanced Driver Assistance Systems)中的行人检测、交通标志识别等子系统是减少车辆交通事故的重要方法，其中的交通标志检测是交通标志识别系统中的关键部分，是影响交通标志识别系统识别效率和实时性的重要因素。

交通标志识别系统可以分为检测和分类识别两个阶段，根据采用的交通标志特征的不同，检测方法可以分为两大类：基于颜色特征的检测方法和基于形状特征的检测方法。基于颜色特征的检测方法大多数都基于一些颜色空间的固定阈值，这类方法虽然实时性能良好，但是容易受到光照条件的影响，检测效率很低，无法达到交通标志识别系统的检测率要求。基于形状特征的检测方法，对某些特定类型的交通标志具有较好的检测性能，但是不适合所有种类的交通标志检测，缺乏较好的适应性；同时，由于这类方法没有考虑颜色特征，会生成较多的干扰，影响到检测算法性能。因此，针对自然场景下交通标志识别系统中的交通标志检测，本发明提出一种基于自适应阈值的交通标志检测方法，采用自适应阈值的方法提高道路环境光照条件的适应性，提高交通标志检测率。

发明内容

本发明发目的是针对现有技术的不足，提出一种基于自适应阈值的交通标志检测方法。

本发明解决其技术问题采用的技术方案如下：

一种基于自适应阈值的交通标志检测方法，包括如下步骤：

步骤1：图像标准红蓝化；

选取RGB颜色空间图像中像素点R值和B值的最大值，并求得该像素点的R、G、B三值总和，然后进行求比运算，保存的比值ΩRB形成预处理后的灰度图像GR；所述的求比运算公式如下：

$\mathrm{\ΩRB}=\max (\frac{R}{R+G+B},\frac{B}{R+G+B});$

步骤2：从阈值80到130，以5为阈值步长对灰度图像GR进行多次阈值化处理，得到二值化图像；检测提取二值化图像中的交通标志感兴趣区域，获得对应阈值图像的轮廓集，具体如下：

2-1、灰度图像GR的阈值化处理；以阈值T_i对灰度图像GR进行对应阈值的阈值化处理，得到二值化图像IM_i；其中1≤i≤11；

2-2、轮廓检测处理；对阈值化后的二值化图像IM_i进行轮廓检测，得到二值化图像IM_i对应的轮廓集CT_i；

2-3、几何约束处理；根据交通标志的几何约束特征，对轮廓集CT_i进行长度、宽度、长宽比、面积比和周长比的几何约束筛选，滤除各种干扰轮廓，得到符合交通标志几何特征条件的轮廓集CT^# _i；所述的轮廓几何约束特征如表1所示；

表1轮廓几何约束特征

特征	最小值	最大值
			宽度	24	128
高度	24	128
			高宽比	0.5	1.5
轮廓周长/外接框周长	0.3	1.2
			轮廓面积/外接框面积	0.4	1

2-4、Hu不变矩匹配；计算轮廓集CT^# _i中所有轮廓的Hu不变矩，使用交通标志形状特征进行Hu不变矩的匹配，过滤不符合条件的轮廓，得到当前二值化图像IM_i的候选交通标志轮廓集CT*_i；

所述的交通标志形状特征包括圆形、三角形和矩形；

所述的7个Hu不变矩M1到M7的计算如下：

M₁＝η₂₀+η₀₂

M₂＝(η₂₀-η₀₂)²+4η₁₁ ²

M₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

M₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

M₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(3η₂₁+η₀₃)²-(η₂₁+η₀₃)²]

M₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)

M₇＝(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₂₂)²-(η₂₁+η₀₃)²]-(η₃₀-η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

所述的Hu不变矩匹配的计算公式如下：

$I(A,B)=\underset{i=1}{\overset{7}{\mathrm{\Σ}}}|\frac{1}{m_i^A}-\frac{1}{m_i^B}|$

$m_i^A=\mathrm{sign}\left(h_i^A\right)\×\log \left(h_i^A\right)$

$m_i^B=\mathrm{sign}\left(h_i^B\right)\×\log \left(h_i^B\right)$

其中，和分别是待匹配轮廓A和标准形状轮廓B的Hu不变矩；I(A,B)为待匹配轮廓A和标准形状轮廓B的匹配值，I(A,B)越小则说明待匹配轮廓A和标准形状轮廓B越相似；本方法中预设定的匹配值为0.1，如果Hu不变矩匹配得到的匹配值大于0.1，则淘汰这个轮廓区域；

步骤3：多次阈值化结果合并；

对每个阈值T_i处理得到候选交通标志轮廓集(CT*₁，…CT*_i，…CT*₁₁)，候选交通标志轮廓集CT*_i中包括ki个轮廓(ct₁，…ct_ki)，每个轮廓ct_ki包含轮廓类型type和外接矩形r；将候选交通标志轮廓集CT*_i中的所有轮廓与候选交通标志轮廓集CT*_i+1到候选交通标志轮廓集CT*₁₁中的所有轮廓进行比较，如果候选交通标志轮廓集CT*_i的轮廓CT*_i.ct_ki和交通标志轮廓集CT*_i+1的轮廓CT*_i+1.ct_kj为同一轮廓，则必有候选交通标志轮廓集CT*_i的轮廓CT*_i.ct_ki的外接矩形CT*_i.ct_ki.r包含交通标志轮廓集CT*_i+1的轮廓CT*_i+1.ct_kj的外接矩形CT*_i+1.ct_kj.r；

判断轮廓包含的标准如下：

3-1、计算轮廓CT*_i.ct_ki的外接矩形中心点pc的坐标；坐标计算公式为:

${\mathrm{CT}*}_i.{\mathrm{ct}}_{\mathrm{ki}}.r.\mathrm{pc}\left[x\right]=\frac{({\mathrm{CT}*}_i.{\mathrm{ct}}_{\mathrm{ki}}.r.\mathrm{pa}[x]+{\mathrm{CT}*}_i.{\mathrm{ct}}_{\mathrm{ki}}.r.\mathrm{pb}[x\left]\right)}{2};$

${\mathrm{CT}*}_i.{\mathrm{ct}}_{\mathrm{ki}}.r.\mathrm{pc}\left[y\right]=\frac{({\mathrm{CT}*}_i.{\mathrm{ct}}_{\mathrm{ki}}.r.\mathrm{pa}[y]+{\mathrm{CT}*}_i.{\mathrm{ct}}_{\mathrm{ki}}.r.\mathrm{pb}[y\left]\right)}{2};$

其中，点pa、pb分别是外接矩形r的左上角点和右下角点；

3-2、如果CT*_j.ct_kj.r.pa[x]<CT*_i.ct_ki.r.pc[x]<CT*_j.ct_kj.r.pb[x]，并且CT*_j.ct_kj.r.pa[y]<CT*_i.ct_ki.r.pc[y]<CT*_j.ct_kj.r.pb[y]，则认为候选交通标志轮廓集CT*_i的轮廓CT*_i.ct_ki包含交通标志轮廓集CT*_i+1的轮廓CT*_i+1.ct_kj；将所有被包含的交通标志轮廓集CT*_i+1的轮廓CT*_i+1.ct_kj保存至新的轮廓集CT_i″，并将该轮廓CT*_i+1.ct_kj从交通标志轮廓集CT*_i+1中删除；在轮廓集CT_i″中选择出现2次或以上的轮廓作为最终的候选轮廓，将所有候选轮廓保存在集合CT*中。

本发明有益效果如下：

本发明从自然场景出发，利用交通标志的颜色特征和形状特征，通过多次阈值处理方法使交通标志检测处理具有阈值自适应的效果，可以有效地降低道路光照条件变化对标志检测干扰，提高交通标志检测率和鲁棒性，增强算法的环境适应性。

本发明使图像中的交通标志候选区域得到更好的阈值化处理效果，具有阈值自适应的特点，不仅具有高效的检测效率和时间性能，而且很好地解决了不同光照条件下的适应性问题。

附图说明

图1为本发明检测交通标志的整体流程图。

图2为图像红蓝标准化的效果图。

图3为轮廓检测和几何条件约束效果展示图。

图4为Hu不变矩匹配效果展示图。

图5为多次阈值化结果合并效果展示图。

具体实施方式

下面结合附图，以交通标志检测为例，对本发明的具体实施方案作进一步详细描述。

本发明利用交通标志的颜色特征，首先采用红蓝化方法进行图像预处理得到红蓝灰度图，然后对灰度图进行多次阈值化处理。在每次阈值化处理中，对于阈值化处理生成的二值图像进行轮廓检测；然后，根据交通标志的形状特征进行几何条件约束和Hu不变矩的标志轮廓匹配，过滤筛选得到当前阈值图像中的疑似交通标志区域集合；最后，合并多次阈值化处理结果，并根据标志的轮廓区域检测出现的频次确定最终的交通标志感兴趣区域。该方法使图像中的交通标志候选区域得到更好的阈值化处理效果，具有阈值自适应的特点，不仅具有高效的检测效率和时间性能，而且很好地解决了不同光照条件下的适应性问题。

如图1所示，一种基于自适应阈值的交通标志检测方法，具体包括如下步骤：

步骤1：图像标准红蓝化。

选取RGB颜色空间图像中像素点R值和B值的最大值，并求得该像素点的R、G、B三值总和，然后进行求比运算，保存的比值ΩRB形成预处理后的灰度图像GR；所述的求比运算公式如下：

$\mathrm{\&Omega;RB}=\max (\frac{R}{R+G+B},\frac{B}{R+G+B}),$ 红蓝化的灰度图如图2所示。

步骤2：从阈值80到130，以5为阈值步长对灰度图像GR进行多次阈值化处理，得到二值化图像；检测提取二值化图像中的交通标志感兴趣区域，获得对应阈值图像的轮廓集，具体如下：

2-5、灰度图像GR的阈值化处理。以阈值T_i(80-130)对灰度图像GR进行对应阈值的阈值化处理，得到二值化图像IM_i。

2-6、轮廓检测处理。对阈值化后的二值化图像IM_i进行轮廓检测，得到二值化图像IM_i对应的轮廓集CT_i。

2-7、几何约束处理。根据交通标志的几何约束特征，对轮廓集CT_i进行长度、宽度、长宽比、面积比和周长比的几何约束筛选，滤除各种干扰轮廓，得到符合交通标志几何特征条件的轮廓集CT^# _i。

所述的轮廓几何约束特征如表1所示，效果如图3所示。

表1轮廓几何约束特征

特征	最小值	最大值
			宽度	24	128
高度	24	128
			高宽比	0.5	1.5
轮廓周长/外接框周长	0.3	1.2
			轮廓面积/外接框面积	0.4	1

2-8、Hu不变矩匹配。计算轮廓集CT^# _i中所有轮廓的Hu不变矩，使用交通标志形状特征进行Hu不变矩的匹配，过滤不符合条件的轮廓，得到当前二值化图像IM_i的候选交通标志轮廓集CT*_i；

所述的交通标志形状特征包括圆形、三角形和矩形。

所述的7个Hu不变矩M1到M7的计算如下：

M₁＝η₂₀+η₀₂

M₂＝(η₂₀-η₀₂)²+4η₁₁ ²

M₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

M₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

M₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(3η₂₁+η₀₃)²-(η₂₁+η₀₃)²]

M₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)

M₇＝(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₂₂)²-(η₂₁+η₀₃)²]-(η₃₀-η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

所述的Hu不变矩匹配的计算公式如下：

其中，和分别是待匹配轮廓A和标准形状轮廓B的Hu不变矩。I(A,B)为待匹配轮廓A和标准形状轮廓B的匹配值，I(A,B)越小则说明待匹配轮廓A和标准形状轮廓B越相似。

本发明预设定的匹配值为0.1，如果Hu不变矩匹配得到的匹配值大于0.1，则淘汰这个轮廓区域；加入Hu不变矩轮廓匹配的处理效果如图4所示。

步骤3：多次阈值化结果合并。

对每个阈值T_i(80-130)处理得到候选交通标志轮廓集(CT*₁，…CT*_i，…CT*₁₁)，候选交通标志轮廓集CT*_i中包括ki个轮廓(ct₁，…ct_ki)，每个轮廓ct_ki包含轮廓类型type和外接矩形r。将候选交通标志轮廓集CT*_i中的所有轮廓与候选交通标志轮廓集CT*_i+1到候选交通标志轮廓集CT*₁₁中的所有轮廓进行比较，如果候选交通标志轮廓集CT*_i的轮廓CT*_i.ct_ki和交通标志轮廓集CT*_i+1的轮廓CT*_i+1.ct_kj为同一轮廓，则必有候选交通标志轮廓集CT*_i的轮廓CT*_i.ct_ki的外接矩形CT*_i.ct_ki.r包含交通标志轮廓集CT*_i+1的轮廓CT*_i+1.ct_kj的外接矩形CT*_i+1.ct_kj.r。

判断轮廓包含的标准如下：

3-1、计算轮廓CT*_i.ct_ki的外接矩形中心点pc的坐标。坐标计算公式为:

其中，点pa，pb分别是外接矩形r的左上角点和右下角点。

3-2、如果CT*_j.ct_kj.r.pa[x]<CT*_i.ct_ki.r.pc[x]<CT*_j.ct_kj.r.pb[x]，并且CT*_j.ct_kj.r.pa[y]<CT*_i.ct_ki.r.pc[y]<CT*_j.ct_kj.r.pb[y]，则认为候选交通标志轮廓集CT*_i的轮廓CT*_i.ct_ki包含交通标志轮廓集CT*_i+1的轮廓CT*_i+1.ct_kj；将所有被包含的交通标志轮廓集CT*_i+1的轮廓CT*_i+1.ct_kj保存至新的轮廓集CT_i″，并将该轮廓CT*_i+1.ct_kj从交通标志轮廓集CT*_i+1中删除。在轮廓集CT_i″中选择出现2次或以上的轮廓作为最终的候选轮廓，将所有候选轮廓保存在集合CT*中。多次阈值化结果合并效果展示如图5所示。

Claims (1)

1.一种基于自适应阈值的交通标志检测方法，其特征在于包括如下步骤：

步骤1：图像标准红蓝化；

选取RGB颜色空间图像中像素点R值和B值的最大值，并求得该像素点的R、G、B三值总和，然后进行求比运算，保存的比值ΩRB形成预处理后的灰度图像GR；所述的求比运算公式如下：

$\mathrm{\&Omega;RB}=\max (\frac{R}{R+G+B},\frac{B}{R+G+B});$

步骤2：从阈值80到130，以5为阈值步长对灰度图像GR进行多次阈值化处理，得到二值化图像；检测提取二值化图像中的交通标志感兴趣区域，获得对应阈值图像的轮廓集，具体如下：

2-1、灰度图像GR的阈值化处理；以阈值T_i对灰度图像GR进行对应阈值的阈值化处理，得到二值化图像IM_i；其中1≤i≤11；

2-2、轮廓检测处理；对阈值化后的二值化图像IM_i进行轮廓检测，得到二值化图像IM_i对应的轮廓集CT_i；

2-3、几何约束处理；根据交通标志的几何约束特征，对轮廓集CT_i进行长度、宽度、长宽比、面积比和周长比的几何约束筛选，滤除各种干扰轮廓，得到符合交通标志几何特征条件的轮廓集CT^# _i；所述的轮廓几何约束特征如表1所示；

表1 轮廓几何约束特征

特征 最小值 最大值 宽度 24 128 高度 24 128 高宽比 0.5 1.5 轮廓周长/外接框周长 0.3 1.2 轮廓面积/外接框面积 0.4 1

2-4、Hu不变矩匹配；计算轮廓集CT^* _i中所有轮廓的Hu不变矩，使用交通标志形状特征进行Hu不变矩的匹配，过滤不符合条件的轮廓，得到当前二值化图像IM_i的候选交通标志轮廓集CT*_i；

所述的交通标志形状特征包括圆形、三角形和矩形；

所述的7个Hu不变矩M1到M7的计算如下：

M₁＝η₂₀+η₀₂

M₂＝(η₂₀-η₀₂)²+4η₁₁ ²

M₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

M₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

M₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+

(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₂₁+η₀₃)²-(η₂₁+η₀₃)²]

M₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)

M₇＝(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₂₂)²-(η₂₁+η₀₃)²]-

(η₃₀-η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

所述的Hu不变矩匹配的计算公式如下：

$I(A,B)=\underset{i=1}{\overset{7}{\mathrm{\&Sigma;}}}|\frac{1}{m_i^A}-\frac{1}{m_i^B}|$

$m_i^A=\mathrm{sign}\left(h_i^A\right)\&times;\log \left(h_i^A\right)$

$m_i^B=\mathrm{sign}\left(h_i^B\right)\&times;\log \left(h_i^B\right)$

其中，和分别是待匹配轮廓A和标准形状轮廓B的Hu不变矩；I(A,B)为待匹配轮廓A和标准形状轮廓B的匹配值，I(A,B)越小则说明待匹配轮廓A和标准形状轮廓B越相似；本方法中预设定的匹配值为0.1，如果Hu不变矩匹配得到的匹配值大于0.1，则淘汰这个轮廓区域；

步骤3：多次阈值化结果合并；

对每个阈值T_i处理得到候选交通标志轮廓集(CT^* ₁，…CT^* _i，…CT^* ₁₁)，候选交通标志轮廓集CT^* _i中包括ki个轮廓(ct₁，…ct_ki)，每个轮廓ct_ki包含轮廓类型type和外接矩形r；将候选交通标志轮廓集CT^* _i中的所有轮廓与候选交通标志轮廓集CT^* _i+1到候选交通标志轮廓集CT^* ₁₁中的所有轮廓进行比较，如果候选交通标志轮廓集CT^* _i的轮廓CT^* _i.ct_ki和交通标志轮廓集CT^* _i+1的轮廓CT^* _i+1.ct_kj为同一轮廓，则必有候选交通标志轮廓集CT^* _i的轮廓CT^* _i.ct_ki的外接矩形CT^* _i.ct_ki.r包含交通标志轮廓集CT^* _i+1的轮廓CT^* _i+1.ct_kj的外接矩形CT^* _i+1.ct_kj.r；

判断轮廓包含的标准如下：

3-1、计算轮廓CT^* _i.ct_ki的外接矩形中心点pc的坐标；坐标计算公式为:

${{\mathrm{CT}}^{*}}_i.{\mathrm{ct}}_{\mathrm{ki}}.r.\mathrm{pc}\left[x\right]=\frac{({{\mathrm{CT}}^{*}}_i.{\mathrm{ct}}_{\mathrm{ki}}.r.\mathrm{pa}[x]+{{\mathrm{CT}}^{*}}_i.{\mathrm{ct}}_{\mathrm{ki}}.r.\mathrm{pb}[x\left]\right)}{2};$

${{\mathrm{CT}}^{*}}_i.{\mathrm{ct}}_{\mathrm{ki}}.r.\mathrm{pc}\left[y\right]=\frac{({{\mathrm{CT}}^{*}}_i.{\mathrm{ct}}_{\mathrm{ki}}.r.\mathrm{pa}[y]+{{\mathrm{CT}}^{*}}_i.{\mathrm{ct}}_{\mathrm{ki}}.r.\mathrm{pb}[y\left]\right)}{2};$

其中，点pa、pb分别是外接矩形r的左上角点和右下角点；

3-2、如果CT^* _j.ct_kj.r.pa[x]<CT^* _i.ct_ki.r.pc[x]<CT^* _j.ct_kj.r.pb[x]，并且CT^* _j.ct_kj.r.pa[y]<CT^* _i.ct_ki.r.pc[y]<CT^* _j.ct_kj.r.pb[y]，则认为候选交通标志轮廓集CT^* _i的轮廓CT^* _i.ct_ki包含交通标志轮廓集CT^* _i+1的轮廓CT^* _i+1.ct_kj；将所有被包含的交通标志轮廓集CT^* _i+1的轮廓CT^* _i+1.ct_kj保存至新的轮廓集CT″_i，并将该轮廓CT^* _i+1.ct_kj从交通标志轮廓集CT^* _i+1中删除；在轮廓集CT″_i中选择出现2次或以上的轮廓作为最终的候选轮廓，将所有候选轮廓保存在集合CT*中。