CN103942546A - 一种城市环境中导向交通标线识别系统及方法 - Google Patents

Abstract

本发明涉及一种城市环境中导向交通标线识别系统及方法,为了实现无人驾驶车对路面导向标识的主动认知，本发明包括图像采集单元，获取在道路上拍摄的图像信息；导向交通标线提取单元，将从图像采集单元获取的图像中导向交通标线的区域提取出来；数据库单元，存储导向交通标线标识；导向交通标线识别单元，将导向交通标线提取单元提取的导向交通标线图形与数据库单元的导向交通标线标识对比，并将图形的识别结果传给车载控制单元；车载控制单元，根据导向交通标线识别单元的识别结果做出车辆行驶指令。该系统方法实现无人车对路面标识的主动认知，用二维独立分量分析方法降低特征维数，最近分类器分类交通标线的类别，该方法求取的特征维数低，分类准确率高。

Description

一种城市环境中导向交通标线识别系统及方法

技术领域

本发明属于一种图像识别系统，具体涉及到一种可以识别城市道路上标识的交通标线，用于指导无人驾驶汽车对于路面环境的感知，智能决策行驶的路线及遵从交通法律和法规。

背景技术

目前，在无人驾驶车和主动安全领域，对车辆行驶的环境信息感知要求提高，不但要根据车载的各种传感器信息，获得车辆周围影响行车的障碍物信息，还要根据车辆所处的环境，智能决策行驶的路线及遵从交通法律和法规。

在城市道路环境中的十字交通路口，一般均有标画于路面上的各种线条、箭头、文字、突起路标和轮廓标等构成的交通标线，用于管制和引导交通。为了使车辆行驶到交通路口之前，能正确的进入要行驶的车道，如车辆要左转，要提前进入左转车道；车辆要右转，需提前进入右转车道等。在车辆行驶的道路中常出现菱形，表明前方有人行横道，需减速慢行。车辆行驶中，应该遵守这些基本的交通驾驶规则，保证自身和他人的安全。

然而，目前，对地面上的交通标线识别系统研究较少，特别是在无人驾驶车和主动安全的应用中。为此，提出一种城市环境中导向交通标线的识别算法，适用于无人驾驶车和主动安全对地面标记感知的需要。

发明内容

为了克服现有技术的不足，本发明提供一种城市环境中导向交通标线识别系统及方法，实现对路面导向标识的主动认知。

本发明的技术方案是：一种城市环境中导向交通标线识别系统，其特征在于：包括图像采集单元，获取在道路上拍摄的图像信息；导向交通标线提取单元，将从图像采集单元获取的图像中导向交通标线的区域提取出来；数据库单元，存储导向交通标线标识；导向交通标线识别单元，将导向交通标线提取单元提取的导向交通标线图形与数据库单元的导向交通标线标识对比，并将图形的识别结果传给车载控制单元；车载控制单元，根据导向交通标线识别单元的识别结果做出车辆行驶指令。一种城市环境中导向交通标线识别方法，其特征在于：包括如下步骤：

步骤一、采集路面图像，并对图像进行直方图均衡化处理，增强图像对比度；

步骤二、对图像进行自适应阈值分割，根据分割后的二值图像得到交通标线的候选区域；

步骤三、将不同形状类的候选交通标线图像进行灰度化、归一化及Gabor小波变换，得到特征向量；用二维独立分量分析算法降低特征向量的维数，并利用最近邻分类算法进行分类，获得交通标线的类别；步骤四、将图像中的交通标线类型信息送入车载控制单元，车载控制单元选择正确的车道行车。

作为城市环境中导向交通标线识别方法的进一步改进，还包括如下步骤：对增强后的图像进行逆投影变换，得到场景的俯视图。

作为本方案的进一步改进：所述步骤二还包括，对采集的路面图像进行Canny边缘提取，根据分割后的二值图像和Canny边缘图像，分裂和合并二值图像，得到交通标线候选区域。

作为本方案的进一步改进：所述步骤二还包括：分裂和合并后的二值图像，是通过查找二次分割后的二值图像的连通区域，并根据区域形态学判断交通标线区域和非交通标线区域。所述区域形态学选择的区分特征是面积、宽度、高度和占空比。

本发明的有益效果是：逆透视变换后，用局部自适应阈值分割方法，分割出的交通标线感兴趣区域图像清晰，杂质较少，错误率低；根据交通标线的形状，面积，占空比等信息定位导向交通标线，交通标线正确定位率高；用Gabor小波变换表示交通标线的特征，用二维独立分量分析方法降低特征维数，最近分类器分类交通标线的类别，该方法求取的特征维数低，分类准确率高。

附图说明

图1为本发明具体实施方式的系统结构图；

图2为本发明具体实施方式的采集单元采集的原图像的平面坐标系；

图3为本发明具体实施方式的逆投影变换图像平面坐标系；

图4为本发明具体实施方式的导向交通标线的检测流程图；

图5为本发明具体实施方式的导向交通标线的识别流程图。

具体实施方式

下面对照附图，通过对实施例的描述，本发明的具体实施方式如所涉及的各构件的形状、构造、各部分之间的相互位置及连接关系、各部分的作用及工作原理、制造工艺及操作使用方法等，作进一步详细的说明，以帮助本领域技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。

(1)首先从车载相机中获取连续图像，然后直方图均衡化方法，增强图像的对比度，使图像中交通标线区域更加容易分辨。

(2)将增强后的图像进行逆投影变换，变换的具体过程如下：

假设相机安装在车辆的前方，基本与水平面保持平行，如附图2所示，首先定义两个平面坐标：

I＝{(u,v)}∈E²表示采集到的图像平面坐标系。

W＝{(x,y,z)}∈E³表示逆投影变换图像平面坐标系。

为了获得场景的俯瞰图像，定义新的映射图像V＝{(x,y,0)}∈W为图像空间W中z＝0的图像平面。设定空间W的感兴趣区域，用下列映射变换公式，将图像平面映射到平面V中：

$u(x,y,0)=\frac{(\arctan \left(\frac{x-d}{y-l}\right)-(\mathrm{\γ}-\mathrm{\α}))\×(n-1)}{2\mathrm{\α}}$

$v(x,y,0)=\frac{(\arctan \left(\frac{h}{\sqrt{{(x-d)}^2+{(y-d)}^2}}\right)-(\mathrm{\θ}-\mathrm{\β}))\×(m-1)}{2\mathrm{\β}}$

P＝(l,d,h)是相机在世界坐标平面W中坐标。如图2所示，2α和2β分别是水平和垂直视场角；γ是相机光轴和垂直坐标轴之间的角度；θ是相机光轴和地平面之间的夹角。而这些参数均需要根据相机标定结果获得。

(3)图3描述了图像分割和感兴趣区域定位的过程。用自适应阈值分割法来分割图像。具体步骤为先在像素的邻域b×b内，有：

$t(x,y)=\left(\frac{\underset{i=-(b-1)/2}{\overset{(b-1)/2}{\mathrm{\Σ}}}p(x+i,y+i)\×w_{(x+i,y+i)}}{\underset{i=-(b-1)/2}{\overset{(b-1)/2}{\mathrm{\Σ}}}{w}_{(x+i,y+i)}}\right)-c,i\≠0$

则通过判断p(x,y)和t(x,y)值的大小，来分割图像，得到二值图像s(x,y)：

$s(x,y)=\left\{\begin{array}{cc}1,& p(x,y)>t(x,y)\\ 0,& p(x,y)\≤t(x,y)\end{array}\right.$

p(x,y)为像素(x,y)的灰度值，t(x,y)记为局部自适应阈值。w_(x+i,y+i)是像素(x+i,y+i)的权值。

但此时交通标线会因车辆，树荫，建筑物等的遮挡，分割到的交通标线可能会被分割成两个部分，或者和其它一些杂质连接在一起。为了进一步区分交通标线和背景图像，用Canny提取图像的边缘。并结合边缘图像和阈值分割后的二值图像，将二值图像进行分裂和合并，提取并保留疑似交通标线的区域。

查找二值图像的连通区域，记为CR_j，j＝1,…，N。假设连通区域的面积，宽度和高度分别是CA_j，CW_j，CH_j，定义宽高比：

CRAR_j＝CW_j/CH_j

占空比：

CRS_j＝CA_j/(CW_j×CH_j)

若连通区域满足：

$\left\{\begin{array}{c}{\mathrm{CA}}_j<{\mathrm{TA}}_h\&cap;{\mathrm{CA}}_j>{\mathrm{TA}}_l\\ {\mathrm{CRAR}}_j<{\mathrm{TAR}}_h\&cap;{\mathrm{CRAR}}_j>{\mathrm{TAR}}_l\\ {\mathrm{CRS}}_j>\mathrm{TCRS}\end{array}\right.$

则将该区域确定为交通标线候选区域。其中TA_h，TA_l，TAR_h，TAR_l，TCRS是对应的阈值。

(4)为了分类候选区域的交通标线类型，采用如图4所示的交通标线识别流程图，首先将候选区域归一化为30×30大小的图像，利用二维Gabor小波：

$G_{u,v}(x,y)=G_{\stackrel{\&OverBar;}{k}}(x,y)=\frac{{\left|\stackrel{\&OverBar;}{k}\right|}^2}{{\mathrm{\&sigma;}}^2}\exp \{-\frac{{\left|\stackrel{\&OverBar;}{k}\right|}^2{\left|(x,y)\right|}^2}{{\mathrm{\&sigma;}}^2}\}\&times;\left(\exp \right\{i\stackrel{\&OverBar;}{k}(x,y)\}-\exp \{-\frac{{\mathrm{\&sigma;}}^2}{2}\left\}\right)$

其中，(x,y)是空间域中点的坐标，σ是Gaussian包络的标准差，决定了高斯包络下的振荡数。|·|是向量模。小波向量是：

$\stackrel{\&OverBar;}{k}=k_u{e}^{i{\mathrm{\&phi;}}_v}$

其中k_u＝k_max/f^u，φ_v＝(v×π)/6，k_max是最大频率，取k_max＝π/2。f^u是频域中函数核的间距因子。参数u,v分别是Gabor核的尺度和方向。取用6个方向和6个尺度Gabor小波变换对图像进行处理，获得36个Gabor函数图像。取每幅Gabor小波图像的幅值作为候选区域图像的特征。对特征进行采样，并归一化为[0,1]之间的数值。

在识别交通标线类型之前，提取10类导向交通标线的模板库，并建立其对应的Gabor小波特征库，每幅图像可以提取出3600维特征。为了降低特征数量，用2维独立分量分析算法降低特征的冗余度，提高特征之间的独立性。

假设每类交通标线的模板库特征为χ_j＝{χ_ij,i＝1,2,…，N_j}，χ_ij∈R^n×n，其中N_j模板个数。假设模板库样本图像的平均特征为则模板库样本库的协方差矩阵有：

$\mathrm{\&Sigma;}=\frac{1}{F\&times;L}\underset{j=1}{\overset{F}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{N_j}{\mathrm{\&Sigma;}}}{({\mathrm{\&chi;}}_{\mathrm{ij}}-\stackrel{\&OverBar;}{\mathrm{\&chi;}})}^T({\mathrm{\&chi;}}_{\mathrm{ij}}-\stackrel{\&OverBar;}{\mathrm{\&chi;}})$

其中F＝10，表示10类导向交通标线，L为每类内的交通标线模板数。

用奇异值分解法对Σ分解，满足Σ＝UΛU^T，Λ＝diag(λ₁，λ₂，…，λ_n)，满足λ_j≥λ_j11，U为特征向量组成的正交阵。本文取r＝10个最大特征值Λ_r＝diag(λ₁，λ₂，…，λ_r)及其对应的特征向量U_r＝[u₁,u₂,…，M_r])构造白化矩阵为了降低模板特征χ_ij的冗余度，需求取优化映射矩阵S＝(s₁,s₂,…,s_r)，r为其独立向量的个数，s_i的均值必须为0，方差为1的非高斯分布。令z＝EΣ^T，有

$S=W\&times;{\mathrm{\&Lambda;}}_r^{-1/2}\&times;U_r^T$

其中W是分离矩阵。用得到的优化特征向量矩阵S＝(s₁，s₂，…，s_r)来提取特征。对于样本库中的每个图像特征有：

$Y=({\mathrm{\&chi;}}_{\mathrm{ij}}-{\stackrel{\&OverBar;}{\mathrm{\&chi;}}}_j)S$

即

$[Y_1,Y_2,...,Y_r]=({\mathrm{\&chi;}}_{\mathrm{ij}}^1-{\stackrel{\&OverBar;}{\mathrm{\&chi;}}}^1,{\mathrm{\&chi;}}_{\mathrm{ij}}^2-{\stackrel{\&OverBar;}{\mathrm{\&chi;}}}^2,...,{\mathrm{\&chi;}}_{\mathrm{ij}}^n-{\stackrel{\&OverBar;}{\mathrm{\&chi;}}}^n)\left[\begin{array}{c}{s}_1^T\\ s_2^T\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ s_r^T\end{array}\right]$

映射特征向量Y₁,Y₂,…,Y_r即为样本特征χ_ij的独立主分量。样本χ_i的特征矩阵可以降为n×r矩阵B＝(Y₁,Y₂,…,Y_r)。送入最近邻分类算法对其进行分类。

假设现有的导向交通标线有c_i,i＝1,2,…,F，每类均有L_i个训练样本：

$B_j^{\left(i\right)}=[Y_1^{\left(i\right)},Y_2^{\left(i\right)},...,Y_r^{\left(i\right)}],j=\mathrm{1,2},...,N_i$

而是训练样本的总个数。

假设测试样本的特征为B，c_i的距离决策函数定义为：

$D_i(B,B_j^{\left(i\right)})=\sqrt{{(B-B_j^{\left(i\right)})}^T(B-B_j^{\left(i\right)})}=\underset{k=1}{\overset{r}{\mathrm{\&Sigma;}}}{\left|\right|Y-Y_j^{\left(i\right)}\left|\right|}_2$

其中||·||₂为两个向量间的欧式距离。令

$D_k\left(B\right)\underset{i=\mathrm{1,2},...,F}{\min }\left\{D_i(B,B_j^{\left(i\right)})\right\}$

则可用下列判断规则，判断导向交通标线感兴趣区域的类型信息。

其中，T_L为相似性阈值，以区分是否为导向交通标线，以排除一些误检区域的干扰。这种方法可以较好的分类导向交通标线的类别信息，且误识别率均较低，对城市环境中的导向交通标线识别非常有效。

(5)将图像中的交通标线类型信息送入决策系统中，根据前方道路中的交通标线导线信息，选择合适的车道行车，以遵守城市内的交通规则。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (6)

1.一种城市环境中导向交通标线识别系统，其特征在于：包括

图像采集单元，获取在道路上拍摄的图像信息；

导向交通标线提取单元，将从图像采集单元获取的图像中导向交通标线的区域提取出来；

数据库单元，存储导向交通标线标识；

导向交通标线识别单元，将导向交通标线提取单元提取的导向交通标线图形与数据库单元的导向交通标线标识对比，并将图形的识别结果传给车载控制单元；

车载控制单元，根据导向交通标线识别单元的识别结果做出车辆行驶指令。

2.根据权利要求1所述的城市环境中导向交通标线识别方法，其特征在于：包括如下步骤：

步骤一、采集路面图像，并对图像进行直方图均衡化处理，增强图像对比度；

步骤二、对图像进行自适应阈值分割，根据分割后的二值图像得到交通标线的候选区域；

步骤三、将不同形状类的候选交通标线图像进行灰度化、归一化及Gabor小波变换，得到特征向量；用二维独立分量分析算法降低特征向量的维数，并利用最近邻分类算法进行分类，获得交通标线的类别；步骤四、将图像中的交通标线类型信息送入车载控制单元，车载控制单元选择正确的车道行车。

3.根据权利要求2所述的城市环境中导向交通标线识别方法，其特征在于：还包括如下步骤：对增强后的图像进行逆投影变换，得到场景的俯视图。

4.根据权利要求2所述的城市环境中导向交通标线识别方法，其特征在于：所述步骤二还包括，对采集的路面图像进行Canny边缘提取，根据分割后的二值图像和Canny边缘图像，分裂和合并二值图像，得到交通标线候选区域。

5.根据权利要求4所述的城市环境中导向交通标线识别方法，其特征在于：所述步骤二还包括：分裂和合并后的二值图像，是通过查找二次分割后的二值图像的连通区域，并根据区域形态学判断交通标线区域和非交通标线区域。

6.根据权利要求5所述的城市环境中导向交通标线识别方法，其特征在于：所述区域形态学选择的区分特征是面积、宽度、高度和占空比。