CN1945596A - 用于车道偏离报警的车道线鲁棒识别方法 - Google Patents

Abstract

用于车道偏离报警的车道线鲁棒识别方法，该识别方法首先对感兴趣的左、右两个局部窗口进行有条件的边缘检测，之后构建相应的梯度方向映射表；进而，根据所提出的梯度方向直方图处理方法，确定每个局部窗口车道线边缘点的梯度方向范围；然后，针对车道线边缘点在方位和空间上的连续性特征，提出了车道线边缘候选点集与有效点集的筛选算法并对每个局部窗口进行了筛选；最后，对已确定的每个局部窗口相应的有效点集，通过提出的基于标量化处理Kalman滤波方法实现了车道左、右标志线特征参数的快速准确提取。本发明提出的识别方法具有良好的实时性、环境适应力和抗干扰能力。

Description

用于车道偏离报警的车道线鲁棒识别方法

                            技术领域

本发明涉及一种能够实时识别高速公路上汽车所行进车道左、右标志线的图像处理方法，其目的在于确定汽车与车道相对关系，对汽车是否偏离车道行驶进行实时监测与报警，避免车道偏离交通事故的发生，属于汽车主动安全技术领域。

                            背景技术

随着交通及汽车工业的快速发展，全世界高速公路里程数及汽车保有量在迅速增加，由汽车高速行驶引发的交通事故也急剧增加，造成巨大的经济损失和人员伤亡。据统计，每年全世界的公路交通事故中大约有1000万人受伤，其中重伤300万人，死亡40万人左右，这些交通事故直接造成的经济损失约占全世界GDP的13％。人机工程学的研究表明，交通事故是在人—车—道路环境系统中产生不稳定或不平衡时发生的。道路交通事故的直接或间接原因包括人、车、路及各种环境因素。其中，驾驶员疲劳驾驶、酒后驾驶以及其它精力不集中情况下驾驶操作失误而引发车辆偏离车道行驶是造成重大交通事故的主要因素。根据美国联邦公路局的估计，美国2002年所有致命的交通事故中44％是跟车道偏离有关，同时车道偏离也被看成车辆侧翻事故的主要原因。为了有效减少和避免车道偏离交通事故的发生，美、日、德、意等发达国家高度重视车道偏离报警的研究，先后开展了相关的研究工作。

综合国外现有的研究情况，车道偏离报警系统主要有以下几种实现方式：机器视觉系统、基于磁引导信号的系统、激光系统和ITS基础设施系统。它们的主要区别在于感知方式的不同：机器视觉系统采用计算机视觉技术识别车道线，进而可确定汽车和行驶车道的相对位置；基于磁引导信号的系统属于ITS安全系统的范畴，它通过在高速公路车道表面埋设磁信号发射装置，利用车上的磁感知传感器获取车道和车辆间的位置信息；激光系统则通过激光装置发射的激光束检测车道位置，并对车辆的横向位置进行评价；ITS基础设施属于ITS交通安全系统的硬件范畴，比如在弯道附近设置速度警示信号牌。同其它方式相比，机器视觉具有检测范围广、信息容量大、成本低廉等诸多优势，成为目前研究和开发的主流，典型代表如Iteris公司AutoVue、AssitWare公司的SafeTRAC、Infiniti的LDW等，它们均采用视觉技术识别汽车当前行进车道的标志线并作为实现车道偏离报警的基础。但出于商业考虑，国外这些公司作为机密不对外公开其中的关键技术，而国内对此尚处于探索性的基础研究阶段，还没有研发出类似产品。

作为车道偏离报警的基本环节，车道线的识别也是其中最关键的技术。由于道路环境的复杂多变性，车道线的识别方法不仅应具有良好的实时性，还应具有良好地适应天气和光线等环境变化的能力以及抗各种噪声和干扰的能力，这也是提高车道偏离报警的工作可靠性、避免不必要的虚警与漏警的前提保证。因此，车道线识别方法的重点和难点在于如何协调处理好识别方法的实时性、鲁棒性和可靠性。现有的相关研究仍不能很好地解决这些问题，需要继续进行深入的研究。本发明将提供一种能够很好地解决这些问题的车道线实时鲁棒识别方法。

                            发明内容

技术问题：本发明的主要技术问题在于针对高速公路上车道偏离报警的要求，提出一种既具有良好实时性，又具有较强环境自适应能力和抗干扰能力的车道标志线实时鲁棒识别方法。

                            技术方案：

一种用于车道偏离报警的车道线鲁棒识别方法，其特征在于

①首先，对车道线所在的左、右两个局部窗口内满足一定条件的图像点进行Sobel边缘检测，不满足这些条件的图像点不进行边缘检测并置为零灰度，之后构建相应的梯度方向映射表及进行二值化处理，进行边缘检测的组合条件为：

(DectNum≤2)<and>(nei_ave_gray[i][j]＞th1)<and>(diff_x[i][j]＞th2)DectNum为每行已边缘检测的次数，在每行进行边缘检测前将其初始化为1；nei_ave_gray[i][j]为图像[i][j]周围3×3领域的平均灰度值

$\mathrm{nei}\_\mathrm{ave}\_\mathrm{gray}\left[i\right]\left[j\right]=\frac{1}{9}\underset{n=j-1}{\overset{j+1}{\mathrm{\&Sigma;}}}\underset{m=i-1}{\overset{i+1}{\mathrm{\&Sigma;}}}\mathrm{gray}\left[m\right]\left[n\right],$

gray[m][n]为图像[m][n]处的灰度值；th1是按照行扫描所确定的行灰度阈值，该行灰度阈值为行扫描确定的行灰度均值；diff_x[i][j]为图像[i][j]处沿OX方向的一阶微分，当检测车道右标志线时，

$\mathrm{diff}\_x\left[i\right]\left[j\right]=\underset{m=i}{\overset{i+2}{\mathrm{\&Sigma;}}}\mathrm{grad}\left[m\right]\left[j\right]-\underset{n=i-3}{\overset{i-1}{\mathrm{\&Sigma;}}}\mathrm{grad}\left[n\right]\left[j\right],$

而当检测车道左标志线时，

$\mathrm{diff}\_x\left[i\right]\left[j\right]=-\left(\underset{m=i}{\overset{i+2}{\mathrm{\&Sigma;}}}\mathrm{grad}\right[m\left]\right[j]-\underset{n=i-3}{\overset{i-1}{\mathrm{\&Sigma;}}}\mathrm{grad}[n\left]\right[j\left]\right);$

th2为微分阈值，取值为一个4～8内的非负整数；而边缘检测的方式是逐行进行的，且对于左局部窗口是从右到左，对于右局部窗口是从左到右，

上述梯度方向映射表的构造方法为：在内存中分别开辟两个与左、右局部窗口相对应的区域，它们分别存储了与左、右两个局部窗口内各图像点相对应的梯度方向值；

②进而，根据所提出的梯度方向直方图处理方法，确定每个局部窗口车道线边缘点的梯度方向范围，每个局部窗口梯度方向范围的确定方法为：

步骤1将梯度方向化为L个离散的级别，并定义梯度方向统计直方图函数为

$p_{\mathrm{\&theta;}}\left({\mathrm{\&theta;}}_k\right)=\frac{n_k}{n}$ k＝0，1，2，…，L-1

式中，n_k为局部窗口相对应的梯度方向映射表中θ_k级出现的次数，n为局部窗口相对应的梯度方向映射表中的总元素数。根据上述梯度方向统计直方图函数的定义，以梯度方向θ为横坐标、P_θ(θ_k)为纵坐标，得到一个与局部窗口相对应的梯度方向直方图，该梯度方向直方图具有单峰的特性，

步骤2利用一般直方图的统计算法，确定梯度方向直方图的峰值以及峰值所对应的梯度方向范围等，

③然后，针对车道线边缘点在方位和空间上的连续性特征，提出了车道线边缘候选点集与有效点集的筛选算法并对每个局部窗口进行了筛选，每个局部窗口内的筛选算法包括两个步骤，先确定候选点集，属于粗选，再针对各候选点集确定有效点集，即精选：

确定候选点集的粗选过程：将局部窗口内的各候选点归入到某个相邻点距离很近的候选点集中，具体步骤为

步骤1对于满足θ∈[θ₁，θ₂]条件的局部窗口内的各图像点作为候选点，不满足上述条件的图像点不作为候选点，其中，θ为存储在该局部窗口相对应的梯度方向映射表中的图像点梯度方向，[θ₁，θ₂]是根据该局部窗口对应的梯度方向直方图所确定的车道线边缘点的梯度方向范围，

步骤2按照从下至上、从左至右逐行扫描的方式，计算当前候选点与各候选点集中最近点的距离，若与某候选点集最近点的距离小于某一阈值，该阈值在3～7之间取值，就将当前候选点归入到该候选点集，否则以这个当前候选点为起点建立一个新的候选点集，并记录该点集的产生序号，如此循环直到完成整个局部窗口图像，设经过上述粗选，先后可以得到第1至第l个候选点集，

确定有效点集的精选过程：对于已确定的局部窗口内的l个候选点集，确定其中的有效点集，具体步骤为

步骤1确定或计算每一个候选点集的基本属性特征，包括点数、起点坐标、终点坐标、以及起点和终点所确定的直线斜率，

步骤2确定局部窗口内近视野车道线直线参数：将局部窗口图像隔行隔列抽取以构成一幅新图像，然后再对缩小的新图像实施直线Hough变换以快速提取近视野内车道标志线的直线参数，即采用变精度直线Hough变换策略确定近视野内车道标志线的直线参数，若提取速度仍然不快，可按照同样的方法做进一步的抽取与变换处理，

步骤3搜索第一个有效点集 按递增顺序判别第i(i＝1，...，l)个候选点集的有效性：若n_i＞N_th<and>d_i，sp＜D_th<and>d_i，ep＜D_th，则第i个候选点集为第一个有效点集，记下此时的点集位置序号u(即u＝i)，退出搜索；否则继续搜索，其中，n_i为第i个候选点集的点数，N_th为点数阈值，该点数阈值在5～8内取值，d_i，sp、d_i，ep分别表示第i个候选点集的起点、终点到步骤2所确定直线的距离，D_th为距离阈值，该距离阈值在4～8内取值，

步骤4确定其它有效点集 初始化当前有效点集标识号i＝u，按递增顺序依次对第j(j＝u+1，...，l)个候选点集的有效性进行判别：若|k_i-k_i，j|＜k_th<and>|k_j-k_i，j|＜k_th，则第j个候选点集为有效点集，并令其为当前有效点集，即令i＝j；否则为无效点集，其中，k_i表示由第i个候选点集，即当前有效点集的起点与终点所确定的直线斜率，k_j表示由第j个候选点集的起点与终点所确定的直线斜率，k_i，j表示由第i个候选点集的终点与第j个候选点集的起点所确定的直线斜率，k_th表示斜率差阈值，该斜率差阈值在0.15～0.3内取值，

④最后，对已确定的每个局部窗口相应的有效点集，通过提出的基于标量化处理Kalman滤波方法实现了车道左、右标志线特征参数的快速准确提取，每个局部窗口内车道线特征参数的标量化处理Kalman滤波提取方法为：

步骤1将局部窗口内的所有有效点集合并为一个新点集，这个新点集被称为特征点集，其点数m等于局部窗口内的所有有效点集的点数之和，

步骤2建立关于该局部窗口内车道标志线的3个特征参数的Kalman滤波方程

$\left\{\begin{array}{c}{X}_k=X_{k-1}+W_k\\ Z_k=H_k{X}_k+V_k\end{array}\right.---\left(1\right)$

式中，角标k表示k时刻，X_k为系统状态向量，对于左局部窗口 $X_k={\left[\begin{array}{c}{a}_L\\ b_L\\ c_L\end{array}\right]}_k,$ 其中a_L、b_L与c_L分别为车道左标志线的二次曲线描述模型的常数项、一次项系数和二次项系数，而对于右局部窗口 $X_k={\left[\begin{array}{c}{a}_R\\ b_R\\ c_R\end{array}\right]}_k,$ 其中a_R、b_R与c_R分别为车道右标志线的二次曲线描述模型的常数项、一次项系数和二次项系数；观测阵 $H_k=\left[\begin{array}{ccc}1& y_1& y_1^2\\ 1& y_2& y_2^2\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ 1& y_m& y_m^2\end{array}\right],$ 观测向量 $Z_k=\left[\begin{array}{c}{x}_1\\ x_2\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ x_m\end{array}\right],$ x_i和y_i为局部窗口所对应的特征点集中第i个点的图像坐标值；W_k、V_k是互不相关的零均值系统白噪声和观测白噪声，二者相对应的系统噪声方差阵Q_k与测量噪声方差矩阵R_k均为常对角阵，

步骤3对于式(1)所描述的系统，采用标量化处理卡尔曼滤波方法实现对局部窗口内车道标志线特征参数的提取，提取过程为先进行时间更新，再进行测量更新。时间更新按标准卡尔曼滤波进行，而测量更新采用标量化处理方法，即

时间更新：

状态一步预测方程 ${\hat{X}}_{k,k-1}={\hat{X}}_{k-1}$ (符号∧表示计算值)

一步预测误差方差阵    P_k，k-1＝P_k-1+Q_k

测量更新：

令P₁＝P_k，k-1， ${\hat{X}}_1={\hat{X}}_{k,k-1},$ 将H_k、Z_k和R_k阵分块，即 $H_k=\left[\begin{array}{c}{H}_1\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ H_m\end{array}\right],$ $Z_k=\left[\begin{array}{c}{Z}_1\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ Z_m\end{array}\right],$

对于i＝1，…，m，进行m次递推计算：

$K_i=\frac{P_i\&CenterDot;H_i^T}{H_i{P}_i{H}_i^T+R_i}$

${\hat{X}}_{i+1}={\hat{X}}_i+K_i(Z_i-H_i{\hat{X}}_i)$

P_i+1＝(I-K_i·H_i)·P_i

最终可得P_k＝P_m+1， ${\hat{X}}_k={\hat{X}}_{m-1},$ 而

包含的3个分量即为待提取的车道标志线的3个特征参数：对于车道左标志线为此、a_L、b_L、与c_L，而对于车道右标志线为a_R、b_R与c_R。

有益效果：

1. 针对高速公路上汽车的车道保持要求而提出，能够有效减少和避免车道偏离交通事故的发生，提高汽车的主动安全性能。

2.处理速度快，实时性好。识别方法中采用的局部窗口处理技术、变精度Hough变换策略、Kalman滤波过程的标量化处理技术等提高了识别方法的处理速度，保证了实时性。

3.识别可靠性高，抗干扰能力强。识别方法充分考虑并利用了车道线图像特征，制定了有效的筛选算法和滤波算法，能够排除路面上的斑马线、限速标识、文字、方向指示标志、隔离带、护栏、其它车辆等各种干扰，准确识别出连续或间断的车道线。

4.良好的环境适应能力。识别方法采用了自适应图像多阈值分割技术，能够适应复杂多变的天气和光线条件，包括晴天、阴雨天、夜晚等。

附图说明

图1是图像坐标系和局部窗口位置示意图。

图2是本发明提出的车道标志线识别方法的流程图。

图3是梯度方向映射表。

图4是单个局部窗口相对应的梯度方向直方图。

图5～图36是各种干扰作用下及不同光线天气情况下的车道线识别结果图，其中：

图5是汽车靠车道左侧行驶时对连续的车道线的识别结果，周边还有其它车辆干扰；

图6是对间断的车道标志线的识别结果，周边还有其它车辆的干扰；

图7是车道前方存在其它车辆干扰时的识别结果；

图8是车道上有大量斑马线干扰时的识别结果；

图9是紧邻车道的外侧有较长白色隔离带干扰时的识别结果；

图10～图11是车道上有方向引导标志干扰时的识别结果；

图12～图14是车道上有方向引导标志、车道外侧有白色隔离带干扰时的识别结果；

图15是车道上有白色限速带时的识别结果；

图16～图18是车道上有文字干扰时的识别结果；

图19是通过桥洞时的识别结果(光线在瞬间发生了剧烈变化)；

图20是车道上有“◇”形干扰时的识别结果；

图21是车道线已严重污损、变得模糊不清时的识别结果(尤其是右侧标志线)；

图22是车道前方存在其它车辆且外侧有隔离带干扰时的识别结果；

图20～图22同时又是在阴天对车道线的识别结果；

图23～图24是在夜晚对间断和连续车道线的识别结果；

图25～图27是在夜晚对车道上有方向引导标志干扰时的识别结果；

图28是在夜晚对车道上有方向引导标志且外侧有隔离带干扰时的识别结果；

图29～图32是在夜晚周边车辆发出强光干扰时的识别结果；

图33～图34是在夜晚车道前方有强光干扰时的识别结果；

图35是夜晚经过涵洞、车道外侧有隔离带时的识别结果；

图36是夜晚对受到污损而变得模糊不清的车道线的识别结果。

                        具体实施方式

为适应高速公路上高速行进汽车的车道保持要求，图像识别算法应能够及时准确可靠地识别出汽车当前所行驶车道的左、右标志线，这也是实现车道偏离报警的前提和基础。因此，车道线的识别算法应同时具备实时性与鲁棒性。实时性是指识别算法的处理能力必须要和车辆的行驶同步进行；鲁棒性则要求识别算法对复杂多变的天气条件、各种干扰和道路状况具有良好的适应能力。对于车道线图像，可归纳出下面几点重要特征：

(1)对于结构化高等级公路，车道标志线边缘呈现出较强的规律性，是其基本的图像特征。因此，采用基于边缘的方法，即先检测车道标志线的边缘，然后再恢复整个道路轮廓，是行之有效的检测办法。

(2)通常，待识别的车道左、右标志线信息主要集中于图像的中部，而图像的周边主要是一些无用信息，如障碍物、其它车道、护栏、沟槽等。为提高识别算法的实时性，并最大限度地减少这些无用信息及噪声可能造成的对当前车道标志线识别的影响，可以只处理感兴趣的局部窗口，而不是整幅图像。并且可针对车道的左、右标志线分别建立两个局部窗口，考虑到摄像机的透视投影，每个感兴趣的局部小窗口可取为梯形结构。

(3)高速公路路面具有较大的平曲线半径，通常大于1000m。因此，选取抛物线型的二次曲线作为车道左、右标志线的描述模型，不仅具有足够的描述精度，而且计算量适中，实时性易于得到保证，即在图像坐标系OXY下(图1)，当前车道左或右标志线可描述为

x＝a_i+b_iy+c_iy²

式中，a_i、b_i、c_i就是待提取的车道左(i＝L)或右(i＝R)标志线的特征参数，。

(4)根据车道标志线和汽车运动的连续性特征，将之前已经识别的结果形成预测信息，即根据已识别结果计算下一步需要处理的、感兴趣的局部窗口在图像中的位置。这样可以进一步缩短搜索识别时间，提高识别的效率和可靠性。因此，在较快的图像处理速度下，相继图像上的车道线位置变化不大，左、右两个局部窗口在图像中的位置可根据前帧获取的车道左、右标志线信息确定。

根据车道标志线图像的上述特征，本发明采用的技术方案，即本发明提出的车道线实时鲁棒图像识别方法如图2所示。该识别方法首先对感兴趣的左、右两个局部窗口进行有条件的边缘检测，之后构建相应的梯度方向映射表；进而，根据所提出的梯度方向直方图处理方法，确定每个局部窗口车道线边缘点的梯度方向范围；然后，针对车道线边缘点在方位和空间上的连续性特征，提出了车道线边缘候选点集与有效点集的筛选算法并对每个局部窗口进行了筛选；最后，对已确定的每个局部窗口相应的有效点集，通过提出的基于标量化处理(scalarmeasurement processing)Kalman滤波方法实现了车道左、右标志线特征参数的快速准确提取。

实施实例1

针对高速公路车道图像特征，本发明提出了一种具有良好实时性、抗干扰能力和环境适应能力的汽车当前行进车道的左、右标志线识别方法(总流程见图2)，该方法主要包括下面几个步骤：

1.确定左、右局部窗口位置

两个待处理的局部窗口(见图1)在图像坐标系OXY中的位置可根据前帧获取的车道左、右标志线特征参数信息计算确定。对于感兴趣的左移动局部窗口，为便于处理，可事先将该梯形窗口的上、下底位置固定，即上、下底的y坐标事先都取为适当的常值，再根据事先确定的上、下底宽度以及前帧获取的车道左标志线直线描述模型(即忽略二次项后的余项)x＝a_L+b_Ly，通过简单的几何运算即可确定该梯形窗四个定点的位置；同理，可确定右边移动局部窗口的位置。局部窗口的上、下底宽度的取值应适当，如对于大小为384×288的图像，上底宽度可在80～100取值，下底宽度可在间取值100～130。

接下来的车道当前左、右标志线的图像识别过程就是分别针对左、右两个局部窗口进行的。

2.边缘检测、梯度方向计算及图像二值化

对于高速公路上的车道线，边缘特征是其最基本的图像特征，这也是采用边缘检测来提取车道线的基本依据。此外，车道标志线还具有下面的特征：

(1)由于光照、阴影及视距远近等多种不确定因素的影响，图像中车道标志线的灰度值可能发生较大的变化。但对于移动窗口的每一行而言，车道标志线通常具有比周围环境更高的亮度。

(2)车道标志线的边缘是由大致沿水平走向的边缘和大致沿竖直走向的边缘组成的。对于车道标志线识别而言，只有大致沿竖直走向的标志线左边缘或右边缘才对识别有用。

(3)为保持一致，对于当前车道的左、右标志线，均识别它们的内边缘，即识别当前车道左标志线的右边缘以及右标志线的左边缘。

为进行有效合理的边缘检测，在进行左、右两个局部窗口车道线边缘检测时，应充分利用上述图像特征，不仅有利于提高实时性，还能最大程度地保证识别的准确性和可靠性。

下面首先讨论右边局部窗口的处理过程。右边局部窗口的边缘检测是按照从左到右的顺序逐行进行的，且对于右边局部窗口，根据上述车道线图像特征，制定以下进行边缘检测的组合判别条件，对于不满足下面条件的像素不进行边缘检测并置为零灰度

DectNum≤2                                                     ①

<and>nei_ave_gray[i][j]＞th1                                   ②

<and>diff_x[i][j]＞th2                                         ③

对于条件①，DectNum为每行已边缘检测的次数，在每行进行边缘检测前将其初始化为1。通过该条件实现了对每行进行最多2次的边缘检测，这主要是为了最大程度上避免对干扰点的检测。在条件②中，nei_ave_gray[i][j]为图像[i][j]周围3×3领域的平均灰度值，即

$\mathrm{nei}\_\mathrm{are}\_\mathrm{gray}\left[i\right]\left[j\right]=\frac{1}{9}\underset{n=j-1}{\overset{j+1}{\mathrm{\&Sigma;}}}\underset{m=i-1}{\overset{i+1}{\mathrm{\&Sigma;}}}\mathrm{gray}\left[m\right]\left[n\right]$

gray[m][n]为图像[m][n]处的灰度值。th1是按照行扫描所确定的行灰度阈值(即行扫描确定的行灰度均值)。按行阈值对图像进行分割，从本质上讲是一种自适应多阈值分割技术，它充分考虑了图像灰度变化的局部特性，避免了采用单一阈值分割效果不佳的弊端。同时，将[i][j]领域的平均灰度值代替该点的灰度值作为判别依据可以极大地消除噪声的干扰，具有平均值滤波的效果，但又不需要额外的滤波处理，保证了实时性。对于条件③，diff_x[i][j]为图像[i][j]处沿OX方向的一阶微分，为避免图像噪声的影响，其计算采用

$\mathrm{diff}\_x\left[i\right]\left[j\right]=\underset{m=i}{\overset{i+2}{\mathrm{\&Sigma;}}}\mathrm{grad}\left[m\right]\left[j\right]-\underset{n=i-3}{\overset{i-1}{\mathrm{\&Sigma;}}}\mathrm{grad}\left[n\right]\left[j\right]$

th2为微分阈值，由于要检测车道右标志线的左边缘，th2可取为一较小的非负整数(4～8)。只检测车道线的单侧边缘还有利于后续的特征参数实现快速、准确的提取。

边缘检测的梯度算子有很多，主要区别在于所采用的掩模模板和系数不同。为达到快速检测的目的，这里采用快速、实用并具有一定噪声抑制能力的Sobel梯度算子，相应地，梯度幅值的算式为

$\left\{\begin{array}{c}{\mathrm{\&Delta;}}_{x}f(x,y)=[f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1)]\\ {\mathrm{\&Delta;}}_{y}f(x,y)=f[(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)]-f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]\\ G_M(x,y)=\left|{\mathrm{\&Delta;}}_{x}f(x,y)\right|+\left|{\mathrm{\&Delta;}}_{y}f(x,y)\right|\end{array}\right.$

上式中，G_M(x，y)、Δ_xf(x，y)、Δ_yf(x，y)分别表示图像(x，y)处的梯度幅值、OX向差分、OY向差分，而f(x，y)为图像灰度值函数。为进行后续的梯度方向直方图统计，在上述边缘检测的同时，还要计算各分割点的梯度方向

θ＝arctan[Δ_yf(x，y)/Δ_xf(x，y)]                                (1)为保证图像点与它的梯度方向相对应，本发明构建一个与右边局部窗口图像大小一致的梯度方向二维映射表(图3)。图3中右边的映射阵列就存储了与原窗口图像相对应的各点梯度方向值。

为便于接下来的图像处理工作，还需根据边缘检测的幅值大小对右边局部窗口图像进行二值化处理。二值化后的图像比灰度图像存储容量小，计算速度快，目标识别的针对性更强，便于进一步的车道右标志线识别。

左边局部窗口的边缘检测、梯度方向映射表的构造以及二值化与右边局部窗口的处理类似，区别在于其边缘检测顺序是从右到左，且边缘检测条件③中的diff_x[i][j]计算公式变为

$\mathrm{diff}\_x\left[i\right]\left[j\right]=-\left(\underset{m=i}{\overset{i-2}{\mathrm{\&Sigma;}}}\mathrm{grad}\right[m\left]\right[j]-\underset{n=i-3}{\overset{i-1}{\mathrm{\&Sigma;}}}\mathrm{grad}[n\left]\right[j\left]\right).$

3.梯度方向直方图统计

应当指出，梯度方向直方图概念是本发明针对车道标志线图像特征而提出的，具有特定的含义。其思想来源于常见的灰度直方图概念。灰度直方图表示图像中具有某种灰度级的像素的个数，反映了图像中每种灰度级出现的频率。

对于平曲线半径较大的结构化高速公路(平曲线半径通常大于1000m)，车道的每条标志线都呈现出规律性的缓慢连续变化，在图像上则表现为其左或右边缘上各点的梯度方向比较集中。而经过第2节所述边缘检测的图像则主要保留了车道左标志线的右边缘信息和车道右标志线的左边缘信息，同时不可避免的存在一些干扰。因此，只要能够确定较为密集的车道左或右标志线边缘的梯度方向，再根据图3所示的梯度方向映射关系就可以消除那些在梯度方向上存在明显差异的干扰。这种车道左或右标志线边缘梯度方向密集的特性反映在图3右边的梯度方向映射表中则表现为在某一角度范围内出现的点数较多，即频率较高。为处理的方便，这里借鉴灰度直方图的概念与思想，将梯度方向θ化为L个离散的级别，并定义梯度方向统计直方图函数为

$p_{\mathrm{\&theta;}}\left({\mathrm{\&theta;}}_k\right)=\frac{n_k}{n}$ k＝0，1，2，…，L-1                                              (2)

式中，n_k为某局部窗口相对应的梯度方向映射表中θ_k级出现的次数，n为该局部窗口相对应的梯度方向映射表的总元素数。若以θ为横坐标，P_θ(θ_k)为纵坐标，无论是左局部窗口还是右局部窗口，都可以得到一个相应的梯度方向直方图，如图4所示。根据前面的分析，每个局部窗口对应的梯度方向直方图具有单峰的特性。据此，搜寻出该梯度方向直方图的峰值以及相应的梯度方向角度范围，即利用直方图统计算法，可方便地实现对该梯度方向直方图的统计分析与处理。

当然，需要分别针对左、右两个局部窗口确定它们各自的梯度方向范围，以便能够进行后续的候选点集的确定。

4.候选点集与有效点集的确定

二值化后的每个局部窗口图像还存在许多干扰点，因此，有必要对图像上的点进行筛选。筛选的主要依据是无论是连续或者间断的车道标志线，其边缘上的点具有很强的相关性。这种相关性表现在其边缘上任意一组点集所构成的边界线与边缘上其余点所形成的边界线在距离和方向上都十分相近。

每个局部窗口的筛选都包括两个步骤：先确定候选点集，属于粗选，再针对各候选点集确定有效点集，即精选。粗选过程体现了车道标志线边缘的方向连续性，而精选过程则反映了空间连续性。通过这两步筛选可有效去除许多干扰的影响，并最大程度上保留局部窗口内的车道线边缘点的。具体筛选时，可针对左、右两个局部窗口分别进行粗选和精选。

对于每个局部窗口，确定其候选点集的粗选过程就是将该局部窗口内的各候选点归入到某个相邻点距离很近的候选点集中，具体步骤为

步骤1对于满足θ∈[θ₁，θ₂]条件的局部窗口内的各图像点作为候选点，不满足上述条件的图像点不作为候选点，其中，θ为存储在该局部窗口相对应的梯度方向映射表中的图像点梯度方向，[θ₁，θ₂]是根据该局部窗口对应的梯度方向直方图所确定的车道线边缘点的梯度方向范围，

步骤2按照从下至上、从左至右逐行扫描的方式，计算当前候选点与各候选点集中最近点的距离，若与某候选点集最近点的距离小于某一阈值，该阈值在3～7之间取值，就将当前候选点归入到该候选点集，否则以这个当前候选点为起点建立一个新的候选点集，并记录该点集的产生序号，如此循环直到完成整个局部窗口图像，设经过上述粗选，先后可以得到第1至第l个候选点集，

对于已确定的局部窗口内的l个候选点集，为进一步剔除干扰的影响，还需对它们进行有效性判断，即精选，以确定其中属于该局部窗口内车道标志线边缘的有效点集。由粗选过程的搜索顺序可知，后形成的候选点集的起点y坐标应大于先形成的候选点集的起点y坐标。据此，并针对车道标志线边缘点在空间上的连续性，制定下述的精选算法步骤：

步骤1确定或计算每一个候选点集的基本属性特征，包括点数、起点坐标、终点坐标、以及起点和终点所确定的直线斜率，

步骤2确定局部窗口内近视野车道线直线参数：将局部窗口图像隔行隔列抽取以构成一幅新图像，然后再对缩小的新图像实施直线Hough变换以快速提取近视野内车道标志线的直线参数，即采用变精度直线Hough变换策略确定近视野内车道标志线的直线参数，若提取速度仍然不快，可按照同样的方法做进一步的抽取与变换处理，

步骤3搜索第一个有效点集按递增顺序判别第i(i＝1，...，l)个候选点集的有效性：若n_i＞N_th<and>d_i，sp＜D_th<and>d_t，ep＜D_th，则第i个候选点集为第一个有效点集，记下此时的点集位置序号u(即u＝i)，退出搜索；否则继续搜索，其中，n_i为第i个候选点集的点数，N_th为点数阈值，该点数阈值在5～8内取值，d_i，sp、d_i，ep分别表示第i个候选点集的起点、终点到步骤2所确定直线的距离，D_th为距离阈值，该距离阈值在4～8内取值，

步骤4确定其它有效点集初始化当前有效点集标识号i＝u，按递增顺序依次对第j(j＝u+1，...，l)个候选点集的有效性进行判别：若|k_i-k_i，j|＜k_th<and>|k_j-k_i，j|＜k_th，则第j个候选点集为有效点集，并令其为当前有效点集，即令i＝j；否则为无效点集，其中，k_i表示由第i个候选点集，即当前有效点集的起点与终点所确定的直线斜率，k_j表示由第j个候选点集的起点与终点所确定的直线斜率，k_i，j表示由第i个候选点集的终点与第j个候选点集的起点所确定的直线斜率，k_th表示斜率差阈值，该斜率差阈值在0.15～0.3内取值，

上述精选算法的几点补充说明：高速公路的平曲线半径较大，车道图像近视野内的标志线几乎呈直线形式，因而只要能够确定该直线，就可以利用边缘点的空间连续性特征确定各有效点集，这正是进行步骤2的目的所在；步骤2只是为步骤3中搜索第一个有效点集提供一参考直线，对该直线的精度要求不高，加上一般Hough变换技术需要耗费大量时间、实时性难于得到保证，因此本发明制定并采用了变精度Hough变换策略；在具体应用变精度Hough策略时，还应充分利用历史帧信息，以缩小Hough变换的范围和搜索空间，进一步提高实时性。

5.基于改进的Kalman滤波的特征参数提取

对于每个局部窗口，确定完其相应的有效点集后，就可以进行相应的车道标志线特征参数的提取。为处理方便，将每个局部窗口内的所有有效点集合并为一个新点集，称之为特征点集。显然，特征点集的点数m等于局部窗口内的所有有效点集的点数之和。特征参数提取就是针对特征点集进行的。由于特征点集还可能存在一些干扰点，提取时需作进一步的滤波处理。

特征参数的提取方法有很多，目前相关研究已提出的方法主要是各种曲线拟合和各种Hough变换方法等。但曲线拟合方法对噪声较为敏感，当噪声影响较大时拟合精度低，且拟合过程存在着高维矩阵的求逆运算；直线Hough变换仅适用于平曲线半径较大的情形，而曲线Hough变换的实时性较差。为保证提取过程既具有较强的抗干扰能力，又具有良好的实时性，本发明提出了一种基于Kalman滤波的特征参数提取方法。

Kalman滤波器是以最小均方差为准则的最优状态估计滤波器，它不需要储存过去的测量值，只根据当前的测量值和前一时刻的估计值，利用计算机进行递推计算，便可实现对实时信号的估计，具有数据存储量小、算法简便的特点。就当前车道标志线的特征参数提取而言，可针对左、右两个局部窗口分别应用Kalman滤波来进行。

为提取每个局部窗口内的车道标志线，建立关于该局部窗口内车道标志线的3个特征参数的Kalman滤波方程

$\left\{\begin{array}{c}{X}_k=X_{k-1}+W_k\\ Z_k=H_k{X}_k+V_k\end{array}\right.---\left(3\right)$

式中，角标k表示k时刻，X_k为系统状态向量，对于左局部窗口 $X_k={\left[\begin{array}{c}{a}_L\\ b_L\\ c_L\end{array}\right]}_k,$ 其中a_L、b_L与c_L分别为车道左标志线的二次曲线描述模型的常数项、一次项系数和二次项系数，而对于右局部窗口 $X_k={\left[\begin{array}{c}{a}_R\\ b_R\\ c_R\end{array}\right]}_k,$ 其中a_R、b_R与c_R分别为车道右标志线的二次曲线描述模型的常数项、一次项系数和二次项系数；观测阵 $H_k=\left[\begin{array}{ccc}1& y_1& y_1^2\\ 1& y_2& y_2^2\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ 1& y_m& y_m^2\end{array}\right],$ 观测向量 $Z_k=\left[\begin{array}{c}{x}_1\\ x_2\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ x_m\end{array}\right],$ x_i与y_i为局部窗口所对应的特征点集中第i个点的图像坐标值；W_k、V_k是互不相关的零均值系统白噪声和观测白噪声，二者相对应的系统噪声方差阵Q_k与测量噪声方差矩阵R_k均为常对角阵。

对于式(3)所描述的系统状态方程和测量方程，可运用卡尔曼滤波理论，建立下面的标准滤波递推过程(该递推过程包括时间更新和测量更新，下面的递推过程的前两步为时间更新，剩余的三步为测量更新)：

状态一步预测方程 ${\hat{X}}_{k,k-1}={\hat{X}}_{k-1}$ (符号∧表示计算值)

一步预测误差方差阵    P_k，k1＝P_k-1+Q_k

滤波增益矩阵 $K_k=P_{k,k-1}\&CenterDot;H_k^T\&CenterDot;{(H_k{P}_{k,k-1}{H}_k^T+R_k)}^{-1}$

状态估计 ${\hat{X}}_k={\hat{X}}_{k,k-1}+K_k(Z_k-H_k{\hat{X}}_{k,k-1})$

估计误差方差阵    P_k＝(I-K_k·H_k)·P_k，k-1

上述关于3个特征参数的标准Kalman滤波递推过程在测量更新过程中存在着矩阵的求逆运算，根据系统滤波方程(3)，需要求逆的矩阵维数即为特征点集的点数m，通常情况下是非常高的。高维矩阵求逆时，计算量大且容易造成数值计算的不稳定。对此，在测量更新时本发明不采用上述标准Kalman滤波方法，而采用改进的标量化处理(scalar measurement processing)方法。具体而言，时间更新过程可按照上述标准Kalman滤波过程进行，而测量更新按以下递推算法进行：

令P₁＝P_k，k-1， ${\hat{X}}_1={\hat{X}}_{k,k-1},$ 将H_k、Z_k和R_k阵分块，即 $H_k=\left[\begin{array}{c}{H}_1\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ H_m\end{array}\right],$ $Z_k=\left[\begin{array}{c}{Z}_1\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ Z_m\end{array}\right],$ 对于i＝1，…，m，进行m次递推计算：

$K_i=\frac{P_i\&CenterDot;H_i^T}{H_i{P}_i{H}_i^T+R_i}$

${\hat{X}}_{i+1}={\hat{X}}_i+K_i(Z_i-H_i{\hat{X}}_i)$

P_i+1＝(I-K_i·H_i)·P_i

最终可得P_k＝P_m+1， ${\hat{X}}_k={\hat{X}}_{m+1},$ 而 包含的3个分量即为待提取的车道标志线的3个特征参数：对于车道左标志线为a_L、b_L与c_L，对于车道右标志线为a_R、b_R与c_R。

实施实例2

为检验本发明提出的车道标志线识别方法的实际效果，进行了跑车实验。实验基本情况说明如下：

实验目的：检验本发明提出的用于车道偏离报警的车道线识别方法的实时性能、环境适应性能和抗干扰性能等。

实验系统组成：实验系统由软件识别程序和硬件设备共同组成。车道线软件识别程序是按照本发明提出的车道线识别方法，以C++ Builder 6.0为工具开发的；主要硬件设备包括：计算机(赛杨2.0G CPU、256M内存、32M独立显存)、大恒DH-CG410图像采集卡、沃泰克WAT-902H CCD摄像头、Buick实验用车、镜头固定支架与车载电源逆变器等。

实验设置：图像采集卡工作方式为PAL、连续场方式，视频图像大小为384×288像素；实验时摄像头被安装在汽车前挡风玻璃的中上部，指向汽车行驶方向并与地面成一定的拍摄角。

实验路线与环境：在沪宁高速(上海-南京)、宁合高速(南京-合肥)和宁杭高速(南京-杭州)等路面上进行了长达几千公里的多次跑车实验；实验过程中天气与光线状况涵盖了晴天、阴雨天和夜晚等典型情况。

实验结果：实验表明(见下面的各种情形的实验识别结果图)，本发明提出的车道标志线识别方法取得了良好的识别结果，能够满足车道偏离报警系统对车道线识别的要求，具体体现在：①处理一帧图像的时间保持在20ms以内，实时性能良好；②能够有效排除各种干扰，对车道标志线的识别准确率在99％以上，识别可靠性高，抗干扰能力强；③能够适应晴天、阴雨天和夜晚等复杂多变的天气与光线情况，环境适应力强。

各种典型情形下的车道线识别效果如图5～图36所示，包括各种干扰及不同的光线天气情况。这些车道线识别结果图均是在实际的实验过程中实时抓拍得到的，且各图中车道线上的黑实线是根据已提取的车道线特征参数反算出的用于描述车道标志线的二次曲线，而表1给出了各图中汽车当前行进车道的左、右标志线特征参数识别结果。

表1汽车行进车道的左、右标志线特征参数识别结果(图5～图36)

图号	车道左标志线的特征参数			车道右标志线的特征参数
							aL	bL	cL	aR	bR	cR
	图5图6图7图8图9图10图11图12图13图14图15图16图17图18图19图20图21图22图23图24图25图26图27图28图29图30图31图32图33图34图35图36	8.6616e+013.7707e+01-3.2312e+01-7.0193e+01-4.8768e+01-8.3159e+01-1.9298e+02-5.1240e+00-1.7383e+01-1.2314e+02-1.8628e+02-3.4731e+01-4.5926e+01-3.7201e+01-2.0123e+02-3.4469e+01-1.7982e+001.3494e+013.5326e+01-9.3581e+01-4.5354e+01-3.9519e+01-4.0215e+013.0723e+01-3.0379e+01-4.8446e+01-1.0446e+01-1.2622e+011.5037e+01-6.8546e+011.7124e+01-8.4584e+00	3.5466e-016.2184e-018.4842e-011.0230e+009.8437e-011.1015e+001.5920e+007.6355e-018.0665e-018.4003e-011.3941e+008.9936e-019.8664e-019.7765e-011.4827e+007.5458e-015.7590e-015.9890e-015.6426e-011.1194e+001.0203e+009.1080e-011.0145e+006.0535e-019.0299e-019.7183e-017.9940e-018.1381e-016.8382e-011.0740e+006.8915e-018.0670e-01	2.2481e-05-1.9744e-042.2051e-042.2543e-04-4.7677e-051.2329e-045.0154e-051.0675e-041.7530e-041.6170e-038.1812e-043.4091e-05-1.2968e-04-2.0063e-048.3965e-041.9420e-046.7843e-043.1210e-058.7624e-053.3094e-04-1.4364e-045.7330e-05-3.1375e-041.6778e-04-7.8821e-055.1034e-058.1552e-052.3984e-065.6399e-05-1.5095e-048.3223e-051.6115e-04	6.0504e+025.4714e+024.8377e+024.4000e+024.7229e+024.1971e+023.0962e+025.1992e+025.1366e+023.6598e+022.9265e+024.9814e+024.9663e+024.3653e+022.8246e+025.7684e+025.6005e+026.1670e+025.5924e+024.2915e+024.6504e+024.8718e+024.6724e+025.3965e+024.9531e+024.7220e+025.2001e+024.9908e+025.3329e+024.5934e+025.2883e+025.1352e+02	-1.8494e+00-1.5863e+00-1.4187e+00-1.1879e+00-1.3196e+00-1.1121e+005.7845e-011.4799e+00-1.4906e+00-1.0087e+005.7118e-011.3966e+00-1.3945e+00-8.5969e-014.9472e-01-1.5154e+00-1.5548e+00-1.5647e+00-1.6328e+00-1.1172e+00-1.1504e+00-1.3304e+00-1.2022e+00-1.5663e+00-1.4226e+00-1.2706e+00-1.5485e+00-1.4287e+00-1.6080e+00-1.2390e+00-1.5550e+00-1.5938e+00							-4.0042e-04-5.8494e-041.0026e-04-6.9927e-05-2.4296e-04-8.7872e-05-2.2788e-04-3.0697e-04-1.1206e-042.0169e-041.1844e-04-1.9059e-04-1.9928e-04-1.6043e-038.5406e-05-1.0658e-045.9867e-04-4.8891e-04-4.3735e-04-5.0255e-05-5.4844e-04-4.0691e-04-6.0855e-04-2.6625e-04-1.6599e-04-4.3457e-04-9.0553e-05-1.7840e-044.4451e-05-2.7411e-04-1.6205e-046.0080e-04

Claims (1)

1.一种用于车道偏离报警的车道线鲁棒识别方法，其特征在于

①首先，对车道线所在的左、右两个局部窗口内满足一定条件的图像点进行Sobel边缘检测，不满足这些条件的图像点不进行边缘检测并置为零灰度，之后构建相应的梯度方向映射表及进行二值化处理，进行边缘检测的组合条件为：

(DectNum≤2)<and>(nei_ave_gray[i][j]＞th1)<and>(diff_x[i][j]＞th2)DectNum为每行已边缘检测的次数，在每行进行边缘检测前将其初始化为1；nei_ave_gray[i][j]为图像[i][j]周围3×3领域的平均灰度值

$\mathrm{nei}\_\mathrm{ave}\_\mathrm{gray}\left[i\right]\left[j\right]=\frac{1}{9}\underset{n=j-1}{\overset{j+1}{\mathrm{\&Sigma;}}}\underset{m=i-1}{\overset{i+1}{\mathrm{\&Sigma;}}}\mathrm{gray}\left[m\right]\left[n\right],$

gray[m][n]为图像[m][n]处的灰度值；th1是按照行扫描所确定的行灰度阈值，该行灰度阈值为行扫描确定的行灰度均值；diff_x[i][j]为图像[i][j]处沿OX方向的一阶微分，当检测车道右标志线时，

$\mathrm{diff}\_x\left[i\right]\left[j\right]=\underset{m=i}{\overset{i+2}{\mathrm{\&Sigma;}}}\mathrm{grad}\left[m\right]\left[j\right]-\underset{n=i-3}{\overset{i-1}{\mathrm{\&Sigma;}}}\mathrm{grad}\left[n\right]\left[j\right],$

而当检测车道左标志线时，

$\mathrm{diff}\_x\left[i\right]\left[j\right]=-\left(\underset{m=i}{\overset{i+2}{\mathrm{\&Sigma;}}}\mathrm{grad}\right[m\left]\right[j]-\underset{m=i-3}{\overset{i-1}{\mathrm{\&Sigma;}}}\mathrm{grad}[n\left]\right[j\left]\right);$

th2为微分阈值，取值为一个4～8内的非负整数；而边缘检测的方式是逐行进行的，且对于左局部窗口是从右到左，对于右局部窗口是从左到右，

上述梯度方向映射表的构造方法为：在内存中分别开辟两个与左、右局部窗口相对应的区域，它们分别存储了与左、右两个局部窗口内各图像点相对应的梯度方向值；

②进而，根据所提出的梯度方向直方图处理方法，确定每个局部窗口车道线边缘点的梯度方向范围，每个局部窗口梯度方向范围的确定方法为：

步骤1将梯度方向化为L个离散的级别，并定义梯度方向统计直方图函数为

$p_{\mathrm{\&theta;}}\left({\mathrm{\&theta;}}_k\right)=\frac{n_k}{n}$ k＝0，1，2，...，L-1

式中，n_k为局部窗口相对应的梯度方向映射表中θ_k级出现的次数，n为局部窗口相对应的梯度方向映射表中的总元素数。根据上述梯度方向统计直方图函数的定义，以梯度方向θ为横坐标、P_θ(θ_k)为纵坐标，得到一个与局部窗口相对应的梯度方向直方图，该梯度方向直方图具有单峰的特性，

步骤2利用一般直方图的统计算法，确定梯度方向直方图的峰值以及峰值所对应的梯度方向范围等，

③然后，针对车道线边缘点在方位和空间上的连续性特征，提出了车道线边缘候选点集与有效点集的筛选算法并对每个局部窗口进行了筛选，每个局部窗口内的筛选算法包括两个步骤，先确定候选点集，属于粗选，再针对各候选点集确定有效点集，即精选：

确定候选点集的粗选过程：将局部窗口内的各候选点归入到某个相邻点距离很近的候选点集中，具体步骤为

步骤1对于满足θ∈[θ₁，θ₂]条件的局部窗口内的各图像点作为候选点，不满足上述条件的图像点不作为候选点，其中，θ为存储在该局部窗口相对应的梯度方向映射表中的图像点梯度方向，[θ₁，θ₂]是根据该局部窗口对应的梯度方向直方图所确定的车道线边缘点的梯度方向范围，

步骤2按照从下至上、从左至右逐行扫描的方式，计算当前候选点与各候选点集中最近点的距离，若与某候选点集最近点的距离小于某一阈值，该阈值在3～7之间取值，就将当前候选点归入到该候选点集，否则以这个当前候选点为起点建立一个新的候选点集，并记录该点集的产生序号，如此循环直到完成整个局部窗口图像，设经过上述粗选，先后可以得到第1至第l个候选点集，

确定有效点集的精选过程：对于已确定的局部窗口内的l个候选点集，确定其中的有效点集，具体步骤为

步骤1确定或计算每一个候选点集的基本属性特征，包括点数、起点坐标、终点坐标、以及起点和终点所确定的直线斜率，

步骤2确定局部窗口内近视野车道线直线参数：将局部窗口图像隔行隔列抽取以构成一幅新图像，然后再对缩小的新图像实施直线Hough变换以快速提取近视野内车道标志线的直线参数，即采用变精度直线Hough变换策略确定近视野内车道标志线的直线参数，若提取速度仍然不快，可按照同样的方法做进一步的抽取与变换处理，

步骤3搜索第一个有效点集按递增顺序判别第i(i＝1，...，l)个候选点集的有效性：若n_i＞N_th<and>d_i，sp＜D_th<and>d_i，ep＜D_th，则第i个候选点集为第一个有效点集，记下此时的点集位置序号u(即u＝i)，退出搜索；否则继续搜索，其中，n_i为第i个候选点集的点数，N_th为点数阈值，该点数阈值在5～8内取值，d_i，sp、d_i，ep分别表示第i个候选点集的起点、终点到步骤2所确定直线的距离，D_th为距离阈值，该距离阈值在4～8内取值，

步骤4确定其它有效点集初始化当前有效点集标识号i＝u，按递增顺序依次对第j(j＝u+1，...，l)个候选点集的有效性进行判别：若|k_i-k_i，j|＜k_th<and>|k_j-k_i，j|＜k_th，则第j个候选点集为有效点集，并令其为当前有效点集，即令i＝j；否则为无效点集，其中，k_i表示由第i个候选点集，即当前有效点集的起点与终点所确定的直线斜率，k_j表示由第j个候选点集的起点与终点所确定的直线斜率，k_i，j表示由第i个候选点集的终点与第j个候选点集的起点所确定的直线斜率，k_th表示斜率差阈值，该斜率差阈值在0.15～0.3内取值，

④最后，对已确定的每个局部窗口相应的有效点集，通过提出的基于标量化处理Kalman滤波方法实现了车道左、右标志线特征参数的快速准确提取，每个局部窗口内车道线特征参数的标量化处理Kalman滤波提取方法为：

步骤1将局部窗口内的所有有效点集合并为一个新点集，这个新点集被称为特征点集，其点数m等于局部窗口内的所有有效点集的点数之和，

步骤2建立关于该局部窗口内车道标志线的3个特征参数的Kalman滤波方程

$\left\{\begin{array}{c}{X}_k=X_{k-1}+W_k\\ Z_k=H_k{X}_k+V_k\end{array}\right.---\left(1\right)$

式中，角标k表示k时刻，X_k为系统状态向量，对于左局部窗口 $X_k={\left[\begin{array}{c}{a}_L\\ b_L\\ c_L\end{array}\right]}_k,$ 其中a_L、b_L与c_L分别为车道左标志线的二次曲线描述模型的常数项、一次项系数和二次项系数，而对于右局部窗口 $X_k={\left[\begin{array}{c}{a}_R\\ b_R\\ c_R\end{array}\right]}_k,$ 其中a_R、b_R与c_R分别为车道右标志线的二次曲线描述模型的常数项、一次项系数和二次项系数；观测阵 $H_k=\left[\begin{array}{ccc}1& y_1& y_1^2\\ 1& y_2& y_2^2\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ 1& y_m& y_m^2\end{array}\right],$ 观测向量 $Z_k=\left[\begin{array}{c}{x}_1\\ x_2\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ x_m\end{array}\right],$ x_i和y_i为局部窗口所对应的特征点集中第i个点的图像坐标值；W_k、V_k是互不相关的零均值系统白噪声和观测白噪声，二者相对应的系统噪声方差阵Q_k与测量噪声方差矩阵R_k均为常对角阵，

步骤3对于式(1)所描述的系统，采用标量化处理卡尔曼滤波方法实现对局部窗口内车道标志线特征参数的提取，提取过程为先进行时间更新，再进行测量更新。时间更新按标准卡尔曼滤波进行，而测量更新采用标量化处理方法，即

时间更新：

状态一步预测方程 ${\hat{X}}_{k,k-1}={\hat{X}}_{k-1}$ (符号∧表示计算值)

一步预测误差方差阵P_k，k-1＝P_k-1+Q_k

测量更新：

令P₁＝P_k，k-1， ${\hat{X}}_1={\hat{X}}_{k,k-1},$ 将H_k、Z_k和R_k阵分块，即

对于i＝1，...，m，进行m次递推计算：

$K_i=\frac{P_i\&CenterDot;H_i^T}{H_i{P}_i{H}_i^T+R_i}$

${\hat{X}}_{i+1}={\hat{X}}_i+K_i(Z_i-H_i{\hat{X}}_i)$

P_i+1＝(I-K_i·H_i)·P_i

最终可得P_k＝P_m+1， ${\hat{X}}_k={\hat{X}}_{m+1},$ 而

包含的3个分量即为待提取的车道标志线的3个特征参数：对于车道左标志线为a_L、b_L与c_L，而对于车道右标志线为a_R、b_R与c_R。

Images