CN106671991A - 基于多线索视觉特征融合的车道偏离预警方法 - Google Patents

Abstract

本发明公开了一种基于多线索视觉特征融合的车道偏离预警方法，包括：将采集的图像转换成灰度图，至少提取第一视觉特征和第二视觉特征；对提取到的多个特征进行融合得到检查结果；通过跟踪系统提取稳定的角点，并对角点特征点进行匹配跟踪，得到跟踪结果；将跟踪结果与检测结果进行融合，得到最终检查结果，识别车道线；计算车在车道中的位置P，判断车是否发生偏移,当P‑L< 0时，车辆发生左偏转，当P‑R>0时，车发生右偏转，其中L为左边车道线位置，R为右边车道线位置；当判断车辆发生偏转时进行报警。通过多线索特征的融合，可以增强检测目标的鲁棒性，能够更加准确的描述车辆偏离车道线的过程，在车辆偏离时的报警更加准确。

Description

基于多线索视觉特征融合的车道偏离预警方法

技术领域

本发明涉及一种车道偏离预警方法，具体地涉及一种基于多线索视觉特征融合的车道偏离预警方法。

背景技术

视觉特征是在计算机视觉领域常用的识别物体目标的特征，它是人工智能与模式识别的一个基本模块。视觉特征有度值特征、边缘梯度特征、LBP特征、角点特征点特征等等。

车道偏离预警系统是辅助驾驶系统的一种，该系统通过安装于车辆前方的摄像头传感器对车辆行驶状况以及道路状况进行实时监控。当车辆在换道偏离时，对错误的违规换道行为进行预警提示，并及时提醒驾驶员修正驾驶行为。

通常，车道偏离系统中的车道线检测多采用检测器检测，用到的主要技术方法有：霍夫变换、直线检测、边缘提取等。由于检测过程中，使用的视觉特征单一、用到的算法复杂度高以及算法的精度问题，目前，存在的问题有：

1、系统无法达到实时检测的要求。

2、只能对简单路况进行识别和判定。

3、系统精度难以达到国标的要求。

例如，公告号为CN 103738243的中国专利文献公开了一种车道偏离预警方法，包括视频采集装置安装和参数标定步骤、图像预处理步骤、边缘检测步骤、车道线识别步骤和车道偏离预警时间确定步骤；其中，边缘检测步骤，包括采用局部最大差值法提取图像边缘梯度、采用最大类间方差法对边缘图像进行二值化处理、对二值化后的边缘图像进行细化、噪点去除处理；车道线识别步骤，通过Hough变换检测出多条直线，选定符合要求的车道线。该专利的车道线的识别是通过边缘检测，提取图像边缘梯度，通过Hough变换检测出多条直线。其使用的视觉特征单一，车道线识别的准确率不高。

发明内容

针对上述存在的技术问题，本发明提供了一种基于多线索视觉特征融合的车道偏离预警方法，通过多线索特征的融合，来增强检测目标的鲁棒性，能够更加准确的描述车辆偏离车道线的过程，在车辆偏离时的报警更加准确。

本发明的技术方案是：

一种基于多线索视觉特征融合的车道偏离预警方法，包括以下步骤：

S01：将采集的图像转换成灰度图，至少提取第一视觉特征p₁(x)和第二视觉特征p₂(x)；

S02：对提取到的多个特征进行融合得到检查结果，即：

p(x)＝w₁·p₁(x)+w₂·p₂(x)

其中，w₁,w₂为特征融合的权重；

S03：通过跟踪系统提取稳定的角点，并对角点特征点进行匹配跟踪，得到跟踪结果R_t(x)；

S04：将跟踪结果R_t(x)与检测结果p(x)进行融合，得到最终的检查结果R(x)，识别出车道线，即：

R(x)＝w_t·R_t(x)+w_d·p(x)

其中，w_t,w_d为融合的权重；

S05：计算车辆在车道中的位置P，判断车辆是否发生偏移,当P-L<0时，车辆发生左偏转，当P-R>0时，车辆发生右偏转，其中L为左边车道线位置，R为右边车道线位置；当判断车辆发生偏转时进行报警。

优选的，在检测过程的视觉特征为三个，第一视觉特征为LBP特征p₁(x)、第二视觉特征为灰度值特征p₂(x)、第三视觉特征为边缘梯度值特征p₃(x)，对应的特征融合权重为w₁,w_2,w₃，初始权重为0.3、0.5、0.2，三个权重值根据特征的可靠性进行动态调整分配。

优选的，所述跟踪模块权重w_t,检测模块权重w_d的初始权重为0.5、0.5，在检测过程中，两个权重值根据特征的可靠性进行动态调整分配。

优选的，所述步骤S05中车辆在车道中的位置由下述步骤得到，通过投影变换矩阵，将车道线结果投影到鸟瞰图，通过下述公式计算车辆在车道中的位置P(x)为：

P(x)＝Left(x)+Right(x)-L_car

其中，Left(x)为投影图计算得到的左边车道线位置，Right(x)为投影图计算得到的右边车道线位置，L_car为车的宽度。

优选的，通过车辆在车道中的位置P(x)，得到横向偏离速度v(x)：

v(x)＝(p(x₁)-p(x₀))*cosα

其中，p(x₁)、p(x₀)为相邻两帧图片中车辆的位置，车辆角度α为：

其中，α₁为左侧车道线的角度，α₂为右侧车道线的角度；

通过车辆在车道中的位置以及横向偏离速度v判断是否发生偏移状态，当0.0<v<0.5且P-L<0.7或者v>0.5且0.7<P–L时，车辆发生左偏转，当0.0<v<0.5且P-R<0.7或者v>0.5且0.7<P–R时，车辆发生左偏转。

与现有技术相比，本发明的优点是：

1、本发明的系统采用了视觉多线索特征进行融合，检测效果更加鲁棒有效。本发明的系统集成了检测和跟踪算法，在车道线检测的性能上更加准确。

2、种通过车道线判定车辆自身位置的算法，能够更加准确的描述车辆偏离车道线的过程，在车辆偏离时的报警更加准确。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明车道线检测的流程图；

图2为本发明车辆偏离车道的报警流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例：

下面结合附图，对本发明的较佳实施例作进一步说明。

如图1所示，具体包括如下步骤：

1、采集摄像头是分辨率1280*720的RGB摄像头。提取到图片之后，RGB2GRAY转换成灰度图。

2、检测LBP特征。

3、使用Sobel算子提取图像边缘梯度特征，具体如下：

通过G_x,G_y进行卷积得到梯度图。对G_x和G_y通过以下公式可以得到该点的梯度幅值：

并且可以通过梯度公式计算得到梯度方向θ：

4、通过最大类间方差法(OSTU)对图像进行阈值二值化，得到二值图，即可提取到车道线的灰度特征。

记t为前景与背景的分割阈值，前景点数占图像比例为w₀，平均灰度为u₀。背景点数占图像比例为w₁，平均灰度为u₁。则图像的总平均灰度为：u＝w₀*u₀+w₁*u₁。

前景和背景图象的方差：

g＝w₁·(u₀-u)·(u₀-u)+w₂·(u₁-u)·(u₁-u)

＝w₁·w₂·(u₀-u)·(u₁-u)

因此通过得到的阈值g，可以对图像进行阈值二值化，从而得到灰度特征。

5、多线索融合算法

通过对提取到的多线索特征，如灰度值特征p₁、边缘梯度值特征p₂、LBP特征p₃，进行融合：

p(x)＝w₁·p₁(x)+w₂·p₂(x)+w₃·p₃(x)

其中，w₁,w_2,w₃为三种特征融合的权重。初始权重为0.5、0.2、03，在检测过程中，这三个权重值会根据特征的可靠性来动态调整分配。

6、跟踪与检测结果相融合

通过级联检测器检测到的结果，主要检测多线索特征，包括灰度值特征、边缘梯度特征、LBP特征等进行检测车道线。

通过跟踪系统在上一帧图结果的邻域中提取稳定的角点，并对角点特征点进行匹配跟踪，从而得到跟踪的结果。跟踪的方法为常用的特征点角点跟踪算法。

最终的检测结果为跟踪结果与检测结果相融合：

R(x)＝w_t·R_t(t)+w_d·R_d(x)

其中，w_t,w_d为跟踪与检测结果相融合的权重。初始权重为0.5、0.5，在检测过程中，这两个权重值会根据特征的可靠性来动态调整分配。

7、根据最终的检测结果识别出车道线后，通过投影变换矩阵，将车道线结果投影到鸟瞰图。通过公式得出车在车道中的位置P(x)为：

P(x)＝Left(x)+Right(x)-L_car

其中，Left(x)为投影图计算得出左边车道线位置，Right(x)为投影图计算得出右边车道线位置，L_car为车的宽度为。则

8、在得到车辆位置后，识别以及报警的流程如图2所示。通过车辆在车道中的位置P(x)，得到横向偏离速度v(x)。

v(x)＝(p(x₁)-p(x₀))*cosα

其中p(x₁)、p(x₀)为相邻两帧图片中车辆的位置，车辆角度α通过车道线的角度得到。

记左侧车道线的角度(投影图中车道线与水平线的夹角)为α₁，右侧车道线的角度为α₂，则α为：

9、通过车在车道中的位置(单位m)以及横向偏离速度v(单位m/s)判断是否发生偏移状态,P为车辆位置，L为左边车道线位置，R为右边车道线位置。

通过车在车道中的位置判断是否发生偏移状态之后，在显示器上显示出报警状态并发出报警声音。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (5)

1.一种基于多线索视觉特征融合的车道偏离预警方法，其特征在于，包括以下步骤：

S01：将采集的图像转换成灰度图，至少提取第一视觉特征p₁(x)和第二视觉特征p₂(x)；

S02：对提取到的多个特征进行融合得到检查结果，即：

p(x)＝w₁·p₁(x)+w₂·p₂(x)

其中，w₁,w₂为特征融合的权重；

S03：通过跟踪系统提取稳定的角点，并对角点特征点进行匹配跟踪，得到跟踪结果R_t(x)；

S04：将跟踪结果R_t(x)与检测结果p(x)进行融合，得到最终的检查结果R(x)，识别出车道线，即：

R(x)＝w_t·R_t(x)+w_d·p(x)

其中，w_t,w_d为融合的权重；

S05：计算车辆在车道中的位置P，判断车辆是否发生偏移,当P-L<0时，车辆发生左偏转，当P-R>0时，车辆发生右偏转，其中L为左边车道线位置，R为右边车道线位置；当判断车辆发生偏转时进行报警。

2.根据权利要求1所述的基于多线索视觉特征融合的车道偏离预警方法，其特征在于，在检测过程的视觉特征为三个，第一视觉特征为LBP特征p₁(x)、第二视觉特征为灰度值特征p₂(x)、第三视觉特征为边缘梯度值特征p₃(x)，对应的特征融合权重为w₁,w_2,w₃，初始权重为0.3、0.5、0.2，三个权重值根据特征的可靠性进行动态调整分配。

3.根据权利要求1所述的基于多线索视觉特征融合的车道偏离预警方法，其特征在于，所述跟踪模块权重w_t,检测模块权重w_d的初始权重为0.5、0.5，在检测过程中，两个权重值根据特征的可靠性进行动态调整分配。

4.根据权利要求1所述的基于多线索视觉特征融合的车道偏离预警方法，其特征在于，所述步骤S05中车辆在车道中的位置由下述步骤得到，通过投影变换矩阵，将车道线结果投影到鸟瞰图，通过下述公式计算车辆在车道中的位置P(x)为：

P(x)＝Left(x)+Right(x)-L_car

其中，Left(x)为投影图计算得到的左边车道线位置，Right(x)为投影图计算得到的右边车道线位置，L_car为车的宽度。

5.根据权利要求1或4所述的基于多线索视觉特征融合的车道偏离预警方法，其特征在于，通过车辆在车道中的位置P(x)，得到横向偏离速度v(x)：

v(x)＝(p(x₁)-p(x₀))*cosα

其中，p(x₁)、p(x₀)为相邻两帧图片中车辆的位置，车辆角度α为：

$\mathrm{\&alpha;}=\frac{1}{2}{\mathrm{\&alpha;}}_1+\frac{1}{2}{\mathrm{\&alpha;}}_2$

其中，α₁为左侧车道线的角度，α₂为右侧车道线的角度；

通过车辆在车道中的位置以及横向偏离速度v判断是否发生偏移状态，当0.0<v<0.5且P-L<0.7或者v>0.5且0.7<P–L时，车辆发生左偏转，当0.0<v<0.5且P-R<0.7或者v>0.5且0.7<P–R时，车辆发生左偏转。