CN104751151B - 一种实时多车道识别及跟踪方法 - Google Patents

Abstract

本发明涉及一种实时多车道识别及跟踪系统。包括坐标转换、图像预处理以及车道线的预测与跟踪三个系统模块。由安装在汽车上的CMOS图像传感器识别车辆前方的道路环境，把图像信息传递给图像预处理模块。坐标转换模块通过标定来实现COMS图像传感器的世界坐标系转换。图像预处理模块负责处理图像数据，进行插值、滤波、梯度计算以及最后生成车道线簇的连线。本发明对采集的图像进行分区域、分策略处理，识别多种类型的车道标志线，提高算法的计算效率。本发明在满足实时性的条件下，对车辆本车道以及左右邻近车道共四条车道线进行识别与跟踪，可以为智能驾驶辅助系统中的车道偏离预警策略以及车道保持控制策略提供更加详细，全面的信息。

Description

一种实时多车道识别及跟踪方法

技术领域

本发明涉及一种实时多车道线识别及跟踪方法，特别是涉及通过CMOS图像传感器对车道线进行跟踪与识别。

背景技术

欧洲一直处在智能车辆研究领域的前端，欧洲开发基金会资助进行驾驶人检测、道路环境感知、视觉增强、与前车车距控制以及传感器融合等方面的研究。UBM(Universitaet der Bundeswehr德联邦国防大学)试验车VaMoRs是由奔驰500SEL改装而成的，视觉系统主要包括道路检测与跟踪和障碍物检测与跟踪两个模块。D.R.A.S雪铁龙和柏斯卡大学的自动化与电子材料科学实验室合作研究的Puegoct系统，主要利用车载摄像头拍摄道路图像，进行实时的检测和识别车道线。其原理主要是利用高斯滤波对噪声进行处理，并利用梯度导数来计算车道线，进而对其检测，此系统的实时性和鲁棒性都很好。德国的慕尼黑国防军大学的智能车辆研究小组一直致力于动态机器的视觉领域的研究，并取得了很大的成就。美国在智能驾卡耐基.梅隆大学(Carnegie-Mellon University)研究的Navlab.X系列的产品，其中Navlab5能快速对车体进行定位，该车道线识别算法的鲁棒性特别好，能够适应像车道线破损、车辙痕迹等多种干扰因素。在日本的货运车辆中，本田公司Inspire、Accord、Legend车型中配备了LDW车道识别系统。

2002年中国汽车市场的亮点之一是在国产“威驰”GLX-i和GLX-S轿车上成功地安装使用语音电子导航装置，在中国实际应用中，首次使用了汽车导航装置。经过市场考察，最终决定在经济型轿车上安装这个问世只用十几年的世界最前沿的高新产品，其意义不仅仅是增加了“威驰”轿车的销量，而且标志着中国在实施智能交通上迈出了坚实的一步。国内在智能车导航方面的研究比较晚，规模也较小，但在短期发展中还是取得了很大的成果。研究工作主要集中在大学和研究机构，如吉林大学、东南大学、国防科技大学等。吉林大学的智能车辆课题组开发的JLUVA-1系统通过CCD摄像机采集车辆行驶时的道路图像，接着通过一系列图像处理，对车道线进行识别，提取车辆在当前车道中的位置参数，根据这些参数进行预警判断。当车道偏离系统检测到车辆距离自身车道线过近或者有可能偏入邻近车道时，在驾驶员没有打转向灯的情况下，该系统会发出车道偏离警告信息提醒驾驶员注意，从而尽可能地减少车道偏离事故的发生。东南大学在车辆辅助驾驶领域的研究方面主要基于系统硬件部分，它开发的基于DSP技术的嵌入式车道偏离报警系统由缓冲电路模块、DSP电路模块、编码及数/模转换电路模块、模/数转化解码电路模块等组成。该系统利用车载摄像头采集车道线的视频信号，经大量处理后的视频型号送编码及数/模转换电路输出显示，该方案增强了系统的抗振动和抗冲击能力。国防科技大学研制的CITAVF自动驾驶汽车是小型厢式客车，其特色是视觉系统采用AIIODSP自动开发的图像处理系统，在参考各种道路设计模型的基础上，建立了道路宽度信息估计方法，通过对车道跟踪模版的实现，对车道线识别的结果进行修正，提高车道线检测和识别的准确性。

发明内容

本发明的目的是提供一种实时的多车道线识别及跟踪方法。通过CMOS图像传感器，对车辆行驶前方本车道以及左右邻近车道共四条车道线进行识别及跟踪，可以为智能驾驶辅助系统中的车道偏离预警策略以及车道保持控制策略提供更加详细，全面的信息。

本发明的上述目的得以实现的技术方案是：一种实时多车道识别及跟踪方法，其特征在于包括基于所获取的图像的坐标转换、图像预处理及车道线预测跟踪三部分步骤，其中坐标转换指将摄像机所采集的图像坐标系基于旋转矩阵R与平移向量t转换至具物理意义的世界坐标系；图像预处理为将红像素插值，Sobel算子以及Gauss算子合成一个边缘检测模板，

并使用该模板对图像计算，检测得到车道线线簇；车道线预测跟踪指基于图像预处理的结果对车道线的两侧边缘进行识别并进行匹配，分别对应每条车道线建立回旋曲线模型对车道线的侧向距离、纵向距离、道路曲率和道路曲率变化率进行跟踪，通过卡尔曼滤波计算，输出车道线滤波后的状态向量。

进一步地，完成坐标转换后，需将整幅的图像分割为处理区域和废处理区域，并对处理区域的图像作预处理。

进一步地，所述多车道识别及跟踪方法主要针对本车车道左右车道线、左车道最左车道线以及右车道最右车道线的识别及跟踪。

进一步地，车道线预测跟踪过程中对车道线的两侧边缘进行识别的方法基于车道线左右两侧明-暗、暗-明的颜色梯度差异实现。

本发明多车道识别及跟踪方法，其突出效果为：采用了分区域分策略的图像预处理方法，识别车道标志线颜色及类型，并结合更适合车道线跟踪的回旋曲线模型，来高效率、高精度地预测车道线的位置，适用平台更广的多车道线识别跟踪方法。可以为智能驾驶辅助系统中的车道偏离预警策略以及车道保持控制策略提供更加详细，全面的信息。并且大幅减少了车道识别及跟踪的运算量。

附图说明

图1为本发明系统模块示意图。

图2为摄像机坐标系与世界坐标系的关系示意图。

图3为回旋曲线模型各系统变量示意图。

图4为图像处理效果示意图。

具体实施方式

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

该实时多车道识别及跟踪系统由安装在汽车上的CMOS图像传感器识别车辆前方的道路环境，并产生视频流数据，首先需要将图像坐标转换到世界坐标系下。由于图像坐标系只表示象素位于数字图像的列数和行数，并没有用物理单位表示出该象素在图像中的物理位置，因而需要再建立以物理单位表示的成像平面坐标系x-y。用(x，y)表示以物理单位度量的成像平面坐标系的坐标。在x-y坐标系中，原点定义在摄像机光轴和图像平面的交点处，称为图像的主点，该点一般位于图像中心处，但由于摄像机制作的原因，可能会有些偏离，在坐标系下的坐标为(u₀，v₀)，每个象素在x轴和y轴方向上的物理尺寸为dx、dy，两个坐标系的关系如下：

其中s’表示因摄像机成像平面坐标轴相互不正交引出的倾斜因子。空间中一点P在世界坐标系和摄像机坐标系下的齐次坐标分别为空间中一点P在世界坐标系和摄像机坐标系下的齐次坐标分别为(x_w,y_w,z_w,1)^T和(x_C,y_C,z_C,1)^T且存在如下关系：

其中R是3×3正交单位矩阵，t是3维平移向量，0＝(0,0,0)^T，M1是两个坐标系之间的联系矩阵，M1是两个坐标系之间的联系矩阵。

摄像机坐标系与成像平面坐标系之间的关系为：

其中，(x，y)为P点在成像平面坐标系下的坐标，P(x_c,y_c,z_c)为空间点P在摄像机坐标系下的坐标。用齐次坐标与矩阵来表示。

通过上式，得到图像坐标系和世界坐标系之间的关系：

完成坐标转换之后，如图4所示，将获取的整幅图像分割为处理区域和非处理区域，大大降低了图像预处理的计算量。分割完区域之后，需要对图像进行插值以及滤波，本发明将红像素插值，Sobel算子以及Gauss算子合成一个模板。其中Sobel算子如下式，

Sobel算子用来计算图像亮度函数的一阶梯度之近似值。在图像的任何一点使用此算子，将会产生该点对应的梯度矢量或是其法矢量。

为了进行颜色的区分，CMOS采用RCCC格式。

通过算子计算，可以检测出车道线标志边缘，根据颜色明暗的变化来确定检测到的边缘是左边缘还是右边缘，左右分别用绿线和红线标示，如图4所示。将左右边缘线配对的过程中，挑选最靠近图像底部的线段，从最底部开始，以一定的步长(根据线段位于图像的不同位置确定步长长度，如靠近底部时步长可以短一些，能够保证计算精度，当计算到图像上部时，步长可以取的大一些)在左线段上取点，然后取对应的配对右线段上的点(如果没有的话可以用估算的车道标志线宽度产生虚拟的点)，当遍历完整条左线段之后，找到配对的左右边缘线，车道线簇生成完毕。由于车道线边缘不规则，可能引起识别的边缘不连续，需要判断间断线段的距离，相对位置，并连接不连续的边缘线段。在边缘线段对上取4个点，计算左右边缘线段的中间位置，一个单一的点称为POI，4个点的集合称为车道线簇。取得点簇的坐标信息，传输给卡尔曼滤波器进行车道标志线的预测及跟踪。

车道线模型采用回旋曲线模型，其方程为：

如图3所示，y指侧向距离，x指纵向距离，C₀指道路曲率，C₁指道路曲率变化率，实施卡尔曼滤波器的公式，将车道标志线的位置预测出来。

x_k|k-1＝A x_k-1|k-1+BU_k

P(k|k-1)＝A P(k-1|k-1)A’+Q

S_k＝HP_k|k-1H^T+R

K_k＝P_k|k-1H^T(S_k)^-1

v_k=z_k-Hx_k|k-1

x_k|k=x_k|k-1+K_kv_k

P_k|k=（I-K_kH)P_k|k-1

其中x_k|k为滤波后的状态信息，包含了车道线回旋曲线模型所需要的信息。P_k|k为协方差矩阵，用来下一帧循环的卡尔曼滤波器输入。

由于使用的是Carlson方法，减少计算机计算量，大大降低了计算矩阵复杂度。因此需要获得Cp和Cq，这两个矩阵都是4*4矩阵，通过cholesky分解P矩阵和Q矩阵得到。

其中H为回旋曲线模型的雅克比向量：得到车道线的状态向量：x_k=[y_k，ε_k，c_0k，c_1k]^T。

通过上面方法，可以对车道线进行跟踪。本发明考虑到，如果车道线边缘点簇距离太远，近端与远端的回旋曲线的参数会有很大区别。所以采用两套参数来计算，以减少误差，因此把图像分成“远”和“近”两部分。如果所有车道线簇的全部距离大于20m的点数量大于4个，使用默认距离(20m)作为分界线。否则，取车道线簇中的最后一根，检查上面的距离大于20m的POI是否大于4个，如果是，取该车道线簇上对应大于20m的第四个点的距离为边界线；否则继续查找下一根车道线簇。

综上所述，是对本发明具体实施例的详细描述，对本案保护范围不构成任何限制。并且由此可见，应用本发明多车道识别及跟踪方法，采用了分区域分策略的图像预处理方法，识别车道标志线颜色及类型，并结合更适合车道线跟踪的回旋曲线模型，来高效率、高精度地预测车道线的位置，适用平台更广的多车道线识别跟踪方法。可以为智能驾驶辅助系统中的车道偏离预警策略以及车道保持控制策略提供更加详细，全面的信息。并且大幅减少了车道识别及跟踪的运算量。

顺述一点：凡采用等同变换或者等效替换而形成的技术方法，均落在本发明权利保护范围之内。

Claims (4)

1.一种实时多车道识别及跟踪方法，其特征在于包括基于所获取的图像的坐标转换、图像预处理及车道线预测跟踪三部分步骤，其中坐标转换指将摄像机所采集的图像坐标系基于旋转矩阵R与平移向量t转换至具物理意义的世界坐标系；图像预处理为将红像素插值，Sobel算子以及Gauss算子合成一个边缘检测模板，

并使用该模板对图像计算，检测得到车道线线簇；车道线预测跟踪指基于图像预处理的结果对车道线的两侧边缘进行识别并进行匹配，分别对应每条车道线建立回旋曲线模型对车道线的侧向距离y₀、纵向距离x、道路曲率C₀和道路曲率变化率C₁，车辆的偏航角∈进行跟踪，通过卡尔曼滤波计算，输出车道线滤波后的状态向量。

2.根据权利要求1所述实时多车道识别及跟踪方法，其特征在于：完成坐标转换后，需将整幅的图像分割为处理区域和废处理区域，并对处理区域的图像作预处理。

3.根据权利要求1所述实时多车道识别及跟踪方法，其特征在于：所述多车道识别及跟踪方法针对本车车道左右车道线、左车道最左车道线以及右车道最右车道线的识别及跟踪。

4.根据权利要求1所述实时多车道识别及跟踪方法，其特征在于：车道线预测跟踪过程中对车道线的两侧边缘进行识别的方法基于车道线左右两侧明-暗、暗-明的颜色梯度差异实现。