CN108519605B - 基于激光雷达和摄像机的路沿检测方法 - Google Patents

Abstract

本发明涉及基于激光雷达和摄像机的路沿检测方法，属于智能交通领域。该方法为：采用激光雷达获取路沿点云数据，采用摄像机获取道路图像数据；对雷达数据和摄像机数据分别进行预处理，并进行联合标定；处理每帧雷达点云数据，对于每条扫描线，根据路沿的线性特征采用一种基于距离的方法提取候选路沿特征点；处理每帧图像数据，采用成熟的方法检测图像中车道线，提取车道线模型；采用车道线模型对提取的候选路沿特征点进行拟合；判断候选路沿点与拟合线之间的距离，并通过路沿点修正拟合线，得到路沿检测结果。本发明可以充分利用激光雷达和摄像机的优点精确地、稳定地检测路沿。

Description

基于激光雷达和摄像机的路沿检测方法

技术领域

本发明属于智能交通领域，涉及基于激光雷达和摄像机的路沿检测方法。

背景技术

随着社会和经济技术的发展，交通道路上的车辆越来越多，道路环境也越来越复杂，随之而来的交通事故也频繁发生，为了减少此类情况的发生，智能交通应运而生，而在智能交通中，智能车是智能交通中关键的一部分，智能车的出现帮助驾驶员驾驶，使得交通事故发生的频率得以减少。

无人驾驶车是智能交通系统的重要组成部分，行驶城市环境中的无人驾驶车需要对周围复杂的交通环境有很好的感知能力，包括对道路最大行驶边界的感知、对潜在碰撞威胁的检测区分等。可靠的环境感知能力对自主巡航控制、碰撞预警和路径规划起到至关重要的作用。

智能车主动安全研究是智能交通研究中重要一环，而智能车防碰撞系统就是为解决智能车主动安全设计的，在智能车防碰撞系统的应用中，道路路沿检测对于区分潜在的碰撞威胁有很重要的作用，并且由于路沿限制了道路的边界，对于车辆的路径规划和局部感知能够提供更丰富的信息；另外，对于更加复杂的城市交通环境，可以利用路沿确定的车辆最大行驶横向区域来更好的避让相向而行的车辆。因此道路路沿的检测在智能车研究，特别是道路安全中具有重要的意义。

现有路沿检测技术主要有两种，一是采用摄像头图像处理的方法采集路沿，单一图像无法提供距离信息且三维信息测量精度较低；二是根据激光点云构建路沿模型，其中，点云包含至少两个离散点信息，所述离散点从激光传感器周围物体表面获取。因此，激光点云数据既包括有用的路沿信息，也包括与路沿有交叠部分的植被、树木或路标信息，由于点云数据的离散性，且没有有效区分噪声和有用路沿信息的方法，使植被、树木或路标等噪声无法滤除，导致目前路沿的检测准确度较低。一是采用摄像头图像处理的方法采集路沿，单一图像无法提供距离信息且三维信息测量精度较低。

发明内容

有鉴于此，本发明的目的在于提供基于激光雷达和摄像机的路沿检测方法，充分发挥多传感器融合的优点，提高路沿的检测精度、稳定性及鲁棒性，并能实时的检测路沿，克服单一传感器在环境感知应用中存在的诸多问题。

为达到上述目的，本发明提供如下技术方案：

基于激光雷达和摄像机的路沿检测方法，包括以下步骤：

步骤1，采用激光雷达获取路沿点云数据，采用摄像机获取道路图像数据；所述雷达点云数据包括多个包含极坐标信息的扫描点；所述图像数据包含车道线和路沿的图像；

步骤2，对雷达数据和摄像机数据分别进行预处理，并进行联合标定；

步骤3，处理每帧雷达点云数据，对于每层扫描线，根据路沿的线性特征采用一种基于距离的方法提取候选路沿特征点；

步骤4，处理每帧图像数据，采用成熟的车道线检测技术检测图像数据中车道线，提取车道线模型；

步骤5，采用车道线模型对提取的候选路沿特征点进行拟合；判断候选路沿点与拟合线之间的距离，通过候选路沿点按照距离设置阈值修正拟合线，最终得到路沿检测结果。

进一步，所述的激光雷达为四线激光雷达，摄像机为微光相机。

进一步，步骤2所述的对雷达数据和摄像机数据分别进行预处理，并进行联合标定的方法包括：

S201：将雷达点云按层转为直角坐标系，以雷达中心为原点，以相应的层向前为y向左为x，并对每帧雷达点云数据进行中值滤波，以去除离散点，并对图像进行中值滤波；

S202：激光雷达和摄像机的联合标定：首先，设置传感器坐标系，雷达坐标系以雷达的中心作为坐标原点，以雷达扫描层第0层作为雷达坐标系的X_lO_lY_l平面，根据左手定则，沿着第0层向前为Y_l轴，水平向左为X_l轴，垂直于0层竖直向上为Z_l轴，将雷达点云数据转为三维坐标数据，从而获得标定物在雷达坐标系中的三维坐标信息；然后，手动测量标定物在摄像机坐标系O_c-X_cY_cZ_c中的坐标信息，根据测得的多个不同位置的标定物坐标信息，按照如下公式(1)利用Matlab求解超定方程组，求得旋转矩阵R和平移向量T，即完成激光雷达和摄像机的标定；

最后，按公式(1)将数据由雷达坐标系转为摄像机坐标系，通过摄像机的内参矩阵转为图像像素坐标系，转换公式如下(2)所示：

式中：R，T分别为数据由雷达坐标系转为摄像机坐标系的旋转和平移矩阵，f为相机焦距，

和

表示：x方向和y方向的每单位长度包含多少像素个数(可是小数)；γ为扭曲因子，一般取0；u₀、v₀分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。

进一步，步骤3所述处理每帧雷达点云数据方法为：

S301：路沿数据点的线性特征为：激光雷达扫描到道路路面上的点在y轴方向(道路走向)紧密分布、x轴方向(水平向左)上基本为距离很小均匀紧密分布，扫描到路沿的雷达数据x坐标值排列特别紧密，而y坐标值则较稀疏，局部近似呈直线；

S302：采用一种基于距离的方法提取候选路沿特征点具体为：首先，对每帧雷达数据进行分层处理，对每层按每十个点进行分割，求取每段斜率按照设定阈值滤除横向路面数据点；然后，将上述处理后的点进行分段处理，每100单位长度分为一段，求取每段内数据点之间的欧氏距离，按照设定的阈值进一步滤除非路沿点，提取较为精确的左右候选路沿点。

进一步，步骤4所述处理每帧图像数据为：采用车道线检测技术，包括Hough变换和双曲线模型，检测图像数据中车道线，提取车道线模型。

进一步，步骤5所述拟合候选路沿特征点；判断候选路沿点与拟合线之间的距离，通过候选路沿点按照距离设置阈值修正拟合线，包括：

S501：采用图像数据中检测车道线并提取的车道线模型对候选路沿特征点进行拟合；

S502：判断候选路沿点与拟合线之间的距离，若候选路沿点距离大于阈值，则按照距离设置阈值修正拟合线模型参数，进一步提高检测精度，得到路沿检测结果。

本发明的有益效果在于：

与现有技术相比本发明具有以下优点：

(1)本发明采用四线激光雷达作为雷达点云数据采集传感器，克服了多线激光雷达点云数据庞大、计算量复杂的缺点。本发明能够快速、准确地从激光雷达数据中提取出路沿数据集，并根据路沿数据的线性特征，采用基于欧氏距离的方法对路沿点进行分析，进一步滤除干扰点，提取左右候选路沿特征点。

(2)本发明提出采用图像中车道线的模型拟合候选路沿特征点，并判断候选路沿点与拟合线之间的距离，若候选路沿点距离大于阈值，则按照距离设置阈值修正拟合线模型参数，进一步提高检测精度，得到路沿检测结果。

(3)本发明充分发挥激光雷达和摄像机的优点，克服了单一传感器所产生的数据不足、检测误差大的缺点，提高了路沿的检测精度、稳定性及鲁棒性，并能实时的检测路沿。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明所述方法的主流程图；

图2为激光雷达和摄像机坐标系设置图；

图3为从激光雷达数据中提取候选路沿点流程图；

图4为车道线和路沿在图像中位置示意图；

图5为整体检测效果图示意图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本实施例选用IBEO-LUX 2010四线激光雷达作为雷达点云数据采集传感器，微光摄像机作为图像数据采集传感器，在VS2013环境中编写算法以实现一种无人驾驶车中的路沿检测方法。具体实施方式如图1所示，包括以下步骤：

步骤1，采用激光雷达获取路沿点云数据，采用摄像机获取道路图像数据；所述雷达点云数据包括多个包含极坐标信息的扫描点；所述图像数据包含车道线和路沿的图像；

步骤2，对雷达数据和摄像机数据分别进行预处理，并进行联合标定；

步骤3，处理每帧雷达点云数据，对于每层扫描线，根据路沿的线性特征采用一种基于距离的方法提取候选路沿特征点；

步骤4，处理每帧图像数据，采用成熟的车道线检测技术检测图像数据中车道线，提取车道线模型；

步骤5，采用车道线模型对提取的候选路沿特征点进行拟合；判断候选路沿点与拟合线之间的距离，滤除误差大的候选路沿点，得到路沿检测结果。

所述步骤1的激光雷达为四线激光雷达，摄像机为微光相机。

所述步骤2对雷达数据和摄像机数据分别进行预处理，并进行联合标定方法包括如下内容：

(1)将雷达点云按层由极坐标转为直角坐标系，以雷达中心为原点，以相应的层向前为y向左为x，并对每帧雷达点云数据进行中值滤波，以去除离散点，并对图像进行中值滤波。

(2)激光雷达和摄像机的联合标定：首先，如附图2所示设置坐标系，雷达坐标系以雷达的中心作为坐标原点，以雷达扫描层第0层作为雷达坐标系的X_lO_lY_l平面，根据左手定则，沿着第0层向前为Y_l轴，水平向左为X_l轴，垂直于0层竖直向上为Z_l轴，将雷达点云数据转为三维坐标数据，从而获得标定物在雷达坐标系中的三维坐标信息。然后，手动测量标定物在摄像机坐标系O_c-X_cY_cZ_c中的坐标信息，根据测得的多个不同位置的标定物坐标信息，按照如下公式(1)利用Matlab求解超定方程组，求得旋转矩阵R和平移向量T，即可完成激光雷达和摄像机的标定；

最后，按公式(1)将数据由雷达坐标系转为摄像机坐标系，通过摄像机的内参矩阵转为图像像素坐标系，转换公式如下(2)所示：

式中：R，T分别为数据由雷达坐标系转为摄像机坐标系的旋转和平移矩阵，f为相机焦距，

和

表示：x方向和y方向的每单位长度包含多少像素个数(可是小数)；γ为扭曲因子，一般取0；u₀、v₀分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。

所述步骤3处理每帧雷达点云数据，对于每层扫描线，根据路沿的线性特征采用一种基于距离的方法提取候选路沿特征点具体方法包括如下：

(1)路沿数据点的线性特征为：激光雷达扫描到道路路面上的点在y轴方向(道路走向)紧密分布、x轴方向(水平向左)上基本为距离很小均匀紧密分布，扫描到路沿的雷达数据x坐标值排列特别紧密，而y坐标值则较稀疏，局部近似呈直线。

(2)如附图3所示，采用一种基于距离的方法提取候选路沿特征点具体为：

1)对每帧雷达数据先按照标志位分层处理，对每层进行分割，滤除横向路面数据点。首先，将数据按x从小到大排列。然后，每十个点划为一段，每段内，计算第一个点和第十个点构成直线的斜率k和截距b，计算该段内点到直线的距离d，设置一个阈值D(设为20)，当超过三个点到直线的距离大于D时另起一段；将满足条件(d<D)的点归为一类，并将每个点的标志位改写成其所在直线的斜率，保留|k|≥3的点。最后，改变标志位，将标志位设为所处理的层数，转为正常雷达层数数据，合并处理后的四层数据为一帧数据。

2)分段提取分类。分段：首先，对1)处理后的数据按照y从小到大的顺序进行排序，并定义一个最大Y(maxY＝最后一个值+0.001)和一个最小Y(minY＝第一个值-0.001)。在Y方向每100单位距离分一段，统计每段内的点数，并把标志位改成对应的段数减1(即每段内点的标志位更新为全0或全1或全2.....，以此类推)。然后，将上述处理结果数据按照x从小到大的顺序进行排列，更新标志位，对排序后点的标志位加一个四位小数排序(0,0.0001,0.0002.....)，不会影响标志位(目的是使在后续的处理中每段内的点保证按照x从小到大的顺序排列)。然后按照标志位从小到大排序，恢复到上述分段后的排列顺序。最后，更新标志位，对标志位的整数部求4的余，标志位变成0，1，2，3，0，1，2，3.....的表示形式。

提取分类：首先，遍历上述处理后的数据，当标志位发生突变时，则为下一段。然后，在每段内，如果两点y方向距离小于阈值(设为50)，或者两点x方向距离小于阈值(设为50)，则将数据点标志位均加0.001，将后面的点标志位加0.002......(为了区分开左右点)。最后，取每段符合条件的值。遍历上述处理后的数据，当标志位的整数部发生突变(整数位为0，1，2，3，0，1，2，3.....的形式)时，则为下一段。在每层内，若x<0则为左侧候选路沿点，x≥0则为右侧候选路沿点。

图4为车道线和路沿在图像中位置示意图；图5为整体检测效果图示意图；所述步骤4处理每帧图像数据，采用成熟的车道线检测技术检测图像数据中车道线，提取车道线模型的方法为：采用现有成熟的车道线检测技术(Hough变换、双曲线模型等)检测图像数据中车道线，提取车道线模型。

所述步骤5采用车道线模型对提取的候选路沿特征点进行拟合；判断候选路沿点与拟合线之间的距离，通过候选路沿点按照距离设置阈值修正拟合线，具体方法包括如下：

(1)采用图像数据中检测车道线并提取的车道线模型对候选路沿特征点进行拟合；

(2)判断候选路沿点与拟合线之间的距离，若候选路沿点距离大于阈值，则按照距离设置阈值修正拟合线模型参数，进一步提高检测精度，得到路沿检测结果。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (4)

1.基于激光雷达和摄像机的路沿检测方法，其特征在于：该方法包括以下步骤：

步骤1：采用激光雷达获取路沿点云数据，采用摄像机获取道路图像数据；所述雷达点云数据包括多个包含极坐标信息的扫描点；所述图像数据包含车道线和路沿的图像；

步骤2：对雷达数据和摄像机数据分别进行预处理，并进行联合标定；

步骤3：处理每帧雷达点云数据，对于每层扫描线，根据路沿的线性特征采用一种基于距离的方法提取候选路沿特征点；

步骤3所述处理每帧雷达点云数据方法为：

S301：路沿数据点的线性特征为：激光雷达扫描到道路路面上的点在y轴方向，即道路走向紧密分布、x轴方向，即水平向左上基本为距离很小均匀紧密分布，扫描到路沿的雷达数据x坐标值排列特别紧密，而y坐标值则较稀疏，局部近似呈直线；

S302：采用一种基于距离的方法提取候选路沿特征点具体为：首先，对每帧雷达数据进行分层处理，对每层按每十个点进行分割，求取每段斜率按照设定阈值滤除横向路面数据点；然后，将上述处理后的点进行分段处理，每100单位长度分为一段，求取每段内数据点之间的欧氏距离，按照设定的阈值进一步滤除非路沿点，提取左右候选路沿点；

步骤4：处理每帧图像数据，采用成熟的车道线检测技术检测图像数据中车道线，提取车道线模型；

步骤4所述处理每帧图像数据为：采用Hough变换和双曲线模型的车道线检测技术，检测图像数据中车道线，提取车道线模型；

步骤5：采用车道线模型对提取的候选路沿特征点进行拟合；判断候选路沿点与拟合线之间的距离，通过候选路沿点按照距离设置阈值修正拟合线，最终得到路沿检测结果。

2.根据权利要求1所述的基于激光雷达和摄像机的路沿检测方法，其特征在于：所述激光雷达为四线激光雷达，摄像机为微光相机。

3.根据权利要求1所述的基于激光雷达和摄像机的路沿检测方法，其特征在于：步骤2所述的对雷达数据和摄像机数据分别进行预处理，并进行联合标定的方法包括：

S201：将雷达点云按层转为直角坐标系，以雷达中心为原点，以相应的层向前为y向左为x，并对每帧雷达点云数据进行中值滤波，以去除离散点，并对图像进行中值滤波；

S202：激光雷达和摄像机的联合标定：首先，设置传感器坐标系，雷达坐标系以雷达的中心作为坐标原点，以雷达扫描层第0层作为雷达坐标系的X_lO_lY_l平面，根据左手定则，沿着第0层向前为Y_l轴，水平向左为X_l轴，垂直于0层竖直向上为Z_l轴，将雷达点云数据转为三维坐标数据，从而获得标定物在雷达坐标系中的三维坐标信息；然后，手动测量标定物在摄像机坐标系O_c-X_cY_cZ_c中的坐标信息，根据测得的多个不同位置的标定物坐标信息，按照如下公式(1)利用Matlab求解超定方程组，求得旋转矩阵R和平移向量T，即完成激光雷达和摄像机的标定；

最后，按公式(1)将数据由雷达坐标系转为摄像机坐标系，通过摄像机的内参矩阵转为图像像素坐标系，转换公式如下(2)所示：

式中：R，T分别为数据由雷达坐标系转为摄像机坐标系的旋转和平移矩阵，f为相机焦距，

和

表示：x方向和y方向的每单位长度包含多少像素个数，可为小数；γ为扭曲因子，取0；u₀、v₀分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。

4.根据权利要求1所述的基于激光雷达和摄像机的路沿检测方法，其特征在于：所述步骤5具体为：

S501：采用图像数据中检测车道线并提取的车道线模型对候选路沿特征点进行拟合；

S502：判断候选路沿点与拟合线之间的距离，若候选路沿点距离大于阈值，则按照距离设置阈值修正拟合线模型参数，进一步提高检测精度，得到路沿检测结果。

Images