CN111694011A - 一种摄像机和三维激光雷达数据融合的路沿检测方法 - Google Patents

Abstract

本发明公开了一种摄像机和三维激光雷达数据融合的路沿检测方法，其步骤包括：1)以三维激光雷达为原点建立栅格地图；2)采用现有方法通过摄像机提取车道线特征点，并测量特征点在实际道路上相对于摄像机原点的横纵向距离；3)使用基于相邻点高度差特征的方法获取路沿候选点；4)依据摄像机与激光雷达的位置关系，将车道线特征点投影到栅格地图上，并使用二次曲线模型进行拟合；5)将离车道线曲线固定距离阈值内的路沿候选点判断为路沿点；6)对路沿点使用RANSAC算法进行过滤，并结合二次曲线模型对路沿点进行拟合。本发明能提高路沿的检测准确率，从而为无人车提供准确可靠的道路边界信息，并降低道路交通的事故的发生率。

Description

一种摄像机和三维激光雷达数据融合的路沿检测方法

技术领域

本发明属于智能交通道路环境感知领域，特别涉及一种摄像机和三维激光雷达数据融合的路沿检测方法。

背景技术

近年来，我国的汽车保有量以及驾驶人员数量逐年上升，交通事业持续发展，同时伴随着交通事故总量连年攀升。汽车已与人们的生活紧密地联系在一起，为了降低因交通事故导致的死亡率，无人车的研究越来越受人们的关注。在智能交通中，无人车实时准确地对环境进行感知，为驾驶员提供更多环境信息，从而降低交通事故发生的频率。

道路边界检测作为环境感知中重要的一环，道路颜色、路面纹理、道路边界以及交通标记是道路可行使区域的重要线索。作为道路边界的明确性标志，路沿是结构化道路的重要表达信息，通过获取路沿的位置和形状，为无人车提供准确的搜索范围以及对自车进行辅助定位。

通常情况下，结构化道路两侧铺设有路沿石，路沿石侧面与路面垂直，一般比路面高出10～30厘米左右。目前使用较多的方法是基于摄像头或者基于激光雷达对路沿进行检测。摄像头具有高信息量但无法提供准确的三维信息，激光雷达虽可以获取准确的三维信息但点云具有离散性，由于道路环境中的障碍物影响，使检测出较多的假阳性路沿点。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种摄像机和三维激光雷达数据融合的路沿检测方法，以期能提高路沿的检测准确率，从而为无人车提供准确可靠的道路边界信息，并降低道路交通的事故的发生率。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种摄像机和三维激光雷达数据融合的路沿检测方法的特点在于，包括以下步骤：

步骤1：以三维激光雷达为原点建立激光雷达坐标系，再利用所述三维激光雷达采集道路点云数据集合，并将所述道路点云数据集合中的每个点云数据从三维空间转换到二维栅格地图上；

步骤2：利用摄像机采集道路图像数据并进行逆透视式变换，从而得到逆透视图；在所述逆透视图上寻找像素横纵向距离与实际道路横纵向距离之间的比例关系，再对所述逆透视图提取所有车道线特征点，并根据所提取的车道线特征点在所述逆透视图上的像素坐标以及所述比例关系计算所有车道线特征点在实际道路中对应的横纵向距离直角坐标；

步骤3：将所有车道线特征点在实际道路下对应的横纵向距离直角坐标转换到栅格地图上，并在所述栅格地图上对车道线曲线进行拟合，得到车道线曲线模型；

步骤4：采用基于相邻点高度差特征方法为每层激光雷达扫描线提取路沿候选点集合；

步骤5：计算路沿候选点集合中的每个沿候选点分别与所述车道线曲线模型的距离，并将每个距离分别与固定距离阈值进行比较，如果任一距离小于所述固定距离阈值，则将相应路沿候选点判定为路沿点，否则，将相应路沿候选点判定为非路沿点并舍弃；

步骤6：运用RANSA算法对所有判断为路沿点的数据进行离散路沿点的过滤，并结合二次曲线模型进行拟合，从而得到路沿曲线。

本发明所述的路沿检测方法的特点也在于，所述步骤1中是利用式(1)将任意第p个点云数据从三维空间转换到二维栅格地图上：

式(1)中，x_p，y_p分别为第p个点云数据的三维坐标点(x_p,y_p,z_p)的x轴对应的值和y轴对应的值；

为第p个点云数据的三维坐标点(x_p,y_p,z_p)转化到栅格地图上的二维坐标点；m，n为所述二维栅格地图的长像素和宽像素。

所述步骤3中是利用式(2)将任意第j个车道线特征点在实际道路下对应的横纵向距离直角坐标转换到栅格地图上：

式(2)中，(x′_j,y′_j)为第j个车道线特征点的位置坐标；

为第j个车道线特征点的位置坐标(x′_j,y′_j)转化到栅格地图上的二维坐标点；x₀为所述摄像机离所述三维激光雷达的实际横向距离，y₀为所述摄像机离所述三维激光雷达的实际纵向距离。

所述步骤4是按如过程进行：

步骤4.1：将第L层激光线中的第i个激光点及其三维坐标记为p_L,i＝(x_L,i,y_L,i,z_L,i)；

步骤4.2：利用式(3)得到第L层激光线落在路沿垂直平面上的激光点的理论数量k_L：

式(3)中，H_c是路沿高度；θ_L是第L层激光线的俯仰角度，δ_distance表示所述三维激光雷达的水平距离分辨率，并有：

式(4)中，d是目标离所述三维激光雷达的距离，δ_angle为所述三维激光雷达的水平角分辨率；

步骤4.3：利用式(5)得到第i个激光点p_L,i的左相邻点的z轴高度值z_left：

步骤4.4：利用式(6)得到得到第i个激光点p_L,i的右相邻点的z轴高度值z_right：

步骤4.5：利用式(7)判断第i个激光点p_L,i是否为路沿候选点，若满足式(7)，则表示第i个激光点p_L,i是路沿候选点，否则，表示第i个激光点p_L,i非路沿候选点：

步骤4.6：重复步骤4.1-步骤4.5，从而判断所有层激光线中所有激光点是否为路沿候选点，并由所有路沿候选点组成路沿候选点集合。

与现有技术相比，本发明的有益效果在于：

1、本发明采用16线三维激光雷达，并根据高程这一特征，采用基于相邻点高度差特征对路沿点进行初步提取，从而能够实时、全面地从三维激光雷达中提取路沿候选点。

2、本发明采用摄像机提取车道线特征点，根据在俯视图中得到的横纵向比例系数，将车道线特征点投影到栅格地图中并进行二次曲线拟合。通过路沿候选点与车道线曲线模型的距离与固定距离阈值比较，将距离小于固定阈值的路沿候选点判定为路沿点，否则，舍弃，从而提高了路沿点检测的准确率。

3、本发明结合三维激光雷达与摄像机传感器各自的优势，将摄像机与激光雷达传感器的数据信息进行融合，并将基于摄像机的车道线特征点检测用于基于三维激光雷达的路沿检测，从而能了解道路行驶边界情况，并获取更多准确可靠的道路信息，进而提高了三维激光雷达检测路沿的准确率，同时能够满足实时性。

附图说明

图1为本发明的流程图；

图2为本发明摄像机与三维激光雷达相对位置图。

具体实施方式

下面结合附图进一步说明本发明实施例的具体技术方案。

本发明实施例选用VelodyneLiDARPuck 16线激光雷达采集点云数据，灰度相机采集图像数据，提出了一种摄像机和三维激光雷达数据融合的路沿检测方法，如图1所示，包括以下步骤：

步骤1：以三维激光雷达为原点建立激光雷达坐标系，再利用三维激光雷达采集道路点云数据集合，并将道路点云数据集合中的每个点云数据从三维空间转换到二维栅格地图上；

具体的说，点云数据从三维空间转换到二维栅格地图的方法包括：

三维激光雷达直角坐标系以雷达内部旋转镜中心为原点，相邻激光层之间的角度是固定的，可以计算每根激光线的俯仰角ω，数据点的方位角α在一个发射序列开始时被接收，在两个距离字节中计算距离R，由此计算每个数据点的直角坐标(x_p,y_p)，由公式(1)表示。

将数据点转换到二维栅格地图上。定义栅格地图的大小n×m为500×750，每个栅格大小a×a为0.1m×0.1m，定义栅格地图像素位置

为激光雷达原点即像素位置(250，375)，根据坐标转换关系，将点云投影到栅格地图上。利用式(2)将任意第p个点云数据从三维空间转换到二维栅格地图上：

式(2)中，x_p，y_p分别为第p个点云数据的三维坐标点(x_p,y_p,z_p)的x轴对应的值和y轴对应的值；

为第p个点云数据的三维坐标点(x_p,y_p,z_p)转化到栅格地图上的二维坐标点；m，n为二维栅格地图的长像素和宽像素。

步骤2：利用摄像机采集道路图像数据并进行逆透视式变换，从而得到逆透视图；本实施例中，摄像机为灰度摄像机，三维激光雷达为十六线激光雷达。

在逆透视图上寻找像素横纵向距离与实际道路横纵向距离之间的比例关系，再对逆透视图提取所有车道线特征点，并根据所提取的车道线特征点在逆透视图上的像素坐标以及比例关系计算所有车道线特征点在实际道路中对应的横纵向距离直角坐标；

步骤3：将所有车道线特征点在实际道路下对应的横纵向距离直角坐标转换到栅格地图上，并在栅格地图上对车道线曲线进行拟合，得到车道线曲线模型；

具体的说，车道线特征点在实际道路下对应的横纵向距离直角坐标转换到栅格地图上的方法为：

采用图像处理技术提取车道线特征点，包括逆透视变换、滤波、sobel边缘检测。实际道路与逆透视图之间有一定的横纵向比例关系，在俯视图中进行网格划分。通过测量图像中车道线之间的像素宽度和虚线车道线的像素长度与对应的实际道路中车道线之间的实际宽度和虚线车道线的实际长度，确定逆透视图像中像素横向宽度与车前实际横向宽度之间的关系和像素纵向长度与车前实际纵向长度之间的关系。其关系由式(3)表示。

式(3)中：k_x为横向比例系数，k_y为纵向比例系数，W_P为图像中车道线之间的像素横向宽度，W_R为实际道路中车道线之间的实际宽度，L_P为图像中虚线车道线的像素纵向长度，L_R为实际道路中虚线车道线的实际纵向长度。

利用式(4)将任意第j个车道线特征点在实际道路下对应的横纵向距离直角坐标转换到栅格地图上，摄像机与激光雷达的位置关系如图2所示。

式(4)中，(x′_j,y′_j)为根据横纵向比例系数计算得到的第j个车道线特征点的位置坐标；

为第j个车道线特征点的位置坐标(x′_j,y′_j)转化到栅格地图上的二维坐标点；x₀为摄像机离三维激光雷达的实际横向距离，y₀为摄像机离三维激光雷达的实际纵向距离。之后采用二次曲线模型在栅格地图上对映射后的车道线特征点进行拟合。

步骤4：采用基于相邻点高度差特征方法为每层激光雷达扫描线提取路沿候选点集合；

具体的说，基于相邻点高度差特征检测路沿候选点的方法为：

路沿与路面之间有着显著的高程特征，因此对于同一层激光线中的连续点，在路沿垂直平面上的连续点高度会出现增加和减小的情况。

根据高程这一特征，采用基于相邻点高度差特征对路沿点进行初步提取，具体步骤如下：

步骤4.1：将第L层激光线中的第i个激光点及其三维坐标记为p_L,i＝(x_L,i,y_L,i,z_L,i)；

步骤4.2：利用式(5)得到第L层激光线落在路沿垂直平面上的激光点的理论数量k_L：

式(5)中，H_c是路沿高度；θ_L是第L层激光线的俯仰角度，δ_distance表示三维激光雷达的水平距离分辨率，并有：

式(6)中，d是目标离三维激光雷达的距离，δ_angle为三维激光雷达的水平角分辨率；

步骤4.3：利用式(7)得到第i个激光点p_L,i的左相邻点的z轴高度值z_left：

步骤4.4：利用式(8)得到得到第i个激光点p_L,i的右相邻点的z轴高度值z_right：

步骤4.5：利用式(9)判断第i个激光点p_L,i是否为路沿候选点，若满足式(9)，则表示第i个激光点p_L,i是路沿候选点，否则，表示第i个激光点p_L,i非路沿候选点：

步骤4.6：重复步骤4.1-步骤4.5，从而判断所有层激光线中所有激光点是否为路沿候选点，并由所有路沿候选点组成路沿候选点集合。

对路沿点运用RANSAC算法过滤离散路沿点，进一步提高检测准确率，最后结合二次曲线模型进行拟合。

步骤5：计算路沿候选点集合中的每个沿候选点分别与车道线曲线模型的距离，并将每个距离分别与固定距离阈值进行比较，如果任一距离小于固定距离阈值，则将相应路沿候选点判定为路沿点，否则，将相应路沿候选点判定为非路沿点并舍弃；

步骤6：运用RANSA算法对所有判断为路沿点的数据进行离散路沿点的过滤，并结合二次曲线模型进行拟合，从而得到路沿曲线。

Claims (4)

1.一种摄像机和三维激光雷达数据融合的路沿检测方法，其特征在于，包括以下步骤：

步骤1：以三维激光雷达为原点建立激光雷达坐标系，再利用所述三维激光雷达采集道路点云数据集合，并将所述道路点云数据集合中的每个点云数据从三维空间转换到二维栅格地图上；

步骤2：利用摄像机采集道路图像数据并进行逆透视式变换，从而得到逆透视图；在所述逆透视图上寻找像素横纵向距离与实际道路横纵向距离之间的比例关系，再对所述逆透视图提取所有车道线特征点，并根据所提取的车道线特征点在所述逆透视图上的像素坐标以及所述比例关系计算所有车道线特征点在实际道路中对应的横纵向距离直角坐标；

步骤3：将所有车道线特征点在实际道路下对应的横纵向距离直角坐标转换到栅格地图上，并在所述栅格地图上对车道线曲线进行拟合，得到车道线曲线模型；

步骤4：采用基于相邻点高度差特征方法为每层激光雷达扫描线提取路沿候选点集合；

步骤5：计算路沿候选点集合中的每个沿候选点分别与所述车道线曲线模型的距离，并将每个距离分别与固定距离阈值进行比较，如果任一距离小于所述固定距离阈值，则将相应路沿候选点判定为路沿点，否则，将相应路沿候选点判定为非路沿点并舍弃；

步骤6：运用RANSA算法对所有判断为路沿点的数据进行离散路沿点的过滤，并结合二次曲线模型进行拟合，从而得到路沿曲线。

2.根据权利要求1所述的路沿检测方法，其特征在于，所述步骤1中是利用式(1)将任意第p个点云数据从三维空间转换到二维栅格地图上：

式(1)中，x_p，y_p分别为第p个点云数据的三维坐标点(x_p,y_p,z_p)的x轴对应的值和y轴对应的值；

为第p个点云数据的三维坐标点(x_p,y_p,z_p)转化到栅格地图上的二维坐标点；m，n为所述二维栅格地图的长像素和宽像素。

3.根据权利要求2所述的路沿检测方法，其特征在于，所述步骤3中是利用式(2)将任意第j个车道线特征点在实际道路下对应的横纵向距离直角坐标转换到栅格地图上：

式(2)中，(x′_j,y′_j)为第j个车道线特征点的位置坐标；

为第j个车道线特征点的位置坐标(x′_j,y′_j)转化到栅格地图上的二维坐标点；x₀为所述摄像机离所述三维激光雷达的实际横向距离，y₀为所述摄像机离所述三维激光雷达的实际纵向距离。

4.根据权利要求1所述的路沿检测方法，其特征在于，所述步骤4是按如过程进行：

步骤4.1：将第L层激光线中的第i个激光点及其三维坐标记为p_L,i＝(x_L,i,y_L,i,z_L,i)；

步骤4.2：利用式(3)得到第L层激光线落在路沿垂直平面上的激光点的理论数量k_L：

式(3)中，H_c是路沿高度；θ_L是第L层激光线的俯仰角度，δ_distance表示所述三维激光雷达的水平距离分辨率，并有：

式(4)中，d是目标离所述三维激光雷达的距离，δ_angle为所述三维激光雷达的水平角分辨率；

步骤4.3：利用式(5)得到第i个激光点p_L,i的左相邻点的z轴高度值z_left：

步骤4.4：利用式(6)得到得到第i个激光点p_L,i的右相邻点的z轴高度值z_right：

步骤4.5：利用式(7)判断第i个激光点p_L,i是否为路沿候选点，若满足式(7)，则表示第i个激光点p_L,i是路沿候选点，否则，表示第i个激光点p_L,i非路沿候选点：

步骤4.6：重复步骤4.1-步骤4.5，从而判断所有层激光线中所有激光点是否为路沿候选点，并由所有路沿候选点组成路沿候选点集合。

Images