CN111007531A - 一种基于激光点云数据的道路边沿检测方法 - Google Patents

Abstract

本发明公开了一种基于激光点云的道路边沿检测方法，属于辅助驾驶领域，解决基于视觉图像道路边沿检测易受光照变化及阴影干扰的问题。首先，将激光点云与其对应的图像数据进行联合校准，并将校准后有效的激光点云投影在Y‑X平面。其次，基于道路平面特点以及有效的激光点云构建道路平面方程，结合M估计样本一致性以及异常点处理，提取道路点云。随后，使用道路激光点与激光雷达位置先验共同约束投影在Y‑X平面上的激光点云，并将约束后的激光点云沿着Y方向累计获取Y方向激光点云累计直方图；分别在Y方向点云直方图原点的左右两侧确定道路左右边沿激光点；最后基于最小二乘法分别拟合道路左右边沿，完成道路边沿检测。本发明用于道路边沿检测。

Description

一种基于激光点云数据的道路边沿检测方法

技术领域

一种基于激光点云的道路边沿检测方法，用于道路边沿检测，属于辅助驾驶领域。

背景技术

道路检测是驾驶环境感知中一项基本的研究任务，在保障车辆行驶安全、实现高级别自动驾驶中起到了至关重要的作用。道路边沿是道路最重要的特征之一，道路边沿的提取有助于后续的道路检测任务。然而，在真实户外环境中，道路边沿检测面临着复杂天气、光照变化、阴影遮挡等挑战。此外，对于没有车道标线的非结构化道路仍然要求完整的检测出道路边沿。面对这些问题，要求道路边沿检测算法能够抵抗天气、光照以及阴影的干扰，稳定且鲁棒地检测出道路的边沿，为后续道路检测任务做准备。

视觉图像的路沿检测通常基于边缘检测，对于没有阴影遮挡且具有清晰车道标线的路面，通过结合颜色纹理信息检测道路的边缘，随后基于霍夫变换获取最终的道路边沿。当路面出现大面积阴影遮挡或没有车道标线时，此类方法无法完整地检测出道路的边沿。而基于消失点检测的道路边沿检测方法，能够一定程度上抵抗阴影的干扰，但是基于消失点的道路边沿检测方法，本质上基于Gabor滤波器组提取道路的边缘纹理信息，对于复杂的阴影干扰仍然不够稳定。此外，基于消失点的边沿检测通过迭代的方法不断更新消失点以及路面边沿以得到正确的道路边沿，伴随着巨大的计算量且非常耗时。

近年来，随时深度学习的蓬勃发展，基于深度学习的道路边沿检测方法应运而生，基于深度学习的道路边沿检测方法经过海量图像数据的训练之后可以得到较高的准确率。但是，基于深度学习的道路边沿检测方法需要经过大量各类道路数据的训练，且需要不断进行数据更新，然而标定道路边沿数据往往耗时耗力，且无法囊括所有的道路类型，该类方法的泛化性能存在一定程度的限制。此外，深度学习的可解释性仍然是一个尚未解决的问题。

激光点云具有全天时、不受光照变化以及阴影遮挡干扰等的优势。基于激光点云的道路边沿检测不受光照变化以及阴影遮挡的影响。此外，对于没有车道标线的道路边沿检测，激光点云仍能够稳定的检测出道路边沿。Wende Zhang(2010)将激光点云分解成高程信号以及地平面投影信号，基于局部极值信号检测滤波器确定道路候选区域，以候选道路区域的高程标准差作为特征基于分类的方法并设定最小宽度确定道路区域，最后将道路点投影到图像面并基于霍夫变换获取最终的道路边沿。该方法可以快速且高效的提取道路的边沿，但该方法涉及多个参数的调整，存在参数难调的问题。Xiangdong Wang等(2015)基于卡尔曼滤波提取道路边沿点，并基于GPS与陀螺仪数据，通过坐标的平移与转换将多个连续的道路边缘点关联到同一坐标系下。最后，基于改进的RANSAC对道路边沿点进行拟合，获取道路边沿。该方法仅需少量迭代就可获取准确的道路边沿检测结果，但需要连续多帧图像对应的激光点云数据以及GPS、陀螺仪数据。单帧图像对应的激光雷达点云数据的道路边沿提取效果仍有待提高。Rachmadi R F等(2017)提出基于编解码网络的 3D激光点云道路边沿提取方法，基于3D体素的形式作为网络模型的输入和输出，实现端到端的道路边沿检测，但由于使用的数据集正负样本不均衡使得该方法过拟合。Lu X等(2019)提出一种基于3D离散激光点进行线分割的方法，检测3D点云的边缘线。作者首先基于离散点云分割平面，随后将每一个3D平面投影在2D 图像面上，在图像面上进行轮廓线提取，基于最小二乘法得到线分割结果，再将2D 线分割结果投影到3D平面中，得到3D线分割的结果，此方法的本质是提取2D 图像面上大量密集点云投影点的轮廓，运用在基于稀疏点云的道路边沿检测上，可能存在道路边沿不完整的问题。

道路边沿是道路最重要的特征之一，简单高效的道路边沿检测可使得后续的道路检测更加稳定。然而基于视觉图像的道路边沿检测存在易受光照变化、阴影遮挡干扰等的问题。而激光点云数据在抵抗光照变化、阴影遮挡方面具有强大的优势，尽管基于点云的道路边沿检测存在参数难调或需要多帧图像数据对应的激光点云数据等问题。但基于激光点云的道路边沿检测在检测鲁棒性上仍具有很大的潜力和优势，基于激光点云的道路边沿检测的性能仍可以继续提高，为道路检测任务提取坚实的基础。

发明内容

针对上述研究的问题，本发明的目的在于提供一种基于激光点云的道路边沿检测方法，解决现有技术中参数难调，需要多帧图像数据对应的激光点云以得到稳定道路边沿检测结果的问题。

为了达到上述目的，本发明采用如下技术方案：

一种基于激光点云的道路边沿检测方法，包括以下步骤：

步骤1：根据激光点云与图像间的空间位置关系，对激光雷达获取的点云数据与摄像机获取的图像数据进行联合校准，获取已校准激光点云，并剔除超出图像视场面外的无效激光点云，保留有效激光点云；

步骤2：基于道路平面特点以及有效激光点云构建道路面方程，基于M估计样本一致性(M-estimator SAmple Consensus，MSAC)进行道路平面方程参数估计，提取道路区域点云，在道路平面拟合过程中，通常会存在少量异常点，这些异常点会干扰后续的道路边沿点云的确定。根据小概率事件的定义，概率小于5％的事件，认为在一次试验中几乎不可能发生，故在激光点云的异常点处理中，采用删除Y 方向最大最小的5％的激光点云，完成异常点的去除，获取道路激光点云；

步骤3：基于道路激光点云确定道路点云的大致区间，并基于激光雷达的位置信息对点云进行进一步的约束。在激光雷达点云数据采集系统中，激光雷达处于固定位置，并且激光点云数据以激光雷达所在的位置为坐标原点，那么沿着Z方向原点以上的点云必然不是道路点云。根据激光雷达的位置信息和道路点云共同约束有效激光点云，可以有效的削弱非道路点云对后续道路边沿点的干扰，随后将约束后的激光点云沿着Y方向进行点云的累计，获取沿Y方向的点云累计直方图；

步骤4：根据道路左右边沿处于激光雷达左右两侧的特点，在沿Y方向的点云累计直方图原点的左右两侧分别寻找道路的左右边沿点云。将激光点云沿着Y 方向进行点云累计后，道路边沿区域会形成大量的点云累计，并且已经去除非道路点云的干扰，由此可以通过Y方向点云累计直方图原点左右两侧的峰值区间和路沿宽度信息确定最终的道路的三维道路左右边沿激光点云；

步骤5：基于激光点云与图像面的映射关系，将三维道路左右边沿激光点云转换为二维图像平面投影点，并基于最小二乘法进行道路边沿拟合，得到图像面上道路左右边沿；

步骤6：将图像面上的道路左右边沿投影到图像面上，即可以完成基于激光点云的道路边沿检测。

进一步，所述步骤1的具体步骤如下：

步骤1.1：根据激光点云和图像间的空间位置关系，获取旋转校准矩阵以及激光点云到图像的转换矩阵，建立激光点云和图像面上的映射关系，三维激光点云在二维图像面上的投影坐标可表示为：

其中，C(x,y,z,u,v)表示建立激光点云与图像的映射关系后的激光点坐标； C(x,y,z)表示激光点的三维空间坐标；C(u,v)表示激光点投影在二维图像面的投影坐标；

为旋转校准矩阵；

为将三维激光点velo转换到图像坐标cam的转换矩阵；p(x,y,z)为三维激光点坐标。

步骤1.2：根据激光点云二维投影坐标和图像尺寸的关系，剔除超出图像面无效激光点云，保留有效激光点云。

进一步，所述步骤2的具体步骤如下：

步骤2.1：基于道路平面点通常处于同一平面的特点与有效激光点云共同构建地平面方程：

ax+by+cz+d＝0 (2)

其中，(a,b,c,d)地平面方程的参数。

步骤2.2：基于MSAC进行道路平面方程参数估计。MSAC通过反复选择激光点云数据中一组随机激光点云子集来进行道路平面方程参数的估计，被选取的随机子集被假设为数据内点即道路点，用这些数据点估计道路平面方程的参数，得到估计出的道路平面方程。再用估计出的道路平面方程去测试剩余的数据点，若某点满足这个道路平面方程，那么这个点也被认为是道路点。如果有足够多的点被归为假设的道路平面点，那么估计出的道路平面方程就足够合理。随后用假设的道路点重新估计道路平面方程，用损失函数评估道路平面模型的合理性。MSAC的损失函数如公式(3)～(4)所示。

其中，C表示损失函数，

表示模型拟合内点数据的惩罚。T²表示划分为内点的阈值；e²表示将数据点判断为内点的误差函数,通过数据点到地坪地平面的距离来度量；(x₁,y₁,z₁)表示数据点的三维空间坐标。

步骤2.3：在基于MSAC进行道路平面拟合的过程中，会存在少量异常点与道路面处于同一个平面，但不属于道路激光点。针对这个问题，基于小概率事件的定义，概率小于5％的事件认为在一次试验中几乎是不可能发生的。由此，通过删除激光点云沿着Y轴方向最大最小的5％的激光点完成异常激光点的处理。

进一步，所述步骤3的具体步骤如下：

步骤3.1：根据道路激光点云确定道路区域所在位置的大致区间，剔除非道路激光点云。同时，由于采集到的激光点云以激光雷达所在的位置为原点，那么意味着沿Z轴方向，大于原点的激光点必然不是道路区域激光点，根据这一先验知识进一步减少非道路区域点云对后续道路边沿确定的干扰。由此通过道路平面点以及激光雷达位置先验的共同约束，去除非道路点云的干扰。

步骤3.2：将减少非道路区域干扰后的有效激光点沿着Y方向进行激光点的累计获取Y方向点云累计直方图。

进一步，所述步骤4的具体如下：

根据路沿区域在路面形成凸起的特性，沿Y方向进行累计，激光点会在路沿区域形成大量的堆积，而激光雷达位置固定，那么道路左右边沿必然会处于Y方向点云累计直方图原点的左右两侧，由此可以通过结合Y方向点云累计直方图原点的左右两侧的峰值区间和路沿宽度获取三维道路左右边沿激光点云。

进一步，所述步骤5的具体步骤为：

根据激光点云与图像面的映射关系，获取三维道路左右边沿激光点云对应的二维图像平面投影点，假定道路左右边沿为直线道路边沿，依次基于最小二乘法对道路左右边沿激光点的二维图像平面投影点进行拟合，得到图像面上道路左右边沿，基于最小二乘法对道路左右边沿进行拟合,由此将道路左右边沿提取问题转换为优化问题，具体计算如公式(5)～(6)所示：

其中，(u₁,v₁)表示二维图像面上道路左边沿投影点；

表示第i个左道路边沿点对应的二维像平面投影点；(u₂,v₂)表示二维道路图像面上道路右边沿投影点；

表示第j个右道路边沿点对应的二维像平面投影点；

表示最优的道路左边沿参数；

表示最优的道路右边沿参数；(m,n)分别表示道路左右边沿激光点的个数。

进一步，所述步骤6的具体步骤为：

道路边沿检测的结果最终需要可视化在图像面上，由此将基于激光点云数据提取到的道路左右边沿点分别投影在图像面上，并标示出基于最小二乘拟合到的道路左右边沿，完成基于激光点云数据的道路边沿检测。

本发明同现有技术相比，其有益效果表现在：

1、本发明基于激光点云进行道路边沿的提取，相比于基于视觉图像的道路边沿提取，能够实现全天时的道路边沿检测，且不受光照变化以及阴影的干扰；

2、本发明直接基于3D激光点云进行道路边沿检测，在3D空间实现道路边沿点的提取，综合利用数据采集系统以及道路区域的先验知识，实现一种稳定的边沿检测方法。在本发明中，涉及的参数包括道路平面方程的参数以及路沿宽度，道路平面方程的参数基于MSAC(M估计样本一致性)进行求解，道路边沿宽度的设置基于路沿宽度的先验知识，且对道路边沿提取精度影响较小。因此，本发明无需繁琐的手工参数调节，解决了道路边沿点提取中多参数及参数难调的问题；

3、本发明仅基于单帧图像对应的激光点云数据提取道路边沿，以往的道路边沿提取中往往需要密集的激光点云或是连续多帧图像对应的激光点云才能得到鲁棒的边沿提取效果，基于单帧图像数据对应的激光点云由于缺乏帧间时序信息，易受非道路区域激光点云对道路边沿的干扰。而对于将密集点云投影到图像面进行边缘提取的方法，由于点云稀疏性、异常点的存在以及点云近密远疏的特点，使得道路边沿不完整甚至无法检测出道路边沿。本发明综合利用数据采集系统以及道路区域的先验知识，无需连续图像帧对应的激光点云数据且仅基于稀疏的激光点云，实现一种简单高效的道路边沿检测方法。

附图说明

图1为本发明的流程图；

图2为本发明中的一帧图像；

图3为本发明中图2对应的未校准的激光点云三维示意图；

图4为本发明中图2对应的未校准的激光点云Y-X平面二维示意图；

图5为本发明中图2对应的有效激光点云；

图6为本发明中图2对应的未去除异常激光点的道路激光点云Y-X平面二维示意图；

图7为本发明中图2对应的未去除异常激光点的道路激光点云沿Y方向累计直方图；

图8为本发明中图2对应的已去除异常激光点的道路激光点云沿Y方向累计直方图；

图9为本发明中图2对应激光点云最终的沿Y方向累计直方图；

图10为本发明中图2对应的激光点云的道路边沿检测结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

一种结合激光点云数据的道路视觉检测方法，包括以下步骤：

步骤1：根据激光点云与图像间的空间位置关系，对激光雷达获取的点云数据与摄像机获取的图像数据进行联合校准，获取已校准激光点云，并剔除超出图像视场面外的无效激光点云，保留有效激光点云；

具体步骤如下：

步骤1.1：根据激光点云和图像间的空间位置关系，获取旋转校准矩阵以及激光点云到图像的转换矩阵，建立激光点云和图像面上的映射关系，三维激光点云在二维图像面上的投影坐标可表示为：

其中，C(x,y,z,u,v)表示建立激光点云与图像的映射关系后的激光点坐标； C(x,y,z)表示激光点的三维空间坐标；C(u,v)表示激光点投影在二维图像面的投影坐标；

为旋转校准矩阵；

为将三维激光点velo转换到图像坐标cam的转换矩阵；p(x,y,z)为三维激光点坐标。

步骤1.2：根据激光点云二维投影坐标和图像尺寸的关系，剔除超出图像面的无效激光点云，保留有效激光点云。

步骤2：基于道路平面特点以及有效激光点云构建道路面方程，基于M估计样本一致性(M-estimator SAmple Consensus，MSAC)进行道路平面方程参数估计，提取道路区域点云，在道路平面拟合过程中，通常会存在少量异常点，这些异常点会干扰后续的道路边沿点云的确定。根据小概率事件的定义，概率小于5％的事件，认为在一次试验中几乎不可能发生，故在激光点云的异常点处理中，采用删除Y 方向最大最小的5％的激光点云，完成异常点的去除，获取道路激光点云；

具体步骤如下：

步骤2.1：基于地平面点通常处于同一平面的特点与有效激光点云构建地平面方程：

ax+by+cz+d＝0 (2)

其中，(a,b,c,d)地平面方程的参数。

步骤2.2：基于MSAC进行道路平面方程的参数估计。MSAC通过反复选择激光点云数据中一组随机子集来进行道路平面方程参数的估计，被选取的随机子集被假设为数据内点即道路点，用这些数据点估计道路平面方程的参数。再用估计出的道路平面方程去测试剩余的数据点，若某点满足这个道路平面方程，那么这个点也被认为是道路点。如果有足够多的点被归为假设的道路平面点，那么估计出的道路平面方程就足够合理。随后用假设的道路点重新估计道路平面方程，用道路平面模型的损失函数评估道路平面模型的合理性。MSAC的损失函数如公式(3)～(4)所示。

其中，C表示损失函数，

表示模型拟合内点数据的惩罚。T²表示划分为内点的阈值；e²表示将数据点判断为内点的误差函数,通过数据点到地坪地平面的距离来度量；(x₁,y₁,z₁)表示数据点的三维空间坐标。

步骤2.3：在基于MSAC进行道路平面拟合的过程中，会存在少量异常点与道路面处于同一个平面，但不属于道路激光点。针对这个问题，基于小概率事件的定义，概率小于5％的事件认为在一次试验中几乎是不可能发生的。由此，通过删除激光点云沿着Y轴方向最大最小的5％的激光点完成异常激光点的处理，获取道路激光点云。

步骤3：基于道路激光点云确定道路点云的大致区间，并基于激光雷达的位置信息对点云进行进一步的约束。在激光雷达点云数据采集系统中，激光雷达处于固定位置，并且激光点云数据以激光雷达所在的位置为坐标原点，那么沿着Z方向原点以上的点云必然不是道路点云。根据激光雷达的位置信息和道路激光点云共同约束有效激光点云后可以有效的削弱非道路点云对后续道路边沿点的干扰，随后将约束后的道路激光点云沿着Y方向进行点云的累计，获取沿Y方向的点云累计直方图；

具体步骤如下：

步骤3.1：根据道路激光点云确定道路区域所在位置的大致区间，剔除非道路激光点云。同时，由于采集到的激光点云以激光雷达所在的位置为原点，那么意味着沿Z轴方向，大于原点的激光点必然不是道路区域激光点，根据这一先验知识进一步减少非道路区域点云对后续道路边沿确定的干扰。由此通过道路平面点以及激光雷达位置先验的共同约束，去除非道路点云的干扰。

步骤3.2：将减少非道路区域干扰后的有效激光点沿着Y方向进行激光点的累计获取Y方向点云累计直方图。

步骤4：根据道路左右边沿处于激光雷达左右两侧的特点，在沿Y方向的点云累计直方图原点的左右两侧分别寻找道路的三维道路左右边沿激光点云。将激光点云沿着Y方向进行点云累计后，道路边沿区域会形成大量的点云累计，并且已经去除非道路点云的干扰，由此可以通过Y方向点云累计直方图原点左右两侧的峰值区间和路沿宽度信息确定最终的道路边沿激光点云；

具体步骤如下：

根据路沿区域在路面形成凸起的特性，沿Y方向进行累计，激光点会在路沿区域形成大量的堆积，而激光雷达位置固定，那么道路左右边沿必然会处于Y方向点云累计直方图原点的左右两侧，由此可以通过结合Y方向点云累计直方图原点的左右两侧的峰值区间和路沿宽度获取道路边沿三维激光点。

步骤5：基于道路激光点云与图像面的映射关系，将三维道路左右边沿激光点云转换为二维图像平面投影点，并基于最小二乘法对道路左右边沿激光点的二维投影点进行拟合，得到图像面上道路左右边沿；

具体步骤如下：

根据激光点云与图像面的映射关系，获取三维道路左右边沿激光点云对应的二维图像平面投影点，假定道路左右边沿为直线道路边沿，依次基于最小二乘法对道路左右边沿进行拟合，得到图像面上道路左右边沿，基于最小二乘法对道路左右边沿进行拟合,由此将道路左右边沿提取问题转换为优化问题，具体计算如公式(5) ～(6)所示：

其中，(u₁,v₁)表示二维图像面上道路左边沿投影点；

表示第i个左道路边沿点对应的二维像平面投影点；(u₂,v₂)表示二维道路图像面上道路右边沿投影点；

表示第j个右道路边沿点对应的二维像平面投影点；

表示最优的道路左边沿参数；

表示最优的道路右边沿参数；(m,n)分别表示道路左右边沿激光点的个数。

步骤6：将图像面上的道路左右边沿投影到图像面上，即可以完成基于激光点云的道路边沿检测。

具体步骤如下：

道路边沿检测的结果最终需要可视化在图像面上，由此将基于激光点云数据提取到的道路左右边沿点分别投影在图像面上，并标示出基于最小二乘拟合到的道路左右边沿，完成基于激光点云数据的道路边沿检测。

实施例

根据激光点云与图像间的空间位置关系，对激光雷达获取的点云数据与摄像机获取的图像数据进行联合校准，获取已校准激光点云，并剔除超出图像视场面外的无效激光点云，保留有效激光点云。其中，图像数据如图2所示；图2对应的未校准点云的三维示意图如图3所示；图2对应的未校准点云的Y-X二维平面示意图如图4所示；图2对应的有效激光点云Y-X二维平面示意图如图5所示；

基于道路平面特点以及有效激光点云构建道路面方程，基于M估计样本一致性(M-estimator SAmple Consensus，MSAC)进行道路平面方程参数估计，提取道路区域点云，在道路平面拟合过程中，通常会存在少量异常点，这些异常点会干扰后续的道路边沿点云的确定。根据小概率事件的定义，概率小于5％的事件，认为在一次试验中几乎不可能发生，故在激光点云的异常点处理中，采用删除Y方向最大最小的5％的激光点云，完成异常点的去除，获取道路激光点云。其中，道路激光点云Y-X二维平面示意图如图6所示；道路激光点云对应的沿Y方向的累计直方图如图7所示；去除异常激光点的道路激光点云沿Y方向的累计直方图如图8 所示；

步骤3：基于道路激光点云确定道路点云的大致区间，并基于激光雷达的位置信息对点云进行进一步的约束。在激光雷点云数据采集系统中，激光雷达处于固定位置，并且激光点云数据以激光雷达所在的位置为坐标原点，那么沿着Z方向原点以上的点云必然不是道路点云。根据激光雷达的位置信息和道路点云共同约束有效激光点云后可以有效的削弱非道路点云对后续道路边沿点的干扰，随后将约束后的激光点云沿着Y方向进行点云的累计，获取沿Y方向的点云累计直方图。其中，图2中激光点云对应的沿Y方向点云累计直方图如图9所示；

步骤4：根据道路左右边沿处于激光雷达左右两侧的特点，在沿Y方向的点云累计直方图原点的左右两侧分别寻找道路的左右边沿点云。将激光点云沿着Y 方向进行点云累计后，道路边沿区域会形成大量的点云累计，并且已经去除非道路点云的干扰，由此可以通过Y方向点云累计直方图原点左右两侧的峰值区间和路沿宽度信息确定最终的道路边沿激光点云；

步骤5：基于激光点云与图像面的映射关系，将三维道路左右边沿激光点云转换为二维图像平面投影点，并基于最小二乘法进行道路边沿拟合，得到图像面上道路左右边沿；

步骤6：将图像面上的道路左右边沿投影到图像面上，即可以完成基于激光点云的道路边沿检测。其中，图2对应的激光点云的道路边沿检测结果如图10所示。

以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (7)

1.一种基于激光点云的道路边沿检测方法，其特征在于：包括以下步骤：

步骤1：根据激光点云与图像间的空间位置关系，对激光雷达获取的点云数据与摄像机获取的图像数据进行联合校准，获取已校准激光点云，并剔除超出图像视场面外的无效激光点云，保留有效激光点云；

步骤2：基于道路平面特点以及有效激光点云构建道路面方程，基于M估计样本一致性进行道路平面方程参数估计，提取道路区域点云，在道路平面拟合过程中，通常会存在少量异常点，在激光点云的异常点处理中，采用删除Y方向最大最小的5％的激光点云，完成异常点的去除，获取道路激光点云；

步骤3：基于道路激光点云确定道路点云的大致区间，并基于激光雷达的位置先验对点云进行进一步的约束；

根据激光雷达的位置先验和道路激光点云共同约束有效激光点云，削弱非道路点云对后续道路边沿点的干扰，随后将约束后的道路激光点云沿着Y方向进行点云的累计，获取沿Y方向的点云累计直方图；

步骤4：根据道路左右边沿处于激光雷达左右两侧的特点，在沿Y方向的点云累计直方图原点的左右两侧分别寻找道路的三维道路左右边沿激光点云；

步骤5：基于激光点云与图像面的映射关系，将三维道路左右边沿激光点云转换为二维图像平面投影点，并基于最小二乘法进行道路边沿拟合，得到图像面上道路左右边沿；

步骤6：将图像面上的道路左右边沿投影到图像面上，完成基于激光点云的道路边沿检测。

2.根据权利要求1所述的一种基于激光点云的道路边沿检测方法，其特征在于：所述步骤1的具体步骤如下：

步骤1.1：根据激光点云和图像间的空间位置关系，获取旋转校准矩阵以及激光点云到图像的转换矩阵，建立激光点云和图像面上的映射关系，三维激光点云在二维图像面上的投影坐标可表示为：

其中，C(x,y,z,u,v)表示建立激光点云与图像的映射关系后的激光点坐标；C(x,y,z)表示激光点的三维空间坐标；C(u,v)表示激光点投影在二维图像面的投影坐标；

为旋转校准矩阵；

为将三维激光点velo转换到图像坐标cam的转换矩阵；p(x,y,z)为三维激光点坐标；

步骤1.2：根据激光点云二维投影坐标和图像尺寸的关系，剔除超出图像面的无效激光点云，保留有效激光点云。

3.根据权利要求2所述的一种基于激光点云的道路边沿检测方法，其特征在于：所述步骤2的具体步骤如下：

步骤2.1：基于道路平面点通常处于同一平面的特点与有效激光点云共同构建地平面方程：

ax+by+cz+d＝0 (2)

其中，(a,b,c,d)地平面方程的参数；

步骤2.2：基于MSAC进行道路平面方程参数估计，MSAC通过反复选择激光点云数据中一组随机道路激光点云子集来实现道路平面方程参数的估计，被选取的随机子集被假设为数据内点即道路点，用这些数据点估计道路平面方程的参数，得到估计出的道路平面方程；

再用估计出的道路平面方程去测试剩余的数据点，若某点满足这个道路平面方程，那么这个点也被认为是道路点；

如果有足够多的点被归为假设的道路平面点，那么估计出的平面方程就足够合理。，随后用假设的道路点重新估计道路平面方程，用损失函数评估道路平面模型的合理性，MSAC的损失函数如公式(3)～(4)所示：

其中，C表示损失函数，

表示模型拟合内点数据的惩罚；T²表示划分为内点的阈值；e²表示将数据点判断为内点的误差函数,通过数据点到地坪地平面的距离来度量；(x₁,y₁,z₁)表示数据点的三维空间坐标；

步骤2.3：在基于MSAC进行道路平面拟合的过程中，删除激光点云沿着Y轴方向最大最小的5％的激光点完成异常激光点的处理，获取道路激光点云。

4.根据权利要求3所述的一种基于激光点云的道路边沿检测方法，其特征在于：所述步骤3的具体步骤如下：

步骤3.1：根据道路激光点云Y方向坐标区间确定道路区域所在位置，剔除超出此区间一定范围的非道路激光点云，减少非道路激光点云如道路两边树木、建筑物，对提取路沿激光点的干扰，通过激光点云位置先验剔除Z方向上必然不属于道路点云的激光点云，如道路面上的车辆激光点云，进一步减少干扰；

由此实现，道路平面激光点以及激光雷达位置先验的共同约束，去除非道路点云的干扰。

步骤3.2：将减少非道路区域干扰后的有效激光点沿着Y方向进行激光点的累计获取Y方向点云累计直方图。

5.根据权利要求4所述的一种结合激光点云数据的道路视觉检测方法，其特征在于：所述步骤4的具体如下：

将激光点云沿着Y方向进行点云累计后，道路边沿区域会形成大量的点云累计，并且已经去除非道路点云的干扰，由此可以通过Y方向点云累计直方图原点左右两侧的峰值区间和路沿宽度信息确定最终的三维道路左右边沿激光点云。

6.根据权利要求5所述的一种结合激光点云数据的道路视觉检测方法，其特征在于：所述步骤5的具体步骤为：

根据道路激光点云与图像面的映射关系，获取三维道路左右边沿激光点云对应的二维图像平面投影点，依次基于最小二乘法对道路左右边沿激光点的二维图像平面投影点进行拟合，得到图像面上道路左右边沿，基于最小二乘法对道路左右边沿进行拟合,将道路左右边沿提取问题转换为优化问题，具体计算如公式(5)～(6)所示：

其中，(u₁,v₁)表示二维图像面上道路左边沿投影点；

表示第i个左道路边沿点对应的二维像平面投影点；(u₂,v₂)表示二维道路图像面上道路右边沿投影点；

表示第j个右道路边沿点对应的二维像平面投影点；

表示最优的道路左边沿参数；

表示最优的道路右边沿参数；(m,n)分别表示道路左右边沿激光点的个数。

7.根据权利要求6所述的一种基于激光点云的道路边沿检测方法，其特征在于：所述步骤6的具体步骤为：

将基于激光点云数据提取到的道路左右边沿点分别投影在图像面上，并标示出基于最小二乘拟合到的道路左右边沿，完成基于激光点云数据的道路边沿检测。

Images