CN114076956A - 一种基于激光雷达点云辅助的车道线标定方法 - Google Patents

Abstract

本发明为一种基于激光雷达点云辅助的车道线标定方法，外参标定，获得雷达‑相机的外参信息；进行实际道路的数据采集；通过车身的RTK所提供的位姿信息，或通过激光雷达独立进行SLAM地图构建，将所采集的多帧雷达数据进行叠加，获得全局地图；通过开发可视化点云标注工具，将点云地图导入标注工具进行标注；基于雷达和相机的外参信息，将同步的雷达点云帧的标注结果投影到图像平面，并基于插值算法和膨胀腐蚀获得对应的像素标注结果，实现自动对图像的像素级分割标注，实现图像车道线数据集构建。本发明通过雷达‑相机外参信息将两类传感器的感知结果进行耦合，通过雷达标注结果进行图像的车道线掩码标注，并基于不同策略优化，提高了图像标注的效率。

Description

一种基于激光雷达点云辅助的车道线标定方法

技术领域

本发明涉及一种基于激光雷达点云辅助的车道线标定工具，属于传感器融合、图像分割、软件系统和自动驾驶感知领域。

背景技术

在半封闭园区场景、港口集装箱码头、高速公路等区域，车辆所行驶的路面都印有标准的车道线标志，部分路段两端有路牙、路肩等标志，因此可以通过检测视野中的车道线位置，生成虚拟的车道中心线、航向角等更为有效的驾驶语义信息，辅助无人驾驶系统进行路径规划。而现有的驾驶辅助系统也高度依赖基于图像的车道线检测，从而提供车道虚拟中心线来进行车道保持、超车换道等任务。特别是当采用深度学习方案实现相关无人驾驶功能时，对相关数据的需求呈几何增长。与此同时，标注精度良好的车道线数据集怎相对匮乏。无论是基于启发式算法，还是数据驱动的深度学习建模方案，模型和算法的更新迭代、以及最终模型成型前的功能测试均依赖有标注车道线数据的综合量化评估。高精度、像素级分割的车道线标注成为推动无人驾驶落地的一项基础关键工作。

传统车道线检测主要依赖低成本光学相机进行图像捕获，结合启发式条件进行车道线检测；随着深度学习在图像领域取得成功，不同的公司和科研机构提出了大量面向车道线检测的深度学习架构。一方面，不同场景、环境、天气、车辆传感器的部署对车道线数据的采集和标注带来挑战。另一方面，相机的透视坐标是的感知结果呈现出“近大远小”，“近细远糙”的特点，主流的标注方式可以通过等距点采样和线采样进行快速标注，但标注精度相对有限，无法提供较高的量化评估。像素级分隔标注精度虽然最好，但是标注过程耗时耗力，且相对效率极其低下，是限制当前车道线标注工作的一大瓶颈。

发明内容

针对上述问题，本发明提出了一种基于激光雷达点云辅助的车道线标定工具，用于在利用激光雷达信息进行辅助，实现面向图像的车道线高效标注，从而为相关算法、模型开发，系统验证提供大量的数据支撑。

为实现上述目的，本发明提供如下技术方案：

一种基于激光雷达点云辅助的车道线标定方法，其特征在于，将安装在车体上的单个或多个雷达与车前的相机进行外参标定，获得雷达-相机的外参信息；进行实际道路的数据采集，并保证雷达和相机的数据信息同步；通过车身的RTK所提供的位姿信息，或通过激光雷达独立进行SLAM地图构建，将所采集的多帧雷达数据进行叠加，获得全局地图；通过开发可视化点云标注工具，将点云地图导入标注工具进行标注；基于雷达和相机的外参信息，将同步的雷达点云帧的标注结果投影到图像平面，并基于插值算法和膨胀腐蚀获得对应的像素标注结果，实现自动对图像的像素级分割标注，实现图像车道线数据集构建。

本发明进一步设置，雷达-相机外参标定时，基于棋盘边缘轮廓检测算法，分别使用基于图像的棋盘检测和基于雷达的轮廓检测获得标定板在三维点云和二维图像中的多组角点信息，利用3维空间中最优刚体变换求解，通过人为匹配的方式将标定板4个角点在二维图像和三维点云中的像素点C2D (xi,yi)和雷达点C3D(xi,yi,zi)进行配对，然后基于Ransac PnP求解初始外参 E0；并基于初始外参将3D角点投影到图像平面，然后求重投影坐标和图像角点坐标的差异；

本发明进一步设置，基于公式计算，剔除导致Cdiff差异值较高的错误投影点，并通过多轮次的Ransac算法迭代确定最终的雷达相机外参；当存在多个雷达时，依次采用上述步骤完成对每个雷达到相机的外参标定；其中公式如下：

其中，上述公式中z为高度值，E0 为初始外参，K为相机内参矩阵，C3D(xi,yi,zi)与C2D(xi,yi)分别为三维点云中雷达点及对应二维图像中像素点的坐标。

本发明进一步设置，通过激光雷达点云配准建图时，当存在可利用的差分GPS和惯性测量单元时，基于雷达-RTK外参信息和RTK获得的车辆运动位姿信息进行直接叠加；当不存在相关设备时，则依赖SLAM算法进行点云的位姿估计。

本发明进一步设置，标注时，单帧点云通过位姿矩阵投影到统一的全局坐标系下；根据坐标大小对整体点云空间进行划分；在标注框中显示对应区域的点云数据；根据点云位姿，将叠加点云中的所有点从全局坐标系逆向投影回雷达坐标系下，获得单帧点云的车道线标签。

本发明进一步设置，为了可视化激光雷达三维点云，对激光雷达三维点云进行上色时采用点云反射率并利用jet色组对激光雷达点云进行上色。

本发明进一步设置，还包括如下标注加速方法：点云投影优化和地面过滤，在叠加点云之前对点云数据进行了预处理操作，首先将单帧点云投影到全局坐标系下，假定车辆行驶在水平平面上，横滚角和俯仰角都被设定为0，并重新计算点云位姿矩阵，最后过滤掉所有高度超过地面高度的点。

本发明进一步设置，还包括如下标注加速方法：分块可视化加速，通过将整个场景基于面积切分，裁剪为多个相邻的块，同时基于部署硬件设置不同的边长来控制标注区域的范围。

本发明进一步设置，将上一步获得的点云标签车道线点云，基于雷达相机外参进行投影，投影到相机图像平面；然后基于插值算法进行稠密化插值，基于投影后的点云点构建德劳内三角，然后构建泰森多边形，每个激光点落在不重叠的多边形中心；基于其几何性质，雷达点到多边形每条边距离相等；基于不同的插值算法对多边形内的像素点进行插值填充，获得膨胀后的点云稠密图；然后基于图像灰度图像素信息进行腐蚀，消除部分超出车道线边界错误点云结果，获得最终的像素级车道线信息。

本发明具有如下至少一种有益效果：

(1)通过雷达-相机外参信息将两类传感器的感知结果进行耦合。

(2)借助雷达反射率信息，设计了一种基于点云地图的地面交通标识高效并行标注工具，提高了对点云语义数据的标注效率。

(3)通过雷达标注结果进行图像的车道线掩码标注，并基于不同策略优化，提高了图像标注的效率。

附图说明

图1为雷达相机外参标定；

图2为图像-雷达角点检测示意；

图3为手动对点云车道线标注结果示意图；

图4为单帧点云和地图叠加可视化结果；

图5为工具中针对不同车道线类别标签定义；

图6为工具中针对不同非车道线类别标签定义；

图7为标注软件界面示意图；

图8为不同colormap着色功能选择；

图9为点云标签经过插值填充和腐蚀后对应图像的车道线对比；

图10为针对本地采集数据的标注结果；具体实施方式

以下将配合实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

系统基于车载雷达和相机系统进行数据采集。首先，通过雷达外参将安装在车体单个或多个雷达与车前的相机进行外参标定，获得雷达-相机的外参信息。然后，进行实际道路的数据采集，并保证雷达和相机的数据信息同步。接着，通过车身的RTK所提供的位姿信息，或通过激光雷达独立进行SLAM 地图构建，将所采集的多帧雷达数据进行叠加，获得全局地图。然后，通过开发可视化点云标注工具，将点云地图导入标注工具进行标注。此时，由于对整个地图的点云进行基于反射率信息的标注，由于车道线和地面交通标识一半采用标准油漆标识，激光点云呈现镜面反射，反射率信息叫地面和周边建筑漫反射强，具有较强的肉眼可识别性。整个标注过程通过多帧批处理实现高效标注。一方面，通过叠加的点云帧能够一次性完成多帧数据的标注，极大的提高了标注的效率。另一方面，由于场景地图往往十分巨大在处理过程中进行以下优化策略。1、基于Ransac对道路平面进行拟合，单独抽取场景中的地面信息；2、对整个场景地图进行切块划分，每次仅载入单个子区域进行可视化和标注，基于实际硬件配置可在软件设置单个区域的边长信息。最后，基于雷达和相机的外参信息，将同步的雷达点云帧的标注结果投影到图像平面，并基于插值算法和膨胀腐蚀获得对应的像素标注结果，实现自动对图像的像素级分割标注。从而实现高效的图像车道线数据集构建。

本发明提出的基于激光雷达点云辅助的车道线标定工具，具体包括：

雷达-相机外参标定。基于棋盘边缘轮廓检测算法，分别使用基于图像的棋盘检测和基于雷达的轮廓检测获得标定板在三维点云和二维图像中的多组角点信息，利用3维空间中最优刚体变换求解，通过人为匹配的方式将标定板4个角点在二维图像和三维点云中的像素点C2D(xi,yi)和雷达点C3D (xi,yi,zi)进行配对，然后基于Ransac PnP求解初始外参E0；并基于初始外参将3D角点投影到图像平面，然后求重投影坐标和图像角点坐标的差异。

基于公式1计算，剔除导致Cdiff差异值较高的错误投影点，并通过多轮次的Ransac算法迭代确定最终的雷达相机外参。当存在多个雷达时，依次采用上述步骤完成对每个雷达到相机的外参标定。采用多个雷达的好处是一方面能够充分利用车体雷达(一般无人驾驶车辆会装配多个雷达，特别是大型车辆)，增加单帧投影到图像的数据；但另一方面也需要考虑多雷达对SLAM建图的计算负载。

其中，上述公式中z为高度值，E0为初始外参，K为相机内参矩阵，C3D (xi,yi,zi)与C2D(xi,yi)分别为三维点云中雷达点及对应二维图像中像素点的坐标。

激光雷达点云配准建图，分为两种情况。当存在可利用的差分GPS和惯性测量单元(RTK)时，基于雷达-RTK外参信息和RTK获得的车辆运动位姿信息进行直接叠加；当不存在相关设备时，则依赖SLAM算法进行点云的位姿估计。针对第一种情况，工具利用雷达的位姿矩阵将单帧雷达点云进行叠加，单帧雷达点云数据被投影到全局坐标系下。雷达位姿矩阵的计算分为两种方法，分为使用激光SLAM和使用惯导进行计算。惯导定位精度高，得到的位姿数据非常准确，但是由于惯导计算的位姿需要通过GPS差分数据进行校准，因此只能在室外GPS信号良好的地方才能得到准确的位姿信息，因此在室外环境下可以通过惯导计算得到的位姿对点云数据进行叠加。

针对在室内场景，GPS信号被遮挡，因此使用激光SLAM算法LOAM 计算雷达的位姿，该方法在封闭场景内可以准确地计算雷达的里程计，并利用回环检测算法对位姿进行修正。

标注工具的标注过程可以被概括为：单帧点云通过位姿矩阵投影到统一的全局坐标系下；根据坐标大小对整体点云空间进行划分；在标注框中显示对应区域的点云数据；根据点云位姿，将叠加点云中的所有点从全局坐标系逆向投影回雷达坐标系下，获得单帧点云的车道线标签。这样处理的好处有两点，可以精确标注点云数据，同时加快标注速度。叠加多帧的点云数据相对于单帧点云更加稠密，车道线点特征更加明显，用户在标注车道线的时候，能够更加精准地选中车道线区域。图4为同一场景中单帧点云和多帧点云的对比图，由于单帧点云过于稀疏，肉眼很难从标注栏中精准选中车道线区域；图4下为多帧点云叠加后的图片，可以明显很清晰地看到场景中车道线标志，用户能够更加精准地圈出车道线的位置。在本专利搭建的数据采集平台中，车辆运行速度较慢，因此采集过程中相邻帧点云数据之间会存在重合的现象，如果对单帧点云数据进行标注，会导致重复标注很多数据。本专利设计的软件对点云数据叠加，获取的标签坐标对应的是全局坐标系下点的坐标，最后通过位姿转移矩阵投影回单帧点云坐标中，解决了重复标注的问题，大大减少了数据标注的时间。

标注工具设计。软件采用QT应用程序开发框架进行编写。Qt是跨平台 C++图形用户界面应用程序开发框架，它既可以开发GUI程序，也可用于开发非GUI程序，比如控制台工具和服务器。Qt是面向对象的框架，使用特殊的代码生成扩展以及一些宏，并且允许真正地组件编程。点云的3d显示，软件使用了OpenGL(Open Graphics Library)开放式图形库对点云的3d 模型进行渲染，程序界面如图7所示。软件菜单栏在界面左上方，菜单栏包含了标注数据所需要用到的功能按钮，菜单栏按钮从左到右依次为打开数据集路径，保存当前标签，刷新标注页面三维点云数据，使用多边形标注框，调整标注页面点云视角。点云选择区域栏目在软件左边菜单栏底下，软件根据点云在全局坐标系下的坐标，按照距离将点云分成范围大小相等的多个部分，点击该栏目正方形区域即可选择标注点云区域。图像回显栏目在软件左边最底部，此栏目显示了两张图片，上面一张为当前标注点所在的点云帧对应的同步时得到的图像数据，下面一张为标注好的车道线数据标签通过转移矩阵投影到图像数据上的显示，可以用来验证标注车道线数据的准确性。车道线数据标注栏目在软件的右半部分，该部分叠加显示三维雷达点云数据，可以通过多边形标注框选定车道线所在区域，进行车道下标注，在该标注栏目中，视角可以随意旋转和拖动，同时也支持放缩，方便我们准确进行车道线标注工作。

基于colormap的点云可视化优化。为了可视化激光雷达三维点云，需要对激光雷达三维点云进行上色。本专利试用了多种点云着色方法，包括通过点云坐标显示点云颜色，通过点云反射率显示点云等方法可视化点云，最终经过肉眼比较使用方法上色后的点云显示效果，本专利选用点云反射率并利用jet色组对激光雷达点云进行上色。如图8为不同colormap投影方案下车道线和地面之间反射率之间的差异通过颜色显示结果。该软件在标注数据时，更易于区分车道线和地面，从而使得用户能够准确地标出车道线。

标注加速。1.点云投影优化和地面过滤。叠加后的点云数据量很大，软件加载点云速度随着数据量的增多变得越来越慢，同时标注数据时会产生卡顿。此外由于车辆自身机械结构存在缺陷，雷达传感器相对于车辆底盘不是纯钢体，因此地面不平车辆行驶过程中车身发生抖动导致雷达与车身坐标的相对位置发生变化，从而使得叠加后的点云产生抖动，不易于进行标注。本文在叠加点云之前对点云数据进行了预处理操作，首先将单帧点云投影到全局坐标系下，由于车辆运行抖动导致采集数据得到的点云位姿矩阵与实际不相符，本文通过多次尝试对比发现位姿不准确的原因在于雷达的横滚角和俯仰角于真实情况有偏差，因此假定车辆行驶在水平平面上，横滚角和俯仰角都被设定为0，并重新计算点云位姿矩阵，最后过滤掉所有高度超过地面高度的点。2.分块可视化加速。通过将整个场景基于面积切分，裁剪为多个相邻的块。基于部署硬件设置不同的边长来控制标注区域的范围。用于加强可视化标注效率。

图像掩码生成。将上一步获得的点云标签车道线点云，基于雷达相机外参进行投影，投影到相机图像平面。然后基于插值算法进行稠密化插值。基于投影后的点云点构建德劳内三角，然后构建泰森多边形，每个激光点落在不重叠的多边形中心。基于其几何性质，雷达点到多边形每条边距离相等。基于不同的插值算法对多边形内的像素点进行插值填充，获得膨胀后的点云稠密图。然后基于图像灰度图像素信息进行腐蚀，消除部分超出车道线边界错误点云结果，获得最终的像素级车道线信息。

相应地，本发明提供一种基于激光雷达点云辅助的车道线标定工具，包括以下步骤：

步骤1，基于标定板进行雷达-相机外参估计。分别将目标标定板置于相机和雷达视场角可同时覆盖的区域(如图1所示)，并通过多次采样获取多组雷达点云的标定板外边界和图像外边界。首先，基于直线交点检测分别获得三维点云中的标定板角点，和图像中的二维标定板角点，如图2所示。然后，基于Ransac优化算法进行多轮次迭代获得外参E。其中，由于相机和雷达在车辆平台上部署的位置和坐标朝向不同，因此需要对两个传感器的坐标系进行旋转和平移，使得两个传感器的坐标系重合。相机外参在本文中的含义为将相机移动到雷达所旋转的角度和平移的值。相机外参数包含六个参数，分别为：roll、pitch、yaw、x、y、z。其中roll，pitch，yaw为翻滚角、俯仰角和航向角，分别对应了物体绕坐标系x轴旋转、y轴旋转和z轴旋转所对应的值。x、y、z为物体沿三个坐标轴平移的距离。

步骤2，通过采集平台在户外场景进行数据采集，并基于RTK位姿或 SLAM算法对所获取的点云进行叠加地图构建。然后将所获取的点云地图导入工具，并进行相关优化。首先，基于Ransac进行地面提取，剔除地面以上的其他建筑和杂物信息，降低三维渲染计算量。然后基于体素边长进行地图切分，获得多个子图。

步骤3，基于地面点云语义标注工具进行车道线和其它地面交通标识的标注(可选)。图5和6分别显示了工具中针对不同车道线类别标签定义和针对不同非车道线类别标签定义。操作示意如图3所示，通过鼠标选择对应区域进行标注，并通过颜色进行区分。由于地图为多帧连续点云叠加所得，并保留了原数据帧数据结构信息，并行标注效率极高。同时，软件提供不同的着色方案，可选的着色方案如图8所示。图10为仅保留地面交通语义的地图标注结果示例

步骤4，基于步骤1所得的雷达-相机外参将标注所得的地面车道线点云投影到图像平面。并通过构建德劳内三角和泰森多边形进行点云插值，将稀疏点云差值为稠密点云，如图9所示。然后，基于图像腐蚀修正稠密点云误差，得到车道线掩码结果。对整个数据集进行处理，得到对像素级掩码的车道线分割数据集。用于模型训练和算法评估。

本发明的优点在于：

(1)通过雷达-相机外参信息将两类传感器的感知结果进行耦合。

(2)借助雷达反射率信息，设计了一种基于点云地图的地面交通标识高效并行标注工具，提高了对点云语义数据的标注效率。

(3)通过雷达标注结果进行图像的车道线掩码标注，并基于不同策略优化，提高了图像标注的效率。

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.一种基于激光雷达点云辅助的车道线标定方法，其特征在于，将安装在车体上的单个或多个雷达与车前的相机进行外参标定，获得雷达-相机的外参信息；进行实际道路的数据采集，并保证雷达和相机的数据信息同步；通过车身的RTK所提供的位姿信息，或通过激光雷达独立进行SLAM地图构建，将所采集的多帧雷达数据进行叠加，获得全局地图；通过开发可视化点云标注工具，将点云地图导入标注工具进行标注；基于雷达和相机的外参信息，将同步的雷达点云帧的标注结果投影到图像平面，并基于插值算法和膨胀腐蚀获得对应的像素标注结果，实现自动对图像的像素级分割标注，实现图像车道线数据集构建。

2.根据权利要求1所述的一种基于激光雷达点云辅助的车道线标定方法，其特征在于，雷达-相机外参标定时，基于棋盘边缘轮廓检测算法，分别使用基于图像的棋盘检测和基于雷达的轮廓检测获得标定板在三维点云和二维图像中的多组角点信息，利用3维空间中最优刚体变换求解，通过人为匹配的方式将标定板4个角点在二维图像和三维点云中的像素点C2D(xi,yi)和雷达点C3D(xl,yl,zl)进行配对，然后基于Ransac PnP求解初始外参E0；并基于初始外参将3D角点投影到图像平面，然后求重投影坐标和图像角点坐标的差异。

3.根据权利要求2所述的一种基于激光雷达点云辅助的车道线标定方法，其特征在于，基于公式计算，剔除导致Cdiff差异值较高的错误投影点，并通过多轮次的Ransac算法迭代确定最终的雷达相机外参；当存在多个雷达时，依次采用上述步骤完成对每个雷达到相机的外参标定；其中公式如下：

其中，上述公式中z为高度值，E0为初始外参，K为相机内参矩阵，C3D(xi,yi,zi)与C2D(xi,yi)分别为三维点云中雷达点及对应二维图像中像素点的坐标。

4.根据权利要求3所述的一种基于激光雷达点云辅助的车道线标定方法，其特征在于，通过激光雷达点云配准建图时，当存在可利用的差分GPS和惯性测量单元时，基于雷达-RTK外参信息和RTK获得的车辆运动位姿信息进行直接叠加；当不存在相关设备时，则依赖SLAM算法进行点云的位姿估计。

5.根据权利要求4所述的一种基于激光雷达点云辅助的车道线标定方法，其特征在于，标注时，单帧点云通过位姿矩阵投影到统一的全局坐标系下；根据坐标大小对整体点云空间进行划分；在标注框中显示对应区域的点云数据；根据点云位姿，将叠加点云中的所有点从全局坐标系逆向投影回雷达坐标系下，获得单帧点云的车道线标签。

6.根据权利要求5所述的一种基于激光雷达点云辅助的车道线标定方法，其特征在于，为了可视化激光雷达三维点云，对激光雷达三维点云进行上色时采用点云反射率并利用jet色组对激光雷达点云进行上色。

7.根据权利要求6所述的一种基于激光雷达点云辅助的车道线标定方法，其特征在于，还包括如下标注加速方法：点云投影优化和地面过滤，在叠加点云之前对点云数据进行了预处理操作，首先将单帧点云投影到全局坐标系下，假定车辆行驶在水平平面上，横滚角和俯仰角都被设定为0，并重新计算点云位姿矩阵，最后过滤掉所有高度超过地面高度的点。

8.根据权利要求7所述的一种基于激光雷达点云辅助的车道线标定方法，其特征在于，还包括如下标注加速方法：分块可视化加速，通过将整个场景基于面积切分，裁剪为多个相邻的块，同时基于部署硬件设置不同的边长来控制标注区域的范围。

9.根据权利要求8所述的一种基于激光雷达点云辅助的车道线标定方法，其特征在于，将获得的点云标签车道线点云，基于雷达相机外参进行投影，投影到相机图像平面；然后基于插值算法进行稠密化插值，基于投影后的点云点构建德劳内三角，然后构建泰森多边形，每个激光点落在不重叠的多边形中心；基于其几何性质，雷达点到多边形每条边距离相等；基于不同的插值算法对多边形内的像素点进行插值填充，获得膨胀后的点云稠密图；然后基于图像灰度图像素信息进行腐蚀，消除部分超出车道线边界错误点云结果，获得最终的像素级车道线信息。

Images