CN113009506A - 一种虚实结合的实时激光雷达数据生成方法、系统及设备 - Google Patents

Abstract

本发明公开了一种虚实结合的实时激光雷达数据生成方法、系统及设备，方法包括以下步骤：基于高精度的OSM语义地图渲染仿真场景并生成与真实场景一致的SUMO路网；基于所述SUMO路网生成复杂交通流场景；将自主车辆状态信息同步至SUMO路网中，搭建交通流测试场景；根据自主车辆定位信息获取其周围场景点云以及交通流车辆信息，实时生成虚实结合的激光雷达数据；实现实时的融合虚拟交通流与真实道路场景的激光雷达数据，激光雷达数据中的场景信息来自真实的大规模点云地图，车辆点云由相当真实的车辆的三维模型生成，生成的激光雷达数据作为感知结果用于自动驾驶车辆测试既保证了场景的测试性有可以提供复杂的交通流测试场景。

Description

一种虚实结合的实时激光雷达数据生成方法、系统及设备

技术领域

本发明属于自动驾驶车辆测试技术领域，具体涉及一种虚实结合的实时激光雷达数据生成方法、系统及设备。

背景技术

激光雷达作为自动驾驶中常用的传感器，可以获取场景的三维信息，在无人驾驶中发挥着至关重要的作用。激光雷达获取的点云数据常用于空间与障碍物检测，相关感知算法可基于数据集进行测试，然而，在车辆在环的无人驾驶测试中，仅使用真实场景的激光雷达数据无法测试一些如鬼探头、紧急刹车等危险场景，常用的在游戏引擎中渲染虚拟场景，模拟激光雷达数据的方法昂贵且与真实场景存在差异。

发明内容

为了给自动驾驶车辆提供安全有效的复杂测试场景感知数据，本发明实现一种虚实结合的实时激光雷达数据生成方法，提供实时的虚拟激光雷达数据，该数据既保留场景的真实性又拥有仿真交通流的丰富性。

为了实现上述目的，本发明采用的技术方案是：一种虚实结合的实时激光雷达数据生成方法，包括以下步骤：

获取真实场景的稠密点云地图，对所述稠密点云地图标注得到高精度的OSM语义地图，对高精度的OSM语义地图实现场景可视化并生成与真实场景一致的SUMO路网；

基于所述SUMO路网生成复杂交通流场景；

搭建ROS_SUMO_Bridge实现交通流的实时控制以及交通流与自主车辆的双向通信，将自主车辆状态信息同步至SUMO路网中，模拟近似真实的复杂交通流测试场景；将SUMO中的交通流信息发布至ROS中；

根据自主车辆定位信息获取其周围场景点云以及交通流车辆信息，实时生成虚实结合的激光雷达数据，先在稠密点云地图中采样出自主车辆周围的场景点云作为背景，得到背景点云，再接收发布至ROS中的交通流信息，根据自主车辆感知范围内虚拟交通流车辆的位姿，将车辆的点云模型叠加至背景点云中，最后再使用局部点云采样的方法获取虚实结合的激光雷达数据；

基于所述激光雷达数据在真实场景中进行测试，并通过所述ROS_SUMO_Bridge将自主车辆定位信息同步至仿真场景中用于下一帧激光雷达数据获取。

获取真实场景的稠密点云地图，对所述稠密点云地图标注得到高精度的OSM语义地图，对高精度的OSM语义地图实现场景可视化并生成与真实场景一致的SUMO路网具体如下：使用32线激光雷达对完整的真实场景进行扫描，并去除动态障碍物，基于激光雷达数据构建稠密的点云地图，基于点云地图对场景信息进行标注，添加道路类型、道路长度、方向、斑马线、道路标志以及绿化带宽度私有标签，生成高精度的OSM语义地图；根据高精度OSM语义地图中道路类型、道路长度、方向、斑马线、道路标志、绿化带宽度等私有标签，生成与真实道路场景一致的SUMO路网。

基于所述SUMO路网生成复杂交通流场景具体为：依据随机均匀、按路长加权、按车道数加权或按路长车道数共同加权规则自动生成大规模交通流或根据OD矩阵自定义交通流。

所述采样获取激光雷达数据包括以下步骤：

将大规模点云数据以八叉树形式存储与内存中，八叉树的每个节点表示一个正方体的体积元素，每个节点有八个子节点，将八个子节点所表示的体积元素加在一起就等于父节点的体积；

以激光雷达坐标为起点，根据激光雷达的参数向四周发射射线；

从最浅层的八叉树体素开始，获取与射线相交的体素列表，再在所述体素列表的每个体素中求解其与射线相交的子体素并获取更深一层的新的列表，最终得到的结果为与射线相交的体素的列表；

提取最靠近起点的与射线相交的体素，使用局部点云采样法，计算最优返回点。

判断体素与射线是否相交方法如下：

射线的起点O(x_o，y₀,z₀)为激光雷达的坐标，朝向(α，β)中α为射线在水平面上与x轴的夹角，β为射线在垂直方向上与z轴的夹角，设射线上点P与原点之间距离为

则射线方程为：

八叉树随着深度的增加体素逐渐减小，判断一个立方体形状的体素与射线是否相交只需判断射线上是否存在点在体素的范围内，而确定一个体素的范围只需要知道其左下角坐标(x_m，y_m，z_m)及右上角的坐标(x_l，y_l，z_l)即可：

当且仅当公式(2)有解且t≥0时射线与节点相交。

局部点云采样方法如下：

体素中点的数量为n，点的列表

已知射线起点为起点O：(x_o,y₀,z₀)，射线朝向：(α,β)，则射线向量可表示为：

计算点P_i到射线上的距离D[i]：

返回点的条件：

①，若D[i]<min_error，即该距离小于最小可接受误差，则直接将该点投影至射线上作为返回点；

②，若不存在情况①中的点，则根据D[i]从小到大对点进行排序，取满足条件：D[i]>max_error的点，若点数足够多则将这些点的坐标投影至射线上再进行平均，结果作为返回点；

③，若不存在上述两种情况则不返回点；

阈值min_error和max_error根据点云的密度设置。

将虚实结合的激光雷达数据作为感知结果测试感知、规划、决策算法，并将车辆新的定位信息同步至仿真场景中，进行下一帧激光雷达数据的获取。

一种虚实结合的实时激光雷达数据生成系统，包括SUMO路网生成模块、复杂交通流场景生成模块、信息交互模块、激光雷达数据获取模块；

SUMO路网生成模块用于获取真实场景的稠密点云地图，对所述稠密点云地图标注得到高精度的OSM语义地图，对高精度的OSM语义地图实现场景可视化并生成与真实场景一致的SUMO路网；

复杂交通流场景生成模块基于所述SUMO路网生成复杂交通流场景；

信息交互模块搭建ROS_SUMO_Bridge实现交通流的实时控制以及交通流与自主车辆的双向通信，将自主车辆状态信息通过Traci接口同步至SUMO路网中，实现交通流对自主车辆的合理反应，模拟真实的交通流测试场景；将SUMO中的交通流信息发布至ROS中，用于自动驾驶系统的规划决策算法测试；

激光雷达数据获取模块根据自主车辆定位信息获取其周围场景点云以及交通流车辆信息，实时生成虚实结合的激光雷达数据，激光雷达数据获取模块包括背景点云获取单元、融合单元以及循环获取单元；

背景点云获取单元在大规模场景点云中采样出自主车辆周围的场景点云作为背景，得到背景点云；

融合单元根据自主车辆感知范围内虚拟交通流车辆的位姿将车辆的点云模型叠加至背景点云中，最后再用局部点云采样方法获取激光雷达数据；

循环获取单元基于所述激光雷达数据在真实场景中进行测试，并通过所述ROS_SUMO_Bridge将自主车辆定位信息同步至仿真场景中用于下一帧激光雷达数据获取。

一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现全部或部分本发明所述的虚实结合的实时激光雷达数据生成方法的步骤。

一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现全部或部分本发明所述的虚实结合的实时激光雷达数据生成方法的步骤。

与现有技术相比，本发明具有以下有益的技术效果：

本发明可以实现实时的融合虚拟交通流与真实道路场景的激光雷达数据，激光雷达数据中的场景信息来自真实的大规模点云地图，车辆点云由相当真实的车辆的三维模型生成，根据不同车辆的三维模型可获得相当真实且种类丰富的完整车辆的点云，生成的激光雷达数据作为感知结果用于自动驾驶车辆测试既保证了场景的测试性有可以提供复杂的交通流测试场景，测试场景的搭建过程通用、成本低，且可以安全高效的实现车辆在环的自动驾驶系统测试，实现一种低耗的实时激光雷达数据模拟方法，可以基于高精度点云地图来生成融合虚拟交通流的激光雷达数据，为车辆在环的自动驾驶测试提供实时的真实场景与虚拟场景融合后的激光雷达数据。

进一步的基于高精度的SUMO路网生成的交通流车辆可顺利迁移至真实道路中。

附图说明

图1为虚实结合的激光雷达数据生成流程示意图，先在大规模场景点云中采样出自主车辆周围的场景点云作为背景，再根据自主车辆感知范围内虚拟交通流车辆的位姿将车辆的点云模型叠加至背景点云中，最后再采样获取激光雷达数据。

图2a为生成的4线激光雷达数据示意图。

图2b为生成的16线激光雷达数据示意图。

图2c为生成的32线激光雷达数据示意图。

图2d为生成的64线激光雷达数据示意图。

具体实施方式

为了更为清晰地介绍本发明的具体内容及优势，接下来将结合附图进行更进一步的说明。

本发明实现了一种虚实结合的实时激光雷达数据生成方法，基于高精度OSM语义地图和SUMO生成仿真场景，能够快速的生成各种复杂的交通场景。融合虚拟交通流和大规模真实点云地图实时激光雷达数据生成：

S1，使用激光雷达对完整的真实场景进行细致的扫描，并去除点云地图中的动态障碍物，构建稠密的点云地图，基于点云对场景信息进行标注，添加道路类型、道路长度、方向、斑马线、道路标志、绿化带宽度等私有标签，生成高精度的OSM语义地图；

S2，理解高精度的OSM语义地图中道路类型、道路长度、方向、斑马线、道路标志、绿化带宽度等私有标签，生成与真实道路场景一致的SUMO路网，保证虚拟交通流向真实场景的顺利融合；

S3，基于生成的SUMO路网生成复杂交通流场景，实验中可以自动生成大规模交通流也可以根据OD矩阵自定义交通流，自动生成交通流的规则有：随机均匀、按路长加权、按车道数加权、按路长车道数共同加权等。生成的交通流中每辆车都单独建模，可以实时的获取车辆信息并控制车辆运动，测试一些极端情况(如前车紧急刹车、车辆碰撞、鬼探头等)；基于高精度的SUMO路网生成的交通流车辆可顺利迁移至真实道路中。

S4，搭建ROS_SUMO_Bridge实现交通流的实时控制以及交通流与自主车辆的双向通信，搭建接近于真实的交通流测试场景。自主车辆和SUMO交通流模拟器之间的通信的接口以及数据格式不同，使用ROS_SUMO_Bridge处理中间信息，ROS_SUMO_Bridge获取自主车辆状态信息(位置、速度、加速度…)并同步至SUMO路网中，实现自主车辆与交通流的合理交互，同时再将自主车辆感知范围内的交通流状态信息提供给激光雷达数据生成部分；

S5，根据自主车辆定位信息获取其周围场景点云以及交通流车辆信息，实时生成虚实结合的激光雷达数据提供给自主车辆，激光雷达数据生成流程如图1所示；

S51，将大规模点云以八叉树形式存储与内存中，八叉树的每个节点表示一个正方体的体积元素，每个节点有八个子节点，将八个子节点所表示的体积元素加在一起就等于父节点的体积，可以加速空间查询和一些形状(如：射线)的相交测试；

S52，以激光雷达坐标为起点，根据激光雷达的参数(如：垂直视场、水平视场、垂直分辨率、水平分辨率…)向四周发射射线；

S53，从最浅层的八叉树体素开始，获取与射线相交的体素列表，再在列表的每个体素中求解其与射线相交的子体素并获取更深一层的新的列表，最终得到的结果为与射线相交的体素的列表；

S531，判断体素与射线是否相交方法如下：

射线的起点O(x_o,y₀,z₀)为激光雷达的坐标，朝向(α,β)中α为射线在水平面上与x轴的夹角，β为射线在垂直方向上与z轴的夹角。设射线上点P与原点之间距离为

则射线方程为：

基于八叉树的射线搜索只需判断射线上是否存在点在体素的范围内，而确定一个体素的范围只需要知道其左下角坐标(x_m,y_m,z_m)及右上角的坐标(x_l,y_l,z_l)即可。

当且仅当公式(2)有解且t≥0时射线与节点相交。

S54，本发明中仅需要最靠近起点的与射线相交的体素，由于点云的稀疏性，该体素中拥有一定数量的点但是并不一定有刚刚好在射线上的点，使用局部点云采样方法，计算最优返回点；

S541，局部点云采样方法如下：

若体素中点的数量为n，点的列表

已知射线起点为起点O：(x_o,y₀,z₀)，射线朝向：(α，β)，则射线向量可表示为：

计算点P_i到射线上的距离：

返回点的条件：

①，若D[i]<min_error，即该距离小于最小可接受误差，则直接将该点投影至射线上作为返回点；

②，若不存在情况1中的点，则根据D[i]从小到大对点进行排序，取满足条件：D[i]>max_error的点，若点数足够多则将这些点的坐标投影至射线上再进行平均，结果作为返回点；

③，若不存在上述两种情况则不返回点。

阈值min_error和max_error根据点云的密度设置，射线返回相交点的误差受点云密度的影响，如图2a图2b图2c以及图2d所示为使用该方法生成的4、16、32和64线激光雷达数据，相关参数如表1所示，该方法可以向自主车辆提供实时的虚实结合的激光雷达数据。

表1生成4、16、32、64线激光雷达数据的相关参数

S6，自主车辆将虚拟激光雷达数据作为感知结果在真实场景中进行测试，并通过步骤S4中的ROS_SUMO_Bridge将其定位信息同步至仿真场景中用于下一帧激光雷达数据获取。

可选的，本发明还提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现本发明所述虚实结合的实时激光雷达数据生成方法的部分步骤或所有步骤，存储器还能用于存储车载传感器信息、道路信息以及地图信息。

一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的虚实结合的实时激光雷达数据生成方法的部分或所有步骤。

所述计算机设备可以采用车载计算机、笔记本电脑、平板电脑、桌面型计算机、手机或工作站。

处理器可以是中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)或现成可编程门阵列(FPGA)。

对于本发明所述存储器，可以是车载计算机、笔记本电脑、平板电脑、桌面型计算机、手机或工作站的内部存储单元，如内存、硬盘；也可以采用外部存储单元，如移动硬盘、闪存卡。

计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance Random Access Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。

Claims (10)

1.一种虚实结合的实时激光雷达数据生成方法，其特征在于，包括以下步骤：

获取真实场景的稠密点云地图，对所述稠密点云地图标注得到高精度的OSM语义地图，对高精度的OSM语义地图实现场景可视化并生成与真实场景一致的SUMO路网；

基于所述SUMO路网生成复杂交通流场景；

搭建ROS_SUMO_Bridge实现交通流的实时控制以及交通流与自主车辆的双向通信，将自主车辆状态信息同步至SUMO路网中，模拟近似真实的复杂交通流测试场景；将SUMO中的交通流信息发布至ROS中；

根据自主车辆定位信息获取其周围场景点云以及交通流车辆信息，实时生成虚实结合的激光雷达数据，先在稠密点云地图中采样出自主车辆周围的场景点云作为背景，得到背景点云，再接收发布至ROS中的交通流信息，根据自主车辆感知范围内虚拟交通流车辆的位姿，将车辆的点云模型叠加至背景点云中，最后再使用局部点云采样的方法获取虚实结合的激光雷达数据；

基于所述激光雷达数据在真实场景中进行测试，并通过所述ROS_SUMO_Bridge将自主车辆定位信息同步至仿真场景中用于下一帧激光雷达数据获取。

2.根据权利要求1所述的虚实结合的实时激光雷达数据生成方法，其特征在于，获取真实场景的稠密点云地图，对所述稠密点云地图标注得到高精度的OSM语义地图，对高精度的OSM语义地图实现场景可视化并生成与真实场景一致的SUMO路网具体如下：使用32线激光雷达对完整的真实场景进行扫描，并去除动态障碍物，基于激光雷达数据构建稠密的点云地图，基于点云地图对场景信息进行标注，添加道路类型、道路长度、方向、斑马线、道路标志以及绿化带宽度私有标签，生成高精度的OSM语义地图；根据高精度OSM语义地图中道路类型、道路长度、方向、斑马线、道路标志、绿化带宽度等私有标签，生成与真实道路场景一致的SUMO路网。

3.根据权利要求1所述的虚实结合的实时激光雷达数据生成方法，其特征在于，基于所述SUMO路网生成复杂交通流场景具体为：依据随机均匀、按路长加权、按车道数加权或按路长车道数共同加权规则自动生成大规模交通流或根据OD矩阵自定义交通流。

4.根据权利要求1所述的虚实结合的实时激光雷达数据生成方法，其特征在于，所述采样获取激光雷达数据包括以下步骤：

将大规模点云数据以八叉树形式存储与内存中，八叉树的每个节点表示一个正方体的体积元素，每个节点有八个子节点，将八个子节点所表示的体积元素加在一起就等于父节点的体积；

以激光雷达坐标为起点，根据激光雷达的参数向四周发射射线；

从最浅层的八叉树体素开始，获取与射线相交的体素列表，再在所述体素列表的每个体素中求解其与射线相交的子体素并获取更深一层的新的列表，最终得到的结果为与射线相交的体素的列表；

提取最靠近起点的与射线相交的体素，使用局部点云采样法，计算最优返回点。

5.根据权利要求4所述的虚实结合的实时激光雷达数据生成方法，其特征在于，判断体素与射线是否相交方法如下：

射线的起点O(x_o，y₀，z₀)为激光雷达的坐标，朝向(α，β)中α为射线在水平面上与x轴的夹角，β为射线在垂直方向上与z轴的夹角，设射线上点P与原点之间距离为

则射线方程为：

八叉树随着深度的增加体素逐渐减小，判断一个立方体形状的体素与射线是否相交只需判断射线上是否存在点在体素的范围内，而确定一个体素的范围只需要知道其左下角坐标(x_m，y_m，z_m)及右上角的坐标(x_l,y_l，z_l)即可：

当且仅当公式(2)有解且t≥0时射线与节点相交。

6.根据权利要求4所述的虚实结合的实时激光雷达数据生成方法，其特征在于，局部点云采样方法如下：

体素中点的数量为n，点的列表

已知射线起点为起点O：(x_o，y₀,z₀)，射线朝向：(α，β)，则射线向量可表示为：

计算点P_i到射线上的距离D[i]：

返回点的条件：

①，若D[i]<min_error，即该距离小于最小可接受误差，则直接将该点投影至射线上作为返回点；

②，若不存在情况①中的点，则根据D[i]从小到大对点进行排序，取满足条件：D[i]>max_error的点，若点数足够多则将这些点的坐标投影至射线上再进行平均，结果作为返回点；

③，若不存在上述两种情况则不返回点；

阈值min_error和max_error根据点云的密度设置。

7.根据权利要求1所述的虚实结合的实时激光雷达数据生成方法，其特征在于，将虚实结合的激光雷达数据作为感知结果测试感知、规划、决策算法，并将车辆新的定位信息同步至仿真场景中，进行下一帧激光雷达数据的获取。

8.一种虚实结合的实时激光雷达数据生成系统，其特征在于，包括SUMO路网生成模块、复杂交通流场景生成模块、信息交互模块、激光雷达数据获取模块；

SUMO路网生成模块用于获取真实场景的稠密点云地图，对所述稠密点云地图标注得到高精度的OSM语义地图，对高精度的OSM语义地图实现场景可视化并生成与真实场景一致的SUMO路网；

复杂交通流场景生成模块基于所述SUMO路网生成复杂交通流场景；

信息交互模块搭建ROS_SUMO_Bridge实现交通流的实时控制以及交通流与自主车辆的双向通信，将自主车辆状态信息通过Traci接口同步至SUMO路网中，实现交通流对自主车辆的合理反应，模拟真实的交通流测试场景；将SUMO中的交通流信息发布至ROS中，用于自动驾驶系统的规划决策算法测试；

激光雷达数据获取模块根据自主车辆定位信息获取其周围场景点云以及交通流车辆信息，实时生成虚实结合的激光雷达数据，激光雷达数据获取模块包括背景点云获取单元、融合单元以及循环获取单元；

背景点云获取单元在大规模场景点云中采样出自主车辆周围的场景点云作为背景，得到背景点云；

融合单元根据自主车辆感知范围内虚拟交通流车辆的位姿将车辆的点云模型叠加至背景点云中，最后再用局部点云采样方法获取激光雷达数据；

循环获取单元基于所述激光雷达数据在真实场景中进行测试，并通过所述ROS_SUMO_Bridge将自主车辆定位信息同步至仿真场景中用于下一帧激光雷达数据获取。

9.一种计算机设备，其特征在于，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现如权利要求1-7中任一项所述的全部或部分虚实结合的实时激光雷达数据生成方法的步骤。

10.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现如权利要求1-7中任一项所述的全部或部分虚实结合的实时激光雷达数据生成方法的步骤。

Images