CN114676789A - 一种点云融合方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本发明实施例提供了一种点云数据融合方法、装置、计算机设备和存储介质，该方法包括：获取激光雷达所采集的第一点云以及在第一点云之前采集的多帧第二点云，将第二点云转换为第一点云坐标系下的点云后再融合为第三点云，第三点云中的每个点包含点所对应的物体局部的高度，再从第三点云中确定出高度大于预设高度阈值的点以生成第四点云，并确定出高度小于或等于预设高度阈值的点以生成第五点云，其中，预设高度阈值为小物体的高度上限值，基于第四点云、第五点云中的点在第一点云坐标系下X‑Y平面的投影来筛选第五点云中的点得到第六点云，将第六点云和第一点云融合得到目标点云，目标点云包括多帧小物体的点云，提高了小物体检测的稳定性。

Description

一种点云融合方法、装置、计算机设备和存储介质

技术领域

本发明实施例涉及点云数据处理技术领域，尤其涉及一种点云融合方法、装置、计算机设备和存储介质。

背景技术

随着自动驾驶技术的发展，激光雷达作为主要的用于检测障碍物的传感器，其在无人驾驶车辆感知领域的应用越来越广泛。

基于激光雷达的目标物体检测，主要通过激光雷达直接获取目标物体的空间信息即点云数据，利用距离分析的算法进行目标物体的提取和相关参数的解算，不受光线影响且信息丰富，在三维检测领域发挥着很好的用途。

但目标检测的效果通常和雷达的线束正相关，高线束的激光雷达往往又具有体积大、价格昂贵、难以在搭载平台上固定等缺点，因此在现有技术中，主要是通过低线束的激光雷达点云进行物体检测，但是对于低线束的激光雷达点云，其本身的稀疏性导致目标成像细节较差，对于大型障碍物来说，由于其体积较大，所能采集到的点相对较多，即使点云稀疏也可以被检测出来，但是对于体积较小的障碍物体来说，所能采集到的点相对较少，可能无法被检测系统识别，导致小型障碍物的检测效果很不稳定。

发明内容

本发明实施例提出了一种点云融合方法、装置、计算机设备和存储介质，以解决目前采用低线束的激光雷达点云进行物体检测存在的小型障碍物的检测效果很不稳定的问题。

第一方面，本发明实施例提供了一种点云融合方法，应用于车载激光雷达，包括：

获取点云集合，所述点云集合包括激光雷达所采集的第一点云以及在所述第一点云之前采集的多帧第二点云；

将多帧所述第二点云转换为所述第一点云坐标系下的点云，并将转换后的点云融合为第三点云，所述第三点云中的每个点包含点所对应的物体局部的高度；

从所述第三点云中确定出高度大于预设高度阈值的点以生成第四点云，以及确定出高度小于或等于所述预设高度阈值的点以生成第五点云，其中，所述预设高度阈值为小物体的高度上限值；

基于所述第四点云、所述第五点云中的点在所述第一点云坐标系中X-Y平面的投影对所述第五点云中的点进行筛除，以生成第六点云；

将所述第六点云和所述第一点云融合得到目标点云。

可选地，所述获取点云集合，包括：

在车辆行驶过程中，将当前激光雷达采集到的点云作为第一点云。

可选地，所述从所述第三点云中确定出高度大于预设高度阈值的点以生成第四点云，还包括：

从所述第三点云中去除地面点云以得到障碍物点云；

从所述障碍物点云中确定出高度大于预设高度阈值的点以生成第四点云。

可选地，所述基于所述第四点云、所述第五点云中的点在所述第一点云坐标系中X-Y平面的投影对所述第五点云中的点进行筛除，以生成第六点云，包括：

在与所述第一点云坐标系中X-Y平面平行的方向、根据预设放大参数对所述第四点云中的点进行区域扩充，得到多个扩充面；

根据多个所述扩充面、所述第五点云在X-Y平面的投影对所述第五点云中的点进行筛除，以生成第六点云。

可选地，所述在与所述第一点云坐标系中X-Y平面平行的方向、根据预设放大参数对所述第四点云中的点进行区域扩充，得到多个扩充面，包括：

针对所述第四点云中每个点，在与所述第一点云坐标系中X-Y平面平行的方向上，将以点为圆心、以预设放大参数为半径的圆作为点的扩充面。

可选地，所述根据多个所述扩充面、所述第五点云在X-Y平面的投影对所述第五点云中的点进行筛除，包括：

将所有所述扩充面投影到X-Y平面，得到多个闭合的联通区域，所述联通区域为所述扩充面在X-Y平面的投影的并集；

基于所述第五点云在X-Y平面的投影和所述联通区域对所述第五点云中的点进行筛除。

可选地，所述基于所述第五点云在X-Y平面的投影和所述联通区域对所述第五点云中的点进行筛除，包括：

针对所述第五点云中的每个点，判断点在X-Y平面的投影是否位于所述联通区域内；

若是，则从所述第五点云中筛除点；

若否，则保留点。

第二方面，本发明实施例还提供了一种点云融合装置，包括：

点云集合获取模块，用于获取点云集合，所述点云集合包括激光雷达所采集的第一点云以及在所述第一点云之前采集的多帧第二点云；

点云融合模块，用于将多帧所述第二点云转换为所述第一点云坐标系下的点云，并将转换后的点云融合为第三点云，所述第三点云中的每个点包含点所对应的物体局部的高度；

点云分割模块，用于从所述第三点云中确定出高度大于预设高度阈值的点以生成第四点云，以及确定出高度小于或等于所述预设高度阈值的点以生成第五点云；

第六点云生成模块，用于基于所述第四点云、所述第五点云中的点在所述第一点云坐标系中X-Y平面的投影对所述第五点云中的点进行筛除，以生成第六点云；

目标点云生成模块，用于将所述第六点云和所述第一点云融合得到目标点云。

可选地，所述点云集合获取模块，包括：

点云采集子模块，用于在车辆行驶过程中，将当前激光雷达采集到的点云作为第一点云。

可选地，所述点云分割模块，还包括：

障碍物点云分割子模块，用于从所述第三点云中去除地面点云以得到障碍物点云；

第四点云生成子模块，用于从所述障碍物点云中确定出高度大于预设高度阈值的点以生成第四点云。

可选地，第六点云生成模块，包括：

区域扩充子模块，用于在与所述第一点云坐标系中X-Y平面平行的方向、根据预设放大参数对所述第四点云中的点进行区域扩充，得到多个扩充面；

第五点云筛除子模块，用于根据多个所述扩充面、所述第五点云在X-Y平面的投影对所述第五点云中的点进行筛除，以生成第六点云。

可选地，所述区域扩充子模块，包括：

扩充面形成单元，用于针对所述第四点云中每个点，在所述第一点云坐标系中与X-Y平面平行的方向上，将以点为圆心、以预设放大参数为半径的圆作为点的扩充面。

可选地，所述第五点云筛除子模块，包括：

联通区域形成单元，用于将所有所述扩充面投影到X-Y平面，得到多个闭合的联通区域，所述联通区域为所述扩充面在X-Y平面的投影的并集；

第五点云筛除单元，用于基于所述第五点云在X-Y平面的投影和所述联通区域对所述第五点云中的点进行筛除。

可选地，所述第五点云筛除单元，包括：

点区域判断子单元，用于针对所述第五点云中的每个点，判断点在X-Y平面的投影是否位于所述联通区域内；若是，则从所述第五点云中筛除点；若否，则保留点。

第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序，

当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的点云融合方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的点云融合方法。

本发明实施例的点云融合方法，应用于对车载激光雷达，通过先获取第一点云、第一点云之后的第二点云，并将第二点云融合为第一点云坐标系下的密集的第三点云，再以小物体的高度阈值为分割依据，将第三点云分割为仅包括大物体点云的第四点云、既包括大物体点云也包括小物体点云的第五点云，再基于第四点云来筛除第五点云中的大物体点云，得到仅包括多帧小物体点云的第六点云，最后将第六点云和第一点云融合得到目标点云，则目标点云包括多帧小物体点云以及一帧大物体点云，提高了小物体点云的密度，既提高了小物体的图像精度，也增加小物体检测的稳定性。

附图说明

图1为本发明实施例一提供的一种点云融合方法的流程图；

图2为本发明实施例二提供的一种点云融合方法的流程图；

图3为本发明实施例三提供的一种点云融合装置的结构示意图；

图4为本发明实施例四提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种点云融合方法的流程图，本实施例可适用于在车辆行驶过程中对小物体进行检测的情况，该方法可以由点云融合装置来执行，该点云融合装置可以由软件和/或硬件实现，可配置在车载操作系统中，点云融合方法具体包括如下步骤：

S101、获取点云集合，点云集合包括激光雷达所采集的第一点云以及在第一点云之前采集的多帧第二点云；

激光雷达是一种雷达系统，是一种主动传感器，所形成的数据是点云形式。工作原理为：向被测目标发射一束激光，然后测量反射或散射信号到达发射机的时间、信号强弱程度和频率变化等信息，从而确定被测目标的位置(距离与角度)、形状(大小)及状态(速度、姿态)，达到探测、识别、跟踪目标的目的，激光雷达测量到的信息为目标物表面特性的点(数据)，点云是某个坐标系下的点的数据集。

基于激光雷达的目标物体检测，其目标检测的效果通常和雷达的线束正相关，而鉴于高线束的激光雷达的价格昂贵，现有技术中，主要采用低线数的激光雷达，在本实施例中的车载激光雷达低线数的激光雷达，其所采集的点云为单帧环境点云数据。

车载激光雷达检测障碍物一般是在车辆行驶过程中进行的，则本实施例中获取点云集合，即是在车辆行驶过程中，将当前激光雷达采集到的点云作为第一点云，将最近预设时长内的每帧点云作为点云集合。本实施例中的点云集合中包含最新一帧的点云数据，即包含最新的障碍物数据，可以在点云融合时保持障碍物检测的实时性。

第二点云与第一点云的检测时间不同，第一点云为当前最新一帧点云，而第二点云为第一点云之前采集的点云。在本实施例的一个示例中，第二点云为从点云集合中抽取出来的子集，抽取方式为按照固定的预设时间段内从点云集合中抽取第一点云之前的点作为作为第二点云，例如，可以按照固定时间段将点云集合中第一点云之前的点分为多帧第二点云，设预设时间段为50ms，则第一点云之前300ms时间段内采集到的点可分为5帧第二点云，便可从5帧第二点云中抽取多帧第二点云。

由于相同点云的数据相同，为了保证点云数据的丰富度和避免浪费计算资源，当抽取多帧第二点云时，每帧第二点云只能被抽取一次。需要说明的是，本实施例中抽取第二点云的顺序不加以限制。

S102、将多帧第二点云转换为第一点云坐标系下的点云，并将转换后的点云融合为第三点云。

点云是在车辆行驶过程中采集到的，点云的坐标系是随着车辆移动而变化的，即对于同一目标物，车辆与目标物的相对位置不同，观察目标物的视角不同，获取到的点云也属于不同的坐标系，但点云本身和视角无关，是可以任意旋转的。

点云坐标系的转化，就是把一个点云从自己的坐标系变换到另一个坐标系，在本实施例中，可通过ICP(Iterative Closest Point)或NDT(Normal DistributionTransform)等点云配准算法计算出第二点云对于第一点云的旋转矩阵和平移矩阵，再按照以下公式将第二点云的坐标转换到第一点云的坐标系，得到转换后的第二点云。

P2＝P1*R+T

其中，P1为第二点云，R为旋转矩阵，T为平移矩阵，P2为转换后的第二点云。

不同的点云只要在同一个坐标系下就可以直接融合，因此，将多帧转换后的第二点云直接融合，便可得到第三点云，相对于每帧第二点云，第三点云的点云密集度得到了提升。

由于低线束的激光雷达扫描到目标物时，其扫描范围是有限的，扫描得到的点一般为物体局部的数据，而非物体全局的数据，例如，当目标检测物为其他车辆时，采集到的点云中，有的点表示车门的数据，而有的点则表示车尾的数据。每个点都包含对应的物体局部的数据，其中包括对应的物体局部的高度，第三点云中每个点也包含所对应的物体局部的高度。

S103、从第三点云中确定出高度大于预设高度阈值的点以生成第四点云，以及确定出高度小于或等于预设高度阈值的点以生成第五点云。

点云中的点包含所对应的物体局部的高度，而不是物体的整体高度，因此，第三点云中高度大于高度阈值的点，可以确定为大物体中高度大于高度阈值的部分的点，而高度小于或等于高度阈值的点，则可能为小物体、大物体小于或等于高度阈值以下部分或地面所对应的点。通常来说，对车载激光雷达点云数据处理的过程中，都会对点云数据进行去地面点云处理，因此，本实施例中第三点云可以视为经过去地面点云处理，即第三点云中不包括地面点云。

具体地，可以先获取第三点云中每个点的对应的物体局部的高度，再判断该高度是否大于预设高度阈值，若是，则将该点划入第四点云，即大物体点云，若否，则将该点划入第五点云。则第四点云即大物体中高度大于高度阈值部分的点的集合，而第五点云即小物体、大物体中小于或等于高度阈值部分的点的集合。

其中，预设高度阈值为小物体的高度上限值，可以根据实际检测需求来设定，例如，检测小物体的对象主要为路障、护栏等时，可以将高度阈值设置为0.5m，而对象主要为木头、石墩时，可以将高度阈值设置为0.3m。另，在获取点云数据时，可以将车辆的底盘作为每帧点云的坐标系的原点，则障碍物高度是相对于车辆底盘的高度。

S104、基于第四点云、第五点云中的点在第一点云坐标系中X-Y平面的投影对第五点云中的点进行筛除，以生成第六点云。

第四点云为大物体中高度大于高度阈值部分的点的集合，大物体中小于或等于高度阈值部分的点则包含于第五点云中，为了将第五点云中大物体的点删除，可以先将第四点云中的点投影于X-Y平面，得到大物体的投影区域，再将第五点云的点投影于X-Y平面，若五点云的点的投影落入该投影区域中，则将该点从第五点云中筛除，以去除第五点云中大物体所对应的点云，最终得到小物体对应的点的集合，并将小物体对应的点的集合作为第六点云。其中，第三点云为第一点云坐标系下的点云，则第四点云、第五点云也均为第一点云坐标系下的点云，X-Y平面即为第一点云坐标系中的X-Y平面。

S105、将第六点云和第一点云融合得到目标点云。

第六点云中包括多帧小物体的点云，第一点云为当前最新一帧点云，将第六点云和第一点云融合，得到目标点云，目标点云包括多帧小物体的点云以及最新一帧大物体的点云，提升了小物体的点云密度，点云密度是数据分辨率的指标，对于同一物体来说，较高的点云密度意味着较多信息或图像高分辨率，较高的点云密度意味着较少信息或图像低分辨率，而较多信息或图像高分辨率则可以更加充分地反应出小物体的特征，即提升了小物体检测的准确性和稳定性，便于系统或驾驶人员对小物体的性质进行判断。

另一方面，通常来说，由于像机动车、行人等运动物体一般都属于本实施例中的大物体范围，即这些运动物体的点云并不包含于第六点云中，仅第一点云中含有运动物体的点云，在将第六点云和第一点云融合后得到目标点云后，目标点云中仅包含一帧运动物体的点云，可避免发生多帧运动物体点云融合导致运动物体发生形变的情况。

在获取到目标点云后，可以根据车载操作系统对目标点云进行处理例如通过激光雷达深度成像法、坐标测量机法等等，处理后得到深度图像，深度图像是将从激光雷达到环境中各点的距离值作为像素值的图像，它直接反应了景物可见表面的几何形状，可由车载操作系统对行驶路段上的小物体进行判断后进行小型障碍物提示播报，或显示于系统的显示页面，以供驾驶人员查看。

本发明实施例的点云融合方法主要用于检测车辆行驶过程中的小型障碍物，先获取包括激光雷达所采集的第一点云以及在第一点云之前采集的多帧第二点云的点云集合，将第二点云转换为第一点云坐标系下的点云并融合为第三点云，第三点云中的每个点包含点所对应的物体局部的高度，再从第三点云中确定出高度大于预设高度阈值的点以生成第四点云，以及确定出高度小于或等于预设高度阈值的点以生成第五点云，其中，预设高度阈值为小物体的高度上限值，基于第四点云、第五点云中的点在X-Y平面的投影对第五点云中的点进行筛除，以生成第六点云，将第六点云和第一点云融合得到目标点云。目标点云包括多帧小物体的点云以及最新一帧大物体的点云，提高了小物体点云的密度，可以得到小物体点云的详细图像，增加小物体检测的稳定性，另一方面，目标点云中仅包含一帧运动物体的点云，可避免发生多帧运动物体点云融合导致运动物体发生形变的情况。

实施例二

图2为本发明实施例二提供的一种点云融合方法的流程图，本实施例以前述实施例一为基础进一步细化，该方法具体包括如下步骤：

S201、获取点云集合，点云集合包括激光雷达所采集的第一点云以及在第一点云之前采集的多帧第二点云；

第二点云与第一点云的检测时间不同，第一点云为当前最新一帧点云，而第二点云为第一点云之前采集的点云。由于相同点云的数据相同，为了保证点云数据的丰富度和避免浪费计算资源，当抽取多帧第二点云时，每帧第二点云只能被抽取一次。

S202、将多帧第二点云转换为第一点云坐标系下的点云，并将转换后的点云融合为第三点云。

两点云坐标点的转化，就是把一个点云从自己的坐标系变换到另一个坐标系，在本实施例中，可通过ICP或NDT等点云配准算法计算出第二点云对于第一点云的旋转矩阵和平移矩阵，再根据旋转矩阵和平移矩阵将第二点云的坐标转换到第一点云的坐标系，得到转换后的第二点云，再将多帧转换后的第二点云融合为第三点云，以将稀疏点云变换为密集点云。

S203、从第三点云中确定出高度大于预设高度阈值的点以生成第四点云，以及确定出高度小于或等于预设高度阈值的点以生成第五点云。

点云中的点包含所对应的物体局部的高度，而不是物体的整体高度，因此，第三点云中高度大于高度阈值的点，可以确定为大物体中高度大于高度阈值的部分的点，而高度小于或等于高度阈值的点，则可能为小物体、大物体小于或等于高度阈值以下部分或地面所对应的点。

通常来说，在处理车载激光雷达点云数据的过程中，都会对点云数据进行去地面点云处理，由于去地面点云算法也需要消耗资源，因此，可以先从第三点云中去除地面点云以得到障碍物点云，再从障碍物点云中确定出高度大于预设高度阈值的点以生成第四点云，先进行地面分点云分割来获取障碍物点云，再从障碍物点云中筛选出高度大于预设高度阈值的点，相比于直接从第三点云中筛选高度大于预设高度阈值的点，计算效率更高，还节约了算力资源。

其中，预设高度阈值为小物体的高度上限值，可以根据实际检测需求来设定。

而在获取第五点云时，可以先获取第三点云中每个点的对应的物体局部的高度，将高度小于或等于预设高度阈值的点作为第五点云。则第四点云为大物体中高度大于高度阈值部分的点的集合，第五点云为小物体、大物体中小于或等于高度阈值部分的点的集合。

S204、在与第一点云坐标系中X-Y平面平行的方向、根据预设放大参数对第四点云中的点进行区域扩充，得到多个扩充面。

对于障碍物来说，其上下部分一般为连续的实体，第四点云为大物体中高度大于高度阈值部分的点的集合，大物体中小于或等于高度阈值部分的点必然包含于第五点云中，为了将第五点云中大物体的点删除，可以先将第四点云中的点投影于X-Y平面，得到大物体的投影区域，再将第五点云的点投影于X-Y平面，若五点云的点落入投影区域中，则将该点从第五点云中筛除，以去除第五点云中大物体所对应的点云，最终得到小物体对应的点的集合，作为第六点云。其中，X-Y平面为第一点云坐标系中的X-Y平面。

由于本实施例中的点云为稀疏点云，点与点之间存在一定的距离，因此本实施例中可以对第四点云中的点进行区域扩充，使第四点云中、同一物体对应的点在X-Y平面的投影可以互相连接形成闭合区域。具体地，可以将第四点云中的点在与X-Y平面平行的方向、根据预设放大参数对点进行区域扩充，得到多个扩充面，扩充面可以为圆形，也可以为其他形状的多边形。

在本实施例的一个示例中，针对第四点云中每个点，在与X-Y平面平行的方向上，将以点为圆心、以预设放大参数为半径的圆作为点的扩充面。预设放大参数可以根据物体的大小来设置，例如，可以依据物体的宽度来设置，对于物体的宽度较大的物体，对应设置较大的放大参数，而对于物体宽度较小的物体，对应设置较小的放大参数，以对不同宽度的物体对应的点进行不同比例的放大。

S205、根据多个扩充面、第五点云在X-Y平面的投影对第五点云中的点进行筛选，以生成第六点云。

扩充面为第四点云中点在与X-Y平面平行的方向上的放大面，多个扩充面在X-Y平面的投影同样是多个扩充面，则可以根据第五点云中的点与扩充面在X-Y平面投影的关系来判断第五点云中点是否为大物体中小于或等于高度阈值部分的点。

在本实施例的一个示例中，根据扩充面在X-Y平面的投影对第五点云中的点进行筛选，包括：将所有扩充面投影到X-Y平面，得到多个闭合的联通区域，联通区域为扩充面在X-Y平面的投影的并集，基于第五点云在X-Y平面的投影和联通区域对第五点云中的点进行筛除，将筛选完成后的第五点云作为第六点云。其中，联通区域为所有扩充面在X-Y平面投影的区域的并集。

在本实施例的一个示例中，基于第五点云在X-Y平面的投影和联通区域对第五点云中的点进行筛除，包括：针对第五点云中的每个点，判断点在X-Y平面的投影是否位于联通区域内，若是，则从第五点云中筛除点，若否，则保留点。

通过对第四点云中的点进行区域扩充后再投影至X-Y平面，可以增加第四点云中的点在X-Y平面的覆盖面积，即增加大物体对应的点在X-Y平面的覆盖面积，避免因点云的稀疏性造成大物体中小于或等于高度阈值部分的点在X-Y平面的投影无法落入大物体中大于高度阈值部分的点在X-Y平面的投影，进而可以确保第五点云中大物体中小于或等于高度阈值部分的点可以被筛除，只保留小物体的点云，以增加小物体的点云的密集度和纯度，避免混入大物体点云而影响小物体的检测效果。

S206、将第六点云和第一点云融合得到目标点云。

第六点云中包括多帧小物体的点云，第一点云为当前最新一帧点云，将第六点云和第一点云融合，得到目标点云，目标点云包括多帧小物体的点云以及最新一帧大物体的点云，提升了小物体的点云密度，点云密度是数据分辨率的指标，对于同一物体来说，较高的点云密度意味着较多信息或图像高分辨率，较高的点云密度意味着较少信息或图像低分辨率，而较多信息或图像高分辨率则可以更加充分地反应出小物体的特征，即提升了小物体检测的准确性和稳定性，便于系统或驾驶人员对小物体的性质进行判断。

另一方面，通常来说，由于像机动车、行人等运动物体一般都属于本实施例中的大物体范围，即这些运动物体的点云并不包含于第六点云中，仅第一点云中含有运动物体的点云，在将第六点云和第一点云融合后得到目标点云后，目标点云中仅包含一帧运动物体的点云，可避免发生多帧运动物体点云融合导致运动物体发生形变的情况。

本发明实施例的点云融合方法，先获取包括激光雷达所采集的第一点云以及在第一点云之前采集的多帧第二点云的点云集合，将第二点云转换为第一点云坐标系下的点云并融合为第三点云，第三点云中的每个点包含点所对应的物体局部的高度，再从第三点云中确定出高度大于预设高度阈值的点以生成第四点云，以及确定出高度小于或等于预设高度阈值的点以生成第五点云，其中，预设高度阈值为小物体的高度上限值，将第四点云中的点在与X-Y平面平行的方向、根据预设放大参数对点进行区域扩充，得到多个扩充面，根据扩充面、第五点云在X-Y平面的投影对第五点云中的点进行筛选，并将筛选后的所述第五点云作为第六点云，将第六点云和第一点云融合得到目标点云。通过对第四点云中的点进行区域扩充后再投影至X-Y平面，可以增加第四点云中的点在X-Y平面的覆盖面积，即增加大物体对应的点在X-Y平面的覆盖面积，避免因点云的稀疏性造成大物体中小于或等于高度阈值部分的点在X-Y平面的投影无法落入大物体中大于高度阈值部分的点在X-Y平面的投影，进而可以确保第五点云中大物体中小于或等于高度阈值部分的点可以被筛除，只保留小物体的点云，以增加小物体的点云的密集度和纯度，避免混入大物体点云而影响小物体检测效果。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

实施例三

图3为本发明实施例三提供的一种点云融合装置的结构框图，具体可以包括如下模块：

点云集合获取模块301，用于获取点云集合，点云集合包括激光雷达所采集的第一点云以及在第一点云之前采集的多帧第二点云；

点云融合模块302，用于将多帧第二点云转换为第一点云坐标系下的点云，并将转换后的点云融合为第三点云，第三点云中的每个点包含点所对应的物体局部的高度；

点云分割模块303，用于从第三点云中确定出高度大于预设高度阈值的点以生成第四点云，以及确定出高度小于或等于预设高度阈值的点以生成第五点云；

第六点云生成模块304，用于基于第四点云、第五点云中的点在第一点云坐标系中X-Y平面的投影对第五点云中的点进行筛除，以生成第六点云；

目标点云生成模块305，用于将第六点云和第一点云融合得到目标点云。

可选地，点云集合获取模块301，包括：

点云采集子模块，用于在车辆行驶过程中，将当前激光雷达采集到的点云作为第一点云。

可选地，点云分割模块303，还包括：

障碍物点云分割子模块，用于从第三点云中去除地面点云以得到障碍物点云；

第四点云生成子模块，用于从障碍物点云中确定出高度大于预设高度阈值的点以生成第四点云。

可选地，第六点云生成模块304，包括：

区域扩充子模块，用于在与第一点云坐标系中X-Y平面平行的方向、根据预设放大参数对第四点云中的点进行区域扩充，得到多个扩充面；

第五点云筛除子模块，用于根据多个扩充面、第五点云在X-Y平面的投影对第五点云中的点进行筛除，以生成第六点云。

可选地，区域扩充子模块，包括：

扩充面形成单元，用于针对第四点云中每个点，在与第一点云坐标系中X-Y平面平行的方向上，将以点为圆心、以预设放大参数为半径的圆作为点的扩充面。

可选地，第五点云筛除子模块，包括：

联通区域形成单元，用于将所有扩充面投影到X-Y平面，得到多个闭合的联通区域，联通区域为扩充面在X-Y平面的投影的并集；

第五点云筛除单元，用于基于第五点云在X-Y平面的投影和联通区域对第五点云中的点进行筛除。

可选地，第五点云筛除单元，包括：

点区域判断子单元，用于针对第五点云中的每个点，判断点在X-Y平面的投影是否位于联通区域内；若是，则从第五点云中筛除点；若否，则保留点。

本发明实施例所提供的点云融合装置可执行本发明任意实施例所提供的点云融合方法，具备执行方法相应的功能模块和有益效果。

实施例四

参照图4，示出了本发明一个示例中的一种计算机设备的结构示意图。如图4所示，该计算机设备具体可以包括：处理器401、存储器402、具有触摸功能的显示屏403、输入装置404、输出装置405以及通信装置406。该计算机设备中处理器401的数量可以是一个或者多个，图4中以一个处理器401为例。该计算机设备中存储器402的数量可以是一个或者多个，图4中以一个存储器402为例。该设备的处理器401、存储器402、显示屏403、输入装置404、输出装置405以及通信装置406可以通过总线或者其他方式连接，图4中以通过总线连接为例。

存储器402作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器402可进一步包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

显示屏403为具有触摸功能的显示屏403，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏403用于根据处理器401的指示显示数据，还用于接收作用于显示屏403的触摸操作，并将相应的信号发送至处理器401或其他装置。

通信装置406，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。

输入装置404可用于接收输入的数字或者字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置405可以包括扬声器等音频设备。需要说明的是，输入装置404和输出装置405的具体组成可以根据实际情况设定。

处理器401通过运行存储在存储器402中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述点云融合方法。

具体地，实施例中，处理器401执行存储器402中存储的一个或多个程序时，具体实现本发明实施例提供的点云融合方法。

实施例五

本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可实现本发明任意实施例中的点云融合方法。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明应用于设备上任意实施例所提供的点云融合方法。

需要说明的是，对于装置、计算机设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，计算机设备，服务器，或者网络设备等)执行本发明各个实施例所述的点云融合方法。

值得注意的是，上述点云融合装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种点云融合方法，其特征在于，应用于车载激光雷达，包括：

获取点云集合，所述点云集合包括激光雷达所采集的第一点云以及在所述第一点云之前采集的多帧第二点云；

将多帧所述第二点云转换为所述第一点云坐标系下的点云，并将转换后的点云融合为第三点云，所述第三点云中的每个点包含点所对应的物体局部的高度；

从所述第三点云中确定出高度大于预设高度阈值的点以生成第四点云，以及确定出高度小于或等于所述预设高度阈值的点以生成第五点云，其中，所述预设高度阈值为小物体的高度上限值；

基于所述第四点云、所述第五点云中的点在所述第一点云坐标系中X-Y平面的投影对所述第五点云中的点进行筛除，以生成第六点云；

将所述第六点云和所述第一点云融合得到目标点云。

2.根据权利要求1所述的方法，其特征在于，所述获取点云集合，包括：

在车辆行驶过程中，将当前激光雷达采集到的点云作为第一点云。

3.根据权利要求1所述的方法，其特征在于，所述从所述第三点云中确定出高度大于预设高度阈值的点以生成第四点云，包括：

从所述第三点云中去除地面点云以得到障碍物点云；

从所述障碍物点云中确定出高度大于预设高度阈值的点以生成第四点云。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述基于所述第四点云、所述第五点云中的点在所述第一点云坐标系中X-Y平面的投影对所述第五点云中的点进行筛除，以生成第六点云，包括：

在与所述第一点云坐标系中X-Y平面平行的方向、根据预设放大参数对所述第四点云中的点进行区域扩充，得到多个扩充面；

根据多个所述扩充面、所述第五点云在X-Y平面的投影对所述第五点云中的点进行筛除，以生成第六点云。

5.根据权利要求4所述的方法，其特征在于，所述在与所述第一点云坐标系中X-Y平面平行的方向、根据预设放大参数对所述第四点云中的点进行区域扩充，得到多个扩充面，包括：

针对所述第四点云中每个点，在与所述第一点云坐标系中X-Y平面平行的方向上，将以点为圆心、以预设放大参数为半径的圆作为点的扩充面。

6.根据权利要求4所述的方法，其特征在于，所述根据多个所述扩充面、所述第五点云在X-Y平面的投影对所述第五点云中的点进行筛除，包括：

将所有所述扩充面投影到X-Y平面，得到多个闭合的联通区域，所述联通区域为所述扩充面在X-Y平面的投影的并集；

基于所述第五点云在X-Y平面的投影和所述联通区域对所述第五点云中的点进行筛除。

7.根据权利要求6所述的方法，其特征在于，所述基于所述第五点云在X-Y平面的投影和所述联通区域对所述第五点云中的点进行筛除，包括：

针对所述第五点云中的每个点，判断点在X-Y平面的投影是否位于所述联通区域内；

若是，则从所述第五点云中筛除点；

若否，则保留点。

8.一种点云融合装置，其特征在于，包括：

点云集合获取模块，用于获取点云集合，所述点云集合包括激光雷达所采集的第一点云以及在所述第一点云之前采集的多帧第二点云；

点云融合模块，用于将多帧所述第二点云转换为所述第一点云坐标系下的点云，并将转换后的点云融合为第三点云，所述第三点云中的每个点包含点所对应的物体局部的高度；

点云分割模块，用于从所述第三点云中确定出高度大于预设高度阈值的点以生成第四点云，以及确定出高度小于或等于所述预设高度阈值的点以生成第五点云；

第六点云生成模块，用于基于所述第四点云、所述第五点云中的点在所述第一点云坐标系中X-Y平面的投影对所述第五点云中的点进行筛除，以生成第六点云；

目标点云生成模块，用于将所述第六点云和所述第一点云融合得到目标点云。

9.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序，

当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的点云融合方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的点云融合方法。

Images