CN115546760A - 点云序列数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种点云序列数据处理方法、装置、计算机设备和存储介质。所述方法包括：获取目标场景中运动物体所处区域的点云序列数据，定位点云序列数据中每一帧点云序列的障碍点，对每一帧点云序列的障碍点进行投影，得到占用栅格地图序列数据，每一占用栅格地图携带时间参数和构建占用栅格地图时运动物体的位置信息，基于时间参数和运动物体的位置信息，修正当前时刻的占用栅格地图，并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。本方案采用多帧点云数据进行处理，能够得到精准的当前时刻的占用栅格地图，提高可行驶区域检测的精确度。

Description

点云序列数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种点云序列数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

无人车辆或智能机器人的自主导航，要求精确检测机器人所在区域的障碍物并提供所在区域的障碍物占用栅格地图。因此，对于路面可行驶区域检测方案的检测要求提出了挑战。

在传统路面可行驶区域检测技术中，一般使用单帧激光雷达进行检测，采取合适的算法定位场景点云的地面点，随后对障碍点进行二维投影，给出区域内的占用栅格地图，对于地面点的提取，传统算法采用手工制作的特征表示地面，泛化性不强，在野外、桥梁、隧道等复杂场景表现不佳，无法真实反映场景信息。

目前出现的基于深度学习的方法一般也是采用单帧点云作为输入，由于点云本身的稀疏性以及障碍物的遮挡，即使提取出接地点云和障碍点，占用栅格地图也无法完全反应场景的真实信息，从而导致路面可行驶区域的检测精度不高的问题。

综上所述，现有的路面可行驶区域的检测方案存在检测精度不高的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高路面可行驶区域检测精度的点云序列数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种点云序列数据处理方法。所述方法包括：

获取目标场景中运动物体所处区域的点云序列数据；

定位点云序列数据中每一帧点云序列的障碍点；

对每一帧点云序列的障碍点进行投影，得到占用栅格地图序列数据，每一占用栅格地图携带时间参数和构建占用栅格地图时运动物体的位置信息；

基于时间参数和运动物体的位置信息，修正当前时刻的占用栅格地图、并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。

在一个实施例中，运动物体的位置信息包括运动物体在全局坐标系下的位置信息；

基于时间参数和运动物体的位置信息，修正当前时刻的占用栅格地图包括：

基于运动物体在全局坐标系下的位置信息，将占用栅格地图序列数据转换至全局坐标系；

提取完成坐标转换后的占用栅格地图序列数据中的多张目标占用栅格地图，目标占用栅格图为与当前时刻的占用栅格地图存在运动物体所处区域重合的前序占用栅格地图；

对多张目标占用栅格地图进行障碍物聚类，得到各目标占用栅格地图的障碍物块；

获取当前时刻的占用栅格地图中障碍物块的交并比，交并比为当前时刻的占用栅格地图的障碍物块与目标占用栅格地图的障碍物块的重叠率；

基于当前时刻的占用栅格地图中障碍物块的交并比，修正当前时刻的占用栅格地图，并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。

在一个实施例中，基于当前时刻的占用栅格地图中各障碍物块的交并比，修正当前时刻的占用栅格地图包括：

若当前时刻的占用栅格地图中各障碍物块的交并比大于或等于第一预设比例阈值，则补充当前时刻的占用栅格地图的缺失障碍物，以修正当前时刻的占用栅格地图，缺失障碍为记录在目标占用栅格地图而未记录在当前时刻的占用栅格地图中的障碍物。

在一个实施例中，基于当前时刻的占用栅格地图中各障碍物块的交并比，确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息包括：

若当前时刻的占用栅格地图的障碍物块的交并比小于第二预设比例阈值，则将该障碍物块确定为运动障碍点，第二预设比例阈值小于第一预设比例阈值；

获取运动障碍点在当前时刻的占用栅格地图的第一中心坐标，以及在上一时刻的目标占用栅格地图的第二中心坐标；

根据第一中心坐标和第二中心坐标，得到运动障碍点的位移；

根据运动障碍点的位移和当前时刻与上一时刻的时间差，确定运动障碍点的运动速度。

在一个实施例中，定位点云序列数据中的障碍点包括：

对点云序列数据进行特征编码，得到点特征向量；

提取点特征向量的局部特征，并将局部特征映射到原始场景中，得到场景特征数据；

解码场景特征数据，得到场景高程特征值；

根据场景高程特征值和点云序列数据的坐标值，定位点云序列数据中的障碍点。

在一个实施例中，对点云序列数据进行特征编码，得到点特征向量包括：

将点云序列数据中每一帧点云序列数据划分为若干个柱面区域；

从若干个柱面区域中筛选出点云数量满足预设数量要求的目标柱面区域；

采用RANSAC(Random SAmple Consensus，随机采样一致)算法，将每一目标柱面区域内的点云数据聚拟合成平面，根据平面的法线对目标柱面区域的点云数据进行特征增广，得到目标柱面区域的点特征向量。

第二方面，本申请还提供了一种点云序列数据处理装置。所述装置包括：

数据获取模块，用于获取目标场景中运动物体所处区域的点云序列数据，指定区域为以运动物体的当前位置信息为中心的预设距离范围；

障碍点定位模块，用于定位点云序列数据中每一帧点云序列的障碍点；

占用栅格地图数据获取模块，用于对每一帧点云序列的障碍点进行投影，得到占用栅格地图序列数据，每一占用栅格地图携带时间参数和构建占用栅格地图时运动物体的位置信息；

占用栅格地图修正模块，用于基于时间参数和运动物体的位置信息，修正当前时刻的占用栅格地图，并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取目标场景中运动物体所处区域的点云序列数据；

定位点云序列数据中每一帧点云序列的障碍点；

对每一帧点云序列的障碍点进行投影，得到占用栅格地图序列数据，每一占用栅格地图携带时间参数和构建占用栅格地图时运动物体的位置信息；

基于时间参数和运动物体的位置信息，修正当前时刻的占用栅格地图、并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取目标场景中运动物体所处区域的点云序列数据；

定位点云序列数据中每一帧点云序列的障碍点；

对每一帧点云序列的障碍点进行投影，得到占用栅格地图序列数据，每一占用栅格地图携带时间参数和构建占用栅格地图时运动物体的位置信息；

基于时间参数和运动物体的位置信息，修正当前时刻的占用栅格地图、并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取目标场景中运动物体所处区域的点云序列数据；

定位点云序列数据中每一帧点云序列的障碍点；

对每一帧点云序列的障碍点进行投影，得到占用栅格地图序列数据，每一占用栅格地图携带时间参数和构建占用栅格地图时运动物体的位置信息；

基于时间参数和运动物体的位置信息，修正当前时刻的占用栅格地图、并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。

上述点云序列数据处理方法、装置、计算机设备、存储介质和计算机程序产品，区别于传统技术中采用单帧点云数据表示场景信息，以多帧点云数据即点云序列数据为输入，定位点云序列数据中每一帧点云序列的障碍点，并通过对障碍点进行投影，得到多帧点云数据对应的占用栅格地图序列数据，然后，基于占用栅格地图中的时间参数和运动物体的位置信息，修正当前时刻的占用栅格地图，并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。整个方案，采用多帧点云数据进行处理，生成多帧点云数据对应的占用栅格地图，能够使得生成的占用栅格地图更加精确，并且，通过对当前时刻的占用栅格地图进行修正，进一步提高了当前时刻的占用栅格地图的精确度，此外，还确定了当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息，很大程度上提高了可行驶区域检测的精确度。

附图说明

图1为一个实施例中点云序列数据处理方法的应用环境图；

图2为一个实施例中点云序列数据处理方法的流程示意图；

图3为一个实施例中修正占用栅格地图并确定运动障碍点及其运动信息步骤的流程示意图；

图4为另一个实施例中修正占用栅格地图并确定运动障碍点及其运动信息步骤的详细流程示意图；

图5为一个实施例中定位点云序列数据中的障碍点的详细流程示意图；

图6为一个又实施例中点云序列数据处理方法的详细流程示意图；

图7为一个实施例中点云序列数据处理装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的点云序列数据处理方法，可以应用于如图1所示的应用环境中。其中，运动物体102通过网络与服务器104和激光雷达106(激光雷达可安装于运动物体102上，图1中未给出)进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。具体的，运动物体102以机器人为例，目标场景以道路为例，可以是机器人行驶在道路中，激光雷达106采集机器人102所处区域的点云序列数据，并将采集到的点云序列数据发送至服务器106，服务器106接收到点云序列数据后，定位点云序列数据中每一帧点云序列的障碍点，然后，对每一帧点云序列的障碍点进行投影，得到占用栅格地图序列数据，每一占用栅格地图携带时间参数和构建占用栅格地图时运动物体的位置信息，基于时间参数和运动物体的位置信息，修正当前时刻的占用栅格地图、并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息，将携带运动障碍点的运动信息的占用栅格地图发送至机器人102的导航模块，以便于机器人102规划行驶路径。其中，运动物体102可以但不限于是各种可移动的机器人、车辆和无人机等等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种点云序列数据处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

步骤100，获取目标场景中运动物体所处区域的点云序列数据。

目标场景可以是城市道路、户外道路、山区以及田野等场景。目标物体可以是可运动的机器人以及车辆等其他可运动物体。点云序列数据是指由在时间上连续的多帧点云数据组成的序列，即点云序列包括某一时间范围内多帧点云序列。本实施例中，目标场景以城市道路为例、运动物体以机器人为例进行说明。

在实际应用中，首先需要进行信息校正，获得机器人在全局坐标系下的位置信息以及朝向信息。具体的，可以是对激光雷达，GPS(Global Positioning System，全球定位系统)，IMU(Inertial Measurement Unit，惯性测量单元)进行校正，使得GPS、IMU以及激光雷达可以同步给出相应的传感器数据以及时间戳信息。然后，建立机器人运动的全局以及局部坐标系，全局坐标系记为H，以初始位置为坐标原点，建立东北天全局坐标系。正东方为x轴，正北方为y轴，朝天为z轴。局部坐标系为车载激光雷达坐标系记为L，以激光雷达正前方为x轴，正左方为y轴，朝天为z轴。调整激光雷达的位置，使得激光雷达的坐标系和机器人的坐标系完全重合。激光雷达将给出局部坐标系下的点云数据P’，融合GPS和IMU传感器数据，获得机器人在全局坐标系下的位置信息以及朝向信息。然后，激光雷达根据机器人的位置信息和朝向信息，采集机器人所处区域的点云序列数据。

步骤200，定位点云序列数据中每一帧点云序列的障碍点。

障碍点与地面点是相对的说法，即点云数据去除地面点之后剩余的点云可视为障碍点。本实施例中，在获取机器人所处区域的点云序列数据后，定位点云序列数据中每一帧点云序列的障碍点之前，需要对点云序列数据进行点云预处理。具体的，点云预处理包括坐标修正、点云滤波处理，剔除无效点云数据，得到有效的点云数据。具体的，可以是对于激光雷达给出的点云数据P’，使用定位系统给出的机器人朝向信息对点云进行坐标修正。点云P’的修正过程可以是：记P’内的任意一个点坐标为(x’,y’,z’)，P’相同时间戳下的位置信息Gi用(xi，yi,zi,ai,bi,ci,di)表示。对点云进行旋转变化，机器人朝向四元数为q＝a0+b0*i+c0*j+d0*k。令p＝x’*i+y’*j+z’*k。则经过旋转后的纯四元数R(p)＝q^-1*p*q，取对应的虚部值，即为旋转修正后的点云坐标(x,y,z)。然后，使用点云滤波器提取x坐标在(-Δx,Δx)，y坐标在(-Δy,Δy)的点云，同时，对无效点云进行剔除。如此，对于每一帧点云序列，均可以提取到对应位置的有效的场景点云。然后，再去除经过点云预处理后的每一帧点云序列数据中的地面点，以得到点云序列数据中每一帧点云序列的障碍点。

步骤300，对每一帧点云序列的障碍点进行投影，得到占用栅格地图序列数据，每一占用栅格地图携带时间参数和构建占用栅格地图时运动物体的位置信息。

占用栅格地图序列数据由每一帧点云序列对应的占用栅格地图组成。占用栅格地图又称占据栅格地图。占据栅格地图是一种地图的描述方式，占据栅格地图m是把空间划分为有限多个栅格mi，栅格边长就是划分精度，每个栅格由栅格占用概率P以及坐标进行描述。承接上述实施例，在定位每一帧点云序列的障碍点后，可以是对每一帧点云序列的障碍点进行二维投影，得到每一帧点云对应的占用栅格地图。具体的，可以是获得x坐标在(-Δx,Δx)以及y坐标在(-Δy,Δy)的区域(机器人所处区域)，在给定的分辨率r下对所述区域的点云数据进行栅格化获得二维栅格图，用一个二维数组表示此栅格地图，计算障碍点落在每一个栅格的数量，若落在一个栅格内的点云数量大于阈值T，则该栅格视为障碍栅格，该数组的值可记为100表示该区域存在障碍物，否则，该区域的数组值记为0表示该区域可以正常通行。保存L个栅格地图信息，若超过L个信息，则删掉时间戳最早的栅格地图信息。L可以根据机器人的行驶速度设置不同的大小。可通过上述方式获取每个时刻的占用栅格地图，得到占用栅格地图序列，其中，每一个栅格图同时带有时间戳信息和位置参数。之后，可将占用栅格地图用序列(x,y,t,M)表示，x、y表示获得栅格图时机器人所在的位置，t为栅格图对应的时间，M为栅格图二维数组，可以用来表反应机器人周围的障碍物分布情况。

步骤400，基于时间参数和运动物体的位置信息，修正当前时刻的占用栅格地图、并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。

运动障碍点是指发生位移且运动速度明显大于栅格图的移动速度的障碍点。运动信息包括运动的速率和方向。本实施例中，在得到多个时空下的占用栅格地图后，可用t时刻前的Δt时间内的占用栅格地图对当前时刻的占用栅格地图进行修正，并进一步补充障碍物的运动信息。具体的，可以基于占用栅格地图的时间参数和机器人的位置信息，修正当前时刻的占用栅格地图、并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。其中，运动障碍点的确定可以是按照时空顺序列出每一帧栅格障碍物的所处栅格，比较相邻两帧的占用栅格地图，分离出运动的障碍。根据点云序列流判断运动障碍的方向和速度，若相同障碍的移动速度明显大于栅格图的移动速度则视为运动障碍点，并标注运动障碍点运动的速率和方向。进一步的，可发布修正后且标注有运动障碍点的运动信息的当前时刻的占用栅格地图，并将其提供给稀有的路径规划模块和导航模块。

上述点云序列数据处理方法中，区别于传统技术中采用单帧点云数据表示场景信息，以多帧点云数据即点云序列数据为输入，定位点云序列数据中每一帧点云序列的障碍点，并通过对障碍点进行投影，得到多帧点云数据对应的占用栅格地图序列数据，然后，基于占用栅格地图中的时间参数和运动物体的位置信息，修正当前时刻的占用栅格地图，并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。整个方案，采用多帧点云数据进行处理，生成多帧点云数据对应的占用栅格地图，能够使得生成的占用栅格地图更加精确，并且，通过对当前时刻的占用栅格地图进行修正，进一步提高了当前时刻的占用栅格地图的精确度，此外，还确定了当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息，很大程度上提高了可行驶区域检测的精确度。

如图3所示，在一个实施例中，运动物体的位置信息包括运动物体在全局坐标系下的位置信息；

基于时间参数和运动物体的位置信息，修正当前时刻的占用栅格地图包括：

步骤402，基于运动物体在全局坐标系下的位置信息，将占用栅格地图序列数据转换至全局坐标系。

步骤404，提取完成坐标转换后的占用栅格地图序列数据中的多张目标占用栅格地图，目标占用栅格图为与当前时刻的占用栅格地图存在运动物体所处区域重合的前序占用栅格地图。

步骤406，对多张目标占用栅格地图进行障碍物聚类，得到各目标占用栅格地图的障碍物块。

步骤408，获取当前时刻的占用栅格地图中障碍物块的交并比，交并比为当前时刻的占用栅格地图的障碍物块与目标占用栅格地图的障碍物块的重叠率。

步骤410，基于当前时刻的占用栅格地图中障碍物块的交并比，修正当前时刻的占用栅格地图，并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。

交并比是指两个边界框交集和并集之比。本实施例中，当前时刻的占用栅格地图中障碍物块的交并比即指当前时刻的每一障碍物块在当前时刻的占用栅格地图的占用栅格数与在某一目标占用栅格地图的占用栅格数的交并比。机器人的位置信息为在全局坐标系下的位置信息。修正当前时刻的占用栅格地图的过程可以是：由于每一张占用栅格地图均含有获得占用栅格地图时，机器人在全局坐标系下的位置信息(x,y)，因此，针对占用栅格地图序列中的每一张占用栅格地图，可使用这个坐标(x,y)在全局坐标系下对这L张栅格地图进行坐标系对齐，即将占用栅格地图序列数据转换至全局坐标系下。然后，设当前时间为tn，当前机器人的位置为(xn,yn)，当前时刻的占用栅格第图为Mn，Mn反映了x坐标在(xn-Δx,xn+Δx)y坐标在(yn-Δy,yn+Δy)区域的障碍分布情况。若机器人在tn之前的ti时刻，该时刻机器人xi坐标在(xn-Δx,xn+Δx)，同时y坐标在(yn-Δy,yn+Δy)之间，则ti时刻获得的占用栅格地图Mi也含有部分Mn的信息，则将Mi确定为目标占用栅格地图，使用Mi对Mn进行修正。本实施例中，可以是：若某一时刻的占用栅格图的全局坐标系下的坐标(xi,yi)满足如下关系，则该占用栅格地图确定为目标占用栅格图：

xn-2*Δx<xi<xn+2*Δx

yn-2*Δy<yi<yn+2*Δy

提取所有满足上述不等式组的占用栅格图作为目标占用栅格地图，用于后续修正当前时刻的占用栅格地图，最终提取p个目标占用栅格地图，作为目标占用栅格地图集合Mp(p<L)。然后，对于每一张目标占用栅格地图进行障碍物聚类，即对于每一个障碍格，若与之相邻的区域也含有障碍格，则这两个障碍格视为同一障碍，将其聚类为一个障碍物块，按照上述方式对每一张目标占用栅格地图进行障碍聚类，得到各目标占用栅格地图的障碍物块。然后，以当前时刻的占用栅格地图为Mn，前序的目标占用栅格地图集合为Mp，对Mn与Mp中的每张目标占用栅格地图进行两两比较，并修正Mn。比较过程如下：

根据前序坐标系对齐的结果，将Mn与Mp映射到全局坐标系中，对于Mn的每一个障碍物块O，计算该障碍聚类在Mn地图与Mp地图的占用栅格数的交并比。根据交并比，修正当前时刻的占用栅格地图，并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。

如图4所示，基于当前时刻的占用栅格地图中障碍物块的交并比，修正当前时刻的占用栅格地图包括：步骤411，若当前时刻的占用栅格地图中各障碍物块的交并比大于或等于第一预设比例阈值，则补充当前时刻的占用栅格地图的缺失障碍物，以修正当前时刻的占用栅格地图，缺失障碍为记录在目标占用栅格地图而未记录在当前时刻的占用栅格地图中的障碍物。

若交并比大于或等于设定的第一比例阈值γ，则可认为障碍物块O为静止障碍点，且Mp以及Mn捕获的该障碍物块的信息都十分准确，可以使用Mp的信息对Mn进行修正，即定位出在前序时刻的目标占用栅格地图识别到但在当前时刻的占用栅格地图未识别到的障碍物，记为缺失障碍物。即若Mp记录某一区域为障碍点，但Mn中未记录，则在Mn补充该缺失障碍物信息，记录该区域为障碍点，并给定该区域的数组值为一个大于0但小于100的整数，表示其可能存在障碍点，这个数值根据tn-ti的值决定，若时间间隔较大，则此值较小。若交并比小于第一比例阈值γ，则表征此障碍要么为运动障碍点，要么Mp或者Mn记录的关于该障碍点的信息不够准确，例如该障碍点在Mi部分存在而在Mn中完全存在。在这种情况下，则不使用Mp对Mn进行修正。之后，修正当前时刻的占用栅格地图后，可进一步根据交并比确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。本实施例中，通过坐标系对齐、障碍物聚类以及交并比的计算等一系列处理，使得可根据前序的占用栅格地图对当前时刻的占用栅格地图进行修正，以完善补充当前时刻的占用栅格地图的信息，并能够准确定位到运动障碍点。

如图4所示，在一个实施例中，基于当前时刻的占用栅格地图中各障碍物块的交并比，确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息包括：

步骤412，若当前时刻的占用栅格地图的障碍物块的交并比小于第二预设比例阈值，则将该障碍物块确定为运动障碍点，第二预设比例阈值小于第一预设比例阈值。

步骤414，获取运动障碍点在当前时刻的占用栅格地图的第一中心坐标，以及在上一时刻的目标占用栅格地图的第二中心坐标。

步骤416，根据第一中心坐标和第二中心坐标，得到运动障碍点的位移。

步骤418，根据运动障碍点的位移和当前时刻与上一时刻的时间差，确定运动障碍点的运动速度。

承接上一实施例，若当前时刻的占用栅格地图的障碍物块的交并比小于第一比例阈值γ且小于第二预设比例阈值β，则将该障碍物块确定为运动障碍点，并根据前一帧占用栅格地图对当前时刻的占用栅格地图进行运动障碍点标注。具体实施时，记Mn-1为Mn的前一帧序列，我们根据Mn-1对Mn进行运动障碍点标注。由于算法运行效率较高，理论上Mn-1与Mn对障碍点的表示情况基本一样，当前时刻的占用栅格地图的障碍物块的障碍点重合栅格数/障碍点总栅格数即交并比的比值极低，小于第一比例阈值γ且小于第二预设比例阈值β，则认为此障碍物为运动障碍点。然后，计算运动障碍点在Mn-1的第一中心坐标(障碍点x坐标与y坐标的平均值)以及在Mn下的第二中心坐标，然后根据第一中心坐标和第二中心坐标的差值计算出运动障碍点的位移，并根据Mn-1与Mn的时间差计算出运动障碍点的运动速度，并在Mn栅格图下进行标注。

本实施例中，根据当前时刻的占用栅格地图的障碍物块的交并比与第二预设比例阈值的大小关系，确定运动障碍点，并根据运动障碍点在当前时刻的占用栅格地图和上一时刻的占用栅格地图的中心坐标，确定运动障碍点的运动速度，即简便又准确。

如图5所示，在一个实施例中，步骤200包括：

步骤220，对点云序列数据进行特征编码，得到点特征向量。

步骤240，提取点特征向量的局部特征，并将局部特征映射到原始场景中，得到场景特征数据。

步骤260，解码场景特征数据，得到场景高程特征值。

步骤280，根据场景高程特征值和点云序列数据的坐标值，定位点云序列数据中每一帧点云序列的障碍点。

本实施例中，定位点云序列数据中的障碍点可以是：对点云序列数据中的每帧点云进行特征编码，并对点特征进行特征增广，得到高维的点特征向量，以D维特征为例。然后，对每个点的D维特征应用PointNet特征提取模块提取点云特征，再对点云特征应用最大池操作，获取其局部特征，得到点特征向量的局部特征，再将局部特征按照提取时的坐标映射到原始场景中，得到场景特征数据，该场景特征数据可以是一张大小为(C、H、W)的伪图像，其中，C为局部特征，H和W表示场景的长度和宽度，该伪图像可以是表示整个场景的特征。

接着，将伪图像作为SegNet网络的输入，回归获得场景的高程特征值，此特征值反应了每一点云所在区域的地面高程特征值。点云中的每一个点在经过解码输出后，对于一帧点云的一个点，网络给出其高程特征值，再将该点的高程特征值与该点的z值进行比较，若z值大于高程特征值，则将该点确定为障碍点，若z值小于高程特征值，则将该点确定为地面点。按照上述方式，可分离出场景中所有的地面点，剩余的点即视为障碍点。其中，SegNet网络是一个编码器——解码器网络，编码器由4个卷积层组成。在每两个卷积层之后，使用2×2窗口和步长2(非重叠窗口)执行最大池操作。编码器的结果输出通过因子4(即4×4窗口和步长4)进行二次采样。每个编码器层都有一个相应的解码器层，因此解码器网络有4个卷积层，每两个卷积层后进行最大反池化。最终的解码器输出与输入伪图像(网格)具有相同的形状，并被馈送到3x3卷积滤波器，该滤波器对伪图像(网格中的单元格)中每个像素的地面高程值进行回归并给出特征值。其中，神经网络的损失函数定义为

其中I表示形状为(H，W)的网格的地面真实高程图，而^I表示预测高程图。超参数α和β用于平衡这两个损失：

和

别是立面图x和y方向上的梯度。需要说明的是，本实施例中可通过semantic Kitti数据集对神经网络进行训练，直到收敛。

本实施例中，通过对点云数据进行编码再解码，得到每一点云的高程特征值，通过比较点云的高程特征值和z值，能够简单且高效地分离出场景中的地面点，筛选出障碍点。

在一个实施例中，步骤220包括：将点云序列数据中每一帧点云序列数据划分为若干个柱面区域，从若干个柱面区域中筛选出点云数量满足预设数量要求的目标柱面区域，采用RANSAC算法，将每一目标柱面区域内的点云数据聚拟合成平面，根据平面的法线对目标柱面区域的点云数据进行特征增广，得到目标柱面区域的点特征向量。

承接上一实施例，本实施例中，对点云序列数据进行特征编码，得到点特征向量可以是：根据每一点云的位置信息，将点云序列数据中每一帧点云序列中的点云在给定的分辨率如0.5下划分为若干个柱面区域(以下简称柱面)，柱面区域可以是长方体柱面区域。由于点云的稀疏性，大部分柱面为空，且部分柱面的点云将十分稠密。因此，需要对柱面进行筛选。对于点云数量大于N的柱面，采用随机采样法选取N个点，并丢弃掉其余的点，筛选出点云数量为N的目标柱面。然后，计算柱面内点云的加权平均值(x*，y*，z*)，以对特征进行增广。同时，可结合柱面中心坐标(xc，yc)进行增广。具体的，可以是采用RANSAC算法，将每一目标柱面区域内的点云数据聚拟合成平面，根据平面的法线对目标柱面区域的点云数据进行特征增广。发明人注意到，若某个柱面对应的区域为纯地面区域(即无障碍区域)，则其对应的法线接近z轴。若该柱面对应的区域含有非接地点，则其拟合的平面的法线没有规则，对于点云数量大于等于3的柱面，采用RANSAC算法将柱面内的点聚拟合成平面，并用此平面法线(m，n，p)对柱面区域的点特征进行增广，对于点云数量小于三个点的柱面，由于无法拟合平面，直接使用(0,0,0)作为该柱面的法线进行特征增广。最终，特征增广后的每个柱面的点特征向量用(x,y,z,i,xc,yc,x*,y*,z*,m,n,p)的十二维特征向量进行表示。需要说明的是，在本实施例中对场景点云进行柱面化后，得到的为柱面区域的点特征向量后，提取点特征向量的局部特征，并将局部特征映射到原始场景中，得到场景特征数据则可以是：利用PointNet特征提取模块提取每一个柱面的特征，将场景点云柱面化后，则场景可以用(D，P，N)的张量进行表示，D＝12，即为12维特征，P为场景点云所有非空柱面数量，N为每一个柱面的点数。对这P个柱面的N个点的D维特征应用PointNet特征提取网络，P个柱面的N个点云每一个点云获得一个C维的特征向量，整个场景点云可以用(C，P，N)的张量进行表示，C为每一个点云的提取后的特征向量，P、N的含义与上述含义相同。然后，对每一个柱面的N个点云特征，应用最大池操作获取其局部特征，构建大小为(C，P)的输出张量，其中，C为局部特征，P为非空柱面数量。然后将P个特征向量按照提取时的xy坐标映射到原场景中，获得创建大小为(C、H、W)的伪图像，该伪图像即表征场景特征向量。

本实施例中，通过对场景中的点云进行柱面化，并采用RANSAC算法，能够快速且高效地将柱面区域的点云数据拟合成平面，进而使得能够快速地通过平面的法线完成特征增广。

为对本申请提供的点云序列数据处理方法作出更为清楚的说明，下面结合图6和一个具体实施例进行说明，该实施例中，运动物体以机器人为例进行说明，包括一下内容：

步骤1：校正激光雷达，GPS和IMU，使得GPS、IMU以及激光雷达可以同步给出相应的传感器数据以及时间戳信息。

步骤2：获取机器人所处区域的点云序列数据。建立机器人运动的全局以及局部坐标系，调整激光雷达的位置，使得激光雷达坐标系和机器人坐标系完全重合。激光雷达将给出局部坐标系下的点云数据，获取机器人所处区域的点云序列数据。融合GPS和IMU传感器数据，获得机器人在全局坐标系下的位置信息以及朝向信息。

步骤3：点云预处理。预处理包括坐标修正、剔除无效点云数据。

步骤4：点云特征编码。将点云序列数据中每一帧点云序列数据划分为若干个柱面区域，从若干个柱面区域中筛选出点云数量满足预设数量要求的目标柱面区域，采用RANSAC算法，将每一目标柱面区域内的点云数据聚拟合成平面，根据平面的法线对目标柱面区域的点云数据进行特征增广，得到目标柱面区域的点特征向量。

步骤5：点云特征提取。对每一个柱面的N个点云特征应用最大池操作获取其局部特征，创建大小为(C，P)的输出张量，C为局部特征，P为非空支柱数量。然后将P个特征向量按照提取时的xy坐标映射到原场景中，获得创建大小为(C、H、W)的伪图像，其中H和W表示场景的长度和宽度，该伪图像可以表示整个场景的特征。

步骤6：将伪图像作为SegNet网络的输入，回归获得场景的柱面特征向量的高程特征值(即场景高程特征值)，根据场景高程特征值和点云序列数据的z值，定位点云序列数据中的障碍点。

步骤7：对每一帧点云的障碍点进行二维投影，得到占用栅格地图序列数据，每一占用栅格地图携带时间参数和构建占用栅格地图时运动物体的位置信息。

步骤8：修正当前时刻的占用栅格地图。基于运动物体在全局坐标系下的位置信息，将占用栅格地图序列数据转换至全局坐标系，提取完成坐标转换后的占用栅格地图序列数据中的多张目标占用栅格地图，对多张目标占用栅格地图进行障碍物聚类，得到各目标占用栅格地图的障碍物块，获取当前时刻的占用栅格地图中障碍物块的交并比，若当前时刻的占用栅格地图中各障碍物块的交并比大于或等于第一预设比例阈值γ，则补充当前时刻的占用栅格地图的缺失障碍物，以修正当前时刻的占用栅格地图。

步骤9：确定运动障碍点并标注其运动信息。若当前时刻的占用栅格地图的障碍物块的交并比第一预设比例阈值γ且进一步小于第二预设比例阈值β，则将该障碍物块确定为运动障碍点，获取运动障碍点在当前时刻的占用栅格地图的第一中心坐标，以及在上一时刻的目标占用栅格地图的第二中心坐标，根据第一中心坐标和第二中心坐标，得到运动障碍点的位移，根据运动障碍点的位移和当前时刻与上一时刻的时间差，确定运动障碍点的运动速度，并标注运动障碍点的运动速度。

步骤10：发布修正后的、且标注有运动障碍点的运动信息的当前时刻的占用栅格地图至下游模块，以便于规划路径和导航。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的点云序列数据处理方法的点云序列数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个点云序列数据处理装置实施例中的具体限定可以参见上文中对于点云序列数据处理方法的限定，在此不再赘述。

在一个实施例中，如图7所示，提供了一种点云序列数据处理装置，包括：数据获取模块710、障碍点定位模块720、占用栅格地图数据获取模块730和占用栅格地图修正模块740，其中：

数据获取模块710，用于获取目标场景中运动物体所处区域的点云序列数据。

障碍点定位模块720，用于定位点云序列数据中每一帧点云序列的障碍点。

占用栅格地图数据获取模块730，用于对每一帧点云序列的障碍点进行投影，得到占用栅格地图序列数据，每一占用栅格地图携带时间参数和构建占用栅格地图时运动物体的位置信息。

占用栅格地图修正模块740，用于基于时间参数和运动物体的位置信息，修正当前时刻的占用栅格地图，并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。

上述点云序列数据处理装置中，区别于传统技术中采用单帧点云数据表示场景信息，以多帧点云数据即点云序列数据为输入，定位点云序列数据中每一帧点云序列的障碍点，并通过对障碍点进行投影，得到多帧点云数据对应的占用栅格地图序列数据，然后，基于占用栅格地图中的时间参数和运动物体的位置信息，修正当前时刻的占用栅格地图，并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。整个方案，采用多帧点云数据进行处理，生成多帧点云数据对应的占用栅格地图，能够使得生成的占用栅格地图更加精确，并且，通过对当前时刻的占用栅格地图进行修正，进一步提高了当前时刻的占用栅格地图的精确度，此外，还确定了当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息，很大程度上提高了可行驶区域检测的精确度。

在一个实施例中，运动物体的位置信息包括运动物体在全局坐标系下的位置信息；

占用栅格地图修正模块740还用于基于运动物体在全局坐标系下的位置信息，将占用栅格地图序列数据转换至全局坐标系，提取完成坐标转换后的占用栅格地图序列数据中的多张目标占用栅格地图，目标占用栅格图为与当前时刻的占用栅格地图存在运动物体所处区域重合的前序占用栅格地图，对多张目标占用栅格地图进行障碍物聚类，得到各目标占用栅格地图的障碍物块，获取当前时刻的占用栅格地图中障碍物块的交并比，交并比为当前时刻的占用栅格地图的障碍物块与目标占用栅格地图的障碍物块的重叠率，基于当前时刻的占用栅格地图中障碍物块的交并比，修正当前时刻的占用栅格地图，并确定当前时刻的占用栅格地图的运动障碍点以及运动障碍点的运动信息。

在一个实施例中，占用栅格地图修正模块740还用于若当前时刻的占用栅格地图中各障碍物块的交并比大于或等于第一预设比例阈值，则补充当前时刻的占用栅格地图的缺失障碍物，以修正当前时刻的占用栅格地图，缺失障碍为记录在目标占用栅格地图而未记录在当前时刻的占用栅格地图中的障碍物。

在一个实施例中，占用栅格地图修正模块740还用于若当前时刻的占用栅格地图的障碍物块的交并比小于第二预设比例阈值，则将该障碍物块确定为运动障碍点，第二预设比例阈值小于第一预设比例阈值，获取运动障碍点在当前时刻的占用栅格地图的第一中心坐标，以及在上一时刻的目标占用栅格地图的第二中心坐标，根据第一中心坐标和第二中心坐标，得到运动障碍点的位移，根据运动障碍点的位移和当前时刻与上一时刻的时间差，确定运动障碍点的运动速度。

在一个实施例中，障碍点定位模块720还用于对点云序列数据进行特征编码，得到点特征向量，提取点特征向量的局部特征，并将局部特征映射到原始场景中，得到场景特征数据，解码场景特征数据，得到场景高程特征值，根据场景高程特征值和点云序列数据的坐标值，定位点云序列数据中的障碍点。

在一个实施例中，障碍点定位模块720还用于将点云序列数据中每一帧点云序列数据划分为若干个柱面区域，从若干个柱面区域中筛选出点云数量满足预设数量要求的目标柱面区域，采用RANSAC算法，将每一目标柱面区域内的点云数据聚拟合成平面，根据平面的法线对目标柱面区域的点云数据进行特征增广，得到目标柱面区域的点特征向量。

上述点云序列数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储点云序列数据和占用栅格地图等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种点云序列数据处理方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述点云序列数据处理方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述点云序列数据处理方法中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述点云序列数据处理方法中的步骤。

需要说明的是，本申请所涉及的数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种点云序列数据处理方法，其特征在于，所述方法包括：

获取目标场景中运动物体所处区域的点云序列数据；

定位所述点云序列数据中每一帧点云的障碍点；

对所述每一帧点云序列的障碍点进行投影，得到占用栅格地图序列数据，每一占用栅格地图携带时间参数和构建占用栅格地图时所述运动物体的位置信息；

基于所述时间参数和所述运动物体的位置信息，修正当前时刻的占用栅格地图、并确定当前时刻的占用栅格地图的运动障碍点以及所述运动障碍点的运动信息。

2.根据权利要求1所述的方法，其特征在于，所述运动物体的位置信息包括所述运动物体在全局坐标系下的位置信息；

基于所述时间参数和所述运动物体的位置信息，修正当前时刻的占用栅格地图包括：

基于所述运动物体在全局坐标系下的位置信息，将所述占用栅格地图序列数据转换至全局坐标系；

提取完成坐标转换后的占用栅格地图序列数据中的多张目标占用栅格地图，所述目标占用栅格图为与当前时刻的占用栅格地图存在运动物体所处区域重合的前序占用栅格地图；

对所述多张目标占用栅格地图进行障碍物聚类，得到各目标占用栅格地图的障碍物块；

获取当前时刻的占用栅格地图中障碍物块的交并比，所述交并比为当前时刻的占用栅格地图的障碍物块与目标占用栅格地图的所述障碍物块的重叠率；

基于所述当前时刻的占用栅格地图中障碍物块的交并比，修正当前时刻的占用栅格地图，并确定当前时刻的占用栅格地图的运动障碍点以及所述运动障碍点的运动信息。

3.根据权利要求2所述的方法，其特征在于，所述基于所述当前时刻的占用栅格地图中各障碍物块的交并比，修正当前时刻的占用栅格地图包括：

若当前时刻的占用栅格地图中各障碍物块的交并比大于或等于第一预设比例阈值，则补充当前时刻的占用栅格地图的缺失障碍物，以修正当前时刻的占用栅格地图，所述缺失障碍为记录在所述目标占用栅格地图而未记录在当前时刻的占用栅格地图中的障碍物。

4.根据权利要求2所述的方法，其特征在于，基于所述当前时刻的占用栅格地图中各障碍物块的交并比，确定当前时刻的占用栅格地图的运动障碍点以及所述运动障碍点的运动信息包括：

若当前时刻的占用栅格地图的障碍物块的交并比小于第二预设比例阈值，则将该障碍物块确定为运动障碍点，所述第二预设比例阈值小于所述第一预设比例阈值；

获取所述运动障碍点在当前时刻的占用栅格地图的第一中心坐标，以及在上一时刻的目标占用栅格地图的第二中心坐标；

根据所述第一中心坐标和所述第二中心坐标，得到所述运动障碍点的位移；

根据所述运动障碍点的位移和当前时刻与上一时刻的时间差，确定所述运动障碍点的运动速度。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述定位所述点云序列数据中的障碍点包括：

对所述点云序列数据进行特征编码，得到点特征向量；

提取所述点特征向量的局部特征，并将所述局部特征映射到原始场景中，得到场景特征数据；

解码所述场景特征数据，得到场景高程特征值；

根据所述场景高程特征值和所述点云序列数据的坐标值，定位所述点云序列数据中的障碍点。

6.根据权利要求5所述的方法，其特征在于，所述对所述点云序列数据进行特征编码，得到点特征向量包括：

将所述点云序列数据中每一帧点云序列数据划分为若干个柱面区域；

从所述若干个柱面区域中筛选出点云数量满足预设数量要求的目标柱面区域；

采用RANSAC算法，将每一目标柱面区域内的点云数据聚拟合成平面，根据所述平面的法线对所述目标柱面区域的点云数据进行特征增广，得到所述目标柱面区域的点特征向量。

7.一种点云序列数据处理装置，其特征在于，所述装置包括：

数据获取模块，用于获取目标场景中运动物体所处区域的点云序列数据，所述指定区域为以运动物体的当前位置信息为中心的预设距离范围；

障碍点定位模块，用于定位所述点云序列数据中每一帧点云序列的障碍点；

占用栅格地图数据获取模块，用于对所述每一帧点云序列的障碍点进行投影，得到占用栅格地图序列数据，每一占用栅格地图携带时间参数和构建占用栅格地图时所述运动物体的位置信息；

占用栅格地图修正模块，用于基于所述时间参数和所述运动物体的位置信息，修正当前时刻的占用栅格地图，并确定当前时刻的占用栅格地图的运动障碍点以及所述运动障碍点的运动信息。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images