CN113688738A - 一种基于激光雷达点云数据的目标识别系统及方法 - Google Patents

Abstract

本发明涉及3D点云处理领域，特别是涉及一种基于激光雷达点云数据的目标识别系统及方法，对不同环境的3D点云具有鲁棒性，且具有端到端的实时性。本发明有效结合了点云目标检测方法中的基于体素和基于点的方法，改善了检测算法中感知域不足的问题，可同时对不同尺寸、不同大小的物体进行精确检测，提高了目标检测准确度和稳定性。

Description

一种基于激光雷达点云数据的目标识别系统及方法

技术领域

本发明涉及3D点云处理领域，特别是涉及一种基于激光雷达点云数据的目标识别系统及方法，对不同环境的3D点云具有鲁棒性，且具有端到端的实时性。

背景技术

目前3D点云数据处理方法包括两种：非深度学习方法和深度学习方法。目前进入实用阶段的雷达目标检测系统中，大多使用多线机械旋转式激光雷达作为车辆的环境感知主传感器。

激光雷达是一种采用非接触激光测距技术的扫描式传感器，其工作原理与一般的雷达系统类似，通过发射激光光束来探测目标，并通过搜集反射回来的光束来形成点云和获取数据，这些数据经光电处理后可生成为精确的三维立体图像。采用这项技术，可以准确的获取高精度的物理空间环境信息，测距精度可达厘米级，因此，该项技术成为汽车自动驾驶、无人驾驶、定位导航、空间测绘、安保安防等领域最为核心的传感器设备。

而目前的3D点云数据目标检测算法有两种：非深度学习算法和深度学习算法。非深度学习算法主要包括Graph、Range Image和Elevation Image方法，这类算法大都使用单的基于形状或空间规则的方法就可以得到一定的目标识别结果，但是存在以下问题。

第一，准确度较低，达不到自动驾驶等应用场景的要求；

第二，非深度学习算法需要针对不用的使用场景采用不同的规则，不具有普适性。

深度学习算法基于神经网络理论，使用大量现实数据及标签对网络神经元进行训练，优化预测结果，提高准确度。目前基于深度学习的目标识别方法分为三类：1)基于深度图的方法；2)基于体素的方法；3)基于点的方法。其中存在以下问题：

第一，基于深度图的方法中，将3D点云数据转化为2D深度图像，使用2D目标识别网络进行预测，会造成原始数据的大量丢失，准确度较低；

第二，基于体素的方法中，将3D离散点云转化为有顺序的空间体素，有效利用了点云的空间性和点与点的关联性，但是会带来巨大的计算量和原始数据的丢失；

第三，基于点的方法中，将3D点云数据直接输入神经网络，提取其点云特征，但是准确度较低，网络结构复杂。

发明内容

本发明为了解决上述问题，最大程度地利用原始数据，提高3D点云目标识别方法准确率和鲁棒性，提出了一种基于激光雷达点云数据的目标识别系统及方法。

本发明的技术方案为：

一种基于激光雷达点云数据的目标识别系统，该目标识别系统包括激光雷达传感器、中央处理器、显示设备；

所述的激光雷达传感器为多线机械旋转式激光雷达传感器；

其中，激光雷达传感器通过USB连接线与中央处理器相连接，中央处理器通过视频数据线与显示设备连接；

所述的激光雷达传感器通过旋转进行3D点云数据360°采集，通过激光雷达上的USB接口及USB连接线将所采集的3D点云数据传至中央处理器，激光雷达传感器通过旋转采集到的3D点云数据也称为原始点云数据；

中央处理器根据接收到的3D点云数据对待识别目标物体进行类别识别和边界框识别，将类别识别和边界框识别结果，以及接收到的3D点云数据通过视频数据线发送至显示设备进行显示；

所述的激光雷达传感器进行点云数据采集时，采集频率为10Hz；

所述的中央处理器为工控机或者其他嵌入式设备；

所述的显示设备，也即点云可视化装置为液晶显示屏；

所述的待识别目标物体包括车辆、行人、自行车等；

所述的视频数据线为高速USB连接线；

所述的中央处理器根据接收到的3D点云数据对待识别目标物体进行类别识别和边界框识别的系统包括点云体素化模块、MLP模块、逐点特征提取模块、特征融合模块、稀疏3D卷积模块、候选区域提取模块和非极大值抑制模块；

点云体素化模块用于接收来自激光雷达传感器的原始点云数据，其中，所接收到的原始点云数据包括点云中每个点的三维坐标值和反射强度，点云体素化模块将接收到的原始点云数据转化为稀疏体素数据，转换后的稀疏体素数据采用稀疏表示法表示，采用稀疏表示法进行表示时仅记录空间中非空体素内的点云信息及非空体素的坐标，点云体素化模块将记录的非空体素内的点云信息和反射强度以体素内数据的形式输出给MLP模块和逐点特征提取模块，点云体素化模块将记录的非空体素的坐标以体素坐标的形式输出给MLP模块、逐点特征提取模块和稀疏3D卷积模块；

所述原始点云数据转化为稀疏体素数据过程中，需预设体素的有效实际范围，稀疏体素数据生成过程中舍弃超出有效实际范围的点，保证点云数据的准确性，有效实际范围为一设定值，如设定为前向距离范围[0,70.4]m，左右距离范围[-40,40]m，高度范围[-3,1]m；此外需预设单位体素可容纳的最大点数，如16；预设单位体素实际尺寸，如[0.4,0.4,0.8]m；

MLP模块用于接收点云体素化模块输出的体素内数据和体素坐标，并根据接收到的体素内数据和体素坐标进行体素整体特征提取，得到池化64维体素特征，并将得到的池化64维体素特征输出给特征融合模块；

其中，进行体素整体特征提取的方法为：

第一步，为了将坐标旋转为有利于特征提取的角度，使用3*3旋转矩阵对体素内数据中的三维坐标值进行旋转变换，即将体素内数据中所有点的三维坐标值乘上3*3的旋转矩阵，得到旋转体素坐标，将旋转体素坐标与体素内数据中各点的反射强度逐体素拼接后与体素内数据中的体素一一组合，得到旋转体素数据；

第二步，将第一步得到的旋转体素数据通过多层感知(MultiLayer Perceptron，MLP)算法进行特征提取，具体过程为：使用32个大小为1*4的卷积核对旋转体素数据进行卷积运算，卷积步长为(1,1)，深度为1，得到32维体素特征，再使用64个大小为1*1的卷积核对32维体素特征进行卷积运算，卷积步长为(1,1)，深度为32，得到64维体素特征；

第三步，使用最大值池化(Maxpooling)算法，池化区域大小为(1，16，1)，从第二步得到的64维体素特征中提取同一体素中所有点在某个特征维度上的最大值，作为该体素在这个特征维度上的特征值，对所有特征维度上的特征进行最大值池化，池化面积大小为体素所能容纳的最大点数，从而得到池化64维体素特征；

上述MLP模块的中，3*3的旋转矩阵、32个1*4的卷积核、64个1*1的卷积核中的参数均可训练，可以通过现实数据集对这些参数进行训练及优化，从而自适应地提取体素数据特征；

所述的逐点特征提取模块用于接收点云体素化模块输出的体素内数据和体素坐标，并根据接收到的体素内数据和体素坐标进行体素逐点特征提取，得到逐点64维体素特征，并将得到的逐点64维体素特征输出给特征融合模块；

进行体素逐点特征提取的方法为：

第一步，使用2D卷积对接收到的体素内数据进行逐点特征提取，即使用4个大小为1*4的卷积核对原始体素数据进行卷积运算，卷积步长为(1,1)，深度为1，得到4维体素特征，然后使用4个大小为1*1，步长为(1,1)，深度为4的卷积核对4维体素特征进行卷积运算，得到深度4维体素特征；

上述深度4维体素特征中，每个体素均包含有16个点，每个点包含4维特征，数据格式为[N,4,16]，其中N代表体素总个数，4代表每个点的特征维度，16代表每个体素中点的个数；

第二步，将第一步得到的深度4维体素特征的第二维度与第三维度合并，将每个体素包含[4,16]的特征转化为每个体素包含[64]的特征，即将体素中的所有点的特征拼接，作为新的体素特征，得到逐点64维体素特征；

上述4个大小为1*4的卷积核、4个大小为1*1的卷积核中的参数均可被训练，可以通过现实数据集对这些参数进行训练及优化；

所述的特征融合模块用于接收MLP模块输出的池化64维体素特征和逐点特征提取模块输出的逐点64维体素特征，在每个体素上进行逐体素的拼接融合，每个体素上得到128个特征，最终输出128维体素特征给稀疏3D卷积模块；

所述的稀疏3D卷积模块用于接收点云体素化模块的输出的体素坐标和特征融合模块输出的128维体素特征，并根据接收到的体素坐标和128维体素特征进行体素3D特征提取，输出512维2D鸟瞰特征给候选区域提取模块；

进行体素3D特征提取的方法为：

第一步，将128维体素特征按照体素坐标排列，将体素特征与体素坐标一一对应，得到128维3D体素特征；

第二步，使用三层稀疏3D卷积算法进行特征提取，具体为：第一层中使用128个卷积核，大小为3*3*3，卷积步长为(1,1,1)，深度为128，对128维体素特征进行稀疏卷积运算，得到128维稀疏3D体素特征；第二层中使用256个卷积核，大小为3*3*3，卷积步长为(1,1,1)，深度为128，对128维稀疏3D体素特征进行稀疏卷积运算，得到256维稀疏3D体素特征；第三层中使用256个卷积核，大小为3*3*3，卷积步长为(1,1,2)，深度为256，对256维稀疏3D体素特征进行稀疏卷积运算，得到压缩256维稀疏3D体素特征；此时压缩256维稀疏3D体素特征中特征深度为256，高度维度为2；

第三步，将压缩256维稀疏3D体素特征中的深度和高度两个维度进行合并，只保留前向距离维度和左右距离维度，得到鸟瞰图平面上的512维2D鸟瞰特征；

上述稀疏3D卷积模块中，128个大小为3*3*3的卷积核、256个大小为3*3*3的卷积核均可被训练，可以通过现实数据集对这些参数进行训练及优化；

所述的候选区域提取模块用于接收稀疏3D卷积模块输出的512维2D鸟瞰特征，并根据接收到的512维2D鸟瞰特征进行2D特征提取，输出包含有目标的3D候选区域给非极大值抑制模块，其中，包含有目标的3D候选区域的数据包括3D物体类别识别概率和7维物体3D边界框识别结果；

进行2D特征提取的方法为：

第一步，使用2D卷积对稀疏3D卷积模块中得到的512维2D鸟瞰特征进行两次下采样和两次上采样：

第一次下采样使用256个大小为3*3的卷积核，步长为(2,2)，深度为512，对接收的512维2D鸟瞰特征进行卷积，使得鸟瞰特征图边长缩小2倍，大小缩小4倍，得到256维1/2鸟瞰特征；

第二次下采样使用256个大小为3*3的卷积核，步长为(2,2)，深度为256，对256维1/2鸟瞰特征进行卷积，使得鸟瞰特征图边长再次缩小2倍，大小再次缩小4倍，得到256维1/4鸟瞰特征；

接着使用2D反卷积进行上采样卷积：第一次上采样卷积使用256个大小为3*3的卷积核，步长为(1,1)，反卷积系数为2，深度为256，对256维1/4鸟瞰特征进行上采样卷积，恢复为1/2鸟瞰图大小，得到256维1/2上采样鸟瞰特征，然后使用512个大小为3*3的卷积核，步长为(1,1)，反卷积系数为2，深度为256，对256维1/2上采样鸟瞰特征进行上采样卷积，恢复为原鸟瞰图大小，得到512维RPN鸟瞰特征；

将上述512维RPN鸟瞰特征与稀疏3D卷积模块输出的512维2D鸟瞰特征图进行逐像素拼接，得到1024维鸟瞰特征图；

第二步，使用2D卷积作为回归卷积和分类卷积从第一步中得到的1024维鸟瞰特征图中得到目标识别结果，过程如下：

1)以得到的1024维鸟瞰特征图中的每个像素点为中心点生成固定大小、固定角度的物体3D边界框，不同的物体，如汽车、行人等3D边界框大小不同；

2)进行回归卷积得到3D目标框识别结果，使用7个大小为1*1的卷积核，以步长为1、深度为1024对5.1中得到的1024维鸟瞰特征图进行卷积运算，得到7维目标3D边界框偏离值，将7维目标3D边界框偏离值与1)中固定大小的物体3D边界框逐体素相加，得到7维物体3D边界框识别结果；

所述7维分别代表3D目标识别的物体三维中心点坐标、物体3D边界框长、宽、高及水平偏转角度；

3)进行分类卷积，使用Q个大小为1*1的卷积核，步长为1、深度为1024维，对第一步得到的1024维鸟瞰特征图进行卷积运算，得到物体类别识别结果，使用逻辑回归模型(Softmax)将物体类别识别结果转化为3D物体类别识别概率；

上述第二步中，Q代表需识别的物体的种类数，需进行预设，用于生成固定大小固定角度的物体3D边界预选框，如需识别车辆、行人时，种类数Q为2；

上述第二步中，固定大小的物体3D边界框包括7个参数，代表物体中心点三维坐标，物体长、宽、高及物体水平角度，其中中心点三维坐标为为1024维鸟瞰特征图中每个像素的中心点对应的实际空间坐标，物体长、宽、高及物体水平角度需预设，如车辆大小可预设为[1.6,3.9,1.56]m，水平角度为0°；

所述候选区域提取模块中，下采样卷积、上采样卷积、回归卷积和分类卷积中使用的卷积核中的参数均可被训练，可以通过现实数据集对这些参数进行训练及优化；

所述的非极大值抑制模块用于接收候选区域提取模块输出的包含有目标的3D候选区域，并根据接收到的包含有目标的3D候选区域筛选，得到最终的点云数据目标识别结果并输出给显示设备进行可视化；

对包含有目标的3D候选区域进行筛选的方法为：使用非极大值抑制(Non-MaximumSuppression，NMS)算法，对包含有目标的3D物体类别识别概率进行过滤，从3D物体类别概率中选取类别概率大于阈值的置信体素点，在置信体素点对应的7维物体3D边界框识别结果中选取可信度最高的3D边界框，防止对同一个目标物体识别结果中出现大量重叠的相似目标框，得到最终的点云数据目标识别结果；

非极大值抑制模块中，所述3D物体类别概率阈值，需进行预设，对识别概率较小的识别结果进行过滤，如设定为0.6；

上述的每次卷积操作之后，均采用归一化(Batchnorm)函数进行归一化处理和激活函数(relu)进行激活，归一化函数中momentum参数可选择0.01，exp参数可选择0.001。

所述的显示设备为液晶显示屏，进行可视化的方法为：将点云数据目标识别结果与原始点云数据结合，存储为3D点云可视化算法需要的bin二进制文件，使用PCL点云数据可视化库对目标检测结果及点云数据进行可视化；

根据点云中点的坐标距离车辆的距离标注不同颜色，同时将3D目标框的边线使用特殊颜色，如黄色进行显示；目标检测的结果，包括位置，角度，大小等信息依据传感器时间信息逐帧存储为txt文本格式，可视化时延控制在0.1s以内。

一种基于激光雷达点云数据的目标识别方法，该方法的步骤包括：

第一步，激光雷达传感器采集原始点云数据并输出给中央处理器；

第二步，中央处理器根据接收到的原始点云数据进行处理，得到点云数据目标识别结果并输出给显示设备；

第三步，显示设备对点云数据目标识别结果进行可视化。

其中，第二步中，中央处理器根据接收到的原始点云数据进行处理的步骤包括：

(1)点云体素化模块接收来自激光雷达传感器的原始点云数据，输出体素内数据给MLP模块和逐点特征提取模块，输出体素坐给MLP模块、逐点特征提取模块和稀疏3D卷积模块；

(2)MLP模块接收点云体素化模块输出的体素内数据和体素坐标，得到池化64维体素特征输出给特征融合模块；

(3)逐点特征提取模块接收点云体素化模块输出的体素内数据和体素坐标得到逐点64维体素特征，并将得到的逐点64维体素特征输出给特征融合模块；

(4)特征融合模块接收MLP模块输出的池化64维体素特征和逐点特征提取模块输出的逐点64维体素特征，最终输出128维体素特征给稀疏3D卷积模块；

(5)稀疏3D卷积模块接收点云体素化模块的输出的体素坐标和特征融合模块输出的128维体素特征，输出512维2D鸟瞰特征给候选区域提取模块；

(6)候选区域提取模块接收稀疏3D卷积模块输出的512维2D鸟瞰特征，输出包含有目标的3D候选区域给非极大值抑制模块；

(7)非极大值抑制模块接收候选区域提取模块输出的包含有目标的3D候选区域，得到最终的点云数据目标识别结果并输出给显示设备进行可视化。

有益效果:

本发明有效结合了点云目标检测方法中的基于体素和基于点的方法，改善了检测算法中感知域不足的问题，可同时对不同尺寸、不同大小的物体进行精确检测，提高了目标检测准确度和稳定性。其中MLP模块，逐点特征提取模块和特征融合模块，对检测过程中的目标局部特征与整体特征进行多层次融合，充分利用了原始点云信息，有效提高了目标检测特征提取效率。

附图说明

图1为本发明的系统组成示意图；

图2为对待识别目标物体进行类别识别和边界框识别的系统组成示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

实施例

如图1和图2所示，以车辆检测为例，在激光雷达前向21.2m，右方1.3m，高度-1.4m处有一辆障碍物车辆，障碍物车辆中心坐标为(21.2m，1.3m，-1.4m)，车辆大小为(5m，1.9m，1.8m)，车辆水平旋转角度为0°。

激光雷达传感器安装于车辆顶部，中央处理器及显示设备安装于车辆内部，以激光雷达所在中心为原点，前向距离有效范围[0m,70.4m，左右有效距离范围[-40m,40m]，高度有效范围[-3m,1m]，单位体素可容纳的最大点数16，单位体素实际尺寸为[0.4m,0.4m,0.8m]，有效空间被划分(176，200，8)的体素网格，其中非空体素个数为14000。模型识别车辆一种障碍物，车辆预设固定大小的物体3D边界框为(4.9m，2m，1.76m，0°)。

在经过激光雷达点云数据的目标识别过程中：

经过体素化模块得到维度为(14000，4，16)的体素内数据，维度为(14000，3)的体素坐标；

经过MLP模块得到维度为(14000，64)的池化64维体素特征；

经过逐点特征提取模块得到维度为(14000，64)的逐点64维体素特征；

经过特征融合模块得到维度为(14000，128)的128维体素特征；经过稀疏3D卷积模块，得到维度为(200，176，512)的512维2D鸟瞰特征；

经过候选区域提取模块得到维度为(200，176，3)的3D物体类别识别概率和维度维(200，176，7)的7维物体3D边界框偏离值。坐标为(52，102)处生成的固定大小物体3D边界框的7维参数为(21，1，-1，4.9，2，1.76，0)，7维物体3D边界框偏离值在坐标(52，102)处得到的偏移值为(0.15，0.35，-0.3，0.07，-0.12，0.08，0.01),3D物体类别识别概率为(0.89)，相加后得到的7维物体3D边界框识别结果为(21.15，1.35，-1.3，4.97，1.88，1.84，0.01)。

经过非极大值抑制模块得到的点云数据目标识别结果为(21.15，1.35，-1.3，4.97，1.88，1.84，0)，表示在距离激光雷达的传感器前向21.15m，右向1.35m，下方1.3m处，有一辆车辆障碍物，车辆大小为(4.97m，1.88m，1.84m)，水平角度为0.01°。

最后发送到显示设备中对点云数据目标识别结果进行可视化。

Claims (10)

1.一种基于激光雷达点云数据的目标识别系统，其特征在于：该目标识别系统包括激光雷达传感器、中央处理器；

其中，激光雷达传感器通过USB连接线与中央处理器相连接；

所述的激光雷达传感器通过旋转进行3D点云数据360°采集并将采集到的3D点云数据作为原始点云数据传至中央处理器；

中央处理器根据接收到的原始点云数据对待识别目标物体进行类别识别和边界框识别；

所述的中央处理器根据接收到的原始点云数据对待识别目标物体进行类别识别和边界框识别的系统包括点云体素化模块、MLP模块、逐点特征提取模块、特征融合模块、稀疏3D卷积模块、候选区域提取模块和非极大值抑制模块；

点云体素化模块用于接收来自激光雷达传感器的原始点云数据，点云体素化模块将接收到的原始点云数据转化为稀疏体素数据，转换后的稀疏体素数据采用稀疏表示法表示，采用稀疏表示法进行表示时记录空间中非空体素内的点云信息及非空体素的坐标，点云体素化模块将记录的非空体素内的点云信息以体素内数据的形式输出给MLP模块和逐点特征提取模块，点云体素化模块将记录的非空体素的坐标以体素坐标的形式输出给MLP模块、逐点特征提取模块和稀疏3D卷积模块；

MLP模块用于接收点云体素化模块输出的体素内数据和体素坐标，并根据接收到的体素内数据和体素坐标进行体素整体特征提取，得到池化64维体素特征，并将得到的池化64维体素特征输出给特征融合模块；

所述的逐点特征提取模块用于接收点云体素化模块输出的体素内数据和体素坐标，并根据接收到的体素内数据和体素坐标进行体素逐点特征提取，得到逐点64维体素特征，并将得到的逐点64维体素特征输出给特征融合模块；

所述的特征融合模块用于接收MLP模块输出的池化64维体素特征和逐点特征提取模块输出的逐点64维体素特征，在每个体素上进行逐体素的拼接融合，每个体素上得到128个特征，最终输出128维体素特征给稀疏3D卷积模块；

所述的稀疏3D卷积模块用于接收点云体素化模块的输出的体素坐标和特征融合模块输出的128维体素特征，并根据接收到的体素坐标和128维体素特征进行体素3D特征提取，输出512维2D鸟瞰特征给候选区域提取模块；

所述的候选区域提取模块用于接收稀疏3D卷积模块输出的512维2D鸟瞰特征，并根据接收到的512维2D鸟瞰特征进行2D特征提取，输出包含有目标的3D候选区域给非极大值抑制模块；

所述的非极大值抑制模块用于接收候选区域提取模块输出的包含有目标的3D候选区域，并根据接收到的包含有目标的3D候选区域筛选，得到最终的点云数据目标识别结果。

2.根据权利要求1所述的一种基于激光雷达点云数据的目标识别系统，其特征在于：

所述的目标识别系统还包括显示设备，使用显示设备进行可视化的方法为：将点云数据目标识别结果与原始点云数据结合，存储为3D点云可视化算法需要的bin二进制文件，使用PCL点云数据可视化库对目标检测结果及点云数据进行可视化。

3.根据权利要求2所述的一种基于激光雷达点云数据的目标识别系统，其特征在于：

所述的激光雷达传感器为多线机械旋转式激光雷达传感器；

其中，中央处理器通过视频数据线与显示设备连接；

中央处理器根据接收到的原始点云数据通过视频数据线发送至显示设备进行显示。

4.根据权利要求1或2所述的一种基于激光雷达点云数据的目标识别系统，其特征在于：

所述的激光雷达传感器进行点云数据采集时，采集频率为10Hz；

所述的中央处理器为工控机或者其他嵌入式设备；

所述的显示设备为液晶显示屏；

所述的待识别目标物体包括车辆、行人、自行车；

所述的视频数据线为高速USB连接线。

5.根据权利要求1所述的一种基于激光雷达点云数据的目标识别系统，其特征在于：

所述原始点云数据转化为稀疏体素数据过程中，需预设体素的有效实际范围，稀疏体素数据生成过程中舍弃超出有效实际范围的点，保证点云数据的准确性，有效实际范围为一设定值，还需预设单位体素能够容纳的最大点数。

6.根据权利要求3所述的一种基于激光雷达点云数据的目标识别系统，其特征在于：

MLP模块中，进行体素整体特征提取的方法为：

第一步，使用3*3旋转矩阵对体素内数据中的三维坐标值进行旋转变换，即将体素内数据中所有点的三维坐标值乘上3*3的旋转矩阵，得到旋转体素坐标，将旋转体素坐标与体素内数据中各点的反射强度逐体素拼接后与体素内数据中的体素一一组合，得到旋转体素数据；

第二步，将第一步得到的旋转体素数据通过多层感知算法进行特征提取，具体过程为：使用32个大小为1*4的卷积核对旋转体素数据进行卷积运算，卷积步长为(1,1)，深度为1，得到32维体素特征，再使用64个大小为1*1的卷积核对32维体素特征进行卷积运算，卷积步长为(1,1)，深度为32，得到64维体素特征；

第三步，使用最大值池化(Maxpooling)算法，池化区域大小为(1，16，1)，从第二步得到的64维体素特征中提取同一体素中所有点在某个特征维度上的最大值，作为该体素在这个特征维度上的特征值，对所有特征维度上的特征进行最大值池化，池化面积大小为体素所能容纳的最大点数，从而得到池化64维体素特征。

7.根据权利要求1所述的一种基于激光雷达点云数据的目标识别系统，其特征在于：

所述的逐点特征提取模块中进行体素逐点特征提取的方法为：

第一步，使用2D卷积对接收到的体素内数据进行逐点特征提取，即使用4个大小为1*4的卷积核对原始体素数据进行卷积运算，卷积步长为(1,1)，深度为1，得到4维体素特征，然后使用4个大小为1*1，步长为(1,1)，深度为4的卷积核对4维体素特征进行卷积运算，得到深度4维体素特征；

上述深度4维体素特征中，每个体素均包含有16个点，每个点包含4维特征，数据格式为[N,4,16]，其中N代表体素总个数，4代表每个点的特征维度，16代表每个体素中点的个数；

第二步，将第一步得到的深度4维体素特征的第二维度与第三维度合并，将每个体素包含[4,16]的特征转化为每个体素包含[64]的特征，即将体素中的所有点的特征拼接，作为新的体素特征，得到逐点64维体素特征。

8.根据权利要求2所述的一种基于激光雷达点云数据的目标识别系统，其特征在于：

所述的特征融合模块中进行体素3D特征提取的方法为：

第一步，将128维体素特征按照体素坐标排列，将体素特征与体素坐标一一对应，得到128维3D体素特征；

第二步，使用三层稀疏3D卷积算法进行特征提取，具体为：第一层中使用128个卷积核，大小为3*3*3，卷积步长为(1,1,1)，深度为128，对128维体素特征进行稀疏卷积运算，得到128维稀疏3D体素特征；第二层中使用256个卷积核，大小为3*3*3，卷积步长为(1,1,1)，深度为128，对128维稀疏3D体素特征进行稀疏卷积运算，得到256维稀疏3D体素特征；第三层中使用256个卷积核，大小为3*3*3，卷积步长为(1,1,2)，深度为256，对256维稀疏3D体素特征进行稀疏卷积运算，得到压缩256维稀疏3D体素特征；此时压缩256维稀疏3D体素特征中特征深度为256，高度维度为2；

第三步，将压缩256维稀疏3D体素特征中的深度和高度两个维度进行合并，只保留前向距离维度和左右距离维度，得到鸟瞰图平面上的512维2D鸟瞰特征。

9.根据权利要求2所述的一种基于激光雷达点云数据的目标识别系统，其特征在于：

所述的候选区域提取模块中进行2D特征提取的方法为：

第一步，使用2D卷积对稀疏3D卷积模块中得到的512维2D鸟瞰特征进行两次下采样和两次上采样：

第一次下采样使用256个大小为3*3的卷积核，步长为(2,2)，深度为512，对接收的512维2D鸟瞰特征进行卷积，使得鸟瞰特征图边长缩小2倍，大小缩小4倍，得到256维1/2鸟瞰特征；

第二次下采样使用256个大小为3*3的卷积核，步长为(2,2)，深度为256，对256维1/2鸟瞰特征进行卷积，使得鸟瞰特征图边长再次缩小2倍，大小再次缩小4倍，得到256维1/4鸟瞰特征；

接着使用2D反卷积进行上采样卷积：第一次上采样卷积使用256个大小为3*3的卷积核，步长为(1,1)，反卷积系数为2，深度为256，对256维1/4鸟瞰特征进行上采样卷积，恢复为1/2鸟瞰图大小，得到256维1/2上采样鸟瞰特征，然后使用512个大小为3*3的卷积核，步长为(1,1)，反卷积系数为2，深度为256，对256维1/2上采样鸟瞰特征进行上采样卷积，恢复为原鸟瞰图大小，得到512维RPN鸟瞰特征；

将上述512维RPN鸟瞰特征与稀疏3D卷积模块输出的512维2D鸟瞰特征图进行逐像素拼接，得到1024维鸟瞰特征图；

第二步，使用2D卷积作为回归卷积和分类卷积从第一步中得到的1024维鸟瞰特征图中得到目标识别结果，过程如下：

1)以得到的1024维鸟瞰特征图中的每个像素点为中心点生成固定大小、固定角度的物体3D边界框；

2)进行回归卷积得到3D目标框识别结果，使用7个大小为1*1的卷积核，以步长为1、深度为1024对5.1中得到的1024维鸟瞰特征图进行卷积运算，得到7维目标3D边界框偏离值，将7维目标3D边界框偏离值与1)中固定大小的物体3D边界框逐体素相加，得到7维物体3D边界框识别结果；

3)进行分类卷积，使用Q个大小为1*1的卷积核，步长为1、深度为1024维，对第一步得到的1024维鸟瞰特征图进行卷积运算，得到物体类别识别结果，使用逻辑回归模型将物体类别识别结果转化为3D物体类别识别概率；

所述的非极大值抑制模块中对包含有目标的3D候选区域进行筛选的方法为：使用非极大值抑制算法，对包含有目标的3D物体类别识别概率进行过滤，从3D物体类别概率中选取类别概率大于阈值的置信体素点，在置信体素点对应的7维物体3D边界框识别结果中选取可信度最高的3D边界框，防止对同一个目标物体识别结果中出现大量重叠的相似目标框，得到最终的点云数据目标识别结果。

10.一种使用权利要求1或2所述的系统进行基于激光雷达点云数据的目标识别方法，其特征在于该方法的步骤包括：

第一步，激光雷达传感器采集原始点云数据并输出给中央处理器；

第二步，中央处理器根据接收到的原始点云数据进行处理，得到点云数据目标识别结果并输出给显示设备；

第三步，显示设备对点云数据目标识别结果进行可视化；

其中，第二步中，中央处理器根据接收到的原始点云数据进行处理的步骤包括：

(1)点云体素化模块接收来自激光雷达传感器的原始点云数据，输出体素内数据给MLP模块和逐点特征提取模块，输出体素坐给MLP模块、逐点特征提取模块和稀疏3D卷积模块；

(2)MLP模块接收点云体素化模块输出的体素内数据和体素坐标，得到池化64维体素特征输出给特征融合模块；

(3)逐点特征提取模块接收点云体素化模块输出的体素内数据和体素坐标得到逐点64维体素特征，并将得到的逐点64维体素特征输出给特征融合模块；

(4)特征融合模块接收MLP模块输出的池化64维体素特征和逐点特征提取模块输出的逐点64维体素特征，最终输出128维体素特征给稀疏3D卷积模块；

(5)稀疏3D卷积模块接收点云体素化模块的输出的体素坐标和特征融合模块输出的128维体素特征，输出512维2D鸟瞰特征给候选区域提取模块；

(6)候选区域提取模块接收稀疏3D卷积模块输出的512维2D鸟瞰特征，输出包含有目标的3D候选区域给非极大值抑制模块；

(7)非极大值抑制模块接收候选区域提取模块输出的包含有目标的3D候选区域，得到最终的点云数据目标识别结果并输出给显示设备进行可视化。

Images