CN109711410A - 一种三维物体快速分割和识别方法、装置及系统 - Google Patents
一种三维物体快速分割和识别方法、装置及系统 Download PDFInfo
- Publication number
- CN109711410A CN109711410A CN201811386461.1A CN201811386461A CN109711410A CN 109711410 A CN109711410 A CN 109711410A CN 201811386461 A CN201811386461 A CN 201811386461A CN 109711410 A CN109711410 A CN 109711410A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- segmentation
- dimensional
- neural network
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 238000002372 labelling Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 18
- 238000003062 neural network model Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 3
- 230000001052 transient effect Effects 0.000 claims description 2
- 239000003550 marker Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 15
- 210000004027 cell Anatomy 0.000 description 42
- 210000002569 neuron Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000000644 propagated effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000013102 re-test Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供一种三维物体快速分割和识别的方法、装置及系统，该方法包括：获取激光雷达传感器收集的未知环境的三维点云数据；对三维点云数据进行阈值处理，得到非地面点集，利用非地面点集通过连通区域标记算法进行点云分割；然后进行预设特征的提取；将预设特征输入到神经网络识别模型，实现对未知环境中物体的识别。本发明实施例提供的三维物体快速分割和识别的方法、装置及系统，通过利用激光雷达传感器收集三维点云数据、连通区域标记算法进行点云分割、提取包含预设属性特征的预设特征并利用神经网络识别模型进行物体识别，保证了三维点云数据的精确、快速获取，提高了大规模点云数据的处理效率，并且实现了物体的精确识别。
Description
技术领域
本发明实施例涉及数据处理技术领域，具体涉及一种三维物体快速分割和识别方法、装置及系统。
背景技术
基于双目图像和连续视频的成像与分析技术，实现对真实环境的三维光场感知，被广泛应用在无人车和无人机的三维地形重建领域中，但由于远景图像分辨率低的问题导致地形数据的精度不高,并且其估测精度受光照和天气影响较大，尤其在地貌无特征点情况下，无法获得三维数据。
获得空间三维数据后，对三维数据进行分割进而对物体进行识别。在传统的物体分割中，基于图割原理的物体分割算法被广泛应用，该算法可实现对离散、非结构化点云数据的物体分割，但仅限于用在图像传感器处于静止的情况下，很难用于无人驾驶车辆对地形认知的应用领域中。并且，现有对三维点云数据的分割处理中，是直接针对三维点云数据进行分割，处理速度较慢，影响了实时性。
在对分割后的三维数据进行物体识别的过程，传统的分类算法中，主成分分析算法是通过计算每个物体三维点云的特征向量及特征值，通过对比三个主要方向的特征值的相对大小来将物体划分为平面、柱状、散点三种类型的物体。该方法虽然具有一定程度的分类效果，但是无法判定出不同物体具体的属性分类。
发明内容
为解决现有技术中无法通过获取三维点云实现有效、快速的物体识别的问题，本发明实施例提供一种三维物体快速分割和识别的方法、装置及系统。
第一方面，本发明实施例提供一种三维物体快速分割和识别方法，该方法包括：获取激光雷达传感器收集的未知环境的三维点云数据；对所述三维点云数据进行阈值处理，得到非地面点集，利用所述非地面点集通过连通区域标记算法进行点云分割；对分割后的点云数据进行预设特征的提取，所述预设特征包括预设属性特征及三个坐标轴方向的特征值；将所述预设特征输入到神经网络识别模型，实现对所述未知环境中物体的识别。
第二方面，本发明实施例提供一种三维物体快速分割和识别装置，该装置包括：点云获取模块，用于获取激光雷达传感器收集的未知环境的三维点云数据；点云分割模块，用于对所述三维点云数据进行阈值处理，得到非地面点集，利用所述非地面点集通过连通区域标记算法进行点云分割；特征提取模块，用于对分割后的点云数据进行预设特征的提取，所述预设特征包括预设属性特征及三个坐标轴方向的特征值；物体识别模块，用于将所述预设特征输入到神经网络识别模型，实现对所述未知环境中物体的识别。
第三方面，本发明实施例提供一种三维物体快速分割和识别系统，该系统包括：GPU处理器、激光雷达传感器及无人地面车辆；所述激光雷达传感器用于收集未知环境的三维点云数据；所述GPU处理器用于：对所述三维点云数据进行阈值处理，得到非地面点集，利用所述非地面点集通过连通区域标记算法进行点云分割；对分割后的点云数据进行预设特征的提取，所述预设特征包括预设属性特征及三个坐标轴方向的特征值；将所述预设特征输入到神经网络识别模型，实现对所述未知环境中物体的识别；并将物体的识别结果发送给所述无人地面车辆；所述无人地面车辆用于接收所述GPU处理器发送的所述物体的识别结果。
第四方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第五方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的三维物体快速分割和识别的方法、装置及系统，通过利用激光雷达传感器收集三维点云数据，通过利用连通区域标记算法进行点云分割，通过提取包含预设属性特征的预设特征并利用神经网络识别模型进行物体识别，保证了三维点云数据的精确、快速获取，提高了大规模点云数据的处理效率，并且实现了物体的精确识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的三维物体快速分割和识别方法流程图；
图2是本发明实施所提供的三维物体快速分割和识别方法中所采用的BP神经网络的结构示意图；
图3是本发明实施例提供的三维物体快速分割和识别装置结构示意图；
图4是本发明实施例提供的三维物体快速分割和识别系统结构示意图；
图5是本发明实施例提供的三维物体快速分割和识别系统的CPU-GPU时序图；
图6是本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的三维物体快速分割和识别方法流程图。如图1所示，所述方法包括：
步骤101、获取激光雷达传感器收集的未知环境的三维点云数据；
高精度的激光雷达传感器用于获得未知环境的三维点云数据，具有速度快、精度高、距离远等优点。高精度的激光雷达传感器可以获取高精度、高密度的地形表面3D坐标信息，有效探测范围高达100米。因此，三维物体快速分割和识别装置通过激光雷达传感器获取未知环境的三维点云数据。
步骤102、对所述三维点云数据进行阈值处理，得到非地面点集，利用所述非地面点集通过连通区域标记算法进行点云分割；
因为道路环境中，地表具有唯一高度且占大多数的特点，将所述三维点云数据投影在y轴后，基于y轴的投影数量直方图估算地表高度，然后以地表高度作为高度阈值获取非地面点集。比如，将高度值大于高度阈值的点集所为非地面点集。
利用所述非地面点集通过连通区域标记算法进行点云分割，可以实现动态传感器(激光雷达传感器)获取的点云数据的分割。
步骤103、对分割后的点云数据进行预设特征的提取，所述预设特征包括预设属性特征及三个坐标轴方向的特征值；
对分割后的点云数据进行预设特征的提取，所述预设特征包括预设属性特征及三个坐标轴方向的特征值。所述预设属性特征是指与物体属性相关的特征，可以表示物体的个性特点；所述三个坐标轴方向的特征值可以为x轴、y轴、z轴三个方向的特征值。
步骤104、将所述预设特征输入到神经网络识别模型，实现对所述未知环境中物体的识别。
将所述预设特征输入到训练好的神经网络识别模型，根据预测分类结果实现所述未知环境中物体的识别，并可以识别出物体的具体类别。
本发明实施例通过利用激光雷达传感器收集三维点云数据，通过连通区域标记算法进行点云分割，通过提取包含预设属性特征的预设特征并利用神经网络识别模型进行物体识别，保证了三维点云数据的精确、快速获取，提高了大规模点云数据的处理效率，并且实现了物体的精确识别。
进一步地，基于上述实施例，所述通过连通区域标记算法进行点云分割，具体包括：
将所述非地面点集投影到二维平面并栅格化，以及创建索引图；所述索引图的单元格与栅格化直方图的单元格一一对应；
由于三维点云数据处理速度较慢，因此，将所述非地面点集投影到二维平面得到二维点云，对二维点云进行处理，可以极大提高处理速度。具体投影到哪个二维平面，可以进行选择。对投影到二维平面的非地面点进行栅格化处理，可以得到栅格化直方图。通过栅格化直方图可以获知每个栅格的点云分布。
根据映射得到栅格的单元数，创建索引图，所述索引图的单元数与栅格的单元数相同，且所述索引图的单元格与栅格化直方图的单元格一一对应。所述索引图可以通过复制栅格得到。初始化所述索引图的索引值；根据所述栅格化直方图的单元格是否具有映射点，将所述索引图中对应的单元格中的所述索引值保留或置空。
初始化所述索引图的索引值，比如若有300个栅格，则可以按顺序分别赋予索引值为0～299。另外，根据所述栅格化直方图的单元格是否具有映射点，更新所述索引图中的索引值。若所述栅格化直方图的单元格具有映射点，则索引图相应单元的索引值保留，否则置空。
另外，还可以通过复制栅格得到二值图，并根据对应栅格化直方图是否具有映射点对二值图进行赋值。比如，若栅格化直方图的单元格有映射点，则二值图中相应的单元格赋值1，否则，赋值0。然后，可根据二值图更新所述索引图。根据所述二值图中的单元格是否有值，将所述索引图中对应的单元格中的所述索引值保留或置空。
所述索引图中的每个单元格，通过不断对比自身与相邻单元格的索引值的大小，利用相邻单元格中的最小索引值更新自身的索引值；通过多次迭代，直至索引图不再发生变化；
所述索引图中的每个单元格，若周围没有相邻的单元格，则不进行索引值的比较，单元格的索引值不变。若单元格周围存在相邻的单元格，则将自身的索引值更新为相邻单元格中最小的索引值。通过多次迭代计算，直至索引图不再发生变化，停止迭代，得到最后的索引图。
对投影到所述二维平面的非地面点集进行逆映射，将具有相同索引值的单元格对应的点云划分至同一物体，从而实现点云分割。
对投影到所述二维平面的非地面点集进行逆映射，得到空间点云。根据最后得到所述索引图，将具有相同索引值的单元格对应的点云划分至同一物体，从而实现点云分割。其中，所述相同索引值可以作为相应物体的点云的点标签。
在上述实施例的基础上，本发明实施例通过将三维点云数据映射到二维平面，并通过栅格化及获取索引图利用连通区域标记算法进行点云分割，进一步提高了点云处理的效率。
进一步地，基于上述实施例，所述二维平面为x-z平面。
将所述非地面点集投影到二维平面并栅格化，所述二维平面为x-z平面。由于一般y轴作为高度相关的轴，而垂直于高度方向的投影信息更能反映物体特征，所以可以将所述非地面点集投影到x-z平面，以进一步进行处理进行点云分割。
在上述实施例的基础上，本发明实施例通过将非地面点集投影到x-z平面，提高了点云分割的精确度。
进一步地，基于上述实施例，所述预设属性特征包括体积特征和密度特征；所述体积特征根据物体的长度、宽度及高度得到；所述密度特征根据物体点云的总数及物体点云在所述二维平面的投影所包含的有效栅格数得到。
所述预设属性特征包括体积特征和密度特征。所述体积特征根据物体的长度、宽度及高度得到，所述体积特征可以为物体的长度、宽度及高度之积。具体地，所述体积特征可以为物体的点云所处的长度、宽度及高度之积。
所述密度特征根据物体点云的总数及物体点云在所述二维平面的投影所包含的有效栅格数得到。其中，所述有效栅格数是指具有映射点的栅格的数量。所述物体点云在所述二维平面的投影所包含的有效栅格数是指物体点云投影到二维平面上的栅格中具有映射点的栅格数量。所述密度特征可以为物体点云的总数与物体点云在所述二维平面的投影所包含的有效栅格数之商。
物体在x，y，z三个方向的三个特征值可通过分解点云的协方差矩阵获得。在三维点云数据中，矩阵X用来存储所有样本点的坐标信息(x,y,z)，且矩阵X由n行和m列组成，其中m是物体中三维点云的数量，n是数据的维数(三维)。首先，为了简化特征值的计算，需要对矩阵X进行归一化得到矩阵X′，然后经过公式(1)的计算得到三维变量x、y、z的协方差矩阵H。
其中，X′T是X′的转置。
对协方差矩阵H进行特征分解可以获得x，y，z三个方向的三对特征值和特征向量，这三个主要方向的特征值或特征向量大致描述了物体在空间中的点分布，在物体的识别中具有重要作用。
在上述实施例的基础上，本发明实施例通过使得预设属性特征包括体积特征和密度特征，提高了物体识别的精确度。
进一步地，基于上述实施例，所述神经网络识别模型为BP神经网络模型。
本发明实施例中使用BP神经网络来实现物体的识别，并使用在特征提取步骤中获得的五种物体特征，即物体的体积、密度以及三个主要方向的特征值，来识别不同的物体类型。
图2是本发明实施所提供的三维物体快速分割和识别方法中所采用的BP神经网络的结构示意图。如图2所示，所述BP神经网络模型可以设置为三层，分别为输入层、从上到下依次为：以物体的五种特征(体积、密度、x方向特征值、y方向特征值及z方向特征值)为输入的输入层，隐藏层，以及以五种物体类型(墙体、柱子、行人、乔木、灌木)为输出的输出层，其中，隐藏层的神经元数目可以设置为20个或为其他合理数目。
在上述实施例的基础上，本发明实施例通过采用BP神经网络模型进行物体识别，进一步提高了识别精度。
进一步地，基于上述实施例，所述BP神经网络模型的训练过程包括前馈传播训练过程及反向传播训练过程。
对建立的BP神经网络模型进行训练，训练好后才能用于物体识别。所述BP神经网络模型的训练过程包括前馈传播训练过程及反向传播训练过程。
通过前馈传播训练过程(即将输入信号从输入层输入，然后通过隐层计算，最后从输出层输出)对BP神经网络模型进行训练。对于隐藏层和输入层的每个神经元，通过利用激活函数得到该神经元的输出，表示如下：
其中，x′表示激活函数的输入值；xi表示与该神经元所连接的上一层的第i个神经元；wi表示神经元xi与该神经元连接的权重值；b表示神经元xi与该神经元连接的偏置；Y′表示该神经元的输出，n表示上一层神经元的个数。
在前馈传播训练过程中，设定每个输出神经元的标签进行训练；根据每个神经元的输出，通过比较所有输出层神经元的输出值(预测值)Y′和标签(真实值)的误差，得到均方误差，表示如下：
然后，利用反向传播训练过程，通过反向迭代修改模型的权重和偏差参数来最小化误差。在对权重和偏移量进行优化后，完成BP神经网络模型的训练。
另外还可利用手动为物体加标签的方式，对这个BPNN模型进行重复测试，以提高识别精度。
表1显示了BP神经网络模型对不同对象类型的识别性能。
表1
| 不同物体类别 | 准确率 |
| 墙体 | 0.884615385 |
| 柱子 | 0.904761905 |
| 行人 | 0.875 |
| 乔木 | 0.941176471 |
| 灌木 | 0.911764706 |
在上述实施例的基础上，本发明实施例通过将前馈传播训练和反向传播训练相结合，对BP神经网络模型进行训练，进一步保证了物体的识别精度。
图3是本发明实施例提供的三维物体快速分割和识别装置结构示意图。如图3所示，所述装置包括点云获取模块10、点云分割模块20、特征提取模块30及物体识别模块40，其中：
点云获取模块10用于获取激光雷达传感器收集的未知环境的三维点云数据；三点云获取模块10通过激光雷达传感器获取未知环境的三维点云数据。
点云分割模块20用于对所述三维点云数据进行阈值处理，得到非地面点集，利用所述非地面点集通过连通区域标记算法进行点云分割；
点云分割模块20可以将所述三维点云数据投影在y轴后，基于y轴的投影数量直方图估算地表高度，然后以地表高度作为高度阈值获取非地面点集。点云分割模块20利用所述非地面点集通过连通区域标记算法进行点云分割，可以实现动态传感器获取的点云数据的分割。
特征提取模块30用于对分割后的点云数据进行预设特征的提取，所述预设特征包括预设属性特征及三个坐标轴方向的特征值；
特征提取模块30对分割后的点云数据进行预设特征的提取，所述预设特征包括预设属性特征及三个坐标轴方向的特征值。所述预设属性特征是指与物体属性相关的特征；所述三个坐标轴方向的特征值可以为x轴、y轴、z轴三个方向的特征值。
物体识别模块40用于将所述预设特征输入到神经网络识别模型，实现对所述未知环境中物体的识别。
物体识别模块40将所述预设特征输入到训练好的神经网络识别模型，根据预测分类结果实现所述未知环境中物体的识别。
本发明实施例通过利用激光雷达传感器收集三维点云数据，通过利用连通区域标记算法进行点云分割，通过提取包含预设属性特征的预设特征并利用神经网络识别模型进行物体识别，保证了三维点云数据的精确、快速获取，提高了大规模点云数据的处理效率，并且实现了物体的精确识别。
进一步地，基于上述实施例，所述点云分割模块20在用于通过连通区域标记算法进行点云分割时，具体用于：将所述非地面点集投影到二维平面并栅格化，以及创建索引图；所述索引图的单元格与栅格化直方图的单元格一一对应；初始化所述索引图的索引值；根据所述栅格化直方图的单元格是否具有映射点，将所述索引图中对应的单元格中的所述索引值保留或置空；所述索引图中的每个单元格，通过不断对比自身与相邻单元格的索引值的大小，利用相邻单元格中的最小索引值更新自身的索引值；通过多次迭代，直至索引图不再发生变化；对投影到所述二维平面的非地面点集进行逆映射，将具有相同索引值的单元格对应的点云划分至同一物体，从而实现点云分割。
点云分割模块20对投影到二维平面的非地面点进行栅格化处理，可以得到栅格化直方图。根据映射得到栅格的单元数，创建索引图，所述索引图的单元数与栅格的单元数相同，且所述索引图的单元格与栅格化直方图的单元格一一对应。初始化所述索引图的索引值；根据所述栅格化直方图的单元格是否具有映射点，将所述索引图中对应的单元格中的所述索引值保留或置空。所述索引图中的每个单元格，通过不断对比自身与相邻单元格的索引值的大小，利用相邻单元格中的最小索引值更新自身的索引值；若周围没有相邻的单元格，则不进行索引值的比较，单元格的索引值不变。通过多次迭代计算，直至索引图不再发生变化，停止迭代，得到最后的索引图。对投影到所述二维平面的非地面点集进行逆映射，得到空间点云。根据最后得到所述索引图，将具有相同索引值的单元格对应的点云划分至同一物体，从而实现点云分割。
在上述实施例的基础上，本发明实施例通过将三维点云数据映射到二维平面，并通过栅格化及获取索引图利用连通区域标记算法进行点云分割，进一步提高了点云处理的效率。
进一步地，基于上述实施例，所述二维平面为x-z平面。
x-z平面上的投影的点云更能反映物体特征，所以可以将所述非地面点集投影到x-z平面，以进一步进行处理进行点云分割。
在上述实施例的基础上，本发明实施例通过将非地面点集投影到x-z平面，提高了点云分割的精确度。
进一步地，基于上述实施例，所述预设属性特征包括体积特征和密度特征；所述体积特征根据物体的长度、宽度及高度得到；所述密度特征根据物体点云的总数及物体点云在所述二维平面的投影所包含的有效栅格数得到。
所述预设属性特征包括体积特征和密度特征。所述体积特征可以为物体的长度、宽度及高度之积。所述密度特征可以为物体点云的总数与物体点云在所述二维平面的投影所包含的有效栅格数之商。
在上述实施例的基础上，本发明实施例通过使得预设属性特征包括体积特征和密度特征，提高了物体识别的精确度。
进一步地，基于上述实施例，所述神经网络识别模型为BP神经网络模型。
在上述实施例的基础上，本发明实施例通过采用BP神经网络模型进行物体识别，进一步提高了识别精度。
进一步地，基于上述实施例，所述装置还包括训练模块，所述训练模块用于通过前馈传播及反向传播训练所述BP神经网络模型。
通过前馈传播及反向传播训练相结合，将BP神经网络模型的预测误差降至最低，有效保证了神经网络模型的预测精度。
在上述实施例的基础上，本发明实施例通过将前馈传播训练和反向传播训练相结合，对BP神经网络模型进行训练，进一步保证了物体的识别精度。
本发明实施例提供的装置是用于上述方法的，具体功能可参照上述方法流程，此处不再赘述。
图4是本发明实施例提供的三维物体快速分割和识别系统结构示意图。如图4所示，所述系统包括：GPU处理器1、激光雷达传感器2及无人地面车辆3；所述激光雷达传感器2用于收集未知环境的三维点云数据；所述GPU处理器1用于：对所述三维点云数据进行阈值处理，得到非地面点集，利用所述非地面点集通过连通区域标记算法进行点云分割；对分割后的点云数据进行预设特征的提取，所述预设特征包括预设属性特征及三个坐标轴方向的特征值；将所述预设特征输入到神经网络识别模型，实现对所述未知环境中物体的识别；并将物体的识别结果发送给所述无人地面车辆；所述无人地面车辆3用于接收所述GPU处理器发送的所述物体的识别结果。
通过高精度的激光雷达传感器可以获取高精度、高密度的地形表面3D坐标信息,有效探测范围高达100米，每秒扫描得到的坐标点可达几十万个。伴随着无人地面车辆的不断前进，在海量点云不断载入的情况下，传统的CPU计算方法运算速度较慢，不能满足无人地面车辆的实时决策需求。在三维场景中物体进行分割与识别过程中，也需要进行大量的迭代运算，如果速度不够快，将严重影响运行中的目标分割和识别速度，以及移动机器人在未知环境中工作的效率。
本发明实施例可基于CUDA(一种由NVIDIA推出的通用并行计算架构)的GPU编程方法对点云进行并行计算处理，能够满足大规模数据集实时处理的需求，解决了传统物体分割算法中受限于CPU运算性能的问题；采用机器学习算法基于预设特征对物体进行分类，以解决传统物体分类算法中无法判定出不同物体具体的属性分类的问题。另外本发明实施例通过激光雷达传感器收集周围环境的三维点云数据，可为多种智能设备提供高精度的环境信息，具有速度快、精度高、距离远等优点，能够很好地应用于三维物体的分割和识别中；具有较强的通用性和可移植性，可适用于无人地面车辆路径规划、智能测量、机器人视觉、三维建模等应用中。
图5是本发明实施例提供的三维物体快速分割和识别系统的CPU-GPU时序图。如图5所示，激光雷达传感器获取的未知环境的三维点云数据首先存储到CPU内存，然后通过阈值分割分为地面点和非地面点；将非地面点复制到GPU中，以进一步用于点云分割处理；对复制到GPU中的非地面点，进行点云映射栅格化处理，即映射到二维平面并栅格化，产生栅格化直方图；可以进行过滤噪声等预处理。创建并初始化索引图，所述索引图的单元格和栅格化直方图的单元格一一对应。所述索引图中的每个单元格，通过不断对比自身与相邻单元格的索引值的大小，利用相邻单元格中的最小索引值更新自身的索引值；通过多次迭代，直至索引图不再发生变化。对投影到所述二维平面的非地面点集进行逆映射(反向映射)，将具有相同索引值的单元格对应的点云划分至同一物体，从而实现点云分割。所述相同索引值可以作为同一物体的点云的点标签。点标签可以复制到CPU中进行备份。
通过traverse遍历点标签，提取不同点标签对应的物体点云，然后进行预设的物体特征的提取，比如所述物体特征可以为体积、密度及三个坐标轴方向的特征值；然后将得到物体特征输入到神经网络实现物体识别。
本发明实施例通过利用激光雷达传感器收集三维点云数据，通过利用连通区域标记算法进行点云分割，通过提取包含预设属性特征的预设特征并利用神经网络识别模型进行物体识别，保证了三维点云数据的精确、快速获取，提高了大规模点云数据的处理效率，并且实现了物体的精确识别。
本发明实施例提供的系统是用于上述方法的，具体功能可参照上述方法流程，此处不再赘述。
图6是本发明实施例提供的电子设备的实体结构示意图。如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行如下方法：获取激光雷达传感器收集的未知环境的三维点云数据；对所述三维点云数据进行阈值处理，得到非地面点集，利用所述非地面点集通过连通区域标记算法进行点云分割；对分割后的点云数据进行预设特征的提取，所述预设特征包括预设属性特征及三个坐标轴方向的特征值；将所述预设特征输入到神经网络识别模型，实现对所述未知环境中物体的识别。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种三维物体快速分割和识别方法，其特征在于，包括：
获取激光雷达传感器收集的未知环境的三维点云数据；
对所述三维点云数据进行阈值处理，得到非地面点集，利用所述非地面点集通过连通区域标记算法进行点云分割；
对分割后的点云数据进行预设特征的提取，所述预设特征包括预设属性特征及三个坐标轴方向的特征值；
将所述预设特征输入到神经网络识别模型，实现对所述未知环境中物体的识别。
2.根据权利要求1所述的方法，其特征在于，所述通过连通区域标记算法进行点云分割，具体包括：
将所述非地面点集投影到二维平面并栅格化，以及创建索引图；所述索引图的单元格与栅格化直方图的单元格一一对应；
初始化所述索引图的索引值；根据所述栅格化直方图的单元格是否具有映射点，将所述索引图中对应的单元格中的所述索引值保留或置空；
所述索引图中的每个单元格，通过不断对比自身与相邻单元格的索引值的大小，利用相邻单元格中的最小索引值更新自身的索引值；通过多次迭代，直至索引图不再发生变化；
对投影到所述二维平面的非地面点集进行逆映射，将具有相同索引值的单元格对应的点云划分至同一物体，从而实现点云分割。
3.根据权利要求2所述的方法，其特征在于，所述二维平面为x-z平面。
4.根据权利要求2所述的方法，其特征在于，所述预设属性特征包括体积特征和密度特征；
所述体积特征根据物体的长度、宽度及高度得到；
所述密度特征根据物体点云的总数及物体点云在所述二维平面的投影所包含的有效栅格数得到。
5.根据权利要求1所述的方法，其特征在于，所述神经网络识别模型为BP神经网络模型。
6.根据权利要求5所述的方法，其特征在于，所述BP神经网络模型的训练过程包括前馈传播训练过程及反向传播训练过程。
7.一种三维物体快速分割和识别装置，其特征在于，包括：
点云获取模块，用于获取激光雷达传感器收集的未知环境的三维点云数据；
点云分割模块，用于对所述三维点云数据进行阈值处理，得到非地面点集，利用所述非地面点集通过连通区域标记算法进行点云分割；
特征提取模块，用于对分割后的点云数据进行预设特征的提取，所述预设特征包括预设属性特征及三个坐标轴方向的特征值；
物体识别模块，用于将所述预设特征输入到神经网络识别模型，实现对所述未知环境中物体的识别。
8.一种三维物体快速分割和识别系统，其特征在于，包括：
GPU处理器、激光雷达传感器及无人地面车辆；
所述激光雷达传感器用于收集未知环境的三维点云数据；
所述GPU处理器用于：对所述三维点云数据进行阈值处理，得到非地面点集，利用所述非地面点集通过连通区域标记算法进行点云分割；对分割后的点云数据进行预设特征的提取，所述预设特征包括预设属性特征及三个坐标轴方向的特征值；将所述预设特征输入到神经网络识别模型，实现对所述未知环境中物体的识别；并将物体的识别结果发送给所述无人地面车辆；
所述无人地面车辆用于接收所述GPU处理器发送的所述物体的识别结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811386461.1A CN109711410A (zh) | 2018-11-20 | 2018-11-20 | 一种三维物体快速分割和识别方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811386461.1A CN109711410A (zh) | 2018-11-20 | 2018-11-20 | 一种三维物体快速分割和识别方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109711410A true CN109711410A (zh) | 2019-05-03 |
Family
ID=66254265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811386461.1A Pending CN109711410A (zh) | 2018-11-20 | 2018-11-20 | 一种三维物体快速分割和识别方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109711410A (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110346808A (zh) * | 2019-07-15 | 2019-10-18 | 上海点积实业有限公司 | 一种激光雷达的点云数据处理方法和系统 |
| CN110544308A (zh) * | 2019-08-29 | 2019-12-06 | 中国南方电网有限责任公司 | 变电站建模方法、装置、计算机设备和存储介质 |
| CN110807439A (zh) * | 2019-11-12 | 2020-02-18 | 银河水滴科技（北京）有限公司 | 检测障碍物的方法及装置 |
| CN110866945A (zh) * | 2019-11-13 | 2020-03-06 | 镜城科技(杭州)有限公司 | 一种倾斜摄影模型自动识别生成三维树的方法 |
| CN110991229A (zh) * | 2019-10-24 | 2020-04-10 | 中山大学 | 基于dsp芯片与量化模型的三维物体识别方法 |
| CN111113424A (zh) * | 2019-12-31 | 2020-05-08 | 芜湖哈特机器人产业技术研究院有限公司 | 一种基于三维视觉的机器人离线编程系统 |
| CN111145187A (zh) * | 2019-12-23 | 2020-05-12 | 北方工业大学 | 基于霍夫空间的物体识别方法、系统、设备及存储介质 |
| CN111145182A (zh) * | 2019-12-30 | 2020-05-12 | 芜湖哈特机器人产业技术研究院有限公司 | 一种视觉定位三维点云分割方法 |
| CN111160198A (zh) * | 2019-12-23 | 2020-05-15 | 北方工业大学 | 基于宽度学习的物体识别方法及系统 |
| CN111652060A (zh) * | 2020-04-27 | 2020-09-11 | 宁波吉利汽车研究开发有限公司 | 一种基于激光雷达的限高预警方法、装置、电子设备及存储介质 |
| CN111860321A (zh) * | 2020-07-20 | 2020-10-30 | 浙江光珀智能科技有限公司 | 一种障碍物识别方法及系统 |
| CN112199991A (zh) * | 2020-08-27 | 2021-01-08 | 广州中国科学院软件应用技术研究所 | 一种应用于车路协同路侧感知的仿真点云滤波方法和系统 |
| CN112287939A (zh) * | 2020-10-29 | 2021-01-29 | 平安科技（深圳）有限公司 | 三维点云语义分割方法、装置、设备及介质 |
| CN112396067A (zh) * | 2021-01-19 | 2021-02-23 | 苏州挚途科技有限公司 | 点云数据采样方法、装置及电子设备 |
| CN112651986A (zh) * | 2020-12-25 | 2021-04-13 | 北方工业大学 | 环境识别方法、识别装置、识别系统、电子设备及介质 |
| CN113064387A (zh) * | 2021-02-22 | 2021-07-02 | 同济大学 | 一种基于动态派工的半导体制造方法及系统 |
| CN113219446A (zh) * | 2021-04-30 | 2021-08-06 | 森思泰克河北科技有限公司 | 车内雷达占位识别方法、装置及车载雷达 |
| CN113240788A (zh) * | 2020-07-08 | 2021-08-10 | 北京智拓视界科技有限责任公司 | 三维数据的传输和接收方法、设备和计算机可读存储介质 |
| CN113640826A (zh) * | 2021-08-11 | 2021-11-12 | 山东大学 | 一种基于3d激光点云的障碍物识别方法及系统 |
| CN114937206A (zh) * | 2022-06-15 | 2022-08-23 | 西安电子科技大学 | 基于迁移学习和语义分割的高光谱图像目标检测方法 |
| CN115136202A (zh) * | 2020-02-27 | 2022-09-30 | 苹果公司 | 点云集群的语义标注 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106324581A (zh) * | 2016-08-25 | 2017-01-11 | 辽宁工程技术大学 | 一种基于体元的机载lidar建筑物检测方法 |
| CN108074232A (zh) * | 2017-12-18 | 2018-05-25 | 辽宁工程技术大学 | 一种基于体元分割的机载lidar建筑物检测方法 |
-
2018
- 2018-11-20 CN CN201811386461.1A patent/CN109711410A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106324581A (zh) * | 2016-08-25 | 2017-01-11 | 辽宁工程技术大学 | 一种基于体元的机载lidar建筑物检测方法 |
| CN108074232A (zh) * | 2017-12-18 | 2018-05-25 | 辽宁工程技术大学 | 一种基于体元分割的机载lidar建筑物检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| WEI SONG 等: "A 3D localisation method in indoor environments for virtual reality applications", 《SPRING》 * |
| WEI SONG 等: "Classifying 3D objects in LiDAR point clouds with a back-propafation neural network", 《SPRING》 * |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110346808A (zh) * | 2019-07-15 | 2019-10-18 | 上海点积实业有限公司 | 一种激光雷达的点云数据处理方法和系统 |
| CN110544308A (zh) * | 2019-08-29 | 2019-12-06 | 中国南方电网有限责任公司 | 变电站建模方法、装置、计算机设备和存储介质 |
| CN110544308B (zh) * | 2019-08-29 | 2023-03-21 | 中国南方电网有限责任公司 | 变电站建模方法、装置、计算机设备和存储介质 |
| CN110991229A (zh) * | 2019-10-24 | 2020-04-10 | 中山大学 | 基于dsp芯片与量化模型的三维物体识别方法 |
| CN110991229B (zh) * | 2019-10-24 | 2023-04-28 | 中山大学 | 基于dsp芯片与量化模型的三维物体识别方法 |
| CN110807439A (zh) * | 2019-11-12 | 2020-02-18 | 银河水滴科技（北京）有限公司 | 检测障碍物的方法及装置 |
| CN110866945A (zh) * | 2019-11-13 | 2020-03-06 | 镜城科技(杭州)有限公司 | 一种倾斜摄影模型自动识别生成三维树的方法 |
| CN111160198A (zh) * | 2019-12-23 | 2020-05-15 | 北方工业大学 | 基于宽度学习的物体识别方法及系统 |
| CN111145187B (zh) * | 2019-12-23 | 2023-10-17 | 北方工业大学 | 基于霍夫空间的物体识别方法、系统、设备及存储介质 |
| CN111145187A (zh) * | 2019-12-23 | 2020-05-12 | 北方工业大学 | 基于霍夫空间的物体识别方法、系统、设备及存储介质 |
| CN111145182B (zh) * | 2019-12-30 | 2022-05-27 | 芜湖哈特机器人产业技术研究院有限公司 | 一种视觉定位三维点云分割方法 |
| CN111145182A (zh) * | 2019-12-30 | 2020-05-12 | 芜湖哈特机器人产业技术研究院有限公司 | 一种视觉定位三维点云分割方法 |
| CN111113424A (zh) * | 2019-12-31 | 2020-05-08 | 芜湖哈特机器人产业技术研究院有限公司 | 一种基于三维视觉的机器人离线编程系统 |
| US12026962B2 (en) | 2020-02-27 | 2024-07-02 | Apple Inc. | Semantic labeling of point cloud clusters |
| CN115136202A (zh) * | 2020-02-27 | 2022-09-30 | 苹果公司 | 点云集群的语义标注 |
| CN111652060B (zh) * | 2020-04-27 | 2024-04-19 | 宁波吉利汽车研究开发有限公司 | 一种基于激光雷达的限高预警方法、装置、电子设备及存储介质 |
| CN111652060A (zh) * | 2020-04-27 | 2020-09-11 | 宁波吉利汽车研究开发有限公司 | 一种基于激光雷达的限高预警方法、装置、电子设备及存储介质 |
| CN113240788A (zh) * | 2020-07-08 | 2021-08-10 | 北京智拓视界科技有限责任公司 | 三维数据的传输和接收方法、设备和计算机可读存储介质 |
| CN111860321B (zh) * | 2020-07-20 | 2023-12-22 | 浙江光珀智能科技有限公司 | 一种障碍物识别方法及系统 |
| CN111860321A (zh) * | 2020-07-20 | 2020-10-30 | 浙江光珀智能科技有限公司 | 一种障碍物识别方法及系统 |
| CN112199991A (zh) * | 2020-08-27 | 2021-01-08 | 广州中国科学院软件应用技术研究所 | 一种应用于车路协同路侧感知的仿真点云滤波方法和系统 |
| CN112199991B (zh) * | 2020-08-27 | 2024-04-30 | 广州中国科学院软件应用技术研究所 | 一种应用于车路协同路侧感知的仿真点云滤波方法和系统 |
| CN112287939B (zh) * | 2020-10-29 | 2024-05-31 | 平安科技（深圳）有限公司 | 三维点云语义分割方法、装置、设备及介质 |
| CN112287939A (zh) * | 2020-10-29 | 2021-01-29 | 平安科技（深圳）有限公司 | 三维点云语义分割方法、装置、设备及介质 |
| CN112651986B (zh) * | 2020-12-25 | 2024-05-24 | 北方工业大学 | 环境识别方法、识别装置、识别系统、电子设备及介质 |
| CN112651986A (zh) * | 2020-12-25 | 2021-04-13 | 北方工业大学 | 环境识别方法、识别装置、识别系统、电子设备及介质 |
| CN112396067A (zh) * | 2021-01-19 | 2021-02-23 | 苏州挚途科技有限公司 | 点云数据采样方法、装置及电子设备 |
| CN113064387A (zh) * | 2021-02-22 | 2021-07-02 | 同济大学 | 一种基于动态派工的半导体制造方法及系统 |
| WO2022228150A1 (zh) * | 2021-04-30 | 2022-11-03 | 森思泰克河北科技有限公司 | 车内雷达占位识别方法、装置及车载雷达 |
| CN113219446A (zh) * | 2021-04-30 | 2021-08-06 | 森思泰克河北科技有限公司 | 车内雷达占位识别方法、装置及车载雷达 |
| CN113640826B (zh) * | 2021-08-11 | 2023-10-20 | 山东大学 | 一种基于3d激光点云的障碍物识别方法及系统 |
| CN113640826A (zh) * | 2021-08-11 | 2021-11-12 | 山东大学 | 一种基于3d激光点云的障碍物识别方法及系统 |
| CN114937206A (zh) * | 2022-06-15 | 2022-08-23 | 西安电子科技大学 | 基于迁移学习和语义分割的高光谱图像目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109711410A (zh) | 一种三维物体快速分割和识别方法、装置及系统 | |
| Huang et al. | Point cloud labeling using 3d convolutional neural network | |
| CN109829399B (zh) | 一种基于深度学习的车载道路场景点云自动分类方法 | |
| Engelmann et al. | Know what your neighbors do: 3D semantic segmentation of point clouds | |
| CN111402227B (zh) | 一种桥梁裂缝检测方法 | |
| CN110135227B (zh) | 一种基于机器学习的激光点云室外场景自动分割方法 | |
| CN104866868A (zh) | 基于深度神经网络的金属币识别方法和装置 | |
| CN110569926B (zh) | 一种基于局部边缘特征增强的点云分类方法 | |
| CN113484875B (zh) | 一种基于混合高斯排序的激光雷达点云目标分级识别方法 | |
| KR20200027888A (ko) | 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
| EP4174792A1 (en) | Method for scene understanding and semantic analysis of objects | |
| CN108399424A (zh) | 一种点云分类方法、智能终端及存储介质 | |
| CN110222767A (zh) | 基于嵌套神经网络和栅格地图的三维点云分类方法 | |
| Kumar et al. | A multi-faceted CNN architecture for automatic classification of mobile LiDAR data and an algorithm to reproduce point cloud samples for enhanced training | |
| KR20230171966A (ko) | 이미지 프로세싱 방법 및 장치 및 컴퓨터 판독 가능 저장 매체 | |
| CN114120067A (zh) | 一种物体识别方法、装置、设备及介质 | |
| CN114358133B (zh) | 一种基于语义辅助双目视觉slam检测回环帧的方法 | |
| Li et al. | Inlier extraction for point cloud registration via supervoxel guidance and game theory optimization | |
| CN117854155B (zh) | 一种人体骨骼动作识别方法及系统 | |
| CN115147798A (zh) | 可行驶区域预测方法、模型、装置及车辆 | |
| CN112200248A (zh) | 一种基于dbscan聚类的城市道路环境下的点云语义分割方法、系统及存储介质 | |
| CN108805152A (zh) | 一种场景分类方法及装置 | |
| CN116740077A (zh) | 一种基于三维点云的植物叶片分割方法 | |
| CN112651986B (zh) | 环境识别方法、识别装置、识别系统、电子设备及介质 | |
| CN111145187B (zh) | 基于霍夫空间的物体识别方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190503 |
|
| RJ01 | Rejection of invention patent application after publication |