CN110619299A - 基于网格的对象识别slam方法和装置 - Google Patents

基于网格的对象识别slam方法和装置 Download PDF

Info

Publication number
CN110619299A
CN110619299A CN201910866625.9A CN201910866625A CN110619299A CN 110619299 A CN110619299 A CN 110619299A CN 201910866625 A CN201910866625 A CN 201910866625A CN 110619299 A CN110619299 A CN 110619299A
Authority
CN
China
Prior art keywords
point cloud
layer
feature
grid
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910866625.9A
Other languages
English (en)
Inventor
王志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yingpu Technology Co Ltd
Original Assignee
Beijing Yingpu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yingpu Technology Co Ltd filed Critical Beijing Yingpu Technology Co Ltd
Priority to CN201910866625.9A priority Critical patent/CN110619299A/zh
Publication of CN110619299A publication Critical patent/CN110619299A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于网格的对象识别SLAM方法和装置,涉及SLAM领域。该方法包括:获取数据集,确定其中图像的点云;使用三角剖分的网格类型,网格化点云得到点云网格;利用统计滤波器统计点云网格内每个特征点与其最近N个特征点的距离均值,去除距离均值大于指定阈值的噪声点,利用体素滤波器进行降采样,然后将原始点云输入PointNet++神经网络,通过采样层、分组层和特征提取层计算提取出特征点;将原始点云和提取出的特征点传递到FP层的插值层,进行特征融合,然后进行多次卷积后,输出特征点的类别。该装置包括:获取模块、分割模块、滤波模块、提取模块和分类模块。本申请实现了高效、高分辨率的点云学习。

Description

基于网格的对象识别SLAM方法和装置
技术领域
本申请涉及SLAM领域,特别是涉及一种基于网格的对象识别SLAM方法和装置。
背景技术
SLAM(Simultaneous Localization And Mapping,即时定位与地图构建)主要用于解决机器人在未知环境运动时的定位与地图构建问题,可以应用于机器人定位导航领域、无人机领域、无人驾驶领域以及VR/AR领域等。SLAM模型主要包括传感器数据、视觉里程计、后端、回环检测和建图。其中,在传感器数据阶段需要进行特征提取,为后续的环节提供输入数据。特征提取主要完成:特征模式的分类及识别,确定属于该特征模式的区域及区域内的激光数据点集,以及各类特征模式参数的确定和特征点的提取。
特征提取方法典型的有FAST算法和深度学习模型。FAST算法的原理是遍历图像,找到所有的角点。深度学习模型如DeTone D提出的面向几何的SLAM模型,采用两个CNN(Convolutional Neural Networks,卷积神经网络)实现角点提取和匹配。但是,FAST算法需要在提取特征点的同时获取周围的描述子,才能实现下一步的匹配,无形中增加模型的计算量。深度学习模型基于点云数据做运算,是对一个个离散的空间点进行处理,虽然远观能看出物体的轮廓,但是近观仍然是一个个分散的空间点,因此模型的输出结果分辨率比较低。
发明内容
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。
根据本申请的一个方面,提供了一种基于网格的对象识别SLAM方法,包括:
获取数据集,确定所述数据集中的图像的点云;
使用三角剖分的网格类型,网格化所述点云得到点云网格;
利用统计滤波器统计所述点云网格内每个特征点与其最近N个特征点的距离均值,去除距离均值大于指定阈值的噪声点,利用体素滤波器对去除噪声点后的点云网格进行降采样;
将降采样后的原始点云输入PointNet++神经网络,通过采样层、分组层和特征提取层进行计算,提取出特征点;
将所述原始点云和提取出的所述特征点传递到特征传播FP层的插值层,进行特征融合,然后进行多次卷积后,输出所述特征点的类别。
可选地,使用三角剖分的网格类型,网格化所述点云得到点云网格,包括:
对所述点云进行三角剖分,得到由多个三角形构成的点云网格,每一个网格数据包括三个顶点,连接顶点得到的三条边,以及由三条边组成的面;其中,相邻的三角形网格拥有共享顶点。
可选地,利用体素滤波器对去除噪声点后的点云网格进行降采样,包括:
利用体素滤波器对去除噪声点后的点云网格进行降采样,使一个体素内仅有一个特征点。
可选地,将降采样后的点云网格输入PointNet++神经网络,通过采样层、分组层和特征提取层进行计算,提取出特征点,包括:
将降采样后的点云网格输入PointNet++神经网络,在采样层采用最远点采样法从所述点云网格中抽取出中心点,在分组层在所述中心点的指定范围内寻找最近个k近邻点,在特征提取层将所述k个近邻点采用PointNet网络提取出特征点。
可选地,将所述原始点云和提取出的所述特征点传递到特征传播FP层的插值层,进行特征融合,然后进行多次卷积后,输出所述特征点的类别,包括:
将所述原始点云和提取出的所述特征点输入至FP层,由插值层通过跳转链路将所述原始点云和所述特征点连接起来构成一个特征向量,再对所述特征向量进行多次卷积,直至输出每个特征点在各个类别上的得分。
根据本申请的另一个方面,提供了一种基于网格的对象识别SLAM装置,包括:
获取模块,其配置成获取数据集,确定所述数据集中的图像的点云;
分割模块,其配置成使用三角剖分的网格类型,网格化所述点云得到点云网格;
滤波模块,其配置成利用统计滤波器统计所述点云网格内每个特征点与其最近N个特征点的距离均值,去除距离均值大于指定阈值的噪声点,利用体素滤波器对去除噪声点后的点云网格进行降采样;
提取模块,其配置成将降采样后的原始点云输入PointNet++神经网络,通过采样层、分组层和特征提取层进行计算,提取出特征点;
分类模块,其配置成将所述原始点云和提取出的所述特征点传递到特征传播FP层的插值层,进行特征融合,然后进行多次卷积后,输出所述特征点的类别。
可选地,所述分割模块具体配置成:
对所述点云进行三角剖分,得到由多个三角形构成的点云网格,每一个网格数据包括三个顶点,连接顶点得到的三条边,以及由三条边组成的面;其中,相邻的三角形网格拥有共享顶点。
可选地,所述滤波模块具体配置成:
利用体素滤波器对去除噪声点后的点云网格进行降采样,使一个体素内仅有一个特征点。
可选地,所述提取模块具体配置成:
将降采样后的点云网格输入PointNet++神经网络,在采样层采用最远点采样法从所述点云网格中抽取出中心点,在分组层在所述中心点的指定范围内寻找最近个k近邻点,在特征提取层将所述k个近邻点采用PointNet网络提取出特征点。
可选地,所述分类模块具体配置成:
将所述原始点云和提取出的所述特征点输入至FP层,由插值层通过跳转链路将所述原始点云和所述特征点连接起来构成一个特征向量,再对所述特征向量进行多次卷积,直至输出每个特征点在各个类别上的得分。
根据本申请的又一个方面,提供了一种计算设备,包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如上所述的方法。
根据本申请的又一个方面,提供了一种计算机可读存储介质,优选为非易失性可读存储介质,其内存储有计算机程序,所述计算机程序在由处理器执行时实现如上所述的方法。
根据本申请的又一个方面,提供了一种计算机程序产品,包括计算机可读代码,当所述计算机可读代码由计算机设备执行时,导致所述计算机设备执行上述的方法。
本申请提供的技术方案,通过获取数据集,确定所述数据集中的图像的点云;使用三角剖分的网格类型,网格化所述点云得到点云网格;利用统计滤波器统计所述点云网格内每个特征点与其最近N个特征点的距离均值,去除距离均值大于指定阈值的噪声点,利用体素滤波器对去除噪声点后的点云网格进行降采样;将降采样后的原始点云输入PointNet++神经网络,通过采样层、分组层和特征提取层进行计算,提取出特征点;将所述原始点云和提取出的所述特征点传递到特征传播FP层的插值层,进行特征融合,然后进行多次卷积后,输出所述特征点的类别,相比于离散型的点云数据,得到一个相对于区域点云连续的表面,实现了高效、高分辨率的点云学习,数据驱动的模型,泛化能力强,能够处理大数据量,算法时间短、空间复杂度低。
根据下文结合附图对本申请的具体实施例的详细描述,本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:
图1是根据本申请一个实施例的基于网格的对象识别SLAM方法流程图;
图2是根据本申请另一个实施例的基于网格的对象识别SLAM方法流程图;
图3是根据本申请另一个实施例的三角剖分后的点云网格示意图;
图4是根据本申请另一个实施例的基于网格的对象识别SLAM装置结构图;
图5是根据本申请另一个实施例的计算设备结构图;
图6是根据本申请另一个实施例的计算机可读存储介质结构图。
具体实施方式
图1是根据本申请一个实施例的基于网格的对象识别SLAM方法流程图。
参见图1,该方法包括:
101:获取数据集,确定数据集中的图像的点云;
102:使用三角剖分的网格类型,网格化点云得到点云网格;
103:利用统计滤波器统计点云网格内每个特征点与其最近N个特征点的距离均值,去除距离均值大于指定阈值的噪声点,利用体素滤波器对去除噪声点后的点云网格进行降采样;
104:将降采样后的原始点云输入PointNet++神经网络,通过采样层、分组层和特征提取层进行计算,提取出特征点;
105:将原始点云和提取出的特征点传递到FP(Feature Propagation,特征传播)层的插值层,进行特征融合,然后进行多次卷积后,输出特征点的类别。
本实施例中,可选的,使用三角剖分的网格类型,网格化点云得到点云网格,包括:
对点云进行三角剖分,得到由多个三角形构成的点云网格,每一个网格数据包括三个顶点,连接顶点得到的三条边,以及由三条边组成的面;其中,相邻的三角形网格拥有共享顶点。
本实施例中,可选的,利用体素滤波器对去除噪声点后的点云网格进行降采样,包括:
利用体素滤波器对去除噪声点后的点云网格进行降采样,使一个体素内仅有一个特征点。
本实施例中,可选的,将降采样后的点云网格输入PointNet++神经网络,通过采样层、分组层和特征提取层进行计算,提取出特征点,包括:
将降采样后的点云网格输入PointNet++神经网络,在采样层采用最远点采样法从点云网格中抽取出中心点,在分组层在中心点的指定范围内寻找最近个k近邻点,在特征提取层将k个近邻点采用PointNet网络提取出特征点。
本实施例中,可选的,将原始点云和提取出的特征点传递到FP层的插值层,进行特征融合,然后进行多次卷积后,输出特征点的类别,包括:
将原始点云和提取出的特征点输入至FP层,由插值层通过跳转链路将原始点云和特征点连接起来构成一个特征向量,再对特征向量进行多次卷积,直至输出每个特征点在各个类别上的得分。
本实施例提供的上述方法,通过获取数据集,确定所述数据集中的图像的点云;使用三角剖分的网格类型,网格化所述点云得到点云网格;利用统计滤波器统计所述点云网格内每个特征点与其最近N个特征点的距离均值,去除距离均值大于指定阈值的噪声点,利用体素滤波器对去除噪声点后的点云网格进行降采样;将降采样后的原始点云输入PointNet++神经网络,通过采样层、分组层和特征提取层进行计算,提取出特征点;将所述原始点云和提取出的所述特征点传递到特征传播FP层的插值层,进行特征融合,然后进行多次卷积后,输出所述特征点的类别,相比于离散型的点云数据,得到一个相对于区域点云连续的表面,实现了高效、高分辨率的点云学习,数据驱动的模型,泛化能力强,能够处理大数据量,算法时间短、空间复杂度低。
图2是根据本申请另一个实施例的基于网格的对象识别SLAM方法流程图。
参见图2,该方法包括:
201:获取数据集,确定数据集中的图像的点云;
本实施例中,优选地,选用的实验数据集为KITTI数据集(由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办),是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。KITTI数据集的采集平台包括:2个灰度摄像机,2个彩色摄像机,一个Velodyne 3D激光雷达,4个光学镜头,以及1个GPS导航系统。整个数据集由389对立体图像和光流图,39.2公里视觉测距序列以及超过200,0003D标注物体的图像组成,其中,每个图像最多包括15辆车及30个行人,而且还包含不同程度的遮挡。
202:对点云进行三角剖分,得到由多个三角形构成的点云网格,每一个网格数据包括三个顶点,连接顶点得到的三条边,以及由三条边组成的面;
其中,相邻的三角形网格拥有共享顶点,可以采用顶点或边列表表示面。
图3是根据本申请另一个实施例的三角剖分后的点云网格示意图。参见图3,其中每个图像的点云在三角剖分后,都得到若干个点云网格,每一个网格是一个三角形,相邻的三角形拥有共享顶点。
203:利用统计滤波器统计点云网格内每个特征点与其最近N个特征点的距离均值,去除距离均值大于指定阈值的噪声点;
利用统计滤波器可以保留那些“粘在一起”的点,去掉孤立的噪声点。
204:利用体素滤波器对去除噪声点后的点云网格进行降采样,使一个体素内仅有一个特征点;
本实施例中,由于多个视角存在视野重叠,在重叠区域会存在大量的位置十分相近的特征点,导致无益地占用许多内存空间,因此,采用体素滤波器(Voxel Filter)进行降采样,保证一个体素内仅有一个特征点,相当于对三维空间进行了降采样,从而节省了很多存储空间。
205:将降采样后的点云网格输入PointNet++神经网络,在采样层(Samplinglayer)采用最远点采样法从点云网格中抽取出中心点,在分组层(Grouping layer)在中心点的指定范围内寻找最近个k近邻点,在特征提取层(PointNet)将k个近邻点采用PointNet网络提取出特征点;
本实施例中,提取特征的过程可以称为SA(Set Abstraction)过程。在实际训练中,整个SA过程的输入为上一层的中心点和上一层提取的特征,输出是经过这一层处理后得到的中心点和中心点对应局部区域的特征。SA过程的输出送至FP层进行分类。
206:将原始点云和提取出的特征点输入至FP层,由插值层通过skip link跳转链路将原始点云和特征点连接起来构成一个特征向量,再对特征向量进行多次卷积,直至输出每个特征点在各个类别上的得分。
其中,通过FP层将特征点传递回原始点云,利用上一层的特征内插出更原始的点云特征,经过不断重复FP,直到输出每个特征点在各个类别上的得分,即得到分类。
本实施例提供的上述方法,通过获取数据集,确定所述数据集中的图像的点云;使用三角剖分的网格类型,网格化所述点云得到点云网格;利用统计滤波器统计所述点云网格内每个特征点与其最近N个特征点的距离均值,去除距离均值大于指定阈值的噪声点,利用体素滤波器对去除噪声点后的点云网格进行降采样;将降采样后的原始点云输入PointNet++神经网络,通过采样层、分组层和特征提取层进行计算,提取出特征点;将所述原始点云和提取出的所述特征点传递到特征传播FP层的插值层,进行特征融合,然后进行多次卷积后,输出所述特征点的类别,相比于离散型的点云数据,得到一个相对于区域点云连续的表面,实现了高效、高分辨率的点云学习,数据驱动的模型,泛化能力强,能够处理大数据量,算法时间短、空间复杂度低。
图4是根据本申请另一个实施例的基于网格的对象识别SLAM装置结构图。
参见图4,该装置包括:
获取模块401,其配置成获取数据集,确定数据集中的图像的点云;
分割模块402,其配置成使用三角剖分的网格类型,网格化点云得到点云网格;
滤波模块403,其配置成利用统计滤波器统计点云网格内每个特征点与其最近N个特征点的距离均值,去除距离均值大于指定阈值的噪声点,利用体素滤波器对去除噪声点后的点云网格进行降采样;
提取模块404,其配置成将降采样后的原始点云输入PointNet++神经网络,通过采样层、分组层和特征提取层进行计算,提取出特征点;
分类模块405,其配置成将原始点云和提取出的特征点传递到特征传播FP层的插值层,进行特征融合,然后进行多次卷积后,输出特征点的类别。
本实施例中,可选的,分割模块具体配置成:
对点云进行三角剖分,得到由多个三角形构成的点云网格,每一个网格数据包括三个顶点,连接顶点得到的三条边,以及由三条边组成的面;其中,相邻的三角形网格拥有共享顶点。
本实施例中,可选的,滤波模块具体配置成:
利用体素滤波器对去除噪声点后的点云网格进行降采样,使一个体素内仅有一个特征点。
本实施例中,可选的,提取模块具体配置成:
将降采样后的点云网格输入PointNet++神经网络,在采样层采用最远点采样法从点云网格中抽取出中心点,在分组层在中心点的指定范围内寻找最近个k近邻点,在特征提取层将k个近邻点采用PointNet网络提取出特征点。
本实施例中,可选的,分类模块具体配置成:
将原始点云和提取出的特征点输入至FP层,由插值层通过跳转链路将原始点云和特征点连接起来构成一个特征向量,再对特征向量进行多次卷积,直至输出每个特征点在各个类别上的得分。
本实施例提供的上述装置,可以执行上述任一方法实施例中的方法,详细过程详见方法实施例中的描述,此处不赘述。
本实施例提供的上述装置,通过获取数据集,确定所述数据集中的图像的点云;使用三角剖分的网格类型,网格化所述点云得到点云网格;利用统计滤波器统计所述点云网格内每个特征点与其最近N个特征点的距离均值,去除距离均值大于指定阈值的噪声点,利用体素滤波器对去除噪声点后的点云网格进行降采样;将降采样后的原始点云输入PointNet++神经网络,通过采样层、分组层和特征提取层进行计算,提取出特征点;将所述原始点云和提取出的所述特征点传递到特征传播FP层的插值层,进行特征融合,然后进行多次卷积后,输出所述特征点的类别,相比于离散型的点云数据,得到一个相对于区域点云连续的表面,实现了高效、高分辨率的点云学习,数据驱动的模型,泛化能力强,能够处理大数据量,算法时间短、空间复杂度低。
根据下文结合附图对本申请的具体实施例的详细描述,本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
本申请实施例还提供了一种计算设备,参照图5,该计算设备包括存储器1120、处理器1110和存储在所述存储器1120内并能由所述处理器1110运行的计算机程序,该计算机程序存储于存储器1120中的用于程序代码的空间1130,该计算机程序在由处理器1110执行时实现用于执行任一项根据本发明的方法步骤1131。
本申请实施例还提供了一种计算机可读存储介质。参照图6,该计算机可读存储介质包括用于程序代码的存储单元,该存储单元设置有用于执行根据本发明的方法步骤的程序1131′,该程序被处理器执行。
本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时,使得计算机执行根据本发明的方法步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成,所述的程序可以存储于计算机可读存储介质中,所述存储介质是非短暂性(英文:non-transitory)介质,例如随机存取存储器,只读存储器,快闪存储器,硬盘,固态硬盘,磁带(英文:magnetic tape),软盘(英文:floppy disk),光盘(英文:optical disc)及其任意组合。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于网格的对象识别SLAM方法,包括:
获取数据集,确定所述数据集中的图像的点云;
使用三角剖分的网格类型,网格化所述点云得到点云网格;
利用统计滤波器统计所述点云网格内每个特征点与其最近N个特征点的距离均值,去除距离均值大于指定阈值的噪声点,利用体素滤波器对去除噪声点后的点云网格进行降采样;
将降采样后的原始点云输入PointNet++神经网络,通过采样层、分组层和特征提取层进行计算,提取出特征点;
将所述原始点云和提取出的所述特征点传递到特征传播FP层的插值层,进行特征融合,然后进行多次卷积后,输出所述特征点的类别。
2.根据权利要求1所述的方法,其特征在于,使用三角剖分的网格类型,网格化所述点云得到点云网格,包括:
对所述点云进行三角剖分,得到由多个三角形构成的点云网格,每一个网格数据包括三个顶点,连接顶点得到的三条边,以及由三条边组成的面;其中,相邻的三角形网格拥有共享顶点。
3.根据权利要求1所述的方法,其特征在于,利用体素滤波器对去除噪声点后的点云网格进行降采样,包括:
利用体素滤波器对去除噪声点后的点云网格进行降采样,使一个体素内仅有一个特征点。
4.根据权利要求1所述的方法,其特征在于,将降采样后的点云网格输入PointNet++神经网络,通过采样层、分组层和特征提取层进行计算,提取出特征点,包括:
将降采样后的点云网格输入PointNet++神经网络,在采样层采用最远点采样法从所述点云网格中抽取出中心点,在分组层在所述中心点的指定范围内寻找最近个k近邻点,在特征提取层将所述k个近邻点采用PointNet网络提取出特征点。
5.根据权利要求1所述的方法,其特征在于,将所述原始点云和提取出的所述特征点传递到特征传播FP层的插值层,进行特征融合,然后进行多次卷积后,输出所述特征点的类别,包括:
将所述原始点云和提取出的所述特征点输入至FP层,由插值层通过跳转链路将所述原始点云和所述特征点连接起来构成一个特征向量,再对所述特征向量进行多次卷积,直至输出每个特征点在各个类别上的得分。
6.一种基于网格的对象识别SLAM装置,包括:
获取模块,其配置成获取数据集,确定所述数据集中的图像的点云;
分割模块,其配置成使用三角剖分的网格类型,网格化所述点云得到点云网格;
滤波模块,其配置成利用统计滤波器统计所述点云网格内每个特征点与其最近N个特征点的距离均值,去除距离均值大于指定阈值的噪声点,利用体素滤波器对去除噪声点后的点云网格进行降采样;
提取模块,其配置成将降采样后的原始点云输入PointNet++神经网络,通过采样层、分组层和特征提取层进行计算,提取出特征点;
分类模块,其配置成将所述原始点云和提取出的所述特征点传递到特征传播FP层的插值层,进行特征融合,然后进行多次卷积后,输出所述特征点的类别。
7.根据权利要求6所述的装置,其特征在于,所述分割模块具体配置成:
对所述点云进行三角剖分,得到由多个三角形构成的点云网格,每一个网格数据包括三个顶点,连接顶点得到的三条边,以及由三条边组成的面;其中,相邻的三角形网格拥有共享顶点。
8.根据权利要求6所述的装置,其特征在于,所述滤波模块具体配置成:
利用体素滤波器对去除噪声点后的点云网格进行降采样,使一个体素内仅有一个特征点。
9.根据权利要求6所述的装置,其特征在于,所述提取模块具体配置成:
将降采样后的点云网格输入PointNet++神经网络,在采样层采用最远点采样法从所述点云网格中抽取出中心点,在分组层在所述中心点的指定范围内寻找最近个k近邻点,在特征提取层将所述k个近邻点采用PointNet网络提取出特征点。
10.根据权利要求6所述的装置,其特征在于,所述分类模块具体配置成:
将所述原始点云和提取出的所述特征点输入至FP层,由插值层通过跳转链路将所述原始点云和所述特征点连接起来构成一个特征向量,再对所述特征向量进行多次卷积,直至输出每个特征点在各个类别上的得分。
CN201910866625.9A 2019-09-12 2019-09-12 基于网格的对象识别slam方法和装置 Pending CN110619299A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910866625.9A CN110619299A (zh) 2019-09-12 2019-09-12 基于网格的对象识别slam方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910866625.9A CN110619299A (zh) 2019-09-12 2019-09-12 基于网格的对象识别slam方法和装置

Publications (1)

Publication Number Publication Date
CN110619299A true CN110619299A (zh) 2019-12-27

Family

ID=68923292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910866625.9A Pending CN110619299A (zh) 2019-09-12 2019-09-12 基于网格的对象识别slam方法和装置

Country Status (1)

Country Link
CN (1) CN110619299A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339973A (zh) * 2020-03-03 2020-06-26 北京华捷艾米科技有限公司 一种对象识别方法、装置、设备及存储介质
CN112146660A (zh) * 2020-09-25 2020-12-29 电子科技大学 一种基于动态词向量的室内地图定位方法
CN112184867A (zh) * 2020-09-23 2021-01-05 中国第一汽车股份有限公司 点云特征提取方法、装置、设备及存储介质
CN115265561A (zh) * 2022-09-27 2022-11-01 小米汽车科技有限公司 车辆定位方法、装置、车辆及介质
CN115457234A (zh) * 2022-09-14 2022-12-09 北京华云星地通科技有限公司 一种降水数据的点云稠密化方法、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440683A (zh) * 2013-04-28 2013-12-11 大连大学 一种基于三维散乱稠密点云的三角网格重构方法
CN103985155A (zh) * 2014-05-14 2014-08-13 北京理工大学 基于映射法的散乱点云Delaunay三角剖分曲面重构方法
CN108958282A (zh) * 2018-06-21 2018-12-07 浙江大学 基于动态球形窗口的三维空间路径规划方法
CN109559320A (zh) * 2018-09-18 2019-04-02 华东理工大学 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统
CN109993748A (zh) * 2019-03-30 2019-07-09 华南理工大学 一种基于点云处理网络的三维网格物体分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440683A (zh) * 2013-04-28 2013-12-11 大连大学 一种基于三维散乱稠密点云的三角网格重构方法
CN103985155A (zh) * 2014-05-14 2014-08-13 北京理工大学 基于映射法的散乱点云Delaunay三角剖分曲面重构方法
CN108958282A (zh) * 2018-06-21 2018-12-07 浙江大学 基于动态球形窗口的三维空间路径规划方法
CN109559320A (zh) * 2018-09-18 2019-04-02 华东理工大学 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统
CN109993748A (zh) * 2019-03-30 2019-07-09 华南理工大学 一种基于点云处理网络的三维网格物体分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHARLES R. QI ET AL.: "PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space", 《ARXIV》 *
YANGPING SHEN ET AL.: "3D scene reconstruction and object recognition for indoor scene", 《INTERNATIONAL WORKSHOP ON ADVANCED IMAGE TECHNOLOGY》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339973A (zh) * 2020-03-03 2020-06-26 北京华捷艾米科技有限公司 一种对象识别方法、装置、设备及存储介质
CN112184867A (zh) * 2020-09-23 2021-01-05 中国第一汽车股份有限公司 点云特征提取方法、装置、设备及存储介质
CN112146660A (zh) * 2020-09-25 2020-12-29 电子科技大学 一种基于动态词向量的室内地图定位方法
CN115457234A (zh) * 2022-09-14 2022-12-09 北京华云星地通科技有限公司 一种降水数据的点云稠密化方法、系统、设备及介质
CN115265561A (zh) * 2022-09-27 2022-11-01 小米汽车科技有限公司 车辆定位方法、装置、车辆及介质

Similar Documents

Publication Publication Date Title
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
US20210390329A1 (en) Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium
CN110619299A (zh) 基于网格的对象识别slam方法和装置
CN113902897B (zh) 目标检测模型的训练、目标检测方法、装置、设备和介质
CN110991468A (zh) 三维目标检测和智能行驶方法、装置、设备
CN111209770A (zh) 一种车道线识别方法及装置
KR102279388B1 (ko) 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN110346808B (zh) 一种激光雷达的点云数据处理方法和系统
CN113378760A (zh) 训练目标检测模型和检测目标的方法及装置
JP2020038660A (ja) CNN(Convolutional Neural Network)を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{LEARNING METHOD, LEARNING DEVICE FOR DETECTING LANE USING CNN AND TEST METHOD, TEST DEVICE USING THE SAME}
CN111340922A (zh) 定位与地图构建的方法和电子设备
CN114187310A (zh) 基于八叉树和PointNet++网络的大规模点云分割方法
CN114677435A (zh) 一种点云全景融合要素提取方法和系统
CN113781519A (zh) 目标跟踪方法和目标跟踪装置
CN114972758B (zh) 一种基于点云弱监督的实例分割方法
Raza et al. Framework for estimating distance and dimension attributes of pedestrians in real-time environments using monocular camera
CN114140758A (zh) 一种目标检测方法、装置及计算机设备
CN116310673A (zh) 一种基于点云与图像特征融合的三维目标检测方法
CN116168384A (zh) 点云目标检测方法、装置、电子设备及存储介质
CN113592015A (zh) 定位以及训练特征匹配网络的方法和装置
CN111813882B (zh) 一种机器人地图构建方法、设备及存储介质
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
Ballinas-Hernández et al. Marked and unmarked speed bump detection for autonomous vehicles using stereo vision
CN115588187A (zh) 基于三维点云的行人检测方法、装置、设备以及存储介质
CN115994934B (zh) 数据时间对齐方法、装置以及域控制器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191227

RJ01 Rejection of invention patent application after publication