CN114359632A - 一种基于改进PointNet++神经网络的点云目标分类方法 - Google Patents

Abstract

本发明公开了一种基于改进PointNet++神经网络的点云目标分类方法，包括以下步骤：步骤1，对点云数据进行预处理，利用统计滤波器滤除噪声点、离群点，保留仅包含感兴趣区域的点云团；步骤2，对上述步骤处理得到的感兴趣区域点云团利用聚类分割算法，分割出彼此独立的单个目标点云；步骤3，将步骤2中的点云输入到改进的PointNet++神经网络模型中进行分类，改进的该网络通过增加特征提取层利用多层感知机对输入的点云进行特征提取，再经过两层集合采样层不断提取局部特征，并在集合采样层中使用距离特征函数加强近点的特征，弱化较远点的干扰，最后通过最大池化层聚合所有特征信息获得全局特征，输出点云分类结果。

Description

一种基于改进PointNet++神经网络的点云目标分类方法

技术领域

本发明涉及点云目标识别与分类领域，具体而言涉及了一种基于改进PointNet++神经网络的点云目标分类方法。

背景技术

近年来，基于图像进行目标识别与分类的方法趋于成熟，但图像易受光照影响，识别结果会因光照条件的变化发生较大波动，点云不受光照的影响具有较强的鲁棒性，但它有三个特征：无序性、稀疏性、信息量有限。

PointNet++是近年来提出的应用于目标分类的网络结构，可以直接将点云作为输入并直接输出整个输入的类标签，能够很好的处理三维空间中的点云数据，但是直接将点云作为输入的PointNet++没有对局部特征进行更深层次的提取，忽略了原始点云的所有特征信息，对于有多个实例的多分类问题效果不是很好，影响了多分类的精度。

发明内容

为了解决上述背景技术中存在的问题，本发明提出一种基于改进PointNet++神经网络的点云目标分类方法，本发明首先对原始点云进行预处理，并且在原网络结构的基础上再增加一层特征提取层，提取最初输入的点的所有特征，并使用距离特征函数加强近点的特征，弱化较远点的干扰，改善原网络对局部特征抓取不够完善的问题，有效的提高分类精度。

本发明的技术方案：一种基于改进PointNet++神经网络的点云目标分类方法，包括以下步骤：

步骤1，对点云数据进行预处理，利用统计滤波器滤除噪声点、离群点，保留仅包含感兴趣区域的点云团；

步骤2，对上述步骤处理得到的感兴趣区域点云团利用聚类分割算法，分割出彼此独立的单个目标点云；

步骤3，将步骤2中的点云输入到改进的PointNet++神经网络模型中进行分类，改进的该网络通过增加特征提取层利用多层感知机对输入的点云进行特征提取，再经过两层集合采样层不断提取局部特征，并在集合采样层中使用距离特征函数加强近点的特征，弱化较远点的干扰，最后通过最大池化层聚合所有特征信息获得全局特征，输出点云分类结果。

进一步，所述步骤1具体包括：

步骤1.1，设定点云集合

通过K近邻搜索最近邻点，计算点到近邻点的平均距离d_i；

步骤1.2，计算点集的平均值

和标准差

其中d_i为各点到与其最近点的平均距离，n为点集中点的数目；

步骤1.3，将所有点与领域距离比较，若距离大于μ+λσ(λ为标准差倍数)则标记为离群点，并将其移除，否则保留。

进一步，所述步骤2的具体过程为：

步骤2.1，基于步骤2得到的点云团数据，使用具有噪声的基于密度的聚类DBSCAN方法进行聚类分割，设置领域ε，领域密度阈值MinPoints；

步骤2.2，扫描全部数据点，如果某个数据点R半径范围内点数目≧MinPoints，则将其纳入核心点列表，并将其密度直达的点形成对应的临时聚类簇；

步骤2.3，对于每一个临时聚类簇，检查其中的点是否为核心点，如果是将该点对应的临时聚类簇和当前临时聚类簇合并，得到新的临时聚类簇；

步骤2.4，遍历该核心点的ε领域内的所有核心点，重复步骤2.3的操作，直到当前临时聚类簇中的每一个点要么不在核心点列表，要么其密度直达的点都已经在该临时聚类簇，该临时聚类簇升级成聚类簇；

步骤2.5，继续对剩余的临时聚类簇进行相同的合并操作，直到全部临时聚类簇被处理，最终得到彼此独立的单个目标点云。

进一步，所述的步骤3具体过程如下：

步骤3.1，基于输入的点云数据，在原PointNet++神经网络中基础上增加一层特征提取层，利用多层感知机MLP提取输入点云的所有特征并保留；

步骤3.2，输入点集N经采样层FPS(最远点采样)对子集降采样，所选择的采样点构成了分组层每个局部区域的中心点；

步骤3.3，分组层再对采样层得到的点进行分组，以中心点为圆心人工设定半径r，通过KNN近邻搜索周围近邻点构建局部区域集；

步骤3.4，设定PointNet层的输入为局部区域集，将局部区域模式编码为特征向量获得局部特征；

步骤3.5，在进行采样层和分组层中使用加权函数来加强近点特征弱化远点干扰，加权函数公式如下：

其中α为加权函数参数，当函数参数值增加或减少时，对与中心点更近的点的特征会分别增加或减小；

步骤3.6，依次重复步骤3.2，3.3，3.4的操作两次，不断进行特征提取，最后通过最大池化层聚合所有特征信息获得全局特征，输出点云分类结果。

本发明的有益效果是：

改进前的PointNet++网络没有对局部的特征进行更深层次的抓取，对于有多个实例的多分类问题效果不是很好。而本发明首先对原始点云进行预处理，避免噪声点离群点的干扰，并且改进了PointNet++网络模型的结构，在原有模型的基础上再增加一层特征提取层，提取最初输入的点的所有特征，弥补了原网络忽略的最初输入进去的点的特征，经过两层集合采样层不断提取特征，使用距离特征函数加强近点的特征，弱化较远点的干扰，最后通过最大池化层聚合所有特征信息获得全局特征用于分类，输出分类得分，实现点云的精准分类。

附图说明

图1为本发明的整体流程图。

图2本发明改进后的PointNet++网络模型结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

图1为基于改进的PointNet神经网络的点云识别与分类方法的整体流程图，具体实施方式步骤如下：

步骤1，利用统计滤波器去除环境噪声点、离群点，通过计算领域距离来标记离散噪声点并移除，保留仅包含感兴趣的点云团，具体步骤如下：

1)设定点云集合

对于每一个点通过K近邻搜索它的最近邻点，计算该点到所有近邻点的平均距离d_i，其中K值控制领域大小，若领域过大无法有效删除噪声点，过小则会删除大量非噪声点；

2)计算点集的平均值μ和标准差σ；

3)将所有点与领域距离比较，若距离大于μ+λσ则标记为离群点，并将其移除，否则保留，其中μ+λσ为指定阈值，λ是标准差倍数。

步骤2，对上述步骤处理得到的感兴趣区域点云团利用聚类分割算法，分割出彼此独立的单个目标点云，其中聚类分割算法主要过程如下：

1)设置领域ε，领域密度阈值MinPoints；

2)扫描全部数据点，如果某个数据点R半径范围内点数目≧MinPoints，则将其纳入核心点列表，并将其密度直达的点形成对应的临时聚类簇；

3)对于每一个临时聚类簇，检查其中的点是否为核心点，如果是将该点对应的临时聚类簇和当前临时聚类簇合并，得到新的临时聚类簇；

4)遍历该核心点的ε领域内的所有核心点，重复步骤3)的操作，直到当前临时聚类簇中的每一个点要么不在核心点列表，要么其密度直达的点都已经在该临时聚类簇，该临时聚类簇升级成聚类簇；

5)继续对剩余的临时聚类簇进行相同的合并操作，直到全部临时聚类簇被处理，形成多个彼此分离的单个目标点云。

步骤3，将上述步骤中处理过的点云输入到改进的PointNet++神经网络模型中进行分类，改进的该网络通过增加特征提取层使用多层感知机对输入的点云进行特征提取，再经过两层集合采样层不断提取局部特征，使用距离特征函数加强近点特征弱化远点干扰，最后通过最大池化层聚合所有特征信息获得全局特征，输出点云分类结果。

图二为改进PointNet++网络模型结构图，利用改进PointNet++模型对点云进行更深层次的局部特征提取的具体过程如下：

1)基于输入的点云数据，在原PointNet++神经网络中基础上增加一层特征提取层，使用MLP多层感知机提取输入点云的所有特征并保留；

2)采样层：对输入点使用最远点采样(Farthest Point Sampling，FPS)对点集进行降采样，所选择的采样点构成了分组层每个局部区域的中心点；

3)分组层：对采样层选择的点进行分组，寻找中心点周围的邻近点来构造局部区域集；

4)采用球查询方法构造局部区域，设定搜索球半径r和中心点领域内点数k，围绕中心点在设定半径r内寻找数量上限为k的近邻点，从而构建局部区域集；

5)PointNet层：输入局部区域集，通过局部区域内的点坐标减去其中心点坐标将输入坐标转换为相对于质心的局部坐标，从而在PointNet网络中产生新的特征维度获得局部区域中点对点关系，将局部区域模式编码为特征向量获得局部特征；

在进行采样层和分组层中同时使用距离特征函数，加权函数公式如下：

其中，α为加权函数参数(本次设计令α＝1)，当函数参数值增加或减少时，对与中心点更近的点的特征会分别增加或减小，也就是在点到中心点的距离较近时会加强近点的特征，并且弱化较远点的干扰，改变了邻域点特征的重要性，使邻域更加具体有区分度；

5)依次重复步骤2)，3)，4)，的操作两次，不断进行特征提取；

最后采用最大池化层作为对称函数，聚合所有特征信息生成全局特征，然后根据局部和全局特征的集合形状组合进行分类，输出点云分类结果。

本发明在ModelNet40数据集上进行了一些实验，并且与其他分类方法进行比较，结果对比如表1所示，可以看出本网络的分类精度有所提高具有一定的优势，是一种良好的有效的点云分类方法。

表1：在ModelNet40数据集上的分类结果

Method	Input	Accuracy(％)
			MVCNN	Point	87.2
PointNet	Point	90.6
			PointNet++	Point	91.9
Ours	Point	92.4

综上，本发明在原有的PointNet++神经网络基础上，增加特征提取层对原始输入的点云使用多层感知机进行特征提取，再经过两层集合采样层不断提取局部特征，同时设计距离特征函数加强近点特征弱化远点干扰，最后通过最大池化层聚合所有特征信息生成全局特征，输出点云分类结果。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (4)

1.一种基于改进PointNet++神经网络的点云目标分类方法，其特征在于，包括以下步骤：

步骤1，对点云数据进行预处理，利用统计滤波器滤除噪声点、离群点，保留仅包含感兴趣区域的点云团；

步骤2，对上述步骤处理得到的感兴趣区域点云团利用聚类分割算法，分割出彼此独立的单个目标点云；

步骤3，将步骤2中的点云输入到改进的PointNet++神经网络模型中进行分类，改进的该网络通过增加特征提取层利用多层感知机对输入的点云进行特征提取，再经过两层集合采样层不断提取局部特征，并在集合采样层中使用距离特征函数加强近点的特征，弱化较远点的干扰，最后通过最大池化层聚合所有特征信息获得全局特征，输出点云分类结果。

2.根据权利要求书1所述的一种基于改进PointNet++神经网络的点云目标分类方法，其特征在于：所述步骤1具体包括：

步骤1.1，设定点云集合

通过K近邻搜索最近邻点，计算点到近邻点的平均距离d_i；

步骤1.2，计算点集的平均值

和标准差

其中d_i为各点到与其最近点的平均距离，n为点集中点的数目；

步骤1.3，将所有点与领域距离比较，若距离大于μ+λσ(λ为标准差倍数)则标记为离群点，并将其移除，否则保留。

3.根据权利要求1所述的一种基于改进PointNet++神经网络的点云目标分类方法，其特征在于：所述步骤2的具体过程为：

步骤2.1，基于步骤2得到的点云团数据，使用具有噪声的基于密度的聚类DBSCAN方法进行聚类分割，设置领域ε，领域密度阈值MinPoints；

步骤2.2，扫描全部数据点，如果某个数据点R半径范围内点数目≧MinPoints，则将其纳入核心点列表，并将其密度直达的点形成对应的临时聚类簇；

步骤2.3，对于每一个临时聚类簇，检查其中的点是否为核心点，如果是将该点对应的临时聚类簇和当前临时聚类簇合并，得到新的临时聚类簇；

步骤2.4，遍历该核心点的ε领域内的所有核心点，重复步骤2.3的操作，直到当前临时聚类簇中的每一个点要么不在核心点列表，要么其密度直达的点都已经在该临时聚类簇，该临时聚类簇升级成聚类簇；

步骤2.5，继续对剩余的临时聚类簇进行相同的合并操作，直到全部临时聚类簇被处理，最终得到彼此独立的单个目标点云。

4.根据权利要求书1所述的一种基于改进PointNet++神经网络的点云目标分类方法，其特征在于：所述的步骤3具体过程如下：

步骤3.1，基于输入的点云数据，在原PointNet++神经网络中基础上增加一层特征提取层，利用多层感知机MLP提取输入点云的所有特征并保留；

步骤3.2，输入点集N经采样层FPS(最远点采样)对子集降采样，所选择的采样点构成了分组层每个局部区域的中心点；

步骤3.3，分组层再对采样层得到的点进行分组，以中心点为圆心人工设定半径r，通过KNN近邻搜索周围近邻点构建局部区域集；

步骤3.4，设定PointNet层的输入为局部区域集，将局部区域模式编码为特征向量获得局部特征；

步骤3.5，在进行采样层和分组层中使用加权函数来加强近点特征弱化远点干扰，加权函数公式如下：

其中α为加权函数参数，当函数参数值增加或减少时，对与中心点更近的点的特征会分别增加或减小；

步骤3.6，依次重复步骤3.2，3.3，3.4的操作两次，不断进行特征提取，最后通过最大池化层聚合所有特征信息获得全局特征，输出点云分类结果。

Images