CN115222988A - 激光雷达点云数据城市地物PointEFF精细分类方法 - Google Patents

Abstract

本发明公开了一种激光雷达点云数据城市地物PointEFF精细分类方法，属于激光雷达点云分类领域。此方法包括：点云数据分块；端对端特征提取层构建；外部特征融合层构建；精度评价。PointEFF激光雷达点云数据城市地物精细分类方法通过构建外部特征融合(External Feature Fusion)模块，在模型上采样阶段将点云手工设计描述符(hand crafted descriptors)与网络得到的端对端特征融合，改善了以PointNet、PointNet++为代表的领域特征池化方法在上采样过程中因插值操作造成的点云局部信息损失问题，极大地提高了模型在复杂地物分类上，特别是提高对粗糙表面地物分类的分类精度，能够更好的应用于地物类型复杂的城市地物分类。

Description

激光雷达点云数据城市地物PointEFF精细分类方法

技术领域

本发明涉及激光雷达点云分类领域，特别涉及激光雷达点云数据城市地物精细分类。

背景技术

及时、准确地从高精度3D激光雷达点云数据中获取城市地物信息和进行城市地物分类成为国际上的研究热点。目前，激光雷达点云分类任务一般分为两个步骤：从局部和全局提取具有代表性的点特征；利用获取到的特征将每个点划分为预定义的语义类别。由于城市地物点云数据具有数据量大、场景复杂的特点，所以设计一种能获取点云丰富特征的分类方法尤为关键。

在点云分类方法上，早期的研究主要利用手工设计的规则提取特征，再使用如支持向量机(SVM)、随机森林(RF)等机器学习的方法预测每个点的语义类别，这种方法由于手工设计的规则提取的特征的限制，在面对复杂场景时无法达到令人满意的效果。随着深度学习的兴起，研究者们逐渐考虑基于深度学习来处理点云数据相关问题，但是由于点云的无序性的特点，早期的基于深度学习的方法一般先将点云正则化处理为二维图像或者体素网格再进行分类，如MVCNN、 CVGNN、VoxNet、Kd-Net等，这种将三维数据转化为二维数据再进行处理的方式并不能充分利用点云数据的特性。

以PointNet、PointNet++为代表的领域特征池化方法舍弃了上述的先将点云正则化再处理的方式，开创了直接对原始点云进行处理的先河，以较低的代价和较好的效果解决了点云无序性、置换不变性和旋转不变性的问题，如申请号为CN109410238A的一种基于PointNet++网络的枸杞识别计数方法利用PointNet++网络融合上下文信息，实现了对枸杞数量的识别和计数；申请号为CN110210431A的一种基于点云语义标注和优化的点云分类方法使用PointNet++对原始点云进行预分类。领域特征池化方法在小场景、小范围的点云数据集的分类问题上取得了优异的效果，但是在面对场景复杂、数据量庞大的城市地物分类问题上，其还存在以下不足：

1、领域特征池化方法在获取点云每个点的特征后，采用的池化的方式用某一点的特征来表示点云局部区域特征。池化虽然能够缩减模型的大小，提高计算速度，但是在面对空间信息丰富的分类对象时势必会造成局部区域有用信息的损失。

2、领域特征池化方法在上采样过程中采用插值的方式来恢复点云空间维度，用少数的采样点的特征来描述局部区域的特征，在面对简单场景的分类任务时能够取得比较好的效果，但是在面对复杂场景，特别是粗糙表面场景的分类任务时比较吃力。

3、领域特征池化方法缺乏对点与点之间结构信息的提取。

发明内容

为了解决上述技术问题，本发明提出了一种新型的激光雷达点云数据城市地物PoinEFF(Point cloud External Feature Fusion Net)精细分类方法，其主要思想是在模型上采样阶段将手工设计描述符(hand crafted descriptors)与领域特征池化获取的端对端(end to end)特征融合，构建外部特征融合(External Feature Fusion)模块。激光雷达点云数据城市地物PointEFF精细分类方法解决了传统的基于深度学习的领域特征池化方法在提取点云特征时没有考虑点与点之间的结构信息的缺陷，改善了其在上采样过程中因插值操作造成的点云局部信息损失问题，极大地提高了模型在复杂地物分类上，特别是提高对粗糙表面地物分类的分类精度。

考虑到快速点特征直方图(Fast Point Feature Histogram)具有提取简单、对噪声和密度变化鲁棒性强以及几何结构信息丰富的优点，本方法选择其作为外部特征融合模块的输入。本发明可以采用以下技术方案实现：

步骤1：点云数据分块。

步骤2：构建PointEFF端对端特征提取层。

步骤3：构建PointEFF外部特征融合层。

步骤4：输入数据，得到点云类别标签并进行精度评价。

进一步的，所述步骤1中数据分块包括以下步骤：

由于网络处理的每批次点的数量是有限的，所以本发明先使用简化的密度聚类(DBSCAN)算法将数据按照点数聚类和分块后再输入网络，以处理点数庞大的城市地物数据集，其计算方法如下：

设点集为R，其中第一个点的坐标为p₁＝(x₁,y₁,z₁)∈R，其余点坐标为p_R-1＝(x_R-1,y_R-1,z_R-1)∈R，则p_R-1到p₁的欧式距离的定义为：

根据每个样本点到p₁的距离d_R-i和设定的分块区域的点数m，划分出p₁的领域为{p₁,p₁…,p_m}后再迭代计算内剩余点到p_m+1点的距离，直至点集内所有点被划分完毕。

进一步的，所述步骤2中构建PointEFF端对端特征提取层包括以下步骤：

端对端特征提取层包括网络编码器和解码器两部分。编码器通过抽象集合操作对一组点进行处理和抽象，以递归提取点云局部区域的多尺度特征。解码器通过特征传播操作操作逐渐恢复空间维度，融合编码过程中提取到的特征，在尽可能减少信息损失的前提下完成同尺度的输入输出。二者通过两组跳跃链接模块来传递网络不同尺度的特征。

网络编码器包含三次抽象集合操作，抽象集合由采样层、分组层和特征提取层三部分组成。首先，将具有3维属性(x,y,z)的N个激光雷达点输入到我们的网络中，采样层通过迭代最远点采样算法 (Farthest Point Sampling)选择N′点来定义局部区域的N′个质心。

之后在分组层中，通过球查询算法(query ball)，设定半径r，搜索质心范围r内相邻的k点构建局部区域。在执行采样层和分组层之后，激光雷达点被采样成N′中心簇，每个中心簇包含k个点和它们的 36维属性，输出涉及一组大小为N′×k×36的点集。最后，我们通过特征提取层将这些局部区域编码为特征向量。将点集输入MLP网络，输出为N′×k×C，其中C为通过MLP提取的特征，每个中心簇再经过最大池化(max-pooling)操作，选取每个中心簇中最大的特征作为区域特征，输出为N′×C。

经过三次抽象集合操作，直至输出为1×1024的全局特征。

网络解码器由三次特征传播操作和二组跳跃链接模块构成，其利用上采样操作逐渐恢复空间维度，融合编码过程中提取到的特征，在尽可能减少信息损失的前提下完成同尺度的输入输出。

在特征传播层中，为了将学习到的特征从采样点传播到原始点，对于通过编码器得到的N″×C′维特征图，首先使用反距离加权算法 (Inverse Distance Weighted)进行插值，计算每个待插值点到所有点的距离，计算出权重，将点数从N″插值到N′，得到插值后的N×C维特征图。再通过跳跃链接模块链接同尺度下编码器得到的C维特征图，得到N×(C′+C)维特征图。最后通过多层感知器(MLP)，得到N ×C″′维特征图。

在经过三层特征传播操作后，得到N×128维特征图。

进一步的，所述步骤3中构建PointEFF外部特征融合层包括以下步骤：

外部特征融合层由手工设计描述符的提取和外部特征融合模块构成。本方法选择快速点特征直方图作为外部特征融合模块的输入，提取快速点特征直方图的步骤如下：

利用最小二乘法平面拟合求得点云法线，根据求得的法向量，建立两点之间的局部坐标系：

μ＝η_s

ω＝μ×υ

点法线对之间的差异可以用以下角度表示：

α＝υ·η_t

θ＝arctan(ω·η_t,μ·η_t)

d＝||p_t-p_s||₂

然后对这些角度量化形成点特征直方图(PFH)。

快速点特征直方图的特征表示为：

在获取快速点云点特征直方图后，将端对端特征提取层得到的N ×128维特征图和手工设计描述符提取到的N×33维快速点特征直方图作为输入传递进外部特征融合模块。在外部特征融合模块中，端对端特征提取层得到特征为：

x∈R¹²⁸

快速点特征直方图的特征为：

y∈R³³

通过拼接(concatenate)操作得到新的特征图为：

z＝[x,y]∈R¹²⁸⁺³³

拼接操作完毕后，再通过多层感知机，得到N×128维特征图，每个点都有128维特征。

进一步的，输入训练数据，和测试数据，得到分类结果并进行精度评价，评价指标选取OA、mIoU、Kappa系数、和F1-score，计算方法如下：

附图说明

图1是专利技术流程图

图2是训练数据分块情况图

图3是测试数据分块情况图

图4是PointEFF端对端特征提取层结构图

图5是PointEFF外部特征融合层结构图

图6是PointEFF网络分类结果图

具体实施方式

下面结合附图和具体实施案例，对本发明作进一步阐明。

在Windows操作系统下，选择PyTorch为平台，搭建PointEFF 网络，在NMP3DBenchmark Suite数据集上验证网络的有效性。

具体包括以下几个步骤：

步骤1：结合图1、图2，说明点云分块及训练数据和测试数据分布情况。将NMP3D数据集按10000点数进行分块，分为83个训练区域，其中，MiniLille1、MiniLille2和MiniParis1_1中的60个区域为训练数据，MiniParis1_2中的23个区域为测试数据。

步骤2：结合图3，说明PointEFF网络端对端特征提取层的构建。端对端特征提取层由编码器和解码器两部分组成，其中编码器部分包含三次抽象集合操作，解码器部分包含三次特征传播操作和二组跳跃链接模块。

设定N＝2048，将具有3维位置属性的2048个激光雷达点输入网络中，采样层通过迭代最远点采样算法选取512个中心点，在分组层中，通过球查询算法，设定查询查询半径r＝0.2米，查询点数k＝32 个，搜索质心0.2m范围内相邻的32个点构建中心簇，在通过特征提取层输出512×256维特征图，第一次抽象集合完毕。

对第一次抽象集合得到的512×256维特征图，采样层通过迭代最远点采样算法选取128个中心点，在分组层中，通过球查询算法，设定查询半径r＝0.4米，查询点数k＝64个，搜索质心0.4m范围内相邻的64个点构建中心簇，再通过特征提取层输出128×256维特征图，第二次抽象集合操作完毕。

对第二次抽象集合操作得到的128×256维特征图，再进行第三次抽象集合操作，最终得到1×1024的区域全局特征。网络编码器部分设计完毕。

在第一次特征传播中，首先将编码器得到的1×1024维特征图进行复制操作，得到128×1024维特征图，再通过跳跃链接模块链接同尺度下编码器得到的256维特征，得到128×(1024+256)维特征图，最后通过多层感知器(MLP)，得到128×256维特征图，第一次特征传播完毕。

在第二次特征传播中，利用反距离权重算法(IDW)将第一次特征传播层中得到的128×256维特征图进行插值，得到512×256维特征图，再通过跳跃链接模块链接同尺度下编码器得到的128维特征，得到512×(256+128)维特征图，最后通过多层感知器(MLP)，得到512 ×128维特征图，第二次特征传播完毕。

在第三次特征传播中，利用反距离权重算法(IDW)将第二次特征传播层中得到的512×128维特征图进行插值，得到2048×128维特征图，最后通过多层感知器(MLP)，得到2048×128维特征图，第二次特征传播完毕。网络解码器部分设计完毕。

步骤3：结合图3，说明网络外部特征融合层的构建。

在Windows操作系统下，选择PCL(Point Cloud Library)为平台，提取快速点特征直方图。设置半径为0.03米，计算点云法线。在提取的点云法线的基础上，设置半径为0.04米，计算快速点特征直方图。将计算得到的快速点特征直方图存储在pcd文件中。手工设计描述符提取完毕。

手工设计描述符提取完毕后，将端对端特征提取层得到的N×128维特征图和N×33维快速点特征直方图作为输入传递进外部特征融合模块。在外部特征融合模块中，通过拼接(concatenate)融合端对端特征提取层得到的特征和提取到的手工设计描述符，得到N× (128+33)维特征图。之后将融合得到的特征图作为多层感知机的输入，得到2048×128维特征图。

最后，输入特征图，通过一维卷积得到类别标签，分类完毕。

步骤5：结合图6，说明PointEFF的分类效果

PointEFF分类总体精度见表1，各类别分类精度结果见表2，可以看出，大多数类别都被正确分类，特别是在建筑物和之别这种表面比较粗糙的场景的分类上取得了优异的效果。

表1：PointEFF分类总体精度结果

表2：PointEFF分类各类别分类精度结果

Claims (4)

1.激光雷达点云数据城市地物PointEFF精细分类方法，其特征在于：①通过提取点云手工设计描述符(hand crafted descriptors)，获得更加丰富的点云几何结构信息，解决了传统的基于深度学习的领域特征池化方法在提取点云局部特征时没有考虑点与点之间的结构信息的缺陷②在模型上采样阶段构建外部特征融合模块(External FeatureFusion)模块，改善了传统的基于深度学习的领域特征池化方法在上采样过程中因插值操作造成的点云局部信息损失问题，极大的提高了模型在复杂地物分类上，特别是对粗糙表面分类的分类精度；

其特征还在于由点云数据分块、端对端特征提取层、外部特征融合层组成。

2.根据权利要求1所述的激光雷达点云数据城市地物PointEFF精细分类方法，其特征在于，按如下步骤对点云数据进行分块：

设点集为R，其中第一个点为p₁＝(x₁,y₁,z₁)∈R，其余点为p_R-1＝(x_R-1,y_R-1,z_R-1)∈R，p_R-1到p₁的欧式距离为：

根据每个样本点到p₁的欧式距离和分块区域的点数m，划分出p₁的领域为{p₁,p₁…,p_m}后再迭代计算点集内剩余点到p_m+1点的距离，直至点集内所有点被划分完毕。

3.根据权利要求1所述的激光雷达点云数据城市地物PointEFF精细分类方法，其特征在于，按照如下步骤构建端对端特征提取层：

端对端特征提取层包括网络编码器和解码器两部分；编码器通过抽象集合操作对一组点进行处理和抽象，以递归提取点云局部区域的多尺度特征；解码器通过特征传播操作操作逐渐恢复空间维度，融合编码过程中提取到的特征，在尽可能减少信息损失的前提下完成同尺度的输入输出；二者通过两组跳跃链接模块来传递同尺度的特征；

网络编码器包含三次抽象集合操作，抽象集合由采样层、分组层和特征提取层三部分组成；首先，将具有3维属性(x,y,z)的N个激光雷达点输入到我们的网络中，采样层通过迭代最远点采样算法(Farthest Point Sampling)选择N′点来定义局部区域的N′个质心；

之后在分组层中，通过球查询算法(query ball)，设定半径r，搜索质心范围r内相邻的k点构建局部区域；在执行采样层和分组层之后，激光雷达点被采样成N′中心簇，每个中心簇包含k个点和它们的36维属性，输出涉及一组大小为N′×k×36的点集；最后，我们通过特征提取层将这些局部区域编码为特征向量；将点集输入MLP网络，输出为N′×k×C，其中C为通过MLP提取的特征，每个中心簇再经过最大池化(max-pooling)操作，选取每个中心簇中最大的特征作为区域特征，输出为N′×C；

经过三次抽象集合，直至输出为1×1024的全局特征；

网络解码器由三次特征传播操作和二组跳跃链接模块构成，其利用上采样操作逐渐恢复空间维度，融合编码过程中提取到的特征，在尽可能减少信息损失的前提下完成同尺度的输入输出；在特征传播层中，为了将学习到的特征从采样点传播到原始点，对于通过编码器得到的N″×C′维特征图，首先使用反距离加权算法(Inverse Distance Weighted)进行插值，计算每个待插值点到所有点的距离，计算出权重，将点数从N″插值到N′，得到插值后的N×C维特征图；再通过跳跃链接模块链接同尺度下编码器得到的C维特征图，得到N×(C′+C)维特征图；最后通过多层感知器(MLP)，得到N×C″′维特征图；

在经过三层特征传播层后，得到N×128维特征图。

4.根据权利要求1所述的激光雷达点云数据城市地物PointEFF精细分类方法，其特征在于，按照如下步骤构建外部特征融合层：

外部特征融合层由手工设计描述符的提取和外部特征融合模块构成；本方法选择快速点特征直方图作为外部特征融合模块的输入；

利用最小二乘法平面拟合求得点云法线，根据求得的法向量，建立两点之间的局部坐标系：

μ＝η_s

ω＝μ×υ

点法线对之间的差异可以用以下角度表示：

α＝υ·η_t

θ＝arctan(ω·η_t,μ·η_t)

d＝||p_t-p_s||₂

然后对这些角度量化形成点特征直方图PFH；

快速点特征直方图的特征表示为：

在获取快速点云点特征直方图后，将端对端特征提取层得到的N×128维特征图和N×33维快速点特征直方图作为输入传递进外部特征融合模块；在外部特征融合模块中，端对端特征提取层得到特征为：

x∈R¹²⁸

快速点特征直方图的特征为：

y∈R³³

通过拼接(concatenate)操作得到新的特征图为：

z＝[x,y]∈R¹²⁸⁺³³

拼接操作完毕后，再通过多层感知机，得到N×128维特征图，即每个点都有128维特征；

最后，输入特征图，通过一维卷积得到点云类别标签，激光雷达点云数据城市地物PointEFF精细分类方法设计完。

Images