CN110246112B - 基于深度学习的激光扫描slam室内三维点云质量评价方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的激光扫描SLAM室内三维点云质量评价方法，其包括：S1、通过激光扫描SLAM装置获取优质点云；S2、对优质点云进行降质，获取仿真点云；S3、对仿真点云进行轨迹度量分析；S4、对优质点云与仿真点云提取平面，对平面进行局部一致性噪声分析及几何规则分析，量化点云质量；S5、对优质点云与仿真点云进行分割，得到点云块；S6、将点云块进行归一化后输入到PointNet++神经网络中做模型训练，得到网络模型；S7、将待评价点云通过步骤S4进行点云质量分析，得到点云质量水平值；S8、对待评价点云通过步骤S6得到的神经网络模型进行预测，判断点云属于优质点云或者降质点云。本发明提出了量化点云质量的方法，建立了评价SLAM系统下室内三维点云模型的分类标准及框架。

Description

基于深度学习的激光扫描SLAM室内三维点云质量评价方法

技术领域

本发明涉及三维点云的质量评价领域，具体涉及一种基于深度学习的激光扫描SLAM室内三维点云质量评价方法。

背景技术

近年来，为了满足人们对室内空间信息、定位以及建筑物建模的需求，激光扫描技术也正被应用在室内三维模型重建与制图中。通常，室内激光测图通常采用移动测图系统。目前，移动测图系统普遍采用同时定位与地图重建(SLAM，Simultaneous Localizationand Mapping)方法，能够在短时间内重建甚至恢复出室内场景轮廓。比起地面静态扫描仪，移动测图系统能够通过平台移动，从多角度获取环境数据，得到三维空间的点云，然后通过逆向建模可以得到室内三维模型结构。

虽然基于激光扫描的3D SLAM测图系统可以得到三维点云地图，但是，生成的点云地图有不同的精确程度。在实际测量中，点云存在不同的降质现象，并且引起降质的原因也具有多样性。首先，激光扫描会受到多种因素影响，包括设备误差、室内客观环境、物体结构复杂等。其次，SLAM算法也会影响点云地图的准确性。在实际应用中，我们需要获取可靠准确的点云地图用于模型重建，因此三维点云的质量尤其重要。另一方面，点云的质量意味着SLAM算法结果的准确性，能反映SLAM算法的优劣。因此，对于点云模型质量的分析已经逐渐成为一个重要的研究方向。

本发明将激光扫描SLAM的点云质量评价的原因归纳为如下几个方面：

(1)激光雷达由于不易表示回环，容易产生线性化误差，轨迹容易产生偏离。而对于点云模型的质量评价能直观反映模型空间及结构问题。对于SLAM轨迹偏移评价具有一定辅助作用；

(2)良好的评价标准可以评估点云空间模型的完整度，在只有点云地图的情况下，点云质量能反映SLAM系统的精度和性能；检测出的模型问题部分有利于系统校准误差，便于重新采集数据，配准拼接，以及室内外联合一体化建模等。

(3)评价后的点云模型可以直观显示出SLAM系统拼接和收集过程中出现的问题，可以为进一步实时采集数据做预防和报警。对于室内环境感知、室内建筑模型构图、室内定位等方面具有重要的作用。

目前，对于激光扫描SLAM的点云质量评估主要受到以下几个方面的约束：

(1)首先，室内点云的质量问题有较多表现形式，形成的降质原因也较为复杂，大部分对点云的质量评估采用数据对比的方法，比较生成点云与实际地图的差别，衡量的主要标准是点云的噪声情况。例如围绕尖锐物体的边缘可能会产生较大的噪声，包括较高的入射角度，与物体距离的远近程度以及反射率较差的建筑材料引发的噪声干扰。

(2)其次，对室内点云的质量分析集中在精度描述上，没有形成一个完整的框架和系统。

(3)第三，由于数据来源的多样性以及SLAM算法的差异，增加了评估点云质量的困难。仅仅采用SLAM算法生成的轨迹评判标准估计SLAM系统准确性不够客观，对于SLAM算法生成的点云地图也无法得到准确的评价。

(4)最后，对于采集的室内点云数据以及网络开源数据集，一般只有通过SLAM系统生成的优质点云，较差的降质点云数据来源很少，而降质数据提供了对比参照，对于点云质量的客观分析很有必要。

发明内容

本发明的目的在于对室内点云数据中存在的质量问题进行分析，提供一种基于深度学习的激光扫描SLAM室内三维点云质量评价方法以评价点云质量，从而通过点云的质量评价描述SLAM系统的优劣。

为实现上述目的，本发明采用以下技术方案：

基于深度学习的激光扫描SLAM室内三维点云质量评价方法，包括：

S1、通过激光扫描SLAM装置获取优质点云；

S2、对优质点云进行降质获取仿真点云；

S3、对仿真点云进行轨迹度量分析；

S4、对优质点云与仿真点云提取平面，对平面进行局部一致性噪声分析及几何规则分析，量化点云质量；

S5、对优质点云与仿真点云进行分割，得到每个区域大小一致，形状不同的点云块；

S6、将点云块进行归一化后输入到神经网络中做模型训练，得到网络模型；

S7、将待评价点云通过步骤S4进行点云质量分析，得到点云质量水平值；

S8、对待评价点云通过步骤S6得到的神经网络模型进行预测，判断点云属于优质点云或者降质点云。

进一步地，步骤S2具体包括：

S21、对于点云轨迹的局部特性，通过曲率计算轨迹属于直线或者拐角；

S22、采用标准高斯噪声及一定阈值范围内的信噪比分别对直线轨迹与拐角轨迹进行干扰；

S23、进行曲线拟合完成全局轨迹仿真，获取仿真点云。

进一步地，所述步骤S3具体为：通过轨迹点的欧式距离检查判断轨迹有

无闭合环。

进一步地，步骤S4具体包括：

S41、通过Ransac的算法思想提取点云平面，将点云分割成平面的集合；

S42、对点云平面噪声进行分析：

设N为某平面i上所有点的个数，n_inlier为从某平面i上所有点中选取的候选内点的个数，所述候选内点的选取条件为距离i平面的距离小于阈值ε；则有：

Q_{inlier-points}值越高，则噪声水平越低；

S43、从平面集中选取可能的平面对，对各平面对进行角度关系检查，则有

式中，(A1，B1，C1)和(A2，B2，C2)分别为平面对中平面P1与P2的平面参数；

Q_angle代表平面的几何质量，其值越接近1则平面质量越高。

进一步地，所述步骤S5具体包括：

S51、通过八叉树结构将原始点云体素化后进行网格化处理，得到不同点集的网格分布，获得点云的邻域关系；

S52、更新种子中心点：

从每个种子点开始，计算叶子节点与其最近邻的种子中心的特征距离，则有，

式中，ds为欧式空间距离，dc为颜色距离，df为特征描述子距离，W1、W2及W3分别表示各距离的权重系数，R_seed为给定的空间分辨率；

将特征距离最小的叶子节点赋予与种子点相同的标签，将所有相同叶子节点标签求和再除以该标签的叶子个数得到新的聚类中心；

S53、将得到的聚类中心作为kd-tree邻域搜索中心，搜索一定半径内的点云，根据体素中心对点集进行分割，去除点云密度低于设定阈值的体素中心，获得球状点云块。

进一步地，所述步骤S8中最后预测值是0或者1的表示，0表示正样本，为优质点云，1为负样本，为降质点云。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

1、本发明提出一种数值分析的方法量化点云质量，从结构上对点云进行局部一致性噪声分析以及几何对应规则分析进行评估，以量化点云质量，建立了评价SLAM系统下室内三维点云模型的分类标准及框架。

2、基于SLAM系统，本发明提出一种轨迹仿真方法，模拟点云降质表现情况，以获取大量的降质点云，建立二类质量类型的三维点云数据集。

3、本发明基于深度学习的方法，首先进行点云分割，得到点云块，其后通过人为交互进行数据标记后输入PointNet++深度网络进行特征提取及二类质量分类训练。通过深度学习模型，自动获取点云的质量特征，并自动标记未分类的小块样本数据，对室内点云进行自动评价以及降质点云检测。

附图说明

图1为本发明流程图。

图2为本发明仿真的降质点云与实际点云对比示意图，其中图2(a)为原始轨迹生成点云，图2(b)为混合区域仿真点云；图2(c)为转角区域仿真点云；图2(d)为直线区域仿真点云。

图3是平面分割在室内环境下几种结构的处理结果示意图，其中图3(a)、(b)、(c)、(d)分别原始房间、楼层、走廊及转角的点云数据，图(e)、(f)、(g)、(h)为对应的处理结果示意图。

图4为采用深度学习的方法做点云分类及降质点云预测的结果示意图；其中，图4(a)是采集的原始优质点云；图4(b)是采用本发明的仿真方法构建的局部仿真轨迹，灰色的表示仿真轨迹，黑色的是原始轨迹；图4(c)采用局部仿真轨迹生成的局部降质的三维点云；图4(d)为降质点云预测，灰色为降质点云。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

请参考图1所示，本发明公开了一种基于深度学习的激光扫描SLAM室内三维点云质量评价方法，其主要包括以下步骤：

S1、通过激光扫描SLAM装置获取优质点云以及轨迹数据。

S2、对优质点云进行降质获取仿真点云。

具体地，步骤S2具体包括3个步骤：

S21、对于点云轨迹的局部特性，通过曲率计算轨迹是属于直线或者拐角。

S22、分别对两种轨迹进行噪声干扰，我们先使用标准高斯噪声N(μ,σ^2)以及一定阈值范围内的信噪比SNR对轨迹进行正确的轨迹进行干扰。

S23、由于高斯噪声是随机偏差，而轨迹是具有一定顺序和朝向的，因此，经过高斯变换的轨迹需要再进行曲线拟合。

S3、对仿真点云进行轨迹度量分析。

由于轨迹的闭环在一定程度上会修正轨迹的误差，因此轨迹闭环检测在实际SLAM算法中尤为重要。本发明中轨迹有无闭合环的判断可以通过轨迹点的欧式距离检查。假设轨迹在第j帧回到原始点第i帧处，考察i前后路径看是否与j周围的路径的欧式距离也在ε范围内，如果在此范围，则可以认为是一段闭环路径。如此，经过全局轨迹变换，原始的轨迹发生了偏移，沿着轨迹生成了3D点云环境地图。

S4、对优质点云与仿真点云提取平面，对平面进行局部一致性噪声分析及几何规则分析，量化点云质量。

S41、通过Ransac的算法思想提取点云平面，将点云分割成平面的集合。如此，对于给定点云，将其划分为K个平面{1,2,3,…,i,…k}。

S42、对点云平面噪声进行分析：

假定N是某平面i上所有点的个数，{Rn}表示该平面上所有点的集合，则所有{Rn}中的元素到平面方程的距离小于一定距离Dn。对于{Rn}内的点，将部分点作为候选内点(n_inliers)，候选内点表示构成平面的实际点的个数。所述候选内点的选取条件为距离i平面的距离小于阈值ε，一般可以取ε＝1e-3，即可得到候选内点的个数n_inliers。

则有：

如此，即可对点云平面噪声进行分析，最后对各平面的Q_{inlier-points}值取均值，Q_{inlier-points}值越高，则表面噪声水平越低，点云质量越好。

S43、从平面集中选取可能的平面对，对各平面对进行角度关系检查。

与平面数据噪声不同，建筑物室内结构的几何规则特性对于观测者来说往往是最直观的展现，在室内环境中，平面的几何关系一般可以被描述为垂直和平行两种基本性质。例如，墙面与地面垂直，走廊两测墙面平行，楼层中地面与天花板平面平行。特征分析过程如下：

1)选取一定区域内点云，经过前述分割的平面集，我们可以得到关于所有平面的相关系数(Ai，Bi，Ci，Di)，不断从平面集中选取一对平面p1(A1，B1，C1，D1)和P2(A2，B2，C2，D2)做几何规则分析；

2)几何分析主要对平面对P1和P2进行角度关系检查。其中，两平面的角度关系可以由下式计算得到：

若一对平面是平行的，则角度α≈0；若平面对是垂直的，则两平面夹角α≈π/2，则有：

Q_angle代表平面的几何质量，其值越接近1则平面质量越高，最后取均值，即可获得点云的几何(结构)质量值。

如下表是本发明中点云质量分析的量化实验，其中噪声质量和结构质量是采用本发明中的局部一致性噪声分析和几何对应关系分析的质量水平值。

S5、对优质点云与仿真点云进行分割，得到每个区域大小一致，形状不同的点云块。

由于深度学习网络需要进行样本预处理，对于大片的室内点云地图需要进行一定的区域分割。因此这个步骤首先将复杂场景分为具有一定特征的单元，对于每一个单元可以输入到深度网络中学习特征，另一方面也可以用作检测异常区域的小单元，判断是失真点云还是优质点云，因此，所述步骤S5具体包括：

S51、先通过八叉树(Octree Tree)结构先将原始点云体素化后进行划分，体素化后可以得到不同点云的网格分布，划分后得到点云的邻域关系。每个聚类立方体是八叉树中的每个叶子节点，然后，整个网格空间被均匀划分成小立方体。

S52、更新种子中心点：

从每个种子点开始，计算叶子节点与其最近邻的种子中心的特征距离，则有，

式中，ds为欧式空间距离，dc为颜色距离，df为特征描述子距离，W1、W2及W3分别表示各距离的权重系数，R_seed为给定的空间分辨率；

将特征距离最小的叶子节点赋予与种子点相同的标签，将所有相同叶子节点标签求和再除以该标签的叶子个数得到新的聚类中心。

即，假设上一次迭代聚类中心为{R_1,R_2,…,R_k}，叶子节点

的标签为第k个聚类中心，则有，

S53、将得到的聚类中心作为kd-tree邻域搜索中心，搜索半径是1m内的点云，根据体素中心对点集进行分割，去除点云密度低于设定阈值的体素中心，获得球状点云块。

S6、将点云块进行归一化后输入到PointNet++神经网络中做模型训练，学习点云的质量特征，采用多层网络感知机，调参训练模型参数，得到网络模型文件。

S7、将待评价点云通过步骤S4进行点云质量分析，得到点云质量水平值。

S8、对待评价点云通过步骤S6得到的神经网络模型进行预测，判断点云属于优质点云或者降质点云。得到最后预测值是0或者1的表示。0表示正样本，是优质点云；1为负样本，是降质点云。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.基于深度学习的激光扫描SLAM室内三维点云质量评价方法，其特征在于，包括：

S1、通过激光扫描SLAM装置获取优质点云；

S2、对优质点云进行降质获取仿真点云；

S3、对仿真点云进行轨迹度量分析；

S4、对优质点云与仿真点云提取平面，对平面进行局部一致性噪声分析及几何规则分析，量化点云质量；

步骤S4具体包括：

S41、通过Ransac的算法思想提取点云平面，将点云分割成平面的集合；

S42、对点云平面噪声进行分析：

设N为某平面i上所有点的个数，

为从某平面i上所有点中选取的候选内点的个数，所述候选内点的选取条件为距离i平面的距离小于阈值ε，则有：

，

值越高，则噪声水平越低；

S43、从平面集中选取可能的平面对，对各平面对进行角度关系检查，则有

；

式中，（A1，B1，C1）和（A2，B2，C2）分别为平面对中平面P1与P2的平面参数；

式中，Q_angle代表平面的几何质量，其值越接近1则平面质量越高；

S5、对优质点云与仿真点云进行分割，得到每个区域大小一致，形状不同的点云块；

S6、将点云块进行归一化后输入到神经网络中做模型训练，得到网络模型；

S7、将待评价点云通过步骤S4进行点云质量分析，得到点云质量水平值；

S8、将待评价点云通过步骤S6得到的神经网络模型进行预测，判断点云属于优质点云或者降质点云。

2.如权利要求1所述的基于深度学习的激光扫描SLAM室内三维点云质量评价方法，其特征在于：步骤S2具体包括：

S21、对于点云轨迹的局部特性，通过曲率计算轨迹属于直线或者拐角；

S22、采用标准高斯噪声及一定阈值范围内的信噪比分别对直线轨迹与拐角轨迹进行干扰；

S23、进行曲线拟合完成全局轨迹仿真，获取仿真点云。

3.如权利要求1所述的基于深度学习的激光扫描SLAM室内三维点云质量评价方法，其特征在于，所述步骤S3具体为：通过轨迹点的欧式距离检查判断轨迹有无闭合环。

4.如权利要求1所述的基于深度学习的激光扫描SLAM室内三维点云质量评价方法，其特征在于：所述步骤S5具体包括：

S51、通过八叉树结构将原始点云体素化后进行网格化处理，得到不同点集的网格分布，获得点云的邻域关系；

S52、更新种子中心点：

从每个种子点开始，计算叶子节点与其最近邻的种子中心的特征距离，则有，

；

式中，ds为欧式空间距离，dc为颜色距离，df为特征描述子距离，W1、W2及W3分别表示各距离的权重系数，R_seed为给定的空间分辨率；

将特征距离最小的叶子节点赋予与种子点相同的标签，将所有相同叶子节点标签求和再除以该标签的叶子个数得到新的聚类中心；

S53、将得到的聚类中心作为kd-tree邻域搜索中心，搜索一定半径内的点云，根据体素中心对点集进行分割，去除点云密度低于设定阈值的体素中心，获得球状点云块。

5.如权利要求4所述的基于深度学习的激光扫描SLAM室内三维点云质量评价方法，其特征在于：所述步骤S8中最后预测值是0或者1的表示，0表示正样本，为优质点云，1为负样本，为降质点云。

Images