CN102034104B - 三维点云中基于随机采样一致性的特征线检测方法 - Google Patents

Abstract

本发明公开了一种三维点云中基于随机采样一致性的特征线检测方法。该方法通过基于随机采样一致性在点云中检测出多个平面，然后将每个平面参数化域的边界点作为候选，在这些候选点上再应用随机采样一致性得到最终的特征线，从而有效降低噪声、外点和数据缺失的影响，大大增强特征线检测的鲁棒性，并提高了时间效率。

Description

三维点云中基于随机采样一致性的特征线检测方法

技术领域

本发明涉及三维点云数据中的特征提取方法，特别是在点云数据具有较大的噪声及较多外点时有效地提取特征线的方法。

背景技术

随着三维激光扫描仪在逆向工程、城市建模、文物保护、地质勘测、数字娱乐等各个领域的迅速普及与应用，三维点云数据(Point Cloud)逐渐成为三维几何模型常用的表示方式之一。

点云，顾名思义，即由大量无组织、无结构的三维点(一般为坐标位置，也可以包含法向量、颜色等其他属性)来表示三维物体的空间分布和表面特性，点与点之间不存在拓扑关系，这与传统的基于网格(三角形网格或多边形网格)的模型表示方法中存在已知的点连接关系有着根本的不同。因此，点云数据具有更为简单的数据结构，但这同时也决定了点云的数据量通常比网格大得多。

尽管三维扫描仪可以不依赖于外界光照条件直接精确地获取三维点云，由于扫描仪中传感器本身固有的物理特性限制，得到的点云不可避免地会包含噪声(Noise)；同时，扫描数据的规格化处理以及扫描过程中扫描仪和被扫描物体之间的相对移动都会加剧噪声。其次，扫描中激光的多次反射则会导致最终得到的点云中包含相当一部分的外点(Outlier)，即远离被扫描物体表面的点。最后，由于扫描场景中多个物体以及单个物体本身存在的遮挡，物体本身的透明特性，或者扫描过程中的路线或位置限制(如建筑物的顶部)，最终得到的点云通常会包含有许多空洞。因此，高效、鲁棒的点云数据处理方法是当前学术界和工业界共同关注的热点之一。

在众多方法之中，基于特征线的方法由于具有较高的鲁棒性，近些年受到了普遍关注。点云的特征线可以看作是由扫描物体上尖锐特征(Sharp Feature)或高曲率部分采样得到的点构建的线段或曲线。相对于点云的无组织特性，从中提取的特征线由于反映了较高层次的数据点分布模式，从而更能刻画三维物体的几何特征。点云特征线在点云处理中具有重要的应用，目前已用于对称性检测，表面重建及点云/图像注册等。当前已有的特征线检测方法可以大体上分为三类：

1.基于局部平面性分析的方法

Gumhold等人于2001年提出了基于局部平面性分析的方法，其主要思想是对点云P中每个点p_i，查询出该点的k个最近的相邻点N_i，然后对N_i中的点进行协方差分析(CovarianceAnalysis)，得到由N_i中的点构造的协方差矩阵的三个特征值，根据三个特征值的相对大小来确定p_i成为特征点的可能性，以此作为p_i的权值w_i。而后依据每个点的权值建立整个点云的最小生成图(Minimum Spanning Graph)，最小生成图中的点则构成了特征线的候选点，通过裁减之后再使用样条函数对这些候选点进行拟合得到最终的特征线。Pauly等人于2003年将协方差分析部分扩展为多尺度实现，并采用活动轮廓线(Active Contour)取代样条函数，从而可以更有效地处理噪声。这类方法的缺点是无法处理点云中的外点。

2.基于点云分割的方法

Demarsin等人于2006年提出了点云中封闭特征线的检测方法。该方法首先为每个点p_i计算法向量n_i，然后根据n_i之间的相似性(即夹角大小)，采用区域增长的方法将整个点云分割为多个簇(Cluster)，而位于特征线上的点由于其相邻点的法向量变化较大，形成的簇较小。将具有较小簇的点作为候选，构建最小生成树(Minimum Spanning Tree)，最后将最小生成树中的边进行裁剪、平滑处理得到特征线。为了有效处理较大的噪声以及外点，DanielsII等人在2007年采用鲁棒的最小二乘方法(Robust Moving Least Squares)对每个p_i的局部邻域进行分类，局部邻域可以划分为两个及两个以上的p_i经投影后被选中作为特征线的候选点，而后对这些点进行主元素分析(Principal Component Analysis)，将各个点连接为特征线。随后他们在2008年采用样条函数对候选点进行拟合得到更为光滑的特征线。这种方法的缺陷是计算开销较大，而且主要依赖于点云的局部分析而没有考虑全局特性。

3.基于滑动性分析的方法

在基于特征线进行对称性检测的工作中，Bokeloh等人于2009年提出了基于滑动性(Slippage，用于刻画点在物体表面的运动约束)分析的特征线检测方法。与前面的两类方法不同，这种方法首先借助于滑动性分析，为每个点p_i计算出最可能的刚性运动(Rigid)的运动方向，并得到平移向量；然后选择出只可沿一个特定方向运动的点，并借助于类似于移动最小二乘(Moving Least Squares)投影(Projection)机制将这些点投影到邻近的曲率最大的位置。而后将这些点相互连接形成最后的特征线。为了减小时间开销，此方法在投影之前对原有点云进行了下采样(Down-sampling)。此方法可以同时得到每个点的曲率，并具有较高的稳定性。由于此方法在计算过程中由于借助了局部区域的曲率计算，因而无法适用于具有较大噪声和较多外点的复杂点云。

根据专利文献检索，目前只有一个申请号为20100034422的美国专利介绍了点云模型中线性特征(直线和平面)的检测方法，其主要目的是根据检测出的这些线性特征进行对象跟踪，如无人驾驶环境中的障碍物跟踪。专利中所陈述的方法与Demarsin等人的根据法向量进行聚类的方法类似，并通过根据数据的局部性(Locality)确定最优邻域来处理稀疏的点云数据。因此，此专利的方法同样受限于噪声和外点干扰较大时的应用场景。

总之，尽管已有的点云特征线检测算法已经能够得到较好的结果，但在有效处理较大噪声、较多的外点、较大的数据缺失以及时间开销等方面存在一定的局限性。

发明内容

本发明要解决的技术问题是提供一种鲁棒的三维点云中特征线检测方法，此方法可以有效应对点云数据中不可避免的噪声、外点和数据缺失，并具有较低的时间开销，从而为各种基于特征线的点云处理方法提供良好的初始输入。

本发明基于随机采样一致性(RANdom SAmpling Consensus，RANSAC)，实现了一种点云特征线提取方法。本发明首先通过基于随机采样一致性在点云中检测出多个平面，然后将每个平面参数化域的边界点作为候选，在这些候选点上再应用随机采样一致性得到最终的特征线，从而有效降低噪声、外点和数据缺失的影响，大大增强特征线检测的鲁棒性，并提高了时间效率。

本发明技术方案如下：

第一步，基于随机采样一致性(RANdom SAmpling Consensus，RANSAC)的平面检测。

本步骤采用的是点云中基于RANSAC的基元检测方法。其方法是在点云中随机选取三个点确定一个平面，然后根据点云中其余点到平面的距离以及法向量的偏差选择出一个最优平面，即能够被此平面拟合的点的数目最大，其过程如下：

1.1从点云中随机选择三个点

1.2根据选择的三个点的位置构造一个估计平面，即根据三个点的位置构造一个平面L^t；

1.3根据三个点的法向量以及估计平面的法向量判断平面是否有效；

1.4计算点云中其余点到估计平面的距离以及与法向量的夹角，将满足阈值的点的个数作为当前估计平面的分数，更新最优平面的分数及参数；

1.5判断是否达到最大采样次数，如果未达到，则执行步骤1.1～1.4，否则继续；

1.6将选择出的最优平面记录并将被此最优平面拟合的点从点云中移除；

1.7判断剩余的点是否可以形成或可以拟合某个特定数目点的平面，如果可以，则执行步骤1.1～1.6，否则执行结束，返回数据。

此外，基于RANSAC的基元检测方法中还可采取局部采样策略和评价函数估计来提高RANSAC的效率，并借助连通性检查确保每个平面所包含的点都是相互连通的。

第二步，特征线候选点提取。完成平面检测之后，将每个平面L所能拟合的点(即计入分数的点)

投影到L上，并将投影区域的边界点作为构成特征线的候选点，过程如下：

2.1计算点

到平面L的投影，具体流程是：

2.1.1计算与平面L上一点L_p之间的差向量

2.1.2计算

在平面L上的

坐标

2.1.3计算

在平面L上的

坐标

其中L_Du和L_Dv为平面L上两个相互正交的方向，它们与L的法向量L_n共同构成了一个局部坐标系。

2.2构建平面上投影点的位图，具体流程是：

2.2.1遍历L上的每个投影点

计算出最小长方形包围盒B，其中B的边与L_Du和L_Dv平行；

2.2.2按照分辨率κ(预先设定的阈值，可以依赖于整个点云模型的大小)将B划分为均匀的二维网格，每个格子的初始值为0；

2.2.3再次遍历L上的每个投影点

如果有某个点落入划分后的某一个格子中，则将格子的值设为1；

2.2.4同时计算出每个投影点落入的格子索引。

2.3在位图中检测边界点，此处按照先行后列的顺序遍历2.2中构建的位图，并按照8邻域(上、下、左、右、左上、右上、左下、右下)检测出存在值为0的邻居的格子。具体流程是：

2.3.1遍历位图第一行，如果某个格子的值为1，则记为边界点；

2.3.2遍历位图中第二行至倒数第二行，对第一个格子和最后一个格子，如果其值为1，则记为边界点；对于中间的格子，则统计其8邻域中值为1的邻居，如果值为1的邻居的数目小于δ(预先设定的阈值，一般为6)，则记为边界点；

2.3.3遍历位图的最后一行，如果某个格子的值为1，则记为边界点；

2.4将在位图中检测出的边界点对应的投影点作为候选点输出。由于在2.2.4中已经记录了每个投影点落入的格子索引，此处可以快速实现。

第三步，基于随机采样一致性的特征线检测。在得到特征线的候选点之后，接下来将在这些候选点中检测出特征线，这与第一步的框架类似，流程如下：

3.1基于随机采样一致性的直线检测，记第二步中检测出的候选点集合为Q＝{q_j}，流程如下：

3.1.1从候选点中随机选择两个点；

3.1.2根据选择的两个点的位置构造一条估计直线；

3.1.3计算候选点中其余点到估计直线的距离，将满足阈值的点的个数作为当前估计直线的分数，更新最优直线的分数及参数；

3.1.4判断是否达到最大采样次数，如果未达到，则执行步骤3.1.1～3.1.3，否则继续；

3.1.5将选择出的最优直线记录并将被此最优直线拟合的点从候选点中移除；

3.1.6判断剩余的点是否可以形成至少可以拟合某个特定数目点的直线，如果可以，则执行步骤1，否则执行结束，返回数据。

3.2全局一致性约束，与Schnabel等人的方法不同的一点是，为了增强方法的鲁棒性，本发明不再假设特征线上的点是相互连通的，因此可以更大限度地消除噪声的影响，使得到的特征线的方向更为精确。

第四步，基于主成分分析(Principal Component Analysis)的线段参数计算。由第三步确定特征线的方向和位置之后，需要将位于特征线上的点按照其相邻关系划分为不同的区域，并为每个区域计算出一条线段，流程如下：

4.1对于每条特征线，将满足距离约束的点按照距离阈值λ划分为多个区域，即如果两个边界点的之间的距离小于λ，则认为它们处于同一条线段中；

4.2对于每个区域中的所有点，计算其重心位置，并构造协方差矩阵，而后对此矩阵进行特征值分解，选取最大特征值对应的特征向量作为线段的方向；

4.3为区域内的所有点构造与轴方向平行的最小长方体包围盒，并将包围盒的中心投影到4.2得到的直线上作为线段的中点；

4.4由中点按照直线的正反方向移动包围盒长度的一半，将得到的两个点作为最终特征线段的两个端点。

采用本发明可以达到以下技术效果：

(1)有效降低噪声、外点和数据缺失的干扰；RANSAC本身与生俱来的特性保证了本发明可以有效处理数据中的各种缺陷；

(2)得到更为准确的特征线；在检测特征线时不考虑连通性，而使用全局性约束得到精确的特征线方向；

(3)时间开销较低，可以处理大规模点云，这对应对日益增长的点云数据规模来说至关重要；

(4)特别适用于城市建模中由具有规则结构的建筑物扫描得到的点云数据。

附图说明

图1是本发明的总流程图。

图2是基于RANSAC的平面检测流程图。

图3是点到平面的投影示例。

图4是平面上根据投影点构造位图的示例。

图5是位图中边界点的检测示例。

图6是基于RANSAC的特征线检测流程图。

具体实施方式

图1所示是本发明的总流程图。主要流程是：

步骤1，基于随机采样一致性的平面检测。

步骤2，特征线候选点提取，将检测出的平面所能拟合的点投影到平面上，构造位图并选择出边界点作为候选点。

步骤3，在候选点上应用随机采样一致性检测出特征线所在的直线。

步骤4，基于主成分分析(Principal Component Analysis)的线段参数计算，将每条直线所能拟合的点划分为多个相互连通的区域，为每个区域计算线段的起点和终点。

图2是基于RANSAC的平面检测流程图。主要流程是：

步骤1，在点云P中随机选择

三个点；

步骤2，根据

的位置构造一个平面L^t；

步骤3，计算L的法向量n^t与

的法向量

的夹角，如果存在一个夹角过大，则舍弃L^t并转1.1；否则继续；

步骤4，计算P中其余点p_i到L^t的距离d_i以及与n^t的夹角σ_i，并统计d_i小于阈值ε以及σ_i小于阈值α的点的个数作为L^t的分数

步骤5，重复步骤1～4T次，选择出得分最高的平面L^t*；其中T由以下公式确定：

$T=\frac{\log (1-\mathrm{\Φ})}{\log (1-{(1-\mathrm{\τ})}^3)}$

式中τ为位于L^t*之外的点所占比例的估计值，Φ为经过T次采样之后最优平面被选中的概率，此公式由统计学规律得出；

步骤6，记录L^t*并在点云P中移除计入

的点；

步骤7，判断剩余的点是否可以形成或可以拟合某个特定数目点的平面，如果可以，则执行步骤1～6，否则执行结束，返回数据。

图3是点到平面的投影示例。对于在某个平面L能拟合的点，首先计算

与平面L上一点L_p之间的向量差

然后计算

在平面L上的

坐标

以及

在平面L上的坐标

L_Du和L_Dv为平面L上两个相互正交的方向，它们与L的法向量L_n共同构成了一个局部坐标系。

图4是平面上根据投影点构造位图的示例。遍历L上的每个投影点

计算出最小长方形包围盒B，其中B的边与L_Du和L_Dv相平行；按照分辨率κ将B划分为均匀的二维网格，如果有某个点落入划分后的某一个格子中，则将格子的值设为1(图中带有栅格的格子)。

图5是位图中边界点的检测示例。按照先行后列的顺序遍历位图并按照8邻域(上、下、左、右、左上、右上、左下、右下)检测出存在值为0的邻居的格子。图中带有对角线纹理的格子即为边界点。需要注意的是，由于将阈值δ设为6，位图的中间也检测出两个边界点，但此类边界点通常只占较小的比例，在基于RANSAC的直线检测时一般会被忽略掉。

图6是基于RANSAC的特征线检测流程图。记检测出的候选点集合为Q＝{q_j}主要流程是：

步骤1，在Q中随机选择两个点；

步骤2，根据

的位置构造一条直线I^m；

步骤3，计算Q中其余点q_j到I^m的距离d_j，并统计d_j小于阈值ξ的点的个数作为I^m的分数

步骤4，重复步骤1～3M次，选择出得分最高的直线I^m*；其中M由以下公式确定：

$M=\frac{\log (1-\mathrm{\Ψ})}{\log (1-{(1-\mathrm{\η})}^2)}$

其中η为位于I^m*之外的点所占比例的估计值，Ψ为经过M次采样之后最优直线被选中的概率，此公式同样由统计学规律得出；

步骤5，记录I^m*并在Q中移除计入

的点；

步骤6，重复步骤1～5，直至无法从剩余的点中选择出一个得分至少为阈值S′₀的直线。

Claims (3)

1.三维点云中基于随机采样一致性的特征线检测方法，通过基于随机采样一致性在点云中检测出多个平面，然后将每个平面参数化域的边界点作为候选检测特征线，其特征在于该方法的具体步骤为：

步骤1，基于随机采样一致性的平面检测；

步骤2，特征线候选点提取，将检测出的平面所能拟合的点投影到平面上，构造位图并选择出边界点作为候选点；过程如下：

2.1计算点到平面L的投影，具体流程是：

2.1.1计算                                                

与平面L上一点L _p 之间的差向量

；

2.1.2计算

在平面L上的

坐标

；

2.1.3计算在平面L上的

坐标

；

其中

和为平面L上两个相互正交的方向，它们与L的法向量L _n 共同构成了一个局部坐标系；

2.2构建平面上投影点的位图，具体流程是：

2.2.1遍历L上的每个投影点（,

），计算出最小长方形包围盒B，其中B的边与

和

平行；

2.2.2按照分辨率

，预先设定的阈值，可以依赖于整个点云模型的大小，将B划分为均匀的二维网格，每个格子的初始值为0；

2.2.3再次遍历L上的每个投影点（

,

），如果有某个点落入划分后的某一个格子中，则将格子的值设为1；

2.2.4同时计算出每个投影点落入的格子索引；

2.3在位图中检测边界点，此处按照先行后列的顺序遍历2.2中构建的位图，并按照8邻域，上、下、左、右、左上、右上、左下、右下，检测出存在值为0的邻居的格子，具体流程是：

2.3.1遍历位图第一行，如果某个格子的值为1，则记为边界点；

2.3.2遍历位图中第二行至倒数第二行，对第一个格子和最后一个格子，如果其值为1，则记为边界点；对于中间的格子，则统计其8邻域中值为1的邻居，如果值为1的邻居的数目小于

，

为预先设定的阈值，则记为边界点；

2.3.3遍历位图的最后一行，如果某个格子的值为1，则记为边界点；

2.4将在位图中检测出的边界点对应的投影点作为候选点输出；

步骤3，在候选点上应用随机采样一致性检测出特征线所在的直线；

步骤4，基于主成分分析的线段参数计算，将每条直线所能拟合的点划分为多个相互连通的区域，为每个区域计算线段的起点和终点，具体流程为：

（1.1）对于每条特征线，将满足距离约束的点按照距离阈值

划分为多个区域，即如果两个边界点的之间的距离小于

，则认为它们处于同一条线段中；

（1.2）对于每个区域中的所有点，计算其重心位置，并构造协方差矩阵，而后对此矩阵进行特征值分解，选取最大特征值对应的特征向量作为线段的方向；

（1.3）为区域内的所有点构造与轴方向平行的最小长方体包围盒，并将包围盒的中心投影到 (1.2)得到的直线上作为线段的中点；

（1.4）由中点按照直线的正反方向移动包围盒长度的一半，将得到的两个点作为最终特征线段的两个端点。

2.根据权利要求1所述的三维点云中基于随机采样一致性的特征线检测方法，其特征在于：基于随机采样一致性RANSAC的平面检测，采用的是点云中基于RANSAC的基元检测方法，该方法是在点云中随机选取三个点确定一个平面，然后根据点云中其余点到平面的距离以及法向量的偏差选择出一个最优平面，即能够被此平面拟合的点的数目最大，其过程如下：

步骤2.1、从点云中随机选择三个点

；

步骤2.2、根据选择的三个点的位置构造一个估计平面，即根据三个点

的位置构造一个平面L ^t ；

步骤2.3、根据三个点的法向量以及估计平面的法向量判断平面是否有效； 

步骤2.4、计算点云中其余点到估计平面的距离以及与法向量的夹角，将满足阈值的点的个数作为当前估计平面的分数，更新最优平面的分数及参数； 

步骤2.5、判断是否达到最大采样次数，如果未达到，则执行步骤2.1~2.4，否则继续； 

步骤2.6、将选择出的最优平面记录并将被此最优平面拟合的点从点云中移除； 

步骤2.7、判断剩余的点是否可以形成或可以拟合某个特定数目点的平面，如果可以，则执行步骤2.1~2.6，否则执行结束，返回数据。

3.根据权利要求1所述的三维点云中基于随机采样一致性的特征线检测方法，其特征在于在得到特征线的候选点之后，接下来将在这些候选点中检测出特征线，主要流程是：

步骤3.1，从候选点中随机选择两个点；

步骤3.2，根据选择的两个点的位置构造一条估计直线；

步骤3.3，计算候选点中其余点到估计直线的距离，将满足阈值的点的个数作为当前估计直线的分数，更新最优直线的分数及参数；

步骤3.4，判断是否达到最大采样次数，如果未达到，则执行步骤3.1，否则继续；

步骤3.5，将选择出的最优直线记录并将被此最优直线拟合的点从候选点中移除；

步骤3.6，判断剩余的点是否可以形成至少可以拟合某个特定数目点的直线，如果可以，则执行步骤3.1，否则执行结束，返回数据。

Images