CN106228539B - 一种三维点云中多种几何基元自动识别方法 - Google Patents

Abstract

本发明公开一种三维点云中多种几何基元自动识别方法，其包括，对输入的三维点云进行预处理，即体素滤波，基于Kd树建立邻域结构并估计点的法向量；对点云进行邻域关系的确定，再对点云进行抽样；计算样本点邻域的协方差矩阵，分析三个特征值的大小关系，根据共面规则生成相应的初始几何基元模型；根据初始几何基元的模型分别构建相应的能量方程，按照能量优化框架进行平面、球面和柱面能量计算；循环迭代以上步骤，对多种几何基元的能量进行最小化，利用最优化算法求解得到最优意义下的几何基元参数，从而实现几何基元模型参数的精化，最终输出多种几何基元的参数和内点。采用本发明的技术方案，不仅具有应用范围广、参数估计准确、抗干扰能力强等特点，而且大大提高了对三维点云的识别与分析能力。

Description

一种三维点云中多种几何基元自动识别方法

技术领域

本发明涉及计算机视觉的三维感知和机器人导航技术领域，尤其涉及三维点云中物体的自动检测与识别的方法。

背景技术

近年来，计算机视觉研究蓬勃发展，研究者们不断创造出开创性的算法理论，设计出崭新的产品技术，从而赋予了机器越来越接近人类的视觉能力，给人们的生活和工作带来了翻天覆地的变化。特别是高性能的摄像摄影设备的普及、计算机运算速度飞速提升以及具有学习能力的算法理论的突破，使得计算机视觉在机器人、安防监控、工业生产、游戏娱乐和医学影像等各个领域发挥了重要作用。RGB-D这一高性能摄影设备是新近出现的新产品、新技术的代表之一。它可以便捷的同时获取到彩色(RGB)和深度(D)信息，突破了原有的普通摄像机和激光扫描仪只能采集彩色或深度一种信息的局限。这类设备的出现和快速发展，使得以光学方式获取3D数据变得方便快捷、成本低廉。但随之出现了一个挑战性问题：如何利用计算机自动分析、感知采集到的庞大的3D数据。从3D点云中自动检测几何特征识别平面、球面和柱面等几何基元，是计算机感知世界的一个基础性问题。解决该问题可以降低计算机感知环境的难度，缩小高层语义和底层视觉特征之间的语义鸿沟，有助于使计算机像人一样来分析和感知世界，实现智能操作。因此，提出一种多几何基元的识别方法。

三维点云中几何基元识别算法主要是借鉴二维图像中几何基元识别的算法思想来实现的，这些常见的算法为Hough变换、RANSAC(Random Sample Consensus)和区域生长(Region Growing)等。Hough变换能快速准确的拟合出平直线和平面，但不能同时识别多个不同类别的模型。RANSAC算法能检测出超过50％外点的模型，是最常用的鲁棒估计算法，但需要对全局数据进行验证计算量大。Hough变换和RANSAC算法都需要利用贪婪搜索法穷举出数据中所有可能存在的模型，然后根据距离阈值约束找到模型的内点。这类方法较高效地处理单个模型，但在拟合多个模型时会漏掉某些模型；对距离阈值非常依赖，通常需要人为不断调整距离阈值的取值；并且不能从全局分析各个模型间内点的归属关系。区域生长算法需要预先手动选取一些内点再扩大生长，不能完全由计算机自动进行分析，而且对外点和噪声非常敏感，鲁棒性较差。这些法方法的主要问题：一是不能同时能识别多种几何基元；二是对外点和噪声的抗干扰能力差；三是依赖角度和阈值来判断几何基元的内点，自动化程度低。

发明内容

本发明要解决技术问题是，提供一种实用的、高精度的三维点云中多种几何基元的自动识别方法。

为解决上述问题，本发明采用如下的技术方案：

一种三维点云中多种几何基元自动识别方法包括以下步骤：

步骤1、对获取的三维点云进行体素滤波，基于Kd树建立邻域结构并估计点的法向量；

步骤2、对点云进行邻域关系的确定，再对点云进行抽样；

步骤3、计算样本点邻域的协方差矩阵，分析三个特征值的大小关系，根据共面规则生成相应的初始几何基元模型；

步骤4、根据初始几何基元的模型分别构建相应的能量方程，按照能量优化框架进行平面、球面和柱面能量计算；

步骤5、循环迭代以上步骤，对多种几何基元的能量进行最小化，利用最优化算法求解得到最优意义下的几何基元参数，实现几何基元模型参数的精化，最终输出多种几何基元的参数和内点。

作为优选，步骤3具体为：

采用协方差矩阵来表示具有三个离散型随机变量的三维点云坐标之间的相关性，设存在子点集P＝{p_i,...p_N}，矢量p_i＝(x_i,y_i,z_i)∈P，子点集的质心p_c＝(x,y,z)，则该子点集的算协方差矩阵为：

其中，协方差矩阵的特征值为λ₁、λ₂和λ₃，设它们的大小关系为依次变大，特征值的阈值为σ，子点集的初始化模型规则：

当|λ₁|＜σ时，|λ₁|＜＜|λ₂|且|λ₁|＜＜|λ₃|，在此子点集内生成平面初始模型；

当|λ₁|＞σ时，|λ₂|≈|λ₃|，在此点集上生成柱面模型；

当|λ₁|＞σ时，|λ₁|≈|λ₂|≈|λ₃|，在此点集上生成球面模型。

作为优选，步骤4具体为：

1)计算初始平面几何基元的能量方程，

其中，E(P₀)为初始平面几何基元P₀的能量，公式(1)中右边第一项为误差能量，通过点到平面的距离来表示，设点p的坐标为p＝(x_p,y_p,z_p)，平面标签L_p对应平面模型的参数为P_i＝{a_i,b_i,c_i,d_i}，其中法向量(a_i,b_i,c_i)为经过归一化的单位向量；公式(1)中右边第二项为平滑能量，δ(·)为指示函数，ω_pq为惩罚系数；公式(1)中右边第三项为标签能量，产生的平面的个数即标签的个数为|L₀|，它的权重系数为β；η为10倍的外点比率；

2)计算球面几何基元的能量方程的方式如下：

其中，E(S₀)为球面几何基元S₀的能量，公式(2)中第一项为误差能量，d_p表示点p到球面S(l(p))球心的距离，

公式(2)中第二项和第三项为平滑能量和标签能量，产生的球面的个数即标签的个数为|S₀|；

3)计算柱面几何基元的能量方程的方式如下：

其中，E(C₀)为柱面几何基元C₀的能量，公式(3)中的第一项为误差能量，通过计算点到估计柱面的距离来表示，D为点p_p到柱面轴线的距离，计算方式为：

其中，p₁与p₂为柱面轴线上两点，由向量积再求模长得到点p_p到轴的距离和向量p₂p₁的模长的积，再除以p₂p₁的模长就是p_p点到轴线的距离，

公式(3)中第二项和第三项为平滑能量和标签能量，产生的柱面的个数即标签的个数为|C₀|。

作为优选，步骤5具体为：得到各个几何基元的能量方程后，进行最优化后得到三维点云的标签，此时根据各个模型M(l(p))的内点P(l)重新估计各个几何基元的参数

其中，P(l)表示三维点云P中标注为l的点集，M(l(p))表示点p被标注的标签l(p)对应的几何基元模型；

利用最优化算法求解上式，可以得到最优意义下的几何基元参数从而实现几何基元模型参数的精化；然后统计新的模型参数下内点的标准差σ，利用统计学中的3σ原则，对内点进行精化，将偏差大于3σ的内点剔除归类为外点。

本发明的有益效果是，在初始化阶段能根据点的几何特征，选择生成合适的几何基元模型，不再是产生单一的平面、球面或柱面。更重要的是几何基元属于三维点云中的局部特征，本发明从局部入手分析点的邻域特征，根据点的协方差矩阵的特征值分析点的共平面性，生成相应的初始模型，然后再基于能量优化框架进行能量最小化，最终得到多种几何基元的参数和内点。相比于Hough变换和RANSAC算法，各个几何基元内点划分准确合理，几何基元的参数估计更准确，计算速度更快。

附图说明

图1是自动识别方法的流程图；

图2是估计法向量示意图；

图3是根据邻域特征生成初始模型示意图，其中，图3a为平面初始模型，图3b为柱面模型，图3c为球面模型。

具体实施方式

下面结合附图和实施例对本发明进一步说明，应指出的是，所描述的实例仅旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，本发明实施例提供一种三维点云中多种几何基元自动识别方法包括：

步骤1：进行体素滤波、构建邻域结构和估计法向量预处理操作，具体步骤如下：

1)输入三维点云，获取x、y和z轴坐标的最大值和最小值；根据x、y和z的最值，计算出点云的包围盒的尺寸，并根据体素边长对点云进行体素划分；循环计算每个体素内所有点的质心，用体素质心代替体素内所有点云的坐标，即可得到滤波后的三维点云。

2)通过Kd树搜索算法快速确定点云的邻域点，得到每个点的邻域，将无序的点云整理为带有结构信息的点云。

3)求点p的法向量即是求切平面的法向量，即为求邻域点协方差矩阵的最小特征值所对应的特征向量。点邻域的搜索方法为Kd树搜索算法，它根据搜索半径或者设定的k值找到近邻点。如图2所示，设存在p点，它有k个近邻点，这些点的质心为构造近邻点的协方差矩阵：

对协方差矩阵进行特征值分解，

M·v_i＝λ_i·v,i＝1,2,3

则最小特征值对应的特征向量即是点p的法向量。至此求出点云的法向量，但是法向量既有指向平面外侧，也有指向平面内侧，为此需要解决法向量的二义性，对法向量进行对齐或者叫法向量重定向。

由视角点来确定点云的法线是指向表面内部还是外部，设视角点为相机坐标系的原点v_p，点p_i的法向量为n_i，计算方法为：

n_i(v_p-p_i)＞0

若数量积大于零，则表明该方向与当前方向一致，否则法向量为n_i取反。

步骤2：构建邻域子集

通过Kd树搜索算法确定无序点云的邻域结构，为后文选点生成模型做准备。

步骤3：生成初始模型

如图3a、3b、3c所示，用协方差矩阵来表示具有三个离散型随机变量的三维点云坐标之间的相关性。设存在子点集P＝{p_i,...p_N}，其中矢量p_i＝(x_i,y_i,z_i)∈P，子点集的质心p_c＝(x,y,z)，则该子点集的算协方差矩阵为：

协方差矩阵的特征值为λ₁、λ₂和λ₃，设它们的大小关系为依次变大，特征值的阈值为σ，经过实验验证其范围为0.85～1.15，子点集的初始化模型规则：

当|λ₁|＜σ时，|λ₁|＜＜|λ₂|且|λ₁|＜＜|λ₃|，在此子点集内生成平面初始模型；

当|λ₁|＞σ时，|λ₂|≈|λ₃|，在此点集上生成柱面模型；

当|λ₁|＞σ时，|λ₁|≈|λ₂|≈|λ₃|，在此点集上生成球面模型。

步骤4：计算平面、柱面和球面能量

根据子点集的初始化结果，计算相应的几何基元模型的初始能量。

1)计算初始平面几何基元的能量方程，

其中，E(P₀)为初始平面几何基元P₀的能量，公式中第一项为误差能量，通过点到平面的距离来表示。设点p的坐标为p＝(x_p,y_p,z_p)，平面标签L_p对应平面模型的参数为P_i＝{a_i,b_i,c_i,d_i}，其中法向量(a_i,b_i,c_i)为经过归一化的单位向量。公式中第二项为平滑能量，δ(·)为指示函数，当两个点的标签不同时，指示函数值为1，否则为0。ω_pq为惩罚系数，当相邻的两个点{p,q}具有不同的标签时惩罚启动。

当两个点的距离越近，即两个点越光滑则惩罚越大，以充分利用几何基元拟合属于局部现象的规律。其中ξ由实践可知，范围为0.5～2.5之间。公式中第三项为标签能量，产生的平面的个数即标签的个数为|L₀|，它的权重系数为β，通常可以设置为10～20之间。η为10倍的外点比率，外点比率是指那些没有被标注标签的点占整个点云的比率。外点比率在点的生成时，能有效地引导平面个数的确定。

2)计算球面几何基元的能量方程的方式如下：

其中，E(S₀)为球面几何基元S₀的能量；公式中第一项为误差能量，d_p表示点p到球面S(l(p))球心的距离，

公式中第二项和第三项为平滑能量和标签能量，产生的球面的个数即标签的个数为|S₀|；

3)计算柱面几何基元的能量方程的方式如下：

其中，E(C₀)为柱面几何基元C₀的能量，公式中的第一项为误差能量，通过计算点到估计柱面的距离来表示。公式中的D为点p_p到柱面轴线的距离，计算方式

其中，p₁与p₂为柱面轴线上两点，由向量积再求模长得到点p_p到轴的距离和向量p₂p₁的模长的积，再除以p₂p₁的模长就是p_p点到轴线的距离；

公式中第二项和第三项为平滑能量和标签能量，产生的柱面的个数即标签的个数为|C₀|。

步骤5：能量最小化

得到各个几何基元的能量方程后，进行最优化后得到三维点云的标签，此时根据各个模型M(l(p))的内点P(l)重新估计各个几何基元的参数

其中，P(l)表示三维点云P中标注为l的点集，M(l(p))表示点p被标注的标签l(p)对应的几何基元模型。利用最优化算法求解上式，可以得到最优意义下的几何基元参数从而实现几何基元模型参数的精化。然后统计新的模型参数下内点的标准差σ，利用统计学中的3σ原则，对内点进行精化，将偏差大于3σ的内点剔除归类为外点。

在参数精化的过程中对模型内点集合的势设定一个阈值，用以剔除少量外点恰好可以拟合为几何基元的极端情况，通常阈值取10。对于内点数少于设定阈值的模型与其他精化后的模型进行比较，如果可以合并为精化后的模型，则将二者标签融合为精化后的模型的标签；否则将该模型剔除，对应的内点设置为外点，在下次迭代循环中进一步分类判断。这样实现了标签的融合，标签个数由初始的K变为当前的在一定程度上精化了标签。最后，输出各个几何基元的描述参数、对应的内点集合和不属于任何几何基元的外点。

本发明提出了一个多种几何基元的识别方法。首先借助主成份分析计算点邻域的协方差矩阵的特征向量，根据特征向量之间的关系确定在此邻域上生成合适的平面、球面或柱面模型，然后再根据能量优化框架最小化能量，最终得到点云中几何基元的内点和参数。它不仅具有应用范围广、参数估计准确、抗干扰能力强等特点，而且大大提高了对三维点云的识别与分析能力。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (3)

1.一种三维点云中多种几何基元自动识别方法，其特征在于，包括以下步骤：

步骤1、对获取的三维点云进行体素滤波，基于Kd树建立邻域结构并估计点的法向量；

步骤2、对点云进行邻域关系的确定，再对点云进行抽样；

步骤3、计算样本点邻域的协方差矩阵，分析三个特征值的大小关系，根据共面规则生成相应的初始几何基元模型；

步骤4、根据初始几何基元的模型分别构建相应的能量方程，按照能量优化框架进行平面、球面和柱面能量计算；

步骤5、循环迭代步骤3和步骤4，对多种几何基元的能量进行最小化，利用最优化算法求解得到最优意义下的几何基元参数，实现几何基元模型参数的精化，最终输出多种几何基元的参数和内点；

步骤3具体为：

采用协方差矩阵来表示具有三个离散型随机变量的三维点云坐标之间的相关性，设存在子点集P＝{p_i,...p_N}，矢量p_i＝(x_i,y_i,z_i)∈P，子点集的质心p_c＝(x,y,z)，则该子点集的协方差矩阵为：

其中，协方差矩阵的特征值为λ₁、λ₂和λ₃，设它们的大小关系为依次变大，特征值的阈值为Δ，子点集的初始化模型规则：

当|λ₁|<Δ时，|λ₁|<<|λ₂|且|λ₁|<<|λ₃|，在此子点集内生成平面初始模型；

当|λ₁|>Δ时，|λ₂|≈|λ₃|，在此点集上生成柱面模型；

当|λ₁|>Δ时，|λ₁|≈|λ₂|≈|λ₃|，在此点集上生成球面模型。

2.如权利要求1所述的三维点云中多种几何基元自动识别方法，其特征在于，步骤4具体为：

1)计算初始平面几何基元的能量方程，

其中，E(P₀)为初始平面几何基元P₀的能量，公式(1)中右边第一项为误差能量，通过点到平面的距离来表示，设点p的坐标为p＝(x_p,y_p,z_p)，平面标签L_p对应平面模型的参数为P_i＝{a_i,b_i,c_i,d_i}，其中法向量(a_i,b_i,c_i)为经过归一化的单位向量；公式(1)中右边第二项为平滑能量，δ(·)为指示函数，ω_pq为惩罚系数；公式(1)中右边第三项为标签能量，产生的平面的个数即标签的个数为|L₀|，它的权重系数为β；η为10倍的外点比率；

2)计算球面几何基元的能量方程的方式如下：

其中，E(S₀)为球面几何基元S₀的能量，公式(2)中第一项为误差能量，d_p表示点p到球面S(l(p))球心的距离，

公式(2)中第二项和第三项为平滑能量和标签能量，产生的球面的个数即标签的个数为|S₀|；

3)计算柱面几何基元的能量方程的方式如下：

其中，E(C₀)为柱面几何基元C₀的能量，公式(3)中的第一项为误差能量，通过计算点到估计柱面的距离来表示，D为点p_p到柱面轴线的距离，计算方式为：

其中，p₁与p₂为柱面轴线上两点，由向量积再求模长得到点p_p到轴的距离和向量p₂p₁的模长的积，再除以p₂p₁的模长就是p_p点到轴线的距离，

公式(3)中第二项和第三项为平滑能量和标签能量，产生的柱面的个数即标签的个数为|C₀|。

3.如权利要求1所述的三维点云中多种几何基元自动识别方法，其特征在于，步骤5具体为：得到各个几何基元的能量方程后，进行最优化后得到三维点云的标签，此时根据各个模型M(l(p))的内点P(l)重新估计各个几何基元的参数

其中，P(l)表示三维点云P中标注为l的点集，M(l(p))表示点p被标注的标签l(p)对应的几何基元模型；

利用最优化算法求解上式，得到最优意义下的几何基元参数从而实现几何基元模型参数的精化；然后统计新的模型参数下内点的标准差σ，利用统计学中的3σ原则，对内点进行精化，将偏差大于3σ的内点剔除归类为外点。