CN110363707B - 一种基于约束物虚拟特征的多视三维点云拼接方法 - Google Patents

Abstract

本发明公开了一种基于约束物虚拟特征的多视三维点云拼接方法，本发明基于约束物固有特征，重构出虚拟重叠数据，既加快了对应点集匹配速度，又提供了精确的对应点，解决了弱特征、无重叠点云对应点搜寻困难的问题；同时，利用全场景数据加权融合进行拼接，借助被测物测量点云“多而糙”的特点来抑制约束物点云易受噪声干扰的问题，也借助约束物点云“少而精”的特点来提高点云拼接精度，通过两者的优化加权，从而提高点云拼接精度和可靠性；最后，针对多视拼接中的累积误差，建立误差评估模型，并优化拼接策略减小累积误差影响。

Description

一种基于约束物虚拟特征的多视三维点云拼接方法

技术领域

本发明属于三维点云数据处理领域，具体涉及一种基于约束物虚拟特征的多视三维点云拼接方法。

背景技术

结构光三维测量由于具有非接触，测量速度快，测量范围大，便于集成等优点，在工业检测、逆向工程、文物保护等领域得到了广泛的应用。在测量过程中，由于被测物体需要360°测量或测量精度要求过高，使得单个测头视场受限，因此需要进行多视场三维测量。而多视测量产生的三维点云并非同一坐标系下，需进行高精度点云拼接来获得被测物的完整三维数据。

点云拼接(或称为点云配准)是三维测量过程中一个必不可少的环节。，亦有一些商业化软件已面市，如Imageware、Geomagic Studio以及Rapidform等等，但这些软件仅仅作为一种通用工具，难以获得高精度，尤其对于一些如弱特征等的特殊条件下的点云，现有软件难以奏效。通常来说，可将点云拼接分为基于参照物的拼接和自由拼接两类。其中，基于参照物的拼接利用布置于被测对象上或周围的辅助特征或其他定位设备实现点云间的拼接，如常见的有标志点法、全局框架法、机械定位法及测头跟踪法等，这类方法无需被测点云信息，但其精度受限于参照物的精度，因此拼接精度一般较低。自由拼接方法则利用被测对象测量点云自身的特征来实现拼接，如最近点迭代法(Iterative Closest Pointalgorithm，简称ICP)、基于三维正态分布变换拼接法、基于高斯混合模型拼接法及其改进方法等等。其中，ICP及其改进算法因其具有良好的收敛性、噪声抑制能力以及较高的拼接精度而被广泛应用。但该方法受点云间错误对应点和噪声的影响大，易陷入局部极值，或拼接速度太慢。因此，目前的研究大多集中于对应点集的快速、准确确定以及优化算法的改进等方面。尽管现有改进算法在对应点搜寻和优化求解方面已取得了巨大的进步，但由于仍基于测量点云间的对应关系进行拼接，不可避免严重依赖于对应点集的准确获取及其质量，尤其，由于高光可能导致测量点云特征信息缺失，造成无法使用特征描述符进行拼接(弱特征)，且高光可能破坏多视点云间的重叠区域导致无法使用自由拼接方法(无重叠区域)。

发明内容

本发明的目的在于克服上述不足，提供一种基于约束物虚拟特征的多视三维点云拼接方法，通过引入标准尺寸特征约束形成虚拟重叠点云，可减少测量噪声对拼接结果的影响，是一种实现高精度拼接的新途径。

为了达到上述目的，本发明包括以下步骤：

步骤一，将链条形多视拼接策略优化为环形多视拼接策略，从而形成拼接环；

步骤二，在测量场景引入约束物，通过测量设备获得各个视场的拼接环的被测物点云和约束物局部点云；

步骤三，根据各个视场中的约束物局部点云，通过最小二乘法拟合来补全约束物表面的缺失点云，从而重构出约束物的完整虚拟表面点云；

步骤四，使用奇异值分解法或四元数方法对相邻视场中对应的约束物的局部特征进行配准，实现进行拼接环相邻视场的点云粗拼接；

步骤五，根据约束物的测量点云和约束物的虚拟表面点云构造拼接环相邻视场的虚拟重叠区域，根据虚拟重叠区域计算被测物测量点云和约束物测量点云的对应点对；

步骤六，根据被测物点云和约束物点云的空间位置分布构建权重因子辐射模型，计算相邻视场被测物点云对应点对的权重因子；

步骤七，通过被测物点云和约束物的虚拟表面点云构建全场景数据加权融合模型，以相邻视场中所有对应点对的投影距离与权重之积的平方和为目标函数，使目标函数最小进行迭代优化，求得各相邻视场的变换矩阵，完成拼接环各个相邻视场的点云精拼接，得到拼接环中各相邻视场的变换矩阵；

步骤八，拼接环中各相邻视场的变换矩阵通过矩阵运算间接获得拼接环中第一片点云和最后一片点云的变换矩阵，该变换参数存在累积误差；对第一片点云和最后一片点云进行步骤三至步骤七的双视无累积误差拼接，获得无累积误差的变换矩阵；

步骤九，根据变换矩阵计算出的变换参数的累积误差，以累积误差大的变换参数作为优先级对拼接环中各视场进行再优化拼接，完成多视三维点云拼接。

步骤二中，约束物为标准球，每个视场至少应包含3个标准球。

步骤三中，通过最小二乘法拟合球面目标函数的方法如下：

其中，x₀，y₀，z₀为约束物为标准球时的球心坐标，r为约束物为标准球时的半径。

步骤五中，计算点云拼接的对应点对的具体方法如下：

将拼接环相邻视场相对应的约束物测量点云视为整体进行球拟合形成完整的拟合特征面，约束物的测量点和虚拟表面点作为约束物点云，约束物点云向拟合特征面的投影点作为该点的拼接对应点；

计算每个被测物测量点的法线方向，寻找与该测量点法线方向最相近的约束物点云，以约束物点云的投影方向作为该测量点向相邻视场点云的投影方向，最近投影点即作为该测量点对应点。

步骤六中，权重因子辐射模型中，以重构的约束物完整虚拟表面点云的重心为中心，离中心越近，点云越重要，权重因子越大，而以中心向外辐射，相应点云的权重因子递减。

步骤七中，目标函数的计算方法如下：

式中式中：q_i为拼接点云中第i个拼接点；

为虚拟重叠区域的投影对应点；n_j为每个点云中配准点个数；m为目标个数；N为所有配准点的总数；||*||为欧式范数；ρ_j为第j个点云的权重,值为[0,1]。

具有累积误差的变换矩阵为[R_A,T_A]；

R_A＝R₁₂·R₂₃·R₃₄…R_(n-1)n

T_A＝T₁₂+T₂₃+T₃₄+…+T_(n-1)n

(n-1)n表示拼接环的最后两个视场，n表示拼接环的最后一个视场，也是拼接环的视场总数；T_(n-1)n和R_(n-1)n表示相邻视场的位置变换矩阵。

与现有技术相比，本发明基于约束物固有特征，重构出虚拟重叠数据，既加快了对应点集匹配速度，又提供了精确的对应点，解决了弱特征、无重叠点云对应点搜寻困难的问题；同时，利用全场景数据加权融合进行拼接，借助被测物测量点云“多而糙”的特点来抑制约束物点云易受噪声干扰的问题，也借助约束物点云“少而精”的特点来提高点云拼接精度，通过两者的优化加权，从而提高点云拼接精度和可靠性；最后，针对多视拼接中的累积误差，建立误差评估模型，并优化拼接策略减小累积误差影响。

附图说明

图1为本发明的拼接策略示意图；其中，a为环形多视拼接策略；b为链条形多视拼接策略；

图2为本发明的拼接前测量点云示意图；

图3为本发明的拟合后标准球完整点云示意图；

图4为本发明的点云粗拼接示意图；

图5为本发明的构造公共虚拟重叠点云示意图；

图6为本发明的标准球面点云对应点配对示意图；

图7为本发明的基于约束物虚拟特征的多视三维点云拼接流程图；

图8为本发明的三维点云测量实验平台示意图；

图9为本发明的标准球#1、#2和#3的相对位置分布示意图(#4、#5和#6同理)；

图10为本发明的相邻视场标准球测量点云示意图，其中(a)为第一视场实测点云，(b)为第二视场实测点云；

图11为本发明的单视场标准球拟合虚拟表面示意图；

图12为本发明的对应点之间距离实验结果对比示意图，其中(a)为球心法拼接后对应点之间的距离，(b)为本发明提出的拼接方法拼接后对应点之间的距离；

图13为本发明标准球粗拼接后结果示意图；

图14为本发明标准球精拼接后结果示意图；

图15为本发明的叶片和标准球点云最终拼接结果示意图。

具体实施方式

下面结合附图对本发明做进一步说明。

本发明包括以下步骤：

1)测量前将“链条形”多视拼接策略(如图1b所示)优化为“环形”多视拼接策略(如图1a所示)，从而形成“拼接环”，如果无法形成“拼接环”或累计误差可忽略，则只需进行本文的双视拼接环节，步骤2)至步骤7)即可；

2)由于球体特征很好地满足本发明约束物的特征，所以在测量场景中引入标准球作为约束物，规定每个拍摄视场至少应包含3个标准球，通过测量设备获得“拼接环”各个视场的被测物点云和标准球局部点云，图2为相邻视场一对标准球局部测量点云；

3)根据各视场中的局部标准球测量点云，通过最小二乘拟合来补全标准球表面的缺失点云，从而重构出标准球的完整“虚拟”表面点云，此时的标准球点云由测量点云和重构虚拟点云两部分组成，如图3所示。球面方程如方程(1)所示，式中x，y，z表示标准球测量点的坐标。最小二乘优化目标函数为方程(2)。

(x-x₀)²+(y-y₀)²+(z-z₀)²＝r² (1)

4)使用奇异值分解法或四元数方法对相邻视场中对应的三个重构标准球球心进行配准，此为“拼接环”相邻视场的点云粗拼接，如图4所示。

5)根据标准球的虚拟表面点云构造“拼接环”相邻视场的虚拟重叠区域，根据虚拟重叠区域计算点云拼接的对应点对；

a.标准球测量点云和虚拟点云的拼接对应点计算，将“拼接环”相邻视场相对应的标准球测量点云视为整体进行球拟合形成完整的拟合球面，构成虚拟重叠区域，如图5所示，相邻视场的标准球测量点云和虚拟点云向公共拟合球面的最近投影点作为球面点的拼接对应点，如图6所示；

b.被测物测量点的拼接对应点计算，首先计算每个被测物测量点的法线方向，寻找与该点法线方向最相近的标准球面点云，以步骤5a中的球面点云的投影方向作为该点向相邻视场点云的投影方向，最近投影点即作为该点对应点。

6)根据点云的空间位置分布计算上步中求得的测量点对应点对的权重因子ρ_j，以重构的标准球完整虚拟球面点云重心为中心，离中心越近，点云越重要，权重因子ρ_j越大，而以中心向外辐射，相应点云的权重因子ρ_j递减。ρ_j的范围在[0,1]之间，取三个球的球面点云权重ρ_j＝1，分别计算被测物每个点云距离三个球球心的距离，以平均值作为该点的最终距离，距离最远的点ρ_j取值为0，从而得出所有对应点对的权值。

7)以标准球和被测物测量点云构建全场景数据加权融合模型，即以相邻视场中所有对应点对的投影距离与权重之积的平方和为目标函数，如式3所示，使目标函数最小进行迭代优化，求得各相邻视场的变换矩阵，实践中可采用加权ICP实现该过程。至此，完成“拼接环”各个相邻视场的点云精拼接。

式中：q_i为拼接点云中第i个拼接点；

为虚拟重叠区域的投影对应点；n_j为每个点云中配准点个数；m为目标个数；N为所有配准点的总数；||*||为欧式范数；ρ_j为第j个点云的权重,值在[0,1]。

8)“拼接环”中各相邻视场的变换矩阵可由步骤3-7求出，通过矩阵运算可获得“拼接环”中第一片点云和最后一片点云的变换矩阵，记为[R_A,T_A]，该变换参数存在累积误差。再对第一片点云和最后一片点云采用上述步骤2)-步骤7)中方法进行双视无累积误差拼接，获得无累积误差的变换矩阵，记为[R_B,T_B]。

R_A＝R₁₂·R₂₃·R₃₄…R_(n-1)n,T_A＝T₁₂+T₂₃+T₃₄+…+T_(n-1)n

上式中右下角标(n-1)n表示拼接环的最后两个视场，n表示拼接环的最后一个视场，也是拼接环的视场总数；T_(n-1)n和R_(n-1)n表示相邻视场的位姿变换矩阵。

9)根据两变换矩阵分别求出6个刚体变换参数，比较参数大小，考虑参数优先级，对于误差大的参数，应用坐标轮换法对上述相邻视场的点云拼接误差优先在寻优域中减小，进行再优化拼接，实现全局拼接误差最小化，总体流程图如图7所示。

为了验证本发明所提拼接方法的精度和拼接方案的可行性，以叶片为测量对象搭建了实验平台，如图8所示。测量点云获取装置采用上下布置的单目结构光测头，两根和转台台面刚性连接支撑杆将六个辅助球固定在叶片两侧，编号分别为#1～#6，标准球布置需满足以下条件：

(1)相邻的两个高度至少布置三个辅助球且三个球分布在叶片两侧；

(2)任意两个球之间的距离都不相等，具体尺寸如图9所示。

为了获取叶片的全型面点云，利用转台来构建环形拼接策略，转台总共转动三次，组成三个视场构成的拼接环。获取点云数据后需要经过点云预处理操作，点云预处理一般包括：数据简化、数据平滑和漏洞修补等，该操作利用现有技术，此处不再细述。

经过上述操作后，可获取相邻视场标准球测量点云，如图10所示。分别对各个相邻视场标准球拟合虚拟表面，从而利用球心进行粗匹配，如图11所示。此处分别采用本发明所提方法、球心法和Geomagic Studio拼接软件对球面点云进行拼接，在拼接完成之后统计用本发明所提方法和球心法拼接后500对对应点对之间距离的平均值和标准差，GeomagicStudio软件拼接之后统计10对对应点。

如图12所示，分别计算本发明方法和球心法拼接后对应点之间的距离，本发明所提方法用于拼接时，理论球面点云与实测球面点云对应点之间距离的平均值为3.2um，理论球面点云与实测球面点云对应点之间距离的标准差为1.2um；用球心法拼接两片球面点云之后，理论球面点云与实测球面点云对应点之间距离的平均值为11um，理论球面点云与实测球面点云对应点之间距离的标准差为5um。综上所述，可知本发明方法拼接精度是明显高于球心法的拼接精度。

表1是分别用基于标准球架法、球心法和Geomagic Studio拼接软件对有重叠区域的球面点云进行拼接之后，统计点云中十对对应点之间距离的平均值和标准差。

表1十对对应点对之间距离误差的统计

由表1可知，球心法拼接的平均误差在3.6um-21.7um之间，本发明提出的拼接方法的平均误差在2um-6um之间，拼接软件拼接的平均误差在40um-220um之间。

表2是以上三种拼接方法拼接之后球面点云对应点对之间距离的平均值。

表3是以上三种拼接方法拼接之后球面点云对应点对之间距离的标准差。

表2对应点对之间距离的平均值统计

表3对应点对之间距离的标准差统计

由表2和表3可知本发明方法拼接的平均误差可达3.2um，球心法拼接的平均误差为11um，拼接软件的拼接误差为133.2um，其中本发明提出的新方法的点云拼接精度最高。双视标准球点云球心粗拼接结果如图13所示。双视标准球点云精拼接结果如图14所示。

根据所提拼接方法对各个视场叶片测量数据进行了拼接，最后考虑参数优先级，对于误差大的参数，应用坐标轮换法对上述相邻视场的点云拼接误差优先在寻优域中减小，进行再优化拼接，实现全局拼接误差最小化，最终拼接结果如图15所示。

Claims (1)

1.一种基于约束物虚拟特征的多视三维点云拼接方法，其特征在于，包括以下步骤：

步骤一，将链条形多视拼接策略优化为环形多视拼接策略，从而形成拼接环；

步骤二，在测量场景引入约束物，通过测量设备获得各个视场的拼接环的被测物点云和约束物局部点云；

步骤三，根据各个视场中的约束物局部点云，通过最小二乘法拟合来补全约束物表面的缺失点云，从而重构出约束物的完整虚拟表面点云；

步骤四，使用奇异值分解法或四元数方法对相邻视场中对应的约束物的局部特征进行配准，实现拼接环相邻视场的点云粗拼接；

步骤五，根据约束物的测量点云和约束物的虚拟表面点云构造拼接环相邻视场的虚拟重叠区域，根据虚拟重叠区域计算被测物测量点云和约束物测量点云的对应点对；

步骤六，根据被测物点云与约束物点云的空间位置分布构建权重因子辐射模型，计算相邻视场被测物点云对应点对的权重因子；

步骤七，通过被测物点云和约束物的虚拟表面点云构建全场景数据加权融合模型，以相邻视场中所有对应点对的投影距离与权重之积的平方和为目标函数，使目标函数最小进行迭代优化，求得各相邻视场的变换矩阵，完成拼接环各个相邻视场的点云精拼接，得到拼接环中各相邻视场的变换矩阵；

步骤八，拼接环中各相邻视场的变换矩阵通过矩阵运算间接获得拼接环中第一片点云和最后一片点云的变换矩阵；

步骤九，根据变换矩阵计算出的变换参数的累积误差，以累积误差大的变换参数作为优先级对拼接环中各视场进行再优化拼接，完成多视三维点云拼接；

步骤二中，约束物为标准球，每个视场至少应包含3个标准球；

步骤三中，通过最小二乘法拟合球面目标函数的方法如下：

其中，x₀，y₀，z₀为约束物为标准球时的球心坐标，r为约束物为标准球时的半径；

步骤五中，计算点云拼接的对应点对的具体方法如下：

将拼接环相邻视场相对应的约束物测量点云视为整体进行球拟合形成完整的拟合特征面，约束物的测量点和虚拟表面点作为约束物点云，约束物点云向拟合特征面的投影点作为该点的拼接对应点；

计算每个被测物测量点的法线方向，寻找与该测量点法线方向最相近的约束物点云，以约束物点云的投影方向作为该测量点向相邻视场点云的投影方向，最近投影点即作为该测量点对应点；

步骤六中，权重因子辐射模型中，以重构的约束物完整虚拟表面点云的重心为中心，离中心越近，点云越重要，权重因子越大，而以中心向外辐射，相应点云的权重因子递减；

步骤七中，目标函数的计算方法如下：

式中：q_i为拼接点云中第i个拼接点；

为虚拟重叠区域的投影对应点；n_j为每个点云中配准点个数；m为目标个数；N为所有配准点的总数；||*||为欧式范数；ρ_j为第j个点云的权重,值为[0,1]；

具有累积误差的变换矩阵为[R_A,T_A]；

R_A＝R₁₂·R₂₃·R₃₄…R_(n-1)n

T_A＝T₁₂+T₂₃+T₃₄+…+T_(n-1)n

(n-1)n表示拼接环的最后两个视场，n表示拼接环的最后一个视场，也是拼接环的视场总数；T_(n-1)n和R_(n-1)n表示相邻视场的位置变换矩阵。

Images