CN110443840A - 实物表面采样点集初始配准的优化求解方法 - Google Patents

Abstract

本发明针对现有算法难以精确配准初始位置相差较大且重叠区域较小的点云，提出一种结合二维序列图像的点云初始配准方法。基于移动式三维测量方法获取实物表面灰度图像及三维数据，根据透视投影原理对相机在点云局部坐标系中的位置进行定位，获取点云到对应相机坐标系的变换矩阵，并以灰度图像的特征点及其匹配点作为匹配对，通过重建序列图像对相机外参数予以全局优化，根据初始配准公式实现点云初始配准。该方法可正确配准初始位置相差较大且重叠区域较小的点云，且能显著提高配准过程的稳健性及配准效率。

Description

实物表面采样点集初始配准的优化求解方法

技术领域

本发明提供一种实物表面采样点集初始配准的优化求解方法，属于产品逆向工程技术领域。

背景技术

三维数字化模型通常用于描述物体的形状，广泛应用于逆向工程、机器视觉、生物医学、文物修复等领域。主动式光学测量技术能有效解决自由曲面物体的数字化建模问题，但由于单个视角的可见性限制，通常需要采用点云配准技术将不同视角下多组局部点云数据集成到一个完整的三维数字化模型中。点云配准是点云后处理的重要基础，直接影响被测物体三维重构的整体误差。

对现有的技术文献检索发现，BESL等在《IEEE Transactions on PatternAnalysis and Machine Intelligence》(1992,14(2):P239-256)上发表的论文“A Methodfor Registration of 3-D Shapes”中提出了迭代最近点算法(ICP)，当待配准点云存在绝对的包含关系且初始位置相差较小时，配准精度较高。孙殿柱等在《机械工程学报》(2018,54(15):141-149)上发表的论文“基于局部泊松曲面重建的点云刚性配准方法”中对曲面局部样点构建泊松曲面，以点-泊松曲面代替点-点作为匹配规则，提高了配准过程收敛于全局最优的稳定性。RUSU等在《IEEE International Conference on Robotics andAutomation》(2009:1848-1853)上发表的论文“Fast point feature histograms(FPFH)for 3D registration”中提出了一种FPFH特征，用以描述点云数据集中任一样点邻域的局部几何信息。该算法通过样本一致性方法对初始FPFH特征点进行采样，对于符合要求的特征点予以保留并用于后续配准，该方法取得了较好的配准效果。徐思雨等在《西安交通大学学报》(2018,52(11):134-141)上发表的论文“无序多视角点云的自主配准方法”中通过计算点云特征描述子选取特征匹配对，配准两视角点云，进而依据模型扩展方法实现多视角点云的全局配准。JUNG等在《Computer Aided Design》(2018,94:16-27)上发表的论文“Range image registration based on 2D synthetic images”中根据点云生成的二维图像点坐标与点云三维坐标之间的对应关系，用二维图像配准实现点云的初始配准。王瑞岩等在《测绘学报》(2016,45(1):96-102)上发表的论文“结合图像信息的快速点云拼接算法”中借助同轴相机拍摄的图像求解待配准点云间的相对旋转变换，当图像数量为多幅时，旋转变换参数会形成误差累积，在精确配准阶段基于点云重叠区域的质心重合迭代计算平移矩阵，无法优化旋转变换参数，并且配准过程仍需借助重叠区域内三维坐标值搜索对应点，受点云重叠比例的限制。对于刚性变换，任意两条相交线段的交比保持不变，AIGER等在《ACM Transactions on Graphics》(2008,27(3):Article 85)上发表的论文“4-pointscongruent sets for robust pairwise surface registration”中基于此性质在点云上选取共面的4个点作为基底，然后在另一点云上寻找与该基地近似全等的共面4点集合，将其中配准误差最小的刚体变换作为最终的全局配准。上述ICP及其改进算法采用的是硬匹配策略，需要建立准确的点-点对应关系，能实现正确配准的前提是待配准点云必须存在重叠区域，重叠区域越小，特征点匹配的准确性越差，则配准精度和算法稳健性越低。一些学者提出基于概率的配准方法，假设两点云均服从高斯混合分布，并构造似然函数，应用最大期望算法估计最优的刚性变换参数，这类算法采用的是软匹配策略，用概率值衡量任一样点与潜在匹配点的匹配程度，但是仍无法避免对重叠区域大小的依赖。

综上所述，目前点云配准过程中存在对实物表面采样点集的初始位置以及重叠比例要求过于严格的问题，通常难以精确配准重叠区域较小的点云，因此，为初始位置相差较大且重叠区域较小的实物表面采样点集的精确配准提供较好的初始配准参数已成为本领域技术人员亟待解决的技术问题。

发明内容

为解决上述技术问题，本发明采用移动式三维测量方式测量物体表面数据并获取二维图像，基于增量式运动法重建思想，提出结合二维图像特征的点云刚性配准算法。借助标定物标定相机相对于点云局部坐标系的位置，并进一步确定序列图像的相对位置，从而实现点云初始配准。配准过程中，将三维数据集中空间点与空间点的匹配转化为二维图像集中特征点与特征点的匹配，利用图像对极几何约束重建特征点，计算待配准点云初始运动参数并进行全局优化，能够配准重叠比例更低的点云且提高配准效率。其实现方案为：

一种实物表面采样点集初始配准的优化求解方法，其特征在于依次包含以下步骤：(1)采用移动式测量方式采集被测物体表面点云P、Q以及二维图像集Σ＝{I_i|i＝1,2,…,n}，具体步骤为：首先在第1个测量位置A₁处利用三维扫描仪测量物体，获得点云P以及二维图像I₁，然后移动三维扫描仪，在测量位置A₂,A₃,…,A_n-1处实时拍摄被测物体二维图像，得图像I_i，其中i＝2,3,…,n-1，最后在第n个测量位置A_n处扫描物体，获得点云Q以及二维图像I_n；(2)计算点云从其局部坐标系转换到二维图像所在相机坐标系的变换矩阵R_W、t_W，具体是：1)用经过标定的三维扫描仪测量标定块，得到标定块上标识点的空间坐标以及标定块的二维图像；2)识别标定块的二维图像中标识点的中心坐标；3)将标识点的空间坐标与中心坐标建立一一对应关系，利用最小二乘法求解变换矩阵R_W、t_W；(3)基于采集的二维图像估计所有的相机外参数；(4)基于变换矩阵R_W、t_W和相机外参数对初始位置相差较大且重叠不良的点云进行初始配准。

为实现发明目的，所述的实物表面采样点集初始配准的优化求解方法，其特征在于：步骤(3)中，估计所有的相机外参数，具体步骤为：(1)应用尺度不变特征变换算法检测Σ的特征点；(2)对于I_i中的任一特征点在I_i+1中寻找欧氏距离最小和次小的两个特征点，若最小距离和次小距离之间的比值小于给定阈值α时，则认为最小距离对应的特征点是正确的匹配对，根据这一原则，对Σ中任意相邻两幅图像依次进行特征点匹配，并将特征点匹配结果记为Ψ＝{C⁽ⁱ⁾|i＝1,2,…,(n-1)}，其中，C⁽ⁱ⁾表示图像I_i与I_i+1的特征点匹配对集合；(3)令第一个相机的外参数M₁＝[I0]，其中I为3×3维单位矩阵，0为3×1维零向量，基于对极几何约束利用I₁和I₂的特征点匹配对集合C⁽¹⁾建立方程，计算第二个相机的外参数M₂；(4)根据公式P＝KM初始化第一、二相机的透视投影矩阵P₁、P₂，其中K是3×3维矩阵，表示相机内参数，并基于三角测量原理对C⁽¹⁾中的特征点进行重建，重建得到的空间点记为集合S⁽¹⁾，点集Ω＝{S⁽¹⁾}，相机外参数集合Φ＝{M₁,M₂}，k←2；(5)加入新的图像I_k+1，并从C^(k)中选取能够在点集Ω中找到对应空间坐标的特征点匹配对，记为则另一部分特征点匹配对记为(6)根据与Ω建立空间点与图像点的一一映射关系，使用最小二乘法求解相机外参数M_k+1，Φ←Φ∪M_k+1；(7)计算新加入图像的相机透视投影矩阵P_k+1＝KM_k+1，应用三角测量原理重建中的特征点，将新增的重建点记为S^(k)；(8)Ω←Ω∪S^(k)；(9)光束法平差参数优化，并更新Ω以及Φ；(10)k←k+1；(11)重复执行步骤(5)～(10)，直至所有二维图像处理完成；(12)分解Φ中的相机外参数，得旋转矩阵集合T_R＝{R_Ci|i＝1,2,…,n}，平移矩阵集合T_t＝{t_Ci|i＝1,2,…,n}，其中，R_Ci表示第i个相机的旋转矩阵，t_Ci表示第i个相机的平移矩阵。

为实现发明目的，所述的实物表面采样点集初始配准的优化求解方法，其特征在于：步骤(4)中，初始配准初始位置相差较大且重叠不良的点云，具体步骤为：(1)基于旋转矩阵集合T_R和平移矩阵集合T_t计算相机在位置A₁与A_n的相对变换矩阵ΔR_C和Δt_C；(2)根据公式以及分别计算点云P、Q的初始配准参数R、t；(3)根据p'＝Rp+t对点云P、Q进行R、t变换，将所得结果作为点云的初始配准结果，其中p'为点云P中任一样点的坐标p变换到点云Q所在坐标系下的坐标。

与现有技术相比，本发明具有以下优点：

(1)采用移动式三维测量方式消除固定式三维测量方式需利用精密运动平台移动被测物体的限制，从而拓展三维测量的灵活性，采集的序列图像隐含点云配准过程所需要的测量装置移动轨迹信息；

(2)以二维图像的特征点匹配代替点云的特征点匹配，避免在点云中搜索对应点，对点云的重叠比例无严格要求，可显著增强配准过程的稳健性；

(3)本发明只需更少量的测量视角便可获得物体的完整数字化模型，配准次数更少，配准效率更高。

附图说明

图1是本发明实物表面采样点集初始配准的优化求解方法的流程图；

图2是三维场景移动式测量示意图；

图3是相机坐标系与点云局部坐标系位置关系示意图；

图4是计算相机外参数原理图；

图5是实施例一中人脸模型点云及全部二维图像示意图；

图6是实施例一中人脸模型前两个视角拍摄的两幅图像特征点检测与匹配结果示意图；

图7是实施例一中人脸模型点云初始配准结果示意图；

图8是实施例二中汽车引擎罩板点云及部分二维图像示意图；

图9是实施例二中汽车引擎罩板点云初始配准结果示意图；

图10是实施例二中汽车引擎罩板点云精确配准结果示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步说明。

图1为本发明实物表面采样点集初始配准的优化求解方法的程序流程图，采用C++程序设计语言实现，本发明所载方法的主要过程包括移动式三维测量方式采集点云及二维图像、标定点云局部坐标系与二维图像的相机坐标系的位置关系、利用图像的运动法重建方法估计相机外参数，可较为优化的完成初始配准参数的求解。

图3为相机坐标系与点云局部坐标系位置关系示意图，设点云数据所在的局部坐标系为o_W-x_Wy_Wz_W，其相机坐标系为o_C-x_Cy_Cz_C。这两个坐标系之间刚性变换关系记为旋转变换R_W和平移变换t_W。若物体表面任意一点X在两个坐标系中的坐标分别为矩阵X_W和X_C，则采用式(1)将点X在局部坐标系中的坐标转换到相机坐标系：

X_C＝R_WX_W+t_W (1)

采用经过标定的三维扫描仪测量标定块，得到标定块上标识点的空间坐标以及标定块的二维图像，识别标定块的二维图像中标识点的中心坐标，进而将标识点的空间坐标与中心坐标建立一一对应关系，利用最小二乘法即可求解变换矩阵R_W、t_W。根据三维测量系统原理可知，同一次测量过程中，不同位置处相机坐标系与点云局部坐标系的相对位置关系是保持不变的，即R_W、t_W不变。

估计多个相机的外参数是一个迭代计算的过程，首先需通过I₁和I₂的特征点匹配对集合I_1,2对模型初始化处理，并将重建所得的物体三维结构S⁽¹⁾、相机外参数M₁和M₂作为后续计算的基础。如图4所示，I₁与I₂为相机在A₁、A₂两个位置的拍摄图像，欧氏空间中任意一个空间点X在I₁与I₂上的投影点坐标分别为x₁、x₂。相机由A₁位置运动到A₂位置的相对旋转、平移变换分别记为ΔR_C1、Δt_C1，则由对极几何约束可知：

式中，K为相机内参数。E为两视图之间的本质矩阵，具有齐次性，且其仅与ΔR_C1、Δt_C1有关，满足

E＝[Δt_C1]_xΔR_C1 (3)

式中：[Δt_C1]_x为平移向量Δt_C1的反对称矩阵。应用奇异值分解法将E分解为如式(3)的形式，获得的Δt_C1与真实平移向量之间存在不确定的尺度因子λ，因此，图像信息只能准确提供相机在两个拍摄位置间的相对旋转矩阵。

每增加一幅图像I_i(i＝3,4,…n)，则利用其已重建的特征点图像坐标与对应的空间坐标解决透视n点定位问题，即可求解出相机外参数M_i(i＝3,4,…n)，进而基于三角测量方法重建新加入的图像I_i。在重建过程中会多次采用光束法平差进行全局优化以提高重建精度，则其求解的相机外参数Φ＝{M_i|i＝1,2,…,n}同样可得到优化。

对于物体表面点X，假设其在第i与i+1两相邻视角下的点云中均存在，且对应坐标分别为X_Wi、X_W(i+1)，则由式(1)可得

式中，X_Ci和X_C(i+1)分别为点X在相应两个相机坐标系中的坐标。

配准就是求解X_Wi与X_W(i+1)的变换关系，经式(4)变换，从而等价于求解X_Ci与X_C(i+1)的变换关系，设X_Ci和X_C(i+1)满足

X_C(i+1)＝ΔR_CiX_Ci+Δt_Ci (5)

式中，ΔR_Ci和Δt_Ci分别表示相机在第i与i+1视角的相对变换矩阵。

联立式(4)(5)，第i与i+1视角的两个待配准点云间的刚性变换可表示为

X_W(i+1)＝RX_Wi+t (6)

式中，

由式(6)的关系式可知，通过不同视角的重叠图像提供足够数量的对应点间接实现配准，可避免在点云数据集内进行任何对应点搜索。因此，在点云重叠区域较小甚至没有重叠的情况下，点云初始配准问题可转化为求解R_W、t_W与ΔR_Ci、Δt_Ci，其中i＝1,2,…,n-1。

ΔR_Ci和Δt_Ci是由相机在第i视角的变换矩阵R_Ci、t_Ci与第i+1视角的变换矩阵R_C(i+1)、t_C(i+1)间接计算的，因此，求解ΔR_Ci、Δt_Ci实际上是序列图像定位问题，即计算各相机外参数Φ＝{M_i|i＝1,2,…,n}，其中M_i＝[R_Ci t_Ci]。

由于λ无法确定，故式(6)改写成

X_C(i+1)＝ΔR_CiX_Ci+λΔt_Ci (7)

从而，式(7)中不能准确求出。因此，初始配准公式为：

p'＝Rp+t (8)

式中，p'为源点云P中任一样点的坐标p变换到目标点云Q所在坐标系下的坐标。

实施例一：图5是采用移动式三维测量方式获取的人脸模型表面采样数据和序列图像示意图，点云数量分别为72317、76984，以及11张二维图像，两点云重叠区域较小且初始位置相差较大。尺度因子λ取1，阈值α取0.6。本发明通过重建图5中11幅二维图像，计算出所有相机的旋转变换矩阵，如图6所示，仅显示相机在第一、二测量位置处对应的图像经SIFT特征点检测与匹配的实际效果，去除误匹配共获得40对匹配特征点。初始配准的结果如图7所示，两组点云之间仅相差一个平移变换。

实施例二：图8所示是采用移动式三维测量方式获取的汽车引擎罩板表面采样数据和序列图像示意图，点云数量分别为64601、67752，以及30张二维图像，两点云重叠区域较小且初始位置相差较大。尺度因子λ取1，阈值α取0.6。初始配准的结果如图9所示，两组点云之间仅相差一个平移变换，初始配准的均方根误差为0.9094mm。将本发明提出的实物表面采样点集初始配准的优化求解方法求解出的初始配准参数作为ICP算法的初始值对图9中的点云数据进行精确配准，结果如图10所示，配准所用总时间为54.001s，且结果正确，其误差为0.1924mm。

通过实施例可以得出，本发明结合图像信息能够配准初始位置相差较大且重叠区域较小的点云。采用本发明的方法进行初始配准，将点云移动到近似重叠的位置，然后采用ICP算法精确求解平移变换矩阵，能够实现重叠区域较小的点云的精确配准。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (3)

1.一种实物表面采样点集初始配准的优化求解方法，其特征在于依次包含以下步骤：(1)采用移动式测量方式采集被测物体表面点云P、Q以及二维图像集Σ＝{I_i|i＝1,2,…,n}，具体步骤为：首先在第1个测量位置A₁处利用三维扫描仪测量物体，获得点云P以及二维图像I₁，然后移动三维扫描仪，在测量位置A₂,A₃,…,A_n-1处实时拍摄被测物体二维图像，得图像I_i，其中i＝2,3,…,n-1，最后在第n个测量位置A_n处扫描物体，获得点云Q以及二维图像I_n；(2)计算点云从其局部坐标系转换到二维图像所在相机坐标系的变换矩阵R_W、t_W，具体是：1)用经过标定的三维扫描仪测量标定块，得到标定块上标识点的空间坐标以及标定块的二维图像；2)识别标定块的二维图像中标识点的中心坐标；3)将标识点的空间坐标与中心坐标建立一一对应关系，利用最小二乘法求解变换矩阵R_W、t_W；(3)基于采集的二维图像估计所有的相机外参数；(4)基于变换矩阵R_W、t_W和相机外参数对初始位置相差较大且重叠不良的点云进行初始配准。

2.如权利要求1所述的实物表面采样点集初始配准的优化求解方法，其特征在于：步骤(3)中，估计所有的相机外参数，具体步骤为：(1)应用尺度不变特征变换算法检测Σ的特征点；(2)对于I_i中的任一特征点在I_i+1中寻找欧氏距离最小和次小的两个特征点，若最小距离和次小距离之间的比值小于给定阈值α时，则认为最小距离对应的特征点是正确的匹配对，根据这一原则，对Σ中任意相邻两幅图像依次进行特征点匹配，并将特征点匹配结果记为Ψ＝{C⁽ⁱ⁾|i＝1,2,…,(n-1)}，其中，C⁽ⁱ⁾表示图像I_i与I_i+1的特征点匹配对集合；(3)令第一个相机的外参数M₁＝[I0]，其中I为3×3维单位矩阵，0为3×1维零向量，基于对极几何约束利用I₁和I₂的特征点匹配对集合C⁽¹⁾建立方程，计算第二个相机的外参数M₂；(4)根据公式P＝KM初始化第一、二相机的透视投影矩阵P₁、P₂，其中K是3×3维矩阵，表示相机内参数，并基于三角测量原理对C⁽¹⁾中的特征点进行重建，重建得到的空间点记为集合S⁽¹⁾，点集Ω＝{S⁽¹⁾}，相机外参数集合Φ＝{M₁,M₂}，k←2；(5)加入新的图像I_k+1，并从C^(k)中选取能够在点集Ω中找到对应空间坐标的特征点匹配对，记为则另一部分特征点匹配对记为(6)根据与Ω建立空间点与图像点的一一映射关系，使用最小二乘法求解相机外参数M_k+1，Φ←Φ∪M_k+1；(7)计算新加入图像的相机透视投影矩阵P_k+1＝KM_k+1，应用三角测量原理重建中的特征点，将新增的重建点记为S^(k)；(8)Ω←Ω∪S^(k)；(9)光束法平差参数优化，并更新Ω以及Φ；(10)k←k+1；(11)重复执行步骤(5)～(10)，直至所有二维图像处理完成；(12)分解Φ中的相机外参数，得旋转矩阵集合T_R＝{R_Ci|i＝1,2,…,n}，平移矩阵集合T_t＝{t_Ci|i＝1,2,…,n}，其中，R_Ci表示第i个相机的旋转矩阵，t_Ci表示第i个相机的平移矩阵。

3.如权利要求1所述的实物表面采样点集初始配准的优化求解方法，其特征在于：步骤(4)中，初始配准初始位置相差较大且重叠不良的点云，具体步骤为：(1)基于旋转矩阵集合T_R和平移矩阵集合T_t计算相机在位置A₁与A_n的相对变换矩阵ΔR_C和Δt_C；(2)根据公式以及分别计算点云P、Q的初始配准参数R、t；(3)根据p'＝Rp+t对点云P、Q进行R、t变换，将所得结果作为点云的初始配准结果，其中p'为点云P中任一样点的坐标p变换到点云Q所在坐标系下的坐标。