CN101645170B - 多视点云精确配准方法 - Google Patents

Abstract

本发明提供一种多视点云精确配准方法，该方法包括以下步骤：从待配准的两块全局点云分别选取彼此大致重叠的一块点云作为目标点云和参考点云，使用主方向贴合法实现目标点云和参考点云的预配准；使用主方向测试法来判定并实现目标点云和参考点云的预配准主方向的一致；分别求取目标点云和参考点云中各点的曲率，根据曲率相似分别得到特征匹配点对P₀、Q₀；利用特征匹配点对P₀、Q₀，使用迭代最近点匹配算法实现目标点云和参考点云的精确配准；完成所述两块全局点云的配准。该方法具有计算速度快、配准精度高的特点，能够实现良好的配准效果。

Description

多视点云精确配准方法

技术领域

本发明涉及计算机视觉测量，属于计算机图形学技术领域，具体的说，本发明涉及一种将不同角度、不同位置扫描得到的三维数据转换到统一的坐标系中，从而自动重建物体完整的三维模型的方法。

背景技术

逆向工程中有一个重要的环节就是在结构光多视测量下进行数据拼合。因为产品的尺寸往往超出了测量装置的量程，而且在部分区域，测量探头不能触及产品的反面，所以通常的三维测量系统一次只能得到被测物体的表面某一方向和某一区域上的数据点。因此，要得到物体完整的形状信息，一般采用多视角，即，从多个角度进行检测。为了得到完整的三维模型，必须将不同角度、不同位置扫描得到的三维数据转换到统一的坐标系中，也就是通常说的点云配准。

常见的点云配准方法有基于精密仪器的方法、标签法和点云数据的自动配准方法。基于精密仪器的方法使用精密的机械设备，直接记录工件或视觉传感器在测量过程中的移动和旋转量，该方法配准精度高，但系统成本高，测量范围有限且测量效率较低。在标签法中，在测量阶段在被测物体上贴标签，对数据进行标记，一般贴在相对较平坦的区域，根据不同视角观察的三个或三个以上不共线的公共标签点来对数据进行配准计算坐标转换定位。而基于点云数据的配准方法通常采用的是最后一种方法，即点云自动配准方法。

目前自动配准方法大致可分为三类：迭代配准算法、基于曲面的配准算法以及基于几何的特征配准算法。点云自动配准中应用最广泛的算法是Besl PJ，M ckay N.D(A method for registration of 3-d shapes.IEEE Transactions onPattern Analysis and Machine Intelligence，1992，14(2)：239-256)提出的迭代最近点(Iterative Closest Point，ICP)匹配算法，这是一种高层次的基于自由形态曲面的配准方法，首先对对象点集中的每一个点在参考点集中找到一个与之距离最近的点，建立点对点的映射关系，然后通过最小二乘法计算最优坐标变换。但是ICP算法要求在两个匹配点集中，其中一个点集是另外一个点集的子集，而且两个匹配点集之间的初始位置不能相差太大；否则，ICP算法的收敛方向是不确定的，而匹配结果也不可靠，鲁棒性较差。而且，由于每次迭代都需要计算两个点集中的最近点，计算效率不高。因此国内外许多研究者都对ICP算法进行了不断的完善和补充。Chen Y，Medioni G(Object modeling byregistration of multiple range images.Image and Vision Computing，1992，10(3)：145-155)以点沿法矢量的方向到另外一个面的距离替换了点到点的距离。提高了精度，但是效率较低。Soon-Yong Park，Murali Subbarao(An Accurateand fast Point-to-Plane Registration Technique.Pattern Recognition Letters，2003，24：2967-2976)提出了收缩投影点(Contractive-projection-point)搜索最近点的配准方法，提高了计算效率。戴静兰、陈志杨、叶修梓(ICP算法在点云配准中的应用，中国图象图形学报，2007，12(3)：517-521)采用主方向贴合法实现初始配准的基础上，使用曲率特征点提高了ICP算法的计算效率，但是主方向判断上还需要手动设置系数，且对于对称物体适用性不好。

由于ICP算法对点云相对初始位置要求较高，不能相差太大，不然，ICP的收敛方向是不确定的，甚至导致局部最优解。这样在无法预知点云之间的初始关系的时候，ICP算法的有效性就不能得到保证。这时基于曲面的配准算法和基于几何的特征配准算法就有了其优势。这两种方法配准效率较高，并且对于例如局部重叠的点云数据，适用性较好，对点云之间的初始位置要求不高，但是其精度较差。

对此，国内外的研究者也提出了一些相应的算法。Barequet G，Sharir M(Partial surface matching by using directed foot Prints.Computational Geometry：Theory and Applications，1999，12(1-2)：45-62)在几何哈希技术基础上提出的投票匹配机制算法，利用附加在特征点上法向量作为有向脚标进行局部曲面配准，配准过程简单快速，但精确度较差。

Helmut Alt，Peter Brass，Michael Godau，Christian knauer & Carola Wenk(Computing the Hausdorff distance of geometric Patterns and shapes.TechnicalReport B 01-07，Freie University Berlin，Fachbereich Mathematik und informatik，November 2001)研究了基于Hausdorff距离和Frechet距离的几何结构形状匹配算法，该算法既可以用于点集也可用于线段集数据的匹配，对解决噪音点的干扰和局部遮挡问题有明显优势。

总的来说，基于曲面的配准算法和基于几何特征的配准算法配准效率较高，既可适用于自由曲面整体匹配，又适用于自由曲面部分匹配，应用范围广，但算法的配准精度不高；而基于ICP匹配算法的实现比较简单，而且在两个匹配模型的相对初始位置比较理想的条件下，能够保证得到较高精度的匹配结果。因而，目前一般采用从粗到精配准思路，即，先采取基于几何特征的配准算法进行预配准，然后用精确配准来使点云配准的误差达到最小。

发明内容

本发明的目的是克服现有技术的不足，提供一种自动多视点云精确配准方法，该方法具有计算速度快、配准精度高的特点，能够实现良好的配准效果。

根据本发明的一方面，提供一种多视点云精确配准方法，该方法包括以下步骤：从待配准的两块全局点云分别选取彼此大致重叠的一块点云作为目标点云和参考点云，使用主方向贴合法实现目标点云和参考点云的预配准；使用主方向测试法来判定并实现目标点云和参考点云的预配准主方向的一致；分别求取目标点云和参考点云中各点的曲率，根据曲率相似分别得到特征匹配点对P₀、Q₀；利用特征匹配点对P₀、Q₀，使用迭代最近点匹配算法实现目标点云和参考点云的精确配准；完成所述两块全局点云的配准，其中，使用主方向测试法进行判定的步骤包括：通过主元分析法提取预配准后的目标点云和参考点云在各自坐标系下的主方向；分别判断预配准后的目标点云和参考点云在各自坐标系下的主方向在全局坐标系下X、Y、Z轴的分量方向是否一致；如果不一致，则反转目标点云的坐标系的相应轴，实现目标点云和参考点云的预配准主方向的一致。

附图说明

通过结合附图，从下面的实施例的描述中，本发明这些和/或其它方面及优点将会变得清楚，并且更易于理解，其中：

图1是根据本发明实施例的多视点云精确配准方法的流程图；

图2是根据本发明实施例的工件预配准的效果图；

图3是根据本发明实施例的头像模型配准的效果图。

具体实施方式

以下，参照附图来详细说明本发明的实施例。

图1是根据本发明实施例的多视点云精确配准方法的流程图。

参照图1，在步骤101，读取待配准的两块全局点云M和N，从点云M和N中分别选取彼此大致重叠的一块点云作为目标点云P(N_P个点)和参考点云Q(N_Q个点)。使用主方向贴合法实现点云的预配准，使两个点云统一到主元坐标系(即，下文所述的主轴坐标系)下。

ICP算法要求待配准点云的相对初始位置不能相差太大，否则，ICP算法的收敛方向是不确定的，这必将影响到算法的精确度和收敛速度，甚至还有可能陷入局部最优解，得到的配准结果也是不可靠的。因而需要对点云进行预配准，来缩小点云之间的旋转和平移错位。

主方向贴合预配准的主要原理是对点云应用主元分析法提取目标点云P和参考点云Q的协方差矩阵的特征向量作为目标点云P的主方向和参考点云Q的主方向。从几何观点来看，主元分析的实质就是将原坐标系进行平移和旋转变换，使得新坐标的原点与数据样本群的重心重合。接着，对于目标点云P和参考点云Q，可分别建立一个以点云重心为原点、点云主方向以及与主方向垂直的两个次方向为坐标轴的主轴坐标系(也就是说，建立一个以目标点云P点云重心为原点、目标点云P的主方向以及与该主方向垂直的两个次方向为坐标轴的主轴坐标系，并且建立一个以参考点云Q重心为原点、参考点云Q的主方向以及与主方向垂直的两个次方向为坐标轴的主轴坐标系)。然后，将目标点云P和参考点云Q的原样本数据反投影到各自的主轴坐标系下。接下来，计算这两个主轴坐标系的原点之间的平移矩阵作为所述两个主轴坐标系之间的平移矩阵，通过平移使得所述两个主轴坐标系统一为一个主轴坐标系，从而使得目标点云P和参考点云Q统一到同一主轴坐标系下，由此可以实现点云预配准，达到缩小点云之间错位的目的。

主方向贴合预配准的可包括以下步骤：

(1)计算目标点云P和参考点云Q的协方差矩阵；

(2)利用奇异值分解分别求出目标点云P和参考点云Q的协方差矩阵的特征值和特征向量，把特征值按降序排列，分别选择目标点云P和参考点云Q对应的前3个特征向量V₁、V₂、V₃和U₁、U₂、U₃作为主元旋转向量(主方向)，建立旋转矩阵R₁和R₂；

(3)利用旋转矩阵R₁和R₂分别将目标点云P和参考点云Q转换到各自主元空间(主轴坐标系)内，生成新的点云P′和Q′；

(4)计算两片点云P′和Q′之间的平移矩阵T＝W_Q-W_P(W_Q、W_P为主轴坐标系原点)，重合两片点云P′和Q′的重心(使得目标点云P和参考点云Q统一到同一主轴坐标系下)，得到最后需要的预配准点集：P＝P′，Q＝Q′+T。

在步骤102，采用主方向测试法，判定并实现目标点云P和参考点云Q预配准主方向的一致。

由于点云的主方向存在正负两个方向，有可能出现预配准后点云的主方向正好相反的情况。本发明提供了一种新的点云主方向测试法。在该点云主方向测试法中，通过主元分析(PCA)法提取预配准后的两块点云P和Q在各自坐标系下的主方向，分别判断预配准后的两块点云P和Q在各自坐标系下的主方向在全局坐标系下X、Y、Z轴的分量方向是否一致；如果不一致，则反转目标点云P的坐标系的相应轴，实现点云配准主方向的一致。

具体实现方法如下：

(1)对预配准好的点云集P、Q，先求出此时两个点云新的坐标系原点W_P和W_Q，即数据样本群的重心；

(2)利用用主元分析法分别计算出它们新的点云主方向V、U；

(3)在全局坐标系下求出新的点云主方向与新的坐标系原点的矢量差，即为点云在各自坐标系下的点云主方向：

V′＝V-W_P    (1)

U′＝U-W_Q    (2)

(4)在全局坐标系下，分别判断预配准后的两块点云P和Q在各自坐标系下的主方向V′和U′在X、Y、Z轴上的分量方向是否一致。如果V_X′·U_X′＜0，则反转点云集P坐标系的X轴；同理，如果V_Y′·U_Y′＜0，则反转点云集P坐标系的Y轴；如果V_Z′·U_Z′＜0，则反转点云集P坐标系的Z轴。

在步骤103，分别求取目标点云P和参考点云Q中各点的曲率，根据曲率相似分别得到特征匹配点对P₀、Q₀。

本发明采用点的主曲率作为匹配特征，曲率是反映曲面性质的重要特征，曲面上任意一点，其法曲率取最大值和最小值的方向称为曲面在该点的主方向，相应的法曲率称为曲面在该点的主曲率，设k₁、k₂为曲面上一点的两个主曲率，则它们的乘积k₁k₂称为曲面在这一点的高斯曲率，通常以K表示。它们的平均值

称为曲面在这一点的平均曲率，通常以H表示。

本发明采用稳定性较好的抛物面拟合法估算数据点的平均曲率。首先应用三维栅格法对目标点云P和参考点云Q进行空间划分，确定每个数据点的K邻域，提高数据点的最近K邻域的搜索速度。W Sun，C Bradly，Y F Zhang，HT Loh(Cloud data modeling employing a unified，on-redundant triangular mesh.Computer-Aided Design，2001，33：183-190)进行了大量试验，证明了邻域数据量在24-32个点时，即，邻域数据量K∈E[24，32]，就可以保证拟合抛物面的精度，过多的数据量会加大曲率计算的计算量，在本发明中选取的K为25。然后对数据点p_i及其K邻域进行最小二乘抛物面拟合，设为：z＝ax²+bxy+cy²，将p_i及其K邻域点的坐标代入抛物面方程，得到方程组：AX＝Z，

其中， $A={\left[\begin{array}{ccc}{x}_1^2& x_1{y}_1& y_1^2\\ x_2^2& x_2{y}_2& y_2^2\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_{k+1}^2& x_{k+1}{y}_{k+1}& y_{k+1}^2\end{array}\right]}_{(k+1)\×3};$ X＝[a，b，c]^T；Z＝[z₁，z₂，...，z_k+1]^T。

利用Householder变换法求解方程组，得到系数a，b，c，则p_i的平均曲率H为：H＝a+c，K＝4ac-b²，由平均曲率可以得到主曲率： $k_1=H+\sqrt{H^2-K},$ $k_2=H-\sqrt{H^2-K},$ 重复以上过程直至求出所有点云数据的高斯曲率、平均曲率和主曲率。

然后用主曲率进行匹配点对的选取。在匹配点对的选取过程中，如果点集P中某点的主曲率为零，那么丢弃这一点，即，该点不会被加入到匹配点对集合中。这样既可以减少计算时间，又可以避免一些不正确的匹配点对出现，对算法的速度和准确性都有改善。然后对点集P中的每个点p_i，在点集中寻找与Q曲率相近的点Q_j，即，两个点之间的最大和最小主曲率满足如下的匹配点对选取原则：

$\left\{\begin{array}{c}|k_1\left(p_{i^1}\right)-k_1\left({p_j}^2\right)|/\left(\right|k_1\left(p_{i^1}\right)|-|k_1\left({p_j}^2\right)\left|\right)<{\mathrm{\&epsiv;}}_1\\ |k_2\left(p_{i^1}\right)-k_2\left({p_j}^2\right)|/\left(\right|k_2\left(p_{i^1}\right)|-|k_2\left({p_j}^2\right)\left|\right)<{\mathrm{\&epsiv;}}_2\end{array}\right.---\left(3\right)$

这样就可以得到曲率匹配点对。式中系数ε₁和ε₂的选取是影响精度的又一关键问题。ε₁和ε₂太大会导致匹配点对数多，虽然能保证配准精度，但是增大了计算量，影响配准速度；而ε₁和ε₂设置太小又不能保证配准精度。根据本发明，在实验中取ε₁和ε₂均为0.02左右。

在步骤104，利用特征匹配点对P₀、Q₀，使用一种改进的ICP算法来实现目标点云P和参考点云Q的精确配准。

本方法在Besl的经典ICP算法上做了如下改进，在做迭代计算之前先提取出了曲率匹配点对，采用了基于曲率特征点的ICP算法来解决ICP算法计算效率低的问题。可包括以下步骤：

(1)首先给定P₀与Q₀之间的变换初始值(旋转矩阵R₀设为单位矩阵，平移矩阵T₀设为零矩阵)，目标函数为

初始的目标函数阈值由用户设定。

(2)对点云Q₀中的点构建一棵k-d树，接着对点云P₀中各点在k-d树中寻找点云Q₀中相对应欧式距离最小的点组成特征点对。

(3)根据所述特征点对，采用最优化解析方法计算R^k，T^k，对点云P₀中的点进行坐标变换，使得目标函数最小化，也就是，使得目标函数 $\underset{\&ForAll;i}{\mathrm{\&Sigma;}}\left|\right|R^k{P}_i+T^k-Q_i^k\left|\right|\&RightArrow;\min ;$ 首先求取P₀和Q₀的质心分别为W_PO、W_QO，那么可得：W_PO＝W_QO*R+T。令p′_i＝p_i-W_PO，Q′_i＝Q_i-W_QO，则目标函数可以写成为： $f(R,T)=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\left|\right|P_i^{\&prime;}-{\mathrm{RQ}}_i^{\&prime;}\left|\right|}^2;$ 通过SVD奇异值分解来求得最佳旋转矩阵R。首先计算3×3矩阵 $H=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{P}_i^{\&prime;}{Q}_i^{\&prime;},$ 对H进行奇异值分解：H＝U∧V^T。

如果det(UV^T)＝1，则R＝UV^T；如果det(UV^T)＝-1，则算法失效，这种情况只有两个数据点集是平面点集或者存在大量噪声点的时候出现。而T可以由W_PO＝W_QO*R+T求得。

(4)计算 $\stackrel{\&OverBar;}{d^{k+1}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\left|\right|X^{k+1}-Q_i^k\left|\right|,$ 其中， $X^{k+1}=\left\{X_i^k\right|X_i^k=R^k{P}_i+T^k,P_i\&Element;P\};$ 当目标函数误差d^k+1＜ε时，则认为配准精度已经达到要求，迭代终止，若不满足误差条件则继续迭代。ε为设定的距离门限(阈值)。

在步骤105，完成全局点云M和N的配准。

根据以上描述，本发明的核心是主方向贴合法以及主方向测试法来完成点云的预配准。实际上只要在待配准的两块全局点云中，选取大致重叠的两部分点云，就可以利用部分点云预配准得到的旋转矩阵和平移矩阵来完成全局点云的预配准。本发明的步骤101和102就是通过主方向贴合法和主方向测试法来完成点云预配准的过程，在点云预配准之后就可以利用步骤104中的改进ICP算法来实现点云的精确配准。另外由于ICP算法中计算代价最大的部分是计算目标点云和参考点云之间的对应点，所以步骤103通过求取曲率匹配点对达到了精简点云，减少计算代价的目的，提高了匹配速度，同时也减少了错误的匹配点对，提高了配准的可靠性和准确性。

本发明与现有技术相比的优点在于：

1、本发明在精确配准前采用预配准，使两片任意位置的点云统一到主元坐标系下，为精确配准提供最佳初始位置，解决了ICP算法做精确配准时对初始位置的要求。同时，由于点云的主方向存在正负两个方向，所以有可能出现预配准后点云的主方向正好相反的情况。由此，本发明提供了一种主方向测试法来判定并实现点云预配准主方向的一致。

2、本发明采用点的主曲率作为匹配特征，与其它的几何特征相比这种特征具有平移、旋转和缩放不变性，减少了错误的匹配点对，提高了配准的可靠性和准确性。同时，求取曲率时先采用三维栅格法来对三维点云进行空间划分，提高数据点的最近k邻域的搜索速度，加快了计算速度。在ICP算法做迭代计算之前先提取出了曲率匹配点对，采用了基于曲率特征点的ICP算法来解决ICP算法计算效率低的问题。

图2是根据本发明实施例的工件预配准的效果图。图1中的(a)是工件待配准的两块点云，图1中的(b)是本发明采用主方向贴合法对目标点云和参考点云进行预配准的效果图，配准效果很好。

图3是根据本发明实施例的头像模型配准的效果图。图3中的(a)是头像模型待配准的两块点云；图3中的(b)是本发明采用主方向贴合法对目标点云和参考点云进行预配准的效果图，出现了预配准后点云的主方向正好相反的情况；而采用主方向测试法能自动纠正主方向的错误，如图3中的(c)所示；图中的(d)是对点云进行精确配准后的结果；图3中的(e)为头像模型整体点云配准完成图；图3中的(f)是头像模型整体点云配准完成的渲染图。

如上所述，根据本发明的自动多视点云精确配准方法具有计算速度快、配准精度高的特点，能够实现良好的配准效果。

虽然本发明是参照其示例性的实施例被具体描述和显示的，但是本领域的普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节的各种改变。

Claims (3)

1.一种多视点云精确配准方法，包括以下步骤：

从待配准的两块全局点云分别选取彼此大致重叠的一块点云作为目标点云和参考点云，使用主方向贴合法实现目标点云和参考点云的预配准；

使用主方向测试法来判定并实现目标点云和参考点云的预配准主方向的一致；

分别求取目标点云和参考点云中各点的曲率，根据曲率相似分别得到特征匹配点对P₀、Q₀；

利用特征匹配点对P₀、Q₀，使用迭代最近点匹配算法实现目标点云和参考点云的精确配准；

完成所述两块全局点云的配准，

其中，使用主方向贴合法实现目标点云和参考点云的预配准的步骤包括：应用主元分析法，提取目标点云和参考点云的协方差矩阵的特征向量作为目标点云的主方向和参考点云的主方向；建立一个以目标点云重心为原点、目标点云的主方向以及与该主方向垂直的两个次方向为坐标轴的主轴坐标系，并且建立一个以参考点云重心为原点、参考点云的主方向以及与该主方向垂直的两个次方向为坐标轴的主轴坐标系；将目标点云和参考点云的原样本数据反投影到各自的主轴坐标系下；计算所述两个主轴坐标系的原点之间的平移矩阵作为所述两个主轴坐标系之间的平移矩阵；通过平移使得所述两个主轴坐标系统一为一个主轴坐标系，使得目标点云和参考点云统一到同一主轴坐标系下，实现点云预配准，

其中，使用主方向测试法进行判定的步骤包括：通过主元分析法提取预配准后的目标点云和参考点云在各自坐标系下的主方向；分别判断预配准后的目标点云和参考点云在各自坐标系下的主方向在全局坐标系下X、Y、Z轴的分量方向是否一致；如果不一致，则反转目标点云的坐标系的相应轴，实现目标点云和参考点云的预配准主方向的一致。

2.根据权利要求1所述的多视点云精确配准方法，其中，所述求取曲率并得到特征匹配点对P₀、Q₀的步骤包括：

采用三维栅格法对目标点云和参考点云进行空间划分，确定每个数据点的邻域；

使用数据点的邻域进行局部抛物面拟合，求得数据点的主曲率；

根据主曲率利用曲率匹配进行匹配点对P₀、Q₀的选取。

3.根据权利要求2所述的多视点云精确配准方法，其中，使用迭代最近点匹配算法实现目标点云和参考点云的精确配准的步骤包括：

给定P₀与Q₀之间的变换初始值，并给定配准的目标函数；

对Q₀中的点构建k-d树，使用k-d树加速搜索P₀各点在Q₀各点中的最近点，组成特征点对；

根据所述特征点对，对P₀中的点进行坐标变换，使得目标函数最小化；

当目标函数误差小于给定的阈值时，迭代终止；

当目标函数误差不小于给定的阈值时，继续迭代。

Images