CN101051386A - 多幅深度图像的精确配准方法 - Google Patents

Abstract

多幅深度图像的精确配准方法，步骤如下：(1)判断边界点、噪声点和孤立点，以去掉噪声较大的点；(2)在不同深度图像的重叠区域选择参考点，并为每个参考点建立对应点缓冲区，以便在缓冲区中搜索对应点；(3)采用迭代方法，逐步优化整体配准精确度，在每次迭代过程中，首先为每个参考点在对应点缓冲区中搜索最近点作为对应点；然后使用伪逆矩阵最小化所述的对应点之间的误差，如此多次迭代，直到误差小于所要求的阈值为止。本配准方法的计算效率较高，适合处理数据量较大的模型。

Description

多幅深度图像的精确配准方法

技术领域

本发明属于计算机虚拟现实技术领域，具体地说是对多幅深度图像的整体进行精确配准，消除两两配准的累积误差，用于三维模型的几何建模。

背景技术

随着近年来三维扫描技术的迅速发展，使用三维扫描仪建立物体的三维模型变得越来越普遍。三维扫描仪扫描得到的带有深度信息的深度图像，由于一次只能从一个角度扫描模型，所以，多次从不同角度扫描到的深度图像需要进行拼接，即配准，以得到完整的物体模型。首先要进行两两配准，但由于存在累积误差，两两配准后模型可能会出现严重的“裂缝”。本方法在两两配准的基础上，对模型整体的进行精确配准，消除两两配准的累计误差，优化整体配准结果。

多幅深度图像的精确配准与两幅深度图像的精确配准类似，都采用迭代的方法，逐步提高配准精确度。每次迭代过程中主要包含两步：搜索对应点和最小化对应点之间的误差。不同方法的不同之处在于不同的对应点搜索策略、不同的误差度量方法以及不同的误差优化算法。

多幅深度图像的精确配准的目标是优化整体误差和消除两两配准的累积误差。文献1-G.Turk and M.Levoy.，Zippered Polygon Meshes from RangeImages，Proceedings of the 21st annual conference on Computer graphicsand interactive techniques，pp.311-318，1994提出了一种方法，首先得到一个低分辨率的整体模型，然后对每一幅高分辨率的深度图像利用ICP算法在整体模型上进行配准，最终得到一个高分辨率的整体模型，但在许多情况下往往很难得到这样一个整体模型。文献2-Masuda，T.，Sakaue，K.，Yokoya，N.Registration and Integration of Multiple Range Images for 3-D ModelConstruction.In Proc.CVPR.，1996.先将所有的图像先排成一个序列，然后依次让每一幅图像与它前面的所有图像的并集使用ICP(Y.Chen，G.Medioni.Object Modeling by Registration of Multiple Range Images.IEEEConference on Robotics and Automation，pp.2724-2729，1992.)算法进行配准，但这依赖于配准序列的顺序，不能很均匀的传播误差。文献3-R.Bergevin，M.Soucy，H.Gagnon，and D.Laurendeau.Towards a General Multi-ViewRegistration Technique.IEEE Trans.Pattern Anal.Mach.Intell.，Vol.18，No.5，pp.540-547，1996.和文献4-Benjemaa R.，Schmitt F.Fast GlobalRegistration of 3D Sampled Surfaces using a Multi-Z-Buffer Technique.International Conference on 3D Digital Imaging and Modeling(3DIM)，1997.在所有图像已粗略配准之后，分别让每一幅深度图像与其他所有图像的并集用ICP算法进行两两配准，这样反复循环后，最终得到收敛结果。但这样的循环次数会很大，计算量很大。文献5-Neugebauer P.J.Geometrical Cloning of3D Objects via Simultaneous Registration of Multiple Range Images[C].Proceedings of the 1997 International Conference on Shape Modeling andApplications(SMA’97)，1997.将参考点投影到与之重叠深度图像中得到对应点，并且使用点到切平面的距离作为误差度量，然后使用Levenberg-Marquardt方法同时优化整体误差，由于使用同时优化的方法，效率比前面方法要高，但还需要大量的计算。一个简单而有效的加速方法是利用两两配准的结果预先计算出图像之间的对应点，多幅深度图像配准过程中仅仅使用这些对应点进行计算，这样不需要将所有的数据装入内存，可以大大节省时间和空间，对于处理大模型才更为实际。文献6-Pulli，K.Multiview Registration for LargeData Sets.In International Conference on 3D Digital Imaging and Modeling(3DIM)，1999.利用两两配准的结果，将参考点变换到与之对应的深度图像的坐标系中的点的位置作为其对应点，文中称其为“虚”对应点，多幅深度图像配准过程中仅使用这些点作为对应点，然后使用类似于R.Bergevin，和BenjemaaR.的方法配准，由于省去了搜索对应点的过程，在时间和空间上均有较高的效率，但是它的对应点在多幅深度图像配准过程中不能更新对应点，严重依赖两两配准的结果。文献7-Sharp，G.，Lee，S.，Wehe，D.Multiview Registration of3D Scenes by Minimizing Error Between Coordinate Frames.IEEE Trans.PAMI，Vol.26，No.8，2004.特别注意到在回路中两两配准结果的不相容性，提出了一种调整方法，使得每条回路均得到相容的两两配准结果，但缺点是它没有充分考虑不同的两两配准的精度不一致。

上述各种方法中，对应点搜索多是在全局中搜索最近点或投影点，没有充分利用两两配准的结果，造成搜索范围很大，影响计算速度。文献6虽然利用两两配准结果，预先计算出对应点，提高了计算速度但却对精确度造成一定影响。最小化对应点之间误差的方法主要包括逐个优化和同时优化两类方法，逐个优化方法文献6每次只能调整一副深度图像位置，效率较低。同时优化方法文献5一次可以调整所有深度图像的位置，因此效率较高，文献5使用Ievenberg-Marquardt方法同时优化误差，但需要多次迭代，计算效率依然不高。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种具有配准和计算效率高的多幅深度图像精确配准方法。

本发明的技术解决方案：多幅深度图像的精确配准方法，其特点在于步骤如下：

(1)判断边界点、噪声点和孤立点，以去掉噪声较大的点；

(2)在不同深度图像的重叠区域选择参考点，并为每个参考点建立对应点缓冲区，以便在缓冲区中搜索对应点；

(3)采用迭代方法，逐步优化整体配准精确度，在每次迭代过程中，首先为每个参考点在对应点缓冲区中搜索最近点作为对应点；然后使用伪逆矩阵最小化所述的对应点之间的误差，如此多次迭代，直到误差小于所要求的阈值为止。

所述的步骤(1)中判断边界点、噪声点和孤立点的方法为：将要判断的点的球形邻域投影到该点的切平面上，得到一个以该点为圆心的圆形投影区域，在该圆形投影区域的圆形周向和径向上使用Pearson X²检验法，检验邻域内所有投影点是否服从均匀分布，如果服从均匀分布，则该点不是边界点、噪声点和孤立点；否则，该点是边界点、噪声点和孤立点。

所述步骤(2)中的参考点的选择方法：参考点应位于两幅深度图像的重叠区域，且所述的该参考点在重叠区域应满足以下两个条件：到最近对应点的距离小于所要求的阈值；其最近对应点不是边界点、噪声点和孤立点，

所述步骤(2)中为每个参考点建立对应点缓冲区的方法为：将参考点按两两精确配准结果变换到与之部分重叠的深度图像坐标系中，然后在对应深度图像中选取每个参考点的k邻域，即到该参考点距离最近的k个点，作为该参考点的对应点缓冲区，在搜索对应点过程中，仅在每个点的对应点缓冲区中搜索其对应点。

所述步骤(3)中使用伪逆矩阵最小化所述的对应点之间的误差为方法为：根据对应点直接构造矩阵M^TM和向量M^Tb，求方程Mθ＝b的最小二乘解，即为最小化对应点之间误差的刚性变换，通过伪逆矩阵计算其最优最小二乘解，得到θ＝(M^TM)⁺(M^Tb)。

本发明与现有技术相比的优点在于：

剔除边界点、噪声点和孤立点，提高了参考点的质量，而且利用边界点还可以去掉位于与之对应深度图像边界附近的参考点，使参考点严格位于重叠区域，提高了对应点的质量，从而使优化效果好，提高了配准效率。

而常见的边界点检验方法是将点云数据网格化后，找到边界边，从而找到边界点。但在许多情况下，很难得到一个高质量的流形表面，进而影响对边界点的判断。本发明则为不依赖网格，基于点云数据的边界点检验方法。

根据两两配准的结果，为每个参考点建立对应点缓冲区，减小了对应点的搜索范围，提高了搜索速度，从而提高了配准效率。与在全局中搜索对应点的方法文献5相比，缩小了对应点搜索范围，效率提高一倍以上。与文献6方法相比，又不会影响对应点准确性，兼顾了效率和精确度。

使用伪逆矩阵最小化对应点之间的误差，计算过程中处理的最大矩阵A为6N×6N(N为深度图像个数)阶稀疏矩阵，避免了与参考点个数成正比的巨大矩阵，而且伪逆矩阵数值稳定性很高，无需迭代，因此本发明具有较高的计算效率和稳定性。与文献5使用Ievenberg-Marquardt数值方法优化方法相比，本发明使用伪逆矩阵优化对应点误差，无需多次迭代，直接求得优化结果，计算效率提高了一倍以上。

附图说明

图1为本发明多幅深度图像精确配准主要流程图；

图2为本发明实施例对兵马俑模型的建模效果。

具体实施方式

如图1所示，本发明的具体步骤如下：

1.边界点、噪声点和孤立点的检验

对于任意一点p，判断它是否是边界点、噪声点和孤立点步骤如下：

第一步，对于深度图像中任意一点p，它的半径为r的球形邻域记为NB(p，r)＝{q|‖p-q‖＜r}，即到p的距离小于r的点。

第二步，用主元分析法在p点建立局部坐标系，p为原点，z轴(即最小特征值所对应的特征向量)为p的法向量，x、y轴(其余两个特征向量)张成p的切平面σ。

第三步，因流形曲面局部同胚于圆面，将点p及其邻域投影到σ上，将点q_i到σ上的投影记作q_i′。则NB(p，r)投影到圆形区域，圆心为p，半径为r。

第四步，对以p为圆心，NB(p，r)在σ上半径为r的圆面进行二维均匀分布的检验，做法是：将半径为r的圆按径向和周向等分，即将圆心角2π等分成S₁块扇形，每块的圆心角均相等，周向方面将面积πr²等分成S₂块同心圆环，每块的面积均相等。由于是均匀分块，所以样本在每一区间出现的期望频率应相等，然后采用Pearson X²检验法检验在径向和周向分块中样本实际频率是否与期望值有无显著差异。

第五步，如果在周向和径向上均无显著差异，即服从二维均匀分布，则p点不是边界点、噪声点和孤立点，否则p点是边界点、噪声点和孤立点。

2.参考点的选取及对应点缓冲区的建立

要在两幅深度图像的重叠区域选取点作为参考点，以进行配准计算，选取的参考点必须满足下列两个条件：

条件1：参考点到其对应点的距离小于用户所要求的阈值；

条件2：参考点及其对应点都不是边界点。

要为每一个参考点建立对应点缓冲区，做法是将参考点按两两精确配准结果变换到与之部分重叠的深度图像坐标系中，然后在对应深度图像中选取每个参考点的k邻域，即到该参考点距离最近的k个点，作为该参考点的对应点缓冲区，在搜索对应点过程中，仅在每个点的对应点缓冲区中搜索其对应点。

3.优化深度图像之间的误差

在选取了参考点及其对应点缓冲区后，采用迭代方法逐步缩小深度图像之间的配准误差。每次迭代过程主要分两步，第一步为每个参考点在对应点缓冲区中搜索最近点作为对应点，第二步，使用伪逆矩阵最小化对应点之间的误差，如此多次迭代，直到误差小于用户所要求的阈值为止。使用伪逆矩阵最小化对应点之间的误差的方法如下：

设第i幅深度图像的第k个参考点表示为p_ik，其在第j幅深度图像中的对应点表示为q_ijk。将误差定义为对应点之间距离的平方和，即总误差 $e=\underset{i}{\mathrm{\Σ}}\underset{j\≠i}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{\left|\right|p_{\mathrm{ik}}-q_{\mathrm{ijk}}\left|\right|}^2.$ 令p_ik所对应的矩阵为 $M_{\mathrm{ik}}=\left[\begin{array}{cccccc}0& z& -y& 1& 0& 0\\ -z& 0& x& 0& 1& 0\\ y& -x& 0& 0& 0& 1\end{array}\right],$ 其中x、y、z分别为p_ik的x、y、z坐标。q_ijk所对应的矩阵记为M_ijk，设第i幅深度图像所对应的刚性变换为θ_i＝[α β γ t_x t_y t_z]^T，α、β、Y分别为绕x、y、z轴的旋转角，t_x、t_y、t_z为平移分量。令 $M=\left[\begin{array}{ccccc}\·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ 0& M_{\mathrm{ik}}& 0& {-M}_{\mathrm{ijk}}& 0\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·\end{array}\right],b=\left[\begin{array}{c}M\\ q_{\mathrm{ijk}}-p_{\mathrm{ik}}\\ M\end{array}\right],$ $\mathrm{\θ}=\left[\begin{array}{c}{\mathrm{\θ}}_1\\ {\mathrm{\θ}}_2\\ M\\ {\mathrm{\θ}}_N\end{array}\right],$ 则方程Mθ＝b的最小二乘解即为所求的最优变换。由矩阵的性质可得θ＝M⁺b，其中M⁺为M的伪逆矩阵。又M⁺＝(M^TM)⁺M^T，所以θ＝(M^TM)⁺(M^Tb)。设N为深度图像个数。令M^TM＝[A_ij]_N×N＝A，M^Tb＝[d_i]_N×1＝d，对A_ij，d_i计算如下：

设所有的A_ij和b_i等于0，对于每个p_ik和q_ijk

A_ii←A_ii+M_ik ^TM_ik

A_ij←A_ij-M_ik ^TM_ijk

A_ji←A_ji-M_ijk ^TM_ik

A_jj←A_jj+M_ijk ^TM_ijk

d_i←d_i+M_ik ^T(q_ijk-p_ik)

d_j←d_j-M_ijk ^T(q_ijk-p_ik)

循环后：则θ＝A⁺d即为所求的最小化对应点之间距离平方和的变换。实际计算中不计算过大的矩阵M和b，直接计算M^TM和M^Tb，求得θ，这样提高了计算效率。

图2是使用三维扫描仪对兵马俑建模的例子。扫描后获得16幅深度图像，每幅深度图像约20多万个点。两两配准后，共得到40对深度图像两两重叠关系。多幅深度图像配准方法为：首先为每一幅深度图像计算边界点，对于预判断的点p，选取周围42个最近点作为邻域，Pearson X²检验时，周向上将圆6等分，取置信度为0.95，径向上将圆3等分，置信度为0.975，计算得到边界点；然后，使用OcTree均匀采样参考点，并为每个参考点建立对应点缓冲区，缓冲区的大小为10，共获得有效参考点101257个。迭代26次，用时197秒，迭代收敛，平均每10000点每次迭代时间约0.75秒，其中约5％的时间计算对应点，约5％的时间用于计算伪逆矩阵，约90％的时间用于构造的矩阵A和d。

Claims (5)

1、多幅深度图像的精确配准方法，其特征在于步骤如下：

(1)判断边界点、噪声点和孤立点，以去掉噪声较大的点；

(2)在不同深度图像的重叠区域选择参考点，并为每个参考点建立对应点缓冲区，以便在缓冲区中搜索对应点；

(3)采用迭代方法，逐步优化整体配准精确度，在每次迭代过程中，首先为每个参考点在对应点缓冲区中搜索最近点作为对应点；然后使用伪逆矩阵最小化所述的对应点之间的误差，如此多次迭代，直到误差小于所要求的阈值为止。

2、根据权利要求1所述的多幅深度图像的精确配准算法，其特征在于：所述的步骤(1)中判断边界点、噪声点和孤立点的方法为：将要判断的点的球形邻域投影到该点的切平面上，得到一个以该点为圆心的圆形投影区域，在该圆形投影区域的圆形周向和径向上使用Pearson X²检验法，检验邻域内所有投影点是否服从均匀分布，如果服从均匀分布，则该点不是边界点、噪声点和孤立点；否则，该点是边界点、噪声点和孤立点。

3、根据权利要求1所述的多幅深度图像的精确配准算法，其特征在于：所述的步骤(2)中的参考点的选择方法：参考点应位于两幅深度图像的重叠区域，且所述的该参考点在重叠区域应满足以下两个条件：到最近对应点的距离小于所要求的阈值；其最近对应点不是边界点、噪声点和孤立点。

4、根据权利要求1所述的多幅深度图像的精确配准算法，其特征在于：所述的步骤(2)中为每个参考点建立对应点缓冲区的方法为：将参考点按两两精确配准结果变换到与之部分重叠的深度图像坐标系中，然后在对应深度图像中选取每个参考点的k邻域，即到该参考点距离最近的k个点，作为该参考点的对应点缓冲区，在搜索对应点过程中，仅在每个点的对应点缓冲区中搜索其对应点。

5、根据权利要求1所述的多幅深度图像的精确配准算法，其特征在于：所述的步骤(3)中使用伪逆矩阵最小化所述的对应点之间的误差为方法为：根据对应点直接构造矩阵M^TM和向量M^Tb，求方程Mθ＝b的最小二乘解，即为最小化对应点之间误差的刚性变换，通过伪逆矩阵计算其最优最小二乘解，得到θ＝(M^TM)⁺(M^Tb)。

Images