CN104406538A - 用于点云拼接的标志点三维匹配方法及三维扫描方法 - Google Patents

Abstract

本发明是一种用于点云拼接的标志点三维匹配方法及三维扫描方法，所属领域为三维测量技术。由以下步骤组成：由双目相机获取两视角标志点三维坐标集合P、Q；计算Q中关于集合P中点p候选匹配点的能量；根据“唯一性”约束和“空间特征不变”约束选用一定的更新策略；若找出的匹配点对于对方来说都是能量最大的且满足阈值条件和约束条件，则迭代结束，否则返回迭代，直至找到满足条件的匹配点；由匹配点计算出欧氏变换，进行多视角点云的拼接。本方法相对其他标志点拼接方法，拼接方法更简单，迭代次数少，通常一到两次迭代即可，大大缩短了拼接的时间，拼接结果在有足够重叠区域的情况下稳定可靠；能广泛适用于各种测量设备获取的多视角点云数据拼接。

Description

用于点云拼接的标志点三维匹配方法及三维扫描方法

技术领域

一种用于点云拼接的标志点三维匹配方法及三维扫描方法，涉及计算机视觉测量领域，属于三维测量方法和仪器技术领域，尤其涉及三维扫描系统的三维点云数据的拼接。

背景技术

物体的三维轮廓测量技术是逆向工程，产品质量检测，人工智能，虚拟现实等技术的前提基础。随着科学技术的发展和市场需求的不断扩大，基于光学的非接触式三维物体形貌测量技术得到了长足的发展，该技术已经广泛应用于各个领域，如文化艺术数字化保存、医学研究中的重建下颌骨以及假肢的扫描重构等方面。在逆向工程中，对全体件的实物模型或零件进行数字化测量并在此基础上建立CAD模型等。另外在航空航天、建筑测绘、人工关节模型的建立等领域也有广泛的应用。

在拼接过程中数据配准是一个重要的步骤，数据配准是将两个或两个以上坐标系中的大容量三维空间数据点集转换到统一坐标系统中的数学计算过程。1992年计算机视觉研究者Besl等介绍了一种高层次的基于自由形态曲面的拼接方法，也称为迭代最近点法ICP。该算法是基于四元数的点集到点集配准方法，从测量点集中确定其对应的最近点点集后,运用Faugeras和Hebert提出的方法计算新的最近点点集，进行迭代计算，直到残差平方和所构成的目标函数值不变,结束迭代过程。ICP算法及其改进算法前提要找到一个初始的位置作为配准的开始，这使得配准后的点云数据的质量很大程度上依赖与专业技术人员的数据处理经验和专业知识。因此如何在点集模型上解决不存在明确对应关系的点云数据的拼接是国内外学者研究的一项重要的内容。

针对这种初始对应关系的匹配，采用比较多的方式是在被测物表面布置标志点,通过测量数据中的标志点的匹配和求解转换矩阵实现多视拼接,其中标记点的匹配主要采用一种基于距离矩阵的方法(梁云波,邓文怡,娄小平等.基于标志点的多视三维数据自动拼接方法[J].北京信息科技大学学报：自然科学版,2010,(1):30-33.)，具体实施步骤如下：

步骤1：用双目相机重建出两个视角的标记点，分别用集合P、Q表示；

步骤2：求取P、Q中的任意两个三维标记点的空间距离，构造两个新的关于边的距离的集合D_p、D_q；

步骤3：根据欧氏变换距离保持不变的特性，可知，如果d_p、d_q是正确的对应关系，那么必定有：d_p＝d_q；

步骤4：显而易见，若集合P、Q存在三个以上标记点的对应关系，则一定存在三个以上的边距离相等。若寻找到三对这样的对应关系，则继续寻找其他对应关系。若找不到，则说明没有正确的对应，算法结束；

步骤5：利用找出的匹配点算出P到Q的旋转平移向量R、T,再将视角P测得的点云数据转入视角Q所在的坐标系中。

这种方案需要建立庞大的距离矩阵，再通过大量迭代计算找出匹配点，耗费大量时间，且无法避免距离相等的巧合情况，稳定性比较差。因此，标记点匹配的快速性与准确性是标记点匹配首要解决的任务。

发明内容

针对现有方法迭代次数多，时间长，结果不稳定的缺点，本发明提出了一种计算准匹配点能量的形式，使用松弛算法思想，通过一定的约束和更新策略快速找到匹配点，在有足够重叠区域的条件下，只需一到两次迭代，即可找出绝大部分匹配点，所需时间短，结果稳定，且避免了传统方法大量的迭代的用于点云拼接的标志点三维匹配方法及三维扫描方法。

步骤1：用双目相机重建出两个视角的标记点，分别用P、Q表示两个视角下标记点集合；

步骤2：在P中取任意点作为p₀，在Q中找到关于p₀的正确匹配点；

步骤2-1：令M(p₀)表示p₀的半径r邻域点的集合；r为双目相机视场对角长长度；计算M(p₀)中各点到p₀的距离，各点到p₀的距离记作集合DM(p₀)，其元素个数为n₁；

步骤2-2:在Q中任取一点作为q_i，令M(q_i)表示q_i的半径r邻域点的集合，计算M(q_i)中各点到q_i的距离，各点到q_i的距离记作集合DM(q_i)，其元素个数为n₂；

步骤2-3、计算q_i关于p₀的能量，具体过程为：DM(q_i)和DM(p₀)中相等元素的个数计作n,则q_i关于p₀的能量为

步骤2-4、重复步骤2-2至步骤2-3直至计算出Q中所有点关于p₀的能量；

步骤2-5、根据“唯一性”约束，采用以下策略之一，选出Q中关于p₀的准匹配点q₀；

策略1：若Q中关于p₀的能量最大的点不唯一，则更换p₀重复步骤2；若Q中关于p₀的能量最大的点唯一，则该点即为p₀的正确匹配点q₀；

策略2：若Q中关于p₀的能量最大的点不唯一，则更换p₀重复步骤2；若Q中关于p₀的能量最大的点唯一，该点为q₀，记q₀点关于p₀的能量为θ，令θ₁＝1,当θ大于θ₂小于θ₁,则认为q₀点即为p₀的正确匹配点，否则更换p₀重复步骤2；

步骤3、令M(p₀)表示p₀的半径r邻域点的集合；r为双目相机视场对角长v长度；计算M(p₀)中各点到p₀的距离，各点到p₀的距离记作集合DM(p₀)，令M(q₀)表示q₀的半径r邻域点的集合，计算M(q₀)中各点到q₀的距离，各点到q₀的距离记作集合DM(q₀)；

步骤4、以p₀为顶点，任意选取M(p₀)中两个邻域点p₁、p₂构成的三角形记为Δp，以q₀为顶点，任意选取M(q₀)中两个邻域点q₁、q₂构成的三角形记为Δq，当d(p₀,p₁)等于d(q₀,q₁)，且d(p₀,p₂)等于d(q₀,q₂)时，再分别计算d(p₂,p₁)与d(q₂,q₁)，若d(p₂,p₁)与d(q₂,q₁)相等，则Δp与Δq全等，即p₁与q₁为正确匹配点，p₂与q₂为正确匹配点；其中d(p₀,p₁)、d(q₀,q₁)、d(p₀,p₂)、d(q₀,q₂)、d(p₂,p₁)、d(q₂,q₁)分别指相应两点的距离；否则更换p₁、p₂、q₁、q₂，重复步骤4，以此类推直至找到所有正确匹配点；

步骤5：若正确匹配点对数小于3则返回步骤2；否则至此已找出所有匹配点，执行下一步；

步骤6：利用找出的匹配点算出P到Q的旋转平移向量R、T,再将视角P测得的点云数据转入视角Q所在的坐标系中。

本方法相对其他标志点拼接方法，拼接方法更简单，迭代次数少，通常一到两次迭代即可，大大缩短了拼接的时间，拼接结果在有足够重叠区域的情况下稳定可靠；能广泛适用于各种测量设备获取的多视角点云数据拼接。

附图说明

图1标记点集合P,Q不对称的情况

图2本发明方法所用扫描对象

图3本发明所用激光扫描结果

具体实施方案

下面对本发明作进一步详细说明。本发明使用松弛算法的思想，将待匹配集合P与Q自我解散，自我重新配对，使得“唯一性”约束、“空间特征不变”约束和“连续性”约束条件得到最大的满足，从而排除误匹配。“唯一性”约束是指在集合P中的元素p₁，集合Q中最多只有一个点与其为正确匹配点。“空间特征不变”约束是指集合P中存在元素p₁、p₂，若集合Q中与其匹配的元素为q₁、q₂，则p₁与p₂的欧式距离一定等于q₁与q₂的欧式距离。“连续性”约束是指正确的匹配对周围通常存在较多其他的正确匹配对，而错误的匹配对则相反，周围通常存在很少其他正确匹配对。

考虑候选匹配集合N中的一个候选匹配(p_i,q_i),其中p_i是集合P中的点，q_i是集合Q中的点。令M(p_i)、M(q_i)分别为p_i、q_i的半径r邻域内的点，若p_i、q_i为正确匹配点，则M(p_i)、M(q_i)应存在较多正确匹配点，则我们可以说q_i对于p_i的能量最大，反之，若p_i、q_i为错误匹配，M(p_i)、M(q_i)中很少会有匹配点，甚至一个没有。因此定义候选匹配点的能量为：

$\mathrm{Energy}\left(p_i{q}_i\right)=\underset{q_k\∈M\left(\mathrm{qi}\right)}{\underset{p_k\∈M\left(p_i\right)}{\mathrm{\Σ}}}\mathrm{\Φ}(p_i,q_i,p_k,q_k)\×\frac{2}{M1+M2}---\left(1.1\right)$

其中： $\mathrm{\&Phi;}(p_i,q_i,p_k,q_k)=\left\{\begin{array}{cc}0& \mathrm{dis}>k\\ 1& \mathrm{dis}<k\end{array}\right.---\left(1.2\right)$

dis＝|d(p_i,p_k)-d(q_i-q_k)|    (1.3)d(p_i,p_k)表示p_i与p_k的欧氏距离，m₁表示M(p_i)元素的个数，m₂表示M(q_i)元素的个数。由于标记点重建过程中有一定的误差，当两者误差小于一个阈值k时我们既认为两者相等，即Φ等于1.阈值可根据相机标定的逆模型误差确定。是考虑M(p_i)和M(q_i)中元素有不对称情况(如图1所示)。

方案1、

1.一种用于点云拼接的标志点三维匹配方法，其特征在于包括以下步骤：

步骤1：用双目相机重建出两个视角的标记点，分别用P、Q表示两个视角下标记点集合；

步骤2：在P中取任意点作为p₀，在Q中找到关于p₀的正确匹配点；

步骤2-1：令M(p₀)表示p₀的半径r邻域点的集合；r为双目相机视场对角长长度；计算M(p₀)中各点到p₀的距离，各点到p₀的距离记作集合DM(p₀)，其元素个数为n₁；

步骤2-2:在Q中任取一点作为q_i，令M(q_i)表示q_i的半径r邻域点的集合，计算M(q_i)中各点到q_i的距离，各点到q_i的距离记作集合DM(q_i)，其元素个数为n₂；

步骤2-3、计算q_i关于p₀的能量，具体过程为：DM(q_i)和DM(p₀)中相等元素的个数计作n,则q_i关于p₀的能量为

步骤2-4、重复步骤2-2至步骤2-3直至计算出Q中所有点关于p₀的能量；

步骤2-5、根据“唯一性”约束，采用以下策略之一，选出Q中关于p₀的准匹配点q₀；

策略1：若Q中关于p₀的能量最大的点不唯一，则更换p₀重复步骤2；若Q中关于p₀的能量最大的点唯一，则该点即为p₀的正确匹配点q₀；

策略2：若Q中关于p₀的能量最大的点不唯一，则更换p₀重复步骤2；若Q中关于p₀的能量最大的点唯一，该点为q₀，记q₀点关于p₀的能量为θ，令θ₁＝1,当θ大于θ₂小于θ₁,则认为q₀点即为p₀的正确匹配点，否则更换p₀重复步骤2；

步骤3、令M(p₀)表示p₀的半径r邻域点的集合；r为双目相机视场对角长v长度；计算M(p₀)中各点到p₀的距离，各点到p₀的距离记作集合DM(p₀)，令M(q₀)表示q₀的半径r邻域点的集合，计算M(q₀)中各点到q₀的距离，各点到q₀的距离记作集合DM(q₀)；

步骤4、以p₀为顶点，任意选取M(p₀)中两个邻域点p₁、p₂构成的三角形记为Δp，以q₀为顶点，任意选取M(q₀)中两个邻域点q₁、q₂构成的三角形记为Δq，当d(p₀,p₁)等于d(q₀,q₁)，且d(p₀,p₂)等于d(q₀,q₂)时，再分别计算d(p₂,p₁)与d(q₂,q₁)，若d(p₂,p₁)与d(q₂,q₁)相等，则Δp与Δq全等，即p₁与q₁为正确匹配点，p₂与q₂为正确匹配点；其中d(p₀,p₁)、d(q₀,q₁)、d(p₀,p₂)、d(q₀,q₂)、d(p₂,p₁)、d(q₂,q₁)分别指相应两点的距离；否则更换p₁、p₂、q₁、q₂，重复步骤4，以此类推直至找到所有正确匹配点；

步骤5：若正确匹配点对数小于3则返回步骤2；否则至此已找出所有匹配点，执行下一步；

步骤6：利用找出的匹配点算出P到Q的旋转平移向量R、T,再将视角P测得的点云数据转入视角Q所在的坐标系中。

方案2、

1.一种用于点云拼接的标志点三维匹配方法，其特征在于包括以下步骤：

步骤1-6：与方案一中步骤1-6完全一样；

步骤7：重复步骤1至步骤7，拍摄多个视角，直至重建出所有标记点，构建全局坐标系；

步骤8：将全局坐标系下的所有标记点作为P，重建出自由视角下的标记点作为Q，同时通过结构光扫描仪重建出该视角下物体的三维数据，计算出Q到P的旋转平移向量R、T,再将该视角下的点云数据转入全局坐标系中；

步骤9：重复步骤8直至完成对物体的三维扫描。

本发明相比于现有的方法具有以下优点：

(1)不需要建立繁琐的距离矩阵，算法简洁明了，以点及面，以一及多；

(2)不需要进行大量迭代，一两次的迭代就基本可以找出匹配点；

(3)通过半径r的选择，基本一次可以找出视场范围内所有的匹配点；

(4)计算结果更稳定，避免了巧合情况带来的错误匹配，为实时高速扫描提供了保障。

(5)方案二可以最小化三维扫描的累计误差。

Claims (2)

1.一种用于点云拼接的标志点三维匹配方法，其特征在于包括以下步骤：

步骤1：用双目相机重建出两个视角的标记点，分别用P、Q表示两个视角下标记点集合；

步骤2：在P中取任意点作为p₀，在Q中找到关于p₀的正确匹配点；

步骤2-1：令M(p₀)表示p₀的半径r邻域点的集合；r为双目相机视场对角长长度；计算M(p₀)中各点到p₀的距离，各点到p₀的距离记作集合DM(p₀)，其元素个数为n₁；

步骤2-2:在Q中任取一点作为q_i，令M(q_i)表示q_i的半径r邻域点的集合，计算M(q_i)中各点到q_i的距离，各点到q_i的距离记作集合DM(q_i)，其元素个数为n₂；

步骤2-3、计算q_i关于p₀的能量，具体过程为：DM(q_i)和DM(p₀)中相等元素的个数计作n,则q_i关于p₀的能量为

步骤2-4、重复步骤2-2至步骤2-3直至计算出Q中所有点关于p₀的能量；

步骤2-5、根据“唯一性”约束，采用以下策略之一，选出Q中关于p₀的准匹配点q₀；

策略1：若Q中关于p₀的能量最大的点不唯一，则更换p₀重复步骤2；若Q中关于p₀的能量最大的点唯一，则该点即为p₀的正确匹配点q₀；

策略2：若Q中关于p₀的能量最大的点不唯一，则更换p₀重复步骤2；若Q中关于p₀的能量最大的点唯一，该点为q₀，记q₀点关于p₀的能量为θ，令θ₁＝1,当θ大于θ₂小于θ₁,则认为q₀点即为p₀的正确匹配点，否则更换p₀重复步骤2；

步骤3、令M(p₀)表示p₀的半径r邻域点的集合；r为双目相机视场对角长v长度；计算M(p₀)中各点到p₀的距离，各点到p₀的距离记作集合DM(p₀)，令M(q₀)表示q₀的半径r邻域点的集合，计算M(q₀)中各点到q₀的距离，各点到q₀的距离记作集合DM(q₀)；

步骤4、以p₀为顶点，任意选取M(p₀)中两个邻域点p₁、p₂构成的三角形记为Δp，以q₀为顶点，任意选取M(q₀)中两个邻域点q₁、q₂构成的三角形记为Δq，当d(p₀,p₁)等于d(q₀,q₁)，且d(p₀,p₂)等于d(q₀,q₂)时，再分别计算d(p₂,p₁)与d(q₂,q₁)，若d(p₂,p₁)与d(q₂,q₁)相等，则Δp与Δq全等，即p₁与q₁为正确匹配点，p₂与q₂为正确匹配点；其中d(p₀,p₁)、d(q₀,q₁)、d(p₀,p₂)、d(q₀,q₂)、d(p₂,p₁)、d(q₂,q₁)分别指相应两点的距离；否则更换p₁、p₂、q₁、q₂，重复步骤4，以此类推直至找到所有正确匹配点；

步骤5：若正确匹配点对数小于3则返回步骤2；否则至此已找出所有匹配点，执行下一步；

步骤6：利用找出的匹配点算出P到Q的旋转平移向量R、T,再将视角P测得的点云数据转入视角Q所在的坐标系中。

2.一种利用权利要求1所述用于点云拼接的标志点三维匹配方法的三维扫描方法，其特征在于含包括以下步骤：

步骤7：重复步骤1至步骤6，拍摄多个视角，直至重建出所有标记点，构建全局坐标系；

步骤8：将全局坐标系下的所有标记点作为W，重建出自由视角下的标记点作为M，同时通过结构光扫描仪重建出该视角下物体的三维数据，计算出M到W的旋转平移向量R、T,再将该视角下的点云数据转入全局坐标系中；

步骤9：重复步骤8直至完成对物体的三维扫描。