CN100575864C - 一种基于全局标定约束的三维拼接匹配点选取方法 - Google Patents

Abstract

本发明属于计算机视觉和图像测量技术领域，尤其涉及一种三维拼接匹配点选取方法，包括下列步骤：(1)使用靶标对多传感器系统进行全局标定，同时获取靶标特征点的数据；(2)对同一靶标的数据点进行平面拟合，并利用投影点及最小凸包方法求解靶标区域；(3)记录进行全局标定的所有靶标的区域数据；(4)在实际测量时，获取所有传感器的实测数据，结合前面记录的靶标区域对相邻传感器之间的测量数据的重叠区域进行求解；(5)使用这些重叠区域进行快速的三维拼接，最终得到全貌测量数据。采用本发明提供的三维拼接匹配点选取方法，靶标区域的确定是在全局标定过程中完成的，不给系统增添任何硬件设备，同时也不带来多余的处理过程。

Description

一种基于全局标定约束的三维拼接匹配点选取方法

技术领域

本发明属于计算机视觉和图像测量技术领域，尤其涉及一种三维拼接匹配点选取方法。

背景技术

在视觉测量中，单视觉传感器受到视场的限制只能对被测物进行局部测量。有时这种测量能力不能满足实际需要，近些年来，对全貌测量技术的研究成为视觉测量的热点，一般采用多传感器的测量结构，对多传感器进行全局标定，然后使用三维拼接算法对测量数据进行优化整合。这个过程，非常关键的一步是优化求解多传感器系统之间的坐标转换矩阵R和T。全局标定只提供R和T的初始解，这个解受到测量误差的影响，会存在偏差，三维拼接算法对该解进一步优化求解。

一般来说，三维拼接算法要在数据块的重叠选取匹配点对，然后使用这些点对坐标转换矩阵进行调整，直到坐标转换矩阵满足拼接精度需求。其中匹配点就是两个数据集中找到的对应点，匹配点查找算法是整个拼接算法中使用频率最大的模块，因此，该算法的效率对整体处理速度有很大影响。经研究发现，现有方法主要靠在全部测量数据中随机采样或曲率采样搜索匹配点，而实际上只有重叠区域才存在匹配点，并且重叠区域往往只占全部数据的20％~50％，这样就严重影响了拼接速度。

发明内容

本发明的目的是设计一种可以在全局标定过程中完成确定三维拼接数据重叠区域的方法，缩小匹配点搜索的范围，以提高三维拼接算法的速度。采用本发明提出三维拼接匹配点选取方法，能够减少系统投入，不带来系统硬件负担，也不会对软件处理带来太多麻烦。

为此，本发明采用如下的技术方案：

一种基于全局标定约束的三维拼接匹配点选取方法，其特征在于，包括下列步骤：

(1)使用靶标对多传感器系统进行全局标定，同时获取靶标特征点的数据；

(2)对同一靶标的数据点进行平面拟合，并利用投影点及最小凸包方法求解靶标区域；

(3)记录进行全局标定的所有靶标的区域数据；

(4)获取所有传感器的实测数据，结合步骤(3)记录的靶标区域数据对相邻传感器之间的测量数据的重叠区域进行求解；

(5)使用这些重叠区域进行三维拼接，得到全貌测量数据。

上述的技术方案中，步骤(4)最好按照下列步骤执行：

(e)求解测量点在靶标拟合平面内的三维投影点；

(f)借助单位矢量在靶标拟合平面内的投影点，把测量点的三维投影点转为平面内的二维投影点；

(g)对二维投影点是否在靶标区域内进行判断；

(h)把所有测量数据按照步骤(a)至(c)进行求解，最终得到由靶标区域确定的测量数据重叠区域。

采用本发明提供的三维拼接匹配点选取方法，靶标区域的确定是在全局标定过程中完成的，不给系统增添任何硬件设备，同时也不带来多余的处理过程。在全局标定结束后，只要系统结构不改变，靶标区域就一直存在，可以为数据拼接所用。经过拼接效率比较试验，由重叠区域进行的三维拼接步骤耗时要明显少于由整个测量数据参与的三维拼接算法的耗时，基于全局标定约束的重叠区域确定算法可以很好的提高三维拼接算法的速度。

附图说明

图1多传感器全貌测量示意图；

图2由标定靶标确定重叠区域的示意图；图中标号：1传感器1；2传感器2；3平面靶标；4被测物体；5重叠区域6被测物体投影区域；7靶标区域

图3确定拟合平面上二维投影坐标的示意图；

图4本发明提供的三维拼接匹配点选取方法流程图；

图5全局标定的靶标和传感器位置关系示意图；

图6靶标区域确定示意图；

图7重叠区域效果图；

图8全貌测量结果的效果图。

具体实施方式

下面结合附图和实施例对本发明做进一步详述。

在对多传感器进行全局标定时，需要借助靶标标定传感器系统之间的坐标转换矩阵R和T，图1是多传感全貌测量系统示意图。如图2(a)和(b)所示，以平面靶标进行全局标定为例，标定靶标3为相邻传感器，即传感器1和传感器2，可视范围的重叠区域5，受测量景深的约束，被测物体4肯定有部分区域靠近并在靶标覆盖的范围内，因此属于测量数据的重叠区域5，可以被三维拼接算法使用。图中的6为被测物体投影区域，7为靶标区域。

基于以上测量数据重叠区域的发现，提出：(1)在全局标定过程中，确定标定靶标区域，并记录所有区域范围，它们可以应用到实际测量过程三维拼接算法中；(2)在实际测量过程中，依据靶标区域，确定相邻传感器测量数据的重叠区域，实现快速数据拼接。

下面首先对本发明提出的三维拼接匹配点选取方法的原理进行描述。

(1)三维数据点在平面内投影点

假设某三维测量点p₀(x₀，y₀，z₀)在平面ax+by+cz+d＝0上的投影点为p₁(x₁，y₁，z₁)，则p₀p₁连线平行于平面的法矢

同时p₁符合平面方程，联合这些已知条件求解得投影点p₁的坐标，

$\left\{\begin{array}{c}{x}_1=\frac{(b^2+c^2)x_0-\mathrm{ab}{y}_0-a{\mathrm{cz}}_0-\mathrm{ad}}{a^2+b^2+c^2}\\ y_1=\frac{(a^2+c^2)y_0-\mathrm{ab}{x}_0-b{\mathrm{cz}}_0-\mathrm{bd}}{a^2+b^2+c^2}\\ z_1=\frac{(a^2+b^2)z_0-a{\mathrm{cx}}_0-b{\mathrm{cy}}_0-\mathrm{cd}}{a^2+b^2+c^2}\end{array}\right.---\left(1\right)$

然后，把以上三维投影点转换为平面内的二维点。如图3所示，三维坐标原点O(0，0，0)在靶标平面上的投影为O′，记为平面坐标系原点；A(1，0，0)的投影为A′，O′A′构成矢量

记为平面坐标的x轴向。空间任意点P(x，y，z)在拟合平面上的投影为P′(u，v)，O′P′构成矢量

P′(u，v)点到的垂直距离为|v|，垂点到O′的距离为|u|，则

$\left\{\begin{array}{c}v=\mathrm{signv}\·\frac{|\stackrel{\→}{a}\×\stackrel{\→}{b}|}{\left|\stackrel{\→}{a}\right|}\\ u=\mathrm{signu}\·\sqrt{{\left|\stackrel{\→}{b}\right|}^2-v^2}\end{array}\right.---\left(2\right)$

其中signv和signu为两者的符号。当矢量

和

的第一分量同号时signu＝1，否则signu＝-1；同理，signv对应于矢量和

的第二分量。这样可以得到所有空间点在拟合平面上投影点的二维坐标。

(2)靶标区域确定

采用主成分分析(Principal Components Analysis，PCA)方法对靶标的特征点进行空间平面拟合。假设得到的靶特征点为N个空间点(x_i，y_i，z_i)，可以构造协方差矩阵，

$C=\left(\begin{array}{ccc}\mathrm{cov}(x,x)& \mathrm{cov}(x,y)& \mathrm{cov}(x,z)\\ \mathrm{cov}(y,x)& \mathrm{cov}(y,y)& \mathrm{cov}(y,z)\\ \mathrm{cov}(z,x)& \mathrm{cov}(z,y)& \mathrm{cov}(z,z)\end{array}\right)---\left(3\right)$

其中cov(·)是协方差求解公式。求解C的特征值和特征向量，找到其中最小特征值对应的特征向量，即为要拟合平面的法向矢量

将所有特征点的平均坐标代入平面方程ax+by+cz+d＝0，可以确定平面方程的第四个分量d。求解靶标特征点在拟合平面上的投影坐标，并寻找这些二维投影点的最小凸包多边形，以此代表靶标区域。最小凸包可由Andrew的MotoTone Chain算法来确定，具体过程见参考文献：A.M.Andrew.Another efficient algorithm for convex hulls in two dimensions，Info.Proc.Letters 9，1979：216-219

(3)测量数据重叠区域确定

利用三维数据点在平面内投影点的算法，把所有测量点都投影到靶标的拟合平面内，并求解相应的二维坐标。判断投影点是否在靶标区域内，利用矢量叉积符号对投影点是否在凸多边形内进行判断，具体过程参考文献：ZHANG Xiao-dong，SUN Chang-ku，WANGChong.Study on preprocessing methods for color 3D point cloud[J].MaterialsScience Forum.2004.Vols.471~472：716-721。

本发明的三维拼接匹配点选取方法的实施流程如图4所示。(1)使用靶标对多传感器系统进行全局标定，同时获取靶标特征点的数据；(2)对同一靶标的数据点进行平面拟合，并利用投影点及最小凸包方法求解靶标区域；(3)记录进行全局标定的所有靶标的区域数据；(4)在实际测量时，获取所有传感器的实测数据，结合前面记录的靶标区域对相邻传感器之间的测量数据的重叠区域进行求解；(5)使用这些重叠区域进行快速的三维拼接，最终得到全貌测量数据。

在一个实施例中，采用了4个传感器组成的测量系统，使用平面靶标摆放3个位置对多传感器系统进行全局标定，得到的传感器和靶标数据之间的位置关系如图5所示。以其中一个靶标位置为例，对其靶标数据进行平面拟合，并查找靶标平面内的最小凸包，确定靶标区域如图6所示。记录下所有靶标区域数据。然后，使用多传感器系统对实物进行全貌测量，其中一对相邻传感器分别测得的数据如图7a所示，经过全局标定后的测量数据如图7b所示，借由靶标区域约束得到的测量数据的重叠区域效果图如图7c所示，其中深颜色的部分为重叠区域，为了区别重叠区域和其他区域，把其他区域的数据进行了数据缩减处理。其他传感器测量的数据也采用同样方式进行重叠区域的确定。依据重叠区域对测量数据进行三维拼接，最终得到全貌的测量数据效果图，如图8所示。

在这个过程中，靶标区域在全局标定过程完成，不给系统增添任何硬件设备，同时也不带来多余的处理过程。在全局标定结束后，只要系统结构不改变，靶标区域就一直存在，可以为数据拼接所用。

经过拼接效率比较试验，由重叠区域进行的三维拼接步骤耗时为7.281s，而整个测量数据参与的三维拼接算法的耗时为31.970s，可以看出基于全局标定约束的重叠区域确定算法可以很好的提高三维拼接算法的速度。

本发明适用于视觉检测系统，尤其适用于基于多传感系统的大视场全貌测量系统，以提高三维拼接的效率。在具体实施过程中，标定靶标不限于平面靶标，对于立体靶标和粘性靶标同样适用，仅需对其中靶标区域确定算法视情况进行简单修改。另外，适用的测量方法需要传感器很容易地对靶标空间坐标进行求取。

Claims (1)

1.一种基于全局标定约束的三维拼接匹配点选取方法，其特征在于，包括下列步骤：

(1)使用靶标对多传感器系统进行全局标定，同时获取靶标特征点的数据；

(2)对同一靶标的数据点进行平面拟合，并利用投影点及最小凸包方法求解靶标区域；

(3)记录进行全局标定的所有靶标的区域数据；

(4)获取所有传感器的实测数据，按照下列方法，结合步骤(3)记录的靶标区域数据对相邻传感器之间的测量数据的重叠区域进行求解：

(a)求解测量点在靶标拟合平面内的三维投影点；

(b)借助单位矢量在靶标拟合平面内的投影点，把测量点的三维投影点转为平面内的二维投影点；

(c)对二维投影点是否在靶标区域内进行判断；

(d)把所有测量数据按照步骤(a)至(c)进行求解，最终得到由靶标区域确定的测量数据重叠区域。

(5)使用这些重叠区域进行三维拼接，得到全貌测量数据。

Images