CN103075977A - 双目立体视觉系统中的点云数据的自动拼合算法 - Google Patents

Abstract

本发明公开了一种双目立体视觉系统中的点云数据的自动拼合算法，包括如下步骤：在不同测量视点下获取被测三维物体的点云数据，构建这些点云数据的特征匹配点对；利用所述点云数据的特征匹配点对求取表示各个测量视点与第一测量视点之间相对位置关系的对应矩阵M；对对应矩阵M进行奇异值分解，得到各个测量视点与第一测量视点之间特征匹配点对的平移向量T和旋转矩阵R；利用平移向量T和旋转矩阵R，计算得到各个测量视点中的点云数据相对第一测量视点的实际平移向量T′；根据旋转矩阵R和实际平移向量T′，实现不同测量视点下点云数据的自动拼合。本发明双目立体视觉系统中的点云数据的自动拼合算法，简单可靠，操作方便，测量精度较高。

Description

双目立体视觉系统中的点云数据的自动拼合算法

技术领域

本发明涉及计算机立体视觉技术，具体涉及一种双目立体视觉系统中的点云数据的自动拼合算法。

背景技术

利用双目立体视觉测量系统对三维物体的形状进行构建的过程中，单次测量仅仅能够获取被测三维物体表面一定区域的几何点云数据，对于较大的三维物体要想获得整个三维物体的外形数据需要移动被测三维物体，或者进行多视点测量，这导致不同测量视点的相机下用于计算得到点云数据的坐标系不同。

为了最终得到被测三维物体整个表面的三维外形数据需要将不同坐标系下的数据变换到同一坐标系，多个测量视点得到的不同坐标系下的几何点云数据的自动拼接和配准一直是一个棘手的问题，现有的方法主要包括以下几种：

(1)在被测三物体表面粘贴人工标记点，对几次测量的标记点进行搜索建立相匹配的标记点对，同时保证两个视点间的双目相机至少有三个以上的共同标记点，然后通过匹配的共同标记点计算多次测量得到的点云数据之间的坐标变换关系，从而实现多视点测量数据的自动拼接。

但是，在三维物体表面粘贴标记点不但会破坏三维物体表面的纹理信息，同时无法对标记点粘贴处的被测三维物体表面的外形数据进行计算，而且该方法不适合在某些特殊的被测物体表面上粘贴标记点，例如历史文物等，因此其使用范围具有一定的局限性。

(2)利用旋转台确定被测三维物体与双目立体视觉测量系统之间的位置变化关系，通过旋转台的运动参数直接计算多测量视点下的点云数据之间的坐标变化关系，该方法比较稳定可靠，而且具有很高的精度，但是需要额外的高精度机械装置，并且双目立体视觉测量系统的结构也较复杂。

(3)手工选取特征点进行初匹配，然后通过现有的软件算法处理完成三维物体的外形点云数据的拼合。此类方法首先需借助人工干预在图像上选取匹配特征对，实现对外形点云数据的初匹配，但在有些情况下误差过大，难以达到理想的拼合效果，由于此类方法需要借助一定的人工干预，无法实现对多测量视点点云数据的自动拼合。

发明内容

本发明提供了一种双目立体视觉系统中的点云数据的自动拼合算法，不需要借助硬件辅助设备，也不需要在被测三维物体表面贴标记点，即可实现多测量视点点云数据的自动拼合，简单可靠，能够保证较高的测量精度，具有广泛的适用性。

一种双目立体视觉系统中的点云数据的自动拼合算法，包括如下步骤：

(1)在不同测量视点下获取被测三维物体的点云数据，构建这些点云数据的特征匹配点对；不同测量视点中随机选取一个测量视点作为第一测量视点；

现有技术中的双目测量系统(市场上的商业软硬件系统)具有将不同测量视点中的特征点进行匹配的功能，并能够将单一测量视点下的几何和纹理数据高精度配准。

(2)利用所述点云数据的特征匹配点对求取表示各个测量视点与第一测量视点之间相对位置关系的对应矩阵M；各个测量视点中不包括第一测量视点，各个测量视点和第一测量视点共同构成步骤(1)中所述的不同测量视点；

(3)对对应矩阵M进行奇异值分解，得到各个测量视点与第一测量视点之间特征匹配点对的平移向量T和旋转矩阵R；

(4)利用各个测量视点与第一测量视点之间特征匹配点对的平移向量T和旋转矩阵R，计算得到各个测量视点中的点云数据相对第一测量视点的实际平移向量T′；

(5)根据旋转矩阵R和实际平移向量T′，对各个测量视点下的点云数据进行坐标变换，将所有点云数据在第一测量视点坐标系下表示，实现不同测量视点下点云数据的自动拼合。

不同测量视点的数目越多，自动拼合后得到的点云数据越准确，但相应计算量也大大增加，优选地，所述步骤(1)中的不同测量视点的数目至少为三个。

作为优选，所述步骤(2)中求取对应矩阵M时，在每个测量视点与第一测量视点点云数据的特征匹配点对中随机选取20对进行计算。

对n个不同的测量视点分别进行编号，依次为1，2，3……n，第一测量视点，即n＝1，求取第k(k＝2，3……n)个测量视点与第一测量视点之间的相对位置和姿态的关系时，从第k(k＝2，3……n)个测量视点与第一测量视点点云数据的特征匹配点对之间随机选取20对，进行计算。

第k(k＝2，3……n)个测量视点与第一测量视点的相对位置和姿态关系共同构成对应矩阵M。

作为优选，所述步骤(2)中求取对应矩阵M时使用验证机制。

使用验证机制可以进一步保证求取的对应矩阵M的稳健性，同时，增加对误匹配的容错性。

假设验证机制从不同测量视点获取图像并建立的特征匹配点对，在这些特征匹配点对中进行多次随机选取，每次选取二十对特征匹配点对，对于某一测量视点中的图像1中的20个特征点，针对这20个特征点r_{(i＝1。。。20)}，通过极线几何约束关系，寻找其在该测量视点图像2中对应的极线L_{(i＝1。。。。 20)}，然后计算r_{(i＝1。。。。20)}对应的该测量视点图像2中的特征点到L_{(i＝1。。。。20)}的距离D_{(i＝1。。。。20)}，并计算距离D＝D₁+D₂+D₃+……+D₁₉+D₂₀，最后选取D值最小的一组作为最终的求取本质矩阵的组对。采用此种方法一方面可以通过极限几何约束进一步提高特征匹配点对的容错性，另一方面可以保证算法的稳健性和鲁棒性。

作为优选，所述步骤(3)中对对应矩阵M进行奇异值分解时，采用SVD分解方法。

SVD分解(Singular Value Decomposition)，可以计算两个不同的测量视点之间的归一化的平移向量T和旋转矩阵R，通过利用各个测量视点与第一测量视点之间特征匹配点对的平移向量T和旋转矩阵R，计算得到各个测量视点中的点云数据相对第一测量视点的实际平移向量T′。

在每个测量视点进行测量前，在被测三维物体旁边放一个具有严格尺寸大小的比例尺，同时对被测三维物体以及比例尺进行测量，在每个测量视点重建的点云数据中包含被测三维物体和比例尺的点云数据。由于求得的点云数据都是归一化后的，并不是三维物体的实际尺寸，因此，需要利用比例因子s还原三维物体的尺寸，比例因子s等于比例尺的实际尺寸与重建出的归一化的比例尺的尺寸之间的比值，将被测三维物体归一化后的三维点坐标乘以比例因子s即可恢复被测三维物体的实际尺寸。

本发明双目立体视觉系统中的点云数据的自动拼合算法，只需利用不同测量视点下的特征匹配点对，通过计算即可实现多测量视点点云几何数据的自动拼合，简单可靠，操作方便，并能达到较高的测量精度。

具体实施方式

一种双目立体视觉系统中的点云数据的自动拼合算法，包括如下步骤：

(1)求取对应矩阵M

在不同测量视点下，拍摄得到被测三维物体的随机图像，不同测量视点依次标记为1，2，3……n，随机选取一个测量视点为第一测量视点，例如选取n＝1为第一测量视点。

建立第k(k＝2，3……n)个测量视点与第一测量视点之间随机图像I^k和I¹之间稳定的特征匹配点对，假设图像I^k和I¹中的特征点在各自测量视点的相机坐标系下对应的图像坐标分别为q^k和q¹，利用三维向量分别表示为(q₁ ^k，q₂ ^k，q₃ ^k)，(q₁ ¹，q₂ ¹，q₃ ¹)。

根据几何约束关系可得极限约束方程

(q¹)^TFq^k＝0        (1)

其中F为基本矩阵，是极线几何的一种代数表示，也是立体视觉与运动视觉中一个十分重要的矩阵。

同时，基本矩阵F还满足下列关系

F＝K₂ ^-TEK₁ ^-1      (2)

K₁和K₂为3×3上三角矩阵，分别包含了两个摄像机的内部参数，E为矩阵，包含了双目立体视觉系统之间的结构参数。将公式(2)带入到公式(1)中可得到下式

(q¹)^TK₁ ^-TFK₁ ^-1q^k＝0(3)

假设图像I^k和I¹中的特征点在各自测量视点的相机坐标系下对应的归一化后三维齐次图像坐标分别为q₁ ^k和q₁ ¹，令

Q₁ ^k＝K₁ ^-1q^k    (4)

q₁ ¹＝K₁ ^-1q¹    (5)

则极线约束方程可简化为

(q₁ ¹)^TEQ₁ ^k＝0  (6)

基本矩阵F是一个3×3的非零矩阵，其行列式的值等于零，即

det(F)＝0      (7)

根据公式(2)可知，矩阵E也满足公式(7)，同时矩阵E还具有下列性质

$\mathrm{EETE}-\frac{1}{2}\mathrm{trace}\left(\mathrm{EET}\right)E=0---\left(8\right)$

利用上面的公式，通过十点算法，即在第k个测量视点与第一测量视点之间的两幅随机图像I^k和I¹之间具有10对同名匹配像点的条件下，可以求得矩阵E。

利用二十点算法求取对应矩阵M，二十点算法是一种用于计算不同测量视点之间的坐标变换关系的迭代方法，主要计算步骤如下：

从随机图像I^k和I¹建立的稳定特征匹配点对集合中随机选取20组，则这20组特征匹配点对都满足公式(6)，因此，极线约束方程也可表示为

其中 ${\tilde{q}}^T=\left[\begin{array}{cccccccc}{q}_1^1{q}_1^2& q_2^1{q}_1^2& q_3^1{q}_1^2& q_1^1{q}_2^2& q_1^1{q}_1^2& q_2^1{q}_2^2& q_3^1{q}_2^2......& q_{18}^1{q}_{20}^2\end{array}\right.$ ${\left.\begin{array}{cc}{q}_{19}^1{q}_{20}^2& q_{20}^1{q}_{20}^2\end{array}\right]}^T---\left(10\right)$

堆积十对特征匹配点对的向量

可以得到20×9对应矩阵M。

计算出对应矩阵M的零空间后，分别求取公式(7)和公式(8)的展开式。

(2)采用SVD分解(戴华.矩阵论.北京，科学出版社，2001)的方法对对应矩阵M进行矩阵分解，获取k旋转矩阵R和平移向量T的值。

假设在第一测量视点建立的相机坐标系下的点云数据为X＝{X_i，i＝1，2，......}，在第k(k＝2，3……n)个测量视点建立的相机坐标系下的点云数据为X′＝{X′_i，j＝1，2，......}。

为了得到完整的点云几何数据，对第k(k＝2，3……n)个测量视点的点云数据通过变换坐标，转换为利用第一测量视点的相机坐标系表示。

假设将第k(k＝2，3……n)个测量视点的点云数据经过变换坐标，利用第一测量视点的相机坐标系表示后得到的点云数据为

则集合X′中任意一个几何点X′_i的坐标变换公式为

其中R表示第k(k＝2，3……n)个测量视点的相机坐标系到第一测量视点的相机坐标系的旋转矩阵，T表示第k(k＝2，3……n)个测量视点的相机坐标系到第一测量视点的相机坐标系的平移向量。

要实现不同测量视点的点云数据的拼合，必须计算出两个测量视点相机坐标系的旋转矩阵R和平移向量T。

利用代表两个测量视点之间相对位置和姿态的对应矩阵M以及对应矩阵M同旋转矩阵R和平移向量T之间的关系，可以得到旋转矩阵R和平移向量T。

对应矩阵M、旋转矩阵R和平移向量T之间的关系如下所示

$M=R\left[\begin{array}{ccc}0& {-t}^3& t^2\\ t^3& 0& {-t}^1\\ {-t}^2& t^1& 0\end{array}\right]---\left(13\right)$

其中，T＝(t¹，t²，t³)       (14)

在已获得对应矩阵M的前提下，对对应矩阵M进行矩阵分解即可得到旋转矩阵R和平移向量T的值。

(3)利用各个测量视点与第一测量视点之间特征匹配点对的平移向量T和旋转矩阵R，计算得到各个测量视点中的点云数据相对第一测量视点的实际平移向量T′。

在每个测量视点进行测量前，在被测三维物体旁边放一个具有严格尺寸大小的比例尺，同时对被测三维物体以及比例尺进行测量，在每个测量视点重建的点云数据中包含被测三维物体和比例尺的点云数据。比例因子s等于比例尺的实际尺寸与重建出的归一化的比例尺的尺寸之间的比值，实际平移向量T′等于平移向量T与比例因子s的乘积。

(4)根据旋转矩阵R和实际平移向量T′，对各个测量视点下的点云数据进行坐标变换，利用下式将所有点云数据在第一测量视点坐标系下表示，实现不同测量视点下点云数据的自动拼合。

X＝RX′+T′

其中，X为第一测量视点建立的相机坐标系下的点云数据；

X′为第k(k＝2，3……n)个测量视点建立的相机坐标系下的点云数据；

R为旋转矩阵；

T′为实际平移向量。

Claims (6)

1.一种双目立体视觉系统中的点云数据的自动拼合算法，其特征在于，包括如下步骤：

(1)在不同测量视点下获取被测三维物体的点云数据，构建这些点云数据的特征匹配点对；

(2)利用所述点云数据的特征匹配点对求取表示各个测量视点与第一测量视点之间相对位置关系的对应矩阵M；

(3)对对应矩阵M进行奇异值分解，得到各个测量视点与第一测量视点之间特征匹配点对的平移向量T和旋转矩阵R；

(4)利用各个测量视点与第一测量视点之间特征匹配点对的平移向量T和旋转矩阵R，计算得到各个测量视点中的点云数据相对第一测量视点的实际平移向量T′；

(5)根据旋转矩阵R和实际平移向量T′，对各个测量视点下的点云数据进行坐标变换，将所有点云数据在第一测量视点坐标系下表示，实现不同测量视点下点云数据的自动拼合。

2.如权利要求1所述的双目立体视觉系统中的点云数据的自动拼合算法，其特征在于，所述步骤(1)中的不同测量视点的数目至少为三个。

3.如权利要求2所述的双目立体视觉系统中的点云数据的自动拼合算法，其特征在于，在步骤(1)中的不同测量视点中随机选取一个测量视点作为第一测量视点。

4.如权利要求3所述的双目立体视觉系统中的点云数据的自动拼合算法，其特征在于，所述步骤(2)中求取对应矩阵M时，在每个测量视点与第一测量视点点云数据的特征匹配点对中随机选取20对进行计算。

5.如权利要求4所述的双目立体视觉系统中的点云数据的自动拼合算法，其特征在于，所述步骤(2)中求取对应矩阵M时使用验证机制。

6.如权利要求5所述的双目立体视觉系统中的点云数据的自动拼合算法，其特征在于，所述步骤(3)中对对应矩阵M进行奇异值分解时，采用SVD分解方法。