CN102074015A - 一种基于二维图像序列的目标对象的三维重建方法 - Google Patents

Abstract

一种基于二维图像序列的目标对象的三维重建方法，涉及一种目标对象的三维重建方法。它解决了现有基于图像的三维重建方法中存在的需要重建的点数量多、计算量大导致重建精度低的问题。其方法：采用相机获取目标对象的二维图像序列，通过SIFT算法对每幅图像进行计算并匹配，并计算图像之间的几何关系；对SIFT算法实现过程生成的高斯尺度金字塔中的每幅图像进行角点检测，获得图像的多尺度角点特征；以获得的SIFT匹配点为中心，在约束距离限制范围内搜索每幅图像对应的角点，并对每幅图像获得的角点进行匹配，获得匹配后的角点；根据相机投影矩阵对匹配后角点进行三维重建，实现目标对象的三维重建。本发明适用于目标对象的三维重建。

Description

一种基于二维图像序列的目标对象的三维重建方法

技术领域

本发明涉及一种目标对象的三维重建方法。

背景技术

随着计算机技术和图像处理技术的发展，计算机视觉技术获得了极大地发展。目标的特征点匹配与立体重建是计算机视觉技术中的基础与重点。图像匹配就是在两幅或多幅图像之间寻找同一点或同一部分的过程。图像匹配在诸如计算机视觉、模式识别、工业检测、军事、医学等领域有极大的应用价值。

图像匹配通常分为基于灰度的图像匹配和基于特征的图像匹配两种方法。特征匹配作为图像匹配的一种，与基于灰度的图像匹配方法不同，它并不直接利用灰度信息，而是在提取图像本质特征(常用的匹配特征有点、线、特征区域等)的基础上，再进行匹配计算。

该类方法首先提取图像的一些显著的特征，这些特征对噪声，拍摄条件的变化等干扰具有一定的鲁棒性，这些特征表达了对图像更深层次的理解。主要的优点是很大程度上压缩了数据量，使得计算量减小，速度加快，同时减小了噪声的影响，且对灰度值的变化，物体的形变等具有一定的鲁棒性。该方法在图像内容丰富时，可以提取较多的特征，因此具有一定的优势。

2004年，Lowe提出了基于SIFT特征的图像特征点匹配算法，其全称是Scale Invariant Feature Transform，即尺度不变特征变换，简称SIFT。SIFT算法是一种提取局部特征的算法，其原理是在尺度空间寻找极值点，提取位置、尺度、旋转不变量，生成关键点特征描述符，然后根据这些不变量特征进行匹配。

由于SIFT特征点提取算法检测出的特征点具有尺度不变的特性，可以实现图像间发生尺度、旋转变化时的匹配，同时对光照的变化、噪声和小视角的变化具有一定的鲁棒性。由于其匹配能力强，精确度很高，因此SIFT算法在物体识别、机器人导航、图像匹配、图像拼接、3D建模、手势识别与视频跟踪等方面取得了广泛的应用。

客观世界是一个三维空间，而图像采集装置所获取的图像是二维的。尽管二维图像中含有某些形式的三维空间信息，但要真正在计算机中利用这些信息并进行下一步的应用处理，就必须采用三维重建技术从二维图像中合理地提取并表达这些三维信息。

20世纪80年代，MIT的Marr教授提出了一套较为完整机器视觉理论，该理论强调计算机视觉的目的是从图像中建立物体形状和位置的描述，它把视觉过程主要规定为从二维图像信息中定量地恢复出图像所反映场景中的三维物体的形状和空间位置，即立体重建或3D重建。计算机视觉的最终目的是实现对三维场景的感知、识别和理解。三维重建技术能够从二维图像出发构造具有真实感的三维图形，为进一步的场景变化和组合运算奠定基础。

传统的采用激光扫描的重建技术具有系统操作复杂，成本较高，携带不便等缺陷。而基于图像的三维重建技术所需成本低，灵活性好。在人们不充分掌握场景数据，如场景中物体的大小比例，相对位置等信息的情况下，就可以实现三维重建，且具有设备造价低廉等优点。

目前大多基于图像的三维重建方法存在着需要重建的点数量多，计算量大，重建精度不高等弱点。

发明内容

本发明是为了解决现有基于图像的三维重建方法中存在的需要重建的点数量多、计算量大导致重建精度低的问题，提供了一种基于二维图像序列的目标对象的三维重建方法。

一种基于二维图像序列的目标对象的三维重建方法，它由以下步骤实现：

步骤一、采用相机获取目标对象的二维图像序列；

步骤二、通过SIFT算法对步骤一中获得的二维图像序列中的每幅图像进行计算，获得每幅图像的特征点；对图像获得的特征点进行匹配，获得SIFT匹配点；所述SIFT算法在实现过程中会生成包含每幅图像的高斯尺度金字塔；

步骤三、根据步骤二获得的SIFT匹配点计算步骤一中所述二维图像序列中每幅图像之间的几何关系，所述几何关系包括约束每两幅图像之间关系的基础矩阵以及由基础矩阵获得的相机投影矩阵；

步骤四、对步骤二中所述高斯尺度金字塔中的每幅图像进行角点检测，从而完成多尺度的角点检测，获得每幅图像的角点特征，并对每幅图像的角点特征建立特征描述符；

步骤五、以步骤二获得的SIFT匹配点为中心，在约束距离限制范围内搜索步骤四中获得的每幅图像的角点特征符对应的角点，并对每幅图像获得的角点进行匹配，获得匹配后的角点；

步骤六、根据步骤三获得的相机投影矩阵对步骤五获得的匹配后角点进行三维重建，实现目标对象的三维重建。

步骤一中所述采用相机获取目标对象的二维图像序列包括获取目标对象的方法为：如果目标对象为对称对象，则至少获取沿对称轴一侧的目标的二维图像序列；如果目标对象为非对称对象，则获得待重建部分的二维图像序列。

步骤三中根据步骤二获得的SIFT匹配点计算步骤一中所述二维图像序列中每幅图像之间的几何关系的具体方法是：采用归一化八点算法求取约束每两幅图像之间关系的基础矩阵；

相机经过标定后，其欧式意义下的投影矩阵为P和P′，即：P＝K[I|0]和P′＝K[R|t]；式中，K为相机参数矩阵，R为相机旋转矩阵，t为相机平移矩阵。

步骤四中所实现的多尺度角点检测方法为通过对步骤二中计算SIFT特征点过程中生成的高斯尺度金字塔中的每幅图像进行角点检测实现。

步骤五中所述以步骤二获得的SIFT匹配点为中心，在约束距离限制范围内搜索步骤四中获得的每幅图像的角点特征符，获得对应的角点，具体方法包括以下步骤：

步骤A、以SIFT匹配点为中心，在约束距离限制范围内搜索步骤四中获得的每幅图像的角点特征符对应的角点；

步骤B、判断步骤A搜索到的角点数量是否大于预设的最小值且小于预设的最大值，如果判断结果为否，则执行步骤B1，如果判断结果为是，则将搜索到的角点做为角点特征符对应的角点，结束角点搜索；

步骤B1、判断步骤A搜索到的角点数量是否大于或等于预设的最大值，如果判断结果为是，则执行步骤B11；如果判断结果为否，则执行步骤B12；

步骤B11、将约束距离限制范围缩小，并返回执行步骤A；

步骤B12、将约束距离限制范围扩大，并返回执行步骤A。

有益效果：本发明提供一种SIFT特征点和角点相结合的匹配方法，该方法具有匹配精度高、鲁棒性能优越、提取特征丰富、目标轮廓结构信息描述精确等优点，并在此基础上利用SIFT特征点计算图像序列之间的几何关系，包括约束两幅图像之间几何关系的基础矩阵，以及相机投影矩阵。根据已求解出的几何参数，重建过程中选用位于边角等对目标结构轮廓具有关键作用的位置点进行重建，既解决了重建点多，计算量大的不足，同时又精确的描述了目标三维结构信息，实现目标对象的高效三维重建。

附图说明

图1是本发明方法的流程示意图；图2是本发明所述高斯尺度金字塔的原理示意图；图3是具体实施方式一中双视几何的原理示意图；图4是具体实施方式一中依据SIFT匹配点搜索距离约束范围内的角点的原理示意图，其中，标记41为角点，标记42为SIFT匹配点；图5是本发明的角点搜索流程示意图。

具体实施方式

具体实施方式一、结合图1说明本具体实施方式，一种基于二维图像序列的目标对象的三维重建方法，它由以下步骤实现：

步骤一、采用相机获取目标对象的二维图像序列；

步骤二、通过SIFT算法对步骤一中获得的二维图像序列中的每幅图像进行计算，获得每幅图像的特征点；对图像获得的特征点进行匹配，获得SIFT匹配点；所述SIFT算法在实现过程中会生成包含每幅图像的高斯尺度金字塔；

步骤三、根据步骤二获得的SIFT匹配点计算步骤一中所述二维图像序列中每幅图像之间的几何关系，所述几何关系包括约束每两幅图像之间关系的基础矩阵以及由基础矩阵获得的相机投影矩阵；

步骤四、对步骤二中所述高斯尺度金字塔中的每幅图像进行角点检测，从而完成多尺度的角点检测，获得每幅图像的角点特征，并对每幅图像的角点特征建立特征描述符；

步骤五、以步骤二获得的SIFT匹配点为中心，在约束距离限制范围内搜索步骤四中获得的每幅图像的角点特征符对应的角点，并对每幅图像获得的角点进行匹配，获得匹配后的角点；

步骤六、根据步骤三获得的相机投影矩阵对步骤五获得的匹配后角点进行三维重建，实现目标对象的三维重建。

步骤一中所述采用相机获取目标对象的二维图像序列包括获取目标对象的方法为：如果目标对象为对称对象，则至少获取沿对称轴一侧的目标的二维图像序列；如果目标对象为非对称对象，则获得待重建部分的二维图像序列。

步骤三中根据步骤二获得的SIFT匹配点计算步骤一中所述二维图像序列中每幅图像之间的几何关系的具体方法是：采用归一化八点算法求取约束每两幅图像之间关系的基础矩阵；

相机经过标定后，其欧式意义下的投影矩阵为P和P′，即：P＝K[I|0]和P′＝K[R|t]；式中，K为相机参数矩阵，R为相机旋转矩阵，t为相机平移矩阵。

步骤四中所实现的多尺度角点检测方法为通过对步骤二中计算SIFT特征点过程中生成的高斯尺度金字塔中的每幅图像进行角点检测实现。

步骤五中所述以步骤二获得的SIFT匹配点为中心，在约束距离限制范围内搜索步骤四中获得的每幅图像的角点特征符，获得对应的角点，具体方法包括以下步骤：

步骤A、以SIFT匹配点为中心，在约束距离限制范围内搜索步骤四中获得的每幅图像的角点特征符对应的角点；

步骤B、判断步骤A搜索到的角点数量是否大于预设的最小值且小于预设的最大值，如果判断结果为否，则执行步骤B1，如果判断结果为是，则将搜索到的角点做为角点特征符对应的角点，结束角点搜索；

步骤B1、判断步骤A搜索到的角点数量是否大于或等于预设的最大值，如果判断结果为是，则执行步骤B11；如果判断结果为否，则执行步骤B12；

步骤B11、将约束距离限制范围缩小，并返回执行步骤A；

步骤B12、将约束距离限制范围扩大，并返回执行步骤A。

本发明的方法中的主要三部分为：

一、步骤二中获得SIFT匹配点和匹配角点的原理和过程为：

匹配点的获得分为两部分：一部分是匹配的SIFT特征点，另一部分是匹配的角点。

在匹配SIFT特征点的过程中，首先获取图像序列并提取每幅图像的SIFT特征点，进行匹配获得SIFT匹配点。

在计算SIFT特征点的过程中，对每幅图像建立高斯尺度金字塔，如图2所示，在此基础上增加角点检测步骤，便实现多尺度的角点检测，获得多尺度下的角点信息。因而既可以获得较多数量的角点，同时并不显著的增加计算量。

以SIFT匹配点为中心，在距离约束范围内搜索角点，如图4所示，约束范围内的角点作为进一步匹配的候选点。

在建立角点特征向量时，可以采用多种方法，比如直方图统计，或者类似SIFT的特征向量。在后继的匹配过程中，由于将通常角点匹配方法中待匹配点的搜索范围从全局缩小到了局部，因此候选点的数量较小，可以直接采用逐一计算相似度的方法，以相似度最大的作为匹配点。

二、步骤三种所述的基础矩阵与相机投影矩阵的计算原理和过程为：

1、基础矩阵的计算原理和过程为：

如图3所示，已知X点是三维空间中的点，分别投影到两个像平面上，即像平面x和像平面x′，由双视几何的原理可知同一相机拍摄的两幅图像之间存在约束关系，即x′^TFx＝0，其中F为基础矩阵。如果已知的匹配点数量足够多(八对匹配点)则可以线性求解出基础矩阵。本发明中采用八点归一化算法来计算基础矩阵，即在计算之前首先将上一步得到的SIFT匹配点进行归一化，以减小输入数据的波动(即匹配点坐标的变化)对求解F的影响。

归一化的具体步骤：

1)、左右视图中的匹配点分别被平移，使得左右视图中的匹配点的坐标的中心都在原点；

2)、左右视图中的匹配点分别进行各向同性的尺度变化，使得左右视图中的匹配点到各自原点的距离的平均等于

由归一化后的数据求出的F还得进行反归一化，最终求得的F才是实际视图中的基本矩阵。

线性求解过程：

x′^TFx＝0             (1)

双视几何中存在以上等式关系。

x和x′都用齐次坐标形式表示，即x＝(x，y，1)，x′＝(x′，y′，1)。可得出如下等式：

xx′f₁₁+xy′f₂₁+xf₃₁+yx′f₁₂+yy′f₂₂+yf₃₂+x′f₁₃+y′f₂₃+f₃₃＝0   (2)

由所有的对应点对可以组成一个列数为9的系数矩阵，有：

$\left[\begin{array}{ccccccccc}{x}_1^{\′}{x}_1& x_1^{\′}{y}_1& x_1^{\′}& y_1^{\′}{x}_1& y_1^{\′}{y}_1& y_1^{\′}& x_1& y_1& 1\\ .& .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .& .\\ x_n^{\′}{x}_n& x_n^{\′}{y}_n& x_n^{\′}& y_n^{\′}{x}_n& y_n^{\′}{y}_n& y_n^{\′}& x_n& y_n& 1\end{array}\right]f=0$

其中：Af＝0；

如果匹配点的数量足够多(至少八对)，则可线性解出基础矩阵。本发明采用奇异值分解法来求解基础矩阵。

2、投影矩阵的求解原理和过程为：

相机经过标定，投影矩阵为P＝K[I|0]和P′＝K[R|t]。其中经过标定后，相机参数矩阵K已知，R为相机旋转矩阵，t为相机平移矩阵。因此只需求解R，t即可。

相机经过标定，基础矩阵转化为本质矩阵：

E＝K′^TFK＝[t]×R

其中，由于所有图像均由同一相机拍摄，则有K＝K′。[t]_×为斜对称矩阵，如果t＝(t₁，t₂，t₃]，则 ${\left[t\right]}_{\×}=\left[\begin{array}{ccc}0& -t_3& t_2\\ t_3& 0& -t_1\\ -t_2& t_1& 0\end{array}\right].$

E＝[t]_×R＝SR，其中S为一反对称矩阵。对E进行奇异值分解，可得E＝Udiag(s，s，0)V^T。

这里引入两个特殊矩阵：

$W=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],$ $Z=\left[\begin{array}{ccc}0& 1& 0\\ -1& 0& 0\\ 0& 0& 0\end{array}\right]$

对S进行分解可以得到：

S＝sUZU^T

其中U为正交矩阵，s为任意常数。

对Z进行奇异值分解可得：

Z＝sdiag(1，1，0)W。

于是在尺度意义下可得：

E＝SR＝Udiag(1，1，0)(WU^TR)

因此R＝UWV^T或者R＝UW^TV^T。

由于S＝[t]_×，则有St＝0。在尺度意义下有：

t＝U(0，0，1)^T＝u₃

由于t的符号不确定，R有两个解。于是可以得到(R，t)的四组解，即：

(UWV^T，u₃)(UWV^T，-u₃)(UW^TV^T，u₃)(UW^TV^T，-u₃)

实际中，空间点位于相机前面。利用这个约束，我们可以从四组解中判断出正确的一组解。即选取任一匹配点进行重建，使此点Z坐标为正的一组解即为正确解。

三、步骤五中所述的三维重建的原理和过程为：

由于噪声等干扰的存在，步骤一中计算出的匹配点

并不能准确地满足极约束，实际应该是与

十分相近的匹配点

准确地满足极约束，即

我们寻找的匹配点应该是与原匹配点十分相近，并在满足极约束

使代价函数最小的一组估计值，

和

代价函数可选为：

其中

表示点x与估计点

之间的欧式距离。

由投影过程可得x＝PX，x′＝P′X。

其中X为空间点的三维坐标。

由齐次性可知x×PX＝0，因此有如下等式成立：

x(p^3TX)-(p^1TX)＝0            (3)

y(p^3TX)-(p^2TX)＝0            (4)

对于另一幅图像，同理可得：

x′(p′^3TX)-(p′^1TX)＝0       (5)

y′(p′^3TX)-(p′^2TX)＝0       (6)

式(3)、(4)、(5)、(6)可写成AX＝0形式，其中 $A=\left[\begin{array}{c}x{p}^{3T}-p^{1T}\\ {\mathrm{yp}}^{3T}-p^{2T}\\ x^{\′}{p}^{\′3T}-p^{\′1T}\\ y^{\′}{p}^{\′3T}-p^{\′2T}\end{array}\right].$

可解得X。求解三维坐标完毕。

依据求解出角点的三维坐标则可画出目标的简要轮廓、实现目标的三维重建。

Claims (5)

1.一种基于二维图像序列的目标对象的三维重建方法，其特征是：它由以下步骤实现：

步骤一、采用相机获取目标对象的二维图像序列；

步骤二、通过SIFT算法对步骤一中获得的二维图像序列中的每幅图像进行计算，获得每幅图像的特征点；对图像获得的特征点进行匹配，获得SIFT匹配点；所述SIFT算法在实现过程中会生成包含每幅图像的高斯尺度金字塔；

步骤三、根据步骤二获得的SIFT匹配点计算步骤一中所述二维图像序列中每幅图像之间的几何关系，所述几何关系包括约束每两幅图像之间关系的基础矩阵以及由该基础矩阵获得的相机投影矩阵；

步骤四、对步骤二中所述高斯尺度金字塔中的每幅图像进行角点检测，从而完成多尺度的角点检测，获得每幅图像的角点特征，并对每幅图像的角点特征建立特征描述符；

步骤五、以步骤二获得的SIFT匹配点为中心，在约束距离限制范围内搜索步骤四中获得的每幅图像的角点特征符对应的角点，并对每幅图像获得的角点进行匹配，获得匹配后的角点；

步骤六、根据步骤三获得的相机投影矩阵对步骤五获得的匹配后角点进行三维重建，实现目标对象的三维重建。

2.根据权利要求1所述的一种基于二维图像序列的目标对象的三维重建方法，其特征在于步骤一中所述的采用相机获取目标对象的二维图像序列的方法为：如果目标对象为对称对象，则至少获取沿对称轴一侧的目标的二维图像序列；如果目标对象为非对称对象，则获得待重建部分的二维图像序列。

3.根据权利要求1所述的一种基于二维图像序列的目标对象的三维重建方法，其特征在于步骤三中，根据步骤二获得的SIFT匹配点计算步骤一中所述二维图像序列中每幅图像之间的几何关系的具体方法是：采用归一化八点算法求取约束每两幅图像之间关系的基础矩阵；

相机经过标定后，其欧式意义下的投影矩阵为P和P′，即：P＝K[I|0]和P′＝K[R|t]；式中，K为相机参数矩阵，R为相机旋转矩阵，t为相机平移矩阵。

4.根据权利要求1所述的一种基于二维图像序列的目标对象的三维重建方法，其特征在于步骤四中，所述多尺度角点检测方法为通过对步骤二中计算SIFT特征点过程中生成的高斯尺度金字塔中的每幅图像进行角点检测。

5.根据权利要求1所述的一种基于二维图像序列的目标对象的三维重建方法，其特征在于步骤五中，所述以步骤二获得的SIFT匹配点为中心，在约束距离限制范围内搜索步骤四中获得的每幅图像的角点特征符对应的角点，具体方法包括以下步骤：

步骤A、以SIFT匹配点为中心，在约束距离限制范围内搜索步骤四中获得的每幅图像的角点特征符对应的角点；

步骤B、判断步骤A搜索到的角点数量是否大于预设的最小值且小于预设的最大值，如果判断结果为否，则执行步骤B1，如果判断结果为是，则将搜索到的角点做为角点特征符对应的角点，结束角点搜索；

步骤B1、判断步骤A搜索到的角点数量是否大于或等于预设的最大值，如果判断结果为是，则执行步骤B11；如果判断结果为否，则执行步骤B12；

步骤B11、将约束距离限制范围缩小，并返回执行步骤A；

步骤B12、将约束距离限制范围扩大，并返回执行步骤A。

Images