CN105279789A - 一种基于图像序列的三维重建方法 - Google Patents

Abstract

本发明公开了一种基于图像序列的三维重建方法，包括：步骤1，摄像机获取目标对象的二维图像序列；步骤2，两幅图像重建；步骤3，从第一幅图像开始计算相邻三幅图像之间的公共匹配点；步骤4，坐标变换和比例变换：步骤5，消除累积误差：步骤6，依次增加新的图像，重复执行步骤3-5直至整个二维图像序列。本发明的有益效果：立足于两幅图像的准确重建，最终将重建结果融合到同一个模型下；利用三焦点张量计算相邻三幅图像上的匹配点，对三幅图像中相邻两幅所得公共点进行重建，由两组公共三维点即可求出射影深度；利用ICP校正重建结果，从而有效避免了误差累积；利用基于区域增长的稠密匹配算法剔除误匹配。

Description

一种基于图像序列的三维重建方法

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于图像序列的三维重建方法。

背景技术

二维图像序列是指表示物体位置截面信息的一系列二维图像，他们的大小、分辨率、颜色均相同，而且图像所表现的位置在空间上是相邻的，所以二维图像中含有物体部分的三维空间信息。但是，要真正在计算机中利用这些信息并进行下一步的应用处理，就必须采用三维重建技术从二维图像中合理地提取并表达这些三维信息。

计算机视觉的目的是从图像中建立物体形状和位置的描述，它把视觉过程主要规定为从二维图像信息中定量地恢复出图像所反映场景中的三维物体的形状和空间位置，即立体重建或3D重建。计算机视觉的最终目的是实现对三维场景的感知、识别和理解。三维重建技术能够从二维图像出发构造具有真实感的三维图形，为进一步的场景变化和组合运算奠定基础。

基于图像的三维重建方法充分利用计算机视觉和计算机图形学的相关知识，从实际拍摄的单幅或多幅图像中恢复出物体的三维模型。目前基于图像的三维重建方法存在需要重建的点数量多，计算量大，重建精度不高等弱点。

发明内容

为解决上述问题，本发明的目的在于提供一种基于顺序方法的序列图像三维重建新方法，有效避免了误差累积。

本发明提供了一种基于图像序列的三维重建方法，包括：

步骤1，摄像机获取目标对象的二维图像序列；

步骤2，两幅图像重建：

分别对所述二维图像序列中相邻两幅图像之间利用SIFT特征匹配算法提取特征点并进行匹配，对得到的特征点进行基于两幅图像的三维重建，得到两幅图像间的重建三维点以及投影矩阵；

步骤3，从第一幅图像开始计算相邻三幅图像之间的公共匹配点；

步骤4，坐标变换和比例变换：

对相邻三幅图像中的第一幅图像、第二幅图像以及第二图像、第三幅图像对由步骤3得到的公共匹配点进行基于两幅图像的三维重建，将第一图像、第二幅图像重建三维点的重建结果变换到第二图像、第三幅图像所在坐标系下，由第二幅图像、第三幅图像重建三维点的重建结果与变换后的第一幅图像、第二幅图像的重建结果求出射影深度，由公共匹配点求出射影深度后，即可将步骤2中得到的所有重建三维点进行坐标变换以及比例变换；

步骤5，消除累积误差：

利用简化迭代最近点算法ICP，先由公共匹配点的重建结果计算步骤4中两组重建三维点间的旋转矩阵Ricp和平移向量Ticp，再利用所求得的旋转矩阵Ricp和平移向量Ticp，将由步骤4执行坐标变换和比例变换的所有重建三维点的重建结果变换到第二幅图像、第三幅图像所选取的坐标系下，从而将前三幅图像的重建结果进行叠加；

步骤6，依次增加新的图像，重复执行步骤3-5直至整个二维图像序列。

作为本发明进一步的改进，步骤1中获取二维图像序列的方法为：

在不同的角度和不同的位置，摄像机围绕待重建物体连续拍摄图像，对多幅连续图像通过纹理映射，获取待重建物体的二维图像序列。

作为本发明进一步的改进，步骤2中的所述投影矩阵包含两幅图像之间的旋转矩阵和平移向量。

作为本发明进一步的改进，步骤5采用基于区域增长的稠密匹配算法计算稠密点配点并利用稠密点进行网格化所形成的三角形的平均周长剔除误匹配。

作为本发明进一步的改进，需对图像划分网格，网格越小，获得的点云越稠密。

本发明的有益效果为：

1、传统的顺序方法采用的是一种自上而下的方式，本发明以基于两幅图像的重建为基础，在兼顾整体的同时，利用已知三维点计算新加入图像的投影矩阵，立足于两幅图像的准确重建，最终将重建结果融合到同一个模型下；

2、选取相邻三幅图像，利用三焦点张量计算相邻三幅图像上的匹配点，对三幅图像中相邻两幅所得公共点进行重建，由两组公共三维点即可求出射影深度；

3、由于三幅图像中相邻两幅之间的重建结果相差一个相似变换，可由初始重建过程求出此变换矩阵，通过此变换矩阵可将相邻三幅图像间得到的两组重建三维点变换到同一坐标系下，在进行坐标变换的过程中，由于累积误差的存在，相邻两副图像的重建结果无法精确重合，利用简化迭代最近点算法ICP校正重建结果，从而有效避免了误差累积；

4、利用基于区域增长的稠密匹配算法计算稠密匹配点并利用稠密点进行网格化所形成的三角形的平均周长剔除误匹配。

附图说明

图1为本发明实施例所述的一种图像序列的三维重建方法流程示意图；

图2为图1具体使用时的流程示意图。

具体实施方式

下面通过具体的实施例并结合附图对本发明做进一步的详细描述。

如图1所示，本发明实施例所述的一种本发明提供了一种基于图像序列的三维重建方法，包括：

步骤1，摄像机获取目标对象的二维图像序列；

步骤2，两幅图像重建：

分别对二维图像序列中相邻两幅图像之间利用SIFT特征匹配算法提取特征点并进行匹配，对得到的特征点进行基于两幅图像的三维重建，得到两幅图像间的重建三维点以及投影矩阵；

步骤3，从第一幅图像开始计算相邻三幅图像之间的公共匹配点；

步骤4，坐标变换和比例变换：

对相邻三幅图像中的第一幅图像、第二幅图像以及第二图像、第三幅图像对由步骤3得到的公共匹配点进行基于两幅图像的三维重建，将第一图像、第二幅图像重建三维点的重建结果变换到第二图像、第三幅图像所在坐标系下，由第二幅图像、第三幅图像重建三维点的重建结果与变换后的第一幅图像、第二幅图像的重建结果求出射影深度，由公共匹配点求出射影深度后，即可将步骤2中得到的所有重建三维点进行坐标变换以及比例变换；

步骤5，消除累积误差：

利用简化迭代最近点算法ICP，先由公共匹配点的重建结果计算步骤4中两组重建三维点间的旋转矩阵Ricp和平移向量Ticp，再利用所求得的旋转矩阵Ricp和平移向量Ticp，将由步骤4执行坐标变换和比例变换的所有重建三维点的重建结果变换到第二幅图像、第三幅图像所选取的坐标系下，从而将前三幅图像的重建结果进行叠加；

步骤6，依次增加新的图像，重复执行步骤3-5直至整个二维图像序列。

其中，步骤1中获取二维图像序列的方法为：

在不同的角度和不同的位置，摄像机围绕待重建物体连续拍摄图像，对多幅连续图像通过纹理映射，获取待重建物体的二维图像序列，至少要保证相邻三幅图像之间有足够多的公共可见点，从中选取几幅作为待重建图像序列。

步骤2中的投影矩阵包含两幅图像之间的旋转矩阵和平移向量。

步骤5采用基于区域增长的稠密匹配算法计算稠密点配点并利用稠密点进行网格化所形成的三角形的平均周长剔除误匹配。

需对图像划分网格，网格的尺寸可以选择，网格越小，获得的点云越稠密。

本发明是一种基于顺序方法的序列图像三维重建新算法，算法以基于两幅图像的重建为基础，传统的顺序方法采用的是一种自上而下的方式，在兼顾整体的同时，利用已知三维点计算新加入图像的投影矩阵，从不同的角度进行考虑，立足于两幅图像的准确重建，最终将重建结果融合到同一个模型下。从射影深度的几何意义的角度进行考虑，得到一种计算射影深度的新方法，首先选取相邻三幅图像，利用三焦点张量计算相邻三幅图像上的匹配点，对三幅图像中相邻两幅所得公共点进行重建，由两组公共三维点即可求出射影深度。由于三幅图像中相邻两幅之间的重建结果相差一个相似变换，可由初始重建过程求出此变换矩阵，通过此变换矩阵可将相邻三幅图像间得到的两组重建三维点变换到同一坐标系下。在进行坐标变换的过程中，由于累积误差的存在，相邻两副图像的重建结果无法精确重合，利用简化迭代最近点算法(ICP：IterativeClosestPoint)校正重建结果，从而有效避免了误差累积。利用基于区域增长的稠密匹配算法计算稠密匹配点并利用稠密点进行网格化所形成的三角形的平均周长剔除误匹配。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于图像序列的三维重建方法，其特征在于，包括：

步骤1，摄像机获取目标对象的二维图像序列；

步骤2，两幅图像重建：

分别对所述二维图像序列中相邻两幅图像之间利用SIFT特征匹配算法提取特征点并进行匹配，对得到的特征点进行基于两幅图像的三维重建，得到两幅图像间的重建三维点以及投影矩阵；

步骤3，从第一幅图像开始计算相邻三幅图像之间的公共匹配点；

步骤4，坐标变换和比例变换：

对相邻三幅图像中的第一幅图像、第二幅图像以及第二图像、第三幅图像对由步骤3得到的公共匹配点进行基于两幅图像的三维重建，将第一图像、第二幅图像重建三维点的重建结果变换到第二图像、第三幅图像所在坐标系下，由第二幅图像、第三幅图像重建三维点的重建结果与变换后的第一幅图像、第二幅图像的重建结果求出射影深度，由公共匹配点求出射影深度后，即可将步骤2中得到的所有重建三维点进行坐标变换以及比例变换；

步骤5，消除累积误差：

利用简化迭代最近点算法ICP，先由公共匹配点的重建结果计算步骤4中两组重建三维点间的旋转矩阵Ricp和平移向量Ticp，再利用所求得的旋转矩阵Ricp和平移向量Ticp，将由步骤4执行坐标变换和比例变换的所有重建三维点的重建结果变换到第二幅图像、第三幅图像所选取的坐标系下，从而将前三幅图像的重建结果进行叠加；

步骤6，依次增加新的图像，重复执行步骤3-5直至整个二维图像序列。

2.根据权利要求1所述的三维重建方法，其特征在于，步骤1中获取二维图像序列的方法为：

在不同的角度和不同的位置，摄像机围绕待重建物体连续拍摄图像，对多幅连续图像通过纹理映射，获取待重建物体的二维图像序列。

3.根据权利要求1所述的三维重建方法，其特征在于，步骤2中的所述投影矩阵包含两幅图像之间的旋转矩阵和平移向量。

4.根据权利要求1所述的三维重建方法，其特征在于，步骤5采用基于区域增长的稠密匹配算法计算稠密点配点并利用稠密点进行网格化所形成的三角形的平均周长剔除误匹配。

5.根据权利要求4所述的三维重建方法，其特征在于，需对图像划分网格，网格越小，获得的点云越稠密。