CN108389222A - 一种基于图像序列的三维模型重建方法 - Google Patents

Abstract

本发明公开了一种基于图像序列的三维模型重建方法，所述方法包括以下步骤：利用原始图片构建高斯差分金字塔，提取SIFT特征，每一个特征点使用128维度向量描述；利用多视几何的先验知识，结合随机一致性算法滤除误匹配的点对，然后得到基本矩阵；根据得到的基本矩阵、结合相机内参矩阵经过八点算法得到投影矩阵，最后利用三角测量的算法求出原物体真实的坐标位置，由这些三维空间的点构成点云数据。本发明避免了传统的三维模型重建方法费用过高，操作过于复杂，门槛高的弊端，实现了重建的便利性，操作简单，可以应用于三维地图的构建，室内定位，室内导航等领域。

Description

一种基于图像序列的三维模型重建方法

技术领域

本发明涉及三维模型重建领域，尤其涉及一种基于图像序列的三维模型重建方法。

背景技术

传统的三维模型重建利用大量的硬件设备，价格高昂，操作过于专业，普通大众难以参与其中。然而随着智能手机和专业相机的普及，以及互联网的发展，普通人获取图像的方法越来越多，让普通人也能够方便快捷的构建三维模型的需求越来越大。

由于对具有高度真实感的三维模型的巨大需求，如何快速、便捷地建立逼真的三维虚拟场景便成为了虚拟现实技术的最为重要的部分，逼真的三维模型能给予用户足够的“沉浸感”的体验。

发明内容

本发明提供了一种基于图像序列的三维模型重建方法，本发明避免了建模的复杂性和建模费用高昂的特点，其便捷快速的特点让普通人也能参与其中，详见下文描述：

一种基于图像序列的三维模型重建方法，其特征在于，所述方法包括以下步骤：

利用原始图片构建高斯差分金字塔，提取SIFT特征，每一个特征点使用128维度向量描述；

利用多视几何的先验知识，结合随机一致性算法滤除误匹配的点对，然后得到基本矩阵；

根据得到的基本矩阵、结合相机内参矩阵经过八点算法、三角算法得到投影矩阵，从而利用图像的特征点重建出三维空间中的点，然后聚合成点云数据。

所述利用原始图片构建高斯差分金字塔，提取SIFT特征，每一个特征点使用128维度向量描述具体为：

对每一幅图像生成不同尺度的图像，然后构造高斯差分金字塔；

利用高斯金字塔提取SIFT特征，特征点是对光照以及角度还有尺度不敏感的点，然后用一个128维度的向量描述这个点。

所述方法还包括：

利用128维度的向量计算欧氏距离，在另外一张图片中查找出与当前图像中当前点欧氏距离最近的特征点，将这个特征点记为匹配的点；

对所有的点都执行上述匹配的过程，得到所有的匹配点。

所述利用多视几何的先验知识，结合随机一致性算法滤除误匹配的点对，然后得到基本矩阵具体为：

利用SIFT算法得到对角度光照尺度不敏感的特征匹配点，采用随机一致性估计算法，利用匹配点之间的对极几何约束关系，滤除误匹配的点对，得到基本矩阵。

本发明提供的技术方案的有益效果是：

1、提出了一种基于图片序列的三维模型重建方法，该方法具有最佳的整体性能，能够利用低廉的设备重建出效果较为优秀的三维模型；

2、对于没有专业知识的普通人也可以参与到模型构建之中，只需要使用普通设备摄像即可。

附图说明

图1为一种基于图片序列的三维模型重建方法的流程图；

图2为图片序列的示例图；

图3为特征点提取的展示图；

图4为重建点云的效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

基于图像序列的三维模型重建技术是近年来计算机视觉技术和计算机图形学技术相结合而产生的一个热门技术。未来应用在家装，设计领域可以让普通人重建出自己家的模型，然后把各种家具模型放置其中，可以提高购买家具的用户体验。设计师可以轻松的把实际的物体重建出来，然后在其中添加自己的设计，然后观看效果。同时还可以用于游戏行业，众所周知，游戏场景的三维模型构建成本是很高的，如果能够利用计算机轻松的将实际场景重建到游戏之中，甚至游戏里的每一人物也都可以让玩家自己上传构建，那么玩家的游戏体验会提高很大一个层级，这给未来的计算机人机交互提供了一种新的可能。

利用三维重建将文物建模，可以方便展示与保存。另外如果将三维模型重建与无人机结合起来，实现三维地图的构建，不仅价格低廉而且效率很高，完全交给计算机实现，大大降低人力成本。三维模型的重建和室内机器人结合起来，还可以实现机器人的室内定位，室内地图构建。如果应用在医学领域，可以利用多张器官的核磁共振图，构建出器官的模型，方便医生的诊断。三维模型的重建在可预见的未来一定会大展身手，而其中价格最低廉的基于多图的三维模型重建必然会成为应用最广泛的方法。所以基于多图的三维模型重建价值前景很好，未来是一个很大的市场。

实施例1

基于图像序列的三维模型重建最重要的部分就是特征点提取与匹配，以及利用几何关系求出空间坐标点，本发明实施例提出的方法就是用于提取特征与寻找匹配点，参见图1，具体实施步骤如下：

101：利用原始图片构建高斯差分金字塔，提取SIFT特征，每一个特征点使用128维度向量描述；

102：利用多视几何的先验知识，结合随机一致性算法滤除误匹配的点对，然后得到基本矩阵；

103：根据步骤102中得到的基本矩阵、结合相机内参矩阵经过八点算法、得到投影矩阵，最后利用三角测量的算法求出原物体真实的坐标位置，由这些三维空间的点构成点云数据。

综上所述，本发明实施例避免了建模的复杂性和建模费用高昂的特点，其便捷快速的特点让普通人也能参与其中。

实施例2

下面结合具体的计算公式、图1对实施例1中的方案进行进一步地介绍，详见下文描述：

201：提取原始图片的SIFT特征用到了如下公式，对图像提取SIFT特征点：

I(x,y,σ)＝G(x,y,σ)*I(x,y)

D(x,y,σ)＝[G(x,y,σ(ο,s+1))-G(x,y,σ(ο,s))]*I(x,y)

θ(x,y)＝arctan{[L(x,y+1)-L(x,y-1)]/[L(x+1,y)-L(x-1,y)]}

其中，I(x,y,σ)代表尺度为σ的图像在(x,y)处的灰度值；G(x,y,σ)代表尺度为σ的高斯滤波器；D(x,y,σ)代表尺度为σ的高斯差分图像；m(x,y)代表在每一个点处的梯度绝对值；θ(x,y)代表在每一个点处的梯度方向；I(x,y)为图像原始灰度值；σ(ο,s+1))为高斯金字塔第s+1层的尺度；σ(ο,s)为高斯金字塔第s层的尺度。

202：随机一致性估计算法；

该算法的流程如下：

1)随机选取空间中的N个点，利用最小方差拟合的方法计算出这N个点的关系；

2)遍历其他所有点，计算这些点与拟合出来的曲线之间的差值，也就是和这个关系之间的误差，若小于某个阈值则将该点纳入为这N个点之中，称之为内点；

3)遍历完成，如果内点个数大于另一阈值，则说明当前拟合出来的关系是合理的，然后利用最新的内点再次使用最小方差的方法拟合出一个新的关系，然后重复执行步骤2)、3)，最后比较每个关系的方差和内点个数，选择方差最小，内点个数最多的关系作为所有点集的模型。

203：八点算法；

其中，基本矩阵是一个3×3的矩阵，该矩阵不是满秩的，所以是奇异可分解的。为了计算这个矩阵的每一个元素需要至少八个点对，设点：

其中，pl1为左边图像上的点的坐标，xl1为左边点坐标的x轴的值，yl1为左边点坐标的y轴的值，pr1为右边图像上的点的坐标，xr1为右边点坐标的x轴的值，yr1为右边点坐标的y轴的值，F为基本矩阵,其中f₁₁...f₃₃是基本矩阵的元素。

则方程可以写成如下表达式：

x_r1x_l1f₁₁+x_l1y_r1f₂₁+x_l1f₃₁+y_l1x_r1f₁₂+y_l1y_r1f₂₂+y_l1f₃₂+x_r1f₁₃+y_r1f₂₃+f₃₃＝0

改写成向量相乘的形式：

(x_r1x_l1,x_l1y_l1,x_l1,y_l1x_r1,y_l1y_r1,y_l1,x_r1,y_r1,1)·(f₁₁,f₁₂,f₁₃,f₂₁,f₂₂,f₂₃,f₃₁,f₃₂,f₃₃)＝0

简写为：a₁f＝0

为了计算f，需要多个点对，然后构成一个参数矩阵A，解方程的一个方法就是将矩阵A奇异值分解A＝USV^T，方程的解就是V。

204：三角测量。

三角测量就是将两个投影方程联立以求取物点的坐标，联立的方程如下：

Z_s[u v 1]^T＝P[X Y Z 1]^T

Z_s'[u' v' 1]＝P'[X Y Z 1]^T

其中，Z_s为物点P在左侧相机的成像面上的像点s的坐标向量表示，Z_s'为物点P在右侧相机的成像面上的像点s'的坐标向量表示，P为左侧相机的投影矩阵，P'为右侧相机的投影矩阵，由于已知Z_s，Z_s',P,P',所以根据对应点的像素坐标可以计算出物点的三维坐标。

上述方法在没有误差的情况下效果会比较好，但是存在误差的时候就会无解，那么在有误差的情况下应该怎么求解方程的最小误差解呢，直观的想法是计算一个最接近真实解的近似值就可以。

推导上述方程组，可以得到如下方程：

将每一项展开得到如下方程组，其中P₁₁,P₁₂,P₁₃是投影矩阵的行向量：

Z_su＝P₁₁X^T

Z_sv＝P₁₂X^T

Z_s＝P₁₃X^T

将第三个式子代入上面两个式子中得到如下方程组：

P₁₃X^Tu＝P₁₁X^T

P₁₃X^Tv＝P₁₂X^T

将该方程组写作矩阵相乘的形式，可以得到如下表达式：

另外一个投影方程也可以推导出与上述形式相同的矩阵表达式：

将这两个式子联立可以得到如下方程：

上述方程式利用四个方程求三个未知数，所以求解最小误差解可以利用最小二乘法计算最小误差解。用矩阵的计算形式就是将参数矩阵归一化，然后对这个归一化的参数矩阵进行奇异值分解，分解为UWV^T，利用数学知识可知X的最小二乘解就是矩阵V的最后一列。于是便可以计算出P点的空间坐标的向量表示。

实施例3

下面结合图2-图4对实施例1和2中的方案进行可行性验证，详见下文描述：

图2是算法的输入图片，即对同一物体在不同视角的拍摄图像，将图像输入到算法中；图3是算法提取的SIFT特征点在原始图像上的位置；经过特征点匹配，去除异常匹配点对之后，利用八点法求出相机转换矩阵，然后使用三角测量的算法计算三维空间中的三维坐标，这个坐标就是图片上的特征点对应的空间坐标的位置，即如图4所示。

参考文献：

[1]Torr P H S,Zisserman A.MLESAC:A New Robust Estimator withApplication to Estimating Image Geometry[J].Computer Vision &ImageUnderstanding,2000,78(1):138-156.

[2]Westoby M J,Brasington J,Glasser N F,et al.‘Structure-from-Motion’photogrammetry:A low-cost,effective tool for geoscience applications[J].Geomorphology,2012,179:300-314.

[3]K,Peters G.The structure-from-motion reconstructionpipeline-A survey with focus on short image sequences[J].Kybernetika-Praha-,2010,5(5):926-937.

[4]Richard Hartley.Multiple View Geometry in Computer Vision.

[5]MA Fischler，RC Bolles.Random Sample Consensus:A Paradigm for ModelFitting with.Communications of the ACM,vol.24(1981)pp.381-395

[6]Torr P H S,Zisserman A.MLESAC:A New Robust Estimator withApplication to Estimating Image Geometry[J].Computer Vision &ImageUnderstanding,2000,78(1):138-156.

[7]Hartley R I.In defense of the eight-point algorithm[J].IEEETransactions on Pattern Analysis&Machine Intelligence,1997,19(6):580-593.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于图像序列的三维模型重建方法，其特征在于，所述方法包括以下步骤：

利用原始图片构建高斯差分金字塔，提取SIFT特征，每一个特征点使用128维度向量描述；

利用多视几何的先验知识，结合随机一致性算法滤除误匹配的点对，然后得到基本矩阵；

根据得到的基本矩阵、结合相机内参矩阵经过八点算法得到投影矩阵，最后利用三角测量的算法求出原物体真实的坐标位置，由这些三维空间的点构成点云数据。

2.根据权利要求1所述的一种基于图像序列的三维模型重建方法，其特征在于，所述利用原始图片构建高斯差分金字塔，提取SIFT特征，每一个特征点使用128维度向量描述具体为：

对每一幅图像生成不同尺度的图像，然后构造高斯差分金字塔；

利用高斯金字塔提取SIFT特征，特征点是对光照以及角度还有尺度不敏感的点，然后用一个128维度的向量描述这个点。

3.根据权利要求1所述的一种基于图像序列的三维模型重建方法，其特征在于，所述方法还包括：

利用128维度的向量计算欧氏距离，在另外一张图片中查找出与当前图像中当前点欧氏距离最近的特征点，将这个特征点记为匹配的点；

对所有的点都执行上述匹配的过程，得到所有的匹配点。

4.根据权利要求1所述的一种基于图像序列的三维模型重建方法，其特征在于，所述利用多视几何的先验知识，结合随机一致性算法滤除误匹配的点对，然后得到基本矩阵具体为：

利用SIFT算法得到对角度光照尺度不敏感的特征匹配点，采用随机一致性估计算法，利用匹配点之间的对极几何约束关系，滤除误匹配的点对，得到基本矩阵。