CN109584355A - 基于手机gpu的三维模型快速重建方法 - Google Patents

Abstract

本发明揭示了一种基于手机GPU的三维模型快速重建方法，包括如下步骤：S1、对手机拍摄得到的视频进行分解，并进行特征提取和匹配，得到对应点的初始匹配集，随后剔除匹配结果中的误匹配点；S2、求取图像间的本质矩阵，并对所求取的本质矩阵进行奇异值分解，得到图像间的相对变换矩阵，随后利用已知的相对变换矩阵和匹配的特征点进行三维坐标还原；S3、利用手机GPU技术，在手机上将稀疏三维点云扩展为稠密三维点云，随后从稠密三维点云中重建三维表面模型。与现有技术相比，本发明在稳定性和适用性方面具有较大的优势。同时，本发明通过对手机GPU技术的合理利用，克服了设备局限性、增强了实用性。

Description

基于手机GPU的三维模型快速重建方法

技术领域

本发明涉及一种三维模型重建方法，尤其涉及一种基于手机GPU的三维模型快速重建方法，属于计算机视觉技术领域。

背景技术

随着计算机视觉技术突飞猛进的发展，通过计算机对物体或场景进行三维重建的需求也与日俱增。三维重建技术从最初的机器人视觉导航到目前逐渐流行的三维游戏、视频特技、互联网虚拟漫游、电子商务、数字图书馆、可视通讯、虚拟现实等诸多前景广阔的应用场景中被广泛使用。

计算机构建物体三维模型的已有技术手段通常包括以下三种：几何造型的方法、用三维扫描设备获取三维模型的方法以及基于图像的三维重建方法。其中，利用几何造型的方法往往需要熟练的操作人员且具备丰富的专业知识，创作过程相对比较复杂。利用三维扫描设备对物体进行三维重建的方法使用简单，但是该方法所需的设备造价非常昂贵，因此并不具备良好的普及性。与上述两种方法不同的，基于图像的三维重建方法通过对重建算法的不断改进，建模过程趋于自动化，人工劳动强度和建模成本不断降低，该方法也逐渐成为了目前的业内首选。

随着现代智能手机和平板电脑技术的不断发展更迭，这类移动设备上的多核处理器和图形处理核心的硬件水平不断提高，直接在这些移动设备上进行3D模型的重建逐渐变得可行。

综上所述，如何在现有技术的基础上提出一种基于手机的三维模型重建方法，通过使用手机拍摄图像和视频，研究相关技术分析和处理这些图像和视频，进而实现场景的三维重建，也就成为了业内技术人员新的研究方向。

发明内容

鉴于现有技术存在上述缺陷，本发明提出了一种基于手机GPU的三维模型快速重建方法，包括如下步骤：

S1、对手机拍摄得到的视频进行分解，并进行特征提取和匹配，得到对应点的初始匹配集，随后剔除匹配结果中的误匹配点；

S2、求取图像间的本质矩阵，并对所求取的本质矩阵进行奇异值分解，得到图像间的相对变换矩阵，随后利用已知的相对变换矩阵和匹配的特征点进行三维坐标还原；

S3、利用手机GPU技术，在手机上将稀疏三维点云扩展为稠密三维点云，随后从稠密三维点云中重建三维表面模型。

优选地，S1具体包括如下步骤：

S11、使用手机拍摄视频、获取视频信息，随后将视频信息分解为多组图像；

S12、在每一幅图像上计算特征点，使用SIFT特征检测器提取特征点并计算特征点对应的描述子；

S13、运用特征空间中搜索最近邻来确定匹配关系，移除低于特定匹配数阈值的匹配对，得到对应点的初始匹配集；

S14、对于保留下来的匹配对，采用RANSAS算法和八点法估计两视图间的基础矩阵，随后使用计算图像匹配与基础矩阵的拟合程度，以及在估计基本矩阵时被判定为外点的匹配来剔除误匹配。

优选地，S2具体包括如下步骤：

S21、对于满足S1的对多张图片像素做匹配对应，得到经过特征匹配筛选过的特征点后，使用OpenCV中的函数findEssentialMat()求取图像间的本质矩阵essentialMat；

S22、对求得的本质矩阵essentialMat进行奇异值分解，得出图像间的相对变换矩阵R和T；

S23、利用已知的相对变换矩阵R和T以及匹配的特征点还原三维坐标；

S24、将满足S1中几何约束的匹配对合并为tracks，随后通过增量方式的SFM方法来恢复场景结构。

优选地，S21中所述OpenCV为使用支持Android应用的开源计算机视觉库OpenCV。

优选地，S3中所述手机GPU技术包括基于手机GPU的加速技术以及并行处理技术。

优选地，S3具体包括如下步骤：

S31、通过图像特征提取和匹配来获得图像对应，然后建立场景的稠密三维点云或准稠密三维点云；

S32、从已获得的稠密三维点云或准稠密三维点云中重建三维表面模型。

与现有技术相比，本发明的优点主要体现在以下几个方面：

本发明将SIFT算法与ANN匹配算法结合使用，得到了对应点的初始匹配集，对于保留下来的匹配对，再采用RANSAS算法估计基本矩阵，能有效地剔除匹配结果中的误匹配点，而且相较于其他算法，本发明在稳定性方面具有较大的优势。

本发明还通过使用SFM获得了稀疏点云以及稠密点云重建算法的并行处理技术，降低了对输入图像的要求，使其更适合自然地形及城市景观等的三维重建。

同时，本发明所采用的基于手机GPU的加速技术及并行处理技术，能够在手机上将稀疏点云进一步扩展为稠密的点云，克服了现有技术中的设备局限性。

此外，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他三维模型重建的技术方案中，具有十分广阔的应用前景。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1是本发明的实现流程示意图。

具体实施方式

如图1所示，本发明揭示了一种基于手机GPU的三维模型快速重建方法，包括如下步骤：

S1、对手机拍摄得到的视频进行分解，并进行特征提取和匹配，得到对应点的初始匹配集，随后剔除匹配结果中的误匹配点。

具体而言，所述S1主要包括图像特征点检测与图像特征点匹配两个阶段。

图像特征点检测阶段，基于DOG的特征点检测方法，首先使用SIFT特征检测器提取特征点并计算特征点对应的描述子。所述尺度不变特征变换（SIFT）是目前性能最好的特征点检测算法。

图像特征点匹配阶段，运用特征空间中搜索最近邻（ANN）来确定匹配关系，低于某个匹配数阈值的匹配对将会被移除，得到对应点的初始匹配集。对于保留下来的匹配对，采用RANSAS算法和八点法来估计两视图间的基础矩阵，然后通过计算图像匹配与基础矩阵的拟合程度，以及在估计基本矩阵时被判定为外点的匹配来剔除误匹配。

进一步而言，所述图像特征点匹配阶段，又可以进一步细化说明：

S101、手机拍摄视频，获取图像，将解为多组图像；

S102、在每一幅图像上计算特征点，使用SIFT特征检测器提取特征点并计算特征点对应的描述子；

S103、运用特征空间中搜索最近邻（ANN）来确定匹配关系，低于某个匹配数阈值的匹配对将会被移除，得到对应点的初始匹配集；

S104、对于保留下来的匹配对，采用RANSAS算法和八点法来估计两视图间的基础矩阵；

S105、基于S104的RANSAC鲁棒性估计，重复M次采样，M由算法RANSAC自适应的方法确定；

S106、选择由8组对应匹配点组成的一个随机样本，并计算基础矩阵F；

S107、对假设的每组对应，计算距离d；

S108、根据，进而计算与F一致的内点数；

S109、选择具有最大内点数的F，当数目相等时选择内殿的标准方差最低的F；

S110、基于S109的通过计算图像匹配与基础矩阵的拟合程度，以及在估计基本矩阵时被判定为外点的匹配来剔除误匹配。

S2、求取图像间的本质矩阵，并对所求取的本质矩阵进行奇异值分解，得到图像间的相对变换矩阵，随后利用已知的相对变换矩阵和匹配的特征点进行三维坐标还原。

具体而言，在S2中，特征匹配筛选过的特征点后，使用OpenCV中的findEssentialMat()方法可以直接实现求解图像间的本质矩阵，之后对求得本质矩阵essentialMat进行分解，得出图像间的相对变换矩阵R和T，利用已知的R、T和匹配的特征点还原三维坐标。对于满足步骤1中几何约束的匹配对，将被合并为tracks，然后通过增量方式的SFM方法来恢复场景结构。

其中，SFM是一个迭代计算的过程，包括如下步骤：

S201、假设第一和第二幅图像为，初始的结构矩阵信息计算得到。

S202、根据之间的匹配点对可计算出本质矩阵，并可通过分解本质矩阵可以得到相对位置信息（旋转矩阵和平移矩阵）。第一个相机的位置信息被设定为，第二个相机的位置设定为。

S203、接着三维点云中的初始点可以通过之间的2维对应配对点的三角化过程得到。

S204、最后，相对位置以及三维结构信息通过最优化下面这个几何投影误差目标函数得到：

其中，K为相机内参数，是生成三维点的两幅图像中的二维特征匹配。

当从第一个图像对中计算出初始的方位和结构后，在其余的配对中延续SFM计算过程。从第3幅图像开始，每次加入一副图像，进行以下的迭代过程：

1）计算与之间的公共对应点以及基础矩阵；

2）以为基准，由与得到第、与第幅图像共有的对应点 ；

3）由当前已有的结构与可以得到与的对应关系，可以将划分为3部分：与，其中是那些其结构已经存在于中的特征点集合，与的结构都尚未恢复，但为在中有对应点存在的那些特征点，而即为在前面的图像中不可见的那部分特征点。对与其对应的结构并采RANSAC用策略可得到；

4）由投影矩阵以及可以由多项式三角测量方法得到所对应的结构，而由于已经有其对应的结构，需要用其对现有的结构进行更新，因为多项式三角测量方法只能适用于两幅图像，因此可以用线性三角测量方法对所对应的结构进行更新。

S3、利用手机GPU技术，在手机上将稀疏三维点云扩展为稠密三维点云，随后从稠密三维点云中重建三维表面模型。

由于稀疏点云不能很好地描述场景或物体的表面信息，因此需要将稀疏点云进一步扩展为稠密的点云。在本发明中，采用基于面片的多视图三维重建算法（Patched-basedMulti-View Stereo，PMVS），并行处理技术以及基于手机GPU的加速技术。

具体而言，S3包括如下步骤：

S31、通过图像特征提取和匹配来获得图像对应，然后建立场景的稠密三维点云或准稠密三维点云；

S32、从已获得的稠密三维点云或准稠密三维点云中重建三维表面模型。

本发明将SIFT算法与ANN匹配算法结合使用，得到了对应点的初始匹配集，对于保留下来的匹配对，再采用RANSAS算法估计基本矩阵，能有效地剔除匹配结果中的误匹配点，而且相较于其他算法，本发明在稳定性方面具有较大的优势。

本发明还通过使用SFM获得了稀疏点云以及稠密点云重建算法的并行处理技术，降低了对输入图像的要求，使其更适合自然地形及城市景观等的三维重建。其重建效果与图像数量正相关，图像越多重建效果越好，但相应的运算量也大大增加，因此空间和时间复杂度都很高。

同时，本发明所采用的基于手机GPU的加速技术及并行处理技术，能够在手机上将稀疏点云进一步扩展为稠密的点云，克服了现有技术中的设备局限性。本方法仅需要一台手机拍摄视频，就能够实现场景的快速重建。大大降低了方法的使用成本，简化了操作流程，不仅显著提升了方法的自动化程度，而且也使得本方法能够适用于任何场景的重构过程中，进一步拓展了本发明的适用范围。

此外，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他三维模型重建的技术方案中，具有十分广阔的应用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种基于手机GPU的三维模型快速重建方法，其特征在于，包括如下步骤：

S1、对手机拍摄得到的视频进行分解，并进行特征提取和匹配，得到对应点的初始匹配集，随后剔除匹配结果中的误匹配点；

S2、求取图像间的本质矩阵，并对所求取的本质矩阵进行奇异值分解，得到图像间的相对变换矩阵，随后利用已知的相对变换矩阵和匹配的特征点进行三维坐标还原；

S3、利用手机GPU技术，在手机上将稀疏三维点云扩展为稠密三维点云，随后从稠密三维点云中重建三维表面模型。

2.根据权利要求1所述的基于手机GPU的三维模型快速重建方法，其特征在于，S1具体包括如下步骤：

S11、使用手机拍摄视频、获取视频信息，随后将视频信息分解为多组图像；

S12、在每一幅图像上计算特征点，使用SIFT特征检测器提取特征点并计算特征点对应的描述子；

S13、运用特征空间中搜索最近邻来确定匹配关系，移除低于特定匹配数阈值的匹配对，得到对应点的初始匹配集；

S14、对于保留下来的匹配对，采用RANSAS算法和八点法估计两视图间的基础矩阵，随后使用计算图像匹配与基础矩阵的拟合程度，以及在估计基本矩阵时被判定为外点的匹配来剔除误匹配。

3.根据权利要求1所述的基于手机GPU的三维模型快速重建方法，其特征在于，S2具体包括如下步骤：

S21、对于满足S1的对多张图片像素做匹配对应，得到经过特征匹配筛选过的特征点后，使用OpenCV中的函数findEssentialMat()求取图像间的本质矩阵essentialMat；

S22、对求得的本质矩阵essentialMat进行奇异值分解，得出图像间的相对变换矩阵R和T；

S23、利用已知的相对变换矩阵R和T以及匹配的特征点还原三维坐标；

S24、将满足S1中几何约束的匹配对合并为tracks，随后通过增量方式的SFM方法来恢复场景结构。

4.根据权利要求1所述的基于手机GPU的三维模型快速重建方法，其特征在于：S21中所述OpenCV为使用支持Android应用的开源计算机视觉库OpenCV。

5.根据权利要求1所述的基于手机GPU的三维模型快速重建方法，其特征在于：S3中所述手机GPU技术包括基于手机GPU的加速技术以及并行处理技术。

6.根据权利要求1所述的基于手机GPU的三维模型快速重建方法，其特征在于，S3具体包括如下步骤：

S31、通过图像特征提取和匹配来获得图像对应，然后建立场景的稠密三维点云或准稠密三维点云；

S32、从已获得的稠密三维点云或准稠密三维点云中重建三维表面模型。