CN110176032A - 一种三维重建方法及装置 - Google Patents

Abstract

本发明公开了一种三维重建方法及装置，该方法包括：获取至少一组在两个不同预设位置的包含场景目标的原始图像及摄像头的位移；分别对各组的两个原始图像进行稀疏特征匹配，得到每组摄像头的旋转关系；根据位移及旋转关系得到各组原始图像对应的半稠密深度图；分别对各组的半稠密深度图进行深度补齐，得到各稠密深度图；根据各稠密深度图对应的位移及旋转关系，对各稠密深度图进行深度融合，得到场景目标的三维模型。通过实施本发明，提供了一种简单的场景目标三维重建方法，该方法无需依赖复杂的图像采集设备及计算机设备即可实现，该三维重建方法具有简单高效的特点。

Description

一种三维重建方法及装置

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种三维重建方法及装置。

背景技术

三维重建是一种对三维物体建立适用于计算机处理的数学模型的技术，也是在计算机环境下对三维物体进行处理和分析的基础，计算机三维重建是计算机辅助设计与计算机图形学中一个重要的研究领域，实现了物体的三维空间点云稀疏重建与稠密重建，并对点云后处理以及基于多幅图像的三维重建。图像的三维重建是综合计算机视觉、图像处理和计算机图形学等学科知识的新兴技术，它具有二维图形所不可比拟的特质，其模型可以从多个不同的角度进行直观的观测、并且具有逼真的效果、达到实时虚拟、实时互动等。由于三维重建方法可以应用到很多领域，具有很高的研究和利用价值，近年来，关于三维重建方法的研究也越来越多。

发明内容

有鉴于此，本发明实施例提供了一种三维重建方法及装置以实现建立场景目标三维模型的目的。

根据第一方面，本发明实施例提供了一种三维重建方法，包括：获取至少一组在两个不同预设位置的包含场景目标的原始图像及各所述原始图像对应的位移；分别对各组的两个所述原始图像进行稀疏特征匹配，得到每组摄像头的旋转关系；根据所述位移及所述旋转关系得到各组所述原始图像对应的半稠密深度图；分别对各组的所述半稠密深度图进行深度补齐，得到各稠密深度图；根据各所述稠密深度图对应的位移及所述旋转关系，对各所述稠密深度图进行深度融合，得到所述场景目标的三维模型。

可选地，所述根据所述位移及所述旋转关系得到各组所述原始图像对应的半稠密深度图，包括：根据所述位移及所述旋转关系建立以所述位移为基线长度的等效双目视觉系统；根据每一组构建的所述双目视觉系统的对极线几何约束，分别对各组的两个元素图像进行特征匹配，得到各匹配特征点；根据各组的匹配特征点的深度信息建立各组对应的所述半稠密深度图。

可选地，所述三维重建方法还包括：将各组的稠密深度图投影至相邻两组的拍摄视角下；根据稠密深度图的投影结果得到所述稠密深度图中各特征点坐标分别对应的两个投影坐标；分别提取所述特征点坐标及各所述投影坐标的视觉特征；保留所述特征点对应的视觉特征与两个投影坐标的视觉特征的误差小于预定阈值的特征点。

可选地，所述三维重建方法还包括：判断所述保留的特征点的数量的变化是否满足预设的稳定条件；当所述保留的特征点的数量的变化不满足预设的稳定条件时，将所述半稠密深度图更新为所述保留的特征点构成的深度图，并返回所述分别对各组的所述半稠密深度图进行深度补齐，得到各稠密深度图的步骤，直至所述保留的特征点的数量的变化满足预设的稳定条件。

可选地，所述三维重建方法还包括：根据各匹配特征点的信息对所述旋转关系进行更新。

根据第二方面，本发明实施例还提供了一种三维重建装置，包括：第一处理模块，用于获取至少一组在两个不同预设位置的包含场景目标的原始图像及所述摄像头的位移；第二处理模块，用于分别对各组的两个所述原始图像进行稀疏特征匹配，得到每组摄像头的旋转关系；第三处理模块，用于根据所述位移及所述旋转关系得到各组所述原始图像对应的半稠密深度图；第四处理模块，用于分别对各组的所述半稠密深度图进行深度补齐，得到各稠密深度图；第五处理模块，用于根据各所述稠密深度图对应的位移及所述旋转关系，对各所述稠密深度图进行深度融合，得到所述场景目标的三维模型。

根据第三方面，本发明实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面，或者其任意一种可选实施方式中所述的三维重建方法。

根据第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面，或者其任意一种可选实施方式中所述的三维重建方法。

本发明技术方案，具有如下优点：

本发明实施例提供的三维重建方法，通过获取至少一组在两个不同预设位置的包含场景目标的原始图像及原始图像对应的位姿，分别对各组的原始图像进行稀疏特征匹配，得到每组摄像头的旋转关系，根据位移及旋转关系得到原始图像对应的半稠密深度图，对各个半稠密深度图进行深度补齐得到稠密深度图，根据各个稠密深度图对应的位移及旋转关系进行深度融合得到场景目标的三维模型。从而提供了一种简单的场景目标三维重建方法，该方法无需依赖复杂的图像采集设备及计算机设备即可实现，该三维重建方法具有简单高效的特点。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种三维重建方法的流程图；

图2是根据本发明实施例的平移向量与拍摄方向的示意图；

图3是根据本发明实施例的基于基站的位置信息获取示意图；

图4是根据本发明实施例的定位点的位置信息获取示意图；

图5是根据本发明实施例的像素重投影的示意图；

图6是根据本发明实施例的人机交互装置的移动轨迹的示意图；

图7是根据本发明实施例的两个移动机器人的移动轨迹示意图；

图8是根据本发明实施例的一种三维重建装置的结构示意图；

图9是本发明实施例的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供了一种三维重建方法，如图1所示，该三维重建方法包括：

步骤S1：获取至少一组在两个不同预设位置的包含场景目标的原始图像及各原始图像对应的位移。具体地，在实际应用中，通过摄像头在两个已知位置处面向场景目标获取场景目标的原始图像，摄像头在两个已知位置处发生的位移即为摄像头位移T。

步骤S2：分别对各组的两个原始图像进行稀疏特征匹配，得到每组摄像头的旋转关系。具体地，每一组所拍摄到的两张图像均朝向场景目标，因此拍摄区域有重叠的部分，通过特征提取及稀疏特征匹配，可以得到若干匹配特征点对，在实际应用中，例如在获得8组以上的特征点匹配对之后，即可通过8点法求解出摄像头在拍摄这两张图像时的相对旋转矩阵R。

步骤S3：根据位移及旋转关系得到各组原始图像对应的半稠密深度图。在实际应用中，由于摄像头的位移T和旋转关系R描述了摄像头在拍摄当前组的两张图像时的外部参数，因此，可以通过加入虚拟的坐标系旋转使得摄像头拍摄方向平行，由此建立一个以T为基线长度的等效双目视觉系统。根据对极线几何关系，其中一个图像中的一个像素点对应于另一个图像中的一条水平线，由此极大缩小了特征点匹配的搜索区域，从而可以开展快速的稠密特征匹配运算，进而得到各个匹配点及其深度值，根据所得到的匹配点及其深度图构建该原始图像对应的半稠密深度图。

步骤S4：分别对各组的半稠密深度图进行深度补齐，得到各稠密深度图。在实际应用中，分别对每一个拍摄视角下获得的半稠密深度图进行深度补齐，可以采用《EmbeddingTemporally Consistent Depth Recovery for Real－time Dense Mapping in Visual－inertial Odometry》(IROS2018)一文的方法或者是其他类似方法，其中对于缺失的深度值补齐的方法可以采用Joint bilateral filter(JBF)或者是Guided filter(GF)的滤波核来实现，本发明并不以此为限。

步骤S5：根据各稠密深度图对应的位移及旋转关系，对各稠密深度图进行深度融合，得到场景目标的三维模型。在实际应用中，将每个带有深度值的像素点按照其像素坐标和摄像机内参投影到三维空间中，可以得到一个三维点，每一个深度图都可以转化为一个点云。可以采用基于点云、体素或者TSDF等三维模型格式的融合方式，将每个视角下的深度图根据优化过的R和T放到同一个坐标系下，从而得到一个完整的三维模型。

通过上述步骤S1至步骤S5，本发明实施例提供的三维重建方法，通过获取至少一组在两个不同预设位置的包含场景目标的原始图像及摄像头的位姿，分别对各组的原始图像进行稀疏特征匹配，得到每组摄像头的旋转关系，根据位移及旋转关系得到原始图像对应的半稠密深度图，对各个半稠密深度图进行深度补齐得到稠密深度图，根据各个稠密深度图对应的位移及旋转关系进行深度融合得到场景目标的三维模型。从而提供了一种简单的场景目标三维重建方法，该方法无需依赖复杂的图像采集设备及计算机设备即可实现，该三维重建方法具有简单高效的特点。

具体地，在一实施例中，上述的步骤S1，获取至少一组在两个不同预设位置的包含场景目标的原始图像及摄像头的位移。在实际应用中，获取摄像头在两个不同位置处所拍摄到的图像，其过程如附图2所示，摄像头的移动轨迹经过A、B两个位置，其拍摄方向均朝向场景目标，则摄像头在拍摄这两张照片时的平移向量T为A、B两点的连线，与摄像头的实际移动轨迹无关。该步骤中所用的摄像头是一个可以拍摄图像的摄像头，其镜头焦距、感光单元、镜头种类均无限制，例如可以是标准的摄像头，也可以是鱼眼摄像头或者其他镜头。以鱼眼摄像头为例，可以用相机标定工具对其进行标定，然后对其拍摄到的图像进行校正之后再用于采集图像；也可以构建一个等效的鱼眼双目系统，通过鱼眼双目匹配算法进行特征点提取和匹配，计算视差和深度值等。

在实际应用中，上述的如图2所示的A、B两点的位置信息可通过多种方式获取，包括但不限制于如下三种方式：①摄像头安装在一个固定的尺寸已知的支架上，通过支架的尺寸及其运动情况，可以结算出A、B两点的位置信息；②摄像头配备距离传感器(包括红外、超声、无线电等)，并事先建立不少于三个不共线的定位基站(如图3所示)，通过距离传感器获取摄像头和基站位置之间的距离信息，然后利用三点定位法确定出A、B两点的三维位置信息。要求基站定位的精度不低于三维信息测量所需的精度；③摄像头配备非接触式电子标签模块(例如RFID或者微型蓝牙设备)，并搭载在小车上，固定拍摄高度，地面事先铺设可识别电子标签的定位点(如附图4所示)，每个定位点的位置均为已知。当小车经过定位点时，通过定位点与电子标签的简单通信确认即可获得摄像头的2D坐标。由于摄像头架设在固定高度，因此可获得摄像头的3D坐标。

具体地，在一实施例中，上述的步骤S2，分别对各组的两个原始图像进行稀疏特征匹配，得到每组摄像头的旋转关系。具体地，每一组所拍摄到的两张图像均朝向场景目标，因此拍摄区域有重叠的部分，通过特征提取及稀疏特征匹配，可以得到若干匹配特征点对，在实际应用中，例如在获得8组以上的特征点匹配对之后，即可通过8点法求解出摄像头在拍摄这两张图像时的相对旋转矩阵R。在实际应用中，上述特征提取可以采用任意一种基于视觉的特征提取算法，常用的算法有SURF、SIFT、ORB、FAST等，本发明并不以此为限。通常为了获得比较准确的旋转矩阵R，通常需要数十组特征点匹配对，并将8点法结合RANSAC或者其他的一致性参数估计方法，才能获得比较准确的R。

具体地，在一实施例中，上述的步骤S3，根据位移及旋转关系得到各组原始图像对应的半稠密深度图，具体包括如下步骤：

步骤S31：根据位移及旋转关系建立以位移为基线长度的等效双目视觉系统。在实际应用中，由于上述的R和T描述了摄像头拍摄两张图像时的外部参数，因此可以通过加入虚拟的坐标系旋转使得摄像头拍摄方向平行，由此建立一个以T为基线长度的等效双目视觉系统。

步骤S32：根据每一组构建的双目视觉系统的对极线几何约束，分别对各组的两个元素图像进行特征匹配，得到各匹配特征点。在实际应用中，根据对极线几何关系，其中一个图像中的一个像素点对应于另一个图像中的一条水平线，由此极大缩小了特征点匹配的搜索区域，从而可以开展快速的稠密特征匹配运算。为了提升匹配的鲁棒性，在本步骤中，可以将特征点匹配的搜索区域扩大为3－5像素宽的线状区域，进而得到各匹配特征点，及各个匹配特征点对应的深度信息。

在实际应用中，在获得较多的匹配点之后，该三维重建方法还包括：根据各匹配特征点的信息对上述旋转关系R进行更新，具体地，为了获得比较准确的旋转矩阵，通常需要数十组特征点匹配对，并将8点法结合RANSAC或者其他的一致性参数估计方法，获得比较准确的R。

步骤S33：根据各组的匹配特征点的深度信息建立各组对应的半稠密深度图。具体地，将根据各个特征点的深度信息得到该组图像对应的半稠密深度图。在实际应用中，根据预先设定的运动轨迹，重复上述的各个步骤，获得摄像头在多个视角下拍摄到的彩色原始图像，以及其对应的习俗深度图。

具体地，上述的步骤S4，别对各组的半稠密深度图进行深度补齐，得到各稠密深度图。在实际应用中，分别对每一个拍摄视角下获得的半稠密深度图进行深度补齐，可以采用《Embedding Temporally Consistent Depth Recovery for Real－time Dense Mappingin Visual－inertial Odometry》(IROS2018)一文的方法或者是其他类似方法，其中对于缺失的深度值补齐的方法可以采用Joint bilateral filter(JBF)或者是Guided filter(GF)的滤波核来实现，本发明并不以此为限。

具体地，在一实施例中，上述的三维重建方法在执行上述步骤S4之后，在执行步骤S5之前，还包括如下步骤：

步骤S6：将各组的稠密深度图投影至相邻两组的拍摄视角下。

步骤S7：根据稠密深度图的投影结果得到稠密深度图中各特征点坐标分别对应的两个投影坐标；

步骤S8：分别提取特征点坐标及各投影坐标的视觉特征；

步骤S9：保留特征点对应的视觉特征与两个投影坐标的视觉特征的误差小于预定阈值的特征点。

在实际应用中，上述的步骤S6至步骤S9，将每个视角下的稠密深度图根据对应的稠密深度值投影到相邻拍摄位置的其他视角下，删除视觉特征误差较大的像素，如图5所示，当前需要处理的特征点A为例，其主要过程如下：

选取一个拍摄角度，根据像素的深度值和摄像头内参确定其三维坐标，例如选择成像平面1上的一个像素a1，通过其图像坐标及其深度值确定点A的三维坐标；

选取其相邻的若干个拍摄角度，通过将三维点投影至成像平面的方式确定其投影坐标，例如将A点投影到成像平面2和成像平面3，分别获得两个坐标a2和a3；

提取a1、a2、a3的视觉特征(该视觉特征可以是灰度值、RGB值、方向直方图、ORB、FAST等特征)，分别记为和计算误差值

如果最小误差e＝min(e₁₂,e₁₃)大于某个阈值，则认为a1点的深度值不准确，删除；如果该误差小于阈值，则保留a1点的深度值。

步骤S10：判断保留的特征点的数量的变化是否满足预设的稳定条件。在实际应用中，为了得到更加准确的特征点，判断当前保留的特征点的数量的变化程度是否小于预设的变化程度，即判断缺失像素数量是否保持稳定，如果稳定则说明当前保留的特征点已经是与摄像头拍摄的原始图像的实际特征相吻合的特征点，执行步骤S5，否则执行步骤S11。

步骤S11：当保留的特征点的数量的变化不满足预设的稳定条件时，将半稠密深度图更新为保留的特征点构成的深度图，并返回步骤S4，直至保留的特征点的数量的变化满足预设的稳定条件。在实际应用中，通过重复执行上述的步骤S4以及步骤S6至步骤S10的步骤，(一般三到五次即可)，直至缺失像素数量保持稳定，执行上述的步骤S5。

具体地，在一实施例中，上述的步骤S5，根据各稠密深度图对应的位移及旋转关系，对各稠密深度图进行深度融合，得到场景目标的三维模型。在实际应用中，将每个带有深度值的像素点按照其像素坐标和摄像机内参投影到三维空间中，可以得到一个三维点，每一个深度图都可以转化为一个点云。可以采用基于点云、体素或者TSDF等三维模型格式的融合方式，将每个视角下的深度图根据优化过的R和T放到同一个坐标系下，从而得到一个完整的三维模型。

下面将结合具体应用示例，对本发明实施例提供的三维重建方法进行完整的说明。

应用示例1：本发明实施例采用一个台灯形状的、摄像头可以根据控制信号移动的桌面人机交互装置，在各个预设拍摄位置采用如图6所示的位置采集图像信息，然后通过计算机处理器执行上述方法步骤进行三维重建，具体实现过程如下：

1)根据给定的摄像头位置和拍摄朝向序列，求解各个机械部件的控制参数；

2)根据控制参数控制机械部件运动，并计算出摄像头的姿态和等效基线长度，作为摄像头在拍摄两张图像的位移T；

3)摄像头在给定位置按照指定朝向拍摄图像，对通过等效基线构成等效双目图像的两张图像进行基于比较鲁棒的图像特征(例如SIFT或者SURF)的稀疏双目匹配，获得初始的相对旋转矩阵R；

4)利用R和基线信息对等效的双目测量系统进行校正，进行基于快速特征(例如BRIEF描述子、方向直方图或者图像矩)的半稠密特征匹配，获得半稠密的深度图；

5)利用JBF或者GF对深度图进行补齐，得到稠密深度图；

6)根据半稠密的匹配点，通过鲁棒参数估计方法(例如随机抽样一致性RANSAC)计算出在图像拍摄时的摄像头姿态R，并根据T确定尺度；

7)重复步骤3)－6)，直至所有位置上的图像均已用于双目匹配与深度恢复；

8)将每个视角下的深度图根据对应的稠密深度值投影到其他视角下，删除颜色误差较大的像素，得到多个视角下的不完整深度图；

9)分别对半稠密深度图进行深度补齐，得到多个视角下的稠密深度图；

10)重复步骤9)－10)，直到无深度值的像素数量稳定

11)利用步骤6)中估计出来的旋转矩阵与步骤2)中计算出来的位移向量，将稠密深度图进行基于TSDF的深度融合，得到稠密的场景三维模型。

应用示例2：本发明实施例采用两台移动机器人组成的集群无人系统，在配备UWB室内定位系统(至少包含三个UWB场端控制器)的环境下，在各个预设拍摄位置采用如图7所示的位置采集图像信息，然后通过计算机处理器执行上述方法步骤进行三维重建，具体实现过程如下：

1)每个移动机器人配备至少1个摄像头，两个机器人分别通过摄像头拍摄图像，要求两个摄像机的拍摄区域有一定的重叠；

2)通过机器人配备的UWB传感器获取位置信息，通过几何信息计算出准确的移动距离，得到等效基线的长度以及位移量T；

3)基于比较鲁棒的图像特征(例如SIFT或者SURF)进行双目匹配，获得稀疏的匹配点以及相对旋转矩阵R；

4)利用R和基线信息对等效的双目测量系统进行校正，进行基于快速特征(例如BRIEF描述子、方向直方图或者图像矩)的半稠密特征匹配，获得半稠密的深度图；

5)利用JBF或者GF对深度图进行补齐，得到稠密深度图；

6)根据半稠密的匹配点，通过鲁棒参数估计方法(例如随机抽样一致性RANSAC)计算出在图像拍摄时的摄像头姿态R，并根据T确定尺度；

7)机器人持续移动(第一个机器人从A1移动到A2，第二个机器人从B1移动到B2)，将相邻的两个位置上拍到的图像(例如B1和B2)作为等效双目图像，重复步骤2)－6)，直至被观测区域被360°覆盖；

8)将每个视角下的深度图根据对应的稠密深度值投影到其他视角下，删除颜色误差较大的像素，得到多个视角下的不完整深度图；

9)分别对半稠密深度图进行深度补齐，得到多个视角下的稠密深度图；

10)重复步骤8)－9)，直到无深度值的像素数量稳定

11)利用步骤6)中估计出来的旋转矩阵与步骤2)中计算出来的位移向量，将稠密深度图进行基于TSDF的深度融合，得到稠密的场景三维模型。

通过上述步骤S1至步骤S10，本发明实施例提供的三维重建方法，通过获取至少一组在两个不同预设位置的包含场景目标的原始图像及摄像头的位姿，分别对各组的原始图像进行稀疏特征匹配，得到每组摄像头的旋转关系，根据位移及旋转关系得到原始图像对应的半稠密深度图，对各个半稠密深度图进行深度补齐得到稠密深度图，根据各个稠密深度图对应的位移及旋转关系进行深度融合得到场景目标的三维模型。从而提供了一种简单的场景目标三维重建方法，该方法无需依赖复杂的图像采集设备及计算机设备即可实现，该三维重建方法具有简单高效的特点。本发明实施例在多视角深度测量方面，通过提出一种基线可变的双目测量方案解决了普通双目匹配深度测量精度受限于基线长度的问题；通过利用传感器或者自身尺寸提供精确的位移，避免了消费级IMU精度不稳定所带来的位移不准确问题；通过在双目匹配过程中引入由粗到精的旋转矩阵估计方案，避免了对摄像头姿态的优化，减少了对姿态优化所需的计算量。在深度融合方面，本发明通过提出通过设定运动轨迹来获得精确位移信息，减少了对位移优化所需的计算量；实现了对多视角深度值的优化，以便获得质量更高的三维模型。

本发明实施例还提供了一种三维重建装置，如图8所示，该三维重建装置包括：

第一处理模块1，用于获取至少一组在两个不同预设位置的包含场景目标的原始图像及摄像头的位移。详细内容参见上述实施例中步骤S1的相关描述。

第二处理模块2，用于分别对各组的两个原始图像进行稀疏特征匹配，得到每组摄像头的旋转关系。详细内容参见上述实施例中步骤S2的相关描述。

第三处理模块3，用于根据位移及旋转关系得到各组原始图像对应的半稠密深度图。详细内容参见上述实施例中步骤S3的相关描述。

第四处理模块4，用于分别对各组的半稠密深度图进行深度补齐，得到各稠密深度图。详细内容参见上述实施例中步骤S4的相关描述。

第五处理模块5，用于根据各稠密深度图对应的位移及旋转关系，对各稠密深度图进行深度融合，得到场景目标的三维模型。详细内容参见上述实施例中步骤S5的相关描述。

通过上述各个组成部分的协同合作，本发明实施例提供的三维重建装置，通过获取至少一组在两个不同预设位置的包含场景目标的原始图像及摄像头的位姿，分别对各组的原始图像进行稀疏特征匹配，得到每组摄像头的旋转关系，根据位移及旋转关系得到原始图像对应的半稠密深度图，对各个半稠密深度图进行深度补齐得到稠密深度图，根据各个稠密深度图对应的位移及旋转关系进行深度融合得到场景目标的三维模型。从而提供了一种简单的场景目标三维重建方法，该方法无需依赖复杂的图像采集设备及计算机设备即可实现，该三维重建方法具有简单高效的特点。

本发明实施例还提供了一种电子设备，如图9所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图9中以通过总线连接为例。

处理器901可以为中央处理器(Central Processing Unit，CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的三维重建方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的三维重建方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的三维重建方法。

上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (8)

1.一种三维重建方法，其特征在于，包括：

获取至少一组在两个不同预设位置的包含场景目标的原始图像及各所述原始图像对应的位移；

分别对各组的两个所述原始图像进行稀疏特征匹配，得到每组摄像头的旋转关系；

根据所述位移及所述旋转关系得到各组所述原始图像对应的半稠密深度图；

分别对各组的所述半稠密深度图进行深度补齐，得到各稠密深度图；

根据各所述稠密深度图对应的位移及所述旋转关系，对各所述稠密深度图进行深度融合，得到所述场景目标的三维模型。

2.根据权利要求1所述的三维重建方法，其特征在于，所述根据所述位移及所述旋转关系得到各组所述原始图像对应的半稠密深度图，包括：

根据所述位移及所述旋转关系建立以所述位移为基线长度的等效双目视觉系统；

根据每一组构建的所述双目视觉系统的对极线几何约束，分别对各组的两个元素图像进行特征匹配，得到各匹配特征点；

根据各组的匹配特征点的深度信息建立各组对应的所述半稠密深度图。

3.根据权利要求1所述的三维重建方法，其特征在于，还包括：

将各组的稠密深度图投影至相邻两组的拍摄视角下；

根据稠密深度图的投影结果得到所述稠密深度图中各特征点坐标分别对应的两个投影坐标；

分别提取所述特征点坐标及各所述投影坐标的视觉特征；

保留所述特征点对应的视觉特征与两个投影坐标的视觉特征的误差小于预定阈值的特征点。

4.根据权利要求3所述的三维重建方法，其特征在于，还包括：

判断所述保留的特征点的数量的变化是否满足预设的稳定条件；

当所述保留的特征点的数量的变化不满足预设的稳定条件时，将所述半稠密深度图更新为所述保留的特征点构成的深度图，并返回所述分别对各组的所述半稠密深度图进行深度补齐，得到各稠密深度图的步骤，直至所述保留的特征点的数量的变化满足预设的稳定条件。

5.根据权利要求2所述的三维重建方法，其特征在于，还包括：

根据各匹配特征点的信息对所述旋转关系进行更新。

6.一种三维重建装置，其特征在于，包括：

第一处理模块，用于获取至少一组在两个不同预设位置的包含场景目标的原始图像及所述摄像头的位移；

第二处理模块，用于分别对各组的两个所述原始图像进行稀疏特征匹配，得到每组摄像头的旋转关系；

第三处理模块，用于根据所述位移及所述旋转关系得到各组所述原始图像对应的半稠密深度图；

第四处理模块，用于分别对各组的所述半稠密深度图进行深度补齐，得到各稠密深度图；

第五处理模块，用于根据各所述稠密深度图对应的位移及所述旋转关系，对各所述稠密深度图进行深度融合，得到所述场景目标的三维模型。

7.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1－5任一项所述的三维重建方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机从而执行权利要求1－5任一项所述的三维重建方法。