CN116206050A - 三维重建方法、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请实施例涉及图像处理技术领域，公开了一种三维重建方法、电子设备和计算机可读存储介质。上述三维重建方法包括：获取对目标区域拍摄得到的全景图像序列；对所述全景图像序列中的全景图像进行相机位姿估计，得到所述全景图像对应的相机位姿；对所述全景图像进行切割，以得到所述全景图像对应的多个方位的图像；根据所述多个方位的图像和所述全景图像对应的相机位姿，对所述目标区域进行三维重建，使得可以提高三维重建的建成效果与成功率。

Description

三维重建方法、电子设备和计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种三维重建方法、电子设备和计算机可读存储介质。

背景技术

在近些年的计算机技术的进步，AR、VR技术逐渐成为研究的热点领域之一，在娱乐领域，尤其是基于5G通讯下大带宽、低延时的场景下，逐渐开始出现各种优秀的应用。如何有效的重建目标区域的场景是其中极其重要的方向之一。同时，由于目前娱乐场景逐渐增大，娱乐内容逐渐广泛，对重建区域的大小及精度提出了更高的要求。

传统的纯视觉三维重建的构建方法都是基于离散分布的不同视角方向上的测区影像数据来实现，然而其由于建图效果不稳定、可建成区域小以及传统单目相机视角小从而使建成效果较差。

发明内容

本申请实施例的主要目的在于提出一种应三维重建方法、电子设备和计算机可读存储介质，使得可以提高三维重建的建成效果与成功率。

为至少实现上述目的，本申请实施例提供了一种三维重建方法，包括：获取对目标区域拍摄得到的全景图像序列；对所述全景图像序列中的全景图像进行相机位姿估计，得到所述全景图像对应的相机位姿；对所述全景图像进行切割，以得到所述全景图像对应的多个方位的图像；根据所述多个方位的图像和所述全景图像对应的相机位姿，对所述目标区域进行三维重建。

为至少实现上述目的，本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行；以使所述至少一个处理器能够执行上述的三维重建方法。

为至少实现上述目的，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的三维重建方法。

本申请实施例提供的三维重建方法，获取对目标区域拍摄得到的全景图像序列；对全景图像序列中的全景图像进行相机位姿估计，得到全景图像对应的相机位姿；对全景图像进行切割，以得到全景图像对应的多个方位的图像；根据多个方位的图像和全景图像对应的相机位姿，对目标区域进行三维重建。本申请实施例通过拍摄全景图像，有利于增加目标区域的可视范围，360°的全景视野能为目标区域的重建提供较大便利。同时通过对全景图像进行相机位姿估计获得在重建过程中所需要的相机位姿，结合相机位姿对全景图像进行切割以得到多个方位的图像，有利于从多个不同方位更加全面的反应目标区域的特点。最后结合相机位姿和切割得到的多个方位的图像进行三维重建，有利于提高三维重建的建成效果与成功率。

附图说明

图1是本申请实施例中提到的三维重建方法的流程图；

图2是本申请实施例中提到的步骤102的一种实现方式的流程图；

图3是本申请实施例中提到的对全景图像进行切割所涉及的坐标系的示意图；

图4是本申请实施例中提到的步骤104的一种实现方式的流程图；

图5是本申请实施例中提到的步骤302的一种实现方式的流程图；

图6是本申请实施例中提到的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本申请的一个实施例提供了一种三维重建方法，应用于电子设备。本实施例中的三维重建方法的流程图可以参考图1，包括：

步骤101：获取对目标区域拍摄得到的全景图像序列；

步骤102：对全景图像序列中的全景图像进行相机位姿估计，得到全景图像对应的相机位姿；

步骤103：对全景图像进行切割，以得到全景图像对应的多个方位的图像；

步骤104：根据多个方位的图像和全景图像对应的相机位姿，对目标区域进行三维重建。

本申请实施例通过拍摄全景图像，有利于增加目标区域的可视范围，360°的全景视野能为目标区域的重建提供较大便利。同时通过对全景图像进行相机位姿估计获得在重建过程中所需要的相机位姿，结合相机位姿对全景图像进行切割以得到多个方位的图像，有利于从多个不同方位更加全面的反应目标区域的特点。最后结合相机位姿和切割得到的多个方位的图像进行三维重建，有利于提高三维重建的建成效果与成功率。

在步骤101中，可以通过全景相机对目标区域进行拍摄，得到全景图像序列；其中，全景图像序列可以理解为若干帧连续的全景图像。全景相机在拍摄得到全景图像序列后，可以将全景图像序列发送给电子设备，使得电子设备获取对目标区域拍摄得到的全景图像序列，从而进行后续的处理。或者，电子设备中具备全景相机，从而电子设备可以直接通过其内部设置的全景相机获取到全景图像序列。对目标区域使用全景相机进行拍摄，拍摄时尽量保持相机稳定，由于全景相机的视角极大，因此在遇到某个时刻有障碍物或者行人导致相机部分被遮挡并不需要有额外补偿或躲避操作。本实施例中，相当于采用连续的大视角图像进行三维重建，有利于提高三维重建的稳定性和准确度。

在一个实施例中，全景相机包括两个鱼眼镜头和图像拼接单元，两个鱼眼镜头中心位置相同且放置方向相反，各鱼眼镜头的视角为180°；图像拼接单元用于检测并提取两个鱼眼镜头采集的两个图像的特征和关键点，匹配两个图像之间的描述符，然后使用RANSAC算法匹配的特征向量估计单应矩阵，完成两个图像拼接，获得目标区域的视觉全景图，即全景图像。

在一个实施例中，全景相机可以为头盔式全景相机，头盔式全景相机即为将全景相机通过连接件固定在头盔上。在另一个例子中，全景相机可以为手柄式全景相机，手柄式全景相机即为将全景相机通过连接件固定在手柄上。在具体实现中，头盔式全景相机固定时应保持两个相机朝向两边，同时尽量使得相机上下边沿与地面平行。

在一个实施例中，在各种固定方式的全景相机中都需要注意的是：保持相机的镜头一个朝左一个朝右；尽量减少拍摄过程中的抖动；保持拍摄过程中相机高度一致；使相机中心垂线与人体重心垂线距离尽量接近；保持相机边沿与地面平行，同时视频底边应与地面大致平行，不应出现明显倾斜；

在步骤102中，电子设备对全景图像序列中的全景图像进行相机位姿估计，得到全景图像对应的相机位姿。

在一个实施例中，电子设备可以将全景图像序列中的全景图像转换为长宽比为2:1的等矩形图像，根据等矩形图像进行同步定位与建图(simultaneous localization andmapping，SLAM)，得到全景图像对应的相机位姿。比如，可以将转换后的等矩形图像传输到SLAM系统中，从而获得在SLAM系统中每张等矩形图像所对应的相机位姿，有利于适应SLAM系统对计算相机位姿的图像的尺寸要求。

在一个实施例中，步骤102可以通过如图2所示的流程图实现：

步骤201：初始化全景图像序列中的第一个关键帧图像；

步骤202：提取全景图像序列中各全景图像的特征，根据各全景图像的特征和第一个关键帧图像确定全景图像序列中除第一个关键帧图像之外的关键帧图像；

步骤203：对各相邻关键帧图像的特征，进行特征匹配，得到各相邻关键帧图像中的特征匹配对；

步骤204：根据特征匹配对，计算各相邻关键帧图像中的后一关键帧图像对应的相机位姿。

本实施例中，通过对全景图像序列中的各相邻关键帧图像的特征匹配，得到各相邻关键帧图像中的特征匹配对，有利于准确的计算得到各相邻关键帧图像中的后一关键帧图像对应的相机位姿。

在步骤201中，电子设备可以将全景图像序列中的第一帧图像初始化为第一个关键帧图像，然并不以此为限。在初始化完第一个关键帧图像后，可以初始化相机位姿，即对第一个关键帧图像对应的相机位姿进行初始化。

在步骤202中，电子设备可以提取全景图像序列中各全景图像的特征，该特征可以为ORB特征，ORB特征为非常具有代表性的图像特征，它改进了FAST检测子不具备方向性的问题，并采用速度极快的二进制描述子BRIEF，使整个图像特征提取的环节大大加速。根据各全景图像的ORB特征和第一个关键帧图像确定全景图像序列中除第一个关键帧图像之外的关键帧图像，也就是说，根据各全景图像的ORB特征和第一个关键帧图像可以依次确定全景图像序列中第二个关键帧图像、第三个关键帧图像......第n个关键帧图像。具体的，各相邻关键帧图像之间满足如下关系：相邻关键帧图像中的后一张关键帧图像与前一帧关键帧图像相比，存在部分相同的ORB特征也出现了部分新的ORB特征。ORB(Oriented FAST andRotated BRIEF)是一种快速特征点提取和描述的算法，ORB特征可以理解为采用该ORB算法提取到的特征。

在步骤203中，电子设备对各相邻关键帧图像的特征，进行特征匹配，得到各相邻关键帧图像中的特征匹配对。比如，可以不断将关键帧图像之间进行特征匹配，并筛选出可靠的匹配对，该可靠的匹配对即为特征匹配对，特征匹配对中的特征之间的匹配度大于预设匹配度。其中预设匹配度可以根据实际需要进行设置，用于表征特征匹配对中的特征之间的匹配度较大，本实施例对预设匹配度的具体大小不作具体限定。

其中，最简单的特征匹配方法就是暴力匹配，即对每一个特征点与所有的特征点测量描述子的距离，然后排序，取最近的一个作为匹配点。描述子的距离表述了两个特征之间的相似程度。然而，当特征点很多的时，暴力匹配的运算量就变得很大，此时快速近似最近邻算法更加适合于匹配点数量极多的情况。特征点可以由关键点和描述子两部分组成，关键点是指特征点在图像中的位置，有些特征点还具有朝向、大小等信息。描述子通常是一个向量，描述了关键点周围像素的信息。

在步骤204中，电子设备根据特征匹配对，计算各相邻关键帧图像中的后一关键帧图像对应的相机位姿。具体的，电子设备可以根据可靠的匹配对即特征匹配对，利用对极几何约束求解帧间运动，并结合初始化的相机位姿，计算相邻关键帧图像中的后一关键帧图像对应的相机位姿。比如，根据初始化的第一个关键帧图像对应的相机位姿即初始化的位姿和第一个关键帧图像与第二个关键帧图像之间的特征匹配对，计算和第一个关键帧图像相邻的第二个关键帧图像对应的相机位姿，接着，根据第二个关键帧图像对应的相机位姿和第二个关键帧图像与第三个关键帧图像之间的特征匹配对，计算和第二个关键帧图像相邻的第三个关键帧图像对应的相机位姿，依次类推，计算各相邻关键帧图像中的后一关键帧图像对应的相机位姿，以得到所有关键帧图像对应的相机位姿。

在一个实施例中，相机位姿包括用于表征相机位置的平移向量T和用于表征相机姿态的旋转矩阵R；步骤204中的根据特征匹配对，计算各相邻关键帧图像中的后一关键帧图像对应的相机位姿，包括：根据特征匹配对的像素位置，计算本质矩阵或基础矩阵；根据本质矩阵或基础矩阵，计算各相邻关键帧图像中的后一关键帧图像对应的平移向量和旋转矩阵。

下面以根据本质矩阵计算平移向量和旋转矩阵进行说明：比如，可以通过对本质矩阵进行分解来获得T和R。本质矩阵E有5个自由度，因此最少可以用5对点(即5对特征点对)求解E。E在不同的尺度下是等价的，一般使用经典的八点法来求解E，八点法只利用了E的线性性质。E的内在本质是一种非线性性质。从E分解得到R和T，这个过程由奇异值分解(SVD)得到的。

在一个实施例中，步骤204中的根据特征匹配对，计算各相邻关键帧图像中的后一关键帧图像对应的相机位姿，包括：根据预设的局部区域中的特征匹配对和相机在目标区域内的先验位姿，进行局部光束平差处理，得到各相邻关键帧图像中的后一关键帧图像对应的相机位姿；或者，根据全局区域中的特征匹配对和相机在目标区域内的先验位姿，进行全局光束平差处理，得到各相邻关键帧图像中的后一关键帧图像对应的相机位姿。也就是说，进行全局光束平差处理时，选取所有特征匹配对；进行局部光束平差处理时，选取部分特征匹配对。对于第i个关键帧图像而言，先验位姿可以理解为第i个关键帧图像之前的关键帧图像对应的相机位姿，比如，对于第3个关键帧图像，其先验位姿可以为第2个关键帧图像相对于第1个关键帧图像的相机位姿；对于第4个关键帧图像，其先验位姿可以包括：第3个关键帧图像相对于第2个关键帧图像的相机位姿、第2个关键帧图像相对于第1个关键帧图像的相机位姿。在计算第3个关键帧图像对应的相机位姿时，可以先根据第3个关键帧图像和第2个关键帧图像之间的特征匹配对，得到第3个关键帧图像相对于第2个关键帧图像的相机位姿，然后根据第3个关键帧图像相对于第2个关键帧图像的相机位姿，以及第3个关键帧图像的先验位姿进行局部光束平差处理或全局光束平差处理，以得到可靠的第3个关键帧图像对应的相机位姿。本实施例中根据先验位姿和特征匹配对进行局部光束平差处理或全局光束平差处理有利于得到更加可靠且准确度更高的相机位姿。

在一个实施例中，步骤102中对全景图像序列中的全景图像进行相机位姿估计，得到全景图像对应的相机位姿的实现方式可以为：

(1)将全景图像序列中的全景图像转换为长宽比为2:1的等矩形图像，得到等矩形图像序列。

(2)通过对提供的等矩形图像序列进行初始化，若未初始化则继续进行初始化，若完成初始化则进入后续视觉里程计(VisualOdometry，VO)端；

(3)VO端初始化第一个关键帧图像，同时初始化相机位姿T，同时持续对等矩形图像序列进行ORB特征提取，选取下一帧关键帧图像；

(4)不断将关键帧图像之间进行特征匹配，并筛选出可靠的特征匹配对，利用对极几何约束求解帧间运动，并计算下一帧关键帧图像对应的相机位姿；

(5)通过对等矩形图像序列中进行SLAM系统的相机运动估计，其中包括回环检测，从而获得相机在先前到达该地时的位姿，并根据该位置对之前局部轨迹进行光束平差优化；

(6)计算出相邻关键帧图像之间的平移向量t和旋转矩阵R，而t与R可以通过分解本质矩阵E来获得，在相邻关键帧图像之间只有旋转而无平移的时候，两视图的对极约束不成立，基础矩阵F为零矩阵，此时可以分解单应矩阵H，得到旋转矩阵R。

在一个实施例中，在步骤102中，电子设备可以对全景图像序列中的全景图像进行SLAM相机位姿估计，得到全景图像对应的相机位姿。SLAM相机位姿估计的处理流程可以包括：特征提取、特征匹配、位姿估计、特征跟踪、特征再识别、全局光束平差和局部光束平差处理。在特征跟踪中，该处理的输入为初始提取特征，输出为下一帧图像所跟踪到的特征；在特征提取中，输入为彩色图像，输出为特征；在特征再识别中，可寻找曾经提取的特征，该处理的输入为初始提取特征和之前的帧的相机位姿，输出为特征再识别处理后的特征；在全局光束平差处理中，可进行全局非线性优化，该处理的输入是所有特征匹配集合，输出是位姿；在局部光束平差处理中，可进行局部非线性优化，该处理的输入是局部区域的特征匹配集合，输出是位姿。通过本实施例中的SLAM相机位姿计算，可以高效且相对可靠地估计出每一个全景图像的相机位姿，该相机位姿可以包括空间位置与姿态方向，而基于该空间位置与姿态方向，以及图像数据，可以反过来推导出大部分像素点的深度信息及空间位置。

在步骤103，电子设备对全景图像进行切割，以得到全景图像对应的多个方位的图像；其中，多个方位的图像即不同方位的图像，比如，前、后、上、下、左、右这六个方位的六张图像，多个方位的图像能够组成一张全景图像。对全景图像切割，可以采用创建透视投影的算法，切割得到的多个方位的图像可以为多个方位上虚拟的单目相机分别拍摄的图像。然而，在具体实现中，多个方位的图像并不以上述六个方位的图像为例，也可以为七个方位上的七张图像、八个方位上的八张图像等。

在一个实施例中，参考图3中的坐标系，上述的创建透视投影的算法首先考虑位于该坐标系原点的虚拟相机，该虚拟相机可以为虚拟的单目相机，对全景图像进行切割得到的多个方位的图像可以为虚拟的单目相机在多个方位上分别拍摄的图像。该坐标系为右手坐标系，右手坐标系可以具有指向y轴正向的“左”向量，指向z轴正向的是“上”向量，指向x轴正向是“右”向量，还具有图3未示出的指向y轴负向的“前”向量，指向z轴负向的是“下”向量，指向x轴负向是“后”向量，全景图像在不同方向的向量对应的投影平面中的投影，可以为将全景图像分割后得到的多个不同方位的图像。比如，在图3中的坐标系中，全景图像在“左”向量对应的投影平面上的投影即为分割得到的左方位的图像。

在一个实施例中，步骤103的实现方式可以为：根据全景图像对应的相机位姿，计算待分割得到的多个方位的图像对应的相机位姿；根据待分割得到的多个方位的图像对应的相机位姿，对全景图像进行切割，以得到全景图像对应的多个方位的图像，有利于对全景图像进行准确的切割。

在步骤104中，电子设备根据多个方位的图像和全景图像对应的相机位姿，对目标区域进行三维重建。三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。

在一个实施例中，步骤104可以通过如图4所示的流程图实现，包括：

步骤301：选取目标像素点；

比如，可以在全景图像或是切割得到的多个方位的图像中选取需要计算深度的目标像素点。其中，选取的目标像素点的数量可以为多个。

步骤302：根据多个方位的图像和全景图像对应的相机位姿，确定多个方位的图像之间的极线；

步骤303：遍历极线上的各个像素点，并搜索与目标像素点匹配的像素点；

其中，遍历的顺序可以根据实际需要设定，本实施例对此不作具体限定。

步骤304：根据与目标像素点匹配的像素点，计算目标像素点的空间位置；

比如，可以通过三角测量计算出目标像素点实际的空间位置，从而根据计算的该实际的空间位置，更新该目标像素点的深度信息。

步骤305：根据目标像素点的空间位置，确定目标区域的结构化重建信息；

其中，结构化重建信息可以根据能够表征目标区域中的结构化特征的目标像素点的空间位置信息得到。

步骤306：以结构化重建信息为重建骨架，对目标区域进行三维重建。

比如，可以以结构性重建信息作为重建骨架，使用点云稠密重建算法对目标场景进行三维重建。

本实施例中，得到结构化重建信息的过程可以理解为稀疏重建的过程，以结构化重建信息为重建骨架，对目标区域进行三维重建的过程可以理解为进一步的稠密重建的过程。通过利用全景相机增加拍摄的可视范围，同时通过获得在建图过程中所需要的相机位姿，进而结合相机位姿得到结构化重建信息，并以该结构化重建信息为重建骨架进行进一步稠密重建，可以极大的提高建图过程中的稳定性及拓展性。

在一个实施例中，步骤302可以通过如图5所示的流程图实现：

步骤401：确定多个方位的图像中的第i帧图像的相机光心与目标像素点的连线的向量；

步骤402：根据全景图像对应的相机位姿，确定多个方位的图像对应的相机光心的平移向量；

其中，可以根据全景相机对应的相机位姿，计算多个方位的图像对应的相机位姿，多个方位的图像对应的相机位姿中包括多个方位的图像对应的相机光心的平移向量。

步骤403：确定连线的向量和平移向量构成的平面；

步骤404：根据所述平面和多个方位的图像中的第i+n帧图像的相交线，确定多个方位的图像之间的极线；其中，i和n均为大于或等于1的自然数。

本实施例中利用全景相机对目标区域进行大视角的拍摄，并将全景相机进行切割后进行三维重建，其360°的全景视野能为整个系统对目标区域的初步评价提供巨大便利，其提供的信息具有可靠性强、信息量大的特点。本实施例提出的三维重建方法可以明显提升视觉建图的效果与成功率，增强系统的目的性，避免造成系统建图过程中出现无法重建区域。本实施例中结合SLAM可以通过在一些复杂场景的区域进行相机位姿计算，从而可以在结构性复杂或者特征较少的场景根据SLAM计算出的相机位姿进行三维重建，从而极大地提高了系统在不同场景的适用性。而且，本实施例所使用的全景相机成本低廉，可有效降低成本。

在一个实施例中，在所述得到所述全景图像对应的相机位姿之后，即在步骤102之后，还包括：根据全景图像对应的相机位姿，确定全景图像序列中的关键帧图像；则步骤104根据多方位图像和全景图像对应的相机位姿，对目标区域进行三维重建，可以包括：提取关键帧图像对应的相机位姿，根据多个方位的图像和关键帧图像对应的相机位姿，对目标区域进行三维重建。本实施例中可以对每张全景图像都估算位姿，估算完后认为这张图比较好即具有关键性特点，才认为是关键帧图像，比如：如果当前帧图像和上一帧图像有一定的重复，即当前帧图像对应的相机位姿和上一帧图像对应的相机位姿有一定的相似性，但又不完全相同，即同时又有新的环境特点，则可以确定当前帧图像为关键帧图像。本实施例中，筛选出关键帧图像，关键帧图像相比于普通帧图像对于三维重建能够提供更加有效有价值的信息，因此结合关键帧图像对应的相机位姿进行三维重建，有利于在进行有效的三维重建的同时，降低电子设备的处理负担。

需要说明的是，本申请实施例中的上述各示例均为为方便理解进行的举例说明，并不对本发明的技术方案构成限定。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本申请的一个实施例提供了一种电子设备，如图6所示，包括：至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行上述三维重建方法。

电子设备还可以包括与至少一个处理器501通信连接的全景相机503，全景相机503用于对目标区域进行拍摄得到全景图像。处理器501和全景相机503连接，可以控制全景相机503对目标区域进行拍摄，全景相机503拍摄得到目标区域的全景图像后，可以发送给处理器501，以供处理器501根据全景图像进行后续的三维重建的流程。

其中，存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器501处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器501。

处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器502可以被用于存储处理器501在执行操作时所使用的数据。

本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (11)

1.一种三维重建方法，其特征在于，包括：

获取对目标区域拍摄得到的全景图像序列；

对所述全景图像序列中的全景图像进行相机位姿估计，得到所述全景图像对应的相机位姿；

对所述全景图像进行切割，以得到所述全景图像对应的多个方位的图像；

根据所述多个方位的图像和所述全景图像对应的相机位姿，对所述目标区域进行三维重建。

2.根据权利要求1所述的三维重建方法，其特征在于，在所述得到所述全景图像对应的相机位姿之后，还包括：

根据所述全景图像对应的相机位姿，确定所述全景图像序列中的关键帧图像；以及

所述根据所述多个方位的图像和所述全景图像对应的相机位姿，对所述目标区域进行三维重建，包括：

提取所述关键帧图像对应的相机位姿；

根据所述全景图像序列中的各全景图像对应的多个方位的图像和所述关键帧图像对应的相机位姿，对所述目标区域进行三维重建。

3.根据权利要求1所述的三维重建方法，其特征在于，所述根据所述多个方位的图像和所述全景图像对应的相机位姿，对所述目标区域进行三维重建；

选取目标像素点；

根据所述多个方位的图像和所述全景图像对应的相机位姿，确定所述多个方位的图像之间的极线；

遍历所述极线上的各个像素点，并搜索与所述目标像素点匹配的像素点；

根据所述与所述目标像素点匹配的像素点，计算所述目标像素点的空间位置，

根据所述目标像素点的空间位置，确定所述目标区域的结构化重建信息；

以所述结构化重建信息为重建骨架，对所述目标区域进行三维重建。

4.根据权利要求3所述的三维重建方法，其特征在于，所述根据所述多个方位的图像和所述全景图像对应的相机位姿，确定所述多个方位的图像之间的极线，包括：

确定所述多个方位的图像中的第i帧图像的相机光心与所述目标像素点的连线的向量；

根据所述全景图像对应的相机位姿，确定所述多个方位的图像对应的相机光心的平移向量；

确定所述连线的向量和所述平移向量构成的平面；

根据所述平面和所述多个方位的图像中的第i+n帧图像的相交线，确定所述多个方位的图像之间的极线；其中，i和n均为大于或等于1的自然数。

5.根据权利要求1至4任一项所述的三维重建方法，其特征在于，所述对所述全景图像进行切割，以得到所述全景图像对应的多个方位的图像，包括：

根据所述全景图像对应的相机位姿，计算待分割得到的多个方位的图像对应的相机位姿；

根据所述待分割得到的多个方位的图像对应的相机位姿，对所述全景图像进行切割，以得到所述全景图像对应的多个方位的图像。

6.根据权利要求1所述的三维重建方法，其特征在于，所述对所述全景图像序列中的全景图像进行相机位姿估计，得到所述全景图像对应的相机位姿，包括：

初始化所述全景图像序列中的第一个关键帧图像；

提取所述全景图像序列中各全景图像的特征，根据所述各全景图像的特征和所述第一个关键帧图像确定所述全景图像序列中除所述第一个关键帧图像之外的关键帧图像；

对各相邻关键帧图像的特征，进行特征匹配，得到所述各相邻关键帧图像中的特征匹配对；

根据所述特征匹配对，计算所述各相邻关键帧图像中的后一关键帧图像对应的相机位姿。

7.根据权利要求6所述的三维重建方法，其特征在于，所述根据所述特征匹配对，计算所述各相邻关键帧图像中的后一关键帧图像对应的相机位姿，包括：

根据预设的局部区域中的特征匹配对和相机在所述目标区域内的先验位姿，进行局部光束平差处理，得到所述各相邻关键帧图像中的后一关键帧图像对应的相机位姿；或者，

根据全局区域中的特征匹配对和相机在所述目标区域内的先验位姿，进行全局光束平差处理，得到所述各相邻关键帧图像中的后一关键帧图像对应的相机位姿。

8.根据权利要求6所述的三维重建方法，其特征在于，所述相机位姿包括用于表征相机位置的平移向量和用于表征相机姿态的旋转矩阵；

所述根据所述特征匹配对，计算所述各相邻关键帧图像中的后一关键帧图像对应的相机位姿，包括：

根据所述特征匹配对的像素位置，计算本质矩阵或基础矩阵；

根据所述本质矩阵或基础矩阵，计算所述各相邻关键帧图像中的后一关键帧图像对应的平移向量和旋转矩阵。

9.根据权利要求1所述的三维重建方法，其特征在于，所述对所述全景图像序列中的全景图像进行相机位姿估计，得到所述全景图像对应的相机位姿，包括：

将所述全景图像序列中的全景图像转换为长宽比为2:1的等矩形图像；

根据所述等矩形图像进行同步定位与建图SLAM，得到所述全景图像对应的相机位姿。

10.一种电子设备，其特征在于，包括：至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行；以使所述至少一个处理器能够执行如权利要求1至9中任一所述的三维重建方法。

11.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一所述的三维重建方法。

Images