CN113178000A - 三维重建方法、装置、电子设备及计算机存储介质 - Google Patents

Abstract

本发明涉及一种三维重建方法、装置、电子设备和计算机存储介质，其中，该方法包括：计算拓扑关系图中各SFM模型之间的相对位姿相似变换，该拓扑关系图是采集图像集时得到的空间位置先验，各SFM模型由大规模场景分块的各个图像集基于SFM算法三维重建得到；对拓扑关系图进行处理得到最大生成树，该最大生成树为拓扑关系图的子集；在最大生成树中找到度最大的节点作为根节点，并将根节点作为参考坐标系对其他节点上的SFM模型进行相似变换，以统一多个SFM模型的坐标系，得到合并后的目标三维地图，并进行位姿图全局优化，得到优化后的目标三维地图。通过本申请，解决了对大规模场景进行三维重建存在效率低的问题。

Description

三维重建方法、装置、电子设备及计算机存储介质

技术领域

本发明涉及计算机视觉计算领域，尤其涉及一种三维重建方法、装置、电子设备及计算机存储介质。

背景技术

使用传统SFM(Structure From Motion，也称为从运动恢复结构)技术，对某个场景进行视觉三维重建，分为以下几个步骤：1、图像特征点提取；2、两两图像匹配和几何校验；3、多张图像特征点跟踪；4、两/多张图像做三角化；5、多张图像做全局BA(BundleAdjustment，也称为光束平差)优化。在相关技术中，对大规模场景诸如城市级别的航拍图像进行三维重建，通过对大规模场景的多张图像之间的特征点匹配数定义匹配权重，然后使用归一化切割算法对多张图像的匹配关系进行分割得到多个社区，再根据设定的交并集比例做约束，以保证两两社区之间有足够约束可以进行拼接，在拼接时使用运动平均后再进行全局BA优化，以获得三维地图。但是，大规模场景的图像数量、三维点数据往往很大，全局BA优化会非常缓慢，且图像数据量过大使得计算机内存无法同时加载，使得三维重建的效率较低。

针对相关技术中，对大规模场景进行三维重建存在效率低的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种三维重建方法、装置、电子设备和计算机存储介质，以至少解决相关技术中，对大规模场景进行三维重建存在效率低的问题。

第一方面，本申请实施例提供了一种三维重建方法，所述方法包括：

计算拓扑关系图中各SFM模型之间的相对位姿相似变换，其中，所述拓扑关系图是采集图像集时得到的空间位置先验，各所述SFM模型是大规模场景分块的各个图像集基于SFM算法三维重建得到的；

对包括各所述SFM模型间的相对位姿相似变换的拓扑关系图进行处理，得到最大生成树，其中，所述最大生成树为所述拓扑关系图的子集；

在所述最大生成树中找到度最大的节点作为根节点，并将所述根节点作为参考坐标系对其他节点上的SFM模型进行相似变换，以统一所述多个SFM模型的坐标系，得到合并后的目标三维地图。

在其中一些实施例中，各所述SFM模型包括三维点云、相机群模型、有效像素点以及所述三维点和所述有效像素点之间的对应关系，其中，所述相机群模型包括多个相机模型以及各所述相机模型之间的相对位姿关系。

在其中一些实施例中，各所述相机模型包括相机内参、相机在坐标系的位姿、相机图像的像素特征点和所述所述像素特征点的特征描述子。

在其中一些实施例中，所述计算拓扑关系图中各SFM模型之间的相对位姿相似变换包括：

将第一模型中N张图像在第一坐标系的第一相机群模型注册到第二模型，得到注册成功的M张图像在第二坐标系的第二相机群模型，其中，所述第一模型和所述第二模型是所述多个SFM模型中的任两个SFM模型，所述第一模型是所述第一坐标系下的SFM模型，所述第二模型是所述第二坐标系下的SFM模型，N、M均为自然数，N≥M；

在M大于3的情况下，基于RANSAC算法，根据所述M张图像在所述第一坐标系的第一位置和所述M张图像在所述第二坐标系的第二位置进行计算，得到所述第一模型和所述第二模型间的相似变换，并根据所述M张图像在第二坐标系的第二相机群模型和所述相似变换进行校验，得到所述第一模型和所述第二模型间的相对位姿相似变换，其中，所述相对位姿相似变换对应的内点图像数量为所述拓扑关系图中边的权重。

在其中一些实施例中，所述根据所述M张图像在第二坐标系的第二相机群模型和所述相似变换进行校验，得到所述第一模型和所述第二模型间的相对位姿相似变换包括：

利用所述相似变换对所述M张图像在所述第一坐标系的三维点进行变换，得到所述M张图像在所述第二坐标系的三维点；

将所述M张图像在所述第二坐标系的三维点，射影变换到所述M张图像在第二坐标系的第二相机群模型进行校验，得到校验结果符合预设像素误差阈值的内点图像；

在内点图像的数量相同的情况下，选择平均像素误差最小的相似变换作为所述相对位姿相似变换，否则，选择内点图像数量最多的相似变换作为所述相对位姿相似变换。

在其中一些实施例中，所述相对位姿相似变换为7自由度的相似变换，所述得到合并后的目标三维地图之后，所述方法还包括：

基于所述拓扑关系图中各所述SFM模型间的相对位姿相似变换和所述相对位姿相似变换的信息矩阵，根据预设优化函数对所述目标三维地图进行位姿图优化，得到优化后的目标三维地图。

第二方面，本申请实施例提供了一种三维重建装置，所述装置包括相似变换计算模块、最大生成树模块和合并模块：

所述相似变换计算模块，用于计算拓扑关系图中各SFM模型之间的相对位姿相似变换，其中，所述拓扑关系图是采集图像集时得到的空间位置先验，各所述SFM模型是大规模场景分块的各个图像集基于SFM算法三维重建得到的；

所述最大生成树模块，用于对包括各所述SFM模型间的相对位姿相似变换的拓扑关系图进行处理，得到最大生成树，其中，所述最大生成树为所述拓扑关系图的子集；

所述合并模块，用于在所述最大生成树中找到度最大的节点作为根节点，并将所述根节点作为参考坐标系对其他节点上的SFM模型进行相似变换，以统一所述多个SFM模型的坐标系，得到合并后的目标三维地图。

在其中一些实施例中，所述装置还包括优化模块，用于基于所述拓扑关系图中各所述SFM模型间的相对位姿相似变换和所述相对位姿相似变换的信息矩阵，根据预设优化函数对所述目标三维地图进行位姿图优化，得到优化后的目标三维地图。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的三维重建方法。

第四方面，本申请实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的三维重建方法。

相比相关技术，本申请实施例提供的三维重建方法，通过计算拓扑关系图中各SFM模型之间的相对位姿相似变换，其中，拓扑关系图是采集图像集时得到的空间位置先验，各SFM模型是大规模场景分块的各个图像集基于SFM算法三维重建得到的；对包括各SFM模型间的相对位姿相似变换的拓扑关系图进行处理，得到最大生成树，其中，最大生成树为拓扑关系图的子集；在最大生成树中找到度最大的节点作为根节点，并将根节点作为参考坐标系对其他节点上的SFM模型进行相似变换，以统一多个SFM模型的坐标系，得到合并后的目标三维地图，解决了对大规模场景进行三维重建存在效率低的问题，提高了对大规模场景进行三维重建的效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的三维重建方法的流程图；

图2是根据本申请实施例的拓扑关系示意图；

图3是根据本申请实施例的SFM模型示意图；

图4是根据本申请实施例的最大生成树示意图；

图5是根据本申请实施例的另一种三维重建方法的流程图；

图6是根据本申请实施例的目标三维地图优化示意图；

图7是根据本申请实施例的计算相似变换的流程图；

图8是根据本申请实施例的基于相机群的PnP随机一致性相似变换的示意图；

图9是根据本申请实施例的单张图像注册示意图；

图10是根据本申请实施例的三维重建装置的结构示意图；

图11是根据本申请实施例的另一种三维重建装置的结构示意图；

图12是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供了一种三维重建方法。图1是根据本申请实施例的三维重建方法的流程图，如图1所示，该流程包括如下步骤：

S110、计算拓扑关系图中各SFM模型之间的相对位姿相似变换。

图2是根据本申请实施例的拓扑关系示意图。该拓扑关系图是采集图像集时得到的空间位置先验，比如，在采集时，知道A、B、C三个地点是同一条街上顺序采集的，那拓扑关系就是A-B-C，其中，A和C之间是没有拓扑关系的，只有A和B间、B和C间有拓扑关系。拓扑关系图可以是人工指定不同区域SFM模型之间在物理上的关系得到的，也可以是对多个SFM模型通过分割算法等其他方式得到的，在此不做限定。该拓扑关系图中边的权重为由该边相连的两个节点上SFM模型之间的相对位姿相似变换所对应的内点图像数量。内点图像是图像集中除了异常图像之外的图像，异常图像是指图像集中的噪声图像。需要说明的是，图2中的SFM模型数量和各SFM模型间的边仅是示意性的，不对本申请构成限定。

各SFM模型可以是对大规模场景分好块的图像集合，根据传统SFM算法的五个步骤，对每块分别进行SFM重建得到的。在图像数量较小的情况下，比如图像数量小于1000，SFM重建的效率较好。SFM模型示意图如图3所示。优选地，各SFM模型包括三维点云、相机群模型、有效像素点以及三维点和有效像素点之间的一一对应关系，其中，相机群是指绑定在同一个刚体上的多个相机，相机群模型包括多个相机模型以及各相机模型之间的相对位姿关系。需要注意的是，刚体只是一个概念，表示这些相机之间的相位位姿关系是刚体变换，且该变换不随时间变化而变化。

一般地，相机模型包括相机内参，如最简单的针孔相机的内参为fx、fy、cx和cy。优选地，各相机模型不仅包括相机内参，还包括相机在坐标系中的位姿、相机图像所提取的像素特征点以及像素特征点的特征描述子。

S120、对包括各SFM模型间的相对位姿相似变换的拓扑关系图进行处理，得到最大生成树，其中，最大生成树为拓扑关系图的子集。

对该拓扑关系图做最大生成树剪枝，最大生成树示意图如图4所示，该最大生成树是拓扑关系图的子集。需要说明的是，图4中各SFM模型间的边仅是示意性的，不对本申请构成限定。

S130、在最大生成树中找到度最大的节点作为根节点，并将根节点作为参考坐标系对其他节点上的SFM模型进行相似变换，以统一多个SFM模型的坐标系，得到合并后的目标三维地图。在最大生成树中，边越多，度越大，将连接的边最多的节点作为根节点。其他节点以根节点为参考坐标系进行迭代式的sim3变换。图像成像中“位姿”本身是一种刚体变换，相似变换(similarity transform或sim3)在刚体变换的基础上多了一个尺度，因此相似变换是7自由度的。通过相似变换统一坐标系，就把大规模场景中各个分块的SFM模型合并成目标三维地图。

通过上述步骤，通过计算拓扑关系图中各个SFM模型之间的相对位姿相似变换，并将最拓扑关系图的子集，即最大生成树中度最大的节点作为根节点，作为参考坐标系对其他节点上的SFM模型进行相似变换，在统一多个SFM模型的坐标系过程中，经过拓扑关系图中的边越少，sim3计算越少，可以减少计算次数和误差，以合并各SFM模型，使得在不做全局BA的情况下，尽可能提升合并各SFM子模型的精度和速度，从而提高对大规模场景进行三维重建的效率。

图5是根据本申请实施例的另一种三维重建方法的流程图，如图5所示，得到合并后的目标三维地图之后，三维重建方法还包括：

S140、基于拓扑关系图中各SFM模型间的相对位姿相似变换和相对位姿相似变换的信息矩阵，根据预设优化函数对目标三维地图进行位姿图优化，得到优化后的目标三维地图。

在最大生成树的基础上，额外利用拓扑关系图中除了最大生成树包含的边信息之外的其他信息，即拓扑关系图中各SFM模型之间的相对位姿相似变换信息，如图6所示，可以获得精度更高的模型位姿。预设优化函数如公式1：

Pose1…PoseN＝argmin1MPosey to xΩxyPosex to y measured 公式1

Pose1...PoseN表示N个SFM模型在根节点所在坐标系的7自由度位姿，是待求解的变量。约束为M条边：两个有sim3变换的SFM模型之间的这个sim3Posex to y measured就是M条边中的一条边，表示Model_in_x和Model_in_y Posey to x则是优化过程中，Model_in_y和Model_in_x之间的相对位姿相似变换，Model_in_x表示坐标系x下的SFM模型，Model_in_y表示坐标系yΩxy是相对位姿相似变换的信息矩阵，一般可设置为单位矩阵。

通过步骤S140，可以充分利用拓扑关系图中除了最大生成树包含的边信息之外的其他信息，进一步优化目标三维地图，提升目标三维地图的精度。

图7是根据本申请实施例的计算相似变换的流程图。如图7所示，通过下述基于相机群的PnP随机一致性相似变换(N-Cameras-PnP-RANSAC-sim3)计算拓扑关系图中各个SFM模型间的相似变换，图8是根据本申请实施例的基于相机群的PnP随机一致性相似变换的示意图，其中，PnP(Perspective-n-Point，射影变换)是指已知坐标系X中的n个三维点以及它们在图像上的投影(像素点)，求解图像所对应的相机模型在坐标系X中的6自由度位姿。具体包括以下步骤：

S210、将第一模型中N张图像在第一坐标系的第一相机群模型注册到第二模型，得到注册成功的M张图像在第二坐标系的第二相机群模型，其中，第一模型和第二模型是多个SFM模型中的任两个SFM模型，第一模型是第一坐标系下的SFM模型，第二模型是第二坐标系下的SFM模型，N、M均为自然数，N≥M。为方便说明，假设第一坐标系为坐标系X，第二坐标系为坐标系Y，第一模型为Model_in_X，第二模型为Model_in_Y，Model_in_X中N张图像在坐标系X中的第一相机群模型记为N-Cameras_in_X，将N-Cameras_in_X注册到Model_in_Y中，注册成功的图像数量为M，得到M张图像在坐标系Y中的第二相机群模型，记为M-Cameras_in_Y。

图9是根据本申请实施例的单张图像注册示意图。图像注册(imageregistration)是指已知坐标系X下的SFM模型(简称Model_in_X)，给定图像A和A上提取的特征点和特征描述子，根据特征描述子在Model_in_X中匹配得到三维点和像素点之间的对应关系，利用RASANC(Random Sample Consensus，随机抽样一致性)算法求得图像A在坐标系X下的位姿。

S220、在M大于3的情况下，基于RANSAC算法，根据M张图像在第一坐标系的第一位置和M张图像在第二坐标系的第二位置，得到第一模型和第二模型间的相似变换。

RANSAC算法是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。在步骤S210中，将第一坐标系下的第一相机群模型注册到第二模型，每次注册都会产生误差，而刚体的自洽可以监测错误的图，RANSAC算法允许图像有错，通过将有错的图剔除，用正确的图像计算得到sim3变换。

S230、利用相似变换对M张图像在第一坐标系的三维点进行变换，得到M张图像在第二坐标系的三维点。

S240、将M张图像在第二坐标系的三维点，射影变换到M张图像在第二坐标系的第二相机群模型进行校验，得到校验结果符合预设像素误差阈值的内点图像。

S250、在内点图像的数量相同的情况下，选择平均像素误差最小的相似变换作为相对位姿相似变换，否则，选择内点图像数量最多的相似变换作为相对位姿相似变换。

为说明步骤S220至步骤S250，示意性地，根据注册成功的M张图像在坐标系X中的位置M-Poses_in_X和M张图像在坐标系Y中的位置M-Poses_in_Y计算sim3变换，再把Model_in_X用sim3变换到坐标系Y下，得到坐标系X下的模型在坐标系Y下的参数模型Model-X_in_Y，再用参数模型中的三维点云Points3d-X_in_Y，射影变换到M张图像在坐标系Y的相机群模型M-Cameras_in_Y做校验，选择符合像素误差阈值的图像(即为内点图像)数量最多sim3变换作为输出(即Model_in_X和Model_in_Y之间的相对位姿相似变换)，如果内点图像数量相同，则选择平均像素误差最小sim3变换作为输出。

通过步骤S210注册，2d像素和3d像素之间是有误差的。通过步骤S220至步骤S250，通过注册成功的M个相机图像的位置去计算sim3；再用sim3去变换M个相机图像在x坐标下的3d点，变换到y坐标下；重点在于通过利用Y坐标系下的M个相位图像注册的位姿去校验(或者说“观察”)y坐标下的3d点，尽管相机的位置是变了的，注册结果有噪声，但通过RANSAC算法和校验可以把有错的图像剔除，最终用正确的图像得到拓扑关系图中任两个SFM模型之间准确的相对位姿相似变换，从而在保证模型合并速度的情况下，尽可能提升精度。

本申请实施例提供了一种三维重建装置。图10是根据本申请实施例的三维重建装置的结构示意图，如图10所示，该装置包括相似变换计算模块310、最大生成树模块320和合并模块330：相似变换计算模块310，用于计算拓扑关系图中各SFM模型之间的相对位姿相似变换，其中，拓扑关系图是采集图像集时得到的空间位置先验，可以是人为指定的或基于分割算法和各SFM模型得到的，各SFM模型是大规模场景分块的各个图像集基于SFM算法三维重建得到的；最大生成树模块320，用于对包括各SFM模型间的相对位姿相似变换的拓扑关系图进行处理，得到最大生成树，其中，最大生成树为拓扑关系图的子集；合并模块330，用于在最大生成树中找到度最大的节点作为根节点，并将根节点作为参考坐标系对其他节点上的SFM模型进行相似变换，以统一多个SFM模型的坐标系，得到合并后的目标三维地图。

在其他的一些实施例中，图11是根据本申请实施例的另一种三维重建装置的结构示意图，如图11所示，该装置还包括优化模块340，用于基于拓扑关系图中各SFM模型间的相对位姿相似变换和相对位姿相似变换的信息矩阵，根据预设优化函数对目标三维地图进行位姿图优化，得到优化后的目标三维地图。

关于三维重建装置的具体限定可以参见上文中对于三维重建方法的限定，在此不再赘述。上述三维重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的三维重建方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种三维重建方法。

在一个实施例中，图12是根据本申请实施例的电子设备的内部结构示意图，如图12所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图12所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维重建方法。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种三维重建方法，其特征在于，所述方法包括：

计算拓扑关系图中各SFM模型之间的相对位姿相似变换，其中，所述拓扑关系图是采集图像集时得到的空间位置先验，各所述SFM模型是大规模场景分块的各个图像集基于SFM算法三维重建得到的；

对包括各所述SFM模型间的相对位姿相似变换的拓扑关系图进行处理，得到最大生成树，其中，所述最大生成树为所述拓扑关系图的子集；

在所述最大生成树中找到度最大的节点作为根节点，并将所述根节点作为参考坐标系对其他节点上的SFM模型进行相似变换，以统一所述多个SFM模型的坐标系，得到合并后的目标三维地图。

2.根据权利要求1所述的方法，其特征在于，各所述SFM模型包括三维点云、相机群模型、有效像素点以及所述三维点和所述有效像素点之间的对应关系，其中，所述相机群模型包括多个相机模型以及各所述相机模型之间的相对位姿关系。

3.根据权利要求2所述的方法，其特征在于，各所述相机模型包括相机内参、相机在坐标系的位姿、相机图像的像素特征点和所述所述像素特征点的特征描述子。

4.根据权利要求3所述的方法，其特征在于，所述计算拓扑关系图中各SFM模型之间的相对位姿相似变换包括：

将第一模型中N张图像在第一坐标系的第一相机群模型注册到第二模型，得到注册成功的M张图像在第二坐标系的第二相机群模型，其中，所述第一模型和所述第二模型是所述多个SFM模型中的任两个SFM模型，所述第一模型是所述第一坐标系下的SFM模型，所述第二模型是所述第二坐标系下的SFM模型，N、M均为自然数，N≥M；

在M大于3的情况下，基于RANSAC算法，根据所述M张图像在所述第一坐标系的第一位置和所述M张图像在所述第二坐标系的第二位置进行计算，得到所述第一模型和所述第二模型间的相似变换，并根据所述M张图像在第二坐标系的第二相机群模型和所述相似变换进行校验，得到所述第一模型和所述第二模型间的相对位姿相似变换，其中，所述相对位姿相似变换对应的内点图像数量为所述拓扑关系图中边的权重。

5.根据权利要求4所述的方法，其特征在于，所述根据所述M张图像在第二坐标系的第二相机群模型和所述相似变换进行校验，得到所述第一模型和所述第二模型间的相对位姿相似变换包括：

利用所述相似变换对所述M张图像在所述第一坐标系的三维点进行变换，得到所述M张图像在所述第二坐标系的三维点；

将所述M张图像在所述第二坐标系的三维点，射影变换到所述M张图像在第二坐标系的第二相机群模型进行校验，得到校验结果符合预设像素误差阈值的内点图像；

在内点图像的数量相同的情况下，选择平均像素误差最小的相似变换作为所述相对位姿相似变换，否则，选择内点图像数量最多的相似变换作为所述相对位姿相似变换。

6.根据权利要求5所述的方法，其特征在于，所述相对位姿相似变换为7自由度的相似变换，所述得到合并后的目标三维地图之后，所述方法还包括：

基于所述拓扑关系图中各所述SFM模型间的相对位姿相似变换和所述相对位姿相似变换的信息矩阵，根据预设优化函数对所述目标三维地图进行位姿图优化，得到优化后的目标三维地图。

7.一种三维重建装置，其特征在于，所述装置包括相似变换计算模块、最大生成树模块和合并模块：

所述相似变换计算模块，用于计算拓扑关系图中各SFM模型之间的相对位姿相似变换，其中，所述拓扑关系图是采集图像集时得到的空间位置先验，各所述SFM模型是大规模场景分块的各个图像集基于SFM算法三维重建得到的；

所述最大生成树模块，用于对包括各所述SFM模型间的相对位姿相似变换的拓扑关系图进行处理，得到最大生成树，其中，所述最大生成树为所述拓扑关系图的子集；

所述合并模块，用于在所述最大生成树中找到度最大的节点作为根节点，并将所述根节点作为参考坐标系对其他节点上的SFM模型进行相似变换，以统一所述多个SFM模型的坐标系，得到合并后的目标三维地图。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括优化模块，用于基于所述拓扑关系图中各所述SFM模型间的相对位姿相似变换和所述相对位姿相似变换的信息矩阵，根据预设优化函数对所述目标三维地图进行位姿图优化，得到优化后的目标三维地图。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的三维重建方法。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述的三维重建方法。

Images