CN113936092A - 一种大规模场景地图的三维重建方法和系统 - Google Patents

Abstract

本申请涉及一种大规模场景地图的三维重建方法，其中，该方法包括：根据第一预设规则，将目标场景划分为多个子区域，并在子区域中配置多个拍摄路径，在拍摄路径中配置多个拍摄序列，其中，拍摄序列中包括运动路线信息和视角信息；以目标场景为根节点、子区域为第一枝节点、拍摄路径为第二枝节点、拍摄序列为第三枝节点，构建目标场景的重建进程树；获取按照拍摄序列所采集的图像数据，基于图像数据和重建进程树，重建目标场景的三维地图。通过本申请，解决了对相关技术中大规模三维场景地图的重建方法效率低、可靠性较差的问题，提升了重建速率和系统鲁棒性。

Description

一种大规模场景地图的三维重建方法和系统

技术领域

本申请涉及三维地图重建领域，特别是涉及一种大规模场景地图的三维重建方法和系统。

背景技术

场景三维重建，即针对现实场景，重建其三维空间信息作为该场景的三维地图。随着增强现实、机器人、数字孪生等技术概念的兴起，构建特定场景的三维地图信息(通常利用场景三维模型来表达)的需求也在不断扩张。一个高质量的场景三维模型，可以为上述应用提供准确的空间参考和可靠的数字存档，是这些应用技术得以实施的重要基础。一般而言，场景的规模越大，三维重建的挑战越大，时间、人力和设备等成本也越高。

在相关技术中，支持大规模场景地图三维重建的技术路线有如下两类：

1.通过激光雷达(站点式或手持式)扫描线下场景获取数据，基于该激光数据重建三维地图；但是，激光设备的价格昂贵且维护成本较高，另外，也无法直接得到场景的颜色信息；

2.通过RGB图片拍摄(如倾斜摄影)线下场景获取数据，基于图像数据重建三维地图；该方法在数据采集环节步骤简单且成本较低，但是，其算法重建环节难度较高，尤其是对于一些困难场景(如规模大、误匹配多和弱纹理多)，目前常见的三维重建软件在重建环节都难以保证以较低人力和时间成本的前提下一次性完成重建，该方法的可靠性较低。

目前针对相关技术中三维场景地图的重建方法可靠性较低的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种大规模场景地图的三维重建方法、系统、计算机设备和计算机可读存储介质，以至少解决三维场景地图的重建方法可靠性较低的问题。

第一方面，本申请实施例提供了一种大规模场景地图的三维重建方法，所述方法包括：

根据第一预设规则，将目标场景划分为多个子区域，并在所述子区域中配置多个拍摄路径，在所述拍摄路径中配置多个拍摄序列，其中，所述拍摄序列中包括运动路线信息和视角信息；

以所述目标场景为根节点、所述子区域为第一枝节点、所述拍摄路径为第二枝节点、所述拍摄序列为第三枝节点，构建所述目标场景的重建进程树；

获取按照所述拍摄序列所采集的图像数据，基于所述图像数据和所述重建进程树，重建所述目标场景的三维地图。

在其中一些实施例中，所述基于所述场景数据和所述重建进程树，重建所述目标场景的三维地图包括：

根据第二预设规则，配置所述第三枝节点内图像数据的关联方式和各个枝节点之间的关联方式，并根据所述关联方式定义关联信息，其中，所述关联方式包括：暴力匹配、序列匹配、空间匹配、人工匹配中一种或多种结合；

依据第三预设规则，配置各个枝节点的建图方式，其中，所述建图方式包括：跨层式建图、增量式建图、拼接式建图中一种或多种结合；

依据所述关联信息和所述建图方式，重建所述目标场景的三维地图。

在其中一些实施例中，所述基于所述图像数据和所述重建进程树，重建所述目标场景的三维地图包括：

在采用所述增量式建图的情况下，三维地图重建算法依据第四预设规则，合并各个枝节点的建图数据得到所述目标场景的三维地图，其中，所述建图数据包括所述图像数据和所述关联信息，所述第四预设规则包括：后序遍历原则、层次遍历原则和人工遍历规则的一种或多种结合；

在采用所述拼接式建图的情况下，三维地图重建算法独立重建各个枝节点的节点三维地图，并分别确定各个所述节点三维地图到全局地图坐标系的位姿信息，

根据所述位姿信息，将所述节点三维地图从节点地图坐标系变换到全局地图坐标系，并依据第四预设规则，拼接所述节点三维地图得到所述目标场景的三维地图；

在采用所述跨层式建图的情况下，三维地图重建算法基于所有第三枝节点下属的图像数据进行全局地图重建，得到所述目标场景的三维地图。

在其中一些实施例中，在采用所述增量式建图、所述拼接式建图中一种或两种结合重建目标场景的三维地图出错的情况下，所述方法还包括：

中断所述重建任务，确定所述重建任务的故障点，并修复所述故障点对应的建图数据；

获取所述重建任务在执行到所述故障点之前的合并结果，基于所述合并结果和修复后的建图数据，再次重启所述重建任务。

在其中一些实施例中，所述重建目标场景的三维地图完成之后，所述方法还包括：

在所述三维地图需要递补新枝节点的情况下，

根据待更新节点的建图数据与现有节点的建图数据的相关度，确定所述待更新节点在所述重建进程树中的挂载位置；

根据第二预设规则和第三预设规则，配置所述待更新节点与现有节点的关联方式及其建图方式，并通过所述关联方式定义关联信息；

通过三维地图重建算法，基于所述待更新枝节点的建图数据，执行所述目标场景的三维地图的递补任务。

在其中一些实施例中，所述重建目标场景的三维地图完成之后，所述方法还包括：

在所述三维地图需要删除现有枝节点的情况下，

根据人工交互信息确定待删除节点，在所述重建进程树中剔除所述待删除节点和所述待删除节点相关的建图数据及关联信息。

在其中一些实施例中，在所述图像数据为视频数据的情况下，所述方法还包括：

对所述视频数据执行冗余剔除得到图片数据，基于所述图片数据和所述重建进程树，重建所述目标场景的三维地图，其中，所述冗余剔除包括：

获取所述视频数据拍摄时摄像装置的运动速度，根据所述运动速度确定采样间隔；

在所述视频数据中，根据所述采样间隔进行周期采样，得到所述图片数据。

第二方面，本申请实施例提供了一种大规模场景地图的三维重建系统，所述系统包括：进程树构建模块和地图重建模块，其中，

所述进程树构建模块用于根据第一预设规则，将目标场景划分为多个子区域，并在所述子区域中配置多个拍摄路径，在所述拍摄路径中配置多个拍摄序列，其中，所述拍摄序列中包括运动路线信息和视角信息，以及

以所述目标场景为根节点、所述子区域为第一枝节点、所述拍摄路径为第二枝节点、所述拍摄序列为第三枝节点，构建所述目标场景的重建进程树；；

所述地图重建模块用于获取按照所述拍摄序列所采集的图像数据，基于所述图像数据和所述重建进程树，重建所述目标场景的三维地图。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的一种大规模场景地图的三维重建方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的一种大规模场景地图的三维重建方法。

相比于相关技术，本申请实施例提供的一种大规模场景地图的三维重建方法具有如下有益效果：

1.结合目标场景的具体情况选择合适的建图方式，例如，在场景较为复杂时选择增量式建图以减少或避免出错，在场景较为简单时选择跨层式建图以提升效率。

2.自由地定义重建任务中各组成数据的关联信息，相比较于相关技术中直接采用暴力匹配的方式定义组成数据的关联信息的方法，能够减少匹配关系的冗余和错误匹配，提升地图重建的速度且减少出错概率。

3.采用增量式建图或拼接式建图时，若建图过程中发生中断，在修复问题后，可以直接复用已合并的结果，而不用从头开始合并。

4.需要更新场景地图时，例如递补新的目标区域时，只需将待更新区域对应的数据定义为一个新的区域节点，并指定新节点与原有节点间的关联信息即可。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种大规模场景地图的三维重建方法的应用环境示意图；

图2是根据本申请实施例的一种大规模场景地图的三维重建方法的流程图；

图3是根据本申请实施例的一种目标场景的划分结果示意图；

图4是根据本申请实施例的一种重建进程树的示意图；

图5是根据本申请实施例的大规模场景地图的三维重建系统的结构框图；

图6是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请实施例提供的一种大规模场景地图的三维重建方法，可以应用在如图1所示的应用环境中，图1是根据本申请实施例的一种大规模场景地图的三维重建方法的应用环境示意图，如图1所示，终端10获取目标场景的图像数据，其可以是设置在目标场景的站点式装备，也可以是可移动的便携式装备。进一步的，服务器11中部署有三维地图重建算法，通过该三维地图重建算法，其可以根据终端10发送的图像数据重建出目标场景的三维地图，该三维地图可以被用于增强现实、数字孪生等平台，用于为其提供实施基础。需要说明的是，本实施例中的终端10可以是倾斜摄影装置、手持摄像机、云台摄像机和智能手机等，服务器11可以是由单独的服务器或者多个服务器组成的集群。

图2是根据本申请实施例的一种大规模场景地图的三维重建方法的流程图，如图2所示，该流程包括如下步骤：

S201，根据第一预设规则，将目标场景划分为多个子区域，并在子区域中配置多个拍摄路径，在拍摄路径中配置多个拍摄序列，其中，拍摄序列中包括运动路线信息和视角信息；

本实施例中，该第一预设规则由人工根据目标场景的实际情况制定，例如，在目标场景的俯视图中，根据建筑物形状、固定间隔距离等划分目标场景；根据区域复杂程度、固定间隔距离等配置拍摄路径和拍摄序列；

进一步的，在配置拍摄序列时，应标注拍摄场景图像时摄像装置的运动路线和摄像装置的视角，以便于获取全面且准确的现场图像，从而提升后续生成的场景地图的真实性。

S202，以目标场景为根节点、子区域为第一枝节点、拍摄路径为第二枝节点、拍摄序列为第三枝节点，构建所述目标场景的重建进程树；

在重建进程树中，除了顶层的场景节点，每个节点都有自己的父节点，即“从属关系”；除了底层的拍摄序列节点，其他层次上的地图节点都有自己的枝节点，即“包含关系”。根据从属关系和包含关系，每个节点都可以找到划分在本节点范围内的拍摄图像数据，在后续地图重建过程中，每个节点也可以找到自己重建出来的地图数据可以被哪些上层节点合并。

S203，获取按照拍摄序列所采集的图像数据，基于图像数据和重建进程树，重建所述目标场景的三维地图。

该图像数据可以由现场人员使用手持摄像装置获取；在拍摄该图像数据时，按照上述步骤S201中指示的运动路线以及视角，依次拍摄每个拍摄序列对应的图像数据。

需要说明的是，为了获取目标场景较为全面的图像数据，对于每条拍摄路径，需要在变更拍摄运动路线、摄像装置的拍摄视角或旋转角度的情况下，获取多组图像数据，每组图像数据即对应一个拍摄序列。

进一步的，在上述图像数据是视频数据时，由于一组视频数据中存在大量接近或重复的图像，若直接使用该视频数据进行场景地图重建将减缓地图重建速率。因此，需要进行冗余剔除以获取有效的，需要被加入建图过程的图像数据，其中，可以通过人工筛选的方式，也可以采用自动采样的方式进行冗余剔除。

通过三维地图重建算法执行上述重建任务。可选的，通过SFM(Structure FromMotion，运动恢复结构)算法基于上述重建进程树和图像数据重建目标场景的三维地图。该SFM算法能够基于两个场景或多个场景自动恢复场景结构，其是一种能够实现相机追踪与运动匹配的算法。

通过上述步骤S201至S204，相比较于相关技术中直接基于激光数据和RGB数据重建大规模场景三维地图的方法，本申请实施例通过将一个大规模的目标场景划分为多个层级的分支节点，并进一步的基于分支节点构建重建进程树。

在重建目标场景三维地图的过程中，由于节点之间的包含关系和从属关系，可以进行精细化的分级管理，既能够自由的指定各分支节点的建图方式以及关联信息；当出现建图错误等异常问题时，也可以在修复异常问题后复用现有的合并结果而不用再重新开始；另外，当需要更新某个子区域时，只需在进程树中定义新的地图节点并定义其关联关系即可，不会影响现有其他区域。通过本实施例提供的大规模场景地图的三维重建方法，极大的提升了三维地图的重建效率和可靠性。

结合一个具体的应用场景对上述步骤S201中表述的场景划分进行举例说明，图3是根据本申请实施例的一种目标场景的划分结果示意图，如图3所示，对某大型商场的地下车库进行三维地图的重建，基于该车库的平面图进行划分包括如下步骤：

第一步，将整个车库场景作为最大的地图节点，可选的，将该层地图节点称为“场景层”，其中，该“场景层”可以用“parking”命名；

第二步，如图3中虚线所示，将该车库场景划分为三个子区域，每个子区域作为一个地图节点，并将该层的地图节点称为“地点层”，其中，各个子区域可以按照“C1、C2、C3……Cn”的方式命名；

第三步，在每个子区域中，规划多条拍摄路径，并在每条拍摄路径中规划多个拍摄序列。如图3所示，阴影区域为拍摄路径，在拍摄路径中，由多个小圆圈连成的线段为拍摄序列；可选的，通过小圆圈中扇形区域的指向来提示拍摄图像时相机的视角。该拍摄路径对应一个地图节点，将该层称为“路线层”，各拍摄路径可以按照“R1、R2、R3……Rn”的方式命名；该拍摄序列对应一个地图节点，将该层称为“序列层”，各拍摄序列可以按照“seq1、seq2、seq3……seqn”的方式命名；

第四步，获取人员根据每条拍摄序列采集的多组视频数据，对这些视频数据进行冗余剔除后得到图像数据。每组图像数据对应一个序列节点，每一个序列节点中包含一组图像数据。

目标场景经划分之后得到的各级地图节点，通过树形图的形式表征；例如，上述地下停车场的划分结果可以用如下图4表示，图4是根据本申请实施例的一种重建进程树的示意图，如图4所示，最顶层的根节点为场景节点(parking)，从上至下依次是：第一枝节点对应的子区域、第二枝节点对应的拍摄路径、第三枝节点对应的拍摄序列。

在其中一些实施例中，在三维建图方法中，数据间的关联关系是一项关键信息，在获得各数据间的关联关系之后，才能执行重建任务；

考虑到在建图过程中，直接使用暴力匹配导致的匹配关系冗余、匹配错误等问题，本申请实施例可以依据重建进程树，对建图数据分级化、精准化地配置关联方式，包括：

根据第二预设规则，配置第三枝节点下属的图像数据的关联方式，以及配置各个枝节点之间的关联方式，并通过关联方式定义关联信息，其中，关联方式包括：暴力匹配、序列匹配、空间匹配、人工匹配中一种或多种结合。

暴力匹配：即对两个数据集合中，各个对象进行一一配对。序列匹配：即一组图像数据中，每张图片只跟前后若干个图片配对。空间匹配：即一组图像数据中，每张图片只跟特定距离范围(如摄像装置光心的距离)内的图像配对。人工匹配：即通过人工输出交互指令指定配对关系或禁止配对关系，当某些数据之间产生关联可能导致建图出错时，通过该人工匹配方式可以将这些数据指定为不相关，从而避免因匹配关系错误导致的建图出错。

本实施例中，该第二预设规则由人工根据目标场景的实际情况制定，基于各个地图节点，可以自定义的设置各层级地图节点之间的关联方式以及各地图节点内部数据的匹配方式。

可选的，一个配置关联方式及生成场景关联信息的举例如下：

对于第三枝节下属的图像数据，结合序列匹配方式和空间匹配方式对其进行匹配；

对于第二枝节点对应的拍摄路径，依据人工匹配方式指定路线间的关联信息，将两个路线匹配得到路线对；进一步的，按照暴力匹配方式生成路线对中各图像数据的关联关系；最后，再次按照暴力匹配方式生成图像数据中各张图片数据的关联关系。

在其中一些实施例中，本申请实施例通过该重建进程树，还可以对于每个枝节点，设置多种建图方式，可根据目标现场情况灵活选择。具体的，依据第三预设规则，配置各个节点的建图方式，其中，该建图方式包括：跨层式建图、增量式建图、拼接式建图中一种或多种结合。需要说明的是，该第三预设规则同样为人工根据目标场景的实际情况制定。

对于一些规模较大、内容复杂或容易出错的场景，可以选用增量式建图。通过SFM算法依据第四预设规则，依次合并各个枝节点的建图数据(包括图像数据和关联信息)得到目标场景的三维地图。

需要说明的是，该第四预设规则用于指示地图重建过程中算法的遍历方式。在本实施例中，该第四预设规则不限于具体的某一项规则，其可以是：后序遍历原则、层次遍历原则和人工指定的遍历规则中的一种或多种结合。

结合一个具体的场景对增量式建图进行举例说明，例如，重建上述实施例中C6_R1节点的三维地图包括如下步骤：

第一步，使用SFM算法对seq1节点进行三维重建，得到seq1节点的三维地图结果，将该三维地图结果作为初始合并结果，即第0次合并；

第二步，以第0次合并的结果和当前待合并枝节点seq2的建图数据为输入，再次通过SFM算法进行三维重建，即得到第1次合并结果；

第三步，如C6_R1中还包含其他枝节点，则依次遍历其他枝节点，按照上述第二步，继续合并其他枝节点，直至所有枝节点都被合并进来，得到C6_R1节点的三维地图。

在上述实施例的基础上，如果要完全使用增量式建图方法得到整个目标场景的三维地图，则按照后序遍历原则，依次合并根节点之下的所有枝节点即可。例如，依照以下顺序递归地完成某个场景的增量式建图过程：Seq1、Seq2、C6_R1、...、Seq5、Seq6、C6_R3、C6、...、C7_R2、C7、...、C8_R3、C8、Parking。

对于一些规模不大、内容简单或建图风险较小的目标场景，可以直接选用跨层式建图，即直接汇集场景节点下属的所有图像数据，进行节点地图重建。例如，直接重建场景节点Parking的三维地图时，可以根据包含关系，获取Parking节点下的所有图像数据(例如，seq1-seq16)，然后将这些数据作为三维地图重建算法的输入，得到地下停车场整个场景节点的三维地图。

拼接式建图即单独、完整的重建枝节点的三维地图，然后将各个枝节点的三维地图拼接到同一个全局坐标系下。在采用拼接式建图的情况下，SFM算法独立重建各个枝节点的节点三维地图，并分别确定节点三维地图到全局地图坐标系的位姿信息；

进一步的，根据位姿信息，将节点三维地图从节点地图坐标系变换到全局地图坐标系，并依据第四预设规则，依次拼接节点三维地图得到目标场景的三维地图。

结合一个具体的场景对拼接式建图进行举例说明，例如，重建上述实施例中C6_R1节点的三维地图包括如下步骤：

第一步，针对第三枝节点Seq1和Seq2，分别使用SFM算法得到Seq1和Seq2的三维地图；

第二步，分别确定Seq1地图和Seq2地图到全局地图坐标系的6DOF位姿；

第三步，将Seq1地图和Seq2地图分别使用6DOF位姿，变换到全局统一坐标系得到C6_R1节点的三维地图。

需要说明的是，本实施例中的建图方式不限于具体的某一种，在实际建图过程中，可以灵活地对上述几种建图方式进行组合，来完成特定节点的地图三维重建。

在其中一些实施中，在采用增量式建图、拼接式建图中一种或两种结合执行重建任务且出现错误的情况下，需中断重建任务，并确定重建任务的故障点，修复故障点对应的建图数据；

进一步的，获取重建任务在执行到故障点之前的合并结果，基于合并结果和修复后的建图数据，再次重启重建任务。

需要说明的是，对于每一种建图方式，如果中间过程出错，都可以及时中断，然后排查和修复相应问题。但是，不同建图方式的结果可复用性不同，例如跨层式建图，如果发生中断，重启建图时基本没有可复用的信息。

结合一个具体的场景对建图中断之后的修复及重启流程进行举例说明，例如，在以增量式建图方式重建Parking节点地图时，可能存在如下步骤：

C6节点重建成功，并作为初始合并结果，以初始合并结果和C7的建图数据为输入，成功地完成了C7的合并建图，该结果作为首次合并结果；

以首次合并结果和C8的建图数据为输入，在合并C8的过程中发生错误，建图过程中断；

检查上述结果，发现原因是C8自身的建图数据有误，针对C8的建图数据错误进行修正；

以首次合并结果和修复后的C8建图数据为输入，再次重启增量式建图过程，合并C8的建图数据并重建成功；

建图结束，得到Parking节点的三维地图。

本实施例中，在某些建图方式下，由于本节点的建图结果是由枝节点的结果逐步合并出来的，若建图过程中发生中断，修复问题后，可以直接复用已合并的结果，而不用从头开始合并，从而提升了抗干扰能力和建图效率。

在其中一些实施例中，基于本申请实施例提供的重建进程树，能够在最大化利用现有地图结果的情况下，进行三维地图的局部更新，包括：递补、删除和替换。

在需要递补新枝节点时，根据待更新节点的建图数据与现有节点的建图数据的相关度，确定待更新节点在重建进程树中的挂载位置。其次，配置待更新节与现有节点的关联方式以及其建图方式，并通过关联方式定义关联信息。最后，通过SFM算法基于待更新枝节点的建图数据，执行目标场景的三维地图的递补任务。

在需要删除某个现有枝节点时，根据人工交互信息确定待删除节点，在重建进程树中剔除待删除节点，及待删除节点相关的建图数据和关联信息即可。

在需要替换某个现有枝节点是，即在删除该枝节点的基础上，采用上述实施例中递补新枝节点的方法即可。

在其中一些实施例中，在采集的现场图像数据是视频数据时，需对其进行冗余剔除。

可以通过周期采样的方式对视频数据进行冗余剔除以得到图像数据，例如：获取视频数据拍摄时摄像装置的运动速度，根据运动速度确定采样间隔；在视频数据中，根据采样间隔进行周期采样，得到图像数据。本实施例中，可以通过如下公式1确定采样间隔：

公式1：

其中，T是采样间隔，f是摄像装置每秒的拍摄帧数，m是摄像装置每运动单位距离期望保留的帧数，v是拍摄时摄像装置的平均移动速度。可选的，f、m和v的单位分别是frames/s、frames/m和m/s。

本实施例还提供了一种大规模场景地图的三维重建系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能被构想的。

图5是根据本申请实施例的大规模场景地图的三维重建系统的结构框图，如图5所示，该系统包括：进程树构建模块51和地图重建模块52，其中，

进程树构建模块51用于根据第一预设规则，将目标场景划分为多个子区域，并在子区域中配置多个拍摄路径，在拍摄路径中配置多个拍摄序列，其中，拍摄序列中包括运动路线信息和视角信息，以及

以目标场景为根节点、子区域为第一枝节点、拍摄路径为第二枝节点、拍摄序列为第三枝节点，构建目标场景的重建进程树；；

地图重建模块52用于获取按照拍摄序列所采集的图像数据，基于图像数据和重建进程树，重建目标场景的三维地图。

需要说明的是，在本实施例中，地图重建算法并非直接基于各个建图数据进行地图重建，在这之前，还需要执行特征提取和特征匹配等步骤。这些步骤可以在地图重建算法中执行，也可以在外部环境中执行，由外部环境提取特征和匹配结束之后，再将该枝节点的图像信息、特征信息和匹配信息作为建图数据参与地图重建任务。

另外，结合上述实施例中的一种大规模场景地图的三维重建方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种大规模场景地图的三维重建方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种大规模场景地图的三维重建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，图6是根据本申请实施例的电子设备的内部结构示意图，如图6所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图6所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种大规模场景地图的三维重建方法，数据库用于存储数据。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种大规模场景地图的三维重建方法，其特征在于，所述方法包括：

根据第一预设规则，将目标场景划分为多个子区域，并在所述子区域中配置多个拍摄路径，在所述拍摄路径中配置多个拍摄序列，其中，所述拍摄序列中包括运动路线信息和视角信息；

以所述目标场景为根节点、所述子区域为第一枝节点、所述拍摄路径为第二枝节点、所述拍摄序列为第三枝节点，构建所述目标场景的重建进程树；

获取按照所述拍摄序列所采集的图像数据，基于所述图像数据和所述重建进程树，重建所述目标场景的三维地图。

2.根据权利要求1所述的方法，其特征在于，所述基于所述图像数据和所述重建进程树，重建所述目标场景的三维地图包括：

根据第二预设规则，配置所述第三枝节点内图像数据的关联方式和各个枝节点之间的关联方式，并根据所述关联方式定义关联信息，其中，所述关联方式包括：暴力匹配、序列匹配、空间匹配、人工匹配中一种或多种结合；

依据第三预设规则，配置各个枝节点的建图方式，其中，所述建图方式包括：跨层式建图、增量式建图、拼接式建图中一种或多种结合；

依据所述关联信息和所述建图方式，重建所述目标场景的三维地图。

3.根据权利要求2所述的方法，其特征在于，所述基于所述图像数据和所述重建进程树，重建所述目标场景的三维地图包括：

在采用所述增量式建图的情况下，三维地图重建算法依据第四预设规则，合并各个枝节点的建图数据得到所述目标场景的三维地图，其中，所述建图数据包括所述图像数据和所述关联信息，所述第四预设规则包括：后序遍历原则、层次遍历原则和人工遍历规则的一种或多种结合；

在采用所述拼接式建图的情况下，三维地图重建算法独立重建各个枝节点的节点三维地图，并分别确定各个所述节点三维地图到全局地图坐标系的位姿信息，

根据所述位姿信息，将所述节点三维地图从节点地图坐标系变换到全局地图坐标系，并依据第四预设规则，拼接所述节点三维地图得到所述目标场景的三维地图；

在采用所述跨层式建图的情况下，三维地图重建算法基于所有第三枝节点下属的图像数据进行全局地图重建，得到所述目标场景的三维地图。

4.根据权利要求2所述的方法，其特征在于，在采用所述增量式建图、所述拼接式建图中一种或两种结合重建目标场景的三维地图出错的情况下，所述方法还包括：

中断所述重建任务，确定所述重建任务的故障点，并修复所述故障点对应的建图数据；

获取所述重建任务在执行到所述故障点之前的合并结果，基于所述合并结果和修复后的建图数据，再次重启所述重建任务。

5.根据权利要求3所述的方法，其特征在于，所述重建目标场景的三维地图完成之后，所述方法还包括：

在所述三维地图需要递补新枝节点的情况下，

根据待更新节点的建图数据与现有节点的建图数据的相关度，确定所述待更新节点在所述重建进程树中的挂载位置；

根据第二预设规则和第三预设规则，配置所述待更新节点与现有节点的关联方式及其建图方式，并通过所述关联方式定义关联信息；

通过三维地图重建算法，基于所述待更新枝节点的建图数据，执行所述三维地图的递补任务。

6.根据权利要求5所述的方法，其特征在于，所述重建目标场景的三维地图完成之后，所述方法还包括：

在所述三维地图需要删除现有枝节点的情况下，

根据人工交互信息确定待删除节点，在所述重建进程树中剔除所述待删除节点和所述待删除节点相关的建图数据及关联信息。

7.根据权利要求1所述的方法，其特征在于，在所述图像数据为视频数据的情况下，所述方法还包括：

对所述视频数据执行冗余剔除得到图片数据，基于所述图片数据和所述重建进程树，重建所述目标场景的三维地图，其中，所述冗余剔除包括：

获取所述视频数据拍摄时摄像装置的运动速度，根据所述运动速度确定采样间隔；

在所述视频数据中，根据所述采样间隔进行周期采样，得到所述图片数据。

8.一种大规模场景地图的三维重建系统，其特征在于，所述系统包括：进程树构建模块和地图重建模块，其中，

所述进程树构建模块用于根据第一预设规则，将目标场景划分为多个子区域，并在所述子区域中配置多个拍摄路径，在所述拍摄路径中配置多个拍摄序列，其中，所述拍摄序列中包括运动路线信息和视角信息，以及

以所述目标场景为根节点、所述子区域为第一枝节点、所述拍摄路径为第二枝节点、所述拍摄序列为第三枝节点，构建所述目标场景的重建进程树；

所述地图重建模块用于获取按照所述拍摄序列所采集的图像数据，基于所述图像数据和所述重建进程树，重建所述目标场景的三维地图。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的一种大规模场景地图的三维重建方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的一种大规模场景地图的三维重建方法。

Images