CN116310237A - 在线三维地图的构建方法、系统、电子设备和存储介质 - Google Patents

在线三维地图的构建方法、系统、电子设备和存储介质 Download PDF

Info

Publication number
CN116310237A
CN116310237A CN202310215150.3A CN202310215150A CN116310237A CN 116310237 A CN116310237 A CN 116310237A CN 202310215150 A CN202310215150 A CN 202310215150A CN 116310237 A CN116310237 A CN 116310237A
Authority
CN
China
Prior art keywords
map
initial
view angle
shooting
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310215150.3A
Other languages
English (en)
Inventor
李泽学
张双力
丛林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixian Advanced Technology Co ltd
Original Assignee
Hangzhou Yixian Advanced Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yixian Advanced Technology Co ltd filed Critical Hangzhou Yixian Advanced Technology Co ltd
Priority to CN202310215150.3A priority Critical patent/CN116310237A/zh
Publication of CN116310237A publication Critical patent/CN116310237A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种在线三维地图的构建方法、系统、电子设备和存储介质，通过自动规划路径、实时进行地图重建、自动对地图的进行清理、实时将地图和采集数据呈现给用户，从而不需要投入过多的人力来对路径进行规划；并且有系统的指导，采集人员可以在经验较少的情况下工作，不需要投入过多的成本来培训数据采集人员；最后，通过系统对地图质量进行评估和实时将数据呈现给采集人员，能及时发现重建地图所存在的缺陷，并当场重新采集数据，不需要过后重返现场来补采。本发明实施例提供的在线三维地图的构建方法具备地图构建成本低、采集难度低、效率高等优势。

Description

在线三维地图的构建方法、系统、电子设备和存储介质
技术领域
本发明涉及三维地图技术领域，特别是涉及在线三维地图的构建方法、系统、电子设备和存储介质。
背景技术
增强现实(AR)技术作为元宇宙的重要入口之一，在学术和产业界备受关注，并跟随越来越多的落地应用，逐步深入到更多行业和应用场景，如工业AR、文旅AR、教育AR等等。在AR应用所依赖的各项技术中，现实场景的三维地图构建是最基础、最关键的环节。具体来说，AR应用一般都需要知道场景的三维几何结构，从而确定虚拟内容如何放置，或确定虚实间的遮挡关系；同时也需要知道场景中的数字化特征，以便进行AR设备的自动定位。
在各种场景三维重建的技术路线中(激光、RGBD、视觉)，基于纯视觉图片的三维重建方法是成本最低，使用最广泛的一种方式，即只需要使用RGB相机对场景进行图像数据采集，再将建图数据输入开源或商业化视觉建图软件，即可完成场景的几何与纹理重建。
虽然纯视觉建图方案在采集设备和采集成本上门槛不高，但有些基本原则和需求要在数据采集过程中必须得到保证和实现，才能成功地重建出符合要求的场景三维地图。例如，采集的场景图像之间能够形成连通的视觉关联，若不连通，只能重建出割裂的场景；采集时图像间不能存在较多的纯旋转运动，也不能采集太多连续的弱纹理区域；场景中某些地方为了精细体验，需要重点采集，让更多视角覆盖该区域等。
为了保证这些采集要求能够被落实，往往需要很多专业人士进行建图数据采集，或者需要投入较多人力来详细规划采集路线，若人员不足，还需要临时培训数据采集人员。最糟糕的是，当根据采集数据重建出地图后，可能会实际发现某些地方的采集并不能满足要求，此时需要再次回到现场补采，造成很大的人力浪费，也大幅拉低了地图构建和交付效率，增加了人力、时间和设备成本。
发明内容
本发明实施例提供了一种在线三维地图的构建方法、系统、电子设备和存储介质，以至少解决相关技术中三维地图构建效率低，人力、时间和设备成本高的问题。
第一方面，本发明实施例提供了一种在线三维地图的构建方法，其特征在于，所述方法包括：
获取目标场景，并根据实际需求加载所述目标场景的历史地图，或对所述目标场景进行初始化得到初始地图；
对所述目标场景进行拍摄路径规划，得到初始规划路径；
根据所述初始规划路径对所述目标场景进行数据采集，得到所述目标场景的图像数据；在每获取一帧或多帧所述图像数据后，根据所述图像数据对所述历史地图或初始化地图进行更新得到当前时刻的地图，并计算实时运动路径，直至接收到停止拍摄指令后输出初始三维地图；
获取地图数据清理原则，根据所述地图数据清理原则对所述初始三维地图进行处理，得到所述目标场景的最终三维地图；
将所述初始规划路径、当前时刻的地图、实时运动路径、初始三维地图和最终三维地图中的一个或者多个，实时呈现给采集者。
在其中一些实施例中，在加载所述目标场景的历史地图后对拍摄设备进行重定位，包括：
获取所述历史地图的第一地图信息和所述拍摄设备采集的第一图像，所述第一地图信息包括构建所述历史地图的所有候选历史图像和历史全局特征库；
提取所述第一图像的第一全局特征和第一局部特征；
获取所述历史地图的历史全局特征库，并在所述历史全局特征库中查找与所述第一全局特征对应的多个候选历史图像；
将所述第一局部特征与所有的候选历史图像的局部特征进行匹配，得到所述第一局部特征在所述历史地图中对应的3D地图点；
根据所述第一局部特征和所述3D地图点得到所述拍摄设备在所述历史地图中的初始位姿信息；
获取预设时间，若在预设时间内接收到所述初始位姿信息，则返回重定位成功信号；若在预设时间内未接收到所述初始位姿信息，则返回重定位失败信号，并对所述目标场景进行初始化得到初始地图。
在其中一些实施例中，所述对所述目标场景进行初始化得到初始地图，包括：
接收多个最新采集的图像帧，其中，所述图像帧的数量不超过预设滑窗长度；
提取每一所述图像帧的图像特征信息，将最新获取的图像帧与滑窗内的所有帧组成多个匹配对，对每一所述匹配对进行特征匹配和二视图几何计算，得到每一匹配对的相对平移参数、相对旋转参数和置信度参数；
根据每一所述匹配对的置信度参数筛选出最优匹配对，根据所述最优匹配对中两个图像帧的图像特征信息、相对平移参数和相对旋转参数，通过执行三角化生成多个初始3D点；
根据所述最优匹配对中两个图像帧的图像特征信息和多个所述初始3D点构成所述初始地图。
在其中一些实施例中，所述对所述目标场景进行拍摄路径规划，得到初始规划路径：
获取当前地图的几何信息、视角覆盖信息和视角覆盖要求；
通过路径规划算法对所述几何信息、视角覆盖信息和视角覆盖要求进行处理，得到拍摄设备所有拍摄点的拍摄视角；所述拍摄视角包括位置和朝向；
根据所述拍摄视角生成所述初始规划路径。
在其中一些实施例中，所述拍摄路径规划包括静态规划和动态规划；其中，
当进行静态规划时，所述当前地图的几何信息是指历史地图的几何信息，并在拍摄前生成所有的拍摄视角，所述初始规划路径固定；或者，
当进行动态规划时，所述当前地图的几何信息是指每一次更新后的地图的几何信息，并在拍摄过程中新增拍摄视角，所述初始规划路径不断更新。
在其中一些实施例中，所述通过路径规划算法对所述几何信息、视角覆盖信息和视角覆盖要求进行处理包括：
新建目标视角集合和待拍摄视角集合，并进行初始化；
根据所述视角覆盖信息获取所述目标场景的第一视角集合，并计算所述第一视角集合中的每一视角与所述视角覆盖要求中要求的视角的偏差值；若所述偏差值不在第一预设阈值以内，则将该视角加入到目标视角集合中，更新所述目标视角集合；
遍历更新后的目标视角集合中的每一视角，计算该视角与相邻视角之间的共同观测比例是否大于第二预设阈值；
若判断结果为否，则在该视角和相邻视角之间增加一个或者多个新视角，并将所述新视角更新到所述目标视角集合中，直到最新的目标视角集合中的所有视角与相邻视角之间的共同观测比大于所述第二预设阈值；
将最终的目标视角集合中新增加的视角更新到所述待拍摄视角集合中。
在其中一些实施例中，所述根据所述图像数据和位姿信息对所述历史地图或初始化地图进行更新得到当前时刻的地图，并计算实时运动路径，包括：
步骤A，获取拍摄设备采集到的最新图像数据，根据所述最新图像数据计算所述拍摄设备在当前地图中的实时位姿，记录为第一位姿信息，并根据所述第一位姿信息来更新所述拍摄设备的实际运动路径；
步骤B，根据所述最新图像数据和第一位姿信息对当前地图中的各个要素进行扩充和更新；
步骤C，对扩充和更新后的地图进行质检，得到最新地图的质量状态信息；
步骤D，计算所述拍摄设备的实际运动路径和所述初始规划路径之间的轨迹偏差；
步骤E，对所述质量状态信息和所述轨迹偏差进行判断，在符合预设要求的情况下，向所述拍摄设备发送停止拍摄指令。
在其中一些实施例中，所述计算所述拍摄设备在当前地图中的实时位姿，包括：
获取最新的一帧图像数据，提取该帧图像数据的2D特征点；
将所述2D特征点与当前地图进行匹配处理，获取所述2D特征点在当前地图中对应的3D点，并组成2D点-3D点匹配对；
根据所述2D点-3D点匹配对计算得到拍摄该帧图像数据时的位姿。
在其中一些实施例中，根据所述最新图像数据和第一位姿信息对当前地图中的各个要素进行扩充和更新，包括：
判断每一所述最新图像数据的2D特征点是否有对应的3D点；若判断结果为是，则执行局部优化操作；若判断结果为否，则先通过三角化算法生成与所述2D特征点对应的3D点，并将该3D点更新到当前地图中，再执行局部优化操作；
获取所述最新的一帧图像数据，提取该帧图像数据的全局特征信息，并将所述全局特征信息补充到当前地图的全局特征库中；
分别累计当前地图新增的图像数据的帧数或3D点数；
获取第三预设阈值，在所述帧数或3D点数超过第三预设阈值时，执行全局优化操作。
在其中一些实施例中，所述质检包括：
计算每一所述3D点在其可见视角上的平均重投影误差；
获取每一所述3D点的当前可见视角，将所述当前可见视角与所述视角覆盖要求进行对比，计算对应3D点的视角完成率；
根据所述平均重投影误差和视角完成率来获取当前地图的质量状态信息。
在其中一些实施例中，所述根据所述地图数据清理原则对所述初始三维地图进行处理，包括：
剔除所述初始三维地图中不符合所述目标场景的3D点；
筛选出所述初始三维地图中重复的视角，并将重复的视角及其关联的数据进行删除；
删除所述初始三维地图中的无效视角及与所述无效视角关联的图像数据。
第二方面，本发明实施例提供了一种在线三维地图的构建系统，所述构建系统用于执行以上任一项实施例所述的构建方法；所述构建系统包括初始化模块、路径规划模块、地图重建模块、地图清理模块和AR展示模块；其中，
所述初始化模块用于获取目标场景，并根据实际需求加载所述目标场景的历史地图，或对所述目标场景进行初始化得到初始地图；
所述路径规划模块用于对所述目标场景进行拍摄路径规划，得到初始规划路径；
所述地图重建模块用于根据所述初始规划路径对所述目标场景进行数据采集，得到所述目标场景的图像数据；在每获取一帧或多帧所述图像数据后，根据所述图像数据对所述历史地图或初始化地图进行更新得到当前时刻的地图，并计算实时运动路径，直至接收到停止拍摄指令后输出初始三维地图；
所述地图清理模块用于获取地图数据清理原则，根据所述地图数据清理原则对所述初始三维地图进行处理，得到所述目标场景的最终三维地图；
所述AR展示模块用于将所述初始规划路径、当前时刻的地图、实时运动路径、初始三维地图和最终三维地图中的一个或者多个，实时呈现给采集者。
在其中一些实施例中，所述构建系统还包括重定位模块，其中，
所述重定位模块用于获取所述历史地图的第一地图信息和所述拍摄设备采集的第一图像，所述第一地图信息包括构建所述历史地图的所有候选历史图像和历史全局特征库；提取所述第一图像的第一全局特征和第一局部特征；获取所述历史地图的历史全局特征库，并在所述历史全局特征库中查找与所述第一全局特征对应的多个候选历史图像；将所述第一局部特征与所有的候选历史图像的局部特征进行匹配，得到所述第一局部特征在所述历史地图中对应的3D地图点；根据所述第一局部特征和所述3D地图点得到所述拍摄设备在所述历史地图中的初始位姿信息；获取预设时间，若在预设时间内接收到所述初始位姿信息，则返回重定位成功信号；若在预设时间内未接收到所述初始位姿信息，则返回重定位失败信号，并对所述目标场景进行初始化得到初始地图。
在其中一些实施例中，所述构建系统还包括云端交互模块；
所述AR展示模块用于将所述初始规划路径、当前时刻的地图、实时运动路径、初始三维地图或最终三维地图，以虚拟物体的形式叠加到所述目标场景中；
所述云端交互模块用于将所有数据上传到云端进行保存和离线优化。
第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行以上任一项实施例所述的在线三维地图的构建方法。
第四方面，本发明实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行以上任一项实施例所述的在线三维地图的构建方法。
相比于相关技术，本发明提供的在线三维地图的构建方法、系统、电子设备和存储介质，通过自动规划路径、实时进行地图重建、自动对地图的进行清理、实时将地图和采集数据呈现给用户，从而不需要投入过多的人力来对路径进行规划；并且有系统的指导，采集人员可以在经验较少的情况下工作，不需要投入过多的成本来培训数据采集人员；最后，通过系统对地图质量进行评估和实时将数据呈现给采集人员，能及时发现重建地图所存在的缺陷，并当场重新采集数据，不需要过后重返现场来补采。本发明实施例提供的在线三维地图的构建方法具备地图构建成本低、采集难度低、效率高等优势。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明一实施例的在线三维地图的构建方法流程图；
图2是本发明一实施例的构建方法和地图重建的流程图；
图3是根据本发明实施例的电子设备的内部结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本发明公开的内容相关的本领域的普通技术人员而言，在本发明揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本发明公开的内容不充分。
在本发明中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本发明所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本发明所涉及的技术术语或者科学术语应当为本发明所属技术领域内具有一般技能的人士所理解的通常意义。本发明所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本发明所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本发明所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本发明所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本发明所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本发明实施例提供一种在线三维地图的构建方法，本实施例提供的方法一般运行在手持拍摄设备上的、具有实时反馈功能的在线系统中，该在线系统可以安装在现有的任意一种拍摄设备上，为了节省成本，一般运用在手机、ipad等常见的轻量终端。
本发明实施例提供的方法的具体流程参考图1，该方法包括以下步骤：
步骤S1，获取目标场景，并根据实际需求加载所述目标场景的历史地图，或对所述目标场景进行初始化得到初始地图。
具体地，采集者到达目标场景后，可以根据需求选择是否加载该目标场景的历史地图。历史地图可以是以前对该目标场景进行过构建后的一份地图数据存档，可能包含了该场景的完整内容，本次构建是为了补充和更新，也可能只包含了目标场景的部分区域，本次构建是为了扩充地图覆盖区域，历史地图可能直接存储在本地终端内，也可能位于云端，需要传输到本地。接下来，系统会根据历史地图，对设备当前姿态进行重定位；当始终无法重定位、或不存在历史地图、或历史地图不能使用时，则需要直接根据当前的目标场景初始化一份新的地图，即初始地图。后续的地图重建工作就在历史地图或初始地图上进行，随后，开始进入路径规划环节。
步骤S2，对所述目标场景进行拍摄路径规划，得到初始规划路径，具体地，本发明实施例将路径规划分为静态规划和动态规划。当存在历史地图时，可以选择静态规划或动态规划；当不存在历史地图时，只能选择动态规划。其中，静态规划可以根据历史地图的地图信息和采集者设定的采集要求，一次性生成本次拍摄的目标路径(即初始规划路径)，初始规划路径由多个拍摄点的拍摄视角构成，拍摄视角包括拍摄相机的位置和朝向；动态规划可以跟随整个拍摄过程，根据最新的地图信息和采集要求，不断更新初始规划路径，引导采集者下一步如何采集。
跟随着规划的采集路径(初始规划路径)，用户可以进行持续的拍摄，且实际拍摄路径需要尽力贴合规划的路径。
步骤S3，根据所述初始规划路径对所述目标场景进行数据采集，得到所述目标场景的图像数据；在每获取一帧或多帧所述图像数据后，根据所述图像数据对所述历史地图或初始化地图进行更新得到当前时刻的地图，并计算实时运动路径，直至接收到停止拍摄指令后输出初始三维地图。
具体地，在地图重建过程中，系统不断获取拍摄的数据，并不断执行以下过程，直到用户选择结束当前拍摄进程，具体参考图2，详细步骤如下：
步骤A，获取所述拍摄设备采集到的最新图像数据，根据最新图像数据来计算所述拍摄设备在当前地图中的实时位姿，记录为第一位姿信息，并根据所述第一位姿信息来更新所述拍摄设备的实际运动路径。若当前拍摄设备的位姿计算失败，需要设备不断回溯到之前的拍摄路径，直到位姿能够重新计算成功；
步骤B，根据所述最新图像数据和第一位姿信息对当前地图中的各个要素进行扩充和更新；
步骤C，对扩充和更新后的地图进行质检，得到最新地图的质量状态信息，质量状态信息可以反馈给采集者，采集者根据质量状态信息能够看到当前地图的质量；
步骤D，计算所述拍摄设备的实际运动路径和所述初始规划路径之间的轨迹偏差；
步骤E，对所述质量状态信息和所述轨迹偏差进行判断，在符合预设要求的情况下，向所述拍摄设备发送停止拍摄指令；否则，根据用户的需求和产品的设计情况来确定后续操作。其中，系统或采集者可以根据质量状态信息和所述轨迹偏差对地图质量和采集质量进行实时评估，从而判断地图质量是否符合要求，或判断地图是否重建完成。
步骤S4，获取地图数据清理原则，根据所述地图数据清理原则对所述初始三维地图进行处理，得到所述目标场景的最终三维地图。具体地，在本轮地图重建过程结束后，系统会进行地图数据的清理，目的是删除重复的数据(比如某个视角下重复拍摄了很多遍)和过期的数据(比如某些区域的环境发生较大改变，相应的历史地图要素已经完全无法使用了)。
在完成对初始三维地图的数据清理后，系统可以询问采集者是否结束数据的采集，若采集者反馈结果为是，则将本次采集和生成的所有数据上传值云端；若采集者反馈的结果为否，则再次规划采集路径进行图像数据的采集，直至采集者结束拍摄。
为了更好的评估地图质量和采集质量，并避免采集采集到无效的数据，在上述步骤S1-S4的任一步骤中，本发明实施例提供的方法都可以实时将所述初始规划路径、当前时刻的地图、实时运动路径、初始三维地图、最终三维地图、地图质检结果或轨迹检验结果等信息呈现给采集者，并接收采集者下发的指令。即，在地图重建过程中，不断更新的地图要素(如三维网格、点云等)、拍摄路径(规划的和实际的)、地图质量指标等信息，都会送入AR展示模块，AR展示模块通过渲染，在设备当前屏幕中实时呈现给采集者。
在本实施例中，以上信息和数据都需要实时呈现给用户，但是呈现方式可以不限定，比如可以将实际轨迹的颜色按照轨迹偏差从大到小的原则，从红色渐变到蓝色；对于规划的路径，已经被满足的的显示成灰色，尚未被满足的显示为绿色；对于地图点来说，已满足要求的显示为白色，未满足要求的显示为黄色。
本实施例提供的方法相对于现有技术，本发明具备以下功能：
其一，实时地图重建功能，可以基于一份历史地图或初始地图，根据实时采集的拍摄数据，实时计算各帧的相机位姿，并实时更新当前地图，并将地图信息和采集信息等数据呈现给用户，从而实时反馈当前地图结果和拍摄情况；
其二，自动路径规划功能，可以基于当前已有的地图模型，面向建图要求，生成拍摄轨迹，并能实时计算实际拍摄轨迹与规划轨迹之间的偏差，实时提示和引导用户回归正确拍摄轨迹；
其三，地图数据清理功能，可以自动删除地图中的冗余要素和过期要素，保证地图数据的适量规模和数据有效性；
其四，AR展示功能，可以将模型效果、规划轨迹和实时轨迹以AR的形式呈现于设备画面上，让用户在当前场景下，直观地了解当前的地图构建情况和拍摄情况。
综合以上四个功能，本实施例提供的地图构建方法能够让采集者在采集时能够实时看到当前的地图状态，能够看到规划好的路线，并能看到实际采集的路线，以便进行路线评估和纠正；系统会实时评估地图质量和采集质量，并作为地图状态和采集状态进行反馈推送和预警；采集者可以在现场完成多轮采集，直到地图状态符合要求。
因此，本发明通过自动规划路径、实时进行地图重建、自动对地图的进行清理、实时将地图和采集数据呈现给用户，从而不需要投入过多的人力来对路径进行规划；并且有系统的指导，采集人员可以在经验较少的情况下工作，不需要投入过多的成本来培训数据采集人员；最后，通过系统对地图质量进行评估和实时将数据呈现给采集人员，能及时发现重建地图所存在的缺陷，并当场重新采集数据，不需要过后重返现场来补采。本发明实施例提供的在线三维地图的构建方法具备地图构建成本低、采集难度低、效率高等优势。
在本发明优选的实施例中，在结束本次拍摄后，采集者可以根据地图当前状态，判断是否可以将地图上传到云端，完成整个采集任务；或者重新进入重定位、路径规划等环节，继续上述过程，直到地图状态满足要求后，上传云端。本发明实施例提供的方法相对于现有技术，具备云端交互功能，可以在本次采集开始时，从云端加载历史地图，作为本次构建任务的初始地图；或者，当在线构建过程完毕时，上传所有的地图数据至云端，进行离线处理或保存。
在本发明提供的一优选实施例中，当首次进入现场环境，且现场环境已存在历史地图时，可以通过系统的重定位模块确定当前拍摄设备在历史地图中的位姿。即在加载所述目标场景的历史地图后对所述拍摄设备进行重定位，包括以下步骤：
获取所述历史地图的第一地图信息和所述拍摄设备采集的第一图像；该第一地图信息包括构建该历史候选地图所有历史图像和全局特征库，该全局特征库保存了所有历史图像的局部特征点和3D地图点的对应关系，因此只要找到第一图像局部特征和历史图像局部特征的匹配关系，就能确定第一图像的局部特征在所述历史地图中对应的3D地图点；
然后提取所述第一图像的第一全局特征(如DBoW2)和第一局部特征(局部二维特征)并在所述历史全局特征库中查找与所述第一全局特征对应的多个候选历史图像，具体地，根据当前帧图像(第一图像)的全局特征，在现有地图的全局特征库中，查找与当前帧图像的全局特征接近的多个候选历史帧图像；
将所述第一局部特征与所有的候选历史图像的局部特征进行匹配，并根据匹配到的二维特征点，得到所述第一局部特征在所述历史地图中对应的3D地图点，最终得到当前帧图像的多个局部2D特征点对应的3D地图点；
根据第一局部特征和所述3D地图点得到所述拍摄设备在所述历史地图中的初始位姿信息，具体的，将上述的多个局部2D特征点与3D地图点的匹配对输入PnP(Perspective-n-Points)算法，即可得到当前帧图像在当前地图中的位姿；
获取预设时间，若在预设时间内接收到所述初始位姿信息，则返回重定位成功信号；若在预设时间内未接收到所述初始位姿信息，则返回重定位失败信号，并对所述目标场景进行初始化得到初始地图。
在本发明提供的一优选实施例中，初始化一份地图是通过系统的初始化模块来完成，所述对所述目标场景进行初始化得到初始地图包括：
接收多个最新采集的图像帧，其中，所述图像帧的数量不超过预设滑窗长度；提取每一所述图像帧的图像特征信息，将最新获取的图像帧与滑窗内的所有帧组成多个匹配对，对每一所述匹配对进行特征匹配和二视图几何计算，得到每一匹配对的相对平移参数、相对旋转参数和置信度参数；根据每一所述匹配对的置信度参数筛选出最优匹配对，根据最优匹配对中两个图像帧的图像特征信息、对应的相对平移参数和相对旋转参数，通过执行三角化生成多个初始3D点；根据最优匹配对中两个图像帧的图像特征信息和多个所述初始3D点构成所述初始地图。
在本发明中，实时在线建图的初始化过程是slam(实时定位与建图)技术中的基本环节，有较多可参考方案。一种基本思路是：在地图初始化过程中，不断接收拍摄的图像帧，在固定长度的滑窗范围内查找合适的两帧图像，完成地图初始化。具体地，首先进行滑窗维护，不断接收最新采集的图像，并记录各帧图像的标识(比如帧号、时间戳等)到队列中，针对每张图像均提取二维特征，如ORB特征。当前队列中的图像数量(即标识的数量)若超过预设的滑窗长度N(N>2)，则将历史帧从队列中剔除，即始终保持滑窗的队列长度不超过N。
然后获取当前滑窗内所有标识对应图像的图像特征信息(如二维特征、相机内参等)，将最新的一帧图像与滑窗内的所有图像形成多个两两匹配对。根据每个匹配对，进行特征匹配和二视图几何计算，并分解出二者的相对平移参数、相对旋转参数和置信度参数(即inlier数量)。若分解成功，且内点(inlier)数量超过预设阈值，则认为初始化成功，并输出二者的帧信息和相对运动信息(平移和旋转参数)；若分解失败，可以认为相应结果的置信度参数设置为0，并重复执行该步骤。若长时间未能初始化成功，系统将自动退出初始化步骤并提示无法初始化。
最后，则根据两帧图像(匹配对中的两个图像)的特征匹配信息、内参、相对运动参数，执行三角化算法，生成多个3D点，并执行一次BA(Bundle Adjustment)优化，此时得到的3D点和相应的两帧图像特征信息，即可构建初始地图。
在本发明提供的一优选实施例中，路径的静态规划包括：获取所述历史地图的几何信息、视角覆盖信息和视角覆盖要求；通过所述路径规划算法对所述几何信息、视角覆盖信息和视角覆盖要求进行处理，得到所述拍摄设备所有拍摄点的拍摄视角；所述拍摄视角包括位置和朝向；根据所有拍摄视角生成所述初始规划路径。对于静态规划，是在拍摄前根据已有的地图信息一次性生成所有拍摄视角，并在在拍摄过程中，初始规划路径是固定不变的。
相对的，动态规划是跟随着地图的增量更新，不断重新计算，不断更新规划路径，即在拍摄过程中不断新增拍摄角度。具体地：获取最新地图的几何信息、最新的视角覆盖信息和视角覆盖要求；通过所述路径规划算法对所述几何信息、视角覆盖信息和视角覆盖要求进行处理，初始规划路径，动态规划可以跟随整个采集过程。
在本发明实施例中，路径规划是通过系统的路径规划模块来完成，是将初始的三维地图几何信息(如点云或者mesh)和视角覆盖信息、视角覆盖要求输入到路径规划模块中，然后根据路径规划算法，输出一系列的拍摄点的拍摄视角，用来表示规划的路径。
对于视角覆盖信息，本发明实施例可以通过两个模式来呈现：局部模式和全局模式。在局部模式下，每个地图点都记录了它能够被哪些视角的图像观测到，注意这里的视角同时包括拍摄位置和角度；在全局模式下，每帧图像都记录了它能观测到地图中的哪些点。比如，设当前地图的三维点集为Pcur＝{p1,p2,…,pN}，当前的视角集合为Vcur＝{v1,v2,…,vM}，则局部模式下的视角覆盖信息形如：Cl＝{VI1,VI2,…,VIN}，其中每个元素VI是一个小集合，存储了若干个图像视角的序号索引；而全局模式下的视角覆盖信息为Cg＝{PI1,PI2,…,PIM}，其中每个元素PI也是一个小集合，存储了若干个地图点的序号索引。
对于视角覆盖要求，用户可以在在地图数据采集前对地图进行配置，一般是说明地图中的点，需要在什么距离和什么角度下被观测到；或要求相邻视角间需要有多大比例的共同观测点……可以设定地图中每个点的视角覆盖要求都是一致的；也可以设定不同区域的地图点的视角覆盖要求不一样。最后，路径规划算法会面向覆盖率要求，根据当前地图信息和已有的覆盖率信息，判断哪些视角需要补充拍摄，并生成相应的拍摄路径。
在本发明的一优选实施例中，视角覆盖率要求可以通过以下形式提供给系统：设置Cd＝{D1,D2,…,DN}，其中每个元素Di是一个集合，包含了多组参数{vp,vn}，二者分别代表所要求视角的位置和方向。在本实施例中，视角覆盖要求有两个：第一，设置视角位置和方向的最大允许偏差阈值{δp,δn}，即规划或实际拍摄的视角与要求的视角，位置和角度偏差在该阈值以内的均符合要求；第二，设置相邻视角间的共同观测比例要求，记为δc，即相邻视角间观测到的地图点集合的交并比(IOU)需要大于该阈值。
在本发明提供的一实施例中，所述通过所述路径规划算法对所述几何信息、视角覆盖信息和视角覆盖要求进行处理包括：
(1)新建目标视角集合和待拍摄视角集合，并对这两个集合进行初始化；
(2)获取所述目标场景的已有的第一视角集合，并计算所述第一视角集合中的每一视角与所述视角覆盖要求中要求的视角的偏差值；若所述偏差值不在第一预设阈值以内{δp,δn}，则将该视角加入到目标视角集合中，更新所述目标视角集合，否则就跳过该视角；
(3)遍历更新后的目标视角集合中的每一视角，计算该视角与相邻视角之间的共同观测比例是否大于第二预设阈值δc；若判断结果为否，则在该视角和相邻视角之间增加一个或者多个新视角，并将所述新视角更新到所述目标视角集合中，直到最新的目标视角集合中的所有视角与相邻视角之间的共同观测比大于所述第二预设阈值；若判断结果为是，则该视角不用进行处理；之后，再次重新遍历目标视角集合中的每个视角，进行上述共视比例的检查和新视角插入，直到所有视角与相邻视角间的共视比例均满足第二预设阈值要求，此时迭代终止；
(4)将最终的目标视角集合中新增加的视角更新到所述待拍摄视角集合中，得到所述拍摄设备的所有摄点位的拍摄视角，串联起所有的新增加的拍摄视角即可得到拍摄路径。
在本发明提供的一优选实施例中，地图重建过程由系统的地图重建模块来完成，地图重建模块负责地图状态的更新和维护，同时负责每一帧新拍摄数据的位姿计算，并计算当前设备拍摄轨迹与规划轨迹之间的偏差。
对于重建过程中的位姿计算，首先获取最新的一帧图像数据，提取该帧图像数据的2D特征点；然后将所述2D特征点与当前地图进行匹配处理，获取所述2D特征点在当前地图中对应的3D点，并组成2D点-3D点匹配对；最后，根据所述2D点-3D点匹配对计算得到拍摄该帧图像数据时的位姿。具体地，当有新的一帧拍摄数据(可能只是一张RGB图像，或者额外增加一张Depth图像，如果设备支持的话)进入时，系统会对该帧数据提取2D特征点，并与地图中的2D特征点进行匹配，最后找到与之匹配的、当前地图中的3D点(地图中的每个3D点都是与若干个2D特征点匹配好的)，从而形成多个2D点-3D点匹配对(这里的2D点是指新数据上的特征点，3D点是指地图中已有的3D点)，最后根据这样的匹配对，求解当前帧的位姿，典型的解法如PnP(Perspective-n-Points)。
对于地图中的要素扩展和更新，在本发明的一实施例中，先判断每一所述最新图像数据的2D特征点是否有对应的3D点；若判断结果为是，则执行局部优化操作(如BundleAdjustment)；若判断结果为否，则先通过三角化算法生成与所述2D特征点对应的3D点，并将该3D点更新到当前地图中，2D-3D匹配关系也相应更新，再执行局部优化操作(如BundleAdjustment)，然后获取所述最新的一帧图像数据，提取该帧图像数据的全局特征信息，并将所述全局特征信息补充到当前地图的全局特征库中，便于后续根据全局特征，快速查找地图关键帧。最后，从上一次执行全局优化开始算起，分别累计当前地图新增的图像数据的帧数或3D点数；获取第三预设阈值，在所述帧数或3D点数超过第三预设阈值时，执行全局优化操作，同样可以使用Bundle Adjustment。
对于地图质检，地图质检可以在每次地图更新后立即重新质检，也可以每当地图新增的帧数和3D点数量超过一定阈值时，定期重新质检。在本发明的一实施例中，重点的质检指标包括但不限于：第一，局部重投影误差，计算每个3D点在其可见视角上的平均重投影误差，并报错该误差；第二，视角覆盖率，获取每一所述3D点的当前可见视角，将所述当前可见视角与所述视角覆盖要求进行对比，得到每一所述3D点的匹配度，根据所述匹配度计算对应3D点的视角完成率。最后，系统可以根据所述平均重投影误差和视角完成率来获取当前地图的质量状态信息，从而实现对地图质量的评估。
对于轨迹校验，在本发明实施例中，可以通过计算规划路径中每个待拍摄视角，在允许的阈值范围{δp,δn}内，是否存在实际拍摄的视角数据，若存在，计算实际偏差{ep,en}并保存；若不存在，也做记录，比如直接将{ep,en}设置为无穷大。
在一轮地图重建过程结束后，系统的地图清理模块可以执行地图清理功能，如，剔除所述初始三维地图中不符合所述目标场景的3D点；筛选出所述初始三维地图中重复的视角，每一拍摄点保留一个最优的视角，并将其余重复的视角及其关联的数据进行删除；删除所述初始三维地图中的无效视角及与所述无效视角关联的图像数据。
在本发明的一实施例中，本实施例可以选择的清理原则包括但不限于以下几种：
第一，识别出过期的3D点并删除：随着时间推移，当前场景的实际内容可能与历史地图已经无法匹配，此时应该删除过时的、旧的地图点；可以通过采集者人工判断并框选过期的地图点。或者由算法自动检测出过期的地图点，一种可行的方法是：将每个地图点投影到所有可见视角上，若存在一个新视角与旧视角足够接近，但这两个视角上关于该地图点的2D特征点之间的局部特征差异过大，则认为该3D点已经过时失效。
第二，识别出重复视角，并清理相应的帧数据、关联到的地图点、相应的全局特征。检查所有视角之间的位置差异和角度差异，当两个视角之前足够接近时，将其中一个视角标记为重复视角，针对剩余视角，继续上述查重过程，直到剩余的视角间，无视角需要被标记为重复视角。
第三，删除无效视角，并清理相应的帧数据。当一个视角能够观测到的3D点，占其2D点总数的比例低于预设阈值时，认为该视角信息量有限，可将其删除。
本发明的一实施例提供来一种在线三维地图的构建系统，所述构建系统用于执行以上任一项实施例所述的构建方法，其中，所述构建系统包括初始化模块、路径规划模块、地图重建模块、地图清理模块和AR展示模块。
具体地，所述初始化模块用于获取目标场景，并根据实际需求加载所述目标场景的历史地图，或对所述目标场景进行初始化得到初始地图。所述路径规划模块用于对所述目标场景进行拍摄路径规划，得到初始规划路径。所述地图重建模块用于根据所述初始规划路径对所述目标场景进行数据采集，得到所述目标场景的图像数据；在每获取一帧或多帧所述图像数据后，根据所述图像数据和位姿信息对所述历史地图或初始化地图进行更新得到当前时刻的地图，并计算实时运动路径，直至接收到停止拍摄指令后输出初始三维地图。所述地图清理模块用于获取地图数据清理原则，根据所述地图数据清理原则对所述初始三维地图进行处理，得到所述目标场景的最终三维地图。所述AR展示模块用于实时将所述初始规划路径、当前时刻的地图、实时运动路径、初始三维地图和最终三维地图呈现给采集者，并接收采集者下发的指令。具体地，AR展示模块可以实时将当前的地图几何信息(点云或mesh)、规划路径、实际路径等，以虚拟物体的形式叠加到当前场景中，即以AR形式对当前采集情况进行渲染反馈。
本发明实施例提供的在线三维地图的构建系统通过自动规划路径、实时进行地图重建、自动对地图的进行清理、实时将地图和采集数据呈现给用户，从而不需要投入过多的人力来对路径进行规划；并且有系统的指导，采集人员可以在经验较少的情况下工作，不需要投入过多的成本来培训数据采集人员；最后，通过系统对地图质量进行评估和实时将数据呈现给采集人员，能及时发现重建地图所存在的缺陷，并当场重新采集数据，不需要过后重返现场来补采。因此，本发明实施例提供的在线三维地图的构建方法具备地图构建成本低、采集难度低、效率高等优势。
在本发明提供的一优选实施例中，所述构建系统还包括重定位模块。其中，所述重定位模块用于获取所述历史地图的第一地图信息和所述拍摄设备采集的第一图像；提取所述第一图像的第一全局特征和第一局部特征；获取所述历史地图的历史全局特征库，并在所述历史全局特征库中查找与所述第一全局特征对应的多个候选历史图像；将所述第一局部特征与所有的候选历史图像的局部特征进行匹配，得到所述第一图像在所述历史地图中对应的3D地图点；根据所有的候选历史图像的局部特征和所述3D地图点得到所述拍摄设备在所述历史地图中的初始位姿信息；获取预设时间，若在预设时间内接收到所述初始位姿信息，则返回重定位成功信号；若在预设时间内未接收到所述初始位姿信息，则返回重定位失败信号，并对所述目标场景进行初始化得到初始地图。
在本发明提供的一优选实施例中，所述构建系统还包括云端交互模块。其中，所述AR展示模块还用于将当前地图的几何信息、初始规划路径和实际运动路径，以虚拟物体的形式叠加到所述目标场景中；所述云端交互模块用于将所有数据上传到云端进行保存和离线优化。即，该模块主要用于和采集设备端互传数据，包括采集开始时历史地图从云端加载，以及采集结束后，将所有数据上传到云端保存和离线优化。
需要说明的是，系统实施例中的具体示例可以参考上述方法实施例及优选实施方式中所描述的示例，本实施例在此不再赘述。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外，结合上述实施例中的在线三维地图的构建方法，本发明实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种在线三维地图的构建方法。
本发明的一个实施例中还提供了一种电子设备，该电子设备可以是终端。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种在线三维地图的构建方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图3是根据本发明实施例的电子设备的内部结构示意图，如图3所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图3所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现在线三维地图的构建方法，数据库用于存储数据。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种在线三维地图的构建方法，其特征在于，所述方法包括：
获取目标场景，并根据实际需求加载所述目标场景的历史地图，或对所述目标场景进行初始化得到初始地图；
对所述目标场景进行拍摄路径规划，得到初始规划路径；
根据所述初始规划路径对所述目标场景进行数据采集，得到所述目标场景的图像数据；在每获取一帧或多帧所述图像数据后，根据所述图像数据对所述历史地图或初始化地图进行更新得到当前时刻的地图，并计算实时运动路径，直至接收到停止拍摄指令后输出初始三维地图；
获取地图数据清理原则，根据所述地图数据清理原则对所述初始三维地图进行处理，得到所述目标场景的最终三维地图；
将所述初始规划路径、当前时刻的地图、实时运动路径、初始三维地图和最终三维地图中的一个或者多个，实时呈现给采集者。
2.根据权利要求1所述的构建方法，其特征在于，在加载所述目标场景的历史地图后对拍摄设备进行重定位，包括：
获取所述历史地图的第一地图信息和所述拍摄设备采集的第一图像，所述第一地图信息包括构建所述历史地图的所有候选历史图像和历史全局特征库；
提取所述第一图像的第一全局特征和第一局部特征，并在所述历史全局特征库中查找与所述第一全局特征对应的多个候选历史图像；
将所述第一局部特征与所有的候选历史图像的局部特征进行匹配，得到所述第一局部特征在所述历史地图中对应的3D地图点；
根据所述第一局部特征和所述3D地图点得到所述拍摄设备在所述历史地图中的初始位姿信息；
获取预设时间，若在预设时间内接收到所述初始位姿信息，则返回重定位成功信号；若在预设时间内未接收到所述初始位姿信息，则返回重定位失败信号，并对所述目标场景进行初始化得到初始地图。
3.根据权利要求2所述的构建方法，其特征在于，所述对所述目标场景进行初始化得到初始地图，包括：
接收多个最新采集的图像帧，其中，所述图像帧的数量不超过预设滑窗长度；
提取每一所述图像帧的图像特征信息，将最新获取的图像帧与滑窗内的所有帧组成多个匹配对，对每一所述匹配对进行特征匹配和二视图几何计算，得到每一匹配对的相对平移参数、相对旋转参数和置信度参数；
根据每一所述匹配对的置信度参数筛选出最优匹配对，根据所述最优匹配对中两个图像帧的图像特征信息、相对平移参数和相对旋转参数，通过执行三角化生成多个初始3D点；
根据所述最优匹配对中两个图像帧的图像特征信息和多个所述初始3D点构成所述初始地图。
4.根据权利要求1所述的构建方法，其特征在于，所述对所述目标场景进行拍摄路径规划，得到初始规划路径：
获取当前地图的几何信息、视角覆盖信息和视角覆盖要求；
通过路径规划算法对所述几何信息、视角覆盖信息和视角覆盖要求进行处理，得到拍摄设备所有拍摄点的拍摄视角；所述拍摄视角包括位置和朝向；
根据所述拍摄视角生成所述初始规划路径。
5.根据权利要求4所述的构建方法，其特征在于，所述拍摄路径规划包括静态规划和动态规划；其中，
当进行静态规划时，所述当前地图的几何信息是指历史地图的几何信息，并在拍摄前生成所有的拍摄视角，所述初始规划路径固定；或者，
当进行动态规划时，所述当前地图的几何信息是指每一次更新后的地图的几何信息，并在拍摄过程中新增拍摄视角，所述初始规划路径不断更新。
6.根据权利要求4或5所述的构建方法，其特征在于，所述通过路径规划算法对所述几何信息、视角覆盖信息和视角覆盖要求进行处理包括：
新建目标视角集合和待拍摄视角集合，并进行初始化；
根据所述视角覆盖信息获取所述目标场景的第一视角集合，并计算所述第一视角集合中的每一视角与所述视角覆盖要求中要求的视角的偏差值；若所述偏差值不在第一预设阈值以内，则将该视角加入到目标视角集合中，更新所述目标视角集合；
遍历更新后的目标视角集合中的每一视角，计算该视角与相邻视角之间的共同观测比例是否大于第二预设阈值；
若判断结果为否，则在该视角和相邻视角之间增加一个或者多个新视角，并将所述新视角更新到所述目标视角集合中，直到最新的目标视角集合中的所有视角与相邻视角之间的共同观测比大于所述第二预设阈值；
将最终的目标视角集合中新增加的视角更新到所述待拍摄视角集合中。
7.根据权利要求1所述的构建方法，其特征在于，所述根据所述图像数据对所述历史地图或初始化地图进行更新得到当前时刻的地图，并计算实时运动路径，直至接收到停止拍摄指令后输出初始三维地图，包括：
步骤A，获取拍摄设备采集到的最新图像数据，根据所述最新图像数据计算所述拍摄设备在当前地图中的实时位姿，记录为第一位姿信息，并根据所述第一位姿信息来更新所述拍摄设备的实际运动路径；
步骤B，根据所述最新图像数据和第一位姿信息对当前地图中的各个要素进行扩充和更新；
步骤C，对扩充和更新后的地图进行质检，得到最新地图的质量状态信息；
步骤D，计算所述拍摄设备的实际运动路径和所述初始规划路径之间的轨迹偏差；
步骤E，对所述质量状态信息和所述轨迹偏差进行判断，在符合预设要求的情况下，向所述拍摄设备发送停止拍摄指令。
8.根据权利要求7所述的构建方法，其特征在于，所述计算所述拍摄设备在当前地图中的实时位姿，包括：
获取最新的一帧图像数据，提取该帧图像数据的2D特征点；
将所述2D特征点与当前地图进行匹配处理，获取所述2D特征点在当前地图中对应的3D点，并组成2D点-3D点匹配对；
根据所述2D点-3D点匹配对计算得到拍摄该帧图像数据时的实时位姿。
9.根据权利要求8所述的构建方法，其特征在于，根据所述最新图像数据和第一位姿信息对当前地图中的各个要素进行扩充和更新，包括：
判断每一所述最新图像数据的2D特征点是否有对应的3D点；若判断结果为是，则执行局部优化操作；若判断结果为否，则先通过三角化算法生成与所述2D特征点对应的3D点，并将该3D点更新到当前地图中，再执行局部优化操作；
获取所述最新的一帧图像数据，提取该帧图像数据的全局特征信息，并将所述全局特征信息补充到当前地图的全局特征库中；
分别累计当前地图新增的图像数据的帧数或3D点数；
获取第三预设阈值，在所述帧数或3D点数超过第三预设阈值时，执行全局优化操作。
10.根据权利要求8所述的构建方法，其特征在于，所述质检包括：
计算每一所述3D点在其可见视角上的平均重投影误差；
获取每一所述3D点的当前可见视角，将所述当前可见视角与视角覆盖要求进行对比，计算对应3D点的视角完成率；
根据所述平均重投影误差和视角完成率来获取当前地图的质量状态信息。
11.根据权利要求1所述的构建方法，其特征在于，所述根据所述地图数据清理原则对所述初始三维地图进行处理，包括：
剔除所述初始三维地图中不符合所述目标场景的3D点；
筛选出所述初始三维地图中重复的视角，并将重复的视角及其关联的数据进行删除；
删除所述初始三维地图中的无效视角及与所述无效视角关联的图像数据。
12.一种在线三维地图的构建系统，其特征在于，所述构建系统用于执行权利要求1-11中任一项所述的构建方法；所述构建系统包括初始化模块、路径规划模块、地图重建模块、地图清理模块和AR展示模块；其中，
所述初始化模块用于获取目标场景，并根据实际需求加载所述目标场景的历史地图，或对所述目标场景进行初始化得到初始地图；
所述路径规划模块用于对所述目标场景进行拍摄路径规划，得到初始规划路径；
所述地图重建模块用于根据所述初始规划路径对所述目标场景进行数据采集，得到所述目标场景的图像数据；在每获取一帧或多帧所述图像数据后，根据所述图像数据对所述历史地图或初始化地图进行更新得到当前时刻的地图，并计算实时运动路径，直至接收到停止拍摄指令后输出初始三维地图；
所述地图清理模块用于获取地图数据清理原则，根据所述地图数据清理原则对所述初始三维地图进行处理，得到所述目标场景的最终三维地图；
所述AR展示模块用于将所述初始规划路径、当前时刻的地图、实时运动路径、初始三维地图和最终三维地图中的一个或者多个，实时呈现给采集者。
13.根据权利要求12所述的构建系统，其特征在于，所述构建系统还包括重定位模块，其中，
所述重定位模块用于获取所述历史地图的第一地图信息和拍摄设备采集的第一图像，所述第一地图信息包括构建所述历史地图的所有候选历史图像和历史全局特征库；提取所述第一图像的第一全局特征和第一局部特征，并在所述历史全局特征库中查找与所述第一全局特征对应的多个候选历史图像；将所述第一局部特征与所有的候选历史图像的局部特征进行匹配，得到所述第一局部特征在所述历史地图中对应的3D地图点；根据所述第一局部特征和所述3D地图点得到所述拍摄设备在所述历史地图中的初始位姿信息；获取预设时间，若在预设时间内接收到所述初始位姿信息，则返回重定位成功信号；若在预设时间内未接收到所述初始位姿信息，则返回重定位失败信号。
14.根据权利要求12所述的构建系统，其特征在于，所述构建系统还包括云端交互模块；
所述AR展示模块用于将所述初始规划路径、当前时刻的地图、实时运动路径、初始三维地图或最终三维地图，以虚拟物体的形式叠加到所述目标场景中；
所述云端交互模块用于将所有数据上传到云端进行保存和离线优化。
15.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至11中任一项所述的在线三维地图的构建方法。
16.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至11中任一项所述的在线三维地图的构建方法。
CN202310215150.3A 2023-03-01 2023-03-01 在线三维地图的构建方法、系统、电子设备和存储介质 Pending CN116310237A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310215150.3A CN116310237A (zh) 2023-03-01 2023-03-01 在线三维地图的构建方法、系统、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310215150.3A CN116310237A (zh) 2023-03-01 2023-03-01 在线三维地图的构建方法、系统、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116310237A true CN116310237A (zh) 2023-06-23

Family

ID=86790000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310215150.3A Pending CN116310237A (zh) 2023-03-01 2023-03-01 在线三维地图的构建方法、系统、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116310237A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765186A (zh) * 2024-02-18 2024-03-26 广东电网有限责任公司广州供电局 一种环境空间的重构方法、装置、设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765186A (zh) * 2024-02-18 2024-03-26 广东电网有限责任公司广州供电局 一种环境空间的重构方法、装置、设备和存储介质
CN117765186B (zh) * 2024-02-18 2024-05-28 广东电网有限责任公司广州供电局 一种环境空间的重构方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
Golparvar-Fard et al. Automated progress monitoring using unordered daily construction photographs and IFC-based building information models
Golparvar-Fard et al. Visualization of construction progress monitoring with 4D simulation model overlaid on time-lapsed photographs
CN109697326B (zh) 道路病害的处理方法、装置、计算机设备和存储介质
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
Zollmann et al. Interactive 4D overview and detail visualization in augmented reality
Remondino et al. Design and implement a reality-based 3D digitisation and modelling project
CN112270736A (zh) 增强现实处理方法及装置、存储介质和电子设备
CN116310237A (zh) 在线三维地图的构建方法、系统、电子设备和存储介质
CN116051747A (zh) 一种基于缺失点云数据的房屋三维模型重建方法及设备、介质
US10970655B2 (en) Surgery planning based on predicted results
KR102040525B1 (ko) 인공지능 기반 부품 검색 시스템
KR102464271B1 (ko) 포즈 획득 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN112270748B (zh) 基于图像的三维重建方法及装置
Attard et al. A comprehensive virtual reality system for tunnel surface documentation and structural health monitoring
Pollok et al. A visual SLAM-based approach for calibration of distributed camera networks
CN115546422A (zh) 一种建筑物的三维模型构建方法、系统和电子设备
Moritani et al. Streamlining photogrammetry-based 3d modeling of construction sites using a smartphone, cloud service and best-view guidance
Amer et al. Crowd-sourced visual data collection for monitoring indoor construction in 3d
US20240037846A1 (en) Method for reconstructing a 3d model of a scene
Gharib et al. A Review of Computer Vision-Based Techniques for Construction Progress Monitoring
EP4019894A1 (en) Method of measuring a workpiece by using a coordinate measuring machine, and arrangement comprising a coordinate measuring machine
US20230410451A1 (en) Augmented reality implement apparatus and method using mobile scanned object model scaling
JP7330114B2 (ja) 対象位置特定システムおよび対象位置特定方法
JPH1040385A (ja) 物体形状復元装置及びその方法
CN114331194B (zh) 一种基于数字孪生的建筑测量管理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination