CN115937452A - 一种基于分布式计算的地图重建方法与系统 - Google Patents

Abstract

本发明公开了一种基于分布式计算的地图重建方法与系统，包括：采集场景图像，对场景图像进行稀疏重建，并获取各个场景图像对应的相机姿态；分析相机位姿和场景图像间的共视关系，将稀疏重建后的场景图像集合划分为若干个子集合；根据子集合中的场景图像构造各个节点所需的数据包；将数据包分发到各个节点中进行解析，得到图像深度估计任务；子节点对数据包所包含的图像集合进行深度估计，得到各个场景图像逐像素的深度信息；各个节点对深度信息进行深度融合形成稠密点云片段；子节点将稠密点云片段传输至主节点，主节点进行稠密点云融合，并进行完整稠密点云的面片化和贴图，得到地图重建结果。

Description

一种基于分布式计算的地图重建方法与系统

技术领域

本发明涉及智能计算领域的作业分解方法，尤其涉及一种基于分布式计算的地图重建方法与系统。

背景技术

随着计算机技术的发展，各个行业的数字化需求愈发强烈。而数字孪生和自动驾驶的兴起，也使得大规模场景的数字化技术日益重要。地图重建技术是场景数字化中的重要一环，但其需要巨大的计算资源来重建场景的稠密结构，大规模场景的稠密重建耗时难以令人满意。而分布式计算是一种有效的通过调用更多计算资源实现高效计算的方法。

地图重建技术可以分为稀疏重建和稠密重建，稀疏重建往往由运动恢复结构技术进行实现。运动恢复结构系统往往由匹配阶段和重建阶段组成。匹配阶段首先提取每张图像的特征,然后进行特征匹配得到各个图像间的关联关系。重建阶段有一个初始化模块,然后迭代地进行图像注册和三角测量,并且执行高频的局部优化和低频的全局优化,通过最小化重投影误差来共同优化相机位姿和地图点。

稠密重建即多视图立体几何，目的是在相机位姿已知的前提下，逐像素的计算图像中每一个像素点对应的三维点，得到场景物体表面密集的三维点云。稠密重建假设相机的位姿、内参都已知，在三维空间中具有图像一致性(Photo-consistency)的点，此时可以通过两张图片中像素点的稠密关联关系，通过三角化算法估计像素点的深度信息。在估计完深度信息后，像素点便可以转换成空间中的三维点，各个图像中观测的三维点经过验证和融合后变成稠密的点云地图。稠密点云经过泊松融合后形成完整的网格地图。其中深度估计部分需要逐像素的估计每张图像的深度，在大型场景的重建任务中将会非常耗时。

发明内容

本发明的目的是在于针对现有技术的不足，解决大规模稠密重建中的效率问题，提出了一种基于分布式计算的地图重建方法与系统。

为实现上述发明目的，本发明的技术方案为：

本发明实施例的第一方面提供了一种基于分布式计算的地图重建方法，所述方法具体包括以下步骤：

S1，采集场景图像，对场景图像进行稀疏重建，并获取各个场景图像对应的相机姿态；

S2，分析相机位姿和场景图像间的共视关系，预设节点数目，将稀疏重建后的场景图像集合划分为若干个子集合；根据子集合中的场景图像构造各个节点所需的数据包；

S3，将数据包分发到各个节点中进行解析，得到图像深度估计任务；

S4，子节点对数据包所包含的图像集合进行深度估计，得到各个场景图像逐像素的深度信息；

S5，各个节点对步骤S4得到的深度信息进行深度融合形成稠密点云片段；

S6，子节点将步骤S5得到的稠密点云片段传输至主节点，主节点进行稠密点云融合，并进行完整稠密点云的面片化和贴图，得到地图重建结果。

进一步地，所述步骤S1中对场景图像进行稀疏重建的过程包括：利用运动恢复结构技术实现对场景图像进行稀疏重建并获得并各个场景图像对应的相机姿态。

进一步地，所述步骤S2中将稀疏重建后的场景图像集合划分为若干个子集合的过程包括：

根据相机位置的空间位置将图像由x轴等分成若干部分，再通过y轴的位置顺序进行进一步等分，最终形成在空间上连续的大小相同的若干个图像子集合；

和/或，

根据共视关系对场景图像进行聚类。

进一步地，所述步骤S4中子节点对数据包所包含的图像集合进行深度估计的过程包括：

深度估计分为匹配代价构造、代价累计、深度估计、深度优化四部分；具体地，采用NCC构造匹配代价，使用Patch Match作为信息传递的策略来进行代价累计；接着利用GEM算法进行深度估计，最后，通过光学一致性和几何一致性的约束，寻找其最优的深度和法向量，以此对深度图优化。

进一步地，所述步骤S5具体为：将子集合中的每张图像形成的逐像素的深度信息转换成对应的三维点云，将各个三维点云进行融合并检验各个三维点云的正确性，将所有三维点云根据相机位姿转换到同一坐标系下拼接形成稠密点云片段。

进一步地，所述步骤S6中主节点进行稠密点云融合的过程包括：

主节点将各个子节点传回的稠密点云片段注册到同一坐标系下，对各个稠密点云片段进行拼接得到完整稠密点云，并对完整稠密点云进行验证。

进一步地，所述步骤S6中进行完整稠密点云的面片化和贴图的过程包括：

主节点利用泊松融合算法从完整稠密点云中生成场景的三维网格模型，然后根据图像信息对三维网格模型进行贴图，得到地图重建结果。

本发明实施例的第二方面提供了一种基于分布式计算的地图重建系统，用于实现上述的基于分布式计算的地图重建方法，所述系统包括：

图像采集模块，用于对场景进行图像采集；

稀疏重建模块，用于对场景图像进行稀疏重建，得到各个场景图像对应的相机姿态；

数据划分模块，用于分析相机位姿和场景图像间的共视关系，以此将稀疏重建后的场景图像集合划分为若干个子集合，并分发至各个节点；

深度估计模块，利用每个节点对子集合中的场景图像进行深度估计，得到各个场景图像逐像素的深度信息；

深度融合模块，用于对深度估计模块输出的深度信息进行深度融合得到每个节点对应的稠密点云片段；

点云融合模块，对深度融合模块输出的每个稠密点云片段进行拼接，得到完整稠密点云，并将完整稠密点云转换为地图重建结果。

本发明实施例的第三方面提供了一种电子设备，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的基于分布式计算的地图重建方法。

本发明实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述的基于分布式计算的地图重建方法。

本发明的有益效果如下：本发明提出的基于分布式计算的稠密点云地图重建方法是通过共视关系和空间位置对稠密重建任务进行划分，一方面确保划分结果的图片数量可控，各个子节点的计算负载均衡。另一方面确保各个子节点的数据包大小最优，确保大部分关联图像信息可以在单个子节点的多个深度估计任务中进行复用。即可实现高效率地均衡地分布式稠密建图，也减少了节点间通信的时延和资源浪费，具有灵活性、普适性、便利性等优点。

附图说明

图1是本发明方法的流程示意图；

图2是本发明实施案例的流程示意图；

图3是本发明实施案例的稀疏重建结果图；

图4是本发明实施案例的地图重建结果图；

图5是本发明实施例提供的一种电子设备的示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

下面结合附图，对本发明进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。

如图1和图2所示，本发明提出了一种基于分布式计算的地图重建方法，所述方法具体包括以下步骤：

S1，采集场景图像,对场景图像进行稀疏重建，并获取各个场景图像对应的相机姿态。

所述步骤S1包括：通过无人机、车载相机、手持相机等设备对场景进行图像采集，并对场景图像进行稀疏重建，得到各个场景图像对应的相机姿态。

进一步地，基于分布式计算的地图重建的前期需要进行数据采集，得到一系列RGB图像。采集设备主要是无人机、带有车载相机的数据采集车和手持相机，采集过程中需要保障图像的采集质量。其中保证图像采集质量的主要措施包括：使用专业数码相机进行数据采集。采集过程中控制快门速度，避免模糊。尽量选择光照条件变化不剧烈的环境，避免玻璃围墙等反光材料造成的干扰。

其中，对获取的场景图像进行稀疏重建的过程包括：利用运动恢复结构(SfM,Structure-from-Motion)技术实现，将数据采集时得到的N张RGB图像作为输入，输出为图像的位姿信息，所述位姿信息为N*7个浮点数。其中，图像的位姿信息以一个四元数表示旋转，一个三维向量表示位置，因此稀疏重建输出的图像的位姿信息为N*7个浮点数，稀疏重建输出的图像结果如图3所示。

具体地，运动恢复结构主要功能是从一组不同视角下拍摄的无序或有序影像中，同时恢复场景三维结构和相机姿态的技术具体实现时，运用增量式SfM方法，选择无序影像进行特征匹配，并进行几何纠正、三角测量恢复稀疏点云，并通过已有点云重新估计相对姿态，再进行局部和全局的BA优化。之后逐步向已有的结构中增加视角或影像，进行三角测量和姿态估计，再进行BA优化修正结构数据，最后输出场景中的位姿信息和表示场景结构的稀疏点云。最终的稀疏点云和相机位姿如图2所示。

S2，分析相机位姿和场景图像间的共视关系，预设节点数目，将稀疏重建后的场景图像集合划分为若干个子集合；根据子集合中的场景图像构造各个节点所需的数据包。

进一步地，将场景图像集合划分为若干个子集合的过程包括：使用相机空间位置进行划分和/或利用共视关系进行聚类，具体为：

根据相机位置的空间位置将图像由x轴等分成若干部分，再通过y轴的位置顺序进行进一步等分，最终形成在空间上连续的大小相同的若干个图像子集合。示例性地，对所有图像根据相机位姿的x轴将图像等分为X1个片段，再根据y轴将每个片段进一步划分为M1/X1个子集合；划分后，将拥有M1个子集合，且各个子集合所包含的图片在空间上连续，分布集中。

和/或，

根据共视关系对场景图像进行聚类，使具有更多特征匹配的图像被连接到一起，在本实例中采用K-means等聚类算法对场景图像进行划分。

其中，各个子集合内部的场景图像具有较好的共视关系且对应的相机位姿接近。

进一步地，所述的数据包包含各个子集合深度估计所需的图像数据及其关联数据，位姿数据，深度估计配置参数等。其中，所述图像数据及其关联数据为包含子集合本身的场景图像以及各个场景图像深度估计所需的关联图像。所述位姿数据为图像数据所关联的相机位姿数据，每个相机位姿均由旋转和平移组成。对每个集合包含的图像数据及其关联数据，位姿数据，深度估计配置参数封装成二进制文件。

S3，将数据包分发到各个节点中，各个节点将对各个数据包进行解析。

其中，解析的结果包括：若干图像深度估计任务；各个图像深度估计任务的输入包含待求解深度的图像和该图像的关联图像，待求解图像和关联图像对应的相机位姿，估计任务的参数配置。

S4，子节点对数据包所包含的图像集合进行深度估计，得到各个场景图像逐像素的深度信息。

具体地，由于该深度估计阶段时间消耗较大，分布式地图重建将在子节点上进行深度估计，该阶段输入为N张RGB图像及其位姿信息，输出为N张深度图像。

深度估计阶段可以采用N个节点进行计算，也可以根据计算资源的实时情况，采用M1(M1<N)个节点进行计算。

进一步地，深度估计分为四个步骤，分别为匹配代价构造、代价累计、深度估计、深度优化。在本实例中，采用了NCC来构造匹配代价，之后使用Patch Match作为信息传递的策略来进行代价累计。接着利用GEM算法进行深度估计，最后，通过光学一致性和几何一致性的约束，寻找其最优的深度和法向量，以此对深度图优化。

S5，各个节点对步骤S4得到的深度信息进行深度融合形成稠密点云片段。

具体地，各个节点进行深度融合形成稠密点云的过程包括：将子集合中的每张图像形成的逐像素的深度信息转换成对应的三维点云，将各个三维点云进行融合，融合过程包含检验各个三维点云的正确性，以及将所有三维点云根据相机位姿转换到同一坐标系下拼接形成稠密点云片段。

具体地，RGB图像上的像素根据深度投影到三维空间中，每个投影得到的三维点需要经过验证剔除异常点，最终将多张图像的投影点云融合得到稠密点云。该阶段的输入为N张深度图和N张RGB图像，输出为多个局部三维地图。在该深度融合阶段也采用分布式计算的方式，假设使用M2个节点进行计算，则产生M2个局部三维地图。

进一步第，深度融合的子节点数目可以与深度估计的子节点数目相同，则深度估计后无需传递信息直接在同一个子节点上进行后续深度融合步骤。

S6，子节点将步骤S5得到的稠密点云片段传输至主节点，主节点进行稠密点云融合，并进行完整稠密点云的面片化和贴图，得到地图重建结果。

具体地，主节点进行稠密点云融合的过程包括：主节点将各个子节点传回的稠密点云片段利用Umeyama算法注册到同一坐标系下，各个稠密点云关联的相机位姿相同，对各个稠密点云片段进行拼接得到完整稠密点云，并对完整稠密点云进行验证以剔除外点。并且还根据集束平差法对完整稠密点云进行进一步优化，这一优化过程既可以定时全量执行，也可以根据只更新一块局部点云区域。若稠密点云融合的输入为M2个局部地图，则输出为一个统一的三维地图。在实际应用中，经过地图更新事件触发进行高效融合，提供更新、更精准的地图信息，实现快速发布。

主节点利用泊松融合算法从完整稠密点云中生成场景的三维网格模型，然后根据图像信息对三维网格模型进行贴图，得到地图重建结果，如图4所示。

本发明还提出了一种基于分布式计算的地图重建系统，用于实现上述的基于分布式计算的地图重建方法，所述系统包括图像采集模块、稀疏重建模块、数据划分模块、深度估计模块、深度融合模块和点云融合模块。

所述图像采集模块，用于对场景进行图像采集；

所述稀疏重建模块，用于对场景图像进行稀疏重建，得到各个场景图像对应的相机姿态；

所述数据划分模块，用于分析相机位姿和场景图像间的共视关系，以此将稀疏重建后的场景图像集合划分为若干个子集合，并分发至各个节点；

所述深度估计模块，利用每个节点对子集合中的场景图像进行深度估计，得到各个场景图像逐像素的深度信息；

所述深度融合模块，用于对深度估计模块输出的深度信息进行深度融合得到每个节点对应的稠密点云片段；

所述点云融合模块，对深度融合模块输出的每个稠密点云片段进行拼接，得到完整稠密点云，并将完整稠密点云转换为地图重建结果。

关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于分布式计算的地图重建方法。如图5所示，为本发明实施例提供的基于分布式计算的地图重建方法所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存以及网络接口之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的基于分布式计算的地图重建方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

Claims (10)

1.一种基于分布式计算的地图重建方法，其特征在于，所述方法具体包括以下步骤：

S1，采集场景图像，对场景图像进行稀疏重建，并并获取各个场景图像对应的相机姿态；

S2，分析相机位姿和场景图像间的共视关系，预设节点数目，将稀疏重建后的场景图像集合划分为若干个子集合；根据子集合中的场景图像构造各个节点所需的数据包；

S3，将数据包分发到各个节点中进行解析，得到图像深度估计任务；

S4，子节点对数据包所包含的图像集合进行深度估计，得到各个场景图像逐像素的深度信息；

S5，各个节点对步骤S4得到的深度信息进行深度融合形成稠密点云片段；

S6，子节点将步骤S5得到的稠密点云片段传输至主节点，主节点进行稠密点云融合，并进行完整稠密点云的面片化和贴图，得到地图重建结果。

2.根据权利要求1所述的基于分布式计算的地图重建方法，其特征在于，所述步骤S1中对场景图像进行稀疏重建的过程包括：利用运动恢复结构技术实现对场景图像进行稀疏重建并获得并各个场景图像对应的相机姿态。

3.根据权利要求1所述的基于分布式计算的地图重建方法，其特征在于，所述步骤S2中将稀疏重建后的场景图像集合划分为若干个子集合的过程包括：

根据相机位置的空间位置将图像由x轴等分成若干部分，再通过y轴的位置顺序进行进一步等分，最终形成在空间上连续的大小相同的若干个图像子集合；

和/或，

根据共视关系对场景图像进行聚类。

4.根据权利要求1所述的基于分布式计算的地图重建方法，其特征在于，所述步骤S4中子节点对数据包所包含的图像集合进行深度估计的过程包括：

深度估计分为匹配代价构造、代价累计、深度估计、深度优化四部分；具体地，采用NCC构造匹配代价，使用Patch Match作为信息传递的策略来进行代价累计；接着利用GEM算法进行深度估计，最后，通过光学一致性和几何一致性的约束，寻找其最优的深度和法向量，以此对深度图优化。

5.根据权利要求1所述的基于分布式计算的地图重建方法，其特征在于，所述步骤S5具体为：将子集合中的每张图像形成的逐像素的深度信息转换成对应的三维点云，将各个三维点云进行融合并检验各个三维点云的正确性，将所有三维点云根据相机位姿转换到同一坐标系下拼接形成稠密点云片段。

6.根据权利要求1所述的基于分布式计算的地图重建方法，其特征在于，所述步骤S6中主节点进行稠密点云融合的过程包括：

主节点将各个子节点传回的稠密点云片段注册到同一坐标系下，对各个稠密点云片段进行拼接得到完整稠密点云，并对完整稠密点云进行验证。

7.根据权利要求1所述的基于分布式计算的地图重建方法，其特征在于，所述步骤S6中进行完整稠密点云的面片化和贴图的过程包括：

主节点利用泊松融合算法从完整稠密点云中生成场景的三维网格模型，然后根据图像信息对三维网格模型进行贴图，得到地图重建结果。

8.一种基于分布式计算的地图重建系统，用于实现权利要求1-7任一项所述的基于分布式计算的地图重建方法，所述系统包括：

图像采集模块，用于对场景进行图像采集；

稀疏重建模块，用于对场景图像进行稀疏重建，得到各个场景图像对应的相机姿态；

数据划分模块，用于分析相机位姿和场景图像间的共视关系，以此将稀疏重建后的场景图像集合划分为若干个子集合，并分发至各个节点；

深度估计模块，利用每个节点对子集合中的场景图像进行深度估计，得到各个场景图像逐像素的深度信息；

深度融合模块，用于对深度估计模块输出的深度信息进行深度融合得到每个节点对应的稠密点云片段；

点云融合模块，对深度融合模块输出的每个稠密点云片段进行拼接，得到完整稠密点云，并将完整稠密点云转换为地图重建结果。

9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1-7任一项所述的基于分布式计算的地图重建方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一项所述的基于分布式计算的地图重建方法。

Images