CN111951397A - 一种多机协同构建三维点云地图的方法、装置和存储介质 - Google Patents
一种多机协同构建三维点云地图的方法、装置和存储介质 Download PDFInfo
- Publication number
- CN111951397A CN111951397A CN202010798203.5A CN202010798203A CN111951397A CN 111951397 A CN111951397 A CN 111951397A CN 202010798203 A CN202010798203 A CN 202010798203A CN 111951397 A CN111951397 A CN 111951397A
- Authority
- CN
- China
- Prior art keywords
- detected
- key frame
- point cloud
- pose
- fused
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000010276 construction Methods 0.000 title claims abstract description 17
- 238000005457 optimization Methods 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 230000009466 transformation Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种多机协同构建三维点云地图的方法、装置和存储介质，具体为获取多个客户端采集的深度图像帧和RGB图像帧，并生成待检测关键帧，将位姿优化后的待检测关键帧确定为待融合关键帧，基于待融合关键帧和与待融合关键帧对应的位姿关系及与待融合关键帧关联的地图点数据进行三维点云地图融合，获取优化后的客户端在采集深度图像帧和RGB图像帧时的位姿信息进行点云数据的转换，生成待展示场景的三维点云地图。本申请实施例通过服务端与多个客户端之间进行通信，并在多个客户端协同SLAM结束后，服务端输出每个客户端的七自由度相机位姿，并优化所有客户端的高精度相机位姿进行场景稠密重建，使重建结果可以得到进一步应用，且提升了建图精度。
Description
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种多机协同构建三维点云地图的方法、装置和存储介质。
背景技术
即时定位与建图(Simultaneous Localization and Mapping,SLAM)是机器人的重要功能之一，随着RGB-D相机的硬件成本的逐渐下降和普及程度的提高，基于RGB-D相机的SLAM技术也逐渐成熟。视觉SLAM是运动重建(Structure from motion，SFM)的一种实时版本，现有的大部分协同SLAM系统只能进行半稠密建图，无法将三维点云地图进一步应用于机器人导航、AR等功能，因此将视觉SLAM和SFM起来，利用视觉SLAM输出的高精度位姿，进行场景重建，可以进一步得到稠密三维点云地图，从而使三维点云地图得到进一步应用。在很多应用场景中，一个视觉SLAM平台很难满足收集场景数据和建图的需求，因此多机器人协同SLAM的研究受到越来越多的关注。目前的多机器人协同视觉SLAM系统大多为集中式架构，客户端部署在移动机器人、无人机等设备上，计算能力有限，因此仅进行图像特征提取和初步位姿求解等过程，服务端部署在计算能力更强的计算设备中，负责执行位姿优化、建图等对计算能力要求更高的功能。
发明内容
本申请实施例提供了一种多机协同构建三维点云地图的方法，克服了多机协同构建三维点云地图的应用场景限制和构图精度较低的问题。
该方法包括：
获取至少一个客户端采集的深度图像帧和RGB图像帧，并基于所述深度图像帧和RGB图像帧生成待检测关键帧；
对所述待检测关键帧进行位姿优化，并将位姿优化后的所述待检测关键帧确定为待融合关键帧，以及，基于所述待融合关键帧和与所述待融合关键帧对应的位姿关系及与所述待融合关键帧关联的地图点数据进行三维点云地图融合，生成融合三维点云地图；
基于所述融合三维点云地图对所述待检测关键帧进行全局位姿优化，并获取优化后的所述客户端在采集所述深度图像帧和所述RGB图像帧时的位姿信息，所述位姿信息包括四元数位姿参数、三维坐标和采集时间戳；
根据所述位姿信息将所述客户端采集的所述深度图像帧和所述RGB图像帧转换为点云数据，并基于所述采集时间戳将所述点云数据进行拼接，生成待展示场景的三维点云地图。
可选地，在所述待检测关键帧组成的待检测关键帧库中为当前的所述待检测关键帧选取具有重叠关系的所述待检测关键帧作为候选关键帧；
将所述候选关键帧与当前的所述待检测关键帧进行投影匹配，并将投影匹配后满足匹配阈值的所述候选关键帧作为当前的所述待检测关键帧的所述待融合关键帧。
可选地，计算当前的所述待检测关键帧和对应的至少一个共视关键帧的相似度，并选择数值最小的所述相似度作为预设阈值；
基于所述预设阈值，在所述待检测关键帧库中筛选出与当前的所述待检测关键帧的相似度高于预设阈值的所述待检测关键帧作为所述候选关键帧。
可选地，在确定所述待检测关键帧的相似度高于所述预设阈值后，所述方法进一步包括：
判断所述待检测关键帧和对应的所述共视关键帧组成的集合与前一候选关键帧及其对应的所述共视关键帧组成的所述集合是否重合；
当连续重合的所述集合的数值大于预设连续阈值时，将连续重合的多个所述待检测关键帧中的最后一个所述待检测关键帧作为所述候选关键帧。
可选地，通过所述候选关键帧对应的所述客户端获取与所述候选关键帧对应的地图点的第一三维坐标，以及通过所述待检测关键帧对应的所述客户端获取与所述待检测关键帧对应的地图点的第二三维坐标；
将所述候选关键帧的所述第一三维坐标和所述待检测关键帧的所述第二三维坐标进行词袋模型匹配，并过滤匹配失败的所述候选关键帧；
迭代计算所述候选关键帧的位姿变换矩阵，并在迭代至最大次数时仍未生成所述候选关键帧的位姿变换矩阵时过滤所述候选关键帧。
可选地，将所述待检测关键帧的所述地图点投影至三维空间，生成在三维空间的空间点，并将所述空间点投影至所述候选关键帧进行投影匹配。
可选地，计算所述待检测关键帧在所述融合三维点云地图中的重投影误差，并基于所述重投影误差对所述待检测关键帧进行位姿优化。
在本发明的另一个实施例中，提供了一种多机协同构建三维点云地图的装置，该装置包括：
第一获取模块，用于获取至少一个客户端采集的深度图像帧和RGB图像帧，并基于所述深度图像帧和RGB图像帧生成待检测关键帧；
第一生成模块，用于对所述待检测关键帧进行位姿优化，并将位姿优化后的所述待检测关键帧确定为待融合关键帧，以及，基于待融合关键帧和与所述待融合关键帧对应的三维点云地图数据进行三维点云地图融合，生成融合三维点云地图；
第二获取模块，用于基于所述融合三维点云地图对所述待检测关键帧进行位姿优化，并获取优化后的所述客户端在采集所述深度图像帧和所述RGB图像帧时的位姿信息，所述位姿信息包括四元数位姿参数、三维坐标和采集时间戳；
第二生成模块，用于根据所述位姿信息将所述客户端采集的所述深度图像帧和所述RGB图像帧转换为点云数据，并基于所述采集时间戳将所述点云数据进行拼接，生成待展示场景的三维点云地图。
在本发明的另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行上述一种多机协同构建三维点云地图的方法中的各个步骤。
在本发明的另一个实施例中，提供了一种终端设备，包括处理器，所述处理器用于执行上述一种多机协同构建三维点云地图的方法中的各个步骤。
基于上述实施例，首先获取至少一个客户端采集的深度图像帧和RGB图像帧，并基于深度图像帧和RGB图像帧生成待检测关键帧，其次，对待检测关键帧进行位姿优化，并将位姿优化后的待检测关键帧确定为待融合关键帧，以及，基于待融合关键帧和与待融合关键帧对应的位姿关系及与待融合关键帧关联的地图点数据进行三维点云地图融合，生成融合三维点云地图，进一步地，基于融合三维点云地图对待检测关键帧进行全局位姿优化，并获取优化后的客户端在采集深度图像帧和RGB图像帧时的位姿信息，位姿信息包括四元数位姿参数、三维坐标和采集时间戳，最后，根据位姿信息将客户端采集的深度图像帧和RGB图像帧转换为点云数据，并基于采集时间戳将点云数据进行拼接，生成待展示场景的三维点云地图。本申请实施例通过优化生成高精度位姿进行场景重建，使重建结果可以得到进一步应用，且提升了建图精度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的服务端和各个客户端之间的系统拓扑图；
图2示出了本申请实施例100示出的一种多机协同构建三维点云地图的方法的流程示意图；
图3示出了本申请实施例提供的服务端和客户端的通信方式的示意图；
图4示出了本申请实施例200提供的一种多机协同构建三维点云地图的方法的具体流程的示意图；
图5示出了本申请实施例500还提供一种多机协同构建三维点云地图的装置的示意图；
图6示出了本申请实施例600所提供的一种终端设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
本申请实施例中设置服务端基于ORB-SLAM2为每个客户端分别创建视觉SLAM子系统，并根据收集到的图像数据包中的客户端编号，将其传送给对应的子系统，进行视觉SLAM。同时，服务端为每个客户端创建地图管理器，用来管理客户端的地图数据，并通过额外线程检测地图是否满足融合条件，对于满足条件的地图进行融合并将融合地图分别返回对应的地图管理器中。在协同SLAM结束后，服务端输出每个客户端的七自由度相机位姿，并综合所有客户端的相机位姿进行场景稠密重建。下面以具体实施例对本发明的技术方案进行详细说明，以实现一种多机协同构建三维点云地图的方法。以下几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。本申请实施例中的服务端和各个客户端之间的系统拓扑图如图1所示，其中，服务端在初始化时需要指定客户端数量，并为每一个客户端创建基于特征点的实时单目SLAM系统即ORB-SLAM2子系统和地图管理器。进一步地，如图2所示，为本申请实施例100提供的一种多机协同构建三维点云地图的方法的流程示意图。其中，详细步骤如下：
S21，获取至少一个客户端采集的深度图像帧和RGB图像帧，并基于深度图像帧和RGB图像帧生成待检测关键帧。
本步骤中，客户端设置有可以采集深度图像帧和RGB图像帧的RGB-D相机。本申请实施例中设置有服务端和至少一个客户端，服务端和客户端之间基于机器人操作系统(Robot Operating System,ROS)进行数据通信。具体的，由服务端接收客户端采集的深度图像帧和RGB图像帧。进一步地，由深度图像帧和RGB图像帧合成图像帧并筛选出待检测关键帧。
S22，对待检测关键帧进行位姿优化，并将位姿优化后的待检测关键帧确定为待融合关键帧，以及，基于待融合关键帧和与待融合关键帧对应的位姿关系及与待融合关键帧关联的地图点数据进行三维点云地图融合，生成融合三维点云地图。
本步骤中，服务端的地图融合线程接收来自局部建图线程的关键帧序列，并基于关键帧进行三维点云地图的融合。具体的，对待检测关键帧进行检测重叠和计算相对Sim3位姿变换等位姿优化后，筛选出符合地图融合条件的待融合关键帧。进一步地，基于待融合关键帧的位姿关系及在客户端中对应的地图点数据，进行地图融合以生成融合后的半稠密点云地图。
S23，基于融合三维点云地图对待检测关键帧进行全局位姿优化，并获取优化后的客户端在采集深度图像帧和RGB图像帧时的位姿信息，位姿信息包括四元数位姿参数、三维坐标和采集时间戳。
本步骤中，融合完毕后，基于融合三维点云地图使用全局BA进行整体位姿的优化。进一步地，完成协同视觉SLAM后，输出每个客户端在SLAM过程中包含七自由度位姿的位姿信息。其中，位姿信息为客户端中的每一RGB-D相机在某一帧待检测图像帧下的位姿，其格式为[ID of Frame]x y z qx qy qz qw，其中，[ID of Frame]为每一帧待检测图像帧的采集时间戳，和RGB-D相机在当前位姿下的三维坐标和四元数位姿参数。
S24，根据位姿信息将客户端采集的深度图像帧和RGB图像帧转换为点云数据，并基于采集时间戳将点云数据进行拼接，生成待展示场景的三维点云地图。
本步骤中，在获取优化后的位姿信息后，基于场景重建具有位姿的无序性，服务端将客户端位姿进行整合，接着根据每一行位姿的采集时间戳将对应的RGB图像帧和深度图像帧转换为稠密点云，并对点云进行拼接。为了避免点云数据过于庞大，可使用滤波器对点云进行滤波，最后生成待展示场景的三维点云地图。
如上所述，基于上述实施例，首先获取至少一个客户端采集的深度图像帧和RGB图像帧，并基于深度图像帧和RGB图像帧生成待检测关键帧，其次，对待检测关键帧进行位姿优化，并将位姿优化后的待检测关键帧确定为待融合关键帧，以及，基于待融合关键帧和与待融合关键帧对应的三维点云地图数据进行三维点云地图融合，生成融合三维点云地图，进一步地，基于融合三维点云地图对待检测关键帧进行位姿优化，并获取优化后的客户端在采集深度图像帧和RGB图像帧时的位姿信息，位姿信息包括四元数位姿参数、三维坐标和采集时间戳，最后，根据位姿信息将客户端采集的深度图像帧和RGB图像帧转换为点云数据，并基于采集时间戳将点云数据进行拼接，生成待展示场景的三维点云地图。本申请实施例通过优化生成高精度位姿进行场景重建，使重建结果可以得到进一步应用，且提升了建图精度。
本申请实施例中的服务端和客户端基于ROS进行数据通信。如图3所示，为本申请实施例示出的服务端和客户端的通信方式。具体的，ROS作为一种基于图结构的机器人元操作系统，在不同节点的进程可以接收、发布和聚合各种信息。基于TCP/IP的通信网络协议，在客户端采集图像数据后，用ROS的消息进行封装，然后通过发布器发布到话题中，服务端通过接收器订阅话题并接收消息进行处理。其中，服务端与客户端通信消息类型及含义如表1示。
表1
如图4所示，为本申请实施例200提供的一种多机协同构建三维点云地图的方法的具体流程的示意图。该具体流程的详细过程如下：
S401，获取样本图像帧获取至少一个客户端采集的深度图像帧和RGB图像帧，并基于深度图像帧和RGB图像帧生成待检测关键帧。
S402，在待检测关键帧组成的待检测关键帧库中为当前的待检测关键帧选取具有重叠关系的待检测关键帧作为候选关键帧。
这里，由至少一个客户端采集生成的待检测关键帧组成待检测关键帧库，并在待检测关键帧库中筛选与当前的待检测关键帧具有重叠关系的候选关键帧。具体的，计算当前的待检测关键帧和对应的至少一个共视关键帧的相似度，并选择数值最小的相似度作为预设阈值。进一步地，基于预设阈值，在待检测关键帧库中筛选出与当前的待检测关键帧的相似度高于预设阈值的待检测关键帧作为候选关键帧。其中，共视关键帧为与当前的待检测关键帧具有共视关系的关键帧。具体的，服务端首先获取当前的待检测关键帧的客户端的客户端编号及其共视关键帧，并对当前的待检测关键帧上锁防止其他线程删除该待检测关键帧。可选地，可以使用词袋技术计算当前的待检测关键帧及其共视关键帧的BoW得分作为相似度，并将数值最小的相似度作作为检测重叠时选取候选关键帧的预设阈值。
进一步地，在待检测关键帧库中筛选出与当前的待检测关键帧的相似度高于预设阈值的待检测关键帧作为候选关键帧的步骤中，在确定待检测关键帧的相似度高于预设阈值后，判断待检测关键帧和对应的共视关键帧组成的集合与前一候选关键帧及其对应的共视关键帧组成的集合是否重合，以及当连续重合的集合的数值大于预设连续阈值时，将连续重合的多个待检测关键帧中的最后一个待检测关键帧作为候选关键帧。具体的，为了降低检测的误匹配率，需要对待检测关键帧进行连续性检测，通过判断每个待检测关键帧及其共视关键帧组成的集合之间是否有交集来确定是否具有重叠关系。如果当前待检测关键帧及其共视关键帧的集合与前一待检测关键帧及其共视关键帧的集合有交集，则称这两个待检测关键帧连续，选取连续性数大于预设连续阈值的多个待检测关键帧中的最后一个关键帧作为候选关键帧。其中，预设连续阈值可以基于业务需要具体设定，本申请实施例中的最佳数值为3。
S403，过滤不符合匹配条件的候选关键帧。
这里，通过候选关键帧对应的客户端获取与候选关键帧对应的地图点的第一三维坐标，以及通过待检测关键帧对应的客户端获取与待检测关键帧对应的地图点的第二三维坐标；将候选关键帧的第一三维坐标和待检测关键帧的第二三维坐标进行词袋模型匹配，并过滤匹配失败的候选关键帧。具体的，地图点由客户端中的地图管理器进行采集和存储。通过计算候选关键帧的Sim3位姿，判断该候选关键帧是否满足匹配条件。其中，将每个候选关键帧与当前的待检测关键帧使用词袋技术进行匹配。如果候选关键帧和待检测关键帧匹配的地图点满足要求，则根据地图点初始化Sim3位姿求解器，否则剔除该候选关键帧。
进一步地，迭代计算候选关键帧的位姿变换矩阵，并在迭代至最大次数时仍未生成候选关键帧的位姿变换矩阵时过滤候选关键帧。具体的，使用RANSAC迭代求解Sim3位姿变换矩阵，如果迭代到最大次数仍然未求出Sim3位姿变换矩阵，则剔除该候选关键帧。
S404，将候选关键帧与当前的待检测关键帧进行投影匹配，并将投影匹配后满足匹配阈值的候选关键帧作为当前的待检测关键帧的待融合关键帧。
这里，将待检测关键帧的地图点投影至三维空间，生成在三维空间的空间点，并将空间点投影至候选关键帧进行投影匹配。具体的，对于求得Sim3位姿变换矩阵的候选关键帧，重新在客户端搜索得到更多匹配地图点，并利用地图点优化位姿。进一步地，将所有求得Sim3位姿变换矩阵的候选关键帧的共视帧及其地图点并与当前的待检测关键帧进行投影匹配，并在匹配时确定候选关键帧为待融合关键帧。
S405，基于待融合关键帧和与待融合关键帧对应的三维点云地图数据进行三维点云地图融合，生成融合三维点云地图。
这里，首先获取待融合关键帧对应的客户端的客户端编号，并从相应的客户端的地图管理器中提取出三维点云地图数据。进一步地，通过传播法校准地图管理器中所有待检测关键帧的位姿，并重新计算待检测关键帧关联的地图点的三维坐标，根据共视关系将多方的共视图连接起来，并融合地图点，生成融合三维点云地图。
S406，基于融合三维点云地图对待检测关键帧进行位姿优化。
这里，融合完毕后，使用全局BA进行整体位姿的优化。此时多个三维点云地图已经融合完毕，用融合后的三维点云地图数据更新多方的地图管理器。具体的，计算待检测关键帧在融合三维点云地图中的重投影误差，并基于重投影误差对待检测关键帧进行位姿优化。
上述为本申请实施例提供的协同视觉SLAM的具体过程。
S407，获取优化后的客户端在采集深度图像帧和RGB图像帧时的位姿信息，位姿信息包括四元数位姿参数、三维坐标和采集时间戳。
本步骤中，输出每个客户端在SLAM过程中包含七自由度位姿的位姿信息。其中，位姿信息为客户端中的每一RGB-D相机在某一帧待检测图像帧下的位姿，其格式为[ID ofFrame]x y z qx qy qz qw，其中，[ID of Frame]为每一帧待检测图像帧的采集时间戳，和RGB-D相机在当前位姿下的三维坐标和四元数位姿参数。
S408，根据位姿信息将所述客户端采集的深度图像帧和所述RGB图像帧转换为点云数据，并基于采集时间戳将点云数据进行拼接，生成待展示场景的三维点云地图。
这里，在获取优化后的位姿信息后，基于场景重建具有位姿的无序性，服务端将客户端位姿进行整合，接着根据每一行位姿的采集时间戳将对应的RGB图像帧和深度图像帧转换为稠密点云，并对点云进行拼接。为了避免点云数据过于庞大，可使用滤波器对点云进行滤波，最后生成待展示场景的三维点云地图。
本申请基于上述步骤实现上述一种多机协同构建三维点云地图的方法。通过针对单机器人视觉SLAM存在的建图速度慢、存储空间小及经典的ORB-SLAM2框架只能进行半稠密建图等问题，本申请实施例提出了一种基于RGB-D相机的多机器人协同SLAM及场景重建的方法。其中，通过在客户端利用RGB-D相机采集RGB图和深度图，并基于ROS将图像数据传输给服务端。进一步地，服务端基于ORB-SLAM2为每个客户端分别创建视觉SLAM子系统，并根据收集到的图像数据包中的客户端编号，将其传送给对应的子系统，进行视觉SLAM。同时，服务端为每个客户端创建地图管理器，用来管理客户端的地图数据，并通过额外线程检测地图是否满足融合条件，对于满足条件的地图进行融合并将融合地图分别返回对应的地图管理器中。服务端在初始化时需要指定客户端数量，并为每一个客户端创建ORB-SLAM2子系统和地图管理器。RGB-D图像序列进入系统后，经过跟踪线程和局部建图线程处理后，将生成的关键帧分别传输到回环检测线程和地图融合线程，在回环校正或地图融合结束后进行全局BA优化。协同SLAM结束后输出所有客户端全局相机位姿，并综合所有客户端的相机位姿进行场景稠密重建。
本申请实施例通过基于RGB-D相机的多机器人协同SLAM算法且采用流行的RGB-D相机作为传感器进行协同SLAM，得到较高精度的相机位姿，更快的建图速度和更高的建图精度。同时，将多机协同SLAM和场景稠密重建结合，利用协同SLAM输出的高精度位姿进行场景重建，使重建结果可以得到进一步应用。
基于同一发明构思，本申请实施例500还提供一种多机协同构建三维点云地图的装置，其中，如图5所示，该装置包括：
第一获取模块51，用于获取至少一个客户端采集的深度图像帧和RGB图像帧，并基于深度图像帧和RGB图像帧生成待检测关键帧；
第一生成模块52，用于对待检测关键帧进行位姿优化，并将位姿优化后的待检测关键帧确定为待融合关键帧，以及，基于待融合关键帧和与待融合关键帧对应的三维点云地图数据进行三维点云地图融合，生成融合三维点云地图；
第二获取模块53，用于基于融合三维点云地图对待检测关键帧进行位姿优化，并获取优化后的客户端在采集深度图像帧和所述RGB图像帧时的位姿信息，位姿信息包括四元数位姿参数、三维坐标和采集时间戳；
第二生成模块54，用于根据位姿信息将客户端采集的深度图像帧和RGB图像帧转换为点云数据，并基于采集时间戳将点云数据进行拼接，生成待展示场景的三维点云地图。
本实施例中，第一获取模块51、第一生成模块52、第二获取模块53和第二生成模块54的具体功能和交互方式，可参见图1对应的实施例的记载，在此不再赘述。
如图6所示，本申请的又一实施例600还提供一种终端设备，包括处理器601，其中，处理器601用于执行上述一种多机协同构建三维点云地图的方法的步骤。从图6中还可以看出，上述实施例提供的终端设备还包括非瞬时计算机可读存储介质602，该非瞬时计算机可读存储介质602上存储有计算机程序，该计算机程序被处理器601运行时执行上述一种多机协同构建三维点云地图的方法的步骤。实际应用中，该终端设备可以是一台或多台计算机，只要包括上述计算机可读介质和处理器即可。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘和FLASH等，该存储介质上的计算机程序被运行时，能够执行上述的一种多机协同构建三维点云地图的方法中的各个步骤。实际应用中，所述的计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或多个程序被执行时，能够执行上述的一种多机协同构建三维点云地图的方法中的各个步骤。
根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标注的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行变更或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些变更、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种多机协同构建三维点云地图的方法，其特征在于，包括：
获取至少一个客户端采集的深度图像帧和RGB图像帧，并基于所述深度图像帧和RGB图像帧生成待检测关键帧；
对所述待检测关键帧进行位姿优化，并将位姿优化后的所述待检测关键帧确定为待融合关键帧，以及，基于所述待融合关键帧和与所述待融合关键帧对应的位姿关系及与所述待融合关键帧关联的地图点数据进行三维点云地图融合，生成融合三维点云地图；
基于所述融合三维点云地图对所述待检测关键帧进行全局位姿优化，并获取优化后的所述客户端在采集所述深度图像帧和所述RGB图像帧时的位姿信息，所述位姿信息包括四元数位姿参数、三维坐标和采集时间戳；
根据所述位姿信息将所述客户端采集的所述深度图像帧和所述RGB图像帧转换为点云数据，并基于所述采集时间戳将所述点云数据进行拼接，生成待展示场景的三维点云地图。
2.根据权利要求1所述的方法，其特征在于，所述并将位姿优化后的所述待检测关键帧确定为待融合关键帧的步骤包括：
在所述待检测关键帧组成的待检测关键帧库中为当前的所述待检测关键帧选取具有重叠关系的所述待检测关键帧作为候选关键帧；
将所述候选关键帧与当前的所述待检测关键帧进行投影匹配，并将投影匹配后满足匹配阈值的所述候选关键帧作为当前的所述待检测关键帧的所述待融合关键帧。
3.根据权利要求2所述的方法，其特征在于，所述在所述待检测关键帧组成的待检测关键帧库中为当前的所述待检测关键帧选取具有重叠关系的所述待检测关键帧作为候选关键帧的步骤包括：
计算当前的所述待检测关键帧和对应的至少一个共视关键帧的相似度，并选择数值最小的所述相似度作为预设阈值；
基于所述预设阈值，在所述待检测关键帧库中筛选出与当前的所述待检测关键帧的相似度高于预设阈值的所述待检测关键帧作为所述候选关键帧。
4.根据权利要求2所述的方法，其特征在于，所述在所述待检测关键帧库中筛选出与当前的所述待检测关键帧的相似度高于预设阈值的所述待检测关键帧作为所述候选关键帧的步骤中，在确定所述待检测关键帧的相似度高于所述预设阈值后，所述方法进一步包括：
判断所述待检测关键帧和对应的所述共视关键帧组成的集合与前一候选关键帧及其对应的所述共视关键帧组成的所述集合是否重合；
当连续重合的所述集合的数值大于预设连续阈值时，将连续重合的多个所述待检测关键帧中的最后一个所述待检测关键帧作为所述候选关键帧。
5.根据权利要求2所述的方法，其特征在于，所述在所述待检测关键帧组成的待检测关键帧库中为当前的所述待检测关键帧选取具有重叠关系的所述待检测关键帧作为候选关键帧的步骤和所述将所述候选关键帧与当前的所述待检测关键帧进行投影匹配的步骤之间，所述方法进一步包括：
通过所述候选关键帧对应的所述客户端获取与所述候选关键帧对应的地图点的第一三维坐标，以及通过所述待检测关键帧对应的所述客户端获取与所述待检测关键帧对应的地图点的第二三维坐标；
将所述候选关键帧的所述第一三维坐标和所述待检测关键帧的所述第二三维坐标进行词袋模型匹配，并过滤匹配失败的所述候选关键帧；
迭代计算所述候选关键帧的位姿变换矩阵，并在迭代至最大次数时仍未生成所述候选关键帧的位姿变换矩阵时过滤所述候选关键帧。
6.根据权利要求5所述的方法，其特征在于，所述将所述候选关键帧与当前的所述待检测关键帧进行投影匹配的步骤包括：
将所述待检测关键帧的所述地图点投影至三维空间，生成在三维空间的空间点，并将所述空间点投影至所述候选关键帧进行投影匹配。
7.根据权利要求1所述的方法，其特征在于，所述基于所述融合三维点云地图对所述待检测关键帧进行位姿优化的步骤包括：
计算所述待检测关键帧在所述融合三维点云地图中的重投影误差，并基于所述重投影误差对所述待检测关键帧进行位姿优化。
8.一种多机协同构建三维点云地图的装置，其特征在于，所述投影模块包括：
第一获取模块，用于获取至少一个客户端采集的深度图像帧和RGB图像帧，并基于所述深度图像帧和RGB图像帧生成待检测关键帧；
第一生成模块，用于对所述待检测关键帧进行位姿优化，并将位姿优化后的所述待检测关键帧确定为待融合关键帧，以及，基于所述待融合关键帧和与所述待融合关键帧对应的位姿关系及与所述待融合关键帧关联的地图点数据进行三维点云地图融合，生成融合三维点云地图；
第二获取模块，用于基于所述融合三维点云地图对所述待检测关键帧进行全局位姿优化，并获取优化后的所述客户端在采集所述深度图像帧和所述RGB图像帧时的位姿信息，所述位姿信息包括四元数位姿参数、三维坐标和采集时间戳；
第二生成模块，用于根据所述位姿信息将所述客户端采集的所述深度图像帧和所述RGB图像帧转换为点云数据，并基于所述采集时间戳将所述点云数据进行拼接，生成待展示场景的三维点云地图。
9.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如权利要求1至7任一项所述的一种多机协同构建三维点云地图的方法中的各个步骤。
10.一种终端设备，其特征在于，包括处理器，所述处理器用于执行如权利要求1至7中任一项所述的一种多机协同构建三维点云地图的方法中的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010798203.5A CN111951397B (zh) | 2020-08-07 | 2020-08-07 | 一种多机协同构建三维点云地图的方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010798203.5A CN111951397B (zh) | 2020-08-07 | 2020-08-07 | 一种多机协同构建三维点云地图的方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111951397A true CN111951397A (zh) | 2020-11-17 |
| CN111951397B CN111951397B (zh) | 2022-06-24 |
Family
ID=73333161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010798203.5A Active CN111951397B (zh) | 2020-08-07 | 2020-08-07 | 一种多机协同构建三维点云地图的方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111951397B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419501A (zh) * | 2020-12-10 | 2021-02-26 | 中山大学 | 一种地空异构协同地图构建方法 |
| CN112489102A (zh) * | 2020-11-30 | 2021-03-12 | 北京百度网讯科技有限公司 | 三维重建方法、装置、设备以及存储介质 |
| CN113160102A (zh) * | 2021-04-25 | 2021-07-23 | 北京华捷艾米科技有限公司 | 三维场景重建的方法、装置、设备和存储介质 |
| CN113160406A (zh) * | 2021-04-26 | 2021-07-23 | 北京车和家信息技术有限公司 | 道路三维重建方法、装置、存储介质及电子设备 |
| CN113178000A (zh) * | 2021-03-26 | 2021-07-27 | 杭州易现先进科技有限公司 | 三维重建方法、装置、电子设备及计算机存储介质 |
| CN113327318A (zh) * | 2021-05-18 | 2021-08-31 | 禾多科技（北京）有限公司 | 图像显示方法、装置、电子设备和计算机可读介质 |
| CN113432593A (zh) * | 2021-06-25 | 2021-09-24 | 北京华捷艾米科技有限公司 | 集中式同步定位与地图构建方法、装置和系统 |
| CN113436559A (zh) * | 2021-05-19 | 2021-09-24 | 吉林大学 | 一种沙盘动态景观实时显示系统及显示方法 |
| CN113470089A (zh) * | 2021-07-21 | 2021-10-01 | 中国人民解放军国防科技大学 | 一种基于三维点云的跨域协同定位和建图方法及系统 |
| CN113628335A (zh) * | 2021-07-28 | 2021-11-09 | 深圳优艾智合机器人科技有限公司 | 点云地图构建方法、装置及计算机可读存储介质 |
| CN113660540A (zh) * | 2021-10-21 | 2021-11-16 | 广东皓耘科技有限公司 | 图像信息处理方法、系统、显示方法、装置及存储介质 |
| CN113763468A (zh) * | 2021-01-21 | 2021-12-07 | 北京京东乾石科技有限公司 | 一种定位方法、装置、系统及存储介质 |
| CN113808268A (zh) * | 2021-09-17 | 2021-12-17 | 浙江大学 | 一种低带宽全局一致的多机稠密建图方法 |
| CN115102932A (zh) * | 2022-06-09 | 2022-09-23 | 腾讯科技（深圳）有限公司 | 点云媒体的数据处理方法、装置、设备、存储介质及产品 |
| CN115376051A (zh) * | 2022-10-25 | 2022-11-22 | 杭州华橙软件技术有限公司 | 关键帧的管理方法及管理装置、slam方法、电子设备 |
| CN115375870A (zh) * | 2022-10-25 | 2022-11-22 | 杭州华橙软件技术有限公司 | 回环检测优化方法、电子设备及计算机可读存储装置 |
| CN115965673A (zh) * | 2022-11-23 | 2023-04-14 | 中国建筑一局(集团)有限公司 | 基于双目视觉的集中式多机器人定位方法 |
| CN116883627A (zh) * | 2023-06-19 | 2023-10-13 | 中铁第四勘察设计院集团有限公司 | 一种无人机视频增强现实处理方法及系统 |
| CN117237553A (zh) * | 2023-09-14 | 2023-12-15 | 广东省核工业地质局测绘院 | 一种基于点云图像融合的三维地图测绘系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109658449A (zh) * | 2018-12-03 | 2019-04-19 | 华中科技大学 | 一种基于rgb-d图像的室内场景三维重建方法 |
| CN109816769A (zh) * | 2017-11-21 | 2019-05-28 | 深圳市优必选科技有限公司 | 基于深度相机的场景地图生成方法、装置及设备 |
| CN110243370A (zh) * | 2019-05-16 | 2019-09-17 | 西安理工大学 | 一种基于深度学习的室内环境三维语义地图构建方法 |
| US20200043189A1 (en) * | 2017-01-13 | 2020-02-06 | Zhejiang University | Simultaneous positioning and dense three-dimensional reconstruction method |
-
2020
- 2020-08-07 CN CN202010798203.5A patent/CN111951397B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200043189A1 (en) * | 2017-01-13 | 2020-02-06 | Zhejiang University | Simultaneous positioning and dense three-dimensional reconstruction method |
| CN109816769A (zh) * | 2017-11-21 | 2019-05-28 | 深圳市优必选科技有限公司 | 基于深度相机的场景地图生成方法、装置及设备 |
| CN109658449A (zh) * | 2018-12-03 | 2019-04-19 | 华中科技大学 | 一种基于rgb-d图像的室内场景三维重建方法 |
| CN110243370A (zh) * | 2019-05-16 | 2019-09-17 | 西安理工大学 | 一种基于深度学习的室内环境三维语义地图构建方法 |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112489102A (zh) * | 2020-11-30 | 2021-03-12 | 北京百度网讯科技有限公司 | 三维重建方法、装置、设备以及存储介质 |
| CN112419501A (zh) * | 2020-12-10 | 2021-02-26 | 中山大学 | 一种地空异构协同地图构建方法 |
| CN113763468A (zh) * | 2021-01-21 | 2021-12-07 | 北京京东乾石科技有限公司 | 一种定位方法、装置、系统及存储介质 |
| CN113763468B (zh) * | 2021-01-21 | 2023-12-05 | 北京京东乾石科技有限公司 | 一种定位方法、装置、系统及存储介质 |
| CN113178000A (zh) * | 2021-03-26 | 2021-07-27 | 杭州易现先进科技有限公司 | 三维重建方法、装置、电子设备及计算机存储介质 |
| CN113178000B (zh) * | 2021-03-26 | 2022-06-24 | 杭州易现先进科技有限公司 | 三维重建方法、装置、电子设备及计算机存储介质 |
| CN113160102A (zh) * | 2021-04-25 | 2021-07-23 | 北京华捷艾米科技有限公司 | 三维场景重建的方法、装置、设备和存储介质 |
| CN113160406A (zh) * | 2021-04-26 | 2021-07-23 | 北京车和家信息技术有限公司 | 道路三维重建方法、装置、存储介质及电子设备 |
| CN113160406B (zh) * | 2021-04-26 | 2024-03-01 | 北京车和家信息技术有限公司 | 道路三维重建方法、装置、存储介质及电子设备 |
| CN113327318A (zh) * | 2021-05-18 | 2021-08-31 | 禾多科技（北京）有限公司 | 图像显示方法、装置、电子设备和计算机可读介质 |
| CN113327318B (zh) * | 2021-05-18 | 2022-07-29 | 禾多科技（北京）有限公司 | 图像显示方法、装置、电子设备和计算机可读介质 |
| CN113436559A (zh) * | 2021-05-19 | 2021-09-24 | 吉林大学 | 一种沙盘动态景观实时显示系统及显示方法 |
| CN113436559B (zh) * | 2021-05-19 | 2023-04-14 | 吉林大学 | 一种沙盘动态景观实时显示系统及显示方法 |
| CN113432593A (zh) * | 2021-06-25 | 2021-09-24 | 北京华捷艾米科技有限公司 | 集中式同步定位与地图构建方法、装置和系统 |
| CN113470089B (zh) * | 2021-07-21 | 2022-05-03 | 中国人民解放军国防科技大学 | 一种基于三维点云的跨域协同定位和建图方法及系统 |
| CN113470089A (zh) * | 2021-07-21 | 2021-10-01 | 中国人民解放军国防科技大学 | 一种基于三维点云的跨域协同定位和建图方法及系统 |
| CN113628335A (zh) * | 2021-07-28 | 2021-11-09 | 深圳优艾智合机器人科技有限公司 | 点云地图构建方法、装置及计算机可读存储介质 |
| CN113808268A (zh) * | 2021-09-17 | 2021-12-17 | 浙江大学 | 一种低带宽全局一致的多机稠密建图方法 |
| CN113808268B (zh) * | 2021-09-17 | 2023-09-26 | 浙江大学 | 一种低带宽全局一致的多机稠密建图方法 |
| CN113660540A (zh) * | 2021-10-21 | 2021-11-16 | 广东皓耘科技有限公司 | 图像信息处理方法、系统、显示方法、装置及存储介质 |
| CN115102932A (zh) * | 2022-06-09 | 2022-09-23 | 腾讯科技（深圳）有限公司 | 点云媒体的数据处理方法、装置、设备、存储介质及产品 |
| CN115102932B (zh) * | 2022-06-09 | 2024-01-12 | 腾讯科技（深圳）有限公司 | 点云媒体的数据处理方法、装置、设备、存储介质及产品 |
| CN115376051B (zh) * | 2022-10-25 | 2023-03-24 | 杭州华橙软件技术有限公司 | 关键帧的管理方法及管理装置、slam方法、电子设备 |
| CN115375870B (zh) * | 2022-10-25 | 2023-02-10 | 杭州华橙软件技术有限公司 | 回环检测优化方法、电子设备及计算机可读存储装置 |
| CN115375870A (zh) * | 2022-10-25 | 2022-11-22 | 杭州华橙软件技术有限公司 | 回环检测优化方法、电子设备及计算机可读存储装置 |
| CN115376051A (zh) * | 2022-10-25 | 2022-11-22 | 杭州华橙软件技术有限公司 | 关键帧的管理方法及管理装置、slam方法、电子设备 |
| CN115965673A (zh) * | 2022-11-23 | 2023-04-14 | 中国建筑一局(集团)有限公司 | 基于双目视觉的集中式多机器人定位方法 |
| CN115965673B (zh) * | 2022-11-23 | 2023-09-12 | 中国建筑一局(集团)有限公司 | 基于双目视觉的集中式多机器人定位方法 |
| CN116883627A (zh) * | 2023-06-19 | 2023-10-13 | 中铁第四勘察设计院集团有限公司 | 一种无人机视频增强现实处理方法及系统 |
| CN116883627B (zh) * | 2023-06-19 | 2024-04-19 | 中铁第四勘察设计院集团有限公司 | 一种无人机视频增强现实处理方法及系统 |
| CN117237553A (zh) * | 2023-09-14 | 2023-12-15 | 广东省核工业地质局测绘院 | 一种基于点云图像融合的三维地图测绘系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111951397B (zh) | 2022-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111951397B (zh) | 一种多机协同构建三维点云地图的方法、装置和存储介质 | |
| CN111968129B (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
| JP6898534B2 (ja) | 機械学習におけるデータ・ストレージを低減するためのシステムおよび方法 | |
| US20200300637A1 (en) | Collaborative navigation and mapping | |
| CN109658445A (zh) | 网络训练方法、增量建图方法、定位方法、装置及设备 | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| CN112270736B (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
| CN112037142B (zh) | 一种图像去噪方法、装置、计算机及可读存储介质 | |
| CN111951201A (zh) | 一种无人机航拍图像拼接方法、装置和存储介质 | |
| CN105141807A (zh) | 视频信号图像处理方法和装置 | |
| CN111008660A (zh) | 语义地图的生成方法、装置、系统、存储介质及电子设备 | |
| CN110738200A (zh) | 车道线3d点云地图构建方法、电子设备及存储介质 | |
| CN111274847A (zh) | 一种定位方法 | |
| CN113160130A (zh) | 一种回环检测方法、装置及计算机设备 | |
| CN115311434B (zh) | 一种倾斜摄影和激光数据融合的树木三维重建方法及装置 | |
| CN110084885A (zh) | 一种点云和图像优化方法、装置、设备和存储介质 | |
| CN112950710A (zh) | 位姿确定方法、装置、电子设备和计算机可读存储介质 | |
| CN113326769B (zh) | 高精地图生成方法、装置、设备及存储介质 | |
| CN112270748B (zh) | 基于图像的三维重建方法及装置 | |
| CN113932796A (zh) | 高精地图车道线生成方法、装置和电子设备 | |
| CN116051980B (zh) | 基于倾斜摄影的建筑识别方法、系统、电子设备及介质 | |
| Ma et al. | Multi-robot collaborative SLAM and scene reconstruction based on RGB-D camera | |
| WO2022127576A1 (zh) | 站点模型更新方法及系统 | |
| CN113514053B (zh) | 生成样本图像对的方法、装置和更新高精地图的方法 | |
| CN112288817B (zh) | 基于图像的三维重建处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |