CN117213470B - 一种多机碎片地图聚合更新方法及系统 - Google Patents
一种多机碎片地图聚合更新方法及系统 Download PDFInfo
- Publication number
- CN117213470B CN117213470B CN202311467332.6A CN202311467332A CN117213470B CN 117213470 B CN117213470 B CN 117213470B CN 202311467332 A CN202311467332 A CN 202311467332A CN 117213470 B CN117213470 B CN 117213470B
- Authority
- CN
- China
- Prior art keywords
- map
- global
- sub
- data
- machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000012634 fragment Substances 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000002776 aggregation Effects 0.000 title claims abstract description 34
- 238000004220 aggregation Methods 0.000 title claims abstract description 34
- 238000005457 optimization Methods 0.000 claims abstract description 45
- 238000007418 data mining Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000012795 verification Methods 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims description 52
- 230000004927 fusion Effects 0.000 claims description 30
- 238000005065 mining Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 12
- 230000007246 mechanism Effects 0.000 abstract description 4
- 230000036962 time dependent Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种多机碎片地图聚合更新方法及系统，属于智能建图技术领域，包括：多机碎片地图数据预处理；构建基于多机异构数据挖掘的分层重定位模型，提取具有鲁棒性的场景描述子并进行几何验证；构建基于局部‑全局联合优化的多机碎片地图聚合策略，融合优化全局地图，得到一致性全局地图，并对全局地图组织及存储；构建基于子地图的重叠度计算机制，并根据重叠度结果进行局部地图的更新或替换，最终实现全局地图的时效更新。本发明通过构建基于局部‑全局联合优化的多机碎片地图聚合策略，降低了多机多期数据优化复杂度。
Description
技术领域
本发明涉及智能建图技术领域，尤其涉及一种多机碎片地图聚合更新方法及系统。
背景技术
建图是机器人领域中的一个重要任务，它的目标是根据机器人搭载的激光雷达（Light Detection And Ranging，Lidar）、相机等传感器获取的数据，建立机器人所处环境的地图。高质量地图能够为智能调度与定位导航提供位姿约束、语义、物体分布等关键信息，是保障服务机器人、自动驾驶车辆等无人系统完成自主导航、环境感知、任务执行等工作的必备条件之一。
现有的单服务机器人建图技术存在效率低、更新维护困难、复杂场景易受动态物体干扰等问题。相比于单机建图，多机协作可以同时进行不同区域的建图任务，加快建图效率；同时多机可以覆盖更广的地图范围，提高建图的完整性和准确性。然而，多机建图技术也存在如下问题：
（1）多个机器人在不同的时间和地点进行建图，地图数据不同步，复杂场景下碎片地图之间聚合困难，且计算量较大。传统的地图聚合方法可以大致分为基于图像的方法和基于三维几何信息的方法。其中基于图像的方法依赖于图像匹配技术，通过匹配不同碎片地图中的图像来实现地图融合。但是由于场景变化等原因，匹配效果可能不稳定，且该方法无法获取场景准确的三维信息，难以获得更加精细的地图。基于三维几何的方法则利用点云数据，将不同地图中的点云数据进行配准和融合。但点云配准的计算量大，需要高性能的计算资源；
（2）多机碎片地图融合过程会出现数据冲突，导致地图一致性差，虽然通过全局优化的方式将融合建模成优化问题可以解决该问题，但是其计算复杂度较高，需要消耗大量的计算资源和时间；
（3）在多期建图中，由于环境和机器人的状态可能会发生变化，需要及时更新地图数据，并保持数据的一致性。但是传统的方法通常需要对整个地图进行重新计算和更新，计算复杂度较高，效率较低。
发明内容
本发明提供一种多机碎片地图聚合更新方法及系统，用以解决现有技术中碎片地图整合存在数据不同步，计算量大和迭代更新复杂的缺陷。
第一方面，本发明提供一种多机碎片地图聚合更新方法，包括：
获取多个单机局部地图数据，对所述多个单机局部地图数据进行预处理得到多机碎片地图；
构建基于多机异构数据挖掘的分层重定位模型，将所述多机碎片地图输入所述分层重定位模型进行场景重识别并估计碎片地图间的位姿变换，根据所述碎片地图间的位姿变换将碎片地图合成初步全局地图；
利用局部-全局联合优化方式对所述初步全局地图进行聚合优化，获得全局一致性地图；
根据采集的新的局部子地图和所述全局一致性地图之间的重叠度，更新全局地图。
根据本发明提供的一种多机碎片地图聚合更新方法，获取多个单机局部地图数据，对所述多个单机局部地图数据进行预处理得到多机碎片地图，包括：
根据预设场景大小和单机覆盖地图长度确定子地图大小；
将单机局部地图数据中的连续单帧点云数据合成为点云子地图数据，基于所述子地图大小将对应于所述连续单帧点云数据对应的图像数据划分为图像序列数据，所述点云子地图数据与所述图像序列数据在时间上重叠；
在所述子地图大小的范围内，根据预设保留点数下采样所述点云子地图数据；
获取单机局部地图数据中的相对位姿变换数据，以下采样后的点云子地图数据、所述图像序列数据和所述相对位姿变换数据构成所述多机碎片地图。
根据本发明提供的一种多机碎片地图聚合更新方法，构建基于多机异构数据挖掘的分层重定位模型，包括：
通过点云挖掘模块和图像挖掘模块分别挖掘所述多机碎片地图的子地图场景信息，得到点云特征和图像特征，通过多层感知机融合得到全局描述子，形成基于多源信息挖掘的场景重识别网络；
对所述基于多源信息挖掘的场景重识别网络进行训练，完成场景重识别并通过几何验证估计相对位姿，得到所述基于多机异构数据挖掘的分层重定位模型。
根据本发明提供的一种多机碎片地图聚合更新方法，所述点云挖掘模块包括第一卷积层、三层Transformer编码器、第二卷积层和VLAD层；
所述图像挖掘模块包括特征提取网络、注意力模块、特征融合网络和GeM；
对应地，将点云子地图数据依次输入所述第一卷积层、所述三层Transformer编码器、所述第二卷积层和所述VLAD层，得到点云全局描述子；
将图像序列数据依次输入所述特征提取网络、所述注意力模块、所述特征融合网络和所述GeM，得到图像全局描述子：
其中，为第k个通道特征图中的像素数，/>为第k个通道特征图中第u个像素值，/>，表示k个通道特征图中的一个像素u，/>表示通道总数，k表示任一通道，/>表示第k个通道的池化参数；
通过多层感知机融合得到全局描述子包括：
其中，表示特征通道拼接操作，/>表示多层感知机融合，包括全连接层和激活函数。
根据本发明提供的一种多机碎片地图聚合更新方法，对所述基于多源信息挖掘的场景重识别网络进行训练，完成场景重识别并通过几何验证估计相对位姿，得到所述基于多机异构数据挖掘的分层重定位模型，包括：
采用四元组进行损失训练，所述四元组包括查询样本（ ，/>）、正样本(/> ，/>）、负样本(/> ，/>）和其他负样本(/> ，/>)，其中/>表示子地图，/>表示图像，/>表示第/>个机器人下的碎片地图信息，/>表示第/>个子地图序列，/>代表查询样本标识，/>代表正样本标识，/>代表负样本标识，/>代表其他负样本标识，分别得到查询样本全局特征/>、正样本全局特征/>、负样本全局特征/>和其他负样本全局特征/>，输入得到损失函数/>：
其中，和/>为上下边界阈值，/>为距离度量函数，/>表示当两个向量之间的距离小于边界阈值时，损失为0，否则损失会随着距离的增加而逐渐增加；
采用所述场景重识别网络进行候选样本检索，根据特征距离度量值由小到大进行排序，以特征距离度量阈值确定查询位置正样本：
其中，为第k个检索样本的特征；
通过特征检索得到查询位置的候选样本，通过随机样本一致算法RANSAC筛选几何一致性样本，根据选取点对计算变换矩阵/>，基于变换矩阵/>将查询点云转换至候选帧坐标系中得到转换后点云；
采用迭代损失函数计算所述查询点云和所述转换后点云的距离，得到迭代损失：
其中，表示查询样本，即查询点云与候选样本，即转换后点云间对应的点数，/>表示查询样本中第i个点的值，/>表示候选样本中第i个点的值；
确定损失最小的候选样本，根据位置阈值/>判断同一位置判断值/>：
其中，为/>时表示查询样本与候选样本为同一位置，/>为/>时表示查询样本与候选样本为不同位置。
根据本发明提供的一种多机碎片地图聚合更新方法，利用局部-全局联合优化方式对所述初步全局地图进行聚合优化，获得全局一致性地图，包括：
采用光束法平差BA对所述初步全局地图进行局部优化，基于单帧点云数据的初始位姿和原始点云，通过最小化面元厚度对位姿和局部地图进行优化，输出优化后局部地图和优化后位姿，采用损失约束包括：
其中为第i个面元被观测到的所有帧的总数，/>为第i个面元被第j帧观测到的点的总数，/>为面元数量；
以所述优化后位姿为节点，以所述优化后局部地图的内部位姿节点之间的相对位姿为边，构建位姿图，对所述位置图进行优化：
其中，表示误差函数，/>为两个因子图中两个点/>之间的协方差矩阵，为两点之间的相对变换，/>为点到全局坐标系的最优变换；
采用Levenberg-Marquardt方法求解因子图，使所有相对位姿误差最小化；
将全局一致性地图按照预设距离划分为多个子地图进行存储：
其中，表示全局一致性地图，/>表示子地图。
根据本发明提供的一种多机碎片地图聚合更新方法，根据采集的新的局部子地图和所述全局一致性地图之间的重叠度，更新全局地图，包括：
采用基于多源信息挖掘的场景重识别网络检测采集的新地图数据的闭环位置，得到采集的新的局部子地图，利用所述基于多机异构数据挖掘的分层重定位模型预测所述采集的新的局部子地图/>和所述全局一致性地图中相应位置子地图的相对位姿变换/>，得到位姿变换/>；
计算所述采集的新的局部子地图和所述全局一致性地图中相应位置子地图之间的重叠度：
其中，为两个子地图中匹配的点对数，/>为两个子地图中重叠的点对数，当匹配点对之间的距离小于预设距离阈值时视为重叠的点对数；
确定局部地图更新阈值，当/>时，采用更新的子地图数据替换全局地图中相应的子地图，当/>时，在全局地图中插入更新的子地图数据，更新全局地图。
第二方面，本发明还提供一种多机碎片地图聚合更新系统，包括：
预处理模块，用于获取多个单机局部地图数据，对所述多个单机局部地图数据进行预处理得到多机碎片地图；
变换估计模块，用于构建基于多机异构数据挖掘的分层重定位模型，将所述多机碎片地图输入所述分层重定位模型进行场景重识别并估计碎片地图间的位姿变换，根据所述碎片地图间的位姿变换将碎片地图合成初步全局地图；
全局地图优化模块，用于利用局部-全局联合优化方式对所述初步全局地图进行聚合优化，获得全局一致性地图；
局部地图更新模块，用于根据采集的新的局部子地图和所述全局一致性地图之间的重叠度，更新全局地图。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多机碎片地图聚合更新方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多机碎片地图聚合更新方法。
本发明提供的多机碎片地图聚合更新方法及系统，通过异构信息的利用与挖掘，实现由粗到细的分层定位，提高场景重识别的效率与识别召回率；此外，构建基于局部-全局联合优化的多机碎片地图聚合策略，降低了多机多期数据优化复杂度；并且通过构建基于子地图的重叠度计算机制评估局部地图变化情况，实现全局地图的迭代更新，保证全局地图的时效性和可靠性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的多机碎片地图聚合更新方法的流程示意图；
图2是本发明提供的多机碎片地图聚合整体逻辑图；
图3是本发明提供的基于多源信息挖掘的分层重定位模型图；
图4是本发明提供的基于多源信息挖掘的场景重识别网络图；
图5是本发明提供的基于局部-全局联合优化的多机碎片地图融合策略流程图；
图6是本发明提供的多机碎片地图聚合更新系统的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的多机碎片地图聚合更新方法的流程示意图，如图1所示，包括：
步骤100：获取多个单机局部地图数据，对所述多个单机局部地图数据进行预处理得到多机碎片地图；
步骤200：构建基于多机异构数据挖掘的分层重定位模型，将所述多机碎片地图输入所述分层重定位模型进行场景重识别并估计碎片地图间的位姿变换，根据所述碎片地图间的位姿变换将碎片地图合成初步全局地图；
步骤300：利用局部-全局联合优化方式对所述初步全局地图进行聚合优化，获得全局一致性地图；
步骤400：根据采集的新的局部子地图和所述全局一致性地图之间的重叠度，更新全局地图。
具体地，本发明实施例提出的面向碎片地图的聚合及全局地图更新方案，首先对多机碎片地图进行预处理，建立基于局部-全局联合优化的地图融合优化机制，将完成预处理的多机碎片地图输入构建的多机异构数据挖掘的分层重定位模型，得到碎片地图间的位姿变换，初步合成全局地图，再通过局部-全局联合优化方式进一步优化全局地图，最后通过重叠度计算变化的局部地图和全局地图的重叠度，更新全局地图。其中的多机异构数据挖掘的分层重定位模型，是通过采用预处理的多机碎片地图，对构建的基于多源数据挖掘的场景重识别网络进行训练，完成场景识别并通过几何验证估计相对位姿所得到的。
如图2所示的整体逻辑图，对多机碎片地图进行预处理之后，输入基于多源数据挖掘的分层重定位模型，得到碎片地图间的位姿变换，进行初步融合建图后得到初步融合地图，然后进行局部-全局联合优化，对局部子地图更新，得到全局一致性地图，并进行更新迭代，不断进行优化，更新全局地图。
本发明通过构建基于多机异构数据挖掘的分层定位模型来避免复杂场景下单一传感器数据易受环境变化，重定位不准确且计算消耗大的问题；此外，设计基于局部-全局联合优化的碎片地图融合策略，提高地图融合的一致性，降低计算复杂度；并且，通过构建基于子地图的重叠度计算机制实现局部变化检测，更新维护地图一致性与时效性。
基于上述实施例，获取多个单机局部地图数据，对所述多个单机局部地图数据进行预处理得到多机碎片地图，包括：
根据预设场景大小和单机覆盖地图长度确定子地图大小；
将单机局部地图数据中的连续单帧点云数据合成为点云子地图数据，基于所述子地图大小将对应于所述连续单帧点云数据对应的图像数据划分为图像序列数据，所述点云子地图数据与所述图像序列数据在时间上重叠；
在所述子地图大小的范围内，根据预设保留点数下采样所述点云子地图数据；
获取单机局部地图数据中的相对位姿变换数据，以下采样后的点云子地图数据、所述图像序列数据和所述相对位姿变换数据构成所述多机碎片地图。
具体地，本发明实施例获取单机场景下，即单个机器人处理的局部地图数据，该数据包括点云帧序列数据、图像序列数据及局部地图下的相对位姿变换信息，其中点云数据与图像序列数据在时间上重叠。
由于大场景下数据量巨大，且在复杂场景下单帧点云或者图像数据也有可能因为环境、动态物体遮挡等影响导致信息不准确或缺失。因此我们对单帧点云数据进行子地图（submap）合成，对应地将图像数据划分为图像序列。
通常根据场景大小和单机覆盖地图长度来划分子地图大小，如每个submap覆盖20m位置，即将20m内的单帧数据合成一个submap，为，该submap包含的点云帧对应的图像形成一个图像序列/>,其中i表示第i个机器人下的碎片地图信息，j表示第j个submap或序列。由于每个submap中点云数量较大，存在冗余，本发明实施例通过均匀下采样的方式保留其中的4096个点。
基于上述实施例，构建基于多机异构数据挖掘的分层重定位模型，包括：
通过点云挖掘模块和图像挖掘模块分别挖掘所述多机碎片地图的子地图场景信息，得到点云特征和图像特征，通过多层感知机融合得到全局描述子，形成基于多源信息挖掘的场景重识别网络；
对所述基于多源信息挖掘的场景重识别网络进行训练，完成场景重识别并通过几何验证估计相对位姿，得到所述基于多机异构数据挖掘的分层重定位模型。
具体地，如图3所示的多源数据挖掘的分层重定位模型的示意图，该模型分为两个阶段，第一阶段为场景重识别阶段，即构建基于多源数据挖掘的场景重识别阶段；第二阶段为通过候选样本的点云信息进行位姿预测及几何验证，排除错误匹配帧，得到准确位姿。通过分层定位的方式能够先通过深度特征快速检索候选样本，再精确预测位姿并验证，有效提高重定位效率。
其中的基于多源数据挖掘的场景重识别网络结构如图4所示，输入信息为点云子地图和对应的图像序列/>。通过点云挖掘模块和图像挖掘模块分别挖掘子地图场景信息，然后将图像特征和点云特征进行拼接，并进一步通过MLP进行融合得到全局描述子/>。
点云挖掘模块包括卷积层(Convs)、Transformer编码器（由三层Transformer编码层构成）及局部特征向量聚合（Vector of Local Aggregated Descriptors，VLAD）层。第一卷积层Conv1可以将较低维度的局部特征映射到高维特征空间，然后通过三层Transformer层（T1、T2和T3）关注局部之间的上下文信息，挖掘点云特征。为了避免原始局部信息的丢失，在Transformer编码器后设置第二卷积层Conv2用于融合未关注上下文的局部信息，最后通过VLAD将局部特征进行融合得到点云的全局描述子。
图像挖掘模块包括特征提取网络、注意力模块、特征融合网络及广义平均池化（Generalized Mean，GeM）。其中特征提取网络可采用Resnet等深度卷积神经网络，用图像特征的提取；注意力模块采用时空注意力模块，即包含时间注意力和空间注意力，时间注意力模块主要在特征通道上实现，为了关注连续时间序列信息中更具判别性的特征，空间注意力能关注整个场景空间中更具判别性的局部位置，从而更好地挖掘序列图像中的重要特征；特征融合网络将在时空注意力加权的基础上融合序列图像的特征，该网络主要通过卷积层实现。最后通过GeM对输入的特征图执行一种自适应的平均池化操作，得到图像的全局特征描述子，池化计算公式如下：
（1）
其中，为第k个通道特征图中的像素数，/>为第k个通道特征图中第u个像素值，/>，表示k个通道特征图中的一个像素u，/>表示通道总数，k表示任一通道，/>表示第k个通道的池化参数，当/>时，该池化为平均池化，当时即为最大池化，由于在任务中难以确定最大池化和平均池化哪个最佳，因此采用网络训练得到/>最合适的取值。
在对图像特征和点云特征进行融合之前我们还设计了融合因子模块用于预测两类特征的融合权重，自适应地调整两部分特征的贡献，即哪个特征更具判别性，则给予更大的融合因子，从而提高全局特征的鲁棒性，其中融合因子模块主要是通过全连接层构成的。最终将图像特征和点云特征自适应地进行融合，通过多层感知机融合得到全局描述子：
（2）
其中，表示特征通道拼接操作，/>表示多层感知机融合，包括全连接层和激活函数。
通过多源数据的挖掘，弥补了依赖单一类型特征的局限性，从点云挖掘几何信息，从图像中获取色彩纹理信息，融合得到的全局描述子更具丰富性和稳健性。
基于上述实施例，对所述基于多源信息挖掘的场景重识别网络进行训练，完成场景重识别并通过几何验证估计相对位姿，得到所述基于多机异构数据挖掘的分层重定位模型，包括：
网络训练采用四元组进行损失训练，将四元组包括的查询样本（ ，/>）、正样本(/> ，/>）、负样本(/> ，/>）和其他负样本(/> ，/>)，其中/>表示子地图，/>表示图像，/>表示第/>个机器人下的碎片地图信息，/>表示第/>个子地图序列，/>代表查询样本标识，/>代表正样本标识，/>代表负样本标识，/>代表其他负样本标识，分别得到查询样本全局特征/>、正样本全局特征/>、负样本全局特征/>和其他负样本全局特征/>，输入得到损失函数：
（3）
其中，和/>为上下边界阈值，/>为距离度量函数，/>表示当两个向量之间的距离小于边界阈值时，损失为0，否则损失会随着距离的增加而逐渐增加；
在使用该网络进行候选样本检索时，我们将按照距离特征距离度量值的由小到大进行排序，然后设置一个阈值来判断哪些样本为查询位置的正样本，即：
（4）
其中，为第k个检索样本的特征。
通过特征检索得到查询位置的候选样本后，再通过随机样本一致算法RANSAC（Random Sample Consensus）挑选具有几何一致性的样本。在RANSAC的每次迭代中，会随机选择一定数量（本专利取4对）的点对来计算变换矩阵/>。然后使用估计的/>将查询点云转换到候选帧的坐标系中，然后计算查询点云中的每个点与转换后的点云中的最近邻点之间的距离。如果距离小于给定的阈值，则将这些点对视为内联匹配点对。若本次迭代的内联匹配点对数量大于先前最优变换对应的匹配点对数，则更新当前变换/>为最优变换。重复迭代多次，直到达到最大迭代次数。对于每个候选样本，每次迭代损失如下：
（5）
其中，表示查询样本，即查询点云与候选样本，即转换后点云间对应的点数，/>表示查询样本中第i个点的值，/>表示候选样本中第i个点的值；
进一步地，确定损失最小的候选样本，根据位置阈值/>判断同一位置判断值/>：
（6）
其中，为/>时表示查询样本与候选样本为同一位置，/>为/>时表示查询样本与候选样本为不同位置，即当Loss2小于阈值时，候选样本和查询样本视为同一位置，此时的姿态变换矩阵即为初始两样本间的相对变换。
本发明提出的基于多机异构数据挖掘的分层重定位模型，利用神经网络挖掘多源数据特征，提高了场景描述子的判别行及鲁棒性，由粗到细的分层定位方法，优化了大范围环境重定位效率。
基于上述实施例，根据前述实施例中得到的相对位姿变换，可以完成初步融合建图，然后采用局部-全局联合优化的方式消除全局地图中的可能存在的误差和不一致性，整体流程如图5所示。
首先对不同机器人下的碎片地图进行局部优化，然后，通过全局优化来调整每个子区域的位姿和拓扑结构，以保证整个地图的一致性。根据机器人的不同，本发明实施例将其划分为不同局部地图，针对局部地图引入光束法平差（Bundle Adjustment，BA）进行局部优化。输入单个机器人下的单帧点云的初始位姿和原始点云，通过最小化面元厚度以优化位姿和局部地图，输出优化后的局部地图和高精度位姿，损失约束如下：（7）
（8）
其中为第i个面元被观测到的所有帧的总数，/>为第i个面元被第j帧观测到的点的总数，/>为面元数量。
然后以优化后的位姿为节点，以局部地图内部位姿节点之间的相对位姿为边，构建位姿图，对位姿图进行位姿图优化（Pose Graph Optimizer，PGO），即在保证相对位姿的约束和场景重定位的约束下，对所有节点的位姿进行优化，公式如下:
（9）/>（10）
（11）
其中，表示误差函数，/>为两个因子图中两个点/>之间的协方差矩阵，为两点之间的相对变换，/>为点到全局坐标系的最优变换；最终，通过Levenberg-Marquardt方法求解该因子图，使所有相对位姿的误差最小化。
在本发明实施例中，局部优化能够加速计算，同时全局优化能够处理数据冲突。这样，可以在保证地图一致性的同时有效地减少计算量。为了方便存储和后续更新，我们还将全局地图按照一定距离划分为子地图进行存储，此处每个子地图覆盖长度与S1中划分的子地图长度一致，便于后续基于子地图进行变化检测及更新维护。
（12）
其中，表示全局地图，/>表示子地图。
基于上述实施例，根据采集的新的局部子地图和所述全局一致性地图之间的重叠度，更新全局地图，包括：
采用基于多源信息挖掘的场景重识别网络检测采集的新地图数据的闭环位置，得到采集的新的局部子地图，利用基于多机异构数据挖掘的分层重定位模型预测采集的新的局部子地图/>和全局一致性地图中相应位置子地图的相对位姿变换/>，得到位姿变换；
计算采集的新的局部子地图和全局一致性地图中相应位置子地图之间的重叠度：
其中，为两个子地图中匹配的点对数，/>为两个子地图中重叠的点对数，当匹配点对之间的距离小于预设距离阈值时视为重叠的点对数；
确定局部地图更新阈值，当/>时，采用更新的子地图数据替换全局地图中相应的子地图，当/>时，在全局地图中插入更新的子地图数据，更新全局地图。对更新后的局部地图进行局部优化，再对全局地图优化，从而实现全局地图的迭代更新，保证全局地图的时效性。
本发明通过设计的基于局部-全局联合优化的多机碎片地图融合策略，降低了全局地图优化的复杂度，并通过重定位模型定位回环位置，通过重叠度计算估计子地图的变化情况，更新优化局部地图，保障全局地图时效性与一致性。
下面对本发明提供的多机碎片地图聚合更新系统进行描述，下文描述的多机碎片地图聚合更新系统与上文描述的多机碎片地图聚合更新方法可相互对应参照。
图6是本发明实施例提供的多机碎片地图聚合更新系统的结构示意图，如图6所示，包括：预处理模块61、变换估计模块62、全局地图优化模块63和局部地图更新模块64，其中：
预处理模块61用于获取多个单机局部地图数据，对所述多个单机局部地图数据进行预处理得到多机碎片地图；变换估计模块62用于构建基于多机异构数据挖掘的分层重定位模型，将所述多机碎片地图输入所述分层重定位模型进行场景重识别并估计碎片地图间的位姿变换，根据所述碎片地图间的位姿变换将碎片地图合成初步全局地图；全局地图优化模块63用于利用局部-全局联合优化方式对所述初步全局地图进行聚合优化，获得全局一致性地图；局部地图更新模块64用于根据采集的新的局部子地图和所述全局一致性地图之间的重叠度，更新全局地图。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行多机碎片地图聚合更新方法，该方法包括：获取多个单机局部地图数据，对所述多个单机局部地图数据进行预处理得到多机碎片地图；构建基于多机异构数据挖掘的分层重定位模型，将所述多机碎片地图输入所述分层重定位模型进行场景重识别并估计碎片地图间的位姿变换，根据所述碎片地图间的位姿变换将碎片地图合成初步全局地图；利用局部-全局联合优化方式对所述初步全局地图进行聚合优化，获得全局一致性地图；根据采集的新的局部子地图和所述全局一致性地图之间的重叠度，更新全局地图。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的多机碎片地图聚合更新方法，该方法包括：获取多个单机局部地图数据，对所述多个单机局部地图数据进行预处理得到多机碎片地图；构建基于多机异构数据挖掘的分层重定位模型，将所述多机碎片地图输入所述分层重定位模型进行场景重识别并估计碎片地图间的位姿变换，根据所述碎片地图间的位姿变换将碎片地图合成初步全局地图；利用局部-全局联合优化方式对所述初步全局地图进行聚合优化，获得全局一致性地图；根据采集的新的局部子地图和所述全局一致性地图之间的重叠度，更新全局地图。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种多机碎片地图聚合更新方法，其特征在于，包括：
获取多个单机局部地图数据，对所述多个单机局部地图数据进行预处理得到多机碎片地图；
构建基于多机异构数据挖掘的分层重定位模型，将所述多机碎片地图输入所述分层重定位模型进行场景重识别并估计碎片地图间的位姿变换，根据所述碎片地图间的位姿变换将碎片地图合成初步全局地图；
利用局部-全局联合优化方式对所述初步全局地图进行聚合优化，获得全局一致性地图；
根据采集的新的局部子地图和所述全局一致性地图之间的重叠度，更新全局地图；
获取多个单机局部地图数据，对所述多个单机局部地图数据进行预处理得到多机碎片地图，包括：
根据预设场景大小和单机覆盖地图长度确定子地图大小；
将单机局部地图数据中的连续单帧点云数据进行合成为点云子地图数据，基于所述子地图大小将对应于所述连续单帧点云数据对应的图像数据划分为图像序列数据，所述点云子地图数据与所述图像序列数据在时间上重叠；
在所述子地图大小的范围内，根据预设保留点数下采样所述点云子地图数据；
获取单机局部地图数据中的相对位姿变换数据，以下采样后的点云子地图数据、所述图像序列数据和所述相对位姿变换数据构成所述多机碎片地图。
2.根据权利要求1所述的多机碎片地图聚合更新方法，其特征在于，构建基于多机异构数据挖掘的分层重定位模型，包括：
通过点云挖掘模块和图像挖掘模块分别挖掘所述多机碎片地图的子地图场景信息，得到点云特征和图像特征，通过多层感知机融合得到全局描述子，形成基于多源信息挖掘的场景重识别网络；
对所述基于多源信息挖掘的场景重识别网络进行训练，完成场景重识别并通过几何验证估计相对位姿，得到所述基于多机异构数据挖掘的分层重定位模型。
3.根据权利要求2所述的多机碎片地图聚合更新方法，其特征在于，所述点云挖掘模块包括第一卷积层、三层Transformer编码器、第二卷积层和局部特征向量聚合VLAD层；
所述图像挖掘模块包括特征提取网络、注意力模块、特征融合网络和广义平均池化GeM；
对应地，将点云子地图数据依次输入所述第一卷积层、所述三层Transformer编码器、所述第二卷积层和所述VLAD层，得到点云全局描述子；
将图像序列数据依次输入所述特征提取网络、所述注意力模块、所述特征融合网络和所述GeM，得到图像全局描述子：
其中，为第k个通道特征图中的像素数，/>为第k个通道特征图中第u个像素值，，表示k个通道特征图中的一个像素u，/>表示通道总数，k表示任一通道，/>表示第k个通道的池化参数；
通过多层感知机融合得到全局描述子包括：
其中，表示特征通道拼接操作，/>表示多层感知机融合，包括全连接层和激活函数。
4.根据权利要求3所述的多机碎片地图聚合更新方法，其特征在于，对所述基于多源信息挖掘的场景重识别网络进行训练，完成场景重识别并通过几何验证估计相对位姿，得到所述基于多机异构数据挖掘的分层重定位模型，包括：
采用四元组进行损失训练，所述四元组包括查询样本（ ，/>）、正样本(/> ，/>）、负样本(/> ，/>）和其他负样本(/> ，/>)，其中/>表示子地图，/>表示图像，/>表示第/>个机器人下的碎片地图信息，/>表示第/>个子地图序列，/>代表查询样本标识，/>代表正样本标识，/>代表负样本标识，/>代表其他负样本标识，分别得到查询样本全局特征/>、正样本全局特征、负样本全局特征/>和其他负样本全局特征/>，输入得到损失函数/>：
其中，和/>为上下边界阈值，/>为距离度量函数，/>表示当两个向量之间的距离小于边界阈值时，损失为0，否则损失会随着距离的增加而逐渐增加；
采用所述场景重识别网络进行候选样本检索，根据特征距离度量值由小到大进行排序，以特征距离度量阈值确定查询位置正样本：
其中，为第k个检索样本的特征；
通过特征检索得到查询位置的候选样本，通过随机样本一致算法RANSAC筛选几何一致性样本，根据选取点对计算变换矩阵/>，基于变换矩阵/>将查询点云转换至候选帧坐标系中得到转换后点云；
采用迭代损失函数计算所述查询点云和所述转换后点云的距离，得到迭代损失：
其中，表示查询样本，即查询点云与候选样本，即转换后点云间对应的点数，/>表示查询样本中第i个点的值，/>表示候选样本中第i个点的值；
确定损失最小的候选样本，根据位置阈值/>判断同一位置判断值/>：
其中，为/>时表示查询样本与候选样本为同一位置，/>为/>时表示查询样本与候选样本为不同位置。
5.根据权利要求1所述的多机碎片地图聚合更新方法，其特征在于，利用局部-全局联合优化方式对所述初步全局地图进行聚合优化，获得全局一致性地图，包括：
采用光束法平差BA对所述初步全局地图进行局部优化，基于单帧点云数据的初始位姿和原始点云，通过最小化面元厚度对位姿和局部地图进行优化，输出优化后局部地图和优化后位姿，采用损失约束包括：
其中为第i个面元被观测到的所有帧的总数，/>为第i个面元被第j帧观测到的点的总数，/>为面元数量；
以所述优化后位姿为节点，以所述优化后局部地图的内部位姿节点之间的相对位姿为边，构建位姿图，对所述位姿图进行优化：
其中，表示误差函数，/>为两个因子图中两个点/>之间的协方差矩阵，/>为两点之间的相对变换，/>为点到全局坐标系的最优变换；
采用Levenberg-Marquardt方法求解因子图，使所有相对位姿误差最小化；
将全局一致性地图按照预设距离划分为多个子地图进行存储：
其中，表示全局一致性地图，/>表示子地图。
6.根据权利要求1所述的多机碎片地图聚合更新方法，其特征在于，根据采集的新的局部子地图和所述全局一致性地图之间的重叠度，更新全局地图，包括：
采用基于多源信息挖掘的场景重识别网络检测采集的新地图数据的闭环位置，得到采集的新的局部子地图，利用所述基于多机异构数据挖掘的分层重定位模型预测所述采集的新的局部子地图/>和所述全局一致性地图中相应位置子地图的相对位姿变换/>，得到位姿变换/>；
计算所述采集的新的局部子地图和所述全局一致性地图中相应位置子地图之间的重叠度：
其中，为两个子地图中匹配的点对数，/>为两个子地图中重叠的点对数，当匹配点对之间的距离小于预设距离阈值时视为重叠的点对数；
确定局部地图更新阈值，当/>时，采用更新的子地图数据替换全局地图中相应的子地图，当/>时，在全局地图中插入更新的子地图数据，更新全局地图。
7.一种多机碎片地图聚合更新系统，其特征在于，包括：
预处理模块，用于获取多个单机局部地图数据，对所述多个单机局部地图数据进行预处理得到多机碎片地图；
变换估计模块，用于构建基于多机异构数据挖掘的分层重定位模型，将所述多机碎片地图输入所述分层重定位模型进行场景重识别并估计碎片地图间的位姿变换，根据所述碎片地图间的位姿变换将碎片地图合成初步全局地图；
全局地图优化模块，用于利用局部-全局联合优化方式对所述初步全局地图进行聚合优化，获得全局一致性地图；
局部地图更新模块，用于根据采集的新的局部子地图和所述全局一致性地图之间的重叠度，更新全局地图；
所述预处理模块具体用于：
根据预设场景大小和单机覆盖地图长度确定子地图大小；
将单机局部地图数据中的连续单帧点云数据进行合成为点云子地图数据，基于所述子地图大小将对应于所述连续单帧点云数据对应的图像数据划分为图像序列数据，所述点云子地图数据与所述图像序列数据在时间上重叠；
在所述子地图大小的范围内，根据预设保留点数下采样所述点云子地图数据；
获取单机局部地图数据中的相对位姿变换数据，以下采样后的点云子地图数据、所述图像序列数据和所述相对位姿变换数据构成所述多机碎片地图。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述多机碎片地图聚合更新方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述多机碎片地图聚合更新方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311467332.6A CN117213470B (zh) | 2023-11-07 | 2023-11-07 | 一种多机碎片地图聚合更新方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311467332.6A CN117213470B (zh) | 2023-11-07 | 2023-11-07 | 一种多机碎片地图聚合更新方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117213470A CN117213470A (zh) | 2023-12-12 |
| CN117213470B true CN117213470B (zh) | 2024-01-23 |
Family
ID=89042879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311467332.6A Active CN117213470B (zh) | 2023-11-07 | 2023-11-07 | 一种多机碎片地图聚合更新方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117213470B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117475092B (zh) * | 2023-12-27 | 2024-03-19 | 安徽蔚来智驾科技有限公司 | 位姿优化方法、设备、智能设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106595659A (zh) * | 2016-11-03 | 2017-04-26 | 南京航空航天大学 | 城市复杂环境下多无人机视觉slam的地图融合方法 |
| CN113470089A (zh) * | 2021-07-21 | 2021-10-01 | 中国人民解放军国防科技大学 | 一种基于三维点云的跨域协同定位和建图方法及系统 |
| CN114626539A (zh) * | 2020-12-10 | 2022-06-14 | 中国科学院深圳先进技术研究院 | 一种分布式slam系统及其学习方法 |
| CN114964212A (zh) * | 2022-06-02 | 2022-08-30 | 广东工业大学 | 面向未知空间探索的多机协同融合定位与建图方法 |
-
2023
- 2023-11-07 CN CN202311467332.6A patent/CN117213470B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106595659A (zh) * | 2016-11-03 | 2017-04-26 | 南京航空航天大学 | 城市复杂环境下多无人机视觉slam的地图融合方法 |
| CN114626539A (zh) * | 2020-12-10 | 2022-06-14 | 中国科学院深圳先进技术研究院 | 一种分布式slam系统及其学习方法 |
| CN113470089A (zh) * | 2021-07-21 | 2021-10-01 | 中国人民解放军国防科技大学 | 一种基于三维点云的跨域协同定位和建图方法及系统 |
| CN114964212A (zh) * | 2022-06-02 | 2022-08-30 | 广东工业大学 | 面向未知空间探索的多机协同融合定位与建图方法 |
Non-Patent Citations (1)
| Title |
|---|
| 程敬迪.基于点线融合的多机器人协同建图算法研究及实现.2023,第43-54页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117213470A (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | To learn or not to learn: Visual localization from essential matrices | |
| CN113168717B (zh) | 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达 | |
| CN110930495A (zh) | 基于多无人机协作的icp点云地图融合方法、系统、装置及存储介质 | |
| CN106780631B (zh) | 一种基于深度学习的机器人闭环检测方法 | |
| CN110781262B (zh) | 基于视觉slam的语义地图的构建方法 | |
| CN110969648B (zh) | 一种基于点云序列数据的3d目标跟踪方法及系统 | |
| CN117213470B (zh) | 一种多机碎片地图聚合更新方法及系统 | |
| CN110487286B (zh) | 基于点特征投影与激光点云融合的机器人位姿判断方法 | |
| CN112750198B (zh) | 一种基于非刚性点云的稠密对应预测方法 | |
| CN113516664A (zh) | 一种基于语义分割动态点的视觉slam方法 | |
| CN114964212B (zh) | 面向未知空间探索的多机协同融合定位与建图方法 | |
| CN112595322A (zh) | 一种融合orb闭环检测的激光slam方法 | |
| CN113313763A (zh) | 一种基于神经网络的单目相机位姿优化方法及装置 | |
| CN113406659A (zh) | 一种基于激光雷达信息的移动机器人位置重识别方法 | |
| CN116385761A (zh) | 一种融合rgb与红外信息的3d目标检测方法 | |
| CN113516682B (zh) | 一种激光slam的回环检测方法 | |
| Yao et al. | Depthssc: Depth-spatial alignment and dynamic voxel resolution for monocular 3d semantic scene completion | |
| CN112509014B (zh) | 金字塔遮挡检测块匹配的鲁棒插值光流计算方法 | |
| CN114608522B (zh) | 一种基于视觉的障碍物识别与测距方法 | |
| CN112069997B (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
| CN113221744B (zh) | 一种基于深度学习的单目图像3d物体检测方法 | |
| CN113379915B (zh) | 一种基于点云融合的行车场景构建方法 | |
| Cheng et al. | Deep learning-based point cloud registration: a comprehensive investigation | |
| CN115239902A (zh) | 移动设备的周边地图建立方法、装置、设备及存储介质 | |
| Wang et al. | LiDAR-SLAM loop closure detection based on multi-scale point cloud feature transformer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |