CN118135133A - 一种面向广域搜索的车机协同建图方法及设备 - Google Patents

一种面向广域搜索的车机协同建图方法及设备 Download PDF

Info

Publication number
CN118135133A
CN118135133A CN202410265089.8A CN202410265089A CN118135133A CN 118135133 A CN118135133 A CN 118135133A CN 202410265089 A CN202410265089 A CN 202410265089A CN 118135133 A CN118135133 A CN 118135133A
Authority
CN
China
Prior art keywords
map
unmanned aerial
aerial vehicle
vehicle
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410265089.8A
Other languages
English (en)
Inventor
谢远龙
吴名远
王书亭
徐文锴
张鸿洋
熊体凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202410265089.8A priority Critical patent/CN118135133A/zh
Publication of CN118135133A publication Critical patent/CN118135133A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于无人系统建图领域，并具体公开了一种面向广域搜索的车机协同建图方法及设备，其包括如下步骤：通过无人车和无人机进行搜索，获取点云地图和位姿，构建局部地图集，进而得到无人车全局地图和无人机全局地图；根据无人车和无人机的GNSS位姿差量，对无人车全局地图和无人机全局地图进行特征点匹配；基于匹配的特征点，通过因子图优化确定无人车和无人机的相对位姿，将无人车全局地图和无人机全局地图进行融合，得到精确全局地图。本发明有效降低了空地异构的多智能体系统在协同建图过程中的误差，提高了地图检索与融合的效率与精度，可为之后环境探索、任务规划、快速侦查等场景提供稳定有效的环境地图。

Description

一种面向广域搜索的车机协同建图方法及设备
技术领域
本发明属于无人系统建图领域，更具体地，涉及一种面向广域搜索的车机协同建图方法及设备。
背景技术
近年来，随着无人系统技术的迅速发展，多智能体协同工作在各领域中得到了广泛应用。面向广域搜索的空地异构协同建图是在多智能体系统中实现高效地协同工作的一种创新方法。在当今科技发展的背景下，无人机和无人车等空地异构多智能体的应用逐渐增多，这些多智能体通过协同工作能够更好地适应不同的任务需求。
在面向广域搜索任务中，无人机和无人车的协同工作面临着一系列挑战。首先，无人机在长时间飞行过程中会面临累积误差的问题，这可能导致建图的不准确性。其次，由于缺乏绝对定位，特别是在复杂环境中，累计误差可能会进一步加剧。最后，地图数据过于冗余可能导致匹配融合的困难。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种面向广域搜索的车机协同建图方法及设备，其目的在于，降低广域搜索时，空地异构多智能体在协同建图过程中的误差，提高地图检索与融合的效率与精度。
为实现上述目的，按照本发明的一方面，提出了一种面向广域搜索的车机协同建图方法，包括如下步骤：
S1、通过多智能体进行搜索，智能体分为无人车和无人机，搜索时无人车/无人机均执行如下步骤S11～S14，从而得到无人车全局地图和无人机全局地图；
S11、智能体获取点云地图，并根据点云地图确定对应的智能体位姿；
S12、智能体获取点云数据对点云地图进行叠加更新，并根据点云地图确定对应的智能体位姿；
S13、基于智能体位姿，对当前点云地图进行评分，当评分不满足预设阈值时，回到步骤S12；当评分满足预设阈值时，将当前点云地图作为局部地图保存至局部地图集，并回到步骤S11，直至搜索结束；
S14、根据局部地图集得到全局地图；
S2、无人机向无人车传递信息，根据无人车和无人机的GNSS位姿差量，对无人车全局地图和无人机全局地图进行特征点匹配；
S3、基于匹配的特征点，通过因子图优化确定无人车和无人机的相对位姿，将无人车全局地图和无人机全局地图进行融合，得到精确全局地图。
作为进一步优选的，步骤S11和S12中，对点云地图中的各特征点分别进行MobileNetVLAD描述子提取，并通过目标检测框架Yolo对特征点赋予语义信息。
作为进一步优选的，步骤S2，包括如下步骤：
在无人车全局地图中选择感兴趣区域A，根据当前无人车和无人机的GNSS位姿差量，在无人机全局地图中确定与感兴趣区域A对应的感兴趣区域B；
检索感兴趣区域A和感兴趣区域B中是否有相互匹配的语义信息，若有则将对应的特征点进行匹配；否则通过MobileNetVLAD描述子直接进行特征点匹配。
作为进一步优选的，步骤S2，预设感兴趣区域的大小，然后随机在无人车全局地图上选择一个特征点数量满足要求的感兴趣区域作为感兴趣区域A。
作为进一步优选的，步骤S13中，对点云地图进行评分，计算式为：
其中，ρ为点云地图评分，Bs表示智能体得分调整系数，Ti表示i时刻的智能体位姿，i为当前时刻，T0表示智能体的初始位姿；np j表示在j时刻点云地图中特征点的数量。
作为进一步优选的，步骤S1，对于无人车，获取点云地图及位姿的方式如下：
通过无人车上的激光雷达获取点云数据，并将其转换到无人车单目相机的像素坐标系中，得到点云地图；
基于点云地图，通过ICP匹配得到无人车位姿A1；
通过无人车上的惯性测量传感器获取无人车位姿A2；
将无人车位姿A1、A2融合得到无人车位姿。
作为进一步优选的，步骤S1，对于无人机，获取点云地图的方式如下：
通过无人机上的双目相机获取点云数据，得到点云地图；
基于点云地图，通过构建局部BA模型，求解得到无人机位姿B1；
通过无人机上的惯性测量传感器获取无人机位姿B2；
将无人机位姿B1、B2融合得到无人机位姿。
作为进一步优选的，步骤S3，进行因子图优化时，将构建的因子图等价为如下最小二乘函数：
其中，g表示单智能体构建点云地图时的关键帧数量，X*表示全局优化下的智能体最优位姿估计；p(*)表示误差项，d(*)表示误差项函数；xi表示智能体点云地图中第i个关键帧所观测到的特征点集合；from(xk)表示历史局部地图集中第k个关键帧所观测到的特征点集合，to(xq)是指当前局部地图下的第q个关键帧所观测到的特征点集合，m表示无人机与无人车在地图匹配时所匹配的关键帧数量，basea(δ)表示无人车全局地图和无人机全局地图匹配的特征点。
作为进一步优选的，步骤S4，得到精确全局地图后，通过下采样对全局地图进行去冗余化，得到简略地图；无人车保存精确全局地图，无人机保存简略地图。
按照本发明的另一方面，提供了一种计算机设备，包括处理器，所述处理器用于执行上述面向广域搜索的车机协同建图方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：
1.本发明针对广域搜索任务，通过将无人机和无人车的优势相结合，基于无人机与无人车在维护自身地图过程中采集的数据，利用提取特征实现局部地图相互匹配，有效降低了空地异构多智能体在协同建图过程中的误差，提高了地图检索与融合的效率与精度，可为之后环境探索、任务规划、快速侦查等场景提供稳定有效的环境地图。
2.考虑到广域搜索的数据冗余性，本发明在单一智能体采集并维护自身局部地图的过程中，构建了局部地图集机制，从而将构建一张全局地图的任务分解至不断构建局部子地图来实现，最后通过因子图优化的方式来优化点云地图与历史位姿估计，从而限制了累计误差的指数性增长。
3.考虑在空地异构协同作业的情况下，多视角下的同一物体所表的图像特征不尽相同，所以本发明使用MobileNetVLAD作为描述子，利用神经网络的泛化性来提高对特征点之间的相互匹配的准确率。
4.本发明通过GNSS位姿差来快速检索相关感兴趣区域，并通过语义信息来减少误匹配的情况发生，提高了在异构智能体在大尺度环境地图下地图融合的效率。
5.本发明构建空地异构多智能体协同优化因子图，并求解该因子图下的最小二乘问题，实现了多传感器多智能体的数据融合，提高了空地异构协同建图的建图精度。
6.本发明构建的地图更新策略，能够在保证生成高精点云地图的同时，减少了无人机的存储载荷，提高了无人机自主探索的地图范围。
附图说明
图1为本发明实施例面向广域搜索的车机协同建图示意图；
图2为本发明实施例构建的空地异构多智能体协同优化因子图；
图3为本发明实施例空地协同异构多智能体地图融合流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明实施例提供的一种面向广域搜索的车机协同建图方法，如图1所示，预先对空地协同建图系统进行架构，主要执行智能体为无人机与无人车，无人机中的硬件部分包括机载嵌入式电脑、IMU、GNSS、双目相机、UWB；无人车中的硬件部分包括嵌入式车载计算平台、IMU、GNSS、单目相机、激光雷达、UWB。
在执行广域探索过程中，无人机与无人车一同联合实现空地异构多智能体协同建图，无人机主要执行快速探索以及目标搜寻任务，无人车主要执行精密建图以及承担大量计算任务。无人机与无人车在未与本体以外的其他智能体发生交互前，无人机与无人车执行广域搜索任务并采集与维护单机局部地图。无人机与无人车之间是通过UWB实现实时通讯，在本实施例中，UWB仅供通讯处理，并不具备定位功能。
基于上述架构进行车机协同建图，包括如下步骤：
S1、通过无人车和无人机进行广域搜索，在搜索过程中，智能体(即无人车/无人机)分别获取点云地图，以及相应位姿和语义信息，同时构建局部地图集，进而得到无人车/无人机全局地图。
对无人车/无人机，具体进行如下步骤：
S11、智能体获取点云地图，并根据点云地图确定对应的智能体位姿；
S12、智能体获取点云数据对点云地图进行叠加更新，并根据点云地图确定对应的智能体位姿；叠加更新指将新获取的点云增加到前一次的点云地图中，形成新的点云地图；
S13、基于智能体位姿，对当前点云地图进行评分，当评分不满足预设阈值时，回到步骤S12，对点云地图进行更新；当评分满足预设阈值时，将当前点云地图作为局部地图保存至局部地图集，并回到步骤S11，即不在原有点云地图上叠加，重新获取点云地图；
S14、搜索结束，根据局部地图集得到全局地图。
进一步的，智能体获取点云地图时，对点云地图中的特征点分别进行MobileNetVLAD描述子提取，并通过目标检测框架Yolo对特征点赋予语义信息。
进一步的，对于无人车，先通过激光雷达来构建高精度环境点云地图，通过标定完善的相机与激光雷达外参，将点云地图转化至相机位姿；进而无人车中的单目相机针对激光雷达所传递的数据通过相机内参投影至像素平面坐标，从而将点云地图转换到单目相机的像素坐标系中。
基于无人车点云地图，通过ICP匹配得到无人车位姿A1；通过无人车上的惯性测量传感器IMU获取无人车位姿A2；将无人车位姿A1、A2融合得到无人车位姿，融合时可采用因子图优化方法。
进一步的，对于无人机，通过无人机上的双目相机获取FAST特征点，得到点云地图。
基于无人机点云地图，通过构建局部BA模型，求解得到无人机位姿B1；通过无人机上的惯性测量传感器IMU获取无人机位姿B2；将无人机位姿B1、B2融合得到无人机位姿，融合时可采用因子图优化方法。具体来说，无人机数据估计部分使用EPnP，构建局部BA模型来解决帧间最小重投影误差估计问题来实现对无人机的位姿求解。BA模型的表达式为：
其中为相机姿态的李代数表示，ui为投影的像素坐标，K为相机内参矩阵，其所对应的是环境中物体的三维坐标到相机像素坐标系的映射，Pi为特征点在环境中的三维坐标。
具体的，考虑到基于IMU单次测量精度高，测量速度快，但是随着建图的进行会逐渐累积误差。而根据相机测量速度慢且精度不高，但是由于相机提取了周围环境信息，能够实现对位姿的矫正，从而实现对IMU累计误差的修正，故各智能体均采用了两种位姿融合。
此外，由于更新点云地图频率较低，而IMU采集数据频率较高，为进行后续融合，基于IMU使用欧拉积分的形式来实现短时内的精准位姿估计。其预积分部分包括：
其中ψgd，ψad为环境中的模型所带来的白噪声，bg为随着时间增长而不断增长的误差，R为智能体运动过程中的旋转量，v为智能体运动过程中的位移，p为智能体运动过程中的位姿变化，为上一时刻下智能体的历史位姿，T为上一时刻的历史时间点，Δt为离散的变化时间差。
进一步的，在广域搜索中，智能体构建大尺度环境地图时存在误差累计难以避免的情况，单个智能体在维护本地环境地图的过程中自动建立局部地图集。建立局部地图集的触发阈值与单个智能体的点云数量、局部地图构建范围、单机的智能体运算能力权重有关。因此，设计步骤S13中点云地图评分ρ的计算式为：
其中，Bs表示智能体得分调整系数，根据单个智能体异构性设计不同系数；Ti表示当前i时刻的单智能体位姿，T0表示单智能体的初始位姿；max||Ti-T0||2表示在构建地图中，单个智能体所构建的环境地图中的历史轨迹与初始点之间的二范数的最大值，其表示为历史轨迹中与初始点相距最远的距离；np j表示在j时刻点云地图中特征点的数量。若ρ大于所设定的阈值，便将局部地图进行保存，并构建新的局部地图。
进一步的，构建局部地图时，会保留前一部分地图的末尾信息，即上一个局部地图中，最后智能体结束建图时的周围部分环境地图的点云信息，用以保证在相邻局部地图间有一定范围的重叠部分，便于保证局部地图融合时的精度。
S2、无人机向无人车传递信息，以GNSS的位姿差量与语义信息作为信息检索依据，对无人车全局地图和无人机全局地图进行特征点匹配；具体包括如下步骤：
S21、无人机与无人车之间相互响应UWB信号时，无人机向无人车传递相关的位姿信息、语义信息、地图信息。
位姿信息包括：单个智能体的位姿估计信息，包括当前位姿以及历史轨迹，GNSS信息；语义信息包括：经过YOLO进行目标识别之后生成的携带语义信息；地图信息包括：单个智能体所维护的地图中所包含特征点的三维信息与MobileNetVLAD描述子信息，需要说明的是，单智能体将局部地图融合为全局地图后，进行传递。
S22、在无人车全局地图中选择感兴趣区域A，根据无人车和无人机的GNSS位姿差量(GNSS位姿通过无人车和无人机上的GNSS实时获取)，在无人机全局地图中确定与感兴趣区域A对应的感兴趣区域B。
具体的，预设感兴趣区域范围大小，然后随机在无人车全局地图上选择一个特征点数量满足要求的感兴趣区域作为感兴趣区域A(环境特征丰富的区域)。感兴趣区域范围由环境地图大小，无人机飞行速度，GNSS测量精度以及周围环境特征丰富度来决定。
在点云地图集A中随机选取点云地图作为特征区域；根据当前无人车和无人机的GNSS位姿差量，在点云地图集B中确定与特征区域对应的感兴趣区域。
根据无人车点云地图中特征点的数量选取点云地图，即随机选择特征点数量满足阈值的点云地图为特征丰富的区域。感兴趣区域范围由环境地图大小，无人机飞行速度，GNSS测量精度以及周围环境特征丰富度来决定。
S23、检索感兴趣区域A和感兴趣区域B中是否有相互匹配的语义信息，若有则将对应的特征点进行匹配；否则通过MobileNetVLAD描述子直接进行特征点匹配。
S3、基于匹配的特征点，通过因子图优化确定无人车和无人机的相对位姿，将局部地图集A和局部地图集B进行融合，得到精确全局地图。
具体的，根据经典的因子图优化理论来针对空地协同建图，优化多智能体间的位姿估计，包括当前位姿以及历史轨迹。如图2所示，在因子图优化理论中，因子图顶点表示单一智能体在建图过程中状态变量，因子图中的边表示在状态变量中前后关系之间的误差项或者约束，图优化理论主要建立于贝叶斯估计来实现对环境的最优估计。数学公式为：
p(x,y,z,u)＝p(x0)argmaxΠp(xk|xk-1,uk)Πp(zk|xi,yj)
其中，i、j分别表示环境中的第i、j个节点，k表示为第k个位姿节点，x表示多智能体间各个待优化的状态变量，比如双目相机、激光雷达、IMU等；z表示各个观测节点之间的约束，y表示依据周围环境所建立的路标节点，U表示智能体在运行过程中的输入量。
根据位姿优化因子图中顶点状态变量与边约束之间的关系，以及经典机器人状态估计理论中的状态空间方程，可以将空地异构多智能体协同优化因子图等价为求解最小二乘问题，其数学公式表示为：
其中，g表示单智能体(即无人机/无人车均适用)构建点云地图时的关键帧数量，m表示无人机与无人车在地图匹配时所匹配的关键帧数量，X*表示全局优化下的智能体最优位姿估计；p(*)表示不同情况所设计的误差项(本实施例中指特征点之间的重投影误差)，d(*)表示误差项函数，用来表示括号内两者之间的误差；xi表示智能体点云地图中第i个关键帧所观测到的特征点集合；from(xk)表示历史局部地图集中第k个关键帧所观测到的特征点集合，to(xq)是指当前局部地图下的第q个关键帧所观测到的特征点集合，basea(δ)表示无人车全局地图和无人机全局地图匹配的特征点，/>表示智能体c与智能体a中第/>与第δ关键帧开始地图融合。
即上述的最小二乘函数中主要分为三大部分：为里程计部分，其主要误差为当前帧与上一帧之间的帧间误差；/>表示单个智能体发生回环检测时当前帧与最佳历史候选帧之间的误差；表示为多智能体发生交互时地图融合的最优匹配帧之间的误差。
对上述最小二乘函数进行求解，得到无人车和无人机的相对位姿；基于相互匹配的特征点，进行全局BA计算将无人车全局地图和无人机全局地图融合，得到精确全局地图。
进一步的，无人车和无人机中均执行步骤S1，无人机与无人车之间相互响应UWB信号时，无人机向无人车传递相关信息，在无人车中进行步骤S2和S3的计算。如图3所示，在无人车中得到全局地图后，无人车将更新后的无人机位姿信息与融合后的全局地图传递给无人机，无人机进行回环检测来实现为当前位姿的重估计。
进一步的，无人车保存更新后的完整全局地图，无人机保留去冗余操作后的简略地图，并依据边界条件继续探索。具体来说，考虑环境中的数据的冗余性，以及无人机与无人车之间的异构性，所构建的地图多数存储在无人车中。考虑到无人机的硬件负载，无人机会针对全局地图进行一定程度的下采样来来实现对点云地图的去冗余化。考虑到在实际应用场景中，无人机的职责多数是用于勘探、检测、侦查等环节，所以针对于对于无人机地图的构建，会将在构建的全局地图的基础上，保留全局地图的边界部分点云，并对全局地图中心点云进行下采样，从而减少无人机在环境构建中地图数据量的区域冗余化。
虽然本发明聚焦于空地协同异构的协同建图方法，但是该方法对同构多智能体的协同建图仍有一定借鉴意义。即在面对广域搜索过程中，可以通过GNSS信息来获得相对位姿来快速确定相互匹配的关键帧以及相关特征点，通过语义信息以及VLAD信息来实现对环境中的特征点的快速搜索。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向广域搜索的车机协同建图方法，其特征在于，包括如下步骤：
S1、通过多智能体进行搜索，智能体分为无人车和无人机，搜索时无人车/无人机均执行如下步骤S11～S14，从而得到无人车全局地图和无人机全局地图；
S11、智能体获取点云地图，并根据点云地图确定对应的智能体位姿；
S12、智能体获取点云数据对点云地图进行叠加更新，并根据点云地图确定对应的智能体位姿；
S13、基于智能体位姿，对当前点云地图进行评分，当评分不满足预设阈值时，回到步骤S12；当评分满足预设阈值时，将当前点云地图作为局部地图保存至局部地图集，并回到步骤S11，直至搜索结束；
S14、根据局部地图集得到全局地图；
S2、无人机向无人车传递信息，根据无人车和无人机的GNSS位姿差量，对无人车全局地图和无人机全局地图进行特征点匹配；
S3、基于匹配的特征点，通过因子图优化确定无人车和无人机的相对位姿，将无人车全局地图和无人机全局地图进行融合，得到精确全局地图。
2.如权利要求1所述的面向广域搜索的车机协同建图方法，其特征在于，步骤S11和S12中，对点云地图中的各特征点分别进行MobileNetVLAD描述子提取，并通过目标检测框架Yolo对特征点赋予语义信息。
3.如权利要求2所述的面向广域搜索的车机协同建图方法，其特征在于，步骤S2，包括如下步骤：
在无人车全局地图中选择感兴趣区域A，根据当前无人车和无人机的GNSS位姿差量，在无人机全局地图中确定与感兴趣区域A对应的感兴趣区域B；
检索感兴趣区域A和感兴趣区域B中是否有相互匹配的语义信息，若有则将对应的特征点进行匹配；否则通过MobileNetVLAD描述子直接进行特征点匹配。
4.如权利要求3所述的面向广域搜索的车机协同建图方法，其特征在于，步骤S2，预设感兴趣区域的大小，然后随机在无人车全局地图上选择一个特征点数量满足要求的感兴趣区域作为感兴趣区域A。
5.如权利要求1所述的面向广域搜索的车机协同建图方法，其特征在于，步骤S13中，对点云地图进行评分，计算式为：
其中，ρ为点云地图评分，Bs表示智能体得分调整系数，Ti表示i时刻的智能体位姿，i为当前时刻，T0表示智能体的初始位姿；npj表示在j时刻点云地图中特征点的数量。
6.如权利要求1所述的面向广域搜索的车机协同建图方法，其特征在于，步骤S1，对于无人车，获取点云地图及位姿的方式如下：
通过无人车上的激光雷达获取点云数据，并将其转换到无人车单目相机的像素坐标系中，得到点云地图；
基于点云地图，通过ICP匹配得到无人车位姿A1；
通过无人车上的惯性测量传感器获取无人车位姿A2；
将无人车位姿A1、A2融合得到无人车位姿。
7.如权利要求1所述的面向广域搜索的车机协同建图方法，其特征在于，步骤S1，对于无人机，获取点云地图的方式如下：
通过无人机上的双目相机获取点云数据，得到点云地图；
基于点云地图，通过构建局部BA模型，求解得到无人机位姿B1；
通过无人机上的惯性测量传感器获取无人机位姿B2；
将无人机位姿B1、B2融合得到无人机位姿。
8.如权利要求1所述的面向广域搜索的车机协同建图方法，其特征在于，步骤S3，进行因子图优化时，将构建的因子图等价为如下最小二乘函数：
其中，g表示单智能体构建点云地图时的关键帧数量，X*表示全局优化下的智能体最优位姿估计；p(*)表示误差项，d(*)表示误差项函数；xi表示智能体点云地图中第i个关键帧所观测到的特征点集合；from(xk)表示历史局部地图集中第k个关键帧所观测到的特征点集合，to(xq)是指当前局部地图下的第q个关键帧所观测到的特征点集合，m表示无人机与无人车在地图匹配时所匹配的关键帧数量，basea(δ)表示无人车全局地图和无人机全局地图匹配的特征点。
9.如权利要求1-8任一项所述的面向广域搜索的车机协同建图方法，其特征在于，步骤S4，得到精确全局地图后，通过下采样对全局地图进行去冗余化，得到简略地图；无人车保存精确全局地图，无人机保存简略地图。
10.一种计算机设备，其特征在于，包括处理器，所述处理器用于执行如权利要求1-9任一项所述的面向广域搜索的车机协同建图方法。
CN202410265089.8A 2024-03-08 2024-03-08 一种面向广域搜索的车机协同建图方法及设备 Pending CN118135133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410265089.8A CN118135133A (zh) 2024-03-08 2024-03-08 一种面向广域搜索的车机协同建图方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410265089.8A CN118135133A (zh) 2024-03-08 2024-03-08 一种面向广域搜索的车机协同建图方法及设备

Publications (1)

Publication Number Publication Date
CN118135133A true CN118135133A (zh) 2024-06-04

Family

ID=91243855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410265089.8A Pending CN118135133A (zh) 2024-03-08 2024-03-08 一种面向广域搜索的车机协同建图方法及设备

Country Status (1)

Country Link
CN (1) CN118135133A (zh)

Similar Documents

Publication Publication Date Title
CN112347840B (zh) 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN109341706B (zh) 一种面向无人驾驶汽车的多特征融合地图的制作方法
CN108827306B (zh) 一种基于多传感器融合的无人机slam导航方法及系统
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
CN102426019B (zh) 一种无人机景象匹配辅助导航方法及系统
CN112639882B (zh) 定位方法、装置及系统
CN113625774B (zh) 局部地图匹配与端到端测距多无人机协同定位系统和方法
CN110930495A (zh) 基于多无人机协作的icp点云地图融合方法、系统、装置及存储介质
CN111260751B (zh) 基于多传感器移动机器人的建图方法
CN115420276B (zh) 一种面向室外场景的多机器人协同定位与建图方法
CN114398455B (zh) 异构多机器人协同slam地图融合方法
CN113701742B (zh) 一种基于云端与边端融合计算的移动机器人slam方法
CN113960614A (zh) 一种基于帧-地图匹配的高程图构建方法
CN115728803A (zh) 一种城市驾驶车辆连续定位系统及方法
CN113379915B (zh) 一种基于点云融合的行车场景构建方法
CN118310531A (zh) 一种由粗到细点云配准的机器人跨场景定位方法及系统
CN118031956A (zh) 无人机采摘避障方法、装置、设备及介质
CN116136417B (zh) 一种面向越野环境的无人驾驶车辆局部路径规划方法
CN115900697B (zh) 对象运动轨迹信息处理方法、电子设备以及自动驾驶车辆
CN118135133A (zh) 一种面向广域搜索的车机协同建图方法及设备
Lebedeva et al. Method for distributed mapping of terrain by a heterogeneous group of robots based on google cartographer
CN112883290B (zh) 一种基于分支定界法的自动切图方法
Yi et al. Lidar Odometry and Mapping Optimized by the Theory of Functional Systems in the Parking Lot
CN114972501B (zh) 一种基于先验语义地图结构信息和语义信息的视觉定位方法
CN117968664A (zh) 基于迭代扩展卡尔曼滤波的紧耦合3d激光slam系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination