CN116358520A - 一种人机多节点协同语义激光slam系统及方法 - Google Patents

一种人机多节点协同语义激光slam系统及方法 Download PDF

Info

Publication number
CN116358520A
CN116358520A CN202310255617.7A CN202310255617A CN116358520A CN 116358520 A CN116358520 A CN 116358520A CN 202310255617 A CN202310255617 A CN 202310255617A CN 116358520 A CN116358520 A CN 116358520A
Authority
CN
China
Prior art keywords
map
node
semantic
aerial vehicle
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310255617.7A
Other languages
English (en)
Inventor
谢国涛
齐晓雨
高铭
胡满江
边有钢
秦兆博
秦洪懋
秦晓辉
徐彪
王晓伟
丁荣军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202310255617.7A priority Critical patent/CN116358520A/zh
Publication of CN116358520A publication Critical patent/CN116358520A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种人机多节点协同语义激光SLAM方法，包括：步骤一：设置节点端、协作端以及服务端；步骤二：采集点云数据，提取语义信息，构建局部语义地图；步骤三：服务端进行语义特征匹配，根据位姿和语义信息生成地图融合矩阵；步骤四：通过地图融合矩阵融合各局部语义地图，建立全局地图；步骤五：将全局地图传输至节点端以及协作端；步骤六：节点端重新提取特征以修正全局地图位姿；步骤七：协作端采集地图区域几何真值并上传至服务端，辅助优化全局地图。本发明的有益效果：根据语义信息构建的协同全局地图，充分利用了协同和语义SLAM的优势，融合了更多的局部信息，使得场景地图的构建精度大幅度提升。

Description

一种人机多节点协同语义激光SLAM系统及方法
技术领域
本发明属于同步定位与建图技术领域，具体涉及一种人机多节点协同语义激光SLAM系统及方法。
背景技术
即时定位与地图构建(Simultaneous Localization andMapping,SLAM)是指在没有环境先验的情况下通过特定传感器对于未知环境进行探索，在运动过程中建立周围未知环境模型，获取环境地图，并估计自身运动和位置。SLAM广泛应用于多种场景，包括常规场景下室内扫地机器人、室外自动驾驶高精地图与定位，以及非常规的洞穴环境探索、灾难侦测与预警、水底河床建图等，具有广阔的应用场景。但传统SLAM一般假设处于静态小环境，所获取地图语义级别低，无法区分同类但不同目标。并且传统的SLAM一般是搭载在单个主体上通过单个传感器对环境进行探索，在此过程中人一般在远离位置环境较远处进行远程操作与观察建图效果；而在实际环境中经常需要对大规模未知环境进行建图与定位，单一机器已无法满足要求，大规模多机协同建图应运而生，但在已有的大规模协同建图中，一般采用同类型无人车或同类别多个无人机进行协作，节点的设置相对固定，可优化性差，针对不同环境的泛化性差。
发明内容
本发明公开了一种人机多节点协同语义激光SLAM系统及方法，其可以有效解决背景技术中涉及的技术问题。
为实现上述目的，本发明的技术方案为：
一种人机多节点协同语义激光SLAM系统，包括：
节点端，用于对区域纵向立体空间以及地面环境进行建图；
协作端，用于测量地图几何真值进行全新框架的建图效果评价；
服务端，用于计算节点端与协作端传送过来的数据进行地图融合。
作为本发明的一种优选改进，所述节点端包括至少一个无人机节点和一个无人车节点；所述无人机节点用于区域的纵向立体空间上进行建图，所述无人车节点用于对位置地面较低高度环境进行建图。
作为本发明的一种优选改进，所述协作端由人类配备交互设备组成，所述协作端的数量至少为一个。
一种基于任意一项所述系统的人机多节点协同语义激光SLAM方法，包括以下步骤：
步骤一：设置无人机节点、无人车节点、协作端以及服务端；
步骤二：采集无人机节点和无人车节点的点云数据，提取语义信息，分别构建局部语义地图；
步骤三：服务端进行语义特征匹配，根据位姿和语义信息生成地图融合矩阵；
步骤四：通过地图融合矩阵融合各局部语义地图，建立全局地图；
步骤五：服务端将全局地图传输至无人机节点、无人车节点以及协作端；
步骤六：服务端刷新无人车节点的里程数并通过其新提取的特征修正全局地图位姿；
步骤七：协作端采集地图区域几何真值并上传至服务端，辅助优化全局地图。
作为本发明的一种优选改进，所述无人机节点、无人车节点以及协作端的数量至少为一个。
作为本发明的一种优选改进，所述协作端通过人穿戴相机或激光设备对区域地图进行采集。
作为本发明的一种优选改进，通过无人机节点、无人车节点以及协作端协同建图，其中，构建所述协同建图的理想模型为：
Figure BDA0004129474950000031
其中，i表示对应节点，di表示对应平均点云密度，f(i)表示在建图边缘与其他节点的重叠程度，w(i)表示先验权重，N表示节点总数，MN表示理想建图状态。
作为本发明的一种优选改进，各个节点将每帧语义信息通过动态匹配和静态剔除后形成不同局部语义地图并上传至服务端，通过局部地图的相似度匹配建立地图融合矩阵，具有相同语义实例的地图根据相对位姿进行融合矩阵的变化，然后通过不同节点已知连续位姿变化及离散的语义信息的一致性估计完成地图融合。
作为本发明的一种优选改进，在步骤六中，采用滤波器获得位姿的修正，在此基础上，再通过协作端测量区域几何真值继续融合地图，完成对地图的优化。
本发明的有益效果如下：
1、本发明提出的地图融合策略主要基于局部地图提取的语义特征展开，使用语义信息的相似性评价建立地图融合矩阵，随后进行地图融合之前，根据各个不同位置的相对位姿及协同噪声进行矩阵的变化相乘，生成基于语义信息构建的协同全局地图，充分利用了协同和语义SLAM的优势，融合了更多的局部信息，使得场景地图的构建精度大幅度提升；
2、通过各个节点以及人类单元的配合，解决了传统SLAM无法完成大规模地图探索的问题，提高了地图构建速度，并可以根据不同的应用场景选择不同优化准则，完成最佳建图策略；
3、通过使用协同语义SLAM，语义信息对于动态过程中的特征匹配更为敏感，在建立完整的地图过程中，可以有效剔除动态噪声，提高建图精度。
附图说明
图1为本发明的系统框架图；
图2为本发明的工作流程图；
图3为本发明的地图融合原理图；
图4为本发明的地图优化效果图。
具体实施方式
下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
请参阅图1所示，本发明提出了一种人机多节点协同语义激光SLAM系统，包括节点端1、协作端3以及服务端2。所述节点端1包括至少一个无人机节点11和一个无人车节点12，所述无人机节点11用于区域的纵向立体空间上进行建图；所述无人车节点12用于对位置地面较低高度环境进行探索，覆盖更大地面面积建图。
所述协作端3由人类配备交互设备组成，负责对于重点区域或建图置信度低的跟随观察和二次修正，以用于测量地图几何真值进行全新框架的建图效果评价。
所述服务端2用于计算节点端与协作端传送过来的数据以进行地图融合。
请参阅图2至图4所示，本发明还提出了一种人多机协同语义激光SLAM方法，包括以下步骤：
步骤一：设置节点端、协作端以及服务端。
所述节点端包括至少一个无人机节点和一个无人车节点。本发明所提出的协同语义框架能够在最少一个服务端、一个协作端以及两个节点端的情况下运行，并且可以基于此增加协作端和节点端的数目，当某一节点端发生破坏无法进行工作时可以经过自检查在系统内去除该节点以不受影响。节点状态初始化和更新时对每个节点进行系统自检以获取协作端数目、无人机节点数目以及无人车节点数目。
通过节点端、协作端以及服务端协同建图，先要确定其协同建图的理想模型。所述理想模型是指基于单节点建图理想结果、协同建图的重叠边界理想且重点关注区域建图效果满足要求。考虑单节点在实际空间中平均点云密度分布不应该低于设定阈值，平均密度越大越好；不同节点在建图边缘的重叠程度不应该高于设定阈值，又不应该没有交集；重点关注与难点区域的建图效果又应满足设定阈值条件，权重越大越好。所以，对应的协同建图理想模型如式(1)所示：
Figure BDA0004129474950000061
其中，i表示对应节点，di表示对应平均点云密度，f(i)表示在建图边缘与其他节点的重叠程度，w(i)表示先验权重，N表示节点总数，MN表示理想建图状态。
步骤二：通过激光雷达采集无人机节点和无人车节点的点云数据，采用轻量化语义分割网络提取语义信息，分别构建局部语义地图。
步骤三：服务端进行语义特征匹配，根据各节点使用激光SLAM算法得到的位姿以及所述语义信息生成地图融合矩阵。
各个节点首先单独描述自己观测的语义模型，将每帧语义信息进行动态匹配和静态剔除，形成不同视点的局部语义地图，随后各个节点将局部语义地图上传至服务端，利用其计算资源，通过局部地图的相似度匹配建立地图融合矩阵。具有相同语义实例的地图根据相对位姿，进行融合矩阵的变化，通过不同节点已知连续位姿变化及离散的语义信息的一致性估计，利用不同节点的语义信息完成地图融合的策略。
步骤四：通过地图融合矩阵融合各局部语义地图，建立全局地图。
步骤五：服务端将全局地图传输至无人机节点、无人车节点以及协作端。
步骤六：服务端刷新无人车节点的里程数并通过其新提取的特征修正全局地图位姿。
基于LOAM算法，提出利用协同激光雷达里程计进行位姿的更新优化，并反馈至建图端的修正方法，分别设置高频率低精度的位姿估计节点和低频率高精度的建图校正节点，获得高精度的激光里程计信息和环境点云地图。无人车节点单元重新采集点云数据，输入到激光雷达里程计进行帧到帧的位姿变换估计，输入到服务端的融合节点，在已生成的点云地图上进行匹配，利用滤波器获得位姿的修正，并在此修正的条件下继续迭代地图的融合，完成地图的优化。
步骤七：协作端采集地图区域几何真值并上传至服务端，辅助优化全局地图。
在经过无人车节点修正全局地图位姿后，再通过人穿戴相机或激光设备对重点区域或建图置信度低的区域进行跟随观察和二次修正，进行误差计算和效果评估，得到最优地图。
本发明的有益效果如下：
1、本发明提出的地图融合策略主要基于局部地图提取的语义特征展开，使用语义信息的相似性评价建立地图融合矩阵，随后进行地图融合之前，根据各个不同位置的相对位姿及协同噪声进行矩阵的变化相乘，生成基于语义信息构建的协同全局地图，充分利用了协同和语义SLAM的优势，融合了更多的局部信息，使得场景地图的构建精度大幅度提升；
2、通过各个节点以及人类单元的配合，解决了传统SLAM无法完成大规模地图探索的问题，提高了地图构建速度，并可以根据不同的应用场景选择不同优化准则，完成最佳建图策略；
3、通过使用协同语义SLAM，语义信息对于动态过程中的特征匹配更为敏感，在建立完整的地图过程中，可以有效剔除动态噪声，提高建图精度。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种人机多节点协同语义激光SLAM系统，其特征在于，包括：
节点端，用于对区域纵向立体空间以及地面环境进行建图；
协作端，用于测量地图几何真值进行全新框架的建图效果评价；
服务端，用于计算节点端与协作端传送过来的数据进行地图融合。
2.根据权利要求1所述的系统，其特征在于：所述节点端包括至少一个无人机节点和一个无人车节点；所述无人机节点用于区域的纵向立体空间上进行建图，所述无人车节点用于对位置地面较低高度环境进行建图。
3.根据权利要求1所述的系统，其特征在于：所述协作端由人类配备交互设备组成，所述协作端的数量至少为一个。
4.一种基于如权利要求1-3任意一项所述系统的人机多节点协同语义激光SLAM方法，其特征在于，包括以下步骤：
步骤一：设置无人机节点、无人车节点、协作端以及服务端；
步骤二：采集无人机节点和无人车节点的点云数据，提取语义信息，分别构建局部语义地图；
步骤三：服务端进行语义特征匹配，根据位姿和语义信息生成地图融合矩阵；
步骤四：通过地图融合矩阵融合各局部语义地图，建立全局地图；
步骤五：服务端将全局地图传输至无人机节点、无人车节点以及协作端；
步骤六：服务端刷新无人车节点的里程数并通过其新提取的特征修正全局地图位姿；
步骤七：协作端采集地图区域几何真值并上传至服务端，辅助优化全局地图。
5.根据权利要求4所述的方法，其特征在于：所述无人机节点、无人车节点以及协作端的数量至少为一个。
6.根据权利要求4所述的方法，其特征在于：所述协作端通过人穿戴相机或激光设备对区域地图进行采集。
7.根据权利要求4所述的方法，其特征在于：通过激光雷达获取点云数据，采用轻量化语义分割网络U-Net提取语义信息。
8.根据权利要求4所述的方法，其特征在于：通过无人机节点、无人车节点以及协作端协同建图，其中，构建所述协同建图的理想模型为：
Figure FDA0004129474930000021
其中，i表示对应节点，di表示对应平均点云密度，f(i)表示在建图边缘与其他节点的重叠程度，w(i)表示先验权重，N表示节点总数，MN表示理想建图状态。
9.根据权利要求4所述的方法，其特征在于：各个节点将每帧语义信息通过动态匹配和静态剔除后形成不同局部语义地图并上传至服务端，通过局部地图的相似度匹配建立地图融合矩阵，具有相同语义实例的地图根据相对位姿进行融合矩阵的变化，然后通过不同节点已知连续位姿变化及离散的语义信息的一致性估计完成地图融合。
10.根据权利要求4所述的方法，其特征在于：在步骤六中，采用滤波器获得位姿的修正，在此基础上，再通过协作端测量区域几何真值继续融合地图，完成对地图的优化。
CN202310255617.7A 2023-03-16 2023-03-16 一种人机多节点协同语义激光slam系统及方法 Pending CN116358520A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310255617.7A CN116358520A (zh) 2023-03-16 2023-03-16 一种人机多节点协同语义激光slam系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310255617.7A CN116358520A (zh) 2023-03-16 2023-03-16 一种人机多节点协同语义激光slam系统及方法

Publications (1)

Publication Number Publication Date
CN116358520A true CN116358520A (zh) 2023-06-30

Family

ID=86906195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310255617.7A Pending CN116358520A (zh) 2023-03-16 2023-03-16 一种人机多节点协同语义激光slam系统及方法

Country Status (1)

Country Link
CN (1) CN116358520A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116989772A (zh) * 2023-09-26 2023-11-03 北京理工大学 一种空地多模态多智能体协同定位与建图方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116989772A (zh) * 2023-09-26 2023-11-03 北京理工大学 一种空地多模态多智能体协同定位与建图方法
CN116989772B (zh) * 2023-09-26 2024-01-02 北京理工大学 一种空地多模态多智能体协同定位与建图方法

Similar Documents

Publication Publication Date Title
CN110084272B (zh) 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法
CN109100730B (zh) 一种多车协同快速建图方法
US20230260151A1 (en) Simultaneous Localization and Mapping Method, Device, System and Storage Medium
WO2021232470A1 (zh) 基于多传感器融合的slam制图方法、系统
CN105865449A (zh) 基于激光和视觉的移动机器人的混合定位方法
CN106168805A (zh) 基于云计算的机器人自主行走的方法
CN105222760A (zh) 一种基于双目视觉的无人机自主障碍物检测系统及方法
CN111260751B (zh) 基于多传感器移动机器人的建图方法
KR20220064524A (ko) 이미지 기반 측위 방법 및 시스템
CN109425348A (zh) 一种同时定位与建图的方法和装置
CN113269878B (zh) 一种基于多传感器的建图方法及系统
CN113914407B (zh) 一种基于bim与机器视觉的挖掘机开挖隧道精确控制系统
CN112419501A (zh) 一种地空异构协同地图构建方法
CN116358520A (zh) 一种人机多节点协同语义激光slam系统及方法
CN111768489A (zh) 一种室内导航地图构建方法和系统
CN115900710A (zh) 基于视觉信息的动态环境导航方法
CN117152249A (zh) 基于语义一致性的多无人机协同建图与感知方法及系统
WO2020221050A1 (zh) 基于时空域联合处理的集中式协作定位系统和方法
CN116429116A (zh) 一种机器人定位方法及设备
CN115031718A (zh) 一种多传感器融合的无人船同步定位与建图方法(slam)及系统
CN116429112A (zh) 多机器人协同定位方法和装置、设备及存储介质
CN111025364A (zh) 一种基于卫星辅助的机器视觉定位系统及方法
CN116337068A (zh) 基于仿人思路的机器人同步语义定位与建图方法及系统
CN114459467B (zh) 一种未知救援环境中基于vi-slam的目标定位方法
Lee et al. Infrastructure Node-based Vehicle Localization for Autonomous Driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination