CN115166686B - 卫星拒止环境下多无人机分布式协同定位与建图方法 - Google Patents
卫星拒止环境下多无人机分布式协同定位与建图方法 Download PDFInfo
- Publication number
- CN115166686B CN115166686B CN202211081054.6A CN202211081054A CN115166686B CN 115166686 B CN115166686 B CN 115166686B CN 202211081054 A CN202211081054 A CN 202211081054A CN 115166686 B CN115166686 B CN 115166686B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- feature
- pose
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
本发明公开了卫星拒止环境下多无人机分布式协同定位与建图方法,包括:无人机自主定位,每架无人机利用激光雷达提供的原始点云数据提取自身的点云特征信息,然后估计自身的自主定位信息;多无人机协同定位,每架无人机利用其他无人机发布的点云特征信息在自身的特征地图上做匹配,从而计算其他无人机在自身参考坐标系中的相对位姿信息;多无人机协同建图,每架无人机在自身参考坐标系下,利用自主定位信息、相对位姿信息、点云特征信息维护一张全局特征点云地图。本发明采用上述定位与建图方法,拒止环境下,无需外部传感器或高性能地面处理器,即可使多无人机系统中的每架无人机均维护一张全局一致的特征地图。
Description
技术领域
本发明涉及多无人机导航技术领域,尤其是涉及卫星拒止环境下多无人机分布式协同定位与建图方法。
背景技术
近年来,无人机被广泛的应用于地下洞穴探测、森林监测、复杂工业园区重建等领域。上述应用均依赖稳定、实时的多无人机定位系统。基于全球导航卫星系统(globalnavigation satellite system, GNSS)、运动捕捉系统(motion capture system,Mocap)、超宽带测距(ultra-wideband, UWB)等外部传感器的无人机定位方法在过去的几十年中被广泛的应用。然而,外部传感器通常依赖离线部署与标定,无法在一些狭小的非结构化区域为无人机提供稳定的定位信息,这在很大程度上限制了多无人机的应用范围。因此,在卫星拒止环境下实现多无人机的协同定位与建图仍是一项具有挑战的工作。
卫星拒止环境下多无人机分布式协同定位与建图方法,按照传感器类型可以分为基于视觉的多无人机协同定位与建图方法、基于超宽带(Ultra-Wideband,UWB)的多无人机协同定位与建图方法、基于激光雷达的多无人机协同定位与建图方法。
基于视觉的多无人机协同定位与建图方法:利用无人机机载相机拍摄到的图片,在多无人机间做多视图几何匹配,实现多无人机的协同定位。但是,受限于机载相机的有限视场角,当多个无人机间的视场角不存在重叠区域时,会产生较大累计误差。
基于UWB的多无人机协同定位与建图方法:UWB是近年来一种新颖的电波测距技术,超宽带技术通过测量电波的到达时间、到达时间差或到达角计算出两个模块之间的距离。无人机利用自身定位信息配合UWB测距信息可以实现多无人机的协同定位功能。但是,UWB测距信息受其体积与功率的影响,存在测距范围小、易受障碍物遮挡的缺点,容易导致多无人机协同定位失效。
基于激光雷达的多无人机协同定位与建图方法:随着,近年来激光雷达体积、重量、成本的持续降低,使基于激光雷达的无人机自主导航技术成为了可能。得益于激光的主动深度测量特性,激光雷达可以提供不受光照影响的点云信息,从而实现多无人机的协同定位与建图。然而,激光雷达产生的大量点云信息导致基于激光雷达的多无人机协同定位与建图方法的计算复杂度较高,通常依赖集中式地面站实现协同定位与建图功能。
综上所述,目前针对卫星拒止环境下多无人机协同定位与建图方面的相关工作,多受限于相机视场角、UWB测距范围、地面集中式运算平台,难以适应计算资源受限的多无人机平台和对实时性要求高的任务。因此,研究卫星拒止环境下多无人机分布式协同定位与建图方法对于多无人机系统的实际落地应用至关重要。
发明内容
为克服现有技术的不足,本发明旨在提出一种适用于卫星拒止环境的多无人机分布式协同定位与建图方法,无人机通过确定自身定位信息以及其他无人机的相对定位信息,从而为多无人机系统提供全局一致的环境地图信息。
本发明的卫星拒止环境下多无人机分布式协同定位与建图方法,包括:无人机自主定位,每架无人机利用激光雷达提供的原始点云数据提取自身的点云特征信息,然后估计自身的自主定位信息;多无人机协同定位,每架无人机利用其他无人机发布的点云特征信息在自身的特征地图上做匹配,从而计算其他无人机在自身参考坐标系中的相对位姿信息;多无人机协同建图,每架无人机在自身参考坐标系下,利用自主定位信息、相对位姿信息、点云特征信息维护一张全局特征点云地图。
进一步的,无人机自主定位的具体步骤包括:
面特征点集的匹配残差:
式中,为特征点云中的特征点,为无人机在自身参考坐标系下的位姿初值;为线特征点集中的特征点,与为无人机自身特征地图中距离最近且不在同一条扫描线上的任意两个点;为面特征点集中的特征点,、、为无人机自身特征地图中距离最近的任意三个点;
S13、根据特征点集的匹配残差,将基于雷达特征-地图匹配的无人机自主定位问题转化为非线性最小二乘问题;通过高斯-牛顿法对非线性最小二乘问题的迭代求解,即可实现多无人机系统中每架无人机对自身自主定位的估计;
进一步的,多无人机协同定位的具体步骤包括:
S21、构建无人机的自主定位因子;
式中,表示时刻的无人机自主定位观测矩阵,表示时刻的无人机自主定位观测矩阵,表示至间无人机的位姿增量,表示无人机自主定位观测协方差;表示时刻在参考坐标系下的位姿的逆,表示时刻在参考坐标系下的位姿;表示时刻自主定位观测矩阵的逆矩阵;表示时刻相对于参考坐标系位姿矩阵的估计矩阵对应的逆矩阵,表示时刻相对于参考坐标系位姿矩阵的估计矩阵;
S22、构建无人机的相对定位因子;
式中,为在的参考坐标系下的位姿初值,为的特征点;与为特征地图中距离的特征点的投影最近且不在同一条扫描线上的任意两个点;、、为特征地图中距离的特征点的投影最近的任意三个点;为线特征点集中特征点的数量,为面特征点集中特征点的数量;
S23、将自主定位因子和相对定位因子融合,然后通过高斯噪声假设将多无人机分布式相对位姿图优化问题转化为最小二乘问题;
式中,分别为时刻无人机在自身参考坐标系中的位姿,分别为无人机在时刻提取的线特征,分别为无人机在时刻提取的面特征,分别为时刻无人机在无人机参考坐标系中的位姿,分别为无人机在时刻提取的线特征,分别为无人机在时刻提取的面特征。
综上,本发明采用上述多无人机分布式协同定位与建图方法,具备如下优势:
1、本发明提出了无人机自主定位方法,该方法仅依赖机载激光雷达与无人机机载计算机,无需外部传感器或高性能地面处理器,可用于支撑无人机在卫星导航拒止环境下的自主飞行与相关应用。
2、本发明提出了基于特征-地图匹配的多无人机分布式协同定位方法,该方法利用激光雷达点云特征与地图的匹配关系实现了对无人机自身位姿与多无人机系统内部其他无人机的相对位姿的求解,可用于支撑多无人机在卫星导航拒止环境下的协同飞行。
3、本发明提出了多无人机协同建图方法,该方法将每架无人机自身提取的特征点云与其他无人机发布的特征点云投影到无人机自身的参考坐标系,使多无人机系统中的每架无人机均可以维护一张全局一致的特征地图。
附图说明
图1为本发明实施例中卫星拒止环境下多无人机协同定位方法总体结构图;
图2为本发明实施例中分布式相对位姿图优化方法示意图;
图3为本发明实施例中卫星拒止环境下无人机自主定位对比图;
图4为本发明实施例中室内运动捕捉系统环境下协同定位对比图;
图5为本发明实施例中丛林环境下三架无人机协同定位轨迹与建图效果;
图6为本发明实施例中楼宇环境下三架无人机协同建图效果。
具体实施方式
以下结合附图和实施例对本发明的技术方案作进一步说明。
本方案所选用的无人机均搭载有三维激光雷达和机载处理器。三维激光雷达用于采集无人机周围环境的环境点云信息,测量精度高,覆盖范围大,能够将环境信息以三维点云数据形式发布出来。机载处理器用于处理三维激光雷达点云数据与卫星拒止环境下多无人机协同定位方法运行,获得无人机自身位姿及系统内其他无人机位姿。
如图1所示,本方案所设计的卫星拒止环境下多无人机协同定位算法主要包含三部分,卫星拒止环境下无人机自主定位、卫星拒止环境下多无人机相对定位以及卫星拒止环境下多无人机协同建图。
一、卫星拒止环境下无人机自主定位。
基于雷达特征-地图匹配的无人机自主定位方法利用激光雷达提供的原始点云数据估计多无人机系统中的每架无人机自身的定位信息。
根据平滑度的定义,如果点分布在平面上,的值接近0;若点分布在边缘上,的值很大。先计算每个点云的平滑度值,排序后取最大和最小的数十个点,即为特征点。在特征提取时为了避免特征点分布过于集中,规定一个特征点周围10个邻近点不能作为特征点,最终特征提取环节获得了线特征点集与面特征点集。因此,特征点集可以定义为,其中表示两个集合的并集。
对于线特征点集中的每个点,找到特征地图中距离在参考坐标系下的投影最近且不在同一条扫描线上的个点()。假设与为特征地图中距离最近且不在同一条扫描线上的任意2个点。与、连成的线构成线特征对应关系,定义线特征点集中的第个点到地图的匹配残差为:
对于平面特征点集中的每个点,找到特征地图中距离在参考坐标系下的投影最近的个点,以张成一个平面。假设、、为特征地图中距离最近的任意3个点。与、、张成的平面构成平面特征对应关系,定义平面特征点集中的第个点到地图的匹配残差为:
二、卫星拒止环境下多无人机相对定位。
多无人机相对定位方法利用多无人机系统中其他无人机发布的自主定位信息与点云特征信息构建因子图,从而计算其他无人机在每架无人机参考坐标系中的位姿。因子图中包括2种因子:1)无人机自主定位因子;2)无人机相对定位因子,如图2所示。
S21、无人机自主定位因子构建。无人机自主定位因子用于描述因子图中两相邻节点间的位姿关系。对于一个多无人机系统,每架无人机可以估计自身的位姿并将其发布至其他无人机。定义无人机自主定位观测如下:
将公式(7)代入公式(6)中,可得:
对于发布的线特征点集中的每个点,找到特征地图中距离在参考坐标系下的投影最近且不在同一条扫描线上的个点()。假设与为特征地图中距离最近且不在同一条扫描线上的任意2个点。与、连成的线构成线特征对应关系,定义发布的线特征点集的第个点到地图的匹配残差为:
对于发布的面特征点集中的每个点,找到特征地图中距离在参考坐标系下的投影最近的个点,以张成一个平面。假设、、为特征地图中距离最近的任意3个点。与、、张成的平面构成平面特征对应关系,定义平面特征点集中的第个点到地图的匹配残差为:
S23、分布式相对位姿图优化方法。分布式相对位姿图优化方法对无人机自主定位信息与多无人机相对定位信息进行融合,实现精确、鲁棒、实时的分布式多无人机协同定位。
三、卫星拒止环境下多无人机协同建图方法。
式中,分别为时刻无人机在自身参考坐标系中的位姿,分别为无人机在时刻提取的线特征,分别为无人机在时刻提取的面特征,分别为时刻无人机在无人机参考坐标系中的位姿,分别为无人机在时刻提取的线特征,分别为无人机在时刻提取的面特征。
根据公式(15)中特征点云地图的定义可以,本发明提出的卫星拒止环境下多无人机协同定位与建图方法可以在多无人机系统中包含的每架无人机上维护一张全局一致的特征地图,如图5、图6所示。
以上是本发明的具体实施方式,但本发明的保护范围不应局限于此。任何熟悉本领域的技术人员在本发明所揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内,因此本发明的保护范围应以权利要求书所限定的保护范围为准。
Claims (4)
1.卫星拒止环境下多无人机分布式协同定位与建图方法,其特征在于,包括:
无人机自主定位,每架无人机利用激光雷达提供的原始点云数据提取自身的点云特征信息,然后估计自身的自主定位信息;
多无人机协同定位,每架无人机利用其他无人机发布的点云特征信息在自身的特征地图上做匹配,从而计算其他无人机在自身参考坐标系中的相对位姿信息;
多无人机协同建图,每架无人机在自身参考坐标系下,利用自主定位信息、相对位姿信息、点云特征信息维护一张全局特征点云地图;
其中,无人机自主定位的具体步骤包括:
式中,为特征点云中的特征点,为无人机在自身参考坐标系下的位姿初值;为线特征点集中的特征点,与为无人机自身特征地图中距离最近且不在同一条扫描线上的任意两个点;为面特征点集中的特征点,、、为无人机自身特征地图中距离最近的任意三个点;
S13、根据特征点集的匹配残差,将基于雷达特征-地图匹配的无人机自主定位问题转化为非线性最小二乘问题;通过高斯-牛顿法对非线性最小二乘问题的迭代求解,即可实现多无人机系统中每架无人机对自身位姿的估计;
3.根据权利要求2所述的卫星拒止环境下多无人机分布式协同定位与建图方法,其特征在于,多无人机协同定位的具体步骤包括:
S21、构建无人机的自主定位因子;
式中,表示时刻的无人机自主定位观测矩阵,表示时刻的无人机自主定位观测矩阵,表示至间无人机的位姿增量,表示无人机自主定位观测协方差;表示时刻在参考坐标系下的位姿的逆,表示时刻在参考坐标系下的位姿;表示时刻自主定位观测矩阵的逆矩阵;表示时刻相对于参考坐标系位姿矩阵的估计矩阵对应的逆矩阵,表示时刻相对于参考坐标系位姿矩阵的估计矩阵;
S22、构建无人机的相对定位因子;
式中,为在的参考坐标系下的位姿初值,为的特征点;与为特征地图中距离的特征点的投影最近且不在同一条扫描线上的任意两个点;、、为特征地图中距离的特征点的投影最近的任意三个点;为线特征点集中特征点的数量,为面特征点集中特征点的数量;
S23、将自主定位因子和相对定位因子融合,然后通过高斯噪声假设将多无人机分布式相对位姿图优化问题转化为最小二乘问题;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211081054.6A CN115166686B (zh) | 2022-09-06 | 2022-09-06 | 卫星拒止环境下多无人机分布式协同定位与建图方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211081054.6A CN115166686B (zh) | 2022-09-06 | 2022-09-06 | 卫星拒止环境下多无人机分布式协同定位与建图方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115166686A CN115166686A (zh) | 2022-10-11 |
CN115166686B true CN115166686B (zh) | 2022-11-11 |
Family
ID=83481392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211081054.6A Active CN115166686B (zh) | 2022-09-06 | 2022-09-06 | 卫星拒止环境下多无人机分布式协同定位与建图方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115166686B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106595659A (zh) * | 2016-11-03 | 2017-04-26 | 南京航空航天大学 | 城市复杂环境下多无人机视觉slam的地图融合方法 |
CN112000130A (zh) * | 2020-09-07 | 2020-11-27 | 哈尔滨工业大学 | 一种无人机的多机协同高精度建图定位系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11048277B1 (en) * | 2018-01-24 | 2021-06-29 | Skydio, Inc. | Objective-based control of an autonomous unmanned aerial vehicle |
CN109945856B (zh) * | 2019-02-18 | 2021-07-06 | 天津大学 | 基于惯性/雷达的无人机自主定位与建图方法 |
CN111812978B (zh) * | 2020-06-12 | 2023-01-24 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种多无人机协作slam方法与系统 |
CN112347840B (zh) * | 2020-08-25 | 2022-12-02 | 天津大学 | 视觉传感器激光雷达融合无人机定位与建图装置和方法 |
CN113985429A (zh) * | 2021-09-23 | 2022-01-28 | 天津大学 | 基于三维激光雷达的无人机环境扫描与重构方法 |
-
2022
- 2022-09-06 CN CN202211081054.6A patent/CN115166686B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106595659A (zh) * | 2016-11-03 | 2017-04-26 | 南京航空航天大学 | 城市复杂环境下多无人机视觉slam的地图融合方法 |
CN112000130A (zh) * | 2020-09-07 | 2020-11-27 | 哈尔滨工业大学 | 一种无人机的多机协同高精度建图定位系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115166686A (zh) | 2022-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112347840B (zh) | 视觉传感器激光雷达融合无人机定位与建图装置和方法 | |
CN110446159B (zh) | 一种室内无人机精确定位与自主导航的系统及方法 | |
Li et al. | Multi-sensor fusion for navigation and mapping in autonomous vehicles: Accurate localization in urban environments | |
Hebel et al. | Change detection in urban areas by object-based analysis and on-the-fly comparison of multi-view ALS data | |
He et al. | Non-cooperative spacecraft pose tracking based on point cloud feature | |
Sanfourche et al. | Perception for UAV: Vision-Based Navigation and Environment Modeling. | |
Eynard et al. | Real time UAV altitude, attitude and motion estimation from hybrid stereovision | |
Kim et al. | UAV-UGV cooperative 3D environmental mapping | |
CN108535789A (zh) | 一种基于机场跑道的异物识别系统 | |
Deng et al. | Global optical flow-based estimation of velocity for multicopters using monocular vision in GPS-denied environments | |
Wang et al. | Correlation flow: robust optical flow using kernel cross-correlators | |
Warren et al. | Towards visual teach and repeat for GPS-denied flight of a fixed-wing UAV | |
Ivanovas et al. | Block matching based obstacle avoidance for unmanned aerial vehicle | |
CN110187337B (zh) | 一种基于ls和neu-ecef时空配准的高机动目标跟踪方法及系统 | |
Lippiello et al. | Closed-form solution for absolute scale velocity estimation using visual and inertial data with a sliding least-squares estimation | |
Ivancsits et al. | Visual navigation system for small unmanned aerial vehicles | |
Cheng | Real-time surface slope estimation by homography alignment for spacecraft safe landing | |
Li et al. | Metric sensing and control of a quadrotor using a homography-based visual inertial fusion method | |
Mansur et al. | Real time monocular visual odometry using optical flow: study on navigation of quadrotors UAV | |
Han et al. | Multiple targets geolocation using SIFT and stereo vision on airborne video sequences | |
Wang et al. | A resource-efficient online target detection system with autonomous drone-assisted IoT | |
CN115166686B (zh) | 卫星拒止环境下多无人机分布式协同定位与建图方法 | |
Contreras et al. | Efficient decentralized collaborative mapping for outdoor environments | |
Zheng et al. | Dual LIDAR online calibration and mapping and perception system | |
Zhang et al. | Hybrid iteration and optimization-based three-dimensional reconstruction for space non-cooperative targets with monocular vision and sparse lidar fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |