CN105022401B - 基于视觉的多四旋翼无人机协同slam方法 - Google Patents

基于视觉的多四旋翼无人机协同slam方法 Download PDF

Info

Publication number
CN105022401B
CN105022401B CN201510392379.XA CN201510392379A CN105022401B CN 105022401 B CN105022401 B CN 105022401B CN 201510392379 A CN201510392379 A CN 201510392379A CN 105022401 B CN105022401 B CN 105022401B
Authority
CN
China
Prior art keywords
unmanned plane
main
main unmanned
auxiliary
rotor wing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510392379.XA
Other languages
English (en)
Other versions
CN105022401A (zh
Inventor
丛楚滢
王从庆
丁臻极
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201510392379.XA priority Critical patent/CN105022401B/zh
Publication of CN105022401A publication Critical patent/CN105022401A/zh
Application granted granted Critical
Publication of CN105022401B publication Critical patent/CN105022401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于视觉的多四旋翼无人机协同SLAM的方法,该方法针对多架安装有采集图像信息的摄像头和获取无人机的姿态角和加速度信息的惯性导航单元且可相互通信的四旋翼无人机,其中一架为主无人机,其余为辅助无人机。主无人机负责完成SLAM任务,辅助无人机悬停于固定位置对主无人机进行相对位置测量,帮助主无人机进行实时定位修正。本发明主要应用于多四旋翼无人机自主飞行定位,有助于主无人机实时调整位姿估计,提高无人机位姿估计及路标位置估计的准确性;另外,在主无人机产生意外无法完成SLAM的情况下,辅助无人机能迅速替补,继续执行任务,具有良好的机动性。

Description

基于视觉的多四旋翼无人机协同SLAM方法
技术领域
本发明属于无人机技术领域,尤其涉及一种基于视觉的多四旋翼无人机协同SLAM方法。
背景技术
无人机现已广泛应用于军事及民用等众多领域。在军事上,无人机可完成空中预警、侦察监视、通讯中继及小范围内攻击等任务。在民用方面,无人机可以完成环境监测、遥感探测、灾区搜救、农药喷洒等任务。无人机位姿的准确估计是无人机自主安全飞行的基础。目前普遍使用的定位方式是GPS定位,但在某些特殊环境下,GPS信号会缺失或受到干扰,需要不依赖GPS的定位方法。基于视觉的SLAM方法使用机载摄像头采集图像信息,惯性导航单元获取无人机的姿态角和加速度信息,是无人机自主飞行定位的一个重要研究方向。
四旋翼无人机是一种有四个螺旋桨的无人飞行器,依靠改变螺旋桨的速度来实现飞行的各种姿态,具有结构简单,体型小巧,控制灵活等优势,适合用于室内及复杂环境。在复杂环境下,单架无人机在准确率和效率上很难满足要求,可采用多架无人机相互辅助,共同完成任务,即协同。多无人机协同SLAM利用无人机之间的相对观测获得的距离和相对方位信息,进行资源共享和定位修正,从而能够获得比单架无人机定位更精确的结果。
目前SLAM技术已广泛应用于地面移动机器人领域,水下机器人与无人机领域也有了一定的研究成果。基于局部子地图等思想,在地面移动机器人的二维空间已经进行了多机器人协同SLAM的研究,而在无人机活动的三维空间内,协同SLAM技术的研究工作还有待进一步展开,将是未来国内外一个重要研究方向。
发明内容
本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷,提供一种基于视觉的多四旋翼无人机协同SLAM方法。
本发明为解决上述技术问题采用以下技术方案:
基于视觉的多四旋翼无人机协同SLAM方法,包含以下步骤:
步骤1),在四旋翼无人机集群中选取一架四旋翼无人机作为主无人机,其余作为辅助无人机;
步骤2),利用惯性导航单元获取主无人机的姿态角和加速度信息,计算主无人机在地面坐标系下的位置;
步骤3),辅助无人机观察主无人机的飞行变化,根据辅助无人机在地面坐标系下的位置及其与主无人机的相对位置计算得到主无人机在地面坐标系下的位置变化量;
步骤4),根据步骤3)中得到的主无人机在地面坐标系下的位置变化量对主无人机和路标位置进行校正;
步骤5),当主无人机将与辅助无人机之间的距离超过预设的第一距离值时,辅助无人机调整位置接近主无人机,使得其与主无人机之间的距离为预设的第二距离值;
步骤6),当主无人机产生故障时,选取距离主无人机最近的辅助无人机作为新的主无人机,继续完成SLAM任务。
作为本发明基于视觉的多四旋翼无人机协同SLAM方法进一步的优化方案,所述步骤3)根据以下公式计算主无人机在地面坐标系下的位置变化量:
式中,分别为辅助无人机i在t-1时刻和t时刻观测与主无人机之间的相对位置,i=1,2,...,N-1;
N-1为辅助无人机的数量;
Δt为t-1时刻和t时刻之间的间隔时间;
Δxi为辅助无人机i观测到的主无人机在地面坐标系下的位置变化量。
作为本发明基于视觉的多四旋翼无人机协同SLAM方法进一步的优化方案,所述步骤4)根据以下公式对主无人机位置进行校正:
式中,分别为主无人机在t时刻和t-1时刻的校正位置,xt为主无人机t时刻根据惯性导航单元得到的自身位置。
作为本发明基于视觉的多四旋翼无人机协同SLAM方法进一步的优化方案,所述步骤5)的详细步骤如下:
若在t时刻,辅助无人机i与主无人机之间的相对距离超过摄像头最大观测距离的4/5,则辅助无人机i首先向主无人机发送暂停信号,然后根据该时刻得到的相对位置信息沿最短距离迅速飞行至距主无人机最大观测距离1/5处悬停,向主无人机发送继续执行信号。
作为本发明基于视觉的多四旋翼无人机协同SLAM方法进一步的优化方案,步骤6)的详细步骤如下:
主无人机产生故障时,比较该t时刻各辅助无人机对于主无人机的相对距离选取辅助无人机n作为新的主无人机,迅速移至原主无人机位置,继续完成SLAM任务,其余辅助无人机任务保持不变。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
本发明将N架四旋翼无人机中的一架作为主无人机,其余N-1架作为辅助无人机,辅助无人机保持悬停状态,与路标一起估计和更新,通过观察与主无人机的相对位置计算主无人机在地面坐标系下的绝对位置,有助于主无人机实时调整位姿估计,提高无人机位姿估计及路标位置估计的准确性;另外,在主无人机产生意外无法完成SLAM的情况下,辅助无人机能迅速替补,继续执行任务,具有良好的机动性。
附图说明
图1是本发明基于视觉的多四旋翼无人机SLAM方法流程图;
图2是本发明中辅助无人机i观测主无人机相对位置示意图;
图3是主无人机与辅助无人机间通信过程流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
如图1所示,本发明基于视觉的多四旋翼协同SLAM方法如下:
选取一架四旋翼无人机UAV1作为主无人机,其余两架四旋翼无人机UAV2和UAV3作为辅助无人机,并确保UAV2和UAV3在UAV1的观测范围以内。三架四旋翼无人机均携带有摄像头和惯性导航单元。
UAV1进行SLAM任务,路标的总个数为M,将UAV2和UAV3也作为路标进行估计和更新,利用机载摄像机采集图像信息,利用机载惯性导航单元获取无人机的姿态角和加速度信息。公式(1)为主无人机SLAM的联合概率分布
式中,xt={x1,x2,...,xt},zt={z1,z2,...,zt},ut={u1,u2,...,ut},nt={n1,n2,...,nt}分别表示从初始时刻到t时刻主无人机的状态量、观测量、控制量和数据关联量的历史信息集合;M={m1,m2,...,mN}表示N个路标构成的环境地图,各路标之间相互独立;mN+1和mN+2分别表示作为路标的辅助无人机UAV2和UAV3。
间隔时间Δt前后,各辅助无人机分别观测与主无人机之间的相对位置,如图2所示,得到式(2)~(5),分别为UAV2在t-1时刻和t时刻观测到的与主无人机UAV1的相对位置以及UAV3在t-1时刻和t时刻观测到的与主无人机UAV1的相对位置
则UAV2和UAV3在两次观测后分别得到的UAV1在地面坐标系下飞行的位置变化Δx1和Δx2
UAV1根据自身惯导系统测量计算,得到t-1时刻和t时刻在地面坐标系的位置xt-1和xt,结合UAV2和UAV3估计位置变化,修正UAV1位置,得UAV1t时刻的最终位置估计
UAV1再对t-1时刻到t时刻观察到的路标进行校正和更新。
如图3所示,若UAV2与UAV1之间的相对距离超过摄像头最大观测距离的4/5,则UAV2向UAV1发送暂停信号,并迅速飞行至距UAV1最大观测距离1/5处悬停,向UAV1发送继续执行信号;若UAV3与UAV1之间的相对距离超过摄像头最大观测距离的4/5,同上述步骤调整UAV3悬停位置。
在UAV1完成SLAM任务前,重复上述估计、校正和调整步骤。若任务过程中UAV1产生故障,则比较该t时刻UAV2和UAV3对于UAV1的相对距离则将UAV2作为替补主无人机,迅速沿方向飞行至原主无人机处,取代UAV1继续完成SLAM任务;反之,则将UAV3作为替补主无人机,迅速沿方向飞行至原主无人机处,取代UAV1继续完成SLAM任务。
本技术领域技术人员可以理解的是,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.基于视觉的多四旋翼无人机协同SLAM方法,其特征在于,包含以下步骤:
步骤1),在四旋翼无人机集群中选取一架四旋翼无人机作为主无人机,其余作为辅助无人机;
步骤2),利用惯性导航单元获取主无人机的姿态角和加速度信息,计算主无人机在地面坐标系下的位置;
步骤3),辅助无人机观察主无人机的飞行变化,根据辅助无人机在地面坐标系下的位置及其与主无人机的相对位置计算得到主无人机在地面坐标系下的位置变化量,计算公式如下:
式中,分别为辅助无人机i在t-1时刻和t时刻观测与主无人机之间的相对位置,i=1,2,…,N-1;
分别为辅助无人机i在t、t-1时刻与主无人机间的直线距离;分别为辅助无人机i与主无人机在t、t-1时刻的连线与水平面的夹角;分别为辅助无人机i与主无人机在t、t-1时刻的连线在水平面的投影与地面坐标系x轴正方向的夹角;
N-1为辅助无人机的数量;
Δt为t-1时刻和t时刻之间的间隔时间;
Δxi为辅助无人机i观测到的主无人机在地面坐标系下的位置变化量;
步骤4),根据步骤3)中得到的主无人机在地面坐标系下的位置变化量对主无人机和路标位置进行校正;
步骤5),当主无人机将与辅助无人机之间的距离超过预设的第一距离值时,辅助无人机调整位置接近主无人机,使得其与主无人机之间的距离为预设的第二距离值;
步骤6),当主无人机产生故障时,选取距离主无人机最近的辅助无人机作为新的主无人机,继续完成SLAM任务。
2.根据权利要求1所述的基于视觉的多四旋翼无人机协同SLAM方法,其特征在于,所述步骤4)根据以下公式对主无人机位置进行校正:
式中,分别为主无人机在t时刻和t-1时刻的校正位置,xt为主无人机t时刻根据惯性导航单元得到的自身位置。
3.根据权利要求2所述的基于视觉的多四旋翼无人机协同SLAM方法,其特征在于,所述步骤5)的详细步骤如下:
若在t时刻,辅助无人机i与主无人机之间的相对距离超过摄像头最大观测距离的4/5,则辅助无人机i首先向主无人机发送暂停信号,然后根据该时刻得到的相对位置信息沿最短距离迅速飞行至距主无人机最大观测距离1/5处悬停,向主无人机发送继续执行信号。
4.根据权利要求3所述的基于视觉的多四旋翼无人机协同SLAM方法,其特征在于,步骤6)的详细步骤如下:
主无人机产生故障时,比较该t时刻各辅助无人机对于主无人机的相对距离选取辅助无人机n作为新的主无人机,迅速移至原主无人机位置,继续完成SLAM任务,其余辅助无人机任务保持不变。
CN201510392379.XA 2015-07-06 2015-07-06 基于视觉的多四旋翼无人机协同slam方法 Active CN105022401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510392379.XA CN105022401B (zh) 2015-07-06 2015-07-06 基于视觉的多四旋翼无人机协同slam方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510392379.XA CN105022401B (zh) 2015-07-06 2015-07-06 基于视觉的多四旋翼无人机协同slam方法

Publications (2)

Publication Number Publication Date
CN105022401A CN105022401A (zh) 2015-11-04
CN105022401B true CN105022401B (zh) 2017-08-04

Family

ID=54412441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510392379.XA Active CN105022401B (zh) 2015-07-06 2015-07-06 基于视觉的多四旋翼无人机协同slam方法

Country Status (1)

Country Link
CN (1) CN105022401B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446346B (zh) * 2015-11-26 2018-01-05 航天东方红卫星有限公司 遥感卫星对月相对定标姿态调整方法
JP2017111790A (ja) * 2015-12-10 2017-06-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 移動制御方法、自律移動ロボット及びプログラム
CN106885567B (zh) * 2015-12-15 2020-04-03 华为技术有限公司 一种惯导协作定位方法及定位设备
CN106997209B (zh) * 2016-01-25 2020-09-08 深圳市鼎创旭飞科技有限公司 植保无人机喷施作业方法和系统
CN106289184B (zh) * 2016-11-01 2018-11-13 华中师范大学 一种无gnss信号和无控制点下无人机协同视觉形变监测方法
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
WO2018112823A1 (en) * 2016-12-22 2018-06-28 Intel Corporation Uav positions method and apparatus
CN106959453B (zh) * 2017-05-18 2023-06-06 北京理工大学 一种用于辅助任务无人机获取卫星信号的辅助无人机
CN106980132B (zh) * 2017-05-18 2023-07-21 北京理工大学 一种无人机协同作业系统
CN108700668A (zh) * 2017-06-29 2018-10-23 深圳市大疆创新科技有限公司 检测无人机的定位设备的方法、无人机
CN107453811B (zh) * 2017-08-23 2019-12-03 佛山市南海区广工大数控装备协同创新研究院 一种基于可见光视觉通信的无人机协同slam的方法
CN108132677B (zh) * 2017-12-28 2021-06-11 何佳林 一种遮阳无人机控制系统和控制方法
CN108256563B (zh) * 2018-01-09 2020-05-26 深圳市无限动力发展有限公司 基于距离度量的视觉词典闭环检测方法与装置
CN108415445B (zh) * 2018-02-09 2020-11-06 西北工业大学 一种基于开关约束的水下航行器定位鲁棒优化方法
CN108759837A (zh) * 2018-05-22 2018-11-06 北京和协导航科技有限公司 无人机多机通讯作战系统及方法
CN109189100A (zh) * 2018-11-16 2019-01-11 北京遥感设备研究所 一种基于视觉定位的四旋翼无人机群控制系统和方法
JP6761146B1 (ja) * 2018-11-22 2020-09-23 楽天株式会社 情報処理システム、情報処理方法及びプログラム
CN109669474B (zh) * 2018-12-21 2022-02-15 国网安徽省电力有限公司淮南供电公司 基于先验知识的多旋翼无人机自适应悬停位置优化算法
CN109919825B (zh) * 2019-01-29 2020-11-27 北京航空航天大学 一种orb-slam硬件加速器
CN109945871B (zh) * 2019-03-15 2021-03-02 中山大学 一种通信带宽与距离受限情况下的多无人平台同步定位与地图构建方法
CN109933087B (zh) * 2019-03-18 2021-12-10 西安爱生技术集团公司 无人机与地面机动目标虚拟编队战位保持控制方法
CN110068335B (zh) * 2019-04-23 2021-07-30 中国人民解放军国防科技大学 一种gps拒止环境下无人机集群实时定位方法及系统
CN110147117A (zh) * 2019-05-22 2019-08-20 惠州市三航无人机技术研究院 一种无人机多机协同控制方法
CN110926474B (zh) * 2019-11-28 2021-09-03 南京航空航天大学 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法
CN113296528B (zh) * 2021-06-08 2023-07-18 北京德中天地科技有限责任公司 对飞行器搭载的成像光谱仪的图像数据校准方法及系统
US11971725B2 (en) 2021-10-14 2024-04-30 Cnh Industrial America Llc System and method for performing spraying operations with an agricultural applicator
CN115617079B (zh) * 2022-12-14 2023-02-28 四川轻化工大学 一种可交互无人机系统
CN116700356B (zh) * 2023-08-04 2023-10-17 南京海汇装备科技有限公司 一种无人机指挥控制系统及方法
CN116934062B (zh) * 2023-09-19 2023-11-24 南京海汇装备科技有限公司 一种基于多元融合的信息处理系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104062977A (zh) * 2014-06-17 2014-09-24 天津大学 基于视觉slam的四旋翼无人机全自主飞行控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10054943B2 (en) * 2011-10-26 2018-08-21 Hoverfly Technologies, Inc. Control system for unmanned aerial vehicle utilizing parallel processing architecture

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104062977A (zh) * 2014-06-17 2014-09-24 天津大学 基于视觉slam的四旋翼无人机全自主飞行控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Robust cooperative UAV visual SLAM";A.Nemra等;《IEEE 9th international conference on Cybernetic Intelligent Systems》;20110620;第1-6页 *
"多机器人协作定位及系统架构研究";蔡云飞;《万方数据http://d.wangfangdata.com.cn/Thesis/Y1919756》;20111031;第60-71页 *

Also Published As

Publication number Publication date
CN105022401A (zh) 2015-11-04

Similar Documents

Publication Publication Date Title
CN105022401B (zh) 基于视觉的多四旋翼无人机协同slam方法
Balamurugan et al. Survey on UAV navigation in GPS denied environments
CN104062977B (zh) 基于视觉slam的四旋翼无人机全自主飞行控制方法
Grocholsky et al. Cooperative air and ground surveillance
CN109388150B (zh) 多传感器环境地图构建
CN107850901B (zh) 使用惯性传感器和图像传感器的传感器融合
CN107615211B (zh) 使用传感器融合估计可移动物体的状态信息的方法及系统
CN103365297B (zh) 基于光流的四旋翼无人机飞行控制方法
CN110825113B (zh) 一种适用于四旋翼无人机集群飞行的队形保持方法
WO2016197986A1 (zh) 一种无人机高精度自主避障飞行方法
CN108827306A (zh) 一种基于多传感器融合的无人机slam导航方法及系统
CN107850899B (zh) 使用惯性传感器和图像传感器的传感器融合
Deng et al. Indoor multi-camera-based testbed for 3-D tracking and control of UAVs
CN110058602A (zh) 基于深度视觉的多旋翼无人机自主定位方法
Ludington et al. Augmenting UAV autonomy
CN113625774B (zh) 局部地图匹配与端到端测距多无人机协同定位系统和方法
CN105222760A (zh) 一种基于双目视觉的无人机自主障碍物检测系统及方法
Mohta et al. Vision-based control of a quadrotor for perching on lines
CN104808675A (zh) 基于智能终端的体感飞行操控系统及终端设备
CN110703798A (zh) 基于视觉的无人机编队飞行控制方法
EP3074832A2 (en) Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (mav)
CN110231828B (zh) 基于非奇异快速终端滑模的四旋翼无人机视觉伺服控制方法
Rondon et al. Vision-based altitude, position and speed regulation of a quadrotor rotorcraft
Rhudy et al. Unmanned aerial vehicle navigation using wide‐field optical flow and inertial sensors
Lin et al. Development of an unmanned coaxial rotorcraft for the DARPA UAVForge challenge

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant