CN111077907A - 一种室外无人机的自主定位方法 - Google Patents

一种室外无人机的自主定位方法 Download PDF

Info

Publication number
CN111077907A
CN111077907A CN201911392842.5A CN201911392842A CN111077907A CN 111077907 A CN111077907 A CN 111077907A CN 201911392842 A CN201911392842 A CN 201911392842A CN 111077907 A CN111077907 A CN 111077907A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
information
point cloud
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911392842.5A
Other languages
English (en)
Inventor
马静
邢佳雪
徐军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN201911392842.5A priority Critical patent/CN111077907A/zh
Publication of CN111077907A publication Critical patent/CN111077907A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft

Abstract

本发明提供了一种室外无人机自主定位的方法,包括无人机:用于生成环境点云信息完成自主定位与建图的2D激光雷达;用于采集图像信息和稀疏点云信息提高定位精度与建图精度的双目深度相机;用于测算无人机位姿信息提高飞行稳定性的惯性测量单元;用于检测地面灰度信息完成无人机辅助定位提高系统可靠性的光流传感器;用于控制无人机运动的飞控系统;用于提供人机交互功能的地面站;本发明提供了室外无人机自主定位的方法,定位精度高,建图效果直观,系统可靠性高,飞行性能好。

Description

一种室外无人机的自主定位方法
技术领域
本发明涉及无人飞行器技术领域,更具体地涉及一种基于2D激光雷达和深度相机融合的室外无人机精确定位的系统及方法。
背景技术
随着人工智能和模式识别等技术的快速发展,无人机逐渐扩大了应用领域和研究范围如灾后搜救、航空拍摄、农作物监测以及军事作战等多个领域,移动机器人的定位技术可以分为两大类:绝对定位技术和相对定位技术:绝对定位技术的实现方式主要是全球定位系统(Global Position System,GPS)等,GPS定位有许多优点如:定位方法比较成熟容易集成,在室外信号较好的情况下定位精度较高,但其有一个最主要的缺点:依赖外部信号,在GPS信号被遮挡,干扰或缺失的情况下定位会失效,无人机会失去控制甚至坠落;而相对定位技术则是利用机器人自身携带的传感器,根据机器人起始位置以及每个时刻的位置与运动状态进行推算来实现定位,具有不受外部信号影响的特点,由于无人机的环境地图和自身位置信息都是未知的,研究无人机的自主定位就变得十分有必要了。
发明内容
本发明要解决的技术问题是如何在GPS信号缺失的室外环境下完成无人机的自主定位与环境建图,为了解决上述技术问题,本发明的技术方案是提供一种室外无人机的自主定位方法,其特征在于:包括无人机,用于实现无人机在GPS信号缺失时的正常飞行;所述无人机上设有2D激光雷达,用于生成周围环境点云计算所述无人机位置信息;双目深度相机,用于获取地面稀疏点云,校正2D激光雷达生成的点云数据的畸变,优化地图信息;惯性测量单元,用于获取无人机的实时位姿信息如姿态角、加速度等;光流传感器,用于获取地面的灰度变化,辅助无人机的自主定位系统,增加无人机自主定位的可靠性。
所述无人机包括飞控系统,所述2D激光雷达、深度相机、惯性传感器和光流传感器与飞控系统相连,飞控系统以通信协议完成和地面站的消息传输;所述的光流传感器安装在无人机的底部,深度相机安装在无人机的底部,激光雷达安装在无人机的顶部,所述深度相机的视场方向垂直朝下保持固定;对所述深度相机和2D激光雷达进行标定,建立世界坐标系、机体坐标系、像素坐标系;所述2D激光雷达生成周围环境点云信息,所述深度相机生成稀疏点云数据,所述惯性测量单元获取无人机的姿态信息,所述光流传感器获取地面灰度变化,将所述传感器的输出信息都传给飞控系统,飞控系统将数据传给地面站,地面站计算无人机的位置信息,建立3D地图,将生成的控制信息传给飞控系统,完成对无人机的位姿调整,实现无人机的自主定位。
本发明提供了一种室外无人机的自主定位方法,其特征在于:采用采用上述的室外无人机的自主定位方法,所述方法包括如下步骤:
步骤S1:2D激光雷达扫描周围环境,生成环境点云信息,根据点云信息通过SLAM算法进行无人机的位姿估计和环境建图;
步骤S2:双目深度相机提取周围环境的图像信息,生成稀疏点云信息,校正激光雷达的点云畸变,传入地面站利用V-SLAM算法进行无人机的位姿估计和环境建图和回环检测;
步骤S3:惯性测量单元获取无人机的姿态角与加速度,校正无人机的位姿估计,对校正过的点云信息进行预处理;
步骤S4:激光雷达生成的地图信息与深度相机生成的地图信息进行拟合,优化建图精度;
步骤S5:光流传感器获取地面灰度变化,通过光流法计算无人机的位姿信息,在激光雷达与深度相机的自主定位方法失效时,完成无人机的正常飞行。
附图说明
图1无人机自主定位系统结构图。
图2激光雷达位姿与建图迭代原理图。
图3深度相机ORB-SLAM算法流程图。
图4激光雷达地图和深度相机地图拟合框图。
具体实施方式
本实施例致力于提供一种基于2D激光雷达和深度相机融合的室外无人机自主定位的系统,2D激光雷达和深度相机融合是利用激光SLAM算法和ORB-SLAM算法将传感器的输入转化为无人机的位置信息与环境地图,以校正点云畸变和优化建图信息为目的进行数据的分析与综合,以完成无人机自主定位所需要的决策和位姿估计。
通过将2D激光雷达和深度相机的点云进行多层次的数据融合与数据优化处理,最终得出无人机的精确位姿信息和稠密地图信息,在这个过程中,充分利用SLAM算法进行数据的计算获得分离观测信息,保存、导出有用信息。
图1为本实施例提供的室外无人机自主定位系统的结构框图,所述室外无人机自主定位系统包括无人机,用于实现无人机的正常飞行;所述无人机上设有2D激光雷达,用于生成周围环境点云计算所述无人机位置信息;双目深度相机,用于获取地面稀疏点云,校正2D激光雷达生成的点云数据的畸变;惯性测量单元,用于获取无人机的实时位姿信息如姿态角、加速度等;光流传感器,用于获取地面的灰度变化,辅助无人机的自主定位系统,增加无人机自主定位的可靠性。
其中,无人机自主定位系统包括飞控系统,2D激光雷达、深度相机、惯性传感器和光流传感器,2D激光雷达、深度相机、惯性传感器和光流传感器与飞控系统相连,飞控系统以通信协议完成和地面站的消息传输,地面站完成对无人机的位姿估计将控制决策传给飞控系统。
本实施例提供的室内无人机自主定位系统的工作时的步骤具体如下:
步骤S1:2D激光雷达扫描周围环境,生成环境点云信息,根据点云信息通过SLAM算法进行无人机的位姿估计和环境建图;
步骤S2:双目深度相机提取周围环境的图像信息,生成稀疏点云信息,校正激光雷达的点云畸变,传入地面站利用V-SLAM算法进行无人机的位姿估计和环境建图和回环检测;
步骤S3:惯性测量单元获取无人机的姿态角与加速度,校正无人机的位姿估计,对校正过的点云信息进行预处理;
步骤S4:激光雷达生成的地图信息与深度相机生成的地图信息进行拟合,优化建图精度;
步骤S5:光流传感器获取地面灰度变化,通过光流法计算无人机的位姿信息,在激光雷达与深度相机的自主定位方法失效时,完成无人机的正常飞行。
如图2所示,步骤S1(激光雷达获得无人机的位姿信息)中具体包括以下子步骤:
S101:地面站布置:
首先配置ROS系统环境,装载OpenCV等独立库,测试无人机飞控系统和地面站的通信状况;
S102:利用SGC-NDT算法对点云进行拼接,获得周围环境的全部点云信息,输入到hector-mapping模块中计算无人机的位姿信息,建立无人机周围环境的地图;
S103:上一时刻的无人机位姿信息和当前时刻的无人机前段数据融合,得到新的位姿信息,再由上一时刻的地图结合当前的无人机位姿信息更新地图信息;
S104:地面站将生成的控制决策以数据包的形式发送给无人机的飞控系统,飞控系统控制无人机完成飞行任务。
所述激光雷达获得无人机位置信息的具体算法如下:激光雷达采集到周围环境的局部点云,通过SGC-NDT算法进行点云拼接,得到周围环境的全部点云信息,再利用SLAM算法计算无人机的位姿和建立环境地图,设世界坐标系为P,激光雷达坐标系为X,则X=[R│t]*P,其中R为旋转矩阵,t是位移向量,在世界坐标系和激光雷达坐标系至少找到3对点对求解[R|t]。
如图3所示,步骤S2(深度相机获得无人机位置信息)中具体包括以下子步骤:
S201:深度相机的稀疏点云数据传给地面站,在ROS中和激光雷达的点云数据进行拟合,激光雷达的点云数据校正畸变后传入相应线程完成无人机精确自主定位;
S202:深度数据相机提取ORB特征,通过关键帧匹配来计算无人机的位移与转角等信息;
S203:深度相机对比以前时刻的关键帧与当前关键帧来完成回环检测,检测是否来过与当前位置类似的位置,防止无人机迷失。
深度相机需要外参标定和内参标定,外参标定:设世界坐标系为P,相机坐标系为Y,则Y=[R│t]*P,其中R为旋转矩阵,t是位移向量,内参标定:设o-uv是图片坐标系,O-XYZ是深度相机坐标系,假设图片中的点为(u,v),对应的三维点位置为(X,Y,Z),它们的转换关系如下:
Figure BDA0002345468990000031
s为从深度图中获得的尺度因子,获得相机内参后可求三维点的坐标,
公式如下:
Figure BDA0002345468990000032
如图4所示,步骤S4包括如下子步骤:
S401:利用ROS中的坐标系转换模块完成视觉SLAM和激光雷达SLAM的坐标系转换,将地图信息转化在统一坐标系下;
S402:深度相机由ORB-SLAM算法得到稀疏地图,将稀疏地图和2D激光雷达生成的地图信息进行拟合,生成稠密地图,利用Rviz模块将地图和无人机飞行轨迹可视化;
S403:在ROS中编写数据库代码,将优化后的稠密地图保存在数据库中,通过地面站生成无人机的位姿估计,传给飞控系统控制无人机完成飞行任务,根据地图信息和无人机当前位姿实时调整新的位姿信息和地图信息,完成无人机的自主定位。
本发明在多种室外场景下得到应用,能够实现无人机的自主定位与建图,测试时采用到点精度测试来测量无人机的自主定位的精度,和其他建图方法进行对比,完成建图精度测试,2D激光雷达与深度相机结合的自主定位方法定位精度为0.02m。
以上所述,仅为本发明的较佳实施例,并非对本发明任何形式上和实质上的限制,应当指出,对于本技术领域的普通技术人员,在不脱离本发明方法的前提下,还可以做出改进和补充,这些改进和补充也应该视为本发明的保护范围,凡熟悉本专业的技术人员,在不脱离本发明的精神和范围的情况下,当可利用以上所揭示的技术内容而做出的些许更改、修饰与演变的等同变化,均为本发明的等效实施例;同时,凡依据本发明的实质技术对上述实施例所作的任何等同变化的改动、修饰与演变,均仍属于本发明的技术方案的范围内。

Claims (4)

1.一种室外无人机的自主定位方法,其特征在于:包括无人机,用于实现无人机在GPS信号缺失时的正常飞行;所述无人机上设有2D激光雷达,用于生成周围环境点云计算所述无人机位置信息;双目深度相机,用于获取地面稀疏点云,校正2D激光雷达生成的点云数据的畸变,优化地图信息;惯性测量单元,用于获取无人机的实时位姿信息如姿态角、加速度等;光流传感器,用于获取地面的灰度变化,辅助无人机的自主定位系统,增加无人机自主定位的可靠性。
2.一种室外无人机的自主定位方法,其特征在于:采用如权利要求1所述的室外无人机的自主定位方法,所述方法包括如下步骤:
步骤S1:2D激光雷达扫描周围环境,生成环境点云信息,根据点云信息通过SLAM算法进行无人机的位姿估计和环境建图;
步骤S2:双目深度相机提取周围环境的图像信息,生成稀疏点云信息,校正激光雷达的点云畸变,传入地面站利用V-SLAM算法进行无人机的位姿估计和环境建图和回环检测;
步骤S3:惯性测量单元获取无人机的姿态角与加速度,校正无人机的位姿估计,对校正过的点云信息进行预处理;
步骤S4:激光雷达生成的地图信息与深度相机生成的地图信息进行拟合,优化建图精度;
步骤S5:光流传感器获取地面灰度变化,通过光流法计算无人机的位姿信息,在激光雷达与深度相机的自主定位方法失效时,完成无人机的正常飞行。
3.如权利要求1所述的一种室外无人机的自主定位方法,其特征在于:所述步骤S1包括如下子步骤:
S101:地面站布置:
首先配置ROS系统环境,装载OpenCV等独立库,测试无人机飞控系统和地面站的通信状况;
S102:利用SGC-NDT算法对点云进行拼接,输入到hector-mapping模块中计算无人机的位姿信息,建立无人机的地图;
S103:上一时刻的无人机位姿信息和当前时刻的无人机前段数据融合,得到新的位姿信息,再由上一时刻的地图结合当前的无人机位姿信息更新地图信息。
S104:地面站将生成的航迹信息以数据包的形式发送给无人机的飞控系统;
4.如权利要求1所述的所述的一种室外无人机的自主定位方法,其特征在于:所述步骤S2包括如下子步骤:
S201:深度相机的稀疏点云数据传给地面站,在ROS中和激光雷达的点云数据进行拟合,激光雷达的点云数据校正畸变后传入相应线程完成无人机精确自主定位;
S202:深度数据相机提取ORB特征,通过关键帧匹配来计算无人机的位移与转角等信息;
S203:深度相机对比以前时刻的关键帧与当前关键帧来完成回环检测。
CN201911392842.5A 2019-12-30 2019-12-30 一种室外无人机的自主定位方法 Pending CN111077907A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911392842.5A CN111077907A (zh) 2019-12-30 2019-12-30 一种室外无人机的自主定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911392842.5A CN111077907A (zh) 2019-12-30 2019-12-30 一种室外无人机的自主定位方法

Publications (1)

Publication Number Publication Date
CN111077907A true CN111077907A (zh) 2020-04-28

Family

ID=70319389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911392842.5A Pending CN111077907A (zh) 2019-12-30 2019-12-30 一种室外无人机的自主定位方法

Country Status (1)

Country Link
CN (1) CN111077907A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112985410A (zh) * 2021-03-02 2021-06-18 哈尔滨理工大学 一种基于激光slam的室内机器人自主建图导航系统
CN113110597A (zh) * 2021-05-19 2021-07-13 哈尔滨理工大学 一种基于ros系统的室内无人机自主飞行系统
CN113409485A (zh) * 2021-08-03 2021-09-17 广东电网有限责任公司佛山供电局 巡检数据获取方法、装置、计算机设备和存储介质
CN113419563A (zh) * 2021-07-23 2021-09-21 广东电网有限责任公司 一种无人机定位装置、方法、设备及介质
CN114554030A (zh) * 2020-11-20 2022-05-27 空客(北京)工程技术中心有限公司 设备检测系统以及设备检测方法
CN115307646A (zh) * 2022-10-08 2022-11-08 浙江光珀智能科技有限公司 一种多传感器融合的机器人定位方法、系统及装置
WO2023226155A1 (zh) * 2022-05-24 2023-11-30 芯跳科技(广州)有限公司 多源数据融合定位方法、装置、设备及计算机存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563241A (zh) * 2018-03-30 2018-09-21 哈尔滨理工大学 一种基于嵌入式视觉模块的共享自主跟随载物装置
CN108827306A (zh) * 2018-05-31 2018-11-16 北京林业大学 一种基于多传感器融合的无人机slam导航方法及系统
US20190079171A1 (en) * 2017-09-12 2019-03-14 Samsung Electronics Co., Ltd. Lidar system and method of operating the same
CN109579843A (zh) * 2018-11-29 2019-04-05 浙江工业大学 一种空地多视角下的多机器人协同定位及融合建图方法
CN109883418A (zh) * 2019-01-17 2019-06-14 中国科学院遥感与数字地球研究所 一种室内定位方法及装置
CN109900279A (zh) * 2019-02-13 2019-06-18 浙江零跑科技有限公司 一种基于泊车位全局路由的停车场语义地图创建方法
CN109945856A (zh) * 2019-02-18 2019-06-28 天津大学 基于惯性/雷达的无人机自主定位与建图方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190079171A1 (en) * 2017-09-12 2019-03-14 Samsung Electronics Co., Ltd. Lidar system and method of operating the same
CN108563241A (zh) * 2018-03-30 2018-09-21 哈尔滨理工大学 一种基于嵌入式视觉模块的共享自主跟随载物装置
CN108827306A (zh) * 2018-05-31 2018-11-16 北京林业大学 一种基于多传感器融合的无人机slam导航方法及系统
CN109579843A (zh) * 2018-11-29 2019-04-05 浙江工业大学 一种空地多视角下的多机器人协同定位及融合建图方法
CN109883418A (zh) * 2019-01-17 2019-06-14 中国科学院遥感与数字地球研究所 一种室内定位方法及装置
CN109900279A (zh) * 2019-02-13 2019-06-18 浙江零跑科技有限公司 一种基于泊车位全局路由的停车场语义地图创建方法
CN109945856A (zh) * 2019-02-18 2019-06-28 天津大学 基于惯性/雷达的无人机自主定位与建图方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JING MA,等: "Drifting pattern and positioning method of oscillation centre in multi-source oscillation scenes", 《IET GENERATION, TRANSMISSION & DISTRIBUTION》 *
张良桥,等: "一种用于图像特征提取的改进ORB-SLAM算法", 《测绘通报》 *
徐军,等: "室内移动目标定位系统设计", 《电子技术应用》 *
马静,等: "基于激光雷达空气净化导航机器人的研究与设计", 《激光杂志》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114554030A (zh) * 2020-11-20 2022-05-27 空客(北京)工程技术中心有限公司 设备检测系统以及设备检测方法
CN114554030B (zh) * 2020-11-20 2023-04-07 空客(北京)工程技术中心有限公司 设备检测系统以及设备检测方法
CN112985410A (zh) * 2021-03-02 2021-06-18 哈尔滨理工大学 一种基于激光slam的室内机器人自主建图导航系统
CN113110597A (zh) * 2021-05-19 2021-07-13 哈尔滨理工大学 一种基于ros系统的室内无人机自主飞行系统
CN113419563A (zh) * 2021-07-23 2021-09-21 广东电网有限责任公司 一种无人机定位装置、方法、设备及介质
CN113409485A (zh) * 2021-08-03 2021-09-17 广东电网有限责任公司佛山供电局 巡检数据获取方法、装置、计算机设备和存储介质
CN113409485B (zh) * 2021-08-03 2023-12-12 广东电网有限责任公司佛山供电局 巡检数据获取方法、装置、计算机设备和存储介质
WO2023226155A1 (zh) * 2022-05-24 2023-11-30 芯跳科技(广州)有限公司 多源数据融合定位方法、装置、设备及计算机存储介质
CN115307646A (zh) * 2022-10-08 2022-11-08 浙江光珀智能科技有限公司 一种多传感器融合的机器人定位方法、系统及装置

Similar Documents

Publication Publication Date Title
CN111077907A (zh) 一种室外无人机的自主定位方法
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN109887057B (zh) 生成高精度地图的方法和装置
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
CN110033489B (zh) 一种车辆定位准确性的评估方法、装置及设备
CN108827306A (zh) 一种基于多传感器融合的无人机slam导航方法及系统
CN109813319B (zh) 一种基于slam建图的开环优化方法及系统
CN103983263A (zh) 一种采用迭代扩展卡尔曼滤波与神经网络的惯性/视觉组合导航方法
KR20140049361A (ko) 다중 센서 시스템, 이를 이용하는 3차원 월드 모델링 장치 및 방법
KR20120099952A (ko) 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법
CN115272596A (zh) 一种面向单调无纹理大场景的多传感器融合slam方法
CN113763548B (zh) 基于视觉-激光雷达耦合的贫纹理隧洞建模方法及系统
CN116222543B (zh) 用于机器人环境感知的多传感器融合地图构建方法及系统
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN115451948A (zh) 一种基于多传感器融合的农业无人车定位里程计方法及系统
CN112179338A (zh) 一种基于视觉和惯导融合的低空无人机自身定位方法
CN110751123A (zh) 一种单目视觉惯性里程计系统及方法
CN107941167B (zh) 一种基于无人机载具和结构光扫描技术的空间扫描系统及其工作方法
CN115027482A (zh) 智能驾驶中的融合定位方法
Wang et al. Micro aerial vehicle navigation with visual-inertial integration aided by structured light
Jensen et al. Laser range imaging using mobile robots: From pose estimation to 3D-models
CN115562076B (zh) 用于无人驾驶矿车的仿真系统、方法以及存储介质
CN114923477A (zh) 基于视觉与激光slam技术的多维度空地协同建图系统和方法
CN114429515A (zh) 一种点云地图构建方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200428