CN109976379A - 一种激光雷达和深度相机融合的自主导航及避障无人机 - Google Patents
一种激光雷达和深度相机融合的自主导航及避障无人机 Download PDFInfo
- Publication number
- CN109976379A CN109976379A CN201910198858.6A CN201910198858A CN109976379A CN 109976379 A CN109976379 A CN 109976379A CN 201910198858 A CN201910198858 A CN 201910198858A CN 109976379 A CN109976379 A CN 109976379A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- laser radar
- control system
- depth camera
- avoidance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims description 11
- 230000004888 barrier function Effects 0.000 claims abstract description 13
- 238000013016 damping Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 7
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 230000000630 rising effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004804 winding Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 206010011732 Cyst Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005183 dynamical system Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种激光雷达和深度相机融合的自主导航及避障无人机，包括无人机本体、旋翼、深度相机和控制系统，还包括激光雷达、单目相机，深度相机、单目相机和激光雷达与控制系统连接，控制系统根据三者记录的数据进行分析，生成避障路线，控制无人机完成对障碍物的规避。与现有技术相比，本发明具有定位精准、可自主导航和避障、操作简单、安全系数高等优点。
Description
技术领域
本发明涉及一种导航无人机，尤其是涉及一种激光雷达和深度相机融合的自主导航及避障无人机。
背景技术
国内无人机市场已发展了将近30余年，从最初的军用领域逐渐扩展到消费领域。目前国内消费无人机市场火热，普通民众对无人机的认可程度和需求度逐渐攀升，无人机企业、融资次数、飞手数量和产品用途都有了明显的增多，甚至出现了指数型增长，监管制度方面也有了进一步的完善。
目前的无人机以手控式无人机为主，能够自主飞行的无人机较少，而且大多数无人机在遇到障碍物的时候不能及时的躲避以至于造成无人机的撞击损坏，或者只能悬浮在障碍物之前，不能自主设计路线规避障碍物，并且无人机在室内导航方面仍有欠缺，由于楼宇和墙壁的遮挡卫星导航将不能使用，传统的惯性测量元件由于精度低使得无人机存在漂移严重的问题。
SLAM(Simultaneous localization and mapping)即时定位与地图构建技术是目前机器视觉领域的基础核心技术，基于深度相机和激光雷达的SLAM技术能够帮助我们解决无人机避障问题。单独的深度相机视野窄，在近距离观察存在盲区，而且精度较低，不利于移动装置的定位和避障应用；激光雷达只能获取一个或几个平面的点，水平放置时，无法检测到超过其高度的物体，因此无法独立实现避障功能。因此我们在2D激光雷达的基础上，同时使用深度相机进行探测，形成三维体感图像，帮助激光雷达分辨出含有镂空结构的桌椅等障碍物，实现完整的建图与导航功能。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种激光雷达和深度相机融合的自主导航及避障无人机。
本发明的目的可以通过以下技术方案来实现：
一种激光雷达和深度相机融合的自主导航及避障无人机，包括无人机本体、旋翼、深度相机和控制系统，还包括激光雷达、单目相机、深度相机，单目相机和激光雷达与控制系统连接，控制系统根据三者记录的数据进行分析，进行定位建图，设计出避障路线，控制无人机完成对障碍物的规避和导航。
所述的控制系统包括电机驱动组、飞行控制模块、图像收集和处理模块、传感器组、无线功能组。
所述的激光雷达通过可伸缩杆与机体连接，可伸缩杆通过伸长使激光雷达在扫描时无障碍物遮挡。
所述的激光雷达扫描模块实现2D室内建模、定位和绘图功能，所述的单目相机和深度相机实现对无人机周围障碍物的距离测量功能。
所述的旋翼通过支架与机体连接，旋翼外部设有防护罩，旋翼由驱动电机提供动力。
所述的无人机本体两侧设有起落架，起落架包含可旋转装置和减震装置，可旋转装置在无人机起飞时旋转上升到机体的两侧，在无人机降落时旋转下降到机体的下方。
所述的飞行控制模块通过图像收集和处理模块进行控制无人机的前行、转弯、翻转、上升和下降。
所述的无人机本体顶端设有无线图像传输设备，无线图像传输设备和所述的控制系统与地面维护计算机相连接。
所述的控制系统包括网卡端口，USB端口和若干个控制端口，所述的无线图像传输设备与网卡端口连接，所述的电机驱动组和传感器组与控制端口连接。
所述的电机驱动组中设有伺服电机驱动模块，伺服电机模块与所述的飞行控制模块的控制端口连接。
与现有技术相比，本发明具有以下有益效果：
1、定位精准，激光雷达会进行2D平面全方位扫描，探查无人机周围的环境，然后单目相机和深度相机进行采集点云，利用PnP算法进行特征点提取，运用视觉里程计进行局部地图规划，然后G2O直接法进行图像优化，同时进行回环检测，建立整个地图，实现无人机的精准室内定位导航。
2、自主导航和避障，激光雷达与单目相机和深度相机融合进行导航定位，通过调用FindContour函数及OpenCV库中ContourArea函数设计避障算法，同时通过无线图像传输设备将图像信息传输到地面维护计算机上，进行实时跟踪和纠正，实现无人机的自主导航和避障。
3、操作轻便，控制系统采用Linux操作系统，并通过ROS系统控制整个无人机的飞行和姿态的调整，通过一个集成开发板将采集点云到建图导航定位以及避障一体化，节约了时间成本并且提高了导航精度。同时克服了导航无人机只能使用工控机和飞控系统进行多重叠加的限制以及设备重量过大对无人机飞行的阻碍，极大的减少了长距离飞行积累的误差。
4、安全系数高，减震装置包含着加速度传感器，弹簧和安全气囊，在无人机正常降落时，无人机依靠弹簧的弹力即可达到减震的作用，若降落过程中加速度的数值等于重力加速度并且时间超过3秒，控制系统将把启动信号传回加速度感受器中的电子控制器，电子控制器负责启动驱动电路，由驱动电路发送信号到气囊组件中的气体发生器，引燃气体发生器产生气体并在过滤冷却后冲破气囊膜，实现气囊对无人机的着陆缓冲。
附图说明
图1为本发明的原理示意图；
图2为本发明的俯视图；
图3为本发明的主视图；
图4是本发明控制单元的示意图；
图5是本发明实施技术方案的示意图；
图中：1-旋翼，2-单目相机，3-深度相机，4-无线图像传输设备，5-无人机本体，6-支架，7-电池系统，8-控制系统，9-飞行记忆系统，10-可伸缩杆，11-减震装置，12-可旋转装置，13-起落架，14-激光雷达，15-驱动电机，16-防护罩。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图3所示，一种激光雷达14和深度相机3融合的自主导航及避障无人机，包括无人机本体5、旋翼1、深度相机3和控制系统8，还包括激光雷达14、单目相机2，深度相机3、单目相机2和激光雷达14与控制系统8连接，控制系统8根据三者记录的数据进行分析，生成避障路线，控制无人机完成对障碍物的规避。
该发明的动力系统如图2所示，四个支架6上的电机会带动旋翼1的旋转，旋翼1旋转提供动力，无人机上升，动力提供减少，下降；若需要向前移动，处于移动方向前端的两个电机提供的动力小于后方两个电机提供的动力，从而提供推力使得无人机前行。当左侧两个电机提供的动力小于右侧两个电机提供的动力，无人机开始反转，待两边动力输出稳定时，无人机开始转弯前行；若动力出现左侧大于右侧或右侧大于左侧，无人机将继续反转。当无人机检测到前方出现障碍物，控制系统8发出指令，控制驱动电机15启动，驱动旋翼，进行避障。
无人机的整个飞行过程如图5所示，当无线功能组接收到位置信号，旋翼1旋转带动无人机上升，可伸缩杆10伸长，带动激光雷达14向外延伸，激光雷达14在2D平面上对无人机周围环境进行全方位扫描，获得无人机周围环境的位置信息。结合单目相机2和深度相机3采集到的点云图像，将三者获取到的数据传输到控制系统8，控制系统8将采用基于Linux操作系统的ROS系统运用PnP算法进行特征点提取，通过视觉里程计得到相机的运动路线，然后进行局部路径规划。在飞行过程中将由控制系统8实时判断无人机是否达到先前预定的位置，若检测到回环，控制系统8会将信息传递到后端进行处理，后端对接收到的不同时刻的由视觉里程计测量出的相机位姿以及回环检测的信息进行整合，利用G2O直接法进行优化，得到全局一致的轨迹和地图。在数据经过SLAM导航算法计算处理之后，控制系统8将获得当前位置的图像数据并进行建图和定位，通过调用FindContour函数及OpenCV库中ContourArea函数，得到障碍物的轮廓并计算轮廓的面积，控制无人机从轮廓的边缘绕行完成对障碍物的规避，同时将图像通过无线图像传输设备4传输到地面维护计算机上，对控制系统8提供的定位信息和遇到障碍物的信号进行处理，并将信号指令发送给电机驱动组15，控制旋翼1完成正反转向的操作。
如图3所示，无人机的起落架上设有减震装置11，装置内部包含加速度传感器，弹簧和安全气囊，加速度传感器负责检测无人机在飞行过程中的受力，正常降落时，可伸缩杆收缩，带动激光雷达回到初始位置，无人机依靠弹簧的弹力达到减震的作用，当加速度传感器检测到无人机的加速度始终保持在重力加速度并且时长超过3秒，会将信号传递给控制系统，控制系统立即启动充气装置为安全气囊充气，使得无人机能够平稳下落，避免无人机的损坏。
Claims (7)
1.一种激光雷达和深度相机融合的自主导航及避障无人机，包括无人机本体、旋翼、深度相机和控制系统，其特征在于，还包括激光雷达、单目相机，深度相机、单目相机和激光雷达与控制系统连接，控制系统根据三者记录的数据进行分析，进行定位建图，设计出避障路线，控制无人机完成对障碍物的规避和导航。
2.根据权利要求1所述的一种激光雷达和深度相机融合的自主导航及避障无人机，其特征在于，所述的激光雷达通过可伸缩杆与机体连接，可伸缩杆在起飞时伸长，在降落时收缩。
3.根据权利要求1所述的一种激光雷达和深度相机融合的自主导航及避障无人机，其特征在于，所述的旋翼通过支架与机体连接，旋翼外部设有防护罩，旋翼由与其连接的驱动电机提供动力，驱动电机连接到控制系统并由控制系统控制输出。
4.根据权利要求1所述的一种激光雷达和深度相机融合的自主导航及避障无人机，其特征在于，所述的无人机本体两侧设有起落架，起落架包含可旋转装置和减震装置，可旋转装置在无人机起飞时旋转上升到机体的两侧，在无人机降落时旋转下降到机体的下方。
5.根据权利要求1所述的一种激光雷达和深度相机融合的自主导航及避障无人机，其特征在于，所述的控制系统包括电机驱动组、飞行控制模块、图像收集和处理模块、传感器组、无线功能组。
6.根据权利要求1所述的一种激光雷达和深度相机融合的自主导航及避障无人机，其特征在于，所述的无人机本体顶端设有无线图像传输设备，无线图像传输设备和所述的控制系统与地面维护计算机相连接。
7.根据权利要求6所述的一种激光雷达和深度相机融合的自主导航及避障无人机，其特征在于，所述的控制系统包括网卡端口，USB端口和若干个控制端口，所述的无线图像传输设备与网卡端口连接，所述的电机驱动组和传感器组与相对应的控制端口连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910198858.6A CN109976379A (zh) | 2019-03-15 | 2019-03-15 | 一种激光雷达和深度相机融合的自主导航及避障无人机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910198858.6A CN109976379A (zh) | 2019-03-15 | 2019-03-15 | 一种激光雷达和深度相机融合的自主导航及避障无人机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109976379A true CN109976379A (zh) | 2019-07-05 |
Family
ID=67079121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910198858.6A Pending CN109976379A (zh) | 2019-03-15 | 2019-03-15 | 一种激光雷达和深度相机融合的自主导航及避障无人机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109976379A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111114807A (zh) * | 2019-09-18 | 2020-05-08 | 重庆嘉陵华光光电科技有限公司 | 一种多旋翼无人机避障装置 |
| CN111199578A (zh) * | 2019-12-31 | 2020-05-26 | 南京航空航天大学 | 基于视觉辅助激光雷达的无人机三维环境建模方法 |
| CN112731383A (zh) * | 2020-12-23 | 2021-04-30 | 深圳砺剑天眼科技有限公司 | 一种激光雷达的自主导航控制系统 |
| CN113570663A (zh) * | 2021-07-20 | 2021-10-29 | 上海云易航空科技有限公司 | 基于单线激光雷达和顶视摄像头融合的室内定位方法 |
| CN113998109A (zh) * | 2021-11-17 | 2022-02-01 | 北京京能能源技术研究有限责任公司 | 一种炉内空间自主导航的无人机 |
| US11235823B2 (en) | 2018-11-29 | 2022-02-01 | Saudi Arabian Oil Company | Automation methods for UAV perching on pipes |
| CN114536360A (zh) * | 2022-02-21 | 2022-05-27 | 南京理工大学 | 一种多功能防疫机器人系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105910604A (zh) * | 2016-05-25 | 2016-08-31 | 武汉卓拔科技有限公司 | 一种基于多传感器的自主避障导航系统 |
| CN107478220A (zh) * | 2017-07-26 | 2017-12-15 | 中国科学院深圳先进技术研究院 | 无人机室内导航方法、装置、无人机及存储介质 |
| CN108700890A (zh) * | 2017-06-12 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 无人机返航控制方法、无人机和机器可读存储介质 |
| CN108827306A (zh) * | 2018-05-31 | 2018-11-16 | 北京林业大学 | 一种基于多传感器融合的无人机slam导航方法及系统 |
| CN109029417A (zh) * | 2018-05-21 | 2018-12-18 | 南京航空航天大学 | 基于混合视觉里程计和多尺度地图的无人机slam方法 |
-
2019
- 2019-03-15 CN CN201910198858.6A patent/CN109976379A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105910604A (zh) * | 2016-05-25 | 2016-08-31 | 武汉卓拔科技有限公司 | 一种基于多传感器的自主避障导航系统 |
| CN108700890A (zh) * | 2017-06-12 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 无人机返航控制方法、无人机和机器可读存储介质 |
| CN107478220A (zh) * | 2017-07-26 | 2017-12-15 | 中国科学院深圳先进技术研究院 | 无人机室内导航方法、装置、无人机及存储介质 |
| CN109029417A (zh) * | 2018-05-21 | 2018-12-18 | 南京航空航天大学 | 基于混合视觉里程计和多尺度地图的无人机slam方法 |
| CN108827306A (zh) * | 2018-05-31 | 2018-11-16 | 北京林业大学 | 一种基于多传感器融合的无人机slam导航方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 王丹等: "基于点线特征的单目视觉同时定位与地图构建算法", 《机器人》 * |
| 王亚威等: "复杂环境下的四旋翼无人机定位技术综述", 《四川水泥》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11235823B2 (en) | 2018-11-29 | 2022-02-01 | Saudi Arabian Oil Company | Automation methods for UAV perching on pipes |
| CN111114807A (zh) * | 2019-09-18 | 2020-05-08 | 重庆嘉陵华光光电科技有限公司 | 一种多旋翼无人机避障装置 |
| CN111199578A (zh) * | 2019-12-31 | 2020-05-26 | 南京航空航天大学 | 基于视觉辅助激光雷达的无人机三维环境建模方法 |
| CN111199578B (zh) * | 2019-12-31 | 2022-03-15 | 南京航空航天大学 | 基于视觉辅助激光雷达的无人机三维环境建模方法 |
| CN112731383A (zh) * | 2020-12-23 | 2021-04-30 | 深圳砺剑天眼科技有限公司 | 一种激光雷达的自主导航控制系统 |
| CN113570663A (zh) * | 2021-07-20 | 2021-10-29 | 上海云易航空科技有限公司 | 基于单线激光雷达和顶视摄像头融合的室内定位方法 |
| CN113998109A (zh) * | 2021-11-17 | 2022-02-01 | 北京京能能源技术研究有限责任公司 | 一种炉内空间自主导航的无人机 |
| CN113998109B (zh) * | 2021-11-17 | 2022-05-13 | 北京京能能源技术研究有限责任公司 | 一种炉内空间自主导航的无人机 |
| CN114536360A (zh) * | 2022-02-21 | 2022-05-27 | 南京理工大学 | 一种多功能防疫机器人系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109976379A (zh) | 一种激光雷达和深度相机融合的自主导航及避障无人机 | |
| RU2757549C2 (ru) | Система и способ для предупреждения столкновений беспилотного летательного аппарата | |
| US11914369B2 (en) | Multi-sensor environmental mapping | |
| US11787543B2 (en) | Image space motion planning of an autonomous vehicle | |
| CA3052019C (en) | Trajectory planner for a vehicle | |
| US10062294B2 (en) | Dynamic collision-avoidance system and method | |
| CN105022401B (zh) | 基于视觉的多四旋翼无人机协同slam方法 | |
| CN111033561B (zh) | 用于利用语义信息来导航机器人设备的系统和方法 | |
| CN106970651A (zh) | 一种基于视觉导航的四旋翼无人机的自主飞行系统及控制方法 | |
| EP2895819A1 (en) | Sensor fusion | |
| CN111615677B (zh) | 一种无人机的安全降落方法、装置、无人机及介质 | |
| US20210216071A1 (en) | Mapping and Control System for an Aerial Vehicle | |
| WO2018112848A1 (zh) | 飞行控制方法和装置 | |
| CN112198903A (zh) | 一种模块化的多功能机载计算机体系 | |
| CN204883371U (zh) | 一种定维飞行的多旋翼飞行器及其控制器 | |
| CN214409706U (zh) | 一种基于机器视觉的室内无人机定位系统 | |
| Ax et al. | Optical position stabilization of an UAV for autonomous landing | |
| CN207752373U (zh) | 一种基于室内环境的无人机定点控制装置、无人机 | |
| Sabikan et al. | A survey of onboard sensors for quadrotor collision avoidance system | |
| CN209938944U (zh) | 一种基于双目视觉避障功能的旋翼无人机 | |
| CN115686045A (zh) | 一种基于3dvfh算法的室内自主飞行器避障装置 | |
| Tang et al. | Design and Implementation of Indoor Visual Autonomous Navigation System for Quadrotor UAV Based on Binocular Camera and IMU | |
| Man et al. | Design and research of intelligent vehicle strapdown line-of-sight stabilization platform system | |
| Lugo | Autonomous landing of a quadrotor UAV using vision and infrared markers for pose estimation | |
| LI et al. | THRONE Team Entry for the 2013 AUVSI International Aerial Robotics Competition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190705 |
|
| RJ01 | Rejection of invention patent application after publication |