CN109459023B - 一种基于无人机视觉slam的辅助地面机器人导航方法及装置 - Google Patents

一种基于无人机视觉slam的辅助地面机器人导航方法及装置 Download PDF

Info

Publication number
CN109459023B
CN109459023B CN201811085808.9A CN201811085808A CN109459023B CN 109459023 B CN109459023 B CN 109459023B CN 201811085808 A CN201811085808 A CN 201811085808A CN 109459023 B CN109459023 B CN 109459023B
Authority
CN
China
Prior art keywords
data
aerial vehicle
unmanned aerial
detection
outline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811085808.9A
Other languages
English (en)
Other versions
CN109459023A (zh
Inventor
王晨捷
罗斌
尹露
赵青
王伟
陈勇
邹建成
李露
李成源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Three Body Starry Sky Cultural Service Co.,Ltd.
Wuhan Binguo Technology Co ltd
Wuhan Three Body Star Sky Cultural Exchange Co.,Ltd.
Original Assignee
Wuhan Santi Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Santi Robot Co ltd filed Critical Wuhan Santi Robot Co ltd
Priority to CN201811085808.9A priority Critical patent/CN109459023B/zh
Publication of CN109459023A publication Critical patent/CN109459023A/zh
Application granted granted Critical
Publication of CN109459023B publication Critical patent/CN109459023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于无人机视觉SLAM的辅助地面机器人导航方法，该方法包括：无人机获取图像数据；对所述图像数据进行边缘检测，获得边缘检测图像数据；通过膨胀操作对所述边缘检测数据进行增强；对增强后的数据进行轮廓检测；根据轮廓检测获得外围轮廓数据；通过点和线特征结合的双目视觉SLAM方法对所述外围轮廓数据与初始地图融合。本发明解决了激光数据信息量较少、制图区域受限，制图效率低、速度慢、制图不够精细以及制图的成本代价大等问题。

Description

一种基于无人机视觉SLAM的辅助地面机器人导航方法及装置
技术领域
本发明涉及机器人领域，特别是涉及一种基于无人机视觉SLAM的辅助地面机器人导航方法及装置。
背景技术
同时定位和地图构建(Simultaneous Localization And Mapping,SLAM)一直是智能机器人、自动驾驶、AR/VR等领域的核心技术和难点。对于地面机器人来说，要实现自主导航最重要的就是要获得周围环境图，目前通用的地面机器人制图方案主要是通过人为控制单个地面机器人利用激光SLAM进行制图，但是这种方案由于人为控制因此制图区域受限，同时制图效率低、速度慢，并且由于地面激光视角低造成制图不够精细，以及激光的高成本造成了制图的代价大。
激光SLAM：激光SLAM脱胎于早期的基于测距的定位方法(如超声和红外单点测距)。激光雷达(Light Detection And Ranging,Lidar)的出现和普及使得测量更快更准，信息更丰富。激光雷达采集到的物体信息呈现出一系列分散的、具有准确角度和距离信息的点，被称为点云。通常，激光SLAM系统通过对不同时刻两片点云的匹配与比对，计算激光雷达相对运动的距离和姿态的改变，也就完成了对机器人自身的定位，同时利用激光信息提取周围环境中地物或障碍物的特征并进行状态描述，从而得到周围环境的地图。
激光雷达距离测量比较准确，误差模型简单，在强光直射以外的环境中运行稳定，点云的处理也比较容易。但是这种方案存在着许多问题，包括激光数据信息量较少、制图区域受限，制图效率低、速度慢、制图不够精细以及制图的成本代价大。
发明内容
本发明所要解决的技术问题在于克服上述现有技术之不足，提供一种基于无人机视觉SLAM的辅助地面机器人导航方法，该方法包括：
无人机获取图像数据；
对所述图像数据进行边缘检测，获得边缘检测图像数据；
通过膨胀操作对所述边缘检测数据进行增强；
对增强后的数据进行轮廓检测；
根据轮廓检测获得外围轮廓数据；
通过点和线特征结合的双目视觉SLAM方法对所述外围轮廓数据与初始地图融合。
优选地，所述边缘检测是通过Canny算子进行边缘检测。
优选地，所述增强包括消除噪声、连接图像中相邻的元素和寻找图像中的明显的极大值区域。
优选地，所述地图为不受数据关联影响的地图表示方式，即占据栅格地图来近似环境。
优选地，所述外围轮廓数据，具体为廓树表达的轮廓检测方法来获得最适合地面物体的外包围闭合轮廓。
一种基于无人机视觉SLAM的辅助地面机器人导航装置，该装置包括：
获取模块，用于无人机获取图像数据；
边缘检测模块，用于对所述图像数据进行边缘检测，获得边缘检测图像数据；
增强模块，用于通过膨胀操作对所述边缘检测数据进行增强；
轮廓检测模块，用于对增强后的数据进行轮廓检测；
外围轮廓数据获得模块，根据轮廓检测获得外围轮廓数据；
融合模块，用于通过点和线特征结合的双目视觉SLAM方法对所述外围轮廓数据与初始地图融合。
优选地，所述边缘检测是通过Canny算子进行边缘检测。
优选地，所述增强包括消除噪声、连接图像中相邻的元素和寻找图像中的明显的极大值区域。
优选地，所述地图为不受数据关联影响的地图表示方式，即占据栅格地图来近似环境。
优选地，所述外围轮廓数据，具体为廓树表达的轮廓检测方法来获得最适合地面物体的外包围闭合轮廓。
按照本发明提供的一种基于无人机视觉SLAM的辅助地面机器人导航方法及装置与现有技术相比具有如下优点：
1、解决了通常的地面机器人制图中由于需要人为控制到达相应区域工作而造成的制图区域受限的问题。
2、解决了单个机器人制图造成的制图区域受限以及效率不高的问题；
3、解决了通常的地面机器人激光制图方式效率高、速度较慢、耗时长的问题。
4、解决了由于地面机器人激光制图时由于视角低造成的制图不够精细的问题。
5、解决了通常的制图方式由于使用激光造成的成本高、制图代价大的问题。
6、实现了一种利用无人机视觉SLAM来让地面机器人实现自主定位和导航的辅助地面机器人导航方案。
7、实现了一种基于拓扑分析和轮廓树表达的轮廓检测方法来获得最适合地面物体的外包围闭合轮廓，来帮助得到包含完整地面物体轮廓信息的地图的方法。
8、实现了利用一种新的轮廓提取策略并将结果融合进一种点和线特征结合的双目视觉SLAM方法中来对初始地图进行补充，得到包含完整地面物体轮廓信息的地图的方法。
附图说明
图1是本发明的工作流程图,
图2是本发明的结构图。
具体实施方式
为清楚的说明本发明中的方案，下面给出优选的实施例并结合附图详细说明。以下的说明本质上仅仅是示例性的而并不是为了限制本公开的应用或用途。应当理解的是，在全部的附图中，对应的附图标记表示相同或对应的部件和特征。
如图1所示。一种基于无人机视觉SLAM的辅助地面机器人导航方法，该方法包括：
S101，无人机获取图像数据；
S102，对所述图像数据进行边缘检测，获得边缘检测图像数据；所述边缘检测是通过Canny算子进行边缘检测。
Canny算子是一个种边缘检测算子，检测出图像中物体的边缘，边缘就是图象局部区域亮度变化显著的部分。Canny算子的目标是能够找到一个最优的边缘检测算法，最优边缘检测的含义是：
好的检测-算法能够尽可能多地识别出图像中的实际边缘。
好的定位-标识出的边缘要与实际图像中的实际边缘尽可能接近。
最小响应-图像中的边缘只能标识一次，并且可能存在的图像噪声不应标识为边缘。
为了满足这些要求Canny使用了变分法，这是一种寻找满足特定功能的函数的方法。最优检测使用四个指数函数项的和表示，但是它非常近似于高斯函数的一阶导数。
S103，通过膨胀操作对所述边缘检测数据进行增强；所述增强包括消除噪声、连接图像中相邻的元素和寻找图像中的明显的极大值区域。可以更加突出边缘细节，消除一定的干扰，同时可以连接细小边缘缺口，得到平滑的闭合轮廓。由于本方案的轮廓检测采用一种基于拓扑分析和轮廓树表达的轮廓检测方法来获得最适合地面物体的外包围闭合轮廓，所以就需要边缘轮廓平滑突出且闭合，因此将膨胀与Canny相结合是非常必要的。
S104，对增强后的数据进行轮廓检测；
S105，根据轮廓检测获得外围轮廓数据；所述外围轮廓数据，具体为廓树表达的轮廓检测方法来获得最适合地面物体的外包围闭合轮廓。利用拓扑关系检测轮廓，之后利用二叉树操作将得到的轮廓组织成轮廓树，树的节点与轮廓连接，表示出轮廓的不同层次信息，同时将母轮廓与子轮廓的关系表示出来。利用轮廓树，就可以通过选择最上层母轮廓的方式得到最适合地面物体的外包围闭合轮廓，
S106，通过点和线特征结合的双目视觉SLAM方法对所述外围轮廓数据与初始地图融合。所述地图为不受数据关联影响的地图表示方式，即占据栅格地图来近似环境。接着将最外围轮廓的点集合融合进本方案采用的点和线特征结合的双目SLAM系统中，利用得到的地面物体完整轮廓的信息对初始地图进行补充完善，得到包含完整地面物体轮廓信息、可以用于机器人自主定位导航的地图。
本方法具有如下有点：
1、制图区域广泛：本方案可以利用无人机自身飞行以及机动性的优势，可以到达许多地面机器人和人难以到达的地方，使得制图区域更广泛。
2、效率高、速度快：本方案利用空中相机进行数据采集，空中相机的视野宽广，并且可以一次获得更多的环境信息，可以同时对许多地面物体一起制图，因此制图速度快、效率高。
3、制图所含信息充实：本方案在空中对地面物体制图，可以利用地面视角的优势获得更多物体信息，也可以对地面制图的结果进行一定的补充。
4、成本低：本方案采用摄像头来进行数据采集，摄像头的成本很低，同时可以获得大量的环境信息，因此大大较少了制图的成本。
5、对于实现空地协同以及多机器人协同意义重大：本方案实现了一种利用基于无人机平台的视觉SLAM来让地面机器人实现自主定位和导航的实时的辅助地面导航方案，类似于利用无人机来代替地面机器人探索周围环境，并且指导地面机器人进行地面上的相关操作，不同于以往地面机器人或无人机单个机器人工作的方式，对于机器人工作方式是一种新的探索实现，因此对于实现空地协同导航以及多机器人协作有着重要的意义。
如图2所示，一种基于无人机视觉SLAM的辅助地面机器人导航装置，该装置包括：
获取模块201，用于无人机获取图像数据；
边缘检测模块202，用于对所述图像数据进行边缘检测，获得边缘检测图像数据；所述边缘检测是通过Canny算子进行边缘检测。
增强模块203，用于通过膨胀操作对所述边缘检测数据进行增强；所述增强包括消除噪声、连接图像中相邻的元素和寻找图像中的明显的极大值区域。
轮廓检测模块204，用于对增强后的数据进行轮廓检测；
外围轮廓数据获得模块205，根据轮廓检测获得外围轮廓数据；所述外围轮廓数据，具体为廓树表达的轮廓检测方法来获得最适合地面物体的外包围闭合轮廓。
融合模块206，用于通过点和线特征结合的双目视觉SLAM方法对所述外围轮廓数据与初始地图融合。所述地图为不受数据关联影响的地图表示方式，即占据栅格地图来近似环境。
综上所述，以上所述内容仅为本发明的实施例，仅用于说明本发明的原理，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于无人机视觉SLAM的辅助地面机器人导航方法，其特征在于，该方法包括：
无人机获取图像数据；
对所述图像数据进行边缘检测，获得边缘检测图像数据；
通过膨胀操作对所述边缘检测数据进行增强；
对增强后的数据进行轮廓检测；
根据轮廓检测获得外围轮廓数据；
通过点和线特征结合的双目视觉SLAM方法对所述外围轮廓数据与初始地图融合；其中，所述边缘检测是通过Canny算子进行边缘检测；
其中，所述外围轮廓数据，具体为廓树表达的轮廓检测方法来获得最适合地面物体的外包围闭合轮廓。
2.如权利要求1所述的基于无人机视觉SLAM的辅助地面机器人导航方法，其特征在于：所述增强包括消除噪声、连接图像中相邻的元素和寻找图像中的明显的极大值区域。
3.如权利要求1所述的基于无人机视觉SLAM的辅助地面机器人导航方法，其特征在于：所述地图为不受数据关联影响的地图表示方式，即占据栅格地图来近似环境。
4.一种基于无人机视觉SLAM的辅助地面机器人导航装置，其特征在于：该装置包括：
获取模块，用于无人机获取图像数据；
边缘检测模块，用于对所述图像数据进行边缘检测，获得边缘检测图像数据；
增强模块，用于通过膨胀操作对所述边缘检测数据进行增强；
轮廓检测模块，用于对增强后的数据进行轮廓检测；
外围轮廓数据获得模块，根据轮廓检测获得外围轮廓数据；
融合模块，用于通过点和线特征结合的双目视觉SLAM方法对所述外围轮廓数据与初始地图融合；
其中，所述边缘检测是通过Canny算子进行边缘检测；
其中，所述外围轮廓数据，具体为廓树表达的轮廓检测方法来获得最适合地面物体的外包围闭合轮廓。
5.如权利要求4所述的基于无人机视觉SLAM的辅助地面机器人导航装置，其特征在于：所述增强包括消除噪声、连接图像中相邻的元素和寻找图像中的明显的极大值区域。
6.如权利要求4所述的基于无人机视觉SLAM的辅助地面机器人导航装置，其特征在于：所述地图为不受数据关联影响的地图表示方式，即占据栅格地图来近似环境。
CN201811085808.9A 2018-09-18 2018-09-18 一种基于无人机视觉slam的辅助地面机器人导航方法及装置 Active CN109459023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811085808.9A CN109459023B (zh) 2018-09-18 2018-09-18 一种基于无人机视觉slam的辅助地面机器人导航方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811085808.9A CN109459023B (zh) 2018-09-18 2018-09-18 一种基于无人机视觉slam的辅助地面机器人导航方法及装置

Publications (2)

Publication Number Publication Date
CN109459023A CN109459023A (zh) 2019-03-12
CN109459023B true CN109459023B (zh) 2021-07-16

Family

ID=65606725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811085808.9A Active CN109459023B (zh) 2018-09-18 2018-09-18 一种基于无人机视觉slam的辅助地面机器人导航方法及装置

Country Status (1)

Country Link
CN (1) CN109459023B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110243381B (zh) * 2019-07-11 2020-10-30 北京理工大学 一种陆空机器人协同感知监测方法
CN110989505A (zh) * 2019-10-28 2020-04-10 中国人民解放军96782部队 一种基于地面设备机器视觉的无人驾驶指挥调度系统
CN111506078B (zh) * 2020-05-13 2021-06-11 北京洛必德科技有限公司 一种机器人导航方法及系统
CN112325878A (zh) * 2020-10-30 2021-02-05 南京航空航天大学 基于ukf与空中无人机节点辅助的地面载体组合导航方法
CN113051951A (zh) * 2021-04-01 2021-06-29 未来机器人（深圳）有限公司 标识码定位方法、装置、计算机设备和存储介质
CN113228938A (zh) * 2021-05-31 2021-08-10 广东若铂智能机器人有限公司 采摘机器人slam激光视觉导航方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104714555A (zh) * 2015-03-23 2015-06-17 深圳北航新兴产业技术研究院 一种基于边缘的三维自主探索方法
CN106548173A (zh) * 2016-11-24 2017-03-29 国网山东省电力公司电力科学研究院 一种基于分级匹配策略的改进无人机三维信息获取方法
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106931962A (zh) * 2017-03-29 2017-07-07 武汉大学 一种基于gpu‑sift的实时双目视觉定位方法
EP3306346A1 (en) * 2016-10-07 2018-04-11 Leica Geosystems AG Flying sensor
CN108427438A (zh) * 2018-04-11 2018-08-21 北京木业邦科技有限公司 飞行环境检测方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TR200904838T1 (tr) * 2006-12-28 2009-10-21 Nuctech Company Limited Binoküler steryoskobik taramalı radyografik görüntülemeye ilişkin metot ve sistem
CN101291391A (zh) * 2007-04-20 2008-10-22 致伸科技股份有限公司 图像处理方法以及相关的部分点扩散函数估测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104714555A (zh) * 2015-03-23 2015-06-17 深圳北航新兴产业技术研究院 一种基于边缘的三维自主探索方法
EP3306346A1 (en) * 2016-10-07 2018-04-11 Leica Geosystems AG Flying sensor
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106548173A (zh) * 2016-11-24 2017-03-29 国网山东省电力公司电力科学研究院 一种基于分级匹配策略的改进无人机三维信息获取方法
CN106931962A (zh) * 2017-03-29 2017-07-07 武汉大学 一种基于gpu‑sift的实时双目视觉定位方法
CN108427438A (zh) * 2018-04-11 2018-08-21 北京木业邦科技有限公司 飞行环境检测方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Topological structural analysis of digitized binary images by border following;Suzuki S, Be K;《Computer Vision Graphics & Image Processing》;19851231;第30卷(第1期);第32-46页 *
基于点线综合特征的双目视觉SLAM方法;谢晓佳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170815(第08期);第21-22,41-51页 *

Also Published As

Publication number Publication date
CN109459023A (zh) 2019-03-12

Similar Documents

Publication Publication Date Title
CN109459023B (zh) 一种基于无人机视觉slam的辅助地面机器人导航方法及装置
CN108955702B (zh) 基于三维激光和gps惯性导航系统的车道级地图创建系统
CN108415032B (zh) 一种基于深度学习与激光雷达的点云语义地图构建方法
CN110675307B (zh) 基于vslam的3d稀疏点云到2d栅格图的实现方法
CN103064416B (zh) 巡检机器人室内外自主导航系统
CN110097620A (zh) 基于图像和三维激光的高精度地图创建系统
CN104848851A (zh) 基于多传感器数据融合构图的变电站巡检机器人及其方法
CN104808685A (zh) 用于无人机自主降落的视觉辅助装置及视觉辅助方法
CN108445503A (zh) 基于激光雷达与高精度地图融合的无人驾驶路径规划算法
EP3605261A1 (en) Virtual track design system for moving device and method for achieving same
CN107992829A (zh) 一种交通信号灯车道级控制关系提取方法及装置
CN110687919B (zh) 一种面向水电站输水管道巡检的无人机自主飞行控制方法
US20220194436A1 (en) Method and system for dynamically updating an environmental representation of an autonomous agent
CN109002048A (zh) 一种基于多旋翼无人机的规模化集中式光伏电站图像数据采集方法
CN108106617A (zh) 一种无人机自动避障方法
CN105487558A (zh) 基于移动机器人的目标跟随系统及方法
CN114564042A (zh) 一种基于多传感器融合的无人机着陆方法
CN114808649B (zh) 基于视觉系统控制的公路划线方法
Liu A robust and efficient lidar-inertial-visual fused simultaneous localization and mapping system with loop closure
CN113031597A (zh) 一种基于深度学习和立体视觉的自主避障方法
Liu et al. The multi-sensor fusion automatic driving test scene algorithm based on cloud platform
CN111323026B (zh) 一种基于高精度点云地图的地面过滤方法
CN115049825B (zh) 水面清洁方法、装置、设备及计算机可读存储介质
CN116576859A (zh) 路径导航方法、作业控制方法及相关装置
CN112445205A (zh) 地面植保设备的控制方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 430079 1411, central creative building, 33 Luoyu Road, Hongshan District, Wuhan City, Hubei Province

Patentee after: Wuhan Three Body Star Sky Cultural Exchange Co.,Ltd.

Address before: 430079 1411, central creative building, 33 Luoyu Road, Hongshan District, Wuhan City, Hubei Province

Patentee before: WUHAN SANTI ROBOT Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP03 Change of name, title or address

Address after: Room 101, Building A, No. 177 Shawan Village, Xinmoshan Community, Donghu Ecological Tourism Scenic Area, Wuhan City, Hubei Province, 430079

Patentee after: Hubei Three Body Starry Sky Cultural Service Co.,Ltd.

Address before: 430079 1411, central creative building, 33 Luoyu Road, Hongshan District, Wuhan City, Hubei Province

Patentee before: Wuhan Three Body Star Sky Cultural Exchange Co.,Ltd.

CP03 Change of name, title or address
TR01 Transfer of patent right

Effective date of registration: 20231127

Address after: 430074 room 201811, 13 / F, unit 6, building 6, phase II R & D building, No.3 Guanggu Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province (Wuhan area of free trade zone)

Patentee after: WUHAN BINGUO TECHNOLOGY Co.,Ltd.

Address before: Room 101, Building A, No. 177 Shawan Village, Xinmoshan Community, Donghu Ecological Tourism Scenic Area, Wuhan City, Hubei Province, 430079

Patentee before: Hubei Three Body Starry Sky Cultural Service Co.,Ltd.

TR01 Transfer of patent right