CN113566825B - 基于视觉的无人机导航方法、系统及存储介质 - Google Patents
基于视觉的无人机导航方法、系统及存储介质 Download PDFInfo
- Publication number
- CN113566825B CN113566825B CN202110767646.2A CN202110767646A CN113566825B CN 113566825 B CN113566825 B CN 113566825B CN 202110767646 A CN202110767646 A CN 202110767646A CN 113566825 B CN113566825 B CN 113566825B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- point
- camera
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000005520 cutting process Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000001125 extrusion Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 230000035772 mutation Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 14
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000004088 simulation Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 20
- 238000012360 testing method Methods 0.000 description 11
- 230000006872 improvement Effects 0.000 description 6
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了一种基于视觉的无人机导航方法、系统及存储介质，该无人机导航方法包括步骤1，提取空间中视点的步骤、步骤2，获取临时目标点的步骤和步骤3，路径规划步骤。本发明的有益效果是：本发明提出利用图像切割技术提取空间信息改进基于目标探索式路径规划方法以此引导局部路径规规划器，从扩展相机视野范围的角度解除局部路径规划器容易陷入局部最优解的问题，提升无人机目标探索能力，同时空间中良好的临时目标点可以有效的提升无人机避障能力，保证无人机飞行安全。
Description
技术领域
本发明涉及智能控制技术领域，尤其涉及基于视觉的无人机导航方法、系统及存储介质。
背景技术
无人驾驶飞行器简称无人机(Unmanned Aerial Vehicle，UAV)，其具有制造成本低、续航时间长、隐蔽性好、生命力强、不惧伤亡、起降简单、操作便捷、灵活机动等特点。最初无人机主要用于军事方面，执行电子干扰、通信中继、战场侦察等。近年来无人机技术得到飞速发展，越来越多的无人机为民用方面提供服务，例如航拍摄影、人工降雨、森林火灾预警、抢险救灾、地形勘探等。
无人机在飞行过程中导航系统发挥着重要的作用，传统无人机导航系统依赖于卫星导航系统(例如北斗和GPS导航)，但其严重受限于通讯链路的质量，在密集的城市建筑环境中或较为茂盛的森林中，由于环境复杂多变卫星信号容易受到障碍物遮挡。这也成了限制了无人机可飞行范围的重要因素。近年来基于激光雷达和视觉传感器研发的导航系统非常切合的弥补了无人在此类场景下导航应用的空白。基于视觉的导航系统只需要依赖普通的单目或双目相机，大大的降低了成本，收益非常可观，受到了研究人员以及企业方面的一致推崇。但是目前基于视觉的导航系统依然面临着很多难题，根据目前对于视觉导航的研究一般将其将拆分为视觉定位、地图构建、路径规划。视觉定位就是利用相机拍摄到的多帧画面利用算法估计其运动变化，然后回溯其相机自身位姿变化。近期发布的ORB-SLAM3 将视觉里程计和惯性导航元件相结合极大的提升了系统定位的精度以及系统的鲁棒性。地图构建是指将环境中的目标物体投影到地图中，为下一步路径规划做准备。由于相机采集到的信息量巨大以及后续路径规划算法会对地图信息的产生大量查询，地图的选择、存储方式都直接影响到整个导航系统的实时性。路径规划是在现有地图上为无人机满足决策层要求的情况下规划一条无碰撞的可选路径。传统的路径规划方案都是二维的，但是针对于具有较高自由度的无人机来说二维算法难以达到飞行要求。近年来针对于三维路径规划以及有了一些深入的研究，但是将视觉导航和三维路径规划相结合同时能够保证无人机实时自主飞行的系统研究少之又少。
发明内容
本发明提供了一种基于视觉的无人机导航方法，包括如下步骤：
步骤1，提取空间中视点的步骤：通过无人机的相机对空间中的物体进行拍照得到图像数据，采用基于图的切割算法(Graph-Based image segmentation)对相机采集到的图像数据进行初步处理，从而将空间中物体或者由物体挤压形成的缝隙分割开来，然后查找图块最小内切圆，继而找到圆心，将该圆心作为特殊点，该圆心为无人机在飞行中希望经过的路径点，将像素坐标系经坐标变换获得其在三维空间坐标；
步骤2，获取临时目标点的步骤：将从图像中提取出的特殊点作为临时目标点的候选点，对候选点进行初步筛选，利用代价函数Lv对各个候选点进行比较，选出最符合无人机探索目标的点，然后在由深度信息构建的栅格地图对候选点进行检索，排除候选点中正中物体中心的点，最后得到的临时目标点即可以引导无人机朝向目标飞行同时最大化保证无人机的安全性；
步骤3，路径规划步骤：获得临时目标点后，无人机的飞行路径由局部路径规划器通过优化代价函数得到，代价函数定位如下
Etotal＝Eg+Ec+Eq+El
Eg＝(p(tep)-g)2
其中Eg限制规划路径向临时目标点靠近，p(t)为待优化的局部轨迹，tep 则对应该段轨迹结束时间，g为当前临时目标点坐标；Ec为碰撞代价控制无人机避开栅格地图中障碍物，其中碰撞代价C(x)可在ESDF地图中计算得到，[tmin,tmax]对应本段轨迹优化区间；Eq限制规划路径出现突变，保证路径光滑性；El惩罚飞行速度，加速度以及更高阶导数偏离设置的预先设置的最大值，
为预先设置的i阶导数下的最大值。
作为本发明的进一步改进，在所述步骤2中，代价函数Lv的定义如下：
Lv＝wYaw*Yvsg+wRoll*Rvsg
其中Yvsg为视点、无人机空间坐标点、目标点在水平面形成的夹角，Rvsg 为视点、无人机空间坐标点、目标点在垂直平面形成的夹角，wYaw、wRoll 分别对应其所占比重。
作为本发明的进一步改进，在所述步骤2中，栅格地图对候选点进行检索采用代价函数Dv：定义如下：
其中allNum是当前相机锥形视场内经统计的所用栅格数量，freeNum为视场内未占用栅格数量，searchNum为视场内占用状态未知的栅格数量,wSafe、wSearch为两种栅格占用状态在代价函数中的对应权重。
作为本发明的进一步改进，在所述步骤3中，引入自适应阈值算法动态控制临时目标点的选择，自适应阈值算法如下。
α+β＝1
其中Nextvalue为更新后的自适应阈值，value为当前阈值，vp为当前视点潜在探索价值的集合，numThreshold为最初设定的二次筛选视点数量，α和β分别表示原始值和更新值在更新后的阈值中所占权重。
作为本发明的进一步改进，在所述步骤1中,像素坐标系到相机坐标系的转换公式：
其中cx、cy、fx、fy为相机内参，相机内参在出场后是固定的,(u,v)为像素坐标系下的坐标，(x,y,z)即为像素点对应相机坐标系下的坐标。
从相机坐标到世界坐标的转换公式为：
[xw,yw,zw,1]＝T*[xc,yc,zc,1]
其中
为相机坐标系到世界坐标系的变换矩阵，R为坐标系间的旋转矩阵，t为平移向量，[xw,yw,zw]和[xc,yc,zc]分别对应相机坐标系下和世界坐标系下点坐标。
本发明还提供了一种基于视觉的无人机导航系统，包括：
提取空间中视点模块：用于通过无人机的相机对空间中的物体进行拍照得到图像数据，采用基于图的切割算法(Graph-Based image segmentation)对相机采集到的图像数据进行初步处理，从而将空间中物体或者由物体挤压形成的缝隙分割开来，然后查找图块最小内切圆，继而找到圆心，将该圆心作为特殊点，该圆心为无人机在飞行中希望经过的路径点，将像素坐标系经坐标变换获得其在三维空间坐标；
获取临时目标点模块：用于将从图像中提取出的特殊点作为临时目标点的候选点，对候选点进行初步筛选，利用代价函数Lv对各个候选点进行比较，选出最符合无人机探索目标的点，然后在由深度信息构建的栅格地图对候选点进行检索，排除候选点中正中物体中心的点，最后得到的临时目标点即可以引导无人机朝向目标飞行同时最大化保证无人机的安全性；
路径规划模块：用于获得临时目标点后，无人机的飞行路径由局部路径规划器通过优化代价函数得到，代价函数定位如下
Etotal＝Eg+Ec+Eq+El
Eg＝(p(tep)-g)2
其中Eg限制规划路径向临时目标点靠近，p(t)为待优化的局部轨迹，tep 则对应该段轨迹结束时间，g为当前临时目标点坐标；Ec为碰撞代价控制无人机避开栅格地图中障碍物，其中碰撞代价C(x)可在ESDF地图中计算得到，[tmin,tmax]对应本段轨迹优化区间；Eq限制规划路径出现突变，保证路径光滑性；El惩罚飞行速度，加速度以及更高阶导数偏离设置的预先设置的最大值，
为预先设置的i阶导数下的最大值。
作为本发明的进一步改进，在所述获取临时目标点模块中，代价函数 Lv的定义如下：
Lv＝wYaw*Yvsg+wRoll*Rvsg
其中Yvsg为视点、无人机空间坐标点、目标点在水平面形成的夹角，Rvsg 为视点、无人机空间坐标点、目标点在垂直平面形成的夹角，wYaw、wRoll 分别对应其所占比重。
栅格地图对候选点进行检索采用代价函数Dv：定义如下：
其中allNum是当前相机锥形视场内经统计的所用栅格数量，freeNum为视场内未占用栅格数量，searchNum为视场内占用状态未知的栅格数量,wSafe、wSearch为两种栅格占用状态在代价函数中的对应权重。
作为本发明的进一步改进，在所述路径规划模块中，引入自适应阈值算法动态控制临时目标点的选择，自适应阈值算法如下：
α+β＝1
其中Nextvalue为更新后的自适应阈值，value为当前阈值，vp为当前视点潜在探索价值的集合，numThreshold为最初设定的二次筛选视点数量，α和β分别表示原始值和更新值在更新后的阈值中所占权重。
作为本发明的进一步改进，在所述提取空间中视点模块中,像素坐标系到相机坐标系的转换公式：
其中cx、cy、fx、fy为相机内参，相机内参在出场后是固定的,(u,v)为像素坐标系下的坐标，(x,y,z)即为像素点对应相机坐标系下的坐标。
从相机坐标到世界坐标的转换公式为：
[xw,yw,zw,1]＝T*[xc,yc,zc,1]
其中
为相机坐标系到世界坐标系的变换矩阵，R为坐标系间的旋转矩阵，t为平移向量，[xw,yw,zw]和[xc,yc,zc]分别对应相机坐标系下和世界坐标系下点坐标。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的无人机导航方法的步骤。
本发明的有益效果是：本发明提出利用图像切割技术提取空间信息改进基于目标探索式路径规划方法以此引导局部路径规规划器，从扩展相机视野范围的角度解除局部路径规划器容易陷入局部最优解的问题，提升无人机目标探索能力，同时空间中良好的临时目标点可以有效的提升无人机避障能力，保证无人机飞行安全。
附图说明
图1是基于视觉SLAM的无人机导航系统框图；
图2是Gazebo仿真地图；
图3是是偏航-俯仰角模型图；
图4是是基于目标探索式路径规划算法仿真图；
图5是双无人机协同探索融合建图结果图；
图6是无人机实地测试图。
具体实施方式
本发明公开了一种基于视觉的无人机导航方法，本发明结合目前无人机方向的应用需求和基于视觉同步定位与建图(Simultaneous Localization and Mapping，SLAM)新兴技术，致力于研究一套完整方案解决无人机在环境未知且无卫星导航支持的情况下实现基于视觉的自主导航同时将飞行过程中的环境信息在地图中做记录。
本发明基于视觉的无人机导航方法包括如下步骤：
步骤1，提取空间中视点的步骤：通过无人机的相机对空间中的物体进行拍照得到图像数据，采用基于图的切割算法(Graph-Based image segmentation)对相机采集到的图像数据进行初步处理，从而将空间中物体或者由物体挤压形成的缝隙分割开来，然后查找图块最小内切圆，继而找到圆心，该圆心在空间中具有特殊性(将该圆心作为特殊点)，往往是物体几何中心或者物体间形成空隙的几何中心。而物体间形成空隙的几何中心就是无人机在飞行中希望经过的路径点。其效果图如图3。将像素坐标系经坐标变换获得其在三维空间坐标。
步骤2，获取临时目标点的步骤：将从图像中提取出的特殊点作为临时目标点的候选点，这些候选点既可能是空间中物体的几何中心也可能是由物体挤压形成的缝隙，后者对于无人机的飞行更加具有指导意义。在获取候选点后进行初步筛选，利用代价函数Lv对各个候选点进行比较，选出最符合无人机探索目标的点。然后在由深度信息构建的栅格地图对候选点进行检索，排除候选点中正中物体中心的点。最后得到的临时目标点即可以引导无人机朝向目标飞行同时最大化保证无人机的安全性。
步骤3，路径规划步骤：获得临时目标点后，无人机即得到将要飞行的方向，具体飞行路径需要由局部路径规划器通过优化代价函数得到，代价函数定位如下
Etotal＝Eg+Ec+Eq+El
Eg＝(p(tep)-g)2
其中Eg限制规划路径向临时目标点靠近，p(t)为待优化的局部轨迹，tep 则对应该段轨迹结束时间，g为当前临时目标点坐标；Ec为碰撞代价控制无人机避开栅格地图中障碍物，其中碰撞代价C(x)可在ESDF地图中计算得到，[tmin,tmax]对应本段轨迹优化区间；Eq限制规划路径出现突变，保证路径光滑性；El惩罚飞行速度，加速度以及更高阶导数偏离设置的预先设置的最大值，
为预先设置的i阶导数下的最大值。
基于B-Spline函数表达规划得到的路径，将临时目标点作为指引，以渐进的方式逐次迭代，从而引导局部路径规划向目标点靠近。
在所述步骤2中，代价函数Lv的定义如下：
Lv＝wYaw*Yvsg+wRoll*Rvsg
其中Yvsg为视点、无人机空间坐标点、目标点在水平面形成的夹角，Rvsg 为视点、无人机空间坐标点、目标点在垂直平面形成的夹角，wYaw、wRoll 分别对应其所占比重。
在所述步骤2中，栅格地图对候选点进行检索采用代价函数Dv：定义如下：
其中allNum是当前相机锥形视场内经统计的所用栅格数量，freeNum为视场内未占用栅格数量，searchNum为视场内占用状态未知的栅格数量,wSafe、wSearch为两种栅格占用状态在代价函数中的对应权重。
在所述步骤3中，引入自适应阈值算法动态控制临时目标点的选择，自适应阈值算法如下：
α+β＝1
其中Nextvalue为更新后的自适应阈值，value为当前阈值，vp为当前视点潜在探索价值的集合，numThreshold为最初设定的二次筛选视点数量，α和β分别表示原始值和更新值在更新后的阈值中所占权重。
在步骤1中，无人机相机获取到环境RGB图像，利用Graph-Based segmentation对图像进行初步的处理，该算法由作者Felzenszwalb提出，是经典的图像分割算法，属于贪心聚类算法，实现简单，速度比较快，精度较好。该算法中涉及三个参数：
Sigma：对图像进行高斯滤波去噪的参数，实际为高斯核的σ。
k：控制合并后的区域的大小，如果k＝0，那么几乎每个像素都成为了一个独立的区域，如果k＝+∞，显然整张图片都会聚成一块。所以，越大，分割后的图片也就越大。
Min：后处理参数，分割后会有很多小区域，当区域Ci像素点的个数|Ci|小于min时，选择与其差异最小的区域Ci合并。
通过调试验证将其分别设置为Sigma＝0.5，k＝500，min＝2000能够在无人机飞行场景下获得较好的结果。
在步骤1中，利用Graph-Based segmentation对图像进行初步处理后，将图像分割为多个图块，不同的图块大概率为环境中不同的物体或多个物体挤压形成的缝隙在二维平面下的映射，对每个由大量像素点组成的图块提取轮廓，并取得该图块最小外切圆，该圆心即作为该图块一个特殊点的存在。结合图像中点的坐标、相机参数、相机和无人机坐标系下的坐标变换，以及无人机在世界坐标系的坐标变换可得到在世界坐标系下一条以无人机坐标为起点过上述圆心的射线。像素坐标系到相机坐标系的转换公式：
其中cx、cy、fx、fy为相机内参，相机内参在出场后是固定的,(u,v)为像素坐标系下的坐标，(x,y,z)即为像素点对应相机坐标系下的坐标。
从相机坐标到世界坐标的转换公式为：
[xw,yw,zw,1]＝T*[xc,yc,zc,1]
其中
为相机坐标系到世界坐标系的变换矩阵，R为坐标系间的旋转矩阵，t为平移向量，[xw,yw,zw]和[xc,yc,zc]分别对应相机坐标系下和世界坐标系下点坐标。
本发明提出利用图像切割技术提取空间信息改进基于目标探索式路径规划方法以此引导局部路径规规划器，从扩展相机视野范围的角度解除局部路径规划器容易陷入局部最优解的问题，提升无人机目标探索能力，同时空间中良好的临时目标点可以有效的提升无人机避障能力，保证无人机飞行安全。基于视觉SLAM的无人机导航系统框图如图1所示。
本发明应用仿真和实践两种方法对无人机导航系统进行验证：
方法一：仿真平台
仿真平台：Linux操作系统、ROS机器人系统、Gazebo仿真软件、RotorS 无人机仿真平台。ROS平台作为导航系统操作系统、Gazebo仿真软件从仿真地图中提取数据并生成导航系统所需的视觉、IMU等相关数据、RotorS 为苏黎世联邦理工研发的无人机仿真平台，接收导航系统的规划得到的路径信息，然后模拟无人机的飞行。
硬件设备：Intel(R)Core(TM)i7-8559U CPU@2.70GHz。
本发明基于Linux操作系统和ROS平台对处理器调用实现基于视觉的无人机导航和路径规划。启动仿真系统，从仿真地图中获取仿真环境信息生成对应传感器信息数据，并以ROS话题节点的信息传输信息。无人机导航系统包括传感器数据获取、路径规划、无人机控制器等都以ROS节点的形式实现。同时本发明提供了6副仿真地图用于Gazebo仿真软件的启动如图2所示为其中一副地图。在无人机导航系统启动前，启动软件仿真系统，Gazebo仿真软件将结合仿真地图信息和无人机在地图中位置形成相机、IMU对应格式的传感器数据。采用八叉树地图作为存储地图，主机在飞行过程中共享占用栅格信息，僚机对本地地图和主机地图进行融合；具体为，在ROS平台上以Topic话题消息的格式对占用栅格地图信息以分辨率dt进行打包，并按照TCP通信机制组织多无人机之间的通信，建立多无人机实时地图融合系统。
方法二：硬件测试平台
硬件平台：华硕xtion2深度相机、Intel(R)Core(TM)i7-8559U CPU@ 2.70GHz、大疆四旋翼无人机M100、ST无线电台。
软件平台：Linux操作系统、ROS机器人系统。
本发明基于大疆四旋翼无人机M100平台对路径规划算法进行测试， M100飞控系统接收路径规划算法发来的位置指令，然后控制无人机飞行。 Xtion2深度相机采集环境中信息，以RGB图像和深度图输出。微型处理器对视觉图像信息进行处理，同时根据路径规划化算法进行解算规划处无人机最佳飞行路径。
飞行控制：
本发明应用仿真和实践两种方法对无人机导航系统进行验证。
方法一：在仿真系统下，本发明应用RotorS无人机仿真平台，将规划得到的路径以控制点的形式传输给该平台，经过处理无人机飞行状态在 Gazebo仿真平台实时展示。
方法二：在实际测试下，本发明采用大疆研发的M100无人机飞控平台，在得到规划的飞行路径后，以ROS话题的形式发布给“flight_contral_setpoint_ENUposition_yaw”话题，飞控系统将对路径信息处理，按指示路径飞行。
实验结果分析：
仿真测试中，本发明利用6张仿真测试地图对比分析了Ewok无人机自主导航算法和本发明设计的无人机导航方法。
仿真环境：Linux操作系统(Ubuntu16.04)、ROS机器人系统、Gazebo 仿真软件、RotorS无人机仿真平台；
硬件设备：Intel(R)Core(TM)i7-8559U CPU@2.70GHz；
对比分析仿真地图0-3,0号地图模拟了15*15平方米的一片树林，其中褐色圆柱体代表树干。编号1、2地图在0号地图的基础上加入了较为大型的障碍物且不规则的障碍物。编号3地图则将0号地图中均匀分布的立柱按不同稠密地在地图中重新摆放。从测试数据中可以看出Ewok路径规划的方式在编号0地图中较完美的完成了从起点到终点的路径规划，并顺利控制无人机在树林间无碰撞的飞行。但是针对于编号1-3地图其规划得到的路径依然在时间和路程上具有较优的效果，但是其规划成功率大大降低，针对于编号4-6地图，该算法已经完全无法完成在未知环境中为无人机规划无碰撞的飞行路径。分析其原因在于其躲避障碍物的方案都是通过优化既定路径完成，且路径规划过程中未充分分析相机视场对于环境感知的影响。
表1地图0-3仿真数据记录
表2地图4-6仿真数据记录
本发明提出的路径规划算法从二维图像信息以及占用栅格地图对空间结构信息进行提取，主动的选择避开障碍物。同时本发明充分考虑了无人机在飞行过程中相机视场对于无人机对环境感知的影响。对比分析Ewok 路径规划算法和Myplan规划算法，在编号0地图中，Myplan同样能够出色的完成为无人机在未知环境中规划路径的功能，但是在时间和路程上略逊与Eork规划算法。在编号1-3中本发明提出的路径规划算法可以主动的避开大型的障碍物，同时当陷入局部最优问题时，可以通过及时调整无人机视角以及从二维图像中提取空间结构信息的方式延伸深度相机探测范围，有效的将无人机拽出局部最优解区域。同时从编号4-6地图中可以看出从二维图像中提取信息的方式在规则的建筑物区域更加适用，这种方式可以简单高效的定位出较优的适合无人机飞行的区域，可以保证无人机和障碍物之间保持更加安全的距离。
硬件实地测试中我们设定起始位置和距离位置8米的距离，期间有大型灌木和石头作为障碍物，将本发明设计路径规划算法以及整套导航系统部署在无人机总控设备中。
硬件设备：华硕xtion2深度相机、Intel(R)Core(TM)i7-8559U CPU@ 2.70GHz、大疆四旋翼无人机M100、ST无线电台；
软件平台：Linux操作系统、ROS机器人系统；
如图6所示，实地测试和仿真结果基本吻合验证了本发明的算法在无人机在实地场景实时导航的可行性。
综上所述，本发明提出的路径规划方案不仅可以适用于障碍物稀疏的场景，同时在复杂环境下也具有优异的表现。
本发明的有益效果是：1.本发明提出利用图像切割技术提取空间信息改进基于目标探索式路径规划方法以此引导局部路径规规划器，从扩展相机视野范围的角度解除局部路径规划器容易陷入局部最优解的问题，提升无人机目标探索能力，同时空间中良好的临时目标点可以有效的提升无人机避障能力，保证无人机飞行安全。2.本发明提供了一套完整的无人机基于视觉路径规划仿真方案和6副模拟真实环境的仿真地图，在无需无人机等硬件设备支持下，即可完成路径规划等无人机相关算法仿真测试，可以大大简化研究者在硬件调试方面花费的精力。3.本发明提供了一套由大疆无人机平台、华硕深度相机、intel处理器等硬件平台和基于视觉路径规划算法构成的基于视觉无人机自主导航硬件方案，将极大方便研究者将路径规划算法移植到硬件平台，对算法做实际测试。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于视觉的无人机导航方法，其特征在于，包括如下步骤：
步骤1，提取空间中视点的步骤：通过无人机的相机对空间中的物体进行拍照得到图像数据，采用基于图的切割算法对相机采集到的图像数据进行初步处理，从而将空间中物体或者由物体挤压形成的缝隙分割开来，然后查找图块最小内切圆，继而找到圆心，将该圆心作为特殊点，该圆心为无人机在飞行中希望经过的路径点，将像素坐标系经坐标变换获得其在三维空间坐标；
步骤2，获取临时目标点的步骤：将从图像中提取出的特殊点作为临时目标点的候选点，对候选点进行初步筛选，利用代价函数Lv对各个候选点进行比较，选出最符合无人机探索目标的点，然后在由深度信息构建的栅格地图对候选点进行检索，排除候选点中正中物体中心的点，最后得到的临时目标点即可以引导无人机朝向目标飞行同时最大化保证无人机的安全性；
步骤3，路径规划步骤：获得临时目标点后，无人机的飞行路径由局部路径规划器通过优化代价函数得到，代价函数Etotal定义如下
Etotal＝Eg+Ec+Eq+El
Eg＝(p(tep)-g)2
其中Eg限制规划路径向临时目标点靠近，p(t)为待优化的局部轨迹，tep则对应该段轨迹结束时间，g为当前临时目标点坐标；Ec为碰撞代价控制无人机避开栅格地图中障碍物，其中碰撞代价C(x)可在ESDF地图中计算得到,[tmin,tmax]对应本段轨迹优化区间；Eq限制规划路径出现突变，保证路径光滑性；El惩罚飞行速度，加速度以及更高阶导数偏离设置的预先设置的最大值，
为预先设置的i阶导数下的最大值。
2.根据权利要求1所述的无人机导航方法，其特征在于，在所述步骤2中，代价函数Lv的定义如下：
Lv＝wYaw*Yvsg+wRoll*Rvsg
其中Yvsg为视点、无人机空间坐标点、目标点在水平面形成的夹角，Rvsg为视点、无人机空间坐标点、目标点在垂直平面形成的夹角，wYaw、wRoll分别对应其所占比重。
3.根据权利要求2所述的无人机导航方法，其特征在于，在所述步骤2中，栅格地图对候选点进行检索采用代价函数Dv：定义如下：
其中allNum是当前相机锥形视场内经统计的所用栅格数量，freeNum为视场内未占用栅格数量，searchNum为视场内占用状态未知的栅格数量,wSafe、wSearch为两种栅格占用状态在代价函数中的对应权重。
4.根据权利要求1所述的无人机导航方法，其特征在于，在所述步骤3中，引入自适应阈值算法动态控制临时目标点的选择，自适应阈值算法如下：
α+β＝1
其中Nextvalue为更新后的自适应阈值，value为当前阈值，vp为当前视点潜在探索价值的集合，numThreshold为最初设定的二次筛选视点数量，α和β分别表示原始值和更新值在更新后的阈值中所占权重。
5.根据权利要求1至4任一项所述的无人机导航方法，其特征在于，在所述步骤1中,像素坐标系到相机坐标系的转换公式：
其中cx、cy、fx、fy为相机内参，相机内参在出场后是固定的,(u,v)为像素坐标系下的坐标，(x,y,z)即为像素点对应相机坐标系下的坐标；
从相机坐标到世界坐标的转换公式为：
[xw,yw,zw,1]＝T*[xc,yc,zc,1]
其中
为相机坐标系到世界坐标系的变换矩阵，R为坐标系间的旋转矩阵，t为平移向量，[xw,yw,zw]和[xc,yc,zc]分别对应相机坐标系下和世界坐标系下点坐标。
6.一种基于视觉的无人机导航系统，其特征在于，包括：
提取空间中视点模块：用于通过无人机的相机对空间中的物体进行拍照得到图像数据，采用基于图的切割算法对相机采集到的图像数据进行初步处理，从而将空间中物体或者由物体挤压形成的缝隙分割开来，然后查找图块最小内切圆，继而找到圆心，将该圆心作为特殊点，该圆心为无人机在飞行中希望经过的路径点，将像素坐标系经坐标变换获得其在三维空间坐标；
获取临时目标点模块：用于将从图像中提取出的特殊点作为临时目标点的候选点，对候选点进行初步筛选，利用代价函数Lv对各个候选点进行比较，选出最符合无人机探索目标的点，然后在由深度信息构建的栅格地图对候选点进行检索，排除候选点中正中物体中心的点，最后得到的临时目标点即可以引导无人机朝向目标飞行同时最大化保证无人机的安全性；
路径规划模块：用于获得临时目标点后，无人机的飞行路径由局部路径规划器通过优化代价函数得到，代价函数定位如下
Etotal＝Eg+Ec+Eq+El
Eg＝(p(tep)-g)2
其中Eg限制规划路径向临时目标点靠近，p(t)为待优化的局部轨迹，tep则对应该段轨迹结束时间，g为当前临时目标点坐标；Ec为碰撞代价控制无人机避开栅格地图中障碍物，其中碰撞代价C(x)可在ESDF地图中计算得到，[tmin,tmax]对应本段轨迹优化区间；Eq限制规划路径出现突变，保证路径光滑性；El惩罚飞行速度，加速度以及更高阶导数偏离设置的预先设置的最大值，
为预先设置的i阶导数下的最大值。
7.根据权利要求6所述的无人机导航系统，其特征在于，在所述获取临时目标点模块中，代价函数Lv的定义如下：
Lv＝wYaw*Yvsg+wRoll*Rvsg
其中Yvsg为视点、无人机空间坐标点、目标点在水平面形成的夹角，Rvsg为视点、无人机空间坐标点、目标点在垂直平面形成的夹角，wYaw、wRoll分别对应其所占比重；
栅格地图对候选点进行检索采用代价函数Dv：定义如下：
其中allNum是当前相机锥形视场内经统计的所用栅格数量，freeNum为视场内未占用栅格数量，searchNum为视场内占用状态未知的栅格数量,wSafe、wSearch为两种栅格占用状态在代价函数中的对应权重。
8.根据权利要求6所述的无人机导航系统，其特征在于，在所述路径规划模块中，引入自适应阈值算法动态控制临时目标点的选择，自适应阈值算法如下：
α+β＝1
其中Nextvalue为更新后的自适应阈值，value为当前阈值，vp为当前视点潜在探索价值的集合，numThreshold为最初设定的二次筛选视点数量，α和β分别表示原始值和更新值在更新后的阈值中所占权重。
9.根据权利要求6至8任一项所述的无人机导航系统，其特征在于，在所述提取空间中视点模块中,像素坐标系到相机坐标系的转换公式：
其中cx、cy、fx、fy为相机内参，相机内参在出场后是固定的,(u,v)为像素坐标系下的坐标，(x,y,z)即为像素点对应相机坐标系下的坐标；
从相机坐标到世界坐标的转换公式为：
[xw,yw,zw,1]＝T*[xc,yc,zc,1]
其中
为相机坐标系到世界坐标系的变换矩阵，R为坐标系间的旋转矩阵，t为平移向量，[xw,yw,zw]和[xc,yc,zc]分别对应相机坐标系下和世界坐标系下点坐标。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1－5中任一项所述的无人机导航方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110767646.2A CN113566825B (zh) | 2021-07-07 | 2021-07-07 | 基于视觉的无人机导航方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110767646.2A CN113566825B (zh) | 2021-07-07 | 2021-07-07 | 基于视觉的无人机导航方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113566825A CN113566825A (zh) | 2021-10-29 |
| CN113566825B true CN113566825B (zh) | 2023-07-11 |
Family
ID=78163951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110767646.2A Active CN113566825B (zh) | 2021-07-07 | 2021-07-07 | 基于视觉的无人机导航方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113566825B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113946128A (zh) * | 2021-11-29 | 2022-01-18 | 中国人民解放军国防科技大学 | 一种无人机集群半实物仿真控制系统 |
| CN114200471B (zh) * | 2021-12-07 | 2022-08-23 | 杭州电子科技大学信息工程学院 | 基于无人机的森林火源检测系统、方法、存储介质、设备 |
| CN114355981B (zh) * | 2022-01-06 | 2024-01-12 | 中山大学 | 一种四旋翼无人机自主探索建图的方法和系统 |
| CN116786326B (zh) * | 2023-08-25 | 2023-10-27 | 至正长信自动化工程(苏州)有限公司 | 一种喷涂机器人作业控制方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102175222A (zh) * | 2011-03-04 | 2011-09-07 | 南开大学 | 基于立体视觉的吊车避障系统 |
| CN107167139A (zh) * | 2017-05-24 | 2017-09-15 | 广东工业大学 | 一种变电站巡检机器人视觉定位导航方法及系统 |
| CN109765930A (zh) * | 2019-01-29 | 2019-05-17 | 理光软件研究所（北京）有限公司 | 一种无人机视觉导航系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10788836B2 (en) * | 2016-02-29 | 2020-09-29 | AI Incorporated | Obstacle recognition method for autonomous robots |
| CN107943072B (zh) * | 2017-11-13 | 2021-04-09 | 深圳大学 | 无人机飞行路径生成方法、装置、存储介质及设备 |
-
2021
- 2021-07-07 CN CN202110767646.2A patent/CN113566825B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102175222A (zh) * | 2011-03-04 | 2011-09-07 | 南开大学 | 基于立体视觉的吊车避障系统 |
| CN107167139A (zh) * | 2017-05-24 | 2017-09-15 | 广东工业大学 | 一种变电站巡检机器人视觉定位导航方法及系统 |
| CN109765930A (zh) * | 2019-01-29 | 2019-05-17 | 理光软件研究所（北京）有限公司 | 一种无人机视觉导航系统 |
Non-Patent Citations (2)
| Title |
|---|
| 利用激光点云的城市无人驾驶路径规划算法;郭晓旻;李必军;龙江云;徐豪达;卢智;;中国公路学报(第04期);186-194 * |
| 基于强化学习的机器人路径规划算法;张福海;李宁;袁儒鹏;付宜利;;华中科技大学学报(自然科学版)(第12期);65-70 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113566825A (zh) | 2021-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113566825B (zh) | 基于视觉的无人机导航方法、系统及存储介质 | |
| CN109034018B (zh) | 一种基于双目视觉的低空小型无人机障碍物感知方法 | |
| CN111599001B (zh) | 基于图像三维重建技术的无人机导航地图构建系统及方法 | |
| CN111326023B (zh) | 一种无人机航线预警方法、装置、设备及存储介质 | |
| Cesetti et al. | A vision-based guidance system for UAV navigation and safe landing using natural landmarks | |
| CN107577241B (zh) | 一种基于避障系统的消防无人机航迹规划方法 | |
| CN113009506B (zh) | 一种虚实结合的实时激光雷达数据生成方法、系统及设备 | |
| CN111210518A (zh) | 基于视觉融合地标的拓扑地图生成方法 | |
| CN105786016A (zh) | 无人机以及rgbd图像的处理方法 | |
| CN111880191B (zh) | 基于多智能体激光雷达和视觉信息融合的地图生成方法 | |
| CN113359782B (zh) | 一种融合lidar点云与图像数据的无人机自主选址降落方法 | |
| CN111831010A (zh) | 一种基于数字空间切片的无人机避障飞行方法 | |
| CN114295139A (zh) | 一种协同感知定位方法及系统 | |
| CN114842361A (zh) | 基于视觉及雷达的无人机着陆点检测方法及相关设备 | |
| CN112380933B (zh) | 无人机识别目标的方法、装置及无人机 | |
| Zhai et al. | Target detection of low-altitude uav based on improved yolov3 network | |
| Yang et al. | A semantic SLAM-based method for navigation and landing of UAVs in indoor environments | |
| Yuan et al. | 3D traffic scenes construction and simulation based on scene stages | |
| Dinaux et al. | FAITH: Fast iterative half-plane focus of expansion estimation using optic flow | |
| Ross et al. | Vision-based target geolocation and optimal surveillance on an unmanned aerial vehicle | |
| Zaier et al. | Vision-based UAV tracking using deep reinforcement learning with simulated data | |
| Zhang et al. | A self-supervised monocular depth estimation approach based on uav aerial images | |
| Awed et al. | Towards realizing a visual UAV flying environment: A novel approach based aerial imagery to construct a dataset for visual servoing | |
| Symeonidis et al. | A UAV Video Data Generation Framework for Improved Robustness of UAV Detection Methods | |
| Sunarya et al. | The Detection of a Single Wet Rice Field Bund on Unmanned Aerial Vehicle Image Using a Convolutional Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |