CN105865454B - 一种基于实时在线地图生成的无人机导航方法 - Google Patents
一种基于实时在线地图生成的无人机导航方法 Download PDFInfo
- Publication number
- CN105865454B CN105865454B CN201610374013.4A CN201610374013A CN105865454B CN 105865454 B CN105865454 B CN 105865454B CN 201610374013 A CN201610374013 A CN 201610374013A CN 105865454 B CN105865454 B CN 105865454B
- Authority
- CN
- China
- Prior art keywords
- frame
- map
- real
- unmanned plane
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Abstract
本发明提出一种基于实时在线地图生成的无人机导航方法,在无人机上实现地图实时在线重建,然后将重建好的地图通过高带宽数据传输链路传回地面,地面端根据无人机传回的区域地图进行导航决策,并根据决策设置无人机航线信息,将航线信息发送给无人机;无人机机载的微小型计算机根据航线信息、自身重建的区域地图信息和自身定位信息执行航向飞行任务。通过本发明,无人机能够在未知空域飞行,在自身位置不确定的条件下,通过对环境信息的探测和比较,对环境的特征信息的提取和匹配,来获取自身的定位以及进行三维地图的构建以及导航。本发明可应用于战场需求,火灾/地震/洪水等灾害应急救援,无人机治安管理监控等。
Description
技术领域
本发明涉及计算机图像处理与地图测绘领域,具体为一种基于实时在线地图生成的无人机导航方法,通过对无人机和地面站传输内容方式的改变,实现了无人机实时在线地图生成,并依据在线实时生成的地图对无人机进行任务决策和导航。
背景技术
无人机(Unmanned Aerial Vehicles,UAV)的研究在最近几年有了很大的进展,应用领域也越来越广。在军用方面,由于无人机具有预警时间短、隐蔽性好、侦察能力强、巡航时间长、成本低、作战损失小等特点,可以广泛用于侦察、攻击、电子对抗等军事任务,也可用于靶机实验;在民用方面,可用于通信中继、气象探测、灾害监测、农药喷洒、地质勘测、地图测绘、交通管制、边境控制等诸多领域。以往,无人机主要依靠惯性导航系统(InertialNavigation System,INS)和全球定位系统(Global Position System,GPS)进行导航,然而,导航过程中惯性器件具有累积误差,对初始值过于敏感,而且GPS并不是总是可获取的,并且即使是可以获取,民用GPS精度往往满足不了无人机导航的需要。
图像处理技术以及摄像机硬件的发展使得计算机视觉技术可以引入到无人机的导航问题中来。首先,依靠视觉所提供的实时信息可以与惯性导航和GPS信息进行融合,弥补后两者的缺陷,提高导航精度。其次,摄像机更善于捕捉运动信息,传统的传感器则较吃力,从应用的角度来看,视觉信号的抗干扰性能很好,而无线电和GPS信号易受阻塞。最后,摄像机属于被动传感器,利用的是可见光或者红外线这种自然信息,这在军事隐蔽侦查上尤为重要。然而在应用视觉技术时,摄像机获得的初始信息以图像的形式存在,伴随大量的冗余信息,需要采用图像处理技术来提取有效信息,这就带来了算法实时性问题。同时,视觉导航依靠参照物,只能获得相对运动状态信息,因而,由于单个UAV高空飞行过程中难于寻找合适的固定参照物,所以目前采用视觉导航的无人机导航方法应用较少。
发明内容
为解决现有技术存在的问题,本发明提出了一种基于实时在线地图生成的无人机导航方法,在无人机上实现地图实时在线重建,然后将重建好的地图通过高带宽数据传输链路传回地面,地面站人员根据传回的飞行区域地图信息作出决策,并依据决策在,返回地面站的地图数据上规定航线,并将航线信息传回无人机,无人机依据收到的航线信息、自身存储的区域地图信息和自身定位信息执行航向飞行任务,实现无人机导航任务。
本发明的硬件实现主要分为两大部分,第一部分是天空端,主要装置是将微小型计算机安置在无人机上,无人机直接搭载USB相机。在无人机在飞行过程中,通过USB相机进行图像信息采集,直接将数据给微小型计算机,微小型计算机对所采集到的图像信息进行地图重建,在飞行过程中由飞行控制器为微小型计算机的图像处理软件提供GPS,并且将重建地图传给DDL图传;微小型计算机还接受地面端上传的航点信息,并依据航线信息、自身重建的区域地图信息和自身定位信息执行航向飞行任务;第二部分是地面端,地面端根据接收的重建地图,决策出无人机的航线,并将航线信息上传给天空端。
在整个过程中,微小型计算机与飞控系统利用串口进行信息传递。主要是用USB转UART将飞控的GPS信息传给微小型计算机。飞控系统和微小型计算机的信息会实时的通过DDL图传传给地面的DDL图传。
在天空端,无人机要对采集到的数据信息进行处理以实时地获取自身姿态和三维环境的地图,主要由以下步骤实现:
步骤1:采集图像
无人机机载相机采集到一系列图像,并将图像传递给无人机载的微小型计算机;
步骤2:无人机载的微小型计算机对相机获取的第一帧图像进行处理得到初始化地图:
步骤2.1:对第一帧图像进行去畸变处理,得到去畸变后的第一帧图像;
步骤2.2:对去畸变后的第一帧图像进行深度初始化:根据设定的灰度梯度阈值,筛选出去畸变后的第一帧图像中灰度梯度大于灰度梯度阈值的像素点,并赋予所筛选出的像素点随机深度值;
步骤2.3:根据无人机机载相机参数将步骤2.2中赋予深度值的像素点反投影回三维环境,得到初始化后的地图;
步骤2.4:将去畸变后的第一帧图像设置为关键帧;
步骤3:对无人机机载相机实时获得的第i帧图像进行如下处理,i=2,3,4……:
步骤3.1:对第i帧图像进行去畸变处理,得到去畸变后的第i帧图像;
步骤3.2:以当前关键帧为基准,进行去畸变后的第i帧图像与基准的图像对齐操作,得到第i帧到当前关键帧的位姿变化;
步骤3.3:根据当前关键帧对应的相机姿态,以及步骤3.2得到的第i帧到当前关键帧的位姿变化,得到第i帧对应的相机姿态和相机在局部坐标下的位置;
步骤3.4:根据设定的灰度梯度阈值,筛选出去畸变后的第i帧图像中灰度梯度大于灰度梯度阈值的像素点,并根据相机参数和步骤3.3得到的第i帧对应的相机姿态,将筛选出的像素点反投影回三维环境,得到所筛选出的像素点深度值;并将所筛选出的带有深度值的像素点加入地图中;
步骤3.5:若步骤3.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值,则用第i帧代替当前关键帧作为新的关键帧。
步骤4:预设帧数的无人机机载相机实时获得的图像处理完成后,无人机载的微小型计算机将生成的地图通过无人机载的DDL图传传给地面端显示;
步骤5:地面端根据无人机传回的区域地图进行导航决策,并根据决策设置无人机航线信息;将航线信息发送给无人机;无人机机载的微小型计算机根据航线信息、自身重建的区域地图信息和自身定位信息执行航向飞行任务。
进一步的优选方案,所述一种基于实时在线地图生成的无人机导航方法,其特征在于:
提取并存储每一个关键帧图像中的特征点;
若步骤3.2中图像对齐操作无法实现,则进行失败重建:
提取去畸变后的当前帧图像的特征点,将当前帧的特征点与存储的每一个关键帧图像中的特征点进行匹配,寻找成功匹配特征点个数最多的关键帧,若该关键帧中成功匹配特征点的个数占该关键帧中特征点总数的比例不大于40%,则以当前帧作为第一帧,返回步骤2;否则以该关键帧作为为基准,进行去畸变后的当前帧图像与基准的图像对齐操作,得到当前帧到当前关键帧的位姿变化;
根据基准对应的相机姿态,以及当前帧到当前关键帧的位姿变化,得到当前帧对应的相机姿态;
根据设定的灰度梯度阈值,筛选出去畸变后的当前帧图像中灰度梯度大于灰度梯度阈值的像素点,并根据相机参数和当前帧对应的相机姿态,将筛选出的像素点反投影回三维环境,得到所筛选出的像素点深度值;并将所筛选出的带有深度值的像素点加入地图中;而后继续按照步骤3进行。
进一步的优选方案,所述一种基于实时在线地图生成的无人机导航方法,其特征在于:采用快速角点检测方法提取特征点。
进一步的优选方案,所述一种基于实时在线地图生成的无人机导航方法,其特征在于:步骤3.4中,将所筛选出的带有深度值的像素点加入地图的过程中,若某一像素点反投影后,在地图中对应的三维点的邻域内,已存在有地图三维点,则将该像素点反投影后在地图中对应的三维点,以及三维点邻域内的已存在的地图三维点去除,并将该像素点反投影后在地图中对应的三维点,与三维点邻域内的已存在的地图三维点的加权平均点加入地图中。
进一步的优选方案,所述一种基于实时在线地图生成的无人机导航方法,其特征在于:步骤3.5中,若步骤3.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值,且第i帧与当前关键帧的帧数差不小于15帧,则用第i帧代替当前关键帧作为新的关键帧。
进一步的优选方案,所述一种基于实时在线地图生成的无人机导航方法,其特征在于:步骤3.2中的图像对齐操作采用以下过程:
先设定第i帧到当前关键帧的位姿变化的初始值;根据第i帧到当前关键帧的位姿变化,将当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点反投影到三维环境,再从三维环境投影到去畸变后的第i帧图像上,得到投影点;并在去畸变后的第i帧图像上找到,当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点的对应点;计算投影点与对应点的光度值残差和;迭代变化第i帧到当前关键帧的位姿变化,使光度值残差和最小。
进一步的优选方案,所述一种基于实时在线地图生成的无人机导航方法,其特征在于:采用第i-1帧到当前关键帧的位姿变化作为第i帧到当前关键帧的位姿变化的初始值。
进一步的优选方案,所述一种基于实时在线地图生成的无人机导航方法,其特征在于:步骤3.4中,得到所筛选出的像素点深度值后;采用图优化方法对第i帧对应的相机在局部坐标下的位置,以及所筛选出的带有深度值的像素点位置进行优化,将优化后的带有深度值的像素点加入地图中。
进一步的优选方案,所述一种基于实时在线地图生成的无人机导航方法,其特征在于:将重建后的地图转换到世界坐标系下:
在无人机实时地图重建过程中,通过卫星定位信号获得每一帧时刻下,无人机在世界坐标系下的轨迹信息Xn,n表示的是第n帧;并在无人机实时地图重建过程中,得到每一帧对应的相机在局部坐标系下的位置xn;通过优化函数
得到优化函数取最小值对应的变换矩阵δ,其中N为无人机实时地图重建过程中的总帧数,T(xn,δ)表示从局部坐标系到世界坐标系的投影转换函数,δ为从局部坐标系到世界坐标系的变换矩阵;根据得到的变换矩阵δ对应的投影转换函数,将重建得到的地图转换到世界坐标系下。
进一步的优选方案,所述一种基于实时在线地图生成的无人机导航方法,其特征在于:当卫星定位信号频率小于帧频时,对于每一个卫星定位信号采集时刻tn,得到无人机在世界坐标系下的轨迹信息Xn;并用采集时刻tn前后各一帧对应的相机在局部坐标系下的位置插值得到采集时刻tn下相机在局部坐标系下的位置xn;通过优化函数
得到优化函数取最小值对应的变换矩阵δ,其中N为卫星定位信号的总采集点数,T(xn,δ)表示从局部坐标系到世界坐标系的投影转换函数,δ为从局部坐标系到世界坐标系的变换矩阵;根据得到的变换矩阵δ对应的投影转换函数,将重建得到的地图转换到世界坐标系下。
有益效果
本发明提出的方法与诸多现有方法相比,无论是位置漂移量、角度漂移量还是绝对误差都处于中上水平,本方法获取环境较多信息,而且与全稠密的方法相比,本方法的实验精度依然能够达到使用标准,而且能够直接在CPU上运行,不用要求GPU,实时性好。
而且,本发明采用在无人机上实时在线地图生成方式,图像信息传递更易实现,减小了数据量的储存,以及传输的信息量,具体而言是:1、没有大量重复、冗余的图片传输回来;2、传输信息量小,使得传输速率小,传输距离远;3、实时性好。基于这些优势,通过在无人机上实时在线地图生成方式,能够在不基于GPS的情况下,对无人机航路信息进行决策并导航。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1:三角化投影确定像素深度示意图;
图2:直接图像对齐方法示意图;
图3:失败重建示意图;
图4:图优化方法示意图;
图5:拟合卫星导航数据示意图;
图6:相机获取的一帧原始图像;
图7:实时重建的三维点云图;
图8:使用无人机在线实时重建的地图;
图9:拼接后的地图;
图10:基于无人机在线实时地图重建的导航系统天空端示意图;
图11:基于无人机在线实时地图重建的导航系统地面端示意图;
图12:基于无人机在线实时地图重建的导航系统地面端航线显示图。
具体实施方式
下面详细描述本发明的实施例,所述实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
本发明的硬件实现主要分为两大部分,第一部分是天空端,如图10所示,主要装置是将微小型计算机安置在无人机上,无人机直接搭载USB相机。在无人机在飞行过程中,通过USB相机进行图像信息采集,直接将数据给微小型计算机,微小型计算机对所采集到的图像信息进行地图重建,在飞行过程中由飞行控制器为微小型计算机的图像处理软件提供GPS,并且将重建地图传给DDL图传;微小型计算机还接受地面端上传的航点信息,并依据航线信息、自身重建的区域地图信息和自身定位信息执行航向飞行任务;第二部分是地面端,如图11所示,地面端根据接收的重建地图,决策出无人机的航线,并将航线信息上传给天空端。
本实施例的具体实施例步骤如下:
在天空端的任务是在飞行过程中进行实时地图的重建,并根据接收的航线信息、自身重建的区域地图信息和自身定位信息执行航向飞行任务:
步骤1:采集图像
无人机机载相机采集到一系列图像,并将图像通过USB2.0或者USB3.0传递给无人机载的微小型计算机;这样的传输方式比远程传输要快很多。
步骤2:无人机载的微小型计算机对相机获取的第一帧图像进行处理得到初始化地图:
步骤2.1:用事先获取的标定数据对第一帧图像进行去畸变处理,得到去畸变后的第一帧图像,用于后续处理。
步骤2.2:对去畸变后的第一帧图像进行深度初始化:根据设定的灰度梯度阈值,筛选出去畸变后的第一帧图像中灰度梯度大于灰度梯度阈值的像素点,并赋予所筛选出的像素点随机深度值;这样的随机处理并不会影响后面的重建精度,因为通过几十帧的处理后,深度地图会逐渐趋近于一个准确的模型。
步骤2.3:根据相机参数将步骤2.2中赋予深度值的像素点反投影回三维环境,得到初始化后的地图.
步骤2.4:将去畸变后的第一帧图像设置为关键帧;提取并存储关键帧中的特征点。对于特征点检测的方法有:①SIFT、②SURF、③fast-corner(快速角点检测:通过高斯过滤,再角点检测)等,由于本发明旨在应用于实时生成环境三维地图,程序注重实时性,而前两种虽然精度高、效果好,但是其所需要的时间很长,不适合实时运行的情形,因此本步骤以及后续步骤中都采用fast-corner来检测特征点。
步骤3:对相机实时获得的第i帧图像进行如下处理,i=2,3,4……:
步骤3.1:对第i帧图像进行去畸变处理,得到去畸变后的第i帧图像。
步骤3.2:当第i帧图像数据加载进来后,系统以当前关键帧为基准(即跟踪基础),进行去畸变后的第i帧图像与基准的图像对齐操作,得到第i帧到当前关键帧的位姿变化。
由于帧率较高,相邻帧的差别(时间、空间)不是很大,在此假设在两帧这么小的时间间隔内,同一个像素的光度值不发生改变(变化很小,忽略不计)。本文直接通过比较两幅图像的光度值,通过最小化光度误差获得两帧间的位姿变化,即完成图像对齐操作:
先设定第i帧到当前关键帧的位姿变化的初始值。
根据第i帧到当前关键帧的位姿变化,将当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点反投影到三维环境,再从三维环境投影到去畸变后的第i帧图像上,得到投影点;并在去畸变后的第i帧图像上找到,当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点的对应点;计算投影点与对应点的光度值残差和;迭代变化第i帧到当前关键帧的位姿变化,使光度值残差和最小。
由于帧率较高,导致了两帧间的位姿变化量在一个小区域内是近似不变的,因此可以采用第i-1帧到当前关键帧的位姿变化作为第i帧到当前关键帧的位姿变化的初始值。
利用相机的参数矩阵将像素点反投影到三维环境中是为了通过三角化,算出当前帧(即第i帧)与当前关键帧的姿态变化,即SE(3)变换:SE(3)是一个4×4的矩阵,表示位置和姿态变化(在相机投影方程中又称为外参矩阵):
这个矩阵主要分为两大部分,其中从a00到a22为SO(3),表示三维空间中姿态(角度)的变化,从T0到T2表示位置的变化,即(x,y,z)的变化量。SIM3由SE(3)加上Scale参数组成,SO(3)*s即可将SE(3)变成SIM3:
s表示Scale参数,用于仿射变换。
步骤3.3:根据当前关键帧对应的相机姿态,以及步骤3.2得到的第i帧到当前关键帧的位姿变化,得到第i帧对应的相机姿态和相机在局部坐标下的位置。
步骤3.4:根据设定的灰度梯度阈值,筛选出去畸变后的第i帧图像中灰度梯度大于灰度梯度阈值的像素点,并根据相机参数和步骤3.3得到的第i帧对应的相机姿态,将筛选出的像素点反投影回三维环境,得到所筛选出的像素点深度值;并将所筛选出的带有深度值的像素点加入地图中。
由于目前整套系统前后依赖性强,为了减小来自传感器的误差对最终结果的影响,矫正每一步的位姿,这里采用图优化方法对第i帧对应的相机在局部坐标下的位置,以及所筛选出的带有深度值的像素点位置进行优化,将优化后的带有深度值的像素点加入地图中。公知的图优化方法公式为:
xk表示前面定义的节点(也可以理解为状态),Zk表示边(也可以理解为约束),ek表示这些节点满足约束的状态(如果没有噪声及ek=0),Ωk表示引入的信息矩阵,及约束的置信度,如果误差大则它对应的置信度就小。定义完变量之后,我们要做的就是使整个误差函数降到最小,以达到全局最优的目的。在本方法中我们将地图点的三维位置和无人机的位姿定义为节点,将从图像到地图点的投影关系和相邻两帧之间的SE(3)的变化定义为边,信息矩阵包含两方面:地图点的被关键帧观测次数和图像中点的灰度梯度。
此外在步骤3.4中,将所筛选出的带有深度值的像素点加入地图的过程中,若某一像素点反投影后,在地图中对应的三维点的邻域(设定的某一小值)内,已存在有地图三维点,则将该像素点反投影后在地图中对应的三维点,以及三维点邻域内的已存在的地图三维点去除,并将该像素点反投影后在地图中对应的三维点,与三维点邻域内的已存在的地图三维点的加权平均点加入地图中。
步骤3.5:若步骤3.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值,则用第i帧代替当前关键帧作为新的关键帧。本实施例,为了提高运算速率,降低存储的数据量,这里要求若步骤3.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值,且第i帧与当前关键帧的帧数差不小于15帧,则用第i帧代替当前关键帧作为新的关键帧。
关键帧的设立是由于其具有的位姿相对于前一个关键帧变化较大,其探测到的三维环境信息相比较于之前的关键帧有较大不同,因此将其设为一个标尺,用于扩展全局地图和检测后续的帧是否有较大的位姿变化。
在跟踪过程中,如果产生“丢帧”现象(可能的原因有:相机移动过快,导致当前帧与当前的关键帧的“差距”过大,无法在当前的关键帧上进行跟踪,如果这时不进行处理将导致前后创建的两个地图间没有一个紧密的“联系”,让之前的所有工作失去意义),所以判断若步骤3.2中图像对齐操作无法实现,则进行失败重建:
提取去畸变后的当前帧图像的特征点,将当前帧的特征点与存储的每一个关键帧图像中的特征点进行匹配,寻找成功匹配特征点个数最多的关键帧,若该关键帧中成功匹配特征点的个数占该关键帧中特征点总数的比例不大于40%,则以当前帧作为第一帧,返回步骤2;否则以该关键帧作为为基准,进行去畸变后的当前帧图像与基准的图像对齐操作,得到当前帧到当前关键帧的位姿变化;
根据基准对应的相机姿态,以及当前帧到当前关键帧的位姿变化,得到当前帧对应的相机姿态;
根据设定的灰度梯度阈值,筛选出去畸变后的当前帧图像中灰度梯度大于灰度梯度阈值的像素点,并根据相机参数和当前帧对应的相机姿态,将筛选出的像素点反投影回三维环境,得到所筛选出的像素点深度值;并将所筛选出的带有深度值的像素点加入地图中;而后继续按照步骤3进行。
由于上述重建出来的三维环境是基于局部坐标系下的,与真实三维环境在统一的尺度上不匹配,为了能够更好的应用重建地图,所以下面基于卫星定位信号进行拟合,将重建出来的三维环境在统一的尺度下匹配到真实三维环境中。
在无人机实时地图重建过程中,通过卫星定位信号获得每一帧时刻下,无人机在世界坐标系下的轨迹信息Xn,n表示的是第n帧;并在无人机实时地图重建过程中,得到每一帧对应的相机在局部坐标系下的位置xn;通过优化函数
得到优化函数取最小值对应的变换矩阵δ,其中N为无人机实时地图重建过程中的总帧数,T(xn,δ)表示从局部坐标系到世界坐标系的投影转换函数,δ为从局部坐标系到世界坐标系的变换矩阵;根据得到的变换矩阵δ对应的投影转换函数,将重建得到的地图转换到世界坐标系下。
另外,卫星定位信号频率往往小于帧频,而且卫星定位信号的采集时刻与图像采集时刻不严格对齐,此时,对于每一个卫星定位信号采集时刻tn,得到无人机在世界坐标系下的轨迹信息Xn;并用采集时刻tn前后各一帧对应的相机在局部坐标系下的位置插值得到采集时刻tn下相机在局部坐标系下的位置xn;通过优化函数
得到优化函数取最小值对应的变换矩阵δ,其中N为卫星定位信号的总采集点数,T(xn,δ)表示从局部坐标系到世界坐标系的投影转换函数,δ为从局部坐标系到世界坐标系的变换矩阵;根据得到的变换矩阵δ对应的投影转换函数,将重建得到的地图转换到世界坐标系下。
步骤4:当预设帧数的无人机机载相机实时获得的图像处理完成后,无人机载的微小型计算机将生成的地图通过无人机载的DDL图传传给地面端显示。例如,可以设定在机载微小型计算机每处理完第10帧,第20帧……等预先设定帧图像后,将实时生成的地图通过无人机载的DDL图传传给地面端显示。
步骤5:地面端根据无人机传回的区域地图进行导航决策,并根据决策设置无人机航线信息;将航线信息发送给无人机;无人机机载的微小型计算机根据航线信息、自身重建的区域地图信息和自身定位信息执行航向飞行任务。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (7)
1.一种基于实时在线地图生成的无人机导航方法,其特征在于:包括以下步骤:
步骤1:采集图像
无人机机载相机采集到一系列图像,并将图像传递给无人机载的微小型计算机;
步骤2:无人机载的微小型计算机对相机获取的第一帧图像进行处理得到初始化地图:
步骤2.1:对第一帧图像进行去畸变处理,得到去畸变后的第一帧图像;
步骤2.2:对去畸变后的第一帧图像进行深度初始化:根据设定的灰度梯度阈值,筛选出去畸变后的第一帧图像中灰度梯度大于灰度梯度阈值的像素点,并赋予所筛选出的像素点随机深度值;
步骤2.3:根据无人机机载相机参数将步骤2.2中赋予深度值的像素点反投影回三维环境,得到初始化后的地图;
步骤2.4:将去畸变后的第一帧图像设置为关键帧;提取并存储关键帧图像中的特征点;
步骤3:对无人机机载相机实时获得的第i帧图像进行如下处理,i=2,3,4……:
步骤3.1:对第i帧图像进行去畸变处理,得到去畸变后的第i帧图像;
步骤3.2:以当前关键帧为基准,进行去畸变后的第i帧图像与基准的图像对齐操作,得到第i帧到基准的位姿变化;
其中图像对齐操作采用以下过程:
先设定第i帧到基准的位姿变化的初始值;根据第i帧到基准的位姿变化,将基准中筛选出的灰度梯度大于灰度梯度阈值的像素点反投影到三维环境,再从三维环境投影到去畸变后的第i帧图像上,得到投影点;并在去畸变后的第i帧图像上找到基准中筛选出的灰度梯度大于灰度梯度阈值的像素点的对应点;计算投影点与对应点的光度值残差和;迭代变化第i帧到基准的位姿变化,使光度值残差和最小;
若图像对齐操作无法实现,则进行失败重建:
提取去畸变后的第i帧图像的特征点,将第i帧的特征点与存储的每一个关键帧图像中的特征点进行匹配,寻找成功匹配特征点个数最多的关键帧,若该关键帧中成功匹配特征点的个数占该关键帧中特征点总数的比例不大于40%,则以第i帧作为第一帧,返回步骤2;否则以该关键帧作为为基准,进行去畸变后的第i帧图像与基准的图像对齐操作,得到第i帧到基准的位姿变化;
步骤3.3:根据基准对应的相机姿态,以及步骤3.2得到的第i帧到基准的位姿变化,得到第i帧对应的相机姿态和相机在局部坐标下的位置;
步骤3.4:根据设定的灰度梯度阈值,筛选出去畸变后的第i帧图像中灰度梯度大于灰度梯度阈值的像素点,并根据相机参数和步骤3.3得到的第i帧对应的相机姿态,将筛选出的像素点反投影回三维环境,得到所筛选出的像素点深度值;采用图优化方法对第i帧对应的相机在局部坐标下的位置,以及所筛选出的带有深度值的像素点位置进行优化,将优化后的带有深度值的像素点加入地图中;
步骤3.5:若步骤3.2得到的第i帧到基准的位姿变化大于设定的位姿变化阈值,则用第i帧代替基准作为新的关键帧;提取并存储关键帧图像中的特征点;
步骤4:当预设帧数的无人机机载相机实时获得的图像处理完成后,无人机载的微小型计算机将生成的地图通过无人机载的DDL图传传给地面端显示;
步骤5:地面端根据无人机传回的区域地图进行导航决策,并根据决策设置无人机航线信息;将航线信息发送给无人机;无人机机载的微小型计算机根据航线信息、自身重建的区域地图信息和自身定位信息执行航向飞行任务。
2.根据权利要求1所述一种基于实时在线地图生成的无人机导航方法,其特征在于:采用快速角点检测方法提取特征点。
3.根据权利要求1所述一种基于实时在线地图生成的无人机导航方法,其特征在于:步骤3.4中,将所筛选出的带有深度值的像素点加入地图的过程中,若某一像素点反投影后,在地图中对应的三维点的邻域内,已存在有地图三维点,则将该像素点反投影后在地图中对应的三维点,以及三维点邻域内的已存在的地图三维点去除,并将该像素点反投影后在地图中对应的三维点,与三维点邻域内的已存在的地图三维点的加权平均点加入地图中。
4.根据权利要求1所述一种基于实时在线地图生成的无人机导航方法,其特征在于:步骤3.5中,若步骤3.2得到的第i帧到基准的位姿变化大于设定的位姿变化阈值,且第i帧与基准的帧数差不小于15帧,则用第i帧代替基准作为新的关键帧。
5.根据权利要求1所述一种基于实时在线地图生成的无人机导航方法,其特征在于:采用第i-1帧到基准的位姿变化作为第i帧到基准的位姿变化的初始值。
6.根据权利要求1或5所述一种基于实时在线地图生成的无人机导航方法,其特征在于:将重建后的地图转换到世界坐标系下:
在无人机实时地图重建过程中,通过卫星定位信号获得每一帧时刻下,无人机在世界坐标系下的轨迹信息Xn,n表示的是第n帧;并在无人机实时地图重建过程中,得到每一帧对应的相机在局部坐标系下的位置xn;通过优化函数
得到优化函数取最小值对应的变换矩阵δ,其中N为无人机实时地图重建过程中的总帧数,T(xn,δ)表示从局部坐标系到世界坐标系的投影转换函数,δ为从局部坐标系到世界坐标系的变换矩阵;根据得到的变换矩阵δ对应的投影转换函数,将重建得到的地图转换到世界坐标系下。
7.根据权利要求1或5所述一种基于实时在线地图生成的无人机导航方法,其特征在于:当卫星定位信号频率小于帧频时,对于每一个卫星定位信号采集时刻tm,得到无人机在世界坐标系下的轨迹信息Xm;并用采集时刻tm前后各一帧对应的相机在局部坐标系下的位置插值得到采集时刻tm下相机在局部坐标系下的位置xm;通过优化函数
得到优化函数取最小值对应的变换矩阵δ,其中M为卫星定位信号的总采集点数,T(xm,δ)表示从局部坐标系到世界坐标系的投影转换函数,δ为从局部坐标系到世界坐标系的变换矩阵;根据得到的变换矩阵δ对应的投影转换函数,将重建得到的地图转换到世界坐标系下。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610374013.4A CN105865454B (zh) | 2016-05-31 | 2016-05-31 | 一种基于实时在线地图生成的无人机导航方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610374013.4A CN105865454B (zh) | 2016-05-31 | 2016-05-31 | 一种基于实时在线地图生成的无人机导航方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105865454A CN105865454A (zh) | 2016-08-17 |
CN105865454B true CN105865454B (zh) | 2019-09-24 |
Family
ID=56641903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610374013.4A Active CN105865454B (zh) | 2016-05-31 | 2016-05-31 | 一种基于实时在线地图生成的无人机导航方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105865454B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106546238B (zh) * | 2016-10-26 | 2020-09-01 | 北京小鸟看看科技有限公司 | 可穿戴设备及在可穿戴设备中确定用户位移的方法 |
CN107223199A (zh) * | 2016-11-15 | 2017-09-29 | 深圳市大疆创新科技有限公司 | 基于三维地图的导航方法和设备 |
CN106502267B (zh) * | 2016-12-06 | 2019-03-29 | 上海师范大学 | 一种无人机避让系统 |
CN108268049B (zh) * | 2016-12-30 | 2023-01-10 | 北京远度互联科技有限公司 | 飞行器、跟随飞行的飞行系统以及控制方法 |
CN106774431B (zh) * | 2016-12-30 | 2020-01-17 | 深圳市九天创新科技有限责任公司 | 一种测绘无人机航线规划方法及装置 |
CN107065929A (zh) * | 2017-05-05 | 2017-08-18 | 成都通甲优博科技有限责任公司 | 一种无人机环绕飞行方法及系统 |
CN108496134A (zh) * | 2017-05-31 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 无人机返航路径规划方法及装置 |
CN107301660A (zh) * | 2017-05-31 | 2017-10-27 | 民政部国家减灾中心 | 用于灾情研判的矢量图处理方法及系统 |
CN108513648A (zh) * | 2017-06-19 | 2018-09-07 | 深圳市大疆创新科技有限公司 | 地图构建方法、地图构建系统、无人飞行器和控制终端 |
CN107544493B (zh) * | 2017-08-03 | 2020-06-23 | 浙江智卓工业机器人有限公司 | 一种基于无人驾驶的智能导航方法及其系统 |
CN107767450B (zh) * | 2017-10-31 | 2021-05-28 | 南京维睛视空信息科技有限公司 | 一种基于sparse-slam的实时建图方法 |
CN110073403A (zh) * | 2017-11-21 | 2019-07-30 | 深圳市大疆创新科技有限公司 | 输出影像生成方法、设备及无人机 |
CN110152293B (zh) * | 2018-02-13 | 2022-07-22 | 腾讯科技(深圳)有限公司 | 操控对象的定位方法及装置、游戏对象的定位方法及装置 |
CN108592921B (zh) * | 2018-05-02 | 2021-07-27 | 山东理工大学 | 一种分段最速下降混合航线规划方法 |
CN109211241B (zh) * | 2018-09-08 | 2022-04-29 | 天津大学 | 基于视觉slam的无人机自主定位方法 |
CN110285822A (zh) * | 2019-07-01 | 2019-09-27 | 东莞理工学院 | 无人机建图算法与无人车导航算法的融合应用系统及方法 |
CN110751694B (zh) * | 2019-10-25 | 2022-04-22 | 北京理工大学 | 一种基于三色通道融合互信息的图像导航方法 |
CN114199132B (zh) * | 2021-12-16 | 2024-02-27 | 上海应用技术大学 | 一种基于机器视觉的激光三维扫描仪及扫描方法 |
CN115574831A (zh) * | 2022-09-28 | 2023-01-06 | 曾丽红 | 一种基于地图融合的无人机导航方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103822635A (zh) * | 2014-03-05 | 2014-05-28 | 北京航空航天大学 | 基于视觉信息的无人机飞行中空间位置实时计算方法 |
CN105571588A (zh) * | 2016-03-10 | 2016-05-11 | 赛度科技(北京)有限责任公司 | 一种无人机三维空中航路地图构建及其航路显示方法 |
-
2016
- 2016-05-31 CN CN201610374013.4A patent/CN105865454B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103822635A (zh) * | 2014-03-05 | 2014-05-28 | 北京航空航天大学 | 基于视觉信息的无人机飞行中空间位置实时计算方法 |
CN105571588A (zh) * | 2016-03-10 | 2016-05-11 | 赛度科技(北京)有限责任公司 | 一种无人机三维空中航路地图构建及其航路显示方法 |
Non-Patent Citations (3)
Title |
---|
"Real-time RGB-D Mapping and 3-D Modeling on the GPU using the Random Ball Cover Data Structure";Dominik Neumann;《2011 IEEE International Conference on Computer Vision Workshops》;20120116;第1161-1167页 * |
"一种基于计算机视觉的无人机实时三维重建方法";张臻炜等;《机械与电子》;20151224(第12期);第19-22页 * |
"一种改进的未知环境无人机三维地图实时创建方法";黄金鑫等;《机械与电子》;20150124(第1期);第76-80页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105865454A (zh) | 2016-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105865454B (zh) | 一种基于实时在线地图生成的无人机导航方法 | |
CN106097304B (zh) | 一种无人机实时在线地图生成方法 | |
CN105678754B (zh) | 一种无人机实时地图重建方法 | |
CN103954283B (zh) | 基于景象匹配/视觉里程的惯性组合导航方法 | |
CN107808407B (zh) | 基于双目相机的无人机视觉slam方法、无人机及存储介质 | |
CN103822635B (zh) | 基于视觉信息的无人机飞行中空间位置实时计算方法 | |
CN105182995B (zh) | 无人机自动着陆系统 | |
AU2012328156B2 (en) | Identification and analysis of aircraft landing sites | |
CN102435188B (zh) | 一种用于室内环境的单目视觉/惯性全自主导航方法 | |
CN101598556B (zh) | 一种未知环境下无人机视觉/惯性组合导航方法 | |
CN103852077B (zh) | 链路失效时无人机定位信息防欺骗自主判断方法 | |
CN106940704A (zh) | 一种基于栅格地图的定位方法及装置 | |
CN108759826B (zh) | 一种基于手机和无人机多传感参数融合的无人机运动跟踪方法 | |
CN113625774B (zh) | 局部地图匹配与端到端测距多无人机协同定位系统和方法 | |
CN102607532B (zh) | 一种利用飞控数据的低空影像快速匹配方法 | |
CN112379681A (zh) | 无人机避障飞行方法、装置及无人机 | |
CN112378397A (zh) | 无人机跟踪目标的方法、装置及无人机 | |
CN110749308B (zh) | 使用消费级gps和2.5d建筑物模型的面向slam的室外定位方法 | |
Warren et al. | High altitude stereo visual odometry | |
CN112380933B (zh) | 无人机识别目标的方法、装置及无人机 | |
Starek et al. | Application of unmanned aircraft systems for coastal mapping and resiliency | |
Chaudhry et al. | A comparative study of modern UAV platform for topographic mapping | |
McAlinden et al. | Procedural reconstruction of simulation terrain using drones | |
Tehrani et al. | Low-altitude horizon-based aircraft attitude estimation using UV-filtered panoramic images and optic flow | |
Cao et al. | Research on application of computer vision assist technology in high-precision UAV navigation and positioning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CB03 | Change of inventor or designer information |
Inventor after: Bu Shu Hui Inventor after: Yang Jun Inventor after: Zhao Yong Inventor after: Zhang Chao Inventor after: Zhang Zhenwei Inventor before: Bu Shu Hui Inventor before: Yang Jun Inventor before: Zhao Yong Inventor before: Zhang Zhenwei |
|
CB03 | Change of inventor or designer information |