CN111324145A - 一种无人机自主着陆方法、装置、设备及存储介质 - Google Patents

一种无人机自主着陆方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111324145A
CN111324145A CN202010130509.3A CN202010130509A CN111324145A CN 111324145 A CN111324145 A CN 111324145A CN 202010130509 A CN202010130509 A CN 202010130509A CN 111324145 A CN111324145 A CN 111324145A
Authority
CN
China
Prior art keywords
landing
feature
scale
image
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010130509.3A
Other languages
English (en)
Other versions
CN111324145B (zh
Inventor
许华荣
翁丽芬
谢晓琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University of Technology
Original Assignee
Xiamen University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University of Technology filed Critical Xiamen University of Technology
Priority to CN202010130509.3A priority Critical patent/CN111324145B/zh
Publication of CN111324145A publication Critical patent/CN111324145A/zh
Application granted granted Critical
Publication of CN111324145B publication Critical patent/CN111324145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft

Abstract

本发明公开了一种无人机自主着陆方法、装置、设备及存储介质,方法包括:基于摄像机采集的图像重建三维图像;对三维图像经SIFI算法进行特征提取,以获得特征图;其中,特征图包括N个SIFI特征尺度,以及每个SIFT特征尺度对应的尺度信息;根据每个SIFT特征尺度对应的尺度信息,基于SIFT顺序尺度算法生成N个特征向量;根据N个特征向量,判断三维图像所在的坐标是否匹配着陆坐标所在区域;当判断三维图像所在的坐标匹配着陆坐标区域时,将三维图像进行图像分割,以提取着陆目标的坐标;基于视觉组合导航算法对着陆坐标进行位置匹配和姿态匹配,并在判断匹配状态满足着陆时,控制无人机自主着陆。解决现有技术无人机在导航过程中缺乏自主性、实时性的问题。

Description

一种无人机自主着陆方法、装置、设备及存储介质
技术领域
本发明涉及无人机应用领域,尤其涉及一种无人机自主着陆方法、装置、设备及存储介质。
背景技术
作为无人机实现自主,安全,稳定的飞行,顺利完成任务的保障,导航是其中最为关键的部分。无人机在脱离人为操作,按既定任务自主飞行时,实现其安全着陆十分重要,这对无人机的回收可重复性使用具有重大意义。无人机自主着陆是指无人机通过机载的导航设备进行定位导航,然后利用飞行控制系统控制无人机降落至指定位置的过程。目前已有的方法有:直接空中回收,借助降落伞、人为控制滑翔的方式、阻拦回收以及自主着陆回收等方法。其中前四种方法很大程度依赖于操作人员的操作,并且受环境条件影响比较大,而自主着陆回收方法依靠是自主着陆导航,传统的导航方法主要包括惯性导航系统(Inertial Navigation System,INS)、GPS导航系统以及复合其他系统的组合导航系统,其中,惯导系统通过积分推算载体姿态和位置信息参数,但其固连在机体上的传感器受机体振动影响较大,会导致位姿测量误差随时间而迅速累积; GPS导航系统在日常使用中导航定位效果较好,但当战时状态GPS被美国军方关闭、出现故障、信号被建筑物遮挡等情况出现时,GPS导航就失去了作用。
发明内容
针对上述问题,本发明的目的在于提供一种无人机自主着陆方法、装置、设备及存储介质,解决现有技术无人机在导航过程中缺乏自主性、实时性的问题,且能够适用于室内等新型环境中使用。
本发明实施例提供了一种无人机自主着陆方法,包括:
基于摄像机采集的图像重建三维图像;
对所述三维图像经SIFI算法进行特征提取,以获得特征图;其中,所述特征图包括N个SIFI特征尺度,以及每个SIFT特征尺度对应的尺度信息;
根据每个SIFT特征尺度对应的尺度信息,基于SIFT顺序尺度算法生成N 个特征向量;
根据所述N个特征向量,判断所述三维图像所在的坐标是否匹配着陆坐标所在区域;
当判断所述三维图像所在的坐标匹配着陆坐标区域时,将所述三维图像进行图像分割,以提取所述着陆目标的坐标;
基于视觉组合导航算法对所述着陆坐标进行位置匹配和姿态匹配,并在判断所述匹配状态满足着陆时,控制所述无人机自主着陆。
优选地,对所述三维图像经SIFI算法进行特征提取,以获得特征图,具体为:
将所述三维地图经灰度处理、图像去燥以及基于阈值的图像分割去除背景信息后,获得目标图像;
对所述目标图像经尺度归一化处理后,以获得N个SIFI特征尺度,以及每个SIFT特征尺度对应的尺度信息。
优选地,根据每个SIFT特征尺度对应的尺度信息,基于SIFT顺序尺度算法生个N个特征向量,具体为:
对每个SIFT特征尺度对应的尺度信息进行取整,按从小到大依次统计各整数出现的次数,并将小等于预设参数的整数所对应的尺度信息剔除,以获得取整后出现的次数大于预设参数的特征尺度信息;
将取整后出现的次数大于预设参的特征尺度信息按出现的次数的多少进行排序并各自求均值,以获得N个均值;
根据均值,将所得到的尺度按从大到小的顺序排序,组成特征向量。
优选地,所述预设参数=2。
优选地,当判断所述三维图像所在的坐标匹配着陆坐标区域时,将所述三维图像进行图像分割,以提取所述着陆目标的坐标,具体为:
当判断所述三维图像所在的坐标匹配着陆坐标时,将所述三维图像进行灰度处理以及二值化处理后,获得二值化图像;
对二值图像进行八连同扫描确定闭合的连通区域并进行标记;
对标记连通区域进行形态学闭运算,平滑边缘以及消除边缘伪角点后,基于不变矩方法设定阈值筛选连通域,以提取所述着陆目标的坐标。
本发明实施例还提供了一种无人机自主着陆装置,包括:
三维图像重建单元,用于基于摄像机采集的图像重建三维图像;
特征图获取单元,用于对所述三维图像经SIFI算法进行特征提取,以获得特征图;其中,所述特征图包括N个SIFI特征尺度,以及每个SIFT特征尺度对应的尺度信息;
特征向量生成单元,用于根据每个SIFT特征尺度对应的尺度信息,基于 SIFT顺序尺度算法生成N个特征向量;
判断单元,用于根据所述N个特征向量,判断所述三维图像所在的坐标是否匹配着陆坐标所在区域;
着陆目标坐标提取单元,用于当判断所述三维图像所在的坐标匹配着陆坐标区域时,将所述三维图像进行图像分割,以提取所述着陆目标的坐标;
位置和姿态匹配单元,用于基于视觉组合导航算法对所述着陆坐标进行位置匹配和姿态匹配,并在判断所述匹配状态满足着陆时,控制所述无人机自主着陆。
优选地,特征图获取单元,包括:
目标图像获取模块,用于将所述三维地图经灰度处理、图像去燥以及基于阈值的图像分割去除背景信息后,获得目标图像;
归一化处理模块,用于对所述目标图像经尺度归一化处理后,以获得包含N 个SIFI特征尺度以及每个SIFT特征尺度对应的尺度信息的特征图。
优选地,特征向量生成单元,包括:
尺度信息取整模块,用于对每个SIFT特征尺度对应的尺度信息进行取整,按从小到大依次统计各整数出现的次数,并将小等于预设参数的整数所对应的尺度信息剔除,以获得取整后出现的次数大于预设参数的特征尺度信息;
均在求取模块,用于将取整后出现的次数大于预设参的特征尺度信息按出现的次数的多少进行排序并各自求均值,以获得N个均值;
排序模块,用于根据均值,将所得到的尺度按从大到小的顺序排序,组成特征向量。
优选地,所述预设参数=2。
优选地,着陆目标坐标提取单元,包括:
二值化图像获取模块,用于当判断所述三维图像所在的坐标匹配着陆坐标时,将所述三维图像进行灰度处理以及二值化处理后,获得二值化图像;
标记模块,用于对二值图像进行八连同扫描确定闭合的连通区域并进行标记;
着陆目标坐标提取模块,用于对标记连通区域进行形态学闭运算,平滑边缘以及消除边缘伪角点后,基于不变矩方法设定阈值筛选连通域,以提取所述着陆目标的坐标。
本发明实施例还提供了一种无人机自主着陆设备,包括处理器、存储器以及存储在所述存储器内的计算机程序,所述计算机程序能够被所述处理器执行以实现如上述实施例所述的无人机自主着陆方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述实施例所述的无人机自主着陆方法。
上述一个实施例中,通过三维图像判断所达区域是否为目标着陆区域,如果未到达,继续判断寻找目标着陆区域,如果到达,通过图像分割将着陆目标特征值提取出来,基于视觉组合导航算法,对获取着陆目标进行位置匹配和姿态匹配,再判断当前匹配状态是否满足着陆要求,如果满足则着陆,否则继续调整直至满足着陆条件。本发明能够在未知环境中(地势的起伏)基于视觉的三维重建技术获得地面高度图,为着陆提供帮助,视觉导航技术通过摄像机等成像装置获取图像,对得到的图像进行处理分析,从而获取运动目标位置和姿态信息。并且能够实时获取图像中丰富的信息,使无人机具有更好的人机交互能力,解决现有技术无人机在导航过程中缺乏自主性、实时性的问题,且能够适用于室内等新型环境中使用。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的一种无人机自主着陆方法的流程示意图。
图2为本发明实施例一提供的SIFT特征提取的流程示意图。
图3为本发明实施例一提供的惯性及视觉组合导航算法原理图。
图4是本发明第二实施例提供的无人机自主着陆装置的结构示意图。
具体实施方式
为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本发明中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本发明中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
实施例中提及的“第一\第二”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换,以使这里描述的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
请参阅图1至图3,本发明第一实施例提供了一种无人机自主着陆方法,其可由无人机自主着陆设备来执行,特别的,由无人机自主着陆设备内的一个或多个处理器来执行,并至少包括如下步骤:
S101,基于摄像机采集的图像重建三维图像。
在本实施例中,预先在无人机上安装一个双目摄像头,通过所述双目摄像头拍照无人机周围的图像,具体地,基于摄像机采集的图像重建三维图像包括以下步骤:
S1011,从双目摄像机获取图像,然后执行图像校正过程;
S1012,利用Canny检测算子提取图像的边缘特征,进行立体匹配;
S1013,进行深度估计,获得图像的三维坐标,然后利用Delaunary算法将三维坐标关联到二维平面,并对表面进行三角形剖分;其中,Delaunay剖分是一种三角剖分的标准,实现它有多种算法,本实施中所用的是逐点插入的Lawson 算法,首先建立一个大的三角形或多边形,把所有数据点包围起来,向其中插入一点,该点与包含它的三角形三个顶点相连,形成三个新的三角形,然后逐个对它们进行空外接圆检测,同时用Lawson设计的局部优化过程LOP进行优化,即通过交换对角线的方法来保证所形成的三角网为Delaunay三角网。
S1014,更新三维模型,将图像纹理映射到三维空间,以重建三维图像
S102,对所述三维图像经SIFI算法进行特征提取,以获得特征图;其中,所述特征图包括N个SIFI特征尺度,以及每个SIFT特征尺度对应的尺度信息。
参见图2,在本实施例中,SIFT(Scale-Invariant Feature Transform)算法主要思想通过在尺度空间中寻找极值点来获得特征点的位置、尺度、旋转不变量,该方法对光照、旋转、缩放、甚至仿射变换能够保持图像局部特征不变性。具体地,将所述三维地图经灰度处理、图像去燥以及基于阈值的图像分割去除背景信息后,获得目标图像;然后对所述目标图像经尺度归一化处理后,以获得N 个SIFI特征尺度,以及每个SIFT特征尺度对应的尺度信息。
S103,根据每个SIFT特征尺度对应的尺度信息,基于SIFT顺序尺度算法生成N个特征向量。
在本实施例中,IFT的尺度空间坐标的计算方法如下:
σ(ο,s)=σ02ο+s/S,ο∈οmin+[0,…,ο-1],s∈[0,…,S-1]
其中,o是octave坐标;s是sub-level坐标,是标准层尺度。
其中,现有技术SIFT顺序尺度通过将SIFT特征点的尺度信息按照从大到小的排序,取一定步长的较大尺度信息组成特征向量,没有对提取的尺度信息进行一定有针对性的筛选,而是直接将所求得的尺度信息进行使用,这样的实验环境相对复杂的情况下,无法真实有效的获取同一物体的尺度信息,为了真实有效的获取同一物体的尺度信息,本实施例中,首先将提取到的各特征的尺度信息进行取整,从小到大依次统计各整数出现的次数,将小于2的整数所对应的尺度信息剔除,可以将可能出现的误差排除,然后将取整后出现的次数大于2的尺度信息按出现的次数的多少进行排序并各自求均值,最后根据均值,将所得到的尺度按从大到小的顺序排序,组成特征向量。例如,假定需要L个p 值作为特征向量,那么选取前L个,则特征向量为(P1,P2,…,PL-1,PL)。
S104,根据所述N个特征向量,判断所述三维图像所在的坐标是否匹配着陆坐标所在区域。
在本实施例中,通过将特征向量送入RBFSVM分类器进行训练和分类,进而判断所述三维图像所在的坐标是否匹配着陆坐标所在区域。
S105,当判断所述三维图像所在的坐标匹配着陆坐标区域时,将所述三维图像进行图像分割,以提取所述着陆目标的坐标。
在本实施例中,所述图像分割方法包括如下步骤:
S1051,当判断所述三维图像所在的坐标匹配着陆坐标时,将所述三维图像进行灰度处理以及二值化处理后,获得二值化图像,即首先将双目摄像机拍摄的彩色图像变为灰度图像,然后进行二值化处理,二值化后能够去除较大的背景。
S1052,对二值图像进行八连同扫描确定闭合的连通区域并进行标记;
S1053,对标记连通区域进行形态学闭运算,平滑边缘以及消除边缘伪角点后,基于不变矩方法设定阈值筛选连通域,以提取所述着陆目标的坐标,利用不变矩方法设定阈值筛选连通域,进一步缩小可能的标志区域范围。并且能将连通区域之外的杂点或噪声点去除,根据连通域面积大小识别该区域的大概位置,以找出所述着陆目标的坐标,当然,需要说明的是,若图像分割效果不够好,最后还可以利用亚像素角点提取算法,将可能的着陆目标的坐标所在区域特征点提取出来,并跟物方坐标进行匹配,若物方坐标和像方坐标匹配不上或者匹配结果较差,则确定该区域不是着陆目标的标志区域,反之亦然。
S106,基于视觉组合导航算法对所述着陆坐标进行位置匹配和姿态匹配,并在判断所述匹配状态满足着陆时,控制所述无人机自主着陆。
在本实施例中,无人机在着陆过程中,需要相对于着陆目标的相对位置姿态信息。而惯性导航系统的输出通常是无人机的绝对位置姿态信息,因此本发明建立了世界坐标系下惯性导航的模型。在世界坐标系下进行惯性导航可以避免绝对导航信息和相对导航信息之间的互相转换,简化了导航过程中的计算。视觉导航系统在着陆过程中,可以锁定着陆目标,通过对拍摄的包含着陆目标的图片进行特征提取处理,即可对无人机的相对位姿信息进行解算。本发明采用Kalman滤波分别完成位置匹配和姿态匹配,其中位置滤波器将惯导导航解算得到的相对位置与视觉导航估计出的相对位置进行Kalman滤波计算,估计误差速度、水平姿态失调角、加速度零偏;姿态滤波器将惯导惯性系姿态阵和视觉导航系统惯性系姿态阵之间的误差量作为量测量进行滤波,估计视觉导航系统和惯导之间的安装误差、陀螺漂移,并利用估计出的安装误差和视觉导航系统输出的姿态计算惯导系统的航向角(参见图2)。
具体地,位置匹配的过程为:
设系统的状态向量,
Figure RE-GDA0002467440880000091
其中φxyz为3个姿态失调角,δVx、δVy、δVz为惯导的速度误差,δX、δH、δY为3个位置误差,εx、εy、εz
Figure RE-GDA0002467440880000092
分别为3个陀螺漂移和加速度计零偏,则惯导系统的状态方程可写为
Figure RE-GDA0002467440880000101
式中,
Figure RE-GDA0002467440880000102
为惯导系统姿态矩阵;
Figure RE-GDA0002467440880000103
Figure RE-GDA0002467440880000104
A22=-2A11
式中,
Figure RE-GDA0002467440880000105
为地球自转角速度在世界坐标系的投影,fx、fy、fz分别为加速度计测量值在世界坐标系三轴的投影。
位置匹配Kalman滤波器的量测量以视觉导航系统为基准的惯导位置误差,由此得到位置匹配量测量和量测矩阵的计算公式为:
Zloc=PI-PC
Figure RE-GDA0002467440880000106
式中,PI表示惯导系统导航解算得到的相对位置参数,PC表示视觉导航系统估计出的相对位置参数。
其中,姿态匹配本发明采用视觉导航系统、惯导相对于惯性系的姿态作为量测信息,可有效减小系统状态方程的复杂度,从而使计算更加快速、准确。假设初始时刻惯导惯性系姿态四元数为[1,0,0,0],利用陀螺敏感到的相对惯性空间的角增量,即可计算惯导惯性姿态四元数:
Figure RE-GDA0002467440880000107
Figure RE-GDA0002467440880000111
Figure RE-GDA0002467440880000112
Figure RE-GDA0002467440880000113
Figure RE-GDA0002467440880000114
Figure RE-GDA0002467440880000115
式中,
Figure RE-GDA0002467440880000116
为陀螺输出的角度增量。
视觉导航系统惯性系姿态矩阵可由下面公式计算得到
Figure RE-GDA0002467440880000117
由于着陆目标相对于地球保持静止,所以
Figure RE-GDA0002467440880000118
由上式可化为
Figure RE-GDA0002467440880000119
Figure RE-GDA00024674408800001110
为实时世界坐标系和地球坐标系方向余弦阵,可计算得到
Figure RE-GDA00024674408800001111
Figure RE-GDA00024674408800001112
为地球坐标系与地球惯性坐标系方向余弦矩阵,由地球自转引起,只与时间有关:
Figure RE-GDA00024674408800001113
Figure RE-GDA00024674408800001114
为初始时刻相机坐标系与世界坐标系方向余弦矩阵,利用初始时刻视觉导航系统姿态信息计算得到。
综上,通过三维图像判断所达区域是否为目标着陆区域,如果未到达,继续判断寻找目标着陆区域,如果到达,通过图像分割将着陆目标特征值提取出来,基于视觉组合导航算法,对获取着陆目标进行位置匹配和姿态匹配,再判断当前匹配状态是否满足着陆要求,如果满足则着陆,否则继续调整直至满足着陆条件。本发明能够在未知环境中(地势的起伏)基于视觉的三维重建技术获得地面高度图,为着陆提供帮助,视觉导航技术通过摄像机等成像装置获取图像,对得到的图像进行处理分析,从而获取运动目标位置和姿态信息。并且能够实时获取图像中丰富的信息,使无人机具有更好的人机交互能力,解决现有技术无人机在导航过程中缺乏自主性、实时性的问题,且能够适用于室内等新型环境中使用。
本发明第二实施例:
参见图4,本发明第二实施例还提供了一种无人机自主着陆装置,包括:
三维图像重建单元100,用于基于摄像机采集的图像重建三维图像;
特征图获取单元200,用于对所述三维图像经SIFI算法进行特征提取,以获得特征图;其中,所述特征图包括N个SIFI特征尺度,以及每个SIFT特征尺度对应的尺度信息;
特征向量生成单元300,用于根据每个SIFT特征尺度对应的尺度信息,基于SIFT顺序尺度算法生成N个特征向量;
判断单元400,用于根据所述N个特征向量,判断所述三维图像所在的坐标是否匹配着陆坐标所在区域;
着陆目标坐标提取单元500,用于当判断所述三维图像所在的坐标匹配着陆坐标区域时,将所述三维图像进行图像分割,以提取所述着陆目标的坐标;
位置和姿态匹配单元600,用于基于视觉组合导航算法对所述着陆坐标进行位置匹配和姿态匹配,并在判断所述匹配状态满足着陆时,控制所述无人机自主着陆。
在上述实施例的基础上,本发明一优选实施例中,特征图获取单元200,包括:
目标图像获取模块,用于将所述三维地图经灰度处理、图像去燥以及基于阈值的图像分割去除背景信息后,获得目标图像;
归一化处理模块,用于对所述目标图像经尺度归一化处理后,以获得包含N 个SIFI特征尺度以及每个SIFT特征尺度对应的尺度信息的特征图。
在上述实施例的基础上,本发明一优选实施例中,特征向量生成单元300,包括:
尺度信息取整模块,用于对每个SIFT特征尺度对应的尺度信息进行取整,按从小到大依次统计各整数出现的次数,并将小等于预设参数的整数所对应的尺度信息剔除,以获得取整后出现的次数大于预设参数的特征尺度信息;
均在求取模块,用于将取整后出现的次数大于预设参的特征尺度信息按出现的次数的多少进行排序并各自求均值,以获得N个均值;
排序模块,用于根据均值,将所得到的尺度按从大到小的顺序排序,组成特征向量。
在上述实施例的基础上,本发明一优选实施例中,所述预设参数=2。
在上述实施例的基础上,本发明一优选实施例中,着陆目标坐标提取单元 500,包括:
二值化图像获取模块,用于当判断所述三维图像所在的坐标匹配着陆坐标时,将所述三维图像进行灰度处理以及二值化处理后,获得二值化图像;
标记模块,用于对二值图像进行八连同扫描确定闭合的连通区域并进行标记;
着陆目标坐标提取模块,用于对标记连通区域进行形态学闭运算,平滑边缘以及消除边缘伪角点后,基于不变矩方法设定阈值筛选连通域,以提取所述着陆目标的坐标。
本发明第三实施例:
本发明第三实施例还提供了一种无人机自主着陆设备,包括处理器、存储器以及存储在所述存储器内的计算机程序,所述计算机程序能够被所述处理器执行以实现如上述实施例所述的无人机自主着陆方法。
本发明第四实施例:
本发明第四实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的无人机自主着陆方法。
示例性的,所述计算机程序可以被分割成一个或多个单元,所述一个或者多个单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在无人机自主着陆设备中的执行过程。
所述无人机自主着陆设备可包括但不仅限于处理器、存储器。本领域技术人员可以理解,所述示意图仅仅是无人机自主着陆设备的示例,并不构成对无人机自主着陆设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述无人机自主着陆设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述无人机自主着陆设备的控制中心,利用各种接口和线路连接整个无人机自主着陆设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述无人机自主着陆设备的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,所述无人机自主着陆设备集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种无人机自主着陆方法,其特征在于,包括:
基于摄像机采集的图像重建三维图像;
对所述三维图像经SIFI算法进行特征提取,以获得特征图;其中,所述特征图包括N个SIFI特征尺度,以及每个SIFT特征尺度对应的尺度信息;
根据每个SIFT特征尺度对应的尺度信息,基于SIFT顺序尺度算法生成N个特征向量;
根据所述N个特征向量,判断所述三维图像所在的坐标是否匹配着陆坐标所在区域;
当判断所述三维图像所在的坐标匹配着陆坐标区域时,将所述三维图像进行图像分割,以提取所述着陆目标的坐标;
基于视觉组合导航算法对所述着陆坐标进行位置匹配和姿态匹配,并在判断所述匹配状态满足着陆时,控制所述无人机自主着陆。
2.根据权利要求1所述的无人机自主着陆方法,其特征在于,对所述三维图像经SIFI算法进行特征提取,以获得特征图,具体为:
将所述三维地图经灰度处理、图像去燥以及基于阈值的图像分割去除背景信息后,获得目标图像;
对所述目标图像经尺度归一化处理后,以获得N个SIFI特征尺度,以及每个SIFT特征尺度对应的尺度信息。
3.根据权利要求2所述的无人机自主着陆方法,其特征在于,根据每个SIFT特征尺度对应的尺度信息,基于SIFT顺序尺度算法生个N个特征向量,具体为:
对每个SIFT特征尺度对应的尺度信息进行取整,按从小到大依次统计各整数出现的次数,并将小等于预设参数的整数所对应的尺度信息剔除,以获得取整后出现的次数大于预设参数的特征尺度信息;
将取整后出现的次数大于预设参的特征尺度信息按出现的次数的多少进行排序并各自求均值,以获得N个均值;
根据均值,将所得到的尺度按从大到小的顺序排序,组成特征向量。
4.根据权利要求3所述的无人机自主着陆方法,其特征在于,所述预设参数=2。
5.根据权利要求3所述的无人机自主着陆方法,其特征在于,当判断所述三维图像所在的坐标匹配着陆坐标区域时,将所述三维图像进行图像分割,以提取所述着陆目标的坐标,具体为:
当判断所述三维图像所在的坐标匹配着陆坐标时,将所述三维图像进行灰度处理以及二值化处理后,获得二值化图像;
对二值图像进行八连同扫描确定闭合的连通区域并进行标记;
对标记连通区域进行形态学闭运算,平滑边缘以及消除边缘伪角点后,基于不变矩方法设定阈值筛选连通域,以提取所述着陆目标的坐标。
6.一种无人机自主着陆装置,其特征在于,包括:
三维图像重建单元,用于基于摄像机采集的图像重建三维图像;
特征图获取单元,用于对所述三维图像经SIFI算法进行特征提取,以获得特征图;其中,所述特征图包括N个SIFI特征尺度,以及每个SIFT特征尺度对应的尺度信息;
特征向量生成单元,用于根据每个SIFT特征尺度对应的尺度信息,基于SIFT顺序尺度算法生成N个特征向量;
判断单元,用于根据所述N个特征向量,判断所述三维图像所在的坐标是否匹配着陆坐标所在区域;
着陆目标坐标提取单元,用于当判断所述三维图像所在的坐标匹配着陆坐标区域时,将所述三维图像进行图像分割,以提取所述着陆目标的坐标;
位置和姿态匹配单元,用于基于视觉组合导航算法对所述着陆坐标进行位置匹配和姿态匹配,并在判断所述匹配状态满足着陆时,控制所述无人机自主着陆。
7.根据权利要求6所述的无人机自主着陆装置,其特征在于,特征图获取单元,包括:
目标图像获取模块,用于将所述三维地图经灰度处理、图像去燥以及基于阈值的图像分割去除背景信息后,获得目标图像;
归一化处理模块,用于对所述目标图像经尺度归一化处理后,以获得包含N个SIFI特征尺度以及每个SIFT特征尺度对应的尺度信息的特征图。
8.根据权利要求7所述的无人机自主着陆装置,其特征在于,特征向量生成单元,包括:
尺度信息取整模块,用于对每个SIFT特征尺度对应的尺度信息进行取整,按从小到大依次统计各整数出现的次数,并将小等于预设参数的整数所对应的尺度信息剔除,以获得取整后出现的次数大于预设参数的特征尺度信息;
均在求取模块,用于将取整后出现的次数大于预设参的特征尺度信息按出现的次数的多少进行排序并各自求均值,以获得N个均值;
排序模块,用于根据均值,将所得到的尺度按从大到小的顺序排序,组成特征向量。
9.一种无人机自主着陆设备,其特征在于,包括处理器、存储器以及存储在所述存储器内的计算机程序,所述计算机程序能够被所述处理器执行以实现如权利要求1至5任意一项所述的无人机自主着陆方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至5任意一项所述的无人机自主着陆方法。
CN202010130509.3A 2020-02-28 2020-02-28 一种无人机自主着陆方法、装置、设备及存储介质 Active CN111324145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010130509.3A CN111324145B (zh) 2020-02-28 2020-02-28 一种无人机自主着陆方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010130509.3A CN111324145B (zh) 2020-02-28 2020-02-28 一种无人机自主着陆方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111324145A true CN111324145A (zh) 2020-06-23
CN111324145B CN111324145B (zh) 2022-08-16

Family

ID=71171348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010130509.3A Active CN111324145B (zh) 2020-02-28 2020-02-28 一种无人机自主着陆方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111324145B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784768A (zh) * 2020-07-07 2020-10-16 中山大学 基于三色四灯标记识别的无人机姿态估计方法及系统
CN111882657A (zh) * 2020-06-29 2020-11-03 杭州易现先进科技有限公司 三维重建的尺度恢复方法、装置、系统和计算机设备
CN113759984A (zh) * 2021-11-09 2021-12-07 山东天亚达新材料科技有限公司 一种竞速无人机的数据智能交互方法、装置及设备
CN114253284A (zh) * 2021-12-22 2022-03-29 湖北襄开电力设备有限公司 无人机自动控制方法、装置、设备及存储介质
CN114355378A (zh) * 2022-03-08 2022-04-15 天津云圣智能科技有限责任公司 无人机的自主导航方法、装置、无人机及存储介质
CN115016545A (zh) * 2022-08-05 2022-09-06 四川腾盾科技有限公司 无人机着陆的着陆点自主选择方法、设备及介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006020281A (ja) * 2004-04-15 2006-01-19 Matsushita Electric Ind Co Ltd 記録装置、再生装置、プログラム。
CN101315663A (zh) * 2008-06-25 2008-12-03 中国人民解放军国防科学技术大学 一种基于区域潜在语义特征的自然场景图像分类方法
CN101598556A (zh) * 2009-07-15 2009-12-09 北京航空航天大学 一种未知环境下无人机视觉/惯性组合导航方法
CN103218607A (zh) * 2013-04-11 2013-07-24 北京航空航天大学 一种用于无人机自主着舰的合作目标设计与定位方法
CN103810713A (zh) * 2014-03-12 2014-05-21 深圳市普菲特安迪科技有限公司 一种八连通图像处理方法和装置
CN103927526A (zh) * 2014-04-30 2014-07-16 长安大学 一种基于高斯差分多尺度边缘融合的车辆检测方法
US20150170526A1 (en) * 2013-12-13 2015-06-18 Sikorsky Aircraft Corporation Semantics based safe landing area detection for an unmanned vehicle
CN106096621A (zh) * 2016-06-02 2016-11-09 西安科技大学 基于矢量约束的着降位置检测用随机特征点选取方法
CN106250898A (zh) * 2016-07-28 2016-12-21 哈尔滨工业大学 一种基于尺度预测的图像局部区域特征提取方法
US20170067734A1 (en) * 2015-09-09 2017-03-09 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
US20170084037A1 (en) * 2015-09-17 2017-03-23 Skycatch, Inc. Generating georeference information for aerial images
WO2017071160A1 (zh) * 2015-10-28 2017-05-04 深圳大学 一种大幅面遥感图像海陆分割的方法及系统
CN109460046A (zh) * 2018-10-17 2019-03-12 吉林大学 一种无人机自然地标识别与自主着陆方法
CN109643129A (zh) * 2016-08-26 2019-04-16 深圳市大疆创新科技有限公司 自主着陆的方法和系统
CN109948629A (zh) * 2019-03-18 2019-06-28 贵州电网有限责任公司 一种基于sift特征的gis设备x射线图像故障检测方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006020281A (ja) * 2004-04-15 2006-01-19 Matsushita Electric Ind Co Ltd 記録装置、再生装置、プログラム。
CN101315663A (zh) * 2008-06-25 2008-12-03 中国人民解放军国防科学技术大学 一种基于区域潜在语义特征的自然场景图像分类方法
CN101598556A (zh) * 2009-07-15 2009-12-09 北京航空航天大学 一种未知环境下无人机视觉/惯性组合导航方法
CN103218607A (zh) * 2013-04-11 2013-07-24 北京航空航天大学 一种用于无人机自主着舰的合作目标设计与定位方法
US20150170526A1 (en) * 2013-12-13 2015-06-18 Sikorsky Aircraft Corporation Semantics based safe landing area detection for an unmanned vehicle
CN103810713A (zh) * 2014-03-12 2014-05-21 深圳市普菲特安迪科技有限公司 一种八连通图像处理方法和装置
CN103927526A (zh) * 2014-04-30 2014-07-16 长安大学 一种基于高斯差分多尺度边缘融合的车辆检测方法
US20170067734A1 (en) * 2015-09-09 2017-03-09 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
US20170084037A1 (en) * 2015-09-17 2017-03-23 Skycatch, Inc. Generating georeference information for aerial images
WO2017071160A1 (zh) * 2015-10-28 2017-05-04 深圳大学 一种大幅面遥感图像海陆分割的方法及系统
CN106096621A (zh) * 2016-06-02 2016-11-09 西安科技大学 基于矢量约束的着降位置检测用随机特征点选取方法
CN106250898A (zh) * 2016-07-28 2016-12-21 哈尔滨工业大学 一种基于尺度预测的图像局部区域特征提取方法
CN109643129A (zh) * 2016-08-26 2019-04-16 深圳市大疆创新科技有限公司 自主着陆的方法和系统
CN109460046A (zh) * 2018-10-17 2019-03-12 吉林大学 一种无人机自然地标识别与自主着陆方法
CN109948629A (zh) * 2019-03-18 2019-06-28 贵州电网有限责任公司 一种基于sift特征的gis设备x射线图像故障检测方法

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
LIU XINGHUA等: "Application of computer vision in UAV landing", 《AERONAUTICAL MEASUREMENT TECHNOLOGY》 *
万文辉等: "基于降落图像匹配的嫦娥三号着陆点位置评估", 《航天器工程》 *
任国强等: "基于三角剖分和纹理映射的物体表面重建算法", 《计算机应用与软件》 *
吴爱国等: "无人机飞行过程中图像定位算法研究", 《计算机应用与软件》 *
孙新领等: "双目立体视觉在人形机器人三维重建中的应用", 《现代电子技术》 *
张丽薇等: "基于仿生双目的无人旋翼机自主着陆方法", 《计算机工程》 *
成怡等: "基于Meanshift与摄像机标定的无人机定位方法", 《天津工业大学学报》 *
陈春平等: "基于采样策略的无人机着陆导航算法", 《青岛科技大学学报(自然科学版)》 *
陈昭等: "结合形状特征点和灰度信息的心脏DSCT图像配准", 《计算机与数字工程》 *
陈磊等: "基于视觉的无人作战飞机自主着陆导航方案", 《北京航空航天大学学报》 *
马旭等: "面向未知区域深度测量的序列图像稠密点特征生成算法", 《航空学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882657A (zh) * 2020-06-29 2020-11-03 杭州易现先进科技有限公司 三维重建的尺度恢复方法、装置、系统和计算机设备
CN111882657B (zh) * 2020-06-29 2024-01-26 杭州易现先进科技有限公司 三维重建的尺度恢复方法、装置、系统和计算机设备
CN111784768A (zh) * 2020-07-07 2020-10-16 中山大学 基于三色四灯标记识别的无人机姿态估计方法及系统
CN111784768B (zh) * 2020-07-07 2021-09-24 中山大学 基于三色四灯标记识别的无人机姿态估计方法及系统
CN113759984A (zh) * 2021-11-09 2021-12-07 山东天亚达新材料科技有限公司 一种竞速无人机的数据智能交互方法、装置及设备
CN113759984B (zh) * 2021-11-09 2022-02-08 山东天亚达新材料科技有限公司 一种竞速无人机的数据智能交互方法、装置及设备
CN114253284A (zh) * 2021-12-22 2022-03-29 湖北襄开电力设备有限公司 无人机自动控制方法、装置、设备及存储介质
CN114355378A (zh) * 2022-03-08 2022-04-15 天津云圣智能科技有限责任公司 无人机的自主导航方法、装置、无人机及存储介质
CN115016545A (zh) * 2022-08-05 2022-09-06 四川腾盾科技有限公司 无人机着陆的着陆点自主选择方法、设备及介质

Also Published As

Publication number Publication date
CN111324145B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN111324145B (zh) 一种无人机自主着陆方法、装置、设备及存储介质
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
CN112598757B (zh) 一种多传感器时间空间标定方法及装置
CN108711166A (zh) 一种基于四旋翼无人机的单目相机尺度估计方法
US10895458B2 (en) Method, apparatus, and system for determining a movement of a mobile platform
CN112634451A (zh) 一种融合多传感器的室外大场景三维建图方法
CN112837352B (zh) 基于图像的数据处理方法、装置及设备、汽车、存储介质
CN111598946A (zh) 一种物体位姿测量方法、装置及存储介质
Eichhardt et al. Affine correspondences between central cameras for rapid relative pose estimation
CN113689535A (zh) 基于无人机影像的建筑物模型的生成方法和装置
CN110634160B (zh) 二维图形中目标三维关键点提取模型构建及姿态识别方法
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及系统
US20230100238A1 (en) Methods and systems for determining the 3d-locations, the local reference frames and the grasping patterns of grasping points of an object
Jiang et al. Icp stereo visual odometry for wheeled vehicles based on a 1dof motion prior
US20200184656A1 (en) Camera motion estimation
CN114821386A (zh) 一种基于多视线矢量的四足机器人姿态精确估计方法
Toriya et al. Mobile camera localization using aerial-view images
CN108917768B (zh) 无人机定位导航方法和系统
CN112767477A (zh) 一种定位方法、装置、存储介质及电子设备
Strotov et al. Aerial object recognition algorithm based on contour descriptor
Roosab et al. Comparing ORB and AKAZE for visual odometry of unmanned aerial vehicles
Rui et al. Real-Time obstacle detection based on monocular vision for unmanned surface vehicles
Kunbum et al. 3d reconstruction by pretrained features and visual-inertial odometry
Toriya et al. A mobile camera localization method using aerial-view images
CN117419690B (zh) 一种无人船的位姿估计方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant