CN114815871A - 一种基于视觉的垂直起降无人机动平台自主降落方法 - Google Patents
一种基于视觉的垂直起降无人机动平台自主降落方法 Download PDFInfo
- Publication number
- CN114815871A CN114815871A CN202210511156.0A CN202210511156A CN114815871A CN 114815871 A CN114815871 A CN 114815871A CN 202210511156 A CN202210511156 A CN 202210511156A CN 114815871 A CN114815871 A CN 114815871A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- landing
- image
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 12
- 239000003550 marker Substances 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003711 image thresholding Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000010415 tropism Effects 0.000 description 1
- 230000035899 viability Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于视觉的垂直起降无人机动平台自主降落方法,该方法设计了一个由6个aruco码组成的视觉识别标志,将该标志贴于移动平台上,本方法首先将单目相机采集到的图像发送至机载图像处理器,在经过图像处理算法后,判断图像中是否存在指定的目标并根据该目标在图像中的坐标以及摄像机成像原理可以获取无人机与目标之间的实际相对位置信息,然后将该位置信息作为制导指令发送给主控制器,由控制器控制无人机按指令飞行从而跟踪移动的小车平台并进行降落。通过无人机的降落实验得以验证,该方法能够准确的提取标志的特征并实时计算出无人机相对于识别标志的位置信息,实现精准降落。
Description
技术领域
本发明涉及无人机技术领域,特别是涉及一种无人机自主降落控制系统。
背景技术
无人机(Unmanned Aerial Vehicle,UAV),是无人驾驶飞机的简称。机上安装自动驾驶仪、程序控制装置等设备,在地面或者舰艇上的遥控站通过雷达等设备完成对无人机的跟踪、遥控以及数字传输等任务。与载人飞机相比,无人机具有体积小、造价低、使用方便、对环境要求低、战场生存能力较强等优点,广泛应用于农业、工业、交通、空中侦查、通信、电子干扰等。在近几次局部战争中无人机发挥了举足轻重的作用,验证了无人机具有极大的军事价值。
在无人机技术高速发展的同时,也存在着许多亟待解决的问题,其中无人机的回收是关键技术问题之一。统计数据表明:无人机在回收过程中的故障数占全部执行任务故障数的80%以上。因此,研究可靠的无人机自主导航回收系统成为了无人机导航领域的一个研究热点。现有的比较常见的无人机自主导航方法主要有无线电导航、惯性导航以及GPS导航等。无线电导航是利用电磁波传播特性,测得导航台发射的无线电信号的各个参量,从而计算出运动载体的各个导航参数,由此来控制运动载体保持正确的航线,缺点是无线电信号易受干扰且不具隐蔽性。惯性导航是应用最为广泛的一项导航技术,通过安装在载体内的加速度计和陀螺仪估算飞行器导航参数,优点是完全不依赖外界信息,不受干扰,完全自主,缺点是估算误差会随时间增加而积累,通常会与其他导航方法结合来实现对飞行器的导航。GPS全球定位系统采用了多卫星单程测距体制,通过空间中至少四颗卫星测算距离来确定接收机的位置,定位精度高,且拥有全球导航能力,但其信号接收可能会受无人机飞行动作和高度的影响,因此在无人机上单独使用GPS进行导航就受到了很大的限制。
计算机视觉是光学、计算机科学和仿生学等学科交叉的产物,是一种包含丰富信息的无源的信息源,利用计算机视觉信息实现无人机的自主导航成为研究的热点。无人机的计算机视觉导航以机载摄像机拍摄到的实时图像为导航信息来源,通过一系列处理计算载体实时的运动参数,进而为控制系统提供所需的导航参数。摄像机是相对低成本的信息源,同时能够提供丰富的环境信息。相对其他导航方式,基于视觉的自主导航技术提供的信息量大,不依赖外界的导航设备,自主化程度得到了很大的提高,在电子对抗中取得了较大的优越性,所以开展对视觉定位的系统关键技术研究意义重大。
然而目前无人机视觉定位主要存在问题:
(1)无人机视觉定位的实时性有待进一步提高
无人机精确定位时对算法的实时性要求很高,视觉定位中主要涉及到图像的获取、识别与处理,位姿的解算等内容,由于算法处理方面的不足以及硬件处理设备的限制,导致图像处理时间损耗较大,对于无人机实现实时精确定位十分不利。因此在算法优化等方面需要做大量的研究工作。
(2)基于视觉的无人机定位的位姿解算精度有待提高
受限于像机设备的客观不足、图像特征提取精度的不高以及外部环境的复杂性,在位姿解算中需要的图像特征信息不能够很好的被利用,造成位姿解算结果有一定的局限性。另外在不同时刻、不同天气状况下飞机处于不同高度的状态时,拍摄的图像质量都对位姿解算结果影响较大,因此还需要对此类问题进行深入的分析研究。
发明内容
本发明旨在解决上述技术问题,设计了一个由6个不同的aruco码组成的视觉识别标志,并基于该识别标志提出一种基于视觉的垂直起降无人机自主降落方法,来完成无人机的姿态调整和自主精准降落。
本发明的技术方案:
一种基于视觉的垂直起降无人机动平台自主降落方法,在目标降落区表面覆盖设置视觉标识,所述方法包括步骤如下:
无人机的摄像头按一定频率获取俯视图像;
根据所述俯视图像和所述视觉标识确定目标降落区;
确定目标降落区的位置信息并根据该位置信息生成制导指令;
根据所述制导指令控制无人机跟踪目标降落区所在位置;
确定所述无人机与所述目标降落区中心的垂直距离,并在所述垂直距离小于预设阈值时控制无人飞行器降落至目标降落区。
进一步的,所述的识别标志由6个aruco码组成,中间放置一个大的aruco码,在大的aruco码的四个角分别放置4个小的aruco码,还有一个小的aruco码放在大的aruco码的中间位置。大的aruco码用于无人机在较高位置时方便找到目标,四个角上的小的aruco码用于无人机调整自己的位置,中间小的aruco码用于无人机靠近识别标志时的位置精确调整。
进一步的,所述的识别标志用于移动的平台上。
进一步的,一种基于视觉的垂直起降无人机动平台自主降落方法,具体步骤如下:
步骤一:图像预处理
将摄像头采集的彩色图像转换为灰度图像,之后对灰度图像进行阈值分割、轮廓提取、四边形筛选、透视变换。
步骤二:标志检测与识别
当获得图像预处理后的方形图像后,需要验证其是否为标记图像。
步骤三:相对位置解算
调用opencv中的estimatePoseSingleMarkers()函数解算每一个标记图像的相对位置,会输出由aruco码的四个角的旋转量构成的旋转向量,利用罗德里格斯公式将旋转向量转成旋转矩阵,然后计算欧拉角,之后计算出无人机相对于aruco码的偏移量,然后计算偏航角,最后得出无人机相较于降落板的相对位置。
本发明的有益效果:本发明方法通过识别标志解算出无人机与识别标志的相对位置参数,然后完成无人机的姿态调整和自主降落。该方法能够准确的提取出标志特征,实时计算出无人机相对于识别标志的位置信息和角度信息,实现精准降落。
附图说明
图1为无人机降落标志图;
图2为本发明的无人机自主降落流程图;
图3为坐标系变换示意图。
具体实施方式
下面将结合附图,对本发明中的技术方案进行清楚、完整地描述。
首先设计出易于识别的降落标志是无人机降落的重要环节。无人机降落标志的设计有三个要素:第一,标志包含无人机自主降落所需的信息,保证有效的识别出降落标志并解算出无人机的相对位置;第二,标志不应太复杂,无需进行复杂的模式识别和学习,从而保证识别算法的实时性;第三,标志要容易识别,易于区别其他地面轮廓,保证不会出现误识别而发生不可预测的错误。
本实验采用的降落标志尺寸为:1.6*1.6。具体步骤如下:
A.图像预处理阶段
1)图像灰度化
图像灰度化处理的目的是将一副彩色图像转换成为灰度图像。摄像机摄取的图像一般为RGB彩色图像,彩色图像中每个像素的颜色有R、G、B三个分量决定,而每个分量的取值范围是0-255,这样一个像素的颜色取值范围将会有1600多万(255*255*255)。而灰度图像是对RGB三通道彩色图像的一种特殊表示且只有一个通道,每个通道值代表某个颜色在此处的亮度值,亮度变化范围是0-255,某种程度上灰度图像是彩色图像的特殊表示,灰度图像同样反映了一副图像的整体和局部特征,而使用灰度化的图像就可以减小图像处理中的计算量。由于本次采用的合作标识是Aruco标识,由黑白块组成的,这使得更容易在灰度图像中处理这些图像,获得所需的目标信息。
采用加权平均法作为图像灰度化的处理方法,这是最科学常用的一种灰度处理的方法,该方法的主要处理过程为:
(1)读取图像地址及尺寸;
(2)设置滤波图像模板与RGB各通道权值;
(3)遍历扫描图像像素点,将其灰度值赋值为该点领域加权平均值;
(4)输出灰度化处理后的图像。
2)图像阈值化
由于Aruco标记是由黑白块组成的,具有极高的对比度,当摄像机采集标记图像时,不管从什么角度去拍摄,获得的图像实际上是灰度或者彩色的,其拍摄的图像并不能代表原始效果,在加上室外光照对标记的一些影响,使得摄像机采集到的图像并没有达到理想中的效果。摄像机摄取的图像包含目标图像、复杂的背景信息和嘈杂的噪声,而图像阈值化可以有效的去除噪声和分割背景与目标区域,极大的减少后续其他图像处理的复杂度。
自适应阈值是根据某-区域的图像像素与其邻域像素的分布共同决定。由于实验条件是在室外环境下,受光照影响较大,背景较为复杂,因此适合采用局部自适应阈值化来对图像进行预处理,方便进行后期标记的识别,减少光照的影响。
自适应阈值化窗口如果取值太小的话,就会切割原始Aruco码图像的边界,使得检测不出Aruco码对象;但如果窗口取值太大的话,阈值化的过程就会趋于全局单一阈值化,就失去了采取局部自适应阈值化的意义,所以提前设置一个范围内的窗口取值,以提高阈值化的性能。
3)轮廓提取
图像的轮廓反应了物体具体的形状和大小,将图像的轮廓提取出来有利于掌握图中各个图形的基本构造,在很大程度上可以将图像中的有用元素与背景分离,便于感兴趣区域的提取。图像阈值化后得到黑白图像,其中黑色为背景,其像素值为0,感兴趣区域为白色,其像素值为1,边缘即为黑白区域之间的边界。利用这一特性,完成二值化图像的轮廓提取过程如下:
(1)非边界区域:若某一像素点的灰度值为1,且其周围8个像素点的灰度值也为1,则认定此点为感兴趣区域的内部点,将其删除。
(2)边界区域:若中心点的像素值为0,则保留此点,若中心点的像素值为1,且其相邻的8个点的像素值也为1,则将中心点的像素值改为0。若非上述两种情况,则将中心点像素设为1。
完成轮廓的提取后,得到一系列的点的组合。但是,这种方法并没有明确的表明感兴趣区域与边界的关系,因此必须采用一定的方法对这些点进行存储以便后续对轮廓的处理,在图像处理中,可以通过傅里叶描述子(用傅里叶变换的低频分量可以近似出Aruco码对象的边界形状)和链码(在阈值化的图像中,边界曲线是由一系列连续的离散点组成)来存储和表示这些连续的点。
在这一过程中,会通过滤波剔除掉一些Aruco码对象候选,以减少下一步骤的计算消耗,所有的轮廓都会在接下来的步骤中表示,剔除掉点较小的轮廓,用来去除噪声和其他物体信息的干扰。
4)四边形筛选
对所有的候选进行多边形近似,只有近似结果为四边形的形状才能通过测试。由于选择的标记的整体形状为四边形,当摄像机从不同的角度摄取标记时,获得的标记的图像总是四边形,所以需要对提取的轮廓做进一步的滤波操作来提取出候选标记。
标记在摄像机中进行不断的旋转和平移之后,其整体的形状和现实中的标记有所差别,但仍然是一个凸四边形,所以需要去除非凸四边形之外的其他的轮廓,以对图像做进一步的滤波处理。通过DouglasPeukcer算法对图像中的所有轮廓进行多边形拟合,形成一条近似曲线完成对四边形的逼近。Douglas-Peukcer算法又称迭代适应点算法、分裂合并算。该算法是经典的线简化算法,通过拟合一条近似曲线来表示原始曲线。算法的基本思路是:首先将指定轮廓点集中两个最远的点A、B虚连成一条直线,并找出这两点之间的点C到这条虚线的最大距离dmax,并与设定的误差门限T相比较,若dmax>T,则保留此点,同时舍弃原来的虛直线,分别将A、B分别与C连接,形成两段虚直线并分别对这两部分使用该算法直到全部满足误差要求。若dmx<T,则舍弃A、B之间的所有的点,只保留两端点。
通过该算法,可以减少轮廓中点的数量,找到能包容指定点集的最小点集,只需统计该点集的点的数量是否为4、检测点集是否闭合和保证相邻边的角度小于等于180°则便能筛选出凸四边形轮廓,且DP算法将四边形的四个顶点按照逆时针排序,保证轮廓的有向性。接下来去除边长过小的轮廓和相邻较近轮廓中的小轮廓,就能得到期望的四边形。
5)透视变换
无人机在空中跟踪地面的标记的过程中,由于摄取的图像有一定的形变,采集到的标记图像不是矩形,这对接下来标记的内部解码和利用标记进行目标定位产生极大的影响,因此需要对图片进行纠正。本项目采用透视变换完成对图像的修正,得到标记的正面视图。透视变换就是将当前视平面中的图像投影到一个新的视平面中,也被称作投影映射。其变换步骤如下:
(1)把一个二维坐标系转换为三维坐标系:这是一个非线性变换过程,要将原始图像变换成为一个三维的图像,主要是矩阵之间的运算,透视变换矩阵分为四部分,四部分分别表示线性变换、平移、透视变换、常量1。
(2)把三维坐标系投影到新的二维坐标系:该过程也是一个非线性变换过程,因此,一个平行四边形经过透视变换后只得到四边形,但不平行
透视变换需要4个原坐标和4个目标坐标,源坐标为参考标记的正面视图的4个顶点,这样就可以通过这4组对应坐标构造8个方程,得到透视变换矩阵。当得到透视变换矩阵之后在进行一次透视变换的过程,将畸形的标记图像转换为正面视图图像,完成整个透视变换的过程。
B.标志检测与识别阶段
当获得方形图像的正面视图之后,需要验证其是否为标记图像。为了让标记只含有黑白两种颜色,需要对候选标记区域的灰度图使用OSTU算法,去除灰色像素,只留下黑白像素,便于验证候选标记的周围一圈是否为黑色以及提取内部id矩阵。具体的流程为:
(1)对标记进行颜色提取。将图像预处理后得到的方形图像分割为nxn等大小的小方格,然后统计每个小方格内像素值为0和1的数量,若该方格内的像素值为0的数量大于所设定的阈值,那么则认定此方格为黑色方格,否则为白色方格。其次对紧邻轮廓边缘的方格判断其是否都为黑色方格,若是存在黑色方格且其紧邻轮廓边缘的方格也均为黑色方格,则认定此方形图像为候选标记。
(2)提取候选标记内部id矩阵。根据黑白方格的判定原则将提取到的0、1放入内部id矩阵。由于拍摄角度的问题,摄取到的标记图像可能有4种方向,分别对应4种编码,其中之一为符合要求的编码。
(3)根据海明距离得到最终的id编码。海明距离就是序列相同位置上数据不同的个数,对于海明码11010111和10110111,数据位分别为1011和0111,第三位和第四位不同,那么这两个海明码的海明距离为2。通过分别计算4个方向上海明码与当前标记的海明码的海明距离,若有一个海明距离为0,则证明此标记为设定标记,此时的id为最终的id信息。
(4)角点细化。为了保证标记定位的精度,需要对检测到的标记的4个顶点位置进一步的细化,以亚像素级项点坐标为最终的顶点位置。
C.相对位置解算阶段
(1)利用罗德里格斯公式将旋转向量转成旋转矩阵
调用opencv中estimatePoseSingleMarkers()函数解算每一个aruco码对象的相对位置时,会输出由aruco码的四个角的旋转量构成的旋转向量,罗德里格斯公式是计算机视觉中的一大经典公式,在描述相机位姿的过程中很常用,公式如下:
R=I+sin(θ)K+(1-cos(θ))K2
其中,θ表示每个Marker对象的每个角绕Z轴旋转的角度,向量K是旋转轴的单位矢量,矩阵R表示旋转矩阵。
假设原坐标系基向量矩阵为B,旋转后的坐标系基向量矩阵为C,坐标系基变量变换公式如下:
C=RB
根据线性代数的定义,旋转矩阵R就是从基向量矩阵B到基向量矩阵C的过渡矩阵,由于旋转矩阵R是标准3阶正交矩阵,故旋转矩阵R的自由度为3,这说明最少可以用三个变量来表示旋转矩阵R,其变换过程如图3所示。
(2)计算欧拉角
1)俯仰角θ:机体轴与地平面(水平面)之间的夹角,飞机抬头为正。
2)进动角(偏航角)ψ:机体轴在水平面上的投影与地轴之间的夹角,以机头右偏为正。
3)自转角(倾斜角)飞机对称面绕机体轴转过的角度,右滚为正。三个欧拉角是不对称的,在几个特殊位置上具有不确定性(当θ=0时,和ψ就分不开),对不同的问题,宜取不同的轴作基本轴,并按不同的方式量取欧拉角。根据旋转角计算欧拉角公式如下:
1)如果R31≠±1:
θ1=-asin(R31),θ2=π-θ1
2)如果R31=-1:
3)如果R31=1:
(3)计算偏移量
已知旋转矩阵R和调用estimatePoseSingleMarkers()函数输出的平移向量T,可以求得相机(无人机)在世界坐标系下的3D坐标,坐标变化公式如下:
Pcam=RPworld+T
其中,Pcam代表aruco码对象在相机坐标系下的坐标,Pworld代表aruco码对象在世界坐标系下的坐标,从相机坐标系映射到世界坐标系,以无人机双目相机所在的位置为相机坐标系原点,就可以计算出aruco码对象在相机坐标系下的坐标,如此,就可以计算出无人机相对于aruco码的偏移量。
使Pcam=0,则意味着aruco码对象移到了相机坐标系的原点,求出来的Pworld代表了相机在世界坐标系中的位置,0=RPworld+T,相机在世界坐标系下的坐标变换公式为:
Pworld=-R-1T
(4)计算偏航角
在已经知道相机在世界坐标系下的坐标的情况下,世界坐标系原点的位置在aruco码对象处,就可以解算出无人机相较于aruco码的偏航角,也可以使用sovelpnp()函数求得。
cosYA1=s1s2/|s1||s2|
其中,YA1为Aruco码相较于无人机的偏航角,s1、s2为Aruco码和无人机所连直线与世界坐标系x轴的空间向量。
(5)解算位置的平均值
已经知道了所有检测出来的aruco码对象的位置,可以根据这些位置求出平均值,这个参数所代表的就是降落版相较于无人机的位置:
其中,PA1_OcInW为Aruco码相较于无人机的位置,POcInW(i)为任意一个Markers对象的位置,YA1为Aruco码相较于无人机的偏航角,nM为Markers的数量。
将解算后的位置发送给无人机自带的控制端,就能控制无人机自主降落在降落板上,以上,就完成了无人机的自主降落。
实施例:
如图2所示,首先打开相机,当垂直起降在巡航过程中发现目标时,进行目标跟踪;满足一定条件时,进行降落过程;降落到一定高度时,继续进行目标跟踪,如此反复,直到最终降落,降落轨迹呈现阶梯状。考虑到飞行器在接近地面时会受到地面效应的影响,对飞行器的稳定性造成影响,同时由于地面效应使得飞行器震动,对目标识别程序同样会产生影响。采用阶梯式降落方法的原因是考虑到飞行器降落过程会对目标定位产生影响,从而影响降落精度。当飞行器在飞行过程中发现目标时,进行目标跟踪,判断飞行器是否位于目标正上方,即通过视觉定位算法得到的目标与飞行器的水平方向相对位置小于某一阈值;当飞行器位于目标正上方时,降落一段高度,之后采用一边跟随一边降落的类似于平行接近法的方法进行降落。
根据流程图,设计飞行器的具体飞行路径。飞行器在执行任务时,首先通过一键起飞操作进行起飞,随后进入巡航阶段。在这一阶段,飞行器不断检测是否发现目标,一旦发现目标,进入目标跟踪模式。在跟踪阶段,通过视觉惯性组合导航模块实时检测目标位置,并估计目标的速度,将目标的位置和速度作为输入量,控制飞行器的飞行速度,使飞行器可以位于目标的正上方。然后,进行降低一定高度继续重复跟踪的过程直到高度低于一定值。最后,直接将目标水平方向的估计速度作为飞行器的输入,对飞行器做速度控制,使飞行器可以在水平方向与地面目标具有相同的速度,竖直方向不断降落。
考虑将垂直起降起降整个过程分为3个阶段:起飞阶段、定位阶段和降落阶段。首先,由于主控计算机是固连在垂直起降上的,所以在给垂直起降上电的同时主控计算机开机,因此需要主程序具有开机自启动功能。在起飞阶段,需要实现开机自启动功能以及一键起飞功能。
第二阶段是定位阶段,在这一阶段中,需要垂直起降由上一阶段的悬停模式进入到巡航模式,通过大范围巡航,找到目标,进而通过控制器的控制,使垂直起降可以始终位于目标物的正上方。在进行移动目标自主降落时,由起飞点飞往目标点上方。当垂直起降飞到目标点附件时,由视觉惯性组合近距导航模块返回垂直起降与目标的水平位置差,通过矫正误差,使垂直起降可以到达目标正上方。
最后进入降落阶段,进入这一阶段就意味着垂直起降已经到达目标正上方,此时进入降落模式。在降落的过程中,时刻检测目标与飞行器在水平方向的相对位置,并不断矫正误差。当高度值小于一定值时,直接降落。在降落的过程中,还需要不断检测估计目标的位置和速度,并根据估计得到的结果进行控制。
Claims (5)
1.一种基于视觉的垂直起降无人机动平台自主降落方法,其特征在于,在目标降落区表面覆盖设置视觉标识,所述方法包括步骤如下:
无人机的摄像头按一定频率获取俯视图像;
根据所述俯视图像和所述视觉标识确定目标降落区;
确定目标降落区的位置信息并根据该位置信息生成制导指令;
根据所述制导指令控制无人机跟踪目标降落区所在位置;
确定所述无人机与所述目标降落区中心的垂直距离,并在所述垂直距离小于预设阈值时控制无人飞行器降落至目标降落区。
2.根据权利要求1所述的一种基于视觉的垂直起降无人机动平台自主降落方法,其特征在于,所述的识别标志由6个aruco码组成,中间放置一个大的aruco码,在大的aruco码的四个角分别放置4个小的aruco码,还有一个小的aruco码放在大的aruco码的中间位置;大的aruco码用于无人机在较高位置时方便找到目标,四个角上的小的aruco码用于无人机调整自己的位置,中间小的aruco码用于无人机靠近识别标志时的位置精确调整。
3.根据权利要求1或2所述的一种基于视觉的垂直起降无人机动平台自主降落方法,其特征在于,所述的识别标志用于移动的平台上。
4.根据权利要求1或2所述的一种基于视觉的垂直起降无人机动平台自主降落方法,其特征在于,具体步骤如下:
步骤一:图像预处理
将摄像头采集的彩色图像转换为灰度图像,之后对灰度图像进行阈值分割、轮廓提取、四边形筛选、透视变换;
步骤二:标志检测与识别
当获得图像预处理后的方形图像后,需要验证其是否为标记图像;
步骤三:相对位置解算
调用opencv中的estimatePoseSingleMarkers()函数解算每一个标记图像的相对位置,会输出由aruco码的四个角的旋转量构成的旋转向量,利用罗德里格斯公式将旋转向量转成旋转矩阵,然后计算欧拉角,之后计算出无人机相对于aruco码的偏移量,然后计算偏航角,最后得出无人机相较于降落板的相对位置。
5.根据权利要求4所述的一种基于视觉的垂直起降无人机动平台自主降落方法,其特征在于,所述步骤二具体的流程为:
(1)对标记进行颜色提取:将得到的方形图像分割为nxn等大小的小方格,然后统计每个小方格内像素值为0和1的数量,若该方格内的像素值为0的数量大于所设定的阈值,那么则认定此方格为黑色方格,否则为白色方格;其次对紧邻轮廓边缘的方格判断其是否都为黑色方格,若是存在黑色方格且其紧邻轮廓边缘的方格也均为黑色方格,则认定此方形图像为候选标记;
(2)提取候选标记内部id矩阵:根据黑白方格的判定原则将提取到的0、1放入内部id矩阵;
(3)根据海明距离得到最终的id编码:通过分别计算4个方向上海明码与当前标记的海明码的海明距离,若有一个海明距离为0,则证明此标记为设定标记,此时的id为最终的id信息;
(4)角点细化:对检测到的标记的4个顶点位置进一步的细化,以亚像素级项点坐标为最终的顶点位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210511156.0A CN114815871A (zh) | 2022-05-11 | 2022-05-11 | 一种基于视觉的垂直起降无人机动平台自主降落方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210511156.0A CN114815871A (zh) | 2022-05-11 | 2022-05-11 | 一种基于视觉的垂直起降无人机动平台自主降落方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114815871A true CN114815871A (zh) | 2022-07-29 |
Family
ID=82513075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210511156.0A Pending CN114815871A (zh) | 2022-05-11 | 2022-05-11 | 一种基于视觉的垂直起降无人机动平台自主降落方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114815871A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115494852A (zh) * | 2022-09-28 | 2022-12-20 | 国网北京市电力公司 | 无人机辅助降落方法及装置、存储介质和处理器 |
CN116578035A (zh) * | 2023-07-14 | 2023-08-11 | 南京理工大学 | 基于数字孪生技术的旋翼无人机自主降落控制系统 |
CN117032303A (zh) * | 2023-08-14 | 2023-11-10 | 北京科技大学 | 一种基于视觉引导的扑翼飞行机器人自主降落方法 |
-
2022
- 2022-05-11 CN CN202210511156.0A patent/CN114815871A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115494852A (zh) * | 2022-09-28 | 2022-12-20 | 国网北京市电力公司 | 无人机辅助降落方法及装置、存储介质和处理器 |
CN116578035A (zh) * | 2023-07-14 | 2023-08-11 | 南京理工大学 | 基于数字孪生技术的旋翼无人机自主降落控制系统 |
CN117032303A (zh) * | 2023-08-14 | 2023-11-10 | 北京科技大学 | 一种基于视觉引导的扑翼飞行机器人自主降落方法 |
CN117032303B (zh) * | 2023-08-14 | 2024-04-30 | 北京科技大学 | 一种基于视觉引导的扑翼飞行机器人自主降落方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108873943B (zh) | 一种无人机厘米级精准降落的图像处理方法 | |
CN110569838B (zh) | 一种基于视觉定位的四旋翼无人机自主降落方法 | |
CN106054929B (zh) | 一种基于光流的无人机自动降落引导方法 | |
CN114815871A (zh) | 一种基于视觉的垂直起降无人机动平台自主降落方法 | |
CN109949361A (zh) | 一种基于单目视觉定位的旋翼无人机姿态估计方法 | |
CN110989687B (zh) | 一种基于嵌套正方形视觉信息的无人机降落方法 | |
CN109460046B (zh) | 一种无人机自然地标识别与自主着陆方法 | |
Martínez et al. | On-board and ground visual pose estimation techniques for UAV control | |
CN111968128B (zh) | 一种基于图像标记的无人机视觉姿态和位置解算方法 | |
CN106326892A (zh) | 一种旋翼式无人机的视觉着陆位姿估计方法 | |
CN110570463B (zh) | 一种目标状态估计方法、装置和无人机 | |
CN106815553B (zh) | 一种基于边缘匹配的红外前视图像舰船检测方法 | |
CN112666963A (zh) | 基于四轴无人机的公路路面裂缝检测系统及其检测方法 | |
CN109459759B (zh) | 基于四旋翼无人机激光雷达系统的城市地形三维重建方法 | |
CN102538782A (zh) | 一种基于计算机视觉的直升机着陆引导装置和方法 | |
Fan et al. | Vision algorithms for fixed-wing unmanned aerial vehicle landing system | |
CN116578035A (zh) | 基于数字孪生技术的旋翼无人机自主降落控制系统 | |
CN114689030A (zh) | 一种基于机载视觉的无人机辅助定位方法及系统 | |
Wu et al. | Autonomous UAV landing system based on visual navigation | |
CN116185049A (zh) | 基于视觉引导的无人直升机自主着舰方法 | |
CN109764864B (zh) | 一种基于颜色识别的室内无人机位姿获取方法及系统 | |
CN115755575A (zh) | 一种基于ros的双云台无人机自主降落方法 | |
CN113781524B (zh) | 一种基于二维标签的目标追踪系统及方法 | |
CN112904895B (zh) | 基于图像的飞机引导方法、装置 | |
Kawamura et al. | VSLAM and Vision-based Approach and Landing for Advanced Air Mobility |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |