CN110569838A - 一种基于视觉定位的四旋翼无人机自主降落方法 - Google Patents

一种基于视觉定位的四旋翼无人机自主降落方法 Download PDF

Info

Publication number
CN110569838A
CN110569838A CN201910336752.8A CN201910336752A CN110569838A CN 110569838 A CN110569838 A CN 110569838A CN 201910336752 A CN201910336752 A CN 201910336752A CN 110569838 A CN110569838 A CN 110569838A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
landing
contour
circles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910336752.8A
Other languages
English (en)
Other versions
CN110569838B (zh
Inventor
齐咏生
李永亭
刘利强
孟学斌
郭星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Technology
Original Assignee
Inner Mongolia University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Technology filed Critical Inner Mongolia University of Technology
Priority to CN201910336752.8A priority Critical patent/CN110569838B/zh
Publication of CN110569838A publication Critical patent/CN110569838A/zh
Application granted granted Critical
Publication of CN110569838B publication Critical patent/CN110569838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉定位的四旋翼无人机自主降落方法,为了使四旋翼无人机自主精准的降落在地面起落平台上,以对其进行固定保护、充电续航以及移动运载,设计一个由正三角形和同心圆环组成的视觉识别标志,并基于该识别标志提出一种基于视觉的四旋翼无人机自主降落新方法。本方法的第一阶段通过识别标志的正三角形解算出无人机与识别标志中心的位置参数;第二阶段利用同心圆环及其内部的航向参考线确定无人机与识别标志中心的位置偏差和偏航角,最终完成无人机的姿态调整和自主降落。通过无人机的降落实验得以验证,该方法能够准确的提取标志特征,实时计算出无人机相对于识别标志的位置信息和角度信息,实现精准降落。

Description

一种基于视觉定位的四旋翼无人机自主降落方法
技术领域
本发明应用于电力巡检、医疗救援、环境监控、灾情监测和农业感知等领域。在这些应用中,关键的技术就是无人机的自主着陆,要实现无人机的自主着陆,首要解决的就是标志检测与姿态估计,而本发明正是基于此给出了一种精确地无人机自主降落方法,属于机器学习和图像处理技术领域。
背景技术
随着智能技术、微电子技术、数字通信技术、传感技术和虚拟现实技术等的蓬勃发展,四旋翼无人机在军事上和民用领域都得到大力发展。四旋翼无人机涉及到导航、计算机视觉、控制理论、嵌入式电子等多方面的知识,具有体积小、成本低、机动性灵活、可垂直起降等特点,不仅被应用于医疗救援、环境监控、灾情监测、远程遥感等领域,而且也越来越多地应用于农业感知和电力检修等特殊领域。而在无人机的应用中最具挑战的任务之一就是无人机的自主飞行,要实现自主飞行就要实现无人机的精确自主着陆。传统的无人机自主着陆导航方法主要有惯性导航、GPS导航和INS/GPS组合导航等方式。惯性导航由于要进行积分运算,随着运行时间的增加,其累积误差越来越大,甚至发散,而民用领域的GPS精度有限且高精度GPS成本较高,因此,传统的导航方法很难实现无人机的精确降落。
随着计算机视觉(CV)技术的大力发展,利用视觉获得的图像信息实现无人机的姿态估计被广泛应用于无人机自主控制。
无人机的视觉定位与导航技术是一种多学科交叉发展而兴起的前沿方式,通过摄像机等成像装置获取图像,对得到的图像进行处理分析,从而获取运动目标位置和姿态信息。视觉定位与导航方法无需依靠地面和空中导航设备,能够通过摄像机实时获取的图像提取丰富的信息,使无人机具有较好的自主运动性能。视觉定位与导航在无人机上的应用前景十分广阔,也是未来无人机自主控制领域研究的重要方向,因此,开展对视觉定位的系统关键技术研究意义重大。
1、视觉定位具有以下技术特点和优势:(1)自成体系,无需地面和空中导航设备辅助;(2)成本低、功耗小、抗干扰能力强。主要依靠机载相机获取信息,不受电磁等影响;(3)交互能力强,与周围环境信息相互补充、协调;(4)实现自主定位与跟踪,通过计算相邻帧影像位置关系来得到载体的位姿、运动速度等导航参数,实现载体的避障、路径规划与场景的实时三维重构等任务,进而实现定位的自主性以及目标跟踪。
2、目前无人机视觉定位主要存在问题:
(1)无人机视觉定位的实时性有待进一步提高
无人机精确定位时对算法的实时性要求很高,视觉定位中主要涉及到图像的获取、识别与处理,位姿的解算等内容,由于算法处理方面的不足以及硬件处理设备的限制,导致图像处理时间损耗较大,对于无人机实现实时精确定位十分不利。因此在算法优化等方面需要做大量的研究工作。
(2)基于视觉的无人机定位的位姿解算精度有待提高
受限于像机设备的客观不足、图像特征提取精度的不高以及外部环境的复杂性,在位姿解算中需要的图像特征信息不能够很好的被利用,造成位姿解算结果有一定的局限性。另外在不同时刻、不同天气状况下飞机处于不同高度的状态时,拍摄的图像质量都对位姿解算结果影响较大,因此还需要对此类问题进行深入的分析研究。
发明内容
本发明设计了一个由正三角形和同心圆环组成的视觉识别标志,并基于该识别标志提出一种基于视觉的四旋翼无人机自主降落方法,来完成无人机的姿态调整和自主精准降落。
首先设计出易于识别的降落标志是无人机降落的重要环节。无人机降落标志的设计有三个要素:第一,标志包含无人机自主降落所需的信息,保证有效的识别出降落标志并解算出无人机的相对位置;第二,标志不应太复杂,无需进行复杂的模式识别和学习,从而保证识别算法的实时性;第三,标志要容易识别,易于区别其他地面轮廓,保证不会出现误识别而发生不可预测的错误。
标志的详细图样是:设计了一个由正三角形和同心圆环组成的无人机降落标志,并且其中心由一个黑色半圆和一个白色半圆组成,从而形成了黑白分明的分界线,即航向参考线,如图1所示。所设计的无人机降落标志以白色为背景,由一个边长为l的黑色正三角形和一个半径比为R/r=2的白色圆环组成,中心位置由黑色半圆和白色半圆构成并形成了一条分界线。黑色正三角形用于无人机自主降落第一阶段确定无人机与降落标志的位置偏差,此时机载摄像机捕获到整个降落标志,随着无人机高度的下降,机载摄像机不能完整地捕获到黑色正三角形,此时进入无人机自主降落第二阶段,利用内部白色圆环确定无人机与降落标志的位置偏差,同时利用航向参考线计算无人机偏航角,从而实现无人机的分段自主降落。本方法实验采用的降落标志尺寸为:l=30cm,R=3cm,r=1.5cm。
之后提出了一种基于视觉的四旋翼无人机自主降落方法,核心思想是:第一步通过识别标志的正三角形解算出无人机与识别标志中心的位置参数;第二步利用同心圆环及其内部的航向参考线确定无人机与识别标志中心的位置偏差和偏航角,最终完成无人机的姿态调整和自主降落。该方法能够准确的提取出标志特征,实时计算出无人机相对于识别标志的位置信息和角度信息,实现精准降落。分为图像预处理、标志识别与检测、姿态估计三个阶段。具体技术方案及实现步骤如下:
A.图像预处理阶段
图像预处理是提高图像质量的一个重要步骤,减少噪声的影响并突出图像细节。
1)图像灰度化:将无人机的机载摄像头采集到的彩色图像转换为灰度图像,以消除对图像色彩的依赖,减少计算量并消除色调和饱和度信息而只保留亮度信息,提高标志提取的准确度,转换过程如下式所示:
Y=0.299×R+0.596×G+0.211×B (1)
式中:Y为转换后的灰度图像,R、G、B分别为彩色图像中的红色、绿色和蓝色分量值;
2)阈值化图像增强:为提高轮廓检测的准确性,将得到转换后的灰度图像进行阈值化处理。根据设计的降落标志的白色背景和黑色图标之间的高对比度,将图像的平均灰度值作为阈值,即:
式中,thresh为计算得到的阈值;M、N表示待处理图像的大小;S(i,j)表示坐标为(i,j)的像素点灰度值。
阈值处理方法如下式所示,
式中,src(x,y)为待处理图像,dst(x,y)为阈值化后的图像
3)极值中值滤波器(EM)消除噪声:在对图像进行阈值化处理的过程中,会引入脉冲噪声和椒盐噪声。采用极值中值滤波器(EM)对阈值化结果做进一步处理,由于EM滤波器只对噪声点进行中值处理而信号点保留原像素值,有效去除图像脉冲噪声和椒盐噪声,同时保留图像的边缘信息,EM计算式如下所示。
式中:yij为输出图像,其中i,j表示各像素点的位置,med(W[xij])为对窗口 W[xij]内的所有点取中值,min(W[xij])为对窗口W[xij]内的所有点取最小值, max(W[xij])为对窗口W[xij]内的所有点取最大值,xij为输入图像。
经过图像预处理,得到一幅轮廓清晰的二值化图像,如图3和图4所示。
B.标志检测与识别阶段
1)正三角形检测:正三角形降落标志检测分为轮廓检测和轮廓判定两个步骤。
步骤一,轮廓检测:经过图像预处理得到二值图像后,就能够检测二值图像中的所有轮廓对象。然后根据检测到的每一个轮廓的几何特征,对所有轮廓对象进行筛选,以缩短候选轮廓列表。由于降落标志所处环境光照、阴影、斑点等因素的影响,检测到的所有候选轮廓对象中会包含一些面积较小的轮廓。因此,根据轮廓的面积大小对所有候选轮廓进行一级筛选,将面积小于阈值εArea-H的轮廓对象从候选轮廓列表中剔除,H表示阈值会根据无人机的高度进行调整,无人机越高,阈值越小,无人机越接近地面,阈值越大,从而快速剔除非期望标志。然后根据轮廓的几何关系,对剩余候选轮廓进行二级筛选,通过计算两个轮廓质心的欧氏距离及其面积比和周长比,对相似的轮廓对象进行合并。根据数字图像空间矩mpq的定义:
计算出剩余候选轮廓的质心坐标(x0,y0),即:
式中,I(i,j)为输入图像。
二级筛选的判别条件式为:
式中,EuclideanDis(A,B)计算得到两个质心点A和B的欧氏距离; Contours[i].Centroid表示轮廓i的质心点坐标;Area(Contours[i])和 Perimeter(Contours[i])分别计算得到轮廓的面积和周长;εEucliDis、εAreaRatio和εPerimeterRatio分别表示设定的轮廓质心欧氏距离阈值、轮廓面积比阈值和周长比阈值。
轮廓检测的结果如图5和图6所示,图5为共找到的9个不同的轮廓对象,分别用不同的颜色表示,其中在图像右上角存在一些面积很小的候选轮廓(虚线圈内,用7、8号颜色表示)。图6为经过轮廓筛选后得到的4个候选轮廓(存在2 个重合的轮廓),由于轮廓合并时会对轮廓的质心和位置进行微调,所以图6中4 种颜色的轮廓并不与图5中相应颜色的轮廓对应,只为了便于区分轮廓对象与图像背景。
步骤二,轮廓判定:通过上述轮廓检测和轮廓筛选后,只保留了4个轮廓对象,即黑色正三角形轮廓及其内部的同心圆和半圆轮廓。为了从4个候选轮廓中提取出无人机自主降落第一阶段所需的黑色正三角形轮廓,利用正三角形面积和边长关系,得到期望的面积和周长平方的比值RArea-Perimeter,而这个值是一个定值,如下式所示。
式中,Striangle表示正三角形的面积;atriangle表示正三角形的边长;RArea-Perimeter表示正三角形的面积-周长平方比;ltriangle表示正三角形的周长。
根据正三角形面积-周长平方比的尺度不变性,对剩余候选轮廓做进一步的判定,如果这个比值与期望值的偏差在一定范围内,就认为该轮廓为目标轮廓,即黑色正三角形。判定公式如下:
|RArea-Perimeter-0.048|≤εArea-Perimeter (10)
式中,εArea-Perimeter为允许偏差。
经过上述轮廓判定,最终从候选轮廓中提取出需要的黑色正三角形轮廓,轮廓筛选的结果如图7所示,由实线框表示。此时,第一阶段的降落标志检测完成,正确提取了所需的目标轮廓。当无人机飞行高度低于设定高度阈值Hthresh时,便进入第二阶段的降落标志检测,即圆环标志的检测。
2)圆环检测:圆环标志检测分为同心圆检测、同心圆判定以及航向参考线检测三个步骤。
步骤一,同心圆检测:采用Hough圆变换对无人机降落标志中的圆形进行检测,并根据所检测到圆形的圆心间距离识别出降落标志中的同心圆环。但 Hough变换无法直接检测同心圆,因此通过对Hough圆变换的半径参数加以限制,经多次检测得到所有圆形。
从图8中可以看到,经多次Hough圆变换共检测到16个圆,分别以不同颜色绘出。在所有的候选圆中,有许多相似圆形。因此,通过计算两个圆形的圆心间欧氏距离及其半径比,对相似圆形进行合并,如图9所示,合并条件公式为:
式中,EuclideanDis(A,B)计算得到圆心A和圆心B之间的欧氏距离; Circles[i].Center表示圆形i的圆心坐标;Circles[i].Radius表示圆形i的半径;δEucliDis和δRadiusRatio分别表示设定的圆心间欧氏距离阈值和半径比阈值。
步骤二,同心圆判定:经相似圆合并后,从所有候选圆形中得到两个近似为同心圆的圆形,分别代表降落标志中白色同心圆环的外圆和内圆,如图9所示。两个圆形的圆心并没有完全重合,为了避免因其他干扰因素的影响出现非同心圆的情况,对相似圆合并后得到的两个圆形作进一步的判定。
利用无人机降落标志中的白色同心圆环半径比为2的特点,通过判定两个圆的圆心间的欧氏距离及其半径比值,确定两个圆形是否为目标同心圆环。判定条件如公式为:
式中,NewCircles[i]表示相似圆合并后得到的新圆序列,并且i=0,1;NewCircles[i].Center和NewCircles[i].Radius分别表示相应圆的圆心点和半径;δDisDeter和δRadiusDeter分别表示圆心距离判定阈值和半径比判定阈值。
经过上述判定,最终可以确定所需的目标同心圆环,如图10所示。
步骤三,航向参考线检测:经上述同心圆检测及判定后,得到无人机自主降落第二阶段所需的同心圆标志,从而可以解算出无人机的位置参数,但不能获得无人机的偏航角,这就限制了无人机降落后进一步的固定保护、充电续航和移动动载等功能的开发。因此以降落标志中心的黑白分界线作为航向参考线,对无人机的偏航角进行估计。利用Hough变换直线检测提取图像中的所有线段并记录其端点坐标,之后以同心圆判定得到的外圆半径R加上一个定值c作为矩形感兴趣区域ROI的边长,并创建ROI。最后,利用ROI区域的4个角点,根据向量积的定义式:
a×b=absinθ (13)
就可以判定所有候选端点是否在ROI区域内,判定条件如图2和公式(14) 所示,如果满足式(14),则端点在ROI区域内。
式中,p1,p2,p3,p4表示ROI区域的4个角点,pc为待检测端点。
最终提取出位于ROI区域内航向参考线的两个端点,并得到其像素坐标。如图11中表示检测到的所有线段,图12中方框为ROI区域,一部分线段为航向参考线,一部分圆圈为航向参考线的两个端点。
C.姿态估计阶段
所提出的无人机自主降落方法分为快速下降接近标志和精确调整完成着陆两个阶段,因此,无人机在降落过程中的姿态解算也分两个阶段进行。
第一阶段通过黑色正三角形轮廓计算质心位置C1(utriangle,vtriangle),并将其坐标值与图像中心点P0(u0,v0)对应坐标值进行运算得到像平面坐标系下的坐标值 Pi(xi,yi),也即无人机中心与降落标志中心在像平面坐标系中的偏差,如下式所示:
其中,dx、dy表示像元尺寸。
最后,根据成像的相似三角形原理,得到无人机实际的位置偏移Xerror和 Yerror
式中,H表示无人机当前飞行高度,通过判断xi、yi、Xerror和Yerror的正负就能够确定无人机位置调整的方向。
随着无人机高度的下降,当达到设置的高度阈值Hthresh,便进入无人机自主降落第二阶段。
第二阶段通过圆环检测得到降落标志中白色同心圆的圆心位置 C2(ucircle,vcircle),同样根据公式(15)和公式(16)得到无人机实际的位置偏移。此外,在第二阶段的姿态解算中要计算无人机的偏航角,通过航向参考线检测可以得到同心圆环中心航向参考线的两个端点坐标A(u1,v1)和B(u2,v2),如图13所示。无人机着陆后其机头朝向只要与直线AB方向一致便认为着陆成功,而并不限制为单一方向,规定无人机逆时针旋转为正向,即对应图13坐标中顺时钟旋转为正向,因此,所述偏航角取值范围为θ∈[-π/2,π/2],计算公式为:
实际计算过程中,如果A点位于B点下方,则交换A点和B点坐标值,即始终保证A点v坐标的值小于B点v坐标的值。经过上述计算,就得到无人机自主降落过程中的位置偏移和偏航角。
与现有技术相比,本发明提出一种基于视觉定位的四旋翼无人机自主降落方法,该方法充分利用图像几何特征易于快速提取的优势进行姿态估计,寻找估计的准确性和算法的快速性之间的折衷方案,以克服传统技术不能同时满足准确性和快速性的问题。最终,通过实验验证表明了算法在精确性和快速性上均能满足无人机自主着陆的要求。
附图说明
图1为无人机降落标志图;
图2判定条件图;
图3灰度图;
图4二值图;
图5所有候选轮廓图和经筛选后的剩余轮廓图;
图6黑三角形轮廓判定结果图;
图7所有候选图;
图8合并相似圆后的剩余圆形图;
图9同心圆判定结果图;
图10Hough直线检测结果图;
图11检测到的航线参考线图;
图12偏航角计算示意图;
图13为本发明的示意图。
具体实施方式
为了验证本发明提出的无人机自主降落分段控制算法的有效性和准确性,利用四旋翼无人机模拟其降落过程采集图像数据,然后将图像数据输入本发明算法,通过比较算法输出的估计值与测量的真实值的误差对算法进行验证。此外,对本发明所提算法的时间性能也进行了比较分析。
1、实验平台及参数选择
该算法运行环境为一台笔记本电脑,硬件配置为Intel(R)Core i5处理器,3.20GHz主频,8.0GB内存,安装64位Windows7旗舰版操作系统;软件利用 Visual Studio2015,基于开源计算机视觉库(OpenCV),采用C++语言编写程序实现。
本发明所述算法的具体参数选择如下表所示:
表1参数选择
2、降落标志性能对比
为验证本发明所设计的无人机降落标志在标志检测过程中的快速性和准确性,分别应用本发明标志检测方法对由“H”形标志及其外部圆环组成的标准停机坪降落标志和本发明设计的降落标志进行检测、识别,对其运行时间进行比较。比较结果如下表所示。
表2标志检测比较
从表2可以看出,本发明所设计降落标志的平均检测时间为53.87ms,约为标准停机坪降落标志检测时间的一半。因为本发明所设计的正三角形轮廓与H 形标志相比更加简单,标志检测时间更短。此外,用于降落第二阶段的内部圆环标志要比第一阶段的黑色正三角形小,适用于较低的降落高度,因此,配合无人机自主降落分段控制算法可实现无人机更大范围的自主降落并且两个阶段的计算量均较小,可以满足无人机自主降落过程实时性的要求。
3、第一阶段姿态估计验证
第一阶段实验的图像数据采用1.5m到4.5m所拍摄到的图像,并且每隔1.0m 选取不同位置的图像进行实验验证。由于该阶段主要实现无人机的快速下降和接近降落标志,因此,只对其位置偏移的估计值和实际值进行比较,实验结果如表 3所示。
表3第一阶段位置偏移估计
由表3可知,在1.5m到4.5m的范围内,本发明算法对x方向位置估计的最大平均绝对误差为1.86mm,最大均方根误差为2.02mm,y方向位置估计的最大平均绝对误差为0.81mm,最大均方根误差为0.94mm。
4、第二阶段姿态估计验证
第二阶段实验的图像数据采用0.3m到1.5m高度所拍摄得到的图像,并且每隔0.3m选取不同位置的图像进行实验验证。由于第二阶段需完成无人机偏航角的解算,因此,分别对位置偏移估计和偏航角估计的准确性进行实验验证。实验结果如表4、表5所示。
表4第二阶段位置偏移估计
从表4可以看出,在0.3m到1.5m的范围内,本发明算法对x方向位置估计的最大平均绝对误差为0.59mm,最大均方根误差为0.71mm,y方向位置估计的最大平均绝对误差为0.51mm,最大均方根误差为0.62mm。与第一阶段相比,均有所下降,因为随着无人机高度的降低,可以更清晰的采集到包含视觉标志的图像,从而可以更准确地解算出无人机的位置数据。
表5第二阶段偏航角估计
RMSE:均方根误差
从表5中可以看出,在无人机降落第二阶段,偏航角估计的最大绝对误差为2.18°,最大相对误差为38.28%。本发明算法对无人机偏航角的估计具有较高精度。
5、时间性能
表6算法时间性能
由表6中数据可知,本发明所提算法在无人机降落第一阶段能够较快的完成降落标志的识别并给出位置偏移的估计值。但是,在第二阶段中,由于多次采用 Hough圆变换检测同心圆,使得标志检测时间大幅度增加,但与Prakash等人的方法相比仍略有减小。同时,由于在第二阶段中需检测航向参考线并估计无人机的偏航角,因此姿态估计时间与第一阶段相比有所增加。此外,本发明所提算法在第一阶段总运行时间为58.31ms。
综合以上实验结果,本发明所提算法虽然在第二阶段运行时间有所增加,但在两个阶段都可以准确地识别出目标降落标志并给出位置偏移估计值和偏航角估计值,具有较好的准确性和实时性。

Claims (4)

1.一个用于无人机自助降落的视觉识别标志,其特征在于:一个由正三角形和同心圆环组成的无人机降落标志,并且其中同心圆由一个黑色半圆和一个白色半圆组成,从而形成了黑白分明的分界线,即航向参考线;所设计的无人机降落标志以白色为背景,由一个边长为l的黑色正三角形和一个半径比为R/r=2的白色圆环组成,中心位置由黑色半圆和白色半圆构成并形成了一条分界线;黑色正三角形用于无人机自主降落第一阶段确定无人机与降落标志的位置偏差,此时机载摄像机捕获到整个降落标志,随着无人机高度的下降,机载摄像机不能完整地捕获到黑色正三角形,此时进入无人机自主降落第二阶段,利用内部白色圆环确定无人机与降落标志的位置偏差,同时利用航向参考线计算无人机偏航角,从而实现无人机的分段自主降落。
2.一种基于视觉定位的四旋翼无人机自主降落方法,其特征在于,本方法包括图像预处理、标志检测与识别和姿态估计三个步骤,具体步骤如下:
步骤一:图像预处理
将摄像头采集的彩色图像转换为灰度图像,之后对灰度图像进行阈值分割,最后使用中值滤波器对阈值图像进行进一步处理,得到轮廓清晰、区域分明的二值图像;
步骤二:标志监测与识别
降落标志的检测根据无人机的飞行高度分为两个阶段;第一阶段检测黑色正三角形的轮廓并根据其面积-周长比判定是否为降落标志,为无人机提供位置参数;第二阶段利用Hough圆变换检测黑色正三角形内部的白色同心圆并根据其半径比判定是否为降落标志,同时检测中心航向参考线的两个端点,解算出无人机的位置参数和偏航角;
步骤三:无人机姿态估计
无人机姿态估计是自主降落过程的最后一个步骤;无人机自主降落方法分为快速下降接近标志和精确调整完成着陆两个阶段,因此,无人机在降落过程中的姿态解算也分两个阶段进行;
第一阶段通过步骤二得到的黑色正三角形轮廓计算其质心位置C1(utriangle,vtriangle),并将其坐标值与图像中心点P0(u0,v0)对应坐标值进行运算得到像平面坐标系下的坐标值Pi(xi,yi),也即无人机中心与降落标志中心在像平面坐标系中的偏差,计算偏差公式如下:
式中,dx、dy表示像元尺寸,根据成像的相似三角形原理,得到无人机实际的位置偏移Xerror和Yerror,实际位置偏移公式如下:
式中,H表示无人机当前飞行高度,通过判断xi、yi、Xerror和Yerror的正负确定无人机位置调整的方向;
随着无人机高度的下降,当达到设置的高度阈值Hthresh,便进入无人机自主降落第二阶段;
第二阶段通过步骤二中圆环检测得到降落标志中白色同心圆的圆心位置C2(ucircle,vcircle),同样根据公式(1)和公式(2)得到无人机实际的位置偏移;之后计算无人机的偏航角完成姿态估计。
3.根据权利要求2中所述的一种基于视觉定位的四旋翼无人机自主降落方法,其特征在于,检测黑色正三角形的轮廓并根据其面积-周长比判定是否为降落标志,为无人机提供位置参数;内容包括:
经过图像预处理得到二值图像后,检测图像中的所有轮廓对象;然后根据检测到的每一个轮廓的几何特征,对所有轮廓对象进行筛选,以缩短候选轮廓列表;
由于降落标志所处环境光照、阴影、斑点因素的影响,检测到的所有候选轮廓对象中会包含一些面积小的轮廓;因此,根据轮廓的面积大小对所有候选轮廓进行一级筛选,将面积小于阈值εArea-H的轮廓对象从候选轮廓列表中剔除,其中H表示阈值会根据无人机的高度进行调整,无人机越高,阈值越小,无人机越接近地面,阈值越大,从而快速剔除非期望标志;
然后根据轮廓的几何关系,对剩余候选轮廓进行二级筛选,通过计算两个轮廓质心的欧氏距离及其面积比和周长比,对相似的轮廓对象进行合并;根据数字图像空间矩的定义计算出剩余候选轮廓的质心坐标(x0,y0);数字图像空间距的定义式为式(3),质心坐标的计算式为式(4):
式中,I(i,j)为输入图像;
二级筛选的判别条件式为:
式中,EuclideanDis(A,B)为计算得到两个质心点A和B的欧氏距离;Contours[i].Centroid表示轮廓i的质心点坐标;Area(Contours[i])和Perimeter(Contours[i])分别计算得到轮廓的面积和周长;εEucliDis、εAreaRatio和εPerimeterRatio分别表示设定的轮廓质心欧氏距离阈值、轮廓面积比阈值和周长比阈值;
通过轮廓检测和轮廓筛选后,只保留了4个轮廓对象,即黑色正三角形轮廓及其内部的同心圆和半圆轮廓;为了从4个候选轮廓中提取出无人机自主降落第一阶段所需的黑色正三角形轮廓,利用正三角形面积和边长关系,得到期望的面积和周长平方的比值RArea-Perimeter;根据正三角形面积-周长平方比的尺度不变性,对剩余候选轮廓做进一步的判定,如果这个比值与期望值的偏差在一定范围内,我们就认为该轮廓为目标轮廓,即黑色正三角形;判定公式如下:
|RArea-Perimeter-0.048|≤εArea-Perimeter (6)
式中,εArea-Perimeter为允许偏差;
经过上述轮廓判定,最终从候选轮廓中提取出需要的黑色正三角形轮廓。
4.根据权利要求2中所述的一种基于视觉定位的四旋翼无人机自主降落方法,其特征在于,同心圆检测、同心圆判定以及航向参考线检测三个步骤;其内容包括:
采用Hough圆变换对无人机降落标志中的圆形进行检测,并根据所检测到圆形的圆心间距离识别出降落标志中的同心圆环;首先,通过对Hough圆变换的半径参数加以限制,经多次检测得到所有圆形;之后对相似圆进行合并,经相似圆合并后,从所有候选圆形中得到两个近似为同心圆的圆形,分别代表降落标志中白色同心圆环的外圆和内圆;利用无人机降落标志中的白色同心圆环半径比为2的特点,通过判定两个圆的圆心间的欧氏距离及其半径比值,确定两个圆形是否为目标同心圆环;判定条件如公式下:
式中,NewCircles[i]表示相似圆合并后得到的新圆序列,并且i=0,1;NewCircles[i].Center和NewCircles[i].Radius分别表示相应圆的圆心点和半径;δDisDeter和δRadiusDeter分别表示圆心距离判定阈值和半径比判定阈值;
经过上述判定,最终确定所需的目标同心圆环;
经上述同心圆检测及判定后,得到无人机自主降落第二阶段所需的同心圆标志,之后为了得到偏航角以降落标志中心的黑白分界线作为航向参考线,对无人机的偏航角进行估计;利用Hough变换直线检测提取图像中的所有线段并记录其端点坐标,之后以同心圆判定得到的外圆半径R加上一个定值c作为矩形感兴趣区域ROI的边长,并创建ROI;最后,利用ROI区域的4个角点,根据向量积的定义就判定所有候选端点是否在ROI区域内;向量机定义式如下:
a×b=ab sinθ (8)
判定条件为公式(9),如果满足式(9),则端点在ROI区域内;
式中,p1,p2,p3,p4表示ROI区域的4个角点,pc为待检测端点;
最终提取出位于ROI区域内航向参考线的两个端点,并得到其像素坐标。
CN201910336752.8A 2019-04-25 2019-04-25 一种基于视觉定位的四旋翼无人机自主降落方法 Active CN110569838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910336752.8A CN110569838B (zh) 2019-04-25 2019-04-25 一种基于视觉定位的四旋翼无人机自主降落方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910336752.8A CN110569838B (zh) 2019-04-25 2019-04-25 一种基于视觉定位的四旋翼无人机自主降落方法

Publications (2)

Publication Number Publication Date
CN110569838A true CN110569838A (zh) 2019-12-13
CN110569838B CN110569838B (zh) 2022-05-24

Family

ID=68772868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910336752.8A Active CN110569838B (zh) 2019-04-25 2019-04-25 一种基于视觉定位的四旋翼无人机自主降落方法

Country Status (1)

Country Link
CN (1) CN110569838B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352444A (zh) * 2020-04-23 2020-06-30 上海交通大学 基于无线导航的无人机室外移动平台自主降落方法及系统
CN112215860A (zh) * 2020-09-23 2021-01-12 国网福建省电力有限公司漳州供电公司 一种基于图像处理的无人机定位方法
CN112418086A (zh) * 2020-11-23 2021-02-26 浙江大华技术股份有限公司 一种规则框校正方法、装置、电子设备及存储介质
CN112510553A (zh) * 2020-11-16 2021-03-16 东北电力大学 一种机器人与无人机组合式变电站巡检智能系统
CN112925334A (zh) * 2021-02-02 2021-06-08 国网江苏省电力有限公司泰州供电分公司 一种智能巡检无人机降落系统及降落方法
CN112947526A (zh) * 2021-03-12 2021-06-11 华中科技大学 一种无人机自主降落方法和系统
CN113377118A (zh) * 2021-07-14 2021-09-10 中国计量大学 一种基于视觉的无人机机库多阶段精确降落方法
CN113821047A (zh) * 2021-08-18 2021-12-21 杭州电子科技大学 一种基于单目视觉的无人机自主降落方法
CN113867373A (zh) * 2021-09-30 2021-12-31 广州极飞科技股份有限公司 无人机降落方法、装置、停机坪以及电子设备
CN113917934A (zh) * 2021-11-22 2022-01-11 江苏科技大学 一种基于激光雷达的无人机精准降落方法
CN114030631A (zh) * 2021-12-13 2022-02-11 江苏海洋大学 一种多旋翼无人机海上接驳数据回收与自动充电工作站
CN114115233A (zh) * 2021-10-26 2022-03-01 燕山大学 一种基于无人艇姿态主动反馈的无人机自主着舰方法
CN114384932A (zh) * 2021-12-24 2022-04-22 同济大学 一种基于距离测量的无人机导航对接方法
CN114415736A (zh) * 2022-04-01 2022-04-29 之江实验室 一种无人机多阶段视觉精准降落方法和装置
CN114953700A (zh) * 2021-12-06 2022-08-30 黄河水利职业技术学院 一种用于工业摄影测量的超高精度合作目标的制作方法
WO2022180276A1 (es) * 2021-02-23 2022-09-01 Fundación Instituto Tecnológico De Galicia Sistema, método y producto de programa de aterrizaje de precisión autónomo para drones
CN115220046A (zh) * 2022-06-02 2022-10-21 鹏城实验室 一种基于激光识别的无人机设备降落定位的控制方法及系统
CN115291618A (zh) * 2022-07-27 2022-11-04 北京大学 一种数据处理方法及装置
CN115857519A (zh) * 2023-02-14 2023-03-28 复亚智能科技(太仓)有限公司 一种基于视觉定位的无人机曲面平台自主降落方法
CN116051629A (zh) * 2023-02-22 2023-05-02 常熟理工学院 面向自主导航机器人的高精度视觉定位方法
CN117032303A (zh) * 2023-08-14 2023-11-10 北京科技大学 一种基于视觉引导的扑翼飞行机器人自主降落方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194399A (zh) * 2017-07-14 2017-09-22 广东工业大学 一种视觉定标的方法、系统及无人机
CN107672817A (zh) * 2017-09-21 2018-02-09 内蒙古工业大学 一种移动式车载无人机的智能起降系统
WO2018035835A1 (en) * 2016-08-26 2018-03-01 SZ DJI Technology Co., Ltd. Methods and system for autonomous landing
WO2018122836A1 (en) * 2016-12-29 2018-07-05 Israel Aerospace Industries Ltd. Image sensor based autonomous landing
CN108256491A (zh) * 2018-01-25 2018-07-06 北方工业大学 无预设靶标的复杂场景无人机自主降落候选区筛选方法
CN108657455A (zh) * 2018-04-27 2018-10-16 内蒙古工业大学 一种高压输电线路巡检的无人机自动收放装置
US10198955B1 (en) * 2016-09-08 2019-02-05 Amazon Technologies, Inc. Drone marker and landing zone verification
CN109598758A (zh) * 2018-11-21 2019-04-09 三峡大学 一种可视觉定位的无人机起降平台及无人机落点修正方法
CN109613926A (zh) * 2018-12-22 2019-04-12 武汉新运维光电科技股份有限公司 多旋翼无人机自动降落高精度自动识别降落区域的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018035835A1 (en) * 2016-08-26 2018-03-01 SZ DJI Technology Co., Ltd. Methods and system for autonomous landing
US10198955B1 (en) * 2016-09-08 2019-02-05 Amazon Technologies, Inc. Drone marker and landing zone verification
WO2018122836A1 (en) * 2016-12-29 2018-07-05 Israel Aerospace Industries Ltd. Image sensor based autonomous landing
CN107194399A (zh) * 2017-07-14 2017-09-22 广东工业大学 一种视觉定标的方法、系统及无人机
CN107672817A (zh) * 2017-09-21 2018-02-09 内蒙古工业大学 一种移动式车载无人机的智能起降系统
CN108256491A (zh) * 2018-01-25 2018-07-06 北方工业大学 无预设靶标的复杂场景无人机自主降落候选区筛选方法
CN108657455A (zh) * 2018-04-27 2018-10-16 内蒙古工业大学 一种高压输电线路巡检的无人机自动收放装置
CN109598758A (zh) * 2018-11-21 2019-04-09 三峡大学 一种可视觉定位的无人机起降平台及无人机落点修正方法
CN109613926A (zh) * 2018-12-22 2019-04-12 武汉新运维光电科技股份有限公司 多旋翼无人机自动降落高精度自动识别降落区域的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHONGYU 等: "Multi-resolution visual fiducial and assistant navigation system for unmanned aerial vehicle landing", 《AEROSPACE SCIENCE AND TECHNOLOGY》 *
YOUEYUN JUNG等: "Robust marker tracking algorithm for precise UAV vision-based autonomous landing", 《2015 15TH INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND SYSTEMS (ICCAS)》 *
姜腾: "基于视觉的多旋翼无人机位置和姿态测量方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
齐咏生 孟学斌 高学金 张丽杰: "基于视觉标志检测的旋翼无人机姿态估计方法", 《农业机械学报》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352444A (zh) * 2020-04-23 2020-06-30 上海交通大学 基于无线导航的无人机室外移动平台自主降落方法及系统
CN112215860A (zh) * 2020-09-23 2021-01-12 国网福建省电力有限公司漳州供电公司 一种基于图像处理的无人机定位方法
CN112215860B (zh) * 2020-09-23 2024-05-10 国网福建省电力有限公司漳州供电公司 一种基于图像处理的无人机定位方法
CN112510553B (zh) * 2020-11-16 2022-06-28 东北电力大学 一种机器人与无人机组合式变电站巡检智能系统
CN112510553A (zh) * 2020-11-16 2021-03-16 东北电力大学 一种机器人与无人机组合式变电站巡检智能系统
CN112418086A (zh) * 2020-11-23 2021-02-26 浙江大华技术股份有限公司 一种规则框校正方法、装置、电子设备及存储介质
CN112418086B (zh) * 2020-11-23 2024-08-02 浙江大华技术股份有限公司 一种规则框校正方法、装置、电子设备及存储介质
CN112925334A (zh) * 2021-02-02 2021-06-08 国网江苏省电力有限公司泰州供电分公司 一种智能巡检无人机降落系统及降落方法
WO2022180276A1 (es) * 2021-02-23 2022-09-01 Fundación Instituto Tecnológico De Galicia Sistema, método y producto de programa de aterrizaje de precisión autónomo para drones
CN112947526A (zh) * 2021-03-12 2021-06-11 华中科技大学 一种无人机自主降落方法和系统
CN112947526B (zh) * 2021-03-12 2022-09-27 华中科技大学 一种无人机自主降落方法和系统
CN113377118A (zh) * 2021-07-14 2021-09-10 中国计量大学 一种基于视觉的无人机机库多阶段精确降落方法
CN113821047A (zh) * 2021-08-18 2021-12-21 杭州电子科技大学 一种基于单目视觉的无人机自主降落方法
CN113867373A (zh) * 2021-09-30 2021-12-31 广州极飞科技股份有限公司 无人机降落方法、装置、停机坪以及电子设备
CN114115233A (zh) * 2021-10-26 2022-03-01 燕山大学 一种基于无人艇姿态主动反馈的无人机自主着舰方法
CN113917934A (zh) * 2021-11-22 2022-01-11 江苏科技大学 一种基于激光雷达的无人机精准降落方法
CN113917934B (zh) * 2021-11-22 2024-05-28 江苏科技大学 一种基于激光雷达的无人机精准降落方法
CN114953700A (zh) * 2021-12-06 2022-08-30 黄河水利职业技术学院 一种用于工业摄影测量的超高精度合作目标的制作方法
CN114030631A (zh) * 2021-12-13 2022-02-11 江苏海洋大学 一种多旋翼无人机海上接驳数据回收与自动充电工作站
CN114384932A (zh) * 2021-12-24 2022-04-22 同济大学 一种基于距离测量的无人机导航对接方法
CN114384932B (zh) * 2021-12-24 2023-08-29 同济大学 一种基于距离测量的无人机导航对接方法
CN114415736A (zh) * 2022-04-01 2022-04-29 之江实验室 一种无人机多阶段视觉精准降落方法和装置
CN115220046A (zh) * 2022-06-02 2022-10-21 鹏城实验室 一种基于激光识别的无人机设备降落定位的控制方法及系统
CN115291618A (zh) * 2022-07-27 2022-11-04 北京大学 一种数据处理方法及装置
CN115857519A (zh) * 2023-02-14 2023-03-28 复亚智能科技(太仓)有限公司 一种基于视觉定位的无人机曲面平台自主降落方法
CN116051629A (zh) * 2023-02-22 2023-05-02 常熟理工学院 面向自主导航机器人的高精度视觉定位方法
CN116051629B (zh) * 2023-02-22 2023-11-07 常熟理工学院 面向自主导航机器人的高精度视觉定位方法
CN117032303B (zh) * 2023-08-14 2024-04-30 北京科技大学 一种基于视觉引导的扑翼飞行机器人自主降落方法
CN117032303A (zh) * 2023-08-14 2023-11-10 北京科技大学 一种基于视觉引导的扑翼飞行机器人自主降落方法

Also Published As

Publication number Publication date
CN110569838B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN110569838B (zh) 一种基于视觉定位的四旋翼无人机自主降落方法
CN111461023B (zh) 基于三维激光雷达的四足机器人自主跟随领航员的方法
CN109949361A (zh) 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN111968128B (zh) 一种基于图像标记的无人机视觉姿态和位置解算方法
CN102865859B (zh) 一种基于surf特征的航空序列图像位置估计方法
CN112184765B (zh) 一种用于水下航行器的自主跟踪方法
CN107063261B (zh) 用于无人机精准着陆的多特征信息地标检测方法
CN110068321B (zh) 定点降落标志的uav相对位姿估计方法
CN109460046B (zh) 一种无人机自然地标识别与自主着陆方法
CN109492525B (zh) 一种测量基站天线工程参数的方法
Li et al. Road markings extraction based on threshold segmentation
CN113377118A (zh) 一种基于视觉的无人机机库多阶段精确降落方法
CN113066050B (zh) 一种基于视觉的空投货台航向姿态解算方法
CN106203439B (zh) 基于标志物多特征融合的无人机自动寻的着陆方法
Gu et al. Car model recognition by utilizing symmetric property to overcome severe pose variation
Kitt et al. Detection and tracking of independently moving objects in urban environments
Fan et al. Vision algorithms for fixed-wing unmanned aerial vehicle landing system
CN114815871A (zh) 一种基于视觉的垂直起降无人机动平台自主降落方法
CN116578035A (zh) 基于数字孪生技术的旋翼无人机自主降落控制系统
CN109358315B (zh) 一种辅助目标间接定位方法及系统
CN118226866A (zh) 一种基于单目视觉的无人机精准降落方法
CN117496401A (zh) 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法
CN115797397B (zh) 一种机器人全天候自主跟随目标人员的方法及系统
CN116185049A (zh) 基于视觉引导的无人直升机自主着舰方法
Jiaxin et al. Vision-based autonomous landing of unmanned aerial vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant