CN112198884A - 基于视觉引导的无人机移动平台降落方法 - Google Patents

基于视觉引导的无人机移动平台降落方法 Download PDF

Info

Publication number
CN112198884A
CN112198884A CN202010733177.8A CN202010733177A CN112198884A CN 112198884 A CN112198884 A CN 112198884A CN 202010733177 A CN202010733177 A CN 202010733177A CN 112198884 A CN112198884 A CN 112198884A
Authority
CN
China
Prior art keywords
landing
unmanned aerial
aerial vehicle
mobile platform
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010733177.8A
Other languages
English (en)
Inventor
王江
丁柯
侯淼
林德福
宋韬
程子恒
张福彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010733177.8A priority Critical patent/CN112198884A/zh
Publication of CN112198884A publication Critical patent/CN112198884A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • G05D1/0684—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing on a moving platform, e.g. aircraft carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于视觉引导的无人机移动平台降落方法，包括设置移动平台降落标识、无人机搜索识别降落标识、无人机基于视觉引导不断逼近降落标识直至完成降落。本发明所述的基于视觉引导的无人机移动平台降落方法，对机载计算机性能要求低，能够能够快速、精确的降落在移动平台上。

Description

基于视觉引导的无人机移动平台降落方法
技术领域
本发明涉及一种无人机控制方法，尤其是一种基于视觉引导的无人机移动平台降落方法，属于无人机控制领域。
背景技术
无人机具有机动灵活、通用便利、可用性高等优点，在实际生产应用中有大量需求，如今已广泛应用于侦察、救援、测绘、植保、表演等各个领域。
无人机的自主起飞、降落等技术多年来一直是无人机领域的研究热点。目前无人机的自主降落多采用GNSS(Global Navigation Satellite System，全球导航卫星系统)导航定位配合高度数据进行定点降落。高度数据通常由GNSS、气压计、超声波或对地雷达测得。但GNSS信号易受建筑物遮挡和天气条件影响，数据漂移严重，且高度方向的精度非常有限；基于超声波、微波、激光等的测距传感器难以区分降落平台与地面，无法直接用于无人机在移动平台上降落。
所以，利用传统的GNSS配合高度装置进行降落的方案受限较多，只能用于定点降落，不能适用大量生产生活的场景，限制了无人机的发展。
针对移动的降落平台，现有技术中的无人机的自主降落通常采用人工引导控制，对GNSS精度和操作人员的熟练度都有较高的要求，无法做到自主降落。在一些复杂环境下，例如车载移动平台、颠簸移动的地面平台上起飞降落，对该类无人机的飞行控制系统和控制人员仍然是严峻的挑战，制约着无人机在更广泛的领域运用。
此外，利用人员进行起降也会因为通信距离、可视范围等，只能有限的范围内进行操控。在无人机的载荷限制下，不能在机上搭载过多的设备载荷，无人机的机载摄像装置更多的是平台固定安装，只能通过在视场角内转动摄像头进行拍摄，无法解算无人机的姿态进行灵活的飞行。这给无人机的追踪和降落制造了很大的困难。
此外，传统的视觉引导的算法多采用经典的特征算法，而机载计算机的计算能力相对比较低，无法满足传统算法的性能要求，导致定位精度不足，无人机难以精准降落。
在一些场所，允许无人机完成降落时间有限，现有的无人机自主降落方法往往需要大量时间，降低了无人机的自主降落的通用性。
因此，亟待设计一种对机载计算机性能要求低，能够快速精准完成降落的无人机移动平台的降落方法。
发明内容
为了克服上述问题，本发明人进行了锐意研究，设计出一种基于视觉引导的无人机移动平台降落方法，其特征在于，包括以下步骤：
S1、设置移动平台降落标识；
S2、无人机搜索识别降落标识；
S3、无人机基于视觉引导不断逼近降落标识直至完成降落。
所述降落标识为通用降落标志，包括椭圆和位于椭圆中央的X形状的标志。
在步骤S2中，当无人机搜索识别降落标识时，无人机距离降落平台的高度大于15米。
机载计算机接收到光电吊舱传递的地面视频图像后，根据图像搜索识别降落标识，所述搜索识别包括以下子步骤：
S21、搜索椭圆标志；
S22、识别降落标识。
在子步骤S21中，机载计算机在光电吊舱传递的视频中提取图片，对每张图片利用Canny边缘检测将图片转换成二值图像，得到图像的边缘信息，通过对边缘信息中的线段进行约束，判断线段是否组合成椭圆。
根据线段边缘梯度的正、负值将线段分为两类弧线，将两类弧线交替匹配，利用弧线端点之间的距离约束和斜率约束进行组合，当出现4条弧线彼此交替组合成闭环时，表示线段组合成椭圆。
在判断线段是否组合成椭圆前，将线段进行预处理，将明显不能组合成椭圆的线段剔除。
在步骤S22中，通过卷积神经网络实现对降落标识的识别。
在步骤S3中，在无人机识别到降落标识后，光电球的摄像装置实时拍摄降落标识，将拍摄的图像传递至机载计算机，机载计算机通过卷积神经网络识别降落标识，并按照先后传递的图片中降落标识的像素偏差计算出无人机与降落标识之间的相对位置信息，无人机基于相对位置信息不断逼近降落标识。
当无人机与降落标识的距离在1～5米时，通过识别X形状的中心点来确定降落标识的中心位置。
本发明所述的基于视觉引导的无人机移动平台降落方法，具有的有益效果包括：
(1)根据本发明提供的基于视觉引导的无人机移动平台降落方法，无人机能够快速、精确的降落在移动平台上；
(2)根据本发明提供的基于视觉引导的无人机移动平台降落方法，对机载计算机性能要求低，识别降落标识速度快；
(3)根据本发明提供的基于视觉引导的无人机移动平台降落方法，无需人员操作，可实现自主降落。
附图说明
图1示出一种优选实施方式的基于视觉引导的无人机移动平台降落方法流程示意图；
图2示出一种优选实施方式的基于视觉引导的无人机移动平台降落方法中降落标识示意图；
图3示出一种优选实施方式的基于视觉引导的无人机移动平台降落方法中弧线类型示意图；
图4示出一种优选实施方式的基于视觉引导的无人机移动平台降落方法中二值图像示意图；
图5示出一种优选实施方式的基于视觉引导的无人机移动平台降落方法中霍夫变换结果示意图；
图6示出一种优选实施方式的基于视觉引导的无人机移动平台降落方法中V型约束示意图；
图7示出一种优选实施方式的基于视觉引导的无人机移动平台降落方法中V型约束示意图。
具体实施方式
下面通过附图对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。
本发明提供了一种基于视觉引导的无人机移动平台降落方法，如图1所示，包括以下步骤：
S1、设置移动平台降落标识；
S2、无人机搜索识别降落标识；
S3、无人机基于视觉引导不断逼近降落标识直至完成降落。
由于降落平台为移动平台，无法通过坐标等方式确定无人机位置，在本发明中，采用在移动平台上设立降落标识的办法使无人机对其进行自主识别。
所述降落标识可以是任意一种标示，在一个优选的实施方式中，所述降落标识为通用降落标志，包括椭圆和位于椭圆中央的X形状的标志，如图2所示。
所述无人机上具有光电吊舱，以实时拍摄图像，使得无人机能够识别降落标识。
在一个优选的实施方式中，所述光电吊舱为捷联式光电吊舱，能够根据控制指令进行运动，无需解算无人机的相对姿态，增加了视频拍摄的稳定性，保证了目标的准确性。
在所述光电吊舱的光电球具有高清摄像机，优选地，所述高清摄像机为像素满足720P～1080P的摄像头，当摄像头像素过高时会加重机载计算机的运算负担，不利于降落标识的快速识别。
进一步地，在所述光电球上还设置有红外测距模块和高度测量模块，能够通过红外线测量无人机与目标之间的直线距离，通过高度测量模块测量无人机的飞行高度。
在步骤S2中，当无人机需要降落时，无人机光电吊舱进行旋转拍摄，获得地面视频图像，回传到机载计算机以搜索识别降落标识。
在一个优选的实施方式中，在无人机在搜索识别降落标识时，处于悬停状态，以使得画面稳定。
令人惊喜的是，当无人机悬停搜索时，只需要光电吊舱的光电球旋转即可，机载计算机无需额外操纵无人机运动，简化了无人机搜索时机载计算机的运算负担，使得识别精度更高，识别速度更快。
在一个更优选的实施方式中，当无人机悬停搜索时，无人机距离降落平台的高度大于15米，使得通过光电球的旋转，无人机能够拍摄到的范围更广，能够快速发现降落标识；进一步地，无人机距离降落平台的高度不超过30米，当无人机距离降落平台的高度过高时，降落标识与无人机距离过远，对降落标识识别精度下降。
进一步地，机载计算机接收到光电吊舱传递的地面视频图像后，根据图像搜索识别降落标识。所述搜索识别包括以下子步骤：
S21、搜索椭圆标志；
S22、识别降落标识。
在子步骤S21中，所述搜索椭圆标志通过Canny边缘检测实现，
边缘检测是从图像中提取有用的结构信息的一种技术，Canny边缘检测算法为John F.Canny于1986年开发出来的一个多级边缘检测算法，能够将图像转化为二值图像，其中非零数值表示图像中边缘的存在，得到图像的边缘信息。
具体地，机载计算机在光电吊舱传递的视频中提取图片，每秒视频中提取15～60张图片，优选地，每秒视频中提取50～55张图片，对每张图片利用Canny边缘检测将图片转换成二值图像，得到图像的边缘信息，所述边缘信息中包含各种线段，利用边缘梯度可以将线段分类为两类，进而对线段进行约束，以检查图像中是否具有椭圆。
进一步地，根据线段边缘梯度的正、负值将线段分为两类弧线，其中，当边缘梯度小于0时，为ArcⅠ或ArcⅢ型弧线，当边缘梯度大于0时，为ArcⅡ或ArcⅣ型弧线，如图3所示，更进一步地，当线段中某段边缘梯度等于0时，将线段再此处断开，拆分成两个弧线。
将得到的两类弧线交替匹配，进行椭圆的组合。具体地，利用弧线端点之间的距离约束和斜率约束进行组合，当出现4条弧线彼此能够交替组合成闭环时，则表示图像中具有椭圆。
所述距离约束是指两条弧线的相邻端点之间的距离，所述斜率约束是指两条弧线的相邻端点处斜率偏差。
在一个优选的实施方式中，所述距离约束为两条弧线的相邻端点之间的距离小于5像素，所述斜率约束为两条弧线的相邻端点处斜率偏差在5％以内。
在一个优选的实施方式中，当多条弧线能够彼此组合时，选择相邻端点之间的距离最小的线段作为组成椭圆的弧线。
在一个优选地实施方式中，在进行椭圆的组合前，将线段进行预处理，以将明显不能组合成椭圆的线段剔除。分别选取(x1,y1)、(x2,y2)、(x3,y3)作为线段的起始点、中间点和终点。计算这三个点的行列式并除以对角线距离得到L。
Figure BDA0002603955600000071
当L近似等于零时表示线段是直线(斜率为0)或者短线(长度接近0)，将其剔除，其中，α和β参数为常数，其取值可根据实际情况进行调整，通常α＝1、β＝1。
当识别到椭圆后，光电球停止旋转，进行子步骤S22，对识别到椭圆的图像进行降落标识的识别。
在本发明中，通过卷积神经网络实现对降落标识的识别，在图像中标出降落标识的中央位置。
所述卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，其在图像识别领域已非常成熟，相对于传统的图像识别方法，卷积神经网络可以通过对大量标志图像的特征的学习训练，提高图像识别的精度，同时还能够提高图像识别的速度。
在一个优选的实施方式中，在对卷积神经网络进行学习训练时，在训练样本中加入运动模糊的图像，模拟光电球拍摄过程中移动平台运动造成的图片动态模糊现象，以让无人机在实际识别降落标识的过程中更快的完成识别。
虽然卷积神经网络在对图像识别时识别度精度，但其对机载计算机的性能要求高，若直接使用卷积神经网络对降落标识进行识别，会出现机载计算机运算速度低于光电球旋转拍摄速度，导致无人机搜索识别降落标识较慢，机载计算机耗电加剧，甚至出现机载计算机死机等现象。同时，过慢的搜索速度可能导致无人机在搜索识别降落标识的过程中，移动平台运动到无人机识别范围外，导致无人机无法找到降落平台。
在本发明中，在图像识别到椭圆后，才使用卷积神经网络对降落标识进行识别，而椭圆识别过程运算量极低，能够明显加快无人机对降落标识的搜索识别过程，可实现实时识别。
进一步地，在子步骤S22中，当卷积神经网络识别出降落标识后，进行步骤S3；当卷积神经网络未识别出降落标识，则光电球继续旋转，重复子步骤S21、S22，直至卷积神经网络识别出降落标识。
在一个更优选的实施方式中，在子步骤S21中，采用基于LeNet-5的卷积神经网络，LeNet-5可参考文献：Gradient-Based Learning Applied to Document Recognition，其识别准确率高，进一步降低了卷积神经网络对机载计算机性能的要求，提高了识别速度。
在步骤S3中，在无人机识别到降落标识后，光电球的摄像装置持续拍摄降落标识，以提供图像，机载计算机通过卷积神经网络识别降落标识，使得无人机能够基于视觉引导不断逼近降落标识。
具体地，无人机向降落标识方向飞行，光电球的摄像装置实时拍摄降落标识，将拍摄的图像传递至机载计算机，机载计算机根据每秒从视频图像中提取15～60张图片，按照先后传递的两张图片中降落标识的像素偏差并结合无人机与目标之间的直线距离以及无人机飞行的高度，计算出无人机与降落标识之间的相对位置信息，无人机基于相对位置信息不断逼近降落标识。
在一个优选的实施方式中，所述降落标识的像素偏差是指以降落标识中心点的像素位置变化计算得到。
在本发明中，所述无人机机载计算机利用PID控制无人机飞行姿态和光电吊舱的动作，优选地，所述无人机逼近降落标识的过程采用比例导引法实现，无人机和作为降落目标的移动平台之间的相对运动方程式如下所示：
Figure BDA0002603955600000091
其中，r为降落标识中心点和无人机之间的距离，通过红外测距模块获得，q为目标线与水平面之间的夹角。σ、σT分别为无人机速度矢量与水平面之间的夹角、目标速度矢量与水平面之间的夹角，η和ηT为无人机速度矢量与目标线之间的夹角、目标速度矢量与目标线之间的夹角，VT表示移动平台的速度矢量，V是无人机的速度矢量，K是比例系数，取值为2～5。
在本发明中，所述目标线是指无人机中心与降落标识中心点的连线；σ、η、V通过无人机的速度传感器获得；σT、ηT、VT通过连续图片中的像素位移计算获得；q通过反三角函数计算得到，q＝arcsin(h/d)，其中h为无人机高度信息，通过高度测量模块获取，d为无人机与目标小车之间的距离信息，通过红外测距模块获取。
进一步地，将初始状态r、q、σ和η代入相对运动方程式，并持续迭代更新实时获得的σ、η、V、σT、ηT、VT，采用数值积分的方法获得无人机的加速度信息，将无人机的加速度信息传递至飞控装置来控制速度姿态，使得r值不断减少，达到无人机不断逼近降落标识的效果。
更进一步地，无人机机载计算机还能够根据无人机与降落标识之间的位置关系，计算高清摄像头的转动角速度信息，并传递给光电吊舱，来控制光电球的转动，从而实现多设备的协同。
根据本发明，随着无人机不断逼近降落标识，降落标识在光电球拍摄的图像中的占比逐渐增大，甚至充斥整个视场，此时，卷积神经网络对降落标识的识别率明显降低，需要调整对降落标识的识别方式，确保识别准确度。
在一个优选的实施方式中，当无人机与降落标识的距离在1～5米时，更优选在2米时，调整对降落标识的识别方式，通过识别X形状的中心点来确定降落标识的中心位置。
进一步地，使用几何约束确定X形状的中心，包括如下子步骤：
S31、使用Canny边缘检测从输入图像中提取边缘；
S32、使用霍夫变换检测边缘中的线段；
S33、使用约束条件获得降落标识中心位置。
在子步骤S31中，机载计算机在光电吊舱传递的视频中提取图片，每秒视频中提取15～60张图片，优选地，每秒视频中提取20～30张图片，对每张图片利用Canny边缘检测将图片转换成二值图像，得到图像的边缘信息，结果如图4所示。
在子步骤S32中，所述霍夫变换是一种特征检测，被广泛应用在图像分析、计算机视觉以及数位影像处理中，霍夫变换是能够辨别找出物件中的特征，在本发明中，通过霍夫变换检测边缘中的线段，结果如图5所示。
在子步骤S33中，将经过霍夫变换检测出的线段通过几何约束来确定降落标识的中心，包括两个子步骤：
S331、确定多个V型；
S332、从多个V型中确定降落标识的中心位置。
在步骤S331中，任选线段进行两两组合，保留能够组合成的v型。
具体地，如图6所示，两条线段分别用a、b表示，
其中，在图像上，线段a的两个端点表示为
Figure BDA0002603955600000111
Figure BDA0002603955600000112
。线段b的两个端点表示为
Figure BDA0002603955600000113
当a、b两条线段满足约束条件：
Figure BDA0002603955600000114
Figure BDA0002603955600000115
则表示两条线段能够组合成v型，其中，
Figure BDA0002603955600000116
是两个向量的夹角，δω是两条线段的夹角的范围，
Figure BDA0002603955600000117
表示在线段a、b中各取任意一个端点，取得的两个端点之间的距离小于距离约束值Thrp。
在一个优选的实施方式中，
Figure BDA0002603955600000121
即两条线段夹角的范围为
Figure BDA0002603955600000122
Thrp取6个像素，即两条线段中相近的两个端点之间的距离小于6个像素。
在步骤S332中，从确定的多个V型中任选3个V型，进行几何约束，以确定降落标识的中心位置。
将一个V型标记为i，在组成V型的两条线段上分别取点，标记为
Figure BDA0002603955600000123
和
Figure BDA0002603955600000124
两条线段(或线段延长线)的相交点标记为
Figure BDA0002603955600000125
其中
Figure BDA0002603955600000126
到
Figure BDA0002603955600000127
的长度与
Figure BDA0002603955600000128
到
Figure BDA0002603955600000129
的长度相同，将
Figure BDA00026039556000001210
的中点标记为
Figure BDA00026039556000001211
其它两个V型按同样的方法标记为j、k，如图7所示。
当3个V型满足约束条件：
Figure BDA00026039556000001212
Figure BDA00026039556000001213
则表示这3个V型为降落标识X形状的组成部分，降落标识的中心位置为
Figure BDA00026039556000001214
和
Figure BDA00026039556000001215
的中点位置。其中
Figure BDA00026039556000001217
是两个向量的夹角，
Figure BDA00026039556000001216
是角的误差范围。
无人机根据机载计算机解算的降落标识的中心位置控制飞控装置，实现无人机速度姿态控制，不断逼近降落标识。
发明人发现，当无人机与降落标识的距离在1～5米时，通过调整对降落标识的识别方式虽然在一定程度上提高了对降落标识的识别准确度，但其识别精度仍然有所下降，导致控制指令不精确。
优选地，在本发明中，当无人机与降落标识的距离在1～5米时，无人机采用加速前冲的方式快速靠近降落标识，以提高降落位置的精度。
令人惊喜的是，由于采用识别X形状的中心点来确定降落标识的中心位置的方式，识别单张图片中降落标识对机载计算机性能要求明显降低，使得机载计算机识别速度加快，更有利于降落标识的实时识别。
实施例
实施例1
进行无人机车载移动平台降落测试，在一辆机动车上设置降落标识，机动车以15km/h的速度在场地移动，无人机的最大飞行速度为10m/s。
无人机在指定处起飞，起飞后开始计时，起飞时光电球处于向下静止状态，在无人机上升到24m左右的高空时悬停，光电球开始旋转搜索识别降落标识。
在搜索识别降落标识过程中，无人机机载计算机在光电吊舱传递的视频中每秒提取57张图片，先通过Canny边缘检测对每张图片检测，当具有椭圆标志后，在利用改进的LeNet-5卷积神经网络对降落标识进行识别。当识别降落标识后，无人机以5m/s的速度逼近降落标识，当与降落标识距离为2m时，调整对降落标识的识别方式，使用Canny边缘检测和霍夫变换检测线段，并是用约束条件获得降落标识中心位置，同时无人机提高飞行速度，以10m/s的速度迅速靠近降落标识中心位置，完成降落，共用时63秒，无人机降落位置与降落标识中心偏差0.2米以内。
采用其它降落控制方式的无人机进行相同测试，完成降落时间普遍在90秒以上。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”和“外”等指示的方位或位置关系为基于本发明工作状态下的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。

Claims (10)

1.一种基于视觉引导的无人机移动平台降落方法，其特征在于，包括以下步骤：
S1、设置移动平台降落标识；
S2、无人机搜索识别降落标识；
S3、无人机基于视觉引导不断逼近降落标识直至完成降落。
2.根据权利要求1所述的基于视觉引导的无人机移动平台降落方法，其特征在于，
所述降落标识为通用降落标志，包括椭圆和位于椭圆中央的X形状的标志。
3.根据权利要求1所述的基于视觉引导的无人机移动平台降落方法，其特征在于，
在步骤S2中，当无人机搜索识别降落标识时，无人机距离降落平台的高度大于15米。
4.根据权利要求1所述的基于视觉引导的无人机移动平台降落方法，其特征在于，
机载计算机接收到光电吊舱传递的地面视频图像后，根据图像搜索识别降落标识，所述搜索识别包括以下子步骤：
S21、搜索椭圆标志；
S22、识别降落标识。
5.根据权利要求4所述的基于视觉引导的无人机移动平台降落方法，其特征在于，
在子步骤S21中，机载计算机在光电吊舱传递的视频中提取图片，对每张图片利用Canny边缘检测将图片转换成二值图像，得到图像的边缘信息，通过对边缘信息中的线段进行约束，判断线段是否组合成椭圆。
6.根据权利要求5所述的基于视觉引导的无人机移动平台降落方法，其特征在于，
根据线段边缘梯度的正、负值将线段分为两类弧线，将两类弧线交替匹配，利用弧线端点之间的距离约束和斜率约束进行组合，当出现4条弧线彼此交替组合成闭环时，表示线段组合成椭圆。
7.根据权利要求5所述的基于视觉引导的无人机移动平台降落方法，其特征在于，
在判断线段是否组合成椭圆前，将线段进行预处理，将明显不能组合成椭圆的线段剔除。
8.根据权利要求4所述的基于视觉引导的无人机移动平台降落方法，其特征在于，
在步骤S22中，通过卷积神经网络实现对降落标识的识别。
9.根据权利要求1所述的基于视觉引导的无人机移动平台降落方法，其特征在于，
在步骤S3中，在无人机识别到降落标识后，光电球的摄像装置实时拍摄降落标识，将拍摄的图像传递至机载计算机，机载计算机通过卷积神经网络识别降落标识，并按照先后传递的图片中降落标识的像素偏差计算出无人机与降落标识之间的相对位置信息，无人机基于相对位置信息不断逼近降落标识。
10.根据权利要求1所述的基于视觉引导的无人机移动平台降落方法，其特征在于，
当无人机与降落标识的距离在1～5米时，通过识别X形状的中心点来确定降落标识的中心位置。
CN202010733177.8A 2020-07-27 2020-07-27 基于视觉引导的无人机移动平台降落方法 Pending CN112198884A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010733177.8A CN112198884A (zh) 2020-07-27 2020-07-27 基于视觉引导的无人机移动平台降落方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010733177.8A CN112198884A (zh) 2020-07-27 2020-07-27 基于视觉引导的无人机移动平台降落方法

Publications (1)

Publication Number Publication Date
CN112198884A true CN112198884A (zh) 2021-01-08

Family

ID=74005497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010733177.8A Pending CN112198884A (zh) 2020-07-27 2020-07-27 基于视觉引导的无人机移动平台降落方法

Country Status (1)

Country Link
CN (1) CN112198884A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115951620A (zh) * 2023-03-10 2023-04-11 众芯汉创(江苏)科技有限公司 一种无人机智能化设备管控系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419055A (zh) * 2008-10-30 2009-04-29 北京航空航天大学 基于视觉的空间目标位姿测量装置和方法
EP2818957A1 (en) * 2013-06-24 2014-12-31 Honeywell International Inc. System and method for UAV landing
US20150051758A1 (en) * 2013-08-16 2015-02-19 Korea Aerospace Research Institute Method and System for Landing of Unmanned Aerial Vehicle
CN106527487A (zh) * 2016-12-23 2017-03-22 北京理工大学 一种运动平台上无人机自主精确着陆系统及着陆方法
CN107291089A (zh) * 2017-07-18 2017-10-24 西安电子科技大学 一种用于无人机自主着舰的合作目标方法
CN107544550A (zh) * 2016-06-24 2018-01-05 西安电子科技大学 一种基于视觉引导的无人机自动着陆方法
CN108563236A (zh) * 2018-06-08 2018-09-21 清华大学 一种基于同心圆特征的纳型无人机目标跟踪方法
CN109947128A (zh) * 2019-03-13 2019-06-28 歌尔股份有限公司 无人机控制方法、无人机控制装置、无人机及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419055A (zh) * 2008-10-30 2009-04-29 北京航空航天大学 基于视觉的空间目标位姿测量装置和方法
EP2818957A1 (en) * 2013-06-24 2014-12-31 Honeywell International Inc. System and method for UAV landing
US20150051758A1 (en) * 2013-08-16 2015-02-19 Korea Aerospace Research Institute Method and System for Landing of Unmanned Aerial Vehicle
CN107544550A (zh) * 2016-06-24 2018-01-05 西安电子科技大学 一种基于视觉引导的无人机自动着陆方法
CN106527487A (zh) * 2016-12-23 2017-03-22 北京理工大学 一种运动平台上无人机自主精确着陆系统及着陆方法
CN107291089A (zh) * 2017-07-18 2017-10-24 西安电子科技大学 一种用于无人机自主着舰的合作目标方法
CN108563236A (zh) * 2018-06-08 2018-09-21 清华大学 一种基于同心圆特征的纳型无人机目标跟踪方法
CN109947128A (zh) * 2019-03-13 2019-06-28 歌尔股份有限公司 无人机控制方法、无人机控制装置、无人机及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
REN JIN，等: "Ellipse proposal and convolutional neural network discriminant for autonomous landing marker detection", 《JOURNAL OF FIELD ROBOTICS》 *
葛致磊，等: "《导弹导引系统原理》", 31 March 2016, 国防工业出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115951620A (zh) * 2023-03-10 2023-04-11 众芯汉创(江苏)科技有限公司 一种无人机智能化设备管控系统

Similar Documents

Publication Publication Date Title
CN111326023B (zh) 一种无人机航线预警方法、装置、设备及存储介质
Zhao et al. Detection, tracking, and geolocation of moving vehicle from uav using monocular camera
US10703479B2 (en) Unmanned aerial vehicle, control systems for unmanned aerial vehicle and control method thereof
Martínez et al. On-board and ground visual pose estimation techniques for UAV control
Kong et al. Autonomous landing of an UAV with a ground-based actuated infrared stereo vision system
CN103149939B (zh) 一种基于视觉的无人机动态目标跟踪与定位方法
Strydom et al. Visual odometry: autonomous uav navigation using optic flow and stereo
CN113485441A (zh) 结合无人机高精度定位和视觉跟踪技术的配网巡检方法
CN106054929A (zh) 一种基于光流的无人机自动降落引导方法
CN105759829A (zh) 基于激光雷达的微型无人机操控方法及系统
CN102538782B (zh) 一种基于计算机视觉的直升机着陆引导方法
CN105549614A (zh) 无人机目标跟踪方法
CN111649737B (zh) 一种面向飞机精密进近着陆的视觉-惯性组合导航方法
CN110081875B (zh) 一种仿鸽子智能的无人机自主导航系统及方法
CN105644785A (zh) 一种基于光流法和地平线检测的无人机着陆方法
Li et al. UAV autonomous landing technology based on AprilTags vision positioning algorithm
CN106767791A (zh) 一种采用基于粒子群优化的ckf的惯性/视觉组合导航方法
CN111426320A (zh) 一种基于图像匹配/惯导/里程计的车辆自主导航方法
Chiu et al. Vision-only automatic flight control for small UAVs
Choi et al. Tracking an unknown moving target from uav: Extracting and localizing an moving target with vision sensor based on optical flow
CN114689030A (zh) 一种基于机载视觉的无人机辅助定位方法及系统
CN109584264B (zh) 一种基于深度学习的无人机视觉引导空中加油方法
CN112198884A (zh) 基于视觉引导的无人机移动平台降落方法
CN117636284A (zh) 一种基于视觉图像导引的无人机自主着降方法及装置
Schell et al. Autonomous landing of airplanes by dynamic machine vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210108