CN110426046A - 一种无人机自主着陆跑道区域障碍物判断与跟踪方法 - Google Patents

Abstract

本发明属于飞行器着陆引导技术领域，公开了一种无人机自主着陆跑道区域障碍物判断与跟踪方法，判断着陆区域是否存在障碍物；判断着陆路线上是否存在直接威胁；若存在直接威胁，则继续盘旋并探测着陆合作目标；探测到着陆合作目标后，进入着陆过程，对疑似障碍物实时跟踪；对疑似障碍物进行测距，确保着陆路线上不存在安全隐患；判断着陆线路存在直接威胁，则拉起复飞；每隔十秒进行基于UNet的跑道区域障碍物判断方法，对障碍物位置修正；判断着陆线路不存在直接威胁，则判断是否已安全着陆；若着陆到地面后，着陆过程结束；若未着陆到地面，则继续对疑似障碍物实时跟踪。本发明保证了着陆安全，判断跑道区域是否存在障碍物；若存在障碍物则进行跟踪。

Description

一种无人机自主着陆跑道区域障碍物判断与跟踪方法

技术领域

本发明属于飞行器着陆引导技术领域，尤其涉及一种无人机自主着陆跑道区域障碍物判断与跟踪方法。

背景技术

目前，最接近的现有技术：无人机(Unmanned Aerial Vehicle,UAV)是一种按输入程序自主控制飞行的非载人飞行器。无人机技术已广泛应用于战场侦察、电子对抗、目标指示、战果评估、通信中继以及大地测绘、资源探测、空气采样、环保监视、交通管理等多个领域。在军用方面，由于其非载人的特点，可以被用于执行危险任务而不需担心人员安全。随着科技的发展，无人机在侦察监视、无线中继及执行空战任务等方面的重要作用逐渐凸显，成为目前重点发展的航空装备之一。在民用方面，由于无人机能够进入人员不易进入的地区、执行长航时任务，则可将其用于地理勘测、森林火灾防治及农药喷洒等作业任务，且其执行任务的成本低于有人机及卫星。由此可见，无人机技术在军用及民用方面都具有重要的研究意义。为了进一步推动无人机技术朝着自动化和智能化的方向发展，自主控制成为当前无人机技术研究的热点。如若能实现在无人机飞行的各阶段都通过自主技术加以完成，无人机技术的智能化将最终取得成功。

无人机按照机体结构的特点主要分为两种类型：无人固定翼飞机和无人旋翼飞机。对于采用轮式起落架滑跑方式起降的无人固定翼飞机，对着陆过程中的导航精度、可靠性、安全性的要求很高。自主飞行着陆是无人固定翼飞机整个自动飞行过程中最危险也是要求最高的过程。据有关统计表明，虽然回收(着陆)阶段的时间只占整个飞行任务的2％～3％，但在这个过程中所发生的故障数约占整个飞行任务中故障总数的80％以上。造成这种现象的原因是：在着陆阶段，其飞行状态(速度、高度、航向)、自身构型(襟翼、起落架、扰流板等)都有很大的变化，当无人机出现失控时，地面控制人员人工干预飞机存在一定的延时，以及着陆过程中可能会出现地面障碍物影响安全，因此，要提高无人机进场着陆过程的安全性，必须提高无人机的自主控制能力，而自主控制能力的提高，与其机载导航设备的信息获取及应用能力密切相关。

无人机自主着陆是指无人机依赖机载的导航设备和飞行控制系统来进行定位导航并最终控制无人机降落在着陆场的过程。目前已存在的着陆方法有：直接空中回收、借助降落伞降落、人为控制滑翔的方式、阻拦回收以及自主着陆回收等五种方式，其中前四种方法很大程度依赖于操作人员的操作，并且受环境条件影响比较大，而自主着陆导航则是研究的热点。要想实现自主着陆，无人机必须具备自主导航能力，因此高精度的自主着陆导航技术是无人机自主着陆的关键技术。

随着对无人机着陆的自主性和安全性要求的不断提高，传统的导航技术已经不能完全满足需求了，因此，急需寻求一种安全性更高、自主性更好的导航技术。视觉导航技术是一种多学科交叉发展而兴起的前沿导航方式，通过摄像机等成像装置获取图像，对得到的图像进行处理分析，从而获取运动目标位置和姿态信息。视觉导航方法无需依靠地面和空中导航设备，能够通过摄像机实时获取的图像中提取丰富的信息，使无人机具有较好的人机交互能力。视觉导航在无人机上的应用前景十分广阔，也是未来导航领域研究的重要方向，因此开展对视觉导航系统关键技术的研究十分必要。

无人机着陆导引是指通过获取各种传感器信息，利用信息融合技术，求取无人机着陆参数的过程。无人机着陆导引分为主动导引着陆和被动导引着陆。主动导引着陆是指在着陆过程中，导引系统接收来自无人机外部的由人工生成的着陆导引信号，而后，根据该信号自动进行着陆参数的估计解算，进而实现无人机在无人工操纵条件下的自动着陆。目前，常见的主动导引方式有仪表着陆(ILS如分米波/毫米波导引着陆)、基于GPS的导引着陆、基于合作目标的视觉导引着陆。其中，仪表导引着陆存在如下缺陷：

(1)需要构建复杂的地面导引设施，且对着陆场地要求较为苛刻，资金投入大；

(2)通过无线电信标引导无人机着陆，存在无线电信号干扰的风险，影响无人机的顺利着陆。

基于GPS的导引着陆，采用GPS作为导引信号，而GPS作为卫星导航系统存在如下缺陷：

(1)GPS卫星导航系统由美国研制，故GPS信号受美国控制，进而使得以GPS作为着陆导引方式的无人机受制于人；

(2)GPS信号为极其微弱的无线电信号，容易受到其他无线电信号的干扰以及障碍物的阻挡导致GPS信号无法收接，影响无人机顺利着陆；

(3)单个GPS信号无法完成对无人机姿态、航向信息的量测，仅能提供无人机的速度、位置信息。

被动导引着陆系统是相对于主动导引着陆而言的，主要指在无人机着陆过程中，导引系统仅通过无人机自身载有的机载传感器获取着陆信息，而后，根据获得的信息自动进行着陆参数的估计解算，随后，自动生成着陆导引信息，实现无人机在不依赖人工操纵条件下的自动着陆。被动导引着陆系统与主动导引着陆系统相比最大的特点是被动导引着陆系统不需要依赖外部人工注入的导引信息。被动导引系统信息获取主要依赖于具有自主获取信息能力的机载传感器(如惯导系统、相机系统等)。被动导引着陆系统具有独立获取着陆信息的能力，可实现无人机自主着陆导引，近年来，被动导引着陆系统成为当前的研究热点。在这一领域研究中，基于视觉的被动导引系统引起了极大关注。其主要原因如下：

(1)相机系统的性能得到极大提高且成本降低，使得相机系统得到了广泛的应用，作为重要的图像信息获取系统，大多数无人机均载有相机系统；

(2)由相机系统构成的视觉系统可完成对无人机姿态、航向、速度、位置的全状态量测，且具有较高的量测精度；

(3)视觉系统可不依赖外部人工注入的导引信息，完成对无人机飞行参数的量测，具有较高的信息自主获取能力。

基于视觉的被动导引系统包括以下几方面：

(1)视觉导引过程中，地面特征对导引参数获取的影响，主要研究地面特征的形状与求解导引参数之间的关系；

(2)视觉导引系统的结构对无人机导引参数获取的影响，主要研究单台相机与两台相机对求解导引参数的影响；

(3)视觉系统校正与导引参数求解之间的相互关系及影响。

用于视觉着陆的视觉导航系统主要由位姿解算算法和图像处理两大关键技术组成，其中最核心的技术是位姿解算算法的设计，位姿解算算法决定了图像处理的最终目的，也间接决定了图像处理的算法实现。国外科研机构在无人机视觉导航方面起步较早，欧美和日本等国家在这方面做了很多的实验和尝试，提出了许多创新的方法和理论，为视觉导航在无人机上的应用提供了技术和理论支持。表1和表2分别为国外和国内相关研究概况。

表1国外无人机视觉导航研究现状

表2国内无人机视觉导航研究现状

基于主动视觉机制的着陆导航系统多以无人机搭载摄像头、通过地面架设合作目标或者相机捕捉其他标志物来获取图像。根据图像提取的对象不同，又分为基于非合作目标和合作目标两大类：

基于非合作目标的方式主要是以地平线、海天线、着陆跑道和着陆场附近的环境等特征作为图像待提取的对象。

(1)基于地平线、海天线和跑道的特征检测

基于地平线、海天线、跑道线特征的无人机视觉着陆位姿估计方法主要用于固定翼无人机的着陆引导。图像中的直线特征比较明显易于提取，通常根据直线的灭影点、灭影线等信息求解位姿参数。

2009年，陈龙胜等人利用Hough变换检测跑道边界并提取图像跑道边界并提取图像直线特征同时融合无人机的平移运动和旋转运动，根据地面直线和图像直线对应关系估计出无人机姿态和位置。

2012年，韩国建国大学Vladimir等人提出了基于感兴趣区域Hough变换的直线跟踪方法引导无人机自主着陆。

2012年，桂阳通过检测地平线和海天线解算出无人机的俯仰角和滚转角信息。通过实验验证，检测到的相机的俯仰角和滚转角的均方根误差分别为0.002°和0.025°。

2013年，王小洪通过在由远及近的距离上，识别天际线、着陆跑道以及合作目标完成视觉着陆的整个阶段的特征提取和位姿检测。通过RANSAC拟合地平线，由地平线的斜率计算得到无人机的滚转角和俯仰角。

基于地平线、海天线和跑道线特征的位姿估计，虽然图像特征易于提取，但在单一特征下，不能求解出全部的位姿参数，需组合两个及两个以上特征或配合另外的机载测量设备求解其他的位姿参数。

(2)基于着陆场区域特征以及SLAM算法提取环境特征

SLAM技术是近些年来新兴的技术，是指机体通过搭载传感器在未知环境下感知周围物体的位置信息，同时构建和更新地图并规划出相应的运动路径，在二维和三维空间中都有应用。

2008年，Miller等人提出了基于图像匹配的方法引导无人机降落。该算法在不同距离和尺度下通过模板匹配跑道以及跑道周围的地理特征对无人机进行引导。该方法需要大量的模板库，且匹配过程耗时较长。

2012年王希彬等人利用摄像机和惯导传感器组成的系统，建立了无人机视觉SLAM算法的数学模型，并使用EKF滤波对SLAM算法进行了改进，通过仿真实验，验证了SLAM技术在无人机导航上应用的可行性。

2015年，曹美会等人通过增加特征点提取数量和优化关键帧存储对传统视觉SLAM算法进行了改进，采用EKF融合无人机位置和三维加速信息，得到了较为精准的位置信息。

基于合作目标的方式主要通过在着陆点放置人为设计的图标，提取图标的图像特征来计算无人机与着陆点的相对位姿关系。基于合作目标的方式可以根据提取的特征的不同大致分为基于点特征、基于平行线特征、基于区域图案特征和圆特征四大类。

(1)基于点特征

2005年，Yuan等人通过检测四白一黑的五矩形组成的图标的20个角点来解算无人机的相对位姿。2006年，那盟等人通过检测矩形图标4个角点来计算得到无人机的相对位姿。2012年李宁等人，提出了基于6个圆心已标识的红色圆合作目标的无人机视觉着陆方案。

2013年Gui Y等人提出了使用红外灯的无人机视觉着陆系统。布置四个红外灯作为合作目标点。飞行实验数据证明该方法具有较小的均方误差。

基于点特征的方法得到的位姿信息是最全面的，但考虑解算过程中受噪声环节较多，一般需要多特征点目标和高精度提取算法来减少误差。

(2)基于平行线特征

2004年刘士清等人设计了包含四组平行线的图标，通过在图像中检测灭影点、灭影线和角点来计算无人机相对位姿。

2008年王晓剑等人研究了基于双平行线特征的位姿估计解析算法，建立了简单直接地推导出位姿参数解析表达式，在理论和实验上证明了该算法的正确有效性。

2013年郑晓平在研究基于平行直线的位姿解算算法中，推导出分级地标中的平行线的几何关系，得出无人机降落所需的位姿信息。在有噪声干扰的情况下，该算法比基于点的特征的位姿解算算法更具稳定性。

基于平行线特征的方法对灭影点和灭影线的提取精度要求较高，不具备抗干扰性，且求解的位姿参数没有基于点特征的全面。

(3)基于区域图案特征

基于区域特征的方法是利用图标成像区域的面积、形心、中心轴、几何矩等特征与位姿之间的关系来计算无人机相对于合作目标的位姿参数。

2002年看，Saripalli等人提出了实时的无人机着陆方案及实现方法，构建了结合视觉及GPS的导航系统。该系统的视觉测量部分采用H型合作目标。实验数据表明，该系统的精度和重复性较好，可在40cm位置误差和7°角度误差内实现自主着陆。

2003年邱力为等人设计了无人机自主着舰系统使用了一大一小两个矩形组成的图标。通过图像中两矩形的中心轴信息来调整无人直升机航向，使其悬停于大矩形中心正上方，再利用大矩形的面积信息结合扩展Kalman滤波得到无人直升机与图标之间的想对位姿。

2006年Tsai等人提出了使用T型合作目标的无人机位姿估计方法。该方法通过Hu不变矩识别合作目标，利用T型合作目标的两组平行线及交点解算位姿参数，三个角度参数的均方误差分别为4.8°、4.2°和4.6°。2007年Tsai等人又将视觉测量值与惯性元件测量值融合，基于卡尔曼滤波得到更精确的位姿估计值。

2013年Yang等人构建了通过视觉系统求解6位姿参数的微型无人机系统。该系统采用H型外部加圆环的合作目标。通过圆环的透视投影关系求解除偏航角外的5个位姿参数，通过H型的透视投影关系求解偏航角。

朱建明对传统“H”形合作目标进行改进，将“H”形图标的上端开口封住，改进后的图标能够克服“H”形图标缺乏有方向性的缺点，在地标图案分割的基础上，采用基于灰度变化的角点检测方法，提取合作标志的特征点。

夏正浩提出了一种基于地面红外合作目标和机载红外视觉系统的着陆方法，将合作目标形状设计为“T”形，利用“长边”与跑道方向一致来指出无人机触舰后机头指向，运用基于奇异值分解的热晕模糊去除方法，得到较清晰的地标图像。

2018年，T.Yang等提出了一种基于混合摄像机阵列的无人机自主着陆系统，它可以在没有GPS的环境下降落在移动的UGV上，其UGV上打印有合作目标图标。

(4)基于圆特征

基于圆特征的方法的原理是圆作为平面二次曲线，具有某些特殊的透视射影性质，利用这些性质可以解算摄像机的相对位姿。

2005年，张广军等人设计了双圆图标用于无人机自主着陆，利用圆的公切点和具有透视射影不变性的特征点来获取无人机的位姿参数。

2008年Wang、2009年张磊和2013年苗锡奎等分别在圆特征基础上融入其他特征量进行组合解算，其中Wang使用圆与平行线组合，张磊融合激光跟踪仪测量信息与圆的图像信息，苗锡奎使用圆与参考点组合。

2009年，Lange等人采用同心圆环合作目标构建了无人机自主着陆系统。该合作目标有一些黑色背景上的白色同心圆环组成，每个圆环的内外径比值唯一，从而使该合作目标可以在不同环境下被可靠识别，且识别算法简单、实时性好。识别合作目标后，先通过圆环半径值估计高度和距离，在通过级联控制器调整无人机位置。

2010年韩国航天研究中心的LEE教授在已知姿态角及无人机和标志间水平投影距离的情况下，通过设计三个大小不同、同轴的圆形标志来完成无人机的着陆研究。该方法建立在高精度姿态角已知的情况下，根据圆形在垂直和水平两个方向的畸变量关系来估计位姿，但当无人机高度较低时，误差较大，不具有较好的稳定性。

基于圆特征的方法要求图像清晰度、分辨率足够高。经过以上分析可以看出国内无人机视觉导航研究虽然相较于国外来说，起步较晚但发展迅速，通过近二十多年的发展，已经取得了许多重要的成果。

视觉着陆导引系统具有被动导引能力，且成本低廉，较易实现的特点。被动导引系统因不依赖无人机以外的人工注入信息即可实现无人机的自主着陆，得到了广泛关注。

综上所述，国内外对基于视觉的无人机着陆技术的研究均处于起步阶段，目前研究方面虽已取得了一些成果，但距离真正的工程实现仍有很多工作有待完成与深入研究。在着陆阶段，无人机的飞行状态有很大的变化，并且着陆过程中可能会出现地面障碍物影响安全，但是目前尚未有对无人机着陆区域障碍物判断和跟踪方法的研究。

综上所述，现有技术存在的问题是：无人机在着陆阶段，飞行状态有很大的变化，并且着陆过程中可能会出现地面障碍物影响安全，但是目前尚未有对无人机着陆区域障碍物判断和跟踪方法的研究。

解决上述技术问题的难度：

1无人机着陆过程中由于飞行状态有很大的变化，操作复杂，因此需要在较远的距离判断是否存在障碍物；

2如果仅使用激光对地面进行障碍物探测，因为地面所有物体都会存在激光反射，无法判别地面物体是不是障碍物；

3对着陆区域障碍物的判定也无法使用目标检测、跟踪算法。因为一般情况下对目标的检测、跟踪需要预先知道目标的类别，在采集到足够多的训练样本之后进行训练，然后进行检测、跟踪。但是障碍物的特点是类别、大小等都是未知的，无法采集到所有可能出现的障碍物进行预先训练。

解决上述技术问题的意义：

本发明通过对大量着陆视频的研究发现，对着陆安全有影响的障碍物是与跑道平面有一定高度差的物体，在机载摄像机拍摄到的图像中，这些物体会存在明显的边缘，本发明提出的方法使用图像语义分割卷积神经网络将这些存在明显的边缘的物体分割出来，并对其进行实时跟踪和测距，确保着陆航线安全。将疑似障碍物区域分割出来之后，测距过程只需测量已分割的区域和本机的距离即可，无需知道被跟踪区域的类别，操作很简单；本发明采用的Mean shift算法，无需知道被跟踪区域的类别，只需在被跟踪区域采集特征进行跟踪即可。在将疑似障碍物区域分割出来之后，使得其它问题的解决变得简单、快速，能够满足无人机在着陆阶段飞行状态有很大的变化的应用环境。

发明内容

针对现有技术存在的问题，本发明提供了一种无人机自主着陆跑道区域障碍物判断与跟踪方法。

本发明是这样实现的，一种无人机自主着陆跑道区域障碍物判断与跟踪方法，所述无人机自主着陆跑道区域障碍物判断与跟踪方法包括以下步骤：

第一步，判断着陆区域是否存在障碍物，存在障碍物转到第二步；不存在障碍物转到第四步；现有算法中未提及判断着陆区域是否存在障碍物的判断方法。在本发明算法中，如果不在这一步中将疑似障碍物分割出来，则无法进行后续的障碍物跟踪与测距。

第二步，判断着陆路线上是否存在直接威胁，存在直接威胁，转入第三步；不存在直接威胁，转入第四步；激光信号不易受气流等外界因素影响，能够满足无人机室外环境下对于障碍物检测的要求。

第三步，继续盘旋，探测到着陆合作目标后，转入第一步；

第四步，进入着陆过程，对疑似障碍物实时跟踪；每隔十秒，再进行一次基于UNet的跑道区域障碍物判断方法，对障碍物位置修正；由于着陆过程中无人机位姿变化迅速，机载摄像机采集到的图像也会迅速变化，可能会存在跟丢或者跟踪位置不准确的情况，因此每隔十秒要对障碍物位置修正再进行一次。

第五步，对疑似障碍物进行测距，确保着陆路线上不存在安全隐患；判断着陆线路存在直接威胁，则拉起复飞，探测到着陆合作目标后，转入第一步；判断着陆线路不存在直接威胁，则判断是否已安全着陆；已着陆到地面着陆过程结束；未着陆到地面，转入第四步。

进一步，所述判断着陆区域是否存在障碍物的方法包括：首先，通过在无人机的机载摄像机采集到的视频中截取一张着陆点附近区域图像。由于对着陆安全有影响的障碍物是与跑道平面有一定高度差的物体，因此在机载摄像机拍摄到的图像中，这些物体会存在明显的边缘。但是障碍物的特点是类别、大小等都是未知的，无法采集到所有可能出现的障碍物进行预先训练。所以使用UNet对图像进行语义分割，通过检测边缘的方法，将图像中的疑似障碍物分割出来。在分割出每个疑似障碍物区域图像之后，对该区域使用激光位移传感器进行测距，并根据无人机着陆航线和合作目标位置判断疑似障碍物是否对着陆安全产生影响，如果不存在影响安全的情况，开始着陆。

进一步，所述基于激光位移传感器的障碍物检测方法对基于UNet的跑道区域障碍物判断方法和基于机器视觉的障碍物跟踪方法跟踪的疑似障碍物进行测距，确保着陆路线上不存在安全隐患；激光位移传感器发出激光脉冲，当激光脉冲碰到障碍物后，激光位移传感器的接收器会接收到反馈的激光脉冲，通过发射与接收激光脉冲的时间差，计算出障碍物的距离值；根据障碍物距离着陆航线的远近，判断对无人机着陆安全的威胁程度。

进一步，所述对疑似障碍物实时跟踪方法包括：在确定疑似障碍物位置信息之后，使用基于机器视觉的障碍物跟踪方法对疑似障碍物进行实时跟踪；每隔十秒，再进行一次基于UNet的跑道区域障碍物判断方法，对障碍物位置进行修正。

进一步，使用基于UNet的跑道区域障碍物判断方法确定疑似障碍物位置信息之后，使用基于机器视觉的障碍物跟踪方法对疑似障碍物进行实时跟踪；采用Mean shift算法进行疑似障碍物跟踪。

本发明的另一目的在于提供一种实现所述无人机自主着陆跑道区域障碍物判断与跟踪方法的计算机程序。

本发明的另一目的在于提供一种实现所述无人机自主着陆跑道区域障碍物判断与跟踪方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的无人机自主着陆跑道区域障碍物判断与跟踪方法。

本发明的另一目的在于提供一种执行所述无人机自主着陆跑道区域障碍物判断与跟踪方法的无人机自主着陆跑道区域障碍物判断与跟踪系统，所述无人机自主着陆跑道区域障碍物判断与跟踪系统包括：

障碍物判断模块，用于判断着陆区域是否存在障碍物，主要采用的方法为基于UNet的跑道区域障碍物判断方法；

直接威胁判断模块，用于判断着陆路线上是否存在直接威胁，主要采用的方法为：通过障碍物判断模分割出的图像中疑似障碍物和着陆合作目标位置远近、障碍物跟踪模块得到的疑似障碍物运动速度大小、障碍物测距模块得到的疑似障碍物与无人机距离大小综合判断是否存在直接威胁。

着陆目标探测模块，用于探测着陆合作目标，可以通过Mask RCNN或者YOLOV3实现；

障碍物跟踪模块，用于着陆过程中，采用基于深度学习和机器视觉的障碍物跟踪方法对疑似障碍物实时跟踪，本发明采用Mean shift算法进行疑似障碍物跟踪，提取的特征包括颜色特征、边缘方向直方图(HOG)特征、局部二值模式(LBP)特征的组合；

障碍物测距模块，用于对疑似障碍物进行测距，确保着陆路线上不存在安全隐患，本发明采用激光位移传感器对疑似障碍物进行测距。

本发明的另一目的在于提供一种无人机，所述无人机搭载有所述的无人机自主着陆跑道区域障碍物判断与跟踪系统。

综上所述，本发明的优点及积极效果为：在无人机开始自主着陆时，为了保证着陆安全，判断跑道区域是否存在障碍物，如果存在障碍物，则对其进行跟踪。

附图说明

图1是本发明实施例提供的无人机自主着陆跑道区域障碍物判断与跟踪方法流程图。

图2是本发明实施例提供的无人机自主着陆跑道区域障碍物判断与跟踪系统的结构示意图；

图中：1、障碍物判断模块；2、直接威胁判断模块；3、着陆目标探测模块；4、障碍物跟踪模块；5、障碍物测距模块。

图3是本发明实施例提供的无人机自主着陆跑道区域障碍物判断与跟踪方法实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种无人机自主着陆跑道区域障碍物判断与跟踪方法，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的无人机自主着陆跑道区域障碍物判断与跟踪方法包括以下步骤：

S101：基于图像语义分割卷积神经网络的跑道区域障碍物判断方法，判断着陆区域是否存在障碍物，如果存在障碍物转到S102；如果不存在障碍物转到S104；

S102：采用基于激光位移传感器的障碍物检测方法，判断着陆路线上是否存在直接威胁，如果存在直接威胁，转入S103；如果不存在直接威胁，转入S104；

S103：继续盘旋，探测到着陆合作目标后，转入S101；

S104：进入着陆过程，采用基于深度学习和机器视觉的障碍物跟踪方法对疑似障碍物进行实时跟踪，因为可能会存在跟丢或者跟踪位置不准确的情况；每隔十秒，再进行一次基于UNet的跑道区域障碍物判断方法，对障碍物位置进行修正；

S105：使用基于激光位移传感器的障碍物检测方法，对疑似障碍物进行测距，确保着陆路线上不存在安全隐患。如果判断着陆线路存在直接威胁，则拉起复飞，探测到着陆合作目标后，转入S101；如果判断着陆线路不存在直接威胁，则判断是否已安全着陆；如果已着陆到地面，则着陆过程结束；如果未着陆到地面，转入S104。

如图1所示，本发明实施例提供的无人机自主着陆跑道区域障碍物判断与跟踪系统包括：

障碍物判断模块1，用于判断着陆区域是否存在障碍物，主要采用的方法为基于UNet的跑道区域障碍物判断方法；

直接威胁判断模块2，用于判断着陆路线上是否存在直接威胁，主要采用的方法为：通过障碍物判断模分割出的图像中疑似障碍物和着陆合作目标位置远近、障碍物跟踪模块得到的疑似障碍物运动速度大小、障碍物测距模块得到的疑似障碍物与无人机距离大小综合判断是否存在直接威胁。

着陆目标探测模块3，用于探测着陆合作目标，可以通过Mask RCNN或者YOLOV3实现；

障碍物跟踪模块4，用于着陆过程中，采用基于深度学习和机器视觉的障碍物跟踪方法对疑似障碍物实时跟踪，本发明采用Mean shift算法进行疑似障碍物跟踪，提取的特征包括颜色特征、边缘方向直方图(HOG)特征、局部二值模式(LBP)特征的组合；

障碍物测距模块5，用于对疑似障碍物进行测距，确保着陆路线上不存在安全隐患，本发明采用激光位移传感器对疑似障碍物进行测距。

下面结合具体实施例对本发明的技术方案作进一步的描述。

本发明实施例提供的无人机自主着陆跑道区域障碍物判断与跟踪方法包括以下步骤：

(1)基于图像语义分割卷积神经网络的跑道区域障碍物判断方法

在着陆过程中，应当对跑道上的障碍物具有检测能力。对着陆安全有影响的障碍物可以定义为：与跑道平面有一定高度差的物体。由于在着陆之前，障碍物的类别、大小等都是未知的，不能使用目标分类方法判断是否存在障碍物。因此，需要采用语义分析方法，将无人机拍摄到的图像进行分割，然后根据各分割部分的大小、形状、位置等信息，判断是否存在威胁到着陆安全的障碍物。

传统的图像分割方法包括阈值法、区域法、边缘法基于超像素的分割方法等。近年来，随着计算机处理速度的提升和相关理论的不断发展，深度学习领域中基于卷积神经网络的图像语义分割模型发展迅速，得益于全卷积神经网络在图像语义分割领域的卓越效果，众多基于全卷积神经网络的图像语义分割模型相继被提出，屡屡刷新多个图像语义分割基准的精度。基于深度卷积神经网络的图像语义分割算法的分割精度和鲁棒性均高于传统算法，可以适应多样化的输入数据，为解决跑道图像语义分割问题提供了更好的解决方案。

UNet是基于FCN改进的一种用于图像语义分割的卷积神经网络，因其网络结构形状类似一个U形而得名，与FCN相比不同的是，UNet在上采样路径中融合了下采样路径中相对应位置的特征图，保留了图像的空间位置信息，提高了特征图的重复利用率，能够实现对图像的精确分割。本发明中，UNet采用的深度学习系统为TensorFlow。

本发明采用的基于UNet的跑道区域障碍物判断方法为：无人机拍摄一张拟着陆区域图像，使用UNet对图像进行语义分割，将图像中的疑似障碍物分割出来，使用本发明提出的基于激光位移传感器的障碍物检测方法，根据无人机着陆航线和合作目标位置判断疑似障碍物是否对着陆安全产生影响，如果不存在影响安全的情况，开始着陆。

(2)基于深度学习和机器视觉的障碍物跟踪方法

在确定疑似障碍物位置信息之后，使用基于机器视觉的障碍物跟踪方法对疑似障碍物进行实时跟踪。因为可能会存在跟丢或者跟踪位置不准确的情况，因此，每隔十秒，可以再进行一次基于UNet的跑道区域障碍物判断方法，对障碍物位置进行修正。

本发明在使用基于UNet的跑道区域障碍物判断方法确定疑似障碍物位置信息之后，使用基于机器视觉的障碍物跟踪方法对疑似障碍物进行实时跟踪。

本发明基于视觉的目标检测与跟踪是图像处理、计算机视觉、模式识别等众多学科的交叉研究课题，在视频监控、虚拟现实、人机交互、自主导航等领域，具有重要的理论研究意义和实际应用价值。

本发明采用Mean shift算法进行疑似障碍物跟踪，Mean shift视觉跟踪算法具有计算复杂度低、调节参数少、稳健性较好和易于工程实现等优点，是目前视觉跟踪领域的重要研究方向。Mean shift算法只需通过较少的迭代次数就能收敛到目标的近似位置，具有较小的计算负荷，且对目标形变和局部遮挡具有一定的容忍性。经典Mean shift目标跟踪算法只使用了颜色直方图来描述目标，易受到颜色相似的背景干扰，在复杂场景下容易造成目标丢失。目前，利用多个特征建立目标模型，以提高跟踪的稳健性和精度。除颜色外常用的特征包括边缘方向直方图(HOG)、局部二值模式(LBP)等。它们对光照变化具有一定的容忍性，同时可以提供丰富的边缘和纹理信息，这些都是颜色特征所不具备的。其中，HOG和LBP对目标的描述能力已经在目标检测与跟踪领域得到验证。

(3)基于激光位移传感器的障碍物检测方法

本发明为了保证着陆过程的安全性，采用基于激光位移传感器的障碍物检测方法，对基于UNet的跑道区域障碍物判断方法和基于机器视觉的障碍物跟踪方法跟踪的疑似障碍物进行测距，确保着陆路线上不存在安全隐患。激光信号不易受气流等外界因素影响，能够满足无人机室外环境下对于障碍物检测的要求。激光位移传感器发出激光脉冲，当激光脉冲碰到障碍物后，激光位移传感器的接收器会接收到反馈的激光脉冲，通过发射与接收激光脉冲的时间差，可以计算出障碍物的距离值。由此根据障碍物距离着陆航线的远近，判断对无人机着陆安全的威胁程度。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种无人机自主着陆跑道区域障碍物判断与跟踪方法，其特征在于，所述无人机自主着陆跑道区域障碍物判断与跟踪方法包括以下步骤：

第一步，判断着陆区域是否存在障碍物，存在障碍物转到第二步；不存在障碍物转到第四步；

第二步，判断着陆路线上是否存在直接威胁，若存在直接威胁，转入第三步；不存在直接威胁，转入第四步；

第三步，继续盘旋，探测到着陆合作目标后，转入第一步；

第四步，进入着陆过程，对疑似障碍物实时跟踪；每隔十秒，再进行一次基于UNet的跑道区域障碍物判断方法，对障碍物位置修正；

第五步，对疑似障碍物进行测距，确保着陆路线上不存在安全隐患；判断着陆线路存在直接威胁，则拉起复飞，探测到着陆合作目标后，转入第一步；判断着陆线路不存在直接威胁，则判断是否已安全着陆；若已着陆到地面，着陆过程结束；若未着陆到地面，转入第四步。

2.如权利要求1所述的无人机自主着陆跑道区域障碍物判断与跟踪方法，其特征在于，所述判断着陆区域是否存在障碍物的方法包括：无人机拍摄一张拟着陆区域图像，使用UNet对图像进行语义分割，将图像中的疑似障碍物分割出来，使用基于激光位移传感器的障碍物检测方法，根据无人机着陆航线和合作目标位置判断疑似障碍物是否对着陆安全产生影响，如果不存在影响安全的情况，开始着陆。

3.如权利要求2所述的无人机自主着陆跑道区域障碍物判断与跟踪方法，其特征在于，所述基于激光位移传感器的障碍物检测方法对基于UNet的跑道区域障碍物判断方法和基于机器视觉的障碍物跟踪方法跟踪的疑似障碍物进行测距，确保着陆路线上不存在安全隐患；激光位移传感器发出激光脉冲，当激光脉冲碰到障碍物后，激光位移传感器的接收器会接收到反馈的激光脉冲，通过发射与接收激光脉冲的时间差，计算出障碍物的距离值；根据障碍物距离着陆航线的远近，判断对无人机着陆安全的威胁程度。

4.如权利要求1所述的无人机自主着陆跑道区域障碍物判断与跟踪方法，其特征在于，所述对疑似障碍物实时跟踪方法包括：在确定疑似障碍物位置信息之后，使用基于机器视觉的障碍物跟踪方法对疑似障碍物进行实时跟踪；每隔十秒，再进行一次基于UNet的跑道区域障碍物判断方法，对障碍物位置进行修正。

5.如权利要求4所述的无人机自主着陆跑道区域障碍物判断与跟踪方法，其特征在于，使用基于UNet的跑道区域障碍物判断方法确定疑似障碍物位置信息之后，使用基于机器视觉的障碍物跟踪方法对疑似障碍物进行实时跟踪；采用Mean shift算法进行疑似障碍物跟踪。

6.一种实现权利要求1～5任意一项所述无人机自主着陆跑道区域障碍物判断与跟踪方法的计算机程序。

7.一种实现权利要求1～5任意一项所述无人机自主着陆跑道区域障碍物判断与跟踪方法的信息数据处理终端。

8.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-5任意一项所述的无人机自主着陆跑道区域障碍物判断与跟踪方法。

9.一种执行权利要求1～5任意一项所述无人机自主着陆跑道区域障碍物判断与跟踪方法的无人机自主着陆跑道区域障碍物判断与跟踪系统，其特征在于，所述无人机自主着陆跑道区域障碍物判断与跟踪系统包括：

障碍物判断模块，用于判断着陆区域是否存在障碍物，基于UNet的跑道区域障碍物判断方法；

直接威胁判断模块，用于判断着陆路线上是否存在直接威胁，通过障碍物判断模分割出的图像中疑似障碍物和着陆合作目标位置远近、障碍物跟踪模块得到的疑似障碍物运动速度大小、障碍物测距模块得到的疑似障碍物与无人机距离大小综合判断是否存在直接威胁。

着陆目标探测模块，用于探测着陆合作目标，通过Mask RCNN或者YOLOV3实现；

障碍物跟踪模块，用于着陆过程中，采用基于深度学习和机器视觉的障碍物跟踪方法对疑似障碍物实时跟踪，采用Mean shift算法进行疑似障碍物跟踪，提取的特征包括颜色特征、边缘方向直方图(HOG)特征、局部二值模式(LBP)特征的组合；

障碍物测距模块，用于对疑似障碍物进行测距，确保着陆路线上不存在安全隐患，采用激光位移传感器对疑似障碍物进行测距。

10.一种无人机，其特征在于，所述无人机搭载有权利要求9所述的无人机自主着陆跑道区域障碍物判断与跟踪系统。