CN108153334A - 无合作目标式无人直升机视觉自主返航与着降方法及系统 - Google Patents

Abstract

本发明公开了一种无合作目标式无人直升机视觉自主返航与着降方法及系统，在起飞阶段，对出发点周围地面环境进行引导区域检测，并计算起飞点相对于各引导区域的方位；在返航阶段，将实时地面图像与保存的引导区域图像进行图像匹配，根据匹配成功的引导区域与出发点的相对方位实时定位着降点，并以着降点为中心生成目标区域，对其进行视觉跟踪，控制无人机飞至着降点上空并进行垂直着降。在发生故障时获取地面图像信息并检测可着降区域，对可着降区域进行基于检测的视觉跟踪，根据实时跟踪结果控制无人机飞往可着降区域上空并进行垂直着降。本发明可以不依赖于地面合作目标，实现无人机自主返航和着降，有效地增强了无人机作业的灵活性和安全性。

Description

无合作目标式无人直升机视觉自主返航与着降方法及系统

技术领域

本发明涉及无人直升机、数字图像处理、机器学习等领域，具体涉及一种基于计算机视觉的不依赖于地面合作目标的无人机自主返航与着降的方法及系统。

背景技术

无人直升机具有灵活性高、成本低、可靠性高等特点，近年来逐渐在各个领域崭露头角。同时，随着材料科技、飞行控制、无线通信以及机体结构设计等各项技术的发展，具有卓越环境感知能力与自主判断能力的无人机开始被用于执行更加复杂、更加困难的任务，无人机作业也趋于自动化、智能化。

自主返航与着降是无人直升机自主航行研究中的重要项目。传统的无人机主要依靠全球定位系统(Global Position System,GPS)、惯性导航系统(Inertial NavigationSystem,INS)来实现自主返航，但GPS信号容易受到干扰而机载惯性导航系统存在累积误差。图像信息具有实时性好、抗干扰能力强、易获取等特点，因此，可以利用计算机视觉技术来弥补上述两者的缺陷，以提高导航精度。计算机视觉技术不仅具有目标检测、识别和跟踪的能力，而且具有功耗低、重量轻、所占空间小、价格低、精度高等优势，近年来在无人机自主导航与着降等研究中引起了广泛关注。

现有的无人机视觉自主着降技术通常依赖于地面合作目标，即在地面预先设置一个用于辅助无人机估计位姿参数的图形标志，如“H”型图案、多正方形组合图案等易于提取目标特征的图形。这使得无人机作业环境中始终需要预先设置一个或多个地面合作目标，大大限制了无人机的作业范围；此外，当作业过程中无人机发生故障而需要立即着降时，可能由于地面合作目标缺失而无法进行视觉着降。因此，基于合作目标的视觉着降方案严重影响了无人机应用的灵活性和有效性。

发明内容

发明目的：针对传统导航方法与视觉着降技术的局限，本发明目的在于提供一种无合作目标式无人直升机视觉自主返航与着降方法及系统，使得无人直升机可以在不依赖于地面合作目标的情况下实现视觉自主返航和着降。

技术方案：为实现上述发明目的，本发明采用如下技术方案：

一种无合作目标式无人直升机视觉自主返航与着降方法，包括：

在起飞阶段，对出发点周围地面环境进行引导区域检测，计算出发点相对于各引导区域的方位信息，保存至少两个引导区域图像及方位信息；

在返航阶段，将实时地面图像与保存的引导区域图像进行图像匹配，根据匹配成功的引导区域与出发点的相对方位实时定位着降点，即原出发点，并以着降点为中心生成目标区域，对目标区域进行视觉跟踪，控制无人机飞至着降点上空并进行垂直着降。

进一步地，所述无合作目标式无人直升机视觉自主返航与着降方法，还包括在发生故障时进入自由着降模式，具体包括：

获取地面图像信息并检测可着降区域；

对可着降区域进行基于检测的视觉跟踪，根据实时跟踪结果控制无人机飞往可着降区域上空并进行垂直着降。

作为优选，所述对出发点周围地面环境进行引导区域检测的方法为：采集无人机到达指定高度时所在区域的地面图像信息，对图像进行显著区域检测，具体包括：

利用视觉显著性检测算法对地面图像信息进行初步检测，获得图像中视觉显著度较高的区域；

在视觉显著度较高的区域中筛选出面积、形状和特征点满足设定条件的区域作为视觉引导区域的候选区域；

利用离线训练的神经网络模型对候选区域进行分类，根据分类结果选定至少两个引导区域作为最终引导区域。

作为优选，对地面图像信息进行初步检测的方法为：

首先将图像颜色重新量化降低颜色数量，再对颜色进行聚类，将像素的颜色用距离最近的聚类中心所表示的颜色代替进一步简化图像；然后在CIELAB色彩空间计算颜色的显著性值；最后根据显著性值对简化后的图像中所有的颜色进行聚类，根据聚类中心数设定筛选阈值，取显著性值最高的若干种颜色为图像中的较显著颜色，组成的区域即为视觉显著度较高的区域。

作为优选，在正常作业的返航阶段，基于深度回归网的跟踪算法对目标区域进行视觉跟踪，在对目标区域进行视觉跟踪时，根据所得到的着降点在实时图像中的图像坐标，并结合无人机位姿参数，估计出着降点与无人机的相对方位，控制无人机航行至着降点上空。

作为优选，在发生故障时，采用基于检测的视觉跟踪方法，对每一帧图像都进行可着降区域的检测，并实时获取可着降区域形心的图像坐标，并结合无人机位姿参数，计算形心与无人机之间的相对方位，控制无人机航行至着降点上空。

一种无合作目标式无人直升机视觉自主返航与着降系统，包括：图像获取模块、区域检测模块、跟踪定位模块和飞控模块；

所述图像获取模块，用于获取实时地面图像信息；

所述区域检测模块，用于在起飞阶段对出发点周围地面环境进行引导区域检测，计算出发点相对于各引导区域的方位信息，并保存至少两个引导区域图像及方位信息；

所述跟踪定位模块，用于在正常作业的返航阶段将实时地面图像与保存的引导区域图像进行图像匹配，根据匹配成功的引导区域与出发点的相对方位实时定位着降点，即原出发点，并以着降点为中心生成目标区域，对目标区域进行视觉跟踪，将无人机与着降点的相对方位信息输出至所述飞控模块；

所述飞控模块，用于控制无人机飞行姿态，在返航阶段根据着降点相对方位信息控制无人机飞至着降点上空并进行垂直着降。

进一步地，所述区域检测模块，还用于在发生故障时检测可着降区域；

所述跟踪定位模块，还用于在发生故障时对可着降区域进行视觉跟踪，将可着降区域的形心作为着降点，实时计算着降点与无人机的相对方位信息，并输出至所述飞控模块。

有益效果：本发明提出的无合作目标式无人直升机视觉自主返航与着降方案，不依赖于地面合作目标，有效地增强了无人机作业的灵活性；同时，针对故障发生时需要紧急降落的情况，本发明设计了无需合作目标的自由着降方案，有效地提高了无人记作业的安全性。

附图说明

图1为本发明实施例的方法流程图。

图2为本发明实施例中区域检测工作流程图。

图3为本发明实施例中区域跟踪工作流程图。

图4为本发明实施例的系统结构图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明实施例提供的一种无合作目标式无人直升机视觉自主返航与着降方法，可分为正常作业时自主返航并进行着降与发生故障时寻找紧急着降区域并进行着降两种情况。其中，正常作业时，在起飞阶段，对出发点周围地面环境进行引导区域检测，同时计算出发点相对于各引导区域的方位信息，保存引导区域图像及方位信息；在返航阶段，将实时地面图像与保存的引导区域图像进行图像匹配，根据匹配成功的引导区域与出发点的相对方位实时定位着降点，即原出发点，并以着降点为中心生成目标区域，对目标区域进行视觉跟踪，控制无人机飞至着降点上空并进行垂直着降。在发生故障时，获取地面图像信息并检测可着降区域；对可着降区域进行基于检测的视觉跟踪，根据实时跟踪结果控制无人机飞往可着降区域上空并进行垂直着降。下面分别对这两种情况的处理流程做详细说明：

一、正常作业时

在正常作业时，本发明实施例公开的一种无合作目标式无人直升机视觉自主返航与着降方法，主要包括引导区域检测，区域匹配，以及目标区域跟踪与着降点定位。

(1)引导区域检测

在无人机起飞阶段，对出发点周围地面环境进行引导区域检测，并计算起飞点相对于各引导区域的方位信息。当无人机垂直起飞到达指定高度时，首先通过机载摄像装置采集无人机所在区域的地面图像信息，随后进行显著区域检测，其流程具体可分为预检、筛选、分类与选定四个部分。

(1.1)预检

预检是利用视觉显著性检测算法对地面图像信息进行初步检测，以获得图像中视觉显著度较高的区域。本发明所采用的检测方案实例步骤包括：基于颜色直方图在RGB空间简化图像、在CIELAB颜色空间计算像素显著性。

具体采用两项技术简化图像：

(a)颜色重新量化。例如，可将RGB颜色通道量化为12个级别，这样一共有12³＝1278种颜色。对于一般的图像，重新量化后的颜色数量将骤降。

(b)进一步简化颜色。系统预先根据RGB量化后的级别对上述1278种颜色进行聚类(如K-means等)，可设置50个聚类中心。在区域检测过程中，系统分别计算像素量化后的RGB值与各个聚类中心在RGB空间中的距离，并将该像素的颜色用距离最近的聚类中心所表示的颜色代替，从而将实时地面图像简化为由相近颜色(最多50种)组成的简化图像，大大减少了计算量。

(c)颜色的量化可能导致视觉上相似的颜色被量化为不同的值，为了减小这种随机性给显著性计算带来的影响，对于每一个颜色C，根据CIELAB色彩空间中与颜色C最为接近的几种颜色的显著度(颜色的显著度反映了颜色在CIELAB颜色空间上与其它颜色的距离，与其它颜色距离越大，表明该颜色显著度越高)的加权平均值定义颜色C的显著性值。

(d)最后，同样利用聚类的方法，根据显著性值对简化后的图像中所有的颜色进行聚类。在本方法的实例中聚类中心数被设置为10个，从而将所有颜色按显著性值高低分为10个层级，取显著性值最高的4种颜色为图像中的较显著颜色，这些较显著颜色组成的区域即为较显著区域。

(1.2)筛选

筛选是指根据预先设定的规则(面积、形状和特征点需满足的规则条件)，在预检结果中筛选出可能作为视觉引导区域的候选区域。具体的方案为，首先对视觉显著性检测结果图(二值图，显著区域为白色，非显著区域为黑色)进行连通成分标记并得到众多连通区域。随后对每一个连通区域根据飞行高度与机载相机的分辨率计算其对应的真实面积，并筛除面积过大与过小的区域。例如若起飞区域为边长为10m的方形区域，则可假设需要保留的连通区域对应的真实面积应在25m²(5m×5m)至400m²(20m×20m)之间。同时，针对筛选结果中每一个连通区域，计算其外接矩形的长宽比，保留长宽比在1:2到2:1之间的连通区域并将剩余区域筛除。另外，由于引导区域要求具有易于匹配的特点，因此对剩余的连通区域进行SURF特征点检测，并计算各个区域中特征点的数量与分布均匀度，将包含特征点数量超过3个且特征点分布均匀度较高的区域作为筛选后的结果。

(1.3)分类

本发明利用卷积神经网络(CNN)对经过筛选的候选区域进行分类，返回分类结果为正的区域作为引导区域检测的结果。神经网络模型具体的训练与应用步骤如下：

(a)利用训练样本离线训练卷积神经网络。训练样本为经过人工标注的图像，其中将颜色显著，面积适中且形状较为规则的区域(即视觉上易于跟踪的区域)标记为“1”，其他背景区域则标记为“0”。

(b)在实时检测过程中，将候选区域图像输入训练好的卷积神经网络；

(c)根据输出的分类结果判断是否可作为引导区域，并返回其中易于跟踪的引导区域。

(1.4)选定

系统根据CNN对各候选区域的分类结果，选定其中得分最高的两个引导区域，并计算各引导区域与起飞点之间的相对空间关系。具体的计算方法为：分别求得两个引导区域的形心，以此代表各引导区域的位置，并计算图像中心(即起飞点)与两个引导区域之间的相对距离与方向。随后，利用相机标定技术将起飞点与各引导区域形心在图像坐标系上的相对方位转换至世界坐标系，从而得到空间中起飞点与引导区域实际的相对距离与方向。

若卷积神经网络输出的引导区域的数量少于两个，或者用户不满意系统的选定结果，则由用户指定引导区域，并同样计算它们与起飞点的相对方位。最后将计算结果与选定的引导区域图像信息保存至本地机载计算机系统。

(2)区域匹配

当无人机完成作业时，由用户确认开始自主返航，无人机基于GPS信号向出发区域飞行并实时采集地面图像信息，同时利用图像匹配算法对所获取的图像信息与上述保存至本地的引导区域图像进行图像匹配。当匹配成功时，无人机自动进入视觉返航模式。如果没有成功匹配到引导区域图像，则继续保持基于GPS返航的状态，直到匹配成功为止；如果始终无法匹配成功，而GPS信号显示已经到达目的地，则可由用户选择着降点进行着降。

(3)目标区域跟踪与着降点定位

在视觉返航模式下，无人机在实时地面图像中根据匹配成功的引导区域和保存在本地的它们与起飞点的空间关系计算起飞点在图像中的坐标，并以该点为中心生成目标框，随后利用视觉跟踪算法对目标框内区域进行实时跟踪。

本发明基于深度回归网的跟踪算法(GOTURN:Held D,Thrun S,SavareseS.Learning to Track at 100 FPS with Deep Regression Networks[J].2016:749-765.)对目标区域进行视觉跟踪，该方法离线训练深度回归网络，因而无需在线检测目标，大大提高了跟踪速度。同时该模型学习了泛化的运动特征，所以可以跟踪训练集以外的目标。

具体的可实施方案为：

(a)离线训练深度回归网络；

(b)在实时跟踪过程中利用第1帧图像中目标区域的信息初始化网络；

(c)从第2帧图像开始，将当前帧图像与前一帧图像作为输入，随后输出当前帧中预测的目标位置。

在对目标区域进行视觉跟踪时，系统根据所得到的着降点在实时图像中的图像坐标，并结合无人机俯仰角、倾斜角、滚动角以及飞行高度等位姿参数，估计出着降点与此时无人机的相对方位，以此作为导航参数，最后由飞控系统控制无人机以固定高度向着降点航行。当无人机飞行至估计着降点上空后，即可完成无人直升机的垂直着降。

二、故障发生时

在故障发生时，本发明实施例公开的一种基于视觉的无人机自主返航与着降的方法，主要包括返回故障信息、可着降区域检测和可着降区域跟踪。

(1)返回故障信息

无人机向用户发送故障信号并显示具体的故障信息(如电压过低、控制信号中断等)，此时可由用户选择进入自由着降模式，即紧急情况下无人机需要临时迫降时，由无人机自主检测可着降区域，并完成自主着陆。

(2)可着降区域检测

无人机采集实时地面图像信息，并同样基于卷积神经网络模型设计着降区域检测算法，以检测图像中的可着降区域，即平坦、开阔、非水面、无运动干扰物的区域。其中，离线训练样本为经过人工标注的图像，包含上述特性的可着降区域被标注为“1”，其余如水域、森林、街道等无法用于无人机安全着陆的区域则被标记为“0”。

若此时图像中无法检测出上述可着降区域，可由用户指定一片区域作为可着降区域，若无人机判断该区域满足着降条件(区域面积和形状满足设定的条件)，即进行自动着降，否则提示用户重新指定着降区域。

更进一步的，若无人机处于信号中断的情况时，无人机直接选择此模块的检测结果作为最终着降区域。

若此时模块无法检测到可着降区域，则无人机进入定高巡航模式，即在固定高度进行自由巡航，直至控制信号恢复或检测到可着降区域为止。

(3)可着降区域跟踪

利用视觉跟踪算法对上述可着降区域进行视觉跟踪。需要注意的是此处本案例使用的跟踪算法与正常作业时对目标区域进行跟踪的算法不同，采用了基于检测的跟踪方法，即对每一帧图像都进行可着降区域的检测，并实时获取可着降区域形心(着降点)的图像坐标，并结合无人机位姿参数，计算形心与无人机之间的相对方位，从而控制无人机航行至着降点上空并完成垂直着降。

当跟踪失败时，无人机由跟踪飞行状态进入悬停状态，并重复上述可着降区域检测步骤，待重新检测到可着降区域时再进行视觉跟踪。

如图4所示，本发明实施例公开的一种无合作目标式无人直升机视觉自主返航与着降系统，主要包括图像获取模块、区域检测模块、跟踪定位模块和飞控模块，其中，图像获取模块主要用于获取实时地面图像信息；区域检测模块主要用于在无人机起航时检测具有视觉显著性的引导区域，以及当故障发生时，用于检测可着降区域；跟踪定位模块主要用于对指定区域进行视觉跟踪，并根据指定区域定位着降点；飞控模块主要用于控制无人机飞行姿态，按系统指示完成飞行动作。各模块功能详述如下：

(1)图像获取模块

用于获取无人机所在区域的图像信息，并将采集的图像信息传至后续模块。

(2)区域检测模块

在无人机起航阶段，提示用户选择是否进入自动返航模式，若用户选择进入自动返航模式，则控制无人机悬停至出发点上空固定高度，并对此时图像获取模块得到的图像信息进行引导区域检测。当检测成功时(至少检测出两个引导区域)，将结果返回至用户界面，并提示用户选择其中两个区域作为最终引导区域。当检测失败(检测结果少于引导区域)或用户不满意检测模块输出的结果时，可由用户自行在图像中指定区域作为最终引导区域。

同时，该模块在选定引导区域后计算出发点与引导区域的相对方位信息，并将其与引导区域图像信保存至本地。

当无人机在作业途中发生故障无法完成自动返航且需要临时降落时，此模块同时用于检测适合无人机安全着降的可着降区域，在检测完成后由用户决定是否进行着降，若用户不满意检测结果，可选择重新检测或自行选择着降区域。若此时无人机所处区域的图像中无法检测出上述可着降区域，返回检测失败信息，并提示用户在图像中指定一片区域作为可着降区域，随后无人机判断该区域是否满足着降条件，若判断结果为是，即进行自动着降，否则提示用户重新指定着降区域。

更进一步的，若无人机处于信号中断的情况时，无人机直接选择此模块的检测结果作为最终着降区域。

若此时模块无法检测到可着降区域，则无人机进入定高巡航模式，即在固定高度进行自由巡航，直至控制信号恢复或检测到可着降区域为止。

(3)跟踪定位模块

用于在不同情况下定位着降点，并对指定区域进行视觉跟踪。

当无人机正常作业完毕并自动返航时，该模块根据出发点与引导区域的相对方位在实时图中定位着降点并生成目标框，同时按照一定视觉跟踪算法对目标框中的区域进行视觉跟踪，并将无人机与着降点的相对方位信息输出至飞控模块。

当无人机发生故障无法自动返航时，该模块对由区域检测模块选定的可着降区域进行视觉跟踪，同时定位该区域的形心，以此作为着降点实时计算其与无人机的相对方位信息，并根据该信息输出至飞控模块。

(4)飞控模块

用于根据跟踪定位模块输出的无人机与着降点的相对方位信息控制无人直升机的飞行姿态，完成指定飞行任务。

飞控模块接收跟踪定位模块输出的无人机与着降点的相对方位信息，并结合无人机自身的位姿信息与运动状态生成位姿控制信号，从而通过控制电机转速实现对无人机运动的控制以完成指定飞行任务。

Claims (8)

1.一种无合作目标式无人直升机视觉自主返航与着降方法，其特征在于，包括：

在起飞阶段，对出发点周围地面环境进行引导区域检测，计算出发点相对于各引导区域的方位信息，保存至少两个引导区域图像及方位信息；

在返航阶段，将实时地面图像与保存的引导区域图像进行图像匹配，根据匹配成功的引导区域与出发点的相对方位实时定位着降点，即原出发点，并以着降点为中心生成目标区域，对目标区域进行视觉跟踪，控制无人机飞至着降点上空并进行垂直着降。

2.根据权利要求1所述的一种无合作目标式无人直升机视觉自主返航与着降方法，其特征在于，还包括在发生故障时进入自由着降模式，包括：

获取地面图像信息并检测可着降区域；

对可着降区域进行基于检测的视觉跟踪，根据实时跟踪结果控制无人机飞往可着降区域上空并进行垂直着降。

3.根据权利要求1所述的一种无合作目标式无人直升机视觉自主返航与着降方法，其特征在于，所述对出发点周围地面环境进行引导区域检测的方法为：采集无人机到达指定高度时所在区域的地面图像信息，对图像进行显著区域检测，具体包括：

利用视觉显著性检测算法对地面图像信息进行初步检测，获得图像中视觉显著度较高的区域；

在视觉显著度较高的区域中筛选出面积、形状和特征点满足设定条件的区域作为视觉引导区域的候选区域；

利用离线训练的神经网络模型对候选区域进行分类，根据分类结果选定至少两个引导区域作为最终引导区域。

4.根据权利要求3所述的一种无合作目标式无人直升机视觉自主返航与着降方法，其特征在于，对地面图像信息进行初步检测的方法为：

首先将图像颜色重新量化降低颜色数量，再对颜色进行聚类，将像素的颜色用距离最近的聚类中心所表示的颜色代替进一步简化图像；然后在CIELAB色彩空间计算颜色的显著性值；最后根据显著性值对简化后的图像中所有的颜色进行聚类，根据聚类中心数设定筛选阈值，取显著性值最高的若干种颜色为图像中的较显著颜色，组成的区域即为视觉显著度较高的区域。

5.根据权利要求1所述的一种无合作目标式无人直升机视觉自主返航与着降方法，其特征在于，在正常作业的返航阶段，基于深度回归网的跟踪算法对目标区域进行视觉跟踪，在对目标区域进行视觉跟踪时，根据所得到的着降点在实时图像中的图像坐标，并结合无人机位姿参数，估计出着降点与无人机的相对方位，控制无人机航行至着降点上空。

6.根据权利要求2所述的一种无合作目标式无人直升机视觉自主返航与着降方法，其特征在于，在发生故障时，采用基于检测的视觉跟踪方法，对每一帧图像都进行可着降区域的检测，并实时获取可着降区域形心的图像坐标，并结合无人机位姿参数，计算形心与无人机之间的相对方位，控制无人机航行至着降点上空。

7.一种无合作目标式无人直升机视觉自主返航与着降系统，其特征在于，包括：图像获取模块、区域检测模块、跟踪定位模块和飞控模块；

所述图像获取模块，用于获取实时地面图像信息；

所述区域检测模块，用于在起飞阶段对出发点周围地面环境进行引导区域检测，计算出发点相对于各引导区域的方位信息，并保存至少两个引导区域图像及方位信息；

所述跟踪定位模块，用于在正常作业的返航阶段将实时地面图像与保存的引导区域图像进行图像匹配，根据匹配成功的引导区域与出发点的相对方位实时定位着降点，即原出发点，并以着降点为中心生成目标区域，对目标区域进行视觉跟踪，将无人机与着降点的相对方位信息输出至所述飞控模块；

所述飞控模块，用于控制无人机飞行姿态，在返航阶段根据着降点相对方位信息控制无人机飞至着降点上空并进行垂直着降。

8.根据权利要求7所述的一种无合作目标式无人直升机视觉自主返航与着降系统，其特征在于，所述区域检测模块，还用于在发生故障时检测可着降区域；

所述跟踪定位模块，还用于在发生故障时对可着降区域进行视觉跟踪，将可着降区域的形心作为着降点，实时计算着降点与无人机的相对方位信息，并输出至所述飞控模块。