CN109445455A - 一种无人飞行器自主降落方法及其控制系统 - Google Patents

Abstract

本发明提供一种无人飞行器自主降落方法及其控制系统，目标降落区表面覆盖设置视觉标识，所述方法包括如下步骤：无人飞行器的摄像头获取俯视图像；根据所述俯视图像和所述视觉标识确定目标降落区；确定目标降落区的位置信息并根据该位置信息生成飞行路径；根据所述飞行路径控制无人飞行器以第一预设策略飞行至目标降落区所在位置；获取所述无人飞行器与所述目标降落区中心的水平距离，并在所述水平距离小于预设阈值时控制无人飞行器以第二预设策略降落至目标降落区。本发明方法及其控制系统能够实现了无人飞行器的稳定自主降落，大大提高了无人机的自动化程度和自主性能。

Description

一种无人飞行器自主降落方法及其控制系统

技术领域

本发明涉及无人飞行器技术领域，具体涉及一种无人飞行器自主降落方法及其控制系统。

背景技术

无人驾驶飞行器，简称“无人机”，是利用无线电遥控设备和自备程序操控的飞行设备。在如今，无人机已经应用于越来越多的行业领域，如电力巡检、广域监控、建筑测绘等。同时，为满足应用需要，无人机的自动化程度需求也越来越高，无人机的自主性能越来越重要，尤其是无人机的自主降落技术，还有待于进一步改进。

发明内容

本发明目的在于提供一种无人飞行器自主降落方法及其控制系统，以实现无人飞行器的自主降落，提高无人机的自动化程度和自主性能。

为了实现本发明目的，本发明第一方面提供一种无人飞行器自主降落方法，目标降落区表面覆盖设置视觉标识，所述方法包括如下步骤：

无人飞行器的摄像头每隔预设周期获取俯视图像；

根据所述俯视图像和所述视觉标识确定目标降落区；

确定目标降落区的位置信息并根据该位置信息生成飞行路径；

根据所述飞行路径控制无人飞行器以第一预设策略飞行至目标降落区所在位置；

获取所述无人飞行器与所述目标降落区中心的水平距离，并在所述水平距离小于预设阈值时控制无人飞行器以第二预设策略降落至目标降落区。

本发明第二方面提供另一种无人飞行器自主降落方法，目标降落区设有视觉标识，所述方法包括如下步骤：

无人飞行器的摄像头每隔预设周期获取俯视图像；

根据所述俯视图像和所述视觉标识确定目标降落区；

确定目标降落区的位置信息并根据该位置信息生成飞行路径；

根据所述飞行路径控制无人飞行器以第一预设策略飞行至目标降落区所在位置；

根据所述俯视图像确定视觉标识占俯视图像的面积比例，若视觉标识占俯视图像的面积比例大于等于预设第一比例时控制无人飞行器以第二预设策略降落至目标降落区。

在一些实施例中，第一预设策略包括以第一速度飞行至目标降落区；

所述视觉标识占俯视图像的面积比例大于等于预设第一比例时控制无人飞行器以第二预设策略降落至目标降落区包括：

当视觉标识占俯视图像的面积比例大于等于预设第一比例时控制无人飞行器以第一速度降落；当视觉标识占俯视图像的面积比例大于等于预设第二比例时控制无人飞行器以第三速度降落；

所述第一速度<第二速度<第三速度。

在一些实施例中，所述根据所述俯视图像和所述视觉标识确定目标降落区包括：

对所述俯视图像进行二值化处理得到二值图像；

提取并计算所述二值图像中的一个或多个轮廓的像素面积，根据轮廓像素面积确定一个或多个疑似目标降落区；

对所述一个或多个疑似目标降落区进行视角补偿，并将补偿后的疑似目标降落区的轮廓点进行多边形拟合成相同尺寸；补偿公式为X_b＝M(θ，γ，φ)X；其中，为候选区域内像素(x，y)在其图像坐标系中的行、列坐标，θ，γ，φ分别为无人飞行器的朝向角、俯仰角和横滚角，M是当前姿态角所对应的单应矩阵，X_b是补偿后的单应坐标；

将拟合后的一个或多个疑似目标降落区采用与真实的目标降落区逐一进行匹配；

根据匹配的结果确定目标降落区的位置信息。

在一些实施例中，所述确定目标降落区的位置信息并根据该位置信息生成飞行路径包括：

获取所述目标降落区的中心位置的图像坐标；

计算所述中心位置的图像坐标相对于所述摄像头的方位角和俯仰角；

获取并根据无人飞行器高度和目标降落区高度计算无人飞行器和目标降落区的垂直距离；

根据所述方位角、俯仰角和垂直距离计算目标降落区中心的三维坐标；

根据所述三维坐标确定无人飞行器的飞行路径。

在一些实施例中，所述视觉标识为具有多行多列的正方形结构，所述正方形结构的中心为所述目标降落区的中心；所述正方形结构的每一行和每一列均交错布置有多个白色方格和黑色方格。

在一些实施例中，所述在所述控制无人飞行器以第二预设策略降落至目标降落区包括：

提取所述视觉标识中的所有拐角点，所述拐角点为黑色方格和白色方格的交界点；

计算所有拐角点的三维坐标；

所有拐角点三维坐标坐标取平均值获得目标降落区中心的三维坐标；

将所述目标降落区中心的三维坐标作为飞行终点更新飞行路径；

若当前俯视图像中视觉标识占据当前图像的比例满足预设第二比例时，控制无人飞行器以第三速度降落至最近获得的飞行终点。

在一些实施例中，所述预设第一比例小于所述预设第二比例。

在一些实施例中，所述提取所述视觉标识中的所有拐角点包括：

利用局部窗口在图像的各个方向上进行移动，识别摄像头拍摄得到的图像中每个像素点的响应值R，并对小于某一阀值t的R置为0；

R＝{R：detM·α(traceM)²＜t}

其中，detM为矩阵的行列式，B＝g(I_xy)＝I_xy·ω，traceM为M的迹，α为常数；I_x为图像在行方向的梯度，I_y为图像在列方向的梯度，I_xy为图像在行和列方向梯度的乘积；ω为窗口加权函数；

其中，在预设范围邻域内的局部最大R值点即为图像中的拐角点。

本发明第三方面提供一种用于实现权利要求1-9任一项所述无人飞行器自主降落方法的控制系统，包括：

摄像头，被配置为每隔预设周期拍摄俯视图像；

图像处理单元，被配置为根据所述俯视图像和所述视觉标识确定目标降落区，并确定当前图像中视觉标识与当前图像的面积比；

位置确定单元，被配置为接收并根据所述图像处理单元的处理结果确定目标降落区的位置信息；

飞行路径生成单元，被配置为根据所述位置确定单元确定的所述位置信息生成相应的飞行路径；

飞控单元，被配置为根据所述飞行路径生成单元生成的飞行路径控制无人飞行器以第一预设策略飞行至目标降落区所在位置、和/或在所述水平距离小于预设阈值时控制无人飞行器以第二预设策略降落至目标降落区；

和/或，距离测算单元，被配置为获取所述无人飞行器与所述目标降落区中心的水平距离。

以上技术方案至少具有以下有益效果：

提供了无人飞行器自主降落方法及其控制系统，通过在目标降落区上覆盖设置了视觉标识，整个视觉标识的大小与目标降落区大小一致，其中，所述视觉标识具有特殊的图案，可以便于视觉处理软件识别的特定区域，以帮助无人飞行器的机载软硬件在各种天气和光照条件下，识别并引导降落。

此外，其他有益效果将在下文中进一步说明。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一所述无人飞行器自主降落方法流程图。

图2为本实施例一和二中所述目标降落平台的结构示意图；

图3为本实施例一和二中飞行器飞行过程示意图；

图4为本发明实施例二所述无人飞行器自主降落方法流程图。

图5为本实施例一和二中视觉标识示意图；

图中元件标记：

目标降落区1，机械引导结构2，视觉标识3，无人飞行器4。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

如图1所示，本发明实施例一提供一种无人飞行器自主降落方法，应用于电力巡检、光伏巡检、广域监控、建筑测绘等领域，其中，目标降落区表面覆盖设置视觉标识，自动驾驶仪按照目标降落平台的经度，纬度和海拔信息将无人飞行器引导至高于自动降落平台20-50米的空域，该过程也可以由人工通过遥控器引导。

所述方法具体包括如下步骤：

S10无人飞行器的摄像头获取俯视图像，其中俯视图像为RGB图像，即控制飞机云台使得镜头方向垂直于地面向下，控制相机以一定时间间隔拍一幅图像，例如间隔200毫秒；

S20根据所述俯视图像和所述视觉标识确定目标降落区；

S30确定目标降落区的位置信息并根据该位置信息生成飞行路径；

S40根据所述飞行路径控制无人飞行器以第一预设策略飞行至目标降落区所在位置，使无人飞行器降低飞行高度，并缩短与目标降落区中心的水平距离；

S51获取所述无人飞行器与所述目标降落区中心的水平距离，并在所述水平距离小于预设阈值时控制无人飞行器以第二预设策略降落至目标降落区。

具体而言，本实施例在目标降落区上覆盖设置了视觉标识，整个视觉标识的大小与目标降落区大小一致，其中，所述视觉标识具有特殊的图案，可以便于视觉处理软件识别的特定区域，以帮助无人飞行器的机载软硬件在各种天气和光照条件下，识别并引导降落。

其中，图2为本实施例所述目标降落平台的结构示意图，目标降落平台中间设置目标降落区，其中，降落平台还设置了辅助降落的机械引导结构，能够提高对接容错性，以便在风力情况恶劣时辅助对接。

其中，本实施例所述无人飞行器可以采用具有盘旋功能的旋翼式无人飞行器，例如单旋翼或多旋翼，并安装有下列传感器：单筒摄像头、全球导航卫星系统、惯性测量单元和气压定高计等元件，所述惯性测量单元包括加速器和陀螺仪等。

如图3所示，为本实施例所述方法实施过程飞行器结构示意图，本实施例方法实现过程中包括三个阶段，分别是检测有效区、慢速粗略进降有效区和快速精确降落有效区，所述检测有效区为步骤S10-S20，所述慢速粗略进降有效区为步骤S30-S40，所述快速精确降落有效区为步骤S51。

其中，为了使得摄像头俯视能够捕捉到目标降落区，无人飞行器的控制系统将生成一套飞行路径来覆盖目标降落区上空所有区域，根据生成的飞行路径，飞控产生实时速度和姿态控制信号来完成对该路径的跟踪飞行。

其中，当无人飞行器和降落平台接触时，其产生的逆向加速度将被惯性测量单元捕获，并依此关闭无人飞行器动力系统，整个降落过程就此结束。

如图4所示，本发明实施例二提供另一种无人飞行器自主降落方法，目标降落区设有视觉标识，所述方法包括如下步骤：

S10无人飞行器的摄像头获取俯视图像；

S20根据所述俯视图像和所述视觉标识确定目标降落区；

S30确定目标降落区的位置信息并根据该位置信息生成飞行路径；

S40根据所述飞行路径控制无人飞行器以第一预设策略飞行至目标降落区所在位置；

S52无人飞行器的摄像头每隔预设周期获取俯视图像，若视觉标识占俯视图像的面积比例大于等于预设第一比例时控制无人飞行器以第二预设策略降落至目标降落区。

需说明的是，实施例二与实施例一的区别仅在于，对控制无人飞行器以第二预设策略降落至目标降落区的判断条件不同，其他部分可参见实施例一的描述。

其中，本实施例中所述第一比例优选为1/4。

在一些实施例中，所第一预设策略包括以第一速度飞行至目标降落区；

所述视觉标识占俯视图像的面积比例大于等于预设第一比例时控制无人飞行器以第二预设策略降落至目标降落区包括：

当视觉标识占俯视图像的面积比例大于等于预设第一比例时控制无人飞行器以第一速度降落；当视觉标识占俯视图像的面积比例大于等于预设第二比例时控制无人飞行器以第三速度降落；

所述第一速度＜第二速度＜第三速度。

在一些实施例中，所述步骤S20根据所述俯视图像和所述视觉标识确定目标降落区包括：

S201对所述俯视图像进行二值化处理得到二值图像；其中，首先将RGB图像转换为灰度图，然后通过自适应阈值分割得到二值化的图像，即当像素值大于阈值时取1，否则取0；

S202提取并计算所述二值图像中的一个或多个轮廓的像素面积，根据轮廓像素面积确定一个或多个疑似目标降落区；其中，每个疑似目标降落区轮廓围成的面积像素点个数应大于250个像素；

S203对所述一个或多个疑似目标降落区进行视角补偿，并将补偿后的疑似目标降落区的轮廓点进行多边形拟合成相同尺寸；补偿公式为X_b＝M(θ，γ，φ)X；其中，为候选区域内像素(x，y)在其图像坐标系中的行、列坐标，θ，γ，φ分别为无人飞行器的朝向角、俯仰角和横滚角(由陀螺仪得到)，M是当前姿态角所对应的单应矩阵，X_b是补偿后的单应坐标；

其中，所述进行多边形拟合成相同尺寸具体为拟合成同尺寸的正方形形状。

S204将拟合后的一个或多个疑似目标降落区采用与真实的目标降落区逐一进行匹配；具体而言，采用差方和方法与真实目标逐一进行模板匹配。模板采用尺度不变特征以保证不同飞行高度下的模板一致性；即计算真实目标与模板对应位置的灰度值的平方差，最好的匹配为0。匹配值越大，匹配越差。

S205根据匹配的结果确定目标降落区的位置信息，其中，将图像中差方和最小的疑似目标降落区确定为无人飞行器的降落目标，即该疑似目标降落区的图像坐标作为降落目标位置(u，v)^T。

在一些实施例中，所述步骤S30确定目标降落区的位置信息并根据该位置信息生成飞行路径包括：

S301获取所述目标降落区的中心位置的图像坐标；

S302根据目标的成像位置，计算所述中心位置的图像坐标相对于所述摄像头的方位角和俯仰角；

其中，α，β，γ分别为目标降落区相对于摄像头的方向角、俯仰角和横滚角。

S303获取并根据无人飞行器高度和目标降落区高度计算无人飞行器和目标降落区的垂直距离；其中，目标降落区高度为已知参数，即无人飞行器高度减去目标降落区高度得到所述垂直距离。

其中，无人飞行器高度利用无人飞行器的气压定高计测得。

S304根据所述方位角、俯仰角和垂直距离计算目标降落区中心的三维坐标；

其中，x_w，y_w为视觉标识图案中心点相对于世界坐标原点的坐标，世界坐标原点选为棋盘格左上角角点坐标。

S305根据所述三维坐标确定无人飞行器的飞行路径。

在一些实施例中，如图5所示，所述视觉标识为具有多行多列的正方形结构，所述正方形结构的中心为所述目标降落区的中心；所述正方形结构的每一行和每一列均交错布置有多个白色方格和黑色方格。

在一些实施例中，所述步骤S51和S52中在所述控制无人飞行器以第二预设策略降落至目标降落区包括：

S501采用Harris拐角点检测法提取提取所述视觉标识中的所有拐角点，所述拐角点为黑色方格和白色方格的交界点；其中，Harris拐角点检测算法：利用局部窗口在图像的各个方向上进行移动，如果窗口区域的灰度值发生了显著变化，则认为在窗口内遇到了拐角点。

S502根据已知棋盘格上相邻拐角点之间距离和拐角点的单应性，即所有拐角点位于同一平面的特征，计算所有拐角点的三维坐标；

S503所有拐角点三维坐标坐标取平均值获得目标降落区中心的三维坐标；

S504将所述目标降落区中心的三维坐标作为飞行终点更新飞行路径；

S505若当前俯视图像中视觉标识占据当前图像的比例满足预设第二比例时，控制无人飞行器以第三速度降落至最近获得的飞行终点。

本实施例中，第二比例优选为90％。

需说明的是，慢速粗略进降有效区和快速精确降落有效区对于目标降落区中心的三维坐标的计算方式不同，这是基于无人飞行器与目标降落区距离不同而确定的，越接近所述目标降落区，则越难通过预设第一策略进行目标降落区中心的三维坐标的计算，但越容易通过预设第二策略进行计算。

在一些实施例中，所述预设第一比例小于所述预设第二比例。

在一些实施例中，所述提取所述视觉标识中的所有拐角点包括：

利用局部窗口在图像的各个方向上进行移动，识别摄像头拍摄得到的图像中每个像素点的响应值R，并对小于某一阀值t的R置为0；

R＝{R：detM·α(traceM)²＜t}

其中，detM为矩陌的行列式，B＝g(I_xy)＝I_xy·ω，traceM为M的迹，α为常数；I_x为图像在行方向的梯度，I_y为图像在列方向的梯度，I_xy为图像在行和列方向梯度的乘积；ω为窗口加权函数；

其中，在预设范围邻域内的局部最大R值点即为图像中的拐角点。

本发明第三方面提供一种用于实现前面实施例所述无人飞行器自主降落方法的控制系统，包括：

摄像头，被配置为每隔预设周期拍摄俯视图像；

图像处理单元，被配置为根据所述俯视图像和所述视觉标识确定目标降落区，并确定当前图像中视觉标识与当前图像的面积比；

位置确定单元，被配置为接收并根据所述图像处理单元的处理结果确定目标降落区的位置信息；

飞行路径生成单元，被配置为根据所述位置确定单元确定的所述位置信息生成相应的飞行路径；

飞控单元，被配置为根据所述飞行路径生成单元生成的飞行路径控制无人飞行器以第一预设策略飞行至目标降落区所在位置、和/或在所述水平距离小于预设阈值时控制无人飞行器以第二预设策略降落至目标降落区；

和/或，距离测算单元，被配置为获取所述无人飞行器与所述目标降落区中心的水平距离。

对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种无人飞行器自主降落方法，其特征在于，目标降落区表面覆盖设置视觉标识，所述方法包括如下步骤：

无人飞行器的摄像头每隔预设周期获取俯视图像；

根据所述俯视图像和所述视觉标识确定目标降落区；

确定目标降落区的位置信息并根据该位置信息生成飞行路径；

根据所述飞行路径控制无人飞行器以第一预设策略飞行至目标降落区所在位置；

确定所述无人飞行器与所述目标降落区中心的水平距离，并在所述水平距离小于预设阈值时控制无人飞行器以第二预设策略降落至目标降落区。

2.一种无人飞行器自主降落方法，其特征在于，目标降落区设有视觉标识，所述方法包括如下步骤：

无人飞行器的摄像头每隔预设周期获取俯视图像；

根据所述俯视图像和所述视觉标识确定目标降落区；

确定目标降落区的位置信息并根据该位置信息生成飞行路径；

根据所述飞行路径控制无人飞行器以第一预设策略飞行至目标降落区所在位置；

根据所述俯视图像确定视觉标识占俯视图像的面积比例，若视觉标识占俯视图像的面积比例大于等于预设第一比例时控制无人飞行器以第二预设策略降落至目标降落区。

3.如权利要求2所述的无人飞行器自主降落方法，其特征在于，第一预设策略包括以第一速度飞行至目标降落区；

所述视觉标识占俯视图像的面积比例大于等于预设第一比例时控制无人飞行器以第二预设策略降落至目标降落区包括：

当视觉标识占俯视图像的面积比例大于等于预设第一比例时控制无人飞行器以第一速度降落；当视觉标识占俯视图像的面积比例大于等于预设第二比例时控制无人飞行器以第三速度降落；

所述第一速度＜第二速度＜第三速度。

4.如权利要求3所述的无人飞行器自主降落方法，其特征在于，所述根据所述俯视图像和所述视觉标识确定目标降落区包括：

对所述俯视图像进行二值化处理得到二值图像；

提取并计算所述二值图像中的一个或多个轮廓的像素面积，根据轮廓像素面积确定一个或多个疑似目标降落区；

对所述一个或多个疑似目标降落区进行视角补偿，并将补偿后的疑似目标降落区的轮廓点进行多边形拟合成相同尺寸；补偿公式为X_b＝M(θ，γ，φ)X；其中，为候选区域内像素(x，y)在其图像坐标系中的行、列坐标，θ，γ，φ分别为无人飞行器的朝向角、俯仰角和横滚角，M是当前姿态角所对应的单应矩阵，X_b是补偿后的单应坐标；

将拟合后的一个或多个疑似目标降落区采用与真实的目标降落区逐一进行匹配；

根据匹配的结果确定目标降落区的位置信息。

5.如权利要求4所述的无人飞行器自主降落方法，其特征在于，所述确定目标降落区的位置信息并根据该位置信息生成飞行路径包括：

获取所述目标降落区的中心位置的图像坐标；

计算所述中心位置的图像坐标相对于所述摄像头的方位角和俯仰角；

获取并根据无人飞行器高度和目标降落区高度计算无人飞行器和目标降落区的垂直距离；

根据所述方位角、俯仰角和垂直距离计算目标降落区中心的三维坐标；

根据所述三维坐标确定无人飞行器的飞行路径。

6.如权利要求5所述的无人飞行器自主降落方法，其特征在于，所述视觉标识为具有多行多列的正方形结构，所述正方形结构的中心为所述目标降落区的中心；所述正方形结构的每一行和每一列均交错布置有多个白色方格和黑色方格。

7.如权利要求6所述的无人飞行器自主降落方法，其特征在于，所述在所述控制无人飞行器以第二预设策略降落至目标降落区包括：

提取所述视觉标识中的所有拐角点，所述拐角点为黑色方格和白色方格的交界点；

计算所有拐角点的三维坐标；

所有拐角点三维坐标坐标取平均值获得目标降落区中心的三维坐标；

将所述目标降落区中心的三维坐标作为飞行终点更新飞行路径；

若当前俯视图像中视觉标识占据当前图像的比例满足预设第二比例时，控制无人飞行器以第三速度降落至最近获得的飞行终点。

8.如权利要求7所述的无人飞行器自主降落方法，其特征在于，所述预设第一比例小于所述预设第二比例。

9.如权利要求7所述的无人飞行器自主降落方法，其特征在于，所述提取所述视觉标识中的所有拐角点包括：

利用局部窗口在图像的各个方向上进行移动，识别摄像头拍摄得到的图像中每个像素点的响应值R，并对小于某一阀值t的R置为0；

R＝{R：detM·α(traceM)²＜t}

其中，detM为矩阵的行列式，B＝g(I_xy)＝I_xy·ω，traceM为M的迹，α为常数；I_x为图像在行方向的梯度，I_y为图像在列方向的梯度，I_xy为图像在行和列方向梯度的乘积；ω为窗口加权函数；

其中，在预设范围邻域内的局部最大R值点即为图像中的拐角点。

10.一种用于实现权利要求1-8任一项所述无人飞行器自主降落方法的控制系统，其特征在于，包括：

摄像头，被配置为每隔预设周期拍摄俯视图像；

图像处理单元，被配置为根据所述俯视图像和所述视觉标识确定目标降落区，并确定当前图像中视觉标识与当前图像的面积比；

位置确定单元，被配置为接收并根据所述图像处理单元的处理结果确定目标降落区的位置信息；

飞行路径生成单元，被配置为根据所述位置确定单元确定的所述位置信息生成相应的飞行路径；

飞控单元，被配置为根据所述飞行路径生成单元生成的飞行路径控制无人飞行器以第一预设策略飞行至目标降落区所在位置、和/或在所述水平距离小于预设阈值时控制无人飞行器以第二预设策略降落至目标降落区；

和/或，距离测算单元，被配置为获取所述无人飞行器与所述目标降落区中心的水平距离。