CN109823552B - 基于视觉的无人机精确降落方法、存储介质、装置及系统 - Google Patents

Abstract

本发明基于视觉的无人机精确降落方法、存储介质、装置及系统，采用多级停机位标识且最后一级采用标识冗余阵列，进而无人机可以分阶段降落，且能适配不同降落高度的需求，增加了配置的灵活度，对降落要求的适配能力增强，克服了阴影及运动误差的影响，使得降落过程基本不受无人机阴影的干扰，提高了识别的鲁棒性。同时，在降落过程中可自动识别异常，且具有相应的处理方法，增强了对异常情况的兼容性，有效克服视野变化及运动偏差等影响，提高降落的稳定性。采用各向异性的停机位标识，提供角度信息，允许无人机按指定角度降落在目标位置；通过在降落平台上安装投光灯照射降落平台的目标位置，在光线较暗时及时补光，实现无人机全天候精确降落。

Description

基于视觉的无人机精确降落方法、存储介质、装置及系统

技术领域

本发明涉及无人机降落控制技术领域，更具体地，涉及一种基于视觉的无人机精确降落方法、存储介质、装置及系统。

背景技术

近年来，无人机(Unmanned Aerial Vehicle，UAV)一直是航空领域的研究热点，其具有使用便利，成本低，飞行精度高，机动灵活，易于智能化等优点，得到了越来越广泛的应用，如影像拍摄、灾害检测、电力巡检、农业植保等领域。无人机自主降落技术是无人机全自动飞行的重要组成部分，提高导航的精确性，对于无人机自主降落具有重要意义。传统的无人机自主降落技术主要包括基于惯性导航系统和基于卫星导航系统，惯性导航系统的位置误差随着时间积累会逐渐增大，卫星导航系统依赖于无线电信号传播，存在容易受干扰和信号丢失的问题。近年来，随着图像处理技术的发展，基于计算机视觉的导航技术在算法上日益成熟，与传统的导航技术相比，视觉导航存在成本低，精度高等优势，对于无人机的完全自主降落具有重大的价值。

中国发明专利201310062907.6公开了一种基于图像处理的无人机精确位置降落方法，利用GPS卫星导航系统使无人机飞至地面停机坪上空，并利用气压定高计结合超声雷达的测距模块，控制无人机运动至一定高度，并保证视野中定位标识可见。如图1所示，无人机控制软件的视觉模块实时识别粗定位识别域，利用霍夫变换与RGB平均值法结合识别停机位，处理出目标降落点坐标；当无人机降落至达到粗定位识别域的阈值条件时，利用霍夫变换与RGB平均值法对标识的精确定位识别域进行精确定位。粗定位和精确定位得到的位置偏差作为无人机运动控制的输入量，采用双重PID算法计算得到控制无人机运动的速度，使得无人机朝目标降落点运动，从而实现无人机的精确降落。由于该发明使用的标识是圆环状，且各向同性的，所以该发明无法解决无人机降落时的朝向问题。使用单一标识(Marker)，由于光照使得无人机阴影投射到标识上时，在图像处理阶段会出现区域和边缘特征缺失的现象，使得标识无法识别，无人机无法降落。

中国发明专利201610454292.5公开了一种基于视觉定位降落末端的无人机降落方法，用到的无人机机场是由多个停机位Marker组成，停机位Marker均是由N*N个方格区域构成的正方形结构，停机位Marker内设置嵌套Marker，无人机通过视觉模块获取视觉范围中的Marker并校验在视觉范围内的每个Marker的ID，从而估计自身位置精确着落，提供的无人机机场可为多个不同的无人机提供降落服务，也可在车顶、阳台灯各类小型平台提供单机停靠平台，统一的框架可低成本地实现在整个无人机调度中全自主飞行降落。正方形结构的停机位Marker及其嵌套Marker。在光线太暗，如傍晚或黑夜时，图像中的标识无法被识别，无人机无法精确降落。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于视觉的无人机精确降落方法、存储介质、装置及系统。

本发明解决其技术问题所采用的技术方案是：根据本发明的第一方面，提供一种基于视觉的无人机精确降落方法，包括步骤：

S10、根据降落平台的第j降落阶段的目标位置，无人机到达降落平台上空的预设高度Ht_j，进入第j降落阶段；

S20、无人机在第j阶段高度按预定轨迹循环搜索第j停机位标识，判断是否识别到所述第j停机位标识，如是，则跳转执行步骤S30；所述第j降落阶段与第j阶段高度及第j停机位标识一一对应；

S30、计算无人机的实时位置与目标位置的偏差，判断偏差是否满足第j降落阶段的阈值条件；如是，则跳转步骤S50；如否，则跳转步骤S40；

S40、无人机控制其在水平方向和垂直方向朝第j降落阶段的目标位置运动；

S50、判断j是否小于N，若是，则j＝j+1，并跳转步骤S10；若否，则跳转步骤S60；所述N为无人机的降落阶段的数量；

S60、无人机直接降落到降落平台的第j降落阶段的目标位置。

优选的，所述步骤S20、无人机在第j阶段高度按预定轨迹循环搜索第j停机位标识，具体包括步骤：

S21、设定所述预定轨迹的边长L的初始值为L＝L0，设定循环次数为i，所述i的初始值为0，设定边长系数为k，设定L＝L0+k*i；

S22、拍摄采集降落平台的第j降落阶段的目标位置的目标图像；

S23、识别判断目标图像是否包含停机位标识，若否，则跳转步骤S24；若是，则跳转步骤S30；

S24、所述L是否大于Lt，若否，则i＝i+1，并跳转步骤S21；若是，则跳转步骤S25；

S25、无人机控制其上升至第j-1阶段高度，j＝j-1，并跳转步骤S10。

优选的，所述预定轨迹为正方形循环轨迹、长方形循环轨迹或圆形循环轨迹。

优选的，所述步骤S23、识别判断目标图像是否包含停机位标识，具体包括步骤：

S231、将每一帧所述目标图像转换为灰度图；

S232、将灰度图通过图像锐化增强边缘特征成锐化后的灰度图；

S233、将锐化后的灰度图进行阈值分割得到二值图像；

S234、采用Canny算法检测得到二值图像的所有边缘；

S235、采用多边形拟合二值图像中的所有边缘，确定为正方形的Marker；

S236、对Marker进行投影变换并计算其ID；

S237、计算Marker的中心点在相机坐标系中的位置坐标(x,y,z,rx,ry,rz)，其中，所述x,y,z为Marker的中心点在相机坐标系X,Y,Z轴的坐标，所述rx,ry,rz为Marker与相机坐标系X,Y,Z轴的旋转角度。

优选的，所述偏差为Marker与无人机的相机间的相对位置，在水平方向上计算无人机的实时位置距离Marker位置的欧式距离d；当欧式距离d小于目标距离阈值时，则无人机的水平方向上已达到目标位置，无人机在水平方向的分速度设置为0；

当欧式距离d大于目标距离阈值时，则无人机在水平方向的分速度为：

v_x＝k_px*(x-x_target)

v_y＝k_py*(y-y_target)

所述v_x为无人机在水平X轴方向的分速度，所述v_x为无人机在水平Y轴方向的分速度，所述k_px、k_py为比例系数。

优选的，所述偏差为Marker与无人机的相机间的相对位置，在垂直方向上计算无人机的实时高度与目标高度的高度差h；

当高度差h小于或等于目标高度阈值，则无人机的垂直方向上到达目标位置，无人机在垂直Z轴方向的分速度设置为0；

当高度差h大于目标高度阈值时，则无人机在垂直Z轴方向的分速度为：

v_z＝k_pz*(z-z_target)

所述v_z为无人机在垂直Z轴方向的分速度，k_pz为垂直比例系数。

优选的，所述停机位标识按照尺寸大小分为N级，N级所述停机位标识按照预设间距直线排列设置在所述降落平台上，对应的，所述无人机的下降阶段按照高度大小分为N个降落阶段，无人机的阶段高度分为N个阶段高度；所述无人机在相应降落阶段采集目标图像并识别相应级别的停机位标识。

优选的，最后一级停机位标识设置为标识冗余阵列；标识冗余阵列包括中间设置有1个大尺寸第一标识，四周设置有多个小尺寸的第二标识。

优选的，N级停机位标识均为各向异性的停机位标识。

根据本发明的第二方面，还提供一种计算机可读的存储介质，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现上述基于视觉的无人机精确降落方法。

根据本发明的第三方面，还提供一种基于视觉的无人机精确降落装置，包括处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行存储器存储的计算机程序，以使处理器执行上述基于视觉的无人机精确降落方法。

根据本发明的第四方面，还提供一种基于视觉的无人机精确降落系统，包括无人机、降落平台以及基于视觉的无人机精确降落装置；

所述基于视觉的无人机精确降落装置包括处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行存储器存储的计算机程序，以使处理器执行上述的基于视觉的无人机精确降落方法。

优选的，所述降落平台上设置有多级停机位标识；其中，所述停机位标识按照尺寸大小分为N级，N级所述停机位标识按照预设间距排列设置在降落平台上，对应的，所述无人机的下降阶段按照高度大小分为N个降落阶段，所述无人机的阶段高度分为N个阶段高度；所述无人机在相应降落阶段采集目标图像并识别相应级别的停机位标识。

优选的，最后一级停机位标识设置为标识冗余阵列；其中，所述标识冗余阵列包括中间设置有1个大尺寸第一标识，四周设置有多个小尺寸的第二标识。

优选的，N级停机位标识均为各向异性的停机位标识。

优选的，所述降落平台还包括安装在停机位标识侧方的投光灯，投光灯的投光中心在停机位标识的中心位置。

实施本发明基于视觉的无人机精确降落方法、可读存储介质及系统的上述技术方案，具有如下优点或有益效果：采用多级停机位标识且最后一级采用标识冗余阵列，进而无人机可以分阶段降落，能适配不同降落高度的需求，增加了配置的灵活度，对降落要求的适配能力增强，克服阴影及运动误差的影响，使得降落过程基本不受无人机阴影的干扰，提高识别的鲁棒性。同时，在降落过程中可自动识别异常，且具有相应的处理方法，增强了对异常情况的兼容性，有效克服视野变化及运动偏差等影响，提高降落的稳定性。采用各向异性的停机位标识，提供角度信息，允许无人机按指定角度降落在目标位置；通过在降落平台上安装投光灯照射降落平台的目标位置，在光线较暗时及时补光，实现无人机全天候精确降落。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：

图1是现有技术一基于图像处理的无人机精确位置降落方法的停机坪结构示意图；

图2是现有技术二基于视觉定位降落末端的无人机降落方法的停机位Marker的结构示意图；

图3是本发明基于视觉的无人机精确降落方法实施例的流程示意图；

图4是本发明基于视觉的无人机精确降落方法实施例的循环搜索停机位标识的流程示意图；

图5是本发明基于视觉的无人机精确降落方法实施例的循环轨迹示意图；

图6是本发明基于视觉的无人机精确降落系统实施例的停机位标识码示意图；

图7是本发明基于视觉的无人机精确降落系统实施例的最后一级停机位标识码一示意图；

图8是本发明基于视觉的无人机精确降落系统实施例的最后一级停机位标识码另一示意图；

图9是本发明基于视觉的无人机精确降落系统实施例的投光灯示意图；

图10是本发明基于视觉的无人机精确降落方法实施例的三阶段降落示意图；

图11是本发明基于视觉的无人机精确降落方法实施例的偏差距离示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本实用新型的描述。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“厚度”、“上下前后左右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元件必须具有的特定的方位、以特定的方位构造和操作，因此，不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以是通过中间媒介简介相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

如图3-11示出了本发明实基于视觉的无人机精确降落方法、存储介质、装置及系统施例提供的示意图，为了便于说明，仅示出了与本发明实施例相关的部分。本发明基于视觉的无人机精确降落方法，包括步骤：

S0、无人机通过GPS导航(如可以为无人机的GPS定位模块、北斗定位模块等)引导导到降落平台上空，即，无人机通过GPS导航从远处达到降落平台上空的预设高度，具体的，该预设高度Ht可以为30米、40米、50米等等，具体根据无人机及其视野环境来确定。更为具体的，步骤S0在步骤S10之前，无人机通过GPS导航引导达到第1降落阶段的目标位置。

S10、根据降落平台的第j降落阶段的目标位置，无人机到达降落平台上空的预设高度Ht_j，进入第j降落阶段；具体的，所述j的初始值为1。

S20、无人机在第j阶段高度按预定轨迹循环搜索第j停机位标识，判断是否识别到第j停机位标识，如是，则跳转执行步骤S30；具体的，第j降落阶段与第j阶段高度及第j停机位标识一一对应。

S30、计算无人机的实时位置与目标位置的偏差，判断偏差是否满足第j降落阶段的阈值条件，如是，则跳转步骤S50；如否，则跳转步骤S40；具体的，即为判断无人机的实时位置是否接近第j降落阶段的目标位置。

S40、无人机控制其在水平方向和垂直方向朝第j降落阶段的目标位置运动。

S50、判断j是否小于N，若是，则j＝j+1，并跳转步骤S10；若否，则跳转步骤S60；所述N为无人机的降落阶段的数量。

S60、无人机直接降落到降落平台的第j降落阶段的目标位置。

在本实施例中，如图4所示，步骤S20、无人机在第j阶段高度按预定轨迹循环搜索第j停机位标识，具体包括步骤：

S21、设定预定轨迹的边长为L，L的初始值为L0，例如L0＝4，设定初始的循环次数为i，i的初始值为0，设定边长系数为k，例如k＝2，设定L＝L0+k*i；具体的，所述预定轨迹为正方形循环轨迹、长方形循环轨迹或圆形循环轨迹；当然，也可以为其他形状，具体不在此做具体限制。

S22、拍摄采集降落平台的第j降落阶段的目标位置的目标图像；

S23、识别判断目标图像是否包含停机位标识，若否，则跳转步骤S24；若是，则跳转步骤S30；

S24、L是否大于Lt，若否，则i＝i+1，则跳转步骤S21；若是，则跳转步骤S25；

S25、无人机控制其上升至第j-1阶段高度，j＝j-1，并跳转步骤S10。

在本实施例中，步骤S23、识别判断目标图像是否包含停机位标识，具体包括步骤：

S231、将每一帧目标图像转换为灰度图；

S232、将灰度图通过图像锐化增强边缘特征成锐化后的灰度图；

S233、将锐化后的灰度图进行阈值分割得到二值图像；

S234、采用Canny算法检测得到二值图像的所有边缘；

S235、采用多边形拟合二值图像中的所有边缘，确定为正方形的Marker；例如包括4个顶点的Marker等，与步骤S21对应的，如果是其他形状，则确定其他形状的Marker。

S236、对Marker进行投影变换并计算其ID；

S237、计算Marker的中心点在相机坐标系中的位置坐标(x,y,z,rx,ry,rz)，其中，所述x,y,z为Marker的中心点在相机坐标系X,Y,Z轴的坐标，所述rx,ry,rz为Marker与相机坐标系X,Y,Z轴的旋转角度。

具体的，所述偏差为Marker与无人机的相机间的相对位置，在水平方向上计算无人机当的实时置距离Marker位置的欧式距离d；当欧式距离d小于目标距离阈值时，则无人机的水平方向上已达到目标点，无人机在水平方向的分速度设置为0。

当欧式距离d大于目标距离阈值时，则无人机在水平方向的分速度为：

v_x＝k_px*(x-x_target)

v_y＝k_py*(y-y_target)

其中，所述v_x为无人机在水平X轴方向的分速度，所述v_x为无人机在水平Y轴方向的分速度，所述k_px、k_py为比例系数。更为具体的，X方向比例系数k_px、Y方向比例系数k_py是根据无人机允许的最大速度范围和使用经验确定的，k_px、k_py比例系数范围为0.25-1.25。

具体的，所述偏差为Marker与无人机的相机间的相对位置，在高度方向上计算无人机的实时高度与目标高度的高度差h；当高度差h小于或等于目标高度阈值，则无人机在垂直方向上到达目标位置，无人机在垂直Z轴方向的分速度设置为0。

当高度差h大于目标高度阈值时，则无人机在垂直Z轴方向的分速度为：

v_z＝k_pz*(z-z_target)

其中，所述v_z为无人机在垂直Z轴方向的分速度，所述k_pz为垂直比例系数。更为具体的，垂直比例系数k_pz是根据无人机允许的最大速度范围和使用经验确定的，k_pz比例系数范围为0.25-1.25。

在本实施例中，如图6-8所示，降落平台上设置有多个停机位标识，多个停机位标识按照尺寸大小分为N级，N级停机位标识按照预设间距直线排列设置在降落平台上，对应的，无人机的下降阶段按照高度大小分为N个降落阶段，无人机的阶段高度分为N个阶段高度；无人机在相应降落阶段采集目标图像并识别相应级别的停机位标识。

具体的，最后一级停机位标识设置为标识冗余阵列；标识冗余阵列包括中间设置有1个大尺寸第一标识(Marker)，四周设置有多个小尺寸的第二标识(Marker)。优选的，N级停机位标识均为各向异性的停机位标识。具体的，各向异性是指该停机位标识(如正方形Marker)图案从四个边的方向上看上去都是不一样的，这样降落时根据图像中Marker的朝向就知道无人机与Marker的相对的朝向信息。用户无需设置和存储方向，但是对于最后降落的朝向，可以指定与Maker相对朝向。N级停机位标识之间没有固定的比例关系，实际应用时保证在每个降落阶段对应的Marker完整出现在相机视野即可，即每个Marker的尺寸取决于相机视野大小，和对应的识别阶段。

实施例二：

本领域普通技术人员可以理解，实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读的存储介质中，存储介质上存储有计算机程序，所述计算机程序被(如处理器)执行时，执行包括上述基于视觉的无人机精确降落方法实施例的步骤，而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

实施例三：

本发明还提供一种基于视觉的无人机精确降落装置实施例，包括处理器及存储器；其中，所述存储器用于存储计算机程序，所述处理器用于执行存储器存储的计算机程序，以使处理器执行上述基于视觉的无人机精确降落方法实施例的步骤。具体的，基于视觉的无人机精确降落装置可以为遥控器、智能平板、智能手机等智能终端，在此不做具体限制。

实施例四：

本发明还提供一种基于视觉的无人机精确降落系统，包括无人机、降落平台以及基于视觉的无人机精确降落装置；具体的，基于视觉的无人机精确降落装置包括处理器及存储器；存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使处理器执行如上述基于视觉的无人机精确降落方法实施例的步骤。更为具体的，无人机包括定位模块、拍摄模块(相机)、运动模块等等，在此不做赘述。基于视觉的无人机精确降落装置可以为遥控器、智能平板、智能手机等智能终端，在此不做具体限制。

具体的，所述降落平台上设置有多级停机位标识；其中，所述停机位标识按照尺寸大小分为N级，N级停机位标识按照预设间距排列设置在降落平台上，对应的，无人机的下降阶段按照高度大小分为N个降落阶段，无人机的阶段高度分为N个阶段高度；无人机在相应降落阶段采集目标图像并识别相应级别的所述停机位标识。

具体的，最后一级停机位标识设置为标识冗余阵列；其中，所述标识冗余阵列包括中间设置有1个大尺寸第一标识，四周设置有多个小尺寸的第二标识。N级停机位标识均为各向异性的停机位标识。

在本实施例中，降落平台还包括安装在停机位标识侧方的投光灯，投光灯的投光中心在停机位标识的中心位置。具体的，投光灯也可以安装在降落平台的侧方，投光灯的投光中心在停机位标识的中心位置。具体的，在降落平台侧方安装功率为100瓦以上的投光灯，投光中心在Marker中心位置，即所有N级停机位标识的中心位置，即光照可以覆盖到所有Marker。更为具体的，投光灯是根据用户感知的光照条件太弱时手动开启，如傍晚、雾天等光照弱时开启。进而目标图像中的Marker清晰可见。更为具体的，还可以设置光线传感器，当光线传感器检测到光线较暗，发送开启命令至投光灯自动开启该投光灯。

实施例五：

在本实施例中，以具体实际操作数据为例，对实施例一的内容进行更为详细的介绍分析。本发明基于视觉的无人机精确降落方法，包括了以下步骤：

S00、无人机通过GPS导航(如可以为无人机的GPS定位模块、北斗定位模块等)引导导到降落平台上空，即，无人机通过GPS导航从远处达到降落平台上空的预设高度，具体的，该预设高度Ht可以为30米、40米、50米等等，具体根据无人机及其视野环境来确定。

S100、根据降落平台的第j降落阶段的目标位置，无人机到达降落平台上空的预设高度Ht_j，进入第j降落阶段。

在本实施例中，降落平台上设置有多个停机位标识(Marker)，停机位标识按照尺寸大小分为N级，N级停机位标识按照预设间距直线排列设置在降落平台上，对应的，无人机的下降阶段按照高度大小分为N个降落阶段；无人机在相应降落阶段能采集到相应级别的停机位标识。具体的，N可以为2、3、4等等，具体根据需要来设置。优选的，N级停机位标识均为各向异性的停机位标识，即任意旋转停机位标识Marker，得到的图像是不一样的，这样在识别时可以给出无人机与停机位标识Marker的相对角度，可以满足需要以一定角度降落的需求。与现有主流的技术方案相比，允许降落时无人机以一定朝向降落在目标位置上。

具体的，无人机整个下降过程按照停机位标识Marker尺寸大小级别划分为对应阶段，如采用大、中、小三级不同大小停机位标识Marker，则下降过程划分为3个阶段；如采用大、小两级停机位标识Marker，则下降过程划分为2个阶段；不同下降阶段识别该阶段对应的停机位标识Marker，如下降过程分为3个阶段，则第一阶段识别大停机位标识Marker，第二阶段识别中停机位标识Marker，第三阶段识别小停机位标识Marker，以此类推；完成一个下降阶段进入下一个阶段时，设置的阶段间切换高度应保证此阶段对应的停机位标识Marker和下一阶段的停机位标识Marker均在视野中，否则无法切换到下一个阶段，因此，停机位标识Marker排布间距不宜过大，下降阶段切换高度应根据无人机的相机视野和停机位标识Marker排布综合考虑。

如图4所示，采用三级停机位标识Marker降落时，采用3阶段切换高度可以为Am和Bm，对应的，停机位标识Marker排布，停机位标识Marker按照一定间距排列，保证降落过程中无人机的相机视野中始终能识别到该降落阶段对应的停机位标识Marker。

在本实施例中，最后一级停机位标识为标识冗余阵列；标识冗余阵列包括中间设置有1个大尺寸第一标识，四周设置有多个小尺寸的第二标识。具体的，由于无人机离地面较短距离时一般会有阴影，为消除无人机自身阴影的影响，最后一个降落阶段对应的小的第一标识在前后左右4个方向上各有一个尺寸更小的第二标识，这5个Marker组成Marker冗余阵列，如图7所示，标识冗余阵列包括id＝21,id＝83,id＝84,id＝85,id＝86的Marker，5个Marker构成冗余结构，即使某些Marker上出现阴影，导致无人机相机无法计算出其位置坐标，但只要有任何一个Marker上没有阴影，就可以提供Marker与无人机间的相对位置。另外Marker冗余阵列对比单一Marker的优势还在于，由于在最后一个降落阶段无人机的高度值比较小，视野范围变小，由于无人机运动的执行机构存在误差，很容易导致Marker超出相机视野范围，从而失去定位坐标，导致无人机无法降落。而Marker阵列中的5个Marker相互冗余，只要视野中有一个Marker就能提供定位坐标，使得降落过程对于无人机运动的误差鲁棒性大大提高。该冗余结构可根据无人机造成的阴影图形结构进行拓展，如4个Marker冗余结构仍无法完全消除阴影的影响，可考虑更多的Marker构成的Marker阵列，如图8所示的8个Marker冗余结构。

S200、无人机在第j阶段高度按预定轨迹循环搜索第j停机位标识，判断是否识别到第j停机位标识，如是，则跳转执行步骤S300；第j降落阶段与第j阶段高度及第j停机位标识一一对应；

在本实施例中，无人机的相机识别视野中的大Marker，如果没有识别到Marker，则无人机在该高度沿正方形轨迹搜索，如果识别到Marker，则停止搜索并开始控制无人机下降；如果没有识别到Marker，则逐步增大正方形轨迹边长，直到到最大边长为止，即如果没有识别到Marker，则无人机搜索时的运动轨迹如图3所示。

在本实施例中，步骤S200、无人机在第j阶段高度按预定轨迹循环搜索第j停机位标识，具体包括步骤：

S201、设定预定轨迹的边长为L，L的初始值为L0，设定循环次数为i，i的初始值为0，设定边长系数为k，如k＝2等等，设定L＝L0+k*i；具体的，预定轨迹可以为正方形循环轨迹；

S202、拍摄采集降落平台的第j降落阶段的目标位置的目标图像；

S203、识别判断目标图像是否包含停机位标识，若否，则跳转步骤S24；若是，则跳转步骤S300；

S204、L是否大于边长阈值Lt，若否，则i＝i+1，并跳转步骤S201；若是，则跳转步骤S205；

S205、无人机控制其上升至第j-1阶段高度，j＝j-1，并跳转步骤S100。

无人机在降落过程中，每个降落阶段识别该阶段设定的Marker，如果由于某种原因，如无人机的运动误差、风速等，导致在某阶段Marker没有识别到，此时控制无人机垂直上升，扩大相机视野，如果重新识别到Marker，则停止上升，并朝Marker运动；如果仍然没有识别到Marker，则一直上升至该阶段的起始高度，并以较小正方形轨迹如1米盘旋，直至搜索到Marker。

在本实施例中，步骤S203、识别判断目标图像是否包含停机位标识，无人机对于相机拍的每一帧图像，将其对应的灰度图进行阈值分割、轮廓提取、投影变换、ID计算，最后利用相机的标定关系得到Marker在相机坐标系中的位置。具体包括步骤：

S231、将每一帧目标图像转换为灰度图；具体的，将每一帧目标图像的RGB彩色图转换为灰度图

S232、将灰度图通过图像锐化增强边缘特征成锐化后的灰度图；

S233、将锐化后的灰度图进行阈值分割得到二值图像；

S234、采用Canny算法检测得到二值图像的所有边缘；

S235、采用多边形拟合二值图像中的所有边缘，找到确定位正方形Marker，即正方形Marker的4个顶点；

S236、对Marker进行投影变换并计算其ID；

S237、利用相机的标定关系计算Marker的中心点在相机坐标系中的位置坐标(x,y,z,rx,ry,rz)，其中，所述x,y,z为Marker的中心点在相机坐标系X,Y,Z轴的坐标，所述rx,ry,rz为Marker与相机坐标系X,Y,Z轴的旋转角度。

在本实施例中，以Marker与无人机的相机间的相对位置作为偏差，在水平方向上计算无人机当前位置距离Marker位置的欧式距离d；当欧式距离d小于目标距离阈值时，则无人机在水平方向上已达到目标点，无人机在水平方向的分速度设置为0；当欧式距离d大于目标距离阈值时，无人机水平方向的分速度为比例系数乘以该方向上的距离偏差，无人机在水平方向的分速度为：

v_x＝k_px*(x-x_target)

v_y＝k_py*(y-y_target)

其中，所述v_x为无人机在水平X轴方向的分速度，所述v_x为无人机在水平Y轴方向的分速度，所述k_px、k_py为比例系数。

具体的，以Marker与无人机的相机间的相对位置作为偏差，在垂直(高度)方向上计算无人机的实时高度与目标高度的高度差h；当高度差h小于或等于目标高度阈值，则无人机在垂直方向上到达目标位置，无人机在垂直Z轴方向的分速度设置为0；当高度差h大于目标高度阈值时，无人机垂直向下的速度为比例系数乘以高度偏差，无人机在垂直Z轴方向的速度为：

v_z＝k_pz*(z-z_target)

其中，所述v_z为无人机在垂直Z轴方向的速度，所述k_pz为垂直比例系数。

S300、当无人机在识别到第j停机位标识后，计算无人机的实时位置与目标位置的偏差，判断偏差是否满足第j降落阶段的阈值条件，即判断无人机的实时位置是否满足第j降落阶段的目标位置的阈值条件，如是，则跳转步骤S500；如否，则跳转步骤S400；

S400、无人机控制其在水平方向和垂直方向朝第j降落阶段的目标位置运动；

S500、判断j是否小于N，若是，则j＝j+1，并跳转步骤S100；若否，则跳转步骤S600；所述N为无人机的降落阶段的数量；

S600、无人机直接降落到降落平台的第j降落阶段的目标位置。

具体的，利用无人机与停机位标识Marker间的相对位置作为输入，采用PID(比例积分微分)控制，计算得到控制无人机在水平方向和垂直方向上的分速度量，从而控制无人机朝目标Marker运动。

本发明采用多级停机位标识分阶段降落，使得无人机能适配不同降落高度的需求，即初始降落高度越高，则可以增加大尺寸标识，增加降落阶段，使得无人机在该高度仍能识别到标识，获得定位信息；增加了配置的灵活度，对降落要求的适配能力增强。如图10所示，为3阶段降落示意图，无人机降落轨迹为p1-p2-p3-p4-5-p6。如需增加初始下降高度，则只需增加更大尺寸Marker，配置新的下降阶段即可。

本发明提供了一种降落过程中识别异常导致无法继续下降的处理方法，增强了对异常情况的兼容性，有效克服视野变化，运动偏差等影响，提高降落的稳定性。采用各向异性的标识Marker，在定位信息中提供角度信息，允许无人机按指定角度降落在着陆点上；采用标识阵列的方式克服阴影的影响，使得降落过程基本不受日光照射阴影的干扰，提高识别的鲁棒性；且最后一级标识阵列中的标识相互冗余，使得无人机对运动误差的容忍度大大增加，如图11所示，当只有单一Marker，无人机位置在p1时，为无人机允许的最大运动偏差位置；当采用Marker阵列，无人机在同高度的p2位置时，为无人机允许的最大运动偏差位置，则与单一Marker相比，Marker阵列允许的最大偏差距离增加了：d_e＝s+d，其它方向同理计算。最后，通过在降落平台安装投光灯照射降落区域，在光线较暗时补光，实现无人机全天候自主精确降落。

在阅读完下面将要描述的内容之后，本领域的技术人员应当明白，本文描述的各种特征可通过方法、数据处理系统或计算机程序产品来实现。因此，这些特征可部采用硬件的方式、全部采用软件的方式或者采用硬件和软件结合的方式来表现。此外，上述特征也可采用存储在一种或多种计算机可读存储介质上的计算机程序产品的形式来表现，该计算机可读存储介质中包含计算机可读程序代码段或者指令，其存储在存储介质中。可读存储介质被配置为存储各种类型的数据以支持在装置的操作。可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现。如静硬盘、态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、光存储设备、磁存储设备、快闪存储器、磁盘或光盘和/或上述设备的组合。

以上仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (9)

1.一种基于视觉的无人机精确降落方法，其特征在于，具体包括步骤：

S10、根据降落平台的第j降落阶段的目标位置，无人机到达所述降落平台上空的预设高度Ht_j，进入第j降落阶段；

S20、所述无人机在第j阶段高度按预定轨迹循环搜索第j停机位标识，判断是否识别到所述第j停机位标识，如是，则跳转执行步骤S30；所述第j降落阶段与所述第j阶段高度及所述第j停机位标识一一对应；具体包括步骤：

所述停机位标识按照尺寸大小分为N级，N级所述停机位标识按照预设间距排列设置在所述降落平台上，对应的，所述无人机的下降阶段按照高度大小分为N个降落阶段，所述无人机的阶段高度分为N个阶段高度；所述无人机在相应降落阶段采集所述目标图像并识别相应级别的所述停机位标识；最后一级所述停机位标识设置为标识冗余阵列；所述标识冗余阵列包括中间设置有1个大尺寸第一标识，四周设置有多个小尺寸的第二标识；N级所述停机位标识均为各向异性的停机位标识；

S30、计算所述无人机的实时位置与所述目标位置的偏差，判断所述偏差是否满足第j降落阶段的阈值条件；如是，则跳转步骤S50；如否，则跳转步骤S40；

S40、所述无人机控制其在水平方向和垂直方向朝所述第j降落阶段的目标位置运动；

S50、判断所述j是否小于N，若是，则j＝j+1，并跳转步骤S10；若否，则跳转步骤S60；所述N为所述无人机的降落阶段的数量；

S60、所述无人机直接降落到所述降落平台的第j降落阶段的目标位置；

所述步骤S20、所述无人机在第j阶段高度按预定轨迹循环搜索第j停机位标识，具体包括步骤：

S21、设定所述预定轨迹的边长为L，所述L的初始值为L0，设定循环次数为i，所述i的初始值为0，设定边长系数为k，设定L＝L0+k*i；

S22、拍摄采集所述降落平台的第j降落阶段的目标位置的目标图像；

S23、识别判断所述目标图像是否包含所述停机位标识，若否，则跳转步骤S24；若是，则跳转步骤S30；

S24、所述L是否大于边长阈值Lt，若否，则i＝i+1，并跳转步骤S21；若是，则跳转步骤S25；

S25、所述无人机控制其上升至第j-1阶段高度，j＝j-1，并跳转步骤S10。

2.根据权利要求1所述的基于视觉的无人机精确降落方法，其特征在于，所述预定轨迹为正方形循环轨迹、长方形循环轨迹或圆形循环轨迹。

3.根据权利要求1所述的基于视觉的无人机精确降落方法，其特征在于，所述步骤S23、识别判断所述目标图像是否包含所述停机位标识，具体包括步骤：

S231、将每一帧所述目标图像转换为灰度图；

S232、将所述灰度图通过图像锐化增强边缘特征成锐化后的灰度图；

S233、将所述锐化后的灰度图进行阈值分割得到二值图像；

S234、采用Canny算法检测得到所述二值图像的所有边缘；

S235、采用多边形拟合所述二值图像中的所有边缘，确定为正方形的Marker；

S236、对所述Marker进行投影变换并计算其ID；

S237、计算所述Marker的中心点在相机坐标系中的位置坐标(x,y,z,rx,ry,rz)，其中，所述x,y,z为所述Marker的中心点在相机坐标系X,Y,Z轴的坐标，所述rx,ry,rz为所述Marker与相机坐标系X,Y,Z轴的旋转角度。

4.根据权利要求3所述的基于视觉的无人机精确降落方法，其特征在于，所述偏差为所述Marker与所述无人机的相机间的相对位置，在水平方向上计算所述无人机的实时位置距离所述Marker位置的欧式距离d；

当所述欧式距离d小于目标距离阈值时，则所述无人机在水平方向上已达到所述目标位置，所述无人机在水平方向的分速度设置为0；

当所述欧式距离d大于所述目标距离阈值时，则所述无人机在水平方向的分速度为：

v_x＝k_px*(x-x_target)

v_y＝k_py*(y-y_target)

所述v_x为所述无人机在水平X轴方向的分速度，所述v_x为所述无人机在水平Y轴方向的分速度，所述k_px、k_py为比例系数。

5.根据权利要求3所述的基于视觉的无人机精确降落方法，其特征在于，所述偏差为所述Marker与所述无人机的相机间的相对位置，在垂直方向上计算所述无人机的实时高度与目标高度的高度差h；

当所述高度差h小于或等于目标高度阈值，则所述无人机在垂直方向上到达所述目标位置，所述无人机在垂直Z轴方向的分速度设置为0；

当所述高度差h大于所述目标高度阈值时，则所述无人机在垂直Z轴方向的分速度为：

v_z＝k_pz*(z-z_target)

所述v_z为所述无人机在垂直Z轴方向的分速度，所述k_pz为垂直比例系数。

6.一种计算机可读的存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现权利要求1-5任一项所述的基于视觉的无人机精确降落方法。

7.一种基于视觉的无人机精确降落装置，其特征在于，包括处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述处理器执行如权利要求1-5任一项所述的基于视觉的无人机精确降落方法。

8.一种基于视觉的无人机精确降落系统，其特征在于，包括无人机、降落平台以及基于视觉的无人机精确降落装置；

所述基于视觉的无人机精确降落装置包括处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述处理器执行如权利要求1-5任一项所述的基于视觉的无人机精确降落方法；

所述降落平台上设置有多级停机位标识；所述停机位标识按照尺寸大小分为N级，N级所述停机位标识按照预设间距排列设置在所述降落平台上，对应的，所述无人机的下降阶段按照高度大小分为N个降落阶段，所述无人机的阶段高度分为N个阶段高度；所述无人机在相应降落阶段采集所述目标图像并识别相应级别的所述停机位标识；N级所述停机位标识均为各向异性的停机位标识；

最后一级所述停机位标识设置为标识冗余阵列；所述标识冗余阵列包括中间设置有1个大尺寸第一标识，四周设置有多个小尺寸的第二标识。

9.根据权利要求8所述的基于视觉的无人机精确降落系统，其特征在于，所述降落平台还包括安装在所述停机位标识侧方的投光灯，所述投光灯的投光中心在所述停机位标识的中心位置。

Images