CN112650298B - 一种无人机追踪降落方法及系统 - Google Patents

Abstract

本发明提出一种无人机追踪降落方法及系统，包括远距离追踪方法和近距离追踪方法；对拍摄的视频帧进行yolov4‑tiny目标识别，通过ECO相关滤波器进行跟踪从远距离靠近降落平台，检测Apriltag码，并执行近距离追踪方法，所述Apriltag码为Apriltag中心嵌套码，对Apriltag中心嵌套码全局和局部检测，计算Apriltag中心嵌套码中心，估算无人机与目标降落平台的位置差dx、dy和dz；通过激光测得无人机与目标降落平台的高度H，以H为依据对dx和dy进行比例纠正，纠正后的数据进行无人机运动的控制，本发明利用yolov4‑tiny目标识别算法和所述RCO相关滤波器跟踪的相互切换，实现对目标的重定位，提高追踪检测算法的效率，准确的对目标进行定位；Apriltag中心嵌套码提高空间编码的利用率，有利于无人机的识别。

Description

一种无人机追踪降落方法及系统

技术领域

本发明涉及无人机降落的技术领域，特别是一种无人机追踪降落方法及系统。

背景技术

目前的跟踪算法主要基于深度神经网络或相关滤波，以及二者的结合。基于深度神经网络的跟踪算法精度高，但运行速度慢；而基于相关滤波的跟踪算法速度快，但精度稍低，且当目标离开视野或被遮挡时，容易出现跟踪目标丢失。至于结合二者的跟踪算法，一般是利用卷积神经网络提取出特征替换人工选择的特征，再进行相关性的计算以实现跟踪，虽然在速度与精度上有了一个比较好的均衡，但由于卷积神经网络计算时间长，依旧难以满足无人机跟踪的实时性要求，不利于嵌入无人机跟踪系统中。

现有的GPS定位技术需要良好且稳定的信号，这在无人机低空近距离的追踪降落过程中并不满足，且精度也不够。在视觉领域可以使用Apriltag码引导无人机降落，一般方法是在空中对单个Apriltag码完成检测并控制无人机在水平方向靠近，然后进行降落，但是由于在降落过程中缺乏多次再校准，因此精度不佳。而一般的低空追踪问题可以在水平面排列多个大小不一的Apriltag组合码与使用卡尔曼滤波预测目标物在下一帧图像中的位置来进行优先局部检测，但在追踪与降落的过程中，高度跨越大，随着高度的降低，镜头视野变小，原区域识别到的码不能再被检测，预测加局部检测的方法失效，只能再次进行全局检测，重新寻找更小更合适的Apriltag码，即局部搜索的策略缺乏连续性，且使用多个Apriltag组合码造成的空间冗余不利于精准降落。因此这种方法不能很好地应用在无人机的追踪降落任务上。

此外，原有的Apriltag码检测技术可以对无人机与目标的相对位置与姿态进行估计，但由于相机内参标定不够准确，摄像头分辨率有限以及追踪过程中对摄像头的影响等因素会使得估算结果存在误差，缺乏一定的数据校准环节。并且无人机在不同的追踪情况下对控制效果的要求不一样，常用的固定参数PID技术并不太合适。

发明内容

针对上述缺陷，本发明的目的在于提出一种无人机追踪降落方法及系统，解决无人机降落的控制效果不佳，追踪缺乏再校准，精度不佳的问题。

为达此目的，本发明采用以下技术方案：

一种无人机追踪降落系统，包括远距离追踪方法和近距离追踪方法；所述远距离追踪方法包括以下步骤：

S1、对目标降落平台拍摄，对拍摄的视频帧进行yolov4-tiny目标识别，识别出精确的目标框后通过ECO相关滤波器进行跟踪；

S2、判断是否检测到目标降落平台，若是则控制无人机从远处快速接近目标，若否则控制无人机上升运动以获取更广的视角；

S3、无人机靠近目标时，判断无人机的位置是否足够靠近目标，是则控制无人机缓慢下降，若否则返回执行步骤S1；

S4、判断是否检测到降落平台的Apriltag码，若是则执行近距离追踪方法，若否则返回执行步骤S1；

所述近距离追踪方法中Apriltag码为中心嵌套码，近距离追踪方法包括以下步骤：

SS1、在初始检测状态时，无人机处于相对较高的高度，对采集的图像进行Apriltag中心嵌套码全局检测；

SS2、采用取平均值的方法计算Apriltag中心嵌套码的中心，估算无人机与目标降落平台的位置差dx、dy和dz；

SS3、激光测距测量出与目标降落平台的高度H，将高度H与估算的dz进行对比，当H与dz相差较多，H/dz>1.1或dz/H>1.1时，舍弃该次估算的位置差数据，反之以H为依据对dx和dy进行比例纠正，得dx′、dy′，此时dx′＝dx*(H/dz)，dy′＝dy*(H/dz)；根据激光测距高度H进行无人机的高度运动控制，根据纠正后的水平位置差dx′和dy′进行无人机水平运动的控制。

优选的，所述步骤S1包括以下步骤：

A1、接收拍摄的视频帧，yolov4-tiny识别到目标后，将精确的目标框发送至ECO相关滤波器；

A2、利用ECO相关滤波器对视频帧中的目标模型进行跟踪；

A3、ECO相关滤波器跟踪过程中检测视频帧中目标是否丢失，若目标丢失则返回执行步骤A1进行目标识别；若目标没有丢失，则更新目标模型发送至ECO相关滤波器，ECO相关滤波器继续对目标进行跟踪。

优选的，yolov4-tiny目标识别的参数量采用基于深度可分离卷积的反残差结构，减少参数量，并对基于深度学习的特征提取网络进行裁剪压缩，将网络中一些值将近于0的权重参数直接置零；yolov4-tiny目标识别的规则卷积采用可变形卷积。

优选的，所述步骤S1中ECO跟踪中的目标模型采用稀疏更新模型，且模型采用FHOG梯度特征、CN颜色特征和LBP纹理特征三种特征进行融合，根据其特征贡献度大小设置权重比例。

优选的，所述步骤S1中ECO相关滤波器对目标模型的更新方法还包括以下步骤：

B1、接收拍摄的视频帧，并通过yolov4-tiny目标识别输出对应的目标特征图，并得到相关响应图；

B2、设定阈值，将相关响应图的峰值与阈值比较，若峰值低于阈值，舍弃当前帧不对模型进行更新，若峰值高于阈值，则将当前视频帧纳入对模型进行更新。

优选的，所述步骤SS3中，控制过程中采用分段切换PID参数的方式，(i)当无人机与目标水平位置差较大时，P参数占比较I参数和D参数大；(ii)当无人机追踪目标到合适范围后，降低P参数，提高I参数；(iii)当无人机在足够靠近目标时，高度降低，镜头视野变小，提高D参数。

优选的，所述近距离追踪方法的步骤SS1中，对采集的图像进行Apriltag中心嵌套码全局检测的同时还进行迭代卡尔曼滤波的局部检测：

Apriltag中心嵌套码内部留有一块空白区域不含编码信息，由外往里地进行层层嵌套Apriltag码，当原来识别到的Apriltag码失效，利用迭代卡尔曼滤波算法在预测的局部区域中搜索到更小的Apriltag码，同时在进行局部搜索时，降低局部区域的分辨率。

一种无人机追踪降落系统，应用有上述的无人机追踪降落方法，包括无人机拍摄模块、yolov4-tiny识别模块、ECO跟踪模块、Apriltag码检测模块、控制模块、激光测距模块和降落平台；

所述降落平台上设置有Apriltag中心嵌套码，所述Apriltag中心嵌套码由外往里地进行层层嵌套Apriltag码，相邻两侧Apriltag码之间留有一块不含编码信息的空白区域；

所述无人机拍摄模块用于对降落平台进行视频拍摄，并将视频帧发送至yolov4-tiny识别模块；

所述yolov4-tiny识别模块用于对视频帧的降落平台进行目标识别，并将目标发送至ECO跟踪模块；

所述ECO跟踪模块通过所述控制模块控制无人机追踪目标，靠近所述降落平台；

所述Apriltag码检测模块用于对所述降落平台上的Apriltag码进行检测；

所述控制模块用于计算与降落平台的距离，并控制无人机的飞行动作；

所述激光测距模块用于测量无人机与降落平台之间的高度差。

本发明的有益效果：

1、本发明根据上述内容提出一种无人机追踪降落方法及系统，其中方法包括远距离追踪方法和近距离追踪方法，通过摄像头等拍摄模块拍摄的大部分视频帧采用ECO相关滤波进行跟踪，视频帧的第一帧以及目标因为光线变换或者受到遮挡等因素而导致跟丢时，能够及时切换到yolov4-tiny识别算法对视频帧重新进行识别，实现对目标的重定位，起到辅助跟踪的作用，提高追踪检测算法的效率，及时并准确的对目标进行定位；

2、本发明采用的Apriltag中心嵌套码，由此可以由外往里，由大至小地对编码信息进行层层嵌套，整体上提高了空间编码的利用率，有利于无人机在不同高度下完成识别；

3、对Apriltag中心嵌套码全局和局部检测，通过激光测得无人机与目标降落平台的高度H，以H为依据对Apriltag码估算出来的水平位置差dx和dy进行比例纠正，纠正后的数据进行无人机运动的控制，提高无人机降落的准确性。

附图说明

图1是本发明中一个实施例的远距离追踪方法的流程图；

图2是本发明中一个实施例的近距离追踪方法的流程图；

图3是本发明中一个实施例的步骤S1的具体流程图；

图4是本发明中一个实施例的深度可分离卷纸的示意图；

图5是本发明中一个实施例的网络裁剪的示意图；

图6是本发明中一个实施例的可变形卷积的示意图；

图7是本发明中一个实施例的利用阈值控制模型更新方法的流程图；

图8是本发明中一个实施例的两层Apriltag中心嵌套码的示意图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的实施方式的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

下面结合图1至图8描述本发明实施例的一种无人机追踪降落方法，包括远距离追踪方法和近距离追踪方法；所述远距离追踪方法包括以下步骤：

S1、对目标降落平台拍摄，对拍摄的视频帧进行yolov4-tiny目标识别，识别出精确的目标框后通过ECO相关滤波器进行跟踪；

S2、判断是否检测到目标降落平台，若是则控制无人机从远处快速接近目标，若否则控制无人机上升运动以获取更广的视角；

S3、无人机靠近目标时，判断无人机的位置是否足够靠近目标，是则控制无人机缓慢下降，若否则返回执行步骤S1；

S4、判断是否检测到降落平台的Apriltag码，若是则执行近距离追踪方法，若否则返回执行步骤S1；

所述近距离追踪方法中Apriltag码为Apriltag中心嵌套码，近距离追踪方法包括以下步骤：

SS1、在初始检测状态时，无人机处于相对较高的高度，对采集的图像进行Apriltag中心嵌套码全局检测；

SS2、采用取平均值的方法计算Apriltag中心嵌套码的中心，根据摄像头内参数据的标定，估算无人机与目标降落平台的位置差dx、dy和dz；

SS3、激光测距测量出与目标降落平台的高度H，将高度H与估算的dz进行对比，当H与dz相差较多，H/dz>1.1或dz/H>1.1时，舍弃该次估算的位置差数据，反之以H为依据对dx和dy进行比例纠正，得dx′、dy′，此时dx′＝dx*(H/dz)，dy′＝dy*(H/dz)；根据激光测距高度H进行无人机的高度运动控制，根据纠正后的水平位置差dx′和dy′进行无人机水平运动的控制。

具体的，在本实施例中，本申请将整个无人机追踪降落过程分为远距离捕捉并接近目标阶段和近距离低空的追踪与降落阶段，远距离捕捉并接近目标阶段的核心是追踪检测算法，划分为基于深度学习的目标识别(yolov4-tiny目标识别)与基于相关滤波的目标跟踪(ECO相关滤波器)两个部分；通过摄像头等拍摄模块拍摄的大部分视频帧采用相关滤波进行跟踪，视频帧的第一帧以及目标因为光线变换或者受到遮挡等因素而导致跟丢时，能够及时切换到识别算法对视频帧重新进行识别，实现对目标的重定位，起到辅助跟踪的作用，提高追踪检测算法的效率，及时并准确的对目标进行定位。

另外，进行摄像机标定的目的主要是为了求摄像机的内参以及畸变参数，张正友相机标定法为摄像机标定的常用算法，算法步骤为:标定板图像输入>角点坐标提取>构造方程>参数解算>最小二乘法参数估计>最大似然参数优化>畸变参数计算>畸变矫正>输出矫正图像，本实施例通过张正友相机标定法计算得到包括横向与纵向的焦距、图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数、径向畸变与切向畸变的系数，从而利用这些参数估算无人机与目标降落平台的位置差dx、dy和dz。

在近距离低空的追踪和降落阶段，使用激光测距数据纠正使用Apriltag码估算出来的水平位置差使得追踪数据更加可靠，相比传统的单个Apriltag码，Apriltag中心嵌套码内部留有一块空白区域不含编码信息，由此可以由外往里，由大至小地对编码信息进行层层嵌套，整体上提高了空间编码的利用率，有利于无人机在不同高度下完成识别。若成功识别出多个码时，采用取平均值的方法计算码中心；根据事先完成的拍摄装置内标定数据，Apriltag内置算法自动估算出无人机与目标物的位置差。

进一步的是，所述步骤S1包括以下步骤：

A1、接收拍摄的视频帧，yolov4-tiny识别到目标后，将精确的目标框发送至ECO相关滤波器；

A2、利用ECO相关滤波器对视频帧中的目标模型进行跟踪；

A3、ECO相关滤波器跟踪过程中检测视频帧中目标是否丢失，若目标丢失则返回执行步骤A1进行目标识别；若目标没有丢失，则更新目标模型发送至ECO相关滤波器，ECO相关滤波器继续对目标进行跟踪。

具体的，在本实施例中，如图3所示远距离捕捉并接近目标阶段的核心是追踪检测算法，划分为基于深度学习的目标识别与基于相关滤波的目标跟踪两个部分；过程中大多数视频帧由相关滤波器进行跟踪，目标识别算法只在初始帧与相关滤波跟丢目标时运行，给予跟踪模块一个精确的目标框，帮助其对目标进行重定位，大部分视频帧采用相关滤波进行跟踪，只有目标因为光线变换或者受到遮挡等因素而导致跟丢时，才会切换到识别算法，实现对目标的重定位，避免频繁对视频帧进行不比较的识别，导致运算效率低等问题。

进一步的是，yolov4-tiny目标识别的参数量采用基于深度可分离卷积的反残差结构，减少参数量，并对基于深度学习的特征提取网络进行裁剪压缩，将网络中一些值将近于0的权重参数直接置零；yolov4-tiny目标识别的规则卷积采用可变形卷积。

具体的，基于深度学习的特征提取网络之所以计算耗时长，主要是由于其卷积层的参数量多，在本实施例中采用基于深度可分离卷积的反残差结构取代标准卷积层，可以有效减少参数量；

如图6所示，同样的输入输出下，标准卷积参数量：w＝5×5×3×256＝19200，深度可分离卷积参数量：w＝5×5×3+1×1×3×256＝843；可见采用深度可分离卷积参数量会少很多，从而提高运算的速度；

另外，考虑到网络中的存在一些冗余的权重参数，对检测网络进行裁剪，将网络中一些值将近于0的权重参数直接置零，减少对冗余的近于0的权重参数的运算，从而提高运算的速度；

再者，标准卷积的规则矩形卷积采样难以适应几何形变，本实施例中采用可变形卷积取代常规规则卷积，同时，为进一步弥补提升速度所做操作所造成的信息损失，这里为yolov4-tiny再加一层特征图输出到检测网络，从多个尺度上对目标进行识别，提高目标识别的准确率。

进一步的是，所述步骤S1中ECO跟踪中的目标模型采用稀疏更新模型，且模型采用FHOG梯度特征、CN颜色特征和LBP纹理特征三种特征进行融合，根据其特征贡献度大小设置权重比例。

具体的，ECO跟踪模型如果对视频帧进行逐帧更新，其计算量非常巨大，但是视频的连续帧图像变化缓慢，模型无需频繁更新，因此，本实施例采用稀疏更新模型，不会对拍摄的视频帧中的每一帧进行目标模型的更新，模型的更新将间隔一定的帧数，此处的所述间隔帧数取值不是一固定值，而是设为一个区间内的随机值，具体的区间范围可由实际上多组实验的跟踪效果对比得出，当目标运动速度较慢(如行人)时，间隔帧数一般为10～15帧，当目标运动速度较快(如车辆、无人艇)时，间隔帧数一般为6～10帧；另外本实施例采用FHOG梯度特征、CN颜色特征和LBP纹理特征三种特征进行融合，根据其特征贡献度大小而设置权重比例，该权重比例可以通过设置几组比值进行跟踪效果比较，选出最佳的一组比例值，以更好地融合利用特征，比如：在实验中用无人机测试跟踪无人艇时，分别将FHOG梯度特征、CN颜色特征和LBP纹理特征的权重比例设置为0.3:1:1、0.5:1:1、0.7:1:1三组对照实验，当FHOG梯度特征、CN颜色特征和LBP纹理特征的权重比例为0.7:1:1时，跟踪框的平均重叠率最高，说明FHOG权重的适当提高有利于跟踪鲁棒性的提升。

进一步的是，所述步骤S1中ECO相关滤波器对目标模型的更新方法还包括以下步骤：

B1、接收拍摄的视频帧，并通过yolov4-tiny目标识别输出对应的目标特征图，并得到相关响应图；

B2、设定阈值，将相关响应图的峰值与阈值比较，若峰值低于阈值，舍弃当前帧不对模型进行更新，若峰值高于阈值，则将当前视频帧纳入对模型进行更新。

具体的，由于目标有时会出现遮挡或丢失，这个时候把当前视频帧纳入对模型进行更新会使跟踪效果变差，在本实施例中采用相关响应图的峰值大小来决定是否采用该视频帧对模型进行更新，本实施例设定一个阈值，若峰值低于阈值说明两图像相似度较低，舍弃当前帧不对模型进行更新模型，当峰值高于阈值，则将当前视频帧纳入对模型进行更新；本实施例根据实验中的无人艇跟踪效果将该阈值设置为0.35，由此可以减少对模型更新的频率，提高计算的速度。

进一步的是，所述步骤SS3中，控制过程中采用分段切换PID参数的方式，(i)当无人机与目标水平位置差较大时，P参数占比较I参数和D参数大；(ii)当无人机追踪目标到合适范围后，降低P参数，提高I参数；(iii)当无人机在足够靠近目标时，高度降低，镜头视野变小，提高D参数。

具体的，无人机在不同的追踪情况下对控制效果的要求不一样，常用的固定参数PID技术并不太合适，在本实施例中，采用分段切换PID参数的方式，将无人机与降落平台之间的距离作为参考，分为三种不同的PID控制参数；具体为：当无人机与目标水平位置差大于8米时，P参数占比为0.557，I参数占比为0.2323，D参数占比为0.2107；：当无人机与目标水平位置差在3-5米范围时，P参数占比为0.4062，I参数占比为0.3612，D参数占比为0.2326；当无人机与目标水平位置差小于3米范围时，P参数占比为0.3911，I参数占比为0.3087，D参数占比为0.3002；提高对无人机的控制，使无人机的运动更稳定，能够稳定的进行追踪和降落至降落平台上。

进一步的是，所述近距离追踪方法的步骤SS1中，对采集的图像进行Apriltag中心嵌套码全局检测的同时还进行迭代卡尔曼滤波的局部检测：

Apriltag中心嵌套码内部留有一块空白区域不含编码信息，由外往里地进行层层嵌套Apriltag码，当原来识别到的Apriltag码失效，利用迭代卡尔曼滤波算法在预测的局部区域中搜索到更小的Apriltag码，同时在进行局部搜索时，降低局部区域的分辨率。

具体的，在本实施例中，在低空追踪降落阶段的再检测过程中采用Apriltag中心嵌套码检测与迭代卡尔曼滤波(IEKF)的融合算法优先对预测区域进行局部检测，并根据距离远近进行分辨率的调整；当无人机靠近降落平台后，首先对Apriltag中心嵌套码全局检测，在追踪与降落的过程中，随着无人机高度的降低，镜头视野变小，原区域识别到的码不能再被检测，此时优先对预测区域进行局部检测，同时由于距离更近而降低分辨率，该方法能够有效避免无人机在近距离追踪降落的过程中多次退出局部检测而重新进行全局检索，有效提升了检测速度，同时Apriltag中心嵌套码内部留有一块空白区域不含编码信息，由此可以由外往里，由大至小地对编码信息进行层层嵌套，整体上提高了空间编码的利用率，有利于无人机在不同高度下完成识别，使得追踪降落精度得到保证。其次，迭代卡尔曼滤波增强了模型预测的非线性能力和收敛能力，根据距离调整分辨率的策略则进一步提高了检测速度和系统的实时性。

一种无人机追踪降落系统，应用有上述的无人机追踪降落方法，包括无人机拍摄模块、yolov4-tiny识别模块、ECO跟踪模块、Apriltag码检测模块、控制模块、激光测距模块和降落平台；

所述降落平台上设置有Apriltag中心嵌套码，所述Apriltag中心嵌套码由外往里地进行层层嵌套Apriltag码，相邻两侧Apriltag码之间留有一块不含编码信息的空白区域；

所述无人机拍摄模块用于对降落平台进行视频拍摄，并将视频帧发送至yolov4-tiny识别模块；

所述yolov4-tiny识别模块用于对视频帧的降落平台进行目标识别，并将目标发送至ECO跟踪模块；

所述ECO跟踪模块通过所述控制模块控制无人机追踪目标，靠近所述降落平台；

所述Apriltag码检测模块用于对所述降落平台上的Apriltag码进行检测；

所述控制模块用于计算与降落平台的距离，并控制无人机的飞行动作；

所述激光测距模块用于测量无人机与降落平台之间的高度差。

具体的，无人机追踪降落系统在工作中：所述无人机拍摄模块对降落平台拍摄，对拍摄的视频帧发送至所述yolov4-tiny识别模块进行目标识别，识别出精确的目标框后发送至所述ECO跟踪模块，通过ECO相关滤波器进行跟踪；

在此过程中所述ECO跟踪模块判断是否检测到目标降落平台，若是则通过所述ECO跟踪模块和所述控制模块控制无人机从远处快速接近目标，若所述ECO跟踪模块没有检测到目标降落平台，则控制无人机上升运动以获取更广的视角，无人机拍摄模块持续拍摄，所述yolov4-tiny识别模块继续进行目标识别，当无人机靠近所述降落平台时，所述ECO跟踪模块和所述控制模块则控制无人机缓慢下降，并通过所述无人机拍摄模块检测所述降落平台的Apriltag码，在初始检测状态时，无人机处于相对较高的高度，所述Apriltag码检测模块对采集的图像进行Apriltag中心嵌套码全局检测；采用取平均值的方法计算Apriltag中心嵌套码的中心，估算无人机与目标物的位置差dx、dy和dz；利用所述激光测距模块测量出与降落平台高度H，将高度H与估算的dz进行对比，当H与dz相差较多，舍弃该次估算的位置差数据，反之以H为依据对dx和dy进行比例纠正，得dx、dy′，此时dx′＝dx*(H/dz)，dy′＝dy*(H/dz)；根据激光测距高度H，利用控制模块进行无人机的高度运动控制，根据纠正后的水平位置差dx′和dy′，利用控制模块进行无人机水平运动的控制，直至无人机降落至所述降落平台；

本实施例系统将分为远距离捕捉并接近目标系统和近距离低空的追踪与降落系统，远距离捕捉并接近目标系统包括yolov4-tiny识别模块和ECO跟踪模块两个部分；通过拍摄模块拍摄的大部分视频帧采用相关滤波进行跟踪，视频帧的第一帧以及目标因为光线变换或者受到遮挡等因素而导致跟丢时，切换到所述yolov4-tiny识别模块对视频帧重新进行识别，实现对目标的重定位，起到辅助跟踪的作用，提高追踪检测算法的效率，及时并准确的对目标进行定位；

在近距离低空的追踪和降落系统，利用激光测距模块测量的数据纠正使用Apriltag码估算出来的水平位置差使得追踪数据更加可靠，相比传统的单个Apriltag码，Apriltag中心嵌套码内部留有一块空白区域不含编码信息，由此可以由外往里，由大至小地对编码信息进行层层嵌套，如图8所示为两层嵌套设置Apriltag中心嵌套码，Apriltag中心嵌套码整体上提高了空间编码的利用率，有利于无人机在不同高度下完成识别。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(控制方法)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施实施进行变化、修改、替换和变型。

Claims (7)

1.一种无人机追踪降落方法，其特征在于：包括远距离追踪方法和近距离追踪方法；所述远距离追踪方法包括以下步骤：

S1、对目标降落平台拍摄，对拍摄的视频帧进行yolov4-tiny目标识别，识别出精确的目标框后通过ECO相关滤波器进行跟踪；

S2、判断是否检测到目标降落平台，若是则控制无人机从远处快速接近目标，若否则控制无人机上升运动以获取更广的视角；

S3、无人机靠近目标时，判断无人机的位置是否足够靠近目标，是则控制无人机缓慢下降，若否则返回执行步骤S1；

S4、判断是否检测到降落平台的Apriltag码，若是则执行近距离追踪方法，若否则返回执行步骤S1；

所述近距离追踪方法中Apriltag码为中心嵌套码，近距离追踪方法包括以下步骤：

SS1、在初始检测状态时，无人机处于相对较高的高度，对采集的图像进行Apriltag中心嵌套码全局检测；

SS2、采用取平均值的方法计算Apriltag中心嵌套码的中心，估算无人机与目标降落平台的位置差dx、dy和dz；

SS3、激光测距测量出与目标降落平台的高度H，将高度H与估算的dz进行对比，当H与dz相差较多，H/dz>1.1或dz/H>1.1时，舍弃该次估算的位置差数据，反之以H为依据对dx和dy进行比例纠正，得dx′、dy′，此时dx′＝dx*(H/dz)，dy′＝dy*(H/dz)；根据激光测距高度H进行无人机的高度运动控制，根据纠正后的水平位置差dx′和dy′进行无人机水平运动的控制；

所述近距离追踪方法的步骤SS1中，对采集的图像进行Apriltag中心嵌套码全局检测的同时还进行迭代卡尔曼滤波的局部检测：

Apriltag中心嵌套码内部留有一块空白区域不含编码信息，由外往里地进行层层嵌套Apriltag码，当原来识别到的Apriltag码失效，利用迭代卡尔曼滤波算法在预测的局部区域中搜索到更小的Apriltag码，同时在进行局部搜索时，降低局部区域的分辨率。

2.根据权利要求1所述的一种无人机追踪降落方法，其特征在于：所述步骤S1包括以下步骤：

A1、接收拍摄的视频帧，yolov4-tiny识别到目标后，将精确的目标框发送至ECO相关滤波器；

A2、利用ECO相关滤波器对视频帧中的目标模型进行跟踪；

A3、ECO相关滤波器跟踪过程中检测视频帧中目标是否丢失，若目标丢失则返回执行步骤A1进行目标识别；若目标没有丢失，则更新目标模型发送至ECO相关滤波器，ECO相关滤波器继续对目标进行跟踪。

3.根据权利要求2所述的一种无人机追踪降落方法，其特征在于：yolov4-tiny目标识别的参数量采用基于深度可分离卷积的反残差结构，减少参数量，并对基于深度学习的特征提取网络进行裁剪压缩，将网络中一些值将近于0的权重参数直接置零；yolov4-tiny目标识别的规则卷积采用可变形卷积。

4.根据权利要求2所述的一种无人机追踪降落方法，其特征在于：所述步骤S1中ECO跟踪中的目标模型采用稀疏更新模型，且模型采用FHOG梯度特征、CN颜色特征和LBP纹理特征三种特征进行融合，根据其特征贡献度大小设置权重比例。

5.根据权利要求2所述的一种无人机追踪降落方法，其特征在于：所述步骤S1中ECO相关滤波器对目标模型的更新方法还包括以下步骤：

B1、接收拍摄的视频帧，并通过yolov4-tiny目标识别输出对应的目标特征图，并得到相关响应图；

B2、设定阈值，将相关响应图的峰值与阈值比较，若峰值低于阈值，舍弃当前帧不对模型进行更新，若峰值高于阈值，则将当前视频帧纳入对模型进行更新。

6.根据权利要求1所述的一种无人机追踪降落方法，其特征在于：所述步骤SS3中，控制过程中采用分段切换PID参数的方式，(i)当无人机与目标水平位置差较大时，P参数占比较I参数和D参数大；(ii)当无人机追踪目标到合适范围后，降低P参数，提高I参数；(iii)当无人机在足够靠近目标时，高度降低，镜头视野变小，提高D参数。

7.一种无人机追踪降落系统，应用有如权利要求1-6任一项 所述的无人机追踪降落方法，其特征在于：包括无人机拍摄模块、yolov4-tiny识别模块、ECO跟踪模块、Apriltag码检测模块、控制模块、激光测距模块和降落平台；

所述降落平台上设置有Apriltag中心嵌套码，所述Apriltag中心嵌套码由外往里地进行层层嵌套Apriltag码，相邻两侧Apriltag码之间留有一块不含编码信息的空白区域；

所述无人机拍摄模块用于对降落平台进行视频拍摄，并将视频帧发送至yolov4-tiny识别模块；

所述yolov4-tiny识别模块用于对视频帧的降落平台进行目标识别，并将目标发送至ECO跟踪模块；

所述ECO跟踪模块通过所述控制模块控制无人机追踪目标，靠近所述降落平台；

所述Apriltag码检测模块用于对所述降落平台上的Apriltag码进行检测；

所述控制模块用于计算与降落平台的距离，并控制无人机的飞行动作；

所述激光测距模块用于测量无人机与降落平台之间的高度差。

Images