CN115861860A - 一种无人机的目标跟踪定位方法和系统 - Google Patents

Abstract

本申请涉及一种无人机的目标跟踪定位方法和系统，其中，该方法包括：通过无人机上的摄像头获取包含运动目标的实时图像；利用训练好的YOLOv5目标检测模型和预设多目标跟踪模型，在实时图像中进行多目标检测，锁定需要跟踪的运动目标的目标ID；根据该运动目标在实时图像中的位置，利用PID控制器自适应调整无人机的跟踪飞行速度，使运动目标稳定在无人机摄像头拍摄的实时图像的中心位置；通过无人机上的同轴激光传感器获取运动目标的距离信息；根据该距离信息通过反求方位角计算出运动目标的GPS坐标，通过本申请，解决了现有无人机的目标跟踪定位中存在的不稳定和不精确的问题，提高了无人机对高空跟踪小目标的效率和稳定性。

Description

一种无人机的目标跟踪定位方法和系统

技术领域

本申请涉及无人机技术领域，特别是涉及一种无人机的目标跟踪定位方法和系统。

背景技术

随着计算机视觉技术的快速发展，基于视觉的无人机目标跟踪得到了广泛的研究。基于视觉的无人机目标跟踪具体是指通过视觉信息来实时跟踪目标，并调整无人机的位置和方向，以保持无人机位于目标的附近。

在现有基于视觉的无人机目标跟踪中，通常需要给定目标视频帧中最初的感兴趣区域（包含运动目标），利用跟踪算法提取运动目标的特征，在有边界的视频帧序列中持续寻找目标位置框（包含运动目标）；然后对无人机的运动参数进行估计，得到当前和后续的运动状态以完成跟踪任务。此类方法的缺点在于受光照因素影响较大，跟踪过程容易产生跟踪漂移， 跟踪过程缺乏稳定性。

目前针对相关技术中无人机的目标跟踪定位存在的不稳定和不精确的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种无人机的目标跟踪定位方法和系统，以至少解决相关技术中无人机的目标跟踪定位存在的不稳定和不精确的问题。

第一方面，本申请实施例提供了一种无人机的目标跟踪定位方法，所述方法包括：

通过无人机上的摄像头获取包含运动目标的实时图像；

利用训练好的YOLOv5目标检测模型和预设多目标跟踪模型，对所述实时图像中的运动目标进行多目标检测，锁定需要跟踪的运动目标的目标ID；

根据所述锁定的运动目标在实时图像中的位置，利用PID控制器自适应调整所述无人机的跟踪飞行速度，使所述运动目标稳定在所述无人机摄像头拍摄的实时图像的中心位置；

通过所述无人机上所述摄像头的同轴激光传感器获取所述运动目标的距离信息；

根据所述运动目标的距离信息，通过反求方位角计算出所述运动目标的GPS坐标。

在其中一些实施例中，所述YOLOv5目标检测模型以CSPDarkNet53网络为主干网络，所述CSPDarkNet53网络包括输入部分、Backbone部分、Neck部分和head部分；

所述输入部分，用于对图像数据进行预处理，其中，所述预处理包括数据增强和数据扩充；

所述Backbone部分由Focus模块、C3模块和SPPFP模块组成，用于对图像数据进行特征提取；

所述Neck部分，用于通过基于SE注意力机制的BiFPN网络进行特征融合；

所述head部分，用于进行目标预测并输出预测结果。

在其中一些实施例中，在利用训练好的YOLOv5目标检测模型之前，所述方法还包括：

获取用于对YOLOv5目标检测模型进行训练的训练数据；

基于所述训练数据，通过SPPFP结构的空间金字塔池化产生多尺度的特征图；

通过基于SE注意力机制的BiFPN网络对所述特征图进行特征融合，得到融合特征；

根据所述融合特征进行目标预测输出预测结果，再根据所述预测结果对所述YOLOv5目标检测模型的网络参数进行调整，得到训练好的YOLOv5目标检测模型。

在其中一些实施例中，所述预设多目标跟踪模型为DeepSort运动跟踪模型。

在其中一些实施例中，所述DeepSort运动跟踪模型为基于卡尔曼滤波算法、ResNet50网络算法和匈牙利算法的运动跟踪模型；

所述卡尔曼滤波算法，用于对从图像中检测到的运动目标进行运动预测，得到所述运动目标的预测跟踪框；

所述ResNet50网络算法，用于对实时检测到的运动目标的检测框进行特征提取与保存，得到运动目标的外观特征；

所述匈牙利算法，用于将运动目标的预测跟踪框与检测框进行级联匹配和IOU匹配。

在其中一些实施例中，根据所述锁定的运动目标在实时图像中的位置，利用PID控制器自适应调整所述无人机的跟踪飞行速度，使所述运动目标稳定在所述无人机摄像头拍摄的实时图像的中心位置包括：

根据所述锁定的运动目标在实时图像中的位置，计算出所述运动目标与所述实时图像的中心位置之间的x轴偏移量和y轴偏移量；

根据所述x轴偏移量计算出所述无人机的左右转向速度，再根据所述y轴偏移量计算出所述无人机的进退速度，使得所述运动目标稳定在所述无人机摄像头拍摄的实时图像的中心位置；

基于所述左右转向速度和所述进退速度，利用PID控制器自适应调整所述无人机的跟踪飞行速度。

在其中一些实施例中，基于所述左右转向速度和所述进退速度，利用PID控制器自适应调整所述无人机的跟踪飞行速度包括：

初始化两个PID控制器，基于所述左右转向速度和所述进退速度，分别自适应调整控制所述无人机的左右转向速度和前进后退速度。

在其中一些实施例中，在利用PID控制器自适应调整所述无人机的跟踪飞行速度之前，所述方法还包括：

通过公式

，

调试出PID控制器的PID系数K_p、K_d和K_i，其中，c_command为更新后的运动目标的位置坐标，c_{command_prev}为运动目标在上一个PID控制周期的位置坐标，e₁为图像的中心位置与运动目标之间的偏移量，d_target为图像的中心像素位置坐标，d_current为运动目标的像素位置坐标，e_prev为当前PID控制周期与上一个PID控制周期的偏移量之间的差异，K_p为比例控制系数，K_d为微分控制系数，K_i为积分控制系数。

在其中一些实施例中，根据所述运动目标的距离信息，通过反求方位角计算出所述运动目标的GPS坐标包括：

获取所述无人机的状态信息，其中，所述状态信息包括无人机GPS坐标信息、当前飞行高度信息、无人机朝向信息和摄像头云台信息；

根据所述运动目标的距离信息和所述无人机的状态信息，通过反求方位角计算出实时图像中心的GPS坐标；

根据所述实时图像中心的GPS坐标，以及运动目标与所述实时图像的中心位置的偏移量，计算所述运动目标的GPS坐标。

第二方面，本申请实施例提供了一种无人机的目标跟踪定位系统，所述系统包括图像获取模块、目标检测模块、跟踪飞行模块、距离获取模块和坐标定位模块；

所述图像获取模块，用于通过无人机上的摄像头获取包含运动目标的实时图像；

所述目标检测模块，用于利用训练好的YOLOv5目标检测模型和预设多目标跟踪模型，对所述实时图像中的运动目标进行多目标检测，锁定需要跟踪的运动目标的目标ID；

所述跟踪飞行模块，用于根据所述锁定的运动目标在实时图像中的位置，利用PID控制器自适应调整所述无人机的跟踪飞行速度，使所述运动目标稳定在所述无人机摄像头拍摄的实时图像的中心位置；

所述距离获取模块，用于通过所述无人机上所述摄像头的同轴激光传感器获取所述运动目标的距离信息；

所述坐标定位模块，用于根据所述运动目标的距离信息，通过反求方位角计算出所述运动目标的GPS坐标。

相比于相关技术，本申请实施例提供的一种无人机的目标跟踪定位方法和系统，该方法通过无人机上的摄像头获取包含运动目标的实时图像；利用训练好的YOLOv5目标检测模型和预设多目标跟踪模型，在实时图像中进行多目标检测，锁定需要跟踪的运动目标的目标ID；根据该运动目标在实时图像中的位置，利用PID控制器自适应调整无人机的跟踪飞行速度，使运动目标稳定在无人机摄像头拍摄的实时图像的中心位置；通过无人机上的同轴激光传感器获取运动目标的距离信息；根据该距离信息通过反求方位角计算出运动目标的GPS坐标，解决了现有无人机的目标跟踪定位中存在的不稳定和不精确的问题，提高了无人机对高空跟踪小目标的效率和稳定性，基于PID自适应控制和反求方位角，确保无人机对目标的可持续性跟踪和提高定位精度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的无人机目标跟踪定位方法的步骤流程图；

图2是根据本申请实施例的SPPFP结构的示意图；

图3是根据本申请实施例的YOLOv5目标检测模型的示意图；

图4是根据本申请实施例的无人机跟踪示意图；

图5是根据本申请实施例的运动目标定位示意图；

图6是根据本申请实施例的无人机目标跟踪定位系统的结构框图；

图7是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请实施例提供了一种无人机的目标跟踪定位方法，图1是根据本申请实施例的无人机目标跟踪定位方法的步骤流程图，如图1所示，该方法包括以下步骤：

步骤S102，通过无人机上的摄像头获取包含运动目标的实时图像；

步骤S104，利用训练好的YOLOv5目标检测模型和预设多目标跟踪模型，对实时图像中的运动目标进行多目标检测，锁定需要跟踪的运动目标的目标ID；

在步骤S104之前，该无人机目标跟踪定位方法还包括步骤S103，具体地，

步骤S103包括以下步骤：

步骤1，收集无人机视角的鸟瞰图数据或视频数据，对视频数据进行提取为图像数据，使用labelImg或labelme工具对图像中目标进行标注位置信息及类别信息，再将信息转化为YOLOv5训练格式的txt文件（训练数据），并分为训练集，测试集和验证集。

步骤2，基于步骤1的数据集，对改进的YOLOv5目标检测模型进行训练，过程如下：

步骤2.1，基于SPPFP结构的空间金字塔池化。

图2是根据本申请实施例的SPPFP结构的示意图，如图2所示，使用SPPFP结构产生多尺度的特征图（YOLOV5自6.1版本之后使用SPPF模块），将不同尺度下的最大池化和跳跃连接，不仅可以学习到不同尺度下的特征，而且融入局部和全局信息，更好的保留小运动目标的全局信息。

步骤2.2，基于BiFPN结构进行多特征融合。

使用BiFPN双向特征金字塔网络并加入SE注意力机制，提高多尺度目标识别能力和小目标识别率。BiFPN对每一层的特征赋予不同的权重进行融合，得到融合特征，使网络更加关注重要的层，减少一些不必要的节点连接。

步骤2.3，根据融合特征进行目标预测输出预测结果，再根据预测结果对YOLOv5目标检测模型的网络参数进行调整，得到训练好的YOLOv5目标检测模型。

步骤3，构建预设多目标跟踪模型，该预设多目标跟踪模型优选为DeepSort运动跟踪模型。

构建DeepSort运动跟踪模型具体如下：

步骤3.1，构建DeepSort跟踪器运动模型。

使用卡尔曼滤波对已检测到的运动目标构建运动模型并进行预测，根据检测小目标在第k-1（k≥2）帧图像中的真实位置，预测下一帧中各个运动目标所在的位置，得到运动目标的预测跟踪框，卡尔曼滤波动态系统估算方法：

X_k = A_k × x_k-1 + B × μ_k + W_k-1

Z_k = H_k × x_k + v_k

式中，A_k为状态转移矩阵；X_k为系统状态矩阵；H_k为状态观测矩阵；W_k-1表示过程噪声，Z_k为状态阵的观测量。

步骤3.2，构建DeepSort跟踪器特征提取器。

通过对包含运动目标的训练图像进行裁剪，并对训练图像进行分类，划分数据为训练集、测试集和验证集输入到ResNet50网络模型中进行训练，得到训练后的网络模型，对实时检测到的运动目标的检测框进行特征提取与保存，以得到运动目标的外观特征，即做ReID，提取到的外观特征供计算相似度使用。

步骤3.3，使用匈牙利算法将步骤3.1预测的预测跟踪框与步骤3.2中得到当前帧中的检测框进行级联匹配与IOU匹配。

需要说明的是，卡尔曼滤波的预测轨迹（预测跟踪框）和检测框的级联匹配，存在着匹配成功和匹配失败两种情况。预测轨迹与检测框匹配成功，则更新卡尔曼滤波进入下一帧；预测轨迹与检测框匹配失败，匹配失败的预测轨迹将被送入IOU匹配进行二次匹配和数据关联，利用马氏距离对卡尔曼预测和实际测量进行匹配，归一化协方差矩阵，计算检测状态估计的不确定度和平均轨迹偏差评估，实现运动信息匹配，马氏距离计算如下：

/>

其中，d_j表示第j个检测框的位置，y_i表示第i个预测轨迹（预测跟踪框），S_i表示检测框与预测轨迹之间的协方差矩阵。

再结合步骤3.2提取的外观特征之间的余弦距离，对检测到的目标特征与跟踪到的目标特征之间获计算余弦距离，获得更确信的运动目标，余弦距离计算公式如下：

其中，r_j表示第个检测框提取出的特征向量，r⁽ⁱ⁾ _k表示i个预测轨迹中最近匹配成功的第k个特征向量。

未匹配的预测轨迹为未确认态，且若预测轨迹超过年龄阈值，则将其ID去除；匹配成功的预测轨迹为确认态，将其列为真实轨迹加入计算中。如果再次失败，则会将其列为漏检再次纳入考虑范围。若有轨迹被标记为不真实轨迹，则将其删除并不再考虑。

步骤S104具体地，通过改进的YOLOv5目标检测模型与DeepSort运动跟踪模型，对从无人机拍摄的实时图像中检测到的多运动目标赋予唯一的ID，锁定需要跟踪的目标的ID。如果目标不存在，判断是否超过最大存活年龄，如果是，则清除锁定ID，重新锁定新的跟踪目标的ID。

需要说明的是，图3是根据本申请实施例的YOLOv5目标检测模型的示意图，如图3所示，由上述步骤S103可知，步骤S104中的YOLOv5目标检测模型以CSPDarkNet53网络为主干网络，CSPDarkNet53网络包括输入部分（图3中的输入）、Backbone部分（图3中的骨干部分）、Neck部分（图3中的颈部）和head部分（图3中的头部）。其中，输入部分，用于对图像数据进行预处理，其中，预处理包括数据增强和数据扩充；Backbone部分由Focus模块、C3模块和SPPFP模块组成，用于对图像数据进行特征提取；Neck部分，用于通过基于SE注意力机制的BiFPN网络进行特征融合；head部分，用于进行目标预测并输出预测结果，进一步地，Focus模块具体指的是Focus Block（集中模块）；C3模块具体指的是Concentrated-Comprehensive Convolution Block（集中综合卷积模块），包含concentration阶段和comprehensive convolution两个阶段；SPPFP模块具体指的是Spatial Pyramid Pooling（空间金字塔池化模块）；SE注意力机制具体指的是Squeeze-and-Excitation注意力机制（挤压和激励注意力机制）。

步骤S104中的DeepSort运动跟踪模型为基于卡尔曼滤波算法、ResNet50网络算法和匈牙利算法的运动跟踪模型；其中，卡尔曼滤波算法，用于对从图像中检测到的运动目标进行运动预测，得到运动目标的预测跟踪框；ResNet50网络算法，用于对实时检测到的运动目标的检测框进行特征提取与保存，以得到运动目标的外观特征；匈牙利算法，用于将运动目标的预测跟踪框与检测框进行级联匹配和IOU匹配。

步骤S106，根据锁定的运动目标在实时图像中的位置，利用PID控制器自适应调整无人机的跟踪飞行速度，使运动目标稳定在无人机摄像头拍摄的实时图像的中心位置；

步骤S106具体还包括以下步骤：

步骤5，PID控制器。

步骤5.1，获取目标与图像中心的偏差量，通过控制测试，调试出理想PID系数（K_p、K_d和K_i）；

通过公式

，

调试出PID控制器的PID系数K_p、K_d和K_i，其中，c_command为更新后的运动目标的位置坐标，c_{command_prev}为运动目标在上一个PID控制周期的位置坐标，e₁为图像的中心位置与运动目标之间的偏移量，d_target为图像的中心像素位置坐标，d_current为运动目标的像素位置坐标，e_prev为当前PID控制周期与上一个PID控制周期的偏移量之间的差异，K_p为比例控制系数，K_d为微分控制系数，K_i为积分控制系数。

步骤5.2，初始化两个PID控制器（分别用于控制无人机的前进后退速度和左右转向速度）。

步骤5.3，根据锁定的运动目标在实时图像中的位置，计算出运动目标与实时图像的中心位置之间的x轴偏移量和y轴偏移量，其中，x轴偏移量用于计算无人机左右转向速度，y轴偏移量用于计算无人机前后的进退速度，让图像中的目标中心稳定在无人机固定相机图像中心的一定范围内，图像中心作为PID目标位置是控制器的初始输入，随着时间推移，当前帧偏移量与目标偏移量之差传给PID控制器，以更新无人机飞行速度指令（PID控制器的目标是在合理的时间内更精确地将无人机定位在标记中心以上）。

步骤S108，通过无人机上摄像头的同轴激光传感器获取运动目标的距离信息；

步骤S108具体地，根据云台相机同轴的激光距离无人机图像中心的距离信息，激光照射点为图像中心位置。

步骤S110，根据运动目标的距离信息，通过反求方位角计算出运动目标的GPS坐标。

步骤S110具体地还包括以下步骤：

步骤6，通过计算无人机当前飞行高度的GSD，进而计算运动目标在图像中任意位置的定位。

步骤 6.1，获取无人机状态信息，计算无人机当前飞行高度的GSD。

通过精准RTK定位无人机，获取无人机的当前GPS坐标信息，当前飞行高度，无人机朝向角度，摄像头云台信息（如云台朝向角度、云台的俯仰信息、云台相机像元大小）、GSD等信息。

在图像分辨率优选为1920×1080的前提下，根据横轴的像元大小与纵轴像元大小，通过小孔成像原理计算出计算横轴的GSDx大小与纵轴的GSDy大小，小孔成像原理的公式如下：

d=H×s / f

其中，无人机飞行高度为H，无人机像元大小为s，焦距为f。

步骤6.2，计算图像中心位置的GPS坐标。

图4是根据本申请实施例的无人机跟踪示意图，如图4所示，p1为激光照射点，同时也为图像中心，p2为激光反馈的距离D，p3为无人机的俯仰信息，p4为激光照射点距离无人机的平面直线距离d，可以根据勾股定理计算得到，并根据无人机方位角α与计算得到的平面直线距离d，根据反求方位角的方法计算激光照射点的坐标：

Longitude2 = longitude1 + d × atan(d × sinα / R×cos(latitude1))

Latitude2 = latitude1 + d ×atan(d × cosα / R)

其中，d是两地之间的距离，α是方位角，均以弧度为单位，R为赤道圆半径大小为6378.137km。

步骤6.3，计算运动目标的GPS坐标。

图5是根据本申请实施例的运动目标定位示意图，如图5所示，跟踪的移动目标不一定满足完全在图像中心，根据目标距离图像中心的偏移的像素值Xoffset、Yoffset，并根据步骤6.1计算得到的GSDx与GSDy可以得知一个像素对应的真实距离，即可得到跟踪目标距离图像中心的真实偏差距离，Dx与Dy即图5所示的p5与p6所对应真实世界的距离，根据勾股定理可得目标到达图像中心得直线距离（即图5所示p7），然后使用反正切函数求得目标与图像中心的偏移角度，即图像中目标的点与图像中点位置的真实偏差角度配合p7所指两点之间的真实距离，通过步骤6.2中计算经纬度的方法，求得运动目标的GPS坐标，完成精准的运动目标定位。

通过本申请实施例中的步骤S102至步骤S110，使用改进的YOLOv5目标检测策略，基于SPPFP模块提高并保留小目标的全局信息，并基于双向金字塔网络Bi-FPN和SE注意力机制提高对小目标的识别率，减少目标检测阶段对小目标漏检问题，以保证稳定、精准的提取运动目标的位置和轮廓。同时使用DeepSort算法实现对提取目标的持续跟踪，对每一个目标赋予唯一的ID；锁定跟踪目标的ID，根据目标与无人机图像中心的相对位置，使用PID控制器自适应调整跟踪飞行的速度和方向，并使用地理坐标的计算方法对目标进行精准定位。提高了无人机对高空跟踪小目标的效率和稳定性。确保无人机对目标的可持续性跟踪，调高了长时跟踪的稳定性。采用反求方位角的方法精准计算目标的定位，提高定位的精准度。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例提供了一种无人机的目标跟踪定位系统，图6是根据本申请实施例的无人机目标跟踪定位系统的结构框图，如图6所示，该系统包括图像获取模块61、目标检测模块62、跟踪飞行模块63、距离获取模块64和坐标定位模块65；

图像获取模块61，用于通过无人机上的摄像头获取包含运动目标的实时图像；

目标检测模块62，用于利用训练好的YOLOv5目标检测模型和预设多目标跟踪模型，对实时图像中的运动目标进行多目标检测，锁定需要跟踪的运动目标的目标ID；

跟踪飞行模块63，用于根据锁定的运动目标在实时图像中的位置，利用PID控制器自适应调整无人机的跟踪飞行速度，使运动目标稳定在无人机摄像头拍摄的实时图像的中心位置；

距离获取模块64，用于通过无人机上摄像头的同轴激光传感器获取运动目标的距离信息；

坐标定位模块65，用于根据运动目标的距离信息，通过反求方位角计算出运动目标的GPS坐标。

通过本申请实施例中的图像获取模块61、目标检测模块62、跟踪飞行模块63、距离获取模块64和坐标定位模块65，使用改进的YOLOv5目标检测策略，基于SPPFP模块提高并保留小目标的全局信息，并基于双向金字塔网络Bi-FPN和SE注意力机制提高对小目标的识别率，减少目标检测阶段对小目标漏检问题，以保证稳定、精准的提取运动目标的位置和轮廓。同时使用DeepSort算法实现对提取目标的持续跟踪，对每一个目标赋予唯一的ID；锁定跟踪目标的ID，根据目标与无人机图像中心的相对位置，使用PID控制器自适应调整跟踪飞行的速度和方向，并使用地理坐标的计算方法对目标进行精准定位。提高了无人机对高空跟踪小目标的效率和稳定性。确保无人机对目标的可持续性跟踪，调高了长时跟踪的稳定性。采用反求方位角的方法精准计算目标的定位，提高定位的精准度。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的无人机的目标跟踪定位方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种无人机的目标跟踪定位方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种无人机的目标跟踪定位方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，图7是根据本申请实施例的电子设备的内部结构示意图，如图7所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图7所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种无人机的目标跟踪定位方法，数据库用于存储数据。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种无人机的目标跟踪定位方法，其特征在于，所述方法包括：

通过无人机上的摄像头获取包含运动目标的实时图像；

利用训练好的YOLOv5目标检测模型和预设多目标跟踪模型，对所述实时图像中的运动目标进行多目标检测，锁定需要跟踪的运动目标的目标ID；

根据所述锁定的运动目标在实时图像中的位置，利用PID控制器自适应调整所述无人机的跟踪飞行速度，使所述运动目标稳定在所述无人机摄像头拍摄的实时图像的中心位置；

通过所述无人机上所述摄像头的同轴激光传感器获取所述运动目标的距离信息；

根据所述运动目标的距离信息，通过反求方位角计算出所述运动目标的GPS坐标。

2.根据权利要求1所述的方法，其特征在于，所述YOLOv5目标检测模型以CSPDarkNet53网络为主干网络，所述CSPDarkNet53网络包括输入部分、Backbone部分、Neck部分和head部分；

所述输入部分，用于对图像数据进行预处理，其中，所述预处理包括数据增强和数据扩充；

所述Backbone部分由Focus模块、C3模块和SPPFP模块组成，用于对图像数据进行特征提取；

所述Neck部分，用于通过基于SE注意力机制的BiFPN网络进行特征融合；

所述head部分，用于进行目标预测并输出预测结果。

3.根据权利要求1所述的方法，其特征在于，在利用训练好的YOLOv5目标检测模型之前，所述方法还包括：

获取用于对YOLOv5目标检测模型进行训练的训练数据；

基于所述训练数据，通过SPPFP结构的空间金字塔池化产生多尺度的特征图；

通过基于SE注意力机制的BiFPN网络对所述特征图进行特征融合，得到融合特征；

根据所述融合特征进行目标预测输出预测结果，再根据所述预测结果对所述YOLOv5目标检测模型的网络参数进行调整，得到训练好的YOLOv5目标检测模型。

4.根据权利要求1所述的方法，其特征在于，所述预设多目标跟踪模型为DeepSort运动跟踪模型。

5.根据权利要求4所述的方法，其特征在于，所述DeepSort运动跟踪模型为基于卡尔曼滤波算法、ResNet50网络算法和匈牙利算法的运动跟踪模型；

所述卡尔曼滤波算法，用于对从图像中检测到的运动目标进行运动预测，得到所述运动目标的预测跟踪框；

所述ResNet50网络算法，用于对实时检测到的运动目标的检测框进行特征提取与保存，得到运动目标的外观特征；

所述匈牙利算法，用于将运动目标的预测跟踪框与检测框进行级联匹配和IOU匹配。

6.根据权利要求1所述的方法，其特征在于，根据所述锁定的运动目标在实时图像中的位置，利用PID控制器自适应调整所述无人机的跟踪飞行速度，使所述运动目标稳定在所述无人机摄像头拍摄的实时图像的中心位置包括：

根据所述锁定的运动目标在实时图像中的位置，计算出所述运动目标与所述实时图像的中心位置之间的x轴偏移量和y轴偏移量；

根据所述x轴偏移量计算出所述无人机的左右转向速度，再根据所述y轴偏移量计算出所述无人机的进退速度，使得所述运动目标稳定在所述无人机摄像头拍摄的实时图像的中心位置；

基于所述左右转向速度和所述进退速度，利用PID控制器自适应调整所述无人机的跟踪飞行速度。

7.根据权利要求6所述的方法，其特征在于，基于所述左右转向速度和所述进退速度，利用PID控制器自适应调整所述无人机的跟踪飞行速度包括：

初始化两个PID控制器，基于所述左右转向速度和所述进退速度，分别自适应调整控制所述无人机的左右转向速度和前进后退速度。

8.根据权利要求1或6所述的方法，其特征在于，在利用PID控制器自适应调整所述无人机的跟踪飞行速度之前，所述方法还包括：

通过公式

，

调试出PID控制器的PID系数K_p、K_d和K_i，其中，c_command为更新后的运动目标的位置坐标，c_{command_prev}为运动目标在上一个PID控制周期的位置坐标，e₁为图像的中心位置与运动目标之间的偏移量，d_target为图像的中心像素位置坐标，d_current为运动目标的像素位置坐标，e_prev为当前PID控制周期与上一个PID控制周期的偏移量之间的差异，K_p为比例控制系数，K_d为微分控制系数，K_i为积分控制系数。

9.根据权利要求1所述的方法，其特征在于，根据所述运动目标的距离信息，通过反求方位角计算出所述运动目标的GPS坐标包括：

获取所述无人机的状态信息，其中，所述状态信息包括无人机GPS坐标信息、当前飞行高度信息、无人机朝向信息和摄像头云台信息；

根据所述运动目标的距离信息和所述无人机的状态信息，通过反求方位角计算出实时图像中心的GPS坐标；

根据所述实时图像中心的GPS坐标，以及运动目标与所述实时图像的中心位置的偏移量，计算所述运动目标的GPS坐标。

10.一种无人机的目标跟踪定位系统，其特征在于，所述系统包括图像获取模块、目标检测模块、跟踪飞行模块、距离获取模块和坐标定位模块；

所述图像获取模块，用于通过无人机上的摄像头获取包含运动目标的实时图像；

所述目标检测模块，用于利用训练好的YOLOv5目标检测模型和预设多目标跟踪模型，对所述实时图像中的运动目标进行多目标检测，锁定需要跟踪的运动目标的目标ID；

所述跟踪飞行模块，用于根据所述锁定的运动目标在实时图像中的位置，利用PID控制器自适应调整所述无人机的跟踪飞行速度，使所述运动目标稳定在所述无人机摄像头拍摄的实时图像的中心位置；

所述距离获取模块，用于通过所述无人机上所述摄像头的同轴激光传感器获取所述运动目标的距离信息；

所述坐标定位模块，用于根据所述运动目标的距离信息，通过反求方位角计算出所述运动目标的GPS坐标。

Images