CN114756052A - 一种基于无人机群的多目标协同追踪方法 - Google Patents

Abstract

本发明公开一种基于无人机群的多目标协同追踪方法，应用于无人机目标追踪领域；针对现有无人机群协同追踪方案无法保证精确的多目标观测和追踪的问题；本发明每个无人机能够利用机载计算机训练获取到的观测信息，输出对应的数字孪生模型；通过该数字孪生模型帮助无人机选择最优的一跳邻居完成信息交换，并且基于训练好的数字孪生模型，无人机能够预测高速移动目标的轨迹，并请求远程无人机执行后续的观测和追踪，提升无人机的协同能力和多目标追踪成功率。

Description

一种基于无人机群的多目标协同追踪方法

技术领域

本发明属于目标追踪领域，特别涉及一种无人机群追踪技术。

背景技术

在传统基于集中式的多目标追踪场景中，无人机与远程云之间存在着不可靠的通信传输，并且无人机大多工作在复杂和严苛的环境下，缺乏基础设施的支持。因此，云计算和边缘计算无法满足多目标追踪的需求。一种基于分布式的多目标追踪架构是一种有效的解决方案。

然而，在分布式架构中，无人机之间存在着较差的协同性和高通信时延等问题，不能有效地应对多个移动目标的精确追踪。并且单个无人机只能和一跳邻居之间产生信息交换，增加无人机群协同决策的时间，无法快速达到追踪决策的一致性收敛。另一方面，从移动目标的角度分析，由于时变和动态的多目标特性，无人机群之间的协商会得出不合理的追踪调度方案，这不仅导致无人机在追踪过程中的物理碰撞，还可能导致追踪目标的丢失和目标感知的失败。

发明内容

为解决上述技术问题，本发明提出一种基于无人机群的多目标协同追踪方法，基于深度确定性策略梯度算法，仅仅依靠邻居信息交换就可实现无人机群低开销的协同多目标追踪表现。

本发明采用的技术方案为：一种基于无人机群的多目标协同追踪方法，每个无人机的机载计算机基于其异构信息构建DT模拟场景；在各无人机的DT模拟场景中模拟对应的物理追踪环境；并根据模拟得到的目标移动速度，确定该无人机的下一跳最优邻居进行通信，从而完成协同观测和追踪。

所述异构信息包括无人机自身和目标的飞行俯仰角、转向角、飞行速度、当前的位置、环境的温湿度和物理噪声。所述异构信息通过摄像头与各传感器获取。所述根据模拟得到的目标移动速度，确定该无人机的下一跳最优邻居进行通信，从而完成协同观测和追踪；具体的：将目标移动速度与设定的阈值进行比较，若目标移动速度小于设定阈值，则通过深度确定性策略梯度算法和基于注意力的邻居观测机制选择最优的邻居进行通信来完成协同观测和追踪；否则使用扩展卡尔曼滤波算法在预测目标未来的移动轨迹，根据目标未来的移动轨迹匹配最优的邻居作为转发节点，完成协同的追踪。

本发明的有益效果：本发明利用数字孪生模型帮助无人机评估目标的飞行速度和姿态。针对慢移动的目标，无人机协调周围一跳邻居完成协同追踪；针对快移动目标，无人机根据历史的追踪经验，预测其运动轨迹，请求远程无人机飞到合适的空域提前执行协同追踪；本发明包括以下优点：

1、每个无人机对应一个数字孪生模型，通过该数字孪生模型帮助无人机选择最优的一跳邻居完成信息交换，明显降低了无人机群的通信开销；

2、与已有只考虑无人机和目标移动速度相匹配的追踪方法不同，本发明针对慢移动的目标，能够协调无人机周围一跳邻居完成协同追踪；针对快移动目标，无人机根据历史的追踪经验，预测其运动轨迹，请求远程无人机飞到合适的空域去执行协同观测和追踪，提升目标追踪的成功率；

3、引入了一种基于注意力的邻居观测机制。该机制可以实现无人机训练部分观测信息来降低数字孪生模型的模拟复杂度。

附图说明

图1为本发明的方法流程图。

图2为本发明实施例提供的目标追踪场景图。

图3为本发明实施图例提供的是本发明方法在无人机群在分布式架构下低通信开销的协同追踪效果图。

图4为本发明实施例提供的本发明的方法与现有技术的对比效果图。

具体实施方式

为便于本领域技术人员理解本发明的技术内容，本发明首先对以下技术术语进行解释：

一跳邻居/邻居：单个无人机通信覆盖范围内的无人机节点。

信息交换：任意处于一跳邻居关系的两个无人机通过Wi-Fi等无线设备发射和接收比特信息。

映射：数字孪生的物理实体和虚拟实体之间的对应关系。

DT：Digital Twin，数字孪生。

DT的模拟复杂度：无人机模拟物理追踪场景带来的时间复杂度。

转发节点/中继：无人机节点。

下一跳：无人机传输信息时选择的下一个中继无人机。

以下结合附图对本发明的内容做详细阐述：

数字孪生是一个虚拟的映射表示，它能够模拟无人机在目标追踪过程中的姿态改变和追踪动作，可以帮助无人机去模拟物理的追踪世界。具体来说，无人机基于摄像头、视觉传感器、UWB和GPS等传感器设备获取自身和目标的飞行俯仰角、转向角、飞行速度、当前的位置、环境的温湿度和物理噪声等信息；其机载计算机可以基于上述的异构信息构建DT的模拟环境。并且通过实时的物理信息收集来同步DT的运行场景，保证DT系统的精确性和实用性。基于历史的飞行记录，DT能推断未来的飞行状态，维护无人机的飞行安全。

如图1所示为本发明的方案流程图，具体包括以下步骤：

S1、将多个移动目标随机部署在3000m*3000m的观测区域内，并随机设计多个移动目标的运动轨迹和速度。追踪场景如图2所示。

S2、在相同的观测区域内部署多架无人机，基于固定队形和随机模型，感知该区域内的目标；

具体部署的无人机数量根据无人机的感知范围和追踪区域的范围确定。实际应用中部署的无人机的数量从5架到40架之间，本实施例中设定的最少无人机为5架，最多为40架，对应的移动目标数量也不同。比如，部署5架无人机去追踪8个目标；或者部署10架无人机去追踪15个目标。

S3、利用无人机载计算机的计算和缓存资源去构建一个虚拟的物理追踪环境，构成DT模拟场景，利用摄像头等感知设备去观测周围的邻居以及移动的目标，DT会接收到该信息并做处理；此处信息指的是传感器感知到的数据，包括图像和文本信息，图像具体指周围邻居无人机和目标的图像，文本指的是UWB和超声波等传感器获取到的周围邻居和目标的相对距离和移动速度信息。

S4、对步骤S3中的DT模拟场景，基于多种机载传感器感知并收集到的多样异构信息，包括环境的温湿度和物理噪声、目标和邻居节点的飞行姿态和速度等，机载计算机可以准确模拟对应的物理追踪环境。

S5、对步骤S3中DT对目标信息进行处理时，若目标的移动速度小于一个给定的阈值，则转置步骤S6；否则转置步骤S8；

步骤S5中阈值的确定基于无人机的速度，若无人机的速度为36km/h，则此速度为阈值，当大于该速度就应该执行远程协同追踪，如果小于该速度则可以通过邻居来执行协同追踪。

S6、DT通过深度确定性策略梯度算法(Deep Determined Policy Gradient,DDPG)和基于注意力的邻居观测机制(Attention-based method)选择最优的邻居进行通信来完成协同观测和追踪；

S7、针对S6中的协同追踪，使用波束成形技术将天线波束对准邻居的物理位置完成信息的传输，邻居在获取到对应信息后，执行协同操作；这里的对应信息具体指移动目标的轨迹预测和速度信息。

S8、对感知到的目标使用扩展卡尔曼滤波算法预测目标接下来r时隙内的移动轨迹，将该目标的轨迹预测信息转发给远处的无人机执行协同追踪；

S9、针对S8中的信息转发，每个无人机基于目标未来的移动轨迹，匹配最优的邻居作为转发节点，完成协同的追踪。

步骤S3具体为：每个无人机使用摄像头和视觉传感器来捕捉周围的环境信息，包括周围邻居节点和移动的目标，考虑动态的无人机网络拓扑，多目标追踪的感知精度表示为：

其中，C_t是t时刻所有无人机的感知区域范围；surf(t,s_i)表示无人机i在t时刻下，基于感知信息s_i，其有效的感知区域；α_i,k∈{0,1}是一个二进制标识符，α_i,k＝1表示无人机i感知到了目标k，否则α_i,k＝0。

步骤S4还包括：UWB传感器获取目标的移动速度，无人机能够通过指令集控制该传感器发送电磁波去探测目标，通过固定的探测周期以及电磁波发射和接收时间差来计算目标的移动速度。以此来判断该目标属于慢移动目标还是快移动目标。

步骤S4中传感器感知到的所有信息都会通过串口协议发送给DT，DT是一个虚拟的映射表示，它能够模拟无人机在目标追踪过程中的姿态改变和追踪动作，并将模拟信息放入到DDPG算法的状态空间当中。

步骤S6具体为：

无人机将邻居的属性信息一同放入S4提到的状态空间中，通过策略网络获取对应的追踪决策，DDPG的目标网络对该决策进行评估，获取该决策下的动作奖赏，策略网络通过最大化奖赏来保证无人机协同追踪的最优决策。其学习最优决策过程如下：

其中，θ^Q表示策略网络训练参数，Q表示DDPG的评估函数，μ为Q的参数，E表示期望函数，Y＝R_i+γQ^μ′(S_i,A_i)|A′＝μ′_i(S_i)，A_i表示无人机i的动作空间，S_i表示无人机i的状态空间，感知信息s_i属于状态空间S_i中的元素。γ是强化学习中的折扣因子，A表示A_i的集合，S表示S_i的集合，μ表示μ_i的集合。本实施例中采用上标′表示下一个输出的表示，用于与当前的输出进行区分；比如A′表示A的下一个输出。

本发明通过动作决策指的是无人机采用DDPG得到的最优动作决策去关联慢移动的目标，若目标没有跑出无人机的感知范围，则继续采用最优动作决策进行追踪；否则，无人机会选择最优的邻居执行协同的追踪。

无人机会选择最优的邻居执行协同的追踪，具体为：

基于S6提到的基于注意力的邻居观测机制选择最优的邻居执行信息交换操作，其邻居选择过程如下：

其中，

则邻居j被选择，否则不会被选择；

是被定义的激活函数，

表示注意力机制的解码操作，

表示无人机i在t时刻观测到邻居j的信息(同上述表达的观测信息，包括邻居的位置速度姿态等)，

是一个超参数，

表示无人机i在t时刻观测到邻居j的特征信息映射。

步骤S7具体为：

所述的邻居之间的信息交换，其涉及到的波束成形技术中的多天线阵列参数定义为：

其中，A是每一个无人机的通信设备所携带的天线的数量，λ是传输的波形长度，I是电流归一化后的激励权重。

步骤S8中的扩展卡尔曼滤波算法分为两个步骤：预测和更新。对于t时刻目标的真实位置，其t+1时刻的预测模型定义为：

其中，F是转换矩阵；ω_t是标准的高斯白噪声。

预测步骤的评估定义为：

p(t+1|t)＝FP_tF^T

P_t表示t时刻的预测评估矩阵，F^T表示F的转置矩阵；

在更新步骤，其评估的协方差S_t+1被定义为：

其中，H_t+1表示t+1时刻的更新评估矩阵；

基于预测和更新步骤，能够获取卡尔曼增益K_t+1：

其中，H是评估矩阵。

因此，下一时刻目标的移动坐标可以预测为：

其中，

是评估残差值。

步骤S9具体为：无人机在转发预测信息的同时也会计算当前转发的距离，其转发距离定义为无人机和邻居的距离向量在目标移动轨迹向量d_rT上的投影，无人机会选择最大投影距离的邻居作为信息转发的中继节点，其转发距离更新表达式为：

其中，C_d＝d_rT表示转发的初始阶段，

表示d_i,j在d_rT上的投影长度，d_i,j表示无人机i和邻居j之间的物理距离。

如图2所示为本发明方法的效果图；仿真参数为：追踪区域的长和宽分别为3km*3km。无人机的数量定义为[13,28]，目标的数量定义为30。每个目标的移动轨迹遵循随机移动模型；高斯白噪声服从均值为0，方差为1的高斯分布；图2中，横坐标(Number ofDeployed UAVs)表示部署的无人机的数量，纵坐标(Average communication overhead)表示所有无人机的平均通信开销；从图2中可见，本发明提出的无人机群协同多目标追踪算法在多个目标随机移动的情况下，相比较其他的现有算法，仍然能够保持低通信开销；利用本发明方法的低模拟复杂度的DT网络可以在满足追踪精度的条件下，明显地提升无人机群的协同能力。相比于深度增强学习机制，本发明的算法可以降低66.7％的通信开销。

如图3所示，与已有只考虑无人机和目标移动速度相匹配的追踪方法不同，本发明针对慢移动的目标，能够协调无人机周围一跳邻居完成协同追踪；针对快移动目标，无人机根据历史的追踪经验，预测其运动轨迹，请求远程无人机飞到合适的空域去执行协同观测和追踪，能有效提升目标追踪的成功比；图3横坐标表示追踪区域内部署的移动目标的数量，纵坐标表示的是目标追踪的成功比。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (7)

1.一种基于无人机群的多目标协同追踪方法，其特征在于，每个无人机的机载计算机基于其异构信息构建DT模拟场景；在各无人机的DT模拟场景中模拟对应的物理追踪环境；并根据模拟得到的目标移动速度，确定该无人机的下一跳最优邻居进行通信，从而完成协同观测和追踪。

2.根据权利要求1所述的一种基于无人机群的多目标协同追踪方法，其特征在于，所述异构信息包括无人机自身和目标的飞行俯仰角、转向角、飞行速度、当前的位置、环境的温湿度和物理噪声。

3.根据权利要求2所述的一种基于无人机群的多目标协同追踪方法，其特征在于，所述异构信息通过摄像头与各传感器获取。

4.根据权利要求2所述的一种基于无人机群的多目标协同追踪方法，其特征在于，所述根据模拟得到的目标移动速度，确定该无人机的下一跳最优邻居进行通信，从而完成协同观测和追踪；具体的：将目标移动速度与设定的阈值进行比较，若目标移动速度小于设定阈值，则基于注意力的邻居观测机制选择最优的邻居进行通信来完成协同观测和追踪；否则使用扩展卡尔曼滤波算法在预测目标未来的移动轨迹，根据目标未来的移动轨迹匹配最优的邻居作为转发节点，完成协同的追踪。

5.根据权利要求4所述的一种基于无人机群的多目标协同追踪方法，其特征在于，若目标移动速度小于设定阈值，首先采用深度确定性策略梯度算法获取最优动作决策，无人机采用该最优动作决策进行追踪，若追踪过程中目标超出无人机的感知范围，则基于注意力的邻居观测机制选择最优的邻居进行通信来完成协同观测和追踪。

6.根据权利要求5所述的一种基于无人机群的多目标协同追踪方法，其特征在于，所述基于注意力的邻居观测机制选择最优的邻居进行通信来完成协同观测和追踪，具体实现过程为：

基于注意力的邻居观测机制选择最优的邻居执行信息交换操作，其邻居选择过程如下：

其中，

则邻居j被选择，否则不会被选择；

是被定义的激活函数，

表示注意力机制的解码操作，

表示无人机i在t时刻观测到邻居j的信息，

是一个超参数，

表示无人机i在t时刻观测到邻居j的特征信息映射。

7.根据权利要求4所述的一种基于无人机群的多目标协同追踪方法，其特征在于，所述使用扩展卡尔曼滤波算法在预测目标未来的移动轨迹，根据目标未来的移动轨迹匹配最优的邻居作为转发节点，完成协同的追踪；具体实现过程为：

记当前时刻为t，根据下式预测t+1时刻目标的移动坐标：

其中，x_(t+1|t)表示t+1时刻的预测模型，K_t+1表示卡尔曼增益，

是评估残差值；

无人机选择最大投影距离的邻居作为信息转发的中继节点，其转发距离更新表达式为：

其中，C_d＝d_rT表示转发的初始阶段，

表示d_i,j在d_rT上的投影长度，d_i,j表示无人机i和邻居j之间的物理距离。

Images