CN117135376A - 一种基于预测和目标跟踪的多无人机视频传输方法 - Google Patents

Abstract

本发明公开了一种基于预测和目标跟踪的多无人机视频传输方法，主要针对多无人机跟踪移动目标并传输实时视频的场景，用来规划无人机的轨迹和功率分配。首先，由于无人机之间的相互依赖关系可以被建模为一个独特的图结构，本发明采用基于图的方法来表示无人机与周围环境的关系。其次，将图卷积网络和近端优化算法结合，预测目标的动线并规划无人机的轨迹和分配无人机的功率。为了进一步提高预测策略的准确性，将广义优势估计和双剪枝优化技术集成到近端策略优化算法中。为了达到高水平的训练效率，本发明采用分布式结构为每个无人机智能体训练一对演员‑评论家网络。通过此方法，在满足时延的要求下，可以最大化传输速率。

Description

一种基于预测和目标跟踪的多无人机视频传输方法

技术领域

本发明属于多无人机调度领域，具体涉及为无人机网络中航迹规划和资源分配方法，尤其是一种基于预测和目标跟踪的多无人机视频传输方法。

背景技术

随着互联网和移动通信技术的不断发展，视频传输已经成为了各行各业中不可或缺的一部分。多媒体数据可以提供丰富的可视化信息，帮助地面人员更直观地理解远程环境，以便做出正确的决策，随着广播的移动设备的技术进步，我们可以实现实时视频的传输；在无法部署传统设备的区域，如灾区或临时性建筑，我们可以使用无人机充当传输的主体。

但是一架无人机系统表现出各种局限性，例如硬件要求、通信可靠性以及无人机和基础设施的覆盖范围有限。为了解决这个问题，在通信节点之间建立多跳连接时，无人机可通过一种特设的网络方式组织起来。通过这种方式，每架无人机可以通过一系列无人机与另一架无人机或基础设施进行通信，所有无人机都组成一个自组网形成无人机自组织网络。

一般而言，无人机网络视频传输有两种典型用例，用于固定位置的视频监控或者充当多用户视频流的基站。然而，大多数研究并没有考虑动态环境下移动目标的连续跟踪问题。所以我们针对这一问题，将强化学习与深度学习结合，提出一种基于预测和目标跟踪的多无人机视频传输方法。

发明内容

发明目的：本发明旨在提供一种基于预测和目标跟踪的多无人机视频传输方法，从而减少无人机视频传输时间，增强目标轨迹预测的准确度，实现无人机视频传输质量的提升。

技术方案：一种基于预测和目标跟踪的多无人机视频传输方法，该方法包括如下步骤：

(1)构造无人机网络模型和通信模型，并且根据无人机之间的通信关系，以及无人机和周围环境的交互关系，构建动态的观测空间；

所定义的观测空间的数学表达式如下：

式中，M表示无人机总数，l_m(t)表示无人机m在时间t时的空间位置，D_m(t)表示无人机m在时间t时的无人机传输任务的数据量，β_m(t)表示无人机m在时间t时候的无人机和其他设备之间的信道增益；

(2)依据策略函数并结合观测空间选择执行的动作，动作空间包括无人机位置信息和功率分配，记：动作空间

(3)建立具体动作对应的奖励机制，并以最小化传输时间和最大化预测的准确度为优化目标；

其中传输时延越小则奖励越多，表示为预测误差越小则奖励越高，数学表示为r_pre(t)＝min(V_pre(t)-V_act(t))，V_pre(t)为预测出来的值，V_act(t)为实际值，对应的总奖励是：

λ₁，λ₂是针对两个优化目标所实现的权重系数，r_m(t)为无人机传输的奖励，r_pre(t)为无人机预测目标的奖励。

(4)采用分布式结构结合图卷积网络为每个无人机智能体训练一对演员-评论家网络；

这个网络结构中，演员网络负责将观测映射为动作的策略函数，而评论家网络则学习观测-动作映射对应的预期回报，为整个决策过程提供价值指导。

进一步的，所述方法基于无人机自组网跟踪系统，一个无人机发现目标后使用配备的摄像头捕获视频，其余无人机辅助视频传输；且视频流采用动态自适应流进行处理；且将跟踪无人机作为源节点，其余无人机作为中继节点，地面工作站作为目标节点。

步骤(1)考虑到无人机的能耗包括通信能量、推进能量和视频编码，推进能量比其他能量大两个数量级，所以该方法将无人机的t时刻的功率近似为推进功率，数学表达式如下：

上式中，无人机在时间t的瞬时速度记为ν(t)，d₀表示为机身阻力比，P_m(t)表示无人机m在t时刻的功率，P_b和P_i表示悬停状态下的叶片轮廓和感应功率，k和f分别表示圆盘面积和转子坚固度，为机身阻力比，ρ表示空气密度，χ表示悬停时的平均旋翼感应速度，而U_tip表示转子叶片的尖端速度。

进一步的，该方法将空对地通信链路建模为非视距，将无人机之间的通信建模为视距；为了表示路径损失，该方法利用低空平台表达式，其中LoS和NLoS路径损失由下式给出：

其中和/>是LoS和NLoS链接的衰减因子，δ_ij(t)为传输方程得到的功率增益，其中f_c为载频，c为光速。

进一步的，假设瞬时信道增益在无人机和地面工作站之间采用瑞利衰落对于无人机之间采用莱斯衰落/>

上式中，信道由大尺度衰落和小尺度共同决定，g表示小尺度，β表示大尺度衰落。

无人机m'向无人机m的传输速率表示为：

其中B表示带宽,假设所有无人机拥有相同大小的带宽，σ²表示噪声功率，p_m'm(t)对应无人机m’向无人机m在t时的发射功率；

无人机m向工作站的传输速率为：

其中对应t时无人机m向工作站m₀的发射功率；

假设缓冲区容量高于每个传输单位的文件大小，每个周期传输单位从探测无人机传输回工作站的总耗时为：

其中D表示某次传输的数据包单位，m'＝m₀时表示目标节点为地面工作站。

目标是在无人机的机械约束和视频流的传输质量约束下，通过优化无人机的功率分布和轨迹，使每个视频块的平均时延最小，增大视频播放质量；优化问题数学表达式如下：

s.t.0≤p_m(t)≤p_max,m,n∈M,

||u_m-u_n||≤d_min,m≠n∈M,

||v(t)||≤v_max,t∈T,

E≤E_max,

其中，限制条件分别是无人机能耗p_max限制；为了避免碰撞，相邻无人机之间最小距离为d_min；每架无人机的最大速度v_max；所有无人机在每个传输单位的总耗能E_max。

所述步骤(3)包括演员-评论家网络中的演员网络和评论家网络，具体是将无人机网络视为一种图结构；

该图结构中：每个无人机对应一个节点，所有无人机的集合产生节点集合V；每个节点都有自己的特征，“点”特征即包括无人机的坐标信息l，无人机传输任务D，信道增益β；用“边”表示每个无人机的传输关系，E为边的集合；依据图结构，构建无人机的状态空间

所述步骤(4)所述的演员-评论家网络中，演员网络负责将观测映射为动作的策略函数，评论家网络用于学习观测-动作映射对应的预期回报，为整个决策过程提供价值指导。

进一步的，步骤(4)具体还包括使用广义优势估计作为计算策略梯度时的优势估计器，数学表达式如下：

δΥ_t+k＝Φ_t+k+ωF(s_t+k+1)-F(s_t+k),

其中Υ_t+k表示时间差的误差，F为状态值函数的表达式，ω是控制参数，截断参数ξ∈[0,1]用于在偏差和方差之间进行权衡，Φ是旧策略与新策略的概率比；

包括使用双剪枝策略，并为策略提供更稳定的学习，对应损失函数的目标为：

θ_m表示无人机m的策略参数，ε是约束比率范围的超参数，b>1是一个常数，表示下限。

有益效果：与现有技术相比，本发明所述方法实质性特征和显著进步包括：

1)本方法在传输相同数量的数据的情况下，花费在传输过程中的时间更少，即可减少传输时延，从而提供更出色的用户体验；

2)本方法解决了无人机功率分配和目标追踪的联合问题，优化后获得更大的奖励值，表明所得到的解决方案更为优越。

附图说明

图1是本发明所述的方法的应用场景示意图；

图2是本发明所述方法的流程图；

图3为实施例应用框架图；

图4为实施例中奖励对比示意图；

图5为实施例中无人家传输时间对比示意图。

具体实施方式

为了详细的说明本发明所公开的技术方案，下面结合附图进一步的介绍。

本发明提供的是一种基于预测和目标跟踪的多无人机视频传输方法，重点解决的问题是针对在多无人机跟踪移动目标并传输实时视频的场景，结合图1所示，由此本发明设计了一套综合方案，旨在高效规划无人机的轨迹和功率分配。

整个方案的流程图如图2所示，架构如图3所示。针对多无人机系统中的相互依赖关系，本发明将其抽象为一个独特的图结构，其中每个无人机视为图中的一个节点，而它们之间的通信和协作关系则由边连接表示。将图卷积网络与近端优化算法相结合，以实现对目标动线的预测、无人机轨迹的规划和功率分配的优化。图卷积网络能够从图结构中提取有用的空间信息，从而更准确地预测目标的运动轨迹，为轨迹规划提供输入。近端优化算法能够根据实时数据和环境信息，对无人机的轨迹和功率进行动态调整，以最大程度地满足传输需求。为了进一步提高预测策略的准确性和稳定性，我们引入了广义优势估计和双剪枝优化技术。最后，结合分布式结构为每个无人机智能体构建一对演员-评论家网络。实施过程具体可划分为如下的步骤：

S1、根据无人机之间的通信关系构建观测空间。

该步骤是根据无人机的状态信息，例如无人机和目标的空间位置l，表示无人机传输任务的数据量D，无人机和其他设备之间的信道增益β，建模成一种图结构的观测空间

进一步的是分析无人机之间的通信关系，以及无人机和周围环境的交互关系，构建一个动态的观测空间。包括无人机和目标的空间位置l，表示无人机传输任务的数据量D，无人机和其他设备之间的信道增益β，建模成一种图结构的状态空间S＝{l(t),D(t),β(t)|t∈T}。T表示总任务时间，由于无人机的高机动性，获取完整和准确的通道状态信息可能具有挑战性。因此，对于某个特定的无人机，他只能感知到自己周围环境的情况，本发明将其定义为观测空间，其中M表示无人机总数：

S2、依据策略函数并结合观测空间选择执行的动作。

在决策过程中，每架无人机都依靠一个策略函数来确定接下来的动作。这些动作包括位置的选择(飞行方向和速度)以及功率分配。

动作空间由策略函数和观测空间得到：

S3、制定执行具体动作所对应的奖励机制。

该步骤的目标是最小化传输时间和提高预测的准确度，考虑到中继无人机只需要提高传输速率，而预测无人机不仅需要持续地预测目标动向，还需要更快更好地传输视频。对应的是，传输奖励是时延越小奖励越多，预测奖励是预测误差越小奖励越高。

在实际执行过程中，无人机根据策略函数所选的动作，迈出每一步。因此目的是传输时间的最小化和预测准确度的提高。对于中继无人机，主要优化目标是传输速率的提升。然而，对于预测无人机，除了持续地预测目标动向，还要求更快、更稳定的视频传输。

不同目标设置了不同的传输奖励机制，传输时延越小则奖励越多 预测误差越小则奖励越高r_pre(t)＝min(V_pre(t)-V_act(t))，V_pre(t)为预测出来的值，V_act(t)为实际值。所以总奖励是：

λ₁，λ₂是针对两个优化目标所实现的权重系数，r_m(t)为无人机传输的奖励，r_pre(t)为无人机预测目标的奖励。

S4、将广义优势估计和双剪枝策略融入近端优化算法，最后是用优化过的算法训练演员-评论家网络。

本步骤中，使用广义优势估计作为计算策略梯度时的优势估计器，通过更准确地估计优势值，智能体可以更好地了解每个状态的重要性，并相应地更新策略，从而更快地学习到更好的策略。使用双剪枝策略对优势函数估计进行限制，有助于稳定训练过程并提高算法的性能。

采用分布式结构为每个无人机智能体训练演员-评论家网络。学习将状态映射为动作的策略函数和将状态-动作映射为预期回报的动作-价值函数。在集中训练阶段，估计状态值函数的评论家网络与估计策略函数的演员网络模型结构相同。评论家网络的输出是演员网络损失函数的一个组成部分，它被用来计算广义优势估计。演员策略函数生成策略，评论家状态值函数通过最大化双剪枝近端策略优化的目标来对当前策略进行评估。

下面是结合上述的整体概述做进一步的说明。

1)构造无人机网络模型

本发明首先是考虑一个无人机自组网跟踪系统，若一个无人机发现目标后使用配备的摄像头捕获视频，其余无人机辅助视频传输。视频流采用动态自适应流(DASH)。为了便于说明，假设所有地面工作站位于水平线，高度为零。无人机m∈{1,…,M}在固定高度H飞行，跟踪无人机作为源节点，其余无人机作为中继节点，无人机轨迹记为

目标节点为地面工作站m₀，坐标为每架无人机在时间t的瞬时速度记为ν(t)，受最大速度V_max约束，即||ν(t)||≤V_max。无人机之间的距离采用欧几里得范数||·||计算，表示为d_mm'(t)＝||u_m(t)-u_m'(t)||。无人机到地面工作站的距离表示为

无人机的能耗包括通信能量和推进能量还有视频编码等。一般来说，推进相关能量比其他能量大两个数量级，所以本发明中，无人机的t时刻的功率可以近似为推进功率：

上式中，无人机在时间t的瞬时速度记为ν(t)，d₀表示为机身阻力比，P_m(t)表示无人机m在t时刻的功率，P_b和P_i表示悬停状态下的叶片轮廓和感应功率，k和f分别表示圆盘面积和转子坚固度，为机身阻力比，ρ表示空气密度，χ表示悬停时的平均旋翼感应速度，而U_tip表示转子叶片的尖端速度。

2)构造无人机通信模型

在实施中，将空对地通信链路建模为非视距(NLoS)，将无人机之间的通信建模为视距(LoS)。为了表示路径损失，本发明利用低空平台(LAP)表达式，其中LoS和NLoS路径损失由下式给出：

其中和/>是LoS和NLoS链接的衰减因子，/>为传输方程得到的功率增益，其中d_ij(t)为距离，f_c为载频，c为光速。

信道由大尺度衰落和小尺度共同决定：

在上式中，g表示小尺度，β表示大尺度衰落，假设瞬时信道增益在无人机和地面工作站之间采用瑞利衰落对于无人机之间采用莱斯衰落/>

无人机m'向无人机m的传输速率可以表示为：

其中b表示带宽,假设所有无人机拥有相同大小的带宽，σ²表示噪声功率，p_m'm(t)对应无人机m’向无人机m在t时的发射功率。

对于无人机m向工作站的传输速率为：

其中对应t时无人机m向工作站m₀的发射功率。

进一步的，假设缓冲区容量高于每个传输单位的文件大小，这对于当代设备来说是合理的。因此，每个周期传输单位从探测无人机传输回工作站的总耗时为：

其中D表示某次传输的数据包单位，m'＝m₀时表示目标节点为地面工作站。

目标是在无人机的机械约束和视频流的传输质量约束下，通过优化无人机的功率分布和轨迹，使每个视频块的平均时延最小，增大视频播放质量。

综上，优化问题可以写成：

s.t.0≤p_m(t)≤p_max,m,n∈M,

||u_m-u_n||≤d_min,m≠n∈M,

||v(t)||≤v_max,t∈T,

E≤E_max,

其中，限制条件分别是无人机能耗p_max限制；为了避免碰撞，相邻无人机之间最小距离为d_min；每架无人机的最大速度v_max；所有无人机在每个传输单位的总耗能E_max。

3)依据策略函数并结合观测空间选择执行的动作。

基于上述1)和2)建立的无人机网络模型及通信模型，结合图1所应用场景，则本步骤是根据策略函数来确定下一个动作，动作空间包括位置(即飞行方向和速度)和功率分配，动作空间

具体说，无人机网络可以看作一种特殊的图结构，并使用图卷积网络(GCNs)来构造演员网络，评论家网络。图是由它的顶点、边和相关特征定义的。每个无人机对应一个节点，所有无人机的集合产生节点集合V。每个节点都有自己的特征，“点”特征即包括无人机的坐标信息l，无人机传输任务D，信道增益β。用“边”表示每个无人机的传输关系，E为边的集合。

依据图结构，构建无人机的状态空间

在决策过程中，需要根据环境对前一个操作和当前状态的反馈来确定下一个位置(即飞行方向和速度)和功率分配。动作空间由策略函数和观测空间得到：

本步骤的目标是传输时间的长期最小化传输时间和提高预测的准确。其中中继无人机只需要提高传输速率，而预测无人机不仅需要持续地预测目标动向，还需要更快更好地传输视频。传输奖励是越小时延越好预测目标就是最小化预测误差r_pre(t)＝min(V_pre(t)-V_act(t))，V_pre(t)为预测出来的值，V_act(t)为实际值。

所以总奖励是：

λ₁，λ₂是针对两个优化目标所实现的权重系数。r_m(t)为无人机传输的奖励，r_pre(t)为无人机预测目标的奖励。

4)将广义优势估计和双剪枝策略融入近端优化算法，训练演员-评论家网络

为了达到高水平的训练效率，本发明采用分布式结构结合图卷积网络为每个无人机智能体训练一对演员-评论家网络。

在学习过程中，使用π表示策略网络。策略网络以观测作为输入，然后输出动作。策略网络输出概率分布的矩阵。在训练阶段，根据这个分布随机采样动作以增加探索，而在训练完成时取均值作为动作。

在该步骤中，优势函数是DRL的一个极其重要的策略，所以本发明使用广义优势估计(GAE)作为计算策略梯度时的优势估计器：

δΥ_t+k＝Φ_t+k+ωF(s_t+k+1)-F(s_t+k),

其中Υ_t+k表示TD(时间差)误差，F为状态值函数的表达式，ω是控制参数，截断参数ξ∈[0,1]用于在偏差和方差之间进行权衡，Φ是旧策略与新策略的概率比。

在大规模训练环境中，使用具有负优势函数的动作会对策略产生负影响。进而，为了消除负影响，本发明使用双剪枝策略，并为策略提供更稳定的学习。

相应的，损失函数的目标为：

θ_m表示无人机m的策略参数，ε是约束比率范围的超参数，b>1是一个常数，表示下限。

结合图3-图5，依据本发明的实施，每个智能体的演员和评论家网络都由两个图卷积层、一个池化层最后再接一个全连接层表示，优化器使用自适应矩估计(Adam)。最后的仿真结果显示本发明所述方法(GM-PPO)比原始的近端优化策略(PPO)、只添加了双剪枝策略的近端优化策略(DC-PPO)获得的奖励更多，如图4奖励对比示意图。图5传输时间对比示意图显示在完成375帧(假设1秒是25帧)任务时，花费的传输时间更短。

Claims (7)

1.一种基于预测和目标跟踪的多无人机视频传输方法，其特征在于：该方法包括如下步骤：

(1)构造无人机网络模型和通信模型，并且根据无人机之间的通信关系，以及无人机和周围环境的交互关系，构建动态的观测空间；

所定义的观测空间的数学表达式如下：

式中，M表示无人机总数，l_m(t)表示无人机m在时间t时的空间位置，D_m(t)表示无人机m在时间t时的无人机传输任务的数据量，β_m(t)表示无人机m在时间t时候的无人机和其他设备之间的信道增益；

(2)依据策略函数并结合观测空间选择执行的动作，动作空间包括无人机位置信息和功率分配，记：动作空间

(3)建立具体动作对应的奖励机制，并以最小化传输时间和最大化预测的准确度为优化目标；

其中传输时延越小则奖励越多，表示为预测误差越小则奖励越高，数学表示为r_pre(t)＝min(V_pre(t)-V_act(t))，V_pre(t)为预测出来的值，V_act(t)为实际值，对应的总奖励是：

λ₁，λ₂是针对两个优化目标所实现的权重系数，r_m(t)为无人机传输的奖励，r_pre(t)为无人机预测目标的奖励；

(4)采用分布式结构结合图卷积网络为每个无人机智能体训练一对演员一评论家网络；

其中的演员网络以观测作为输入，然后输出动作，且演员网络输出概率分布的矩阵；在训练阶段，根据得到的概率分布矩阵随机采样动作以增加探索，而在训练完成时取均值作为动作。

2.根据权利要求1所述的基于预测和目标跟踪的多无人机视频传输方法，其特征在于：所述方法还包括构建无人机自组网跟踪系统，该系统中一个无人机发现目标后使用配备的摄像头捕获视频，其余无人机辅助视频传输，视频流采用动态自适应流进行处理；且将跟踪无人机作为源节点，其余无人机作为中继节点，地面工作站作为目标节点。

3.根据权利要求2所述的基于预测和目标跟踪的多无人机视频传输方法，其特征在于：考虑到无人机的能耗包括通信能量、推进能量和视频编码，推进能量比其他能量大两个数量级，所以该方法将无人机的t时刻的功率近似为推进功率，数学表达式如下：

上式中，无人机在时间t的瞬时速度记为v(t)，d₀表示为机身阻力比，P_m(t)表示无人机m在t时刻的功率，P_b和P_i表示悬停状态下的叶片轮廓和感应功率，k和f分别表示圆盘面积和转子坚固度，为机身阻力比，ρ表示空气密度，χ表示悬停时的平均旋翼感应速度，而U_tip表示转子叶片的尖端速度。

4.根据权利要求1所述的基于预测和目标跟踪的多无人机视频传输方法，其特征在于：该方法将空对地通信链路建模为非视距，将无人机之间的通信建模为视距；为了表示路径损失，该方法利用低空平台表达式，其中LoS和NLoS路径损失由下式给出：

其中和/>是LoS和NLoS链接的衰减因子，δ_ij(t)为传输方程得到的功率增益，其中f_c为载频，c为光速；

信道由大尺度衰落和小尺度共同决定：

在上式中，g表示小尺度，β表示大尺度衰落，假设瞬时信道增益在无人机和地面工作站之间采用瑞利衰落对于无人机之间采用莱斯衰落/>

无人机m′向无人机m的传输速率表示为：

其中B表示带宽，假设所有无人机拥有相同大小的带宽，σ²表示噪声功率，p_m′m(t)对应无人机m′向无人机m在t时的发射功率；

无人机m向工作站的传输速率为：

其中对应t时无人机m向工作站m₀的发射功率；

假设缓冲区容量高于每个传输单位的文件大小，每个周期传输单位从探测无人机传输回工作站的总耗时为：

其中D表示某次传输的数据包单位，m′＝m₀时表示目标节点为地面工作站；

目标是在无人机的机械约束和视频流的传输质量约束下，通过优化无人机的功率分布和轨迹，使每个视频块的平均时延最小，增大视频播放质量，对此该优化问题数学表达式如下：

s.t.0≤p_m(t)≤p_max，m，n∈M，

||u_m-u_n||≤d_min，m≠n∈M，

||v(t)||≤v_max，t∈T，

E≤E_max，

其中，限制条件分别是无人机能耗p_max限制；为了避免碰撞，相邻无人机之间最小距离为d_min；每架无人机的最大速度v_max；所有无人机在每个传输单位的总耗能E_max。

5.根据权利要求1所述的基于预测和目标跟踪的多无人机视频传输方法，其特征在于：所述步骤(3)包括演员-评论家网络中的演员网络和评论家网络，具体是将无人机网络视为一种图结构；

该图结构中：每个无人机对应一个节点，所有无人机的集合产生节点集合V；每个节点都有自己的特征，“点”特征即包括无人机的坐标信息l，无人机传输任务D，信道增益β；用“边”表示每个无人机的传输关系，E为边的集合；依据图结构，构建无人机的状态空间

6.根据权利要求1所述的基于预测和目标跟踪的多无人机视频传输方法，其特征在于，所述步骤(4)所述的演员-评论家网络中，演员网络负责将观测映射为动作的策略函数，评论家网络用于学习观测-动作映射对应的预期回报，为整个决策过程提供价值指导。

7.根据权利要求6所述的基于预测和目标跟踪的多无人机视频传输方法，其特征在于，步骤(4)具体还包括使用广义优势估计作为计算策略梯度时的优势估计器，数学表达式如下：

δΥ_t+k＝Φ_t+k+ωF(s_t+k+1)-F(s_t+k)，

其中Υ_t+k表示时间差的误差，F为状态值函数的表达式，ω是控制参数，截断参数ξ∈[0，1]用于在偏差和方差之间进行权衡，Φ是旧策略与新策略的概率比；

使用双剪枝策略，为策略提供更稳定的学习，对应损失函数的目标为：

上式中，θ_m表示无人机m的策略参数，ε是约束比率范围的超参数，b＞1是一个常数，表示下限，为状态函数估计，Φ是旧策略与新策略的概率比。