CN116528313A - 一种面向任务协同的无人机低能耗快速路由方法 - Google Patents

Abstract

一种面向任务协同的无人机低能耗快速路由方法，属于无线通信、无人机自组网和路由协议领域。针对在不同网络拓扑环境以及不同移动速度下的无人机路由问题，提供一种面向任务协同的无人机低能耗快速路由方法。赋能无人机实现分布式路由，利用无人机群的信道状态和相邻无人机的路由经验参数等信息，采用强化学习算法，优化无人机的路由决策和传输功率，满足端到端时延约束，可承载基于感知数据和控制消息的搜索救援和目标追踪等任务。有效提升高速移动无人机群的路由稳定性，降低端到端时延，减少路由能耗。

Description

一种面向任务协同的无人机低能耗快速路由方法

技术领域

本发明属于无线通信、无人机自组网和路由协议领域，具体是涉及一种面向任务协同的无人机低能耗快速路由方法。

背景技术

无人机自组网的节点移动速度快、能量有限，网络拓扑多变，无人机控制、搜索救援和目标追踪等上层应用对传输可靠性和时延提出更高的要求，但是现有的自组网路由协议依赖于路由发现过程或者位置信息，在信道条件快速波动下，基于平均信道质量信息估计的路由信息可能会变得陈旧，而基于位置的路由协议在大规模动态网络中难以获得其到目的地的距离。在节点运动型较大的场景中，向全网进行洪泛反而是最有效的路由手段，而简单的洪范路由往往又会因为大量的冗余广播造成拥塞与冲突，导致广播风暴问题。因此，一种无需维护全局路由表，同时能够避免大量无效广播的多路径路由方法对保证无人机自组网的数据传输具有重大意义。

无人机自组网路由对传统路由协议进行改进，降低维护拓扑结构的成本，同时提高应对动态环境的灵活性。S.Rosati等[S.Rosati,K.Kru˙zelecki,G.Heitz,et al.,Dynamic routing for flying Ad-hoc networks,IEEE Transactions on VehicularTechnology,vol.65,no.3,pp.1690-1700,Mar.2016]提出一种预测优化链路状态的路由方法，根据无人机的GPS位置信息预测无线链路的通信质量，自适应调节传输计数度量期望，跟踪拓扑变化，相较于传统的OLSR协议，显著降低中断概率。中国专利申请公开号为CN115087065A提出一种基于位置预测的编队无人机路由协议，计算无人机间的最大通信距离，预测移动轨迹并计算通信概率，综合评估多条备选路径，提高数据传输的成功率。

选择性广播路由是一种多路径路由方法，它允许将数据包通过多个最短路径转发到目的地，以减少网络延迟和能源消耗。H.Song等[S.H.Song,L.Liu,B.Shang,et al.,Enhanced flooding-based routing protocol forswarm UAV networks:random networkcodingmeets clustering,Proc.IEEE Int.Conf.Comput.Commun.(INFOCOM),Vancouver,BC,Canada,May 2021,pp.1–10]提出一种基于随机编码和分簇的洪范路由协议，显著加快基于洪泛的路由过程，且只通过簇头进行广播，可有效防止广播风暴和ACK反馈信息的冲突。中国专利申请公开号为CN111542097A的专利提出一种基于Q-learning的广播路由算法，根据节点周边所有邻居中已经接收到数据的节点比例判断是否进行广播决策，避免大量的冗余广播，节省能耗。

基于强化学习的自适应路由方案可以更好地适应无人机自组网的复杂环境。Z.Zheng等[Z.Zheng,A.K.Sangaiah,and T.Wang,Adaptive communicationprotocols inflying Ad-hoc network,IEEE Communications Magazine,vol.56,no.1,pp.136–142,Jan.2018]利用无人机的位置信息和基于全局网络效用定义的奖励函数来更新局部路由策略，降低数据包传输时延。中国专利申请公开号CN114449608A提出一种基于Q-learning的无人机自组网自适应路由方法，在路由发现阶段基于链路质量更新Q表以建立路由路径，在路由维护阶段通过HELLO消息感知网络拓扑变化，动态更新Q表以维护路由路径，降低路由时延。中国专利申请公开号CN112822752A提出一种无人机自组织网络的路由建立方法及系统，根据反馈信息动态选取最优的分簇策略，获取稳定的簇结构适应网络状态的动态变化，从而延长网络的生命周期。

发明内容

本发明的目的是针对在不同网络拓扑环境以及不同移动速度下的无人机路由问题，提供一种面向任务协同的无人机低能耗快速路由方法。利用强化学习算法动态优化无人机自组网的路由决策和传输功率，以适应高动态无人机自组网通信链路断裂频繁的特性，有效提升高速移动无人机群的路由稳定性，降低端到端时延，减少路由能耗。

本发明包括以下步骤：

步骤1：无人机自组网中有N个无人机，需要传输的数据包个数为K，传输一个数据包的时间为一个时隙，总时隙为{1,2,…,k,…,K}；基于CSMA/CA竞争机制的路由决策x^(k)∈{0,1}，当x^(k)＝0时不广播数据包，设无人机i支持的传输功率个数为L，当x^(k)＝1时传输功率p^(k)∈{jP_U/L|1≤j≤L}，则可选动作a^(k)＝[x^(k),p^(k)]∈A，其中，P_U表示最大传输功率；

步骤2：初始化最大路由效益权重路由效益权重更新速率θ²，路由学习过程的未来效益λ∈(0,1]，邻居共享的长期回报所占权重υ＞0，时延风险等级Υ，风险阈值{μ_j}_1≤j≤Υ，时延风险学习率β∈(0,1]，状态维度|S|，其中包含信道增益最大维度|h|，N个Q值矩阵Q＝0_|S|×|A|和E值矩阵E＝0_|S|×|A|，风险值在路由策略选择中所占权重c＞0，无人机自身电量b⁽⁰⁾，信道增益h⁽⁰⁾，接收过的数据包集合/>跳数H⁽⁰⁾，移动因子F⁽⁰⁾，所监听到的数据包重广播次数/>及初始性能信噪比ξ⁽⁰⁾和端到端时延τ⁽⁰⁾；

步骤3：在第k时隙，无人机i接收到无人机f广播的数据包判断元组是否属于接收过的数据包集合Ω，其中/>为源无人机ID，/>为数据包序列号，源无人机每发送一个数据包则序列号递增；若元组/>属于数据包集合Ω，则丢弃该数据包，避免重复广播，否则进行下述路由决策步骤。

步骤4：在第k时隙，无人机i估计与邻居无人机j的信道增益h_i,j，评估自身剩余电池电量b、接收信号的信噪比ξ和数据包大小m，从IP包头中获取当前数据包所经过的跳数H，监听上一个数据包在邻居中的重广播次数获取目的地反馈的前C个数据包的平均端到端时延τ，与邻居交互信标获得邻居数量n，计算无人机i相对于无人机f的额外覆盖率 表示邻居集合，并计算相较于上一个时隙的移动因子

步骤5：计算包含竞争和传输时延的单跳时延t_i,f，将信道增益h_i,j、信噪比ξ、单跳时延t_i,f和所监听到的重广播次数封装在MAC数据包头，通过邻居重播获得数据包/>的接收信号信噪比ξ和单跳时延t，统计与邻居/>的信道增益/>累计并更新重广播次数/>

步骤6：构建路由状态

步骤7：将路由状态s^(k)输入效益表Q和风险表E，得到状态-动作对的长期奖励值Q(s^(k),a)和风险值E(s^(k),a)，更新策略分布π(s^(k),a)：

步骤8：无人机i根据策略分布π(s^(k),a)进行路由决策和功率分配，然后将元组存入集合Ω；

步骤9：目的无人机收到数据包后，统计前C个数据包的平均端到端时延τ，并将性能评价指标通过可靠的反馈信道，发送至各无人机；无人机i接收到路由性能指标，根据估算的自身传输能耗w，计算当前效益u^(k)：

u^(k)＝κ-c₁τ-c₂w

其中，κ为包到达指示器，若数据包成功到达目的无人机则κ＝1，否则为0；c₁和c₂分别表示时延和能耗的权重因子；

步骤10：无人机i接收邻居集合共享的状态价值函数，更新Q表：

其中动态的路由效益权重α根据移动因子F进行计算：

步骤11：无人机i将端到端时延划分为Υ个风险等级{μ_j}_1≤j≤Υ，与前C个数据包的时延比较，统计小于风险阈值的比例，以获得时延容忍度概率，根据最小时延容忍Γ，计算时延风险l^(k)：

其中，表示指示函数，若括号里的参数条件成立则为0，反之则为1；根据时延风险l^(k)更新E表：

E(s^(k),a^(k))←(1-β)E(s^(k),a^(k))+βl^(k)

步骤12：重复步骤3～11，直到算法收敛。

与现有技术相比，本发明具有以下突出的优点：

无人机根据数据包大小、与邻居之间的信道增益和所监听到的数据包重播次数等状态持续优化路由策略，考虑基于时延约束的风险值和基于分布式价值函数的经验共享，设计修正的玻尔兹曼分布，在时延敏感应用中降低对高时延风险策略的探索，利用邻居之间共享的学习参数加速路由过程和提高路径稳定性，有效地降低端到端时延和路由能耗，为无人机控制、搜索救援和目标追踪等上层应用提供快速高效的通信和数据传输支持。本发明赋能无人机实现分布式路由，利用无人机群的信道状态和相邻无人机的路由经验参数等信息，采用强化学习算法，优化无人机的路由决策和传输功率，满足端到端时延约束，可承载基于感知数据和控制消息的搜索救援和目标追踪等任务。本发明有效提升高速移动无人机群的路由稳定性，降低端到端时延，减少路由能耗。

附图说明

图1为本发明实施例所述路由方法的端到端时延。

图2为本发明实施例所述路由方法的路由能耗。

具体实施方式

为更加清楚地了解本发明的技术内容，下面将本发明的技术方案结合以下具体实施案例进行说明。

本发明实施例包括以下步骤：

步骤1：设置20个无人机，需要传输的数据包个数为1200，传输一个数据包的时间为一个时隙，即总时隙为1200。基于CSMA/CA竞争机制进行路由决策x^(k)∈{0,1}，当x^(k)＝0时可以选择功率但是不广播数据包，中继无人机可用的发射功率L个数为4，记第k时隙的发射功率p^(k)∈[25,50,75,100]，则可选动作a^(k)＝[x^(k),p^(k)]＝{[1,25],[1,50],...,[0,75],[0,100]}，其中P_U＝100。

步骤2：令最大路由效益权重路由效益权重更新速率θ²＝5，路由学习过程的未来效益λ＝0.6，邻居共享的长期回报所占权重υ＝0.05，时延风险等级Υ＝2，风险阈值μ₁＝5,μ₂＝10，时延风险学习率β＝0.6，20个Q值矩阵Q＝0_15×8和E值矩阵E＝0_15×8，风险值在路由策略选择中所占权重c＝0.5，无人机自身电量b⁽⁰⁾＝100，信道增益h＝0_7×1，接收过的数据包集合/>跳数H⁽⁰⁾＝0，移动因子F⁽⁰⁾＝0，所监听到的包重广播次数/>及初始性能信噪比ξ⁽⁰⁾＝0和端到端时延τ⁽⁰⁾＝0。

步骤3：在第k时隙，无人机i接收到无人机f广播的数据包判断元组是否属于接收过的数据包集合Ω，其中/>为源无人机ID，为数据包序列号，源无人机每发送一个数据包则序列号递增。若元组属于数据包集合Ω，则丢弃该数据包，避免重复广播，否则进行下述路由决策步骤。

步骤4：在第k时隙，无人机i估计与邻居无人机j的信道增益h_i,j，评估自身剩余电池电量b、接收信号的信噪比ξ和数据包大小m，从IP包头中获取当前数据包所经过的跳数H，监听上一个数据包在邻居中的重广播次数获取目的地反馈的前C个数据包的平均端到端时延τ，与邻居交互信标获得邻居数量n，计算无人机i相对于无人机f的额外覆盖率 表示邻居集合，并计算相较于上一个时隙的移动因子

步骤5：计算包含竞争和传输时延的单跳时延t_i,f，将信道增益h_i,j、信噪比ξ、单跳时延t_i,f和所监听到的重广播次数封装在MAC数据包头，通过邻居重播获得数据包/>的接收信号信噪比ξ和单跳时延t，统计与邻居/>的信道增益/>将其量化为5阶，累计并更新重广播次数/>

步骤6：构建路由状态

步骤7：将s^(k)输入效益表Q和风险表E，得到状态-动作对的长期奖励值Q(s^(k),a)和风险值E(s^(k),a)，更新策略分布π(s^(k),a)：

步骤8：无人机i根据策略分布π(s^(k),a)进行路由决策和功率分配，然后将元组存入集合Ω。

步骤9：目的无人机收到数据包后，统计前C个数据包的平均端到端时延τ，并将性能评价指标通过可靠的反馈信道，发送至各无人机。无人机i接收到路由性能指标，根据估算的自身传输能耗w，计算当前效益u^(k)：

u^(k)＝κ-c₁τ-c₂w

其中κ为包到达指示器，若数据包成功到达目的无人机则κ＝1，否则为0。令时延权重因子c₁＝0.05，能耗权重因子c₂＝0.5。

步骤10：无人机i接收邻居集合共享的状态价值函数，更新Q表：

其中动态路由效益权重α根据移动因子F进行计算：

步骤11：无人机i将端到端时延划分为Υ个风险等级{μ_j}_1≤j≤Υ，与前C个数据包的时延比较，统计小于风险阈值的比例，以获得时延容忍度概率，然后根据最小时延容忍Γ，计算时延风险l^(k)：

其中，表示指示函数，若括号里的参数条件成立则为0，反之则为1。根据时延风险l^(k)更新E表：

E(s^(k),a^(k))←(1-β)E(s^(k),a^(k))+βl^(k)

步骤12：重复步骤3～11，直到算法收敛。

由图1～2可以看出，本发明实施例可以降低无人机路由的端到端时延和路由能耗。

本发明提出一种面向任务协同的无人机低能耗快速路由方法，估计与邻居无人机之间的信道状态，评估无人机能量和邻居无人机数量，获得当前路由跳数以及数据包的重播次数，并从目的无人机反馈信息中获得平均端到端时延。采用安全强化学习算法动态优化无人机节点路由决策和传输功率而无需知道任何特定的网络拓扑和路由发现过程，并设计时延约束以满足无人机应用需求。该方法有效提高了无人机自组网在高速移动环境和快衰落信道下的传输可靠性，同时降低端到端时延和路由能耗。

上述实施例仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (1)

1.一种面向任务协同的无人机低能耗快速路由方法，其特征在于包括以下步骤：

步骤1：无人机自组网中有N个无人机，需要传输的数据包个数为K，传输一个数据包的时间为一个时隙，总时隙为{1,2,…,k,…,K}；基于CSMA/CA竞争机制的路由决策x^(k)∈{0,1}，当x^(k)＝0时不广播数据包，设无人机i支持的传输功率个数为L，当x^(k)＝1时传输功率p^(k)∈{jP_U/L|1≤j≤L}，则可选动作a^(k)＝[x^(k),p^(k)]∈A，其中，P_U表示最大传输功率；

步骤2：初始化最大路由效益权重路由效益权重更新速率θ²，路由学习过程的未来效益λ∈(0,1]，邻居共享的长期回报所占权重υ＞0，时延风险等级Υ，风险阈值{μ_j}_1≤j≤Υ，时延风险学习率β∈(0,1]，状态维度|S|，其中包含信道增益最大维度|h|，N个Q值矩阵Q＝0_|S|×|A|和E值矩阵E＝0_|S|×|A|，风险值在路由策略选择中所占权重c＞0，无人机自身电量b⁽⁰⁾，信道增益h⁽⁰⁾，接收过的数据包集合/>跳数H⁽⁰⁾，移动因子F⁽⁰⁾，所监听到的数据包重广播次数/>及初始性能信噪比ξ⁽⁰⁾和端到端时延τ⁽⁰⁾；

步骤3：在第k时隙，无人机i接收到无人机f广播的数据包判断元组/>是否属于接收过的数据包集合Ω，其中/>为源无人机ID，/>为数据包序列号，源无人机每发送一个数据包则序列号递增；若元组/>属于数据包集合Ω，则丢弃该数据包，避免重复广播；

步骤4：在第k时隙，无人机i估计与邻居无人机j的信道增益h_i,j，评估自身剩余电池电量b、接收信号的信噪比ξ和数据包大小m，从IP包头中获取当前数据包所经过的跳数H，监听上一个数据包在邻居中的重广播次数获取目的地反馈的前C个数据包的平均端到端时延τ，与邻居交互信标获得邻居数量n，计算无人机i相对于无人机f的额外覆盖率 表示邻居集合，并计算相较于上一个时隙的移动因子

步骤5：计算包含竞争和传输时延的单跳时延t_i,f，将信道增益h_i,j、信噪比ξ、单跳时延t_i,f和所监听到的重广播次数封装在MAC数据包头，通过邻居重播获得数据包/>的接收信号信噪比ξ和单跳时延t，统计与邻居/>的信道增益/>累计并更新重广播次数/>

步骤6：构建路由状态

步骤7：将路由状态s^(k)输入效益表Q和风险表E，得到状态-动作对的长期奖励值Q(s^(k),a)和风险值E(s^(k),a)，更新策略分布π(s^(k),a)：

步骤8：无人机i根据策略分布π(s^(k),a)进行路由决策和功率分配，然后将元组存入集合Ω；

步骤9：目的无人机收到数据包后，统计前C个数据包的平均端到端时延τ，并将性能评价指标通过可靠的反馈信道，发送至各无人机；无人机i接收到路由性能指标，根据估算的自身传输能耗w，计算当前效益u^(k)：

u^(k)＝κ-c₁τ-c₂w

其中，κ为包到达指示器，若数据包成功到达目的无人机则κ＝1，否则为0；c₁和c₂分别表示时延和能耗的权重因子；

步骤10：无人机i接收邻居集合共享的状态价值函数，更新Q表：

其中动态的路由效益权重α根据移动因子F进行计算：

步骤11：无人机i将端到端时延划分为Υ个风险等级{μ_j}_1≤j≤Υ，与前C个数据包的时延比较，统计小于风险阈值的比例，以获得时延容忍度概率，根据最小时延容忍Γ，计算时延风险l^(k)：

其中，表示指示函数，若括号里的参数条件成立则为0，反之则为1；根据时延风险l^(k)更新E表：

E(s^(k),a^(k))←(1-β)E(s^(k),a^(k))+βl^(k)

步骤12：重复步骤3～11，直到算法收敛。