CN116074974A - 一种分层架构下的多无人机群通道接入控制方法 - Google Patents

一种分层架构下的多无人机群通道接入控制方法 Download PDF

Info

Publication number
CN116074974A
CN116074974A CN202310053018.7A CN202310053018A CN116074974A CN 116074974 A CN116074974 A CN 116074974A CN 202310053018 A CN202310053018 A CN 202310053018A CN 116074974 A CN116074974 A CN 116074974A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
cluster
network
backbone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310053018.7A
Other languages
English (en)
Inventor
黄晓燕
黄达
康淳
吴凡
张科
冷甦鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202310053018.7A priority Critical patent/CN116074974A/zh
Publication of CN116074974A publication Critical patent/CN116074974A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W74/00—Wireless channel access, e.g. scheduled or random access
    • H04W74/04—Scheduled or contention-free access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/42—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for mass transport vehicles, e.g. buses, trains or aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04—Large scale networks; Deep hierarchical networks
    • H04W84/06—Airborne or Satellite Networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04—Large scale networks; Deep hierarchical networks
    • H04W84/08—Trunked mobile radio systems

Abstract

本发明公开一种分层架构下的多无人机群通道接入控制方法，应用于无线通讯技术领域，针对传统的接入控制方法不适用于大规模、多无人机、多任务需求的通信场景，且不利于动态场景下接入控制和管理的问题；本发明将大规模网络划分为多个独立的集群，每个集群独立决定集群内的通道分配，在具有多无人机分群的大规模场景下能够取得更高的接入效率。同时，提出了基于分群需求的通道接入修正方法，当单一分群从各集群获得的总的通道资源不满足分群需求时，会对集群间通道或集群内通道进行二次修正，以满足所有分群的通信需求。

Description

一种分层架构下的多无人机群通道接入控制方法
技术领域
本发明属于无线通讯技术领域，特别涉及一种多无人机群通道接入控制技术。
背景技术
一直以来，无人机凭借其低廉的成本和灵活的配置在军用和民用等方面都得到了广泛的应用，但随着无人机作业自主性、智能化、多任务等方面需求的提高，单架无人机在工作效率和范围等方面显现出了极大的局限性，而多架无人机协同合作的无人机集群相比单架无人机往往能够取得更大优势。无人机集群能够灵活应对动态场景，协同处理并行业务，按需调整任务分配，其并非是单个平台的简单叠加，而是通过集群中的个体感知交互、信息传递和协同工作，以集群智能实现系统整体通信能力的提升，此外集群可以通过无人机之间的协作来保证系统整体的容错性以及自愈能力。目前无人机集群技术已逐渐进入到各个领域，在军事领域中，无人机集群拥有单个平台或者人为控制的飞行器所无法比拟的优势，在广域搜索、侦察监视、精准打击等任务中备受重用，同时其在精准农业、赈灾搜救、应急通信、飞行表演、快递物流等众多领域中也发挥着不容小觑的作用。而在具有分层网络结构下，如何对多无人机群的接入进行管理，从而满足各无人机群的通信需求仍然是亟待解决的问题。
传统的集中式接入控制需要中心节点先收集全部通道情况后再计算通道选择，其通信开销和时延较大，不适用于大规模、高动态、多任务下的无人机通信场景。使用集群技术是管理大规模网络的有效手段，可以有效地降低网络复杂度。但无人机的高移动性为集群拓扑的动态维护带来了很大的挑战，各无人机节点不可避免地会频繁移动，并且在执行任务的过程中容易遭受打击而导致部分节点受损，从而导致接入改变，因此对集群进行快速地动态调整亦显得尤其重要。如果使用集中式的接入控制，则中心节点移动或受损后，整个无人机群的控制都会受到极大影响，而且这也需要耗费大量时间以进行大规模修复。而基于动态集群的接入控制机制，每个集群内部独立分配接入资源，可以有效地降低网络复杂度、减小网络协调开销、提高网络拓展性、延长网络时间。同时上层网络能够根据自身的连接的信道情况动态调整集群结构，为确保多对多资源分配时的快速收敛。
在每个集群中，每个骨干节点可以服务多个无人机，同时每个无人机可以接收到多个骨干接入点的服务。进行资源分配时，集群成员间的资源分配相互影响，正确选择接入点和资源分配的方式有利于提高资源的利用效率。由于无人机网络的高随机性和动态特性，无人机群的移动导致其与上层网络的接入关系动态变化，系统的状态空间和策略空间随着任务无人机和骨干接入点数的增加呈指数性增加，导致策略的收敛速度慢。传统的资源优化技术无法满足无人机对资源管理动态优化的要求。传统算法需要几乎完整的信道资源信息，同时传统算法大都依据当前状态网络而不能根据网络过去的状态综合考虑系统未来收益。人工智能技术可以通过在复杂的环境中学习并获得最优行为策略，对无人机的接入进行智能管理和控制，完成高效决策。从而保证任务通信需求的情况下完成无人机群接入管理的快速收敛，提高集群的资源利用率和任务执行满意度。
无人机群间常常需要通信，无人机采集的信息也需要及时上传到上层网络，保证分群和骨干间通信的健壮性至关重要。例如在进行无人机集群的任务分配和调度时，需要不同无人机群间针对任务需求以及自身情况进行通信交互，继而妥当协调各无人机群的任务分工。具体来说，在进行多目标追踪时各无人机群需要对不同目标进行实时监测和信息整理，同时还会根据目标的实时状况进行无人机群分工的调整。又如在进行无人机集群的信息采集工作时，通常需要多无人机群的并发交互来进行数据同步，从而保证任务和决策的准确运行。针对具体例子来讲，任务分群实现数据回传的通道选择便是重中之重。依托于骨干网络拓扑的建立，通道节点的部署已经确立，在此基础上需要实现分群网关节点的选择，以保障拓扑的抗毁性与流量需求。
传统的博弈论和凸优化等传统算法需要几乎完整的信道信息，同时传统算法大都依据当前状态网络而不能根据网络过去的状态综合考虑系统未来收益。多智能体强化学习方法通过智能体不断与环境交互的方式获取信息，解决了难以获取完整信道的问题。常用的强化学习算法有基于价值的，例如Q-learning、DQN、DDQN是评价每个状态-动作对应的Q值，然后选择Q值最大的作为最优策略，其不能直接得到动作值输出，难以扩展到连续的动作空间，适用于状态空间和动作数小的场景。基于策略的强化学习算法是通过构造一个策略网络PN，输入一个状态直接输出相应的动作，而不是得到一个状态值或者Q值，然后直接更新这个策略网络来直接对策略选择进行建模，输出动作的概率分布。但基于策略的方法需要大量轨迹，导致不稳定的训练和难以收敛。
综上所述，传统的接入控制方法采用集中式控制，或只针对单基站情况，不适用于大规模、多节点、多任务需求的通信场景。而且传统算法需要几乎完整的信道资源信息，同时传统算法大都依据当前状态网络而不能根据网络过去的状态综合考虑系统未来收益，不利于动态场景下接入控制和管理。
发明内容
为解决上述技术问题，本发明提出一种分层架构下的多无人机群通道接入控制方法，通过动态集群，实现多无人机群的快速接入，进而满足无人机群的通信需求。
本发明采用的技术方案为：一种分层架构下的多无人机群通道接入控制方法，所述分层架构具体包括两层，分别为：上层骨干网络与下层任务分群网络，上层骨干网络包括若干具有计算和通信能力的骨干无人机，下层任务分群网络包括若干分群，每个分群包括多个执行特定任务的任务无人机；骨干无人机与任务无人机之间为多对多连接的关系；
所述方法具体包括以下步骤：
A1、骨干无人机根据获取的任务无人机的位置、速度、方向、停留时间、通信质量信息；计算与其所有邻居的通道连接相似度，得到邻居相似度向量，骨干无人机基于其邻居相似度向量进行集群划分；从而将上层骨干网络划分为多个集群，得到集群网络；
A2、建立多智能体强化学习模型，对步骤A1的集群内的通道进行分配。
步骤A2具体包括：
A21、基于所述集群网络，建立系统模型，并构建基于A-C架构的多智能体强化学习模型；初始化集群内多智能体系统信息、评价模型和经验池数据；
A22、基于步骤A21的强化学习模型，各智能体与环境交互，构建各自的经验回放集合，采用分布式训练对集群内通道进行分配，以实现集群网络吞吐量最大化；
A23、各分群统计所获取的所有通信资源，若不满足分群需求，则修改集群奖励目标，对集群内资源进行重分配，直到所有分群满足通道需求。
本发明的有益效果：本发明采用的动态集群架构下的多无人机群通道接入控制方法，无需掌握完整的信道信息即可实现有效的资源分配，通过动态集群减少网络规模，使得集群快速收敛。当单一分群从各集群获得的总的通道资源不满足分群需求时，会对集群内通道进行二次修正，以满足所有分群的业务需求。
附图说明
图1为本发明场景。
图2为本发明方法流程图。
图3为本发明计算链路持续时间模型。
图4为本发明多智能体学习架构。
图5为本发明智能体强化学习框架。
具体实施方式
为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容做进一步阐释。
如图1所示，本发明应用的无人机场景为：在两层无人机网络架构下，上层骨干网络由带有计算和通信能力的无人机群构成，包括若干骨干无人机；下层为多个任务分群，包括若干任务无人机，用于执行特定任务。任务无人机和上层骨干无人机之间存在多对多关系，且不同无人机群对资源的需求情况存在差异，需要合理确定上下层的接入，以满足所有无人机群的资源需求。
基于上述场景，本发明提供了一种分层架构下的多无人机群通道接入控制方法，如图2所示，包括以下步骤：
S1、任务无人机周期性广播hello消息；
无人机将分群信息fid，放于hello消息包中进行周期广播。
S2、上层骨干无人机收到hello消息，提取数据包及信号幅度、频率信息，确定该分群无人机在骨干无人机上的停留时间以及平均通信质量；
对于步骤S2中计算分群无人机在骨干无人机上的停留时间以及平均通信质量，具体过程为：
S21、骨干无人机记录两个连续的任务无人机hello包，提取其中的分群信息fid；
S22、骨干无人机根据接收到的信号强度计算出两者的距离
其中，λ为无线电波的波长，Gr为接收天线的增益，Gt是发射天线的增益，Pt为无人机发射功率。
S23、骨干无人机根据连续两次接收信号的时间△t，分别计算出距离d1、d2，并基于骨干无人机上的全向天线，确定两次接收到的信号源与该骨干无人机间的夹角θ，场景示意如图3所示，利用余弦公式计算出任务无人机在△t时间内的移动距离d△t；
S24、计算出任务无人机的速度
S25、计算任务无人机的潜在接入信息，包括连接持续时间再由余弦公式求得dtt，再计算出平均链路质量信息
其中，dtt表示无人机从当前位置到信号阈值的距离；α表示任务无人机从当前位置移动到信号强度阈值位置与该骨干无人机间的夹角；dt表示任务无人机当前时刻与骨干无人机的距离；dthreshold表示任务无人机移动到骨干无人机接收强度阈值位置的距离，该值由无人机的收发装置及接收信号强度确定；Pt为当前时刻的信号强度；Pthreshold为信号接收强度阈值。
S3、骨干无人机基于停留时间、平均通信质量以及连接的分群信息，计算其所有邻居的通道连接相似度，得到邻居相似度向量；
对于S3中的邻居相似度向量的获取，具体过程如下：
S31、骨干周期广播自身收到的接入信息。
S32、一跳邻居收到后会计算与其的通道连接相似度，其中相似度计算公式为：
其中sameNode为骨干无人机i,j能探测到的相同节点，f1 p＝TLT为骨干无人机i,j接收到同一分群无人机p在其上的相同持续时间，为此时间内的平均信号强度指标,为分群无人机p在此持续时间上的平均信号强度，为距离跳数指标，h为骨干无人机i,j间的跳数，为骨干无人机i,j探到同一任务分群m中的无人机个数。
S33、骨干无人机与所有邻居计算相似度，得到其邻居相似度向量n为邻居数。
S4、各骨干无人机基于其邻居相似度向量，选择相似度最大的加入其所在集群，由此将骨干网络划分为多个集群，并对集群进行动态维护；
对于S4中的动态集群维护，具体过程如下：
S41、骨干无人机i根据邻居相似度向量向相似度最大的邻居j发送加入集群请求。
S42、邻居j收到请求后会向i同步其所在的集群信息。
S43、当无人机移动时，骨干无人机修改邻居相似度信息，若最大相似度的邻居变化且不是当前集群，则申请加入新的集群，并向当前集群发送退出集群消息。
S5、基于所述集群网络，建立系统模型，并构建基于A-C架构的多智能体强化学习模型。初始化集群内多智能体系统信息、评价模型和经验池数据；
A-C架构如图4和图5，对于S5中的初始化集群信息，具体过程如下：
S51、初始化集群多智能体系统状态具体包括：网络的智能体为集群中的骨干无人机。系统信息用一个元组<J,S,A1,A2...,An,R1,R2,...,Rn,P>表示，其中J表示集群内的骨干智能体集合，即骨干无人机的总数量，S代表网络状态，Ai是第i个智能体的动作，Ri是第i个智能体的奖励函数，P代表状态转移函数，定义策略H是智能体的联合策略。每个智能体的奖励为：其中St表示t时刻的网络状态，t时刻的网络状态值为s，At,i表示第i个骨干无人机在t时刻采取的动作，E是求期望。
S52、任务无人机p的状态由四部分组成：(1)t-1时刻连接的第j骨干无人机的平均链路质量，(2)t-1时刻的骨干选择指示器lp,j＝{lj(t-1)}j∈J，l取值为1表示t-1时刻任务无人机p与骨干无人机j相连，取值为0表示上一时刻没有与骨干无人机j相连；(3)t-1时刻的信道选择指示器ρp,c＝{ρc(t-1)}c∈C，ρ取值为1表示上一时刻任务无人机p与骨干无人机的第c个子信道相连，取值为0表示上一时刻没有与第c个子信道相连；(4)当前信道信息gp,c＝{gc(t)}c∈C。
因此第p个任务无人机在t时刻的状态sp,t以及每个任务群m的状态st可以表示为st＝{{sp,t}p∈m}，在多智能体网络中，每个骨干无人机仅从环境中观察网络状态，第j个骨干无人机的状态表示为其中Mj表示与骨干无人机j相关的任务无人机集合。
S53、在t时刻，骨干无人机j基于其当前状态sj,t，选择一个动作aj,t∈Aj，其当前状态与骨干选择指示器子信道选择以及信道功率Pj,t＝{Pj,c(t)}j∈J,c∈C有关，故aj,t＝{lj,t,ρj,t,Pj,t}。
S53、P(s|s,a)表示从当前状态s，执行动作a后变成s`状态的概率。
S54、每个智能体的奖励为：影响奖励函数的因素包括无人机的信道需求，以及信道质量。在传统的A-C算法中，评价网络使用一个简单的三层全连接神经网络：输入层、隐藏层和输出层。在优化后的A-C算法中，在评价网络之后增加了两个子网络结构，价值函数和动作值函数网络。假设第i个智能体在t采取策略H后的状态价值函数和动作价值函数分别是： 其中Rt+1是截至到t+1时刻所获得的奖励，γ为衰减系数，评价网络的最终输出值是由两部分线性组合得到的，可以表述为：利用Q-learning学习最优策略，使用Bellman方程作为迭代更新Q函数，则最优策略为Q*(s,a)＝E[r(s,a)+ξmaxQ*(s`,a`)]，其中r(s,a)为当前时刻的奖励，ξ为折扣因子，s`表示下一时刻的状态，a`表示使最优策略最大化的动作。
S55、用神经网络来拟合值函数，Q(s,a)≈Q(s,a；ω)，其中ω为神经网络参数。更新过程中的损失函数定义为：其中 表示目标网络的参数，ξ为折扣因子，r为累积奖励。
S6、基于所述强化模型，各智能体与环境交互，构建各自的经验回放集合，采用分布式训练对集群内通道进行分配，以实现集群网络吞吐量最大化；
对S6中训练具体过程如下：
S61、每个agent(智能体)执行DQN(deep Q-network，深度强化学习网络)算法进行无人机关联和信道分配，其根据观察到的当前设备关联及子信道分配策略，同时与集群交换信息，基于ε-贪婪策略，根据当前状态st以1-ε概率选择一个动作at，at＝argmaxQ(s,a,ω,α,β)，以ε概率执行选择当前状态下的最大化期望选择动作aj,t。
S62、与环境交互，从环境中获得新的状态和动作，接收该动作的奖励rt以及下一个状态st+1。
S63、存储当前样本et＝<st,at,rt,st+1>到经验池。
S64、计算状态价值函数V(s,ω,α)和动作值函数A(S,A,ω,β)，组合得到系统Q值Q(S,A,ω,α,β)＝V(s,ω,α)+A(S,A,ω,β)。
S65、更新同时使用更新损失函数并根据计算参数ω的梯度。
S66、根据梯度下降法更新网络参数ω，直到达到最大迭代次数T，本实施例中T取值范围为20-30。
S67、输出训练后的模型
S7、各分群统计所获取的所有通信资源，若不满足分群需求，则修改集群奖励目标，对集群内资源进行重分配，直到所有分群满足通道需求。
对于S7中的资源重分配具体过程如下：
S71、假设集群中包括j∈{1,2,...,J}个骨干无人机，m∈{1,2,...,M}个任务分群，第i个任务分群有ki∈{1,2,...,K}个无人机，每个骨干无人机有c∈{1,2,...,C}个子信道。第k架无人机与第j个骨干无人机连接，并分配第c个子信道，其接收到的信道质量为接收信噪比为其中Pj,c表示第j个骨干无人机在第c个子信道上的发射功率，gj,k表示第j架骨干无人机与第k个任务无人机间的信道增益，δ2表示噪声功率。于是，第k个任务无人机从第c个信道处获得的信道速率为Rj,k,c＝Bsub log2(1+SNR)。
S72、分群中心无人机统计自身分群无人机收到的信道速率，用表示分群获得的总流量，其中Rm为第m个分群所获得的总信道资源， 为第m个分群所需的最小资源，的取值与具体的任务需求有关。表示分群m获得的信道不满足分群总需求，表示分群m获得的信道满足分群总需求。
S73、若分群发现当前分配不能满足总的需求，则修改集群的奖励为当分群不满足总流量需求时，会导致集群奖励rt变小，迫使集群优先将资源分配给需求不足的分群无人机，使分群满足需求。
其中，Rp为第p个任务无人机所获得的奖励，其由获得的信道资源减去连接成本确定，计算式为Rp＝Rc-expc，Rc为单个任务无人机得到的信道资源由获得的信道资源，expc为任务无人机每次迭代产生的切换开销，C为固定的切换开销，α、β为设定的权重值，α+β＝1，φ为引入的正权值。
S74、迭代直到所有分群都满足流量需求。
通过上述实施例可以看出，本发明采用的动态集群架构下的多无人机群通道接入控制方法，无需掌握完整的信道信息即可实现有效的资源分配，通过动态集群减少网络规模，使得集群快速收敛。当单一分群从各集群获得的总的通道资源不满足分群需求时，会对集群内通道进行二次修正，以满足所有分群的业务需求。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (8)

1.一种分层架构下的多无人机群通道接入控制方法，其特征在于，所述分层架构具体包括两层，分别为：上层骨干网络与下层任务分群网络，上层骨干网络包括若干具有计算和通信能力的骨干无人机，下层任务分群网络包括若干分群，每个分群包括多个执行特定任务的任务无人机；骨干无人机与任务无人机之间为多对多连接的关系；
所述方法具体包括以下步骤：
A1、骨干无人机根据获取的任务无人机的位置、速度、方向、停留时间、通信质量信息；计算与其所有邻居的通道连接相似度，得到邻居相似度向量，骨干无人机基于其邻居相似度向量进行集群划分；从而将上层骨干网络划分为多个集群，得到集群网络；
A2、建立多智能体强化学习模型，对步骤A1的集群内的通道进行分配。
2.根据权利要求1所述的一种分层架构下的多无人机群通道接入控制方法，其特征在于，步骤A1将上层骨干网络划分为多个集群的过程为：
B1、骨干无人机i根据邻居相似度向量，向相似度最大的邻居j发送加入集群请求；
B2、邻居j收到请求后向骨干无人机i同步其所在的集群信息；
B3、当骨干无人机移动时，骨干无人机修改邻居相似度信息，若最大相似度的邻居变化且不属于当前集群，则申请加入新的集群，并向当前所在集群发送退出集群消息。
3.根据权利要求2所述的一种分层架构下的多无人机群通道接入控制方法，其特征在于，步骤A2具体包括：
A21、基于所述集群网络，构建基于A-C架构的多智能体强化学习模型；初始化集群内多智能体系统状态、评价模型和经验池数据；
A22、基于步骤A21的强化学习模型，各智能体与环境交互，构建各自的经验回放集合，采用分布式训练对集群内通道进行分配，以实现集群网络吞吐量最大化；
A23、各分群统计所获取的所有通信资源，若不满足分群总需求，则修改集群奖励目标，对集群内资源进行重分配，直到所有分群满足通道需求。
4.根据权利要求3所述的一种分层架构下的多无人机群通道接入控制方法，其特征在于，步骤A21所述的基于A-C架构的多智能体强化学习模型包括：评价网络与目标网络；其中的评价网络在三层全连接神经网络后还包括两个子网络结构，分别为状态价值函数子网络、动作价值函数子网络。
5.根据权利要求4所述的一种分层架构下的多无人机群通道接入控制方法，其特征在于，评价网络的输出表示为：
Figure FDA0004059091590000021
其中，Qt+1(st,at)表示评价网络的输出，
Figure FDA0004059091590000022
表示第i个智能体在t时刻采取策略H后的状态价值函数子网络得输出，
Figure FDA0004059091590000023
表示第i个智能体在t时刻采取策略H后的动作价值函数子网络的输出。
6.根据权利要求5所述的一种分层架构下的多无人机群通道接入控制方法，其特征在于，步骤A23所述的分群总需求为分群内所有任务无人机所获得的总奖励。
7.根据权利要求6所述的一种分层架构下的多无人机群通道接入控制方法，其特征在于，修改集群奖励目标的表达式为：
Figure FDA0004059091590000024
其中，Rp为第p个任务无人机所获得的奖励，m表示分群编号，
Figure FDA0004059091590000025
表示分群m获得的总流量。
8.根据权利要求7所述的一种分层架构下的多无人机群通道接入控制方法，其特征在于，Rp根据第p个任务无人机获得的信道资源减去连接成本得到。
CN202310053018.7A 2023-02-03 2023-02-03 一种分层架构下的多无人机群通道接入控制方法 Pending CN116074974A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310053018.7A CN116074974A (zh) 2023-02-03 2023-02-03 一种分层架构下的多无人机群通道接入控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310053018.7A CN116074974A (zh) 2023-02-03 2023-02-03 一种分层架构下的多无人机群通道接入控制方法

Publications (1)

Publication Number Publication Date
CN116074974A true CN116074974A (zh) 2023-05-05

Family

ID=86174512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310053018.7A Pending CN116074974A (zh) 2023-02-03 2023-02-03 一种分层架构下的多无人机群通道接入控制方法

Country Status (1)

Country Link
CN (1) CN116074974A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116939679A (zh) * 2023-09-15 2023-10-24 四川腾盾科技有限公司 一种不可靠网络下多无人机分布式集群构建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116939679A (zh) * 2023-09-15 2023-10-24 四川腾盾科技有限公司 一种不可靠网络下多无人机分布式集群构建方法
CN116939679B (zh) * 2023-09-15 2024-01-23 四川腾盾科技有限公司 一种不可靠网络下多无人机分布式集群构建方法

Similar Documents

Publication Publication Date Title
Guo et al. Joint optimization of handover control and power allocation based on multi-agent deep reinforcement learning
Shi et al. Drone-cell trajectory planning and resource allocation for highly mobile networks: A hierarchical DRL approach
Cao et al. Deep reinforcement learning for multi-user access control in non-terrestrial networks
CN112737837B (zh) 一种高动态网络拓扑下无人机群带宽资源分配方法
Cao et al. Deep reinforcement learning for channel and power allocation in UAV-enabled IoT systems
ElHalawany et al. Leveraging machine learning for millimeter wave beamforming in beyond 5G networks
Cao et al. Deep reinforcement learning for multi-user access control in UAV networks
Xu et al. Joint user scheduling and beam selection in mmWave networks based on multi-agent reinforcement learning
Chen et al. An actor-critic-based UAV-BSs deployment method for dynamic environments
CN116074974A (zh) 一种分层架构下的多无人机群通道接入控制方法
CN115499921A (zh) 面向复杂无人机网络的三维轨迹设计及资源调度优化方法
Sana et al. Multi-agent deep reinforcement learning based user association for dense mmWave networks
CN113613198A (zh) 无人机辅助的无线携能d2d网络资源分配方法
Liu et al. Deep-reinforcement-learning-based optimal transmission policies for opportunistic UAV-aided wireless sensor network
Dai et al. Multi-objective intelligent handover in satellite-terrestrial integrated networks
CN114217638A (zh) 一种任务驱动下的移动台站信息采集动态部署方法
Iturria-Rivera et al. Cooperate or not Cooperate: Transfer Learning with Multi-Armed Bandit for Spatial Reuse in Wi-Fi
CN113473580A (zh) 异构网络中基于深度学习的用户关联联合功率分配策略
Wei et al. DRL-based energy-efficient trajectory planning, computation offloading, and charging scheduling in UAV-MEC network
Zhuang et al. GA-MADDPG: A Demand-Aware UAV Network Adaptation Method for Joint Communication and Positioning in Emergency Scenarios
Fu et al. Joint speed and bandwidth optimized strategy of UAV-assisted data collection in post-disaster areas
Cui et al. Hierarchical learning approach for age-of-information minimization in wireless sensor networks
Al-Abiad et al. Decentralized model dissemination empowered federated learning in mmWave aerial-terrestrial integrated networks
CN114879726A (zh) 一种基于多无人机辅助数据收集的路径规划方法
CN114760646A (zh) 一种基于多层聚合上下文mab的链路决策方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination