CN114884949B - 基于maddpg算法的低轨卫星物联网任务卸载方法 - Google Patents

基于maddpg算法的低轨卫星物联网任务卸载方法 Download PDF

Info

Publication number
CN114884949B
CN114884949B CN202210492079.9A CN202210492079A CN114884949B CN 114884949 B CN114884949 B CN 114884949B CN 202210492079 A CN202210492079 A CN 202210492079A CN 114884949 B CN114884949 B CN 114884949B
Authority
CN
China
Prior art keywords
task
modeling
network
satellite
internet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210492079.9A
Other languages
English (en)
Other versions
CN114884949A (zh
Inventor
柴蓉
蒋汶航
桂康安
陈前斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hongyue Information Technology Co ltd
Original Assignee
Shenzhen Hongyue Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hongyue Information Technology Co ltd filed Critical Shenzhen Hongyue Information Technology Co ltd
Priority to CN202210492079.9A priority Critical patent/CN114884949B/zh
Publication of CN114884949A publication Critical patent/CN114884949A/zh
Application granted granted Critical
Publication of CN114884949B publication Critical patent/CN114884949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明涉及一种基于MADDPG算法的低轨卫星物联网任务卸载方法，属于无线通信领域。该方法包括：S1：建模系统模型；S2：建模物联网设备任务模型；S3：建模任务卸载模型；S4：建模任务队列模型；S5：建模任务成本模型；S6：建模系统效用模型；S7：建模系统效用优化限制条件；S8：建模马尔可夫决策过程；S9：基于MADDPG算法确定任务卸载及功率分配策略。本发明通过引入MADDPG算法对低轨卫星物联网设计任务卸载及功率分配策略，实现系统效用最大化。

Description

基于MADDPG算法的低轨卫星物联网任务卸载方法
技术领域
本发明属于无线通信领域，涉及基于MADDPG算法的低轨卫星物联网任务卸载方法。
背景技术
随着物联网业务需求的快速增加，各类计算密集型任务对物联网设备的存储和计算能力提出了严峻挑战。在传统的地面物联网中，物联网设备可以采用移动边缘技术将任务卸载到与其相关联的蜂窝基站进行处理，但是在山地、荒漠或海洋等特殊环境中，由于地形原因难以架设基站，物联网设备无法接入蜂窝网络。而低轨卫星物联网具有覆盖范围广、系统容量大以及抗损毁的优势，通过卫星通信可以将地面物联网设备的计算任务卸载至低轨卫星，缓解地面物联网设备计算密集型任务处理压力。如何综合考虑物联网设备任务卸载需求及卫星网络特性设计低轨卫星物联网任务卸载策略已成为重要研究课题。
目前已有文献研究低轨物联网任务卸载问题，如有研究基于任务传输及执行时延或能耗优化设计任务卸载方案，但现有研究较少考虑任务随机到达场景的任务卸载问题。此外，现有研究未综合考虑任务执行收益及成本，导致所设计任务卸载策略性能受限。
发明内容
有鉴于此，本发明的目的在于提供一种基于MADDPG算法的低轨卫星物联网任务卸载方法。
为达到上述目的，本发明提供如下技术方案：
基于MADDPG算法的低轨卫星物联网任务卸载方法，该方法包括以下步骤：
S1：建模系统模型；
S2：建模物联网设备任务模型；
S3：建模任务卸载模型；
S4：建模任务队列模型；
S5：建模任务成本模型；
S6：建模系统效用模型；
S7：建模系统效用优化限制条件；
S8：建模马尔可夫决策过程；
S9：基于MADDPG算法确定任务卸载及功率分配策略。
可选的，所述S1中，建立系统模型具体为：网络中有M个卫星，定义Sm表示第m个卫星，Sm部署有移动边缘计算MEC服务器，服务器缓存区大小为计算能力为/>网络中有N个物联网设备，定义Dn表示第n个物联网设备，设备的任务缓存区大小为/>计算能力为Dn采用正交频分多址模式将任务卸载至卫星的MEC服务器，令Bm表示Sm的可用带宽，关联Sm的物联网设备可获得的带宽为/>其中K表示单个卫星所能关联的最大用户数量；系统时间划分为T个时隙，每个时隙长度为τ。
可选的，所述S2中，建立物联网设备任务模型具体为：每个时隙Dn至多产生一个计算任务；令on,j表示Dn在时隙j产生的任务，建模on,j为其中wn,j表示任务权值，In,j表示on,j所携带的数据量大小，数据量In,j与完成任务所需的计算资源量θn,j之间的关系满足θn,j＝ξIn,j，其中ξ为常数；/>表示任务最大容忍时延。
可选的，所述S3中，建模任务卸载模型具体为：定义任务卸载变量xn,m,i,j∈{0,1}，若Dn在时隙i将时隙j到达的任务卸载到Sm，则xn,m,i,j＝1，否则xn,m,i,j＝0，1≤m≤M；令xn,0,i,j表示任务本地执行变量，xn,0,i,j＝1表示Dn在时隙i本地执行时隙j到达的任务，否则xn,0,i,j＝0；定义任务拆分变量ηn,m,i,j∈[0,1]表示Dn在时隙i将时隙j到达的任务卸载至Sm时，所卸载任务量占原数据量的比例，1≤m≤M；令ηn,0,i,j∈[0,1]表示Dn在时隙i本地执行时隙j到达任务的数据量比例。
可选的，所述S4中，建模任务队列模型具体为：物联网设备和卫星均设置任务缓冲队列，物联网设备将各时隙到达的任务缓存在任务队列中，在相应的任务调度时隙将任务传输至卫星执行或进行本地执行；定义表示Dn在时隙i的任务队列长度，队列更新公式建模为：
定义表示Sm在时隙i的任务队列长度，队列更新公式建模为：
其中，yn,m,i,j∈{0,1}为星上任务执行变量，若yn,m,i,j＝1表示Sm在时隙i开始执行时隙j到达的Dn的任务，否则yn,m,i,j＝0。
可选的，所述S5中，建模任务执行成本模型具体为：Cn,j表示执行任务on,j对应的任务成本函数，建模为：
Cn,j＝αTn,j+βEn,j，
其中α，β是常数，Tn,j及En,j分别表示执行任务on,j所需时延及能耗，建模Tn,j为其中/>表示任务on,j在本地执行前的排队时延，/>表示任务on,j本地执行时延，表示为：
表示任务on,j卸载至卫星执行前的本地排队时延，/>表示Dn将任务on,j卸载至卫星所需总时延，包括任务传输、星上排队及执行时延，具体为：
其中表示Dn将任务on,j卸载至Sm所需传输时延，建模为：
其中Rn,m,i,j表示时隙i，Dn与Sm之间的星地链路传输速率，建模为：
其中σ2是噪声功率，是Dn的最大传输功率，zn,m,i,j∈[0,1]表示Dn在时隙i传输任务on,j至Sm时的功率分配比例，hn,m,i是时隙i，Dn与Sm之间信道增益，表示为其中/>和/>分别是Dn的发射天线增益和Sm的接收天线增益，Lpt表示星地链路的雨衰，Ln,m,i表示Dn在时隙i传输任务至Sm的链路自由空间损耗，表示为：/>其中c表示光速，dn,m,i表示Dn在时隙i与Sm之间的距离；f0表示载波频率；/>表示任务on,j在Sm缓存队列中的排队时延；/>表示Sm在时隙i开始执行任务on,j所需执行时延，表示为：
En,j建模为其中/>表示本地执行任务on,j的能耗，表示为：
其中表示Dn的能耗系数；/>表示Dn传输任务on,j至卫星所需传输能耗，表示为：
表示卫星执行任务on,j所需能耗，表示为：
其中，表示Sm的能耗系数。
可选的，所述S6中，建模系统效用模型具体为：
其中Un,j表示系统执行任务on,j获得的效用，建模为：
Un,j＝δn,j(wn,j-γCn,j)
其中γ为权值，δn,j表示任务收益变量，若则δn,j＝1，否则，δn,j＝0，也即：/>
可选的，所述S7中，建模系统效用优化限制条件具体为：
建模任务卸载变量约束条件为：若xn,m,i,j＝1，满足1≤m≤M，则/>其中/>为任务on,j传输速率阈值；若xn,0,i,j＝1，则：
建模任务拆分变量约束条件为：0≤ηn,m,i,j≤1；若则/>当m＞0时，/>当m＝0时，/>
建模功率分配变量约束条件为：0≤zn,m,i,j≤1；
建模星上任务调度约束条件为：若/>则/>若/>则：
可选的，所述S8中，建模马尔可夫决策过程具体为：将优化问题转化为马尔可夫决策过程，该过程包含状态空间、动作空间以及奖励三部分，具体如下：
建模Dn在时隙i的状态空间其中/>表示Dn在时隙i任务队列长度，hn,i＝{hn,1,i,hn,2,i,…,hn,M,i}为Dn与卫星之间的信道增益集合，为队列中的任务需求集合，/>为卫星的任务队列长度，则系统在时隙i联合状态空间表示为/>
建模Dn在时隙i的动作空间其中xn,i＝{xn,0,i,…,xn,M,i}表示Dn任务卸载策略集合，xn,m,i＝{xn,m,i,1,…xn,m,i,i}；yn,i＝{yn,1,i…yn,M,i}表示卫星执行Dn的任务调度策略的集合，yn,m,i＝{yn,m,i,1…yn,m,i,i}；zn,i＝{zn,1,i,…,zn,M,i}表示传输功率分配策略集合，zn,m,i＝{zn,m,i,1…zn,m,i,i}；ηn,i＝{ηn,0,i…ηn,M,i}表示任务拆分策略集合，ηn,m,i＝{ηn,m,i,1…ηn,m,i,i}；系统在时隙i联合动作空间表示为/>
建模系统在时隙i获得的奖励为
可选的，所述S9中，采用MADDPG算法确定任务卸载策略和功率分配策略具体为：将N个物联网设备视为N个智能体，每个智能体包括四个神经网络，分别为演员网络、评论家网络、目标演员网络、目标评论家网络；对于Dn，Dn的演员网络表示为其中，θn是Dn的演员网络的参数；Dn的评论家网络表示为/>其中/>为所有物联网设备的联合状态观测值集合，ωn为评论家网络的参数；Dn的目标演员网络表示为/>θ′n为目标演员网络的参数；Dn的目标评论家网络表示为/>ω′n为目标评论家网络的参数；Dn从初始状态到终止状态的期望回报写为：/>其中，pμ是状态的分布，γ∈[0,1]是折扣因子；建模策略梯度计算公式用于演员网络的更新，对θn求梯度，得到：
其中，表示经验回放池，将转移样本/>存放在其中，在更新演员网络参数时进行采样更新；/>表示所有物联网设备在状态/>采取动作A到达的新状态/>的观测值集合；建模损失函数用于评论家网络的更新：
其中，yn是目标网络的估计值，表示如下：
在每个回合，Dn的目标演员网络参数θ′n更新公式为：θ′n←εθn+(1-ε)θ′n；Dn的目标评论家网络参数ω′n更新公式为：ω′n←εωn+(1-ε)ω′n；给定系统初始状态，运行MADDPG算法，迭代更新演员网络和评论家网络参数，直至算法收敛，训练完成的演员网络可确定低轨卫星物联网任务卸载及功率分配策略。
本发明的有益效果在于：本发明综合考虑地面物联网设备任务的特性、地面物联网设备与低轨卫星的关联选择及任务调度及卸载的资源限制，同时引入深度强化学习中的MADDPG算法确定最优任务卸载及功率分配策略，有效实现了卫星系统的效用最大化，提升了系统的性能。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为低轨卫星物联网任务卸载场景示意图；
图2为基于MADDPG算法的低轨卫星物联网任务卸载方法流程图；
图3为MADDPG算法示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
基于MADDPG算法的低轨卫星物联网任务卸载方法，该方法包括以下步骤：
S1：建模系统模型；
S2：建模物联网设备任务模型；
S3：建模任务卸载模型；
S4：建模任务队列模型；
S5：建模任务成本模型；
S6：建模系统效用模型；
S7：建模系统效用优化限制条件；
S8：建模马尔可夫决策过程；
S9：基于MADDPG算法确定任务卸载及功率分配策略。
可选的，所述S1中，建立系统模型具体为：网络中有M个卫星，定义Sm表示第m个卫星，Sm部署有移动边缘计算MEC服务器，服务器缓存区大小为计算能力为/>网络中有N个物联网设备，定义Dn表示第n个物联网设备，设备的任务缓存区大小为/>计算能力为Dn采用正交频分多址模式将任务卸载至卫星的MEC服务器，令Bm表示Sm的可用带宽，关联Sm的物联网设备可获得的带宽为/>其中K表示单个卫星所能关联的最大用户数量；系统时间划分为T个时隙，每个时隙长度为τ。
可选的，所述S2中，建立物联网设备任务模型具体为：每个时隙Dn至多产生一个计算任务；令on,j表示Dn在时隙j产生的任务，建模on,j为其中wn,j表示任务权值，In,j表示on,j所携带的数据量大小，数据量In,j与完成任务所需的计算资源量θn,j之间的关系满足θn,j＝ξIn,j，其中ξ为常数；/>表示任务最大容忍时延。
可选的，所述S3中，建模任务卸载模型具体为：定义任务卸载变量xn,m,i,j∈{0,1}，若Dn在时隙i将时隙j到达的任务卸载到Sm，则xn,m,i,j＝1，否则xn,m,i,j＝0，1≤m≤M；令xn,0,i,j表示任务本地执行变量，xn,0,i,j＝1表示Dn在时隙i本地执行时隙j到达的任务，否则xn,0,i,j＝0；定义任务拆分变量ηn,m,i,j∈[0,1]表示Dn在时隙i将时隙j到达的任务卸载至Sm时，所卸载任务量占原数据量的比例，1≤m≤M；令ηn,0,i,j∈[0,1]表示Dn在时隙i本地执行时隙j到达任务的数据量比例。
可选的，所述S4中，建模任务队列模型具体为：物联网设备和卫星均设置任务缓冲队列，物联网设备将各时隙到达的任务缓存在任务队列中，在相应的任务调度时隙将任务传输至卫星执行或进行本地执行；定义表示Dn在时隙i的任务队列长度，队列更新公式建模为：
定义表示Sm在时隙i的任务队列长度，队列更新公式建模为：
其中，yn,m,i,j∈{0,1}为星上任务执行变量，若yn,m,i,j＝1表示Sm在时隙i开始执行时隙j到达的Dn的任务，否则yn,m,i,j＝0。
可选的，所述S5中，建模任务执行成本模型具体为：Cn,j表示执行任务on,j对应的任务成本函数，建模为：
Cn,j＝αTn,j+βEn,j，
其中α，β是常数，Tn,j及En,j分别表示执行任务on,j所需时延及能耗，建模Tn,j为其中/>表示任务on,j在本地执行前的排队时延，/>表示任务on,j本地执行时延，表示为：
表示任务on,j卸载至卫星执行前的本地排队时延，/>表示Dn将任务on,j卸载至卫星所需总时延，包括任务传输、星上排队及执行时延，具体为：
其中表示Dn将任务on,j卸载至Sm所需传输时延，建模为：
其中Rn,m,i,j表示时隙i，Dn与Sm之间的星地链路传输速率，建模为：
其中σ2是噪声功率，是Dn的最大传输功率，zn,m,i,j∈[0,1]表示Dn在时隙i传输任务on,j至Sm时的功率分配比例，hn,m,i是时隙i，Dn与Sm之间信道增益，表示为其中/>和/>分别是Dn的发射天线增益和Sm的接收天线增益，Lpt表示星地链路的雨衰，Ln,m,i表示Dn在时隙i传输任务至Sm的链路自由空间损耗，表示为：其中c表示光速，dn,m,i表示Dn在时隙i与Sm之间的距离；f0表示载波频率；/>表示任务on,j在Sm缓存队列中的排队时延；/>表示Sm在时隙i开始执行任务on,j所需执行时延，表示为：
En,j建模为其中/>表示本地执行任务on,j的能耗，表示为：
其中表示Dn的能耗系数；/>表示Dn传输任务on,j至卫星所需传输能耗，表示为：
表示卫星执行任务on,j所需能耗，表示为：
其中，表示Sm的能耗系数。
可选的，所述S6中，建模系统效用模型具体为：
其中Un,j表示系统执行任务on,j获得的效用，建模为：
Un,j＝δn,j(wn,j-γCn,j)
其中γ为权值，δn,j表示任务收益变量，若则δn,j＝1，否则，δn,j＝0，也即：/>
可选的，所述S7中，建模系统效用优化限制条件具体为：
建模任务卸载变量约束条件为：
若xn,m,i,j＝1，满足1≤m≤M，则/>其中/>为任务on,j传输速率阈值；若xn,0,i,j＝1，则：
建模任务拆分变量约束条件为：0≤ηn,m,i,j≤1；若则/>当m＞0时，/>当m＝0时，/>
建模功率分配变量约束条件为：0≤zn,m,i,j≤1；
建模星上任务调度约束条件为：若/>则/>若/>则：
可选的，所述S8中，建模马尔可夫决策过程具体为：将优化问题转化为马尔可夫决策过程，该过程包含状态空间、动作空间以及奖励三部分，具体如下：
建模Dn在时隙i的状态空间其中/>表示Dn在时隙i任务队列长度，hn,i＝{hn,1,i,hn,2,i,…,hn,M,i}为Dn与卫星之间的信道增益集合，为队列中的任务需求集合，/>为卫星的任务队列长度，则系统在时隙i联合状态空间表示为/>
建模Dn在时隙i的动作空间其中xn,i＝{xn,0,i,…,xn,M,i}表示Dn任务卸载策略集合，xn,m,i＝{xn,m,i,1,…xn,m,i,i}；yn,i＝{yn,1,i…yn,M,i}表示卫星执行Dn的任务调度策略的集合，yn,m,i＝{yn,m,i,1…yn,m,i,i}；zn,i＝{zn,1,i,…,zn,M,i}表示传输功率分配策略集合，zn,m,i＝{zn,m,i,1…zn,m,i,i}；ηn,i＝{ηn,0,i…ηn,M,i}表示任务拆分策略集合，ηn,m,i＝{ηn,m,i,1…ηn,m,i,i}；系统在时隙i联合动作空间表示为/>
建模系统在时隙i获得的奖励为
可选的，所述S9中，采用MADDPG算法确定任务卸载策略和功率分配策略具体为：将N个物联网设备视为N个智能体，每个智能体包括四个神经网络，分别为演员网络、评论家网络、目标演员网络、目标评论家网络；对于Dn，Dn的演员网络表示为其中，θn是Dn的演员网络的参数；Dn的评论家网络表示为/>其中/>为所有物联网设备的联合状态观测值集合，ωn为评论家网络的参数；Dn的目标演员网络表示为θ′n为目标演员网络的参数；Dn的目标评论家网络表示为/>ω′n为目标评论家网络的参数；Dn从初始状态到终止状态的期望回报写为：/>其中，pμ是状态的分布，γ∈[0,1]是折扣因子；建模策略梯度计算公式用于演员网络的更新，对θn求梯度，得到：
其中，表示经验回放池，将转移样本/>存放在其中，在更新演员网络参数时进行采样更新；/>表示所有物联网设备在状态/>采取动作/>到达的新状态/>的观测值集合；建模损失函数用于评论家网络的更新：
其中，yn是目标网络的估计值，表示如下：
在每个回合，Dn的目标演员网络参数θ′n更新公式为：θ′n←εθn+(1-ε)θ′n；Dn的目标评论家网络参数ω′n更新公式为：ω′n←εωn+(1-ε)ω′n；给定系统初始状态，运行MADDPG算法，迭代更新演员网络和评论家网络参数，直至算法收敛，训练完成的演员网络可确定低轨卫星物联网任务卸载及功率分配策略。
图1为低轨卫星物联网任务卸载场景示意图，本发明提供了一种基于MADDPG算法的低轨卫星物联网任务卸载方法。由多个地面物联网设备和多颗低轨卫星组成的通信系统，考虑地面物联网设备的任务特性、设备及卫星可用计算资源对任务传输和处理性能的影响。在本发明中，地面物联网设备能够关联不同的低轨卫星，将任务卸载至卫星，降低系统执行任务的成本，从而提高系统效用。
图2为本发明基于MADDPG算法的低轨卫星物联网任务卸载方法流程图，具体包括以下步骤：
1、建模系统模型；
2、建模物联网设备任务模型；
3、建模任务卸载模型；
4、建模任务队列模型；
5、建模任务成本模型；
6、建模系统效用模型；
7、建模系统效用优化限制条件；
8、建模马尔可夫决策过程；
9、基于MADDPG算法确定任务卸载及功率分配策略；
图3为本发明MADDPG算法示意图，在MADDPG算法中采样和执行是分别进行的，而对智能体的训练学习是统一进行的。本发明中将多个地面物联网设备视为多个智能体，首先每个设备收集转移样本存入经验回放池中；然后每个设备的演员网络根据当前的状态动作对分别更新演员网络参数，每个设备的评论家网络考虑所有演员网络生成的数据，分别更新评论家网络参数；重复上述步骤直至算法收敛。训练完成的演员网络可确定低轨卫星物联网任务卸载及功率分配策略。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.基于MADDPG算法的低轨卫星物联网任务卸载方法，其特征在于：该方法包括以下步骤：
S1：建模系统模型；
S2：建模物联网设备任务模型；
S3：建模任务卸载模型；
S4：建模任务队列模型；
S5：建模任务成本模型；
S6：建模系统效用模型；
S7：建模系统效用优化限制条件；
S8：建模马尔可夫决策过程；
S9：基于MADDPG算法确定任务卸载及功率分配策略；
所述S1中，建立系统模型具体为：网络中有M个卫星，定义Sm表示第m个卫星，Sm部署有移动边缘计算MEC服务器，服务器缓存区大小为计算能力为/>网络中有N个物联网设备，定义Dn表示第n个物联网设备，设备的任务缓存区大小为/>计算能力为/>Dn采用正交频分多址模式将任务卸载至卫星的MEC服务器，令Bm表示Sm的可用带宽，关联Sm的物联网设备可获得的带宽为/>其中K表示单个卫星所能关联的最大用户数量；系统时间划分为T个时隙，每个时隙长度为τ；
所述S2中，建立物联网设备任务模型具体为：每个时隙Dn至多产生一个计算任务；令on,j表示Dn在时隙j产生的任务，建模on,j为其中wn,j表示任务权值，In,j表示on,j所携带的数据量大小，数据量In,j与完成任务所需的计算资源量θn,j之间的关系满足θn,j＝ξIn,j，其中ξ为常数；/>表示任务最大容忍时延；
所述S3中，建模任务卸载模型具体为：定义任务卸载变量xn,m,i,j∈{0,1}，若Dn在时隙i将时隙j到达的任务卸载到Sm，则xn,m,i,j＝1，否则xn,m,i,j＝0，1≤m≤M；令xn,0,i,j表示任务本地执行变量，xn,0,i,j＝1表示Dn在时隙i本地执行时隙j到达的任务，否则xn,0,i,j＝0；定义任务拆分变量ηn,m,i,j∈[0,1]表示Dn在时隙i将时隙j到达的任务卸载至Sm时，所卸载任务量占原数据量的比例，1≤m≤M；令ηn,0,i,j∈[0,1]表示Dn在时隙i本地执行时隙j到达任务的数据量比例；
所述S4中，建模任务队列模型具体为：物联网设备和卫星均设置任务缓冲队列，物联网设备将各时隙到达的任务缓存在任务队列中，在相应的任务调度时隙将任务传输至卫星执行或进行本地执行；定义表示Dn在时隙i的任务队列长度，队列更新公式建模为：
定义表示Sm在时隙i的任务队列长度，队列更新公式建模为：
其中，yn,m,i,j∈{0,1}为星上任务执行变量，若yn,m,i,j＝1表示Sm在时隙i开始执行时隙j到达的Dn的任务，否则yn,m,i,j＝0；
所述S5中，建模任务执行成本模型具体为：Cn,j表示执行任务on,j对应的任务成本函数，建模为：
Cn,j＝αTn,j+βEn,j，
其中α，β是常数，Tn,j及En,j分别表示执行任务on,j所需时延及能耗，建模Tn,j为其中/>表示任务on,j在本地执行前的排队时延，/>表示任务on,j本地执行时延，表示为：
表示任务on,j卸载至卫星执行前的本地排队时延，/>表示Dn将任务on,j卸载至卫星所需总时延，包括任务传输、星上排队及执行时延，具体为：
其中表示Dn将任务on,j卸载至Sm所需传输时延，建模为：
其中Rn,m,i,j表示时隙i，Dn与Sm之间的星地链路传输速率，建模为：
其中σ2是噪声功率，是Dn的最大传输功率，zn,m,i,j∈[0,1]表示Dn在时隙i传输任务on,j至Sm时的功率分配比例，hn,m,i是时隙i，Dn与Sm之间信道增益，表示为/>其中/>和/>分别是Dn的发射天线增益和Sm的接收天线增益，Lpt表示星地链路的雨衰，Ln,m,i表示Dn在时隙i传输任务至Sm的链路自由空间损耗，表示为：/>其中c表示光速，dn,m,i表示Dn在时隙i与Sm之间的距离；f0表示载波频率；/>表示任务on,j在Sm缓存队列中的排队时延；/>表示Sm在时隙i开始执行任务on,j所需执行时延，表示为：
En,j建模为其中/>表示本地执行任务on,j的能耗，表示为：
其中表示Dn的能耗系数；/>表示Dn传输任务on,j至卫星所需传输能耗，表示为：
表示卫星执行任务on,j所需能耗，表示为：
其中，表示Sm的能耗系数；
所述S6中，建模系统效用模型具体为：
其中Un,j表示系统执行任务on,j获得的效用，建模为：
Un,j＝δn,j(wn,j-γCn,j)
其中γ为权值，δn,j表示任务收益变量，若则δn,j＝1，否则，δn,j＝0，也即：
所述S7中，建模系统效用优化限制条件具体为：
建模任务卸载变量约束条件为：
若xn,m,i,j＝1，满足1≤m≤M，则/>其中/>为任务on,j传输速率阈值；若xn,0,i,j＝1，则：
建模任务拆分变量约束条件为：0≤ηn,m,i,j≤1；若则/>当m＞0时，/>当m＝0时，/>
建模功率分配变量约束条件为：0≤zn,m,i,j≤1；
建模星上任务调度约束条件为：若/>则/>若/>则：
所述S8中，建模马尔可夫决策过程具体为：将优化问题转化为马尔可夫决策过程，该过程包含状态空间、动作空间以及奖励三部分，具体如下：
建模Dn在时隙i的状态空间其中/>表示Dn在时隙i任务队列长度，hn,i＝{hn,1,i,hn,2,i,…,hn,M,i}为Dn与卫星之间的信道增益集合，为队列中的任务需求集合，/>为卫星的任务队列长度，则系统在时隙i联合状态空间表示为/>
建模Dn在时隙i的动作空间其中xn,i＝{xn,0,i,…,xn,M,i}表示Dn任务卸载策略集合，xn,m,i＝{xn,m,i,1,…xn,m,i,i}；yn,i＝{yn,1,i…yn,M,i}表示卫星执行Dn的任务调度策略的集合，yn,m,i＝{yn,m,i,1…yn,m,i,i}；zn,i＝{zn,1,i,…,zn,M,i}表示传输功率分配策略集合，zn,m,i＝{zn,m,i,1…zn,m,i,i}；ηn,i＝{ηn,0,i…ηn,M,i}表示任务拆分策略集合，ηn,m,i＝{ηn,m,i,1…ηn,m,i,i}；系统在时隙i联合动作空间表示为/>
建模系统在时隙i获得的奖励为
所述S9中，采用MADDPG算法确定任务卸载策略和功率分配策略具体为：将N个物联网设备视为N个智能体，每个智能体包括四个神经网络，分别为演员网络、评论家网络、目标演员网络、目标评论家网络；对于Dn，Dn的演员网络表示为其中，θn是Dn的演员网络的参数；Dn的评论家网络表示为/>其中/>为所有物联网设备的联合状态观测值集合，ωn为评论家网络的参数；Dn的目标演员网络表示为/>θ′n为目标演员网络的参数；Dn的目标评论家网络表示为/>ω′n为目标评论家网络的参数；Dn从初始状态到终止状态的期望回报写为：/>其中，pμ是状态的分布，γ∈[0,1]是折扣因子；建模策略梯度计算公式用于演员网络的更新，对θn求梯度，得到：
其中，表示经验回放池，将转移样本/>存放在其中，在更新演员网络参数时进行采样更新；/>表示所有物联网设备在状态/>采取动作/>到达的新状态/>的观测值集合；建模损失函数用于评论家网络的更新：
其中，yn是目标网络的估计值，表示如下：
在每个回合，Dn的目标演员网络参数θ′n更新公式为：θ′n←εθn+(1-ε)θ′n；Dn的目标评论家网络参数ω′n更新公式为：ω′n←εωn+(1-ε)ω′n；给定系统初始状态，运行MADDPG算法，迭代更新演员网络和评论家网络参数，直至算法收敛，利用训练完成的演员网络确定低轨卫星物联网任务卸载及功率分配策略。
CN202210492079.9A 2022-05-07 2022-05-07 基于maddpg算法的低轨卫星物联网任务卸载方法 Active CN114884949B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210492079.9A CN114884949B (zh) 2022-05-07 2022-05-07 基于maddpg算法的低轨卫星物联网任务卸载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210492079.9A CN114884949B (zh) 2022-05-07 2022-05-07 基于maddpg算法的低轨卫星物联网任务卸载方法

Publications (2)

Publication Number Publication Date
CN114884949A CN114884949A (zh) 2022-08-09
CN114884949B true CN114884949B (zh) 2024-03-26

Family

ID=82674050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210492079.9A Active CN114884949B (zh) 2022-05-07 2022-05-07 基于maddpg算法的低轨卫星物联网任务卸载方法

Country Status (1)

Country Link
CN (1) CN114884949B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115499875B (zh) * 2022-09-14 2023-09-22 中山大学 一种卫星互联网任务卸载方法、系统以及可读存储介质
CN115514769B (zh) * 2022-09-14 2023-06-06 中山大学 卫星弹性互联网资源调度方法、系统、计算机设备及介质
CN115441939B (zh) * 2022-09-20 2024-03-22 深圳泓越信息科技有限公司 基于maddpg算法的多波束卫星通信系统资源分配方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113346944A (zh) * 2021-06-28 2021-09-03 上海交通大学 空天地一体化网络中时延最小化计算任务卸载方法及系统
AU2021106293A4 (en) * 2021-08-21 2021-11-04 Beihang University Dynamic task unloading method between cooperative vehicles based on mobile edge computing
CN113612843A (zh) * 2021-08-02 2021-11-05 吉林大学 一种基于深度强化学习的mec任务卸载和资源分配方法
CN113873022A (zh) * 2021-09-23 2021-12-31 中国科学院上海微系统与信息技术研究所 一种可划分任务的移动边缘网络智能资源分配方法
CN113950066A (zh) * 2021-09-10 2022-01-18 西安电子科技大学 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN114124195A (zh) * 2021-11-19 2022-03-01 桂林电子科技大学 一种面向leo卫星系统的多星mec计算卸载策略
CN114116047A (zh) * 2021-11-09 2022-03-01 吉林大学 一种基于强化学习的车载计算密集型应用的v2i卸载方法
CN114362810A (zh) * 2022-01-11 2022-04-15 重庆邮电大学 一种基于迁移深度强化学习的低轨卫星跳波束优化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11614962B2 (en) * 2020-06-25 2023-03-28 Toyota Motor Engineering & Manufacturing North America, Inc. Scheduling vehicle task offloading and triggering a backoff period

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113346944A (zh) * 2021-06-28 2021-09-03 上海交通大学 空天地一体化网络中时延最小化计算任务卸载方法及系统
CN113612843A (zh) * 2021-08-02 2021-11-05 吉林大学 一种基于深度强化学习的mec任务卸载和资源分配方法
AU2021106293A4 (en) * 2021-08-21 2021-11-04 Beihang University Dynamic task unloading method between cooperative vehicles based on mobile edge computing
CN113950066A (zh) * 2021-09-10 2022-01-18 西安电子科技大学 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN113873022A (zh) * 2021-09-23 2021-12-31 中国科学院上海微系统与信息技术研究所 一种可划分任务的移动边缘网络智能资源分配方法
CN114116047A (zh) * 2021-11-09 2022-03-01 吉林大学 一种基于强化学习的车载计算密集型应用的v2i卸载方法
CN114124195A (zh) * 2021-11-19 2022-03-01 桂林电子科技大学 一种面向leo卫星系统的多星mec计算卸载策略
CN114362810A (zh) * 2022-01-11 2022-04-15 重庆邮电大学 一种基于迁移深度强化学习的低轨卫星跳波束优化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Xinyu Huang ; Lijun He ; Xing Chen ; Liejun Wang ; Fan Li.Revenue and Energy Efficiency-Driven Delay-Constrained Computing Task Offloading and Resource Allocation in a Vehicular Edge Computing Network: A Deep Reinforcement Learning Approach.《IEEE Internet of Things Journal 》.2021,8852-8868. *
基于MADDPG的边缘网络任务卸载与资源管理;赵润晖、文红、侯文静;《通信技术》;864-868 *
基于深度确定性策略梯度的虚拟网络功能迁移优化算法;唐伦、贺兰钦、谭颀、陈前斌;《电子与信息学报》;404-411 *

Also Published As

Publication number Publication date
CN114884949A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN114884949B (zh) 基于maddpg算法的低轨卫星物联网任务卸载方法
CN113612843B (zh) 一种基于深度强化学习的mec任务卸载和资源分配方法
CN111800828B (zh) 一种超密集网络的移动边缘计算资源分配方法
CN113950066B (zh) 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN113543176B (zh) 基于智能反射面辅助的移动边缘计算系统的卸载决策方法
US20220217792A1 (en) Industrial 5g dynamic multi-priority multi-access method based on deep reinforcement learning
US11831708B2 (en) Distributed computation offloading method based on computation-network collaboration in stochastic network
CN112995913A (zh) 一种无人机轨迹、用户关联和资源分配联合优化方法
CN110955463A (zh) 支持边缘计算的物联网多用户计算卸载方法
CN113613301B (zh) 一种基于dqn的空天地一体化网络智能切换方法
WO2022242468A1 (zh) 任务卸载方法、调度优化方法和装置、电子设备及存储介质
CN114285853A (zh) 设备密集型工业物联网中基于端边云协同的任务卸载方法
Wang et al. Curriculum reinforcement learning-based computation offloading approach in space-air-ground integrated network
Jeong et al. Deep reinforcement learning-based task offloading decision in the time varying channel
CN116886158A (zh) 一种基于ddpg的星地融合网络移动边缘计算资源分配方法
CN116663644A (zh) 一种多压缩版本的云边端dnn协同推理加速方法
CN115766478A (zh) 一种空地协同边缘计算服务器的卸载方法
CN114742166A (zh) 一种基于时延优化的通信网现场维护模型迁移方法
CN114980160A (zh) 一种无人机辅助的太赫兹通信网络联合优化方法和装置
Sharma et al. FEEL-enhanced Edge Computing in Energy Constrained UAV-aided IoT Networks
CN114513814A (zh) 基于无人机辅助节点的边缘网络计算资源动态优化方法
CN114025321A (zh) 一种基于快速上行授权的海量电力物联终端接入控制方法
Lin et al. A high-performance DRL-based mobile edge offloading for elastic satellite network
CN116232440B (zh) 数据采集方法、系统及存储介质
Sani et al. Deep Reinforcement Learning for Energy-Efficient Data Dissemination Through UAV Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240229

Address after: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Hongyue Information Technology Co.,Ltd.

Country or region after: China

Address before: 400065 Chongqing Nan'an District huangjuezhen pass Chongwen Road No. 2

Applicant before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

Country or region before: China

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant