CN113939034A - 一种立体异构电力物联网云边端协同资源分配方法 - Google Patents

Abstract

本发明公开了一种立体异构电力物联网云边端协同资源分配方法，即对空天地一体化立体异构电力物联网中的云、边、端协同任务卸载和计算资源分配进行联合优化，包括(1)构建系统模型建立卫星、无人机及终端构成的立体异构电力物联网场景；(2)模型的细化；(3)排队时延约束与联合优化问题的提出与转换；(4)基于Lyapunov优化原理联合优化问题的分解和求解，在每个时隙最小化漂移加惩罚的上界；(5)基于深度强化学习的云边端协同任务卸载决策算法五个步骤构成。本发明基于深度强化学习解决高维任务卸载问题，结合神经网络提供的复杂函数逼近能力和actor‑critic算法提供的决策能力，有效解决了信息不确定下的维数灾难问题。

Description

一种立体异构电力物联网云边端协同资源分配方法

技术领域

本发明涉及电力物联网云边端协同资源分配方法的问题技术领域，尤其是一种对空天地一体化立体异构电力物联网中的云、边、端协同任务卸载和计算资源分配进行联合优化的方法。

背景技术

随着沙漠太阳能、海上风能等可再生能源的快速发展，在偏远地区部署了大量的电力物联网(power Internet of Things,PIoT)终端，以保证电力基础设施的安全稳定运行。电力物联网是工业物联网在智能电网中的具体表现形式，对通信与计算能力有着严格的要求。目前的单一地面网络难以满足这些要求，一方面，沙漠等偏远地区几乎没有地面通信网络覆盖，另一方面，地面网络面临着资源部署固定、灵活性差、应急响应能力弱等问题。因此，开发能够为偏远地区提供无缝通信覆盖和泛在计算能力的网络势在必行。

空天地一体化立体异构网络提供了一种可行的解决方案。电力物联网与空天地一体化网络的整合，即，空天地一体化立体异构电力物联网，将电力物联网从一维地面网络转变为由天基网络，空基网络和地基网络组成的多维立体异构网络。天基网络包括地球同步卫星和低轨卫星，其中同步卫星可以提供广域通信覆盖，并作为低轨卫星间远距离数据传输的中继节点。低轨卫星可以通过卫星主干网提供相对较高的接入率和云计算功能。空基网络通常包括高空平台、无人机(unmanned aerial vehicles，UAVs)、通信气球等，可在突发通信和计算需求的地点进行灵活部署，以提供高速率数据传输和多连接。另外，在空基网络设备上部署边缘服务器能够提供边缘计算能力，减少数据传输距离。地基网络由海量电力物联网终端组成，这些终端通常计算资源与电池容量受限。地基网络终端产生的计算密集型和时延敏感型任务可以在终端本地进行计算，也可以卸载到天基网络的云服务器或空基网络的边缘服务器进行云计算或边缘计算，实现云边端协同的任务卸载。同时，在任务卸载完成后，云服务器、边缘服务器以及终端需要对各自本地的计算资源进行分配。为满足电力物联网业务对时延、能耗等服务质量的需求，云服务器、边缘服务器以及终端的计算资源分配需要和云边端协同的任务卸载决策进行联合优化。然而，空天地一体化立体异构电力物联网中云边端协同任务卸载与资源分配的联合优化仍然面临着一些挑战，具体总结如下：

第一，任务卸载与资源分配的耦合。由于不同实体之间的耦合以及同一实体不同优化变量之间的耦合，建立的联合优化问题是NP难的。具体地，边缘服务器和云服务器资源分配的优化直接影响到电力物联网终端的任务卸载和资源分配决策，反之亦然。此外，对于同一个电力物联网终端，其任务卸载决策和资源分配决策之间也是耦合的。

第二，不完整信息和维数灾难。出于对过高信令开销和隐私保护问题的考虑，电力物联网终端获取全局状态信息，包括信道状态信息、其他终端的任务到达、服务器的计算能力等是不切实际的。另外，由于网络异构性和时变资源约束，系统状态和动作的数量将呈指数型增长，引发维数灾难问题。传统基于学习的分布式任务卸载方法未考虑高维优化问题，因此在最优性和收敛性方面性能较差。

第三，长期排队时延约束。排队时延对端到端时延性能的影响很大，因此，在时延要求严格的电力物联网中，排队时延是不可忽视的。然而，长期排队时延约束和短期优化决策之间的耦合进一步增加了联合优化问题求解的困难维度。具体地，任务卸载和资源分配必须在无法预见未来状态信息的情况下进行联合优化。

因此，迫切需要设计一种立体异构电力物联网云边端协同资源分配方法，对空天地一体化立体异构电力物联网中的云、边、端协同任务卸载和计算资源分配进行联合优化，有效解决维数灾难问题，在保障长期排队时延约束的同时降低电力物联网终端能耗，满足电力物联网业务低时延需求，延长网络生命周期。

发明内容

本发明的目的是：克服现有技术中存在的不足，提供一种立体异构电力物联网云边端协同资源分配方法，对空天地一体化立体异构电力物联网中的云、边、端协同任务卸载和计算资源分配进行联合优化，通过深度学习做出最优的任务卸载决策，利用李亚普诺夫(Lyapunov)优化理论解耦长期约束与短期决策，将长期排队时延约束转化为长期随机任务卸载与资源分配联合优化问题转化为三个短期确定性优化子问题，结合神经网络提供的复杂函数逼近能力和actor-critic算法提供的决策能力，有效解决了信息不确定下的维数灾难问题。

为解决上述技术问题，本发明采用的技术方案如下：包括5个步骤：

(1)构建系统模型建立卫星、无人机及终端构成的立体异构电力物联网场景；

(2)模型的细化，包括任务卸载模型、数据计算模型和能耗模型；

(3)排队时延约束与联合优化问题的提出与转换；

(4)基于Lyapunov优化原理联合优化问题的分解和求解，在每个时隙最小化漂移加惩罚的上界；

(5)基于深度强化学习的云边端协同任务卸载决策算法。

进一步，步骤(1)构建系统模型如图1所示，本发明考虑了部署在偏远地区且可以为电力物联网终端提供无缝通信覆盖和计算服务的立体异构电力物联网。如图所示，该网络包含三个部分，即地基网络，空基网络和天基网络。其中，地基网络由计算能力和电池容量受限的电力物联网终端组成，其集合表示为

在空基网络中，配备有基站(base stations，BS)和边缘服务器的J个无人机，可以为地基网络中的电力物联网终端提供网络接入和边缘计算服务。在天基网络中，利用低轨卫星为选定区域提供全方位的通信覆盖，且通过卫星骨干网将低轨卫星与云服务器连接，提供云计算服务。因此，该网络中共有J+1个候选服务器，其集合表示为

其中n₀表示与卫星连接的云服务器，n₁,…,n_j,…,n_J表示部署在无人机上的J个边缘服务器。

本发明采用时隙模型，将总优化时间划分为T个时隙，每个时隙的长度相等且为τ，时隙集合表示为

同时，本发明考虑一种准静态场景，即环境信息，例如信道状态信息(channel state information，CSI)、无人机的位置等，在一个时隙内保持不变，但在不同时隙间动态变化。在每个时隙，任务以随机的方式到达终端。采用任务数据划分模型，即每个任务可划分为大小为A₀ bits的多个子任务。对于终端m_i，每个到达的子任务可以在本地进行计算，也可以卸载到云服务器或边缘服务器进行计算。在第t个时隙，假设有A_i(t)bits的新任务到达终端m_i，可以将其分为两个独立的部分，即在本地进行计算的任务

bits和被卸载到服务器的任务

bits。因此，在终端m_i处的任务分割可以表示为：

假设终端m_i维护两个缓冲队列来存储本地计算和卸载的任务，其队列积压分别为

和

表示为：

其中，

和

分别表示离开本地计算队列和任务卸载队列的任务数据量。

进一步，步骤(2)模型的细化，模型细化首先建立任务卸载模型，本发明用二进制指示符a_i,j(t)∈{0,1}表示服务器的可用性，其中a_i,j(t)＝1表示在第t个时隙服务器n_j对终端m_i可用，即m_i在n_j的通信范围内，否则a_i,j(t)＝0。由于低轨卫星的覆盖范围较大，所以云服务器n₀始终可以为m_i提供服务，而由于无人机的移动性，边缘服务器(如n_j,j≠0)则只能间歇性地为m_i提供服务。同样，本发明用二进制指示符x_i,j(t)∈{0,1}来表示终端的任务卸载策略，其中x_i,j(t)＝1表示第t个时隙m_i选择n_j进行任务卸载，否则x_i,j(t)＝0。

当m_i将任务卸载到n_j时，本发明考虑地面-无人机、和地面-卫星两种不同通信模型。具体如下：

(a)地面-无人机通信卸载模型，当地面与无人机进行通信时，m_i和n_j之间的路径损耗的计算公式为：

其中，d_j,t和r_i,j,t分别表示第t个时隙无人机的飞行高度以及m_i和n_j之间的水平距离，

和

分别表示视距(line-of-sight，LoS)和非视距(non-line-of-sight，NLoS)链路在自由空间路径损耗上引起的附加损耗，f_c表示载波频率，c为光速。

表示地面-无人机链路的视距概率，计算公式为：

b₁，b₂，

和

的值取决于环境状态。因此，地面-无人机链路的传输速率计算为：

其中，P_TX，B_i,j和σ²分别表示传输功率，带宽和噪声功率。

(b)地面-卫星通信卸载模型，卫星是终端与云服务器间通信和任务卸载的中继节点。假设地面-卫星的传输速率R_SG和卫星-云的传输速率R_SC保持不变，且通常小于地面-无人机的传输速率。m_i卸载且存储在卫星上的任务可被建模为一个队列，其队列更新为：

(c)吞吐量模型，在第t个时隙，从m_i卸载到n_j的任务数据量可表示为：

因此，离开m_i的任务卸载队列的数据量为：

模型细化还包含了数据计算模型，到达终端m_i的任务可以在本地进行计算，也可以卸载到云服务器或边缘服务器进行计算。具体如下：

(a)本地数据计算，将第t个时隙m_i可以在本地处理的任务数据量表示为

计算公式为：

其中，f_i(t)是m_i分配的CPU周期频率，λ_i为计算密度，即每bit数据所需的CPU周期。

(b)远端服务器数据计算，假设服务器n_j维护一个缓冲队列来存储从终端m_i卸载的任务，即服务器侧任务队列Y_i,j(t)，其更新公式为：

其中，

表示在第t个时隙被n_j处理且卸载自m_i的任务数据量，计算公式为：

其中，f_i,j(t)是在第t个时隙n_j分配的用于处理m_i卸载任务的CPU周期频率。

(c)能耗数据模型，终端m_i的能耗由两部分组成，即数据计算能耗

和任务卸载能耗

的计算公式为：

其中，κ表示计算功率参数。

给定x_i,j(t)，

的计算公式为：

其中等式右侧第一项和第二项分别表示通过地面-卫星链路和地面-无人机链路进行任务卸载的能耗。因此，在第t个时隙中m_i的总能耗为：

进一步，步骤(3)排队时延约束与联合优化问题的提出与转换，首先解决排队时延约束的问题。由于排队时延对端到端时延影响较大，因此本发明考虑排队时延约束以确保卸载任务的有效性。具体地，端到端排队时延由三部分组成，即传输排队时延，计算排队时延和结果反馈排队时延。

(a)传输排队时延基于里特定律(Little’s Law)，平均排队时延与平均队列长度和平均任务到达率的比值成正比。因此，传输排队时延约束可表示为：

其中，

是传输排队时延的界值，

是

的移动时间平均任务到达率，计算公式为：

(b)计算排队时延计算排队时延对应于

和Y_i,j(t)的排队时延，其约束可分别表示为：

其中

和

分别表示

和Y_i,j(t)的计算排队时延界值。

和

的计算公式为：

(c)结果反馈排队时延，由于无人机具有高移动性，终端可能会处于无人机的通信范围之外，只有当无人机再次飞回时，边缘服务器才能将之前卸载任务的结果反馈到终端，因此产生了结果反馈排队时延。为了确保反馈结果的及时性，本发明将结果反馈排队时延约束表示为：

其中

是指示符函数，如果事件x为真，

否则

为结果反馈排队时延的界值。

步骤(3)排队时延约束与联合优化问题的提出与转换，进一步通过云边端协同对任务分割，任务卸载和计算资源分配进行联合优化，最小化立体异构电力物联网中所有电力物联网终端的长期时间平均能耗，该联合优化问题表示为：

P1：

s.t.C₁:

C₂:

C₃:

C₄:

C₅:

C₆:

其中，

和

分别表示用于本地计算和任务卸载的任务分割向量。

表示计算资源分配向量。

表示任务卸载向量。约束C₁和C₂表示在每个时隙每个电力物联网终端只能选择一台服务器进行任务卸载。C₃为任务分割约束。C₄和C₅分别为终端侧和服务器侧的计算资源分配约束，f_i,max(t)和f_j,max(t)分别表示m_i和n_j的最大可用计算资源。C₆表示排队时延约束。

由于长期排队时延约束与短期决策耦合在一起，直接求解P1较为困难。利用李亚普诺夫(Lyapunov)优化可以将长期随机优化问题解耦为一系列可以在每个时隙内求解的短期确定性优化子问题。基于虚拟队列的概念，可以将长期排队延迟约束C₆转换为队列稳定性约束。具体地，引入虚拟队列

和

它们分别对应于约束(18)，(16)，(19)和(22)。虚拟队列更新公式为：

因此，P1可以等效转化为：

P2：

s.t.C₁～C₅,

C₆′:(24)～(27)是平均速率稳定的. (28)

为了求解P2，令

表示实际队列和虚拟队列的级联向量，并将Lyapunov函数定义为：

将Lyapunov函数在两个连续时隙内的条件期望变化定义为一步Lyapunov漂移，表示为：

在队列稳定性约束下，为了最小化能耗，漂移加惩罚可定义为：

其中

表示在第t个时隙中所有终端的总能耗。V是一个非负的权重参数，对“最小化惩罚”和“队列稳定性”进行权衡。

令

为在第t个时隙可以从m_i卸载到n_j的最大任务数据量，表示为：

则根据Lyapunov优化理论，在任何可能的Θ(t)以及V>0下，漂移加惩罚的上界可以表示为：

其中C为不影响Lyapunov优化结果的正常数。

进一步，步骤(4)联合优化问题的分解和求解，基于Lyapunov优化原理，联合优化问题P2可转化为在每个时隙最小化漂移加惩罚的上界。根据公式(33)，联合优化问题可分解为三个优化子问题SP1，SP2和SP3，分布式顺序求解。具体求解方法如下：

(1)终端侧任务分割与计算资源分配的联合优化

在子问题SP1中，m_i决定第t个时隙本地计算和任务卸载间的任务分割比例，并决定分配的本地CPU周期频率。SP1表示为：

SP1:

s.t.C₃ and C₄,

C₇:

代入约束C₃与

SP1可以转化为SP1＇：

SP1＇：

s.t.C₄ and C₇,

C₈:

SP1＇是一个凸优化问题，可以通过拉格朗日对偶分解法进行求解。将与约束C₄和C₇对应的拉格朗日乘子分别表示为ξ_i和ρ_i，则与SP1＇相关联的拉格朗日函数为：

基于拉格朗日对偶分解，上式可以分解为：

然后，根据Karush-Kuhn-Tucker条件，

和f_i(t,z+1)的最优值可表示为：

其中z是拉格朗日乘子更新的迭代指数。

为一元四次方程，可通过Ferrari理论进行求解。

为一元二次方程，可以很容易地求解。通过利用梯度法，拉格朗日乘子更新公式为：

其中，

和

为步长，用于权衡收敛性和最优性。

(2)云边端协同任务卸载优化

在SP2中，m_i决定将任务卸载到云服务器n₀或某一个边缘服务器，即

则SP2表示为：

SP2:

s.t.C₁～C₂ (42)

由于缺少完整的全局状态信息，直接求解SP2较为困难。本发明将该任务卸载问题表述为马尔可夫决策过程(Markov decision process,MDP)，并利用深度强化学习(Deepreinforcement learning,DRL)来解决维度灾难的问题。具体求解过程见步骤5。

(3)服务器侧资源分配优化

在SP3中，云服务器或边缘服务器n_j决定在第t个时隙为处理从m_i卸载的任务而分配的CPU周期频率，表示为：

SP3:

s.t.C₅,

C₉:

为求解SP3，本发明提出的服务器侧计算资源分配算法包括以下步骤：

1)初始化对于n_j来说具有计算资源需求的终端集

以及n_j可用的计算资源Δf_j,max(t)＝f_j,max(t)。

2)计算能够分配给

中任一终端m_i的最大计算资源为

并根据(43)计算相应的目标值

然后，选择具有最大目标值的终端

进行计算资源分配，即

分配的计算资源为

3)从集合

中删除

即

并更新

重复步骤2)。

当没有终端需要计算资源时，即

或没有可用的计算资源，即Δf_j,max(t)＝0时，计算资源分配迭代终止。

进一步，步骤(5)基于深度强化学习的云边端协同任务卸载决策算法，为求解终端侧任务卸载子问题SP2，本发明提出了一种基于actor-critic方法的云边端协同任务卸载算法。

在利用actor-critic方法的云边端协同任务卸载算法之前先介绍两种无模型强化学习方法。本发明首先将立体异构电力物联网中云边端协同任务卸载问题建模为马尔可夫决策过程，并将其定义为元组(S，A，T，R)。其中，S为系统状态集，A是动作集，T是转移概率集，R是关于状态s∈S和动作a∈A的直接奖励或成本函数，策略π为从集合S到集合A的映射。立体异构电力物联网云边端协同任务卸载问题的马尔可夫决策过程建模如下：

(a)状态：系统状态包括队列积压，任务相关信息和经验网络性能，表示为

利用先前t-1个时隙的状态信息S_i(1),…,S_i(t-1)和当前时隙的状态信息S_i(t)学习并预测未来的系统状态。

(b)动作：在第t个时隙开始时，每个电力物联网终端，如m_i执行任务卸载的动作，即确定x_i,j(t)，

其集合表示为A_i(t)＝{x_i,0(t),x_i,1(t),…,x_i,J(t)}。

(c)转移概率：由于任务到达与任务卸载无关，因此系统转移概率的计算公式为：

随着服务器数量的增加，系统状态和动作的数量呈指数增长，难以对转移概率进行准确建模。

(d)奖励：由于SP2为最小化的问题，因此采用成本函数，并将其定义为SP2子问题的优化目标Γ(x_i,j(t))。

无需针对转移概率进行建模的基于强化学习的任务卸载算法为基于价值的Q-learning和基于策略的策略梯度法，该方法建模过程如下：

(a)将状态s的价值函数定义为

其中，γ∈[0,1]是衰减因子。通过最小化每个状态的价值函数可以获得最优策略π^*(s)，即：

其中，P(s′|s,a)是由最优策略π^*(s)生成的马尔可夫链的平稳分布。Q-learning估计从状态s开始到动作a的动作-价值函数Q(s,a)：

其中，α为学习速率。在每个时隙，Q-learning利用ε-贪婪算法根据估计的动作-价值函数Q(s,a)选择一个动作。随着系统状态空间和动作空间的增大，需要大量的存储资源来存储Q(s,a)，降低了该方法的实用性和可行性。因此，通过引入参数w来逼近价值函数即令：

其中，w可以通过线性函数，近邻算法和神经网络逐步逼近。

(b)与基于价值的方法相比，基于策略的方法更适合于优化随机策略问题、通过引入参数θ将策略参数化和近似化为：

π_θ(s,a)＝P(a|s,θ)≈π(a|s) (49)

其中，π_θ(s,a)表示在基于参数θ的策略π的作用下从状态s中选择动作a的概率。因此，策略被定义为一个连续函数，其中最优策略可以通过梯度上升/下降方法获得。因此，起始状态的期望价值函数为：

对于成本最小化问题，采用梯度下降法逐步更新θ，即：

其中，ψ是学习速率，

可以根据策略梯度定理求出，即：

发明专利采用了基于Actor-Critic的云边端协同任务卸载算法，该算法综合考虑了可以解决大状态空间问题的基于价值的方法和可以学习随机策略的基于策略的方法，提出了一种基于Actor-Critic的云边端协同任务卸载算法，该方法由actor网络和critic网络组成，可同时逼近价值函数和策略函数。actor网络采用基于策略的方法优化策略，选择动作并与环境进行交互，而critic网络可以生成价值函数以评价当前的策略并指导策略更新。此外，由于神经网络具有逼近复杂函数的强大功能，因此采用神经网络来学习参数w和θ。本发明假设总共有G个时间段，每个时间段由T个时隙组成。算法包括以下步骤：

(1)将队列信息，任务相关信息和经验网络性能输入到actor网络和critic网络；

(2)在每个时隙，actor网络根据策略π(S_i(t)|θ)选择动作a_i(t)。然后，m_i执行动作a_i(t)，将任务卸载到n_j，观察

并根据反馈结果推断出f_i,j(t)；

(3)基于状态s_i(t)和动作a_i(t)计算成本Γ(s_i(t),a_i(t))，并转移到下一个状态s_i(t+1)；

(4)将时序差分误差定义为φ＝Γ(s_i(t),a_i(t))+γV(s_i(t+1),w)-V(s_i(t),w)，每个时隙利用时序差分误差更新critic网络参数w和actor网络参数θ，更新公式分别为：

ψ和ψ′分别是actor网络和critic网络的学习速率。

(5)更新队列信息

Y_i,j(t)，

和

直到第G个时间段的最后一个时隙结束，迭代停止。

本发明相对于现有计算具有如下的优点及效果：

(1)本发明面向空天地一体化立体异构电力物联网提出的云边端协同任务卸载与资源分配联合优化算法首先基于李亚普诺夫优化将立体异构电力物联网中云边端协同的长期任务卸载与资源分配问题解耦为终端侧任务分割与计算资源分配、云边端协同任务卸载、服务器侧计算资源分配三个子问题，并基于深度强化学习解决高维任务卸载问题，结合神经网络提供的复杂函数逼近能力和actor-critic算法提供的决策能力，有效解决了信息不确定下的维数灾难问题。

(2)本发明所提算法可以根据队列信息，包括终端侧、云服务器侧和边缘服务器侧的实际数据队列与虚拟队列，动态调整任务卸载和资源分配策略，从而实现队列感知，在最小化能耗和降低排队时延之间实现动态平衡。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某个实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例中模型的场景示意图；

图2是本发明实施例中能耗性能示意图；

图3是本发明实施例中时间平均本地计算排队时延示意图；

图4是本发明实施例中时间平均端到端排队时延示意图；

图5是本发明实施例中参数V的影响示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明的基本实施例考虑一个400m×400m的偏远区域，包括30个电力物联网终端，3个无人机(边缘服务器)和1个卫星(云服务器)。无人机围绕相同的中心进行圆周飞行，飞行半径为100m，相互之间的夹角为120，飞行高度为90m，通信覆盖范围为200m。

采用两种现有的算法作为对比算法，对比算法1是基于上置信界(upperconfidence bound,UCB)的EMM算法，将其考虑的能量感知替换为队列时延感知。对比算法2为基于深度actor-critic的DAC算法，该算法忽略了队列感知。将两种算法中的任务分割比例和本地计算CPU周期频率设置为固定值，云服务器和边缘服务器平均分配其计算资源。

步骤1A_i(t)bits的新任务到达终端m_i，将其分为两个独立的部分，即在本地进行计算的任务

bits和被卸载到服务器的任务

bits。因此，在终端m_i处的任务分割可以表示为：

终端m_i维护两个缓冲队列来存储本地计算和卸载的任务，其队列积压分别为

和

表示为：

其中，

和

分别表示离开本地计算队列和任务卸载队列的任务数据量。

步骤2：a_i,j(t)＝1表示在第t个时隙服务器n_j对终端m_i可用，即m_i在n_j的通信范围内，否则a_i,j(t)＝0。由于低轨卫星的覆盖范围较大，所以云服务器n₀始终可以为m_i提供服务，而由于无人机的移动性，边缘服务器(如n_j,j≠0)则只能间歇性地为m_i提供服务。同样，本发明用二进制指示符x_i,j(t)∈{0,1}来表示终端的任务卸载策略，其中x_i,j(t)＝1表示第t个时隙m_i选择n_j进行任务卸载，否则x_i,j(t)＝0。

当m_i将任务卸载到n_j时，地面-无人机通信模型当地面与无人机进行通信时，m_i和n_j之间的路径损耗的计算公式为：

其中，d_j,t和r_i,j,t分别表示第t个时隙无人机的飞行高度以及m_i和n_j之间的水平距离，

和

分别表示视距(line-of-sight，LoS)和非视距(non-line-of-sight，NLoS)链路在自由空间路径损耗上引起的附加损耗，f_c表示载波频率，c为光速。

表示地面-无人机链路的视距概率，计算公式为：

b₁，b₂，

和

的值取决于环境状态。因此，地面-无人机链路的传输速率计算为：

其中，P_TX，B_i,j和σ²分别表示传输功率，带宽和噪声功率。

地面-卫星通信模型，卫星是终端与云服务器间通信和任务卸载的中继节点。地面-卫星的传输速率R_SG和卫星-云的传输速率R_SC保持不变，且通常小于地面-无人机的传输速率。m_i卸载且存储在卫星上的任务可被建模为一个队列，其队列更新为：

吞吐量模型在第t个时隙，从m_i卸载到n_j的任务数据量可表示为：

因此，离开m_i的任务卸载队列的数据量为：

到达终端m_i的任务可以在本地进行计算，本地计算将第t个时隙m_i可以在本地处理的任务数据量表示为

计算公式为：

其中，f_i(t)是m_i分配的CPU周期频率，λ_i为计算密度，即每bit数据所需的CPU周期。

能耗模型，终端m_i的能耗由两部分组成，即数据计算能耗

和任务卸载能耗

的计算公式为：

其中，κ表示计算功率参数。

给定x_i,j(t)，

的计算公式为：

其中等式右侧第一项和第二项分别表示通过地面-卫星链路和地面-无人机链路进行任务卸载的能耗。因此，在第t个时隙中m_i的总能耗为：

步骤3：基于里特定律(Little’s Law)，平均排队时延与平均队列长度和平均任务到达率的比值成正比。因此，传输排队时延约束可表示为：

其中，

是传输排队时延的界值，

是

的移动时间平均任务到达率，计算公式为：

计算排队时延对应于

和Y_i,j(t)的排队时延，其约束可分别表示为：

其中

和

分别表示

和Y_i,j(t)的计算排队时延界值。

和

的计算公式为：

结果反馈排队时延约束为：

联合优化问题表示为：

P1：

s.t.C₁:

C₂:

C₃:

C₄:

C₅:

C₆:

其中，

和

分别表示用于本地计算和任务卸载的任务分割向量。

表示计算资源分配向量。

表示任务卸载向量。约束C₁和C₂表示在每个时隙每个电力物联网终端只能选择一台服务器进行任务卸载。C₃为任务分割约束。C₄和C₅分别为终端侧和服务器侧的计算资源分配约束，f_i,max(t)和f_j,max(t)分别表示m_i和n_j的最大可用计算资源。C₆表示排队时延约束。

引入虚拟队列

和

虚拟队列更新公式为：

因此，P1可以等效转化为：

P2：

s.t.C₁～C₅,

C₆′:(24)～(27)是平均速率稳定的

令

表示实际队列和虚拟队列的级联向量，并将Lyapunov函数定义为：

将Lyapunov函数在两个连续时隙内的条件期望变化定义为一步Lyapunov漂移，表示为：

在队列稳定性约束下，为了最小化能耗，漂移加惩罚可定义为：

其中

表示在第t个时隙中所有终端的总能耗。V是一个非负的权重参数，对“最小化惩罚”和“队列稳定性”进行权衡。

令

为在第t个时隙可以从m_i卸载到n_j最大任务数据量，表示为：

则根据Lyapunov优化理论，在任何可能的Θ(t)以及V>0下，漂移加惩罚的上界可以表示为：

其中C为不影响Lyapunov优化结果的正常数。.

步骤4：在子问题SP1中，m_i决定第t个时隙本地计算和任务卸载间的任务分割比例，并决定分配的本地CPU周期频率。SP1表示为：

SP1:

s.t.C₃ and C₄,

C₇:

代入约束C₃与

SP1可以转化为SP1＇：

SP1＇：

s.t.C₄ and C₇,

C₈:

通过拉格朗日对偶分解法进行求解。将与约束C₄和C₇对应的拉格朗日乘子分别表示为ξ_i和ρ_i，则与SP1＇相关联的拉格朗日函数为：

基于拉格朗日对偶分解，上式分解为：

然后，根据Karush-Kuhn-Tucker条件，

和f_i(t,z+1)的最优值表示为：

其中z是拉格朗日乘子更新的迭代指数。

为一元四次方程，可通过Ferrari理论进行求解。

为一元二次方程，可以很容易地求解。通过利用梯度法，拉格朗日乘子更新公式为：

其中，

和

为步长，用于权衡收敛性和最优性。

在SP2中，m_i决定将任务卸载到云服务器n₀或某一个边缘服务器，即

则SP2表示为：

SP2:

s.t.C₁～C₂

求解SP2,设总共有100个时间段，每个时间段由100个时隙组成。算法包括以下步骤：

(1)将队列信息，任务相关信息和经验网络性能输入到actor网络和critic网络。

(2)在每个时隙，actor网络根据策略π(S_i(t)|θ)选择动作a_i(t)。然后，m_i执行动作a_i(t)，将任务卸载到n_j，观察

并根据反馈结果推断出f_i,j(t)。

(3)基于状态s_i(t)和动作a_i(t)计算成本Γ(s_i(t),a_i(t))，并转移到下一个状态s_i(t+1)。

(4)将时序差分误差定义为φ＝Γ(s_i(t),a_i(t))+γV(s_i(t+1),w)-V(s_i(t),w)，每个时隙利用时序差分误差更新critic网络参数w和actor网络参数θ，更新公式分别为：

ψ和ψ′分别是actor网络和critic网络的学习速率。

(5)更新队列信息

Y_i,j(t)，

和

直到第100个时间段的最后一个时隙结束，迭代停止。

在SP3中，云服务器或边缘服务器n_j决定在第t个时隙为处理从m_i卸载的任务而分配的CPU周期频率，表示为：

SP3:

s.t.C₅,

C₉:

求解SP3(1)初始化对于n_j来说具有计算资源需求的终端集

以及n_j可用的计算资源Δf_j,max(t)＝f_j,max(t)；(2)计算能够分配给

中任一终端m_i的最大计算资源为

并根据(43)计算相应的目标值

然后，选择具有最大目标值的终端

进行计算资源分配，即

分配的计算资源为

(3)从集合

中删除

即

并更新

重复步骤(2)；当没有终端需要计算资源时，即

或没有可用的计算资源，即Δf_j,max(t)＝0时，计算资源分配迭代终止。

对上述立体异构电力物联网云边端协同资源分配方法，进行了仿真对比实验。

将本发明提出的面向空天地一体化立体异构电力物联网提出的云边端协同任务卸载与资源分配联合优化算法命名为QUARTER。

最后一个时间段的仿真结果如图2，图2表示电力物联网终端时间平均能耗随时隙的变化情况。在100个时隙结束时，本发明所提算法QUARTER的时间平均能耗相比DAC和EMM算法分别减少了41.48％和33.52％。QUARTER在能耗方面的性能表现最好，因为它对终端侧的任务分割和资源分配进行了联合优化，从而减少了本地计算能耗。

图3展示了时间平均本地计算排队时延随时隙的变化情况。由图可知，本发明所提QUA RTER的时间平均本地计算排队时延最小，这是因为QUARTER具备队列感知能力并联合优化了任务卸载和资源分配。

图4展示了时间平均端到端排队时延随时隙的变化情况，端到端排队时延包括在传输排队时延、在服务器侧的计算排队时延和结果反馈排队时延。在100个时隙结束时，本发明所提算法QUARTER的时间平均端到端排队时延相比DAC和EMM算法分别减少了30.98％和44.56％。

图5展示了所提算法QUARTER中参数V的影响。由图可知，当V增加时，QUARTER将会更注重最小化能耗。V从10增加到100时，时间平均能耗减少了33.01％，而时间平均端到端排队时延增加了72.44％。因此，所提算法QUARTER可以动态地在最小化能耗和减少排队时延间权衡。

本发明所提QUARTER首先基于李亚普诺夫优化将立体异构电力物联网中云边端协同的长期任务卸载与资源分配问题解耦为终端侧任务分割与计算资源分配、云边端协同任务卸载、服务器侧计算资源分配三个子问题，并基于深度强化学习解决高维任务卸载问题，结合神经网络提供的复杂函数逼近能力和actor-critic算法提供的决策能力，有效解决了信息不确定下的维数灾难问题。

本发明所提算法QUARTER可以根据队列信息，包括终端侧、云服务器侧和边缘服务器侧的实际数据队列与虚拟队列，动态调整任务卸载和资源分配策略，从而实现队列感知，在最小化能耗和降低排队时延之间实现动态平衡。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (9)

1.一种立体异构电力物联网云边端协同资源分配方法，其特征在于，该方法包括5个步骤：(1)构建系统模型建立卫星、无人机及终端构成的立体异构电力物联网场景；(2)模型的细化，包括任务卸载模型、数据计算模型和能耗模型；(3)排队时延约束与联合优化问题的提出与转换；(4)基于Lyapunov优化原理联合优化问题的分解和求解，在每个时隙最小化漂移加惩罚的上界；(5)基于深度强化学习的云边端协同任务卸载决策算法。

2.根据权利要求1所述的一种立体异构电力物联网云边端协同资源分配方法，其特征在于：所述步骤(1)建立场景中卫星通过卫星骨干网与云服务器连接，为电力物联网终端提供云计算服务，无人机配备基站和边缘服务器，为电力物联网终端提供边缘计算服务，采用时隙模型，将总优化时间划分为T个时隙，每个时隙的长度相等且为

时隙集合表示为

环境信息在一个时隙内保持不变，但在不同时隙间动态变化，在每个时隙，任务以随机的方式到达终端。

3.根据权利要求1所述的一种立体异构电力物联网云边端协同资源分配方法，其特征在于：步骤(2)任务卸载模型包含地面-无人机通信模型和地面-卫星通信模型。

4.根据权利要求1所述的一种立体异构电力物联网云边端协同资源分配方法，其特征在于：步骤(2)数据计算模型中到达终端的任务可以在本地进行计算也可以卸载到云服务器或边缘服务器进行计算。

5.根据权利要求3所述的一种立体异构电力物联网云边端协同资源分配方法，其特征在于：步骤(2)能耗模型中包含地面-卫星链路和地面-无人机链路进行任务卸载的能耗。

6.根据权利要求5所述的一种立体异构电力物联网云边端协同资源分配方法，其特征在于：所述步骤(3)排队时延约束由三部分组成，即传输排队时延，计算排队时延和结果反馈排队时延。

7.根据权利要求5所述的一种立体异构电力物联网云边端协同资源分配方法，其特征在于：所述步骤(3)联合优化问题优化目标为通过云边端协同对任务分割，任务卸载和计算资源分配进行联合优化，最小化立体异构电力物联网中所有电力物联网终端的长期时间平均能耗，优化问题转换为利用李亚普诺夫(Lyapunov)优化在每个时隙内求解短期确定性优化子问题，将长期排队延迟约束转换为队列稳定性约束。

8.根据权利要求1所述的一种立体异构电力物联网云边端协同资源分配方法，其特征在于：所述步骤(4)基于Lyapunov优化原理将联合优化问题分解为终端侧任务分割与计算资源分配的联合优化；云边端协同任务卸载优化和服务器侧资源分配优化。

9.一种基于深度强化学习的云边端协同任务卸载决策算法，其特征在于，算法包括以下步骤：(1)共有G个时间段，每个时间段由T个时隙组成；

(2)将队列信息，任务相关信息和经验网络性能输入到actor网络和critic网络；

(3)在每个时隙，actor网络根据策略选择动作，然后执行动作继而将任务卸载并根据反馈结果推断出服务器分配的计算资源；

(4)基于状态和动作计算成本，并转移到下一个状态；

(5)定义时序差分误差，每个时隙利用时序差分误差更新critic网络参数和actor网络参数；

(6)更新队列信息，直到第G个时间段的最后一个时隙结束，迭代停止。

Images