CN112445617B - 一种基于移动边缘计算的负载策略选择方法及系统 - Google Patents

Abstract

本公开公开的一种基于移动边缘计算的负载策略选择方法及系统，包括：获取所有移动设备产生的任务信息和移动设备的移动轨迹；将所有移动设备产生的任务信息和移动设备的轨迹信息输入至负载优化模型中，获取最优负载策略，其中，负载优化模型为，结合移动设备的移动轨迹，基于马尔可夫决策过程描述系统的动作和状态信息，以所有移动设备产生的任务完成时间最短为目标，求解获取最优负载策略。解决了移动边缘计算下的任务负载分配问题，并使得按照最优负载策略进行负载分配时，所有移动设备产生的任务完成时间最短，从而具备最佳的使用性能，更好地满足了设备的移动特性以及任务的超低时延需求。

Description

一种基于移动边缘计算的负载策略选择方法及系统

技术领域

本发明涉及移动边缘技术领域，尤其涉及一种基于移动边缘计算的负载策略选择方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着新型移动应用程序的发展，移动设备无法满足这些新型应用程序的需求，例如增强现实、姿态识别，因为这些新型应用程序不仅计算量大而且具有时敏性，同时，由于移动设备的尺寸因素，其不仅受到计算能力的限制也受到电池寿命的限制，最有前途的解决方案是蜂窝网络通信环境下的移动边缘计算范例，移动边缘计算最关键的技术就是计算负载，其将计算任务迁移到边缘服务器端执行，相较于云计算有效降低了骨干网络的拥塞以及通信延迟，计算负载一般分为三个阶段，分别为任务上传阶段、任务处理阶段以及计算结果返回阶段。由于任务上传时的数据结构及数据规模远远大于返回时的计算结果，所以目前大多数研究集中在任务上传以及任务处理阶段。

5G技术的发展为移动边缘计算的兴起创造了先机，为了更好地满足多用户多任务下的边缘计算负载，密集分布式蜂窝通信下边缘计算模式很有必要，在该模式下，边缘服务器的状态会影响计算任务的计算时间而且多边缘服务器的状态信息是多变的，所以多边缘服务器的状态信息应该予以考虑，进而为计算负载的解决带来了复杂性。

在实际应用场景中，移动设备的移动会带来通信环境的变化，例如设备到基站的通信距离以及信号传输过程中的信号干扰等，同样地，移动特性是计算负载问题中不可忽略的关键挑战。

为了促进移动边缘计算的发展以及新型应用程序的广泛应用，多任务和多边缘服务器场景下的移动边缘计算负载问题的解决很有必要。

发明内容

本公开为了解决上述问题，提出了一种基于移动边缘计算的任务负载分配方法及系统，结合移动设备的移动特性，基于马尔可夫决策过程描述系统的动作信息，以任务负载完成时间最短为目标，求解获取最优负载策略，解决了移动边缘计算下的任务负载分配问题。

为实现上述目的，本公开采用如下技术方案：

第一方面，提出了一种基于移动边缘计算的负载策略选择方法，包括：

获取所有移动设备产生的任务信息和移动设备的移动轨迹；

将所有移动设备产生的任务信息和移动轨迹输入至负载优化模型中，获取最优负载策略，其中，负载优化模型为，结合移动设备的移动轨迹，基于马尔可夫决策过程描述系统的动作和状态信息，以所有移动设备产生的任务完成时间最短为目标，求解获取最优负载策略。

进一步的，在计算获得最优负载策略时，首先计算马尔可夫决策过程描述的系统的状态信息、动作信息和收益信息，再根据状态信息、动作信息和收益信息，以所有移动设备产生的任务完成时间最短为目标，利用深度确定性策略梯度算法求解获取最优负载策略。

第二方面，提出了一种基于移动边缘计算的负载策略选择系统，包括：

任务采集模块，用于获取所有移动设备产生的任务信息和移动设备的移动轨迹；

负载策略选择模块，用于将所有移动设备产生的任务信息和移动轨迹输入至负载优化模型中，获取最优负载策略，其中，负载优化模型为，结合移动设备的移动轨迹，基于马尔可夫决策过程描述系统的动作和状态信息，以所有移动设备产生的任务完成时间最短为目标，求解获取最优负载策略。

第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于移动边缘计算的负载策略选择方法所述的步骤。

第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于移动边缘计算的负载策略选择方法所述的步骤。

与现有技术相比，本公开的有益效果为：

1、本公开在计算负载策略时，基于移动设备的移动轨迹，结合马尔可夫决策过程对负载系统的状态和动作进行描述，以任务负载完成时间最短为目标，求解获取最优负载策略，解决了移动边缘计算下的任务负载分配问题。

2、本公开在计算负载策略时，以所有移动设备产生的任务负载完成时间最短为目标，从而使得系统按照最优负载策略进行负载分配时，使所有移动设备产生的任务完成时间最短，更好地满足了设备的移动特性以及任务的超低时延需求。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本公开实施例1中的移动边缘计算系统模型图；

图2为本公开实施例1中移动边缘计算并行负载框架图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。

本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。

实施例1

在该实施例中，公开了一种基于移动边缘计算的负载策略选择方法，包括：

获取所有移动设备产生的任务信息和移动设备的移动轨迹；

将所有移动设备产生的任务信息和移动轨迹输入至负载优化模型中，获取最优负载策略，其中，负载优化模型为，结合移动设备的移动轨迹，基于马尔可夫决策过程描述系统的动作和状态信息，以所有移动设备产生的任务完成时间最短为目标，求解获取最优负载策略。

进一步的，在计算获得最优负载策略时，首先计算马尔可夫决策过程描述的系统的状态信息、动作信息和收益信息，再根据状态信息、动作信息和收益信息，以所有移动设备产生的任务完成时间最短为目标，利用深度确定性策略梯度算法求解获取最优负载策略。

进一步的，状态信息包括，宏基站边缘服务器的状态信息和微基站边缘服务器的状态信息，其中，

宏基站边缘服务器的状态信息由某一时间段内宏基站边缘服务器处理任务所消耗的CPU周期数与该时间段内所有移动设备产生的负载到宏基站服务器的任务的数据规模计算获得；

微基站边缘服务器的状态信息由某一时间段内微基站边缘服务器处理任务所消耗的CPU周期数与该时间段内所有移动设备产生的负载到微基站服务器的任务的数据规模计算获得。

进一步的，动作信息包括，移动设备产生的负载到微基站边缘服务器的任务的数据规模与负载到宏基站边缘服务器的任务的数据规模。

进一步的，根据某一时间段内所有移动设备产生的任务完成时间计算系统的收益信息。

进一步的，从所有移动设备产生的负载到宏基站的任务完成时间和负载到微基站的任务完成时间中选取最大值获得所有移动设备产生的任务完成时间。

进一步的，将宏基站的信号覆盖区域平均划分为多个小区域，处于同一小区域内的不同移动设备到通信基站的距离相同，每个小区域最多部署一个微基站。

进一步的，计算负载到宏基站的任务完成时间时，首先计算负载与宏基站通信时上行链路数据传输速率；根据该上行链路数据传输速率计算任务完成时间；

计算负载到微基站的任务完成时间时，首先计算负载与微基站通信时上行链路数据传输速率；根据该上行链路数据传输速率计算任务完成时间。

结合图1、2对本实施例公开的一种基于移动边缘计算的负载策略选择方法进行详细说明。

一种基于移动边缘计算的负载策略选择方法，获取的最优负载策略能够满足移动设备的移动性，并能够使任务完成时间最短。

包括以下步骤：

步骤1、建立基于“小区域”的移动边缘计算系统模型，如图1所示，具体如下：

设定移动边缘计算系统有1个宏基站和m个微基站组成，微基站密集分布于宏基站的覆盖区域内，每个基站都部署有为移动设备提供计算服务的边缘服务器；宏基站端部署的边缘服务其性能远远大于微基站端部署的边缘服务器；移动设备随机分布于宏基站信号覆盖区域内，并且每个移动设备都会产生计算密集型与超低时延型的计算任务；每个移动设备可以实现在与微基站通信的同时并与宏基站通信；基于两种基站的同时通信，每个移动设备产生的计算任务可以划分成两部分实现并行执行，一部分可以负载到宏基站的边缘服务器执行，另一部分可以负载到一个与之相关联的微基站端的边缘服务器执行；每个边缘服务器都是一个队列网络，先到达的任务首先会被存储于任务队列，然后采用先来先服务机制调度执行；将宏基站的信号覆盖区域平均划分成E个小区域，处于同一小区域内的不同移动设备到通信基站的距离相同；小区域的范围小于微基站的信号覆盖范围，因此每个小区域最多部署有一个微基站；宏基站端部署有中央控制器，可以收集每个移动设备的位置信息、产生的任务信息以及每个边缘服务器的状态信息，同时依据负载决策起到任务负载调度作用；负载决策的本质是基于小区域的任务负载调度模式，移动设备所处的小区域信息决定了计算任务的负载方式；

设定基站与相应的边缘服务器代称一致，边缘服务器集合为{serve 0，serve1，...，serve m}，其中serve 0指的是宏基站端部署的边缘服务器，其余m个边缘服务器分别是微基站端部署的边缘服务器；设定有G类计算密集型和超低延迟型的计算任务需要被执行；任务的表示形式为k_i＝{d_i，c_i}，i∈G，其中d_i定义为计算任务的数据规模(bits)，c_i定义为执行每bit任务数据所需要的CPU周期；每个任务都可以被划分成两部分分别负载到宏基站边缘服务器与微基站边缘服务器并行执行；结合图2，设定小区域的索引为{1，2，...，E}，以移动设备j产生的任务k_i为例介绍该任务的负载流程，移动设备j所在的小区域的索引为e_j∈{1，2，...，E}，在该小区域内产生的任务k_i，其任务数据规模为

将其划分成两部分，分别是负载到微基站bs边缘服务器的数据

与负载到宏基站边缘服务器的数据

步骤2、设计移动边缘计算通信模型，具体如下：

本实施例在移动设备和基站之间使用正交频分多址技术作为通信基础；设定与同一基站通信的移动设备被分配了正交频谱，而且宏基站与微基站之间的频谱也正交，因此本实施例仅考虑微基站之间的小区间干扰；在通信模型中，仅考虑上行通信链路，即数据从移动设备传输到基站的过程；设定移动设备到宏基站的传输功率为P_M，到微基站的传输功率为P_S。

当移动设备j与宏基站通信时，上传链路中的信号干扰加噪声比r_j，0表示为：

式中，G_r为天线增益，L₀和α分别为参考单位距离处的路径损耗和路径损耗指数，P_W为高斯白噪声功率。

移动设备j与宏基站上行链路的数据传输速率表示R_j，0为：

式中，W_MBS是宏基站所拥有的通信带宽，N₀表示为与宏基站通信的移动设备数；

当移动设备j与微基站通信时，上传链路中的信号干扰加噪声比r_j，bs表示为：

式中，

表示为微基站之间的小区间干扰。

移动设备j与微基站bs上行链路的数据传输速率R_j，bs表示为：

式中，W_SBS为微基站bs所拥有的通信带宽，N_bs表示为与微基站通信的移动设备数。

步骤3、设计移动边缘计算模型，具体如下：

在移动边缘计算模型中，本实施例设定边缘服务器的工作机制，即先来先服务，因此任务会产生在服务器上的等待时间；步骤2中，依据任务的负载流程，涉及任务的上传时间、等待时间以及计算时间的设计；设定边缘服务器的状态信息为{s₀，s₁，...，s_m}，其中s_m表示边缘服务器m上等待处理的任务计算完成时所需要的CPU周期数；设定边缘服务器的计算性能(时钟频率)为{w₀，w₁，...，w_m}。

(1)负载到微基站：结合图2中的并行负载框架，处于小区域e_j内的移动设备j将任务k_i划分成两部分，其中数据规模为

的部分任务负载到微基站bs端的边缘服务器执行；在该过程中，负载到微基站bs的任务完成时间

为：

式中，三部分依次表示小区域e_j内的任务k_i负载到微基站bs时的上传时间、等待时间以及计算时间。

(2)负载到宏基站：结合图2中的并行负载框架，处于小区域e_j内的移动设备j将任务k_i划分成两部分，其中数据规模为

的部分任务负载到宏基站端的边缘服务器执行；在该过程中，负载到宏基站的任务完成时间

为：

式中，三部分依次表示小区域e_j内的任务k_i负载到宏基站时的上传时间、等待时间以及计算时间。

(3)结合图2，处于小区域e_j内的移动设备j将任务k_i划分成两部分并行负载执行，因此在该过程中，所有移动设备的任务的完成时间

为：

式(8)表示移动设备只选择一个微基站进行计算负载。

(4)在多任务的移动边缘计算的负载策略选择时，本实施例追求所有移动设备产生的任务完成时间最短，因此设定所有移动设备产生的任务完成时间最小化的优化目标U为：

0≤N_k≤N_max，k，k∈{0，1，2，...，m} (9a)

其中，(9a)表示关联到边缘基站k的用户数N_k不能超过基站的最大服务用户数限制N_max，k；(9b)表示负载到微基站的任务规模为非负实数且不能超过任务本身规模；(9c)表示在选择微基站进行任务负载时最多选择一个；(9d)表示任务被划分为两部分进行负载，一部分负载到微基站服务器，另一部分负载到宏基站服务器；(9e)表示边缘服务器k接收到的任务规模不能超过服务器本身的最大存储限制D_max，k。

步骤4、结合移动设备的移动特性，基于马尔可夫决策过程描述系统的动作和状态信息，以任务完成时间最短为目标，求解获取最优负载策略，具体如下：

本实施例将连续时间离散成时间段，设定每个时间段内都会有一批任务请求根据负载决策到达相应的边缘服务器；每个时间段的长度为τ；由于每个边缘服务器都被塑造成任务队列系统，所以当前的边缘服务器状态可以影响到达任务的完成时间以及时间段l内的负载决策取决于当前的通信环境以及时间段l-1结束时的边缘服务器状态信息；基于以上描述，本实施例将步骤3中的基于任务完成时间最短的优化目标问题转化成马尔可夫决策问题。

设定负载系统在时间段l开始时的状态信息为

其中

表示宏基站端服务器在时间段l开始时的状态信息(任务队列中等待处理的任务完成时所需要的CPU周期数)，

表示微基站端服务器在时间段l开始时的状态信息；在时间端l内，中央控制器所采取的动作决策定义为

bs∈{1，2，...，m}，其中

定义为小区域e内产生的任务i向微基站bs端边缘服务器负载的数据规模；为了便于分析动作对系统状态带来的影响，定义时间段l内微基站边缘服务器bs处理任务所消耗的CPU周期数为：

根据负载系统在时间段l所做的动作可以得知时间段l+1开始时负载系统的状态信息，即每个边缘服务器的状态信息，如式(11)所示：

式中，

表示时间段l内宏基站边缘服务器处理任务所消耗的CPU周期数，

表示时间段l内小区域e_j内产生的任务i负载到宏基站服务器的任务的数据规模。

负载系统在系统状态为S^l，执行动作a^l后获得的收益定义为：

式中，

表示为在时间段l小区域e_j内产生的任务请求i的执行完成时间；负载系统在l_max个时间段内追求最大收益，即在l_max个时间段内所有移动设备产生的所有类型的计算任务的完成时间总和最短，则负载系统的优化目标为：

式中，Ψ^*为负载系统的最优动作策略，即最优负载策略，该策略本质为不同时间段不同区域内产生的不同任务的负载策略。

本实施例根据系统的状态信息、决策信息和收益信息，以所有移动设备产生的任务完成时间最短为目标，利用深度强化学习中的深度确定性策略梯度算法求解，获取最优负载策略。

深度确定性策略梯度算法求解最优负载策略的具体过程为：

初始化critic网络Q(S^l，a^l；w)与actor网络μ_θ(S^l)，并初始化各自参数w与θ。

初始化critic目标网络Q’(S^l，a^l；w’)与actor目标网络μ’_θ’(S^l)，并初始化各自参数w’^Q’←w^Q与θ’^μ’←θ^μ。

初始化回放缓存R。

初始化移动边缘计算环境，包括边缘基站和服务器位置、基于小区域的移动设备移动轨迹以及移动设备产生的任务信息

在M个迭代回合中：

初始化一个随机过程

用于动作探索；

初始化移动边缘计算环境中服务器的初始状态S0

在时间段l＝0，...，L_max内：

根据当前策略和探索噪声选择动作

结合移动边缘计算环境，执行动作a^l和得到奖励U^l与下一个态S^l+1；

将当前状态，当前动作，当前奖励和下一个状态(S^l，a^l，U^l，S^l+1)存储于R中；

从R中随机抽N个样本(Sⁱ，aⁱ，Uⁱ，Sⁱ⁺¹)；

y_i＝Uⁱ+γQ’(Sⁱ⁺¹，μ’_θ’(Sⁱ⁺¹)；w’)；

通过最小化损失函数更新critic网络：

通过样本中策略梯度更新actor网络：

更新目标网络：

θ’^μ’＝τθ^μ+(1-τ)θ’^μ’

w’^Q’＝τw^Q+(1-τ)w’^Q’

输出最优负载策略。

本实施例公开的一种基于移动边缘计算的负载策略选择方法，基于“小区域”的移动边缘计算系统模型可以更好地满足设备的移动特性；以追求所有移动设备产生的任务完成时间最短为目标解决了多任务和多边缘服务器场景下的移动边缘计算的负载分配问题，即边缘服务器的选择以及任务的负载划分规模问题，为5G通信环境下移动边缘计算项目的低延迟运行提供了技术基础。

具备以下优点：

1、本公开在计算负载策略时，基于移动设备的移动特性，结合马尔可夫决策过程对负载系统的状态和动作进行描述，以所有移动设备产生的任务完成时间最短为目标，求解获取最优负载策略，解决了移动边缘计算下的任务负载分配问题。

2、本公开在计算负载策略时，以所有移动设备产生的任务负载完成时间最短为目标，从而使得任务负载按照最优负载策略进行负载分配时，使所有移动设备产生的任务完成时间最短，更好地满足了设备的移动特性以及任务的超低时延需求。

实施例2

在该实施例中，公开了一种基于移动边缘计算的负载策略选择系统，包括：

任务采集模块，用于获取所有移动设备产生的任务信息和移动设备的移动轨迹；

负载策略选择模块，用于将所有移动设备产生的任务信息和移动轨迹输入至负载优化模型中，获取最优负载策略，其中，负载优化模型为，结合移动设备的移动轨迹，基于马尔可夫决策过程描述系统的动作和状态信息，以所有移动设备产生的任务完成时间最短为目标，求解获取最优负载策略。

实施例3

在该实施例中，公开了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1公开的一种基于移动边缘计算的负载策略选择方法所述的步骤。

实施例4

在该实施例中，公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1公开的一种基于移动边缘计算的负载策略选择方法所述的步骤。

以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (9)

1.一种基于移动边缘计算的负载策略选择方法，其特征在于，包括：

获取所有移动设备产生的任务信息和移动设备的移动轨迹；

将所有移动设备产生的任务信息和移动轨迹输入至负载优化模型中，获取最优负载策略，其中，负载优化模型为，结合移动设备的移动轨迹，基于马尔可夫决策过程描述系统的动作和状态信息，以所有移动设备产生的任务完成时间最短为目标，求解获取最优负载策略；在计算获得最优负载策略时，首先计算马尔可夫决策过程描述的系统的状态信息、动作信息和收益信息，再根据状态信息、动作信息和收益信息，以所有移动设备产生的任务完成时间最短为目标，利用深度确定性策略梯度算法求解获取最优负载策略；

深度确定性策略梯度算法求解最优负载策略的具体过程为：

初始化critic网络Q(S^l,a^l；w)与actor网络μ_θ(S^l)，并初始化各自参数w与θ；

初始化critic目标网络Q’(S^l,a^l；w’)与actor目标网络μ’_θ’(S^l)，并初始化各自参数w’^Q’←w^Q与θ’^μ’←θ^μ；

初始化回放缓存R；

初始化移动边缘计算环境，包括边缘基站和服务器位置、基于小区域的移动设备移动轨迹以及移动设备产生的任务信息；

在M个迭代回合中：

初始化一个随机过程N用于动作探索；

初始化移动边缘计算环境中服务器的初始状态S⁰；

在时间段l＝0,...,L_max内：

根据当前策略和探索噪声选择动作a^l＝μ_θ(S^l)+N^l；

结合移动边缘计算环境，执行动作a^l和得到奖励U^l与下一个态S^l+1；

将当前状态，当前动作，当前奖励和下一个状态(S^l,a^l,U^l,S^l+1)存储于R中；

从R中随机抽N个样本(Sⁱ,aⁱ,Uⁱ,Sⁱ⁺¹)；

y_i＝Uⁱ+γQ’(Sⁱ⁺¹,μ’_θ’(Sⁱ⁺¹)；w’)；

通过最小化损失函数更新critic网络：

通过样本中策略梯度更新actor网络：

更新目标网络：

θ’^μ’＝τθ^μ+(1-τ)θ’^μ’；

w’^Q’＝τw^Q+(1-τ)w’^Q’；

输出最优负载策略；

其中，设定负载系统在时间段l开始时的状态信息为

表示宏基站端服务器在时间段l开始时的状态信息，

表示微基站端服务器在时间段l开始时的状态信息；在时间端l内，中央控制器所采取的动作决策定义为

其中

定义为小区域e内产生的任务i向微基站bs端边缘服务器负载的数据规模。

2.如权利要求1所述的一种基于移动边缘计算的负载策略选择方法，其特征在于，状态信息包括，宏基站边缘服务器的状态信息和微基站边缘服务器的状态信息，其中，

宏基站边缘服务器的状态信息由某一时间段内宏基站边缘服务器处理任务所消耗的CPU周期数与该时间段内所有移动设备产生的负载到宏基站服务器的任务的数据规模计算获得；

微基站边缘服务器的状态信息由某一时间段内微基站边缘服务器处理任务所消耗的CPU周期数与该时间段内所有移动设备产生的负载到微基站服务器的任务的数据规模计算获得。

3.如权利要求1所述的一种基于移动边缘计算的负载策略选择方法，其特征在于，动作信息包括，移动设备产生的负载到微基站边缘服务器的任务的数据规模与负载到宏基站边缘服务器的任务的数据规模。

4.如权利要求1所述的一种基于移动边缘计算的负载策略选择方法，其特征在于，根据某一时间段内所有移动设备产生的任务完成时间计算系统的收益信息。

5.如权利要求4所述的一种基于移动边缘计算的负载策略选择方法，其特征在于，从所有移动设备产生的负载到宏基站的任务完成时间和负载到微基站的任务完成时间中选取最大值获得所有移动设备产生的任务完成时间。

6.如权利要求1所述的一种基于移动边缘计算的负载策略选择方法，其特征在于，将宏基站的信号覆盖区域平均划分为多个小区域，处于同一小区域内的不同移动设备到通信基站的距离相同，每个小区域最多部署一个微基站。

7.一种基于移动边缘计算的负载策略选择系统，其特征在于，包括：

任务采集模块，用于获取所有移动设备产生的任务信息和移动设备的移动轨迹；

负载策略选择模块，用于将所有移动设备产生的任务信息和移动轨迹输入至负载优化模型中，获取最优负载策略，其中，负载优化模型为，结合移动设备的移动轨迹，基于马尔可夫决策过程描述系统的动作和状态信息，以所有移动设备产生的任务完成时间最短为目标，求解获取最优负载策略；在计算获得最优负载策略时，首先计算马尔可夫决策过程描述的系统的状态信息、动作信息和收益信息，再根据状态信息、动作信息和收益信息，以所有移动设备产生的任务完成时间最短为目标，利用深度确定性策略梯度算法求解获取最优负载策略；在计算获得最优负载策略时，首先计算马尔可夫决策过程描述的系统的状态信息、动作信息和收益信息，再根据状态信息、动作信息和收益信息，以所有移动设备产生的任务完成时间最短为目标，利用深度确定性策略梯度算法求解获取最优负载策略；

深度确定性策略梯度算法求解最优负载策略的具体过程为：

初始化critic网络Q(S^l,a^l；w)与actor网络μ_θ(S^l)，并初始化各自参数w与θ；

初始化critic目标网络Q’(S^l,a^l；w’)与actor目标网络μ’_θ’(S^l)，并初始化各自参数w’^Q’←w^Q与θ’^μ’←θ^μ；

初始化回放缓存R；

初始化移动边缘计算环境，包括边缘基站和服务器位置、基于小区域的移动设备移动轨迹以及移动设备产生的任务信息；

在M个迭代回合中：

初始化一个随机过程N用于动作探索；

初始化移动边缘计算环境中服务器的初始状态S⁰；

在时间段l＝0,...,L_max内：

根据当前策略和探索噪声选择动作a^l＝μ_θ(S^l)+N^l；

结合移动边缘计算环境，执行动作a^l和得到奖励U^l与下一个态S^l+1；

将当前状态，当前动作，当前奖励和下一个状态(S^l,a^l,U^l,S^l+1)存储于R中；

从R中随机抽N个样本(Sⁱ,aⁱ,Uⁱ,Sⁱ⁺¹)；

y_i＝Uⁱ+γQ’(Sⁱ⁺¹,μ’_θ’(Sⁱ⁺¹)；w’)；

通过最小化损失函数更新critic网络：

通过样本中策略梯度更新actor网络：

更新目标网络：

θ’^μ’＝τθ^μ+(1-τ)θ’^μ’；

w’^Q’＝τw^Q+(1-τ)w’^Q’；

输出最优负载策略；

其中，设定负载系统在时间段l开始时的状态信息为

表示宏基站端服务器在时间段l开始时的状态信息，

表示微基站端服务器在时间段l开始时的状态信息；在时间端l内，中央控制器所采取的动作决策定义为

其中

定义为小区域e内产生的任务i向微基站bs端边缘服务器负载的数据规模。

8.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项所述的一种基于移动边缘计算的负载策略选择方法的步骤。

9.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的一种基于移动边缘计算的负载策略选择方法的步骤。

Images