CN116528299A - 移动感知边缘计算系统中联合卸载与微服务部署决策优化方法 - Google Patents

Abstract

移动感知边缘计算系统中联合卸载与微服务部署决策优化方法，包括：首先，将系统的时间划分为若干个时隙，系统中包含若干边缘服务器和处于移动中的用户，每个用户都会在时隙开始时产生一个微服务任务，微服务由若干个分层的镜像组成；以边缘服务器镜像加载决策、任务卸载、传输决策为优化变量，优化系统加权吞吐量和时延效用；最后，与环境交互获得奖励，即得到系统效用。本发明设计了移动感知MEC系统中多个用户设备的计算任务卸载模型，在线设计系统中的边缘服务器的微服务部署策略，并设计卸载，来增加系统吞吐量、降低时延。本发明能够有效地利用边缘服务器的存储和计算资源，适应用户设备的移动性和任务需求的变化，提高系统性能和用户体验。

Description

移动感知边缘计算系统中联合卸载与微服务部署决策优化 方法

技术领域

本发明属于基于微服务的5G网络边缘计算卸载技术与资源分配领域，尤其涉及到有多个移动的用户设备的MEC系统的任务卸载与计算、微服务部署的方法。

背景技术

近年来，由于智能移动设备和5G的快速发展，产生了许多延迟敏感和计算密集型应用，移动边缘计算为此类应用在用户设备的运行提供了灵活的处理方式，大大提高了用户的体验质量，例如减少时延、降低能耗等。同时，基于容器技术的微服务架构与MEC的结合能够帮助改善应用的可用性、安全性和效率，已经受到了广泛关注。然而，边缘服务器的计算、存储资源都相对有限，且轻量级的微服务往往需要频繁开启与关闭。如何在有效的边缘计算资源下，联合优化卸载与微服务部署方案，使系统的吞吐量增加、时延减少，尚未得到解决。

发明内容

本发明要克服现有技术的上述缺点，提供移动感知边缘计算系统中联合卸载与微服务部署决策优化方法。

针对上述问题，本发明利用移动边缘计算的优势，设计了移动感知MEC系统中，多个用户设备的计算任务卸载模型，在线设计系统中的边缘服务器的微服务部署策略，并设计卸载，来增加系统吞吐量、降低时延。

为了实现上述目的，本发明提供如下的发明步骤：

移动感知边缘计算系统中联合卸载与微服务部署决策优化方法，其针对基于微服务架构的多边缘节点系统提出了高效的在线卸载方法，所述方法包括如下步骤：

步骤1：将边缘计算系统的时间划分为若干个长度为τ的时隙，时隙 将系统中的N个边缘服务器的索引表示/>边缘服务器n与n′之间的上行带宽表示为ω_n,n′，不存在连接的服务器间的值为0。任何边缘服务器都可以直接向云服务器/>传输任务，且云服务器/>已经缓存了所有类型的微服务。

步骤2：在系统中，存在M个处于移动中的用户，索引表示为 在时隙t时，第m个用户和边缘服务器之间的距离表示为/> 其中第n个边缘服务器的服务范围为c_n。将第m个用户在时隙t是否被第n个边缘服务器覆盖表示为如下定义的二元变量：

步骤3：每个用户都会在时隙t开始时产生一个随机微服务类型的计算任务，在系统中共有Z种微服务，索引表示为其中，每一种微服务都由若干个分层的镜像组成，将系统中的I种镜像表示为/>其中第i个镜像的大小表示为b_i。

步骤4：根据步骤3，将第z个微服务所需的镜像表示为集合 其中/>表示第z个微服务是否需要镜像i。

步骤5：将用户m在时隙t产生的任务表示为元组其中/>表示任务的类型，/>表示任务的期望截止时间，/>表示任务大小，以批次为单位。批次是系统对任务大小的通用衡量单位，计算一个批次数据需要ψ个CPU周期。

步骤6：将第n个边缘服务器的计算资源表示为元组G_n＝(h_n,r_n,f_n)，其中h_n表示服务器的存储资源大小，r_n表示服务器加载镜像的速度，f_n表示服务器的CPU计算能力。将第n个服务器计算1个批次数据的时延表示为常数

步骤7：将边缘服务器的每个时隙划分为两个阶段，首先，服务器根据镜像缓存策略加载微服务镜像，开启微服务。之后，服务器以批次为单位进行任务计算。将第n个边缘服务器在时隙t时的镜像加载策略表示为 其中

步骤8：第n个边缘服务器在时隙t开启所有微服务的时间取决于当前时隙的镜像加载策略以及在上一个时隙已经加载了的镜像，当二者出现差别时，服务器需要删除本时隙不加载的镜像(不考虑这部分的成本)，以及加载缺失的镜像。第n个边缘服务器开启所有微服务的时间表示为：

步骤9：根据步骤8，计算服务器n在时隙t剩余时间能够处理的数据批次数量为

步骤10：用户的任务首先需要卸载到附近的边缘服务器，随后该服务器可以将任务在本地执行，或者分发到一跳之内的临近边缘服务器执行，又或者直接上传到云服务器执行。首先，第m个用户的任务选择一个处于其覆盖范围内的边缘服务器进行卸载，表示为：

其次，由于任务支持部分卸载，还需要决定第m个用户的任务将在哪些服务器进行计算(包括云服务器)，表示为：

其中表示第m个用户的任务在服务器n′所完成的批次数量。

步骤11：结合步骤1-10，将边缘服务器镜像加载决策向量表示为μ_t＝[μ_1,t,μ_2,t,…,μ_N,t]，将任务的卸载、传输决策变量表示为与/>使用效用来衡量系统性能，从吞吐量和时延两个维度考虑，表示为二者的加权和：U_t＝w₁U_1,t+w₂U_2,t。其中吞吐量效用为任务在边缘服务器计算所完成批次数量/>占的比例，即需要去除在云服务器完成的批次，表示为：/>时延效用为任务在边缘服务器计算，且在其期望的截止时间/>之前完成批次比例。将能够在期限前完成的批次数量表示为/>于是时延效用表示为：/>建立如下关于任务卸载的数学模型：

其中问题/>描述的是多个移动中的用户设备，在有限的计算资源约束下，最大化系统加权吞吐量和时延效用的问题，问题的决策包括边缘服务器的镜像加载策略，任务的卸载、传输策略。约束(A1)表示服务器所加载镜像的大小不能超过其存储资源的大小。约束(A2)和(A3)第m个用户的任务会被卸载到一个且只能卸载到一个边缘服务器，且该用户需要处于要卸载的边缘服务器的覆盖范围。约束(A4)表示任务必须被全部完成。约束(A5)表示服务器n向服务器n′传输的任务总和不能超过它们的带宽。约束(A6)表示服务器n′在时隙t所计算的任务总和不能超过它能够处理的任务批次数量。

步骤12：将原问题转化为马尔可夫决策过程(Markov decision process，MDP)问题。时隙t的状态状态定义为当前用户位置与用户产生的任务/>表示为：/>时隙t的动作定义为服务器镜像加载决策μ_t＝[μ_1,t,μ_2,t,…,μ_N,t]与任务卸载、传输决策/> 表示为：/>将奖励方程定义为：

步骤13：使用优势演员-评论员(advantage actor-critic，A2C)算法求解步骤12中定义的MDP问题。使用一个演员网络π(a|s；θ)和一个评论员网络v(s；w)，其中θ与w分别表示演员网络和评论员网络的参数。在时隙t，根据当前状态s_t，π(a|s_t；θ)生成决策，v(s_t；w)对动作进行价值估计。网络参数使用k步折扣奖励进行更新，折扣因子设置为γ，如下表示：

步骤14：将评论员网络的损失函数表示为：

L_v(w)＝(R_t-v(s_t；w))² (9)

评论员网络的损失函数累计梯度进行如下更新：

演员网络的损失函数表示为：

L_π(θ)＝logπ(a_t|s_t；θ)(R_t-v(s_t；w))+κH(π(s_t；θ)) (11)

其中，H(π(a|s；θ))为熵。演员网络损失函数累计梯度进行如下更新：

其中κ为超参数，表示对θ′求偏导。

步骤15：根据步骤14得到的演员网络和评论员网络的累计梯度计算值，根据RMSProp算法进行参数更新。RMSProp估计梯度表示为：

g＝αg+(1-α)Δθ² (13)

其中α是动量，Δθ为损失函数的累积梯度。参数更新方式表示为：

其中λ_v是更新步长，也称为学习率，∈是一个值极小的正数，主要为了防止出现被除数为0的情况。

步骤16：与环境交互获得奖励，即得到系统效用。首先根据演员网络给出的动作，转换成对应的镜像加载、卸载传输策略，然后应用这些策略，使服务器加载对应的镜像，开启微服务，将任务卸载、传输到目的服务器。将每个服务器的任务以截止时间进行升序排序，按顺序且以批次为单位依次计算任务。统计服务器完成的批次量，完成且在截止时间前完成的批次量，根据效用计算公式得到效用和奖励。

步骤17：在每个时隙，重复步骤16。每经过t_max个时隙，根据步骤13-15估计价值，对演员网络和评论员网络进行累计梯度计算和参数更新。

本发明的有益效果是：利用移动边缘计算的优势，设计了一个联合优化卸载与微服务部署的决策方法，可以根据用户的移动性和任务类型，动态地调整边缘服务器的镜像缓存策略和任务卸载策略。本发明可以提高系统的吞吐量、降低时延、节省能耗、提高用户体验质量。

附图说明：

图1是本发明的移动感知边缘计算系统中联合卸载与微服务部署模型示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

结合图1，移动感知边缘计算系统中联合卸载与微服务部署决策优化方法，包括如下步骤：

步骤1：将边缘计算系统的时间划分为若干个长度为τ的时隙，时隙 系统中包含N个边缘服务器，索引表示/>边缘服务器n与n′之间的上行带宽表示为ω_n,n′，如果二者之间不存在连接，则该值为0。任何边缘服务器都可以直接向云服务器/>传输任务，且云服务器/>已经缓存了所有类型的微服务。

步骤2：如图1所示，在系统中，存在M个处于移动中的用户，索引表示为在时隙t时，第m个用户和边缘服务器之间的距离表示为其中第n个边缘服务器的服务范围为c_n。将第m个用户在时隙t是否被第n个边缘服务器覆盖表示为如下定义的二元变量：

步骤3：每个用户都会在时隙t开始时产生一个随机微服务类型的计算任务，在系统中共有Z种微服务，索引表示为其中，每一种微服务都由若干个分层的镜像组成，将系统中的I种镜像表示为/>其中第i个镜像的大小表示为b_i。

步骤4：根据步骤3，将第z个微服务所需的镜像表示为集合 其中/>表示第z个微服务是否需要镜像i。

步骤5：将用户m在时隙t产生的任务表示为元组其中/>表示任务的类型，/>表示任务的期望截止时间，/>表示任务大小，以批次为单位。批次是系统对任务大小的通用衡量单位，计算一个批次数据需要ψ个CPU周期。

步骤6：将第n个边缘服务器的计算资源表示为元组G_n＝(h_n,r_n,f_n)，其中h_n表示服务器的存储资源大小，r_n表示服务器加载镜像的速度，f_n表示服务器的CPU计算能力。将第n个服务器计算1个批次数据的时延表示为常数

步骤7：将边缘服务器的每个时隙划分为两个阶段，首先，边缘服务器需要根据镜像缓存策略加载微服务镜像，从而开启微服务，开启之后，边缘服务器可以以批次为单位进行任务计算。想要缓存微服务，则服务器必须加载其对应的镜像，将第n个边缘服务器在时隙t时的镜像加载策略表示为 其中

步骤8：第n个边缘服务器在时隙t开启所有微服务的时间取决于当前时隙的镜像加载策略以及在上一个时隙已经加载了的镜像，当二者出现差别时，服务器需要删除本时隙不加载的镜像(不考虑这部分的成本)，以及加载缺失的镜像。因此，第n个边缘服务器开启所有微服务的时间就是加载缺失镜像的时间，如下表示：

步骤9：根据步骤8，计算服务器n在时隙t剩余时间能够处理的数据批次数量为

步骤10：用户的任务首先需要卸载到附近的边缘服务器，随后该服务器可以将任务在本地执行，或者分发到一跳之内的临近边缘服务器执行，又或者直接上传到云服务器执行。首先，第m个用户的任务需要选择一个处于其覆盖范围内的边缘服务器进行卸载，表示为：

其次，决定第m个用户的任务将在哪些服务器进行计算(包括云服务器)的决策变量表示为：

其中表示第m个用户的任务在服务器n′所完成的批次数量。

步骤11：结合步骤1-10，将边缘服务器镜像加载决策向量表示为μ_t＝[μ_1,t,μ_2,t,…,μ_N,t]，将任务的卸载、传输决策变量表示为与/>使用效用来衡量系统性能，从吞吐量和时延两个维度考虑，表示为二者的加权和：U_t＝w₁U_1,t+w₂U_2,t。其中吞吐量效用为任务在边缘服务器计算所完成批次数量/>占的比例，即需要去除在云服务器完成的批次，表示为：/>时延效用为任务在边缘服务器计算，且在其期望的截止时间/>之前完成批次比例。将能够在期限前完成的批次数量表示为/>于是时延效用表示为：/>建立如下关于任务卸载的数学模型：

其中问题/>描述的是多个移动中的用户设备，在有限的计算资源约束下，最大化系统加权吞吐量和时延效用的问题，问题的决策包括边缘服务器的镜像加载策略，任务的卸载、传输策略。约束(A1)表示服务器所加载镜像的大小不能超过其存储资源的大小。约束(A2)和(A3)第m个用户的任务会被卸载到一个且只能卸载到一个边缘服务器，且该用户需要处于要卸载的边缘服务器的覆盖范围。约束(A4)表示任务必须被全部完成。约束(A5)表示服务器n向服务器n′传输的任务总和不能超过它们的带宽。约束(A6)表示服务器n′在时隙t所计算的任务总和不能超过它能够处理的任务批次数量。

步骤12：将原问题转化为马尔可夫决策过程(Markov decision process，MDP)问题。时隙t的状态状态定义为当前用户位置与用户产生的任务/>表示为：/>时隙t的动作定义为服务器镜像加载决策μ_t＝[μ_1,t,μ_2,t,…,μ_N,t]与任务卸载、传输决策/> 表示为：/>将奖励方程定义为：

步骤13：使用优势演员-评论员(advantage actor-critic，A2C)算法求解步骤12中定义的MDP问题。使用一个演员网络π(a|s；θ)和一个评论员网络v(s；w)，其中θ与w分别表示演员网络和评论员网络的参数。在时隙t，根据当前状态s_t，π(a|s_t；θ)生成决策，v(s_t；w)对动作进行价值估计。网络参数使用k步折扣奖励进行更新，折扣因子设置为γ，如下表示：

步骤14：将评论员网络的损失函数表示为：

L_v(w)＝(R_t-v(s_t；w))² (9)

评论员网络的损失函数累计梯度进行如下更新：

演员网络的损失函数表示为：

L_π(θ)＝logπ(a_t|s_t；θ)(R_t-v(s_t；w))+κH(π(s_t；θ)) (11)

其中，H(π(a|s；θ))为熵。演员网络损失函数累计梯度进行如下更新：

其中κ为超参数，表示对θ′求偏导。

步骤15：根据步骤14得到的演员网络和评论员网络的累计梯度计算值，根据RMSProp算法进行参数更新。RMSProp估计梯度表示为：

g＝αg+(1-α)Δθ² (13)

其中α是动量，Δθ为损失函数的累积梯度。参数更新方式表示为：

其中λ_v是更新步长，也称为学习率，∈是一个值极小的正数。

步骤16：与环境交互得到系统效用。首先根据演员网络给出的动作，转换成对应的镜像加载、卸载传输策略，然后应用这些策略，使服务器加载对应的镜像，开启微服务，将任务卸载、传输到目的服务器。将每个服务器的任务以截止时间进行升序排序，按顺序且以批次为单位依次计算任务。统计服务器完成的批次量，完成且在截止时间前完成的批次量，根据效用计算公式得到效用和奖励。

步骤17：在每个时隙，重复步骤16。每经过t_max个时隙，根据步骤13-15估计价值，对演员网络和评论员网络进行累计梯度计算和参数更新。

本发明利用移动边缘计算的优势，设计了移动感知MEC系统中，多个用户设备的计算任务卸载模型，在线设计系统中的边缘服务器的微服务部署策略，并设计卸载，来增加系统吞吐量、降低时延。本发明能够有效地利用边缘服务器的存储和计算资源，适应用户设备的移动性和任务需求的变化，提高系统性能和用户体验。

针对图1所示的移动感知边缘计算系统中联合卸载与微服务部署模型来说明本发明的具体实施方案。

首先，将系统的时间划分为若干个长度为τ的时隙，系统中包含N个边缘服务器和M个处于移动中的用户，每个用户都会在时隙t开始时产生一个随机微服务类型的计算任务，每一种微服务都由若干个分层的镜像组成，系统中共有Z种微服务和I种镜像。边缘服务器之间和云服务器之间有上行带宽限制，边缘服务器的计算资源也有限。

其次，以边缘服务器镜像加载决策、任务卸载、传输决策为优化变量，以系统加权吞吐量和时延效用为优化目标，建立一个关于任务卸载的数学模型，并将其转化为MDP问题。然后，使用A2C算法求解MDP问题。使用一个演员网络和一个评论员网络，分别生成决策和价值估计。网络参数使用k步折扣奖励进行更新，并使用RMSProp算法进行参数更新。

最后，与环境交互获得奖励，即得到系统效用。根据演员网络给出的动作，转换成对应的镜像加载、卸载传输策略，然后应用这些策略，使服务器加载对应的镜像，开启微服务，将任务卸载、传输到目的服务器。统计服务器完成的批次量，完成且在截止时间前完成的批次量，根据效用计算公式得到效用和奖励。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (1)

1.移动感知边缘计算系统中联合卸载与微服务部署决策优化方法，包括如下步骤:

步骤1：将边缘计算系统的时间划分为若干个长度为τ的时隙，时隙 将系统中的N个边缘服务器的索引表示/>边缘服务器n与n′之间的上行带宽表示为ω_n,n′，不存在连接的服务器间的值为0；任何边缘服务器都可以直接向云服务器/>传输任务，且云服务器/>已经缓存了所有类型的微服务；

步骤2：在系统中，存在M个处于移动中的用户，索引表示为 在时隙t时，第m个用户和边缘服务器之间的距离表示为/> 其中第n个边缘服务器的服务范围为c_n；将第m个用户在时隙t是否被第n个边缘服务器覆盖表示为如下定义的二元变量：

步骤3：每个用户都会在时隙t开始时产生一个随机微服务类型的计算任务，在系统中共有Z种微服务，索引表示为其中，每一种微服务都由若干个分层的镜像组成，将系统中的I种镜像表示为/> 其中第i个镜像的大小表示为b_i；

步骤4：根据步骤3，将第z个微服务所需的镜像表示为集合 其中/>表示第z个微服务是否需要镜像i；

步骤5：将用户m在时隙t产生的任务表示为元组其中/>表示任务的类型，/>表示任务的期望截止时间，/>表示任务大小，以批次为单位；计算一个批次数据需要ψ个CPU周期；

步骤6：将第n个边缘服务器的计算资源表示为元组G_n＝(h_n,r_n,f_n)，其中h_n表示服务器的存储资源大小，r_n表示服务器加载镜像的速度，f_n表示服务器的CPU计算能力；将第n个服务器计算1个批次数据的时延表示为常数

步骤7：将边缘服务器的每个时隙划分为两个阶段，首先，服务器根据镜像缓存策略加载微服务镜像，开启微服务；之后，服务器以批次为单位进行任务计算；将第n个边缘服务器在时隙t时的镜像加载策略表示为 其中

步骤8：计算第n个边缘服务器开启所有微服务的时间：

步骤9：根据步骤8，计算服务器n在时隙t剩余时间能够处理的数据批次数量为

步骤10：用户的任务首先需要卸载到附近的边缘服务器，随后该服务器可以将任务在本地执行，或者分发到一跳之内的临近边缘服务器执行，又或者直接上传到云服务器执行；首先，第m个用户的任务选择一个处于其覆盖范围内的边缘服务器进行卸载，表示为：

其次，由于任务支持部分卸载，还需要决定第m个用户的任务将在哪些服务器进行计算(包括云服务器)，表示为：

其中表示第m个用户的任务在服务器n′所完成的批次数量；

步骤11：结合步骤1-10，将边缘服务器镜像加载决策向量表示为μ_t＝[μ_1,t,μ_2,t,…,μ_N,t]，将任务的卸载、传输决策变量表示为与/>使用效用来衡量系统性能U_t＝w₁U_1,t+w₂U_2,t；/> 其中/>表示能够在边缘服务器上完成的批次数量，/> 其中/>表示能够在期限前完成的批次数量，w₁与w₂为权重系数；建立如下关于任务卸载的数学模型：

其中问题/>描述的是多个移动中的用户设备，在有限的计算资源约束下，最大化系统加权吞吐量和时延效用的问题，问题的决策包括边缘服务器的镜像加载策略，任务的卸载、传输策略；约束(A1)表示服务器所加载镜像的大小不能超过其存储资源的大小；约束(A2)和(A3)第m个用户的任务会被卸载到一个且只能卸载到一个边缘服务器，且该用户需要处于要卸载的边缘服务器的覆盖范围；约束(A4)表示任务必须被全部完成；约束(A5)表示服务器n向服务器^n′传输的任务总和不能超过它们的带宽；约束(A6)表示服务器n′在时隙t所计算的任务总和不能超过它能够处理的任务批次数量；

步骤12：将原问题转化为马尔可夫决策过程(Markov decision process，MDP)问题；时隙t的状态状态定义为当前用户位置与用户产生的任务/>表示为：/>时隙t的动作定义为服务器镜像加载决策μ_t＝[μ_1,t,μ_2,t,…,μ_N,t]与任务卸载、传输决策/> 表示为：/>将奖励方程定义为：

步骤13：使用优势演员-评论员(advantage actor-critic，A2C)算法求解步骤12中定义的MDP问题；使用一个演员网络π(a|s；θ)和一个评论员网络v(s；w)，其中θ与w分别表示演员网络和评论员网络的参数；在时隙t，根据当前状态s_t，π(a|s_t；θ)生成决策，v(s_t；w)对动作进行价值估计；网络参数使用k步折扣奖励进行更新，折扣因子设置为γ，如下表示：

步骤14：将评论员网络的损失函数表示为：

L_v(w)＝(R_t-v(s_t；w))² (9)

评论员网络的损失函数累计梯度进行如下更新：

演员网络的损失函数表示为：

L_π(θ)＝logπ(a_t|s_t；θ)(R_t-v(s_t；w))+κH(π(s_t；θ)) (11)

其中，H(π(a|s；θ))为熵；演员网络损失函数累计梯度进行如下更新：

其中κ为超参数，表示对θ′求偏导；

步骤15：根据步骤14得到的演员网络和评论员网络的累计梯度计算值，根据RMSProp算法进行参数更新；RMSProp估计梯度表示为：

g＝αg+(1-α)Δθ² (13)

其中α是动量，Δθ为损失函数的累积梯度；参数更新方式表示为：

其中λ_v是更新步长，也称为学习率，∈是一个值极小的正数，防止出现被除数为0的情况；

步骤16：与环境交互获得奖励，即得到系统效用；首先根据演员网络给出的动作，转换成对应的镜像加载、卸载传输策略，然后应用这些策略，使服务器加载对应的镜像，开启微服务，将任务卸载、传输到目的服务器；将每个服务器的任务以截止时间进行升序排序，按顺序且以批次为单位依次计算任务；统计服务器完成的批次量，完成且在截止时间前完成的批次量，根据效用计算公式得到效用和奖励；

步骤17：在每个时隙，重复步骤16；每经过t_max个时隙，根据步骤13-15估计价值，对演员网络和评论员网络进行累计梯度计算和参数更新。