CN109951897A

CN109951897A - 一种能耗与延迟约束下的mec卸载方法

Info

Publication number: CN109951897A
Application number: CN201910174185.0A
Authority: CN
Inventors: 刘锐; 陈雯
Original assignee: Donghua University
Current assignee: Donghua University; National Dong Hwa University
Priority date: 2019-03-08
Filing date: 2019-03-08
Publication date: 2019-06-28

Abstract

本发明涉及一种能耗与延迟约束下的MEC卸载方法，具体包括：系统建模：小区中设置有一个基站和N个移动用户设备，其中基站与MEC服务器一起部署，令每个移动用户设备都有一个计算密集型任务需要完成，且每个移动用户设备能够将所述任务卸载到MEC服务器上或在本地执行；构建本地计算模型和卸载模型，得到本地计算总成本和MEC卸载计算总成本；通过强化学习算法寻找一个最优的计算卸载和资源分配方案，即该小区所有移动用户设备的计算卸载决策和MEC服务器的计算资源分配。本发明能够在动态系统中获得最优策略，使得移动用户设备能耗减小，延迟降低，保证服务质量。

Description

一种能耗与延迟约束下的MEC卸载方法

技术领域

本发明涉及移动边缘计算(简称MEC)技术领域，特别是涉及一种能耗与延迟约束下的MEC卸载方法。

背景技术

5G中越来越多的计算密集型应用需要低延迟，例如交互式游戏，增强现实(AR)，虚拟现实(VR)等，同时这些应用也是耗能的应用。考虑移动终端有限的电池功率和计算能力，移动用户设备(UE)难以满足这些要求。为了解决UE和应用之间的矛盾，提出移动边缘计算(MEC)作为解决方案。

MEC通过部署高性能服务器来增强移动网络边缘的计算能力。MEC服务器密集地分布在移动用户附近，移动用户设备可以通过无线信道将计算任务卸载到MEC服务器。通过计算卸载，移动用户可以减少应用程序的延迟并提高服务质量。近年来，有学者提出了使能量消耗最小化的卸载决策的一般准则，其中通信链路容易被假定为具有固定费率。由于无线通信的数据速率不是恒定的，因此又提出了使用凸优化的最优二进制计算卸载决策。但是这些方案都需要准确的信道状态信息。考虑到时域中无线信道的随机变化，这些方案不太适合动态系统。

发明内容

本发明所要解决的技术问题是提供一种能耗与延迟约束下的MEC卸载方法，能够在动态系统中获得最优策略，使得移动用户设备能耗减小，延迟降低，保证服务质量。

本发明解决其技术问题所采用的技术方案是：提供一种能耗与延迟约束下的MEC卸载方法，包括以下步骤：

(1)系统建模：小区中设置有一个基站和N个移动用户设备，其中基站与MEC服务器一起部署，令每个移动用户设备都有一个计算密集型任务需要完成，且每个移动用户设备能够将所述任务卸载到MEC服务器上或在本地执行，其中，密集型任务包含三个指标，分别为：计算所需输入的数据D_i，完成计算任务所需的CPU总周期数V_i和任务完成的最大容许延迟τ_i；

(2)构建本地计算模型和卸载模型，得到本地计算总成本和MEC卸载计算总成本；

(3)通过强化学习算法寻找一个最优的计算卸载和资源分配方案，即该小区所有移动用户设备的计算卸载决策和MEC服务器的计算资源分配，其中，该强化学习算法的系统由智能体和环境所组成，其系统总成本和MEC剩余的计算能力被编进了系统当前状态s_t，智能体在当前状态下采取动作a进入下一个状态s_t+1，同时得到环境返回的奖励r(s_t,a)；在智能体和环境不断交互更新下，计算卸载方案和MEC服务器计算资源分配将不断被优化直到找到最优的策略。

所述步骤(1)中同时卸载任务的多个移动用户设备会等分无线带宽用于上传数据，其中，第i个移动用户设备的上传数据速率为：W为无线信道带宽，K为执行计算卸载的移动用户设备数量，P_i是第i个移动用户设备上传数据的单位时间传输能耗，h_i是第i个移动用户设备在无线信道中的信道增益，N₀是高斯信道噪声。

所述步骤(1)中将α_i∈{0,1}表示为第i个移动用户设备的计算卸载决策，并将卸载决策向量定义为η＝[α₀,α₁,...,α_N]，如果第i个移动用户设备通过本地计算执行任务，则α_i＝0，否则α_i＝1。

所述步骤(2)中在本地执行任务时，本地计算模型为其中，T_i,l为本地执行延迟，f_i,l为本地的计算能力，E_i,l为本地执行的能耗，P₀为本地执行的单位时间能耗，则本地计算总成本为C_i,l＝a_tT_i,l+a_eE_i,l，其中，a_t，a_e∈[0,1]且a_t+a_e＝1。

所述步骤(2)中通过卸载到MEC服务器执行任务时，首先，第i个移动用户设备需要通过无线接入网络向基站上传足够的输入数据并且基站将数据转发到MEC服务器，那么上传所需传输延迟和能耗分别为其中，r_i为上传速率，P_i为此时第i个移动用户设备的单位时间能耗；然后，MEC服务器分配部分计算资源来执行计算任务，那么任务执行所需延迟和能耗为其中，f_i为MEC服务器为完成计算任务分配的计算资源，P_i ^u为此时第i个移动用户设备的单位时间能耗；最后，MEC服务器将计算结果返回给第i个移动用户设备，由于MEC的数据下行速率十分快，此处忽略移动用户设备接收计算结果的延迟和能耗；执行计算卸载的延迟和功耗分别表示为则计算卸载的总成本为C_i,u＝a_tT_i,u+a_eE_i,u，其中，a_t，a_e∈[0,1]且a_t+a_e＝1。

所述步骤(3)中强化学习方法有三个关键要素，分别为：状态，由组件t和组件c组成，t定义为整个系统的总成本，c是MEC服务器可用的计算能力；动作，由两部分组成，分别是由n个移动用户设备的计算卸载决定的[α₁，α₂，...，α_n]和计算能力分配决定的[f₁，f₂，...，f_N]；奖励，在某个状态s下，系统执行每个可能的动作a之后，agent将获得奖励R(s,a)，即时奖励定义为其中，c_l是本地计算的所有任务的总和成本，c(s,a)为当前状态的实际总成本。

所述步骤(3)中强化学习法的求解过程如下：初始化强化学习中的评估网络，目标网络和记忆库，令当前系统状态为s_t，t初始化为1，迭代次数k初始化为1；当k小于或等于给定迭代次数K时，随机选择一个概率p；如果p小于或等于ε，则选择评估网络所输出的动作a(t)，否则随机选择一个动作；采取动作a(t)后，得到奖励r(t)和下一步状态s(t+1)，并将这些信息按照(s(t),a(t),r(t),s(t+1))的格式保存在记忆库中；结合目标网络的输出，计算评估网络的目标Q^θ(s_t,a)＝r(s_t,a)+γmaxQ^θ'(s_t+1,a')，其中，θ为评估网络中的参数，θ'为目标网络中的参数，Q^θ(s_t,a)在状态s_t下采取动作a所得到的Q值，γ为奖励衰减比重；最小化误差，同时更新评估网络的参数θ；每隔S步，将评估网络的参数赋值给目标网络，同时令k＝k+1，重复上述步骤直至k大于给定迭代次数K时，学习过程结束，得到最佳计算卸载决策和MEC资源分配决策。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明将所有移动用户设备的延迟和能量消耗的总成本作为优化目标，为了最小化系统的总成本，考虑共同优化卸载决策和计算资源分配，并且通过强化学习的优化方法解决MEC系统中的计算卸载问题。

附图说明

图1是系统模型图；

图2是最优决策方法流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种能耗与延迟约束下的MEC卸载方法，实行该方法能使UE能耗小，延迟低，保证服务质量，本发明基于多用户的系统模型(如图1所示)，进行计算模型的建立并设计基于深度强化学习的决策方法(如图2所示)，具体包括以下步骤：

(1)网络模型的建立

本方案考虑一个小小区的场景。在小区中有一个eNodeB(eNB)和N个UE。MEC服务器与eNB一起部署。该组UE表示为＝1,2，....，N。我们假设每个UE都有一个计算密集型任务要完成。每个UE可以通过无线将任务卸载到MEC服务器或在本地执行。将W定义为无线信道的带宽。假设在一个小小区中只有一个eNB。同时卸载任务的多个UE会等分无线带宽用于上传数据。根据资料，UE i可实现的上传数据速率为：

其中K是执行计算卸载的UE数量，P_i是UE i上传数据的单位时间传输能耗，h_i是UEi在无线信道中的信道增益，N₀是高斯信道噪声。

(2)任务确立

每个UE i都具有计算密集型任务，其具有几个指标D_i，τ_i，V_i。这里D_i表示计算所需的输入数据，包括程序代码和输入参数。V_i表示完成计算任务所需的CPU总周期数。V_i反映完成任务所需的计算资源量。假设无论是由UE本地执行还是在MEC服务器上执行，V_i的大小保持不变。τ_i表示任务完成的最大容许延迟。每个UE应该通过本地计算或计算卸载来执行其任务。将α_i∈{0,1}表示为UE i的计算卸载决策，并将卸载决策向量定义为η＝[α₀，α₁...，α_N]如果UE i通过本地计算执行其任务，则α_i＝0，否则α_i＝1。

(3)计算模型的建立

3.1)本地计算模型：如果UE i选择在本地执行其任务，我们将T_i,l定义为本地执行延迟。然后我们表示f_i,l作为本地计算能力,不同UE之间的计算能力可能不同。则任务的本地执行时间和能耗分别为：

其中P₀为本地执行计算任务的单位时间能耗。则本地计算总的成本为：

C_i,l＝a_tT_i,l+a_eE_i,l

其中a_t,a_e∈[0,1]且a_t+a_e＝1。

3.2)计算卸载模型：如果UE i通过计算卸载选择执行任务，则整个卸载方法将分为三个步骤。首先，UE i需要通过无线接入网络向eNB上传足够的输入数据并且eNB将数据转发到MEC服务器。那么MEC服务器分配部分计算资源来执行计算任务，最后MEC服务器将执行结果返回给UE i。根据上述步骤，第一步任务上传所需传输延迟和能耗分别为：

其中r_i为上传速率，P_i为此时UE的单位时间能耗。第二步，任务执行所需延迟和能耗为：

其中f_i为MEC为完成计算任务分配的计算资源，且F为MEC总计算资源，P_i ^u为此时UE的单位时间能耗。第三步，由于MEC的数据下行速率十分快，这里选择忽略UE接收就散结果的延迟和能耗。则执行计算卸载的延迟和功耗分别表示为：

则执行计算卸载总的成本为：

C_i,u＝a_tT_i,u+a_eE_i,u

其中a_t,a_e∈[0,1]且a_t+a_e＝1。最后，可以得到MEC计算卸载总成本为：

现在目标就是求C_min的最优策略，其有如下限制条件：

α_i∈{0,1}；(1-α_i)T_i,u+α_iT_i,l≤τ_i；

(4)强化学习建模

强化学习方法有三个关键要素，即状态，动作，奖励，针对本方案分别作出如下解释。

状态：系统状态由两个组件t,c组成。将t定义为整个系统的总成本，t＝C，c是MEC服务器可用的计算能力，则根据计算可以得到

动作：在该系统中，动作由两部分组成，分别是由n个UE的计算卸载决定的[α₁，α₂，...，α_n]和计算能力分配决定的[f₁，f₂，...，f_N]。因此动作向量可以设计为[α₁，α₂，...，α_n，f₁，f₂，...，f_N]。

奖励：在某个状态s下，系统执行每个可能的动作a之后，agent将获得奖励R(s，a)。通常，奖励函数应与目标函数相关。因此，优化的目标是获得最小的总和成本并且RL的目标是获得最大的奖励，因此奖励的价值应该与总成本的大小负相关，我们将即时奖励定义为：

其中c_l是本地计算的所有任务的总和成本，c(s,a)为当前状态的实际总成本。

5)强化学习求解

现在通过强化学习算法来寻找一个最优的计算卸载方案，即该小小区所有用户的计算卸载决策和MEC服务器的计算资源分配，该强化学习系统由智能体和环境所组成，整个系统的总成本和MEC剩余的计算能力都被编进了系统当前状态s_t，智能体在当前状态下采取动作a进入下一个状态s_t+1，同时得到环境返回的奖励r(s_t,a)。在智能体和环境不断交互更新下，计算卸载方案和服务器计算资源分配将不断被优化直到找到最优的策略。

智能体的更新方式为：

'

Q^θ(s_t,a)＝r(s_t,a)+γmaxQ^θ(s_t+1,a')

其中各参数定义如下：

θ：评估网络中的参数；

θ'：目标网络中的参数；

s_t：在t时刻系统所处的状态；

Q^θ(s_t,a)：在状态s_t下采取动作a所得到的Q值；

r(s_t,a)：在状态s_t下采取动作a所得到的奖励；

γ：奖励衰减比重；

强化学习的具体迭代过程为：

步骤5.1：初始化强化学习中的评估网络，目标网络和记忆库。当前系统状态为s_t，t初始化为1，迭代次数k初始化为1；

步骤5.2：当k小于或等于给定迭代次数K时，随机选择一个概率p；

步骤5.3：如果p小于或等于ε；则选择评估网络所输出的动作a(t)，否则随机选择一个动作；

步骤5.4：采取动作a(t)后，得到奖励r(t)和下一步状态s(t+1)，并将这些信息按照(s(t),a(t),r(t),s(t+1))的格式保存在记忆库中；

步骤5.5：结合目标网络的输出，计算评估网络的目标

y＝r(s_t,a)+γmaxQ^θ′(s_t+1,a')

步骤5.6：最小化误差(y-Q(s(t),a(t)；θ))²，同时更新评估网络的参数θ。

步骤5.7：每隔S步，将评估网络的参数赋值给目标网络，同时令k＝k+1，回到步骤5.2；

步骤5.8：当k大于给定迭代次数K时，学习过程结束，得到最佳计算卸载决策和MEC资源分配决策。

Claims

1.一种能耗与延迟约束下的MEC卸载方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的能耗与延迟约束下的MEC卸载方法，其特征在于，所述步骤(1)中同时卸载任务的多个移动用户设备会等分无线带宽用于上传数据，其中，第i个移动用户设备的上传数据速率为：W为无线信道带宽，K为执行计算卸载的移动用户设备数量，P_i是第i个移动用户设备上传数据的单位时间传输能耗，h_i是第i个移动用户设备在无线信道中的信道增益，N₀是高斯信道噪声。

3.根据权利要求1所述的能耗与延迟约束下的MEC卸载方法，其特征在于，所述步骤(1)中将α_i∈{0,1}表示为第i个移动用户设备的计算卸载决策，并将卸载决策向量定义为η＝[α₀,α₁,...,α_N]，如果第i个移动用户设备通过本地计算执行任务，则α_i＝0，否则α_i＝1。

4.根据权利要求1所述的能耗与延迟约束下的MEC卸载方法，其特征在于，所述步骤(2)中在本地执行任务时，本地计算模型为E_i,l＝P₀T_i,l，其中，T_i,l为本地执行延迟，f_i,l为本地的计算能力，E_i,l为本地执行的能耗，P₀为本地执行的单位时间能耗，则本地计算总成本为C_i,l＝a_tT_i,l+a_eE_i,l，其中，a_t，a_e∈[0,1]且a_t+a_e＝1。

5.根据权利要求1所述的能耗与延迟约束下的MEC卸载方法，其特征在于，所述步骤(2)中通过卸载到MEC服务器执行任务时，首先，第i个移动用户设备需要通过无线接入网络向基站上传足够的输入数据并且基站将数据转发到MEC服务器，那么上传所需传输延迟和能耗分别为其中，r_i为上传速率，P_i为此时第i个移动用户设备的单位时间能耗；然后，MEC服务器分配部分计算资源来执行计算任务，那么任务执行所需延迟和能耗为其中，f_i为MEC服务器为完成计算任务分配的计算资源，P_i ^u为此时第i个移动用户设备的单位时间能耗；最后，MEC服务器将计算结果返回给第i个移动用户设备，由于MEC的数据下行速率十分快，此处忽略移动用户设备接收计算结果的延迟和能耗；执行计算卸载的延迟和功耗分别表示为则计算卸载的总成本为C_i,u＝a_tT_i,u+a_eE_i,u，其中，a_t，a_e∈[0,1]且a_t+a_e＝1。

6.根据权利要求1所述的能耗与延迟约束下的MEC卸载方法，其特征在于，所述步骤(3)中强化学习方法有三个关键要素，分别为：状态，由组件t和组件c组成，t定义为整个系统的总成本，c是MEC服务器可用的计算能力；动作，由两部分组成，分别是由n个移动用户设备的计算卸载决定的[α₁，α₂，...，α_n]和计算能力分配决定的[f₁，f₂，...，f_N]；奖励，在某个状态s下，系统执行每个可能的动作a之后，agent将获得奖励R(s,a)，即时奖励定义为其中，c_l是本地计算的所有任务的总和成本，c(s,a)为当前状态的实际总成本。

7.根据权利要求1所述的能耗与延迟约束下的MEC卸载方法，其特征在于，所述步骤(3)中强化学习法的求解过程如下：初始化强化学习中的评估网络，目标网络和记忆库，令当前系统状态为s_t，t初始化为1，迭代次数k初始化为1；当k小于或等于给定迭代次数K时，随机选择一个概率p；如果p小于或等于ε，则选择评估网络所输出的动作a(t)，否则随机选择一个动作；采取动作a(t)后，得到奖励r(t)和下一步状态s(t+1)，并将这些信息按照(s(t),a(t),r(t),s(t+1))的格式保存在记忆库中；结合目标网络的输出，计算评估网络的目标Q^θ(s_t,a)＝r(s_t,a)+γmaxQ^θ'(s_t+1,a')，其中，θ为评估网络中的参数，θ'为目标网络中的参数，Q^θ(s_t,a)在状态s_t下采取动作a所得到的Q值，γ为奖励衰减比重；最小化误差，同时更新评估网络的参数θ；每隔S步，将评估网络的参数赋值给目标网络，同时令k＝k+1，重复上述步骤直至k大于给定迭代次数K时，学习过程结束，得到最佳计算卸载决策和MEC资源分配决策。