CN114138493A - 一种基于能耗感知的边缘算力资源调度方法 - Google Patents

Abstract

本发明公开了一种基于能耗感知的边缘算力资源调度方法，有效的解决了现有技术在解决多层算例资源管理复杂的问题时忽略了终端能耗以及计算任务在智能终端本地执行时的CPU频率调度方式的问题，本发明针对智能终端设备SMD的实际情况设置两种不同的卸载策略，第一种是将计算任务在智能终端设备SMD上执行，第二种是将计算任务卸载至边缘服务器上，由边缘服务器协助智能终端设备SMD完成计算任务，两种卸载策略在执行过程中都对开销进行了限制，避免了终端能耗对智能终端设备SMD的消耗，也避免了现有技术在解决多层算例资源管理复杂的问题时忽略了计算任务在智能终端本地执行时的CPU频率调度方式的问题。

Description

一种基于能耗感知的边缘算力资源调度方法

技术领域

本发明涉及DOE领域，特别是一种基于能耗感知的边缘算力资源调度方法。

背景技术

随着物联网与可穿戴设备等移动技术的发展，智能移动设备为计算密集型任务(如人脸识别、自然语言处理、实时交互游戏)提供一个强大的平台。与传统任务相比，计算密集型任务在智能终端上执行时，需要更多的能量与计算资源，但智能终端上有限的计算资源(CPU频率、存储资源)和电池寿命，为计算密集型任务在终端上执行带来了前所未有的挑战。为解决上述挑战，算力网络应用而生，基于算力网络，按需调度网络中的算力资源可显著提升应用程序的服务质量和用户体验，提高响应速度并节省能耗。

尽管算力网络相较传统网络具有上述优势，但多层次算力资源管理较为复杂，为解决上述挑战，在现有技术中人们对此设计了多种方式来实现，都很好的解决了多层次算力资源管理较为复杂的问题，但是有部分方式存在着任务卸载过程中的终端能耗问题，也有部分方式存在着计算任务在只能终端本地执行时的CPU频率调度方式的问题。

因此本发明提供一种的新的方案来解决此问题。

发明内容

针对现有技术存在的不足，本发明的目的是提供一种基于能耗感知的边缘算力资源调度方法，有效的解决了现有技术在解决多层算例资源管理复杂的问题时忽略了终端能耗以及计算任务在智能终端本地执行时的CPU频率调度方式的问题。

其解决的技术方案是，一种基于能耗感知的边缘算力资源调度方法，所述方法包括以下步骤：

S1、利用N个无线接入点AP、多个智能终端设备SMD和一个边缘服务器构建出边缘计算网络；

S2、边缘计算网络将智能终端设备SMD上的计算任务完成，并满足计算开销需求。

进一步地，所述步骤S1中的边缘计算网络中的每个无线接入点AP通过无线链路连接多个智能终端设备SMD，无线接入点AP通过有线链路连接与边缘服务器，利用集合N＝{1,2,...,N}和D＝{1,2,...,D}表示无线接入点AP的集合和智能终端设备SMD的集合，将计算任务建模为三元组

其中i_n表示任务T_n的输入数据规模大小，c_n表示完成任务T_n所需的CPU全部CPU周期数目，

表示完成任务T_n的最长执行时间。

进一步地，所述步骤S2中的边缘计算网络完成计算任务时，有两种卸载策略，利用二进制变量d_i,j表示与编号为j的无线接入点AP的相连的编号为i的智能终端设备SMD上的计算任务卸载策略，第一种是将计算任务在智能终端设备SMD上执行，即d_i,j＝0，第二种是将计算任务卸载至边缘服务器上，由边缘服务器协助智能终端设备SMD完成计算任务，即d_i,j＝1，其中在第二种在将计算任务卸载至边缘服务器时，智能终端设备SMD的集合保持不变。

进一步地，所述边缘网络利用第一种策略执行计算任务即d_i,j＝0的具体过程为：

智能终端设备SMD在本地执行计算任务T_i，任务的执行时间表示为：

其中，f_i ^l为智能终端设备SMD的计算能力，智能终端设备SMD在执行任务过程中的终端能耗由智能终端设备SMD的CPU频率c_i决定，用式(2)表示：

其中，γ_i为智能终端设备SMD上CPU运行1个周期时消耗的全部能量，且γ_i＝κ·(f_i ^l)²，κ是CPU架构因子；

引入权重参数

和变量r_i ^p，权重参数α_i ^t代表智能终端设备SMD对执行时延的需求，变量r_i ^p表示智能终端设备SMD中剩余电量比率的大小，用公式(3)表示：

其中P_i ^remain表示智能终端设备SMD当前剩余电量，P_i ^total表示智能终端设备SMD的全部电量，对权重参数α_i ^t重新定义如下：

同时，能耗的权重因子为

因此智能终端设备SMD在本地执行计算任务时的全部开销表示为：

进一步地，所述边缘网络利用第二种策略执行计算任务即d_i,j＝1的具体过程为：

边缘服务器处理的计算任务中存在着包括智能终端设备SMD将计算任务传输至边缘服务器上的传输时间和边缘服务器执行计算任务的处理时间两种响应时延，其中智能终端设备SMD在将计算任务传输至边缘服务器上包含智能终端设备SMD与无线接入点AP之间的传输时间和无线接入点AP与边缘服务器间的传输时间，利用公式(6)表示智能终端设备SMD与无线接入点AP间的数据传输速率：

其中，ω_i表示编号为i的智能终端设备SMD与无线接入点AP之间的无线传输带宽，

和σ分别表示智能终端设备SMD与无线接入点AP之间的信道增益和噪声功率谱密度，p_i表示编号为i的智能终端设备SMD的传输功率，利用c表示无线接入点AP与边缘服务器间的数据传输速率，因此数据由智能终端设备SMD传输传输至边缘服务器的全部时延用式(7)表示为：

利用f^EC表示边缘服务器的计算能力，因此任务的处理时延计算结果如式(8)所示：

综上，将任务卸载至边缘服务器上执行时的全部时延用式(9)表示为：

智能终端设备SMD的全部能耗用式(10)表示为：

与边缘计算网络利用第一种策略完成计算任务类似，采用第二种策略时智能终端设备SMD的全部开销用式(11)表示为：

进一步地，所述智能终端设备SMD利用计算任务卸载策略来判断完成计算任务的策略。

本发明实现了如下有益效果：

本发明通过研究基于能耗感知的任务卸载及算力调度方法，引入了DRL，并提出了基于DRL的智能化算法，实现了不同层次算力资源的调度，用过对智能终端设备SMD在完成计算任务时，针对智能终端设备SMD的实际情况设置两种不同的卸载策略，第一种是将计算任务在智能终端设备SMD上执行，第二种是将计算任务卸载至边缘服务器上，由边缘服务器协助智能终端设备SMD完成计算任务，两种卸载策略在执行过程中都对开销进行了限制，避免了终端能耗对智能终端设备SMD的消耗，也避免了现有技术在解决多层算例资源管理复杂的问题时忽略了计算任务在智能终端本地执行时的CPU频率调度方式的问题。

附图说明

图1为本发明的示意图。

具体实施方式

为有关本发明的前述及其他技术内容、特点与功效，在以下配合参考附图1对实施例的详细说明中，将可清楚的呈现。以下实施例中所提到的结构内容，均是以说明书附图为参考。

下面将参照附图描述本发明的各示例性的实施例。

一种基于能耗感知的边缘算力资源调度方法，所述方法包括以下步骤：

S1、利用N个无线接入点AP、多个智能终端设备SMD和一个边缘服务器构建出边缘计算网络；

S2、边缘计算网络将智能终端设备SMD上的计算任务完成，并满足计算开销需求。

所述步骤S1中的边缘计算网络中的每个无线接入点AP通过无线链路连接多个智能终端设备SMD，无线接入点AP通过有线链路连接与边缘服务器，利用集合N＝{1,2,...,N}和D＝{1,2,...,D}表示无线接入点AP的集合和智能终端设备SMD的集合，将计算任务建模为三元组

其中i_n表示任务T_n的输入数据规模大小，c_n表示完成任务T_n所需的CPU全部CPU周期数目，

表示完成任务T_n的最长执行时间。

所述步骤S2中的边缘计算网络完成计算任务时，有两种卸载策略，利用二进制变量d_i,j表示与编号为j的无线接入点AP的相连的编号为i的智能终端设备SMD上的计算任务卸载策略，第一种是将计算任务在智能终端设备SMD上执行，即d_i,j＝0，第二种是将计算任务卸载至边缘服务器上，由边缘服务器协助智能终端设备SMD完成计算任务，即d_i,j＝1，其中在第二种在将计算任务卸载至边缘服务器时，智能终端设备SMD的集合保持不变。

所述边缘网络利用第一种卸载策略执行计算任务即d_i,j＝0的具体过程为：

智能终端设备SMD在本地执行计算任务T_i，任务的执行时间表示为：

其中，f_i ^l为智能终端设备SMD的计算能力如CPU计算频率，智能终端设备SMD在执行任务过程中的终端能耗由智能终端设备SMD的CPU频率c_i决定，用式(2)表示：

其中，γ_i为智能终端设备SMD上的CPU运行1个周期时消耗的全部能量，且

κ是CPU架构因子；

引入权重参数

和变量r_i ^p来实现计算任务卸载过程中的能耗与时延的联合优化，权重参数α_i ^t代表智能终端设备SMD对执行时延的需求，该值越大，表明此时需优先满足任务卸载过程中的时延优化，且智能终端设备SMD的剩余电量同样影响卸载策略，变量r_i ^p表示智能终端设备SMD中剩余电量比率的大小，用公式(3)表示：

其中P_i ^remain表示智能终端设备SMD当前剩余电量，P_i ^remain值越小表明SMD的剩余电量越少，P_i ^total表示智能终端设备SMD的全部电量，此时需保证计算任务在执行过程中消耗更少的能量以延长终端的电池使用时间，对权重参数α_i ^t重新定义如下：

同时，卸载能耗的权重因子为

因此智能终端设备SMD在本地执行计算任务时的全部开销表示为：

所述边缘网络利用第二种卸载策略执行计算任务即d_i,j＝1的具体过程为：

边缘服务器处理的计算任务中存在着包括智能终端设备SMD将计算任务传输至边缘服务器上的传输时间和边缘服务器执行计算任务的处理时间两种响应时延，其中智能终端设备SMD在将计算任务传输至边缘服务器上包含智能终端设备SMD与无线接入点AP之间的传输时间和无线接入点AP与边缘服务器间的传输时间，且智能终端设备SMD与无线接入点AP之间通过无线链路连接，利用公式(6)表示智能终端设备SMD与无线接入点AP间的数据传输速率：

其中，ω_i表示编号为i的智能终端设备SMD与无线接入点AP之间的无线传输带宽，

和σ分别表示智能终端设备SMD与无线接入点AP之间的信道增益和噪声功率谱密度，p_i表示编号为i的智能终端设备SMD的传输功率，利用c表示无线接入点AP与边缘服务器间的数据传输速率，因此数据由智能终端设备SMD传输传输至边缘服务器的全部时延用式(7)表示为：

利用f^EC表示边缘服务器的计算能力，因此计算任务的处理时延计算结果如式(8)所示：

综上，将计算任务卸载至边缘服务器上执行时的全部时延用式(9)表示为：

智能终端设备SMD的全部能耗用式(10)表示为：

与边缘计算网络利用第一种卸载策略完成计算任务类似，采用第二种卸载策略时智能终端设备SMD的全部开销用式(11)表示为：

所述边缘计算网络在完成计算任务时的不同卸载策略将产生不同计算开销，利用d_i(d_i)表示智能终端设备SMD在某种卸载决策下的全部计算开销，如式(12)所示：

其中，ifd_i＝0意为边缘计算网络在完成计算任务时执行第一种卸载策略，则全部计算开销d_i(d_i)的优化目标如式(13)所示：

利用函数F(#)表示每个智能终端设备SMD的卸载策略，其判定过程如下式(14)所示，其中括号内为判断条件：

设定任务的执行时间不能大于最大执行时间

如下式所示：

其中F(#)的判定条件为式(14)和式(15)，且无论边缘计算网络选择哪种卸载策略来完成计算任务，其消耗的能量均不能超过智能终端设备SMD的剩余电量如下式所示：

其中，式(15)、式(16)中的d_i＝0和d_i＝1分别表示智能终端设备SMD上的计算任务执行第一种卸载策略和第二种卸载策略，对第一种卸载策略中的CPU计算频率f_i ^l和传输功率p_i的最大值分别进行限制，如下式所示：

C3:

C4:0≤p_i≤p_max (18)

由于每个计算任务的卸载决策均存在两种方式，因此：

C5:d_i∈{0,1} (19)

因此，建立的优化目标实际为：

智能设备终端SMD的CPU的计算频率f_i ^l是影响本地开销的重要因素，所述编号为i的智能终端设备SMD在执行第一种卸载策略时CPU的计算频率f_i ^l如下式所示：

则其周期频率如下式所示：

根据公式(15)和公式(16)对公式(17)中f_i ^l的范围重新定义如下式所示：

综上所述，编号为i的智能终端设备SMD上开销按照下式进行计算：

所述智能终端设备SMD利用计算任务卸载策略来判断完成计算任务的卸载策略。所述边缘任务卸载策略基于MDP模型实现，MDP模型使用一个五元组(O,A,P,R,γ)表示，O其中代表智能体观测到的状态空间，其中智能体为执行本方法的实体如计算机，A表示智能体可执行的动作空间，P代表转移概率的集合，即在某一状态下执行动作a_t∈A后进入特定状态的概率构成的有限集，R表示执行动作后即时奖励构成的有限集，γ表示折扣系数，用于衡量即时奖励与未来奖励，MDP模型通过不断探索位置环境下的动作，并记录动作执行后的奖励，使长期累计获得的正向激励越来越大，负向激励越来越小，进而获得最优卸载策略，所述基于MDP的任务卸载模型包括：

对于状态空间o_l∈O，其中o_l＝<D,U_cpu(l),P_trans(l)>，表示已经卸载计算任务时，计算任务与对应智能终端设备SMD的卸载策略以及各智能终端设备SMD的资源使用情况，其中D表示前l个任务的卸载情况，U_cpu(l)表示各设备可用CPU的状态，P_trans(l)表示各设备可用的传输功率。

对于a_l∈A，其中a_l＝f(o^l)，上式表示智能体根据特定的卸载策略，并对当前的环境状态信息进行观测，选择是否将对应任务卸载至边缘服务器，即智能体根据制定的卸载策略选择的一个动作，由边缘服务器协助其完成计算任务的完成。

动作执行函数step(o_l,a)＝<r_l',o_l',Υ,l'>，该函数表示智能体在状态o_l下执行任务卸载动作后a，智能体获得的即时奖励r_l'，执行对应动作后的状态后序o_l'、部署结果参量Υ以及已完成任务卸载后的终端数量l'，奖励r_l'表示在状态下执行部署动作获得的及时奖励，根据式(12)的指定奖励函数，且奖励结果需指定为一正值，能耗与时延两方面因素均为负面指标，因此奖励函数的制定为下式所示：

上式中，A为常数，该值保证奖励r_l'不为负数，

为部署l个计算任务时，由任务卸载操作产生的全部开销，在采取某个卸载策略中的动作后，若对应产生的开销(任务时延和终端能耗)越大，环境反馈给智能终端设备SMD的奖励值就越小，反之亦然，即开销越大，环境反馈给智能体的奖励值越大。

状态行为值函数Q^π(o,a)定义了在卸载策略π下执行动作a的奖励的期望，对于学习率为α的MDP模型，由状态o开始获得的累计奖励期望可使用动态规划迭代计算得到对应的值：

Q^π(o,a)＝Q^π(o,a)+α[reward+γmax_a'Q^π(o',a')-Q^π(o,a)] (26)

上式中，γ表示奖励折扣因子。

基于MDP模型的使用过程中，任务卸载策略需对每个智能终端设备SMD上的计算任务是否进行卸载策略进行决策，即是否将对应任务卸载至边缘服务器上。但计算任务的数目直接影响状态空间的大小，随着智能终端设备SMD的增多，会使得状态空间随之同步增长，若放任发展，则会出现状态空间爆炸的问题；

为此，利用DQN算法构建了一个权重为θ的神经网络对状态行为值函数Q^π(o,a)进行代替，使得Q(o,a,θ)≈Q(o,a)，DQN网络将状态s作为输入，然后经过激活函数为Relu的两个卷积层和两个全连接层，最后输出包含每个动作Q值的向量，DQN网络使用实际累计奖励作为目标值，预计获得的累计奖励作为预测值，训练DQN网络的目的是使预测值尽量逼近目标值，其中DQN网络为边缘网络的一部分，因此定义损失函数如下所示：

L(θ)＝E[(R+γmax_a'Q(s',a'；θ')-Q(s,a；θ))²] (27)

对式(27)进行求导，得到损失函数的梯度如下式所示：

DQN算法由两个同结构的神经网络构成，一个是估计网络，一个是目标网络，为使DQN支持基于经验的学习并避免错误的陷阱，DQN在初始化时，构建了经验回放库，并给定目标网络参数的更新频率，在每个回合开始时，DQN在状态s_l下使用探索方法获得动作a_l，其探索方法是以的β概率选择神经网络输出的动作，以1-β的概率选择随机产生的动作，在神经网络训练的开始阶段，为更多地探索潜在的动作，应将β的值设置为较低，待神经网络训练一定步数后，再将β的值增大，此外，在训练过程中将每步训练后的样本(s_l,a_l,r_l,s_l')存入经验回放库中。

本发明在实际使用的过程中，包括步骤S1和步骤S2两个步骤，其中步骤S1利用N个无线接入点AP、多个智能终端设备SMD和一个边缘服务器构建出边缘计算网络，步骤S2、边缘计算网络将智能终端设备SMD上的计算任务完成，并满足开销需求。

本发明通过研究基于能耗感知的任务卸载及算力调度方法，引入了DQN网络，并提出了基于DRL的智能化算法，实现了不同层次算力资源的调度，用过对智能终端设备SMD在完成计算任务时，针对智能终端设备SMD的实际情况设置两种不同的卸载策略，第一种是将计算任务在智能终端设备SMD上执行，第二种是将计算任务卸载至边缘服务器上，由边缘服务器协助智能终端设备SMD完成计算任务，两种卸载策略在执行过程中都对开销进行了限制，避免了终端能耗对智能终端设备SMD的消耗，也避免了现有技术在解决多层算例资源管理复杂的问题时忽略了计算任务在智能终端本地执行时的CPU频率调度方式的问题。

Claims (6)

1.一种基于能耗感知的边缘算力资源调度方法，其特征在于，所述方法包括以下步骤：

S1、利用N个无线接入点AP、多个智能终端设备SMD和一个边缘服务器构建出边缘计算网络；

S2、边缘计算网络将智能终端设备SMD上的计算任务完成，并满足计算开销需求。

2.如权利要求1所述的一种基于能耗感知的边缘算力资源调度方法，其特征在于，所述步骤S1中的边缘计算网络中的每个无线接入点AP通过无线链路连接多个智能终端设备SMD，无线接入点AP通过有线链路连接与边缘服务器，利用集合N＝{1,2,...,N}和D＝{1,2,...,D}表示无线接入点AP的集合和智能终端设备SMD的集合，将计算任务建模为三元组T_n＝(i_n,c_n,T_n ^max)，其中i_n表示任务T_n的输入数据规模大小，c_n表示完成任务T_n所需的CPU全部CPU周期数目，T_n ^max表示完成任务T_n的最长执行时间。

3.如权利要求1所述的一种基于能耗感知的边缘算力资源调度方法，其特征在于，所述步骤S2中的边缘计算网络完成计算任务时，有两种卸载策略，利用二进制变量d_i,j表示与编号为j的无线接入点AP的相连的编号为i的智能终端设备SMD上的计算任务卸载策略，第一种是将计算任务在智能终端设备SMD上执行，即d_i,j＝0，第二种是将计算任务卸载至边缘服务器上，由边缘服务器协助智能终端设备SMD完成计算任务，即d_i,j＝1，其中在第二种在将计算任务卸载至边缘服务器时，智能终端设备SMD的集合保持不变。

4.如权利要求3所述的一种基于能耗感知的边缘算力资源调度方法，其特征在于，所述边缘网络利用第一种策略执行计算任务即d_i,j＝0的具体过程为：

智能终端设备SMD在本地执行计算任务T_i，任务的执行时间表示为：

其中，f_i ^l为智能终端设备SMD的计算能力，智能终端设备SMD在执行任务过程中的终端能耗由智能终端设备SMD的CPU频率c_i决定，用式(2)表示：

其中，γ_i为智能终端设备SMD上CPU运行1个周期时消耗的全部能量，且γ_i＝κ·(f_i ^l)²，κ是CPU架构因子；

引入权重参数

和变量r_i ^p，权重参数

代表智能终端设备SMD对执行时延的需求，变量r_i ^p表示智能终端设备SMD中剩余电量比率的大小，用公式(3)表示：

其中P_i ^remain表示智能终端设备SMD当前剩余电量，P_i ^total表示智能终端设备SMD的全部电量，对权重参数α_i ^t重新定义如下：

同时，能耗的权重因子为

因此智能终端设备SMD在本地执行计算任务时的全部开销表示为：

5.如权利要求3所述的一种基于能耗感知的边缘算力资源调度方法，其特征在于，所述边缘网络利用第二种策略执行计算任务即d_i,j＝1的具体过程为：

边缘服务器处理的计算任务中存在着包括智能终端设备SMD将计算任务传输至边缘服务器上的传输时间和边缘服务器执行计算任务的处理时间两种响应时延，其中智能终端设备SMD在将计算任务传输至边缘服务器上包含智能终端设备SMD与无线接入点AP之间的传输时间和无线接入点AP与边缘服务器间的传输时间，利用公式(6)表示智能终端设备SMD与无线接入点AP间的数据传输速率：

其中，ω_i表示编号为i的智能终端设备SMD与无线接入点AP之间的无线传输带宽，

和σ分别表示智能终端设备SMD与无线接入点AP之间的信道增益和噪声功率谱密度，p_i表示编号为i的智能终端设备SMD的传输功率，利用c表示无线接入点AP与边缘服务器间的数据传输速率，因此数据由智能终端设备SMD传输传输至边缘服务器的全部时延用式(7)表示为：

利用f^EC表示边缘服务器的计算能力，因此任务的处理时延计算结果如式(8)所示：

综上，将任务卸载至边缘服务器上执行时的全部时延用式(9)表示为：

智能终端设备SMD的全部能耗用式(10)表示为：

与边缘计算网络利用第一种策略完成计算任务类似，采用第二种策略时智能终端设备SMD的全部开销用式(11)表示为：

6.如权利要求3所述的一种基于能耗感知的边缘算力资源调度方法，其特征在于，所述智能终端设备SMD利用计算任务卸载策略来判断完成计算任务的策略。

Images