CN111935825A - 移动边缘计算系统中基于深度值网络的协作资源分配方法 - Google Patents

Abstract

本发明公开了一种移动边缘计算系统中基于深度值网络的协作资源分配方法，包括：（1）计算用户和所有基站连接的信噪比，用户根据信噪比最大原则选择基站进行连接，得到用户基站连接矩阵；（2）随机给用户分配信道，并且给连接用户平均分配计算资源，得到资源分配的系统状态；（3）将服务提供商子载波分配作为动作空间，用载波容量来表示奖励值，利用深度值网络算法得到用户信道连接矩阵；（4）得到资源共享的系统状态；（5）利用深度值网络算法得到服务提供商资源借用集合。本发明基于深度强化学习，不仅考虑了面向移动端的资源分配问题，还通过多服务提供商之间的协作和计算资源共享，提高资源的有效利用率。

Description

移动边缘计算系统中基于深度值网络的协作资源分配方法

技术领域

本发明属于移动边缘计算技术，具体涉及移动边缘计算系统中基于深度值网络的协作资源分配方法。

背景技术

移动云计算(Mobile Cloud Computing，MCC)利用云中的大量资源提供弹性计算能力和存储空间，来支持资源受限的终端设备，一直推动着许多互联网公司的快速增长。然而，近些年来，随着云功能日益向网络边缘移动，出现了一个新的趋势。据估计，在不久的将来，数以百亿计的边缘设备将被部署，它们的处理器速度将按照摩尔定律呈指数增长。获取分布在网络边缘的大量空闲的计算能力和存储空间，可以为移动设备执行计算密集型任务提供充足的能力。这个范例被称为移动边缘计算。

与MCC相比，MEC存在以下几个优点：

(1)低延时。MEC通信传输距离一般情况下不超过1公里。相比之下，MCC的传输距离通常是从移动设备到核心网或者数据中心的节点，传输距离从几十公里到横跨大陆。这使得MEC的传播时延比MCC要小得多。其次，MCC中信息会通过多个网络，包括无线接入网，回程网以及互联网，这些网络中的流量控制，路由和其他的网络管理操作可能会导致更多的延迟。

(2)节约终端能源。MEC通过计算卸载可以有效地节约能源，例如，为多媒体应用程序完成高达44倍的计算负载以及为不同的AR应用增加电池寿命30％-50％。

(3)上下文感知。MEC服务器能够利用边缘设备更接近用户来跟踪终端用户的实时信息，比如行为、位置和环境。基于这些信息，可以将上下文感知服务交付给终端用户。例如，博物馆视频指南可以根据用户在博物馆中的位置来预测用户的兴趣，从而自动投放与艺术品相关的内容。

(4)安全性。在MCC系统中，云计算平台是远程的公共大型数据中心，这些云平台由于用户信息资源高度集中，所以容易收到攻击。此外，在MCC中，用户数据的所有权和管理权是分离的，这会导致私有数据泄漏和丢失。然而，MEC服务器是分布式部署的，规模较小，有价值的信息集中度低，成为安全攻击的目标的可能性低。另一方面，许多的MEC服务器可以设置为私有云，缓解信息泄漏问题。

MEC系统中的卸载和资源分配问题是近年来的研究热点。移动设备处理能力有限导致了在本地处理计算密集型任务需要耗费巨大的时延和能耗。计算卸载则通过将任务上传到边缘云服务器，云服务器分配计算资源处理该任务，再将结果返回到移动设备来有效地减少任务执行时延和延长电池寿命。计算卸载时延不仅包括任务处理时延，还要考虑任务上传时延和结果返回时延。任务处理时延与计算资源相关，传输时延则跟无线资源相关。然而，MEC系统中的资源一般是有限的，对于多个MEC的系统而言，通常会出现移动设备数目多以及服务器负载不均衡的情况，在这种情况下，如何进行多个MEC服务器之间的协作，通过共享资源改善资源的有效利用率成为了亟待解决的问题。

发明内容

为解决上述问题，本发明公开了一种移动边缘计算系统中基于深度值网络的协作资源分配方法，本方法基于深度强化学习，充分利用所有服务提供商的计算资源，在满足用户时延要求的情况下，提高有效资源利用率。

为达到上述目的，本发明的技术方案如下：

移动边缘计算系统中基于深度值网络的协作资源分配方法，包括以下步骤：

(1)计算用户和所有基站连接的信噪比，用户根据信噪比最大原则选择基站进行连接，得到用户基站连接矩阵；

(2)移动边缘计算系统中的服务提供商给用户提供无线资源和计算资源，无线资源以子载波的形式分配，服务提供商(Service Provider，SP)随机给用户分配子载波，并且将有限的计算资源随机分配给连接用户，得到资源分配的初始系统状态；

(3)将服务提供商的子载波分配作为强化学习模型中的动作空间，用载波容量来表示强化学习模型中奖励值，利用深度值网络(Deep Q Network，DQN)算法得到资源分配模块中用户的信道连接矩阵；

(4)根据基站连接矩阵和信道连接矩阵，计算用户的数据上传时间和任务处理时间，然后得到每个服务提供商中所有用户的平均时延，并与设定的时延阈值进行比较，得到资源共享的初始系统状态；

(5)将服务提供商资源借用情况作为强化学习模型中的动作空间，用系统的时延和代价和来表示奖励值，利用深度值网络算法得到资源共享模块中服务提供商资源借用集合。

本发明的有益效果是：

本发明不仅考虑了面向移动端的资源分配问题，还通过多小区的服务提供商之间的协作和计算资源共享，提高资源的有效利用率。本发明采用了深度强化学习方法，利用深度神经网络对强化学习模型中的动作状态值函数进行参数化，利用神经网络的非线性性能以及其梯度求解的方式进行强化学习问题的求解。

附图说明

图1是本发明的基于深度值网络的协作资源分配方法流程图；

图2是本发明中的深度值网络方法流程图。

具体实施方式

本发明基于深度值网络，不仅考虑了面向移动端的资源分配问题，还通过多小区的服务提供商之间的协作和计算资源共享，提高资源的有效利用率。下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

在该网络场景中，同时存在宏基站(Macro Base Station，MBS)和小型基站(SmallBase Station，SBS)。宏基站位于整个蜂窝网络的中心，而小型基站则随机分布在网络中。基站和MEC服务器一起构成服务提供商。该网络中一共存在一个MSP和K个SSP，用集合

来表示。网络中所有的终端都是随机分布的，终端可以用集合

来表示。将网络中连接到SPk的终端数量记为n_k。每个SP完全复用M个正交子载波，子载波集合表示为

对于终端用户i，定义任务上传到MEC服务器的数据量为b_i，定义完成任务计算需要的CPU周期为d_i，定义任务计算结果的数据量为a_i。对于服务提供商SPk，定义可用带宽为B_k。定义SP的单位时间内的任务处理能力为F_k

服务提供商SPk和用户i的连接关系用α^(k,i)来表示，α^(k,i)＝{0,1}，α^(k,i)＝1代表用户i连接了SPk，否则取值为0。用户i和子载波m之间的关系可以用α^(k,i,m)来表示，α^(k,i,m)＝{0,1}，α^(k,i,m)＝1代表SPk给用户i分配了子载波m。

所以，用户i在SPk分配了子载波m后上行链路的信干噪比可以表示为

其中g_k,i表示信道增益，

表示传输功率，σ表示高斯白噪声功率。

SP k中所有在子载波m上传输数据的用户的上行链路传输速率可以表示为

根据上行链路子载波的数据传输速率，我们可以得到用户i的上行链路传输时延

同理，SPk将计算结果传回用户i的下行链路传输时延

用户的任务处理时间包括了三部分，任务数据的上传时间，服务提供商的计算处理时间以及计算结果传送回用户的时间

因此，每个服务提供商所有连接用户的平均任务处理时间为

集合

表示服务提供商k借用资源的集合，其中

代表了服务提供商k从服务提供商k’处借用的资源，在SP进行了资源借用后，其计算资源可以表示为

所以，用户的任务计算时间表示为

考虑到资源借用需要向对应SP付出相应代价，而且借用的资源越多，SP距离越远，这个代价越大，所以我们可以将借用的资源块的代价表示为

其中

表示SP k借用的所有资源总和，d_k,k'是SP k和k’之间的距离，ξ是比例系数。

如图2所示，本发明的移动边缘计算系统中基于深度强化学习的协作资源分配方法具体包括：

(1)计算用户和所有基站连接的信噪比，用户根据信噪比最大原则选择基站进行连接，得到用户基站连接矩阵；

(2)移动边缘计算系统中的服务提供商给用户提供无线资源和计算资源，无线资源以子载波的形式分配，服务提供商随机给用户分配子载波，并且将有限的计算资源随机分配给连接用户，得到资源分配的初始系统状态；

(3)将服务提供商的子载波分配作为强化学习模型中的动作空间，用载波容量来表示强化学习模型中奖励值，利用深度值网络算法得到资源分配模块中用户的信道连接矩阵；

(4)根据基站连接矩阵和信道连接矩阵，计算用户的数据上传时间和任务处理时间，然后得到每个服务提供商中所有用户的平均时延，并与设定的时延阈值进行比较，得到资源共享的初始系统状态；

(5)将服务提供商资源借用情况作为强化学习模型中的动作空间，用系统的时延和代价和来表示奖励值，利用深度值网络算法得到资源共享模块中服务提供商资源借用集合。

其中，步骤(1)中的服务提供商k和用户i之间的信噪比可以表示为

其中g_k,i表示信道增益，p_k,i表示传输功率，σ表示高斯白噪声功率。

计算用户i的所有b^(k,i)，使b^(k,i)取值最大的服务提供商k与用户i相连接，即α^(k,i)＝1，否则α^(k,i)＝0，具体的数学表达式为

步骤(3)中资源分配模块的强化学习模型的描述具体如下：

状态空间：用s^(k,m)＝{ν^(k,m),β^(k,m)}^T来表示，其中ν^(k,m)代表服务提供商k的子载波m是否分配给了用户，如果服务提供商k的子载波m连接上了用户，那么就将值置为1，否则置为0，β^(k,m)代表载波容量C^(k,m)是否符合要求，具体表示为下式

其中β₀是人为设置的载波容量阈值。

动作空间：服务器提供商负责给所有相连的用户分配子载波，所以动作函数可以表示为

a^(k,m)＝{k^(m,1),...,k^(m,i),...,k^(m,I)}^T 式(11)

其中k^(m,i)表示SP中用户i和子载波m的关系，如果SP k将子载波m分配给了用户i，则k^(m,i)＝1，否则说明子载波m并未与用户i相连，k^(m,i)＝0。

奖励：我们可以采用载波容量来作为奖励值，具体表示为

我们对每个子载波分别定义奖励值r^(k,m)，只有载波容量大于阈值时奖励值才会大于0，否则，奖励值为-1。

步骤(4)中的平均时延和系统初始状态具体描述如下：

状态空间：可以用当前服务提供商的时延情况和资源情况

来表示，其中，时延情况λ^k具体定义为

只有λ^k＝1的情况下，服务提供商才会向其他的服务器借用资源

步骤(5)中资源共享模块的强化学习模型的描述具体如下：

动作空间：用服务提供商k向其他服务提供商借用的资源来表示

其中k'为其他的SP序号，

为服务提供商k向k'借用的资源。

奖励：用整个系统的时延和代价和来表示

表示资源借用后的代价。

如图2所示，本发明的DQN方法具体包括：

(1)初始化系统状态s，初始化值函数Q，记忆池大小；

(2)根据ε-贪心(ε-greedy)策略在动作空间中选择动作a并执行；

(3)执行动作后返回奖励值r和新的状态s'，并将这个状态转换过程(s,a,r,s')存储入记忆池；

(4)在记忆池中随机选取一个批量的样本，作为训练网络的数据集；

(5)根据样本通过目标网络得到的值和样本通过评估网络的估计值之间的差量来更新评估网络参数；

(6)每隔N^-步更新目标网络参数；若是没有达到规定次数，则进入下一状态，并重复步骤2；若是达到规定次数，结束学习；

其中，步骤(1)的值函数Q的更新步骤被定义为

其中

表示在下一状态s'可选择的所有动作中的最大Q值。

DQN中使用参数为θ的网络来近似估计Q值，公式为

Q(s,a；θ)≈Q*(s,a) 式(17)

步骤(2)中的ε-贪心(ε-greedy)策略可以表示为

ε(ε＞0)是一个很小的值，代表概率，在ε-贪心策略中将概率ε平均分配给除了当前最优动作以外的其他动作上，然后将剩下的概率1-ε分配给了当前最优动作。

步骤(5)利用随机梯度下降法更新评估网络参数的具体公式为

目标网络的参数用θ^-来表示；评估网络的参数用θ来表示。目标网络就是在原有的神经网络之外再搭建一份结构完全相同但是参数不同的网络。原有的神经网络称为评估网络。在学习的过程中，使用目标网络来得到回报目标的估计值。在参数更新的过程中，只更新评估网络的参数，不更新目标网络的参数，这样，更新评估网络参数时针对的回报目标不会在每次迭代中都变化，是一个固定的目标。在完成一定次数的更新后，再将当前的评估网络的参数值赋值给目标网络，进而进行下一批更新。由于在目标网络没有变化的一段时间内回报目标的估计值是相对固定的，目标网络的引入增加了学习的稳定性。

Claims (6)

1.移动边缘计算系统中基于深度值网络的协作资源分配方法，其特征在于：该方法包括：

(1)计算用户和所有基站连接的信噪比，用户根据信噪比最大原则选择基站进行连接，得到用户基站连接矩阵；

(2)移动边缘计算系统中的服务提供商给用户提供无线资源和计算资源，无线资源以子载波的形式分配，服务提供商随机给用户分配子载波，并且将有限的计算资源随机分配给连接用户，得到资源分配的初始系统状态；

(3)将服务提供商的子载波分配作为强化学习模型中的动作空间，用载波容量来表示强化学习模型中奖励值，利用深度值网络算法得到资源分配模块中用户的信道连接矩阵；

(4)根据基站连接矩阵和信道连接矩阵，计算用户的数据上传时间和任务处理时间，然后得到每个服务提供商中所有用户的平均时延，并与设定的时延阈值进行比较，得到资源共享的初始系统状态；

(5)将服务提供商资源借用情况作为强化学习模型中的动作空间，用系统的时延和代价和来表示奖励值，利用深度值网络算法得到资源共享模块中服务提供商资源借用集合。

2.根据权利要求1所述的移动边缘计算系统中基于深度值网络的协作资源分配方法，其特征在于：步骤(1)中的服务提供商k和用户i之间的信噪比表示为

其中g_k,i表示信道增益，p_k,i表示传输功率，σ表示高斯白噪声功率。

计算用户i的所有b^(k,i)，使b^(k,i)取值最大的服务提供商k与用户i相连接，即α^(k,i)＝1，否则α^(k,i)＝0，具体的数学表达式为

。

3.根据权利要求1所述的移动边缘计算系统中基于深度值网络的协作资源分配方法，其特征在于：步骤(2)中初始系统状态描述具体如下：

状态函数用s^(k,m)＝{ν^(k,m),β^(k,m)}^T来表示，其中ν^(k,m)代表服务提供商k的子载波m是否分配给了用户，如果服务提供商k的子载波m连接上了用户，那么就将值置为1，否则置为0，β^(k,m)代表载波容量C^(k,m)是否符合要求，具体表示为下式

其中β₀是人为设置的载波容量阈值，通过服务提供商随机选择子载波可以得到初始的系统状态。

4.根据权利要求1所述的移动边缘计算系统中基于深度值网络的协作资源分配方法，其特征在于：步骤(3)中资源分配模块的强化学习模型的描述具体如下：

动作空间：服务器提供商负责给所有相连的用户分配子载波，所以动作函数表示为

a^(k,m)＝{k^(m,1),...,k^(m,i),...,k^(m,I)}^T 式(4)

其中k^(m,i)表示SP中用户i和子载波m的关系，如果SP k将子载波m分配给了用户i，则k^{(m ,i)}＝1，否则说明子载波m并未与用户i相连，k^(m,i)＝0；

奖励：我们可以采用载波容量来作为奖励值，具体表示为

我们对每个子载波分别定义奖励值r^(k,m)，只有载波容量大于阈值时奖励值才会大于0，否则，奖励值为-1。

5.根据权利要求1所述的移动边缘计算系统中基于深度值网络的协作资源分配方法，其特征在于：步骤(4)中的平均时延和系统初始状态具体描述如下：

用户的任务处理时间包括了三部分，任务数据的上传时间，服务提供商的计算处理时间以及计算结果传送回用户的时间

因此，每个服务提供商所有连接用户的平均任务处理时间为

其中n_k表示为服务提供商连接的用户数；

状态值可以用当前服务提供商的时延情况和资源情况

来表示，其中，时延情况λ^k具体定义为

只有λ^k＝1的情况下，服务提供商才会向其他的服务器借用资源。

6.根据权利要求1所述的移动边缘计算系统中基于深度值网络的协作资源分配方法，其特征在于：步骤(5)中资源共享模块的强化学习模型的描述具体如下：

动作空间：用服务提供商k向其他服务提供商借用的资源来表示

其中k'为其他的SP序号，

为服务提供商k向k'借用的资源；

奖励：用整个系统的时延和代价和来表示

表示资源借用后的代价。

Images