CN112867066A

CN112867066A - 基于5g多小区深度强化学习的边缘计算迁移方法

Info

Publication number: CN112867066A
Application number: CN202110103816.7A
Authority: CN
Inventors: 张晖; 王志坤; 赵海涛; 孙雁飞; 朱洪波
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2021-01-26
Filing date: 2021-01-26
Publication date: 2021-05-28
Anticipated expiration: 2041-01-26
Also published as: CN112867066B

Abstract

本发明公开了一种基于5G多小区深度强化学习的边缘计算迁移方法。属于边缘计算领域与深度强化学习领域；具体步骤：终端制定计算迁移方案；将待计算迁移的任务参数信息，信道增益以及临近干扰小区的信息发送给小区内MEC服务器；对可被小区间迁移的MEC服务器排序；在MEC服务器处制定计算迁移策略；根据计算迁移策略，终端将任务迁移到MEC服务器计算；无法计算迁移的任务在终端处计算，并等待下次迁移。本发明用任务执行优先级函数以及负载指标函数表示迁移任务以及可被小区间迁移的MEC服务器的优先级，用深度强化学习，贪心算法以及小区间迁移三者相结合提高资源利用效率以及确保负载均衡。

Description

基于5G多小区深度强化学习的边缘计算迁移方法

技术领域

本发明涉及边缘计算领域与深度强化学习领域，具体涉及一种基于5G多小区深度强化学习的边缘计算迁移方法。

背景技术

根据Cisco Visual Networking Index最新的报告，预测到2022年，每年移动数据流量的将达到1zettabyte(930exabytes)，这是2012年全球所有移动流量的近113倍。同时，全球移动通信系统协会(GSMA)也指出2020年以后全球网民数量将达到50亿。目前，终端设备产生的海量数据已经明显超过设备自身的处理能力，同时，兴起的移动应用也向着复杂化、大型化发展，如：人脸识别，虚拟现实，增强现实以及混合现实等。这些发展使得在终端设备中完成计算密集型任务变得不可行。因为对于终端设备来说，它有着资源受限，计算力不足，电池寿命不长等缺点，很难满足任务请求时延以及网络服务质量。为此，边缘计算的运用越来越受到关注，其主要是移动设备将复杂的计算任务迁移到距离更近的边缘云以确保满足时延需求。同时，随着机器学习的发展，深度强化学习也开始在各行各业中使用。如何利用深度强化学习实现终端计算任务的高效迁移以及合理资源分配方式，成为边缘计算迁移的研究热点。该研究成果不仅能合理的运用通信资源，减少通信系统能耗，而且还结合其他领域进行创新。此外，随着5G时代的到来，5G加MEC会使边缘计算具有很好的前景，对我国的经济发展有着推动作用，对成为科技强国具有极大的意义。

在现有的边缘计算迁移研究中，大部分研究都是通过传统算法对计算迁移问题求解，得到合理的资源分配方式，以优化系统能耗或联合优化能耗与时延等。但是，使用传统算法，一方面会由于问题复杂导致求解过程明显繁琐，算法效率太低；另一方面无法很好的应对复杂多样的环境，只存在理论的可行性。相比于这些算法而言，深度强化学习有着不需要预先花费大量时间和精力训练神经网络，能在动态变化的环境中学习等特点，很快成为人们关注的重点，所以将深度强化学习与边缘计算结合是既具有研究价值同时又极具挑战性的热门课题。

尽管深度强化学习为更好的实现边缘计算迁移提供了可能，但在实际的运用中，终端任务请求数量多，上传的数据维度大以及数据特征不够等问题，将会影响深度强化学习的计算效率和评估准确率。此外，深度强化学习模型的输入维度是固定的，对于过量的任务计算迁移请求，如何选择更合适的计算迁移方式以及处理多出的迁移任务，也会整个用户体验产生影响。所以还需要在深度强化学习的基础上进行一定的改进，以更加有效的方式实现终端任务的计算迁移。

为此，本发明先从迁移任务的处理优先级以及负载均衡的角度出发，分别提出了结合多种数据参数的执行优先级函数和负载指标函数；再从深度强化学习输入特征的角度出发，提出将任务参数信息与邻近干扰小区的信息相结合的DQN模型；接着从DQN模型输入维度固定的角度出发，对多出的迁移任务使用贪心算法以及小区间迁移实现整体计算迁移；最后考虑无法迁移的任务，使其在终端处计算等待下次迁移。从而提出基于5G多小区深度强化学习的边缘计算迁移方法。

发明内容

针对上述问题，本发明提供了一种基于5G多小区深度强化学习的边缘计算迁移方法。一方面使用任务执行优先级函数以及负载指标函数，来表示迁移任务以及可被小区间迁移的MEC服务器的优先级；另一方面使用深度强化学习，贪心算法以及小区间迁移进行计算迁移来提高资源利用效率以及确保负载均衡。

本发明的技术方案是：基于5G多小区深度强化学习的边缘计算迁移方法，具体步骤包括如下：

步骤(1.1)、根据终端处待处理的任务的参数信息，终端制定计算迁移方案；

步骤(1.2)、将待计算迁移的任务参数信息，信道增益以及临近干扰小区的信息发送给小区内MEC服务器；

步骤(1.3)、利用执行优先级函数对待迁移的任务排序，以及使用负载指标函数对可被小区间迁移的MEC服务器排序；

步骤(1.4)、利用深度强化学习，贪心算法以及计算的负载指标，在MEC服务器处制定计算迁移策略；

步骤(1.5)、根据计算迁移策略，终端将任务迁移到MEC服务器计算；

步骤(1.6)、无法计算迁移的任务在终端处计算，并等待下次迁移。

进一步的，在步骤(1.2)中，所述将待计算迁移的任务参数信息，信道增益以及临近干扰小区的信息发送给小区内MEC服务器的具体操作步骤如下：

(1.2.1)、通过导频信号估计，终端得到信道增益；

(1.2.2)、将任务参数信息以及信道增益上传给小区内的MEC服务器；

(1.2.3)、干扰小区之间相互发送计算迁移信息。

进一步的，在步骤(1.3)中，所述利用执行优先级函数对待迁移的任务排序，以及使用负载指标函数对可被小区间迁移的MEC服务器排序的具体操作过程如下：

和

分别表示是上传给小区内MEC服务器的任务的数据量大小，时延需求以及信道增益信息，为计算任务的执行优先级，构造执行优先级函数如下式所述：

式中，c₁和c₂表示权重，

表示任务所对应的终端设备的计算能力；每个MEC服务器通过计算结果进行任务排序。

进一步的，在步骤(1.4)中，所述利用深度强化学习，贪心算法以及计算的负载指标，在MEC服务器处制定计算迁移策略的具体操作方法如下：

(1.4.1)、根据任务优先级排序，MEC服务器将优先级高的前M个任务信息以及相邻干扰小区的信息作为DQN的状态输入；

(1.4.2)、采用贪心算法，使多余的计算迁移任务能在小区内MEC服务器计算；

(1.4.3)、根据负载指标，将小区内无法计算迁移的任务传到临近小区的MEC服务器计算。

进一步的，在步骤(1.5)中，所述根据计算迁移策略，终端将任务迁移到MEC服务器计算的具体操作步骤如下：

(1.5.1)、终端获取计算迁移策略，根据迁移策略，终端将任务分为本地计算部分和计算迁移部分；

(1.5.2)、计算迁移部分上传到小区内MEC服务器计算或执行小区间迁移计算。

进一步的，在所述步骤(1.6)中，无法迁移的任务在终端处计算，在下一时刻，将终端未计算完的任务作为新任务，重复上述计算迁移步骤。

本发明的有益效果是：本发明考虑迁移任务的执行优先级以及多小区负载均衡，提出了执行优先级函数以及负载指标函数，通过待迁移任务的参数信息以及信道增益来计算任务执行的优先级，又考虑DQN的ACTION维度太大对模型训练效率的影响，降低了参与学习的任务数并采用贪心算法以及小区间迁移对多余的任务实现计算迁移，此外还考虑了无法得到临近干扰小区的实时信息问题，将干扰小区上一时刻计算迁移任务的信息加入DQN中作为信息推导。一方面，该方案用任务执行优先级函数以及负载指标函数表示迁移任务以及可被小区间迁移的MEC服务器的优先级，用深度强化学习，贪心算法以及小区间迁移三者相结合提高资源利用效率以及确保负载均衡；另一方面，该方案又非常简单的易于实现，具有个别好的应用前景。

附图说明

图1是本发明的结构流程图；

图2是本发明中边缘计算迁移的基本架构图；

图3是本发明的优先级排序框图；

图4是本发明中DQN的流程图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：

如图1所述；基于5G多小区深度强化学习的边缘计算迁移方法，具体步骤包括如下：

步骤(1.4)、利用深度强化学习(DQN)，贪心算法以及计算的负载指标，在MEC服务器处制定计算迁移策略；

(1.2.1)、通过导频信号估计，终端得到信道增益；

(1.2.3)、干扰小区之间相互发送计算迁移信息。

和

式中，c₁和c₂表示权重，

表示任务所对应的终端设备的计算能力；每个MEC服务器通过计算结果进行任务排序；

假设小区n获得的临近干扰小区的信息包括{R(t-1),K(t-1)}；R(t-1)＝{R_j(t-1)|j≠n}表示t-1时刻制定计算迁移策略之前的其他MEC服务器可用计算资源；K(t-1)＝{K_j(t-1)|j≠n}表示t-1时刻制定计算迁移策略之前其他小区需要计算迁移的任务数；结合上述信息构建负载指标函数：

其中，K_m_j(t-1)表示其他小区迁移到小区j计算的任务；通过比较负载指标可以选择可被小区间迁移的MEC服务器。

(1.4.1)、根据任务优先级排序，MEC服务器将优先级高的前M个任务信息以及相邻干扰小区的信息(上一时刻MEC服务器可用的计算资源，待迁移的任务，信号干扰增益，终端发射功率)作为DQN的状态输入；

进一步的，在所述步骤(1.6)中，无法迁移的任务在终端处计算，在下一时刻，将终端未计算完的任务作为新任务，重复上述计算迁移步骤。但是，在计算执行优先级时，需添加补偿值提高执行优先级。

具体的，本发明提供了基于5G多小区深度强化学习的边缘计算迁移方法，基本架构图如图2所示，该方法首先由终端侧设备根据计算任务参数信息，制定计算迁移方案，再将需要迁移的任务信息上传到MEC服务器，MEC服务器根据提出的执行优先级函数以及负载指标函数确定迁移任务的执行顺序以及可被小区间迁移的MEC服务器，MEC服务器利用DQN模型，贪心算法以及小区间迁移制定计算迁移策略，终端根据计算迁移策略进行整体计算迁移；最后，无法迁移的任务在终端处进行计算，并等待下次计算迁移。

本发明主要包含三个内容：一是构建执行优先级函数和负载指标函数，为小区内需迁移任务制定执行顺序与任务迁移，确保用户体验以及系统负载平衡；二是降低DQN模型的输入任务数，利用临近干扰小区的信息以及使用贪心算法，提高计算迁移过程中的计算效率以及策略的有效性；三是提出小区间迁移和终端计算处理，尽可能在当前时刻为任务提供计算迁移，并确保当前无法迁移的任务在下次优先迁移。

1、执行优先级函数与负载均衡预处理：

执行优先级函数：如图3所示，对于已经决定计算迁移的任务，需要表示不同任务之间的计算优先级，确定在MEC服务器的执行顺序；对于一个系统而言，只考虑距离相对较近之间的小区干扰；N表示小区个数，每个小区部署一个MEC服务器；若

表示当前时刻第n(n＝0,1,2,K,N)个小区的第i个需要迁移的任务，其参数信息表示为

其中

和

分别表示第n个小区的第i个待迁移任务的数据量，时延需求以及信道增益；对于任一任务，其执行优先级表示为：

其中，c₁和c₂分别代表权重，

为任务

所对应的终端设备的计算能力；

负载指标函数：MEC服务器根据获取的信息进行资源分配之前，会接收到干扰小区上一时刻迁移任务的信息，利用这些信息，可以更好的预测当前时刻每个小区的负载情况以及可能干扰，并实现任务迁移来确保系统的负载平衡；第n个小区获得的临近干扰小区的信息包括{R(t-1),K(t-1)}；

R(t-1)＝{R_j(t-1)|j≠n,j＝1,2,K,N}

表示t-1时刻制定计算迁移策略之前的其他MEC服务器可用计算资源；

K(t-1)＝{K_j(t-1)|j≠n,j＝1,2,K,N}

表示t-1时刻制定计算迁移策略之前其他服务器需要计算迁移的任务数；结合上述信息构建负载指标函数：

其中，K_m_j(t-1)表示迁移到小区j计算的任务；根据负载指标函数可以估计确定每个小区的负载情况，之后采用任务迁移实现系统的负载均衡，但是具体的任务迁移要在计算迁移策略实现后才能进行。

2、小区内计算迁移策略：

DQN迁移策略：为提高深度强化学习的计算效率以及所提策略的性能，在使用DQN时，降低参与DQN学习的任务数以及利用临近干扰小区的信息；假设每个小区参与DQN学习的任务数为M，第n个小区获得的临近干扰小区的信息包括{K(t-1),h(t-1),p(t-1)}以及实时信息h(t)；

表示t-1时刻的干扰小区用户信号传到第n个小区的对任务m的信息干扰增益；

表示t-1时刻各任务迁移时，终端的发射功率；对于第n个小区而言，采用DQN学习资源分配的具体流程如下：

(A)、利用执行优先级函数对需要计算迁移的任务排序，并选取执行优先级高的前M个任务；

(B)、构建DQN学习中的ACTION空间以及STATE空间；

ACTION空间：

a_n＝{mc_n,p_n,e_n}

其中，

表示小区内MEC服务器分配给任务m的计算资源，且

表示终端的发射功率，

表示任务计算迁移比例，

表示迁移的数据量；

STATE空间：

s_n(t)＝{F(B_n(t)),h_n(t),I_n(t),F(B_n(t-1)),h_n(t-1),I_n(t-1),

mc_n(t-1),p_n(t-1),e_n(t-1)}

其中，

表示当前时刻第n个小区M个优先级高的任务中的第m任务，

表示当前时刻任务m将受到的干扰(因为干扰小区的终端未分配发射功率，所以该值为预测值)，表示为：

表示第j个小区任务优先级排u的终端信号传到第n个小区对任务m的信号干扰增益，

表示第j个小区任务优先级排第u的终端的发射功率；

表示当前时刻任务m上传所对应的信道增益。

(C)、根据图4执行DQN算法，得到最佳的资源分配策略：

贪心迁移策略：若需要迁移的任务数超过M个，则超出了DQN的输入任务数上限，无法对超出的任务制定计算迁移策略；为此，需要引入其他方法确保多余的迁移任务的资源分配；根据之前MEC服务器已分配的计算资源，采用贪心算法为多余任务的计算迁移制定资源分配策略。具体流程为：

1)、根据任务优先级排序，从高到低的寻找时延需求最低的任务；

2)、如此反复，针对多余的任务可以得到新的任务排序集合；

3)、根据等式

进行资源分配，其中

与

分别表示本地计算以及计算迁移的数据量，

与

分别表示终端以及MEC服务器分配的计算量，T_UP为每bit数据量上传到MEC服务器需要的时间；

4)、计算可用资源，根据新的任务排序集合，以流程C进行资源分配；

5)、MEC服务器可用资源无法确保迁移计算能满足时延需求，结束分配。

3、小区间迁移和终端计算处理

对于未进行资源分配的多余任务，首先结合上述的负载指标函数以及任务参数信息，实现小区间迁移计算；然后对于无法迁移的任务，返回当前时刻不迁移的信息，在终端计算。具体实施步骤为：

A)、结合获得的临近干扰小区的信息，预估负载指标G(R_j(t-1),K_j(t-1),K_m_j(t-1))；

B)、选择当前任务迁移请求数小于K_j(t-1)+K_m_j(t-1)的MEC服务器作为可任务迁移的MEC服务器候补，比较负载指标，选出MEC服务器；

C)、计算迁移时延，以任务执行优先级的排序，实现小区间计算迁移；

D)、拒绝剩余任务的迁移，在终端处进行计算；下一时刻，将终端无法处理完的部分作为新任务实施迁移，新任务的参数信息为：

E)、并在计算执行优先级时增加补偿优先级，即执行优先级为；

其中，τ表示时刻间隔，

表示新的CSI，C表示补偿值。

下面通过实施例，对所提供的基于5G多小区深度强化学习的边缘计算迁移方法作进一步的描述；在本发明实施例中：该方法中终端根据计算任务的数据量，时延需求等信息确定是否发送计算迁移请求；如以一个任务为例，其数据量为x＝2×10⁴cycle，时延需求为T＝20ms，终端计算能力为f＝5×10⁵cycle/s；因为

所以发送计算迁移请求；该方法中MEC服务器制定执行优先级函数与负载指标函数，判断迁移任务的优先级以及可被迁移的临近MEC服务器；如以一个任务以及一个临近小区j的MEC服务器为例，根据执行优先级函数

以及负载指标函数为

进行排序；该方法中MEC服务器根据DQN(如图4)以及贪心算法进行资源分配；如对前M个任务使用DQN模型训练，得到资源分配{mc,p,e}，并使用贪心算法得到剩余任务的{p,e}；该方法中MEC服务器制定小区间计算迁移；如以两个未实现迁移的任务为例，任务a的时延需求t_a＝20ms，执行优先级为f(a)＝2.2，任务b的时延需求t_b＝15ms，执行优先级为f(b)＝2.3，f(b)＞f(a)，由于对任务b优先执行小区间迁移，分别计算迁移时延以及排队时延确定最终的迁移策略；该方法中终端本地计算任务，并等待下次计算迁移；如以一个未计算迁移的任务c为例，参数信息为{10⁶cycle,30ms,60dB}，在下一时刻参数信息会变为{(10⁶-ft)cycle,(30-t)ms,57dB}，其中ft表示本地计算的数据量，t表示时间间隔长度，终端新的任务参数信息请求计算卸载，并在计算执行优先级是添加补偿项；这样不仅能利用优先级排序，制定不同迁移任务的重要性，还能利用DQN以及贪心算法加快任务迁移的效率以及资源的使用效率，此外还能有效的调节不同小区之间的负载平衡。

最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则；其他的变形也可能属于本发明的范围；因此，作为示例而非限制，本发明实施例的替代配置可视为与本发明的教导一致；相应地，本发明的实施例不限于本发明明确介绍和描述的实施例。

Claims

1.基于5G多小区深度强化学习的边缘计算迁移方法，其特征在于，具体步骤包括如下：

2.根据权利要求1所述的基于5G多小区深度强化学习的边缘计算迁移方法，其特征在于，在步骤(1.2)中，所述将待计算迁移的任务参数信息，信道增益以及临近干扰小区的信息发送给小区内MEC服务器的具体操作步骤如下：

(1.2.1)、通过导频信号估计，终端得到信道增益；

(1.2.3)、干扰小区之间相互发送计算迁移信息。

3.根据权利要求1所述的基于5G多小区深度强化学习的边缘计算迁移方法，其特征在于，在步骤(1.3)中，所述利用执行优先级函数对待迁移的任务排序，以及使用负载指标函数对可被小区间迁移的MEC服务器排序的具体操作过程如下：

和

式中，c₁和c₂表示权重，

4.根据权利要求1所述的基于5G多小区深度强化学习的边缘计算迁移方法，其特征在于，在步骤(1.4)中，所述利用深度强化学习，贪心算法以及计算的负载指标，在MEC服务器处制定计算迁移策略的具体操作方法如下：

5.根据权利要求1所述的基于5G多小区深度强化学习的边缘计算迁移方法，其特征在于，在步骤(1.5)中，所述根据计算迁移策略，终端将任务迁移到MEC服务器计算的具体操作步骤如下：

6.根据权利要求1所述的基于5G多小区深度强化学习的边缘计算迁移方法，其特征在于，在所述步骤(1.6)中，无法迁移的任务在终端处计算，在下一时刻，将终端未计算完的任务作为新任务，重复上述计算迁移步骤。