CN112468568A - 一种移动边缘计算网络的任务中继卸载方法 - Google Patents

Abstract

本发明公开了一种移动边缘计算网络的任务中继卸载方法，包括集成了毫米波和频率低于6GHz电磁波(Sub‑6GHz)的移动边缘计算网络，Sub‑6GHz实现用户设备的全覆盖，设置基站和用户设备预先执行了波束训练和对齐机制，因此能够在建立数据连接时配置适当的波束。由于每个用户设备都是独立的个体，因此，采用平均场博弈MFG的框架最大程度的减少功耗，针对MFG优化方法的限制，将公式化的MFG简化为马尔可夫决策过程MDP，利用MDP优化问题求得MFG的均衡解，即通过采用强化学习框架，最大化CUs的价值函数，在强化学习的指导下得到均衡解，实现任务的成功卸载，并减少系统能耗。

Description

一种移动边缘计算网络的任务中继卸载方法

技术领域

本发明涉及无线通信系统中任务中继及卸载技术，尤其涉及一种移动边缘计算网络的任务中继卸载方法。

背景技术

随着5G时代的到来，移动设备成为处理飞速增长的计算数据密集型应用程序的平台，其中包括导航、面部识别、增强/虚拟现实以及在线游戏。由于移动设备计算能力、内存以及电池容量的局限性，无法为一些应用程序提供较高的服务质量，给无线通信带来了挑战。

为了解决这些严峻的挑战，提出了移动边缘计算(MEC)作为可行的解决方案。将MEC部署在网络边缘的计算基站，例如小型基站(SBS)，从而显着减少SBS到云链路上的流量负载，同时减少卸载延迟。MEC提供了具有超低延迟和高带宽的强大计算服务环境，移动设备可以卸载任务到其中以减轻对计算和延迟要求严格的任务。

毫米波(mmWave)技术成为提供更大带宽和更快数据速率的5G通信蜂窝系统的新前沿。但是，毫米波的独特无线电传播特性挑战了无线通信系统的设计，由于毫米波信号的传输距离短，毫米波基站需要密集部署才能实现全覆盖，这会导致运营商的支出高昂。

在博弈论领域中的平均场博弈(MFG)，已应用于许多工程问题。MFG将博弈建模为一个玩家与所有其他玩家的集体行为进行交互，并提供平衡解决方案，将复杂问题简化为每个玩家的个别问题。因此，MFG适合大量玩家的场景，适用于在多设备之间进行多项任务的调度任务。

发明内容

发明目的：本发明目的是针对毫米波频段的高路径损耗以及用户设备计算能力的不足，提供一种移动边缘计算网络的任务中继卸载方法，即提供一种基于分布式强化学习指导的MFG方法，解决了一些用户设备难以通过直接卸载来处理任务数据的困境，将D2D链路作为中继链路，提高任务卸载的成功率，同时尽可能减少系统能耗。

技术方案：本发明提供一种移动边缘计算网络的任务中继卸载方法，包括以下步骤：

步骤s1：构建一个毫米波和频率低于6GHz电磁波(Sub-6GHz)的移动边缘计算网络，其中，Sub-6GHz实现用户设备的全覆盖，毫米波实现用户部分覆盖；所述移动边缘计算网络中共有U个用户设备在Sub-6GHz的覆盖范围内，n个中心用户设备(Central User，CU)可以直接将计算任务卸载到移动边缘计算MEC服务器中，m个拓展用户设备(ExpandedUser，EU)不在毫米波的覆盖范围内，CUs为毫米波覆盖范围内的所有CU，每个用户设备有一个长度为J的队列用于储存任务，通过D2D中继链路来改善不在毫米波覆盖范围内用户的数据卸载体验；

步骤s2：CUn中继EUm中需要卸载的任务，在通信范围内，CUn和处于毫米波覆盖范围内的其他CUs交换任务数据，处理队列中的任务；

步骤s3：根据CUn处理队列中的任务导致的系统能量消耗建立代价函数，列出平均场博弈MFG中的FPK(Fokker-Planck-Kolmogoroy)方程和HJB(Hamilton-Jacobi-Bellman)方程；

步骤s4：将公式化的MFG转换为马尔可夫决策过程MDP，通过采用强化学习框架最大化CU n的价值函数，求得MFG的均衡解。

在步骤s1中，将MEC服务器部署在网络边缘的计算基站内。

在步骤s2中，CUn处理队列中任务的工作模式包括本地计算以及卸载任务到MEC服务器。

在步骤s3中具体包括：

a_n是CU n的动作空间，表示为

其中d_n,m为二进制索引{0,1}，如果CUn选择EUm的任务进行中继，则d_n,m＝1，否则为0；c_n∈{0,1}，当CUn选择本地计算，则c_n＝1，否则为0；

和

分别表示CUn需要处理的中继任务数据和自身任务数据；

s_n为CUn的状态空间，表示为s_n＝{i_n，h_n}，其中I_n表示CU n队列中的任务大小，h_n表示CU n和接入点AP之间信道的增益；

r是奖励函数，定义为系统能耗的负值，表示为

其中d_n,m∈{0,1}，c_n∈{0,1}，

时隙t中CUn的状态空间离散化为w个状态，表示为

其中

表示在时隙t时CUn队列中的任务大小，

表示时隙t时CU n和接入点AP之间信道的增益；

CUn获得的奖励取决于CUs在每个状态的分布；

在时隙t中CUs在状态中的分布表示为

其中

表示在状态

中CUs的比例，对CUn建立前向FPK方程，表示为

其中

表示在时隙t中

中的CUn转换为

的概率，取决于CUn的动作，

表示时隙t中状态空间s_n中的第i个状态，

表示时隙t中状态空间s_n中的第j个状态；

在时隙t中CUn的价值函数，称为后向HJB方程，定义为：

其中μ表示在状态

下选择动作a_n的策略，r[a_n|s_n]表示时隙t中CUn在状态s_n采取动作a_n后得到的奖励，

表示在时隙t+1遵循策略μ获得的预期累计奖励，

γ∈[0,1]为折扣因子。

在步骤s4中具体包括：

将每个中心用户设备n看作智能体n，其最优策略表示为最小化系统能耗的策略，即最大化其负值，表示为

智能体n在完成一次经历后进行Q值更新，更新公式表示为Q(s_n,a_n)←Q(s_n,a_n)+α[r+γmax_a′Q(s′_n,a′_n)-Q(s_n,a_n)]，其中α是学习率，s′_n表示下一时隙智能体n所处的状态，a′_n表示智能体n在下一时隙采取的动作。

在步骤s4中还包括：通过不断迭代更新得到最优Q值，即得到平均场博弈的均衡解，若达到设定的迭代次数后，强化学习模型仍未收敛，则调整学习率，重新进行迭代训练。

有益效果：与现有技术相比，本发明具有如下显著的优点：CUn选择需要卸载任务的EUm进行中继，在通信范围内，CUn和处于毫米波覆盖范围内的其他CUs交换任务数据，采用平均场博弈MFG最小化能耗，考虑到难以求得均衡解，将其转换为MDP过程，并采用强化学习框架最大化其价值函数得到最佳方案，本发明可以提高任务卸载的成功率，实现更快的收敛速度以及更低的系统能耗。

附图说明

图1为本发明的系统模型图；

图2为本发明的求解平均场博弈流程图；

图3为本发明的任务中继卸载示意图；

图4为本发明的强化学习流程图。

具体实施方式

下面结合附图及实例具体讲述基于平均场博弈-强化学习的任务中继卸载流程的过程。具体实现步骤如下：

步骤1：建立系统模型。如图1所示，假设在一个由完全覆盖Sub-6GHz和部分覆盖毫米波的移动边缘计算网络中，移动边缘计算MEC服务器有足够的计算能力，毫米波的覆盖半径为70m，在Sub-6GHz的覆盖范围内一共有12个用户，其中有5个用户不在毫米波的覆盖范围，每个用户设备有一个500MB的队列用于储存任务。中心用户设备(Central User，CU)可以直接将计算任务卸载到MEC服务器中，拓展用户设备(Expanded User，EU)不在毫米波的覆盖范围内。

步骤2：EU ₂通过信道增益3dBi的前向信道将50MB的计算任务卸载到CU ₁，CU₁在15m的通信范围内和处于毫米波覆盖范围内的其他CUs交换任务数据，并选择两种模式(即本地计算以及卸载任务到MEC服务器)处理队列中的任务。假设每个CU在每个时隙最多只能中继一个任务。

步骤3：采用平均场博弈MFG求解。首先定义MFG中的基本要素：

CUs为MFG中的玩家，表示为n＝{1，2...7}；a_n是CUn的动作空间，表示为

其中d_n，m为二进制索引{0，1}，如果CU₁选择EU₂的任务进行中继，则d_1，2＝1，否则为0；c_n∈{0，1}，当CU₁选择本地计算，则c₁＝1，否则为0；

和

分别表示CUn需要处理的中继任务数据和自身任务数据；

s_n为CUn的状态空间，表示为s_n＝{i_n，h_n}，其中I_n表示CU n队列中的任务大小，h_n表示CU n和接入点AP之间信道的增益。

r是奖励函数，表示为

在时隙t时，对CUn建立前向FPK方程，表示为

CUn的后向HJB方程，表示为：

步骤4.将公式化的MFG转换为MDP问题，通过采用强化学习框架最大化CUn的价值函数，定义智能体n的动作空间为

状态空间s_n＝{I_n，h_n}，奖励函数定义为系统能耗的负值，表示为r_n＝-E。

智能体n的最优策略表示为最小化系统能耗的策略，即最大化其负值，表示为

智能体n在完成一次经历后进行Q值更新，更新公式表示为

γ＝0.9，α＝0.01。

通过不断迭代更新得到最优Q值，即得到平均场博弈的均衡解，若达到10000次迭代后，强化学习模型仍未收敛，则调整学习率，重新进行迭代训练。

Claims (6)

1.一种移动边缘计算网络的任务中继卸载方法，其特征在于，包括以下步骤：

步骤s1：构建一个毫米波和频率低于6GHz电磁波Sub-6GHz的移动边缘计算网络，其中，Sub-6GHz实现用户设备的全覆盖，毫米波实现用户部分覆盖；所述移动边缘计算网络中共有U个用户设备在Sub-6GHz的覆盖范围内，n个中心用户设备CU可以直接将计算任务卸载到移动边缘计算MEC服务器中，m个拓展用户设备EU不在毫米波的覆盖范围内，CUs为毫米波覆盖范围内的所有CU，每个用户设备有一个长度为J的队列用于储存任务，不在毫米波覆盖范围内的用户通过D2D中继链路完成数据卸载；

步骤s2：CUn中继EUm中需要卸载的任务，在通信范围内，CUn和处于毫米波覆盖范围内的其他CUs交换任务数据，处理队列中的任务；

步骤s3：根据CUn处理队列中的任务导致的系统能量消耗建立代价函数，列出平均场博弈MFG中的FPK方程和HJB方程；

步骤s4：将公式化的MFG转换为马尔可夫决策过程MDP，通过采用强化学习框架最大化CU n的价值函数，求得MFG的均衡解。

2.根据权利要求1所述的移动边缘计算网络的任务中继卸载方法，其特征在于，所述步骤s1中，将MEC服务器部署在网络边缘的计算基站内。

3.根据权利要求1所述的移动边缘计算网络的任务中继卸载方法，其特征在于，所述步骤s2中，CUn处理队列中任务的工作模式包括本地计算以及卸载任务到MEC服务器。

4.根据权利要求1所述的移动边缘计算网络的任务中继卸载方法，其特征在于，所述步骤s3中包括：

a_n是CU n的动作空间，表示为

其中d_n，m为二进制索引{0，1}，如果CUn选择EUm的任务进行中继，则d_n，m＝1，否则为0；c_n∈{0，1}，当CUn选择本地计算，则c_n＝1，否则为0；

和

分别表示CUn需要处理的中继任务数据和自身任务数据；

s_n为CUn的状态空间，表示为s_n＝{i_n，h_n}，其中I_n表示CU n队列中的任务大小，h_n表示CUn和接入点AP之间信道的增益；

r是奖励函数，定义为系统能耗的负值，表示为

其中d_n，m∈{0，1}，c_n∈{0，1}，

时隙t中CUn的状态空间离散化为w个状态，表示为

其中

表示在时隙t时CUn队列中的任务大小，

表示时隙t时CU n和接入点AP之间信道的增益；

CUn获得的奖励取决于CUs在每个状态的分布；

在时隙t中CUs在状态中的分布表示为

其中

表示在状态

中CUs的比例，对CUn建立前向FPK方程，表示为

其中

表示在时隙t中

中的CUn转换为

的概率，取决于CUn的动作，

表示时隙t中状态空间s_n中的第i个状态，

表示时隙t中状态空间s_n中的第j个状态；

在时隙t中CUn的价值函数，称为后向HJB方程，定义为：

其中μ表示在状态

下选择动作a_n的策略，r[a_n|sn]表示时隙t中CUn在状态s_n采取动作a_n后得到的奖励，

表示在时隙t+1遵循策略μ获得的预期累计奖励，

为折扣因子。

5.根据权利要求1所述的移动边缘计算网络的任务中继卸载方法，其特征在于，所述步骤s4中包括：

将每个中心用户设备n看作智能体n，其最优策略表示为最小化系统能耗的策略，即最大化其负值，表示为

智能体n在完成一次经历后进行Q值更新，更新公式表示为Q(s_n，a_n)←Q(s_n，a_n)+α[r+γmax_a′Q(s′_n，a′_n)-Q(s_n，a_n)]，其中α是学习率，s′_n表示下一时隙智能体n所处的状态，a′_n表示智能体n在下一时隙采取的动作。

6.根据权利要求5所述的移动边缘计算网络的任务中继卸载方法，其特征在于，所述步骤s4中还包括：通过不断迭代更新得到最优Q值，即得到平均场博弈的均衡解，若达到设定的迭代次数后，强化学习模型仍未收敛，则调整学习率，重新进行迭代训练。

Images