CN112015481A - 一种基于Multi-Agent强化学习的移动边缘计算卸载算法 - Google Patents

Abstract

本发明公开了一种基于Multi‑Agent强化学习的移动边缘计算卸载算法，包括以下步骤：步骤1：确定环境输入数据并初始化算法参数，初始化参数包括每个Agent神经网络参数的设置，在算法中，每个移动设备都部署了Agent能够单独训练和推断的神经网络，对每个移动设备上的Agent网络设置了相同的参数。本发明解决现有算法迭代次数多、计算时间长以及无法适应高动态移动环境的问题，该算法具有一定灵活性，可以在有限时间内得到次优解，满足现代移动边缘计算中任务实时卸载的需求。

Description

一种基于Multi-Agent强化学习的移动边缘计算卸载算法

技术领域

本发明涉及计算机领域，特别涉及一种基于Multi-Agent强化学习的移动边缘计算卸载算法。

背景技术

随着5G移动网络和物联网的兴起，大量具有通信和计算能力的移动设备接入互联网中，同时海量的应用和服务也得以发展，例如增强现实、自动驾驶、图像处理以及云游戏等。由于受到设备物理大小的限制，移动设置只具备有限的电池容量和计算能力。因此面对计算密集型和能耗密集型应用，移动设备难以处理。为了解决移动设备计算资源不足的问题，可以将计算密集型应用卸载到远程服务器运行，然后将计算结果返回到移动设备，这就是云计算的模式，虽然云计算为移动设备提供了丰富的计算资源，但是由于云服务器和移动终端物理距离远，在任务传输过程中会出现较大延迟，从而严重影响用户体验。

近年来，移动边缘计算作为作为一种新的计算模式被提出，这一计算模式将计算资源部署在网络的边缘，也就是靠近移动设备的一端，为移动设备提供充足和灵活的计算服务。移动设备可以通过将计算任务卸载到边缘服务器，以此享受低延迟、高带宽、低能耗以及无以伦比的用户体验。其中，计算卸载是移动边缘计算中的关键技术，不同的卸载策略将会导致不同的用户体验，因此设计一种高效的移动边缘计算卸载算法是非常重要的。目前，已经有许多在移动边缘计算环境中进行计算卸载的算法：

a)坐标下降法、线性放松近似法以及博弈论，这些都属于传统数值算法，它们能够保证最优解，但是大量的迭代计算，并且在NP-hard问题上无法在有限时间内计算最优解，因此不适应移动边缘计算的实时卸载场景。

b)基于DQN或A3C的智能卸载算法可以在有限时间内得到次优解，但是随着网络状态和卸载决策数量的增多，会导致计算时间呈指数增长并且效果不佳。同时由于是中心式卸载算法，算法的灵活性较差。

基于上述算法存在的问题以及移动边缘计算中任务实时卸载的需求，本专利提出一种基于Multi-Agent强化学习的边缘计算实时卸载算法。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于Multi-Agent强化学习的移动边缘计算卸载算法。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明一种基于Multi-Agent强化学习的移动边缘计算卸载算法，包括以下步骤：

步骤1：确定环境输入数据并初始化算法参数

初始化参数包括每个Agent神经网络参数的设置，在算法中，每个移动设备都部署了Agent能够单独训练和推断的神经网络，对每个移动设备上的Agent网络设置了相同的参数，每个Agent包括actor network和critic network，为actor network设置了2层的全联接隐藏层，分别包括64和128个神经元，为critic network设置了3层全联接隐藏层，分别包括1024，512和300个神经元，隐藏层之间的激活函数设置为ReLU，actor network和criticnetwork的学习率分别为0.001和0.0001，设置Agent采样的批量大小为128，经验回放池的大小为1024，同时actor network和critic network的更新参数因子设置为0.01，设置了一个算法进行学习前的探索度，设置为300；

步骤2：Agent根据任务状态与移动边缘计算环境交互

移动设备上的Agent根据步骤1确定的输入数据和移动边缘计算环境进行交互，即将任务根据初始化的Agent网络卸载到本地或者边缘服务器中，然后获取卸载决策和奖励值；

步骤3：Agent将输入和输出保存在经验回放池中

移动设备上的Agent将步骤2获取的卸载决策和奖励值以及当前系统状态输入和下一步系统状态输入四个数据存入到经验回放池中，供后续步骤进行调用；

步骤4：Agent从经验回放池进行批量采样优化自身网络参数

每个设备上的Agent均会从经验回放池中批量采样进行网络更新，更新网络参数，优化卸载策略，agent从经验回放池中采样的样本，actor network的网络参数为

使用Adam算法最小化损失函数，计算方法如下：

n为批量样本的大小，

是critic network输出的动作价值，基于上述的损失函数，我们可以函数梯度为：

对于agent i网络上的critic network，设网络参数为

损失函数可以表示为：

其中y可以定义为：

步骤5：算法达到迭代条件后输出Actor Networks。

与现有技术相比，本发明的有益效果如下：

本发明解决现有算法迭代次数多、计算时间长以及无法适应高动态移动环境的问题，该算法具有一定灵活性，可以在有限时间内得到次优解，满足现代移动边缘计算中任务实时卸载的需求。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的算法结构示意图；

图2是本发明的算法流程示意图；

图3是本发明的算法在不同移动设备数量情况下的性能表现示意图；

图4是本发明的算法在不同任务数量下的性能表现示意图；

图5是本发明的算法在不同边缘服务器数量下的性能表现示意图；

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

如图1-5所示，本发明提供一种基于Multi-Agent强化学习的移动边缘计算卸载算法，包括以下步骤：

步骤1：确定环境输入数据并初始化算法参数

算法的输入数据即为移动边缘计算环境中对计算卸载有影响的变量，本专利在实验过程中仅考虑了移动设备任务大小，任务计算量以及移动设备和边缘服务器之间的信道情况。

初始化参数包括每个Agent神经网络参数的设置，在算法中，每个移动设备都部署了Agent能够单独训练和推断的神经网络，对每个移动设备上的Agent网络设置了相同的参数，每个Agent包括actor network和critic network，为actor network设置了2层的全联接隐藏层，分别包括64和128个神经元，为critic network设置了3层全联接隐藏层，分别包括1024，512和300个神经元，隐藏层之间的激活函数设置为ReLU，actor network和criticnetwork的学习率分别为0.001和0.0001，设置Agent采样的批量大小为128，经验回放池的大小为1024，同时actor network和critic network的更新参数因子设置为0.01，设置了一个算法进行学习前的探索度，设置为300。

步骤2：Agent根据任务状态与移动边缘计算环境交互

移动设备上的Agent根据步骤1确定的输入数据和移动边缘计算环境进行交互，即将任务根据初始化的Agent网络卸载到本地或者边缘服务器中，然后获取卸载决策，奖励值。

步骤3：Agent将输入和输出保存在经验回放池中

移动设备上的Agent将步骤2获取的卸载决策和奖励值以及当前系统状态输入和下一步系统状态输入四个数据存入到经验回放池中，供后续步骤进行调用。

步骤4：Agent从经验回放池进行批量采样优化自身网络参数

每个设备上的Agent均会从经验回放池中批量采样进行网络更新，更新网络参数，优化卸载策略，agent从经验回放池中采样的样本，actor network的网络参数为

使用Adam算法最小化损失函数，计算方法如下：

n为批量样本的大小，

是critic network输出的动作价值，基于上述的损失函数，我们可以函数梯度为：

对于agent i网络上的critic network，设网络参数为

损失函数可以表示为：

其中y可以定义为：

步骤5：算法达到迭代条件后输出Actor Networks

算法达到迭代次数或者精度达到要求后可停止算法训练，输出agent中的actornetwork即可，在后续决策过程中可仅使用actor network获取计算任务的卸载决策，同时可以只使用本地信息，因为在训练过程中已经感知过全局信息，在输出的actor network中包含这一信息。

本发明解决现有算法迭代次数多、计算时间长以及无法适应高动态移动环境的问题，该算法具有一定灵活性，可以在有限时间内得到次优解，满足现代移动边缘计算中任务实时卸载的需求。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于Multi-Agent强化学习的移动边缘计算卸载算法，其特征在于，包括以下步骤：

步骤1：确定环境输入数据并初始化算法参数

初始化参数包括每个Agent神经网络参数的设置，在算法中，每个移动设备都部署了Agent能够单独训练和推断的神经网络，对每个移动设备上的Agent网络设置了相同的参数，每个Agent包括actor network和critic network，为actor network设置了2层的全联接隐藏层，分别包括64和128个神经元，为critic network设置了3层全联接隐藏层，分别包括1024，512和300个神经元，隐藏层之间的激活函数设置为ReLU，actor network和criticnetwork的学习率分别为0.001和0.0001，设置Agent采样的批量大小为128，经验回放池的大小为1024，同时actor network和critic network的更新参数因子设置为0.01，设置了一个算法进行学习前的探索度，设置为300；

步骤2：Agent根据任务状态与移动边缘计算环境交互

移动设备上的Agent根据步骤1确定的输入数据和移动边缘计算环境进行交互，即将任务根据初始化的Agent网络卸载到本地或者边缘服务器中，然后获取卸载决策和奖励值；

步骤3：Agent将输入和输出保存在经验回放池中

移动设备上的Agent将步骤2获取的卸载决策和奖励值以及当前系统状态输入和下一步系统状态输入四个数据存入到经验回放池中，供后续步骤进行调用；

步骤4：Agent从经验回放池进行批量采样优化自身网络参数

每个设备上的Agent均会从经验回放池中批量采样进行网络更新，更新网络参数，优化卸载策略，agent从经验回放池中采样的样本，actor network的网络参数为

使用Adam算法最小化损失函数，计算方法如下：

n为批量样本的大小，

是critic network输出的动作价值，基于上述的损失函数，我们可以函数梯度为：

对于agent i网络上的critic network，设网络参数为

损失函数可以表示为：

其中y可以定义为：

步骤5：算法达到迭代条件后输出Actor Networks。

Images