CN114980127A - 雾无线接入网中基于联邦强化学习的计算卸载方法 - Google Patents

Abstract

本发明公开了一种雾无线接入网中基于联邦强化学习的计算卸载方法，包括：1、初始化云中心的模型权重参数并分发给各雾节点，初始化模型训练周期和训练步数；2、每个雾节点接收用户的卸载请求，作出卸载决策与资源分配动作；3、各雾节点下的用户执行卸载决策，计算相应的时延与能耗，得到奖励与下一状态并存储在回放缓存中；4、雾节点从回放缓存中随机采样，更新网络模型参数；5、一个训练周期结束后，对各个雾节点的模型权重参数进行联合更新，进入下一个周期。本发明降低用户任务执行的时延与能耗，降低计算复杂度与系统开销，更好地保护用户数据隐私。

Description

雾无线接入网中基于联邦强化学习的计算卸载方法

技术领域

本发明属于移动通信系统中边缘网络的计算卸载领域，尤其涉及雾无线接入网中基于联邦强化学习的计算卸载方法。

背景技术

随着大量的智能设备接入无线网络，无线数据流量呈爆炸式增长，这给传统的云无线接入网带来了很大的挑战。雾无线接入网应运而生，它把计算、存储、网络等资源下放到更接近用户端的雾节点。为了应对用户设备的计算能力和可用能量限制，用户可以将计算任务卸载到邻近的雾节点，以此支持移动设备上的计算密集型、延迟敏感型应用。然而，雾节点的计算、通信等资源有限，可能无法同时为所有用户设备提供服务。在此情况下，需要合理设计计算卸载策略以提高用户的服务质量。

现有的计算卸载方法主要分为两类，一类是传统的基于优化的方法，一类是基于机器学习的方法。传统方法几乎都以假设能够获得完整的系统模型和各个状态的状态转移概率为前提，这样的假设在现实场景中过于理想。此外，一旦网络状态等环境信息发生变化，此类求解过程需要重复进行，计算复杂度较高且灵活性差。为了应对复杂且动态变化的环境，机器学习尤其是强化学习被越来越多地应用。然而，大多数强化学习都基于离散的动作空间，不适于处理计算卸载中的资源分配连续动作。此外，这些强化学习大多以集中式的方法进行训练。该模式下云中心需消耗大量计算、存储资源来管理大规模的模型，其与用户之间的通信也会加重网络负担。另外，用户为了保护安全与隐私，可能并不愿意上传自己的数据到云端。

发明内容

本发明目的在于提供一种雾无线接入网中基于联邦强化学习的计算卸载方法,以解决用户任务执行时延与能耗成本高，对动态网络环境的适应性差，资源加性浪费高，用户隐私没有得到良好保护的技术问题。

为解决上述技术问题，本发明的具体技术方案如下：

一种雾无线接入网中基于联邦强化学习的计算卸载方法，包括以下步骤：

步骤1、初始化深度确定性策略梯度的模型参数，包括演员在线网络π(s；θ^π)的参数θ^π，评论家在线网络Q(s,a；θ^Q)的参数θ^Q，演员目标网络π′(s；θ^π)的参数θ^π′，评论家目标网络Q′(s,a；θ^Q)的参数θ^Q′，其中s为状态，a为动作；初始化回放缓存

训练周期数T，每个周期的训练步数l；

步骤2、在第t个时隙，各个雾节点接收覆盖范围内所有用户的任务卸载请求，构建任务卸载状态s_t，并根据状态s_t对用户的任务卸载请求作出卸载决策与资源分配动作a_t＝{x(t),y(t),z(t)}，其中x(t)表示所有用户的任务卸载决策，y(t)表示所有用户的计算资源分配，z(t)表示所有用户的通信资源分配；

步骤3、用户根据雾节点的决策执行动作a_t，并分别计算执行动作的时延与能耗，得到奖励r_t与下一状态s_t+1，并将此转换过程的信号(s_t,a_t,r_t,s_t+1)存储在回放缓存

中；

步骤4、从回放缓存

中随机选取样本进行网络参数更新，并转入下一个时隙；

步骤5、一个训练周期结束后，对各个雾节点的模型权重参数进行联合更新，进入下一个周期。

进一步的，步骤2具体包括以下步骤：

步骤2.1、在第t个时隙，雾节点n接收覆盖范围内用户m的任务卸载请求，构建当前任务卸载状态：

其中，

是所有用户任务的大小的集合，

表示雾节点n下用户m的计算任务大小，

是所有用户任务所需的计算资源量，

为雾节点n下用户m的计算任务所需的计算资源，

是雾节点n的地理位置，

是所有用户的地理位置，

是所有用户与雾节点n的信道增益，

是用户m与雾节点n之间的信道增益，计算方式如下：

其中，d_m,n(t)是用户m与雾节点n之间的距离，α是路损指数；

步骤2.2、雾节点n的演员在线网络根据当前任务卸载状态与策略选择一个动作，并添加随机高斯噪声得到该时隙的卸载决策与资源分配动作：

其中，

为高斯噪声；

步骤2.3、雾节点n服务的用户根据卸载决策与资源分配动作a_t＝{x(t),y(t),z(t)}选择任务执行方式，其中

为雾节点n所有用户的任务卸载决策，

为雾节点n下用户m的卸载决策，

为雾节点n所有用户的计算资源分配，

为雾节点n下用户m的计算资源分配，

为雾节点n所有用户的通信资源分配，

为雾节点n下用户m的通信资源分配；

步骤2.4、若

则用户m的计算任务在本地设备上执行；若

则用户m的计算任务利用分配的资源卸载到雾节点n上执行。

进一步的，步骤3具体包括以下步骤：

步骤3.1、若雾节点n下用户m的任务本地执行，则本地计算时延为：

相应地，任务执行的用户设备能耗为：

其中，

为雾节点n下用户m的计算任务所需的计算资源，

为用户m的CPU频率，

为用户设备m每个CPU的能量消耗系数；

步骤3.2、若雾节点n下用户m的任务卸载到雾节点执行，任务计算时延为：

其中，f_n为雾节点n的CPU频率，

为雾节点n给用户m分配的计算资源比例；

步骤3.3、考虑OFDMA，计算用户m的上行数据率为：

其中，

为雾节点n下用户m的通信资源分配，B_n为雾节点n提供的总的带宽，

是用户m的传输功率，

为用户m与雾节点n之间的信道增益，σ²为背景噪声功率；

步骤3.4、基于用户m的上行数据率，用户m将任务卸载到雾节点n的传输时延为：

其中，

表示用户m的计算任务大小；对应的用户传输能耗为：

其中，

为用户m将任务卸载到雾节点n的传输时延；由于计算结果与任务数据相比小得多，计算结果从雾节点回传到用户的时延与能耗被忽略，基于此，用户m将任务卸载到雾节点n的执行时延为雾节点计算时延与传输时延之和：

其中，

为用户m将任务卸载到雾节点n的执行时延，

为用户m将任务卸载到雾节点n的计算时延，

为用户m将任务卸载到雾节点n的传输时延；

步骤3.5、计算雾节点n下所有用户的任务执行时延为：

相应地，所有用户的能耗为：

步骤3.6、基于时延与能耗，雾节点n下所有用户的任务执行成本为：

其中，ω和

为控制时延能耗均衡的权重因子，满足

基于用户任务执行的总体成本，计算雾节点n执行动作a_t获得的奖励为：

r_t＝-C_n(t)；

步骤3.7、雾节点n执行动作a_t后，获得新的状态s_t+1，将此转换过程产生的信号(s_t,a_t,r_t,s_t+1)存储在回放缓存

中。

进一步的，步骤4具体包括以下步骤：

步骤4.1、从回放缓存

中随机选取K个样本{(s_i,a_i,r_i,s_i+1),i∈{1,2,…,K}}，通过最小化损失函数L更新评论家在线网络，即：

其中，y_i为目标Q值，计算方式如下：

y_i＝r_i+γQ′(s_i+1,π′(s_i+1；θ^π′)；θ^Q′)，

其中，γ为折扣因子，γ∈[0,1]；

步骤4.2、采用随机梯度下降法更新演员在线网络：

其中，

为函数Q(s,a；θ^Q)对于动作a的梯度，

为策略函数π(s；θ^π)对参数θ^π的梯度，i∈{1,2,…,K}表示样本序号，s_i表示第i个样本状态；

步骤4.3、采用软更新的方式分别更新评论家与演员的目标网络参数：

θ^Q′←τθ^Q+(1-τ)θ^Q′

θ^π′←τθ^π+(1-τ)θ^π′，

其中，τ为软更新系数。

进一步的，步骤5具体包括以下步骤：

步骤5.1、一个训练周期结束后，每个雾节点将本地训练的模型权重H_n(j)上传到云中心；

步骤5.2、云中心根据接收的所有雾节点的模型参数，通过联邦平均法聚合得到新的全局模型：

步骤5.3、云中心将更新的模型权重分发给所有雾节点，以进行下一训练周期的训练过程。

本发明的雾无线接入网中基于联邦强化学习的计算卸载方法，具有以下优点：

1、本发明在每个雾节点采用深度强化学习进行计算卸载与资源分配，能够以较少信息感知环境，可以适应雾无线网中复杂、动态变化的网络环境，灵活性很高。

2、本发明采用强化学习中基于策略的深度确定性策略梯度方法进行卸载决策与资源分配，对应权利要求步骤2，直接产生动作，对资源分配的连续动作有良好的适用性，避免了离散化的高维动作空间带来的复杂度高、收敛慢的问题。

3、本发明在雾节点间采用联邦学习进行模型的训练，对应权利要求步骤5，避免了集中式训练中计算复杂度、系统开销随着雾节点与用户数量的增加而增加的问题，减轻了网络通信负担，且保护了用户数据隐私。

附图说明

图1为本发明的雾无线接入网中基于联邦强化学习的计算卸载方法流程示意图；

图2为本发明的与集中式训练方法、深度Q学习方法进行对比的仿真结果图。

具体实施方式

为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种雾无线接入网中基于联邦强化学习的计算卸载方法做进一步详细的描述。

如图1所示为本发明的雾无线接入网中基于联邦强化学习的计算卸载方法流程图，包括如下步骤：

S1：初始化深度确定性策略梯度的模型参数，包括演员在线网络π(s；θ^π)的参数θ^π，评论家在线网络Q(s,a；θ^Q)的参数θ^Q，演员目标网络π′(s；θ^π)的参数θ^π′，评论家目标网络Q′(s,a；θ^Q)的参数θ^Q′，其中s为状态，a为动作；初始化回放缓存B，训练周期数T，每个周期的训练步数l。

S2：在第t个时隙，各个雾节点接收覆盖范围内所有用户的任务卸载请求，构建任务卸载状态s_t，并根据状态s_t对用户的任务卸载请求作出卸载决策与资源分配动作a_t＝{x(t),y(t),z(t)}，其中x(t)表示所有用户的任务卸载决策，y(t)表示所有用户的计算资源分配，z(t)表示所有用户的通信资源分配，具体包括：

S2-1：在第t个时隙，雾节点n接收覆盖范围内用户m的任务卸载请求，构建当前任务卸载状态：

其中，

是所有用户任务的大小的集合，

表示雾节点n下用户m的计算任务大小，

是所有用户任务所需的计算资源量，

为雾节点n下用户m的计算任务所需的计算资源，

是雾节点n的地理位置，

是所有用户的地理位置，

是所有用户与雾节点n的信道增益，

是用户m与雾节点n之间的信道增益，计算方式如下：

其中，d_m,n(t)是用户m与雾节点n之间的距离，α是路损指数；；

S2-2：雾节点n的演员在线网络根据当前任务卸载状态与策略选择一个动作，并添加随机高斯噪声得到该时隙的卸载决策与资源分配动作：

其中，

为高斯噪声；

S2-3：雾节点n服务的用户根据卸载决策与资源分配动作a_t＝{x(t),y(t),z(t)}选择任务执行方式，其中

为雾节点n所有用户的任务卸载决策，

为雾节点n下用户m的卸载决策，

为雾节点n所有用户的计算资源分配，

为雾节点n下用户m的计算资源分配，

为雾节点n所有用户的通信资源分配，

为雾节点n下用户m的通信资源分配；

S2-4：若

则用户m的计算任务在本地设备上执行；若

则用户m的计算任务利用分配的资源卸载到雾节点n上执行。

S3：用户根据雾节点的决策执行动作a_t，并分别计算执行动作的时延与能耗，得到奖励r_t与下一状态s_t+1，并将此转换过程的信号(s_t,a_t,r_t,s_t+1)存储在回放缓存

中，具体包括：

S3-1：若雾节点n下用户m的任务本地执行，则本地计算时延为：

相应地，任务执行的用户设备能耗为：

其中，

为雾节点n下用户m的计算任务所需的计算资源，

为用户m的CPU频率，

为用户设备m每个CPU的能量消耗系数；

S3-2：若雾节点n下用户m的任务卸载到雾节点执行，任务计算时延为：

其中，f_n为雾节点n的CPU频率，

为雾节点n给用户m分配的计算资源比例；

S3-3：考虑OFDMA，计算用户m的上行数据率为：

其中，

为雾节点n下用户m的通信资源分配，B_n为雾节点n提供的总的带宽，

是用户m的传输功率，

为用户m与雾节点n之间的信道增益，σ²为背景噪声功率；

S3-4：基于用户m的上行数据率，用户m将任务卸载到雾节点n的传输时延为：

其中，

表示用户m的计算任务大小；对应的用户传输能耗为：

其中，

为用户m将任务卸载到雾节点n的传输时延；由于计算结果与任务数据相比小得多，计算结果从雾节点回传到用户的时延与能耗被忽略，基于此，用户m将任务卸载到雾节点n的执行时延为雾节点计算时延与传输时延之和：

其中，

为用户m将任务卸载到雾节点n的执行时延，

为用户m将任务卸载到雾节点n的计算时延，

为用户m将任务卸载到雾节点n的传输时延。

S3-5：计算雾节点n下所有用户的任务执行时延为：

相应地，所有用户的能耗为：

S3-6：基于时延与能耗，雾节点n下所有用户的任务执行成本为：

其中，ω和

为控制时延能耗均衡的权重因子，满足

基于用户任务执行的总体成本，计算雾节点n执行动作a_t获得的奖励为：

r_t＝-C_n(t)；

S3-7：雾节点n执行动作a_t后，获得新的状态s_t+1，将此转换过程产生的信号(s_t,a_t,r_t,s_t+1)存储在回放缓存

中。

S4：从回放缓存

中随机选取样本进行网络参数更新，并转入下一个时隙，具体包括：

S4-1：从回放缓存

中随机选取K个样本{(s_i,a_i,r_i,s_i+1),i∈{1,2,…,K}}，通过最小化损失函数L更新评论家在线网络，即：

其中，y_i为目标Q值，计算方式如下：

y_i＝r_i+γQ′(s_i+1,π′(s_i+1；θ^π′)；θ^Q′)，

其中，γ为折扣因子，γ∈[0,1]；

S4-2：采用随机梯度下降法更新演员在线网络：

其中，

为函数Q(s,a；θ^Q)对于动作a的梯度，

为策略函数π(s；θ^π)对参数θ^π的梯度，i∈{1,2,…,K}表示样本序号，s_i表示第i个样本状态；

S4-3：采用软更新的方式分别更新评论家与演员的目标网络参数：

θ^Q′←τθ^Q+(1-τ)θ^Q′

θ^π′←τθ^π+(1-τ)θ^π′，

其中，τ为软更新系数。

S5：一个训练周期结束后，对各个雾节点的模型权重参数进行联合更新，进入下一个周期，具体包括：

S5-1：一个训练周期结束后，每个雾节点将本地训练的模型权重H_n(j)上传到云中心；

S5-2：云中心根据接收的所有雾节点的模型参数，通过联邦平均法聚合得到新的全局模型：

S5-3：云中心将更新的模型权重分发给所有雾节点，以进行下一训练周期的训练过程。

由附图2的仿真结果可得，与集中式深度确定性策略梯度、集中式深度Q学习、联邦深度Q学习方法相比，本发明的联邦深度确定性策略梯度方法收敛速度更快，获得的平均系统奖励更高，说明本发明所提方法性能最佳，明显降低用户任务的时延与能耗。

可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (5)

1.一种雾无线接入网中基于联邦强化学习的计算卸载方法，其特征在于，包括以下步骤：

步骤1、初始化深度确定性策略梯度的模型参数，包括演员在线网络π(s；θ^π)的参数θ^π，评论家在线网络Q(s,a；θ^Q)的参数θ^Q，演员目标网络π′(s；θ^π)的参数θ^π′，评论家目标网络Q′(s,a；θ^Q)的参数θ^Q′，其中s为状态，a为动作；初始化回放缓存B，训练周期数T，每个周期的训练步数l；

步骤2、在第t个时隙，各个雾节点接收覆盖范围内所有用户的任务卸载请求，构建任务卸载状态s_t，并根据状态s_t对用户的任务卸载请求作出卸载决策与资源分配动作a_t＝{x(t),y(t),z(t)}，其中x(t)表示所有用户的任务卸载决策，y(t)表示所有用户的计算资源分配，z(t)表示所有用户的通信资源分配；

步骤3、用户根据雾节点的决策执行动作a_t，并分别计算执行动作的时延与能耗，得到奖励r_t与下一状态s_t+1，并将此转换过程的信号(s_t,a_t,r_t,s_t+1)存储在回放缓存

中；

步骤4、从回放缓存

中随机选取样本进行网络参数更新，并转入下一个时隙；

步骤5、一个训练周期结束后，对各个雾节点的模型权重参数进行联合更新，进入下一个周期。

2.根据权利要求1所述的雾无线接入网中基于联邦强化学习的计算卸载方法，其特征在于，所述步骤2具体包括以下步骤：

步骤2.1、在第t个时隙，雾节点n接收覆盖范围内用户m的任务卸载请求，构建当前任务卸载状态：

其中，

是所有用户任务的大小的集合，

表示雾节点n下用户m的计算任务大小，

是所有用户任务所需的计算资源量，

为雾节点n下用户m的计算任务所需的计算资源，

是雾节点n的地理位置，

是所有用户的地理位置，

是所有用户与雾节点n的信道增益，

是用户m与雾节点n之间的信道增益，计算方式如下：

其中，d_m,n(t)是用户m与雾节点n之间的距离，α是路损指数；

步骤2.2、雾节点n的演员在线网络根据当前任务卸载状态与策略选择一个动作，并添加随机高斯噪声得到该时隙的卸载决策与资源分配动作：

其中，

为高斯噪声；

步骤2.3、雾节点n服务的用户根据卸载决策与资源分配动作a_t＝{x(t),y(t),z(t)}选择任务执行方式，其中

为雾节点n所有用户的任务卸载决策，

为雾节点n下用户m的卸载决策，

为雾节点n所有用户的计算资源分配，

为雾节点n下用户m的计算资源分配，

为雾节点n所有用户的通信资源分配，

为雾节点n下用户m的通信资源分配；

步骤2.4、若

则用户m的计算任务在本地设备上执行；若

则用户m的计算任务利用分配的资源卸载到雾节点n上执行。

3.根据权利要求2所述的雾无线接入网中基于联邦强化学习的计算卸载方法，其特征在于，所述步骤3具体包括以下步骤：

步骤3.1、若雾节点n下用户m的任务本地执行，则本地计算时延为：

相应地，任务执行的用户设备能耗为：

其中，

为雾节点n下用户m的计算任务所需的计算资源，

为用户m的CPU频率，

为用户设备m每个CPU的能量消耗系数；

步骤3.2、若雾节点n下用户m的任务卸载到雾节点执行，任务计算时延为：

其中，f_n为雾节点n的CPU频率，

为雾节点n给用户m分配的计算资源比例；

步骤3.3、考虑OFDMA，计算用户m的上行数据率为：

其中，

为雾节点n下用户m的通信资源分配，B_n为雾节点n提供的总的带宽，

是用户m的传输功率，

为用户m与雾节点n之间的信道增益，σ²为背景噪声功率；

步骤3.4、基于用户m的上行数据率，用户m将任务卸载到雾节点n的传输时延为：

其中，

表示用户m的计算任务大小；对应的用户传输能耗为：

其中，

为用户m将任务卸载到雾节点n的传输时延；由于计算结果与任务数据相比小得多，计算结果从雾节点回传到用户的时延与能耗被忽略，基于此，用户m将任务卸载到雾节点n的执行时延为雾节点计算时延与传输时延之和：

其中，

为用户m将任务卸载到雾节点n的执行时延，

为用户m将任务卸载到雾节点n的计算时延，

为用户m将任务卸载到雾节点n的传输时延；

步骤3.5、计算雾节点n下所有用户的任务执行时延为：

相应地，所有用户的能耗为：

步骤3.6、基于时延与能耗，雾节点n下所有用户的任务执行成本为：

其中，ω和

为控制时延能耗均衡的权重因子，满足

基于用户任务执行的总体成本，计算雾节点n执行动作a_t获得的奖励为：

r_t＝-C_n(t)；

步骤3.7、雾节点n执行动作a_t后，获得新的状态s_t+1，将此转换过程产生的信号(s_t,a_t,r_t,s_t+1)存储在回放缓存

中。

4.根据权利要求3所述的雾无线接入网中基于联邦强化学习的计算卸载方法，其特征在于，所述步骤4具体包括以下步骤：

步骤4.1、从回放缓存

中随机选取K个样本{(s_i,a_i,r_i,s_i+1),i∈{1,2,…,K}}，通过最小化损失函数L更新评论家在线网络，即：

其中，y_i为目标Q值，计算方式如下：

y_i＝r_i+γQ′(s_i+1,π′(s_i+1；θ^π′)；θ^Q′)，

其中，γ为折扣因子，γ∈[0,1]；

步骤4.2、采用随机梯度下降法更新演员在线网络：

其中，

为函数Q(s,a；θ^Q)对于动作a的梯度，

为策略函数π(s；θ^π)对参数θ^π的梯度，i∈{1,2,…,K}表示样本序号，s_i表示第i个样本状态；

步骤4.3、采用软更新的方式分别更新评论家与演员的目标网络参数：

θ^Q′←τθ^Q+(1-τ)θ^Q′

θ^π′←τθ^π+(1-τ)θ^π′，

其中，τ为软更新系数。

5.根据权利要求4所述的雾无线接入网中基于联邦强化学习的计算卸载方法，其特征在于，所述步骤5具体包括以下步骤：

步骤5.1、一个训练周期结束后，每个雾节点将本地训练的模型权重H_n(j)上传到云中心；

步骤5.2、云中心根据接收的所有雾节点的模型参数，通过联邦平均法聚合得到新的全局模型：

步骤5.3、云中心将更新的模型权重分发给所有雾节点，以进行下一训练周期的训练过程。

Images