CN115174566B - 一种基于深度强化学习的边缘计算任务卸载方法 - Google Patents

Abstract

本发明属于物联网边缘计算技术领域，公开了一种基于深度强化学习的边缘计算任务卸载方法，该方法步骤为：S1、输入数据与相关参数；S2、计算时间和能耗相关数据；S3、训练任务卸载算法模型；S4、执行任务卸载输出。本发明在边缘计算方面，定义多用户边缘计算任务环境，考虑传输信道带宽，采用强化学习的方法，在满足计算时效性的前提下，训练边缘计算任务卸载与压缩策略，实现最优的能耗。

Description

一种基于深度强化学习的边缘计算任务卸载方法

技术领域

本发明属于物联网边缘计算技术领域，尤其涉及一种基于深度强化学习的边缘计算任务卸载方法。

背景技术

现代企业面临大量的计算任务和算力资源不足的困难。物联网边缘计算技术的兴起为这一挑战提供了新的解决思路，其将计算任务通过网络传输卸载到边缘或云服务器计算并将结果返回。在此过程中，主要的难点在于，如何设计卸载和压缩策略，提高计算效率快速得到计算结果；同时要兼顾计算能耗效率，尽可能降低能源损失。

当前的边缘计算技术，大多数模型研究的是单用户环境中的处理策略，无法匹配现实世界中多个用户使用边缘计算网络的实际场景；现有少数面向多用户的模型，但这些模型在策略设计过程中都没有考虑传输信道带宽有限制的情况。另外，当前学者们对边缘计算的研究主要集中在如何降低计算时间，满足计算任务的时效性，很少关注计算过程中产生大量的能耗以及如何降低能耗。

发明内容

本发明目的在于提供一种基于深度强化学习的边缘计算任务卸载方法，以解决上述的技术问题。

为解决上述技术问题，本发明的一种基于深度强化学习的边缘计算任务卸载方法的具体技术方案如下：

一种基于深度强化学习的边缘计算任务卸载方法，包括以下步骤：

S1、输入用户设备和云边服务器的数据和相关参数；

S2、计算时间和能耗相关数据：计算任务数据传输速率；评估用户设备任务处理的时间与能耗；评估云、边任务处理的时间与能耗；任务压缩的额外的时间与能耗；服务器远程处理终端任务的传输时间与能耗，并汇总计算时间与能耗数据。

S3、训练任务卸载算法模型；在多用户多云边服务器的物联网环境下满足计算任务下各类约束条件的同时最小化能耗；

S4、执行模型并输出。

进一步地，所述S1的相关参数包括输入传输数据大小、CPU周期、任务时限要求。

进一步地，所述S2包括如下具体步骤：

S2.1：计算任务数据传输速率；

具体计算公式为：

其中，B_k表示第k个边服务器与其连接的用户设备之间的信道带宽，p_i，ω_k，和g₀分别表示用户设备i的传输功率、功率密度、信道增益；

S2.2：计算评估用户设备任务处理的时间与能耗；

具体计算公式为：

其中，表示用户设备i的计算能力，ψ_i表示用户设备i的CPU周期能耗系数，u_ij表示任务j需要用户设备i执行的CPU周期数量；

S2.3：计算评估云、边任务处理的时间与能耗；

具体计算公式为：

其中，Δ表示云计算的传输延迟，and/>分别表示用户设备i的计算任务j传输到云边服务器的时间，边服务器计算的时间和云服务器计算的时间，详细的计算公式为：

其中，z_i，表示用户设备i的计算任务j的传输数据大小，分别表示边和云服务器的计算能力；

S2.4：计算任务压缩等额外的时间与能耗；

具体计算公式为：

其中，τ_ij和υ_ij分别表示用户设备i的计算任务j与边服务器过程中压缩和解压缩需要的CPU周期数，和/>分别表示用户设备i和边服务器的计算能力；

S2.5：计算服务器远程处理终端任务的传输时间与能耗；

具体计算公式为：

zc_ij＝z_ij.comp_ratio

其中，z_ij，r_i，p_i同上所述，comp_ratio表示任务数据压缩比，值设置为50；

S2.6：汇总计算时间与能耗数据；

具体计算公式为：

其中，α_ijk是任务卸载决策系数，即任务的执行位置，k表示执行任务的服务器们，β_ij表示压缩决策系数。

进一步地，所述S3解决的核心问题是在多用户多云边服务器的物联网环境下满足计算任务下各类约束条件的同时最小化能耗，该问题具体数学表达是：

其中C1约束能耗，C2约束任务执行的时限，C3约束边服务器计算性能上限，C4约束每次任务只执行一次，C5和C6约束任务卸载和压缩决策系数的取值。

进一步地，所述S3包括如下具体步骤：

S3.1：初始化参数；

S3.2：将增强学习环境产生的状态输入强化算法中；

S3.3：依据动作策略筛选动作，并将动作输入给环境；

S3.4：使用产生的动作和对应状态数据，优化强化算法参数，同时记录强化学习的奖励；

S3.5：多次循环重复S3.2-3.4到用户规定迭代次数。

进一步地，所述S3.2的强化算法由多个深度神经网络组成，具体个数在步骤3.1由用户指定，并将产生多个备选动作：

其中，表示在第t次迭代中第d个深度神经网络函数，s_t表示增强学习环境状态的输入，具体s_t＝{(α_ijk，β_ij)_t}，其中α_ijk是任务卸载决策系数，即任务的执行位置，β_ij表示压缩决策系数。

进一步地，所述S3.3的动作策略基于如下公式筛选累积奖励最小的作为动作输入给环境：

其中，Q表示Q-learning强化学习中的Q函数；

强化学习奖励具体如下公式：

表示奖励分为加1减1不变三种，由两次间隔状态下的奖励函数即v(t)的大小决定，v(t)为参照常规强化学习的奖励函数设定；

进一步地，所述S3.4优化强化算法参数具体指，使用步骤S3.3产生的动作和当前输入的状态数据，训练强化学习算法中的所有神经网络；

强化学习奖励公式同步骤S3.3的强化学习奖励公式。

本发明的一种基于深度强化学习的边缘计算任务卸载方法具有以下优点：本发明基于强化学习算法与深度神经网络，充分考虑多用户边缘计算的实际使用场景，信道带宽限制，计算时效性等约束条件，定义了强化学习的环境；结合深度神经网络实现强化学习的智能体产生任务卸载和解压策略动作，优化能耗目标函数，在满足边缘计算时效性的基础上实现最小化能耗。

附图说明

图1为本发明基于深度强化学习的边缘计算任务卸载方法的流程图；

图2为本发明计算时间和能耗相关参数的流程图；

图3为本发明的训练任务卸载算法模型的流程图；

图4为本发明整体流程示意图。

具体实施方式

为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种基于深度强化学习的边缘计算任务卸载方法做进一步详细的描述。

如图1所示，本发明的一种基于深度强化学习的边缘计算任务卸载方法，包括以下步骤：

S1、输入数据与相关参数；输入数据包括用户设备和云边服务器的数据；参数包括传输数据大小、CPU周期、任务时限要求等；

S2、计算时间和能耗相关数据；如图2所示，包括如下具体步骤：

2.1)计算任务数据传输速率；

具体计算公式为：

其中，B_k表示第k个边服务器与其连接的用户设备之间的信道带宽，p_i，ω_k，和g₀分别表示用户设备i传输功率、功率密度、信道增益。

2.2)计算评估用户设备任务处理的时间与能耗；

具体计算公式为：

其中，表示用户设备i的计算能力，ψ_i表示用户设备i的CPU周期能耗系数，u_ij表示任务j需要用户设备i执行的CPU周期数量。

2.3)计算评估云、边任务处理的时间与能耗；

具体计算公式为：

其中，Δ表示云计算的传输延迟，p_i如前所述，and/>分别表示用户设备i的计算任务j传输到云边服务器的时间，边服务器计算的时间和云服务器计算的时间，详细的计算公式为：

其中，z_ij表示用户设备i的计算任务j的传输数据大小，分别表示边和云服务器的计算能力，u_ij如前所述。

2.4)计算任务压缩等额外的时间与能耗；

具体计算公式为：

其中，τ_ij和υ_ij分别表示用户设备i的计算任务j与边服务器过程中压缩和解压缩需要的CPU周期数，和/>分别表示用户设备i和边服务器的计算能力，ψ_i同上所述。

2.5)计算服务器远程处理终端任务的传输时间与能耗；

具体计算公式为：

zc_ij＝z_ij.comp_ratio

其中，z_ij，r_i，p_i同上所述，comp_ratio表示任务数据压缩比，值设置为50。

2.6)汇总计算时间与能耗数据。

具体计算公式为：

其中，α_ijk任务卸载决策系数，即任务的执行位置，k表示执行任务的服务器们。β_ij表示压缩决策系数。

S3、训练任务卸载算法模型；

所述S3解决的核心问题是在多用户多云边服务器的物联网环境下满足计算任务下各类约束条件的同时最小化能耗，该问题具体数学表达是：

其中C1约束能耗，C2约束任务执行的时限，C3约束边服务器计算性能上限，C4约束每次任务只执行一次，C5和C6约束任务卸载和压缩决策系数的取值。

如图3所示，所述的步骤S3具体包括如下步骤：

3.1)初始化参数；

3.2)将增强学习环境产生的状态输入强化算法中；

如图4所示，强化算法由多个深度神经网络组成，具体个数在步骤3.1由用户指定，并将产生多个备选动作。

其中，表示在第t次迭代中第d个深度神经网络函数，s_t表示增强学习环境状态的输入，具体s_t＝{(α_ijk，β_ij)_t}，其中α_ijk，β_ij，同上所述。

3.3)依据动作策略筛选动作，并将动作输入给环境；

动作策略基于如下公式筛选累积奖励最小的作为动作输入给环境：

其中，Q表示Q-learning强化学习中的Q函数，同上所述。

强化学习奖励具体如下公式：

表示奖励分为加1减1不变三种，由两次间隔状态下的奖励函数即v(t)的大小决定，v(t)为参照常规强化学习的奖励函数设定。

3.4)使用产生的动作和对应状态数据，优化强化算法参数，同时记录强化学习的奖励；

优化强化算法参数具体指，使用步骤3.3产生的动作和当前输入的状态数据，训练强化学习算法中的所有神经网络；

强化学习奖励公式同步骤3.3。

3.5)多次循环重复3.2-3.4到用户规定迭代次数；

S4、执行模型并输出。

可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (3)

1.一种基于深度强化学习的边缘计算任务卸载方法，其特征在于，包括以下步骤：

S1、输入用户设备和云边服务器的数据和相关参数；

S2、计算时间和能耗相关数据：计算任务数据传输速率；评估用户设备任务处理的时间与能耗；评估云、边任务处理的时间与能耗；任务压缩的额外的时间与能耗；服务器远程处理终端任务的传输时间与能耗，并汇总计算时间与能耗数据；

S2.1：计算任务数据传输速率；

具体计算公式为：

其中，B_k表示第k个边服务器与其连接的用户设备之间的信道带宽，p_i,ω_k,和g₀分别表示用户设备i的传输功率、功率密度、信道增益；

S2.2：计算评估用户设备任务处理的时间与能耗；

具体计算公式为：

其中，f_i ^l表示用户设备i的计算能力，ψ_i表示用户设备i的CPU周期能耗系数，u_ij表示任务j需要用户设备i执行的CPU周期数量；

S2.3：计算评估云、边任务处理的时间与能耗；

具体计算公式为：

其中，Δ表示云计算的传输延迟，and/>分别表示用户设备i的计算任务j传输到云边服务器的时间，边服务器计算的时间和云服务器计算的时间，详细的计算公式为：

其中，z_ij表示用户设备i的计算任务j的传输数据大小，f_i ^e,f_i ^c分别表示边和云服务器的计算能力；

S2.4：计算任务压缩等额外的时间与能耗；

具体计算公式为：

其中，τ_ij和υ_ij分别表示用户设备i的计算任务j与边服务器过程中压缩和解压缩需要的CPU周期数，f_i ^l和f_i ^e分别表示用户设备i和边服务器的计算能力；

S2.5：计算服务器远程处理终端任务的传输时间与能耗；

具体计算公式为：

zc_ij＝z_ij.comp_ratio

其中，z_ij,r_i,p_i同上所述，comp_ratio表示任务数据压缩比，值设置为50；

S2.6：汇总计算时间与能耗数据；

具体计算公式为：

其中，α_ijk是任务卸载决策系数，即任务的执行位置，k表示执行任务的服务器们，β_ij表示压缩决策系数；

S3、训练任务卸载算法模型；在多用户多云边服务器的物联网环境下满足计算任务下各类约束条件的同时最小化能耗；

S3.1：初始化参数；

S3.2：将增强学习环境产生的状态输入强化算法中；

所述S3.2的强化算法由多个深度神经网络组成，具体个数在步骤3.1由用户指定，并将产生多个备选动作：

其中，表示在第t次迭代中第d个深度神经网络函数，s_t表示增强学习环境状态的输入，具体s_t＝{(α_ijk,β_ij)_t}，其中α_ijk是任务卸载决策系数，即任务的执行位置，β_ij表示压缩决策系数；

S3.3：依据动作策略筛选动作，并将动作输入给环境；

所述S3.3的动作策略基于如下公式筛选累积奖励最小的作为动作输入给环境：

其中，Q表示Q-learning强化学习中的Q函数；

强化学习奖励具体如下公式：

表示奖励分为加1减1不变三种，由两次间隔状态下的奖励函数即ν(t)的大小决定，ν(t)为参照常规强化学习的奖励函数设定；

S3.4：使用产生的动作和对应状态数据，优化强化算法参数，同时记录强化学习的奖励；

所述S3.4优化强化算法参数具体指，使用步骤S3.3产生的动作和当前输入的状态数据，训练强化学习算法中的所有神经网络；

强化学习奖励公式同步骤S3.3的强化学习奖励公式；

S3.5：多次循环重复S3.2-3.4到用户规定迭代次数；

S4、执行模型并输出。

2.根据权利要求1所述的基于深度强化学习的边缘计算任务卸载方法，其特征在于，所述S1的相关参数包括输入传输数据大小、CPU周期、任务时限要求。

3.根据权利要求1所述的基于深度强化学习的边缘计算任务卸载方法，其特征在于，所述S3解决的核心问题是在多用户多云边服务器的物联网环境下满足计算任务下各类约束条件的同时最小化能耗，该问题具体数学表达是：

其中C1约束能耗，C2约束任务执行的时限，C3约束边服务器计算性能上限，C4约束每次任务只执行一次，C5和C6约束任务卸载和压缩决策系数的取值。