CN114116061B - 一种移动边缘计算环境下的工作流任务卸载方法及系统 - Google Patents
一种移动边缘计算环境下的工作流任务卸载方法及系统 Download PDFInfo
- Publication number
- CN114116061B CN114116061B CN202111422606.0A CN202111422606A CN114116061B CN 114116061 B CN114116061 B CN 114116061B CN 202111422606 A CN202111422606 A CN 202111422606A CN 114116061 B CN114116061 B CN 114116061B
- Authority
- CN
- China
- Prior art keywords
- calculation
- workflow task
- unloading
- function
- wireless device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44594—Unloading
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/08—Load balancing or load distribution
- H04W28/09—Management thereof
- H04W28/0925—Management thereof using policies
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
一种移动边缘计算环境下的工作流任务卸载方法及系统,其中移动边缘计算环境下的工作流任务卸载方法包括以下步骤:S1:获取无线设备的信息,计算信道增益值,构建信道模型;S2:生成卸载计算模式及本地计算模式,并得到两种计算模式下的数据计算速率;S3:构建工作流任务卸载模型并设定约束条件;S4:构建马尔可夫决策模型,确定卸载策略函数;S5:采用SAC模型求解卸载策略函数,进行工作流任务的卸载。通过求解一个最优的工作流任务卸载策略来优化工作流任务的计算效率、工作流任务传输的时间分配和无线设备之间的时间分配,极大地提高了工作流任务的计算效率和无线设备的处理能力,从而提高无线设备使用者的体验感。
Description
技术领域
本发明涉及移动边缘计算领域,尤其是涉及一种移动边缘计算环境下的工作流任务卸载方法及系统。
背景技术
近年来,随着移动设备的爆炸式增长和互联网技术的不断发展,智能终端在人群中得到普及,与此同时,人们也更加渴望能够有一个高速的智能终端计算环境,以便能够满足自身对智能设备计算响应的需求。由于这种需求不断增长,传统的计算资源、带宽资源等资源的缺失使得这种日益增长的需求迟迟不能得到满足,加上智能终端设备自身处理能力的局限性,往往不能够独立、高速地处理自身的数据密集型任务,加之云计算技术也不能够针对数据密集型任务做出快速的计算和响应,所以这就需要科研工作者不断地拓展新思维,研发新技术从而支持智能设备的密集型计算任务的需求,从而满足人们对智能设备的要求。基于这种需求背景,人们亟待新技术的出现和发展,移动边缘计算应运而生。
伴随着互联网技术的不断发展,工作流技术逐渐被应用到如车联网、物联网、电子商务等各种新兴领域中,特别是应用到各领域、各企业自身的管理系统中。工作流技术的特点就是能够将特定的业务流程从传统的应用程序中剥离出来,以便能够对这些业务流程进行独立管理。同时,剥离出来的业务流程能够适应更多变的应用场景和环境,从而使得对多种业务进行并行处理,最终实现提高任务处理效率、减轻工作流程的目标。
由于移动边缘计算具有低延迟、高带宽等技术特征,因此,现在企业越来越多的将工作流任务放到移动边缘计算的环境中去执行了,从而能够借助移动边缘计算技术的特性,快速地得到自身想要的结果。但是在移动边缘计算网络中会面临一些问题,例如,在实时变化的信道环境下,如何根据信道环境变化分配工作流任务,以达到工作流任务的执行速率最大化的目标。在工作流任务的计算卸载决策中,如何确定将该工作流任务进行本地计算还是进行卸载计算。
截至目前,经过相关领域的专家、学者的不断研究,针对移动边缘计算环境下进行工作流任务卸载的问题也已经形成了许多先进的解决方案,但是这些方案并不能保证当前的卸载动作是有序的。
发明内容
针对现有技术存在的问题,本发明提供了一种移动边缘计算环境下的工作流任务卸载方法,基于深度强化学习,通过求解一个最优的工作流任务卸载策略来优化工作流任务的计算效率、工作流任务传输的时间分配和无线设备之间的时间分配,极大地提高了工作流任务的计算效率和无线设备的处理能力,从而提高无线设备使用者的体验感。
本发明中的工作流任务卸载方法,确定了当前要进行的动作是有序的,并保证当前动作应用于连续的动作空间,并且当前动作的选择需要从可执行的动作中进行选择。
本发明提供的移动边缘计算环境下的工作流任务卸载方法,包括以下步骤:
S1:获取无线设备的信息,计算信道增益值,构建信道模型;
S2:生成卸载计算模式及本地计算模式,并得到两种计算模式下的数据计算速率;
S3:构建工作流任务卸载模型并设定约束条件;
S4:构建马尔可夫决策模型,确定卸载策略函数;
S5:采用SAC模型求解卸载策略函数,进行工作流任务的卸载。
进一步,步骤S1中,所述无线设备的信息包括:信道增益值变化临界点时无线设备和边缘基站的参考距离、无线设备和边缘基站的实际距离以及信道能量损失系数。
进一步,步骤S1中,根据获取的无线设备信息计算信道增益值,所述信道增益值的计算包括:
其中,h为信道增益值,d0为信道增益值变化临界点时无线设备和边缘基站的参考距离,d无线设备和边缘基站的实际距离,α为常系数,其中a∈(0,1),ω为信道能量损失系数。
进一步,步骤S1中,根据无线设备信息以及信道增益值构建信道模型,所述信道模型包括无线设备的能量收集效率;
在边缘基站传输射频能量的阶段,当无线设备当前的信道可用时,所述无线设备的能量收集效率的计算包括:
其中,Ei为第i个无线设备的能量收集效率,P0为边缘基站的传输能量,aT为能量传输的总时间,μ为当前能量转换效率,其中μ∈(0,1),信道增益值h是时变的,变化周期为T。
进一步,步骤S2中,采用二进制的卸载策略将工作流任务的计算分为卸载计算模式及本地计算两种模式;
在卸载计算模式下,数据计算速率包括:
其中,r1,i(κi,e)为卸载计算速率函数,κi为第i个无线设备卸载时间分配比例,e为边缘基站的射频能量传播时间,B为当前无线网络通信带宽,Va为当前无线网络平均传输速率,a为边缘基站广播射频能量的时间比例,ρ是计算1bit数据所需的CPU周期数;
在本地计算模式下,数据计算速率包括:
其中,r2,i(e)为本地计算速率函数,∈i为计算能效系数,φ为处理1bit数据所需循环的周期数。
进一步,步骤S3中,构建工作流任务卸载模型包括边缘计算网络的计算率奖励函数的确定以及对其进行的最大化处理;
其中边缘计算网络的计算率奖励函数的确定包括:
Q(h,o,κ,e)为边缘计算网络的计算率奖励函数;
边缘计算网络的计算率奖励函数的最大化处理包括:
Q*(h)=maxmize Q(h,o,κ,e)
所述约束条件包括:
e≥0,κi≥0,
oi∈(0,1)
分别表示分配给第i个工作流任务卸载时间分配与边缘基站的射频能量传播时间总和应不大于1;分配给第i个工作流任务卸载时间和边缘基站的射频能量传播时间的最小值均不小于0以及第i个工作流任务是否执行本地计算。
进一步,步骤S4中,根据边缘计算网络的计算率奖励函数构建马尔可夫决策模型,所述马尔可夫决策模型包括:
(S,A,R,P)
其中,S={s1,s2....sn}代表状态空间,si={oi};
A={a1,a2....at}代表动作空间,at={ht}表示为不同时刻的信道增益值,t表示单位为T时间帧;
R:S×A,代表奖励函数;
P代表状态转移概率。
进一步,步骤S4中,根据马尔可夫决策模型确定卸载策略函数,卸载策略函数为:
卸载策略函数确定的步骤包括:
S41:根据每个状态下的熵确定动作方程,每个状态下的熵H为:
H(π(·|st+1))=-Ea logπ(at|st)
动作方程为:
表示为Rt在st状态下选择at动作,其中β表示为学习率;
S42:由Soft Bellman Backup equation方程更新得到Q(st,at)的估计动作方程:
表示为st和at的最大奖励等于下一个动作at+1的奖励总和减去at+1动作下的熵;
S43:卸载策略函数的变换由信道增益值h决定:
根据得到估计状态方程:
根据每个状态下的熵得到估计最优动作方程:
S44:根据估计最优动作方程得到最优卸载策略函数:
进一步,步骤S5中,所述SAC模型包括SAC深度神经网络模型,求解卸载策略函数的步骤包括:
S51:通过Q-value网络对Q函数进行模拟,Q函数为每个时刻下的动作-状态对函数;
S52:通过策略网络对策略函数π进行模拟,得到策略网络;
S53:根据当前的Q值和V值得到熵H,将熵H加到当前的奖励R上,根据Soft BellmanBackup equation方程迭代更新Q值直至收敛;
S54:更新当前的策略π得到最优卸载策略,进行工作流任务的卸载。
本发明还提供了一种采用上述移动边缘计算环境下的工作流任务卸载方法的移动边缘计算系统,包括无线设备,边缘基站,代理服务器、射频能量模块,可充电电池模块。
本发明通过提供一种移动边缘计算环境下的工作流任务卸载方法,充分考虑了无线信道的实时改变特性和射频能量传播的特性,基于深度强化学习,使得在优化多个目标的同时能够获得最优的卸载策略,提高了边缘计算环境下工作流任务计算效率,降低了计算延迟时间。
附图说明
在下文中将基于实施例并参考附图来对本发明进行更详细的描述。其中:
图1为本发明中移动边缘计算环境下的工作流任务卸载方法的流程图;
图2为用于移动边缘计算环境下的工作流任务卸载方法的系统模型图;
图3为用于移动边缘计算环境下的工作流任务卸载方法的实例部署图。
具体实施方式
为清楚说明本发明的发明内容,下面结合实施例对本发明进行说明。
在本发明的描述中,需要说明的是,术语“上”、“下”、“水平”、“顶”、“底”等指示的方位或位置关系均为基于附图所示的方位或位置关系,仅仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
如图1所示,本发明提供的一种移动边缘计算环境下的工作流任务卸载方法,具体包括以下步骤:
S1:获取无线设备的信息,计算信道增益值,构建信道模型;
S2:生成卸载计算模式及本地计算模式,并得到两种计算模式下的数据计算速率;
S3:构建工作流任务卸载模型并设定约束条件;
S4:构建马尔可夫决策模型,确定卸载策略函数;
S5:采用SAC模型求解卸载策略函数,进行工作流任务的卸载。
步骤S1中,需要获取的无线设备信息包括:d0、d、α、ω。其中d0为信道增益值变化临界点时无线设备和边缘基站的参考距离;d无线设备和边缘基站的实际距离;α为常系数,其中a∈(0,1);ω为信道能量损失系数。
根据所获取的无线设备信息,得到如下无线信道增益值计算公式:
表示为当无线设备和边缘基站的实际距离大于参考距离时,无线信道增益值h取此外,当无线设备和边缘基站的实际距离小于等于参考距离时无线信道增益值h取/>
基于无线设备信息和信道增益值,构建信道模型:
在本发明的信道模型中,信道增益值h是时变的,变化周期为T,T为本模型中最小的时间帧;在边缘基站传输射频能量的阶段,假设无线设备当前的信道可用时,设第i无线设备的能量收集效率为Ei,
其中P0为边缘基站的传输能量;aT为能量传输的总时间;μ为当前能量转换效率,其中μ∈(0,1);
由于无线设备从边缘基站处所获取的射频能量和与边缘基站之间的通信速度都与h有关,因此本发明中假设当前信道是互易的,并且每个无线设备利用收集的能量E,要在一个时间帧T内完成一个具有优先级的工作流任务。
基于此,步骤S2中,本发明采用二进制的一个卸载策略,将工作流任务的计算分为本地计算和卸载计算两种模式,定义oi表示第i工作流任务的计算模式:
o作为为判断当前的工作流计算任务是否卸载到本地执行,其取值为o∈{0,1},当o=0时,表示当前工作流计算任务完全卸载到本地执行;当o=1时,表示当前工作流计算任务完全卸载到边缘服务器执行;
具体地,当前若在本地计算模式下,那么当前无线设备可以在接收射频能量的同时进行工作流任务的计算,因为此时工作流任务本地计算,不占用信道资源。
定义为处理器每秒钟的处理速率;定义ti表示计算时间,ti≤T;定义φ为处理1bit数据所需要的周期数,所以无线设备要处理/>数据。
当前若在卸载计算模式下,因为卸载工作流任务会占用信道,所以本发明中定义无线设备在接收射频能量之后再进行工作流任务的卸载。
定义κi为第i个无线设备卸载时间分配比例,若κ=0,则o=0,则代表当前工作流任务完全本地执行,反之亦然,因此κi∈[0,1]。
本发明中假设边缘基站的计算能力远大于无线设备,同时边缘基站反馈给无线设备的计算数据大小远小于计算任务本身。因此,对于边缘基站而言,无需考虑任务计算时间。
基于上述所提出的两种计算模式,在后续得出两种计算模式下的计算速率,首先定义e为边缘基站的射频能量传播时间;ωi为分配给第i无线设备的权重系数;
设r1,i函数表示为卸载计算速率,其中B为当前无线网络通信带宽;Va为当前无线网络平均传输速率;a为边缘基站广播射频能量的时间比例,ρ是计算1bit数据所需的CPU周期数。
设r2,i函数表示为本地计算速率,此外,/>其中∈i为计算能效系数,φ为处理1bit数据所需循环的周期数,所以,为了能够在无线设备能量允许的范围内处理最多的数据,那么无线设备应该在能量允许的范围内尽可能的进行本地计算。
在步骤S3中,构建工作流任务卸载模型包括边缘计算网络的计算率奖励函数的确定以及对其进行的最大化处理;在该步骤中,基于以上定义,将Q(h,o,κ,e)表示边缘计算网络的计算率奖励函数,由于公式(3)中只有h是时变的,本发明的目标是最大化该目标函数Q(h,o,κ,e),其中边缘计算网络的计算率奖励函数的确定包括:
边缘计算网络的计算率奖励函数的最大化处理包括:
Q*(h)=maxmize Q(h,o,κ,e) (7)
根据优化问题,所述约束条件为:
e≥0,κi≥0, (7b)
oi∈(0,1), (7c)
其中约束条件(7a)表示为分配给第i个工作流任务卸载时间分配与边缘基站的射频能量传播时间总和应不大于1;
约束条件(7b)表示为分配给第i个工作流任务卸载时间和边缘基站的射频能量传播时间的最小值均不小于0;
约束条件(7c)表示为第i个工作流任务是否执行本地计算。
步骤S4中,根据边缘计算网络的计算率奖励函数构建马尔可夫决策模型,马尔可夫决策模型包括:
(S,A,R,P) (8)
该决策模型由一个四元组构成,S={s1,s2....sn}代表的是状态空间,其中si={oi};A={a1,a2....at}代表的是动作空间,其中at={ht}表示为不同时刻的信道增益值,t表示单位为T时间帧;R:S×A,R代表的是奖励函数;P代表的是状态转移概率。
在该步骤中,基于马尔可夫决策模型,本发明的目的是设计一个卸载策略:
π=P(a|s) (9)
该函数能够快速生成一个最优的卸载策略,并且该卸载策略的变换由信道增益值h决定:
卸载策略函数的确定具体包括以下步骤:
S41:根据每个状态下的熵确定动作方程,对于每一个状态下的熵H,进行如下定义:
H(π(·|st+1))=-Ea logπ(at|st) (11)
基于此,确定动作方程为:
动作方程Q(st,at)表示为Rt在st状态下选择at动作,其中β表示为学习率;
由Soft Bellman Backup equation方程更新得到Q(st,at)的估计动作方程:
估计动作方程Qsoft(st,at)表示为st和at的最大奖励等于下一个动作at+1的奖励总和减去at+1动作下的熵,因此为了得到估计动作方程Qsoft(st,at),使用Soft BellmanBackup equation方程进行迭代更新。
卸载策略函数的变换由信道增益值h决定,由公式(10)得到估计状态方程:
根据每个状态下的熵得到估计最优动作方程,即根据公式(11)得到估计最优动作方程:
进一步,根据估计最优动作方程得到一个最优卸载策略函数:
在步骤S5中的求解卸载策略函数过程中,基于上述提出的系列方程,采用SAC模型求解卸载策略函数,SAC模型具体为SAC深度神经网络模型,该模型的特点包括:通过Q-value网络对Q函数进行模拟,Q函数就是每个时刻下的动作-状态对函数;通过策略网络对策略函数π进行模拟,得到策略网络;同时根据当前的Q值和V值得到熵H,将熵H加到当前的奖励R上,根据Soft Bellman Backup equation方程迭代更新Q值直至收敛,然后更新当前的策略π,得到最优的卸载策略,即最优的o值,然后进行工作流计算任务的卸载。
本发明提供的一种采用上述工作流任务卸载方法的移动边缘计算系统,包括无线设备,边缘基站,代理服务器、射频能量模块,可充电电池模块。其中应包含一个边缘基站、和多个无线设备,其中边缘基站配有能量传输模块,从而使得边缘基站可以通过广播向无线设备发送射频能量;此外,每个无线设备配有一个可充电电池模块,从而保证无线设备能够接收和存储射频能量。
结合图2,本发明提供的用于移动边缘计算环境下的工作流任务迁移方法,包括具有M个边缘服务器和N个无线设备的移动边缘计算系统,用户的工作流任务根据时间帧被分割成n个子任务集,根据卸载策略确定该工作流任务的计算模式,不同的计算模式会产生计算速率的差距,同时由于边缘基站发送射频能量占用信道,所以卸载模式下的任务计算也会受到接收能量的影响。本发明的目的就是基于当前的系统模型借助深度强化学习算法寻求最优的任务卸载策略,从而达到提高边缘计算环境下工作流任务计算效率,降低计算延迟时间的目的。
本发明使用隐马尔科夫模型来求解最优的卸载策略,利用Soft Actor-Critic算法训练隐马尔科夫模型的参数(S,A,R,P),其中S代表的是状态空间,表示为卸载策略;A代表的是动作空间,表示为不同时刻的信道增益值;R代表的是奖励函数;P代表的是状态转移概率。
本发明提供的用于移动边缘计算环境下基于深度强化学习的工作流任务卸载方法,具体为在移动边缘计算环境下有关无线设备的工作流任务卸载策略,该策略考虑了基站传输射频能量的影响,考虑了对工作流任务进行二进制卸载的情况,首先基于隐马尔科夫模型来预测工作流任务的卸载策略,然后利用SAC算法来求解工作流任务的最优卸载策略,最后按照最优的卸载策略进行任务的计算和卸载从而提高工作流任务的计算速率。
其中,隐马尔科夫模型包括S={s1,s2....sn}代表的是状态空间,其中si={oi};A={a1,a2....at}代表的是动作空间,其中at={ht}表示为不同时刻的信道增益值,t表示单位为T时间帧;R:S×A,R代表的是奖励函数;P代表的是状态转移概率。
在训练隐马尔科夫模型的参数时,基于用户的当前的动作-状态对,用SAC算法对隐马尔科夫模型的参数进行训练。
需要解决在当前边缘计算环境下工作流任务卸载的问题,该问题的优化模型如下:
Q*(h)=maxmize Q(h,o,κ,e) (2)
进一步,根据优化问题,其特征在于,所述约束条件为:
e≥0,κi≥0, (4)
oi∈(0,1), (5)
其中约束条件(3)表示为分配给第i个工作流任务卸载时间分配与边缘基站的射频能量传播时间总和应不大于1;约束条件(4)表示为分配给第i个工作流任务卸载时间和边缘基站的射频能量传播时间的最小值均不小于0;约束条件(5)表示为第i个工作流任务是否执行本地计算。
本发明采用SAC深度强化学习算法对以上任务迁移优化问题进行求解,SAC算法主要包含四个核心网络Q-value网络,V-value网络和策略网络。
各个网络的功能如下:
Q-value网络:确定动作方程:
动作方程Q(st,at)表示为Rt在st状态下选择at动作,其中β表示为学习率,由SoftBellman Backup equation方程更新得到Q(st,at)的估计动作方程:
动作方程Qsoft(st,at)表示为st和at的最大奖励等于下一个动作at+1的奖励总和减去at+1动作下的熵,因此为了得到估计动作方程Qsoft(st,at),使用Soft Bellman Backupequation方程进行迭代更新,得到估计最优动作方程:
V-value网络:得到估计状态方程:
策略网络:得到一个最优卸载策略:
结合图3,本发明的用于移动边缘计算环境下的工作流任务卸载方法,通过上述移动边缘计算系统环境下任务卸载时具体包括以下实施内容及实施步骤:
在当前边缘基站服务的范围内新添加一台新无线设备,并确保新无线设备能够接收射频能量和存储能量;
在新无线设备中搭建深度神经网络模型进行卸载策略的生成;
无线设备将当前工作流任务信息、信道信息等所收集的信息传入深度神经网络模型进行训练;
模型训练结束后无线设备会得到一个当前最优的卸载策略;
无线设备会根据当前最优的卸载策略进行决策,确定当前工作流任务是否进行卸载计算;
若卸载计算,则将计算任务传输到边缘基站进行处理;若本地计算,则保证在本地设备能量范围内完成计算。
本发明充分考虑了无线信道的实时改变特性和射频能量传播的特性,提出一种基于深度强化学习的算法,该算法能够解决工作流任务卸载过程中的计算速率优化问题,极大地提升了无线设备的任务处理能力,提高了用户体验感。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (7)
1.一种移动边缘计算环境下的工作流任务卸载方法,其特征在于,包括以下步骤:
S1:获取无线设备的信息,计算信道增益值,构建信道模型;
S2:生成卸载计算模式及本地计算模式,并得到两种计算模式下的数据计算速率;
S3:构建工作流任务卸载模型并设定约束条件;
S4:构建马尔可夫决策模型,确定卸载策略函数;
卸载策略函数为:
卸载策略函数确定的步骤包括:
S41:根据每个状态下的熵确定动作方程,每个状态下的熵H为:
H(π(·|st+1))=-Ealogπ(at|st)
动作方程为:
表示为Rt在st状态下选择at动作,其中β表示为学习率;
S42:由Soft Bellman Backup equation方程更新得到Q(st,at)的估计动作方程:
表示为st和at的最大奖励等于下一个动作at+1的奖励总和减去at+1动作下的熵;
S43:卸载策略函数的变换由信道增益值h决定:
根据得到估计状态方程:
根据每个状态下的熵得到估计最优动作方程:
S44:根据估计最优动作方程得到最优卸载策略函数:
根据边缘计算网络的计算率奖励函数构建马尔可夫决策模型,所述马尔可夫决策模型包括:
(S,A,R,P)
其中,S={s1,s2....sn}代表状态空间,si={oi};
A={a1,a2....at}代表动作空间,at={ht}表示为不同时刻的信道增益值,t表示单位为T时间帧;
R:S×A,代表奖励函数;
P代表状态转移概率;
S5:采用SAC模型求解卸载策略函数,进行工作流任务的卸载;
所述SAC模型包括SAC深度神经网络模型,求解卸载策略函数的步骤包括:
S51:通过Q-value网络对Q函数进行模拟,Q函数为每个时刻下的动作-状态对函数;
S52:通过策略网络对策略函数π进行模拟,得到策略网络;
S53:根据当前的Q值和V值得到熵H,将熵H加到当前的奖励R上,根据Soft BellmanBackup equation方程迭代更新Q值直至收敛;
S54:更新当前的策略π得到最优卸载策略,进行工作流任务的卸载。
2.根据权利要求1所述的工作流任务卸载方法,其特征在于,步骤S1中,所述无线设备的信息包括:信道增益值变化临界点时无线设备和边缘基站的参考距离、无线设备和边缘基站的实际距离以及信道能量损失系数。
3.根据权利要求2所述的工作流任务卸载方法,其特征在于,步骤S1中,根据获取的无线设备信息计算信道增益值,所述信道增益值的计算包括:
其中,h为信道增益值,d0为信道增益值变化临界点时无线设备和边缘基站的参考距离,d无线设备和边缘基站的实际距离,α为常系数,其中α∈{0,1},ω为信道能量损失系数。
4.根据权利要求1所述的工作流任务卸载方法,其特征在于,步骤S1中,根据无线设备信息以及信道增益值构建信道模型,所述信道模型包括无线设备的能量收集效率;
在边缘基站传输射频能量的阶段,当无线设备当前的信道可用时,所述无线设备的能量收集效率的计算包括:
其中,Ei为第i个无线设备的能量收集效率,P0为边缘基站的传输能量,aT为能量传输的总时间,μ为当前能量转换效率,其中μ∈(0,1),信道增益值h是时变的,变化周期为T。
5.根据权利要求4所述的工作流任务卸载方法,其特征在于,步骤S2中,采用二进制的卸载策略将工作流任务的计算分为卸载计算模式及本地计算两种模式;
在卸载计算模式下,数据计算速率包括:
其中,r1,i(κi,e)为卸载计算速率函数,κi为第i个无线设备卸载时间分配比例,e为边缘基站的射频能量传播时间,B为当前无线网络通信带宽,Va为当前无线网络平均传输速率,a为边缘基站广播射频能量的时间比例,ρ是计算1bit数据所需的CPU周期数;
在本地计算模式下,数据计算速率包括:
其中,r2,i(e)为本地计算速率函数,∈i为计算能效系数,φ为处理1bit数据所需循环的周期数。
6.根据权利要求5所述的工作流任务卸载方法,其特征在于,步骤S3中,构建工作流任务卸载模型包括边缘计算网络的计算率奖励函数的确定以及对其进行的最大化处理;
其中边缘计算网络的计算率奖励函数的确定包括:
Q(h,o,κ,e)为边缘计算网络的计算率奖励函数;
边缘计算网络的计算率奖励函数的最大化处理包括:
Q*(h)=maxmizeQ(h,o,K,e)
所述约束条件包括:
e≥0,κi≥0,
oi∈(0,1)
分别表示分配给第i个工作流任务卸载时间分配与边缘基站的射频能量传播时间总和应不大于1;分配给第i个工作流任务卸载时间和边缘基站的射频能量传播时间的最小值均不小于0以及第i个工作流任务是否执行本地计算。
7.一种移动边缘计算系统,采用权利要求1-6中任一项所述的移动边缘计算环境下的工作流任务卸载方法,其特征在于,包括无线设备,边缘基站,代理服务器、射频能量模块,可充电电池模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111422606.0A CN114116061B (zh) | 2021-11-26 | 2021-11-26 | 一种移动边缘计算环境下的工作流任务卸载方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111422606.0A CN114116061B (zh) | 2021-11-26 | 2021-11-26 | 一种移动边缘计算环境下的工作流任务卸载方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114116061A CN114116061A (zh) | 2022-03-01 |
CN114116061B true CN114116061B (zh) | 2023-08-18 |
Family
ID=80370244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111422606.0A Active CN114116061B (zh) | 2021-11-26 | 2021-11-26 | 一种移动边缘计算环境下的工作流任务卸载方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114116061B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114698125A (zh) * | 2022-06-02 | 2022-07-01 | 北京建筑大学 | 移动边缘计算网络的计算卸载优化方法、装置及系统 |
CN115099115B (zh) * | 2022-08-24 | 2022-12-30 | 国网江西省电力有限公司电力科学研究院 | 一种户内变电站通风降噪深度强化学习设计方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111464983A (zh) * | 2020-03-10 | 2020-07-28 | 深圳大学 | 一种无源边缘计算网络中的计算与通信协作方法及系统 |
CN112954736A (zh) * | 2019-12-10 | 2021-06-11 | 深圳先进技术研究院 | 基于策略的无线携能物联网设备的计算卸载 |
CN113504987A (zh) * | 2021-06-30 | 2021-10-15 | 广州大学 | 基于迁移学习的移动边缘计算任务卸载方法及装置 |
CN113543176A (zh) * | 2021-07-08 | 2021-10-22 | 中国科学院深圳先进技术研究院 | 基于智能反射面辅助的移动边缘计算系统的卸载决策方法 |
CN113612843A (zh) * | 2021-08-02 | 2021-11-05 | 吉林大学 | 一种基于深度强化学习的mec任务卸载和资源分配方法 |
-
2021
- 2021-11-26 CN CN202111422606.0A patent/CN114116061B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112954736A (zh) * | 2019-12-10 | 2021-06-11 | 深圳先进技术研究院 | 基于策略的无线携能物联网设备的计算卸载 |
CN111464983A (zh) * | 2020-03-10 | 2020-07-28 | 深圳大学 | 一种无源边缘计算网络中的计算与通信协作方法及系统 |
CN113504987A (zh) * | 2021-06-30 | 2021-10-15 | 广州大学 | 基于迁移学习的移动边缘计算任务卸载方法及装置 |
CN113543176A (zh) * | 2021-07-08 | 2021-10-22 | 中国科学院深圳先进技术研究院 | 基于智能反射面辅助的移动边缘计算系统的卸载决策方法 |
CN113612843A (zh) * | 2021-08-02 | 2021-11-05 | 吉林大学 | 一种基于深度强化学习的mec任务卸载和资源分配方法 |
Non-Patent Citations (1)
Title |
---|
Computation Rate Maximization for Wireless Powered Mobile-Edge Computing With Binary Computation Offloading;Suzhi Bi,Ying Jun Zhang;IEEE;第4177-4190页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114116061A (zh) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109857546B (zh) | 基于Lyapunov优化的多服务器移动边缘计算卸载方法及装置 | |
CN110113190A (zh) | 一种移动边缘计算场景中卸载时延优化方法 | |
CN111586696B (zh) | 一种基于多智能体架构强化学习的资源分配及卸载决策方法 | |
CN110928654B (zh) | 一种边缘计算系统中分布式的在线任务卸载调度方法 | |
CN114116061B (zh) | 一种移动边缘计算环境下的工作流任务卸载方法及系统 | |
US20220217792A1 (en) | Industrial 5g dynamic multi-priority multi-access method based on deep reinforcement learning | |
CN112105062B (zh) | 时敏条件下移动边缘计算网络能耗最小化策略方法 | |
CN111367657B (zh) | 一种基于深度强化学习的计算资源协同合作方法 | |
US11831708B2 (en) | Distributed computation offloading method based on computation-network collaboration in stochastic network | |
CN112511336B (zh) | 一种边缘计算系统中的在线服务放置方法 | |
CN113727362B (zh) | 一种基于深度强化学习的无线供电系统的卸载策略方法 | |
CN113573363A (zh) | 基于深度强化学习的mec计算卸载与资源分配方法 | |
CN113821346A (zh) | 基于深度强化学习的边缘计算中计算卸载与资源管理方法 | |
CN111162852B (zh) | 一种基于匹配学习的泛在电力物联网接入方法 | |
CN114615705B (zh) | 一种基于5g网络下单用户资源分配策略方法 | |
CN114025359B (zh) | 基于深度强化学习的资源分配与计算卸载方法、系统、设备及介质 | |
CN113518112B (zh) | 基于多智能体强化学习的无线充电设备协作任务卸载策略 | |
CN113452625B (zh) | 基于深度强化学习的卸载调度与资源分配方法 | |
CN113553188A (zh) | 一种基于改进天牛须算法的移动边缘计算卸载方法 | |
CN112600869A (zh) | 基于td3算法的计算卸载分配方法和装置 | |
CN113157344A (zh) | 移动边缘计算环境下基于drl的能耗感知任务卸载方法 | |
CN113687924B (zh) | 一种基于边缘计算系统的智能动态任务计算卸载方法 | |
CN115659803A (zh) | 一种无人机孪生网络映射误差情况下计算任务智能卸载方法 | |
CN116761098A (zh) | 一种低压配用电信息的数据采集协同处理方法 | |
CN115243220A (zh) | 基于lstm-ddpg的部分任务卸载及资源分配算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |