CN113452625B - 基于深度强化学习的卸载调度与资源分配方法 - Google Patents

基于深度强化学习的卸载调度与资源分配方法 Download PDF

Info

Publication number
CN113452625B
CN113452625B CN202110719899.2A CN202110719899A CN113452625B CN 113452625 B CN113452625 B CN 113452625B CN 202110719899 A CN202110719899 A CN 202110719899A CN 113452625 B CN113452625 B CN 113452625B
Authority
CN
China
Prior art keywords
task
moment
representing
user terminal
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110719899.2A
Other languages
English (en)
Other versions
CN113452625A (zh
Inventor
刘欣
李季
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202110719899.2A priority Critical patent/CN113452625B/zh
Publication of CN113452625A publication Critical patent/CN113452625A/zh
Application granted granted Critical
Publication of CN113452625B publication Critical patent/CN113452625B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/78—Architectures of resource allocation
    • H04L47/783—Distributed allocation of resources, e.g. bandwidth brokers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明具体涉及基于深度强化学习的卸载调度与资源分配方法，包括：获取设定时段内所有用户端的所有任务及其对应的信道增益；将所有任务的相关信息输入设置的调度分配模型中，根据任务的相关信息、用户端和边缘服务器的计算资源以及对应的信道增益，通过深度强化学习法生成用以完成卸载调度和资源分配的调度分配方案，并计算调度分配方案的总时延和总能量消耗作为总效能；以调度分配方案的总效能最小为目标不断优化所述调度分配模型的模型参数以得到最优的调度分配方案进行任务的卸载调度，并为任务分配对应的计算资源。本发明中的卸载调度与资源分配方法能够有效实现卸载调度和资源分配且能够适应高度动态变化场景。

Description

基于深度强化学习的卸载调度与资源分配方法
技术领域
本发明涉及边缘计算和深度学习技术领域，具体涉及基于深度强化学习的卸载调度与资源分配方法。
背景技术
目前，网络直播、流量监控、VR/AR技术等计算密集型任务给传统端-云网络架构(用户端和云计算中心)带来了巨大的挑战。计算密集型任务消耗的能量和时延远大于网页浏览、资料查询等非计算密集型任务。在传统的端-云(Mobile Cloud Computing,MCC)网络架构中，用户通过无线网络或无线接入点(Access Point，AP)将海量的计算密集型任务传输至云端进行计算，最后将计算结果通过传回网络返回终端设备。此时，传输数据的准确性和丢失率会受到传输信道的影响，同时传输过程所花费的时延开销增大，用户上传至云端数据会变为共享状态，无法保障用户数据的隐私性。
随着5G时代不断地普及，对实时性任务要求达到更高，通常传输速度要求在1000Mbps以上，网络延迟时延以毫秒量级为衡量单位。因此，出现了端(移动用户端)-边(边缘服务器)-云(云网络)(end-Edge-cloud)协同运行网络架构，移动边缘计算(Mobile EdgeComputing，MEC)也应运而生。例如，公开号为CN110347500A的中国专利就公开了《一种用于边缘计算环境中面向深度学习应用的任务卸载方法》，其首先将深度神经网络划分为若干个模型分块，采集系统中的相关数据并分析相应的特征；将得到的特征数据作为输入参数，建立M/M/n排队模型，得到终端设备层和边缘服务器层的平均任务数的期望，及任务在终端设备上开始执行以及将任务直接卸载到边缘服务器上开始执行的任务完成时间期望；以上述两个期望的最小最大值为目标函数，构建最小化任务执行时间的优化模型；使用启发式算法求解优化模型，得到最优卸载方案。
上述现有方案中的任务卸载方法针对不同的深度学习应用提出多模式，细粒度的个性化任务卸载方案，最小化任务完成时间，能够在一定程度上提高终端设备的资源利用率。然而，申请人发现除(计算)卸载调度外，(移动)用户端和边缘服务器的(计算)资源分配也是影响任务处理效率和效果的关键，因此在考虑卸载调度的同时还需要考虑资源分配问题。同时，端-边-云网络架构场景是一个高度动态环境，其复杂度很高，然而，现有的任务卸载方法难以有效适应这种高度动态变化的场景，导致卸载调度和资源分配的可靠性和合理性难以得到保证。因此，申请人设计了一种能够有效实现卸载调度和资源分配且能够适应高度动态变化场景的卸载调度与资源分配方法。
发明内容
针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种能够有效实现卸载调度和资源分配且能够适应高度动态变化场景的卸载调度与资源分配方法，从而能够提升端-边-云网络架构场景的运行效果。
为了解决上述技术问题，本发明采用了如下的技术方案：
基于深度强化学习的卸载调度与资源分配方法，包括以下步骤：
S1：获取设定时段内所有用户端的所有任务及其对应的信道增益；
S2：将所有任务的相关信息输入设置的调度分配模型中；所述调度分配模型根据任务的相关信息、用户端和边缘服务器的计算资源以及对应的信道增益，通过深度强化学习法生成用以完成卸载调度和资源分配的调度分配方案，并计算调度分配方案的总时延和总能量消耗作为总效能；
S3：以调度分配方案的总效能最小为目标不断优化所述调度分配模型的模型参数以得到最优的调度分配方案；通过最优的调度分配方案进行任务的卸载调度，并为任务分配对应的计算资源。
优选的，步骤S2中，所述任务的相关信息包括任务数据、计算所需CPU周期数和用户最大容忍时间。
优选的，步骤S2中，生成的调度分配方案满足以下条件：
单个任务的总时延小于或等于该任务的用户最大容忍时间；
单个任务的传输信噪比小于设置的信道阈值；
卸载至边缘服务器执行的所有任务分配的计算资源总和小于或等于边缘服务器的计算资源。
优选的，单个任务的完成时间通过如下公式表示：
Figure BDA0003136572080000021
式中：RSTi k表示用户端i在k时刻到来的任务
Figure BDA0003136572080000022
的完成时间；FTi k,l表示用户端i在k时刻到来的任务
Figure BDA0003136572080000023
在本地执行的计算完成时刻；FTi k,s表示用户端i在k时刻到来的任务
Figure BDA0003136572080000024
卸载在边缘服务器执行的计算完成时刻；
Figure BDA0003136572080000025
表示用户端i在k时刻到来的任务
Figure BDA0003136572080000026
是否卸载的决策向量，
Figure BDA0003136572080000027
表示在本地执行，
Figure BDA0003136572080000028
表示卸载在边缘服务器执行。
优选的，FTi k,l＝STi k,l+Ti k,l；式中：FTi k,l表示用户端i在k时刻到来的任务
Figure BDA0003136572080000029
在本地执行的计算完成时刻；STi k,l表示用户端i在k时刻到来的任务
Figure BDA00031365720800000210
在本地执行的执行开始时刻；Ti k,l表示用户端i在k时刻到来的任务
Figure BDA0003136572080000031
在本地执行的执行时间；
STi k,l＝FTi k-1,l；式中：STi k,l表示用户端i在k时刻到来的任务
Figure BDA0003136572080000032
在本地执行的执行开始时刻；FTi k-1,l表示用户端i在k-1时刻到来的任务
Figure BDA0003136572080000033
在本地执行完成时间；
Figure BDA0003136572080000034
式中：Ti k,l表示用户端i在k时刻到来的任务
Figure BDA0003136572080000035
在本地执行所花费的时间；
Figure BDA0003136572080000036
表示用户端i在k时刻到来的任务
Figure BDA0003136572080000037
的计算所需CPU周期数；fi l表示用户端i的计算资源；
FTi k,s＝STi k,s+Ti k,s；式中：FTi k,s表示用户端i在k时刻到来的任务
Figure BDA0003136572080000038
卸载在边缘服务器执行的计算完成时刻；STi k,s表示用户端i在k时刻到来的任务
Figure BDA0003136572080000039
卸载在边缘服务器执行的执行开始时刻；Ti k,s表示用户端i在k时刻到来的任务
Figure BDA00031365720800000310
卸载在边缘服务器执行所花费的时间；
RTi k＝max{FTi k-1,l,FTi k-1,ul}；式中：RTi k表示用户端i在k时刻到来的任务
Figure BDA00031365720800000311
的就绪时间；FTi k-1,l,FTi k-1,ul分别表示用户端i在k-1时刻到来的任务
Figure BDA00031365720800000312
在本地执行的完成时间和卸载至边缘服务器的结束时间；
STi k,s＝RTi k+Ti k,ul＝FTi k-1,s+Ti k,ul；式中：STi k,s表示用户端i在k时刻到来的任务
Figure BDA00031365720800000313
卸载在边缘服务器执行的执行开始时刻；RTi k表示用户端i在k时刻到来的任务
Figure BDA00031365720800000314
的就绪时间；FTi k-1,s表示用户端i在k-1时刻到来的任务
Figure BDA00031365720800000315
在边缘服务器执行的计算完成时间；Ti k ,ul表示用户端i在k时刻到来的任务
Figure BDA00031365720800000316
的任务数据上传到边缘服务器的结束时间；
Figure BDA00031365720800000317
式中：Ti k,s表示用户端i在k时刻到来的任务
Figure BDA00031365720800000318
卸载在边缘服务器执行所花费的时间；
Figure BDA00031365720800000319
表示用户端i在k时刻到来的任务
Figure BDA00031365720800000320
的任务数据；
Figure BDA00031365720800000321
表示用户端i在k时刻到来的任务
Figure BDA00031365720800000322
的计算所需CPU周期数；
Figure BDA00031365720800000323
表示信道的数据传输速率；fi k,s表示边缘服务器分配给任务
Figure BDA00031365720800000324
的计算资源。
优选的，步骤S2中，通过如下公式表示调度分配方案的最终完成时刻：
Tfinish＝maxk∈Tmaxi∈N{FTi k,l,FTi k,s}；式中：Tfinish表示设定时段T内所有任务的最终完成时刻；N表示用户端的总数量；FTi k,l表示用户端i在k时刻到来的任务
Figure BDA00031365720800000325
在本地执行的计算完成时刻；FTi k,s表示用户端i在k时刻到来的任务
Figure BDA00031365720800000326
卸载在边缘服务器执行的计算完成时刻。
优选的，任务的传输信噪比通过如下公式表示：
Figure BDA0003136572080000041
式中：
Figure BDA0003136572080000042
表示用户端i在k时刻到来的任务
Figure BDA0003136572080000043
的传输信噪比；Pi表示信道的传输功率；Wi表示信道的传输带宽；Kk表示k时刻在所有用户端N中决策为卸载的用户端总数；
Figure BDA0003136572080000044
表示用户端i在k时刻到来的任务
Figure BDA0003136572080000045
的信道增益；N0表示信道的高斯白噪声方差。
优选的，步骤S2中，通过如下公式计算总效能：
Figure BDA0003136572080000046
式中：U表示设定时段T内执行所有任务的总效能；T表示设定时段；μk表示执行在k时刻到来的所有任务执行的总效能；
Figure BDA0003136572080000047
式中：μk表示执行在k时刻到来的所有任务执行的总效能；
Figure BDA0003136572080000048
表示用户端i在k时刻到来的任务
Figure BDA0003136572080000049
在本地执行的计算能耗；
Figure BDA00031365720800000410
表示用户端i在k时刻到来的任务
Figure BDA00031365720800000411
卸载在边缘服务器执行的计算能耗；
Figure BDA00031365720800000412
表示用户端i在k时刻到来的任务
Figure BDA00031365720800000413
是否卸载的决策向量，
Figure BDA00031365720800000414
表示在本地执行，
Figure BDA00031365720800000415
表示卸载在边缘服务器执行；Ti k,s表示用户端i在k时刻到来的任务
Figure BDA00031365720800000416
卸载在边缘服务器执行所花费的时间；Ti k,l表示用户端i在k时刻到来的任务
Figure BDA00031365720800000417
在本地执行所花费的时间；βT和βE均表示超参数，且满足0≤βT≤1，0≤βE≤1，βT+βE＝1。
优选的，
Figure BDA00031365720800000418
式中：
Figure BDA00031365720800000419
表示用户端i在k时刻到来的任务
Figure BDA00031365720800000420
在本地执行的计算能耗；ξ与用户端的结构有关取ξ＝10-27；
Figure BDA00031365720800000421
表示用户端i在k时刻到来的任务
Figure BDA00031365720800000422
的计算所需CPU周期数；fi l表示用户端i的计算资源；
Figure BDA00031365720800000423
式中：
Figure BDA00031365720800000424
表示用户端i在k时刻到来的任务
Figure BDA00031365720800000425
卸载在边缘服务器执行的计算能耗；
Figure BDA00031365720800000426
表示用户端i在k时刻到来的任务
Figure BDA00031365720800000427
卸载在边缘服务器执行时上传数据消耗的能量；
Figure BDA00031365720800000428
表示用户端i在k时刻到来的任务
Figure BDA00031365720800000429
卸载在边缘服务器执行的计算能耗；
Figure BDA00031365720800000430
式中：
Figure BDA00031365720800000431
表示用户端i在k时刻到来的任务
Figure BDA00031365720800000432
卸载至边缘服务器时数据传输消耗的能量；pi表示用户端的传输功率；
Figure BDA0003136572080000051
表示用户端i在k时刻的所有用户端i在k时刻到来的任务
Figure BDA0003136572080000052
的任务数据；
Figure BDA0003136572080000053
表示信道的数据传输速率；
Figure BDA0003136572080000054
式中：
Figure BDA0003136572080000055
表示用户端i在k时刻到来的任务
Figure BDA0003136572080000056
卸载在边缘服务器执行的计算能耗；
Figure BDA0003136572080000057
表示完成用户端i在k时刻到来的任务
Figure BDA0003136572080000058
的计算所需CPU周期数；e0表示边缘服务器单位计算资源消耗的能量；
Figure BDA0003136572080000059
式中：
Figure BDA00031365720800000510
表示信道的数据传输速率；Wi表示信道的传输带宽；Kk表示k时刻在所有用户端N中决策为卸载的用户端总数；
Figure BDA00031365720800000511
表示用户端i在k时刻到来的任务
Figure BDA00031365720800000512
的传输信噪比。
优选的，步骤S2中，计算生成调度分配方案时，通过马尔可夫决策过程表示任务的卸载过程；
将马尔可夫决策过程看做四元组Mp＝<S,A,P,R>；
S表示有限的状态集合St＝{d(t),c(t),τ(t),R(t),F(t)}；式中：d(t)＝[d1(t),...,dN(t)]表示t时刻N个用户端的计算密集型任务大小；c(t)＝[c1(t),...,cN(t)]表示t时刻完成任务所需的计算资源；R(t)＝{[R11(t),...,RN1(t)],...,[R1M(t),...,RNM(t)]}表示t时刻N个用户端从M个信道中选择一个信道进行数据传输；τ(t)＝[τ1(t),...,τN(t)]表示t时刻的任务N个用户端的用户最大容忍时间；F(t)＝[F0(t),...,FN(t)]表示t时刻边缘服务器为各个用户端分配的计算资源；
A表示有限的动作集合At＝{a(t),y(t),f(t)}；式中：a(t)＝[a1(t),...,aN(t)]表示用来决策t时刻N个用户端的所有任务在用户端本地执行还是卸载到边缘服务器执行；y(t)＝[y11(t),...,y1M(t),...,yN1(t),...,yNM(t)]表示N个用户端通过M个信道中的某一个信道传输数据至边缘服务器；f(t)＝[f1(t),...,fN(t)]表示边缘服务器为每个用户端分配的计算资源；
P表示执行动作集合A的动作后从当前状态转化为另一个状态的概率；
R表示执行动作后的奖励函数，执行动作At后计算得到对应的R(st,at)＝μk；
在计算奖励函数后，会更新为下一个状态st+1，随着在时序中进行计算卸载和资源分配，状态更新为st+1＝{d(t+1),c(t+1),τ(t+1),R(t+1),F(t+1)}。
本发明中的卸载调度与资源分配方法与现有技术相比，具有如下有益效果：
在本发明中，能够通过调度分配模型生成用以完成卸载调度和资源分配的调度分配方案，即能够有效的实现卸载调度和资源分配；同时，本发明能够根据调度分配方案的总效能(总时延和总能量消耗)选取最优调度分配方案，使得能够并行执行所有任务并保证卸载调度和资源分配的可靠性和合理性，从而能够提升端-边-云网络架构场景的运行效果。此外，本发明采用深度强化学习DDPG算法(和马尔可夫决策过程)生成调度分配方案的方式，能够有效的适应端-边-云网络架构场景的高度动态变化，从而能够进一步提升卸载调度和资源分配的可靠性和合理性。最后，本发明通过总效能(总时延和总能量消耗)选取最优调度分配方案的方式，能够保证最优调度分配方案的任务处理效率并降低端-边-云网络架构场景的整体能耗，从而能够进一步提升端-边-云网络架构场景的运行效果。
附图说明
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为实施例中多用户端-单边缘服务器的架构场景示意图；
图2为实施例中卸载调度与资源分配方法的逻辑框图；
图3为实施例中用户端任务卸载的架构场景示意图；
图4为实施例中卸载调度和资源分配的架构场景示意图。
具体实施方式
下面通过具体实施方式进一步详细的说明：
实施例：
本实施例中公开了一种基于深度强化学习的卸载调度与资源分配方法。
如图1所示，本实施例基于多用户端-单边缘服务器的场景实施。
如图2所示：基于深度强化学习的卸载调度与资源分配方法，包括以下步骤：
S1：获取设定时段内所有用户端的所有任务及其对应的信道增益。具体的，获取任务的大小和用户端电量状态等数据。
S2：将所有任务的相关信息输入设置的调度分配模型中；调度分配模型根据任务的相关信息、用户端和边缘服务器的计算资源以及对应的信道增益，通过深度强化学习法生成用以完成卸载调度和资源分配的调度分配方案，并计算调度分配方案的总时延和总能量消耗作为总效能。具体的，任务的相关信息包括任务数据、计算所需CPU周期数和用户最大容忍时间。
S3：以调度分配方案的总效能最小为目标不断优化调度分配模型的模型参数以得到最优的调度分配方案；通过最优的调度分配方案进行任务的卸载调度，并为任务分配对应的计算资源。具体的，通过深度强化学习法DDPG算法根据环境不断自主学习以获得最优的reward值；将卸载过程可以视为马尔可夫决策过程。Actor网络为决策网络，Critic网络为该Actor网络的判定函数，引导Actor网络不断更新网络参数以获得最优的卸载调度和资源分配的调度分配方案。在限制条件下，不断自主学习和更新使得总效能尽可能大。本发明假设N个用户端与其对应距离最近的无线接入点(AP)进行相通信，最后传输到边缘服务器上，N个用户端可以同时发送任务至边缘服务器，并由边缘服务器上的虚拟监控器监控，分配各自单独的VM单元进行计算，这样充分的保证了各个用户端的隐私，具有安全性。
在本发明中，能够通过调度分配模型生成用以完成卸载调度和资源分配的调度分配方案，即能够有效的实现卸载调度和资源分配；同时，本发明能够根据调度分配方案的总效能(总时延和总能量消耗)选取最优调度分配方案，使得能够并行执行所有任务并保证卸载调度和资源分配的可靠性和合理性，从而能够提升端-边-云网络架构场景的运行效果。此外，本发明采用深度强化学习DDPG算法(和马尔可夫决策过程)生成调度分配方案的方式，能够有效的适应端-边-云网络架构场景的高度动态变化，从而能够进一步提升卸载调度和资源分配的可靠性和合理性。最后，本发明通过总效能(总时延和总能量消耗)选取最优调度分配方案的方式，能够保证最优调度分配方案的任务处理效率并降低端-边-云网络架构场景的整体能耗，从而能够进一步提升端-边-云网络架构场景的运行效果。
具体实施过程中，生成的调度分配方案满足以下条件：
单个任务的总时延小于或等于该任务的用户最大容忍时间；
单个任务的传输信噪比小于设置的信道阈值；
卸载至边缘服务器执行的所有任务分配的计算资源总和小于或等于边缘服务器的计算资源。
在本发明中，充分考虑了任务处理过程中的总效能(总时延和总能量消耗)、信道增益、传输信噪比和边缘服务器的计算资源，使得生成的调度分配方案均能够满足用户需求并更好的适应高度动态变化的端-边-云网络架构场景，从而能够并行执行所有任务并保证卸载调度和资源分配的可靠性和合理性。
具体实施过程中，单个任务的完成时间通过如下公式表示：
Figure BDA0003136572080000071
式中：RSTi k表示用户端i在k时刻到来的任务
Figure BDA0003136572080000072
的完成时间；FTi k,l表示用户端i在k时刻到来的任务
Figure BDA0003136572080000073
在本地执行的计算完成时刻；FTi k,s表示用户端i在k时刻到来的任务
Figure BDA0003136572080000081
卸载在边缘服务器执行的计算完成时刻；
Figure BDA0003136572080000082
表示用户端i在k时刻到来的任务
Figure BDA0003136572080000083
是否卸载的决策向量，
Figure BDA0003136572080000084
表示在本地执行，
Figure BDA0003136572080000085
表示卸载在边缘服务器执行；
Figure BDA0003136572080000086
具体的，FTi k,l＝STi k,l+Ti k,l；式中：FTi k,l表示用户端i在k时刻到来的任务
Figure BDA0003136572080000087
在本地执行的计算完成时刻；STi k,l表示用户端i在k时刻到来的任务
Figure BDA0003136572080000088
在本地执行的执行开始时刻；Ti k,l表示用户端i在k时刻到来的任务
Figure BDA0003136572080000089
在本地执行的执行时间；
STi k,l＝FTi k-1,l；式中：STi k,l表示用户端i在k时刻到来的任务
Figure BDA00031365720800000810
在本地执行的执行开始时刻；FTi k-1,l表示用户端i在k-1时刻到来的任务
Figure BDA00031365720800000811
在本地执行完成时间；
Figure BDA00031365720800000812
式中：Ti k,l表示用户端i在k时刻到来的任务
Figure BDA00031365720800000813
在本地执行所花费的时间；
Figure BDA00031365720800000814
表示用户端i在k时刻到来的任务
Figure BDA00031365720800000815
的计算所需CPU周期数；fi l表示用户端i的计算资源；
FTi k,s＝STi k,s+Ti k,s；式中：FTi k,s表示用户端i在k时刻到来的任务
Figure BDA00031365720800000816
卸载在边缘服务器执行的计算完成时刻；STi k,s表示用户端i在k时刻到来的任务
Figure BDA00031365720800000817
卸载在边缘服务器执行的执行开始时刻；Ti k,s表示用户端i在k时刻到来的任务
Figure BDA00031365720800000818
卸载在边缘服务器执行所花费的时间；
RTi k＝max{FTi k-1,l,FTi k-1,ul}；式中：RTi k表示用户端i在k时刻到来的任务
Figure BDA00031365720800000819
的就绪时间；FTi k-1,l,FTi k-1,ul分别表示用户端i在k-1时刻到来的任务
Figure BDA00031365720800000820
在本地执行的完成时间和卸载至边缘服务器的结束时间；
STi k,s＝RTi k+Ti k,ul＝FTi k-1,s+Ti k,ul；式中：STi k,s表示用户端i在k时刻到来的任务
Figure BDA00031365720800000821
卸载在边缘服务器执行的执行开始时刻；RTi k表示用户端i在k时刻到来的任务
Figure BDA00031365720800000822
的就绪时间；FTi k-1,s表示用户端i在k-1时刻到来的任务
Figure BDA00031365720800000823
在边缘服务器执行的计算完成时间；Ti k,ul表示用户端i在k时刻到来的任务
Figure BDA00031365720800000824
的任务数据上传到边缘服务器的结束时间；
Figure BDA00031365720800000825
式中：Ti k,s表示用户端i在k时刻到来的任务
Figure BDA00031365720800000826
卸载在边缘服务器执行所花费的时间；
Figure BDA00031365720800000827
表示用户端i在k时刻到来的任务
Figure BDA00031365720800000828
的任务数据；
Figure BDA00031365720800000829
表示用户端i在k时刻到来的任务
Figure BDA0003136572080000091
的计算所需CPU周期数；
Figure BDA0003136572080000092
表示信道的数据传输速率；fi k,s表示边缘服务器分配给任务
Figure BDA0003136572080000093
的计算资源。
在本发明中，通过上述步骤和公式能够有效的计算单个任务的完成时间，进而能够计算任务的总时延，使得生成的调度分配方案均能够有效满足用户需求并保证最优调度分配方案的任务处理效率，从而能够提升卸载调度和资源分配的效果。
具体实施过程中，通过如下公式表示调度分配方案的最终完成时刻：
Tfinish＝maxk∈Tmaxi∈N{FTi k,l,FTi k,s}；式中：Tfinish表示设定时段T内所有任务的最终完成时刻；N表示用户端的总数量；FTi k,l表示用户端i在k时刻到来的任务
Figure BDA0003136572080000094
在本地执行的计算完成时刻；FTi k,s表示用户端i在k时刻到来的任务
Figure BDA0003136572080000095
卸载在边缘服务器执行的计算完成时刻。
在本发明中，通过上述步骤和公式能够有效的计算调度分配方案的最终完成时刻，进而能够计算调度分配方案的总时延，使得生成的调度分配方案均能够有效满足用户需求并保证最优调度分配方案的任务处理效率，从而能够提升卸载调度和资源分配的效果。
具体实施过程中，任务的传输信噪比通过如下公式表示：
Figure BDA0003136572080000096
式中：
Figure BDA0003136572080000097
表示用户端i在k时刻到来的任务
Figure BDA0003136572080000098
的传输信噪比；Pi表示信道的传输功率；Wi表示信道的传输带宽；Kk表示k时刻在所有用户端N中决策为卸载的用户端总数；
Figure BDA0003136572080000099
表示用户端i在k时刻到来的任务
Figure BDA00031365720800000910
的信道增益；N0表示信道的高斯白噪声方差。
在本发明中，通过上述步骤和公式能够有效计算任务的信噪比，使得生成的调度分配方案均能够更好的适应高度动态变化的端-边-云网络架构场景，进而能够并行执行所有任务并保证卸载调度和资源分配的可靠性和合理性，从而能够进一步提升卸载调度和资源分配的可靠性和合理性。
具体实施过程中，通过如下公式计算总效能：
Figure BDA00031365720800000911
式中：U表示设定时段T内执行所有任务的总效能；T表示设定时段；μk表示执行在k时刻到来的所有任务执行的总效能；
Figure BDA00031365720800000912
式中：μk表示执行在k时刻到来的所有任务执行的总效能；
Figure BDA0003136572080000101
表示用户端i在k时刻到来的任务
Figure BDA0003136572080000102
在本地执行的计算能耗；
Figure BDA0003136572080000103
表示用户端i在k时刻到来的任务
Figure BDA0003136572080000104
卸载在边缘服务器执行的计算能耗；
Figure BDA0003136572080000105
表示用户端i在k时刻到来的任务
Figure BDA0003136572080000106
是否卸载的决策向量，
Figure BDA0003136572080000107
表示在本地执行，
Figure BDA0003136572080000108
表示卸载在边缘服务器执行；Ti k,s表示用户端i在k时刻到来的任务
Figure BDA0003136572080000109
卸载在边缘服务器执行所花费的时间；Ti k,l表示用户端i在k时刻到来的任务
Figure BDA00031365720800001010
在本地执行所花费的时间；βT和βE均表示超参数，且满足0≤βT≤1，0≤βE≤1，βT+βE＝1。
具体的，
Figure BDA00031365720800001011
式中：
Figure BDA00031365720800001012
表示用户端i在k时刻到来的任务
Figure BDA00031365720800001013
在本地执行的计算能耗；ξ与用户端的结构有关取ξ＝10-27；
Figure BDA00031365720800001014
表示用户端i在k时刻到来的任务
Figure BDA00031365720800001015
的计算所需CPU周期数；fi l表示用户端i的计算资源；
Figure BDA00031365720800001016
式中：
Figure BDA00031365720800001017
表示用户端i在k时刻到来的任务
Figure BDA00031365720800001018
卸载在边缘服务器执行的计算能耗；
Figure BDA00031365720800001019
表示用户端i在k时刻到来的任务
Figure BDA00031365720800001020
卸载在边缘服务器执行时上传数据消耗的能量；
Figure BDA00031365720800001021
表示用户端i在k时刻到来的任务
Figure BDA00031365720800001022
卸载在边缘服务器执行的计算能耗；
Figure BDA00031365720800001023
式中：
Figure BDA00031365720800001024
表示用户端i在k时刻到来的任务
Figure BDA00031365720800001025
卸载至边缘服务器时数据传输消耗的能量；pi表示用户端的传输功率；
Figure BDA00031365720800001026
表示用户端i在k时刻的所有用户端i在k时刻到来的任务
Figure BDA00031365720800001027
的任务数据；
Figure BDA00031365720800001028
表示信道的数据传输速率；
Figure BDA00031365720800001029
式中：
Figure BDA00031365720800001030
表示用户端i在k时刻到来的任务
Figure BDA00031365720800001031
卸载在边缘服务器执行的计算能耗；
Figure BDA00031365720800001032
表示完成用户端i在k时刻到来的任务
Figure BDA00031365720800001033
的计算所需CPU周期数；e0表示边缘服务器单位计算资源消耗的能量；
Figure BDA00031365720800001034
式中：
Figure BDA00031365720800001035
表示信道的数据传输速率；Wi表示信道的传输带宽；Kk表示k时刻在所有用户端N中决策为卸载的用户端总数；
Figure BDA00031365720800001036
表示用户端i在k时刻到来的任务
Figure BDA00031365720800001037
的传输信噪比。
在本发明中，通过上述步骤和公式能够有效的计算总效能(总时延和总能量消耗)，使得生成的调度分配方案均能够更好的适应高度动态变化的端-边-云网络架构场景，并能够降低端-边-云网络架构场景的整体能耗，从而能够进一步提升卸载调度和资源分配的可靠性和合理性。
具体实施过程中，结合图3和图4所示，通过马尔可夫决策过程表示任务的卸载过程；
将马尔可夫决策过程看做四元组Mp＝＜S,A,P,R>；
S表示有限的状态集合St＝{d(t),c(t),τ(t),R(t),F(t)}；式中：d(t)＝[d1(t),...,dN(t)]表示t时刻N个用户端的计算密集型任务大小；c(t)＝[c1(t),...,cN(t)]表示t时刻完成任务所需的计算资源；R(t)＝{[R11(t),...,RN1(t)],...,[R1M(t),...,RNM(t)]}表示t时刻N个用户端从M个信道中选择一个信道进行数据传输；τ(t)＝[τ1(t),...,τN(t)]表示t时刻的任务N个用户端的用户最大容忍时间；F(t)＝[F0(t),...,FN(t)]表示t时刻边缘服务器为各个用户端分配的计算资源；
A表示有限的动作集合At＝{a(t),y(t),f(t)}；式中：a(t)＝[a1(t),...,aN(t)]表示用来决策t时刻N个用户端的所有任务在用户端本地执行还是卸载到边缘服务器执行；y(t)＝[y11(t),...,y1M(t),...,yN1(t),...,yNM(t)]表示N个用户端通过M个信道中的某一个信道传输数据至边缘服务器；f(t)＝[f1(t),...,fN(t)]表示边缘服务器为每个用户端分配的计算资源；
P表示执行动作集合A的动作后从当前状态转化为另一个状态的概率；
R表示执行动作后的奖励函数，执行动作At后计算得到对应的R(st,at)＝μk；
在计算奖励函数后，会更新为下一个状态st+1，随着在时序中进行计算卸载和资源分配，状态更新为st+1＝{d(t+1),c(t+1),τ(t+1),R(t+1),F(t+1)}。
在本发明中，采用深度强化学习DDPG算法和马尔可夫决策过程生成调度分配方案的方式，能够有效的适应端-边-云网络架构场景的高度动态变化，能够保证最优调度分配方案的任务处理效率并降低端-边-云网络架构场景的整体能耗，从而能够进一步提升端-边-云网络架构场景的运行效果。
需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。同时，实施例中公知的具体结构及特性等常识在此未作过多描述。最后，本发明要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (6)

1.基于深度强化学习的卸载调度与资源分配方法，其特征在于，包括以下步骤：
S1：获取设定时段内所有用户端的所有任务及其对应的信道增益；
S2：将所有任务的相关信息输入设置的调度分配模型中；所述调度分配模型根据任务的相关信息、用户端和边缘服务器的计算资源以及对应的信道增益，通过深度强化学习法生成用以完成卸载调度和资源分配的调度分配方案，并计算调度分配方案的总时延和总能量消耗作为总效能；
S3：以调度分配方案的总效能最小为目标不断优化所述调度分配模型的模型参数以得到最优的调度分配方案；通过最优的调度分配方案进行任务的卸载调度，并为任务分配对应的计算资源；
其中，步骤S2中，通过如下公式计算总效能：
Figure FDA0003525365480000011
式中：U表示设定时段T内执行所有任务的总效能；T表示设定时段；μk表示执行在k时刻到来的所有任务执行的总效能；
Figure FDA0003525365480000012
式中：μk表示执行在k时刻到来的所有任务执行的总效能；
Figure FDA0003525365480000013
表示用户端i在k时刻到来的任务
Figure FDA0003525365480000014
在本地执行的计算能耗；
Figure FDA0003525365480000015
表示用户端i在k时刻到来的任务
Figure FDA0003525365480000016
卸载在边缘服务器执行的计算能耗；
Figure FDA0003525365480000017
表示用户端i在k时刻到来的任务
Figure FDA0003525365480000018
是否卸载的决策向量，
Figure FDA0003525365480000019
表示在本地执行，
Figure FDA00035253654800000110
表示卸载在边缘服务器执行；Ti k,s表示用户端i在k时刻到来的任务
Figure FDA00035253654800000111
卸载在边缘服务器执行所花费的时间；Ti k,l表示用户端i在k时刻到来的任务
Figure FDA00035253654800000112
在本地执行所花费的时间；βT和βE均表示超参数，且满足0≤βT≤1，0≤βE≤1，βT+βE＝1；
通过如下公式表示调度分配方案的最终完成时刻：
Tfinish＝maxk∈Tmaxi∈N{FTi k,l,FTi k,s}；式中：Tfinish表示设定时段T内所有任务的最终完成时刻；N表示用户端的总数量；FTi k,l表示用户端i在k时刻到来的任务
Figure FDA00035253654800000113
在本地执行的计算完成时刻；FTi k,s表示用户端i在k时刻到来的任务
Figure FDA00035253654800000114
卸载在边缘服务器执行的计算完成时刻；
单个任务的完成时间通过如下公式表示：
Figure FDA00035253654800000115
式中：
Figure FDA00035253654800000116
表示用户端i在k时刻到来的任务
Figure FDA00035253654800000117
的完成时间；FTi k,l表示用户端i在k时刻到来的任务
Figure FDA00035253654800000118
在本地执行的计算完成时刻；FTi k,s表示用户端i在k时刻到来的任务
Figure FDA0003525365480000021
卸载在边缘服务器执行的计算完成时刻；
Figure FDA0003525365480000022
表示用户端i在k时刻到来的任务
Figure FDA0003525365480000023
是否卸载的决策向量，
Figure FDA0003525365480000024
表示在本地执行，
Figure FDA0003525365480000025
表示卸载在边缘服务器执行；
FTi k,l＝STi k,l+Ti k,l；式中：FTi k,l表示用户端i在k时刻到来的任务
Figure FDA0003525365480000026
在本地执行的计算完成时刻；STi k,l表示用户端i在k时刻到来的任务
Figure FDA0003525365480000027
在本地执行的执行开始时刻；Ti k,l表示用户端i在k时刻到来的任务
Figure FDA0003525365480000028
在本地执行的执行时间；
STi k,l＝FTi k-1,l；式中：STi k,l表示用户端i在k时刻到来的任务
Figure FDA0003525365480000029
在本地执行的执行开始时刻；FTi k-1,l表示用户端i在k-1时刻到来的任务
Figure FDA00035253654800000210
在本地执行完成时间；
Figure FDA00035253654800000211
式中：Ti k,l表示用户端i在k时刻到来的任务
Figure FDA00035253654800000212
在本地执行所花费的时间；
Figure FDA00035253654800000213
表示用户端i在k时刻到来的任务
Figure FDA00035253654800000214
的计算所需CPU周期数；fi l表示用户端i的计算资源；
FTi k,s＝STi k,s+Ti k,s；式中：FTi k,s表示用户端i在k时刻到来的任务
Figure FDA00035253654800000215
卸载在边缘服务器执行的计算完成时刻；STi k,s表示用户端i在k时刻到来的任务
Figure FDA00035253654800000216
卸载在边缘服务器执行的执行开始时刻；Ti k,s表示用户端i在k时刻到来的任务
Figure FDA00035253654800000217
卸载在边缘服务器执行所花费的时间；
RTi k＝max{FTi k-1,l,FTi k-1,ul}；式中：RTi k表示用户端i在k时刻到来的任务
Figure FDA00035253654800000218
的就绪时间；FTi k-1,l,FTi k-1,ul分别表示用户端i在k-1时刻到来的任务
Figure FDA00035253654800000219
在本地执行的完成时间和卸载至边缘服务器的结束时间；
STi k,s＝RTi k+Ti k,ul＝FTi k-1,s+Ti k,ul；式中：STi k,s表示用户端i在k时刻到来的任务
Figure FDA00035253654800000220
卸载在边缘服务器执行的执行开始时刻；RTi k表示用户端i在k时刻到来的任务
Figure FDA00035253654800000221
的就绪时间；FTi k-1,s表示用户端i在k-1时刻到来的任务
Figure FDA00035253654800000222
在边缘服务器执行的计算完成时间；Ti k,ul表示用户端i在k时刻到来的任务
Figure FDA00035253654800000223
的任务数据上传到边缘服务器的结束时间；
Figure FDA00035253654800000224
式中：Ti k,s表示用户端i在k时刻到来的任务
Figure FDA00035253654800000225
卸载在边缘服务器执行所花费的时间；
Figure FDA00035253654800000226
表示用户端i在k时刻到来的任务
Figure FDA00035253654800000227
的任务数据；
Figure FDA00035253654800000228
表示用户端i在k时刻到来的任务
Figure FDA00035253654800000229
的计算所需CPU周期数；
Figure FDA00035253654800000230
表示信道的数据传输速率；fi k,s表示边缘服务器分配给任务
Figure FDA00035253654800000231
的计算资源。
2.如权利要求1所述的基于深度强化学习的卸载调度与资源分配方法，其特征在于：步骤S2中，所述任务的相关信息包括任务数据、计算所需CPU周期数和用户最大容忍时间。
3.如权利要求2所述的基于深度强化学习的卸载调度与资源分配方法，其特征在于，步骤S2中，生成的调度分配方案满足以下条件：
单个任务的总时延小于或等于该任务的用户最大容忍时间；
单个任务的传输信噪比小于设置的信道阈值；
卸载至边缘服务器执行的所有任务分配的计算资源总和小于或等于边缘服务器的计算资源。
4.如权利要求3所述的基于深度强化学习的卸载调度与资源分配方法，其特征在于，任务的传输信噪比通过如下公式表示：
Figure FDA0003525365480000031
式中：
Figure FDA0003525365480000032
表示用户端i在k时刻到来的任务
Figure FDA0003525365480000033
的传输信噪比；Pi表示信道的传输功率；Wi表示信道的传输带宽；Kk表示k时刻在所有用户端N中决策为卸载的用户端总数；
Figure FDA0003525365480000034
表示用户端i在k时刻到来的任务
Figure FDA0003525365480000035
的信道增益；N0表示信道的高斯白噪声方差。
5.如权利要求1所述的基于深度强化学习的卸载调度与资源分配方法，其特征在于：
Figure FDA0003525365480000036
式中：
Figure FDA0003525365480000037
表示用户端i在k时刻到来的任务
Figure FDA0003525365480000038
在本地执行的计算能耗；ξ与用户端的结构有关取ξ＝10-27；
Figure FDA0003525365480000039
表示用户端i在k时刻到来的任务
Figure FDA00035253654800000310
的计算所需CPU周期数；fi l表示用户端i的计算资源；
Figure FDA00035253654800000311
式中：
Figure FDA00035253654800000312
表示用户端i在k时刻到来的任务
Figure FDA00035253654800000313
卸载在边缘服务器执行的计算能耗；
Figure FDA00035253654800000314
表示用户端i在k时刻到来的任务
Figure FDA00035253654800000315
卸载在边缘服务器执行时上传数据消耗的能量；
Figure FDA00035253654800000316
表示用户端i在k时刻到来的任务
Figure FDA00035253654800000317
卸载在边缘服务器执行的计算能耗；
Figure FDA00035253654800000318
式中：
Figure FDA00035253654800000319
表示用户端i在k时刻到来的任务
Figure FDA00035253654800000320
卸载至边缘服务器时数据传输消耗的能量；pi表示用户端的传输功率；
Figure FDA00035253654800000321
表示用户端i在k时刻的所有用户端i在k时刻到来的任务
Figure FDA00035253654800000322
的任务数据；
Figure FDA00035253654800000323
表示信道的数据传输速率；
Figure FDA00035253654800000324
式中：
Figure FDA00035253654800000325
表示用户端i在k时刻到来的任务
Figure FDA00035253654800000326
卸载在边缘服务器执行的计算能耗；
Figure FDA00035253654800000327
表示完成用户端i在k时刻到来的任务
Figure FDA00035253654800000328
的计算所需CPU周期数；e0表示边缘服务器单位计算资源消耗的能量；
Figure FDA0003525365480000041
式中：
Figure FDA0003525365480000042
表示信道的数据传输速率；Wi表示信道的传输带宽；Kk表示k时刻在所有用户端N中决策为卸载的用户端总数；
Figure FDA0003525365480000043
表示用户端i在k时刻到来的任务
Figure FDA0003525365480000044
的传输信噪比。
6.如权利要求1所述的基于深度强化学习的卸载调度与资源分配方法，其特征在于：步骤S2中，计算生成调度分配方案时，通过马尔可夫决策过程表示任务的卸载过程；
将马尔可夫决策过程看做四元组Mp＝<S,A,P,R>；
S表示有限的状态集合St＝{d(t),c(t),τ(t),R(t),F(t)}；式中：d(t)＝[d1(t),...,dN(t)]表示t时刻N个用户端的计算密集型任务大小；c(t)＝[c1(t),...,cN(t)]表示t时刻完成任务所需的计算资源；R(t)＝{[R11(t),...,RN1(t)],...,[R1M(t),...,RNM(t)]}表示t时刻N个用户端从M个信道中选择一个信道进行数据传输；τ(t)＝[τ1(t),...,τN(t)]表示t时刻的任务N个用户端的用户最大容忍时间；F(t)＝[F0(t),...,FN(t)]表示t时刻边缘服务器为各个用户端分配的计算资源；
A表示有限的动作集合At＝{a(t),y(t),f(t)}；式中：a(t)＝[a1(t),...,aN(t)]表示用来决策t时刻N个用户端的所有任务在用户端本地执行还是卸载到边缘服务器执行；y(t)＝[y11(t),...,y1M(t),...,yN1(t),...,yNM(t)]表示N个用户端通过M个信道中的某一个信道传输数据至边缘服务器；f(t)＝[f1(t),...,fN(t)]表示边缘服务器为每个用户端分配的计算资源；
P表示执行动作集合A的动作后从当前状态转化为另一个状态的概率；
R表示执行动作后的奖励函数，执行动作At后计算得到对应的R(st,at)＝μk；
在计算奖励函数后，会更新为下一个状态st+1，随着在时序中进行计算卸载和资源分配，状态更新为st+1＝{d(t+1),c(t+1),τ(t+1),R(t+1),F(t+1)}。
CN202110719899.2A 2021-06-28 2021-06-28 基于深度强化学习的卸载调度与资源分配方法 Expired - Fee Related CN113452625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110719899.2A CN113452625B (zh) 2021-06-28 2021-06-28 基于深度强化学习的卸载调度与资源分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110719899.2A CN113452625B (zh) 2021-06-28 2021-06-28 基于深度强化学习的卸载调度与资源分配方法

Publications (2)

Publication Number Publication Date
CN113452625A CN113452625A (zh) 2021-09-28
CN113452625B true CN113452625B (zh) 2022-04-15

Family

ID=77813349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110719899.2A Expired - Fee Related CN113452625B (zh) 2021-06-28 2021-06-28 基于深度强化学习的卸载调度与资源分配方法

Country Status (1)

Country Link
CN (1) CN113452625B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115396955A (zh) * 2022-08-24 2022-11-25 广西电网有限责任公司 一种基于深度强化学习算法的资源分配方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814951A (zh) * 2019-01-22 2019-05-28 南京邮电大学 移动边缘计算网络中任务卸载及资源分配的联合优化方法
CN109951897A (zh) * 2019-03-08 2019-06-28 东华大学 一种能耗与延迟约束下的mec卸载方法
CN110557769A (zh) * 2019-09-12 2019-12-10 南京邮电大学 基于深度强化学习的c-ran计算卸载和资源分配方法
CN110798849A (zh) * 2019-10-10 2020-02-14 西北工业大学 一种超密网边缘计算的计算资源分配与任务卸载方法
CN111245651A (zh) * 2020-01-08 2020-06-05 上海交通大学 一种基于功率控制和资源分配的任务卸载方法
WO2020119648A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 一种基于代价优化的计算任务卸载算法
CN111372314A (zh) * 2020-03-12 2020-07-03 湖南大学 基于移动边缘计算场景下的任务卸载方法及任务卸载装置
CN111405569A (zh) * 2020-03-19 2020-07-10 三峡大学 基于深度强化学习的计算卸载和资源分配方法及装置
CN111405568A (zh) * 2020-03-19 2020-07-10 三峡大学 基于q学习的计算卸载和资源分配方法及装置
CN111414252A (zh) * 2020-03-18 2020-07-14 重庆邮电大学 一种基于深度强化学习的任务卸载方法
AU2021101292A4 (en) * 2021-03-12 2021-05-06 A., Daniel DR An novel method for empowering edge computing for source allocation based learning for industrial iot

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110099384B (zh) * 2019-04-25 2022-07-29 南京邮电大学 基于边-端协同的多用户多mec任务卸载资源调度方法
CN111240701B (zh) * 2019-12-31 2023-07-25 重庆大学 一种端-边-云协同计算的任务卸载优化方法
CN111447619B (zh) * 2020-03-12 2022-05-20 重庆邮电大学 一种移动边缘计算网络中联合任务卸载和资源分配方法
CN111918245B (zh) * 2020-07-07 2021-11-19 西安交通大学 基于多智能体的车速感知的计算任务卸载和资源分配方法
CN112860350B (zh) * 2021-03-15 2022-06-03 广西师范大学 一种边缘计算中基于任务缓存的计算卸载方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020119648A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 一种基于代价优化的计算任务卸载算法
CN109814951A (zh) * 2019-01-22 2019-05-28 南京邮电大学 移动边缘计算网络中任务卸载及资源分配的联合优化方法
CN109951897A (zh) * 2019-03-08 2019-06-28 东华大学 一种能耗与延迟约束下的mec卸载方法
CN110557769A (zh) * 2019-09-12 2019-12-10 南京邮电大学 基于深度强化学习的c-ran计算卸载和资源分配方法
CN110798849A (zh) * 2019-10-10 2020-02-14 西北工业大学 一种超密网边缘计算的计算资源分配与任务卸载方法
CN111245651A (zh) * 2020-01-08 2020-06-05 上海交通大学 一种基于功率控制和资源分配的任务卸载方法
CN111372314A (zh) * 2020-03-12 2020-07-03 湖南大学 基于移动边缘计算场景下的任务卸载方法及任务卸载装置
CN111414252A (zh) * 2020-03-18 2020-07-14 重庆邮电大学 一种基于深度强化学习的任务卸载方法
CN111405569A (zh) * 2020-03-19 2020-07-10 三峡大学 基于深度强化学习的计算卸载和资源分配方法及装置
CN111405568A (zh) * 2020-03-19 2020-07-10 三峡大学 基于q学习的计算卸载和资源分配方法及装置
AU2021101292A4 (en) * 2021-03-12 2021-05-06 A., Daniel DR An novel method for empowering edge computing for source allocation based learning for industrial iot

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A new task offloading algorithm in edge computing;Zhang et al. J Wireless Com Network;《https://doi.org/10.1186/s13638-021-01895-6》;20210125;1-21 *
Deep Learning Empowered Task Offloading for Mobile Edge Computing in Urban Informatics;Ke Zhang，Yongxu Zhu，Yejun He;《IEEE》;20161031;7635-7647 *
User-Edge Collaborative Resource Allocation and Offloading Strategy in Edge Computing;Zhenquan Qin , Xueyan Qiu, Jin Ye et.al;《https://doi.org/10.1155/2020/8867157》;20200612;1-12 *
边缘计算的物联网深度学习及任务卸载调度策略;苟英，李冀明，魏星;《计算机应用于软件》;20190831;125-129 *

Also Published As

Publication number Publication date
CN113452625A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN113950066B (zh) 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN111278132B (zh) 移动边缘计算中面向低时延高可靠业务的资源分配方法
CN110971706B (zh) Mec中近似最优化与基于强化学习的任务卸载方法
Chen et al. Efficiency and fairness oriented dynamic task offloading in internet of vehicles
CN111405569A (zh) 基于深度强化学习的计算卸载和资源分配方法及装置
CN114340016B (zh) 一种电网边缘计算卸载分配方法及系统
CN111711666B (zh) 一种基于强化学习的车联网云计算资源优化方法
CN111093203A (zh) 一种基于环境感知的服务功能链低成本智能部署方法
CN114205353B (zh) 一种基于混合动作空间强化学习算法的计算卸载方法
CN116541106B (zh) 计算任务卸载方法、计算设备及存储介质
CN114285853A (zh) 设备密集型工业物联网中基于端边云协同的任务卸载方法
CN113573363A (zh) 基于深度强化学习的mec计算卸载与资源分配方法
CN114885422A (zh) 一种超密集网络中基于混合接入方式的动态边缘计算卸载方法
Zhang et al. Effect: Energy-efficient fog computing framework for real-time video processing
CN116233927A (zh) 一种在移动边缘计算中负载感知的计算卸载节能优化方法
CN113703984A (zh) 5g云边协同场景下基于soa架构的云任务优化策略方法
Hu et al. Dynamic task offloading in MEC-enabled IoT networks: A hybrid DDPG-D3QN approach
CN113452625B (zh) 基于深度强化学习的卸载调度与资源分配方法
CN114172558B (zh) 一种车辆网络中基于边缘计算和无人机集群协同的任务卸载方法
CN116366576A (zh) 算力网络资源调度方法、装置、设备及介质
CN114968402A (zh) 边缘计算任务处理方法、装置及电子设备
KR102385087B1 (ko) 퍼지 기반 meo에서의 지연 최소화 방법 및 이를 이용하는 시스템
CN117436485A (zh) 基于权衡时延和精度的多退出点的端-边-云协同系统及方法
CN115065683B (zh) 基于车辆聚类的车辆边缘网络任务分配卸载方法
Chidume et al. Intelligent user-collaborative edge device APC-based MEC 5G IoT for computational offloading and resource allocation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220415