CN113747504A - 多接入边缘计算联合任务卸载和资源分配的方法及系统 - Google Patents

多接入边缘计算联合任务卸载和资源分配的方法及系统 Download PDF

Info

Publication number
CN113747504A
CN113747504A CN202110863448.6A CN202110863448A CN113747504A CN 113747504 A CN113747504 A CN 113747504A CN 202110863448 A CN202110863448 A CN 202110863448A CN 113747504 A CN113747504 A CN 113747504A
Authority
CN
China
Prior art keywords
task
tnq
internet
execution
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110863448.6A
Other languages
English (en)
Inventor
翟临博
马淑月
宋书典
杨峰
赵景梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202110863448.6A priority Critical patent/CN113747504A/zh
Publication of CN113747504A publication Critical patent/CN113747504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0908—Management thereof based on time, e.g. for a critical period only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44594—Unloading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0917—Management thereof based on the energy state of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0925—Management thereof using policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0958—Management thereof based on metrics or performance parameters
    • H04W28/0967—Quality of Service [QoS] parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/52—Allocation or scheduling criteria for wireless resources based on load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/56—Allocation or scheduling criteria for wireless resources based on priority criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于移动通信技术领域，提供了一种多接入边缘计算联合任务卸载和资源分配的方法及系统。该方法包括，根据组成各个应用的任务的规定最晚完成时间和实际执行过程中的允许最晚完成时间，确定任务执行的优先级；针对当前应用环境确定强化学习的三要素：状态、动作和奖励；基于物联网设备、边缘服务器和远程服务器的资源状态，要执行的任务状态和优先队列状态，采用DQN网络，结合物联网设备、边缘服务器和远程服务器的资源情况以及物联网设备产生应用的实时信息，得到当前状态下各种动作与每种动作对应的奖励，直到DQN网络收敛，得到最优的任务执行和资源分配策略。

Description

多接入边缘计算联合任务卸载和资源分配的方法及系统
技术领域
本发明属于移动通信领域，尤其涉及一种多接入边缘计算联合任务卸载和资源分配的方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着5G网络的兴起，诸如工业4.0，虚拟/增强现实，自动驾驶等服务快速发展，移动数据流量正在经历着爆炸式增长。而这类计算密集型应用通常具有低延迟、高能耗的特点。由于物联网设备在存储和计算上的特点，很难满足这些应用的要求或根本无法运行复杂的程序。因此物联网设备必须将应用数据上传至远程服务器进行进一步的存储和处理，虽然远程服务器的计算资源是无限的，但通过公共互联网到达云可能会导致网络拥塞，也很难满足计算密集型应用低延迟的要求。所以说，不管是物联网设备还是远程云服务器都不能满足发展的需要。
多接入边缘计算(MEC)实现了有效的计算卸载并提供了一种应对不断增长的计算需求的有效方法。MEC通过在物联网设备附近部署边缘服务器提供云计算能力。通常，边缘服务器位于核心网或无线接入点(RAP)的汇聚点，从而保证低延迟应用的要求。这样，物联网设备产生的大量的延迟敏感型应用(如智慧城市、电子健康和无人驾驶等)可以将大量的感知数据卸载到边缘服务器上进行进一步的处理和存储。与云计算相比，MEC不仅可以减小延迟，而且能提供更好的物联网设备体验。
现有的关于多接入边缘计算的研究大多是针对独立任务的研究，而在现实场景中，一个应用往往由多个相互依赖的任务组成，任务执行优先级和在哪执行都会影响任务执行的性能，进而影响整个应用的执行情况。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种多接入边缘计算联合任务卸载和资源分配的方法及系统，其通过研究在MEC系统中多物联网设备多依赖任务的卸载，优化目标，并在满足不同物联网设备偏好的情况下使任务的执行时延和能耗的长期加权总和最小化。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种多接入边缘计算联合任务卸载和资源分配的方法。
多接入边缘计算联合任务卸载和资源分配的方法，包括：
根据组成各个应用的任务的规定最晚完成时间和实际执行过程中的允许最晚完成时间，确定任务执行的优先级；
针对当前应用环境确定强化学习的三要素：状态、动作和奖励；
基于物联网设备、边缘服务器和远程服务器的资源状态，要执行的任务状态和优先队列状态，采用DQN网络，结合物联网设备、边缘服务器和远程服务器的资源情况以及物联网设备产生应用的实时信息，得到当前状态下各种动作与每种动作对应的奖励，直到DQN网络收敛，得到最优的任务执行和资源分配策略。
进一步的，假设任务Xtnq的初始规定完成时间是SCTtnq，随着其前任任务的执行，任务Xtnq的最新可接受完成时间ACTtnq和开始时间ASTtnq；定义STStnq是任务Xtnq的后继任务集合，ACTtni为任务Xtni∈STStnq的最新可接受完成时间，ETxtni为任务Xtni在设备x上的执行时间；如果Xtnw为应用Xtn的最后一个任务时，ACTtnw等于SCTtnw，完成时间约束；
对于任务Xtnq从它的下一个任务Xtni反向计算其最新的可接受完成时间，即
Figure BDA0003186533720000031
因此，任务Xtnq的最新可接受开始时间为
Figure BDA0003186533720000032
根据公式(1)和(2)得到所有任务的最新可接受开始时间，基于所有任务的最新可接受开始时间，得到任务执行的优先级。
进一步的，所述状态要素包括：状态空间、任务的状态信息、设备的状态信息和队列的状态信息；所述状态空间包括：任务、设备及队列三个部分的信息；所述任务的状态信息包括：任务的预处理前的大小、输入数据大小、计算复杂度、输出数据大小、最大可容忍延迟及最新可接受完成时间，所述设备的状态信息包括：本地设备、边缘服务器及远程服务器的计算资源分配，队列的状态信息包括：优先级队列的信息。
进一步的，所述动作要素包括：
AC1：对于决策时期k任务的选取，遵循以下规则：首先，从没有执行的任务中挑选优先级最高的任务，该任务属于哪个物联网设备的哪个应用；其次，判断该任务是否有未执行的前任任务；如果有，跳过该任务，并按同样的方法判断优先级次之的任务，直至找到可执行的任务或将所有任务查看完毕；否则，执行该任务，并将SAk qs中对应该任务的元素置为0，SAk qs是一个N*Q*T*1的行向量，N是物联网设备的数量，Q是每个物联网每个时隙产生应用包含的任务数，T是时间。
AC2：包括一个动作，当动作AC1挑选出要执行的任务Xtnq时，需要决定任务Xtnq在哪个设备上执行；另一个动作，指定该设备将分配给该任务多少计算资源；将执行决策和计算资源分配的可能取值组合起来得到AC2。
进一步的，所述奖励要素包括：agent在状态s∈SAk执行动作a∈AC后，将获得奖励r(s,a)并进入下一状态s’，奖励函数与优化目标一致。
进一步的，所述优化目标是通过配置调整物联网设备的CPU频率、边缘服务器及远程服务器上的计算资源分配做出最优卸载决策，以使物联网设备的执行时延和能耗的总成本最小。
进一步的，所述DQN网络包括：输入层、两层隐含层和输出层，输入层具有(6*nt*m×nc)个神经元，其中nt表示总的任务数量；第一个隐藏层大小为128个神经元，第二个隐藏层大小为64个神经元，输出层为与总动作空间大小相同的神经元的全连接层。
具体的，在每次决策时，agent采用ε贪婪算法做出决策。即选择随机动作和贪婪动作的概率分别为ε和1-ε，其中εmin<ε<1。且在DQN中采用经验回放机制，即用一个容量大小为NM的replay memory来存储经历过的数据(s,a,r(s,a),s’)，每次更新参数的时候从replaymemory中抽取minibath的数据来用于更新，以此来打破数据间的关联。在本发明中，为保持同一应用任务之间的依赖关系，从replay memory中随机抽取minibath个物联网设备用于更新。由于状态s的每一部分都有不同的取值范围，如计算资源被视为一个单通道图像，对于其中的每个计算单元criτ,ic,k的取值范围为(10,40)，而任务的计算复杂度取值范围为(1,3)。因此在状态s输入之前，先对各部分做归一化处理方法为：
Figure BDA0003186533720000051
其中，Max和min分别是该样本数据的最大值和最小值。X是当前需要更改的值，X*是更改后的值。归一化后，状态s的所有取值位于(0,1)之间。将状态s所有部分按行重新排列成一维列向量。然后将其发送到DQN的输入层，输入层具有(6*nt*m×nc)个神经元，其中nt表示总的任务数量。接着通过2个隐藏层。第一个隐藏层大小为128个神经元，第二个隐藏层大小为64个神经元。最后通过一个与具有总动作空间|AC|大小相同的神经元的全连接层作为输出层，并且每个神经元的输出都对应于a∈AC的动作价值函数。
本发明的第二个方面提供一种多接入边缘计算联合任务卸载和资源分配的系统。
多接入边缘计算联合任务卸载和资源分配的系统，包括：
优先级排列模块，其被配置为：根据组成各个应用的任务的规定最晚完成时间和实际执行过程中的允许最晚完成时间，确定任务执行的优先级；
要素确定模块，其被配置为：针对当前应用环境确定强化学习的三要素：状态、动作和奖励；
最优决策获得模块，其被配置为：基于物联网设备、边缘服务器和远程服务器的资源状态，要执行的任务状态和优先队列状态，采用DQN网络，结合物联网设备、边缘服务器和远程服务器的资源情况以及物联网设备产生应用的实时信息，得到当前状态下各种动作与每种动作对应的奖励，直到DQN网络收敛，得到最优的任务执行和资源分配策略。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的多接入边缘计算联合任务卸载和资源分配的方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的多接入边缘计算联合任务卸载和资源分配的方法中的步骤。
与现有技术相比，本发明的有益效果是：
以往对于MEC场景下的任务卸载大多只考虑独立任务单目标的研究，很难符合实际的任务卸载情况且得到的效果并不明显。本发明研究了在MEC中多物联网设备多应用的卸载，同时最小化任务的执行时延和能耗的长期加权总和，设计了最小化物联网设备长期的任务执行时延和能耗加权总和的效果函数。利用了一种新兴的深度Q网络的技术来解决该问题，很好的权衡了任务执行时延和能量消耗之间的关系，满足了物联网设备的QoS需求，且复杂度低，适用性好。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明多接入边缘计算联合任务卸载和资源分配的方法的流程图；
图2是本发明的多接入边缘计算场景示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
实施例一
如图1所示，本实施例提供了一种多接入边缘计算联合任务卸载和资源分配的方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：
根据组成各个应用的任务的规定最晚完成时间和实际执行过程中的允许最晚完成时间，确定任务执行的优先级；
针对当前应用环境确定强化学习的三要素：状态、动作和奖励；
基于物联网设备、边缘服务器和远程服务器的资源状态，要执行的任务状态和优先队列状态，采用DQN网络，结合物联网设备、边缘服务器和远程服务器的资源情况以及物联网设备产生应用的实时信息，得到当前状态下各种动作与每种动作对应的奖励，直到DQN网络收敛，得到最优的任务执行和资源分配策略。
具体的，如图2所示：本发明考虑的多接入边缘计算系统包括若干个物联网设备、若干个边缘服务器和一个远程云服务器。物联网设备可以选择任务在物联网设备本地执行或将任务上传至边缘服务器或远程服务器来执行。注意：每个服务器的服务范围是有限的，每个任务都只能选择它范围内的边缘服务器作为接入点，在该接入点上执行或由该接入点上传至远程服务器执行。
图1为本发明所述方法的流程图。包括如下步骤：
Step1：系统初始化，获取物联网设备、边缘服务器和远程服务器的资源情况，以及物联网设备产生应用的实时信息，具体如下：
物联网设备和边缘服务器的计算和存储资源都是有限的且物联网设备只能将任务卸载到可选的边缘服务器上，我们定义物联网设备n可选的边缘服务器集合为M(n)。远程服务器的计算和存储资源远远超过边缘服务器。我们将时间T划分为多个时隙t∈T＝{1，2，……，T}，每个时隙的持续时间都等于τ。每个物联网设备不断产生各种各样的应用。应用生成被认为λ＝{0,1}，其中λ＝1表示有一个应用生成，否则，在这个时隙没有任务生成。同一物联网设备的任务存在依赖关系，即任务的前绪任务完成之后才能开始执行。不同物联网设备的任务相互独立。在每个物联网设备中，一些任务可以在本地设备执行，而另一些任务在同一时期可以通过无线电传输到边缘服务器执行或由边缘服务器上传到远程服务器执行。关于物联网设备产生应用的实时信息，对于物联网设备n在时隙t产生的应用的第q个任务可表示为Xtnq＝{Ltnq p，Ltnq in，Btnq，Ltnq out，Dtnq}。这里，Ltnq p是任务预处理前的大小，Ltnq in表示任务Xtnq的输入数据大小，即任务Xtnq卸载计算时需要从物联网设备n传输到边缘服务器的工作量，包括输入参数，程序代码等。Btnq表示任务Xtnq的计算复杂度，即执行任务Xtnq所需的计算资源。假设任务无论是在物联网设备本地执行还是卸载到边缘服务器或远程服务器执行，Btnq保持不变。Ltnq out表示任务Xtnq的输出数据大小，即任务Xtnq从边缘服务器或远程服务器执行完成后，从边缘服务器或远程服务器返回物联网设备n的工作量。Dtnq表示任务Xtnq的最大可容忍延迟，即任务Xtnq的执行延时不能超过Dtnq，这将是本实施例研究问题的重要约束之一。本实施例假设任务是不可分割的，即每个任务只能在一个设备上执行。
Step2：根据组成各个应用的任务的规定最晚完成时间和实际执行过程中的允许最晚完成时间，确定任务执行的优先级。具体过程如下：
我们假设任务Xtnq的初始规定完成时间是SCTtnq，随着其前任任务的执行，可得任务Xtnq的最新可接受完成时间ACTtnq和开始时间ASTtnq。任务最新可接受开始时间越小，说明该任务越紧急，需要更早的被执行，优先级也就越高。定义STStnq是任务Xtnq的后继任务集合，ACTtni为任务Xtni∈STStnq的最新可接受完成时间，ETxtni为任务Xtni在设备x上的执行时间。如果Xtnw为应用Xtn(物联网设备n在时隙t产生的应用)的最后一个任务时，ACTtnw等于SCTtnw，即完成时间约束。对于任务Xtnq我们可以从它的下一个任务Xtni反向计算其最新的可接受完成时间，即
Figure BDA0003186533720000101
因此，任务Xtnq的最新可接受开始时间为
Figure BDA0003186533720000102
根据公式(1)和(2)，我们可以得到所有任务的最新可接受开始时间，然后按任务优先级顺序将所有任务放置在优先队列中。
Step3：确定强化学习的三要素：状态、动作和奖励函数。关于本实施例强化学习的状态要素定义如下：
在我们的工作中，状态空间的定义包括任务、设备及队列三个部分的信息。任务的状态信息由任务的预处理前的大小、输入数据大小、计算复杂度、输出数据大小、最大可容忍延迟及最新可接受完成时间组成。设备的状态信息由本地设备、边缘服务器及远程服务器的计算资源分配组成。队列的状态信息是优先队列的信息。决策点k处的状态空间SAk可表示为：
Figure BDA0003186533720000111
其中，m表示设备的数量，eqk m表示在第k个决策时期第m个设备的计算资源情况。SAk es表示所有设备的计算资源分配状态，SAk ts为要处理的任务状态信息，SAk qs为优先级队列信息。SAk的每个部分详述如下。
计算资源分配SAk es是一个m×nc的矩阵，nc是所有设备中的最大资源数。SAk es的每一行表示一个设备的计算资源。SAk es定义的每个元素都表示一个决策时期的计算单位，是资源分配的最小单位。对于某计算单元criτ,ic,k，表示在决策时期k第iτ个设备的第ic个计算资源的分配状态，其中iτ∈{1，2，…，m}，ic∈{1，2，…，nc}。
计算单元criτ,ic,k的可能取值为{-1，0，1}中的一个，分别表示3种不同的状态，如下所示：
·不可用(criτ,ic,k＝-1)：对于每个设备并不是所有的计算资源的都用来处理任务，还需要预留一部分供自身使用。criτ,ic,k＝-1表示该计算资源为预留资源不能分配给任何任务使用。
·可用(criτ,ic,k＝0)：表示该计算单元为分配给任务执行的计算资源，且没有分配给任务。
·分配(criτ,ic,k＝1)：表示该计算单元为分配给任务执行的计算资源，但已经分配给任务，在决策时期k是不可用的。
最初，设备分配给任务的计算资源都处于可用状态。当有任务开始执行时，某设备按需将计算资源分配给该任务。分配后，对于分配的计算单元的状态将由0变为1。
SAk ts为在决策时期k要处理的任务状态信息，包括该任务预处理前的大小、输入数据大小、计算复杂度、输出数据大小、最大可容忍延迟及最新可接受完成时间。SAk qs为决策时期k的队列信息。其大小等于权利要求书3排序后的优先队列大小，因此SAk qs是一个N*Q*T*1的行向量。N是物联网设备的数量，Q是每个物联网每个时隙产生应用包含的任务数，T是时间。SAk qs中的每个元素与优先队列中的每个任务一一对应。初始时将SAk qs中的每个元素都被置于1，当优先队列中有任务被分配时，则将SAk qs中该任务对应的元素置于0。
关于本实施例强化学习的动作要素定义如下：
动作AC由以下2个部分组成：
·AC1：指定如何调度优先队列中的任务。对于决策时期k任务的选取，我们遵循以下规则：首先，从没有执行的任务中挑选优先级最高的任务，同时我们可以知道该任务属于哪个物联网设备的哪个应用。其次，我们判断该任务是否有未执行的前任任务。如果有，我们将跳过该任务，并按同样的方法判断优先级次之的任务，直至找到可执行的任务或将所有任务查看完毕；否则，执行该任务，并将SAk qs中对应该任务的元素置为0。
·AC2：动作AC2由2个部分组成。一个是当动作AC1挑选出要执行的任务Xtnq时，需要决定任务Xtnq在哪个设备上执行，即执行决策{1,2,…,m}。另一个动作是指定该设备将分配给该任务多少计算资源，即计算资源分配{1,2,…,nc}。将执行决策和计算资源分配的一些可能取值组合起来即可得到AC2＝{1,2,…,m，1,2,…,nc}。
动作AC2可以进一步记为：
Figure BDA0003186533720000131
其中，对于动作a∈AC2，我们用元组表示。(iτ,ic,it)表示将iτ个设备的第ic个计算资源从当前时刻开始持续it时间分配给任务Xtnq。换句话说，(iτ,ic,it)也就是在SAk es中找到可用的计算资源来放置任务Xtnq。但是，由于任务最大可容忍延迟等的限制，并不是AC2中所有动作都是有效的。因此对于任务Xtnq，只有一部分动作是有效的。为减小动作空间的大小，我们在进行学习之前，先过滤掉无效的动作。对于任务Xtnq，如果Ttnq p+Ttnq l＞Dtnq，则任务Xtnq在本地设备上执行是无效的。且分配的计算资源应该大于
Figure BDA0003186533720000132
关于本实施例强化学习的奖励要素定义如下：
对于每个步骤，agent在状态s∈SAk执行动作a∈AC后，将获得奖励r(s,a)并进入下一状态s’。在我们的工作中，将奖励函数设计成和优化目标一致。实施例的优化目标是通过共同优化每个物联网设备n的计算卸载决策、物联网设备的CPU频率和边缘服务器的计算资源，找到一种最优的任务执行策略，以使长期的执行时延和能耗的总成本最小。通过在每个决策时期将目标函数解耦成小块，奖励r(s,a)定义为：
Figure BDA0003186533720000133
由于在短期内在状态s执行动作a获得的奖励越大，则该决策越好，即DQN的目标函数是获得最大奖励，因此奖励值应该与目标函数成负相关。
根据公式(5)，我们可以进一步获得回报。回报定义为长期内每个决策时期获得的累计奖励和。决策时期k的回报R(k)定义为：
Figure BDA0003186533720000141
其中，0<γ≤1是折扣因子，当γ趋于0的时候表示当前时刻的回报值是主要因素，受未来的影响小，当γ趋于1的时候表示未来时刻的回报值的影响变大，和当前时刻的回报值同等重要。s(k)，a(k)分别表示在第k个决策时期的状态和动作。因此最大化期望回报E[(R(k)]等同于优化目标函数。
本实施例的优化目标具体如下：
在本实施例中，将我们研究多依赖任务卸载模型规划成一个混合整数非线性规划问题。通过共同优化每个物联网设备n的计算卸载决策xtnq z、物联网设备的CPU频率，边缘服务器和远程服务器的计算资源，我们的优化目标是找到一种最优的任务执行策略，以使物联网设备的执行时延和能耗的总成本最小。优化问题表述为：
Figure BDA0003186533720000142
其中，二进制变量xtnq z表示在时隙t物联网设备n产生的应用的任务q的计算卸载决策。在决策变量xtnq z中z的取值为集合{1，2，3}中的一个，z＝1表示任务在本地设备上执行，z＝2表示任务卸载到边缘服务器上执行，z＝3表示任务由边缘服务器卸载到远程服务器执行。约束C1确保在任意时隙t，分配给卸载到边缘服务器j的所有任务的总带宽不能超过边缘云j的总带宽Wjmax；约束C2确保无论选择哪种计算方式，任务的执行延迟不超过任务的最大可容忍的延迟；约束C3和C4分别是物联网设备的CPU频率和边缘服务器的计算资源约束。
本实施例在提出优化目标时，考虑了任务预处理和后续任务执行两个部分。关于任务预处理具体如下：
在真实世界中，为降低存储、传输、计算等的资源，任务执行之前通常需要进行预处理(如压缩)。但任务预处理需要消耗物联网设备的信息处理资源，因此，任务预处理的时间成本和能耗成本主要取决于物联网设备的CPU频率。定义在任务Xtnq预处理的时延和能耗分别是Ttnq p和Etnq p。物联网设备的计算能力为ftn∈Ftn，(i.e.,CPU周期每秒)且Ftn＝{ftn 1,...,ftn max}，因此，任务Xtnq预处理的时延可以定义为：
Figure BDA0003186533720000151
物联网设备n在时隙t预处理的功耗可以分成两部分，Ptnq p＝Pleak+Ptnq dynamic。其中，Pleak是独立的，与CPU的频率没有关系，我们将它定义为一个常数ε；Ptnq dynamic与Vtn 2ftn成正比，指的是在ftn逻辑门切换所消耗的功率，其中Vtn是在时隙t物联网设备n的CPU供电电压。由于DVFS为节省能耗的目的，更高ftn的由更大的Vtn提供，且Vtn∝(α1ftn+α2)；α1，α2≥0。因此，任务Xtnq预处理的能耗可以定义为：
Figure BDA0003186533720000152
根据(8)和(9)，可得任务预处理的成本为：
Figure BDA0003186533720000161
其中，Itnq 1和Itnq 2分别表示任务Xtnq的执行时延和能耗的权重系数，满足0≤Itnq 1≤1，0≤Itnq 2≤1，且每个任务的权重系数可能不同。
本实施例关于后续任务执行的过程具体如下：
任务预处理后可以继续在物联网设备上执行任务，也可以将任务卸载到边缘服务器或远程服务器上执行。任务执行时延和物联网设备能耗是边缘计算网络中物联网设备考虑的两个关键问题，它们取决于采用的任务卸载决策和计算资源分配。因此，下面介绍了3种执行策略下的任务执行时延和物联网设备能耗。
1)本地计算模型
如果任务Xtnq选择在物联网设备本地执行，则仅包括任务Xtnq的执行时延Ttnq l，定义为：
Figure BDA0003186533720000162
由于任务Xtnq只有在它的所有前任任务完成之后才能执行它，即任务Xtnq在本地设备的就绪时间为：
Figure BDA0003186533720000163
其中，preXtnq表示任务Xtnq的前任任务集合；FTtni l、FTtni e和FTtni c分别表示任务Xtni的本地计算完成时间，边缘服务器执行完成时间和远程服务器执行完成时间。注意任务在边缘或远程服务器执行时，只有当任务执行结果返回本地设备后才称一个任务执行完成。如果任务Xtni本地执行，则RTtnq l≥FTtni l，因为任务Xtnq只有当任务Xtni执行完成后才能执行。如果任务Xtnq卸载到边缘服务器或远程服务器计算，则RTtnq l≥FTtni e或FTtni c，因为任务Xtnq必须等待直到任务Xtni的执行结果本地可得。
因此，任务Xtnq本地计算的完成时间为
Figure BDA0003186533720000171
任务Xtnq的本地计算的能量消耗为
Figure BDA0003186533720000172
其中vtn表示每个CPU周期的能耗。我们设计vtn＝10-27(ftn)2。
根据(11)、(12)、(13)、(14)可得任务本地计算的总成本为：
Figure BDA0003186533720000173
2)边缘计算模型
如果任务Xtnq选择卸载到边缘服务器执行，则包括任务Xtnq通过无线信道传输到边缘云服务器的时间Ttnq eu，任务Xtnq在边缘云服务器上的执行时间Ttnq e，任务Xtnq的执行结果返回物联网设备的时间Ttnq ed。
只有当任务Xtnq的前序任务已经完成且结果已经传回本地设备时才能将任务Xtnq卸载到边缘服务器。因此，任务Xtnq的就绪时间为：
Figure BDA0003186533720000174
当本地设备n到边缘服务器的信道可用时，才可以将任务Xtnq发送到边缘服务器，则任务Xtnq的可发送时间为：
Figure BDA0003186533720000175
其中，AVnj表示物联网设备n到边缘服务器j的信道可用时间，且j∈M(n)。
在本实施例中，我们使用TCP作为传输层协议用于任务传输，则传输延迟与物联网设备的CPU频率有关。这是因为TCP需要大量的CPU容量来避免重传请求，传输拥挤等。如果CPU频率过低，则CPU容量可能不足以处理TCP任务，从而降低TCP的吞吐量。此外，任务Xtnq的无线传输速率Rtnq还是任务Xtnq从它接入的边缘服务器j获得的带宽Wtnqj的函数。因此，Rtnq是Wtnqj和物联网设备CPU频率ftn的函数，即Rtnq(Wtnqj,ftn)。在实施例中，我们定义
Figure BDA0003186533720000181
其中，rtn max(Wtnqj)是网络吞吐量，仅与带宽有关；rtn *(ftn)表示物联网设备的CPU频率对TCP传输的影响。
则任务Xtnq从本地设备发送到边缘服务器的时间为：
Figure BDA0003186533720000182
传输能耗为：
Figure BDA0003186533720000183
其中，Ptnq u是任务Xtnq的平均传输功率。
定义ftnq j(j≠0)为边缘服务器j为任务q分配的计算资源(即每秒CPU周期)，则任务Xtnq在边缘云服务器j的执行时间为：
Figure BDA0003186533720000184
注：定义Fj是边缘云服务器j分配给任务处理的全部资源，我们假设在每个时隙，每个边缘服务器预留给任务处理的资源是相同的。那么如果任务Xtnq在时隙t在边缘服务器j上处理，那么需满足在时隙t在边缘服务器j执行任务的总计算资源不能超过Fj，即：
Figure BDA0003186533720000185
当任务在本地设备等待发送和任务在边缘服务器执行时，我们假设物联网设备保持空闲，定义物联网设备空闲时间的功率为Ptnq bs，相应的能量消耗为：
Figure BDA0003186533720000191
任务Xtnq在边缘服务器执行完成后，返回物联网设备的传输时间可以表示为：
Figure BDA0003186533720000192
其中，Rtnq d为本地物联网设备n的数据下载速率。由于任务的结果大小远远小于任务大小且下载的数据速率很高，所以在本实施例中该部分物联网设备的能量消耗忽略了。
因此，任务Xtnq在边缘服务器上执行完成并返回本地设备的时间为：
Figure BDA0003186533720000193
相应的能量消耗为：
Figure BDA0003186533720000194
根据以上分析，可得物联网设备边缘计算模型的成本为：
Figure BDA0003186533720000195
2)远程服务器计算模型
如果任务Xtnq选择卸载到远程服务器执行，则任务Xtnq先由本地设备卸载到一个邻近的边缘服务器，再由该边缘服务器卸载到远程服务器。任务Xtnq在远程服务器执行后，执行结果在经边缘服务器传回本地设备，任务Xtnq完成。我们假设Ve,c是边缘服务器和远程服务器之间的传输速率，ftnq c是远程服务器的计算能力。因此该过程包括任务Xtnq由本地设备卸载到边缘服务器的时间Ttnq cu＝Lin tnq/Rtnq(Wtnqj,ftn)，任务Xtnq由边缘服务器经电缆传输到远程服务器的时间Ttnq cu’＝Lin tnq/Ve,c，任务Xtnq在远程服务器上的执行时间Ttnq c＝Btnq/ftnq c。任务Xtnq的执行结果由远程服务器传回边缘云服务器的时间Ttnq cd＝Ltnq out/Ve,c，再由边缘云服务器传回本地设备的时间Ttnq cd’＝Ltnq out/Rtnq d。
其中，任务Xtnq在本地设备的最早就绪时间、任务Xtnq的最早可由物联网设备发往边缘服务器的时间与第二种计算模型相同，即RTtnq cl＝RTtnq el；RTtnq cs＝RTtnq es。
任务Xtnq最早到达边缘服务器的时间是：
Figure BDA0003186533720000201
任务Xtnq由边缘服务器发送到远程服务器C的最早可发送时间为：
Figure BDA0003186533720000202
其中，AVec表示由边缘服务器到远程服务器C的信道最早可用时间。
因此，任务Xtnq在远程服务器上执行完成并返回本地设备的时间为：
Figure BDA0003186533720000203
能量消耗包括任务传输时本地设备的传输能量消耗和其他部分本地设备空闲时的能量消耗。同样的，由于任务的结果大小远远小于任务大小且下载的数据速率很高，所以在最后部分物联网设备的能量消耗我们也忽略了。因此能量消耗可定义为：
Figure BDA0003186533720000204
根据以上分析，可得物联网设备远程计算模型的成本为：
Figure BDA0003186533720000205
Step4：将物联网设备、边缘服务器和远程服务器的资源状态，要执行的任务状态和优先队列状态作为DQN的输入，通过DQN网络选择下一个要执行的任务并获得相应的奖励。具体如下：
在每次决策时，agent采用ε贪婪算法做出决策。即选择随机动作和贪婪动作的概率分别为ε和1-ε，其中εmin<ε<1。且在DQN中采用经验回放机制，即用一个容量大小为NM的replay memory来存储经历过的数据(s,a,r(s,a),s’)，每次更新参数的时候从replaymemory中抽取minibath的数据来用于更新，以此来打破数据间的关联。在实施例中，为保持同一应用任务之间的依赖关系，我们从replay memory中随机抽取minibath个物联网设备用于更新。由于状态s的每一部分都有不同的取值范围，如计算资源被视为一个单通道图像，对于其中的每个计算单元criτ,ic,k的取值范围为(10,40)，而任务的计算复杂度取值范围为(1,3)。因此在状态s输入之前，先对各部分做归一化处理方法为：
Figure BDA0003186533720000211
其中，Max和min分别是该样本数据的最大值和最小值。X是当前需要更改的值，X*是更改后的值。归一化后，状态s的所有取值位于(0,1)之间。将状态s所有部分按行重新排列成一维列向量。然后将其发送到DQN的输入层，输入层具有(6*nt*m×nc)个神经元，其中nt表示总的任务数量。接着通过2个隐藏层。第一个隐藏层大小为128个神经元，第二个隐藏层大小为64个神经元。最后通过一个与具有总动作空间|AC|大小相同的神经元的全连接层作为输出层，并且每个神经元的输出都对应于a∈AC的动作价值函数。
实施例二
本实施例提供了一种多接入边缘计算联合任务卸载和资源分配的系统。
多接入边缘计算联合任务卸载和资源分配的系统，包括：
优先级排列模块，其被配置为：根据组成各个应用的任务的规定最晚完成时间和实际执行过程中的允许最晚完成时间，确定任务执行的优先级；
要素确定模块，其被配置为：针对当前应用环境确定强化学习的三要素：状态、动作和奖励；
最优决策获得模块，其被配置为：基于物联网设备、边缘服务器和远程服务器的资源状态，要执行的任务状态和优先队列状态，采用DQN网络，结合物联网设备、边缘服务器和远程服务器的资源情况以及物联网设备产生应用的实时信息，得到当前状态下各种动作与每种动作对应的奖励，直到DQN网络收敛，得到最优的任务执行和资源分配策略。
此处需要说明的是，上述优先级排列模块、要素确定模块和最优决策获得模块与实施例一所述步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的多接入边缘计算联合任务卸载和资源分配的方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的多接入边缘计算联合任务卸载和资源分配的方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.多接入边缘计算联合任务卸载和资源分配的方法，其特征在于，包括：
根据组成各个应用的任务的规定最晚完成时间和实际执行过程中的允许最晚完成时间，确定任务执行的优先级；
针对当前应用环境确定强化学习的三要素：状态、动作和奖励；
基于物联网设备、边缘服务器和远程服务器的资源状态，要执行的任务状态和优先队列状态，采用DQN网络，结合物联网设备、边缘服务器和远程服务器的资源情况以及物联网设备产生应用的实时信息，得到当前状态下各种动作与每种动作对应的奖励，直到DQN网络收敛，得到最优的任务执行和资源分配策略。
2.根据权利要求1所述的多接入边缘计算联合任务卸载和资源分配的方法，其特征在于，假设任务Xtnq的初始规定完成时间是SCTtnq，随着其前任任务的执行，任务Xtnq的最新可接受完成时间ACTtnq和开始时间ASTtnq；定义STStnq是任务Xtnq的后继任务集合，ACTtni为任务Xtni∈STStnq的最新可接受完成时间，ETxtni为任务Xtni在设备x上的执行时间；如果Xtnw为应用Xtn的最后一个任务时，ACTtnw等于SCTtnw，完成时间约束；
对于任务Xtnq从它的下一个任务Xtni反向计算其最新的可接受完成时间，即
Figure FDA0003186533710000011
因此，任务Xtnq的最新可接受开始时间为
Figure FDA0003186533710000012
根据公式(1)和(2)得到所有任务的最新可接受开始时间，基于所有任务的最新可接受开始时间，得到任务执行的优先级。
3.根据权利要求1所述的多接入边缘计算联合任务卸载和资源分配的方法，其特征在于，所述状态要素包括：状态空间、任务的状态信息、设备的状态信息和队列的状态信息；所述状态空间包括：任务、设备及队列三个部分的信息；所述任务的状态信息包括：任务的预处理前的大小、输入数据大小、计算复杂度、输出数据大小、最大可容忍延迟及最新可接受完成时间，所述设备的状态信息包括：本地设备、边缘服务器及远程服务器的计算资源分配，队列的状态信息包括：优先级队列的信息。
4.根据权利要求1所述的多接入边缘计算联合任务卸载和资源分配的方法，其特征在于，所述动作要素包括：
AC1：对于决策时期k任务的选取，遵循以下规则：首先，从没有执行的任务中挑选优先级最高的任务，该任务属于哪个物联网设备的哪个应用；其次，判断该任务是否有未执行的前任任务；如果有，跳过该任务，并按同样的方法判断优先级次之的任务，直至找到可执行的任务或将所有任务查看完毕；否则，执行该任务，并将SAk qs中对应该任务的元素置为0，SAk qs是一个N*Q*T*1的行向量，N是物联网设备的数量，Q是每个物联网每个时隙产生应用包含的任务数，T是时间。
AC2：包括一个动作，当动作AC1挑选出要执行的任务Xtnq时，需要决定任务Xtnq在哪个设备上执行；另一个动作，指定该设备将分配给该任务多少计算资源；将执行决策和计算资源分配的可能取值组合起来得到AC2。
5.根据权利要求1所述的多接入边缘计算联合任务卸载和资源分配的方法，其特征在于，所述奖励要素包括：agent在状态s∈SAk执行动作a∈AC后，将获得奖励r(s,a)并进入下一状态s’，奖励函数与优化目标一致。
6.根据权利要求5所述的多接入边缘计算联合任务卸载和资源分配的方法，其特征在于，所述优化目标是通过配置调整物联网设备的CPU频率、边缘服务器及远程服务器上的计算资源分配做出最优卸载决策，以使物联网设备的执行时延和能耗的总成本最小。
7.根据权利要求5所述的多接入边缘计算联合任务卸载和资源分配的方法，其特征在于，所述DQN网络包括：输入层、两层隐含层和输出层，输入层具有(6*nt*m×nc)个神经元，其中nt表示总的任务数量；第一个隐藏层大小为128个神经元，第二个隐藏层大小为64个神经元，输出层为与总动作空间大小相同的神经元的全连接层。
8.多接入边缘计算联合任务卸载和资源分配的系统，其特征在于，包括：
优先级排列模块，其被配置为：根据组成各个应用的任务的规定最晚完成时间和实际执行过程中的允许最晚完成时间，确定任务执行的优先级；
要素确定模块，其被配置为：针对当前应用环境确定强化学习的三要素：状态、动作和奖励；
最优决策获得模块，其被配置为：基于物联网设备、边缘服务器和远程服务器的资源状态，要执行的任务状态和优先队列状态，采用DQN网络，结合物联网设备、边缘服务器和远程服务器的资源情况以及物联网设备产生应用的实时信息，得到当前状态下各种动作与每种动作对应的奖励，直到DQN网络收敛，得到最优的任务执行和资源分配策略。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的多接入边缘计算联合任务卸载和资源分配的方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的多接入边缘计算联合任务卸载和资源分配的方法中的步骤。
CN202110863448.6A 2021-07-29 2021-07-29 多接入边缘计算联合任务卸载和资源分配的方法及系统 Pending CN113747504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110863448.6A CN113747504A (zh) 2021-07-29 2021-07-29 多接入边缘计算联合任务卸载和资源分配的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110863448.6A CN113747504A (zh) 2021-07-29 2021-07-29 多接入边缘计算联合任务卸载和资源分配的方法及系统

Publications (1)

Publication Number Publication Date
CN113747504A true CN113747504A (zh) 2021-12-03

Family

ID=78729381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110863448.6A Pending CN113747504A (zh) 2021-07-29 2021-07-29 多接入边缘计算联合任务卸载和资源分配的方法及系统

Country Status (1)

Country Link
CN (1) CN113747504A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174584A (zh) * 2022-06-30 2022-10-11 北京信息科技大学 边云协同计算管理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110312231A (zh) * 2019-06-28 2019-10-08 重庆邮电大学 一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法
CN110798849A (zh) * 2019-10-10 2020-02-14 西北工业大学 一种超密网边缘计算的计算资源分配与任务卸载方法
CN111556461A (zh) * 2020-04-29 2020-08-18 南京邮电大学 一种基于深度q网络的车载边缘网络任务分发卸载方法
CN112860337A (zh) * 2021-01-28 2021-05-28 山东师范大学 在多接入边缘计算中卸载依赖任务的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110312231A (zh) * 2019-06-28 2019-10-08 重庆邮电大学 一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法
CN110798849A (zh) * 2019-10-10 2020-02-14 西北工业大学 一种超密网边缘计算的计算资源分配与任务卸载方法
CN111556461A (zh) * 2020-04-29 2020-08-18 南京邮电大学 一种基于深度q网络的车载边缘网络任务分发卸载方法
CN112860337A (zh) * 2021-01-28 2021-05-28 山东师范大学 在多接入边缘计算中卸载依赖任务的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵海涛等: "基于 DQN 的车载边缘网络任务分发卸载算法", 《通信学报》, vol. 41, no. 10, pages 172 - 178 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174584A (zh) * 2022-06-30 2022-10-11 北京信息科技大学 边云协同计算管理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Qu et al. DMRO: A deep meta reinforcement learning-based task offloading framework for edge-cloud computing
CN111756812B (zh) 一种能耗感知的边云协同动态卸载调度方法
Zhang et al. A new task offloading algorithm in edge computing
Li et al. Energy-aware task offloading with deadline constraint in mobile edge computing
Liao et al. Dependency-aware application assigning and scheduling in edge computing
CN110069341B (zh) 边缘计算中结合功能按需配置的有依赖关系任务的调度方法
CN112667400B (zh) 边缘自治中心管控的边云资源调度方法、装置及系统
CN116069512B (zh) 一种基于强化学习的Serverless高效资源分配方法及系统
CN113867843B (zh) 一种基于深度强化学习的移动边缘计算任务卸载方法
CN114928607B (zh) 面向多边接入边缘计算的协同任务卸载方法
Mostafavi et al. A stochastic approximation approach for foresighted task scheduling in cloud computing
CN113573363A (zh) 基于深度强化学习的mec计算卸载与资源分配方法
Agarwal et al. Multiprocessor task scheduling using multi-objective hybrid genetic Algorithm in Fog–cloud computing
Ding et al. Graph convolutional reinforcement learning for dependent task allocation in edge computing
Huang et al. 6G-empowered offloading for realtime applications in multi-access edge computing
Chen et al. Joint optimization of task offloading and resource allocation via deep reinforcement learning for augmented reality in mobile edge network
Lorido-Botran et al. ImpalaE: Towards an optimal policy for efficient resource management at the edge
Su et al. Joint DNN partition and resource allocation optimization for energy-constrained hierarchical edge-cloud systems
CN113747504A (zh) 多接入边缘计算联合任务卸载和资源分配的方法及系统
CN113946423A (zh) 基于图注意力网络的多任务边缘计算调度优化方法
Fu et al. Distributed reinforcement learning-based memory allocation for edge-PLCs in industrial IoT
CN116996941A (zh) 基于配网云边端协同的算力卸载方法、装置及系统
Huang et al. Learning-aided fine grained offloading for real-time applications in edge-cloud computing
Li et al. Efficient data offloading using markovian decision on state reward action in edge computing
Kumaran et al. An efficient task offloading and resource allocation using dynamic arithmetic optimized double deep Q-network in cloud edge platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination