CN113946423B - 基于图注意力网络的多任务边缘计算调度优化方法 - Google Patents
基于图注意力网络的多任务边缘计算调度优化方法 Download PDFInfo
- Publication number
- CN113946423B CN113946423B CN202111211526.0A CN202111211526A CN113946423B CN 113946423 B CN113946423 B CN 113946423B CN 202111211526 A CN202111211526 A CN 202111211526A CN 113946423 B CN113946423 B CN 113946423B
- Authority
- CN
- China
- Prior art keywords
- task
- time
- representing
- edge server
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 239000003795 chemical substances by application Substances 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 55
- 230000005540 biological transmission Effects 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 28
- 238000005265 energy consumption Methods 0.000 claims description 26
- 230000009471 action Effects 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000005457 optimization Methods 0.000 claims description 11
- 230000007774 longterm Effects 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 239000002355 dual-layer Substances 0.000 abstract 1
- 239000010410 layer Substances 0.000 abstract 1
- 230000002787 reinforcement Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000001934 delay Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- KDYFGRWQOYBRFD-UHFFFAOYSA-N succinic acid Chemical compound OC(=O)CCC(O)=O KDYFGRWQOYBRFD-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5094—Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种基于图注意力网络的多任务边缘计算调度优化方法，包括如下步骤：构建基于演员‑评论家模型的MEC系统通信模型，包括边缘服务器、用户设备和云端，边缘服务器为智能体；每个决策时间t，调度智能体利用图注意力网络获取用户设备所生成应用程序的任务状态利用多层感知器获取MEC系统状态SN；通过双层嵌入将任务状态和MEC系统状态SN组成状态嵌入向量输入演员‑评论家模型，利用演员‑评论家模型进行训练获取最佳调度策略。本发明可以降低所有用户的平均ETC，提升网络服务质量和用户体验。
Description
技术领域
本发明属于计算机网络技术领域，具体涉及一种基于图注意力网络的多任 务边缘计算调度优化方法。
背景技术
无线通信和物联网技术的快速发展推动了虚拟现实、自动驾驶、人脸识别 等需要高性能的服务和应用的出现。虽然智能设备的计算能力近年来有了质的 飞跃，但是由于电池容量、CPU计算能力等资源限制，仍然无法支持结构复杂、 计算量大的应用程序执行。移动云计算(Mobile Cloud Computing，MCC)可以 具有巨大的计算资源，但是将移动设备的应用数据调度到云端会给整个网络带 来巨大的传输压力和显著的传输延迟。为了解决这个问题，可以使用多接入边 缘计算(Multi-access Edge Computing，MEC)以在减轻客户端压力的同时减少任 务传输造成的通信消耗。与MCC技术相比，MEC可以快速高效地为用户提供 计算服务，缓解核心网的计算压力。
发明内容
针对边缘计算中用户任务的延迟和能耗问题，本发明提出了一种基于图注 意力网络的多任务边缘计算调度优化方法，是一种基于图注意力网络和深度强 化学习的方法制定多边缘服务器多用户场景下具有依赖关系的任务调度策略。
为解决以上技术问题，本发明所采用的技术方案如下：
一种基于图注意力网络的多任务边缘计算调度优化方法，包括如下步骤：
S1，构建基于演员-评论家模型的MEC系统通信模型，所述MEC系统通信 模型包括边缘服务器、用户设备和云端，且边缘服务器为智能体；
S2，每个决策时间t，调度智能体利用图注意力神经网络获取用户设备所生 成应用程序的任务状态利用多层感知器获取MEC系统状态SN；
S3，通过双层嵌入将任务状态和MEC系统状态SN组成状态嵌入向量输 入演员-评论家模型中，利用演员-评论家模型进行训练获取最佳调度策略。
在步骤S2中，所述调度智能体利用图注意力网络获取用户设备所生成应用 程序的任务状态包括以下步骤：
I，将每个用户设备的应用程序建模为一个有向无环图；
II，获取MEC环境和应用程序的每个任务的特征，构建多头注意力机制， 将特征输入图注意力网络得到任务状态
所述获取MEC环境和应用程序的每个任务的特征，将特征输入图注意力网 络得到任务状态包括如下步骤：
a，根据MEC环境特征和任务特征利用转换矩阵构建MEC环境嵌入空间和 任务嵌入空间；
b，基于自注意力机制的深度神经网络构建自注意力机制函数；
c，通过对输入特征加权获取自注意力机制下的特征状态输出；
d，利用多头注意力机制获取最终特征状态输出，也即任务状态
所述演员-评论家模型包括一个演员网络和一个评论家网络，步骤S3包括：
S3.1，在每个决策时间t，将状态嵌入向量输入演员网络得到动作At；
S3.2，将决策时间t时的状态St和动作At输入评论家网络得到长期奖励长期奖励选择最佳动作。
所述长期奖励的计算公式为：
式中，T表示决策步的长度，γi′-t表示在i′-t时刻的系统奖励折扣率，ri′ 表示在决策时间i′时的立即奖励；
决策时间t时的立即奖励rt的计算公式为：
式中，表示用户设备n在决策时间t时的时延能耗加权和，表 示用户设备n在决策时间t+1时的时延能耗加权和，N′表示用户设备的总数。
所述时延能耗加权和的计算公式为：
式中，wt与we分别为时延和能耗相关权重系数，表示任务的任务结 束节点vn，I+1所对应的任务结束时间，表示任务的任务开始节点vn，0所对应 的任务开始时间，E表示任务处理过程中的总能耗。
当任务vn，i在本地执行时，任务vn，i在本地的完成时间的计算公式为：
式中，表示任务vn，i在本地的实际执行时间，表示任务vn，i在本地开 始处理的开始时间；
所述任务vn，i在本地的实际执行时间的计算公式为：
式中，Cn，i表示任务vn，i的计算负载，表示用户设备的CPU速率。
所述任务vn，i在本地开始处理的开始时间的计算公式为：
式中，表示任务vn，j在本地的完成时间，表示任务vn，j在边缘服务器 s上的完成时间，表示任务vn，j在云端c上的完成时间，定示用户设备 n中正在执行的任务的最小完成时间，pred(vn，i)表示任务vn，i的前继任务的集合。
当任务vn，i调度到边缘服务器s执行时，任务vn，i在目标边缘服务器s′的完成 时间的计算公式为：
式中，表示任务vn，i在目标边缘服务器s′的开始时间，表示任务vn，i在目标边缘服务器s′上的执行时间；
所述任务vn，i的执行时间的计算公式为：
式中，表示目标边缘服务器s′的CPU频率，Cn，i表示任务vn，i的计算负载；
所述任务vn，i在目标边缘服务器s′的开始时间的计算公式为：
式中，ρs表示边缘服务器s当前CPU核心中任务的最早完成时间，表 示任务vn，j在本地的完成时间，表示任务vn，j在边缘服务器s上的完成时间， 表示任务vn，j在云端c上的完成时间，表示任务vn，i发送到边缘服务器s 的无线传输时间，表示从边缘服务器s到目标边缘服务器s′的有线传输时间 pred(vn，i)表示任务vn，i的前继任务的集合。
当任务vn，i在云端执行时，任务vn，i在云端处理的完成时间的计算公式 为：
式中，表示用户设备n的任务vn，i在云端处理时的开始时间，表示用 户设备n的任务vn，i在云端处理时的执行时间；
所述用户设备n的任务vn，i在云端处理时的执行时间的计算公式为：
式中，fc表示云端每个CPU核心的计算频率，Cn，i表示任务vn，i的计算负载；
所述用户设备n的任务vn，i在云端处理时的开始时间的计算公式为：
式中，表示任务vn，i从边缘服务器s传输到云端执行时的远端传输时间， 表示任务vn，j在本地的完成时间，表示任务vn，j在边缘服务器s上的完成 时间，表示任务vn，j在云端c上的完成时间，pred(vn，i)表示任务vn，i的前继 任务的集合，表示任务vn，i发送到边缘服务器s的无线传输时间。
本发明的有益效果：
本发明提出了演员-评论家(Actor-Critic，AC)的边缘计算框架，也称为ACED， 使用图注意力网络来有效的通过依赖传递节点信息，更好地提取任务的深度特 征以进行决策。通过联合考虑任务之间的依赖关系和无线传输之间的干扰来获 得具有端边云协同机制的多用户多边缘服务器场景下的近似最优计算调度策略 以最小化用户的延迟和能耗的加权和，可以有效地平衡具有有向无环图结构的 用户任务的延迟和能耗。
在时间、能耗和能量时间消耗(ETC)三项指标方面，本发明与主要的边缘 计算调度算法如Random算法、Greedy算法、OLNA算法、CFOA算法和EFOA 算法进行对比，不仅验证了MEC系统通信模型的可行性，也验证了其有效性。 一方面可以降低所有用户的平均ETC，从而提升网络服务质量和用户体验，另 一方面，使用端边云协同的边缘计算调度架构可以将巩固用户设备的计算能力， 而且还可以缓解核心网络压力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为MEC系统通信模型的示意图；
图2为应用程序的结构示意图；
图3为基于DRL的边缘计算调度框架示意图。
图4为基于GAT的任务嵌入过程示意图。
图5为演员-评论家(Actor-Critic，AC)模型示意图。
图6为本发明与其它算法的性能对比一图。
图7为本发明与其它算法的性能对比二图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
边缘计算调度：物联网设备的爆炸式增长和需求的不断提高产生了海量数 据，并随着5G的发展，数据量将持续增加。信息爆炸为云计算带来了生机，但 是将数据从用户设备传输到云中心的延迟就会很高，并且也产生了大量无价值 信息的存储，不仅占用了大量带宽，也浪费了大量的存储空间。边缘计算是在 靠近数据产生源头的MEC服务器以下称边缘服务器提供服务，通过端边云协同， 将有价值的数据处理放在了边缘，避免了将大量冗余数据传输给云中心，节省 了传输成本。MEC服务器可以为端用户提供计算和存储等能力以运行用户应用 程序，减少与核心网的数据交换、能耗和网络延迟。因此，它可以减少延迟并 实现实时数据处理和分析。在5G时代，人们对服务质量提出了更高的要求，有 大量计算资源需求的计算密集型应用程序需要在短时间内完成。边缘服务器可 以提供大量的计算资源并与用户交互以增强用户体验。但是，将任务调度到MEC 服务器也会导致额外的通信延迟，从而导致性能损失。因此，有必要通过联合 考虑系统中的延迟和能耗来制定调度策略。
图神经网络：图神经网络是一种基于图结构的神经网络方法。图神经网络 近年来在图表示学习中得到了广泛的应用。不同于传统的神经网络提取欧式空 间的特征，图神经网络可以保留图的拓扑结构和节点的内容信息，通过依赖关 系来传递节点信息，以在一个低维空间中生成节点表示。图神经网络包括图注 意力网络(Graph Attention Network，GAT)、图自动编码器、图卷积神经网络、 图生成网络和图时空网络五个类别。
深度强化学习：深度强化学习(Deep Reinforcement Learning，DRL)是将深 度学习和强化学习结合的方法。深度强化学习是一种用于做决策学习的算法， 其中深度学习可以通过多层神经网络对函数进行估计和近似，强化学习用于适 合做决策。深度强化学习的几个元素包括智能体、环境、状态、动作和奖励。 其中智能体是深度强化学习的本体，是学习者和决策者；环境是除了智能体外 的一切；状态是表示环境的数据；动作是智能体做出的动作；奖励是智能体在 某个状态时执行一个动作后获得的正/负奖励信号。深度强化学习本质上是智能 体在与环境交互过程中，学习到最佳决策序列，整体目标就是通过学习到的一 系列动作来最大化累积的奖励。
一种基于图注意力神经网络的多任务边缘计算调度优化方法，包括如下步 骤：
S1，构建基于演员-评论家模型的MEC系统通信模型，如图1所示，所述 模型包括边缘服务器、用户设备和云端，其中，边缘服务器为智能体；
所述边缘服务器是拥有异构资源的边缘服务器，边缘服务器是指安装在无 线接入站(Wireless Access Station，WAS)上的具有足够计算能力的设备，它具 有固定的存储和计算能力，所有边缘服务器均配备ρs个CPU核心，每个CPU核 心只能同时服务一个任务。所有用户设备都安装个CPU核心，每个CPU核心 只能在每个时刻服务一个任务，且用户设备所生成的应用程序处理时也即任务 使用端边云协同机制调度到云端、边缘服务器或本地设备执行，一组移动用户 设备也即位于同一地理区域内的用户设备，它们连接到同一个无线接入站，边 缘服务器之间通过有线传输将任务转移到其它无线接入站或云端。用户设备集 N＝{1，2，...，n，...，N′}，边缘服务器集S＝{1，2，...，s，...，S′}。
S2，如图3所示，每个决策时间t，调度智能体利用图注意力神经网络获取 用户设备所生成应用程序的任务状态利用多层感知器获取MEC系统状态 SN；
所述利用图注意力神经网络获取用户设备所生成应用程序的任务状态包括如下步骤：
I，如图2所示，将每个用户设备的应用程序建模为一个有向无环图(DirectedAcyclic Graph，DAG)，有向无环图中应用程序的一个组件的输出是另一个组件 的输入；
所述有向无环图也即表示为 表示用户设备n的应用程序 的任务的集合 表示用户设备n的应用程序中任务之间 的依赖关系其中，I表示每个用户设 备的应用程序被划分的任务的数量，表示用户设备n所生成的应用程序的 任务vn，j需要在任务vn，i完成后才能开始，任务vn，i的计算负载表示为Cn，i，任务vn，i的任务数据如程序代码，输入参数等的大小表示为Pn，i。此外，添加两个虚拟节 点vn，0和vn，I+1作为任务开始和任务结束，且Cn，0＝Cn，I+1＝0，Cn，0表示任务开始 vn，0的计算负载，Cn，I+1表示任务结束vn，I+1的计算负载。
II，获取MEC环境和应用程序的每个任务的特征，构建多头注意力机制， 将特征输入图注意力网络得到任务状态
首先获取MEC环境特征Z∈{M∪K∪C}，其中，M，K，C分别为移动设 备、边缘服务器以及云端的数量，z表示第z个移动设备、边缘服务器或者云端。 定义转换矩阵Q，从而得到MEC环境嵌入空间wz表示如下：
获取任务vn，i特征进而得到用户设备n的应用程序的特征 定义任务特征转换矩阵H，构建任务嵌入空间wj表示如下：
构建自注意力机制函数：
αzj＝σ([wz，wj]，O)；
式中，σ是基于自注意力机制的深度神经网络，O是根据任务依赖关系εn得到的任务执行路径。
为了表示嵌入空间的结构信息，利用softmax函数对上述自注意力机制进行 标准化表示：
式中，表示任务执行路径O的注意力，η(·)是LeakyReLU函数，[·||·] 是函数串联操作，是任务i的邻居表示集合。进而，通过对输入特征的加权， 可得到特征状态输出表示为：
式中，表示特征输出状态的函数。
同时，进一步利用多头注意力机制(multi-head attention mechanism)来保持学习算法的稳定性，得到最终特征状态输出也即任务状态表示为：
式中，U表示任务执行路径的数量集合。
所述利用多层感知器获取当前MEC系统状态SN包括如下步骤：
i，利用深度强化学习方法获取边缘服务器状态和用户设备状态；
所述边缘服务器状态包括边缘服务器的CPU频率边缘服务器直接服务 的用户、带宽、任务等待队列Qwait、信道条件Is；所述用户设备状态包括用户设 备的CPU频率用户设备与直接相连的边缘服务器的距离dn、在本地执行任 务时的预估执行时间twait。
ii，将边缘服务器状态和用户设备状态输入多层感知器获取当前MEC系统 状态SN；
S3，通过双层嵌入将任务状态和MEC系统状态SN组成状态嵌入向量输 入演员-评论家模型中，利用演员-评论家模型进行训练获取最佳调度策略；
所述状态嵌入向量为 表示MEC系统的状态嵌入，表示用户设备n的任务vn，i的任务嵌入，所述任务嵌入的表达式为：
式中，succ(vn，i)表示用户设备n的任务vn，i的后继任务节点。
如图4所示，嵌入的工作流程：如果想要得到任务vn，0的任务嵌入，首先将 任务vn，4的信息传递给任务vn，2和任务vn，3，然后将任务vn，2和任务vn，3的信息传递 给任务vn，1，得到任务vn，1的嵌入向量。最后，任务vn，0得到任务vn，1的信息再整 合自身数据之后得到任务vn，0的最终嵌入向量
如图5所示，所述演员-评论家模型包括一个评论家网络和一个演员网络， 步骤S3包括如下步骤：
S3.1，在每个决策时间t，将状态嵌入向量输入演员网络得到动作At；
所述动作At的表达式为At＝0，1，2，...，|S′|+1，当At＝0时表示当前任务要在 本地即用户设备执行，At＝|S′|+1时表示当前任务调度到云端执行，其余的动 作表示当前任务调度到对应的边缘服务器执行。
S3.2，将决策时间t时的状态St和动作At输入演员网络得到长期奖励根 据长期奖励选择最佳动作；
所述决策时间t时的状态St的表达式为
所述长期奖励的计算公式为：
式中，T表示决策步的长度，γi′-t表示在i′-t时刻的系统奖励折扣率，ri′ 表示在决策时间i′时的立即奖励。
决策时间t时的立即奖励rt的计算公式为：
式中，表示用户设备n在决策时间t时的时延能耗加权和，表 示用户设备n在决策时间t+1时的时延能耗加权和。
所述用户设备n在决策时间t时的时延能耗加权和的计算公式为：
式中，wt与we分别为时延和能耗相关权重系数，表示任务的任务开始 节点vn，0所对应的任务开始时间，表示任务的任务结束节点vn，I+1所对应 的任务结束时间，E表示任务处理过程中的总能耗。
当任务vn，i在本地执行时，任务vn，i在本地的完成时间的计算公式为：
式中，表示任务vn，i在本地的实际执行时间，表示任务vn，i在本地开 始处理的开始时间。
所述任务vn，i在本地的实际执行时间的计算公式为：
式中，Cn，i表示任务vn，i的计算负载，表示用户设备的CPU速率。
所述任务vn，i在本地开始处理的开始时间的计算公式为：
式中，表示任务vn，j在本地的完成时间，表示任务vn，j在边缘服务器 s上的完成时间，表示任务vn，j在云端c上的完成时间，表示用户设备 n中正在执行的任务的最小完成时间，pred(vn，i)表示任务vn，i的前继任务的集合。
当任务vn，i调度到边缘服务器s时，调度过程分为三个阶段：
无线传输阶段：首先通过无线信道将任务vn，i发送到直接服务用户设备n的 边缘服务器s，且s∈S；
无线传输阶段的能耗的计算公式为：
式中，表示用户设备n上传任务vn，i的传输功率，表示无线传输阶 段的传输时间；
所述无线传输阶段的无线传输时间的计算公式为：
式中，表示无线传输阶段的上行传输速率，Pn，i表示任务vn，i的任务数据 的大小；
所述无线传输阶段的上行传输速率的计算公式为：
式中，W表示信道带宽，gn，i表示用户设备n上传任务vn，i时的信道增益，σ2表示背景噪声功率，Pn′，i′表示用户设备n′上传任务vn，i′的传输功率，gn′，i′表示用户 设备n′上传任务vn，i′时的信道增益，an′表示调度时用户设备n′对应的边缘服务器， an表示调度时用户设备n对应的边缘服务器且n′∈N；
有线传输阶段：边缘服务器s把任务vn，i通过光纤传输到目标边缘服务器s′；
有线传输阶段的有线传输时间的计算公式为：
式中，Rs，s′表示从边缘服务器s到目标边缘服务器s′的光纤传输速率，h表 示两个边缘服务器之间的跳数，且s′∈S；
有线传输阶段的能耗的计算公式为：
任务边缘处理阶段：任务vn，i到达目标边缘服务器s′后等到该边缘服务器中 有空闲的CPU核心可以服务这个任务时开始执行。
用户设备n在任务边缘处理阶段的能耗的计算公式为：
式中，表示用户设备n在等待目标边缘服务器s′执行其它任务时的等待 功率，表示任务vn，i在目标边缘服务器s′上的执行时间；
任务vn，i在目标边缘服务器s′的完成时间的计算公式为：
式中，表示任务vn，i在目标边缘服务器s′的开始时间；
所述任务vn，i的执行时间的计算公式为：
式中，表示目标边缘服务器s′的CPU频率；
所述任务vn，i在目标边缘服务器s′的开始时间的计算公式为：
式中，ρs表示边缘服务器s当前CPU核心中任务的最早完成时间；
当任务vn，i从边缘服务器s传输到云端执行时，假设云端的计算能力比边缘 服务器强得多，也即任务vn，i到达云端后可以立即执行，此阶段称为任务远端处 理阶段，任务vn，i在云端处理的完成时间的计算公式为：
式中，表示用户设备n的任务vn，i在云端处理时的开始时间，表示用 户设备n的任务vn，i在云端处理时的执行时间。
所述用户设备n的任务vn，i在云端处理时的执行时间的计算公式为：
式中，fc表示云端每个CPU核心的计算频率；
所述用户设备n的任务vn，i在云端处理时的开始时间的计算公式为：
式中，表示任务vn，i从边缘服务器s传输到云端执行时的远端传输时间； 远端传输时间的计算公式为：
式中，Rs，c表示从边缘服务器到云端的传输速率。
用户设备n的任务vn，i在任务远端处理阶段的能耗的计算公式为：
式中，是用户设备n的等待功率，是任务vn，i在云端的执行时间。
本实施例中，信道增益gn，i设置为用户设备n与其直接相连的边缘服务器之 间距离的-4次方；策略网络参数的更新损失函数评价网络参数的更新基 于损失函数
所述损失函数的公式为：
式中，V(t)表示当前决策时间t时的状态的价值，表示在决策时间t时的折 扣奖励。
所述损失函数的公式为：
式中，πθ(at|st)表示使用新策略在状态st的情况下选择动作at的概率， 表示使用老策略在状态st的情况下选择动作at的概率，表示限 制函数用于限制更新幅度，表示当前决策时间t选择动作at的优势。
如图5所示，在每个决策时间t，演员网络将MEC环境状态和用户设备状 态输入到MLP层得到MEC环境的嵌入向量，并使用GNN来提取待决策任务的 信息得到任务的嵌入向量。将MEC环境嵌入向量和当前待决策任务的嵌入向量 拼接输入到MLP中，最终通过SoftMax层得到每个动作的概率。相似的，在评 论家网络中，也使用GNN和MLP得到待决策任务的嵌入向量和MEC环境的嵌 入向量，并将拼接过后的向量输入到MLP中，最终通过一个激活层输出当前状 态的价值。
如图6和图7所示，ACED算法也即本发明较其它算法比如Random算法、 Greedy算法、OLNA算法(offloading nothing algorithm，无调度算法)、CFOA算 法(cloud firstoffloading algorithm，云端优先调度算法)和EFOA算法(edge first offloadingalgorithm，边缘服务器调度优先算法)的平均ETC更小。并且当MEC 系统中边缘服务器数量相同，并限制每个应用程序的任务数量在一个区间内时， 每个用户设备的平均ETC在增多。这是因为平均每个边缘服务器要服务的用户 数量增多，这会对传输时间产生负面的影响，能耗也与传输时间有关，所以也 会造成能耗的损失。ETC是时延能耗的加权和，当传输时间和能耗都增加，那 么ETC也会增加。此外，可以从图中看到，MEC系统中所有用户的平均ETC随着边缘服务器数量的增多而减少。这是由于边缘服务器的数量增多，意味着 每个边缘服务器服务的用户数量减少，会减少传输时延和能耗，从而减少ETC。 当每个应用程序的子任务数量增加时，每个应用程序的并行度增大。也就是说 每个子任务依赖的前继节点的数量增多，并且每个设备的CPU核心数相同，所 以每个子任务等待前继任务的完成时间和每个设备可用的时间变长，造成更大 的时延和能耗。随着平均每个应用程序的层数增加，算法的平均ETC值也会增 加。这是因为在任务总数不变的情况下，层数的增加意味着并行度降低，任务 执行所需的等待时间和能量增加。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发 明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发 明的保护范围之内。
Claims (8)
1.一种基于图注意力网络的多任务边缘计算调度优化方法，其特征在于，包括如下步骤：
S1，构建基于演员-评论家模型的MEC系统通信模型，所述MEC系统通信模型包括边缘服务器、用户设备和云端，且边缘服务器为智能体；
S2，每个决策时间t，调度智能体利用图注意力神经网络获取用户设备所生成应用程序的任务状态利用多层感知器获取MEC系统状态SN；
S3，通过双层嵌入将任务状态和MEC系统状态SN组成状态嵌入向量输入演员-评论家模型中，利用演员-评论家模型进行训练获取最佳调度策略；
在步骤S2中，所述调度智能体利用图注意力网络获取用户设备所生成应用程序的任务状态包括以下步骤：
I，将每个用户设备的应用程序建模为一个有向无环图；
II，获取MEC环境和应用程序的每个任务的特征，构建多头注意力机制，将特征输入图注意力网络得到任务状态
2.根据权利要求1所述的基于图注意力网络的多任务边缘计算调度优化方法，其特征在于，所述获取MEC环境和应用程序的每个任务的特征，将特征输入图注意力网络得到任务状态包括如下步骤：
a，根据MEC环境特征和任务特征利用转换矩阵构建MEC环境嵌入空间和任务嵌入空间；
b，基于自注意力机制的深度神经网络构建自注意力机制函数；
c，通过对输入特征加权获取自注意力机制下的特征状态输出；
d，利用多头注意力机制获取最终特征状态输出，也即任务状态
3.根据权利要求1所述的基于图注意力网络的多任务边缘计算调度优化方法，其特征在于，所述演员-评论家模型包括一个演员网络和一个评论家网络，步骤S3包括:
S3.1，在每个决策时间t，将状态嵌入向量输入演员网络得到动作At；
S3.2，将决策时间t时的状态St和动作At输入评论家网络得到长期奖励长期奖励选择最佳动作。
4.根据权利要求3所述的基于图注意力网络的多任务边缘计算调度优化方法，其特征在于，所述长期奖励的计算公式为：
式中，T表示决策步的长度，γi′-t表示在i′-t时刻的系统奖励折扣率，ri′表示在决策时间i′时的立即奖励；
决策时间t时的立即奖励rt的计算公式为：
式中，表示用户设备n在决策时间t时的时延能耗加权和，表示用户设备n在决策时间t+1时的时延能耗加权和，N′表示用户设备的总数。
5.根据权利要求4所述的基于图注意力网络的多任务边缘计算调度优化方法，其特征在于，所述时延能耗加权和的计算公式为：
式中，wt与we分别为时延和能耗相关权重系数，表示任务的任务结束节点vn,I+1所对应的任务结束时间，表示任务的任务开始节点vn,0所对应的任务开始时间，E表示任务处理过程中的总能耗。
6.根据权利要求5所述的基于图注意力网络的多任务边缘计算调度优化方法，其特征在于，当任务vn,i在本地执行时，任务vn,i在本地的完成时间的计算公式为：
式中，表示任务vn,i在本地的实际执行时间，表示任务vn,i在本地开始处理的开始时间；
所述任务vn,i在本地的实际执行时间的计算公式为：
式中，Cn,i表示任务vn,i的计算负载，表示用户设备的CPU速率；
所述任务vn,i在本地开始处理的开始时间的计算公式为：
式中，表示任务vn,j在本地的完成时间，表示任务vn,j在边缘服务器s上的完成时间，表示任务vn,j在云端c上的完成时间，表示用户设备n中正在执行的任务的最小完成时间，pred(vn,i)表示任务vn,i的前继任务的集合。
7.根据权利要求5所述的基于图注意力网络的多任务边缘计算调度优化方法，其特征在于，当任务vn,i调度到边缘服务器s执行时，任务vn,i在目标边缘服务器s′的完成时间的计算公式为：
式中，表示任务vn,i在目标边缘服务器s′的开始时间，表示任务vn,i在目标边缘服务器s′上的执行时间；
所述任务vn,i的执行时间的计算公式为：
式中，表示目标边缘服务器s′的CPU频率，Cn,i表示任务vn,i的计算负载；
所述任务vn,i在目标边缘服务器s′的开始时间的计算公式为：
式中，ρs表示边缘服务器s当前CPU核心中任务的最早完成时间，表示任务vn,j在本地的完成时间，表示任务vn,j在边缘服务器s上的完成时间，表示任务vn,j在云端c上的完成时间，表示任务vn,i发送到边缘服务器s的无线传输时间，表示从边缘服务器s到目标边缘服务器s′的有线传输时间pred(vn,i)表示任务vn,i的前继任务的集合。
8.根据权利要求5所述的基于图注意力网络的多任务边缘计算调度优化方法，其特征在于，当任务vn,i在云端执行时，任务vn,i在云端处理的完成时间的计算公式为：
式中，表示用户设备n的任务vn,i在云端处理时的开始时间，表示用户设备n的任务vn,i在云端处理时的执行时间；
所述用户设备n的任务vn,i在云端处理时的执行时间的计算公式为：
式中，fc表示云端每个CPU核心的计算频率，Cn,i表示任务vn,i的计算负载；
所述用户设备n的任务vn,i在云端处理时的开始时间的计算公式为：
式中，表示任务vn,i从边缘服务器s传输到云端执行时的远端传输时间，表示任务vn,j在本地的完成时间，表示任务vn,j在边缘服务器s上的完成时间，表示任务vn,j在云端c上的完成时间，pred(vn,i)表示任务vn,i的前继任务的集合，表示任务vn,i发送到边缘服务器s的无线传输时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111211526.0A CN113946423B (zh) | 2021-10-18 | 2021-10-18 | 基于图注意力网络的多任务边缘计算调度优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111211526.0A CN113946423B (zh) | 2021-10-18 | 2021-10-18 | 基于图注意力网络的多任务边缘计算调度优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113946423A CN113946423A (zh) | 2022-01-18 |
| CN113946423B true CN113946423B (zh) | 2024-04-19 |
Family
ID=79331207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111211526.0A Active CN113946423B (zh) | 2021-10-18 | 2021-10-18 | 基于图注意力网络的多任务边缘计算调度优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113946423B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114648870B (zh) * | 2022-02-11 | 2023-07-28 | 行云新能科技（深圳）有限公司 | 边缘计算系统、边缘计算决策预测方法以及计算机可读存储介质 |
| CN115022189B (zh) * | 2022-05-31 | 2024-03-26 | 武汉大学 | 边缘用户分配模型构建方法、装置、设备及可读存储介质 |
| TWI844495B (zh) * | 2023-11-16 | 2024-06-01 | 國立中山大學 | 工作派遣方法及系統 |
| CN118297357B (zh) * | 2024-06-05 | 2024-09-10 | 中国人民解放军海军航空大学 | 一种基于图注意力神经网络的飞机保障作业调度方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111756812A (zh) * | 2020-05-29 | 2020-10-09 | 华南理工大学 | 一种能耗感知的边云协同动态卸载调度方法 |
| US10893097B1 (en) * | 2019-07-31 | 2021-01-12 | Verizon Patent And Licensing Inc. | Methods and devices for discovering and employing distributed computing resources to balance performance priorities |
| CN112882815A (zh) * | 2021-03-23 | 2021-06-01 | 南京邮电大学 | 基于深度强化学习的多用户边缘计算优化调度方法 |
| CN113132754A (zh) * | 2021-03-26 | 2021-07-16 | 南京善跑体育科技有限公司 | 一种基于5gmec的运动视频剪辑方法及系统 |
| CN113411826A (zh) * | 2021-06-17 | 2021-09-17 | 天津大学 | 一种基于注意力机制强化学习的边缘网络设备缓存方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110580196B (zh) * | 2019-09-12 | 2021-04-06 | 北京邮电大学 | 一种实现并行任务调度的多任务强化学习方法 |
-
2021
- 2021-10-18 CN CN202111211526.0A patent/CN113946423B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10893097B1 (en) * | 2019-07-31 | 2021-01-12 | Verizon Patent And Licensing Inc. | Methods and devices for discovering and employing distributed computing resources to balance performance priorities |
| CN111756812A (zh) * | 2020-05-29 | 2020-10-09 | 华南理工大学 | 一种能耗感知的边云协同动态卸载调度方法 |
| CN112882815A (zh) * | 2021-03-23 | 2021-06-01 | 南京邮电大学 | 基于深度强化学习的多用户边缘计算优化调度方法 |
| CN113132754A (zh) * | 2021-03-26 | 2021-07-16 | 南京善跑体育科技有限公司 | 一种基于5gmec的运动视频剪辑方法及系统 |
| CN113411826A (zh) * | 2021-06-17 | 2021-09-17 | 天津大学 | 一种基于注意力机制强化学习的边缘网络设备缓存方法 |
Non-Patent Citations (1)
| Title |
|---|
| 边缘计算和深度学习之间的交融;刘志成;韩溢文;沈仕浩;宋金铎;王晓飞;;自动化博览;20200215(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113946423A (zh) | 2022-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113946423B (zh) | 基于图注意力网络的多任务边缘计算调度优化方法 | |
| JP6942397B2 (ja) | モバイルエッジコンピューティングのシナリオでシングルタスクオフロード戦略を策定する方法 | |
| Nath et al. | Multi-user multi-channel computation offloading and resource allocation for mobile edge computing | |
| CN111813539B (zh) | 一种基于优先级与协作的边缘计算资源分配方法 | |
| CN113286317B (zh) | 一种基于无线供能边缘网络的任务调度方法 | |
| WO2024159708A1 (zh) | 基于数字孪生的异构任务与资源端边协同调度方法 | |
| CN113626104B (zh) | 边云架构下基于深度强化学习的多目标优化卸载策略 | |
| CN115277689A (zh) | 一种基于分布式联邦学习的云边网络通信优化方法及系统 | |
| CN113573363B (zh) | 基于深度强化学习的mec计算卸载与资源分配方法 | |
| CN113590279B (zh) | 一种面向多核边缘计算服务器的任务调度和资源分配方法 | |
| CN111711962A (zh) | 一种移动边缘计算系统子任务协同调度方法 | |
| CN116185523A (zh) | 一种任务卸载和部署的方法 | |
| CN116489708A (zh) | 面向元宇宙的云边端协同的移动边缘计算任务卸载方法 | |
| Lakew et al. | Adaptive partial offloading and resource harmonization in wireless edge computing-assisted IoE networks | |
| CN114698125A (zh) | 移动边缘计算网络的计算卸载优化方法、装置及系统 | |
| Qadeer et al. | DDPG-edge-cloud: A deep-deterministic policy gradient based multi-resource allocation in edge-cloud system | |
| CN117858109A (zh) | 基于数字孪生的用户关联、任务卸载和资源分配优化方法 | |
| CN117880122A (zh) | 一种基于madfpg的任务卸载和资源分配联合优化方法 | |
| CN116204319A (zh) | 基于sac算法与任务依赖关系的云边端协同卸载方法及系统 | |
| CN116431326A (zh) | 一种基于边缘计算和深度强化学习的多用户依赖性任务卸载方法 | |
| CN116347522A (zh) | 云边协同下基于近似计算复用的任务卸载方法及装置 | |
| Mahmoodi et al. | Spectrum-Aware Mobile Computing | |
| CN114598702A (zh) | 一种基于深度学习的vr业务无人机边缘计算方法 | |
| CN113747504A (zh) | 多接入边缘计算联合任务卸载和资源分配的方法及系统 | |
| Qiuyang et al. | A double-timescale reinforcement learning based cloud-edge collaborative framework for decomposable intelligent services in industrial Internet of Things |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |