CN112711475A - 一种基于图卷积神经网络的工作流调度方法及系统 - Google Patents

一种基于图卷积神经网络的工作流调度方法及系统 Download PDF

Info

Publication number
CN112711475A
CN112711475A CN202110076869.4A CN202110076869A CN112711475A CN 112711475 A CN112711475 A CN 112711475A CN 202110076869 A CN202110076869 A CN 202110076869A CN 112711475 A CN112711475 A CN 112711475A
Authority
CN
China
Prior art keywords
node
task
nodes
resource
aggregation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110076869.4A
Other languages
English (en)
Other versions
CN112711475B (zh
Inventor
姚建国
罗金宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110076869.4A priority Critical patent/CN112711475B/zh
Publication of CN112711475A publication Critical patent/CN112711475A/zh
Application granted granted Critical
Publication of CN112711475B publication Critical patent/CN112711475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于图卷积神经网络的工作流调度方法及系统，该方法包括：步骤1：基于图卷积神经网络模型处理任务节点的自身特征和复杂的依赖关系，提取出高维的抽象特征表示；步骤2：策略网络将高维的抽象特征输入到全连接层神经网络进行处理，用Softmax层选出下一个将要执行的任务节点；步骤3：根据选出的任务节点，使用DEFT启发式算法，计算出是否复制任务节点的父节点、复制哪一个父节点和分配到哪个资源上执行的方案；步骤4：按照步骤3计算出的方案执行分配，更新任务节点分配后的任务信息以及资源信息，重复步骤1进入下一次分配，直到所有已到达的任务节点都得到分配。本发明能够适应动态的工作流环境，且算法调度质量更高。

Description

一种基于图卷积神经网络的工作流调度方法及系统
技术领域
本发明涉及深度强化学习以及工作流调度技术领域，具体地，涉及一种基于图卷积神经网络的工作流调度方法及系统。
背景技术
随着云计算的迅猛发展，云计算逐渐变成了一种不可或缺的关键资源。云计算中的工作流调度的效率也变得非常关键，它能够对云计算的任务执行的效率产生很大影响。因此，我们需要高效的工作流调度算法对复杂的任务依赖关系进行处理并合理匹配任务和资源。基于列表调度的工作流调度一般可以分为节点排序和资源分配这两个阶段。
对于排序阶段，需要对任务之间的依赖关系进行处理并给出合理的任务节点执行顺序。传统的启发式算法不能很好地对工作流中的任务节点的复杂的依赖关系进行处理，只能通过人为的特征工程构造特征值对其进行处理，人为影响很大。图卷积神经网络能够对拓扑结构进行高维度抽象，自主学习任务节点特征，深入挖掘拓扑结构中关系，避免了人为干扰。因此，利用图卷积神经网络用于工作流调度问题中的任务依赖关系处理从而提升算法调度效果成为了研究的热点方向。
针对上述现有技术，对于资源分配阶段，需要把将要执行的任务节点分配到合适的资源上进行执行，现有算法不能处理动态可复制环境中的资源分配。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于图卷积神经网络的工作流调度方法及系统，能够适应动态的工作流环境，且算法调度质量更高。
根据本发明提供的一种基于图卷积神经网络的工作流调度方法及系统，所述方案如下：
第一方面，提供了一种基于图卷积神经网络的工作流调度方法，所述方法包括：
基于图卷积神经网络模型处理任务节点的自身特征和复杂的依赖关系，提取出高维的抽象特征表示；
策略网络将所述高维的抽象特征输入到全连接层神经网络进行处理，最后用Softmax层选出下一个将要执行的任务节点；
根据选出的任务节点，使用DEFT启发式算法，计算出是否复制任务节点的父节点、复制哪一个父节点和分配到哪个资源上执行的方案；
按照上一步骤计算出的方案执行分配，更新任务节点分配后的任务信息以及资源信息，重复首步骤进入下一次分配，直到所有已到达的任务节点都得到分配。
优选的，所述图卷积神经网络处理分为三个不同层级的聚合处理，对任务特征进行学习和提取，具体包括：
节点聚合：通过消息传递步骤来计算得到聚合处理后的向量，节点的信息从子节点向父节点依次进行传递，在消息传递过程中，子节点向父节点传递自身信息，父节点对收集到的子节点信息和自身信息进行聚合：
Figure BDA0002907848590000021
其中，函数f(·)和g(·)都是非线性函数，一般可以取f(·)为最大值函数，取g(·)为sigmod函数，ξ(v)表示节点v的所有子节点；向量集合
Figure BDA0002907848590000022
表示在DAG图Gi中的任务节点的特征向量；
Figure BDA0002907848590000023
表示每个节点的聚合过程；聚合的结果
Figure BDA0002907848590000024
是一维的实数向量，表示从任务节点nv能够到达的所有子节点、后代节点的相关信息；
DAG聚合：图卷积神经网络还对每一个DAG进行计算出一个DAG层级聚合向量，对于每一个DAG Gi，进行函数变换如
Figure BDA0002907848590000025
将每个任务节点的特征向量和节点聚合向量连接起来的向量作为任务节点输入向量，由式(1)计算DAG聚合；
为了完成DAG层级的聚合操作，添加一个虚拟父节点到DAG中，它是DAG中所有任务节点的父节点，每一个DAG中都添加了一个虚拟节点，作为DAG中所有任务节点的共同父节点；
全局聚合：对于全局所有的DAG，也计算一个全局的聚合向量，同样添加一个虚拟父节点到全局中，所有DAG中添加的虚拟父节点都是它的子节点，它是所有DAG虚拟父节点的父节点
Figure BDA0002907848590000026
全局的聚合向量计算将DAG层级已经计算出的DAG聚合向量作为输入，在此基础上，再执行聚合操作；
每一层图卷积神经网络模型都通过节点聚合、DAG聚合和全局聚合的处理，通过K层的图卷积神经网络处理，使得图卷积神经网络能够获得高维的抽象特征表示，并将它作为输出传递给后续的策略网络进行处理。
优选的，所述使用策略网络，具体包括：
将图卷积神经网络输出的高维抽象特征表示信息传输多层的全连接的神经网络层中，进行处理：
yk＝φ(Wkx+bk) (2)，
其中，Wk表示第k层的权重，x表示第k层的输入向量，bk为偏执量，yk为表示该全连接层的输出；
将多层全连接网络的处理结果输入到输层的softmax层进行处理，利用softmax函数，计算出各个节点将要被执行选中的概率：
Figure BDA0002907848590000031
其中，P(v)表示任务节点v的选择概率，
Figure BDA0002907848590000032
表示调度节点v的优先级，j(u)表示节点u的所对应的DAG，At表示可执行的任务节点集合；
在任务节点中选出满足依赖关系的可执行任务节点，在可执行的任务节点中选择概率最大的任务节点，作为下一个将要执行任务节点，并输出该任务节点。
优选的，所述使用DEFT启发式算法计算任务节点的资源分配方案，具体包括：
输入策略网络选出的任务节点ni和资源列表R；
判断资源列表R是否为空，若不为空执行下一步骤；若为空，执行最后步骤；
从资源列表中选择一个资源rj，并将该资源从原有资源列表中删除；
计算任务节点ni在资源rj上的最短完成时间EFT(ni，rj)，并将结果添加到集合SEFT中，
Figure BDA0002907848590000033
其中，wi表示节点ni的任务量，vj表示资源rj的计算速度；
最早完成时间EST：
Figure BDA0002907848590000034
其中，pred(ni)为ni的父节点集合，np为ni的一个父节点，rp为np分配执行资源集合
Figure BDA0002907848590000036
中的一个资源，epi表示np到ni传输的数据量，cpj表示rp到rj之间的数据传输速率；而AFT(Actual Finish Time)表示实际完成时间，其计算公式为：
Figure BDA0002907848590000035
其中，
Figure BDA0002907848590000037
表示任务节点ni所实际分配到的资源集合，rk表示该集合中的一个资源，AST表实际开始执行时间，AST(ni，rk)表示任务节点ni在资源节点rk上的实际执行时间；
判断任务节点ni的父节点列表pred(ni)是否为空。若不为空执行下一步骤，若为空，则执行第二个步骤；
从父节点列表pred(ni)中选择其中一个父节点np；
复制父节点np到资源rj上，计算先执行任务节点np，再执行任务节点n的CPEFT(np，ni，rj)时间，并将计算结果添加到SCPEFT中，
Figure BDA0002907848590000041
该式表示复制父节点到所要分配资源上，pred(ni)表示任务节点ni的父节点集合，np表示复制执行的父节点，AFT表示节点在相应资源上的完成时。e表示两个任务节点之间传输的数据量，c表示两个资间数据传输速率，w表示任务节点的任务量，v表示资源执行速率。
执行步骤判断任务节点ni的父节点列表pred(ni)是否为空；
在SEFT和SCPEFT中集合中，求最小任务完成时间，并根据所求得的最短任务完成时间，确定任务的资源分配方案，资源分配流程结束。
优选的，所述执行计算出的分配方案并更新相关的信息，具体包括：
根据DEFT启发式算法计算出来的分配方案，将任务节点分配到相应的资源上；
更新所分配资源的相关信息；
将已经分配的任务节点标记为已执行，更新可执行任务节点列表，该节点分配执行流程结束，重复整个流程进行下一个任务节点的分配执行，直至所有任务节点都得到分配。
第二方面，提供了一种基于图卷积神经网络的工作流调度系统，所述系统包括：
模块M1：基于图卷积神经网络模型处理任务节点的自身特征和复杂的依赖关系，提取出高维的抽象特征表示；
模块M2：策略网络将所述高维的抽象特征输入到全连接层神经网络进行处理，最后用Softmax层选出下一个将要执行的任务节点；
模块M3：根据选出的任务节点，使用DEFT启发式算法，计算出是否复制任务节点的父节点、复制哪一个父节点和分配到哪个资源上执行的方案；
模块M4：按照模块M3计算出的方案执行分配，更新任务节点分配后的任务信息以及资源信息，重复模块M1进入下一次分配，直到所有已到达的任务节点都得到分配。
优选的，所述模块M1中的图卷积神经网络处理分为三个不同层级的聚合处理，对任务特征进行学习和提取，具体包括：
节点聚合：通过消息传递步骤来计算得到聚合处理后的向量，节点的信息从子节点向父节点依次进行传递，在消息传递过程中，子节点向父节点传递自身信息，父节点对收集到的子节点信息和自身信息进行聚合：
Figure BDA0002907848590000051
其中，函数f(·)和g(·)都是非线性函数，一般可以取f(·)为最大值函数，取g(·)为sigmod函数，ξ(v)表示节点v的所有子节点；向量集合
Figure BDA0002907848590000052
表示在DAG图Gi中的任务节点的特征向量；
Figure BDA0002907848590000053
表示每个节点的聚合过程；聚合的结果
Figure BDA0002907848590000054
是一维的实数向量，表示从任务节点nv能够到达的所有子节点、后代节点的相关信息；
DAG聚合：图卷积神经网络还对每一个DAG进行计算出一个DAG层级聚合向量，对于每一个DAG Gi，进行函数变换如
Figure BDA0002907848590000055
将每个任务节点的特征向量和节点聚合向量连接起来的向量作为任务节点输入向量，由式(1)计算DAG聚合；
为了完成DAG层级的聚合操作，添加一个虚拟父节点到DAG中，它是DAG中所有任务节点的父节点，每一个DAG中都添加了一个虚拟节点，作为DAG中所有任务节点的共同父节点；
全局聚合：对于全局所有的DAG，也计算一个全局的聚合向量，同样添加一个虚拟父节点到全局中，所有DAG中添加的虚拟父节点都是它的子节点，它是所有DAG虚拟父节点的父节点
Figure BDA0002907848590000058
全局的聚合向量计算将DAG层级已经计算出的DAG聚合向量作为输入，在此基础上，再执行聚合操作；
每一层图卷积神经网络模型都通过节点聚合、DAG聚合和全局聚合的处理，通过K层的图卷积神经网络处理，使得图卷积神经网络能够获得高维的抽象特征表示，并将它作为输出传递给后续的策略网络进行处理。
优选的，所述模块2使用策略网络，具体包括：
将图卷积神经网络输出的高维抽象特征表示信息传输多层的全连接的神经网络层中，进行处理：
yk＝φ(Wkx+bk) (2)，
其中，Wk表示第k层的权重，x表示第k层的输入向量，bk为偏执量，yk为表示该全连接层的输出；
将多层全连接网络的处理结果输入到输层的softmax层进行处理，利用softmax函数，计算出各个节点将要被执行选中的概率：
Figure BDA0002907848590000056
其中，P(v)表示任务节点v的选择概率，
Figure BDA0002907848590000057
表示调度节点v的优先级，j(u)表示节点u的所对应的DAG，At表示可执行的任务节点集合；
在任务节点中选出满足依赖关系的可执行任务节点，在可执行的任务节点中选择概率最大的任务节点，作为下一个将要执行任务节点，并输出该任务节点。
优选的，所述模块3使用DEFT启发式算法计算任务节点的资源分配方案，具体包括：
模块3-1：输入策略网络选出的任务节点ni和资源列表R；
模块3-2：判断资源列表R是否为空，若不为空执行模块3-3；若为空，执行模块3-9；
模块3-3：从资源列表中选择一个资源rj，并将该资源从原有资源列表中删除；
模块3-4：计算任务节点ni在资源rj上的最短完成时间EFT(ni，rj)，并将结果添加到集合SEFT中，
Figure BDA0002907848590000061
其中，wi表示节点ni的任务量，vj表示资源rj的计算速度；
最早完成时间EST：
Figure BDA0002907848590000062
其中，pred(ni)为ni的父节点集合，np为ni的一个父节点，rp为np分配执行资源集合
Figure BDA0002907848590000063
中的一个资源，epi表示np到ni传输的数据量，cpj表示rp到rj之间的数据传输速率；而AFT(Actual Finish Time)表示实际完成时间，其计算公式为：
Figure BDA0002907848590000064
其中，
Figure BDA0002907848590000066
表示任务节点ni所实际分配到的资源集合，rk表示该集合中的一个资源，AST表实际开始执行时间，AST(ni，rk)表示任务节点ni在资源节点rk上的实际执行时间；
模块3-5：判断任务节点ni的父节点列表pred(ni)是否为空。若不为空执行模块3-6，若为空，则执行模块3-2；
模块3-6：从父节点列表pred(ni)中选择其中一个父节点np；
模块3-7：复制父节点np到资源rj上，计算先执行任务节点np，再执行任务节点n的CPEFT(np，ni，rj)时间，并将计算结果添加到SCPEFT中，
Figure BDA0002907848590000065
该式表示复制父节点到所要分配资源上，pred(ni)表示任务节点ni的父节点集合，np表示复制执行的父节点，AFT表示节点在相应资源上的完成时。e表示两个任务节点之间传输的数据量，c表示两个资间数据传输速率，w表示任务节点的任务量，v表示资源执行速率。
模块3-8：执行模块3-5；
模块3-9：在SEFT和SCPEFT中集合中，求最小任务完成时间，并根据所求得的最短任务完成时间，确定任务的资源分配方案，资源分配流程结束。
优选的，所述模块4执行计算出的分配方案并更新相关的信息，具体包括：
根据DEFT启发式算法计算出来的分配方案，将任务节点分配到相应的资源上；
更新所分配资源的相关信息；
将已经分配的任务节点标记为已执行，更新可执行任务节点列表，该节点分配执行流程结束，重复整个流程进行下一个任务节点的分配执行，直至所有任务节点都得到分配。
与现有技术相比，本发明具有如下的有益效果：
1、相比于传统工作流算法，本发明所提出算法调度质量更高，并且能够适应动态的工作流环境；
2、强化学习通过“试错-奖励”机制进行学习，能够对环境进行深入地学习，具有很强的适应性，能够对包含神经网络的模型进行训练，使其具有良好的泛化性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的任务示意图；
图2为本发明的算法整体框架图；
图3为本发明的深度强化学习架构图；
图4为本发明的节点聚合示意图；
图5为本发明的DAG聚合和全局聚合示意图；
图6为本发明的多层图卷积神经网络示意图；
图7为本发明的策略网络示意图；
图8为本发明的DEFT算法示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种基于图卷积神经网络的工作流调度方法，该方法包括图卷积神经网络、策略网络、启发式算法等模块。
在系统中，存在资源集合R(r1，r2，...，rm)，这些资源对应计算速度分别为v1，v2，...，vm资源ri和rj之间的数据传输速率为cij。系统中包含任务集合J(J1，J2，...，Jn)，它们可以包含一个或多个任务节点，任务节点之间的依赖关系构成一个有向无环图(Directed Acyclic Graph，DAG)，也用DAG来表示任务J。用DAG表示任务如图1所示，圆圈中数字表示任务节点编号，任务节点可能有不同大小的任务量。任务节点之间的有向箭头从父节点指向子节点表示它们之间数据传输，箭头可能传输不同大小的数据量。任务到达系统的时间随机，只有当它们到达系统，才能对其进行调度。任务节点之间存在依赖关系和数据传输。任务Ji上的v号任务节点用
Figure BDA0002907848590000081
表示，任务节点nk的任务量用wk表示。任务节点
Figure BDA0002907848590000082
到任务节点
Figure BDA0002907848590000083
的数据传输量为ekm。
基于图卷积神经网络和强化学习，如图2所示，任务节点特征及依赖关系通过深度强化学习模型处理，选出下一个执行任务节点，并将选出的任务节点传递给启发式算。通过启发式算法做出合适的分配资源及是否复制任务节点父节点的决策，按算法的决策分配执行任务节点，更新资源信息和任务节点信息，重复执行这一流程，直至所有任务都完成了分配。
具体步骤如下：
步骤1：基于图卷积神经网络模型处理任务节点的自身特征和复杂的依赖关系，提取出高维的抽象特征表示。
深度神经网络模型是工作流调度算法中步骤1中的重要模型，它包含图卷积神经网络和策略网络，如图3所示，图卷积神经网络处理任务节点特征及任务节点间依赖关系，获得它们的高维抽象表示，利用策略网络处理，选取下一个执行节点。
步骤1中的图卷积神经网络处理分为三个不同层级的聚合处理，对任务特征进行学习和提取，具体包括：
节点聚合：通过消息传递步骤来计算得到聚合处理后的向量，节点的信息从子节点向父节点依次进行传递，在消息传递过程中，子节点向父节点传递自身信息，父节点对收集到的子节点信息和自身信息进行聚合：
Figure BDA0002907848590000091
其中，函数f(·)和g(·)都是非线性函数，一般可以取f(·)为最大值函数，取g(·)为sigmod函数，ξ(v)表示节点v的所有子节点；向量集合
Figure BDA0002907848590000092
表示在DAG图Gi中的任务节点的特征向量；
Figure BDA0002907848590000093
表示每个节点的聚合过程；聚合的结果
Figure BDA0002907848590000094
是一维的实数向量，表示从任务节点nv能够到达的所有子节点、后代节点的相关信息。我们通过消息传递步骤来计算得到聚合处理后的向量，节点的信息从子节点向父节点依次进行传递，如图4所示，在消息传递过程中，子节点向父节点(黑圆圈节点)传递自身信息。
DAG聚合：图卷积神经网络还对每一个DAG进行计算出一个DAG层级聚合向量，对于每一个DAG Gi，进行函数变换如
Figure BDA0002907848590000095
将每个任务节点的特征向量和节点聚合向量连接起来的向量作为任务节点输入向量，由式(1)计算DAG聚合；
为了完成DAG层级的聚合操作，添加一个虚拟父节点到DAG中，它是DAG中所有任务节点的父节点，如图5所示，每一个DAG中都添加了一个虚拟节点，作为DAG中所有任务节点的共同父节点；
全局聚合：对于全局所有的DAG，也计算一个全局的聚合向量，同样添加一个虚拟父节点到全局中，所有DAG中添加的虚拟父节点都是它的子节点，如图5所示，六边形节点即为添加的全局虚拟节点，它是所有DAG虚拟节点的父节点
Figure BDA0002907848590000096
全局的聚合向量计算将DAG层级已经计算出的DAG聚合向量作为输入，在此基础上，再执行式(1)聚合操作；
每一层图卷积神经网络模型都通过节点聚合、DAG聚合和全局聚合的处理，通过K层的图卷积神经网络处理，使得图卷积神经网络能够获得高维的抽象特征表示，并将它作为输出传递给后续的策略网络进行处理。如图6所示，任务DAG聚合结果作为模型输入，每一层的图卷积神经网络(即隐藏层)和激活函数进行三个维度的信息处理，多层处理后将得到的中间表示作为结果输出。
步骤2：策略网络将所述高维的抽象特征输入到全连接层神经网络进行处理，最后用Softmax层选出下一个将要执行的任务节点。
具体的，策略网络接受图卷积神经网络输出的高维抽象特征表示，并将其输入到全连接的神经网络中，经过多层全连接神经网络处理后，再使用softmax层进行处理，获得各个任务节点的选择概率。在可执行的任务节点中选择概率最大的节点作为选择结果输出，从而完成策略网络任务节点选择的任务，策略网络是工作流调度算法中步骤2的重要模型，它的结构如图7所示，使用策略网络，主要目的是选出下一个将要执行的任务节点。
首先，将图卷积神经网络输出的高维抽象特征表示信息传输多层的全连接的神经网络层中，进行处理：
yk＝φ(Wkx+bk) (2)，
其中，Wk表示第k层的权重，x表示第k层的输入向量，bk为偏执量，yk为表示该全连接层的输出；
再将多层全连接网络的处理结果输入到输层的softmax层进行处理，利用softmax函数，计算出各个节点将要被执行选中的概率：
Figure BDA0002907848590000101
其中，P(v)表示任务节点v的选择概率，
Figure BDA0002907848590000102
表示调度节点v的优先级，j(u)表示节点u的所对应的DAG，At表示可执行的任务节点集合；
最后，在任务节点中选出满足依赖关系的可执行任务节点，在可执行的任务节点中选择概率最大的任务节点，作为下一个将要执行任务节点，并输出该任务节点。
步骤3：根据选出的任务节点，使用DEFT(Duplicate Earliest Finish Time)启发式算法，计算出是否复制任务节点的父节点、复制哪一个父节点和分配到哪个资源上执行的方案。
DEFT启发式算法是工作流调度算法中的重要模块，它的算法流程图如图8所示。启发式算法接收策略网络的下一个执行节点的决策作为输入，计算该任务节点在所有资源上的最短完成时间，并计算复制父节点执行时在不同资源上的任务最短完成时间，选出任务节点完成时间最短的资源，将该任务节点分配到资源上进行执行。
DEFT启发式算法计算任务节点的资源分配方案，具体包括：
步骤3-1：输入策略网络选出的任务节点ni和资源列表R；
步骤3-2：判断资源列表R是否为空，若不为空执行步骤3-3；若为空，执行步骤3-9：
步骤3-3：从资源列表中选择一个资源rj，并将该资源从原有资源列表中删除；
步骤3-4：计算任务节点ni在资源rj上的最短完成时间EFT(ni，rj)，并将结果添加到集合SEFT中，
Figure BDA0002907848590000103
该式展示了最早完成时间的计算方式，其中，wi表示节点ni的任务量，vj表示资源rj的计算速度；
最早完成时间EST：
Figure BDA0002907848590000111
其中，pred(ni)为ni的父节点集合，np为ni的一个父节点，rp为np分配执行资源集合
Figure BDA0002907848590000112
中的一个资源，epi表示np到ni传输的数据量，cpj表示rp到rj之间的数据传输速率；而AFT(Actual Finish Time)表示实际完成时间，其计算公式为：
Figure BDA0002907848590000113
由于允许重复执行任务节点，所以
Figure BDA0002907848590000114
表示任务节点ni所实际分配到的资源集合，rk表示该集合中的一个资源，AST表实际开始执行时间，AST(ni，rk)表示任务节点ni在资源节点rk上的实际执行时间。
步骤3-5：判断任务节点ni的父节点列表pred(ni)是否为空。若不为空执行步骤3-6，若为空，则执行步骤3-2；
步骤3-6：从父节点列表pred(ni)中选择其中一个父节点np；
步骤3-7：复制父节点np到资源rj上，计算先执行任务节点np，再执行任务节点n的CPEFT(np，ni，rj)时间，并将计算结果添加到SCPEFT中，
Figure BDA0002907848590000115
该式表示复制父节点到所要分配资源上，pred(ni)表示任务节点ni的父节点集合，np表示复制执行的父节点，AFT表示节点在相应资源上的完成时。e表示两个任务节点之间传输的数据量，c表示两个资间数据传输速率，w表示任务节点的任务量，v表示资源执行速率。
步骤3-8：执行步骤3-5；
步骤3-9：在SEFT和SCPEFT中集合中，求最小任务完成时间，并根据所求得的最短任务完成时间，确定任务的资源分配方案，资源分配流程结束。
步骤4：按照步骤3计算出的方案执行分配，更新任务节点分配后的任务信息以及资源信息，重复步骤1进入下一次分配，直到所有已到达的任务节点都得到分配。执行计算出的分配方案并更新相关的信息，具体包括：
根据DEFT启发式算法计算出来的分配方案，将任务节点分配到相应的资源上。
更新所分配资源的相关信息，例如资源最早可执行任务时间、资源正在执行任务、该资源调度任务列表等。
将已经分配的任务节点标记为已执行，更新可执行任务节点列表，该节点分配执行流程结束，重复整个流程进行下一个任务节点的分配执行，直至所有任务节点都得到分配。
以下通过举例来详细说明本发明的运行过程：
假设有n个任务需要调度，它们部分信息如图1所示。系统中存在m个资源，用r1，r2，...，rm表示。它们执行速度分别为v1，v2，...，vm。
首先，计算需要执行任务的特征。计算DAG层级的特征，剩余未分配节点数和DAG剩余的平均执行时间。对于每个任务节点，剩余平均执行时间、入边平均时间、出边平均时时间等这些自身特征。
其次，使用图卷积神经网络对获取的特征信息进行处理。对于每个任务节点，我们有特征向量
Figure BDA0002907848590000121
根据公式(1)对任务节点特征进行聚合处理，经过K层图卷积神经网络处理后，可以得到任务节点的聚合表示
Figure BDA0002907848590000122
再对每一个DAG构造一个虚拟任务节点，它是该DAG中作为真实任务节点的父节点，将原始的任务特征x与获得的任务节点聚合e连接起来的向量
Figure BDA0002907848590000123
作为DAG层级图卷积神经网络的输入，利用公式(1)对输入的特征进行处理。经过K层图卷积神经网络处理之后，得到添加虚拟节点的聚合结果yi，即为DAG层级的聚合结果。并在全局添加一个虚拟节点，它作为所有DAG虚拟节点的父节点。同样地，使用DAG聚合作为全局聚合的图卷积神经网络的输入，根据公式(1)对数据信息进行处理。经过K层图卷积神经网络处理后，获得全局聚合z，至此，获得了任务节点聚合、DAG聚合和全局聚合三个维度聚合信息。
再次，使用策略网络选择下一个执行的任务节点。我们将任务节点原始特征向量x、节点聚合向量e、DAG聚合向量y、全局聚合向量z连接成一个大的任务节点特征向量(x，e，y，z)，再将它输入到多层全连接网络层进行处理。然后，将全连接层处理后的结果输出到Softmax层中进行处理。Softmax层根据公式(3)计算出每个任务节点的概率，在可执行的任务节点中，选择概率最大的任务节点作为下一个执行节点。
最后，使用启发式DEFT算法计算合适的资源分配及是否复制父节点的决策。依次从资源集合R选出资源rj，根据公式(4)(5)(6)计算任务节点ni在资源rj上的最短完成时间EFT(ni，rj)，并记录到SEFT中；再依次从任务节点n的父节点集合中选个父节点np，根据公式(7)计算复制执行父节点np后再执行任务节点n的最短完成时间，并记录到SCPEFT中，直到所有父节点的复制执行。循环这个过程，直到所有资源都进行了计算。从所有计算的完成时间即SEFT和SCPEFT中，选择其中最短的任务节点完成时间，输出是否复制父节点，复制的父节点np以及对应的资源r。将任务节点按照给出的方案进行分配，更新任务节点的分配信息以及资源r的使用详情。进行下一次任务节点的选择和分配。
本发明实施例提供了一种基于图卷积神经网络的工作流调度方法，相比于传统工作流算法，本发明所提出算法调度质量更高，并且能够适应动态的工作流环境；能够对环境进行深入地学习，具有很强的适应性，能够对包含神经网络的模型进行训练，使其具有良好的泛化性。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于图卷积神经网络的工作流调度方法，其特征在于，所述方法包括：
步骤1：基于图卷积神经网络模型处理任务节点的自身特征和复杂的依赖关系，提取出高维的抽象特征表示；
步骤2：策略网络将所述高维的抽象特征输入到全连接层神经网络进行处理，最后用Softmax层选出下一个将要执行的任务节点；
步骤3：根据选出的任务节点，使用DEFT启发式算法，计算出是否复制任务节点的父节点、复制哪一个父节点和分配到哪个资源上执行的方案；
步骤4：按照步骤3计算出的方案执行分配，更新任务节点分配后的任务信息以及资源信息，重复步骤1进入下一次分配，直到所有已到达的任务节点都得到分配。
2.根据权利要求1所述的方法，其特征在于，所述步骤1中的图卷积神经网络处理分为三个不同层级的聚合处理，对任务特征进行学习和提取，具体包括：
步骤1-1：节点聚合：通过消息传递步骤来计算得到聚合处理后的向量，节点的信息从子节点向父节点依次进行传递，在消息传递过程中，子节点向父节点传递自身信息，父节点对收集到的子节点信息和自身信息进行聚合：
Figure FDA0002907848580000011
其中，函数f(·)和g(·)都是非线性函数，一般可以取f(·)为最大值函数，取g(·)为sigmod函数，ξ(v)表示节点v的所有子节点；向量集合
Figure FDA0002907848580000017
表示在DAG图Gi中的任务节点的特征向量；
Figure FDA0002907848580000013
表示每个节点的聚合过程；聚合的结果
Figure FDA0002907848580000014
是一维的实数向量，表示从任务节点nv能够到达的所有子节点、后代节点的相关信息；
步骤1-2：DAG聚合：图卷积神经网络还对每一个DAG进行计算出一个DAG层级聚合向量，对于每一个DAG Gi，进行函数变换如
Figure FDA0002907848580000015
将每个任务节点的特征向量和节点聚合向量连接起来的向量作为任务节点输入向量，由式(1)计算DAG聚合；
为了完成DAG层级的聚合操作，添加一个虚拟父节点到DAG中，虚拟父节点是DAG中所有任务节点的父节点，每一个DAG中都添加了一个虚拟节点，作为DAG中所有任务节点的共同父节点；
步骤1-3：全局聚合：对于全局所有的DAG，也计算一个全局的聚合向量，同样添加一个虚拟父节点到全局中，所有DAG中添加的虚拟父节点都是它的子节点，它是所有DAG虚拟父节点的父节点
Figure FDA0002907848580000016
全局的聚合向量计算将DAG层级已经计算出的DAG聚合向量作为输入，在此基础上，再执行聚合操作；
步骤1-4：每一层图卷积神经网络模型都通过步骤1-1～步骤1-3的节点聚合、DAG聚合和全局聚合的处理，通过K层的图卷积神经网络处理，使得图卷积神经网络能够获得高维的抽象特征表示，并将它作为输出传递给后续的策略网络进行处理。
3.根据权利要求1所述的方法，其特征在于，所述步骤2使用策略网络，具体包括：
步骤2-1：将图卷积神经网络输出的高维抽象特征表示信息传输多层的全连接的神经网络层中，进行处理：
yk＝φ(Wkx+bk) (2)，
其中，Wk表示第k层的权重，x表示第k层的输入向量，bk为偏执量，yk为表示该全连接层的输出；
步骤2-2：将多层全连接网络的处理结果输入到输层的softmax层进行处理，利用softmax函数，计算出各个节点将要被执行选中的概率：
Figure FDA0002907848580000021
其中，P(v)表示任务节点v的选择概率，
Figure FDA0002907848580000022
表示调度节点v的优先级，j(u)表示节点u的所对应的DAG，At表示可执行的任务节点集合；
步骤2-3：在任务节点中选出满足依赖关系的可执行任务节点，在可执行的任务节点中选择概率最大的任务节点，作为下一个将要执行任务节点，并输出该任务节点。
4.根据权利要求1所述的方法，其特征在于，所述步骤3使用DEFT启发式算法计算任务节点的资源分配方案，具体包括：
步骤3-1：输入策略网络选出的任务节点ni和资源列表R；
步骤3-2：判断资源列表R是否为空，若不为空执行步骤3-3；若为空，执行步骤3-9；
步骤3-3：从资源列表中选择一个资源rj，并将该资源从原有资源列表中删除；
步骤3-4：计算任务节点ni在资源rj上的最短完成时间EFT(ni，rj)，并将结果添加到集合SEFT中，
Figure FDA0002907848580000023
其中，wi表示节点ni的任务量，vj表示资源rj的计算速度；
最早完成时间EST：
Figure FDA0002907848580000024
其中，pred(ni)为ni的父节点集合，np为ni的一个父节点，rp为np分配执行资源集合
Figure FDA0002907848580000031
中的一个资源，epi表示np到ni传输的数据量，cpj表示rp到rj之间的数据传输速率；而AFT(Actual Finish Time)表示实际完成时间，其计算公式为：
Figure FDA0002907848580000032
其中，
Figure FDA0002907848580000033
表示任务节点ni所实际分配到的资源集合，rk表示该集合中的一个资源，AST表实际开始执行时间，AST(ni，rk)表示任务节点ni在资源节点rk上的实际执行时间；
步骤3-5：判断任务节点ni的父节点列表pred(ni)是否为空。若不为空执行步骤3-6，若为空，则执行步骤3-2；
步骤3-6：从父节点列表pred(ni)中选择其中一个父节点np；
步骤3-7：复制父节点np到资源rj上，计算先执行任务节点np，再执行任务节点n的CPEFT(np，ni，rj)时间，并将计算结果添加到SCPEFT中，
Figure FDA0002907848580000034
该式表示复制父节点到所要分配资源上，pred(ni)表示任务节点ni的父节点集合，np表示复制执行的父节点，AFT表示节点在相应资源上的完成时。e表示两个任务节点之间传输的数据量，c表示两个资间数据传输速率，w表示任务节点的任务量，v表示资源执行速率。
步骤3-8：执行步骤3-5；
步骤3-9：在SEFT和SCPEFT中集合中，求最小任务完成时间，并根据所求得的最短任务完成时间，确定任务的资源分配方案，资源分配流程结束。
5.根据权利要求1所述的方法，其特征在于，所述步骤4执行计算出的分配方案并更新相关的信息，具体包括：
步骤4-1：根据DEFT启发式算法计算出来的分配方案，将任务节点分配到相应的资源上；
步骤4-2：更新所分配资源的相关信息；
步骤4-3：将已经分配的任务节点标记为已执行，更新可执行任务节点列表，该节点分配执行流程结束，重复整个流程进行下一个任务节点的分配执行，直至所有任务节点都得到分配。
6.一种基于图卷积神经网络的工作流调度系统，其特征在于，所述系统包括：
模块M1：基于图卷积神经网络模型处理任务节点的自身特征和复杂的依赖关系，提取出高维的抽象特征表示；
模块M2：策略网络将所述高维的抽象特征输入到全连接层神经网络进行处理，最后用Softmax层选出下一个将要执行的任务节点；
模块M3：根据选出的任务节点，使用DEFT启发式算法，计算出是否复制任务节点的父节点、复制哪一个父节点和分配到哪个资源上执行的方案；
模块M4：按照模块M3计算出的方案执行分配，更新任务节点分配后的任务信息以及资源信息，重复模块M1进入下一次分配，直到所有已到达的任务节点都得到分配。
7.根据权利要求6所述的系统，其特征在于，所述模块M1中的图卷积神经网络处理分为三个不同层级的聚合处理，对任务特征进行学习和提取，具体包括：
节点聚合：通过消息传递步骤来计算得到聚合处理后的向量，节点的信息从子节点向父节点依次进行传递，在消息传递过程中，子节点向父节点传递自身信息，父节点对收集到的子节点信息和自身信息进行聚合：
Figure FDA0002907848580000041
其中，函数f(·)和g(·)都是非线性函数，一般可以取f(·)为最大值函数，取g(·)为sigmod函数，ξ(v)表示节点v的所有子节点；向量集合
Figure FDA0002907848580000042
表示在DAG图Gi中的任务节点的特征向量；
Figure FDA0002907848580000043
表示每个节点的聚合过程；聚合的结果
Figure FDA0002907848580000044
是一维的实数向量，表示从任务节点nv能够到达的所有子节点、后代节点的相关信息；
DAG聚合：图卷积神经网络还对每一个DAG进行计算出一个DAG层级聚合向量，对于每一个DAG Gi，进行函数变换如
Figure FDA0002907848580000045
将每个任务节点的特征向量和节点聚合向量连接起来的向量作为任务节点输入向量，由式(1)计算DAG聚合；
为了完成DAG层级的聚合操作，添加一个虚拟父节点到DAG中，虚拟父节点是DAG中所有任务节点的父节点，每一个DAG中都添加了一个虚拟节点，作为DAG中所有任务节点的共同父节点；
全局聚合：对于全局所有的DAG，也计算一个全局的聚合向量，同样添加一个虚拟父节点到全局中，所有DAG中添加的虚拟父节点都是它的子节点，它是所有DAG虚拟父节点的父节点
Figure FDA0002907848580000046
全局的聚合向量计算将DAG层级已经计算出的DAG聚合向量作为输入，在此基础上，再执行聚合操作；
每一层图卷积神经网络模型都通过节点聚合、DAG聚合和全局聚合的处理，通过K层的图卷积神经网络处理，使得图卷积神经网络能够获得高维的抽象特征表示，并将它作为输出传递给后续的策略网络进行处理。
8.根据权利要求6所述的系统，其特征在于，所述模块2使用策略网络，具体包括：
将图卷积神经网络输出的高维抽象特征表示信息传输多层的全连接的神经网络层中，进行处理：
yk＝φ(Wkx+bk) (2)，
其中，Wk表示第k层的权重，x表示第k层的输入向量，bk为偏执量，yk为表示该全连接层的输出；
将多层全连接网络的处理结果输入到输层的softmax层进行处理，利用softmax函数，计算出各个节点将要被执行选中的概率：
Figure FDA0002907848580000051
其中，P(v)表示任务节点v的选择概率，
Figure FDA0002907848580000052
表示调度节点v的优先级，j(u)表示节点u的所对应的DAG，At表示可执行的任务节点集合；
在任务节点中选出满足依赖关系的可执行任务节点，在可执行的任务节点中选择概率最大的任务节点，作为下一个将要执行任务节点，并输出该任务节点。
9.根据权利要求6所述的系统，其特征在于，所述模块3使用DEFT启发式算法计算任务节点的资源分配方案，具体包括：
模块3-1：输入策略网络选出的任务节点ni和资源列表R；
模块3-2：判断资源列表R是否为空，若不为空执行模块3-3；若为空，执行模块3-9；
模块3-3：从资源列表中选择一个资源rj，并将该资源从原有资源列表中删除；
模块3-4：计算任务节点ni在资源rj上的最短完成时间EFT(ni，rj)，并将结果添加到集合SEFT中，
Figure FDA0002907848580000053
其中，wi表示节点ni的任务量，vj表示资源rj的计算速度；
最早完成时间EST：
Figure FDA0002907848580000054
其中，pred(ni)为ni的父节点集合，np为ni的一个父节点，rp为np分配执行资源集合
Figure FDA0002907848580000055
中的一个资源，epi表示np到ni传输的数据量，cpj表示rp到rj之间的数据传输速率；而AFT(Actual Finish Time)表示实际完成时间，其计算公式为：
Figure FDA0002907848580000056
其中，
Figure FDA0002907848580000061
表示任务节点ni所实际分配到的资源集合，rk表示该集合中的一个资源，AST表实际开始执行时间，AST(ni，rk)表示任务节点ni在资源节点rk上的实际执行时间；
模块3-5：判断任务节点ni的父节点列表pred(ni)是否为空。若不为空执行模块3-6，若为空，则执行模块3-2；
模块3-6：从父节点列表pred(ni)中选择其中一个父节点np；
模块3-7：复制父节点np到资源rj上，计算先执行任务节点np，再执行任务节点n的CPEFT(np，ni，rj)时间，并将计算结果添加到SCPEFT中，
Figure FDA0002907848580000062
该式表示复制父节点到所要分配资源上，pred(ni)表示任务节点ni的父节点集合，np表示复制执行的父节点，AFT表示节点在相应资源上的完成时。e表示两个任务节点之间传输的数据量，c表示两个资间数据传输速率，w表示任务节点的任务量，v表示资源执行速率。
模块3-8：执行模块3-5；
模块3-9：在SEFT和SCPEFT中集合中，求最小任务完成时间，并根据所求得的最短任务完成时间，确定任务的资源分配方案，资源分配流程结束。
10.根据权利要求6所述的系统，其特征在于，所述模块4执行计算出的分配方案并更新相关的信息，具体包括：
根据DEFT启发式算法计算出来的分配方案，将任务节点分配到相应的资源上；
更新所分配资源的相关信息；
将已经分配的任务节点标记为已执行，更新可执行任务节点列表，该节点分配执行流程结束，重复整个流程进行下一个任务节点的分配执行，直至所有任务节点都得到分配。
CN202110076869.4A 2021-01-20 2021-01-20 一种基于图卷积神经网络的工作流调度方法及系统 Active CN112711475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110076869.4A CN112711475B (zh) 2021-01-20 2021-01-20 一种基于图卷积神经网络的工作流调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110076869.4A CN112711475B (zh) 2021-01-20 2021-01-20 一种基于图卷积神经网络的工作流调度方法及系统

Publications (2)

Publication Number Publication Date
CN112711475A true CN112711475A (zh) 2021-04-27
CN112711475B CN112711475B (zh) 2022-09-06

Family

ID=75549346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110076869.4A Active CN112711475B (zh) 2021-01-20 2021-01-20 一种基于图卷积神经网络的工作流调度方法及系统

Country Status (1)

Country Link
CN (1) CN112711475B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222468A (zh) * 2021-06-02 2021-08-06 中国电子科技集团公司第五十四研究所 一种基于深度强化学习的成像卫星资源调度方法
CN113419830A (zh) * 2021-06-23 2021-09-21 鹤壁国立光电科技股份有限公司 一种基于神经网络的多维度调度方法及系统
CN113946424A (zh) * 2021-10-28 2022-01-18 广东工业大学 基于图卷积网络的软硬件划分和任务调度模型及其方法
CN114995986A (zh) * 2022-08-03 2022-09-02 杭州远眺科技有限公司 大数据作业调度控制方法、系统和可读存储介质
CN115686846A (zh) * 2022-10-31 2023-02-03 重庆理工大学 边缘计算中融合图神经网络和强化学习的容器集群在线部署方法
WO2023201893A1 (zh) * 2022-04-20 2023-10-26 苏州浪潮智能科技有限公司 一种计算任务调度方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200057675A1 (en) * 2018-08-16 2020-02-20 EMC IP Holding Company LLC Workflow optimization
CN111427681A (zh) * 2020-02-19 2020-07-17 上海交通大学 边缘计算中基于资源监控的实时任务匹配调度系统和方法
CN111694656A (zh) * 2020-04-22 2020-09-22 北京大学 基于多智能体深度强化学习的集群资源调度方法及系统
CN111723914A (zh) * 2020-06-22 2020-09-29 中山大学 一种基于卷积核预测的神经网络架构搜索方法
CN111756653A (zh) * 2020-06-04 2020-10-09 北京理工大学 基于图神经网络深度强化学习的多coflow调度方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200057675A1 (en) * 2018-08-16 2020-02-20 EMC IP Holding Company LLC Workflow optimization
CN111427681A (zh) * 2020-02-19 2020-07-17 上海交通大学 边缘计算中基于资源监控的实时任务匹配调度系统和方法
CN111694656A (zh) * 2020-04-22 2020-09-22 北京大学 基于多智能体深度强化学习的集群资源调度方法及系统
CN111756653A (zh) * 2020-06-04 2020-10-09 北京理工大学 基于图神经网络深度强化学习的多coflow调度方法
CN111723914A (zh) * 2020-06-22 2020-09-29 中山大学 一种基于卷积核预测的神经网络架构搜索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨鹏: "云计算中最小化任务完工时间的多资源调度算法", 《计算机应用与软件》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222468A (zh) * 2021-06-02 2021-08-06 中国电子科技集团公司第五十四研究所 一种基于深度强化学习的成像卫星资源调度方法
CN113222468B (zh) * 2021-06-02 2022-04-08 中国电子科技集团公司第五十四研究所 一种基于深度强化学习的成像卫星资源调度方法
CN113419830A (zh) * 2021-06-23 2021-09-21 鹤壁国立光电科技股份有限公司 一种基于神经网络的多维度调度方法及系统
CN113419830B (zh) * 2021-06-23 2023-02-03 鹤壁国立光电科技股份有限公司 一种基于神经网络的多维度调度方法及系统
CN113946424A (zh) * 2021-10-28 2022-01-18 广东工业大学 基于图卷积网络的软硬件划分和任务调度模型及其方法
CN113946424B (zh) * 2021-10-28 2024-08-27 广东工业大学 基于图卷积网络的软硬件划分和任务调度模型及其方法
WO2023201893A1 (zh) * 2022-04-20 2023-10-26 苏州浪潮智能科技有限公司 一种计算任务调度方法、装置、电子设备及可读存储介质
CN114995986A (zh) * 2022-08-03 2022-09-02 杭州远眺科技有限公司 大数据作业调度控制方法、系统和可读存储介质
CN115686846A (zh) * 2022-10-31 2023-02-03 重庆理工大学 边缘计算中融合图神经网络和强化学习的容器集群在线部署方法

Also Published As

Publication number Publication date
CN112711475B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN112711475B (zh) 一种基于图卷积神经网络的工作流调度方法及系统
Zhu et al. An efficient evolutionary grey wolf optimizer for multi-objective flexible job shop scheduling problem with hierarchical job precedence constraints
Zheng et al. A cooperative coevolution algorithm for multi-objective fuzzy distributed hybrid flow shop
CN112085204B (zh) 一种用于量子编译的线路变换方法
Shen et al. Mathematical modeling and multi-objective evolutionary algorithms applied to dynamic flexible job shop scheduling problems
Yesil et al. Fuzzy cognitive maps learning using artificial bee colony optimization
CN105045095B (zh) 一种多无人机应急救灾任务分配方法
WO2021088436A1 (zh) 一种用于多语言协同开发的项目调度方法及装置
CN103235743A (zh) 一种基于分解和最优解跟随策略的多目标测试任务调度方法
Chopra et al. An improved particle swarm optimization using simplex-based deterministic approach for economic-emission power dispatch problem
Sajadi et al. A new fuzzy multi-objective multi-mode resource-constrained project scheduling model
Boveiri An incremental ant colony optimization based approach to task assignment to processors for multiprocessor scheduling
CN114912357A (zh) 基于用户模型学习的多任务强化学习用户运营方法及系统
Sun et al. A teaching-learning-based optimization with feedback for LR fuzzy flexible assembly job shop scheduling problem with batch splitting
Pérez et al. Parallel/distributed implementation of cellular training for generative adversarial neural networks
Borsodi et al. Generative Design: An overview and its relationship to artificial intelligence
Zhu et al. Modified bat algorithm for the multi-objective flexible job shop scheduling problem
CN111190711B (zh) Bdd结合启发式a*搜索的多机器人任务分配方法
CN113220437B (zh) 一种工作流多目标调度方法及装置
CN115526417A (zh) 多无人车任务分配方法、装置、车辆及存储介质
CN102289749A (zh) 基于多智能体协同进化的任务排序方法
CN113255914A (zh) 一种结构化表示智能体目标实现过程的方法
Korablyov et al. Dendritic Artificial Immune Network Model for Computing.
Whalen Enhancing surrogate models of engineering structures with graph-based and physics-informed learning
CN114860435B (zh) 基于任务选择过程强化学习的大数据作业调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant