CN112181656A - 一种数据密集型工作流调度方法及系统 - Google Patents

一种数据密集型工作流调度方法及系统 Download PDF

Info

Publication number
CN112181656A
CN112181656A CN202011058986.XA CN202011058986A CN112181656A CN 112181656 A CN112181656 A CN 112181656A CN 202011058986 A CN202011058986 A CN 202011058986A CN 112181656 A CN112181656 A CN 112181656A
Authority
CN
China
Prior art keywords
data
workflow
task
tasks
resources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011058986.XA
Other languages
English (en)
Inventor
徐猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Technology and Business University
Original Assignee
Shandong Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Technology and Business University filed Critical Shandong Technology and Business University
Priority to CN202011058986.XA priority Critical patent/CN112181656A/zh
Publication of CN112181656A publication Critical patent/CN112181656A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种数据密集型工作流调度方法及系统，所述方法包括以下步骤：以工作流中的任务为顶点，根据任务之间的时间关系建立有向边，得到工作流对应的有向无环图；根据计算资源、数据资源和带宽资源，建立数据资源矩阵和带宽矩阵；基于最小数据传输时间的方法，对工作流中任务的执行顺序、计算资源和数据资源进行调度。本发明通过对工作流关键路径进行分析，得到工作流的关键特征，充分考虑工作流的关键特征，通过使用以数据为中心的算法来减少数据传输时间，将数据密集型工作流程的总体工作量最小化。

Description

一种数据密集型工作流调度方法及系统
技术领域
本发明属于工作流任务调度技术领域，尤其涉及一种数据密集型工作流调度方法及系统。
背景技术
随着科学界和企业界中数据密集型工作流应用的出现，如何有效地对数据密集型工作流程进行调度得到了越来越多的关注。数据密集型工作流程需要访问、处理和传输那些可能在不同数据主机上都有副本的大型数据集，由于这些数据集大，执行时间受数据传输成本的限制。要做到最小化这些数据集传输到执行工作流任务的计算源的时间，需要选择适当的调度策略来最大限度地减少数据密集型工作流的总体使用时间和数据传输的时间。
数据密集型计算环境由生产、操纵或分析数千兆字节到百万兆字节和超出范围内的数据的应用程序组成。这些数据被组织成数据集，通常存储在大容量存储系统中。来自不同位置的用户可以对数据集进行访问，用户可以创建数据集的本地副本，以减少广域数据传输所带来的延迟，从而提高应用性能。数据网格中聚合了计算、存储和网络资源以提供其组合功能。此外，数据网格为需要访问、处理和传输存储在分布式存储库中的大型数据集的分布式数据密集型应用程序提供了诸如低延迟传输协议和数据复制机制等服务。
当前已经开发了许多网格工作流算法，如：DCP-G(网格动态关键路径)算法，在动态网格环境中将工作流中的任务映射到异构资源。但是在某些情况下DCP-G比其他一些算法(如Min-Min和Max-Min)更差，而且典型的网格工作流调度算法，并不是为数据密集型工作流专门设计的，例如贪心随机自适应搜索过程算法，并不会将工作流作为一个整体考虑。由于已安排的任务可能会影响到非计划任务，应该在安排一些任务后，给予每个任务一个权重，并更新权重。异构最早完成时间算法将整个工作流程视为一个整体，并计算平均成本来排序任务。基于DCP-G算法的工作流调度算法，通过在每一步计算工作流任务图中的关键路径来确定任务的有效映射，关键路径上的任务具有最高优先级，但有时候这并不是最佳的选择。
发明内容
为克服上述现有技术的不足，本发明提供了一种数据密集型工作流调度方法及系统，通过充分考虑工作流的关键特征，通过使用以数据为中心的算法来减少数据传输时间，将数据密集型工作流程的总体工作量最小化。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一种数据密集型工作流调度方法，包括以下步骤：
以工作流中的任务为顶点，根据任务之间的时间关系建立有向边，得到工作流对应的有向无环图；
根据计算资源、数据资源和带宽资源，建立数据资源矩阵和带宽矩阵；
基于最小数据传输时间的方法，对工作流中任务的执行顺序、计算资源和数据资源进行调度。
一个或多个实施例提供了一种数据密集型工作流调度系统，其特征在于，包括：
工作流建模模块，以工作流中的任务为顶点，根据任务之间的时间关系建立有向边，得到工作流对应的有向无环图；
资源矩阵建立模块，根据计算资源、数据资源和带宽资源，建立数据资源矩阵和带宽矩阵；
任务调度模块，基于最小数据传输时间的方法，对工作流中任务的执行顺序、计算资源和数据资源进行调度。
一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述数据密集型工作流调度方法。
一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述数据密集型工作流调度方法。以上一个或多个技术方案具有以下有益效果：
通过对工作流关键路径进行分析，得到工作流的关键特征，充分考虑工作流的关键特征，通过使用以数据为中心的算法来减少数据传输时间，将数据密集型工作流程的总体工作量最小化。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明一个或多个实施例中数据密集型工作流调度方法流程图；
图2为本发明一个或多个实施例中工作流对应的有向无环图示意图；
图3为本发明一个或多个实施例中三个主机资源分配示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例公开了一种数据密集型工作流调度方法，如图1所示，包括以下步骤：
步骤1：以工作流中的任务为顶点，根据任务之间的时间关系建立有向边，得到工作流对应的有向无环图；
将工作流建模为一个有向无环图G＝(V,E)。图的顶点表示工作流的任务，图的边表示两个任务间的时间关系。
令V为任务Ti(1≤i≤n)的有限集合。令E是有向边的集合。每个边由(Ti，Tj)表示，对应于任务Ti和Tj之间的时间关系，其中Ti被称为Tj的直接父任务，Tj是Ti的直接子任务；在其所有父任务完成之前无法执行子任务。然后，工作流应用可以被描述为元组G(V,E)。
所述有向无环图应保证只有一个入口任务和一个退出任务，如图2所示。具体地，没有任何父任务的任务称为入口任务，表示为Tentry，没有任何子任务的任务称为退出任务，表示为Texit。如果给定的工作流在工作流图中包含多个入口任务或退出任务，我们可以通过添加一个零成本伪入口或零成本伪出口，将零成本伪入口分别与多个入口任务连接，将多个退出任务连接至零成本伪出口生成新工作流，而不影响对工作流的调度。
步骤2：根据计算资源和数据资源建立资源矩阵；
我们认为一个网格由计算主机和数据主机组成。计算主机提供计算能力，而数据主机提供数据存储能力。计算主机和数据主机分别被认为是计算资源和数据资源。一个主机可以是计算资源，也可以是数据资源，也可以同时承担。我们考虑逻辑网络拓扑，其中每个资源通过不同的逻辑网络链路连接到每个其他资源，其容量由资源之间的物理网络的瓶颈带宽给出。
有N个计算主机可以完成任务，M个数据主机可以存储数据资源。同时存在可以位于一个或多个数据主机上的K个数据资源。然后可以获得数据资源矩阵DM×K，带宽矩阵WM×N和资源矩阵R1×K，其中，M表示主机个数，K表示数据资源数量，N表示带宽数量。
如图3，以三个主机为例，Host1，Host2和Host3具有计算和存储功能。Host1主机存储1000M数据，即数据资源1。Host2具有数据资源2和数据资源3，均为100M。数据资源3同时存储在Host3中。Host1和Host2，Host1和Host3，Host2和Host3之间的带宽分别为100M，10M，10M。
数据资源矩阵表示为
Figure BDA0002711755990000051
矩阵的行表示数据主机，而列表示数据资源。D[i][j]表示数据主机i是否具有数据资源j。1表示是，∞表示否。
带宽矩阵表示为
Figure BDA0002711755990000052
W[i][j]表示数据主机i与计算主机j之间的带宽。如果数据主机i和计算主机j是相同的主机，则W[i][j]被分配∞。
可以得到一个资源矩阵R1×M。R[i]表示第i个数据资源的大小。R表示出了该示例的资源矩阵。
步骤3：基于最小传输时间方法，确定任务执行顺序和资源分配方案。
步骤3.1：获取每个任务所在的所有路径，根据各个路径的花费，得到每个任务的权重。具体包括：
(1)根据工作流相应的有向无环图，计算入口任务Tentry到退出任务Texit之间所有路径的花费；
所述花费并非实际的时间花费，而是根据路径上任务的多少得到的花费，例如，入口任务到退出任务之间的某条路径上一共经过了3个任务，那么该路径的花费记为4。
入口任务到退出任务之间所有路径中花费最长的路径即关键路径。
(2)对于每个任务，获取其所在的所有路径和相应花费，将其中的最大花费记为该任务的权重。
对于每个任务，在当前可用资源的基础上，计算执行该任务的每条路径的时间花费，将最大的时间花费作为该任务的权重；
上述权重表示任务在工作流中所有任务中的重要性，用于辅助下一步确定各个任务的优先级。
关键路径上的任务具有最高优先级，可能增加不在关键路径上的任务的执行时间不会延迟工作流的完成，但是如果任务不在关键路径上的资源被安排在执行时间太长，连续任务无法补偿时间延长的情况下，这不是最佳选择。因此，还需结合任务的时间花费进行优先级确定。
步骤3.2：获取父任务已完成的未调度任务集，根据权重和时间花费，确定各个任务的优先级。父任务已完成的未调度任务集包括所有其父任务已经完成的但自身还未调度的任务。该步骤具体包括：
(1)获取父任务已完成的未调度任务集，若该任务集中仅有一个任务，直接执行步骤3.3，否则，确定其中权重最高的任务；
(2)对于每个任务，计算其在当前所有空闲资源上的最早完成时间，得到完成时间最短的两个时间花费；
(3)根据权重和任务完成的时间花费，判断权重最高的任务以及任务集中其他任务之间的优先级。具体地，优先级比较规则如下：
weight(t1)+second_best_cost(t1)-best_cost(t1)<weight(t)+second_best_cos t(t)-best_cost(t)
式中，t1表示权重最高的任务，t表示任务集中其他任一任务；weight(t1)表示t1的权重，best_cost(t1)和second_best_cost(t1)分别表示t1完成时间最短的时间花费和第二短的时间花费；weight(t)表示t的权重，best_cost(t)和second_best_cost(t)分别表示t完成时间最短的时间花费和第二短的时间花费。
步骤3.3：根据最小数据传输时间(MDTT)算法计算待调度任务的资源分配，所述资源分配包括计算资源和数据资源的资源分配。具体包括：
(1)获取待调度任务所需的数据资源类型和数据资源大小；
(2)对于所需的每个数据资源类型，根据数据资源矩阵和该数据资源大小，得到拥有该数据资源的数据主机，以及各主机中该数据资源的大小；
对于资源Ri∈R，则将Ri的资源大小和矩阵DM×1[][i]相乘得到HM×1[i]，即得到拥有资源Ri的主机拥有Ri的资源大小的矩阵。
HM×1[i]×I1×N得到FM×N[i]，其中I中所有元素都为1，即得到N行HM×1[i]矩阵；
(3)根据各个数据资源在各个主机中的分布和大小，以及带宽矩阵，得到传输时间矩阵；所述传输时间矩阵包括三个维度：前两个维度均表示主机，第三个维度表示传输时间，矩阵中的元素表示各个数据资源在主机之间两两传输所需的时间；
计算TM×N×K[][][i]＝FM×N[i]/WM×N，即将得到的FM×N[i]除以带宽矩阵，得到一个传输时间矩阵TM×N×K；元素TM×N×K[a][b][c]表示第c个数据资源从主机a传输到主机b所需的时间。
(4)根据数据传输矩阵，对待调度任务所需的每个数据资源计算传输时间最短时对应的数据主机和计算主机。
依次将每个主机作为数据资源传输的目标计算主机i，对于目标计算主机i，均执行以下判断：
①对于待调度任务所需的每个数据资源，将其他主机视为数据主机，根据传输时间矩阵，计算各个数据主机将该数据资源传输至目标计算主机所需的时间，得到该数据资源传输至目标计算主机所需的最短传输时间和相应主机；
②获取各个数据资源传输至目标计算主机所需时间最短的相应数据主机，将该数据资源、相应数据主机和目标主机加入该任务的资源集合中。
具体包括：化全局最短时间minTime为正无穷，当前最小传输时间min为0，对i∈[0,N)进行循环；
在i循环内部，对待调度任务所需的数据资源j∈[0,k)进行循环；
让min＝min+min(TM×N×K[][i][j]),min(TM×N×K[][i][j])中矩阵T的第一个维度即为第j个数据集所在数据主机，将该数据主机加入到所需数据主机集合中，直到结束j循环。TM×N×K[][i][j]表示第j个资源从其他主机传输至第i个主机所需的时间，min(TM×N×K[][i][j])即为这些时间中的最短时间。
如果min<minTime,则将min赋值给minTime,i即为计算主机的id，数据主机集合即为所需数据集对应的数据主机方案。
直到结束i循环。
(5)返回步骤3.2，获取下一个待调度任务，重新执行步骤3.1。
实施例二
本实施例的目的是提供一种数据密集型工作流调度系统。包括：
工作流建模模块，以工作流中的任务为顶点，根据任务之间的时间关系建立有向边，得到工作流对应的有向无环图；
资源矩阵建立模块，根据计算资源、数据资源和带宽资源，建立数据资源矩阵和带宽矩阵；
任务调度模块，基于最小数据传输时间的方法，对工作流中任务的执行顺序、计算资源和数据资源进行调度。
实施例三
本实施例的目的是提供一种电子设备。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤，包括：
以工作流中的任务为顶点，根据任务之间的时间关系建立有向边，得到工作流对应的有向无环图；
根据计算资源、数据资源和带宽资源，建立数据资源矩阵和带宽矩阵；
基于最小数据传输时间的方法，对工作流中任务的执行顺序、计算资源和数据资源进行调度。
实施例四
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：
以工作流中的任务为顶点，根据任务之间的时间关系建立有向边，得到工作流对应的有向无环图；
根据计算资源、数据资源和带宽资源，建立数据资源矩阵和带宽矩阵；
基于最小数据传输时间的方法，对工作流中任务的执行顺序、计算资源和数据资源进行调度。
以上实施例二至四装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种数据密集型工作流调度方法，其特征在于，包括以下步骤：
以工作流中的任务为顶点，根据任务之间的时间关系建立有向边，得到工作流对应的有向无环图；
根据计算资源、数据资源和带宽资源，建立数据资源矩阵和带宽矩阵；
基于最小数据传输时间的方法，对工作流中任务的执行顺序、计算资源和数据资源进行调度。
2.如权利要求1所述的一种数据密集型工作流调度方法，其特征在于，若工作流包括多个入口任务或多个退出任务，添加一个零成本伪入口或零成本伪出口，将零成本伪入口分别与多个入口任务连接，将多个退出任务连接至零成本伪出口生成新工作流。
3.如权利要求1所述的一种数据密集型工作流调度方法，其特征在于，所述数据资源矩阵用于记录各个计算主机中包含的数据资源；所述带宽矩阵用于记录计算主机两两之间的带宽。
4.如权利要求1所述的一种数据密集型工作流调度方法，其特征在于，对工作流中任务的执行顺序进行调度包括：
获取每个任务所在的所有路径，根据各个路径的花费，得到每个任务的权重；
获取父任务已完成的未调度任务集，根据权重和时间花费，确定各个任务的优先级。
5.如权利要求4所述的一种数据密集型工作流调度方法，其特征在于，所述得到每个任务的权重包括：
根据工作流相应的有向无环图，计算入口任务Tentry到退出任务Texit之间所有路径的花费；
对于每个任务，获取其所在的所有路径和相应花费，将其中的最大花费记为该任务的权重。
6.如权利要求5所述的一种数据密集型工作流调度方法，其特征在于，确定各个任务的优先级包括：
获取父任务已完成的未调度任务集，确定其中权重最高的任务；
对于每个任务，计算其在当前所有空闲资源上的最早完成时间，得到完成时间最短的两个时间花费；
根据权重和任务完成的时间花费，判断权重最高的任务以及任务集中其他任务之间的优先级。
7.如权利要求1所述的一种数据密集型工作流调度方法，其特征在于，对待执行任务的计算资源和数据资源进行调度包括：
获取待调度任务所需的数据资源类型和数据资源大小；
对于所需的每个数据资源类型，根据数据资源矩阵和该数据资源大小，得到拥有该数据资源的数据主机，以及各主机中该数据资源的大小；
根据各个数据资源在各个主机中的分布和大小，以及带宽矩阵，得到传输时间矩阵；
根据数据传输矩阵，对待调度任务所需的每个数据资源计算传输时间最短时对应的数据主机和计算主机。
8.一种数据密集型工作流调度系统，其特征在于，包括：
工作流建模模块，以工作流中的任务为顶点，根据任务之间的时间关系建立有向边，得到工作流对应的有向无环图；
资源矩阵建立模块，根据计算资源、数据资源和带宽资源，建立数据资源矩阵和带宽矩阵；
任务调度模块，基于最小数据传输时间的方法，对工作流中任务的执行顺序、计算资源和数据资源进行调度。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述数据密集型工作流调度方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述数据密集型工作流调度方法。
CN202011058986.XA 2020-09-30 2020-09-30 一种数据密集型工作流调度方法及系统 Pending CN112181656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011058986.XA CN112181656A (zh) 2020-09-30 2020-09-30 一种数据密集型工作流调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011058986.XA CN112181656A (zh) 2020-09-30 2020-09-30 一种数据密集型工作流调度方法及系统

Publications (1)

Publication Number Publication Date
CN112181656A true CN112181656A (zh) 2021-01-05

Family

ID=73945610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011058986.XA Pending CN112181656A (zh) 2020-09-30 2020-09-30 一种数据密集型工作流调度方法及系统

Country Status (1)

Country Link
CN (1) CN112181656A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325525A (en) * 1991-04-04 1994-06-28 Hewlett-Packard Company Method of automatically controlling the allocation of resources of a parallel processor computer system by calculating a minimum execution time of a task and scheduling subtasks against resources to execute the task in the minimum time
CN104239141A (zh) * 2014-09-05 2014-12-24 北京邮电大学 数据中心中基于工作流关键路径的任务优化调度方法
CN107301500A (zh) * 2017-06-02 2017-10-27 北京工业大学 一种基于关键路径任务前瞻的工作流调度方法
CN110287011A (zh) * 2019-06-17 2019-09-27 南通大学 一种基于局部路径与截止期限分配的云工作流调度算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325525A (en) * 1991-04-04 1994-06-28 Hewlett-Packard Company Method of automatically controlling the allocation of resources of a parallel processor computer system by calculating a minimum execution time of a task and scheduling subtasks against resources to execute the task in the minimum time
CN104239141A (zh) * 2014-09-05 2014-12-24 北京邮电大学 数据中心中基于工作流关键路径的任务优化调度方法
CN107301500A (zh) * 2017-06-02 2017-10-27 北京工业大学 一种基于关键路径任务前瞻的工作流调度方法
CN110287011A (zh) * 2019-06-17 2019-09-27 南通大学 一种基于局部路径与截止期限分配的云工作流调度算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MENG XU.ET.AL.: "A Data-Intensive Workflow Scheduling Algorithm for Grid Computing", 《2009 FOURTH CHINAGRID ANNUAL CONFERENCE》 *
祝家钰等: "云计算环境下基于路径优先级的任务调度算法", 《计算机工程与设计》 *
陶勇等: "基于动态关键路径的云工作流调度算法", 《计算机应用研究》 *

Similar Documents

Publication Publication Date Title
JP4781089B2 (ja) タスク割り当て方法およびタスク割り当て装置
Ishii et al. Elastic stream computing with clouds
Hu et al. Scheduling real-time parallel applications in cloud to minimize energy consumption
WO2019179250A1 (zh) 调度方法、调度器、存储介质及系统
US9141436B2 (en) Apparatus and method for partition scheduling for a processor with cores
Bok et al. An efficient MapReduce scheduling scheme for processing large multimedia data
CN116070682B (zh) 神经元计算机操作系统的snn模型动态映射方法及装置
Ji et al. Adaptive workflow scheduling for diverse objectives in cloud environments
Qureshi et al. Grid resource allocation for real-time data-intensive tasks
Shabeera et al. Optimising virtual machine allocation in MapReduce cloud for improved data locality
Cao et al. Distributed workflow mapping algorithm for maximized reliability under end-to-end delay constraint
CN105740249B (zh) 一种大数据作业并行调度过程中的处理方法及其系统
Beigrezaei et al. Minimizing data access latency in data grids by neighborhood‐based data replication and job scheduling
Niethammer et al. An MPI interface for application and hardware aware Cartesian topology optimization
CN108228323A (zh) 基于数据本地性的Hadoop任务调度方法及装置
CN117579701A (zh) 一种移动边缘网络计算卸载方法及系统
CN114860417B (zh) 多核神经网络处理器及用于该处理器多任务分配调度方法
CN112181656A (zh) 一种数据密集型工作流调度方法及系统
CN117290006A (zh) 面向vec的依赖性任务卸载和服务缓存联合优化方法
CN116737370A (zh) 一种多资源调度方法、系统、存储介质及终端
Hamdi et al. Dynamic load-balancing of image processing applications on clusters of workstations
Fang et al. A Scheduling Strategy for Reduced Power Consumption in Mobile Edge Computing
CN116048759A (zh) 数据流的数据处理方法、装置、计算机和存储介质
Chen et al. A real-time scheduling strategy based on processing framework of Hadoop
Fu et al. Improving Data Locality of Tasks by Executor Allocation in Spark Computing Environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105