CN110084507B - 云计算环境下分级感知的科学工作流调度优化方法 - Google Patents

云计算环境下分级感知的科学工作流调度优化方法 Download PDF

Info

Publication number
CN110084507B
CN110084507B CN201910334185.2A CN201910334185A CN110084507B CN 110084507 B CN110084507 B CN 110084507B CN 201910334185 A CN201910334185 A CN 201910334185A CN 110084507 B CN110084507 B CN 110084507B
Authority
CN
China
Prior art keywords
task
workflow
nodes
category
scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910334185.2A
Other languages
English (en)
Other versions
CN110084507A (zh
Inventor
傅小康
琚春华
魏致善
林路
邹江波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinyada Technology Co ltd
Zhejiang Gongshang University
Original Assignee
Sinyada Technology Co ltd
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sinyada Technology Co ltd, Zhejiang Gongshang University filed Critical Sinyada Technology Co ltd
Priority to CN201910334185.2A priority Critical patent/CN110084507B/zh
Publication of CN110084507A publication Critical patent/CN110084507A/zh
Application granted granted Critical
Publication of CN110084507B publication Critical patent/CN110084507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种云计算环境下分级感知的科学工作流调度优化方法，其中，方法包括：获取工作流模型中各科学工作流的任务集和云资源模型中的资源集；利用预设的工作流执行模型，在资源集中资源的约束条件下，调用基于分级工作聚类算法对所述任务集中每个任务的排程进行聚类优化；执行优化后的排程任务。本发明能够提高科学工作流的并行执行能力，并且降低系统开销和资源的浪费。

Description

云计算环境下分级感知的科学工作流调度优化方法
技术领域
本发明涉及计算机技术领域，尤其涉及一种云计算环境下分级感知的科学工作流调度优化方法。
背景技术
科学工作流是业务过程的部分或整体的自动化执行，参与者为实现某些标准或预期的业务目标，根据一系列过程规则自动将文档、信息或任务进行相互传递的过程。而云计算环境下的科学工作流，简称“云科学工作流”，是云计算与科学工作流相关技术的整合，能有效提高云计算的服务质量，在需要高效计算性能和大规模存储支撑的跨组织业务协作、科学计算等领域具有广泛的应用前景。云科学工作流调度是指在满足科学工作流任务时序和用户需要约束下如何把工作流任务映射/分配到合适的云计算资源(虚拟机)上，以及如何安排被分配到云计算资源(虚拟机)上的任务的执行顺序。
在云计算环境下，通常配置有型号不一定相同的众多主机；工作流执行时，通常以虚拟机作为计算资源的最小分配单位负责接收并处理工作流任务，而虚拟机是建立在单台主机中的，由主机给其分配计算能力、带宽。
科学工作流通常包括执行时间长短不一的计算任务，在分布式环境下，对一些执行时间短的任务来说，队列等待时间、调度的时间开销比任务本身的执行时间更久。因而，在云计算环境下，聚类被广泛用于科学工作流调度优化中，其原理是将多个执行时间短的任务组合到一个类，以便其在一个资源上进行调度，这有利于最小化任务的调度开销。但是，工作流任务分组和工作流的并行性存在矛盾，太多的分组会减少任务的并行效率，会产生低效率的并行线程。容易导致分布式环境下工作流执行过程中并行效率低和系统负载过量的问题。
发明内容
本发明提供的云计算环境下分级感知的科学工作流调度优化方法，其主要目的在于解决现有的上述问题。
为解决上述技术问题，本发明采用如下技术方案：
一种云计算环境下分级感知的科学工作流调度优化方法，包括以下步骤；
获取工作流模型中各科学工作流的任务集和云资源模型中的资源集；
利用预设的工作流执行模型，在资源集中资源的约束条件下，调用基于分级工作聚类算法对所述任务集中每个任务的排程进行聚类优化；
执行优化后的排程任务。
作为一种可实施方式，本发明提供的云计算环境下分级感知的科学工作流调度优化方法，还包括以下步骤；
通过向非循环的图建立工作流模型W=(T，E)；
其中，T为任务，是由子任务组成的集合，即T={t1，t2，…，tn}；t1，t2，…，tn为子任务；E为各子任务直接的有向连接边。
作为一种可实施方式，本发明提供的云计算环境下分级感知的科学工作流调度优化方法，还包括以下步骤；
根据存储能力和计算能力将虚拟机进行划分并虚拟建立云资源模型。
作为一种可实施方式，所述利用预设的工作流执行模型，在资源集中资源的约束条件下，调用基于分级工作聚类算法对所述任务集中每个任务的排程进行聚类优化，包括以下步骤；
为底层的任务配置虚拟结束节点作为最底层节点，从最底层节点开始逐层往上对每个当前任务节点的父任务节点进行聚类，并统计聚类结果产生的类别数量；
判断类别数量是否大于资源集中可使用的资源数量；
若类别数量大于资源集中可使用的资源数量，则根据可使用的资源数量类别调整算法对各类别进行调整， 并为调整后的每层父任务节点的类别配置对应的资源；
若类别数量小于等于资源集中可使用的资源数量，则为每层父任务节点的类别配置对应的资源。
作为一种可实施方式，所述从最底层节点开始逐层往上对每个当前任务节点的父任务节点进行聚类，包括以下步骤；
从最底层节点开始逐层往上，根据当前任务节点的父任务节点的运行和当前任务节点的入度，对父任务节点进行聚类。
作为一种可实施方式，所述从最底层节点开始逐层往上，根据当前任务节点的父任务节点的运行和当前任务节点的入度，对父任务节点进行聚类，包括以下步骤；
从最底层节点开始，逐层往上根据排序规则对当前任务节点的父任务节点进行排序；并根据排序结果、当前任务节点的父任务节点的运行以及当前任务节点的入度，将父任务节点进行聚类。
作为一种可实施方式，所述排序规则包括第一排序规则和第二排序规则；
所述第一排序规则为根据当前任务节点的父任务节点的最长执行时间进行升序排序；
所述第二排序规则为如果两个任务节点的父任务节点的最长执行时间相同，那么再根据任务节点的入度进行升序排列。
作为一种可实施方式，所述执行优化后的排程任务，包括以下步骤；
根据排程结果调用资源执行任务，并对本地任务的执行和远程资源使用的实施任务运行监控。
作为一种可实施方式，所述根据可使用的资源数量类别调整算法对各类别进行调整，包括以下步骤；
初始化类别列表为空，并设定可使用的资源数量；
计算每个类别所包含的任务的总执行时间，并按照总执行时间对类别进行降序排列；
获取当前正在处理的类别，并找出上述列表中排序最后的类别，选择与该类别对应的任务节点按照执行时间均匀分组到剩余类别中。
作为一种可实施方式，本发明提供的云计算环境下分级感知的科学工作流调度优化方法，还包括以下步骤；
在按照总执行时间对类别进行降序排列后，如果存在两个类别或两个以上任务节点的总执行时间相同，则按照任务节点间的共同子任务节点数量进行升序排列。
与现有技术相比，本技术方案具有以下优点：
本发明提供的云计算环境下分级感知的科学工作流调度优化方法，利用预设的工作流执行模型，在资源集中资源的约束条件下，调用基于分级工作聚类算法对任务集中每个任务的排程进行聚类优化；并执行优化后的排程任务；从而提高科学工作流的并行执行能力，并且降低系统开销和资源的浪费。
附图说明
图1为本发明实施例一提供的云计算环境下分级感知的科学工作流调度优化方法的流程示意图；
图2为本发明实施例一中工作流执行模型的结构示意图；
图3为本发明实施例一中父任务节点聚类优化的流程示意图；
图4为本发明实施例一中任务节点t聚类的流程示意图；
图5为本发明实施例一中受资源数量约束的类别调整的流程示意图。
图中：1、工作流提交单元；2、工作流执行单元。
具体实施方式
以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。
请参阅图1，本发明实施例一提供的云计算环境下分级感知的科学工作流调度优化方法，包括以下步骤；
S100、获取工作流模型中各科学工作流的任务集和云资源模型中的资源集；
S200、利用预设的工作流执行模型，在资源集中资源的约束条件下，调用基于分级工作聚类算法对任务集中每个任务的排程进行聚类优化；
S300、执行优化后的排程任务。
于本实施例中，涉及的工作流模型、云资源模型以及工作流执行模型；工作流模型是通过向非循环的图建立的。工作流模型W=(T，E)；其中，T为任务，是由子任务组成的集合，即T={t1，t2，…，tn}；t1，t2，…，tn为子任务；E为各子任务直接的有向连接边。这些连接边代表了子任务之间的依赖关系。且子任务只有在其所有的父任务执行完成后才能开始执行。任务集是所有任务的集合，包括任务和子任务；每个任务都相当于一个节点，在同级的所有任务节点为一个层级。云资源模型是根据存储能力和计算能力将虚拟机进行划分并虚拟建立的；云资源模型由云计算中基础设施，即服务IaaS中的虚拟化资源。而每个虚拟机的配置由CPU种类、内存以及硬盘空间等不同而不同。资源集为所有资源的集合，即虚拟化资源。
工作流执行模型包括工作流提交单元1和工作流执行单元2，如图2所示；工作流提交单元1包括工作流映射子单元、本地执行引擎、任务排程和本地队列子单元；工作流映射子单元用于根据用户的请求生成工作流抽象图，为其匹配工作流执行所需的软件、数据以及计算资源。应用工作流重组技术，提高计算粒度，并减少工作流执行开销。本地执行引擎，用于提交工作流中的任务进行排程，根据依赖关系执行工作流的任务。任务排程和本地队列子单元用于本地任务的执行和远程资源的监控。工作流执行单元2包括子任务打包子单元和远程执行引擎；子任务打包子单元用于从聚类任务中抽取任务，在工作节点执行。远程执行引擎用于管理远程计算节点上执行的工作任务。
具体的执行过程可以为：在分布式云计算环境下，首先，根据用户的请求生成工作流抽象图，为其匹配工作流执行所需的软件、数据以及计算资源；其次，通过本地执行引擎根据依赖关系将科学工作流中的任务进行排程，由子任务聚类打包子单元从聚类结果的任务分组中抽取任务，为其分配工作节点并执行任务，通过远程执行引擎管理远程计算节点上执行的工作任务，任务排程和本地队列子单元对本地任务的执行和远程资源的使用的实施监控。也就是说对于执行优化后的排程任务，具体可以为根据排程结果调用资源执行任务，并对本地任务的执行和远程资源使用的实施任务运行监控。
本发明提供的云计算环境下分级感知的科学工作流调度优化方法，利用预设的工作流执行模型，在资源集中资源的约束条件下，调用基于分级工作聚类算法对任务集中每个任务的排程进行聚类优化；并执行优化后的排程任务；从而提高科学工作流的并行执行能力，并且降低系统开销和资源的浪费。
排程的聚类优化只要是在工作流提交单元1中进行。于本实施例中，排程是将任务分配至资源的过程。云计算环境下，基于分级工作聚类算法，体现充分考虑工作流的不同层级和可用于执行工作流资源的数量，既考虑并行运行效率又兼顾资源数量约束条件，实现优化科学工作流的排程。具体的，步骤S200主要包括以下步骤；
S210、为底层的任务配置虚拟结束节点作为最底层节点，从最底层节点开始逐层往上对每个当前任务节点的父任务节点进行聚类，并统计聚类结果产生的类别数量；
S220、判断类别数量是否大于资源集中可使用的资源数量；
S230、若类别数量大于资源集中可使用的资源数量，则根据可使用的资源数量类别调整算法对各类别进行调整， 并为调整后的每层父任务节点的类别配置对应的资源；
S240、若类别数量小于等于资源集中可使用的资源数量，则为每层父任务节点的类别配置对应的资源。
在根据可使用的资源数量类别调整算法对各类别进行调整时，可以将根据资源数量约束调整类别至与可使用类别数量相等，以避免过长的等待时间造成的资源浪费。于本实施例中，从最底层节点开始逐层往上对每个当前任务节点的父任务节点进行聚类的步骤，可以包括，从最底层节点开始逐层往上，根据当前任务节点的父任务节点的运行和当前任务节点的入度，对父任务节点进行聚类。
实现流程如图3所示，具体为，输入工作流W和资源集数量r；再增加虚拟结束点，并初始化层在最高层Level=L；判断当前层级是否在第一层Level=1；若当前层级是在第一层，则继续判断聚类数量是否大于资源集数量r；若当前层级不是在第一层，则提取所在层的任务列表；将任务节点按照最长父任务节点执行时间升序排列；将具有相同最长父任务节点执行时间的节点按入度升序排列；再对每一个任务执行父任务节点聚类算法，增加类别；向下移一层,level=level-1；再继续判断聚类数量是否大于资源集数量r；若聚类数量是大于资源集数量r，则根据可使用的资源数量类别调整算法对各类别进行调整；若聚类数量是小于等于资源集数量r，则结束。
进一步的，在对于从最底层节点开始逐层往上，根据当前任务节点的父任务节点的运行和当前任务节点的入度，对父任务节点进行聚类的基础上，可以增加父任务节点的排序。具体为，从最底层节点开始，逐层往上根据排序规则对当前任务节点的父任务节点进行排序；并根据排序结果、当前任务节点的父任务节点的运行以及当前任务节点的入度，将父任务节点进行聚类。从而能够保证了将每个节点的父节点分组为可能并行运行的集群，而不会对整个运行时间产生负面影响，因此使用本方法产生的类在减少资源浪费时保证了最大可能的并行性。
而排序规则包括第一排序规则和第二排序规则；第一排序规则为根据当前任务节点的父任务节点的最长执行时间进行升序排序；第二排序规则为如果两个任务节点的父任务节点的最长执行时间相同，那么再根据任务节点的入度进行升序排列。任务节点的入度为即该节点的上一层节点的数量。
下面举例说明如图4所示。
比如，对于任务节点t，首先选择最长父任务执行时间的节点，判断其是否已经被指定到一类。如果尚未有类别，则将其分配至新的一类，并将其标记为已处理；如果该节点已经有类别，将t节点还没指定类别的父任务节点按执行时间降序排列。
将父任务节点进行聚类，以去除不必要的并行线程。假设对于任务节点t，首先选择最长父任务执行时间的节点，判断其是否已经被指定到一类，如果尚未有类别，则将其分配至新的一类，并将其标记为已处理；如果该节点已经有类别，将t节点还没指定类别的父任务节点按执行时间降序排列。将任务节点t的父任务节点聚类，使其每个类别的任务执行时间之和尽量接近包含最长父任务节点的类的总执行时间。
进一步的，本实施例还涉及受资源数量约束的类别调整算法，也就是针对资源数量约束，对聚类产生的类别数量大于可使用资源数量时，提出的节点分组调整算法，如图5所示，即步骤S230中根据可使用的资源数量类别调整算法对各类别进行调整，包括以下步骤；
初始化类别列表为空，并设定可使用的资源数量；
计算每个类别所包含的任务的总执行时间，并按照总执行时间对类别进行降序排列；
获取当前正在处理的类别，并找出上述列表中排序最后的类别，选择与该类别对应的任务节点按照执行时间均匀分组到剩余类别中。
在上述实施例的基础是，还可以包括以下步骤；
在按照总执行时间对类别进行降序排列后，如果存在两个类别或两个以上任务节点的总执行时间相同，则按照任务节点间的共同子任务节点数量进行升序排列。
从而将任务按照其运行时间均匀分布在不同的集群里，考虑了节点间的数据依赖性。在群集之间的运行时间差异最小的前提下，允许不同群集内的任务数量的不平衡。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (6)

1.一种云计算环境下分级感知的科学工作流调度优化方法，其特征在于，包括以下步骤；
获取工作流模型中各科学工作流的任务集和云资源模型中的资源集；
利用预设的工作流执行模型，在资源集中资源的约束条件下，调用基于分级工作聚类算法对所述任务集中每个任务的排程进行聚类优化，包括以下步骤；
为底层的任务配置虚拟结束节点作为最底层节点，从最底层节点开始逐层往上对每个当前任务节点的父任务节点进行聚类，并统计聚类结果产生的类别数量；
判断类别数量是否大于资源集中可使用的资源数量；
若类别数量大于资源集中可使用的资源数量，则根据可使用的资源数量类别调整算法对各类别进行调整， 并为调整后的每层父任务节点的类别配置对应的资源；
若类别数量小于等于资源集中可使用的资源数量，则为每层父任务节点的类别配置对应的资源；
从最底层节点开始逐层往上，根据当前任务节点的父任务节点的运行和当前任务节点的入度，对父任务节点进行聚类；
从最底层节点开始，逐层往上根据排序规则对当前任务节点的父任务节点进行排序；并根据排序结果、当前任务节点的父任务节点的运行以及当前任务节点的入度，将父任务节点进行聚类；
所述排序规则包括第一排序规则和第二排序规则；
所述第一排序规则为根据当前任务节点的父任务节点的最长执行时间进行升序排序；
所述第二排序规则为如果两个任务节点的父任务节点的最长执行时间相同，那么再根据任务节点的入度进行升序排列；
执行优化后的排程任务；
其中，工作流执行模型包括工作流提交单元和工作流执行单元，工作流提交单元包括工作流映射子单元、本地执行引擎、任务排程和本地队列子单元；
通过本地执行引擎根据依赖关系将科学工作流中的任务进行排程，由子任务聚类打包子单元从聚类结果的任务分组中抽取任务，为其分配工作节点并执行任务，通过远程执行引擎管理远程计算节点上执行的工作任务，任务排程和本地队列子单元对本地任务的执行和远程资源的使用的实施监控。
2.如权利要求1所述的云计算环境下分级感知的科学工作流调度优化方法，其特征在于，还包括以下步骤；
通过向非循环的图建立工作流模型W=(T，E)；
其中，T为任务，是由子任务组成的集合，即T={t1，t2，…，tn}；t1，t2，…，tn为子任务；E为各子任务直接的有向连接边。
3.如权利要求1所述的云计算环境下分级感知的科学工作流调度优化方法，其特征在于，还包括以下步骤；
根据存储能力和计算能力将虚拟机进行划分并虚拟建立云资源模型。
4.如权利要求1所述的云计算环境下分级感知的科学工作流调度优化方法，其特征在于，所述执行优化后的排程任务，包括以下步骤；
根据排程结果调用资源执行任务，并对本地任务的执行和远程资源使用的实施任务运行监控。
5.如权利要求1所述的云计算环境下分级感知的科学工作流调度优化方法，其特征在于，所述根据可使用的资源数量类别调整算法对各类别进行调整，包括以下步骤；
初始化类别列表为空，并设定可使用的资源数量；
计算每个类别所包含的任务的总执行时间，并按照总执行时间对类别进行降序排列；
获取当前正在处理的类别，并找出上述列表中排序最后的类别，选择与该类别对应的任务节点按照执行时间均匀分组到剩余类别中。
6.如权利要求5所述的云计算环境下分级感知的科学工作流调度优化方法，其特征在于，还包括以下步骤；
在按照总执行时间对类别进行降序排列后，如果存在两个类别或两个以上任务节点的总执行时间相同，则按照任务节点间的共同子任务节点数量进行升序排列。
CN201910334185.2A 2019-04-24 2019-04-24 云计算环境下分级感知的科学工作流调度优化方法 Active CN110084507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910334185.2A CN110084507B (zh) 2019-04-24 2019-04-24 云计算环境下分级感知的科学工作流调度优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910334185.2A CN110084507B (zh) 2019-04-24 2019-04-24 云计算环境下分级感知的科学工作流调度优化方法

Publications (2)

Publication Number Publication Date
CN110084507A CN110084507A (zh) 2019-08-02
CN110084507B true CN110084507B (zh) 2021-07-20

Family

ID=67416499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910334185.2A Active CN110084507B (zh) 2019-04-24 2019-04-24 云计算环境下分级感知的科学工作流调度优化方法

Country Status (1)

Country Link
CN (1) CN110084507B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127057B (zh) * 2020-01-16 2024-07-16 北京京东振世信息技术有限公司 多任务并行执行的方法和装置
CN112801394B (zh) * 2021-02-05 2024-07-09 中国科学院空天信息创新研究院 资源调度方法
CN116308220B (zh) * 2023-05-25 2023-08-15 北京联讯星烨科技有限公司 一种工作流数据的在线调试优化方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799957A (zh) * 2012-05-30 2012-11-28 武汉理工大学 一种云计算环境下安全感知的科学工作流调度方法
CN108108245A (zh) * 2017-12-18 2018-06-01 天津科技大学 一种云平台宽节点科学工作流的混合型调度方法及系统
CN109032756A (zh) * 2018-07-04 2018-12-18 中国人民解放军国防科技大学 虚拟化云数据中心的调度方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080183538A1 (en) * 2007-01-30 2008-07-31 Microsoft Corporation Allocating Resources to Tasks in Workflows
CN105260005B (zh) * 2015-09-22 2018-09-14 浙江工商大学 面向能耗的云工作流调度优化方法
CN105354085B (zh) * 2015-10-30 2019-03-15 广东石油化工学院 一种云工作流作业调度方法
CN105743818A (zh) * 2016-02-03 2016-07-06 国网智能电网研究院 一种分配方法
CN106991006B (zh) * 2017-03-30 2018-05-15 浙江天正信息科技有限公司 支持依赖和时间平衡的云工作流任务聚类方法
CN107015856A (zh) * 2017-03-30 2017-08-04 青海大学 云环境下科学工作流中的任务调度方案生成方法及装置
CN107291536B (zh) * 2017-05-23 2020-06-30 南京邮电大学 一种云计算环境下应用任务流调度方法
CN107450983A (zh) * 2017-07-14 2017-12-08 中国石油大学(华东) 一种基于虚拟聚类的分级网络资源调度方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799957A (zh) * 2012-05-30 2012-11-28 武汉理工大学 一种云计算环境下安全感知的科学工作流调度方法
CN108108245A (zh) * 2017-12-18 2018-06-01 天津科技大学 一种云平台宽节点科学工作流的混合型调度方法及系统
CN109032756A (zh) * 2018-07-04 2018-12-18 中国人民解放军国防科技大学 虚拟化云数据中心的调度方法

Also Published As

Publication number Publication date
CN110084507A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN107038069B (zh) Hadoop平台下动态标签匹配DLMS调度方法
US11275609B2 (en) Job distribution within a grid environment
CN105808334B (zh) 一种基于资源重用的MapReduce短作业优化系统及方法
US8332862B2 (en) Scheduling ready tasks by generating network flow graph using information receive from root task having affinities between ready task and computers for execution
WO2016078008A1 (zh) 调度数据流任务的方法和装置
CN110084507B (zh) 云计算环境下分级感知的科学工作流调度优化方法
JP4185103B2 (ja) 実行可能プログラムをスケジューリングするためのシステム及び方法
Zhu et al. A cost-effective scheduling algorithm for scientific workflows in clouds
Chard et al. Cost-aware cloud provisioning
CN105718316A (zh) 一种作业调度的方法及装置
Wu et al. Optimizing the performance of big data workflows in multi-cloud environments under budget constraint
CN106095569A (zh) 一种基于sla的云工作流引擎资源调度与控制方法
CN111190691A (zh) 适用于虚拟机的自动迁移方法、系统、装置及存储介质
CN115934362B (zh) 面向深度学习的服务器无感知计算集群调度方法及产品
CN107070965B (zh) 一种虚拟化容器资源下的多工作流资源供给方法
CN108427602B (zh) 一种分布式计算任务的协同调度方法及装置
CN102708003A (zh) 一种云平台下的资源分配方法
CN112882828A (zh) 基于slurm作业调度系统的昇腾处理器管理和调度方法
CN108984286A (zh) 一种云计算平台的资源调度方法和系统
CN116954905A (zh) 一种面向Flink大数据的任务编排与迁移方法
CN109189581B (zh) 一种作业调度方法和装置
Shu-Jun et al. Optimization and research of hadoop platform based on fifo scheduler
CN116610422A (zh) 一种任务调度方法、装置和系统
CN117909061A (zh) 基于gpu混合集群的模型任务处理系统和资源调度方法
US20230161620A1 (en) Pull mode and push mode combined resource management and job scheduling method and system, and medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Xinyada technology building, 3888 Jiangnan Avenue, Binjiang District, Hangzhou City, Zhejiang Province 310000

Applicant after: Sinyada Technology Co.,Ltd.

Applicant after: ZHEJIANG GONGSHANG University

Address before: Xinyada technology building, 3888 Jiangnan Avenue, Binjiang District, Hangzhou City, Zhejiang Province 310000

Applicant before: SUNYARD SYSTEM ENGINEERING Co.,Ltd.

Applicant before: ZHEJIANG GONGSHANG University

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant