CN107292419A - 一种混合云环境中动态多工作流调度执行的费用优化策略 - Google Patents

一种混合云环境中动态多工作流调度执行的费用优化策略 Download PDF

Info

Publication number
CN107292419A
CN107292419A CN201710368425.1A CN201710368425A CN107292419A CN 107292419 A CN107292419 A CN 107292419A CN 201710368425 A CN201710368425 A CN 201710368425A CN 107292419 A CN107292419 A CN 107292419A
Authority
CN
China
Prior art keywords
workflow
resource
cloud
scheduling
jobi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710368425.1A
Other languages
English (en)
Inventor
彭舰
李亮亮
黎红友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201710368425.1A priority Critical patent/CN107292419A/zh
Publication of CN107292419A publication Critical patent/CN107292419A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种在混合云环境下动态多工作流调度的费用优化方法，方法优先将系统中动态提交的多工作流调度到私有云中执行，采用一种启发式调度算法为工作流分配私有云资源，充分利用私有云的空闲时间槽，减少因等待的资源浪费，提高私有云的利用效率。当私有云资源无法满足工作流的需求时，使用多约束的工作流分割思想，将工作流分割成子工作流，然后调度部分子工作流到公有云中执行。使用公有云资源时，优先在已租用的资源中寻找最合适的资源，以提高公有云资源利用率，如果需要租用新的资源，则为任务租用最“经济”的资源，降低公有云资源的使用费用。

Description

一种混合云环境中动态多工作流调度执行的费用优化策略
技术领域
本发明属于工作流调度领域，具体涉及一种混合云环境下对动态多工作流调度的费用优化策略。
背景技术
云计算是随着互联网的快速发展而兴起的一种新的计算模式，这种新兴的服务方式也逐渐成为企业、政府和学术界的关注热点，因为它通过虚拟化技术整合大规模分布式计算资源形成巨大的资源池，为用户提供可弹性伸缩的资源，这不仅有利于资源的有效利用，也能给用户带来便捷、低成本的服务。
工作流也是一种被广泛使用的技术，它一般表示大规模的复杂应用程序，并由很多相互依赖的任务组成，通常使用DAG表示，云计算服务拥有计算能力强、使用价格低廉等特点，越来越多的企业或机构选择将工作流应用放到云端执行，产生的费用开销、执行时长以及安全性问题等是他们所关注的，因此设计合适的工作流调度算法，在保证工作流QoS需求的同时优化系统费用支出是很有必要的。云环境中的工作流调度问题属于NP难问题，当前的很多工作流都针对该问题提出了近似算法，一般可以分为基于启发式、基于元启发式和基于数学规划，基于启发式的算法相比基于元启发式一般算法复杂度较低，而基于数学规划的方式一般是将调度问题转换成整数线性规划问题。
发明内容
本专利针对混合云中的动态多工作流调度问题，提出了一种费用优化的调度策略，利用表启发式的调度思想，对用户动态提交的工作流进行相对紧急程度划分，优先在私有云中为这些任务合理的分配资源执行，提高私有云利用效率，如果私有云资源无法满足工作流的截止时间约束，则考虑任务的多个QoS约束将该工作流进行划分形成子工作流，然后调度子工作流到公有云中执行，为子工作流分配合理的公有云资源，在保证工作流QoS需求的同时最小化系统整体的费用支出。具体步骤如下：
1)由于不同用户的工作流QoS需求不相同，特别是截止时间约束不同，为了尽量满足不同用户的需求，本发明首先对同时到来的工作流任务计算相对紧急程度，公式如下：
urgentjobi＝(WDTjobi-WETjobi)/(WDTjobi-WSTjobi) (1)
公式(1)中WDTjobi表示工作流截止时间，WETjobi表示根据当前时刻的实际资源状态估计得到的工作流结束时刻，WSTjobi表示工作流开始调度的时刻，通过该公式对各工作流进行调度顺序的排序。
2)由于工作流内部是由许多子任务构成，因此当系统资源紧缺时子任务的调度顺序也将影响工作流的执行，为了使工作流能够尽量在其截止时间之前执行完，并调高资源的使用效率，对工作流内部的子任务同样进行了优先级排序，公式如下：
公式(2)通过向上递归的方式计算工作流内部各子任务的优先级Nrank(ti)，它充分体现了各子任务在整个工作流中的重要性区别，然后根据该优先级制定子任务之间的先后调度顺序。
3)基于上述1)和2)，本发明提出了一种针对私有云中动态多工作流的调度执行算法MIHEFT(Move and Insert based Heterogeneous Earliest Finish Time)算法，它能够充分的利用云资源，将任务“紧密的”排列在等待队列中，减小资源等待的浪费，提高其利用效率。
4)对混合云中的动态多工作流进行调度执行时，优先使用3)中的算法为工作流在私有云中分配资源执行，当私有云中的资源不能满足工作流的QoS需求时，考虑工作流的通信开销(如公式(3))，IO 开销(如公式(4))，执行开销(如公式(5))，安全开销(如公式(6))等，将工作流进行分割，然后调度部分子工作流到公有云中执行。
5)对于调度到公有云中执行的子工作流，为了充分利用公有云资源，首先尝试在已租用的公有云资源中为任务寻找可用资源，如果未找到合适资源，则考虑计算成本、数据通信成本和安全服务成本后为任务分配最“经济”的公有云资源，减小系统整体费用支出。
本发明的有益效果是，通过混合云环境下动态多工作流调度费用优化策略，为用户向系统中提交的每一个工作流分配合适的资源，在尽量保证工作流多个QoS需求的同时，提高私有云和公有云资源的使用效率，减小公有云的租用，最小化系统整体的费用支出。
附图说明
图1本发明流程示意图。
图2混合云下动态多工作流整体调度框架。
图3使用不同调度算法调度执行多工作流实例对比。
图4不同数量工作流执行费用开销对比。
具体实施方式
附图1是本发明的策略流程示意图。
实施流程如附图1所示：
(1)本发明的整体调度框架如图2所示，用户向系统中不断提交工作流任务，调度器优先为工作流分配私有云资源，当私有云资源不足时再租用公有云资源。
(2)搜索系统中的工作流任务池，如果存在还未分配资源的工作流，当这些工作流个数超过一个时，计算它们的相对紧急程度urgent，然后进行排序等待调度；接着对工作流内部的子任务计算优先级Nrank，并根据该优先级制定子任务的调度顺序。
(3)在私有云中调度执行时，采用MIHEFT为各工作流子任务预分配资源，具体分配方式如图3 实例所示。如果制定的调度执行方案能够使工作流在其截至时间内完成，则直接按照该调度方案执行，如果超出截止时间，则需要将工作流分割成子工作流，调度部分子工作流到公有云中执行。
(4)对于调度到公有云中执行的任务，优先选择最“经济”的资源，如果依然无法满足工作流的需求，则进一步划分工作流，调度更多子任务到公有云中，直到工作流能够在截止时间内完成。
(5)重复执行上述过程，为系统中新提交的工作流分配资源调度执行。
最后，通过在模拟实验平台WorkflowSim上进行实验对比，本发明与Greedy算法、HCOC算法和 MLF_ID算法进行对比，分别执行了100和200个工作流任务，最终系统的总费用开销如图4所示，可以看出本发明较其他几个算法在执行费用上占优。

Claims (4)

1.一种混合云环境中动态多工作流调度执行的费用优化方法，可以根据不同工作流的QoS需求合理的安排它们的调度顺序，同时提高私有云资源利用效率，减少公有云资源的租用，有效降低系统整体的费用支出。
2.根据权1所述的一种混合云环境中动态多工作流调度执行的费用优化方法，其特征在于对动态到来的多工作流执行请求根据公式(1)计算它们的相对紧急程度，对工作流内部的子任务根据公式(2)计算合理的优先级，优先将工作流调度到私有云中执行，在保证工作流QoS需求的同时提高私有云资源利用效率。
urgentjobi＝(WDTjobi-WETjobi)/(WDTjobi-WSTjobi) (1)
3.根据权1所述的一种混合云环境中动态多工作流调度执行的费用优化方法，其特征在于对不能在截止时间内完成的工作流，计算工作流的执行开销、通信开销、安全开销等，把工作流进行分割，并将分割后的子工作流调度到公有云执行，最大程度减少公有云资源的使用，降低系统整体费用支出。
4.根据权1所述的一种混合云环境中动态多工作流调度执行的费用优化方法，其特征在于对调度到公有云执行的任务，先尝试从已经租用的公有云资源中寻找满足任务需求的资源，当需要重新租用新的资源时，为任务租用最“经济”的资源节省公有云使用费用。
CN201710368425.1A 2017-05-22 2017-05-22 一种混合云环境中动态多工作流调度执行的费用优化策略 Pending CN107292419A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710368425.1A CN107292419A (zh) 2017-05-22 2017-05-22 一种混合云环境中动态多工作流调度执行的费用优化策略

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710368425.1A CN107292419A (zh) 2017-05-22 2017-05-22 一种混合云环境中动态多工作流调度执行的费用优化策略

Publications (1)

Publication Number Publication Date
CN107292419A true CN107292419A (zh) 2017-10-24

Family

ID=60094613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710368425.1A Pending CN107292419A (zh) 2017-05-22 2017-05-22 一种混合云环境中动态多工作流调度执行的费用优化策略

Country Status (1)

Country Link
CN (1) CN107292419A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107797870A (zh) * 2017-11-10 2018-03-13 苏州铭冠软件科技有限公司 一种云计算数据资源调度方法
CN107908458A (zh) * 2017-11-10 2018-04-13 苏州铭冠软件科技有限公司 一种考虑时间和费用的云计算数据资源调度方法
CN108154317A (zh) * 2018-01-25 2018-06-12 福建师范大学 多云环境下基于实例自适应分配整合的工作流组调度方法
CN110519317A (zh) * 2018-05-21 2019-11-29 华为技术有限公司 一种数据传输方法以及设备
WO2020037156A1 (en) * 2018-08-16 2020-02-20 EMC IP Holding Company LLC Workflow optimization
CN111813558A (zh) * 2020-07-23 2020-10-23 莫毓昌 一种面向混合云的资源调度方法
CN113961323A (zh) * 2021-10-20 2022-01-21 郑州轻工业大学 一种面向混合云的安全感知任务调度方法和系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107797870A (zh) * 2017-11-10 2018-03-13 苏州铭冠软件科技有限公司 一种云计算数据资源调度方法
CN107908458A (zh) * 2017-11-10 2018-04-13 苏州铭冠软件科技有限公司 一种考虑时间和费用的云计算数据资源调度方法
CN108154317A (zh) * 2018-01-25 2018-06-12 福建师范大学 多云环境下基于实例自适应分配整合的工作流组调度方法
CN108154317B (zh) * 2018-01-25 2021-09-21 福建师范大学 多云环境下基于实例自适应分配整合的工作流组调度方法
CN110519317B (zh) * 2018-05-21 2021-02-12 华为技术有限公司 一种数据传输方法以及设备
CN110519317A (zh) * 2018-05-21 2019-11-29 华为技术有限公司 一种数据传输方法以及设备
WO2020037156A1 (en) * 2018-08-16 2020-02-20 EMC IP Holding Company LLC Workflow optimization
GB2587979A (en) * 2018-08-16 2021-04-14 Landmark Graphics Corp Workflow optimization
US11315014B2 (en) 2018-08-16 2022-04-26 EMC IP Holding Company LLC Workflow optimization
US11868890B2 (en) 2018-08-16 2024-01-09 Landmark Graphics Corporation Workflow optimization
CN111813558A (zh) * 2020-07-23 2020-10-23 莫毓昌 一种面向混合云的资源调度方法
CN111813558B (zh) * 2020-07-23 2024-03-22 福建省凯特科技有限公司 一种面向混合云的资源调度方法
CN113961323A (zh) * 2021-10-20 2022-01-21 郑州轻工业大学 一种面向混合云的安全感知任务调度方法和系统
CN113961323B (zh) * 2021-10-20 2022-06-14 郑州轻工业大学 一种面向混合云的安全感知任务调度方法和系统

Similar Documents

Publication Publication Date Title
CN107292419A (zh) 一种混合云环境中动态多工作流调度执行的费用优化策略
Hussain et al. Energy and performance-efficient task scheduling in heterogeneous virtualized cloud computing
CN103970609B (zh) 一种基于改进蚁群算法的云数据中心任务调度方法
CN108182109B (zh) 一种云环境下的工作流调度与数据分配方法
CN105260818B (zh) 混合云环境下带截止日期约束工作流组的在线优化调度方法
CN107168770B (zh) 一种低能耗的云数据中心工作流调度与资源供给方法
CN104536806B (zh) 一种云环境下的工作流应用弹性资源供应方法
CN108108225B (zh) 一种面向云计算平台的任务调度方法
CN106789118B (zh) 基于服务等级协议的云计算计费方法
CN104102544A (zh) 混合云环境下多QoS约束的并行任务调度成本优化方法
CN104965755A (zh) 基于预算约束的云服务工作流调度方法
CN102243598A (zh) 分布式数据仓库中的任务调度方法及系统
CN103257896B (zh) 一种云环境下的Max-D作业调度方法
CN110308967A (zh) 一种基于混合云的工作流成本-延迟最优化任务分配方法
Arabnejad et al. Multi-QoS constrained and profit-aware scheduling approach for concurrent workflows on heterogeneous systems
CN106897136A (zh) 一种任务调度方法及装置
CN101582043A (zh) 一种异构计算系统动态任务分配方法
CN108737462A (zh) 一种基于图论的云计算数据中心任务调度方法
CN103685492B (zh) Hadoop集群系统的调度方法、调度装置及其应用
Zhou et al. Concurrent workflow budget-and deadline-constrained scheduling in heterogeneous distributed environments
CN106027318A (zh) 一种基于云计算的虚拟机两级优化调度管理平台
Lv et al. TBTOA: a DAG-based task offloading scheme for mobile edge computing
CN103257900A (zh) 减少cpu占用的多处理器上实时任务集资源预留方法
CN104639631A (zh) 基于mas价格协商的sdn资源交易方法
CN110034963A (zh) 一种应用集群自适应的弹性配置方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171024