CN108052378A - 面向复杂仿真工作流应用的利润敏感的任务调度方法 - Google Patents
面向复杂仿真工作流应用的利润敏感的任务调度方法 Download PDFInfo
- Publication number
- CN108052378A CN108052378A CN201711040707.5A CN201711040707A CN108052378A CN 108052378 A CN108052378 A CN 108052378A CN 201711040707 A CN201711040707 A CN 201711040707A CN 108052378 A CN108052378 A CN 108052378A
- Authority
- CN
- China
- Prior art keywords
- mrow
- simulation
- subtask
- virtual machine
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 214
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000035945 sensitivity Effects 0.000 title abstract 3
- 230000000694 effects Effects 0.000 claims abstract description 16
- 238000000611 regression analysis Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 6
- 230000005540 biological transmission Effects 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 12
- 230000008901 benefit Effects 0.000 claims description 10
- 230000001174 ascending effect Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 229960001948 caffeine Drugs 0.000 claims 1
- RYYVLZVUVIJVGH-UHFFFAOYSA-N trimethylxanthine Natural products CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 claims 1
- 238000013396 workstream Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009133 cooperative interaction Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种面向复杂仿真工作流应用的利润敏感的任务调度方法，该方法综合考虑了仿真工作流应用的子任务在虚拟机中的执行规律、子任务间依赖关系、应用与仿真云提供商间利润关系特点。针对复杂仿真工作流应用的请求，建立了包括多个栈式稀疏自编码层和一个支持向量回归分析层的深度网络模型，基于此建立了适用于通用时限(包括硬时限和软时限)且有两个截止时间的效应函数，然后建立了仿真云环境下最大化仿真云提供商利润的任务调度优化模型，并针对子任务建立了虚拟机选取算法，实现了仿真云环境下利润敏感的任务调度。本发明能够智能地将将可执行的子任务调度到特定的虚拟机上执行，最大化仿真云提供商的利润并保证所有请求的延迟要求。
Description
技术领域
本发明涉及云计算应用请求调度技术领域。更具体地，涉及一种面向复杂仿真工作流应用的利润敏感的任务调度方法。
背景技术
仿真云是基于云计算理念的一种面向服务的网络化建模仿真的新技术。它融合了目前的网络化建模与仿真技术以及高效能计算、虚拟化、服务计算等新兴信息技术，能够将各类仿真资源虚拟化和服务化为统一和集中的服务云池，并进行高效的管理和经营。用户可通过仿真云随时按需地获取仿真资源，以完成其仿真全生命周期的各类活动。
随着仿真云技术近年来的不断发展，目前仿真云由云提供商所有并向仿真应用的用户提供其所需的资源、能力和服务。仿真云中存在各种软仿真资源(仿真过程中的各种软件、数据、信息、模型、知识等)和硬仿真资源(各类计算设备、仿真设备、试验设备等)。此外，仿真云中提供的建模与仿真需要能够支持虚拟、构造、实装等三类仿真所需的模型构建、仿真运行、结果分析、评估与应用等各阶段活动。此外，在仿真云中存在着诸多大规模的复杂仿真工作流应用。而且每个大规模复杂仿真工作流应用往往需要多个子任务之间进行协同交互，才能完成某阶段活动(如协同建模)以及更为复杂的跨阶段活动(如协同建模、运行、结果分析等)。
仿真云可通过网络向全球海量的各类用户按照其实际需求提供各种不同类型的仿真资源及应用。这些资源及应用通常采用一种按需付费使用的方式动态地向用户提供服务。此外，仿真云具有的规模经济特性已经吸引了越来越多的企业、组织及用户将其不同类型的复杂仿真工作流应用部署在云数据中心中。典型的云服务提供商(如Google AppEngine、VMware和Microsoft Azure)均按照按需付费的方式向用户提供其所需的资源和应用。而对于每个仿真云提供商而言，随着仿真云中应用类型及数量的迅速增长，如何在保证用户请求的服务质量的同时最大化仿真云提供商的利润就成为一个非常重要且具有挑战性的问题。
为解决该难题，目前国内外的研究人员提出了很多有效的调度算法。然而目前这些大部分的调度算法都依赖精确的工作流中每个子任务的执行时间的预测。而在真实的仿真云中，每个子任务中含有复杂的条件、循环等程序结构。此外，仿真云中每个服务器的资源(如CPU、内存、I/O等)往往被多个虚拟机所共享，这种资源共享模式使得每个虚拟机的性能随着时间而不断的变化。因此。工作流中每个子任务在特定虚拟机中的执行时间往往很难精确地预测。不同于以上方式，本发明通过包括多个栈式稀疏自编码层和一个支持向量回归分析层的深度网络模型，利用虚拟机仿真子任务的实际执行时间数据，在每个栈式稀疏自编码层进行逐层的无监督学习从而提取关键的隐含特征，并在最后的支持向量回归分析层进行有监督的学习从而得到训练好的整个深度神经网络，从而有效地预测每个子任务在每个虚拟机中的预计完成时间。
基于此，本发明提出一种面向复杂仿真工作流应用的利润敏感的任务调度方法，从而在满足所有复杂仿真工作流应用的延迟时间要求的同时，最大化所有到达的仿真工作流应用为仿真云提供商带来的利润。
发明内容
本发明的目的在于提供一种面向复杂仿真工作流应用的利润敏感的任务调度方法，该方法针对复杂仿真工作流应用子任务执行时间数据的特征，能够在满足所有复杂仿真工作流应用的延迟时间要求的同时，将每个可执行的子任务调度到某个虚拟机上执行，从而最大化所有到达的仿真工作流应用为仿真云提供商带来的利润。
为达到上述目的，本发明采用下述技术方案：
根据本发明的一个方面，建立了仿真云环境下最大化仿真云提供商利润的任务调度的优化模型，包括：建立包括多个栈式稀疏自编码层和一个支持向量回归分析层的深度网络模型；确定子任务在虚拟机中执行时间预计方式；确定仿真工作流应用的预计完成时间的定义方式；对仿真工作流应用的延迟时间要求的约束等进行建模。进而最终得到仿真云环境下最大化仿真云提供商利润的任务调度的优化模型。
根据本发明的另一方面，提供了一种利润敏感的任务调度方法，包括：设计一种适用于通用时限(包括硬时限和软时限)的效应函数，可将每个仿真工作流应用的预计完成时间转化为该应用为仿真云提供商带来的收益；确定仿真云提供商的利润定义方式；确定仿真工作流应用每个子任务的预计最晚开始执行时间和预计最晚完成时间的定义方式；建立新仿真工作流应用到达、子任务执行完成之后的子任务调度机制，获得利润敏感的任务调度方法，从而最大化仿真云提供商的利润。
根据本发明的上述方面，针对目前仿真云环境下复杂仿真工作流应用的特点，在仿真云环境下利润敏感的任务调度方法基础上，根据仿真工作流应用每个子任务的预计最晚开始执行时间，将每个可执行的子任务调度到某个虚拟机上执行，使得仿真云提供商的利润最大化。
综上，一种面向复杂仿真工作流应用的利润敏感的任务调度方法，包括如下步骤：
S1、针对复杂仿真工作流应用，建立包括多个栈式稀疏自编码层和一个支持向量回归分析层的深度网络模型，来预测得到每个仿真工作流应用的子任务在特定虚拟机中的预计执行时间；
S2、根据仿真工作流应用的特点，建立适用于通用时限(包括硬时限和软时限)且包含两个截止时间的效应函数，将每个仿真工作流应用的预计完成时间转化为该应用为仿真云提供商带来的收益；
S3、建立仿真云环境下最大化仿真云提供商利润的任务调度优化模型；
S4、建立虚拟机选取算法，从而将每个可执行的子任务调度到一个特定的虚拟机上得到执行。
优选地，所述仿真子任务qi,j在虚拟机v(qij)中的预计执行时间的计算方式具体为：本发明中的采用包括多个栈式稀疏自编码层和一个支持向量回归分析层的深度网络模型来预测得到。基于收集到的每个虚拟机上历史仿真子任务的实际执行时间样本数据，本发明在每个栈式稀疏自编码层进行逐层的无监督学习，并在最后的支持向量回归分析层进行有监督的学习从而得到训练好的整个深度神经网络。然后根据此，本发明公开的工作流应用请求的调度方法采用该网络对进行有效的预测。
优选地，所述效应函数适用于通用时限(包括硬时限和软时限)，将每个仿真工作流应用的预计完成时间转化为该应用为仿真云提供商带来的收益，具体为：
其中，表示仿真工作流应用i的预计完成时间；表示应用i为仿真云提供商带来的收益；和表示所述效应函数针对每个仿真工作流应用i而设计的两个截止时间，并且 表示当仿真工作流应用i的预计完成时间小于时为仿真云提供商所带来最大的收益；Si(0≤Si＜∞)表示工作流应用i为仿真云提供商所带来的收益随着增大而减小的变化率；当仿真云提供商需要向仿真工作流应用的用户支付对应的惩罚费用即
优选地，所述利润敏感的任务调度模型的优化目标为在满足所有复杂仿真工作流应用的延迟时间要求的同时，最大化所有到达的仿真工作流应用为仿真云提供商带来的利润Profit，所述利润敏感的任务调度模型为：
max{Profit＝χ-ψ}
其中，χ表示执行所有到达的仿真工作流应用为仿真云提供商带来的收益；ψ表示执行仿真工作流应用所需的虚拟机执行成本；I表示仿真工作流应用的个数；Qi表示仿真工作流应用i的所有子任务的集合；表示任务qi,j所在的虚拟机v(qij)的单位时间执行成本。
优选地，所述可执行的子任务指该任务无前置子任务或者该子任务所有的前置任务已经被调度到对应的虚拟机中并且至少有一个前置任务已经执行完毕，即该子任务此时可以直接被调度和分配到某个虚拟机上得到执行。
优选地，所述仿真工作流应用i的预计完成时间为：
其中，表示仿真工作流应用i的子任务qi,j在虚拟机v(qim)中的预计完成时间。
优选地，所述利润敏感的任务调度模型的约束包括：仿真工作流应用i的预计完成时间不能超过仿真工作流应用i的延迟时间要求di：
优选地，所述仿真工作流应用i的子任务qi,j在虚拟机v(qim)中的预计完成时间为：
其中，表示仿真工作流应用i的子任务qi,j在虚拟机v(qij)中的预计开始时间。
优选地，所述利润敏感的任务调度模型的中仿真工作流应用i的子任务qi,j在虚拟机v(qij)中的预计开始时间为：
其中，表示虚拟机v(qij)中队尾最后一个仿真子任务t的预计完成时间；ηij表示仿真子任务qi,j的所有前置仿真子任务的预计完成时间与传输对应输出数据到仿真子任务qi,j预计所需的传输时间之和的最大值。
优选地，所述仿真子任务qi,j的所有前置仿真子任务的预计完成时间与传输对应输出数据到仿真子任务qi,j预计所需的传输时间之和的最大值ηij为：
其中，P(qij)表示仿真子任务qi,j的所有前置仿真子任务的集合；v(qim)表示仿真子任务qi,m所在的虚拟机；表示仿真子任务qi,m在虚拟机v(qim)上的预计完成时间；表示仿真子任务qi,j的前置仿真子任务qi,m传输对应输出数据到仿真子任务qi,j所需的预计传输时间。
优选地，所述仿真子任务qi,j的前置仿真子任务qi,m传输对应输出数据到仿真子任务qi,j所需的预计传输时间为：
其中，表示qi,j的前置仿真子任务qi,m传输给仿真子任务qi,j的输出数据的大小；表示仿真子任务qi,m所在的虚拟机v(qim)与仿真子任务qi,j所在的虚拟机v(qij)之间的传输带宽。
优选地，所述每个子任务qi,j在所有可用虚拟机v(qij)上预计执行时间的最小值为：
其中，VI表示所有可用的虚拟机集合。
优选地，所述子任务qi,m向子任务qi,j传输对应数据所需时间的最小值为：
优选地，所述仿真工作流应用i的每个子任务qi,j的最晚开始执行时间δij为：
其中，Q(qij)表示qi,j的所有后继子任务。
优选地，所述子任务qi,j的预计最晚完成时间为：
优选地，在利润敏感的任务调度方法中当一个新的仿真工作流应用i到达时的调度步骤：计算该应用i中每个子任务qi,j的最晚开始执行时间δij；将工作流应用i中所有可执行的子任务按照其δij进行升序排列；将每一个子任务调度到一个特定的虚拟机上；将仿真工作流应用i中其它当前不可执行的子任务添加到任务池中。
优选地，在利润敏感的任务调度方法中当子任务qi,j执行完成之后的调度步骤：将qi,j的所有后继可执行的子任务按照每个子任务的预计最晚开始执行时间δij进行升序排列；根据排列顺序，依次将每一个子任务调度和分配到虚拟机中；将qi,j的所有后继可执行的子任务从子任务池中移除。
优选地，在利润敏感的任务调度方法中为每个可执行的子任务qi,j指定一个特定的虚拟机时的步骤：根据现有的可用的虚拟机的信息，计算子任务qi,j的预计最晚完成时间和执行子任务qi,j在虚拟机v(qij)中的执行成本；根据新建的虚拟机的信息，计算子任务qi,j的预计最晚完成时间和子任务qi,j在虚拟机v(qij)中的执行成本；比较子任务qi,j在现有可用的虚拟机和新建虚拟机中的执行成本，选择能够满足子任务预计最晚完成时间要求并且执行成本较小的虚拟机；如果选定的虚拟机是一个现有可用的虚拟机，则直接将子任务qi,j调度到该虚拟机中；如果选定的虚拟机是需要新建的虚拟机，则新建一个对应类型的虚拟机然后将子任务qi,j调度到该虚拟机中。
本发明的有益效果如下：
本发明所述技术方案能够解决仿真云中复杂仿真工作流应用子任务执行时间难以精确预测给请求调度带来的难题，并使得仿真云提供商能够智能地调度复杂仿真工作流应用的请求，从而将复杂仿真工作流应用的每个子任务调度到仿真云中执行以严格保证每个仿真工作流应用请求的延迟时间要求。且本发明所述技术方案，综合考虑了仿真工作流应用的子任务在虚拟机中的执行规律、子任务之间依赖执行关系、仿真工作流应用与仿真云提供商间利润关系特点，将每个可执行的子任务调度到某个特定的虚拟机上执行，从而能够最大化仿真云提供商的利润。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明；
图1示出面向复杂仿真工作流应用的利润敏感的任务调度方法的流程图。
图2示出适用于通用时限的效应函数图。
图3示出面向复杂仿真工作流应用的仿真云数据中心架构图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
如图1、图2和图3所示，本发明公开的一种面向复杂仿真工作流应用的利润敏感的任务调度方法，包括如下步骤：
S1、针对复杂仿真工作流应用，建立包括多个栈式稀疏自编码层和一个支持向量回归分析层的深度网络模型，来预测得到每个仿真工作流应用的子任务在特定虚拟机中的预计执行时间：
令表示上述每个仿真工作流应用i的子任务qi,j在特定虚拟机v(qij)中的预计执行时间。本发明中的采用包括多个栈式稀疏自编码层和一个支持向量回归分析层的深度网络模型来预测得到。基于收集到的每个虚拟机上历史仿真子任务的实际执行时间样本数据，本发明在每个栈式稀疏自编码层进行逐层的无监督学习，并在最后的支持向量回归分析层进行有监督的学习从而得到训练好的整个深度神经网络。然后根据此，本发明公开的工作流应用请求的调度方法采用该网络对进行有效的预测。
S2、根据仿真工作流应用的特点，建立适用于通用时限(包括硬时限和软时限)且包含两个截止时间的效应函数，将每个仿真工作流应用的预计完成时间转化为该应用为仿真云提供商带来的收益：
上述效应函数适用于通用时限(包括硬时限和软时限)，能够将每个仿真工作流应用的预计完成时间转化为该应用为仿真云提供商带来的收益，具体为：
其中，表示仿真工作流应用i的预计完成时间；表示应用i为仿真云提供商带来的收益；和表示所述效应函数针对每个仿真工作流应用i而设计的两个截止时间，并且 表示当仿真工作流应用i的预计完成时间小于时为仿真云提供商所带来最大的收益；Si(0≤Si＜∞)表示工作流应用i为仿真云提供商所带来的收益随着增大而减小的变化率；当仿真云提供商需要向仿真工作流应用的用户支付对应的惩罚费用即
S3、建立仿真云环境下最大化仿真云提供商利润的任务调度优化模型：
本发明采用一种仿真云提供商利润Profit的计算方法，来刻画所有到达的仿真工作流应用为仿真云提供商带来的利润，利润敏感的任务调度模型的优化目标为最大化所有到达的仿真工作流应用为仿真云提供商带来的利润Profit，任务调度模型为：
max{Profit＝χ-ψ}
其中，χ表示执行所有到达的仿真工作流应用为仿真云提供商带来的收益；ψ表示执行仿真工作流应用所需的虚拟机执行成本；Qi表示仿真工作流应用i的所有子任务的集合；I表示仿真工作流应用的个数；表示任务qi,j所在的虚拟机v(qij)的单位时间执行成本。
上述利润敏感的任务调度模型的约束包括下述(1)：
(1)仿真工作流应用i的预计完成时间不能超过仿真工作流应用i的延迟时间要求：
其中，di表示仿真工作流应用i的延迟时间要求。
上述仿真工作流应用i的预计完成时间为：
其中，表示仿真工作流应用i的子任务qi,j在虚拟机v(qim)中的预计完成时间。
上述仿真工作流应用i的子任务qi,j在虚拟机v(qim)中的预计完成时间为：
其中，表示仿真工作流应用i的子任务qi,j在虚拟机v(qij)中的预计开始时间。
上述仿真工作流应用i的子任务qi,j在虚拟机v(qij)中的预计开始时间为：
其中，表示虚拟机v(qij)中队尾最后一个仿真子任务t的预计完成时间；ηij表示仿真子任务qi,j的所有前置仿真子任务的预计完成时间与传输对应输出数据到仿真子任务qi,j预计所需的传输时间之和的最大值。
上述仿真子任务qi,j的所有前置仿真子任务的预计完成时间与传输对应输出数据到仿真子任务qi,j预计所需的传输时间之和的最大值ηij为：
其中，P(qij)表示仿真子任务qi,j的所有前置仿真子任务的集合；v(qim)表示仿真子任务qi,m所在的虚拟机；表示仿真子任务qi,m在虚拟机v(qim)上的预计完成时间；表示仿真子任务qi,j的前置仿真子任务qi,m传输对应输出数据到仿真子任务qi,j所需的预计传输时间。
上述仿真子任务qi,j的前置仿真子任务qi,m传输对应输出数据到仿真子任务qi,j所需的预计传输时间为：
其中，表示qi,j的前置仿真子任务qi,m传输给仿真子任务qi,j的输出数据的大小；表示仿真子任务qi,m所在的虚拟机v(qim)与仿真子任务qi,j所在的虚拟机v(qij)之间的传输带宽。
S4、建立虚拟机选取算法，从而将每个可执行的子任务调度到一个特定的虚拟机上得到执行：
令表示子任务qi,j的预计最晚完成时间：
上述每个子任务qi,j在所有可用虚拟机v(qij)上预计执行时间的最小值为：
其中，VI表示所有可用的虚拟机集合。
上述仿真工作流应用i的每个子任务qi,j的最晚开始执行时间δij为：
其中，Q(qij)表示qi,j的所有后继子任务。
上述子任务qi,m向子任务qi,j传输对应数据所需时间的最小值为：
当一个新的仿真工作流应用i到达时，计算该应用i中每个子任务qi,j的最晚开始执行时间δij，将工作流应用i中所有可执行的子任务按照其δij进行升序排列。然后按顺序将每个子任务调度到一个特定的虚拟机上，并将仿真工作流应用i中其它当前不可执行的子任务添加到任务池中。
当一个子任务qi,j执行完成之后，将qi,j的所有后继可执行的子任务按照每个子任务的预计最晚开始执行时间δij进行升序排列。根据排列顺序，依次将每一个子任务调度和分配到虚拟机中，并将qi,j的所有后继可执行的子任务从子任务池中移除。
根据现有的可用的虚拟机的信息，计算子任务qi,j的预计最晚完成时间和执行子任务qi,j在虚拟机v(qij)中的执行成本。根据新建的虚拟机的信息，计算子任务qi,j的预计最晚完成时间和子任务qi,j在虚拟机v(qij)中的执行成本。然后比较子任务qi,j在现有可用的虚拟机和新建虚拟机中的执行成本，并选择能够满足子任务预计最晚完成时间要求并且执行成本较小的虚拟机。如果选定的虚拟机是一个现有可用的虚拟机，则直接将子任务qi,j调度到该虚拟机中。如果选定的虚拟机是需要新建的虚拟机，则新建一个对应类型的虚拟机然后将子任务qi,j调度到该虚拟机中。通过以上步骤即可为每个可执行的子任务qi,j指定一个特定的虚拟机。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (10)
1.一种面向复杂仿真工作流应用的利润敏感的任务调度方法，其特征在于，该方法包括如下步骤：
S1、针对复杂仿真工作流应用，建立包括多个栈式稀疏自编码层和一个支持向量回归分析层的深度网络模型，来预测得到每个仿真工作流应用的子任务在特定虚拟机中的预计执行时间；
S2、根据仿真工作流应用的特点，建立适用于通用时限(包括硬时限和软时限)且包含两个截止时间的效应函数，将每个仿真工作流应用的预计完成时间转化为该应用为仿真云提供商带来的收益；
S3、建立仿真云环境下最大化仿真云提供商利润的任务调度优化模型；
S4、建立虚拟机选取算法，从而将每个可执行的子任务调度到一个特定的虚拟机上得到执行。
2.根据权利要求1所述的面向复杂仿真工作流应用的利润敏感的任务调度方法，其特征在于，采用包括多个栈式稀疏自编码层和一个支持向量回归分析层的深度网络模型，来预测得到每个仿真工作流应用的子任务在特定虚拟机中的预计执行时间具体为：基于收集到的每个虚拟机上历史仿真子任务的实际执行时间样本数据，在每个栈式稀疏自编码层进行逐层的无监督学习，并在最后的支持向量回归分析层进行有监督的学习从而得到训练好的整个深度神经网络；然后根据该训练得到的网络预测每个仿真工作流应用的子任务在特定虚拟机中的预计执行时间。
3.根据权利要求2所述的面向复杂仿真工作流应用的利润敏感的任务调度方法，其特征在于，所述效应函数适用于通用时限(包括硬时限和软时限)且包含两个截止时间，能够将每个仿真工作流应用的预计完成时间转化为该应用为仿真云提供商带来的收益，具体为：
其中，表示仿真工作流应用i的预计完成时间；表示应用i为仿真云提供商带来的收益；和表示所述效应函数针对每个仿真工作流应用i而设计的两个截止时间，并且 表示当仿真工作流应用i的预计完成时间小于时为仿真云提供商所带来最大的收益；Si(0≤Si＜∞)表示工作流应用i为仿真云提供商所带来的收益随着增大而减小的变化率；当仿真云提供商需要向仿真工作流应用的用户支付对应的惩罚费用即
4.根据权利要求3所述的面向复杂仿真工作流应用的利润敏感的任务调度方法，其特征在于，所述任务调度优化模型的优化目标为最大化私有云提供商的利润Profit，所述利润敏感的任务调度模型的优化目标为最大化所有到达的仿真工作流应用为仿真云提供商带来的利润Profit，所述非线性约束优化模型为：
max{Profit＝χ-ψ}
<mrow>
<mi>&psi;</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>I</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>Q</mi>
<mi>i</mi>
</msub>
</munderover>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&kappa;</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>v</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msubsup>
<msub>
<mi>p</mi>
<mrow>
<mi>v</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中，χ表示执行所有到达的仿真工作流应用为仿真云提供商带来的收益；ψ表示执行仿真工作流应用所需的虚拟机执行成本；I表示仿真工作流应用的个数；Qi表示仿真工作流应用i的所有子任务的集合；表示任务qi,j所在的虚拟机v(qij)的单位时间执行成本。
5.根据权利要求4所述的面向复杂仿真工作流应用的利润敏感的任务调度方法，其特征在于，所述利润敏感的任务调度模型的约束包括：仿真工作流应用i的预计完成时间不能超过仿真工作流应用i的延迟时间要求：
其中，表示仿真工作流应用i的子任务qi,j在虚拟机v(qim)中的预计完成时间；di表示仿真工作流应用i的延迟时间要求。
6.根据权利要求5所述的面向复杂仿真工作流应用的利润敏感的任务调度方法，其特征在于，所述仿真工作流应用i的子任务qi,j在虚拟机v(qim)中的预计完成时间具体为：
其中，表示仿真工作流应用i的子任务qi,j在虚拟机v(qij)中的预计开始时间；表示仿真工作流应用i的子任务qi,j在虚拟机v(qij)中的预计开始时间；表示虚拟机v(qij)中队尾最后一个仿真子任务t的预计完成时间；ηij表示仿真子任务qi,j的所有前置仿真子任务的预计完成时间与传输对应输出数据到仿真子任务qi,j预计所需的传输时间之和的最大值。
7.根据权利要求6所述的面向复杂仿真工作流应用的利润敏感的任务调度方法，其特征在于，所述仿真子任务qi,j的所有前置仿真子任务的预计完成时间与传输对应输出数据到仿真子任务qi,j预计所需的传输时间之和的最大值ηij具体为：
<mrow>
<msubsup>
<mi>&zeta;</mi>
<mrow>
<mi>m</mi>
<mi>j</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mfrac>
<msubsup>
<mi>d</mi>
<mrow>
<mi>m</mi>
<mi>j</mi>
</mrow>
<mi>i</mi>
</msubsup>
<msub>
<mi>b</mi>
<mrow>
<mi>v</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mi>v</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msub>
</mfrac>
</mrow>
其中，P(qij)表示仿真子任务qi,j的所有前置仿真子任务的集合；v(qim)表示仿真子任务qi,m所在的虚拟机；表示仿真子任务qi,m在虚拟机v(qim)上的预计完成时间；表示仿真子任务qi,j的前置仿真子任务qi,m传输对应输出数据到仿真子任务qi,j所需的预计传输时间；表示仿真子任务qi,j的前置仿真子任务qi,m传输对应输出数据到仿真子任务qi,j所需的预计传输时间；表示qi,j的前置仿真子任务qi,m传输给仿真子任务qi,j的输出数据的大小；表示仿真子任务qi,m所在的虚拟机v(qim)与仿真子任务qi,j所在的虚拟机v(qij)之间的传输带宽。
8.根据权利要求7所述的面向复杂仿真工作流应用的利润敏感的任务调度方法，其特征在于，所述仿真工作流应用i的每个子任务qi,j的最晚开始执行时间δij具体为：
<mrow>
<msubsup>
<munder>
<mi>&kappa;</mi>
<mo>&OverBar;</mo>
</munder>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>v</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msubsup>
<mo>=</mo>
<munder>
<mi>min</mi>
<mrow>
<mi>v</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>&Element;</mo>
<mi>V</mi>
<mi>I</mi>
</mrow>
</munder>
<mo>{</mo>
<msubsup>
<mi>&kappa;</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>v</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msubsup>
<mo>}</mo>
</mrow>
<mrow>
<msubsup>
<munder>
<mi>&zeta;</mi>
<mo>&OverBar;</mo>
</munder>
<mrow>
<mi>m</mi>
<mi>j</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<munder>
<munder>
<mi>min</mi>
<mrow>
<mi>v</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>v</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>&Element;</mo>
<mi>V</mi>
<mi>I</mi>
</mrow>
</munder>
<mrow>
<mi>v</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>&NotEqual;</mo>
<mi>v</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</munder>
<mrow>
<mo>{</mo>
<msubsup>
<mi>&zeta;</mi>
<mrow>
<mi>m</mi>
<mi>j</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>}</mo>
</mrow>
</mrow>
其中，Q(qij)表示qi,j的所有后继子任务；表示子任务qi,j的预计最晚完成时间；表示每个子任务qi,j在所有可用虚拟机v(qij)上预计执行时间的最小值；VI表示所有可用的虚拟机集合；表示子任务qi,m向子任务qi,j传输对应数据所需时间的最小值。
9.根据权利要求8所述的面向复杂仿真工作流应用的利润敏感的任务调度方法，其特征在于，所述利润敏感的任务调度方法中子任务在任务池中的调度过程具体为：当一个新的仿真工作流应用i到达时，计算该应用i中每个子任务qi,j的最晚开始执行时间δij，将工作流应用i中所有可执行的子任务按照其δij进行升序排列；然后按顺序将每个子任务调度到一个特定的虚拟机上，并将仿真工作流应用i中其它当前不可执行的子任务添加到任务池中；当一个子任务qi,j执行完成之后，将qi,j的所有后继可执行的子任务按照每个子任务的预计最晚开始执行时间δij进行升序排列；根据排列顺序，依次将每一个子任务调度和分配到虚拟机中，并将qi,j的所有后继可执行的子任务从子任务池中移除。
10.根据权利要求9所述的面向复杂仿真工作流应用的利润敏感的任务调度方法，其特征在于，所述将每个可执行的子任务调度到一个特定的虚拟机上得到执行的方法具体为：根据现有的可用的虚拟机的信息，计算子任务qi,j的预计最晚完成时间和执行子任务qi,j在虚拟机v(qij)中的执行成本；根据新建的虚拟机的信息，计算子任务qi,j的预计最晚完成时间和子任务qi,j在虚拟机v(qij)中的执行成本；然后比较子任务qi,j在现有可用的虚拟机和新建虚拟机中的执行成本，并选择能够满足子任务预计最晚完成时间要求并且执行成本较小的虚拟机；如果选定的虚拟机是一个现有可用的虚拟机，则直接将子任务qi,j调度到该虚拟机中；如果选定的虚拟机是需要新建的虚拟机，则新建一个对应类型的虚拟机然后将子任务qi,j调度到该虚拟机中；以此为每个可执行的子任务qi,j指定一个特定的虚拟机，得到利润敏感的任务调度策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711040707.5A CN108052378B (zh) | 2017-10-31 | 2017-10-31 | 一种面向复杂仿真工作流应用的利润敏感的任务调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711040707.5A CN108052378B (zh) | 2017-10-31 | 2017-10-31 | 一种面向复杂仿真工作流应用的利润敏感的任务调度方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108052378A true CN108052378A (zh) | 2018-05-18 |
| CN108052378B CN108052378B (zh) | 2021-08-31 |
Family
ID=62119773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711040707.5A Active CN108052378B (zh) | 2017-10-31 | 2017-10-31 | 一种面向复杂仿真工作流应用的利润敏感的任务调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108052378B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109101339A (zh) * | 2018-08-15 | 2018-12-28 | 北京邮电大学 | 异构集群中视频任务并行化方法、装置及异构集群系统 |
| CN110610346A (zh) * | 2019-08-07 | 2019-12-24 | 北京航空航天大学 | 智能办公自动化系统工作流实例时间预测分析 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105260818A (zh) * | 2015-09-17 | 2016-01-20 | 福州大学 | 混合云环境下带截止日期约束工作流组的在线优化调度方法 |
| CN106060145A (zh) * | 2016-06-22 | 2016-10-26 | 北京交通大学 | 一种分布式多云数据中心中基于收益的请求访问控制方法 |
| CN106209990A (zh) * | 2016-06-29 | 2016-12-07 | 北京交通大学 | 一种分布异地云数据中心下成本可感知的请求调度方法 |
| US20160378894A1 (en) * | 2015-06-26 | 2016-12-29 | Nemo Partners Nec | Method and apparatus for analyzing economics of power demand management business project using smart power demand resources modeling data simulation module |
| CN106973030A (zh) * | 2016-01-14 | 2017-07-21 | 北京仿真中心 | 一种基于sla的云仿真资源调度方法 |
-
2017
- 2017-10-31 CN CN201711040707.5A patent/CN108052378B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160378894A1 (en) * | 2015-06-26 | 2016-12-29 | Nemo Partners Nec | Method and apparatus for analyzing economics of power demand management business project using smart power demand resources modeling data simulation module |
| CN105260818A (zh) * | 2015-09-17 | 2016-01-20 | 福州大学 | 混合云环境下带截止日期约束工作流组的在线优化调度方法 |
| CN106973030A (zh) * | 2016-01-14 | 2017-07-21 | 北京仿真中心 | 一种基于sla的云仿真资源调度方法 |
| CN106060145A (zh) * | 2016-06-22 | 2016-10-26 | 北京交通大学 | 一种分布式多云数据中心中基于收益的请求访问控制方法 |
| CN106209990A (zh) * | 2016-06-29 | 2016-12-07 | 北京交通大学 | 一种分布异地云数据中心下成本可感知的请求调度方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109101339A (zh) * | 2018-08-15 | 2018-12-28 | 北京邮电大学 | 异构集群中视频任务并行化方法、装置及异构集群系统 |
| CN109101339B (zh) * | 2018-08-15 | 2019-05-31 | 北京邮电大学 | 异构集群中视频任务并行化方法、装置及异构集群系统 |
| CN110610346A (zh) * | 2019-08-07 | 2019-12-24 | 北京航空航天大学 | 智能办公自动化系统工作流实例时间预测分析 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108052378B (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110737529B (zh) | 一种面向短时多变大数据作业集群调度自适应性配置方法 | |
| Ghobaei-Arani et al. | An autonomic resource provisioning approach for service-based cloud applications: A hybrid approach | |
| Shahidinejad et al. | An elastic controller using Colored Petri Nets in cloud computing environment | |
| Liu et al. | Online multi-workflow scheduling under uncertain task execution time in IaaS clouds | |
| CN103631657B (zh) | 一种基于MapReduce的任务调度方法 | |
| Zhu et al. | Scheduling stochastic multi-stage jobs to elastic hybrid cloud resources | |
| Salot | A survey of various scheduling algorithm in cloud computing environment | |
| Juhnke et al. | Multi-objective scheduling of BPEL workflows in geographically distributed clouds | |
| US20050172291A1 (en) | Method and apparatus for utility-based dynamic resource allocation in a distributed computing system | |
| Hoenisch et al. | Optimization of complex elastic processes | |
| Chakravarthi et al. | TOPSIS inspired budget and deadline aware multi-workflow scheduling for cloud computing | |
| Tong et al. | DDQN-TS: A novel bi-objective intelligent scheduling algorithm in the cloud environment | |
| Li et al. | OKCM: improving parallel task scheduling in high-performance computing systems using online learning | |
| Venugopal et al. | A deadline and budget constrained scheduling algorithm for eScience applications on data grids | |
| TW200532518A (en) | Methods and apparatus for managing computing resources based on yield management framework | |
| Li et al. | Endpoint-flexible coflow scheduling across geo-distributed datacenters | |
| Fan et al. | Dras: Deep reinforcement learning for cluster scheduling in high performance computing | |
| CN113641445A (zh) | 基于深度确定性策略的云资源自适应配置方法及系统 | |
| Suzuki et al. | Simulation based process design: Modeling and applications | |
| Sakellariou et al. | Job Scheduling on the Grid: Towards SLA-Based Scheduling. | |
| CN108052378B (zh) | 一种面向复杂仿真工作流应用的利润敏感的任务调度方法 | |
| Genez et al. | Time-discretization for speeding-up scheduling of deadline-constrained workflows in clouds | |
| Arabnejad et al. | Budget constrained scheduling strategies for on-line workflow applications | |
| Liu et al. | Towards a robust meta-reinforcement learning-based scheduling framework for time critical tasks in cloud environments | |
| Singh et al. | A comparative study of various scheduling algorithms in cloud computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |