CN110377411B - 一种面向分布式云的工作流任务调度方法和系统 - Google Patents

Abstract

本发明提供一种面向分布式云的工作流任务调度方法和系统，调度方法包括如下步骤：从工作流中获取依赖任务不是未被调度任务的未被调度任务，将这些未被调度任务作为待调度任务；计算各待调度任务的截止时间和在公有云上个虚拟机的完成时间，将各待调度任务分配至其完成时间小于且最接近其截止时间的虚拟机的待调度任务集中；将各虚拟机待调度任务集中完成时间最接近其截止时间的待调度任务调度到对应的虚拟机上。本发明提供的技术方案，在将未被调度任务调度到公有云上的虚拟机时充分考虑到了任务之间的依赖性和未被调度任务在虚拟机上的完成时间，从而提高未被调度任务在虚拟机上的执行效率，解决现有技术中的任务调度方法效率较低的问题。

Description

一种面向分布式云的工作流任务调度方法和系统

技术领域

本发明属于分布式云的任务调度控制技术领域，具体涉及一种面向分布式云的工作流任务调度方法和系统。

背景技术

云计算相对于传统的计算模式有着巨大优点，比如弹性的资源供应、按需付费、经济规模大、可用性高和可动态制定等。因此近十年来，在企业界和学术界的共同推动下，云计算产业生态得到了快速的发展。分布式云资源的多样性为云租户提供诸多优势，如可以就近处理用户请求以降低响应时间、利用共有资源的多样性以降低成本、防止供应商锁定、增加任务执行可靠性等。

如何低成本高效益地使用公有云资源已成为当前紧需解决的问题，其中任务调度是解决该问题的重要方法。任务调度是指通过将任务合理分配到公有云的虚拟机上，以达到降低成本、提高资源利用率、降低服务水平协议违约次数等目的。

现有的任务调度主要面向单个云场景，而单个云不具有分布式云资源多样性所带来的优势。目前已有的任务调度方法为简化问题只针对独立任务进行调度而忽视了任务之间的数据传输的依赖性以及分布式云环境网络结构的复杂性，从而可能因低性能的云间网络资源而导致服务水平协议的违约。

因此现有的任务调度方法由于忽略了分布式云资源的异构型，从而造成其存在效率较低的问题。

发明内容

本发明的目的是提供一种面向分布式云的工作流任务调度方法和系统，以解决现有技术中任务调度方法效率低的问题。

为实现上述目的，本发明采用如下技术方案：

一种面向分布式云的工作流任务调度方法，包括如下步骤：

(1)从工作流中获取依赖任务不是未被调度任务的未被调度任务，将这些未被调度任务作为待调度任务；

(2)计算各待调度任务的截止时间和在公有云上个虚拟机的完成时间，将各待调度任务分配至其完成时间小于且最接近其截止时间的虚拟机的待调度任务集中；

(3)将各虚拟机待调度任务集中完成时间最接近其截止时间的待调度任务调度到对应的虚拟机上。

进一步的，当待调度任务无依赖任务时，其完成时间为：

其截止时间为

其中ft_i为待调度任务t_i的完成时间，d_i为待调度任务t_i的截止时间，D为工作流截止时间，b_k为用户和公有云p_k之间的传输数据的宽带，e_im为t_i向用户传输的数据量，e_i为用户向t_i传输的数据量，f_kl为虚拟机v_kl的服务能力，s_i是待调度任务t_i的计算工作量。

进一步的，当调度任务有依赖任务时，其完成时间为：

其截止时间为

其中ft_i为待调度任务t_i的完成时间，ft_h为任务t_h的完成时间，d_i和d_n分别为待调度任务t_i和t_n的截止时间，t_h和t_n分别为工作流中第h和第n个任务，s_i和s_n分别是待调度任务t_i和t_n的计算工作量，e_hi为任务t_h完成后向任务t_i传输的数据量，e_in为任务t_i完成后向t_n传输的数据量；T为工作流的任务集合，T_j分别表示调度到公有云p_j上的任务集合，T_kl为调度到虚拟机v_kl上的任务集合，p_k为第k个公有云，b_k为用户和公有云p_k之间的传输数据的宽带，b_jk为公有云p_j和p_k之间传输数据的带宽，如果j＝k，则b_jk为公有云p_k内部虚拟机之间传输数据的带宽，f_kl为虚拟机v_kl的服务能力，P表示公有云集合。

一种面向分布式云的工作流任务调度系统，包括处理器和存储器，所述存储器上存储有用于在处理器上执行的计算机程序；所述处理器执行所述计算机程序时，实现如下控制步骤：

(1)从工作流中获取依赖任务不是未被调度任务的未被调度任务，将这些未被调度任务作为待调度任务；

(2)计算各待调度任务的截止时间和在公有云上个虚拟机的完成时间，将各待调度任务分配至其完成时间小于且最接近其截止时间的虚拟机的待调度任务集中；

(3)将各虚拟机待调度任务集中完成时间最接近其截止时间的待调度任务调度到相应的虚拟机上。

当待调度任务无依赖任务时，其完成时间为：

其截止时间为

其中ft_i为待调度任务t_i的完成时间，d_i为待调度任务t_i的截止时间，D为工作流截止时间，b_k为用户和公有云p_k之间的传输数据的宽带，e_im为t_i向用户传输的数据量，e_i为用户向t_i传输的数据量，f_kl为虚拟机v_kl的服务能力，s_i是待调度任务t_i的计算工作量。

进一步的，当调度任务有依赖任务时，其完成时间为：

其截止时间为

其中ft_i为待调度任务t_i的完成时间，ft_h为任务t_h的完成时间，d_i和d_n分别为待调度任务t_i和t_n的截止时间，t_h和t_n分别为工作流中第h和第n个任务，s_i和s_n分别是待调度任务t_i和t_n的计算工作量，e_hi为任务t_h完成后向任务t_i传输的数据量，e_in为任务t_i完成后向t_n传输的数据量；T为工作流的任务集合，T_j表示调度到公有云p_j上的任务集合，T_kl为调度到虚拟机v_kl上的任务集合，p_k为第k个公有云，b_k为用户和公有云p_k之间的传输数据的宽带，b_jk为公有云p_j和p_k之间传输数据的带宽，如果j＝k，则b_jk为公有云p_k内部虚拟机之间传输数据的带宽，f_kl为虚拟机v_kl的服务能力，P表示公有云集合。

本发明的有益效果：本发明所提供的技术方案，在将未被调度任务调度到公有云上的虚拟机时不仅充分考虑到了任务之间的依赖性，而且考虑到了未被调度任务在虚拟机上的完成时间，从而提高未被调度任务在虚拟机上的执行效率，解决现有技术中的任务调度方法效率较低的问题。

附图说明

图1是本发明方法实施例中面向分布式云的工作流任务调度方法的流程图。

具体实施方式

方法实施例：

本实施例提供一种面向分布云的工作流任务调度方法，用于解决现有技术中分布云任务调度不合理的问题。

本实施例所提供的面向分布云的工作流任务调度方法，其流程如图1所示，包括如下步骤：

(1)判断工作流的未被调度任务集中的各未被调度任务是否存在依赖任务，如果存在则判断其所依赖的任务是否是未被调度任务；

如果未被调度任务没有依赖任务，或者其依赖的任务不是未被调度任务，则将其作为待调度任务，从而建立待调度任务集。

(2)计算各待调度任务的截止时间和在公有云上可租用虚拟机的完成时间，将各调度任务分别调度到完成时间小于且最接近其截止时间的虚拟机，从而建立各虚拟机的待调度任务集；

待调度任务在虚拟机上的完成时间，是指虚拟机完成该调度任务所用的时间，计算待调度任务在虚拟机上的完成时间和待调度任务的截止时间时所采用的计算公式为：

当待调度任务t_i无依赖任务时，其完成时间为

截止时间为

当待调度任务t_i依赖任务t_h时，其完成时间为

截止时间为

计算待调度任务截止时间与各虚拟机完成其所用完成时间之差：

Δt_i＝d_i-ft_i

其中ft_i为待调度任务t_i的完成时间，ft_h为任务t_h的完成时间，d_i和d_n分别为待调度任务t_i和t_n的截止时间，D为工作流截止时间，t_h和t_n分别为工作流中第h和第n个任务，s_i和s_n分别是待调度任务t_i和t_n的计算工作量，e_hi为任务t_h完成后向任务t_i传输的数据量，e_in为任务t_i完成后向t_n传输的数据量；e_i为用户向t_i传输的数据量，当工作流中无依赖t_i的任务时，e_im为t_i向用户传输的数据量，T为工作流的任务集合，T_j表示调度到公有云p_j上的任务集合，T_kl为调度到虚拟机v_kl上的任务集合，p_k为第k个公有云，b_k为用户和公有云p_k之间的传输数据的宽带，b_jk为公有云p_j和p_k之间传输数据的带宽，如果j＝k，则b_jk为公有云p_k内部虚拟机之间传输数据的带宽，f_kl为虚拟机v_kl的服务能力，，P表示公有云集合。

(3)将各虚拟机待调度任务集中截止时间与其在对应虚拟机上完成时间之差最小的待调度任务调度到对应的虚拟机上。

系统实施例：

本实施例提供一种面向分布式云的工作流任务调度系统，包括处理器和存储器，存储器上存储有用于在处理器上执行的计算机程序，当处理器执行该计算机程序时，实现如上述方法实施例中所提供的面向分布式云的工作流任务调度方法，该方法已在上述方法实施例中做了详细介绍，这里不多做说明。

Claims (2)

1.一种面向分布式云的工作流任务调度方法，其特征在于，包括如下步骤：

(1)从工作流中获取依赖任务不是未被调度任务的未被调度任务，将这些未被调度任务作为待调度任务；

(2)计算各待调度任务的截止时间和在公有云上个虚拟机的完成时间，将各待调度任务分配至其完成时间小于且最接近其截止时间的虚拟机的待调度任务集中；

(3)将各虚拟机待调度任务集中完成时间最接近其截止时间的待调度任务调度到对应的虚拟机上；当待调度任务无依赖任务时，其完成时间为：

其截止时间为

其中ft_i为待调度任务t_i的完成时间，d_i为待调度任务t_i的截止时间，D为工作流截止时间，b_k为用户和公有云p_k之间的传输数据的宽带，e_im为t_i向用户传输的数据量，e_i为用户向t_i传输的数据量，f_kl为虚拟机v_kl的服务能力，s_i是待调度任务t_i的计算工作量；当调度任务有依赖任务时，其完成时间为：

其截止时间为

其中ft_i为待调度任务t_i的完成时间，d_i为待调度任务t_i的截止时间，D为工作流截止时间，t_h和t_i分别为工作流中第h和第n个任务，s_i和s_n分别是待调度任务t_i和t_h的计算工作量，e_hi为任务t_h完成后向任务t_i传输的数据量，e_in为任务t_i完成后向t_n传输的数据量；e_i为用户向t_i传输的数据量，当工作流中无依赖t_i的任务时，e_im为t_i向用户传输的数据量，T为工作流的任务集合，T_j和T_k分别表示调度到公有云p_j和p_k上的任务集合，T_kl为调度到虚拟机v_kl上的任务集合，p_j为第j个公有云，b_k为用户和公有云p_k之间的传输数据的宽带，b_jk为公有云p_j和p_k之间传输数据的带宽，如果j＝k，则b_jk为公有云p_k内部虚拟机之间传输数据的带宽，f_kl为虚拟机v_kl的服务能力。

2.一种面向分布式云的工作流任务调度系统，包括处理器和存储器，所述存储器上存储有用于在处理器上执行的计算机程序；其特征在于，所述处理器执行所述计算机程序时，实现如下控制步骤：

(1)从工作流中获取依赖任务不是未被调度任务的未被调度任务，将这些未被调度任务作为待调度任务；

(2)计算各待调度任务的截止时间和在公有云上个虚拟机的完成时间，将各待调度任务分配至其完成时间小于且最接近其截止时间的虚拟机的待调度任务集中；

(3)将各虚拟机待调度任务集中完成时间最接近其截止时间的待调度任务调度到相应的虚拟机上；当待调度任务无依赖任务时，其完成时间为：

其截止时间为

其中ft_i为待调度任务t_i的完成时间，d_i为待调度任务t_i的截止时间，D为工作流截止时间，b_k为用户和公有云p_k之间的传输数据的宽带，e_im为t_i向用户传输的数据量，e_i为用户向t_i传输的数据量，f_kl为虚拟机v_kl的服务能力，s_i是待调度任务t_i的计算工作量；当调度任务有依赖任务时，其完成时间为：

其截止时间为

其中ft_i为待调度任务t_i的完成时间，d_i为待调度任务t_i的截止时间，D为工作流截止时间，t_h和t_i分别为工作流中第h和第n个任务，s_i和s_n分别是待调度任务t_i和t_h的计算工作量，e_hi为任务t_h完成后向任务t_i传输的数据量，e_in为任务t_i完成后向t_n传输的数据量；e_i为用户向t_i传输的数据量，当工作流中无依赖t_i的任务时，e_im为t_i向用户传输的数据量，T为工作流的任务集合，T_j和T_k分别表示调度到公有云p_j和p_k上的任务集合，T_kl为调度到虚拟机v_kl上的任务集合，p_j为第j个公有云，b_k为用户和公有云p_k之间的传输数据的宽带，b_jk为公有云p_j和p_k之间传输数据的带宽，如果j＝k，则b_jk为公有云p_k内部虚拟机之间传输数据的带宽，f_kl为虚拟机v_kl的服务能力。

Images