CN108108233B - 任务多副本执行的集群作业调度方法及系统 - Google Patents

Abstract

本发明提供了一种任务多副本执行的集群作业调度方法及系统，包括：拖后腿机器寻找：运用机器学习的方法，找出当前运行任务的拖后腿机器；最优副本数计算：拖后腿机器上的任务副本和所有任务同时启动，并且建立以最小化任务执行时间和运行成本为目标的优化模型，然后运用交替方向方法求解优化模型得出启动副本的最优数量。本发明免去了检测过程和拖后腿任务在被发现之前的执行时间；建立了以同时最小化作业的流程时间和在集群中的计算成本为优化目标，以集群中所有执行的任务数不超过集群中可用的计算节点数和每个任务的副本数不超过给定的阈值为限制条件的最优化模型。

Description

任务多副本执行的集群作业调度方法及系统

技术领域

本发明涉及计算机技术领域，具体地，涉及一种基于机器学习的任务多副本执行的集群作业调度方法及系统。

背景技术

支持向量机(SVM)是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

交替方向乘子法(Alternating Direction Method of Multiplier-ADMM)是一种求解优化问题的计算框架，适用于求解分布式凸优化问题，特别是统计学习问题，该方法整合了对偶上升算法的可分解性与增广朗格朗日乘数法优秀的收敛性质，分解原函数和扩增函数，将大的全局问题分解为多个较小、较容易求解的局部子问题，以便在对目标函数更一般的假设条件下并行优化，引入新变量，然后交叉换方向来交替优化。

随着集群规模和复杂性的日益增长，如何保障集群性能的可测量性和可预测变得日趋重要，然而集群中拖后腿现象的普遍存在是影响集群性能可预测性的关键因素，它使得运行在某个集群中某个计算节点上的任务的执行时间大量的延长，导致对于任务完成时间无法估计，极大地影响了集群性能。针对这种拖后腿的现象最基本的做法是在其他机器上运行拖后腿的任务的若干副本，当任何一个副本最先执行完任务之后，即该任务执行完成，且终止和清除其他还在运行的副本及数据，其中最经典的算法就是推测执行方法，根据每个任务的执行情况推测哪些任务会成为拖后腿的任务，然后根据推测结果在其他机器上执行拖后腿任务的副本，这种只有在出现拖后腿现象才执行副本的被动方法在一些对延迟特别敏感的任务中性能表现并不是很好。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种任务多副本执行的集群作业调度方法及系统。

根据本发明提供的一种任务多副本执行的集群作业调度方法，包括：

拖后腿机器寻找步骤：运用机器学习的方法，找出当前运行任务的拖后腿机器；

最优副本数计算步骤：拖后腿机器上的任务副本和所有任务同时启动，并且建立以最小化任务执行时间和运行成本为目标的优化模型，然后运用交替方向方法求解优化模型得出启动副本的最优数量。

较佳的，所述拖后腿机器寻找步骤具体包括：

在计算节点的集群中分别运行不同类型的任务一定时间，得到多条训练样本，选定训练样本的特征使得分类函数线性可分，训练样本的特征分别是计算节点上运行任务的工作负载w_i，之前发生拖后腿现象的次数n_i，计算节点的cpu w_c和内存w_m负载，因此分类函数为：f(X)＝w^TX+b，其中X＝[w_s,n_s,w_c,w_m]，为求出参数w^T与b，转化到下面的优化问题一：

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

y_i＝1表示第i个任务运行在计算节点上不会拖后腿，y_i＝-1表示第i个任务运行在计算节点上会拖后腿，转化优化问题一得到优化问题二：

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

求解优化问题二，采用增广朗格朗日乘数法，将约束条件融入到目标函数里，得到优化问题三：

利用拉格朗日对偶，将优化问题三转化为对偶问题：

根据对偶问题求得参数w与b。

较佳的，所述最优副本数计算步骤具体包括：

作业i由m_i任务组成，每个任务不能被抢占，α_i表示第i个作业到达的时间，

表示任务

的副本数，T_i ^j,k表示任务

的第k个副本运行的时间，假设T_i ^j,k是独立同分布的随机变量且

一旦一个副本最先完成，其他的副本被终止运行并且删除运行所需要和产生的所有数据，

表示任务

的完成时间，

因此作业i的流程时间：

考虑两个性能指标，作业流程时间Γ_i和计算成本，其中计算成本用集群运行作业i的所有时间来量化，因此作业i的计算成本为

ξ表示每个任务最大能生成的副本数，且

因此以最小化作业流程时间和作业的计算成本为目标得到如下优化问题五：

其中M表示集群中可用的计算节点的数量，β是调节参数，β设置的越小，则作业的流程时间在优化目标中占主导更大，反之则计算成本是优化问题五主要考虑的目标；

用交替方向法乘子法来求解优化问题五，引入变量c_l，0≤c_l≤M，使得优化问题五的第一个限制条件变成一个等式

且相应的目标函数是f_l(c_l)＝0，

由此将优化问题五转化成优化问题六：

0≤c_l≤M

将优化问题六转化成增广拉格朗日函数形式：

在第r次的迭代中，增广拉格朗日函数更新如下：

λ^r+1分别表示

和λ在第r次迭代之后的值，η＞0，表示步长。

根据本发明提供的一种任务多副本执行的集群作业调度系统，包括：

拖后腿机器寻找模块：运用机器学习的方法，找出当前运行任务的拖后腿机器；

最优副本数计算模块：拖后腿机器上的任务副本和所有任务同时启动，并且建立以最小化任务执行时间和运行成本为目标的优化模型，然后运用交替方向方法求解优化模型得出启动副本的最优数量。

较佳的，所述拖后腿机器寻找模块具体包括：

在计算节点的集群中分别运行不同类型的任务一定时间，得到多条训练样本，选定训练样本的特征使得分类函数线性可分，训练样本的特征分别是计算节点上运行任务的工作负载w_i，之前发生拖后腿现象的次数n_i，计算节点的cpu w_c和内存w_m负载，因此分类函数为：f(X)＝w^TX+b，其中X＝[w_s,n_s,w_c,w_m]，为求出参数w^T与b，转化到下面的优化问题一：

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

y_i＝1表示第i个任务运行在计算节点上不会拖后腿，y_i＝-1表示第i个任务运行在计算节点上会拖后腿，转化优化问题一得到优化问题二：

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

求解优化问题二，采用增广朗格朗日乘数法，将约束条件融入到目标函数里，得到优化问题三：

利用拉格朗日对偶，将优化问题三转化为对偶问题：

根据对偶问题求得参数w与b。

较佳的，所述最优副本数计算模块具体包括：

作业i由m_i任务组成，每个任务不能被抢占，α_i表示第i个作业到达的时间，

表示任务

的副本数，T_i ^j,k表示任务

的第k个副本运行的时间，假设T_i ^j,k是独立同分布的随机变量且Pr{T_i ^j,k≤x}＝F_i(x)，一旦一个副本最先完成，其他的副本被终止运行并且删除运行所需要和产生的所有数据，

表示任务

的完成时间，

因此作业i的流程时间：

考虑两个性能指标，作业流程时间Γ_i和计算成本，其中计算成本用集群运行作业i的所有时间来量化，因此作业i的计算成本为

ξ表示每个任务最大能生成的副本数，且

因此以最小化作业流程时间和作业的计算成本为目标得到如下优化问题五：

其中M表示集群中可用的计算节点的数量，β是调节参数，β设置的越小，则作业的流程时间在优化目标中占主导更大，反之则计算成本是优化问题五主要考虑的目标；

用交替方向法乘子法来求解优化问题五，引入变量c_l，0≤c_l≤M，使得优化问题五的第一个限制条件变成一个等式

且相应的目标函数是f_l(c_l)＝0，

由此将优化问题五转化成优化问题六：

0≤c_l≤M

将优化问题六转化成增广拉格朗日函数形式：

在第r次的迭代中，增广拉格朗日函数更新如下：

λ^r+1分别表示

和λ在第r次迭代之后的值，η＞0，表示步长。

与现有技术相比，本发明具有如下的有益效果：

本发明在任务开始执行之前通过机器学习的方法找出会成为拖后腿的任务，然后启动拖后腿任务的副本，这是一种主动的处理集群中拖后腿的现象，相比于推测执行方法，免去了检测过程和拖后腿任务在被发现之前的执行时间；本发明建立了以同时最小化作业的流程时间和在集群中的计算成本为优化目标，以集群中所有执行的任务数不超过集群中可用的计算节点数和每个任务的副本数不超过给定的阈值为限制条件的最优化模型。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为任务多副本执行的集群作业调度框架图；

图2为集群中第i个作业的任务调度流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

在本发明中，提出了一种基于机器学习的任务多副本执行的集群作业调度策略，运用机器学习的方法，找出当前运行任务的拖后腿的计算节点(计算机器)，使得拖后腿节点上的任务副本和所有任务同时启动，并且建立以最小化任务执行时间和运行成本为目标的优化模型，然后运用交替方向方法求解此优化问题得出启动副本的最优数量。

本发明提供的一种任务多副本执行的集群作业调度方法包括：

一、寻找拖后腿的计算节点(机器)

在拥有40台机器的集群规模中，分别运行wordcount，Top K这两类应用(这两类应用各处理了两个不同大小的数据集)的任务一个月，得到1000条训练样本，选定训练样本的特征使得分类函数线性可分的，其训练样本的特征分别是该机器上运行任务的工作负载w_i，之前发生拖后腿现象的次数n_i，该机器的cpu w_c和内存w_m负载，因此分类函数为：f(X)＝w^TX+b，其中X＝[w_s,n_s,w_c,w_m]，为求出参数w^T与b，转化到下面优化目标：

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

y_i＝1表示第i个任务运行在计算节点上不会拖后腿，y_i＝-1表示第i个任务运行在计算节点上会拖后腿。转化优化问题(1)得到：

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

求解以上优化问题(2)，我们采用增广朗格朗日乘数法，将约束条件融入到目标函数里，得到：

发现问题依然比较难解，利用拉格朗日对偶，将优化问题(3)转化为其对偶问题：

最后根据优化问题(4)求得参数w与b。

二、求得最优的副本数

由一发现某个任务运行在某个计算节点上会成为拖后腿的任务，在其他计算节点上启动若干副本同时运行，将此问题进行优化建模。

一个作业i由m_i任务组成，每个任务是不可以被抢占的，α_i表示第i个作业到达的时间，

表示任务

的副本数，T_i ^j,k表示任务

的第k个副本运行的时间，假设T_i ^j,k是独立同分布的随机变量且Pr{T_i ^j,k≤x}＝F_i(x)，一旦一个副本最先完成，其他的副本被终止运行并且删除运行所需要和产生的所有数据。

表示任务

的完成时间，

因此作业i的流程时间：

我们考虑两个性能指标，作业流程时间Γ_i和计算成本，其中计算成本用集群运行作业i的所有时间来量化，因此作业i的计算成本为

ξ表示每个任务最大能生成的副本数，且

因此以最小化作业流程时间和作业的计算成本为目标得到如下优化模型：

其中M表示集群中可用的计算节点的数量，β是调节参数，如果β设置的比较小，则作业的流程时间在优化目标中占主导，反之则计算成本是优化问题(5)主要考虑的目标。

由于优化问题(5)是一个凸优化问题，我们考虑用交替方向法乘子法来求解优化问题(5)。

由优化问题(5)可以看出，其优化目标是可分离的，但是限制条件不满足交替方向法的等式条件，因此我们引入变量c_l，0≤c_l≤M，使得问题(5)的第一个限制条件变成一个等式

且相应的目标函数是f_l(c_l)＝0，

由此我们将优化问题(5)转化成如下形式：

0≤c_l≤M

首先，将优化问题(6)转化成增广拉格朗日函数形式：

在第r次的迭代中，等式更新如下：

λ^r+1分别表示

和λ在第r次迭代之后的值，η＞0，表示步长。

图1为集群任务调度的四个基本组成模块：作业管理器，调度系统，资源检测器和分类器。

图2展示了集群中第i个作业的m_i个任务调度的基本流程。首先作业管理器将作业i分成m_i个任务，每个任务分别运行在m_i个不同的计算节点上，将每个任务的X_j输入到分类器，将分类器的结果输出到调度系统模块，从而得到每个任务的调度决策(即每个任务的副本数量)。

基于上述一种基于机器学习的任务多副本执行的集群作业调度方法，本发明还提供了一种任务多副本执行的集群作业调度系统，包括：

拖后腿机器寻找模块：运用机器学习的方法，找出当前运行任务的拖后腿机器；

最优副本数计算模块：拖后腿机器上的任务副本和所有任务同时启动，并且建立以最小化任务执行时间和运行成本为目标的优化模型，然后运用交替方向方法求解优化模型得出启动副本的最优数量。

拖后腿机器寻找模块具体包括：

在计算节点的集群中分别运行不同类型的任务一定时间，得到多条训练样本，选定训练样本的特征使得分类函数线性可分，训练样本的特征分别是计算节点上运行任务的工作负载w_i，之前发生拖后腿现象的次数n_i，计算节点的cpu w_c和内存w_m负载，因此分类函数为：f(X)＝w^TX+b，其中X＝[w_s,n_s,w_c,w_m]，为求出参数w^T与b，转化到下面的优化问题一：

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

y_i＝1表示第i个任务运行在计算节点上不会拖后腿，y_i＝-1表示第i个任务运行在计算节点上会拖后腿，转化优化问题一得到优化问题二：

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

求解优化问题二，采用增广朗格朗日乘数法，将约束条件融入到目标函数里，得到优化问题三：

利用拉格朗日对偶，将优化问题三转化为对偶问题：

根据对偶问题求得参数w与b。

最优副本数计算模块具体包括：

作业i由m_i任务组成，每个任务不能被抢占，α_i表示第i个作业到达的时间，

表示任务

的副本数，T_i ^j,k表示任务

的第k个副本运行的时间，假设T_i ^j,k是独立同分布的随机变量且Pr{T_i ^j,k≤x}＝F_i(x)，一旦一个副本最先完成，其他的副本被终止运行并且删除运行所需要和产生的所有数据，

表示任务

的完成时间，

因此作业i的流程时间：

考虑两个性能指标，作业流程时间Γ_i和计算成本，其中计算成本用集群运行作业i的所有时间来量化，因此作业i的计算成本为

ξ表示每个任务最大能生成的副本数，且

因此以最小化作业流程时间和作业的计算成本为目标得到如下优化问题五：

其中M表示集群中可用的计算节点的数量，β是调节参数，β设置的越小，则作业的流程时间在优化目标中占主导更大，反之则计算成本是优化问题五主要考虑的目标；

用交替方向法乘子法来求解优化问题五，引入变量c_l，0≤c_l≤M，使得优化问题五的第一个限制条件变成一个等式

且相应的目标函数是f_l(c_l)＝0，

由此将优化问题五转化成优化问题六：

0≤c_l≤M

将优化问题六转化成增广拉格朗日函数形式：

在第r次的迭代中，增广拉格朗日函数更新如下：

λ^r+1分别表示

和λ在第r次迭代之后的值，η＞0，表示步长。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (4)

1.一种任务多副本执行的集群作业调度方法，其特征在于，包括：

拖后腿机器寻找步骤：运用机器学习的方法，找出当前运行任务的拖后腿机器；

最优副本数计算步骤：拖后腿机器上的任务副本和所有任务同时启动，并且建立以最小化任务执行时间和运行成本为目标的优化模型，然后运用交替方向方法求解优化模型得出启动副本的最优数量；

所述拖后腿机器寻找步骤具体包括：

在计算节点的集群中分别运行不同类型的任务一定时间，得到多条训练样本，选定训练样本的特征使得分类函数线性可分，训练样本的特征分别是计算节点上运行任务的工作负载w_i，之前发生拖后腿现象的次数n_i，计算节点的cpu w_c和内存w_m负载，因此分类函数为：f(X)＝w^TX+b，其中X＝[w_s,n_s,w_c,w_m]，为求出参数w^T与b，转化到下面的优化问题一：

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

y_i＝1表示第i个任务运行在计算节点上不会拖后腿，y_i＝-1表示第i个任务运行在计算节点上会拖后腿，转化优化问题一得到优化问题二：

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

求解优化问题二，采用增广朗格朗日乘数法，将约束条件融入到目标函数里，得到优化问题三：

利用拉格朗日对偶，将优化问题三转化为对偶问题：

根据对偶问题求得参数w与b。

2.根据权利要求1所述的任务多副本执行的集群作业调度方法，其特征在于，所述最优副本数计算步骤具体包括：

作业i由m_i任务组成，每个任务不能被抢占，α_i表示第i个作业到达的时间，

表示任务

的副本数，T_i ^j,k表示任务

的第k个副本运行的时间，假设T_i ^j,k是独立同分布的随机变量且Pr{T_i ^j,k≤x}＝F_i(x)，一旦一个副本最先完成，其他的副本被终止运行并且删除运行所需要和产生的所有数据，

表示任务

的完成时间，

因此作业i的流程时间：

考虑两个性能指标，作业流程时间Γ_i和计算成本，其中计算成本用集群运行作业i的所有时间来量化，因此作业i的计算成本为

ξ表示每个任务最大能生成的副本数，且

因此以最小化作业流程时间和作业的计算成本为目标得到如下优化问题五：

其中M表示集群中可用的计算节点的数量，β是调节参数，β设置的越小，则作业的流程时间在优化目标中占主导更大，反之则计算成本是优化问题五主要考虑的目标；

用交替方向法乘子法来求解优化问题五，引入变量c_l，0≤c_l≤M，使得优化问题五的第一个限制条件变成一个等式

且相应的目标函数是f_l(c_l)＝0，

由此将优化问题五转化成优化问题六：

0≤c_l≤M

将优化问题六转化成增广拉格朗日函数形式：

在第r次的迭代中，增广拉格朗日函数更新如下：

λ^r+1分别表示

和λ在第r次迭代之后的值，η＞0，表示步长。

3.一种任务多副本执行的集群作业调度系统，其特征在于，包括：

拖后腿机器寻找模块：运用机器学习的方法，找出当前运行任务的拖后腿机器；

最优副本数计算模块：拖后腿机器上的任务副本和所有任务同时启动，并且建立以最小化任务执行时间和运行成本为目标的优化模型，然后运用交替方向方法求解优化模型得出启动副本的最优数量；

所述拖后腿机器寻找模块具体包括：

在计算节点的集群中分别运行不同类型的任务一定时间，得到多条训练样本，选定训练样本的特征使得分类函数线性可分，训练样本的特征分别是计算节点上运行任务的工作负载w_i，之前发生拖后腿现象的次数n_i，计算节点的cpu w_c和内存w_m负载，因此分类函数为：f(X)＝w^TX+b，其中X＝[w_s,n_s,w_c,w_m]，为求出参数w^T与b，转化到下面的优化问题一：

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

y_i＝1表示第i个任务运行在计算节点上不会拖后腿，y_i＝-1表示第i个任务运行在计算节点上会拖后腿，转化优化问题一得到优化问题二：

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

求解优化问题二，采用增广朗格朗日乘数法，将约束条件融入到目标函数里，得到优化问题三：

利用拉格朗日对偶，将优化问题三转化为对偶问题：

根据对偶问题求得参数w与b。

4.根据权利要求3所述的任务多副本执行的集群作业调度系统，其特征在于，所述最优副本数计算模块具体包括：

作业i由m_i任务组成，每个任务不能被抢占，α_i表示第i个作业到达的时间，

表示任务

的副本数，T_i ^j,k表示任务

的第k个副本运行的时间，假设T_i ^j,k是独立同分布的随机变量且Pr{T_i ^j,k≤x}＝F_i(x)，一旦一个副本最先完成，其他的副本被终止运行并且删除运行所需要和产生的所有数据，

表示任务

的完成时间，

因此作业i的流程时间：

考虑两个性能指标，作业流程时间Γ_i和计算成本，其中计算成本用集群运行作业i的所有时间来量化，因此作业i的计算成本为

ξ表示每个任务最大能生成的副本数，且

因此以最小化作业流程时间和作业的计算成本为目标得到如下优化问题五：

其中M表示集群中可用的计算节点的数量，β是调节参数，β设置的越小，则作业的流程时间在优化目标中占主导更大，反之则计算成本是优化问题五主要考虑的目标；

用交替方向法乘子法来求解优化问题五，引入变量c_l，0≤c_l≤M，使得优化问题五的第一个限制条件变成一个等式

且相应的目标函数是f_l(c_l)＝0，

由此将优化问题五转化成优化问题六：

0≤c_l≤M

将优化问题六转化成增广拉格朗日函数形式：

在第r次的迭代中，增广拉格朗日函数更新如下：

λ^r+1分别表示

和λ在第r次迭代之后的值，η＞0，表示步长。

Images