CN101836190B - 用于将多个作业分配给多个计算机的方法和系统 - Google Patents

Abstract

优选实施例提供了一种用于从多个候选工作负荷分配确定最佳工作负荷分配的机制，每个所述候选工作负荷分配都已被确定为优化工作负荷调度问题的一个特定方面。具体地说，优选实施例根据资源选择策略确定工作负荷分配。从该工作负荷分配，优选实施例可选地根据作业优先级确定工作负荷分配。从上述两个参数或其中之一，优选实施例根据总的按优先顺序排列的权重参数确定工作负荷分配。优选实施例还确定尝试将先前确定的候选工作负荷分配与目标分配相匹配的工作负荷分配。类似地，优选实施例计算尝试最大化作业吞吐量的其他工作负荷分配。

Description

用于将多个作业分配给多个计算机的方法和系统

技术领域

本发明涉及用于将多个作业分配给多个计算机的方法、系统和计算机程序。

背景技术

工作负荷调度是IT环境的越来越重要的部分。实际上，通过跨一组分布式资源(例如，计算、存储、通信容量、软件许可、专用设备等)调度工作来驱动许多网格计算环境。多数网格系统都包括作业调度器，以查找在其上运行用户所提交的作业的机器。简单的作业调度器将作业分配给其资源与作业需求匹配的下一可用机器。但是，较高级的调度器实现作业优先级系统，其中将优先级较高的作业优先分配给网格机器。调度器还可实现策略，提供对作业、用户和资源的各种约束(例如，限制网格作业在一天中的特定时间的执行)。

本质上，调度是一个优化问题，当只涉及一种资源类型(例如，CPU)时，调度是相当简单的。当通过在调度过程中包括更多资源变量可以实现进一步的性能提高时，所得的多变量优化变成了一个困难的数学问题。在尝试简化问题时，现有技术的工作负荷分配算法通常假设分配问题是在基本同类的环境中部署基本同类的作业的问题。因此，这些现有技术算法未能认识到不同的作业一般具有不同的资源要求。类似地，现有技术算法通常未能认识到给定作业部署对后续作业的影响程度，从而影响系统的整体作业吞吐量。

发明内容

根据本发明，提供了一种将多个作业分配给多个计算机的方法，所述 方法包括以下步骤：

-确定所述作业与所述计算机的多个可能的配对，以产生多个临时性分配；

-根据所述临时性分配满足每个作业的个别要求的程度对所述临时性分配进行分级；

-根据所述临时性分配匹配预定分配的程度对所述临时性分配进行分级；

-根据所述临时性分配最大化所述计算机的吞吐量的程度对所述临时性分配进行分级；

-从所述分级确定最佳分配；以及

-根据所述最佳分配将所述作业或所述作业中的每个作业部署到所述计算机或所述计算机中的每个计算机。

与现有技术工作负荷调度系统相比，优选实施例同时考虑了要分配的作业以及可能向其分配作业的资源的不同方面。在此方面，优选实施例的基本原则之一是：每个作业都具有不同的特征并且应根据其自己的要求单独进行优化。

此外，优选实施例与现有技术工作负荷调度系统不同，因为它认识到给定作业分配对其他后续作业的操作的影响。具体而言，优选实施例认识到，将作业部署到给定资源可导致所述作业实际上保留所述资源，从而阻止将其他后续作业部署到所述资源。

附图说明

在此将参考附图仅通过实例的方式描述本发明的实施例，这些附图是：

图1是优选实施例的操作的流程图；

图2是优选实施例中的多个作业的实例的资源选择策略的表；

图3是优选实施例针对图2中所示的作业识别的资源的表；

图4是图2中所示的实例中的作业的资源的重新排序的表；

图5是优选实施例针对图3中所列的资源产生的正规化权重的表；

图6是图2的实例内的N个作业的基于权重的分配目标的表；

图7是图2的实例内的每个作业的优选资源的按优先顺序排列的权重的表；

图8是考虑时间问题时所产生的多个可能工作负荷分配中的作业-资源对的表；

图9是图8中所示的作业-资源配对的总的按优先顺序排列的加权值的表；

图10是目标分配和使用优选实施例的先前步骤确定的多个实际工作负荷分配的表；

图11是图10中所示的作业-资源对的增量平方分配值和正规化后的增量平方分配值的表；

图12是优选实施例确定的多个工作负荷分配中的每个工作负荷分配对系统作业吞吐量的贡献程度的度量的表；

图13是优选实施例使用图9和图11中所示的变量产生的最佳工作负荷分配值的表；以及

图14是优选实施例在其上工作的计算机的方块图。

具体实施方式

A. 概述

优选实施例提供了一种用于从多个候选工作负荷分配确定最佳工作负荷分配的机制，每个所述候选工作负荷分配都已被确定为优化工作负荷调度问题的一个特定方面。更具体地说，参考图1，优选实施例根据资源选择策略确定(10)工作负荷分配((W(r_k ，j_k)))。从此工作负荷分配((W(r_k ，j_k)))，优选实施例根据作业优先级可选地确定(12)工作负荷分配(PW(r_k ，j_k))。

从上述两个参数或其中之一，优选实施例根据总的按优先顺序排列的权重参数确定(14)工作负荷分配。优选实施例还确定(16)尝试将先前确定的候选工作负荷分配与目标分配相匹配的工作负荷分配。类似地，优 选实施例计算(18)尝试最大化作业吞吐量的其他工作负荷分配。从所有这些工作负荷分配，优选实施例计算(20)有效地考虑了以下可配置因素的总体最佳工作负荷分配：

-每个作业的资源选择策略；

-作业优先级(可选)

-工作平衡；以及

-作业吞吐量

在确定总体最佳工作负荷分配中，优选实施例在上述变量的基础上，通过为所述变量提供同类值(在区间[0-100]中)并开发包括所有变量的目标函数，来评估和比较候选作业分配的优点。

出于实例目的，在IBM Tivoli Dynamic Workload Broker(ITDWB)的上下文内描述优选实施例。但是，将理解的是，优选实施例并不限于此实施方式并且可在各种不同的软件平台中实现。

B. 更详细的描述

步骤 1 ：根据资源选择策略确定正规化后的独立工作负荷分配。

要执行的作业通常具有一组资源约束(例如可用磁盘空间、存储器等)，它们确定了可以向其提交作业以便执行的目标(即“可用”资源)。每个作业还具有资源选择策略，它对满足作业要求的可用资源进行分级。这些策略本质上包括可用资源的特定属性的最大化或最小化。例如，需要大量CPU处理的作业可以将“最小化CPU利用率”作为其资源选择策略。在此情况下，首选具有较小CPU利用率的可用资源。类似地，需要大量空闲存储器的作业可以将“最大化空闲存储器”作为资源选择策略。在此情况下，首选具有更多空闲存储器的可用资源。

因此，为了简洁，假设具有N个要执行的作业J∈R^N；并且假设对于每个作业j_i∈J，存在m(i)个可用资源R_i ∈R^m(i)。每个作业j_i具有形式为MIN|MAX RAttr(r_ip，j_i)(i＝1到N；p＝1到m(i))的资源选择策略，其中RAttr是要最小化或最大化的属性。参考图2，例如，假设作业j₁具有选择包括最 小属性值RAttr(r_1p，j₁)的资源的资源选择策略。类似地，假设作业j₂具有选择包括最大属性值RAttr(r_2p，j₂)的可用资源的资源选择策略；以及作业j₃具有选择包括最大属性值RAttr(r_3p，j₃)的可用资源的资源选择策略。更概括地说，假设作业jn具有选择包括最大属性值RAttr(r_np，j_n)的可用资源的资源选择策略。参考图3，例如，假设作业j₁、j₂、j₃以及j_n的可用资源是r₁ ＝{r₁，r₂}、 r₂ ＝{r₁，r₂，r₃}、r₃ ＝{r₂，r₃，r₄，r₆}以及r_n ＝{r₂，r₅}。优选实施例根据作业的资源选择策略和可用资源的相关属性的值，对每个作业j_i的可用资源进行排序。例如，如果RAttr(r₁₁，j₁)＞RAttr(r₁₂，j₁)，并且资源选择策略要求相关属性的最小化，则作业j₁的排序后的资源列表将变为r₂、r₁。更概括地说并参考图4，优选实施例使用图2中所示的资源选择策略将作业j₂的资源重新排序为r₁、r₃以及r₂；将作业j₃的资源重新排序为r₂、r₃、r₆以及r₄；将作业j_n的资源重新排序为r₅、r₂。

虽然此排序过程提供了给定作业的最佳可用资源的指示，但它未提供任何有关最佳可用资源超出其他可用资源的程度的信息。例如，优选实施例可能已经确定CPU利用率为10％的可用资源优于CPU利用率为11％的第一其他可用资源或CPU利用率为90％的第二其他可用资源。但是，这并不表明最佳可用资源稍稍优于第一其他可用资源并远远优于第二其他可用资源。类似的考虑适用于具有绝对值的资源属性，例如空闲存储器。为了克服此问题，优选实施例使用范围0-100中的权重对属性进行正规化。例如，如果作业j_k的资源选择策略包括最大化运算，则针对作业j_k的可用资源r_k 的加权(W(r_k ，j_k))通过下式给出：

类似地，如果作业j_k的资源选择策略包括最小化运算，则针对作业j_k的可用资源r_k 的加权(W(r_k ，j_k))通过下式给出：

例如，如果对于作业j₁存在三个可用资源(CPU利用率为10％、11％和90％)；并且该作业的资源选择策略包括最小化运算，则资源的正规化权重为：

W(r₁₁，j₁)＝((1/10)/(1/10+1/11+1/90))*100

＝((1/10)/(0.20202))*100＝49.5

W(r₂₁，j₁)＝((1/11)/(1/10+1/11+1/90))*100

＝((1/11)/(0.20202))*100＝45

W(r₃₁，j₁)＝((1/90)/(1/10+1/11+1/90))*100

＝((1/90)/(0.20202))*100＝5.5

类似地，例如，如果对于作业j₁存在三个空闲存储器为1000、900和100Mb的资源；并且该作业的资源选择策略包括最大化运算，则资源的正规化权重为：

W(r₁₁，j₁)＝((1000)/(1000+900+100))*100

＝((1000)/(2000))*100＝50

W(r₂₁，j₁)＝((900)/(1000+900+100))*100

＝((900)/(2000))*100＝45

W(r₃₁，j₁)＝((100)/(1000+900+100))*100

＝((100)/(2000))*100＝5

参考图5，此过程提供了一组可比较的首选项值，它们可以被视为跨所有可用资源的一系列工作负荷分配(其中与作业的任何要求都不匹配的资源具有权重0)。

步骤 2 ：根据作业优先级确定独立工作负荷分配。

上述用于确定工作负荷分配的机制本质上专注于评估可用资源的不同属性。但是，作业本身具有在其优先级中反映的不同属性。优选实施例(可 选地)通过按如下方式计算每个作业的每个可用资源的按优先顺序排列的权重(PW)，来考虑作业优先级对工作负荷分配的作用：

PW(r_k ，j_k)＝p_i*W(r_k ，j_k) (3)

图7中示出了得到的按优先顺序排列的作业权重。

步骤 3 ：计算总的按优先顺序排列的加权度量

先前的步骤产生了可以在任何给定时间采用的特定工作负荷分配。但是，这些步骤没有考虑资源约束和保留的时间方面。参考图8，当考虑此特性时，可以看到在任何给定时间实际上可能具有若干不同的工作负荷分配。例如，如果作业j₁和j₂都使用并保留整个资源r₁，而不是r₂；然后可以将j₁部署到r₁，将j₂部署到r₂。备选地，可以将j₂部署到r₁，将j₁部署到r₂；或将j₁和j₂部署到r₂。

为了简洁，并且为了避免与在先前步骤中确定的工作负荷分配混淆，从考虑资源约束和保留的时间方面产生的工作负荷分配将在此后被称为时间工作负荷分配。因此，在任何给定时刻，假设具有n个可能的时间工作负荷分配S，其中每个S_k (k＝1到n)包括作业-资源对集合{j_ir_{l ∈ [1 → m(i)]}}(i＝1到n)。在本步骤中，优选实施例根据每个可能的时间工作负荷分配S_k 的按优先顺序排列的权重来评估其优点。为此，优选实施例使用以下表达式计算每个时间工作负荷分配S_k 的所有按优先顺序排列的权重PW(_ir_{l ∈ [1 → m(i)]}，j_i)的总的按优先顺序排列的加权值TW(S_k)

更具体地说，使用以下表达式将总的按优先顺序排列的加权TW(S_k)值正规化到范围0-100。

在图9中示出了图8中的时间工作负荷分配的总的按优先顺序排列的加权值和正规化后的按优先顺序排列的加权值。正规化后的总的按优先顺 序排列的加权值提供了用于比较每个单独时间工作负荷分配的优点的度量。具体地说，较高值的正规化后的总的按优先顺序排列的加权指示较好的时间工作负荷分配。

步骤 4 ：根据目标分配计算分配解

在多数情况下，管理员可能已为系统指定了期望工作负荷分配，其中期望工作负荷分配被称为目标分配(GD)。例如，管理员可能已经指定跨所有资源同等地分配工作负荷。因此，给定五个资源，目标是为每个资源分配20％的作业。但是，优选实施例的先前步骤可能已经产生不同于目标分配(GD)的工作负荷分配。为了克服此问题，优选实施例计算总计增量平方分配(ΔD_k)，当ΔD_k被添加到预先存在的分配(PD)和候选分配S_k时，将使其更接近目标分配(GD)。相应地，优选实施例实质上计算候选分配达到目标分配的程度的度量。

假设预先存在的分配(PD)被定义为每个资源的预先存在的作业数(PNJ)的集合{PNJ(R₁)，PNJ(R₂)，...，PNJ(R_m)}，其中预先存在的作业数PNJ表示当算法根据入站作业开始计算新的分配时正在运行的作业数。此外，假设目标分配(GD)被定义为每个资源的目标分配(GD)的集合{GD(R₁)，GD(R₂)，...，GD(R_m)}。分配解S_k包括如何在有限数量(m)的资源之间分配多个入站作业(由系统在给定时间间隔内接收)的指示。更具体地说，分配解S_k可以一般地被描述为分配给每个可用资源的当前作业数CNJ_k的集合(即S_k＝{CNJ_k(R₁)，CNJ_k(R₂)，...CNJ_k(R_m)})。例如，参考图10，在三个候选分配S₁、S₂和S₃中分配给资源R1的当前作业数为CNJ(R₁)＝{2，1，0}。类似地，分配给资源R₂的当前作业数由CNJ(R₂)＝{1，1，2}给出。

优选实施例根据下面的等式(6)，从候选分配(S_k)和预先存在的分配(PD)的当前作业数(CNJ_k(R_ii＝1到m))的组合计算计划分配(projecteddistribution，PD)。

其中m＝资源数。

从此信息，优选实施例然后根据下面的等式7计算总计增量平方分配ΔD_k(针对每个资源)。

其中ΔD_k按如下方式被正规化到0-100：

总计增量平方分配ΔD_k指示了计划分配与目标分配之间的距离。具体地说，较高值的正规化后的增量(delta)变量指示较好的候选分配解。例如，在图11中示出了图10中所示的权重分配、得到的PD_k和ΔND_k。

步骤 5 ：根据最大化吞吐量的目标计算最佳分配解

取决于资源约束和保留，(在特定工作负荷分配中)将作业部署到给定资源可能会阻止将后续作业部署到此资源(直到第一作业完成)。结果，在实施给定工作负荷分配期间的任何给定时间，实际上可能具有不同数量的活动作业。这在试图保持高吞吐量时将导致问题。

因此，优选实施例计算工作负荷分配最大化系统吞吐量的程度的度量。更具体地说，假设工作负荷分配S _k包括每个资源的当前作业数(CNJ)的集合{CNJ_k(R₁)，CNJ_k(R₂)，...，CNJ_k(R_m)}，使用等式9计算在给定工作负荷分配中部署的作业总数TNJ_k。

将每个解的作业总数TNJ_k正规化到范围0-100中的值，以便获得如下式给出的每个工作负荷分配的总作业分配TJD

总作业分配TJD值提供了工作负荷分配最大化作业吞吐量的程度的度量。给定图12中示出的分配，得到的TJD_k由TJD₁＝33.333333、TJD₂＝33.333333 和TJD₃＝33.333333给出(在此情况中，所有TJD_k值都相等，因为所有工作负荷分配都分配相同数量的作业)。

步骤 6 ：组合所有准则以获得最佳解

在先前的步骤中，优选实施例计算了从不同角度描述给定工作负荷分配的优点的正规化后的度量(0-100)。具体地说，优选实施例已经计算：

-正规化后的总权重(TNW_k)，它提供解与单独作业资源分配相比的优点的度量；

-距离目标分配的正规化后的增量(ΔND_k)，它提供解与目标分配相比的优点的度量；以及

-总作业分配(TJD_k)值，它提供了每个解的分配最大化作业吞吐量的程度的度量。

使用这些度量，可以将最佳分配OptD解定义为最大化以下表达式的分配

OptD＝Max(αTNW_k+μΔND_k+λTJD_k) (11)

其中α、μ、λ∈[0，1]可以用于具有不同的贡献或甚至排除任何准则。默认情况下，α、μ、λ可以被设置为1，以便最佳解是平均而言对所有先前标识的方面来说都是最佳的解。

根据上述实例，在图13中示出了得到的OptD值。参考图13，可以看到最佳工作负荷分配(其中α、μ、λ被设置为1)是S3。虽然此工作负荷分配在匹配个别首选项方面是最佳，但它在匹配目标分配方面并非最佳，并在吞吐量方面与其他分配相当。

其上运行优选实施例的计算机具有图14中所示的通用结构。更具体地说，所述系统的通用计算机以40表示。计算机40包括并行连接到系统总线42的若干单元。详细地说，一个或多个微处理器44控制计算机40的操作；RAM 46被微处理器44直接用作工作存储器，ROM 48存储引导计算机40的基本代码。外围单元(通过各自的接口)聚集在本地总线50的周围。具体地说，大容量存储器包括硬盘52和用于读取CD-ROM 56的驱动 器54。此外，计算机40包括输入设备58(例如键盘和鼠标)和输出设备60(例如显示器和打印机)。网络接口卡(NIC)62用于将计算机40连接到网络。桥接单元64用作系统总线42与本地总线50的接口。每个微处理器44和桥接单元64可以作为请求访问系统总线42以传输信息的主机代理运行。仲裁器66管理对系统总线42的互斥访问的许可。

可以对上述内容进行变更和修改而不偏离本发明的范围。

Claims (14)

1.一种将多个作业分配给多个计算机的方法，所述方法包括以下步骤：

-确定所述作业与所述计算机的多个可能的配对，以产生多个临时性分配；

-根据所述临时性分配满足每个作业的个别要求的程度对所述临时性分配进行分级；

-根据所述临时性分配匹配预定分配的程度对所述临时性分配进行分级；

-根据所述临时性分配最大化所述计算机的吞吐量的程度对所述临时性分配进行分级；

-从所述分级确定最佳分配；以及

-根据所述最佳分配将所述作业中的每个作业部署到所述多个计算机中的相应计算机，

其中所述从所述分级确定最佳分配的步骤包括以下步骤：选择具有所述分级的最大组合值的临时性分配。

2.如权利要求1中所述的方法，其中所述确定所述作业与所述计算机的多个可能的配对的步骤包括以下步骤：

-通过将第一作业分配给其资源满足所述第一作业的要求的计算机以及将其余作业分配给其资源满足所述其余作业的要求的其余计算机而产生第一临时性分配；以及

-针对其资源满足所述第一作业的要求的每一个计算机重复所述产生第一临时性分配的步骤。

3.如权利要求1或2中所述的方法，其中所述根据所述临时性分配满足每个作业的个别要求的程度对所述临时性分配进行分级的步骤包括以下步骤：

-根据每个作业的资源选择策略确定(10)每个临时性分配的多个第一参数；和/或

-根据每个作业的优先级确定(12)每个临时性分配的多个第二参数；以及

-从所述第一和第二参数之一或两者确定(14)每个临时性分配的分级。

4.如权利要求3中所述的方法，其中所述确定每个临时性分配的多个第一参数的步骤包括以下步骤：

-识别与每个作业的资源选择策略关联的资源属性；

-确定每个计算机的所述资源属性的值；以及

-根据与其他计算机的资源属性相比的每个计算机资源属性满足所述资源选择策略的程度对所述计算机进行分级。

5.如权利要求1或2中所述的方法，其中所述根据所述临时性分配匹配预定分配的程度对所述临时性分配进行分级的步骤包括以下步骤：

-将被分配给每个计算机的作业数与当前在每个计算机上运行的作业数进行组合；以及

-从每个计算机的组合后的作业数中减去在所述预定分配中被分配给每个计算机的作业数。

6.如权利要求1或2中所述的方法，其中所述根据所述临时性分配最大化所述计算机的吞吐量的程度对所述临时性分配进行分级的步骤包括以下步骤：

-计算作为由每个临时性分配分配给计算机的作业总数的第一分配参数；

-计算作为由所有临时性分配分配给所有计算机的作业总数的第二分配参数；以及

-计算所述第一分配参数占所述第二分配参数的百分比。

7.如权利要求1或2中所述的方法，其中所述多个可能的配对包括所述作业与所述计算机的每一个可能的配对。

8.一种将多个作业分配给多个计算机的系统，包括：

-被配置为确定所述作业与所述计算机的多个可能的配对，以产生多个临时性分配的装置；

-被配置为根据所述临时性分配满足每个作业的个别要求的程度对所述临时性分配进行分级的装置；

-被配置为根据所述临时性分配匹配预定分配的程度对所述临时性分配进行分级的装置；

-被配置为根据所述临时性分配最大化所述计算机的吞吐量的程度对所述临时性分配进行分级的装置；

-被配置为从所述分级确定最佳分配的装置；以及

-被配置为根据所述最佳分配将所述作业中的每个作业部署到所述多个计算机中的相应计算机的装置，

其中所述被配置为从所述分级确定最佳分配的装置包括：被配置为选择具有所述分级的最大组合值的临时性分配的装置。

9.如权利要求8中所述的系统，其中所述被配置为确定所述作业与所述计算机的多个可能的配对的装置包括：

-被配置为通过将第一作业分配给其资源满足所述第一作业的要求的计算机以及将其余作业分配给其资源满足所述其余作业的要求的其余计算机而产生第一临时性分配的装置；以及

-被配置为针对其资源满足所述第一作业的要求的每一个计算机重复所述产生第一临时性分配的装置。

10.如权利要求8或9中所述的系统，其中所述被配置为根据所述临时性分配满足每个作业的个别要求的程度对所述临时性分配进行分级的装置包括：

-被配置为根据每个作业的资源选择策略确定(10)每个临时性分配的多个第一参数的装置；和/或

-被配置为根据每个作业的优先级确定(12)每个临时性分配的多个第二参数的装置；以及

-被配置为从所述第一和第二参数之一或两者确定(14)每个临时性分配的分级的装置。

11.如权利要求10中所述的系统，其中所述被配置为确定每个临时性分配的多个第一参数的装置包括：

-被配置为识别与每个作业的资源选择策略关联的资源属性的装置；

-被配置为确定每个计算机的所述资源属性的值的装置；以及

-被配置为根据与其他计算机的资源属性相比的每个计算机资源属性满足所述资源选择策略的程度对所述计算机进行分级的装置。

12.如权利要求8或9中所述的系统，其中所述被配置为根据所述临时性分配匹配预定分配的程度对所述临时性分配进行分级的装置包括：

-被配置为将被分配给每个计算机的作业数与当前在每个计算机上运行的作业数进行组合的装置；以及

-被配置为从每个计算机的组合后的作业数中减去在所述预定分配中被分配给每个计算机的作业数的装置。

13.如权利要求8或9中所述的系统，其中所述被配置为根据所述临时性分配最大化所述计算机的吞吐量的程度对所述临时性分配进行分级的系统包括：

-被配置为计算作为由每个临时性分配分配给计算机的作业总数的第一分配参数的装置；

-被配置为计算作为由所有临时性分配分配给所有计算机的作业总数的第二分配参数的装置；以及

-被配置为计算所述第一分配参数占所述第二分配参数的百分比的装置。

14.如权利要求8或9中所述的系统，其中所述多个可能的配对包括所述作业与所述计算机的每一个可能的配对。

Images