CN1297894C - 用于调度作业的方法、调度器以及网络计算机系统 - Google Patents

Abstract

本发明涉及一种用来调度一作业的方法以及调度系统，该作业有至少一项作业需求，并且指示出至少第一及第二项调度策略之中的一项调度策略，该方法包含以下步骤：执行一项查询以便识别与所述至少一项作业需求相匹配的数据处理资源并获得用于所述选定的调度策略的输入数据；根据所述输入的数据通过所述选定的调度策略选择所述匹配的资源的其中之一。

Description

用于调度作业的方法、调度器以及网络计算机系统

技术领域

本发明涉及分布式计算的领域，其中计算能力是由一个将多个数据处理装置的资源和能力结合到一起的网格根据需要提供的。

背景技术

分布式计算基于大量计算机的结合，这些计算机的结合形成所谓的网格，并由此提供可以与超级计算机相比拟的巨大的计算能力和存储能力。一项需要长的处理时间的计算强度大的作业可以被有效的分割和分布给网格中的多个计算机。由于这样一来，各个计算机同时地处理计算强度大的作业的一个部分，则整个作业的处理时间将会按照某一因子来降低。通常，处理时间将会随着网格中计算机数目的增加而降低。

通过在一个网格中组合计算资源，极度消耗时间和极度需要资源的计算作业，例如，在粒子物理学框架、数字天空勘察甚至于搜寻地球外生命中的作业，可以在一个相对短的时间内成本高效地完成。

实施计算网格的一个思路是基于因特网，因特网连接的数百万台个人计算机在它们的大部分运行时间是空闲的。大量的计算资源因此而被浪费。通过分布式计算的方法，空闲计算机可以在全世界范围内被应用到消耗时间和计算强度大的作业，例如，科学研究框架中的作业中。通过这种方法，分布式计算利用了全球网络的空闲计算资源，从而提供了一个全球的超级计算机。

更进一步讲，分布式计算的原理激励了人们对虚拟计算的想象。不管其自己的计算机系统的配置和性能，一个用户可以使用由形成网格的多个提供者集合而成的计算资源。这些提供者典型地是加入网格的其它用户的计算机系统。与单个用户贡献于网格一样，他们也利用网格的计算能力。网格巨大的集合起来的计算能力可以动态的由各个用户根据他们的需求来共享。

计算强度大的作业向网格中不同的计算机系统中的分配典型地是由一个调度器来处理的。调度器有一个用于网格的关键功能，因为它为计算作业的处理分配空闲的系统资源。此外，调度器决定了在什么时间使用一特定的处理资源来处理某一作业。一方面，调度进行的方式必须使每个作业的执行时间尽可能少，而另一方面，计算工作应均等的分配到网格的各个处理资源中。

调度的关键性任务典型地分为三个步骤。在第一个步骤中，调度器必须发现网格中能够处理某一作业的潜在的资源。在第二个步骤中，调度器以这样的方式确定用来处理该作业的一个或几个处理资源，该方式为能够最有效率地使用网格的计算能力。在第三个步骤中，作业被提交给所确定的处理资源以便对该作业进行处理。

网格的整体性能很大程度上依赖于基于调度策略的对作业的调度。目前存在着指定给不同类型的计算作业的多种调度策略。

例如，由IBM公司开发的LoadLeveler默认调度策略总是处理作业队列中的第一项作业。一旦网格满足了一项作业的资源需求，该作业就被提交给合适的计算资源。例如，当一项作业同时需要几个资源的时候，即，一项作业需要并行执行，则调度器必须分配一定数量的计算资源。只有当调度器分配了所需数目的资源后，作业才开始执行。

这一调度策略有一个缺点，一旦网格必须处理一项并行计算作业，网格的负载能力就会下降。此外出现的一个问题是，一项作业只能分配一个资源某一确定的时间段。当这一确定的时间段的长度超过分配所需数目的资源所需的时间时，就可能会出现问题。

BACKFILL(回填)调度器基于一个不同的调度策略。该调度策略确定了某一特定资源用于执行一项作业所需的时间。由于调度策略知道单项作业的执行时间，它可以保留一定数量的计算资源以便在将来执行合适的作业。这样，执行时间表中的潜在的时间空隙可以通过执行那些其所需执行时间适合此间隙的作业而被有效的填充。

必须注意到，这些被提到前面的作业不与在执行时间表中保留了一定时间段的那些作业相重叠。

GANG(成群)调度策略为在一组计算资源上同时执行多个作业提供了可能。执行时间被分为一些单独的时隙(time slot)。经过一个时隙后，各资源交换它们已分配的作业。通过这种方法，在网格中实现了一种动态的行为。用户在运行期间就有可能按优先次序排列或取消某些作业。

分布式计算或网格计算的原理可以应用到具有不同的属性和对执行资源的不同需求的多种不同的作业中。例如，用于搜寻地球外智能的SETI@HOME工程(http：//setiathome.ssl.berkeley.edu/)需要分布式超级计算。其作业被分割为仅需要高的计算能力的几项子作业。

例如，密码问题同样需要一个高的数据传输速率，所述高的传输速率需要一个不同类型的网格或一个不同类型的调度策略。用来按需提供计算资源的网格可以由不同的系统体系结构和不同的调度策略组成。

现在，分布式计算系统或网格计算系统被设计用来执行一定类型的作业。因此，它们是基于一特定的系统结构和单独特定的调度策略的。它们被优化为仅仅处理某一类型的作业。如果一般地应用到具有不同需求的不同作业中，这些网格将变得相当无效。

本发明旨在提供一个用于可插入的调度策略的框架，这一框架允许将一个网格计算系统普遍地、有效地适应于对计算资源和调度策略有不同需求的各种不同的作业中。

发明内容

本发明提供了一种用于一个分布式计算系统的可插入调度策略的框架。依赖于大量各种不同作业的需求，不同的可插入调度策略可以实施到系统中以提供对给定的系统资源的最有效的使用。

根据本发明的一个优选实施例，提供了一种用于调度一作业的方法，该作业至少有一项作业需求，并且指示出至少第一及第二项调度策略之中的一项调度策略，该方法包含以下步骤：执行一项查询，以便识别与所述至少一项作业需求相匹配的数据处理资源并获得用于选定的调度策略的输入数据；根据所述输入数据，通过所述选定的调度策略选择所匹配的数据处理资源的其中之一。

根据本发明的一个优选实施例，作业需求指定网格的一个数据处理资源必须提供以便能够对作业进行处理的属性。作业需求通常描述了一个特定的数据处理资源必须提供怎样的存储能力或计算能力。一项作业可能更进一步地需要一特定的操作系统，并且一项作业可能更进一步地被指定给一特定的软件产品。

作业需求进一步描述作业是否更需要计算能力或高的数据传输速率，或者该作业是否只是暂时或经常地需要某些计算能力。为了将不同作业类型的这种分类纳入考虑，作业需求进一步指明一必须被调度器应用以便确定用于该作业的执行数据处理资源的特定调度策略。

根据本发明更进一步的一个优选实施例，网格的单个数据处理资源向数据库提供适当的系统规范(system specifications)。由于数据处理资源的系统规范和作业需求必须被调度器直接比较，因此，系统规范包括计算能力、存储能力、操作系统、软件配置的信息和/或用于调度器的关于特定资源的可用性的附加信息。

根据本发明更进一步的一个优选实施例，网格的每个数据处理资源的单一系统规范被收集到一个中央数据库。然后，中央数据库向调度器提供需要的信息。通过这一方法，中央数据库存储了整个网格的系统规范。

根据本发明更进一步的一个优选实施例，调度策略由一个可插入的程序模块来表现。这将允许向/从调度框架中添加和删除不同的调度策略。用这种方法，调度框架和调度策略可以被普遍的适用于不同种类的调度需求中。

根据本发明更进一步的一个优选实施例，网格的单个数据处理资源的系统规范信息不必存储到一个中央数据库中，而是存储到各自与调度框架连接的一组数据库中。每一数据库提供单个数据处理资源或几个数据处理资源组成的一组的完整的系统规范。

此外，一个数据库可以仅仅提供一组数据处理资源的特定的系统规范。通过这种方法，单个数据库可以仅包含网格中所有数据处理资源的一个规格。例如，当一项作业仅需要一特定操作系统时，则调度器仅需要网格中单个数据处理资源的操作系统的信息。这一所需信息可以由，例如，单个数据库来提供。通过这一方法，调度器只从数据库中接收需要的信息，而没有不需要的信息。

根据本发明更进一步的一个优选实施例，单个的数据库可插入到调度框架。根据具体的作业需求和数据库的信息内容，包含有不需要的信息的数据库可以从系统中删除，其方式与把附加的数据库附加到调度框架中相同。

根据本发明更进一步的一个优选实施例，不同的调度策略和不同的数据库可以动态地从系统中删除或附加到系统中。动态删除或动态附加的操作可以在运行期间进行。

根据本发明更进一步的一个优选实施例，当一项作业需要一特定调度策略，而该调度策略需要网格的数据处理资源的附加信息时，调度器将执行一个对数据处理资源的附加查询。典型地，不同的调度策略需要关于数据处理资源的系统规范的不同信息。所缺少的关于数据处理资源的系统规范就可以通过附加的查询获得。

根据本发明的另一优选实施例，提供了一种用于调度一作业的调度器，该作业有至少一项作业需求，并且指示出至少第一及第二项调度策略中的一项调度策略，该调度器包含：用于执行一项查询以识别与所述至少一项作业需求相匹配的数据处理资源并获得用于选定的调度策略的输入数据的装置；用于根据所述输入数据，通过所述选定的调度策略选择所匹配的数据处理资源的其中之一的装置。

根据本发明的还一个优选实施例，提供了一种网络计算机系统，其包含多个数据处理资源以及用于调度一作业的装置，该作业具有至少一项作业需求，并且指示出至少第一及第二项调度策略之中的一项调度策略，该网络计算机系统包含：用于执行一项查询以便识别与所述至少一项作业需求相匹配的数据处理资源并获得用于选定的调度策略的输入数据的装置；用于根据所述输入数据，通过所述选定的调度策略选择所匹配的数据处理资源的其中之一的装置。

附图说明

下面，本发明的优选实施例将通过参考以下各图进行更详细的描述：

图1示出了一个带有可插入调度策略的调度系统的方框图，

图2是调度方法的一个流程图的说明，

图3示出了本发明一个优选实施例的方框图，

图4示出了本发明一个优选实施例的详细的方框图。

具体实施方式

图1图示了一项作业100被传递到调度框架108。调度框架108具有至调度策略A 102、调度策略B 104和调度策略C 106的入口。数据处理资源110、112和114连接到一个中央数据库116，而中央数据库116连接到调度框架108。

例如，当具有若干作业需求的一项作业100进入到调度框架108时，调度器执行一项查询来识别其系统规范与所述作业需求相匹配的数据处理资源110、112和114中的至少一个。数据处理资源110、112和114发送它们各自的系统规范到中央数据库116，不管是按规则的时间间隔还是随要求(推(Push)或拉(Pull))。然后，需要的系统规范被存储到中央数据库116并根据查询提交给调度框架108。

调度框架108将数据库116提供的信息与作业需求相比较。此外，调度框架108创建一个其系统规范与作业100的需求相匹配的数据处理资源的列表。例如，当作业100也已经指定了一个调度策略A 102时，调度框架108将收集调度策略A 102所需的信息并向该调度策略A 102提交该信息以及匹配的数据处理资源的列表。

当调度策略A 102被应用到匹配的数据处理资源的列表中时，调度策略102确定数据处理资源110、112和114中的一个或几个，作业100必须由调度策略102提交给所述的一个或几个数据处理资源。此后，作业100由所确定的数据处理资源处理或执行。

单个调度策略102、104和106可以动态地附加到调度框架108，也可以动态地从调度框架108中删除。此外，当作业100的作业需求指定了一个图1中没有示出的另外的调度策略时，该另外的调度策略也可以被动态地附加到调度框架108中。

图2图示了一个表现本发明的调度方法的流程图。在步骤200中，调度器接收一项带有作业需求例如操作系统、存储器、软件规范以及一个特定的调度策略的作业。在步骤202中，调度器执行一个对网格中所有数据库资源的查询。作为对查询的响应，调度框架获取所有数据处理资源的系统规范。在步骤204中，调度器将获取的数据处理资源的规范与该作业的需求进行比较。作为结果，调度器创建一个与作业需求匹配的处理资源列表。

在步骤206中，调度器将由作业指定的调度策略应用到匹配资源列表中。通过这一方法，从匹配资源列表中选择出来一特定数据处理资源。最后，在步骤208中，作业被从调度策略提交到选定的数据处理资源中。然后，选定的数据处理资源执行作业。

图3示出了本发明一个优选实施例的方框图。除了图1中的中央数据库116被图3中几个数据库316、318和320代替外，图3的方框图与图1的方框图相似。

由几个作业需求规定的作业300被传递给调度框架308。调度框架具有对调度策略A 302、调度策略B 304和调度策略C 306的入口。调度策略302可以进一步具有对各种数据处理资源310、312和314的入口。每个数据处理资源310、312和314传送各自的系统规范到数据库316、318和320。在所示的实施例中，数据处理资源310向数据库316提交它的系统规范，数据处理资源312向数据库318提交它的系统规范，而数据处理资源314向数据库320提交它的系统规范。

每个数据库316、318和320向调度框架308提供所存储的各个数据处理资源310、312和314的系统规范。

当一项作业300进入调度框架308时，调度框架308向合适的数据库发出一个请求。然后，所需求的信息被从数据处理资源310、312和314送至合适的数据库316、318和320中。最后，数据库316、318和320将所需的信息提供给调度框架308。依据作业300的需求、选定的调度策略以及由数据库316、318和320提供的信息，调度框架308确定作业300必须向其提交的单个或几个数据处理资源310、312和314。数据处理资源确定后，调度框架308传递这些信息和附加信息给调度策略302、304或306，并且调度策略302、304或306将作业300提交给在其中处理作业300的所确定的数据处理资源。

图4示出了本发明更进一步的一个优选的实施例的详细方框图。由各种作业需求例如操作系统402、存储器404、软件406以及调度策略408指定的作业400被提交给一个调度框架428。调度框架428具有对各种调度策略410、412和414的入口。

资源1416由操作系统418、存储器420和软件配置422规定。资源1416进一步与数据库426相连，而资源2和资源3与数据库424相连。每个数据库424和426分别与调度框架428相连。

数据库424、426以及附加的数据库可以动态地附加到调度框架428，也可以动态地从调度框架428拆卸。根据作业需求，调度框架428对数据库424、426…进行查询，并从数据库424、426…中的一个或多个数据库中获得所需的信息。

例如，当作业400由与调度策略A 410相对应的调度策略408指定时，调度框架428从潜在的调度策略410、412和414的列表中选择调度策略A410以执行作业400的调度。

例如，当作业400需求的操作系统402与资源416的操作系统418和资源2的操作系统相匹配，作业400需求的软件406与资源1416的软件422和资源2的软件相匹配，作业400所需求的存储器404与资源1416的存储器420以及资源2的存储器相匹配时，调度框架将创建一个匹配资源列表430。在此处考虑的例子中，资源列表430包含了资源1和资源2。向选定的调度策略410提交资源列表430，将从资源列表430中确定一个作业400必须向其提交的特定资源。所述特定资源的确定取决于调度策略、资源列表以及由数据库424、426…提供的各个资源的系统规范。然后，作业将根据选定的调度策略410被提交给所确定的资源416。

通过这种方法，将作业400分配给计算网格的一特定数据处理资源的这种分配方法可以根据各种作业需要普遍地被适应，以便尽可能有效地使用和利用一个给定计算网格的计算能力。

Claims (17)

1.一种用于调度一作业的方法，该作业至少有一项作业需求，并且指示出至少第一及第二项调度策略之中的一项调度策略，该方法包含以下步骤：

执行一项查询，以便识别与所述至少一项作业需求相匹配的数据处理资源并获得用于选定的调度策略的输入数据；

根据所述输入数据，通过所述选定的调度策略选择所匹配的数据处理资源的其中之一。

2.根据权利要求1的方法，所述作业需求包含一存储能力、一计算能力、一操作系统和/或一项调度策略。

3.根据权利要求1或2的方法，所述数据处理资源包含存储能力、计算能力、操作系统和/或资源可用性的规范。

4.根据权利要求3的方法，其中，所述数据处理资源的规范由至少一个数据库提供。

5.根据权利要求1的方法，其中，所述调度策略是可插入的程序模块。

6.根据权利要求1的方法，其中，多个数据库提供所述数据处理资源的规范，所述多个数据库是可插入的。

7.根据权利要求4或6的方法，其中，所述调度策略和/或所述数据库可以动态插入。

8.根据权利要求1的方法，其中，通过执行一项附加查询以便获得所述选定的调度策略所需的附加的输入数据。

9.一种用于调度一作业的调度器，该作业有至少一项作业需求，并且指示出至少第一及第二项调度策略中的一项调度策略，该调度器包含：

用于执行一项查询以识别与所述至少一项作业需求相匹配的数据处理资源并获得用于选定的调度策略的输入数据的装置；

用于根据所述输入数据，通过所述选定的调度策略选择所匹配的数据处理资源的其中之一的装置。

10.根据权利要求9的调度器，其中，所述数据处理资源的规范由至少一个数据库提供。

11.根据权利要求9或10的调度器，其进一步包括，所述调度策略为可插入程序模块。

12.根据权利要求10的调度器，其中，多个数据库提供数据处理资源的规范，所述数据库可插入所述调度器。

13.根据权利要求10或12中的任何一个的调度器，其中，所述调度策略和/或所述数据库是可以动态插入的。

14.一种网络计算机系统，其包含多个数据处理资源以及用于调度一作业的装置，该作业具有至少一项作业需求，并且指示出至少第一及第二项调度策略之中的一项调度策略，该网络计算机系统包含：

用于执行一项查询以便识别与所述至少一项作业需求相匹配的数据处理资源并获得用于选定的调度策略的输入数据的装置；

用于根据所述输入数据，通过所述选定的调度策略选择所匹配的数据处理资源的其中之一的装置。

15.根据权利要求14的网络计算机系统，其中，所述数据处理资源的规范由多个可插入数据库提供。

16.根据权利要求14或15的网络计算机系统，其进一步包括，所述调度策略为可插入程序模块。

17.根据权利要求15的网络计算机系统，其进一步包括，所述调度策略和所述数据库都是动态可插入的。