CN1315047C - 一种机群作业的管理方法 - Google Patents

Abstract

本发明公开了一种机群作业的管理方法，该方法根据作业的提交模式为作业增加提交模式队列属性，并设置具有不同提交模式队列属性的队列，该方法还包括：A.当作业服务器接收到提交的作业时，根据该作业的提交模式队列属性将该作业提交到具有相应提交模式队列属性的队列中；B.当作业调度器调度该作业时，从该作业所属的队列中获取该作业，并分配用于执行该作业的结点。该方法节省了机群系统的资源，缩短机群系统处理作业的时间，提高了机群系统的资源利用率和作业的运行效率。

Description

一种机群作业的管理方法

技术领域

本发明涉及机群作业管理系统，特别涉及一种在机群作业管理系统中机群作业的管理方法。

背景技术

随着计算机的发展，在计算机中出现了机群作业管理系统，机群作业管理系统是建立在机群系统中，即机群系统中的操作系统与应用程序之间的、用于统一管理和调度机群系统中作业与资源的系统。该系统根据用户的需求，充分利用机群系统中的各种软硬件资源和CPU时间，合理调度作业，统一管理和调度机群资源，保证用户提交的作业公平合理地共享机群资源，提高整个机群系统的利用率和吞吐率，从而提高用户的工作效率和增加企业的工作管理能力。

机群作业管理系统由用户命令、作业服务器、作业调度器、作业执行器等几个主要部分组成。

其中，用户命令是用户和机群作业管理系统之间的桥梁，用户通过用户命令，该用户命令可以采用图形化界面，向机群作业管理系统提交作业，机群作业管理系统的作业服务器执行该用户命令后响应该用户。

作业服务器维护一个由作业组成的队列集合，通过对队列的管理实现对用户提交作业的管理。

作业调度器通过分析机群系统中的各种软硬件资源的负载情况、作业所在队列的队列属性和作业自身的属性，指示作业服务器队列中的作业动态地送至相应的结点上进行处理。

作业执行器按照作业调度器的指示接受从作业服务器的队列中发送的作业并指示相应的结点处理该作业。

在整个过程中，作业服务器维护一组队列，该组中的每个队列具有不同的队列属性，队列具有的队列属性有：允许将作业提交到该队列的用户列表的队列属性，即该队列保存有用户列表，只有用户列表中的用户提交的作业才可以放到该队列中；允许将作业提交到该队列的优先级的队列属性，即该队列设置了优先级别，只有具有该优先级别队列属性的作业才能放到该队列中；允许访问该队列的结点列表的队列属性，即该队列保存有结点列表，该队列中的作业只能在相对应的结点列表中的结点上执行；该队列允许的最大排队数的队列属性及最大运行数的队列属性等。

当用户提交作业时，作业服务器按照作业具有的队列属性将该作业提交到相应的队列中，作业调度器根据当前机群作业管理系统的资源利用和配置情况从相应的队列中提取作业，并根据作业所在队列的队列属性和预先设定的策略确定执行该作业的结点，指示作业执行器在该结点上执行该作业。例如：预先设定的策略为先让负载轻的结点执行高优先级的作业，则作业调度器从具有高优先级队列属性的队列提取作业并确定负载轻的结点，指示作业执行器在该结点上执行该作业。

随着作业类型的细分和机群作业管理系统资源的日益紧张，作业的提交模式由以前的单一共享模式变为目前的共享模式、用户独占模式和结点独占模式。共享模式就是所有机群作业管理系统资源供所有作业共享；用户独占模式是该用户的所有作业需要独占机群作业管理系统的一部分资源，不允许有其他用户的作业使用相同的机群作业管理系统的这部分资源；结点独占模式为提交的作业需要独占当前所用结点的机群作业管理系统资源。

目前，由于没有根据上述模式划分队列并且也没有将上述模式设置为作业的队列属性，所以当用户提交作业时，不能根据作业的提交模式提交到不同的队列中，从而不能使作业调度器根据该作业所属队列具有的队列属性给该作业分配执行该作业的结点，而只能从队列中提取该作业后，运行该作业得到该作业预先设置的提交模式，根据该作业的提交模式再对该作业分配相应的结点并指示作业执行器在该结点上执行该作业。

由于调度器每一次提取作业的时候都要运行作业并判断该作业具有的提交模式再分配结点，从而浪费了整个机群系统的资源，延长了整个机群系统处理作业的时间，降低了机群系统的资源利用率和作业的运行效率。

发明内容

有鉴于此，本发明的主要目的在于提供一种机群作业的管理方法，该方法能够节省机群系统的资源，缩短机群系统处理作业的时间，提高机群系统的资源利用率和作业的运行效率。

根据上述目的，本发明的技术方案是这样实现的：

一种机群作业的管理方法，根据作业的提交模式为作业增加提交模式队列属性，并设置具有不同提交模式队列属性的队列，该方法还包括：

A、当作业服务器接收到提交的作业时，根据该作业的提交模式队列属性将该作业提交到具有相应提交模式队列属性的队列中；

B、当作业调度器调度该作业时，从该作业所属的队列中获取该作业，并分配用于执行该作业的结点。

所述根据作业的提交模式为作业增加提交模式队列属性包括：

当作业的提交模式为共享模式时，所述为作业增加提交模式队列属性为作业增加共享模式队列属性；

或者当作业的提交模式为用户独占模式时，所述为作业增加提交模式队列属性为作业增加用户独占模式队列属性；

或者当作业的提交模式为结点独占模式时，所述为作业增加提交模式队列属性为作业增加结点独占模式队列属性。该方法进一步包括在具有用户独占模式队列属性的队列中设置用户列表的步骤；

步骤A进一步包括：作业服务器判断提交具有用户独占模式队列属性作业的用户是否在该具有用户独占模式队列属性的队列设置的用户列表中，如果是，将该作业提交到该队列中；否则，不提交该作业。

所述设置具有不同提交模式队列属性的队列的过程为：分别设置具有共享模式队列属性的队列、具有用户独占模式队列属性的队列和具有结点独占模式队列属性的队列。

所述设置具有不同提交模式队列属性的队列为在步骤A之前设置具有共享模式队列属性的队列，在步骤A中如果所提交的作业的队列属性是用户独占模式队列属性或结点独占模式队列属性，进一步设置具有用户独占模式队列属性的队列或具有结点独占模式队列属性的队列。

在所述的设置具有用户独占模式队列属性的队列或具有结点独占模式队列属性的队列之后，该方法还包括：

当作业调度器调度完该作业后，删除所设置的具有用户独占模式队列属性的队列或具有结点独占模式队列属性的队列，或将所设置的具有用户独占模式队列属性的队列或具有结点独占模式队列属性的队列的提交模式队列属性更改为共享模式队列属性。

本发明进一步包括建立不同提交模式队列属性的队列与不同的结点列表的对应关系，步骤B所述的分配用于执行该作业的结点为：将该作业分配到该作业所属队列对应的结点列表中的结点上执行。

所述不同的结点列表中的结点相同。

从上述方案可以看出，本发明提供的方法将作业的提交模式设置为队列的属性，并根据不同的队列属性设置不同的队列。当用户提交作业时，设置该作业具有的队列属性，作业服务器再根据该作业具有的队列属性将作业提交到相应的队列中进行处理。这样，作业调度器在从相应的队列中获取作业时，不需要运行该作业获取该作业的预先设置的提交模式再分配结点执行，从而该方法节省了机群管理系统的资源，缩短了机群管理系统处理作业的时间，提高了机群管理系统的资源利用率和作业的运行效率。更进一步，本发明将具有不同提交模式队列属性的队列对应不同的结点，当作业调度器从队列获取作业并给该作业分配结点时，可以将该作业分配到所属队列对应的结点上，从而可以有效地利用机群管理系统的资源并且易于管理。

附图说明

图1为本发明在机群作业管理系统中对机群作业进行管理的方法。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚明白，以下举实施例并参照附图，对本发明进行进一步详细说明。

本发明提供的方法将用户独占模式、共享模式和结点独占模式也设置为队列的队列属性，并根据这三种队列属性设置三个不同的队列，当用户提交作业时，设置该作业具有的提交模式队列属性，也就是用户独占模式队列属性、共享模式队列属性或结点独占模式队列属性，作业服务器再根据该作业具有的提交模式队列属性将作业提交到相应的队列中进行处理。

如图1所示，图1为本发明在机群作业管理系统中对机群作业进行管理的方法，其具体步骤为：

步骤100、当用户向作业服务器提交作业时，作业服务器判断该作业是否具有提交模式队列属性，如果是，执行步骤101；否则，执行步骤106；

步骤101、作业服务器根据用户提交作业具有的提交模式队列属性判断该作业的提交模式是共享模式、用户独占模式还是结点独占模式，如果是共享模式，转入步骤102；如果是用户独占模式，转入步骤103；如果是结点独占模式，转入步骤104；

步骤102、作业服务器将该作业放到具有共享模式队列属性的队列中，转入步骤105；

步骤103、作业服务器将该作业放到具有用户独占模式队列属性的队列中，转入步骤105；

步骤104、作业服务器将该作业放到具有结点独占模式队列属性的队列中，转入步骤105；

步骤105、作业调度器按照预先设置的策略从不同的队列，即具有不同提交模式队列属性的队列中提取作业，按照该队列具有的队列属性给该作业分配结点并指示作业执行器在该结点上执行该作业。

步骤106、作业服务器将该作业放入具有共享模式队列属性的队列中，作业调度器按照现有技术处理该作业。

由于本发明能使作业调度器根据该作业所属的队列具有的提交模式队列属性给该作业分配执行该作业的结点，不需要从队列中提取该作业后，运行该作业得到该作业设置的提交模式，根据该作业的提交模式再对该作业分配相应的结点执行该作业。所以，本发明提供的方法节省了机群系统的资源，缩短了机群系统处理作业的时间，提高了机群系统的资源利用率和作业的运行效率。

在本发明中，当用户提交具有用户独占模式队列属性和/或具有结点独占模式队列属性的作业时，还可以临时设置具有用户独占模式队列属性的队列和/或具有结点独占模式队列属性的队列，等到作业由作业调度器处理完再删除具有用户独占模式队列属性的队列和/或具有结点独占模式队列属性的队列，或者将队列的用户独占模式队列属性和/或结点独占模式队列属性修改为共享模式队列属性，从而使作业服务器更加合理地设置不同队列属性的队列，将不同队列属性的作业提交到不同队列属性的队列中，减小分配的队列占用的资源。

本发明还可以在具有用户独占模式队列属性的队列中设置允许将作业提交给该队列的用户列表，只有用户列表中的用户提交的具有用户独占模式队列属性的作业才能使用该队列的资源。

本发明还可以使具有不同提交模式队列属性的队列对应不同的结点列表，这些不同的结点列表中的结点可以相同，也可以不同。当作业调度器处理器处理队列中的作业时，可以根据对应关系确定该队列对应的结点，从而把该队列中的作业分配到对应的结点上由作业执行器执行。

举一个实施例说明具有不同提交模式队列属性的队列对应不同的结点列表时，作业调度器处理具有提交模式队列属性的队列中作业的过程：设置具有用户独占模式队列属性的队列对应的结点为结点1～结点5，当作业调度器处理该队列的作业一时，由于该队列对应结点1～结点5，则将作业一分配到结点1～结点5，由提交该作业一的用户的作业一独占结点1～结点5；当作业调度器处理该队列的作业二时，首先运行该作业二并且判断该作业二是否是提交作业一的用户提交的，如果是，则将作业一分配到结点1～结点5执行该作业二；否则，分时利用结点1～结点5执行作业二，即等待结点1～结点5执行完作业一后，再将该作业二分配到结点1～结点5执行该作业二。

由于本实施例使具有不同队列属性的队列对应不同的结点列表，所以作业调度器就可以不仅仅根据当前机群作业管理系统中的结点利用率分配各个队列的作业，例如：当同一用户分别递交了作业一和作业二，提交模式都为用户独占模式。如果采用现有技术，则作业调度器从队列中获取作业一，运行该作业一发现该作业一的提交模式为用户独占模式，则按照负载轻的结点执行的原则要求结点1～结点5执行作业一；接着，作业调度器从队列中获取作业二，运行该作业二发现该作业二的提交模式为用户独占模式，则按照负载轻的结点执行的原则要求结点6～结点10执行作业二。那么，该机群作业管理系统中的所有结点都被该用户提交的作业一和作业二占用，即使每个结点占用的资源仅为10％，其他的用户提交的作业也没有结点可以处理，必须等到结点处理完作业一和作业二后才可以处理。如果采用本实施例，则该用户提交的作业一和作业二被作业服务器分配到具有用户独占模式队列属性的队列中，当作业调度器从该队列中获取作业一和作业二时，会将作业一和作业二分配到该队列对应的结点上，如结点1～结点5，而不会将所有机群作业管理系统的结点都设置为用户独占，使其他的作业可以在没有设置为用户独占的结点执行，从而合理地配置了结点的资源，更加充分地利用了结点的资源。

本发明提出的将作业的共享模式、用户独占模式和作业独占模式设置为作业的提交模式队列属性，并设置具有该提交模式队列属性的不同队列用于存储不同提交模式的作业，因此，本发明不仅满足了不同提交模式的作业的执行需求，而且提高了现有机群作业管理系统的资源利用率，增加了作业服务器对作业的可管理性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1、一种机群作业的管理方法，其特征在于，根据作业的提交模式为作业增加提交模式队列属性，并设置具有不同提交模式队列属性的队列，该方法还包括：

A、当作业服务器接收到提交的作业时，根据该作业的提交模式队列属性将该作业提交到具有相应提交模式队列属性的队列中；

B、当作业调度器调度该作业时，从该作业所属的队列中获取该作业，并分配用于执行该作业的结点。

2、如权利要求1所述的方法，其特征在于，所述根据作业的提交模式为作业增加提交模式队列属性包括：

当作业的提交模式为共享模式时，所述为作业增加提交模式队列属性为作业增加共享模式队列属性；

或者当作业的提交模式为用户独占模式时，所述为作业增加提交模式队列属性为作业增加用户独占模式队列属性；

或者当作业的提交模式为结点独占模式时，所述为作业增加提交模式队列属性为作业增加结点独占模式队列属性。

3、如权利要求2所述的方法，其特征在于，该方法进一步包括在具有用户独占模式队列属性的队列中设置用户列表的步骤；

步骤A进一步包括：作业服务器判断提交具有用户独占模式队列属性作业的用户是否在该具有用户独占模式队列属性的队列设置的用户列表中，如果是，将该作业提交到该队列中；否则，不提交该作业。

4、如权利要求1所述的方法，其特征在于，所述设置具有不同提交模式队列属性的队列的过程为：分别设置具有共享模式队列属性的队列、具有用户独占模式队列属性的队列和具有结点独占模式队列属性的队列。

5、如权利要求1所述的方法，其特征在于，所述设置具有不同提交模式队列属性的队列为在步骤A之前设置具有共享模式队列属性的队列，在步骤A中如果所提交的作业的队列属性是用户独占模式队列属性或结点独占模式队列属性，进一步设置具有用户独占模式队列属性的队列或具有结点独占模式队列属性的队列。

6、如权利要求5所述的方法，其特征在于，在所述的设置具有用户独占模式队列属性的队列或具有结点独占模式队列属性的队列之后，该方法还包括：

当作业调度器调度完该作业后，删除所设置的具有用户独占模式队列属性的队列或具有结点独占模式队列属性的队列，或将所设置的具有用户独占模式队列属性的队列或具有结点独占模式队列属性的队列的提交模式队列属性更改为共享模式队列属性。

7、如权利要求1所述的方法，其特征在于，进一步包括建立不同提交模式队列属性的队列与不同的结点列表的对应关系，步骤B所述的分配用于执行该作业的结点为：将该作业分配到该作业所属队列对应的结点列表中的结点上执行。

8、如权利要求7所述的方法，其特征在于，所述不同的结点列表中的结点相同。

Images