CN105893157A - 一种开放分布式系统资源管理与任务调度系统与方法 - Google Patents

Abstract

本发明公开了一种开放分布式系统资源管理与任务调度系统与方法，本发明通过将开放分布式系统资源管理与任务调度系统分为任务管理器、资源策略优化调度器、资源管理器、以及多个节点管理器，简化中央调度功能，解决了现有技术中的资源管理与调度系统较难直接应用在异构硬件资源环境下管理执行异构任务的问题，能够提供一种管理异构硬件资源并调度执行异构任务的框架，可支持硬件资源的动态变化与不同类型任务的调度管理。

Description

一种开放分布式系统资源管理与任务调度系统与方法

技术领域

本发明涉及互联网应用领域，特别涉及一种开放分布式系统资源管理与任务调度系统与方法。

背景技术

随着计算机软硬件和网络技术的飞速发展，个人计算机、手机、平板电脑等各类型终端层出不穷，终端用户的应用环境变得越来越多样化。开放分布式系统通过一致的通信机制在系统中不断增加终端设备来扩充系统硬件资源能力，同时通过公共的标准接口实现软件服务的扩展。

资源管理与调度系统的主要目的是将系统中的各种资源通过一定策略分配给用户提交到系统里的各种任务。常用的资源管理与任务调度方法多针对单一环境，较难直接应用在异构硬件资源环境下管理执行异构任务。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的开放分布式系统资源管理与任务调度系统与方法。

本发明提供一种开放分布式系统资源管理与任务调度系统，包括任务管理器、资源策略优化调度器、资源管理器、以及多个节点管理器：

所述任务管理器，用于将任务分解为多个子任务，在子任务开始前向资源策略优化调度器发送申请资源请求；接收资源策略优化调度器发送的分配关系，将一个或多个子任务发送至相应的节点管理器，并接收节点管理器发送的任务执行状态，根据所述任务执行状态进行任务状态的管理，并将任务状态控制命令发送至节点管理器；所述任务状态控制命令包括暂停任务、重启任务、终止任务、以及初始化任务；

资源策略优化调度器，用于接收任务管理器发送的申请资源请求，调用资源管理器的硬件状态信息，基于所述硬件状态信息进行硬件资源的优化调度，建立多个子任务与硬件资源的分配关系，并把所述分配关系发送至任务管理器；

节点管理器，每个节点管理器对应一个硬件，用于接收任务管理器下发的一个或多个子任务，构建子任务执行环境，启动子任务执行验证，将子任务的执行状态周期性地汇报给任务管理器，将硬件状态信息周期性地汇报给资源管理器，接收任务管理器下发的任务状态控制命令，根据所述任务状态控制命令控制子任务的状态；

所述资源管理器，用于进行硬件资源的注册、删除、以及状态管理、对各个节点管理器发送的硬件状态信息进行管理。

本发明还提供了一种开放分布式系统资源管理与任务调度方法，采用本发明的开放分布式系统资源管理与任务调度系统，包括以下步骤：

任务管理器将任务分解为多个子任务，在子任务开始前向资源策略优化调度器发送申请资源请求；

资源策略优化调度器接收任务管理器发送的申请资源请求，调用资源管理器的硬件状态信息，基于所述硬件状态信息进行硬件资源的优化调度，建立多个子任务与硬件资源的分配关系，并把所述分配关系发送至任务管理器；

任务管理器接收资源策略优化调度器发送的分配关系，将一个或多个子任务发送至相应的节点管理器；

节点管理器接收任务管理器下发的一个或多个子任务，构建子任务执行环境，启动子任务执行验证，将子任务的执行状态周期性地汇报给任务管理器，将硬件状态信息周期性地汇报给资源管理器；

任务管理器并接收节点管理器发送的任务的执行状态，根据所述任务执行状态完成任务状态管理，并将任务状态管理发送至节点管理器；

节点管理器接收任务管理器下发的任务状态控制命令，根据所述任务状态控制命令控制子任务的状态。

本发明有益效果如下：

通过将开放分布式系统资源管理与任务调度系统分为任务管理器、资源策略优化调度器、资源管理器、以及多个节点管理器，简化中央调度功能，解决了现有技术中的资源管理与调度系统较难直接应用在异构硬件资源环境下管理执行异构任务的问题，能够提供一种管理异构硬件资源并调度执行异构任务的框架，可支持硬件资源的动态变化与不同类型任务的调度管理。

附图说明

图1为本发明装置实施例的开放分布式系统资源管理与任务调度系统的结构示意图；

图2为本发明装置实施例实例1的开放分布式系统资源管理与任务调度系统的结构示意图；

图3为本发明方法实施例的开放分布式系统资源管理与任务调度方法的流程图。

具体实施方式

为了解决现有技术资源管理与调度系统较难直接应用在异构硬件资源环境下管理执行异构任务的问题，本发明提供了一种开放分布式系统资源管理与任务调度系统与方法，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

装置实施例

根据本发明的装置实施例，提供了一种开放分布式系统资源管理与任务调度系统，图1是本发明装置实施例的开放分布式系统资源管理与任务调度系统的结构示意图，如图1所示，根据本发明装置实施例的开放分布式系统资源管理与任务调度系统，包括：任务管理器10、资源策略优化调度器20、资源管理器30、以及多个节点管理器40，以下对本发明实施例的各个模块进行详细的说明。

具体地，所述任务管理器10，用于将任务分解为多个子任务，在子任务开始前向资源策略优化调度器20发送申请资源请求；接收资源策略优化调度器20发送的分配关系，将一个或多个子任务发送至相应的节点管理器40，并接收节点管理器40发送的任务执行状态，根据所述任务执行状态进行任务状态的管理，并将任务状态控制命令发送至节点管理器40；所述任务状态控制命令包括暂停任务、重启任务、终止任务、以及初始化任务。

具体的，所述任务管理器10包括生命周期管理单元、子任务分解单元、执行资源申请单元、以及任务状态管理单元；

所述子任务分解单元，用于根据用户提交任务时指定的执行约束条件将任务分解为多个子任务，并将所述多个子任务发送至任务生命周期管理单元；

所述任务生命周期管理单元，用于接收子任务分解单元发送的多个子任务，根据用户配置确定多个子任务的任务起始时间并发送至执行资源申请单元；

所述执行资源申请单元，用于接收任务生命周期管理单元发送的多个子任务的任务起始时间，在子任务开始前向资源资源策略优化调度器20发送申请资源请求；

所述任务状态管理单元，用于接收资源策略优化调度器20发送的分配关系，将一个或多个子任务发送至相应的节点管理器40，并接收节点管理器40发送的任务执行状态，根据所述任务执行状态进行任务状态的管理，并将任务状态控制命令发送至节点管理器40。

资源策略优化调度器20，用于接收任务管理器10发送的申请资源请求，调用资源管理器30的硬件状态信息，基于所述硬件状态信息进行硬件资源的优化调度，建立多个子任务与硬件资源的分配关系，并把所述分配关系发送至任务管理器10。

所述资源策略优化调度器20具体用于：接收任务管理器10发送的申请资源请求，调用资源管理器30的硬件状态信息，在有用户约束的情况下，根据用户指定的执行约束条件建立多个子任务与硬件的分配关系，并把所述分配关系发送至任务管理器10；在无用户约束的情况下，根据调用的资源管理器30的硬件状态信息结合策略优化生成算法，建立多个子任务与硬件的分配关系，并把所述分配关系发送至任务管理器10。

节点管理器40，每个节点管理器40对应一个硬件，用于接收任务管理器10下发的一个或多个子任务，构建子任务执行环境，启动子任务执行验证，将子任务的执行状态周期性地汇报给任务管理器10，将硬件状态信息周期性地汇报给资源管理器30，接收任务管理器10下发的任务状态控制命令，根据所述任务状态控制命令控制子任务的状态。

具体的，所述节点管理器40包括接收执行任务单元、子任务优先级管理单元、汇报子任务与硬件节点状态单元；

所述任务优先级管理单元，用于接收任务管理器10下发的一个或多个子任务，根据用户指定的优先级将所述子任务放入相应优先级队列的队尾；

所述接收执行任务单元，用于在执行子任务时，构建子任务执行环境，启动子任务执行验证，并将子任务执行状态和硬件状态信息发送至汇报子任务与硬件节点状态单元；

所述汇报子任务与硬件节点状态单元，用于获取接收执行任务单元发送的子任务执行状态和硬件状态信息，并将子任务的执行状态周期性地汇报给任务管理器10，将硬件状态信息周期性地汇报给资源管理器30。

所述资源管理器30，用于进行硬件资源的注册、删除、以及状态管理、对各个节点管理器40发送的硬件状态信息进行管理。

具体的，所述资源管理器30包括硬件资源注册管理单元、硬件资源状态监视单元、以及硬件资源运行管理单元；

所述硬件资源注册管理单元，用于进行硬件资源的注册、和删除；

所述硬件资源状态监视单元，用于对各个节点管理器40发送的硬件状态信息进行管理；

所述硬件资源运行管理单元，用于进行硬件资源的状态管理，所述硬件资源的状态管理包括硬件资源的启动或暂停等。

为了更好的说明本发明装置实施例，给出实例1。

实例1

本发明装置实施例实例1的开放分布式系统资源管理与任务调度系统根据资源与任务特点，采用典型的“主-从”架构，包括任务管理器(Task Manager)、资源策略优化调度器(Resource Scheduler)、资源管理器(ResourceManger)和节点管理器(Node Manager)四个部分，图2为本发明装置实施例实例1的开放分布式系统资源管理与任务调度系统的结构示意图。

任务管理器负责用户任务的生命周期管理、子任务分解、执行资源申请和任务状态管理等。任务管理器根据用户提交任务时指定执行约束条件将任务分解为多个子任务；同时，根据用户指定的任务生命周期信息，在执行定时到期时向资源调度器申请资源准备启动子任务；获得执行资源后，任务管理器向资源调度器分配的硬件节点提交子任务。此外，任务管理器还负责暂停任务、重启任务、终止任务、初始化任务等任务状态管理工作。所述约束条件包括任务的生命周期、资源策略优化调度时的约束条件、用户指定的优先级排队等。

资源策略优化调度器负责根据资源现状和任务要求优化调度分配资源。调度策略方面，首先根据用户指定的约束条件定点下发；在无用户约束的情况下，经资源调度器调度控制后结合策略优化生成算法，下发给较为空闲的硬件节点。系统也支持添加扩充新的调度器，在系统运行时，能够根据资源和任务特点使用不同的调度器。

资源管理器负责管理硬件资源，包括硬件资源的注册管理、状态监控与运行管理。在硬件资源池有硬件加入或退出时，需要通过资源注册管理单元添加或删除；在系统运行过程中，资源管理器不断从各硬件节点收集和更新资源状态信息；用户提交任务后，资源管理单元根据资源池中的可用资源经一定的调度策略合理分配给子任务。

节点管理器负责构建各类任务执行环境、接收执行任务、子任务优先级管理、汇报子任务与硬件节点状态。每台硬件一个节点管理器，主要功能包括五方面，一是根据规范构建任务执行环境；二是接收来自任务管理器定点下发的子任务，并通知节点管理器启动相应的任务执行验证，同时定期汇报子任务执行状态；三是维护一个基于优先级的FIFO(First In First Our，先进先出)执行队列，且支持“抢占式”调度，经分解后的任务根据用户指定的优先级进入相应优先级队列的队尾，并依次等候获得执行；四是将硬件节点上各个子任务的执行状态通过心跳周期性地汇报给子任务管理器；五是将硬件节点健康状况、资源使用情况等状态信息通过心跳周期性地汇报给资源调度器。

这种调度框架简化中央调度功能，便于支持异构任务，中央调度器无需关注任务细节，提高调度系统效率，增强其健壮性和可扩展性。

方法实施例

根据本发明的方法实施例，提供了一种开放分布式系统资源管理与任务调度方法，图3为本发明方法实施例的开放分布式系统资源管理与任务调度方法的流程图，如图3所示，根据本发明方法实施例的开放分布式系统资源管理与任务调度方法包括如下处理：

步骤301，任务管理器将任务分解为多个子任务，在子任务开始前向资源策略优化调度器发送申请资源请求；

步骤302，资源策略优化调度器接收任务管理器发送的申请资源请求，调用资源管理器的硬件状态信息，基于所述硬件状态信息进行硬件资源的优化调度，建立多个子任务与硬件资源的分配关系，并把所述分配关系发送至任务管理器。

具体的，步骤302包括以下步骤：

资源策略优化调度器接收任务管理器发送的申请资源请求，调用资源管理器的硬件状态信息，在有用户约束的情况下，根据用户指定的执行约束条件建立多个子任务与硬件的分配关系，并把所述分配关系发送至任务管理器；在无用户约束的情况下，根据调用的资源管理器的硬件状态信息结合策略优化生成算法，建立多个子任务与硬件的分配关系，并把所述分配关系发送至任务管理器。

步骤303，任务管理器接收资源策略优化调度器发送的分配关系，将一个或多个子任务发送至相应的节点管理器；

步骤304，节点管理器接收任务管理器下发的一个或多个子任务，构建子任务执行环境，启动子任务执行验证，将子任务的执行状态周期性地汇报给任务管理器，将硬件状态信息周期性地汇报给资源管理器；

步骤305，任务管理器并接收节点管理器发送的任务的执行状态，根据所述任务执行状态完成任务状态管理，并将任务状态管理发送至节点管理器；

步骤306，节点管理器接收任务管理器下发的任务状态控制命令，根据所述任务状态控制命令控制子任务的状态。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种开放分布式系统资源管理与任务调度系统，其特征在于，包括任务管理器、资源策略优化调度器、资源管理器、以及多个节点管理器：

所述任务管理器，用于将任务分解为多个子任务，在子任务开始前向资源策略优化调度器发送申请资源请求；接收资源策略优化调度器发送的分配关系，将一个或多个子任务发送至相应的节点管理器，并接收节点管理器发送的任务执行状态，根据所述任务执行状态进行任务状态的管理，并将任务状态控制命令发送至节点管理器；所述任务状态控制命令包括暂停任务、重启任务、终止任务、以及初始化任务；

资源策略优化调度器，用于接收任务管理器发送的申请资源请求，调用资源管理器的硬件状态信息，基于所述硬件状态信息进行硬件资源的优化调度，建立多个子任务与硬件资源的分配关系，并把所述分配关系发送至任务管理器；

节点管理器，每个节点管理器对应一个硬件，用于接收任务管理器下发的一个或多个子任务，构建子任务执行环境，启动子任务执行验证，将子任务的执行状态周期性地汇报给任务管理器，将硬件状态信息周期性地汇报给资源管理器，接收任务管理器下发的任务状态控制命令，根据所述任务状态控制命令控制子任务的状态；

所述资源管理器，用于进行硬件资源的注册、删除、以及状态管理、对各个节点管理器发送的硬件状态信息进行管理。

2.如权利要求1所述的开放分布式系统资源管理与任务调度系统，其特征在于，所述任务管理器包括生命周期管理单元、子任务分解单元、执行资源申请单元、以及任务状态管理单元；

所述子任务分解单元，用于根据用户提交任务时指定的执行约束条件将任务分解为多个子任务，并将所述多个子任务发送至任务生命周期管理单元；

所述任务生命周期管理单元，用于接收子任务分解单元发送的多个子任务，根据用户配置确定多个子任务的任务起始时间并发送至执行资源申请单元；

所述执行资源申请单元，用于接收任务生命周期管理单元发送的多个子任务的任务起始时间，在子任务开始前向资源资源策略优化调度器发送申请资源请求；

所述任务状态管理单元，用于接收资源策略优化调度器发送的分配关系，将一个或多个子任务发送至相应的节点管理器，并接收节点管理器发送的任务执行状态，根据所述任务执行状态进行任务状态的管理，并将任务状态控制命令发送至节点管理器。

3.如权利要求1所述的开放分布式系统资源管理与任务调度系统，其特征在于，所述资源策略优化调度器具体用于：接收任务管理器发送的申请资源请求，调用资源管理器的硬件状态信息，在有用户约束的情况下，根据用户指定的执行约束条件建立多个子任务与硬件的分配关系，并把所述分配关系发送至任务管理器；在无用户约束的情况下，根据调用的资源管理器的硬件状态信息结合策略优化生成算法，建立多个子任务与硬件的分配关系，并把所述分配关系发送至任务管理器。

4.如权利要求1所述的开放分布式系统资源管理与任务调度系统，其特征在于，所述资源管理器包括硬件资源注册管理单元、硬件资源状态监视单元、以及硬件资源运行管理单元；

所述硬件资源注册管理单元，用于进行硬件资源的注册、和删除；

所述硬件资源状态监视单元，用于对各个节点管理器发送的硬件状态信息进行管理；

所述硬件资源运行管理单元，用于进行硬件资源的状态管理。

5.如权利要求1所述的开放分布式系统资源管理与任务调度系统，其特征在于，所述节点管理器包括接收执行任务单元、子任务优先级管理单元、汇报子任务与硬件节点状态单元；

所述任务优先级管理单元，用于接收任务管理器下发的一个或多个子任务，根据用户指定的优先级将所述子任务放入相应优先级队列的队尾；

所述接收执行任务单元，用于在执行子任务时，构建子任务执行环境，启动子任务执行验证，并将子任务执行状态和硬件状态信息发送至汇报子任务与硬件节点状态单元；

所述汇报子任务与硬件节点状态单元，用于获取接收执行任务单元发送的子任务执行状态和硬件状态信息，并将子任务的执行状态周期性地汇报给任务管理器，将硬件状态信息周期性地汇报给资源管理器。

6.一种开放分布式系统资源管理与任务调度方法，采用权利要求1～5任一项所述的开放分布式系统资源管理与任务调度系统，其特征在于，包括以下步骤：

任务管理器将任务分解为多个子任务，在子任务开始前向资源策略优化调度器发送申请资源请求；

资源策略优化调度器接收任务管理器发送的申请资源请求，调用资源管理器的硬件状态信息，基于所述硬件状态信息进行硬件资源的优化调度，建立多个子任务与硬件资源的分配关系，并把所述分配关系发送至任务管理器；

任务管理器接收资源策略优化调度器发送的分配关系，将一个或多个子任务发送至相应的节点管理器；

节点管理器接收任务管理器下发的一个或多个子任务，构建子任务执行环境，启动子任务执行验证，将子任务的执行状态周期性地汇报给任务管理器，将硬件状态信息周期性地汇报给资源管理器；

任务管理器并接收节点管理器发送的任务的执行状态，根据所述任务执行状态完成任务状态管理，并将任务状态管理发送至节点管理器；

节点管理器接收任务管理器下发的任务状态控制命令，根据所述任务状态控制命令控制子任务的状态。

7.如权利要求6所述的开放分布式系统资源管理与任务调度方法，其特征在于，资源策略优化调度器接收任务管理器发送的申请资源请求，调用资源管理器的硬件状态信息，基于所述硬件状态信息进行硬件资源的优化调度，建立多个子任务与硬件资源的分配关系，并把所述分配关系发送至任务管理器包括以下步骤：

资源策略优化调度器接收任务管理器发送的申请资源请求，调用资源管理器的硬件状态信息，在有用户约束的情况下，根据用户指定的执行约束条件建立多个子任务与硬件的分配关系，并把所述分配关系发送至任务管理器；在无用户约束的情况下，根据调用的资源管理器的硬件状态信息结合策略优化生成算法，建立多个子任务与硬件的分配关系，并把所述分配关系发送至任务管理器。