CN105094984A - 资源调度的方法及系统 - Google Patents

Abstract

本发明公开了一种资源调度的方法及系统，其中，该系统包括：流程调度装置和资源分配装置，其中，流程调度装置，包括：SOA流程调度引擎，用于按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；任务管理器，用于与所述资源分配装置通信，向所述资源分配装置下发所述分解得到的任务；资源分配装置，包括：通信接口，用于与所述流程调度装置通信，接收所述分解得到的任务；调配模块，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。通过本发明，实现了既对数据的处理流程进行编排又对数据进行分布式处理。

Description

资源调度的方法及系统

技术领域

本发明涉及计算机领域，具体而言，涉及一种资源调度的方法及系统。

背景技术

面向服务的体系结构(serviceorientedarchitecture，简称为SOA)是一个组件模型，它将应用程序的不同功能单元称为服务，通过这些服务之间定义良好的接口和契约联系起来，接口是采用中立的方式进行定义的，独立于实现服务的硬件平台、操作系统和编程语言，使得构建在各种这样的系统中的服务可以用一种统一和通用的方式进行交互。

SOA提供了一个更高级抽象层，通过这个抽象层，可以将业务构造成现有服务的集合。使用这种新的服务只需要知道它的接口和名称，服务的内部细节以及组成服务的组件之间的数据复杂性都对外界隐藏了。这种组件的匿名性使组织能够利用现有的投资，从而通过合并构建在不同的机器上、运行在不同的操作系统中和用不同的编程语言开发的组件来创建服务。组织可以继续从现有的资源中获益，而不必重新构建系统。

过去通常的情况是，一台工作站的利用率非常高，处于满负荷状态，而另一台工作站却长期处于闲置的状态。在工作站应用的时间上，每周只有不到25％的时间工作站有计算任务，而其他时间仍然处于资源闲置的状态。

集群作业负载软件在本地的一个单一管理域中管理大范围的基于计算的系统，且通常以主节点作节点(Master-worker)的范例进行工作。每个集群只有唯一的主节点并具有任意数目的执行节点。它们在管理资源时，具有动态可扩展性，具备预测和评估能力，具备对调度失败作业的重调度能力等。解决了工作站资源的总体利用率低的问题。

传统的SOA框架能够以工作流的方式将不同的业务服务整合起来，提高系统资源的复用性，但它只能够调用固定的服务，对于遥感地面站集群式的软件部署，SOA没有能力把任务均匀的分配到所有集群上；PLATFORMLSF是一种计算资源分配软件，它能够对集群进行管理，把任务下发到最合适的处理节点上执行，但它不具备流程调度的功能。

而在遥感数据地面处理系统中，即要求能对遥感数据的处理流程进行编排，而且由于数据处理量大，又必须采用集群的方式对数据进行分布式处理，上述两种技术中任意一种都无法满足遥感数据运行管理系统的需求。

针对相关技术中SOA和PLATFORMLSF无法实现既对数据的处理流程进行编排又对数据进行分布式处理的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中SOA和PLATFORMLSF无法实现既对数据的处理流程进行编排又对数据进行分布式处理的问题，本发明提供了一种资源调度的方法及系统，以至少解决上述问题。

根据本发明的一个方面，提供了一种资源调度的系统，其特征在于，包括：流程调度装置和资源分配装置，其中，

所述流程调度装置，包括：面向服务的体系结构SOA流程调度引擎，用于按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；任务管理器，用于与所述资源分配装置通信，向所述资源分配装置下发所述分解得到的任务；

所述资源分配装置，包括：通信接口，用于与所述流程调度装置通信，接收所述分解得到的任务；调配模块，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。

可选地，所述流程调度装置，还包括：算法注册模块，用于注册数据处理算法，实现调用算法的服务和对算法的全流程管理；流程设计模块，用于接收流程设计命令，根据流程设计命令生成可以被所述SOA流程调度引擎识别的数据处理流程。

可选地，所述流程调度装置，还包括：流程模板管理模块，用于将所述流程设计模块得到的数据处理流程保存成数据处理流程模板；所述SOA流程调度引擎，用于将数据处理流程模板实例化，并根据实例化得到的流程调度语句将数据处理流程分解成任务，并按照数据处理流程调度服务以执行数据处理流程。

可选地，所述资源分配装置，还包括：任务状态监测接口，用于监测任务状态；所述任务管理器，还用于定期调用所述任务状态监测接口，以监测任务状态，以及当作业状态提示为完成时，收集作业的完成报告；所述SOA流程调度引擎，还用于当任务状态提示为完成时决定下发其他的任务执行，直到所有任务执行完成。

根据本发明的另一个方面，提供了一种资源调度的方法，包括：流程调度装置按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；所述流程调度装置向资源分配装置下发所述分解得到的任务，其中，所述资源分配装置，具有与所述流程调度装置通信的接口，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。

可选地，流程调度装置按照预设流程语法将数据处理流程分解成任务之前，还包括：所述流程调度装置接收流程设计命令，根据流程设计命令生成可以被所述SOA流程调度引擎识别的数据处理流程。

可选地，所述方法还包括：所述流程调度装置将所述流程设计模块得到的数据处理流程保存成数据处理流程模板；流程调度装置按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程，包括：所述流程调度装置将数据处理流程模板实例化，并根据实例化得到的流程调度语句将数据处理流程分解成任务，并按照数据处理流程调度服务以执行数据处理流程。

通过本发明，解决了相关技术中SOA和PLATFORMLSF无法实现既对数据的处理流程进行编排又对数据进行分布式处理的问题，实现了既对数据的处理流程进行编排又对数据进行分布式处理。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的资源调度的系统的示意图；

图2是根据本发明实施例的资源调度的方法的流程图；以及

图3是根据本发明实施例可选地资源调度的系统的示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1是根据本发明实施例的资源调度的系统的示意图，如图1所示，该系统包括：流程调度装置1和资源分配装置2，其中，

流程调度装置1，包括：SOA流程调度引擎10，用于按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；任务管理器12，用于与所述资源分配装置2通信，向资源分配装置2下发所述分解得到的任务；

资源分配装置2，包括：通信接口20，用于与所述流程调度装置1通信，接收所述分解得到的任务；调配模块22，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。

在本发明实施例的一个实施方式中，流程调度装置1还可以包括：算法注册模块14，用于注册数据处理算法，实现调用算法的服务和对算法的全流程管理；流程设计模块16，用于接收流程设计命令，根据流程设计命令生成可以被所述SOA流程调度引擎10识别的数据处理流程。

可选地，上述流程设计模块16可以采用可视化的图形用户界面，便于用于设计流程。流程设计采用标准的BPEL流程定义语句，可以被多种流程调度引擎识别。

在本发明实施例中，流程调度装置1还可以包括：流程模板管理模块18，用于将所述流程设计模块得到的数据处理流程保存成数据处理流程模板；SOA流程调度引擎10，用于将数据处理流程模板实例化，并根据实例化得到的流程调度语句将数据处理流程分解成任务，并按照数据处理流程调度服务以执行数据处理流程。

可选地，资源分配装置2还可以包括：任务状态监测接口，用于监测任务状态；任务管理器12，还用于定期调用所述任务状态监测接口，以监测任务状态，以及当作业状态提示为完成时，收集作业的完成报告；SOA流程调度引擎10，还用于当任务状态提示为完成时决定下发其他的任务执行，直到所有任务执行完成。

图2是根据本发明实施例的资源调度的方法的流程图，如图2所示，该方法包括步骤201至步骤202：

步骤201，流程调度装置按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；

步骤202，流程调度装置向资源分配装置下发所述分解得到的任务，其中，所述资源分配装置，具有与所述流程调度装置通信的接口，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。

在本发明实施例的一个实施方式中，流程调度装置按照预设流程语法将数据处理流程分解成任务之前，还包括：所述流程调度装置接收流程设计命令，根据流程设计命令生成可以被所述SOA流程调度引擎识别的数据处理流程。

可选地，上述方法还可以包括：所述流程调度装置将所述流程设计模块得到的数据处理流程保存成数据处理流程模板；流程调度装置按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程，包括：所述流程调度装置将数据处理流程模板实例化，并根据实例化得到的流程调度语句将数据处理流程分解成任务，并按照数据处理流程调度服务以执行数据处理流程。

下面对本发明实施例的一个可选实施方式进行描述。

在本发明实施例中，将SOA流程调度软件和PLATFORMLSF资源分配平台结合起来使用，形成了一套统一的遥感数据运行管理框架，解决了传统SOA框架不具备计算资源动态分配的问题，提高了硬件资源的总体利用率。

如图3所示，本发明实施例的系统上层是SOA流程调度软件层，下层是PLATFORMLSF软件层。

一、SOA流程调度软件

SOA流程调度软件层的主要作用是按照预设的流程动态的调度不同的服务去完成处理任务。对于遥感数据运行管理系统来说，根据要处理的数据按卫星型号、载荷，处理级别，处理算法的区分，其处理算法和处理流程也是不一样的。

SOA流程调度软件层中的模块就是为了实现上述需求而设计的，其中：

算法注册器，用于将遥感数据处理算法注册到系统，并提供调用算法的服务和对算法的全流程管理功能。

流程设计器，通过提供可视化的流程编排工具实现用户对不同数据处理流程的定制。

流程模板管理是对流程设计器的输出结果的管理，流程设计器的输出结果是标准的BPEL流程定义语句，可以被多种流程调度引擎识别，流程模板管理也可以将模板展示给用户供用户制定流程计划使用。

流程调度引擎，是SOA流程调度软件的核心，它通过将流程模板实例化，按照流程调度语法将流程分解成任务，并按流程调度任务服务执行流程。

任务管理器，用于管理流程调度引擎分解生成的任务，并控制任务的下发、状态等信息。任务管理器中将专门设计与PLATFORMLSF的接口，用于向PLATFORMLSF下发任务。

二、PLATFORMLSF软件层

PLATFORMLSF软件层的主要作用是把硬件服务器资源结合起来组成一个集群，它运行于集群之中并提供一套资源管理框架，利用该框架能够接收SOA流程调度软件下发的任务，根据一定的分配和调度策略选择集群中性能最好的的资源来完成任务。PLATFORMLSF软件包含一套API二次开发组件，通过该组件可以实现任务的下发，任务状态的查询，任务结果的查询，集群设备状态查询等功能。通过上述功能可以实现SOA流程调度软件对PLATFORMLSF软件的交互，任务、设备的监控；PLATFORMLSF软件包含一套负载均衡机制，目前已提供了一些常用的负载均衡策略，也可以通过插件的方式加入定制的负载均衡策略进行任务分配。

通过上述SOA流程调度软件层和PLATFORMLSF资源分配层的交互，既实现了SOA流程调度的功能，又具实现了PLATFORMLSF计算资源动态分配的能力，满足了现有遥感地面站系统运行管理系统的需要。

下面结合附图3对本发明实施例作进一步说明，以运行流程的方式说明SOA与PLATFORMLSF资源分配平台的联合调度技术的实施方式：

A，系统使用前，使用算法注册器将所有数据处理算法进行注册，并把算法保存到盘阵上，以便集群将来调用算法执行处理任务时能够访问该算法。

在算法注册时可以输入CPU，内存等需求，PLATFORMLSF可以根据这些需求分配资源供算法使用。算法注册器提供了对算法的添加，修改，删除，保证算法能够动态的在系统中实现热插拔。

B，算法注册完成后，通过流程设计器对流程进行编排。

流程设计器可以通过拖拉拽的方式将已注册的算法编排形成不同的处理流程，并设置流程的输入输出。编排完成后，图形化的流程将转换为符合BPEL标准的流程模板保存起来。同时，系统会根据流程模板自动形成一个任务下发界面供下发数据处理流程任务使用。

此外，当需要创建新的流程时，可以通过拷贝原有模板，并在此基础上修改的方式实现新流程的创建，提高了流程编排的效率。

C，流程编排完成后，可以通过任务下发界面下发与流程对应的任务。

任务下发后，系统会根据任务类型在模板管理器中查找对应的流程模板，并通过流程引擎将该流程模板实例化；实例化后，流程引擎会根据流程模板把任务分解成不同的作业，并根据流程顺序调度不同的作业；

D，作业保存在任务管理器中，当流程引擎通知该作业执行时，作业会自行调用相应的适配器接口实现作业的下发，这里一般会选择PLATFORMLSF适配器进行下发。

传统的SOA流程调度软件只支持WebServices的接口，该系统出于兼容性扩展性的需要，可以支持WebServices、消息中间件、PLATFORMLSF等多种接口。

E，PLATFORMLSF收到作业后，会根据作业要求的负载均衡策略判断最合适的计算节点，并把作业下发到该作业节点执行任务。

负载均衡的策略可以根据需要定制，目前已定制了三种策略：基于分组的负载均衡策略、基于数据量的负载均衡策略、基于任务运行时间的负载均衡策略。基于分组的负载均衡策略是指根据作业类型的不同，不同的作业只能下发到指定的计算节点上执行；基于数据量的负载均衡策略是指根据作业要处理的数据量的大小评估出一个占用资源的权重，这个权重在作业下发后会在其计算节点上考虑该权重；基于任务运行时间的负载均衡策略是指根据经验给出作业运行时间作为一个占用资源的权重，这个权重在作业下发后会在其计算节点上考虑该权重。

F，SOA流程调度软件可以定期调用PLATFORMLSF软件的作业状态监测接口监测作业状态，当作业状态提示为完成时，SOA流程调度软件会收集作业的完成报告，并由流程调度引擎决定下发其他的作业执行，直到所有任务执行完成。

从以上的描述中，可以看出，本发明实现了如下技术效果：1)可以通过可视化的方式进行业务流程的编排；2)业务流程采用BPEL标准进行编写，使其能够在不同的流程引擎中发挥作用；3)流程模板可以让用户拷贝，编辑，删除，提高了用户编辑流程的方便性；4)任务管理器可以适应多类接口形式，并且可以根据需要进行扩展。不仅包括与WebServices的接口，也包括与PLATFORMLSF、消息中间件等的接口；5)可以通过调用PLATFORMLSF的API实现任务的下发功能；6)可以通过调用PLATFORMLSF的API实现任务状态监控和任务完成结果的回收功能；7)可以通过调用PLATFORMLSF的API实现集群计算节点的监控功能；8)可以对PLATFORMLSF资源分配的资源分配策略进行扩展，通过插件的形式添加到PLATFORMLSF中，提高软件对不同特性的系统的资源利用率。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种资源调度的系统，其特征在于，包括：流程调度装置和资源分配装置，其中，

所述流程调度装置，包括：面向服务的体系结构SOA流程调度引擎，用于按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；任务管理器，用于与所述资源分配装置通信，向所述资源分配装置下发所述分解得到的任务；

所述资源分配装置，包括：通信接口，用于与所述流程调度装置通信，接收所述分解得到的任务；调配模块，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。

2.根据权利要求1所述的系统，其特征在于，所述流程调度装置，还包括：

算法注册模块，用于注册数据处理算法，实现调用算法的服务和对算法的全流程管理；

流程设计模块，用于接收流程设计命令，根据流程设计命令生成可以被所述SOA流程调度引擎识别的数据处理流程。

3.根据权利要求2所述的系统，其特征在于，

所述流程调度装置，还包括：流程模板管理模块，用于将所述流程设计模块得到的数据处理流程保存成数据处理流程模板；

所述SOA流程调度引擎，用于将数据处理流程模板实例化，并根据实例化得到的流程调度语句将数据处理流程分解成任务，并按照数据处理流程调度服务以执行数据处理流程。

4.根据权利要求1至3中任一项所述的系统，其特征在于，

所述资源分配装置，还包括：任务状态监测接口，用于监测任务状态；

所述任务管理器，还用于定期调用所述任务状态监测接口，以监测任务状态，以及当作业状态提示为完成时，收集作业的完成报告；

所述SOA流程调度引擎，还用于当任务状态提示为完成时决定下发其他的任务执行，直到所有任务执行完成。

5.一种资源调度的方法，其特征在于，包括：

流程调度装置按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；

所述流程调度装置向资源分配装置下发所述分解得到的任务，其中，所述资源分配装置，具有与所述流程调度装置通信的接口，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。

6.根据权利要求5所述的方法，其特征在于，流程调度装置按照预设流程语法将数据处理流程分解成任务之前，还包括：

所述流程调度装置接收流程设计命令，根据流程设计命令生成可以被所述SOA流程调度引擎识别的数据处理流程。

7.根据权利要求6所述的方法，其特征在于，

所述方法还包括：所述流程调度装置将所述流程设计模块得到的数据处理流程保存成数据处理流程模板；

流程调度装置按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程，包括：所述流程调度装置将数据处理流程模板实例化，并根据实例化得到的流程调度语句将数据处理流程分解成任务，并按照数据处理流程调度服务以执行数据处理流程。