CN108762932A - 一种集群任务调度系统及处理方法 - Google Patents

Abstract

本发明公开了一种集群任务调度系统及处理方法，包括：客户端组件、任务管理节点组件、任务元数据库组件、任务工作节点组件；客户端组件提交任务至任务管理节点组件；任务管理节点组件接收并处理任务，生成任务运行数据存入任务元数据库组件；任务工作节点组件通过任务运行数据运行任务，并将任务运行状态数据存入任务元数据库组件；任务管理节点组件通过任务运行状态数据向客户端组件反馈任务运行状态和告警信息，并进行负载均衡处理。本发明提供了一种高可用性和高稳定性的集群任务调度系统，解决了集群任务的统一配置，统一调度，统一监控问题，减少集群环境下任务调度和运行的复杂度和维护成本。

Description

一种集群任务调度系统及处理方法

技术领域

本发明涉及计算机集群任务调度技术领域，尤其是一种集群任务调度系统及处理方法。

背景技术

目前通用的数据分析领域的集群的任务调度方法非常粗糙，且不具有稳定性，基本仅靠系统自带的定时任务管理器来实现定时运行，有时多个任务之间还存在依赖关系，例如某个任务依赖于前一个任务是否正常完成，经常由于前置任务出错或者未完成，导致后续的任务运行出错，且对任务出错的监控不到位，造成分析数据不能及时入库，导致运行错误。

发明内容

为了克服上述现有技术中的缺陷，本发明提供一种集群任务调度系统，解决了集群任务调度系统不稳定的问题，提高了集群任务调度系统的资源利用率和工作效率。

为实现上述目的，本发明采用以下技术方案：

一种集群任务调度系统，包括如下组成部分：

客户端组件，包括web浏览器和web服务器，所述客户端组件与任务管理节点组件之间双向通信连接，客户端组件向任务管理节点组件提交任务；任务管理节点组件向客户端组件反馈任务运行状态和告警信息；

任务管理节点组件，由任务管理节点服务器组成，任务管理节点组件根据客户端组件提交的任务生成任务运行数据，所述任务管理节点组件与任务元数据库组件之间双向通信连接，任务管理节点组件将任务运行数据发送给任务元数据库组件；任务管理节点组件从任务元数据库组件获取任务运行状态数据。

任务元数据库组件，为任务元数据库，包括任务运行数据和任务运行状态数据，所述任务元数据库组件与任务工作节点组件之间双向通信连接，任务元数据库组件将任务运行数据发送给任务工作节点组件；任务工作节点组件将任务运行状态数据存入任务元数据库组件；

任务工作节点组件，由任务工作节点服务器组成，任务工作节点组件根据任务元数据库中的任务运行数据进行任务的实际运行，并将任务运行状态数据反馈给任务元数据库组件。

用户通过所述集群任务调度系统设置集群中服务器的数量，即分别设置任务管理节点服务器和任务工作节点服务器的数量及配置文件；集群任务调度系统根据用户设置的配置文件生成任务管理节点服务器和任务工作节点服务器的安装程序，并在用户设置的任务管理节点服务器和任务工作节点服务器上启动对应的安装程序。

所述任务管理节点组件对客户端组件提交的任务进行依赖关系处理和定时调度处理，任务管理节点组件完成依赖关系处理和定时调度处理后生成任务运行数据；所述定时调度处理是将任务定时调度到任务工作节点组件上运行。

所述任务管理节点组件提供RPC服务将任务定时调度到任务工作节点组件上运行。

所述任务管理节点组件的监控程序对任务元数据库组件的任务运行状态数据进行实时监控，并对运行失败的任务产生告警信息。

所述任务管理节点组件的监控程序自动处理运行失败和等待运行的任务，对运行失败和等待运行的任务重新调度到其他的任务工作节点服务器上。

所述任务管理节点组件根据任务运行状态数据和任务运行数据判断任务工作节点服务器的负载情况，将下一任务定时调度到负载低的任务工作节点服务器上运行。

所述集群任务调度系统在运行时，若集群中任务工作节点服务器负载都较高时，用户通过集群任务调度系统将新的服务器加入集群中并设置为任务工作节点服务器，即不停机的动态扩展集群；若集群中任务工作节点服务器出现故障，用户通过集群任务调度系统将故障服务器移除集群，即不停机的剔除集群中故障服务器。

所述客户端组件的web浏览器支持展示的终端为手机和电脑，即用户在手机或电脑上浏览任务运行状态。

本发明还提供一种集群任务调度系统的处理方法，包括以下步骤：

S1，用户通过集群任务调度系统设置集群中服务器的数量，并分别设置任务管理节点服务器和任务工作节点服务器的数量及配置文件；

S2，集群任务调度系统根据用户设置的配置文件生成任务管理节点服务器和任务工作节点服务器的安装程序，并在任务管理节点服务器和任务工作节点服务器上分别启动对应的安装程序，集群开始自动组网；

S3，集群组网成功后，用户通过客户端组件提交任务；

S4，任务管理节点组件接收并处理客户端组件提交的任务，生成任务运行数据存入任务元数据库组件；

S5，任务工作节点组件从任务元数据库组件中获取任务运行数据并运行任务；任务工作节点组件将任务运行状态数据存入任务元数据库组件；

S6，任务管理节点组件的监控程序从任务元数据库组件中获取任务运行状态数据，生成任务运行状态和任务运行失败的告警信息并反馈给客户端组件；

S7，任务管理节点组件的监控程序将运行失败和等待运行的任务重新调度到其他的任务工作节点服务器上；

S8，任务管理节点组件根据任务运行状态数据和任务运行数据判断任务工作节点服务器的负载情况，将下一任务定时调度到负载低的任务工作节点服务器上运行。

本发明的优点在于：

(1)提供了方便快捷、可伸缩的任务运行和调试环境，降低了任务调度的复杂性。

(2)集群中有多个任务工作节点服务器运行任务，保证了集群的正常运行和容错率。

(3)自动处理任务之间的依赖关系，实现了任务的自动调度运行，减少了工作人员的开发成本。

(4)提供RPC服务，即提供远程过程调用，提高了集群任务调度系统的工作效率。

(5)对任务运行状态数据进行实时监控，且及时的反馈任务运行状态和任务运行失败的信息。

(6)自动处理运行失败和等待运行的任务，将任务重新调度到其他的任务工作节点服务器上，减少了工作人员的维护成本，提高了集群任务调度系统的稳定性。

(7)任务管理节点组件根据任务运行数据和任务运行状态数据分别将负载均衡运行在不同的任务工作节点服务器上，提高了资源利用率。

(8)当任务工作节点组件负载均较大时，用户动态的把新服务器加入集群中并设置为任务工作节点服务器，实现集群的动态扩容，提高了系统的工作效率，且任何一个任务工作节点服务器掉线不影响整个系统的使用，提高了集群任务调度系统的可用性。

附图说明

图1为本发明一种集群任务调度系统处理方法的方法流程图。

图2为本发明一种集群任务调度系统的系统架构图。

图3为本发明一种集群任务调度系统的数据流示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1，一种集群任务调度系统的处理方法，包括以下步骤：

S1，用户通过集群任务调度系统设置集群中服务器的数量，即分别设置任务管理节点服务器和任务工作节点服务器的数量及配置文件；

S2，集群任务调度系统根据用户设置的配置文件生成任务管理节点服务器和任务工作节点服务器的安装程序；

S3，在任务管理节点服务器和任务工作节点服务器上分别启动相对应的安装程序，集群开始自动进行组网；

S4，判断集群是否自动组网成功，若是，则执行步骤S5；否则，重新执行步骤S1；

S5，用户通过客户端组件提交任务；

S6，任务管理节点组件接收客户端组件提交的任务；

S7，任务管理节点组件对接收的任务进行依赖关系处理和定时调度处理，并生成任务运行数据存入任务元数据库；

S8，任务工作节点组件从任务元数据库中获取任务运行数据，并对任务进行实际运行；

S9，任务工作节点组件收集任务运行状态数据并存入任务元数据库；

S10，任务管理节点组件的监控程序从任务元数据库中获取任务运行状态数据，生成任务运行状态和任务运行失败的告警信息并反馈给客户端组件；

S11，任务管理节点组件的监控程序将运行失败和等待运行的任务重新调度到其他的任务工作节点服务器上；

S12，任务管理节点组件根据任务运行状态数据和任务运行数据判断任务工作节点服务器的负载情况，将下一任务定时调度到负载低的任务工作节点服务器上运行，继续执行步骤S7。

步骤S12中，任务运行状态数据反映了任务工作节点服务器正在运行的任务，且任务运行数据包括定时调度在任务工作节点服务器上的任务列表，根据任务工作节点服务器上正在运行的任务和任务列表，判断任务工作节点服务器的负载情况，任务列表上未运行的任务较少的任务工作节点服务器则为负载低；否则为负载高。

如图2，一种集群任务调度系统，包括客户端组件1、任务管理节点组件2、任务元数据库组件3、任务工作节点组件4；客户端组件1与任务管理节点组件 2之间双向通信连接；任务管理节点组件2与任务元数据库组件3之间双向通信连接；任务工作节点组件3与任务元数据库组件4之间双向通信连接。

其中，客户端组件1为前端web浏览器，且前端web浏览器支持展示的终端为手机和电脑，用户通过客户端组件1提交任务，客户端组件1向任务管理节点组件2发送任务；任务管理节点组件2向客户端组件1反馈任务运行状态和告警信息。

任务管理节点组件2由任务管理节点服务器组成，任务管理节点组件2从客户端组件1获取用户提交的任务，任务管理节点组件2对任务进行依赖关系处理和定时调度处理，并生成任务运行数据存入任务元数据库组件3中；

任务管理节点组件2从任务元数据库组件3中获取任务运行状态数据；任务管理节点组件2的监控程序监控任务运行状态数据，并对运行失败的任务产生告警信息；任务管理节点组件2的监控程序对运行失败和等待运行的任务重新调度到其他的任务工作节点服务器上运行；任务管理节点组件2根据任务运行状态数据和任务运行数据判断任务工作节点服务器的负载情况，将下一任务定时调度到负载低的任务工作节点服务器上运行。

任务元数据库组件3为任务元数据库，存储任务运行数据和任务运行状态数据。

任务工作节点组件4由任务工作节点服务器组成，任务工作节点组件4从任务元数据组件3中获取任务运行数据并进行任务的实际运行；任务工作节点组件4收集任务运行状态数据并存入任务元数据库组件3中。

如图3所示，一种集群任务调度系统的数据流向，包括：

S1，用户通过客户端组件提交任务数据至任务管理节点组件；

S2，任务管理节点组件对接收的任务数据处理生成任务运行数据存入任务元数据库中；

S3，任务工作节点组件从任务元数据库中获取任务运行数据并进行任务的实际运行；

S4，任务工作节点组件收集任务运行状态并将任务运行状态数据存入任务元数据库中；

S5，任务管理节点组件从任务元数据库中获取任务运行状态数据；

S6，任务管理节点组件的监控程序监控任务运行状态数据并对运行失败的任务产生告警信息，任务管理节点组件将任务运行状态和告警信息发送给客户端组件；

以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (10)

1.一种集群任务调度系统，其特征在于，包括如下组成部分：

客户端组件，包括web浏览器和web服务器，所述客户端组件与任务管理节点组件之间双向通信连接，客户端组件向任务管理节点组件提交任务；任务管理节点组件向客户端组件反馈任务运行状态和告警信息；

任务管理节点组件，由任务管理节点服务器组成，任务管理节点组件根据客户端组件提交的任务生成任务运行数据，所述任务管理节点组件与任务元数据库组件之间双向通信连接，任务管理节点组件将任务运行数据发送给任务元数据库组件；任务管理节点组件从任务元数据库组件获取任务运行状态数据。

任务元数据库组件，为任务元数据库，包括任务运行数据和任务运行状态数据，所述任务元数据库组件与任务工作节点组件之间双向通信连接，任务元数据库组件将任务运行数据发送给任务工作节点组件；任务工作节点组件将任务运行状态数据存入任务元数据库组件；

任务工作节点组件，由任务工作节点服务器组成，任务工作节点组件根据任务元数据库中的任务运行数据进行任务的实际运行，并将任务运行状态数据反馈给任务元数据库组件。

2.根据权利要求1所述的一种集群任务调度系统，其特征在于，用户通过所述集群任务调度系统设置集群中服务器的数量，即分别设置任务管理节点服务器和任务工作节点服务器的数量及配置文件；集群任务调度系统根据用户设置的配置文件生成任务管理节点服务器和任务工作节点服务器的安装程序，并在用户设置的任务管理节点服务器和任务工作节点服务器上启动对应的安装程序。

3.根据权利要求1所述的一种集群任务调度系统，其特征在于，所述任务管理节点组件对客户端组件提交的任务进行依赖关系处理和定时调度处理，任务管理节点组件完成依赖关系处理和定时调度处理后生成任务运行数据；所述定时调度处理是将任务定时调度到任务工作节点组件上运行。

4.根据权利要求3所述的一种集群任务调度系统，其特征在于，所述任务管理节点组件提供RPC服务将任务定时调度到任务工作节点组件上运行。

5.根据权利要求1所述的一种集群任务调度系统，其特征在于，所述任务管理节点组件的监控程序对任务元数据库组件的任务运行状态数据进行实时监控，并对运行失败的任务产生告警信息。

6.根据权利要求1所述的一种集群任务调度系统，其特征在于，所述任务管理节点组件的监控程序自动处理运行失败和等待运行的任务，对运行失败和等待运行的任务重新调度到其他的任务工作节点服务器上。

7.根据权利要求1所述的一种集群任务调度系统，其特征在于，所述任务管理节点组件根据任务运行状态数据和任务运行数据判断任务工作节点服务器的负载情况，将下一任务定时调度到负载低的任务工作节点服务器上运行。

8.根据权利要求1所述的一种集群任务调度系统，其特征在于，所述集群任务调度系统在运行时，若集群中任务工作节点服务器负载都较高时，用户通过集群任务调度系统将新的服务器加入集群中并设置为任务工作节点服务器，即不停机的动态扩展集群；若集群中任务工作节点服务器出现故障，用户通过集群任务调度系统将故障服务器移除集群，即不停机的剔除集群中故障服务器。

9.根据权利要求1所述的一种集群任务调度系统，其特征在于，所述客户端组件的web浏览器支持展示的终端为手机和电脑，即用户在手机或电脑上浏览任务运行状态。

10.一种集群任务调度系统的处理方法，其特征在于，包括以下步骤：

S1，用户通过集群任务调度系统设置集群中服务器的数量，并分别设置任务管理节点服务器和任务工作节点服务器的数量及配置文件；

S2，集群任务调度系统根据用户设置的配置文件生成任务管理节点服务器和任务工作节点服务器的安装程序，并在任务管理节点服务器和任务工作节点服务器上分别启动对应的安装程序，集群开始自动组网；

S3，集群组网成功后，用户通过客户端组件提交任务；

S4，任务管理节点组件接收并处理客户端组件提交的任务，生成任务运行数据存入任务元数据库组件；

S5，任务工作节点组件从任务元数据库组件中获取任务运行数据并运行任务；任务工作节点组件将任务运行状态数据存入任务元数据库组件；

S6，任务管理节点组件的监控程序从任务元数据库组件中获取任务运行状态数据，生成任务运行状态和任务运行失败的告警信息并反馈给客户端组件；

S7，任务管理节点组件的监控程序将运行失败和等待运行的任务重新调度到其他的任务工作节点服务器上；

S8，任务管理节点组件根据任务运行状态数据和任务运行数据判断任务工作节点服务器的负载情况，将下一任务定时调度到负载低的任务工作节点服务器上运行。