CN112817706A - 一种分布式任务调度系统和方法 - Google Patents

Abstract

本申请实施例提供了一种分布式任务调度系统及方法。方案包括：资源管理模块获取多源大数据计算环境的集群信息，创建大数据计算环境的资源管理器队列对应的资源池；模型管理模块获取待执行任务的代码包；任务管理模块基于代码包生成预设任务类型的待执行任务，向资源管理模块申请目标资源池中的目标资源，在资源申请成功后，将待执行任务调度到任务执行引擎；任务执行引擎将待执行任务发送至目标资源池对应的大数据计算环境的资源管理器队列。应用本申请实施例提供的技术方案，实现了多源大数据计算环境的资源统一管理，以及实现了多种类型任务的管理和调度，降低了大数据计算环境中业务运维成本，降低了业务代码包管理和上线的复杂度。

Description

一种分布式任务调度系统和方法

技术领域

本申请涉及任务调度技术领域，特别是涉及一种分布式任务调度系统和方法。

背景技术

随着大数据技术的飞速发展，基于大数据进行机器学习、深度学习和推理的应用场景层出不穷。在大数据计算环境中，首先，需要对数据进行预处理；然后，将预处理后的数据输入算法模型进行训练，从而生成算法预测模型；之后，利用算法预测模型进行实时数据预测。在大数据计算环境中，对不同的数据可以采用相同的预处理方式，这就导致重复开发相同处理或计算过程的问题。为了解决这个问题，相关技术中，通过抽离出预处理的操作或算子，形成公用组件，也就是说，将重复的处理或计算过程通用化。

然而，将重复的处理或计算过程通用化的方案并不能够满足智能交通及安防行业等特殊应用场景。在智能交通及安全防范行业中，由于数据的安全性和隐私性较高，一个局点部署一套大数据计算环境，多个局点则部署多套大数据计算环境。其中，各个局点的数据类型和业务大部分是相同的。在实现某一种业务时，开发人员可以开发一个独立的用于实现该业务的可执行代码包，将该可执行代码包发送给各个局点的运维人员。由各个局点的运维人员，按照配置规范，调度该可执行代码包，生成并执行相应的任务，实现相应的业务。

随着业务的增长，需求的变更，版本的更新迭代等推动因素，对各个局点的运维人员的技术能力要求也越来越高，这使得大数据计算环境中运维成本较高，业务管理的复杂度高，且业务算法包管理和上线的复杂度较高。

发明内容

本申请实施例的目的在于提供一种分布式任务调度系统和方法，以降低大数据计算环境中业务运维成本和业务管理的复杂度，降低业务代码包管理和上线的复杂度。具体技术方案如下：

第一方面，本申请实施例提供了一种分布式任务调度系统，包括：资源管理模块、模型管理模块、任务管理模块和任务执行引擎；

所述资源管理模块，用于获取多源大数据计算环境的集群信息；根据所述集群信息，获取每个大数据计算环境的资源管理器队列的资源信息，并创建每个资源管理器队列对应的资源池，所述每个资源管理器队列对应的资源池的资源信息与该资源管理器队列的资源信息相同；

所述模型管理模块，用于获取并存储待执行任务的代码包；

所述任务管理模块，用于基于所述模型管理模块中的所述代码包，生成预设任务类型的所述待执行任务，所述待执行任务的资源配置信息包括目标资源池以及目标资源信息，所述目标资源池为所述多源大数据计算环境中目标大数据计算环境下的资源池；基于所述目标资源信息，向所述资源管理模块申请所述目标资源池中的目标资源；在资源申请成功后，将所述待执行任务调度到所述任务执行引擎；

所述任务执行引擎，用于将所述待执行任务发送至所述目标资源池对应的所述目标大数据计算环境的目标资源管理器队列，以使所述目标大数据计算环境执行所述目标资源管理器队列中的所述待执行任务。

可选的，所述资源管理模块，具体用于：

接收多源大数据计算环境的配置文件；从每个大数据计算环境的配置文件中提取每个大数据计算环境的集群信息；或者，

通过每个大数据计算环境提供的回调接口，调取每个大数据计算环境中的配置文件；从每个大数据计算环境的配置文件中提取每个大数据计算环境的集群信息，每个大数据计算环境提供的回调接口的协议相同。

可选的，所述模型管理模块，还用于：对所述代码包进行解析，得到所述代码包包括的各个算法包的执行入口和存储路径；

所述任务管理模块，具体用于：根据所述代码包包括的各个算法包的执行入口和存储路径，从所述代码包中提取各个算法包，生成各个算法包对应的预设任务类型的待执行任务。

可选的，所述任务管理模块，还用于基于所述目标资源信息，校验所述目标资源是否大于所述目标资源池中的可用资源；若否，则向所述资源管理模块申请所述目标资源池中的所述目标资源。

可选的，所述任务管理模块，还用于监听所述待执行任务的执行状态；若监听到所述待执行任务的执行状态为结束或者失败，则向所述资源管理模块释放所述目标资源池中的所述目标资源。

可选的，所述任务执行引擎，具体用于从所述资源管理模块获取所述多源大数据计算环境的集群信息，根据所述集群信息、以及所述待执行任务包括的资源配置信息，确定所述目标资源池对应的所述目标大数据计算环境的目标资源管理器队列；将所述待执行任务发送至所述目标资源管理器队列。

可选的，所述系统还包括：前端模块和分布式支撑模块；

所述前端模块为具有图形用户界面的模块，所述前端模块用于接收用户输入的指令；

所述分布式支撑模块用于为所述资源管理模块、模型管理模块、任务管理模块和任务执行引擎提供分布式服务。

第二方面，本申请实施例提供了一种分布式任务调度方法，应用于分布式任务调度系统，该系统包括：资源管理模块、模型管理模块、任务管理模块和任务执行引擎；所述方法包括：

所述资源管理模块获取多源大数据计算环境的集群信息；根据所述集群信息，获取每个大数据计算环境的资源管理器队列的资源信息，并创建每个资源管理器队列对应的资源池，所述每个资源管理器队列对应的资源池资源的资源信息与该资源管理器队列的资源信息相同；

所述模型管理模块获取并存储待执行任务的代码包；

所述任务管理模块基于所述模型管理模块中的所述代码包，生成预设任务类型的所述待执行任务，所述待执行任务的资源配置信息包括目标资源池以及目标资源信息，所述目标资源池为所述多源大数据计算环境中目标大数据计算环境下的资源池；基于所述目标资源信息，向所述资源管理模块申请所述目标资源池中的目标资源；在资源申请成功后，将所述待执行任务调度到所述任务执行引擎；

所述任务执行引擎将所述待执行任务发送至所述目标资源池对应的所述目标大数据计算环境的目标资源管理器队列，以使所述目标大数据计算环境执行所述目标资源管理器队列中的所述待执行任务。

可选的，所述获取多源大数据计算环境的集群信息的步骤，包括：

接收多源大数据计算环境的配置文件；从每个大数据计算环境的配置文件中提取每个大数据计算环境的集群信息；或者，

通过每个大数据计算环境提供的回调接口，调取每个大数据计算环境中的配置文件；从每个大数据计算环境的配置文件中提取每个大数据计算环境的集群信息，每个大数据计算环境提供的回调接口的协议相同。

可选的，所述代码包包括多个算法包；

所述方法还包括：

所述模型管理模块对所述代码包进行解析，得到所述代码包包括的各个算法包的执行入口和存储路径；

所述根据所述代码包生成预设任务类型的所述待执行任务的步骤，包括：

根据所述代码包包括的各个算法包的执行入口和存储路径，从所述代码包中提取各个算法包，生成各个算法包对应的预设任务类型的待执行任务。

可选的，所述方法还包括：

所述任务管理模块基于所述目标资源信息，校验所述目标资源是否大于所述目标资源池中的可用资源；若否，则向所述资源管理模块申请所述目标资源池中的所述目标资源。

可选的，所述方法还包括：

所述任务管理模块监听所述待执行任务的执行状态；若监听到所述待执行任务的执行状态为结束或者失败，则向所述资源管理模块释放所述目标资源池中的所述目标资源。

可选的，所述任务执行引擎将所述待执行任务发送至所述目标资源池对应的所述目标大数据计算环境的目标资源管理器队列的步骤，包括：

所述任务执行引擎从所述资源管理模块获取所述多源大数据计算环境的集群信息，根据所述集群信息、以及所述待执行任务包括的资源配置信息，确定所述目标资源池对应的所述目标大数据计算环境的目标资源管理器队列；将所述待执行任务发送至所述目标资源管理器队列。

本申请实施例提供的一种分布式任务调度系统和方法中，分布式任务调度系统包括资源管理模块、模型管理模块、任务管理模块和任务执行引擎。资源管理模块负责管理各个大数据计算环境的集群信息和资源管理器队列中的资源信息。模型管理模块负责管理待执行任务的代码包。任务管理模块负责管理任务的生成和调度。任务执行引擎负责将任务管理模块生成的任务发送至目标大数据计算环境的目标资源管理器队列。进而目标大数据计算环境执行目标资源管理器队列中的待执行任务。可见，在本申请实施例中，通过分布式任务调度系统对多个大数据计算环境进行统一管理，统一调度和管理各种类型任务的代码包，实现各种业务，降低了业务代码包管理和上线的复杂度。另外，在本申请实施例中，只需要在分布式任务调度系统中心安排运维人员即可，不必各个局点均安排运维人员，降低了大数据计算环境中业务运维成本和业务管理的复杂度。

当然，实施本申请的任一产品或方法不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种分布式任务调度系统的一种结构示意图；

图2为本申请实施例提供的资源管理模块对大数据计算环境进行注册的一种流程示意图；

图3为本申请实施例提供的任务管理模块进行任务处理的一种流程示意图；

图4为本申请实施例提供的基于分布式任务调度系统的任务调度的一种流程示意图；

图5为本申请实施例提供的一种分布式任务调度系统的另一种结构示意图；

图6为本申请实施例提供的一种分布式任务调度方法的一种流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在智能交通及安全防范行业中，由于数据的安全性和隐私性较高，一个局点部署一套大数据计算环境，多个局点则部署多套大数据计算环境，即组成多源大数据计算环境。其中，一个大数据计算环境即为一个大数据计算环境中包括一个或多个设备。各个局点的数据类型和业务大部分是相同的。在实现某一种业务时，开发人员可以开发一个独立的用于实现该业务的可执行代码包，将该可执行代码包发送给各个局点的运维人员。由各个局点的运维人员，按照配置规范，调度该可执行代码包，生成并执行相应的任务，实现相应的业务。

随着业务的增长，需求的变更，版本的更新迭代等推动因素，对各个局点的运维人员的技术能力要求也越来越高，需要各个局点的运维人员实时更新各个局点的大数据计算环境中的任务。这使得大数据计算环境中运维成本较高，业务管理的复杂度高，且业务代码包管理和上线的复杂度较高。

为解决上述问题，本申请实施例提供了一种分布式任务调度系统。该分布式任务调度系统包括资源管理模块、模型管理模块、任务管理模块和任务执行引擎。资源管理模块负责管理各个大数据计算环境的集群信息和资源管理器队列中的资源信息。模型管理模块负责管理待执行任务的代码包。任务管理模块负责管理任务的生成和调度。任务执行引擎负责将任务管理模块生成的任务发送至目标大数据计算环境的目标资源管理器队列。进而目标大数据计算环境执行目标资源管理器队列中的待执行任务。可见，在本申请实施例中，通过分布式任务调度系统对多个大数据计算环境进行统一管理，统一调度和管理各种类型任务的代码包，实现各种业务，降低了业务代码包管理和上线的复杂度。另外，在本申请实施例中，只需要在分布式任务调度系统中心安排运维人员即可，不必各个局点均安排运维人员，降低了大数据计算环境中业务运维成本和业务管理的复杂度。

本申请实施例中，实现业务的可执行代码包，即为任务的代码包，也可以称为业务代码包。

下面通过具体实施例，对本申请实施例提供的一种分布式任务调度系统进行详细说明。

参考图1，图1为本申请实施例提供的一种分布式任务调度系统的一种结构示意图，该分布式任务调度系统包括：资源管理模块101、模型管理模块102、任务管理模块103和任务执行引擎104。本申请实施例中，资源管理模块101、模型管理模块102、任务管理模块103和任务执行引擎104可以位于物理机上，也可以采用分布式的结构，位于多个物理机上。

资源管理模块101，用于获取多源大数据计算环境的集群信息；根据集群信息，获取每个大数据计算环境的资源管理器队列的资源信息，并创建每个资源管理器队列对应的资源池，每个资源管理器队列对应的资源池的资源信息与该资源管理器队列的资源信息相同。

本申请实施例中，资源管理模块101负责管理多源大数据计算环境的资源管理器队列的资源信息，以及管理多源大数据计算环境的集群信息。

资源管理模块101获取多源大数据计算环境的集群信息，基于每个大数据计算环境的集群信息，在资源管理模块101上对多个大数据计算环境分别进行注册。集群信息可以包括IP(Internet Protocol，网络协议)地址、密码、服务角色节点的主机名、Hadoop的配置文件等。大数据计算环境在资源管理模块101上的注册方式不同，资源管理模块101获取的集群信息也会有所不同。本申请实施例中，对此不做具体限定。

对于一个大数据计算环境，其在资源管理模块101注册后，资源管理模块101可根据该大数据计算环境的集群信息，获取该大数据计算环境的资源管理器队列的资源信息，创建获取的资源管理器队列对应的资源池，每一资源管理器队列对应的资源池的资源信息与该资源管理器队列的资源信息相同。资源管理器队列可以为Hadoop Yarn队列。资源信息可以包括但不限于内存总大小、内存可用大小、CPU总大小和CPU可用大小等信息。

一个大数据计算环境可以包括一个或多个资源管理器队列。若一个大数据计算环境包括多个资源管理器队列，则资源管理模块101可获取到该大数据计算环境的多个资源管理器队列的资源信息。针对每一资源管理器队列，资源管理模块101创建该资源管理器队列对应的资源池。也就是，若一个大数据计算环境包括多个资源管理器队列，则资源管理模块101将创建多个在该大数据计算环境下的资源池，每一资源池与该大数据计算环境的一个资源管理器队列对应。

本申请实施例中，为便于资源管理模块101管理大数据计算环境下的资源池，对于一个大数据计算环境，资源管理模块101除了获取该大数据计算环境的资源管理器队列的资源信息外，还可以获取该大数据计算环境的资源管理器队列的名称、标识等信息。对此不做具体限定。

一个可选的实施例中，资源管理模块101可采用如图2所示的流程，对大数据计算环境进行注册，管理大数据计算环境的资源信息。

步骤201，获取多源大数据计算环境的集群信息。

一个实施例中，资源管理模块101可获取多源大数据计算环境的配置文件。每一大数据计算环境的配置文件中包括该大数据计算环境的IP地址、密码、Hadoop的配置文件等集群信息。资源管理模块101从接收的每一大数据计算环境的配置文件中，提取每一大数据计算环境的集群信息。

本申请实施例中，资源管理模块101可通过多种方式获取大数据计算环境的配置文件。一个示例中，大数据计算环境将自身的配置文件上传至资源管理模块101，进而资源管理模块101接收到该大数据计算环境的配置文件。另一个示例中，资源管理模块101向大数据计算环境发送配置文件获取请求，该大数据计算环境根据配置文件获取请求之后，将自身的配置文件返回给资源管理模块101，进而资源管理模块101获取到该大数据计算环境的配置文件。

另一个实施例中，多源大数据计算环境提供回调接口，每个大数据计算环境提供的回调接口的协议相同。资源管理模块101可调用多源大数据计算环境提供的回调接口。对于每一大数据计算环境，该大数据计算环境提供的回调接口将该大数据计算环境的配置文件返回给资源管理模块101。进而资源管理模块101获取到多源大数据计算环境的集群信息。

步骤202，基于每个大数据计算环境的集群信息，在资源管理模块101上对多源大数据计算环境分别进行注册。

步骤203，基于已注册的大数据计算环境的集群信息，从已注册的大数据计算环境中，获取该大数据计算环境的资源管理器队列的资源信息，基于资源管理器队列中的资源信息，创建该大数据计算环境下的资源池。该大数据计算环境下的资源池中资源信息与该大数据计算环境的资源管理器队列中的资源信息相同。

模型管理模块102，用于获取并存储待执行任务的代码包。

本申请实施例中，模型管理模块102负责代码包的管理。模型管理模块102在获取到待执行任务的代码包后，存储待执行任务的代码包。其中，代码包中可以包括一个或多个算法包。算法包可以包括但不限于普通算法包、链式算法包、DAG(Directed AcyclicGraph，有向无环图)模型等。DAG模型为多个算子构成的算法包，DAG任务为多个算子串联执行的链式任务。

一个实施例中，代码包中包括DAG模型，DAG模型可通过以下方式生成并打包，得到代码包。

步骤1，将多个算子组件拖到画布上。其中，算子组件可以包括但不限于数据预处理、特征化、计算方式和机器学习算法等。

步骤2，根据DAG模型逻辑流程的依赖关系，在画布上对多个算子组件进行连线关联，形成DAG模型。

步骤3，基于样例数据组件，运行DAG模型。若运行成功，则执行步骤4。若运行失败，则执行步骤5。

步骤4，将形成的DAG模型打包，得到包括DAG模型的代码包。该代码包中不包括上述样例数据组件。

步骤5，根据失败原因修改DAG模型逻辑流程的依赖关系，重新至步骤2。

一个可选的实施例中，为便于后续任务的生成和执行。若代码包中包括多个算法包，模型管理模块102还可以用于：对代码包进行解析，得到代码包包括的各个算法包的执行入口和路径。

为了保证模型管理模块102能够准确的得到各个算法包的执行入口和路径，一个实施例中，模型管理模块102可以获取该代码包的配置文件，代码包的配置文件中包括该代码包中执行入口和存储路径的位置信息等。模型管理模块102基于代码包的配置文件对代码包进行解析，得到代码包包括的各个算法包的执行入口和存储路径。

任务管理模块103，用于基于模型管理模块102中的代码包，生成预设任务类型的待执行任务，待执行任务的资源配置信息包括目标资源池以及目标资源信息，目标资源池为多源大数据计算环境中目标大数据计算环境下的资源池；基于目标资源信息，向资源管理模块101申请目标资源池中的目标资源；在资源申请成功后，将待执行任务调度到任务执行引擎104。

本申请实施例中，任务管理模块103负责任务的管理和调度。任务管理模块103从模型管理模块102中获取代码包。根据获取的代码包，生成预设任务类型的待执行任务。在生成待执行任务后，任务管理模块103向资源管理模块申请目标资源池中的目标资源。目标资源信息为执行待执行任务时所用资源的资源信息。在资源申请成功后，任务管理模块103将待执行任务调度到任务执行引擎104。

预设任务类型包括但不限于单次任务、定时任务、链式任务和实时预测任务等。

单次任务是指仅执行一次即结束的任务。单次任务可以是执行一次普通算法包，也可以是执行一次链式算法包，还以是执行一次DAG模型。

定时任务是指按照定时配置周期性执行的任务。定时任务可以是定时执行普通算法包，也可以是定时执行链式算法包，还以是定时执行DAG模型。

链式任务是指基于链式算法包生成的任务。

实时预测任务是指通过调用基于机器学习算法或DAG模型生成的实时预测的任务接口，用户调用该任务接口传入数据得到预测结果的任务。

一个实施例中，任务的生成可以细化为以下步骤。

步骤11，从模型管理模块102中获取代码包。

一个实施例中，模型管理模块102中包括多个代码包。用户可从这多个代码包中选择需要的代码包。

步骤12，确定预设任务类型。

步骤13，确定目标大数据计算环境下的目标资源池，并为待执行任务配置目标资源信息。

目标资源信息的配置可以根据实际需求进行设定。例如，待执行任务通过链式算法包或DAG模型生成，则可以为待执行任务的每一子任务或算子分配资源信息，也可以为选择待执行任务的所有子任务或算子中最大的资源配置为全局资源。

步骤14，根据预设任务类型，配置相关信息。

例如，若预设任务类型为定时任务，则配置定时任务周期等信息。

一个可选的实施例中，模型管理模块102对代码包进行解析，得到代码包包括的各个算法包的执行入口和存储路径。此时，任务管理模块103具体可以用于：根据代码包包括的各个算法包的执行入口和存储路径，从代码包中提取各个算法包，生成各个算法包对应的预设任务类型的待执行任务。

一个可选的实施例中，为了便于任务的管理，任务管理模块103将待执行任务加入到任务队列中。任务管理模块103在申请目标资源信息成功后，将任务队列中的任务依次调度到任务执行引擎104。

一个可选的实施例中，为了保证任务的正确运行，任务管理模块103还可以用于基于目标资源信息，校验目标资源是否大于目标资源池中的可用资源；若否，则向资源管理模块申请目标资源池中的目标资源信息。若是，则任务管理模块103可以返回指示任务执行失败的提示信息，并停止待执行任务的调度。

例如，目标资源信息包括：内存-1024M，CPU核数-16个。若当前目标资源池中的可用资源信息中可用内存≥1024M且可用CPU核数≥16个，则目标大数据环境中有足够的资源运行待执行任务，向资源管理模块101申请目标资源池中的目标资源。若当前目标资源池中的可用资源信息中可用内存<1024M和/或可用CPU核数<16个，则目标大数据环境中没有足够的资源运行待执行任务，返回指示任务执行失败的提示信息，并停止待执行任务的调度。

任务执行引擎104，用于将待执行任务发送至目标资源池对应的目标大数据计算环境的目标资源管理器队列，以使目标大数据计算环境执行目标资源管理器队列中的待执行任务。

本申请实施例中，任务执行引擎104获取到待执行任务后，将待执行任务发送至目标资源池对应的目标大数据计算环境的目标资源管理器队列。目标大数据计算环境执行目标资源管理器队列中的待执行任务。

一个可选的实施例中，任务执行引擎104可从资源管理模块101或多源大数据计算环境中，获取多源大数据计算环境的集群信息，基于多源大数据计算环境的集群信息，以及待执行任务包括的资源配置信息，确定目标大数据计算环境的集群信息，确定目标资源池对应的目标大数据计算环境的目标资源管理器队列。任务执行引擎104基于目标大数据计算环境的集群信息，将待执行任务发送至目标资源池对应的目标大数据计算环境的目标资源管理器队列。

一个可选的实施例中，任务管理模块103还可以用于监听待执行任务的执行状态；若监听到待执行任务的执行状态为结束或者失败，向资源管理模块101释放目标资源池中的目标资源。

具体的，任务管理模块103在将待执行任务调度到任务执行引擎104之后，实时监听待执行任务的执行状态。其中，执行状态为结束、执行中和失败等。任务管理模块103监听到待执行任务的执行状态为结束或者失败时，向资源管理模块101释放目标资源池中的目标资源。资源管理模块101释放目标资源池中的目标资源。这里及时释放被占用的资源，便于后续其他任务的执行。

下面结合图3所示的任务处理流程图，任务管理模块103的处理流程进行说明。

步骤301，选择代码包。

步骤302，确定预设任务类型。

步骤303，确定目标资源池和目标资源信息。

步骤304，根据预设任务类型，配置相关信息。

步骤305，生成待执行任务，将待执行任务加入到任务队列。

步骤306，校验目标资源是否大于目标资源池中的可用资源。若是，则执行步骤307。若否，则执行步骤308。

步骤307，返回指示任务执行失败的提示信息，并停止待执行任务的调度。

步骤308，向资源管理模块申请目标资源池中的目标资源。

步骤309，在资源申请成功后，将待执行任务调度到任务执行引擎104。

任务执行引擎104将待执行任务发送至目标资源池对应的目标大数据计算环境的目标资源管理器队列。目标大数据计算环境执行目标资源管理器队列中的待执行任务。

步骤310，监听待执行任务的执行状态。

步骤311，若监听到待执行任务的执行状态为结束或者失败，则向资源管理模块101释放目标资源池中的目标资源。

上述步骤301-311部分的描述相对简单，具体可参考上面的相关描述。

下面结合图4所示的分布式任务调度系统的任务调度流程，对本申请实施例提供的分布式任务调度系统进行详细说明。

步骤401，资源管理模块101获取多源大数据计算环境的集群信息，对多源大数据计算环境进行注册。

其中，资源管理模块101可通过两种方式注册大数据计算环境。

方式一，资源管理模块101接收大数据计算环境的配置和输入相关信息等集群信息，完成大数据计算环境的注册。大数据计算环境的配置和输入相关信息等集群信息可存储在大数据计算环境的配置文件中。

方式二，大数据计算环境提供获取自身配置文件的统一接口(即回调接口)，各个大数据计算环境提供的回调接口的协议相同。资源管理模块101调用该回调接口，获取该回调接口返回的配置文件，解析配置文件以获取大数据计算环境的集群信息，从而完成大数据计算环境的注册。

步骤402，资源管理模块101根据每个大数据计算环境的集群信息，获取每个大数据计算环境的资源管理器队列的资源信息，创建每一资源管理器队列对应的资源池，每一资源管理器队列对应的资源池的资源信息与该资源管理器队列的资源信息相同。

步骤403，模型管理模块102获取待执行任务的代码包。

模型管理模块102可通过两种方式获取待执行任务的代码包。

方式一，用户将单个算法包打包为代码包，将该代码包上传至模型管理模块102。这种方式又可以称为单个上传方式。

方式二，用户将多个算法包打包为代码包，将该代码包上传至模型管理模块102。这种方式又可以称为批量上传方式。

步骤404，任务管理模块103从模型管理模块102中获取代码包；根据代码包生成预设任务类型的待执行任务，待执行任务的资源配置信息包括目标资源池以及目标资源信息，目标资源池为多源大数据计算环境中目标大数据计算环境下的资源池。

步骤405，任务管理模块103向资源管理模块101校验并申请目标资源池中的目标资源。

步骤406，在资源申请成功后，任务管理模块103将待执行任务调度到任务执行引擎104。

步骤407，任务执行引擎104将待执行任务发送至目标资源池对应的目标大数据计算环境的目标资源管理器队列。目标大数据计算环境执行目标资源管理器队列中的待执行任务。

步骤408，任务管理模块103监听待执行任务的执行状态。

步骤409，任务管理模块103若监听到待执行任务的执行状态为结束或失败，则向资源管理模块101释放目标资源。

本申请实施例中，以多源资源管理为中心，基于代码包管理以及生成多种类型的任务，结合智能化的管理和调度，形成了一个完整的智能化分布式任务调度系统。通过该分布式任务调度系统，统一调度和管理各种类型任务的代码包，实现各种业务，降低了业务代码包管理和上线的复杂度。另外，只需要在分布式任务调度系统中心安排运维人员即可，不必各个局点均安排运维人员，降低了大数据计算环境中业务运维成本和业务管理的复杂度。

在一个可选的实施例中，上述分布式任务调度系统还可以包括：前端模块105和分布式支撑模块106，如图5所示。前端模块105为具有图形用户界面的模块，前端模块105用于接收用户输入的指令。前端模块105可提供管理按钮和界面，例如提供DAG画布功能等。

分布式支撑模块106用于为资源管理模块101、模型管理模块102、任务管理模块103和任务执行引擎104提供分布式服务。

分布式支撑模块106为底层的分布式模块，可以包括但不限于分布式数据库、分布式缓存、分布式文件系统、分布式路由、分布式服务中心和分布式配置中心等。

基于上述分布式任务调度系统，本申请实施例还提供了一种分布式任务调度方法。参考图6，图6为本申请实施例提供的一种分布式任务调度方法的一种流程示意图。该分布式任务调度方法应用于分布式任务调度系统，分布式任务调度系统包括：资源管理模块、模型管理模块、任务管理模块和任务执行引擎。上述分布式任务调度方法包括：

步骤601，资源管理模块获取多源大数据计算环境的集群信息；根据集群信息，获取每个大数据计算环境的资源管理器队列的资源信息，并创建每个资源管理器队列对应的资源池，每个资源管理器队列对应的资源池的资源信息与该资源管理器队列的资源信息相同。

步骤602，模型管理模块获取并存储待执行任务的代码包。

步骤603，任务管理模块基于模型管理模块中代码包，生成预设任务类型的待执行任务，待执行任务的资源配置信息包括目标资源池以及目标资源信息，目标资源池为多源大数据计算环境中目标大数据计算环境下的资源池；基于目标资源信息，向资源管理模块申请目标资源池中的目标资源；在资源申请成功后，将待执行任务调度到任务执行引擎。

步骤604，任务执行引擎将待执行任务发送至目标资源池对应的目标大数据计算环境的目标资源管理器队列，以使目标大数据计算环境执行目标资源管理器队列中的待执行任务。

一个可选的实施例中，上述获取多源大数据计算环境的集群信息的步骤，可以包括：

接收多源大数据计算环境的配置文件；从每个大数据计算环境的配置文件中提取每个大数据计算环境的集群信息；或者，

通过每个大数据计算环境提供的回调接口，调取每个大数据计算环境中的配置文件；从每个大数据计算环境的配置文件中提取每个大数据计算环境的集群信息，每个大数据计算环境提供的回调接口的协议相同。

一个可选的实施例中，代码包可以包括多个算法包；

这种情况下，上述分布式任务调度方法还可以包括：

模型管理模块对代码包进行解析，得到代码包包括的各个算法包的执行入口和存储路径；

根据代码包生成预设任务类型的待执行任务的步骤，包括：

根据代码包包括的各个算法包的执行入口和存储路径，从代码包中提取各个算法包，生成各个算法包对应的预设任务类型的待执行任务。

一个可选的实施例中，上述分布式任务调度方法还可以包括：

任务管理模块基于目标资源信息，校验目标资源是否大于目标资源池中的可用资源；若否，则向资源管理模块申请目标资源池中的目标资源。

一个可选的实施例中，上述分布式任务调度方法还可以包括：

任务管理模块监听待执行任务的执行状态；若监听到待执行任务的执行状态为结束或者失败，则向资源管理模块释放目标资源池中的目标资源。

一个可选的实施例中，任务执行引擎将待执行任务发送至目标资源池对应的目标大数据计算环境的目标资源管理器队列的步骤，包括：

任务执行引擎从资源管理模块获取多源大数据计算环境的集群信息，根据集群信息、以及待执行任务包括的资源配置信息，确定目标资源池对应的目标大数据计算环境的目标资源管理器队列；将待执行任务发送至目标资源管理器队列。

应用本申请实施例提供的分布式任务调度方法，分布式任务调度系统包括资源管理模块、模型管理模块、任务管理模块和任务执行引擎。资源管理模块负责管理各个大数据计算环境的集群信息和资源管理器队列中的资源信息。模型管理模块负责管理待执行任务的代码包。任务管理模块负责管理任务的生成和调度。任务执行引擎负责将任务管理模块生成的任务发送至目标大数据计算环境的目标资源管理器队列。进而目标大数据计算环境执行目标资源管理器队列中的待执行任务。可见，在本申请实施例中，通过分布式任务调度系统对多个大数据计算环境进行统一管理，统一调度和管理各种类型任务的代码包，实现各种业务，降低了业务代码包管理及上线的复杂度。另外，在本申请实施例中，只需要在分布式任务调度系统中心安排运维人员即可，不必各个局点均安排运维人员，降低了大数据计算环境中业务运维成本和业务管理的复杂度。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于分布式任务调度方法实施例而言，由于其基本相似于分布式任务调度系统实施例，所以描述的比较简单，相关之处参见分布式任务调度系统实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (13)

1.一种分布式任务调度系统，其特征在于，包括：资源管理模块、模型管理模块、任务管理模块和任务执行引擎；

所述资源管理模块，用于获取多源大数据计算环境的集群信息；根据所述集群信息，获取每个大数据计算环境的资源管理器队列的资源信息，并创建每个资源管理器队列对应的资源池，所述每个资源管理器队列对应的资源池的资源信息与该资源管理器队列的资源信息相同；

所述模型管理模块，用于获取并存储待执行任务的代码包；

所述任务管理模块，用于基于所述模型管理模块中的所述代码包，生成预设任务类型的所述待执行任务，所述待执行任务的资源配置信息包括目标资源池以及目标资源信息，所述目标资源池为所述多源大数据计算环境中目标大数据计算环境下的资源池；基于所述目标资源信息，向所述资源管理模块申请所述目标资源池中的目标资源；在资源申请成功后，将所述待执行任务调度到所述任务执行引擎；

所述任务执行引擎，用于将所述待执行任务发送至所述目标资源池对应的所述目标大数据计算环境的目标资源管理器队列，以使所述目标大数据计算环境执行所述目标资源管理器队列中的所述待执行任务。

2.根据权利要求1所述的系统，其特征在于，所述资源管理模块，具体用于：

接收多源大数据计算环境的配置文件；从每个大数据计算环境的配置文件中提取每个大数据计算环境的集群信息；或者，

通过每个大数据计算环境提供的回调接口，调取每个大数据计算环境中的配置文件；从每个大数据计算环境的配置文件中提取每个大数据计算环境的集群信息，每个大数据计算环境提供的回调接口的协议相同。

3.根据权利要求1所述的系统，其特征在于，

所述模型管理模块，还用于：对所述代码包进行解析，得到所述代码包包括的各个算法包的执行入口和存储路径；

所述任务管理模块，具体用于：根据所述代码包包括的各个算法包的执行入口和存储路径，从所述代码包中提取各个算法包，生成各个算法包对应的预设任务类型的待执行任务。

4.根据权利要求1所述的系统，其特征在于，所述任务管理模块，还用于基于所述目标资源信息，校验所述目标资源是否大于所述目标资源池中的可用资源；若否，则向所述资源管理模块申请所述目标资源池中的所述目标资源。

5.根据权利要求1所述的系统，其特征在于，所述任务管理模块，还用于监听所述待执行任务的执行状态；若监听到所述待执行任务的执行状态为结束或者失败，则向所述资源管理模块释放所述目标资源池中的所述目标资源。

6.根据权利要求1所述的系统，其特征在于，所述任务执行引擎，具体用于从所述资源管理模块获取所述多源大数据计算环境的集群信息，根据所述集群信息、以及所述待执行任务包括的资源配置信息，确定所述目标资源池对应的所述目标大数据计算环境的目标资源管理器队列；将所述待执行任务发送至所述目标资源管理器队列。

7.根据权利要求1所述的系统，其特征在于，还包括：前端模块和分布式支撑模块；

所述前端模块为具有图形用户界面的模块，所述前端模块用于接收用户输入的指令；

所述分布式支撑模块用于为所述资源管理模块、模型管理模块、任务管理模块和任务执行引擎提供分布式服务。

8.一种分布式任务调度方法，其特征在于，应用于分布式任务调度系统，该系统包括：资源管理模块、模型管理模块、任务管理模块和任务执行引擎；所述方法包括：

所述资源管理模块获取多源大数据计算环境的集群信息；根据所述集群信息，获取每个大数据计算环境的资源管理器队列的资源信息，并创建每个资源管理器队列对应的资源池，所述每个资源管理器队列对应的资源池资源的资源信息与该资源管理器队列的资源信息相同；

所述模型管理模块获取并存储待执行任务的代码包；

所述任务管理模块基于所述模型管理模块中的所述代码包，生成预设任务类型的所述待执行任务，所述待执行任务的资源配置信息包括目标资源池以及目标资源信息，所述目标资源池为所述多源大数据计算环境中目标大数据计算环境下的资源池；基于所述目标资源信息，向所述资源管理模块申请所述目标资源池中的目标资源；在资源申请成功后，将所述待执行任务调度到所述任务执行引擎；

所述任务执行引擎将所述待执行任务发送至所述目标资源池对应的所述目标大数据计算环境的目标资源管理器队列，以使所述目标大数据计算环境执行所述目标资源管理器队列中的所述待执行任务。

9.根据权利要求8所述的方法，其特征在于，所述获取多源大数据计算环境的集群信息的步骤，包括：

接收多源大数据计算环境的配置文件；从每个大数据计算环境的配置文件中提取每个大数据计算环境的集群信息；或者，

通过每个大数据计算环境提供的回调接口，调取每个大数据计算环境中的配置文件；从每个大数据计算环境的配置文件中提取每个大数据计算环境的集群信息，每个大数据计算环境提供的回调接口的协议相同。

10.根据权利要求8所述的方法，其特征在于，所述代码包包括多个算法包；

所述方法还包括：

所述模型管理模块对所述代码包进行解析，得到所述代码包包括的各个算法包的执行入口和存储路径；

所述根据所述代码包生成预设任务类型的所述待执行任务的步骤，包括：

根据所述代码包包括的各个算法包的执行入口和存储路径，从所述代码包中提取各个算法包，生成各个算法包对应的预设任务类型的待执行任务。

11.根据权利要求8所述的方法，其特征在于，所述方法还包括：

所述任务管理模块基于所述目标资源信息，校验所述目标资源是否大于所述目标资源池中的可用资源；若否，则向所述资源管理模块申请所述目标资源池中的所述目标资源。

12.根据权利要求8所述的方法，其特征在于，所述方法还包括：

所述任务管理模块监听所述待执行任务的执行状态；若监听到所述待执行任务的执行状态为结束或者失败，则向所述资源管理模块释放所述目标资源池中的所述目标资源。

13.根据权利要求8所述的方法，其特征在于，所述任务执行引擎将所述待执行任务发送至所述目标资源池对应的所述目标大数据计算环境的目标资源管理器队列的步骤，包括：

所述任务执行引擎从所述资源管理模块获取所述多源大数据计算环境的集群信息，根据所述集群信息、以及所述待执行任务包括的资源配置信息，确定所述目标资源池对应的所述目标大数据计算环境的目标资源管理器队列；将所述待执行任务发送至所述目标资源管理器队列。

Images