CN115509756A - 多集群计算任务提交方法及相关装置、设备 - Google Patents

Abstract

本申请涉及一种多集群计算任务提交方法、装置、计算机设备和存储介质。所述方法包括：获取多集群配置信息、集群列表信息和计算框架列表信息；根据上述多集群配置信息、集群列表信息和计算框架列表信息展示计算任务配置页面；获取用户通过计算任务配置页面配置的大数据计算任务及其关联的计算集群标识和计算类型标识；根据计算集群标识和计算类型标识向当前启用的多套大数据计算集群中的目标计算集群提交大数据计算任务，目标计算集群是上述多套大数据计算集群中与计算集群标识对应的大数据计算集群。本申请实施例能够在大数据计算集群拆分后保证上层计算平台用户使用的一致性。

Description

多集群计算任务提交方法及相关装置、设备

技术领域

本申请涉及大数据技术领域，特别是涉及一种多集群计算任务提交方法及相关装置、设备。

背景技术

大数据系统随着业务量的增加、采集的数据越来越多，需要更多的大数据存储、大数据计算能力。单一的大数据计算资源管理集群不再能管理超大规模机器资源，这其中主要原因是：大数据计算集群的规模变大之后，整个集群的管理、集群通信、数据交互都会存在瓶颈。

为了突破瓶颈，需要对大数据计算集群(比如Yarn集群)进行拆分，然而，在集群拆分后如何保证上层计算平台用户使用的一致性，成了亟需解决的问题。

发明内容

本申请针对上述不足或缺点，提供了一种多集群计算任务提交方法、装置、多集群计算任务管理系统、计算机设备和存储介质，本申请实施例能够在大数据计算集群拆分后保证上层计算平台用户使用的一致性。

本申请根据第一方面提供了一种多集群计算任务提交方法，在一个实施例中，该方法应用于多集群计算任务管理系统，上述方法包括：

获取多集群配置信息、集群列表信息和计算框架列表信息；

根据上述多集群配置信息、集群列表信息和计算框架列表信息展示计算任务配置页面；

获取用户通过计算任务配置页面配置的大数据计算任务及其关联的计算集群标识和计算类型标识；

根据计算集群标识和计算类型标识向当前启用的多套大数据计算集群中的目标计算集群提交大数据计算任务，目标计算集群是上述多套大数据计算集群中与计算集群标识对应的大数据计算集群。

在一个实施例中，根据计算集群标识和计算类型标识向当前启用的多套大数据计算集群中的目标计算集群提交大数据计算任务，包括：

根据计算集群标识获取目标集群配置信息，目标集群配置信息指目标计算集群的集群配置信息；

根据集群配置信息和计算类型标识封装计算任务提交指令；

通过预部署的目标计算机集群的客户端向目标计算集群发送上述计算任务提交指令，以将大数据计算任务提交至目标计算集群。

在一个实施例中，上述方法还包括：

将大数据计算任务提交至目标计算集群之后，接收目标计算集群返回的负责运行大数据计算任务的目标应用的应用标识；

持久化目标应用的应用标识。

在一个实施例中，获取多集群配置信息、集群列表信息和计算框架列表信息之前，上述方法还包括：

预先在上述多集群计算任务管理系统部署当前启用的每套大数据计算集群的客户端；

上述多集群配置信息包括每套大数据计算集群的集群配置信息；任一大数据计算集群的集群配置信息包括该任一大数据计算集群的访问地址以及该任一大数据计算集群的客户端的部署信息；

集群列表信息包括每套大数据计算集群的计算集群标识；

计算框架列表信息包括多种计算框架的框架标识；每一计算框架的框架标识唯一对应一种计算类型标识。

在一个实施例中，上述方法还包括：

根据目标计算集群的访问地址和目标应用的应用标识，定时通过目标计算机集群的客户端查询大数据计算任务在目标计算集群上的运行状态，以及根据查询到的运行状态更新大数据计算任务在本地的任务状态。

在一个实施例中，上述方法还包括：

响应于针对大数据计算任务的任务停止指令，通过目标计算机集群的客户端指示目标计算集群停止运行大数据计算任务。

在一个实施例中，上述方法还包括：

根据目标计算集群的访问地址和目标应用的应用标识生成用于查询大数据计算任务的运行监控信息的任务链接；

展示任务链接；

响应于用户对任务链接的打开操作，获取目标计算集群当前运行大数据计算任务所产生的运行监控信息，并展示获取到的运行监控信息。

本申请根据第二方面提供了一种多集群计算任务提交装置，在一个实施例中，该装置应用于多集群计算任务管理系统，上述装置包括：

第一获取模块，用于获取多集群配置信息、集群列表信息和计算框架列表信息；

页面展示模块，用于根据上述多集群配置信息、集群列表信息和计算框架列表信息展示计算任务配置页面；

第二获取模块，用于获取用户通过计算任务配置页面配置的大数据计算任务及其关联的计算集群标识和计算类型标识；

任务提交模块，用于根据计算集群标识和计算类型标识向当前启用的多套大数据计算集群中的目标计算集群提交大数据计算任务，目标计算集群是上述多套大数据计算集群中与计算集群标识对应的大数据计算集群。

本申请根据第三方面提供了一种多集群计算任务管理系统，在一个实施例中，上述系统包括后台管理模块、用户交互模块，以及预先部署有当前启用的每套大数据计算集群的客户端的多集群客户端部署模块；

后台管理模块，用于将获取的多集群配置信息、集群列表信息和计算框架列表信息发送至用户交互模块；

用户交互模块，用于根据上述多集群配置信息、集群列表信息和计算框架列表信息展示计算任务配置页面，还用于获取用户通过计算任务配置页面配置的大数据计算任务及其关联的计算集群标识和计算类型标识，以及将大数据计算任务及其关联的计算集群标识和计算类型标识发送至后台管理模块；

后台管理模块，还用于根据计算集群标识和计算类型标识，通过上述多集群客户端部署模块向当前启用的多套大数据计算集群中的目标计算集群提交大数据计算任务，目标计算集群是上述多套大数据计算集群中与计算集群标识对应的大数据计算集群。

本申请根据第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的实施例的步骤。

本申请根据第五方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一方法的实施例的步骤。

在本申请上述实施例中，为了在大数据计算集群拆分后保证上层计算平台用户使用的一致性，进行了多集群适配，从而能够在计算平台上通过修改底层任务提交逻辑，使得Spark、Flink之类大数据计算任务能够提交到不同的大数据计算集群上。具体地，通过本实施例，用户在通过计算任务配置页面创建大数据计算任务时，只需要为大数据计算任务选择相应的计算类型以及选择将大数据计算任务提交到哪个大数据计算集群上运行，管理系统会自动将用户创建的大数据计算任务提交到相关大数据计算集群上运行。

附图说明

图1为一个实施例中一种多集群计算任务提交方法的流程示意图；

图2为一个实施例中提交大数据计算任务的流程示意图；

图3-1为一个实施例中管理系统的结构示意图；

图3-2为一个实施例中部署目录示意图；

图4为一个实施例中一种多集群计算任务提交装置的结构框图；

图5为一个实施例中一种多集群计算任务管理系统的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请提供了一种多集群计算任务提交方法，在一个实施例中，该方法应用于多集群计算任务管理系统(以下简称为管理系统)，如图1所示，该方法包括步骤S110-S140，下面对该方法进行说明。

S110：获取多集群配置信息、集群列表信息和计算框架列表信息。

上述多集群配置信息包括当前生产环境中启动的每套大数据计算集群(可以是Yarn计算集群)的集群配置信息；任一大数据计算集群的集群配置信息包括该任一大数据计算集群的访问地址以及该任一大数据计算集群的客户端的部署信息(例如，客户端的部署目录)；集群列表信息包括每套大数据计算集群的计算集群标识；计算框架列表信息包括多种计算框架的框架标识；每一计算框架的框架标识唯一对应一种计算类型标识。示例性地，上述多种计算框架可以包括Spark(是一个通用的大数据分析引擎)、Flink(Apache的Flink，是一个框架和分布式处理引擎)等计算框架。

S120：根据上述多集群配置信息、集群列表信息和计算框架列表信息展示计算任务配置页面。

S130：获取用户通过计算任务配置页面配置的大数据计算任务及其关联的计算集群标识和计算类型标识。

S140：根据计算集群标识和计算类型标识向当前启用的多套大数据计算集群中的目标计算集群提交大数据计算任务，目标计算集群是上述多套大数据计算集群中与计算集群标识对应的大数据计算集群。

本实施例通过界面化的方式，解决用户在提交大数据计算任务时的操作复杂度，提高开发效率，同时能够适配不同的大数据计算集群，充分的利用计算资源，避免只支持单一集群，而单一集群计算能力有限，使得企业业务量增加、计算任务需求大扩展存在的技术风险。

为了在大数据计算集群拆分后保证上层计算平台用户使用的一致性，进行了多集群适配，从而能够在计算平台上通过修改底层任务提交逻辑，使得Spark、Flink之类大数据计算任务能够提交到不同的大数据计算集群上。具体地，通过本实施例，用户在通过计算任务配置页面创建大数据计算任务时，只需要为大数据计算任务选择相应的计算类型以及选择将大数据计算任务提交到哪个大数据计算集群上运行，管理系统会自动将用户创建的大数据计算任务提交到相关大数据计算集群上运行。

在一些实施例中，获取多集群配置信息、集群列表信息和计算框架列表信息之前，上述方法还包括：预先在上述多集群计算任务管理系统部署当前启用的每套大数据计算集群的客户端。

本实施例通过在管理系统预先部署各套大数据计算集群的客户端来适配多集群。

其中，管理系统根据用户配置的计算集群标识和计算类型标识向当前启用的多套大数据计算集群中的目标计算集群提交大数据计算任务，如图2所示，可以包括以下步骤：

S141：根据计算集群标识获取目标集群配置信息；其中，目标集群配置信息指目标计算集群的集群配置信息；

S142：根据集群配置信息和计算类型标识封装计算任务提交指令；

S143：通过预部署的目标计算机集群的客户端向目标计算集群发送上述计算任务提交指令，以将大数据计算任务提交至目标计算集群。

本实施例中，管理系统预先部署有各套大数据计算集群的客户端，当需要提交大数据计算任务时，通过用户在计算任务配置页面为大数据计算任务配置的计算集群标识即可确定出目标计算集群，进而通过目标计算集群的客户端向目标计算集群提交该大数据计算任务。

进一步地，上述实施例中，上述方法还包括：将大数据计算任务提交至目标计算集群之后，接收目标计算集群返回的负责运行大数据计算任务的目标应用的应用标识；持久化目标应用的应用标识。

在一些实施例中，在提交大数据计算任务之后，还可以进一步更新任务运行状态、指示停止任务和/或查看任务运行监控信息等操作。

在一个实施例中，上述方法还包括：根据目标计算集群的访问地址和目标应用的应用标识，定时通过目标计算机集群的客户端查询大数据计算任务在目标计算集群上的运行状态，以及根据查询到的运行状态更新大数据计算任务在本地的任务状态。

本实施例可以在提交大数据计算任务之后，实现周期性地更新大数据计算任务在目标计算集群上的运行状态。

在一个实施例中，上述方法还包括：响应于针对大数据计算任务的任务停止指令，通过目标计算机集群的客户端指示目标计算集群停止运行大数据计算任务。

本实施例可以在提交大数据计算任务之后，根据实际需要停止大数据计算任务在目标计算集群上进行运行。

在一个实施例中，上述方法还包括：根据目标计算集群的访问地址和目标应用的应用标识生成用于查询大数据计算任务的运行监控信息的任务链接；展示任务链接；响应于用户对任务链接的打开操作，获取目标计算集群当前运行大数据计算任务所产生的运行监控信息(具体可以是监控日志等信息)，并展示获取到的运行监控信息。

本实施例可以在提交大数据计算任务之后，向用户提供大数据计算任务在目标计算集群上运行的实时监控信息。

本申请还提供一个应用例，以对上述实施例做更具体的介绍。

本应用例提供一种实现诸如Spark、Flink、MapReduce等计算类型的多集群环境下的大数据计算任务的管理流程，其中包括大数据计算任务的提交、任务运行状态的更新、任务的停止以及任务运行监控信息的查看等操作。其中，通过对不同大数据计算集群的客户端进行安装目录隔离、通过前端界面提供不同的大数据计算集群和计算框架供用户去选择，以及通过后端获取前端传递的相关参数(如计算集群标识、计算类型标识等)，再调用相关大数据计算集群的客户端把大数据计算任务提交到相应大数据计算集群去运行，实现Spark、Flink、MapReduce等大数据计算任务在多集群环境下的任务管理。

具体地，请参见图3-1，本应用例的管理系统分为三个部分，分别是客户端部署模块、前端和后端。

1、关于客户端部署模块

相关人员(如开发人员)主要根据生产环境启动的各套大数据计算集群在客户端部署模块安装不同集群配置的客户端，包括Spark、Flink计算框架、Yarn集群资源管理客户端部署。其中，当前启动的大数据计算集群有多少套，就需要部署多少套与之对应的客户端，从而后续能通过不同客户端执行诸如启动计算任务、获取任务运行状态以及停止任务等操作，其中，客户端部署软件的目录树型结构可以参见图3-2所示。

2、关于前端

A、后端根据部署的多集群客户端，抽取出多集群配置信息，具体的参数包括各个集群客户端所在的部署目录以及各个集群的访问地址，后端配置上述信息的同时会通过API(Application Programming Interface,应用程序编程接口)接口把上述信息连同集群列表信息、计算框架列表信息传递给前端进行展示。

B、根据后端传递的集群列表信息展示到前端界面，供用户进行集群选择，用户选择对应的集群后，对应的大数据计算任务将会提交到对应的大数据计算集群中。

C、根据后端传递的计算框架列表信息展示到前端，供用户进行选择，根据用户选择对应的计算框架确定对应的计算类型标识，生成的任务将会提交到上一步选择对应的大数据计算集群当中。

D、前端获取到用户通过选择所配置好的计算类型标识、计算集群标识以及对应的大数据计算任务，统一通过预设接口提交给后端。

3、关于后端

A、任务提交逻辑

后端获取前端提交的大数据计算任务，及其关联计算集群标识和计算类型标识，通过该计算集群标识封装目标计算集群客户端提交指令，以向目标计算集群提交大数据计算任务，当该任务成功提交到目标计算集群后，该集群会返回一个该任务对应的应用ID，后端获取到该应用ID后，持久化该任务和应用ID信息。

B、任务状态更新逻辑

当大数据计算任务提交到目标计算集群后，根据计算集群标识和计算类型标识获取相应部署目录下的查询命令脚本，再加上步骤A持久化的应用ID，去周期性的查询大数据计算任务在目标计算集群上的任务状态，并对该任务的状态进行更新。

C、任务的停止

同样是根据计算集群标识和计算类型标识获取相应部署目录下的查询命令脚本，再加上步骤A持久化D的应用ID，去执行任务停止脚本。

D、任务运行监控信息的查看

根据计算集群标识获取目标计算集群的集群配置信息，然后将步骤A持久化D的应用ID和目标计算集群的集群配置信息中的访问地址进行拼装，得到完整的任务链接。之后将该任务链接发送至前端进行展示，用户可以根据该任务链接查看任务运行阶段的运行状态，并可以根据界面显示的监控数据对该任务进行调优。

其中，后端执行上述逻辑时，均需要通过调用客户端部署模块预先部署的目标计算集群的客户端来与目标计算集群进行交互。

图1-2为一个实施例中多集群计算任务提交方法的流程示意图。应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

基于相同的发明构思，本申请还提供了一种多集群计算任务提交装置。在一个实施例中，该装置应用于多集群计算任务管理系统，如图4所示，该多集群计算任务提交装置包括以下模块：

第一获取模块110，用于获取多集群配置信息、集群列表信息和计算框架列表信息；

页面展示模块120，用于根据上述多集群配置信息、集群列表信息和计算框架列表信息展示计算任务配置页面；

第二获取模块130，用于获取用户通过计算任务配置页面配置的大数据计算任务及其关联的计算集群标识和计算类型标识；

任务提交模块140，用于根据计算集群标识和计算类型标识向当前启用的多套大数据计算集群中的目标计算集群提交大数据计算任务，目标计算集群是上述多套大数据计算集群中与计算集群标识对应的大数据计算集群。

在一个实施例中，任务提交模块140根据计算集群标识和计算类型标识向当前启用的多套大数据计算集群中的目标计算集群提交大数据计算任务时，用于：

根据计算集群标识获取目标集群配置信息，目标集群配置信息指目标计算集群的集群配置信息；

根据集群配置信息和计算类型标识封装计算任务提交指令；

通过预部署的目标计算机集群的客户端向目标计算集群发送上述计算任务提交指令，以将大数据计算任务提交至目标计算集群。

在一个实施例中，任务提交模块140，还用于将大数据计算任务提交至目标计算集群之后，接收目标计算集群返回的负责运行大数据计算任务的目标应用的应用标识；以及持久化目标应用的应用标识。

在一个实施例中，上述装置还包括部署模块。部署模块，用于预先在上述多集群计算任务管理系统部署当前启用的每套大数据计算集群的客户端。

在一个实施例中，上述多集群配置信息包括每套大数据计算集群的集群配置信息；任一大数据计算集群的集群配置信息包括该任一大数据计算集群的访问地址以及该任一大数据计算集群的客户端的部署信息；集群列表信息包括每套大数据计算集群的计算集群标识；计算框架列表信息包括多种计算框架的框架标识；每一计算框架的框架标识唯一对应一种计算类型标识。

在一个实施例中，上述装置还包括状态更新模块。状态更新模块，用于根据目标计算集群的访问地址和目标应用的应用标识，定时通过目标计算机集群的客户端查询大数据计算任务在目标计算集群上的运行状态，以及根据查询到的运行状态更新大数据计算任务在本地的任务状态。

在一个实施例中，上述装置还包括状态停止模块。状态停止模块，用于响应于针对大数据计算任务的任务停止指令，通过目标计算机集群的客户端指示目标计算集群停止运行大数据计算任务。

在一个实施例中，上述装置还包括监控模块。监控模块，用于根据目标计算集群的访问地址和目标应用的应用标识生成用于查询大数据计算任务的运行监控信息的任务链接；展示任务链接；以及响应于用户对任务链接的打开操作，获取目标计算集群当前运行大数据计算任务所产生的运行监控信息，并展示获取到的运行监控信息。

关于多集群计算任务提交装置的具体限定可以参见上文中对于多集群计算任务提交方法的限定，在此不再赘述。上述多集群计算任务提交装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

基于相同的发明构思，本申请还提供了一种多集群计算任务管理系统。在一个实施例中，如图5所示，该多集群计算任务管理系统包括后台管理模块、用户交互模块，以及预先部署有当前启用的每套大数据计算集群的客户端的多集群客户端部署模块210。

后台管理模块220，用于将获取的多集群配置信息、集群列表信息和计算框架列表信息发送至用户交互模块；

用户交互模块230，用于根据上述多集群配置信息、集群列表信息和计算框架列表信息展示计算任务配置页面，还用于获取用户通过计算任务配置页面配置的大数据计算任务及其关联的计算集群标识和计算类型标识，以及将大数据计算任务及其关联的计算集群标识和计算类型标识发送至后台管理模块；

后台管理模块220，还用于根据计算集群标识和计算类型标识，通过上述多集群客户端部署模块向当前启用的多套大数据计算集群中的目标计算集群提交大数据计算任务，目标计算集群是上述多套大数据计算集群中与计算集群标识对应的大数据计算集群。

关于多集群计算任务管理系统的具体限定可以参见上文中对于多集群计算任务提交方法的限定，在此不再赘述。上述多集群计算任务管理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多集群配置信息、集群列表信息和计算框架列表信息等数据，具体存储的数据还可以参见上述方法实施例中的限定。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多集群计算任务提交方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一方法实施例中提供的方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一方法实施例中提供的方法中的步骤。

本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多集群计算任务提交方法，其特征在于，应用于多集群计算任务管理系统，所述方法包括：

获取多集群配置信息、集群列表信息和计算框架列表信息；

根据所述多集群配置信息、集群列表信息和计算框架列表信息展示计算任务配置页面；

获取用户通过所述计算任务配置页面配置的大数据计算任务及其关联的计算集群标识和计算类型标识；

根据所述计算集群标识和所述计算类型标识向当前启用的多套大数据计算集群中的目标计算集群提交所述大数据计算任务，所述目标计算集群是所述多套大数据计算集群中与所述计算集群标识对应的大数据计算集群。

2.如权利要求1所述的方法，其特征在于，根据所述计算集群标识和所述计算类型标识向当前启用的多套大数据计算集群中的目标计算集群提交所述大数据计算任务，包括：

根据所述计算集群标识获取目标集群配置信息，所述目标集群配置信息指所述目标计算集群的集群配置信息；

根据所述集群配置信息和所述计算类型标识封装计算任务提交指令；

通过预部署的所述目标计算机集群的客户端向所述目标计算集群发送上述计算任务提交指令，以将所述大数据计算任务提交至所述目标计算集群。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

将所述大数据计算任务提交至所述目标计算集群之后，接收所述目标计算集群返回的负责运行所述大数据计算任务的目标应用的应用标识；

持久化所述目标应用的应用标识。

4.如权利要求3所述的方法，其特征在于，获取多集群配置信息、集群列表信息和计算框架列表信息之前，所述方法还包括：

预先在所述多集群计算任务管理系统部署当前启用的每套所述大数据计算集群的客户端；

所述多集群配置信息包括每套所述大数据计算集群的集群配置信息；任一大数据计算集群的集群配置信息包括该任一大数据计算集群的访问地址以及该任一大数据计算集群的客户端的部署信息；

所述集群列表信息包括每套所述大数据计算集群的计算集群标识；

所述计算框架列表信息包括多种计算框架的框架标识；每一所述计算框架的框架标识唯一对应一种计算类型标识。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

根据所述目标计算集群的访问地址和所述目标应用的应用标识，定时通过所述目标计算机集群的客户端查询所述大数据计算任务在所述目标计算集群上的运行状态，以及根据查询到的所述运行状态更新所述大数据计算任务在本地的任务状态。

6.如权利要求4所述的方法，其特征在于，所述方法还包括：

响应于针对所述大数据计算任务的任务停止指令，通过所述目标计算机集群的客户端指示所述目标计算集群停止运行所述大数据计算任务。

7.如权利要求4所述的方法，其特征在于，所述方法还包括：

根据所述目标计算集群的访问地址和所述目标应用的应用标识生成用于查询所述大数据计算任务的运行监控信息的任务链接；

展示所述任务链接；

响应于用户对所述任务链接的打开操作，获取所述目标计算集群当前运行所述大数据计算任务所产生的运行监控信息，并展示获取到的运行监控信息。

8.一种多集群计算任务提交装置，其特征在于，应用于多集群计算任务管理系统，所述装置包括：

第一获取模块，用于获取多集群配置信息、集群列表信息和计算框架列表信息；

页面展示模块，用于根据所述多集群配置信息、集群列表信息和计算框架列表信息展示计算任务配置页面；

第二获取模块，用于获取用户通过所述计算任务配置页面配置的大数据计算任务及其关联的计算集群标识和计算类型标识；

任务提交模块，用于根据所述计算集群标识和所述计算类型标识向当前启用的多套大数据计算集群中的目标计算集群提交所述大数据计算任务，所述目标计算集群是所述多套大数据计算集群中与所述计算集群标识对应的大数据计算集群。

9.一种多集群计算任务管理系统，其特征在于，所述系统包括后台管理模块、用户交互模块，以及预先部署有当前启用的每套大数据计算集群的客户端的多集群客户端部署模块；

所述后台管理模块，用于将获取的多集群配置信息、集群列表信息和计算框架列表信息发送至所述用户交互模块；

所述用户交互模块，用于根据所述多集群配置信息、集群列表信息和计算框架列表信息展示计算任务配置页面，还用于获取用户通过所述计算任务配置页面配置的大数据计算任务及其关联的计算集群标识和计算类型标识，以及将所述大数据计算任务及其关联的计算集群标识和计算类型标识发送至所述后台管理模块；

所述后台管理模块，还用于根据所述计算集群标识和所述计算类型标识，通过所述多集群客户端部署模块向当前启用的多套大数据计算集群中的目标计算集群提交所述大数据计算任务，所述目标计算集群是所述多套大数据计算集群中与所述计算集群标识对应的大数据计算集群。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

Images