CN109684051A - 一种混合式大数据任务异步提交的方法和系统 - Google Patents

Abstract

本发明提供了一种混合式大数据任务异步提交的方法和系统，其中方法包括：至少一个工作节点向Zookeeper按照预设时间间隔发送心跳信息数据，获取工作节点的负载信息发送至Zookeeper；至少一个管控节点中的主管控节点从Zookeeper获取各个工作节点的心跳信息数据，确定可用的工作节点；至少一个管控节点中的任一管控节点接收外部提交的任务，从Zookeeper获取所有可用的工作节点的负载信息，根据负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把任务发送至选择出的工作节点上；选择出的工作节点读取任务优先级队列中的任务，根据任务属性生成不同的集群客户端，并利用不同的集群客户端提交任务。

Description

一种混合式大数据任务异步提交的方法和系统

技术领域

本发明涉及大数据技术数据处理领域，尤其涉及一种混合式大数据任务异步提交的方法和系统。

背景技术

目前具有多种大数据框架的任务提交方式，但是像spark，flink，hadoopMR，storm等大数据框架的任务提交都是人工通过命令行的方式提交，不同的框架提交的命令各式各样不统一这样比较麻烦，而且不支持批量提交，要提交多个任务效率较低，也不能对提交的不同类型的任务做到实时监控和统一的管理。

发明内容

本发明旨在提供一种克服上述问题之一或者至少部分地解决上述任一问题的混合式大数据任务异步提交的方法和系统。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种混合式大数据任务异步提交的方法，包括：至少一个工作节点向Zookeeper按照预设时间间隔发送心跳信息数据，获取工作节点的负载信息，并将负载信息发送至Zookeeper；至少一个管控节点中的主管控节点从Zookeeper获取各个工作节点的心跳信息数据，确定可用的工作节点；至少一个管控节点中的任一管控节点接收外部提交的任务，并将任务存储在任务队列里，从Zookeeper获取所有可用的工作节点的负载信息，根据负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把任务发送至选择出的工作节点上；选择出的工作节点接收管控节点发送的任务，并将任务存储在任务优先级队列中；选择出的工作节点通过任务执行线程读取任务优先级队列中的任务，根据任务属性生成不同的集群客户端，并利用不同的集群客户端提交任务。

其中，方法还包括：至少一个管控节点向Zookeeper注册分布式锁；至少一个管控节点中的一个节点接收Zookeeper发送的分布式锁，确定至少一个管控节点中的一个节点为主管控节点。

其中，方法还包括：选择出的工作节点实时监控已提交的任务的状态信息，并将已提交的任务的状态信息发送至Zookeeper进行存储。

其中，方法还包括：管控节点从Zookeeper获取已提交的任务的状态信息，确定是否有失败的任务，如果有失败的任务，则发送告警提示。

其中，至少一个管控节点中的主管控节点从Zookeeper获取各个工作节点的心跳信息数据之后，确定可用的工作节点之前方法还包括：主管控节点超过预设时长未收到工作节点心跳信息数据，则确定未收到心跳信息数据的工作节点不可用，删除不可用的工作节点。

本发明另一方面提供了一种混合式大数据任务异步提交的系统，包括：至少一个工作节点，用于向Zookeeper按照预设时间间隔发送心跳信息数据，获取工作节点的负载信息，并将负载信息发送至Zookeeper；至少一个管控节点中的主管控节点，用于从Zookeeper获取各个工作节点的心跳信息数据，确定可用的工作节点；至少一个管控节点中的任一管控节点，用于接收外部提交的任务，并将任务存储在任务队列里，从Zookeeper获取所有可用的工作节点的负载信息，根据负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把任务发送至选择出的工作节点上；选择出的工作节点，用于接收管控节点发送的任务，并将任务存储在任务优先级队列中；通过任务执行线程读取任务优先级队列中的任务，根据任务属性生成不同的集群客户端，并利用不同的集群客户端提交任务。

其中，至少一个管控节点，还用于向Zookeeper注册分布式锁；至少一个管控节点中的一个节点，还用于接收Zookeeper发送的分布式锁，确定至少一个管控节点中的一个节点为主管控节点。

其中，选择出的工作节点，还用于实时监控已提交的任务的状态信息，并将已提交的任务的状态信息发送至Zookeeper进行存储。

其中，管控节点，还用于从Zookeeper获取已提交的任务的状态信息，确定是否有失败的任务，如果有失败的任务，则发送告警提示。

其中，至少一个管控节点中的主管控节点在从Zookeeper获取各个工作节点的心跳信息数据之后，确定可用的工作节点之前，还用于超过预设时长未收到工作节点心跳信息数据，则确定未收到心跳信息数据的工作节点不可用，删除不可用的工作节点。

由此可见，通过本发明实施例提供的混合式大数据任务异步提交的方法和系统，提供了统一任务提交的接口，提高任务提交的效率，支持spark，flink，hadoopMR，storm等大数据任务的混合式提交；同时还支持任务的优先级提交，支持任务分发到不同的集群执行。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的混合式大数据任务异步提交的方法的流程图；

图2为本发明实施例提供的混合式大数据任务异步提交的系统的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明中涉及了两部分主体，即DTEngineMonitor组件(管控节点)和DTEngineWork组件(工作节点)，其中，DTEngineMonitor组件(管控节点)可以为至少一个，用于启动HttpServer接收外部提交过来的任务，对DTEngineWork(工作节点)做到实时监控把不可用的节点踢除，把接收的任务根据工作节点的机器负载分发到不同的工作节点上；DTEngineWork(工作节点)可以为至少一个，用于负责不同大数据任务(Spark，Flink，HadoopMR，Storm)的异步执行，任务状态的实时监控。

图1示出了本发明实施例提供的混合式大数据任务异步提交的方法的流程图，参见图1，本发明实施例提供的混合式大数据任务异步提交的方法，包括：

S101，至少一个工作节点向Zookeeper按照预设时间间隔发送心跳信息数据，获取工作节点的负载信息，并将负载信息发送至Zookeeper。

具体地，至少一个工作节点可以基于Netty框架启动HttpServer，向Zookeeper集群每间隔2秒发送心跳信息，证明自己是可用的，并采集机器上的cpu，memory，loader，任务数等工作节点的负载信息存放到Zookeeper上。

S102，至少一个管控节点中的主管控节点从Zookeeper获取各个工作节点的心跳信息数据，确定可用的工作节点。

作为本发明实施例的一个可选实施方式，混合式大数据任务异步提交的方法还包括：至少一个管控节点向Zookeeper注册分布式锁；至少一个管控节点中的一个节点接收Zookeeper发送的分布式锁，确定至少一个管控节点中的一个节点为主管控节点。具体地，至少一个管控节点可以基于Netty框架启动HttpServer，向Zookeeper集群注册分布式锁，只有一台会拿到分布式锁那么这台就是Master节点，其他的都是Slave节点，其中，管控节点中只有Master节点会从Zookeeper中获取工作节点心跳信息数据。

作为本发明实施例的一个可选实施方式，至少一个管控节点中的主管控节点从Zookeeper获取各个工作节点的心跳信息数据之后，确定可用的工作节点之前，混合式大数据任务异步提交的方法还包括：主管控节点超过预设时长未收到工作节点心跳信息数据，则确定未收到心跳信息数据的工作节点不可用，删除不可用的工作节点。具体地，如果Master节点发现有些工作节点的心跳信息超过5秒钟没有更新就认为这台工作节点已经不可用，就会踢除。

S103，至少一个管控节点中的任一管控节点接收外部提交的任务，并将任务存储在任务队列里，从Zookeeper获取所有可用的工作节点的负载信息，根据负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把任务发送至选择出的工作节点上。

具体地，至少一个管控节点中的任一管控节点通过HttpServer接收外部提交的任务，放到任务队列里，在从Zookeeper中获取所有工作节点的负载信息(CPU，Memory，Loader，任务数)，根据负载信息通过一定的调度算法得到可用的工作节点地址，把任务通过Http的方式把任务发送到这台工作节点上。

S104，选择出的工作节点接收管控节点发送的任务，并将任务存储在任务优先级队列中。

具体地，选择出的工作节点通过HttpServer接收管控节点下发的要执行的任务存放到任务优先级队列中，以便后续根据任务生成不同的集群客户端。

S105，选择出的工作节点通过任务执行线程读取任务优先级队列中的任务，根据任务属性生成不同的集群客户端，并利用不同的集群客户端提交任务。

具体地，选择出的工作节点通过任务执行线程读取任务优先级队列中的任务，根据任务属性里的计算类型和集群信息，生成不同的集群客户端(SparkClient，FlinkClient，HadoopClient,StormClient)，再通过这些客户端提交任务到远程的计算集群中。

作为本发明实施例的一个可选实施方式，混合式大数据任务异步提交的方法还包括：选择出的工作节点实时监控已提交的任务的状态信息，并将已提交的任务的状态信息发送至Zookeeper进行存储。进一步，管控节点从Zookeeper获取已提交的任务的状态信息，确定是否有失败的任务，如果有失败的任务，则发送告警提示。具体地，实时监控对已经提交的任务的状态监控，并把这些数据存储到Zookeeper中，以便后续查询使用；管控节点从Zookeeper中获取已提交的任务的状态，如发现有失败的任务就会发出告警(邮件，短信，钉钉)，以便进行告警提示。

由此可见，通过本发明实施例提供的混合式大数据任务异步提交的方法，可以统一任务提交的接口，提高任务提交的效率，支持spark，flink，hadoopMR，storm等大数据任务的混合式提交；同时支持任务的优先级，支持多集群提交，支持百万级别任务并发的异步提交。

进一步可以对提交的任务做到实时监控和统一管理，对失败的任务发出告警(邮件，短信，钉钉)。

图2示出了本发明实施例提供的混合式大数据任务异步提交的系统的结构示意图，该混合式大数据任务异步提交的系统应用于上述方法，以下仅对混合式大数据任务异步提交的系统的结构进行简单说明，其他未尽事宜，请参照上述混合式大数据任务异步提交的方法中的相关描述，参见图2，本发明实施例提供的混合式大数据任务异步提交的系统，包括：

至少一个工作节点201，用于向Zookeeper按照预设时间间隔发送心跳信息数据，获取工作节点的负载信息，并将负载信息发送至Zookeeper；

至少一个管控节点202中的主管控节点2021，用于从Zookeeper获取各个工作节点201的心跳信息数据，确定可用的工作节点；

至少一个管控节点202中的任一管控节点，用于接收外部提交的任务，并将任务存储在任务队列里，从Zookeeper获取所有可用的工作节点的负载信息，根据负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把任务发送至选择出的工作节点上；

选择出的工作节点2011，用于接收管控节点202发送的任务，并将任务存储在任务优先级队列中；通过任务执行线程读取任务优先级队列中的任务，根据任务属性生成不同的集群客户端，并利用不同的集群客户端提交任务。

由此可见，通过本发明实施例提供的混合式大数据任务异步提交的系统，可以统一任务提交的接口，提高任务提交的效率，支持spark，flink，hadoopMR，storm等大数据任务的混合式提交；同时支持任务的优先级，支持多集群提交，支持百万级别任务并发的异步提交。

作为本发明实施例的一个可选实施方式，至少一个管控节点202，还用于向Zookeeper注册分布式锁；至少一个管控节点中的一个节点2021，还用于接收Zookeeper发送的分布式锁，确定至少一个管控节点中的一个节点为主管控节点2021。至少一个管控节点可以基于Netty框架启动HttpServer，向Zookeeper集群注册分布式锁，只有一台会拿到分布式锁那么这台就是Master节点，其他的都是Slave节点，其中，管控节点中只有Master节点会从Zookeeper中获取工作节点心跳信息数据。

作为本发明实施例的一个可选实施方式，选择出的工作节点2011，还用于实时监控已提交的任务的状态信息，并将已提交的任务的状态信息发送至Zookeeper进行存储。实时监控对已经提交的任务的状态监控，并把这些数据存储到Zookeeper中，以便后续查询使用。

作为本发明实施例的一个可选实施方式，管控节点202，还用于从Zookeeper获取已提交的任务的状态信息，确定是否有失败的任务，如果有失败的任务，则发送告警提示。管控节点从Zookeeper中获取已提交的任务的状态，如发现有失败的任务就会发出告警(邮件，短信，钉钉)，以进行告警提示。

作为本发明实施例的一个可选实施方式，至少一个管控节点中的主管控节点2021在从Zookeeper获取各个工作节点的心跳信息数据之后，确定可用的工作节点之前，还用于超过预设时长未收到工作节点心跳信息数据，则确定未收到心跳信息数据的工作节点不可用，删除不可用的工作节点。具体地，如果Master节点发现有些工作节点的心跳信息超过5秒钟没有更新就认为这台工作节点已经不可用，就会踢除。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种混合式大数据任务异步提交的方法，其特征在于，包括：

至少一个工作节点向所述Zookeeper按照预设时间间隔发送心跳信息数据，获取所述工作节点的负载信息，并将所述负载信息发送至所述Zookeeper；

至少一个管控节点中的主管控节点从所述Zookeeper获取各个工作节点的心跳信息数据，确定可用的工作节点；

至少一个管控节点中的任一管控节点接收外部提交的任务，并将所述任务存储在任务队列里，从所述Zookeeper获取所有可用的工作节点的负载信息，根据所述负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把所述任务发送至所述选择出的工作节点上；

所述选择出的工作节点接收所述管控节点发送的所述任务，并将所述任务存储在任务优先级队列中；

所述选择出的工作节点通过任务执行线程读取任务优先级队列中的所述任务，根据所述任务属性生成不同的集群客户端，并利用所述不同的集群客户端提交所述任务。

2.根据权利要求1所述的方法，其特征在于，还包括：

至少一个管控节点向Zookeeper注册分布式锁；

所述至少一个管控节点中的一个节点接收所述Zookeeper发送的分布式锁，确定所述至少一个管控节点中的一个节点为主管控节点。

3.根据权利要求1所述的方法，其特征在于，还包括：

所述选择出的工作节点实时监控已提交的任务的状态信息，并将所述已提交的任务的状态信息发送至所述Zookeeper进行存储。

4.根据权利要求3所述的方法，其特征在于，还包括：

所述管控节点从所述Zookeeper获取所述已提交的任务的状态信息，确定是否有失败的任务，如果有失败的任务，则发送告警提示。

5.根据权利要求1所述的方法，其特征在于，所述至少一个管控节点中的主管控节点从所述Zookeeper获取各个工作节点的心跳信息数据之后，确定可用的工作节点之前还包括：

所述主管控节点超过预设时长未收到工作节点心跳信息数据，则确定未收到心跳信息数据的工作节点不可用，删除不可用的工作节点。

6.一种混合式大数据任务异步提交的系统，其特征在于，包括：

至少一个工作节点，用于向所述Zookeeper按照预设时间间隔发送心跳信息数据，获取所述工作节点的负载信息，并将所述负载信息发送至所述Zookeeper；

至少一个管控节点中的主管控节点，用于从所述Zookeeper获取各个工作节点的心跳信息数据，确定可用的工作节点；

至少一个管控节点中的任一管控节点，用于接收外部提交的任务，并将所述任务存储在任务队列里，从所述Zookeeper获取所有可用的工作节点的负载信息，根据所述负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把所述任务发送至所述选择出的工作节点上；

所述选择出的工作节点，用于接收所述管控节点发送的所述任务，并将所述任务存储在任务优先级队列中；通过任务执行线程读取任务优先级队列中的所述任务，根据所述任务属性生成不同的集群客户端，并利用所述不同的集群客户端提交所述任务。

7.根据权利要求6所述的系统，其特征在于，

至少一个管控节点，还用于向Zookeeper注册分布式锁；

所述至少一个管控节点中的一个节点，还用于接收所述Zookeeper发送的分布式锁，确定所述至少一个管控节点中的一个节点为主管控节点。

8.根据权利要求6所述的系统，其特征在于，

所述选择出的工作节点，还用于实时监控已提交的任务的状态信息，并将所述已提交的任务的状态信息发送至所述Zookeeper进行存储。

9.根据权利要求8所述的系统，其特征在于，

所述管控节点，还用于从所述Zookeeper获取所述已提交的任务的状态信息，确定是否有失败的任务，如果有失败的任务，则发送告警提示。

10.根据权利要求6所述的系统，其特征在于，所述至少一个管控节点中的主管控节点在从所述Zookeeper获取各个工作节点的心跳信息数据之后，确定可用的工作节点之前，还用于超过预设时长未收到工作节点心跳信息数据，则确定未收到心跳信息数据的工作节点不可用，删除不可用的工作节点。