CN115964151A - 一种面向大数据处理的流计算任务调度系统及方法 - Google Patents

Abstract

本发明涉及一种面向大数据处理的流计算任务调度系统及方法，该系统包括：领导者Master模块通过API接口将配置完成的流计算任务持久化到关系型数据库的任务定义表中；基于任务定义表生成任务实例，将所生成的任务实例持久化到关系型数据库的任务实例表中；结合负载均衡分发各任务实例；执行器Worker模块获取分发的任务实例，向领导者Master模块反馈任务实例的任务分发结果，以及执行分发的任务实例，向领导者Master模块反馈任务实例的任务提交结果：领导者Master模块根据反馈的任务分发结果和任务提交结果，对任务实例表中的任务状态进行更新或向关系型数据库的告警信息表中发送告警信息；注册中心zookeeper模块实现领导者Master模块和执行器Worker模块的流计算任务容错处理。

Description

一种面向大数据处理的流计算任务调度系统及方法

技术领域

本发明涉及大数据流计算任务调度技术领域，具体涉及一种面向大数据处理的流计算任务调度系统及方法。

背景技术

随着数据技术的飞速发展，现代企业开始从IT时代走向DT时代，无论选择公有云或自建数据中心，大数据平台已经成为现代企业的基础设施。大数据平台由最开始面向批处理的单执行引擎MapReduce逐步迭代Spark、Flink等批流统一的多执行引擎时代。现代企业越来越重视数据的时效性，开始从传统离线数仓向实时数仓转型。企业在进行实时计算业务的过程中，会产生成百上千的流计算任务，如何对这些任务进行提交管理，状态监控，构建流计算任务的调度管理系统显得尤为重要。

如专利文献CN112529528A公开的基于大数据流计算的工作流监控与告警方法、装置及系统：描述了一种自建的大数据流计算的工作流监控与告警方法。装置及系统，其核心功能是实现了对大数据流计算应用的基于kafka系统的告警方案，但是并未提出应对大数据场景下复杂流计算任务的提交编排方法，并且整个系统存在单点故障，并未考虑高可用容错策略，故会面临如下问题：

1）一旦任务挂掉之后，仅仅收到告警信息，无法自动拉起任务，无法选择从任务的哪个检查点进行恢复。

2）流计算任务的提交机器存在单点故障，一旦任务提交节点宕机后，计算任务无法提交，影响重要业务数据生产。

发明内容

为解决以上问题，本发明提供一种面向大数据处理的流计算任务调度系统及方法。

本发明的技术方案为：

本发明提供了一种面向大数据处理的流计算任务调度系统，包括：领导者Master模块、执行器Worker模块、元数据模块和注册中心zookeeper模块；

元数据模块包含关系型数据库；所述关系型数据库包含任务定义表、任务实例表和告警信息表；

领导者Master模块用于先通过API接口将配置完成的流计算任务持久化到关系型数据库的任务定义表中；再基于关系型数据库的任务定义表生成任务实例，并将所生成的任务实例持久化到关系型数据库的任务实例表中；再结合负载均衡分发各任务实例；

执行器Worker模块用于获取分发的任务实例，再向领导者Master模块反馈任务实例的任务分发结果，以及执行分发的任务实例，再向领导者Master模块反馈任务实例的任务提交结果：

领导者Master模块还用于根据执行器Worker模块反馈的任务分发结果和任务提交结果，对关系型数据库的任务实例表中的任务状态进行更新和向关系型数据库的告警信息表中发送告警信息；

注册中心zookeeper模块用于实现领导者Master模块和执行器Worker模块的流计算任务容错处理。

优选地，所述系统还包括：告警服务模块；

告警服务模块用于定时轮询关系型数据库的告警信息表中是否存在待告警信息；

若存在待告警信息，则根据待告警信息中指定的告警方式，进行告警。

本发明还提供了一种面向大数据处理的流计算任务调度方法，应用于上述的面向大数据处理的流计算任务调度系统，所述方法包括：

先通过API接口将配置完成的流计算任务持久化到关系型数据库的任务定义表中；再基于关系型数据库的任务定义表生成任务实例，并将所生成的任务实例持久化到关系型数据库的任务实例表中；再结合负载均衡分发各任务实例；

获取分发的任务实例，再反馈任务实例的任务分发结果；

执行分发的任务实例，再反馈任务实例的任务提交结果：

根据反馈的任务分发结果和任务提交结果，对关系型数据库的任务实例表中的任务状态进行更新和向关系型数据库的告警信息表中发送告警信息。

优选地，基于关系型数据库的任务定义表生成任务实例，并将所生成的任务实例持久化到关系型数据库的任务实例表中，结合负载均衡分发各任务实例的步骤包括：

领导者Master模块的任务调度服务，将关系型数据库中的任务定义表生成任务实例，并将生成的任务实例持久化到关系型数据库中的任务实例表中；

领导者Master模块的任务调度服务，将任务实例放入任务调度队列，等待任务调度队列的消费者进行任务实例消费；

领导者Master模块的任务调度队列消费者，获取任务调度队列中的任务实例，再将每个任务实例封装为一个线程并放入领导者Master模块的任务调度线程池中；

领导者Master模块的任务调度线程池中的各单线程在执行任务实例的过程中，触发领导者Master模块的执行器负载均衡选择器执行：

向注册中心zookeeper模块定时请求执行器Worker集群中各台Worker机器的负载信息，采用线程加权平均算法根据当前每台Worker机器的CPU和内存余量将后去的任务实例分发给选中的执行器Worker模块。

优选地，获取分发的任务实例，再反馈任务实例的任务分发结果的步骤包括：

执行器Worker模块的任务执行处理器对获取到的任务实例进行参数校验；

根据参数校验结果，向领导者Master模块的确认消息处理器发送任务分发结果；

执行分发的任务实例，再反馈任务实例的执行结果的步骤包括：

执行器Worker模块的任务执行处理器将通过参数校验的任务实例封装到一个线程中并提交至执行器Worker模块的任务执行线程池中；

执行器Worker模块的任务执行线程池中的各单线程将任务实例提交到大数据集群资源管理器YARN上，并从大数据集群资源管理器YARN获取提交的任务实例的状态，再将任务实例的任务提交结果发送至领导者Master模块的确认消息处理器。

优选地，根据反馈的任务分发结果和任务提交结果，对关系型数据库的任务实例表中的任务状态进行更新和向关系型数据库的告警信息表中发送告警信息的步骤包括：

领导者Master模块的确认消息处理器确定任务分发结果的事件类型为失败，则更新任务实例的任务分发状态为失败，并向关系型数据库的告警信息表中发送任务分发失败的告警信息；

领导者Master模块的确认消息处理器确定任务分发结果的事件类型为成功，则更新任务实例的任务分发状态为成功。

优选地，当面向大数据处理的流计算任务调度系统启动后，领导者Master模块向注册中心zookeeper模块上的Master_mechs的znode进行注册，提供自身的CPU和内存信息并维持心跳；执行器Worker模块向注册中心zookeeper模块上的Worker_mechs的znode进行注册，提供自身的CPU和内存信息并维持心跳；

领导者Master模块和执行器Worker模块分别对各自对应的znode进行监视；

一旦发现有领导者Master模块或执行器Worker模块宕机，则进入流计算任务容错处理流程，流计算任务容错处理流程包括Master容错流程和Worker容错流程。

优选地，Master容错流程具体为：

Master集群的每个领导者Master模块都会对注册中心zookeeper模块上的znode进行监视，一旦发现有领导者Master模块宕机，会触发基于zookeeper的一个分布式锁机制，由活着的其中一个领导者Master模块获取到分布式锁，并触发预设的流计算任务容错逻辑，将需要容错的任务信息插入关系型数据库中的容错命令表，之后由获得分布式琐的领导者Master模块接管此工作流，完成Master分布式容错过程。

优选地，Worker容错流程具体为：

Worker集群的每个执行器Worker模块会向注册中心zookeeper模块上的一个znode注册自己，如果发生正在提交任务的执行器Worker模块宕机，会触发领导者Master模块的一个监视机制，终止掉当前宕机的执行器Worker模块上的所有正在提交任务，并由当前宕机的执行器Worker模块将此任务标记为需要容错状态，重新选择存活的执行器Worker模块作为正在提交任务的执行器。

本发明具有以下优点：

1）整个集群可以实现Master和Worker节点的线性扩展；

2）设计了计算任务提交的容错策略，当整个系统存在单点故障时，对应的任务会被接管并继续执行和监控；

3）在任务分发方式上考虑了Worker节点的计算资源负载情况，避免了单Worker负载过高，导致节点宕机的现象，有利于整个集群稳定，减轻了运维人员的负担。

附图说明

图1为本实施例的执行器节点架构图；

图2为本实施例的调度系统总体架构图；

图3为本实施例的流计算任务执行流程图；

图4为本实施例中的Master容错流程示意图；

图5为本实施例中的Worker容错流程示意图。

具体实施方式

下面结合附图对本发明进行进一步的描述。

本实施例中，一种面向大数据处理的流计算任务调度系统，包括：

领导者Master模块，具有调度系统web界面，调度系统web界面给用户提供便利的任务可视化配置窗口，提供流计算任务的监控和运维功能。领导者Master模块用于负责流计算任务的元数据定义、jar包上传，通过API接口将配置完成的流计算任务持久化到关系型数据库的任务定义表中，任务定义表中的元数据信息用JSON进行描述，每个作业的JSON都存储了其作业类型和作业参数、

用户触发作业提交操作后，领导者Master模块获取关系型数据库中的计算任务元数据，根据当前所有执行器的负载情况，采用CPU和内存线性加权算法进行执行器选择的负载均衡。

执行器Worker模块，用于接收领导者Master模块发送的需要执行的任务实例并将任务实例提交到大数据集群资源管理器YARN集群上进行执行，再向领导者Master模块返回任务执行结果，保存任务提交日志。

执行器Worker模块和领导者Master模块，采用netty框架构建的tcp连接进行通信。

元数据模块，对应本实施例中的关系数据库，整个调度系统的元数据和调度系统告警信息存储在关系型数据库中，所述关系型数据库用于持久化存储流计算任务的元数据，流计算任务的元数据包括如任务名称、jar包位置、所需计算资源大小等；用于持久化存储调度系统告警信息，如流计算任务宕机告警等。

告警模块，用于接收领导者Master模块发出的调度系统告警信息，并根据指定的告警类型，通过短信，企业微信等方式进行告警。

本系统是一个面向大数据平台复杂流计算任务场景的多执行引擎任务调度系统。该系统能够针对用户定义的流计算任务，基于去中心化理念和负载均衡思想，将任务分发到Worker节点上去执行。Master和Worker采用高性能网络通信框架Netty进行消息传输。基于分布式协调服务zookeeper实现领导者和执行器Worker模块的高可用。因此，整个系统在运行过程中可以线性扩展。

在数据平台中，一个完整的数据处理任务包括：数据接入，数据清洗，数据挖掘和分析结果存储四个阶段，即在数据平台中存在多个计算引擎。如图1所示，Worker不作为具体计算任务的运行节点，而是将大数据平台中的网关节点，即计算任务的提交节点作为Worker节点。Worker节点上拥有Spark客户端、Flink客户端等计算引擎的网关，不直接作为计算任务的运行节点，能够实现调度多执行引擎计算任务的能力，并且实现调度平台和计算平台解耦，避免了资源竞争。

本实施例中，所述的面向大数据处理的流计算任务调度方法，采用如本实施例中所述的面向大数据的流计算任务调度系统，其方法包括以下步骤：

Master节点用于作业开发和分发具体的任务实例到Worker节点；Worker节点负责具体的任务执行和任务状态反馈；告警服务用于将系统中的告警信息根据对应的告警类型进行告警。

如图2和图3所示，本方法具体流程如下：

程序开发人员进行流计算任务开发，通过API接口将配置完成的流计算任务如Flink、Spark任务，持久化到关系型数据库的任务定义表中。

运维人员在web页面上，点击运行按钮，执行指定的流计算任务。

领导者Master的任务调度服务，将关系型数据库中的任务定义生成任务实例，并持久化到关系型数据库中。

进一步，领导者Master的任务调度服务，将任务实例放入任务调度队列，等待任务调度队列的消费者进行任务实例消费。领导者Master中的任务调度队列消费者获取任务调度队列中的任务实例，每个任务实例封装为一个线程并放入任务调度线程池中进行执行。各单线程执行任务实例的过程中，触发领导者Master的执行器负载均衡选择器向注册中心zookeeper定时请求Worker集群中各台Worker机器的负载信息，采用线程加权平均算法根据当前每台Worker机器的CPU和内存余量将后去的任务实例分配给选中的Worker节点。最终，将打上Worker标签的任务实例经过Netty构建的TCP连接发送给指定的Worker节点，等待Worker获取该任务实例的执行消息，进行获取消息应答和执行具体的任务实例。

进一步，Worker节点通过与Master节点建立TCP连接获取到任务实例，并向对应Master汇报已收到此任务实例的确认消息。执行器Worker的任务执行处理器获取任务实例之后，首先进行任务实例的参数校验。然后将该任务实例封装到一个线程中，提交到任务执行线程池中进行执行，将计算任务提交到大数据集群资源管理器YARN上。Flink任务通过flink run进行提交，Spark任务通过Spark submit进行过提交。

进一步，Worker节点持有一个轮询线程，会定时从大数据集群资源管理器YARN上获取当前Worker节点提交任务的状态。检测到任务失败，将任务失败的详细信息通过和Master节点建立的TCP连接发送给Master节点，Master节点将告警消息持久化到关系型数据库中的告警消息表中。

进一步，告警服务定时轮询关系型数据库中的告警信息表是否存在需要告警的消息，如果有，读取告警消息，根据告警消息中指定的告警方式，进行短袖、邮件或企业微信告警。

作为一个拥有分布式能力的调度系统，因为分布式系统天然的不可靠性，容错设计是整个系统必须考虑的核心。整个调度系统的分布式容错都是基于ZooKeeper实现的。当系统启动后，领导者Master和执行器Worker会向zookeeper上的Master_mechs和Worker_mechs的znode进行注册，提供本机的CPU和内存信息并维持心跳；每台领导者Master和执行器Worker对该znode进行监视；一旦发现有领导者Master或执行器Worker宕机，则进入任务容错流程，任务容错流程包括Master容错流程和Worker容错流程。

如图4所示，本实施例中， Master容错流程具体为：

Master集群的每台Master机器都会对zookeeper上的znode进行监视，一旦发现有Master宕机，会触发基于zookeeper的一个分布式锁机制，由活着的其中一个Master获取到分布式锁，并触发任务容错逻辑，将需要容错的任务信息插入关系型数据库中的容错命令表，之后由获得分布式琐的Master接管此工作流，完成Master的分布式容错过程。如图4所示，Master1挂掉之后，Master2获取到分布式锁，然后触发任务容错逻辑，将需要容错的任务信息插入关系型数据库中的容错命令表，之后Master2完成此任务的重新分发，完成Master的分布式容错过程。

本实施例中，所述Worker容错流程具体为：

Worker集群的每台Worker机器会向注册中心zookeeper集群上的一个znode注册自己，如果发生正在执行任务的Worker宕机，会触发Master的一个监视机制，终止掉当前宕机Worker上的所有正在提交的任务，并由该Master将此任务标记为需要容错状态，重新选择存活的Worker作为该任务的执行器。如图5所示，当Worker1宕机，由Worker2重新执行。

Claims (9)

1.一种面向大数据处理的流计算任务调度系统，其特征在于，包括：领导者Master模块、执行器Worker模块、元数据模块和注册中心zookeeper模块；

元数据模块包含关系型数据库；所述关系型数据库包含任务定义表、任务实例表和告警信息表；

领导者Master模块用于先通过API接口将配置完成的流计算任务持久化到关系型数据库的任务定义表中；再基于关系型数据库的任务定义表生成任务实例，并将所生成的任务实例持久化到关系型数据库的任务实例表中；再结合负载均衡分发各任务实例；

执行器Worker模块用于获取分发的任务实例，再向领导者Master模块反馈任务实例的任务分发结果，以及执行分发的任务实例，再向领导者Master模块反馈任务实例的任务提交结果：

领导者Master模块还用于根据执行器Worker模块反馈的任务分发结果和任务提交结果，对关系型数据库的任务实例表中的任务状态进行更新和向关系型数据库的告警信息表中发送告警信息；

注册中心zookeeper模块用于实现领导者Master模块和执行器Worker模块的流计算任务容错处理。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：告警服务模块；

告警服务模块用于定时轮询关系型数据库的告警信息表中是否存在待告警信息；

若存在待告警信息，则根据待告警信息中指定的告警方式，进行告警。

3.一种面向大数据处理的流计算任务调度方法，应用于权利要求1或2所述的面向大数据处理的流计算任务调度系统，其特征在于，所述方法包括：

先通过API接口将配置完成的流计算任务持久化到关系型数据库的任务定义表中；再基于关系型数据库的任务定义表生成任务实例，并将所生成的任务实例持久化到关系型数据库的任务实例表中；再结合负载均衡分发各任务实例；

获取分发的任务实例，再反馈任务实例的任务分发结果；

执行分发的任务实例，再反馈任务实例的任务提交结果：

根据反馈的任务分发结果和任务提交结果，对关系型数据库的任务实例表中的任务状态进行更新和向关系型数据库的告警信息表中发送告警信息。

4.根据权利要求3所述的方法，其特征在于，基于关系型数据库的任务定义表生成任务实例，并将所生成的任务实例持久化到关系型数据库的任务实例表中，结合负载均衡分发各任务实例的步骤包括：

领导者Master模块的任务调度服务，将关系型数据库中的任务定义表生成任务实例，并将生成的任务实例持久化到关系型数据库中的任务实例表中；

领导者Master模块的任务调度服务，将任务实例放入任务调度队列，等待任务调度队列的消费者进行任务实例消费；

领导者Master模块的任务调度队列消费者，获取任务调度队列中的任务实例，再将每个任务实例封装为一个线程并放入领导者Master模块的任务调度线程池中；

领导者Master模块的任务调度线程池中的各单线程在执行任务实例的过程中，触发领导者Master模块的执行器负载均衡选择器执行：

向注册中心zookeeper模块定时请求执行器Worker集群中各台Worker机器的负载信息，采用线程加权平均算法根据当前每台Worker机器的CPU和内存余量将后去的任务实例分发给选中的执行器Worker模块。

5.根据权利要求3所述的方法，其特征在于，获取分发的任务实例，再反馈任务实例的任务分发结果的步骤包括：

执行器Worker模块的任务执行处理器对获取到的任务实例进行参数校验；

根据参数校验结果，向领导者Master模块的确认消息处理器发送任务分发结果；

执行分发的任务实例，再反馈任务实例的执行结果的步骤包括：

执行器Worker模块的任务执行处理器将通过参数校验的任务实例封装到一个线程中并提交至执行器Worker模块的任务执行线程池中；

执行器Worker模块的任务执行线程池中的各单线程将任务实例提交到大数据集群资源管理器YARN上，并从大数据集群资源管理器YARN获取提交的任务实例的状态，再将任务实例的任务提交结果发送至领导者Master模块的确认消息处理器。

6.根据权利要求5所述的方法，其特征在于，根据反馈的任务分发结果和任务提交结果，对关系型数据库的任务实例表中的任务状态进行更新和向关系型数据库的告警信息表中发送告警信息的步骤包括：

领导者Master模块的确认消息处理器确定任务分发结果的事件类型为失败，则更新任务实例的任务分发状态为失败，并向关系型数据库的告警信息表中发送任务分发失败的告警信息；

领导者Master模块的确认消息处理器确定任务分发结果的事件类型为成功，则更新任务实例的任务分发状态为成功。

7.根据权利要求3所述的方法，其特征在于，

当面向大数据处理的流计算任务调度系统启动后，领导者Master模块向注册中心zookeeper模块上的Master_mechs的znode进行注册，提供自身的CPU和内存信息并维持心跳；执行器Worker模块向注册中心zookeeper模块上的Worker_mechs的znode进行注册，提供自身的CPU和内存信息并维持心跳；

领导者Master模块和执行器Worker模块分别对各自对应的znode进行监视；

一旦发现有领导者Master模块或执行器Worker模块宕机，则进入流计算任务容错处理流程，流计算任务容错处理流程包括Master容错流程和Worker容错流程。

8.根据权利要求7所述的方法，其特征在于，Master容错流程具体为：

Master集群的每个领导者Master模块都会对注册中心zookeeper模块上的znode进行监视，一旦发现有领导者Master模块宕机，会触发基于zookeeper的一个分布式锁机制，由活着的其中一个领导者Master模块获取到分布式锁，并触发预设的流计算任务容错逻辑，将需要容错的任务信息插入关系型数据库中的容错命令表，之后由获得分布式琐的领导者Master模块接管此工作流，完成Master分布式容错过程。

9.根据权利要求7所述的方法，其特征在于，Worker容错流程具体为：

Worker集群的每个执行器Worker模块会向注册中心zookeeper模块上的一个znode注册自己，如果发生正在提交任务的执行器Worker模块宕机，会触发领导者Master模块的一个监视机制，终止掉当前宕机的执行器Worker模块上的所有正在提交任务，并由当前宕机的执行器Worker模块将此任务标记为需要容错状态，重新选择存活的执行器Worker模块作为正在提交任务的执行器。

Images