CN116346823A - 一种基于消息队列的大数据异构任务调度方法及系统 - Google Patents

Abstract

一种基于消息队列的大数据异构任务调度方法及系统，包括：利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧；利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理；本发明通过异构调度设计与任务链监控相结合，构建各类任务模型与调度方案的通用描述格式，设计分级调度和主备切换组合模式，提出双层管家调度方案，从而实现任务调度的可扩展、可维护和可监控，提高系统运行可靠性，提升整体资源利用率。

Description

一种基于消息队列的大数据异构任务调度方法及系统

技术领域

本发明涉及电力系统领域，具体涉及一种基于消息队列的大数据异构任务调度方法及系统。

背景技术

随着信息化技术的快速发展以及电力侧管理需求的持续增加，电力信息系统已具备越来越复杂、庞大的功能及应用需求。传统基于消息队列的下发模式难以满足高频率、高可靠的任务执行需求，多任务并发管理问题尤其突出。面向消息队列的异构任务调度机制能够方便托管上层异构任务下发、屏蔽底层软硬件平台与不同计算引擎差异，使得任务调度平台具有易扩展、可维护和可监控等优势，从整体上提高资源利用率。

经调研，目前大部分基于消息队列的任务调度系统，其主要方案分为：

①面向属性任务的调度系统及计算方案，包括至少在两个节点中配置的定时任务调度器、服务调度器及服务器集群；

②面向类型任务的调度方法及装置，包括基于消息队列机制的测试任务，及测试任务消息中携带的领域参数和特性参数；

③面向阶段任务的调度方法及装置，包括获取调度数据库中工作流的任务，将任务划分为具有多层依赖结构进行多层任务执行。

这些任务调度方案，首先，未考虑针对多集群环境资源异构且地域分散、网络环境不可靠的特点，未设计时钟同步、进程隔离和守护监控功能；其次，未考虑任务调度系统可作为平台提供统一调度及分析功能；最后，未考虑任务重发、断网重连及压力感知方面的问题。

发明内容

为了解决现有技术中传统的基于消息队列的下发模式难以满足高频率、高可靠的任务执行需求的问题，本发明提出了一种基于消息队列的大数据异构任务调度方法，包括：

利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧；

利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理。

优选的，所述利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧，包括：

利用Gateway侧的服务发现和鉴权机制接收各系统的任务请求；

利用double_key结构将所述各系统的任务请求进行任务标识解析，得到多个节点的子任务；

基于Agent上报的感知压力将所述多个节点的子任务下发给Agent。

优选的，所述利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理，包括：

解析接收到的所述多个节点的子任务，并根据任务包类型将所述多个节点的子任务通过服务通道放入不同的工作线程通道；

利用任务池管理机制进行丢包检测和任务缓存。

优选的，所述利用任务池管理机制进行丢包检测和任务缓存，包括：

基于先进先出的方式进行Gateway侧和Agent侧的任务缓存；

当接收到的消息编号小于或等于历史编号最大值时，判定为重发消息进行丢弃；

当接收到的消息编号大于历史编号最大值加一后的值时，判定为消息丢失并通过控制通道下发控制信号要求重发。

优选的，还包括：将Gateway侧和Agent侧的工作状态上下文内容作为心跳信号上报给守护进行缓存和监控；

当所述Gateway侧或Agent侧失去心跳信号时，守护进程进行重启并将最后一次工作状态内容恢复到Gateway侧或Agent侧。

优选的，还包括：当所述任务通道或服务通道出现故障或回传故障时，采用控制通道作为备份进行下发。

基于同一发明构思，本发明还提出了一种基于消息队列的大数据异构任务调度系统，包括：

子任务下发模块，用于利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧；

子任务调度模块，用于利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理。

优选的，所述子任务下发模块，具体用于：

利用Gateway侧的服务发现和鉴权机制接收各系统的任务请求；

利用double_key结构将所述各系统的任务请求进行任务标识解析，得到多个节点的子任务；

基于Agent上报的感知压力将所述多个节点的子任务下发给Agent。

优选的，所述子任务调度模块，包括：

子任务分发子模块，用于解析接收到的所述多个节点的子任务，并根据任务包类型将所述多个节点的子任务通过服务通道放入不同的工作线程通道；

丢包检测子模块，用于利用任务池管理机制进行丢包检测和任务缓存。

优选的，所述丢包检测子模块，具体用于：

基于先进先出的方式进行Gateway侧和Agent侧的任务缓存；

当接收到的消息编号小于或等于历史编号最大值时，判定为重发消息进行丢弃；

当接收到的消息编号大于历史编号最大值加一后的值时，判定为消息丢失并通过控制通道下发控制信号要求重发。

优选的，还包括守护进程模块，所述守护进程模块具体用于：

将Gateway侧和Agent侧的工作状态上下文内容作为心跳信号上报给守护进行缓存和监控；

当所述Gateway侧或Agent侧失去心跳信号时，守护进程进行重启并将最后一次工作状态内容恢复到Gateway侧或Agent侧。

优选的，还包括主备切换模块，所述主备切换模块具体用于：

当所述任务通道或服务通道出现故障或回传故障时，采用控制通道作为备份进行下发。

与现有技术相比，本发明的有益效果为：

一种基于消息队列的大数据异构任务调度方法及系统，包括：利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧；利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理；本发明通过异构调度设计与任务链监控相结合，构建各类任务模型与调度方案的通用描述格式，设计分级调度和主备切换组合模式，提出双层管家调度方案，从而实现任务调度的可扩展、可维护和可监控，提高系统运行可靠性，提升整体资源利用率。

附图说明

图1为本发明的一种基于消息队列的大数据异构任务调度方法流程图；

图2为本发明的消息调度策略流程图；

图3为本发明的消息通道任务时序图；

图4为本发明的双层管家架构图；

图5为本发明的一种基于消息队列的大数据异构任务调度系统及其方法的应用图。

具体实施方式

本发明综合考虑多集群环境下大数据分析任务的下发执行过程，具备服务注册、心跳管理、任务湖管理、通道管理和鉴权管理功能。首先，建立Gateway侧服务发现、任务鉴权及任务池管理，构造下沉多通道调度管理；其次，建立Agent侧心跳管理及任务池管理，构造上报多通道调度管理；再次，建立Gateway-Agent任务池对、双向心跳对及通道交互对；最后，由Gateway侧进程间隔离的多任务池组成任务湖，并对任务湖进行守护管理。

为了改变传统各种应用重复调用RPC接口的现状，提升整体资源利用率；改变任务链过长、任务状态不可控的现状，简化任务下发与执行的二级模型，使其具备任务链可监控的特性；提供批量任务的统一调度管理，提供可屏蔽底层环境差异的异构任务调度方法，使其具备可扩展、可维护的特性。为了更好地理解本发明，下面结合说明书附图和实施例对本发明的内容做进一步的说明。

实施例1：

一种基于消息队列的大数据异构任务调度方法，具体过程如图1所示，包括：

步骤1，利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧；

步骤2，利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理。

步骤1中的，利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧，包括：

在混合网络环境下，Gateway服务发现接收到授权的任务请求，解析任务请求类别并分解编码为多个节点的子任务，将子任务加到节点队列等待，按照优先级进行子任务下发。消息调度策略如图2所示。

利用Gateway侧的服务发现和鉴权机制，接收各系统合法用户的n个下沉任务请求{M1,M2,…,Mn}，其中任务k记为一个九元组Mk(Source,TokenHash,TaskName,TaskID,Priority,Type,Module，JSON{algorithm or request…}，{node1、node2…noden})，由源系统Source、鉴权令牌TokenHash、任务名称TaskName、任务编码TaskID、任务优先级Priority、任务类型Type、算法模型Module、算法或请求描述JSON{algorithm orrequest…}和下沉节点数组{node1、node2…noden}构成。

针对任务请求，需进行任务标识解析设计，提出一种double_key结构进行扩展：

将任务分解为多节点分发结构，对应发送信息key，使用格式key(node,priority)＝>JobMessageValue，其Mk任务消息表示如下：

Gateway侧主进程负责接收各系统的服务请求和任务鉴权，执行服务调用发现与注册、任务鉴权与优先级定义、数据读写与聚合等。作为整个架构的主进程，除了响应外部系统任务请求外，还要汇总下发任务的执行状态和结果数据，同时将自身状态定期汇报给守护进程；

Gateway侧主调度进程负责任务解析和任务湖管理，在主进程和节点调度进程之间扮演协调代理角色，维护主进程发来的完整任务，维护所有节点调度进程，协调两者之间的通信，同时将自身状态定期汇报给守护进程。

步骤2中的，利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理，包括：

Agent负责任务接收、解析、调度及结果收集，参与Gateway侧通道维护和任务池管理，并对任务池进行动态调整，计算结果采用本地缓存方式，能够高效率、高并发、高可靠地执行异构任务下沉功能，为用户节省时间成本和资源成本。

Agent侧节点调度进程负责任务调度和任务池管理，在主调度进程和工作线程之间扮演任务代理角色，维护主调度进程发来的子任务，根据任务包类型放入不同的工作线程通道，并通过主调度进程向主进程回传任务编号及结果数据写入请求，同时将自身状态定期汇报给守护进程。

最后，利用任务池管理机制实现丢包检测和任务缓存，定义任务、服务和控制下发数据统一消息，设计Gateway侧及Agent侧通用消息发送格式如下表所示：

消息编号	消息类型	本地时间戳	标识ID	消息JSON	控制信号
						MsgNumber	MsgType	GT	UID	MsgJSON	CM

表1Gateway侧消息格式设计表

表2Agent侧消息格式设计表

其中，MsgNumber表示消息的唯一ID，用来检测是否存在越位丢包；MsgType为消息类型，例如任务消息、服务消息或控制消息，以便放入对应调度队列；GT为Gateway下发时刻本地时间戳，用来同步Agent侧时间；UID为任务/服务的唯一ID，其与RUID相互回应，表示任务下发与返回；MsgJSON为任务逻辑模型或服务调用请求实际内容，ResultJSON为任务或服务执行的返回数据；CM为下发Agent服务器控制命令，包括重启进程、重启组件、获取负载信息等，RR为其CM指令的响应结果。

丢包处理：每个通道消息编号是从0开始唯一、连续、递增性编号，由于消息队列的上传下发为独立通道，所以Gateway和Agent均需要以先进先出(FIFO)的方式缓存N个消息内容。当接收到消息编号k小于等于历史编号最大值max，判定为重发消息进行丢弃；当接收到消息编号k＞历史编号max+1，则判定存在消息丢失，并通过控制通道下发控制信号，要求重发{max,max+1…k}之间的所有消息。消息通道任务时序如图3所示，System Client系统客户端，Gateway Main Process网关主过程，MainScheduling Process主要调度流程，NodeScheduling Process节点调度流程，ActiveMQ消息队列应用服务器，Agent SchedulingProcess代理调度流程，Service interface服务接口。

压力感知：Agent侧向Gateway上报本地任务负荷，Gateway根据Agent上报的压力值动态调整下发任务的频率。Agent侧压力属性定义如下表所示：

表3Agent侧压力属性对应表

压力PL＝W_TWEN+W_TWSN+W_RTN+W_LS，其中W_TWEN、W_TWSN、W_RTN、W_LS分别表示根据条件判断得到的各类任务池指标的权重得分。Gateway侧根据Agent不同的压力等级，对其执行不同下发策略，具体策略如下表所示：

压力描述	压力范围	压力策略
			优	PL≤0.3	正常下发任务
良	PL≤0.7且PL≥0.4	返回结果，按优先级下发新任务
			差	PL>0.8	缓存队列，暂不下发

表4PL压力等级策略表

当任务真正准备下发时，控制通道下发任务状态，Agent侧上报感知压力并准备好接收任务时，利用任务通道进行下发。

主备切换与时间校准：任务通道负责下发大数据异构任务消息，服务通道负责下发异构中台服务消息。当任务通道或服务通道出现下发故障或回传故障时，采用控制通道作为备份进行下发。控制通道以周期T进行双向心跳检测，其消息中携带的时间戳会作为时间校准的参考值。以Agent侧为例，接收到Gateway发来的消息时获取本地时间戳LT，若GT–LT>Tmax时，Agent将自动同步本地时间服务器，否则其发送的消息有可能会在消息队列中被超时删除；

其次，为解决不同类型、不同优先级且随机的任务调度问题，提出双层管家调度方案，在主进程和调度进程的基础上增加守护进程，如图4所示。

守护进程负责监控主进程、主调度进程、节点调度进程和工作线程的工作状态，进程或线程将当前工作状态上下文内容作为心跳信号上报给守护进程缓存。当某进程或线程失去心跳信号后，由守护进程负责重启，并将其最后一次内容状态恢复到进程或线程中。

实施例2：

一种基于消息队列的大数据异构任务调度系统，包括：

子任务下发模块，用于利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧；

子任务调度模块，用于利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理。

优选的，所述子任务下发模块，具体用于：

利用Gateway侧的服务发现和鉴权机制接收各系统的任务请求；

利用double_key结构将所述各系统的任务请求进行任务标识解析，得到多个节点的子任务；

基于Agent上报的感知压力将所述多个节点的子任务下发给Agent。

优选的，所述子任务调度模块，包括：

子任务分发子模块，用于解析接收到的所述多个节点的子任务，并根据任务包类型将所述多个节点的子任务通过服务通道放入不同的工作线程通道；

丢包检测子模块，用于利用任务池管理机制进行丢包检测和任务缓存。

优选的，所述丢包检测子模块，具体用于：

基于先进先出的方式进行Gateway侧和Agent侧的任务缓存；

当接收到的消息编号小于或等于历史编号最大值时，判定为重发消息进行丢弃；

当接收到的消息编号大于历史编号最大值加一后的值时，判定为消息丢失并通过控制通道下发控制信号要求重发。

优选的，还包括守护进程模块，所述守护进程模块具体用于：

将Gateway侧和Agent侧的工作状态上下文内容作为心跳信号上报给守护进行缓存和监控；

当所述Gateway侧或Agent侧失去心跳信号时，守护进程进行重启并将最后一次工作状态内容恢复到Gateway侧或Agent侧。

优选的，还包括主备切换模块，所述主备切换模块具体用于：

当所述任务通道或服务通道出现故障或回传故障时，采用控制通道作为备份进行下发。

实施例3：

本发明提供的一种基于消息队列的大数据异构任务调度系统应用于国家电网配电网广域分布式下沉计算系统中，其架构如图5所示。

配电网广域分布式下沉计算系统包括总部下沉管控节点Gateway侧与省侧下沉计算节点Agent侧。总部下沉管控节点通过算法建模应用，构建算法应用，生成下沉计算任务，提交至总部调度服务进行调度管理；总部调度服务基于各省节点压力等级，适度下发下沉任务；省侧节点调度服务接收解析下沉计算任务，并根据大数据平台资源情况，合理调度，将算法任务提交大数据平台开展就地计算，最终将计算结果逐级返回。

在总部侧和省侧均采用双层管家调度方案，总部侧包括算法建模应用与调度服务，由守护进程进行守护；在各省侧下沉节点，分别部署节点调度服务，并均有守护进程确保服务可靠运行。

整体调度管理采用任务池调度管理机制，具备主备切换、丢包处理、压力感知能力。在总部节点与各省节点之间，建立服务与控制双通道，当服务通道出现下发故障或回传故障时，采用控制通道作为备用通道进行通讯；双方消息通讯报文格式严格按照本发明中的Gateway侧及Agent侧通用消息发送格式，保障消息传输的完整性与可靠性，在双侧均建立消息缓存机制，确保丢包及时处理；省侧下沉节点及时感知大数据平台任务执行情况与资源情况，同时实时反馈总部节点，确保总部节点与省侧节点合理开展任务调度。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在发明待批的本发明的权利要求范围之内。

Claims (12)

1.一种基于消息队列的大数据异构任务调度方法，其特征在于，包括：

利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧；

利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理。

2.根据权利要求1所述方法，其特征在于，所述利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧，包括：

利用Gateway侧的服务发现和鉴权机制接收各系统的任务请求；

利用double_key结构将所述各系统的任务请求进行任务标识解析，得到多个节点的子任务；

基于Agent上报的感知压力将所述多个节点的子任务下发给Agent。

3.根据权利要求1所述方法，其特征在于，所述利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理，包括：

解析接收到的所述多个节点的子任务，并根据任务包类型将所述多个节点的子任务通过服务通道放入不同的工作线程通道；

利用任务池管理机制进行丢包检测和任务缓存。

4.根据权利要求3所述方法，其特征在于，所述利用任务池管理机制进行丢包检测和任务缓存，包括：

基于先进先出的方式进行Gateway侧和Agent侧的任务缓存；

当接收到的消息编号小于或等于历史编号最大值时，判定为重发消息进行丢弃；

当接收到的消息编号大于历史编号最大值加一后的值时，判定为消息丢失并通过控制通道下发控制信号要求重发。

5.根据权利要求1所述方法，其特征在于，还包括：将Gateway侧和Agent侧的工作状态上下文内容作为心跳信号上报给守护进行缓存和监控；

当所述Gateway侧或Agent侧失去心跳信号时，守护进程进行重启并将最后一次工作状态内容恢复到Gateway侧或Agent侧。

6.根据权利要求1所述方法，其特征在于，还包括：当所述任务通道或服务通道出现故障或回传故障时，采用控制通道作为备份进行下发。

7.一种基于消息队列的大数据异构任务调度系统，其特征在于，包括：

子任务下发模块，用于利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧；

子任务调度模块，用于利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理。

8.根据权利要求7所述系统，其特征在于，所述子任务下发模块，具体用于：

利用Gateway侧的服务发现和鉴权机制接收各系统的任务请求；

利用double_key结构将所述各系统的任务请求进行任务标识解析，得到多个节点的子任务；

基于Agent上报的感知压力将所述多个节点的子任务下发给Agent。

9.根据权利要求7所述系统，其特征在于，所述子任务调度模块，包括：

子任务分发子模块，用于解析接收到的所述多个节点的子任务，并根据任务包类型将所述多个节点的子任务通过服务通道放入不同的工作线程通道；

丢包检测子模块，用于利用任务池管理机制进行丢包检测和任务缓存。

10.根据权利要求9所述系统，其特征在于，所述丢包检测子模块，具体用于：

基于先进先出的方式进行Gateway侧和Agent侧的任务缓存；

当接收到的消息编号小于或等于历史编号最大值时，判定为重发消息进行丢弃；

当接收到的消息编号大于历史编号最大值加一后的值时，判定为消息丢失并通过控制通道下发控制信号要求重发。

11.根据权利要求7所述系统，其特征在于，还包括守护进程模块，所述守护进程模块具体用于：

将Gateway侧和Agent侧的工作状态上下文内容作为心跳信号上报给守护进行缓存和监控；

当所述Gateway侧或Agent侧失去心跳信号时，守护进程进行重启并将最后一次工作状态内容恢复到Gateway侧或Agent侧。

12.根据权利要求7所述系统，其特征在于，还包括主备切换模块，所述主备切换模块具体用于：

当所述任务通道或服务通道出现故障或回传故障时，采用控制通道作为备份进行下发。

Images