CN111930492B - 基于解耦任务数据模型的任务流调度方法与系统 - Google Patents

Abstract

本发明公开了一种基于解耦任务数据模型的任务流调度方法与系统，本发明对于参与任务流调度的单个任务数据模型进行了规范化定义，解耦了任务流中不同任务的通信报文和通信协议，并对任务流数据模型定义全局唯一的分布式锁；在任务流调度流程中，由同一任务流的所有调度节点周期性竞争该任务流的分布式锁，成功竞争到分布式锁的调度节点才进行后续调度，通过当前已完成任务获取后继任务进行调度，并使用协议处理器进行任务输入输出数据的转换，通过幂等机制、任务失败处理机制等保障任务的有效调度。本发明能够提高提升系统设计效率以及任务流执行的稳定性，有效避免了任务因单个机器宕机等意外因素而终止。

Description

基于解耦任务数据模型的任务流调度方法与系统

技术领域

本发明属于计算机软件领域，具体涉及一种任务流调度方法与系统。

背景技术

任务流是指一系列有先后依赖顺序的任务序列，序列中前者的执行输出结果作为驱动后者执行的输入参数。任务流中的多个任务往往运行在异构的系统环境中，所以在定义一个具体的任务流时，需要针对性的为该任务流中的每一个任务定制开发。任务流的执行采用链式驱动，前者执行完成后通知后者继续执行。

任务流的生命周期通常是：首先根据需求为任务流中的每一个任务执行定制开发；然后根据每个任务所依赖的系统环境，部署任务到具体的目标计算节点；再为每个任务设置后续任务的具体驱动地址；最后触发任务流中的第一个任务执行。如图1所示，任务执行流程如下：1、任务流中的第一个任务（任务1）开始执行；2、如果任务1执行成功，获取后续任务（任务2）的目标执行地址，任务1的输出作为任务2的输入，任务1触发任务2执行，转跳步骤4；如果任务1执行失败，转跳步骤3；3、在指定的时间间隔后继续尝试执行当前任务（任务1），执行逻辑同步骤2，直到当前任务执行成功或者失败次数过多导致任务流终止；4、任务2重复任务1的执行流程，执行完自身逻辑后，驱动后续任务；5、任务流中所有任务执行成功，输出任务结果；或者在某个任务节点执行失败导致整个任务流失败。

现有的任务流调度流程存在如下不足：1、网络存在不稳定因素，没有统一的任务驱动机制来确保任务在不可靠的网络中可靠的执行链式任务。2、任务流中的任一个任务都有可能执行失败，需要定义统一的任务失败处理以及预警机制。3、链式驱动执行的任务方案，前一任务会和下一任务的报文内容强耦合，并且前者还需要兼容后者的通信协议，异构系统中任务流的每个任务都可能采用不同的通信协议，导致协议爆炸。4、出于系统高可用考量，任务流中每个任务需要实现任务持久化并支持定期唤起，而上述功能与任务本身并不相关，属于重复劳动。5、没有统一的管理视角，展示当前任务流的执行进度以及可能的失败原因。6、网络报文传输的不可靠性，导致同一计算任务可能被多次执行。

发明内容

发明目的：针对上述现有技术的不足，本发明的目的是提供一种基于解耦任务数据模型的任务流调度方法与系统，以提升系统开发设计的效率，以及任务流执行的稳定性。

技术方案：为实现上述发明目的，本发明采用如下技术方案：

一种基于解耦任务数据模型的任务流调度方法，对于参与任务流调度的单个任务数据模型定义驱动任务的通信协议、任务输入输出数据格式、后继任务节点及其使用的协议处理器、任务幂等编号、任务在整个任务流中的编号、任务调度超时时间、任务失败处理机制、任务输出数据以及任务状态查询接口；对于任务流数据模型定义全局唯一的分布式锁，以及任务流中第一个任务的初始化输入数据；所述任务流调度方法包括：

步骤1：由同一任务流的所有调度节点周期性竞争该任务流的分布式锁，成功竞争到分布式锁的调度节点执行步骤2；未取得分布式锁的调度节点结束本轮调度；

步骤2：获取任务流已执行完成的最大任务编号，如果最大任务编号对应最后一个任务，标记任务流调度完成，释放分布式锁，结束；否则获取最大任务编号对应的已完成任务A的信息，执行步骤3；

步骤3：获取已完成任务A的后继任务作为调度任务B，根据任务B的幂等编号查看其是否已被触发，如果已触发且调度时间未超时，说明任务B正在执行中，执行步骤4；否则执行步骤5；

步骤4：根据任务B定义中的任务状态查询接口查询任务状态，如果任务B已经执行完毕，获取任务B的输出结果并保存；标记任务B为完成状态，结束本轮任务调度，释放分布式锁；

步骤5：如果任务B超时，重新触发任务B执行；如果任务B未被触发，触发任务B执行； 触发或重新触发任务B时，加载通信协议框架，将任务A的输出数据经协议处理器转换后，作为触发任务B的输入数据；

步骤6：根据幂等编号，生成任务B调度记录、设置或重置调度超时时间；

步骤7：根据任务B的反馈结果判断任务B是否成功触发，若成功触发则结束本轮调度，释放分布式锁，否则执行步骤8；

步骤8：回滚步骤6中的调度记录，释放分布式锁，并根据任务的失败处理机制，决定是否需重新调度；如需重新调度则放弃本次调度，等待下一轮调度任务触发；如不需要重新调度，设置任务流状态为失败，结束当前任务流调度。

进一步地，所述任务流中的任务分布在异构网络环境中。

进一步地，任务流的调度节点和执行任务的计算节点间的驱动任务的通信协议为HTTP或TCP。

一种基于解耦任务数据模型的任务流调度系统，包括任务流管理模块和任务流调度模块；所述任务流管理模块用于管理任务流数据及任务流中各个任务数据；其中参与任务流调度的单个任务数据模型中包括驱动任务的通信协议、任务输入输出数据格式、后继任务节点及其使用的协议处理器、任务幂等编号、任务在整个任务流中的编号、任务调度超时时间、任务失败处理机制、任务输出数据以及任务状态查询接口；任务流数据模型中包括全局唯一的分布式锁，以及任务流中第一个任务的初始化输入数据；

所述任务流调度模块，用于接收各调度节点对任务流的调度请求，进行任务流调度，具体调度方法包括：

步骤1：由同一任务流的所有调度节点周期性竞争该任务流的分布式锁，成功竞争到分布式锁的调度节点执行步骤2；未取得分布式锁的调度节点结束本轮调度；

步骤2：获取任务流已执行完成的最大任务编号，如果最大任务编号对应最后一个任务，标记任务流调度完成，释放分布式锁，结束；否则获取最大任务编号对应的已完成任务A的信息，执行步骤3；

步骤3：获取已完成任务A的后继任务作为调度任务B，根据任务B的幂等编号查看其是否已被触发，如果已触发且调度时间未超时，说明任务B正在执行中，执行步骤4；否则执行步骤5；

步骤4：根据任务B定义中的任务状态查询接口查询任务状态，如果任务B已经执行完毕，获取任务B的输出结果并保存；标记任务B为完成状态，结束本轮任务调度，释放分布式锁；

步骤5：如果任务B超时，重新触发任务B执行；如果任务B未被触发，触发任务B执行； 触发或重新触发任务B时，加载通信协议框架，将任务A的输出数据经协议处理器转换后，作为触发任务B的输入数据；

步骤6：根据幂等编号，生成任务B调度记录、设置或重置调度超时时间；

步骤7：根据任务B的反馈结果判断任务B是否成功触发，若成功触发则结束本轮调度，释放分布式锁，否则执行步骤8；

步骤8：回滚步骤6中的调度记录，释放分布式锁，并根据任务的失败处理机制，决定是否需重新调度；如需重新调度则放弃本次调度，等待下一轮调度任务触发；如不需要重新调度，设置任务流状态为失败，结束当前任务流调度。

进一步地，同一任务流中的不同任务部署在不同的目标计算节点上。

有益效果：本发明对任务数据模型进行了规范化定义，解耦了任务流中不同任务的通信报文和通信协议，能够提升系统设计效率，并通过配置化的任务失败处理机制，提升了系统稳定性；本发明的调度可采用高可用集群方案，能够保证任务不会因为单个机器宕机等意外因素而终止。本发明提供了统一的高可用方案以及幂等机制，任务只需关注自身逻辑，提高开发效率，并且提供了统一的任务管理视角，可清晰明了展现当前任务流的进度。

附图说明

图1为现有任务流的任务执行流程图。

图2为本发明实施例中的任务调度流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅只是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的其他所有实施例，都属于本发明保护的范围。

本发明采用高可用调度集群对任务流的定义进行统一管理，参与任务流调度的单个任务数据模型满足如下定义：

1）驱动任务的通信协议以及输入数据格式；调度节点（进行任务调度的机器）和计算节点（执行任务流中某一任务的机器）间的数据驱动协议包括HTTP、TCP等；

2）任务的输出数据格式；

3）任务的后继任务节点；

4）任务失败处理机制，如单任务最大失败次数、任务流最大重试次数、是否发送任务错误通知等；

5）后继任务节点使用的协议处理器，协议处理器负责适配当前任务输出以及后继任务输入，基于具体业务需求实现输入与输出数据的转换；

6）任务幂等编号，该编号可保证当前任务幂等操作；

7）任务在整个任务流中的编号，同一任务流中，根据执行顺序编号递增。比如排在任务流中第二个执行的任务编号为2；

8）定义当前任务的调度超时时间，即任务允许的最大执行时间；

9）定义任务输出数据以及任务状态查询接口；

针对整个任务流数据模型，还需要提供如下定义：

10）定义任务流全局唯一的分布式锁，该锁保证同一时间所有调度节点对指定任务流调度的唯一性；

11）任务流中第一个任务的初始化输入数据。

任务流调度采用集群化、周期性调度方案，如图2所示，本发明实施例公开的一种基于解耦任务数据模型的任务流调度方法，总体流程如下：

步骤1：调度系统集群中对同一任务流的所有调度节点周期性竞争当前任务流的分布式锁，成功竞争到锁的调度节点进行后续操作，执行步骤2；未取得锁的调度节点放弃本轮调度。该分布式锁保证调度集群中任意机器宕机，其他机器都可以重新触发当前任务流，不会影响实际任务流实际执行；分布式锁可基于现有的ZooKeeper、etcd、redis或者数据库实现；

步骤2：获取到分布式锁的调度节点首先查询当前任务流已经执行完毕的最大任务编号，根据编号判断当前已完成任务是否是任务流中最后一个任务。如果是最后一个任务，标记任务流完成，释放分布式锁，任务流调度结束；否则根据获取到的已完成最大任务编号查询任务（记为任务A）信息，执行步骤3；

步骤3：获取任务流中当前已完成任务A的后继任务（即本轮调度任务，记为任务B）信息，根据后继任务B的幂等编号查看其是否已被触发，如果已触发且调度时间未超时，说明计算任务B正在执行中，执行步骤4；否则步骤5；

步骤4：根据任务B定义中的任务状态查询接口查询任务状态。如果任务B已经执行完毕，获取任务B输出结果并保存；标记当前调度任务B为完成状态。结束本轮任务调度流程，释放分布式锁；

步骤5：如果任务B超时，说明对应的目标计算节点可能出现宕机等意外因素，需重新触发任务B执行；如果任务B未被触发，触发任务B执行。触发或重新触发任务B时，加载通信协议框架，任务A的输出经协议处理器转换后，作为调用目标任务B地址的输入；

步骤6：根据幂等编号，生成任务B调度记录、设置或重置调度超时时间；

步骤7：调度集群根据执行任务B的计算节点的反馈结果判断任务B是否成功触发，成功触发则结束本轮调度，释放分布式锁，否则执行步骤8；

步骤8：回滚步骤6中的调度记录，释放分布式锁，并根据任务的失败处理机制，决定是否需重新调度。如需重新调度则放弃本次调度，等待下一轮调度任务触发；如不需要重新调度，设置任务流状态为失败，结束当前任务流调度。

本发明实施例的任务流调度方法不仅适用于异构系统，也适用于同构系统中的任务流，同一任务流中的不同任务可部署在不同的目标计算节点上，也可部署在相同的目标计算节点上。基于相同的发明构思，本发明实施例提供的一种基于解耦任务数据模型的任务流调度系统，包括任务流管理模块和任务流调度模块；其中任务流管理模块用于管理任务流数据及任务流中各个任务数据；参与任务流调度的单个任务数据模型中包括驱动任务的通信协议、任务输入输出数据格式、后继任务节点及其使用的协议处理器、任务幂等编号、任务在整个任务流中的编号、任务调度超时时间、任务失败处理机制、任务输出数据以及任务状态查询接口；任务流数据模型中包括全局唯一的分布式锁，以及任务流中第一个任务的初始化输入数据；所述任务流调度模块，用于接收各调度节点对任务流的调度请求，进行任务流调度，具体调度方法如上述方法实施例所述，此处不再赘述。

Claims (5)

1.一种基于解耦任务数据模型的任务流调度方法，其特征在于，对于参与任务流调度的单个任务数据模型定义驱动任务的通信协议、任务输入输出数据格式、后继任务节点及其使用的协议处理器、任务幂等编号、任务在整个任务流中的编号、任务调度超时时间、任务失败处理机制、任务输出数据以及任务状态查询接口；对于任务流数据模型定义全局唯一的分布式锁，以及任务流中第一个任务的初始化输入数据；所述任务流调度方法包括：

步骤1：由同一任务流的所有调度节点周期性竞争该任务流的分布式锁，成功竞争到分布式锁的调度节点执行步骤2；未取得分布式锁的调度节点结束本轮调度；

步骤2：获取任务流已执行完成的最大任务编号，如果最大任务编号对应最后一个任务，标记任务流调度完成，释放分布式锁，结束；否则获取最大任务编号对应的已完成任务A的信息，执行步骤3；

步骤3：获取已完成任务A的后继任务作为调度任务B，根据任务B的幂等编号查看其是否已被触发，如果已触发且调度时间未超时，说明任务B正在执行中，执行步骤4；否则执行步骤5；

步骤4：根据任务B定义中的任务状态查询接口查询任务状态，如果任务B已经执行完毕，获取任务B的输出结果并保存；标记任务B为完成状态，结束本轮任务调度，释放分布式锁；

步骤5：如果任务B超时，重新触发任务B执行；如果任务B未被触发，触发任务B执行； 触发或重新触发任务B时，加载通信协议框架，将任务A的输出数据经协议处理器转换后，作为触发任务B的输入数据；

步骤6：根据幂等编号，生成任务B调度记录、设置或重置调度超时时间；

步骤7：根据任务B的反馈结果判断任务B是否成功触发，若成功触发则结束本轮调度，释放分布式锁，否则执行步骤8；

步骤8：回滚步骤6中的调度记录，释放分布式锁，并根据任务的失败处理机制，决定是否需重新调度；如需重新调度则放弃本次调度，等待下一轮调度任务触发；如不需要重新调度，设置任务流状态为失败，结束当前任务流调度。

2.根据权利要求1所述的基于解耦任务数据模型的任务流调度方法，其特征在于，所述任务流中的任务分布在异构网络环境中。

3.根据权利要求1所述的基于解耦任务数据模型的任务流调度方法，其特征在于，任务流的调度节点和执行任务的计算节点间的驱动任务的通信协议为HTTP或TCP。

4.一种基于解耦任务数据模型的任务流调度系统，其特征在于，包括任务流管理模块和任务流调度模块；所述任务流管理模块用于管理任务流数据及任务流中各个任务数据；其中参与任务流调度的单个任务数据模型中包括驱动任务的通信协议、任务输入输出数据格式、后继任务节点及其使用的协议处理器、任务幂等编号、任务在整个任务流中的编号、任务调度超时时间、任务失败处理机制、任务输出数据以及任务状态查询接口；任务流数据模型中包括全局唯一的分布式锁，以及任务流中第一个任务的初始化输入数据；

所述任务流调度模块，用于接收各调度节点对任务流的调度请求，进行任务流调度，具体调度方法包括：

步骤1：由同一任务流的所有调度节点周期性竞争该任务流的分布式锁，成功竞争到分布式锁的调度节点执行步骤2；未取得分布式锁的调度节点结束本轮调度；

步骤2：获取任务流已执行完成的最大任务编号，如果最大任务编号对应最后一个任务，标记任务流调度完成，释放分布式锁，结束；否则获取最大任务编号对应的已完成任务A的信息，执行步骤3；

步骤3：获取已完成任务A的后继任务作为调度任务B，根据任务B的幂等编号查看其是否已被触发，如果已触发且调度时间未超时，说明任务B正在执行中，执行步骤4；否则执行步骤5；

步骤4：根据任务B定义中的任务状态查询接口查询任务状态，如果任务B已经执行完毕，获取任务B的输出结果并保存；标记任务B为完成状态，结束本轮任务调度，释放分布式锁；

步骤5：如果任务B超时，重新触发任务B执行；如果任务B未被触发，触发任务B执行； 触发或重新触发任务B时，加载通信协议框架，将任务A的输出数据经协议处理器转换后，作为触发任务B的输入数据；

步骤6：根据幂等编号，生成任务B调度记录、设置或重置调度超时时间；

步骤7：根据任务B的反馈结果判断任务B是否成功触发，若成功触发则结束本轮调度，释放分布式锁，否则执行步骤8；

步骤8：回滚步骤6中的调度记录，释放分布式锁，并根据任务的失败处理机制，决定是否需重新调度；如需重新调度则放弃本次调度，等待下一轮调度任务触发；如不需要重新调度，设置任务流状态为失败，结束当前任务流调度。

5.根据权利要求4所述的基于解耦任务数据模型的任务流调度系统，其特征在于，同一任务流中的不同任务部署在不同的目标计算节点上。

Images