CN114035948A - 一种分布式任务调度方法及系统 - Google Patents

Abstract

本发明提供了一种分布式任务调度方法及系统，所述方法包括：通过任务执行线程，将每个任务的任务日志数据，添加到预先创建的队列之中；设置守护线程监控所述队列，将所述队列中的任务日志数据异步地发送到消息中间件中；通过逐一提取所述消息中间件的任务日志数据，以将任务日志数据存储到数据库中，并生成任务日志。本发明提供的分布式任务调度方法及系统，在执行任务的过程中，将任务日志与业务日志做了隔离，任务日志统一收集到数据库中进行维护，从而实现了历史日志的可视化，避免容器重启而造成的日志丢失。

Description

一种分布式任务调度方法及系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种分布式任务调度方法及系统。

背景技术

在大数据平台的搭建过程中，单个系统不再能满足复杂业务的需求，更多时候需要多个子系统互相协作，异步地按照指定流程完成一项特定的功能，因此，分布式任务调度的解决方案的实现也随之应运而生。

随着容器化部署的大力推广应用实践，任务日志跟业务日志耦合在一起，分布式任务调度的任务日志搜集变得更加复杂，简单的文件同步已经满足不了现实的生产需求。容器化部署的方式会造成任务日志会随着容器的重启造成丢失，导致无法查看历史记录，迁移扩展性差；有鉴于此，亟需改进现有的分布式任务调度的执行流程，以确保分布式任务调度被完整、正确的执行。

发明内容

本发明提供一种分布式任务调度方法及系统，用以解决现有技术中任务日志会随着容器的重启造成丢失，导致无法查看历史记录，迁移扩展性差的缺陷。

第一方面，本发明提供一种分布式任务调度方法，包括：通过任务执行线程，将每个任务的任务日志数据，添加到预先创建的队列之中；设置守护线程监控所述队列，将所述队列中的任务日志数据异步地发送到消息中间件中；通过逐一提取所述消息中间件中的任务日志数据，以将任务日志数据存储到数据库中，并生成任务日志。

根据本发明提供一种的分布式任务调度方法，根据所述任务在当前运行环境中与源环境中的配置参数的差异，对当前运行环境中的所述任务的配置参数进行调整；所述源环境为当前运行环境的上一个运行环境。

根据本发明提供一种的分布式任务调度方法，在根据所述任务在当前运行环境中与源环境中的配置参数的差异，对当前运行环境中的所述任务的配置参数进行调整之前，还包括：设置不同运行环境之间的前置关系，并根据不同的运行环境为所述任务设置不同的配置参数；所述运行环境包括研发环境、测试环境、集成环境、生产环境。

根据本发明提供一种的分布式任务调度方法，还包括：在任务注册时为所述任务配置对应的监控逻辑；在任务触发回调之后，执行所述任务所对应的监控逻辑，以获取所述监控逻辑的执行结果；在所述执行结果不满足预设条件的情况下，则确定所述任务调度失败；并在确定所述任务调度失败之后，再次执行所述任务调度，直到所述监控逻辑的执行结果满足预设条件或者执行所述任务调度的次数大于预设次数为止。

根据本发明提供一种的分布式任务调度方法，所述执行所述任务所对应的监控逻辑，以获取所述监控逻辑的执行结果，具体包括：基于执行任务时所生成的业务数据信息，以从所述业务数据信息中获取在预设时间点的业务数据量，并将所述业务数据量作为所述执行结果；所述预设条件为所述业务数据量处于预设数值范围内。

根据本发明提供一种的分布式任务调度方法，所述执行所述任务所对应的监控逻辑，以获取所述监控逻辑的执行结果，具体包括：基于执行任务时所生成的业务数据信息，以从所述业务数据信息中获取目标业务数据的更新时间，并将所述更新时间作为所述执行结果；所述预设条件为所述更新时间处于预设时间范围之内。

根据本发明提供一种的分布式任务调度方法，所述在任务注册时为所述任务配置对应的监控逻辑，具体包括：根据任务的执行场景，为每个任务的监控逻辑设置对应的执行方式；所述执行方式至少包括以下方式中的一种：结构化查询语言SQL脚本方式、应用程序接口方式。

第二方面，本发明还提供一种分布式任务调度系统，其特征在于，包括：第一模块，用于通过任务执行线程，将每个任务的任务日志数据，添加到预先创建的队列之中；第二模块，用于设置守护线程监控所述队列，将所述队列中的任务日志数据异步地发送到消息中间件中；第三模块，用于通过逐一提取所述消息中间件中的任务日志数据，将任务日志数据存储到数据库中，并生成任务日志。

第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述分布式任务调度方法的步骤。

第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述分布式任务调度方法的步骤。

本发明提供的分布式任务调度方法及系统，在执行任务的过程中，将任务日志与业务日志做了隔离，任务日志统一收集到数据库中进行维护，从而实现了历史日志的可视化，避免容器重启而造成的日志丢失。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的分布式任务调度方法的流程示意图之一；

图2是本发明提供的分布式任务调度方法的流程示意图之二；

图3是本发明提供的分布式任务调度系统的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明实施例的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合图1-图4描述本发明实施例所提供的分布式任务调度方法和系统。图1是本发明提供的分布式任务调度方法的流程示意图之一，如图1所示，该方法包括但不限于以下步骤：

步骤101：通过任务执行线程，将每个任务的任务日志数据，添加到预先创建的队列之中。

分布式任务调度的过程中，分布式调度系统一般分为两个类型的模块：调度节点(本发明中为调度中心)和任务执行节点(本发明在业务系统中执行任务)。调度中心的主要功能是读取任务执行节点资源、负载情况，确定任务执行规则和具体指定哪个节点执行，任务下发和结果收集；任务执行节点主要的功能是接收任务和执行任务。

通过设置任务执行线程，可以执行任务的调度，并且在任务调度过程中，可以将任务的执行ID，任务的执行时间以及与任务执行的相关内容等任务日志数据，包装成一个对象，逐个的加入到预先建立的队列当中。

步骤102：设置守护线程监控所述队列，将任务日志数据异步的发送到消息中间件中。

为了将对队列中的任务日志进行实时的监控，可以设置一个守护线程。该守护线程每隔一段时间都会监控队列中是否存在任务日志数据，如果在队列中存在任务日志数据，则取出所述任务日志数据，并将其异步的发送到消息中间件中。

步骤103：通过逐一提取所述消息中间件中的每个任务日志数据，以将每个任务日志数据存储到数据库中，并生成任务日志。

消息中间件，是一类以消息为载体进行通信的中间件，利用高效可靠的消息机制来实现不同系统间大量的数据交换。按其通信模型的不同，可选的消息中间件的通信模型有两类：消息队列和消息传递。

通过消息中间件将每个任务所对应的任务日志数据，逐一的传输到数据库中，并在数据库中进行存储，生成了任务调度过程中所生成的任务日志。进一步的，实现了任务日志与业务日志的分离。其中，数据库可以为列式存储型数据库(比如ClickHouse)。

本发明将业务调度系统在执行任务的过程中，将任务日志与业务日志做了隔离，任务日志统一收集到数据库中进行维护，从而实现了历史日志的可视化，避免容器重启而造成的日志丢失。

另外，由于在分布式任务调度的过程中，任务调度的配置参数需要随着运行环境升舱，然而数据同步没有线上的解决方案，在运行环境切换同步的过程中存在一定的运维风险。基于此，作为一种可选实施例，本发明提供了一种分布式任务调度方法，实现任务的配置参数与运行环境的同步，以解决在环境升舱过程中所存在的问题。

预先设置业务系统中不同运行环境之间的前置关系。例如对于包括：研发环境、测试环境、集成环境、生产环境的业务系统，在同一任务在调度的过程中所经历的运行环境顺序，依次为：研发环境、测试环境、集成环境、生产环境；在进行环境切换的过程中，必须严格执行上述环境顺序。环境升舱即为按照所述前置关系(设置的环境切换顺序)，进行环境的切换。例如，从研发环境切换到测试环境，从测试环境切换到集成环境，从集成环境切换到生产环境。另外，在调度中心进行任务注册时，也会根据不同的运行环境，为每一个任务设置不同的配置参数。

根据所述任务在当前运行环境中与源环境中的配置参数的差异，对当前运行环境中的所述任务的配置参数进行调整；所述源环境为当前运行环境的上一个环境。

在任务调度的过程中，任务的配置参数，例如任务的重试次数、超时时间等，会因为业务系统中的业务的需求变动而发生变化。

例如：对于A任务，其设置的重试次数是1，但是随着业务的变化，A任务的重要性提高了，需要调整该业务的重试次数为3。首先，我们会在研发环境中将任务A的重试次数修改为3，在环境升舱至研发环境的过程中，通过比较当前环境(即测试环境)中A任务的重试次数与源环境(即研发环境)中的差异，将测试环境中的重试次数同步成3次。本发明中实现了任务调度的参数同步，通过源环境中与当前运行环境中任务的配置参数的差异对当前运行环境的任务的配置参数进行修改，避免了环境升舱导致的任务执行异常情况。

另外，在任务调度的过程中，每一个任务执行的结果只能通过回调判断是否执行成功，这种方式往往不够准确，会导致任务调度失败的误判，无法通过自定义的业务校验逻辑对其验证，存在一定的缺陷。基于此，作为一种可选实施例，本发明提供了一种分布式任务调度方法，对任务的执行结果实现了更加准确的判断。

图2是本发明提供的分布式任务调度方法的流程示意图之二，如图2所示，在调度中心进行任务的注册，在任务触发后，在业务系统中执行所触发的任务，任务执行完成后，会进一步的触发任务的结果回调。

在调度中心中，可预先为每个任务配置对应的监控逻辑。并且根据任务的执行场景，可以为不同的监控逻辑设置对应的执行方式。所述执行方式至少包括以下方式中的一种：结构化查询语言SQL脚本方式、应用程序接口方式。

可选地，在任务的执行场景为进行业务数据的同步的情况下，可以设置SQL脚本作为该监控逻辑的执行方式。

在业务系统中，执行某一任务之后，上述任务会触发回调，并且在调度中心执行所述任务所对应的监控逻辑，以获取所述监控逻辑的执行结果；在所述执行结果不满足预设条件的情况下，则确定所述任务的任务调度失败；并在确定所述任务的任务调度失败之后，再次执行所述任务调度，直到所述监控逻辑的执行结果满足预设条件或者执行所述任务调度的次数大于预设次数为止。常规的预设次数为5次，这种再次执行任务的过程也即是失败重试的过程。

基于上述实施例，作为一种可选实施例，本发明提供的一种分布式任务调度方法，所述执行所述某一任务所对应的监控逻辑，以获取所述监控逻辑的执行结果，具体包括：

基于在业务系统中执行某一任务时所生成的业务数据信息，以从所述业务数据信息中获取在预设时间点的业务数据量，并将所述业务数据量作为所述执行结果；相应的，所述预设条件为所述业务数据量处于预设数值范围内。

在执行监控逻辑的方式为设置SQL脚本的方式的情况下，配置SQL脚本的方式(指令)为“select count(1)from A”，并设定阈值为1000。在任务执行之后的预设时间点通过获取任务执行后生成的业务信息中A的业务数据量，并且判断A中的数据量是否大于1000，来判断任务是否执行成功。

在A的业务数据量满足大于1000的情况下，则表明该任务执行成功，如果任务没有执行成功，则对任务进行失败重试。

基于上述实施例，作为一种可选实施例，本发明提供的一种分布式任务调度方法，所述执行所述某一任务所对应的监控逻辑，以获取所述监控逻辑的执行结果，还具体包括：

基于执行某一任务时所生成的业务数据信息，以从所述业务数据信息中获取目标业务数据的更新时间，并将所述更新时间作为所述执行结果；相应的，所述预设条件为所述更新时间处于预设时间范围之内。

可选地，在执行监控逻辑的方式为设置SQL脚本的方式的情况下，配置SQL脚本的方式(指令)为“select count(1)from A where last_modify>2020-10-10”，即获取执行任务后所生成的业务数据信息中相关的业务数据的最后的更新时间，并将上述最后的更新时间作为任务监控逻辑的执行结果，并且在最后的更新时间大于“2020-10-10”的情况下，则表明该任务执行成功，否则便进行该任务的失败重试。

本发明提供的分布式任务调度方法，通过多样化的任务执行结果监控，为任务失败重试提供了可靠的依据，使任务调度系统更加可靠。进一步的，原本任务失败重试的方式仅仅是依据任回调结果，本发明增加了SQL、API等多种业务手段去判断失败重试，增加了任务调度系统的可靠性。

图3是本发明提供的分布式任务调度系统的结构示意图，该系统中包括：第一模块301，第二模块302，第三模块303。

第一模块301，用于通过任务执行线程，将每个任务的任务日志数据，添加到预先创建的队列之中；

第二模块302，用于设置守护线程监控所述队列，将所述队列中的任务日志数据异步的发送到消息中间件中；

第三模块303，用于通过逐一提取消息中间件中的每个任务日志数据，将每个任务日志数据存储到数据库中，并生成任务日志。

本发明将业务调度系统在执行任务的过程中，将任务日志与业务日志做了隔离，任务日志统一收集到数据库中进行维护，从而实现了历史日志的可视化，避免容器重启而造成的日志丢失。

图4是本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行分布式任务调度方法，该方法包括：通过任务执行线程，将每个任务的任务日志数据，添加到预先创建的队列之中；设置守护线程监控所述队列，将所述队列中的任务日志数据异步地发送到消息中间件中；通过逐一提取所述消息中间件中的每个任务日志数据，以将每个任务日志数据存储到数据库中，并生成任务日志。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的分布式任务调度方法，该方法包括：通过任务执行线程，将每个任务的任务日志数据，添加到预先创建的队列之中；设置守护线程监控所述队列，将所述队列中的任务日志数据异步地发送到消息中间件中；通过逐一提取所述消息中间件中的每个任务日志数据，以将每个任务日志数据存储到数据库中，并生成任务日志。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的分布式任务调度方法，该方法包括：通过任务执行线程，将每个任务的任务日志数据，添加到预先创建的队列之中；设置守护线程监控所述队列，将所述队列中的任务日志数据异步地发送到消息中间件中；通过逐一提取所述消息中间件中的每个任务日志数据，以将每个任务日志数据存储到数据库中，并生成任务日志。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种分布式任务调度方法，其特征在于，包括：

通过任务执行线程，将每个任务的任务日志数据，添加到预先创建的队列之中；

设置守护线程监控所述队列，将所述队列中的任务日志数据异步地发送到消息中间件中；

通过逐一提取所述消息中间件中的任务日志数据，以将所述任务日志数据存储到数据库中，并生成任务日志。

2.根据权利要求1所述的分布式任务调度方法，其特征在于，还包括：

根据所述任务在当前运行环境中与源环境中的配置参数的差异，对当前运行环境中的所述任务的配置参数进行调整；

所述源环境为当前运行环境的上一个运行环境。

3.根据权利要求2所述的分布式任务调度方法，其特征在于，在根据所述任务在当前运行环境中与源环境中的配置参数的差异，对当前运行环境中的所述任务的配置参数进行调整之前，还包括：

设置不同运行环境之间的前置关系，并根据不同的运行环境为所述任务设置不同的配置参数；

所述运行环境包括研发环境、测试环境、集成环境、生产环境。

4.根据权利要求1所述的分布式任务调度方法，其特征在于，还包括：

在任务注册时为所述任务配置对应的监控逻辑；

在任务触发回调之后，执行所述任务所对应的监控逻辑，以获取所述监控逻辑的执行结果；

在所述执行结果不满足预设条件的情况下，则确定所述任务调度失败；

并在确定所述任务调度失败之后，再次执行所述任务调度，直到所述监控逻辑的执行结果满足预设条件或者执行所述任务调度的次数大于预设次数为止。

5.根据权利要求4所述的分布式任务调度方法，其特征在于，所述执行所述任务所对应的监控逻辑，以获取所述监控逻辑的执行结果，具体包括：

基于执行任务时所生成的业务数据信息，以从所述业务数据信息中获取在预设时间点的业务数据量，并将所述业务数据量作为所述执行结果；

所述预设条件为所述业务数据量处于预设数值范围内。

6.根据权利要求4所述的分布式任务调度方法，其特征在于，所述执行所述任务所对应的监控逻辑，以获取所述监控逻辑的执行结果，具体包括：

基于执行任务时所生成的业务数据信息，以从所述业务数据信息中获取目标业务数据的更新时间，并将所述更新时间作为所述执行结果；

所述预设条件为所述更新时间处于预设时间范围之内。

7.根据权利要求4所述的分布式任务调度方法，其特征在于，所述在任务注册时为所述任务配置对应的监控逻辑，具体包括：

根据任务的执行场景，为每个任务的监控逻辑设置对应的执行方式；

所述执行方式至少包括以下方式中的一种：结构化查询语言SQL脚本方式、应用程序接口方式。

8.一种分布式任务调度系统，其特征在于，包括：

第一模块，用于通过任务执行线程，将每个任务的任务日志数据，添加到预先创建的队列之中；

第二模块，用于设置守护线程监控所述队列，将所述队列中的任务日志数据异步地发送到消息中间件中；

第三模块，用于通过逐一提取所述消息中间件中的任务日志数据，将任务日志数据存储到数据库中，并生成任务日志。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述分布式任务调度方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述分布式任务调度方法的步骤。

Images