CN110955506A - 一种分布式作业调度处理方法 - Google Patents

Abstract

本发明公开了一种分布式作业调度处理方法，包括注册中心、调度器、执行器、日志处理器和管理平台，通过集群选举决定主调度器和从调度器，对所述主调度器进行并发检测，通过所述并发检测后根据路由策略选择相应的执行器，进行分片并行执行。该方法解决了现有技术中传统调度器存在的与业务耦合、难以管理、可靠性差的问题。

Description

一种分布式作业调度处理方法

技术领域

本发明涉及调度处理领域，尤其涉及一种分布式作业调度处理方法。

背景技术

作业调度是一种比较常见的软件功能，往往用于定时任务或者间歇性执行的任务，比如售票系统的定时放票任务，金融交易电子合约的到期处理任务，电子商务平台的整点秒杀任务，这些任务的可靠性都非常重要。传统的定时任务软件是属于业务系统的一部分，往往由每个业务系统自行开发作业调度功能，这就存在几个弊端，一是作业调度功能和业务功能耦合在一起，业务系统的运维可能影响作业调度功能的执行；二是每个作业调度需要自行开发，比如并发控制、分片处理、作业监控、任务启停这些功能容易浪费资源投入，功能质量也不如统一开发的完善；三是作业任务分散在每个业务系统中，给系统运维管理造成很大的困难；四是有些业务系统为了避免并发执行带来的问题，往往采用单点任务调度，这会对软件可靠性带来很大的影响，如果这个单点任务调度由于某种原因停止，则后续定时任务将无法执行，这将对业务运营带来不可估量的损失。

发明内容

本发明提供的一种分布式作业调度处理方法，旨在解决现有技术中传统调度器存在的与业务耦合、可靠性差的问题。

为实现上述目的，本发明采用以下技术方案：

本发明的一种分布式作业调度处理方法，包括注册中心、调度器、执行器、日志处理器和管理平台；

启动所述执行器和所述调度器并将节点信息注册到所述注册中心，将注册信息保存到数据库，在所述注册中心订阅执行器信息，通过集群选举决定主调度器和从调度器，对所述主调度器进行并发检测，通过所述并发检测后根据路由策略选择相应的执行器，进行分片并行执行；

将所述调度器和所述执行器的运行信息保存到消息中间件，根据所述消息中间件获取运行数据并保存到数据库，所述日志处理器发现异常运行信息则进行预警；

读取数据库中节点注册信息并由所述管理平台进行管理，将数据发送给所述注册中心对所述调度器和所述执行器进行启停控制。

本发明提供的一种分布式作业调度处理方法，调度部分与执行部分分离，业务系统只需要开发具体任务，将调度交给调度器即可完成可靠性高的作业调度功能，调度器通过选举产生主调度器和从调度器，主调度器分配各个调度器执行的作业调度任务，多个调度器的选举机制保证了调度器的可靠性，多个执行器的冗余部署保证了执行器的可靠性。

作为优选，所述调度器和所述执行器之间采用异步通讯，并且调度信息保存在消息中间件中，所述执行器接受所述调度器的调度通知，对所述调度器制定的作业进行执行并在执行过程中记录相应的执行信息，将执行信息保存到消息中间件中。

作为优选，所述管理平台包括：调度器管理、应用管理、应用节点管理、任务管理、日志查询、统计报表，所述管理平台可对所述调度器调度作业过程进行人工干预，所述管理平台控制所述调度器、所述执行器和所述执行器中执行的作业。

作为优选，所述调度器与所述执行器分离，通过所述注册中心，所述调度器发现所述执行器，所述调度器通过所述执行器携带的作业信息自动安排作业调度。

作为优选，所述主调度器进行并发检测，通过所述并发检测后根据路由策略选择相应的执行器，可进行分片并行执行包括：

所述主调度器分配调度任务，与所述从调度器协同完成任务，多个调度器在调度作业时采用并发控制，所述调度器通过首节点路由、节点列表循环路由、尾节点路由、高性能节点优先路由选择相应的执行器执行作业。

作为优选，所述作业调度信息和执行信息都被保存和分析，异常的运行信息会通过邮件、短信、微信方式进行预警，通过所述管理平台可查询和追溯所有运行信息。

一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如上述中任一项所述的一种分布式作业调度处理方法。

一种存储有计算机程序的计算机可读存储介质，所述计算机程序使计算机执行时实现如上述中任一项所述的一种分布式作业调度处理方法。

本发明具有如下有益效果：

本发明提供的一种分布式作业调度处理方法，调度部分与执行部分分离，业务系统只需要开发具体任务，将调度交给调度器即可完成可靠性高的作业调度功能，调度器通过选举产生主调度器和从调度器，主调度器分配各个调度器执行的作业调度任务，多个调度器的选举机制保证了调度器的可靠性，多个执行器的冗余部署保证了执行器的可靠性，所有作业的调度与执行信息都放到消息中间件暂存，通过日志处理器对运行信息进行持久化以及分析，对异常信息进行预警，管理平台可以统一管理调度器和执行器，并可以对运行信息进行查询和追溯，有效解决了传统调度器存在的与业务耦合、重复开发、难以管理、可靠性差的问题。

附图说明

图1是本发明实施例实现一种分布式作业调度处理方法流程图。

具体实施方式

下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在介绍本发明技术方案之前，示例性的介绍一种本发明技术方案可能适用的场景。

示例性的：作业调度是一种比较常见的软件功能，往往用于定时任务或者间歇性执行的任务，传统的定时任务软件是属于业务系统的一部分，往往由每个业务系统自行开发作业调度功能，存在几个弊端，一是作业调度功能和业务功能耦合在一起，业务系统的运维可能影响作业调度功能的执行；二是每个作业调度需要自行开发，比如并发控制、分片处理、作业监控、任务启停这些功能，容易浪费资源投入，功能质量也不如统一开发的完善；三是作业任务分散在每个业务系统中，给系统运维管理造成很大的困难；四是有些业务系统为了避免并发执行带来的问题，往往采用单点任务调度，这会对软件可靠性带来很大的影响，如果这个单点任务调度由于某种原因停止，则后续定时任务将无法执行，这将对业务运营带来不可估量的损失。

由此可见，传统调度器存在与业务耦合、重复开发、难以管理、可靠性差的问题。

实施例1

如图1所示，一种分布式作业调度处理方法，包括注册中心、调度器、执行器、日志处理器和管理平台；

S100、启动所述执行器和所述调度器并将节点信息注册到所述注册中心，将注册信息保存到数据库，在所述注册中心订阅执行器信息，通过集群选举决定主调度器和从调度器，对所述主调度器进行并发检测，通过所述并发检测后根据路由策略选择相应的执行器，进行分片并行执行；

S110、将所述调度器和所述执行器的运行信息保存到消息中间件，根据所述消息中间件获取运行数据并保存到数据库，所述日志处理器发现异常运行信息则进行预警；

S120、读取数据库中节点注册信息并由所述管理平台进行管理，将数据发送给所述注册中心对所述调度器和所述执行器进行启停控制。

根据实施例1可知，本发明的调度部分与执行部分分离，业务系统只需要开发具体任务，将调度交给调度器即可完成可靠性高的作业调度功能，多个调度器的选举机制保证了调度器的可靠性，多个执行器的冗余部署保证了执行器的可靠性，所有作业的调度与执行信息都放到消息中间件暂存，通过日志处理器对运行信息进行持久化以及分析，对异常信息进行预警，管理平台可以统一管理调度器和执行器，并可以对运行信息进行查询和追溯，有效解决了传统调度器存在的与业务耦合、重复开发、难以管理、可靠性差的问题。

实施例2

一种分布式作业调度处理方法，包括注册中心、调度器、执行器、日志处理器和管理平台；

启动所述执行器和所述调度器并将节点信息注册到所述注册中心，将注册信息保存到数据库，在所述注册中心订阅执行器信息，通过集群选举决定主调度器和从调度器，对所述主调度器进行并发检测，通过所述并发检测后根据路由策略选择相应的执行器，进行分片并行执行；

将所述调度器和所述执行器的运行信息保存到消息中间件，根据所述消息中间件获取运行数据并保存到数据库，所述日志处理器发现异常运行信息则进行预警；

读取数据库中节点注册信息并由所述管理平台进行管理，将数据发送给所述注册中心对所述调度器和所述执行器进行启停控制。

所述调度器和所述执行器之间采用异步通讯，并且调度信息保存在消息中间件中，所述执行器接受所述调度器的调度通知，对所述调度器制定的作业进行执行并在执行过程中记录相应的执行信息，将执行信息保存到消息中间件中。

示例性的，调度器与执行器分离，并且通过注册中心，调度器能够主动发现执行器，调度器通过执行器携带的作业信息，自动安排作业调度。

调度器对执行器的异步通讯机制，能够避免任务执行过程中长时间占据调度器和执行器之间的通讯连接，从而可以大大提升通讯的效率，使得一个调度器可以调用更多数量的作业。

实施例3

一种分布式作业调度处理装置，包括注册中心、调度器、执行器、日志处理器和管理平台；

启动所述执行器和所述调度器并将节点信息注册到所述注册中心，将注册信息保存到数据库，在所述注册中心订阅执行器信息，通过集群选举决定主调度器和从调度器，对所述主调度器进行并发检测，通过所述并发检测后根据路由策略选择相应的执行器，进行分片并行执行；

将所述调度器和所述执行器的运行信息保存到消息中间件，根据所述消息中间件获取运行数据并保存到数据库，所述日志处理器发现异常运行信息则进行预警；

读取数据库中节点注册信息并由所述管理平台进行管理，将数据发送给所述注册中心对所述调度器和所述执行器进行启停控制。

所述管理平台包括：调度器管理、应用管理、应用节点管理、任务管理、日志查询、统计报表，所述管理平台可对所述调度器调度作业过程进行人工干预，所述管理平台控制所述调度器、所述执行器和所述执行器中执行的作业。

示例性的，调度器管理是对注册中心保存的调度信息进行查询、启停、修改、删除管理；应用管理是对执行器应用进行查询、启停、修改、删除管理；应用节点管理是对执行器的物理节点进行查询、启停、修改、删除管理；任务管理是对执行器执行的作业进行查询、启停、修改、删除管理；日志查询是对调度器和执行器的调度和执行信息进行查询、查看；统计报表是对执行数据进行统计分析。

管理平台能够启用或者停止某个调度器，也可以启用或者停止某个执行器，还可以启用或者停止执行器中执行的某个作业，管理平台可以统一管理调度器和执行器，并可以对运行信息进行查询和追溯。

实施例4

一种分布式作业调度处理装置，包括注册中心、调度器、执行器、日志处理器和管理平台；

启动所述执行器和所述调度器并将节点信息注册到所述注册中心，将注册信息保存到数据库，在所述注册中心订阅执行器信息，通过集群选举决定主调度器和从调度器，对所述主调度器进行并发检测，通过所述并发检测后根据路由策略选择相应的执行器，进行分片并行执行；

将所述调度器和所述执行器的运行信息保存到消息中间件，根据所述消息中间件获取运行数据并保存到数据库，所述日志处理器发现异常运行信息则进行预警；

读取数据库中节点注册信息并由所述管理平台进行管理，将数据发送给所述注册中心对所述调度器和所述执行器进行启停控制。

所述调度器与所述执行器分离，通过所述注册中心，所述调度器发现所述执行器，所述调度器通过所述执行器携带的作业信息自动安排作业调度。

调度器从注册中心订阅注册信息将被缓存在调度器中，在运行的过程中，即使没有注册中心的存在，也能够正常的按照调度进行作业，提高作业调度的可靠性。

实施例5

一种分布式作业调度处理装置，包括注册中心、调度器、执行器、日志处理器和管理平台；

启动所述执行器和所述调度器并将节点信息注册到所述注册中心，将注册信息保存到数据库，在所述注册中心订阅执行器信息，通过集群选举决定主调度器和从调度器，对所述主调度器进行并发检测，通过所述并发检测后根据路由策略选择相应的执行器，进行分片并行执行；

将所述调度器和所述执行器的运行信息保存到消息中间件，根据所述消息中间件获取运行数据并保存到数据库，所述日志处理器发现异常运行信息则进行预警；

读取数据库中节点注册信息并由所述管理平台进行管理，将数据发送给所述注册中心对所述调度器和所述执行器进行启停控制。

所述主调度器进行并发检测，通过所述并发检测后根据路由策略选择相应的执行器，可进行分片并行执行包括：

所述主调度器分配调度任务，与所述从调度器协同完成任务，多个调度器在调度作业时采用并发控制，所述调度器通过首节点路由、节点列表循环路由、尾节点路由、高性能节点优先路由选择相应的执行器执行作业。

示例性的，调度器的并发控制是通过作业执行的状态进行控制的，作业调度开始时，先记录相应的作业名称，当作业完成后，标识作业已完成，任何在作业开始和作业完成之间对该作业的执行都被视为对同一作业的并发调用，根据具体业务要求，可以允许或者拒绝本次调用。

调度器对执行器的调度策略分为以下几种：“首节点路由”策略是指按照执行器注册的顺序，每次调用第一个注册的执行器；“尾节点路由”策略是指按照执行器注册的顺序，每次调用最后一个注册的执行器；“节点列表循环路由”策略是指按照执行器注册的顺序，依次调用下一个注册的执行器，当到达列表结尾时，又从第一个执行器开始调用；“高性能节点优先路由”策略是指按照选取调用平均执行时间最短的那个执行器。

调度器对执行器的调度分片处理是对大批量数据快速处理的一个优化，调度器将需要执行的任务数据按照关键字哈希值对执行器数据量取余的规则进行分片，每个执行器执行相等数量的数据，通过多个执行器并行处理的方式提升任务处理效率。

实施例6

一种分布式作业调度处理装置，包括注册中心、调度器、执行器、日志处理器和管理平台；

启动所述执行器和所述调度器并将节点信息注册到所述注册中心，将注册信息保存到数据库，在所述注册中心订阅执行器信息，通过集群选举决定主调度器和从调度器，对所述主调度器进行并发检测，通过所述并发检测后根据路由策略选择相应的执行器，进行分片并行执行；

将所述调度器和所述执行器的运行信息保存到消息中间件，根据所述消息中间件获取运行数据并保存到数据库，所述日志处理器发现异常运行信息则进行预警；

读取数据库中节点注册信息并由所述管理平台进行管理，将数据发送给所述注册中心对所述调度器和所述执行器进行启停控制。

所述作业调度信息和执行信息都被保存和分析，异常的运行信息会通过邮件、短信、微信方式进行预警，通过所述管理平台可查询和追溯所有运行信息。

由上述可知，所有作业的调度与执行信息都放到消息中间件暂存，通过日志处理器对运行信息进行持久化和分析，对异常信息进行预警，解决了难以管理的问题。

实施例7

一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述的一种分布式作业调度处理方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

一种存储有计算机程序的计算机可读存储介质，所述计算机程序使计算机执行时实现如上述的一种分布式作业调度处理方法。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机设备中的执行过程。

计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可包括，但不仅限于，存储器、处理器。本领域技术人员可以理解，本实施例仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。

处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgRAM503mableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(SmartMediaCard,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。

示例性的，一种分布式作业调度处理方法，包括注册中心、调度器、执行器、日志处理器和管理平台等模块；

S200、业务系统集成执行器时，需要扫描执行器所在的包，加载执行器，同时配置任务名称、定时策略、路由策略，定时策略包括指定时刻调度或者间隔多长时间调度，路由策略包括“首节点路由”、“节点列表循环路由”、“尾节点路由”、“高性能节点优先路由”策略，当业务系统启动时，执行器被扫描加载，并把执行器的信息和任务信息注册到注册中心，执行器信息包括：执行器名称、I P地址、提供调用端口号、版本、运行状态。任务信息包括：任务名称、所属执行器、路由策略、定时策略、运行状态；

S210、调度器启动后会从注册中心订阅其他调度器和执行器的信息，当其他调度器和执行器信息发生变更时，会实时推送给调度器，调度器会和其他调度器进行选举，当变为主节点时，负责为其他调度器安排调度任务，调度器会安排自己负责的调度任务并进行并发、路由、分片等处理，通过异步方式调用执行器，调度过程和结果信息会被记录到消息中间件中；

S220、执行器收到调度信息后执行相关任务并记录执行的过程和结果信息到消息中间件中；

S230、日志处理器从消息中间件中取出调度和执行的信息保存到数据库中，同时，日志处理器对日志进行分析，对异常日志进行预警；

S240、管理平台包括调度器管理、应用管理、应用节点管理、任务管理、日志查询、统计报表，管理平台可以通过应用节点管理对执行器的部署状态进行控制，当管理平台需要停用某个执行器时，通过停用按钮进行停用，状态会被保存到数据库中，同时会将状态发送到注册中心，注册中心会将停用状态推送给调度器，调度器将该执行器从有效列表中删除，不再将作业路由到该执行器，管理平台可以通过任务管理对作业的部署状态进行控制，当管理平台需要停用某个作业时，通过停用按钮进行停用，状态会被保存到数据库中，同时会将状态发送到注册中心，注册中心会将停用状态推送给调度器，调度器将该作业从有效列表中删除，不再对该作业进行调度；

S250、注册中心采用长连接与调度器和执行器进行相连，调度器与执行器注册的信息保存在注册器中，管理平台对调度器与执行器的启停控制状态也保存在注册器中，当调度器或者执行器节点停止运行时，会自动与注册中心断开连接，注册中心收到断开连接事件通知时，会清除相应调度器或者执行器的状态信息，并通知连接着的调度器，同时注册中心还会将相关的注册信息持久化到数据库中。

由上述可知，本发明将传统的作业调度拆分成可以独立部署在不同物理节点上的调度器和执行器，并且调度器和执行器能够自动注册到注册中心，从而形成一个有机的整体。多个独立部署的调度器可以形成调度器集群，通过选举机制，产生主调度器和分调度器，主调度器负责安排任务分工，分调度器参与调度任务，多个独立部署的执行器可以形成执行器集群，通过这种集群冗余部署，消除调度的单点故障，提高调度可靠性，同时装置还通过日志处理器和管理平台做到对任务调度的可视化管理和监控。

以上所述仅为本发明的具体实施例，但本发明的技术特征并不局限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围之中。

Claims (8)

1.一种分布式作业调度处理方法，其特征在于，包括注册中心、调度器、执行器、日志处理器和管理平台；

启动所述执行器和所述调度器并将节点信息注册到所述注册中心，将注册信息保存到数据库，在所述注册中心订阅执行器信息，通过集群选举决定主调度器和从调度器，对所述主调度器进行并发检测，通过所述并发检测后根据路由策略选择相应的执行器，进行分片并行执行；

将所述调度器和所述执行器的运行信息保存到消息中间件，根据所述消息中间件获取运行数据并保存到数据库，所述日志处理器发现异常运行信息则进行预警；

读取数据库中节点注册信息并由所述管理平台进行管理，将数据发送给所述注册中心对所述调度器和所述执行器进行启停控制。

2.根据权利要求1所述的一种分布式作业调度处理方法，其特征在于，所述调度器和所述执行器之间采用异步通讯，并且调度信息保存在消息中间件中，所述执行器接受所述调度器的调度通知，对所述调度器制定的作业进行执行并在执行过程中记录相应的执行信息，将执行信息保存到消息中间件中。

3.根据权利要求1所述的一种分布式作业调度处理方法，其特征在于，所述管理平台包括：调度器管理、应用管理、应用节点管理、任务管理、日志查询、统计报表，所述管理平台可对所述调度器调度作业过程进行人工干预，所述管理平台控制所述调度器、所述执行器和所述执行器中执行的作业。

4.根据权利要求1所述的一种分布式作业调度处理方法，其特征在于，所述调度器与所述执行器分离，通过所述注册中心，所述调度器发现所述执行器，所述调度器通过所述执行器携带的作业信息自动安排作业调度。

5.根据权利要求1所述的一种分布式作业调度处理方法，其特征在于，所述主调度器进行并发检测，通过所述并发检测后根据路由策略选择相应的执行器，可进行分片并行执行包括：

所述主调度器分配调度任务，与所述从调度器协同完成任务，多个调度器在调度作业时采用并发控制，所述调度器通过首节点路由、节点列表循环路由、尾节点路由、高性能节点优先路由选择相应的执行器执行作业。

6.根据权利要求1所述的一种分布式作业调度处理方法，其特征在于，所述作业调度信息和执行信息都被保存和分析，异常的运行信息会通过邮件、短信、微信方式进行预警，通过所述管理平台可查询和追溯所有运行信息。

7.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1～6中任一项所述的一种分布式作业调度处理方法。

8.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序使计算机执行时实现如权利要求1～6中任一项所述的一种分布式作业调度处理方法。

Images