CN110928662B - 一种面向微服务架构的分布式定时任务调度器 - Google Patents

Abstract

本发明提供一种面向微服务架构的分布式定时任务调度器，其特征在于，包括：任务注册中心模块、调度控制模块、分配器和至少一个微服务模块；通过在所述任务注册中心模块创建顶级目录，在所述顶级目录下创建与各个微服务对应的微服务目录，与所述微服务对应的微服务模块的信息注册到所述微服务目录下，并在所述微服务目录下创建与所述微服务对应的调度任务以及调度任务的调度运行策略，基于所述调度运行策略调取并下发调度实现，实现了微服务的统一管理。

Description

一种面向微服务架构的分布式定时任务调度器

技术领域

本发明涉及数据处理技术领域，具体涉及一种面向微服务架构的分布式定时任务调度器。

背景技术

随着信息化建设的不断发展，政府和企业的信息化应用系统架构逐步由传统的单体架构向微服务架构转变，为了降低信息系统之间的耦合度、提升信息系统的性能而采用的异步处理机制、实现跨系统之间的信息交互等关键场景均通过定时调度器处理，由定时调度器按照预先设置的调度规则在后台自动完成相关业务逻辑处理。而业界现有的定时调度器主要面向传统的单体架构，无法完全满足于微服务架构。

参见图1，现有的分布式定时任务调度器由调度控制台、调度任务注册中心和调度任务执行器三大部分组成，三大部分相互协调完成定时调度任务的配置及执行。

调度控制台：为信息系统提供定时调度任务配置及操作、任务调度策略配置及操作、调度任务服务器操作、调度任务执行线程相关信息的运行监控和相关配置信息的备份和还原等功能。

调度任务注册中心：为信息系统分布式定时调度任务相关注册配置、运行和监控数据提供统一的存储。

调度任务执行器：根据信息系统调度任务注册中心的调度任务配置信息和动态注册的有效运行服务器信息为调度任务动态分配具体执行的宿主服务器，在宿主服务器中完成相关调度任务的业务逻辑处理。

现有分布式定时任务调度器的处理流程是：开发完成定时任务需要处理问题的业务逻辑实现，并与调度执行器一并打包部署到服务器；在调度控制台注册定时调度任务和执行策略到调度任务注册中心；调度执行器实时从调度任务注册中心获取调度任务和调度策略，根据信息系统运行时自动注册到调度任务注册中心的有效服务器进行调度任务执行的宿主服务器分配，在分配的宿主服务器中完成相关调度任务执行。

现有的定时调度器面向微服务架构存在的以下问题：

在微服务架构模式下大量微服务不能通过统一控制台，或通过统一控制台但需要不断切换才能实现每个微服务下的定时任务配置。

发明内容

有鉴于此，本发明实施例提供一种面向微服务架构的分布式定时任务调度器，以实现各个微服务的统一控制。

为实现上述目的，本发明实施例提供如下技术方案：

一种面向微服务架构的分布式定时任务调度器，包括：

任务注册中心模块、调度控制模块、分配器和至少一个微服务模块；

所述任务注册中心模块内存储有顶级目录，所述顶级目录下包含有与各个微服务模块对应的微服务目录，每个微服务模块对应一类微服务，所述微服务目录内存储有所述微服务对应的调度任务的调度信息，以及所述微服务目录对应的微服务模块的模块信息；还用于基于所述微服务目录下的调度运行策略调取由所述微服务目录下的调度任务中确定调度事件，并将所述调度事件推送至所述微服务模块；

所述调度控制模块，用于定义各个所述微服务的标识信息，定义各个调度任务与其所属的微服务之间的映射关系，并将各个所述微服务与其对应的调度任务之间的映射关系存储至与所述顶级目录下对应的微服务目录下，所述调度任务至少包括所述调度任务的标识信息以及所述调度任务所包含的调度信息；还用于建立调度运行策略与所述微服务之间的映射关系，并基于该映射关系将将各个所述调度任务对应的调度运行策略存储至与所述微服务对应的微服务目录下；

所述分配器用于获取所述任务注册中心模块推送的调度事件，并基于数据均衡原则，将所述调度事件推送给所述调度事件对应的所述微服务模块，所述微服务模块用于处理获取到的调度事件，所述分配器还用于将所述微服务模块注册到所述顶级目录中对应的微服务目录下。

可选的，上述面向微服务架构的分布式定时任务调度器中，所述分配器为一个微服务模块。

可选的，上述面向微服务架构的分布式定时任务调度器中，所述分配器在获取到所述调度事件时，解析所述调度事件，得到用于执行所述调度事件的微服务模块，以及所述调度事件所包含的所有任务子项，判断是否存在用于执行所述调度事件的微服务模块，如果存在，基于均衡原则，将所述任务子项下发至用于执行所述调度事件的微服务模块。

可选的，上述面向微服务架构的分布式定时任务调度器中，所述分配器还用于：

监测各个微服务模块的启动状态，当检测到有微服务模块启动时，将所述微服务模块注册到所述顶级目录中。

可选的，上述面向微服务架构的分布式定时任务调度器中，所述微服务模块包括：服务器和执行器；

监测各个微服务模块的启动状态，当检测到有微服务模块启动时，将所述微服务模块注册到所述顶级目录中包括：

当检测到所述微服务模块的执行器启动时，所述执行器获取其对应的服务器的服务IP和端口信息，基于所述执行器所属的微服务模块在所述顶级目录下创建与所述微服务模块相匹配的微服务目录，所述微服务目录至少包括所述执行器获取其对应的服务器的服务IP和端口信息。

可选的，上述面向微服务架构的分布式定时任务调度器中，所述调度控制模块为可视化人机交互平台。

基于上述技术方案，本发明实施例提供的上述方案中，通过在所述任务注册中心模块创建顶级目录，在所述顶级目录下创建与各个微服务对应的微服务目录，与所述微服务对应的微服务模块的信息注册到所述微服务目录下，并在所述微服务目录下创建与所述微服务对应的调度任务以及调度任务的调度运行策略，基于所述调度运行策略调取并下发调度时间，实现了微服务的统一管理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例公开的一种面向微服务架构的分布式定时任务调度器的结构示意图；

图2为本申请另一实施例公开的一种面向微服务架构的分布式定时任务调度器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

微服务：是指以服务方式实现的不带界面的软件包，具有部署独立、通信轻量的特点，支撑单一业务逻辑的功能实现。

任务注册中心模块：是指为调度任务、调度策略、调度服务器等提供配置信息存储的中心。

调度控制模块：是指为用户提供可视化的操作台，实现调度任务、调度策略、微服务及其之间相互关联关系的配置。

参见图1，本申请公开了一种面向微服务架构的分布式定时任务调度器，所述定时任务调度器主要由任务注册中心模块100、调度控制模块200、分配器300和至少一个微服务模块400构成，其中，所述分配器300可以为单独的分配器300，也可以是具有分配器300功能的任意一个微服务模块400；

本申请公开的技术方案中，所述任务注册中心模块100内存储有顶级目录，所述顶级目录下包含有与各个微服务模块400对应的微服务目录，即，每个微服务模块400均对应有一个微服务目录，每个微服务模块400对应一个微服务，这些微服务目录存储在所述顶级目录下，作为次级目录，具体的，在本方案中，所述微服务目录内存储有所述微服务模块400对应微服务的调度任务的调度信息，以及这些调度任务的调度运行策略，所述任务注册中心还用于自动执行这些调度运行策略，基于所述调度运行策略调取由所述微服务目录下的调度任务中确定调度事件，并将所述调度事件推送至所述微服务模块400，在本方案中，所述调度任务可以指的是定时调度任务；

在本方案中，所述注册中心模块内存储有顶级目录，在所述顶级目录下按照注册的微服务实现二级分类管理，每个微服务下的调度任务、调度策略信息归属到任务注册中心中与所述微服务对应的微服务目录下进行管理；当微服务模块400启动时，自动将微服务模块400所部署的服务器信息(IP信息和端口信息)注册到所述任务注册中心对应的微服务目录下；负责调度任务分配的分配器300根据定义的任务子项、可执行当前调动任务的有效运行服务器数量，平均将调度任务子项分配到微服务模块中的每台微服务宿主服务器上；每台被分配执行任务子项的宿主服务器根据调度任务和调度策略信息创建线程完成调度任务的实际执行。

所述调度控制模块200，用于定义各个所述微服务的标识信息，定义各个调度任务与其所属的微服务之间的映射关系，并将各个所述微服务与其对应的调度任务之间的映射关系存储至与所述微服务对应的微服务目录下，所述调度任务至少包括所述调度任务的标识信息以及所述调度任务所包含的调度信息；还用于建立调度运行策略与所述微服务之间的映射关系，并基于该映射关系将将各个所述调度任务对应的调度运行策略存储至与所述微服务对应的微服务目录下；

所述分配器300用于获取所述任务注册中心模块100推送的调度事件，并基于数据均衡原则，将所述调度事件推送给所述微服务模块400，所述微服务模块400用于处理获取到的调度事件，所述分配器300还用于将所述微服务模块400注册到所述顶级目录中。

在本方案中，通过所述调度控制模块200建立各个微服务模块400与其对应的调度任务之间的映射关系，将所述微服务模块400与其对应的调度任务之间的映射关系以及与所述调度任务所适配的调度运行测量存储在所述任务注册中心模块100的顶级目录下，作为次级目录存在，每个次级目录均对应一组微服务模块400，所述顶级目录下可以设置多个次级目录，所述任务注册中心模块100基于所述调度运行策略调取由所述微服务目录下的调度任务中确定调度事件，将所述调度事件下发至与该调度事件对应的微服务模块400中。

由此可见，本申请提供的面向微服务架构的分布式定时任务调度器，在微服务架构模式下面对大量的微服务和相关联的调度任务时，可通过所述调度控制模块200配置调度任务与用于执行所述调度任务的为服务模块之间的映射关系，并将所述映射关系以及所述调度任务的调度运行策略存储在所述任务注册中心模块100的顶级目录之下，大大简化开发、测试、部署阶段开发人员、测试人员和运维人员的配置工作。

并且通过顶级目录和微服务目录相结合的数据模型归类管理方式，实现微服务、定时任务清晰的所属归类关系和层次化结构存储。

进一步的，上述方案，还可以全面支撑微服务架构模式下的调度任务分片执行，即，通过微服务和调度任务清晰的所属归类关系和层次化存储，使调度执行器能够高效智能的识别出调度任务业务逻辑实现所部署的微服务模块400，并根据调度任务重定义的子任务项，平均分配到与所述调度任务相匹配的、微服务部署的宿主微服务模块400中，有效实现在分布式架构下调度任务的分片执行，大大提升业务处理的效率。

进一步的，在本申请上述实施例公开的技术方案中，可以将上述多个微服务模块400中的一个微服务模块400座位所述分配器300，该分配器300可以是依据预设原则在多个所述微服务模块400中选择的，也可以是用户指定的，在依据预设原则由所述多个所述微服务模块400中选择分配器300时，可以基于进程数量最低的原则，即，选择各个所述微服务模块400中进程数量最低的微服务模块400作为所述分配器300。

进一步的，上述方案中，所述分配器300在获取到所述调度事件时，解析所述调度事件，得到用于执行所述调度事件的微服务模块400，以及所述调度事件所包含的所有任务子项，判断是否存在用于执行所述调度事件的微服务模块400，如果存在，基于均衡原则，将所述任务子项下发至用于执行所述调度事件的微服务模块400，此时，用于执行所述调度事件的微服务模块400的数量可以为多个，在本方案中，所述分配器300除了可以作为分配器300来使用，也可以同时作为微服务模块400来使用，即，其本身也可以是用于执行所述调度事件的微服务模块400。

进一步的，在本申请上述实施例公开的技术方案中，所述分配器300还用于实现所述微服务模块400将所述顶级目录中的注册，此时，所述分配器300还用于监测各个微服务模块400的启动状态，当检测到有微服务模块400启动时，将所述微服务模块400注册到所述顶级目录中，其中，在本方案中，所述微服务模块400包括：多个服务器和一个执行器；所述微服务模块400启动可以指的是执行器启动，即，上述方案中，此时，所述分配器300具体用于：当检测到所述微服务模块400的执行器启动时，所述执行器获取其对应的各个已启动的服务器的服务IP和端口信息，基于所述执行器所属的微服务模块400在所述顶级目录下创建与所述微服务模块400相匹配的微服务目录，所述微服务目录至少包括所述执行器获取其对应的服务器的服务IP和端口信息。

为了描述的方便，描述以上系统时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种面向微服务架构的分布式定时任务调度器，其特征在于，包括：

任务注册中心模块、调度控制模块、分配器和至少一个微服务模块；

所述任务注册中心模块内存储有顶级目录，所述顶级目录下包含有与各个微服务模块对应的微服务目录，每个微服务模块对应一类微服务，所述微服务目录内存储有所述微服务对应的调度任务的调度信息，以及所述微服务目录对应的微服务模块的模块信息；还用于基于所述微服务目录下的调度运行策略调取由所述微服务目录下的调度任务中确定调度事件，并将所述调度事件推送至所述微服务模块；

所述调度控制模块，用于定义各个所述微服务的标识信息，定义各个调度任务与其所属的微服务之间的映射关系，并将各个所述微服务与其对应的调度任务之间的映射关系存储至与所述顶级目录下对应的微服务目录下，所述调度任务至少包括所述调度任务的标识信息以及所述调度任务所包含的调度信息；还用于建立调度运行策略与所述微服务之间的映射关系，并基于该映射关系将将各个所述调度任务对应的调度运行策略存储至与所述微服务对应的微服务目录下；

所述分配器用于获取所述任务注册中心模块推送的调度事件，并基于数据均衡原则，将所述调度事件推送给所述调度事件对应的所述微服务模块，所述微服务模块用于处理获取到的调度事件，所述分配器还用于将所述微服务模块注册到所述顶级目录中对应的微服务目录下。

2.根据权利要求1所述的面向微服务架构的分布式定时任务调度器，其特征在于，所述分配器为一个微服务模块。

3.根据权利要求1所述的面向微服务架构的分布式定时任务调度器，其特征在于，所述分配器在获取到所述调度事件时，解析所述调度事件，得到用于执行所述调度事件的微服务模块，以及所述调度事件所包含的所有任务子项，判断是否存在用于执行所述调度事件的微服务模块，如果存在，基于均衡原则，将所述任务子项下发至用于执行所述调度事件的微服务模块。

4.根据权利要求1所述的面向微服务架构的分布式定时任务调度器，其特征在于，所述分配器还用于：

监测各个微服务模块的启动状态，当检测到有微服务模块启动时，将所述微服务模块注册到所述顶级目录中。

5.根据权利要求3所述的面向微服务架构的分布式定时任务调度器，其特征在于，所述微服务模块包括：服务器和执行器；

监测各个微服务模块的启动状态，当检测到有微服务模块启动时，将所述微服务模块注册到所述顶级目录中包括：

当检测到所述微服务模块的执行器启动时，所述执行器获取其对应的服务器的服务IP和端口信息，基于所述执行器所属的微服务模块在所述顶级目录下创建与所述微服务模块相匹配的微服务目录，所述微服务目录至少包括所述执行器获取其对应的服务器的服务IP和端口信息。

6.根据权利要求1所述的面向微服务架构的分布式定时任务调度器，其特征在于，所述调度控制模块为可视化人机交互平台。

Images