CN110109738A - 定时任务的执行方法及装置 - Google Patents

Abstract

本申请公开了一种定时任务的执行方法及装置。该方法包括获取在WEB任务管理后台中的任务，并在任务中心启动用于执行定时任务的预设服务进程；通过所述用于执行定时任务的预设服务进程，将所述任务中心中满足执行条件的多个所述任务并发送至任务代理服务器；通过所述任务代理服务器返回任务执行结果至所述任务中心。本申请解决了定时任务处理效果不佳的技术问题。通过本申请提高了定时任务精度同时实现了集中化任务管理。

Description

定时任务的执行方法及装置

技术领域

本申请涉及操作系统领域，具体而言，涉及一种定时任务的执行方法及装置。

背景技术

定时任务，通常需要依赖于操作系统中的定时任务功能，任务执行时间支持到分钟级别。

发明人发现，在操作系统中定制任务缺乏管理，还容易对数据库服务器造成负载。

针对相关技术中在操作系统中的定时任务处理效果不佳的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种定时任务的执行方法及装置，以解决在操作系统中的定时任务处理效果不佳的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种定时任务的执行方法。

根据本申请的定时任务的执行方法包括：获取在WEB任务管理后台中的任务，并在任务中心启动用于执行定时任务的预设服务进程；通过所述用于执行定时任务的预设服务进程，将所述任务中心中满足执行条件的多个所述任务并发送至任务代理服务器；通过所述任务代理服务器返回任务执行结果至所述任务中心。

进一步地，获取在WEB任务管理后台中的任务，并在任务中心启动用于执行定时任务的预设服务进程时包括：检测在所述WEB端任务管理后台中是否有对任务的预设操作发生；如果有，则通过RPC调用方式通知在所述任务中心更新任务。

进一步地，通过所述用于执行定时任务的预设服务进程，将所述任务中心中满足执行条件的多个所述任务并发送至任务代理服务器包括：在通过所述用于执行定时任务的预设服务进程中启动独立的进程来执行定时器逻辑，检查所述任务中心符合执行条件的任务集，并将所述任务集中的任务通过长连接发送给每个任务对应的代理服务器。

进一步地，通过所述任务代理服务器返回任务执行结果至所述任务中心包括：在每个服务器上运行至少一个代理服务，用于与所述任务中心通过保持长连接进行通信。

进一步地，通过所述任务代理服务器返回任务执行结果至所述任务中心时还包括：所述任务代理服务器在本地开启至少一个进程用于执行指定的任务命令，并将任务执行结果通过RPC调用方式发送给所述任务中心。

进一步地，通过所述任务代理服务器返回任务执行结果至所述任务中心之后，还包括：在所述任务中心会记录每一条任务的执行日志到目标数据库。

为了实现上述目的，根据本申请的另一方面，提供了一种定时任务的装置。

根据本申请的定时任务的装置包括：获取模块，用于获取在WEB任务管理后台中的任务，并在任务中心启动用于执行定时任务的预设服务进程；任务装载和分发模块，用于通过所述用于执行定时任务的预设服务进程，将所述任务中心中满足执行条件的多个所述任务并发送至任务代理服务器；任务执行模块，用于通过所述任务代理服务器返回任务执行结果至所述任务中心。

进一步地，所述获取模块包括：检测单元，用于检测在所述WEB端任务管理后台中是否有对任务的预设操作发生；更新单元，用于如果有对任务的预设操作发生时，则通过RPC调用方式通知在所述任务中心更新任务。

进一步地，所述任务装载和分发模块包括：任务分发处理单元，用于在通过所述用于执行定时任务的预设服务进程中启动独立的进程来执行定时器逻辑，检查所述任务中心符合执行条件的任务集，并将所述任务集中的任务通过长连接发送给每个任务对应的代理服务器。

进一步地，所述任务执行模块包括：通信单元，用于在每个服务器上运行至少一个代理服务，用于与所述任务中心通过保持长连接进行通信。

进一步地，所述任务执行模块包括：任务执行单元，用于所述任务代理服务器在本地开启至少一个进程用于执行指定的任务命令，并将任务执行结果通过RPC调用方式发送给所述任务中心。

在本申请实施例中定时任务的执行方法及装置，采用获取在WEB任务管理后台中的任务，并在任务中心启动用于执行定时任务的预设服务进程的方式，通过所述用于执行定时任务的预设服务进程，将所述任务中心中满足执行条件的多个所述任务并发送至任务代理服务器，达到了通过所述任务代理服务器返回任务执行结果至所述任务中心的目的，从而实现了高精度定时任务和集中化任务管理的技术效果，进而解决了在操作系统中的定时任务处理效果不佳的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请第一实施例中的定时任务的执行方法流程示意图；

图2是根据本申请第二实施例中的定时任务的执行方法流程示意图；

图3是根据本申请第三实施例中的定时任务的执行方法流程示意图；

图4是根据本申请第四实施例中的定时任务的执行方法流程示意图；

图5是根据本申请第五实施例中的定时任务的执行方法流程示意图；

图6是根据本申请第六实施例中的定时任务的执行方法流程示意图；

图7是根据本申请第一实施例中的定时任务的执行装置结构示意图；

图8是根据本申请第二实施例中的定时任务的执行装置结构示意图；

图9是根据本申请第三实施例中的定时任务的执行装置结构示意图；

图10是根据本申请第四实施例中的定时任务的执行装置结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

本申请实施例中的一种定时任务的执行方法，具有如下的优点：1)实现集中化管理，可以集中管理全业务线的定时任务，杜绝僵尸任务无人认领的情况方式。2)使用简单，任务的创建、编辑、查询等功能都在WAB界面中实现，不需要登录特定的服务器上面去操作某个任务。3)高精度，一般的linux的crontab服务只支持分钟级别的任务设置，本发明的任务执行时间的精度可以精确到秒级。4)更智能，通过任务并发控制、任务日志、任务告警等机制可以保证任务系统的智能化运营，保证任务运行顺畅。5)更高效，任务中心每个worker进程只服务固定的任务代理，可以分担任务处理的压力；使用共享内存或者redis等缓存加载任务列表，可以高效地读取任务信息、更新任务状态；使用mongodb或者时序数据库来存储任务日志，可以提高任务日志的查询效率。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，该方法包括如下的步骤S102至步骤S106：

步骤S102，获取在WEB任务管理后台中的任务，并在任务中心启动用于执行定时任务的预设服务进程；

WEB任务管理后台用于任务的生成、配置、下发和监控等功能。在任务中心启动后可以一次性将所有任务从WEB任务管理后台中读取出来。

在任务中心启动一预设服务进程动用于执行定时任务。

具体地，所述任务中心在启动的时候，会启动一个独立的进程来执行定时器逻辑，定时器每秒钟触发一次。

步骤S104，通过所述用于执行定时任务的预设服务进程，将所述任务中心中满足执行条件的多个所述任务并发送至任务代理服务器；

通过所述用于执行定时任务的预设服务进程，在所述任务中心中检查是否有满足执行条件的任务，并将多个所述任务发送至任务代理服务器。

具体地，检查在所述任务中心的符合执行条件的任务集合，并将该些任务通过长连接发送给任务对应的代理机器。

步骤S106，通过所述任务代理服务器返回任务执行结果至所述任务中心。

具体地，在所述任务代理接收到上述任务和服务中心中的任务命令后，会返回任务执行中的状态给任务中心，这样可以便于所述任务中心及时更新缓存中的任务状态。

从以上的描述中，可以看出，本申请实现了如下技术效果：

在本申请实施例中，采用获取在WEB任务管理后台中的任务，并在任务中心启动用于执行定时任务的预设服务进程的方式，通过所述用于执行定时任务的预设服务进程，将所述任务中心中满足执行条件的多个所述任务并发送至任务代理服务器，达到了通过所述任务代理服务器返回任务执行结果至所述任务中心的目的，从而实现了高精度定时任务和集中化任务管理的技术效果，进而解决了在操作系统中的定时任务处理效果不佳的技术问题。

根据本申请实施例，作为本实施例中的优选，如图2所示，获取在WEB任务管理后台中的任务，并在任务中心启动用于执行定时任务的预设服务进程时包括：

步骤S202，检测在所述WEB端任务管理后台中是否有对任务的预设操作发生；

通过检测在所述WEB端任务管理后台中是否有对任务的预设操作发生，可以确定是否需要在所述任务中心更新任务。

步骤S204，如果有，则通过RPC调用方式通知在所述任务中心更新任务。

具体地，如果在所述WEB任务管理后台中有新增任务、删除任务或更改任务状态等操作的时候，通过RPC调用通知服务中心更新缓存系统中的任务信息。

根据本申请实施例，作为本实施例中的优选，如图3所示，通过所述用于执行定时任务的预设服务进程，将所述任务中心中满足执行条件的多个所述任务并发送至任务代理服务器包括：

步骤S302，在通过所述用于执行定时任务的预设服务进程中启动独立的进程来执行定时器逻辑，检查所述任务中心符合执行条件的任务集，并将所述任务集中的任务通过长连接发送给每个任务对应的代理服务器。

具体地，基于定时器的秒级任务分发机制，所述任务中心的在启动的时候，会启动一个独立的进程来执行定时器逻辑，定时器每秒钟触发一次，所述任务中心符合执行条件的任务集，并将该些任务通过长连接发送给任务对应的所述代理服务器。

根据本申请实施例，作为本实施例中的优选，如图4所示，通过所述任务代理服务器返回任务执行结果至所述任务中心包括：

步骤S402，在每个服务器上运行至少一个代理服务，用于与所述任务中心通过保持长连接进行通信。

具体地，所述任务中心是一个常驻进程服务，服务可采用Reactor模型，每个worker进程只服务固定的任务代理。

具体地，所述常驻进程服务需要具备定时器功能，可以使用swoole server后者java quartz等编程语言和工具来实现。所述任务中心启主要负责任务的加载、任务的分发和任务执行结果收集、任务告警、RPC服务等功能。

需要注意的是，在本申请中并不对所述任务中心所采用的架构模型进行具体限定，只要能够符合常驻进程服务的条件即可。

需要注意的是，在本申请中并不对编程语言和工具进行限定，只要能具备定时器功能即可。

具体地，对于每一台服务器都可以作为任务代理机器，在所述任务代理机器上运行一个代理服务，负责与所述任务中心进行通信。所述代理服务可以设置可被访问的IP白名单或者其他鉴权方式，目的在于只允许任务中心对本代理服务发起连接。所述任务代理和所述任务中心保持长连接，并设置心跳检测机制，一旦心跳检测任务代理机器不在线，在所述任务中心将自动从任务列表中摘除相关的任务，并提供告警信息，通知相关对接人。

根据本申请实施例，作为本实施例中的优选，如图5所示，通过所述任务代理服务器返回任务执行结果至所述任务中心时还包括：

步骤S502，所述任务代理服务器在本地开启至少一个进程用于执行指定的任务命令，并将任务执行结果通过RPC调用方式发送给所述任务中心。

具体地，通过所述任务代理服务器返回任务执行结果至所述任务中心的同时，在任务代理服务器本地开启一个或者多个进程去执行指定的任务命令，等任务执行完毕后，将执行的结果通过RPC调用方式发送给任务中心。

其中，执行结果包括正常的结果和异常的结果，所以执行的时候需要捕获执行过程的异常，防止任务进程因为意外退出没有上报执行结果信息的情况发生。

其中，在任务代理服务器本地开启一个或者多个进程去执行指定的任务命令之前可以根据任务配置的并发控制信息，控制任务并发执行的最大进程数量。

根据本申请实施例，作为本实施例中的优选，如图6所示，通过所述任务代理服务器返回任务执行结果至所述任务中心之后，还包括：

步骤S602，在所述任务中心会记录每一条任务的执行日志到目标数据库。

具体地，上述步骤会任务监控机制，在所述任务中心会记录每一条任务的执行日志到mongoDB或者时序数据库DB中。需要说明的是，在日志内容包括任务开始执行、进入执行队列、分发过程、代理执行结果等数据信息。一旦发现任务执行异常，将使用社交工具比如微信、钉钉、短信等方式通知给相应的任务对接人。

优选地，本申请还提供了基于服务高可用运行机制，为保证任务中心和任务代理稳定运行，可以使用supervisor或者pm2等进程管理工具来守护上述服务进程。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述定时任务的执行方法的装置，如图7所示，该装置包括：获取模块10，用于获取在WEB任务管理后台中的任务，并在任务中心启动用于执行定时任务的预设服务进程；任务装载和分发模块20，用于通过所述用于执行定时任务的预设服务进程，将所述任务中心中满足执行条件的多个所述任务并发送至任务代理服务器；任务执行模块30，用于通过所述任务代理服务器返回任务执行结果至所述任务中心。

具体地，用于实施上述定时任务的执行方法的装置至少包括：任务中心、任务代理和任务管理后台。任务中心负责任务的接收、分发和执行反馈处理；任务代理负责任务的执行和反馈；任务管理后台负责任务的生成、配置、下发和监控等功能。该系统涉及到的各种服务最好部署在同一个局域网里面，一方面可以提高通信效率，另一方面可以提高系统的整体安全性。

本申请实施例的获取模块10中WEB任务管理后台用于任务的生成、配置、下发和监控等功能。在任务中心启动后可以一次性将所有任务从WEB任务管理后台中读取出来。

在任务中心启动一预设服务进程动用于执行定时任务。

具体地，所述任务中心在启动的时候，会启动一个独立的进程来执行定时器逻辑，定时器每秒钟触发一次。

本申请实施例的任务装载和分发模块20中通过所述用于执行定时任务的预设服务进程，在所述任务中心中检查是否有满足执行条件的任务，并将多个所述任务发送至任务代理服务器。

具体地，检查在所述任务中心的符合执行条件的任务集合，并将该些任务通过长连接发送给任务对应的代理机器。

本申请实施例的任务执行模块30中具体地，在所述任务代理接收到上述任务和服务中心中的任务命令后，会返回任务执行中的状态给任务中心，这样可以便于所述任务中心及时更新缓存中的任务状态。

根据本申请实施例，作为本实施例中的优选，如图8所示，所述获取模块包括：检测单元101，用于检测在所述WEB端任务管理后台中是否有对任务的预设操作发生；更新单元102，用于如果有对任务的预设操作发生时，则通过RPC调用方式通知在所述任务中心更新任务。

本申请实施例的检测单元101中通过检测在所述WEB端任务管理后台中是否有对任务的预设操作发生，可以确定是否需要在所述任务中心更新任务。

本申请实施例的更新单元102中具体地，如果在所述WEB任务管理后台中有新增任务、删除任务或更改任务状态等操作的时候，通过RPC调用通知服务中心更新缓存系统中的任务信息。

根据本申请实施例，作为本实施例中的优选，如图9所示，所述任务装载和分发模块20包括：任务分发处理单元201，用于在通过所述用于执行定时任务的预设服务进程中启动独立的进程来执行定时器逻辑，检查所述任务中心符合执行条件的任务集，并将所述任务集中的任务通过长连接发送给每个任务对应的代理服务器。

本申请实施例的任务分发处理单元201中具体地，基于定时器的秒级任务分发机制，所述任务中心的在启动的时候，会启动一个独立的进程来执行定时器逻辑，定时器每秒钟触发一次，所述任务中心符合执行条件的任务集，并将该些任务通过长连接发送给任务对应的所述代理服务器。

根据本申请实施例，作为本实施例中的优选，如图10所示，所述任务执行模块包括：通信单元301，用于在每个服务器上运行至少一个代理服务，用于与所述任务中心通过保持长连接进行通信；任务执行单元302，用于所述任务代理服务器在本地开启至少一个进程用于执行指定的任务命令，并将任务执行结果通过RPC调用方式发送给所述任务中心

本申请实施例的通信单元301中具体地，所述任务中心是一个常驻进程服务，服务可采用Reactor模型，每个worker进程只服务固定的任务代理。

具体地，所述常驻进程服务需要具备定时器功能，可以使用swoole server后者java quartz等编程语言和工具来实现。所述任务中心启主要负责任务的加载、任务的分发和任务执行结果收集、任务告警、RPC服务等功能。

需要注意的是，在本申请中并不对所述任务中心所采用的架构模型进行具体限定，只要能够符合常驻进程服务的条件即可。

需要注意的是，在本申请中并不对编程语言和工具进行限定，只要能具备定时器功能即可。

本申请实施例的任务执行单元302中具体地，对于每一台服务器都可以作为任务代理机器，在所述任务代理机器上运行一个代理服务，负责与所述任务中心进行通信。所述代理服务可以设置可被访问的IP白名单或者其他鉴权方式，目的在于只允许任务中心对本代理服务发起连接。所述任务代理和所述任务中心保持长连接，并设置心跳检测机制，一旦心跳检测任务代理机器不在线，在所述任务中心将自动从任务列表中摘除相关的任务，并提供告警信息，通知相关对接人。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种定时任务的执行方法，其特征在于，包括：

获取在WEB任务管理后台中的任务，并在任务中心启动用于执行定时任务的预设服务进程；

通过所述用于执行定时任务的预设服务进程，将所述任务中心中满足执行条件的多个所述任务并发送至任务代理服务器；

通过所述任务代理服务器返回任务执行结果至所述任务中心。

2.根据权利要求1所述的执行方法，其特征在于，获取在WEB任务管理后台中的任务，并在任务中心启动用于执行定时任务的预设服务进程时包括：

检测在所述WEB端任务管理后台中是否有对任务的预设操作发生；

如果有，则通过RPC调用方式通知在所述任务中心更新任务。

3.根据权利要求1所述的执行方法，其特征在于，通过所述用于执行定时任务的预设服务进程，将所述任务中心中满足执行条件的多个所述任务并发送至任务代理服务器包括：

在通过所述用于执行定时任务的预设服务进程中启动独立的进程来执行定时器逻辑，检查所述任务中心符合执行条件的任务集，并将所述任务集中的任务通过长连接发送给每个任务对应的代理服务器。

4.根据权利要求1所述的执行方法，其特征在于，通过所述任务代理服务器返回任务执行结果至所述任务中心包括：

在每个服务器上运行至少一个代理服务，用于与所述任务中心通过保持长连接进行通信。

5.根据权利要求1所述的执行方法，其特征在于，通过所述任务代理服务器返回任务执行结果至所述任务中心时还包括：

所述任务代理服务器在本地开启至少一个进程用于执行指定的任务命令，并将任务执行结果通过RPC调用方式发送给所述任务中心。

6.根据权利要求1所述的执行方法，其特征在于，通过所述任务代理服务器返回任务执行结果至所述任务中心之后，还包括：

在所述任务中心会记录每一条任务的执行日志到目标数据库。

7.一种定时任务的装置，其特征在于，包括：

获取模块，用于获取在WEB任务管理后台中的任务，并在任务中心启动用于执行定时任务的预设服务进程；

任务装载和分发模块，用于通过所述用于执行定时任务的预设服务进程，将所述任务中心中满足执行条件的多个所述任务并发送至任务代理服务器；

任务执行模块，用于通过所述任务代理服务器返回任务执行结果至所述任务中心。

8.根据权利要求7所述的定时任务的装置，其特征在于，所述获取模块包括：

检测单元，用于检测在所述WEB端任务管理后台中是否有对任务的预设操作发生；

更新单元，用于如果有对任务的预设操作发生时，则通过RPC调用方式通知在所述任务中心更新任务。

9.根据权利要求7所述的定时任务的装置，其特征在于，所述任务装载和分发模块包括：

任务分发处理单元，用于在通过所述用于执行定时任务的预设服务进程中启动独立的进程来执行定时器逻辑，检查所述任务中心符合执行条件的任务集，并将所述任务集中的任务通过长连接发送给每个任务对应的代理服务器。

10.根据权利要求7所述的定时任务的装置，其特征在于，所述任务执行模块包括：通信单元，用于在每个服务器上运行至少一个代理服务，用于与所述任务中心通过保持长连接进行通信；

任务执行单元，用于所述任务代理服务器在本地开启至少一个进程用于执行指定的任务命令，并将任务执行结果通过RPC调用方式发送给所述任务中心。