CN105100259A - 一种分布式定时任务执行方法和系统 - Google Patents

Abstract

本发明提供一种分布式定时任务执行方法和系统，能够实现定时任务的分布式集群执行，并且可以完全解决单点故障及任务重复执行的问题，系统可用性高。本发明的分布式定时任务执行方法包括：系统集群模块与注册的服务器节点保持长连接，并生成服务器列表；任务分发模块根据所述服务器列表为接收到的定时任务分配服务器，并将所述定时任务和所述服务器的绑定关系存储到数据库中；任务加载模块周期性扫描所述数据库中的定时任务表，将所述周期内即将执行的定时任务加载到服务器中，并创建定时任务；任务执行模块执行所述定时任务。

Description

一种分布式定时任务执行方法和系统

技术领域

本发明涉及计算机技术领域，特别地涉及一种分布式定时任务执行方法和系统。

背景技术

在linux环境下，通常采用Crontab技术执行定时任务，该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。通常，crontab储存的指令被守护进程激活，crond常常在后台运行，每一分钟检查是否有预定的作业需要执行。但是，这种技术方案存在单点故障问题，即如果crontab进程工作异常或者服务器本身宕机，就会导致定时任务不能按时执行；如果使用多个linux服务器配置相同的crontab任务，又会存在相同任务被重复执行的问题，还得需要在具体的业务操作过程中使用锁。

Springquartz是java领域里与linux中crontab类型相同的定时任务处理技术，可以通过配置文件进行定时任务的配置，使用方式比crontab简单，但是没有从根本上解决定时任务单点故障的问题，虽然可以使用多个服务器配置相同的定时任务但是还得花大量精力去解决定时任务的重复执行问题。

针对定时任务的单点故障问题，quartz有一种基于数据库实现的分布式集群方案，在该方案中各服务器配置相同的定时任务，多个定时任务实例通过锁机制来决定某时间点有其中一个定时任务实例来执行。该集群技术使用数据库作为锁介质，集群方案十分笨重，实现方法也比较复杂，且定时任务的高可用性依赖于数据库的高可用，加大了实现分布式集群的难度。

此外，还有一种基于zookeeper的分布式锁来实现的定时任务集群，该方案主要是通过在各服务器节点配置相同的定时任务，同时执行，等到执行时间点的时候，各服务器都会在zookeeper上面相同目录下添加一个临时节点，最后在再由临时节点中序号最小的节点获得定时任务执行权，其他节点则放弃本次执行权限，从而达到多节点同时运行定时任务而不会重复执行的效果。采用分布式锁能够保证只有一台服务器获得定时任务执行权，但是不能保证该服务器获取定时任务之后该服务器不会宕机，且获得执行权的服务器宕机后，其他服务器也无法第一时间获得服务器状态，从而延误定时任务的执行时间。

还有一种方案是将定时任务系统拆分为三个子系统，即任务提交系统、任务分发系统、任务执行系统。任务分发系统充当任务调度角色，负责接收定时任务并且将任务交给知道的任务执行系统去执行，并且监控任务执行系统的执行状态，一旦任务执行系统宕机，则重新将该任务分配给其他任务执行系统去执行，从而避免了任务执行系统的单机故障。但是该系统对于任务分发系统的可用性要求比较高，且对其依赖性比较强，一旦任务分发系统宕机，则会使定时任务的执行结果无法得到保证。

发明内容

有鉴于此，本发明提供一种分布式定时任务执行方法和系统，能够实现定时任务的分布式集群执行，并且可以完全解决单点故障及任务重复执行的问题，系统可用性高。

为实现上述目的，根据本发明的一个方面，提供了一种分布式定时任务执行方法。

一种分布式定时任务执行方法包括：系统集群模块与注册的服务器节点保持长连接，并生成服务器列表；任务分发模块根据所述服务器列表为接收到的定时任务分配服务器，并将所述定时任务和所述服务器的绑定关系存储到数据库中；任务加载模块周期性扫描所述数据库中的定时任务表，将所述周期内即将执行的定时任务加载到服务器中，并创建定时任务；任务执行模块执行所述定时任务；其中，所述服务器包含任务加载模块和任务执行模块；所述系统集群模块实时监测注册的服务器节点的运行状态，当出现服务器节点变化时更新所述服务器列表。

可选地，所述系统集群模块为Zookeeper集群。

可选地，更新服务器列表之后，还包括：如果有服务器宕机，则及时将更新后的服务器列表发送给其他服务器，以通知其他服务器接管宕机服务器的所有定时任务。

可选地，所述任务分发模块提供两种方式接收定时任务，其中，所述两种方式包括：对外部系统提供HTTP接口；对本系统提供后台管理页面。

可选地，任务执行模块执行所述定时任务之后，还包括：如果所述定时任务执行完成，则修改所述数据库中对应的任务状态。

根据本发明的另一方面，提供了一种分布式定时任务执行系统。

一种分布式定时任务执行系统包括：系统集群模块，用于与注册的服务器节点保持长连接，并生成服务器列表；任务分发模块，用于根据所述服务器列表为接收到的定时任务分配服务器，并将所述定时任务和所述服务器的绑定关系存储到数据库中；任务加载模块，用于周期性扫描所述数据库中的定时任务表，将所述周期内即将执行的定时任务加载到服务器中，并创建定时任务；任务执行模块，用于执行所述定时任务；其中，所述服务器包含任务加载模块和任务执行模块；所述系统集群模块还用于实时监测注册的服务器节点的运行状态，当出现服务器节点变化时更新服务器列表。

可选地，所述系统集群模块为Zookeeper集群。

可选地，所述系统集群模块在更新服务器列表之后，还用于：如果有服务器宕机，则及时将更新后的服务器列表发送给其他服务器，以通知其他服务器接管宕机服务器的所有定时任务。

可选地，所述任务分发模块还用于，提供两种方式接收定时任务，其中，所述两种方式包括：对外部系统提供HTTP接口；对本系统提供后台管理页面。

可选地，所述任务执行模块在执行所述定时任务之后，还用于：如果所述定时任务执行完成，则修改所述数据库中对应的任务状态。

根据本发明的技术方案，由任务分发模块将接收到的定时任务根据前端的负载均衡规则选择定时任务的执行服务器，并且将该定时任务与执行服务器对应关系保存到数据库中，任务加载模块则根据数据库中的服务器对应关系查询属于自己的定时任务创建，并且通过任务执行模块来执行，从而实现了定时任务的分布式集群执行。系统集群模块利用zookeeper来监控各服务器节点的运行状态，一旦有服务器发生宕机，第一时间通知其他服务器节点接管该宕机服务器的定时任务继续执行，从而实现了该系统的高可用性，避免了单点故障。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的一种分布式定时任务执行系统的系统架构图；

图2是根据本发明实施例的一种分布式定时任务执行方法的主要步骤示意图；

图3是根据本发明实施例的一种分布式定时任务执行方法的流程图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本发明提供的一种分布式定时任务执行系统，主要包括4个模块，分别是系统集群模块、任务分发模块、任务加载模块和任务执行模块。

系统集群模块用于与注册的服务器节点保持长连接，并生成服务器列表；任务分发模块，用于根据所述服务器列表为接收到的定时任务分配服务器，并将所述定时任务和所述服务器的绑定关系存储到数据库中；任务加载模块，用于周期性扫描所述数据库中的定时任务表，将所述周期内即将执行的定时任务加载到服务器中，并创建定时任务；任务执行模块，用于执行所述定时任务；其中，所述服务器包含任务加载模块和任务执行模块；所述系统集群模块还可以用于实时监测注册的服务器节点的运行状态，当出现服务器节点变化时更新服务器列表。

在本发明的实施例中，系统集群模块为Zookeeper集群。

系统集群模块在更新服务器列表之后，还可以用于，如果有服务器宕机，则及时通知其他服务器接管宕机服务器的所有定时任务。

任务分发模块还可以用于，提供两种方式接收定时任务，其中，所述两种方式包括：对外部系统提供HTTP接口；对本系统提供后台管理页面。

任务执行模块在执行所述定时任务之后，还可以用于，如果所述定时任务执行完成，则修改所述数据库中对应的任务状态。

根据以上的技术方案，以下结合附图对本发明实施例一种分布式定时任务执行系统进行介绍。

图1是根据本发明实施例的一种分布式定时任务执行系统的系统架构图。如图1所示，本发明的一种分布式定时任务执行系统主要包括Zookeeper集群、任务分发模块、定时任务服务器和数据库4部分。其中，Zookeeper集群是本发明的系统集群模块，定时任务服务器对应本发明的任务加载模块和任务执行模块，当定时任务执行完成后，将修改数据库中该定时任务对应的任务状态。

本发明实施例中的系统集群模块主要负责监测本系统所有服务器的运行状态，一旦有服务器宕机，则第一时间通知其他服务器接管宕机服务器下的所有定时任务。该模块主要是通过zookeeper来实现的，zookeeper可以很好的实现集群方案并且不会有单点故障问题，实现也比较简单。本发明的分布式定时任务执行系统启动后，每个定时任务服务器会向zookeeper注册一个服务器节点，与zookeeper保持长连接，并获得最新的服务器列表。当出现服务器增加或减少等变动时，zookeeper将会更新服务器列表。

当出现服务器增加时，zookeeper将会更新服务器列表，以便任务分发模块可以根据负载均衡规则选择定时任务的执行服务器。

当出现服务器减少，即有服务器发生宕机时，该服务器与zookeeper之间的长连接会立刻中断，该服务器注册的节点也会消失，此时zookeeper会通过将最新的服务器列表发送给其他服务器的方式，迅速通知其他服务器节点发生变化，其他服务器通过将最新的服务器列表与上一服务器列表做对比的方法进行判断，如果发现有服务器节点丢失，则说明该服务器已经宕机，则其他服务器会根据负载均衡规则(例如，可通过将宕机服务器中的任务条数对服务器个数进行取余运算等)接管宕机服务器上的定时任务继续执行，从而避免了单点故障。

本发明实施例中的任务分发模块主要负责将接收到的定时任务根据负载均衡规则分配执行服务器，并且将每个任务和其执行服务器绑定关系持久化保存到数据库中，其中，在进行分配执行服务器时，会先获取向zookeeper集群注册的服务器列表。任务分发模块在进行任务分发之前，主要提供两种方式接收定时任务，一种是对外部系统提供HTTP接口，另外一种是对本系统提供后台管理页面。无论通过哪种方式，接收到的定时任务请求都会经过前端的web服务器nginx或者apache等进行显示，然后由前端web服务器根据负载均衡规则选择该任务的执行服务器。并且将每个定时任务和其执行服务器对应关系以定时任务表的形式持久化存储到数据库中。

本发明实施例中的定时任务服务器包括任务加载模块和任务执行模块。

任务加载模块主要负责加载创建未来一个周期内将要执行的定时任务。该模块会周期性扫描已持久化存储到数据库中的定时任务表，将该周期内即将执行的定时任务加载到内存中并且创建定时任务以便执行。为了避免内存移除，该模块不会加载数据库中所有的定时任务，而是会根据系统配置的周期时间进行过滤，优先加载那些将要执行的定时任务。例如，取一个周期为10分钟，则任务执行模块会每隔10分钟扫描一次数据库中的定时任务表，将距离加载操作10分钟内将要执行的定时任务加载到服务器中并且创建定时任务添加至任务列表，以便执行。

任务加载模块加载完成后，任务执行模块会根据定时任务的时间要求来执行任务。对于已经执行完成的定时任务，会将服务器中该定时任务的任务状态修改为已完成，以避免重复加载及执行。

通过上述的技术方案，由任务分发模块将接收到的定时任务根据前端的负载均衡规则选择定时任务的执行服务器，并且将该定时任务与执行服务器对应关系保存到数据库中，任务加载模块则根据数据库中的服务器对应关系查询属于自己的定时任务创建，并且通过任务执行模块来执行，从而实现了定时任务的分布式集群执行。系统集群模块利用zookeeper来监控各服务器节点的运行状态，一旦有服务器发生宕机，第一时间通知其他服务器节点接管该宕机服务器的定时任务继续执行，从而实现了该系统的高可用性，避免了单点故障。

图2是根据本发明实施例的一种分布式定时任务执行方法的主要步骤示意图。如图2所示，本发明的一种分布式定时任务执行方法主要包括如下的步骤S21至步骤S24。

步骤S21：系统集群模块与注册的服务器节点保持长连接，并生成服务器列表。其中，所述系统集群模块为Zookeeper集群。

步骤S22：任务分发模块根据所述服务器列表为接收到的定时任务分配服务器，并将所述定时任务和所述服务器的绑定关系存储到数据库中。在分配服务器之前，任务分发模块提供了两种方式接收定时任务，其中，这两种方式分别为：对外部系统提供HTTP接口；对本系统提供后台管理页面。无论通过哪种方式，定时任务都会经过前端nginx或者apache，然后由前端web服务器根据负载均衡规则分配该任务的执行服务器。

步骤S23：任务加载模块周期性扫描所述数据库中的定时任务表，将所述周期内即将执行的定时任务加载到服务器中，并创建定时任务。

步骤S24：任务执行模块执行所述定时任务。如果所述定时任务执行完成，则修改所述数据库中对应的任务状态。其中，步骤S23中的任务加载模块和步骤S24中的任务执行模块都包含在服务器中。

上述步骤S21中的系统集群模块实时监测注册的服务器节点的运行状态，当出现服务器节点变化时更新所述服务器列表。之后，如果有服务器宕机，则及时将更新后的服务器列表发送给其他服务器，以通知其他服务器接管宕机服务器的所有定时任务。

以下将结合图3对本发明的实施流程进行详细介绍。图3是根据本发明实施例的一种分布式定时任务执行方法的流程图。如图3所示，本发明的分布式定时任务执行系统初始化后，所有的服务器向zookeeper注册服务器节点(步骤S31)，并与zookeeper保持长连接，之后，zookeeper会生成服务器列表并分发给各服务器(步骤S32)。当有定时任务请求时，任务分发模块会接收定时任务(步骤S33)，并根据负载均衡规则将定时任务分配执行服务器，然后将定时任务和服务器的绑定关系保存在数据库中(步骤S34)。任务加载模块会周期性扫描已保存到数据库中的定时任务表，通过判断定时任务是否在执行时间周期内(步骤S35)的方式，将该周期内即将执行的定时任务加载到服务器中并创建定时任务(步骤S36)，将其他定时任务仍然保存在数据库中(步骤S37)。最后，任务执行模块执行定时任务(步骤S38)并在执行成功时修改任务状态。

特殊情况下，当出现服务器节点变化时，zookeeper会更新服务器列表并分发给各服务器，同时，任务分发模块在将定时任务分配执行服务器时，也会按照最新的服务器列表根据负载均衡规则来执行。具体有如下两种情况：

1、当出现服务器节点增加时，增加的服务器会向zookeeper注册服务器节点，之后，zookeeper会更新服务器列表并分发给各服务器，其他服务器仍按照图3所示流程执行；

2、当出现服务器节点减少，也就是服务器宕机时，宕机服务器与zookeeper的长连接中断，此时，zookeeper会更新服务器列表并迅速分发给各其他服务器，以通知其他服务器接管宕机服务器的所有定时任务。如果在判定创建定时任务之前(即：步骤S35之前)发现服务器宕机，则该服务器中分配的任务直接由其他服务器根据负载均衡规则重新分配并创建定时任务；如果已创建定时任务，在执行定时任务(步骤S38)过程中发现服务器宕机，则由其他服务器代替宕机服务器重新执行定时任务。如此，即可完全避免单点故障。

根据本发明实施例的技术方案，由任务分发模块将接收到的定时任务根据前端的负载均衡规则选择定时任务的执行服务器，并且将该定时任务与执行服务器对应关系保存到数据库中，任务加载模块则根据数据库中的服务器对应关系查询属于自己的定时任务创建，并且通过任务执行模块来执行，从而实现了定时任务的分布式集群执行。系统集群模块利用zookeeper来监控各服务器节点的运行状态，一旦有服务器发生宕机，第一时间通知其他服务器节点接管该宕机服务器的定时任务继续执行，从而实现了该系统的高可用性，避免了单点故障。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种分布式定时任务执行方法，其特征在于，包括：

系统集群模块与注册的服务器节点保持长连接，并生成服务器列表；

任务分发模块根据所述服务器列表为接收到的定时任务分配服务器，并将所述定时任务和所述服务器的绑定关系存储到数据库中；

任务加载模块周期性扫描所述数据库中的定时任务表，将所述周期内即将执行的定时任务加载到服务器中，并创建定时任务；

任务执行模块执行所述定时任务；

其中，所述服务器包含任务加载模块和任务执行模块；

所述系统集群模块实时监测注册的服务器节点的运行状态，当出现服务器节点变化时更新所述服务器列表。

2.根据权利要求1所述的方法，其特征在于，所述系统集群模块为Zookeeper集群。

3.根据权利要求1所述的方法，其特征在于，更新服务器列表之后，还包括：

如果有服务器宕机，则及时将更新后的服务器列表发送给其他服务器，以通知其他服务器接管宕机服务器的所有定时任务。

4.根据权利要求1所述的方法，其特征在于，所述任务分发模块提供两种方式接收定时任务，其中，所述两种方式包括：

对外部系统提供HTTP接口；

对本系统提供后台管理页面。

5.根据权利要求1所述的方法，其特征在于，任务执行模块执行所述定时任务之后，还包括：

如果所述定时任务执行完成，则修改所述数据库中对应的任务状态。

6.一种分布式定时任务执行系统，其特征在于，包括：

系统集群模块，用于与注册的服务器节点保持长连接，并生成服务器列表；

任务分发模块，用于根据所述服务器列表为接收到的定时任务分配服务器，并将所述定时任务和所述服务器的绑定关系存储到数据库中；

任务加载模块，用于周期性扫描所述数据库中的定时任务表，将所述周期内即将执行的定时任务加载到服务器中，并创建定时任务；

任务执行模块，用于执行所述定时任务；

其中，所述服务器包含任务加载模块和任务执行模块；

所述系统集群模块还用于实时监测注册的服务器节点的运行状态，当出现服务器节点变化时更新服务器列表。

7.根据权利要求6所述的系统，其特征在于，所述系统集群模块为Zookeeper集群。

8.根据权利要求6所述的系统，其特征在于，所述系统集群模块在更新服务器列表之后，还用于：

如果有服务器宕机，则及时将更新后的服务器列表发送给其他服务器，以通知其他服务器接管宕机服务器的所有定时任务。

9.根据权利要求6所述的系统，其特征在于，所述任务分发模块还用于，提供两种方式接收定时任务，其中，所述两种方式包括：

对外部系统提供HTTP接口；

对本系统提供后台管理页面。

10.根据权利要求6所述的系统，其特征在于，所述任务执行模块在执行所述定时任务之后，还用于：

如果所述定时任务执行完成，则修改所述数据库中对应的任务状态。