CN110737520B - 集群系统调度控制定时任务的方法及集群系统 - Google Patents

Abstract

本发明公开了集群系统调度控制定时任务的方法及集群系统。涉及计算机软件领域，其中，方法通过获取集群节点的节点编号，集群节点访问分布式缓存服务申请凭证，申请到凭证的集群节点作为调度节点获得调度控制权限，调度节点以轮询的方式从集群节点中计算得到执行节点的节点编号，执行节点获得执行权限执行定时任务。克服了现有技术中定时任务执行时负载不均衡的问题，在集群系统环境下，无需额外开发新系统，对系统侵入性小，在保证集群系统安全性和可靠性的前提下，通过凭证来判断调度控制权限，再通过调度节点选择执行节点执行定时任务，避免定时任务一直在固定的集群节点上执行，均衡集群系统负载，降低了定时任务调度难度。

Description

集群系统调度控制定时任务的方法及集群系统

技术领域

本发明涉及计算机软件领域，尤其是一种集群系统调度控制定时任务的方法及集群系统。

背景技术

在软件系统应用中，为了提高系统的性能、可靠性、可用性等，用户会使用集群部署的方式，把一个软件程序部署到多台机器上运行。当用户使用定时任务，即在约定某个时间点上执行某个软件程序，例如每天零时的时间点执行数据库备份、报表统计等操作均属于定时任务，由于集群系统部署的原因，程序会被部署到多台机器的软件执行，同时被多次执行，这样会导致系统资源的浪费，并且由于重复执行造成数据和程序错误等问题，如果关闭其他集群节点的定时任务，使得定时任务一直在某些固定的集群节点上执行，其它节点一直处于空闲状态，导致系统资源闲置的浪费。

如何在集群环境下执行定时任务，目前有一些实现方案，比较常见的是单独部署定时任务服务器，这种情况下集群系统需要添加外部接口，以便通过外部接口访问执行的目标程序，同时开发定时任务服务器，并在该服务器上配置时间规则，定时的访问上述外部接口进行定时任务执行，由于外部接口的访问只会在集群系统中的某个节点进行接收和处理，所以不会出现多个节点重复执行同一个定时任务的现象。

但是该实现方案有较为明显的缺点，1)需要添加定时任务服务器，这会增加系统复杂度；2)除了在目标系统上进行开发，还需要在定时任务服务器上进行开发，增加开发和维护工作量；3)定时任务封装成外部接口，会降低系统安全性；4)需要额外的开发工作来保障定时任务服务器自身的可靠性和可用性。因此需要提出一种集群系统调度控制定时任务的方法，能够在集群系统环境下，无需额外开发新系统，对系统侵入性小，在保证集群系统安全性和可靠性的前提下，解决定时任务执行时负载不均衡的问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种集群系统调度控制定时任务的方法。

本发明所采用的技术方案是：

第一方面，本发明提供一种集群系统调度控制定时任务的方法，包括：

获取集群节点的节点编号；

所述集群节点访问分布式缓存服务申请凭证；

申请到所述凭证的集群节点作为调度节点获得调度控制权限；

所述调度节点以轮询的方式从所述集群节点中计算得到执行节点的节点编号，所述执行节点获得执行权限执行所述定时任务。

进一步地，所述调度节点向所述分布式缓存发布定时任务消息，所述定时任务消息中包括执行节点的节点编号，所述集群节点订阅接收所述定时任务消息，并判断是否具有执行权限。

进一步地，所述调度节点申请到所述凭证后更新持有凭证标记，所述凭证的组成包括：节点标识和凭证失效时间。

进一步地，所述调度节点在所述凭证失效时间到达之前进行续期更新所述凭证失效时间。

进一步地，当所述调度节点出现宕机情况时，所述调度节点的凭证过期后，每个所述集群节点重新申请凭证请求调度控制权限。

进一步地，所述集群系统为Redis集群系统。

第二方面，本发明还提供一种集群系统调度控制定时任务的装置，包括：

获取节点编号模块：用于获取集群节点的节点编号；

申请凭证模块：用于所述集群节点访问分布式缓存服务申请凭证；

分配调度控制权限模块：用于申请到所述凭证的集群节点作为调度节点获得调度控制权限；

执行定时任务模块：用于利用所述调度节点以轮询的方式从所述集群节点中计算得到执行节点的节点编号，所述执行节点获得执行权限执行所述定时任务。

第三方面，本发明还提供一种集群系统，所述集群系统包括多个集群节点，每个集群节点有唯一节点编号，当所述集群系统发布定时任务时，根据如第一方面任一项所述的一种集群系统调度控制定时任务的方法在所述集群节点中选择调度节点，并通过计算得出执行节点的节点编号，所述执行节点获得执行所述定时任务的执行权限。

第四方面，本发明提供一种集群系统调度控制定时任务的设备，包括：

至少一个处理器，以及与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如第一方面任一项所述的方法。

第五方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。

本发明的有益效果是：

本发明通过获取集群节点的节点编号，集群节点访问分布式缓存服务申请凭证，申请到凭证的集群节点作为调度节点获得调度控制权限，调度节点以轮询的方式从集群节点中计算得到执行节点的节点编号，执行节点获得执行权限执行定时任务。克服了现有技术中定时任务执行时负载不均衡的问题，在集群系统环境下，无需额外开发新系统，对系统侵入性小，在保证集群系统安全性和可靠性的前提下，通过凭证来判断调度控制权限，再通过调度节点选择执行节点执行定时任务，避免定时任务一直在固定的集群节点上执行，均衡集群系统负载，降低了定时任务调度难度。

进一步地，本实施例使用分布式缓存服务的消息发布和订阅功能，使各集群节点能够接收到定时任务消息，并由指定的定时任务执行节点进行处理，通过轮询方式进行调度，均衡集群系统负载。

可广泛应用于分布式架构集群系统中。

附图说明

图1是本发明中集群系统调度控制定时任务方法的一具体实施例的实现流程图；

图2是本发明中集群系统调度控制定时任务方法的一具体实施例的具体流程图；

图3是本发明中集群系统调度控制定时任务装置的一具体实施例的结构框图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例一：

本发明实施例一提供一种集群系统调度控制定时任务的方法，定时任务可以是在预设时间触发执行的任务，也可以是按预设周期触发执行的任务，其中，定时任务的触发是指满足该定时任务的执行条件时开始执行该定时任务，例如，当到达该定时任务的预设的触发时间，该定时任务开始执行。

在现有的各种系统，如管理系统等，定时任务都是十分常见的功能类型。例如，定时任务可以为定期的对数据库中新获得的数据进行压缩、每天的固定时刻对数据进行一次筛选、每天零时的时间点执行数据库备份、报表统计等。定时任务被创建后，创建该定时任务的服务器或应用，可以自动启动一个线程或进程使该定时任务在指定的触发时刻或按一定的周期执行。

图1为本发明实施例提供的集群系统调度控制定时任务方法的实现流程图，如图1所示，该方法包括以下步骤：

S1：获取集群节点的节点编号。

本实施例中，给集群中每个节点进行编号，得到每个集群节点的节点编号，用于区分不同的集群节点，例如通过随机生成的方式为每一个集群节点生成一个唯一身份标识。

S2：集群节点访问分布式缓存服务申请凭证，进一步地，凭证是唯一的，是一种包含节点标识和凭证失效时间的缓存数据，其中，节点标识为成功申请到凭证的集群节点的节点编号。

本实施例的集群环境下，各集群节点分布式缓存服务申请凭证，缓存服务器维护节点编号列表，同时利用分布式缓存服务的消息发布和订阅功能，各集群节点向分布式缓存服务订阅定时任务消息。

S3：申请到凭证的集群节点作为调度节点获得调度控制权限。

本实施例中，将获得凭证的集群节点作为调度节点，用于调度选择某个集群节点来执行定时任务。采用唯一凭证的作用是为了保证当前集群环境中只有一个调度节点起调度作用。

S4：调度节点以轮询的方式从集群节点中动态计算得到执行节点的节点编号，执行节点获得执行权限执行定时任务。

轮询是指：定时发出询问信息，按照一定的顺序(例如从第一个到最后一个的正序)询问每一个集群系统中节点是否能够提供服务，服务结束后再询问下一个，不断周而复始的过程。

S5：调度节点向分布式缓存发布定时任务消息，定时任务消息中包括执行节点的节点编号，集群节点订阅接收定时任务消息，并判断是否具有执行权限。

具体的，集群节点接收到订阅的定时任务消息，同时判断定时任务的执行节点是否是自身，如果是则拥有执行权限执行该定时任务，否则忽略该定时任务。

可以理解的是，本实施例中，调度节点计算得到执行节点的节点编号后，也可以只返回该节点编号，由集群系统进行定时任务发布时，将该节点编号(即定时任务执行人)信息与定时任务同时下发到订阅定时任务的集群节点上。

本实施例的实现方式简单，不需要额外开发系统，因此集群系统复杂度低，开发成本低，同时由于不需要在多个系统上进行开发和维护代码，所以开发效率高，并且由于不需要把定时任务执行程序进行外部接口封装，提高了系统安全。

进一步地，调度节点可以在凭证失效时间到达之前进行续期更新凭证失效时间，即在凭证失效之前采用续期的方式重新修改凭证失效时间，一旦某个集群节点成功申请到凭证后，通过续期的方式，该集群节点能够一直持有凭证，并且一直有调度权限进行执行节点调度，效果等同于单机调度，而其他集群节点由于没有申请到凭证，所以没有调度权限，避免集群系统下出现多个具有调度权限的节点，提高调度效率。

进一步地，当调度节点出现宕机情况时，调度节点的凭证由于没有在凭证失效时间前续期，导致凭证过期失效后，其余的集群节点重新向分布式缓存申请凭证并根据需要进行续期成为新的调度节点执行调度任务。

上述过程是为了提高集群系统的容错性能，由于本实施例中集群节点持有的凭证包含凭证失效时间的，当调度节点出现故障宕机时，凭证在凭证失效时间来临时失效，这样集群系统中的其它节点能够申请到凭证，并且有调度权限，保证定时任务不因为调度节点宕机而被延误，保证定时任务继续执行，提高集群系统可靠性。

如图2所示，为本实施例提供的集群系统调度控制定时任务方法的具体流程图。结合图2可知，分为两部分：逻辑控制定时任务部分和定时任务部分，下面以集群节点A和集群节点B进行介绍该流程。

节点A的执行过程如下，假设节点A申请时，第一个申请到凭证。

S11：节点A生成节点编号，该节点编号是节点A的唯一标识，例如“A”。

S12：节点A启动凭证申请，同时启动续期定时器，当节点A申请到凭证后，续期定时器检查当前时间，以实现在凭证失效时间之前进行凭证续期。

S13：节点A向分布式缓存申请获取凭证，凭证包括：节点标识和凭证失效时间，可选的，凭证的数据结构包括：键、值和凭证失效时间，其中键为固定值用于进行凭证标识，例如“SCHEDULE_KEY”，值用于保存节点标识，即节点A的节点编号“A”，凭证失效时间可以根据需求进行设置，例如设置为60s。

S14：判断凭证是否被其他节点申请，即键为“SCHEDULE_KEY”的凭证是否存在，存在则进入下一步，否则返回的凭证为空。

S15：生成分布式缓存数据的凭证，同时节点A拥有该凭证。

S16：节点A作为调度节点申请到凭证后更新“持有凭证标记”为“是”。

S21：节点A启动任务定时器，该定时器用于检查当前时间点是否满足定时任务的预设的时间条件，如果满足则进入下一步。

S22：判断节点A是否持有凭证，即判断节点A的“持有凭证标记”是否为“是”，如果结果为“是”，则进入下一步。

S31：节点A向分布式缓存服务获取集群节点ID列表。

S32：采用轮询的方式，计算执行节点的节点编号，例如：“B”。

S33：节点A向分布式缓存服务发布定时任务消息，该定时任务的执行人为“B”，即节点B作为执行节点具有执行权限。

S41：节点A向分布式缓存服务订阅定时任务消息。

S42：节点A从分布式缓存服务接收定时任务消息，由于该定时任务消息的执行人是“B”，因此节点A忽略该消息。

节点B的执行过程如下。

S11：节点B生成节点编号，该节点编号是节点B的唯一标识，例如“B”。

S12：节点B启动凭证申请，同时启动续期定时器，当节点B申请到凭证后，续期定时器检查当前时间，以实现在凭证失效时间之前进行凭证续期。

S13：节点B向分布式缓存申请获取凭证。

S14：节点B检查到凭证已经被节点A申请，即键为“SCHEDULE_KEY”的凭证存在，且该凭证的值为“A”。

S16：节点B更新“持有凭证标记”为“否”。

S21：节点B启动任务定时器，该定时器用于检查当前时间点是否满足定时任务的预设的时间条件，如果满足则进入下一步。

S22：判断得知节点B的“持有凭证标记”为“否”，则节点B不执行任务。

S41：节点B向分布式缓存服务订阅定时任务消息。

S42：节点B从分布式缓存服务接收定时任务消息，由于该定时任务消息的执行人是“B”，因此节点B作为执行节点，获得执行权限，执行该定时任务。

当节点A出现宕机情况时，节点A的凭证由于没有在凭证失效时间前续期，导致凭证过期失效后，节点B可能会申请到凭证并根据需要进行续期，其运行过程与上述节点A的运行过程相同。

可以理解的是，调度节点进行调度时，对所有的集群节点进行轮询，因此也允许出现调度节点本身作为执行节点的情况，结合图2，即节点A作为调度节点，其经过轮询计算得到的执行节点也可能是“A”，当节点A从分布式缓存服务接收定时任务消息，获知该定时任务消息的执行人是“A”，此时节点A作为执行节点，获得执行权限，执行该定时任务。

同样的，可以理解的是，本实施例也可以在执行完一次定时任务之后，重新通过申请凭证的方式选择下一次定时任务的调度节点，只要能够保证一次定时任务只有一个调度节点具有调度权限，按照轮询的方式，动态计算得到执行节点执行定时任务，至于每次是不是同一个节点作为调度节点，本实施例不做限定。

通过采用分布式缓存服务的消息发布和订阅功能，使各集群节点能够接收到定时任务消息，并由指定的定时任务执行节点进行处理，有效的解决了定时任务被多个集群节点重复执行的问题，同时通过轮询方式进行调度，均衡集群系统负载。

进一步地，本实施例中集群系统为Redis集群系统，Redis集群系统是一种高可用高负载集群方案，应用本实施例的集群系统定时任务调度方法能够提高系统定时任务执行效率。

本实施例克服了现有技术中定时任务执行时负载不均衡的问题，在集群系统环境下，无需额外开发新系统，对系统侵入性小，在保证集群系统安全性和可靠性的前提下，通过凭证来判断调度控制权限，通过调度节点选择执行节点执行定时任务，避免定时任务一直在固定的集群节点上执行，均衡集群系统负载，降低了定时任务调度难度。

实施例二：

本实施例提供一种集群系统调度控制定时任务装置，用于执行如实施例一任一项的方法。如图3所示，为本实施例的一种集群系统调度控制定时任务装置结构框图，包括：

获取节点编号模块10：用于获取集群节点的节点编号；

申请凭证模块20：用于集群节点访问分布式缓存服务申请凭证；

分配调度控制权限模块30：用于申请到凭证的集群节点作为调度节点获得调度控制权限；

执行定时任务模块40：用于利用调度节点以轮询的方式从集群节点中计算得到执行节点的节点编号，执行节点获得执行权限执行定时任务。

进一步地，还包括定时任务管理模块50，用于调度节点向分布式缓存发布定时任务消息，定时任务消息中包括执行节点的节点编号，集群节点订阅接收定时任务消息，并判断是否具有执行权限。

上述中集群系统调度控制定时任务装置每个模块的具体细节已经在实施例一对应的集群系统调度控制定时任务的方法中进行了详细的描述，因此此处不再赘述。

实施例三：

本实施例提供一种集群系统，包括多个集群节点，每个集群节点有唯一的节点编号，当集群系统发布定时任务时，根据如实施例一任一项所述的一种集群系统调度控制定时任务的方法在集群节点中选择调度节点，并通过计算得出执行节点的节点编号，执行节点获得执行定时任务的执行权限。

另外，本发明还提供集群系统调度控制定时任务设备，包括：

至少一个处理器，以及与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如实施例一所述的方法。计算机程序即程序代码，当程序代码在集群系统调度控制定时任务设备上运行时，程序代码用于使集群系统调度控制定时任务设备执行本说明书上述实施例一部分描述的集群系统调度控制定时任务方法中的步骤。

另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例一所述的方法。

可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本发明实施例通过获取集群节点的节点编号，集群节点访问分布式缓存服务申请凭证，申请到凭证的集群节点作为调度节点获得调度控制权限，调度节点以轮询的方式从集群节点中计算得到执行节点的节点编号，执行节点获得执行权限执行定时任务。可广泛应用于分布式架构集群系统中。

以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (6)

1.一种集群系统调度控制定时任务的方法，其特征在于，包括：

获取集群节点的节点编号；

所述集群节点访问分布式缓存服务申请凭证；其中，所述凭证的组成包括：节点标识和凭证失效时间；

申请到所述凭证的集群节点作为调度节点获得调度控制权限；

所述调度节点以轮询的方式从所述集群节点中计算得到执行节点的节点编号，所述执行节点获得执行权限执行所述定时任务；

所述调度节点向所述分布式缓存发布定时任务消息，所述定时任务消息中包括执行节点的节点编号，所述集群节点订阅接收所述定时任务消息，并判断是否具有执行权限；

当所述调度节点出现宕机情况时，所述调度节点的凭证过期后，每个所述集群节点重新向分布式缓存申请凭证并根据所述定时任务的需要请求调度控制权限，成为新的调度节点执行所述定时任务；

所述调度节点在所述凭证失效时间到达之前进行续期更新所述凭证失效时间。

2.根据权利要求1任一项所述的一种集群系统调度控制定时任务的方法，其特征在于，所述集群系统为Redis集群系统。

3.一种集群系统调度控制定时任务的装置，其特征在于，包括：

获取节点编号模块：用于获取集群节点的节点编号；

申请凭证模块：用于所述集群节点访问分布式缓存服务申请凭证；其中，所述凭证的组成包括：节点标识和凭证失效时间；

分配调度控制权限模块：用于申请到所述凭证的集群节点作为调度节点获得调度控制权限；

执行定时任务模块：用于利用所述调度节点以轮询的方式从所述集群节点中计算得到执行节点的节点编号，所述执行节点获得执行权限执行所述定时任务；所述调度节点向所述分布式缓存发布定时任务消息，所述定时任务消息中包括执行节点的节点编号，所述集群节点订阅接收所述定时任务消息，并判断是否具有执行权限；当所述调度节点出现宕机情况时，所述调度节点的凭证过期后，每个所述集群节点重新向分布式缓存申请凭证并根据所述定时任务的需要请求调度控制权限，成为新的调度节点执行所述定时任务；所述调度节点在所述凭证失效时间到达之前进行续期更新所述凭证失效时间。

4.一种集群系统，其特征在于，所述集群系统包括多个集群节点，每个集群节点有唯一节点编号，当所述集群系统发布定时任务时，根据如权利要求1至2任一项所述的一种集群系统调度控制定时任务的方法在所述集群节点中选择调度节点，并通过计算得出执行节点的节点编号，所述执行节点获得执行所述定时任务的执行权限。

5.一种集群系统调度控制定时任务的设备，其特征在于，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至2任一项所述的方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至2任一项所述的方法。