CN110704185A - 集群系统分片定时任务调度方法及集群系统 - Google Patents

Abstract

本发明公开了集群系统分片定时任务调度方法及集群系统。涉及计算机软件领域，其中，方法通过获取集群节点的节点编号和定时任务的分片序号，集群节点访问分布式缓存服务申请凭证，申请到凭证的集群节点作为调度节点获得调度控制权限，然后调度节点根据定时任务的分片数量从集群节点中选择对应数量的集群节点作为执行节点，其中，执行节点的节点编号与分片序号对应，并且执行节点获得分片的执行权限。克服了现有技术中定时任务执行时不能充分利用资源进行分布式并行计算的问题，将一个定时任务进行分片，成为多个小任务在多个集群节点上同时执行，充分利用集群系统资源，均衡集群系统负载，降低定时任务调度难度。

Description

集群系统分片定时任务调度方法及集群系统

技术领域

本发明涉及计算机软件领域，尤其是一种集群系统分片定时任务调度方法及集群系统。

背景技术

在软件系统应用中，为了提高系统的性能、可靠性、可用性等，用户会使用集群部署的方式，把一个软件程序部署到多台机器上运行。当用户使用定时任务，即在约定某个时间点上执行某个软件程序，例如每天零时的时间点执行数据库备份、报表统计等操作均属于定时任务，由于集群系统部署的原因，程序会被部署到多台机器的软件执行，同时被多次执行，这样会导致系统资源的浪费，并且由于重复执行造成数据和程序错误等问题，如果关闭其他集群节点的定时任务，使得定时任务一直在某些固定的集群节点上执行，其它节点一直处于空闲状态，不能充分利用资源进行分布式并行计算，导致系统资源闲置的浪费。

因此需要提出一种集群系统分片定时任务调度方法，能够在集群系统环境下，无需额外开发新系统，对系统侵入性小，在保证集群系统安全性和可靠性的前提下，解决定时任务不能充分利用资源进行分布式并行计算的问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种集群系统分片定时任务调度方法。

本发明所采用的技术方案是：

第一方面，本发明提供一种集群系统分片定时任务调度方法，包括：

获取集群节点的节点编号和定时任务的分片序号；

所述集群节点访问分布式缓存服务申请凭证；

申请到所述凭证的集群节点作为调度节点获得调度控制权限；

所述调度节点根据定时任务的分片数量从所述集群节点中选择对应数量的集群节点作为执行节点，所述执行节点的节点编号与所述分片序号对应，所述执行节点获得所述分片的执行权限。

进一步地，所述调度节点向所述分布式缓存发布包含分片序号的定时任务消息，所述定时任务消息中包括当前分片执行节点的节点编号，所述集群节点订阅接收所述定时任务消息，并判断是否具有所述分片的执行权限。

进一步地，所述调度节点申请到所述凭证后更新持有凭证标记，所述凭证的组成包括：节点标识和凭证失效时间。

进一步地，所述调度节点在所述凭证失效时间到达之前进行续期更新所述凭证失效时间。

进一步地，所述调度节点根据节点路由规则从所述集群节点中选择执行节点，所述节点路由规则包括：顺序选择、倒序选择、轮询选择、随机选择、指定编号。

进一步地，当所述调度节点出现宕机情况时，所述调度节点的凭证过期后，每个所述集群节点重新申请凭证请求调度控制权限。

第二方面，本发明还提供一种集群系统分片定时任务调度装置，包括：

获取节点编号模块：用于获取集群节点的节点编号；

申请凭证模块：用于所述集群节点访问分布式缓存服务申请凭证；

分配调度控制权限模块：用于申请到所述凭证的集群节点作为调度节点获得调度控制权限；

执行定时任务模块：用于所述调度节点根据定时任务的分片数量从所述集群节点中选择对应数量的集群节点作为执行节点，所述执行节点的节点编号与所述分片序号对应，所述执行节点获得所述分片的执行权限。

第三方面，本发明还提供一种集群系统，所述集群系统包括多个集群节点，每个集群节点有唯一节点编号，当所述集群系统发布定时任务时，根据如第一方面任一项所述的一种集群系统分片定时任务调度方法在所述集群节点中选择调度节点，并通过计算得出每一个定时任务分片的执行节点，所述执行节点获得所述分片的执行权限。

第四方面，本发明提供一种集群系统分片定时任务调度设备，包括：

至少一个处理器，以及与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如第一方面任一项所述的方法。

第五方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。

本发明的有益效果是：

本发明通过获取集群节点的节点编号和定时任务的分片序号，集群节点访问分布式缓存服务申请凭证，申请到凭证的集群节点作为调度节点获得调度控制权限，然后调度节点根据定时任务的分片数量从集群节点中选择对应数量的集群节点作为执行节点，其中，执行节点的节点编号与分片序号对应，并且执行节点获得分片的执行权限。克服了现有技术中定时任务执行时不能充分利用资源进行分布式并行计算的问题，在集群系统环境下，无需额外开发新系统，对系统侵入性小，在保证集群系统安全性和可靠性的前提下，通过凭证来判断调度控制权限，同时将一个定时任务进行分片成多个小任务在多个集群节点上同时执行，通过调度节点选择不同的执行节点执行不同定时任务的分片，避免定时任务一直在固定的集群节点上执行，充分利用集群系统资源，均衡集群系统负载，降低定时任务调度难度。

进一步地，本实施例使用分布式缓存服务的消息发布和订阅功能，使各集群节点能够接收到包含分片序号的定时任务消息，并由指定的定时任务执行节点对不同的分片进行处理，实现分布式运算，均衡集群系统负载。

可广泛应用于分布式架构集群系统中。

附图说明

图1是本发明中集群系统分片定时任务调度方法的一具体实施例的实现流程图；

图2是本发明中集群系统分片定时任务调度方法的一具体实施例的具体流程图；

图3是本发明中集群系统分片定时任务调度装置的一具体实施例的结构框图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例一：

本发明实施例一提供一种集群系统分片定时任务调度方法，定时任务可以是在预设时间触发执行的任务，也可以是按预设周期触发执行的任务，其中，定时任务的触发是指满足该定时任务的执行条件时开始执行该定时任务，例如，当到达该定时任务的预设的触发时间，该定时任务开始执行。

在现有的各种系统，如管理系统等，定时任务都是十分常见的功能类型。例如，定时任务可以为定期的对数据库中新获得的数据进行压缩、每天的固定时刻对数据进行一次筛选、每天零时的时间点执行数据库备份、报表统计等。定时任务被创建后，创建该定时任务的服务器或应用，可以自动启动一个线程或进程使该定时任务在指定的触发时刻或按一定的周期执行。

图1为本发明实施例提供的集群系统分片定时任务调度方法的实现流程图，如图1所示，该方法包括以下步骤：

S1：获取集群节点的节点编号和定时任务的分片序号。

本实施例中，给集群中每个节点进行编号，得到每个集群节点的节点编号，用于区分不同的集群节点，例如通过随机生成的方式为每一个集群节点生成一个唯一身份标识。

通过分片将定时任务划分成多个小任务，即多个分片，同时对每一个分片进行编号得到分片序号，便于后续选择执行节点。

S2：集群节点访问分布式缓存服务申请凭证，进一步地，凭证是唯一的，是一种包含节点标识和凭证失效时间的缓存数据，其中，节点标识为成功申请到凭证的集群节点的节点编号。

本实施例的集群环境下，各集群节点分布式缓存服务申请凭证，缓存服务器维护节点编号列表，同时利用分布式缓存服务的消息发布和订阅功能，各集群节点向分布式缓存服务订阅定时任务消息。

S3：申请到凭证的集群节点作为调度节点获得调度控制权限。

本实施例中，将获得凭证的集群节点作为调度节点，用于调度选择某个集群节点来执行定时任务。采用唯一凭证的作用是为了保证当前集群环境中只有一个调度节点起调度作用。

S4：调度节点根据定时任务的分片数量从集群节点中选择对应数量的集群节点作为执行节点，执行节点的节点编号与分片序号对应，执行节点获得所述分片的执行权限。

可以理解的是，本实施例中，集群节点的数量大于等于定时任务的分片数量，进一步地，为了最大程度的提高运算速度，可以选择根据集群节点数量将定时任务进行分片，分片与集群节点一一对应，最大化的进行分布式并行计算，充分利用集群系统资源。

S5：调度节点向分布式缓存发布包含分片序号的定时任务消息，定时任务消息中包括当前分片执行节点的节点编号，集群节点订阅接收所述定时任务消息，并判断是否具有分片的执行权限。

具体的，集群节点接收到订阅的定时任务消息，同时判断定时任务分片的执行节点是否是自身，如果是则拥有执行权限执行该分片，否则忽略该定时任务。

可以理解的是，本实施例中，调度节点计算得到执行节点的节点编号后，也可以只返回该节点编号，由集群系统进行定时任务发布时，将该节点编号(即定时任务执行人)信息与定时任务分片信息同时下发到订阅定时任务的集群节点上。

本实施例使用分布式缓存服务的消息发布和订阅功能，使各集群节点能够接收到包含分片序号的定时任务消息，并由指定的定时任务执行节点对不同的分片进行处理，实现分布式运算，均衡集群系统负载。

进一步地，调度节点可以在凭证失效时间到达之前进行续期更新凭证失效时间，即在凭证失效之前采用续期的方式重新修改凭证失效时间，一旦某个集群节点成功申请到凭证后，通过续期的方式，该集群节点能够一直持有凭证，并且一直有调度权限进行执行节点调度，效果等同于单机调度，而其他集群节点由于没有申请到凭证，所以没有调度权限，避免集群系统下出现多个具有调度权限的节点，提高调度效率。

进一步地，调度节点根据节点路由规则从集群节点中选择不同分片的执行节点，节点路由规则包括：顺序选择、倒序选择、轮询选择、随机选择、指定编号。

本实施例中，节点路由规则包括：顺序选择、倒序选择、轮询选择、随机选择、指定编号。具体的：1)顺序选择：例如按照节点编号顺序从第一个节点开始选择直至最后一个节点；2)倒叙选择：例如按照节点编号顺序从最后一个节点开始选择直至第一个节点；3)轮询选择：定时发出询问信息，按照一定的顺序询问每一个集群系统中节点是否能够提供服务，然后再询问下一个，不断周而复始的过程；4)随机选择：例如根据随机数选择节点；5)指定编号：例如根据实际需要指定执行节点。

可以理解的是，本实施例中节点路由规则可以进行交叉使用，例如第一次定时任务分片后选择执行节点时，按照顺序选择的方式进行选择，执行完该定时任务之后，下一次定时任务分片后选择执行节点时，按照随机选择的方式选择执行节点等，可以根据实际需求进行不同节点路由规则的选择，保证执行节点选择的灵活性，在此不做具体限定。

进一步地，当调度节点出现宕机情况时，调度节点的凭证由于没有在凭证失效时间前续期，导致凭证过期失效后，其余的集群节点重新向分布式缓存申请凭证并根据需要进行续期成为新的调度节点执行调度任务。

上述过程是为了提高集群系统的容错性能，由于本实施例中集群节点持有的凭证包含凭证失效时间的，当调度节点出现故障宕机时，凭证在凭证失效时间来临时失效，这样集群系统中的其它节点能够申请到凭证，并且有调度权限，保证定时任务不因为调度节点宕机而被延误，保证定时任务继续执行，提高集群系统可靠性。

本实施例的实现方式简单，不需要额外开发系统，因此集群系统复杂度低，开发成本低，同时由于不需要在多个系统上进行开发和维护代码，所以开发效率高，并且由于不需要把定时任务执行程序进行外部接口封装，提高了系统安全。

如图2所示，为本实施例提供的集群系统分片定时任务调度方法的具体流程图。结合图2可知，分为两部分：逻辑控制定时任务部分和定时任务部分，下面以集群节点A和集群节点B进行介绍该流程。

节点A的执行过程如下，假设节点A申请时，第一个申请到凭证。

S11：节点A生成节点编号，该节点编号是节点A的唯一标识，例如“A”。

S12：节点A启动凭证申请，同时启动续期定时器，当节点A申请到凭证后，续期定时器检查当前时间，以实现在凭证失效时间之前进行凭证续期。

S13：节点A向分布式缓存申请获取凭证，凭证包括：节点标识和凭证失效时间，可选的，凭证的数据结构包括：键、值和凭证失效时间，其中键为固定值用于进行凭证标识，例如“SCHEDULE_KEY”，值用于保存节点标识，即节点A的节点编号“A”，凭证失效时间可以根据需求进行设置，例如设置为60s。

S14：判断凭证是否被其他节点申请，即键为“SCHEDULE_KEY”的凭证是否存在，存在则进入下一步，否则返回的凭证为空。

S15：生成分布式缓存数据的凭证，同时节点A拥有该凭证。

S16：节点A作为调度节点申请到凭证后更新“持有凭证标记”为“是”。

S21：节点A启动任务定时器，该定时器用于检查当前时间点是否满足定时任务的预设的时间条件，如果满足则进入下一步。

S22：判断节点A是否持有凭证，即判断节点A的“持有凭证标记”是否为“是”，如果结果为“是”，则进入下一步.

S31：节点A向分布式缓存服务获取集群节点ID列表(例如“A”、“B”、“C”等)和定时任务ID对应的分片序号(例如“1”、“2”、“3”等)。

S32：根据节点路由规则计算每个任务分片的执行节点的节点编号，例如：

1、消息1(定时任务ID：“Task1”；任务执行人：“A”；分片序号：1)

2、消息2(定时任务ID：“Task1”；任务执行人：“B”；分片序号：2)

…

即节点A具有分片1的执行权限，节点B具有分片2的执行权限…

S33：节点A向分布式缓存服务发布包含分片序号和执行节点的定时任务消息。

S41：节点A向分布式缓存服务订阅定时任务消息。

S42：节点A从分布式缓存服务接收定时任务消息，执行分片1对应的任务，同时忽略分片2的任务。

节点B的执行过程如下。

S11：节点B生成节点编号，该节点编号是节点B的唯一标识，例如“B”。

S12：节点B启动凭证申请，同时启动续期定时器，当节点B申请到凭证后，续期定时器检查当前时间，以实现在凭证失效时间之前进行凭证续期。

S13：节点B向分布式缓存申请获取凭证。

S14：节点B检查到凭证已经被节点A申请，即键为“SCHEDULE_KEY”的凭证存在，且该凭证的值为“A”。

S16：节点B更新“持有凭证标记”为“否”。

S21：节点B启动任务定时器，该定时器用于检查当前时间点是否满足定时任务的预设的时间条件，如果满足则进入下一步。

S22：判断得知节点B的“持有凭证标记”为“否”，则节点B不执行任务。

S41：节点B向分布式缓存服务订阅定时任务消息。

S42：节点B从分布式缓存服务接收定时任务消息，由于分片2的执行人是“B”，因此节点B作为执行节点，获得执行权限，执行分片2对应的任务。

当节点A出现宕机情况时，节点A的凭证由于没有在凭证失效时间前续期，导致凭证过期失效后，节点B可能会申请到凭证并根据需要进行续期，其运行过程与上述节点A的运行过程相同。

可以理解的是，调度节点进行调度时，对所有的集群节点进行选择，因此也允许出现调度节点本身作为执行节点的情况，结合图2，即节点A作为调度节点，其经过计算得到的执行节点也可能是“A”，当节点A从分布式缓存服务接收包含分片序号的定时任务消息，获知该定时任务的某个分片的执行人是“A”，此时节点A作为执行节点，获得执行权限，执行该分片，而忽略该定时任务的其余分片。

同样的，可以理解的是，本实施例也可以在执行完一次定时任务之后，重新通过申请凭证的方式选择下一次定时任务的调度节点，只要能够保证一次定时任务只有一个调度节点具有调度权限，动态计算得到执行节点执行定时任务，至于每次是不是同一个节点作为调度节点，本实施例不做限定。

进一步地，本实施例中集群系统为Redis集群系统，Redis集群系统是一种高可用高负载集群方案，应用本实施例的集群系统定时任务调度方法能够提高系统定时任务执行效率。

本实施例克服了现有技术中定时任务执行时不能充分利用资源进行分布式并行计算的问题，在集群系统环境下，无需额外开发新系统，对系统侵入性小，在保证集群系统安全性和可靠性的前提下，通过凭证来判断调度控制权限，同时将一个定时任务进行分片，成为多个小任务在多个集群节点上同时执行，通过调度节点选择不同的执行节点执行不同定时任务的分片，避免定时任务一直在固定的集群节点上执行，充分利用集群系统资源，均衡集群系统负载，降低定时任务调度难度。

实施例二：

本实施例提供一种集群系统分片定时任务调度装置，用于执行如实施例一任一项的方法。如图3所示，为本实施例的一种集群系统分片定时任务调度装置结构框图，包括：

获取节点编号模块10：用于获取集群节点的节点编号；

申请凭证模块20：用于集群节点访问分布式缓存服务申请凭证；

分配调度控制权限模块30：用于申请到凭证的集群节点作为调度节点获得调度控制权限；

执行定时任务模块40：用于调度节点根据定时任务的分片数量从集群节点中选择对应数量的集群节点作为执行节点，执行节点的节点编号与分片序号对应，执行节点获得分片的执行权限。

进一步地，还包括定时任务管理模块50，用于利用调度节点向分布式缓存发布包含分片序号的定时任务消息，定时任务消息中包括当前分片执行节点的节点编号，集群节点订阅接收定时任务消息，并判断是否具有分片的执行权限。

上述中集群系统分片定时任务调度装置每个模块的具体细节已经在实施例一对应的集群系统分片定时任务调度方法中进行了详细的描述，因此此处不再赘述。

实施例三：

本实施例提供一种集群系统，包括多个集群节点，每个集群节点有唯一的节点编号，当集群系统发布定时任务时，根据如实施例一任一项的一种集群系统分片定时任务调度方法在集群节点中选择调度节点，并通过计算得出每一个定时任务分片的执行节点，执行节点获得分片的执行权限。

另外，本发明还提供集群系统分片定时任务调度设备，包括：

至少一个处理器，以及与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如实施例一所述的方法。计算机程序即程序代码，当程序代码在集群系统分片定时任务调度设备上运行时，程序代码用于使集群系统分片定时任务调度设备执行本说明书上述实施例一部分描述的集群系统分片定时任务调度方法中的步骤。

另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例一所述的方法。

可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本发明实施例通过获取集群节点的节点编号和定时任务的分片序号，集群节点访问分布式缓存服务申请凭证，申请到凭证的集群节点作为调度节点获得调度控制权限，然后调度节点根据定时任务的分片数量从集群节点中选择对应数量的集群节点作为执行节点，其中，执行节点的节点编号与分片序号对应，并且执行节点获得分片的执行权限。可广泛应用于分布式架构集群系统中。

以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种集群系统分片定时任务调度方法，其特征在于，包括：

获取集群节点的节点编号和定时任务的分片序号；

所述集群节点访问分布式缓存服务申请凭证；

申请到所述凭证的集群节点作为调度节点获得调度控制权限；

所述调度节点根据定时任务的分片数量从所述集群节点中选择对应数量的集群节点作为执行节点，所述执行节点的节点编号与所述分片序号对应，所述执行节点获得所述分片的执行权限。

2.根据权利要求1所述的一种集群系统分片定时任务调度方法，其特征在于，所述调度节点向所述分布式缓存发布包含分片序号的定时任务消息，所述定时任务消息中包括当前分片执行节点的节点编号，所述集群节点订阅接收所述定时任务消息，并判断是否具有所述分片的执行权限。

3.根据权利要求1所述的一种集群系统分片定时任务调度方法，其特征在于，所述调度节点申请到所述凭证后更新持有凭证标记，所述凭证的组成包括：节点标识和凭证失效时间。

4.根据权利要求3所述的一种集群系统分片定时任务调度方法，其特征在于，所述调度节点在所述凭证失效时间到达之前进行续期更新所述凭证失效时间。

5.根据权利要求1所述的一种集群系统分片定时任务调度方法，其特征在于，所述调度节点根据节点路由规则从所述集群节点中选择执行节点，所述节点路由规则包括：顺序选择、倒序选择、轮询选择、随机选择、指定编号。

6.根据权利要求1至5任一项所述的一种集群系统分片定时任务调度方法，其特征在于，当所述调度节点出现宕机情况时，所述调度节点的凭证过期后，每个所述集群节点重新申请凭证请求调度控制权限。

7.一种集群系统分片定时任务调度装置，其特征在于，包括：

获取节点编号模块：用于获取集群节点的节点编号；

申请凭证模块：用于所述集群节点访问分布式缓存服务申请凭证；

分配调度控制权限模块：用于申请到所述凭证的集群节点作为调度节点获得调度控制权限；

执行定时任务模块：用于所述调度节点根据定时任务的分片数量从所述集群节点中选择对应数量的集群节点作为执行节点，所述执行节点的节点编号与所述分片序号对应，所述执行节点获得所述分片的执行权限。

8.一种集群系统，其特征在于，所述集群系统包括多个集群节点，每个集群节点有唯一节点编号，当所述集群系统发布定时任务时，根据如权利要求1至6任一项所述的一种集群系统分片定时任务调度方法在所述集群节点中选择调度节点，并通过计算得出每一个定时任务分片的执行节点，所述执行节点获得所述分片的执行权限。

9.一种集群系统分片定时任务调度设备，其特征在于，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至6任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至6任一项所述的方法。

Images