CN110806939B - 一种定时任务处理方法、装置及系统 - Google Patents
一种定时任务处理方法、装置及系统 Download PDFInfo
- Publication number
- CN110806939B CN110806939B CN201911009801.3A CN201911009801A CN110806939B CN 110806939 B CN110806939 B CN 110806939B CN 201911009801 A CN201911009801 A CN 201911009801A CN 110806939 B CN110806939 B CN 110806939B
- Authority
- CN
- China
- Prior art keywords
- server
- timing task
- task
- target
- executed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
- G06F9/526—Mutual exclusion algorithms
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Hardware Redundancy (AREA)
Abstract
本申请公开了一种定时任务处理方法、装置及系统,该方法可应用于分布式系统的服务器,该方法包括:第一服务器加载待执行的目标定时任务,其中,第一服务器所在集群包含多个服务器分组,每个定时任务被配置由一个服务器分组中的服务器执行,目标定时任务被配置由第一服务器分组中的服务器执行,第一服务器属于第一服务器分组;在到达目标定时任务的定时时间时,第一服务器在第一服务器分组中竞争执行目标定时任务所需的数据资源;在竞争到数据资源后,第一服务器基于数据资源执行所述目标定时任务。本申请可以在不改变或较少改变现有业务系统的架构的前提下,实现不同的定时任务在物理部署上被隔离、业务运行上被分开以及使用同一数据资源的目的。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种定时任务处理方法、装置及系统。
背景技术
随着科学技术的不断进步、业务的不断推广,依托计算机及互联网等技术实现的业务系统(常为分布式的)越来越复杂,业务系统与第三方系统的交互也越来越多。一个业务系统常包含多个应用,如电商业务系统包括订单管理应用、商户管理应用和运营应用等。并且,业务系统的应用模块在处理业务时,不仅需要处理业务系统本身的定时任务,还需要处理业务系统与一个或多个第三方系统交互的定时任务。由于第三方系统有自身的业务或者安全上的要求,因此常常需要将上述两种定时任务部署在不同的服务器上执行,以使二者在物理部署上得到隔离,在业务运行上被分开。但由于业务关系,二者存在使用同一数据资源(存储在数据库中)的现状。
在这种现状下,现有技术通过额外部署一个服务器集群来执行不同的定时任务,很显然,额外部署一个服务器集群会使业务系统架构变得更复杂,从而使业务系统的运行成本攀升。
发明内容
本说明书实施例提供一种定时任务处理方法、装置及系统,以在不改变或较少改变现有业务系统的架构的前提下,实现不同的定时任务在物理部署上被隔离、业务运行上被分开以及使用同一数据资源的目的。
第一方面,本说明书实施例提供一种定时任务处理方法,所述方法包括:
第一服务器加载待执行的目标定时任务,其中,所述第一服务器所在集群包含多个服务器分组,所述分布式系统的每个定时任务被配置由一个服务器分组中的服务器执行,所述目标定时任务被配置由第一服务器分组中的服务器执行,所述第一服务器属于所述第一服务器分组;
在到达所述目标定时任务的定时时间时,所述第一服务器在所述第一服务器分组中竞争执行所述目标定时任务所需的数据资源;
在竞争到所述数据资源后,所述第一服务器基于所述数据资源执行所述目标定时任务。
第二方面,本说明书实施例还提供一种定时任务处理装置,应用于分布式系统中的第一服务器,所述装置包括:
任务加载模块,用于加载待执行的目标定时任务,其中,所述第一服务器所在集群包含多个服务器分组,所述分布式系统的每个定时任务被配置由一个服务器分组中的服务器执行,所述目标定时任务被配置由第一服务器分组中的服务器执行,所述第一服务器属于所述第一服务器分组;
资源竞争模块,用于在到达所述目标定时任务的定时时间时,在所述第一服务器分组中竞争执行所述目标定时任务所需的数据资源;
任务执行模块,在竞争到所述数据资源后,基于所述数据资源执行所述目标定时任务。
第三方面,本说明书实施例还提供一种定时任务处理系统,所述系统包括第一服务器,其中,所述第一服务器包括:
任务加载模块,用于加载待执行的目标定时任务,其中,所述第一服务器所在集群包含多个服务器分组,所述分布式系统的每个定时任务被配置由一个服务器分组中的服务器执行,所述目标定时任务被配置由第一服务器分组中的服务器执行,所述第一服务器属于所述第一服务器分组;
资源竞争模块,用于在到达所述目标定时任务的定时时间时,在所述第一服务器分组中竞争执行所述目标定时任务所需的数据资源;
任务执行模块,在竞争到所述数据资源后,基于所述数据资源执行所述目标定时任务。
第四方面,本说明书实施例还提供了一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本说明书实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤。
本说明书实施例采用的上述至少一个技术方案,由已有服务器集群下的不同服务器分组中的服务器执行不同的定时任务,不需要额外部署服务集群,因此可以在不改变或较少改变现有业务系统的架构的前提下,实现不同的定时任务在物理部署上被隔离、业务运行上被分开以及使用同一数据资源的目的,从而取得降低业务系统的运行成本的效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本说明书实施例提供的一种定时任务处理方法的流程示意图之一。
图2为本说明书实施例提供的一种定时任务处理方法的流程示意图之二。
图3为图2所示实施例中的步骤S104的一种详细流程示意图。
图4为本说明书实施例提供的一种分布式系统的结构示意图。
图5为本说明书实施例提供的一种定时任务处理装置的结构示意图之一。
图6为本说明书实施例提供的一种定时任务处理装置的结构示意图之二。
图7为图6所示实施例中的模块504的一种详细结构示意图。
图8为本说明书实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了在不改变或较少改变现有业务系统的架构的前提下,实现不同的定时任务在物理部署上被隔离、业务运行上被分开以及使用同一数据资源的目的,本说明书实施例提供了一种定时任务处理方法、装置及系统,下面结合附图分别进行说明。
为了更清楚地理解本发明实施例提供的技术方案,首先结合图1对本说明书实施例提供的分布式系统进行介绍。
本说明书实施例提供的分布式系统可以是分布式业务系统,如分布式电商业务系统,该分布式系统中可以包括多个应用(或称应用模块),如分布式电商业务可以系统包括订单管理应用、商户管理应用和运营应用等。
如图1所示,本说明书实施例提供的一种分布式系统,可以包括一个或多个服务器集群(以下简称集群)11,其中,至少一个服务器集群11可以被划分为多个(两个或两个以上)服务器分组,如划分为服务器分组A和服务器分组B。服务器分组A中可以包含至少一个服务器,如包含服务器A1、服务器A2和服务器A3等。服务器分组B中也可以包含至少一个服务器,如包含服务器B1、服务器B2和服务器B3等。
在实际应用中,分布式系统的一个应用对应一个服务集群,相应的,针对每一应用设置一个服务器集群标识,以表明该应用对应的具体服务器集群。
可选地,服务器分组A和服务器分组B之间还设置有防火墙113,以实现服务器分组A和服务器分组B在物理上的可靠隔离。也即在同一集群的不同服务器分组之间设置防火墙,以实现同一服务器集群下的不同服务器分组的可靠隔离,使得同一服务器集群下的不同服务器分组互不影响。
在本说明书实施例提供的分布式系统中,每个定时任务被配置由一个服务器分组中的服务器执行,如定时任务A被配置由服务器分组A中的服务器执行,定时任务B被配置由服务器分组B中的服务器执行。进一步地,执行定时任务A和定时任务B时需要使用目标数据库12中的同一数据资源。
如此一来,假设定时任务A为分布式系统自身的定时任务,定时任务B为分布式系统需要与第三方系统交互的定时任务,那么当定时任务A被配置由服务器分组A中的服务器执行,定时任务B被配置由服务器分组B中的服务器执行,即可在不改变或较少改变分布式系统的架构的前提下,实现分布式系统自身的定时任务和需要与第三方系统交互的定时任务在物理部署上被隔离、业务运行上被分开以及使用同一数据资源的目的,从而取得降低业务系统的运行成本、提高分布式系统开发效率以及节约服务器资源的效果。
例如,假如分布式电商系统常与法院、海关等第三方系统对接,且分布式电商系统需要与这些第三方系统交互才能完成一些特定的定时任务,则可以配置分布式电商系统自身的定时任务由服务器分组A中的服务器(如服务器A1至服务器A3)执行,配置需要与海关交互的定时任务由服务器分组B中的服务器(如服务器B1至服务器B3)执行,配置需要与法院交互的定时任务由第三服务器分组中的服务器(如服务器C1至服务器C3,图1中未示出)执行,以此类推,以取得降低业务系统的运行成本、提高分布式系统开发效率以及节约服务器资源的效果。
需要说明的是,在本说明书实施例中,分布式系统自身的定时任务,可以理解为是不需要与第三方系统交互即可完成的定时任务。以及,可选地,需要与不同的第三方系统交互的定时任务由不同的服务器分组中的服务器执行。
总之,本说明书实施例提供的一种分布式系统,由于一个集群被划分成多个服务器分组,且每一个定时任务被配置由一个服务器分组中的服务器执行,因此,可以在不改变或少改变分布式系统的架构的前提下,通过配置实现不同的定时任务在物理部署上被隔离、业务运行上被分开以及使用同一数据资源的的目的,从而取得降低业务系统的运行成本、提高分布式系统开发效率以及节约服务器资源的效果。
在图1的基础上,下面结合图2对本说明书实施例提供的一种定时任务处理方法进行说明。需要说明的是,实施本说明书实施例提供的一种定时任务处理方法的执行主体,可以是图1所示的分布式系统中的任一服务器。
如图2所示,本说明书实施例提供的一种定时任务处理方法,应用于分布式系统的服务器,可以包括如下步骤:
S201、第一服务器加载待执行的目标定时任务,其中,所述第一服务器所在集群包含多个服务器分组,所述分布式系统的每个定时任务被配置由一个服务器分组中的服务器执行,所述目标定时任务被配置由第一服务器分组中的服务器执行,所述第一服务器属于所述第一服务器分组。
参考图1可知,作为一个例子,第一服务器所在集群可以是集群11,集群11包含服务器分组A和第二服务器分组B。第一服务器可以是服务器分组A中的任一服务器,如服务器A1、服务器A2和服务器A3中的任一服务器;或者,第一服务器可以是服务器分组B中的任一服务器,如服务器B1、服务器B2和服务器B3中的任一服务器。当第一服务器是服务器分组A中的服务器时,第一服务器分组为服务器分组A;当第一服务器是服务器分组B中的服务器时,第一服务器分组为服务器分组B。
目标定时任务可以是预先配置的允许由第一服务器分组中的服务器执行的定时任务。关于定时任务的配置下文会详细描述,此处暂且不表。
S202、在到达所述目标定时任务的定时时间时,所述第一服务器在所述第一服务器分组中竞争执行所述目标定时任务所需的数据资源。
第一服务器可以按照预设的时间间隔(如1s)扫描目标定时任务(被配置由第一服务器分组中的服务器执行的定时任务),并将定时时间与当前的扫描时间一致的目标定时任务筛选出来,在所述第一服务器分组中竞争执行筛选出的所述目标定时任务所需的数据资源。
参考图1可知,作为一个例子,如果第一服务器为服务器分组A中的服务器A1,由于服务器分组A中的服务器A2和服务器A3也被配置为可以执行目标定时任务,因此,服务器A1将与服务器A2以及服务器A3一起竞争执行筛选出的目标定时任务所需的数据资源。具体的竞争过程是,服务器A1将与服务器A2以及服务器A3一起争抢所述数据资源的锁,争抢到锁的服务器竞争成功。
执行所述目标任务时所述的数据资源可以存储在如图1所示的目标数据库中。该数据资源可以是执行不同的定时任务时均需要使用的数据资源,在此基础上,可选地,可以在目标数据库中针对每一服务器分组设置一套临时文件(如临时表),该临时文件用于存储执行定时任务时所需的配置信息。临时文件既可以自动创建也可以手动创建。
例如,假设分布式系统的一个应用对应的服务器集群为图1所示的集群11,该应用对应存在定时任务A和定时任务B,其中,定时任务A被配置由服务器分组A中的服务器执行,定时任务B被配置由服务器分组B中的服务器执行,则目标数据库12中可以分别针对服务器分组A和服务器分组B设置临时文件A和临时文件B,其中,临时文件A用于存储执行定时任务A时所需的配置信息,临时文件B用于存储执行定时任务B时所需的配置信息。
执行定时任务时所需的配置信息可以包括但不限于定时任务标识(如名称)、定时时间、所需使用的数据资源信息、定时任务所属的服务器分组、定时任务的执行周期以及定时任务的执行状态,等等。其中,部分配置信息具有一定的生命周期,例如定时开始时间及定时结束时间仅在定时任务执行的过程中有效。
步骤203、在竞争到所述数据资源后,所述第一服务器基于所述数据资源执行所述目标定时任务。
也即第一服务器在竞争到所述数据资源后,即可使用所述数据资源执行所述目标定时任务。
本说明书实施例提供的一种定时任务处理方法,由已有服务器集群下的不同服务器分组中的服务器执行不同的定时任务,不需要额外部署服务集群,因此可以在不改变或较少改变现有业务系统的架构的前提下,实现不同的定时任务在物理部署上被隔离、业务运行上被分开以及使用同一数据资源的目的,从而取得降低业务系统的运行成本、提高分布式系统开发效率以及节约服务器资源的效果。
此外,由于一个定时任务可以被配置由一个服务器分组中的多个服务器竞争执行,而不是由某一指定的服务器执行,因此能够保证服务器资源的均匀分配,达到负载均衡的目的。再有,一个定时任务仅被分配由一个服务器分组中的服务器执行,因此可以保证分配至指定服务器分组的定时任务,不会出现在其他服务器分组中,实现了不同定时任务在物理部署上被隔离、业务运行上被分开的目的。
下面结合图3和图4对分布式系统的定时任务的配置进行说明。
可选地,如图3所示,在步骤201之前,本说明书实施例提供的一种定时任务处理方法,还可以包括:
步骤204、所述第一服务器基于所述分布式系统的定时任务与服务器分组的对应关系,确定被配置由所述第一服务器分组中的服务器执行的所述目标定时任务。
具体的,如图4所示,步骤204可以包括:
子步骤401、所述第一服务器在启动预设应用后,获取所述分布式系统的定时任务。
其中,预设应用,即第一服务器所在的集群对应的应用。第一服务器在启动预设应用后,可以读取所述第一服务器所在的服务器分组信息和所述分布式系统的所有定时任务信息,根据读取的分组信息确定第一服务器所在的服务器分组,根据读取的定时任务信息确定分布式系统的定时任务。
子步骤402、所述第一服务器遍历所述分布式系统的定时任务。
子步骤403、基于所述分布式系统的定时任务与服务器分组的对应关系,确定当前遍历到的定时任务是否被配置由所述第一服务器分组执行;如果是,执行步骤404,否则跳过当前遍历到的定时任务返回执行子步骤402,直到遍历完,即直到遍历所述分布式系统的最后一个定时任务。
作为一个例子,分布式系统的定时任务与服务器分组的对应关系可以如表1所示,该对应关系可以存储在第一服务器自身的配置文件中。
表1
定时任务A | 服务器分组A |
定时任务B | 服务器分组B |
定时任务C | 服务器分组C |
··· | ··· |
不难理解,根据表1,如果当前遍历到的定时任务对应的服务器分组是第一服务器分组,则认为当前遍历到的定时任务被配置由所述第一服务器分组执行;否则,认为当前遍历到的定时任务未被配置由所述第一服务器分组执行。
子步骤404、将当前遍历到的定时任务确定为所述目标定时任务。
通过本说明书实施例,可以实现配置分布式系统的每个定时任务由一个服务器分组中的服务器执行的目的。
可选地,如图4所示,在子步骤404之后,步骤204还可以包括:
子步骤405、生成针对所述目标定时任务的任务实例,并将所述目标定时任务的实例信息发送至所述目标数据库,所述目标数据库中存储有所述数据资源和目标临时文件,所述目标临时文件用于存储执行所述目标定时任务所需的配置信息。
目标定时任务的实例信息可以包括但不限于:目标定时任务的名称、目标定时任务描述、目标定时任务的类型、触发的时间表达式以及目标定时任务状态等。此外,关于临时文件的说明请参见上文,此处不作重复描述。
相应的,上述步骤103可以包括:在竞争到所述数据资源后,所述第一服务器基于所述实例信息、所述配置信息以及所述数据资源,执行所述目标定时任务。
可选地,在另一实施例中,本说明书实施例提供的一种定时任务处理方法,还可以包括:
所述第一服务器从目标数据库中,读取所述第一服务器组中各服务器的负载信息;如果所述第一服务器根据所述负载信息确定自身的负载不满足预设条件,则在下一次到达所述目标定时任务的定时时间时,由第二服务器在所述第一服务器分组中竞争执行所述目标定时任务所需的数据资源,并在竞争到所述数据资源后,基于所述数据资源执行所述目标定时任务;其中,所述第二服务器是所述第一服务器分组中负载满足所述预设条件的服务器。
其中,服务器的负载信息可以包括但不限于心跳信息、CPU使用率和内存占用率等信息中的至少一种。相应的,预设条件可以包括但不限于心跳小于预设心跳、CPU使用率小于预设使用率、内存占用率小于预设占用率等条件中的至少一种。
可以理解,本说明书实施例可以根据服务器的负载信息,将下一次目标定时任务分配至服务器分组中相对空闲的服务器,从达到负载均衡的目的。
可选地,在另一实施例中,本说明书实施例提供的一种定时任务处理方法,还可以包括:
如果所述第一服务器出现异常,则在下一次到达所述目标定时任务的定时时间时,由第三服务器在所述第一服务器分组中竞争执行所述目标定时任务所需的数据资源,并在竞争到所述数据资源后,基于所述数据资源执行所述目标定时任务;其中,所述第三服务器为所述第一服务器组中未出现异常的服务器。
不难理解,本说明书实施例可以在第一服务器分组中的某一服务器出现异常(如下线了)时,将下一次目标定时任务分配至第一服务器分组中未出现异常的可用服务器中,因此可以保证目标定时任务的持续可用性,从而提高所述分布式系统的性能、稳定性以及执行定时任务的效率。
可选地,在本说明书的任一实施例中,上述第一服务器、第二服务器和第三服务器中的至少一个可以是第一服务器分组中新增的服务器节点。也就是说,如果服务器分组新增服务器节点,则分布式系统可以自动识别新增服务器节点,以使新增服务器节点参与到定时任务的分配与执行中。
以上对本说明书实施例提供的一种定时任务处理方法进行了说明。相应于上述方法实施例,本说明书实施例还提供了一种定时任务处理装置,下面进行介绍。
如图5所示,本说明书实施例提供的一种定时任务处理装置,可以应用于分布式系统的第一服务器中,可以理解,第一服务器可以是图1所示的集群11中的任一服务器,该装置可以包括:任务加载模块501、资源竞争模块502和任务执行模块503。
任务加载模块501,用于加载待执行的目标定时任务,其中,所述第一服务器所在集群包含多个服务器分组,所述分布式系统的每个定时任务被配置由一个服务器分组中的服务器执行,所述目标定时任务被配置由第一服务器分组中的服务器执行,所述第一服务器属于所述第一服务器分组。
资源竞争模块502,用于在到达所述目标定时任务的定时时间时,在所述第一服务器分组中竞争执行所述目标定时任务所需的数据资源。
具体的,资源竞争模块502可用于:按照预设的时间间隔(如1s)扫描目标定时任务(被配置由第一服务器分组中的服务器执行的定时任务),并将定时时间与当前的扫描时间一致的目标定时任务筛选出来,在所述第一服务器分组中竞争执行筛选出的所述目标定时任务所需的数据资源。
执行所述目标任务时所述的数据资源可以存储在如图1所示的目标数据库中。该数据资源可以是执行不同的定时任务时均需要使用的数据资源,在此基础上,可选地,可以在目标数据库中针对每一服务器分组设置一套临时文件(如临时表),该临时文件用于存储执行定时任务时所需的配置信息。临时文件既可以自动创建也可以手动创建。
执行定时任务时所需的配置信息可以包括但不限于定时任务标识(如名称)、定时时间、所需使用的数据资源信息、定时任务所属的服务器分组、定时任务的执行周期以及定时任务的执行状态,等等。其中,部分配置信息具有一定的生命周期,例如定时开始时间及定时结束时间仅在定时任务执行的过程中有效。
任务执行模块503,用于在竞争到所述数据资源后,基于所述数据资源执行所述目标定时任务。
也即任务执行模块503,可用于第一服务器在竞争到所述数据资源后,即可使用所述数据资源执行所述目标定时任务。
本说明书实施例提供的一种定时任务处理装置,可以基于配置实现目标定时任务由第一服务器分组中的服务器执行的目的,不需要额外部署服务集群,因此可以在不改变或较少改变现有业务系统的架构的前提下,实现不同的定时任务在物理部署上被隔离、业务运行上被分开以及使用同一数据资源的目的,从而取得降低业务系统的运行成本、提高分布式系统开发效率以及节约服务器资源的效果。
此外,由于一个定时任务可以被配置由一个服务器分组中的多个服务器竞争执行,而不是由某一指定的服务器执行,因此能够保证服务器资源的均匀分配,达到负载均衡的目的。再有,一个定时任务仅被分配由一个服务器分组中的服务器执行,因此可以保证分配至指定服务器分组的定时任务,不会出现在其他服务器分组中,实现了不同定时任务在物理部署上被隔离、业务运行上被分开的目的。
可选地,如图6所示,本说明书实施例提供的一种定时任务处理方法,还可以包括:任务确定模块504。
任务确定模块504,用于基于所述分布式系统的定时任务与服务器分组的对应关系,确定被配置由所述第一服务器分组中的服务器执行的所述目标定时任务。
具体的,如图7所示,任务确定模块504可以包括:任务获取子模块5041、遍历子模块5042、判断子模块5043和任务确定子模块5044。
任务获取子模块5041,用于在所述第一服务器在启动预设应用后,获取所述分布式系统的定时任务。
其中,预设应用,即第一服务器所在的集群对应的应用。第一服务器在启动预设应用后,可以读取所述第一服务器所在的服务器分组信息和所述分布式系统的所有定时任务信息,根据读取的分组信息确定第一服务器所在的服务器分组,根据读取的定时任务信息确定分布式系统的定时任务。
遍历子模块5042,用于所述第一服务器遍历所述分布式系统的定时任务。
判断子模块5043,用于基于所述分布式系统的定时任务与服务器分组的对应关系,确定当前遍历到的定时任务是否被配置由所述第一服务器分组执行;如果是,触发任务确定子模块5044,否则触发所述遍历子模块5042直到遍历完,即直到遍历所述分布式系统的最后一个定时任务。
可以理解,通过本说明书实施例,在分布式系统中的每一服务器执行上述步骤之后,即可以实现配置分布式系统的每个定时任务由一个服务器分组中的服务器执行的目的。
可选地,如图7所示,任务确定模块504还可以包括:
实例生成子模块5045,用于生成针对所述目标定时任务的任务实例,并将所述目标定时任务的实例信息发送至所述目标数据库,所述目标数据库中存储有所述数据资源和目标临时文件,所述目标临时文件用于存储执行所述目标定时任务所需的配置信息。
目标定时任务的实例信息可以包括但不限于:目标定时任务的名称、目标定时任务描述、目标定时任务的类型、触发的时间表达式以及目标定时任务状态等。此外,关于临时文件的说明请参见上文,此处不作重复描述。
相应的,上述任务执行模块503可用于:在竞争到所述数据资源后,所述第一服务器基于所述实例信息、所述配置信息以及所述数据资源,执行所述目标定时任务。
可选地,在另一个实施例中,图5所示的一种定时任务处理装置,还可以包括:负载信息获取模块,用于从目标数据库中,读取所述第一服务器组中各服务器的负载信息。
进一步地,如果所述负载信息获取模块根据所述负载信息确定自身的负载不满足预设条件,则在下一次到达所述目标定时任务的定时时间时,触发第二服务器中的上述资源竞争模块502和任务执行模块503执行所述目标定时任务。所述第二服务器是所述第一服务器分组中负载满足所述预设条件的服务器。
其中,服务器的负载信息可以包括但不限于心跳信息、CPU使用率和内存占用率等信息中的至少一种。相应的,预设条件可以包括但不限于心跳小于预设心跳、CPU使用率小于预设使用率、内存占用率小于预设占用率等条件中的至少一种。
可以理解,本说明书实施例可以根据服务器的负载信息,将下一次目标定时任务分配至服务器分组中相对空闲的服务器,从达到负载均衡的目的。
可选地,如果所述第一服务器出现异常,则在下一次到达所述目标定时任务的定时时间时,触发第三服务器中的上述资源竞争模块502和任务执行模块503执行所述目标定时任务;其中,所述第三服务器为所述第一服务器组中未出现异常的服务器。
不难理解,本说明书实施例可以在第一服务器分组中的某一服务器出现异常(如下线了)时,将下一次目标定时任务分配至第一服务器分组中未出现异常的可用服务器中,因此可以保证目标定时任务的持续可用性,从而提高所述分布式系统的性能、稳定性以及执行定时任务的效率。
可选地,在本说明书的任一实施例中,上述第一服务器、第二服务器和第三服务器中的至少一个可以是第一服务器分组中新增的服务器节点。也就是说,如果服务器分组新增服务器节点,则分布式系统可以自动识别新增服务器节点,以使新增服务器节点参与到定时任务的分配与执行中。
需要说明的是,由于装置实施例执行的内容与方法实施例类似,因此,本文对装置实施例部分描述的较为简略,相关之处请参见方法实施例部分。
图8示出了是本说明书实施例提供的一种电子设备的结构示意图。请参考图8,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成定时任务处理装置。处理器,执行存储器所存放的程序,并具体用于执行本说明书实施例提供的定时任务处理方法。
上述如本申请图8所示实施例揭示的定时任务处理装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
本说明书实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图5所示实施例中定时任务处理装置执行的方法,并具体用于执行本说明书实施例提供的定时任务处理方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是,本申请中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (8)
1.一种定时任务处理方法,其特征在于,应用于分布式系统的服务器,所述方法包括:
第一服务器加载待执行的目标定时任务,其中,所述第一服务器所在集群包含多个服务器分组,所述分布式系统的每个定时任务被配置由一个服务器分组中的服务器执行,所述目标定时任务被配置由第一服务器分组中的服务器执行,所述第一服务器属于所述第一服务器分组;
在到达所述目标定时任务的定时时间时,所述第一服务器在所述第一服务器分组中竞争执行所述目标定时任务所需的数据资源;
在竞争到所述数据资源后,所述第一服务器基于所述数据资源执行所述目标定时任务;
其中,在所述第一服务器加载待执行的目标定时任务之前,所述方法包括:
所述第一服务器基于所述分布式系统的定时任务与服务器分组的对应关系,确定被配置由所述第一服务器分组中的服务器执行的所述目标定时任务;
所述第一服务器基于所述分布式系统的定时任务与服务器分组的对应关系,确定被配置由所述第一服务器分组中的服务器执行的所述目标定时任务,包括:
所述第一服务器在启动预设应用后,获取所述分布式系统的定时任务;
其中,预设应用,即第一服务器所在的集群对应的应用;第一服务器在启动预设应用后,读取所述第一服务器所在的服务器分组信息和所述分布式系统的所有定时任务信息,根据读取的分组信息确定第一服务器所在的服务器分组,根据读取的定时任务信息确定分布式系统的定时任务;
所述第一服务器遍历所述分布式系统的定时任务;
基于所述分布式系统的定时任务与服务器分组的对应关系,确定当前遍历到的定时任务是否被配置由所述第一服务器分组执行;
如果当前遍历到的定时任务对应的服务器分组是第一服务器分组,则认为当前遍历到的定时任务被配置由所述第一服务器分组执行;否则,认为当前遍历到的定时任务未被配置由所述第一服务器分组执行;
若确定当前遍历到的定时任务被配置由所述第一服务器分组执行,则将当前遍历到的定时任务确定为所述目标定时任务;
若确定当前遍历到的定时任务未被配置由所述第一服务器分组执行,则继续遍历所述分布式系统的下一定时任务直到遍历完。
2.根据权利要求1所述的方法,其特征在于,在所述将当前遍历到的定时任务确定为所述目标定时任务之后,在所述第一服务器加载待执行的目标定时任务之前,所述方法包括:
生成针对所述目标定时任务的任务实例,并将所述目标定时任务的实例信息发送至所述目标数据库,所述目标数据库中存储有所述数据资源和目标临时文件,所述目标临时文件用于存储执行所述目标定时任务所需的配置信息;
其中,所述在竞争到所述数据资源后,所述第一服务器基于所述数据资源执行所述目标定时任务,包括:
在竞争到所述数据资源后,所述第一服务器基于所述实例信息、所述配置信息以及所述数据资源,执行所述目标定时任务。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第一服务器从目标数据库中,读取所述第一服务器组中各服务器的负载信息;
如果所述第一服务器根据所述负载信息确定自身的负载不满足预设条件,则在下一次到达所述目标定时任务的定时时间时,由第二服务器在所述第一服务器分组中竞争执行所述目标定时任务所需的数据资源,并在竞争到所述数据资源后,基于所述数据资源执行所述目标定时任务;
其中,所述第二服务器是所述第一服务器分组中负载满足所述预设条件的服务器。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
如果所述第一服务器出现异常,则在下一次到达所述目标定时任务的定时时间时,由第三服务器在所述第一服务器分组中竞争执行所述目标定时任务所需的数据资源,并在竞争到所述数据资源后,基于所述数据资源执行所述目标定时任务;
其中,所述第三服务器为所述第一服务器组中未出现异常的服务器。
5.一种定时任务处理装置,应用于分布式系统中的第一服务器,所述装置包括:
任务加载模块,用于加载待执行的目标定时任务,其中,所述第一服务器所在集群包含多个服务器分组,所述分布式系统的每个定时任务被配置由一个服务器分组中的服务器执行,所述目标定时任务被配置由第一服务器分组中的服务器执行,所述第一服务器属于所述第一服务器分组;
资源竞争模块,用于在到达所述目标定时任务的定时时间时,在所述第一服务器分组中竞争执行所述目标定时任务所需的数据资源;
任务执行模块,用于在竞争到所述数据资源后,基于所述数据资源执行所述目标定时任务;
任务确定模块,用于基于所述分布式系统的定时任务与服务器分组的对应关系,确定被配置由所述第一服务器分组中的服务器执行的所述目标定时任务;
任务确定模块包括:任务获取子模块、遍历子模块、判断子模块和任务确定子模块;
任务获取子模块,用于在所述第一服务器在启动预设应用后,获取所述分布式系统的定时任务;
其中,预设应用,即第一服务器所在的集群对应的应用;第一服务器在启动预设应用后,读取所述第一服务器所在的服务器分组信息和所述分布式系统的所有定时任务信息,根据读取的分组信息确定第一服务器所在的服务器分组,根据读取的定时任务信息确定分布式系统的定时任务;
遍历子模块,用于所述第一服务器遍历所述分布式系统的定时任务;
判断子模块,用于基于所述分布式系统的定时任务与服务器分组的对应关系,确定当前遍历到的定时任务是否被配置由所述第一服务器分组执行;如果当前遍历到的定时任务对应的服务器分组是第一服务器分组,则认为当前遍历到的定时任务被配置由所述第一服务器分组执行;否则,认为当前遍历到的定时任务未被配置由所述第一服务器分组执行;如果是,触发任务确定子模块,否则触发所述遍历子模块直到遍历完,即直到遍历所述分布式系统的最后一个定时任务。
6.一种分布式系统,其特征在于,所述系统包括一个或多个服务器集群,其中,至少一个所述服务器集群被划分成多个服务器分组,所述系统的每个定时任务被配置由一个服务器分组中的服务器执行;所述服务器使用权利要求1所述的定时任务处理方法。
7.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911009801.3A CN110806939B (zh) | 2019-10-23 | 2019-10-23 | 一种定时任务处理方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911009801.3A CN110806939B (zh) | 2019-10-23 | 2019-10-23 | 一种定时任务处理方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110806939A CN110806939A (zh) | 2020-02-18 |
CN110806939B true CN110806939B (zh) | 2022-09-20 |
Family
ID=69488939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911009801.3A Active CN110806939B (zh) | 2019-10-23 | 2019-10-23 | 一种定时任务处理方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110806939B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111479117B (zh) * | 2020-04-03 | 2022-01-28 | 湖南快乐阳光互动娱乐传媒有限公司 | 直播信源输出方法及装置 |
CN112181917B (zh) * | 2020-09-25 | 2024-07-19 | 中国建设银行股份有限公司 | 一种流水文件装载方法、装置、服务器和存储介质 |
CN112433832A (zh) * | 2020-11-17 | 2021-03-02 | 北京沃东天骏信息技术有限公司 | 一种任务触发方法、装置、设备及计算机可读存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106936618B (zh) * | 2015-12-31 | 2020-09-11 | 北京神州泰岳软件股份有限公司 | 一种数据采集方法和系统 |
CN107092523A (zh) * | 2017-04-14 | 2017-08-25 | 浙江数链科技有限公司 | 定时任务的调度方法和系统 |
CN109739627B (zh) * | 2018-12-26 | 2021-05-28 | 上海连尚网络科技有限公司 | 任务的调度方法、电子设备及介质 |
-
2019
- 2019-10-23 CN CN201911009801.3A patent/CN110806939B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110806939A (zh) | 2020-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110806939B (zh) | 一种定时任务处理方法、装置及系统 | |
CN110896404B (zh) | 数据处理的方法、装置和计算节点 | |
CN107203465B (zh) | 系统接口测试方法及装置 | |
CN108600034B (zh) | 业务压力管理方法、装置、设备、系统及存储介质 | |
CN105760395A (zh) | 一种数据处理的方法、装置及系统 | |
CN110750343B (zh) | 集群系统定时任务调度控制方法及集群系统 | |
CN109391512A (zh) | 一种服务发布方法、装置及电子设备 | |
CN112181522A (zh) | 数据处理的方法、装置以及电子设备 | |
CN116185869A (zh) | 一种软件测试方法、系统、计算机设备及存储介质 | |
CN113268310B (zh) | 一种Pod资源配额调整方法、装置、电子设备及存储介质 | |
CN110955460B (zh) | 一种服务进程启动方法、装置、电子设备和存储介质 | |
CN109005191B (zh) | 一种验证方法和系统、仲裁节点、存储介质 | |
CN112559565A (zh) | 一种异常检测方法、系统及装置 | |
CN106970834A (zh) | 任务处理的方法及装置 | |
CN116743762A (zh) | 服务注册集群流量切换方法、流量切换装置及存储介质 | |
CN113687882B (zh) | 基于activiti的流程回退方法、装置和存储介质 | |
CN116126937A (zh) | 作业调度方法、装置、电子设备及存储介质 | |
CN110609707A (zh) | 在线数据处理系统生成方法、装置及设备 | |
CN115098254A (zh) | 子任务序列的触发执行方法、系统及电子设备 | |
CN110750271B (zh) | 服务聚合、聚合服务的执行方法、装置和电子设备 | |
CN107919980B (zh) | 一种集群化系统的评测方法和装置 | |
CN112468463A (zh) | 一种基于云原生能力网关的场景能力编排的装置及方法 | |
CN113741868A (zh) | 业务计算任务处理方法、装置、计算机设备和存储介质 | |
CN113204434B (zh) | 基于k8s的计划任务执行方法、装置及计算机设备 | |
CN111159236A (zh) | 数据处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |