CN110888730A - 分布式任务调度方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请涉及一种分布式任务调度方法、装置、计算机设备及存储介质，其中该方法包括：获取分布式任务调度请求；根据所述分布式任务调度请求，遍历当前所有服务器的IP地址并记录所有IP地址总数；将待分配任务的ID发送至各个服务器并判断所述服务器是否正在执行所述待分配任务；若所述服务器没有正在执行所述待分配任务，则根据所述服务器返回的结果将计数变量加一；若所述计数变量类加至和所述所有IP地址总数一致，则从所述IP地址中随机抽取一个IP地址进行返回。本发明实现了充分利用分布式系统的优势，让任务可以自由在多个服务器中切换执行，负载均衡，保持尽量平均每个服务器的负载压力，保证了分布式系统执行任务的稳定性和可靠性。

Description

分布式任务调度方法、装置、计算机设备及存储介质

技术领域

本发明涉及计算机技术领域，特别是涉及一种分布式任务调度方法、装置、计算机设备及存储介质。

背景技术

目前，分布式系统中，任务调度是非常重要的一个组成部分。一个任务在多台机器中怎么运行，采取什么路由策略去选择哪一台机器运行，当任务运行阻塞的时候该选择什么阻塞策略去处理此时到来的调度，这都是我们需要考虑的问题。比如一个任务要在某个时间执行，那么在分布式系统中，到了这个时间多个机器就会同时执行该任务，这样就会导致任务的重复执行。系统引入分布式任务调度平台之后，就可以控制任务在哪台机器上执行从而避免重复执行的问题。但是实际情况使用这种搭配策略的现实是，当A机器正在运行着任务时，这个任务再产生一次调度的话，如果随机调度到A机器的话，确实会丢弃此次调度，但是如果随机调度到B机器的话，就会在B机器上运行。这样就导致了任务的重复执行，然后使业务逻辑产生错误，数据存储混乱，最终任务执行失败。

在传统技术中，任务与机器形成永久一一映射的路由策略，即不使用随机的路由策略，而是使用直接控制某台机器一一映射到执行任务的路由策略，同时还是使用着丢弃后续调度的阻塞策略。这样当一个任务调度的时候，就只会在某台机器上执行，当该任务还没执行完，下一次调度产生的时候，也会调度到这台机器上，然后发现这台机器正在运行该任务，接着就丢弃掉此次调度。这样就不会产生重复执行任务的情况了。

然而，任务与机器形成永久一一映射的方案的存在如下缺点：多任务分配给服务器的压力不均匀，使某台机器的CPU占用率和内存使用率持续偏高。比如A任务要处理大量的数据操作，而B任务只是处理少量的数据，那么一直运行着A任务的机器的压力就会持续很大，而运行着B任务的机器则会一直毫无压力。这样就会使服务器的负载分配持续地极其不均匀，从而可能引发一方宕机，而另一方则使用率偏低等问题。

发明内容

基于此，有必要针对上述技术问题，提供一种可以实现负载均衡的分布式任务调度方法、装置、计算机设备及存储介质。

一种分布式任务调度方法，所述方法包括：

获取分布式任务调度请求；

根据所述分布式任务调度请求，遍历当前所有服务器的IP地址并记录所有IP地址总数；

将待分配任务的ID发送至各个服务器并判断所述服务器是否正在执行所述待分配任务；

若所述服务器没有正在执行所述待分配任务，则根据所述服务器返回的结果将计数变量加一；

若所述计数变量类加至和所述所有IP地址总数一致，则从所述IP地址中随机抽取一个IP地址进行返回。

在其中一个实施例中，在所述将待分配任务的ID发送至各个服务器并判断所述服务器是否正在执行所述待分配任务的步骤之后还包括：

若所述服务器正在运行所述待分配任务，则直接返回false；

结束调度，返回调度失败并同时打印调度失败日志。

在其中一个实施例中，所述若所述服务器没有正在执行所述待分配任务，则根据所述服务器返回的结果将计数变量加一的步骤还包括：

预设一计数变量，所述计数变量初始值为零；

每当一服务器未返回false时，则所述计数变量加一。

在其中一个实施例中，在所述若所述计数变量类加至和所述所有IP地址总数一致，则从所述IP地址中随机抽取一个IP地址进行返回的步骤之后还包括：

根据返回的IP地址选择对应的服务器执行ID对应的待分配任务。

一种分布式任务调度装置，所述装置包括：

获取模块，所述获取模块用于获取分布式任务调度请求；

遍历模块，所述遍历模块用于根据所述分布式任务调度请求，遍历当前所有服务器的IP地址并记录所有IP地址总数；

判断模块，所述判断模块用于将待分配任务的ID发送至各个服务器并判断所述服务器是否正在执行所述待分配任务；

累计模块，所述累计模块用于若所述服务器没有正在执行所述待分配任务，则根据所述服务器返回的结果将计数变量加一；

第一返回模块，所述第一返回模块用于若所述计数变量类加至和所述所有IP地址总数一致，则从所述IP地址中随机抽取一个IP地址进行返回。

在其中一个实施例中，所述装置还包括第二返回模块，所述第二返回模块用于：

若所述服务器正在运行所述待分配任务，则直接返回false；

结束调度，返回调度失败并同时打印调度失败日志。

在其中一个实施例中，所述累计模块还用于：

预设一计数变量，所述计数变量初始值为零；

每当一服务器未返回false时，则所述计数变量加一。

在其中一个实施例中，所述装置还包括：

分配模块，所述分配模块用于根据返回的IP地址选择对应的服务器执行ID对应的待分配任务。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项方法的步骤。

上述分布式任务调度方法、装置、计算机设备和存储介质，通过获取分布式任务调度请求；根据所述分布式任务调度请求，遍历当前所有服务器的IP地址并记录所有IP地址总数；将待分配任务的ID发送至各个服务器并判断所述服务器是否正在执行所述待分配任务；若所述服务器没有正在执行所述待分配任务，则根据所述服务器返回的结果将计数变量加一；若所述计数变量类加至和所述所有IP地址总数一致，则从所述IP地址中随机抽取一个IP地址进行返回。本发明实现了充分利用分布式系统的优势，让任务可以自由在多个服务器中切换执行，并达到了负载均衡的技术效果，保持尽量平均每个服务器的负载压力，保证了分布式系统执行任务的稳定性和可靠性。

附图说明

图1为现有技术中分布式任务调度策略的流程示意图；

图2为一个实施例中分布式任务调度方法的流程示意图；

图3为另一个实施例中分布式任务调度方法的流程示意图；

图4为再一个实施例中分布式任务调度方法的流程示意图；

图5为又一个实施例中分布式任务调度方法的流程示意图；

图6为一个实施例中分布式任务调度装置的结构框图；

图7为另一个实施例中分布式任务调度装置的结构框图；

图8为再一个实施例中分布式任务调度装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

目前，现有技术中分布式任务调度的技术方案参考图1所示，具体包括：首先点击执行任务，然后根据路由策略获取执行任务的IP地址，最后通知该IP地址对应的服务器去执行相应的任务，通过任务与机器形成永久一一映射的路由策略，即不使用随机的路由策略，而是使用直接控制某台机器一一映射到执行任务的路由策略。同时还是使用着丢弃后续调度的阻塞策略，这样当一个任务调度的时候，就只会在某台机器上执行，当该任务还没执行完，下一次调度产生的时候，也会调度到这台机器上，然后发现这台机器正在运行该任务，接着就丢弃掉此次调度，这样就不会产生重复执行任务的情况了。

上述方案中存在的缺点至少包括：多任务分配给服务器的压力不均匀，使某台机器的CPU占用率和内存使用率持续偏高。比如A任务要处理大量的数据操作，而B任务只是处理少量的数据，那么一直运行着A任务的机器的压力就会持续很大，而运行着B任务的机器则会一直毫无压力。这样就会使服务器的负载分配持续地极其不均匀，从而可能引发一方宕机，而另一方则使用率偏低等问题。

鉴于此，本发明提出一种新的分布式任务调度路由策略，旨在可以实现负载均衡，以保持尽量平均每个服务器的负载压力。

在一个实施例中，如图2所示，提供了一种分布式任务调度方法，该方法包括：

步骤202，获取分布式任务调度请求；

步骤204，根据分布式任务调度请求，遍历当前所有服务器的IP地址并记录所有IP地址总数；

步骤206，将待分配任务的ID发送至各个服务器并判断服务器是否正在执行待分配任务；

步骤208，若服务器没有正在执行待分配任务，则根据服务器返回的结果将计数变量加一；

步骤210，若计数变量类加至和所有IP地址总数一致，则从IP地址中随机抽取一个IP地址进行返回。

结合图5所示，本实施例中提供的分布式任务调度方法依然使用的是丢弃后续调度的阻塞策略。具体地，首先获取分布式任务调度请求，在该请求中包括了待分配任务的具体内容以及对应的任务ID，每个任务对应一个唯一的任务ID。然后，根据该请求遍历当前所有的机器的IP地址并通过记录所有IP地址总数得到当前所有机器的总数。接着，将待分配任务的ID发送至各个服务器并判断服务器是否正在执行待分配任务，若服务器没有正在执行待分配任务，则根据服务器返回的结果将计数变量加一。具体地，如果有任一机器正在运行与该ID相同的任务，那么直接返回false；如果机器没有正在运行与该ID相同的任务，那么不返回false。这里有一个计数变量，只要前面没有返回false，计数变量就加一。最后，若计数变量类加至和所有IP地址总数一致，则从IP地址中随机抽取一个IP地址进行返回。

在其中一个实施例中，在若计数变量类加至和所有IP地址总数一致，则从IP地址中随机抽取一个IP地址进行返回的步骤之后还包括：根据返回的IP地址选择对应的服务器执行ID对应的待分配任务。

具体地，如果计数变量加到和机器数量一致，那么就说明当前没有机器在执行该任务，然后就从所有的机器的IP地址中随机抽取一个IP地址进行返回，然后选择该机器去执行该ID的任务。

在上述实施例中，通过获取分布式任务调度请求；根据所述分布式任务调度请求，遍历当前所有服务器的IP地址并记录所有IP地址总数；将待分配任务的ID发送至各个服务器并判断所述服务器是否正在执行所述待分配任务；若所述服务器没有正在执行所述待分配任务，则根据所述服务器返回的结果将计数变量加一；若所述计数变量类加至和所述所有IP地址总数一致，则从所述IP地址中随机抽取一个IP地址进行返回。本方案实现了充分利用分布式系统的优势，让任务可以自由在多个服务器中切换执行，并达到了负载均衡的技术效果，保持尽量平均每个服务器的负载压力，保证了分布式系统执行任务的稳定性和可靠性。

在一个实施例中，如图3所示，提供了一种分布式任务调度方法，该方法在将待分配任务的ID发送至各个服务器并判断服务器是否正在执行待分配任务的步骤之后还包括：

步骤302，若服务器正在运行待分配任务，则直接返回false；

步骤304，结束调度，返回调度失败并同时打印调度失败日志。

在本实施例中，提供的分布式任务调度策略当判断有任一服务器在执行该ID对应的任务时，则直接返回false。当接收到该false消息时，直接结束此次任务调度，宣告此次任务调度失败，同时返回调度失败并同时打印调度失败日志，并打印目前正在执行该任务的机器。

在本实施例中，实现了当存在有服务器正在执行待分配的任务时，结束本次任务调度进程并返回正在执行该任务的服务器，防止部分服务器出现因负载过高而导致的宕机现象，保证了分布式系统执行任务的可靠性。

在一个实施例中，如图4所示，提供了一种分布式任务调度方法，该方法中若服务器没有正在执行待分配任务，则根据服务器返回的结果将计数变量加一的步骤还包括：

步骤402，预设一计数变量，计数变量初始值为零；

步骤404，每当一服务器未返回false时，则计数变量加一。

在本实施例中，提供的分布式任务调度策略中预设一计数变量，该计数变量的初始值为零，用于累计没有执行待分配任务的机器数量。具体地，由于任一服务器在执行该ID对应的任务时，则直接返回false，那么当服务器未执行ID对应的任务时，则不会返回false。因此，计数变量可以根据未返回false的服务器数量进行累计，即可得到对应的未执行待分配任务的机器的总数，当计数变量累计得到的总数与所有机器总数一致，则表示当前没有机器正在执行待分配的任务，那么即可对待分配的任务进行随机分配。

本实施例通过对计数变量的累计，可以快速地判断当前有没有机器正在执行待分配的任务，进一步提高了任务调度的效率。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种分布式任务调度装置600，该装置包括：

获取模块601，用于获取分布式任务调度请求；

遍历模块602，用于根据分布式任务调度请求，遍历当前所有服务器的IP地址并记录所有IP地址总数；

判断模块603，用于将待分配任务的ID发送至各个服务器并判断服务器是否正在执行待分配任务；

累计模块604，用于若服务器没有正在执行待分配任务，则根据服务器返回的结果将计数变量加一；

第一返回模块605，用于若计数变量类加至和所有IP地址总数一致，则从IP地址中随机抽取一个IP地址进行返回。

在一个实施例中，如图7所示，提供了一种分布式任务调度装置600，该装置还包括第二返回模块606，用于：

若服务器正在运行待分配任务，则直接返回false；

结束调度，返回调度失败并同时打印调度失败日志。

在一个实施例中，累计模块604还用于：

预设一计数变量，计数变量初始值为零；

每当一服务器未返回false时，则计数变量加一。

在一个实施例中，如图8所示，提供了一种分布式任务调度装置600，该装置还包括：

分配模块607，用于根据返回的IP地址选择对应的服务器执行ID对应的待分配任务。

关于分布式任务调度装置的具体限定可以参见上文中对于分布式任务调度方法的限定，在此不再赘述。

在一个实施例中，提供了一种计算机设备，其内部结构图可以如图9所示。该计算机设备包括通过装置总线连接的处理器、存储器以及网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作装置、计算机程序和数据库。该内存储器为非易失性存储介质中的操作装置和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种分布式任务调度方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以上各个方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上各个方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种分布式任务调度方法，其特征在于，所述方法包括：

获取分布式任务调度请求；

根据所述分布式任务调度请求，遍历当前所有服务器的IP地址并记录所有IP地址总数；

将待分配任务的ID发送至各个服务器并判断所述服务器是否正在执行所述待分配任务；

若所述服务器没有正在执行所述待分配任务，则根据所述服务器返回的结果将计数变量加一；

若所述计数变量类加至和所述所有IP地址总数一致，则从所述IP地址中随机抽取一个IP地址进行返回。

2.根据权利要求1所述的分布式任务调度方法，其特征在于，在所述将待分配任务的ID发送至各个服务器并判断所述服务器是否正在执行所述待分配任务的步骤之后还包括：

若所述服务器正在运行所述待分配任务，则直接返回false；

结束调度，返回调度失败并同时打印调度失败日志。

3.根据权利要求2所述的分布式任务调度方法，其特征在于，所述若所述服务器没有正在执行所述待分配任务，则根据所述服务器返回的结果将计数变量加一的步骤还包括：

预设一计数变量，所述计数变量初始值为零；

每当一服务器未返回false时，则所述计数变量加一。

4.根据权利要求1-3任一项所述的分布式任务调度方法，其特征在于，在所述若所述计数变量类加至和所述所有IP地址总数一致，则从所述IP地址中随机抽取一个IP地址进行返回的步骤之后还包括：

根据返回的IP地址选择对应的服务器执行ID对应的待分配任务。

5.一种分布式任务调度装置，其特征在于，所述装置包括：

获取模块，所述获取模块用于获取分布式任务调度请求；

遍历模块，所述遍历模块用于根据所述分布式任务调度请求，遍历当前所有服务器的IP地址并记录所有IP地址总数；

判断模块，所述判断模块用于将待分配任务的ID发送至各个服务器并判断所述服务器是否正在执行所述待分配任务；

累计模块，所述累计模块用于若所述服务器没有正在执行所述待分配任务，则根据所述服务器返回的结果将计数变量加一；

第一返回模块，所述第一返回模块用于若所述计数变量类加至和所述所有IP地址总数一致，则从所述IP地址中随机抽取一个IP地址进行返回。

6.根据权利要求5所述的分布式任务调度装置，其特征在于，所述装置还包括第二返回模块，所述第二返回模块用于：

若所述服务器正在运行所述待分配任务，则直接返回false；

结束调度，返回调度失败并同时打印调度失败日志。

7.根据权利要求6所述的分布式任务调度装置，其特征在于，所述累计模块还用于：

预设一计数变量，所述计数变量初始值为零；

每当一服务器未返回false时，则所述计数变量加一。

8.根据权利要求5-7任一项所述的分布式任务调度装置，其特征在于，所述装置还包括：

分配模块，所述分配模块用于根据返回的IP地址选择对应的服务器执行ID对应的待分配任务。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。

Images