CN107623731B - 一种任务调度方法、客户端、服务集群及系统 - Google Patents

Abstract

本发明提供了一种任务调度方法、客户端、服务集群及系统，应用于客户端，该方法可以包括：集成AKKA工具包；调用所述AKKA工具包，以创建至少一个任务发送者；利用所述至少一个任务发送者中处于空闲状态的任务发送者将待处理的任务消息发送给外部的服务集群中的任务调度者，以利用所述任务调度者以及预设的路由调度策略，从已注册的任务执行者中确定一个目标任务执行者，以利用所述目标任务执行者处理所述任务消息。本方案能够提高任务分发调度的效率。

Description

一种任务调度方法、客户端、服务集群及系统

技术领域

本发明涉及计算机技术领域，特别涉及一种任务调度方法、客户端、服务集群及系统。

背景技术

分布式系统，是指多个独立的服务节点共同对客户端提供服务。

目前，在进行任务调度时，主要是通过引入外部的第三方组件来实现任务调度。

但是，在任务比较单一，并发量较小的业务场景下，引入复杂的第三方组件来实现任务调度，造成任务分发调度的效率较低。

发明内容

本发明实施例提供了一种任务调度方法、客户端、服务集群及系统，能够提高任务分发调度的效率。

第一方面，本发明实施例提供了一种任务调度方法，应用于客户端，

集成AKKA工具包；

调用所述AKKA工具包，以创建至少一个任务发送者；还包括：

利用所述至少一个任务发送者中处于空闲状态的任务发送者将待处理的任务消息发送给外部的服务集群中的任务调度者，以利用所述任务调度者以及预设的路由调度策略，从已注册的任务执行者中确定一个目标任务执行者，以利用所述目标任务执行者处理所述任务消息。

第二方面，本发明实施例提供了一种任务调度方法，应用于服务集群，

集成AKKA工具包；

调用所述AKKA工具包，以创建至少一个任务执行者和任务调度者；

启动所述至少一个任务执行者中的每一个任务执行者，以使所述任务执行者向所述任务调度者注册；

启动所述任务调度者，以通过所述任务调度者监听任务发送者发送的任务消息和所述任务执行者的注册；还包括：

利用所述任务调度者接收外部的至少一个客户端中的任务发送者分别发送的任务消息；以及利用所述任务调度者以及预设的路由调度策略，从已注册的任务执行者中为每一个所述任务消息确定一个目标任务执行者；

利用所述目标任务执行者处理相应的所述任务消息。

优选地，

在所述启动所述至少一个任务执行者中的每一个任务执行者之前，进一步包括：

启动预置的至少一个种子通信节点。

优选地，

在所述启动所述任务调度者之后，进一步包括：

通过所述至少一个种子通信节点实时检测是否存在有已宕机的任务执行者，若是，则利用所述至少一个种子通信节点进行广播；

利用所述任务调度者将广播的已宕机的任务执行者从已注册的任务执行者中删除。

第三方面，本发明实施例提供了一种客户端，包括：创建单元和发送单元，其中，

所述创建单元，用于集成AKKA工具包；调用所述AKKA工具包，以创建至少一个任务发送者；

所述发送单元，用于利用所述至少一个任务发送者中处于空闲状态的任务发送者将待处理的任务消息发送给外部的服务集群中的任务调度者，以利用所述任务调度者以及预设的路由调度策略，从已注册的任务执行者中确定一个目标任务执行者，以利用所述目标任务执行者处理所述任务消息。

第四方面，本发明实施例提供了一种服务集群，包括：创建单元、启动单元、接收单元和处理单元，其中，

所述创建单元，用于集成AKKA工具包；调用所述AKKA工具包，以创建至少一个任务执行者和任务调度者；

所述启动单元，用于启动所述至少一个任务执行者中的每一个任务执行者，以使所述任务执行者向所述任务调度者注册；启动所述任务调度者，以通过所述任务调度者监听任务发送者发送的任务消息和所述任务执行者的注册；

所述接收单元，用于利用所述任务调度者接收外部的至少一个客户端中的任务发送者分别发送的任务消息；以及利用所述任务调度者以及预设的路由调度策略，从已注册的任务执行者中为每一个所述任务消息确定一个目标任务执行者

所述处理单元，用于利用所述目标任务执行者处理相应的所述任务消息。

优选地，

所述启动单元，进一步用于在启动所述至少一个任务执行者中的每一个任务执行者之前，启动预置的至少一个种子通信节点。

优选地，

进一步包括：删除单元；

所述删除单元，用于在启动所述任务调度者之后，通过所述至少一个种子通信节点实时检测是否存在有已宕机的任务执行者，若是，则利用所述至少一个种子通信节点进行广播；利用所述任务调度者将广播的已宕机的任务执行者从已注册的任务执行者中删除。

第五方面，本发明实施例提供了一种任务调度系统，包括：至少一个上述任一实施例中的客户端，以及上述任一实施例中的服务集群。

优选地，

所述服务集群，进一步用于在启动至少一个任务执行者中的每一个任务执行者之前，启动预置的至少一个种子通信节点。

本发明实施例提供了一种任务调度方法、客户端、服务集群及系统，预先通过在客户端和服务集群分别集成AKKA工具包，在客户端，通过调用AKKA工具包创建至少一个任务发送者，在服务集群，通过调用AKKA工具包创建任务调度者和至少一个任务执行者，那么之后在进行任务调度时，客户端直接通过任务发送者将待处理的任务消息发送给服务集群的任务调度者，然后在服务集群端，利用任务调度者以及预设的路由调度策略，从已注册的任务执行者中确定目标任务执行者，从而服务集群端，能够利用目标任务执行者对任务信息进行处理。由于任务调度的过程，通过创建的任务发送者、任务调度者和任务执行者完成，而不涉及到引入第三方组件，因此提高了任务分发调度的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的一种应用于客户端的任务调度方法的流程图；

图2是本发明一个实施例提供的一种应用于服务集群的任务调度方法的流程图；

图3是本发明一个实施例提供的一种客户端的结构示意图；

图4是本发明一个实施例提供的一种服务集群的结构示意图；

图5是本发明另一个实施例提供的一种服务集群的结构示意图；

图6是本发明一个实施例提供的一种任务调度系统的结构示意图；

图7是本发明一个实施例提供的一种任务调度方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种任务调度方法，应用于客户端，该方法可以包括以下步骤：

步骤101：集成AKKA工具包。

步骤102：调用所述AKKA工具包，以创建至少一个任务发送者。

步骤103：利用所述至少一个任务发送者中处于空闲状态的任务发送者将待处理的任务消息发送给外部的服务集群中的任务调度者，以利用所述任务调度者以及预设的路由调度策略，从已注册的任务执行者中确定一个目标任务执行者，以利用所述目标任务执行者处理所述任务消息。

本发明实施例提供了一种任务调度方法，预先通过在客户端和服务集群分别集成AKKA工具包，在客户端，通过调用AKKA工具包创建至少一个任务发送者，在服务集群，通过调用AKKA工具包创建任务调度者和至少一个任务执行者，那么之后在进行任务调度时，客户端直接通过任务发送者将待处理的任务消息发送给服务集群的任务调度者，然后在服务集群端，利用任务调度者以及预设的路由调度策略，从已注册的任务执行者中确定目标任务执行者，从而服务集群端，能够利用目标任务执行者对任务信息进行处理。由于任务调度的过程，通过创建的任务发送者、任务调度者和任务执行者完成，而不涉及到引入第三方组件，因此提高了任务分发调度的效率。

如图2所示，本发明实施例提供了一种任务调度方法，应用于服务集群，该方法可以包括如下步骤：

步骤201：集成AKKA工具包。

步骤202：调用所述AKKA工具包，以创建至少一个任务执行者和任务调度者。

步骤203：启动所述至少一个任务执行者中的每一个任务执行者，以使所述任务执行者向所述任务调度者注册。

步骤204：启动所述任务调度者，以通过所述任务调度者监听任务发送者发送的任务消息和所述任务执行者的注册。

步骤205：利用所述任务调度者接收外部的至少一个客户端中的任务发送者分别发送的任务消息；以及利用所述任务调度者以及预设的路由调度策略，从已注册的任务执行者中为每一个所述任务消息确定一个目标任务执行者。

步骤206：利用所述目标任务执行者处理相应的所述任务消息。

在本发明一个实施例中，在所述步骤203之前，进一步包括：启动预置的至少一个种子通信节点。

上述实施例中，通过启动至少一个种子通信节点，可保证后续启动的节点(任务调度者和任务执行者)通过该各个种子通信节点加入到服务集群中。

在本发明一个实施例中，在所述步骤204之后，进一步包括：通过所述至少一个种子通信节点实时检测是否存在有已宕机的任务执行者，若是，则利用所述至少一个种子通信节点进行广播；利用所述任务调度者将广播的已宕机的任务执行者从已注册的任务执行者中删除。

本发明实施例可自动发现出现故障的任务执行者，并将其自定删除的功能，从而避免单点故障而影响到任务的处理。

如图3所示，本发明实施例提供了一种客户端，包括：创建单元301和发送单元302，其中，

所述创建单元301，用于集成AKKA工具包；调用所述AKKA工具包，以创建至少一个任务发送者；

所述发送单元302，用于利用所述至少一个任务发送者中处于空闲状态的任务发送者将待处理的任务消息发送给外部的服务集群中的任务调度者，以利用所述任务调度者以及预设的路由调度策略，从已注册的任务执行者中确定一个目标任务执行者，以利用所述目标任务执行者处理所述任务消息。

如图4所示，本发明实施例提供了一种服务集群，包括：创建单元401、启动单元402、接收单元403和处理单元404，其中，

所述创建单元401，用于集成AKKA工具包；调用所述AKKA工具包，以创建至少一个任务执行者和任务调度者；

所述启动单元402，用于启动所述至少一个任务执行者中的每一个任务执行者，以使所述任务执行者向所述任务调度者注册；启动所述任务调度者，以通过所述任务调度者监听任务发送者发送的任务消息和所述任务执行者的注册；

所述接收单元403，用于利用所述任务调度者接收外部的至少一个客户端中的任务发送者分别发送的任务消息；以及利用所述任务调度者以及预设的路由调度策略，从已注册的任务执行者中为每一个所述任务消息确定一个目标任务执行者。

所述处理单元404，用于利用所述目标任务执行者处理相应的所述任务消息。

在本发明一个实施例中，所述启动单元，进一步用于在启动所述至少一个任务执行者中的每一个任务执行者之前，启动预置的至少一个种子通信节点。

如图5所示，在本发明一个实施例中，进一步包括：删除单元501；

所述删除单元501，用于在启动所述任务调度者之后，通过所述至少一个种子通信节点实时检测是否存在有已宕机的任务执行者，若是，则利用所述至少一个种子通信节点进行广播；利用所述任务调度者将广播的已宕机的任务执行者从已注册的任务执行者中删除。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本发明实施例提供了一种任务调度系统，包括至少一个上述任一实施例中的客户端，以及上述任一实施例中的服务集群。

在本发明一个实施例中，所述服务集群，进一步用于在启动至少一个任务执行者中的每一个任务执行者之前，启动预置的至少一个种子通信节点。

如图6所示，为一种任务调度系统，包括：一个客户端和服务集群，该客户端中包括有三个任务发送者601，服务集群中包括有一个任务调度者602、三个任务执行者603和两个种子通信节点604，其中，每一个任务发送者601分别将任务消息发送给任务调度者602，然后任务调度者602在三个任务执行者603中为每一个任务消息确定目标任务执行者，从而对相应的任务消息进行处理。另外，任务调度者602和三个任务执行者603通过启动的种子通信节点604接入集群。

下面将详细说明本发明实施例提供的一种任务调度方法，如图7所示，该方法可以包括如下步骤：

步骤701：在客户端和服务集群分别集成AKKA工具包。

其中，AKKA是一个用Scala编写的库，用于简化编写容错的、高可伸缩性的Java和Scala的Actor模型应用，具有并行性、可靠性、高性能、弹性及可扩展性五大特性。

在客户端，在集成AKKA工具包后，可首先配置AKKA远程访问角色系统(ActorSystem)模式，通过该模式确定与服务集群的通信方式。

步骤702：在客户端，调用AKKA工具包，以创建m个任务执行者；在服务集群，调用AKKA工具包，以创建1个任务调度者和n个任务执行者。

在客户端，可预先定义任务发送者，其中，任务发送者实现AKKA工具包中的抽象角色类(AbstractActor)，在该抽象类定义的启动方法中加载AKKA客户端配置信息，获取远程访问角色系统的句柄并设置为全局变量。

在服务集群，可预先定义任务执行者，其中，任务执行者实现AKKA工具包的抽象角色类(AbstractActor)，在该抽象类定义的启动方法中向任务调度者发起注册，使得任务调度者可以给该任务执行者分配任务，在该抽象类定义的关闭方法中向任务调度者发起解绑消息，利用任务调度者该任务执行者剔除服务集群；以及在任务执行者中，实现AKKA工具包中的抽象类定义的处理任务消息方法，在该方法中描述具体处理任务的步骤，根据客户端发送消息的不同类型，分别进行逻辑处理。

在服务集群，可预先定义任务调度者，其中，任务调度者实现AKKA工具包的抽象角色类(AbstractActor)，定义服务集群用于存储任务执行者向任务调度者注册的引用，定义路由调度策略。

步骤703：服务集群启动预置的k个种子通信节点。

在本发明实施例中，启动AKKA集群主节点中的种子通信节点，保证后续启动节点可通过种子通信节点加入到集群中。

步骤704：启动任务执行者，自动向任务调度节点注册。

本发明实施例中，注册的信息可包括：功能信息、唯一标识、最大负载及输入输出参数。

步骤705：启动任务调度者，监听任务发送者发送的任务和任务执行者的注册。

步骤706：客户端利用m个任务发送者中的任务发送者1将待处理的任务消息发送给服务集群中的任务调度者。

步骤707：服务集群利用任务调度者接收客户端中的任务发送者发送的任务消息。

步骤708：服务集群利用任务调度者以及预设的路由调度策略，从已注册的任务执行者中为任务消息确定一个目标任务执行者。

其中，路由调度策略可以是哈希算法。

例如，服务器集群中已注册的任务执行者的个数为8个，而接收到的任务消息的ID为100，那么利用100与8取模，得到4，因此为ID为100的任务消息分配的任务调度者为第4个任务执行者，从而利用第4个任务执行者处理该任务消息。

步骤709：服务集群利用目标任务执行者处理任务消息。

步骤710：服务集群利用种子通信节点实时检测是否存在有已宕机的任务执行者，若是，则执行步骤711，否则，结束当前流程。

假设当前已注册的任务执行者有(n-1)个，其中，n大于3，那么若有一个任务执行者出现宕机时，则对出现宕机的任务执行者从集群中删除，也即剩余已注册的任务执行者的个数为(n-2)个，从而之后在接收到任务消息时，将会从这(n-2)个任务执行者中确定目标任务执行者。

步骤711：服务集群利用种子通信节点进行广播。

本发明实施例中，通过种子通信节点的广播可以告知任务调度者出现宕机的任务执行者，从而进行相应的删除。

步骤712：服务集群利用任务调度者将广播的已宕机的任务执行者从已注册的任务执行者中删除。

本发明实施例提供了一种计算机可读介质，包括计算机执行指令，当存储控制器的处理器执行所述计算机执行指令时，所述存储控制器执行上述任一实施例所述的任务调度方法。

本发明实施例提供了一种存储控制器，包括：处理器、存储器和总线；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，当所述存储控制器运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述存储控制器执行上述任一实施例所述的任务调度方法。

综上，本发明各个实施例至少具有如下有益效果：

1、在本发明实施例中，预先通过在客户端和服务集群分别集成AKKA工具包，在客户端，通过调用AKKA工具包创建至少一个任务发送者，在服务集群，通过调用AKKA工具包创建任务调度者和至少一个任务执行者，那么之后在进行任务调度时，客户端直接通过任务发送者将待处理的任务消息发送给服务集群的任务调度者，然后在服务集群端，利用任务调度者以及预设的路由调度策略，从已注册的任务执行者中确定目标任务执行者，从而服务集群端，能够利用目标任务执行者对任务信息进行处理。由于任务调度的过程，通过创建的任务发送者、任务调度者和任务执行者完成，而不涉及到引入第三方组件，因此提高了任务分发调度的效率。

2、在本发明实施例中，通过启动至少一个种子通信节点，可保证后续启动的节点(任务调度者和任务执行者)通过该各个种子通信节点加入到服务集群中。

3、在本发明实施例中，可自动发现出现故障的任务执行者，并将其自定删除的功能，从而避免单点故障而影响到任务的处理。

4、在本发明实施例中，客户端和服务集群之间基于AKKA框架，实现了轻量级的任务分发调度系统，由于是对于客户端向服务端发送任务消息的单一业务场景，实施维护部署简单方便，提高了单一业务场景下的任务分发调度的效率，大大降低了使用维护成本。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个〃····〃”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种任务调度方法，其特征在于，应用于服务集群，

集成AKKA工具包；

调用所述AKKA工具包，以创建至少一个任务执行者和任务调度者；

启动所述至少一个任务执行者中的每一个任务执行者，以使所述任务执行者向所述任务调度者注册；

启动所述任务调度者，以通过所述任务调度者监听任务发送者发送的任务消息和所述任务执行者的注册；还包括：

利用所述任务调度者接收外部的至少一个客户端中的任务发送者分别发送的任务消息；以及利用所述任务调度者以及预设的路由调度策略，从已注册的任务执行者中为每一个所述任务消息确定一个目标任务执行者；

利用所述目标任务执行者处理相应的所述任务消息。

2.根据权利要求1所述的任务调度方法，其特征在于，

在所述启动所述至少一个任务执行者中的每一个任务执行者之前，进一步包括：

启动预置的至少一个种子通信节点。

3.根据权利要求2所述的任务调度方法，其特征在于，

在所述启动所述任务调度者之后，进一步包括：

通过所述至少一个种子通信节点实时检测是否存在有已宕机的任务执行者，若是，则利用所述至少一个种子通信节点进行广播；

利用所述任务调度者将广播的已宕机的任务执行者从已注册的任务执行者中删除。

4.根据权利要求3所述的任务调度方法，其特征在于，所述客户端服务于使用权利要求1至3任一所述任务调度方法的服务集群；

所述客户端，集成AKKA工具包；

调用所述AKKA工具包，以创建至少一个任务发送者；还包括：

利用所述至少一个任务发送者中处于空闲状态的任务发送者将待处理的任务消息发送给外部的服务集群中的任务调度者。

5.一种服务集群，其特征在于，包括：创建单元、启动单元、接收单元和处理单元，其中，

所述创建单元，用于集成AKKA工具包；调用所述AKKA工具包，以创建至少一个任务执行者和任务调度者；

所述启动单元，用于启动所述至少一个任务执行者中的每一个任务执行者，以使所述任务执行者向所述任务调度者注册；启动所述任务调度者，以通过所述任务调度者监听任务发送者发送的任务消息和所述任务执行者的注册；

所述接收单元，用于利用所述任务调度者接收外部的至少一个客户端中的任务发送者分别发送的任务消息；以及利用所述任务调度者以及预设的路由调度策略，从已注册的任务执行者中为每一个所述任务消息确定一个目标任务执行者

所述处理单元，用于利用所述目标任务执行者处理相应的所述任务消息。

6.根据权利要求5所述的服务集群，其特征在于，

所述启动单元，进一步用于在启动所述至少一个任务执行者中的每一个任务执行者之前，启动预置的至少一个种子通信节点。

7.根据权利要求6所述的服务集群，其特征在于，

进一步包括：删除单元；

所述删除单元，用于在启动所述任务调度者之后，通过所述至少一个种子通信节点实时检测是否存在有已宕机的任务执行者，若是，则利用所述至少一个种子通信节点进行广播；利用所述任务调度者将广播的已宕机的任务执行者从已注册的任务执行者中删除。

8.根据权利要求7所述的服务集群，其特征在于，所述客户端服务于使用权利要求5至7所任一述的服务集群；

包括：创建单元和发送单元，其中，

所述创建单元，用于集成AKKA工具包；调用所述AKKA工具包，以创建至少一个任务发送者；

所述发送单元，用于利用所述至少一个任务发送者中处于空闲状态的任务发送者将待处理的任务消息发送给外部的服务集群中的任务调度者。

Images