CN110990147B - 用于处理任务的方法及系统 - Google Patents

Abstract

本发明提供一种用于处理任务的方法，包括：基于来自发起节点的与所述任务对应的请求消息获取多个候选节点的请求消息数、应答消息数和超时消息数；根据预定计算方法计算所述多个候选节点的在途消息数；以及基于所述在途消息数和所述多个候选节点的状态、按照预定规则选择一个候选节点以作为目标节点来处理所述任务。

Description

用于处理任务的方法及系统

技术领域

本发明涉及分布式计算领域，尤其涉及一种用于处理任务的方法及系统。

背景技术

在分布式系统中，所处理的任务通常不是只在单个计算节点上完成，而是会利用多个计算节点进行并行处理。然而，各个计算节点的处理能力以及运行状况各不相同。如果能将任务分发到负载最低的计算节点将会有效的提高资源利用率，且能够避免部分计算节点过于繁忙导致任务处理失败或者超时，从而能最大限度提高任务处理量。

现有技术中存在以下方案来分发任务。一种方案是通过候选计算节点(也称候选节点)的并发连接数来选取负载较低的候选计算节点以将其作为目标计算节点(也称目标节点)。尽管并发连接数能够实时反映候选节点的真实并发处理情况，但是发送节点和候选节点之间会建立非常多的通讯连接链路，且这些通讯连接链路通常是短连接的形式，存在反复建链和断链过程，因此处理效率较低，从而导致该方案不适合大规模处理任务的系统。另一种方案是根据候选节点的应答响应时间来估计候选节点的负载，但是该方法存在着一定的滞后性，不能实时反映候选节点的当前的真实状况。

发明内容

本发明的一个方面提供了一种用于处理任务的方法，包括：基于来自发起节点的与所述任务对应的请求消息获取多个候选节点的请求消息数、应答消息数和超时消息数；根据预定计算方法计算所述多个候选节点的在途消息数；以及基于所述在途消息数和所述多个候选节点的状态、按照预定规则选择一个候选节点以作为目标节点来处理所述任务。

本发明的另一个方面提供了一种用于处理任务的系统，包括：计数器单元，其用于存储多个候选节点的请求消息数、应答消息数和超时消息数；

节点状态单元，其用于存储所述多个候选节点的状态；以及节点选择模块，其进一步包括：用于基于来自发起节点的与所述任务对应的请求消息获取在所述计数器单元中存储的所述多个候选节点的所述请求消息数、所述应答消息数和所述超时消息数的装置；用于根据预定计算方法计算所述多个候选节点的在途消息数的装置，以及用于基于所述在途消息数和在所述节点状态单元中存储的所述多个候选节点的状态、按照预定规则选择一个候选节点以作为目标节点来处理所述任务的装置。

本发明的又一个方面提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令被计算机执行时能够执行根据本发明的实施例所述的方法

本发明的实施例能够显著提高分布式计算的处理效率，并且提供各个候选节点的准确负载状况。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1示出了根据本发明实施例的用于负载均衡的系统的示意图。

图2示出了根据本发明实施例的用于负载均衡的方法的流程图。

图3示出了根据本发明实施例的用于生成超时消息的流程图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

下面结合附图对本发明的具体实施方式进行详细描述。

图1示出了根据本发明实施例的用于负载均衡的系统的示意图。该系统可以在接收到任务请求(即发起节点发送的请求消息)后，为发起节点挑选合适的候选节点来处理任务。如图1所示，该系统包括节点选择模块、计数器单元、节点状态单元、消息缓存单元和定时模块。

在本发明中，节点选择模块可以具备如下功能：

(1)计算各候选节点的在途消息数并按在途消息数进行候选节点的排序。

节点选择模块可以在接收到发起节点发送的请求消息后，根据如下公式计算在途消息数：

在途消息数＝请求消息数-应答消息数-超时消息数

其中，请求消息数存储在计数器单元的存储在计数器单元内的各候选节点的请求消息计数器中，应答消息数存储在计数器单元内的各候选节点的应答消息计数器中，超时消息数存储在计数器单元内的各候选节点的超时消息计数器中。换言之，每个节点均在计数器单元中分别具有请求消息计数器、应答消息计数器和超时消息计数器。在途消息数实时反映了各候选节点的并发处理情况。如果某候选节点的在途消息数越少，说明该节点的并发负载越低并可用于处理任务。

节点选择模块可以根据计算出的各候选节点的在途消息数、对所有候选节点进行排序。在一些实施例中，可以针对在途消息数将候选节点按照从小到大的顺序排序。

(2)判断节点状态并筛选目标节点

节点选择模块可以按照从小到大的顺序依次检查各候选节点的状态。各候选节点的状态存储在节点状态单元中。如果一个候选节点出现链路断链、节点下线等异常情况，则不选择该候选节点作为目标节点。如果一个候选节点的状态正常，则将该候选节点作为目标节点。换言之，节点选择模块将筛选出节点状态正常且在途消息数最少的候选节点作为目标节点。在本发明中，目标节点仅是一种称谓，该称谓针对一个任务请求而被赋予所有候选节点中的一个。当系统再次接收到一个任务请求时，目标节点有可能仍是当前选中的候选节点，也有可能不是当前选中的候选节点。

在本发明的一些实施例中，发送请求消息的发起节点可以与多个候选节点之间均建立本领域中已知的通讯长连接链路。在筛选出目标节点后，发起节点可以通过预先建立的通讯长连接链路将任务发送到目标节点，以便于目标节点处理任务。

在本发明的一些实施例中，节点选择模块可以通过定时的心跳探测机制来探测该通讯长连接链路是否存活。如果通讯长连接链路的探测失败(即例如发生候选节点下线、宕机等情形)，则可以断开链路并重连链路，从而确保该通讯线路的有效。节点选择模块还可以基于心跳探测机制的探测结果，实时地将候选节点的状态存储在节点状态单元中，以便在对候选节点排序后利用所存储的状态来筛选合适的目标节点。

在筛选出目标节点后，节点选择模块可以将请求消息存储在消息缓存单元中。在一些实施例中，节点选择模块可以在请求消息中加入与目标节点有关的标识，并将加入所述标识的请求消息存储在消息缓存单元中。所述标识可以包括键值，该键值记录与所处理的任务对应的任务序号，该任务序号表示该任务是由负载均衡系统处理的第几个任务。任务序号可以是单调递增的，也可以以本领域中的其它方式排列。所述标识还可以包括目标节点地址。在一些实施例中，所述标识也可以不加入到请求消息中，而是与请求消息分开且相关联地存储在消息缓存单元中。

在一些实施例中，在接收到请求消息并且筛选出目标节点后，节点选择模块还可以增加计数器单元中的目标节点的请求消息计数器的数值，例如将请求消息数加1。

(3)处理来自目标节点的消息

目标节点在处理完任务后，可以向节点选择模块发送应答消息。目标节点发出应答消息表示目标节点已处理完成与请求消息对应的任务。在一些实施例中，应答消息中包括与目标节点有关的标识。节点选择模块可以将接收到的应答消息发送到消息缓存单元，并由消息缓存单元处理该应答消息。在接收到应答消息后，节点选择模块还可以增加计数器单元中的目标节点的应答消息计数器的数值，例如将应答消息数加1。

在本发明中，计数器单元可以用于存储各个候选节点的请求消息数、应答消息数以及超时消息数。

在本发明中，节点状态单元可以用于存储所有候选节点的信息，例如IP地址、端口和状态等，以便系统在选择目标节点时可以排除掉暂时不可用的候选节点。

在本发明中，消息缓存单元可以存储请求消息。在一些实施例中，消息缓存单元可以存储带有与目标节点有关的标识的请求消息。消息缓存单元可以接收由节点选择模块发送的目标节点的应答消息。在一些实施例中，消息缓存单元可以根据接收到的目标节点的应答消息来删除存储在消息缓存单元中的对应的目标节点的请求消息。例如，如果来自目标节点的一个应答消息中包含的标识与消息缓存单元中的一个请求消息所包含或关联的标识相同，则在消息缓存单元中删除该请求消息。更具体而言，如果一个应答信息中的任务序号和目标节点地址与消息缓存单元中的一个请求消息的任务序号和目标节点地址相同，即可删除该请求消息。

在一些实施例中，消息缓存单元可以在请求消息中加入时间戳后再进行存储。时间戳记录了消息缓存单元接收到请求消息的具体时间。具备时间戳的请求消息可以被定时模块轮询。

在本发明中，定时模块可以轮询消息缓存单元中存储的请求消息，如果根据时间戳确定一个请求消息已存储了超过预定的时间(例如，若干毫秒，若干秒等)时，则从消息缓存单元删除该请求消息并在计数器单元中增加与该请求消息对应的目标节点的超时消息计数器的数值(例如超时消息数加1)。超时消息数表示由于各种因素导致的请求消息已在消息缓存单元中存储了超过预定的时间却仍没有收到对应的应答消息，从而造成请求消息处理失败的数量。在一些实施例中，在确定一个请求消息已存储了超过预定的时间时，定时模块可以通过该请求消息所关联的标识(例如目标节点地址)而在计数器单元中找到与该请求消息对应的目标节点的超时消息计数器，从而增加该超时消息计数器的数值。

本发明还提出了一种用于负载均衡的方法。参见图2，该方法包括如下步骤：

步骤10：节点选择模块与各候选节点建立通讯长连接链路，并维护各候选节点的状态。

步骤11：节点选择模块接收来自发送节点的请求消息，并根据公式“在途消息数＝请求消息数-应答消息数-超时消息数”计算各候选节点的在途消息数，并根据在途消息数的大小将各候选节点从小到大排序。

步骤12：节点选择模块按从小到大的排序结果，依次检查各候选节点的当前状态，如果某候选节点不可用则按排序结果继续检查下一个候选节点，直到找到可用的候选节点以作为目标节点。

步骤13：节点选择模块在给请求消息添加目标节点的标识(例如任务序号和目标节点地址)后将其存储在消息缓存单元，增加目标节点的请求消息计数器的数值，并且将请求消息发送到目标节点，由目标节点通过通讯长连接链路接收任务并处理任务。

步骤14：节点选择模块接收来自目标节点的应答消息，根据应答消息中的标识删除消息缓存单元中的对应的请求消息，并增加计数器单元中的目标节点的应答消息计数器的数值。

本发明还提出了一种用于确定超时消息的方法。参见图3，该方法包括如下步骤：

步骤21：定时模块定时轮询消息缓存，并根据一个请求消息的时间戳确定该请求消息是否超时，如果超时，进入步骤22，如果消息缓存单元中不存在超时的请求消息或不存在请求消息，则定时模块不进行任何操作。

步骤22：在消息缓存单元中清除该请求消息并根据其目标节点的标识增加目标节点的超时消息计数器的数值。

本发明的一个方面是一种计算机可读介质，其上存储有计算机可读指令，所述指令被执行时可实施本发明各实施例的方法。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在用户计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

应当注意，尽管在上文详细描述中提及了用于软件测试的若干装置及子装置，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (27)

1.一种用于处理任务的方法，包括：

基于来自发起节点的与所述任务对应的请求消息获取多个候选节点的请求消息数、应答消息数和超时消息数；

根据预定计算方法计算所述多个候选节点的在途消息数；和

基于所述在途消息数和所述多个候选节点的状态、按照预定规则选择一个候选节点以作为目标节点来处理所述任务。

2.根据权利要求1所述的方法，其中，所述预定计算方法为：将在请求消息数中扣除应答消息数和超时消息数的结果作为所述在途消息数。

3.根据权利要求1所述的方法，其中，所述预定规则为：根据所述在途消息数、按照从小到大的顺序对所述多个候选节点进行排序，并且根据排序的结果和所述多个候选节点的状态、选择所述在途消息数最少且处于正常状态的所述一个候选节点。

4.根据权利要求1所述的方法，所述方法还包括：

在所述发起节点与所述多个候选节点之间建立通讯长连接链路，所述任务能够通过所述通讯长连接链路而被发送到所述目标节点。

5.根据权利要求4所述的方法，所述方法还包括：

存储所述请求消息，增加所述目标节点的请求消息数，并将所述请求消息发送到所述目标节点，使得所述目标节点通过所述通讯长连接链路接收并处理所述任务。

6.根据权利要求5所述的方法，其中，所述存储所述请求消息的步骤还包括：

将与所述目标节点有关的标识与所述请求消息相关联地存储，或

将所述标识添加至所述请求消息中。

7.根据权利要求6所述的方法，其中，所述标识包括目标节点地址和任务序号。

8.根据权利要求5所述的方法，所述方法还包括：

接收来自所述目标节点的应答消息，根据所述应答消息删除所存储的所述请求消息，并增加所述目标节点的应答消息数。

9.根据权利要求8所述的方法，其中，所述根据所述应答消息删除所存储的所述请求消息的步骤还包括：

确定所述应答消息中所包括的与所述目标节点有关的标识；和

根据所述标识判断所述应答消息是否匹配所存储的所述请求消息，如果是，则删除所述所存储的所述请求消息。

10.根据权利要求9所述的方法，其中，所述标识包括目标节点地址和任务序号。

11.根据权利要求5所述的方法，所述方法还包括：

如果所存储的所述请求消息已存储超过预定时间，则删除所述请求消息并增加所述目标节点的超时消息数。

12.根据权利要求11所述的方法，其中，所述删除所述请求消息并增加所述目标节点的超时消息数的步骤还包括：

提取所述请求消息的与所述目标节点有关的标识；和

根据所述标识确定需要被增加的所述超时消息数，

其中，所述标识为目标节点地址。

13.根据权利要求4所述的方法，其中，所述方法还包括：

通过心跳探测机制实时探测所述多个候选节点的状态，并且存储所述多个候选节点的状态。

14.一种用于处理任务的系统，包括：

计数器单元，其用于存储多个候选节点的请求消息数、应答消息数和超时消息数；

节点状态单元，其用于存储所述多个候选节点的状态；和

节点选择模块，其进一步包括：

用于基于来自发起节点的与所述任务对应的请求消息获取在所述计数器单元中存储的所述多个候选节点的所述请求消息数、所述应答消息数和所述超时消息数的装置，

用于根据预定计算方法计算所述多个候选节点的在途消息数的装置，和

用于基于所述在途消息数和在所述节点状态单元中存储的所述多个候选节点的状态、按照预定规则选择一个候选节点以作为目标节点来处理所述任务的装置。

15.根据权利要求14所述的系统，其中，所述预定计算方法为：将在请求消息数中扣除应答消息数和超时消息数的结果作为所述在途消息数。

16.根据权利要求14所述的系统，其中，所述预定规则为：根据所述在途消息数、按照从小到大的顺序对所述多个候选节点进行排序，并且根据排序的结果和所述多个候选节点的状态、选择所述在途消息数最少且处于正常状态的所述一个候选节点。

17.根据权利要求16所述的系统，所述系统还包括：

用于在所述发起节点与所述多个候选节点之间建立通讯长连接链路的装置，所述任务能够通过所述通讯长连接链路而被发送到所述目标节点。

18.根据权利要求17所述的系统，所述系统还包括：

消息缓存单元，

其中，所述节点选择模块还包括：

用于将所述请求消息存储在所述消息缓存单元中的装置，

用于在所述计数器单元中增加所述目标节点的请求消息数的装置，和

用于将所述请求消息发送到所述目标节点，使得所述目标节点通过所述通讯长连接链路接收并处理所述任务的装置。

19.根据权利要求17所述的系统，其中，所述节点选择模块还包括：

用于将与所述目标节点有关的标识与所述请求消息相关联地存储的装置；或

用于将所述标识添加至所述请求消息中的装置。

20.根据权利要求19所述的系统，其中，所述标识包括目标节点地址和任务序号。

21.根据权利要求18所述的系统，所述节点选择模块还包括：

用于接收来自所述目标节点的应答消息的装置；

用于根据所述应答消息删除在所述消息缓存单元中所存储的所述请求消息的装置；和

用于在所述计数器单元中增加所述目标节点的应答消息数的装置。

22.根据权利要求21所述的系统，其中，所述用于根据所述应答消息删除在所述消息缓存单元中所存储的所述请求消息的装置还包括：

用于确定所述应答消息中所包括的与所述目标节点有关的标识的装置；和

用于根据所述标识判断所述应答消息是否匹配所存储的所述请求消息，如果是，则删除所述所存储的所述请求消息的装置。

23.根据权利要求22所述的系统，其中，所述标识包括目标节点地址和任务序号。

24.根据权利要求18所述的系统，所述系统还包括：

定时模块，其进一步包括：

用于判断在所述消息缓存单元中所存储的所述请求消息是否已存储超过预定时间的装置；和

用于在确定所存储的所述请求消息已存储超过预定时间的情况下，在所述消息缓存单元中删除所述请求消息并在所述计数器单元中增加所述目标节点的超时消息数的装置。

25.根据权利要求24所述的系统，其中，所述用于在确定所存储的所述请求消息已存储超过预定时间的情况下，在所述消息缓存单元中删除所述请求消息并在所述计数器单元中增加所述目标节点的超时消息数的装置还包括：

用于提取所述请求消息的与所述目标节点有关的标识的装置；和

用于根据所述标识确定需要被增加的所述超时消息数的装置，

其中，所述标识为目标节点地址。

26.根据权利要求14所述的系统，其中，所述节点选择模块还包括：

用于通过心跳探测机制实时探测所述多个候选节点的状态，并且在所述节点状态单元中存储所述多个候选节点的状态的装置。

27.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令被计算机执行时能够执行如权利要求1-13中任意之一所述的方法。

Images