CN102025783A - 集群系统及其消息处理方法和协议转发网关 - Google Patents

Abstract

本发明提供一种集群系统及其消息处理方法和协议转发网关。该系统包括客户端和服务端，还包括：主用协议转发网关，所述主用协议转发网关用于监控各服务端以便确定各服务端的工作情况，在接收到所述客户端发送的请求消息后，将所述请求消息发送给正常工作的服务端。本发明可以提高大规模集群系统的可用性。

Description

集群系统及其消息处理方法和协议转发网关

技术领域

本发明涉及网络通信技术，尤其涉及一种集群系统及其消息处理方法和协议转发网关。

背景技术

随着网络应用的发展，对计算机存储能力和计算能力的要求越来越高。针对这一问题，可以采用更高性能的硬件系统，如工作站、大型机等。也可以采用廉价的硬件资源，如普通的PC机，搭建大规模的集群系统，实现对存储能力和计算性能的极端要求。这些集群系统一般由上千台至上万台机器组成，多则数十万台。由于这些集群系统由廉价硬件资源组成，每个硬件单元的可依靠、可行、可服务(Reliability、Availability、Serviceability，RAS)能力有限，尤其是在超大规模的系统中，随着硬件单元数量的增多，同一时期内的硬件故障率也会提高，势必会对网络应用的正常服务造成影响。现有技术中，当客户端向服务端发送请求后，即使后续的服务端已经发生错误，该请求依旧会发送给该服务端。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：如果请求依旧发送给错误的服务端，使得不能对错误及时响应及转移，降低了可用性。

发明内容

本发明实施例是提供一种集群系统及其消息处理方法和协议转发网关，实现集群系统的高可用性。

本发明实施例提供了一种集群系统，包括客户端和服务端，还包括：主用协议转发网关，所述主用协议转发网关用于监控各服务端以便确定各服务端的工作情况，在接收到所述客户端发送的请求消息后，将所述请求消息发送给正常工作的服务端。

本发明实施例提供了一种集群系统中消息处理方法，包括：

监控各服务端以便确定各服务端的工作情况；

接收客户端发送的请求消息，并根据监控结果将所述请求消息发送给正常工作的服务端。

本发明实施例提供了一种协议转发网关，包括：

监控模块，用于监控各服务端以便确定各服务端的工作情况；

转发模块，用于接收客户端发送的请求消息，并根据监控结果将所述请求消息发送给正常工作的服务端。

由上述技术方案可知，本发明实施例的集群系统及其消息处理方法和协议转发网关，通过监控各服务端，将客户端发送的请求消息发送给正常工作的服务端，而不是出现错误的服务端，可以实现对错误的及时响应及转移，提高可用性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例的系统结构示意图；

图2为本发明第二实施例的方法流程示意图；

图3为本发明第三实施例的方法流程示意图；

图4为本发明实施例中主备协议转发网关工作示意图；

图5为本发明实施例中主备协议转发网关确定流程示意图；

图6为本发明第四实施例的网关结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明第一实施例的系统结构示意图，包括客户端11和服务端12，还包括主用协议转发网关13；所述主用协议转发网关13用于监控各服务端12以便确定各服务端12的工作情况，在接收到所述客户端11发送的请求消息后，将所述请求消息发送给正常工作的服务端12。

其中，主用协议转发网关13可以采用如下方式将请求消息发送给正常工作的服务端：轮询、静态轮询、最少连接法或者一致性IP哈希法。

主用协议转发网关13采用如下方式确定各服务端的工作情况：向预先设定的端口检测是否成功连接，如果成功连接，则服务端正常工作，所述预先设定的端口是根据协议类型或者服务类型确定的。

当请求消息具体为HTTP消息时，所述主用协议转发网关13还用于在接收到所述服务端返回的请求结果后，将所述服务端的标识携带在请求结果中发送给所述客户端，所述客户端还用于再次发送请求消息时携带所述服务端的标识。

所述客户端和服务端均为多个，所述主用协议转发网关还用于建立各客户端与各服务端的连接，并且所述各客户端与各服务端的连接采用事件驱动和单一进程的方式实现。

进一步地，本实施例还可以包括备用协议转发网关，所述备用协议转发网关用于在所述主用协议转发网关13不能正常工作后替代所述主用协议转发网关13工作。

所述主用协议转发网关和备用协议转发网关采用如下方式确定：

主用协议转发网关通过IP多播数据包周期性地发送通告，如果备用协议转发网关在预定的时间内没有接收到主用协议转发网关发送的通告，则进行主备转换。

图2为本发明第二实施例的方法流程示意图，包括：

步骤21：监控各服务端以便确定各服务端的工作情况；

例如，向预先设定的端口检测是否成功连接，如果成功连接，则确定服务端正常工作，所述预先设定的端口是根据协议类型或者服务类型确定的。

步骤22：接收客户端发送的请求消息，并根据监控结果将所述请求消息发送给正常工作的服务端。

其中，可以采用轮询、静态轮询、最少连接法或者一致性IP哈希法，将所述请求消息发送给正常工作的服务端。

当所述请求消息为HTTP消息时，所述方法还包括：接收所述服务端返回的请求结果，将所述服务端的标识携带在所述请求结果中发送给所述客户端，以便所述客户端再次发送请求消息时携带所述服务端的标识。

图3为本发明第三实施例的方法流程示意图，包括：

步骤301：通过协议转发网关建立客户端和服务端的连接。

对于TCP可以采用如下方式：

a)建立一个socket监听端口，并将一个回调函数指向accept()函数。

b)accept()函数建立与客户端的连接，并做一些处理，如设置成非阻塞等。

c)创建一个请求缓冲区，同时建立指向后端服务的连接。

d)与后端服务的连接建立后，同时分配响应缓冲区，连接请求发起端和服务端

对于HTTP可以采用如下方式：

a)建立一个socket监听端口，并将一个回调函数指向accept()函数。

b)accept()函数建立与客户端的连接，并做一些处理，如设置成非阻塞等。

c)创建一个带有“HOLD”标志的缓冲，并支持头部信息改写。

d)对缓冲区的请求进行分析。

e)根据对请求的分析，建立指向后端服务的连接，同时建立响应缓冲区并对响应的内容进行分析。

上述两种协议下，可以采用事件驱动和单一进行的方式建立连接。其中需要解决的一个问题，是作为“协议转发网关”的机器能够同时处理大量的连接，即高并发IO的问题。由于协议转发不需要大量CPU计算，如果采用多进程/多线程模式，其间在进程/线程之间转换的资源消耗，以及共享数据锁上的资源消耗，反而使并发处理量不能达到极限。这里采用的是基于“事件驱动+单一进程”模式的处理方法，事件驱动采用epoll模型，算法复杂度为常数阶O(1)；采用单一进程，避免了多进程/多线程同时读写造成的数据不一致，避免了数据锁的资源消耗，利用epoll事件模型，可以同时处理大量连接。

步骤302：协议转发网关监控各服务端的工作情况。

应用程序层接受用户从因特网发送过来的请求，应用程序层根据应用逻辑，访问后端的服务。访问后端的服务时，不是直接访问，而是通过“协议转发网关”进行转发。通过可自定义、可扩展的配置文件，针对不同的协议类型(如HTTP或者TCP)和服务类型(如数据库服务或者搜索服务)，开放不同的端口作为区别。当应用程序层连接协议转发网关的某一端口时，根据事先规定的分发规则和指定的服务器集群，对请求进行转发。

协议转发网关会定期检查后端服务器的可用性，对于硬件故障的发现，则是根据事先规定的方法定期检测，主要方法有：

对于TCP可以采用如下方式：根据事先规定端口，如果成功连接则认为通过检测

对于HTTP可以采用如下方式：根据事先规定端口，如果返回2xx头信息，则认为通过检测。

不论是TCP还是HTTP还可以采用如下方式：定义检测脚本，利用xinetd，实现更为复杂的检测逻辑。

如果协议转发网关在检查时发现某一服务器失效，请求将不再会发往此服务器，或者启动相应的备份机器，从而实现错误转移和实现。同时，协议转发网关不会停止对所有机器的检查，一旦发现故障机器恢复，将恢复对其请求转发。

步骤303：客户端向协议转发网关发送请求消息，例如请求消息A。

本实施例将以HTTP为例，则该请求消息为HTTP消息。

步骤304：协议转发网关将该请求消息(请求消息A)发送给正常工作的服务端。

协议转发网关可以采用如下方式将请求消息发送给正常工作的服务端：

a)轮询。将请求按照顺序依次发往各服务器，并且可以根据服务器性能设置不同的权重。权重越高，请求分发的比例也越大，反之亦然。每台服务器的权重可以实时调整，以应对随时可能的突发情况。

b)静态轮询。与轮询一致，唯一不同的是各服务器权重无法实时调整，但是由于分发的计算消耗较少，可以适用更大规模的服务器集群。

c)最少连接法。将请求发往连接数最少的机器。此方法适用于大量的长连接，如SQL、LDAP等，不适用如HTTP的短连接。此方法也可以实时动态调整服务器的权重。

d)一致性IP哈希法。该方法利用一致性哈希算法，按照请求者的IP，将请求发往固定的机器，可以最大限度的保持会话一致，且不用任何附加信息(如针对HTTP的cookie等)。在服务器故障或不能正常提供服务时，一致性IP哈希法可以使整个原有的分发秩序受到的影响最小。

步骤305：服务端向协议转发网关发送请求结果，例如，请求消息A的结果。

步骤306：协议转发网关将服务端的标识携带在请求结果中，并发送给客户端。

例如，协议转发网关接收到服务器～1发送的请求结果，则可以在请求结果中嵌入表明服务端为服务器～1的cookie，例如，cookie：server＝服务器～1。

步骤307：客户端再次发送请求消息，例如，请求消息B，该请求消息中携带服务端的标识，例如，cookie：server＝服务器～1。

步骤308：协议转发网关根据该请求消息中携带的服务端的标识，将该请求消息发送给对应的服务端，例如，发送给服务器～1。

步骤309：服务端向协议转发网关发送请求消息B的结果。

步骤310：协议转发网关将请求消息B的结果发送给客户端。

本实施例中，在系统架构时可以设置至少两个的协议转发网关，其中一个协议转发网关作为主用协议转发网关，其余为备用协议转发网关，当主用协议转发网关正常时，由主用协议转发网关执行上述步骤，当主用协议转发网关出现故障后，启用主备切换，由备用协议转发网关替代主用协议转发网关完成上述流程。

其中，主备协议转发网关可以采用虚拟IP地址的方式工作。图4为本发明实施例中主备协议转发网关工作示意图，参见图4，同一个虚拟IP地址映射到主用协议转发网关和备用协议转发网关上，即主备用协议转发网关共用同一个对外虚拟IP地址。请求消息发送给该虚拟IP地址，主用协议转发网关以虚拟MAC地址应答，使得所有对虚拟IP地址的请求消息均由主用协议转发网关应答。

主备协议转发网关确定流程可以如图5所示。

图5为本发明实施例中主备协议转发网关确定流程示意图，包括：

步骤51：主用协议转发网关采用多播方式发送通告。

其中，该主用协议转发网关为预先设定的初始主用协议转发网关。

步骤52：备用协议转发网关判断在预先设定的时间内是否收到主用协议转发网关发送的通告，若是，执行步骤53，否则，执行步骤54。

步骤53：主用协议转发网关正常，由主用协议转发网关执行转发。

步骤54：选举新的虚拟IP地址。

当在预先设定的时间内没有收到主用协议转发网关发送的通告，则表明主用协议转发网关出现故障，将进行主备切换，由备用协议转发网关替代主用协议转发网关工作。

步骤55：当备用协议转发网关为多个时，可以按照优先级选举新的主用协议转发网关。

图6为本发明第四实施例的网关结构示意图，包括监控模块61和转发模块62；监控模块61用于监控各服务端以便确定各服务端的工作情况；转发模块62用于接收客户端发送的请求消息，并根据监控结果将所述请求消息发送给正常工作的服务端。

所述转发模块62具体用于采用轮询、静态轮询、最少连接法或者一致性IP哈希法，将所述请求消息发送给正常工作的服务端。

当所述请求消息为HTTP消息时，所述转发模块62还用于接收所述服务端返回的请求结果，将所述服务端的标识携带在所述请求结果中发送给所述客户端，以便所述客户端再次发送请求消息时携带所述服务端的标识。

当所述请求消息为HTTP消息时，所述转发模块62还用于接收所述服务端返回的请求结果，将所述服务端的标识携带在所述请求结果中发送给所述客户端，以便所述客户端再次发送请求消息时携带所述服务端的标识。

本实施例还可以包括建立模块63，建立模块63用于采用事件驱动和单一进程的方式实现客户端与服务端的连接，所述客户端和服务端分别为多个。

可以理解的是，上述方法及设备中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种集群系统，包括客户端和服务端，其特征在于，还包括：主用协议转发网关，所述主用协议转发网关用于监控各服务端以便确定各服务端的工作情况，在接收到所述客户端发送的请求消息后，将所述请求消息发送给正常工作的服务端。

2.根据权利要求1所述的系统，其特征在于，还包括备用协议转发网关，所述备用协议转发网关用于在所述主用协议转发网关不能正常工作后替代所述主用协议转发网关工作。

3.根据权利要求1所述的系统，其特征在于，当所述请求消息为HTTP协议消息时，所述主用协议转发网关还用于在接收到所述服务端返回的请求结果后，将所述服务端的标识携带在请求结果中发送给所述客户端，所述客户端还用于再次发送请求消息时携带所述服务端的标识。

4.根据权利要求1所述的系统，其特征在于，所述主用协议转发网关采用如下方式确定各服务端的工作情况：

向预先设定的端口检测是否成功连接，如果成功连接，则服务端正常工作，所述预先设定的端口是根据协议类型或者服务类型确定的。

5.根据权利要求1所述的系统，其特征在于，所述客户端和服务端均为多个，所述主用协议转发网关还用于建立各客户端与各服务端的连接，并且所述各客户端与各服务端的连接采用事件驱动和单一进程的方式实现。

6.根据权利要求2所述的系统，其特征在于，所述主用协议转发网关和备用协议转发网关采用如下方式确定：

主用协议转发网关通过IP多播数据包周期性地发送通告，如果备用协议转发网关在预定的时间内没有接收到主用协议转发网关发送的通告，则进行主备转换。

7.一种集群系统中消息处理方法，其特征在于，包括：

监控各服务端以便确定各服务端的工作情况；

接收客户端发送的请求消息，并根据监控结果将所述请求消息发送给正常工作的服务端。

8.根据权利要求7所述的方法，其特征在于，当所述请求消息为HTTP消息时，所述方法还包括：接收所述服务端返回的请求结果，将所述服务端的标识携带在所述请求结果中发送给所述客户端，以便所述客户端再次发送请求消息时携带所述服务端的标识。

9.一种协议转发网关，其特征在于，包括：

监控模块，用于监控各服务端以便确定各服务端的工作情况；

转发模块，用于接收客户端发送的请求消息，并根据监控结果将所述请求消息发送给正常工作的服务端。

10.根据权利要求9所述的网关，其特征在于，当所述请求消息为HTTP消息时，所述转发模块还用于接收所述服务端返回的请求结果，将所述服务端的标识携带在所述请求结果中发送给所述客户端，以便所述客户端再次发送请求消息时携带所述服务端的标识。

Images