CN105681379A - 集群管理系统和方法 - Google Patents

Abstract

本发明提供了一种集群管理系统，该系统包括：代理服务器，用于接收用户请求，从管理终端获取处理进程的状态信息，根据所述状态信息基于负载均衡选择处理进程，将所述用户请求转发到选择的所述处理进程；处理服务器，用于运行至少一个处理进程，通过所述处理进程接收所述用户请求，并根据相应的业务逻辑处理所述用户请求；管理终端，用于管理所述处理进程，及监视处理进程的状态信息。本方法通过管理终端管理处理进程，及监视处理进程的状态信息，代理服务器直接从管理终端获取处理进程的状态信息基于负载均衡选择处理进程。代理服务器不再需要逐个查询每个处理进程的状态，提高了集群的响应速度。此外还提供了一种集群管理方法。

Description

集群管理系统和方法

技术领域

本发明涉及计算机技术领域，特别是涉及一种集群管理系统和方法。

背景技术

现今社会飞速发展，用户对服务的要求越来越高，单一的服务器已经开始无法满足用户各种的需求。服务也开始向集群化发展，多台服务器或单台服务器搭建起集群来为用户提供实时快捷的服务。

在线互联网应用随着人们的需求也变得日益复杂，其中在线网络游戏也发展迅速，在大型网络游戏中，需要同时处理的玩家往往过万甚至几十万，利用服务器集群来提供网络游戏服务是首选的方案。同时为使玩家体验到更快的响应速度，架构一个高效、方便管理的服务器集群有着非常重大的意义。

传统技术所构建的集群系统通常是：集群系统包括代理服务器和多个节点，代理服务器通过查询每个节点的状态实现负载均衡，将用户请求分配至各节点。然而，传统技术中，由于代理服务器需要查询每个节点的状态并进行分析确定下发节点，当用户请求增多和节点数增加时，影响其响应速度，整个集群的服务性能下降。

发明内容

基于此，有必要针对上述问题，提供一种能提高响应速度的集群管理系统和方法。

一种集群管理系统，所述系统包括：

代理服务器，用于接收用户请求，从管理终端获取处理进程的状态信息，根据所述状态信息基于负载均衡选择处理进程，将所述用户请求转发到选择的所述处理进程；

处理服务器，用于运行至少一个处理进程，通过所述处理进程接收所述用户请求，并根据相应的业务逻辑处理所述用户请求；

管理终端，用于管理所述处理进程，及监视处理进程的状态信息。

在其中一个实施例中，所述代理服务器还用于当确定有处理进程的连接异常断开时，基于负载均衡重新选择处理进程进行连接。

在其中一个实施例中，所述管理终端包括：

共享内存模块，用于提供共享内存以存储所述处理进程的共享数据，所述共享数据包含用户状态和用户数据，并提供统一的接口供后台读写使用。

在其中一个实施例中，所述处理服务器还用于提供统一接口以接入所述代理服务器和管理终端，并将处理所述用户请求得到的共享数据存储至所述管理终端的共享内存中。

在其中一个实施例中，所述管理终端包括：

消息转发模块，用于接收通过进程发送来的用户间消息转发请求，根据所述消息转发请求从所述共享内存中获取用户状态，根据用户状态确定消息接收用户所在处理进程，将消息发送到所述确定的处理进程；还用于接收其它程序通过统一接口发送来的消息转发请求，根据消息转发请求确定处理进程，将消息发送到所述确定的处理进程。

在其中一个实施例中，所述管理终端包括：

管理模块，用于发送心跳包给各处理进程，获取处理进程的状态信息，并根据处理进程的状态信息确定处理进程的工作状态，当有处理进程的工作状态不符合预定要求时，重启所述处理进程或断开其与代理服务器的连接或重连接。

在其中一个实施例中，所述管理终端包括：

报警模块，用于当处理进程或共享内存出现异常时，生成报警信息，通过邮件、即时通信或短信中的至少一种方式将报警信息发送至指定终端。

在其中一个实施例中，所述代理服务器包括第一日志记录模块，用于记录代理服务器的日志信息，所述日志信息包括连接日志、错误日志、请求日志；

所述处理服务器包括第二日志记录模块，用于记录处理服务器的日志信息，所述日志信息包括连接日志、错误日志、请求日志；

所述管理终端包括第三日志记录模块，用于记录管理终端的日志信息，所述日志信息包括连接日志、错误日志、请求日志。

在其中一个实施例中，所述管理终端包括：

日志服务模块，用于接收所述第一日志记录模块、第二日志记录模块、第三日志记录模块发送的日志信息并进行统计分析。

一种集群管理方法，所述方法包括：

通过管理终端，管理处理进程，监视处理进程的状态信息；

通过代理服务器，接收用户请求，从管理终端获取处理进程的状态信息，根据所述状态信息基于负载均衡选择处理进程，将所述用户请求转发到选择的所述处理进程；

通过处理服务器，运行至少一个处理进程，通过所述处理进程接收所述用户请求，并根据相应的业务逻辑处理所述用户请求。

上述集群管理系统和方法，通过管理终端管理处理进程，检测处理进程的状态信息，在代理服务器接收到用户请求后，直接从管理终端获取处理进程的状态信息基于负载均衡选择处理进程，将用户请求转发到选择的处理进程。代理服务器不再需要逐个查询每个处理进程的状态，提高了集群的响应速度，更高效。

附图说明

图1为一个实施例中集群管理系统的结构框图；

图2为一个实施例中管理终端的结构框图；

图3为另一个实施例中管理终端的结构框图；

图4为另一个实施例中集群管理系统的结构框图；

图5为一个实施例中集群管理方法的流程图。

具体实施方式

如图1所示，在一个实施例中，提供了一种集群管理系统，包括代理服务器110、处理服务器120和管理终端130，其中：

代理服务器110，用于接收用户请求，从管理终端130获取处理进程的状态信息，根据状态信息基于负载均衡选择处理进程，将用户请求转发到所选择的处理进程。

本实施例中，代理服务器110接收到用户请求后，通过和管理终端130进行通信获取到各处理进程的状态信息，状态信息可以是处理进程的处理速度、连接数和资源占用等。基于这些状态信息采用负载均衡算法进行分析以选择合适的处理进程，将用户请求转发到所选择的处理进程。负载均衡算法可以直接采用最少连接算法，把当前请求分配给连接数最少的进程；也可以对处理进程的处理速度、连接数和资源占用等进行加权，来选择状态健康且工作负荷低的进程。代理服务器110对于用户就像是透明的，用户就像是直接连接到真实的处理进程一样享受着服务。

处理服务器120，用于运行至少一个处理进程，通过所述处理进程接收所述用户请求，并根据相应的业务逻辑处理所述用户请求。

本实施例中，处理服务器120上运行多个处理进程，如图1中的进程1、进程2，…，进程5等。一个处理进程可以接收多个用户请求。并根据用户请求具体业务的不同进行相应的数据处理和逻辑处理。在处理完来自用户的请求后，还可以正确返回数据至代理服务器110。比如某个进程接收到的用户请求是注册一个新的帐号，则根据发送过来的用户请求为用户提供一个ID(Identity，身份标识号码)并返回此数据至代理服务器110。

需要说明的是，集群中处理服务器可以有多个，每个处理服务器都可运行至少一个处理进程，这时每个处理服务器可以被分配不同的加权值来调整被分配的用户请求。比如性能高的大型服务器可配置较大的加权值，而为性能较低的小型服务器设置较小的加权值。为了避免服务器因过载而崩溃，可为服务器指定最大连接阈值来避免该服务器过载。

管理终端130，用于管理处理进程，监视处理进程的状态信息。

本实施例中，管理终端130通过与处理服务器120进行通信以监视处理进程的状态信息。状态信息可以是处理进程的处理速度、空闲内存数、连接数、错误数、网络质量等。根据状态信息管理处理进程，比如将连接数较大的进程剔除出处理响应队列，不再接受外部请求等。这些状态信息可以在代理服务器110请求发送时进行发送，也可以定时发送给代理服务器110。

本实施例中，通过管理终端管理处理进程，监视处理进程的状态信息，在代理服务器接收到用户请求后，直接从管理终端获取处理进程的状态信息基于负载均衡选择处理进程，将用户请求转发到选择的处理进程。代理服务器不再需要逐个查询每个处理进程的状态，提高了集群的响应速度，使得数据处理更高效。

在一个实施例中，代理服务器110还用于当确定有处理进程的连接异常断开时，基于负载均衡重新选择处理进程进行连接。

本实施例中，代理服务器110和处理进程之间的连接可能会异常断开，比如处理进程发生错误或负荷能力达到极限时可能导致连接异常断开，在这种情况下，代理服务器110会基于负载均衡重新选择处理进程进行连接。由于用户没有直接和处理进程进行连接，在发生断连时，代理服务器110选择其他处理进程进行重连接，这样用户就不会感觉到自己有断线，提高了用户体验。

在另一个实施例中，如图2所示，上述集群管理系统中的管理终端130包括：

共享内存模块131，用于提供共享内存以存储处理进程的共享数据，共享数据包含用户状态和用户数据，并提供统一的接口供后台读写使用。

本实施例中，需要共享的数据可以根据业务需求进行选择。比如每个用户连接进来都有自己的唯一标识(ID)，这个需要保存于共享内存，假设具体业务是棋牌类游戏，可能还需要共享用户本次在线时长、玩牌局数、输赢情况等。用户状态可以是用户与处理进程的连接关系等。这些共享数据可以通过统一的接口供后台读写使用。

本实施例中，处理服务器120还用于提供统一接口以接入代理服务器110和管理终端130，并将处理用户请求得到的共享数据存储至管理终端130的共享内存中。

由于用户分散在不同处理进程中，每个处理进程只知道自己处理了哪些用户请求，不知道其它处理进程处理了哪些用户请求。如果需要知道就要两两互相连接进行查询，这样消耗资源多且不高效。处理服务器120与所有的进程相连，每个进程都将自己处理的用户状态和用户数据存储至管理终端的共享内存模块131供其它进程访问，从而提高了访问效率。

消息转发模块132，用于接收通过进程发送来的用户间消息转发请求，根据所述消息转发请求从共享内存中获取用户状态，根据用户状态确定消息接收用户所在处理进程，将消息发送到所述处理进程；还用于接收其它程序通过统一接口发送来的消息转发请求，根据消息转发请求确定处理进程，将消息发送到所述处理进程。

本实施例中，当用户间需要进行消息转发时，比如A用户通过A进程发送消息给B用户，消息转发模块132通过A进程接收到请求后，先从共享内存中获取B用户状态，根据用户状态确定B用户所在处理进程，将消息发送到所述处理进程，这样B用户就可以接收到消息了。利用共享数据后不需要A进程与每个进程进行互相连接查询B用户所在进程，方便高效的实现了用户间的消息转发。又比如当需要向用户推送公告时，只需要通过统一接口对消息转发模块132发起一个广播请求或单播请求，消息转发模块132将会把消息转发到相应的处理进程进行广播或单播。

在又一个实施例中，如图3所示，上述集群管理系统中的管理终端130还包括：

管理模块133，用于发送心跳包给各处理进程，获取处理进程的状态信息，根据处理进程的状态信息确定处理进程的工作状态，当有处理进程的工作状态不符合要求时，重启所述处理进程或断开其与代理服务器的连接或重连接。

本实施例中，管理模块133发送心跳包给各处理进程，发送心跳包可以按照管理选项配置的间隔时间定时发送，也可以通过管理选项预设需要得到处理进程的哪些状态信息。管理模块133在配置好的指定时间发送心跳包给各处理进程，获取一些预设的状态信息，如空闲内存数、连接数、错误数、网络质量等。根据这些状态信息判断是否需要重启该进程，或者判断是否需要将其剔出响应队列，不再接受外部请求等。如果某个处理进程对心跳包的响应时间超过设定值，则认为此处理进程不健康，需要被剔出响应队列。在把处理进程剔除出响应队列之前，需要先把其中的数据转移到其它的处理进程中，然后再断开其与代理服务器的连接。如果某个处理进程恢复健康后，则可以将其与代理服务器进行重连接。通过上述方式，保证了整个集群的稳定性。

报警模块134，用于当处理进程或共享内存出现异常时，生成报警信息，通过邮件、即时通信或短信中的至少一种方式将报警信息发送至指定终端。

本实施例中，当处理进程或共享内存出现异常时，比如某个处理进程被剔出响应队列时或共享内存出现坏块时，报警模块134会生成报警信息，并且通过邮件、即时通信或短信中的至少一种方式将报警信息发送至指定终端，如此可以帮助运维和开发人员排查错误和进行有效的维护。

在又一个实施例中，如图4所示，上述集群管理系统中的代理服务器110包括第一日志记录模块111，用于记录代理服务器的日志信息，日志信息包括连接日志、错误日志、请求日志；处理服务器120包括第二日志记录模块121，用于记录处理服务器的日志信息，日志信息包括连接日志、错误日志、请求日志；管理终端130还包括第三日志记录模块135，用于记录管理终端的日志信息，日志信息包括连接日志、错误日志、请求日志。

本实施例中，日志记录模块是可设定的，可以根据需要记录不同的数据。可记录以下数据：连接日志：记录请求连接的时间、连接发起方的IP(InternetProtocol，网络之间互连的协议)地址、连接发起方的端口、连接接收方的响应时间和负责处理该连接的处理进程ID等；错误日志：记录错误发生时间、报错原因、是请求发起方错误还是处理进程方错误、处理方式(断开，还是被代理到别的处理进程等)；请求日志：记录请求时间、具体请求包含的内容、响应时间和请求方法等。根据需要还可以添加各种不同的日志，这里不一一列举。各个日志记录模块通过记录各种日志信息，可以监控整个集群的运行状态，便于在出现问题时方便快捷的找到原因并进行解决。

本实施例中，管理终端130还包括日志服务模块136，用于接收第一日志记录模块、第二日志记录模块、第三日志记录模块发送的日志信息并进行统计分析。

具体的，日志服务模块136接收外部和内部各个日志记录模块发送的日志信息，将各个日志信息汇总记录并进行分析。可以将汇总记录和分析结果统一发送到指定终端进行存储。此日志服务模块136能够方便的从同一个地方获取到整个集群的各种日志信息，方便日后的排错和管理。

如图5所示，在一个实施例中，提供了一种集群管理方法，可应用于如上所述的集群管理系统，包括：

步骤S210，通过管理终端管理处理进程，监视处理进程的状态信息。

步骤S220，通过代理服务器接收用户请求，从管理终端获取处理进程的状态信息，根据状态信息基于负载均衡选择处理进程，将用户请求转发到选择的处理进程。

步骤S230，通过处理服务器运行至少一个处理进程，通过处理进程接收用户请求，并根据相应的业务逻辑处理用户请求。

在一个实施例中，上述集群管理方法还包括：当代理服务器确定处理进程的连接异常断开时，代理服务器基于负载均衡重新选择处理进程进行连接。

在一个实施例中，上述集群管理方法还包括：通过处理服务器将处理用户请求得到的共享数据存储至管理终端的共享内存中。

在一个实施例中，上述集群管理方法还包括：通过消息转发模块接收通过进程发送来的用户间消息转发请求，根据消息转发请求从管理终端的共享内存中获取用户状态，根据用户状态确定消息接收用户所在处理进程，将消息发送到所述处理进程；通过消息转发模块接收其它程序通过统一接口发送来的消息转发请求，根据消息转发请求确定处理进程，将消息发送到所述处理进程。

在一个实施例中，上述集群管理方法还包括：通过管理模块发送心跳包给各处理进程，获取处理进程的状态信息，并根据处理进程的状态信息确定处理进程的工作状态，当处理进程的工作状态不符合要求时，重启所述处理进程或断开其与代理服务器的连接或重连接。

在一个实施例中，上述集群管理方法还包括：当处理进程或共享内存出现异常时，通过报警模块生成报警信息，通过邮件、即时通信或短信中的至少一种方式将报警信息发送至指定终端。

在一个实施例中，上述集群管理方法还包括：通过第一日志记录模块记录代理服务器的日志信息，所述日志信息包括连接日志、错误日志、请求日志；通过第二日志记录模块记录处理服务器的日志信息，所述日志信息包括连接日志、错误日志、请求日志；通过第三日志记录模块记录管理终端器的日志信息，所述日志信息包括连接日志、错误日志、请求日志。

在一个实施例中，上述集群管理方法还包括：通过日志服务模块接收所述第一日志记录模块、第二日志记录模块、第三日志记录模块发送的日志信息并进行统计分析。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种集群管理系统，其特征在于，所述系统包括：

代理服务器，用于接收用户请求，从管理终端获取处理进程的状态信息，根据所述状态信息基于负载均衡选择处理进程，将所述用户请求转发到选择的所述处理进程；

处理服务器，用于运行至少一个处理进程，通过所述处理进程接收所述用户请求，并根据相应的业务逻辑处理所述用户请求；

管理终端，用于管理所述处理进程，及监视处理进程的状态信息。

2.根据权利要求1所述的系统，其特征在于，所述代理服务器还用于当确定有处理进程的连接异常断开时，基于负载均衡重新选择处理进程进行连接。

3.根据权利要求1所述的系统，其特征在于，所述管理终端包括：

共享内存模块，用于提供共享内存以存储所述处理进程的共享数据，所述共享数据包含用户状态和用户数据，并提供统一的接口供后台读写使用。

4.根据权利要求3所述的系统，其特征在于，所述处理服务器还用于提供统一接口以接入所述代理服务器和管理终端，并将处理所述用户请求得到的共享数据存储至所述管理终端的共享内存中。

5.根据权利要求4所述的系统，其特征在于，所述管理终端包括：

消息转发模块，用于接收通过进程发送来的用户间消息转发请求，根据所述消息转发请求从所述共享内存中获取用户状态，根据用户状态确定消息接收用户所在处理进程，将消息发送到所述确定的处理进程；还用于接收其它程序通过统一接口发送来的消息转发请求，根据消息转发请求确定处理进程，将消息发送到所述确定的处理进程。

6.根据权利要求1所述的系统，其特征在于，所述管理终端包括：

管理模块，用于发送心跳包给各处理进程，获取处理进程的状态信息，并根据处理进程的状态信息确定处理进程的工作状态，当有处理进程的工作状态不符合预定要求时，重启所述处理进程或断开其与代理服务器的连接或重连接。

7.根据权利要求3所述的系统，其特征在于，所述管理终端包括：

报警模块，用于当处理进程或共享内存出现异常时，生成报警信息，通过邮件、即时通信或短信中的至少一种方式将报警信息发送至指定终端。

8.根据权利要求1所述的系统，其特征在于，所述代理服务器包括第一日志记录模块，用于记录代理服务器的日志信息，所述日志信息包括连接日志、错误日志、请求日志；

所述处理服务器包括第二日志记录模块，用于记录处理服务器的日志信息，所述日志信息包括连接日志、错误日志、请求日志；

所述管理终端还包括第三日志记录模块，用于记录管理终端的日志信息，所述日志信息包括连接日志、错误日志、请求日志。

9.根据权利要求8所述的系统，其特征在于，所述管理终端还包括：

日志服务模块，用于接收所述第一日志记录模块、第二日志记录模块、第三日志记录模块发送的日志信息并进行统计分析。

10.一种集群管理方法，所述方法包括：

通过管理终端管理处理进程，监视处理进程的状态信息；

通过代理服务器接收用户请求，从所述管理终端获取处理进程的状态信息，根据所述状态信息基于负载均衡选择处理进程，将所述用户请求转发到选择的所述处理进程；

通过处理服务器运行至少一个处理进程，通过所述处理进程接收所述用户请求，并根据相应的业务逻辑处理所述用户请求。