CN103281384A - 一种无中心节点的消息服务集群的管理系统及方法 - Google Patents

Abstract

本发明提供一种无中心节点的消息服务集群的管理方法，包括：S1、确定分布式网络中集群节点数量M，从具备消息服务的N个节点中选举M个节点组成一个集群，剩余节点为集群观察者；其中，M<=N；S2、集群启动全网的STOMP消息转发服务，提交到所述集群内的STOMP消息在所述N个节点中的多个节点上备份缓存；S3、当所述集群观察者感知到所述集群内有K个节点失效时，所述K个集群观察者申请加入所述集群，以替代所述失效节点，所述失效节点的STOMP消息转发服务由备份该STOMP消息的节点代替，其中，1<=K<M；本发明使得所有消息服务节点都是平等的，保障消息服务的并发性、安全性、持久性和有效性，降低管理成本。

Description

一种无中心节点的消息服务集群的管理系统及方法

技术领域

本发明涉及分布式网络领域，特别涉及一种基于分布式网络的无中心节点的消息服务集群的管理系统及方法。

背景技术

随着互联网技术和应用的高速发展，尤其是云计算技术的广泛应用和普及，分布式系统架构成为唯一可能的技术选项。而面向消息服务的中间件正式构建可扩展的分布式体系架构的核心技术之一，是支撑各种云计算框架（IaaS、PaaS、SaaS、DaaS……）的技术基础。

消息服务中间件技术已发展多年，非常成熟稳定，在传统的企业IT市场取得了很大的成功。但是随着基于互联网的云计算技术的普及发展，传统的消息服务中间件技术面临新的技术和非技术层面的挑战，如服务规模的高速扩展、服务节点动态快速交付、服务集群全球部署、跨地理位置的服务集群整合或分拆、近乎为零的管理成本等等。目前存在两种成熟的消息服务的技术方案：

1）普通消息服务器（Message Server），在局域网（LAN）环境中提供单一节点消息转发服务，适合小型IT组织机构的非关键业务的分布式网络应用场景。

2）基于主从架构的消息服务器集群，在局域网中部署一台主消息服务器（Master Server）和一至多台从属消息服务器（Slave Server(s)），构成消息服务集群。当主服务器失效时，某个从属服务器升级为新的主服务器，替代失效的主服务器的管理职能。该方案适合传统企业网络中的满足关键业务的分布式网络应用场景。

但是，现有技术中存在以下不足：

a、当前广泛使用的消息服务中间件技术都采用基于中心管理节点的技术体系架构，为了避免单点失效（SPoF），需要部署一至多个从属管理节点；主从管理节点所驻留的物理设备需要较高的软硬件配置以确保安全性和服务水平，必然增加系统采购和管理成本开销。

b、基于主从架构的消息服务集群中，当出现网络联通故障时，与主管理节点失连的从属管理节点或消息代理节点将丧失服务能力，甚至整个集群的服务能力瘫痪。

c、主从架构的消息服务集群具备一定的水平扩展性，但是面对多集群整合，或单集群分拆的业务需求时，需要付出较高的技术成本、时间成本和管理成本。

发明内容

针对现有技术的不足，本发明提供一种无中心节点的消息服务集群的管理系统及方法，使得所有消息服务节点都是平等的，保障消息服务的并发性、安全性、持久性和有效性，降低管理成本。

为实现以上目的，本发明通过以下技术方案予以实现：

本发明提供一种无中心节点的消息服务集群的管理方法，包括以下步骤：

S1、确定分布式网络中集群节点数量M，并从具备消息服务的N个节点中选举M个节点组成一个集群，剩余节点成为集群观察者，其中，M<=N；

S2、所述集群启动全网的STOMP消息转发服务，其中，提交到所述集群内的STOMP消息在所述N个节点中的多个节点上备份缓存；

S3、当所述集群观察者感知到所述集群内有K个节点失效时，所述K个集群观察者申请加入所述集群，以替代所述失效节点，所述失效节点的STOMP消息转发服务由备份该STOMP消息的节点代替，其中，1<=K<M。

优选的，所述步骤S1中的N个节点间能相互感知，并均能提供STOMP全网代理转发服务，且所述N个节点具有同等选举权，所述集群内的各节点转发STOMP消息的能力对等一致。

优选的，所述步骤S1中，所述集群节点数量M通过N个节点交互协商后确定，或者任意设定；所述集群中的M个节点的选举由N个节点交互协商后确定，或者任意设定。

优选的，所述步骤S3进一步包括：

当彼此独立的多个集群通过网络链路联通后，预设新网络中集群节点数量，所述不同集群中的节点相互感知、协商融合后组成新的集群。

优选的，所述步骤S3进一步包括：

若当前网络拓扑发生变化，所述N个节点被分配到多个彼此隔离的网络中，预设新网络中集群节点数量，被分配到独立网络中的集群节点和观察者节点相互感知、协商构建新的集群。

优选的，所述集群的节点数量能进行动态变更。

本发明还提供一种无中心节点的消息服务集群的管理系统，包括有：

集群组建单元，用于确定分布式网络中集群节点数量M，并从具备消息服务的N个节点中选举M个节点组成一个集群，剩余节点成为集群观察者；其中，M<=N；

STOMP消息转发单元，用于使集群启动全网的STOMP消息转发服务，其中，提交到所述集群内的STOMP消息在所述N个节点中的多个节点上备份缓存；

失效递补单元，用于当所述集群观察者感知到所述集群内有K个节点失效时，所述K个集群观察者申请加入所述集群，以替代所述失效节点，所述失效节点的STOMP消息转发服务由备份该STOMP消息的节点代替，其中，1<=K<M。

优选的，所述系统进一步包括：

集群融合单元，用于当彼此独立的多个集群通过网络链路联通后，预设新网络中集群节点数量，所述不同集群中的节点相互感知、协商融合后组成新的集群。

优选的，所述系统进一步包括：

集群分离单元，用于当当前网络拓扑发生变化，所述N个节点被分配到多个彼此隔离的网络中，预设新网络中集群节点数量，被分配到独立网络中的集群节点和观察者节点相互感知、协商构建新的集群。

本发明提供的一种无中心节点的消息服务集群的管理系统及方法方法，其具有以下有益效果：

1）消息服务集群部署灵活，规模可自由伸缩，可以实现从单一节点到任意数量节点的平滑动态扩展和缩减；

2）无中心管理节点的体系架构，所有的集群服务节点都是平等的，可以部署在同等配置的硬件平台上，系统购置、管理、运维及扩建的成本大大降低；

3）集群观察者节点可以自动递补失效的集群节点，保持集群的整体服务水准；

4）避免单点失效导致的消息转发QoS下降。单一STOMP客户端可以同时保持与集群内不同节点的STOMP链路，在多个节点上备份缓存待转发的STOMP消息，有效避免单个服务节点失效引起的服务中断或消息损毁；

5）根据网络拓扑结构的改变，实现集群合并和分离，充分保障消息服务的持久性和有效性；

6）STOMP消息传输协议基于开源标准，满足任意支持STOMP协议的网络客户端的接入，提供最佳的开放性和透明性。

附图说明

图1为本发明一实施例的流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本发明提供一种无中心节点的消息服务集群的管理方法，包括以下步骤：

S1、在局域网LAN或广域网WAN中，确定集群节点数量M，并从具备消息服务的N个节点中选举M个节点组成一个集群，剩余节点为集群观察者；其中，M<=N；

S2、所述集群启动全网的STOMP消息转发服务，其中，提交到所述集群内的STOMP消息在所述N个节点中的多个节点上备份缓存；

S3、当所述集群观察者感知到所述集群内有K个节点失效时，所述K个集群观察者申请加入所述集群，以替代所述失效节点，所述失效节点的STOMP消息转发服务由备份该STOMP消息的节点代替，其中，1<=K<M。当所述失效节点恢复服务能力时，可以申请重新加入集群，或者成为集群观察者。

优选的，步骤S1中的N个节点间能相互感知，且均能提供STOMP（STOMP：Streaming Text oriented Message Protocol，此为开源协议）全网代理转发服务；任何支持STOMP协议的客户端可以连接集群中的任意节点，发送STOMP消息，并且订阅收取其他客户端发送的STOMP消息，所述N个节点具有同等选举权，所述集群内的各节点转发STOMP消息的能力对等一致。

优选的，所述步骤S1中，所述集群节点数量M通过N个节点交互协商后确定，或者任意设定；所述集群中的M个节点的选举由N个节点交互协商后确定，或者任意设定。

提交给集群的STOMP消息会在所述N个节点中的多个节点上备份缓存，不会因为单个节点失效而丢失损坏。

优选的，集群内的所有节点和集群的观察者节点能够依据当前网络的拓扑结构，动态调整集群的组织结构，即所述步骤S3进一步包括：当彼此独立的多个集群通过网络链路联通后，可以人工或自动触发集群的整合，可预设新网络中集群节点数量，所述不同集群中的节点相互感知、协商融合后组成新的集群，在新的网络中平衡布局。

优选的，若当前网络拓扑发生变化（添加新的防火墙过滤规则，网络广播包隔离等）或网络联通故障，达到预设条件（如网络超时、丢包等）时，集群中的节点和集群观察者能够自动协商，构建适应新网络拓扑结构的集群，所述步骤S3进一步包括：所述N个节点被分配到多个彼此隔离的网络中，预设新网络中集群节点数量，被分配到独立网络中的集群节点和观察者节点相互感知、协商后组成新的集群，以尽量保障网内消息服务的有效性和延续性。即单一集群可以依据网络拓扑条件的改变，自动分离为多个彼此独立的消息服务集群。

优选的，所述预设的集群节点数量可动态伸缩，可通过人为或者依据多种STOMP消息服务的相应策略进行变更。

本发明还提供一种无中心节点的消息服务集群的管理系统，该系统支持消息服务集群的动态组建、运行监控、失效节点的替换、集群自动融合、集群分离等自我管理、自我维护的功能，所述系统包括有：

集群组建单元，用于确定分布式网络中集群节点数量M，并从具备消息服务的N个节点中选举M个节点组成一个集群，剩余节点成为集群观察者；其中，M<=N；

STOMP消息转发单元，用于使集群启动全网的STOMP消息转发服务，其中，提交到所述集群内的STOMP消息在所述N个节点中的多个节点上备份缓存；

失效递补单元，用于当所述集群观察者感知到所述集群内有K个节点失效时，所述K个集群观察者申请加入所述集群，以替代所述失效节点，所述失效节点的STOMP消息转发服务由备份该STOMP消息的节点代替，其中，1<=K<M。

优选的，所述系统进一步包括：

集群融合单元，用于当彼此独立的多个集群通过网络链路联通后，预设新网络中集群节点数量，所述不同集群中的节点相互感知、协商融合后组成新的集群。

优选的，所述系统进一步包括：

集群分离单元，用于当当前网络拓扑发生变化，所述N个节点被分配到多个彼此隔离的网络中，预设新网络中集群节点数量，被分配到独立网络中的集群节点和观察者节点相互感知、协商构建新的集群。

本发明提供一种无中心节点的消息服务集群的管理系统及方法，具有以下有益效果：

1）消息服务集群部署灵活，规模可自由伸缩，可以实现从单一节点到任意数量节点的平滑动态扩展和缩减；

2）无中心管理节点的体系架构，所有的集群服务节点都是平等的，可以部署在同等配置的硬件平台上，系统购置、管理、运维及扩建的成本大大降低；

3）集群观察者节点可以自动递补失效的集群节点，保持集群的整体服务水准；

4）避免单点失效导致的消息转发QoS下降。单一STOMP客户端可以同时保持与集群内不同节点的STOMP链路，在多个节点上备份缓存待转发的STOMP消息，有效避免单个服务节点失效引起的服务中断或消息损毁；

5）根据网络拓扑结构的改变，实现集群合并和分离，充分保障消息服务的持久性和有效性；

6）STOMP消息传输协议基于开源标准，满足任意支持STOMP协议的网络客户端的接入，提供最佳的开放性和透明性。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (9)

1.一种无中心节点的消息服务集群的管理方法，其特征在于，包括以下步骤：

S1、确定分布式网络中集群节点数量M，并从具备消息服务的N个节点中选举M个节点组成一个集群，剩余节点成为集群观察者，其中，M<=N；

S2、所述集群启动全网的STOMP消息转发服务，其中，提交到所述集群内的STOMP消息在所述N个节点中的多个节点上备份缓存；

S3、当所述集群观察者感知到所述集群内有K个节点失效时，所述K个集群观察者申请加入所述集群，以替代所述失效节点，所述失效节点的STOMP消息转发服务由备份该STOMP消息的节点代替，其中，1<=K<M。

2.如权利要求1所述的方法，其特征在于，所述步骤S1中的N个节点间能相互感知，并均能提供STOMP全网代理转发服务，且所述N个节点具有同等选举权，所述集群内的各节点转发STOMP消息的能力对等一致。

3.如权利要求2所述的方法，其特征在于，所述步骤S1中，所述集群节点数量M通过N个节点交互协商后确定，或者任意设定；所述集群中的M个节点的选举由N个节点交互协商后确定，或者任意设定。

4.如权利要求3所述的方法，其特征在于，所述步骤S3进一步包括：

当彼此独立的多个集群通过网络链路联通后，预设新网络中集群节点数量，所述不同集群中的节点相互感知、协商融合后组成新的集群。

5.如权利要求3所述的方法，其特征在于，所述步骤S3进一步包括：

若当前网络拓扑发生变化，所述N个节点被分配到多个彼此隔离的网络中，预设新网络中集群节点数量，被分配到独立网络中的集群节点和观察者节点相互感知、协商构建新的集群。

6.如权利要求1-5所述的方法，其特征在于，所述集群的节点数量能进行动态变更。

7.一种无中心节点的消息服务集群的管理系统，其特征在于，包括有：

集群组建单元，用于确定分布式网络中集群节点数量M，并从具备消息服务的N个节点中选举M个节点组成一个集群，剩余节点成为集群观察者；其中，M<=N；

STOMP消息转发单元，用于使集群启动全网的STOMP消息转发服务，其中，提交到所述集群内的STOMP消息在所述N个节点中的多个节点上备份缓存；

失效递补单元，用于当所述集群观察者感知到所述集群内有K个节点失效时，所述K个集群观察者申请加入所述集群，以替代所述失效节点，所述失效节点的STOMP消息转发服务由备份该STOMP消息的节点代替，其中，1<=K<M。

8.如权利要求7所述的系统，其特征在于，所述系统进一步包括：

集群融合单元，用于当彼此独立的多个集群通过网络链路联通后，预设新网络中集群节点数量，所述不同集群中的节点相互感知、协商融合后组成新的集群。

9.如权利要求8所述的系统，其特征在于，所述系统进一步包括：

集群分离单元，用于当当前网络拓扑发生变化，所述N个节点被分配到多个彼此隔离的网络中，预设新网络中集群节点数量，被分配到独立网络中的集群节点和观察者节点相互感知、协商构建新的集群。

Images