CN108111630B - 一种Zookeeper集群系统及其连接方法和系统 - Google Patents

Abstract

本发明实施例提供了一种Zookeeper集群系统及其连接方法和系统，该Zookeeper集群系统包括代理装置，代理装置部署在Zookeeper客户端所在的机器上，Zookeeper客户端通过该代理装置与服务端相连接；代理装置用于接收多个Zookeeper客户端的心跳信号，并将接收到的多个心跳信号进行合并，再将通过合并得到的心跳信息发送到服务端，以使服务端与相应的Zookeeper客户端保持连接。由于这里服务端是统一接收的心跳信息，仅对该心跳信息进行处理即可决定连接或者断开连接，而无需对多个心跳信号进行处理，也就无需消耗太多的CPU和内存，因此能够有效避免服务端整体性能下降的问题。

Description

一种Zookeeper集群系统及其连接方法和系统

技术领域

本发明涉及互联网技术领域，特别是涉及一种Zookeeper集群系统及其连接方法和系统。

背景技术

Zookeeper集群是被很多互联网公司广泛使用的分布式协调系统。Zookeeper作为分布式系统的重要基石，其提供的协调机制被很多重要的大型分布式系统底层所依赖，比如分布式计算系统Hadoop，消息系统Kafka等，且Zookeeper集群依赖Zab协议为用户提供了一致性的保证，并可提供选主、分布式锁等功能。

由于Zookeeper集群的底层严重依赖ZAB协议，所以其客户端的写操作需要在大多数服务端上同时写成功才被认为写成功，这种机制导致部署的服务端数目越多则写操作耗时越长。因此为了保证一致性和写操作的性能，在部署时一般选择3台或5台机器来部署Zookeeper集群的服务端。Zookeeper自身的限制使得客户端在连接Zookeeper集群时会随机选择一台服务端，此时客户端需要通过周期性心跳来与服务端保持连接，当客户端较多时，对大量的客户端的周期性心跳的处理会消耗服务端上较多的CPU和内存，从而导致服务端整体性能下降。

发明内容

有鉴于此，本发明提供了一种Zookeeper集群及其连接方法和系统，以解决客户端较多时因需要消耗较多的CPU和内存而导致性能下降的问题。

为了解决上述问题，本发明公开了一种Zookeeper集群系统，包括代理装置，所述代理装置部署在Zookeeper客户端所在的机器上，每个所述Zookeeper客户端通过所述代理装置与服务端相连接，其中：

所述代理装置用于接收多个客户端的心跳信号，并将接收到的多个心跳信号进行合并，再将通过合并得到的心跳信息发送到所述服务端。

还提供了一种连接方法，应用于如上所述的Zookeeper集群系统的代理装置，其特征在于，所述代理装置包括至少一个处理器，以及与所述处理器相连接的存储器，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行如下步骤：

接收多个Zookeeper客户端发送的心跳信号；

将接收到的多个心跳信号进行编码处理，得到包含多个心跳信号的心跳信息；

将所述心跳信息发送到所述服务端。

可选的，所述操作步骤还包括：

接收所述服务端所发送的路径变更事件；

将所述路径变更事件推送给所有连接的Zookeeper客户端。

另外，还提供了一种连接系统，应用于如上所述的Zookeeper集群系统的代理装置，其特征在于，所述连接系统包括：

第一接收模块，用于接收多个Zookeeper客户端发送的心跳信号；

信号处理模块，用于将接收到的多个心跳信号进行编码处理，得到包含多个心跳信号的心跳信息；

数据发送模块，用于将所述心跳信息发送到所述服务端。

可选的，还包括：

第二接收模块，用于接收所述服务端所发送的路径变更事件；

数据推送模块，用于将所述路径变更事件推送给所有连接的Zookeeper客户端。

从上述技术方案可以看出，本发明提供了一种Zookeeper集群系统及其连接方法和系统，该Zookeeper系统包括代理装置，服务端通过代理装置与多个Zookeeper客户端相连接，该代理装置部署在Zookeeper客户端所在的机器上；代理装置用于接收多个服务端的心跳信号，并将接收到的多个心跳信号进行合并，再将通过合并得到的心跳信息发送到服务端，以使服务端与相应的Zookeeper客户端保持连接。由于这里服务端是统一接收的心跳信息，仅对该心跳信息进行处理即可决定连接或者断开连接，而无需对多个心跳信号进行处理，也就无需消耗太多的CPU和内存，因此能够有效避免服务端整体性能下降的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种Zookeeper集群系统的结构示意图；

图2为本发明实施例提供的一种Zookeeper集群系统的连接方法的步骤流程图；

图3为本发明实施例提供的另一种Zookeeper集群系统的连接方法的步骤流程图；

图4为本发明实施例提供的一种Zookeeper集群系统的连接系统的结构框图；

图5为本发明实施例提供的另一种Zookeeper集群系统的连接系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1为本发明实施例提供的一种Zookeeper集群系统的结构示意图；

参照图1所示，本实施例提供的Zookeeper集群系统包括服务端100和代理装置300，服务端通过该代理装置与Zookeeper客户端200连接，服务端配置于集中或分散配置的多台服务器上，用于为Zookeeper客户端提供集群服务；Zookeeper客户端则直接为用户提供用于访问该服务端的接口系统。一般来说Zookeeper客户端为多个，用于为多个用户提供服务。

代理装置部署于Zookeeper客户端所在的机器上。这里的代理装置可以理解为具有数据处理的硬件电子设备，也可以理解为Zookeeper客户端所在的机器通过运行相应的程序实现的功能模块。

上述多个Zookeeper客户端直接与代理装置相连接，代理装置则与该服务端相连接。Zookeeper客户端为了保证与服务端的有效连接，会周期性地向服务端发送相应的心跳信号，服务端用于根据心跳信号与相应的客户端保持连接。心跳信号实际是指客户端向服务端发送的小型数据包，该数据包中包括有客户端的ip等信息。

这里，代理装置接收所有与其相连接的Zookeeper客户端的心跳信号，然后将接收到的多个心跳信号进行编码处理，从而得到包含多个心跳信号的心跳信息，并将该心跳信息发送到服务端。由于心跳信息中包含有包含相应Zookeeper客户端信息，因此服务端能够以此判定哪些Zookeeper客户端还在发送心跳信号，以此决定与相应的Zookeeper客户端继续保持连接或者断开与某个Zookeeper客户端的连接。

从上述技术方案可以看出，本实施例中提供了一种Zookeeper集群系统，其包括服务端和代理装置，该代理装置部署在Zookeeper客户端所在的机器上，Zookeeper客户端通过该代理装置与服务端相连接；代理装置用于接收多个客户端的心跳信号，并将接收到的多个心跳信号进行合并，再将通过合并得到的心跳信息发送到服务端，以使服务端与相应的Zookeeper客户端保持连接。由于这里服务端是统一接收的心跳信息，仅对该心跳信息进行处理即可决定连接或者断开连接，而无需对多个心跳信号进行处理，也就无需消耗太多的CPU和内存，因此能够有效避免服务端整体性能下降的问题。

实施例二

图2为本发明实施例提供的一种Zookeeper集群系统的连接方法的步骤流程图。

本实施例中的Zookeeper集群系统包括服务端和代理装置，代理装置配置于Zookeeper客户端所在的机器上，多个Zookeeper客户端分别通过代理装置与服务端相连接。该代理装置包括至少一个处理器，以及与至少一个处理器相连接的存储器，存储器中存储有可被处理器执行的指令。该指令能够被处理器执行，以实现本实施例所述的连接方法。

参照图2所示，本实施例提供的连接方法包括如下步骤：

S101：接收多个Zookeeper客户端发送的心跳信号。

每个心跳信号来自于相应的Zookeeper客户端，因此该心跳信号包含有相应Zookeeper客户端的ip等信息，从而通过对心跳信号的解析能够确定其来源。心跳信号为一个小型数据包，一般来说Zookeeper客户端发送的心跳信号是直接发送到服务端的，这里是通过代理装置接收多个心跳信号。

S102：将多个心跳信号进行编码得到心跳信息。

在接收到多个心跳信号后，对多个心跳信号进行编码处理，即将多个小型数据包处理为一个较大的数据包，该较大的数据包中包含有发送心跳信号Zookeeper客户端的数量和具体客户端的ip等信息。

S103：将心跳信息发送到服务端。

在处理得到心跳信息后，将该心跳信息发送到服务端。由于心跳信息中包含有发送心跳信号的Zookeeper客户端的数量和具体Zookeeper客户端的ip等信息，因此服务端通过对其的解析即可得到具体哪个Zookeeper客户端在发送心跳信号，即具体哪个Zookeeper客户端有连接需求，也就继续保持与该Zookeeper客户端的连接。

从上述技术方案可以看出，服务端无需处理多个心跳信号，仅通过对单一的心跳信息进出处理即可保持与有连接需求的客户端之间的连接，也就无需消耗较多的CPU和内存，从而避免服务端的性能下降。

另外，代理装置通过执行处理器中的指令还可以实现下面的操作步骤，参照图3所示：

S201：接收服务端发送的路径变更事件。

当有路径变更事件需要发送到所有的Zookeeper客户端时，服务端首先将相应的路径变更事件发送到代理装置，此时该代理装置将该路径变更事件进行暂存。

S202：将路径变更事件推送到所有的Zookeeper客户端。

在接收路径变更事件后，将该路径变更事件分步或同时推送到所有与该代理装置相连接的Zookeeper客户端。

如果是服务端直接向Zookeeper客户端推送路径变更事件，则需要所有Zookeeper客户端与服务端建立连接，大量的Zookeeper客户端连接会占用过多服务端资源导致集群不稳定，会导致路径变更事件的丢失。而本实施例中利用代理装置向所有Zookeeper客户端进行推送的方法降低服务端的负担，避免了集群的不稳定，从而降低了路径变更事件丢失的概率。

实施例三

图4为本发明实施例提供的一种Zookeeper集群系统的连接系统的结构框图。

参照图4所示，本实施例中的Zookeeper集群系统包括服务端和代理装置，代理装置配置于Zookeeper客户端所在的机器上，多个Zookeeper客户端分别通过代理装置与服务端相连接。该代理装置包括连接系统，该连接系统用于将Zookeeper客户端与服务端相连接，具体包括第一接收模块10、信号处理模块20和数据发送模块30。

第一接收模块用于接收多个Zookeeper客户端发送的心跳信号。

每个心跳信号来自于相应的Zookeeper客户端，因此该心跳信号包含有相应Zookeeper客户端的ip等信息，从而通过对心跳信号的解析能够确定其来源。心跳信号为一个小型数据包，一般来说Zookeeper客户端发送的心跳信号是直接发送到服务端的，这里是通过代理装置接收多个心跳信号。

信号处理模块用于将多个心跳信号进行编码得到心跳信息。

在接收到多个心跳信号后，对多个心跳信号进行编码处理，即将多个小型数据包处理为一个较大的数据包，该较大的数据包中包含有发送心跳信号Zookeeper客户端的数量和具体客户端的ip等信息。

数据发送模块用于将心跳信息发送到服务端。

在处理得到心跳信息后，将该心跳信息发送到服务端。由于心跳信息中包含有发送心跳信号的Zookeeper客户端的数量和具体客户端的ip等信息，因此服务端通过对其的解析即可得到具体哪个Zookeeper客户端在发送心跳信号，即具体哪个Zookeeper客户端有连接需求，也就继续保持与该Zookeeper客户端的连接。

从上述技术方案可以看出，通过该连接系统，服务端无需处理多个心跳信号，仅通过对单一的心跳信息进出处理即可保持与有连接需求的客户端之间的连接，也就无需消耗较多的CPU和内存，从而避免服务端的性能下降。

另外，代理装置还包括第二接收模块40和数据推送模块50，参照图5所示：

第二接收模块用于接收服务端发送的路径变更事件。

当有路径变更事件需要发送到所有的Zookeeper客户端时，服务端首先将相应的路径变更事件发送到代理装置，此时该代理装置将该路径变更事件进行暂存。

数据推送模块用于将路径变更事件推送到所有的Zookeeper客户端。

在接收路径变更事件后，将该路径变更事件分步或同时推送到所有与该代理装置相连接的Zookeeper客户端。

如果是服务端直接向客户端推送路径变更事件，则需要所有Zookeeper客户端与服务端建立连接，大量的Zookeeper客户端连接会占用过多服务端资源导致集群不稳定，会导致路径变更事件的丢失。而本实施例中的连接系统则可以通过向所有Zookeeper客户端进行推送方法降低服务端的负担，避免了集群的不稳定，从而降低了路径变更事件丢失的概率。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (3)

1.一种Zookeeper集群系统，其特征在于，包括代理装置，所述代理装置部署在Zookeeper客户端所在的机器上，每个所述Zookeeper客户端通过所述代理装置与服务端相连接，其中：

所述代理装置用于接收多个客户端的心跳信号，并将接收到的多个心跳信号进行合并，再将通过合并得到的心跳信息发送到所述服务端，以使所述服务端通过对所述心跳信息的解析，确定有连接需求的Zookeeper客户端，进而继续保持与有连接需求的Zookeeper客户端的连接；其中，一个客户端的心跳信号用于保证该客户端与所述服务端的有效连接，所述心跳信息至少包含发送心跳信号Zookeeper客户端的数量和具体客户端的ip，一个Zookeeper客户端发送心跳信号表征该Zookeeper客户端有连接需求；

所述代理装置还用于接收所述服务端发送的路径变更事件，将所述路径变更事件推送给所有与所述代理装置相连接的Zookeeper客户端。

2.一种连接方法，应用于如权利要求1所述的Zookeeper集群系统的代理装置，其特征在于，所述代理装置包括至少一个处理器，以及与所述处理器相连接的存储器，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行如下步骤：

接收多个Zookeeper客户端发送的心跳信号；

将接收到的多个心跳信号进行编码处理，得到包含多个心跳信号的心跳信息；

将所述心跳信息发送到所述服务端，以使所述服务端通过对所述心跳信息的解析，确定有连接需求的Zookeeper客户端，进而继续保持与有连接需求的Zookeeper客户端的连接；其中，一个客户端的心跳信号用于保证该客户端与所述服务端的有效连接，所述心跳信息至少包含发送心跳信号Zookeeper客户端的数量和具体客户端的ip，一个Zookeeper客户端发送心跳信号表征该Zookeeper客户端有连接需求；

接收所述服务端发送的路径变更事件；

将所述路径变更事件推送给所有与所述代理装置相连接的Zookeeper客户端。

3.一种连接系统，应用于如权利要求1所述的Zookeeper集群系统的代理装置，其特征在于，所述连接系统包括：

第一接收模块，用于接收多个Zookeeper客户端发送的心跳信号；

信号处理模块，用于将接收到的多个心跳信号进行编码处理，得到包含多个心跳信号的心跳信息；

数据发送模块，用于将所述心跳信息发送到所述服务端，以使所述服务端通过对所述心跳信息的解析，确定有连接需求的Zookeeper客户端，进而继续保持与有连接需求的Zookeeper客户端的连接；其中，一个客户端的心跳信号用于保证该客户端与所述服务端的有效连接，所述心跳信息至少包含发送心跳信号Zookeeper客户端的数量和具体客户端的ip，一个Zookeeper客户端发送心跳信号表征该Zookeeper客户端有连接需求；

所述系统还包括：

第二接收模块，用于接收所述服务端所发送的路径变更事件；

数据推送模块，用于将所述路径变更事件推送给所有与所述代理装置相连接的Zookeeper客户端。

Images