CN109412875B - zookeeper集群自动维护方法及装置 - Google Patents

zookeeper集群自动维护方法及装置 Download PDF

Info

Publication number
CN109412875B
CN109412875B CN201811598490.4A CN201811598490A CN109412875B CN 109412875 B CN109412875 B CN 109412875B CN 201811598490 A CN201811598490 A CN 201811598490A CN 109412875 B CN109412875 B CN 109412875B
Authority
CN
China
Prior art keywords
cluster
nodes
zookeeper
node
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811598490.4A
Other languages
English (en)
Other versions
CN109412875A (zh
Inventor
陈浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yunyi Network Technology Co.,Ltd.
Original Assignee
Hangzhou Yunyi Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yunyi Network Technology Co ltd filed Critical Hangzhou Yunyi Network Technology Co ltd
Priority to CN201811598490.4A priority Critical patent/CN109412875B/zh
Publication of CN109412875A publication Critical patent/CN109412875A/zh
Application granted granted Critical
Publication of CN109412875B publication Critical patent/CN109412875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/30—Decision processes by autonomous network management units using voting and bidding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H04L67/1051—Group master selection mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种zookeeper集群自动维护方法及装置，将zookeeper集群包含的集群服务器节点划分主分组和从分组，从所述主分组中选取主节点；当所述主节点存活且zookeeper集群内的存活节点数量未过半时，进一步判断主分组内的存活节点数量是否超过主分组包含的集群服务器节点总数量的一半，如果是，所述zookeeper集群采用单机房模式对外提供服务，如果否，则所述zookeeper集群停止对外提供服务。基于上述方法及装置，对于多机房部署的zookeeper集群，当存活节点无法超过半数时，只要主分组中存活节点过半仍然可以对外提供服务。

Description

zookeeper集群自动维护方法及装置
技术领域
本发明涉及集群通信技术领域，更具体的说，是涉及一种zookeeper集群自动维护方法及装置。
背景技术
zookeeper是一个分布式协调服务系统，能够为大型分布式计算提供开源的分布式配置、同步服务和命名注册等服务。zookeeper通过ZAB算法实现了数据的强一致性，为分布式系统的并发服务提供了保障。
现有技术中，一个zookeeper集群如果要对外提供可用的服务，那么集群中必须要有过半的机器正常工作并且彼此之间能够正常通信。对于多机房部署的zookeeper集群，无论哪个机房发生异常情况，都有可能使得zookeeper集群中可用的机器无法超过半数，导致zookeeper集群无法对外提供可用的服务。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的zookeeper集群自动维护方法及装置。具体方案如下：
一种zookeeper集群自动维护方法，所述方法包括：
接收分组请求，所述分组请求中包括待维护的zookeeper集群包含的集群服务器节点的配置信息，所述配置信息包括所述集群服务器节点的IP地址，以及，与各个IP地址一一对应的分组标识；
根据所述分组标识对所述zookeeper集群包含的集群服务器节点进行分组，生成主分组和从分组；
所述集群服务器节点执行预设的选举算法从所述主分组中选取一个集群服务器节点作为主节点；
判断所述主节点是否存活；
当所述主节点存活时，判断所述zookeeper集群内的存活节点数量是否超过所述zookeeper集群包含的集群服务器节点总数量的一半；
当所述zookeeper集群内的存活节点数量未超过所述zookeeper集群包含的集群服务器节点总数量的一半时，则判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半，所述zookeeper集群采用单机房模式对外提供服务，如果所述主分组内的存活节点数量未超过所述主分组包含的集群服务器节点总数量的一半，则所述zookeeper集群停止对外提供服务。
可选地，当所述主节点未存活时，所述方法还包括：
所述zookeeper集群的存活节点先执行预设的选举算法；
如果zookeeper集群的存活节点未从所述主分组中选取一个集群服务器节点作为新的主节点，则判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半，则所述主分组内的存活节点先执行预设的选举算法从所述主分组中选取一个集群服务器节点作为新的主节点，然后，所述zookeeper集群采用单机房模式对外提供服务；如果所述主分组内的存活节点数量未超过所述主分组包含的集群服务器节点总数量的一半，则所述zookeeper集群停止对外提供服务。
可选地，所述方法还包括：
如果所述zookeeper集群的存活节点先执行预设的选举算法从所述主分组中选取一个集群服务器节点作为新的主节点，所述zookeeper集群继续采用正常模式对外提供服务。
可选地，所述方法还包括：
当所述zookeeper集群内的存活节点数量超过所述zookeeper集群包含的集群服务器节点总数量的一半，则所述zookeeper集群采用正常模式对外提供服务。
可选地，所述zookeeper集群停止对外提供服务之后，所述方法还包括：
所述主分组的存活节点执行预设的选举算法，直至从所述主分组中选取一个集群服务器节点作为主节点后，所述zookeeper集群采用单机房模式对外提供服务。
可选地，在所述zookeeper集群采用单机房模式对外提供服务之后，所述方法还包括：
从所述zookeeper集群内的存活节点中确定从分组内的存活节点；
判断所述从分组的存活节点数量是否超过所述从分组包含的集群服务器节点总数量的一半；
如果是，所述zookeeper集群由单机房模式切换至正常模式对外提供服务。
一种zookeeper集群自动维护装置，所述装置包括：
接收单元，用于接收分组请求，所述分组请求中包括待维护的zookeeper集群包含的集群服务器节点的配置信息，所述配置信息包括所述集群服务器节点的IP地址，以及，与各个IP地址一一对应的分组标识；
分组单元，用于根据所述分组标识对所述zookeeper集群包含的集群服务器节点进行分组，生成主分组和从分组；
主节点选取单元，用于所述集群服务器节点执行预设的选举算法从所述主分组中选取一个集群服务器节点作为主节点；
自动维护单元，用于判断所述主节点是否存活；当所述主节点存活时，判断所述zookeeper集群内的存活节点数量是否超过所述zookeeper集群包含的集群服务器节点总数量的一半；当所述zookeeper集群内的存活节点数量未超过所述zookeeper集群包含的集群服务器节点总数量的一半时，则判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半，所述zookeeper集群采用单机房模式对外提供服务，如果所述主分组内的存活节点数量未超过所述主分组包含的集群服务器节点总数量的一半，则所述zookeeper集群停止对外提供服务。
可选地，所述自动维护单元还用于：
当所述主节点未存活时，所述zookeeper集群的存活节点先执行预设的选举算法；如果zookeeper集群的存活节点未从所述主分组中选取一个集群服务器节点作为新的主节点，则判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半，则所述主分组内的存活节点先执行预设的选举算法从所述主分组中选取一个集群服务器节点作为新的主节点，然后，所述zookeeper集群采用单机房模式对外提供服务；如果所述主分组内的存活节点数量未超过所述主分组包含的集群服务器节点总数量的一半，则所述zookeeper集群停止对外提供服务。
可选地，所述自动维护单元还用于：
如果所述zookeeper集群的存活节点先执行预设的选举算法从所述主分组中选取一个集群服务器节点作为新的主节点，所述zookeeper集群继续采用正常模式对外提供服务。
可选地，所述自动维护单元还用于：
当所述zookeeper集群内的存活节点数量超过所述zookeeper集群包含的集群服务器节点总数量的一半，则所述zookeeper集群采用正常模式对外提供服务。
可选地，所述自动维护单元还用于：
所述zookeeper集群停止对外提供服务之后，所述主分组的存活节点执行预设的选举算法，直至从所述主分组中选取一个集群服务器节点作为主节点后，所述zookeeper集群采用单机房模式对外提供服务。
可选地，所述自动维护单元还用于：
在所述zookeeper集群采用单机房模式对外提供服务之后，从所述zookeeper集群内的存活节点中确定从分组内的存活节点；判断所述从分组的存活节点数量是否超过所述从分组包含的集群服务器节点总数量的一半；如果是，所述zookeeper集群由单机房模式切换至正常模式对外提供服务。
一种存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的zookeeper集群自动维护方法。
一种电子设备，所述电子设备包括存储器和处理器，所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行如上所述的zookeeper集群自动维护方法。
借由上述技术方案，本发明提供的zookeeper集群自动维护方法及装置，将zookeeper集群包含的集群服务器节点划分主分组和从分组，从所述主分组中选取主节点；当所述主节点存活且zookeeper集群内的存活节点数量未过半时，进一步判断主分组内的存活节点数量是否超过主分组包含的集群服务器节点总数量的一半，如果是，所述zookeeper集群采用单机房模式对外提供服务，如果否，则所述zookeeper集群停止对外提供服务。基于上述方法及装置，对于多机房部署的zookeeper集群，当存活节点无法超过半数时，只要主分组中存活节点过半仍然可以对外提供服务。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例公开的一种zookeeper集群自动维护方法的流程示意图；
图2为本发明实施例公开的又一种zookeeper集群自动维护方法的流程示意图；
图3为本发明实施例公开的一种zookeeper集群自动维护装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
请参阅附图1，图1为本发明实施例公开的一种zookeeper集群自动维护方法的流程示意图，该方法包括：
步骤S101：接收分组请求，所述分组请求中包括待维护的zookeeper集群包含的集群服务器节点的配置信息，所述配置信息包括所述集群服务器节点的IP地址，以及，与各个IP地址一一对应的分组标识；
步骤S102：根据所述分组标识对所述zookeeper集群包含的集群服务器节点进行分组，生成主分组和从分组；
在一种可实施方式中，zookeeper集群包含的集群服务器节点部署在多个机房内，通常将部署在网络质量好，投入精力大的机房内的集群服务器节点划分至主分组中，将部署在其他机房内的集群服务器节点划分至从分组中。
在一种可实施方式中，分组标识包括主分组标识和一个从分组标识，则根据分组标识对所述zookeeper集群包含的集群服务器节点进行分组，生成主分组和一个从分组；在一种可实施方式中，分组标识包括主分组标识和多个从分组标识，则根据分组标识对所述zookeeper集群包含的集群服务器节点进行分组，生成主分组和多个从分组。
步骤S103：所述集群服务器节点执行预设的选举算法从所述主分组中选取一个集群服务器节点作为主节点；
在本发明实施例中，主节点(leader节点)始终只能在主分组内选举，在根据所述分组标识对所述zookeeper集群包含的集群服务器节点进行分组之后，zookeeper集群中主分组及从分组中的所有具有选举权的集群服务器节点都可执行预设的选举算法参与投票，但是，只有主分组中的具有选举权的集群服务器节点可以被投票。在一种可实施方式中，具有选举权的集群服务器节点指的是配置文件中peerType＝participant的集群服务器节点，配置文件中peerType＝observer的集群服务器节点为不具有选举权的集群服务器节点。
在所述集群服务器节点执行预设的选举算法从所述主分组中选取一个集群服务器节点作为主节点之后，zookeeper集群则采用正常模式对外提供服务。在zookeeper集群则采用正常模式对外提供服务的过程中，主节点维持与其他节点(即zookeeper集群中除主节点之外的节点)的心跳连接。
步骤S104：判断所述主节点是否存活；如果所述主节点存活，则执行步骤S105；
在一种可实施方式中，在zookeeper集群采用正常模式对外提供服务的过程中，判断所述主节点是否存活。
步骤S105：判断所述zookeeper集群内的存活节点数量是否超过所述zookeeper集群包含的集群服务器节点总数量的一半；当所述zookeeper集群内的存活节点数量未超过所述zookeeper集群包含的集群服务器节点总数量的一半时，则执行步骤S106；当所述zookeeper集群内的存活节点数量超过所述zookeeper集群包含的集群服务器节点总数量的一半时，执行步骤S109；
在一种可实施方式中，主节点如果预设时间内未接收到某个集群服务器节点发送的心跳信息，则判断该集群服务器节点未存活，否则，则判断该集群服务器节点存活。主节点中维护有各个集群服务器节点的存活状态信息，主节点根据各个集群服务器节点的存活状态信息判断所述zookeeper集群内的存活节点数量是否超过所述zookeeper集群包含的集群服务器节点总数量的一半。
步骤S106：判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半，执行步骤S107；如果所述主分组内的存活节点数量未超过所述主分组包含的集群服务器节点总数量的一半，执行步骤S108；
主节点中维护有各个集群服务器节点的存活状态信息，主节点筛选出存活的各个集群服务器节点，并根据存活的各个集群服务器节点的分组标识确定属于主分组的存活集群服务器节点，据此，判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半。
步骤S107：所述zookeeper集群采用单机房模式对外提供服务；
在一种实施方式中，所述单机房模式即只有所述zookeeper集群的主分组中存活的集群服务器节点对外提供服务。
步骤S108：所述zookeeper集群停止对外提供服务。
步骤S109：所述zookeeper集群采用正常模式对外提供服务。
在本发明实施例中，将zookeeper集群包含的集群服务器节点划分主分组和从分组，从所述主分组中选取主节点；当所述主节点存活且zookeeper集群内的存活节点数量未过半时，进一步判断主分组内的存活节点数量是否超过主分组包含的集群服务器节点总数量的一半，如果是，所述zookeeper集群采用单机房模式对外提供服务，如果否，则所述zookeeper集群停止对外提供服务。基于上述方法，对于多机房部署的zookeeper集群，当由于机房间通信故障导致存活节点无法超过半数时，只要主分组中存活节点过半仍然可以对外提供服务。
请参阅附图2，图2为本发明实施例公开的又一种zookeeper集群自动维护方法的流程示意图，应用于步骤S104中判断主节点未存活时zookeeper集群的自动维护，该方法包括：
步骤S201：确定所述主节点未存活；
步骤S202：所述zookeeper集群的存活节点先执行预设的选举算法；
步骤S203：判断所述zookeeper集群是否选取出新的主节点，如果否，则执行步骤S204；如果是，则执行步骤S208；
步骤S204：判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果是，则执行步骤S205；如果否，则执行步骤S207；
在一种可实施方式中，可通过所述zookeeper集群中主分组中的存活节点接收到的主分组中的节点发送的选票数量判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果选票数量过半，则判定所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半。
步骤S205：所述主分组内的存活节点先执行预设的选举算法从所述主分组中选取一个集群服务器节点作为新的主节点；
该步骤中，只有主分组中的具有选举权的集群服务器节点可以执行预设的选举算法参与投票，也只有主分组中的具有选举权的集群服务器节点可以被投票。
步骤S206：所述zookeeper集群采用单机房模式对外提供服务；
步骤S207：所述zookeeper集群停止对外提供服务。
步骤S208：所述zookeeper集群继续采用正常模式对外提供服务。
在本发明实施例中，当主节点未存活时，所述zookeeper集群的存活节点无法选出新的主节点时，进一步判定zookeeper集群的主分组中存活节点是否过半，如果过半，则由zookeeper集群的主分组中的存活节点在zookeeper集群的主分组中选出新的主节点，使所述zookeeper集群采用单机房模式对外提供服务。基于上述方法，对于多机房部署的zookeeper集群，当由于机房间通信故障导致存活节点无法超过半数时，只要主分组中存活节点过半仍然可以对外提供服务。
在一种优选实施方式中，在上述实施例中所述zookeeper集群停止对外提供服务之后，所述方法还包括：所述主分组的存活节点执行预设的选举算法，直至从所述主分组中选取一个集群服务器节点作为主节点后，所述zookeeper集群采用单机房模式对外提供服务。
该实施方式中，能够在zookeeper集群停止对外提供服务之后，通过由主分组的存活节点不断执行选举，直至选取主节点后，所述zookeeper集群采用单机房模式对外提供服务，基于该方法，不必等到zookeeper集群中存活节点过半，而是只要主分组中存活节点过半即可实现对外提供服务。
在一种优选实施方式中，在上述实施例中，所述zookeeper集群采用单机房模式对外提供服务之后，所述方法还包括：
从所述zookeeper集群内的存活节点中确定从分组内的存活节点；
判断所述从分组的存活节点数量是否超过所述从分组包含的集群服务器节点总数量的一半；
如果是，所述zookeeper集群由单机房模式切换至正常模式对外提供服务。
本实施方式中，所述zookeeper集群采用单机房模式对外提供服务时，主节点会维护一份与从分组节点的连接列表，当从分组内过半节点与主节点建立连接时，集群存活节点必然过半，此时可退出单机房模式。需要说明的是，在主节点与从分组节点连接的时候，并不会直接将该从分组节点加入集群服务，因为在退出单机房模式之前，集群整体的稳定性还是无法保证的，为了避免频繁切换模式，只有从分组中有过半节点与主节点连接时才会退出单机房模式。
请参阅附图3，图3为本发明实施例公开的一种zookeeper集群自动维护装置的结构示意图，该装置包括：
接收单元31，用于接收分组请求，所述分组请求中包括待维护的zookeeper集群包含的集群服务器节点的配置信息，所述配置信息包括所述集群服务器节点的IP地址，以及，与各个IP地址一一对应的分组标识；
分组单元32，用于根据所述分组标识对所述zookeeper集群包含的集群服务器节点进行分组，生成主分组和从分组；
主节点选取单元33，用于所述集群服务器节点执行预设的选举算法从所述主分组中选取一个集群服务器节点作为主节点；
自动维护单元34，用于判断所述主节点是否存活；当所述主节点存活时，判断所述zookeeper集群内的存活节点数量是否超过所述zookeeper集群包含的集群服务器节点总数量的一半；当所述zookeeper集群内的存活节点数量未超过所述zookeeper集群包含的集群服务器节点总数量的一半时，则判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半，所述zookeeper集群采用单机房模式对外提供服务，如果所述主分组内的存活节点数量未超过所述主分组包含的集群服务器节点总数量的一半，则所述zookeeper集群停止对外提供服务。
可选地，所述自动维护单元还用于：
当所述主节点未存活时，所述zookeeper集群的存活节点先执行预设的选举算法；如果zookeeper集群的存活节点未从所述主分组中选取一个集群服务器节点作为新的主节点，则判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半，则所述主分组内的存活节点先执行预设的选举算法从所述主分组中选取一个集群服务器节点作为新的主节点，然后，所述zookeeper集群采用单机房模式对外提供服务；如果所述主分组内的存活节点数量未超过所述主分组包含的集群服务器节点总数量的一半，则所述zookeeper集群停止对外提供服务。
可选地，所述自动维护单元还用于：
如果所述zookeeper集群的存活节点先执行预设的选举算法从所述主分组中选取一个集群服务器节点作为新的主节点，所述zookeeper集群继续采用正常模式对外提供服务。
可选地，所述自动维护单元还用于：
当所述zookeeper集群内的存活节点数量超过所述zookeeper集群包含的集群服务器节点总数量的一半，则所述zookeeper集群采用正常模式对外提供服务。
可选地，所述自动维护单元还用于：
所述zookeeper集群停止对外提供服务之后，所述主分组的存活节点执行预设的选举算法，直至从所述主分组中选取一个集群服务器节点作为主节点后，所述zookeeper集群采用单机房模式对外提供服务。
可选地，所述自动维护单元还用于：
在所述zookeeper集群采用单机房模式对外提供服务之后，从所述zookeeper集群内的存活节点中确定从分组内的存活节点；判断所述从分组的存活节点数量是否超过所述从分组包含的集群服务器节点总数量的一半；如果是，所述zookeeper集群由单机房模式切换至正常模式对外提供服务。
需要说明的是，上述各个单元的具体功能实现已在方法实施例中详细说明，本实施例不再赘述。
所述zookeeper集群自动维护装置包括处理器和存储器，上述接收单元、分组单元、主节点选取单元、自动维护单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现对于多机房部署的zookeeper集群，当存活节点无法超过半数时，只要主分组中存活节点过半仍然可以对外提供服务。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述zookeeper集群自动维护方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述zookeeper集群自动维护方法。
本发明实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：
接收分组请求，所述分组请求中包括待维护的zookeeper集群包含的集群服务器节点的配置信息，所述配置信息包括所述集群服务器节点的IP地址，以及，与各个IP地址一一对应的分组标识；
根据所述分组标识对所述zookeeper集群包含的集群服务器节点进行分组，生成主分组和从分组；
所述集群服务器节点执行预设的选举算法从所述主分组中选取一个集群服务器节点作为主节点；
判断所述主节点是否存活；
当所述主节点存活时，判断所述zookeeper集群内的存活节点数量是否超过所述zookeeper集群包含的集群服务器节点总数量的一半；
当所述zookeeper集群内的存活节点数量未超过所述zookeeper集群包含的集群服务器节点总数量的一半时，则判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半，所述zookeeper集群采用单机房模式对外提供服务，如果所述主分组内的存活节点数量未超过所述主分组包含的集群服务器节点总数量的一半，则所述zookeeper集群停止对外提供服务。
可选地，当所述主节点未存活时，所述方法还包括：
所述zookeeper集群的存活节点先执行预设的选举算法；
如果zookeeper集群的存活节点未从所述主分组中选取一个集群服务器节点作为新的主节点，则判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半，则所述主分组内的存活节点先执行预设的选举算法从所述主分组中选取一个集群服务器节点作为新的主节点，然后，所述zookeeper集群采用单机房模式对外提供服务；如果所述主分组内的存活节点数量未超过所述主分组包含的集群服务器节点总数量的一半，则所述zookeeper集群停止对外提供服务。
可选地，所述方法还包括：
如果所述zookeeper集群的存活节点先执行预设的选举算法从所述主分组中选取一个集群服务器节点作为新的主节点，所述zookeeper集群继续采用正常模式对外提供服务。
可选地，所述方法还包括：
当所述zookeeper集群内的存活节点数量超过所述zookeeper集群包含的集群服务器节点总数量的一半，则所述zookeeper集群采用正常模式对外提供服务。
可选地，所述zookeeper集群停止对外提供服务之后，所述方法还包括：
所述主分组的存活节点执行预设的选举算法，直至从所述主分组中选取一个集群服务器节点作为主节点后，所述zookeeper集群采用单机房模式对外提供服务。
可选地，在所述zookeeper集群采用单机房模式对外提供服务之后，所述方法还包括：
从所述zookeeper集群内的存活节点中确定从分组内的存活节点；
判断所述从分组的存活节点数量是否超过所述从分组包含的集群服务器节点总数量的一半；
如果是，所述zookeeper集群由单机房模式切换至正常模式对外提供服务。
本文中的电子设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
接收分组请求，所述分组请求中包括待维护的zookeeper集群包含的集群服务器节点的配置信息，所述配置信息包括所述集群服务器节点的IP地址，以及，与各个IP地址一一对应的分组标识；
根据所述分组标识对所述zookeeper集群包含的集群服务器节点进行分组，生成主分组和从分组；
所述集群服务器节点执行预设的选举算法从所述主分组中选取一个集群服务器节点作为主节点；
判断所述主节点是否存活；
当所述主节点存活时，判断所述zookeeper集群内的存活节点数量是否超过所述zookeeper集群包含的集群服务器节点总数量的一半；
当所述zookeeper集群内的存活节点数量未超过所述zookeeper集群包含的集群服务器节点总数量的一半时，则判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半，所述zookeeper集群采用单机房模式对外提供服务，如果所述主分组内的存活节点数量未超过所述主分组包含的集群服务器节点总数量的一半，则所述zookeeper集群停止对外提供服务。
可选地，当所述主节点未存活时，所述方法还包括：
所述zookeeper集群的存活节点先执行预设的选举算法；
如果zookeeper集群的存活节点未从所述主分组中选取一个集群服务器节点作为新的主节点，则判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半，则所述主分组内的存活节点先执行预设的选举算法从所述主分组中选取一个集群服务器节点作为新的主节点，然后，所述zookeeper集群采用单机房模式对外提供服务；如果所述主分组内的存活节点数量未超过所述主分组包含的集群服务器节点总数量的一半，则所述zookeeper集群停止对外提供服务。
可选地，所述方法还包括：
如果所述zookeeper集群的存活节点先执行预设的选举算法从所述主分组中选取一个集群服务器节点作为新的主节点，所述zookeeper集群继续采用正常模式对外提供服务。
可选地，所述方法还包括：
当所述zookeeper集群内的存活节点数量超过所述zookeeper集群包含的集群服务器节点总数量的一半，则所述zookeeper集群采用正常模式对外提供服务。
可选地，所述zookeeper集群停止对外提供服务之后，所述方法还包括：
所述主分组的存活节点执行预设的选举算法，直至从所述主分组中选取一个集群服务器节点作为主节点后，所述zookeeper集群采用单机房模式对外提供服务。
可选地，在所述zookeeper集群采用单机房模式对外提供服务之后，所述方法还包括：
从所述zookeeper集群内的存活节点中确定从分组内的存活节点；
判断所述从分组的存活节点数量是否超过所述从分组包含的集群服务器节点总数量的一半；
如果是，所述zookeeper集群由单机房模式切换至正常模式对外提供服务。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种zookeeper集群自动维护方法，其特征在于，所述方法包括：
接收分组请求，所述分组请求中包括待维护的zookeeper集群包含的集群服务器节点的配置信息，所述配置信息包括所述集群服务器节点的IP地址，以及，与各个IP地址一一对应的分组标识；
根据所述分组标识对所述zookeeper集群包含的集群服务器节点进行分组，生成主分组和从分组；
所述集群服务器节点执行预设的选举算法从所述主分组中选取一个集群服务器节点作为主节点；
判断所述主节点是否存活；
当所述主节点存活时，判断所述zookeeper集群内的存活节点数量是否超过所述zookeeper集群包含的集群服务器节点总数量的一半；
当所述zookeeper集群内的存活节点数量未超过所述zookeeper集群包含的集群服务器节点总数量的一半时，则判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半，所述zookeeper集群采用单机房模式对外提供服务，如果所述主分组内的存活节点数量未超过所述主分组包含的集群服务器节点总数量的一半，则所述zookeeper集群停止对外提供服务。
2.根据权利要求1所述的方法，其特征在于，当所述主节点未存活时，所述方法还包括：
所述zookeeper集群的存活节点先执行预设的选举算法；
如果zookeeper集群的存活节点未从所述主分组中选取一个集群服务器节点作为新的主节点，则判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半，则所述主分组内的存活节点先执行预设的选举算法从所述主分组中选取一个集群服务器节点作为新的主节点，然后，所述zookeeper集群采用单机房模式对外提供服务；如果所述主分组内的存活节点数量未超过所述主分组包含的集群服务器节点总数量的一半，则所述zookeeper集群停止对外提供服务。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
如果所述zookeeper集群的存活节点先执行预设的选举算法从所述主分组中选取一个集群服务器节点作为新的主节点，所述zookeeper集群继续采用正常模式对外提供服务。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述zookeeper集群内的存活节点数量超过所述zookeeper集群包含的集群服务器节点总数量的一半，则所述zookeeper集群采用正常模式对外提供服务。
5.根据权利要求2所述的方法，其特征在于，所述zookeeper集群停止对外提供服务之后，所述方法还包括：
所述主分组的存活节点执行预设的选举算法，直至从所述主分组中选取一个集群服务器节点作为主节点后，所述zookeeper集群采用单机房模式对外提供服务。
6.根据权利要求1至5中任意一项所述的方法，其特征在于，在所述zookeeper集群采用单机房模式对外提供服务之后，所述方法还包括：
从所述zookeeper集群内的存活节点中确定从分组内的存活节点；
判断所述从分组的存活节点数量是否超过所述从分组包含的集群服务器节点总数量的一半；
如果是，所述zookeeper集群由单机房模式切换至正常模式对外提供服务。
7.一种zookeeper集群自动维护装置，其特征在于，所述装置包括：
接收单元，用于接收分组请求，所述分组请求中包括待维护的zookeeper集群包含的集群服务器节点的配置信息，所述配置信息包括所述集群服务器节点的IP地址，以及，与各个IP地址一一对应的分组标识；
分组单元，用于根据所述分组标识对所述zookeeper集群包含的集群服务器节点进行分组，生成主分组和从分组；
主节点选取单元，用于所述集群服务器节点执行预设的选举算法从所述主分组中选取一个集群服务器节点作为主节点；
自动维护单元，用于判断所述主节点是否存活；当所述主节点存活时，判断所述zookeeper集群内的存活节点数量是否超过所述zookeeper集群包含的集群服务器节点总数量的一半；当所述zookeeper集群内的存活节点数量未超过所述zookeeper集群包含的集群服务器节点总数量的一半时，则判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半，所述zookeeper集群采用单机房模式对外提供服务，如果所述主分组内的存活节点数量未超过所述主分组包含的集群服务器节点总数量的一半，则所述zookeeper集群停止对外提供服务。
8.根据权利要求7所述的装置，其特征在于，所述自动维护单元还用于：
当所述主节点未存活时，所述zookeeper集群的存活节点先执行预设的选举算法；如果zookeeper集群的存活节点未从所述主分组中选取一个集群服务器节点作为新的主节点，则判断所述主分组内的存活节点数量是否超过所述主分组包含的集群服务器节点总数量的一半，如果所述主分组内的存活节点数量超过所述主分组包含的集群服务器节点总数量的一半，则所述主分组内的存活节点先执行预设的选举算法从所述主分组中选取一个集群服务器节点作为新的主节点，然后，所述zookeeper集群采用单机房模式对外提供服务；如果所述主分组内的存活节点数量未超过所述主分组包含的集群服务器节点总数量的一半，则所述zookeeper集群停止对外提供服务。
9.根据权利要求8所述的装置，其特征在于，所述自动维护单元还用于：
如果所述zookeeper集群的存活节点先执行预设的选举算法从所述主分组中选取一个集群服务器节点作为新的主节点，所述zookeeper集群继续采用正常模式对外提供服务。
10.根据权利要求7所述的装置，其特征在于，所述自动维护单元还用于：
当所述zookeeper集群内的存活节点数量超过所述zookeeper集群包含的集群服务器节点总数量的一半，则所述zookeeper集群采用正常模式对外提供服务。
11.根据权利要求8所述的装置，其特征在于，所述自动维护单元还用于：
所述zookeeper集群停止对外提供服务之后，所述主分组的存活节点执行预设的选举算法，直至从所述主分组中选取一个集群服务器节点作为主节点后，所述zookeeper集群采用单机房模式对外提供服务。
12.根据权利要求7至11任意一项所述的装置，其特征在于，所述自动维护单元还用于：
在所述zookeeper集群采用单机房模式对外提供服务之后，从所述zookeeper集群内的存活节点中确定从分组内的存活节点；判断所述从分组的存活节点数量是否超过所述从分组包含的集群服务器节点总数量的一半；如果是，所述zookeeper集群由单机房模式切换至正常模式对外提供服务。
13.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如权利要求1至6中任一项所述的zookeeper集群自动维护方法。
14.一种电子设备，所述电子设备包括存储器和处理器，所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行如权利要求1至6中任一项所述的zookeeper集群自动维护方法。
CN201811598490.4A 2018-12-26 2018-12-26 zookeeper集群自动维护方法及装置 Active CN109412875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811598490.4A CN109412875B (zh) 2018-12-26 2018-12-26 zookeeper集群自动维护方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811598490.4A CN109412875B (zh) 2018-12-26 2018-12-26 zookeeper集群自动维护方法及装置

Publications (2)

Publication Number Publication Date
CN109412875A CN109412875A (zh) 2019-03-01
CN109412875B true CN109412875B (zh) 2021-06-25

Family

ID=65461933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811598490.4A Active CN109412875B (zh) 2018-12-26 2018-12-26 zookeeper集群自动维护方法及装置

Country Status (1)

Country Link
CN (1) CN109412875B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109951331B (zh) * 2019-03-15 2021-08-20 北京百度网讯科技有限公司 用于发送信息的方法、装置和计算集群
CN112711632A (zh) * 2019-12-27 2021-04-27 山东鲁能软件技术有限公司 一种高可用集群的异步数据流复制方法及系统
CN112667449B (zh) * 2020-12-29 2024-03-08 新华三技术有限公司 一种集群管理方法及装置
CN113364839A (zh) * 2021-05-26 2021-09-07 武汉虹旭信息技术有限责任公司 服务调用方法、服务调用装置及zookeeper集群
CN113468267B (zh) * 2021-06-28 2024-06-18 康键信息技术（深圳）有限公司 双机房的数据同步方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106059835A (zh) * 2016-07-28 2016-10-26 北京神狐时代通信技术有限公司 一种低能耗计算机集群节点的高可靠性控制方法
CN106713378A (zh) * 2015-07-30 2017-05-24 北京京东尚科信息技术有限公司 实现多个应用服务器提供服务的方法和系统
CN107295080A (zh) * 2017-06-19 2017-10-24 北京百度网讯科技有限公司 应用于分布式服务器集群的数据存储方法和服务器
CN107566217A (zh) * 2017-09-19 2018-01-09 顺丰科技有限公司 一种流量控制方法、装置、设备、存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063939B2 (en) * 2011-11-03 2015-06-23 Zettaset, Inc. Distributed storage medium management for heterogeneous storage media in high availability clusters
US10339114B2 (en) * 2015-05-13 2019-07-02 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration System and method for providing a modern-era retrospective analysis for research and applications (MERRA) data analytic service

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713378A (zh) * 2015-07-30 2017-05-24 北京京东尚科信息技术有限公司 实现多个应用服务器提供服务的方法和系统
CN106059835A (zh) * 2016-07-28 2016-10-26 北京神狐时代通信技术有限公司 一种低能耗计算机集群节点的高可靠性控制方法
CN107295080A (zh) * 2017-06-19 2017-10-24 北京百度网讯科技有限公司 应用于分布式服务器集群的数据存储方法和服务器
CN107566217A (zh) * 2017-09-19 2018-01-09 顺丰科技有限公司 一种流量控制方法、装置、设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Hadoop的建筑信息检索平台架构的设计与实现;潘运军;《中国优秀硕士学位论文全文数据库信息科技辑》;20131215;全文 *

Also Published As

Publication number Publication date
CN109412875A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109412875B (zh) zookeeper集群自动维护方法及装置
US10637916B2 (en) Method and device for storage resource allocation for video cloud storage
CN110768912A (zh) Api网关限流方法及装置
CN115328663A (zh) 基于PaaS平台进行资源调度的方法、装置、设备和存储介质
CN113037794A (zh) 计算资源配置调度方法、装置及系统
CN109561128B (zh) 数据传输方法和装置
CN109391512A (zh) 一种服务发布方法、装置及电子设备
CN110912972A (zh) 一种业务处理方法、系统、电子设备及可读存储介质
CN114710549B (zh) 一种容器平台中网卡的动态管理方法、系统及业务节点
CN110795202B (zh) 一种虚拟化集群资源管理系统的资源分配方法以及装置
CN114531373A (zh) 节点状态检测方法、节点状态检测装置、设备及介质
CN108124021B (zh) 网际协议ip地址获取、网站访问的方法、装置及系统
CN112698979A (zh) zookeeper双节点的处理方法、装置、存储介质及处理器
CN109587218B (zh) 一种集群选举的方法和装置
CN111400032A (zh) 一种资源分配的方法及装置
CN116016584A (zh) 一种基于物联网平台的设备数据流转方法、设备及介质
CN108196962B (zh) 一种实现不同版本接口调用的方法及装置
CN110460663B (zh) 分布式节点间的数据分配方法、装置、服务器及存储介质
CN109426559B (zh) 命令下发方法和装置、存储介质、处理器
CN110618863A (zh) 一种基于Raft算法的作业调度方法
CN112749149A (zh) 数据库切换方法和装置
CN110620703A (zh) 一种基于http的服务节点状态确定方法
CN113703685B (zh) 一种数据存储方法、装置、设备及介质
CN114443415A (zh) 用于Prometheus的采集自动均衡方法、任务分配器及系统
CN110781115B (zh) 一种现场可更换单元的修改方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200723

Address after: 310000 2 6th Floor, No. 3588 Jiangnan Avenue, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Yunyi Network Technology Co.,Ltd.

Address before: 11, building 310053, Hang Seng tower, 3588 Jiangnan Avenue, Hangzhou, Zhejiang, Binjiang District

Applicant before: HANGZHOU YUN-IN NETWORK TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant