CN111416739A - 分布式集群中主节点确定方法、装置、设备及存储介质 - Google Patents

分布式集群中主节点确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111416739A
CN111416739A CN202010176897.9A CN202010176897A CN111416739A CN 111416739 A CN111416739 A CN 111416739A CN 202010176897 A CN202010176897 A CN 202010176897A CN 111416739 A CN111416739 A CN 111416739A
Authority
CN
China
Prior art keywords
node
network topology
topology view
master
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010176897.9A
Other languages
English (en)
Other versions
CN111416739B (zh
Inventor
赵鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010176897.9A priority Critical patent/CN111416739B/zh
Publication of CN111416739A publication Critical patent/CN111416739A/zh
Application granted granted Critical
Publication of CN111416739B publication Critical patent/CN111416739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04Network management architectures or arrangements
    • H04L41/042Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0823Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/0836Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability to enhance reliability, e.g. reduce downtime
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies

Abstract

本申请公开了一种分布式集群中主节点确定方法,该方法包括:每个节点生成自身的初始网络拓扑视图;向自身的初始网络拓扑视图中的每个节点发表第一相关信息;每个节点生成自身的总成网络拓扑视图;针对每个节点,如果该节点为准主节点,则向自身的总成网络拓扑视图中的每个节点发表第二相关信息;每个节点确定基准网络拓扑视图;每个节点基于自身的总成网络拓扑视图和基准网络拓扑视图,确定自身所在的最终网络拓扑视图及该最终网络拓扑视图中的主节点。应用本申请实施例所提供的技术方案,可以使得集群能够持续运行,提升分布式集群的稳定性。本申请还公开了一种分布式集群中主节点确定装置、设备及存储介质,具有相应技术效果。

Description

分布式集群中主节点确定方法、装置、设备及存储介质
技术领域
本申请涉及计算机应用技术领域,特别是涉及一种分布式集群中主节点确定方法、装置、设备及存储介质。
背景技术
随着计算机技术的快速发展,分布式集群的应用越来越广泛。分布式集群通常使用Multi Paxos算法实现集群节点间的状态数据一致性。为了维持Multi Paxos算法的运行,需要在集群所有节点中选择唯一的主节点,由主节点作为状态变更的唯一提案者向集群发起状态变更请求,请求得到集群中的仲裁节点集认可后即成为集群共识。通常主节点会被选为集群中节点标识号即ID最小的节点。但是如果该节点宕机,就需要进行重选。
在现有技术中,开源分布式集群系统Zookeeper提供了以上问题的一个解决方案。该方案实现了自己的上层通信协议。在主节点宕机时,集群中其他节点会通过该协议发起投票以选举新的主节点。
但是,这个通信协议构建在TCP/IP协议的基础上,无法适用于拥有多协议通信链路的分布式集群中。所以,如何进行分布式集群中主节点确定,是目前本领域技术人员急需解决的技术问题。
发明内容
本申请的目的是提供一种分布式集群中主节点确定方法、装置、设备及存储介质,以适应更多场景的分布式集群的主节点的选择。
为解决上述技术问题,本申请提供如下技术方案:
一种分布式集群中主节点确定方法,包括:
每个节点根据自身的可见节点,生成自身的初始网络拓扑视图;
每个节点向自身的初始网络拓扑视图中的每个节点发表第一相关信息,所述第一相关信息包括自身的初始网络拓扑视图的信息和在自身的初始网络拓扑视图中选择的主节点的信息;
每个节点根据接收到的第一相关信息,生成自身的总成网络拓扑视图;
针对每个节点,如果该节点确定在自身的总成网络拓扑视图中自身为准主节点,则向自身的总成网络拓扑视图中的每个节点发表第二相关信息,所述第二相关信息包括自身的总成网络拓扑视图的信息;
每个节点在获得的总成网络拓扑视图中确定基准网络拓扑视图;
每个节点基于自身的总成网络拓扑视图和基准网络拓扑视图,确定自身所在的最终网络拓扑视图及该最终网络拓扑视图中的主节点。
在本申请的一种具体实施方式中,所述每个节点基于自身的总成网络拓扑视图和基准网络拓扑视图,确定自身所在的最终网络拓扑视图及该最终网络拓扑视图中的主节点,包括:
针对每个节点,该节点在自身的总成网络拓扑视图中重新选择主节点;
如果重新选择的主节点与基准网络拓扑视图的准主节点相同,则将基准网络拓扑视图与自身的总成网络拓扑视图进行比较;
根据比较结果,通知该准主节点剔除在基准网络拓扑视图中但不在自身的总成网络拓扑视图中的节点,以断开被剔除节点与基准网络拓扑视图中其他节点的连接;
将剔除节点后的基准网络拓扑视图确定为自身所在的最终网络拓扑视图,将该准主节点确定为该最终网络拓扑视图中的主节点。
在本申请的一种具体实施方式中,所述每个节点在获得的总成网络拓扑视图中确定基准网络拓扑视图,包括:
针对每个节点,如果该节点获得的总成网络拓扑视图只有一个,则将该总成网络拓扑视图确定为基准网络拓扑视图。
在本申请的一种具体实施方式中,所述第二相关信息还包括准主节点被选择为主节点的次数信息,所述每个节点在获得的总成网络拓扑视图中确定基准网络拓扑视图,包括:
针对每个节点,如果该节点获得的总成网络拓扑视图有多个,则确定获得的每个总成网络拓扑视图的准主节点被选择为主节点的次数;
如果被选择为主节点的次数最多的准主节点只有一个,则将被选择为主节点的次数最多的准主节点的总成网络拓扑视图确定为基准网络拓扑视图。
在本申请的一种具体实施方式中,还包括:
如果被选择为主节点的次数最多的准主节点有多个,则在多个被选择为主节点的次数最多的准主节点中,将曾作为仲裁节点的次数最多的准主节点的总成网络拓扑视图确定为基准网络拓扑视图。
在本申请的一种具体实施方式中,还包括:
如果被选择为主节点的次数最多的准主节点有多个,则在多个被选择为主节点的次数最多的准主节点中,将节点标识号最小的准主节点的总成网络拓扑视图确定为基准网络拓扑视图。
在本申请的一种具体实施方式中,在所述每个节点向自身的初始网络拓扑视图中的每个节点发表第一相关信息之前,还包括:
基于以下原则确定是否执行发表操作:
如果因为网络或节点变动,导致新生成的初始网络拓扑视图是连接状态协议中保存的初始网络拓扑视图的子集,则可以发表新的初始网络拓扑视图;
如果新的初始网络拓扑视图与连接状态协议中保存的初始网络拓扑视图相同,但节点间通信出现了临时或不可恢复的丢失,则可以发表新的初始网络拓扑视图;
如果新的初始网络拓扑视图与连接状态协议中保存的初始网络拓扑视图相同,且初始网络拓扑视图中没有出现断连或重连,则不执行发表操作;
如果新的初始网络拓扑视图是连接状态协议中保存的初始网络拓扑视图的超集,则等待一个租约周期后执行发表操作。
一种分布式集群中主节点确定装置,包括:
初始视图生成模块,用于每个节点根据自身的可见节点,生成自身的初始网络拓扑视图;
第一信息发表模块,用于每个节点向自身的初始网络拓扑视图中的每个节点发表第一相关信息,所述第一相关信息包括自身的初始网络拓扑视图的信息和在自身的初始网络拓扑视图中选择的主节点的信息;
总成视图生成模块,用于每个节点根据接收到的第一相关信息,生成自身的总成网络拓扑视图;
第二信息发表模块,用于针对每个节点,如果该节点确定在自身的总成网络拓扑视图中自身为准主节点,则向自身的总成网络拓扑视图中的每个节点发表第二相关信息,所述第二相关信息包括自身的总成网络拓扑视图的信息;
基准视图确定模块,用于每个节点在获得的总成网络拓扑视图中确定基准网络拓扑视图;
主节点确定模块,用于每个节点基于自身的总成网络拓扑视图和基准网络拓扑视图,确定自身所在的最终网络拓扑视图及该最终网络拓扑视图中的主节点。
一种分布式集群中主节点确定设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述任一项所述分布式集群中主节点确定方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述分布式集群中主节点确定方法的步骤。
应用本申请实施例所提供的技术方案,每个节点在生成初始网络拓扑视图后,向其他节点发表第一相关信息,每个节点根据接收到的第一相关信息,生成自身的总成网络拓扑视图,准主节点发表第二相关信息,每个节点确定出基准网络拓扑视图后,基于自身的总成网络拓扑视图和基准网络拓扑视图,确定最终的网络拓扑视图和主节点。不需要受限于分布式集群所使用的通信链路的协议,适用于更多场景下的分布式集群的主节点的确定,在分布式集群的网络环境变化或节点失败时能够将集群迁移到稳定的网络子环境中,并在子环境的所有成员节点上选出相同的主节点,从而使得集群能够持续运行,而且每个网络子环境中节点之间最多为两跳连接,可以提升分布式集群的稳定性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中一种分布式集群中主节点确定方法的实施流程图;
图2为本申请实施例中一种分布式集群的结构示意图;
图3为本申请实施例中一种分布式集群中主节点确定装置的结构示意图;
图4为本申请实施例中一种分布式集群中主节点确定设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面结合附图和具体实施方式对本申请作进一步的详细说明。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参见图1所示,为本申请实施例所提供的一种分布式集群中主节点确定方法的实施流程图,该方法可以包括以下步骤:
S110:每个节点根据自身的可见节点,生成自身的初始网络拓扑视图。
分布式集群可以包括多个节点,不同节点之间可以通过直接或者间接连接方式通信连接。如图2所示,为一个分布式集群的结构示意图,该分布式集群包括节点1、节点2、节点3和节点4,其中,节点1分别与节点2和节点3直接连接,节点3还与节点4直接连接,节点1、节点2、节点3、节点4的节点标识号依次从小到大。
分布式集群在运行过程中,可能会因为通信链路发生变化或者节点发生变化,而使得每个节点的初始网络拓扑视图发生变化。每个节点可以按照设定时间间隔,或者在监测到存在节点间通信的丢失时,根据自身的可见节点,生成自身的初始网络拓扑视图。
针对每个节点而言,该节点的可见节点是指与该节点直接连接的节点,该节点的初始网络拓扑视图包括该节点和该节点的可见节点。
S120:每个节点向自身的初始网络拓扑视图中的每个节点发表第一相关信息。
第一相关信息包括自身的初始网络拓扑视图的信息和在自身的初始网络拓扑视图中选择的主节点的信息。
在本申请实施例中,每个节点根据自身的可见节点,生成自身的初始网络拓扑视图之后,可以在自身的初始网络拓扑视图中选择主节点。具体的,可以根据节点的节点标识号进行选择,如将节点标识号最小的节点作为主节点。
然后向自身的初始网络拓扑视图中的每个节点发表第一相关信息。该第一相关信息包括自身的初始网络拓扑视图的信息和在自身的初始网络拓扑视图中选择的主节点的信息。
以图2所示的分布式集群为例,每个节点根据自身的可见节点,生成自身的初始网络拓扑视图及在初始网络拓扑视图中选择的主节点的信息分别为:
节点1
节点1:1;节点2:0;节点3:0;节点4:-;表示节点1的初始网络拓扑视图中包括节点1、节点2和节点3,在该初始网络拓扑视图中选择的主节点为节点1;
节点2
节点1:1;节点2:0;节点3:-;节点4:-;表示节点2的初始网络拓扑视图中包括节点1和节点2,在该初始网络拓扑视图中选择的主节点为节点1;
节点3
节点1:1;节点2:-;节点3:0;节点4:0;表示节点3的初始网络拓扑视图中包括节点1、节点3和节点4,在该初始网络拓扑视图中选择的主节点为节点1;
节点4
节点1:-;节点2:-;节点3:1;节点4:0;表示节点4的初始网络拓扑视图中包括节点3和节点4,在该初始网络拓扑视图中选择的主节点为节点3。
其中,-表示不在相应节点的初始网络拓扑视图中。
S130:每个节点根据接收到的第一相关信息,生成自身的总成网络拓扑视图。
每个节点发表的第一相关信息中包含自身的初始网络拓扑视图的信息和在自身的初始网络拓扑视图中选择的主节点的信息。每个节点向自身的初始网络拓扑视图中的每个节点发表第一相关信息后,每个节点即可以获得自身的可见节点发表的第一相关信息。每个节点根据接收到的第一相关信息和自身的第一相关信息,可以生成自身的总成网络拓扑视图。
针对每个节点而言,该节点生成的自身的总成网络拓扑视图中可以包含两跳之内能够到达的节点。
仍以图2所示的分布式集群为例,节点1、节点2、节点3、节点4分别发表第一相关信息后,节点1可以接收到节点2和节点3发表的第一相关信息,节点2可以接收到节点1发表的相关信息,节点3可以接收到节点1和节点4发表的第一相关信息,节点4可以接收到节点3发表的第一相关信息。每个节点在自身的第一相关信息基础上加上接收到的第一相关信息,可以得到自身的总成网络拓扑视图。
节点1、节点2、节点3、节点4的总成网络拓扑视图及被选择为主节点次数的信息如下:
节点1
节点1:3;节点2:0;节点3:0;节点4:0;表示节点1的总成网络拓扑视图中包括节点1、节点2、节点3和节点4,节点1被选择为主节点的次数为3;
节点2
节点1:2;节点2:0;节点3:0;节点4:-;表示节点2的总成网络拓扑视图中包括节点1、节点2和节点3,节点1被选择为主节点的次数为2;
节点3
节点1:2;节点2:0;节点3:1;节点4:0;表示节点3的总成网络拓扑视图中包括节点1、节点2、节点3和节点4,节点1被选择为主节点的次数为2,节点3被选择为主节点的次数为1;
节点4
节点1:1;节点2:-;节点3:1;节点4:0;表示节点4的总成网络拓扑视图中包括节点1、节点3和节点4,节点1被选择为主节点的次数为1,节点3被选择为主节点的次数为1。
S140:针对每个节点,如果该节点确定在自身的总成网络拓扑视图中自身为准主节点,则向自身的总成网络拓扑视图中的每个节点发表第二相关信息。
第二相关信息包括自身的总成网络拓扑视图的信息。
每个节点根据接收到的第一相关信息,生成自身的总成网络拓扑视图之后,可以在自身的总成网络拓扑视图中确定自身是否为准主节点。具体的,可以根据被选择为主节点的次数进行确定。
如上例中,节点1在自身的总成网络拓扑视图中可以确定自身为准主节点,因为节点1被选择为主节点的次数为3,大于其他节点被选择为主节点的次数;节点2在自身的总成网络拓扑视图中可以确定自身非准主节点,因为节点2被选择为主节点的次数为0,小于节点1被选择为主节点的次数2;同理,节点3、节点4在自身的总成网络拓扑视图中可以确定自身非准主节点。
针对每个节点,如果该节点确定在自身的总成网络拓扑视图中自身为准主节点,则可以向自身的总成网络拓扑视图中的每个节点发表第二相关信息。该第二相关信息可以包括自身的总成网络拓扑视图的信息。
上例中,节点1为准主节点,节点1可以向自身的总成网络拓扑视图中的每个节点,如节点2、节点3和节点4发表第二相关信息。节点2、节点3、节点4均不是准主节点,不再发表第二相关信息。
S150:每个节点在获得的总成网络拓扑视图中确定基准网络拓扑视图.
在上述步骤中,针对每个节点,如果该节点确定在自身的总成网络拓扑视图中自身为准主节点,则可以向自身的总成网络拓扑视图中的每个节点发表第二相关信息。这样每个节点可以获得准主节点发表的第二相关信息,获得准主节点的总成网络拓扑视图。
每个节点可以在获得的总成网络拓扑视图中确定基准网络拓扑视图。
具体的,针对每个节点,如果该节点获得的总成网络拓扑视图只有一个,则可以直接将该总成网络拓扑视图确定为基准网络拓扑视图。
在本申请实施例中,第二相关信息还可以包括准主节点被选择为主节点的次数信息,针对每个节点,如果该节点获得的总成网络拓扑视图有多个,则可以确定获得的每个总成网络拓扑视图的准主节点被选择为主节点的次数,如果被选择为主节点的次数最多的准主节点只有一个,则可以将被选择为主节点的次数最多的准主节点的总成网络拓扑视图确定为基准网络拓扑视图。
如果选择为主节点的次数最多的准主节点有多个,则在多个被选择为主节点的次数最多的准主节点中,将曾作为仲裁节点的次数最多的准主节点的总成网络拓扑视图确定为基准网络拓扑视图。
或者,如果选择为主节点的次数最多的准主节点有多个,则在多个被选择为主节点的次数最多的准主节点中,将节点标识号最小的准主节点的总成网络拓扑视图确定为基准网络拓扑视图。
在实际应用中,可以单独使用一种规则或者综合以上规则进行基准网络拓扑视图的确定。
S160:每个节点基于自身的总成网络拓扑视图和基准网络拓扑视图,确定自身所在的最终网络拓扑视图及该最终网络拓扑视图中的主节点。
每个节点生成自身的总成网络拓扑视图,并确定基准网络拓扑视图之后,可以基于自身的总成网络拓扑视图和基准网络拓扑视图,确定自身所在的最终网络拓扑视图及该最终网络拓扑视图中的主节点。
在本申请的一种具体实施方式中,步骤S160可以包括以下步骤:
步骤一:针对每个节点,该节点在自身的总成网络拓扑视图中重新选择主节点;
步骤二:如果重新选择的主节点与基准网络拓扑视图的准主节点相同,则将基准网络拓扑视图与自身的总成网络拓扑视图进行比较;
步骤三:根据比较结果,通知该准主节点剔除在基准网络拓扑视图中但不在自身的总成网络拓扑视图中的节点,以断开被剔除节点与基准网络拓扑视图中其他节点的连接;
步骤四:将剔除节点后的基准网络拓扑视图确定为自身所在的最终网络拓扑视图,将该准主节点确定为该最终网络拓扑视图中的主节点。
为便于理解,将上述四个步骤结合起来进行说明。
每个节点在生成自身的总成网络拓扑视图后,可以在自身的总成网络拓扑视图中重新选择主节点。
针对每个节点,该节点在自身的总成网络拓扑视图中重新选择主节点后,可以判断重新选择的主节点与基准网络拓扑视图的准主节点是否相同,如果相同,则可以认为该准主节点为主节点,并将基准网络拓扑视图与自身的总成网络拓扑视图进行比较。具体的,可以比较基准网络拓扑视图中的节点集与自身的总成网络拓扑视图中的节点集。
根据比较结果,可以通知该准主节点剔除在基准网络拓扑视图中但不在自身的总成网络拓扑视图中的节点,基准网络拓扑视图中其他节点也与该被剔除节点断开了连接。
举例而言,节点2的总成网络拓扑视图为:
节点1:2;节点2:0;节点3:0;节点4:-;
节点2确定的基准网络拓扑视图为节点1发表的节点1的总成网络拓扑视图:
节点1:3;节点2:0;节点3:0;节点4:0;
节点2在自身的总成网络拓扑视图中重新选择的主节点为节点1,与基准网络拓扑视图的准主节点一致,均为节点1,节点2认同节点1为主节点。节点2将这两个视图进行比较,可以确定节点4在基准网络拓扑视图中,但不在节点2的总成网络拓扑视图中,节点2可以通知节点1剔除在基准网络拓扑视图中剔除节点4,断开节点4与基准网络拓扑视图中其他节点,如节点3的连接。
同样,节点3的总成网络拓扑视图为:
节点1:2;节点2:0;节点3:1;节点4:0;
节点3确定的基准网络拓扑视图为节点1发表的节点1的总成网络拓扑视图:
节点1:3;节点2:0;节点3:0;节点4:0;
节点3在自身的总成网络拓扑视图中重新选择的主节点为节点1,与基准网络拓扑视图的准主节点一致,均为节点1,节点3认同节点1为主节点。节点3将这两个视图进行比较,没有发现在基准网络拓扑视图中但不在节点3的总成网络拓扑视图中的节点,所以节点3暂时没有动作,在节点1剔除节点4后,节点3可以与节点4断开连接。
节点4的总成网络拓扑视图为:
节点1:1;节点2:-;节点3:1;节点4:0;
节点4确定的基准网络拓扑视图为节点1发表的节点1的总成网络拓扑视图:
节点1:3;节点2:0;节点3:0;节点4:0;
节点4在自身的总成网络拓扑视图中重新选择的主节点为节点1或节点3,与基准网络拓扑视图的准主节点不一致,节点4不认同节点1为主节点。被节点1剔除后,与节点3也断开连接,不再有机会进入节点1的总成网络拓扑视图。
针对每个节点,在基准网络拓扑视图中剔除相应节点后,可以将剔除节点后的基准网络拓扑视图确定为自身所在的最终网络拓扑视图,并将准主节点确定为该最终网络拓扑视图中的主节点。
上例中,节点1、节点2、节点3所在的最终网络拓扑视图中包括节点1、节点2和节点3,该最终网络拓扑视图中的主节点为节点1。节点4所在的最终网络拓扑视图中包括节点4,该最终网络拓扑视图中的主节点为节点4。
经过上述操作,分布式集群的所有节点会被分割到若干个互不相交的子集群中,每个子集群内所有节点会收敛到同一个网络拓扑视图中,并完成各个子集群中唯一主节点的选择。
应用本申请实施例所提供的方法,每个节点在生成初始网络拓扑视图后,向其他节点发表第一相关信息,每个节点根据接收到的第一相关信息,生成自身的总成网络拓扑视图,准主节点发表第二相关信息,每个节点确定出基准网络拓扑视图后,基于自身的总成网络拓扑视图和基准网络拓扑视图,确定最终的网络拓扑视图和主节点。不需要受限于分布式集群所使用的通信链路的协议,适用于更多场景下的分布式集群的主节点的确定,在分布式集群的网络环境变化或节点失败时能够将集群迁移到稳定的网络子环境中,并在子环境的所有成员节点上选出相同的主节点,从而使得集群能够持续运行,而且每个网络子环境中节点之间最多为两跳连接,可以提升分布式集群的稳定性。
在本申请实施例中,为了防止网络拓扑视图的频繁发表行为造成集群事件管理器的阻塞,可以设计一个视图管理器,视图管理器运行在每个节点上,负责维护一个连接状态协议,视图管理器在连接状态协议中保存节点间的连接状态、断连和重连情况,以及最近一次发表的初始网络拓扑视图。在每个节点向自身的初始网络拓扑视图中的每个节点发表第一相关信息之前,可以先基于以下原则确定是否执行发表操作:
如果因为网络或节点变动,导致新生成的初始网络拓扑视图是连接状态协议中保存的初始网络拓扑视图的子集,则可以发表新的初始网络拓扑视图;
如果新的初始网络拓扑视图与连接状态协议中保存的初始网络拓扑视图相同,但节点间通信出现了临时或不可恢复的丢失,则可以发表新的初始网络拓扑视图;
如果新的初始网络拓扑视图与连接状态协议中保存的初始网络拓扑视图相同,且初始网络拓扑视图中没有出现断连或重连,则不执行发表操作;
如果新的初始网络拓扑视图是连接状态协议中保存的初始网络拓扑视图的超集,则等待一个租约周期后执行发表操作。
本申请所提供的技术方案能够适应分布式集群所处的网络环境,能够兼容节点的动态加入和离开,也能够适应非对称网络错误,为分布式集群的高可用性和可靠性提供重要的支撑。
相应于上面的方法实施例,本申请实施例还提供了一种分布式集群中主节点确定装置,下文描述的分布式集群中主节点确定装置与上文描述的分布式集群中主节点确定方法可相互对应参照。
参见图3所示,该装置包括:
初始视图生成模块310,用于每个节点根据自身的可见节点,生成自身的初始网络拓扑视图;
第一信息发表模块320,用于每个节点向自身的初始网络拓扑视图中的每个节点发表第一相关信息,第一相关信息包括自身的初始网络拓扑视图的信息和在自身的初始网络拓扑视图中选择的主节点的信息;
总成视图生成模块330,用于每个节点根据接收到的第一相关信息,生成自身的总成网络拓扑视图;
第二信息发表模块340,用于针对每个节点,如果该节点确定在自身的总成网络拓扑视图中自身为准主节点,则向自身的总成网络拓扑视图中的每个节点发表第二相关信息,第二相关信息包括自身的总成网络拓扑视图的信息;
基准视图确定模块350,用于每个节点在获得的总成网络拓扑视图中确定基准网络拓扑视图;
主节点确定模块360,用于每个节点基于自身的总成网络拓扑视图和基准网络拓扑视图,确定自身所在的最终网络拓扑视图及该最终网络拓扑视图中的主节点。
应用本申请实施例所提供的装置,每个节点在生成初始网络拓扑视图后,向其他节点发表第一相关信息,每个节点根据接收到的第一相关信息,生成自身的总成网络拓扑视图,准主节点发表第二相关信息,每个节点确定出基准网络拓扑视图后,基于自身的总成网络拓扑视图和基准网络拓扑视图,确定最终的网络拓扑视图和主节点。不需要受限于分布式集群所使用的通信链路的协议,适用于更多场景下的分布式集群的主节点的确定,在分布式集群的网络环境变化或节点失败时能够将集群迁移到稳定的网络子环境中,并在子环境的所有成员节点上选出相同的主节点,从而使得集群能够持续运行,而且每个网络子环境中节点之间最多为两跳连接,可以提升分布式集群的稳定性。
在本申请的一种具体实施方式中,主节点确定模块360,用于:
针对每个节点,该节点在自身的总成网络拓扑视图中重新选择主节点;
如果重新选择的主节点与基准网络拓扑视图的准主节点相同,则将基准网络拓扑视图与自身的总成网络拓扑视图进行比较;
根据比较结果,通知该准主节点剔除在基准网络拓扑视图中但不在自身的总成网络拓扑视图中的节点,以断开被剔除节点与基准网络拓扑视图中其他节点的连接;
将剔除节点后的基准网络拓扑视图确定为自身所在的最终网络拓扑视图,将该准主节点确定为该最终网络拓扑视图中的主节点。
在本申请的一种具体实施方式中,基准视图确定模块350,用于:
针对每个节点,如果该节点获得的总成网络拓扑视图只有一个,则将该总成网络拓扑视图确定为基准网络拓扑视图。
在本申请的一种具体实施方式中,基准视图确定模块350,用于:
针对每个节点,如果该节点获得的总成网络拓扑视图有多个,则确定获得的每个总成网络拓扑视图的准主节点被选择为主节点的次数;
如果被选择为主节点的次数最多的准主节点只有一个,则将被选择为主节点的次数最多的准主节点的总成网络拓扑视图确定为基准网络拓扑视图。
在本申请的一种具体实施方式中,基准视图确定模块350,还用于:
如果被选择为主节点的次数最多的准主节点有多个,则在多个被选择为主节点的次数最多的准主节点中,将曾作为仲裁节点的次数最多的准主节点的总成网络拓扑视图确定为基准网络拓扑视图。
在本申请的一种具体实施方式中,基准视图确定模块350,还用于:
如果被选择为主节点的次数最多的准主节点有多个,则在多个被选择为主节点的次数最多的准主节点中,将节点标识号最小的准主节点的总成网络拓扑视图确定为基准网络拓扑视图。
在本申请的一种具体实施方式中,还包括信息发表抉择模块,用于:
在每个节点向自身的初始网络拓扑视图中的每个节点发表第一相关信息之前,基于以下原则确定是否执行发表操作:
如果因为网络或节点变动,导致新生成的初始网络拓扑视图是连接状态协议中保存的初始网络拓扑视图的子集,则可以发表新的初始网络拓扑视图;
如果新的初始网络拓扑视图与连接状态协议中保存的初始网络拓扑视图相同,但节点间通信出现了临时或不可恢复的丢失,则可以发表新的初始网络拓扑视图;
如果新的初始网络拓扑视图与连接状态协议中保存的初始网络拓扑视图相同,且初始网络拓扑视图中没有出现断连或重连,则不执行发表操作;
如果新的初始网络拓扑视图是连接状态协议中保存的初始网络拓扑视图的超集,则等待一个租约周期后执行发表操作。
相应于上面的方法实施例,本申请实施例还提供了一种分布式集群中主节点确定设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现上述分布式集群中主节点确定方法的步骤。
如图4所示,为分布式集群中主节点确定设备的组成结构示意图,分布式集群中主节点确定设备可以包括:处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。
在本申请实施例中,处理器10可以为中央处理器(Central Processing Unit,CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
处理器10可以调用存储器11中存储的程序,具体的,处理器10可以执行分布式集群中主节点确定方法的实施例中的操作。
存储器11中用于存放一个或者一个以上程序,程序可以包括程序代码,程序代码包括计算机操作指令,在本申请实施例中,存储器11中至少存储有用于实现以下功能的程序:
每个节点根据自身的可见节点,生成自身的初始网络拓扑视图;
每个节点向自身的初始网络拓扑视图中的每个节点发表第一相关信息,第一相关信息包括自身的初始网络拓扑视图的信息和在自身的初始网络拓扑视图中选择的主节点的信息;
每个节点根据接收到的第一相关信息,生成自身的总成网络拓扑视图;
针对每个节点,如果该节点确定在自身的总成网络拓扑视图中自身为准主节点,则向自身的总成网络拓扑视图中的每个节点发表第二相关信息,第二相关信息包括自身的总成网络拓扑视图的信息;
每个节点在获得的总成网络拓扑视图中确定基准网络拓扑视图;
每个节点基于自身的总成网络拓扑视图和基准网络拓扑视图,确定自身所在的最终网络拓扑视图及该最终网络拓扑视图中的主节点。
在一种可能的实现方式中,存储器11可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统,以及至少一个功能(比如视图生成功能、视图比较功能)所需的应用程序等;存储数据区可存储使用过程中所创建的数据,如相关信息数据、主节点选择数据等。
此外,存储器11可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件。
通信接口13可以为通信模块的接口,用于与其他设备或者系统连接。
当然,需要说明的是,图4所示的结构并不构成对本申请实施例中分布式集群中主节点确定设备的限定,在实际应用中分布式集群中主节点确定设备可以包括比图4所示的更多或更少的部件,或者组合某些部件。
相应于上面的方法实施例,本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述分布式集群中主节点确定方法的步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种分布式集群中主节点确定方法,其特征在于,包括:
每个节点根据自身的可见节点,生成自身的初始网络拓扑视图;
每个节点向自身的初始网络拓扑视图中的每个节点发表第一相关信息,所述第一相关信息包括自身的初始网络拓扑视图的信息和在自身的初始网络拓扑视图中选择的主节点的信息;
每个节点根据接收到的第一相关信息,生成自身的总成网络拓扑视图;
针对每个节点,如果该节点确定在自身的总成网络拓扑视图中自身为准主节点,则向自身的总成网络拓扑视图中的每个节点发表第二相关信息,所述第二相关信息包括自身的总成网络拓扑视图的信息;
每个节点在获得的总成网络拓扑视图中确定基准网络拓扑视图;
每个节点基于自身的总成网络拓扑视图和基准网络拓扑视图,确定自身所在的最终网络拓扑视图及该最终网络拓扑视图中的主节点。
2.根据权利要求1所述的方法,其特征在于,所述每个节点基于自身的总成网络拓扑视图和基准网络拓扑视图,确定自身所在的最终网络拓扑视图及该最终网络拓扑视图中的主节点,包括:
针对每个节点,该节点在自身的总成网络拓扑视图中重新选择主节点;
如果重新选择的主节点与基准网络拓扑视图的准主节点相同,则将基准网络拓扑视图与自身的总成网络拓扑视图进行比较;
根据比较结果,通知该准主节点剔除在基准网络拓扑视图中但不在自身的总成网络拓扑视图中的节点,以断开被剔除节点与基准网络拓扑视图中其他节点的连接;
将剔除节点后的基准网络拓扑视图确定为自身所在的最终网络拓扑视图,将该准主节点确定为该最终网络拓扑视图中的主节点。
3.根据权利要求1所述的方法,其特征在于,所述每个节点在获得的总成网络拓扑视图中确定基准网络拓扑视图,包括:
针对每个节点,如果该节点获得的总成网络拓扑视图只有一个,则将该总成网络拓扑视图确定为基准网络拓扑视图。
4.根据权利要求1所述的方法,其特征在于,所述第二相关信息还包括准主节点被选择为主节点的次数信息,所述每个节点在获得的总成网络拓扑视图中确定基准网络拓扑视图,包括:
针对每个节点,如果该节点获得的总成网络拓扑视图有多个,则确定获得的每个总成网络拓扑视图的准主节点被选择为主节点的次数;
如果被选择为主节点的次数最多的准主节点只有一个,则将被选择为主节点的次数最多的准主节点的总成网络拓扑视图确定为基准网络拓扑视图。
5.根据权利要求4所述的方法,其特征在于,还包括:
如果被选择为主节点的次数最多的准主节点有多个,则在多个被选择为主节点的次数最多的准主节点中,将曾作为仲裁节点的次数最多的准主节点的总成网络拓扑视图确定为基准网络拓扑视图。
6.根据权利要求4所述的方法,其特征在于,还包括:
如果被选择为主节点的次数最多的准主节点有多个,则在多个被选择为主节点的次数最多的准主节点中,将节点标识号最小的准主节点的总成网络拓扑视图确定为基准网络拓扑视图。
7.根据权利要求1至6之中任选一项所述的方法,其特征在于,在所述每个节点向自身的初始网络拓扑视图中的每个节点发表第一相关信息之前,还包括:
基于以下原则确定是否执行发表操作:
如果因为网络或节点变动,导致新生成的初始网络拓扑视图是连接状态协议中保存的初始网络拓扑视图的子集,则可以发表新的初始网络拓扑视图;
如果新的初始网络拓扑视图与连接状态协议中保存的初始网络拓扑视图相同,但节点间通信出现了临时或不可恢复的丢失,则可以发表新的初始网络拓扑视图;
如果新的初始网络拓扑视图与连接状态协议中保存的初始网络拓扑视图相同,且初始网络拓扑视图中没有出现断连或重连,则不执行发表操作;
如果新的初始网络拓扑视图是连接状态协议中保存的初始网络拓扑视图的超集,则等待一个租约周期后执行发表操作。
8.一种分布式集群中主节点确定装置,其特征在于,包括:
初始视图生成模块,用于每个节点根据自身的可见节点,生成自身的初始网络拓扑视图;
第一信息发表模块,用于每个节点向自身的初始网络拓扑视图中的每个节点发表第一相关信息,所述第一相关信息包括自身的初始网络拓扑视图的信息和在自身的初始网络拓扑视图中选择的主节点的信息;
总成视图生成模块,用于每个节点根据接收到的第一相关信息,生成自身的总成网络拓扑视图;
第二信息发表模块,用于针对每个节点,如果该节点确定在自身的总成网络拓扑视图中自身为准主节点,则向自身的总成网络拓扑视图中的每个节点发表第二相关信息,所述第二相关信息包括自身的总成网络拓扑视图的信息;
基准视图确定模块,用于每个节点在获得的总成网络拓扑视图中确定基准网络拓扑视图;
主节点确定模块,用于每个节点基于自身的总成网络拓扑视图和基准网络拓扑视图,确定自身所在的最终网络拓扑视图及该最终网络拓扑视图中的主节点。
9.一种分布式集群中主节点确定设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述分布式集群中主节点确定方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述分布式集群中主节点确定方法的步骤。
CN202010176897.9A 2020-03-13 2020-03-13 分布式集群中主节点确定方法、装置、设备及存储介质 Active CN111416739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010176897.9A CN111416739B (zh) 2020-03-13 2020-03-13 分布式集群中主节点确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010176897.9A CN111416739B (zh) 2020-03-13 2020-03-13 分布式集群中主节点确定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111416739A true CN111416739A (zh) 2020-07-14
CN111416739B CN111416739B (zh) 2022-11-04

Family

ID=71494353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010176897.9A Active CN111416739B (zh) 2020-03-13 2020-03-13 分布式集群中主节点确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111416739B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107634842A (zh) * 2016-07-18 2018-01-26 阿里巴巴集团控股有限公司 网络拓扑发现方法及装置
CN108900421A (zh) * 2018-06-29 2018-11-27 郑州云海信息技术有限公司 一种分布式存储系统的拓扑结构生成方法、装置及系统
CN110719209A (zh) * 2019-10-31 2020-01-21 北京浪潮数据技术有限公司 一种集群网络配置方法、系统、设备及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107634842A (zh) * 2016-07-18 2018-01-26 阿里巴巴集团控股有限公司 网络拓扑发现方法及装置
CN108900421A (zh) * 2018-06-29 2018-11-27 郑州云海信息技术有限公司 一种分布式存储系统的拓扑结构生成方法、装置及系统
CN110719209A (zh) * 2019-10-31 2020-01-21 北京浪潮数据技术有限公司 一种集群网络配置方法、系统、设备及可读存储介质

Also Published As

Publication number Publication date
CN111416739B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
US10609159B2 (en) Providing higher workload resiliency in clustered systems based on health heuristics
CN111290834A (zh) 一种基于云管理平台实现业务高可用的方法、装置及设备
CN109391691B (zh) 一种单节点故障下nas服务的恢复方法及相关装置
CN106911728A (zh) 分布式系统中主节点的选取方法和装置
CN108881512B (zh) Ctdb的虚拟ip均衡分配方法、装置、设备及介质
CN107666493B (zh) 一种数据库配置方法及其设备
CN111064626B (zh) 配置更新方法、装置、服务器及可读存储介质
CN112104727B (zh) 一种精简高可用Zookeeper集群部署方法及系统
CN106331081B (zh) 一种信息同步方法及装置
US20190007276A1 (en) Site asymmetric topology reconciliation in a computer cluster
CN109873714B (zh) 云计算节点配置更新方法及终端设备
CN111752488B (zh) 存储集群的管理方法、装置、管理节点及存储介质
CN110635941A (zh) 一种数据库节点集群故障迁移方法与装置
US20050234919A1 (en) Cluster system and an error recovery method thereof
CN111416739B (zh) 分布式集群中主节点确定方法、装置、设备及存储介质
CN111970158B (zh) 边缘接入的处理系统、方法、装置及设备
CN113765690A (zh) 集群切换方法、系统、装置、终端、服务器及存储介质
CN107294781B (zh) 一种集群配置节点故障转移的方法及系统
CN113596195B (zh) 公共ip地址管理方法、装置、主节点及存储介质
CN111654393B (zh) 区块链组网方法及系统
CN114564530A (zh) 一种数据库访问方法、装置、设备及存储介质
CN113472849A (zh) 一种节点的管理方法、系统、设备以及介质
CN115242856B (zh) 集群重建方法及系统
CN115550287B (zh) 一种远程复制关系的建立方法及相关装置
CN113708960B (zh) 一种Zookeeper集群的部署方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant