CN114143182A - 一种配置分布式搜索引擎集群的节点的方法和装置 - Google Patents
一种配置分布式搜索引擎集群的节点的方法和装置 Download PDFInfo
- Publication number
- CN114143182A CN114143182A CN202111371979.XA CN202111371979A CN114143182A CN 114143182 A CN114143182 A CN 114143182A CN 202111371979 A CN202111371979 A CN 202111371979A CN 114143182 A CN114143182 A CN 114143182A
- Authority
- CN
- China
- Prior art keywords
- node
- port
- rack
- data node
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004458 analytical method Methods 0.000 claims description 36
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 239000012634 fragment Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000006855 networking Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0876—Aspects of the degree of configuration automation
- H04L41/0886—Fully automatic configuration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
- H04L41/0836—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability to enhance reliability, e.g. reduce downtime
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0889—Techniques to speed-up the configuration process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/09—Mapping addresses
- H04L61/10—Mapping addresses of different types
- H04L61/103—Mapping addresses of different types across network layers, e.g. resolution of network layer into physical layer addresses or address resolution protocol [ARP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Small-Scale Networks (AREA)
Abstract
本发明公开了一种配置分布式搜索引擎集群的节点的方法、装置、电子设备和存储介质,所述方法包括:基于各个交换设备的MAC表信息中的各个MAC地址信息,将各数据节点的机架信息同步发送至对应的数据节点,以使得各数据节点根据对应的机架信息进行参数的配置。本申请实施例提供的配置方法,能够进行自动配置,自动配置各个机架交换设备的各项机架参数,从而能够在分布式搜索引擎集群中的某一个机架交换设备的某个节点出现故障时,及时发现故障,并对该故障进行及时修复,从而大大地提升了分布式搜索引擎集群的稳定性和可靠性。
Description
技术领域
本发明涉及通信技术领域,特别涉及一种配置分布式搜索引擎集群的节点的方法和装置。
背景技术
分布式搜索引擎集群主要包含两类节点,一个是数据(data)节点:用来存放数据,提供数据的搜索能力。另一个是主(master)节点:作为监控节点负责控制其他节点的工作。分布式搜索引擎使用了一个叫分片(shard)的数据块,通过将这些分片分散到集群中不同的数据节点,来实现数据的分布式存储及计算,集群会自动完成数据的分片,而对使用分析功能的用户来说是透明的,始终觉得都是在使用一份数据进行查询和分析。同时为了提高集群的可靠性及查询性能,分布式搜索引擎为每个分片创建冗余的副本分片,处理查询时可以把这些副本当做最初的主分片使用。如果主分片所在的主机宕机了,分布式搜索引擎会自动从该分片的副本中选出一个当做新的主分片,不会中断索引和搜索服务,并且可以在任意时间节点添加或删除副本,可随时调整副本的数量。
如图1所示为一个基础的分布式搜索引擎集群部署模式。如图1所示,集群包含四个节点,四个节点均为数据节点,同时任意一个节点也可以作为主节点,即该主节点既可以作为master节点,也可以作为数据节点,一般可以将master节点作为单独的节点提供集群监控和控制,在这里主要说明数据的分布,该集群的一个索引包含四个分片,同时为单副本,即P0\P1\P2\P3为主分片,对应的副本分片为R0\R1\R2\R3,可以看出集群将主分片和副本分片放到不同的节点,这能在一定程度上提高集群的可靠性。
分布式搜索引擎集群通过副本分片,可以在一定程度上提高集群的可靠性和集群的可用性,但是随着集群规模的增大,节点与节点之间一定是通过网络连接在一起的,而网络环境的稳定性又决定着整个集群的可靠性和可服务性。
在实际应用场景中,分布式搜索引擎集群的几个节点分布在不同的机架上,每个机架都会对应一个交换设备。如果集群按照前述节点的分片分布,当机架交换设备A出现故障时,就会造成整个集群的不可用,导致整个集群崩溃。
为避免上述因集群中的某一个机架交换设备出现故障而导致整个集群的崩溃现象发生,可以采取如下方法,具体如下所述:
若启动的两个节点都在一个机架上,创建一个有5个主分片的索引和5个副本分片的索引,此时,分片会被分配到两个节点上,如果再启动两个节点,设置为另外一个机架,此时分布式搜索引擎会将分片移动到新的节点上,确保不会让主分片和其副本分片在同一个机架上;这样,如果机架2故障了,机架1上的主分片也可立即提供无中断的服务。
但是,在集群较大、且分布在机房不同机架上时,需要技术人员以手动方式逐一设置各个节点对应的机架配置,由于手动配置需要耗费大量的配置时间,且在人工配置过程中易出现配置错误,在集群中的某一个机架交换设备的某个节点出现故障时很难被发现,从而降低了分布式搜索引擎集群的稳定性和可靠性。
发明内容
基于此,有必要针对基于现有分布式搜索引擎集群中的各个节点对应的机架参数需要手动配置,手动配置过程耗时且易出错的问题,提供一种配置分布式搜索引擎集群的节点的方法、装置、电子设备和存储介质。
第一方面,本申请实施例提供了一种配置分布式搜索引擎集群的节点的方法,所述分布式搜索引擎集群包括主节点和各个数据节点,所述方法应用于分布式搜索引擎集群中的主节点,所述方法包括:
根据预设条件判断所述集群中的任一交换设备的任一端口是否属于直连端口类型;
遍历并识别每个节点上作为直连端口的各个端口,当根据所述预设条件识别任一节点的每个端口均属于所述直连端口类型时,识别对应的节点为核心交换设备;当根据所述预设条件识别任一节点的至少一个端口不属于所述直连端口类型时,识别对应的节点为机架交换设备;
当识别出当前节点为机架交换设备,对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息,并将各数据节点的机架信息同步发送至对应的数据节点,以使得各数据节点根据对应的机架信息进行参数配置。
在一种可能的实现方式中,所述识别每个节点上作为直连端口的各个端口包括:
从所述集群中的节点选取任一节点作为第一交换设备;
当所述第一交换设备的第一端口的第一MAC表集合和所述集群中的第二交换设备的第二端口的第二MAC表集合组成的交集为空、且该交集的ARP信息遍历对应交集中的任一MAC地址时,识别所述第一端口和所述第二端口之间的连接状态为直连状态;
依次遍历第一交换设备的其余端口,直至根据所述预设条件依次判断出所述第一交换设备的其余端口和其余交换设备的其余端口的连接状态是否为直连状态为止。
在一种可能的实现方式中,在所述根据预设条件判断所述集群中的任一交换设备的任一端口是否属于直连端口类型之前,所述方法还包括:
读取所述预设条件;
所述预设条件包括:所述集群中的任意两个交换设备的MAC表集合组成的交集为空、且交集的ARP信息遍历交集中的任一MAC地址。
在一种可能的实现方式中,所述对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息包括:
根据各个交换设备的MAC表信息中的端口信息、各个端口对应的MAC信息和各个数据节点对应的ARP信息,对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息。
在一种可能的实现方式中,所述方法还包括:
获取分布式搜索引擎集群中的各个数据节点对应的ARP请求报文;
对各个数据节点对应的ARP请求报文进行解析,得到解析结果,所述解析结果中包括各个数据节点、各个数据节点的IP地址信息和各个数据节点的MAC地址信息间的对应关系。
第二方面,本申请实施例提供了一种配置分布式搜索引擎集群的节点的装置,所述分布式搜索引擎集群包括主节点和各个数据节点,所述装置应用于分布式搜索引擎集群中的主节点,所述装置包括:
判断模块,用于根据预设条件判断所述集群中的任一交换设备的任一端口是否属于直连端口类型;
识别模块,用于遍历并识别每个节点上作为直连端口的各个端口,当根据所述预设条件识别任一节点的每个端口均属于所述直连端口类型时,识别对应的节点为核心交换设备;当根据所述预设条件识别任一节点的至少一个端口不属于所述直连端口类型时,识别对应的节点为机架交换设备;
分析模块,用于当所述遍历及识别模块识别出当前节点为机架交换设备,对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息;
同步发送模块,用于将所述分析模块分析得到的各数据节点的机架信息同步发送至对应的数据节点,以使得各数据节点根据对应的机架信息进行参数配置。
在一种可能的实现方式中,所述识别模块具体用于:
从所述集群中的节点选取任一节点作为第一交换设备;
当所述第一交换设备的第一端口的第一MAC表集合和所述集群中的第二交换设备的第二端口的第二MAC表集合组成的交集为空、且该交集的ARP信息遍历对应交集中的任一MAC地址时,识别所述第一端口和所述第二端口之间的连接状态为直连状态;
依次遍历第一交换设备的其余端口,直至根据所述预设条件依次判断出所述第一交换设备的其余端口和其余交换设备的其余端口的连接状态是否为直连状态为止。
在一种可能的实现方式中,所述装置还包括:
读取模块,用于在所述判断模块根据预设条件判断所述集群中的任一交换设备的任一端口是否属于直连端口类型之前,读取所述预设条件;
所述读取模块读取的所述预设条件包括:所述集群中的任意两个交换设备的MAC表集合组成的交集为空、且交集的ARP信息遍历交集中的任一MAC地址。
在一种可能的实现方式中,所述分析模块具体用于:
根据各个交换设备的MAC表信息中的端口信息、各个端口对应的MAC信息和各个数据节点对应的ARP信息,对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息。
在一种可能的实现方式中,所述装置还包括:
获取模块,用于获取所述集群中的各个数据节点对应的ARP请求报文;
解析模块,用于对各个数据节点对应的ARP请求报文进行解析,得到解析结果,所述解析模块得到的所述解析结果中包括各个数据节点、各个数据节点的IP地址信息和各个数据节点的MAC地址信息间的对应关系。
本申请实施例提供的技术方案可以包括以下有益效果:
在本申请实施例中,根据预设条件判断集群中的任一交换设备的任一端口是否属于直连端口类型;遍历并识别每个节点上作为直连端口的各个端口,当根据预设条件识别任一节点的每个端口均属于直连端口类型时,识别对应的节点为核心交换设备;当根据预设条件识别任一节点的至少一个端口不属于直连端口类型时,识别对应的节点为机架交换设备;以及当识别出当前节点为机架交换设备,对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息,并将各数据节点的机架信息同步发送至对应的数据节点,以使得各数据节点根据对应的机架信息进行参数配置。本申请实施例提供的配置方法,由于分布式搜索引擎集群中的主节点在识别任一节点的每个端口均属于直连端口类型时,能够精准地识别出集群内的哪一个节点为核心交换设备,哪些节点为机架交换设备;并对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息,并将各数据节点的机架信息同步发送至对应的数据节点,以使得各数据节点根据对应的机架信息进行参数配置;上述配置过程是自动完成的,无需人为手动配置各个机架交换设备的各项机架参数,从而能够在分布式搜索引擎集群中的某一个机架交换设备的某个节点出现故障时,及时发现故障,并对该故障进行及时修复,从而大大地提升了分布式搜索引擎集群的稳定性和可靠性。应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1为现有技术中的一个基础分布式搜索引擎集群部署模式的示意图;
图2是本申请实施例提供的一种配置分布式搜索引擎集群的节点的方法的流程示意图;
图3为是本申请实施例提供的具体应用场景下的分布式搜索引擎集群的部署组网图;
图4是本申请实施例提供的一种配置分布式搜索引擎集群的节点的装置的结构示意图;
图5示出了根据本申请实施例的电子设备连接结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面结合附图详细说明本公开的可选实施例。
如图2所示,是本申请实施例提供的一种配置分布式搜索引擎集群的节点方法的流程示意图;如图2所示,本申请实施例提供了一种配置分布式搜索引擎集群的节点的方法,分布式搜索引擎集群包括主节点和各个数据节点,所述方法应用于分布式搜索引擎集群中的主节点,该配置方法具体包括如下方法步骤:
S102:根据预设条件判断集群中的任一交换设备的任一端口是否属于直连端口类型。
在本申请实施例中,在某一具体应用场景下,预设条件包括:集群中的任意两个交换设备的MAC表集合组成的交集为空、且交集的ARP信息遍历交集中的任一MAC地址。
在一种可能的实现方式中,本申请实施例提供的配置方法还包括以下步骤:
读取预设条件;
预设条件包括:集群中的任意两个交换设备的MAC表集合组成的交集为空、且交集的ARP信息遍历交集中的任一MAC地址;这样,通过提前读取预设条件,就可以根据上述预设条件,精准地判断出集群中的任一交换设备的任一端口是否属于直连端口类型。
在一种可能的实现方式中,为了更好地实现精准配置,本申请实施例提供的配置方法还包括以下步骤:
分布式搜索引擎集群中的主节点获取分布式搜索引擎集群中的各个数据节点对应的ARP地址解析协议信息和主节点获取分布式搜索引擎集群中各个交换设备的MAC表信息。
在一种可能的实现方式中,本申请实施例提供的配置方法还包括以下步骤:
主节点获取分布式搜索引擎集群中的各个数据节点对应的ARP地址解析协议请求报文;
主节点对各个数据节点对应的ARP请求报文进行解析,得到解析结果,解析结果中包括各个数据节点、各个数据节点的IP地址信息和各个数据节点的MAC地址信息间的对应关系。
在一种可能的实现方式中,在主节点获取分布式搜索引擎集群中各个交换设备的MAC表信息之后,本申请实施例提供的配置方法还包括以下步骤:
主节点对各个交换设备的MAC表信息进行解析,得到对应的解析结果,该解析结果包括各个交换设备、各个交换设备的端口信息和各个交换设备端口的MAC表信息之间的对应关系。
S104:遍历并识别每个节点上作为直连端口的各个端口,当根据预设条件识别任一节点的每个端口均属于直连端口类型时,识别对应的节点为核心交换设备;当根据预设条件识别任一节点的至少一个端口不属于直连端口类型时,识别对应的节点为机架交换设备。
在申请实施例中,在某一具体应用场景下,预设条件包括:集群中的任意两个交换设备的MAC表集合组成的交集为空、且交集的ARP信息遍历交集中的任一MAC地址。
通过上述步骤,就可以精准地识别出哪一个节点为核心交换设备,哪一些节点为机架交换设备。
在一种可能的实现方式中,识别每个节点上作为直连端口的各个端口包括以下步骤:
从集群中的节点选取任一节点作为第一交换设备;
当第一交换设备的第一端口的第一MAC表集合和集群中的第二交换设备的第二端口的第二MAC表集合组成的交集为空、且该交集的ARP信息遍历对应交集中的任一MAC地址时,识别第一端口和第二端口之间的连接状态为直连状态;
依次遍历第一交换设备的其余端口,直至根据预设条件依次判断出第一交换设备的其余端口和其余交换设备的其余端口的连接状态是否为直连状态为止。
在申请实施例中,在某一具体应用场景下,预设条件包括:集群中的任意两个交换设备的MAC表集合组成的交集为空、且交集的ARP信息遍历交集中的任一MAC地址。
通过上述步骤,就可以精准地识别出哪一个节点为核心交换设备,哪一些节点为机架交换设备。
如图3所示,为是本申请实施例提供的具体应用场景下的分布式搜索引擎集群的部署组网图;在实际应用场景中,主节点根据收集到的Mac表信息,进行不同交换设备的各端口的Mac表集合操作,如果一个交换设备某个端口Mac表集合和另个交换设备某个端口的Mac表集合,如果两个集合的交集为空,并且两个集合的并集为ARP信息中的所有Mac地址时,则两个设备的两个端口直连,如果某个设备的所有端口都与其他设备直连,则该设备为核心交换设备,否则为机架交换设备。
在如图3所示的具体应用场景中,根据上述预设条件就可以精准地确定出:核心交换设备为交换设备C,而交换设备A和交换设备B均为机架交换设备。
在实际应用场景中,可以根据不同应用场景的需求调整预设条件,在此不再穷举。
S106:对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息,并将各数据节点的机架信息同步发送至对应的数据节点,以使得各数据节点根据对应的机架信息进行参数配置;这样,能够在分布式搜索引擎集群中的某一个机架交换设备的某个节点出现故障时,及时发现故障,并对该故障进行及时修复,从而大大地提升了分布式搜索引擎集群的稳定性和可靠性。
在一种可能的实现方式中,对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息包括以下步骤:
根据各个交换设备的MAC表信息中的端口信息、各个端口对应的MAC信息和各个数据节点对应的ARP信息,对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息。
如图3所示,通过上述S104精准地确定出:核心交换设备为交换设备C,而交换设备A和交换设备B均为机架交换设备。
当判断出设备A为机架交换设备时,同时可以获知a1和a2端口均是未与核心交换设备直连的端口,并且通过a1和a2对应Mac表信息,并结合ARP信息,可以得到a1端口连接的为节点A1,a2端口连接的为节点A2,并且两个节点连接的为同一个机架。同理,可以得到机架交换设备B的b1端口连接的为节点B1,b2端口连接的为节点B2。
至此,布式搜索引擎集群的主节点判断出了各节点所连的机架信息,主节点可以自动将这些信息同步发到各节点,由各节点完成机架参数设置。
在一种可能的实现方式中,将各数据节点的机架信息同步发送至对应的数据节点,以使得各数据节点根据对应的机架信息进行参数配置包括以下步骤:
基于各个交换设备的MAC表信息中的各个MAC地址信息,将各数据节点的机架信息同步发送至对应的数据节点,以使得各数据节点根据对应的机架信息进行参数的配置。
根据本申请实施例提供的配置方式,能够精准地确定出各数据节点与机架交换设备的对应情况,例如,分布式搜索引擎集群的几个节点分布在不同的机架上,每个机架都会对应一个交换设备,如节点A1和节点A2直连到交换设备A,节点B1和节点B2直连到交换设备B,而交换设备A和交换设备B又通过核心交换设备C进行互联。
如下为本申请实施例具体应用场景下的分布式搜索引擎集群机架参数的配置方法,配置过程具体如下所述:
步骤a1:主节点进行ARP报文信息收集,具体收集过程如下所述:
一个分布式搜索引擎集群都会存在一个主master节点,主节点可以是数据节点也可以是非数据节点。当集群启动时,各数据节点可以启动时,向主节点发送ARP请求报文,源IP和源Mac为自己的IP和Mac地址,目的IP为主节点的IP地址,目的Mac为广播地址,这样主节点收到各节点的ARP请求报文后,会将各节点的IP和Mac对应关系记录下来。如图3所示,为分布式搜索引擎集群的部署组网图。
基于图3所示的部署组网,主节点可以得到一组ARP信息列表,具体如下
表1所述:
数据节点IP地址 | 数据节点Mac地址 |
192.168.0.1(节点A1) | M0:00:00:00:00:01 |
192.168.0.2(节点A2) | M0:00:00:00:00:02 |
192.168.0.3(节点B1) | M0:00:00:00:00:03 |
192.168.0.4(节点B2) | M0:00:00:00:00:04 |
表1
步骤a2:主节点进行Mac表信息收集,具体收集过程如下所述:
主节点可以基于SNMP协议或Netconf协议获取该分布式搜索引擎部署集群中各个交换设备的Mac表信息,各个交换设备的管理IP事先可以获知,主节点通过Netconf等协议来采集各个交换设备上的Mac表信息。
对于如上小节分布式搜索引擎集群的部署组网,主节点可以收集到交换设备A、交换设备B、交换设备C的Mac表信息,而在集群启动前,集群本身是无法知道设备A为机架交换设备,设备B为机架交换设备,设备C为核心交换设备的,除非人工手动配置,本发明的目的就是能够自动感知到三个交换设备是属于机架交换设备,还是核心交换设备,并能够同时获知各个主机节点连接的是哪个机架,从而达到配置分布式搜索引擎集群机架参数的目的。这里主节点可以收集到设备A、设备B、设备C的Mac表信息,得到三组Mac信息列表,如下表2所述:
表2
步骤a3:主节点综合Mac表和ARP信息判断交换设备分类,具体判断过程如下所述:
主节点根据收集到的Mac表信息,进行不同交换设备的各端口的Mac表集合操作,如果一个交换设备某个端口Mac表集合和另个交换设备某个端口的Mac表集合,如果两个集合的交集为空,并且两个集合的并集为ARP信息中的所有Mac地址时,则两个设备的两个端口直连,如果某个设备的所有端口都与其他设备直连,则该设备为核心交换设备,否则为机架交换设备。
对于如上小节的分布式搜索引擎集群主节点收集到的所有设备的Mac表信息和ARP信息,可作出如下判断:
交换设备C的c1端口与设备A的a3端口交集为空,并集为ARP信息中所有Mac,则得出c1端口与a3端口直连;
交换设备C的c2端口与设备B的b3端口交集为空,并集为ARP信息中所有Mac,则得出c2端口与b3端口直连;
至此,交换设备C的所有端口均与其他设备直连,则可判断设备C为核心交换设备,同时可判断设备A和设备B为机架交换设备。
步骤a4:主节点判断主机节点以及对应机架,具体判断过程如下所述:
以上述示例的判断结果可知,设备C为核心交换设备,设备A和设备B为机架交换设备。
当判断出设备A为机架交换设备时,同时可以获知a1和a2端口均是未与核心交换设备直连的端口,并且通过a1和a2对应Mac表信息,并结合ARP信息,可以得到a1端口连接的为节点A1,a2端口连接的为节点A2,并且两个节点连接的为同一个机架。同理,可以得到机架交换设备B的b1端口连接的为节点B1,b2端口连接的为节点B2。
至此,分布式搜索引擎集群的主节点判断出了各节点所连的机架信息,主节点可以自动将这些信息同步发到各节点,由各节点完成机架参数设置。
在本申请实施例中,根据预设条件判断集群中的任一交换设备的任一端口是否属于直连端口类型;遍历并识别每个节点上作为直连端口的各个端口,当根据预设条件识别任一节点的每个端口均属于直连端口类型时,识别对应的节点为核心交换设备;当根据预设条件识别任一节点的至少一个端口不属于直连端口类型时,识别对应的节点为机架交换设备;以及当识别出当前节点为机架交换设备,对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息,并将各数据节点的机架信息同步发送至对应的数据节点,以使得各数据节点根据对应的机架信息进行参数配置。本申请实施例提供的配置方法,由于分布式搜索引擎集群中的主节点在识别任一节点的每个端口均属于直连端口类型时,能够精准地识别出集群内的哪一个节点为核心交换设备,哪些节点为机架交换设备;并对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息,并将各数据节点的机架信息同步发送至对应的数据节点,以使得各数据节点根据对应的机架信息进行参数配置;上述配置过程是自动完成的,无需人为手动配置各个机架交换设备的各项机架参数,从而能够在分布式搜索引擎集群中的某一个机架交换设备的某个节点出现故障时,及时发现故障,并对该故障进行及时修复,从而大大地提升了分布式搜索引擎集群的稳定性和可靠性。
下述为本申请实施例配置分布式搜索引擎集群的节点的装置实施例,可以用于执行本申请实施例配置分布式搜索引擎集群的节点的方法实施例。对于本申请实施例配置分布式搜索引擎集群的节点的装置实施例中未披露的细节,请参照本申请实施例配置分布式搜索引擎集群的节点的方法实施例。
请参见图4,其示出了本发明一个示例性实施例提供的配置分布式搜索引擎集群的节点的装置的结构示意图。该配置分布式搜索引擎集群的节点的装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。分布式搜索引擎集群包括主节点和各个数据节点,所述装置应用于分布式搜索引擎集群中的主节点,所述装置包括判断模块402、识别模块404、分析模块406和同步发送模块408。
具体而言,判断模块402,用于根据预设条件判断集群中的任一交换设备的任一端口是否属于直连端口类型;
识别模块404,用于遍历并识别每个节点上作为直连端口的各个端口,当根据预设条件识别任一节点的每个端口均属于直连端口类型时,识别对应的节点为核心交换设备;当根据预设条件识别任一节点的至少一个端口不属于直连端口类型时,识别对应的节点为机架交换设备;
分析模块406,用于当遍历及识别模块404识别出当前节点为机架交换设备,对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息;
同步发送模块408,用于将分析模块406分析得到的各数据节点的机架信息同步发送至对应的数据节点,以使得各数据节点根据对应的机架信息进行参数配置。
可选的,识别模块404具体用于:
从集群中的节点选取任一节点作为第一交换设备;
当第一交换设备的第一端口的第一MAC表集合和集群中的第二交换设备的第二端口的第二MAC表集合组成的交集为空、且该交集的ARP信息遍历对应交集中的任一MAC地址时,识别第一端口和第二端口之间的连接状态为直连状态;
依次遍历第一交换设备的其余端口,直至根据预设条件依次判断出第一交换设备的其余端口和其余交换设备的其余端口的连接状态是否为直连状态为止。
可选的,所述装置还包括:
读取模块,用于在判断模块402根据预设条件判断集群中的任一交换设备的任一端口是否属于直连端口类型之前,读取预设条件;
读取模块读取的预设条件包括:集群中的任意两个交换设备的MAC表集合组成的交集为空、且交集的ARP信息遍历交集中的任一MAC地址。
可选的,分析模块406具体用于:
根据各个交换设备的MAC表信息中的端口信息、各个端口对应的MAC信息和各个数据节点对应的ARP信息,对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息。
可选的,所述装置还包括:
获取模块,用于获取集群中的各个数据节点对应的ARP请求报文;
解析模块,用于对各个数据节点对应的ARP请求报文进行解析,得到解析结果,解析模块得到的解析结果中包括各个数据节点、各个数据节点的IP地址信息和各个数据节点的MAC地址信息间的对应关系。
需要说明的是,上述实施例提供的配置分布式搜索引擎集群的节点的装置在执行配置分布式搜索引擎集群的节点的方法时,仅以上述各功能单元的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元完成,即将设备的内部结构划分成不同的功能单元,以完成以上描述的全部或者部分功能。另外,上述实施例提供的配置分布式搜索引擎集群的节点的装置与配置分布式搜索引擎集群的节点的方法实施例属于同一构思,其体现实现过程详见配置分布式搜索引擎集群的节点的方法实施例,这里不再赘述。
在本申请实施例中,判断模块用于根据预设条件判断集群中的任一交换设备的任一端口是否属于直连端口类型;识别模块用于遍历并识别每个节点上作为直连端口的各个端口,当根据预设条件识别任一节点的每个端口均属于直连端口类型时,识别对应的节点为核心交换设备;当根据预设条件识别任一节点的至少一个端口不属于直连端口类型时,识别对应的节点为机架交换设备;分析模块用于当遍历及识别模块识别出当前节点为机架交换设备,对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息;以及同步发送模块用于将分析模块分析得到的各数据节点的机架信息同步发送至对应的数据节点,以使得各数据节点根据对应的机架信息进行参数配置。本申请实施例提供的配置装置,由于分布式搜索引擎集群中的主节点在识别任一节点的每个端口均属于直连端口类型时,能够精准地识别出集群内的哪一个节点为核心交换设备,哪些节点为机架交换设备;并对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息,并将各数据节点的机架信息同步发送至对应的数据节点,以使得各数据节点根据对应的机架信息进行参数配置;上述配置过程是自动完成的,无需人为手动配置各个机架交换设备的各项机架参数,从而能够在分布式搜索引擎集群中的某一个机架交换设备的某个节点出现故障时,及时发现故障,并对该故障进行及时修复,从而大大地提升了分布式搜索引擎集群的稳定性和可靠性。
如图5所示,本实施例提供一种电子设备,该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器运行计算机程序以实现如上所述的方法步骤。
本申请实施例提供了一种存储有计算机可读指令的存储介质,其上存储有计算机程序,程序被处理器执行实现如上所述的方法步骤。
下面参考图5,其示出了适于用来实现本申请实施例的电子设备的结构示意图。
如图5所示,电子设备可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中,还存储有电子设备操作所需的各种程序和数据。处理装置501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (10)
1.一种配置分布式搜索引擎集群的节点的方法,其特征在于,所述分布式搜索引擎集群包括主节点和各个数据节点,所述方法应用于分布式搜索引擎集群中的主节点,所述方法包括:
根据预设条件判断所述集群中的任一交换设备的任一端口是否属于直连端口类型;
遍历并识别每个节点上作为直连端口的各个端口,当根据所述预设条件识别任一节点的每个端口均属于所述直连端口类型时,识别对应的节点为核心交换设备;当根据所述预设条件识别任一节点的至少一个端口不属于所述直连端口类型时,识别对应的节点为机架交换设备;
对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息,并将各数据节点的机架信息同步发送至对应的数据节点,以使得各数据节点根据对应的机架信息进行参数配置。
2.根据权利要求1所述的方法,其特征在于,所述识别每个节点上作为直连端口的各个端口包括:
从所述集群中的节点选取任一节点作为第一交换设备;
当所述第一交换设备的第一端口的第一MAC表集合和所述集群中的第二交换设备的第二端口的第二MAC表集合组成的交集为空、且该交集的ARP信息遍历对应交集中的任一MAC地址时,识别所述第一端口和所述第二端口之间的连接状态为直连状态;
依次遍历第一交换设备的其余端口,直至根据所述预设条件依次判断出所述第一交换设备的其余端口和其余交换设备的其余端口的连接状态是否为直连状态为止。
3.根据权利要求1所述的方法,其特征在于,在所述根据预设条件判断所述集群中的任一交换设备的任一端口是否属于直连端口类型之前,所述方法还包括:
读取所述预设条件;所述预设条件包括:所述集群中的任意两个交换设备的MAC表集合组成的交集为空、且交集的ARP信息遍历交集中的任一MAC地址。
4.根据权利要求1所述的方法,其特征在于,所述对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息包括:
根据各个交换设备的MAC表信息中的端口信息、各个端口对应的MAC信息和各个数据节点对应的ARP信息,对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取分布式搜索引擎集群中的各个数据节点对应的ARP请求报文;
对各个数据节点对应的ARP请求报文进行解析,得到解析结果,所述解析结果中包括各个数据节点、各个数据节点的IP地址信息和各个数据节点的MAC地址信息间的对应关系。
6.一种配置分布式搜索引擎集群的节点的装置,其特征在于,所述分布式搜索引擎集群包括主节点和各个数据节点,所述装置应用于分布式搜索引擎集群中的主节点,所述装置包括:
判断模块,用于根据预设条件判断所述集群中的任一交换设备的任一端口是否属于直连端口类型;
识别模块,用于遍历并识别每个节点上作为直连端口的各个端口,当根据所述预设条件识别任一节点的每个端口均属于所述直连端口类型时,识别对应的节点为核心交换设备;当根据所述预设条件识别任一节点的至少一个端口不属于所述直连端口类型时,识别对应的节点为机架交换设备;
分析模块,用于当所述遍历及识别模块识别出当前节点为机架交换设备,对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息;
同步发送模块,用于将所述分析模块分析得到的各数据节点的机架信息同步发送至对应的数据节点,以使得各数据节点根据对应的机架信息进行参数配置。
7.根据权利要求6所述的装置,其特征在于,所述识别模块具体用于:
从所述集群中的节点选取任一节点作为第一交换设备;
当所述第一交换设备的第一端口的第一MAC表集合和所述集群中的第二交换设备的第二端口的第二MAC表集合组成的交集为空、且该交集的ARP信息遍历对应交集中的任一MAC地址时,识别所述第一端口和所述第二端口之间的连接状态为直连状态;
依次遍历第一交换设备的其余端口,直至根据所述预设条件依次判断出所述第一交换设备的其余端口和其余交换设备的其余端口的连接状态是否为直连状态为止。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
读取模块,用于在所述判断模块根据预设条件判断所述集群中的任一交换设备的任一端口是否属于直连端口类型之前,读取所述预设条件;
所述读取模块读取的所述预设条件包括:所述集群中的任意两个交换设备的MAC表集合组成的交集为空、且交集的ARP信息遍历交集中的任一MAC地址。
9.根据权利要求6所述的装置,其特征在于,所述分析模块具体用于:
根据各个交换设备的MAC表信息中的端口信息、各个端口对应的MAC信息和各个数据节点对应的ARP信息,对各数据节点与机架交换设备的对应情况进行分析,得到各数据节点对应的机架信息。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
获取模块,用于获取所述集群中的各个数据节点对应的ARP请求报文;
解析模块,用于对各个数据节点对应的ARP请求报文进行解析,得到解析结果,所述解析模块得到的所述解析结果中包括各个数据节点、各个数据节点的IP地址信息和各个数据节点的MAC地址信息间的对应关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111371979.XA CN114143182B (zh) | 2021-11-18 | 2021-11-18 | 一种配置分布式搜索引擎集群的节点的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111371979.XA CN114143182B (zh) | 2021-11-18 | 2021-11-18 | 一种配置分布式搜索引擎集群的节点的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114143182A true CN114143182A (zh) | 2022-03-04 |
CN114143182B CN114143182B (zh) | 2024-02-23 |
Family
ID=80390696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111371979.XA Active CN114143182B (zh) | 2021-11-18 | 2021-11-18 | 一种配置分布式搜索引擎集群的节点的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114143182B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8477616B1 (en) * | 2001-06-05 | 2013-07-02 | Avaya Inc. | Method for achieving high-availability of itineraries in a real-time network scheduled packet routing system |
CN103258036A (zh) * | 2013-05-15 | 2013-08-21 | 广州一呼百应网络技术有限公司 | 一种基于p2p的分布式实时搜索引擎 |
CN105592178A (zh) * | 2015-09-17 | 2016-05-18 | 杭州华三通信技术有限公司 | 一种数据节点位置的确定方法和装置 |
WO2018036148A1 (zh) * | 2016-08-23 | 2018-03-01 | 东方网力科技股份有限公司 | 一种服务器集群系统 |
CN111125248A (zh) * | 2019-12-18 | 2020-05-08 | 写逸网络科技(上海)有限公司 | 一种大数据存储解析查询系统 |
CN111708740A (zh) * | 2020-06-16 | 2020-09-25 | 荆门汇易佳信息科技有限公司 | 基于云平台的海量搜索查询日志计算分析系统 |
CN111737577A (zh) * | 2020-06-22 | 2020-10-02 | 平安医疗健康管理股份有限公司 | 一种基于业务平台的数据查询方法、装置、设备和介质 |
CN112384908A (zh) * | 2018-04-19 | 2021-02-19 | 风险管理解决方案公司 | 提供低延迟搜索查询响应的数据存储系统 |
-
2021
- 2021-11-18 CN CN202111371979.XA patent/CN114143182B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8477616B1 (en) * | 2001-06-05 | 2013-07-02 | Avaya Inc. | Method for achieving high-availability of itineraries in a real-time network scheduled packet routing system |
CN103258036A (zh) * | 2013-05-15 | 2013-08-21 | 广州一呼百应网络技术有限公司 | 一种基于p2p的分布式实时搜索引擎 |
CN105592178A (zh) * | 2015-09-17 | 2016-05-18 | 杭州华三通信技术有限公司 | 一种数据节点位置的确定方法和装置 |
WO2018036148A1 (zh) * | 2016-08-23 | 2018-03-01 | 东方网力科技股份有限公司 | 一种服务器集群系统 |
CN112384908A (zh) * | 2018-04-19 | 2021-02-19 | 风险管理解决方案公司 | 提供低延迟搜索查询响应的数据存储系统 |
CN111125248A (zh) * | 2019-12-18 | 2020-05-08 | 写逸网络科技(上海)有限公司 | 一种大数据存储解析查询系统 |
CN111708740A (zh) * | 2020-06-16 | 2020-09-25 | 荆门汇易佳信息科技有限公司 | 基于云平台的海量搜索查询日志计算分析系统 |
CN111737577A (zh) * | 2020-06-22 | 2020-10-02 | 平安医疗健康管理股份有限公司 | 一种基于业务平台的数据查询方法、装置、设备和介质 |
Non-Patent Citations (2)
Title |
---|
RUI GU: "Research Distributed Search Engine Based on Hadoop", 《2015 INTERNATIONAL CONFERENCE ON NETWORK AND INFORMATION SYSTEMS FOR COMPUTERS》 * |
韩云辉: "基于Lucene的数字版权资源库的构建与应用研究", 《中国优秀硕士学位论文全文数据库》, no. 10 * |
Also Published As
Publication number | Publication date |
---|---|
CN114143182B (zh) | 2024-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111371638B (zh) | 智能设备测试方法、装置、服务器及存储介质 | |
CN110311831B (zh) | 基于容器云的系统资源监控方法及相关设备 | |
US7440415B2 (en) | Virtual network addresses | |
CN109981493B (zh) | 一种用于配置虚拟机网络的方法和装置 | |
CN107404417A (zh) | 一种监控数据的处理方法、处理装置及处理系统 | |
CN113055252B (zh) | 新增业务主机检测方法、装置、设备及存储介质 | |
CN114500305B (zh) | 设备监控方法、装置、设备、存储介质及程序产品 | |
CN107483234B (zh) | 物联网接入点拆分式备份的方法及装置 | |
CN100421494C (zh) | 一种接入网设备的数据配置方法 | |
CN115858221A (zh) | 存储设备的管理方法、装置、存储介质及电子设备 | |
CN114760121A (zh) | 访问频率控制的方法和访问频率控制系统 | |
US7321561B2 (en) | Verification of connections between devices in a network | |
CN109547274A (zh) | 一种维护板切换方法、装置及第一网络设备 | |
CN110708209B (zh) | 虚拟机流量采集方法、装置、电子设备及存储介质 | |
CN114143182B (zh) | 一种配置分布式搜索引擎集群的节点的方法和装置 | |
CN102546652B (zh) | 一种服务器负载平衡系统及方法 | |
CN114465904A (zh) | 网络拓扑构建方法和计算设备 | |
CN109889421B (zh) | 路由器的管理方法、装置、终端、系统及存储介质 | |
WO2021046935A1 (zh) | 管理数据同步方法、装置、存储设备及可读存储介质 | |
CN115695073A (zh) | 通信方法、装置、设备及存储介质 | |
CN114484766B (zh) | 主备控制器的确定方法及相关设备 | |
CN113596746B (zh) | 集群消息的处理方法、装置、电子设备和介质 | |
CN112685486B (zh) | 数据库集群的数据管理方法、装置、电子设备及存储介质 | |
CN112527453B (zh) | 虚拟化信息仿真系统、方法及计算机可读存储介质 | |
CN111221713B (zh) | 基于fc参数的存储性能调优方法、系统、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |