CN105592178A - 一种数据节点位置的确定方法和装置 - Google Patents

一种数据节点位置的确定方法和装置 Download PDF

Info

Publication number
CN105592178A
CN105592178A CN201510594504.5A CN201510594504A CN105592178A CN 105592178 A CN105592178 A CN 105592178A CN 201510594504 A CN201510594504 A CN 201510594504A CN 105592178 A CN105592178 A CN 105592178A
Authority
CN
China
Prior art keywords
port
switching equipment
mac address
back end
corresponding relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510594504.5A
Other languages
English (en)
Other versions
CN105592178B (zh
Inventor
韩东亮
饶云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou H3C Technologies Co Ltd
Original Assignee
Hangzhou H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou H3C Technologies Co Ltd filed Critical Hangzhou H3C Technologies Co Ltd
Priority to CN201510594504.5A priority Critical patent/CN105592178B/zh
Publication of CN105592178A publication Critical patent/CN105592178A/zh
Application granted granted Critical
Publication of CN105592178B publication Critical patent/CN105592178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/09Mapping addresses
    • H04L61/10Mapping addresses of different types
    • H04L61/103Mapping addresses of different types across network layers, e.g. resolution of network layer into physical layer addresses or address resolution protocol [ARP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Small-Scale Networks (AREA)

Abstract

本发明提供一种数据节点位置的确定方法和装置,该方法包括:管理节点获得数据节点的MAC地址与IP地址之间的第一对应关系,并获得交换设备学习到的MAC表项,所述MAC表项中记录了交换设备的端口与从该端口学习到的MAC地址之间的第二对应关系;管理节点利用第一对应关系以及第二对应关系,确定数据节点所连接的机架交换设备。通过本发明的技术方案,自动感知数据节点的位置,减少手工配置的工作量,避免配置错误。

Description

一种数据节点位置的确定方法和装置
技术领域
本发明涉及通信领域,尤其涉及一种数据节点位置的确定方法和装置。
背景技术
如图1所示,为Hadoop(分布式计算)的组网示意图,Hadoop是一个分布式系统基础架构,包括多个机架,各机架内包括多个数据节点,各机架内的数据节点与机架交换机连接,且每个机架交换机均与核心交换机连接。
对于需要在数据节点中存储的文件,将文件分成一个或者多个block(块),并在不同的数据节点上对block提供备份功能,进而提供容错能力,提高可用性。在一个数据节点中存储block之后,复制该block,并在该数据节点上备份一份该block。此外,在该数据节点所在机架之外的另一个机架中选择两个数据节点,并将该block分别备份到这两个数据节点上。基于上述备份方式,可以保证存储block的数据节点所在的整个机架发生故障之后,block不会发生丢失。
在上述过程中,需要获知不同的数据节点位于同一机架还是位于不同机架。基于此,需要手工配置数据节点与机架交换机的对应关系。
手工配置的工作量较大,而且容易出现配置错误等问题。
发明内容
本发明提供一种数据节点位置的确定方法,所述方法包括以下步骤:
管理节点获得数据节点的媒体访问控制MAC地址与IP地址之间的第一对应关系,并获得交换设备学习到的MAC表项,所述MAC表项中记录了交换设备的端口与从该端口学习到的MAC地址之间的第二对应关系;所述交换设备包括核心交换设备和机架交换设备;
所述管理节点利用所述第一对应关系以及所述第二对应关系,确定数据节点所连接的机架交换设备。
本发明提供一种数据节点位置的确定装置,所述数据节点位置的确定装置应用在管理节点上,且所述数据节点位置的确定装置包括:
获得模块,用于获得数据节点的媒体访问控制MAC地址与IP地址之间的第一对应关系,并获得交换设备学习到的MAC表项,所述MAC表项中记录了交换设备的端口与从该端口学习到的MAC地址之间的第二对应关系;所述交换设备包括核心交换设备和机架交换设备;
确定模块,用于利用所述第一对应关系以及所述第二对应关系,确定数据节点所连接的机架交换设备。
基于上述技术方案,本发明实施例中,管理节点可以根据数据节点的MAC(MediaAccessControl,媒体访问控制)地址与IP地址的对应关系,交换设备学习到的MAC表项,确定数据节点所连接的机架交换设备,从而自动感知数据节点的位置(即数据节点所连接的机架交换设备),不需要手工配置数据节点与机架交换机的对应关系,减少手工配置的工作量,避免配置错误,便于维护,并可以提高Hadoop的稳定性。
附图说明
图1是Hadoop(分布式计算)的组网示意图;
图2是本发明实施例的应用场景示意图;
图3是本发明一种实施方式中的数据节点位置的确定方法的流程图;
图4是本发明一种实施方式中的管理节点的硬件结构图;
图5是本发明一种实施方式中的数据节点位置的确定装置的结构图。
具体实施方式
针对现有技术中存在的问题,本发明实施例中提出一种数据节点位置的确定方法,该方法可以应用于包括管理节点、多个数据节点、多个交换设备的系统中,如Hadoop系统。其中,管理节点又可以称为名字节点,负责管理Hadoop系统的名称空间,并控制外部用户的访问。交换设备可以为核心交换设备(如核心交换机或者核心路由器)或者机架交换设备(如机架交换机)。
以图2为本发明实施例的应用场景示意图,该Hadoop系统包括核心交换设备、机架交换设备1、机架交换设备2、数据节点1、数据节点2、数据节点3、数据节点4、数据节点5、数据节点6。机架交换设备与机架内的各数据节点连接,并与核心交换设备连接,机架交换设备1通过端口11与机架1内的数据节点1连接,通过端口12与机架1内的数据节点2连接,通过端口13与机架1内的数据节点3连接,通过端口14与核心交换设备的端口1连接。机架交换设备2通过端口21与机架2内的数据节点4连接,通过端口22与机架2内的数据节点5连接,通过端口23与机架2内的数据节点6连接,通过端口24与核心交换设备的端口2连接。
在此应用场景下,可以将任意的一个数据节点配置为管理节点,如将数据节点1配置为管理节点,此时,该管理节点不仅具有本申请后续过程中的管理节点的功能,还具有数据节点的功能。或者,在Hadoop系统中单独部署一个管理节点,该管理节点需要与各数据节点连接,并与各交换设备连接。
如图3所示,该数据节点位置的确定方法可以包括以下步骤:
步骤301,管理节点获得数据节点的MAC地址与IP地址之间的第一对应关系。
管理节点获得数据节点的MAC地址与IP地址之间的第一对应关系的过程,可以包括但不限于如下方式:管理节点接收来自数据节点的ARP(AddressResolutionProtocol,地址解析协议)请求报文,并从ARP请求报文中解析出该数据节点的MAC地址与IP地址之间的第一对应关系,并在ARP表项中记录该数据节点的MAC地址与IP地址之间的第一对应关系。
由于管理节点会对数据节点的信息进行管理,因此各数据节点在线时,可以周期性的向管理节点发送心跳报文,以通知本数据节点仍然在线。为了能够向管理节点发送心跳报文,数据节点先向管理节点发送ARP请求报文,该ARP请求报文的源IP地址为本数据节点的IP地址,源MAC地址为本数据节点的MAC地址,目的IP地址为管理节点的IP地址,目的MAC地址为广播地址。管理节点在接收到该ARP请求报文后,在ARP表项中记录数据节点的MAC地址(即ARP请求报文的源MAC地址)与IP地址(即ARP请求报文的源IP地址)之间的第一对应关系,并向数据节点返回APR应答报文,该APR应答报文的源IP地址为本管理节点的IP地址,源MAC地址为本管理节点的MAC地址,目的IP地址为数据节点的IP地址,目的MAC地址为数据节点的MAC地址。
基于上述过程,则管理节点可以从来自数据节点1的ARP请求报文中,获得数据节点1的MAC地址E0:00:00:00:00:01和IP地址192.168.1.1,并从来自数据节点2的ARP请求报文中,获得数据节点2的MAC地址E0:00:00:00:00:02和IP地址192.168.1.2,并从来自数据节点3的ARP请求报文中,获得数据节点3的MAC地址E0:00:00:00:00:03和IP地址192.168.1.3,并从来自数据节点4的ARP请求报文中,获得数据节点4的MAC地址E0:00:00:00:00:04和IP地址192.168.1.4,并从来自数据节点5的ARP请求报文中,获得数据节点5的MAC地址E0:00:00:00:00:05和IP地址192.168.1.5,并从来自数据节点6的ARP请求报文中,获得数据节点6的MAC地址E0:00:00:00:00:06和IP地址192.168.1.6。基于上述获得的信息,可以维护表1所示的ARP表项。
表1
MAC地址 IP地址
E0:00:00:00:00:01 192.168.1.1
E0:00:00:00:00:02 192.168.1.2
E0:00:00:00:00:03 192.168.1.3
E0:00:00:00:00:04 192.168.1.4
E0:00:00:00:00:05 192.168.1.5
E0:00:00:00:00:06 192.168.1.6
步骤302,管理节点获得交换设备学习到的MAC表项。
其中,交换设备学习到的MAC表项中记录了该交换设备的端口与从该端口学习到的MAC地址之间的第二对应关系。
其中,步骤301和步骤302之间并没有先后顺序关系,可以先执行步骤301,后执行步骤302,也可以先执行步骤302,后执行步骤301。
管理节点获得交换设备学习到的MAC表项的过程,可以包括但不限于如下方式:管理节点向交换设备发送用于请求MAC表项的SNMP(SimpleNetworkManagementProtocol,简单网络管理协议)请求报文。该交换设备在收到SNMP请求报文后,向管理节点发送携带该交换设备学习到的MAC表项的SNMP响应报文。管理节点接收来自该交换设备的SNMP响应报文,并从SNMP响应报文中解析出该交换设备学习到的MAC表项。
其中,在管理节点上配置SNMP管理功能,在各交换设备上开启SNMP功能,且各交换设备接受管理节点的SNMP管理。基于此,管理节点可以获知各交换设备的IP地址,并基于交换设备的IP地址向该交换设备发送SNMP请求报文,且该交换设备会向管理节点返回SNMP响应报文。
在图2中,核心交换设备通过端口1分别收到来自数据节点1的报文、数据节点2的报文、数据节点3的报文,在MAC表项中记录端口1和数据节点1的MAC地址E0:00:00:00:00:01的对应关系、端口1和数据节点2的MAC地址E0:00:00:00:00:02的对应关系、端口1和数据节点3的MAC地址E0:00:00:00:00:03的对应关系。核心交换设备通过端口2分别收到来自数据节点4的报文、数据节点5的报文、数据节点6的报文,在MAC表项中记录端口2和数据节点4的MAC地址E0:00:00:00:00:04的对应关系、端口2和数据节点5的MAC地址E0:00:00:00:00:05的对应关系、端口2和数据节点6的MAC地址E0:00:00:00:00:06的对应关系。
在图2中,机架交换设备1通过端口11收到来自数据节点1的报文,在MAC表项中记录端口11和数据节点1的MAC地址E0:00:00:00:00:01的对应关系,通过端口12收到来自数据节点2的报文,在MAC表项中记录端口12和数据节点2的MAC地址E0:00:00:00:00:02的对应关系,通过端口13收到来自数据节点3的报文,在MAC表项中记录端口13和数据节点3的MAC地址E0:00:00:00:00:03的对应关系。机架交换设备1通过端口14分别收到来自数据节点4的报文、数据节点5的报文、数据节点6的报文,在MAC表项中记录端口14和数据节点4的MAC地址E0:00:00:00:00:04的对应关系、端口14和数据节点5的MAC地址E0:00:00:00:00:05的对应关系、端口14和数据节点6的MAC地址E0:00:00:00:00:06的对应关系。
在图2中,机架交换设备2通过端口21收到来自数据节点4的报文,在MAC表项中记录端口21和数据节点4的MAC地址E0:00:00:00:00:04的对应关系,通过端口22收到来自数据节点5的报文,在MAC表项中记录端口22和数据节点5的MAC地址E0:00:00:00:00:05的对应关系,通过端口23收到来自数据节点6的报文,在MAC表项中记录端口23和数据节点6的MAC地址E0:00:00:00:00:06的对应关系。机架交换设备2通过端口24分别收到来自数据节点1的报文、数据节点2的报文、数据节点3的报文,在MAC表项中记录端口24和数据节点1的MAC地址E0:00:00:00:00:01的对应关系、端口24和数据节点2的MAC地址E0:00:00:00:00:02的对应关系、端口24和数据节点3的MAC地址E0:00:00:00:00:03的对应关系。
基于上述过程,管理节点在接收到来自核心交换设备的SNMP响应报文之后,获得的核心交换设备学习到的MAC表项可以如表2所示。管理节点在接收到来自机架交换设备1的SNMP响应报文之后,获得的机架交换设备1学习到的MAC表项可以如表3所示。管理节点在接收到来自机架交换设备2的SNMP响应报文之后,获得的机架交换设备2学习到的MAC表项可以如表4所示。
表2
表3
表4
步骤303,管理节点利用第一对应关系以及第二对应关系,确定数据节点所连接的机架交换设备。
本发明实施例中,管理节点利用第一对应关系以及第二对应关系,确定数据节点所连接的机架交换设备的过程,可以包括但不限于如下方式:
管理节点利用第一对应关系以及第二对应关系,确定交换设备为核心交换设备或者机架交换设备;管理节点确定机架交换设备上未与核心交换设备连接的端口;管理节点通过该端口查询第二对应关系,得到对应的MAC地址,并确定该MAC地址对应的数据节点与该端口所属的机架交换设备连接。
本发明实施例中,管理节点利用第一对应关系以及第二对应关系,确定交换设备为核心交换设备或者机架交换设备的过程,可以包括但不限于如下方式:管理节点从第二对应关系中选取第一端口和第二端口,将第一端口对应的MAC地址作为第一集合,将第二端口对应的MAC地址作为第二集合;第一端口和第二端口属于不同的交换设备;当第一集合和第二集合的交集为空、且并集为第一对应关系中的所有数据节点的MAC地址时,则管理节点确定第一端口所属的交换设备与第二端口所属的交换设备直连;当第一端口所属的交换设备与其它交换设备均直连时,则管理节点确定第一端口所属的交换设备为核心交换设备,否则,管理节点确定第一端口所属的交换设备为机架交换设备。
下面结合图2、表2-4对上述管理节点对核心交换设备和机架交换设备的自动识别过程进行说明(需要说明的是,管理节点在步骤302学习交换设备的MAC表项时并不知道该交换设备是核心交换设备还是机架交换设备)。
管理节点根据学习到的MAC表项可以确定一共有三个交换设备,假设表2对应交换设备a,表3对应交换设备b,表4对应交换设备c;表2所示的MAC表项中记录的从端口1(作为第一端口)学习到的MAC地址、即第一集合(E0:00:00:00:00:01、E0:00:00:00:00:02、E0:00:00:00:00:03),与表3所示的MAC表项中记录的从端口14(作为第二端口)学习到的MAC地址、即第二集合(E0:00:00:00:00:04、E0:00:00:00:00:05、E0:00:00:00:00:06)的交集为空,并集为表1中记录的所有MAC地址,因此,端口1与端口14连接,因此可以确定端口1所属的交换设备a与端口14所属的交换设备b直连。表2所示的MAC表项中记录的从端口2(作为第一端口)学习到的MAC地址、即第一集合(E0:00:00:00:00:04、E0:00:00:00:00:05、E0:00:00:00:00:06),与表4所示的MAC表项中记录的从端口24(作为第二端口)学习到的MAC地址、即第二集合(E0:00:00:00:00:01、E0:00:00:00:00:02、E0:00:00:00:00:03)的交集为空,并集为表1中记录的所有MAC地址,因此,端口2与端口24连接,因此可以确定端口2所属的交换设备a与端口24所属的交换设备c直连。综合上述的分析结果可知,交换设备a与交换设备b和交换设备c均直连,基于此,可以确定交换设备a为核心交换设备,交换设备b和交换设备c为机架交换设备。
在图2中,针对机架交换设备1(假设为上述的交换设备b),由于机架交换设备1学习到的MAC表项中记录的从端口14学习到的MAC地址(E0:00:00:00:00:04、E0:00:00:00:00:05、E0:00:00:00:00:06),与核心交换设备学习到的MAC表项中记录的从端口1学习到的MAC地址(E0:00:00:00:00:01、E0:00:00:00:00:02、E0:00:00:00:00:03),交集为空,并集为表1中记录的所有MAC地址,因此,机架交换设备1的端口14为与核心交换设备的端口1连接的端口。而对于机架交换设备1的端口11、端口12和端口13,均是未与核心交换设备连接的端口。通过未与核心交换设备连接的端口11查询表3所示的第二对应关系时,得到数据节点的MAC地址是E0:00:00:00:00:01,因此确定该MAC地址对应的数据节点1所连接的是机架交换设备1。通过未与核心交换设备连接的端口12查询表3所示的第二对应关系时,得到数据节点的MAC地址是E0:00:00:00:00:02,因此确定该MAC地址对应的数据节点2所连接的是机架交换设备1。通过未与核心交换设备连接的端口13查询表3所示的第二对应关系时,得到数据节点的MAC地址是E0:00:00:00:00:03,因此确定该MAC地址对应的数据节点3所连接的是机架交换设备1。
在图2中,针对机架交换设备2(假设为上述的交换设备c),由于机架交换设备2学习到的MAC表项中记录的从端口24学习到的MAC地址(E0:00:00:00:00:01、E0:00:00:00:00:02、E0:00:00:00:00:03),与核心交换设备学习到的MAC表项中记录的从端口2学习到的MAC地址(E0:00:00:00:00:04、E0:00:00:00:00:05、E0:00:00:00:00:06),交集为空,并集为表1中记录的所有MAC地址,因此,机架交换设备2的端口24为与核心交换设备的端口2连接的端口。而对于机架交换设备2的端口21、端口22和端口23,均是未与核心交换设备连接的端口。通过未与核心交换设备连接的端口21查询表4所示的第二对应关系时,得到数据节点的MAC地址是E0:00:00:00:00:04,因此确定该MAC地址对应的数据节点4所连接的是机架交换设备2。通过未与核心交换设备连接的端口22查询表4所示的第二对应关系时,得到数据节点的MAC地址是E0:00:00:00:00:05,因此确定该MAC地址对应的数据节点5所连接的是机架交换设备2。通过未与核心交换设备连接的端口23查询表4所示的第二对应关系时,得到数据节点的MAC地址是E0:00:00:00:00:06,因此确定该MAC地址对应的数据节点6所连接的是机架交换设备2。
进一步的,管理节点在确定MAC地址对应的数据节点所连接的机架交换设备之后,还可以记录数据节点的信息与机架交换设备的信息之间的对应关系,如记录数据节点的IP地址(基于第一对应关系获得)或者MAC地址,与机架交换设备的IP地址或者机架标识之间的对应关系。
基于上述技术方案,本发明实施例中,管理节点可以根据数据节点的MAC地址与IP地址的对应关系,交换设备学习到的MAC表项,确定数据节点所连接的机架交换设备,从而自动感知数据节点的位置(即数据节点所连接的机架交换设备),不需要手工配置数据节点与机架交换机的对应关系,减少手工配置的工作量,避免配置错误,便于维护,并可以提高Hadoop的稳定性。
基于与上述方法同样的发明构思,本发明实施例还提供一种数据节点位置的确定装置,该数据节点位置的确定装置应用在管理节点上。数据节点位置的确定装置可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在的管理节点的处理器,将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为本发明提出的数据节点位置的确定装置所在的管理节点的一种硬件结构图,除了图4所示的处理器、网络接口、内存以及非易失性存储器外,管理节点还可以包括其他硬件,如负责处理报文的转发芯片等;从硬件结构上来讲,该管理节点还可能是分布式设备,可能包括多个接口卡,以便在硬件层面进行报文处理的扩展。
如图5所示,为本发明提出的数据节点位置的确定装置的结构图,且所述数据节点位置的确定装置包括:
获得模块11,用于获得数据节点的媒体访问控制MAC地址与IP地址之间的第一对应关系,并获得交换设备学习到的MAC表项,所述MAC表项中记录了交换设备的端口与从该端口学习到的MAC地址之间的第二对应关系;所述交换设备包括核心交换设备和机架交换设备;
确定模块12,用于利用所述第一对应关系以及所述第二对应关系,确定数据节点所连接的机架交换设备。
所述获得模块11,用于在获得数据节点的MAC地址与IP地址之间的第一对应关系的过程中,接收来自数据节点的地址解析协议ARP请求报文,并从所述ARP请求报文中解析出所述数据节点的MAC地址与IP地址之间的第一对应关系,并在ARP表项中记录所述数据节点的MAC地址与IP地址之间的第一对应关系。
所述获得模块11,用于在获得交换设备学习到的MAC表项的过程中,向交换设备发送用于请求MAC表项的简单网络管理协议SNMP请求报文;接收来自所述交换设备的SNMP响应报文,并从所述SNMP响应报文中解析出所述交换设备学习到的MAC表项。
所述确定模块12,用于利用所述第一对应关系以及所述第二对应关系,确定交换设备为核心交换设备或者机架交换设备;确定机架交换设备上未与核心交换设备连接的端口;通过该端口查询所述第二对应关系,得到对应的MAC地址,并确定该MAC地址对应的数据节点与该端口所属的机架交换设备连接。
所述确定模块12,用于从第二对应关系中选取第一端口和第二端口,将第一端口对应的MAC地址作为第一集合,将第二端口对应的MAC地址作为第二集合;所述第一端口和第二端口属于不同的交换设备;当所述第一集合和第二集合的交集为空、且并集为第一对应关系中的所有数据节点的MAC地址时,则确定第一端口所属的交换设备与第二端口所属的交换设备直连;当所述第一端口所属的交换设备与其它交换设备均直连时,则确定所述第一端口所属的交换设备为核心交换设备,否则,确定所述第一端口所属的交换设备为机架交换设备。
其中,本发明装置的各个模块可以集成于一体,也可以分离部署。上述模块可以合并为一个模块,也可以拆分成多个子模块。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可拆分成多个子模块。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上公开的仅为本发明的几个实施例,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种数据节点位置的确定方法,其特征在于,所述方法包括以下步骤:
管理节点获得数据节点的媒体访问控制MAC地址与IP地址之间的第一对应关系,并获得交换设备学习到的MAC表项,所述MAC表项中记录了交换设备的端口与从该端口学习到的MAC地址之间的第二对应关系;所述交换设备包括核心交换设备和机架交换设备;
所述管理节点利用所述第一对应关系以及所述第二对应关系,确定数据节点所连接的机架交换设备。
2.根据权利要求1所述的方法,其特征在于,所述管理节点获得数据节点的MAC地址与IP地址之间的第一对应关系的过程,包括:
所述管理节点接收来自数据节点的地址解析协议ARP请求报文,并从所述ARP请求报文中解析出所述数据节点的MAC地址与IP地址之间的第一对应关系,并在ARP表项中记录所述数据节点的MAC地址与IP地址之间的第一对应关系。
3.根据权利要求1所述的方法,其特征在于,所述管理节点获得交换设备学习到的MAC表项的过程,包括:
所述管理节点向交换设备发送用于请求MAC表项的简单网络管理协议SNMP请求报文;
所述管理节点接收来自所述交换设备的SNMP响应报文,并从所述SNMP响应报文中解析出所述交换设备学习到的MAC表项。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述管理节点利用所述第一对应关系以及所述第二对应关系,确定数据节点所连接的机架交换设备,包括:
所述管理节点利用所述第一对应关系以及所述第二对应关系,确定交换设备为核心交换设备或者机架交换设备;
所述管理节点确定机架交换设备上未与核心交换设备连接的端口;
所述管理节点通过该端口查询所述第二对应关系,得到对应的MAC地址,并确定该MAC地址对应的数据节点与该端口所属的机架交换设备连接。
5.根据权利要求4所述的方法,其特征在于,所述管理节点利用所述第一对应关系以及所述第二对应关系,确定交换设备为核心交换设备或者机架交换设备的过程,包括:
所述管理节点从第二对应关系中选取第一端口和第二端口,将第一端口对应的MAC地址作为第一集合,将第二端口对应的MAC地址作为第二集合;所述第一端口和第二端口属于不同的交换设备;
当所述第一集合和第二集合的交集为空、且并集为第一对应关系中的所有数据节点的MAC地址时,则所述管理节点确定第一端口所属的交换设备与第二端口所属的交换设备直连;
当所述第一端口所属的交换设备与其它交换设备均直连时,则所述管理节点确定所述第一端口所属的交换设备为核心交换设备,否则,所述管理节点确定所述第一端口所属的交换设备为机架交换设备。
6.一种数据节点位置的确定装置,其特征在于,所述数据节点位置的确定装置应用在管理节点上,且所述数据节点位置的确定装置包括:
获得模块,用于获得数据节点的媒体访问控制MAC地址与IP地址之间的第一对应关系,并获得交换设备学习到的MAC表项,所述MAC表项中记录了交换设备的端口与从该端口学习到的MAC地址之间的第二对应关系;所述交换设备包括核心交换设备和机架交换设备;
确定模块,用于利用所述第一对应关系以及所述第二对应关系,确定数据节点所连接的机架交换设备。
7.根据权利要求6所述的装置,其特征在于,
所述获得模块,用于在获得数据节点的MAC地址与IP地址之间的第一对应关系的过程中,接收来自数据节点的地址解析协议ARP请求报文,并从所述ARP请求报文中解析出所述数据节点的MAC地址与IP地址之间的第一对应关系,并在ARP表项中记录所述数据节点的MAC地址与IP地址之间的第一对应关系。
8.根据权利要求6所述的装置,其特征在于,
所述获得模块,用于在获得交换设备学习到的MAC表项的过程中,向交换设备发送用于请求MAC表项的简单网络管理协议SNMP请求报文;接收来自所述交换设备的SNMP响应报文,并从所述SNMP响应报文中解析出所述交换设备学习到的MAC表项。
9.根据权利要求6-8任一项所述的装置,其特征在于,
所述确定模块,用于利用所述第一对应关系以及所述第二对应关系,确定交换设备为核心交换设备或者机架交换设备;确定机架交换设备上未与核心交换设备连接的端口;通过该端口查询所述第二对应关系,得到对应的MAC地址,并确定该MAC地址对应的数据节点与该端口所属的机架交换设备连接。
10.根据权利要求9所述的装置,其特征在于,
所述确定模块,用于从第二对应关系中选取第一端口和第二端口,将第一端口对应的MAC地址作为第一集合,将第二端口对应的MAC地址作为第二集合;所述第一端口和第二端口属于不同的交换设备;当所述第一集合和第二集合的交集为空、且并集为第一对应关系中的所有数据节点的MAC地址时,则确定第一端口所属的交换设备与第二端口所属的交换设备直连;当所述第一端口所属的交换设备与其它交换设备均直连时,则确定所述第一端口所属的交换设备为核心交换设备,否则,确定所述第一端口所属的交换设备为机架交换设备。
CN201510594504.5A 2015-09-17 2015-09-17 一种数据节点位置的确定方法和装置 Active CN105592178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510594504.5A CN105592178B (zh) 2015-09-17 2015-09-17 一种数据节点位置的确定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510594504.5A CN105592178B (zh) 2015-09-17 2015-09-17 一种数据节点位置的确定方法和装置

Publications (2)

Publication Number Publication Date
CN105592178A true CN105592178A (zh) 2016-05-18
CN105592178B CN105592178B (zh) 2018-12-25

Family

ID=55931378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510594504.5A Active CN105592178B (zh) 2015-09-17 2015-09-17 一种数据节点位置的确定方法和装置

Country Status (1)

Country Link
CN (1) CN105592178B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973126A (zh) * 2017-05-26 2017-07-21 杭州迪普科技股份有限公司 一种arp应答方法及装置
CN108206792A (zh) * 2016-12-16 2018-06-26 北京神州泰岳软件股份有限公司 交换机的拓扑结构发现方法及装置
CN108234680A (zh) * 2016-12-09 2018-06-29 成都华为技术有限公司 存储系统中物理节点的定位映射关系的获取方法和装置
CN110113219A (zh) * 2019-05-29 2019-08-09 山东浪潮人工智能研究院有限公司 一种服务器位置信息管理方法
CN110677509A (zh) * 2019-09-09 2020-01-10 无锡江南计算技术研究所 一种适用于高性能计算机的地址自动配置系统
CN112040016A (zh) * 2019-06-04 2020-12-04 鸿富锦精密电子(天津)有限公司 服务器管理方法及服务器管理装置
CN114143182A (zh) * 2021-11-18 2022-03-04 新华三大数据技术有限公司 一种配置分布式搜索引擎集群的节点的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404619A (zh) * 2008-11-17 2009-04-08 杭州华三通信技术有限公司 一种实现服务器负载均衡的方法和一种三层交换机
US20120294192A1 (en) * 2011-05-19 2012-11-22 Hitachi, Ltd. Method and apparatus of connectivity discovery between network switch and server based on vlan identifiers
CN102866995A (zh) * 2011-07-05 2013-01-09 中兴通讯股份有限公司 对等网络的文件访问方法、管理方法及分布式文件系统
CN102946323A (zh) * 2012-10-24 2013-02-27 曙光信息产业(北京)有限公司 一种hdfs中计算节点机柜位置感知的实现方法及其实现系统
CN103761167A (zh) * 2014-01-23 2014-04-30 浪潮(北京)电子信息产业有限公司 一种实现数据中心备份的方法和装置
CN103905512A (zh) * 2012-12-28 2014-07-02 中国移动通信集团公司 一种数据处理方法和设备
CN104281980A (zh) * 2014-09-28 2015-01-14 黄珂 基于分布式计算的火力发电机组远程诊断方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404619A (zh) * 2008-11-17 2009-04-08 杭州华三通信技术有限公司 一种实现服务器负载均衡的方法和一种三层交换机
US20120294192A1 (en) * 2011-05-19 2012-11-22 Hitachi, Ltd. Method and apparatus of connectivity discovery between network switch and server based on vlan identifiers
CN102866995A (zh) * 2011-07-05 2013-01-09 中兴通讯股份有限公司 对等网络的文件访问方法、管理方法及分布式文件系统
CN102946323A (zh) * 2012-10-24 2013-02-27 曙光信息产业(北京)有限公司 一种hdfs中计算节点机柜位置感知的实现方法及其实现系统
CN103905512A (zh) * 2012-12-28 2014-07-02 中国移动通信集团公司 一种数据处理方法和设备
CN103761167A (zh) * 2014-01-23 2014-04-30 浪潮(北京)电子信息产业有限公司 一种实现数据中心备份的方法和装置
CN104281980A (zh) * 2014-09-28 2015-01-14 黄珂 基于分布式计算的火力发电机组远程诊断方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108234680A (zh) * 2016-12-09 2018-06-29 成都华为技术有限公司 存储系统中物理节点的定位映射关系的获取方法和装置
CN108206792A (zh) * 2016-12-16 2018-06-26 北京神州泰岳软件股份有限公司 交换机的拓扑结构发现方法及装置
CN106973126A (zh) * 2017-05-26 2017-07-21 杭州迪普科技股份有限公司 一种arp应答方法及装置
CN110113219A (zh) * 2019-05-29 2019-08-09 山东浪潮人工智能研究院有限公司 一种服务器位置信息管理方法
CN112040016A (zh) * 2019-06-04 2020-12-04 鸿富锦精密电子(天津)有限公司 服务器管理方法及服务器管理装置
CN110677509A (zh) * 2019-09-09 2020-01-10 无锡江南计算技术研究所 一种适用于高性能计算机的地址自动配置系统
CN110677509B (zh) * 2019-09-09 2022-04-12 无锡江南计算技术研究所 一种适用于高性能计算机的地址自动配置系统
CN114143182A (zh) * 2021-11-18 2022-03-04 新华三大数据技术有限公司 一种配置分布式搜索引擎集群的节点的方法和装置
CN114143182B (zh) * 2021-11-18 2024-02-23 新华三大数据技术有限公司 一种配置分布式搜索引擎集群的节点的方法和装置

Also Published As

Publication number Publication date
CN105592178B (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN105592178A (zh) 一种数据节点位置的确定方法和装置
US11005752B2 (en) Packet transmission
CN105634829B (zh) 一种网络设备管理方法
EP2901630B1 (en) Method operating in a fixed access network and user equipments
CN109151025B (zh) 基于url的负载均衡方法、装置、计算机存储介质及设备
EP3657740A1 (en) Message forwarding
CN104184663A (zh) 基于软件定义网络和一体化标识网络的通信方法和装置
CN107666493A (zh) 一种数据库配置方法及其设备
US20090282167A1 (en) Method and apparatus for bridging
CN108566296A (zh) 网络设备分层方法、网络管理设备及计算机可读存储介质
CN108259218A (zh) 一种ip地址分配方法和装置
CN104092576A (zh) 一种网络拓扑计算方法和装置
US20150188996A1 (en) Virtual object generating apparatus and method for data distribution service (dds) communication in multiple network domains
CN105450964A (zh) 对录像数据进行云存储的方法、系统及管理节点
CN108881506A (zh) 一种基于多可用分区az的域名解析方法及装置
CN113791730B (zh) 基于双存储池的放置组调整方法、系统、装置及存储介质
US20190132153A1 (en) System and methods for mapping a network service path
CN104135438A (zh) 报文携带路由信息的可扩展路由方法
US9935916B2 (en) Dynamically mapping network addresses
US10833990B2 (en) Transmitting packet
US11163741B2 (en) Table connection method in distributed database system and distributed database system
CN107528703A (zh) 一种用于管理分布式系统中节点设备的方法与设备
CN103312530B (zh) 在线服务器与机架位对应盘点的方法、系统、及盘点平台
US9853891B2 (en) System and method for facilitating communication
US11212239B2 (en) Method and system for pushing a new rack into operational mode in a datacenter

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No.

Applicant after: Xinhua three Technology Co., Ltd.

Address before: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No.

Applicant before: Huasan Communication Technology Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant