CN105763667B - 一种实现Hadoop主机自动发现的方法及装置 - Google Patents
一种实现Hadoop主机自动发现的方法及装置 Download PDFInfo
- Publication number
- CN105763667B CN105763667B CN201610020551.3A CN201610020551A CN105763667B CN 105763667 B CN105763667 B CN 105763667B CN 201610020551 A CN201610020551 A CN 201610020551A CN 105763667 B CN105763667 B CN 105763667B
- Authority
- CN
- China
- Prior art keywords
- client
- dhcp
- hadoop cluster
- hadoop
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/50—Address allocation
- H04L61/5007—Internet protocol [IP] addresses
- H04L61/5014—Internet protocol [IP] addresses using dynamic host configuration protocol [DHCP] or bootstrap protocol [BOOTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种实现Hadoop主机自动发现的方法及装置，该方法包括：接收客户端广播的携带有私有标识的DHCP DISCOVER报文；向所述客户端发送携带有所述私有标识的DHCP OFFER报文；接收所述客户端广播的DHCP REQUEST报文，所述DHCP REQUEST报文携带有所述私有标识以及所述客户端的标识信息；向所述客户端发送DHCP ACK报文，所述DHCP ACK报文携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息，以使所述客户端根据所述Hadoop集群配置信息加入Hadoop集群。应用本发明实施例实现了Hadoop主机自动发现，提高了Hadoop集群运维管理的效率。
Description
技术领域
本发明涉及网络通信技术领域，尤其涉及一种实现Hadoop主机自动发现的方法及装置。
背景技术
随着Hadoop(一种分布式系统基础架构)越来越普及，为应对快速部署、监控和管理的需求，需要有专门的管理平台，如Cloudera Enterprise Manager(Cloudera管理平台)，Ambari(一种管理平台)等。为了方便管理集群中的众多节点，管理平台通常采用C/S(Client/Server，客户端/服务器)架构，即在所有集群节点中安装管理软件的客户端，并接受服务器的统一管理。
然而实践发现，现有Hadoop主机发现方案中，当新的节点加入时，需首先在新节点上手动配置好环境，如FQDN(Fully Qualified Domain Name，完全合格域名)、SSH(SecureShell，安全外壳协议)免密钥登陆等，再在管理平台中添加此主机，当添加主机较多时，此种方法耗时耗力，运维管理的效率较低。
发明内容
本发明提供一种实现Hadoop主机自动发现的方法及装置，以解决现有Hadoop主机发现方案中运维管理的效率较低的问题。
根据本发明实施例的第一方面，提供一种实现Hadoop主机自动发现的方法，该方法应用于Hadoop集群的服务端，该方法包括：
接收客户端广播的携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文；
向所述客户端发送携带有所述私有标识的DHCP提供OFFER报文；
接收所述客户端广播的DHCP请求REQUEST报文，所述DHCP REQUEST报文携带有所述私有标识以及所述客户端的标识信息；
向所述客户端发送DHCP确认ACK报文，所述DHCP ACK报文携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息，以使所述客户端根据所述Hadoop集群配置信息加入Hadoop集群。
根据本发明实施例的第二方面，提供一种实现Hadoop主机自动发现的方法，该方法应用于Hadoop集群的客户端，该方法包括：
广播携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文；
接收服务端返回的携带有所述私有标识的DHCP提供OFFER报文；
广播DHCP请求REQUEST报文，所述DHCP REQUEST报文中携带有所述私有标识以及客户端的标识信息；
接收所述服务端发送的DHCP确认ACK报文，所述DHCP ACK报文中携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息；
根据所述Hadoop集群配置信息加入Hadoop集群。
根据本发明实施例的第三方面，提供一种实现Hadoop主机自动发现的装置，该装置应用于Hadoop集群的服务端，该装置包括：
接收单元，用于接收客户端广播的携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文；
发送单元，用于向所述客户端发送携带有所述私有标识的DHCP提供OFFER报文；
所述接收单元，还用于接收所述客户端广播的DHCP请求REQUEST报文，所述DHCPREQUEST报文携带有所述私有标识以及所述客户端的标识信息；
所述发送单元，还用于向所述客户端发送DHCP确认ACK报文，所述DHCP ACK报文携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息，以使所述客户端根据所述Hadoop集群配置信息加入Hadoop集群。
根据本发明实施例的第四方面，提供一种实现Hadoop主机自动发现的装置，该装置应用于Hadoop集群的客户端，该装置包括：
发送单元，用于广播携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文；
接收单元，用于接收服务端返回的携带有所述私有标识的DHCP提供OFFER报文；
所述发送单元，还用于广播DHCP请求REQUEST报文，所述DHCP REQUEST报文中携带有所述私有标识以及客户端的标识信息；
所述接收单元，还用于接收所述服务端发送的DHCP确认ACK报文，所述DHCP ACK报文中携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息；
集群加入单元，用于根据所述Hadoop集群配置信息加入Hadoop集群。
应用本发明实施例，通过在接收到客户端广播的携带有私有标识的DHCPDISCOVER报文时，向客户端发送携带有该私有标识的DHCP OFFER报文，并当接收客户端广播的携带有私有标识以及客户端的标识信息的DHCP REQUEST报文时，向客户端发送携带有私有标识以及客户端的标识信息对应的Hadoop集群配置信息的DHCP ACK报文，以使客户端根据该Hadoop集群配置信息加入Hadoop集群，实现了Hadoop主机自动发现，提高了Hadoop集群运维管理的效率。
附图说明
图1是一种实现Hadoop主机自动发现的网络架构示意图；
图2是本发明实施例提供的一种实现Hadoop主机自动发现的方法的流程示意图；
图3是本发明实施例提供的另一种实现Hadoop主机自动发现的方法的流程示意图；
图4是本发明实施例提供的一种具体应用场景的架构示意图；
图5是本发明实施例提供的一种实现Hadoop主机自动发现的装置的结构示意图；
图6是本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图；
图7是本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图；
图8是本发明实施例提供的一种实现Hadoop主机自动发现的装置的结构示意图；
图9是本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图；
图10是本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
请参见图1，为本发明实施例提供的一种实现Hadoop主机自动发现的网络架构示意图。如图1所示，该网络架构示意图可以包括客户端(即主机)和服务端；服务端可以包括DHCP(Dynamic Host Configuration Protocol，动态主机配置协议)服务器以及Hadoop集群管理服务器(以下简称为集群管理服务器)。其中，DHCP服务器和集群管理服务器可以部署在同一物理服务器中，即可以在同一物理服务器中使能DHCP服务器功能以及集群管理服务器功能；或者，DHCP服务器和集群管理服务器可以部署在不同的物理服务器中。
在网络架构中，客户端可以通过与服务端进行DHCP报文的方式获取相应的Hadoop集群配置信息，并根据获取到的Hadoop集群配置信息进行加入Hadoop集群前的预配置，进而向服务端进行注册，以加入Hadoop集群，实现了Hadoop主机自动发现，提高了Hadoop集群运维管理效率。
基于图1所示的网络架构，本发明实施例提供了一种Hadoop主机自动发现的方法。请参见图2，为本发明实施例提供的一种Hadoop主机自动发现的方法的流程示意图，如图2所示，该方法可以包括：
需要说明的是，步骤201～步骤204的执行主体可以为图1所示网络架构中的服务端或服务端的处理器，如CPU(Center Process Unit，中央处理单元)，为便于描述，以下以步骤201～步骤204的执行主体为服务端为例进行说明。
步骤201、接收客户端广播的携带有私有标识的DHCP DISCOVER报文。
本发明实施例中，当客户端想要加入Hadoop集群时，客户端可以广播DHCPDISCOVER报文，该DHCP DISCOVER(发现)报文的源地址可以为0.0.0.0，目的地址可以为255.255.255.255。
本发明实施例中，客户端广播的该DHCP DISCOVER报文除了可以携带DHCP协议规定的相关信息内容之外，还需要携带有一个私有标识，该私有标识用于标识该客户端为请求加入Hadoop集群的客户端，携带有该私有标识的DHCP DISCOVER报文，仅有上述图1所示网络架构中的服务端会进行响应。
可选地，该私有标识可以为UNI(User Networks interface，用户网络侧接口)ID(标识)，该UNI ID可以携带在DHCP报文的可选字段中，如新增可选字段Option(可选)201。
步骤202、向客户端发送携带有该私有标识的DHCP OFFER报文。
本发明实施例中，当服务端接收到DHCP DISCOVER报文时，可以对该DHCPDISCOVER报文进行解析，确定该DHCP DISCOVER报文中是否携带有私有标识，若是，则服务端可以对该DHCP DISCOVER报文进行响应，向客户端返回DHCP OFFER(提供)报文，该DHCPOFFER报文中除了携带DHCP协议规定的相关信息内容(该内容可以包括DHCP服务器的IP地址以及DHCP服务器为客户端提供的IP地址，其中，在本发明实施例中，DHCP服务器的IP地址可以为服务端的IP地址)之外，还携带有上述私有标识；否则，服务端可以不对该DHCPDISCOVER报文进行响应，或按照其它策略进行处理，本发明实施例对此不做限定。
步骤203、接收客户端广播的DHCP REQUEST报文，该DHCP REQUEST报文携带有该私有标识信息，以及客户端的标识信息。
本发明实施例中，客户端接收到服务端返回的DHCP OFFER报文，并确定该DHCPOFFER报文中携带有私有标识后，可以广播DISCOVER REQUEST(请求)报文，该DISCOVERREQUEST报文中除了携带DHCP协议规定的相关信息内容(该内容中包括客户端选中的DHCP服务器的IP地址，在该实施例中可以为服务端的IP地址)之外，还需要携带该私有标识，以及客户端的标识信息。其中，该客户端的标识信息至少包括客户端的IP地址和MAC地址。
步骤204、向客户端发送DHCP ACK报文，该DHCP ACK报文携带有该私有标识以及客户端的标识信息对应的Hadoop集群配置信息，以使客户端根据该Hadoop集群配置信息加入Hadoop集群。
本发明实施例中，当服务端接收到客户端广播的DHCP REQUEST报文时，若确定该DHCP REQUEST报文携带的服务端的IP地址为自身的IP地址，则服务端可以确定自身需要响应该DHCP REQUEST报文(即确定自身为客户端选中的为其分配IP地址的服务端)，进而，若服务端确定该DHCP REQUEST报文中携带有上述私有标识时，服务端可以向该客户端响应DHCP ACK(确认)报文，该DHCP ACK确认报文中除了可以携带DHCP协议规定的相关信息内容之外，还可以携带上述私有标识以及客户端的标识信息对应的Hadoop集群配置信息。客户端接收到DHCP ACK报文后，可以根据该DHCP ACK报文中携带的Hadoop集群配置信息加入Hadoop集群，其具体实现在图3所示的方法流程中描述，本发明实施例在此不再赘述。
具体的，在本发明实施例中，可以预先在服务端中配置客户端标识信息与Hadoop集群配置信息的对应关系，其中，该Hadoop集群配置信息可以包括服务端IP地址以及文件下载路径，该文件下载路径可以用于客户端获取对应的安装程序、主机名以及SSH免密钥登陆公钥信息；或，该Hadoop集群配置信息可以包括服务端IP地址、客户端对应的主机名、SSH免密码登陆需要的公钥信息以及文件下载路径，该文件下载路径用于客户端获取对应的安装程序。当服务端接收到客户端发送的DHCP REQUEST报文，且确定该DHCP REQUEST报文中携带有上述私有标识时，服务端可以根据该DHCP REQUEST报文中携带的客户端的标识信息，查询预先配置的客户端标识信息与Hadoop集群配置信息的对应关系，以确定该客户端的标识信息对应的Hadoop集群配置信息，并将Hadoop集群配置信息携带在发送给客户端的DHCP ACK报文中。
作为一种可选的实施方式，上述步骤203中，DHCP REQUEST报文中还可以携带客户端的操作系统版本；
相应地，在本发明实施例中，向客户端发送DHCP ACK报文之前，还可以包括以下步骤：
11)、根据客户端的操作系统版本对客户端进行校验；
12)、若校验通过，则确定执行向客户端发送DHCP ACK报文的步骤。
在该实施方式中，服务端中可以预先配置允许加入Hadoop集群的主机的要求。例如，配置允许加入Hadoop集群的主机的操作系统版本。
相应地，当服务端接收到客户端广播的DHCP REQUEST报文，并确定该DHCPREQUEST报文中携带有上述私有标识时，DHCP在响应DHCP ACK报文之前，还可以获取该报文中携带的客户端的操作系统版本，对客户端进行校验，以确定该客户端是否被允许加入Hadoop集群。若是，则服务端可以向该客户端返回DHCP ACK报文；否则，服务端可以认为该客户端不允许加入Hadoop集群，不对该DHCP REQUEST报文进行响应，或者返回集群加入失败响应。
可见，在图2所描述的方法流程中，通过客户端与服务端之间进行携带有私有标识的DHCP报文交互，向需要加入Hadoop集群的客户端下发Hadoop集群配置信息，以使该客户端根据该Hadoop集群配置信息加入Hadoop集群，实现了Hadoop主机自动发现，提高了Hadoop集群运维管理的效率。
基于图1所示的网络架构，本发明实施例还提供了另一种实现Hadoop主机自动发现方法，请参见图3，图3为本发明实施例提供的另一种实现Hadoop主机自动发现方法的流程示意图。如图3所示，该方法可以包括：
需要说明的是，步骤301～步骤305的执行主体可以为图1所示网络架构中的客户端或客户端的处理器，如CPU，为便于描述，以下以步骤301～步骤305的执行主体为客户端为例进行说明。
步骤301、广播携带有私有标识的DHCP DISCOVER报文。
当客户端想要加入Hadoop集群时，客户端可以广播DHCP DISCOVER报文，该DHCPDISCOVER报文的源地址可以为0.0.0.0，目的地址可以为255.255.255.255。
本发明实施例中，客户端广播的该DHCP DISCOVER报文除了可以携带DHCP协议规定的相关信息内容之外，还需要携带有一个私有标识，该私有标识用于标识该客户端为请求加入Hadoop集群的客户端，携带有该私有标识的DHCP DISCOVER报文，仅有上述图1所示网络架构中的服务端会进行响应。
步骤302、接收服务端返回的携带有该私有标识的DHCP OFFER报文。
本发明实施例中，当服务端接收到DHCP DISCOVER报文时，可以对该DHCPDISCOVER报文进行解析，确定该DHCP DISCOVER报文中是否携带有私有标识，若是，则服务端可以对该DHCP DISCOVER报文进行响应，向客户端返回DHCP OFFER报文，该DHCP OFFER报文中除了携带DHCP协议规定的相关信息内容(该内容可以包括DHCP服务器的IP地址以及DHCP服务器为客户端提供的IP地址，其中，在本发明实施例中，DHCP服务器的IP地址可以为服务端的IP地址)之外，还携带有上述私有标识；否则，服务端可以不对该DHCP DISCOVER报文进行响应，或按照其它策略进行处理，本发明实施例对此不做限定。
步骤303、广播DHCP REQUEST报文，该DHCP REQUEST报文中携带有该私有标识以及客户端的标识信息。
本发明实施例中，客户端接收到服务端返回的DHCP OFFER报文，并确定该DHCPOFFER报文中携带有私有标识后，可以广播DISCOVER REQUEST报文，该DISCOVER REQUEST报文中除了携带DHCP协议规定的相关信息内容(该内容中包括客户端选中的服务端的IP地址，在该实施例中可以为服务端的IP地址)之外，需要携带该私有标识，以及客户端的标识信息。其中，该客户端的标识信息至少包括客户端的IP地址和MAC地址。
步骤304、接收服务端发送的DHCP ACK报文，该DHCP ACK报文中携带有该私有标识以及客户端的标识信息对应的Hadoop集群配置信息。
本发明实施例中，当服务端接收到客户端广播的DHCP REQUEST报文时，若确定该DHCP REQUEST报文携带的服务端的IP地址为自身的IP地址，则服务端可以确定自身需要响应该DHCP REQUEST报文(即确定自身为客户端选中的为其分配IP地址的服务端)，进而，若服务端确定该DHCP REQUEST报文中携带有上述私有标识时，服务端可以向该客户端响应DHCP ACK报文，该DHCP ACK确认报文中除了可以携带DHCP协议规定的相关信息内容之外，还可以携带上述私有标识以及客户端的标识信息对应的Hadoop集群配置信息。
305、根据该Hadoop集群配置信息加入Hadoop集群。
本发明实施例中，客户端接收到服务端返回的DHCP ACK报文后，可以根据该DHCPACK报文中携带的Hadoop集群配置信息加入Hadoop集群。
作为一种可选的实施方式，在本发明实施例中，Hadoop集群配置信息可以包括服务端IP地址，以及文件下载路径；
相应地，上述步骤305中，根据Hadoop集群配置信息加入Hadoop集群之前，可以包括：
根据文件下载路径获取对应的安装程序、主机名以及SSH(Secure Shell，安全外壳协议)免密钥登陆公钥信息。
进而，根据Hadoop集群配置信息加入Hadoop集群，可以包括以下步骤：
21)、根据该主机名进行主机名设置，并根据该SSH免密钥登陆公钥信息配置免密钥登陆；
22)、根据安装程序配置客户端加入Hadoop集群前所需的预配置；
23)、根据服务端IP地址进行注册。
在该实施方式中，客户端接收到DHCP ACK报文之后，可以获取该报文中携带的服务端IP地址，以及文件下载地址，并根据该文件下载地址获取对应的安装程序、主机名以及SSH免密钥登陆公钥信息。
客户端获取到上述信息后，可以根据该主机名进行主机名设置，并根据该SSH免密钥登陆公钥信息配置免密钥登陆，进而，客户端还可以执行所下载的安装程序，配置客户端加入Hadoop集群前所需的预配置，如升级特定软件版本，安装JRE(Java RuntimeEnvironment，Java(一种可以撰写跨平台应用程序的面向对象的程序设计语言)运行环境)、Python(一种面向对象、解释型计算机程序设计语言)等程序运行环境，安装集群运维管理客户端等，之后根据规划策略安装Hadoop服务或组件，修改相应配置文件。
客户端完成上述配置后，可以根据服务端IP地址向服务端请求注册，以实现Hadoop集群加入。
作为另一种可选的实施方式，在本发明实施例中，Hadoop集群配置信息可以包括服务端IP地址、客户端对应的主机名、SSH免密码登陆需要的公钥信息以及文件下载路径；
相应地，上述步骤305中，根据Hadoop集群配置信息加入Hadoop集群之前，可以包括：
根据文件下载路径获取对应的安装程序。
进而，根据Hadoop集群配置信息加入Hadoop集群，可以包括以下步骤：
31)、根据客户端对应的主机名进行主机名设置，并根据SSH免密钥登陆公钥信息配置免密钥登陆；
32)、根据该安装程序配置客户端加入Hadoop集群前所需的预配置；
33)、根据服务端IP地址进行注册。
在该实施方式中，可以将服务端IP地址、主机名、SSH免密码登陆需要的公钥信息以及文件下载路径均作为集群配置信息携带在DHCP ACK报文中下发给客户端；客户端接收到该DHCP ACK报文后，可以根据文件下载路径下载对应的安装程序，以及根据该报文中携带的主机名进行主机名设置，并根据该报文中携带的SSH免密码登陆需要的公钥信息进行免密码登陆配置，进而，执行所下载的安装程序，配置客户端加入集群前所需的预配置，
客户端完成上述配置后，可以根据服务端IP地址向服务端请求注册，以实现Hadoop集群加入。
可见，在图3所描述的方法流程中，通过客户端与服务端之间进行携带有私有标识的DHCP报文交互，向需要加入Hadoop集群的客户端下发Hadoop集群配置信息，以使该客户端根据该Hadoop集群配置信息加入Hadoop集群，实现了Hadoop主机自动发现，提高了Hadoop集群运维管理的效率。
为了使本领域技术人员更好地理解本发明实施例提供的技术方案，下面结合具体的应用场景对本发明实施例提供的技术方案进行描述。
请参见图4，图4为本发明实施例提供的一种具体应用场景的架构示意图，如图4所示，可以包括服务端(同时使能了DHCP服务器功能和Hadoop集群管理服务器功能)和客户端。该实施例中，Hadoop主机自动发现的具体实现可以包括：
一、服务端提前指定好Hadoop集群配置策略，包括：
1、地址分配范围、掩码、网关、IP地址与主机名对应关系等网络分配信息；
2、Hadoop集群可接受的客户端操作系统版本。
3、由于不同客户端加入Hadoop集群可能需要安装不同的服务或组件，因此需要根据Hadoop集群规划，提前制作好不同客户端所需的安装程序，安装程序中包括基础环境安装(如安装Java运行环境、安装集群运维管理客户端、升级特定软件版本等)，Hadoop服务或组件的安装，以及其它自定义的安装，如常用软件(如邮件服务器)的安装等。
客户端加入Hadoop集群的过程可以包括：
1、客户端广播DHCP DISCOVER报文，源地址会为0.0.0.0﹐而目的地址则为255.255.255.255，该DHCP DISCOVER报文携带有私有标识Option 201：UNI ID。
2、服务端接收到携带有私有标识Option 201的DHCP DISCOVER报文后，回应带有私有标识Option 201的DHCP OFFER报文；
3、客户端收到DHCP OFFER报文后，回应DHCP REQUEST报文，该DHCP REQUEST报文在DHCP协议规定的信息内容的基础上，新增如下Option信息：Option 201：UNI ID；Option202-客户端IP地址；Option 203-客户端MAC地址；Option 204-客户端操作系统版本。
4、服务端接收到DHCP REQUEST报文后，先根据报文的Option信息校验该客户端是否符合集群主机要求，验证通过后，记录报文的Option信息，并根据客户端信息的不同回应给客户端包含不同信息的DHCP ACK报文，DHCP ACK报文在DHCP协议规定的信息内容的基础上，新增Option信息：Option 201：UNI ID；Option 210-服务端IP地址；Option 211-客户端对应的主机名；Option 212-SSH免密码登陆需要的公钥信息；Option 213-文件下载路径。
5、客户端接收到DHCP ACK报文后，根据收到的信息，设置主机名，配置免密码登陆。
6、根据文件下载路径获取对应的安装程序，配置客户端加入集群前所需的预配置，如升级特定软件版本，安装JRE、Python等程序运行环境，安装集群运维管理客户端等，之后根据规划策略安装Hadoop服务或组件，修改相应配置文件。
7、根据集群服务器IP地址进行注册。
需要注意的是，在本发明实施例中，客户端根据服务端的IP地址注册完成后，服务端可以向客户端下发集群加入提示消息；客户端接收到该集群加入提示消息后，可以将其展示给用户(如运维人员)，并根据用户的操作指令完成Hadoop集群的加入，其具体实现在此不再赘述。
通过以上描述可以看出，在本发明实施例提供的技术方案中，通过在接收到客户端广播的携带有私有标识的DHCP DISCOVER报文时，向客户端发送携带有该私有标识的DHCP OFFER报文，并当接收客户端广播的携带有私有标识以及客户端的标识信息的DHCPREQUEST报文时，向客户端发送携带有私有标识以及客户端的标识信息对应的Hadoop集群配置信息的DHCP ACK报文，以使客户端根据该Hadoop集群配置信息加入Hadoop集群，实现了Hadoop主机自动发现，提高了Hadoop集群运维管理的效率。
请参见图5，为本发明实施例提供的一种实现Hadoop主机自动发现的装置的结构示意图，其中，该装置可以应用图1所示网络架构中的服务端，如图5所示，该装置可以包括：
接收单元510，用于接收客户端广播的携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文；
发送单元520，用于向所述客户端发送携带有所述私有标识的DHCP提供OFFER报文；
所述接收单元510，还用于接收所述客户端广播的DHCP请求REQUEST报文，所述DHCP REQUEST报文携带有所述私有标识以及所述客户端的标识信息；
所述发送单元520，还用于向所述客户端发送DHCP确认ACK报文，所述DHCP ACK报文携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息，以使所述客户端根据所述Hadoop集群配置信息加入Hadoop集群。
在可选实施例中，所述DHCP REQUEST报文中还携带有所述客户端的操作系统版本；
相应地，请一并参阅图6，为本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图，该实施例在前述图5所示实施例的基础上，所述装置还可以包括：
检验单元530，用于根据所述客户端的操作系统版本对所述客户端进行校验；
所述发送单元520，可以具体用于若所述校验单元校验通过，则向所述客户端发送DHCP ACK报文。
请一并参阅图7，为本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图，该实施例在前述图5所示实施例的基础上，所述装置还可以包括：
查询单元540，用于根据所述客户端的标识信息查询预先配置的客户端标识信息与Hadoop集群配置信息的对应关系，以确定与所述客户端的标识信息对应的Hadoop集群配置信息；
其中，所述客户端的标识信息包括客户端的互联网协议IP地址和媒体访问控制MAC地址；所述Hadoop集群配置信息包括服务端IP地址以及文件下载路径，所述文件下载路径用于所述客户端获取对应的安装程序、主机名以及安全外壳协议SSH免密钥登陆公钥信息；或，服务端IP地址、客户端对应的主机名、安全外壳协议SSH免密码登陆需要的公钥信息以及文件下载路径，所述文件下载路径用于所述客户端获取对应的安装程序。
请参见图8，为本发明实施例提供的一种实现Hadoop主机自动发现的装置的结构示意图，其中，该装置可以应用图1所示网络架构中的客户端，如图8所示，该装置可以包括：
发送单元810，用于广播携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文；
接收单元820，用于接收服务端返回的携带有所述私有标识的DHCP提供OFFER报文；
所述发送单元810，还用于广播DHCP请求REQUEST报文，所述DHCP REQUEST报文中携带有所述私有标识以及所述客户端的标识信息；
所述接收单元820，还用于接收所述服务端发送的DHCP确认ACK报文，所述DHCPACK报文中携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息；
集群加入单元830，用于根据所述Hadoop集群配置信息加入Hadoop集群。
在可选实施例中，所述Hadoop集群配置信息包括服务端IP地址，以及文件下载路径；
相应地，请一并参阅图9，为本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图，该实施例在前述图8所示实施例的基础上，所述装置还可以包括：
第一获取单元，用于根据所述文件下载路径获取对应的安装程序、主机名以及安全外壳协议SSH免密钥登陆公钥信息；
或者，
所述Hadoop集群配置信息包括服务端IP地址、客户端对应的主机名、SSH免密码登陆需要的公钥信息以及文件下载路径；
相应地，在前述图8所示实施例的基础上，图9所示的装置还可以包括：
第二获取单元，用于根据所述文件下载路径获取对应的安装程序。
其中，图9所示的实施例中，第一获取单元和第二获取单元在图中均以获取单元840为例示出。
请一并参阅图10，为本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图，该实施例在前述图9所示实施例的基础上，所述集群加入单元830可以包括：
设置子单元831，用于根据所述主机名进行主机名设置；
配置子单元832，用于根据所述SSH免密钥登陆公钥信息配置免密钥登陆；
所述配置子单元832，还用于根据所述安装程序配置客户端加入Hadoop集群前所需的预配置；
注册子单元833，用于根据所述服务端的IP地址进行注册。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
由上述实施例可见，通过在接收到客户端广播的携带有私有标识的DHCPDISCOVER报文时，向客户端发送携带有该私有标识的DHCP OFFER报文，并当接收客户端广播的携带有私有标识以及客户端的标识信息的DHCP REQUEST报文时，向客户端发送携带有私有标识以及客户端的标识信息对应的Hadoop集群配置信息的DHCP ACK报文，以使客户端根据该Hadoop集群配置信息加入Hadoop集群，实现了Hadoop主机自动发现，提高了Hadoop集群运维管理的效率。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (12)
1.一种实现Hadoop主机自动发现的方法，其特征在于，该方法应用于Hadoop集群的服务端，该方法包括：
接收客户端广播的携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文；其中，所述私有标识用于标识所述客户端为请求加入Hadoop集群的客户端；
向所述客户端发送携带有所述私有标识的DHCP提供OFFER报文；
接收所述客户端广播的DHCP请求REQUEST报文，所述DHCP REQUEST报文携带有所述私有标识以及所述客户端的标识信息；
向所述客户端发送DHCP确认ACK报文，所述DHCP ACK报文携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息，以使所述客户端根据所述Hadoop集群配置信息加入Hadoop集群。
2.根据权利要求1所述的方法，其特征在于，所述DHCP REQUEST报文中还携带有所述客户端的操作系统版本；
所述向所述客户端发送DHCP ACK报文之前，还包括：
根据所述客户端的操作系统版本对所述客户端进行校验；
若校验通过，则确定执行所述向所述客户端发送DHCP ACK报文的步骤。
3.根据权利要求1所述的方法，其特征在于，所述向所述客户端发送DHCP ACK报文之前，还包括：
根据所述客户端的标识信息查询预先配置的客户端标识信息与Hadoop集群配置信息的对应关系，以确定与所述客户端的标识信息对应的Hadoop集群配置信息；
其中，所述客户端的标识信息包括客户端的互联网协议IP地址和媒体访问控制MAC地址；所述Hadoop集群配置信息包括服务端IP地址以及文件下载路径，所述文件下载路径用于所述客户端获取对应的安装程序、主机名以及安全外壳协议SSH免密钥登陆公钥信息；或，所述Hadoop集群配置信息包括服务端IP地址、客户端对应的主机名、安全外壳协议SSH免密码登陆需要的公钥信息以及文件下载路径，所述文件下载路径用于所述客户端获取对应的安装程序。
4.一种实现Hadoop主机自动发现的方法，其特征在于，该方法应用于Hadoop集群的客户端，该方法包括：
广播携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文；其中，所述私有标识用于标识所述客户端为请求加入Hadoop集群的客户端；
接收服务端返回的携带有所述私有标识的DHCP提供OFFER报文；
广播DHCP请求REQUEST报文，所述DHCP REQUEST报文中携带有所述私有标识以及客户端的标识信息；
接收所述服务端发送的DHCP确认ACK报文，所述DHCP ACK报文中携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息；
根据所述Hadoop集群配置信息加入Hadoop集群。
5.根据权利要求4所述的方法，其特征在于，所述Hadoop集群配置信息包括服务端IP地址，以及文件下载路径；
所述根据所述Hadoop集群配置信息加入Hadoop集群之前，还包括：
根据所述文件下载路径获取对应的安装程序、主机名以及安全外壳协议SSH免密钥登陆公钥信息；
或者，
所述Hadoop集群配置信息包括服务端IP地址、客户端对应的主机名、SSH免密码登陆需要的公钥信息以及文件下载路径；
所述根据所述Hadoop集群配置信息加入Hadoop集群之前，还包括：
根据所述文件下载路径获取对应的安装程序。
6.根据权利要求5所述的方法，其特征在于，所述根据所述Hadoop集群配置信息加入Hadoop集群，包括：
根据所述主机名进行主机名设置，并根据所述SSH免密钥登陆公钥信息配置免密钥登陆；
根据所述安装程序配置客户端加入Hadoop集群前所需的预配置；
根据所述服务端的IP地址进行注册。
7.一种实现Hadoop主机自动发现的装置，其特征在于，该装置应用于Hadoop集群的服务端，该装置包括：
接收单元，用于接收客户端广播的携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文；其中，所述私有标识用于标识所述客户端为请求加入Hadoop集群的客户端；
发送单元，用于向所述客户端发送携带有所述私有标识的DHCP提供OFFER报文；
所述接收单元，还用于接收所述客户端广播的DHCP请求REQUEST报文，所述DHCPREQUEST报文携带有所述私有标识以及所述客户端的标识信息；
所述发送单元，还用于向所述客户端发送DHCP确认ACK报文，所述DHCP ACK报文携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息，以使所述客户端根据所述Hadoop集群配置信息加入Hadoop集群。
8.根据权利要求7所述的装置，其特征在于，所述DHCP REQUEST报文中还携带有所述客户端的操作系统版本；
所述装置还包括：
检验单元，用于根据所述客户端的操作系统版本对所述客户端进行校验；
所述发送单元，具体用于若所述检验单元校验通过，则向所述客户端发送DHCP ACK报文。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
查询单元，用于根据所述客户端的标识信息查询预先配置的客户端标识信息与Hadoop集群配置信息的对应关系，以确定与所述客户端的标识信息对应的Hadoop集群配置信息；
其中，所述客户端的标识信息包括客户端的互联网协议IP地址和媒体访问控制MAC地址；所述Hadoop集群配置信息包括服务端IP地址以及文件下载路径，所述文件下载路径用于所述客户端获取对应的安装程序、主机名以及安全外壳协议SSH免密钥登陆公钥信息；或，所述Hadoop集群配置信息包括服务端IP地址、客户端对应的主机名、安全外壳协议SSH免密码登陆需要的公钥信息以及文件下载路径，所述文件下载路径用于所述客户端获取对应的安装程序。
10.一种实现Hadoop主机自动发现的装置，其特征在于，该装置应用于Hadoop集群的客户端，该装置包括：
发送单元，用于广播携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文；其中，所述私有标识用于标识所述客户端为请求加入Hadoop集群的客户端；
接收单元，用于接收服务端返回的携带有所述私有标识的DHCP提供OFFER报文；
所述发送单元，还用于广播DHCP请求REQUEST报文，所述DHCP REQUEST报文中携带有所述私有标识以及客户端的标识信息；
所述接收单元，还用于接收所述服务端发送的DHCP确认ACK报文，所述DHCP ACK报文中携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息；
集群加入单元，用于根据所述Hadoop集群配置信息加入Hadoop集群。
11.根据权利要求10所述的装置，其特征在于，所述Hadoop集群配置信息包括服务端IP地址，以及文件下载路径；
所述装置还包括：
第一获取单元，用于根据所述文件下载路径获取对应的安装程序、主机名以及安全外壳协议SSH免密钥登陆公钥信息；
或者，
所述Hadoop集群配置信息包括服务端IP地址、客户端对应的主机名、SSH免密码登陆需要的公钥信息以及文件下载路径；
所述装置还包括：
第二获取单元，用于根据所述文件下载路径获取对应的安装程序。
12.根据权利要求11所述的装置，其特征在于，所述集群加入单元包括：
设置子单元，用于根据所述主机名进行主机名设置；
配置子单元，用于根据所述SSH免密钥登陆公钥信息配置免密钥登陆；
所述配置子单元，还用于根据所述安装程序配置客户端加入Hadoop集群前所需的预配置；
注册子单元，用于根据所述服务端的IP地址进行注册。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610020551.3A CN105763667B (zh) | 2016-01-13 | 2016-01-13 | 一种实现Hadoop主机自动发现的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610020551.3A CN105763667B (zh) | 2016-01-13 | 2016-01-13 | 一种实现Hadoop主机自动发现的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105763667A CN105763667A (zh) | 2016-07-13 |
| CN105763667B true CN105763667B (zh) | 2019-04-09 |
Family
ID=56342378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610020551.3A Active CN105763667B (zh) | 2016-01-13 | 2016-01-13 | 一种实现Hadoop主机自动发现的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105763667B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109471837A (zh) * | 2018-10-08 | 2019-03-15 | 国网经济技术研究院有限公司 | 电力基础设施数据的分布式存储方法 |
| CN115002077B (zh) * | 2021-03-01 | 2024-03-22 | 炬芯科技股份有限公司 | 一种dhcp客户端获取ip地址的方法及相关设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008122146A1 (en) * | 2007-04-06 | 2008-10-16 | Thomson Licensing | Enhanced method and apparatus for reducing congestion in dhcp network system |
| CN102780790A (zh) * | 2012-07-13 | 2012-11-14 | 深圳市龙视传媒有限公司 | 一种动态分配ip地址的方法和系统 |
| CN103618634A (zh) * | 2013-12-11 | 2014-03-05 | 上海爱数软件有限公司 | 集群中自动发现节点的方法 |
| CN104335554A (zh) * | 2014-06-27 | 2015-02-04 | 华为技术有限公司 | 无线接入网配置自动同步方法及装置 |
-
2016
- 2016-01-13 CN CN201610020551.3A patent/CN105763667B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008122146A1 (en) * | 2007-04-06 | 2008-10-16 | Thomson Licensing | Enhanced method and apparatus for reducing congestion in dhcp network system |
| CN102780790A (zh) * | 2012-07-13 | 2012-11-14 | 深圳市龙视传媒有限公司 | 一种动态分配ip地址的方法和系统 |
| CN103618634A (zh) * | 2013-12-11 | 2014-03-05 | 上海爱数软件有限公司 | 集群中自动发现节点的方法 |
| CN104335554A (zh) * | 2014-06-27 | 2015-02-04 | 华为技术有限公司 | 无线接入网配置自动同步方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105763667A (zh) | 2016-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10313858B2 (en) | Service layer interworking using MQTT protocol | |
| US20200059976A1 (en) | IoT DEVICE CONNECTIVITY, DISCOVERY, AND NETWORKING | |
| EP2866389B1 (en) | Method and device thereof for automatically finding and configuring virtual network | |
| US7720906B2 (en) | Web service for remote application discovery | |
| US10644967B2 (en) | Methods, apparatuses and computer-readable storage mediums for automated onboarding of services in the user services platform | |
| US20110276685A1 (en) | Cloud computing as a service for enterprise software and data provisioning | |
| JP2016522509A (ja) | 仮想ネットワーク機能マネージャによる仮想インフラストラクチャマネージャへのアクセスの自動化構成 | |
| US8547959B2 (en) | Establishing channels between a domain manager and managed nodes | |
| US20050125530A1 (en) | Presenting a merged view of remote application shortcuts from multiple providers | |
| US20170070841A1 (en) | App distribution over the air | |
| JP2015511463A5 (zh) | ||
| JP6934762B2 (ja) | 機器をリモートで管理するための装置、方法及びそのためのプログラム | |
| EP2693691B1 (en) | Method and apparatus for initializing gateway in device management system | |
| US10075345B2 (en) | Cloud based manual discovery of devices in a device management environment | |
| CN105763667B (zh) | 一种实现Hadoop主机自动发现的方法及装置 | |
| US9736027B2 (en) | Centralized enterprise image upgrades for distributed campus networks | |
| US7805733B2 (en) | Software implementation of hardware platform interface | |
| WO2012139463A1 (zh) | 终端设备的初始化方法及装置 | |
| CN109862135B (zh) | 基于域名区块链的群组通信方法、区块链节点及介质 | |
| WO2016082574A1 (zh) | 报文的接收处理、发送处理方法及装置 | |
| US20160308838A1 (en) | Digital switchboard |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No. Applicant after: Xinhua three Technology Co., Ltd. Address before: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No. Applicant before: Huasan Communication Technology Co., Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |