CN110633088A - 一种Hadoop自动安装方法及装置 - Google Patents

Abstract

本申请实施例提供了一种Hadoop自动安装方法及装置，其中，一种Hadoop自动安装方法包括：确定目标主机集群，所述目标集群包括待安装Hadoop软件的N台主机，N为大于1的整数；将所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存，其中，一台主机对应一个身份信息；控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装，所述目标主机为所述N台主机中的任意一台主机。本申请实施例可以控制N台主机中的任意一台主机实现N台主机同时进行Hadoop软件的安装，大大减少工作人员的工作量，让整个部署平台高效，便捷。

Description

一种Hadoop自动安装方法及装置

技术领域

本申请涉及大数据技术领域，尤其涉及一种Hadoop自动安装方法及装置。

背景技术

随着信息技术的飞速发展，信息时代产生的数据日益在膨胀，分布式系统基础架构(Hadoop)作为解决大数据领域的重要技术手段，目前被广泛应用着。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，可以充分利用集群的威力进行高速运算和存储。Hadoop现在分为商业和开源两个版本，针对Hadoop开源版，主要安装部署方式大都采取手工安装软件包，手工编写各个服务配置文件并分发到集群每台主机，然后采用shell脚本进行启停。但是这种方式工作量繁重，无法同时安装部署多台主机，而且安装过程中容易出错，一旦出现问题很难定位到出问题的地方。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种Hadoop自动安装方法及装置。

第一方面，本申请实施例提供了一种Hadoop自动安装方法，包括：确定目标主机集群，所述目标集群包括待安装Hadoop软件的N台主机，N为大于1的整数；将所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存，其中，一台主机对应一个身份信息；控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装，所述目标主机为所述N台主机中的任意一台主机。

本申请实施例，可以首先确定待安装Hadoop软件的N台主机为目标主机集群，然后将所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存，其中，一台主机对应一个身份信息；最后控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装，其中，目标主机为N台主机中的任意一台主机。因此，控制N台主机中的任意一台主机，就可以实现对所有主机的控制，进而对整个目标主机集群的N台主机实现Hadoop软件的安装，大大减少工作人员的工作量，而且N台主机自动安装，可以避免人工在多台主机的大量安装过程中出错，让整个部署平台高效，便捷。

在一种可能实现的方式中，所述确定目标主机集群，包括：将M台主机中拥有sudo用户权限的N台主机确认为目标主机集群，其中，M为大于或等于N的整数。

在一种可能实现的方式中，所述将所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存之前，还包括：将所述N台主机的N个主机信息更新至所述目标主机集群每一台主机中，其中，一台主机对应一个主机信息，所述主机信息包括主机名和主机地址；根据N个所述主机信息，确定所述N台主机分别对应的所述身份信息。

在一种可能实现的方式中，所述控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装之前，还包括：确定所述N台主机需要安装所述Hadoop软件的安装信息，所述安装信息包括Hadoop软件安装压缩包和Hadoop软件配置文件；将所述Hadoop软件安装压缩包发送到所述N个主机中的每一个主机的安装目录中进行解压，获得解压后的所述Hadoop软件，并将所述Hadoop软件配置文件覆盖所述目标主机中保存的默认配置文件。

在一种可能实现的方式中，所述将所述Hadoop软件配置文件覆盖所述目标主机中保存的默认配置文件之后，还包括：在所述目标主机的所述Hadoop软件配置文件的slaves或workers文档中，添加所述目标主机上保存的所述身份信息对应主机的所述主机信息；将所述Hadoop软件配置文件广播至所述目标主机上保存的所述身份信息对应主机中。

在一种可能实现的方式中，所述N台主机包括主节点主机和备节点主机，所述目标主机为主节点主机；所述Hadoop软件配置文件包括主节点主机配置文件和备节点主机配置文件，其中，所述主节点主机配置文件与所述N台主机中所述主节点主机匹配，所述备节点主机配置文件与所述N台主机中所述备节点主机匹配。

第二方面，本申请实施例提供了一种Hadoop自动安装装置，包括：第一确定单元，用于确定目标主机集群，所述目标集群包括待安装Hadoop软件的N台主机，N为大于1的整数；第一广播单元，用于将所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存，其中，一台主机对应一个身份信息；安装单元，用于控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装，所述目标主机为所述N台主机中的任意一台主机。

在一种可能实现的方式中，所述第一确定单元，具体用于：将M台主机中拥有sudo用户权限的N台主机确认为目标主机集群，其中，M为大于或等于N的整数。

在一种可能实现的方式中，所述装置还包括：更新单元，用于将所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存之前，将所述N台主机的N个主机信息更新至所述目标主机集群每一台主机中，其中，一台主机对应一个主机信息，所述主机信息包括主机名和主机地址；第二确定单元，用于根据N个所述主机信息，确定所述N台主机分别对应的所述身份信息。

在一种可能实现的方式中，所述装置还包括：第三确定单元，用于控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装之前，确定所述N台主机需要安装所述Hadoop软件的安装信息，所述安装信息包括Hadoop软件安装压缩包和Hadoop软件配置文件；发送单元，用于将所述Hadoop软件安装压缩包发送到所述N个主机中的每一个主机的安装目录中进行解压，获得解压后的所述Hadoop软件，并将所述Hadoop软件配置文件覆盖所述目标主机中保存的默认配置文件。

在一种可能实现的方式中，所述装置还包括：添加单元，用于将所述Hadoop软件配置文件覆盖所述目标主机中保存的默认配置文件之后，在所述目标主机的所述Hadoop软件配置文件的slaves或workers文档中，添加所述目标主机上保存的所述身份信息对应主机的所述主机信息；第二广播单元，用于将所述Hadoop软件配置文件广播至所述目标主机上保存的所述身份信息对应主机中。

在一种可能实现的方式中，所述N台主机包括主节点主机和备节点主机，所述目标主机为主节点主机；所述Hadoop软件配置文件包括主节点主机配置文件和备节点主机配置文件，其中，所述主节点主机配置文件与所述N台主机中所述主节点主机匹配，所述备节点主机配置文件与所述N台主机中所述备节点主机匹配。

第三方面，本申请实施例提供了一种Hadoop自动安装装置，包括存储组件，处理组件和通信组件，存储组件，处理组件和通信组件相互连接，其中，存储组件用于存储计算机程序，通信组件用于与外部设备进行信息交互；处理组件被配置用于调用所述计算机程序，执行第一方面所述的方法，此处不再赘述。

第四方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述第一方面的方法。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1是本申请实施例提供的一种Hadoop自动安装系统架构的示意图；

图2是本申请实施例提供的一种Hadoop自动安装方法流程的示意图；

图3是本申请实施例提供的一种Hadoop自动安装方法流程的示意图；

图4是本申请实施例提供的一种Hadoop自动安装装置的结构示意图；

图5是本申请实施例提供的另一种Hadoop自动安装装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例进行描述。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

在本申请中使用的术语“服务器”、“单元”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，服务器可以是但不限于，处理器，数据处理平台，计算设备，计算机，两个或更多个计算机等。

首先，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。

(1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构，实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streaming access)文件系统中的数据。

(2)Tomcat服务器是一个开放源代码的Web应用服务器，属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试JSP程序的首选。

(3)Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器，并在一个BSD-like协议下发行，其特点是占有内存少，并发能力强。

其次，对本申请实施例所基于的其中一种Hadoop自动安装系统架构进行描述。请参考附图1，图1是本申请实施例提供的一种Hadoop自动安装系统架构的示意图，包括：Hadoop自动安装装置101和主机102。

Hadoop自动安装装置101可以是一种通过获取、处理、分析和提取数据，以交互数据为基础，为第三方使用带来各种便利的服务设备，该服务设备可以是服务器，服务器组，云服务器、虚拟机等。例如，当Hadoop自动安装装置101为服务器时，可以首先确定目标主机集群，所述目标集群包括待安装Hadoop软件的N台主机，N为大于1的整数；将所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存，其中，一台主机对应一个身份信息；控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装，所述目标主机为所述N台主机中的任意一台主机。可以理解的是，Hadoop自动安装装置101在本申请中可以是待安装Hadoop软件的N台主机中的目标主机；Hadoop自动安装装置101也可以是是待安装Hadoop软件的N台主机外的任意一台服务设备，该服务设备可以控制目标主机对待安装Hadoop软件的N台主机进行Hadoop软件安装。

主机102可以是Hadoop集群中待安装Hadoop的服务节点，该服务节点是可以按照程序运行，自动、高速处理数据的服务设备，通常包括CPU、内存、主板、光驱、电源、以及其他输入输出控制器和接口等。该服务设备可以是服务器，服务器组，云服务器、虚拟机等。当主机为服务器时，可以接收Hadoop自动安装装置101发送的N个身份信息、Hadoop软件的安装信息等。

可以理解的是，在Hadoop自动安装系统架构中还可以包括多台主机。还可以理解的是，图1的Hadoop自动安装系统架构只是本申请实施例中的部分示例性的实施方式，本申请实施例中的Hadoop自动安装系统架构包括但不仅限于以上Hadoop自动安装系统架构。

参考附图2，图2是本申请实施例提供的一种Hadoop自动安装方法流程的示意图。可应用于上述图1中的系统，下面将结合图2以执行主体是Hadoop自动安装装置101为例，从Hadoop自动安装装置101的单侧进行描述。该方法可以包括以下步骤S201-步骤S203。

步骤S201：确定目标主机集群。

具体地，Hadoop自动安装装置101首先需要确定要安装Hadoop软件的N台主机为目标主机集群，N为大于1的整数，其中，Hadoop软件不仅仅是指某一个软件，Hadoop软件还可以是指构建Hadoop开源大数据平台所需要的多个软件或者可以在Hadoop开源大数据平台中运行的多个软件，如：Hadoop、Hbase或Spark等等。

可选的，将M台主机中拥有sudo用户权限的N台主机确认为目标主机集群，其中，M为大于或等于N的整数，sudo用户权限可以使主机登录时不需要再次输入密码，若M台主机中有需要安装Hadoop软件的主机但是没有获取sudo用户权限，可以在该主机获取到sudo用户权限后加入目标主机集群，即将N台主机切换至root创建拥有免秘钥linux系统管理的sudo用户。可以理解的是，sudo用户权限是在一般主机用户需要取得特殊权限(如：控制主机进行安装Hadoop软件)时，其可在发送给该主机的命令前加上"sudo"，此时sudo将会询问该用户自己的密码(以确认主机前的是该用户本人)，回答后系统即会将该命令的进程以超级用户的权限运行，之后的一段时间内(默认为5分钟，也可在/etc/sudoers文件中自定义)，使用sudo用户不需要再次输入密码，该过程也可以理解为主机的第一次身份认证，使得拥有sudo用户权限的主机才可以加入目标主机集群进行Hadoop软件安装。

步骤S202：将N台主机的N个身份信息广播到N台主机的每台主机中保存。

具体地，Hadoop自动安装装置101在确定目标主机集群后，需要将所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存，其中，一台主机对应一个身份信息，该身份信息用于N台主机之间建立信任关系，即，目标主机集群中的每一个主机都保存有整个目标主机集群所有主机的身份信息。当所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存后，可以认为拥有所述N个身份信息的每一台主机都为互相信任的主机，从而使N台主机间建立信任关系，同时使得拥有N个身份信息的主机在控制其他主机时不需要再次输入密码(验证身份)，该过程也可以理解为主机之间的免密钥认证。

可选的，所述身份信息可以包括密钥地址信息、密钥信息、公钥地址信息、公钥信息或密码等中的一个或多个，即可以使N台主机中的任意一台主机都控制其他的主机。可选的，将N台主机的N个身份信息广播到N台主机中保存包括，可以将目标主机集群的各个主机的网络域名(host)及互联网协议地址(ip)对应关系写到/etc/hosts文件中。

步骤S203：控制目标主机调用Hadoop软件，对目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装。

具体地，Hadoop自动安装装置101在N台主机之间免密钥认证之后，可以控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装，其中，所述目标主机为所述N台主机中的任意一台主机。

在一种可能实现的方式中，所述控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装可以包括：通过控制目标主机上的Nginx模块、Tomcat模块、自动化运维工具(Ansible)模块调用Hadoop软件安装压缩包和软件配置文件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装。其中，Nginx模块用于判断是否将目标请求发送至Tomcat模块，其中，目标请求包括静态访问请求、动态访问请求。若目标请求为静态访问请求，Nginx模块直接返回；若目标请求为动态请求(点击安装请求)，Nginx模块将该目标请求转发到Tomcat模块。Tomcat模块用于根据目标请求生成Ansible模块定义的host.cfg文件，然后将上述host.cfg文件发送至Ansible模块，令Ansible模块调用后台安装脚本安装Hadoop软件，其中，Tomcat模块包括了页面按钮(Web按钮)与后台代码对应关系，集群名对应关系等。自动化运维工具(Ansible)模块用于调用解压后的Hadoop软件安装压缩包以及后台安装脚本，即软件配置文件，实现hadoop软件的自动化安装。可选的，Ansible模块还用于对软件配置文件进行定义，大数据平台不只有hbase/Hadoop,还有很多的软件共同完成的，所有软件的全部软件配置文件均采用软连接至此处，即整个软件配置文件只有一个配置档。

实施本申请实施例，可以首先确定待安装Hadoop软件的N台主机为目标主机集群，然后将所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存，而且，一台主机对应一个身份信息；最后控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装，其中，目标主机为N台主机中的任意一台主机。因此，控制N台主机中的任意一台主机，就可以实现对所有主机的控制，进而对整个目标主机集群的N台主机实现Hadoop软件的安装，大大减少工作人员的工作量，而且N台主机自动安装，可以避免人工在多台主机的大量安装过程中出错，让整个部署平台高效，便捷。

参考附图3，图3是本申请实施例提供的一种Hadoop自动安装方法流程的示意图。可应用于上述图1中的系统，下面将结合图3从Hadoop自动安装装置101的单侧进行描述。该方法可以包括以下步骤S301-步骤S309。

步骤S301：确定目标主机集群。

具体地，上述对步骤S301的描述可以对应参照图2的步骤S201的描述，此处不再赘述。

步骤S302：将N台主机的N个主机信息更新至目标主机集群每一台主机中。

具体地，Hadoop自动安装装置101将所述N台主机的N个主机信息更新至所述目标主机集群每一台主机中，其中，一台主机对应一个主机信息，所述主机信息包括主机名和主机地址。可以理解的是，将主机信息更新至所述目标主机集群每一台主机中即是将主机信息加入目标主机集群的主机列表中，使得N台主机中每个主机都能够确定目标主机集群中所有主机的主机信息。

步骤S303：根据N个主机信息，确定N台主机分别对应的身份信息。

具体地，Hadoop自动安装装置101可以根据N个所述主机信息，确定所述N台主机分别对应的所述身份信息。可选的，身份信息可以根据主机信息(主机信息包括主机名和主机地址)和预设加密算法确定，预设加密算法可以为对称加密、非对称加密、多重加密等等。例如：Hadoop自动安装装置101为hadoop用户的主机使用ssh-keygen命令生成公私钥，即身份信息。进一步的，身份信息可以为目标主机集群的免密钥认证提供证书数据。

步骤S304：将N台主机的N个身份信息广播到N台主机的每台主机中保存。

具体地，上述对步骤S304的描述可以对应参照图2的步骤S202的描述，此处不再赘述。

步骤S305：确定N台主机需要安装Hadoop软件的安装信息。

具体地，因为Hadoop软件不仅仅是指某一个软件，Hadoop软件还可以是指构建Hadoop大数据平台所需要的软件或者可以在Hadoop大数据平台中运行的软件，所以Hadoop自动安装装置101需要确定所述N台主机需要安装所述Hadoop软件的安装信息，所述安装信息包括Hadoop软件安装压缩包和Hadoop软件配置文件，可以理解的，所述安装信息为所述目标主机集群要安装的目标软件的压缩包以及目标软件的软件配置文件。

步骤S306：将Hadoop软件安装压缩包发送到N个主机中的每一个主机的安装目录中进行解压，获得解压后的Hadoop软件，并将Hadoop软件配置文件覆盖目标主机中保存的默认配置文件。

具体地，Hadoop自动安装装置101可以将目标软件安装压缩包发送到N个主机中的每一个主机的安装目录中进行解压，获得解压后的目标软件，并将目标软件配置文件覆盖所述目标主机中保存的默认配置文件。可以理解的是，在通过目标主机控制多台主机安装目标软件之前，需要把软件安装压缩包解压到所有待安装主机的安装目录中，同时需要将目标软件配置文件覆盖所述目标主机中保存的默认配置文件。其中，该目标软件配置文件可以用于修改配置环境、配置参数等等。

可选的，在将Hadoop软件安装压缩包发送到N个主机中的每一个主机的安装目录中进行解压，获得解压后的所述Hadoop软件，并将Hadoop软件配置文件覆盖所述目标主机中保存的默认配置文件之前还包括：创建上述N台主机的Hadoop软件安装的安装目录。可以理解的，配置文件可以称为配置档。

步骤S307：在目标主机的Hadoop软件配置文件的slaves或workers文档中，添加目标主机上保存的身份信息对应主机的主机信息。

具体地，Hadoop自动安装装置101在所述目标主机更新目标软件配置文件后，需要在目标主机的Hadoop软件配置文件中的slaves或workers文档内，添加所述目标主机上保存的所述身份信息对应主机的所述主机信息，即，添加新主机的主机名和主机地址，目标主机可以根据该主机信息确定对应主机的节点信息，其中，所述N台主机包括主节点主机和备节点主机，所述目标主机为主节点主机。例如：本申请实施例所述方法可以包括：软件安装采用unarchive模块，直接拷贝压缩包到主机目录解压；配置档copy生产环境主机正在使用的配置档覆盖以前默认配置；最后更新slaves文档，添加新节点信息。

步骤S308：将Hadoop软件配置文件广播至目标主机上保存的身份信息对应主机中。

具体地，Hadoop自动安装装置101将Hadoop软件配置文件广播至所述目标主机上保存的所述身份信息对应主机中。可选的，所述N台主机包括主节点主机和备节点主机，所述目标主机为主节点主机；所述Hadoop软件配置文件包括主节点主机配置文件和备节点主机配置文件，其中，所述主节点主机配置文件与所述N台主机中所述主节点主机匹配，所述备节点主机配置文件与所述N台主机中所述备节点主机匹配。因此，Hadoop自动安装装置101需要将与主机匹配的主节点主机配置文件或备节点主机配置文件广播至对应主机类型的主机上。可选的，若确定更新所述目标集群中一个主机的配置文件后，需要将更新后的所述配置文件同步到整个所述目标集群的每个主机上。

可选的，还可以根据开启、关闭或重启指令，所述目标集群的所述N台主机可对应执行开启、关闭或重启操作。

步骤S309：控制目标主机调用Hadoop软件，对目标主机上保存的身份信息对应的主机进行Hadoop软件的安装。

具体地，上述对步骤S309的描述可以对应参照图2的步骤S203的描述，此处不再赘述。

实施本申请实施例，可以首先确定待安装Hadoop软件的N台主机为目标主机集群，然后将N台主机的N个身份信息广播到N台主机的每台主机中保存，其中，一台主机对应一个身份信息；最后控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装，其中，目标主机为N台主机中的任意一台主机。因此，控制N台主机中的任意一台主机，可以实现对所有主机的控制，进而直接对整个目标主机集群的N台主机实现Hadoop软件的安装，让整个部署平台高效，便捷；而且当配置文件有变更时，不需要对每台主机都要人工一一修改配置文件，只需要在一台主机上修改后，分发到所有主机，即可实现配置文件的变更，大大减少工作人员的工作量，也减少了安装过程的出错几率；进一步的，在实现Hadoop软件安装时也可以灵活的选择需要安装的目标软件，灵活配置。

上述详细阐述了本申请实施例的方法，下面提供了与本申请实施例的相关Hadoop自动安装装置。请参考附图4，图4是本申请实施例提供的一种Hadoop自动安装装置的结构示意图。图4装置10中，可以包括第一确定单元401，第一广播单元402，安装单元403，还可以包括更新单元404，第二确定单元405，第三确定单元406，发送单元407，添加单元408和第二广播单元409。

其中，第一确定单元401，用于确定目标主机集群，所述目标集群包括待安装Hadoop软件的N台主机，N为大于1的整数。

第一广播单元402，用于将所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存，其中，一台主机对应一个身份信息。

安装单元403，用于控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装，所述目标主机为所述N台主机中的任意一台主机。

在一种可能实现的方式中，所述第一确定单元401，具体用于：将M台主机中拥有sudo用户权限的N台主机确认为目标主机集群，其中，M为大于或等于N的整数。

在一种可能实现的方式中，所述装置还包括：更新单元404，用于将所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存之前，将所述N台主机的N个主机信息更新至所述目标主机集群每一台主机中，其中，一台主机对应一个主机信息，所述主机信息包括主机名和主机地址；第二确定单元405，用于根据N个所述主机信息，确定所述N台主机分别对应的所述身份信息。

在一种可能实现的方式中，所述装置还包括：第三确定单元406，用于控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装之前，确定所述N台主机需要安装所述Hadoop软件的安装信息，所述安装信息包括Hadoop软件安装压缩包和Hadoop软件配置文件；发送单元407，用于将所述Hadoop软件安装压缩包发送到所述N个主机中的每一个主机的安装目录中进行解压，获得解压后的所述Hadoop软件，并将所述Hadoop软件配置文件覆盖所述目标主机中保存的默认配置文件。

在一种可能实现的方式中，所述装置还包括：添加单元408，用于将所述Hadoop软件配置文件覆盖所述目标主机中保存的默认配置文件之后，在所述目标主机的所述Hadoop软件配置文件的slaves或workers文档中，添加所述目标主机上保存的所述身份信息对应主机的所述主机信息；第二广播单元409，用于将所述Hadoop软件配置文件广播至所述目标主机上保存的所述身份信息对应主机中。

在一种可能实现的方式中，所述N台主机包括主节点主机和备节点主机，所述目标主机为主节点主机；所述Hadoop软件配置文件包括主节点主机配置文件和备节点主机配置文件，其中，所述主节点主机配置文件与所述N台主机中所述主节点主机匹配，所述备节点主机配置文件与所述N台主机中所述备节点主机匹配。

需要说明的是，各个操作的实现还可以对应参照图2和图3所示的方法实施例的相应描述，此处不再赘述。

如图5所示，图5是本申请实施例提供的另一种Hadoop自动安装装置的结构示意图，该装置20包括至少一个处理器501，至少一个存储器502、至少一个通信接口503。此外，该设备还可以包括天线等通用部件，在此不再详述。

处理器501可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。

通信接口503，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，核心网，无线局域网(Wireless Local Area Networks，WLAN)等。

存储器502可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

其中，所述存储器502用于存储执行以上方案的应用程序代码，并由处理器501来控制执行。所述处理器501用于执行所述存储器502中存储的应用程序代码。

存储器502存储的代码可执行以上图2或图3提供的Hadoop自动安装方法，比如，当装置20为Hadoop自动安装装置101时，可以确定目标主机集群，所述目标集群包括待安装Hadoop软件的N台主机，N为大于1的整数；将所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存，其中，一台主机对应一个身份信息；控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装，所述目标主机为所述N台主机中的任意一台主机。

需要说明的是，本申请实施例中所描述的Hadoop自动安装装置20中各功能单元的功能可参照图2、图3所示的方法实施例的相应描述，此处不再赘述。

在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。

另外，在本申请各个实施例中的各功能组件可以集成在一个组件也可以是各个组件单独物理存在，也可以是两个或两个以上组件集成在一个组件中。上述集成的组件既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的组件如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个本申请实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。尽管在此结合各实施例对本申请进行了描述，然而，在实施例所要求保护的本申请过程中，本领域技术人员可理解并实现公开实施例的其他变化。

Claims (10)

1.一种Hadoop自动安装方法，其特征在于，包括：

确定目标主机集群，所述目标集群包括待安装Hadoop软件的N台主机，N为大于1的整数；

将所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存，其中，一台主机对应一个身份信息；

控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装，所述目标主机为所述N台主机中的任意一台主机。

2.根据权利要求1所述方法，其特征在于，所述确定目标主机集群，包括：

将M台主机中拥有sudo用户权限的N台主机确认为目标主机集群，其中，M为大于或等于N的整数。

3.根据权利要求1所述方法，其特征在于，所述将所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存之前，还包括：

将所述N台主机的N个主机信息更新至所述目标主机集群每一台主机中，其中，一台主机对应一个主机信息，所述主机信息包括主机名和主机地址；

根据N个所述主机信息，确定所述N台主机分别对应的所述身份信息。

4.根据权利要求1所述方法，其特征在于，所述控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装之前，还包括：

确定所述N台主机需要安装所述Hadoop软件的安装信息，所述安装信息包括Hadoop软件安装压缩包和Hadoop软件配置文件；

将所述Hadoop软件安装压缩包发送到所述N个主机中的每一个主机的安装目录中进行解压，获得解压后的所述Hadoop软件，并将所述Hadoop软件配置文件覆盖所述目标主机中保存的默认配置文件。

5.根据权利要求4所述方法，其特征在于，所述将所述Hadoop软件配置文件覆盖所述目标主机中保存的默认配置文件之后，还包括：

在所述目标主机的所述Hadoop软件配置文件的slaves或workers文档中，添加所述目标主机上保存的所述身份信息对应主机的所述主机信息；

将所述Hadoop软件配置文件广播至所述目标主机上保存的所述身份信息对应主机中。

6.根据权利要求4所述方法，其特征在于，所述N台主机包括主节点主机和备节点主机，所述目标主机为主节点主机；所述Hadoop软件配置文件包括主节点主机配置文件和备节点主机配置文件，其中，所述主节点主机配置文件与所述N台主机中所述主节点主机匹配，所述备节点主机配置文件与所述N台主机中所述备节点主机匹配。

7.一种Hadoop自动安装装置，其特征在于，包括：

第一确定单元，用于确定目标主机集群，所述目标集群包括待安装Hadoop软件的N台主机，N为大于1的整数；

广播单元，用于将所述N台主机的N个身份信息广播到所述N台主机的每台主机中保存，其中，一台主机对应一个身份信息；

安装单元，用于控制目标主机调用Hadoop软件，对所述目标主机上保存的身份信息对应的主机进行所述Hadoop软件的安装，所述目标主机为所述N台主机中的任意一台主机。

8.根据权利要求7所述装置，其特征在于，所述第一确定单元，具体用于：

将M台主机中拥有sudo用户权限的N台主机确认为目标主机集群，其中，M为大于或等于N的整数。

9.一种Hadoop自动安装装置，其特征在于，包括处理组件、存储组件和通信模组件，处理组件、存储组件和通信组件相互连接，其中，存储组件用于存储计算机程序，通信组件用于与外部设备进行信息交互；处理组件被配置用于调用所述计算机程序，执行如权利要求1-6任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至6任意一项所述的方法。

Images