CN108549717A - 自动化部署运维Hadoop生态圈组件的方法及系统 - Google Patents

Abstract

本发明公开了一种自动化部署运维Hadoop生态圈组件的方法及系统。该方法包括：选取一台主机作为主节点，剩余主机作为从节点；主节点上生成单节点配置功能脚本；根据单节点配置功能脚本生成单节点环境配置脚本；主节点上执行单节点环境配置脚本；主节点执行集群免密登录脚本；主节点调用远程分发脚本将单节点环境配置脚本分发到从节点上；主节点控制从节点执行单节点环境配置脚本；主节点调用yum源配置脚本；主节点执行部署安装脚本，主节点和从节点上安装Hadoop生态圈组件；主节点执行预置的管理启动脚本对Hadoop生态圈组件进行停止、启动和重启的管理操作。本发明通过自动化脚本代替人工部署配置，增加大规模部署Hadoop生态圈组件的效率，同时后期运维简单。

Description

自动化部署运维Hadoop生态圈组件的方法及系统

技术领域

本发明涉及计算机应用技术领域，更具体地，涉及一种自动化部署运维Hadoop生态圈组件的方法及系统。

背景技术

随着互联网大数据技术的不断应用普及，数据量正在呈指数级增长，大约每两年翻一番，这意味着在最近两年产生的数据量相较于之前产生的全部数据之和还要多，对于如此巨量数据与之相关的存储、分析、流转等等环节产生了一系列关联的问题，由此大数据平台应运而生。Hadoop已经成为目前大数据处理的数据平台的重要组成部分。随着业务量的增长和业务数据量的增长，在上百台甚至上千上万台集群规模下，需部署Hadoop的机器成千上万后，单纯依靠手动部署已经是不可能。当然目前也出现了很多自动化部署系统辅助部署，但是需要额外去购买部署，成本比较高。因此如何合理的规划和部署Hadoop集群、如何高效率使用维护Hadoop生态圈组件，就显得尤为重要。

因此，提供一种自动化部署运维Hadoop生态圈组件的方法及系统，实现集群内自动化部署运维Hadoop生态圈组件是本领域亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种自动化部署运维Hadoop生态圈组件的方法及系统，解决了集群内自动化部署运维Hadoop生态圈组件的技术问题。

为了解决上述技术问题，一方面，本发明提出一种自动化部署运维Hadoop生态圈组件的方法，包括：

选取集群中的一台主机作为主节点，所述集群内剩余主机作为从节点；

所述主节点调取预置的配置环境方法脚本，所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本，其中，所述部署环境为所述集群内主机的工作环境，所述集群内的主机执行一个所述单节点配置功能脚本，能够满足部署Hadoop生态圈组件的一个基础功能；

根据多个所述单节点配置功能脚本之间的先后执行顺序生成单节点环境配置脚本，所述集群内的主机执行所述单节点环境配置脚本，能够满足部署Hadoop生态圈组件的环境要求；

在所述主节点上执行所述单节点环境配置脚本，使所述主节点满足部署Hadoop生态圈组件的环境要求，其中，执行所述单节点环境配置脚本后所述主节点的防火墙关闭；

所述主节点执行预置的集群免密登录脚本，实现所述集群内所有主机之间脚本文件及消息的传输；

所述主节点调用预置的远程分发脚本，将所述单节点环境配置脚本分发到所述从节点上；

所述主节点向所述从节点发送启动所述单节点环境配置脚本的指令，远程控制所述从节点执行所述单节点环境配置脚本，其中，执行所述单节点环境配置脚本后所述从节点的防火墙关闭；

所述从节点将所述单节点环境配置脚本的执行状态发送到日志文件中保存；

所述单节点配置功能脚本包括yum源配置脚本，所述主节点调用所述yum源配置脚本，在所述主节点上配置yum源，采用HTTP方式向所述从节点共享同一个所述yum源，其中，所述yum源包括Hadoop生态圈组件的安装包；

所述主节点执行预置的部署安装脚本，所述主节点调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述主节点上安装Hadoop生态圈组件，同时，所述主节点向所述从节点发送部署安装的指令，所述从节点调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述从节点上安装Hadoop生态圈组件；

所述主节点将所述部署安装脚本的执行状态发送到所述日志文件中保存；

所述集群内的主机将各自的运行状态及安装的Hadoop生态圈组件的运行状态进行展示；

所述主节点执行预置的管理启动脚本对所述集群内的主机及主机内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。

可选的，所述主节点向所述从节点发送启动所述单节点环境配置脚本的指令，远程控制所述从节点执行所述单节点环境配置脚本的步骤进一步包括：

所述主节点调用远程维护工具向所述从节点批量发送启动所述单节点环境配置脚本的指令，所述主节点远程批量控制所述从节点执行所述单节点环境配置脚本。

可选的，所述远程维护工具包括mussh、pdsh或者pssh。

可选的，所述方法还包括：所述主节点调用所述远程维护工具，在所述集群内增加或者去除主机、处理所述集群内主机及主机内Hadoop生态圈组件的异常运行状态。

可选的，所述单节点配置功能脚本包括：禁用SElinux策略脚本、禁用TransparentHuge Pages脚本、目录默认访问权限配置脚本、修改linux最大文件句柄数脚本和解压安装JDK工具包，修改环境变量及配置文件内容。

为了解决上述问题，另一方面，本发明还提供一种自动化部署运维Hadoop生态圈组件的系统，所述系统包括多台主机组成的集群，所述集群内的主机通过网络相连接，所述集群包括一台主节点主机和多台从节点主机，其中，

所述主节点主机包括存储器和处理器，其中，

所述存储器用于存储集群免密登录脚本、配置环境方法脚本、单节点环境配置脚本、远程分发脚本、yum源配置脚本、部署安装脚本、管理启动脚本和日志文件；

所述处理器包括部署模块和运维模块；

所述部署模块包括：单节点配置功能脚本生成模块、单节点环境配置脚本生成模块、主节点主机环境配置模块、免密登录模块、远程分发模块、环境配置执行模块、yum源配置模块、安装模块；

所述单节点配置功能脚本生成模块分别与所述存储器和所述单节点环境配置脚本生成模块相连接，从所述存储器调取所述配置环境方法脚本，所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本，并将所述单节点配置功能脚本发送到所述单节点环境配置脚本生成模块，其中，所述部署环境为所述集群内主机的工作环境，所述集群内的主机执行一个所述单节点配置功能脚本，能够满足部署Hadoop生态圈组件的一个基础功能；

所述单节点环境配置脚本生成模块分别与所述单节点配置功能脚本生成模块和所述存储器相连接，用于根据多个所述单节点配置功能脚本之间的先后执行顺序生成所述单节点环境配置脚本，并将所述单节点环境配置脚本发送到所述存储器存储，其中，所述集群内的主机执行所述单节点环境配置脚本，能够满足部署Hadoop生态圈组件的环境要求；

所述主节点主机环境配置模块与所述存储器相连接，用于调取所述单节点环境配置脚本，在所述主节点主机上执行所述单节点环境配置脚本，使所述主节点主机满足部署Hadoop生态圈组件的环境要求，其中，执行所述单节点环境配置脚本后所述主节点主机的防火墙关闭；

所述免密登录模块与所述存储器相连接，所述免密登录模块从所述存储器调取所述集群免密登录脚本，所述主节点主机执行所述集群免密登录脚本，实现所述集群内所有主机之间脚本文件及消息的传输；所述远程分发模块分别与所述存储器和所述从节点主机相连接，用于从所述存储器获取所述远程分发脚本和所述单节点环境配置脚本，执行所述远程分发脚本将所述单节点环境配置脚本发送到所述从节点主机上；

所述环境配置执行模块与所述从节点主机相连接，用于向所述从节点主机发送启动所述单节点环境配置脚本的指令，远程控制所述从节点主机执行所述单节点环境配置脚本，其中，执行所述单节点环境配置脚本后所述从节点主机的防火墙关闭；

所述yum源配置模块分别与所述存储器和所述从节点主机相连接，用于从所述存储器获取所述yum源配置脚本，在所述主节点主机上配置yum源，采用HTTP方式向所述集群内的主机共享同一个所述yum源，其中，所述yum源包括Hadoop生态圈组件的安装包；

所述安装模块分别与所述存储器和所述从节点主机相连接，用于从所述存储器获取所述部署安装脚本，在所述主节点主机上执行所述部署安装脚本，所述主节点主机调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述主节点主机上安装Hadoop生态圈组件，同时，所述主节点主机向所述从节点主机发送部署安装的指令；所述从节点主机调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述从节点主机上安装Hadoop生态圈组件；

所述运维模块包括：日志存储模块、界面展示模块和管理启动模块；

所述日志存储模块分别与所述存储器和所述集群内的主机相连接，用于获取所述从节点主机上所述单节点环境配置脚本的执行状态和主节点主机上所述部署安装脚本的执行状态生成所述日志文件，并将所述日志文件发送到所述存储器存储；

所述界面展示模块，用于展示所述集群内的主机各自的运行状态及安装的Hadoop生态圈组件的运行状态；

所述管理启动模块，用于对所述集群内的主机及主机内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。

可选的，所述环境配置执行模块包括远程维护工具，所述主节点主机调用所述远程维护工具向所述从节点主机批量发送启动所述单节点环境配置脚本的指令，所述主节点主机远程批量控制所述从节点主机执行所述单节点环境配置脚本。

可选的，所述远程维护工具包括mussh、pdsh或者pssh。

可选的，所述运维模块还包括调用所述远程维护工具，在所述集群内增加或者去除主机、处理所述集群内主机及主机内Hadoop生态圈组件的异常运行状态。

可选的，所述单节点配置功能脚本包括：禁用SElinux策略脚本、禁用TransparentHuge Pages脚本、目录默认访问权限配置脚本、修改linux最大文件句柄数脚本和解压安装JDK工具包，修改环境变量及配置文件内容。

与现有技术相比，本发明的自动化部署运维Hadoop生态圈组件的方法及系统，实现了如下的有益效果：

本发明提供的方法能够实现对集群自动化部署Hadoop生态圈组件，通过预置的各种自动化脚本代替人工部署配置，能够快速安装，调用简单，免去学习安装专业部署系统的工作。同时，在大规模集群情况下免去了手动部署运维的复杂工作，能够明显节约人力成本，增加大规模部署Hadoop生态圈组件的部署效率。并且本方法通过主节点执行管理启动脚本，就能够实现对Hadoop生态圈组件的基础的运行维护管理，后期运行维护简单。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1为本发明实施例1提供的自动化部署运维Hadoop生态圈组件的方法流程图；

图2为本发明实施例3提供的自动化部署运维Hadoop生态圈组件的系统的框图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例1

本发明提供一种自动化部署运维Hadoop生态圈组件的方法，能够实现集群内的主机自动化部署运维Hadoop生态圈组件，图1为本发明实施例1提供的自动化部署运维Hadoop生态圈组件的方法流程图。如图1所示，本发明提供的方法包括：

步骤S101：选取集群中的一台主机作为主节点，所述集群内剩余主机作为从节点；

步骤S102：所述主节点调取预置的配置环境方法脚本，所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本，其中，所述部署环境为所述集群内主机的工作环境，所述集群内的主机执行一个所述单节点配置功能脚本，能够满足部署Hadoop生态圈组件的一个基础功能；例如可以是关闭防火墙、设置主机的访问权限等。

步骤S103：根据多个所述单节点配置功能脚本之间的先后执行顺序生成单节点环境配置脚本，所述集群内的主机执行所述单节点环境配置脚本，能够满足部署Hadoop生态圈组件的环境要求。

单节点配置功能脚本可以根据实际生产环境，对脚本进行逻辑顺序的修改生成单节点环境配置脚本。例如实际生产环境中的JDK版本符合部署hadoop生态圈组件的要求，就可以将包含解压安装JDK工具包，配置系统环境变量的单节点配置功能脚本屏蔽掉，形成针对于当前实际环境的单节点环境配置脚本。

步骤S104：在所述主节点上执行所述单节点环境配置脚本，使所述主节点满足部署Hadoop生态圈组件的环境要求，其中，执行所述单节点环境配置脚本后所述主节点的防火墙关闭；该步骤首先的主节点上执行单节点环境配置脚本，保证主节点满足部署的环境要求，其中需要包括关闭主节点上的防火墙，以便后续步骤的执行。

步骤S105：所述主节点执行预置的集群免密登录脚本，实现所述集群内所有主机之间脚本文件及消息的传输。该步骤后能够实现集群内主机通过SSH协议实现免密码登录功能，形成互联互通的集群，保证各个节点之间文件或者数据的传输。

步骤S106：所述主节点调用预置的远程分发脚本，将所述单节点环境配置脚本分发到所述从节点上。该步骤需要保证在主节点上执行集群免密登录脚本之后才能进行。

步骤S107：所述主节点向所述从节点发送启动所述单节点环境配置脚本的指令，远程控制所述从节点执行所述单节点环境配置脚本，其中，执行所述单节点环境配置脚本后所述从节点的防火墙关闭。各个主机上的防火墙均关闭后，避免集群内Hadoop生态圈组件通讯存在限制问题，保证在部署安装过程中，从节点能够从主节点调用yum源中的安装包。

步骤S108：所述从节点将所述单节点环境配置脚本的执行状态发送到日志文件中保存，该步骤将执行状态保存，便于及时发现运行问题，如执行失败可进行问题定位排查等工作，也有利于后期的维护。

步骤S109：所述单节点配置功能脚本包括yum源配置脚本，所述主节点调用所述yum源配置脚本，在所述主节点上配置yum源，采用HTTP方式向所述从节点共享同一个所述yum源，其中，所述yum源包括Hadoop生态圈组件的安装包。可选的，Hadoop生态圈组件包括Yarn，Hbase，Hive，Pig，Zookeeper，Spark等大数据组件。

步骤S110：所述主节点执行预置的部署安装脚本，所述主节点调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述主节点上安装Hadoop生态圈组件，同时，所述主节点向所述从节点发送部署安装的指令，所述从节点调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述从节点上安装Hadoop生态圈组件。从而完成集群内自动化部署Hadoop生态圈组件。

可以采用HTTP方式执行预置的部署安装脚本，将主节点作为namenode节点，从节点作为datenode节点，实现对集群内各个主机安装Hadoop生态圈组件。执行预置的部署安装脚本，也可以采用调用第三方工具的方式实现调用原生安装包，第三方工具可以是ambari。

步骤S111：所述主节点将所述部署安装脚本的执行状态发送到所述日志文件中保存。通过调用日志文件可以查看Hadoop及其生态圈组件安装状态及结果。

步骤S112：所述集群内的主机将各自的运行状态及安装的Hadoop生态圈组件的运行状态进行展示。可以通过集群主机上的管理工具界面查看各个节点运行状态，监控集群内主机资源使用情况及健康状态。管理工具界面可以是Hadoop原生管理界面，或者为ambari管理界面，当节点进程停止或非正常运行时可通过管理工具界面进行监控。

步骤S113：所述主节点执行预置的管理启动脚本对所述集群内的主机及主机内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。实现对Hadoop生态圈组件的基础运行管理。

本发明提供的自动化部署运维Hadoop生态圈组件的方法，选取集群中一台主机作为主节点，在主节点上通过预置的配置环境方法脚本根据部署环境的要求生成单节点配置功能脚本，然后根据多个单节点配置功能脚本之间的逻辑关系生成单节点环境配置脚本，首先在主节点上执行单节点环境配置脚本，保证主节点满足部署Hadoop生态圈组件的环境要求；然后主节点执行预置的集群免密登录脚本，实现所述集群内所有主机之间脚本文件及消息的传输；然后主节点通过调用预置的远程分发脚本，将所述单节点环境配置脚本分发到所述从节点上，并远程控制从节点执行单节点环境配置脚本，实现从节点满足部署Hadoop生态圈组件的环境要求；主节点通过执行yum源配置脚本，在主节点上配置yum源；在主节点执行部署安装脚本过程中，集群内的各个节点都能够从yum源调取Hadoop生态圈组件的安装包，从而实现在各个节点上安装Hadoop生态圈组件；主节点执行预置的管理启动脚本能够实现对集群内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。

本发明提供的方法能够实现对集群自动化部署Hadoop生态圈组件，通过预置的各种自动化脚本代替人工部署配置，能够快速安装，调用简单，免去学习安装专业部署系统的工作。同时，在大规模集群情况下免去了手动部署运维的复杂工作，能够明显节约人力成本，增加大规模部署Hadoop生态圈组件的部署效率。并且本方法通过主节点执行管理启动脚本，就能够实现对Hadoop生态圈组件的基础的运行维护管理，后期运行维护简单。

实施例2

本发明实施例2提供一种自动化部署运维Hadoop生态圈组件的方法，该方法包括：

选取集群中的一台主机作为主节点，所述集群内剩余主机作为从节点；

所述主节点调取预置的配置环境方法脚本，所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本，其中，所述部署环境为所述集群内主机的工作环境，所述集群内的主机执行一个所述单节点配置功能脚本，能够满足部署Hadoop生态圈组件的一个基础功能；

其中，所述单节点配置功能脚本包括：禁用SElinux策略脚本、禁用TransparentHuge Pages脚本、目录默认访问权限配置脚本、修改linux最大文件句柄数脚本和解压安装JDK工具包。其中，节点上执行禁用SElinux策略脚能够避免系统服务和Hadoop生态圈组件不兼容的情况发生；节点上执行禁用Transparent Huge Pages脚本，可减少了TranslationLookaside Buffer(TLB)使用larger memory pages时的寻址开销能够发挥集群配置的高性能；节点上执行目录默认访问权限配置脚本，如将/etc/profile目录设置当前用户及用户所在组为读写权限，可保证Hadoop生态圈组件安装运行的环境变量能正常调用；节点上执行修改linux最大文件句柄数脚本，可以保证集群并发下使用性能。

根据多个所述单节点配置功能脚本之间的先后执行顺序生成单节点环境配置脚本，所述集群内的主机执行所述单节点环境配置脚本，能够满足部署Hadoop生态圈组件的环境要求；

在所述主节点上执行所述单节点环境配置脚本，使所述主节点满足部署Hadoop生态圈组件的环境要求，其中，执行所述单节点环境配置脚本后所述主节点的防火墙关闭；

所述主节点执行预置的集群免密登录脚本，实现所述集群内所有主机之间脚本文件及消息的传输；

所述主节点调用预置的远程分发脚本，将所述单节点环境配置脚本分发到所述从节点上；

所述主节点向所述从节点发送启动所述单节点环境配置脚本的指令，远程控制所述从节点执行所述单节点环境配置脚本，其中，执行所述单节点环境配置脚本后所述从节点的防火墙关闭；

该步骤中，所述主节点可以调用远程维护工具向所述从节点批量发送启动所述单节点环境配置脚本的指令，所述主节点远程批量控制所述从节点执行所述单节点环境配置脚本。该实施方式中，主节点调用远程维护工具向从节点批量发送指令，能够节省指令发送时间，保证了部署安装的效率。

可选的，所述远程维护工具包括mussh、pdsh或者pssh等批量执行工具。例如可以使用pdsh作为远程维护工具，主节点执行单节点配置功能脚本修改/etc/pdsh/machines文件，在主节点上配置上各个从节点主机的IP地址，在节点上使用pdsh工具命令就可以远程批量执行命令，各个从节点执行启动单节点环境配置脚本文件。

所述从节点将所述单节点环境配置脚本的执行状态发送到日志文件中保存；

所述单节点配置功能脚本包括yum源配置脚本，所述主节点调用所述yum源配置脚本，在所述主节点上配置yum源，采用HTTP方式向所述从节点共享同一个所述yum源，其中，所述yum源包括Hadoop生态圈组件的安装包；

所述主节点执行预置的部署安装脚本，所述主节点调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述主节点上安装Hadoop生态圈组件，同时，所述主节点向所述从节点发送部署安装的指令，所述从节点调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述从节点上安装Hadoop生态圈组件；

所述主节点将所述部署安装脚本的执行状态发送到所述日志文件中保存；

所述集群内的主机将各自的运行状态及安装的Hadoop生态圈组件的运行状态进行展示；

所述主节点执行预置的管理启动脚本对所述集群内的主机及主机内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。

进一步的，本发明提供的方法还包括：所述主节点调用所述远程维护工具，在所述集群内增加或者去除主机、处理所述集群内主机及主机内Hadoop生态圈组件的异常运行状态。该实施方式中，通过远程维护工具进一步实现对Hadoop生态圈组件的运行维护。能够方便的增加或减少主机及处理各种异常状态，使用人员不需要全面了解Hadoop生态圈所有组件的安装维护，对使用人员技术要求低，且后期运营维护简单。

实施例3

本发明还提供一种自动化部署运维Hadoop生态圈组件的系统，能够实现在系统的集群内的主机上完成自动化部署运维Hadoop生态圈组件。图2为本发明实施例3提供的自动化部署运维Hadoop生态圈组件的系统的框图。如图2所示，本发明提供的系统包括多台主机组成的集群，所述集群内的主机通过网络相连接，所述集群包括一台主节点主机和多台从节点主机，其中，

所述主节点主机包括存储器和处理器，其中，

所述存储器用于存储集群免密登录脚本、配置环境方法脚本、单节点环境配置脚本、远程分发脚本、yum源配置脚本、部署安装脚本、管理启动脚本和日志文件；

所述处理器包括部署模块和运维模块，其中，所述部署模块主要用于对集群内主机部署安装Hadoop生态圈组件，所述运维模块，用于安装后Hadoop生态圈组件的运行维护的管理操作；

所述部署模块包括：单节点配置功能脚本生成模块、单节点环境配置脚本生成模块、主节点主机环境配置模块、免密登录模块、远程分发模块、环境配置执行模块、yum源配置模块、安装模块；

所述单节点配置功能脚本生成模块分别与所述存储器和所述单节点环境配置脚本生成模块相连接，从所述存储器调取所述配置环境方法脚本，所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本，并将所述单节点配置功能脚本发送到所述单节点环境配置脚本生成模块，其中，所述部署环境为所述集群内主机的工作环境，所述集群内的主机执行一个所述单节点配置功能脚本，能够满足部署Hadoop生态圈组件的一个基础功能，例如可以是关闭防火墙、设置主机的访问权限等。

所述单节点环境配置脚本生成模块分别与所述单节点配置功能脚本生成模块和所述存储器相连接，用于根据多个所述单节点配置功能脚本之间的先后执行顺序生成所述单节点环境配置脚本，并将所述单节点环境配置脚本发送到所述存储器存储，其中，所述集群内的主机执行所述单节点环境配置脚本，能够满足部署Hadoop生态圈组件的环境要求；

单节点配置功能脚本可以根据实际生产环境，对脚本进行逻辑顺序的修改生成单节点环境配置脚本。例如实际生产环境中的JDK版本符合部署hadoop生态圈组件的要求，就可以将包含解压安装JDK工具包，配置系统环境变量的单节点配置功能脚本屏蔽掉，形成针对于当前实际环境的单节点环境配置脚本。

所述主节点主机环境配置模块与所述存储器相连接，用于调取所述单节点环境配置脚本，在所述主节点主机上执行所述单节点环境配置脚本，使所述主节点主机满足部署Hadoop生态圈组件的环境要求，其中，执行所述单节点环境配置脚本后所述主节点主机的防火墙关闭；

所述免密登录模块与所述存储器相连接，所述免密登录模块从所述存储器调取所述集群免密登录脚本，所述主节点主机执行所述集群免密登录脚本，实现所述集群内所有主机之间脚本文件及消息的传输；

所述远程分发模块分别与所述存储器和所述从节点主机相连接，用于从所述存储器获取所述远程分发脚本和所述单节点环境配置脚本，执行所述远程分发脚本将所述单节点环境配置脚本发送到所述从节点主机上；

所述环境配置执行模块与所述从节点主机相连接，用于向所述从节点主机发送启动所述单节点环境配置脚本的指令，远程控制所述从节点主机执行所述单节点环境配置脚本，其中，执行所述单节点环境配置脚本后所述从节点主机的防火墙关闭；各个主机上的防火墙均关闭后，避免集群内Hadoop生态圈组件通讯存在限制问题，保证在部署安装过程中，从节点能够从主节点调用yum源中的安装包。

所述yum源配置模块分别与所述存储器和所述从节点主机相连接，用于从所述存储器获取所述yum源配置脚本，在所述主节点主机上配置yum源，采用HTTP方式向所述集群内的主机共享同一个所述yum源，其中，所述yum源包括Hadoop生态圈组件的安装包；

所述安装模块分别与所述存储器和所述从节点主机相连接，用于从所述存储器获取所述部署安装脚本，在所述主节点主机上执行所述部署安装脚本，所述主节点主机调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述主节点主机上安装Hadoop生态圈组件，同时，所述主节点主机向所述从节点主机发送部署安装的指令；所述从节点主机调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述从节点主机上安装Hadoop生态圈组件；

可以采用HTTP方式执行预置的部署安装脚本，将主节点作为namenode节点，从节点作为detenode节点，实现对集群内各个主机安装Hadoop生态圈组件。执行预置的部署安装脚本，也可以采用调用第三方工具的方式实现调用原生安装包，第三方工具可以是ambari。

所述运维模块包括：日志存储模块、界面展示模块和管理启动模块；

用于对Hadoop生态圈组件的运行维护的基础管理。

所述日志存储模块分别与所述存储器和所述集群内的主机相连接，用于获取所述从节点主机上所述单节点环境配置脚本的执行状态和主节点主机上所述部署安装脚本的执行状态生成所述日志文件，并将所述日志文件发送到所述存储器存储；

所述界面展示模块，用于展示所述集群内的主机各自的运行状态及安装的Hadoop生态圈组件的运行状态；可以通过集群主机上的管理工具界面查看各个节点运行状态，监控集群内主机资源使用情况及健康状态。管理工具界面可以是Hadoop原生管理界面，或者为ambari管理界面，当节点进程停止或非正常运行时可通过管理工具界面进行监控。

所述管理启动模块，用于对所述集群内的主机及主机内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。

本发明提供的自动化部署运维Hadoop生态圈组件的系统，集群中包括一台主节点主机和多台从节点主机，主节点主机上包括存储器和处理器，其中，存储器用于存储各种预置的脚本文件，例如集群免密登录脚本、配置环境方法脚本、单节点环境配置脚本等。主节点主机上的处理器包括部署模块和运维模块，分别负责对Hadoop生态圈组件的安装部署和运行维护，其中，单节点配置功能脚本生成模块，在主节点主机上通过预置的配置环境方法脚本根据部署环境的要求生成单节点配置功能脚本；单节点环境配置脚本生成模块，根据多个单节点配置功能脚本之间的逻辑关系生成单节点环境配置脚本；主节点主机环境配置模块，实现在主节点主机上执行单节点环境配置脚本，保证主节点主机满足部署Hadoop生态圈组件的环境要求；免密登录模块，使主节点执行预置的集群免密登录脚本，实现所述集群内所有主机之间脚本文件及消息的传输；远程分发模块，控制主节点主机通过调用预置的远程分发脚本，将单节点环境配置脚本分发到从节点主机上，并远程控制从节点主机执行单节点环境配置脚本，实现从节点主机满足部署Hadoop生态圈组件的环境要求；yum源配置模块，控制主节点主机执行yum源配置脚本，在主节点主机上配置yum源；安装模块，控制主节点主机执行部署安装脚本，集群内的各个节点主机都能够从yum源调取Hadoop生态圈组件的安装包，从而实现在各个节点主机上安装Hadoop生态圈组件；运维模块，控制主节点主机执行预置的管理启动脚本能够实现对集群内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。

本发明提供的系统能够实现对集群内主机自动化部署Hadoop生态圈组件，通过预置的各种模块调用自动化脚本代替人工部署配置，能够快速安装，调用简单，免去学习安装专业部署系统的工作。同时，在大规模集群情况下免去了手动部署运维的复杂工作，能够明显节约人力成本，增加大规模部署Hadoop生态圈组件的部署效率。并且本系统通过运维模块，实现主节点主机执行管理启动脚本，就能够实现对Hadoop生态圈组件的基础的运行维护管理，后期运行维护简单。

进一步的，本发明提供的系统中，所述环境配置执行模块包括远程维护工具，所述主节点主机调用所述远程维护工具向所述从节点主机批量发送启动所述单节点环境配置脚本的指令，所述主节点主机远程批量控制所述从节点主机执行所述单节点环境配置脚本。该实施方式中，主节点调用远程维护工具向向从节点批量发送指令，能够节省指令发送时间，保证了部署安装的效率。

进一步的，所述远程维护工具包括mussh、pdsh或者pssh。例如可以使用pdsh作为远程维护工具，主节点执行单节点配置功能脚本修改/etc/pdsh/machines文件，在主节点上配置上各个从节点主机的IP地址，在节点上使用pdsh工具命令就可以远程批量执行命令，各个从节点执行启动单节点环境配置脚本文件。

进一步的，所述运维模块还包括调用所述远程维护工具，在所述集群内增加或者去除主机、处理所述集群内主机及主机内Hadoop生态圈组件的异常运行状态。通过远程维护工具进一步实现对Hadoop生态圈组件的运行维护。

进一步的，本发明提供的系统中，所述单节点配置功能脚本包括：禁用SElinux策略脚本、禁用Transparent Huge Pages脚本、目录默认访问权限配置脚本、修改linux最大文件句柄数脚本和解压安装JDK工具包。其中，节点上执行禁用SElinux策略脚能够避免系统服务和Hadoop生态圈组件不兼容的情况发生；节点上执行禁用Transparent Huge Pages脚本，可减少了Translation Lookaside Buffer(TLB)使用larger memory pages时的寻址开销能够发挥集群配置的高性能；节点上执行目录默认访问权限配置脚本，如将/etc/profile目录设置当前用户及用户所在组为读写权限，可保证Hadoop生态圈组件安装运行的环境变量能正常调用；节点上执行修改linux最大文件句柄数脚本，可以保证集群并发下使用性能。

通过上述实施例可知，本发明的自动化部署运维Hadoop生态圈组件的方法及系统，达到了如下的有益效果：

本发明提供的方法能够实现对集群自动化部署Hadoop生态圈组件，通过预置的各种自动化脚本代替人工部署配置，能够快速安装，调用简单，免去学习安装专业部署系统的工作。同时，在大规模集群情况下免去了手动部署运维的复杂工作，能够明显节约人力成本，增加大规模部署Hadoop生态圈组件的部署效率。并且本方法通过主节点执行管理启动脚本，就能够实现对Hadoop生态圈组件的基础的运行维护管理，后期运行维护简单。

虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种自动化部署运维Hadoop生态圈组件的方法，其特征在于，包括：

选取集群中的一台主机作为主节点，所述集群内剩余主机作为从节点；

所述主节点调取预置的配置环境方法脚本，所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本，其中，所述部署环境为所述集群内主机的工作环境，所述集群内的主机执行一个所述单节点配置功能脚本，能够满足部署Hadoop生态圈组件的一个基础功能；

根据多个所述单节点配置功能脚本之间的先后执行顺序生成单节点环境配置脚本，所述集群内的主机执行所述单节点环境配置脚本，能够满足部署Hadoop生态圈组件的环境要求；

在所述主节点上执行所述单节点环境配置脚本，使所述主节点满足部署Hadoop生态圈组件的环境要求，其中，执行所述单节点环境配置脚本后所述主节点的防火墙关闭；

所述主节点执行预置的集群免密登录脚本，实现所述集群内所有主机之间脚本文件及消息的传输；

所述主节点调用预置的远程分发脚本，将所述单节点环境配置脚本分发到所述从节点上；

所述主节点向所述从节点发送启动所述单节点环境配置脚本的指令，远程控制所述从节点执行所述单节点环境配置脚本，其中，执行所述单节点环境配置脚本后所述从节点的防火墙关闭；

所述从节点将所述单节点环境配置脚本的执行状态发送到日志文件中保存；

所述单节点配置功能脚本包括yum源配置脚本，所述主节点调用所述yum源配置脚本，在所述主节点上配置yum源，采用HTTP方式向所述从节点共享同一个所述yum源，其中，所述yum源包括Hadoop生态圈组件的安装包；

所述主节点执行预置的部署安装脚本，所述主节点调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述主节点上安装Hadoop生态圈组件，同时，所述主节点向所述从节点发送部署安装的指令，所述从节点调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述从节点上安装Hadoop生态圈组件；

所述主节点将所述部署安装脚本的执行状态发送到所述日志文件中保存；

所述集群内的主机将各自的运行状态及安装的Hadoop生态圈组件的运行状态进行展示；

所述主节点执行预置的管理启动脚本对所述集群内的主机及主机内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。

2.根据权利要求1所述的自动化部署运维Hadoop生态圈组件的方法，其特征在于，

所述主节点向所述从节点发送启动所述单节点环境配置脚本的指令，远程控制所述从节点执行所述单节点环境配置脚本的步骤进一步包括：

所述主节点调用远程维护工具向所述从节点批量发送启动所述单节点环境配置脚本的指令，所述主节点远程批量控制所述从节点执行所述单节点环境配置脚本。

3.根据权利要求2所述的自动化部署运维Hadoop生态圈组件的方法，其特征在于，

所述远程维护工具包括mussh、pdsh或者pssh。

4.根据权利要求2所述的自动化部署运维Hadoop生态圈组件的方法，其特征在于，所述方法还包括：

所述主节点调用所述远程维护工具，在所述集群内增加或者去除主机、处理所述集群内主机及主机内Hadoop生态圈组件的异常运行状态。

5.根据权利要求1所述的自动化部署运维Hadoop生态圈组件的方法，其特征在于，

所述单节点配置功能脚本包括：禁用SElinux策略脚本、禁用Transparent Huge Pages脚本、目录默认访问权限配置脚本、修改linux最大文件句柄数脚本和解压安装JDK工具包，修改环境变量及配置文件内容。

6.一种自动化部署运维Hadoop生态圈组件的系统，其特征在于，所述系统包括多台主机组成的集群，所述集群内的主机通过网络相连接，所述集群包括一台主节点主机和多台从节点主机，其中，

所述主节点主机包括存储器和处理器，其中，

所述存储器用于存储集群免密登录脚本、配置环境方法脚本、单节点环境配置脚本、远程分发脚本、yum源配置脚本、部署安装脚本、管理启动脚本和日志文件；

所述处理器包括部署模块和运维模块；

所述部署模块包括：单节点配置功能脚本生成模块、单节点环境配置脚本生成模块、主节点主机环境配置模块、免密登录模块、远程分发模块、环境配置执行模块、yum源配置模块、安装模块；

所述单节点配置功能脚本生成模块分别与所述存储器和所述单节点环境配置脚本生成模块相连接，从所述存储器调取所述配置环境方法脚本，所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本，并将所述单节点配置功能脚本发送到所述单节点环境配置脚本生成模块，其中，所述部署环境为所述集群内主机的工作环境，所述集群内的主机执行一个所述单节点配置功能脚本，能够满足部署Hadoop生态圈组件的一个基础功能；

所述单节点环境配置脚本生成模块分别与所述单节点配置功能脚本生成模块和所述存储器相连接，用于根据多个所述单节点配置功能脚本之间的先后执行顺序生成所述单节点环境配置脚本，并将所述单节点环境配置脚本发送到所述存储器存储，其中，所述集群内的主机执行所述单节点环境配置脚本，能够满足部署Hadoop生态圈组件的环境要求；

所述主节点主机环境配置模块与所述存储器相连接，用于调取所述单节点环境配置脚本，在所述主节点主机上执行所述单节点环境配置脚本，使所述主节点主机满足部署Hadoop生态圈组件的环境要求，其中，执行所述单节点环境配置脚本后所述主节点主机的防火墙关闭；

所述免密登录模块与所述存储器相连接，所述免密登录模块从所述存储器调取所述集群免密登录脚本，所述主节点主机执行所述集群免密登录脚本，实现所述集群内所有主机之间脚本文件及消息的传输；所述远程分发模块分别与所述存储器和所述从节点主机相连接，用于从所述存储器获取所述远程分发脚本和所述单节点环境配置脚本，执行所述远程分发脚本将所述单节点环境配置脚本发送到所述从节点主机上；

所述环境配置执行模块与所述从节点主机相连接，用于向所述从节点主机发送启动所述单节点环境配置脚本的指令，远程控制所述从节点主机执行所述单节点环境配置脚本，其中，执行所述单节点环境配置脚本后所述从节点主机的防火墙关闭；

所述yum源配置模块分别与所述存储器和所述从节点主机相连接，用于从所述存储器获取所述yum源配置脚本，在所述主节点主机上配置yum源，采用HTTP方式向所述集群内的主机共享同一个所述yum源，其中，所述yum源包括Hadoop生态圈组件的安装包；

所述安装模块分别与所述存储器和所述从节点主机相连接，用于从所述存储器获取所述部署安装脚本，在所述主节点主机上执行所述部署安装脚本，所述主节点主机调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述主节点主机上安装Hadoop生态圈组件，同时，所述主节点主机向所述从节点主机发送部署安装的指令；所述从节点主机调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述从节点主机上安装Hadoop生态圈组件；

所述运维模块包括：日志存储模块、界面展示模块和管理启动模块；

所述日志存储模块分别与所述存储器和所述集群内的主机相连接，用于获取所述从节点主机上所述单节点环境配置脚本的执行状态和主节点主机上所述部署安装脚本的执行状态生成所述日志文件，并将所述日志文件发送到所述存储器存储；

所述界面展示模块，用于展示所述集群内的主机各自的运行状态及安装的Hadoop生态圈组件的运行状态；

所述管理启动模块，用于对所述集群内的主机及主机内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。

7.根据权利要求6所述的自动化部署运维Hadoop生态圈组件的系统，其特征在于，

所述环境配置执行模块包括远程维护工具，所述主节点主机调用所述远程维护工具向所述从节点主机批量发送启动所述单节点环境配置脚本的指令，所述主节点主机远程批量控制所述从节点主机执行所述单节点环境配置脚本。

8.根据权利要求7所述的自动化部署运维Hadoop生态圈组件的系统，其特征在于，

所述远程维护工具包括mussh、pdsh或者pssh。

9.根据权利要求7所述的自动化部署运维Hadoop生态圈组件的系统，其特征在于，

所述运维模块还包括调用所述远程维护工具，在所述集群内增加或者去除主机、处理所述集群内主机及主机内Hadoop生态圈组件的异常运行状态。

10.根据权利要求6所述的自动化部署运维Hadoop生态圈组件的系统，其特征在于，

所述单节点配置功能脚本包括：禁用SElinux策略脚本、禁用Transparent Huge Pages脚本、目录默认访问权限配置脚本、修改linux最大文件句柄数脚本和解压安装JDK工具包，修改环境变量及配置文件内容。