CN111061503A - 集群系统的配置方法和集群系统 - Google Patents

Abstract

本发明公开了集群系统的配置方法和集群系统，分别根据应用于主节点和从节点的集群系统的配置方法，主节点可以自动完成自身Hadoop角色的配置，所有从节点也可以自动完成自身Hadoop角色的配置，从而解决现有技术中存在的由于配置Hadoop集群系统耗费大量时间、占用大量人力资源，并且人工进行节点的配置工作的错误率高，从而导致配置Hadoop集群系统的效率低、人力成本高、错误率高的技术问题。

Description

集群系统的配置方法和集群系统

技术领域

本发明涉及计算机技术领域，尤其涉及集群系统的配置方法和集群系统。

背景技术

随着网络技术的发展，网络中产生的数据也越来越多，数据量远远超过一台服务器可以管理的程度，分布式文件系统就应运而生，分布式文件管理系统管理的是一个服务器集群，而Hadoop就是分布式文件管理系统中的一种。

Hadoop包括多台服务器，多种服务协同，可以提供大量复杂数据处理和大量计算能力。一个完整的Hadoop集群系统往往有数十个节点，甚至成百上千个节点构成，其中主节点有一个或多个，从节点有若干个，每个节点为一台服务器。主节点一般提供管理Hadoop集群的服务或角色，例如主节点提供HDFS-Namenode、Yarn-Resourcemanager、Zookeeper、Hue等服务或角色，从节点一般提供计算或存储的服务或角色，例如从节点提供HDFS-Datanode、Yarn-Nodemanager、Hive-Gateway等服务或角色。除了需要安装基础的操作系统，每个节点都需要安装大量软件，和配置数个文件，而根据不同节点在集群中的不同角色，需要安装的软件和需要配置的文件也不尽相同。

而目前配置一套Hadoop集群需要人工对所有节点逐一进行操作系统的安装工作，人工配置所有节点的Hadoop角色所需的信息，例如集群IP地址、主机名、防火墙、NTP服务，调整内核参数等。这些安装及配置工作耗费大量时间和人力资源，并且容易出现配置错误、配置不统一等导致Hadoop集群无法正常工作的现象。从而现有技术中，至少存在如下技术问题：

由于配置Hadoop集群系统耗费大量时间、占用大量人力资源，并且人工进行节点的配置工作的错误率高，从而导致配置Hadoop集群系统的效率低、人力成本高、错误率高。

发明内容

本发明实施例通过提供集群系统的配置方法和集群系统，用于解决现有技术中存在的由于配置Hadoop集群系统耗费大量时间、占用大量人力资源，并且人工进行节点的配置工作的错误率高，从而导致配置Hadoop集群系统的效率低、人力成本高、错误率高的技术问题。

第一方面，本发明一实施例提供了一种集群系统的配置方法，应用于所述集群系统中的主节点，所述方法包括：

在接收到安装命令时，访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件；

根据所述操作系统文件，安装操作系统；

根据所述自动化部署系统文件，安装自动化部署系统；

根据所述Hadoop集群安装文件，配置所述主节点的Hadoop角色。

可选的，在所述根据所述自动化部署系统文件，安装自动化部署系统之后，所述方法还包括：

在接收到添加从节点的操作命令时，获取待添加的从节点的身份标识；

生成与所述身份标识对应的用于指向所述从节点的Hadoop角色的配置信息的指向文件。

可选的，所述访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件，具体包括：

访问与所述主节点连接的存储介质中的所述操作系统文件、所述自动化部署系统文件和所述Hadoop集群安装文件。

可选的，所述配置信息包括：

所述从节点的Hadoop角色的配置文件；或者

所述主节点生成的用于配置所述从节点的Hadoop角色的脚本文件。

第二方面，本发明一实施例提供了一种集群系统的配置方法，应用于所述集群系统中的从节点，所述方法包括：

在接收到从网络启动的操作命令时，访问所述集群系统中的主节点中的操作系统文件或者经由所述主节点访问操作系统文件，以及访问用于指向所述从节点的Hadoop角色的配置信息的指向文件；

根据所述操作系统文件，安装操作系统；

根据所述指向文件，配置所述从节点的Hadoop角色。

可选的，所述根据所述指向文件，配置所述从节点的Hadoop角色，具体包括：

运行所述指向文件，从而获得所述从节点的Hadoop角色的配置信息；

根据所述配置信息，配置所述从节点的Hadoop角色。

可选的，所述配置信息包括：

所述从节点的Hadoop角色的配置文件；或者

所述主节点生成的用于配置所述从节点的Hadoop角色的脚本文件。

第三方面，本发明一实施例提供了一种集群系统中的主节点，包括：

访问单元，用于在接收到安装命令时，访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件；

第一安装单元，用于根据所述操作系统文件，安装操作系统；

第二安装单元，用于根据所述自动化部署系统文件，安装自动化部署系统；

配置单元，用于根据所述Hadoop集群安装文件，配置所述主节点的Hadoop角色。

可选的，所述主节点还包括：

获取单元，用于在所述根据所述自动化部署系统文件，安装自动化部署系统之后，在接收到添加从节点的操作命令时，获取待添加的从节点的身份标识；

生成单元，用于生成与所述身份标识对应的用于指向所述从节点的Hadoop角色的配置信息的指向文件。

可选的，所访问单元具体用于：

访问与所述主节点连接的存储介质中的所述操作系统文件、所述自动化部署系统文件和所述Hadoop集群安装文件。

可选的，所述配置信息包括：

所述从节点的Hadoop角色的配置文件；或者

所述主节点生成的用于配置所述从节点的Hadoop角色的脚本文件。

第四方面，本发明一实施例提供了一种集群系统中的从节点，所述从节点包括：

访问单元，用于在接收到从网络启动的操作命令时，访问所述集群系统中的主节点中的操作系统文件或者经由所述主节点访问操作系统文件，以及访问用于指向所述从节点的Hadoop角色的配置信息的指向文件；

安装单元，用于根据所述操作系统文件，安装操作系统；

配置单元，用于根据所述指向文件，配置所述从节点的Hadoop角色。

可选的，所述配置单元具体包括：

运行子单元，用于运行所述指向文件，从而获得所述从节点的Hadoop角色的配置信息；

配置子单元，用于根据所述配置信息，配置所述从节点的Hadoop角色。

可选的，所述配置信息包括：

所述从节点的Hadoop角色的配置文件；或者

所述主节点生成的用于配置所述从节点的Hadoop角色的脚本文件。

第五方面，本发明一实施例提供了一种计算机装置，包括：

至少一个处理器，以及与所述至少一个处理器连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，执行如上述第一方面或第二方面中所述的方法。

第六方面，本发明一实施例提供了一种计算机可读存储介质，包括：

所述计算机可读存储介质上存储有计算机指令，当所述计算机指令被所述计算机装置的至少一个处理器执行时，实现如上述第一方面或第二方面中所述的方法。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在本发明中，主节点在接收到安装命令时，访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件；根据所述操作系统文件，安装操作系统；根据所述自动化部署系统文件，安装自动化部署系统；根据所述Hadoop集群安装文件，配置所述主节点的Hadoop角色，可以自动完成主节点的Hadoop角色的配置，从节点在接收到从网络启动的操作命令时，访问所述集群系统中的主节点中的操作系统文件或者经由所述主节点访问操作系统文件，以及访问用于指向所述从节点的Hadoop角色的配置信息的指向文件；根据所述操作系统文件，安装操作系统；根据所述指向文件，配置所述从节点的Hadoop角色，从而自动完成从节点的Hadoop角色的配置，在有所主节点和从节点都完成自身Hadoop角色的配置之后，Hadoop集群系统的配置工作完成，从而解决现有技术中存在的由于配置Hadoop集群系统耗费大量时间、占用大量人力资源，并且人工进行节点的配置工作的错误率高，从而导致配置Hadoop集群系统的效率低、人力成本高、错误率高的技术问题，达到提高配置Hadoop集群系统的效率、降低人力成本、降低错误率的技术效果。

附图说明

图1为本发明实施例提供的一种应用于集群系统主节点集群系统的配置方法的流程图；

图2为本发明实施例提供的一种应用于集群系统从节点集群系统的配置方法的流程图；

图3为本发明实施例提供的一种集群系统主节点的结构示意图；

图4为本发明实施例提供的一种集群系统从节点的结构示意图；

图5为本发明实施例提供的存储介质、集群系统主节点和集群系统从节点的关系示意图；

图6为本发明实施例提供的一种计算机装置的物理结构示意图。

具体实施方式

为了解决上述技术问题，本发明实施例中的技术方案的总体思路如下：

集群系统的配置方法和集群系统，具体的，包括：

在接收到安装命令时，访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件；

根据所述操作系统文件，安装操作系统；

根据所述自动化部署系统文件，安装自动化部署系统；

根据所述Hadoop集群安装文件，配置所述主节点的Hadoop角色。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以互相结合。

在本发明实施例中，主节点和从节点可以是电脑、虚拟机等具备网络通信功能、可以提供Hadoop角色的电子设备；

自动化部署系统可以是基于Cobbler或其它网络安装服务器套件的自动化部署系统，其中，Cobbler是一套集成了PXE、DHCP、DNS、Kickstart、Yum等管理工具的系统，Cobbler可以定制从节点的操作系统，同时生成一个Kickstart文件，该文件定义了从节点需要安装的软件及配置，并通过网络推送至从节点，从节点会根据这个Kickstart文件去安装操作系统和Kickstart文件定义的软件，并作出相应配置；

Hadoop角色由若干个Hadoop服务构成，从节点的Hadoop角色包括的Hadoop服务由用户预先设置；

Hadoop集群安装文件用于安装及配置Hadoop集群；操作系统文件供主节点和从节点安装操作系统；自动化部署系统文件用于主节点安装自动化部署系统；其中，自动化部署系统可以引导Hadoop集群的安装及配置；

上述列举仅是示意性说明，不作为本发明实施例的具体限定。

请参见图1，本发明实施例一提供了一种集群系统的配置方法，应用于所述集群系统中的主节点，具体包括如下步骤：

步骤S101，在接收到安装命令时，访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件。

步骤S102，根据所述操作系统文件，安装操作系统。

步骤S103，根据所述自动化部署系统文件，安装自动化部署系统。

步骤S104，根据所述Hadoop集群安装文件，配置所述主节点的Hadoop角色。

首先，执行步骤S101，在接收到安装命令时，访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件。

可选的，所述访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件，具体包括：

访问与所述主节点连接的存储介质中的所述操作系统文件、所述自动化部署系统文件和所述Hadoop集群安装文件。

具体的，所述操作系统可以是Linux、Windows或Mac系统等任何可以兼容Hadoop集群系统的操作系统；所述存储介质可以是光盘、U盘或移动硬盘等任何可以存储所述操作系统文件、所述自动化部署系统文件和所述Hadoop集群安装文件的存储介质。

进一步的，在主节点访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件之后，可以将操作系统文件、自动化部署系统文件和Hadoop集群安装文件存储至主节点本地。

在执行完步骤S101之后，执行步骤S102，根据所述操作系统文件，安装操作系统。

具体的，在主节点访问操作系统文件之后，主节点拥有读、写或者执行该文件的权限，实际的使用权限由创建该文件的人设定，在本实施例中需拥有执行权限，从而主节点可以运行操作系统文件，进而启动操作系统的安装，安装操作系统的过程为现有技术，在此不进行详细描述。

继续执行步骤S103，根据所述自动化部署系统文件，安装自动化部署系统；以及步骤S104，根据所述Hadoop集群安装文件，配置所述主节点的Hadoop角色。

具体的，执行步骤S103和步骤S104时，包括以下方式：

方式一，先执行步骤S103，在执行步骤S104，例如在步骤S102执行完成之后，先访问自动化部署系统文件，运行该文件，安装自动化部署系统，然后再访问Hadoop集群安装文件，运行该文件，配置主节点的Hadoop角色；

方式二，先执行步骤S104，在执行步骤S103，例如在步骤S102执行完成之后，先访问Hadoop集群安装文件，运行该文件，配置主节点的Hadoop角色，然后再访问自动化部署系统文件，运行该文件，安装自动化部署系统。

进一步的，主节点需先访问操作系统文件的，再访问自动化部署系统文件和Hadoop集群安装文件，例如，主节点在安装完操作系统之后，再访问自动化部署系统文件和Hadoop集群安装文件。

可选的，在步骤S103执行完成之后，所述方法还包括：

在接收到添加从节点的操作命令时，获取待添加的从节点的身份标识；

生成与所述身份标识对应的用于指向所述从节点的Hadoop角色的配置信息的指向文件。

具体的，在用户启动了自动化部署系统之后，主节点在接收到添加从节点的操作命令时，获取待添加的从节点的身份标识，从而通过该身份标识，主节点可以和该从节点建立的网络通信连接，例如该身份标识为MAC地址，主节点就能够与该从节点建立的网络通信连接，从而该从节点能够访问主节点。

主节点获取到待添加的从节点的身份标识之后，还会生成与所述身份标识对应的用于指向所述从节点的Hadoop角色的配置信息的指向文件，从而从节点可以根据该指向文件，完成该从节点的Hadoop角色的配置。

进一步的，用户在获取待添加的从节点的身份标识的同时，用户还可以设置从节点IP地址、主机名称和选择该从节点的Hadoop角色。

进一步的，用户启动自动化部署系统可以在主节点本地启动，也可以远程启动，例如用户在一台和主节点建立了网络通信连接的电脑上，通过IP地址访问主节点，并启动自动化部署系统。

可选的，所述配置信息包括：

所述从节点的Hadoop角色的配置文件；或者

所述主节点生成的用于配置所述从节点的Hadoop角色的脚本文件。

具体的，配置信息为从节点的Hadoop角色的配置文件时，根据指向文件，从节点可以访问该配置文件，其中，该配置文件可以包括多个子文件，从节点运行该配置文件，从而完成该从节点的Hadoop角色的配置；或者，该配置信息是主节点生成的用于配置所述从节点的Hadoop角色的脚本文件，例如，主节点基于从节点的Hadoop角色的配置文件，预先生成了用于配置所述从节点的Hadoop角色的Snippet脚本文件，在该从节点根据指向文件，运行该脚本文件，从而完成该从节点的Hadoop角色的配置。Hadoop角色的配置文件包括在Hadoop安装文件中。

请参见图2，基于同一发明构思，本发明实施例二提供了一种集群系统的配置方法，应用于所述集群系统中的从节点，具体包括如下步骤：

步骤S201，在接收到从网络启动的操作命令时，访问所述集群系统中的主节点中的操作系统文件或者经由所述主节点访问操作系统文件，以及访问用于指向所述从节点的Hadoop角色的配置信息的指向文件。

步骤S202，根据所述操作系统文件，安装操作系统。

步骤S203，根据所述指向文件，配置所述从节点的Hadoop角色。

首先执行步骤S201，在接收到从网络启动的操作命令时，访问所述集群系统中的主节点中的操作系统文件或者经由所述主节点访问操作系统文件，以及访问用于指向所述从节点的Hadoop角色的配置信息的指向文件。

具体的，在用户选择从网络启动的操作之后，从节点接到该命令，并根据该命令访问所需安装的操作系统文件和指向文件，此时，操作系统文件和指向文件可以存放在主节点本地中，也可以在与主节点连接的存储介质中，例如，操作系统文件和指向文件在与主节点连接的存储介质中，则从节点经由主节点访问在与主节点连接的存储介质中操作系统文件的指向文件。

进一步的，在从节点访问操作系统文件、指向文件之后，可以将操作系统文件和指向文件存储至从节点本地。

进一步的，从节点需先访问操作系统文件的，再访问指向文件，例如，从节点在安装完操作系统之后，再访问指向文件。

继续执行步骤S202，根据所述操作系统文件，安装操作系统。

具体的，在从节点访问操作系统文件之后，从节点拥有读、写或者执行该文件的权限，实际的使用权限由创建该文件的人设定，在本实施例中需拥有执行权限，从而主从节点可以运行操作系统文件，进而启动操作系统的安装，安装操作系统的过程为现有技术，在此不进行详细描述。安装操作系统可以包括以下方式：

方式一，主节点中存储有操作系统文件或操作系统文件存储于与主节点连接的存储介质，则从节点直接访问主节点中的操作系统文件或者经由主节点访问存储介质中的操作系统文件，访问该系统文件时运行该文件，从而为自身安装操作系统；

方式二，从节点在访问操作系统文件时，将该文件存储至从节点本地，运行本地的操作系统文件，从而为自身安装操作系统。

执行完步骤S202之后，执行步骤S203，根据所述指向文件，配置所述从节点的Hadoop角色。

可选的，所述步骤S203，具体包括：

运行所述指向文件，从而获得所述从节点的Hadoop角色的配置信息；

根据所述配置信息，配置所述从节点的Hadoop角色。

具体的，在从节点访问到指向文件之后，运行该文件，该文件指向该从节点的Hadoop角色的配置信息，根据配置信息，从节点可以进行Hadoop角色的配置。

可选的，所述配置信息包括：

所述从节点的Hadoop角色的配置文件；或者

所述主节点生成的用于配置所述从节点的Hadoop角色的脚本文件。

具体的，若配置信息为从节点的Hadoop角色的配置文件时，根据指向文件，从节点可以访问该配置文件，其中，该配置文件可以包括多个子文件，从节点运行该配置文件，从而完成该从节点的Hadoop角色的配置；或者，该配置信息是主节点生成的用于配置所述从节点的Hadoop角色的脚本文件，例如，主节点基于从节点的Hadoop角色的配置文件，预先生成了用于配置所述从节点的Hadoop角色的Snippet脚本文件，在该从节点根据指向文件，运行该脚本文件，从而完成该从节点的Hadoop角色的配置。例如，指向文件为Kickstart文件，从节点访问该Kickstart文件之后，运行该Kickstart文件，从而将从节点指向配置信息，从节点可以访问该配置信息，若配置信息为从节点的Hadoop角色的配置文件，则从节点访问该配置文件，从而完成该从节点的Hadoop角色的配置；若配置信息为主节点预先生成的用于配置所述从节点的Hadoop角色的Snippet脚本文件，则从节点访问该脚本文件，从而完成该从节点的Hadoop角色的配置。

此外，根据所述配置信息，配置所述从节点的Hadoop角色，根据配置信息存储位置的不同，可以包括以下方式：

方式一，主节点中存储有配置信息或配置信息存储于与主节点连接的存储介质，则从节点根据指向文件可以访问主节点中的配置信息或者经由主节点访问存储介质中的配置信息，访问该配置信息时，根据该配置信息，完成该从节点的Hadoop角色的配置；

方式二，从节点根据指向文件访问该从节点的Hadoop角色的配置信息时，将该配置信息存储至从节点本地，根据本地的配置信息(配置文件或者脚本文件)，完成该从节点的Hadoop角色的配置。

请参见图3，本发明实施例三提供了一种集群系统中的主节点，其特征在于，包括：

访问单元301，用于在接收到安装命令时，访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件；

第一安装单元302，用于根据所述操作系统文件，安装操作系统；

第二安装单元303，用于根据所述自动化部署系统文件，安装自动化部署系统；

配置单元304，用于根据所述Hadoop集群安装文件，配置所述主节点的Hadoop角色。

可选的，所述主节点还包括：

获取单元，用于在所述根据所述自动化部署系统文件，安装自动化部署系统之后，在接收到添加从节点的操作命令时，获取待添加的从节点的身份标识；

生成单元，用于生成与所述身份标识对应的用于指向所述从节点的Hadoop角色的配置信息的指向文件。

可选的，所访问单元具体用于：

访问与所述主节点连接的存储介质中的所述操作系统文件、所述自动化部署系统文件和所述Hadoop集群安装文件。

可选的，所述配置信息包括：

所述从节点的Hadoop角色的配置文件；或者

所述主节点生成的用于配置所述从节点的Hadoop角色的脚本文件。

请参见图4本发明实施例四提供了一种集群系统中的从节点，所述从节点包括：

访问单元401，用于在接收到从网络启动的操作命令时，访问所述集群系统中的主节点中的操作系统文件或者经由所述主节点访问操作系统文件，以及访问用于指向所述从节点的Hadoop角色的配置信息的指向文件；

安装单元402，用于根据所述操作系统文件，安装操作系统；

配置单元403，用于根据所述指向文件，配置所述从节点的Hadoop角色。

可选的，所述配置单元具体包括：

运行子单元，用于运行所述指向文件，从而获得所述从节点的Hadoop角色的配置信息；

配置子单元，用于根据所述配置信息，配置所述从节点的Hadoop角色。

可选的，所述配置信息包括：

所述从节点的Hadoop角色的配置文件；或者

所述主节点生成的用于配置所述从节点的Hadoop角色的脚本文件。

请参见图5，以存储介质和主节点和从节点之间的关系为例，从节点在此例中只设置为3个，实际应用中根据用户的需求设置从节点的个数。存储介质501向主节点502提供操作系统文件、自动化部署系统文件和Hadoop集群安装文件；从节点503、504和505从主节点502获取操作系统文件和用于指向所述从节点的Hadoop角色的配置信息的指向文件，从而实现Hadoop集群系统的配置。

请参见图6，基于同一发明构思，本发明实施例五提供了一种计算机装置，包括：

至少一个处理器601，以及与所述至少一个处理器连接的存储器602；

其中，所述存储器602存储有可被所述至少一个处理器601执行的指令，所述至少一个处理器601通过执行所述存储器602存储的指令，执行如上述方法实施例中所述的方法的步骤。

可选的，处理器601具体可以包括中央处理器(central processing unit，CPU)、特定应用集成电路(application specific integrated circuit，ASIC)，可以是一个或多个用于控制程序执行的集成电路，可以是使用现场可编程门阵列(field programmablegate array，FPGA)开发的硬件电路，可以是基带处理器。

可选的，处理器601可以包括至少一个处理核心。

可选的，该装置还包括存储器602，存储器602可以包括只读存储器(read onlymemory，ROM)、随机存取存储器(random access memory，RAM)和磁盘存储器。存储器602用于存储处理器601运行时所需的数据。

基于同一发明构思，本发明实施例3提供了一种计算机可读存储介质，包括：

所述计算机可读存储介质上存储有计算机指令，当所述计算机指令被所述空调线控器的至少一个处理器执行时，实现如上述方法实施例中所述的方法。

上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：

在本发明中，主节点在接收到安装命令时，访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件；根据所述操作系统文件，安装操作系统；根据所述自动化部署系统文件，安装自动化部署系统；根据所述Hadoop集群安装文件，配置所述主节点的Hadoop角色，可以自动完成主节点的Hadoop角色的配置，从节点在接收到从网络启动的操作命令时，访问所述集群系统中的主节点中的操作系统文件或者经由所述主节点访问操作系统文件，以及访问用于指向所述从节点的Hadoop角色的配置信息的指向文件；根据所述操作系统文件，安装操作系统；根据所述指向文件，配置所述从节点的Hadoop角色，从而自动完成从节点的Hadoop角色的配置，在有所主节点和从节点都完成自身Hadoop角色的配置之后，Hadoop集群系统的配置工作完成，从而解决现有技术中存在的由于配置Hadoop集群系统耗费大量时间、占用大量人力资源，并且人工进行节点的配置工作的错误率高，从而导致配置Hadoop集群系统的效率低、人力成本高、错误率高的技术问题，达到提高配置Hadoop集群系统的效率、降低人力成本、降低错误率的技术效果。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

本领域内的技术人员应明白，本发明实施例可提供为方法、设备、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、设备、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种集群系统的配置方法，应用于所述集群系统中的主节点，其特征在于，所述方法包括：

在接收到安装命令时，访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件；

根据所述操作系统文件，安装操作系统；

根据所述自动化部署系统文件，安装自动化部署系统；

根据所述Hadoop集群安装文件，配置所述主节点的Hadoop角色。

2.如权利要求1所述的方法，其特征在于，在所述根据所述自动化部署系统文件，安装自动化部署系统之后，所述方法还包括：

在接收到添加从节点的操作命令时，获取待添加的从节点的身份标识；

生成与所述身份标识对应的用于指向所述从节点的Hadoop角色的配置信息的指向文件。

3.如权利要求1所述的方法，其特征在于，所述访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件，具体包括：

访问与所述主节点连接的存储介质中的所述操作系统文件、所述自动化部署系统文件和所述Hadoop集群安装文件。

4.如权利要求2所述的方法，其特征在于，所述配置信息包括：

所述从节点的Hadoop角色的配置文件；或者

所述主节点生成的用于配置所述从节点的Hadoop角色的脚本文件。

5.一种集群系统的配置方法，应用于所述集群系统中的从节点，其特征在于，所述方法包括：

在接收到从网络启动的操作命令时，访问所述集群系统中的主节点中的操作系统文件或者经由所述主节点访问操作系统文件，以及访问用于指向所述从节点的Hadoop角色的配置信息的指向文件；

根据所述操作系统文件，安装操作系统；

根据所述指向文件，配置所述从节点的Hadoop角色。

6.如权利要求5所述的方法，其特征在于，所述根据所述指向文件，配置所述从节点的Hadoop角色，具体包括：

运行所述指向文件，从而获得所述从节点的Hadoop角色的配置信息；

根据所述配置信息，配置所述从节点的Hadoop角色。

7.如权利要求5或6所述的方法，其特征在于，所述配置信息包括：

所述从节点的Hadoop角色的配置文件；或者

所述主节点生成的用于配置所述从节点的Hadoop角色的脚本文件。

8.一种集群系统中的主节点，其特征在于，包括：

访问单元，用于在接收到安装命令时，访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件；

第一安装单元，用于根据所述操作系统文件，安装操作系统；

第二安装单元，用于根据所述自动化部署系统文件，安装自动化部署系统；

配置单元，用于根据所述Hadoop集群安装文件，配置所述主节点的Hadoop角色。

9.如权利要求8所述的主节点，其特征在于，所述主节点还包括：

获取单元，用于在所述根据所述自动化部署系统文件，安装自动化部署系统之后，在接收到添加从节点的操作命令时，获取待添加的从节点的身份标识；

生成单元，用于生成与所述身份标识对应的用于指向所述从节点的Hadoop角色的配置信息的指向文件。

10.如权利要求8所述的主节点，其特征在于，所访问单元具体用于：

访问与所述主节点连接的存储介质中的所述操作系统文件、所述自动化部署系统文件和所述Hadoop集群安装文件。

11.如权利要求9所述的主节点，其特征在于，所述配置信息包括：

所述从节点的Hadoop角色的配置文件；或者

所述主节点生成的用于配置所述从节点的Hadoop角色的脚本文件。

12.一种集群系统中的从节点，其特征在于，所述从节点包括：

访问单元，用于在接收到从网络启动的操作命令时，访问所述集群系统中的主节点中的操作系统文件或者经由所述主节点访问操作系统文件，以及访问用于指向所述从节点的Hadoop角色的配置信息的指向文件；

安装单元，用于根据所述操作系统文件，安装操作系统；

配置单元，用于根据所述指向文件，配置所述从节点的Hadoop角色。

13.如权利要求12所述的从节点，其特征在于，所述配置单元具体包括：

运行子单元，用于运行所述指向文件，从而获得所述从节点的Hadoop角色的配置信息；

配置子单元，用于根据所述配置信息，配置所述从节点的Hadoop角色。

14.如权利要求12或13所述的从节点，其特征在于，所述配置信息包括：

所述从节点的Hadoop角色的配置文件；或者

所述主节点生成的用于配置所述从节点的Hadoop角色的脚本文件。

15.一种计算机装置，其特征在于，包括：

至少一个处理器，以及与所述至少一个处理器连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，执行如权利要求1-4或5-7中任一项所述的方法。

16.一种计算机可读存储介质，其特征在于，包括：

所述计算机可读存储介质上存储有计算机指令，当所述计算机指令被所述计算机装置的至少一个处理器执行时，实现如权利要求1-4或5-7中任一项所述的方法。

Images