CN109165022A - 一种大数据集群部署方法、系统、介质及设备 - Google Patents

Abstract

本申请公开了一种大数据集群部署方法，包括：根据目标用户的需求搭建硬件集群；在硬件集群中建立本地仓库，以存储大数据管理工具；利用大数据管理工具在硬件集群中部署大数据集群。可见，在本申请中，利用大数据管理工具可以自动安装并兼容各种组件的特性来部署大数据集群，从而避免了现有技术当中，通过手工方式部署大数据集群组件较多、版本不兼容，而导致部署大数据集群失败概率较高的问题。显然，通过本申请中的方法，可以大大提升部署大数据集群的成功率。相应的，本申请公开的一种大数据集群部署系统、介质及设备，同样具有上述有益效果。

Description

一种大数据集群部署方法、系统、介质及设备

技术领域

本发明涉及大数据技术领域，特别涉及一种大数据集群部署方法、系统、介质及设备。

背景技术

大数据在人们的生活中发挥着越来越重要的作用。比如，利用大数据搭建的购物平台可以为人们推荐更为适合的产品，利用大数据搭建的交通平台可以更加方便人们的出行等等。但是，如果想要从大数据中获取到更多的数据信息，就必须要对大数据中的隐含信息进行信息挖掘与分析，那么，单纯的几个数据服务器的计算能力已经远远不能满足目前的应用需求。所以，大数据集群成为当下的一个研究热点。

在现有技术当中，一般是通过手工的方式来创建大数据集群，但是，通过手工的方式创建大数据集群，往往需要工作人员对各个组件和集群有较为深刻的理解，并且，当创建的大数据集群中的节点较多时，各个组件的版本冲突问题急剧增加，从而导致部署大数据集群的成功率较低。由此可见，如何提高大数据集群部署的成功率，是本领域技术人员亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种大数据集群部署方法、系统、介质及设备，以提高部署大数据集群的成功率。其具体方案如下：

一种大数据集群部署方法，包括：

根据目标用户的需求搭建硬件集群；

在所述硬件集群中建立本地仓库，以存储大数据管理工具；

利用所述大数据管理工具在所述硬件集群中部署大数据集群。

优选的，所述根据目标用户的需求搭建硬件集群的过程，包括：

根据所述目标用户的需求，利用交换机搭建所述硬件集群。

优选的，所述利用交换机搭建所述硬件集群的过程，包括：

利用所述交换机连接目标节点，得到局域网；

在所述局域网中采用master/salve架构搭建所述硬件集群。

优选的，所述在所述局域网中采用master/salve架构搭建所述硬件集群的过程，包括：

在所述局域网中采用所述master/salve架构部署所述目标节点，得到主节点与从节点；

利用Java语言编写所述主节点的主进程，利用Python语言编写所述从节点的从进程，得到所述硬件集群。

优选的，所述利用所述大数据管理工具在所述硬件集群中部署大数据集群的过程，包括：

在所述主节点上部署所述大数据管理工具，并利用所述大数据管理工具在所述硬件集群中部署所述大数据集群。

优选的，所述在所述硬件集群中建立本地仓库，以存储大数据管理工具的过程，包括：

在所述硬件集群的repo上建立所述本地仓库，以存储所述大数据管理工具。

优选的，所述在所述硬件集群中建立本地仓库，以存储大数据管理工具的过程，包括：

在所述硬件集群中建立所述本地仓库，以存储Hadoop和/或Hive和/或HBASE和/或Spark和/或Zookeeper和/或Ambari。

相应的，本发明还公开了一种大数据集群部署系统，包括：

集群搭建模块，用于根据目标用户的需求搭建硬件集群；

仓库建立模块，用于在所述硬件集群中建立本地仓库，以存储大数据管理工具；

工具部署模块，用于利用所述大数据管理工具在所述硬件集群中部署大数据集群。

相应的，本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述公开的一种大数据集群部署方法的步骤。

相应的，本发明还公开了一种大数据集群部署设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如前述公开的一种大数据集群部署方法的步骤。

可见，在本发明中，首先是根据目标用户的需求建立一个硬件集群，然后在硬件集群中建立本地仓库，利用本地仓库来存储下载到的大数据管理工具，最后，利用大数据管理工具在硬件集群中部署大数据集群，也即，利用大数据管理工具可以自动安装并兼容各种组件的特性来部署大数据集群，从而避免了现有技术当中，通过手工方式部署大数据集群组件较多、版本不兼容，而导致部署大数据集群失败概率较高的问题。显然，通过本发明中的方法，可以大大提升部署大数据集群的成功率。相应的，本发明提供的一种大数据集群部署系统、介质及设备，同样具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种大数据集群部署方法的流程图；

图2为本发明实施例提供的另一种大数据集群部署方法的流程图；

图3为本发明实施例提供的又一种大数据集群部署方法的流程图；

图4为本发明实施例提供的一种大数据集群部署系统的结构图；

图5为本发明实施例提供的一种大数据集群部署设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种大数据集群部署方法，如图1所示，该方法包括：

步骤S11：根据目标用户的需求搭建硬件集群；

可以理解的是，在实际应用当中，目标用户搭建大数据集群的需求多种多样，比如：目标用户需要根据实际的需要规划硬件集群中计算机节点的数目、存储各个安装组件的仓库大小、仓库具体安装在哪一个计算机节点中、下载的大数据管理工具是否需要修改、集群中计算机节点的内存大小、时钟是否同步，以及硬件上的配件有多少等等。所以，为了满足实际应用当中的需求，首先，是根据目标用户的需求搭建一个硬件集群。

步骤S12：在硬件集群中建立本地仓库，以存储大数据管理工具；

能够想到的是，为了搭建大数据集群，就需要一些搭建大数据集群的大数据管理工具，考虑到实际应用中的情况比较复杂，比如：会出现网络故障或者是网速较差，会影响大数据集群的部署速度。所以，在本实施例中，首先是将部署大数据集群的大数据管理工具下载到本地，并存储在硬件集群的本地仓库当中，以避免在利用大数据管理工具在硬件集群中部署大数据集群过程中，遇到网络中断或网速较差而影响大数据集群的部署速度。

需要说明的是，在实际操作当中，可以是将大数据管理工具存储在硬件集群中的任意一个节点上，也即，可以在硬件集群的任意一个节点上建立本地仓库，此处不作具体的限定。

步骤S13：利用大数据管理工具在硬件集群中部署大数据集群。

可以理解的是，当在硬件集群中的本地仓库下载到了大数据管理工具时，就可以利用下载到的大数据管理工具在硬件集群中部署大数据集群，能够想到是，利用大数据管理工具可以自动安装大数据管理工具中的各个组件，而且，大部分的大数据管理工具的组件都彼此兼容，所以，利用大数据管理工具安装大数据集群的过程较为简单、易行，同时，也可以降低对大数据管理工具中各个组件的维护成本。

具体的，在实际应用当中，可以利用大数据管理工具，将下载的大数据管理工具的安装包安装到硬件集群的各个物理机器上，从而得到一个大数据集群，并且，当创建好了大数据集群后，就可以以该大数据集群为基础，按照业务需求搭建上层大数据应用，以进一步的拓展大数据集群的业务范围。然后，就可以利用大数据管理工具对建立好的大数据集群进行监控与维护。

具体的，在本实施例中，创建的大数据集群是在Linux环境下的CentOS7系统当中。显然，通过本实施例中的方法，可以避免在现有技术当中，通过手工方式创建大数据集群过程中，由于各个组件之间版本不兼容，从而导致部署大数据集群失败的问题。

可见，在本实施例中，首先是根据目标用户的需求建立一个硬件集群，然后在硬件集群中建立本地仓库，利用本地仓库来存储下载到的大数据管理工具，最后，利用大数据管理工具在硬件集群中部署大数据集群，也即，利用大数据管理工具可以自动安装并兼容各种组件的特性来部署大数据集群，从而避免了现有技术当中，通过手工方式部署大数据集群组件较多、版本不兼容，而导致部署大数据集群失败概率较高的问题。显然，通过本实施例中的方法，可以大大提升部署大数据集群的成功率。

基于上述实施例，本实施例对技术方案作进一步的说明与优化，具体的，上述步骤S11：根据目标用户的需求搭建硬件集群的过程，包括：

根据目标用户的需求，利用交换机搭建硬件集群。

可以理解的是，在实际搭建硬件集群的过程中，需要将一堆的硬件机器连接起来，形成一个局域网，从而得到一个硬件集群，具体的，在本实施例中，是利用交换机将各个硬件机器连接起来，搭建成一个硬件集群，并对各个硬件机器设置防火墙等等。具体的，此处的硬件机器可以为CentOS(Community Enterprise Operating System，社区企业操作系统)。

基于上述实施例，本实施例对上述实施例作进一步的说明与优化，如图2所示，具体的，上述步骤：根据目标用户的需求，利用交换机搭建硬件集群的过程，包括：

步骤S01：根据目标用户的需求，利用交换机连接目标节点，得到局域网；

步骤S02：在局域网中采用master/salve架构搭建硬件集群。

能够想到的是，在实际应用当中，目标用户的需求多种多样，那么搭建得到的硬件集群也各不相同，那么需要连接的目标节点也不一样，所以，在本实施例中，首先是利用交换机连接目标节点，得到一个局域网，然后在局域网中采用master/salve架构搭建硬件集群，也即，将硬件集群中的一台计算机作为主节点，将硬件集群中除去主节点之外的其它节点作为从节点，从而形成一个简单并行的计算结构，并且，在硬件集群中，主节点与从节点之间可以相互进行通信，主节点可以对各个从节点获取到的信息进行汇总，大大提高了硬件集群的计算能力。

基于上述实施例，本实施例对上述实施例作进一步的说明与优化，如图3所示，具体的，上述步骤S02：在局域网中采用master/salve架构搭建硬件集群的过程，包括：

步骤S021：在局域网中采用master/salve架构部署目标节点，得到主节点与从节点；

步骤S022：利用Java语言编写主节点的主进程，利用Python语言编写从节点的从进程，得到硬件集群。

能够想到的是，当在局域网中采用master/salve架构部署目标节点以后，就可以得到主节点与从节点。在实际应用当中，可以利用从节点的从进程对各个节点的运行状态进行监控，利用主节点的主进程收集、汇总以及显示各个从节点发送的心跳信息，这样一来，主节点就可以对建立的硬件集群进行整体的监控。

具体的，在本实施例中，是利用Java语言编写主节点的主进程，利用Python语言编写从节点的从进程，能够想到的是，因为主节点和从节点这两个模块面向的对象不同，也即，主节点中的主进程对外需要向用户提供web访问接口，对内主节点的主进程需要实时接收各个从节点上从进程的心跳信息，以对各个从节点进行监控。而从节点的从进程对内会负责监控大数据集群中的各个大数据进程，对外从进程需要读取本机大数据进程输出的日志信息，并且，从节点需要向主进程汇报各个节点的运行状态信息，显然，利用Java语言编写主节点的主进程，利用Python语言编写从节点的从进程，可以大大提高硬件集群的服务性能。

基于上述实施例，本实施例对技术方案作进一步的说明与优化，具体的，上述步骤S13：利用大数据管理工具在硬件集群中搭建大数据集群的过程，包括：

在主节点上部署大数据管理工具，并利用大数据管理工具在硬件集群中部署大数据集群。

可以理解的是，当利用master/salve架构搭建好了硬件集群以后，就可以利用本地仓库中的大数据管理工具在硬件集群中部署大数据集群，具体的，可以将下载下来的大数据管理工具的安装包安装到主节点的物理机器上，然后，利用主节点上的大数据管理工具，就可以将本地仓库中所有大数据管理工具的相关组件，安装到硬件集群当中的各台物理机器上，以使得利用安装好的大数据管理工具可以对大数据集群进行监控与维护。

基于上述实施例，本实施例对技术方案作进一步的说明与优化，具体的，上述步骤S12：在硬件集群中建立本地仓库，以存储大数据管理工具的过程，包括：

在硬件集群的repo上建立本地仓库，以存储大数据管理工具。

在本实施例中，是在硬件集群的repo上建立本地仓库，也即，将所有下载到的大数据管理工具的相关组件的安装包存储到repo中。需要说明的是，此处的repo是硬件集群中的一个预设节点。当然，在实际应用当中，还可以将本地仓库建立在硬件集群的其他节点上，此处不作具体的限定。

基于上述实施例，本实施例对技术方案作进一步的说明与优化，具体的，上述步骤S12：在硬件集群中建立本地仓库，以存储大数据管理工具的过程，包括：

在硬件集群中建立本地仓库，以存储Hadoop和/或Hive和/或HBASE和/或Spark和/或Zookeeper和/或Ambari。

可以理解的是，在创建大数据集群的过程中，用到的大数据管理工具多种多样，本实施例对用到的一些大数据管理工具进行具体的说明。

Hadoop是一个分布式系统的基础架构，利用Hadoop可以使得用户在不了解分布式底层细节的情况下，开发分布式系统的程序，而且，Hadoop的核心设计为HDFS(Hadoopdistributed file system，分布式文件系统)和MapReduce，可以为硬件集群对大数据的高速运算与存储提供支持，也即，HDFS为海量的数据提供了存储功能，MapReduce为海量的数据提供了计算功能。

其中，MapReduce是一种编程模型，主要用于大规模数据集的并行运算，利用MapReduce可以使得市场上普通的商用服务器构成一个包含上百个或上千个节点的硬件集群，通过MapReduce的计算框架，可以自动完成多个计算任务的并行化处理，大大减少了软件开发人员的负担。

Hive是一个建立在Hadoop上的数据仓库架构，通过Hive可以将结构化的数据文件映射为一张数据库表，以类SQL的方式来操作数据库表中的数据，将难以理解和编程较为复杂的MapReduce翻译为SQL语言。而且，Hive的学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，十分适合数据仓库的统计分析。

HBASE是一种分布式数据库，通过HBASE可以为数据提供相应的存储与检索功能，而且，由于HBASE是面向列的存储和权限控制，所以，非常适合于非结构化数据的存储。

Spark是一种与Hadoop相似的开源集群计算环境，Spark在工作负载方面表现的更加优越，也即，利用Spark除了能够为各个节点提供交互查询功能外，它还可以优化各个节点的工作负载。

Zookeeper是一个高效的分布式协调服务工具，通过Zookeeper可以为各个节点提供配置信息，并为硬件集群提供管理、命名、分布式同步和数据库切换等服务。而Ambari是一个能够让Hadoop以及相关的大数据软件更容易使用的一个服务工具，通过Ambari可以简化安装硬件集群的步骤，进一步的提高大数据集群的服务性能。

需要说明的是，本实施例只是列举了一些较为常用的大数据管理工具，目前大数据管理工具的相关组件已经有50多个，所以，本地仓库中的这些大数据管理工具都可以根据实际情况进行具体的调整与替换，此处不作具体的限定。

相应的，本发明还公开了一种大数据集群部署系统，如图4所示，该系统包括：

集群搭建模块41，用于根据目标用户的需求搭建硬件集群；

仓库建立模块42，用于在硬件集群中建立本地仓库，以存储大数据管理工具；

工具部署模块43，用于利用大数据管理工具在硬件集群中部署大数据集群。

优选的，集群搭建模块41包括：

集群搭建子模块，用于根据目标用户的需求，利用交换机搭建硬件集群。

优选的，集群搭建子模块包括：

节点连接单元，用于利用交换机连接目标节点，得到局域网；

硬件搭建单元，用于在局域网中采用master/salve架构搭建硬件集群。

优选的，硬件搭建单元包括：

节点连接子单元，用于在局域网中采用master/salve架构部署目标节点，得到主节点与从节点；

进程编写子单元，用于利用Java语言编写主节点的主进程，利用Python语言编写从节点的从进程，得到硬件集群。

优选的，工具部署模块43包括：

工具部署子模块，用于在主节点上部署大数据管理工具，并利用大数据管理工具在硬件集群中部署大数据集群。

优选的，仓库建立模块42包括：

仓库建立子模块，用于利用repo在硬件集群中建立本地仓库，以存储大数据管理工具。

优选的，仓库建立模块42包括：

工具存放子模块，用于在硬件集群中建立本地仓库，以存储Hadoop和/或Hive和/或HBASE和/或Spark和/或Zookeeper和/或Ambari。

相应的，本发明还公开了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如前述公开的一种大数据集群部署方法的步骤。

相应的，本发明还公开了一种大数据集群部署设备，如图5所示，包括：

存储器51，用于存储计算机程序；

处理器52，用于执行计算机程序时实现如前述公开的一种大数据集群部署方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种大数据集群部署方法、系统、介质及设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种大数据集群部署方法，其特征在于，包括：

根据目标用户的需求搭建硬件集群；

在所述硬件集群中建立本地仓库，以存储大数据管理工具；

利用所述大数据管理工具在所述硬件集群中部署大数据集群。

2.根据权利要求1所述的方法，其特征在于，所述根据目标用户的需求搭建硬件集群的过程，包括：

根据所述目标用户的需求，利用交换机搭建所述硬件集群。

3.根据权利要求2所述的方法，其特征在于，所述利用交换机搭建所述硬件集群的过程，包括：

利用所述交换机连接目标节点，得到局域网；

在所述局域网中采用master/salve架构搭建所述硬件集群。

4.根据权利要求3所述的方法，其特征在于，所述在所述局域网中采用master/salve架构搭建所述硬件集群的过程，包括：

在所述局域网中采用所述master/salve架构部署所述目标节点，得到主节点与从节点；

利用Java语言编写所述主节点的主进程，利用Python语言编写所述从节点的从进程，得到所述硬件集群。

5.根据权利要求4所述的方法，其特征在于，所述利用所述大数据管理工具在所述硬件集群中部署大数据集群的过程，包括：

在所述主节点上部署所述大数据管理工具，并利用所述大数据管理工具在所述硬件集群中部署所述大数据集群。

6.根据权利要求1所述的方法，其特征在于，所述在所述硬件集群中建立本地仓库，以存储大数据管理工具的过程，包括：

在所述硬件集群的repo上建立所述本地仓库，以存储所述大数据管理工具。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述在所述硬件集群中建立本地仓库，以存储大数据管理工具的过程，包括：

在所述硬件集群中建立所述本地仓库，以存储Hadoop和/或Hive和/或HBASE和/或Spark和/或Zookeeper和/或Ambari。

8.一种大数据集群部署系统，其特征在于，包括：

集群搭建模块，用于根据目标用户的需求搭建硬件集群；

仓库建立模块，用于在所述硬件集群中建立本地仓库，以存储大数据管理工具；

工具部署模块，用于利用所述大数据管理工具在所述硬件集群中部署大数据集群。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的大数据集群部署方法的步骤。

10.一种大数据集群部署设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的大数据集群部署方法的步骤。