CN110519100A - 一种多集群管理方法、终端及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种多集群管理方法、终端及计算机可读存储介质，属于集群管理领域，要解决的技术问题为如何基于一个Ambari节点高效可靠的管理多个集群。方法包括：在服务器上部署安装Ambari节点；配置Ambari源码以构建新Ambari界面；设计blueprint模板，所述blueprint模板包括多个组件，所述多个组件用于部署和监控Hadoop集群；基于blueprint部署技术一键部署Hadoop集群。终端包括处理器和存储器，存储器用于存储计算机程序，处理器被配置用于调用所述程序指令执行上述方法。计算机可读存储介质，程序指令当被处理器执行时处理器执行如上述方法。

Description

一种多集群管理方法、终端及计算机可读存储介质

技术领域

本发明涉及集群管理领域，具体地说是一种多集群管理方法、终端及计算机可读存储介质。

背景技术

在大数据的时代，每个行业都在时时刻刻的产生大量多元化的数据，数据正在成为一种生产资料，大数据的研究和分析能够推动各个行业更快更好的发展。Hadoop技术的产生使得人们能够更好对大数据进行分析和研究，在Hadoop集群的部署过程中，Ambari是一个自动化一键部署、实时监控、预警控制、可伸缩扩展、支持Web UI、致力于ApacheHadoop集群的管理工具，现有的Ambari部署方案是一个Ambari管理一个Hadoop集群，并且一个AMBARI_METRICS组件管理和收集一个Hadoop集群的日志信息，在部署的时候对于每个Hadoop集群都需要安装一个Ambari节点，这样在整个集群的部署过程中，不仅要投入一个机器的节点资源，而且会增加部署Ambari节点和部署AMBARI_METRICS组件的时间，在集群部署之后，对于每个Hadoop集群的日志查看，我们需要登录每个Ambari管理界面里面查看日志情况，这使得对于集群的运营和维护成本更高，效率也更低，这对于管理者和用户来说是非常不方便的。

随着云时代的到来，一个Ambari管理一个Hadoop集群的场景不仅增加了管理节点的投入，增加了管理节点的资源和部署时间，而且在集群数量较多的情况下大大增加了集群维护的成本，随着大数据业务快速发展，一对一的集群管理目前显然已经无法满足要求了。基于上述问题，如何基于一个Ambari节点高效可靠的管理多个集群，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供一种多集群管理方法、终端及计算机可读存储介质，来解决如何基于一个Ambari节点高效可靠的管理多个集群的问题。

第一方面，本发明提供一种多集群管理方法，包括：

在服务器上部署安装Ambari节点，所述Ambari节点配置有AMBARI_METRICS组件；

配置Ambari源码以构建新Ambari界面，所述新Ambari界面支持同时显示多个集群名称，用于实现通过一个Ambari界面显示一键切换的Hadoop集群名称；

设计blueprint模板，所述blueprint模板包括多个组件，所述多个组件用于部署和监控Hadoop集群；

基于blueprint部署技术一键部署Hadoop集群。

上述实施方式中，通过配置Ambari源码实现一个Ambari界面同时显示多个集群名称；通过设计blueprint模板实现一个AMBARI_METRICS集群收集多个Hadoop集群的监控信息；通过blueprint部署技术实现一个Ambari界面创建多个可一键切换的集群。

作为优选，通过将集群名称的值作为一个变量添加for循环，以配置Ambari源码以构建新Ambari界面。

作为优选，配置Ambari源码以构建新Ambari界面，包括如下步骤：

修改Ambari源码中ambari-web目录下的app.js文件以将集群名称的值作为一个变量添加for循环；

将修改后的Ambari源码文件替换掉Ambari源上的文件，重新编译源文件上传到本地源上。

作为优选，所述多个组件包括：

监控组件，所述监控组件用于收集集群的监控信息；

汇总组件，所述汇总组件用于归纳汇总监控组件收集的监控信息；

展示组件，所述展示组件用于展示汇总组件汇总的监控信息；

上述监控组件、汇总组件和展示组件用于安装Hadoop集群。

作为优选，监控组件选用metrics monitor组件，汇总组件选用metricscollector组件，展示组件为图表组件、选用grafana组件。

作为优选，监控信息包括但不限于CPU状态、内存状态和Hadoop组件状态。

作为优选，基于blueprint部署技术一键部署Hadoop集群，包括：

输入集群名称；

调用Ambari原生提供的集群创建API，创建多个不同名称的Hadoop集群；

在Ambari界面对创建的集群进行一键式切换并管理。

第二方面，本发明提供一种终端，包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令执行如第一方面任一项所述一种多集群管理方法。

第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，程序指令当被处理器执行时所述处理器执行如第一方面任一项所述的一种多集群管理方法。

本发明的一种多集群管理方法、终端及计算机可读存储介质具有以下优点：

1、通过一个Ambari节点可管理多个集群，实现了一对多管理，节省了管理节点的资源和部署时间，而且在集群数量较多的情况下大大减轻了集群维护的成本；

2、提高了Ambari集群管理的易用性，增加了Ambari集群管理的多样性，提升了Ambari集群中日志的可读性，提高了Ambari集群管理的高效性，提升了数据操作的高效性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明。

附图1为实施例1一种多集群管理方法的流程框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

需要理解的是，在本发明实施例中的“多个”，是指两个或两个以上。

本发明实施例提供一种多集群管理方法、终端及计算机可读存储介质，用于解决如何基于一个Ambari节点高效可靠的管理多个集群的技术问题。

实施例1：

本发明的一种多集群管理方法，包括如下步骤：

S100、在服务器上部署安装Ambari节点，所述Ambari节点配置有AMBARI_METRICS组件；

S200、配置Ambari源码以构建新Ambari界面，所述新Ambari界面支持同时显示多个集群名称，用于实现通过一个Ambari界面显示一键切换的Hadoop集群名称；

S300、设计blueprint模板，所述blueprint模板包括多个组件，所述多个组件用于部署和监控Hadoop集群；

S400、基于blueprint部署技术一键部署Hadoop集群。

其中，Ambari作为Hadoop集群的一种管理工具，为Hadoop集群的部署、实时监控、预警控制、伸缩扩展、提供了很好的保证。

步骤S200中，通过修改Ambari源码中ambari-web目录下的app.js文件将集群名称的值作为一个变量添加for循环实现一个Ambari界面同时显示多个集群名称的效果，然后将修改后的Ambari源码文件替换掉Ambari源上的文件，重新编译源文件上传到本地源上，这样在部署多个Hadoop集群后就能在一个Ambari界面显示多个可一键切换的Hadoop集群名称。

步骤S300中，blueprint模板包含了集群安装时需要安装的多个组件以及该组件需要的一些配置，组件包含监控组件、汇总组件和展示组件、hdfs组件、mapreduce组件以及yarn组件等。

其中，监控组件选用metrics monitor组件，用于收集集群的监控信息，监控信息包括但不限于CPU状态、内存状态和Hadoop组件状态。

汇总组件选用metrics collector组件，用于归纳汇总metrics monitor收集的集群监控信息。

展示组件为图表组件、选用grafana组件，用于展示metrics collector汇总的集群监控信息。

在Hadoop集群中安装的metrics monitor组件的配置项metrics_collector_external_hosts中指定Ambari Metrics集群的主机名,这样能够使创建的Hadoop集群都往Ambari Metrics集群的metrics collector组件中上报监控信息，用户可方便的通过Ambari Metrics集群的grafana组件图表界面切换Hadoop集群名称实现每个集群监控信息的查看。

步骤S400中，用户在集群创建的前端只需要输入集群名称，后台会调用Ambari原生提供的集群创建API，如下POST：

http://{Ambari的ip地址}:8080/api/v1/clusters/{集群名称}，上述POST方式就是Ambari的blueprint部署Hadoop集群的方式。通过创建多个不同名称的Hadoop集群,然后可在Ambari界面实现一键式切换的多集群管理。

实施例2：

本发明的一种终端，包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，存储器用于存储计算机程序，计算机程序包括程序指令，处理器被配置用于调用所述程序指令执行实施例1公开的一种多集群管理方法。

实施例3：

本发明的一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时上述处理器执行如实施例1公开的一种多集群管理方法。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (9)

1.一种多集群管理方法，其特征在于包括：

在服务器上部署安装Ambari节点，所述Ambari节点配置有AMBARI_METRICS组件；

配置Ambari源码以构建新Ambari界面，所述新Ambari界面支持同时显示多个集群名称，用于实现通过一个Ambari界面显示一键切换的Hadoop集群名称；

设计blueprint模板，所述blueprint模板包括多个组件，所述多个组件用于部署和监控Hadoop集群；

基于blueprint部署技术一键部署Hadoop集群。

2.根据权利要求1所述的一种多集群管理方法，其特征在于通过将集群名称的值作为一个变量添加for循环，以配置Ambari源码以构建新Ambari界面。

3.根据权利要求2所述的一种多集群管理方法，其特征在于配置Ambari源码以构建新Ambari界面，包括如下步骤：

修改Ambari源码中ambari-web目录下的app.js文件以将集群名称的值作为一个变量添加for循环；

将修改后的Ambari源码文件替换掉Ambari源上的文件，重新编译源文件上传到本地源上。

4.根据权利要求1、2或3所述的一种多集群管理方法，其特征在于所述多个组件包括：

监控组件，所述监控组件用于收集集群的监控信息；

汇总组件，所述汇总组件用于归纳汇总监控组件收集的监控信息；

展示组件，所述展示组件用于展示汇总组件汇总的监控信息；

上述监控组件、汇总组件和展示组件用于安装Hadoop集群。

5.根据权利要求4所述的一种多集群管理方法，其特征在于监控组件选用metricsmonitor组件，汇总组件选用metrics collector组件，展示组件为图表组件、选用grafana组件。

6.根据权利要求4所述的一种多集群管理方法，其特征在于监控信息包括但不限于CPU状态、内存状态和Hadoop组件状态。

7.根据权利要求1、2或3所述的一种多集群管理方法，其特征在于基于blueprint部署技术一键部署Hadoop集群，包括：

输入集群名称；

调用Ambari原生提供的集群创建API，创建多个不同名称的Hadoop集群；

在Ambari界面对创建的集群进行一键式切换并管理。

8.一种终端，其特征在于包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令执行如权利要求1-7任一项所述一种多集群管理方法。

9.一种计算机可读存储介质，其特征在于所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，程序指令当被处理器执行时所述处理器执行如权利要求1-7任一项所述的一种多集群管理方法。