CN116028463A - 搭建存储与计算分离的大数据平台的方法 - Google Patents

Abstract

本申请公开了一种搭建存储与计算分离的大数据平台的方法。该方法包括：构建第一服务组件，接收大数据平台发送的第二服务组件并对第二服务组件和角色的功能进行升级。在第一候选设备上部署Ambari管理工具，在第二候选设备上部署存储集群，在第三候选设备上部署计算集群。基于第一服务组件、第二服务组件、Ambari管理工具、存储集群和计算集群得到存储与计算分离的大数据平台。本申请能大幅降低部署存储与计算分离的大数据平台的难度，同时节省了集群的服务成本和管理成本，提高了平台整体的运维效率和水平。

Description

搭建存储与计算分离的大数据平台的方法

技术领域

本申请涉及存储与计算分离的大数据平台技术领域，具体地涉及一种搭建存储与计算分离的大数据平台的方法。

背景技术

大数据体系成形后，大数据相关的技术、产品、落地应用、科技成果及规范标准不断发展，大数据整体生态呈现出从技术到应用转向治理的趋势。大数据不再是仅仅对数据的采集、计算、存储、查询、管理的简单层次，人们也意识到对数据的科学性治理、打破数据之间的壁垒高墙，才能进一步充分挖掘与转化数据资源中所蕴含价值。

从大数据基础架构来看，起初的大数据集群是考虑到单台机器网络吞吐量和集群整体网络带宽上限，才将存储与计算进行耦合，比起通过网络传输大量数据到计算节点，将计算的代码移动到计算节点上更能减少网络带宽消耗，提高数据访问效率。但这种存储与计算的耦合方式是把计算资源和存储资源是按某一比例绑定在集群节点中，若要对大数据集群扩容则必须增加节点，会导致节点存储资源闲置而内存资源紧张或者内存资源闲置而存储资源紧张的情况。由于多数大数据集群采用HDFS进行存储，内置的多副本数据存储策略也会带来较高的存储成本和冗余，虽然HDFS中的balancer角色能起到在各个节点间保持数据存储平衡的作用，但是节点的内存和CPU利用率对比差距明显，部分节点计算资源在高峰时能高达90％，但有的节点的只能达到40-％50％甚至更低，造成严重的资源浪费。

随着通信技术的成熟和新型大数据组件的出现，网络的限制已不是主要问题，现有的开源组件无法直接做到存算分离，着手现有的大数据领域热门的组件与工具，搭建出一个统一的管理平台对存储集群和计算集群的资源进行管理、监控、维护，能为当前的存算分离提供一种快速、简便、架构清晰的存算分离大数据平台，能解决存储与计算一体架构带来的诸多问题。现有大数据平台管理工具通过ambari进行管理一套存储与计算一体的大数据集群，ambari中的服务组件多来自于HDP，但HDP3.1.5之后的组件已关闭开源无法获取，不仅现有的服务组件中提供的版本较低，组件存在占用额外资源的冗余结构，未能满足存算分离需求的功能，还缺少存储与计算分离架构中所需的必要组件，无法对集群进行快速扩缩容，离实现存储与计算分离的大数据平台还有很大的差距。

发明内容

本申请实施例的目的是提供一种搭建存储与计算分离的大数据平台的方法，用以解决现有技术中基于ambari的大数据平台无法直接构建存储与计算分离的大数据平台的问题。

为了实现上述目的，本申请第一方面提供一种搭建存储与计算分离的大数据平台的方法，应用于Ambari平台，Ambari平台与大数据平台通信，方法包括：

构建第一服务组件；

接收大数据平台发送的第二服务组件；

对第二服务组件和角色的功能进行升级；

在第一候选设备上部署Ambari管理工具；

在第二候选设备上部署存储集群；

在第三候选设备上部署计算集群；

基于第一服务组件、第二服务组件、Ambari管理工具、存储集群和计算集群得到存储与计算分离的大数据平台。

在本申请实施例中，第一服务组件包括对象存储服务组件Minio和分布式文件系统组件JuiceFS。

在本申请实施例中，构建第一服务组件包括：

搭建与对象存储服务组件Minio相关联的第一脚本；

搭建Minio Client角色；

搭建Minio Server Node角色；

搭建链接文件信息；

基于第一脚本、Minio Client角色、Minio Server Node角色、链接文件信息得到对象存储服务组件Minio。

在本申请实施例中，构建第一服务组件还包括：

搭建与分布式文件系统组件JuiceFS相关联的第二脚本；

搭建JuiceFS Client角色；

搭建JuiceFS Mount Node角色；

基于第二脚本、JuiceFS Client角色、JuiceFS Mount Node角色得到分布式文件系统组件JuiceFS。

在本申请实施例中，第二服务组件包括：

第一版本的HADOOP组件、第三版本的Spark组件、HDFS组件、Yarn组件、Mapreduce组件、Hive组件、Tez组件和ZooKeeper组件。

在本申请实施例中，对第二服务组件和角色的功能进行升级还包括：

获取第一版本的HADOOP组件的源码包；

修复第一版本的HADOOP组件的源码包中所需要的补丁并进行编译以形成第二版本的HADOOP组件；

将第二版本的HADOOP组件中的第一版本的HADOOP组件的jar包进行替换后将第二版本的HADOOP组件以rpm包的格式打包；

修改HDFS组件、Yarn组件和Mapreduce组件中metainfo.xml的版本信息以完成第一版本的HADOOP组件的升级。

在本申请实施例中，对第二服务组件和角色的功能进行升级包括：

获取第三版本的Spark组件的源码包；

接收第二版本的HADOOP组件的版本参数；

根据HADOOP组件的版本参数对第三版本的Spark组件的源码包进行编译以形成第四版本的Spark组件；

配置文件路径信息后将第四版本的Spark组件以rpm包的格式打包；

将第四版本的Spark组件信息配置添加至stack_package，并根据Spark2的相关信息搭建第四版本的Spark组件的服务框架以完成第四版本的Spark组件的升级。

在本申请实施例中，对第二服务组件和角色的功能进行升级还包括：

分别对HDFS组件、Yarn组件和Mapreduce组件进行特定补丁修复和升级以得到升级后的HDFS组件、Yarn组件和Mapreduce组件；

分别对升级后的HDFS组件、Yarn组件和Mapreduce组件进行编译打包。

移除升级后的HDFS组件中的Name Node角色、Data Node角色、SecondaryNameNode角色、ZKFailover Controller角色和Journal Node角色以完成HDFS组件、Yarn组件和Mapreduce组件的升级。

在本申请实施例中，Ambari管理工具包括Ambari Server和Ambari Agent。

在本申请实施例中，在第二候选设备上部署存储集群包括：

允许管理节点通过安全外壳协议访问第二候选设备并开启免密安全外壳协议；

在Web管理界面上添加新的主机并接收第二候选设备的主机名以作为待部署的存储节点；

在待部署的存储节点上获取Ambari Agent程序和对象存储服务组件Minio的安装包并进行安装；

在待部署的存储节点上安装Minio Client角色和Minio Server Node角色；

在配置对象存储服务组件Minio集群每个存储节点所使用的磁盘路径、存储集群的访问键和密钥信息后启动Minio Server Node角色以完成存储集群的部署。

在本申请实施例中，在第三候选设备上部署计算集群包括：

允许管理节点通过安全外壳协议访问第三候选设备并开启免密安全外壳协议；

在Web管理界面上添加新的主机并接收第三候选设备的主机名以作为待部署的计算节点；

在待部署的计算节点上获取Ambari Agent程序、HADOOP系列组件、Spark3组件和分布式文件系统组件JuiceFS的安装包；

建立分布式文件系统组件JuiceFS的元数据信息的数据库；

在任意待部署的计算节点上通过元数据库的信息和对象存储信息建立分布式文件系统组件JuiceFS的文件系统；

在待部署的计算节点上安装HADOOP Client角色并修改core-site.xml中的相关配置以完成计算集群的部署。

本申请第二方面提供一种Ambari平台，包括：

存储器，被配置成存储指令；以及

处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现根据上述的搭建存储与计算分离的大数据平台的方法。

本申请第三方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据上述的搭建存储与计算分离的大数据平台的方法。

通过上述技术方案，构建第一服务组件，接收大数据平台发送的第二服务组件并对第二服务组件和角色的功能进行升级。在第一候选设备上部署Ambari管理工具，在第二候选设备上部署存储集群，在第三候选设备上部署计算集群。基于第一服务组件、第二服务组件、Ambari管理工具、存储集群和计算集群得到存储与计算分离的大数据平台。本申请能大幅降低部署存储与计算分离的大数据平台的难度，同时节省了集群的服务成本和管理成本，提高了平台整体的运维效率和水平。

本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：

图1示意性示出了根据本申请实施例的一种搭建存储与计算分离的大数据平台的方法的流程图；

图2示意性示出了根据本申请实施例的一种存储与计算分离的大数据平台的结构图；

图3示意性示出了根据本申请实施例的一种存储与计算分离的大数据平台的运行速度图；

图4示意性示出了根据本申请实施例的一种对象存储服务组件Minio的配置文件图；

图5示意性示出了根据本申请实施例的一种分布式文件系统组件JuiceFS的配置文件图；

图6示意性示出了根据本申请实施例的一种Ambari平台的结构框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

图1示意性示出了根据本申请实施例的一种搭建存储与计算分离的大数据平台的方法的流程图。如图1所示，本申请实施例提供一种搭建存储与计算分离的大数据平台的方法，应用于Ambari平台，Ambari平台与大数据平台通信，该方法可以包括下列步骤。

步骤101、构建第一服务组件；

步骤102、接收大数据平台发送的第二服务组件；

步骤103、对第二服务组件和角色的功能进行升级；

步骤104、在第一候选设备上部署Ambari管理工具；

步骤105、在第二候选设备上部署存储集群；

步骤106、在第三候选设备上部署计算集群；

步骤107、基于第一服务组件、第二服务组件、Ambari管理工具、存储集群和计算集群得到存储与计算分离的大数据平台。

Ambari平台是基于Web并支持Apache Hadoop集群的管理和监控的工具。现有的基于Ambari的大数据平台无法直接构建存储与计算分离的大数据平台，并且采用传统的存储与计算一体式架构，缺少存储与计算分离架构的必要组件，而现有的组件存在冗余，占用了额外的机器资源。同时，数据跨集群迁移风险大，数据共享成本高、使用效率低并且不同集群间缺少统一的管理工具。基于此，本申请实施例提出一种搭建存储与计算分离的大数据平台的方法。

在本申请实施例中，以Ambari为可视化管理工具进行平台管理、搭建存储与计算分离的大数据所依赖的必要服务组件，升级和修改现有的Ambari组件，部署minio作为存储集群、yarn作为计算集群方法，通过可视化的Web集群管理工具Ambari实现对存储与计算分离大数据平台的部署、管理、监控和告警等目的。当前Ambari能直接获取且安装的服务组件来源于大数据平台HDP(Hortonworks Data Platform，HDP)，HDP stack提供诸多服务组件，其中包含了数据权限、数据采集、离线/实时数据处理、数据交互、数据存储等多种组件，但无法提供存储与计算分离场景下所需Minio和JuiceFS组件。Ambari下的组件服务框架，主要由configuration(配置文件夹)、package/scripts(组件脚本文件)、metainfo.xml(组件元数据信息，包含版本信息、安装依赖、角色与脚本关联信息等)组成。因此，首先需要进行第一服务组件的构建，第一服务组件为存储与计算分离场景下的所必须的服务组件，包括对象存储服务组件Minio和分布式文件系统组件JuiceFS。然后接收大数据平台发送的第二服务组件，并对第二服务组件和角色的功能进行升级，第二服务组件为现有的组件，也就是Ambari平台能直接获取且安装的服务组件，主要包括HADOOP组件、Spark组件、HDFS组件、Yarn组件和Mapreduce组件。在保证能成功搭建存储与计算分离大数据平台的同时，也要保证整体集群的效率和性能，而现有的第二服务组件无法满足性能要求。因此，需要对第二服务组件和角色的功能进行升级。在现有组件的基础上进行升级，可以适配存储与计算分离的平台所需要的特性。

在存储与计算分离的大数据平台所需要服务组件均搭建或升级完成后，可以进行管理节点、存储节点和计算节点的部署。首先在第一候选设备上部署Ambari管理工具，其中，第一候选设备指管理节点的计算机，由于管理节点只有一个，因此第一候选设备的数量为一台。Ambari管理工具包括Ambari Server和Ambari Agent两部分。Ambari Server是集群管理工具的重要角色，主要功能是与元数据库进行通信、大数据组件服务的安装与卸载、管理监控集群的组件、收集集群节点信息和提供可视化的Web管理页面。Ambari Agent的主要功能则是获取节点上组件角色的运行状况，负责与Ambari Server进行通信，及时反馈节点上组件的异常情况。对于存储节点和计算节点，可以分别在第二候选设备上部署存储集群、在第三候选设备上部署计算集群。其中，第二候选设备为第二候选设备为存储集群的计算机，第三候选设备为计算集群的计算机。在本申请实施例中采用Ambari对计算集群和存储集群进行管理，提高了运维效率，集群的扩展与迁移的风险大大降低。同时引入JuiceFS协调存储集群与计算集群，进一步提高了平台整体的计算速度和优势。

图2示意性示出了根据本申请实施例的一种存储与计算分离的大数据平台的结构图。如图2所示，本申请实施例中的存储与计算分离的大数据平台包括第一服务组件对象存储服务组件Minio和分布式文件系统组件JuiceFS；第二服务组件HADOOP组件、Spark组件、HDFS组件、Yarn组件、Mapreduce组件；Ambari管理工具Ambari Server和Ambari Agent；存储集群和计算集群。

图3示意性示出了根据本申请实施例的一种存储与计算分离的大数据平台的运行速度图。如图3所示，为了验证本申请实施例提出的存储与计算分离的大数据平台的有效性，进一步验证搭建后运行在spark运行sql的处理效率，a_da_fin_material_receival_comsume.sql为仅Minio作为存储集群的运行结果，a_da_fin_material_receival_comsume_jfs.sql为引入JuiceFS协调Minio存储集群的运行结果，如图3所示，运行速度提升了25％左右。

通过上述技术方案，构建第一服务组件，接收大数据平台发送的第二服务组件并对第二服务组件和角色的功能进行升级。在第一候选设备上部署Ambari管理工具，在第二候选设备上部署存储集群，在第三候选设备上部署计算集群。基于第一服务组件、第二服务组件、Ambari管理工具、存储集群和计算集群得到存储与计算分离的大数据平台。本申请能大幅降低部署存储与计算分离的大数据平台的难度，同时节省了集群的服务成本和管理成本，提高了平台整体的运维效率和水平。

在本申请实施例中，第一服务组件可以包括对象存储服务组件Minio和分布式文件系统组件JuiceFS。

在本申请实施例中，第一服务组件为构建存储与计算分离场景下的所必须的服务组件，可以包括对象存储服务组件Minio和分布式文件系统组件JuiceFS。Minio可以提供高可靠、高可用的分布式对象存储服务，例如，一个有N块硬盘的分布式Minio存储系统,只要有N/2硬盘在线，就能保障数据的安全。JuiceFs则是面向云原生设计的高性能共享文件系统组件，可将对象存储接入本地作为海量本地磁盘使用，也可以同时在跨平台、跨地区的不同主机上挂载读写，数据本身会被持久化在对象存储集群中，相对应的元数据可以按需持久化在数据库内，其拥有强一致性、毫秒级延迟、传输加密/静态加密等特点，能很好的提高存储性能，为存储和计算分离的架构提供高效率的支持。

图4示意性示出了根据本申请实施例的一种对象存储服务组件Minio的配置文件图。如图4所示，在本申请实施例中，构建第一服务组件可以包括：

搭建与对象存储服务组件Minio相关联的第一脚本；

搭建Minio Client角色；

搭建Minio Server Node角色；

搭建链接文件信息；

基于第一脚本、Minio Client角色、Minio Server Node角色、链接文件信息得到对象存储服务组件Minio。

在本申请实施例中，对于Minio组件，首先可以通过Ambari平台搭建与对象存储服务组件Minio相关联的脚本即第一脚本，与对象存储服务组件Minio相关联的脚本用于检查配置、获取配置文件、更新配置、启动和停止对象存储服务组件Minio的角色等。然后搭建Minio Client角色，Minio Client角色用于给集群计算节点安装Minio服务和分发配置信息，配置信息可以包括数据目录、配置目录、集群信息、access key和secret key等。在完成Minio Client角色的搭建后，可以开始Minio Server Node角色的搭建，Minio ServerNode角色用于配置数据盘目录。最后搭建链接文件信息，链接文件信息用于提供MinioWebUI界面。基于上述的第一脚本、Minio Client角色、Minio Server Node角色、链接文件信息得到对象存储服务组件Minio。

图5示意性示出了根据本申请实施例的一种分布式文件系统组件JuiceFS的配置文件图。如图5所示，在本申请实施例中，构建第一服务组件还可以包括：

搭建与分布式文件系统组件JuiceFS相关联的第二脚本；

搭建JuiceFS Client角色；

搭建JuiceFS Mount Node角色；

基于第二脚本、JuiceFS Client角色、JuiceFS Mount Node角色得到分布式文件系统组件JuiceFS。

在本申请实施例中，对于分布式文件系统组件JuiceFS，首先可以通过Ambari平台搭建与分布式文件系统组件JuiceFS相关联的脚本即第二脚本，与分布式文件系统组件JuiceFS相关联的脚本用于检查配置、获取配置文件、更新配置、启动和停止分布式文件系统组件JuiceFS的角色等。然后搭建JuiceFS Client角色，JuiceFS Client角色用于给集群计算节点安装JuiceFS相关的jar包和分发配置信息，配置信息可以包括元数据信息、挂载信息、日志配置等。在完成JuiceFS Client角色的搭建后，可以开始JuiceFS Mount Node角色的搭建，JuiceFS Mount Node角色负责执行挂载文件系统、卸载文件系统和检查挂载文件系统进程。基于上述的第二脚本、JuiceFS Client角色、JuiceFS Mount Node角色可以得到分布式文件系统组件JuiceFS。

在本申请实施例中，第二服务组件可以包括：

第一版本的HADOOP组件、第三版本的Spark组件、HDFS组件、Yarn组件、Mapreduce组件、Hive组件、Tez组件和ZooKeeper组件。

在本申请实施例中，第二服务组件为现有的Ambari组件。由于现有的Ambari组件多来自于大数据平台HDP(Hortonworks Data Platform，HDP)，但HDP3.1.5之后的组件已关闭开源无法获取，导致现有的服务组件中提供的版本较低，组件存在占用额外资源的冗余结构，未能满足存算分离需求的功能。因此需要对现有的服务组件即第二服务组件进行升级。在本申请实施例中，第二服务组件包括第一版本的HADOOP组件、第三版本的Spark组件、HDFS组件、Yarn组件、Mapreduce组件、Hive组件、Tez组件和ZooKeeper组件。其中，第一版本指直接从HDP获取的HADOOP组件的版本，优选地，第一版本的HADOOP组件为HADOOP 3.1.4；第三版本指直接从HDP获取的Spark组件的版本，优选地，第三版本的Spark组件为Spark3.1.2。需要说明的是，HADOOP 3.1.4和Spark3.1.2不是当前的最新版本，而是目前使用中较为稳定的版本。

在本申请实施例中，对第二服务组件和角色的功能进行升级还可以包括：

获取第一版本的HADOOP组件的源码包；

修复第一版本的HADOOP组件的源码包中所需要的补丁并进行编译以形成第二版本的HADOOP组件；

将第二版本的HADOOP组件中的第一版本的HADOOP组件的jar包进行替换后将第二版本的HADOOP组件以rpm包的格式打包；

修改HDFS组件、Yarn组件和Mapreduce组件中metainfo.xml的版本信息以完成第一版本的HADOOP组件的升级。

在本申请实施例中，对于第二服务组件中的HADOOP组件，首先从HDP获取第一版本的HADOOP组件的源码包即HADOOP 3.1.4的源码包，然后修复HADOOP 3.1.4的源码包中所需要的补丁并进行编译以得到新版本的HADOOP组件即第二版本的HADOOP组件。在编译完成后将第二版本的HADOOP组件中的第一版本的HADOOP组件的jar包进行替换后，将第二版本的HADOOP组件以rpm包的格式打包。最后修改HDFS组件、Yarn组件和Mapreduce组件中metainfo.xml的版本信息以完成第一版本的HADOOP组件的升级。

在本申请实施例中，对第二服务组件和角色的功能进行升级可以包括：

获取第三版本的Spark组件的源码包；

接收第二版本的HADOOP组件的版本参数；

根据HADOOP组件的版本参数对第三版本的Spark组件的源码包进行编译以形成第四版本的Spark组件；

配置文件路径信息后将第四版本的Spark组件以rpm包的格式打包；

将第四版本的Spark组件信息配置添加至stack_package，并根据Spark2的相关信息搭建第四版本的Spark组件的服务框架以完成第四版本的Spark组件的升级。

在本申请实施例中，对于第二服务组件中的Spark组件，在保证能成功搭建存储与计算分离大数据平台的同时，也要保证整体集群的效率和性能，而Ambari平台只提供Spark2.X的版本，相较于现有的Spark3.X版本有很多的差距，并且Spark3.x版本的新特性保证了在总体性能上比spark2.0提升约2倍。因此，首先可以在官方网址上获取第三版本的Spark组件即spark3.1.2的源码包，同时接收第二版本的HADOOP组件的版本参数，根据HADOOP组件的版本参数对spark3.1.2的源码包进行编译以形成第四版本的Spark组件即Spark3。编译完成后配置文件路径信息，将Spark3以rpm包的格式打包，最后将Spark3的信息配置添加至stack_package，并根据Spark2的configuration、scripts和metainfo.xml等相关信息搭建Spark3的服务框架以完成Spark3的升级。将组件打包成rpm包或者jar包，可以迅速在不同系统上部署与卸载。

在本申请实施例中，对第二服务组件和角色的功能进行升级还可以包括：

分别对HDFS组件、Yarn组件和Mapreduce组件进行特定补丁修复和升级以得到升级后的HDFS组件、Yarn组件和Mapreduce组件；

分别对升级后的HDFS组件、Yarn组件和Mapreduce组件进行编译打包。

移除升级后的HDFS组件中的Name Node角色、Data Node角色、SecondaryNameNode角色、ZKFailover Controller角色和Journal Node角色以完成HDFS组件、Yarn组件和Mapreduce组件的升级。

在本申请实施例中，HDFS组件、Yarn组件、Mapreduce组件同属于HADOOP3.1.1版本，但HADOOP3.1.1版本存在一些较为重大的BUG或能影响存储与计算分离大数据平台的性能，所以需要分别对HDFS组件、Yarn组件和Mapreduce组件进行特定补丁修复和升级以得到升级后的HDFS组件、Yarn组件和Mapreduce组件，然后分别对升级后的HDFS组件、Yarn组件和Mapreduce组件进行编译打包。此外，Ambari集群上使用HDFS组件需要给节点分配NameNode、Data Node、Secondary NameNode、ZKFailover Controller、Journal Node角色，而上述角色的功能对于存储与计算分离大数据平台来说是多余的并且分配后会占用额外的内存与CPU资源，并且每次启动Yarn、Mapreduce或者Hive等依赖HDFS服务的组件，Ambari首先会检查HDFS中现有角色的可用性，若不安装HDFS组件则无法让其他组件顺利启动也无法给其他组件提供core-site.xml、hdfs-site.xml等文件的配置信息，不仅会影响到需要使用HDFS相关jar包的组件，也通过HADOOP或者HDFS shell命令管理存储集群，因此需要保留HDFS服务的同时中移除上述所提到的角色。

在本申请实施例中，Ambari管理工具可以包括Ambari Server和Ambari Agent。

在本申请实施例中，Ambari管理工具包括Ambari Server和Ambari Agent两部分。Ambari Server是集群管理工具的重要角色，主要功能是与元数据库进行通信、大数据组件服务的安装与卸载、管理监控集群的组件、收集集群节点信息和提供可视化的Web管理页面。Ambari Agent的主要功能则是获取节点上组件角色的运行状况，负责与Ambari Server进行通信，及时反馈节点上组件的异常情况。在管理节点上部署Ambari Server和AmbariAgent，首先需要进行环境部署，包括但不限于mysql数据库、Java Development Kit、repo源，在环境部署完成之后可以安装Ambari Server和Ambari Agent。需要说明的是，安装完成后默认通过8080端口访问集群Web管理页面。

在本申请实施例中，在第二候选设备上部署存储集群可以包括：

允许管理节点通过安全外壳协议访问第二候选设备并开启免密安全外壳协议；

在Web管理界面上添加新的主机并接收第二候选设备的主机名以作为待部署的存储节点；

在待部署的存储节点上获取Ambari Agent程序和对象存储服务组件Minio的安装包并进行安装；

在待部署的存储节点上安装Minio Client角色和Minio Server Node角色；

在配置对象存储服务组件Minio集群每个存储节点所使用的磁盘路径、存储集群的访问键和密钥信息后启动Minio Server Node角色以完成存储集群的部署。

在本申请实施例中，第二候选设备为存储集群的计算机。在第二候选设备上部署存储集群首先允许管理节点通过安全外壳协议(Secure Shell，SSH)访问第二候选设备并开启免密安全外壳协议。然后在Web管理界面上添加新的主机并接收第二候选设备的主机名以作为待部署的存储节点，在待部署的存储节点上获取Ambari Agent程序和对象存储服务组件Minio的安装包并进行安装。最后在待部署的存储节点上安装Minio Client角色和Minio Server Node角色配置对象存储服务组件Minio集群每个存储节点所使用的磁盘路径、存储集群的访问键和密钥信息，最后启动Minio Server Node角色以完成存储集群的部署。其中，启动Minio Server Node的命令预先搭建在Minio服务框架中的package/scripts/setup_minio.py、package/scripts/server_node.py和package/scripts/param.py中。存储节点上的Ambari Agent可以通过package/scripts/status_param.py中的信息对Minio Server Node角色的process id进行监控，向管理节点定时发送心跳，让集群监控每个存储节点是否正常运行。若后续需要在存储集群中加入新的存储节点，采用上述的步骤进行添加，便能完成对存储集群的快速扩容。

在本申请实施例中，在第三候选设备上部署计算集群可以包括：

允许管理节点通过安全外壳协议访问第三候选设备并开启免密安全外壳协议；

在Web管理界面上添加新的主机并接收第三候选设备的主机名以作为待部署的计算节点；

在待部署的计算节点上获取Ambari Agent程序、HADOOP系列组件、Spark3组件和分布式文件系统组件JuiceFS的安装包；

建立分布式文件系统组件JuiceFS的元数据信息的数据库；

在任意待部署的计算节点上通过元数据库的信息和对象存储信息建立分布式文件系统组件JuiceFS的文件系统；

在待部署的计算节点上安装HADOOP Client角色并修改core-site.xml中的相关配置以完成计算集群的部署。

在本申请实施例中，第三候选设备指计算集群的计算机。在第三候选设备上部署计算集群首先允许管理节点通过安全外壳协议(Secure Shell，SSH)访问第三候选设备并开启免密安全外壳协议。然后在Web管理界面上添加新的主机并接收第三候选设备的主机名以作为待部署的计算节点，在待部署的计算节点上获取Ambari Agent程序、HADOOP系列组件、Spark3组件和分布式文件系统组件JuiceFS的安装包，在计算节点上安装JuiceFS组件可以给各个计算节点提供访问JuiceFS文件系统所需要的jar包。其中，HADOOP系列组件可以包括相关jar包、HDFS相关jar包、yarn相关jar包、mapreduce相关jar包。具体地，首先在mysql中创建一个用于存放JuiceFS元数据信息的数据库即分布式文件系统组件JuiceFS的元数据信息的数据库。然后在任意待部署的计算节点上通过元数据库的信息和对象存储信息建立分布式文件系统组件JuiceFS的文件系统，最后在待部署的计算节点上安装HADOOP Client角色并修改core-site.xml中的相关配置以完成计算集群的部署。其中，core-site.xml中的相关配置主要有：

fs.defaultFS：集群默认访问地址，Hive、Spark、Yarn等组可以根据该参数自动切换存储集群的访问地址；

fs.AbstractFileSystem.jfs.impl：io.juicefs.JuiceFS；

fs.jfs.impl：io.juicefs.JuiceFileSystem；

juicefs.meta：JuiceFS元数据地址。

需要说明的是，Spark3组件仅需要在一台节点上安装History Server即可。

图6示意性示出了根据本申请实施例的一种Ambari平台的结构框图。

如图6所示，本申请实施例提供一种Ambari平台，可以包括：

存储器610，被配置成存储指令；以及

处理器620，被配置成从存储器610调用指令以及在执行指令时能够实现上述的搭建存储与计算分离的大数据平台的方法。

具体地，在本申请实施例中，处理器620可以被配置成：

构建第一服务组件；

接收大数据平台发送的第二服务组件；

对第二服务组件和角色的功能进行升级；

在第一候选设备上部署Ambari管理工具；

在第二候选设备上部署存储集群；

在第三候选设备上部署计算集群；

基于第一服务组件、第二服务组件、Ambari管理工具、存储集群和计算集群得到存储与计算分离的大数据平台。

在本申请实施例中，第一服务组件包括对象存储服务组件Minio和分布式文件系统组件JuiceFS。

进一步地，处理器620还可以被配置成：

搭建与对象存储服务组件Minio相关联的第一脚本；

搭建Minio Client角色；

搭建Minio Server Node角色；

搭建链接文件信息；

基于第一脚本、Minio Client角色、Minio Server Node角色、链接文件信息得到对象存储服务组件Minio。

进一步地，处理器620还可以被配置成：

搭建与分布式文件系统组件JuiceFS相关联的第二脚本；

搭建JuiceFS Client角色；

搭建JuiceFS Mount Node角色；

基于第二脚本、JuiceFS Client角色、JuiceFS Mount Node角色得到分布式文件系统组件JuiceFS。

在本申请实施例中，第二服务组件包括：

第一版本的HADOOP组件、第三版本的Spark组件、HDFS组件、Yarn组件、Mapreduce组件、Hive组件、Tez组件和ZooKeeper组件。

进一步地，处理器620还可以被配置成：

获取第一版本的HADOOP组件的源码包；

修复第一版本的HADOOP组件的源码包中所需要的补丁并进行编译以形成第二版本的HADOOP组件；

将第二版本的HADOOP组件中的第一版本的HADOOP组件的jar包进行替换后将第二版本的HADOOP组件以rpm包的格式打包；

修改HDFS组件、Yarn组件和Mapreduce组件中metainfo.xml的版本信息以完成第一版本的HADOOP组件的升级。

进一步地，处理器620还可以被配置成：

获取第三版本的Spark组件的源码包；

接收第二版本的HADOOP组件的版本参数；

根据HADOOP组件的版本参数对第三版本的Spark组件的源码包进行编译以形成第四版本的Spark组件；

配置文件路径信息后将第四版本的Spark组件以rpm包的格式打包；

将第四版本的Spark组件信息配置添加至stack_package，并根据Spark2的相关信息搭建第四版本的Spark组件的服务框架以完成第四版本的Spark组件的升级。

进一步地，处理器620还可以被配置成：

分别对HDFS组件、Yarn组件和Mapreduce组件进行特定补丁修复和升级以得到升级后的HDFS组件、Yarn组件和Mapreduce组件；

分别对升级后的HDFS组件、Yarn组件和Mapreduce组件进行编译打包。

移除升级后的HDFS组件中的Name Node角色、Data Node角色、SecondaryNameNode角色、ZKFailover Controller角色和Journal Node角色以完成HDFS组件、Yarn组件和Mapreduce组件的升级。

在本申请实施例中，Ambari管理工具包括Ambari Server和Ambari Agent。

进一步地，处理器620还可以被配置成：

允许管理节点通过安全外壳协议访问第二候选设备并开启免密安全外壳协议；

在Web管理界面上添加新的主机并接收第二候选设备的主机名以作为待部署的存储节点；

在待部署的存储节点上获取Ambari Agent程序和对象存储服务组件Minio的安装包并进行安装；

在待部署的存储节点上安装Minio Client角色和Minio Server Node角色；

在配置对象存储服务组件Minio集群每个存储节点所使用的磁盘路径、存储集群的访问键和密钥信息后启动Minio Server Node角色以完成存储集群的部署。

进一步地，处理器620还可以被配置成：

允许管理节点通过安全外壳协议访问第三候选设备并开启免密安全外壳协议；

在Web管理界面上添加新的主机并接收第三候选设备的主机名以作为待部署的计算节点；

在待部署的计算节点上获取Ambari Agent程序、HADOOP系列组件、Spark3组件和分布式文件系统组件JuiceFS的安装包；

建立分布式文件系统组件JuiceFS的元数据信息的数据库；

在任意待部署的计算节点上通过元数据库的信息和对象存储信息建立分布式文件系统组件JuiceFS的文件系统；

在待部署的计算节点上安装HADOOP Client角色并修改core-site.xml中的相关配置以完成计算集群的部署。

通过上述技术方案，构建第一服务组件，接收大数据平台发送的第二服务组件并对第二服务组件和角色的功能进行升级。在第一候选设备上部署Ambari管理工具，在第二候选设备上部署存储集群，在第三候选设备上部署计算集群。基于第一服务组件、第二服务组件、Ambari管理工具、存储集群和计算集群得到存储与计算分离的大数据平台。本申请能大幅降低部署存储与计算分离的大数据平台的难度，同时节省了集群的服务成本和管理成本，提高了平台整体的运维效率和水平。

本申请实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的搭建存储与计算分离的大数据平台的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种搭建存储与计算分离的大数据平台的方法，其特征在于，应用于Ambari平台，所述Ambari平台与大数据平台通信，所述方法包括：

构建第一服务组件；

接收所述大数据平台发送的第二服务组件；

对所述第二服务组件和角色的功能进行升级；

在第一候选设备上部署Ambari管理工具；

在第二候选设备上部署存储集群；

在第三候选设备上部署计算集群；

基于所述第一服务组件、所述第二服务组件、所述Ambari管理工具、所述存储集群和所述计算集群得到所述存储与计算分离的大数据平台。

2.根据权利要求1所述的方法，其特征在于，所述第一服务组件包括对象存储服务组件Minio和分布式文件系统组件JuiceFS。

3.根据权利要求2所述的方法，其特征在于，所述构建第一服务组件包括：

搭建与所述对象存储服务组件Minio相关联的第一脚本；

搭建Minio Client角色；

搭建Minio Server Node角色；

搭建链接文件信息；

基于所述第一脚本、所述Minio Client角色、所述Minio Server Node角色、所述链接文件信息得到所述对象存储服务组件Minio。

4.根据权利要求2所述的方法，其特征在于，所述构建第一服务组件还包括：

搭建与所述分布式文件系统组件JuiceFS相关联的第二脚本；

搭建JuiceFS Client角色；

搭建JuiceFS Mount Node角色；

基于所述第二脚本、所述JuiceFS Client角色、所述JuiceFS Mount Node角色得到所述分布式文件系统组件JuiceFS。

5.根据权利要求1所述的方法，其特征在于，所述第二服务组件包括：

第一版本的HADOOP组件、第三版本的Spark组件、HDFS组件、Yarn组件、Mapreduce组件、Hive组件、Tez组件和ZooKeeper组件。

6.根据权利要求5所述的方法，其特征在于，所述对所述第二服务组件和角色的功能进行升级还包括：

获取第一版本的HADOOP组件的源码包；

修复所述第一版本的HADOOP组件的源码包中所需要的补丁并进行编译以形成第二版本的HADOOP组件；

将所述第二版本的HADOOP组件中的所述第一版本的HADOOP组件的jar包进行替换后将所述第二版本的HADOOP组件以rpm包的格式打包；

修改所述HDFS组件、所述Yarn组件和所述Mapreduce组件中metainfo.xml的版本信息以完成所述第一版本的HADOOP组件的升级。

7.根据权利要求6所述的方法，其特征在于，所述对所述第二服务组件和角色的功能进行升级包括：

获取第三版本的Spark组件的源码包；

接收所述第二版本的HADOOP组件的版本参数；

根据所述HADOOP组件的版本参数对所述第三版本的Spark组件的源码包进行编译以形成第四版本的Spark组件；

配置文件路径信息后将所述第四版本的Spark组件以rpm包的格式打包；

将所述第四版本的Spark组件信息配置添加至stack_package，并根据Spark2的相关信息搭建所述第四版本的Spark组件的服务框架以完成所述第四版本的Spark组件的升级。

8.根据权利要求5所述的方法，其特征在于，所述对所述第二服务组件和角色的功能进行升级还包括：

分别对所述HDFS组件、所述Yarn组件和所述Mapreduce组件进行特定补丁修复和升级以得到升级后的HDFS组件、Yarn组件和Mapreduce组件；

分别对所述升级后的HDFS组件、Yarn组件和Mapreduce组件进行编译打包。

移除所述升级后的HDFS组件中的Name Node角色、Data Node角色、SecondaryNameNode角色、ZKFailover Controller角色和Journal Node角色以完成所述HDFS组件、所述Yarn组件和所述Mapreduce组件的升级。

9.根据权利要求1所述的方法，其特征在于，所述Ambari管理工具包括Ambari Server和Ambari Agent。

10.根据权利要求1所述的方法，其特征在于，所述在第二候选设备上部署存储集群包括：

允许管理节点通过安全外壳协议访问第二候选设备并开启免密安全外壳协议；

在Web管理界面上添加新的主机并接收第二候选设备的主机名以作为待部署的存储节点；

在所述待部署的存储节点上获取Ambari Agent程序和对象存储服务组件Minio的安装包并进行安装；

在所述待部署的存储节点上安装Minio Client角色和Minio Server Node角色；

在配置所述对象存储服务组件Minio集群每个存储节点所使用的磁盘路径、存储集群的访问键和密钥信息后启动Minio Server Node角色以完成存储集群的部署。

11.根据权利要求1所述的方法，其特征在于，所述在第三候选设备上部署计算集群包括：

允许管理节点通过安全外壳协议访问第三候选设备并开启免密安全外壳协议；

在Web管理界面上添加新的主机并接收第三候选设备的主机名以作为待部署的计算节点；

在所述待部署的计算节点上获取Ambari Agent程序、HADOOP系列组件、Spark3组件和分布式文件系统组件JuiceFS的安装包；

建立所述分布式文件系统组件JuiceFS的元数据信息的数据库；

在任意所述待部署的计算节点上通过所述元数据库的信息和对象存储信息建立所述分布式文件系统组件JuiceFS的文件系统；

在待部署的计算节点上安装HADOOP Client角色并修改core-site.xml中的相关配置以完成计算集群的部署。

12.一种Ambari平台，其特征在于，包括：

存储器，被配置成存储指令；以及

处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现根据权利要求1至11中任一项所述的搭建存储与计算分离的大数据平台的方法。

13.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据权利要求1至11中任一项所述的搭建存储与计算分离的大数据平台的方法。

Images