CN108958744B - 大数据分布式集群的部署方法、装置、介质及电子设备 - Google Patents

Abstract

本发明实施例提供了一种大数据分布式集群的部署方法、装置、介质及电子设备，该方法包括：获取所述集群中各个所述待部署电子设备的配置信息，所述配置信息包括Presto安装路径信息和JDK安装路径信息；基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署所述大数据分布式集群的多个差异性配置模板和公共配置模板；根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备，以生成所述大数据分布式集群。本发明实施例的技术方案提高了Presto集群的部署效率。

Description

大数据分布式集群的部署方法、装置、介质及电子设备

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种大数据分布式集群的部署方法、装置、介质及电子设备。

背景技术

大数据分布式集群Presto是Facebook推出的一个基于Java开发的大数据分布式结构化查询语言(Structured Query Language，简称：SQL) 查询引擎，可对GB级到PB级的海量数据进行快速交互式查询，查询的速度达到商业数据仓库的级别。Presto因其高性能、高稳定性、功能丰富且能与Hadoop大数据生态较完美融合，使其在即席查询领域得到广泛应用。

现有技术中，Presto的部署方式的操作步骤：首先分发Presto的安装包分发至各个需要部署的节点；其次，逐个登录这些部署节点，修改 Presto的Java虚拟机配置文件、节点信息配置文件(其中，每个节点的 id必须唯一)、节点功能、性能以及链接信息配置文件；最后，启动或停止服务时，需要逐个登录部署节点执行启动或停止命令。

然而，现有技术中Presto的部署效率非常低，且不方便后续优化调整和日常运维。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种大数据分布式集群的部署方法、装置、介质及电子设备，进而至少在一定程度上克服现有技术中Presto 部署效率低的问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种大数据分布式集群的部署方法，应用于所述集群中任一待部署电子设备，包括：获取所述集群中各个所述待部署电子设备的配置信息，所述配置信息包括Presto安装路径信息和Java语言的软件开发工具包(JavaDevelopment Kit，简称：JDK)安装路径信息；基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署所述大数据分布式集群的多个差异性配置模板和公共配置模板，其中，所述公共配置模板包括Presto集群名称和Presto集群的部署目录名称；所述多个差异性配置模板用于部署多个类别的待部署电子设备；根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备，以生成所述大数据分布式集群。

在本发明的一种实施例中，所述配置信息还包括：中央处理器 (CentralProcessing Unit，简称：CPU)信息和内存信息；基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署所述大数据分布式集群的多个差异性配置模板，包括：根据所述CPU信息和内存信息对所述待部署电子设备进行分类；根据每一类别所述电子设备对应的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署每一类别所述电子设备的部署信息，从而确定每一类别所述电子设备对应的差异性配置模板。

在本发明的一种实施例中，根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备，包括：加载所述公共配置模板至各个所述待部署电子设备，并设置所述Presto集群名称和Presto集群的部署目录名称为全局变量；确定所述全局变量合法的情况下，根据各个所述差异性配置模板配置对应类别的待部署电子设备。

在本发明的一种实施例中，根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备之后，包括：校验各个所述待部署电子设备的部署结果是否达到预设要求。

在本发明的一种实施例中，基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署所述大数据分布式集群的多个差异性配置模板之前，还包括：获取各个所述待部署电子设备的系统版本信息和基础软件信息；根据所述配置信息、系统版本信息和基础软件信息，确定所述Presto集群的中心控制节点和工作节点；根据所述CPU信息和内存信息对所述待部署电子设备进行分类，包括：根据所述中心控制节点的电子设备的所述CPU信息和内存信息对所述中心控制节点的电子设备进行第一分类，以及根据所述工作节点的电子设备的所述CPU信息和内存信息对所述工作节点的电子设备进行第二分类。

在本发明的一种实施例中，根据每一类别所述电子设备对应的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署每一类别所述电子设备的部署信息，从而确定每一类别所述电子设备对应的差异性配置模板，包括：根据所述集群部署信息确定对所述第一分类后的每一类别所述中心控制节点的电子设备对应的配置信息，从而确定多个中心控制节点的差异性配置模板；根据所述集群部署信息确定对所述第二分类后的每一类别所述工作节点的电子设备对应的配置信息，从而确定多个工作节点的差异性配置模板。

在本发明的一种实施例中，根据各个所述差异性配置模板配置对应类别的待部署电子设备，包括：对于每一类别待部署电子设备，遍历所述类中各个电子设备的Presto临时文件夹，结合对应所述类的差异性配置模板解析各个所述临时文件夹的配置文件，以确定对应于所述类中各个电子设备的临时目录；发送所述临时目录至对应的电子设备的Presto安装目录下。

在本发明的一种实施例中，校验各个所述待部署电子设备的部署结果是否达到预设要求，包括：自动登录各个所述待部署电子设备，校验各个所述待部署电子设备的部署结果是否达到所述Presto集群的要求。

根据本发明实施例的第二方面，提供了一种大数据分布式集群的部署装置，应用于所述集群中任一待部署电子设备，其特征在于，包括：获取模块，所述获取模块用于获取所述集群中各个所述待部署电子设备的配置信息，所述配置信息包括Presto安装路径信息和JDK安装路径信息；确定模块，所述确定模块用于基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署所述大数据分布式集群的多个差异性配置模板和公共配置模板，其中，所述公共配置模板包括Presto集群名称和Presto集群的部署目录名称；所述多个差异性配置模板用于部署多个类别的待部署电子设备；部署模块，所述部署模块用于根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备，以生成所述大数据分布式集群。

根据本发明实施例的第三方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的大数据分布式集群的部署方法。

根据本发明实施例的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的大数据分布式集群的部署方法。

本发明实施例提供的技术方案可以包括以下有益效果：

在本发明的一些实施例所提供的技术方案中，通过根据待部署集群中各个电子设备的配置信息，解析集群安装包，进而确定集群的公共配置模板和多个差异性配置模板，根据公共配置模板和多个差异性配置模板对各个电子设备进行配置，实现了在集群中任一待部署电子设备进行一键部署Presto集群的目的，无需在集群的各个电子设备上一一部署，避免了在一一部署过程中由于电子设备的配置信息不同而造成的对部署信息进行手动修改，从而，提高了Presto集群的部署效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出本发明示例性实施例中Presto部署架构示意图；

图2示出本发明示例性实施例中用于实现大数据分布式集群的部署方法的系统架构示意图；

图3示出了根据本发明一示例性实施例中大数据分布式集群的部署方法的流程示意图；

图4示出了根据本发明示例性实施例中Presto集群的部署方法的流程示意图；

图5示出了根据本发明示例性实施例中差异性配置模板的确定方法的流程示意图；

图6示出了根据本发明示例性实施例中根据公共配置模板和差异性配置模板部署Presto集群的方法的流程示意图；

图7示出了根据本发明另一示例性实施例中大数据分布式集群的部署方法的流程示意图；

图8示出了根据本发明示例性实施例中大数据分布式集群的部署装置的结构示意图；

图9示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出本发明示例性实施例中Presto部署架构示意图，参考图 1，Presto集群的部署架构100包括以下五部分，每个部分可有多个节点。所述节点为本发明实施例中的电子设备，具体包括计算机设备等。

Presto客户端101由一个Jar组成，负责与Presto中心控制节点 102进行通信，以向Presto集群提交应用任务并返回结果，如增删库表、查询SQL、更新数据以及查询集群状态信息等。Presto中心控制节点102为负责解析校验SQL、验证权限、生成逻辑执行流程和调度任务执行等。Presto Hive元数据管理中心103负责库表信息的存储和查询等操作。Presto工作节点104负责执行Presto中心控制节点102分发的任务，与底层数据存储系统交互以及工作节点间的数据传递等。分布文件存储系统105(Hadoop Distributed FileSystem，简称：HDFS)分布文件存储系统，负责Presto集群的存储、查询。

现有技术中，对图1所示的Presto集群的部署架构100的部署方式中，需针对不同的电子设备配置信息(例如CPU、内存和硬盘等)，需要单独登录每个所述电子设备部署节点逐个修改多个对应的参数，无法根据不同配置、不同要求统一一键操作。同时，启动或停止Presto中心控制节点和工作节点服务时，需要逐个登录全部节点执行命令，无法滚动更新或升级。

本示例实施方式中首先提供了一种用于实现大数据分布式集群的部署方法的系统架构，可以应用于各种识别场景，例如图像识别、行为识别等等。参考图2所示，该系统架构200可以包括终端设备201、 202、203，网络204和服务器205。网络204用以在终端设备201、 202、203和服务器205之间提供通信链路的介质。网络204可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备201、202、203通过网络204与服务器205 交互，以接收或发送请求指令等。终端设备201、202、203上可以安装有各种通讯客户端应用，例如图片处理应用、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备201、202、203可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器205可以是提供各种服务的服务器，例如对用户利用终端设备201、202、203所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本申请实施例所提供的大数据分布式集群的部署方法一般由服务器205执行，相应地，网络构建装置一般设置于终端设备 201中。

基于上述系统架构200，本示例中提供了大数据分布式集群的部署方法，至少在一定程度上解决现有的Presto部署效率低的问题。参考图 3，该大数据分布式集群的部署方法可以包括以下步骤：

步骤S301，获取所述集群中各个所述待部署电子设备的配置信息，所述配置信息包括Presto安装路径信息和JDK安装路径信息；

步骤S302，基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署所述大数据分布式集群的多个差异性配置模板和公共配置模板；

步骤S303，根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备，以生成所述大数据分布式集群。

在图3所示实施例的技术方案中，通过根据待部署集群中各个电子设备的配置信息，解析集群安装包，进而确定集群的公共配置模板和多个差异性配置模板，根据公共配置模板和多个差异性配置模板对各个电子设备进行配置，实现了在集群中任一待部署电子设备进行一键部署 Presto集群的目的，无需在集群的各个电子设备上一一部署，避免了在一一部署过程中由于电子设备的配置信息不同而造成的对部署信息进行手动修改，从而，提高了Presto集群的部署效率。

以下对图3中所示的各个步骤的实现细节进行详细阐述：

在示例性的实施例中，首先，确定部署节点，即执行一键部署 Presto集群的电子设备。需要说明的是，此部署节点能够登录Presto集群的所有中心控制节点和工作节点。可选的，此部署节点能够免密登录 Presto集群的所有中心控制节点和工作节点，以节约部署时间。然后，在此部署节点上准备Presto的完整安装包。此部署节点可以是Presto集群中的任一节点。

在步骤S301中，获取待部署集群的各个电子设备的配置信息，包括：Presto安装路径信息、JDK安装路径信息、CPU信息和内存信息等，并进一步对各个电子设备的配置信息进行整理。具体执行方式可见图4的步骤S401：检测配置，遍历Presto集群所有电子设备，检测硬件配置和基础环境配置，并汇总检测结果具体参考表1。

表1

在步骤S302中，基于表1所示的各个待部署电子设备的配置信息解析Presto集群的安装包文件，抽取出公共配置部分和差异性配置部分，从而确定公共配置模板和多个差异性配置模板。其中，公共配置模板包括Presto集群名称和Presto集群的部署目录名称。示例性的Presto 公共配置模板如下，包括：

a)集群名称；

b)日志级别、格式、追加器、打印器、输入目录等配置；

c)Hive Metastore地址；

d)HDFS配置文件地址；

e)Presto需要部署的上下文根目录及简称；

f)Presto数据目录及元数据存储地址；

并可将公共配置模板的配置信息编辑为配置文件存放在 /presto/root/common目录下。

在示例性的实施例中，图5示出了根据本发明示例性实施例中差异性配置模板的确定方法的流程示意图包括：步骤S501，根据所述CPU 信息和内存信息对所述待部署电子设备进行分类；和步骤S502，根据每一类别所述电子设备对应的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署每一类别所述电子设备的部署信息，从而确定每一类别所述电子设备对应的差异性配置模板。

需要说明的是，对待部署电子设备进行分类方法有多种，可以根据实际情况进行规整，本发明实施例根据CPU信息和内存信息进行分类。具体地，参考表1，对Presto工作节点进行分类，并以CPU信息和内存信息分别均一致的电子设备归为一类。可见，可将IP_2归为一类，IP_3、IP_4归为二类，IP_5、IP_6归为三类。即集群中工作节点包括3类电子设备，示例性的实现方式参考图4的步骤S402：创建模板，包括梳理配置信息，进一步确定中心节点的配置模板、第一类工作节点配置模板、第二类工作节点配置模板和第三类工作节点配置模板。并进一步参考图4的步骤S403：执行一键部署：确定对应上述各个模板的安装包，包括：中心控制节点安装包、第一类工作节点安装包、第二类工作节点安装包和第三类工作节点安装板，用于对应电子设备的安装。

本发明实施例中，将每类的配置信息抽取成模板，增加匹配处理的功能脚本，从而实现单机一键部署，避免登录所有部署节点逐一手工修改，减少误改漏改的可能性。例如：基于上述分类，再进行如下差异性配置，包括：

a)分别为一、二、三类设定匹配的堆栈内存，例如分别为48G、 96G、96G；

b)分别为一、二、三类设定匹配的G1垃圾回收器分区大小，例如分别为32M、64M、128M；

c)分别为一、二、三类设定匹配的G1垃圾回收器预留缓存大小，例如分别为256M、512M、512M；

d)将3类工作节点分别存放在三个文件里，文件名的规则为 work1.ip,work2.ip,work3.ip，将角色为中心控制节点的IP和Presto对应的服务端口存放在coordinator.ip里便于后续程序梳理，文件中每一个行存放一个ip。

将此类配置信息编辑为配置文件分别存放在对应的目录下， /presto/root/template_work1,/presto/root/template_work2,/presto/root/templa te_work3,/presto/root/template_coordinator。

在步骤S303中，根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备，即实现本发明实施例所述的一键部署Presto集群的功能。图6示出了根据本发明示例性实施例中根据模板部署Presto集群的方法的流程示意图，包括：步骤S601，加载所述公共配置模板至各个所述待部署电子设备，并设置所述Presto集群名称和Presto集群的部署目录名称为全局变量；步骤S602，确定所述全局变量合法的情况下，对于每一类别待部署电子设备，遍历所述类中各个电子设备的Presto临时文件夹，结合对应所述类的差异性配置模板解析各个所述临时文件夹的配置文件，以确定对应于所述类中各个电子设备的临时目录；发送所述临时目录至对应的电子设备的Presto安装目录下。

示例性的，首先从公共配置中加载配置信息，将其设置成全局变量，如集群名称、部署目录名称。其次，检查参数配置是否合法，例如 ip地址格式、必填变量等。再次，分别遍历/presto/root/template_*所有目录，解析其中的配置文件，结合差异性配置模板，逐个综合，写入临时/tmp/coordinator/ip1,/tmp/work1/ip2,/tmp/work2/ip3,/tmp/work2/ip4, /tmp/work3/ip5,/tmp/work3/ip6。最后，将这些目录远程拷贝分发至 ip1、ip2、…、ip6的安装目录下。

参考图6，根据模板部署Presto集群的方法的流程示意图还包括：步骤S603，校验各个所述待部署电子设备的部署结果是否达到预设要求。

示例性的，参考图4中的步骤S404：校验部署，遍历Presto集群所有电子设备，检测配置参数是否合法，与本机物理配置是否匹配，并汇总检测结果。具体地，自动校验部署结果包括自动逐一登录ip1、 ip2、…、ip6，校验java环境变量是否配置、hadoop配置文件路径是否正确、本机物理内存和设置的堆栈内存是否匹配、数据目录是否有读写权限、启动试运行等操作，并返还校验结果。如果一切正常，返回为 0；如果有问题，返回问题原因，并从步骤S302进行修正，重新执行。直至完全正确，启动Presto集群，测试简单SQL。

图7示出了根据本发明另一示例性实施例中大数据分布式集群的部署方法的流程示意图。本实施例是基于前述实施例进行实施的。具体包括：

在步骤S302之前，执行步骤S701，获取各个所述待部署电子设备的系统版本信息和基础软件信息；和步骤S702，根据所述配置信息、系统版本信息和基础软件信息，确定所述Presto集群的中心控制节点和工作节点。示例性的参考表1，IP_1的电子设备为中心控制节点， IP_2、IP_3、…、IP_6为工作节点。

进一步地，执行步骤S703，根据所述中心控制节点的电子设备的所述CPU信息和内存信息对所述中心控制节点的电子设备进行第一分类，以及根据所述工作节点的电子设备的所述CPU信息和内存信息对所述工作节点的电子设备进行第二分类。和步骤S704，根据所述集群部署信息确定对所述第一分类后的每一类别所述中心控制节点的电子设备对应的配置信息，从而确定多个中心控制节点的差异性配置模板；根据所述集群部署信息确定对所述第二分类后的每一类别所述工作节点的电子设备对应的配置信息，从而确定多个工作节点的差异性配置模板。

其中，步骤S703为步骤S501的一种实现方式，步骤S704为步骤 S502的一种实现方式。

在图7所示实施例的技术方案中，由于一个集群的各个电子设备存在多种不同配置，在获取Presto集群的公共配置模板和多个差异性配置模板之前，根据Presto集群所有主机的配置信息、系统版本信息和基础软件信息，将集群中的各个电子设备进行分类，以执行不同的分工。从而，在保障Presto集群能正常运行同时，使电子设备资源利用最大化。

以下介绍本发明的装置实施例，可以用于执行本发明上述的大数据分布式集群的部署方法。

图8示出了根据本发明示例性实施例中大数据分布式集群的部署装置的结构示意图。参考图8，大数据分布式集群的部署装置800包括：获取模块801、确定模块802和部署模块803。

其中，所述获取模块801用于获取所述集群中各个所述待部署电子设备的配置信息，所述配置信息包括Presto安装路径信息和JDK安装路径信息；所述确定模块802用于基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署所述大数据分布式集群的多个差异性配置模板和公共配置模板，其中，所述公共配置模板包括Presto集群名称和Presto集群的部署目录名称；所述多个差异性配置模板用于部署多个类别的待部署电子设备；所述部署模块 803用于根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备，以生成所述大数据分布式集群。

在示例性的实施例中，所述确定模块802包括分类单元和确定单元。

其中，分类单元用于根据所述CPU信息和内存信息对所述待部署电子设备进行分类；确定单元用于根据每一类别所述电子设备对应的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署每一类别所述电子设备的部署信息，从而确定每一类别所述电子设备对应的差异性配置模板。

在示例性的实施例中，所述部署模块803包括加载单元和配置单元。

其中，加载单元用于加载所述公共配置模板至各个所述待部署电子设备，并设置所述Presto集群名称和Presto集群的部署目录名称为全局变量；配置单元用于确定所述全局变量合法的情况下，根据各个所述差异性配置模板配置对应类别的待部署电子设备。

在示例性的实施例中，配置单元包括：遍历子单元和发送子单元。

其中，遍历子单元用于对于每一类别待部署电子设备，遍历所述类中各个电子设备的Presto临时文件夹，结合对应所述类的差异性配置模板解析各个所述临时文件夹的配置文件，以确定对应于所述类中各个电子设备的临时目录；发送子单元用于发送所述临时目录至对应的电子设备的Presto安装目录下。

在示例性的实施例中，大数据分布式集群的部署装置800还包括：校验模块，校验模块用于校验各个所述待部署电子设备的部署结果是否达到预设要求。

在示例性的实施例中，校验模块用于自动登录各个所述待部署电子设备，校验各个所述待部署电子设备的部署结果是否达到所述Presto集群的要求。

在示例性的实施例中，大数据分布式集群的部署装置800还包括：节点分类模块，节点分类模块用于：获取各个所述待部署电子设备的系统版本信息和基础软件信息；根据所述配置信息、系统版本信息和基础软件信息，确定所述Presto集群的中心控制节点和工作节点。

在示例性的实施例中，所述分类单元具体用于根据所述中心控制节点的电子设备的所述CPU信息和内存信息对所述中心控制节点的电子设备进行第一分类，以及根据所述工作节点的电子设备的所述CPU信息和内存信息对所述工作节点的电子设备进行第二分类。

在示例性的实施例中，所述确定单元具体用于根据所述集群部署信息确定对所述第一分类后的每一类别所述中心控制节点的电子设备对应的配置信息，从而确定多个中心控制节点的差异性配置模板；根据所述集群部署信息确定对所述第二分类后的每一类别所述工作节点的电子设备对应的配置信息，从而确定多个工作节点的差异性配置模板。

由于本发明的示例实施例的大数据分布式集群的部署装置的各个功能模块与上述大数据分布式集群的部署方法的示例实施例的步骤对应，因此对于本发明装置实施例中未披露的细节，请参照本发明上述的大数据分布式集群的部署的实施例。

下面参考图9，其示出了适于用来实现本发明实施例的电子设备的计算机系统900的结构示意图。图9示出的电子设备的计算机系统900 仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算机系统900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从储存 部分908 加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有系统操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出 (I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分 906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的储存 部分908；以及包括诸如LAN 卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口 905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入储存 部分908。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器 (ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的大数据分布式集群的部署方法。

例如，所述的电子设备可以实现如图3中所示的：步骤S301，获取所述集群中各个所述待部署电子设备的配置信息，所述配置信息包括 Presto安装路径信息和JDK安装路径信息；步骤S302，基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署所述大数据分布式集群的多个差异性配置模板和公共配置模板；所述多个差异性配置模板用于部署多个类别的待部署电子设备；步骤S303，根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备，以生成所述大数据分布式集群。

又如，所述的电子设备可以实现如图3所示的各个步骤。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (11)

1.一种大数据分布式集群的部署方法，应用于所述集群中任一待部署电子设备，其特征在于，包括：

获取所述集群中各个所述待部署电子设备的配置信息，所述配置信息包括Presto安装路径信息和JDK安装路径信息；

基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署所述大数据分布式集群的多个差异性配置模板和公共配置模板，其中，所述公共配置模板包括Presto集群名称和Presto集群的部署目录名称；所述多个差异性配置模板用于部署多个类别的待部署电子设备；

根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备，以生成所述大数据分布式集群。

2.根据权利要求1所述的方法，其特征在于，所述配置信息还包括：CPU信息和内存信息；基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署所述大数据分布式集群的多个差异性配置模板，包括：

根据所述CPU信息和内存信息对所述待部署电子设备进行分类；

根据每一类别所述电子设备对应的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署每一类别所述电子设备的部署信息，从而确定每一类别所述电子设备对应的差异性配置模板。

3.根据权利要求2所述的方法，其特征在于，根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备，包括：

加载所述公共配置模板至各个所述待部署电子设备，并设置所述Presto集群名称和Presto集群的部署目录名称为全局变量；

确定所述全局变量合法的情况下，根据各个所述差异性配置模板配置对应类别的待部署电子设备。

4.根据权利要求1至3任一项所述的方法，其特征在于，根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备之后，包括：

校验各个所述待部署电子设备的部署结果是否达到预设要求。

5.根据权利要求2所述的方法，其特征在于，基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署所述大数据分布式集群的多个差异性配置模板之前，还包括：

获取各个所述待部署电子设备的系统版本信息和基础软件信息；

根据所述配置信息、系统版本信息和基础软件信息，确定所述Presto集群的中心控制节点和工作节点；

根据所述CPU信息和内存信息对所述待部署电子设备进行分类，包括：

根据所述中心控制节点的电子设备的所述CPU信息和内存信息对所述中心控制节点的电子设备进行第一分类，以及根据所述工作节点的电子设备的所述CPU信息和内存信息对所述工作节点的电子设备进行第二分类。

6.根据权利要求5所述的方法，其特征在于，根据每一类别所述电子设备对应的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署每一类别所述电子设备的部署信息，从而确定每一类别所述电子设备对应的差异性配置模板，包括：

根据所述集群部署信息确定对所述第一分类后的每一类别所述中心控制节点的电子设备对应的配置信息，从而确定多个中心控制节点的差异性配置模板；

根据所述集群部署信息确定对所述第二分类后的每一类别所述工作节点的电子设备对应的配置信息，从而确定多个工作节点的差异性配置模板。

7.根据权利要求3所述的方法，其特征在于，根据各个所述差异性配置模板配置对应类别的待部署电子设备，包括：

对于每一类别待部署电子设备，遍历该类别中各个电子设备的Presto临时文件夹，结合对应该类别的差异性配置模板解析各个所述临时文件夹的配置文件，以确定对应于该类别中各个电子设备的临时目录；

发送所述临时目录至对应的电子设备的Presto安装目录下。

8.根据权利要求4所述的方法，其特征在于，校验各个所述待部署电子设备的部署结果是否达到预设要求，包括：

自动登录各个所述待部署电子设备，校验各个所述待部署电子设备的部署结果是否达到所述Presto集群的要求。

9.一种大数据分布式集群的部署装置，应用于所述集群中任一待部署电子设备，其特征在于，包括：

获取模块，所述获取模块用于获取所述集群中各个所述待部署电子设备的配置信息，所述配置信息包括Presto安装路径信息和JDK安装路径信息；

确定模块，所述确定模块用于基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署所述大数据分布式集群的多个差异性配置模板和公共配置模板，其中，所述公共配置模板包括Presto集群名称和Presto集群的部署目录名称；所述多个差异性配置模板用于部署多个类别的待部署电子设备；

部署模块，所述部署模块用于根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备，以生成所述大数据分布式集群。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至8中任一项所述的大数据分布式集群的部署方法。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的大数据分布式集群的部署方法。

Images