CN115617361A - 一种统一管理的大数据组件部署系统和方法 - Google Patents

Abstract

本申请涉及一种统一管理的大数据组件部署系统和方法，所述系统包括软件仓库，软件仓库用于存储各版本大数据组件和基础依赖软件包，以及用于对大数据组件和软件包进行统一的管理、维护和下发；工作台，所述工作台包括可视化操作界面，用于对软件包、服务器和组件部署进行管理和操作；指令中心，所述指令中心集成了通用操作的脚本和主脚本。本发明通过对大数据组件进行统一的管理，利用编写好的各组件部署流程模板和一些执行脚本，实现了对大数据组件统一的、可视化的、零感知的部署，简化了项目过程中对大数据组件部署的难度，降低了人员的技术要求，节约时间和人力成本。

Description

一种统一管理的大数据组件部署系统和方法

技术领域

本申请涉及大数据的技术领域，尤其是涉及一种统一管理的大数据组件部署系统和方法。

背景技术

随着数据种类的不断发展，为了更好的响应业务需求，特定的数据类型选择适合的组件来进行存储，导致业务系统所属的存储组件或者计算组件等越来越多，对组件的管理也带来新的挑战。

常规的大数据组件的部署，对人员的技术要求比较高，需要特定的人员才能部署，而且比较耗时和难以维护。另外，不能方便简单的选择组件版本，对与局域网环境来说非常的不方便，很多基础软件没法下载直接安装，导致部署缓慢。

发明内容

针对上述技术问题,本申请提出了一种统一管理的大数据组件部署系统和方法。

第一方面，本申请提出了一种统一管理的大数据组件部署系统，包括:

软件仓库，用于存储各版本大数据组件和基础依赖软件包，以及用于对大数据组件和软件包进行统一的管理、维护和下发；

工作台，所述工作台包括可视化操作界面，用于对软件包、服务器和组件部署进行管理和操作；

指令中心，所述指令中心集成了通用操作的脚本和主脚本，所述通用操作的脚本用于对部署服务器进行免密、修改主机名以及系统初始化操作，所述主脚本用于解析工作台下发的部署模板并选择一个服务器作为管理节点，且所述主脚本用于将部署的服务器按照组件类型进行划分，并输出到管理节点的/etc/c3.conf文件中，同时将管理节点和版本记录到指令中心的/etc/c3.conf文件中。

通过采用上述技术方案，……。

优选的，所述工作台用于对软件包、服务器和组件部署进行管理和操作具体包括：

工作台后台自动扫描软件仓库的大数据组件包，展示可以部署的大数据组件版本，供用户选择；

用户添加需要部署的服务器信息，对服务器的内存和存储进行管理；

用户通过内置化好的各大数据组件部署模板进行操作，选择对应的组件版本、服务器以及存储位置信息；

部署模板填写完成后，下发部署模板到指令中心，由指令中心进行相应的部署操作。

优选的，所述工作台利用优选算法获取到指令中心中的/etc/c3.conf文件中记录的组件部署的管理节点ip和版本号，然后判断版本是否一致，如果一致判断该组件是否被同类组件所依赖，如果不一样，则通过获取到的管理节点中的/etc/c3.conf获取该组件部署的ip以及部署模板中解析到的端口信息。

优选的，所述指令中心中的/etc/c3.conf用于为组件的相关脚本、软件包下发以及为工作台后续找相关已部署组件提供服务，同时用于管理各组件的部署情况。

优选的，所述指令中心还用于从软件仓库下载相应的组件包、基础软件以及相关脚本到管理节点的临时目录。

优选的，所述管理节点用于通过/etc/c3.conf里面划分好的组件类型，利用通用脚本对同类型部署的服务器批量进行系统初始化以及免密操作。

优选的，所述管理节点还用于利用/etc/c3.conf分发相关的基础软件包进行批量安装。

优选的，所述管理节点还用于按照下发的部署模板，对组件包的通用配置进行配置，然后分发到部署服务器，再启动相关服务，以完成相应的组件部署。

优选的,所述主脚本还用于提供启停、删除以及扩/缩容操作。

第二方面，本申请还提出了一种统一管理的大数据组件部署方法，所述方法应用于第一方面所述的统一管理的大数据组件部署系统，并且

所述方法包括：

S1：利用工作台的后台自动扫描软件仓库的大数据组件包，展示可以部署的大数据组件版本，供用户选择；

S2：用户添加需要部署的服务器信息，对服务器的内存和存储进行管理；

S3：用户通过内置化好的各大数据组件部署模板进行操作，选择对应的组件版本、服务器以及存储位置信息；

S4：部署模板填写完成后，下发部署模板到指令中心，由指令中心进行相应的部署操作；

S5：指令中心的主脚本解析下发的部署模板选择一个服务器作为管理节点，并且主脚本将部署的服务器按照组件类型进行划分，并输出到管理节点的/etc/c3.conf文件中，同时将管理节点、版本记录到指令中心的/etc/c3.conf文件中；

S6：指令中心从软件仓库下载相应的组件包、基础软件以及相关脚本到管理节点的临时目录；

S7：管理节点通过/etc/c3.conf里面划分好的组件类型，利用通用脚本对同类型部署的服务器批量进行系统初始化和免密操作；

S8：管理节点利用/etc/c3.conf分发相关的基础软件包，并进行批量安装；

S9：管理节点按照下发的部署模板，对组件包的通用配置进行配置，然后分发到部署服务器，再启动相关服务，以完成相应的组件部署。

综上所述，本申请至少包括以下有益技术效果：

1.本申请的统一管理和维护的大数据组件部署方法，对人员的要求比较低，没有任何大数据组件经验的人员也能来部署。一些常规的基础软件已集成到软件仓库，部署人员零感知就可完成安装。同时，对组件的版本也有很好的管理，只要将版本组件上传到仓库部署选择的时候就会自动识别提供选择，避免了重新适配等操作。另外，对组件的维护也提供一键式操作，可以很简单的对集群进行扩容、缩容和启停等操作。本发明简化了大数据组件部署和维护的过程，也降低了人员的技术水平，降低人员成本和节约时间；

2.本发明实现人员在零大数据技术基础、零Linux知识基础的情况下，也能快速、高效的部署相关的大数据组件来满足业务场景的需要。同时，通过该方法也能很好的对服务器、大数据组件进行相应的运维工作，减少了人员直接操作服务器或者组件带来的风险，也保障的数据的安全；

3.本发明通过对大数据组件进行统一的管理，利用编写好的各组件部署流程模板和一些执行脚本，实现了对大数据组件统一的、可视化的、零感知的部署，简化了项目过程中对大数据组件部署的难度，降低了人员的技术要求，节约时间和人力成本。另外，对于需要对组件进行二次开发的需求也降低了难度，可以很好的进行二次开发。本发明适用于使用大数据组件的所有项目和业务需求，对于零大数据技术和Linux基础的人员学习组件功能也比较适用。

附图说明

包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本申请的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。

图1是本申请一种统一管理的大数据组件部署系统的示意图。

图2是本申请一个实施例中的工作台的优选算法的流程示意图。

图3是本申请一个实施例中的统一管理的大数据组件部署方法的具体流程示意图。

图4是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本申请一种统一管理的大数据组件部署系统的示意图，参考图1，该系统包括软件仓库101、工作台102以及指令中心103。

软件仓库101类似于一个公有的仓库，用来存储各版本大数据组件、基础依赖等软件包，对软件包进行统一的管理、维护和下发，避免组件版本不统一、组件性能未调优和依赖的软件包没有等问题出现，对与局域网的项目来说可以节约大量的时间来部署组件。人员也可以对将组件软件包、组件依赖包上传，也可以对软件包进行二次开发或者调优后进行上传，后需部署选择对应的软件版本即可。

工作台102包括可视化操作界面，可以对软件包、服务器和组件部署进行管理和操作，具体的操作如下：

1、后台自动扫描软件仓库的大数据组件包，展示可以部署的大数据组件版本，供用户选择；

2、用户添加需要部署的服务器信息，对服务器的一些内存、存储等进行管理；

3、用户通过内置化好的各大数据组件部署模板进行操作，选择对应的组件版本、服务器、存储位置等信息；

针对一些相互依赖的组件，比如Hadoop集群依赖Zookeeper集群，如果Zookeeper集群已经部署，用户在工作台操作的时候工作台利用优选算法会提示已有部署，用户可以选择共用一套，节约服务器，也可以选择重新部署一套。具体算法流程如图2所示,工作台利用优选算法获取到指令中心中的/etc/c3.conf文件中记录的组件部署的管理节点ip、版本号，然后判断版本是否一致，如果一致判断该组件是否被同类组件所依赖，如果不一样，则通过获取到的管理节点中的/etc/c3.conf获取该组件部署的ip以及部署模板中解析到端口等需要的信息。

4、部署模板填写完成后，下发部署模板到指令中心，由指令中心进行相应的部署操作。

指令中心103集成了很多通用操作的脚本和主脚本，通过这些通用的脚本可以对部署服务器进行简单的操作，比如免密、修改主机名、系统初始化等部署前期的通用操作。主脚本会对工作台下发的指令进行解读执行，执行如下：

1、主脚本解析下发的部署模板选择一个服务器作为管理节点，为了方便后续组件的部署，以及已部署组件的查找，主脚本将部署的服务器按照组件类型进行划分，并输出到管理节点的/etc/c3.conf文件中，同时将管理节点、版本记录到指令中心的/etc/c3.conf文件中。比如有192.168.1.100-1045台服务器部署Hadoop集群为例：

指令中心节点/etc/c3.conf文件配置如下：

cluster hdfs{

192.168.1.100 v1.0

192.168.2.100 v2.0 #第二个Hadoop集群

...

}

cluster zk{

192.168.1.100 v1.0

192.168.2.100 v2.0 #第二个Zookeeper集群

...

}

指令中心中的/etc/c3.conf，主要为组件的相关脚本、软件包下发以及为工作台后续找相关已部署组件提供服务，同时可以很清晰的知道各组件的部署情况，便于管理。

管理节点中/etc/c3.conf文件配置如下：

cluster hdfs{

192.168.1.100

192.168.1.101

192.168.1.102

192.168.1.103

192.168.1.104

}

cluster zk{

192.168.1.100

192.168.1.101

192.168.1.102

}

Hadoop集群部署依赖了Zookeeper，所以/etc/c3.conf上有Zookeeper的服务器配置，如果Zookeeper已部署，并选择了已部署的Zookeeper集群则没有。

2、从软件仓库下载相应的组件包、基础软件以及相关脚本到管理节点的临时目录；

3、管理节点通过/etc/c3.conf里面划分好的组件类型，利用通用脚本对同类型部署的服务器批量进行系统初始化、免密等相关基础操作；

4、管理节点利用/etc/c3.conf分发相关的基础软件包，并进行批量安装；

5、管理节点按照下发的部署模板，对组件包的通用配置进行配置，然后分发到部署服务器，再启动相关服务，即可完成相应的组件部署；

6、主脚本也提供一些常规的维护工作，如启停、删除、扩/缩容等操作，相应的组件服务点击执行即可。

本发明通过对大数据组件进行统一的管理，利用编写好的各组件部署流程模板和一些执行脚本，实现了对大数据组件统一的、可视化的、零感知的部署，简化了项目过程中对大数据组件部署的难度，降低了人员的技术要求，节约时间和人力成本。另外，对于需要对组件进行二次开发的需求也降低了难度，可以很好的进行二次开发。本发明适用于使用大数据组件的所有项目和业务需求，对于零大数据技术和Linux基础的人员学习组件功能也比较适用。

本发明的统一管理和维护的大数据组件部署系统，对人员的要求比较低，没有任何大数据组件经验的人员也能来部署。一些常规的基础软件已集成到软件仓库，部署人员零感知就可完成安装。同时，对组件的版本也有很好的管理，只要将版本组件上传到仓库部署选择的时候就会自动识别提供选择，避免了重新适配等操作。另外，对组件的维护也提供一键式操作，可以很简单的对集群进行扩容、缩容和启停等操作。本发明简化了大数据组件部署和维护的过程，也降低了人员的技术水平，降低人员成本和节约时间。本发明实现人员在零大数据技术基础、零Linux知识基础的情况下，也能快速、高效的部署相关的大数据组件来满足业务场景的需要。同时，通过该方法也能很好的对服务器、大数据组件进行相应的运维工作，减少了人员直接操作服务器或者组件带来的风险，也保障的数据的安全。

进一步参考图3，本申请提供了一种统一管理的大数据组件部署系统方法的一个实施例，该方法应用于上述实施例公开的统一管理的大数据组件部署系统，并且所述方法包括：

S1：利用工作台的后台自动扫描软件仓库的大数据组件包，展示可以部署的大数据组件版本，供用户选择；

S2：用户添加需要部署的服务器信息，对服务器的内存和存储进行管理；

S3：用户通过内置化好的各大数据组件部署模板进行操作，选择对应的组件版本、服务器以及存储位置信息；

S4：部署模板填写完成后，下发部署模板到指令中心，由指令中心进行相应的部署操作；

S5：指令中心的主脚本解析下发的部署模板选择一个服务器作为管理节点，并且主脚本将部署的服务器按照组件类型进行划分，并输出到管理节点的/etc/c3.conf文件中，同时将管理节点、版本记录到指令中心的/etc/c3.conf文件中；

S6：指令中心从软件仓库下载相应的组件包、基础软件以及相关脚本到管理节点的临时目录；

S7：管理节点通过/etc/c3.conf里面划分好的组件类型，利用通用脚本对同类型部署的服务器批量进行系统初始化和免密操作；

S8：管理节点利用/etc/c3.conf分发相关的基础软件包，并进行批量安装；

S9：管理节点按照下发的部署模板，对组件包的通用配置进行配置，然后分发到部署服务器，再启动相关服务，以完成相应的组件部署。

下面参考图4，其示出了适于用来实现本申请实施例的电子设备的计算机系统200的结构示意图。图4示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统200操作所需的各种程序和数据。CPU 201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。

以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器220也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器220上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法中限定的上述功能。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行时实现如方法实施例所记载的方法流程。

需要说明的是，本申请所述的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上描述了本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

在本申请的描述中，需要理解的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。措词‘包括’并不排除在权利要求未列出的元件或步骤的存在。元件前面的措词‘一’或‘一个’并不排除多个这样的元件的存在。在相互不同从属权利要求中记载某些措施的简单事实不表明这些措施的组合不能被用于改进。在权利要求中的任何参考符号不应当被解释为限制范围。

Claims (10)

1.一种统一管理的大数据组件部署系统，其特征在于，所述系统包括：

软件仓库，用于存储各版本大数据组件和基础依赖软件包，以及用于对大数据组件和软件包进行统一的管理、维护和下发；

工作台，所述工作台包括可视化操作界面，用于对软件包、服务器和组件部署进行管理和操作；

指令中心，所述指令中心集成了通用操作的脚本和主脚本，所述通用操作的脚本用于对部署服务器进行免密、修改主机名以及系统初始化操作，所述主脚本用于解析工作台下发的部署模板并选择一个服务器作为管理节点，且所述主脚本用于将部署的服务器按照组件类型进行划分，并输出到管理节点的/etc/c3.conf文件中，同时将管理节点和版本记录到指令中心的/etc/c3.conf文件中。

2.根据权利要求1所述的一种统一管理的大数据组件部署系统，其特征在于：所述工作台用于对软件包、服务器和组件部署进行管理和操作具体包括：

工作台后台自动扫描软件仓库的大数据组件包，展示可以部署的大数据组件版本，供用户选择；

用户添加需要部署的服务器信息，对服务器的内存和存储进行管理；

用户通过内置化好的各大数据组件部署模板进行操作，选择对应的组件版本、服务器以及存储位置信息；

部署模板填写完成后，下发部署模板到指令中心，由指令中心进行相应的部署操作。

3.根据权利要求2所述的一种统一管理的大数据组件部署系统，其特征在于：所述工作台利用优选算法获取到指令中心中的/etc/c3.conf文件中记录的组件部署的管理节点ip和版本号，然后判断版本是否一致，如果一致判断该组件是否被同类组件所依赖，如果不一样，则通过获取到的管理节点中的/etc/c3.conf获取该组件部署的ip以及部署模板中解析到的端口信息。

4.根据权利要求1所述的一种统一管理的大数据组件部署系统，其特征在于：所述指令中心中的/etc/c3.conf用于为组件的相关脚本、软件包下发以及为工作台后续找相关已部署组件提供服务，同时用于管理各组件的部署情况。

5.根据权利要求1所述的一种统一管理的大数据组件部署系统，其特征在于：所述指令中心还用于从软件仓库下载相应的组件包、基础软件以及相关脚本到管理节点的临时目录。

6.根据权利要求5所述的一种统一管理的大数据组件部署系统，其特征在于：所述管理节点用于通过/etc/c3.conf里面划分好的组件类型，利用通用脚本对同类型部署的服务器批量进行系统初始化以及免密操作。

7.根据权利要求6所述的一种统一管理的大数据组件部署系统，其特征在于：所述管理节点还用于利用/etc/c3.conf分发相关的基础软件包进行批量安装。

8.根据权利要求7所述的一种统一管理的大数据组件部署系统，其特征在于：所述管理节点还用于按照下发的部署模板，对组件包的通用配置进行配置，然后分发到部署服务器，再启动相关服务，以完成相应的组件部署。

9.根据权利要求1所述的一种统一管理的大数据组件部署系统，其特征在于：所述主脚本还用于提供启停、删除以及扩/缩容操作。

10.一种统一管理的大数据组件部署方法，其特征在于：所述方法应用于权利要求1-9任一所述的统一管理的大数据组件部署系统，并且所述方法包括：

S1：利用工作台的后台自动扫描软件仓库的大数据组件包，展示可以部署的大数据组件版本，供用户选择；

S2：用户添加需要部署的服务器信息，对服务器的内存和存储进行管理；

S3：用户通过内置化好的各大数据组件部署模板进行操作，选择对应的组件版本、服务器以及存储位置信息；

S4：部署模板填写完成后，下发部署模板到指令中心，由指令中心进行相应的部署操作；

S5：指令中心的主脚本解析下发的部署模板选择一个服务器作为管理节点，并且主脚本将部署的服务器按照组件类型进行划分，并输出到管理节点的/etc/c3.conf文件中，同时将管理节点、版本记录到指令中心的/etc/c3.conf文件中；

S6：指令中心从软件仓库下载相应的组件包、基础软件以及相关脚本到管理节点的临时目录；

S7：管理节点通过/etc/c3.conf里面划分好的组件类型，利用通用脚本对同类型部署的服务器批量进行系统初始化和免密操作；

S8：管理节点利用/etc/c3.conf分发相关的基础软件包，并进行批量安装；

S9：管理节点按照下发的部署模板，对组件包的通用配置进行配置，然后分发到部署服务器，再启动相关服务，以完成相应的组件部署。

Images