CN105787117A - 一种云计算环境下大数据节点的自动部署方法及其装置 - Google Patents
一种云计算环境下大数据节点的自动部署方法及其装置 Download PDFInfo
- Publication number
- CN105787117A CN105787117A CN201610176637.5A CN201610176637A CN105787117A CN 105787117 A CN105787117 A CN 105787117A CN 201610176637 A CN201610176637 A CN 201610176637A CN 105787117 A CN105787117 A CN 105787117A
- Authority
- CN
- China
- Prior art keywords
- big data
- cloud computing
- computing environment
- big
- automatic deployment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Stored Programmes (AREA)
Abstract
本发明实施例公开了一种云计算环境下大数据节点的自动部署方法及其装置，其中，该方法包括：调用预设的虚拟机模板，搭建大数据运行环境；将大数据产品进行组件封装，获得云计算管理平台的大数据组件；通过统一接口在所述大数据运行环境中对所述大数据组件进行操作。本发明实施例中，在不同的大数据产品中定义了统一的接口协议，为大数据提供统一的部署、监控、维护、操作页面，降低云计算环境下的大数据维护部署难度和工作量，提高节点之间版本的兼容性，减少操作时间及降低操作人员的能力要求，同时避免了人工误操作。
Description
技术领域
本发明涉及云计算技术领域，尤其涉及一种云计算环境下大数据节点的自动部署方法及其装置。
背景技术
大数据产品Hadoop系统的常用组件Zookeeper、DataNode、NameNode、Hive、Hbase。在云计算环境下安装部署需要下载源代码，人工在每台虚拟机编译并拷贝到相应目录，根据环境修改系统变量及hadoop配置文件，手工启动，执行一些初始化脚本并调整运行参数，整个步骤比较复杂繁琐。
Hadoop是开源产品，apache并不提供页面部署功能，在当前情况下，基本需要人工部署，最基础的HDFS结构如图1所示。如图1所示，HDFS节点分为NameNode和DataNode，其中，activeNameNode是主控节点，所以需要一个备份节点（StandByNameNode），DataNode是数据存储节点，大部分实际环境是20个节点以上。要部署上面最基本的运行环境，需要：1）先建立hadoop用户组并建立hadoop用户；2）设置多个节点间SSH访问权限；3）下载hadoop并编译；4）在修改hadoop中的core-site.xml、hdfs-site.xml、mapred-site.xml，slave、master等配置文件；5）修改hadoop-env.sh启动文件，配置Jdk路径；6）再执行启动脚本并检查各项进程是否正确；7）所有进程正常启动后，还要执行初始化脚本格式化NameNode。
现有技术存在以下缺点：
（1）大数据集群至少几十个节点，所有配置文件都是手工修改，难批量操作，耗时多，容易出错；整个处理过程比较繁琐，需要配置各项配置文件，即使比较熟悉的人进行操作也需要大量时间，节点越多的群架则需要更多的时间；
（2）开源产品版本升级较快，一年时间内通常有几个大版本、十几个小版本出现，而整个集群涉及的模块也非常多，版本管理比较困难集群运行一段时间再新增节点时，新节点的版本如果和其它节点版本有差别，容易导致版本不兼容；
（3）拥有大量机器的集群，系统经常会因为网络、硬盘等硬件原因导致节点异常，需要人工排查，硬件的损坏也需要人员进行更换，需要投入的人员跟节点数量成正比，因为是对运行系统进行维护，需要投入很大的人力，对人员的能力也有很高的要求。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种云计算环境下大数据节点的自动部署方法及其装置，为大数据提供统一的部署、监控、维护、操作页面，降低云计算环境下的大数据维护部署难度和工作量。
为了解决上述问题，本发明提出了一种云计算环境下大数据节点的自动部署方法，所述方法包括：
调用预设的虚拟机模板，搭建大数据运行环境；
将大数据产品进行组件封装，获得云计算管理平台的大数据组件；
通过统一接口在所述大数据运行环境中对所述大数据组件进行操作。
优选地，所述方法还包括：构建所述统一接口。
优选地，所述大数据组件包括安装文件、配置文件、启动文件、接口实现。
优选地，在所述调用预设的虚拟机模板，搭建大数据运行环境的步骤之前，还包括：
对大数据运行环境进行模板化处理，获得虚拟机模板。
优选地，所述操作包括：代理、监控、控制、管理中的一种或多种。
相应地，本发明还提供一种云计算环境下大数据节点的自动部署装置，所述装置包括：
搭建模块，用于调用预设的虚拟机模板，搭建大数据运行环境；
封装模块，用于将大数据产品进行组件封装，获得云计算管理平台的大数据组件；
操作模块，用于通过统一接口在所述大数据运行环境中对所述大数据组件进行操作。
优选地，所述装置还包括：构建模块，用于构建所述统一接口。
优选地，所述大数据组件包括安装文件、配置文件、启动文件、接口实现。
优选地，所述装置还包括：模板化模块，用于对大数据运行环境进行模板化处理，获得虚拟机模板。
优选地，所述操作模块包括：
代理单元，用于远程接口调用；
监控单元，用于对所述大数据组件的运行状态进行监控；
控制单元，用于部署、操作命令的执行；
管理单元，用于进行用户操作交互。
本发明实施例中，在不同的大数据产品中定义了统一的接口协议，为大数据提供统一的部署、监控、维护、操作页面，降低云计算环境下的大数据维护部署难度和工作量，提高节点之间版本的兼容性，减少操作时间及降低操作人员的能力要求，同时避免了人工误操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是现有技术中基础的HDFS结构示意图；
图2是本发明实施例的云计算环境下大数据节点的自动部署方法的流程示意图；
图3是本发明实施例中统一接口的架构示意图；
图4是本发明实施例的云计算环境下大数据节点的自动部署装置的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图2是本发明实施例的云计算环境下大数据节点的自动部署方法的流程示意图，如图2所示，该方法包括：
S1，调用预设的虚拟机模板，搭建大数据运行环境；
S2，将大数据产品进行组件封装，获得云计算管理平台的大数据组件；
S3，通过统一接口在大数据运行环境中对大数据组件进行操作。
云计算管理平台进行存储资源、计算资源、内存资源、网络资源等资源虚拟化，提供基于这些资源的虚拟机管理。为了提供适合大数据运行的虚拟环境，在本发明实施例中，在云计算管理平台上预设虚拟机模板，预先设置运行参数，开发虚拟机间的访问互信，关闭内部防火墙，预设内存和存储目录，安装必须的linux类库和服务，如ssh等。在S1之前，还包括：对大数据运行环境进行模板化处理，获得虚拟机模板。
在具体实施中，方法还包括：构建统一接口。实现大数据组件统一的部署、操作和监控的接口，通过统一接口去操作大数据组件，实现了Hive、Hbase、Mysql等大数据产品的部署、监控、操作的统一接口。统一接口的架构如图3所示。
在本实施例中，大数据组件包括安装文件、配置文件、启动文件、接口实现。这里对常用的大数据产品进行封装处理，发布在统一的组件库服务器上，实现大数据产品组件化，大数据组件包含：安装文件、配置文件、启动文件、接口实现；安装文件为大数据产品的安装文件，是大数据产品的执行文件；配置文件为大数据产品的配置文件，用于配置大数据产品的运行环境参数；启动文件用于执行大数据环境的启动和关闭；接口实现用于实现大数据产品的命令调用。
在S3中，操作具体包括：代理、监控、控制、管理中的一种或多种，具体地，用于远程接口调用、大数据组件的运行状态监控、部署及操作命令的执行、用户操作交互等。
用户通过管理页面在虚拟机模板库中选择相关的虚拟模版（可以不选择而使用默认模版），输入部署节点的数量，在组件库选择大数据组件，如hdfs、hive，确认运行参数（可以不选择而使用默认参数），云计算管理平台通过虚机管理和代理功能自动执行具体操作流程，并在页面显示操作结果。
相应地，本发明实施例还提供一种云计算环境下大数据节点的自动部署装置，如图4所示，该装置包括：
搭建模块1，用于调用预设的虚拟机模板，搭建大数据运行环境；
封装模块2，用于将大数据产品进行组件封装，获得云计算管理平台的大数据组件；
操作模块3，用于通过统一接口在大数据运行环境中对大数据组件进行操作。
进一步地，该装置还包括：构建模块（图中未示出），用于构建统一接口。实现大数据组件统一的部署、操作和监控的接口，通过统一接口去操作大数据组件，实现了Hive、Hbase、Mysql等大数据产品的部署、监控、操作的统一接口。
具体实施中，大数据组件包括安装文件、配置文件、启动文件、接口实现。安装文件为大数据产品的安装文件，是大数据产品的执行文件；配置文件为大数据产品的配置文件，用于配置大数据产品的运行环境参数；启动文件用于执行大数据环境的启动和关闭；接口实现用于实现大数据产品的命令调用。
进一步地，该装置还包括：模板化模块（图中未示出），用于对大数据运行环境进行模板化处理，获得虚拟机模板。
操作模块3包括：
代理单元，用于远程接口调用；
监控单元，用于对大数据组件的运行状态进行监控；
控制单元，用于部署、操作命令的执行；
管理单元，用于进行用户操作交互。
本发明的装置实施例中各功能模块的功能可参见本发明方法实施例中的流程处理，这里不再赘述。
本发明实施例中，在不同的大数据产品中定义了统一的接口协议，为大数据提供统一的部署、监控、维护、操作页面，降低云计算环境下的大数据维护部署难度和工作量，提高节点之间版本的兼容性，减少操作时间及降低操作人员的能力要求，同时避免了人工误操作。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，ReadOnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁盘或光盘等。
另外，以上对本发明实施例所提供的云计算环境下大数据节点的自动部署方法及其装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种云计算环境下大数据节点的自动部署方法，其特征在于，所述方法包括：
调用预设的虚拟机模板，搭建大数据运行环境；
将大数据产品进行组件封装，获得云计算管理平台的大数据组件；
通过统一接口在所述大数据运行环境中对所述大数据组件进行操作。
2.如权利要求1所述的云计算环境下大数据节点的自动部署方法，其特征在于，所述方法还包括：
构建所述统一接口。
3.如权利要求1所述的云计算环境下大数据节点的自动部署方法，其特征在于，所述大数据组件包括安装文件、配置文件、启动文件、接口实现。
4.如权利要求1所述的云计算环境下大数据节点的自动部署方法，其特征在于，在所述调用预设的虚拟机模板，搭建大数据运行环境的步骤之前，还包括：
对大数据运行环境进行模板化处理，获得虚拟机模板。
5.如权利要求1所述的云计算环境下大数据节点的自动部署方法，其特征在于，所述操作包括：代理、监控、控制、管理中的一种或多种。
6.一种云计算环境下大数据节点的自动部署装置，其特征在于，所述装置包括：
搭建模块，用于调用预设的虚拟机模板，搭建大数据运行环境；
封装模块，用于将大数据产品进行组件封装，获得云计算管理平台的大数据组件；
操作模块，用于通过统一接口在所述大数据运行环境中对所述大数据组件进行操作。
7.如权利要求6所述的云计算环境下大数据节点的自动部署装置，其特征在于，所述装置还包括：构建模块，用于构建所述统一接口。
8.如权利要求6所述的云计算环境下大数据节点的自动部署装置，其特征在于，所述大数据组件包括安装文件、配置文件、启动文件、接口实现。
9.如权利要求6所述的云计算环境下大数据节点的自动部署装置，其特征在于，所述装置还包括：模板化模块，用于对大数据运行环境进行模板化处理，获得虚拟机模板。
10.如权利要求6所述的云计算环境下大数据节点的自动部署装置，其特征在于，所述操作模块包括：
代理单元，用于远程接口调用；
监控单元，用于对所述大数据组件的运行状态进行监控；
控制单元，用于部署、操作命令的执行；
管理单元，用于进行用户操作交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610176637.5A CN105787117A (zh) | 2016-03-28 | 2016-03-28 | 一种云计算环境下大数据节点的自动部署方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610176637.5A CN105787117A (zh) | 2016-03-28 | 2016-03-28 | 一种云计算环境下大数据节点的自动部署方法及其装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105787117A true CN105787117A (zh) | 2016-07-20 |
Family
ID=56391532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610176637.5A Pending CN105787117A (zh) | 2016-03-28 | 2016-03-28 | 一种云计算环境下大数据节点的自动部署方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105787117A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106331092A (zh) * | 2016-08-23 | 2017-01-11 | 浪潮电子信息产业股份有限公司 | 一种基于hadoop大数据平台的应用服务系统及部署方法 |
| CN106445611A (zh) * | 2016-09-30 | 2017-02-22 | 广州特道信息科技有限公司 | 大数据节点系统及自动部署方法 |
| CN107153571A (zh) * | 2017-06-13 | 2017-09-12 | 郑州云海信息技术有限公司 | 一种虚拟化管理节点的部署方法及装置 |
| CN107634852A (zh) * | 2017-08-17 | 2018-01-26 | 新华三大数据技术有限公司 | 监管大数据集群的方法和装置 |
| CN108549717A (zh) * | 2018-04-23 | 2018-09-18 | 泰华智慧产业集团股份有限公司 | 自动化部署运维Hadoop生态圈组件的方法及系统 |
| CN109298898A (zh) * | 2018-08-24 | 2019-02-01 | 深圳职业技术学院 | 云计算资源自动配置方法及装置 |
| CN109783212A (zh) * | 2018-12-26 | 2019-05-21 | 亚信科技（中国）有限公司 | 后台进程分布式调度装置、方法、计算机设备和存储介质 |
| CN110007932A (zh) * | 2019-03-20 | 2019-07-12 | 闽南师范大学 | 一种基于局域网大数据处理系统自动部署的方法 |
| CN111190652A (zh) * | 2019-12-17 | 2020-05-22 | 三盟科技股份有限公司 | 基于大数据实训平台的大数据组件自动控制方法及系统 |
| CN111858107A (zh) * | 2019-04-30 | 2020-10-30 | 深信服科技股份有限公司 | 一种大数据组件编排可靠性的检测方法、系统及相关组件 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063766A (zh) * | 2014-07-03 | 2014-09-24 | 广州智业节能科技有限公司 | 基于云计算和大数据技术的建筑能效管理系统 |
| CN104270434A (zh) * | 2014-09-22 | 2015-01-07 | 珠海许继芝电网自动化有限公司 | 一种基于云服务的服务状态监视系统 |
| CN104317642A (zh) * | 2014-09-28 | 2015-01-28 | 华为技术有限公司 | 云计算环境下的软件部署方法和装置 |
| CN105045607A (zh) * | 2015-09-02 | 2015-11-11 | 广东创我科技发展有限公司 | 一种实现多种大数据计算框架统一接口的方法 |
| CN105391777A (zh) * | 2015-10-28 | 2016-03-09 | 卢星宇 | 一种解耦逻辑代码与性能代码的算法托管PaaS平台 |
-
2016
- 2016-03-28 CN CN201610176637.5A patent/CN105787117A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063766A (zh) * | 2014-07-03 | 2014-09-24 | 广州智业节能科技有限公司 | 基于云计算和大数据技术的建筑能效管理系统 |
| CN104270434A (zh) * | 2014-09-22 | 2015-01-07 | 珠海许继芝电网自动化有限公司 | 一种基于云服务的服务状态监视系统 |
| CN104317642A (zh) * | 2014-09-28 | 2015-01-28 | 华为技术有限公司 | 云计算环境下的软件部署方法和装置 |
| CN105045607A (zh) * | 2015-09-02 | 2015-11-11 | 广东创我科技发展有限公司 | 一种实现多种大数据计算框架统一接口的方法 |
| CN105391777A (zh) * | 2015-10-28 | 2016-03-09 | 卢星宇 | 一种解耦逻辑代码与性能代码的算法托管PaaS平台 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106331092A (zh) * | 2016-08-23 | 2017-01-11 | 浪潮电子信息产业股份有限公司 | 一种基于hadoop大数据平台的应用服务系统及部署方法 |
| CN106445611B (zh) * | 2016-09-30 | 2020-08-04 | 云润大数据服务有限公司 | 大数据节点系统及自动部署方法 |
| CN106445611A (zh) * | 2016-09-30 | 2017-02-22 | 广州特道信息科技有限公司 | 大数据节点系统及自动部署方法 |
| CN107153571A (zh) * | 2017-06-13 | 2017-09-12 | 郑州云海信息技术有限公司 | 一种虚拟化管理节点的部署方法及装置 |
| CN107634852A (zh) * | 2017-08-17 | 2018-01-26 | 新华三大数据技术有限公司 | 监管大数据集群的方法和装置 |
| CN107634852B (zh) * | 2017-08-17 | 2018-12-11 | 新华三大数据技术有限公司 | 监管大数据集群的方法和装置 |
| CN108549717A (zh) * | 2018-04-23 | 2018-09-18 | 泰华智慧产业集团股份有限公司 | 自动化部署运维Hadoop生态圈组件的方法及系统 |
| CN109298898A (zh) * | 2018-08-24 | 2019-02-01 | 深圳职业技术学院 | 云计算资源自动配置方法及装置 |
| CN109783212A (zh) * | 2018-12-26 | 2019-05-21 | 亚信科技（中国）有限公司 | 后台进程分布式调度装置、方法、计算机设备和存储介质 |
| CN110007932A (zh) * | 2019-03-20 | 2019-07-12 | 闽南师范大学 | 一种基于局域网大数据处理系统自动部署的方法 |
| CN110007932B (zh) * | 2019-03-20 | 2022-06-21 | 闽南师范大学 | 一种基于局域网大数据处理系统自动部署的方法 |
| CN111858107A (zh) * | 2019-04-30 | 2020-10-30 | 深信服科技股份有限公司 | 一种大数据组件编排可靠性的检测方法、系统及相关组件 |
| CN111858107B (zh) * | 2019-04-30 | 2024-02-23 | 深信服科技股份有限公司 | 一种大数据组件编排可靠性的检测方法、系统及相关组件 |
| CN111190652A (zh) * | 2019-12-17 | 2020-05-22 | 三盟科技股份有限公司 | 基于大数据实训平台的大数据组件自动控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105787117A (zh) | 一种云计算环境下大数据节点的自动部署方法及其装置 | |
| CN108600029B (zh) | 一种配置文件更新方法、装置、终端设备及存储介质 | |
| KR101831430B1 (ko) | 인프라의 설치와 구성을 자동화하는 장치 및 그 방법 | |
| CN108549717B (zh) | 自动化部署运维Hadoop生态圈组件的方法及系统 | |
| US10873510B2 (en) | Packaging tool for first and third party component deployment | |
| WO2017161984A1 (zh) | 数据集群的部署方法、装置、系统及计算机存储介质 | |
| EP2661014B1 (en) | Polling sub-system and polling method for communication network system and communication apparatus | |
| US20170269921A1 (en) | Continuous and automatic application development and deployment | |
| US11429353B1 (en) | Dynamic service provisioning using templatized infrastructure resources | |
| CN105099739A (zh) | 一种基于插件式软件部署方法、装置及应用服务器 | |
| CN112751692A (zh) | 业务开通方法及装置 | |
| CN113778486B (zh) | 一种代码流水线的容器化处理方法、装置、介质及设备 | |
| CN112148306A (zh) | 微服务运维管理系统和方法 | |
| CN113434180B (zh) | 应用的数据处理方法、装置、服务器和存储介质 | |
| CN117112122A (zh) | 一种集群部署方法和装置 | |
| CN113190286B (zh) | 动态远程加载功能插件的mes系统、加载方法、终端及介质 | |
| CN110011827A (zh) | 面向医联体的多用户大数据分析服务系统和方法 | |
| WO2018096717A1 (ja) | コントロールシステム及びコントロール方法 | |
| CN112905306A (zh) | 多集群容器管理方法、装置、电子设备和存储介质 | |
| CN110162312B (zh) | 一种基于IML的BeeGFS配置方法与装置 | |
| Thakur et al. | Mitigating and patching system vulnerabilities using ansible: A comparative study of various configuration management tools for iaas cloud | |
| CN115357198B (zh) | 存储卷的挂载方法及装置、存储介质及电子设备 | |
| CN115421847A (zh) | 支持多引擎的研发运维平台和cicd流水线的管理方法及设备 | |
| CN114721827A (zh) | 一种数据处理方法及装置 | |
| US20200344305A1 (en) | Commissioning a virtualised network function |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160720 |