CN107229646A - 数据集群的部署方法、装置及系统 - Google Patents

数据集群的部署方法、装置及系统 Download PDF

Info

Publication number
CN107229646A
CN107229646A CN201610177977.XA CN201610177977A CN107229646A CN 107229646 A CN107229646 A CN 107229646A CN 201610177977 A CN201610177977 A CN 201610177977A CN 107229646 A CN107229646 A CN 107229646A
Authority
CN
China
Prior art keywords
data cluster
configuration
deployment
cluster system
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610177977.XA
Other languages
English (en)
Inventor
杨桂荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201610177977.XA priority Critical patent/CN107229646A/zh
Priority to PCT/CN2017/074073 priority patent/WO2017161984A1/zh
Publication of CN107229646A publication Critical patent/CN107229646A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明提供了一种数据集群的部署方法、装置及系统。该方法包括：获取用于数据集群系统部署的第一配置信息，其中，第一配置信息包括部署数据集群系统所需的硬件资源和/或配置的信息；向云平台发送携带有第一配置信息的第一部署请求，其中，第一部署请求用于请求云平台根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置。通过本发明，解决了数据集群的部署和管理较为复杂的问题。

Description

数据集群的部署方法、装置及系统
技术领域
本发明涉及通信领域，具体而言，涉及一种数据集群的部署方法、装置及系统。
背景技术
随着互联网的发展，为了满足用户对海量数据的存储需求，通常会使用数据集群系统存储海量数据。例如，使用Apache开发的分布式系统基础架构，即海杜普(Hadoop)系统，存储海量数据。但是，很多数据集群系统往往存在部署和管理复杂的问题，下面以Hadoop系统为例进行说明。
Hadoop系统是一个能够对大量数据进行分布式处理的开源软件框架，该系统包括分布式文件系统(Hadoop Distributed File System，简称为HDFS)和分布式数据库(Hbase)，该系统的存储核心是分布式文件系统(HDFS)。HDFS适合运行在通用的硬件上，并且需要部署在大量机器上，以此来支持大规模的数据集和高吞吐量的数据访问。HDFS通过可以分布在不同机器上的多个副本数来实现高容错性。
另外，Hadoop系统还包括很多其他组件，用来实现资源调度、数据存储以及和外部的连接，如YARN、HBASE、zookeeper、HIVE、Impala、MapReduce、Oozie、Sqoop、Flume等，Hadoop系统包括的组件如图1所示。
Hadoop集群功能强大，应用广泛，但是由于其系统复杂，Hadoop集群的部署和管理非常繁杂，动辄需要数十台服务器的安装部署，十分耗费精力，如何快速自动化地构建可用的Hadoop集群并管理监控其运行状态成为值得研究的重要课题。
针对相关技术中，数据集群的部署和管理较为复杂的问题，目前尚未提出有效的解决方案。
发明内容
本发明提供了一种数据集群的部署方法、装置及系统，以至少解决相关技术中数据集群的部署和管理较为复杂的问题。
根据本发明的一个方面，提供了一种数据集群的部署方法，包括：获取用于数据集群系统部署的第一配置信息，其中，第一配置信息包括部署数据集群系统所需的硬件资源和/或配置的信息；向云平台发送携带有第一配置信息的第一部署请求，其中，第一部署请求用于请求云平台根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置。
进一步地，获取用于数据集群系统部署的第一配置信息包括：接收用户定义的第一配置文件；根据第一配置文件获取第一配置信息。
进一步地，根据第一配置文件获取第一配置信息包括：解析第一配置文件，得到与数据集群系统部署相关的第一配置参数；根据第一配置参数计算第一配置信息。
进一步地，第一配置文件中还包括用于数据集群系统部署的组件的信息，在向云平台发送携带有第一配置信息的第一部署请求之后，还包括：检测硬件资源是否创建成功；在硬件资源创建成功的情况下，根据用于数据集群系统部署的组件的信息生成插件。
进一步地，根据用于数据集群系统部署的组件的信息生成插件包括：获取第一数据集群系统版本文件信息，其中，第一数据集群系统版本文件信息为所部署的数据集群系统的版本文件的信息；根据用于数据集群系统部署的组件的信息和第一数据集群系统版本文件信息对应的版本文件，生成插件。
进一步地，插件为具备组件功能的插件。
进一步地，插件为多个插件，多个插件以层状结构部署。
进一步地，在根据用于数据集群系统部署的组件的信息生成插件之后，还包括：运行插件，以实现以下过程至少之一：网络环境配置；组件资源分配；时钟同步；将组件配置到所部署的数据集群系统的目标节点。
进一步地，在运行插件之后，还包括：监测数据集群系统的运行环境，其中，运行环境包括资源占用状况，在监测到发生资源占用状况异常的情况下，自动对数据集群系统进行调优；和/或，监测数据集群系统的运行状态，在发生数据集群系统的运行状态异常的情况下，自动对数据集群系统进行调优。
进一步地，该方法还包括：接收用于数据集群系统升级的第二配置文件；解析第二配置文件，得到与数据集群系统升级相关的第二配置参数；根据第二配置参数判断数据集群系统升级是否需要增加硬件资源和/或配置；在需要增加硬件资源和/或配置的情况下，向云平台发送携带有第二配置参数的第二部署请求，其中，第二部署请求用于请求云平台根据第二配置参数创建数据集群系统升级所需的硬件资源和/或配置。
进一步地，第二配置文件中还包括用于数据集群系统升级的组件的信息，在不需要增加硬件资源和/或配置的情况下，还包括：获取第二数据集群系统版本文件信息，其中，第二数据集群系统版本文件信息为升级后的数据集群系统的版本文件的信息；根据用于数据集群系统升级的组件的信息和第二数据集群系统版本文件信息对应的版本文件，生成插件。
根据本发明的另一方面，提供了一种数据集群的部署装置，包括：获取模块，用于获取用于数据集群系统部署的第一配置信息，其中，第一配置信息包括部署数据集群系统所需的硬件资源和/或配置的信息；发送模块，用于向云平台发送携带有第一配置信息的第一部署请求，其中，第一部署请求用于请求云平台根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置。
根据本发明的另一方面，提供了一种数据集群的部署系统，包括：处理器，用于获取用于数据集群系统部署的第一配置信息，并向云平台发送携带有第一配置信息的第一部署请求，其中，第一配置信息包括部署数据集群系统所需的硬件资源和/或配置的信息，第一部署请求用于请求云平台根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置；云平台，用于根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置。
本发明通过获取用于数据集群系统部署的第一配置信息，其中，第一配置信息包括部署数据集群系统所需的硬件资源和/或配置的信息；向云平台发送携带有第一配置信息的第一部署请求，其中，第一部署请求用于请求云平台根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置，实现了通过云平台批量创建硬件资源和/或配置，解决了数据集群的部署和管理较为复杂的问题，进而有效简化了数据集群的实际开发环境、测试环境及生产环境等方面的部署过程，能够大幅度节约设备和人力，提高了数据集群的部署效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是相关技术中Hadoop系统的组件结构示意图；
图2是根据本发明实施例的数据集群的部署方法的流程图；
图3是根据本发明实施例的数据集群的部署装置的结构框图；
图4是根据本发明实施例的数据集群的部署系统的示意图；
图5是根据本发明实施例的一种数据集群的部署系统的示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在本实施例中提供了一种数据集群的部署方法，图2是根据本发明实施例的数据集群的部署方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取用于数据集群系统部署的第一配置信息，其中，第一配置信息包括部署数据集群系统所需的硬件资源和/或配置的信息；
步骤S204，向云平台发送携带有第一配置信息的第一部署请求，其中，第一部署请求用于请求云平台根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置。
其中，云平台为利用云集署搭建起来的一个服务平台，可以提供基础设施或者虚拟化环境等服务。
其中，部署数据集群系统所需的硬件资源包括系统部署所需的基础设施。
其中，云平台可以是基于PAAS(Platform-as-a-Service)的云平台，基于PAAS的云平台能够为hadoop系统提供足够的硬件支持。
在该实施中，第一配置信息可以是用户自定义的配置文件中的相关配置信息，例如，第一配置信息可以包括用户选定的虚拟机模板的相关数据；用户自定义的待部署的数据集群系统中需要安装的组件、基础设施搭建相关的参数等。另外，可以预先将配置文件系列化标准化，在使用时用户只需要更改少量的参数就可以完成数据集群系统的配置，并且该配置文件是用户唯一需要填写的部署清单，数据集群系统的部署变得更加简单。
需要说明的是，该数据集群的部署方法特别适用于大数据集群的部署，例如，hadoop系统的部署。
上述实施例，通过获取用于数据集群系统部署的第一配置信息，其中，第一配置信息包括部署数据集群系统所需的硬件资源和/或配置的信息；向云平台发送携带有第一配置信息的第一部署请求，其中，第一部署请求用于请求云平台根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置，实现了通过云平台批量创建硬件资源和/或配置，解决了数据集群的部署和管理较为复杂的问题，进而有效简化了数据集群的实际开发环境、测试环境及生产环境等方面的部署过程，能够大幅度节约设备和人力，提高了数据集群的部署效率。
可选地，获取用于数据集群系统部署的第一配置信息包括：接收用户定义的第一配置文件；根据第一配置文件获取第一配置信息。其中，所述第一配置文件是用户自定义的(用户根据自身需求对标准配置文件进行参数的修改、选择，以得到第一配置文件)，配置方法更能满足用户的需求，并且部署操作更加便捷。
可选地，根据第一配置文件获取第一配置信息包括：解析第一配置文件，得到与数据集群系统部署相关的第一配置参数；根据第一配置参数计算第一配置信息。
在该实施例中，用户提供数据集群系统部署需要的第一配置文件，处理器接收到该第一配置文件后，解析第一配置文件中的参数，自动计算出需要的硬件资源(基础设施)和配置情况，然后触发自动部署请求，向PAAS云平台发送创建硬件资源和/或配置的请求，请求中携带有计算得到的硬件资源和/或配置信息。该实施例在接收到用户的配置文件后，会自动触发一系列的解析、请求等操作，无需用户再投入精力，部署过程十分高效、便捷。
可选地，第一配置文件中还包括用于数据集群系统部署的组件的信息，在向云平台发送携带有第一配置信息的第一部署请求之后，还包括：检测硬件资源是否创建成功；在硬件资源创建成功的情况下，根据用于数据集群系统部署的组件的信息生成插件。
在该实施例中，在硬件资源创建成功之后，可自动生成一个主控模块，在主控模块的控制下，可根据第一配置文件自动生成插件，并将插件配置并运行起来。
可选地，根据用于数据集群系统部署的组件的信息生成插件包括：获取第一数据集群系统版本文件信息，其中，第一数据集群系统版本文件信息为所部署的数据集群系统的版本文件的信息；根据用于数据集群系统部署的组件的信息和第一数据集群系统版本文件信息对应的版本文件，生成插件。
其中，第一数据集群系统版本文件信息可以是待部署的大数据集群系统的版本安装包，可通过操作人员从版本机上获取并放至版本目录中。
例如，在hadoop系统的部署中，在硬件资源创建成功之后，可自动生成一个主控模块，在主控模块的控制下，可以根据用户定义的配置文件(包括组件的参数)和hadoop版本文件自动生成插件。
可选地，第一部署请求还用于请求从云平台中存储的多个数据集群系统版本文件中选择需要的虚拟主机模板，以生成虚拟机。
在该实施例中，云平台可预先存储多个虚拟主机模板，用户根据需要在配置文件中选定需要的虚拟主机模板，并通过请求消息发送至云平台，云平台根据请求确定需要生成的虚拟机。
可选地，插件为带有组件功能的插件，插件能够独立运行。
在该实施例中，通过远程命令自动生成包含组件功能的插件，该插件可脱离操作系统独立运行。其中，插件可以看作是组件的载体。大数据集群系统可以看作是由一系列的组件构成的。带有组件功能的插件是指一个可随时部署的插件，该插件具有需要部署的组件的功能。例如，一个HIVE版本包的安装需要涉及诸多的配置，而该实施例通过生成具有组件功能的插件，仅仅需要配置该插件即可完成对组件的复杂配置过程，有效提高了组件的配置效率。该实施例有效克服了现有大数据集群系统的部署中需要多个组件按照次序逐个部署而造成的效率低下的缺陷，有效提升了大数据集群系统的部署效率。
可选地，在根据用于数据集群系统部署的组件的信息生成插件之后，还包括：运行插件，以实现以下过程至少之一：网络环境配置；组件资源分配；时钟同步；将所述组件配置到所部署的数据集群系统的目标节点。
在该实施例中，可以通过批量配置工具自动配置所有的插件，以实现网络环境配置、组件资源分配、时钟同步、将所述组件配置到所部署的数据集群系统的目标节点等操作。
可选地，插件为多个插件，多个插件以层状结构部署。
在该实施例中，通过大数据插件层状化部署，可以支持插件的灵活使用，方便系统的调整和扩容，以及自动进行性能调优。
可选地，在运行插件之后，还包括：监测数据集群系统的运行环境，其中，运行环境包括资源占用状况，在监测到发生资源占用状况异常的情况下，自动对数据集群系统进行调优；和/或，监测数据集群系统的运行状态，在发生数据集群系统的运行状态异常的情况下，自动对数据集群系统进行调优。
该实施例可以实现安全和监控的自动化，优选地，利用Kerberos进行身份认证，自动化监控数据集群系统的相关组件的运行情况。环境若运行正常，和/或系统正常运行，则持续监控；环境若发生资源占用异常，和/或系统处于异常状态，则自动通知主控进程，主控进程自动完成对数据集群系统的自动调优。
可选地，该方法还包括：接收用于数据集群系统升级的第二配置文件；解析第二配置文件，得到与数据集群系统升级相关的第二配置参数；根据第二配置参数判断数据集群系统升级是否需要增加硬件资源和/或配置；在需要增加硬件资源和/或配置的情况下，向云平台发送携带有第二配置参数的第二部署请求，其中，第二部署请求用于请求云平台根据第二配置参数创建数据集群系统升级所需的硬件资源和/或配置。
可选地，第二配置文件中还包括用于数据集群系统升级的组件的信息，在不需要增加硬件资源和/或配置的情况下，还包括：获取第二数据集群系统版本文件信息，其中，第二数据集群系统版本文件信息为升级后的数据集群系统的版本文件的信息；根据用于数据集群系统升级的组件的信息和第二数据集群系统版本文件信息对应的版本文件，生成插件。
其中，第二数据集群系统版本文件信息可以是待升级到的大数据集群系统的版本包，可通过操作人员从版本机上获取并放至版本目录中。
上述实施例提供了数据集群系统需要升级时的配置方法。具体地，用户提供数据集群系统升级需要的配置文件(第二配置文件)，处理器接收到配置文件后，解析配置文件中的参数，自动计算出升级是否需要增加硬件资源(基础设施)和配置情况。若需要，则触发自动部署请求，向PAAS平台发送创建基础设施的请求，请求携带有计算出的配置信息，在基础设施创建成功后，自动通知主控模块，以通过主控模块控制相应的插件生成；若不需要，则处理器(处理器中的插件自动生成模块)通过主控模块，并基于配置文件和新的数据集群系统版本文件(第二数据集群系统版本文件信息对应的版本文件)自动生成插件；处理器(处理器中的批量配置模块)按照配置文件把待升级插件停止并替换成新的插件然后配置并运行起来。
在上述过程中，处理器同样可利用安全和监控自动化功能通过Kerberos进行身份认证，自动化监控数据集群系统相关组件的运行情况。其中，环境若运行正常，和/或数据集群系统正常运行，持续监控；环境若发生资源占用异常和/或系统出现异常状态，可自动通知主控进程，主控进程自动完成对数据集群系统的自动调优。
通过上述实施例，在数据集群系统需要升级时，无需停止数据集群系统的运行即可实现系统的升级，从而实现了无缝升级，提高了用户体验。
上述实施提出的数据集群的部署方法，可通过组件的插件化进行大数据环境的部署，扩展可更新的组件插件仓库，通过PAAS云平台进行存储和管理，通过自动化部署脚本和管理脚本进行部署和管理，并通过自动收集系统信息，对大数据集群的健康情况进行监控，从而达到了自动部署和管理大数据环境的效果。另外，大数据插件层状化部署，可以支持插件的灵活使用，方便调整和扩容，支持自动执行性能调优。此外，该方法易于对应用进行自动打包和部署、创建轻量PAAS环境等优点，在实际开发/测试环境部署或者生产环境部署方面能够大幅度地节约设备和人力资源，提高部署效率，同时该方法还实现了大数据平台的无缝升级。
下面，根据两种具体实施方式来进一步说明本发明提供的数据集群的部署方法。
实施例一
下面根据本发明实施例提供了一种数据集群的部署方法，该方法包括以下的步骤：
步骤11：用户提供hadoop系统部署需要的配置文件；其中，配置文件相当于上述的第一配置文件。
步骤12：处理器接收到配置文件后，解析配置文件中参数，自动计算出需要的基础设施和配置情况，然后触发自动部署请求，向PaaS平台发送创建基础设施和/或配置的请求，请求中携带计算得到的配置信息；其中，该请求相当于上述的第一部署请求。
步骤13：基础设施创建成功后，自动生成hadoop主控模块。
步骤14：插件自动生成模块在主控模块的控制下，根据标准配置文件和hadoop版本文件(第一数据集群版本文件信息对应的版本文件)自动生成组件插件。
步骤15：批量配置模块按照配置文件把插件配置并运行起来。
步骤16：安全和监控模块自动利用Kerberos进行身份认证，自动化监控hadoop相关组件的运行情况
步骤17：环境若运行正常，和/或系统正常运行，则持续监控。
步骤18：环境若发生资源占用异常或者系统出现异常状况，则自动通知主控进程，主控进程自动完成对hadoop系统的自动调优。
实施例二
下面根据本发明实施例提供了另外一种数据集群的部署方法，该方法应用于大数据系统的升级，该方法包括以下的步骤：
步骤21：用户提供hadoop系统升级需要的配置文件。
步骤22：处理器接收到配置文件后，解析配置文件中的参数，自动计算出升级是否需要增加基础设施和/或配置，若需要，则触发执行步骤23；若不需要，则触发执行步骤25。
步骤23：触发自动部署请求，向PaaS平台发送创建基础设施请求(相当于上述的第二部署请求)，该请求携带有计算得到的配置信息。
步骤24：基础设施创建成功后，自动通知hadoop主控模块。
步骤25：插件自动生成模块在主控模块的控制下，根据配置文件和新的hadoop版本文件(第二数据集群系统版本文件信息对应的版本文件)自动生成组件插件。
步骤26：批量配置模块按照配置文件把待升级插件停止并替换成新的插件，并将新的插件配置并运行起来。
步骤27：安全和监控模块自动利用Kerberos进行身份认证，自动化监控Hadoop相关组件的运行情况。
步骤28：环境若运行正常，和/或系统正常运行，则持续监控。
步骤29：环境若发生资源占用异常或者系统出现异常状况，则自动通知主控进程，主控进程自动完成对hadoop系统的自动调优。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种数据集群的部署装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的数据集群的部署装置的结构框图，如图3所示，该装置包括：
获取模块30，用于获取用于数据集群系统部署的第一配置信息，其中，第一配置信息包括部署数据集群系统所需的硬件资源和/或配置的信息；
发送模块32，用于向云平台发送携带有第一配置信息的第一部署请求，其中，第一部署请求用于请求云平台根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置。
在该实施例中，通过获取模块30获取用于数据集群系统部署的第一配置信息，其中，第一配置信息包括部署数据集群系统所需的硬件资源和/或配置的信息；发送模块32向云平台发送携带有第一配置信息的第一部署请求，其中，第一部署请求用于请求云平台根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置，实现了通过云平台批量创建硬件资源和/或配置，解决了数据集群的部署和管理较为复杂的问题，进而有效简化了数据集群的实际开发环境、测试环境及生产环境等方面的部署过程，能够大幅度节约设备和人力，提高了数据集群的部署效率。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的：上述模块均位于同一处理器中；或者，上述模块分别位于多个处理器中。
在本实施例中还提供了一种数据集群的部署系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。
图4是根据本发明实施例的数据集群的部署系统的示意图，如图4所示，该系统包括：
处理器40，用于获取用于数据集群系统部署的第一配置信息，并向云平台发送携带有第一配置信息的第一部署请求，其中，第一配置信息包括部署数据集群系统所需的硬件资源和/或配置的信息，第一部署请求用于请求云平台根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置；
云平台42，用于根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置。
在该实施例中，通过处理器40获取用于数据集群系统部署的第一配置信息，并向云平台发送携带有第一配置信息的第一部署请求，其中，第一配置信息包括部署数据集群系统所需的硬件资源和/或配置的信息，第一部署请求用于请求云平台根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置，云平台42根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置，实现了通过云平台批量创建硬件资源和/或配置，解决了数据集群的部署和管理较为复杂的问题，进而有效简化了数据集群的实际开发环境、测试环境及生产环境等方面的部署过程，能够大幅度节约设备和人力，提高了数据集群的部署效率。
图5是根据本发明实施例的一种数据集群的部署系统的示意图。其中，在该数据集群的部署系统中，上述的处理器40还可以包括：主控模块502、插件生成模块504、标准配置模块506、批量配置模块508以及安全和监控模块510。各模块的功能具体如下：
主控模块502：该模块用于将插件组装并运行起来，以及具有将数据集群系统版本文件组装成可以不依赖于硬件和操作系统独立运行的插件的功能。例如，可以将大数据的组件，如YARN、HBASE、zookeeper、HIVE、Impala、MapReduce、Oozie、Sqoop、Flume等，封装成单独的插件，使得插件可以脱离操作系统和硬件独立部署，具有完全的隔离性，并且可以复用硬件和操作系统的资源。
插件生成模块504：用于利用容器技术和集装箱技术，通过主控模块，按照定制的功能将数据集群系统版本文件组装成插件，以供部署和使用。
标准配置模块506(可实现数据集群的部署装置中获取模块和发送模块的功能)：用于将数据集群系统配置文件系列化、标准化，在使用时只需更改少量的参数即可完成数据集群系统的配置。其中，配置文件是用户唯一需要填写的部署清单。标准配置模块可实现配置文件的标准化，通过提取数据集群的可配置项，形成标准配置文件，简化了用户操作，提高了用户体验。
批量配置模块508：使用批量配置工具，根据配置文件(如上述的第一配置文件和第二配置文件)，自动配置所有的插件，用于支持包括网络环境构建、组件资源分配、时钟同步以及应用配置到节点等操作，用于为数据集群系统组件提供统一的配置环境。
安全和监控模块510：用于利用Kerberos(hadoop自带的Kerberos身份认证系统)进行身份认证。该模块可自动化监控数据集群系统相关组件的运行情况，并根据资源占用情况完成对数据集群系统的调优。
云平台42用于为数据集群系统提供足够的硬件支持。在云计算平台(云平台)中存储常用操作系统的虚拟主机模版，云平台可通过用户选定的虚拟机模版以及配置参数为用户搭建数据集群所需的主控计算机，然后再通过配置文件，确定需要安装的组件，确认无误后，处理器40会自动生成需要的插件，并将其部署为层状结构，搭建好大数据集群。
根据该实施例的数据集群的部署系统，实现了基于插件化的数据集群系统的部署，并且支持自动化部署和组件分配，将插件以层状插件的形式部署在集群中，可支持灵活使用，方便调整和扩容，可实现自动性能调优。该数据集群的部署系统通过云平台实现了批量构造硬件资源和/或配置，解决了现有技术中数据集群的部署和管理较为复杂的问题。
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S202，获取用于数据集群系统部署的第一配置信息，其中，第一配置信息包括部署数据集群系统所需的硬件资源和/或配置的信息；
S204，向云平台发送携带有第一配置信息的第一部署请求，其中，第一部署请求用于请求云平台根据第一配置信息创建数据集群系统部署所需的硬件资源和/或配置。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种数据集群的部署方法，其特征在于，包括：
获取用于数据集群系统部署的第一配置信息，其中，所述第一配置信息包括部署所述数据集群系统所需的硬件资源和/或配置的信息；
向云平台发送携带有所述第一配置信息的第一部署请求，其中，所述第一部署请求用于请求所述云平台根据所述第一配置信息创建所述数据集群系统部署所需的硬件资源和/或配置。
2.根据权利要求1所述的方法，其特征在于，获取用于数据集群系统部署的第一配置信息包括：
接收用户定义的第一配置文件；
根据所述第一配置文件获取所述第一配置信息。
3.根据权利要求2所述的方法，其特征在于，根据所述第一配置文件获取所述第一配置信息包括：
解析所述第一配置文件，得到与所述数据集群系统部署相关的第一配置参数；
根据所述第一配置参数计算所述第一配置信息。
4.根据权利要求2所述的方法，其特征在于，所述第一配置文件中还包括用于所述数据集群系统部署的组件的信息，在向云平台发送携带有所述第一配置信息的第一部署请求之后，还包括：
检测所述硬件资源是否创建成功；
在所述硬件资源创建成功的情况下，根据用于所述数据集群系统部署的组件的信息生成插件。
5.根据权利要求4所述的方法，其特征在于，根据用于所述数据集群系统部署的组件的信息生成插件包括：
获取第一数据集群系统版本文件信息，其中，所述第一数据集群系统版本文件信息为所部署的数据集群系统的版本文件的信息；
根据用于所述数据集群系统部署的组件的信息和所述第一数据集群系统版本文件信息对应的版本文件，生成所述插件。
6.根据权利要求4-5中任一项所述的方法，其特征在于，所述插件为具备组件功能的插件。
7.根据权利要求4-5中任一项所述的方法，其特征在于，所述插件为多个插件，所述多个插件以层状结构部署。
8.根据权利要求4所述的方法，其特征在于，在根据用于所述数据集群系统部署的组件的信息生成插件之后，还包括：
运行所述插件，以实现以下过程至少之一：
网络环境配置；组件资源分配；时钟同步；将所述组件配置到所部署的数据集群系统的目标节点。
9.根据权利要求8所述的方法，其特征在于，在运行所述插件之后，还包括：
监测所述数据集群系统的运行环境，其中，所述运行环境包括资源占用状况，在监测到发生资源占用状况异常的情况下，自动对所述数据集群系统进行调优；和/或，
监测所述数据集群系统的运行状态，在发生数据集群系统的运行状态异常的情况下，自动对所述数据集群系统进行调优。
10.根据权利要求1所述的方法，其特征在于，还包括：
接收用于所述数据集群系统升级的第二配置文件；
解析所述第二配置文件，得到与所述数据集群系统升级相关的第二配置参数；
根据所述第二配置参数判断所述数据集群系统升级是否需要增加硬件资源和/或配置；
在需要增加硬件资源和/或配置的情况下，向所述云平台发送携带有所述第二配置参数的第二部署请求，其中，所述第二部署请求用于请求所述云平台根据所述第二配置参数创建所述数据集群系统升级所需的硬件资源和/或配置。
11.根据权利要求10所述的方法，其特征在于，所述第二配置文件中还包括用于所述数据集群系统升级的组件的信息，在不需要增加硬件资源和/或配置的情况下，还包括：
获取第二数据集群系统版本文件信息，其中，所述第二数据集群系统版本文件信息为升级后的数据集群系统的版本文件的信息；
根据用于所述数据集群系统升级的组件的信息和所述第二数据集群系统版本文件信息对应的版本文件，生成插件。
12.一种数据集群的部署装置，其特征在于，包括：
获取模块，用于获取用于数据集群系统部署的第一配置信息，其中，所述第一配置信息包括部署所述数据集群系统所需的硬件资源和/或配置的信息；
发送模块，用于向云平台发送携带有所述第一配置信息的第一部署请求，其中，所述第一部署请求用于请求所述云平台根据所述第一配置信息创建所述数据集群系统部署所需的硬件资源和/或配置。
13.一种数据集群的部署系统，其特征在于，包括：
处理器，用于获取用于数据集群系统部署的第一配置信息，并向云平台发送携带有所述第一配置信息的第一部署请求，其中，所述第一配置信息包括部署所述数据集群系统所需的硬件资源和/或配置的信息，所述第一部署请求用于请求所述云平台根据所述第一配置信息创建所述数据集群系统部署所需的硬件资源和/或配置；
所述云平台，用于根据所述第一配置信息创建所述数据集群系统部署所需的硬件资源和/或配置。
CN201610177977.XA 2016-03-24 2016-03-24 数据集群的部署方法、装置及系统 Pending CN107229646A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610177977.XA CN107229646A (zh) 2016-03-24 2016-03-24 数据集群的部署方法、装置及系统
PCT/CN2017/074073 WO2017161984A1 (zh) 2016-03-24 2017-02-20 数据集群的部署方法、装置、系统及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610177977.XA CN107229646A (zh) 2016-03-24 2016-03-24 数据集群的部署方法、装置及系统

Publications (1)

Publication Number Publication Date
CN107229646A true CN107229646A (zh) 2017-10-03

Family

ID=59899194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610177977.XA Pending CN107229646A (zh) 2016-03-24 2016-03-24 数据集群的部署方法、装置及系统

Country Status (2)

Country Link
CN (1) CN107229646A (zh)
WO (1) WO2017161984A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210924A (zh) * 2019-04-15 2019-09-06 腾讯科技（深圳）有限公司 产品功能定制方法、装置以及服务器
CN110532022A (zh) * 2019-08-07 2019-12-03 浪潮电子信息产业股份有限公司 一种获取不同云平台版本的方法、装置、设备和存储介质
CN111625270A (zh) * 2020-05-21 2020-09-04 浪潮电子信息产业股份有限公司 一种开发环境创建方法、装置、设备及存储介质
CN112306626A (zh) * 2020-09-01 2021-02-02 北京京东尚科信息技术有限公司 用于更新云平台的方法和装置
CN112346816A (zh) * 2020-09-01 2021-02-09 北京京东尚科信息技术有限公司 云平台更新方法和装置
CN112395072A (zh) * 2019-08-14 2021-02-23 北京三快在线科技有限公司 模型部署的方法、装置、存储介质及电子设备
CN112424750A (zh) * 2018-07-19 2021-02-26 纳木技术株式会社 云平台上的多集群供应及管理办法
CN112738206A (zh) * 2020-12-25 2021-04-30 北京浪潮数据技术有限公司 一种分布式集群和云平台的对接方法及组件
CN113296823A (zh) * 2020-02-21 2021-08-24 北京国双科技有限公司 一种生成资源配置文件的方法、装置、设备及存储介质
CN113419746A (zh) * 2021-05-21 2021-09-21 济南浪潮数据技术有限公司 一种Cinder-CSI插件安装方法、系统、存储介质及设备
CN113608832A (zh) * 2021-07-17 2021-11-05 济南浪潮数据技术有限公司 一种应用部署方法、系统、设备以及介质
CN113645314A (zh) * 2021-08-31 2021-11-12 新华三技术有限公司成都分公司 一种私有云的部署方法和服务器
CN113839821A (zh) * 2021-10-14 2021-12-24 京东科技信息技术有限公司 部署集群和构建基础设施的方法、装置、系统、设备及介质
CN114095498A (zh) * 2021-10-22 2022-02-25 广西中科曙光云计算有限公司 集群环境的部署方法、系统、计算机设备及存储介质
CN116489025A (zh) * 2023-04-26 2023-07-25 国网河北省电力有限公司 一种电网调控云控制平台及其维护方法
CN116866180A (zh) * 2023-07-04 2023-10-10 北京志凌海纳科技有限公司 集群升级的测试方法及系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110311831B (zh) * 2019-06-14 2022-03-25 平安科技（深圳）有限公司 基于容器云的系统资源监控方法及相关设备
CN110389766B (zh) * 2019-06-21 2022-12-27 深圳市汇川技术股份有限公司 HBase容器集群部署方法、系统、设备及计算机可读存储介质
CN111597536B (zh) * 2020-05-19 2023-05-05 重庆第二师范学院 一种hadoop集群kerberos高可用认证方法
CN112052095B (zh) * 2020-09-11 2024-04-19 成都锋卫科技有限公司 一种分布式高可用的大数据挖掘任务调度系统
CN112068935B (zh) * 2020-09-15 2024-08-16 北京值得买科技股份有限公司 kubernetes程序部署监控方法、装置以及设备
CN113448837B (zh) * 2020-11-03 2024-03-19 北京新氧科技有限公司 开发及测试环境部署方法、系统、电子设备及介质
CN112749085B (zh) * 2020-12-31 2023-10-24 北京知因智慧科技有限公司 一种跨集群的任务发布方法、装置、电子设备及存储介质
CN113407257A (zh) * 2021-06-09 2021-09-17 交控科技股份有限公司 Mysql集群部署方法、装置、电子设备及存储介质
CN113448686B (zh) * 2021-06-22 2024-05-24 深信服科技股份有限公司 一种资源部署方法、装置、电子设备及存储介质
CN113312153B (zh) * 2021-06-25 2023-03-21 深信服科技股份有限公司 一种集群部署方法、装置、电子设备及存储介质
CN114116066B (zh) * 2021-11-30 2024-05-07 湖南麒麟信安科技股份有限公司 一种云平台集群控制方法、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012142854A1 (zh) * 2011-04-18 2012-10-26 北京新媒传信科技有限公司 一种应用服务平台系统及其实现方法
CN103167041A (zh) * 2013-03-28 2013-06-19 广州中国科学院软件应用技术研究所 一种支持云环境应用集群自动化部署的系统及方法
CN103209197A (zh) * 2012-01-12 2013-07-17 百度在线网络技术（北京）有限公司 集群服务器部署方法及系统
CN104579761A (zh) * 2014-12-24 2015-04-29 西安工程大学 一种基于云计算的nosql集群自动配置系统及自动配置方法
CN104601622A (zh) * 2013-10-31 2015-05-06 国际商业机器公司 一种部署集群的方法和系统
CN104836819A (zh) * 2014-02-10 2015-08-12 阿里巴巴集团控股有限公司 动态负载均衡的方法、系统及监控调度设备
US20160028587A1 (en) * 2014-07-25 2016-01-28 Cohesity, Inc. Node discovery and cluster formation for a secondary storage appliance

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102455915A (zh) * 2010-10-18 2012-05-16 卓望数码技术（深圳）有限公司 一种分布式系统的自动化配置方法及服务器
CN102394939A (zh) * 2011-11-21 2012-03-28 苏州阔地网络科技有限公司 一种分布式系统的部署方法及系统
CN104750780B (zh) * 2015-03-04 2017-10-13 北京航空航天大学 一种基于统计分析的Hadoop配置参数优化方法
CN104915407B (zh) * 2015-06-03 2018-06-12 华中科技大学 一种基于Hadoop多作业环境下的资源调度方法
CN105260203B (zh) * 2015-09-25 2017-11-17 福州大学 一种基于模型的Hadoop部署以及配置方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012142854A1 (zh) * 2011-04-18 2012-10-26 北京新媒传信科技有限公司 一种应用服务平台系统及其实现方法
CN103209197A (zh) * 2012-01-12 2013-07-17 百度在线网络技术（北京）有限公司 集群服务器部署方法及系统
CN103167041A (zh) * 2013-03-28 2013-06-19 广州中国科学院软件应用技术研究所 一种支持云环境应用集群自动化部署的系统及方法
CN104601622A (zh) * 2013-10-31 2015-05-06 国际商业机器公司 一种部署集群的方法和系统
CN104836819A (zh) * 2014-02-10 2015-08-12 阿里巴巴集团控股有限公司 动态负载均衡的方法、系统及监控调度设备
US20160028587A1 (en) * 2014-07-25 2016-01-28 Cohesity, Inc. Node discovery and cluster formation for a secondary storage appliance
CN104579761A (zh) * 2014-12-24 2015-04-29 西安工程大学 一种基于云计算的nosql集群自动配置系统及自动配置方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112424750A (zh) * 2018-07-19 2021-02-26 纳木技术株式会社 云平台上的多集群供应及管理办法
CN110210924B (zh) * 2019-04-15 2024-03-26 腾讯科技（深圳）有限公司 产品功能定制方法、装置以及服务器
CN110210924A (zh) * 2019-04-15 2019-09-06 腾讯科技（深圳）有限公司 产品功能定制方法、装置以及服务器
CN110532022A (zh) * 2019-08-07 2019-12-03 浪潮电子信息产业股份有限公司 一种获取不同云平台版本的方法、装置、设备和存储介质
CN110532022B (zh) * 2019-08-07 2022-06-17 浪潮电子信息产业股份有限公司 一种获取不同云平台版本的方法、装置、设备和存储介质
CN112395072A (zh) * 2019-08-14 2021-02-23 北京三快在线科技有限公司 模型部署的方法、装置、存储介质及电子设备
CN113296823A (zh) * 2020-02-21 2021-08-24 北京国双科技有限公司 一种生成资源配置文件的方法、装置、设备及存储介质
CN111625270A (zh) * 2020-05-21 2020-09-04 浪潮电子信息产业股份有限公司 一种开发环境创建方法、装置、设备及存储介质
CN112346816A (zh) * 2020-09-01 2021-02-09 北京京东尚科信息技术有限公司 云平台更新方法和装置
CN112306626B (zh) * 2020-09-01 2024-04-05 北京京东尚科信息技术有限公司 用于更新云平台的方法和装置
CN112306626A (zh) * 2020-09-01 2021-02-02 北京京东尚科信息技术有限公司 用于更新云平台的方法和装置
CN112738206A (zh) * 2020-12-25 2021-04-30 北京浪潮数据技术有限公司 一种分布式集群和云平台的对接方法及组件
CN112738206B (zh) * 2020-12-25 2022-08-23 北京浪潮数据技术有限公司 一种分布式集群和云平台的对接方法及组件
CN113419746A (zh) * 2021-05-21 2021-09-21 济南浪潮数据技术有限公司 一种Cinder-CSI插件安装方法、系统、存储介质及设备
CN113608832A (zh) * 2021-07-17 2021-11-05 济南浪潮数据技术有限公司 一种应用部署方法、系统、设备以及介质
CN113645314B (zh) * 2021-08-31 2023-04-07 新华三技术有限公司成都分公司 一种私有云的部署方法和服务器
CN113645314A (zh) * 2021-08-31 2021-11-12 新华三技术有限公司成都分公司 一种私有云的部署方法和服务器
CN113839821A (zh) * 2021-10-14 2021-12-24 京东科技信息技术有限公司 部署集群和构建基础设施的方法、装置、系统、设备及介质
CN113839821B (zh) * 2021-10-14 2024-05-24 京东科技信息技术有限公司 部署集群和构建基础设施的方法、装置、系统、设备及介质
CN114095498B (zh) * 2021-10-22 2022-08-19 广西中科曙光云计算有限公司 集群环境的部署方法、系统、计算机设备及存储介质
CN114095498A (zh) * 2021-10-22 2022-02-25 广西中科曙光云计算有限公司 集群环境的部署方法、系统、计算机设备及存储介质
CN116489025A (zh) * 2023-04-26 2023-07-25 国网河北省电力有限公司 一种电网调控云控制平台及其维护方法
CN116489025B (zh) * 2023-04-26 2024-01-26 国网河北省电力有限公司 一种电网调控云控制平台及其维护方法
CN116866180A (zh) * 2023-07-04 2023-10-10 北京志凌海纳科技有限公司 集群升级的测试方法及系统
CN116866180B (zh) * 2023-07-04 2024-03-01 北京志凌海纳科技有限公司 集群升级的测试方法及系统

Also Published As

Publication number Publication date
WO2017161984A1 (zh) 2017-09-28

Similar Documents

Publication Publication Date Title
CN107229646A (zh) 数据集群的部署方法、装置及系统
CN108924217B (zh) 一种分布式云系统自动化部署方法
CN106020930B (zh) 一种基于应用容器的应用管理方法及系统
CN111866191B (zh) 消息事件的分发方法、分发平台、系统及服务器
CN110752947B (zh) 一种k8s集群部署方法及装置，一种部署平台
CN107463582B (zh) 分布式部署Hadoop集群的方法及装置
CN105429839B (zh) 虚拟化网络功能vnf优化方法、装置及系统
CN107800565B (zh) 巡检方法、装置、系统、计算机设备和存储介质
CN103226493B (zh) 多操作系统业务的部署方法和系统
CN102868736B (zh) 一种云计算监控框架设计及实现方法及云计算处理设备
CN106126273B (zh) 一种升级bios的方法
CN105553741A (zh) 一种基于云计算的应用系统自动化部署方法
CN110908658A (zh) 一种“微服务+微应用”系统、数据处理方法及装置
CN113068085B (zh) 一种onu管理方法、装置、设备及系统
CN104320482A (zh) 一种银行柜员前端系统
CN113778615B (zh) 一种快速稳定的网络靶场虚拟机构建系统
CN109218086B (zh) 一种交换网构建方法与系统
CN108667639A (zh) 一种私有云环境下的资源管理方法及管理服务器
CN107479888A (zh) 操作系统镜像部署服务器方法、系统、设备及存储介质
KR20090106537A (ko) 소프트웨어 컴포넌트를 설치하기 위한 방법, 시스템, ｄｍ 클라이언트 및 ｄｍ 서버
CN109586970A (zh) 资源分配方法、装置及系统
CN113472848A (zh) 一种虚拟机和容器的网络融合方法、装置及相关设备
CN103034545B (zh) 基于ace的通信框架和方法、及功能模块间的通信方法
CN104348646A (zh) 配置数据处理方法、装置及系统
CN112087311B (zh) 一种虚拟网络功能vnf部署方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171003