CN109683910A - 大数据平台部署方法及装置 - Google Patents

大数据平台部署方法及装置 Download PDF

Info

Publication number
CN109683910A
CN109683910A CN201811574077.4A CN201811574077A CN109683910A CN 109683910 A CN109683910 A CN 109683910A CN 201811574077 A CN201811574077 A CN 201811574077A CN 109683910 A CN109683910 A CN 109683910A
Authority
CN
China
Prior art keywords
container
service
module
big data
data platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811574077.4A
Other languages
English (en)
Inventor
万恒
陈林
王诗强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sefon Software Co Ltd
Original Assignee
Chengdu Sefon Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sefon Software Co Ltd filed Critical Chengdu Sefon Software Co Ltd
Priority to CN201811574077.4A priority Critical patent/CN109683910A/zh
Publication of CN109683910A publication Critical patent/CN109683910A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本申请公开了一种大数据平台部署方法及装置，所述方法应用于集群系统的管理节点，所述集群系统还包括与所述管理节点相互通信的物理节点，所述方法包括：获取大数据平台需要运行的多个服务以及所述多个服务之间的关联关系；针对每个所述服务生成该服务对应的容器；根据所述多个服务之间的关联关系获得分别与所述多个服务对应的各个所述容器之间的关联关系；为所述容器分配对应的持久化存储区；获取用于部署所述容器的配置信息，所述配置信息包括所述容器与所述物理节点的对应关系以及各个所述容器之间的关联关系；根据所述配置信息将所述容器分发至对应的物理节点，并使所述物理节点运行对应的容器。本申请所述方案能提高大数据平台的部署效率。

Description

大数据平台部署方法及装置
技术领域
本申请涉及计算机应用技术领域，具体而言，涉及一种大数据平台部署方法及装置。
背景技术
大数据平台，一般为集群结构，整个大数据平台包括多个组件，其中每个组件中又包括多个服务。
现有技术中，部署大数据平台时，需要首先在物理设备上安装操作系统，然后安装好应用所需要依赖的各种环境，也就是说需要进行系统环境配置、数据库的配置、安装脚本适配，最后，在安装好应用所需要依赖的各种环境后，再进行大数据平台的部署。
这种大数据部署方式中，由于大数据平台涉及的组件非常多，而且非常复杂，每个组件所包含的服务也非常多，很多服务之间的依赖性非常强，因此，整个大数据平台的部署十分困难，容易导致安装失败。而整个安装过程很难回滚，因此在部署大数据平台时效率低下。
此外，现有的这种部署方式，如果需要运行应用的多个不同的实例，很难让多个实例在同一个服务器上“共存”。也存在测试环境与生产环境有较大差异，导致一些生产环境问题不能在测试期间发现等问题。
发明内容
为了克服现有技术中的上述不足，本申请的目的在于提供一种大数据平台部署方法，应用于集群系统的管理节点，所述集群系统还包括与所述管理节点相互通信的物理节点，所述方法包括：
获取大数据平台需要运行的多个服务以及所述多个服务之间的关联关系；
针对每个所述服务生成该服务对应的容器；
根据所述多个服务之间的关联关系获得分别与所述多个服务对应的各个所述容器之间的关联关系；
为所述容器分配对应的持久化存储区；
获取用于部署所述容器的配置信息，所述配置信息包括所述容器与所述物理节点的对应关系以及各个所述容器之间的关联关系；
根据所述配置信息将所述容器分发至对应的物理节点，并使所述物理节点运行对应的容器。
可选地，所述获取大数据平台需要运行的多个服务的服务信息以及所述多个服务之间的关联关系的步骤包括，
获取大数据平台需要运行的多个组件的组件信息，所述组件为实现一个完整业务流程的各项功能的服务集合，所述组件信息包括与该组件对应的服务的名称；
根据每个组件的组件信息获取该组件所包含的所述服务；
获取多个所述服务之间的关联关系。
可选地，所述根据所述配置信息将所述服务对应的容器分发至对应的物理节点，并使所述物理节点运行对应的容器的步骤前，所述方法还包括：
根据各个所述容器之间的关联关系以及所述组件包含的服务，将所述组件包含的服务对应的容器与该组件关联。
可选地，所述根据各个所述容器之间的关联关系以及所述组件包含的服务将各个容器与所述组件关联的步骤后，所述方法还包括，
根据所述容器在所述物理节点上的分布关系生成可视化图像。
可选地，所述服务为微服务。
本申请的另一目的在于提供一种大数据平台部署装置，应用于集群系统的管理节点，所述集群系统还包括与所述管理节点相互通信的物理节点，所述装置包括第一获取模块、容器生成模块、第一关联模块、分配模块、第二获取模块以及容器布置模块；
所述第一获取模块用于获取大数据平台需要运行的多个服务以及所述多个服务之间的关联关系；
所述容器生成模块用于针对每个所述服务生成该服务对应的容器；
所述第一关联模块用于根据所述多个服务之间的关联关系获得分别与所述多个服务对应的各个所述容器之间的关联关系；
所述分配模块用于为所述容器分配对应的持久化存储区；
所述第二获取模块用于获取用于部署所述容器的配置信息，所述配置信息包括所述容器与所述物理节点的对应关系以及各个所述容器之间的关联关系；
所述容器布置模块用于根据所述配置信息将所述容器分发至对应的物理节点，并使所述物理节点运行对应的容器。
可选地，所述第一获取模块包括第一获取子模块、第二获取子模块和第三获取子模块；
所述第一获取子模块用于获取大数据平台需要运行的多个组件的组件信息，所述组件为实现一个完整业务流程的各项功能的服务集合，所述组件信息包括与该组件对应的服务的名称；
所述第二获取子模块用于根据每个组件的组件信息获取该组件所包含的所述服务；
所述第三获取子模块用于获取多个所述服务之间的关联关系。
可选地，所述装置还包括第二关联模块；
所述第二关联模块用于根据各个所述容器之间的关联关系以及所述组件包含的服务，将所述组件包含的服务对应的容器与该组件关联。
可选地，所述装置还包括可视化模块，所述可视化模块用于根据所述容器在所述物理节点上的分布关系生成可视化图像。
可选地，所述服务为微服务。
相对于现有技术而言，本申请具有以下有益效果：
本申请实施例通过将大数据平台的多个服务分别生成与该服务对应的容器，然后根据多个服务之间的关联关系获得与多个容器分别对应的各个容器之间的关联关系，然后根据配置信息将容器分发至对应的物理节点后，使所述物理节点运行对应的容器。以上将服务容器化，再通过部署容器来部署大数据平台的方法，能够简化大数据平台的部署过程，极大的提高大数据平台额部署效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的集群系统的结构示意图；
图2为本申请实施例提供的管理节点的结构框图；
图3为本申请实施例提供的大数据平台部署方法的流程示意图一；
图4为本申请实施例提供的大数据平台部署方法的流程示意图二；
图5为本申请实施例提供的单个物理节点上的容器部署示意图；
图6为本申请实施例提供的大数据平台部署方法的流程示意图三；
图7为本申请实施例提供的大数据平台部署装置的示意框图。
图标：100-管理节点；110-大数据平台部署装置；111-第一获取模块；1111-第一获取子模块；1112-第二获取子模块；1113-第三获取子模块；112-容器生成模块；113-第一关联模块；114-分配模块；115-第二获取模块；116-容器布置模块；120-存储器；130-处理器；140-通信单元；200-物理节点；300-网络。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
请参见图1，图1是本申请实施例提供的集群系统的结构示意图，所述集群系统包括管理节点100和与所述管理节点100相互通信的物理节点200。管理节点100可以是一个服务器。其中，物理节点200可以有多个，物理节点200可以是与管理节点100相互通信的服务器。管理节点100与物理节点200相互通信，以实现管理节点100与物理节点200之间的数据通信或交互。所述管理节点100与所述物理节点200通过网络300相互通信，所述网络300可以是有线网络300或者无线网络300。
请参照图2，图2是管理节点100的方框示意图，所述管理节点100包括大数据平台部署装置110、存储器120、处理器130、通信单元140。
所述存储器120、处理器130以及通信单元140各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，所述存储器120可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器120用于存储程序，所述处理器130在接收到执行指令后，执行所述程序。所述通信单元140用于通过网络300建立所述管理节点100与物理节点200之间的通信连接，并用于通过所述网络300收发数据。
大数据平台是通过集群的方式对外提供一系列服务的产品，每个大数据平台可以包括多个集群大数据平的关联关系都是能够获得的，其中，服务是提供某一类台上包括管理节点100，对于一个已知功能的大数据平台，也就是已经知道需要实现什么功能的大数据平台而言，该大数据平台拥有的各个服务之间功能的进程。或者大数据平台包括多个组件、多个组件之间的关联关系是能够获得的，每个组件中包括多个服务，各个服务之间的关联关系是能够获得的。也就是说，在大数据平台的功能已知的情况下，可以为该大数据平台的集群系统配置多个服务，并配置多个服务之间的交互规则。
或者，可以为该大数据集群配置需要的组件，设置各个组件之间的交互关系，组件可以包括hdfs组件，yarn组件，zookeeper组件，kafka组件，hbase组件，hive组件，spark2组件；然后再为每个组件配置服务。例如，hdfs组件可以包含namenode服务，datanode服务，SNameNode服务，yarn包含ResourceManager服务，NodeManagers服务等。
请参照图3，图3为应用于图2所示的管理节点100的一种大数据平台部署方法的流程图，以下将对所述方法包括的各个步骤进行详细阐述。
步骤S110，获取大数据平台需要运行的多个服务以及所述多个服务之间的关联关系。
请参照图4，可选地，大数据平台的集群由组件构成时，所述步骤S110包括子步骤S111-步骤S113。
步骤S111，获取大数据平台需要运行的多个组件的组件信息，所述组件为实现一个完整业务流程的各项功能的服务集合，所述组件信息包括与该组件对应的服务的名称。
步骤S112，根据每个组件的组件信息获取该组件所包含的所述服务。
步骤S113，获取多个所述服务之间的关联关系。
本实施例用于从大数据平台需要的组件中获取大数据平台上需要运行的服务以及获取各个组件中所包括的所有服务之间的关联关系。本实施例中，多个所述服务之间的关联关系是指，服务之间的交互关系(服务之间是否存在交互，是什么交互)以及交互条件(在哪些条件下，才会进行相应的交互)。
步骤S120，针对每个所述服务生成该服务对应的容器。
由于大数据平台上的服务以及该服务所依赖的文件都是能够获得的，故本实施例中，可以根据服务以及该服务依赖的文件制作成容器。本实施例中，可以将服务对应的容器生成容器镜像，然后将容器镜像保存在容器仓库中。
步骤S130，获得各个所述容器之间的关联关系。
具体地，本实施例用于根据所述多个服务之间的关联关系获得分别与所述多个服务分别对应的各个所述容器之间的关联关系。
本实施例用于根据大数据平台上的多个服务之间的关联关系获得与多个服务分别对应的各个容器与其他容器之间的关联关系。例如，服务A对应的容器A，服务B对应的容器B，服务C对应的容器C，服务A、服务B和服务C之间的关系为，服务A的进程执行完成后将执行结果发送给服务B并启动服务B，服务B的进程执行完成后将执行结果发送给服务C并启动服务C执行相应的进程，那么，服务A、服务B和服务C对应的容器A、容器B和容器C之间的对应关系为，当容器A中的服务的进程执行完成后，将执行结果传送到容器B并启动容器B，容器B的进程执行完成后，将执行结果发送给容器C并启动容器C执行相应的进程。
本实施例中，在获得分别与所述多个服务分别对应的各个所述容器之间的关联关系后，还可以将分别与所述多个服务分别对应的各个所述容器之间的关联关系存储到预先设置好的存储区域。
步骤S140，为所述容器分配对应的持久化存储区。
本实施例用于为每个容器分配持久化存储区，以使每个容器在运行时产生的数据能够存储在该持久化存储区。本实施例中，为每个容器分配的持久化存储区可以是物理存储区域。为各个容器分配的持久化存储区，可以是独立的存储区。
步骤S150，获取用于部署所述容器的配置信息，所述配置信息包括所述容器与所述物理节点200的对应关系以及各个所述容器之间的关联关系。
本实施例中，用于获取容器需要分配到哪个物理节点200上，以及该容器的启动条件等。本实施例中，所述配置信息还包括用于表征容器之间的交互关系的信息以及各个容器对应的IP地址以及端口号。
请参照图5，本实施例中，每个容器对应一个代理节点(agent)，一个物理节点200上可以布置多个容器。例如，一个物理节点200上可以包括容器1、容器2、容器3、容器4、容器5、容器6、容器7和容器8。
步骤S160，根据所述配置信息将所述容器分发至对应的物理节点200，并使所述物理节点200启动对应的容器。
本实施例用于将各个容器分发至对应的物理节点200，并使容器与物理节点200关联，然后按照容器的关联关系将各个容器所在物理节点200的端口号等信息进行关联，以构建各个容器之间的通信网络300。
本实施例通过大数据平台所依赖的服务生成容器，并通过部署容器来达到部署服务的目的，可以大幅提高部署大数据平台的效率。例如，在进行版本更新时，可以直接用新的容器替换掉旧版本的容器。本实施例中，可以提高集群的隔离性，包括数据隔离、计算隔离等，也就是说，不同的容器之间的相互影响更小。本实施例中，大数据平台在能够快速一键式部署、扩容、缩容，允许其他服务和大数据服务共享集群。并且能在不宕机的前提下，实现版本灰度发布与问题修复。
本实施例中，由于一个物理节点200(主机)上能够运行多个容器，因此能够极大地提高资源的利用率。
请参照图6，所述步骤S160前，所述方法还包括步骤S210。
步骤S210，将所述组件包含的服务对应的容器与该组件关联。
具体地，本实施例中根据各个所述容器之间的关联关系以及所述组件包含的服务，将所述组件包含的服务对应的容器与该组件关联。
本实施例用于针对每个组件，将该组件所提供的服务对应的容器与该组件进行关联，以配置完整的组件。
所述步骤S210后，所述方法还包括步骤S310。
请继续参照图6，步骤S310，根据所述容器在所述物理节点200上的分布关系生成可视化图像。
本实施例中，将容器在物理节点200上的分布关系生成可视化图像，在进行容器分配时，可以直接在可视界面上进行操作，具有简单、容易操作的特点。
本实施例中，所述服务为微服务。
本实施例中，将微服务生成容器能显著地降低环境对服务稳定性的影响。
请参照图7，本实施例还提供一种大数据平台部署装置110，应用于集群系统的管理节点100，所述集群系统还包括与所述管理节点100相互通信的物理节点200，所述装置包括第一获取模块111、容器生成模块112、第一关联模块113、分配模块114、第二获取模块115以及容器布置模块116。所述大数据平台部署装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述管理节点100的操作系统(operating system，OS)中的软件功能模块。所述处理器130用于执行所述存储器120中存储的可执行模块，例如所述大数据平台部署装置110所包括的软件功能模块及计算机程序等。
所述第一获取模块111用于获取大数据平台需要运行的多个服务以及所述多个服务之间的关联关系。
本实施例中的第一获取模块111用于执行步骤S110，关于所述第一获取模块111的具体描述可参照对所述步骤S110的描述。
所述容器生成模块112用于针对每个所述服务生成该服务对应的容器。
本实施例中的容器生成模块112用于执行步骤S120，关于所述容器生成模块112的具体描述可参照对所述步骤S120的描述。
所述第一关联模块113用于根据所述多个服务之间的关联关系获得分别与所述多个服务对应的各个所述容器之间的关联关系。
本实施例中的第一关联模块113用于执行步骤S130，关于所述第一关联模块113的具体描述可参照对所述步骤S130的描述。
所述分配模块114用于为所述容器分配对应的持久化存储区。
本实施例中的分配模块114用于执行步骤S140，关于所述分配模块114的具体描述可参照对所述步骤S140的描述。
所述第二获取模块115用于获取用于部署所述容器的配置信息，所述配置信息包括所述容器与所述物理节点200的对应关系以及各个所述容器之间的关联关系。
本实施例中的第二获取模块115用于执行步骤S150，关于所述第二获取模块115的具体描述可参照对所述步骤S150的描述。
所述容器布置模块116用于根据所述配置信息将所述容器分发至对应的物理节点200，并使所述物理节点200运行对应的容器。
本实施例中的容器布置模块116用于执行步骤S160，关于所述容器布置模块116的具体描述可参照对所述步骤S160的描述。
可选地，本实施例中，所述第一获取模块111包括第一获取子模块1111、第二获取子模块1112和第三获取子模块1113。
所述第一获取子模块1111用于获取大数据平台需要运行的多个组件的组件信息，所述组件为实现一个完整业务流程的各项功能的服务集合，所述组件信息包括与该组件对应的服务的名称。
本实施例中的第一获取子模块1111用于执行步骤S111，关于所述第一获取子模块1111的具体描述可参照对所述步骤S111的描述。
所述第二获取子模块1112用于根据每个组件的组件信息获取该组件所包含的所述服务。
本实施例中的第二获取子模块1112用于执行步骤S112，关于所述第二获取子模块1112的具体描述可参照对所述步骤S112的描述。
所述第三获取子模块1113用于获取多个所述服务之间的关联关系。
本实施例中的第三获取子模块1113用于执行步骤S113，关于所述第三获取子模块1113的具体描述可参照对所述步骤S113的描述。
可选地，所述装置还包括第二关联模块。所述第二关联模块用于根据各个所述容器之间的关联关系以及所述组件包含的服务，将所述组件包含的服务对应的容器与该组件关联。
本实施例中的第二关联模块用于执行步骤S210，关于所述第二关联模块的具体描述可参照对所述步骤S210的描述。
可选地，所述装置还包括可视化模块，所述可视化模块用于根据所述容器在所述物理节点200上的分布关系生成可视化图像。
本实施例中的可视化模块用于执行步骤S310，关于所述可视化模块的具体描述可参照对所述步骤S310的描述。
可选地，所述服务为微服务。
本实施例中，还可以将多个服务布置在一个容器中。
例如，在Docker容器部署的大数据平台中，布置好的大数据平台中，可以包括通过网络300相互通信的用户端、管理节点100、数据持久化区A、数据持久化区B以及Docker集群A和Docker集群B。其中，该系统包括容器资源编排模块(用于实现上述的第一获取模块111、容器生成模块112、第一关联模块113、分配模块114以及容器布置模块116的功能)、大数据集群编排模块(相当于上述第二获取模块115的功能)和配置信息存储区(用于存储配置信息)，配置信息存储区可以采用数据库进行数据存储，例如，可以采用SQL数据库来存储配置信息。数据持久化区A、数据持久化区B均可以包括数据库区以及数据存储区，其中，数据库区可以是mysql区，数据库区和数据存储区可以分别位于独立的主机上。Docker集群A中可以包括多个运行有不同服务对应容器的主机，其中，一个主机上可以运行多个容器，各个主机通过该集群的DNS代理设备与网络300连接，以实现和代理节点之间的通信。Docker集群B中可以包括多个运行有不同服务对应容器的主机，其中，一个主机上可以运行多个容器，各个主机通过该集群的DNS代理设备与网络300连接，以实现和代理节点之间的通信。
综上所述，本申请实施例通过将大数据平台的多个服务分别生成与该服务对应的容器，然后根据多个服务之间的关联关系获得与多个容器分别对应的各个容器之间的关联关系，然后根据配置信息将容器分发至对应的物理节点200后，使所述物理节点200运行对应的容器。以上将服务容器化，再通过部署容器来部署大数据平台的方法，能够简化大数据平台的部署过程，极大的提高大数据平台额部署效率。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种大数据平台部署方法，其特征在于，应用于集群系统的管理节点，所述集群系统还包括与所述管理节点相互通信的物理节点，所述方法包括：
获取大数据平台需要运行的多个服务以及所述多个服务之间的关联关系；
针对每个所述服务生成该服务对应的容器；
根据所述多个服务之间的关联关系获得分别与所述多个服务对应的各个所述容器之间的关联关系；
为所述容器分配对应的持久化存储区；
获取用于部署所述容器的配置信息，所述配置信息包括所述容器与所述物理节点的对应关系以及各个所述容器之间的关联关系；
根据所述配置信息将所述容器分发至对应的物理节点，并使所述物理节点运行对应的容器。
2.根据权利要求1所述的大数据平台部署方法，其特征在于，所述获取大数据平台需要运行的多个服务的服务信息以及所述多个服务之间的关联关系的步骤包括，
获取大数据平台需要运行的多个组件的组件信息，所述组件为实现一个完整业务流程的各项功能的服务集合，所述组件信息包括与该组件对应的服务的名称；
根据每个组件的组件信息获取该组件所包含的所述服务；
获取多个所述服务之间的关联关系。
3.根据权利要求2所述的大数据平台部署方法，其特征在于，所述根据所述配置信息将所述服务对应的容器分发至对应的物理节点，并使所述物理节点运行对应的容器的步骤前，所述方法还包括：
根据各个所述容器之间的关联关系以及所述组件包含的服务，将所述组件包含的服务对应的容器与该组件关联。
4.根据权利要求3所述的大数据平台部署方法，其特征在于，所述根据各个所述容器之间的关联关系以及所述组件包含的服务将各个容器与所述组件关联的步骤后，所述方法还包括，
根据所述容器在所述物理节点上的分布关系生成可视化图像。
5.根据权利要求1-4任一项所述的大数据平台部署方法，其特征在于，所述服务为微服务。
6.一种大数据平台部署装置，其特征在于，应用于集群系统的管理节点，所述集群系统还包括与所述管理节点相互通信的物理节点，所述装置包括第一获取模块、容器生成模块、第一关联模块、分配模块、第二获取模块以及容器布置模块；
所述第一获取模块用于获取大数据平台需要运行的多个服务以及所述多个服务之间的关联关系；
所述容器生成模块用于针对每个所述服务生成该服务对应的容器；
所述第一关联模块用于根据所述多个服务之间的关联关系获得分别与所述多个服务对应的各个所述容器之间的关联关系；
所述分配模块用于为所述容器分配对应的持久化存储区；
所述第二获取模块用于获取用于部署所述容器的配置信息，所述配置信息包括所述容器与所述物理节点的对应关系以及各个所述容器之间的关联关系；
所述容器布置模块用于根据所述配置信息将所述容器分发至对应的物理节点，并使所述物理节点运行对应的容器。
7.根据权利要求6所述的大数据平台部署装置，其特征在于，所述第一获取模块包括第一获取子模块、第二获取子模块和第三获取子模块；
所述第一获取子模块用于获取大数据平台需要运行的多个组件的组件信息，所述组件为实现一个完整业务流程的各项功能的服务集合，所述组件信息包括与该组件对应的服务的名称；
所述第二获取子模块用于根据每个组件的组件信息获取该组件所包含的所述服务；
所述第三获取子模块用于获取多个所述服务之间的关联关系。
8.根据权利要求7所述的大数据平台部署装置，其特征在于，所述装置还包括第二关联模块；
所述第二关联模块用于根据各个所述容器之间的关联关系以及所述组件包含的服务，将所述组件包含的服务对应的容器与该组件关联。
9.根据权利要求8所述的大数据平台部署装置，其特征在于，所述装置还包括可视化模块，所述可视化模块用于根据所述容器在所述物理节点上的分布关系生成可视化图像。
10.根据权利要求6-9任一项所述的大数据平台部署装置，其特征在于，所述服务为微服务。
CN201811574077.4A 2018-12-21 2018-12-21 大数据平台部署方法及装置 Pending CN109683910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811574077.4A CN109683910A (zh) 2018-12-21 2018-12-21 大数据平台部署方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811574077.4A CN109683910A (zh) 2018-12-21 2018-12-21 大数据平台部署方法及装置

Publications (1)

Publication Number Publication Date
CN109683910A true CN109683910A (zh) 2019-04-26

Family

ID=66188801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811574077.4A Pending CN109683910A (zh) 2018-12-21 2018-12-21 大数据平台部署方法及装置

Country Status (1)

Country Link
CN (1) CN109683910A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688125A (zh) * 2019-08-28 2020-01-14 北京浪潮数据技术有限公司 一种大数据平台的部署方法及系统
CN111078421A (zh) * 2019-11-15 2020-04-28 广东数果科技有限公司 一种基于微服务的大数据实时处理装置
CN112256384A (zh) * 2020-09-22 2021-01-22 杭州指令集智能科技有限公司 基于容器技术的服务集合处理方法、装置和计算机设备
CN116909584A (zh) * 2023-05-06 2023-10-20 广东国地规划科技股份有限公司 时空大数据引擎的部署方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052374A (zh) * 2017-12-29 2018-05-18 郑州云海信息技术有限公司 一种部署容器微服务的方法及装置
CN108173919A (zh) * 2017-12-22 2018-06-15 百度在线网络技术（北京）有限公司 大数据平台搭建系统、方法、设备及计算机可读介质
US20180270125A1 (en) * 2017-03-17 2018-09-20 Verizon Patent And Licensing Inc. Deploying and managing containers to provide a highly available distributed file system
CN108737548A (zh) * 2018-05-24 2018-11-02 南京邮电大学 分布式web微服务容器集群架构系统及其实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180270125A1 (en) * 2017-03-17 2018-09-20 Verizon Patent And Licensing Inc. Deploying and managing containers to provide a highly available distributed file system
CN108173919A (zh) * 2017-12-22 2018-06-15 百度在线网络技术（北京）有限公司 大数据平台搭建系统、方法、设备及计算机可读介质
CN108052374A (zh) * 2017-12-29 2018-05-18 郑州云海信息技术有限公司 一种部署容器微服务的方法及装置
CN108737548A (zh) * 2018-05-24 2018-11-02 南京邮电大学 分布式web微服务容器集群架构系统及其实现方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688125A (zh) * 2019-08-28 2020-01-14 北京浪潮数据技术有限公司 一种大数据平台的部署方法及系统
CN111078421A (zh) * 2019-11-15 2020-04-28 广东数果科技有限公司 一种基于微服务的大数据实时处理装置
CN112256384A (zh) * 2020-09-22 2021-01-22 杭州指令集智能科技有限公司 基于容器技术的服务集合处理方法、装置和计算机设备
CN112256384B (zh) * 2020-09-22 2023-10-24 杭州指令集智能科技有限公司 基于容器技术的服务集合处理方法、装置和计算机设备
CN116909584A (zh) * 2023-05-06 2023-10-20 广东国地规划科技股份有限公司 时空大数据引擎的部署方法、装置、设备以及存储介质
CN116909584B (zh) * 2023-05-06 2024-05-24 广东国地规划科技股份有限公司 时空大数据引擎的部署方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
CN109683910A (zh) 大数据平台部署方法及装置
US9420064B2 (en) System and method for determining a topology of at least one application in a computerized organization
EP2541867B1 (en) Method and device for terminal management based on right control
CN104461567B (zh) 软件包的发布方法及系统
CN110324169A (zh) 一种接口管理的方法和装置
CN113068085B (zh) 一种onu管理方法、装置、设备及系统
CN109144485B (zh) 一种微服务的部署方法、装置、设备及可读存储介质
CN108319463A (zh) 一种应用升级方法、装置
WO2018231901A1 (en) Detecting and managing recurring patterns in device and service configuration data
CN109547514A (zh) 一种任务处理方法、装置、电子设备及存储介质
CN109446309A (zh) 问题反馈方法及装置
CN112217656A (zh) Sd-wan系统中的网络设备的配置信息同步方法和装置
CN103034540A (zh) 分布式消息系统及其设备和协调方法
CN111367618A (zh) 基于docker的代码管理方法、系统、终端及介质
CN110058894A (zh) 在混合云中执行应用的方法、设备和计算机程序产品
CN106856438A (zh) 一种网络业务实例化的方法、装置及nfv系统
CN110019346A (zh) 一种基于双主数据库的数据处理方法和装置
US12020073B2 (en) Workflow automation utilizing metadata structure
CN109885612A (zh) 区块链智能合约的同步生效方法及装置
CN105786525B (zh) 一种进程模型向线程模型移植代码的方法及装置
CN113076186B (zh) 任务处理的方法、装置、电子设备和存储介质
CN109471837A (zh) 电力基础设施数据的分布式存储方法
CN108768726A (zh) 一种服务器集群的升级方法及装置
CN106686031B (zh) 将应用升级为SaaS模式的方法及装置
CN109005073A (zh) 设备管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190426