CN109271171A - 一种基于Docker一键部署大数据平台的方法和装置 - Google Patents

一种基于Docker一键部署大数据平台的方法和装置 Download PDF

Info

Publication number
CN109271171A
CN109271171A CN201811081054.XA CN201811081054A CN109271171A CN 109271171 A CN109271171 A CN 109271171A CN 201811081054 A CN201811081054 A CN 201811081054A CN 109271171 A CN109271171 A CN 109271171A
Authority
CN
China
Prior art keywords
target
data platform
big data
file
configuration file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811081054.XA
Other languages
English (en)
Other versions
CN109271171B (zh
Inventor
吴波
范渊
刘博�
龙文洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dbappsecurity Technology Co Ltd
Original Assignee
Hangzhou Dbappsecurity Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dbappsecurity Technology Co Ltd filed Critical Hangzhou Dbappsecurity Technology Co Ltd
Priority to CN201811081054.XA priority Critical patent/CN109271171B/zh
Publication of CN109271171A publication Critical patent/CN109271171A/zh
Application granted granted Critical
Publication of CN109271171B publication Critical patent/CN109271171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • G06F8/71Version control; Configuration management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Stored Programmes (AREA)

Abstract

本发明提供了一种基于Docker一键部署大数据平台的方法和装置,涉及数据处理的技术领域,包括:获取目标脚本程序,基于所述目标脚本程序调用目标文件,其中,目标文件包括:待部署大数据平台的操作系统镜像文件,用于构建Docker容器的第一配置文件,用于对Docker容器进行初始化的第二配置文件,待部署大数据平台服务组件的配置文件,待部署大数据平台的节点配置文件;基于目标文件确定所述待部署大数据平台的操作系统、目标Docker容器和待部署大数据平台的蓝图模板,其中,目标Docker容器为完成初始化配置的Docker容器;按照蓝图模板在目标数据平台上对操作系统、目标Docker容器和服务组件的配置文件对应的服务组件进行部署,得到目标大数据平台,解决了现有的大数据平台的部署过程复杂且容易出错问题。

Description

一种基于Docker一键部署大数据平台的方法和装置
技术领域
本发明涉及数据处理技术领域,尤其是涉及一种基于Docker一键部署大数据平台的方法和装置。
背景技术
大数据平台是为了计算现今社会所产生的越来越大的数据量,以对数据进行存储、运算和展示展现作为目的的平台。由于大数据平台是集数据整合、数据处理、数据存储、数据分析、可视化等功能为一体数据处理系统,因此,大数据平台能够帮助数据挖掘人员挖掘数据背后的业务逻辑,发现数据背后的问题,以使数据挖掘人员能够根据数据背后的问题对自己的业务进行及时的分析和调整。
但是,在日常应用中大数据平台的搭建和部署步骤往往很繁琐,导致在大数据平台的搭建和部署过程中容易出现操作失误的情况。
针对上述问题,还未提出有效的解决方案。
发明内容
有鉴于此,本发明的目的在于提供一种基于Docker一键部署大数据平台的方法和装置,以缓解了现有的大数据平台的部署过程复杂且容易出错问题。
第一方面,本发明实施例提供了一种基于Docker一键部署大数据平台的方法,该方法包括:获取目标脚本程序,基于所述目标脚本程序调用目标文件,其中,所述目标文件包括:待部署大数据平台的操作系统镜像文件,用于构建Docker容器的第一配置文件,用于对Docker容器进行初始化的第二配置文件,待部署大数据平台服务组件的配置文件,待部署大数据平台的节点配置文件;基于所述目标文件确定所述待部署大数据平台的操作系统、目标Docker容器和所述待部署大数据平台的蓝图模板,其中,所述目标Docker容器为完成初始化配置的Docker容器;按照所述蓝图模板在目标数据平台上对所述操作系统、所述目标Docker容器和所述服务组件的配置文件对应的服务组件进行部署,得到目标大数据平台。
进一步地,基于所述目标脚本程序调用所述目标文件包括:基于所述目标脚本程序中第一子程序调用所述操作系统镜像文件;基于所述目标脚本程序中的第二子程序调用所述第一配置文件和所述第二配置文件;基于所述目标脚本程序中的第三子程序调用所述服务组件的配置文件和所述节点配置文件。
进一步地,基于所述目标文件确定所述待部署大数据平台的操作系统、目标Docker容器和所述待部署大数据平台的蓝图模板包括:基于所述操作系统镜像文件确定大数据平台的操作系统;基于所述第一配置文件和所述第二配置文件确定所述目标Docker容器;基于所述服务组件的配置文件和所述节点配置文件确定所述蓝图模板。
进一步地,基于所述第一配置文件和所述第二配置文件确定所述目标Docker容器包括:基于所述第一配置文件确定Docker容器;基于所述第二配置文件对所述Docker容器进行初始化配置,得到所述目标Docker容器。
进一步地,在获取目标脚本程序之前,所述方法还包括:获取目标软件包,并将所述目标软件包发送至源服务器,以使所述源服务器对所述目标软件包进行存储,其中,所述目标软件包用于所述目标大数据平台上,以使所述目标大数据平台具备目标软件提供的功能。
进一步地,在部署得到所述得到目标大数据平台之后,基于所述目标脚本程序从所述源服务器中获取所述目标软件包,并将所述目标软件包安装在所述目标大数据平台上。
第二方面,本发明实施例提供了一种基于Docker一键部署大数据平台的装置,该装置包括:调用单元,确定单元和部署单元,其中,所述调用单元用于获取目标脚本程序,基于所述目标脚本程序调用目标文件;其中,所述目标文件包括:待部署大数据平台的操作系统镜像文件,用于构建Docker容器的第一配置文件,用于对Docker容器进行初始化的第二配置文件,待部署大数据平台服务组件的配置文件,待部署大数据平台的节点配置文件;所述确定单元用于基于所述目标文件确定所述待部署大数据平台的操作系统、目标Docker容器和所述待部署大数据平台的蓝图模板,其中,所述目标Docker容器为完成初始化配置的Docker容器;所述部署单元用于按照所述蓝图模板在目标数据平台上对所述操作系统、所述目标Docker容器和所述服务组件的配置文件对应的服务组件进行部署,得到目标大数据平台。
进一步地,所述调用单元还用于:基于所述目标脚本程序中第一子程序调用所述操作系统镜像文件;基于所述目标脚本程序中的第二子程序调用所述第一配置文件和所述第二配置文件;基于所述目标脚本程序中的第三子程序调用所述服务组件的配置文件和所述节点配置文件。
进一步地,所述确定单元还用于基于所述操作系统镜像文件确定大数据平台的操作系统;基于所述第一配置文件和所述第二配置文件确定所述目标Docker容器;基于所述服务组件的配置文件和所述节点配置文件确定所述蓝图模板。
进一步地,所述确定单元还用于基于所述第一配置文件确定Docker容器;基于所述第二配置文件对所述Docker容器进行初始化配置,得到所述目标Docker容器。
在本发明实施例中,首先,获取目标脚本程序,基于所述目标脚本程序调用目标文件,接着,基于所述目标文件确定所述待部署大数据平台的操作系统、目标Docker容器和所述待部署大数据平台的蓝图模板,最后,按照蓝图模板在目标数据平台上对操作系统、目标Docker容器和服务组件的配置文件对应的服务组件进行部署,得到目标大数据平台,由于在本实施例中,工作人员在进行大数据平台部署时,只要运行上述的目标脚本程序,目标脚本程序就能够达到对大数据平台的部署的目的,进而解决了现有的大数据平台的部署过程复杂且容易出错问题,从而实现了简化了大数据平台的部署的操作过程,降低了出错的可能性的技术效果。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于Docker一键部署大数据平台的方法的流程图;
图2为本发明实施例提供的一种基于Docker一键部署大数据平台的方法的流程图;
图3为本发明实施例提供的一种基于Docker一键部署大数据平台的方法的流程图;
图4为本发明实施例提供的另一种基于Docker一键部署大数据平台的方法的流程图;
图5为本发明实施例提供的另一种基于Docker一键部署大数据平台的装置的示意图;
图6为本发明实施例提供的一种服务器的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
根据本发明实施例,提供了一种基于Docker一键部署大数据平台的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种基于Docker一键部署大数据平台的方法,如图1所示,该方法包括如下步骤:
步骤S102,获取目标脚本程序,基于所述目标脚本程序调用目标文件,其中,所述目标文件包括:待部署大数据平台的操作系统镜像文件,用于构建Docker容器的第一配置文件,用于对Docker容器进行初始化的第二配置文件,待部署大数据平台服务组件的配置文件,待部署大数据平台的节点配置文件;
步骤S104,基于所述目标文件确定所述待部署大数据平台的操作系统、目标Docker容器和所述待部署大数据平台的蓝图模板,其中,所述目标Docker容器为完成初始化配置的Docker容器;
步骤S106,按照所述蓝图模板在目标数据平台上对所述操作系统、所述目标Docker容器和所述服务组件的配置文件对应的服务组件进行部署,得到目标大数据平台。
在本发明实施例中,首先,获取目标脚本程序,基于所述目标脚本程序调用目标文件,接着,基于所述目标文件确定所述待部署大数据平台的操作系统、目标Docker容器和所述待部署大数据平台的蓝图模板,最后,按照蓝图模板在目标数据平台上对操作系统、目标Docker容器和服务组件的配置文件对应的服务组件进行部署,得到目标大数据平台,由于在本实施例中,工作人员在进行大数据平台部署时,只要运行上述的目标脚本程序,目标脚本程序就能够自行对大数据平台进行部署,进而解决了现有的大数据平台的部署过程复杂且容易出错问题,从而实现了简化了大数据平台的部署的操作过程,降低了出错的可能性的技术效果。
在本发明实施例中,如图2所示,基于所述目标脚本程序调用所述目标文件还包括如下步骤:
步骤S1021,基于所述目标脚本程序中第一子程序调用所述操作系统镜像文件;
步骤S1022,基于所述目标脚本程序中的第二子程序调用所述第一配置文件和所述第二配置文件;
步骤S1023,基于所述目标脚本程序中的第三子程序调用所述服务组件的配置文件和所述节点配置文件。
在本发明实施例中,上述的第一子程序用于调用编程人员编写的操作系统镜像文件(Dockerfile文件),该操作系统镜像文件用于建立待部署大数据平台的操作系统,且该操作系统镜像文件用于指定操作系统使用操作系统和安装在该操作系统中的待部署大数据平台所需的基础组件。
例如,待部署大数据平台的操作系统可以采用centos 6.8系统,上述的基础组件包括sshd服务组件,ssl组件,ambari-server组件,ambari-agent组件等。
上述的第二子程序用于调用编程人员编写的用于构建Docker容器的第一配置文件和用于对Docker容器进行初始化的第二配置文件。
用于构建Docker容器的第一配置文件终包括大数据平台中ip网段地址配置信息,端口映射关系配置信息,CPU配置信息,内存分配配置信息等配置信息。
用于对Docker容器进行初始化的第二配置文件包括对Docker容器进行初始化配置的配置信息。
上述的第三子程序用于调用变成人员编写的待部署大数据平台服务组件的配置文件和待部署大数据平台的节点配置文件。
待部署大数据平台服务组件的配置文件中包括Datanode组件,Namenode组件,Zookeeper组件,Spark组件等组件的配置信息。
待部署大数据平台的节点配置文件中包括在Docker环境下,待部署大数据平台中各个Docker节点,组件节点,宿主机节点等节点的配置信息。
在本发明实施例中,如图2所示,步骤S104还包括如下步骤:
步骤S1041,基于所述操作系统镜像文件确定所述大数据平台的操作系统;
步骤S1042,基于所述第一配置文件和所述第二配置文件确定所述目标Docker容器;
步骤S1043,基于所述服务组件的配置文件和所述节点配置文件确定所述蓝图模板。
在本发明实施例中,根据第一子程序获取到的操作系统镜像文件确定大数据平台的操作系统和宿主机目录,通过对操作系统镜像文件进行一次确定过程,即可以确定操作系统和宿主机目录,从而解决了现有的大数据平台部署方法需要对每一个服务组件编写一个操作系统镜像文件,导致操作系统镜像文件过大的问题。
根据第二子程序获取到的用于构建Docker容器的第一配置文件和用于对Docker容器进行初始化的第二配置文件构建完成初始化配置的Docker容器,完成初始化配置的Docker容器将挂载在操作系统中的宿主机目录下。
编程人员可以根据实际情况对用于构建Docker容器的第一配置文件进行编写,从而达到了Docker容器IP可控制,且支持Docker容器ip的修改,自动控制Docker容器ip,防止网段冲突的技术效果。
根据第三子程序获取到的待部署大数据平台服务组件的配置文件和待部署大数据平台的节点配置文件构建待部署大数据平台的蓝图模板,
编程人员可以根据实际情况对待部署大数据平台服务组件的配置文件进行编写,从而达到对大数据平台组件的动态扩容的技术效果。
在本发明实施例中,如图3所示,步骤S1042还包括如下步骤:
步骤S11,基于所述第一配置文件确定Docker容器;
步骤S12,基于所述第二配置文件对所述Docker容器进行初始化配置,得到所述目标Docker容器。
在本发明实施例中,在目标脚本程序的控制下基于第一配置文件中的配置信息确定大数据平台所需的Docker容器,其中,在大数据平台中的Docker容器的数据量可以为一个或多个,可以根据实际情况,由编程人员对第一配置文件进行编写,从而确定大数据平台中Docker容器中的具体数量。
接着,在目标程序脚本的控制下基于第二配置文件,对Docker容器进行初始化配置,进而得到完成初始化配置的Docker容器。
在本发明实施例中,如图4所示,所述方法还包括如下步骤:
步骤S108,获取目标软件包,并将所述目标软件包发送至源服务器,以使所述源服务器对所述目标软件包进行存储,其中,所述目标软件包用于所述目标大数据平台上,以使所述目标大数据平台具备目标软件提供的功能。
在本发明实施例中,编程人员可以根据大数据平台所要实现的功能,获取对应的软件包,并将软件包发送至源服务器,以使源服务器对软件包进行存储。
需要说明的是,上述的源服务器可以采用yum源服务器,yum源服务器实际是一个yum软件仓库,能够方便快捷提供软件包。yum源服务不需要连接外部网络,可以直接与大数据平台相连接,从而使大数据平台支持离线操作。
在本发明实施例中,如图4所示,所述方法还包括如下步骤:
步骤S110,在部署得到所述得到目标大数据平台之后,基于所述目标脚本程序获取所述目标软件包,并将所述目标软件包安装在所述目标大数据平台上。
在本发明实施例中,部署得到大数据平台后,在目标程序脚本的控制下,执行yum源服务器软件安装步骤,以使大数据平台从yum源服务器中获取到软件包,并将软件包安装在大数据平台上,以使大数据平台通过安装完成的软件包,获取到软件包对应的软件的功能。
实施例二:
本发明还提供了一种基于Docker一键部署大数据平台的装置,该装置用于执行本发明实施例上述内容所提供的基于Docker一键部署大数据平台的方法,以下是本发明实施例提供的基于Docker一键部署大数据平台的装置的具体介绍。
如图5所示,上述的基于Docker一键部署大数据平台的装置包括:调用单元10,确定单元20和部署单元30,其中,
所述调用单元10用于获取目标脚本程序,基于所述目标脚本程序调用目标文件;其中,所述目标文件包括:待部署大数据平台的操作系统镜像文件,用于构建Docker容器的第一配置文件,用于对Docker容器进行初始化的第二配置文件,待部署大数据平台服务组件的配置文件,待部署大数据平台的节点配置文件;
所述确定单元20用于基于所述目标文件确定所述待部署大数据平台的操作系统、目标Docker容器和所述待部署大数据平台的蓝图模板,其中,所述目标Docker容器为完成初始化配置的Docker容器;
所述部署单元30用于按照所述蓝图模板在目标数据平台上对所述操作系统、所述目标Docker容器和所述服务组件的配置文件对应的服务组件进行部署,得到目标大数据平台。
在本发明实施例中,首先,获取单元获取目标脚本程序,基于所述目标脚本程序调用目标文件,接着,确定单元基于所述目标文件确定待部署大数据平台的操作系统、目标Docker容器和待部署大数据平台的蓝图模板,最后,部署单元按照所述蓝图模板在目标数据平台上对操作系统、目标Docker容器和服务组件的配置文件对应的服务组件进行部署,得到目标大数据平台,由于在本实施例中,工作人员在进行大数据平台部署时,只要运行上述的目标脚本程序,目标脚本程序就能够自行对大数据平台的进行部署,进而解决了现有的大数据平台的部署过程复杂且容易出错问题,从而实现了简化了大数据平台的部署的操作过程,降低了出错的可能性的技术效果。
可选地,所述调用单元10还用于:利用所述目标脚本程序中第一子程序调用所述操作系统镜像文件;基于所述目标脚本程序中的第二子程序调用所述第一配置文件和所述第二配置文件;基于所述目标脚本程序中的第三子程序调用所述服务组件的配置文件和所述节点配置文件。
可选地,所述确定单元20还用于:基于所述操作系统镜像文件确定大数据平台的操作系统;基于所述第一配置文件和所述第二配置文件确定所述目标Docker容器;基于所述服务组件的配置文件和所述节点配置文件确定所述蓝图模板。
可选地,所述确定单元20还用于:基于所述第一配置文件确定Docker容器;基于所述第二配置文件对所述Docker容器进行初始化配置,得到所述目标Docker容器。
可选地,所述装置还包括:发送单元,所述发送单元用于获取目标软件包,并将所述目标软件包发送至源服务器,以使所述源服务器对所述目标软件包进行存储,其中,所述目标软件包为所述大数据平台所需要的软件包。
可选地,所述装置还包括:安装单元,所述安装单元用于在部署得到所述得到目标大数据平台之后,基于所述目标脚本程序获取所述目标软件包,并将所述目标软件包安装在所述目标大数据平台上。
参见图6,本发明实施例还提供一种服务器100,包括:处理器60,存储器61,总线62和通信接口63,所述处理器60、通信接口63和存储器61通过总线62连接;处理器60用于执行存储器61中存储的可执行模块,例如计算机程序。
其中,存储器61可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线62可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器61用于存储程序,所述处理器60在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器60中,或者由处理器60实现。
处理器60可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器60中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器60可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器61,处理器60读取存储器61中的信息,结合其硬件完成上述方法的步骤。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于Docker一键部署大数据平台的方法,其特征在于,包括:
获取目标脚本程序,基于所述目标脚本程序调用目标文件,其中,所述目标文件包括:待部署大数据平台的操作系统镜像文件,用于构建Docker容器的第一配置文件,用于对Docker容器进行初始化的第二配置文件,待部署大数据平台服务组件的配置文件,待部署大数据平台的节点配置文件;
基于所述目标文件确定所述待部署大数据平台的操作系统、目标Docker容器和所述待部署大数据平台的蓝图模板,其中,所述目标Docker容器为完成初始化配置的Docker容器;
按照所述蓝图模板在目标数据平台上对所述操作系统、所述目标Docker容器和所述服务组件的配置文件对应的服务组件进行部署,得到目标大数据平台。
2.根据权利要求1所述的方法,其特征在于,基于所述目标脚本程序调用所述目标文件包括:
基于所述目标脚本程序中第一子程序调用所述操作系统镜像文件;
基于所述目标脚本程序中的第二子程序调用所述第一配置文件和所述第二配置文件;
基于所述目标脚本程序中的第三子程序调用所述服务组件的配置文件和所述节点配置文件。
3.根据权利要求1或2所述的方法,其特征在于,基于所述目标文件确定所述待部署大数据平台的操作系统、目标Docker容器和所述待部署大数据平台的蓝图模板包括:
基于所述操作系统镜像文件确定所述大数据平台的操作系统;
基于所述第一配置文件和所述第二配置文件确定所述目标Docker容器;
基于所述服务组件的配置文件和所述节点配置文件确定所述蓝图模板。
4.根据权利要求3所述的方法,其特征在于,基于所述第一配置文件和所述第二配置文件确定所述目标Docker容器包括:
基于所述第一配置文件确定Docker容器;
基于所述第二配置文件对所述Docker容器进行初始化配置,得到所述目标Docker容器。
5.根据权利要求1所述的方法,其特征在于,在获取目标脚本程序之前,所述方法还包括:
获取目标软件包,并将所述目标软件包发送至源服务器,以使所述源服务器对所述目标软件包进行存储,其中,所述目标软件包用于所述目标大数据平台上,以使所述目标大数据平台具备目标软件提供的功能。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在部署得到所述得到目标大数据平台之后,基于所述目标脚本程序从所述源服务器中获取所述目标软件包,并将所述目标软件包安装在所述目标大数据平台上。
7.一种基于Docker一键部署大数据平台的装置,其特征在于,包括:调用单元,确定单元和部署单元,其中,
所述调用单元用于获取目标脚本程序,基于所述目标脚本程序调用目标文件,其中,所述目标文件包括:待部署大数据平台的操作系统镜像文件,用于构建Docker容器的第一配置文件,用于对Docker容器进行初始化的第二配置文件,待部署大数据平台服务组件的配置文件,待部署大数据平台的节点配置文件;
所述确定单元用于基于所述目标文件确定所述待部署大数据平台的操作系统、目标Docker容器和所述待部署大数据平台的蓝图模板,其中,所述目标Docker容器为完成初始化配置的Docker容器;
所述部署单元用于按照所述蓝图模板在目标数据平台上对所述操作系统、所述目标Docker容器和所述服务组件的配置文件对应的服务组件进行部署,得到目标大数据平台。
8.根据权利要求7所述的装置,其特征在于,所述调用单元还用于:
基于所述目标脚本程序中第一子程序调用所述操作系统镜像文件;
基于所述目标脚本程序中的第二子程序调用所述第一配置文件和所述第二配置文件;
基于所述目标脚本程序中的第三子程序调用所述服务组件的配置文件和所述节点配置文件。
9.根据权利要求7或8所述的装置,其特征在于,所述确定单元还用于:
基于所述操作系统镜像文件确定所述大数据平台的操作系统;
基于所述第一配置文件和所述第二配置文件确定所述目标Docker容器;
基于所述服务组件的配置文件和所述节点配置文件确定所述蓝图模板。
10.根据权利要求9所述的装置,其特征在于,所述确定单元还用于
基于所述第一配置文件确定Docker容器;
基于所述第二配置文件对所述Docker容器进行初始化配置,得到所述目标Docker容器。
CN201811081054.XA 2018-09-17 2018-09-17 一种基于Docker一键部署大数据平台的方法和装置 Active CN109271171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811081054.XA CN109271171B (zh) 2018-09-17 2018-09-17 一种基于Docker一键部署大数据平台的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811081054.XA CN109271171B (zh) 2018-09-17 2018-09-17 一种基于Docker一键部署大数据平台的方法和装置

Publications (2)

Publication Number Publication Date
CN109271171A true CN109271171A (zh) 2019-01-25
CN109271171B CN109271171B (zh) 2022-09-27

Family

ID=65189566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811081054.XA Active CN109271171B (zh) 2018-09-17 2018-09-17 一种基于Docker一键部署大数据平台的方法和装置

Country Status (1)

Country Link
CN (1) CN109271171B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933406A (zh) * 2019-02-11 2019-06-25 平安科技(深圳)有限公司 基于亲和性调整Docker组件部署的方法和相关设备
CN110780888A (zh) * 2019-10-09 2020-02-11 北京市天元网络技术股份有限公司 用于部署云数据库的方法
CN111176834A (zh) * 2019-12-09 2020-05-19 中国平安财产保险股份有限公司 自动伸缩策略运维方法、系统和可读存储介质
CN111274223A (zh) * 2020-01-22 2020-06-12 清华大学 一种一键部署大数据和深度学习容器云平台及其构建方法
CN111858107A (zh) * 2019-04-30 2020-10-30 深信服科技股份有限公司 一种大数据组件编排可靠性的检测方法、系统及相关组件
CN111984275A (zh) * 2020-07-25 2020-11-24 苏州浪潮智能科技有限公司 基于cpu架构类型的系统部署方法、系统、终端及存储介质
CN113542322A (zh) * 2020-04-15 2021-10-22 北京京东尚科信息技术有限公司 用于活动目录程序的安装方法、装置、计算设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776960A (zh) * 2016-12-05 2017-05-31 公安部第三研究所 基于微容器实现的大数据云平台
US20170337291A1 (en) * 2016-05-17 2017-11-23 JustTagIt, Inc. Function and memory mapping registry with reactive management events

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337291A1 (en) * 2016-05-17 2017-11-23 JustTagIt, Inc. Function and memory mapping registry with reactive management events
CN106776960A (zh) * 2016-12-05 2017-05-31 公安部第三研究所 基于微容器实现的大数据云平台

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEIWARM: "手把手教你搭建一套可自动化构建的微服务器框架", 《个人图书馆》 *
赫墨拉: "在Centos上部署Ambari", 《LOUISVV》 *
赫墨拉: "在Docker上部署Ambari", 《LOUISVV》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933406A (zh) * 2019-02-11 2019-06-25 平安科技(深圳)有限公司 基于亲和性调整Docker组件部署的方法和相关设备
WO2020164265A1 (zh) * 2019-02-11 2020-08-20 平安科技(深圳)有限公司 基于亲和性调整Docker组件部署的方法和相关设备
CN109933406B (zh) * 2019-02-11 2021-07-16 平安科技(深圳)有限公司 基于亲和性调整Docker组件部署的方法和相关设备
CN111858107A (zh) * 2019-04-30 2020-10-30 深信服科技股份有限公司 一种大数据组件编排可靠性的检测方法、系统及相关组件
CN111858107B (zh) * 2019-04-30 2024-02-23 深信服科技股份有限公司 一种大数据组件编排可靠性的检测方法、系统及相关组件
CN110780888A (zh) * 2019-10-09 2020-02-11 北京市天元网络技术股份有限公司 用于部署云数据库的方法
CN111176834A (zh) * 2019-12-09 2020-05-19 中国平安财产保险股份有限公司 自动伸缩策略运维方法、系统和可读存储介质
CN111274223A (zh) * 2020-01-22 2020-06-12 清华大学 一种一键部署大数据和深度学习容器云平台及其构建方法
CN113542322A (zh) * 2020-04-15 2021-10-22 北京京东尚科信息技术有限公司 用于活动目录程序的安装方法、装置、计算设备及介质
CN111984275A (zh) * 2020-07-25 2020-11-24 苏州浪潮智能科技有限公司 基于cpu架构类型的系统部署方法、系统、终端及存储介质

Also Published As

Publication number Publication date
CN109271171B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN109271171A (zh) 一种基于Docker一键部署大数据平台的方法和装置
CN110476402B (zh) 网络切片创建的方法、装置以及通信系统
EP3512233B1 (en) Method for managing network slice and management unit
CN112087379B (zh) 业务链的编排方法及装置、存储介质和电子装置
CN108712286B (zh) 网络拓扑结构的确定方法、装置和存储介质
US20170331862A1 (en) Method for accessing cloud service and access device
CN107959582B (zh) 一种切片实例的管理方法及装置
US10924966B2 (en) Management method, management unit, and system
JP6533475B2 (ja) 管理装置、および、ネットワークサービス管理方法
US20220231926A1 (en) Standardized format for containerized applications
CN109964507B (zh) 网络功能的管理方法、管理单元及系统
CN108965461A (zh) 服务治理方法、装置及dubbo服务系统
JP6888078B2 (ja) ネットワーク機能nf管理方法及びnf管理装置
CN106533753A (zh) 一种分布式系统的角色配置方法及装置
US10027596B1 (en) Hierarchical mapping of applications, services and resources for enhanced orchestration in converged infrastructure
CN110377462A (zh) 接口测试方法、装置及终端设备
JP5315128B2 (ja) 処理依頼先管理装置、処理依頼先管理プログラムおよび処理依頼先管理方法
US10078532B2 (en) Resource management method and device for terminal system among multiple operating systems
CN109413227A (zh) 基于多IPv6网络的IPv4用户访问IPv6网络互通装置和设备
CN109962914B (zh) 一种防火墙配置方法及装置
CN114327710A (zh) 一种函数管理方法、管理装置、终端设备及可读存储介质
CN108111496B (zh) 为dubbo分布式应用暴露http服务的方法、装置及系统
CN110417856B (zh) 多活负载均衡应用的扩容方法、装置、设备及存储介质
CN110798498B (zh) 管理边缘-核心分布式分析系统的数据流的方法
CN109074248A (zh) 用于分配通信网络中的软件升级的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant