CN112311886B - 多集群部署方法、装置及管理节点 - Google Patents

多集群部署方法、装置及管理节点 Download PDF

Info

Publication number
CN112311886B
CN112311886B CN202011197350.3A CN202011197350A CN112311886B CN 112311886 B CN112311886 B CN 112311886B CN 202011197350 A CN202011197350 A CN 202011197350A CN 112311886 B CN112311886 B CN 112311886B
Authority
CN
China
Prior art keywords
data node
cluster
operating system
data
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011197350.3A
Other languages
English (en)
Other versions
CN112311886A (zh
Inventor
王祥东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN202011197350.3A priority Critical patent/CN112311886B/zh
Publication of CN112311886A publication Critical patent/CN112311886A/zh
Application granted granted Critical
Publication of CN112311886B publication Critical patent/CN112311886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/61Installation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Abstract

本申请实施例提供一种多集群部署方法、装置及管理节点。本申请实施例在数据中心增加管理节点,并在管理节点上针对每一种类型的操作系统创建对应的组件资源池,该组件资源池包括部署操作系统对应集群所需的组件安装包。管理节点根据数据节点的操作系统的类型,向数据节点下发用于访问对应组件资源池的下载路径。数据节点基于下载路径向管理节点发送资源请求。管理节点从该下载路径对应组件资源池中获取数据节点所需组件安装包,并返回给数据节点,以使数据节点安装该组件安装包,实现相应操作系统的集群部署。本申请实施例统一了各操作系统的集群部署方式,可有效提升安装有不同操作系统的数据中心的集群部署效率。

Description

多集群部署方法、装置及管理节点
技术领域
本申请涉及集群部署技术领域,尤其涉及一种多集群部署方法、装置及管理节点。
背景技术
随着大数据时代的到来,以及客户需求的不断变更,需要安装多种操作系统的应用场景越来越多。
当在数据中心中安装多种操作系统时,需要针对每一种操作系统进行集群部署。目前,每一种操作系统的集群部署方式均不相同,管理员需要掌握每一种操作系统的集群部署方式分别部署,导致安装有多种操作系统的数据中心的集群部署效率较低。
发明内容
有鉴于此,本申请提出一种多集群部署方法、装置及管理节点,用以提升安装多种操作系统的数据中心的集群部署效率。
为实现上述申请目的,本申请提供了如下技术方案:
第一方面,本申请提供一种多集群部署方法,应用于数据中心包括的管理节点,所述数据中心还包括多个数据节点,每一个数据节点安装有操作系统,所述数据中心包括至少两种类型的操作系统,所述管理节点针对每一种类型的操作系统预先创建对应的组件资源池,所述组件资源池包括部署操作系统对应集群所需的至少一个组件安装包,所述方法包括:
获取各数据节点已安装操作系统的类型;
针对每一个数据节点,根据数据节点已安装操作系统的类型,向数据节点下发用于访问该操作系统对应组件资源池的下载路径;
确定各数据节点所属集群以及集群中各数据节点所需安装的目标组件,并通告给各数据节点,其中,属于同一集群的数据节点的操作系统类型相同;
针对每一个数据节点,接收数据节点基于获取到的下载路径发送的资源请求,所述资源请求用于请求自身所需安装目标组件的组件安装包;
从该下载路径对应组件资源池中,获取目标组件的组件安装包,并返回给数据节点,以使数据节点安装该目标组件。
可选的,所述获取各数据节点已安装操作系统的类型,包括:
针对每一个数据节点执行如下处理:
获取数据节点的注册信息;
基于该数据节点的注册信息登录到数据节点;
向数据节点下发用于获取操作系统类型的指令;
接收数据节点基于所述指令返回的已安装操作系统的类型。
可选的,所述数据节点安装有包管理工具,所述组件安装包采用数据节点的包管理工具所支持的包形式进行打包,以使数据节点通过包管理工具安装部署相应组件。
可选的,所述确定各数据节点所属集群以及集群中各数据节点所需安装的目标组件之后,所述方法还包括:
针对每一个集群执行如下处理:
本地记录已创建集群的集群信息;
基于集群信息构建访问集群的URL;
基于URL访问集群,以获取集群运行状态。
第二方面,本申请提供一种多集群部署装置,应用于数据中心包括的管理节点,所述数据中心还包括多个数据节点,每一个数据节点安装有操作系统,所述数据中心包括至少两种类型的操作系统,所述管理节点针对每一种类型的操作系统预先创建对应的组件资源池,所述组件资源池包括部署操作系统对应集群所需的至少一个组件安装包,所述装置包括:
获取单元,用于获取各数据节点已安装操作系统的类型;
下发单元,用于针对每一个数据节点,根据数据节点已安装操作系统的类型,向数据节点下发用于访问该操作系统对应组件资源池的下载路径;
确定单元,用于确定各数据节点所属集群以及集群中各数据节点所需安装的目标组件,并通告给各数据节点,其中,属于同一集群的数据节点的操作系统类型相同;
接收单元,用于针对每一个数据节点,接收数据节点基于获取到的下载路径发送的资源请求,所述资源请求用于请求自身所需安装目标组件的组件安装包;
选择单元,用于从该下载路径对应组件资源池中,选择目标组件的组件安装包,并返回给数据节点,以使数据节点安装该目标组件。
可选的,所述获取单元获取各数据节点已安装操作系统的类型,包括:
针对每一个数据节点执行如下处理:
获取数据节点的注册信息;
基于该数据节点的注册信息登录到数据节点;
向数据节点下发用于获取操作系统类型的指令;
接收数据节点基于所述指令返回的已安装操作系统的类型。
可选的,所述数据节点安装有包管理工具,所述组件安装包采用数据节点的包管理工具所支持的包形式进行打包,以使数据节点通过包管理工具安装部署相应组件。
可选的,所述装置还包括:
记录单元,用于本地记录已创建集群的集群信息;
构建单元,用于基于集群信息构建访问集群的URL;
访问单元,用于基于URL访问集群,以获取集群运行状态。
第三方面,本申请提供一种管理节点,所述管理节点包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现上述知识推理方法。
第四方面,本申请提供一种机器可读存储介质,所述机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现上述知识推理方法。
由以上描述可以看出,本申请实施例在数据中心增加管理节点,并在管理节点上针对每一种类型的操作系统创建对应的组件资源池,该组件资源池包括部署操作系统对应集群所需的组件安装包。管理节点根据数据节点的操作系统的类型,向数据节点下发用于访问对应组件资源池的下载路径。数据节点基于下载路径向管理节点发送资源请求。管理节点从该下载路径对应组件资源池中获取数据节点所需组件安装包,并返回给数据节点,以使数据节点安装该组件安装包,实现相应操作系统的集群部署。本申请实施例统一了各操作系统的集群部署方式,可有效提升安装有不同操作系统的数据中心的集群部署效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例示出的一种多集群部署方法流程图;
图2是本申请实施例示出的一数据中心的结构示意图;
图3是本申请实施例示出的步骤101的实现流程;
图4是本申请实施例示出的一种集群状态显示界面示例;
图5是本申请实施例示出的一种多集群部署装置的结构示意图;
图6是本申请实施例示出的一种管理节点的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请实施例。在本申请实施例中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请实施例范围的情况下,协商信息也可以被称为第二信息,类似地,第二信息也可以被称为协商信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例提供一种多集群部署方法。该方法可统一各操作系统对应集群的部署方式,有效提升安装有不同操作系统的数据中心的集群部署效率。
为了使本申请实施例的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本申请实施例执行详细描述:
参见图1,为本申请实施例提供的一种多集群部署方法流程图。该流程应用于数据中心包括的管理节点。
该数据中心还包括多个数据节点,每一个数据节点安装有各自的操作系统,比如,Centos7操作系统、Centos8操作系统、Linux6操作系统,等等。
本申请实施例中,由管理节点对数据中心中已有数据节点进行集群部署。属于同一集群的各数据节点的操作系统类型相同。
参见图2,为本申请实施例示出的一数据中心的结构示意图。该数据中心包括1个管理节点和6个数据节点(数据节点1~数据节点6),其中,数据节点1~数据节点3安装有Centos7操作系统;数据节点4~数据节点6安装有Centos8操作系统。拟由数据节点1~数据节点3组成集群A,数据节点4~数据节点6组成集群B。
本申请实施例中,管理节点针对每一种类型的操作系统预先创建操作系统对应的组件资源池。组件资源池中包括部署操作系统对应集群所需的组件安装包。
比如,图2所示数据中心包括2种类型的操作系统:Centos7操作系统和Centos8操作系统,则管理节点针对Centos7操作系统创建组件资源池(记为组件资源池1),该组件资源池1包括可安装于Centos7操作系统上的组件安装包;针对Centos8操作系统创建组件资源池(记为组件资源池2),该组件资源池2包括可安装于Centos8操作系统上的组件安装包。
如图1所示,本申请实施例的多集群部署流程可包括以下步骤:
步骤101,获取各数据节点已安装操作系统的类型。
管理节点获取各数据节点已安装操作系统的类型的过程,在下文中介绍,这里暂不赘述。
步骤102,针对每一个数据节点,根据数据节点已安装操作系统的类型,向数据节点下发用于访问该操作系统对应组件资源池的下载路径。
这里,需要说明的是,管理节点在创建组件资源池后,可生成用于引导外部节点(数据节点)访问该组件资源池的路径,亦称为下载路径。
由于每一种类型的操作系统对应一个组件资源池,每一个组件资源池对应一个下载路径,因此,管理节点上存在多个可访问不同操作系统对应组件资源池的下载路径。
管理节点在通过步骤101获取到数据节点已安装的操作系统的类型后,可根据数据节点的操作系统类型,从已生成的多个下载路径中,选择与该操作系统类型对应的组件资源池的下载路径下发给数据节点。
比如,数据节点1的操作系统类型为Centos7,管理节点中该系统类型对应的组件资源池1的下载路径为路径1,则管理节点将路径1下发给数据节点1。
步骤103,管理节点确定各数据节点所属集群以及集群中各数据节点所需安装的目标组件,并通告给各数据节点。
本申请实施例中,由管理节点负责数据中心的集群划分,划入同一集群的数据节点的操作系统类型相同。
比如,图2中,将数据节点1~数据节点3划入同一集群(记为集群A),集群A中各数据节点的操作系统均为Centos7;将数据节点4~数据节点6划入同一集群(记为集群B),集群B中各数据节点的操作系统均为Centos8。
在确定各数据节点所属集群后,管理节点需要为集群中各数据节点指定所需安装的组件。这里,将为数据节点指定的需要安装的组件称为目标组件。可以理解的是,之所以称为目标组件,只是为便于区分而进行的命名,并非用于限定。
比如,管理节点指定集群A中的数据节点1安装组件1、数据节点2安装组件2、数据节点3安装组件3。其中,组件1、组件2、组件3对应安装包均位于Centos7操作系统对应组件资源池1中。
管理节点将为各数据节点指定的所需安装的目标组件的信息,通告给各数据节点。
步骤104,针对每一个数据节点,管理节点接收数据节点基于获取到的下载路径发送的资源请求,该资源请求用于请求自身所需安装目标组件的组件安装包。
如前所述,管理节点已通过步骤102将与数据节点所安装操作系统对应的组件资源池的下载路径下发给数据节点,且数据节点通过步骤103已确定自身所需安装的目标组件,因此,数据节点可基于获取到的下载路径向管理节点请求其所需安装的目标组件的组件安装包。
比如,数据节点1基于管理节点下发的路径1,向管理节点请求其所需安装的组件1的安装包。
步骤105,管理节点从该下载路径对应组件资源池中,获取目标组件的组件安装包,并返回给数据节点。
管理节点根据数据节点发起请求的访问路径(下载路径),可找到该路径指向的组件资源池,进而从该组件资源池中获取数据节点所请求的目标组件的组件安装包,返回该数据节点。
比如,管理节点根据数据节点1(安装有Centos7操作系统)提供的路径1,找到该路径1指向的组件资源池1(Centos7操作系统对应的组件资源池),从该组件资源池1中获取到组件1的安装包,返回给数据节点1。
每一个数据节点均可通过步骤104和步骤105,得到自身所需安装的目标组件的组件安装包,完成本地安装部署,从而实现由数据节点组成的集群的部署。
至此,完成图1所示流程。
通过图1所示流程可以看出,本申请实施例中,管理节点为每一种操作系统创建对应的组件资源池,并根据数据节点的操作系统类型,向数据节点下发与其所安装操作系统对应的组件资源池的下载路径。数据节点基于获取到的下载路径,向管理节点请求其所需安装的组件。管理节点从下载路径对应的组件资源池中为数据节点提供相应组件的安装包,以完成数据节点的组件安装,实现不同操作系统的集群部署。本申请实施例统一了各操作系统的集群部署方式,可有效提升安装有不同操作系统的数据中心的集群部署效率。
下面对步骤101中管理节点获取各数据节点已安装操作系统的类型的过程进行描述。
作为一种实施方式,可直接在管理节点上配置各数据节点已安装操作系统的类型。
作为另一种实施方式,管理节点可从各数据节点获取数据节点所安装操作系统的类型。参见图3,为本申请实施例示出的一种获取数据节点已安装操作系统的类型的实现流程。
管理节点针对数据中心的每一个数据节点执行图3所示流程,该该流程可包括以下步骤:
步骤301,获取各数据节点的注册信息。
本申请实施例中,加入数据中心的每一个数据节点需要向管理节点注册。因此,管理节点记录有各数据节点的注册信息,该注册信息包括但不限于:数据节点的IP地址、服务端口号、名称、用户名、密码等。
参见如下数据节点信息表示例:
Figure BDA0002754397510000091
表1
步骤302,基于数据节点的注册信息登录到数据节点。
例如,管理节点可基于IP地址(10.121.65.246)、端口号(22)、用户名(Root)以及密码(Cloudos)登录到数据节点1(Node1.hde.com)。
步骤303,向数据节点下发用于获取操作系统类型的指令。
参见如下用于获取操作系统类型的指令示例:
[root@zbql1 data]#cat/etc/redhat-release
Red Hat Enterprise Linux Server release 7.6(Maipo)
步骤304,接收数据节点基于指令返回的已安装操作系统的类型。
比如,图2中数据节点1基于管理节点下发的获取操作系统类型的指令,向管理节点返回其所安装操作系统的类型为Centos7。
作为一个示例,管理节点可在数据节点信息表中增加一个系统类型字段,以记录数据节点所安装操作系统的类型。
参见如下数据节点信息表示例:
Figure BDA0002754397510000092
Figure BDA0002754397510000101
表2
至此,完成图3所示流程。通过该流程,管理节点可收集到各数据节点所安装操作系统的类型。
此外,作为一个实施例,可在各数据节点上安装包管理工具,由包管理工具对数据节点获取到的组件安装包进行安装部署。这里,需要说明的是,不同操作系统的包管理工具可能不同。比如,Ubuntu系列操作系统的包管理工具与Centos系列操作系统的包管理工具不同。
为此,管理节点在针对不同操作系统创建组件资源池时,组件资源池中的组件安装包可采用操作系统对应包管理工具所支持的包形式打包。比如,对需要安装到Ubuntu系列操作系统上的组件安装包,可采用deb包的形式打包,以便Ubuntu系列操作系统的包管理工具可解析该组件安装包进行安装;对需要安装到Centos系列操作系统上组件安装包,可采用rpm包的形式打包,以便Centos系列操作系统的包管理工具可解析该组件安装包进行安装。
此外,作为一个实施例,管理节点可本地记录已创建集群的集群信息,如
表3所示。
Figure BDA0002754397510000102
表3
从表3可以看出,管理节点记录了已创建集群的IP地址、端口号、支持的协议类型等。
管理节点基于上述信息可构建访问集群的URL,进而基于该URL访问集群,获取集群的各种运行状态,比如,集群中各组件的运行状态、集群中各数据节点(亦可称为主机)的运行状态、等等。
管理节点可将收集到的各运行状态通过显示界面呈现给用户。参见图4,为本申请实施例示出的一种集群状态显示界面示例。从该界面中,用户可以直观地看到集群的运行状态。
下面通过具体实施例对本申请实施例提供的方法进行描述:
仍以图2所示数据中心为例,管理节点预先构建针对Centos7操作系统的组件资源池,该组件资源池包括可安装于Centos7操作系统的组件1的安装包、组件2的安装包、组件3的安装包。管理节点预先构建针对Centos8操作系统的组件资源池,该组件资源池包括可安装于Centos8操作系统的组件4的安装包、组件5的安装包、组件6的安装包。
现以基于httptd构建yum源的方式,构建Centos7操作系统的组件资源池为例:
首先,在管理节点上构建带有Centos7操作系统类型的文件夹。
例如:
mkdir-p/var/www/html/centos7
使用createrepo创建本地源,执行如下命令会在Centos7目录生成repodata目录:
yum install createrepo*-y
cd/var/www/html
createrepo centos7/
然后,利用http发布yum本地源。
这里,需要说明的是,本地yum源通过createrepo搭建完成后,需要解除HTTP Web,发布/var/www/html/centos7/中所有软件,安装并启动httpd服务,如下:
Figure BDA0002754397510000121
至此,完成Centos7操作系统的组件资源池的创建。
Centos8操作系统的组件资源池的创建同上,这里不再赘述。
管理节点可根据前述表2中收集到的各数据节点的操作系统类型,确定各数据节点已安装的操作系统。从表2可知,数据节点1~数据节点3安装有Centos7操作系统;数据节点4~数据节点6安装有Centos8操作系统。
管理节点在数据节点1~数据节点3上分别创建/etc/yum.repos.d/http.repo文件,输入如下内容:
Figure BDA0002754397510000122
Figure BDA0002754397510000131
管理节点刷新各数据节点的yum源,并在各数据节点上安装大数据集群的基础依赖包,比如,jdk和ntp等。
并在数据节点上安装ambari-server和ambari-agent。
其中:安装ambari-server命令如下:
yum install–y ambari-server
ambari-server setup--jdbc-db=mysql
--jdbc-driver=/usr/share/java/mysql-connector-java.jar
ambari-server setup
ambari-server restart
安装ambari-agent命令如下:
yum install-y ambari-agent
ambari-agent restart
这里,需要说明的是,本实施例采用大数据组件管理框架Ambari+HDP,对组件进行安装管理。Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。
管理节点可利用Ambari Blueprints配置以及部署大数据集群。具体过程如下:
Step 1:手工写或者下载hdp系统的blueprint文件。
下载方法:
GET/api/v1/clusters/:clusterName?format=blueprint
e.g.
$curl-H"X-Requested-By:ambari"--user admin:admin\
>-X GET
http://localhost:8080/api/v1/clusters/RoyCLUSTER?format=blueprint>mybl.json
可以先手工安装HDP,再用上面的办法把blueprint下载下来,如此就获取了一个真实的配置文件,可以在这个文件的基础上做修改。
下面就是这个配置文件的简化版,介绍它的框架结构。
Figure BDA0002754397510000141
Figure BDA0002754397510000151
Step 2:向Ambari注册Blueprint
POST/api/v1/blueprints/:blueprintName
e.g.
$curl-H"X-Requested-By:ambari"--user admin:admin\
>-X POST http://localhost:8080/api/v1/blueprints/cluster_blueprint\
>-d@mybl.json
这个blueprint文件就是上一步生成的mybl.json
Step 3:创建集群模板
把host(数据节点,亦称为主机)和blueprint文件中的host_group对应起来,对应代码如下:
Figure BDA0002754397510000152
Figure BDA0002754397510000161
Step 4:开始创建集群,代码如下:
POST/api/v1/clusters/:clusterName
e.g.
$curl-H"X-Requested-By:ambari"-X POST-u admin:admin\
>http://localhost:8080/api/v1/clusters/roycluster-d@/tmp/hostmapping-3.json使用hostmapping-3.json模板创建集群。
Step 5:监控集群构建的进度,代码如下:
Figure BDA0002754397510000162
Figure BDA0002754397510000171
管理节点通过上述处理过程配置集群,确定集群中各数据节点所需安装的组件。比如,配置集群A,集群A包括数据节点1~数据节点3;配置数据节点1安装组件1,数据节点2安装组件2,数据节点3安装组件3。管理节点将对数据节点的配置信息下发给数据节点。
以数据节点1为例,数据节点1根据管理节点预先下发的下载路径(http://管理节点IP/centos7/)以及自身所需安装的组件1的信息,向管理节点请求组件1的安装包。管理节点根据下载路径(http://管理节点IP/centos7/)找到本地预先创建的Centos7操作系统的组件资源池,从该组件资源池中获取组件1的安装包,返回给数据节点1。则数据节点1在本地已安装的Centos7操作系统上安装部署组件1。
其它数据节点的处理方式相同,这里不再赘述。
通过上述处理过程,数据中心的所有数据节点均可获取到并安装其所属集群所需的组件,实现不同操作系统的集群统一安装部署,提升数据中心中集群部署效率。
以上对本申请实施例提供的方法进行了描述,下面对本申请实施例提供的装置进行描述:
参见图5,为本申请实施例提供的装置的结构示意图。该装置包括:获取单元501、下发单元502、确定单元503、接收单元504以及选择单元505,其中:
获取单元501,用于获取各数据节点已安装操作系统的类型;
下发单元502,用于针对每一个数据节点,根据数据节点已安装操作系统的类型,向数据节点下发用于访问该操作系统对应组件资源池的下载路径;
确定单元503,用于确定各数据节点所属集群以及集群中各数据节点所需安装的目标组件,并通告给各数据节点,其中,属于同一集群的数据节点的操作系统类型相同;
接收单元504,用于针对每一个数据节点,接收数据节点基于获取到的下载路径发送的资源请求,所述资源请求用于请求自身所需安装目标组件的组件安装包;
选择单元505,用于从该下载路径对应组件资源池中,选择目标组件的组件安装包,并返回给数据节点,以使数据节点安装该目标组件。
作为一个实施例,所述获取单元501获取各数据节点已安装操作系统的类型,包括:
针对每一个数据节点执行如下处理:
获取数据节点的注册信息;
基于该数据节点的注册信息登录到数据节点;
向数据节点下发用于获取操作系统类型的指令;
接收数据节点基于所述指令返回的已安装操作系统的类型。
作为一个实施例,所述数据节点安装有包管理工具,所述组件安装包采用数据节点的包管理工具所支持的包形式进行打包,以使数据节点通过包管理工具安装部署相应组件。
作为一个实施例,所述装置还包括:
记录单元,用于本地记录已创建集群的集群信息;
构建单元,用于基于集群信息构建访问集群的URL;
访问单元,用于基于URL访问集群,以获取集群运行状态。
至此,完成图5所示装置的描述。在本申请实施例中,本申请实施例中,管理节点为每一种操作系统创建对应的组件资源池,并根据数据节点的操作系统类型,向数据节点下发与其所安装操作系统对应的组件资源池的下载路径。数据节点基于获取到的下载路径,向管理节点请求其所需安装的组件。管理节点从下载路径对应的组件资源池中为数据节点提供相应组件的安装包,以完成数据节点的组件安装,实现不同操作系统的集群部署。本申请实施例统一了各操作系统的集群部署方式,可有效提升安装有不同操作系统的数据中心的集群部署效率。
下面对本申请实施例提供的管理节点进行描述:
参见图6,为本申请实施例提供的一种管理节点的硬件结构示意图。该管理节点可包括处理器601、存储有机器可执行指令的机器可读存储介质602。处理器601与机器可读存储介质602可经由系统总线603通信。并且,通过读取并执行机器可读存储介质602中与多集群部署逻辑对应的机器可执行指令,处理器601可执行上文描述的多集群部署方法。
本文提到的机器可读存储介质602可以是任何电子、磁性、光学或其他物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,所述机器可读存储介质602可以包括如下至少一个种存储介质:易失存储器、非易失性存储器、其它类型存储介质。其中,易失性存储器可为RAM(Random Access Memory,随机存取存储器),非易失性存储器可为闪存、存储驱动器(如硬盘驱动器)、固态硬盘、存储盘(如光盘、DVD等)。
本申请实施例还提供一种包括机器可执行指令的机器可读存储介质,例如图6中的机器可读存储介质602,所述机器可执行指令可由管理节点中的处理器601执行,以实现以上描述的多集群部署方法。
至此,完成图6所示管理节点的描述。
以上所述仅为本申请实施例的较佳实施例而已,并不用以限制本申请,凡在本申请实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (10)

1.一种多集群部署方法,其特征在于,应用于数据中心包括的管理节点,所述数据中心还包括多个数据节点,每一个数据节点安装有操作系统,所述数据中心包括至少两种类型的操作系统,所述管理节点针对每一种类型的操作系统预先创建对应的组件资源池,所述组件资源池包括部署操作系统对应集群所需的至少一个组件安装包,所述方法包括:
获取各数据节点已安装操作系统的类型;
针对每一个数据节点,根据数据节点已安装操作系统的类型,向数据节点下发用于访问该操作系统对应组件资源池的下载路径;
确定各数据节点所属集群以及集群中各数据节点所需安装的目标组件,并通告给各数据节点,其中,属于同一集群的数据节点的操作系统类型相同;
针对每一个数据节点,接收数据节点基于获取到的下载路径发送的资源请求,所述资源请求用于请求自身所需安装目标组件的组件安装包;
从该下载路径对应组件资源池中,获取目标组件的组件安装包,并返回给数据节点,以使数据节点安装该目标组件。
2.如权利要求1所述的方法,其特征在于,所述获取各数据节点已安装操作系统的类型,包括:
针对每一个数据节点执行如下处理:
获取数据节点的注册信息;
基于该数据节点的注册信息登录到数据节点;
向数据节点下发用于获取操作系统类型的指令;
接收数据节点基于所述指令返回的已安装操作系统的类型。
3.如权利要求1所述的方法,其特征在于,所述数据节点安装有包管理工具,所述组件安装包采用数据节点的包管理工具所支持的包形式进行打包,以使数据节点通过包管理工具安装部署相应组件。
4.如权利要求1所述的方法,其特征在于,所述确定各数据节点所属集群以及集群中各数据节点所需安装的目标组件之后,所述方法还包括:
针对每一个集群执行如下处理:
本地记录已创建集群的集群信息;
基于集群信息构建访问集群的URL;
基于URL访问集群,以获取集群运行状态。
5.一种多集群部署装置,其特征在于,应用于数据中心包括的管理节点,所述数据中心还包括多个数据节点,每一个数据节点安装有操作系统,所述数据中心包括至少两种类型的操作系统,所述管理节点针对每一种类型的操作系统预先创建对应的组件资源池,所述组件资源池包括部署操作系统对应集群所需的至少一个组件安装包,所述装置包括:
获取单元,用于获取各数据节点已安装操作系统的类型;
下发单元,用于针对每一个数据节点,根据数据节点已安装操作系统的类型,向数据节点下发用于访问该操作系统对应组件资源池的下载路径;
确定单元,用于确定各数据节点所属集群以及集群中各数据节点所需安装的目标组件,并通告给各数据节点,其中,属于同一集群的数据节点的操作系统类型相同;
接收单元,用于针对每一个数据节点,接收数据节点基于获取到的下载路径发送的资源请求,所述资源请求用于请求自身所需安装目标组件的组件安装包;
选择单元,用于从该下载路径对应组件资源池中,选择目标组件的组件安装包,并返回给数据节点,以使数据节点安装该目标组件。
6.如权利要求5所述的装置,其特征在于,所述获取单元获取各数据节点已安装操作系统的类型,包括:
针对每一个数据节点执行如下处理:
获取数据节点的注册信息;
基于该数据节点的注册信息登录到数据节点;
向数据节点下发用于获取操作系统类型的指令;
接收数据节点基于所述指令返回的已安装操作系统的类型。
7.如权利要求5所述的装置,其特征在于,所述数据节点安装有包管理工具,所述组件安装包采用数据节点的包管理工具所支持的包形式进行打包,以使数据节点通过包管理工具安装部署相应组件。
8.如权利要求5所述的装置,其特征在于,所述装置还包括:
记录单元,用于本地记录已创建集群的集群信息;
构建单元,用于基于集群信息构建访问集群的URL;
访问单元,用于基于URL访问集群,以获取集群运行状态。
9.一种管理节点,其特征在于,所述管理节点包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现权利要求1-4任一所述的方法步骤。
10.一种机器可读存储介质,其特征在于,所述机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现权利要求1-4任一所述的方法步骤。
CN202011197350.3A 2020-10-30 2020-10-30 多集群部署方法、装置及管理节点 Active CN112311886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011197350.3A CN112311886B (zh) 2020-10-30 2020-10-30 多集群部署方法、装置及管理节点

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011197350.3A CN112311886B (zh) 2020-10-30 2020-10-30 多集群部署方法、装置及管理节点

Publications (2)

Publication Number Publication Date
CN112311886A CN112311886A (zh) 2021-02-02
CN112311886B true CN112311886B (zh) 2022-03-01

Family

ID=74333390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011197350.3A Active CN112311886B (zh) 2020-10-30 2020-10-30 多集群部署方法、装置及管理节点

Country Status (1)

Country Link
CN (1) CN112311886B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115242598A (zh) * 2022-07-15 2022-10-25 天翼云科技有限公司 一种云操作系统部署方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037002A (zh) * 2012-12-21 2013-04-10 中标软件有限公司 一种云计算集群环境中服务器集群的部署方法及系统
CN106878385A (zh) * 2016-12-30 2017-06-20 新华三技术有限公司 私有云部署方法及装置
WO2019199449A1 (en) * 2018-04-11 2019-10-17 Microsoft Technology Licensing, Llc Deployment of services across clusters of nodes
CN110362381A (zh) * 2019-06-21 2019-10-22 深圳市汇川技术股份有限公司 Hdfs集群高可用部署方法、系统、设备及存储介质
CN110493028A (zh) * 2019-06-28 2019-11-22 浪潮电子信息产业股份有限公司 一种集群部署方法、系统、装置及计算机可读存储介质
CN111225064A (zh) * 2020-02-24 2020-06-02 中科星图股份有限公司 Ceph集群部署方法、系统、设备和计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037002A (zh) * 2012-12-21 2013-04-10 中标软件有限公司 一种云计算集群环境中服务器集群的部署方法及系统
CN106878385A (zh) * 2016-12-30 2017-06-20 新华三技术有限公司 私有云部署方法及装置
WO2019199449A1 (en) * 2018-04-11 2019-10-17 Microsoft Technology Licensing, Llc Deployment of services across clusters of nodes
CN110362381A (zh) * 2019-06-21 2019-10-22 深圳市汇川技术股份有限公司 Hdfs集群高可用部署方法、系统、设备及存储介质
CN110493028A (zh) * 2019-06-28 2019-11-22 浪潮电子信息产业股份有限公司 一种集群部署方法、系统、装置及计算机可读存储介质
CN111225064A (zh) * 2020-02-24 2020-06-02 中科星图股份有限公司 Ceph集群部署方法、系统、设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN112311886A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
RU2429529C2 (ru) Динамическое конфигурирование, выделение и развертывание вычислительных систем
US20200218580A1 (en) Cloud platform system
US20190306026A1 (en) Client-directed placement of remotely-configured service instances
EP3097481B1 (en) System and method for supporting multi-tenancy in an application server, cloud, or other environment
KR102056503B1 (ko) 분산 시스템에서의 자체 업데이트 기능
US8782204B2 (en) Monitoring hardware resources in a software provisioning environment
US8402123B2 (en) Systems and methods for inventorying un-provisioned systems in a software provisioning environment
US11188561B2 (en) Prioritizing microservices on a container platform for a restore operation
KR101007279B1 (ko) 가상 머신 디스크 풀을 이용한 가상 머신 프로비저닝 방법 및 시스템
JP2014514659A (ja) マルチノードアプリケーションのデプロイメント・システム
EP3149578A1 (en) Grouping virtual machines in a cloud application
CN113645262A (zh) 云计算服务系统和方法
CN108228197B (zh) 一种在集群中安装软件的方法和装置
CN112311886B (zh) 多集群部署方法、装置及管理节点
CN114706690B (zh) 一种Kubernetes容器共享GPU方法及系统
CN113438107A (zh) 集群节点的扩展方法、装置、设备及存储介质
KR20220019924A (ko) 다중 쿠버네티스 클러스터 구축 방법 및 그 장치
CN110870275B (zh) 用于共享存储器文件传输的方法和装置
CN109120674B (zh) 大数据平台的部署方法及装置
CN116028463A (zh) 搭建存储与计算分离的大数据平台的方法
CN111431951B (zh) 一种数据处理方法、节点设备、系统及存储介质
CN115604101B (zh) 系统管理方法及相关设备
Reid Installing CockroachDB
KR102019799B1 (ko) 읽기 및 쓰기가 가능한 가상 디스크의 병합 마운팅을 통한 가상 클러스터 구축 방법 및 장치
CN115426373A (zh) 私有云中部署分布式存储系统的方法及部署系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant