CN114443294A - 大数据服务组件部署方法、系统、终端及存储介质 - Google Patents
大数据服务组件部署方法、系统、终端及存储介质 Download PDFInfo
- Publication number
- CN114443294A CN114443294A CN202210068720.6A CN202210068720A CN114443294A CN 114443294 A CN114443294 A CN 114443294A CN 202210068720 A CN202210068720 A CN 202210068720A CN 114443294 A CN114443294 A CN 114443294A
- Authority
- CN
- China
- Prior art keywords
- service
- deployment
- deployed
- dependency
- service component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000009434 installation Methods 0.000 claims abstract description 39
- 238000012544 monitoring process Methods 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000000712 assembly Effects 0.000 claims abstract description 3
- 238000000429 assembly Methods 0.000 claims abstract description 3
- 238000010586 diagram Methods 0.000 claims description 35
- 238000012986 modification Methods 0.000 claims description 14
- 230000004048 modification Effects 0.000 claims description 14
- 238000012217 deletion Methods 0.000 claims description 9
- 230000037430 deletion Effects 0.000 claims description 9
- 238000005108 dry cleaning Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及大数据技术领域，具体提供一种大数据服务组件部署方法、系统、终端及存储介质，包括：通过浏览器界面编辑依赖树图，所述依赖树图指示待部署服务组件之间的依赖关系和待部署服务组件的身份信息及部署地址；将所述依赖关系转换为各服务组件的部署顺序，根据所述部署顺序依次调取服务组件安装文件，并根据待部署服务组件的身份信息和部署地址执行相应安装文件；创建分布式监控进程，所述分布式监控进程监控已部署的服务组件的运行信息。本发明使大数据集群具备多服务部署的管理能力，提供了清晰且直观的服务依赖关系，有效避免了实施过程中，同一个大数据组件多个部署之间的节点冲突。
Description
技术领域
本发明涉及大数据技术领域，具体涉及一种大数据服务组件部署方法、系统、终端及存储介质。
背景技术
大数据服务组件之间存在着相互依赖的关系，例如：HBase的底层存储依赖HDFS，而HDFS的高可用部署需要依赖Zookeeper。而对于企业级的数据中心，在复杂的应用场景下，往往需要同一个服务组件实施多套部署，例如在同一个物理集群内，部署多套HBase或HDFS集群，这些同组件不同的集群支撑的业务以及数据相互独立，并共同承载起一个庞大且复杂的大数据集群。然而在实施过程中，多个服务之间的依赖关系容易产生交叉、冲突等问题，系统混乱，缺少统一的管理方案，随着业务的扩大，对于后期维护管理带来了巨大的困难。
发明内容
针对现有大数据服务组件部署方法存在的多个服务之间依赖关系容易产生交叉、冲突等问题，本发明提供一种大数据服务组件部署方法、系统、终端及存储介质，以避免庞大业务下多服务部署的结构混乱问题，为集群管理提供极大的便利。
第一方面，本发明提供一种大数据服务组件部署方法，包括：
通过浏览器界面编辑依赖树图，所述依赖树图指示待部署服务组件之间的依赖关系和待部署服务组件的身份信息及部署地址；
将所述依赖关系转换为各服务组件的部署顺序，根据所述部署顺序依次调取服务组件安装文件，并根据待部署服务组件的身份信息和部署地址执行相应安装文件；
创建分布式监控进程，所述分布式监控进程监控已部署的服务组件的运行信息。
进一步的，通过浏览器界面编辑依赖树图，所述依赖树图指示待部署服务组件之间的依赖关系和待部署服务组件的身份信息及部署地址，包括：
预先设置多种服务组件标签及连接指示标记；
接收用户拖动指令，所述用户拖动指令包括拖动对象和目标点坐标，根据用户拖动指令将拖动对象复制至目标点坐标所在区域，所述拖动对象为服务组件标签或连接指示标记；
为拖动至目标点坐标的服务组件标签调用默认配置模板，所述默认配置模板包括待配置参数项，向所述待配置参数项输入参数值后将所述默认配置模板保存为所述服务组件标签的配置文件，所述待配置参数项包括身份信息和部署地址；
根据相邻服务组件之间的连接指示标记生成依赖树图中服务组件之间的依赖关系；
根据设定的校验规则校验依赖树图的合理性，所述校验规则包括无环图、一个服务组件依赖的服务组件数量不超过1个、不同依赖树图的同一个服务组件部署地址不交叉。
进一步的，将所述依赖关系转换为各服务组件的部署顺序，根据所述部署顺序依次调取服务组件安装文件，并根据待部署服务组件的身份信息和部署地址执行相应安装文件，包括：
解析依赖树图得到服务组件之间的依赖关系和待部署服务组件的身份信息及部署地址，并根据所述依赖关系依次将各服务组件的安装文件分发至各服务组件的部署地址；
根据所述依赖干洗依次解压安装各服务组件的安装文件，并根据所述依赖关系依次启动各服务组件。
进一步的，创建分布式监控进程，所述分布式监控进程监控已部署的服务组件的运行信息，包括：
利用分布式监控进程收集各服务组件的运行信息，所述运行信息包括进程、所在物理节点和运行状态信息；
将所述依赖树图和收集的运行状态信息保存至元数据库，根据浏览器界面接收的查询指令从元数据调取相应数据并将相应数据返回至浏览器界面的显示页面。
进一步的，所述方法还包括：
通过浏览器界面更新所述依赖树图，并将更新后的依赖树图同步更新至源数据库，更新操作包括服务组件配置修改、增删服务组件、服务下线及依赖树删除；
对比修改前的依赖树，解析修改的节点和修改内容，根据依赖关系对已部署的服务组件进行相关操作，操作包括配置修改，节点增删，服务下架；若删除依赖树，则解析出当前依赖树的依赖关系，并根据逆向依赖关系依次对当前依赖树的所有服务组件进行卸载。
第二方面，本发明提供一种大数据服务组件部署系统，包括：
树图构建单元，用于通过浏览器界面编辑依赖树图，所述依赖树图指示待部署服务组件之间的依赖关系和待部署服务组件的身份信息及部署地址；
组件部署单元，用于将所述依赖关系转换为各服务组件的部署顺序，根据所述部署顺序依次调取服务组件安装文件，并根据待部署服务组件的身份信息和部署地址执行相应安装文件；
组件监控单元，用于创建分布式监控进程，所述分布式监控进程监控已部署的服务组件的运行信息。
进一步的，所述树图构建单元包括：
标签准备模块，用于预先设置多种服务组件标签及连接指示标记；
对象拖动模块，用于接收用户拖动指令，所述用户拖动指令包括拖动对象和目标点坐标，根据用户拖动指令将拖动对象复制至目标点坐标所在区域，所述拖动对象为服务组件标签或连接指示标记；
组件配置模块，用于为拖动至目标点坐标的服务组件标签调用默认配置模板，所述默认配置模板包括待配置参数项，向所述待配置参数项输入参数值后将所述默认配置模板保存为所述服务组件标签的配置文件，所述待配置参数项包括身份信息和部署地址；
关系构建模块，用于根据相邻服务组件之间的连接指示标记生成依赖树图中服务组件之间的依赖关系；
合理校验模块，用于根据设定的校验规则校验依赖树图的合理性，所述校验规则包括无环图、一个服务组件依赖的服务组件数量不超过1个、不同依赖树图的同一个服务组件部署地址不交叉。
进一步的，所述组件部署单元包括：
树图解析模块，用于解析依赖树图得到服务组件之间的依赖关系和待部署服务组件的身份信息及部署地址，并根据所述依赖关系依次将各服务组件的安装文件分发至各服务组件的部署地址；
组件安装模块，用于根据所述依赖干洗依次解压安装各服务组件的安装文件，并根据所述依赖关系依次启动各服务组件。
第三方面，提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，
该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。
第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本发明的有益效果在于，本发明提供的大数据服务组件部署方法、系统、终端及存储介质，使大数据集群具备多服务部署的管理能力，提供了清晰且直观的服务依赖关系，有效避免了实施过程中，同一个大数据组件多个部署之间的节点冲突；同时修改某个服务的配置、扩展和退服等不再需要逐个节点进行操作，可在界面统一进行，支持一键部署、修改或卸载，大大减少了管理成本。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的系统的示意性框图。
图3为本发明实施例提供的一种终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种大数据服务组件部署系统。
如图1所示，该方法包括：
步骤110，通过浏览器界面编辑依赖树图，所述依赖树图指示待部署服务组件之间的依赖关系和待部署服务组件的身份信息及部署地址；
步骤120，将所述依赖关系转换为各服务组件的部署顺序，根据所述部署顺序依次调取服务组件安装文件，并根据待部署服务组件的身份信息和部署地址执行相应安装文件；
步骤130，创建分布式监控进程，所述分布式监控进程监控已部署的服务组件的运行信息。
为了便于对本发明的理解，下面以本发明大数据服务组件部署方法的原理，结合实施例中对大数据服务组件进行部署的过程，对本发明提供的大数据服务组件部署方法做进一步的描述。
具体的，所述大数据服务组件部署方法包括：
S1、通过浏览器界面编辑依赖树图，所述依赖树图指示待部署服务组件之间的依赖关系和待部署服务组件的身份信息及部署地址。
Web界面提供可视化查询、监控与操作功能，使用者在部署服务之前，在web界面编辑依赖树，并在编辑完成后提交任务。依赖树图的功能需要实现以下模块：
可视化界面提供了全量的大数据服务标签以及连接指针，例如Zookeeper，HDFS等，使用者通过在面板中拖动、连接等方式创建出树状图，树状图为有向无环图，不允许出现首尾相接的情况；
依赖树状图的各个节点对应各个大数据组件，各个组件都有独立的id和名称，用于区分不同的服务部署，例如两个树状图均引入了HBase服务，则它们的id和名称不同；
每个节点的服务都有配置文件的默认模板，任务提交后会根据该模板生成服务所需的配置文件，使用者需要根据实际生产需要进行配置的编写与修改。同时，使用者需要填入各个服务的安装节点IP以及客户端的部署节点；
Web界面会自动校验使用者编辑的树状图的合理性，例如同一个HDFS不允许同时依赖两个Zookeeper，不同树状图的同一个服务部署的IP不允许交叉等，当使用者完成编辑并提交时，依赖树状图会作为任务提交给服务管理器，相关信息会写入元数据库；
对于现有的已部署并运行中的依赖，可以进行编辑操作，例如配置修改，节点的增删，服务下线甚至整个依赖树删除等，完成编辑后同样作为任务提交给服务管理器。
S2、将所述依赖关系转换为各服务组件的部署顺序，根据所述部署顺序依次调取服务组件安装文件，并根据待部署服务组件的身份信息和部署地址执行相应安装文件。
服务管理器维护着所有待部署的大数据组件的安装压缩包，并接收web界面提交的任务请求，将相关的参数进行解析并实施安装部署与启动。过程如下：
服务管理器解析提交的依赖树状图，获取服务之间的依赖关系以及各个服务将要部署的IP节点，进而自动生成脚本语言，并将对应的服务安装包解压到对应的物理机的指定目录下；
当完成各个服务的解压安装之后，根据使用者提供的编辑后的配置模板，生成配置文件并覆盖在对应的安装目录之中；
根据依赖树中的依赖关系，管理器通过远程命令按照正确的顺序依次启动各个大数据服务；
如果提交的任务是对现有依赖树进行修改编辑，服务管理器会对比修改前的依赖树，解析修改的节点和修改内容，生成脚本语言发送远程主机，以正确的依赖顺序对现已部署的服务进行相关操作，例如配置修改，节点增删，服务下架等；若删除整个依赖树，服务管理器同样解析出当前依赖树的线性顺序，并对当前树内所有服务进行一键卸载。
S3、创建分布式监控进程，所述分布式监控进程监控已部署的服务组件的运行信息。
监控控件是一个轻量的分布式服务，当依赖树状图对应的各个服务节点启动完成后，监控控件会收集这些组件的进程、所在物理节点以及运行状态等信息，并同步到元数据库，当任何一个服务节点发生变化，监控控件均会实时采集信息并进行同步数据。
元数据库存储了使用者编辑的树状图信息，任务信息以及各个服务节点的运行状态，web模块通过查询这些信息进行可视化展示，如果使用者对依赖树状图进行改动，会及时同步到元数据库，并产生新的任务提交到服务管理器。
如图2所示，该系统200包括：
树图构建单元210，用于通过浏览器界面编辑依赖树图，所述依赖树图指示待部署服务组件之间的依赖关系和待部署服务组件的身份信息及部署地址；
组件部署单元220，用于将所述依赖关系转换为各服务组件的部署顺序，根据所述部署顺序依次调取服务组件安装文件，并根据待部署服务组件的身份信息和部署地址执行相应安装文件；
组件监控单元230，用于创建分布式监控进程，所述分布式监控进程监控已部署的服务组件的运行信息。
可选地，作为本发明一个实施例，所述树图构建单元包括：
标签准备模块，用于预先设置多种服务组件标签及连接指示标记；
对象拖动模块，用于接收用户拖动指令，所述用户拖动指令包括拖动对象和目标点坐标，根据用户拖动指令将拖动对象复制至目标点坐标所在区域，所述拖动对象为服务组件标签或连接指示标记；
组件配置模块，用于为拖动至目标点坐标的服务组件标签调用默认配置模板，所述默认配置模板包括待配置参数项，向所述待配置参数项输入参数值后将所述默认配置模板保存为所述服务组件标签的配置文件，所述待配置参数项包括身份信息和部署地址；
关系构建模块，用于根据相邻服务组件之间的连接指示标记生成依赖树图中服务组件之间的依赖关系；
合理校验模块，用于根据设定的校验规则校验依赖树图的合理性，所述校验规则包括无环图、一个服务组件依赖的服务组件数量不超过1个、不同依赖树图的同一个服务组件部署地址不交叉。
可选地，作为本发明一个实施例，所述组件部署单元包括：
树图解析模块，用于解析依赖树图得到服务组件之间的依赖关系和待部署服务组件的身份信息及部署地址，并根据所述依赖关系依次将各服务组件的安装文件分发至各服务组件的部署地址；
组件安装模块，用于根据所述依赖干洗依次解压安装各服务组件的安装文件，并根据所述依赖关系依次启动各服务组件。
图3为本发明实施例提供的一种终端300的结构示意图，该终端300可以用于执行本发明实施例提供的大数据服务组件部署方法。
其中，该终端300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。
处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器310可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
因此，本发明使大数据集群具备多服务部署的管理能力，提供了清晰且直观的服务依赖关系，有效避免了实施过程中，同一个大数据组件多个部署之间的节点冲突；同时修改某个服务的配置、扩展和退服等不再需要逐个节点进行操作，可在界面统一进行，支持一键部署、修改或卸载，大大减少了管理成本，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种大数据服务组件部署方法，其特征在于，包括：
通过浏览器界面编辑依赖树图，所述依赖树图指示待部署服务组件之间的依赖关系和待部署服务组件的身份信息及部署地址；
将所述依赖关系转换为各服务组件的部署顺序，根据所述部署顺序依次调取服务组件安装文件，并根据待部署服务组件的身份信息和部署地址执行相应安装文件；
创建分布式监控进程，所述分布式监控进程监控已部署的服务组件的运行信息。
2.根据权利要求1所述的方法，其特征在于，通过浏览器界面编辑依赖树图，所述依赖树图指示待部署服务组件之间的依赖关系和待部署服务组件的身份信息及部署地址，包括：
预先设置多种服务组件标签及连接指示标记；
接收用户拖动指令，所述用户拖动指令包括拖动对象和目标点坐标，根据用户拖动指令将拖动对象复制至目标点坐标所在区域，所述拖动对象为服务组件标签或连接指示标记；
为拖动至目标点坐标的服务组件标签调用默认配置模板，所述默认配置模板包括待配置参数项，向所述待配置参数项输入参数值后将所述默认配置模板保存为所述服务组件标签的配置文件，所述待配置参数项包括身份信息和部署地址；
根据相邻服务组件之间的连接指示标记生成依赖树图中服务组件之间的依赖关系；
根据设定的校验规则校验依赖树图的合理性，所述校验规则包括无环图、一个服务组件依赖的服务组件数量不超过1个、不同依赖树图的同一个服务组件部署地址不交叉。
3.根据权利要求1所述的方法，其特征在于，将所述依赖关系转换为各服务组件的部署顺序，根据所述部署顺序依次调取服务组件安装文件，并根据待部署服务组件的身份信息和部署地址执行相应安装文件，包括：
解析依赖树图得到服务组件之间的依赖关系和待部署服务组件的身份信息及部署地址，并根据所述依赖关系依次将各服务组件的安装文件分发至各服务组件的部署地址；
根据所述依赖干洗依次解压安装各服务组件的安装文件，并根据所述依赖关系依次启动各服务组件。
4.根据权利要求1所述的方法，其特征在于，创建分布式监控进程，所述分布式监控进程监控已部署的服务组件的运行信息，包括：
利用分布式监控进程收集各服务组件的运行信息，所述运行信息包括进程、所在物理节点和运行状态信息；
将所述依赖树图和收集的运行状态信息保存至元数据库，根据浏览器界面接收的查询指令从元数据调取相应数据并将相应数据返回至浏览器界面的显示页面。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过浏览器界面更新所述依赖树图，并将更新后的依赖树图同步更新至源数据库，更新操作包括服务组件配置修改、增删服务组件、服务下线及依赖树删除；
对比修改前的依赖树，解析修改的节点和修改内容，根据依赖关系对已部署的服务组件进行相关操作，操作包括配置修改，节点增删，服务下架；若删除依赖树，则解析出当前依赖树的依赖关系，并根据逆向依赖关系依次对当前依赖树的所有服务组件进行卸载。
6.一种大数据服务组件部署系统，其特征在于，包括：
树图构建单元，用于通过浏览器界面编辑依赖树图，所述依赖树图指示待部署服务组件之间的依赖关系和待部署服务组件的身份信息及部署地址；
组件部署单元，用于将所述依赖关系转换为各服务组件的部署顺序，根据所述部署顺序依次调取服务组件安装文件，并根据待部署服务组件的身份信息和部署地址执行相应安装文件；
组件监控单元，用于创建分布式监控进程，所述分布式监控进程监控已部署的服务组件的运行信息。
7.根据权利要求6所述的系统，其特征在于，所述树图构建单元包括：
标签准备模块，用于预先设置多种服务组件标签及连接指示标记；
对象拖动模块，用于接收用户拖动指令，所述用户拖动指令包括拖动对象和目标点坐标，根据用户拖动指令将拖动对象复制至目标点坐标所在区域，所述拖动对象为服务组件标签或连接指示标记；
组件配置模块，用于为拖动至目标点坐标的服务组件标签调用默认配置模板，所述默认配置模板包括待配置参数项，向所述待配置参数项输入参数值后将所述默认配置模板保存为所述服务组件标签的配置文件，所述待配置参数项包括身份信息和部署地址；
关系构建模块，用于根据相邻服务组件之间的连接指示标记生成依赖树图中服务组件之间的依赖关系；
合理校验模块，用于根据设定的校验规则校验依赖树图的合理性，所述校验规则包括无环图、一个服务组件依赖的服务组件数量不超过1个、不同依赖树图的同一个服务组件部署地址不交叉。
8.根据权利要求6所述的系统，其特征在于，所述组件部署单元包括：
树图解析模块，用于解析依赖树图得到服务组件之间的依赖关系和待部署服务组件的身份信息及部署地址，并根据所述依赖关系依次将各服务组件的安装文件分发至各服务组件的部署地址；
组件安装模块，用于根据所述依赖干洗依次解压安装各服务组件的安装文件，并根据所述依赖关系依次启动各服务组件。
9.一种终端，其特征在于，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-5任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210068720.6A CN114443294B (zh) | 2022-01-20 | 2022-01-20 | 大数据服务组件部署方法、系统、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210068720.6A CN114443294B (zh) | 2022-01-20 | 2022-01-20 | 大数据服务组件部署方法、系统、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114443294A true CN114443294A (zh) | 2022-05-06 |
| CN114443294B CN114443294B (zh) | 2023-11-07 |
Family
ID=81368019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210068720.6A Active CN114443294B (zh) | 2022-01-20 | 2022-01-20 | 大数据服务组件部署方法、系统、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114443294B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024011627A1 (zh) * | 2022-07-15 | 2024-01-18 | 京东方科技集团股份有限公司 | 大数据集群部署方法以及基于大数据集群的数据处理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1601510A (zh) * | 2003-03-06 | 2005-03-30 | 微软公司 | 分布式计算系统的架构和分布式应用程序的自动设计，部署及管理 |
| CN101739254A (zh) * | 2009-12-31 | 2010-06-16 | 山东中创软件商用中间件股份有限公司 | 一种实现多平台通信组件复用的方法及装置 |
-
2022
- 2022-01-20 CN CN202210068720.6A patent/CN114443294B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1601510A (zh) * | 2003-03-06 | 2005-03-30 | 微软公司 | 分布式计算系统的架构和分布式应用程序的自动设计，部署及管理 |
| CN101739254A (zh) * | 2009-12-31 | 2010-06-16 | 山东中创软件商用中间件股份有限公司 | 一种实现多平台通信组件复用的方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024011627A1 (zh) * | 2022-07-15 | 2024-01-18 | 京东方科技集团股份有限公司 | 大数据集群部署方法以及基于大数据集群的数据处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114443294B (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112000737B (zh) | 基于多云管理的数据同步方法、系统、终端及存储介质 | |
| CN110389900B (zh) | 一种分布式数据库集群测试方法、装置及存储介质 | |
| CN107566165B (zh) | 一种发现及部署电力云数据中心可用资源的方法及系统 | |
| CN106681956A (zh) | 一种大规模计算机集群的操作方法及装置 | |
| CN103412768A (zh) | 一种基于脚本程序自动化部署Zookeeper集群的方法 | |
| CN112631614B (zh) | 应用部署方法、装置、计算机设备和存储介质 | |
| CN107783816A (zh) | 虚拟机的创建方法及装置、大数据集群创建的方法及装置 | |
| CN111857777B (zh) | 基于双芯智能电表的系统更新方法、装置和计算机设备 | |
| US11144292B2 (en) | Packaging support system and packaging support method | |
| CN112217656A (zh) | Sd-wan系统中的网络设备的配置信息同步方法和装置 | |
| CN109245908A (zh) | 一种主从集群切换的方法和装置 | |
| CN111737227A (zh) | 数据修改方法及系统 | |
| CN113742033A (zh) | 一种kubernetes集群联邦系统及其实现方法 | |
| CN111064626A (zh) | 配置更新方法、装置、服务器及可读存储介质 | |
| CN110019158A (zh) | 一种监控数据质量的方法和装置 | |
| CN110401729B (zh) | 一种云平台服务器网络迁移方法、系统、终端及存储介质 | |
| CN114443294B (zh) | 大数据服务组件部署方法、系统、终端及存储介质 | |
| CN111435329A (zh) | 一种自动化测试方法和装置 | |
| CN112463251A (zh) | 一种uliweb框架配置热发布的方法和装置 | |
| CN112131177A (zh) | 数据迁移方法及装置、存储介质、电子设备 | |
| CN113296796A (zh) | 项目发布方法、装置、系统、存储介质、电子设备 | |
| CN113590643B (zh) | 基于双轨数据库的数据同步方法、装置、设备和存储介质 | |
| CN113806309A (zh) | 基于分布式锁的元数据删除方法、系统、终端及存储介质 | |
| CN112256500B (zh) | 存储系统测试服务器配置方法、系统、终端及存储介质 | |
| CN113760469A (zh) | 分布式计算的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |