CN111130851A - 一种可视化部署并管理kafka集群的方法 - Google Patents
一种可视化部署并管理kafka集群的方法 Download PDFInfo
- Publication number
- CN111130851A CN111130851A CN201911219115.9A CN201911219115A CN111130851A CN 111130851 A CN111130851 A CN 111130851A CN 201911219115 A CN201911219115 A CN 201911219115A CN 111130851 A CN111130851 A CN 111130851A
- Authority
- CN
- China
- Prior art keywords
- kafka
- cluster
- manager
- installation
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000009434 installation Methods 0.000 claims abstract description 58
- 238000012800 visualization Methods 0.000 claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 239000002071 nanotube Substances 0.000 claims abstract description 3
- 238000007726 management method Methods 0.000 description 9
- 238000011900 installation process Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012358 sourcing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0876—Aspects of the degree of configuration automation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明的一种可视化部署并管理kafka集群的方法，包括如下步骤：S1：用户在可视化服务中输入kafka需要安装到的主机信息、kafka集群的配置信息以及zookeeper配置信息，安装请求发送到后台的安装服务；S2：安装服务通过脚本形式将安装包推送到主机中，进行kafka集群的安装，用户在可视化服务中进行是否安装kafka‑manager的选择；S301：用户选择安装kafka‑manager，安装服务在主机资源中自动安装一个新的kafka‑manager的实例并完成对该kafka集群的纳管；S302：用户未选择安装kafka‑manager，安装服务提供一个该集群对应的kafka‑manager的web页面入口地址，用户通过kafka‑manager页面来完成对该kafka集群的管理。该方法能够通过可视化手段一键部署并管理kafka集群，并且可以选择集群管理方式。
Description
技术领域
本发明涉及一种可视化部署并管理kafka集群的方法，属于可视化部署方法技术领域。
背景技术
Kafka是LinkedIn公司开发并开源的消息中间体，广泛应用在分布式系统中，用于接点间的通信。在实际运用中，一般会将多个kafka代理者以集群的方式运行形成kafka集群。kafka集群的安装部署过程是一个耗时且繁琐的过程，没有可视化的安装页面，大多数情况下只能通过命令行工具完成对kafka集群的部署。成功安装部署kafka集群后，kafka自身并没有提供可视化管理kafka集群的工具。
现有情况下kafka集群可以通过一种第三方开源工具kafka-manager进行管理，kafka集群的安装部署和kafka-manager的安装部署是分开来完成的，且都是通过命令行进行操作，比较繁琐和耗时。虽然kafka-manager是一个第三方可以实现可视化管理kafka的工具，但是其部署也是需要在命令行进行部署的，部署过程同样费时繁琐。
发明内容
为克服现有技术的不足，本发明提出一种可视化部署并管理kafka集群的方法，其能够通过可视化手段一键部署并管理kafka集群，整个安装过程对用户不可见，不需要用户自己准备底层安装包，并且可以选择集群管理方式。
为实现上述目的，本发明的一种可视化部署并管理kafka集群的方法，包括如下步骤：
S1：用户在可视化服务中输入kafka需要安装到的主机信息、kafka集群的配置信息以及zookeeper配置信息，安装请求发送到后台的安装服务；
S2：安装服务通过脚本形式将安装包推送到主机中，进行kafka集群的安装，用户在可视化服务中进行是否安装kafka-manager的选择；
S301：用户选择安装kafka-manager，安装服务在主机资源中自动安装一个新的kafka-manager的实例并完成对该kafka集群的纳管；
S302：用户未选择安装kafka-manager，安装服务提供一个该集群对应的kafka-manager的web页面入口地址，用户通过kafka-manager页面来完成对该kafka集群的管理。
进一步地，在步骤S2中，kafka集群的安装包括如下步骤：
S201：安装java，提供kafka服务运行所需的java环境；
S202：安装zookeeper，zookeeper集群进行broker的管理及负载均衡；
S203：安装kafka。
进一步地，安装包包括jdk安装包、zookeeper安装包、kafka安装包和kafka-manager安装包。
进一步地，在步骤S1中，可视化服务中的主机信息包括ip、hostname、用户名和密码。
进一步地，在步骤S1中，可视化服务中的kafka配置信息包括kafka的server.properties中的参数名和参数值，可视化服务包括kafka配置信息模板，用户输入的kafka配置参数能够保存为新的kafka配置信息模板。
进一步地，在步骤S203中，通过脚本实现按用户配置的信息修改kafka配置文件。
进一步地，在步骤S1中，可视化服务包括zookeeper配置信息模板，用户输入的zookeeper配置参数能够保存为新的zookeeper配置信息模板。
本发明的一种可视化部署并管理kafka集群的方法能够通过可视化手段一键部署并管理kafka集群，整个安装过程对用户不可见，不需要用户自己准备底层安装包，并且可以选择集群管理方式。
附图说明
下面结合附图对本发明作进一步描写和阐述。
图1是本发明首选实施方式的一种可视化部署并管理kafka集群的方法的系统图。
具体实施方式
下面将结合附图、通过对本发明的优选实施方式的描述，更加清楚、完整地阐述本发明的技术方案。
如图1所示，本发明首选实施方式的一种可视化部署并管理kafka集群的方法，包括如下步骤：
S1：用户在可视化服务中输入kafka需要安装到的主机信息、kafka集群的配置信息以及zookeeper配置信息，安装请求发送到后台的安装服务。
S2：安装服务通过脚本形式将安装包推送到主机中进行kafka集群的安装，安装包包括jdk安装包、zookeeper安装包、kafka安装包和kafka-manager安装包，具体地：
S201：安装java，提供kafka服务运行所需的java环境；
S202：安装zookeeper，zookeeper集群进行broker的管理及负载均衡；
S203：安装kafka；
安装完成后，用户在可视化服务中进行是否安装kafka-manager的选择。
S301：用户选择安装kafka-manager，安装服务在主机资源中自动安装一个新的kafka-manager的实例并完成对该kafka集群的纳管。
S302：用户未选择安装kafka-manager，安装服务提供一个该集群对应的kafka-manager的web页面入口地址，用户通过kafka-manager页面来完成对该kafka集群的管理。
其中，在步骤S1中，可视化服务中的主机信息包括ip、hostname、用户名和密码。可视化服务中的kafka配置信息包括kafka的server.properties中的参数名和参数值，可视化服务包括kafka配置信息模板，用户输入的kafka配置参数能够保存为新的模板。可视化服务包括zookeeper配置信息模板，用户输入的zookeeper配置参数能够保存为新的模板。
具体地，通过一个可视化服务进kafka集群的安装部署，用户可以在页面输入kafka需要安装到的主机信息，kafka集群的配置信息，然后把请求发给后台的安装服务，安装服务通过脚本的形式把安装包推送到主机中并实现kafka集群的安装，包括其依赖的java环境，zookeeper集群，kafka-manager等。实现了kafka集群可视化的一键安装，整个安装过程对用户不见可见。用户安装完之后提供给用户一个该集群对应的kafka-manager的页面入口地址，用户可以通过kafka-manager的页面来完成对kafka集群的管理。
通过一个web形式的可视化安装部署服务，提供给了用户可视化配置kafka集群参数，zookeeper集群参数的入口，并且服务自身提供了kafka，zookeper，jdk，kafka-manager的安装包，使用者不用花费时间和精力去准备这些安装包。使用者准备好主机之后就可以通过Web页面进行配置安装kafka集群了。安装完kafka集群之后该集群会被一个kafka-manager工具纳管，实现了对kafka集群的可视化管理。
总体来说本发明能实现对kafka的可视化一键安装和安装完集群之后自动通过kafka-manager工具纳管kafka集群。
本发明的一种可视化部署并管理kafka集群的方法能够通过可视化手段一键部署并管理kafka集群，整个安装过程对用户不可见，不需要用户自己准备底层安装包，并且可以选择集群管理方式。
上述具体实施方式仅仅对本发明的优选实施方式进行描述，而并非对本发明的保护范围进行限定。在不脱离本发明设计构思和精神范畴的前提下，本领域的普通技术人员根据本发明所提供的文字描述、附图对本发明的技术方案所作出的各种变形、替代和改进，均应属于本发明的保护范畴。本发明的保护范围由权利要求确定。
Claims (7)
1.一种可视化部署并管理kafka集群的方法，其特征在于，包括如下步骤：
S1：用户在可视化服务中输入kafka需要安装到的主机信息、kafka集群的配置信息以及zookeeper配置信息，安装请求发送到后台的安装服务；
S2：安装服务通过脚本形式将安装包推送到主机中，进行kafka集群的安装，用户在可视化服务中进行是否安装kafka-manager的选择；
S301：用户选择安装kafka-manager，安装服务在主机资源中自动安装一个新的kafka-manager的实例并完成对该kafka集群的纳管；
S302：用户未选择安装kafka-manager，安装服务提供一个该集群对应的kafka-manager的web页面入口地址，用户通过kafka-manager页面来完成对该kafka集群的管理。
2.如权利要求1所述的一种可视化部署并管理kafka集群的方法，其特征在于，在步骤S2中，所述kafka集群的安装包括如下步骤：
S201：安装java，提供kafka服务运行所需的java环境；
S202：安装zookeeper，zookeeper集群进行broker的管理及负载均衡；
S203：安装kafka。
3.如权利要求1所述的一种可视化部署并管理kafka集群的方法，其特征在于，所述安装包包括jdk安装包、zookeeper安装包、kafka安装包和kafka-manager安装包。
4.如权利要求1所述的一种可视化部署并管理kafka集群的方法，其特征在于，在步骤S1中，所述可视化服务中的主机信息包括ip、hostname、用户名和密码。
5.如权利要求1所述的一种可视化部署并管理kafka集群的方法，其特征在于，在步骤S1中，所述可视化服务中的kafka配置信息包括kafka的server.properties中的参数名和参数值，所述可视化服务包括kafka配置信息模板，用户输入的所述kafka配置参数能够保存为新的kafka配置信息模板。
6.如权利要求2所述的一种可视化部署并管理kafka集群的方法，其特征在于，在步骤S203中，通过脚本实现按用户配置的信息修改kafka配置文件。
7.如权利要求1所述的一种可视化部署并管理kafka集群的方法，其特征在于，在步骤S1中，所述可视化服务包括zookeeper配置信息模板，用户输入的所述zookeeper配置参数能够保存为新的zookeeper配置信息模板。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911219115.9A CN111130851A (zh) | 2019-12-03 | 2019-12-03 | 一种可视化部署并管理kafka集群的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911219115.9A CN111130851A (zh) | 2019-12-03 | 2019-12-03 | 一种可视化部署并管理kafka集群的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111130851A true CN111130851A (zh) | 2020-05-08 |
Family
ID=70497239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911219115.9A Pending CN111130851A (zh) | 2019-12-03 | 2019-12-03 | 一种可视化部署并管理kafka集群的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111130851A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112383613A (zh) * | 2020-11-11 | 2021-02-19 | 杭州飞致云信息科技有限公司 | 容器集群系统的管理方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130204948A1 (en) * | 2012-02-07 | 2013-08-08 | Cloudera, Inc. | Centralized configuration and monitoring of a distributed computing cluster |
| CN105100271A (zh) * | 2015-08-31 | 2015-11-25 | 南京势行软件开发有限公司 | 一种分布式弹性可扩展信息发布系统及其控制方法 |
| CN108073402A (zh) * | 2017-11-30 | 2018-05-25 | 山东鲁能软件技术有限公司 | 基于Linux系统的kafka集群自动部署方法和装置 |
| CN110134564A (zh) * | 2019-03-29 | 2019-08-16 | 山东浪潮云信息技术有限公司 | 一种可视化的Kafka集群监控方法 |
-
2019
- 2019-12-03 CN CN201911219115.9A patent/CN111130851A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130204948A1 (en) * | 2012-02-07 | 2013-08-08 | Cloudera, Inc. | Centralized configuration and monitoring of a distributed computing cluster |
| CN105100271A (zh) * | 2015-08-31 | 2015-11-25 | 南京势行软件开发有限公司 | 一种分布式弹性可扩展信息发布系统及其控制方法 |
| CN108073402A (zh) * | 2017-11-30 | 2018-05-25 | 山东鲁能软件技术有限公司 | 基于Linux系统的kafka集群自动部署方法和装置 |
| CN110134564A (zh) * | 2019-03-29 | 2019-08-16 | 山东浪潮云信息技术有限公司 | 一种可视化的Kafka集群监控方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112383613A (zh) * | 2020-11-11 | 2021-02-19 | 杭州飞致云信息科技有限公司 | 容器集群系统的管理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108924217B (zh) | 一种分布式云系统自动化部署方法 | |
| CN108536519B (zh) | 自动搭建Kubernetes主节点的方法及终端设备 | |
| CN113742031B (zh) | 节点状态信息获取方法、装置、电子设备及可读存储介质 | |
| CN102437938B (zh) | 面向大规模网络监测的虚拟化部署系统和方法 | |
| CN101325509B (zh) | 安装软件组件的方法、系统及装置 | |
| CN102427481A (zh) | 用于对云计算服务进行管理的系统及云计算管理方法 | |
| CN102752137B (zh) | 主动设置虚拟机网络参数的装置和方法 | |
| CN105553741A (zh) | 一种基于云计算的应用系统自动化部署方法 | |
| CN110752947A (zh) | 一种k8s集群部署方法及装置，一种部署平台 | |
| CN102882908A (zh) | 云计算管理系统及云计算管理方法 | |
| CN105786564A (zh) | 一种Oracle的自动化定制安装部署方法 | |
| US20120005325A1 (en) | Systems and methods for automated processing of devices | |
| WO2013104217A1 (zh) | 基于云基础设施的针对应用系统维护部署的管理系统和方法 | |
| CN108139964B (zh) | 云服务配置方法、装置、存储介质及云服务系统 | |
| CN111245634B (zh) | 一种虚拟化管理方法及装置 | |
| CN115220874B (zh) | 一种Kubernetes集群部署方法、装置、设备及存储介质 | |
| CN109697070B (zh) | 一种基于Ambari的集群管理方法、装置和介质 | |
| CN115174551B (zh) | 程序部署方法及装置、存储介质及电子设备 | |
| CN104239114A (zh) | 应用程序的编译处理方法及装置 | |
| CN105573905A (zh) | 软件兼容性测试方法和系统 | |
| CN106301855B (zh) | 一种网络管理系统部署方法、装置和网络管理系统 | |
| CN111130851A (zh) | 一种可视化部署并管理kafka集群的方法 | |
| US11425172B2 (en) | Application security for service provider networks | |
| CN112256289A (zh) | 一种自动部署方法、装置及设备 | |
| US9075968B2 (en) | Dynamic creation of a temporary administrative user |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200508 |