CN111130851A - 一种可视化部署并管理kafka集群的方法 - Google Patents
一种可视化部署并管理kafka集群的方法 Download PDFInfo
- Publication number
- CN111130851A CN111130851A CN201911219115.9A CN201911219115A CN111130851A CN 111130851 A CN111130851 A CN 111130851A CN 201911219115 A CN201911219115 A CN 201911219115A CN 111130851 A CN111130851 A CN 111130851A
- Authority
- CN
- China
- Prior art keywords
- kafka
- cluster
- manager
- installation
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000009434 installation Methods 0.000 claims abstract description 58
- 238000012800 visualization Methods 0.000 claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 239000002071 nanotube Substances 0.000 claims abstract description 3
- 238000007726 management method Methods 0.000 description 9
- 238000011900 installation process Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012358 sourcing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0876—Aspects of the degree of configuration automation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
Abstract
本发明的一种可视化部署并管理kafka集群的方法，包括如下步骤：S1：用户在可视化服务中输入kafka需要安装到的主机信息、kafka集群的配置信息以及zookeeper配置信息，安装请求发送到后台的安装服务；S2：安装服务通过脚本形式将安装包推送到主机中，进行kafka集群的安装，用户在可视化服务中进行是否安装kafka‑manager的选择；S301：用户选择安装kafka‑manager，安装服务在主机资源中自动安装一个新的kafka‑manager的实例并完成对该kafka集群的纳管；S302：用户未选择安装kafka‑manager，安装服务提供一个该集群对应的kafka‑manager的web页面入口地址，用户通过kafka‑manager页面来完成对该kafka集群的管理。该方法能够通过可视化手段一键部署并管理kafka集群，并且可以选择集群管理方式。
Description
技术领域
本发明涉及一种可视化部署并管理kafka集群的方法，属于可视化部署方法技术领域。
背景技术
Kafka是LinkedIn公司开发并开源的消息中间体，广泛应用在分布式系统中，用于接点间的通信。在实际运用中，一般会将多个kafka代理者以集群的方式运行形成kafka集群。kafka集群的安装部署过程是一个耗时且繁琐的过程，没有可视化的安装页面，大多数情况下只能通过命令行工具完成对kafka集群的部署。成功安装部署kafka集群后，kafka自身并没有提供可视化管理kafka集群的工具。
现有情况下kafka集群可以通过一种第三方开源工具kafka-manager进行管理，kafka集群的安装部署和kafka-manager的安装部署是分开来完成的，且都是通过命令行进行操作，比较繁琐和耗时。虽然kafka-manager是一个第三方可以实现可视化管理kafka的工具，但是其部署也是需要在命令行进行部署的，部署过程同样费时繁琐。
发明内容
为克服现有技术的不足，本发明提出一种可视化部署并管理kafka集群的方法，其能够通过可视化手段一键部署并管理kafka集群，整个安装过程对用户不可见，不需要用户自己准备底层安装包，并且可以选择集群管理方式。
为实现上述目的，本发明的一种可视化部署并管理kafka集群的方法，包括如下步骤：
S1：用户在可视化服务中输入kafka需要安装到的主机信息、kafka集群的配置信息以及zookeeper配置信息，安装请求发送到后台的安装服务；
S2：安装服务通过脚本形式将安装包推送到主机中，进行kafka集群的安装，用户在可视化服务中进行是否安装kafka-manager的选择；
S301：用户选择安装kafka-manager，安装服务在主机资源中自动安装一个新的kafka-manager的实例并完成对该kafka集群的纳管；
S302：用户未选择安装kafka-manager，安装服务提供一个该集群对应的kafka-manager的web页面入口地址，用户通过kafka-manager页面来完成对该kafka集群的管理。
进一步地，在步骤S2中，kafka集群的安装包括如下步骤：
S201：安装java，提供kafka服务运行所需的java环境；
S202：安装zookeeper，zookeeper集群进行broker的管理及负载均衡；
S203：安装kafka。
进一步地，安装包包括jdk安装包、zookeeper安装包、kafka安装包和kafka-manager安装包。
进一步地，在步骤S1中，可视化服务中的主机信息包括ip、hostname、用户名和密码。
进一步地，在步骤S1中，可视化服务中的kafka配置信息包括kafka的server.properties中的参数名和参数值，可视化服务包括kafka配置信息模板，用户输入的kafka配置参数能够保存为新的kafka配置信息模板。
进一步地，在步骤S203中，通过脚本实现按用户配置的信息修改kafka配置文件。
进一步地，在步骤S1中，可视化服务包括zookeeper配置信息模板，用户输入的zookeeper配置参数能够保存为新的zookeeper配置信息模板。
本发明的一种可视化部署并管理kafka集群的方法能够通过可视化手段一键部署并管理kafka集群，整个安装过程对用户不可见，不需要用户自己准备底层安装包，并且可以选择集群管理方式。
附图说明
下面结合附图对本发明作进一步描写和阐述。
图1是本发明首选实施方式的一种可视化部署并管理kafka集群的方法的系统图。
具体实施方式
下面将结合附图、通过对本发明的优选实施方式的描述，更加清楚、完整地阐述本发明的技术方案。
如图1所示，本发明首选实施方式的一种可视化部署并管理kafka集群的方法，包括如下步骤：
S1：用户在可视化服务中输入kafka需要安装到的主机信息、kafka集群的配置信息以及zookeeper配置信息，安装请求发送到后台的安装服务。
S2：安装服务通过脚本形式将安装包推送到主机中进行kafka集群的安装，安装包包括jdk安装包、zookeeper安装包、kafka安装包和kafka-manager安装包，具体地：
S201：安装java，提供kafka服务运行所需的java环境；
S202：安装zookeeper，zookeeper集群进行broker的管理及负载均衡；
S203：安装kafka；
安装完成后，用户在可视化服务中进行是否安装kafka-manager的选择。
S301：用户选择安装kafka-manager，安装服务在主机资源中自动安装一个新的kafka-manager的实例并完成对该kafka集群的纳管。
S302：用户未选择安装kafka-manager，安装服务提供一个该集群对应的kafka-manager的web页面入口地址，用户通过kafka-manager页面来完成对该kafka集群的管理。
其中，在步骤S1中，可视化服务中的主机信息包括ip、hostname、用户名和密码。可视化服务中的kafka配置信息包括kafka的server.properties中的参数名和参数值，可视化服务包括kafka配置信息模板，用户输入的kafka配置参数能够保存为新的模板。可视化服务包括zookeeper配置信息模板，用户输入的zookeeper配置参数能够保存为新的模板。
具体地，通过一个可视化服务进kafka集群的安装部署，用户可以在页面输入kafka需要安装到的主机信息，kafka集群的配置信息，然后把请求发给后台的安装服务，安装服务通过脚本的形式把安装包推送到主机中并实现kafka集群的安装，包括其依赖的java环境，zookeeper集群，kafka-manager等。实现了kafka集群可视化的一键安装，整个安装过程对用户不见可见。用户安装完之后提供给用户一个该集群对应的kafka-manager的页面入口地址，用户可以通过kafka-manager的页面来完成对kafka集群的管理。
通过一个web形式的可视化安装部署服务，提供给了用户可视化配置kafka集群参数，zookeeper集群参数的入口，并且服务自身提供了kafka，zookeper，jdk，kafka-manager的安装包，使用者不用花费时间和精力去准备这些安装包。使用者准备好主机之后就可以通过Web页面进行配置安装kafka集群了。安装完kafka集群之后该集群会被一个kafka-manager工具纳管，实现了对kafka集群的可视化管理。
总体来说本发明能实现对kafka的可视化一键安装和安装完集群之后自动通过kafka-manager工具纳管kafka集群。
本发明的一种可视化部署并管理kafka集群的方法能够通过可视化手段一键部署并管理kafka集群，整个安装过程对用户不可见，不需要用户自己准备底层安装包，并且可以选择集群管理方式。
上述具体实施方式仅仅对本发明的优选实施方式进行描述，而并非对本发明的保护范围进行限定。在不脱离本发明设计构思和精神范畴的前提下，本领域的普通技术人员根据本发明所提供的文字描述、附图对本发明的技术方案所作出的各种变形、替代和改进，均应属于本发明的保护范畴。本发明的保护范围由权利要求确定。
Claims (7)
1.一种可视化部署并管理kafka集群的方法，其特征在于，包括如下步骤：
S1：用户在可视化服务中输入kafka需要安装到的主机信息、kafka集群的配置信息以及zookeeper配置信息，安装请求发送到后台的安装服务；
S2：安装服务通过脚本形式将安装包推送到主机中，进行kafka集群的安装，用户在可视化服务中进行是否安装kafka-manager的选择；
S301：用户选择安装kafka-manager，安装服务在主机资源中自动安装一个新的kafka-manager的实例并完成对该kafka集群的纳管；
S302：用户未选择安装kafka-manager，安装服务提供一个该集群对应的kafka-manager的web页面入口地址，用户通过kafka-manager页面来完成对该kafka集群的管理。
2.如权利要求1所述的一种可视化部署并管理kafka集群的方法，其特征在于，在步骤S2中，所述kafka集群的安装包括如下步骤：
S201：安装java，提供kafka服务运行所需的java环境；
S202：安装zookeeper，zookeeper集群进行broker的管理及负载均衡；
S203：安装kafka。
3.如权利要求1所述的一种可视化部署并管理kafka集群的方法，其特征在于，所述安装包包括jdk安装包、zookeeper安装包、kafka安装包和kafka-manager安装包。
4.如权利要求1所述的一种可视化部署并管理kafka集群的方法，其特征在于，在步骤S1中，所述可视化服务中的主机信息包括ip、hostname、用户名和密码。
5.如权利要求1所述的一种可视化部署并管理kafka集群的方法，其特征在于，在步骤S1中，所述可视化服务中的kafka配置信息包括kafka的server.properties中的参数名和参数值，所述可视化服务包括kafka配置信息模板，用户输入的所述kafka配置参数能够保存为新的kafka配置信息模板。
6.如权利要求2所述的一种可视化部署并管理kafka集群的方法，其特征在于，在步骤S203中，通过脚本实现按用户配置的信息修改kafka配置文件。
7.如权利要求1所述的一种可视化部署并管理kafka集群的方法，其特征在于，在步骤S1中，所述可视化服务包括zookeeper配置信息模板，用户输入的所述zookeeper配置参数能够保存为新的zookeeper配置信息模板。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911219115.9A CN111130851A (zh) | 2019-12-03 | 2019-12-03 | 一种可视化部署并管理kafka集群的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911219115.9A CN111130851A (zh) | 2019-12-03 | 2019-12-03 | 一种可视化部署并管理kafka集群的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111130851A true CN111130851A (zh) | 2020-05-08 |
Family
ID=70497239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911219115.9A Pending CN111130851A (zh) | 2019-12-03 | 2019-12-03 | 一种可视化部署并管理kafka集群的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111130851A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112383613A (zh) * | 2020-11-11 | 2021-02-19 | 杭州飞致云信息科技有限公司 | 容器集群系统的管理方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130204948A1 (en) * | 2012-02-07 | 2013-08-08 | Cloudera, Inc. | Centralized configuration and monitoring of a distributed computing cluster |
| CN105100271A (zh) * | 2015-08-31 | 2015-11-25 | 南京势行软件开发有限公司 | 一种分布式弹性可扩展信息发布系统及其控制方法 |
| CN108073402A (zh) * | 2017-11-30 | 2018-05-25 | 山东鲁能软件技术有限公司 | 基于Linux系统的kafka集群自动部署方法和装置 |
| CN110134564A (zh) * | 2019-03-29 | 2019-08-16 | 山东浪潮云信息技术有限公司 | 一种可视化的Kafka集群监控方法 |
-
2019
- 2019-12-03 CN CN201911219115.9A patent/CN111130851A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130204948A1 (en) * | 2012-02-07 | 2013-08-08 | Cloudera, Inc. | Centralized configuration and monitoring of a distributed computing cluster |
| CN105100271A (zh) * | 2015-08-31 | 2015-11-25 | 南京势行软件开发有限公司 | 一种分布式弹性可扩展信息发布系统及其控制方法 |
| CN108073402A (zh) * | 2017-11-30 | 2018-05-25 | 山东鲁能软件技术有限公司 | 基于Linux系统的kafka集群自动部署方法和装置 |
| CN110134564A (zh) * | 2019-03-29 | 2019-08-16 | 山东浪潮云信息技术有限公司 | 一种可视化的Kafka集群监控方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112383613A (zh) * | 2020-11-11 | 2021-02-19 | 杭州飞致云信息科技有限公司 | 容器集群系统的管理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108924217B (zh) | 一种分布式云系统自动化部署方法 | |
| CN110752947B (zh) | 一种k8s集群部署方法及装置，一种部署平台 | |
| CN108536519B (zh) | 自动搭建Kubernetes主节点的方法及终端设备 | |
| JP5055410B2 (ja) | 装置管理システム及びそのシステムにおける装置管理命令スケジューリング方法 | |
| US10229039B2 (en) | Testing a virtual network function by a virtual network tester | |
| CN102752137B (zh) | 主动设置虚拟机网络参数的装置和方法 | |
| CN113742031B (zh) | 节点状态信息获取方法、装置、电子设备及可读存储介质 | |
| CN105553741A (zh) | 一种基于云计算的应用系统自动化部署方法 | |
| CN102355500B (zh) | 业务推送方法和装置 | |
| CN105786564A (zh) | 一种Oracle的自动化定制安装部署方法 | |
| US20120005325A1 (en) | Systems and methods for automated processing of devices | |
| CN101325509A (zh) | 安装软件组件的方法、系统及装置 | |
| KR101212778B1 (ko) | 클라우드 컴퓨팅 기반 스마트 오피스 시스템 및 이의 운용을 위한 서버 및 운용 방법 | |
| CN108139964B (zh) | 云服务配置方法、装置、存储介质及云服务系统 | |
| US20170300696A1 (en) | Software verification method and apparatus | |
| CN115220874B (zh) | 一种Kubernetes集群部署方法、装置、设备及存储介质 | |
| CN109697070B (zh) | 一种基于Ambari的集群管理方法、装置和介质 | |
| CN104239114A (zh) | 应用程序的编译处理方法及装置 | |
| CN111245634A (zh) | 一种虚拟化管理方法及装置 | |
| CN111770174A (zh) | 一种云平台部署方法、装置、设备及可读存储介质 | |
| CN115174551A (zh) | 程序部署方法及装置、存储介质及电子设备 | |
| CN106301855B (zh) | 一种网络管理系统部署方法、装置和网络管理系统 | |
| CN111130851A (zh) | 一种可视化部署并管理kafka集群的方法 | |
| CN108255500B (zh) | 一种基于cobbler的兼容虚拟化架构的操作系统自动安装方法 | |
| CN105573905A (zh) | 软件兼容性测试方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200508 |