CN110134564A - 一种可视化的Kafka集群监控方法 - Google Patents

一种可视化的Kafka集群监控方法 Download PDF

Info

Publication number
CN110134564A
CN110134564A CN201910249837.2A CN201910249837A CN110134564A CN 110134564 A CN110134564 A CN 110134564A CN 201910249837 A CN201910249837 A CN 201910249837A CN 110134564 A CN110134564 A CN 110134564A
Authority
CN
China
Prior art keywords
kafka
cluster
cluster monitoring
visual
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910249837.2A
Other languages
English (en)
Other versions
CN110134564B (zh
Inventor
赵冬阳
赵明超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Cloud Information Technology Co Ltd
Original Assignee
Shandong Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Cloud Information Technology Co Ltd filed Critical Shandong Inspur Cloud Information Technology Co Ltd
Priority to CN201910249837.2A priority Critical patent/CN110134564B/zh
Publication of CN110134564A publication Critical patent/CN110134564A/zh
Application granted granted Critical
Publication of CN110134564B publication Critical patent/CN110134564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications

Abstract

本发明特别涉及一种可视化的Kafka集群监控方法。该可视化的Kafka集群监控方法，采用spring boot和Angular的前后端分离的模式，前端使用Angular框架构建一个可视化集群监控系统，后端调用API接口获取Kafka集群数据信息，通过前端可视化界面的表格和曲线图展示出来；通过修改Ambari源码，将构建的可视化集群监控系统作为一个组件集成部署到Ambari大数据平台中，使用户更方便高效可视化的对Kafka集群进行监控。该可视化的Kafka集群监控方法，在前端构建的可视化集群监控系统，并将其集成部署到Ambari大数据平台中，用户可以方便的在大数据平台中打开该可视化的监控系统对Kafka集群进行监控，不需要单独启动监控工具，增强了Kafka集群的功能性和对Kafka集群的监控能力。

Description

一种可视化的Kafka集群监控方法
技术领域
本发明涉及大数据开发技术领域，特别涉及一种可视化的Kafka集群监控方法。
背景技术
大数据时代，各行各业时时刻刻都在产生海量多样的数据，大数据已经成为行业发展新的推动力。
Kafka集群是一个分布式的、可分区的、可复制的消息系统，能够提供普通消息系统的功能。通俗地讲，Kafka是一个日志集群，各种各样的服务器将自身的日志发送到集群中进行统一汇总和存储，然后其它机器从集群中拉取消息进行分析处理，如ELT、数据挖掘等。
Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker。同时，Kafka集群将消息以topic(主题)为单位进行归纳。在大数据的处理过程中，消费 Kafka集群中的消息时，数据的变动是用户所关心的。当业务环境不复杂的前提下，用户可以使用Kafka集群提供的命令工具，配合Zookeeper客户端工具，很方便的完成工作。但是随着业务场景的复杂化，Group(类)和Topic(主题)的数量的增加，此时用户使用Kafka提供的命令工具，已预感到力不从心。这时候用户需要观察Kafka集群中消息的消费应用的详情，因而对Kafka集群的监控就变得尤为重要。
KafkaMonitor是一种Kafka的可视化管理与监控工具，为Kafka的稳定运维提供高效、可靠、稳定的保障。
KafkaManager是为了让开发者和服务工程师能够更加简单地维护Kafka集群，Yahoo 基于Web构建的一个开源管理工具。通过KafkaManager，用户能够更容易地发现集群中哪些主题或者分区分布不均匀，同时能够管理多个集群，能够更容易地检查集群的状态，能够创建主题，执行首选的副本选择，能够基于集群当前的状态生成分区分配，并基于生成的分配执行分区的重分配，此外，KafkaManager还是一个非常好的可以快速查看集群状态的工具。
Kerberos是一种网络认证协议，其设计目标是通过密钥系统为客户机/服务器应用程序提供强大的认证服务。该认证过程的实现不依赖于主机操作系统的认证，无需基于主机地址的信任，不要求网络上所有主机的物理安全，并假定网络上传送的数据包可以被任意地读取、修改和插入数据。
在早期，使用Kafka Monitor和Kafka Manager等监控组件监控Kafka集群。但是随着业务的快速发展，在大数据平台开启Kerberos(网络认证协议)组件后，以及互联网公司特有的一些需求，现有的开源的监控系统在功能、性能、扩展性和DEVS的使用效率方面，已经无法满足了。
目前对于Kafka集群监控技术中，监控工具KafkaWeb Console在使用一段时间后，会与Kafka生产者、消费者、Zookeeper建立大量连接，从而导致网络堵塞，因此不建议在生产环境中使用。雅虎Yahoo开源的KafkaManager偏向于Kafka集群的管理，若操作不当，容易导致集群出现故障，且没有记录Offset和Lag等信息。监控工具Kafka Offset Monitor在不启用Kerberos安全的环境中可用来进行监控，但是在启用Kerberos安全的环境下，以上三个监控工具都不能对Kafka集群进行有效监控。并且以上几种监控工具都未集成到Ambari的大数据平台中，即当用户想要监控某个Kafka集群的数据的时候，需要再单独启动一个监控工具的进程，这对于用户来说是很不方便的。
基于上述情况，本发明提出了一种可视化的Kafka集群监控方法，将该监控系统集成部署到Ambari大数据平台中，实现对于Kafka集群的有效信息的监控。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的可视化的Kafka集群监控方法。
本发明是通过如下技术方案实现的：
一种可视化的Kafka集群监控方法，其特征在于，包括以下步骤：
(1)采用springboot和Angular的前后端分离的模式，前端使用Angular框架构建一个可视化集群监控系统，后端调用API接口获取Kafka集群数据信息；
(2)前端构建的可视化集群监控系统将获取到的数据信息通过前端可视化界面的表格和曲线图展示出来；
(3)通过修改Ambari源码，将构建的可视化集群监控系统作为一个组件集成部署到Ambari大数据平台中，使用户更方便高效可视化的对Kafka集群进行监控。
所述步骤(1)中，将后端调用API接口获取的Kafka集群数据信息保存到数据库中，以备前端可视化集群监控系统调用。
所述步骤(1)中，后端实现通过调用kafka官方提供的API接口，获取Kafka集群中的Brokers信息，Topics信息，ZooKeepers信息和Consumers信息。
所述步骤(3)中，修改Ambari源码包括修改metainfo.xml文件，添加quicklinks.json 文件和kafka_webui.py文件。
修改Ambari源码时，首先在metainfo.xml文件中增加Kafka Web UI作为一个从动slave组件，即该从动slave组件是伴随kafka同时安装的。
所述quicklinks.json文件作为前端构建的可视化集群监控系统的一个快速链接，在 Ambari大数据平台界面kafka处选择快速链接登录即可进入可视化集群监控系统。
所述kafka_webui.py文件用于编写前端构建的可视化集群监控系统的安装，启动，停止和状态显示的命令和配置。
所述kafka_webui.py文件添加在路径KAFKA/0.8.1/package/scripts/下。
本发明的有益效果是：该可视化的Kafka集群监控方法，在前端构建的可视化集群监控系统，并将其集成部署到Ambari大数据平台中，用户可以方便的在大数据平台中打开该可视化的监控系统对Kafka集群进行监控，不需要单独启动监控工具，增强了Kafka 集群的功能性和对Kafka集群的监控能力。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
该可视化的Kafka集群监控方法，包括以下步骤：
(1)采用springboot和Angular的前后端分离的模式，前端使用Angular框架构建一个可视化集群监控系统，后端调用API接口获取Kafka集群数据信息；
(2)前端构建的可视化集群监控系统将获取到的数据信息通过前端可视化界面的表格和曲线图展示出来；
(3)通过修改Ambari源码，将构建的可视化集群监控系统作为一个组件集成部署到Ambari大数据平台中，使用户更方便高效可视化的对Kafka集群进行监控。
所述步骤(1)中，将后端调用API接口获取的Kafka集群数据信息保存到数据库中，以备前端可视化集群监控系统调用。
所述步骤(1)中，后端实现通过调用kafka官方提供的API接口，获取Kafka集群中的Brokers信息，Topics主题信息，Partitions分区信息，ZooKeepers信息和Consumers 消费信息。
所述ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
所述Consumers消费信息包括消息的生产速率和消费速率信息。
所述步骤(3)中，修改Ambari源码包括修改metainfo.xml文件，添加quicklinks.json 文件和kafka_webui.py文件。
修改Ambari源码时，首先在metainfo.xml文件中增加Kafka Web UI作为一个从动slave组件，即该从动slave组件是伴随kafka同时安装的。
所述quicklinks.json文件作为前端构建的可视化集群监控系统的一个快速链接，在 Ambari大数据平台界面kafka处选择快速链接登录即可进入可视化集群监控系统。
所述kafka_webui.py文件用于编写前端构建的可视化集群监控系统的安装，启动，停止和状态显示的命令和配置。
所述kafka_webui.py文件添加在路径KAFKA/0.8.1/package/scripts/下。
Kafka集群作为一个“消息发布-订阅”系统，为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。为Kafka组件提供一个监控系统即可以更方便的对平台数据流转进行监控。
与现有技术相比，该可视化的Kafka集群监控方法，具有以下有益效果：
(1)在前端构建的可视化集群监控系统，并将其集成部署到Ambari大数据平台中，用户可以方便的在Ambari大数据平台中打开该可视化的监控系统对Kafka集群进行监控，增强了Kafka集群的功能性和易用性；
(2)后端获取到的Kafka集群信息通过图表的形式展示出来，方便业务人员在第一时间了解Kafka集群的相关信息以及数据的生产和消费情况；
(3)Ambari大数据平台内部集成可视化集群监控系统，提高了Ambari大数据平台的多元性；
(4)用户想要监控某个Kafka集群的数据时，不需要单独启动监控工具，提高了对Kafka集群的监控能力。

Claims (8)

1.一种可视化的Kafka集群监控方法，其特征在于，包括以下步骤：
(1)采用spring boot和Angular的前后端分离的模式，前端使用Angular框架构建一个可视化集群监控系统，后端调用API接口获取Kafka集群数据信息；
(2)前端构建的可视化集群监控系统将获取到的数据信息通过前端可视化界面的表格和曲线图展示出来；
(3)通过修改Ambari源码，将构建的可视化集群监控系统作为一个组件集成部署到Ambari大数据平台中，使用户更方便高效可视化的对Kafka集群进行监控。
2.根据权利要求1所述的可视化的Kafka集群监控方法，其特征在于：所述步骤(1)中，将后端调用API接口获取的Kafka集群数据信息保存到数据库中，以备前端可视化集群监控系统调用。
3.根据权利要求1或2所述的可视化的Kafka集群监控方法，其特征在于：所述步骤(1)中，后端实现通过调用kafka官方提供的API接口，获取Kafka集群中的Brokers信息，Topics信息，ZooKeepers信息和Consumers信息。
4.根据权利要求1所述的可视化的Kafka集群监控方法，其特征在于：所述步骤(3)中，修改Ambari源码包括修改metainfo.xml文件，添加quicklinks.json文件和kafka_webui.py文件。
5.根据权利要求4所述的可视化的Kafka集群监控方法，其特征在于：修改Ambari源码时，首先在metainfo.xml文件中增加Kafka Web UI作为一个从动slave组件，即该从动slave组件是伴随kafka同时安装的。
6.根据权利要求4所述的可视化的Kafka集群监控方法，其特征在于：所述quicklinks.json文件作为前端构建的可视化集群监控系统的一个快速链接，在Ambari大数据平台界面kafka处选择快速链接登录即可进入可视化集群监控系统。
7.根据权利要求4所述的可视化的Kafka集群监控方法，其特征在于：所述kafka_webui.py文件用于编写前端构建的可视化集群监控系统的安装，启动，停止和状态显示的命令和配置。
8.根据权利要求7所述的可视化的Kafka集群监控方法，其特征在于：所述kafka_webui.py文件添加在路径KAFKA/0.8.1/package/scripts/下。
CN201910249837.2A 2019-03-29 2019-03-29 一种可视化的Kafka集群监控方法 Active CN110134564B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910249837.2A CN110134564B (zh) 2019-03-29 2019-03-29 一种可视化的Kafka集群监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910249837.2A CN110134564B (zh) 2019-03-29 2019-03-29 一种可视化的Kafka集群监控方法

Publications (2)

Publication Number Publication Date
CN110134564A true CN110134564A (zh) 2019-08-16
CN110134564B CN110134564B (zh) 2023-10-27

Family

ID=67568634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910249837.2A Active CN110134564B (zh) 2019-03-29 2019-03-29 一种可视化的Kafka集群监控方法

Country Status (1)

Country Link
CN (1) CN110134564B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493061A (zh) * 2019-08-30 2019-11-22 浪潮软件股份有限公司 一种ntp集群的管理方法及系统
CN111130851A (zh) * 2019-12-03 2020-05-08 紫光云(南京)数字技术有限公司 一种可视化部署并管理kafka集群的方法
CN111158672A (zh) * 2019-12-31 2020-05-15 浪潮云信息技术有限公司 一种集成化交互式Elastic MapReduce作业管理方法
CN111381921A (zh) * 2020-03-04 2020-07-07 北京东方金信科技有限公司 一种基于Ambari的前后端分离系统和方法
CN112269661A (zh) * 2020-10-30 2021-01-26 上海哔哩哔哩科技有限公司 基于Kafka集群的分区迁移方法和装置
CN112667337A (zh) * 2020-12-28 2021-04-16 紫光云技术有限公司 一种云管理平台上修改Kafka集群参数的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108037973A (zh) * 2017-12-20 2018-05-15 苏州优圣美智能系统有限公司 一种与数据处理工具交互的数据流建模和处理系统
KR20180100893A (ko) * 2017-03-02 2018-09-12 고려대학교 산학협력단 아파치 카프카를 활용한 대규모 영상 실시간 처리 시스템 및 방법
CN109345823A (zh) * 2018-09-19 2019-02-15 连云港杰瑞电子有限公司 一种基于大数据的智能交通数据分析系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180100893A (ko) * 2017-03-02 2018-09-12 고려대학교 산학협력단 아파치 카프카를 활용한 대규모 영상 실시간 처리 시스템 및 방법
CN108037973A (zh) * 2017-12-20 2018-05-15 苏州优圣美智能系统有限公司 一种与数据处理工具交互的数据流建模和处理系统
CN109345823A (zh) * 2018-09-19 2019-02-15 连云港杰瑞电子有限公司 一种基于大数据的智能交通数据分析系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493061A (zh) * 2019-08-30 2019-11-22 浪潮软件股份有限公司 一种ntp集群的管理方法及系统
CN111130851A (zh) * 2019-12-03 2020-05-08 紫光云(南京)数字技术有限公司 一种可视化部署并管理kafka集群的方法
CN111158672A (zh) * 2019-12-31 2020-05-15 浪潮云信息技术有限公司 一种集成化交互式Elastic MapReduce作业管理方法
CN111158672B (zh) * 2019-12-31 2023-04-21 浪潮云信息技术股份公司 一种集成化交互式Elastic MapReduce作业管理方法
CN111381921A (zh) * 2020-03-04 2020-07-07 北京东方金信科技有限公司 一种基于Ambari的前后端分离系统和方法
CN112269661A (zh) * 2020-10-30 2021-01-26 上海哔哩哔哩科技有限公司 基于Kafka集群的分区迁移方法和装置
CN112667337A (zh) * 2020-12-28 2021-04-16 紫光云技术有限公司 一种云管理平台上修改Kafka集群参数的方法

Also Published As

Publication number Publication date
CN110134564B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN110134564A (zh) 一种可视化的Kafka集群监控方法
US10601672B2 (en) Inter-tenant workload performance correlation and recommendation
CN109495308B (zh) 一种基于管理信息系统的自动化运维系统
CN105138229B (zh) 一种信息处理方法及电子设备
US8606897B2 (en) Systems and methods for exporting usage history data as input to a management platform of a target cloud-based network
Abbadi et al. Challenges for provenance in cloud computing
US8442958B2 (en) Server change management
US11275617B2 (en) Self-managed intelligent elastic cloud stack
TWI678909B (zh) 安全認證方法、裝置及系統
KR101408037B1 (ko) 클라우드 시스템에서의 가상 머신 통합 모니터링 장치 및 방법
CN105022659B (zh) 虚拟机状态控制方法与系统
JP2009519523A (ja) 仮想データ・センタ複合体内のターゲット仮想オペレーティング・システムのパフォーマンスをモニタするための方法、システム、およびコンピュータ・プログラム
CN106254121A (zh) 一种自动化部署与管理大数据集群的方法
CN105404580B (zh) 分布式压力测试系统和方法
US9160653B2 (en) Dynamic redirection of network traffic within a system under test
CN115118705B (zh) 一种基于微服务的工业边缘管控平台
KR20110083084A (ko) 가상화를 이용한 서버 운영 장치 및 방법
CN110428217A (zh) 一种erp系统
CN110781009A (zh) 浏览器页面实时通信的方法及装置
WO2017133020A1 (zh) 一种nfv系统中的策略传输方法和装置
WO2015180293A1 (zh) 云桌面的监控方法及装置
CN111905361B (zh) 游戏服务系统、游戏处理方法、存储介质及设备
US20180335894A1 (en) Messaging and orchestrating platform in a computer network environment
CN113204459A (zh) U盾测试方法、装置、设备和介质
CN109379383B (zh) 一种虚拟私有网络vpn客户端及实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 250100 building S02, Inspur Science Park, No. 1036, Inspur Road, high tech Zone, Jinan, Shandong

Applicant after: Inspur cloud Information Technology Co.,Ltd.

Address before: 250100 building S02, Inspur Science Park, No. 1036, Inspur Road, high tech Zone, Jinan, Shandong

Applicant before: Tidal Cloud Information Technology Co.,Ltd.

Address after: 250100 building S02, Inspur Science Park, No. 1036, Inspur Road, high tech Zone, Jinan, Shandong

Applicant after: Tidal Cloud Information Technology Co.,Ltd.

Address before: 250100 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong.

Applicant before: SHANDONG INSPUR CLOUD INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant