CN112433909A - 一种基于kafka的实时监控数据的处理方法 - Google Patents

一种基于kafka的实时监控数据的处理方法 Download PDF

Info

Publication number
CN112433909A
CN112433909A CN202011210830.9A CN202011210830A CN112433909A CN 112433909 A CN112433909 A CN 112433909A CN 202011210830 A CN202011210830 A CN 202011210830A CN 112433909 A CN112433909 A CN 112433909A
Authority
CN
China
Prior art keywords
index data
data
kafka
monitoring
topic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011210830.9A
Other languages
English (en)
Inventor
林志达
衡星辰
曹小明
叶思斯
张华兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Co Ltd
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
China Southern Power Grid Co Ltd
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Southern Power Grid Co Ltd, Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical China Southern Power Grid Co Ltd
Priority to CN202011210830.9A priority Critical patent/CN112433909A/zh
Publication of CN112433909A publication Critical patent/CN112433909A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于kafka的实时监控数据的处理方法，包括：统一监控数据的输入接口，并根据不同业务从监控设备上采集所需的指标数据；从指标数据中解析出所对应的监控设备的类型；根据监控设备的类型给kafka的topic自定义一个ID号，将指标数据保存到该ID号的kafka的topic中；在确定kafka集群中的ID号的topic的指标数据被消费时，通过数据转换组件将该指标数据转换为预设格式数据，并存储至时间序列数据库中，以进行显示界面展示。通过上述方式，本发明能够提高了监控信息的时效性，更能够根据监控的信息做出对应的响应，还能够满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求，同时也方便处理不同监控对象的指标数据区分。

Description

一种基于kafka的实时监控数据的处理方法
技术领域
本发明涉及互联网技术领域，特别涉及一种基于kafka的实时监控数据的处理方法。
背景技术
现代社会是一个信息高度共享、互联网及移动通信技术飞速发展的时代，各类实时监测、检查与分析设备所采集、产生的数据都有典型的特点：产生频率快，每一个监测点一秒钟内可生产多条数据、严重依赖于采集时间，每一条数据要求对应唯一的时间、测点多信息量大。
随着监控系统的体系扩大，监控点的增多，每个监控点会采集出大量监控信息，也会给监控系统带来信息存储的压力，而传统技术很难满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求，同时也很难去处理不同监控对象的指标数据区分问题。
发明内容
本发明主要解决的技术问题是提供一种基于kafka的实时监控数据的处理方法，能够提高了监控信息的时效性，更能够根据监控的信息做出对应的响应，还能够满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求，同时也方便处理不同监控对象的指标数据区分。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于基于kafka的实时监控数据的处理方法，其特征在于，包括：统一监控数据的输入接口，并根据不同业务从监控设备上采集所需的指标数据；从指标数据中解析出所对应的监控设备的类型；根据监控设备的类型给kafka的topic自定义一个ID号，将指标数据保存到该ID号的kafka的topic中；
在确定kafka集群中的ID号的topic的指标数据被消费时，通过数据转换组件将该指标数据转换为预设格式数据，并存储至时间序列数据库中，以进行显示界面展示。
进一步的，所述根据不同业务从监控设备上采集所需的指标数据的步骤包括：通过下发采集器至指定的监控设备上，并通过采集器采集监控设备中的指标数据。
进一步的，所述根据不同业务从监控设备上采集所需的指标数据的步骤包括：通过所设置的网络端口策略获取第三方所提供的指标数据。
进一步的，该方法还包括：添加数据转换组件，以通过该数据转换组件将该指标数据转换为预设格式数据。
进一步的，所述通过下发采集器至指定的监控设备上，并通过采集器采集监控设备中的指标数据的步骤包括：获取第一监控设备的第一识别码，将第一识别码发送给采集器中，并根据第一识别码将采集器下发至第一监控设备上以进行指标数据的采集；当采集完指标数据之后，将第一识别码从采集器中删除，并获取第二监控设备的第二识别码，且将第二识别码发送给采集器中，根据第二识别码将采集器下发至第二监控设备上以进行指标数据的采集。
进一步的，该方法还包括：把相同类型的设备的指标数据保存至同一ID号的kafka的topic中。
进一步的，所述根据监控设备的类型给kafka的topic自定义一个ID号的步骤包括：根据监控设备的类型为设备分等级及等级号；获取监控设备的识别码以及位置信息；给kafka的topic自定义的ID数据，该ID数据包括topic的唯一ID号、监控设备的识别码、监控设备的等级号和位置信息。
进一步的，所述显示界面包括有多个不同尺寸的显示区域，该方法还包括：把同一ID号的kafka的topic中所保存的指标数据以及topic自定义的ID数据显示在显示界面中的同一显示区域中。
进一步的，该方法还包括：为同一ID号的kafka的topic中所保存的指标数据设置时间序列数据库所对应的特殊查询入口，以使得只能从特殊查询入口查询同一ID号的kafka的topic中所保存的指标数据所对应的设备。
进一步的，该方法还包括：通过查询入口输入查询语句时，如果确定查询语句所对应的设备与特殊查询入口不对应时，关闭该特殊查询入口使得查询语句无法进入时间序列数据库中进行查询，并弹出提示语，且弹出与查询语句所对应的设备对应的查询入口；如果确定查询语句所对应的设备与查询入口对应时，通过该特殊查询入口将查询语句输入时间序列数据库中进行查询。
本发明的有益效果是：区别于现有技术的情况，本发明所公开的基于kafka的实时监控数据的处理方法包括：统一监控数据的输入接口，并根据不同业务从监控设备上采集所需的指标数据；从指标数据中解析出所对应的监控设备的类型；根据监控设备的类型给kafka的topic自定义一个ID号，将指标数据保存到该ID号的kafka的topic中；在确定kafka集群中的ID号的topic的指标数据被消费时，通过数据转换组件将该指标数据转换为预设格式数据，并存储至时间序列数据库中，以进行显示界面展示。通过上述方式，本发明能够提高了监控信息的时效性，更能够根据监控的信息做出对应的响应，还能够满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求，同时也方便处理不同监控对象的指标数据区分。
附图说明
图1是本发明基于kafka的实时监控数据的处理方法的流程示意图。
具体实施方式
下面结合附图和实施方式对本发明进行详细说明。
如图1所示，该kafka的实时监控数据的处理方法包括以下步骤：
步骤S101：统一监控数据的输入接口，并根据不同业务从监控设备上采集所需的指标数据。
应理解，在步骤S101中，统一监控数据的输入接口，方便数据汇总，可统一管理监控数据，能够提高数据的完整性、安全性以及并发控制。
在本实施例中，根据不同业务从监控设备上采集所需的指标数据的步骤包括：通过下发采集器至指定的监控设备上，并通过采集器采集监控设备中的指标数据。
进一步的，该通过下发采集器至指定的监控设备上，并通过采集器采集监控设备中的指标数据的步骤具体包括：
步骤S1011：获取第一监控设备的第一识别码，将第一识别码发送给采集器中，并根据第一识别码将采集器下发至第一监控设备上以进行指标数据的采集。
步骤S1012：当采集完指标数据之后，将第一识别码从采集器中删除，并获取第二监控设备的第二识别码，且将第二识别码发送给采集器中，根据第二识别码将采集器下发至第二监控设备上以进行指标数据的采集。
应理解，步骤S1011和步骤S1012是在一些特殊情况下执行的，如监控设备不是实时采集监控数据的情况下，当采集完指标数据之后，将采集器转移到其他监控设备进行继续采集监控数据，能够节省资源。
进一步的，在其他实施例中，根据不同业务从监控设备上采集所需的指标数据的步骤包括：通过所设置的网络端口策略获取第三方所提供的指标数据。应理解，通过所设置的网络端口策略获取第三方所提供的指标数据之后，对该指标数据进行标记，以通过该标记得知是第三方所提供的指标数据。
步骤S102：从指标数据中解析出所对应的监控设备的类型。
应理解，监控设备的类型有多种，每个类型的监控设备的重要程度不同，因此每个类型的监控设备的等级也不同。
步骤S103：根据监控设备的类型给kafka的topic自定义一个ID号，将指标数据保存到该ID号的kafka的topic中。
应理解，根据监控设备的类型给kafka的topic自定义一个ID号，即每一个topic的ID号是唯一的，方便知道哪些类型的监控设备的指标数据保存在哪个topic中，方便处理不同监控对象的指标数据区分。
步骤S104：在确定kafka集群中的ID号的topic的指标数据被消费时，通过数据转换组件将该指标数据转换为预设格式数据，并存储至时间序列数据库中，以进行显示界面展示。
应理解，通过数据转换组件所转换的预设格式数据，能够直接存储在时间序列数据库中，无需额外操作。
进一步的，该kafka的实时监控数据的处理方法还包括：添加数据转换组件，以通过该数据转换组件将该指标数据转换为预设格式数据。应理解，该数据转换组件为用户自定义编写的程序，能够将指标数据转换为时间序列数据库所需的格式。
进一步的，该kafka的实时监控数据的处理方法还包括：把相同类型的监控设备的指标数据保存至同一ID号的kafka的topic中。应理解，相同类型的监控设备需要采集的指标数据基本上是一样的，因此保存在同一ID号的kafka的topic中，方便管理。
应理解，Kafka是一种高吞吐量的分布式发布订阅消息系统，其开发的主要目标是构建一个用来处理海量日志、用户行为和网站运营统计等的数据处理框架，在结合了数据挖掘、行为分析、运营监控等需求的情况下，因此借助Kafka能够满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求。进一步的，Kafka是通过磁盘数据提供信息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能，而本申请的监控系统有了kafka以上的特性，能够大大提高了监控数据的时效性，更能够根据监控的数据做出对应的响应。
在本实施例中，步骤S103中根据监控设备的类型给kafka的topic自定义一个ID号的步骤包括：
步骤S1031：根据监控设备的类型为监控设备分等级及等级号。应理解，对监控设备进行分等级，一方面方便管理，另一方面能够对一些比较重要的监控设备特别监控。
步骤S1032：获取监控设备的识别码以及位置信息。应理解，获取识别码能够知道是哪个监控设备，获取位置信息能够知道监控设备的具体位置。
步骤S1033：给kafka的topic自定义的ID数据，该ID数据包括topic的唯一ID号、监控设备的识别码、监控设备的等级号和位置信息。
应理解，可以通过唯一ID号确定监控设备的指标数据保存在哪个topic中，同时还可以知道监控设备的相关信息，如监控设备的识别码、监控设备的等级号以及监控设备的具体位置，其中从位置信息中可以知道监控设备的具体位置，如经纬度值。
在本实施例中，显示界面包括有多个不同尺寸的显示区域，进一步的，该kafka的实时监控数据的处理方法还包括：把同一ID号的kafka的topic中所保存的指标数据以及topic自定义的ID数据显示在显示界面中的同一显示区域中。
应理解，把同一ID号的kafka的topic中所保存的指标数据以及topic自定义的ID数据显示在显示界面中的同一显示区域中，能够方便查看及监控。
进一步的，该kafka的实时监控数据的处理方法还包括：为同一ID号的kafka的topic中所保存的指标数据设置时间序列数据库所对应的特殊查询入口，以使得只能从特殊查询入口查询同一ID号的kafka的topic中所保存的指标数据所对应的监控设备。也就是说，每一个时间序列数据库的查询入口都对应有监控设备的，即监控设备和查询入口是一一对应的，不是所有监控设备都能从时间序列数据库的查询入口查询到的。
进一步的，该kafka的实时监控数据的处理方法还包括：
步骤B1：通过查询入口输入查询语句时，如果确定查询语句所对应的监控设备与特殊查询入口不对应时，关闭该特殊查询入口使得查询语句无法进入时间序列数据库中进行查询，并弹出提示语，且弹出与查询语句所对应的监控设备对应的查询入口；
步骤B2：如果确定查询语句所对应的监控设备与查询入口对应时，通过该特殊查询入口将查询语句输入时间序列数据库中进行查询。
应理解，步骤B1和步骤B2为设置每一时间序列数据库的查询入口的开启及关闭条件的具体操作。
进一步的，该kafka的实时监控数据的处理方法还包括：
步骤B3：设置不同类型的监控设备在时间序列数据库查询的信息量的阈值。也就是说，所查询的信息量也是限制的，这样能够有效防止劣性查询。
步骤B4：设置不同类型的监控设备在时间序列数据库查询的次数阈值及查询时间段。也就是说，查询的次数及时间段也是有要求的，这样能够有效防止劣性查询。
进一步的，该kafka的实时监控数据的处理方法还包括：
步骤B5：在确定某一监控设备在时间序列数据库查询的信息量在预设时间段内超过阈值时，产生告警并将告警发送至处于上班状态的工作人员中，且关闭当前时间序列数据库的查询入口。
步骤B6：在确定某一监控设备在查询时间段内在时间序列数据库查询的次数超过次数阈值时，产生告警并将告警发送至处于上班状态的工作人员中，且关闭当前时间序列数据库的查询入口。
步骤B7：在确定某一监控设备不在查询时间段内在时间序列数据库查询时，产生告警并将告警发送至处于上班状态的工作人员中，且关闭当前时间序列数据库的查询入口。
综上，本发明所公开的基于kafka的实时监控数据的处理方法包括：统一监控数据的输入接口，并根据不同业务从监控设备上采集所需的指标数据；从指标数据中解析出所对应的监控设备的类型；根据监控设备的类型给kafka的topic自定义一个ID号，将指标数据保存到该ID号的kafka的topic中；在确定kafka集群中的ID号的topic的指标数据被消费时，通过数据转换组件将该指标数据转换为预设格式数据，并存储至时间序列数据库中，以进行显示界面展示。通过上述方式，本发明能够提高了监控信息的时效性，更能够根据监控的信息做出对应的响应，还能够满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求，同时也方便处理不同监控对象的指标数据区分。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于kafka的实时监控数据的处理方法，其特征在于，包括：
统一监控数据的输入接口，并根据不同业务从监控设备上采集所需的指标数据；
从指标数据中解析出所对应的监控设备的类型；
根据监控设备的类型给kafka的topic自定义一个ID号，将指标数据保存到该ID号的kafka的topic中；
在确定kafka集群中的ID号的topic的指标数据被消费时，通过数据转换组件将该指标数据转换为预设格式数据，并存储至时间序列数据库中，以进行显示界面展示。
2.根据权利要求1所述的处理方法，其特征在于，所述根据不同业务从监控设备上采集所需的指标数据的步骤包括：
通过下发采集器至指定的监控设备上，并通过采集器采集监控设备中的指标数据。
3.根据权利要求1所述的处理方法，其特征在于，所述根据不同业务从监控设备上采集所需的指标数据的步骤包括：
通过所设置的网络端口策略获取第三方所提供的指标数据。
4.根据权利要求1所述的处理方法，其特征在于，该方法还包括：
添加数据转换组件，以通过该数据转换组件将该指标数据转换为预设格式数据。
5.根据权利要求1所述的处理方法，其特征在于，所述通过下发采集器至指定的监控设备上，并通过采集器采集监控设备中的指标数据的步骤包括：
获取第一监控设备的第一识别码，将第一识别码发送给采集器中，并根据第一识别码将采集器下发至第一监控设备上以进行指标数据的采集；
当采集完指标数据之后，将第一识别码从采集器中删除，并获取第二监控设备的第二识别码，且将第二识别码发送给采集器中，根据第二识别码将采集器下发至第二监控设备上以进行指标数据的采集。
6.根据权利要求5所述的处理方法，其特征在于，该方法还包括：
把相同类型的监控设备的指标数据保存至同一ID号的kafka的topic中。
7.根据权利要求6所述的处理方法，其特征在于，所述根据监控设备的类型给kafka的topic自定义一个ID号的步骤包括：
根据监控设备的类型为监控设备分等级及等级号；
获取监控设备的识别码以及位置信息；
给kafka的topic自定义的ID数据，该ID数据包括topic的唯一ID号、监控设备的识别码、监控设备的等级号和位置信息。
8.根据权利要求7所述的处理方法，其特征在于，所述显示界面包括有多个不同尺寸的显示区域，该方法还包括：
把同一ID号的kafka的topic中所保存的指标数据以及topic自定义的ID数据显示在显示界面中的同一显示区域中。
9.根据权利要求8所述的处理方法，其特征在于，该方法还包括：
为同一ID号的kafka的topic中所保存的指标数据设置时间序列数据库所对应的特殊查询入口，以使得只能从特殊查询入口查询同一ID号的kafka的topic中所保存的指标数据所对应的监控设备。
10.根据权利要求9所述的处理方法，其特征在于，该方法还包括：
通过查询入口输入查询语句时，如果确定查询语句所对应的监控设备与特殊查询入口不对应时，关闭该特殊查询入口使得查询语句无法进入时间序列数据库中进行查询，并弹出提示语，且弹出与查询语句所对应的监控设备对应的查询入口；
如果确定查询语句所对应的监控设备与查询入口对应时，通过该特殊查询入口将查询语句输入时间序列数据库中进行查询。
CN202011210830.9A 2020-11-03 2020-11-03 一种基于kafka的实时监控数据的处理方法 Pending CN112433909A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011210830.9A CN112433909A (zh) 2020-11-03 2020-11-03 一种基于kafka的实时监控数据的处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011210830.9A CN112433909A (zh) 2020-11-03 2020-11-03 一种基于kafka的实时监控数据的处理方法

Publications (1)

Publication Number Publication Date
CN112433909A true CN112433909A (zh) 2021-03-02

Family

ID=74695196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011210830.9A Pending CN112433909A (zh) 2020-11-03 2020-11-03 一种基于kafka的实时监控数据的处理方法

Country Status (1)

Country Link
CN (1) CN112433909A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791431A (zh) * 2016-04-26 2016-07-20 北京邮电大学 一种在线分布式监控视频处理任务调度方法及装置
US20170270024A1 (en) * 2016-03-21 2017-09-21 Linkedin Corporation On-demand profiling based on event streaming architecture
CN111177271A (zh) * 2019-12-31 2020-05-19 奇安信科技集团股份有限公司 kafka数据持久化到hdfs的数据存储方法、装置、计算机设备
CN111177193A (zh) * 2019-12-13 2020-05-19 航天信息股份有限公司 一种基于Flink的日志流式处理方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170270024A1 (en) * 2016-03-21 2017-09-21 Linkedin Corporation On-demand profiling based on event streaming architecture
CN105791431A (zh) * 2016-04-26 2016-07-20 北京邮电大学 一种在线分布式监控视频处理任务调度方法及装置
CN111177193A (zh) * 2019-12-13 2020-05-19 航天信息股份有限公司 一种基于Flink的日志流式处理方法及系统
CN111177271A (zh) * 2019-12-31 2020-05-19 奇安信科技集团股份有限公司 kafka数据持久化到hdfs的数据存储方法、装置、计算机设备

Similar Documents

Publication Publication Date Title
CN110347116B (zh) 一种基于运行数据流的机床状态监测系统与监测方法
CN109710678B (zh) 一种工业大数据监测管理的实时数据系统及运行方法
CN108039959B (zh) 一种数据的态势感知方法、系统及相关装置
US10116534B2 (en) Systems and methods for WebSphere MQ performance metrics analysis
CN106383916B (zh) 基于工业设备预测性维护的数据处理方法
CN110764834B (zh) 一种自动化安全监测平台、管理方法及存储介质
CN111104535A (zh) 一种数据管理系统及数据管理方法
CN111259073A (zh) 基于日志、流量和业务访问的业务系统运行状态智能研判系统
CN105184886A (zh) 一种云数据中心智能巡检系统及方法
CN110727572A (zh) 埋点数据处理方法、装置、设备及存储介质
CN110300122A (zh) 一种物联网电子信息处理系统及方法
CN113849553A (zh) 基于物联网设备数据采集的变电站数据采集与处理方法和系统
CN112016708A (zh) 一种智能电缆的多维度数据展示方法及装置
CN114639183A (zh) 基于元素化的智能巡检方法、系统、计算机设备及介质
CN114780335A (zh) 监测数据的关联方法、装置、计算机设备和存储介质
CN112488502A (zh) 一种标准的水资源管理一体化管控平台
CN113409555A (zh) 一种基于物联网的实时报警联动方法及系统
CN111800292A (zh) 基于历史流量的预警方法、装置、计算机设备及存储介质
CN111125450A (zh) 一种多层拓扑网络资源对象的管理方法
CN112288317B (zh) 一种基于多源异构数据治理的工业大数据分析平台和方法
CN113506098A (zh) 基于多源数据的电厂元数据管理系统及方法
CN116663904A (zh) 一种基于数据分析的智能目标监管系统及方法
CN112433909A (zh) 一种基于kafka的实时监控数据的处理方法
CN103383649A (zh) 一种复杂虚拟仪器系统设计模型
CN111625573A (zh) 一种大数据分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210302

WD01 Invention patent application deemed withdrawn after publication