CN111008109A - 一种监控数据处理方法、装置、电子设备及存储介质 - Google Patents

一种监控数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111008109A
CN111008109A CN201911241023.0A CN201911241023A CN111008109A CN 111008109 A CN111008109 A CN 111008109A CN 201911241023 A CN201911241023 A CN 201911241023A CN 111008109 A CN111008109 A CN 111008109A
Authority
CN
China
Prior art keywords
monitoring data
alarm
alarm information
information
tagged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911241023.0A
Other languages
English (en)
Other versions
CN111008109B (zh
Inventor
冯浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201911241023.0A priority Critical patent/CN111008109B/zh
Publication of CN111008109A publication Critical patent/CN111008109A/zh
Application granted granted Critical
Publication of CN111008109B publication Critical patent/CN111008109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3051Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • G06F11/327Alarm or error message display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明实施例提供了一种监控数据处理方法、装置、电子设备及存储介质,其中,方法可以包括:获取多个源监控数据;生成各个源监控数据分别对应的标签信息;针对各个源监控数据,合并源监控数据和标签信息,得到源监控数据对应的标签化监控数据;基于多个标签化监控数据,确定报警信息;将报警信息发送至客户端设备。通过本发明实施例提供的监控数据处理方法、装置、电子设备及存储介质,能够实现通过标签信息更丰富地表示源监控数据,根据标签化监控数据快速提供满足业务需求的报警信息,提高报警信息的内容传递效率。

Description

一种监控数据处理方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机应用技术领域,特别是涉及一种监控数据处理方法、装置、电子设备及存储介质。
背景技术
随着服务规模、机器规模等越来越大,以及部署方式越来越复杂,通过不同的监控系统对服务、机器等进行监控,会产生越来越多的监控数据。现有技术中,各个监控系统分别根据自身监控得到的监控数据,确定报警信息,各个监控系统对应的报警信息之间是独立地,如此会使得无法从众多的、独立的报警信息中快速提取用户感兴趣的报警信息,使得报警信息的内容传递效率比较低。
发明内容
本发明实施例的目的在于提供一种监控数据处理方法、装置、电子设备及存储介质,实现通过标签信息更丰富地表示源监控数据,根据标签化监控数据快速提供满足业务需求的报警信息,提高报警信息的内容传递效率。具体技术方案如下:
第一方面,本发明实施例提供了一种监控数据处理方法,包括:
获取多个源监控数据;
生成各个源监控数据分别对应的标签信息;
针对各个源监控数据,合并所述源监控数据和所述标签信息,得到所述源监控数据对应的标签化监控数据;
基于多个所述标签化监控数据,确定报警信息;
将所述报警信息发送至客户端设备。
可选的,所述生成各个源监控数据分别对应的标签信息,包括:
从配置管理数据库CMDB中获取各个源监控数据相关联的业务维度属性信息;
针对各个源监控数据,基于所述业务维度属性信息,生成所述源监控数据对应的标签信息。
可选的,所述基于多个所述标签化监控数据,确定报警信息,包括:
根据各个标签化监控数据中的标签信息,查找具有匹配标签信息的至少两个目标标签化监控数据;
将所述至少两个目标标签化监控数据进行聚合,得到聚合标签化监控数据,所述聚合标签化监控数据携带所述匹配标签信息;
根据所述聚合标签化监控数据以及预设报警条件,确定所述报警信息,所述报警信息携带所述匹配标签信息;
所述将所述报警信息发送至客户端设备,包括:
将根据所述聚合标签化监控数据以及预设报警条件确定的所述报警信息发送至所述客户端设备。
可选的,在所述根据所述聚合标签化监控数据以及预设报警条件,确定所述报警信息之后,所述方法还包括:
获取所述客户端设备对应的匹配条件;
针对各个所述报警信息,判断所述报警信息是否满足所述匹配条件;
所述将所述报警信息发送至客户端设备,包括:
将满足所述匹配条件的报警信息发送至所述客户端设备。
可选的,在所述基于多个所述标签化监控数据,确定报警信息之后,所述方法还包括:
针对各个所述报警信息,根据各个所述报警信息携带的标签信息,生成所述报警信息对应的报警画像,所述报警画像用于将所述报警信息转换为可视化信号;
所述将所述报警信息发送至客户端设备,包括:
将所述报警画像发送至所述客户端设备。
第二方面,本发明实施例提供了一种监控数据处理装置,包括:
获取模块,用于获取多个源监控数据;
生成模块,用于生成各个源监控数据分别对应的标签信息;
合并模块,用于针对各个源监控数据,合并所述源监控数据和所述标签信息添加至所述源监控数据中,得到所述源监控数据对应的标签化监控数据;
确定模块,用于基于多个所述标签化监控数据,确定报警信息;
发送模块,用于将所述报警信息发送至客户端设备。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器,所述通信接口,所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现第一方面所述的方法步骤。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的方法步骤。
在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的方法步骤。
本发明实施例提供的监控数据处理方法、装置、电子设备及存储介质,可以获取多个源监控数据;生成各个源监控数据分别对应的标签信息;针对各个源监控数据,合并源监控数据和标签信息,得到源监控数据对应的标签化监控数据;基于多个标签化监控数据,确定报警信息;将报警信息发送至客户端设备。如此,可以实现通过标签信息更丰富地表示源监控数据,根据标签化监控数据快速提供满足业务需求的报警信息,提高报警信息的内容传递效率。当然,实施本发明的任一产品或方法必不一定需要同时达到以上的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的监控数据处理方法的一种流程图;
图2为本发明实施例提供的获取源监控数据的流程图;
图3为本发明实施例中生成标签信息的流程图;
图4为本发明实施例提供的监控数据处理方法的另一种流程图;
图5为本发明实施例提供的数据分析的结果示意图;
图6为本发明实施例提供的监控数据处理方法的又一种流程图;
图7为本发明实施例提供的具体实施例的流程示意图;
图8为本发明实施例提供的监控数据处理装置的一种结构示意图;
图9为本发明实施例提供的监控数据处理装置的另一种结构示意图;
图10为本发明实施例提供的监控数据处理装置的又一种结构示意图;
图11为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
本发明实施例提供了一种监控数据处理方法,如图1所示,可以包括:
S101,获取多个源监控数据;
S102,生成各个源监控数据分别对应的标签信息;
S103,针对各个源监控数据,合并源监控数据和标签信息,得到源监控数据对应的标签化监控数据;
S104,基于多个标签化监控数据,确定报警信息;
S105,将报警信息发送至客户端设备。
本发明实施例中,针对各个源监控数据进行打标签服务,即针对各个源监控数据,合并源监控数据和标签信息,得到源监控数据对应的标签化监控数据。如此,可以通过标签信息更丰富地表示源监控数据,根据标签化监控数据快速提供满足业务需求的报警信息,提高报警信息的内容传递效率。
本发明实施例提供的监控数据处理方法可以应用于电子设备,具体地,电子设备可以包括终端、处理器等。一种可实现方式中,可以在电子设备中部署报警服务系统,通过该报警服务系统实现本发明实施例提供的监控数据处理方法。
参照图1,对本发明实施例提供的监控数据处理方法进行详细说明,具体地可以包括:
S101,获取多个源监控数据。
源监控数据可以是从监控系统得到的监控数据。一种可实现方式中,可以获取多个监控系统分别对应的源监控数据。监控系统可以包括zabbix、Hubble、Apollo Metricszabbix等等。
不同的监控系统可以实现不同的功能,则不同的监控系统对应的源监控数据可以包括针对不同内容的监控数据。如针对机器的监控数据、针对服务的监控数据等等,如可以是机器、服务等的状态信息等。具体地,源监控数据可以为内存占用率,CPU使用率,等等;如源监控数据为内存占用率为90%。
S102,生成各个源监控数据分别对应的标签信息。
其中,针对各个源监控数据,源监控数据对应的标签信息可以包括与源监控数据相关联的信息。标签信息也可以理解为与源监控数据相关联的多维度的信息。
例如,源监控数据是针对机器1的监控数据,则该源监控数据对应的标签信息可以是机器所在的集群相关的信息,如集群标识;机器所运行的服务相关的信息,如服务标识;机器的在线状态信息;等等。
S103,针对各个源监控数据,合并源监控数据和标签信息,得到源监控数据对应的标签化监控数据。
可以理解为针对各个源监控数据进行“Tagger(标签注入)”服务,也可以简单理解为打标签服务。
S104,基于多个标签化监控数据,确定报警信息。
可以理解为,结合多个标签化监控数据,共同触发报警。具体地,可以基于多个标签化监控数据,通过预设报警条件,确定报警信息。其中,可以预先根据业务需求等确定预设报警条件,如内存占用率达到阈值,CPU使用率达到阈值,等等,阈值可以根据实际情况确定。
S105,将报警信息发送至客户端设备。
可以是执行本发明实施例提供的监控数据处理方法的电子设备,主动将标签化监控数据发送至客户端设备,也可以是电子设备在接收到客户端设备发送的请求后,向客户端设备反馈满足请求的标签化监控数据。
其中,客户端设备可以是业务所对应的设备,如可以是终端,个人电脑(PersonalComputer,PC)等等。
本发明实施例中,针对各个源监控数据进行打标签服务,即针对各个源监控数据,合并源监控数据和标签信息,得到源监控数据对应的标签化监控数据。如此,可以通过标签信息更丰富地表示源监控数据,根据标签化监控数据快速提供满足业务需求的报警信息,提高报警信息的内容传递效率。
本发明一种可选的实施例中,步骤S101:获取多个源监控数据,如图2所示,可以包括:
S1011,针对各个监控系统,通过预设接口,从监控系统的同步数据库中获取监控系统对应的源监控数据,并将监控系统对应的源监控数据发送至消息系统。
其中,监控系统的同步数据库用于将监控系统产生的源监控数据同步至同步数据库。
本发明实施例中,将监控系统产生的源监控数据实时同步至同步数据库,具体地,可以通过数据库同步工具例如:MySQL IO,将监控系统产生的源监控数据实时同步至数据库。
预设接口可以是应用程序编程接口(Application Programming Interface,API)。预设接口可以是实现本发明实施例提供的监控数据处理方法的电子设备提供的接口。
本发明实施例中可以通过API gateway(API网关)的方式获取监控系统对应的源监控数据。具体地,可以将多个监控系统接入预设接口,即通过该预设接口与多个监控系统进行交互,以从监控系统的同步数据库中获取监控系统对应的源监控数据,并将监控系统对应的源监控数据发送至消息系统。
消息系统可以包括Kafka集群等。
S1012,从消息系统中获取多个监控系统分别对应的源监控数据。
本发明实施例中,可以通过从消息系统中获取多个监控系统分别对应的源监控数据,以进行后续标签化处理流程,即针对各个源监控数据,将与源监控数据对应的标签信息添加至源监控数据中,得到源监控数据对应的标签化监控数据。
本发明实施例中可以将多个监控系统的源监控数据汇总到消息系统,也可以理解为实现多个监控系统的异构数据的汇总。如此,可以基于消息系统通过实时计算针对多个源监控数据进行组合分析。
本发明一种可选的实施例中,步骤S102:生成各个源监控数据分别对应的标签信息,如图3所示,可以包括:
S1021,从配置管理数据库(Configuration Management Database,CMDB)中获取各个源监控数据相关联的业务维度属性信息。
业务维度属性信息是多个业务维度的源监控数据的属性信息。
CMDB实时采集与各个源监控数据相关联的信息。
可以通过实时计算方式,基于集群、项目、在线状态、服务等维度从CMDB中,获取各个源监控数据对应的标签信息。
一种可实现方式中,可以通过流式计算框架Flink从CMDB中获取各个源监控数据对应的标签信息。
S1022,针对各个源监控数据,基于业务维度属性信息,生成源监控数据对应的标签信息。
标签信息可以理解为反映业务维度属性信息的信息。如业务维度属性信息可以是基于集群、项目、在线状态、服务等维度的属性信息,则标签信息可以是集群标识、项目名称、状态标识、服务标识等等。
一种可实现方式中,也可以将业务维度属性信息,直接作为源监控数据对应的标签信息。
如此,可以基于实时计算实现针对监控数据的全新的标签服务。将源监控数据,通过Tagger的方式封装,同时引入实时流,在保证报警延时的基础上,最大程度丰富源监控数据。
本发明一种可选的实施例中,可以针对标签化监控数据触发报警,如图4所示,步骤S104:基于多个标签化监控数据,确定报警信息,可以包括:
S1041,根据各个标签化监控数据中的标签信息,查找具有匹配标签信息的至少两个目标标签化监控数据。
匹配标签信息可以相同,或者可以是表示相同含义的不同标签信息等。如匹配标签信息可以均是集群标识A;或者可以一部分是集群标识,另一部分是与集群标识含义相同的Cluster ID,等等。
S1042,将至少两个目标标签化监控数据进行聚合,得到聚合标签化监控数据。
聚合标签化监控数据携带匹配标签信息。
一种可实现方式中,聚合标签化监控数据可以包括目标标签化监控数据的数量,等等。
可以理解为根据各个标签化监控数据中的标签信息,对多个标签化监控数据从多个维度进行分类。
一种可选的实施例中,可以将多个目标标签化监控数据发送至Elasticsearch,通过Elasticsearch对多个目标标签化监控数据进行聚合,得到针对不同标签的聚合结果。
本发明实施例中可以通过分析多个目标标签化监控数据之间的关联,对存在关联的多个目标标签化监控数据进行聚合,可以实现对目标标签化监控数据的挖掘。
ES(Elasticsearch)是一种搜索服务器,ES本身具有数据统计和数据聚合的功能,本发明实施例可以利用ES本身的聚合特点进行数据统计和数据聚合,实现对多个目标标签化监控数据进行聚合,得到针对不同标签的聚合结果。
聚合结果可以理解为针对不同标签对多个目标标签化监控数据进行聚合得到的结果。标签可以包括集群标识,即针对不同集群,按照不同集群的集群标识,对多个目标标签化监控数据进行聚合,具体地可以将包括同一集群标识的目标标签化监控数据聚合在一起。
S1043,根据聚合标签化监控数据以及预设报警条件,确定报警信息。
报警信息携带匹配标签信息。
根据聚合后标签化监控数据触发报警,可以理解为根据聚合结果判断是否发送提示报警的报警信息。即将多个标签化监控数据结合起来触发报警。确定的报警信息可以理解为含有多个标签的报警信息的并集。
具体地,可以预先根据业务需求等确定预设报警条件,如内存占用率达到阈值,CPU使用率达到阈值,等等,阈值可以根据实际情况确定。基于多个标签化监控数据,通过预设报警条件,确定报警信息。
步骤S105:将报警信息发送至客户端设备,可以包括:
S1051,将根据聚合标签化监控数据以及预设报警条件确定的报警信息发送至客户端设备。
本发明实施例中,可以基于多个不同的监控系统的监控数据触发报警,即可以将多个不同监控系统的监控数据结合起来触发报警。相比较与各个监控系统单独地触发报警,如基于单个监控系统的监控数据确定该监控系统对应的报警信息,仅能根据已确定的报警信息触发报警,本发明实施例将多个不同监控系统的监控数据结合起来触发报警,可以解决不同数据源之间的源监控数据的报警功能,如此,可以对不同监控系统的源监控数据实现统一聚合,定制实时报警功能。且可以实现更多维度地报警信息,可以更好地向业务等提高满足需求的报警信息,进而更好地为业务提供服务。各个监控系统单独地触发报警,需要报警信息发出后进行报警处理,本发明实施例直接接入确定报警信息的源监控数据。
本发明一种可选的实施例中,在根据聚合标签化监控数据以及预设报警条件,确定报警信息之后,还可以包括:生成报警信息对应的报警画像。
报警画像用于直观反映报警信息。
如此,可以通过报警画像快速地定位报警根源以及报警产生的原因等。
报警画像可以是表格的形式、图像的形式,本发明实施例不对报警画像的形式作限制。
标签数据进入ES后支持快速的数据分析,即通过ES,针对报警信息进行快速地数据分析,在不降低报警时效的基础上,提供实时的报警分析能力。且可以针对报警信息进行有效地分析,可以通过聚合结果快速定位报警根源。同时,基于进一步分析后的数据分析结果,可以快速地提供满足业务需求等的报警信息。
一种可选的实施例中,多个报警信息有可能存在关联,本发明实施例可以对报警信息进行分析,进一步对报警信息进行挖掘。具体地,在确定报警信息之后,还可以将报警信息发送至Elasticsearch,通过Elasticsearch对报警信息进行数据分析。
本发明实施例中可以通过分析多个报警信息之间的关联,实现对报警信息的进一步挖掘。
可以得到分析后报警信息,分析后报警信息可以理解为针对不同标签对多个报警信息进行分析得到的结果。如可以将具有标签1的多个报警信息聚合为标签1对应的分析后报警信息,可以将具有标签2的多个报警信息聚合为标签2对应的分析后报警信息,等等。其中,标签可以通过标签信息或者反映标签信息的数据来表示。
例如,标签可以包括集群标识,即针对不同集群,按照不同集群的集群标识,对多个报警信息进行聚合,具体地可以将包括同一集群标识的报警信息聚合在一起。
本发明一种可选的实施例中,可以进一步针对分析后报警信息进行分析,如统计不同时间段内不同标签对应的分析后报警信息的总量的变化,如各个集群在不同时间段内的报警数量,如图5所示,反映与集群1、集群2、集群3、集群4、集群5、集群6、集群7、集群8、集群9、集群10、集群11、集群12、集群13、集群14和集群15相关的分析后报警信息的报警数量,具体地,按照报警数量递减的方式对多个集群进行排列。具体地,各个集群可以通过集群标识,集群关键字表示。
如此,可以直观地反映各个集群相关的报警信息,可以实现从集群角度对报警信息进行分析,进而可以快速地对各个集群进行分析。
本发明实施例中,能够针对标签化监控数据进行进一步地数据分析,基于标签化监控数据触发报警,实现对报警根源的定位,以及根据基于标签化监控数据聚合得到的标签数据实现对报警信息的订阅,可以向业务等提供灵活的报警功能,进而为服务稳定性等提供重要保障。
在上述实施例的基础上,本发明一种可选的实施例中,在步骤S104:根据聚合标签化监控数据以及预设报警条件,确定报警信息之后,如图6所示,还可以包括:
S106,获取客户端设备对应的匹配条件。
匹配条件可以理解为从多个报警信息中搜索满足客户端设备需求的报警信息时的限定条件。具体地,匹配条件可以包括针对单个标签信息的限定条件,如集群名称为集群A。匹配条件也可以包括针对多个标签信息的限定条件,如集群名称为集群A,且服务名称为服务1。
一种可实现方式中,提供报警信息的信息提供端,如实现本发明实施例的监控数据处理方法的电子设备,具体地可以是上述报警服务系统与客户端设备预先设置客户端设备对应的匹配条件,简单可以理解为报警服务系统与客户端设备预先约定匹配条件。
另一种可实现方式中,客户端设备有获取报警信息的需求时,可以向报警服务系统发送匹配条件,如此,报警服务系统可以接收到该客户端设备对应的匹配条件。
S107,针对各个报警信息,判断报警信息是否满足匹配条件。
根据各个报警信息中的标签信息,判断报警信息是否满足匹配条件。例如,匹配条件为包括针对单个标签信息的限定条件,如集群名称为集群A,则可以判断报警信息中是否有包含集群A的标签信息,如果有,则可以确定报警信息满足匹配条件,如果没有,则可以确定报警信息满足匹配条件。
步骤S105:将报警信息发送至客户端设备,可以包括:
S1052,将满足匹配条件的报警信息发送至客户端设备。
客户端设备可以是订阅报警信息的报警信息订阅终端。
一种可实现方式中,当匹配条件包括针对多个标签信息的限定条件时,即通过针对多个标签信息的限定条件,从多个报警信息中搜索满足报警信息订阅终端需求的报警信息的过程,可以理解为复合匹配。
本发明实施例可以通过自动处理的方式实现报警信息的订阅。具体地,可以预先设置报警信息订阅终端对应的匹配条件,当针对多个标签化监控数据进行聚合计算,得到针对不同标签的聚合结果。基于聚合结果确定报警信息,即根据标签化监控数据确定报警信息后,可以将确定的多个报警信息同步至自动处理模块,以通过该自动处理模块对接工作流自动处理。
或者,也可以通过人工的方式实现报警信息的订阅。如订阅管理员从多个报警信息中搜索满足匹配条件的目标报警信息。
本发明实施例中,可以利用标签化监控数据为业务等提供帮助,具体地,在基于个标签化监控数据确定报警信息之后,可以支持报警信息的订阅,订阅报警信息的报警信息订阅终端可以通过匹配条件获取满足需求的报警信息,以通过该信息为业务提供服务。
本发明实施例可以支持数据分析和灵活的报警订阅,可以支持报警的标签订阅形势,实现多样地、复合地报警订阅,使得业务等可以通过匹配条件从多个维度获取满足需求的报警信息,以便于业务等快速、准确地获取满足需求的报警信息,进而为业务等提供服务、帮助。
在上述实施例的基础上,本发明一种可选的实施例中,在步骤S104:基于多个标签化监控数据,确定报警信息之后,还可以包括:
针对各个报警信息,根据各个报警信息携带的标签信息,生成报警信息对应的报警画像。
报警画像用于将报警信息转换为可视化信号。
报警画像可以是表格的形式、图像的形式,本发明实施例不对报警画像的形式作限制。
步骤S105:将报警信息发送至客户端设备,可以包括:
将报警画像发送至客户端设备。
如此,可以通过报警画像直观地从多个维度了解报警信息,且可以通过报警画像快速地定位报警根源以及报警产生的原因等。
本发明一个具体实施例中。可以在电子设备中部署报警服务系统,通过报警服务系统实现本发明实施例提供监控数据处理方法。参照图7,该报警服务系统可以包括数据源接入模块、标签服务模块、规则订阅模块以及数据分析模块。
多个监控系统,如监控系统1、监控系统2、监控系统3、……、监控系统n接入接口,该接口可以是预设接口。其中,监控系统可以包括zabbix、Hubble、Apollo Metrics zabbix或者Metrics,等等。
多个监控系统分别与接口进行交互。具体地,通过数据库同步工具将监控系统产生的源监控数据实时同步至数据库。可以通过API网关的方式从监控系统的同步数据库中获取监控系统对应的源监控数据,并将监控系统对应的源监控数据发送至消息系统,如Kafka集群等。
标签服务模块实现对各个监控系统分别对应的源监控数据进行打标签。具体地,从消息系统中获取源监控数据,通过实时计算方式,从CMDB中获取获取各个源监控数据相关联的业务维度属性信息,如集群、项目、在线状态、服务等多维度的与该源源监控数据相关的信息。具体地,CMDB实时采集与该源监控数据相关的信息,可以通过Flink实时流的方式从CMDB中获取各个源监控数据对应的业务维度属性信息。针对各个源监控数据,基于业务维度属性信息,生成源监控数据对应的标签信息。
对源监控数据打标签后,也可以理解为得到源监控数据对应的标签化监控数据后,可以通过Flink针对标签化监控数据进行聚合计算,聚合计算后的结果发送至规则订阅模块和数据分析模块中,通过规则订阅模块实现对聚合计算得到的报警信息进行订阅,以及通过数据分析模块实现针对聚合计算得到的报警信息进行数据分析,进一步挖掘等。
具体地,规则订阅模块可以通过规则引擎从多个报警信息中,获取满足报警信息订阅终端对应的匹配条件的目标报警信息,并将目标报警信息发送至报警信息订阅终端。具体地可以通过用户报警或者自动处理的方式完成报警订阅,即获取满足匹配条件的目标报警信息。
将多个报警信息发送至Elasticsearch,通过Elasticsearch针对报警信息进行数据分析,并得到分析结果。具体地,可以对多个报警信息进行聚合,得到针对不同标签的聚合结果。进一步可以针对聚合结果进行分析,如统计不同时间段内不同标签对应的报警信息的总量的变化,等等。本发明实施例一种可选的实现方式中,可以生成用于直观反映多个报警信息的报警画像。
对应于上述实施例提供的监控数据处理方法,本发明实施例提供了一种监控数据处理装置,如图8所示,可以包括:
获取模块801,用于获取多个源监控数据;
生成模块802,用于生成各个源监控数据分别对应的标签信息;
合并模块803,用于针对各个源监控数据,合并源监控数据和标签信息添加至源监控数据中,得到源监控数据对应的标签化监控数据;
确定模块804,用于基于多个标签化监控数据,确定报警信息;
发送模块805,用于将报警信息发送至客户端设备。
本发明实施例中,针对各个源监控数据进行打标签服务,即针对各个源监控数据,合并源监控数据和标签信息,得到源监控数据对应的标签化监控数据。如此,可以通过标签信息更丰富地表示源监控数据,根据标签化监控数据快速提供满足业务需求的报警信息,提高报警信息的内容传递效率。
可选的,生成模块802,具体用于从配置管理数据库CMDB中获取各个源监控数据相关联的业务维度属性信息;针对各个源监控数据,基于业务维度属性信息,生成源监控数据对应的标签信息。
可选的,确定模块804,具体用于根据各个标签化监控数据中的标签信息,查找具有匹配标签信息的至少两个目标标签化监控数据;将至少两个目标标签化监控数据进行聚合,得到聚合标签化监控数据,聚合标签化监控数据携带匹配标签信息;根据聚合标签化监控数据以及预设报警条件,确定报警信息,报警信息携带匹配标签信息;
发送模块805,具体用于将根据聚合标签化监控数据以及预设报警条件确定的报警信息发送至客户端设备。
可选的,如图9所示,该装置还包括:
获取匹配条件模块806,用于在根据聚合标签化监控数据以及预设报警条件,确定报警信息之后,获取客户端设备对应的匹配条件;
判断模块807,用于针对各个报警信息,判断报警信息是否满足匹配条件;
发送模块805,具体用于将满足匹配条件的报警信息发送至客户端设备。
可选的,如图10所示,该装置还包括:
生成报警画像模块808,用于在基于多个标签化监控数据,确定报警信息之后,针对各个报警信息,根据各个报警信息携带的标签信息,生成报警信息对应的报警画像,报警画像用于将报警信息转换为可视化信号;
发送模块805,具体用于将报警画像发送至客户端设备。
本发明实施例提供的监控数据处理装置是应用上述监控数据处理方法的装置,则上述监控数据处理方法的所有实施例均适用于该装置,且均能达到相同或相似的有益效果。
对应于上述实施例提供的监控数据处理方法,本发明实施例还提供了一种电子设备,如图11所示,包括处理器1101、通信接口1102、存储器1103和通信总线1104,其中,处理器1101,通信接口1102,存储器1103通过通信总线1104完成相互间的通信。
存储器1103,用于存放计算机程序;
处理器1101,用于执行存储器1103上所存放的程序时,实现上述实施例提供的监控数据处理方法的方法步骤。
本发明实施例中,针对各个源监控数据进行打标签服务,即针对各个源监控数据,合并源监控数据和标签信息,得到源监控数据对应的标签化监控数据。如此,可以通过标签信息更丰富地表示源监控数据,根据标签化监控数据快速提供满足业务需求的报警信息,提高报警信息的内容传递效率。上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect,简称PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例提供的监控数据处理方法的方法步骤。
本发明实施例中,针对各个源监控数据进行打标签服务,即针对各个源监控数据,合并源监控数据和标签信息,得到源监控数据对应的标签化监控数据。如此,可以通过标签信息更丰富地表示源监控数据,根据标签化监控数据快速提供满足业务需求的报警信息,提高报警信息的内容传递效率。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的监控数据处理方法的方法步骤。
本发明实施例中,针对各个源监控数据进行打标签服务,即针对各个源监控数据,合并源监控数据和标签信息,得到源监控数据对应的标签化监控数据。如此,可以通过标签信息更丰富地表示源监控数据,根据标签化监控数据快速提供满足业务需求的报警信息,提高报警信息的内容传递效率。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (8)

1.一种监控数据处理方法,其特征在于,包括:
获取多个源监控数据;
生成各个源监控数据分别对应的标签信息;
针对各个源监控数据,合并所述源监控数据和所述标签信息,得到所述源监控数据对应的标签化监控数据;
基于多个所述标签化监控数据,确定报警信息;
将所述报警信息发送至客户端设备。
2.根据权利要求1所述的方法,其特征在于,所述生成各个源监控数据分别对应的标签信息,包括:
从配置管理数据库CMDB中获取各个源监控数据相关联的业务维度属性信息;
针对各个源监控数据,基于所述业务维度属性信息,生成所述源监控数据对应的标签信息。
3.根据权利要求1所述的方法,其特征在于,所述基于多个所述标签化监控数据,确定报警信息,包括:
根据各个标签化监控数据中的标签信息,查找具有匹配标签信息的至少两个目标标签化监控数据;
将所述至少两个目标标签化监控数据进行聚合,得到聚合标签化监控数据,所述聚合标签化监控数据携带所述匹配标签信息;
根据所述聚合标签化监控数据以及预设报警条件,确定所述报警信息,所述报警信息携带所述匹配标签信息;
所述将所述报警信息发送至客户端设备,包括:
将根据所述聚合标签化监控数据以及预设报警条件确定的所述报警信息发送至所述客户端设备。
4.根据权利要求3所述的方法,其特征在于,在所述根据所述聚合标签化监控数据以及预设报警条件,确定所述报警信息之后,所述方法还包括:
获取所述客户端设备对应的匹配条件;
针对各个所述报警信息,判断所述报警信息是否满足所述匹配条件;
所述将所述报警信息发送至客户端设备,包括:
将满足所述匹配条件的报警信息发送至所述客户端设备。
5.根据权利要求3所述的方法,其特征在于,在所述基于多个所述标签化监控数据,确定报警信息之后,所述方法还包括:
针对各个所述报警信息,根据各个所述报警信息携带的标签信息,生成所述报警信息对应的报警画像,所述报警画像用于将所述报警信息转换为可视化信号;
所述将所述报警信息发送至客户端设备,包括:
将所述报警画像发送至所述客户端设备。
6.一种监控数据处理装置,其特征在于,包括:
获取模块,用于获取多个源监控数据;
生成模块,用于生成各个源监控数据分别对应的标签信息;
合并模块,用于针对各个源监控数据,合并所述源监控数据和所述标签信息添加至所述源监控数据中,得到所述源监控数据对应的标签化监控数据;
确定模块,用于基于多个所述标签化监控数据,确定报警信息;
发送模块,用于将所述报警信息发送至客户端设备。
7.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器,所述通信接口,所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1-5任一所述方法的方法步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-5任一所述方法的方法步骤。
CN201911241023.0A 2019-12-06 2019-12-06 一种监控数据处理方法、装置、电子设备及存储介质 Active CN111008109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911241023.0A CN111008109B (zh) 2019-12-06 2019-12-06 一种监控数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911241023.0A CN111008109B (zh) 2019-12-06 2019-12-06 一种监控数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111008109A true CN111008109A (zh) 2020-04-14
CN111008109B CN111008109B (zh) 2023-09-05

Family

ID=70114939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911241023.0A Active CN111008109B (zh) 2019-12-06 2019-12-06 一种监控数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111008109B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694708A (zh) * 2020-05-28 2020-09-22 新浪网技术(中国)有限公司 数据查询方法、装置及电子设备、存储介质
CN112235162A (zh) * 2020-10-14 2021-01-15 北京嘀嘀无限科技发展有限公司 基于业务的监控方法、装置、电子设备及存储介质
CN112506740A (zh) * 2020-12-04 2021-03-16 北京爱奇艺科技有限公司 一种云报警方法、电子设备、存储介质及云报警装置
CN112532485A (zh) * 2020-11-27 2021-03-19 北京嘀嘀无限科技发展有限公司 业务监控方法、装置、电子设备和可读存储介质
CN113360292A (zh) * 2021-06-01 2021-09-07 北京百度网讯科技有限公司 消息处理方法、装置、电子设备、存储介质和程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105490835A (zh) * 2015-11-20 2016-04-13 北京百度网讯科技有限公司 信息监控方法和装置
CN105791028A (zh) * 2016-04-26 2016-07-20 浪潮(北京)电子信息产业有限公司 一种服务器集群的监控方法、服务器及系统
WO2018205844A1 (zh) * 2017-05-09 2018-11-15 杭州海康威视数字技术股份有限公司 视频监控装置、监控服务器及系统
CN109241157A (zh) * 2018-08-02 2019-01-18 中央电视台 数据调用方法、装置、通信设备及存储介质
CN109685404A (zh) * 2017-10-18 2019-04-26 北京京东尚科信息技术有限公司 监控报警系统
CN110086648A (zh) * 2019-03-13 2019-08-02 深圳壹账通智能科技有限公司 工单的生成方法、装置、计算机设备及存储介质
CN110221950A (zh) * 2019-06-18 2019-09-10 杭州朗和科技有限公司 监控数据的处理方法、介质、装置和计算设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105490835A (zh) * 2015-11-20 2016-04-13 北京百度网讯科技有限公司 信息监控方法和装置
CN105791028A (zh) * 2016-04-26 2016-07-20 浪潮(北京)电子信息产业有限公司 一种服务器集群的监控方法、服务器及系统
WO2018205844A1 (zh) * 2017-05-09 2018-11-15 杭州海康威视数字技术股份有限公司 视频监控装置、监控服务器及系统
CN109685404A (zh) * 2017-10-18 2019-04-26 北京京东尚科信息技术有限公司 监控报警系统
CN109241157A (zh) * 2018-08-02 2019-01-18 中央电视台 数据调用方法、装置、通信设备及存储介质
CN110086648A (zh) * 2019-03-13 2019-08-02 深圳壹账通智能科技有限公司 工单的生成方法、装置、计算机设备及存储介质
CN110221950A (zh) * 2019-06-18 2019-09-10 杭州朗和科技有限公司 监控数据的处理方法、介质、装置和计算设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694708A (zh) * 2020-05-28 2020-09-22 新浪网技术(中国)有限公司 数据查询方法、装置及电子设备、存储介质
CN112235162A (zh) * 2020-10-14 2021-01-15 北京嘀嘀无限科技发展有限公司 基于业务的监控方法、装置、电子设备及存储介质
CN112532485A (zh) * 2020-11-27 2021-03-19 北京嘀嘀无限科技发展有限公司 业务监控方法、装置、电子设备和可读存储介质
CN112506740A (zh) * 2020-12-04 2021-03-16 北京爱奇艺科技有限公司 一种云报警方法、电子设备、存储介质及云报警装置
CN113360292A (zh) * 2021-06-01 2021-09-07 北京百度网讯科技有限公司 消息处理方法、装置、电子设备、存储介质和程序产品
CN113360292B (zh) * 2021-06-01 2024-03-15 北京百度网讯科技有限公司 消息处理方法、装置、电子设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN111008109B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
US11727039B2 (en) Low-latency streaming analytics
CN111008109B (zh) 一种监控数据处理方法、装置、电子设备及存储介质
US20210342337A1 (en) Dynamically monitoring an information technology networked entity
US11106442B1 (en) Information technology networked entity monitoring with metric selection prior to deployment
US10985970B1 (en) Automatic actionable event responder for operational clusters
US20220004557A1 (en) Dynamic data processor for streaming and batch queries
US20190095478A1 (en) Information technology networked entity monitoring with automatic reliability scoring
US10762049B1 (en) Extracting machine data generated by an isolated execution environment from a chunk of data generated by an isolated execution environment manager
CN108563734B (zh) 制度信息查询方法、装置、计算机设备和存储介质
CN110888985A (zh) 一种报警信息处理方法、装置、电子设备及存储介质
US11436116B1 (en) Recovering pre-indexed data from a shared storage system following a failed indexer
US11755531B1 (en) System and method for storage of data utilizing a persistent queue
CN112181931A (zh) 一种大数据系统链路追踪方法及电子设备
US20190163828A1 (en) Method and apparatus for outputting information
CN110928851A (zh) 处理日志信息的方法、装置、设备及存储介质
CN114363042A (zh) 日志分析方法、装置、设备及可读存储介质
CN107704357B (zh) 日志生成方法和装置
CN116055551A (zh) 信息推送方法、装置、系统、电子设备及存储介质
CN114461792A (zh) 告警事件关联方法、装置、电子设备、介质及程序产品
CN116069838A (zh) 一种数据处理方法、装置、计算机设备及存储介质
US11488232B2 (en) Document evaluation, alerting and validation system
CN110442439B (zh) 任务进程处理方法、装置和计算机设备
CN115514618A (zh) 告警事件的处理方法、装置、电子设备和介质
CN112612866B (zh) 知识库文本同步方法、装置、电子设备及存储介质
CN113778831A (zh) 一种数据应用性能分析方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant