CN114490246A - 一种监控方法、装置、电子设备以及存储介质 - Google Patents
一种监控方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN114490246A CN114490246A CN202111642110.4A CN202111642110A CN114490246A CN 114490246 A CN114490246 A CN 114490246A CN 202111642110 A CN202111642110 A CN 202111642110A CN 114490246 A CN114490246 A CN 114490246A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- uniform
- tag
- label
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3495—Performance evaluation by tracing or monitoring for systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Alarm Systems (AREA)
Abstract
本发明实施例提供了一种监控方法、装置、电子设备以及存储介质,本发明涉及计算机技术领域,特别是涉及监控、云计算容器等领域,具体包括:获取至少一个统一标签,其中,统一标签为将监控对象的标签指纹转换得到的,不同监控对象分别对应的统一标签的关键字相同;针对至少一个统一标签,基于统一标签,通过预先建立的统一标签与多个监控系统中监控信息的对应关系,获取统一标签对应的多个监控系统中针对监控对象的监控信息。本发明能够实现关联监控,也可以理解为能够实现多维度关联监控。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及监控、云计算容器等领域,具体涉及一种监控方法、装置、电子设备以及存储介质。
背景技术
一个完整的监控系统通常包括多个独立系统,即通过多个互相独立的系统实现监控,但是,多个独立系统互相分散,无法进行关联监控。如一个完整的监控系统包括指标监控系统、日志监控系统和告警系统,通常这三个系统是相互独立的,也即指标监控系统、日志监控系统和告警系统是分散的系统,三个系统之间无法建立关联关系,即无法实现多维度的监控关联分析。
发明内容
本发明实施例的目的在于提供一种监控方法、装置、电子设备以及存储介质,以实现关联监控。具体技术方案如下:
第一方面,本发明实施例提供了一种监控方法,包括:
获取至少一个统一标签,其中,所述统一标签为将监控对象的标签指纹转换得到的,不同监控对象分别对应的统一标签的关键字相同;
针对所述至少一个统一标签,基于所述统一标签,通过预先建立的统一标签与多个监控系统中监控信息的对应关系,获取所述统一标签对应的多个监控系统中针对所述监控对象的监控信息。
可选的,预先建立统一标签与多个监控系统中监控信息的对应关系的步骤,包括:
针对多个监控系统,分别获取各个监控系统中针对至少一个监控对象的监控信息;
获取所述至少一个监控对象对应的统一标签;
针对所述至少一个监控对象,建立所述统一标签与各个监控系统中针对至少一个监控对象的监控信息的对应关系。
可选的,所述多个监控系统包括指标监控系统、日志监控系统和告警系统;
所述基于所述统一标签,通过预先建立的统一标签与多个监控系统中的监控信息的对应关系,获取所述统一标签对应的多个监控系统中针对所述监控对象的监控信息,包括:
基于所述统一标签,通过预先建立的统一标签与多个监控系统中的监控信息的对应关系,获取所述统一标签对应的所述指标监控系统中的性能指标信息、所述统一标签对应的所述日志监控系统中的日志条目和所述统一标签对应的所述告警系统中的告警信息。
可选的,所述针对多个监控系统,分别获取各个监控系统中针对至少一个监控对象的监控信息,包括:
获取监控对象的性能指标信息、日志条目和告警信息,所述性能指标信息是所述指标监控系统中针对所述监控对象的监控信息,所述日志条目是日志监控系统中针对所述监控对象的监控信息,所述告警信息是告警系统中针对所述监控对象的监控信息;
所述针对所述至少一个监控对象,建立所述统一标签与各个监控系统中针对至少一个监控对象的监控信息的对应关系,包括:
针对所述至少一个监控对象,建立所述统一标签与所述性能指标信息、所述日志条目和所述告警信息的对应关系。
可选的,在所述获取所述至少一个监控对象对应的统一标签之前,所述方法还包括:
获取至少一个监控对象的标签指纹;
针对所述至少一个监控对象,将所述标签指纹转换为统一标签,其中,不同监控对象分别对应的统一标签的关键字相同;
对应存储所述监控对象和所述统一标签。
可选的,所述将所述标签指纹转换为统一标签,包括:
将所述标签指纹输入预先建立的匹配模型,利用所述匹配模型得到所述标签指纹对应的统一标签,其中,匹配模型是基于多个样本指纹数据学习得到的。
第二方面,本发明实施例提供了一种监控装置,包括:
第一获取模块,用于获取至少一个统一标签,其中,所述统一标签为将监控对象的标签指纹转换得到的,不同监控对象分别对应的统一标签的关键字相同;
查询模块,用于针对所述至少一个统一标签,基于所述统一标签,通过预先建立的统一标签与多个监控系统中监控信息的对应关系,获取所述统一标签对应的多个监控系统中针对所述监控对象的监控信息。
可选的,所述装置还包括:
第二获取模块,用于针对多个监控系统,分别获取各个监控系统中针对至少一个监控对象的监控信息;获取所述至少一个监控对象对应的统一标签;
建立模块,用于针对所述至少一个监控对象,建立所述统一标签与各个监控系统中针对至少一个监控对象的监控信息的对应关系。
可选的,所述多个监控系统包括指标监控系统、日志监控系统和告警系统;
所述查询模块,具体用于基于所述统一标签,通过预先建立的统一标签与多个监控系统中的监控信息的对应关系,获取所述统一标签对应的所述指标监控系统中的性能指标信息、所述统一标签对应的所述日志监控系统中的日志条目和所述统一标签对应的所述告警系统中的告警信息。
可选的,所述第二获取模块,具体用于:获取监控对象的性能指标信息、日志条目和告警信息,所述性能指标信息是所述指标监控系统中针对所述监控对象的监控信息,所述日志条目是日志监控系统中针对所述监控对象的监控信息,所述告警信息是告警系统中针对所述监控对象的监控信息;
所述建立模块,具体用于针对所述至少一个监控对象,建立所述统一标签与所述性能指标信息、所述日志条目和所述告警信息的对应关系。
可选的,所述装置还包括:
第三获取模块,用于获取至少一个监控对象的标签指纹;
转换模块,用于针对所述至少一个监控对象,将所述标签指纹转换为统一标签,其中,不同监控对象分别对应的统一标签的关键字相同;
存储模块,用于对应存储所述监控对象和所述统一标签。
可选的,所述转换模块,具体用于将所述标签指纹输入预先建立的匹配模型,利用所述匹配模型得到所述标签指纹对应的统一标签,其中,匹配模型是基于多个样本指纹数据学习得到的。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面所述的方法步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的方法步骤。
本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的方法步骤。
本发明实施例有益效果:
本发明实施例提供的监控方法、装置、电子设备以及存储介质,可以获取至少一个统一标签,其中,统一标签为将监控对象的标签指纹转换得到的,不同监控对象分别对应的统一标签的关键字相同;针对至少一个统一标签,基于统一标签,通过预先建立的统一标签与多个监控系统中监控信息的对应关系,获取统一标签对应的多个监控系统中针对监控对象的监控信息。本发明实施例中可以预先建立统一标签与多个监控系统中的监控信息的对应关系,也即预先建立多个统一标签分别与多个监控系统中的监控信息的对应关系,如此,可以利用统一标签,从统一标签分别与多个监控系统中的监控信息的对应关系中查询各个统一标签对应的多个监控系统中的监控信息,可以实现多个监控系统的关联分析。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的监控方法的流程图;
图2为本发明实施例中预先建立统一标签与多个监控系统中的监控信息的对应关系的流程图;
图3为本发明实施例中预先确定统一标签的流程图;
图4为应用本发明实施例提供的监控方法的流程图;
图5为本发明实施例还提供了一种监控装置的一种结构示意图;
图6为本发明实施例还提供了一种监控装置的另一种结构示意图;
图7为本发明实施例还提供了一种监控装置的又一种结构示意图;
图8为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的监控方法可以应用于电子设备,如终端、服务器等,服务器可以是监控系统中的服务器,等等。
本发明实施例提供的监控方法,可以包括:
获取至少一个统一标签,其中,统一标签为将监控对象的标签指纹转换得到的,不同监控对象分别对应的统一标签的关键字相同;
针对至少一个统一标签,基于统一标签,通过预先建立的统一标签与多个监控系统中监控信息的对应关系,获取统一标签对应的多个监控系统中针对监控对象的监控信息。
本发明实施例中可以预先建立统一标签与多个监控系统中的监控信息的对应关系,也即预先建立多个统一标签分别与多个监控系统中的监控信息的对应关系,如此,可以利用统一标签,从统一标签分别与多个监控系统中的监控信息的对应关系中查询各个统一标签对应的多个监控系统中的监控信息,可以实现多个监控系统的关联分析。
图1为本发明实施例提供的监控方法的流程图,参见图1,本发明实施例提供的监控方法可以包括:
S101,获取至少一个统一标签。
其中,统一标签为将监控对象的标签指纹转换得到的。
不同监控对象分别对应的统一标签的关键字相同。
一种可实现方式中,可以预先建立至少一个监控对象与各自对应的统一标签的对应关系,且可以将建立的该至少一个监控对象与各自对应的统一标签的对应关系存储至数据库,例如存储至统一标签数据库中。待对监控对象进行监控分析时,可以获取该监控对象对应的统一标签,如查询统一标签数据库,获取该监控对象对应的统一标签。其中,一个监控对象对应的统一标签可以包括1个,或者,也可以包括多个。
S102,针对至少一个统一标签,基于统一标签,通过预先建立的统一标签与多个监控系统中的监控信息的对应关系,获取统一标签对应的多个监控系统中针对监控对象的监控信息。
本发明实施例中可以预先建立统一标签与多个监控系统中的监控信息的对应关系,也即预先建立多个统一标签分别与多个监控系统中的监控信息的对应关系,如此,可以利用统一标签,从统一标签分别与多个监控系统中的监控信息的对应关系中查询各个统一标签对应的多个监控系统中的监控信息,可以实现多个监控系统的关联分析。同时,利用统一标签可以快速地获取多个监控系统中的监控信息,提高运维效率。
一种可选的实施例中,多个监控系统包括指标监控系统、日志监控系统和告警系统。
基于统一标签,通过预先建立的统一标签与多个监控系统中的监控信息的对应关系,获取统一标签对应的多个监控系统中针对监控对象的监控信息,包括:
基于统一标签,通过预先建立的统一标签与多个监控系统中的监控信息的对应关系,获取统一标签对应的指标监控系统中的性能指标信息、统一标签对应的日志监控系统中的日志条目和统一标签对应的告警系统中的告警信息。
预先建立的多个统一标签分别与多个监控系统中的监控信息的对应关系,也可以称之为基于统一标签的倒排索引,即以统一标签为查询主键排序的数据。
监控系统中的性能指标信息简单理解为监控对象的指标,日志监控系统中的日志条目简单理解为监控对象的日志,告警系统中的告警信息简单理解为监控对象相关的告警。
预先建立统一标签与多个监控系统中的监控信息的对应关系,即预先建立统一标签与指标监控系统中的性能指标信息、日志监控系统中的日志条目和告警系统中的告警信息的对应关系,简单理解为统一标签到指标、日志及告警的时序数据集合之间的倒排索引,如此,可以基于统一标签查询关联的性能指标信息、日志条目和告警信息而进行关联分析。即通过建立统一标签到指标、日志及告警的时序数据集合之间的倒排索引,实现各监控系统的关联查询和分析,提升了运维管理效率。例如,针对频繁升级的容器应用。
图2为本发明实施例中预先建立统一标签与多个监控系统中的监控信息的对应关系的流程图。参见图2,预先建立统一标签与多个监控系统中监控信息的对应关系的步骤,包括:
S201,针对多个监控系统,分别获取各个监控系统中针对至少一个监控对象的监控信息。
例如,各个监控系统分别实时监测各个监控对象,针对各个监控对象,可以从各个监控系统中采集监控对象的监控信息。
S202,获取至少一个监控对象对应的统一标签。
可以预先建立至少一个监控对象与各自对应的统一标签的对应关系,且可以将建立的该至少一个监控对象与各自对应的统一标签的对应关系存储至数据库,例如存储至统一标签数据库中。如此,可以利用监控对象从数据库中获取监控对象对应的统一标签。
S203,针对至少一个监控对象,建立统一标签与各个监控系统中针对至少一个监控对象的监控信息的对应关系。
一种可选的实施例中,多个监控系统包括指标监控系统、日志监控系统和告警系统。
预先建立统一标签与多个监控系统中监控信息的对应关系的步骤,即预先建立统一标签与指标监控系统、日志监控系统和告警系统中监控信息的对应关系。
S201可以包括:获取监控对象的性能指标信息、日志条目和告警信息。
性能指标信息是指标监控系统中针对监控对象的监控信息,日志条目是日志监控系统中针对监控对象的监控信息,告警信息是告警系统中针对监控对象的监控信息;
S202可以包括:获取监控对象对应的统一标签。
可以预先建立至少一个监控对象与各自对应的统一标签的对应关系,且可以将建立的该至少一个监控对象与各自对应的统一标签的对应关系存储至数据库,例如存储至统一标签数据库中。如此,可以利用监控对象从数据库中获取监控对象对应的统一标签。
S203可以包括:建立统一标签与性能指标信息、日志条目和告警信息的对应关系。
通过查询统一标签数据库为资源的指标、日志和告警绑定相应的统一标签,即通过查询统一标签数据库获取监控对象对应的统一标签,并为监控对象性能指标信息、日志条目和告警信息绑定该监控对象对应的统一标签。
建立统一标签到指标、日志和告警的时序数据集合的倒排索引,在监控关联分析时,可以通过查询统一标签快速的获得关联的监控指标、日志和告警条目,实现多维度的监控关联分析。
实现各监控系统的关联查询和分析,提升了运维管理效率。例如,针对频繁升级的容器应用,不需要每次升级时都重新从配置文件中获取监控对象的标签指纹,也不需要针对分别从各个监控对象分别从各个监控系统中获取监控对象的监控信息,能够实现针对容器应用的各监控系统的关联查询和分析,提升了运维管理效率。
图3为本发明实施例中预先确定统一标签的流程图。参见图3,本发明实施例中预先确定统一标签可以包括:
S301,获取至少一个监控对象的标签指纹。
监控对象可以包括:基础设施层对象、平台服务层对象、和/或容器应用。基础设施层对象,如虚机、存储、网络,等等;平台服务层对象,如平台服务组件,等等。
一种可实现方式中,可以根据服务发现获得监控对象,并提取监控对象的标签指纹。
例如,可以针对基础设施层对象,在基础设施层进行部署的时候对基础设施层的对象提取标签指纹,如在基础设施层进行部署时,针对虚机、存储、网络进行标签指纹提取。可以针对平台服务层对象,在部署平台服务时提取标签指纹,如从平台服务组件中提取平台服务的标签指纹。可以针对容器应用,在部署容器应用时提取标签指纹,从应用镜像、部署配置和目标容器引擎中提取容器应用标签指纹。
S302,针对至少一个监控对象,将标签指纹转换为统一标签。
其中,不同监控对象分别对应的统一标签的关键字相同。
所有监控对象使用统一类型的标签,例如,所有监控对象的统一标签均使用K-V形式的标签,也即键值对形式的标签,不同监控对象的K(关键字)相同,V值(关键字对应的值)不同。如所有监控对象针对中央处理器(Central Processing Unit,CPU)的统一标签是:CPU:CPU值形式的,不同监控对象针对CPU的统一标签中使用相同的关键字,而CPU值不同。
将标签指纹转换为统一标签,如,将标签指纹转换为预设类型、预设形式的标签。例如,针对监控对象的CPU的统一标签使用预设的关键字,CPU,当获取到标签指纹(如标签指纹中通过包含cpu的内容)后,可以提取标签指纹中表示的监控对象的CPU的内容,并表示成CPU:CPU值形式,即将cpu表示成CPU,并将标签指纹中表示的监控对象的CPU的内容填充至CPU值中。
一个监控对象可以对应1个统一标签,或者,也可以对应多个统一标签。
S303,对应存储监控对象和统一标签。
存储统一标签与监控对象的关系数据库,以监控对象为主键。
可以将监控对象和统一标签的对应关系存储在数据库。例如,存储在统一标签数据库中。
本发明实施例中将原始标签自动转化为系统统一标签。同时,引入了统一标签数据库,可以对标签进行统一管理和运维。
一种可选的实施例中,可以预先训练一匹配模型,并利用该匹配模型进行标签匹配,如,通过匹配模型从标签指纹中提取各监控对象的统一标签,并将统一标签和监控对象进行绑定,也可以理解为建立监控对象与统一标签的对应关系,如存储监控对象的标识信息与统一标签的对应关系。
将标签指纹输入预先建立的匹配模型,利用匹配模型得到标签指纹对应的统一标签。
可以生成标签指纹与统一标签的匹配关系,如将一组标签指纹输入匹配模型可以得出一组统一标签。
其中,匹配模型可以是基于多个样本指纹数据学习得到的。例如,可以获取大量的样本指纹数据,基于大量的样本指纹数据进行特征分析、归类,构造标签指纹与统一标签的映射关系,根据标签指纹分析生成与统一标签的映射关系模型,即匹配模型。将获取的大量的指纹数据作为样本数据,学习得到标签指纹与统一标签的映射关系。
监控系统进行指标、日志采集、告警触发时,可以查询统一标签数据库,分别建立指标、日志、告警响应的时间序列以统一标签为索引的倒排索引。如此,通过统一标签查询该倒排索引,可以获得关联的指标、日志、告警相应的时序数据集合,实现关联分析,也可以理解为实现多维度的监控关联分析。同时,通过统一标签可以快速获取关联的指标、日志、告警等信息,基于关联的指标、日志、告警等信息可以进行运维管理等,如此,能够提高运维效率。
相比较于相关监控技术的指标监控、日志监控和告警系统是分散的系统,无法建立关联关系,即无法实现多维度的监控关联分析,本发明实施例中将指标监控系统、日志监控系统和告警系统的监控条目进行关联,实现告警的关联分析。另外,相比较于相关技术中标签分散在各配置文件中,无法集中管理,本发明实施例中利用统一标签数据库,可以集中使用、维护管理标签,将原始标签自动转化为系统统一标签,并结合统一标签数据库,对标签进行统一管理和运维。
本发明实施例中的监控方法可以理解为基于统一标签的监控方法。
通过将监控对象的标签指纹转化为统一标签化并存储于统一标签数据库,实现监控系统标签的一致性管理。
针对相关技术中监控系统中指标系统、日志系统和告警系统之间相互独立,无法建立关联分析的问题,本公开实施例红通过建立统一标签到指标、日志及告警的时序数据集合之间的倒排索引,实现各监控系统的关联查询和分析,提升了运维管理效率,特别是频繁升级的容器应用。
具体地:提取监控对象的标签指纹,并绑定最匹配的统一标签,将统一标签与对象的绑定关系存储在统一标签数据库中。
在采集(或生成)监控对象的指标、日志条目或告警事件触发时,通过查询统一标签库为资源的指标、日志和告警绑定相应的统一标签,建立统一标签到指标、日志和告警的时序数据集合的倒排索引。
如此,在监控关联分析时,可以通过查询统一标签快速的获得关联的监控指标、日志和告警条目,实现多维度的监控关联分析。
图4为应用本发明实施例提供的监控方法的流程图。参见与4,对本发明实施例提供的监控方法进行详细说明。
对监控对象进行指纹提取。
在基础设施层进行部署的时候对基础设施层的对象提取标签指纹,如在基础设施层进行部署可时,针对虚机、存储、网络进行标签指纹提取。在部署平台服务时提取标签指纹,如从平台服务组件中提取平台服务的标签指纹。在部署容器应用时提取标签指纹,从应用镜像、部署配置和目标容器引擎中提取容器应用标签指纹。
利用匹配模型生成模块,生成标签指纹与统一标签的匹配关系,一组标签指纹输入匹配模型可以得出一组统一标签。
标签匹配:通过匹配模型从标签指纹中提取各对象的统一标签,并将标签和对象进行绑定,存储统一标签与监控对象的关系数据库,以监控对象为主键。
倒排索引库:在采集监控对象的指标、日志条目以及告警事件触发时,查询统一标签数据库获得监控对象的统一标签,建立统一标签到指标、日志和告警的时序数据的倒排索引。
倒排索引数据库可以理解为以统一标签作为关键字排序的数据,查询过程中,可以以统一标签作为查询键查询得到统一标签对应的性能指标信息、日志条目、告警信息,等等。
一种可实现方式中,可以通过一预处理流程得到匹配模型,匹配模型也可以称之为映射关系模型。
预处理流程可以包括:
标签指纹特征分析:基于大量的指纹数据进行特征分析、归类,构造标签指纹与统一标签的映射关系。
生成标签指纹和统一标签的匹配模型:根据标签指纹分析生成与统一标签的映射关系模型。
可以理解为,将获取的大量的指纹数据作为样本数据,学习得到标签指纹与统一标签的映射关系。
评价:通过构造测试数据测试映射关系模型,验证模型的准确性。
通过评价过程可以提高映射关系模型的准确性,如此可以提高通过映射关系模型得到统一标签的准确性。
获取监控对象的标签指纹后,如提取服务组件的标签指纹后,可以通过该映射关系模型为服务组件绑定服务组件最匹配的服务组件所属层次的统一标签,并将监控对象与统一标签的绑定关系,也即监控对象与统一标签的对应关系存储在统一标签数据库中。
在标签提取过程中,可以提取监控对象的标签指纹,例如,服务组件部署并提取服务组件的标签指纹:从服务组件的配置文件中提取label(标签)键值对作为标签指纹。然后,进行匹配标签:将标签指纹作为输入,通过上述预处理流程中生成的标签指纹和统一标签的映射关系模型,为标签对象,如服务组件绑定最匹配的统一标签。
统一标签存储:将统一标签与监控对象的对应关系,如统一标签与服务组件的绑定关系存储在统一标签数据库中。
如此,可以基于统一标签数据库中统一标签与监控对象的对应关系进行查询,如可以通过映射关系模型为组件绑定最匹配的组件所属层次的标签。
标签查询:在采集监控对象指标、日志和告警事件触发时,将通过统一标签库为监控对象的指标、日志和告警绑定相应的统一标签。
标签索引建立:以统一标签为索引建立统一标签与指标、日志、告警响应的时间序列的倒排索引数据库,并存储。
也可以理解为建立统一标签与的性能指标信息、日志条目、告警信息的对应关系。
如此,可以实现关联分析,具体地,通过查询统一标签,可以获得关联的指标、日志、告警相对应的时间数据集合,可以快速的实现指标、日志、告警关联。
Prometheus基于时间序列的监控系统,Prometheus可以通过超文本传输协议(HyperTextTransferProtocol,HTTP)接口获取监控数据,各个监控对象可以通过Exporter进行监控数据指标的采集,Prometheus经过一定的配置可以从各种Exporter主动采集监控数据。在Prometheus Server(服务器)和Exporter之间构建一个Adapter(中间组件),此时Prometheus不再直接向Exporter发起HTTP请求抓取监控指标,而是向Adapter发起请求。一旦Adapter接收到请求之后会转而向Exporter发起请求真正抓取到监控指标。已知指标内容其实就是一些文本,因此只要做一些简单的插入操作就能将自定义的指标注入。最后,将处理后的内容再返回至Prometheus Server即可。
Prometheus中存储的数据为时间序列,是由Metric(指标)的名字和一系列的标签(键值对)唯一标识的,不同的标签代表不同的时间序列,即通过指定标签查询指定数据。指标+标签实现了查询条件的作用,可以指定不同的标签过滤不同的数据。监控系统通过服务发现机制发现监控对象,提取监控对象指标和标签。
一个完整的监控系统通常包括指标监控系统、日志监控系统和告警系统,通常这三个系统是相互独立的,又实际上存在着关联关系,比如CPU过载,将会涉及相应的CPU指标、日志、CPU过载告警,相关技术中是以时序数据库的进行存储,数据模型相似,但是由于系统之间相互独立,导致监控体系里进行关联分析存在困难,无法将三个系统的关联信息串起来分析。
本发明实施例中通过将监控对象的标签指纹转化为统一标签化并存储于统一标签数据库,实现监控系统标签的一致性管理。针对相关技术中监控系统中指标系统、日志系统和告警系统之间相互独立,无法建立关联分析的问题,本发明实施例中通过建立统一标签到指标、日志及告警的时序数据集合之间的倒排索引,实现各监控系统的关联查询和分析,提升了运维管理效率,特别是频繁升级的容器应用。
具体地:根据服务发现获得监控对象,并提取监控对象的标签指纹,经标签匹配绑定最匹配的统一标签,将统一标签与监控对象的绑定关系存储在统一标签数据库中。在采集(或生成)监控对象的指标、日志条目或告警事件触发时,通过查询统一标签数据库为资源的指标、日志和告警绑定相应的统一标签,建立统一标签到指标、日志和告警的时序数据集合的倒排索引,在监控关联分析时,可以通过查询统一标签快速的获得关联的监控指标、日志和告警条目,实现多维度的监控关联分析,提升运维效率。
本发明实施例可以运用于监控系统中的统一标签管理以及多维监控信息的关联分析,通过对监控对象的标签指纹提取、转换及绑定统一标签,从而实现监控系统内多种监控对象的标签一致性,再通过将统一标签注入到指标监控系统、日志监控系统和告警系统中,实现指标系统、日志系统和告警系统基于统一标签的的关联查询。
同时,相比较于相关技术监控系统中对监控对象的标签无法统一的管理维护,而是在各自监控对象中进行手工配置,通过监控系统提取,不同监控对象往往由不同的团队进行管理和维护,即相关技术中标签分散在各配置文件中,无法集中管理,例如,对于频繁部署升级的容器应用,标签分散再各个容器配置文件中,其标签难以维护,本发明实施例提取标签指纹,将变迁指纹转换为统一标签,并将监控对象与统一标签的对应关系存储在数据库中,实现了利用统一标签数据库,可以集中使用、维护管理标签。
对应于上述实施例提供的监控方法,本发明实施例还提供了一种监控装置,如图5所示,可以包括:
第一获取模块501,用于获取至少一个统一标签,其中,统一标签为将监控对象的标签指纹转换得到的,不同监控对象分别对应的统一标签的关键字相同;
查询模块502,用于针对至少一个统一标签,基于统一标签,通过预先建立的统一标签与多个监控系统中监控信息的对应关系,获取统一标签对应的多个监控系统中针对监控对象的监控信息。
可选的,如图6所示,该装置还包括:
第二获取模块601,用于针对多个监控系统,分别获取各个监控系统中针对至少一个监控对象的监控信息;获取至少一个监控对象对应的统一标签;
建立模块602,用于针对至少一个监控对象,建立统一标签与各个监控系统中针对至少一个监控对象的监控信息的对应关系。
可选的,多个监控系统包括指标监控系统、日志监控系统和告警系统;
查询模块502,具体用于基于统一标签,通过预先建立的统一标签与多个监控系统中的监控信息的对应关系,获取统一标签对应的指标监控系统中的性能指标信息、统一标签对应的日志监控系统中的日志条目和统一标签对应的告警系统中的告警信息。
可选的,第二获取模块601,具体用于:获取监控对象的性能指标信息、日志条目和告警信息,性能指标信息是指标监控系统中针对监控对象的监控信息,日志条目是日志监控系统中针对监控对象的监控信息,告警信息是告警系统中针对监控对象的监控信息;
建立模块602,具体用于针对至少一个监控对象,建立统一标签与性能指标信息、日志条目和告警信息的对应关系。
可选的,如图7所示,该装置还包括:
第三获取模块701,用于获取至少一个监控对象的标签指纹;
转换模块702,用于针对至少一个监控对象,将标签指纹转换为统一标签,其中,不同监控对象分别对应的统一标签的关键字相同;
存储模块703,用于对应存储监控对象和统一标签。
可选的,转换模块702,具体用于将标签指纹输入预先建立的匹配模型,利用匹配模型得到标签指纹对应的统一标签,其中,匹配模型是基于多个样本指纹数据学习得到的。
本发明实施例还提供了一种电子设备,如图8所示,包括处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信。
存储器803,用于存放计算机程序;
处理器801,用于执行存储器803上所存放的程序时,实现上述监控方法的方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended IndustryStandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述监控方法的方法步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中监控方法的方法步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (14)
1.一种监控方法,其特征在于,包括:
获取至少一个统一标签,其中,所述统一标签为将监控对象的标签指纹转换得到的,不同监控对象分别对应的统一标签的关键字相同;
针对所述至少一个统一标签,基于所述统一标签,通过预先建立的统一标签与多个监控系统中监控信息的对应关系,获取所述统一标签对应的多个监控系统中针对所述监控对象的监控信息。
2.根据权利要求1所述的方法,其特征在于,预先建立统一标签与多个监控系统中监控信息的对应关系的步骤,包括:
针对多个监控系统,分别获取各个监控系统中针对至少一个监控对象的监控信息;
获取所述至少一个监控对象对应的统一标签;
针对所述至少一个监控对象,建立所述统一标签与各个监控系统中针对至少一个监控对象的监控信息的对应关系。
3.根据权利要求2所述的方法,其特征在于,所述多个监控系统包括指标监控系统、日志监控系统和告警系统;
所述基于所述统一标签,通过预先建立的统一标签与多个监控系统中的监控信息的对应关系,获取所述统一标签对应的多个监控系统中针对所述监控对象的监控信息,包括:
基于所述统一标签,通过预先建立的统一标签与多个监控系统中的监控信息的对应关系,获取所述统一标签对应的所述指标监控系统中的性能指标信息、所述统一标签对应的所述日志监控系统中的日志条目和所述统一标签对应的所述告警系统中的告警信息。
4.根据权利要求3所述的方法,其特征在于,所述针对多个监控系统,分别获取各个监控系统中针对至少一个监控对象的监控信息,包括:
获取监控对象的性能指标信息、日志条目和告警信息,所述性能指标信息是所述指标监控系统中针对所述监控对象的监控信息,所述日志条目是日志监控系统中针对所述监控对象的监控信息,所述告警信息是告警系统中针对所述监控对象的监控信息;
所述针对所述至少一个监控对象,建立所述统一标签与各个监控系统中针对至少一个监控对象的监控信息的对应关系,包括:
针对所述至少一个监控对象,建立所述统一标签与所述性能指标信息、所述日志条目和所述告警信息的对应关系。
5.根据权利要求2所述的方法,其特征在于,在所述获取所述至少一个监控对象对应的统一标签之前,所述方法还包括:
获取至少一个监控对象的标签指纹;
针对所述至少一个监控对象,将所述标签指纹转换为统一标签,其中,不同监控对象分别对应的统一标签的关键字相同;
对应存储所述监控对象和所述统一标签。
6.根据权利要求5所述的方法,其特征在于,所述将所述标签指纹转换为统一标签,包括:
将所述标签指纹输入预先建立的匹配模型,利用所述匹配模型得到所述标签指纹对应的统一标签,其中,匹配模型是基于多个样本指纹数据学习得到的。
7.一种监控装置,其特征在于,包括:
第一获取模块,用于获取至少一个统一标签,其中,所述统一标签为将监控对象的标签指纹转换得到的,不同监控对象分别对应的统一标签的关键字相同;
查询模块,用于针对所述至少一个统一标签,基于所述统一标签,通过预先建立的统一标签与多个监控系统中监控信息的对应关系,获取所述统一标签对应的多个监控系统中针对所述监控对象的监控信息。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于针对多个监控系统,分别获取各个监控系统中针对至少一个监控对象的监控信息;获取所述至少一个监控对象对应的统一标签;
建立模块,用于针对所述至少一个监控对象,建立所述统一标签与各个监控系统中针对至少一个监控对象的监控信息的对应关系。
9.根据权利要求8所述的装置,其特征在于,所述多个监控系统包括指标监控系统、日志监控系统和告警系统;
所述查询模块,具体用于基于所述统一标签,通过预先建立的统一标签与多个监控系统中的监控信息的对应关系,获取所述统一标签对应的所述指标监控系统中的性能指标信息、所述统一标签对应的所述日志监控系统中的日志条目和所述统一标签对应的所述告警系统中的告警信息。
10.根据权利要求9所述的装置,其特征在于,所述第二获取模块,具体用于:获取监控对象的性能指标信息、日志条目和告警信息,所述性能指标信息是所述指标监控系统中针对所述监控对象的监控信息,所述日志条目是日志监控系统中针对所述监控对象的监控信息,所述告警信息是告警系统中针对所述监控对象的监控信息;
所述建立模块,具体用于针对所述至少一个监控对象,建立所述统一标签与所述性能指标信息、所述日志条目和所述告警信息的对应关系。
11.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第三获取模块,用于获取至少一个监控对象的标签指纹;
转换模块,用于针对所述至少一个监控对象,将所述标签指纹转换为统一标签,其中,不同监控对象分别对应的统一标签的关键字相同;
存储模块,用于对应存储所述监控对象和所述统一标签。
12.根据权利要求11所述的装置,其特征在于,所述转换模块,具体用于将所述标签指纹输入预先建立的匹配模型,利用所述匹配模型得到所述标签指纹对应的统一标签,其中,匹配模型是基于多个样本指纹数据学习得到的。
13.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111642110.4A CN114490246A (zh) | 2021-12-29 | 2021-12-29 | 一种监控方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111642110.4A CN114490246A (zh) | 2021-12-29 | 2021-12-29 | 一种监控方法、装置、电子设备以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114490246A true CN114490246A (zh) | 2022-05-13 |
Family
ID=81507450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111642110.4A Pending CN114490246A (zh) | 2021-12-29 | 2021-12-29 | 一种监控方法、装置、电子设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114490246A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116737498A (zh) * | 2023-06-15 | 2023-09-12 | 中科驭数(北京)科技有限公司 | 遥测数据采集方法、系统、装置、设备及介质 |
-
2021
- 2021-12-29 CN CN202111642110.4A patent/CN114490246A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116737498A (zh) * | 2023-06-15 | 2023-09-12 | 中科驭数(北京)科技有限公司 | 遥测数据采集方法、系统、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111522922B (zh) | 日志信息查询方法、装置、存储介质及计算机设备 | |
CN107798038B (zh) | 数据响应方法及数据响应设备 | |
US8214372B2 (en) | Determining configuration parameter dependencies via analysis of configuration data from multi-tiered enterprise applications | |
US9390176B2 (en) | System and method for recursively traversing the internet and other sources to identify, gather, curate, adjudicate, and qualify business identity and related data | |
CN113489713B (zh) | 网络攻击的检测方法、装置、设备及存储介质 | |
US20220019742A1 (en) | Situational awareness by fusing multi-modal data with semantic model | |
CN110807085A (zh) | 故障信息的查询方法及装置、存储介质、电子装置 | |
CN110659282A (zh) | 数据路由的构建方法、装置、计算机设备和存储介质 | |
CN112148701A (zh) | 一种文件检索的方法及设备 | |
CN112559526A (zh) | 数据表导出方法、装置、计算机设备及存储介质 | |
CN107748772B (zh) | 一种商标识别方法及装置 | |
CN116055551A (zh) | 信息推送方法、装置、系统、电子设备及存储介质 | |
CN111209325A (zh) | 业务系统接口识别方法、装置及存储介质 | |
CN114490246A (zh) | 一种监控方法、装置、电子设备以及存储介质 | |
CN114492576A (zh) | 一种异常用户检测方法、系统、存储介质及电子设备 | |
JP6078485B2 (ja) | 運用履歴分析装置及び方法及びプログラム | |
CN111488386B (zh) | 数据查询方法和装置 | |
CN111045983A (zh) | 核电站电子文件管理方法、装置、终端设备及介质 | |
CN111368090A (zh) | 项目知识树的构建和检索方法 | |
CN115118583A (zh) | 日志查询方法、装置、电子设备及计算机可读存储设备 | |
CN108038233B (zh) | 一种采集文章的方法、装置、电子设备及存储介质 | |
CN115051863A (zh) | 异常流量检测的方法、装置、电子设备及可读存储介质 | |
CN112612817B (zh) | 数据处理方法、装置、终端设备及计算机可读存储介质 | |
CN112131215B (zh) | 自底向上的数据库信息获取方法及装置 | |
CN114356885A (zh) | 一种科技服务项目智能匹配方法、存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |