CN117650967A - 一种多集群指标处理方法、系统、电子设备及存储介质 - Google Patents

一种多集群指标处理方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN117650967A
CN117650967A CN202311620837.1A CN202311620837A CN117650967A CN 117650967 A CN117650967 A CN 117650967A CN 202311620837 A CN202311620837 A CN 202311620837A CN 117650967 A CN117650967 A CN 117650967A
Authority
CN
China
Prior art keywords
data
index
index data
preset
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311620837.1A
Other languages
English (en)
Inventor
段光辉
高立江
李树辉
李传波
陈香甫
陈红彪
马俊才
张忠仁
张大伟
卢加乐
徐庆洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Post Information Technology Beijing Co ltd
Original Assignee
China Post Information Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Post Information Technology Beijing Co ltd filed Critical China Post Information Technology Beijing Co ltd
Priority to CN202311620837.1A priority Critical patent/CN117650967A/zh
Publication of CN117650967A publication Critical patent/CN117650967A/zh
Pending legal-status Critical Current

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多集群指标处理方法、系统、电子设备及存储介质。包括:获取多个集群的初始指标数据,基于预设的指标过滤条件对初始指标数据进行过滤处理,将过滤后的初始指标数据存储至至少一个预设存储设备上;预配置一数据源信息;接收指标处理请求,根据指标处理请求和数据源信息从各预设存储设备中获取待处理的指标数据,对获取的待处理的指标数据进行同步聚合处理,得到目标指标数据,将目标指标数据返回至数据源信息。通过本方案实现了只需要配置一数据源信息即可获取多集群指标数据的方法,以及对多集群指标数据进行过滤处理、聚合处理方法,简化了数据源信息的配置操作,使得集群管理更加方便,提高多集群指标数据查询效率。

Description

一种多集群指标处理方法、系统、电子设备及存储介质
技术领域
本发明涉及互联网技术领域,尤其涉及一种多集群指标处理方法、系统、电子设备及存储介质。
背景技术
随着互联网业务的迅猛发展,虚拟化技术的出现使得应用程序可以在隔离的环境中运行,越来越多地采用集群的方式构建容器管理平台,随之而来的便是对集群的管理以及集群数据的处理越来越困难。
Kubernetes是一个全新的基于容器技术的分布式架构解决方案,Prometheus是一个开源的服务监控系统和时序数据库,通过将Prometheus部署在Kubernetes中,用于实现对集群及集群数据的查询管理。对于单个集群或者是数量较少的集群来说,上述方案足够满足管理需求,但是对于数量较大的集群的管理来说,需要配置每个集群的信息,使得存在配置操作复杂、集群数据查询和管理效率低的问题。
发明内容
本发明提供了一种多集群指标处理方法、系统、电子设备及存储介质,以解决现有技术中存在的信息配置操作复杂、集群数据查询和管理效率低的问题。
根据本发明的一方面,提供了一种多集群指标处理方法,包括:
获取多个集群的初始指标数据,基于预设的指标过滤条件对初始指标数据进行过滤处理,将过滤后的初始指标数据存储至至少一个预设存储设备上;
预配置一数据源信息;
接收指标处理请求,根据指标处理请求和数据源信息从各预设存储设备中获取待处理的指标数据,对获取的待处理的指标数据进行同步聚合处理,得到目标指标数据,将目标指标数据返回至数据源信息。
可选的,对初始指标数据进行过滤处理,包括:
创建多个并行的过滤进程,每一过滤进程对至少一个集群的初始指标数据基于预设的指标过滤条件进行过滤处理。
可选的,方法还包括:基于预设告警规则对目标指标数据进行判定,在目标指标数据满足预设告警规则的情况下,执行告警处理。
可选的,方法还包括:根据预设展示方式对目标指标数据进行展示。
可选的,在对预设存储设备进行访问之前,还包括:对预设存储设备的访问对象的信息进行验证,若验证成功,访问对象可以访问预设存储设备。
可选的,方法还包括,为预设存储设备配置数据存储时间,基于数据存储时间确定待删除初始指标数据,将待删除初始指标数据进行删除。
根据本发明的另一方面,提供了一种多集群指标处理系统,包括:数据存储模块、数据处理模块、数据聚合模块;
数据存储模块,用于获取多个集群的初始指标数据,基于预设的指标过滤条件对初始指标数据进行过滤处理,将过滤后的初始指标数据存储至至少一个预设存储设备上;
数据处理模块,用于预配置一数据源信息;
数据聚合模块,用于接收指标处理请求,根据指标处理请求和数据源信息从各预设存储设备中获取待处理的指标数据,对获取的待处理的指标数据进行同步聚合处理,得到目标指标数据,将目标指标数据返回至数据源信息
可选的,数据处理模块还用于对目标指标数据进行处理,以及根据预设展示方式对目标指标数据和/或目标指标数据的处理结果进行展示。
根据本发明的另一方面,提供了一种电子设备,电子设备包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行本发明任一实施例的多集群指标处理方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行时实现本发明任一实施例的多集群指标处理方法。
本发明实施例的技术方案,通过获取多个集群的初始指标数据,基于预设的指标过滤条件对初始指标数据进行过滤处理,将过滤后的初始指标数据存储至至少一个预设存储设备上;预配置一数据源信息;接收指标处理请求,根据指标处理请求和数据源信息从各预设存储设备中获取待处理的指标数据,对获取的待处理的指标数据进行同步聚合处理,得到目标指标数据,将目标指标数据返回至数据源信息。通过本方案实现了只需要配置一数据源信息即可查询多集群指标数据的方法,以及对多集群指标数据进行过滤处理、聚合处理方法,简化了数据源信息的配置操作,提高多集群指标数据查询效率,还可以及时确定指标数据异常的集群信息。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种多集群指标处理方法的流程图;
图2是本发明实施例所适用的一种多集群指标处理方法的流程图;
图3是本发明实施例二提供的一种多集群指标处理系统的结构示意图;
图4是实现本发明实施例的多集群指标处理方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是本发明实施例一提供的一种多集群指标处理方法的流程图,本实施例可适用于对多集群指标数据进行处理的情况,该方法可以由多集群指标处理系统来执行,该多集群指标处理系统可以采用硬件和/或软件的形式实现,该多集群指标处理系统可配置于计算机中。如图1所示,该方法包括:
S110、获取多个集群的初始指标数据,基于预设的指标过滤条件对初始指标数据进行过滤处理,将过滤后的初始指标数据存储至至少一个预设存储设备上。
其中,初始指标数据具体可以理解为是表征集群的指标数据,包含但不限于CPU利用率、内存使用率、磁盘使用率、网络流量、HTTP请求等。可以通过在Kubernetes集群中部署Prometheus采集各集群的初始指标数据。预设指标过滤条件具体可以理解为是用户需要关注的指标,可以预先在配置文件中进行设置,还可以是预先设置对应的接口程序,在接口程序中设置需要关注的指标信息。
具体的,在Kubernetes集群中部署Prometheus采集各集群对应的初始指标数据,再根据预设的指标过滤条件将匹配的指标从采集的初始指标数据中过滤出来,并将过滤后的初始指标数据存储至至少一个预设存储设备上,示例性的,如果集群数量少于预设数量,则将采集的初始指标数据进行过滤后存储至一个预设存储设备上,如果集群数量大于预设数量,则对所有的集群进行分组,每一组集群分别预先分配对应的存储设备,将每一组集群对应的初始指标数据进行过滤后存储至对应的预设存储设备上。利用Prometheus的RemoteWrite功能将所采集的初始指标数据写入远程存储设备中。
可选的,对初始指标数据进行过滤处理,包括:创建多个并行的过滤进程,每一过滤进程对至少一个集群的初始指标数据基于预设的指标过滤条件进行过滤处理。
具体的,在存在多集群的情况下,根据实际需求可以对多集群进行分组,可同时对每一组集群进行初始指标数据的采集,并对采集的数据进行过滤处理,可以通过创建多个并行的过滤进程对对应的集群的初始指标数据基于预设的指标过滤条件进行过滤。
在本实施例中,通过对多集群进行分组,同时对每一组集群进行初始指标数据的采集和过滤处理,提高了指标数据采集的快速性,另外,还在存储初始指标数据之前,对采集的初始指标数据进行过滤处理,可以减少存储资源浪费。
可选的,在对预设存储设备进行访问之前,还包括:对预设存储设备的访问对象的信息进行验证,若验证成功,访问对象可以访问预设存储设备。
具体的,在对预设存储设备进行访问之前,对请求访问预设存储设备的访问对象的信息进行验证,验证访问对象的信息是否有访问权限,示例性的,可以将拥有访问权限的用户信息存储至对应的数据库中,也可以将拥有访问权限的用户信息存储至代理模块中,此处不做限定。在访问对象的信息验证成功的情况,该访问对象才可以访问预设存储设备,并将采集的指标数据存储至预设存储设备中,也可以从预设存储设备中读取数据。
在本实施例中,加入对预设存储设备的访问权限的认证功能,提高数据安全性。
S120、预配置一数据源信息。
其中,数据源信息具体可以理解为是用于存储数据源的地址信息或者是程序接口信息。
具体的,可以在配置文件中预配置一数据源信息,在需要获取数据的时候通过调用对应的配置文件确定数据源地址或者是获取数据源对应的接口信息。也可以是在应用程序提供的配置数据源信息的界面进行设置,示例性的,可以在Grafana的配置界面中配置数据源信息,需要说明的是,只需要在确定好数据源信息的情况下,在Grafana的配置界面中配置一次数据源信息即可,即使后续增加数据源对应的地址信息或者接口信息的情况下,也不需要对Grafana的配置界面中的数据源信息进行修改,也可以获取增新加的数据源中的数据。
S130、接收指标处理请求,根据指标处理请求和数据源信息从各预设存储设备中获取待处理的指标数据,对获取的待处理的指标数据进行同步聚合处理,得到目标指标数据,将目标指标数据返回至数据源信息。
其中,指标处理请求具体可以理解为是来自于用户或客户端或上游设备发出的请求,用于触发指标处理操作。可选的,指标处理请求包括数据查询语句。
具体的,在接收到指标处理请求的情况下,读取数据源信息,然后根据数据源信息确定要访问的预设存储设备,根据指标处理请求携带的数据查询语句从预设存储设备中查询出符合查询语句的初始指标数据,将查询出的初始指标数据作为待处理的指标数据,并对待处理的指标数据进行同步聚合处理,得到目标指标数据,其中,同步聚合处理可以根据预设的数据格式将查询到的各预设存储设备中的待处理数据进行聚合,并将聚合后的待处理数据作为目标指标数据返回至数据源信息,使得任一配置该数据源信息的设备或应用程序即可读取目标指标数据。
示例性的,在客户端上,通过可视化界面选取待处理的指标信息,根据所选择的指标信息生成对应的数据查询语句,通过可视化界面上的按钮将包含数据查询语句的指标处理请求发送出去,在Grafana中预配置一数据源信息,在Grafana接收到指标处理请求的情况下,读取配置的数据源信息,在数据源信息是数据查询接口的情况下,将数据查询语句传至数据查询接口,调用该数据查询接口,根据数据查询语句从预设存储设备中查询数据,查询出符合查询语句的初始指标数据,将查询出的初始指标数据作为待处理的指标数据,并对待处理的指标数据进行同步聚合处理,得到目标指标数据,将目标指标数据返回至数据查询接口,由数据查询接口输出给Grafana,通过Grafana对目标指标数据进行处理。
在上述实施例的基础上,方法还包括:基于预设告警规则对目标指标数据进行判定,在目标指标数据满足预设告警规则的情况下,执行告警处理。
其中,预设告警规则具体可以理解为是根据需求设定的一套条件或者触发机制,用于控制集群的运行状态是健康的,示例性的,可以通过设置指标阈值的方法设置各项指标的阈值,若指标数据超出对应的指标阈值,则表示满足预设告警规则,或者,通过设置正则表达式确定多个指标的告警规则。
具体的,根据集群指标数据的特征和需求预先设置对应的预设告警规则,判断目标指标数据是否满足对应的预设告警规则,若满足,则进行告警处理。可选的,可以通过Grafana执行对目标指标数据的告警处理,并将告警处理结果通过邮件、应用程序等个性化渠道进行通知。
在上述实施例的基础上,方法还包括:根据预设展示方式对目标指标数据进行展示。
具体的,通过Grafana对目标指标数据进行分析处理后,按照预设展示方式对分析结果在可视化界面进行展示,其中,预设展示方式包含但不限于折线图、面积图、散点图、链路图等。
在上述实施例的基础上,方法还包括,为预设存储设备配置数据存储时间,基于数据存储时间确定待删除初始指标数据,将待删除初始指标数据进行删除。
具体的,对预设存储设备设置对应的数据存储时间,基于初始指标数据的存储时间判断是否满足数据存储时间,在初始指标数据的存储时间满足数据存储时间的情况下,可以将对应的指标数据进行删除,用于及时腾出可用存储空间,避免存储空间的浪费。
在一个具体的实施例中,如图2所示的一种多集群指标处理方法流程图,在客户端输入指标信息或者是在可视化界面中选取指标信息,可经代理模块后将客户端上的信息通过指标处理请求的方式传输给数据处理模块,在数据处理模块中与配置一数据源信息,用于执行告警查询处理,并对告警结果和查询结果进行展示,其中,数据处理模块可以采用Grafana执行。对于多集群的指标数据进行分组采集,并将采集的多组集群指标数据进行指标过滤处理,对过滤后的指标数据进行持久化存储,在执行持久化存储至预设存储设备的时候,对集群的权限信息进行权限验证,其中,集群的权限信息可以预先进行配置,在验证的时候读取集群对应的权限信息进行验证,验证成功,则将过滤后的指标数据存储至预设存储设备中,相应地,在从预设存储设备中读取数据的情况下,需要对访问预设存储设备的用户信息进行权限验证,若验证成功,则允许从预设存储设备中读取数据。在执行告警查询处理过程中,先根据预配置一数据源信息确定各预设存储设备的地址信息,通过指标处理请求中的数据查询语言从各预设存储设备中查询出对应的指标数据,并将指标数据返回至数据源信息,通过数据处理模块进行处理并将处理结果进行展示。
本实施例的技术方案,通过获取多个集群的初始指标数据,基于预设的指标过滤条件对初始指标数据进行过滤处理,将过滤后的初始指标数据存储至至少一个预设存储设备上,实现了在对初始指标数据存储之前执行根据预设的指标过滤条件进行过滤操作,去除掉不必要的指标数,可以减少存储资源的浪费,有助于提高后续获取目标指标数据的速度;预配置一数据源信息,实现了仅需要配置唯一数据源信息便可实现对多集群的指标数据的获取操作;接收指标处理请求,根据指标处理请求和数据源信息从各预设存储设备中获取待处理的指标数据,对获取的待处理的指标数据进行同步聚合处理,得到目标指标数据,将目标指标数据返回至数据源信息,实现了将获取的多集群数据同步聚合后通过数据源信息输出。通过本方案实现了只需要配置一数据源信息即可获取到多集群指标数据的方法,以及对多集群指标数据进行过滤处理、聚合处理方法,简化了数据源信息的配置操作,使得集群管理更加方便,提高多集群指标数据查询效率,还可以及时确定指标数据异常的集群信息。
实施例二
图3是本发明实施例二提供的一种多集群指标处理系统的结构示意图。如图3所示,该系统包括:数据存储模块310、数据处理模块320、数据聚合模块330。
其中,数据存储模块310,用于获取多个集群的初始指标数据,基于预设的指标过滤条件对初始指标数据进行过滤处理,将过滤后的初始指标数据存储至至少一个预设存储设备上;数据处理模块320,用于预配置一数据源信息;数据聚合模块330,用于接收指标处理请求,根据指标处理请求和数据源信息从各预设存储设备中获取待处理的指标数据,对获取的待处理的指标数据进行同步聚合处理,得到目标指标数据,将目标指标数据返回至数据源信息。
具体的,通过数据存储模块310采集多个集群的初始指标数据,按照预设的指标过滤条件对初始指标数据进行过滤处理,去除掉不满足预设的指标过滤条件的初始指标数据,将过滤后的初始指标数据存储至至少一个预设存储设备上。
在数据处理模块320中配置一数据源信息,用于获取目标指标数据,在本实施例中,数据源信息可以是数据聚合模块330对应的信息,可以通过数据源信息调用数据聚合模块330,用于获取目标指标数据。
通过数据聚合模块330接收指标处理请求,根据数据源信息确定要访问的预设存储设备,根据指标处理请求中的数据查询语句从预设存储设备中查询出符合查询语句的初始指标数据,将查询出的初始指标数据作为待处理的指标数据,并对待处理的指标数据进行同步聚合处理,得到目标指标数据,并将目标指标数据通过数据聚合模块330统一输出,传输至数据处理模块320,由数据处理模块320对目标指标数据进行分析处理和告警规则判定。需要说明的是,在存储设备增加的情况下,只需要将存储设备对应的信息设置在数据聚合模块330中即可,接收指标处理请求之后,将确定的目标指标数据聚合处理后统一由数据聚合模块330输出。数据处理模块320中配置的数据源信息无需修改便可获取新增的存储设备中的指标数据。
可选的,数据处理模块320还用于对目标指标数据进行处理,以及根据预设展示方式对目标指标数据和/或目标指标数据的处理结果进行展示。
具体的,通过数据处理模块320对目标指标数据进行分析处理,以及依据预设告警规则对目标指标数据进行告警判断,确定告警判定结果,根据预设展示方式对目标指标数据进行展示,或者,通过预设展示方式对目标指标数据的告警判定结果进行展示,或者,通过预设展示方式对目标指标数据和/或目标指标数据的处理结果进行展示。在判定目标指标数据满足预设告警条件的情况下,将告警判定结果通过邮箱、短信等个性化方式进行通知,使得能够及时对告警判定结果对应的集群进行及时处理,保证系统稳定运行。
本实施例的技术方案,提出一种多集群指标处理系统,系统包括:数据存储模块、数据处理模块、数据聚合模块;通过数据存储模块获取多个集群的初始指标数据,基于预设的指标过滤条件对初始指标数据进行过滤处理,将过滤后的初始指标数据存储至至少一个预设存储设备上;通过数据处理模块预配置一数据源信息;通过数据聚合模块接收指标处理请求,根据指标处理请求和数据源信息从各预设存储设备中获取待处理的指标数据,对获取的待处理的指标数据进行同步聚合处理,得到目标指标数据,将目标指标数据返回至数据源信息。通过本系统实现了只需要配置一数据源信息即可查询多集群指标数据的方法,以及对多集群指标数据进行过滤处理、聚合处理方法,简化了数据源信息的配置操作,提高多集群指标数据查询效率,还可以及时确定指标数据异常的集群信息。
实施例三
图4是本发明实施例三提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如多集群指标处理方法。
在一些实施例中,多集群指标处理方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的多集群指标处理方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行多集群指标处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的多集群指标处理方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
实施例四
本发明实施例四还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行一种多集群指标处理方法,该方法包括:
获取多个集群的初始指标数据,基于预设的指标过滤条件对初始指标数据进行过滤处理,将过滤后的初始指标数据存储至至少一个预设存储设备上;
预配置一数据源信息;
接收指标处理请求,根据指标处理请求和数据源信息从各预设存储设备中获取待处理的指标数据,对获取的待处理的指标数据进行同步聚合处理,得到目标指标数据,将目标指标数据返回至数据源信息。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (10)

1.一种多集群指标处理方法,其特征在于,包括:
获取多个集群的初始指标数据,基于预设的指标过滤条件对所述初始指标数据进行过滤处理,将过滤后的所述初始指标数据存储至至少一个预设存储设备上;
预配置一数据源信息;
接收指标处理请求,根据所述指标处理请求和所述数据源信息从各所述预设存储设备中获取待处理的指标数据,对获取的所述待处理的指标数据进行同步聚合处理,得到目标指标数据,将所述目标指标数据返回至所述数据源信息。
2.根据权利要求1所述方法,其特征在于,所述对所述初始指标数据进行过滤处理,包括:
创建多个并行的过滤进程,每一过滤进程对至少一个集群的初始指标数据基于所述预设的指标过滤条件进行过滤处理。
3.根据权利要求1所述方法,其特征在于,所述方法还包括:
基于预设告警规则对所述目标指标数据进行判定,在所述目标指标数据满足所述预设告警规则的情况下,执行告警处理。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据预设展示方式对所述目标指标数据进行展示。
5.根据权利要求1所述方法,其特征在于,在对所述预设存储设备进行访问之前,还包括:
对所述预设存储设备的访问对象的信息进行验证,若验证成功,所述访问对象可以访问所述预设存储设备。
6.根据权利要求1所述方法,其特征在于,所述方法还包括,为预设存储设备配置数据存储时间,基于所述数据存储时间确定待删除初始指标数据,将所述待删除初始指标数据进行删除。
7.一种多集群指标处理系统,其特征在于,包括:数据存储模块、数据处理模块、数据聚合模块;
所述数据存储模块,用于获取多个集群的初始指标数据,基于预设的指标过滤条件对所述初始指标数据进行过滤处理,将过滤后的所述初始指标数据存储至至少一个预设存储设备上;
所述数据处理模块,用于预配置一数据源信息;
所述数据聚合模块,用于接收指标处理请求,根据所述指标处理请求和所述数据源信息从各所述预设存储设备中获取待处理的指标数据,对获取的所述待处理的指标数据进行同步聚合处理,得到目标指标数据,将所述目标指标数据返回至所述数据源信息。
8.根据权利要求7所述系统,其特征在于,所述数据处理模块还用于对所述目标指标数据进行处理,以及根据预设展示方式对所述目标指标数据和/或所述目标指标数据的处理结果进行展示。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求7-8中任一项所述的多集群指标处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求7-8中任一项所述的多集群指标处理方法。
CN202311620837.1A 2023-11-30 2023-11-30 一种多集群指标处理方法、系统、电子设备及存储介质 Pending CN117650967A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311620837.1A CN117650967A (zh) 2023-11-30 2023-11-30 一种多集群指标处理方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311620837.1A CN117650967A (zh) 2023-11-30 2023-11-30 一种多集群指标处理方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117650967A true CN117650967A (zh) 2024-03-05

Family

ID=90047187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311620837.1A Pending CN117650967A (zh) 2023-11-30 2023-11-30 一种多集群指标处理方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117650967A (zh)

Similar Documents

Publication Publication Date Title
CN112948223A (zh) 一种监测运行情况的方法和装置
CN113312321A (zh) 一种业务量的异常监测方法及相关设备
CN112860811B (zh) 数据血缘关系的确定方法、装置、电子设备和存储介质
CN117650967A (zh) 一种多集群指标处理方法、系统、电子设备及存储介质
CN114756301A (zh) 日志处理方法、装置和系统
CN106528577B (zh) 一种设置待清理文件的方法和装置
CN117539840B (zh) 一种日志获取方法、装置、设备及介质
CN117076720B (zh) 一种嵌入表访问方法、装置、电子设备及存储介质
CN118113916A (zh) 数据处理方法、装置、电子设备及存储介质
CN117885760A (zh) 一种自动驾驶能力确定方法、装置、设备及存储介质
CN117076427A (zh) 服务器数据管理方法、装置、设备以及存储介质
CN118226120A (zh) 耗电量确定方法、装置、电子设备及存储介质
CN115686517A (zh) 基于移动开发平台的前端页面埋点方法、装置、电子设备和存储介质
CN115269055A (zh) Nginx请求数据采集方法、装置、设备及存储介质
CN117573491A (zh) 一种性能瓶颈的定位方法、装置、设备及存储介质
CN116225568A (zh) 一种应用系统接口的管理方法、装置、设备及存储介质
CN117076988A (zh) 异常行为检测方法、装置、设备及介质
CN117493000A (zh) 一种任务处理方法、装置、设备及介质
CN117609311A (zh) 一种服务降级方法、装置、设备以及存储介质
CN115757275A (zh) 一种资产信息管理方法、装置、电子设备及存储介质
CN115964409A (zh) 一种系统访问数据的管理方法、装置、设备及存储介质
CN117156398A (zh) 消息处理方法、装置、电子设备及存储介质
CN116319454A (zh) 应用程序网络耗时检测方法、装置、设备及存储介质
CN117614998A (zh) 用于微服务系统的限流方法、装置、电子设备及存储介质
CN114328070A (zh) 数据倾斜检测方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination