CN112711515B - 一种实时监控方法、装置及电子设备 - Google Patents

一种实时监控方法、装置及电子设备 Download PDF

Info

Publication number
CN112711515B
CN112711515B CN202110077792.2A CN202110077792A CN112711515B CN 112711515 B CN112711515 B CN 112711515B CN 202110077792 A CN202110077792 A CN 202110077792A CN 112711515 B CN112711515 B CN 112711515B
Authority
CN
China
Prior art keywords
monitoring
monitoring data
target
data
alarm condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110077792.2A
Other languages
English (en)
Other versions
CN112711515A (zh
Inventor
邓海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202110077792.2A priority Critical patent/CN112711515B/zh
Publication of CN112711515A publication Critical patent/CN112711515A/zh
Application granted granted Critical
Publication of CN112711515B publication Critical patent/CN112711515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • G06F11/327Alarm or error message display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请公开了一种实时监控方法、装置及电子设备,属于系统监控技术领域。其中,所述方法包括:获取监控配置信息,其中,所述监控配置信息包括目标业务标识、配置指标及目标聚合类;根据所述目标业务标识及所述配置指标对目标业务进行监控,获取第一监控数据;对所述第一监控数据进行鉴权操作;将通过所述鉴权操作的第二监控数据上报至第三方开源中间件,以通过所述第三方开源中间件,按所述目标聚合类对所述第二监控数据进行聚合处理,获得第三监控数据,并存储所述第三监控数据。本申请实施例实现了对服务器中目标业务的有效监控。

Description

一种实时监控方法、装置及电子设备
技术领域
本申请属于系统监控技术领域,具体涉及一种实时监控方法、装置及电子设备。
背景技术
随着互联网技术的飞速发展,诞生了越来越多的IT公司,每家公司都有自己的服务器,并在服务器上部署着相关的业务。
现有技术中,经常需要对服务器进行系统的监控和JAVA虚拟机的监控,用来实时掌握机器运行是否正常、有没有宕机等。
但是现有的监控方式无法实现对服务器中具体业务场景进行监控,并且在数据监测实时性、多渠道和多维度告警方面表现不佳。
发明内容
本申请实施例的目的是提供一种实时监控方法,能够解决现有技术无法有效对具体业务场景进行有效监控的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种实时监控方法,其中,所述方法包括:
获取监控配置信息,其中,所述监控配置信息包括目标业务标识、配置指标及目标聚合类;
根据所述目标业务标识及所述配置指标对目标业务进行监控,获取第一监控数据;
对所述第一监控数据进行鉴权操作;
将通过所述鉴权操作的第二监控数据上报至第三方开源中间件,以通过所述第三方开源中间件,按所述目标聚合类对所述第二监控数据进行聚合处理,获得第三监控数据,并存储所述第三监控数据。
第二方面,本申请实施例提供了一种实时监控装置,其中,所述装置包括:
第一获取模块,用于获取监控配置信息,其中,所述监控配置信息包括目标业务标识、配置指标及目标聚合类;
第二获取模块,用于根据所述目标业务标识及所述配置指标对目标业务进行监控,获取第一监控数据;
鉴权模块,用于对所述第一监控数据进行鉴权操作;
上报模块,用于将通过所述鉴权操作的第二监控数据上报至第三方开源中间件,以通过所述第三方开源中间件,按所述目标聚合类对所述第二监控数据进行聚合处理,获得第三监控数据,并存储所述第三监控数据。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
在本申请实施例中,通过获取包括目标业务标识、配置指标及目标聚合类的监控配置信息;然后根据目标业务标识及配置指标对目标业务进行监控,获取第一监控数据;再对上述第一监控数据进行鉴权操作,并将通过上述鉴权操作的第二监控数据上报至第三方开源中间件,以通过上述第三方开源中间件,按上述目标聚合类对上述第二监控数据进行聚合处理,获得第三监控数据,并存储上述第三监控数据。上述监控过程中,因为配置信息中配置了目标业务标识及配置指标,因而根据该监控配置信息可以实现对目标业务的监控并获取第一监控数据,同时,因为配置信息中还配置了目标聚合类,因而第三方开源中间件开源接收第一监控数据中通过鉴权操作的第二监控数据,并按上述目标聚合类对第二监控数据进行聚合处理,进而获得用户所需要的第三监控数据,实现对服务器中目标业务的有效监控。
附图说明
图1是本申请实施例提供的实时监控方法的步骤流程图;
图2是本申请实施例所提供的实时监控方法的业务架构图;
图3是本申请实施例所提供的实时监控方法的原理框图;
图4是本申请实施例提供的实时监控装置的结构示意图;
图5是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的实时监控方法进行详细地说明。
请参阅图1,示出了本申请实施例提供的一种实时监控方法的步骤流程图,其中,该方法可以包括步骤S100~S400。
本申请实施例中,该方法应用于监控系统,所述监控系统包括监控网关及监控后台管理系统,其中,该监控网关与监控后台管理系统、进行监控数据的聚合处理的第三方开源中间件、被监控的业务方服务器连接。
步骤S100、获取监控配置信息,其中,所述监控配置信息包括目标业务标识、配置指标及目标聚合类。
上述步骤S100,目标业务标识用于指定需要监控的业务端,配置指标指的是需要监测获取的业务内容,目标聚合类指的是监控数据的具体展示形式。上述监控配置信息可以由监控人员通过监控后台管理系统指定。
步骤S200、根据所述目标业务标识及所述配置指标对目标业务进行监控,获取第一监控数据。
上述步骤S200中,先根据目标业务标识确定需要监控的目标业务,再根据配置指标对目标业务的具体应用进行监控,从而获取监控数据,即上述第一监控数据。
具体地,通过在业务端引入用于采集监控数据的插件,形成监控数据采集器,再引入配置指标就可以实现对目标业务的监控,即可以快速获得相应的监控数据,而不需要在代码里进行繁杂的配置。
在实际应用中,通过在业务方的服务器端集成监控系统的软件开发工具包(Software Development Kit,SDK)或者jar包,形成监控数据采集器,通过该监控数据采集器就会进行数据的采集和上报,业务方不需要理解里面的具体处理逻辑。
步骤S300、对所述第一监控数据进行鉴权操作。
上述步骤S300中,为了防止不合法的业务方调用,需要对所获取的第一监控数据进行鉴权操作,以确定所监控获取的第一监控数据确实为需要监控的目标业务的数据。
步骤S400、将通过所述鉴权操作的第二监控数据上报至第三方开源中间件,以通过所述第三方开源中间件,按所述目标聚合类对所述第二监控数据进行聚合处理,获得第三监控数据,并存储所述第三监控数据。
上述步骤S400中,对于第一监控数据中鉴权通过的第二监控数据,说明其为确定为需要监控调用的业务数据,因而将其上报至第三方开源中间件,与此同时,第三方开源中间件通过监控网关获取的上述监控配置信息中的目标聚合类,然后第三方开源中间件即可以按照上述目标聚合类对上述第二监控数据进行聚合处理,进而得到按目标聚合类进行统计展示的上述第三监控数据,然后将上述第三监控数据进行存储,以便于监控后台进行读取调用。
在实际应用中,上述第三方开源中间件集成于上述监控网关,上述第三方开源中间件具体可以为开源时序数据库(Open Time Series Database,OpenTSDB),上述第三监控数据具体存储于Hadoop数据库(Hadoop DataBase,HBase)中。
本申请实施例提供的实时监控方法,通过获取包括目标业务标识、配置指标及目标聚合类的监控配置信息;然后根据目标业务标识及配置指标对目标业务进行监控,获取第一监控数据;再对上述第一监控数据进行鉴权操作,并将通过上述鉴权操作的第二监控数据上报至第三方开源中间件,以通过上述第三方开源中间件,按上述目标聚合类对上述第二监控数据进行聚合处理,获得第三监控数据,并存储上述第三监控数据。上述监控过程中,因为配置信息中配置了目标业务标识及配置指标,因而根据该监控配置信息可以实现对目标业务的监控并获取第一监控数据,同时,因为配置信息中还配置了目标聚合类,因而第三方开源中间件开源接收第一监控数据中通过鉴权操作的第二监控数据,并按上述目标聚合类对第二监控数据进行聚合处理,进而获得用户所需要的第三监控数据,实现对服务器中目标业务的有效监控。
在实际应用中,由监控系统中的监控网关采用超文本传输协议(Hyper TextTransfer Protocol,HTTP)方式上报监控数据以及拉取监控配置信息,抛弃了现有使用Rabbit消息队列中间件(Rabbit Message Queuing Protocol,RabbitMQ)上报以及内容分发网络(Content Delivery Network,CDN)同步配置的途径,避免两者故障时对监控上报的影响。其中,因为HTTP协议是在软件开发中均需遵守的一个标准,保证监控网关所发出的HTTP请求无故障实现数据的上报及获取。
可选地,在一种实施方式中,本发明实施例所提供的实时监控方法,上述步骤S100包括步骤S101~S102。
步骤S101、监听第二数据库,所述第二数据库以更新存储的方式存储有响应于用户的第二输入所确定的监控配置信息。
上述步骤S101中,将监控后台响应于用户的第二输入所确定的监控配置信息以更新存储的方式存储在第二数据库中,而监控系统中的监控网关与该第二数据库通信连接,可以实时对第二数据库进行监听,以确定第二数据库是否发生了更新,也即确定监控配置信息是否发生了更新。
可选地,上述第二数据库为Zookeeper,该数据库在发生数据更新时,能够同步告知监控网关。
步骤S102、在监听到所述第二数据库更新时,获取所述第二数据库所存储的所述监控配置信息。
上述步骤S102中,在监听到第二数据库发生更新时,获取第二数据库中当前所存储的监控配置信息,也即得到最新版本的监控配置信息。
在实际应用中,在监控数据上报到监控网关时,需要校验监控后台是否更改了监控配置,因为监控配置一旦更改,对日志过滤或者告警的规则也会发生改变,需要及时通知网关数据采集的规则发生了变化,也即需要获取最新版本的监控配置信息。其中,因为监控后台的监控配置信息均有对应的时间戳,该时间戳即相当于监控配置信息的版本号,通过该时间戳做对比,最新的时间戳所对应的监控配置信息即为最新版本的监控配置信息。
可选地,在一种实施方式中,本发明实施例所提供的实时监控方法,在所述配置指标包括目标标签和目标关键字的情况下,上述步骤S200包括步骤S201。
步骤S201、根据所述目标业务标识、所述目标标签和目标关键字,对所述目标业务的日志数据进行过滤采集,获得所述第一监控数据。
上述步骤S201,通过采集目标业务的日志数据进行过滤,获取其中带有目标标签和/或目标关键字的数据,即得到上述第一监控数据,以用于业务指标聚合计算。
可选地,上述目标标签为appender标签,上述目标关键字为“打印日志行的关键字”,即上述步骤S201中,由监控收集器通过配置的“appender标签”和“打印日志行的关键字”来上报记录,实现对目标业务数据的监控采集。
上述日志数据可以为log4J或者logback日志,在使用过程中,业务方只需要在配置后台遵守log4j.xml或者logback.xml配置规范,配置需要采集的关键字就可以进行数据采集,方便快捷,无需关心具体的数据采集实现逻辑。其中,因为log4j或者logback是服务端开发中最常用的两种日志开发规范,因而通过“appender标签”和“打印日志行的关键字”采集log4J或者logback日志获取监控数据的方式具有普及性高的好处。
可选地,在另一种实施方式中,可以在业务端服务器预设埋点,采用埋点上报的形式获取监控数据,该实施方式可以在需要采集的信息未输出至日志的情况下,或者通过日志过滤无法满足监控需求的情况下,通过嵌入的指标代码进行计数,并直接上报消息,进而获得监控数据,上述指标代码由监控后台配置指标时自动生成。上述实施方式可以覆盖网络连通率、响应时间等监控,且使得系统稳定性、数据保障、实时性、告警丰富度等表现较佳,可以满足大部分监控场景需要。
可选地,在一种实施方式中,本申请实施例所提供的实时监控方法,上述目标业务标识包括至少一个业务名称,上述步骤S300具体包括步骤S301~S302。
本实施方式中,上述业务名称(application Name,appName)为目标业务所包括的业务名称,具体可以为在生成监控配置信息时,在监控后台配置业务方的一些元数据,例如Java虚拟机(Java Virtual Machine,JVM)监控、系统监控和业务监控,因为每个业务方有自己对应的唯一的appName码,在进行数据上报的时候会去读取这个appName是否存在进行鉴权,如果不存在则确定该业务鉴权失败。
S301、在所述至少一个业务名称包含所述第一监控数据所对应的业务名称的情况下,确定所述第一监控数据通过所述鉴权操作。
上述步骤S301中,因为在监控网关获取目标业务的监控数据时,可以同时获取其唯一的业务名称,而监控网关在通过监控后台系统接收监控配置信息时,获取了需要监控的目标业务的业务名称,将接收得到的第一监控数据对应的业务名称与监控配置信息所包括的至少一个业务名称进行比对,如果第一监控数据对应的业务名称为上述至少一个业务名称中的一个,则说明该第一监控数据为合法业务调用的监控数据,因而确定通过鉴权操作。
S302、在所述至少一个业务名称不包含所述第一监控数据所对应的业务名称的情况下,丢弃所述第一监控数据。
上述步骤S302中,在接收得到的第一监控数据对应的业务名称与监控配置信息所包括的至少一个业务名称进行比对时,如果第一监控数据对应的业务名称不是上述至少一个业务名称中的一个,则说明该第一监控数据为非法业务调用的监控数据,因而确定无法通过鉴权操作,并丢弃该第一监控数据,且不再接收该第一监控数据对应业务的监控数据,即熔断对该第一监控数据对应业务监控数据的接收。
上述实施方式中,利用作为业务方唯一标识的appName码,对所接收到的第一监控数据进行鉴权操作,可以快速有效地避免不合法的业务方数据调用。
可选地,在一种实施方式中,本申请实施例所提供的实时监控方法,在上述步骤S200之后还包括步骤S202,且在上述步骤S300之后还包括S303。
S202、将所述第一监控数据存储于本地队列。
上述步骤S202中,业务端服务器处的数据采集器采集监控数据后,先存储于本地队列,可以避免在监控网关异常或网络异常时无法将数据及时上报的情况下,出现数据丢失的情况,进而造成监控遗漏的问题。
例如,若监控系统中的监控网关在发布监控数据的时候,存在几分钟无法处理上报的数据,因数据会暂时先存储在本地队列,等监控系统恢复发布进程时,数据则可以继续进行上报,从而保证业务方数据不会丢失。
可选地,可以设置本地队列的最大存储数据条数为100条。
S301、将通过所述鉴权操作的第二监控数据存储于缓存队列。
上述步骤S301中,上述缓存队列为与目标业务中具体应用对应的应用缓存队列。通过将第二监控数据存储于缓存队列,可以避免在第三方开源中间件丢失或网络故障导致监控网关无法及时将第二监控数据上报时,出现数据丢失的情况。
具体地,上述缓存队列可以表现为Redis队列,其中,单个应用缓存队列数据条数最大为1w。
可选地,在一种具体实施方式中,上述步骤S301具体包括:
从所述缓存队列获取所述第二监控数据,并将所述第二监控数据上报至所述第三方开源中间件。
上述具体实施方式中,所有通过鉴权操作的第二监控数据均先存储于缓存队列中,再通过该缓存队列上报至第三方开源中间件进行聚合处理,可以充分利用缓存队列的缓存作用,避免数据丢失。
在实际应用中,第二监控数据在存储队列存储完成后立即返回HTTP上报,表明监控网关已接受到数据,采集层可移除该条数据。
可选地,在获取第一监控数据后,可以将该第一监控数据进行压缩,然后将压缩后的第一监控数据进行鉴权操作,再将通过鉴权操作的第二监控数据缓存于Redis队列,进行解压后上报至第三方开源中间件进行聚合处理。上述过程通过对采集得到的第一监控数据进行压缩后上报,再在送入第三方开源中间件前解压,减少了数据传输量及数据传输过程中的资源占用。
可选地,在本申请实施例所提供的实时监控方法中,在监控系统中设置有熔断机制,在存储监控数据的异常次数达到预设次数阈值时,触发上述熔断机制。上述监控数据存储异常可以通过存储异常的日志判断,也可以通过监控存储集群是否发生存储失败过多判断,以及过系统告警进行判断。
例如,在OpenTSDB失联或者HBase集群存储宕机的情况下,会导致监控数据存储异常,进而触发熔断机制。在熔断机制被触发时,暂停监控数据的上报过程;再如,若某个应用十分钟内没有进行数据上报了,则会发短信进行通知,此时也可以判断存储行为异常。
可选地,在一种实施方式中,本申请实施例所提供的实时监控方法,在上述步骤S400之后,还包括步骤S501~S502。
S501、从第一数据库获取所述预设告警条件,所述第一数据库存储有响应于用户的第二输入所确定的所述预设告警条件;其中,所述预设告警条件包括以下至少之一:最大值告警条件、最小值告警条件、波动量告警条件、日环比告警条件、周环比告警条件及小时日环比告警条件。
上述步骤S501中,预设告警条件为预先通过监控后台设置的触发告警的条件,具体包括最大值告警条件、最小值告警条件、波动量告警条件、日环比告警条件、周环比告警条件及小时日环比告警条件中的至少一种。其中,最大值告警条件为当指定字段超过该最大告警阈值时触发报警;最小值告警条件为当指定字段低于最小告警阈值时触发报警;波动量告警条件为取当前时间数值与前15分钟平均值做浮动百分比计算,并在该浮动百分比超过第一百分比阈值时触发报警;日环比告警条件为取当前时间数值与昨日同一时间数值做浮动百分比计算,并在该浮动百分比超过第二百分比阈值时触发报警;周环比告警条件为取当前时间数值与前一周的同一时间数值做浮动百分比计算,并在该浮动百分比超过第三百分比阈值时触发报警;小时日环比告警条件为取当前一小时内的数值总和与昨日同一时间的一小时内的数据做浮动百分比计算,并在该浮动百分比超过第四百分比阈值时触发报警。
可选地,上述第一数据库为MySQL。其中,可以将监控配置信息同步存储在上述第一数据库中,以便于记录监控配置情况。
上述步骤S501中,在获得第三监控数据后,由监控系统获取设置的上述预设报警条件。
S502、在所述第三监控数据符合预设告警条件的情况下,生成告警消息。
上述步骤S502中,因为目标聚合类与上述预设报警条件相对应,第三监控数据为按目标聚合类进行聚合处理得到的监控数据,因而上述第三监控数据可以直接用于判断是否符合预设报警条件,并在符合预设报警条件时,触发生成对应的报警消息。上述报警消息可以展示在监控后台,以及时告知用户对应的业务故障。
在实际应用中,可以通过监控后台将监控系统接入短信平台等通讯系统,进而可以在出现业务故障时,远程告知用户。
上述实施方式中,通过预先设置多种告警条件,丰富的告警类型,实现实时、多维度、多渠道的告警服务,帮助用户及时掌握应用多方面状态,提升服务可用性。
在实际应用中,请参阅2,示出了本申请实施例所提供的实时监控方法的业务架构图。
如图2所示,本申请实施例所提供的实时监控方法由监控采集器、监控网关、监控后台、Redis队列、第三方开启中间件OpenTSDB、第一数据库Zookeeper、第二数据库MySQL以及告警通讯系统共同实现。
其中,监控后台可以进行可视化查看、告警的配置、业务指标的配置等,在通过监控后台进行监控配置后,将监控配置存储在第一数据库Zookeeper及第二数据库MySQL中;然后由监控采集器经由监控网关从第一数据库Zookeeper处获取配置指标,再对目标业务进行监控,获得监控数据并将监控数据存储在本地队列,然后通过超文本传输协议(HTTP)上报至监控网关;监控网关对监控数据进行鉴权操作,并将通过鉴权操作的监控数据缓存在Redis队列中,然后持久上报至第三方开源中间件OpenTSDB进行聚合处理,再将聚合处理得到的目标监控数据存储在HBase等底层存储数据库中;而告警通讯系统与监控系统通讯连接,具体包括短信平台、V消息等,可以在目标监控数据触发预设告警条件时,将告警消息发送给用户。
其中,Redis采用分布式数据存储调度任务分配、告警状态等信息。而后台涉及的监控配置信息和预设告警条件等告警配置则存储于MySQL。
在实际应用中,请参阅3,示出了本申请实施例所提供的实时监控方法的原理框图。
如图3所示,在步骤S311中,由采集器根据监控配置信息每隔预定时长采集数据并压缩,该预设时长可以为1分钟,然后将压缩后的监控数据存储于本地队列,再在步骤S312中通知监控网关可进行HTTP上报,且将数据上报至监控网关;
在步骤S313中,监控网关在接收到上报的监控数据后进行鉴权操作,认定非法则丢弃,同时判断当前是否下层异常熔断,如果发生异常熔断则通知采集层重置数据退回本地队列;而通过鉴权操作的监控数据则存储在Redis队列中;
在步骤S314中,监控网关校验监控数据上报时带来的监控配置版本号,过期则在结果返回时将获取的最新监控配置一并返回采集器中,以供采集器更新监控配置指标;另外,存储队列完成后立即返回HTTP上报,表明监控网关已接受到数据,采集层可移除该条数据;
在步骤S315中,网关将通过鉴权的数据存储于该应用对应的Redis队列进行缓存中,存储队列完成后立即返回HTTP上报,表明网关已接受到数据,采集层可移除该条数据;
在步骤S316中,监控网关对Redis队列数据进行解压以及通过OpenTSDB进行数据聚合处理,并将聚合处理得到的数据存储在HBase中;
在步骤S317中,在存储聚合处理得到的数据时,如果出现大量存储异常则触发熔断器,并暂停上述步骤S316。
需要说明的是,本申请实施例提供的实时监控方法,执行主体可以为终端设备,或者该终端设备中的用于执行加载实时监控方法的控制模块。本申请实施例中以终端设备执行加载实时监控方法为例,说明本申请实施例提供的实时监控方法。
请参阅图4,示出了本申请实施例提供的一种实时监控装置的结构示意图,如图4所示,本申请实施例所提供的实时监控装置,包括:
第一获取模块41,用于获取监控配置信息,其中,所述监控配置信息包括目标业务标识、配置指标及目标聚合类;
第二获取模块42,用于根据所述目标业务标识及所述配置指标对目标业务进行监控,获取第一监控数据;
鉴权模块43,用于对所述第一监控数据进行鉴权操作;
上报模块44,用于将通过所述鉴权操作的第二监控数据上报至第三方开源中间件,以通过所述第三方开源中间件,按所述目标聚合类对所述第二监控数据进行聚合处理,获得第三监控数据,并存储所述第三监控数据。
可选地,所述的实时监控装置中,所述第一获取模块41,具体用于在所述配置指标包括目标标签和目标关键字的情况下,根据所述目标业务标识、所述目标标签和目标关键字,对所述目标业务的日志数据进行过滤采集,获得所述第一监控数据。
可选地,所述装置还包括:
第三获取模块,用于在所述将通过鉴权操作的第一监控数据上报至第三方开源中间件之后,从第一数据库获取所述预设告警条件,所述第一数据库存储有响应于用户的第一输入所确定的所述预设告警条件;其中,所述预设告警条件包括以下至少之一:最大值告警条件、最小值告警条件、波动量告警条件、日环比告警条件、周环比告警条件及小时日环比告警条件;
告警模块,用于在所述第三监控数据符合所述预设告警条件的情况下,生成告警消息。
可选地,所述装置还包括:
第一存储模块,用于在所述根据所述目标业务标识及所述配置指标对目标业务进行监控,获取第一监控数据之后,将所述第一监控数据存储于本地队列;
第二存储模块,用于在所述对所述监控数据进行鉴权操作之后,将通过所述鉴权操作的第二监控数据存储于缓存队列。
可选地,所述的实时监控装置中,所述目标业务标识包括至少一个业务名称,所述鉴权模块43包括:
确定单元,用于在所述至少一个业务名称包含所述第一监控数据所对应的业务名称的情况下,确定所述第一监控数据通过所述鉴权操作;
数据丢弃单元,用于在所述至少一个业务名称不包含所述第一监控数据所对应的业务名称的情况下,丢弃所述第一监控数据。
本申请实施例中的实时监控装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的实时监控装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的实时监控装置能够实现图1~3的方法实施例中实时监控装置实现的各个过程,为避免重复,这里不再赘述。
本申请实施例中,通过获取包括目标业务标识、配置指标及目标聚合类的监控配置信息;然后根据目标业务标识及配置指标对目标业务进行监控,获取第一监控数据;再对上述第一监控数据进行鉴权操作,并将通过上述鉴权操作的第二监控数据上报至第三方开源中间件,以通过上述第三方开源中间件,按上述目标聚合类对上述第二监控数据进行聚合处理,获得第三监控数据,并存储上述第三监控数据。上述监控过程中,因为配置信息中配置了目标业务标识及配置指标,因而根据该监控配置信息可以实现对目标业务的监控并获取第一监控数据,同时,因为配置信息中还配置了目标聚合类,因而第三方开源中间件开源接收第一监控数据中通过鉴权操作的第二监控数据,并按上述目标聚合类对第二监控数据进行聚合处理,进而获得用户所需要的第三监控数据,实现对服务器中目标业务的有效监控。
可选的,本申请实施例还提供一种电子设备,包括处理器,存储器,存储在存储器上并可在所述处理器上运行的程序或指令,该程序或指令被处理器执行时实现上述实时监控方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备50包括但不限于:射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件。
本领域技术人员可以理解,电子设备50还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器510逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,输入单元504,用于获取监控配置信息,其中,所述监控配置信息包括目标业务标识、配置指标及目标聚合类;
处理器510,用于根据所述目标业务标识及所述配置指标对目标业务进行监控,获取第一监控数据;对所述第一监控数据进行鉴权操作;将通过所述鉴权操作的第二监控数据上报至第三方开源中间件,以通过所述第三方开源中间件,按所述目标聚合类对所述第二监控数据进行聚合处理,获得第三监控数据,并存储所述第三监控数据。
本申请实施例提供的电子设备,因为在配置信息中配置了目标业务标识及配置指标,因而根据该监控配置信息可以实现对目标业务的监控并获取第一监控数据,同时,因为配置信息中还配置了目标聚合类,因而第三方开源中间件开源接收第一监控数据中通过鉴权操作的第二监控数据,并按上述目标聚合类对第二监控数据进行聚合处理,进而获得用户所需要的第三监控数据,实现对服务器中目标业务的有效监控。
可选的,在所述配置指标包括目标标签和目标关键字的情况下,处理器510,具体用于根据所述目标业务标识、所述目标标签和目标关键字,对所述目标业务的日志数据进行过滤采集,获得所述第一监控数据。
可选的,处理器510,还用于在所述将通过鉴权操作的第一监控数据上报至第三方开源中间件的步骤之后,从第一数据库获取所述预设告警条件,所述第一数据库存储有响应于用户的第一输入所确定的所述预设告警条件;其中,所述预设告警条件包括以下至少之一:最大值告警条件、最小值告警条件、波动量告警条件、日环比告警条件、周环比告警条件及小时日环比告警条件;在所述第三监控数据符合所述预设告警条件的情况下,生成告警消息。
可选的,处理器510,还用于在所述根据所述目标业务标识及所述配置指标对目标业务进行监控,获取第一监控数据的步骤之后,将所述第一监控数据存储于本地队列;在所述对所述监控数据进行鉴权操作的步骤之后,将通过所述鉴权操作的第二监控数据存储于缓存队列。。
可选的,所述目标业务标识包括至少一个业务名称;处理器510,具体用于在所述至少一个业务名称包含所述第一监控数据所对应的业务名称的情况下,确定所述第一监控数据通过所述鉴权操作;在所述至少一个业务名称不包含所述第一监控数据所对应的业务名称的情况下,丢弃所述第一监控数据。
应理解的是,本申请实施例中,输入单元504可以包括图形处理器(GraphicsProcessing Unit,GPU)5041和麦克风5042,图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071,也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器509可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器510可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器510中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述实时监控方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述实时监控方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (11)

1.一种实时监控方法,其特征在于,所述方法包括:
获取监控配置信息,其中,所述监控配置信息包括目标业务标识、配置指标及目标聚合类,所述目标业务标识用于指定需要监控的业务端,所述配置指标包括需要监测获取的业务内容,所述目标聚合类包括监控数据的具体展示形式;
根据所述目标业务标识及所述配置指标对目标业务进行监控,获取第一监控数据;
对所述第一监控数据进行鉴权操作;
将通过所述鉴权操作的第二监控数据上报至第三方开源中间件,以通过所述第三方开源中间件,按所述目标聚合类对所述第二监控数据进行聚合处理,获得第三监控数据,并存储所述第三监控数据。
2.根据权利要求1所述的实时监控方法,其特征在于,在所述配置指标包括目标标签和目标关键字的情况下,所述根据所述目标业务标识及所述配置指标对目标业务进行监控,获取第一监控数据的步骤,包括:
根据所述目标业务标识、所述目标标签和目标关键字,对所述目标业务的日志数据进行过滤采集,获得所述第一监控数据。
3.根据权利要求1所述的实时监控方法,其特征在于,在所述将通过鉴权操作的第一监控数据上报至第三方开源中间件的步骤之后,所述方法还包括:
从第一数据库获取所述预设告警条件,所述第一数据库存储有响应于用户的第一输入所确定的所述预设告警条件;其中,所述预设告警条件包括以下至少之一:最大值告警条件、最小值告警条件、波动量告警条件、日环比告警条件、周环比告警条件及小时日环比告警条件;
在所述第三监控数据符合所述预设告警条件的情况下,生成告警消息。
4.根据权利要求1所述的实时监控方法,其特征在于,在所述根据所述目标业务标识及所述配置指标对目标业务进行监控,获取第一监控数据的步骤之后,所述方法还包括:
将所述第一监控数据存储于本地队列;
在所述对所述监控数据进行鉴权操作的步骤之后,所述方法还包括:
将通过所述鉴权操作的第二监控数据存储于缓存队列。
5.根据权利要求1所述的实时监控方法,其特征在于,所述目标业务标识包括至少一个业务名称,所述对所述第一监控数据进行鉴权操作的步骤,具体包括:
在所述至少一个业务名称包含所述第一监控数据所对应的业务名称的情况下,确定所述第一监控数据通过所述鉴权操作;
在所述至少一个业务名称不包含所述第一监控数据所对应的业务名称的情况下,丢弃所述第一监控数据。
6.一种实时监控装置,其特征在于,所述装置包括:
第一获取模块,用于获取监控配置信息,其中,所述监控配置信息包括目标业务标识、配置指标及目标聚合类,所述目标业务标识用于指定需要监控的业务端,所述配置指标包括需要监测获取的业务内容,所述目标聚合类包括监控数据的具体展示形式;
第二获取模块,用于根据所述目标业务标识及所述配置指标对目标业务进行监控,获取第一监控数据;
鉴权模块,用于对所述第一监控数据进行鉴权操作;
上报模块,用于将通过所述鉴权操作的第二监控数据上报至第三方开源中间件,以通过所述第三方开源中间件,按所述目标聚合类对所述第二监控数据进行聚合处理,获得第三监控数据,并存储所述第三监控数据。
7.根据权利要求6所述的实时监控装置,其特征在于,所述第一获取模块,具体用于在所述配置指标包括目标标签和目标关键字的情况下,根据所述目标业务标识、所述目标标签和目标关键字,对所述目标业务的日志数据进行过滤采集,获得所述第一监控数据。
8.根据权利要求6所述的实时监控装置,其特征在于,所述装置还包括:
第三获取模块,用于在所述将通过鉴权操作的第一监控数据上报至第三方开源中间件之后,从第一数据库获取所述预设告警条件,所述第一数据库存储有响应于用户的第一输入所确定的所述预设告警条件;其中,所述预设告警条件包括以下至少之一:最大值告警条件、最小值告警条件、波动量告警条件、日环比告警条件、周环比告警条件及小时日环比告警条件;
告警模块,用于在所述第三监控数据符合所述预设告警条件的情况下,生成告警消息。
9.根据权利要求6所述的实时监控装置,其特征在于,所述装置还包括:
第一存储模块,用于在所述根据所述目标业务标识及所述配置指标对目标业务进行监控,获取第一监控数据之后,将所述第一监控数据存储于本地队列;
第二存储模块,用于在所述对所述监控数据进行鉴权操作之后,将通过所述鉴权操作的第二监控数据存储于缓存队列。
10.根据权利要求6所述的实时监控装置,其特征在于,所述目标业务标识包括至少一个业务名称,所述鉴权模块包括:
确定单元,用于在所述至少一个业务名称包含所述第一监控数据所对应的业务名称的情况下,确定所述第一监控数据通过所述鉴权操作;
数据丢弃单元,用于在所述至少一个业务名称不包含所述第一监控数据所对应的业务名称的情况下,丢弃所述第一监控数据。
11.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的实时监控方法的步骤。
CN202110077792.2A 2021-01-20 2021-01-20 一种实时监控方法、装置及电子设备 Active CN112711515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110077792.2A CN112711515B (zh) 2021-01-20 2021-01-20 一种实时监控方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110077792.2A CN112711515B (zh) 2021-01-20 2021-01-20 一种实时监控方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112711515A CN112711515A (zh) 2021-04-27
CN112711515B true CN112711515B (zh) 2022-12-09

Family

ID=75549576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110077792.2A Active CN112711515B (zh) 2021-01-20 2021-01-20 一种实时监控方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112711515B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113595776B (zh) * 2021-07-22 2022-12-27 中移(杭州)信息技术有限公司 监控数据处理方法与系统
CN114428706B (zh) * 2022-01-06 2022-11-22 前海飞算云智软件科技(深圳)有限公司 接口监控方法、装置、存储介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017207894A (ja) * 2016-05-18 2017-11-24 株式会社日立システムズ 統合監視運用システムおよび方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11200130B2 (en) * 2015-09-18 2021-12-14 Splunk Inc. Automatic entity control in a machine data driven service monitoring system
CN109614284B (zh) * 2018-10-25 2022-06-14 北京奇艺世纪科技有限公司 一种数据处理方法及装置
CN109587223B (zh) * 2018-11-20 2021-09-07 北京奇艺世纪科技有限公司 数据聚合方法、装置和系统
CN110333983A (zh) * 2019-05-31 2019-10-15 口口相传(北京)网络技术有限公司 业务监控及搜索业务监控方法及装置
CN111641524A (zh) * 2020-05-25 2020-09-08 北京青云科技股份有限公司 监控数据处理方法、装置、设备和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017207894A (ja) * 2016-05-18 2017-11-24 株式会社日立システムズ 統合監視運用システムおよび方法

Also Published As

Publication number Publication date
CN112711515A (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN106953740B (zh) 应用中页面访问数据的处理方法、客户端、服务器及系统
CN112711515B (zh) 一种实时监控方法、装置及电子设备
CN106161060B (zh) 数据监控方法和装置
WO2015018226A1 (en) Method,apparatus,and system for monitoring website
CN109257200A (zh) 大数据平台监控的方法和装置
CN111258847B (zh) 一种文件句柄监控及分析方法、装置、介质和设备
CN103218307B (zh) 内存管理系统和内存管理方法
CN108337127B (zh) 应用性能监控方法、系统、终端及计算机可读存储介质
CN111953541A (zh) 告警信息处理方法、装置、计算机设备及存储介质
CN112035320B (zh) 业务监控方法、装置、电子设备及可读存储介质
CN113094378B (zh) 数据处理方法、装置、电子设备和存储介质
CN109992473A (zh) 应用系统的监控方法、装置、设备及存储介质
CN112328448A (zh) 基于Zookeeper的监控方法、监控装置、设备及存储介质
US8374320B2 (en) Environment information transmission method, service controlling system, and computer product
CN114091704A (zh) 一种告警压制方法和装置
CN113961743B (zh) 数据更新方法、装置、电子设备及存储介质
CN111026606A (zh) 基于hystrix熔断器监控的报警方法、装置及计算机设备
CN112118352B (zh) 通知触发消息的处理方法、装置、电子设备以及计算机可读介质
CN111274104B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN115658745A (zh) 数据处理方法、装置、计算机设备和计算机可读存储介质
CN115277355A (zh) 一种监控系统状态码数据的处理方法、装置、设备及介质
CN116071123A (zh) 商品数据处理方法、系统、电子设备及存储介质
CN103180824A (zh) 分配信息
CN115202973A (zh) 应用运行状态的确定方法、装置、电子设备和介质
CN115187364A (zh) 银行分布式场景下保证金风险监控的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant