CN111897700B - 应用指标监控方法及装置、电子设备和可读存储介质 - Google Patents
应用指标监控方法及装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN111897700B CN111897700B CN202010683516.6A CN202010683516A CN111897700B CN 111897700 B CN111897700 B CN 111897700B CN 202010683516 A CN202010683516 A CN 202010683516A CN 111897700 B CN111897700 B CN 111897700B
- Authority
- CN
- China
- Prior art keywords
- index
- value
- application index
- target application
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012544 monitoring process Methods 0.000 title claims abstract description 55
- 238000012806 monitoring device Methods 0.000 claims abstract description 5
- 238000012423 maintenance Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 11
- 230000007774 longterm Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000003334 potential effect Effects 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/323—Visualisation of programs or trace data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/865—Monitoring of software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开提供了一种应用指标监控方法,包括:采集与目标应用指标对应的在预设时间窗口内的多个指标数据;确定多个指标数据中的最大值、最小值、起始值和结束值,其中,起始值为预设时间窗口内最先采集得到的指标数据,结束值为预设时间窗口内最后采集得到的指标数据;根据最大值、最小值、起始值和结束值生成当前指标波动标识;以及根据当前指标波动标识和历史生成的指标波动标识,生成针对目标应用指标的趋势图。本公开还提供了一种应用指标监控装置、电子设备和可读存储介质。
Description
技术领域
本公开涉及数据中心运维监控技术领域,更具体地,涉及一种应用指标监控方法及装置、电子设备和可读存储介质。
背景技术
数据中心运维的各类应用每天产生大量运营的应用指标数据,基于现有的运维数据平台,可以实现对全量应用指标数据进行自动化的实时采集、统计及计算。
在相关技术中,散点图或折线图等普通可视化统计图表虽然可以较为准确地描述指标数据的多少或历史数据的波动情况,却难以直观的反映一定时间内多周期连续性的变化特征和长期的动态走向,对运维人员进行综合掌握和预判决策的指导性不强,未能充分挖掘运营的应用指标数据所具有的潜力作用。
因此,在实现本公开构思的过程中,发明人发现如何深入探索数据信息的全面表达以促进数据中心实现高效运维是一个亟待解决的技术问题。
发明内容
有鉴于此,本公开提供了一种应用指标监控方法及装置、电子设备和可读存储介质。
本公开的一个方面提供了一种应用指标监控方法方法,包括:采集与目标应用指标对应的在预设时间窗口内的多个指标数据;确定多个指标数据中的最大值、最小值、起始值和结束值,其中,起始值为预设时间窗口内最先采集得到的指标数据,结束值为预设时间窗口内最后采集得到的指标数据;根据最大值、最小值、起始值和结束值生成当前指标波动标识;以及根据当前指标波动标识和历史生成的指标波动标识,生成针对目标应用指标的趋势图。
根据本公开的实施例,应用指标监控方法还包括:根据目标应用指标的趋势图生成拟合曲线;以及根据拟合曲线对未来预设周期内的目标应用指标的数据范围进行预测。
根据本公开的实施例,当前指标波动标识包括:用于表征最大值的第一特征点、用于表征最小值的第二特征点、用于表征起始值的第三特征点、和用于表征结束值的第四特征点。
根据本公开的实施例,应用指标监控方法还包括:确定多个指标数据的平均值;其中,根据最大值、最小值、起始值和结束值生成当前指标波动标识包括:根据最大值、最小值、平均值、起始值和结束值生成当前指标波动标识。
根据本公开的实施例,应用指标监控方法还包括:根据目标应用指标的属性设定警示阈值;以及当多个指标数据中任意一个指标数据超过警示阈值时,触发告警。
根据本公开的实施例,应用指标类型包括:响应时间、业务成功率、系统成功率、以及交易率中至少一种。
本公开的另一个方面提供了一种应用指标监控装置,包括:采集模块,确定模块,第一生成模块,第二生成模块。
其中,采集模块,用于采集与目标应用指标对应的在预设时间窗口内的多个指标数据;确定模块,用于确定多个指标数据中的最大值、最小值、起始值和结束值,其中,起始值为预设时间窗口内最先采集得到的指标数据,结束值为预设时间窗口内最后采集得到的指标数据;第一生成模块,用于根据最大值、最小值、起始值和结束值生成当前指标波动标识;以及第二生成模块,用于根据当前指标波动标识和历史生成的指标波动标识,生成针对目标应用指标的趋势图。
根据本公开的实施例,应用指标监控装置还包括:第三生成模块和预测模块。
其中,第三生成模块用于根据目标应用指标的趋势图生成拟合曲线;以及预测模块用于根据拟合曲线对未来预设周期内的目标应用指标的数据范围进行预测。
根据本公开的实施例,确定模块还用于确定多个指标数据的平均值;其中,第一生成模块还用于:根据最大值、最小值、平均值、起始值和结束值生成当前指标波动标识。
根据本公开的实施例,应用指标监控装置还包括:设定模块和触发模块。
其中,设定模块用于根据目标应用指标的属性设定警示阈值;以及触发模块用于当多个指标数据中任意一个指标数据超过警示阈值时,触发告警。
本公开的另一方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个指令,其中,当一个或多个指令被一个或多个处理器执行时,使得一个或多个处理器实现如上所述的方法。
本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,该指令被处理器执行时使处理器实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,计算机程序包括计算机可执行指令,该指令被处理器执行时使处理器实现如上所述的方法。
根据本公开的实施例,因为采用了通过采集与目标应用指标对应的在预设时间窗口内的多个指标数据;确定上述多个指标数据中的最大值、最小值、起始值和结束值,其中,上述起始值为上述预设时间窗口内最先采集得到的指标数据,上述结束值为上述预设时间窗口内最后采集得到的指标数据;根据上述最大值、上述最小值、上述起始值和上述结束值生成当前指标波动标识;以及根据上述当前指标波动标识和历史生成的指标波动标识,生成针对上述目标应用指标的趋势图的技术手段,由于上述指标波动标识信息量丰富且趋势性强,所以至少部分地克服了现有技术中难以直观的反映一定时间内应用指标的连续性变化特征和长期的动态走向的技术问题,进而达到了更全面掌握运营态势的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了可以应用本公开的应用指标监控方法及装置的示例性系统架构;
图2示意性示出了根据本公开实施例的应用指标监控方法的流程图;
图3示意性示出了根据本公开实另一施例的应用指标监控方法的流程图;
图4示意性示出了根据本公开又一实施例的应用指标监控方法的流程图;
图5示意性示出了根据本公开再一实施例的应用指标监控方法的流程图;
图6示意性示出了根据本公开实施例的一种应用指标监控方法所监控的应用指标的趋势图;
图7示意性示出了根据本公开实施例的应用指标监控装置的框图;以及
图8示意性示出了根据本公开实施例的适于实现上述应用指标监控方法的计算机系统的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种应用指标监控方法及装置、电子设备和可读存储介质。该方法包括:采集与目标应用指标对应的在预设时间窗口内的多个指标数据;确定多个指标数据中的最大值、最小值、起始值和结束值,其中,起始值为预设时间窗口内最先采集得到的指标数据,结束值为预设时间窗口内最后采集得到的指标数据;根据最大值、最小值、起始值和结束值生成当前指标波动标识;以及根据当前指标波动标识和历史生成的指标波动标识,生成针对目标应用指标的趋势图。
图1示意性示出了根据本公开实施例的可以应用指标监控方法及装置的示例性系统架构100。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括终端设备101、102、103、网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的应用指标监控方法一般可以由服务器105执行。相应地,本公开实施例所提供的应用指标监控装置一般可以设置于服务器105中。本公开实施例所提供的应用指标监控方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的应用指标监控装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者,本公开实施例所提供的应用指标监控方法也可以由终端设备101、102、或103执行,或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地,本公开实施例所提供的应用指标监控装置也可以设置于终端设备101、102、或103中,或设置于不同于终端设备101、102、或103的其他终端设备中。
例如,指标数据可以原本存储在终端设备101、102、或103中的任意一个(例如,终端设备101,但不限于此)之中,或者存储在外部存储设备上并可以导入到终端设备101中。然后,终端设备101可以在本地执行本公开实施例所提供的应用指标监控方法,或者将指标数据发送到其他终端设备、服务器、或服务器集群,并由接收该指标数据的其他终端设备、服务器、或服务器集群来执行本公开实施例所提供的应用指标监控方法。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
在实现本公开的过程中发现,反映一定时间内的应用指标连续性的变化特征和长期的动态走向至关重要,但现有的技术无法从监控的角度为技术分析提供多周期的跟踪对比,对运维人员进行综合掌握和预判决策的指导性不强,不能充分挖掘指标运营数据所具有的潜力作用。因此需要深入探索数据信息的更全面表达来促进数据中心实现高效运维。
本公开的实施例提供了一种应用指标监控方法及装置,通过确定目标应用指标的多个指标数据中的最大值、最小值、起始值和结束值,生成指标波动标识和趋势图;从而反映一定时间内应用指标的连续性变化特征和长期的动态走向,实现通过多指标的监控更全面掌握运营态势。
图2示意性示出了根据本公开实施例的应用指标监控方法的流程图。
如图2所示,该方法包括操作S201~S204。
在操作S201,采集与目标应用指标对应的在预设时间窗口内的多个指标数据。
根据本公开的实施例,目标应用指标例如可以是某一系统的响应时间、业务成功率、系统成功率、以及交易率等。其中,交易率表征成交量随时间的变化率,其等于成交量与单位时间的比值;业务成功率指用户一次性完成应用交易的业务量与总业务量的比值;系统成功率指系统成功执行用户操作任务的业务量与总业务量的比值;响应时间指应用系统对用户指令做出反应的时间。预设时间窗口,例如可以是10秒,30秒,1分钟,30分钟,1小时,1日,1周、1月,本公开不以此为限。多个指标数据可以包括最大值、最小值、平均值、起始值和结束值。需要说明的是,上述关于目标应用指标、预设时间窗口、多个指标数据的示例性说明,本公开不以此为限,用户可根据目标应用指标的属性和需求自行设定。
在操作S202,确定多个指标数据中的最大值、最小值、起始值和结束值,其中,起始值为预设时间窗口内最先采集得到的指标数据,结束值为预设时间窗口内最后采集得到的指标数据。
根据本公开的实施例,例如,按照预设时间窗口为10s,即按10s频率对指标数据进行计算统计。
在操作S203,根据最大值、最小值、起始值和结束值生成当前指标波动标识。
根据本公开的实施例,根据上述中的计算频率,在每10s内可得到任意指标数据的6个数据值。例如以首次开始绘制的前一分钟里最后10s所得数值作为基期起始值,开始绘制的第一分钟里最后10s所得参数值作为结束值,由正常波动产生了最大值和最小值,生成了该一分钟内第一个10s指标波动标识,进而将这一分钟内的指标数据变动记录为6个指标波动标识;例如当前指标波动标识例如可以是旗形,以三角形旗面为例,指标数据波动中的最大值为第一特征点,即生成为旗杆的最顶端;指标数据波动中的最小值为第二特征点,即生成为旗杆的最底端;起始值为第三特征点,即生成旗杆上对应三角旗面的一顶点;结束值为第四特征点,即生成旗杆上对应三角旗面的另一顶点。上述虽以旗形的指标波动标识为例进行说明,但公开并不以此为限,例如还可以是伞形、树形。
在操作S204,根据当前指标波动标识和历史生成的指标波动标识,生成针对目标应用指标的趋势图。
根据本公开的实施例,历史生成的指标波动标识可以是在当前预设时间窗口之前的多个预设时间窗口对应的指标波动标识。历史生成的指标波动标识也可以是采用操作S201至S203生成的。
根据本公开的实施例,因为采用了通过采集与目标应用指标对应的在预设时间窗口内的多个指标数据;确定上述多个指标数据中的最大值、最小值、起始值和结束值,其中,上述起始值为上述预设时间窗口内最先采集得到的指标数据,上述结束值为上述预设时间窗口内最后采集得到的指标数据;根据上述最大值、上述最小值、上述起始值和上述结束值生成当前指标波动标识;以及根据上述当前指标波动标识和历史生成的指标波动标识,生成针对上述目标应用指标的趋势图的技术手段,由于由于上述指标波动标识信息量丰富且趋势性强,所以至少部分地克服了现有技术中难以直观的反映一定时间内应用指标的连续性变化特征和长期的动态走向的技术问题,进而达到了实现通过多指标的监控更全面掌握运营态势的技术效果。
下面参考3~图5,结合具体实施例对图2所示的方法做进一步说明。
在实现本公开的过程中发现,传统的散点图或折线图等普通可视化统计图表虽能准确描述指标数据的多少或历史数据的波动情况,却难以直观的反映长期的动态走向,也无法更方便的从监控的角度为技术分析提供多周期维度的跟踪对比和走势预估,对运维人员进行综合掌握和预判决策的指导性不强,未能充分挖掘指标运营数据所具有的潜力作用。
图3示意性示出了根据本公开另一实施例的应用指标监控方法的流程图。
如图3所示,该方法除包括操作S201~S204外,还包括操作S301~S302。其中,操作S201~S204可以参见上述图2中的描述,在此不再赘述。
在操作S301,根据目标应用指标的趋势图生成拟合曲线。
根据本公开的实施例,可以基于Facebook开源的Prophet预测算法实现,通过已知时间序列的分解和机器学习的拟合,能够自动得到所需预测的结果,从而根据设置参数输出恰当的预测上限和预测下限,生成对应的拟合曲线。
在操作S302,根据拟合曲线对未来预设周期内的目标应用指标的数据范围进行预测。
根据本公开的实施例,未来预设周期即根据根据历史数据建模,分析各应用指标的性能容量及周期性特性,对未来一个周期内的应用指标数据的合理范围做出预测;之后将建模结果实时推送至前台,以图表方式呈现。
根据本公开的实施例,运维人员能够对指标数据进行综合掌握和预判决策,提升了规避风险的能力。
图4示意性示出了根据本公开又一实施例的应用指标监控方法的流程图。
如图4所示,该方法包括操作S201、操作S401、操作S402、操作S204,其中,操作S201和操作S204,参见上述描述,在此不再赘述。操作S401是对操作202的进一步限定,操作S402是对操作203的进一步限定。
在操作S401,确定多个指标数据中的最大值、最小值、平均值、起始值和结束值,其中,起始值为预设时间窗口内最先采集得到的指标数据,结束值为预设时间窗口内最后采集得到的指标数据。
根据本公开的实施例,操作S401是对操作202的进一步限定,除了确定了最大值、最小值、起始值和结束值外,还确定了平均值。
在操作S402,根据最大值、最小值、平均值、起始值和结束值生成当前指标波动标识。
根据本公开的实施例,指标波动标识中增加了平均值,还是以三角形旗面为例,平均值为第五特征点,即生成旗杆外的三角形旗面的顶点,但公开并不以此为限。
根据本公开的实施例,同一标波动标识中可体现指标数据的最大值、最小值、平均值、起始值和结束值,使得信息量进一步丰富,表达更形象立体。
图5示意性示出了根据本公开再一实施例的应用指标监控方法的流程图。
如图5所示,该方法除包括操作S201~S204外,还包括操作S501~S502。其中,操作S201~S204,参见上述描述,在此不再赘述。
在操作S501,根据目标应用指标的属性设定警示阈值。
根据本公开的实施例,应用指标的属性例如可包括其性能容量、周期性特性等;警示阈值例如可根据各应用指标数据的性能容量设定上限和下限。
在操作S502,当多个指标数据中任意一个指标数据超过警示阈值时,触发告警。
根据本公开的实施例,例如以交易率的最大值为例,设定警示阈值上限为a,下限为b,当交易率超过a,即代表单位时间内成交量过大;当交易率低于b,即代表单位时间内成交量过小;上述情况均会触发告警。
根据上述根据目标应用指标的属性设定警示阈值并在指标数据超过警示阈值时触发告警的技术手段,使得运维人员能够及时发现异常,从而帮助运维人员提高应用指标监控和异常定位能力。
图6示意性示出了根据本公开实施例的一种应用指标监控方法所监控的应用指标的趋势图。
如图6所示,每个旗形的指标波动标识表征了目标应用指标在一个时间窗口内正常波动,产生了最大值、最小值、平均值、起始值和结束值;左侧部分的所有旗形波动标为根据当前指标波动标识和历史生成的指标波动标识,生成的针对目标应用指标的趋势图;而右侧部分为根据上述趋势图生成的拟合曲线,可以基于Facebook开源的Prophet预测算法实现,通过已知时间序列的分解和机器学习的拟合,能够自动得到所需预测的结果,从而根据设置参数输出恰当的预测上限和预测下限,生成对应的拟合曲线:首先根据历史数据建模,分析各应用指标的性能容量及周期性特性,对未来一个周期内的应用指标数据的合理范围做出预测;之后将建模结果实时推送至前台,以图表方式呈现。
根据本公开实施例,上述指标数据未超过代表警示阈值上、下限的上、下两条虚线,则认为未发生异常;如果任意一个指标数据超过代表警示阈值的上、下限的上、下两条虚线时,触发告警。
根据本公开实施例,因为采用了通过采集与目标应用指标对应的在预设时间窗口内的多个指标数据;确定上述多个指标数据中的最大值、最小值、平均值、起始值和结束值;根据上述最大值、最小值、平均值、起始值和结束值生成当前指标波动标识;以及根据上述当前指标波动标识和历史生成的指标波动标识,生成针对上述目标应用指标的趋势图,并进一步生成预测未来走势的拟合曲线的技术手段,由于上述指标波动标识信息量丰富且趋势性强,所以至少部分地克服了现有技术中难以直观的反映一定时间内应用指标的连续性变化特征和长期的动态走向的技术问题,进而达到了通过多个应用指标数据的监控,可以共同衡量应用运行状态;同时使决策者能够快速发现异动,定位异常波动指标,从而及时做出运维处理;或者通过趋势预测,事先干预控制进而调整运维策略,提升规避风险的能力。
根据本公开实施例,更具体来说,指标波动标识为应用指标监控提供了新的可视化思路,将与应用运维紧密相关的关键指标数据纳入分析范畴,为科学合理的指导运维决策提供了监控条件,可体现在以下几个方面:
指标数据的连续性体现,对波段的上升/下跌、数据高位低位的形态变化进行了清晰的表达,指标数据时间窗的缩短和灵活的时间周期设置,为灵敏的反应业务运行状态提供了直观的判断依据;
异常情况快速定位,连续但不相连的指标波动标识绘制方法,可有效提取指标数据中的异常信号,即使在长周期的监测数据中也能快速定位异常,同时为异动数据的前后表现、变化幅度和历史周期比较提供了分析条件。
时间周期变化的相似性分析,使历史数据的波动特征呈现出一定的借鉴价值,方便对指标数据的波动现象进行描述定义以及归因挖掘。
分析同一应用各指标数据间的联动关系,比如交易量的剧烈起伏对业务成功率和响应时间的影响及程度分析
flink实时数据处理框架,在处理海量数据的同时保证结果的精确一致性。以原始报文时间戳为统计基准,消除脏数据以及数据迟到、乱序的负面影响。可以在秒级尺度感知异常。
可从多周期维度、细粒度进行数据聚合统计,可灵活配置指标信息,动态更新维表数据。无需重启应用,不会出现指标监控真空期和数据延迟消费、重复消费问题。
提供时间序列分析的数据支撑,可更深入的理解动态系统的变化趋势,帮助分析业务行情和决策运维操作,使运维人员可通过事先干预控制提升规避风险的能力。
需要说明的是,本公开实施例中的流程图所示的操作除非明确说明不同操作之间存在执行的先后顺序,或者不同操作在技术实现上存在执行的先后顺序,否则,多个操作之间的执行顺序可以不分先后,多个操作也可以同时执行。
图7示意性示出了根据本公开的实施例的应用指标监控装置的框图。
如图7所示,应用指标监控装置700包括:采集模块710,确定模块720,第一生成模块730,第二生成模块740。
二采集模块710用于采集与目标应用指标对应的在预设时间窗口内的多个指标数据。
确定模块720用于确定多个指标数据中的最大值、最小值、起始值和结束值,其中,起始值为预设时间窗口内最先采集得到的指标数据,结束值为预设时间窗口内最后采集得到的指标数据。
第一生成模块730用于根据最大值、最小值、起始值和结束值生成当前指标波动标识。
第二生成模块740用于根据当前指标波动标识和历史生成的指标波动标识,生成针对目标应用指标的趋势图。
根据本公开的实施例,因为采用了通过采集与目标应用指标对应的在预设时间窗口内的多个指标数据;确定上述多个指标数据中的最大值、最小值、起始值和结束值,其中,上述起始值为上述预设时间窗口内最先采集得到的指标数据,上述结束值为上述预设时间窗口内最后采集得到的指标数据;根据上述最大值、上述最小值、上述起始值和上述结束值生成当前指标波动标识;以及根据上述当前指标波动标识和历史生成的指标波动标识,生成针对上述目标应用指标的趋势图的技术手段,由于上述指标波动标识信息量丰富且趋势性强,所以至少部分地克服了现有技术中难以直观的反映一定时间内应用指标的连续性变化特征和长期的动态走向的技术问题,进而达到了更全面掌握运营态势的技术效果。
根据本公开的实施例,应用指标监控装置700还包括:第三生成模块和预测模块。
根据本公开的实施例,第三生成模块用于根据目标应用指标的趋势图生成拟合曲线。
预测模块用于根据拟合曲线对未来预设周期内的目标应用指标的数据范围进行预测。
根据本公开的实施例,确定模块720还用于确定多个指标数据的平均值。
第一生成模块730还用于:根据最大值、最小值、平均值、起始值和结束值生成当前指标波动标识。
根据本公开的实施例,应用指标监控装置700还包括:设定模块和触发模块。
根据本公开的实施例,设定模块用于根据目标应用指标的属性设定警示阈值。
根据本公开的实施例,触发模块用于当多个指标数据中任意一个指标数据超过警示阈值时,触发告警。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,采集模块710,确定模块720,第一生成模块730,第二生成模块740中的任意多个可以合并在一个模块/单元/子单元中实现,或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者,这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合,并在一个模块/单元/子单元中实现。根据本公开的实施例,采集模块710,确定模块720,第一生成模块730,第二生成模块740中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,采集模块710,确定模块720,第一生成模块730,第二生成模块740中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
需要说明的是,本公开的实施例中指标监控装置部分与本公开的实施例中指标监控方法部分是相对应的,指标监控装置部分的描述具体参考指标监控方法部分,在此不再赘述。
图8示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。图8示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示,根据本公开实施例的计算机系统800包括处理器801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM803中,存储有系统800操作所需的各种程序和数据。处理器801、ROM 802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,系统800还可以包括输入/输出(I/O)接口805,输入/输出(I/O)接口805也连接至总线804。系统800还可以包括连接至I/O接口805的以下部件中的一项或多项:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。
Claims (6)
1.一种应用指标监控方法,包括:
采集与目标应用指标对应的在预设时间窗口内的多个指标数据;
确定所述多个指标数据中的最大值、最小值、平均值、起始值和结束值,其中,所述起始值为所述预设时间窗口内最先采集得到的指标数据,所述结束值为所述预设时间窗口内最后采集得到的指标数据;
根据所述最大值、所述最小值、所述平均值、所述起始值和所述结束值生成当前指标波动标识,所述指标波动标识为三角形旗面的旗形,用于表征最大值的第一特征点生成为旗杆的最顶端;用于表征最小值的第二特征点生成为旗杆的最底端;用于表征起始值的第三特征点生成旗杆上对应三角旗面的一顶点;用于表征结束值的第四特征点生成旗杆上对应三角旗面的另一顶点,用于表征平均值的第五特征点生成旗杆外的三角形旗面的顶点;通过数据信息的更全面表达来促进数据中心实现高效运维;
根据所述当前指标波动标识和历史生成的指标波动标识,生成针对所述目标应用指标的趋势图;
基于Prophet预测算法,根据所述目标应用指标的趋势图生成拟合曲线;以及
根据所述拟合曲线对未来预设周期内的目标应用指标的数据范围进行预测;
所述应用指标类型包括:响应时间、业务成功率、系统成功率、以及交易率中至少一种。
2.根据权利要求1所述的应用指标监控方法,还包括:
根据所述目标应用指标的属性设定警示阈值;以及
当所述多个指标数据中任意一个指标数据超过所述警示阈值时,触发告警。
3.一种应用指标监控装置,包括:
采集模块,用于采集与目标应用指标对应的在预设时间窗口内的多个指标数据;
确定模块,用于确定所述多个指标数据中的最大值、最小值、平均值、起始值和结束值,其中,所述起始值为所述预设时间窗口内最先采集得到的指标数据,所述结束值为所述预设时间窗口内最后采集得到的指标数据;
第一生成模块,用于根据所述最大值、所述最小值、所述平均值、所述起始值和所述结束值生成当前指标波动标识,所述指标波动标识为三角形旗面的旗形,用于表征最大值的第一特征点生成为旗杆的最顶端;用于表征最小值的第二特征点生成为旗杆的最底端;用于表征起始值的第三特征点生成旗杆上对应三角旗面的一顶点;用于表征结束值的第四特征点生成旗杆上对应三角旗面的另一顶点,用于表征平均值的第五特征点生成旗杆外的三角形旗面的顶点;通过数据信息的更全面表达来促进数据中心实现高效运维;
第二生成模块,用于根据所述当前指标波动标识和历史生成的指标波动标识,生成针对所述目标应用指标的趋势图;
第三生成模块,用于基于Prophet预测算法,根据所述目标应用指标的趋势图生成拟合曲线;以及
预测模块,用于根据所述拟合曲线对未来预设周期内的目标应用指标的数据范围进行预测;
所述应用指标类型包括:响应时间、业务成功率、系统成功率、以及交易率中至少一种。
4.根据权利要求3所述的应用指标监控装置,还包括:
设定模块,用于根据所述目标应用指标的属性设定警示阈值;以及
触发模块,用于当所述多个指标数据中任意一个指标数据超过所述警示阈值时,触发告警。
5.一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个指令,
其中,当所述一个或多个指令被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至2中任一项所述的方法。
6.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现权利要求1至2中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010683516.6A CN111897700B (zh) | 2020-07-15 | 2020-07-15 | 应用指标监控方法及装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010683516.6A CN111897700B (zh) | 2020-07-15 | 2020-07-15 | 应用指标监控方法及装置、电子设备和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111897700A CN111897700A (zh) | 2020-11-06 |
CN111897700B true CN111897700B (zh) | 2024-03-08 |
Family
ID=73191252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010683516.6A Active CN111897700B (zh) | 2020-07-15 | 2020-07-15 | 应用指标监控方法及装置、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111897700B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112486773A (zh) * | 2020-12-01 | 2021-03-12 | 北京数码视讯技术有限公司 | 数据处理方法、装置和系统 |
CN112540902B (zh) * | 2020-12-03 | 2023-03-14 | 山东云海国创云计算装备产业创新中心有限公司 | 一种片上系统性能检验方法、装置、设备及可读存储介质 |
CN116662100B (zh) * | 2022-09-27 | 2024-03-15 | 荣耀终端有限公司 | 数据处理方法和电子设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103856366A (zh) * | 2012-12-06 | 2014-06-11 | 腾讯科技(深圳)有限公司 | 一种平台数据监控方法及系统 |
CN105447758A (zh) * | 2015-12-09 | 2016-03-30 | 上海银天下科技有限公司 | 预警值设置方法和装置 |
CN105718603A (zh) * | 2016-03-31 | 2016-06-29 | 北京理工大学 | 一种基于蜡烛图的时序数据可视化方法及装置 |
CN106250300A (zh) * | 2016-07-26 | 2016-12-21 | 上海银天下科技有限公司 | 界面展示方法及装置 |
CN107766299A (zh) * | 2017-10-24 | 2018-03-06 | 携程旅游信息技术(上海)有限公司 | 数据指标异常的监控方法及其系统、存储介质、电子设备 |
CN108509314A (zh) * | 2018-02-09 | 2018-09-07 | 武汉楚鼎信息技术有限公司 | 一种主机运行指标监控告警方法及系统装置 |
CN108921355A (zh) * | 2018-07-03 | 2018-11-30 | 国家计算机网络与信息安全管理中心 | 一种基于时间序列预测模型的告警阈值设定方法及装置 |
CN110995477A (zh) * | 2019-11-20 | 2020-04-10 | 北京宝兰德软件股份有限公司 | 基于动态阈值的预警处理方法、装置、设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10540787B2 (en) * | 2017-04-19 | 2020-01-21 | Aveva Software, Llc | Automated trend chart graphical display generation in a historian system |
-
2020
- 2020-07-15 CN CN202010683516.6A patent/CN111897700B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103856366A (zh) * | 2012-12-06 | 2014-06-11 | 腾讯科技(深圳)有限公司 | 一种平台数据监控方法及系统 |
CN105447758A (zh) * | 2015-12-09 | 2016-03-30 | 上海银天下科技有限公司 | 预警值设置方法和装置 |
CN105718603A (zh) * | 2016-03-31 | 2016-06-29 | 北京理工大学 | 一种基于蜡烛图的时序数据可视化方法及装置 |
CN106250300A (zh) * | 2016-07-26 | 2016-12-21 | 上海银天下科技有限公司 | 界面展示方法及装置 |
CN107766299A (zh) * | 2017-10-24 | 2018-03-06 | 携程旅游信息技术(上海)有限公司 | 数据指标异常的监控方法及其系统、存储介质、电子设备 |
CN108509314A (zh) * | 2018-02-09 | 2018-09-07 | 武汉楚鼎信息技术有限公司 | 一种主机运行指标监控告警方法及系统装置 |
CN108921355A (zh) * | 2018-07-03 | 2018-11-30 | 国家计算机网络与信息安全管理中心 | 一种基于时间序列预测模型的告警阈值设定方法及装置 |
CN110995477A (zh) * | 2019-11-20 | 2020-04-10 | 北京宝兰德软件股份有限公司 | 基于动态阈值的预警处理方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
"大坝安全监测数据监控与应急预案报告程序模板的开发应用";胡庆云;《2014年7月建筑科技与管理学术交流会论文集》;第1-4页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111897700A (zh) | 2020-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111897700B (zh) | 应用指标监控方法及装置、电子设备和可读存储介质 | |
US10558545B2 (en) | Multiple modeling paradigm for predictive analytics | |
US20230188452A1 (en) | Performance monitoring in a distributed storage system | |
US9658910B2 (en) | Systems and methods for spatially displaced correlation for detecting value ranges of transient correlation in machine data of enterprise systems | |
US20160042289A1 (en) | Systems and methods for adaptive thresholding using maximum concentration intervals | |
US11188642B2 (en) | Displaying real-time security events | |
US9280386B1 (en) | Identifying task instance outliers based on metric data in a large scale parallel processing system | |
CN116028730A (zh) | 搜索资源异常识别方法、装置及电子设备 | |
CN112948223A (zh) | 一种监测运行情况的方法和装置 | |
CN106156123B (zh) | 活跃值计算方法及装置 | |
US7890444B2 (en) | Visualization of data availability and risk | |
CN116471174B (zh) | 一种日志数据监测系统、方法、装置和存储介质 | |
CN110633165B (zh) | 故障处理方法、装置、系统服务器及计算机可读存储介质 | |
US11929869B2 (en) | Scalable and real-time anomaly detection | |
CN113204467B (zh) | 线上业务系统的监控方法、装置、设备及存储介质 | |
US20170372334A1 (en) | Agent-based monitoring of an application management system | |
CN114661562A (zh) | 一种数据告警方法、装置、设备及介质 | |
CN114428711A (zh) | 数据检测方法、装置、设备及存储介质 | |
US20230179501A1 (en) | Health index of a service | |
CN109766243B (zh) | 一种基于幂函数的多核主机性能监控方法 | |
JP2022138807A (ja) | 異常判定方法および異常判定プログラム | |
CN113779098A (zh) | 数据处理方法、装置、电子设备以及存储介质 | |
CN117093627A (zh) | 信息挖掘的方法、装置、电子设备和存储介质 | |
CN114461502A (zh) | 模型的监控方法和装置 | |
CN117611412A (zh) | 一种事件预警方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |