CN114090411A - 一种应用数据分析方法、装置、设备及可读存储介质 - Google Patents

一种应用数据分析方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN114090411A
CN114090411A CN202210063049.6A CN202210063049A CN114090411A CN 114090411 A CN114090411 A CN 114090411A CN 202210063049 A CN202210063049 A CN 202210063049A CN 114090411 A CN114090411 A CN 114090411A
Authority
CN
China
Prior art keywords
application
performance parameter
prediction
early warning
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210063049.6A
Other languages
English (en)
Other versions
CN114090411B (zh
Inventor
王蒴
刘丽红
曲鸣
孟庆凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Civic Se Commercial Middleware Co ltd
Original Assignee
Shandong Civic Se Commercial Middleware Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Civic Se Commercial Middleware Co ltd filed Critical Shandong Civic Se Commercial Middleware Co ltd
Priority to CN202210063049.6A priority Critical patent/CN114090411B/zh
Publication of CN114090411A publication Critical patent/CN114090411A/zh
Application granted granted Critical
Publication of CN114090411B publication Critical patent/CN114090411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种应用数据分析方法、装置、设备及可读存储介质,方法包括:获取各应用中的关联关系数据及多个性能参数对应的时间序列;利用各性能参数对应且预先训练得到的时间序列预测算法对各应用中各性能参数对应的时间序列进行预测,得到各应用中各性能参数对应的预测时间序列;从各性能参数对应的预测时间序列中获取预测统计数据,根据预测统计数据及关联关系数据生成各性能参数的关联矩阵,根据关联矩阵及预警知识库确定预警信息;输出各应用中各性能参数对应的预测时间序列、预测统计数据及预警信息。本申请公开的上述技术方案,通过对数据的预测以及关联分析而实现对应用中各性能参数进行更深层次的分析,以便于更好地指导运维工作。

Description

一种应用数据分析方法、装置、设备及可读存储介质
技术领域
本申请涉及数据分析技术领域,更具体地说,涉及一种应用数据分析方法、装置、设备及可读存储介质。
背景技术
现有应用监控软件的核心是数据分析和度量结果的存储,通过HTTP(HyperTextTransfer Protocol,超文本传输协议)或gRPC(一个开源远程过程调用系统)方式向控制器提交分析和度量数据,控制器对数据进行分析聚合,并将分析聚合结果存储到数据库中,最后通过UI(User Interface,用户界面)对分析聚合结果进行显示。但是,现有过程仅实现了对现有数据的分析整合,而并未对数据进行更深层次的分析,从而导致相关人员无法获取更多的数据信息。
综上所述,如何对数据进行更深层次的分析,是目前本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此,本申请的目的是提供一种应用数据分析方法、装置、设备及可读存储介质,用于对数据进行更深层次的分析。
为了实现上述目的,本申请提供如下技术方案:
一种应用数据分析方法,包括:
获取各应用中的关联关系数据及多个性能参数分别对应的时间序列;
利用各性能参数对应且预先训练得到的时间序列预测算法对各所述应用中各性能参数对应的时间序列进行相应预测,得到各所述应用中各性能参数对应的预测时间序列;所述时间序列预测算法为利用相应性能参数对应的历史时间序列训练得到的;
从各所述应用中各性能参数对应的预测时间序列中获取预测统计数据,根据所述预测统计数据及所述关联关系数据生成各性能参数的关联矩阵,根据所述关联矩阵及预先建立的预警知识库确定预警信息;
输出各所述应用中各性能参数对应的预测时间序列、所述预测统计数据及所述预警信息。
优选的,在根据所述关联矩阵及预先建立的预警知识库确定预警信息之后,还包括:
接收预警信息筛选指令,根据所述预警信息筛选指令对所述预警信息进行筛选,得到筛选后的预警信息。
优选的,利用各性能参数对应且预先训练得到的时间序列预测算法对各所述应用中各性能参数对应的时间序列进行相应预测,包括:
利用各性能参数对应且预先训练得到的Prophet算法对各所述应用中各性能参数对应的时间序列进行相应预测。
优选的,获取各应用中的关联关系数据及多个性能参数分别对应的时间序列,包括:
接收各所述应用中的探针采集的相应应用中的关联关系数据及定时采集的各性能参数,并将各所述应用中的探针采集的关联关系数据及每次采集的性能参数存储在数据库中;
从所述数据库中获取各所述应用中的关联关系数据及多个性能参数分别对应的时间序列。
优选的,在得到各所述应用中各性能参数对应的预测时间序列之后,还包括:
将各所述应用中各性能参数对应的预测时间序列转换成变化趋势图,并输出各所述所述应用中各性能参数对应的变化趋势图。
优选的,输出各所述应用中各性能参数对应的预测时间序列、所述预测统计数据及所述预警信息,包括:
将各所述应用中各性能参数对应的预测时间序列、所述预测统计数据及所述预警信息输出至UI界面,以利用所述UI界面进行展示。
一种应用数据分析装置,包括:
获取模块,用于获取各应用中的关联关系数据及多个性能参数分别对应的时间序列;
预测模块,用于利用各性能参数对应且预先训练得到的时间序列预测算法对各所述应用中各性能参数对应的时间序列进行相应预测,得到各所述应用中各性能参数对应的预测时间序列;所述时间序列预测算法为利用相应性能参数对应的历史时间序列训练得到的;
确定模块,用于从各所述应用中各性能参数对应的预测时间序列中获取预测统计数据,根据所述预测统计数据及所述关联关系数据生成各性能参数的关联矩阵,根据所述关联矩阵及预先建立的预警知识库确定预警信息;
输出模块,用于输出各所述应用中各性能参数对应的预测时间序列、所述预测统计数据及所述预警信息。
优选的,还包括:
接收模块,用于根据所述关联矩阵及预先建立的预警知识库确定预警信息,接收预警信息筛选指令,根据所述预警信息筛选指令对所述预警信息进行筛选,得到筛选后的预警信息。
一种应用数据分析设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述任一项所述的应用数据分析方法的步骤。
一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述的应用数据分析方法的步骤。
本申请提供了一种应用数据分析方法、装置、设备及可读存储介质,其中,该方法包括:获取各应用中的关联关系数据及多个性能参数分别对应的时间序列;利用各性能参数对应且预先训练得到的时间序列预测算法对各应用中各性能参数对应的时间序列进行相应预测,得到各应用中各性能参数对应的预测时间序列;时间序列预测算法为利用相应性能参数对应的历史时间序列训练得到的;从各应用中各性能参数对应的预测时间序列中获取预测统计数据,根据预测统计数据及关联关系数据生成各性能参数的关联矩阵,根据关联矩阵及预先建立的预警知识库确定预警信息;输出各应用中各性能参数对应的预测时间序列、预测统计数据及预警信息。
本申请公开的上述技术方案,利用各性能参数对应且预先训练得到的时间序列预测算法对各应用中各性能参数对应的时间序列进行相应预测,以得到各应用中各性能参数对应的预测时间序列,也即得到各应用中各性能参数未来的走势,而且在得到各应用中各性能参数对应的预测时间序列之后,从中获取预测统计数据,并根据预测统计数据及从应用中获取的关联关系数据生成各性能参数的关联矩阵,然后,根据关联矩阵及预先建立的预警知识库确定预警信息,以通过利用对现有数据的预测以及预测结果的关联分析而实现对应用中各性能参数进行更深层次的分析及提前预警,且通过输出各应用中各性能参数对应的预测时间序列、预测统计数据及预警信息而便于相关人员能够获知更多的应用数据分析结果,从而便于更好地指导运维工作。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种应用数据分析方法的流程图;
图2为本申请实施例提供的另一种应用数据分析流程图;
图3为本申请实施例提供的关联分析的流程图;
图4为本申请实施例提供的某一应用中SLA对应的变化趋势图;
图5为本申请实施例提供的一种应用数据分析装置的结构示意图;
图6为本申请实施例提供的一种应用数据分析设备的结构示意图。
具体实施方式
本申请的核心是提供一种应用数据分析方法、装置、设备及可读存储介质,用于对数据进行更深层次的分析。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参见图1,其示出了本申请实施例提供的一种应用数据分析方法的流程图,本申请实施例提供的一种应用数据分析方法,可以包括:
S11:获取各应用中的关联关系数据及多个性能参数分别对应的时间序列。
应用监控系统中的管理端可以获取要进行监控及应用数据分析的系统中各应用中的关联关系数据,且管理端也可以获取各应用中多个性能参数(具体即为多个类型的性能参数)分别对应的时间序列。对于每个应用中的一个类型的性能参数,其对应的时间序列为由不同时间点的性能参数具体值,按照时间从前往后的顺序构成。
具体可以参见图2,其示出了本申请实施例提供的另一种应用数据分析流程图,本申请所提及的关联关系数据即为Dependency Map数据,Dependency Map为依赖关系图,代表哪些服务在依赖(调用)该端点,也即为该应用所关联的底层组件,例如中间件(是一种独立的系统软件服务程序,可借助这种软件在不同的技术之间共享资源,中间件位于客户机服务器的操作系统之上,管理计算资源和网络通信)、应用服务器、数据库等,不同应用间可能关联有相同的底层组件,也即不同应用间可能存在间接的关联关系,通过各应用中关联关系数据的获取可以便于后续对应用进行关联分析。
另外,本申请所提及的多个性能参数具体可以包含SLA(service levelagreement,服务等级协议)、ResponseTime(响应时间)、Throughput(吞吐量)。其中,SLA是在一定开销下为保证服务的性能和可用性,在应用监控系统中,特指每分钟内响应成功请求的占比;响应时间,即在选定时间内,服务所有请求的平均响应时间(ms);吞吐量,即在选定时间内,每分钟服务响应的请求量(cpm)。通过获取各应用中多个类型的性能参数分别对应的时间序列可以便于后续对各应用中的各性能参数进行更深层次的分析和处理。
S12:利用各性能参数对应且预先训练得到的时间序列预测算法对各应用中各性能参数对应的时间序列进行相应预测,得到各应用中各性能参数对应的预测时间序列;时间序列预测算法为利用相应性能参数对应的历史时间序列训练得到的。
在本申请中,管理端可以预先利用各类型的性能参数对应的历史时间序列来分别对各类型的性能参数对应的初始时间序列预测算法进行训练,以得到各类型的性能参数分别对应的时间序列预测算法。具体地,对于一个类型的性能参数,可以输入已知的历史时间序列的时间戳和相应的值,具体可以将多段历史时间序列作为初始时间序列预测算法的输入、与前述各段历史时间序列对应且位于对应历史时间序列之后一段时间的历史时间序列作为输出而对初始时间序列算法进行训练,以得到最终的时间序列预测算法为止(也即得到步骤S12中所用的预先训练得到的时间序列预测算法为止)。
在预先训练得到各类型的性能参数分别对应的时间序列预测算法之后,且在步骤S11的基础上,可以分别将每个应用中的各性能参数分别对应的时间序列输入到各性能参数对应的预先训练得到的时间序列预测算法中,以利用对应的时间序列预测算法来对相应的性能参数进行预测,从而对应得到每个应用中各性能参数对应的预测时间序列。例如:将每个应用中的SLA对应的时间序列分别输入到SLA对应的且预先训练得到的时间序列预测算法中,以利用SLA对应的时间序列预测算法分别得到每个应用中的SLA对应的预测时间序列。
通过上述过程可以实现对每个应用中各性能参数在未来时间内的情况进行预测,以便于得到各应用中的各性能参数在未来时间内的变化情况等,例如变化趋势、新变点(未来可能出现的突变的点)出现的概率、新变点出现的位置等。
S13:从各应用中各性能参数对应的预测时间序列中获取预测统计数据,根据预测统计数据及关联关系数据生成各性能参数的关联矩阵,根据关联矩阵及预先建立的预警知识库确定预警信息。
在步骤S12的基础上,管理端可以从各应用中各性能参数对应的预测时间序列中获取预测统计数据,具体即为获取性能参数必要的统计指标,包括上界和下界、性能参数预测值序列等。
在从各应用中各性能参数对应的预测时间序列中获取预测统计数据之后,可以根据各应用中各性能参数对应的预测统计数据及各应用中的关联关系数据生成各性能参数的关联矩阵,其中,所生成的各性能参数的关联矩阵即为存在关联关系的应用中的性能参数的关联矩阵。具体地,首先,可以根据从应用中获取的关联关系数据而确定存在关联关系的应用,然后,可以根据存在关联关系的应用中各性能参数对应的预测统计数据而生成相应的关联矩阵,其中,在该关联矩阵中,行数等于存在关联关系的应用的个数,列数等于性能参数的个数,关联矩阵中的aij(第i行第j列元素)为存在关联关系的第i个应用中第j个性能参数对应的预测统计数据,其中,i=1,2,…m,j=1,2,3,m为存在关联关系的应用的个数,j=1对应SLA,j=2对应ResponseTime,j=3对应Throughput。例如当根据应用中的关联关系而确定应用A和应用B存在关联关系时,则可以生成应用A和应用B对应的关联矩阵,其中,关联矩阵中的a11为应用A中的SLA对应的预测统计数据,a12为应用A中的ResponseTime对应的预测统计数据,a13为应用A中Throughput对应的预测统计数据,a21为应用B中的SLA对应的预测统计数据,a22为应用B中的ResponseTime对应的预测统计数据,a23为应用B中Throughput对应的预测统计数据。通过前述过程可以实现结合Dependency Map数据而进行关联分析,以便于确定应用间性能参数对应的预测统计数据之间的关联。具体可以参见图3,其示出了本申请实施例提供的关联分析的流程图。
在上述基础上,可以根据所生成的各性能参数的关联矩阵从预先建立的预警知识库中确定是否存在相对应的预警信息,若存在,则确定相对应的预警信息。
其中,预警知识库具体可以为相关人员梳理常用关联应用导致的各类运行问题,并进行过滤筛选而生成的。且在预警知识库中,每条预警信息具体可以包含关联矩阵(即故障信息对应的检索项)、、因为什么原因导致的故障(即故障原因)、应该采取什么样的手段消除故障(即故障解决方案)等,以便于相关人员可以根据所确定的预警信息而提前获取故障信息等,从而便于有效地指导运维工作。在根据联矩阵及预先建立的预警知识库确定预警信息时,首先,可以分析联矩阵中存在关联管理的应用在SLA对应的预测统计数据,如果其中一个应用对应的SLA趋近于0(趋近于0具体即为与0的差值小于第一阈值),而其余应用对应的SLA正常,则结合预警知识库确定预警信息中的故障原因为网络延迟、SLA趋近于0所对应的应用(将该应用简称为可能存在故障的应用)崩溃;如果所有应用对应的SLA在同一时间点均趋近于0,则产生这种情况的原因可能是网络延迟、各应用崩溃、服务器崩溃、数据库崩溃、中间件崩溃,此时,利用下一个性能参数作为分析对象,也即分析联矩阵中存在关联管理的应用对应的ResponseTime,如果可能存在故障的应用所对应的ResponseTime过大(具体为ResponseTime大于第二阈值),而其余应用所对应的ResponseTime均正常,则排除底层问题,根据预警知识库确定产生所有应用对应的SLA在同一时间点均趋近于0的原因是应用本身的问题,并结合预警知识库确定故障原因为应用本身出现问题导致所有应用对应的SLA在同一时间点均趋近于0,且给出应用本身出现问题的故障原因;如果各应用对应的ResponseTime均过大,则可能是网络延迟、各应用崩溃、服务器崩溃、数据库崩溃、中间件崩溃,此时,利用下一个性能参数作为分析对象,也即分析联矩阵中存在关联管理的应用对应的Throughput,当各应用的Throughput均过小(具体为小于第三阈值),则根据预警知识库确定故障原因为底层(服务器、数据库、中间件)以及网络均存在问题,也即预警信息中故障原因为底层以及网络存在问题,如果可能存在故障的应用的Throughput异常,而其余应用的Throughput正常,则根据预警知识库确定故障原因为可能存在故障的应用本身以及网络存在问题,当可能存在故障的应用本身的Throughput正常,而其余应用的Throughput异常时,则根据预警知识库确定故障原因为产生其余应用以及网络存在问题。
例如:以应用A和应用B关联同一套底层(中间件、服务器、数据库)为例,也即以应用A和应用B存在应用管理为例:
1)从相应的关联矩阵中确定当应用A的SLA对应的预测统计数据趋于0时,产生这种情况的原因为网络延迟、应用A崩溃、服务器崩溃、数据库崩溃、中间件崩溃;
2)若同一时间应用B的SLA趋近于0,产生这种情况的原因为网络延迟、应用B崩溃、服务器崩溃、数据库崩溃、中间件崩溃(继续进行下一个性能指标分析);
3)同一时间应用B的SLA正常,产生这种情况的原因为排除底层崩溃导致异常,则应用A产生的原因为网络延迟、应用A崩溃,产生应用A以及网络问题预警信息;
4)结合1)、2),当应用A的ResponseTime过大,上述原因无法排除,继续查看应用B的ResponseTime;
5)当应用B的ResponseTime无限大的时候,上述问题可能都存在,继续查看Throughput;
6)当应用B的ResponseTime正常的时候,排除底层问题,应用A、应用B产生问题的原因是本身的问题,产生应用A、应用B预警信息;
7)当应用A、应用B的SLA以及ResponseTime都存在问题时继续查看Throughput,当应用A、应用B的Throughput过小时,初步判断底层(中间件、服务器、数据库)以及网络存在问题,产生初步崩溃预警信息(即预警信息);
8)当应用A的Throughput存在异常、应用B的Throughput正常,产生应用A以及网络预警信息;
9)当应用A的Throughput正常,应用B的Throughput异常,产生应用B以及网络预警信息。
通过上述过程,不仅可以实现预测统计数据的获取,而且可以实现应用间的关联分析,并且还可以基于关联分析结果确定预警信息,因此,可以实现对应用数据的深层次分析,以便于更好地指导系统及应用的运维工作。具体而言,管理端中存在的以时间维度统计的历史数据进行趋势预测分析,对具备一定变化趋势的数据进行拟合,预测出应用性能的时间序列的未来走势,结合应用间的关联进行分析,从而进行应用运行状态预警以及提出建议,从而更好地指导运维工作。
S14:输出各应用中各性能参数对应的预测时间序列、预测统计数据及预警信息。
在前述各步骤的基础上,管理端可以输出各应用中各性能参数对应的预测时间序列、预测统计数据及预警信息,以便于相关人员可以获知应用数据的分析结果,并基于预警信息中所给出的故障解决方案而提前进行故障预防等。其中,管理端在输出各应用中各性能参数对应的预测时间序列、预测统计数据及预警信息的同时,该可以提出相应的建议与意见等,以便于相关人员可以进行更好地运维。
相较于现有仅对应用中的数据进行分类聚合和存储,本申请可以获取性能参数对应的时间序列、基于预先训练得到的时间序列预测算法进行预测、预测统计数据提取、关联关系分析及预警信息获取等,从而实现对应用中数据进行更深层次的分析,以便于获取更多的数据信息,进而便于更好地指导相关人员的运维工作等,以提高系统及应用运行的可靠性和稳定性。
本申请公开的上述技术方案,利用各性能参数对应且预先训练得到的时间序列预测算法对各应用中各性能参数对应的时间序列进行相应预测,以得到各应用中各性能参数对应的预测时间序列,也即得到各应用中各性能参数未来的走势,而且在得到各应用中各性能参数对应的预测时间序列之后,从中获取预测统计数据,并根据预测统计数据及从应用中获取的关联关系数据生成各性能参数的关联矩阵,然后,根据关联矩阵及预先建立的预警知识库确定预警信息,以通过利用对现有数据的预测以及预测结果的关联分析而实现对应用中各性能参数进行更深层次的分析及提前预警,且通过输出各应用中各性能参数对应的预测时间序列、预测统计数据及预警信息而便于相关人员能够获知更多的应用数据分析结果,从而便于更好地指导运维工作。
本申请实施例提供的一种应用数据分析方法,在根据关联矩阵及预先建立的预警知识库确定预警信息之后,还可以包括:
接收预警信息筛选指令,根据预警信息筛选指令对预警信息进行筛选,得到筛选后的预警信息。
在本申请中,在根据关联矩阵及预先建立的预警知识库确定预警信息之后,可以通过发出提示等方式而使得相关人员获取预警信息。然后,相关人员可以根据所获取的预警信息而发出预警信息筛选指令。管理端在接收到预警信息筛选指令之后,可以根据预警信息筛选指令对预警信息进行筛选,得到筛选后的预警信息,也即在得到预警信息可以通过人工干预而对生成的预警信息进行再次判断筛选,以生成准确、可靠的预警信息。
本申请实施例提供的一种应用数据分析方法,利用各性能参数对应且预先训练得到的时间序列预测算法对各应用中各性能参数对应的时间序列进行相应预测,可以包括:
利用各性能参数对应且预先训练得到的Prophet算法对各应用中各性能参数对应的时间序列进行相应预测。
考虑到应用中性能参数的时间性比较强,因此,本申请具体可以利用各性能参数对应且预先训练得到的Prophet算法对各应用中各性能参数对应的时间序列进行相应预测,以提高预测的准确性。
其中,Prophet算法是Facebook 开源一款基于Python和R语言的数据预测工具。基本模型y(t)=g(t)+s(s)+h(t)+ϵt,模型将时间序列分成3个部分的叠加,其中g(t)表示增长函数,用来拟合非周期性变化的;s(t)用来表示周期性变化,比如说每周,每年,季节等;h(t)表示假期,节日等特殊原因等造成的变化;最后ϵt为噪声项,用它来表示随机无法预测的波动,假设ϵt是高斯的。事实上,这是generalized additive model(GAM)模型的特例,但这里只用到了时间作为拟合的参数。
通过Prophet算法对影响性能的关键性指标(即前述提及的性能参数)进行整合运算,从而针对这些关键性指标做出饱和性预测以及突变性预测,从而提前对运维人员做出预警以及建议,且Prophet算法可以预测新变点出现的概率、预测新变点出现的位置等。另外,Prophet算法不仅可以处理时间存在的一些异常值的情况,也可以处理部分缺失值的情形,还能够几乎全自动地预测时间序列未来的走势。
本申请实施例提供的一种应用数据分析方法,获取各应用中的关联关系数据及多个性能参数分别对应的时间序列,可以包括:
接收各应用中的探针采集的相应应用中的关联关系数据及定时采集的各性能参数,并将各应用中的探针采集的关联关系数据及每次采集的性能参数存储在数据库中;
从数据库中获取各应用中的关联关系数据及多个性能参数分别对应的时间序列。
在本申请中,各应用中均可以部署有探针,各应用中所部署的探针可以采集相应应用中的关联关系数据(对于关联关系数据可以仅采集一次,也可以采集多次),并可以定时采集(定时的时间间隔可以根据实际需要而进行设置)相应应用中各性能参数的具体值。探针在每采集到数据之后,即将所采集到的数据发送至管理端,并由管理端将接收到的各应用中的探针所采集的关联关系数据及定时采集到的各性能参数存储在管理端的数据库中,以便于管理端可以对数据库中所存储的数据进行分析、处理。需要说明的是,探针在发送采集的数据的同时,还可以将采集的数据(具体即为关联关系数据和性能参数的具体值)所属的应用的信息、采集性能参数的时间点等一起发送至管理端的数据库,以便于管理端基于这些信息来进行分类、汇总等。
管理端在需要进行数据分析时,可以对数据库中的关联关系数据、各性能参数进行分类汇总整合,以获取到各应用中的关联关系以及各应用中的多个性能参数分别对应的时间序列。
通过上述过程可以提高数据获取的便利性,且便于更好地进行数据分析。
本申请实施例提供的一种应用数据分析方法,在得到各应用中各性能参数对应的预测时间序列之后,还可以包括:
将各应用中各性能参数对应的预测时间序列转换成变化趋势图,并输出各应用中各性能参数对应的变化趋势图。
在本申请中,在得到各应用中各性能参数对应的预测时间序列之后,管理端可以将各应用中各性能参数分别对应的预测时间序列转换成变化趋势图,并可以输出各应用中各性能参数对应的变化趋势图,具体可以参见图4,其中,图4示出了某一应用中SLA对应的变化趋势图,其中,变化趋势图的横坐标为时间、纵坐标为性能参数的预测值。
通过得到变化趋势图,并输出变化趋势图可以便于相关人员可以更清楚、更直接地获取各应用中各性能参数在未来的变化趋势。
本申请实施例提供的一种应用数据分析方法,输出各应用中各性能参数对应的预测时间序列、预测统计数据及预警信息,可以包括:
将各应用中各性能参数对应的预测时间序列、预测统计数据及预警信息输出至UI界面,以利用UI界面进行展示。
在本申请中,管理端具体可以将将各应用中各性能参数对应的预测时间序列、预测统计数据及预警信息输出至管理端的UI界面,以利用管理端的UI界面进行展示,从而便于相关人员进行相关信息的获取。当然,管理端也可以将各应用中各性能参数对应的预测时间序列、预测统计数据及预警信息通过邮件、短信等输出给相关人员。
本申请实施例还提供了一种应用数据分析装置,参见图5,其示出了本申请实施例提供的一种应用数据分析装置的结构示意图,可以包括:
获取模块41,用于获取各应用中的关联关系数据及多个性能参数分别对应的时间序列;
预测模块42,用于利用各性能参数对应且预先训练得到的时间序列预测算法对各应用中各性能参数对应的时间序列进行相应预测,得到各应用中各性能参数对应的预测时间序列;时间序列预测算法为利用相应性能参数对应的历史时间序列训练得到的;
确定模块43,用于从各应用中各性能参数对应的预测时间序列中获取预测统计数据,根据预测统计数据及关联关系数据生成各性能参数的关联矩阵,根据关联矩阵及预先建立的预警知识库确定预警信息;
输出模块44,用于输出各应用中各性能参数对应的预测时间序列、预测统计数据及预警信息。
本申请实施例提供的一种应用数据分析装置,还可以包括:
接收模块,用于在根据关联矩阵及预先建立的预警知识库确定预警信息之后,接收预警信息筛选指令,根据预警信息筛选指令对预警信息进行筛选,得到筛选后的预警信息。
本申请实施例提供的一种应用数据分析装置,预测模块42可以包括:
预测单元,用于利用各性能参数对应且预先训练得到的Prophet算法对各应用中各性能参数对应的时间序列进行相应预测。
本申请实施例提供的一种应用数据分析装置,获取模块41可以包括:
接收单元,用于接收各应用中的探针采集的相应应用中的关联关系数据及定时采集的各性能参数,并将各应用中的探针采集的关联关系数据及每次采集的性能参数存储在数据库中;
获取单元,用于从数据库中获取各应用中的关联关系数据及多个性能参数分别对应的时间序列。
本申请实施例提供的一种应用数据分析装置,还可以包括:
转换模块,用于在得到各应用中各性能参数对应的预测时间序列之后,将各应用中各性能参数对应的预测时间序列转换成变化趋势图,并输出各应用中各性能参数对应的变化趋势图。
本申请实施例提供的一种应用数据分析装置,输出模块44可以包括:
输出单元,用于将各应用中各性能参数对应的预测时间序列、预测统计数据及预警信息输出至UI界面,以利用UI界面进行展示。
本申请实施例还提供了一种应用数据分析设备,参见图6,其示出了本申请实施例提供的一种应用数据分析设备的结构示意图,可以包括:
存储器51,用于存储计算机程序;
处理器52,用于执行存储器51存储的计算机程序时可实现如下步骤:
获取各应用中的关联关系数据及多个性能参数分别对应的时间序列;利用各性能参数对应且预先训练得到的时间序列预测算法对各应用中各性能参数对应的时间序列进行相应预测,得到各应用中各性能参数对应的预测时间序列;时间序列预测算法为利用相应性能参数对应的历史时间序列训练得到的;从各应用中各性能参数对应的预测时间序列中获取预测统计数据,根据预测统计数据及关联关系数据生成各性能参数的关联矩阵,根据关联矩阵及预先建立的预警知识库确定预警信息;输出各应用中各性能参数对应的预测时间序列、预测统计数据及预警信息。
本申请实施例还提供了一种可读存储介质,可读存储介质中存储有计算机程序,计算机程序被处理器执行时可实现如下步骤:
获取各应用中的关联关系数据及多个性能参数分别对应的时间序列;利用各性能参数对应且预先训练得到的时间序列预测算法对各应用中各性能参数对应的时间序列进行相应预测,得到各应用中各性能参数对应的预测时间序列;时间序列预测算法为利用相应性能参数对应的历史时间序列训练得到的;从各应用中各性能参数对应的预测时间序列中获取预测统计数据,根据预测统计数据及关联关系数据生成各性能参数的关联矩阵,根据关联矩阵及预先建立的预警知识库确定预警信息;输出各应用中各性能参数对应的预测时间序列、预测统计数据及预警信息。
该可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请提供的一种应用数据分析装置、设备及可读存储介质中相关部分的说明可以参见本申请实施例提供的一种应用数据分析方法中对应部分的详细说明,在此不再赘述。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、 “包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外,本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种应用数据分析方法,其特征在于,包括:
获取各应用中的关联关系数据及多个性能参数分别对应的时间序列;
利用各性能参数对应且预先训练得到的时间序列预测算法对各所述应用中各性能参数对应的时间序列进行相应预测,得到各所述应用中各性能参数对应的预测时间序列;所述时间序列预测算法为利用相应性能参数对应的历史时间序列训练得到的;
从各所述应用中各性能参数对应的预测时间序列中获取预测统计数据,根据所述预测统计数据及所述关联关系数据生成各性能参数的关联矩阵,根据所述关联矩阵及预先建立的预警知识库确定预警信息;
输出各所述应用中各性能参数对应的预测时间序列、所述预测统计数据及所述预警信息。
2.根据权利要求1所述的应用数据分析方法,其特征在于,在根据所述关联矩阵及预先建立的预警知识库确定预警信息之后,还包括:
接收预警信息筛选指令,根据所述预警信息筛选指令对所述预警信息进行筛选,得到筛选后的预警信息。
3.根据权利要求1所述的应用数据分析方法,其特征在于,利用各性能参数对应且预先训练得到的时间序列预测算法对各所述应用中各性能参数对应的时间序列进行相应预测,包括:
利用各性能参数对应且预先训练得到的Prophet算法对各所述应用中各性能参数对应的时间序列进行相应预测。
4.根据权利要求1所述的应用数据分析方法,其特征在于,获取各应用中的关联关系数据及多个性能参数分别对应的时间序列,包括:
接收各所述应用中的探针采集的相应应用中的关联关系数据及定时采集的各性能参数,并将各所述应用中的探针采集的关联关系数据及每次采集的性能参数存储在数据库中;
从所述数据库中获取各所述应用中的关联关系数据及多个性能参数分别对应的时间序列。
5.根据权利要求1所述的应用数据分析方法,其特征在于,在得到各所述应用中各性能参数对应的预测时间序列之后,还包括:
将各所述应用中各性能参数对应的预测时间序列转换成变化趋势图,并输出各所述所述应用中各性能参数对应的变化趋势图。
6.根据权利要求1所述的应用数据分析方法,其特征在于,输出各所述应用中各性能参数对应的预测时间序列、所述预测统计数据及所述预警信息,包括:
将各所述应用中各性能参数对应的预测时间序列、所述预测统计数据及所述预警信息输出至UI界面,以利用所述UI界面进行展示。
7.一种应用数据分析装置,其特征在于,包括:
获取模块,用于获取各应用中的关联关系数据及多个性能参数分别对应的时间序列;
预测模块,用于利用各性能参数对应且预先训练得到的时间序列预测算法对各所述应用中各性能参数对应的时间序列进行相应预测,得到各所述应用中各性能参数对应的预测时间序列;所述时间序列预测算法为利用相应性能参数对应的历史时间序列训练得到的;
确定模块,用于从各所述应用中各性能参数对应的预测时间序列中获取预测统计数据,根据所述预测统计数据及所述关联关系数据生成各性能参数的关联矩阵,根据所述关联矩阵及预先建立的预警知识库确定预警信息;
输出模块,用于输出各所述应用中各性能参数对应的预测时间序列、所述预测统计数据及所述预警信息。
8.根据权利要求7所述的应用数据分析装置,其特征在于,还包括:
接收模块,用于根据所述关联矩阵及预先建立的预警知识库确定预警信息,接收预警信息筛选指令,根据所述预警信息筛选指令对所述预警信息进行筛选,得到筛选后的预警信息。
9.一种应用数据分析设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至6任一项所述的应用数据分析方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的应用数据分析方法的步骤。
CN202210063049.6A 2022-01-20 2022-01-20 一种应用数据分析方法、装置、设备及可读存储介质 Active CN114090411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210063049.6A CN114090411B (zh) 2022-01-20 2022-01-20 一种应用数据分析方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210063049.6A CN114090411B (zh) 2022-01-20 2022-01-20 一种应用数据分析方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114090411A true CN114090411A (zh) 2022-02-25
CN114090411B CN114090411B (zh) 2022-09-16

Family

ID=80308892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210063049.6A Active CN114090411B (zh) 2022-01-20 2022-01-20 一种应用数据分析方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114090411B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288414A1 (en) * 2006-06-07 2007-12-13 Barajas Leandro G System and method for selection of prediction tools
CN107391341A (zh) * 2017-07-21 2017-11-24 郑州云海信息技术有限公司 一种故障预警方法及装置
CN108038036A (zh) * 2017-10-23 2018-05-15 山东中创软件商用中间件股份有限公司 应用系统性能监控方法、装置、设备及计算机存储介质
CN109343987A (zh) * 2018-08-20 2019-02-15 科大国创软件股份有限公司 It系统故障诊断及修复方法、装置、设备、存储介质
CN109992473A (zh) * 2019-02-27 2019-07-09 平安科技(深圳)有限公司 应用系统的监控方法、装置、设备及存储介质
CN110990174A (zh) * 2019-10-25 2020-04-10 苏州浪潮智能科技有限公司 一种基于Prophet模型预测SSD可用时间的方法、设备及介质
CN111352971A (zh) * 2020-02-28 2020-06-30 中国工商银行股份有限公司 银行系统监控数据异常检测方法及系统
CN111552609A (zh) * 2020-04-12 2020-08-18 西安电子科技大学 一种异常状态检测方法、系统、存储介质、程序、服务器
CN112422351A (zh) * 2021-01-21 2021-02-26 南京群顶科技有限公司 一种基于深度学习的网络告警预测模型建立方法及装置
CN112633542A (zh) * 2019-09-24 2021-04-09 顺丰科技有限公司 系统性能指标预测方法、装置、服务器及存储介质
CN113313303A (zh) * 2021-05-28 2021-08-27 南京师范大学 基于混合深度学习模型的城市区域路网过车流量预测方法及其系统
US20210311813A1 (en) * 2020-07-20 2021-10-07 Beijing Baidu Netcom Science And Technology Co., Ltd. Fault prediction method, apparatus and storage medium
CN113821416A (zh) * 2021-09-18 2021-12-21 中国电信股份有限公司 监测告警方法、装置、存储介质及电子设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288414A1 (en) * 2006-06-07 2007-12-13 Barajas Leandro G System and method for selection of prediction tools
CN107391341A (zh) * 2017-07-21 2017-11-24 郑州云海信息技术有限公司 一种故障预警方法及装置
CN108038036A (zh) * 2017-10-23 2018-05-15 山东中创软件商用中间件股份有限公司 应用系统性能监控方法、装置、设备及计算机存储介质
CN109343987A (zh) * 2018-08-20 2019-02-15 科大国创软件股份有限公司 It系统故障诊断及修复方法、装置、设备、存储介质
CN109992473A (zh) * 2019-02-27 2019-07-09 平安科技(深圳)有限公司 应用系统的监控方法、装置、设备及存储介质
CN112633542A (zh) * 2019-09-24 2021-04-09 顺丰科技有限公司 系统性能指标预测方法、装置、服务器及存储介质
CN110990174A (zh) * 2019-10-25 2020-04-10 苏州浪潮智能科技有限公司 一种基于Prophet模型预测SSD可用时间的方法、设备及介质
CN111352971A (zh) * 2020-02-28 2020-06-30 中国工商银行股份有限公司 银行系统监控数据异常检测方法及系统
CN111552609A (zh) * 2020-04-12 2020-08-18 西安电子科技大学 一种异常状态检测方法、系统、存储介质、程序、服务器
US20210311813A1 (en) * 2020-07-20 2021-10-07 Beijing Baidu Netcom Science And Technology Co., Ltd. Fault prediction method, apparatus and storage medium
CN112422351A (zh) * 2021-01-21 2021-02-26 南京群顶科技有限公司 一种基于深度学习的网络告警预测模型建立方法及装置
CN113313303A (zh) * 2021-05-28 2021-08-27 南京师范大学 基于混合深度学习模型的城市区域路网过车流量预测方法及其系统
CN113821416A (zh) * 2021-09-18 2021-12-21 中国电信股份有限公司 监测告警方法、装置、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
温长洋等: "电信行业时间序列预测系统设计与实现", 《系统工程理论与实践》 *

Also Published As

Publication number Publication date
CN114090411B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
US11586972B2 (en) Tool-specific alerting rules based on abnormal and normal patterns obtained from history logs
US11429821B2 (en) Machine learning clustering models for determining the condition of a communication system
US20190235944A1 (en) Anomaly Detection using Circumstance-Specific Detectors
US7409316B1 (en) Method for performance monitoring and modeling
US11816586B2 (en) Event identification through machine learning
CN110362612B (zh) 由电子设备执行的异常数据检测方法、装置和电子设备
US20050216793A1 (en) Method and apparatus for detecting abnormal behavior of enterprise software applications
CN106886481B (zh) 一种系统健康度静态分析预测方法及装置
CN111475370A (zh) 基于数据中心的运维监控方法、装置、设备及存储介质
US7197428B1 (en) Method for performance monitoring and modeling
CN111309539A (zh) 一种异常监测方法、装置和电子设备
Tang et al. An integrated framework for optimizing automatic monitoring systems in large IT infrastructures
CN111262750B (zh) 一种用于评估基线模型的方法及系统
US7369967B1 (en) System and method for monitoring and modeling system performance
CN115454778A (zh) 大规模云网络环境下的时序指标异常智能监控系统
US20230019404A1 (en) Data Processing for Industrial Machine Learning
US7617313B1 (en) Metric transport and database load
US8543552B2 (en) Detecting statistical variation from unclassified process log
CN114090411B (zh) 一种应用数据分析方法、装置、设备及可读存储介质
CN115495274B (zh) 基于时序数据的异常处理方法、网络设备和可读存储介质
CN116225848A (zh) 日志监测方法、装置、设备和介质
Kostadinov et al. Reducing the number of incidents in converged IT infrastructure using correlation approach
CN113051749B (zh) 一种飞机可靠性数据资产元数据分解方法及装置
US11275367B2 (en) Dynamically monitoring system controls to identify and mitigate issues
Sun et al. Using domain knowledge for targeted alerting in PBA for IT service management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant