CN115314412A - 一种面向运维的类型自适应的指标预测预警方法及装置 - Google Patents
一种面向运维的类型自适应的指标预测预警方法及装置 Download PDFInfo
- Publication number
- CN115314412A CN115314412A CN202210712277.1A CN202210712277A CN115314412A CN 115314412 A CN115314412 A CN 115314412A CN 202210712277 A CN202210712277 A CN 202210712277A CN 115314412 A CN115314412 A CN 115314412A
- Authority
- CN
- China
- Prior art keywords
- prediction
- historical
- index data
- index
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种面向运维的类型自适应的指标预测预警方法及装置,所述方法的步骤包括:接入历史指标数据;采用单位根检验方法计算历史指标数据的概率值,基于概率值确定历史指标数据是否平稳,为历史指标数据赋予第一标签、第二标签或第三标签;基于历史指标数据的标签将历史指标数据输入对应的第二模型中,输出多个时刻的预测指标参数;构建预测指标参数集合和真实指标参数集合的残差序列,计算残差序列预设置信区间范围的上限值和下限值,根据上限值和下限值分别计算当前预测时刻的上边界值和下边界值;将多个上边界值和多个下边界值分别连接,作为上边界和下边界构建基线;基于基线的范围确定是否对预测时刻的真实指标参数进行告警。
Description
技术领域
本发明涉及数据运维技术领域,尤其涉及一种面向运维的类型自适应的指标预测预警方法及装置。
背景技术
在网络运维领域,指标分析是极其重要的内容。在运维指标分析中,指标预测和指标预警是备受关注的。指标预测可以看做是时间序列预测问题,主要方法包括ARIMA模型、贝叶斯模型等为主的机器学习方法和以Q-Learning、LSTM为主的深度学习方法。指标预警方法包括基于固定阈值、基于同比环比数据、基于动态基线的传统方法以及基于指标预测的机器学习方法,综上,现有技术通常是通过算法模型对指标数据进行预测。
进一步地,指标预警也是网络运维领域很重要的一部分,指标预警可帮助运维人员更早发现问题,提高运维工作效率。传统的预警方式多以人工设定固定阈值为主,通过固定阈值与预测的指标数据比对,确定是否预警,为了尽可能提高预警的准确性,需要人工根据经验针对不同类型、不同实例的指标分别设置;其优点是简单、直接、操控性强,缺点是配置和维护工作量大,对人员经验依赖度高;同时,固定阈值的方式也对一个周期内某段时间出现的局部异常不敏感。随着监控对象和相关指标的指数级增长,人工设定固定阈值的弊端就更加明显,相应的告警漏报、误报问题也愈发突出。
发明内容
鉴于此,本发明的实施例提供了一种面向运维的类型自适应的指标预测预警方法,以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种面向运维的类型自适应的指标预测预警方法,所述方法的步骤包括:
通过第三方网管平台接入历史指标数据,所述历史指标数据包括多条历史数据参数,及与每条历史数据参数对应的时间戳;
采用单位根检验方法计算历史指标数据的概率值,基于概率值确定历史指标数据是否平稳,若平稳,对历史指标数据赋予第一标签;
若不平稳,将历史指标数据输入预设训练的第一模型中,根据预设的第一模型确定为历史指标数据赋予第二标签或第三标签;
所述第一标签、第二标签和第三标签分别对应不同类型的第二模型,基于历史指标数据的标签将历史指标数据输入对应的第二模型中,基于第二模型输出对应多个时刻的预测指标参数;
实时获取预测时刻之前时刻的真实指标参数集合和预测指标参数集合,构建预测指标参数集合和真实指标参数集合的残差序列,基于经验法计算残差序列预设置信区间范围的上限值和下限值,根据上限值和下限值分别计算当前预测时刻的上边界值和下边界值;
计算多个预测时刻的上边界值和下边界值,将多个上边界值和多个下边界值分别连接,分别作为上边界和下边界构建基线;
基于基线的上边界和下边界所围成的范围确定是否对预测时刻的真实指标参数进行告警。
采用上述方案,本方案能通过对历史指标数据进行分类标签,针对不同类型的指标使用不同的预测模型预测,再基于残差序列构建每个预测时刻的基线,且随着时间变化残差序列随之变化,每个预测时刻的上限值和下限值不同,得到动态变化的基线,最后构建动态基线完成指标预警,不需要人工设定固定预警阈值,解决了人工凭经验设置阈值所导致的告警漏报、误报问题。
在本发明的一些实施方式中,基于如下公式,根据上限值和下限值分别计算当前预测时刻的上边界值和下边界值:
上边界值=xa+ramax,下边界值=xa+ramin;
xa表示a预测时刻的预测指标参数,ramin表示a预测时刻的下限值,ramax表示a预测时刻的上限值。
在本发明的一些实施方式中,将多个上边界值和多个下边界值分别连接,分别作为上边界和下边界构建基线中的基线的上边界和下边界分别表示为:
Kmax={x1+r1 max,x2+r2 max,...,xn+rn max};
Kmin={x1+r1 min,x2+r2 min,...,xn+rn min};
Kmax表示上边界,Kmin表示下边界,x1、x2、xn分别表示预测时刻1、2、n的预测指标参数,r1 min、r2 min、rn min分别表示预测时刻1、2、n的下限值,r1 max、r2 max、rn max分别表示预测时刻1、2、n的上限值。
在本发明的一些实施方式中,将多个上边界值和多个下边界值分别连接,分别作为上边界和下边界构建基线的步骤还包括,对计算出的基线加入高斯白噪声,如下公式对基线进行处理:
K1max=x1+r1max;
K2max=x2+r2max;
rnmax=xn+rnmax;
K1min=x1+r1min;
K2min=x2+r2min;
Knmin=xn+rnmin;
表示加入高斯白噪声后的基线上边界,表示加入高斯白噪声后的基线下边界,x1、x2、xn分别表示预测时刻1、2、n的预测指标参数,r1 min、r2 min、rn min分别表示预测时刻1、2、n的下限值,r1 max、r2 max、rn max分别表示预测时刻1、2、n的上限值,K1 max、K2 max、Kn max分别表示加入高斯白噪声前的基线预测时刻1、2、n的上边界值,K1 min、K2 min、Kn min分别表示加入高斯白噪声前的基线预测时刻1、2、n的下边界值。
在本发明的一些实施方式中,在将历史指标数据输入预设训练的第一模型中,根据预设的第一模型确定为历史指标数据赋予第二标签或第三标签的步骤中,将历史指标数据输入预设训练的第一模型中,基于第一模型的全连接层的输出参数确定历史指标数据的波形类型,若波形类型是周期型则为历史指标数据赋予第二标签,若波形类型是波动型则为历史指标数据赋予第三标签。
在本发明的一些实施方式中,所述通过第三方网管平台接入历史指标数据的步骤包括,对历史指标数据的历史数据参数进行预处理,对历史指标数据的历史数据参数进行预处理的步骤包括对历史数据参数进行归一化处理。
在本发明的一些实施方式中,在基于概率值确定历史指标数据是否平稳的步骤中,将所述概率值与预设的阈值参数相比较,若概率值小于预设的阈值参数,则确定历史指标数据平稳,若概率值不小于预设的阈值参数,则确定历史指标数据不平稳。
在本发明的一些实施方式中,所述第一模型为卷积神经网络模型,所述第一模型结构包括顺序连接的卷积层、由三个由卷积层、池化层和卷积层够成的模块、卷积层、两个池化层、一个dropout层和全连接层。
在本发明的一些实施方式中,在所述第一标签、第二标签和第三标签分别对应不同类型的第二模型,基于历史指标数据的标签将历史指标数据输入对应的第二模型中的步骤中,所述第一标签对应的第二模型类型为差分整合移动平均自回归模型;所述第二标签对应的第二模型类型为季节性差分自回归滑动平均模型;所述第三标签对应的第二模型类型为注意力机制长短期记忆神经网络模型。
本发明的另一方面还提供一种面向运维的类型自适应的指标预测预警装置,该装置包括计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机指令,所述处理器用于执行所述存储器中存储的计算机指令,当所述计算机指令被处理器执行时该装置实现如前所述方法所实现的步骤。
本发明的附加优点、目的,以及特征将在下面的描述中将部分地加以阐述,且将对于本领域普通技术人员在研究下文后部分地变得明显,或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。
本领域技术人员将会理解的是,能够用本发明实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。
图1为本发明面向运维的类型自适应的指标预测预警方法第一种实施方式的示意图;
图2为本发明面向运维的类型自适应的指标预测预警方法第二种实施方式的示意图;
图3为平稳性检测及波形模式提取的流程示意图;
图4为注意力机制长短期记忆神经网络模型的结构示意图;
图5为构建动态基线的流程示意图;
图6为本发明面向运维的类型自适应的指标预测预警方法第三种实施方式的示意图;
图7为实时接入输入在基线中表示的结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本发明做进一步详细说明。在此,本发明的示意性实施方式及其说明用于解释本发明,但并不作为对本发明的限定。
在此,还需要说明的是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤,而省略了与本发明关系不大的其他细节。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此,还需要说明的是,如果没有特殊说明,术语“连接”在本文不仅可以指直接连接,也可以表示存在中间物的间接连接。
在下文中,将参考附图描述本发明的实施例。在附图中,相同的附图标记代表相同或类似的部件,或者相同或类似的步骤。
为解决以上问题,如图1、2所示,本发明提出一种面向运维的类型自适应的指标预测预警方法,所述方法的步骤包括:
步骤S100,通过第三方网管平台接入历史指标数据,所述历史指标数据包括多条历史数据参数,及与每条历史数据参数对应的时间戳;
在本发明的一些实施方式中,所述第三方网管平台为第三方数据平台,历史指标数据为第三方数据平台所记录的数据,所述历史指标数据的类型包括但不限于CPU利用率、数据接收速率、接口丢包率的任一种。
在本发明的一些实施方式中,通过第三方网管平台接入的历史指标数据可以为时间段的同一类型的历史指标数据,每个时间段包括多条历史数据参数,且对应历史数据参数标记该历史数据参数的时间戳。
在本发明的一些实施方式中,所述历史指标数据的字段包括实例ID、时间戳、历史数据参数和异常标志位等字段,所述实例ID和异常标志位均可以有运维人员设定。
步骤S200,采用单位根检验方法计算历史指标数据的概率值,基于概率值确定历史指标数据是否平稳,若平稳,对历史指标数据赋予第一标签;
在具体实施过程中,判断历史指标数据是否平稳的方式还可以通过构建指标序列的ACF图和PACF图来判断,平稳序列的自相关图和偏相关图要么都是拖尾要么都是截尾。截尾指在某阶之后,系数都为0,拖尾表示有一个衰减的趋势,但是不都为0。通过判断ACF图和PACF图是否均是截尾或拖尾来判断该序列是否是平稳序列。
在本发明的一些实施方式中,所述单位根检验方法(ADF检验),单位根检验是指检验序列中是否存在单位根,存在单位根即为非平稳时间序列,单位根就是指单位根过程,可以证明,序列中存在单位根过程就不平稳,会使回归分析中存在伪回归。
在本发明的一些实施方式中,所述第一标签为平稳型标签。
如图3所示,步骤S300,若不平稳,将历史指标数据输入预设训练的第一模型中,根据预设的第一模型确定为历史指标数据赋予第二标签或第三标签;
在本发明的一些实施方式中,所述第一模型为卷积神经网络模型,由卷积神经网络模型末端的全连接层进行输出,所述第一模型用于判断不平稳的历史指标数据的数据序列属于周期型或波动型,根据第一模型的输出参数确定,若第一模型的输出参数为2则赋予第二标签,若第一模型的输出参数为3,则赋予第三标签,所述第二标签为周期型标签,所述第三标签为波动型标签。
步骤S400,所述第一标签、第二标签和第三标签分别对应不同类型的第二模型,基于历史指标数据的标签将历史指标数据输入对应的第二模型中,基于第二模型输出对应多个时刻的预测指标参数;
在本发明的一些实施方式中,所述第二模型为差分整合移动平均自回归模型(ARIMA模型)、季节性差分自回归滑动平均模型(SARIMA模型)或注意力机制长短期记忆神经网络模型(Attention-LSTM模型);
不同的算法模型在不同类型指标上的表现结果各有优劣,例如ARIMA模型对于小批量平稳型数据表现良好,LSTM模型在大数据量、数据波动较大时表现更胜一筹。在网络运维领域,指标类型多种多样,构建一个较为普适的模型对多类型指标进行精准预测是一个挑战,本方案能够针对不同的数据类型采用不同的预测模型。
在本发明的一些实施方式中,所述第二模型基于输入的历史指标数据进行预测,得到预测时刻的预测指标参数。
如图5所示,步骤S500,实时获取预测时刻之前时刻的真实指标参数集合和预测指标参数集合,构建预测指标参数集合和真实指标参数集合的残差序列,基于经验法(3-sigma原则)计算残差序列预设置信区间范围的上限值和下限值,上限值和下限值可以表示为Rp={rmin,rmax},根据上限值和下限值分别计算当前预测时刻的上边界值和下边界值;
在本发明的一些实施方式中,所述残差序列中包括多个参数,每个参数基于同一时刻的真实指标参数和预测指标参数计算得到,每个参数等于同一时刻的真实指标参数减预测指标参数,所述预设的置信区间可以为90%、95%或98%等,所述上限值和下限值为置信区间的上限值和下限值。
在本发明的一些实施方式中,基于预测指标参数和上限值计算当前预测时刻的上边界值,基于预测指标参数和下限值计算当前预测时刻的下边界值。
步骤S600,计算多个预测时刻的上边界值和下边界值,将多个上边界值和多个下边界值分别连接,分别作为上边界和下边界构建基线;
在本发明的一些实施方式中,所述基线的上边界由多个上边界值连接构成,所述基线的下边界由多个下边界值连接构成。
步骤S700,基于基线的上边界和下边界所围成的范围确定是否对预测时刻的真实指标参数进行告警。
如图7所示,图7中两条动态基线即为基线的上边界和下边界,预测指标序列即为预测指标参数的连线,真实指标序列即为真实指标参数的连线,在本发明的一些实施方式中,将实时接入的真实指标参数标记在基线的同一界面,若存在连续的多个真实指标参数超出基线的上边界和下边界,则告警,所述告警的方式可以为并通知运维人员,在此基础上运维人员还可对漏报、误报等数据点进行标注,为模型迭代提供人工标注数据,提高模型准确性。
采用上述方案,本方案能通过对历史指标数据进行分类标签,针对不同类型的指标使用不同的预测模型预测,再基于残差序列构建每个预测时刻的基线,且随着时间变化残差序列随之变化,每个预测时刻的上限值和下限值不同,得到动态变化的基线,最后构建动态基线完成指标预警,不需要人工设定固定预警阈值,解决了人工凭经验设置阈值所导致的告警漏报、误报问题。
本方案通过引入AI算法等智能化手段提高告警精准度,降低人工配置成本,更及时、准确和自动的发现异常问题。
在本发明的一些实施方式中,残差序列长度大于12。
本方案中所述的第一模型和第二模型均为预先完成训练的模型。
如图5所示,在本发明的一些实施方式中,基于如下公式,根据上限值和下限值分别计算当前预测时刻的上边界值和下边界值:
上边界值=xa+ramax,下边界值=xa+ramin;
xa表示a预测时刻的预测指标参数,ramin表示a预测时刻的下限值,ramax表示a预测时刻的上限值。
在本发明的一些实施方式中,将多个上边界值和多个下边界值分别连接,分别作为上边界和下边界构建基线中的基线的上边界和下边界分别表示为:
Kmax={x1+r1 max,x2+r2 max,...,xn+rn max};
Kmin={x1+r1 min,x2+r2 min,...,xn+rn min};
Kmax表示上边界,Kmin表示下边界,x1、x2、xn分别表示预测时刻1、2、n的预测指标参数,r1 min、r2 min、rn min分别表示预测时刻1、2、n的下限值,r1 max、r2 max、rn max分别表示预测时刻1、2、n的上限值。
在本发明的一些实施方式中,将多个上边界值和多个下边界值分别连接,分别作为上边界和下边界构建基线的步骤还包括,对计算出的基线加入高斯白噪声,如下公式对基线进行处理:
K1 max=x1+r1 max;
K2 max=x2+r2 max;
Kn max=xn+rn max;
K1 min=x1+r1 min;
K2 min=x2+r2 min;
Knmin=xn+rnmin;
表示加入高斯白噪声后的基线上边界,表示加入高斯白噪声后的基线下边界,x1、x2、xn分别表示预测时刻1、2、n的预测指标参数,r1 min、r2 min、rn min分别表示预测时刻1、2、n的下限值,r1 max、r2 max、rn max分别表示预测时刻1、2、n的上限值,K1 max、K2 max、Knmax分别表示加入高斯白噪声前的基线预测时刻1、2、n的上边界值,K1min、K2min、Knmin分别表示加入高斯白噪声前的基线预测时刻1、2、n的下边界值。
采用上述方案,传统动态基线的构建是将一天分为多个时段并将每天相同时段的数据进行线性计算,这些连续不同时段的计算值就构成了动态基线。传统的动态基线针对固定周期的指标数据表现较好,然而在大数据运维场景下,指标的种类多种多样,周期模式是复杂多变的,即使是同一个指标也会有季节性周期波动。因此,传统的动态基线已不适用于当下大数据运维场景。本发明基于上述痛点,利用多种机器学习算法替代人工来处理指标的特征,构建集成预测器进行指标预测,将集成预测器的输出值作为预测基线,通过残差分析并结合高斯白噪声的方式来构建动态基线。
在本发明的一些实施方式中,在将历史指标数据输入预设训练的第一模型中,根据预设的第一模型确定为历史指标数据赋予第二标签或第三标签的步骤中,将历史指标数据输入预设训练的第一模型中,基于第一模型的全连接层的输出参数确定历史指标数据的波形类型,若波形类型是周期型则为历史指标数据赋予第二标签,若波形类型是波动型则为历史指标数据赋予第三标签。
在本发明的一些实施方式中,所述通过第三方网管平台接入历史指标数据的步骤包括,对历史指标数据的历史数据参数进行预处理,对历史指标数据的历史数据参数进行预处理的步骤包括对历史数据参数进行归一化处理。
本发明在向模型输入数据时首先进行归一化处理,将指标数据映射到[0,1]区间范围内。
在本发明的一些实施方式中,在基于概率值确定历史指标数据是否平稳的步骤中,将所述概率值与预设的阈值参数相比较,若概率值小于预设的阈值参数,则确定历史指标数据平稳,若概率值不小于预设的阈值参数,则确定历史指标数据不平稳。
在本发明的一些实施方式中,ADF检验输出结果包括p概率值。时间序列是否通过了ADF检验,可以通过P概率值判断,可以设置5%为阈值参数,P概率值小于5%,表明即序列是平稳的,若P概率值不小于5%,表明即序列是不平稳的。P概率值可以设置为1%、5%、8%等。
在本发明的一些实施方式中,所述第一模型为卷积神经网络模型,所述第一模型结构包括顺序连接的卷积层、由三个由卷积层、池化层和卷积层够成的模块、卷积层、两个池化层、一个dropout层和全连接层。
在本发明的一些实施方式中,所述第一模型第一个卷积层,调用Conv1D结构,设卷积核数目filters=16,卷积窗口大小参数kernel_size=8,激活函数activation="relu";
而后连续经过3个卷积层、池化层和卷积层的组合模块,其中第1个组合模块卷积层卷积核数目参数filters依次设为16,64,卷积窗口大小参数kernel_size依次设为8,4。第2个组合模块卷积层卷积核数目参数filters依次设为64,256,kernel_size均为4。第2个组合模块卷积层卷积核数目参数filters依次设为256,512,kernel_size依次设为4,2。所有卷积层补0策略均为padding="same",激活函数均为activation="relu",正则化参数kernel_regularizer设为l2;每个池化层的池化窗口大小参数pool_size=(2);dropout层的丢弃比例参数rate=0.24;
之后再经过一个卷积层、两个池化层和一个dropout层。其中卷积层filters设为512,kernel_size为2,两个池化层max_pooling、global_average_pooling池化窗口大小分别为2,1。dropout层的丢弃比例参数rate=0.24。
最后经过全连接层,输出单元数units=2,激活函数activation="softmax",最终得出结果。结果为2表示波形为周期型,3表示波形为波动型。
在本发明的一些实施方式中,所述第一模型的具体分类流程如下:
1、标准化:采用方差标准化对时序数据进行处理;
2、降维处理:按分钟力度,一天有1440个点,为了减少计算量,我们进行降维处理。本发明采用PAA方法对数据进行降维处理,从1440个点浓缩为144个点;
3、模型训练:使用标注的样本数据,在CNN分类器中进行训练,最终输出分类模型。
在本发明的一些实施方式中,在所述第一标签、第二标签和第三标签分别对应不同类型的第二模型,基于历史指标数据的标签将历史指标数据输入对应的第二模型中的步骤中,所述第一标签对应的第二模型类型为差分整合移动平均自回归模型;所述第二标签对应的第二模型类型为季节性差分自回归滑动平均模型;所述第三标签对应的第二模型类型为注意力机制长短期记忆神经网络模型。
通过调研和对比分析,我们发现ARIMA模型对于平稳型、规律性指标序列具有良好的预测效果,但并没有考虑季节特征(周期型);SARIMA模型在ARIMA模型的基础上添加了季节性考量,因此对于周期型序列,我们采用SARIMA模型进行预测;对于波动型序列,LSTM模型相较于前两种模型效果更好。
因此,本发明集成预测器分为以下三路:
针对平稳型指标序列,采用ARIMA模型进行预测。
ARIMA(p,d,q)主要包括三部分:
通过差分计算,将不平稳序列转化为平稳序列,若已经为平稳序列,那么差分参数为0,即d=0。
自回归模型描述当前值与历史值之间的关系,用变量自身的历史时间数据对自身进行预测。自回归模型必须满足平稳性的要求。自回归模型首先需要确定一个阶数p,表示用几期的历史值来预测当前值。p阶自回归模型的公式定义为:
yt表示当前值,μ为常数项,p为阶数,γi为自相关系数,∈t表示误差。
移动平均模型MA,关注的是自回归模型中误差项的累加。q阶移动平均模型公式定义为:
将自回归模型、移动平均模型和差分法结合,我们就得到了差分自回归移动平均模型ARIMA(p,d,q),其中d为差分阶数;
在具体实施过程中,我们通过平稳性检测确定参数d的取值,根据自相关系数ACF确定p的取值,根据偏自相关系数PACF确定q的取值,最终完成模型的构建。此外,还可通过基于AIC,BIC准则的网格搜索的方式确定AR阶数p,MA阶数q。
针对周期型指标序列,采用SARIMA模型进行预测。
SARIMA模型在ARIMA的基础上考量了季节特征(即周期性),与ARIMA一样,SARIMA模型也要求数据平稳。不同的是SARIMA的差分项有两个,分别是周期性差分与非周期性差分。通常周期性差分经过一次即可,非周期性差分通常在0~3之间。SARIMA可以参数化描述为SARIMA(p,d,q)(P,D,Q,s)。
s表示每个周期的观测数量。P,D,Q作为周期性参数,p,d,q作为非周期性参数。通过差分和ADF检验可以确定参数d和D。通过基于AIC,BIC准则的网格搜索的方式可以确定AR阶数p,MA阶数q,SAR阶数P,SMA阶数Q。最终完成SARIMA模型的构建。
如图4所示,针对波动型指标序列,采用Attention-LSTM模型进行预测。
本发明构建Attention-LSTM神经网络模型步骤主要分为以下三步。
1、对数据进行差分。由于处理的是波动型数据,为了提高模型准确性,先对数据进行一步差分运算,提高数据的稳定性;
2、构建LSTM模型;
3、添加Attention机制。
本方案对运维指标数据进行接入和数据预处理,之后进行平稳性检测和波形模式提取将运维指标分为三大类,然后针对不同类型的指标使用不同的预测模型进行基线预测,最后构建动态基线完成指标预警,本发明能够自动识别运维指标数据的类型从而进行更合理的分析和处理,进而提高预测预警效率和准确度。
本发明的离线数据接入后首先进行数据预处理,之后判断该指标是否已打标签,若未打标签则进行指标平稳性检测及波形模式提取,然后将打过标签的数据放入集成预测器进行预测基线的生成,之后进行动态基线的计算;
如图6所示,本发明的实时数据接入并经过预处理后,根据预测基线完成指标预测,根据动态基线值进行预警监测,若出现连续C个异常值,则触发预警并通知运维人员。此外,运维人员还可对漏报、误报等数据点进行标注,为模型迭代提供人工标注数据,提高模型准确性。
为了提高指标预警的准确性,模型需要进行周期性迭代。对于实时预测预警后非异常样本数据(即落在动态基线范围内的数据)进行自动存储,并将其纳入下一轮迭代样本中。同时,结合人工标注结果对相应数据是否纳入训练进行调整(核心思想是将剔除异常数据,只将正常数据纳入训练,以提高模型预测基线的准确性,从而提高预警准确性),进而实现强化训练。
残差序列R的分布特征在每一轮迭代中都会重新计算,即每一轮迭代都会生成当前情况下最优的动态基线参数。为了使动态基线更具灵活性,本发明除了自动迭代模型参数,还为运维人员提供了人工干预方法。一个具体的实施案例是,当前动态基线范围太宽,漏报情况较多,那么可以手动调整残差序列R的区间置信度范围,默认为95%,可调整为80%等,从而人工干预基线范围,使其变窄。此外,也提供了高斯白噪声幅值范围的手动调整方法。
本方案通过残差分析和高斯白噪声联合计算动态阈值,使得预警阈值能够随指标数据的变化动态调整,提高预警的准确度。此外,整个模型还可根据运维人员的标注结果(异常值)进行调整,实现强化训练。为了提高模型的灵活性,本发明对于动态基线相关参数还提供了人工干预方法。
本发明实施例还提供一种面向运维的类型自适应的指标预测预警装置,该装置包括计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机指令,所述处理器用于执行所述存储器中存储的计算机指令,当所述计算机指令被处理器执行时该装置实现如前所述方法所实现的步骤。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时以实现前述面向运维的类型自适应的指标预测预警方法所实现的步骤。该计算机可读存储介质可以是有形存储介质,诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白,结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法,能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,做出各种改变、修改和添加,或者改变步骤之间的顺序。
本发明中,针对一个实施方式描述和/或例示的特征,可以在一个或更多个其它实施方式中以相同方式或以类似方式使用,和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域的技术人员来说,本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种面向运维的类型自适应的指标预测预警方法,其特征在于,所述方法的步骤包括:
通过第三方网管平台接入历史指标数据,所述历史指标数据包括多条历史数据参数,及与每条历史数据参数对应的时间戳;
采用单位根检验方法计算历史指标数据的概率值,基于概率值确定历史指标数据是否平稳,若平稳,对历史指标数据赋予第一标签;
若不平稳,将历史指标数据输入预设训练的第一模型中,根据预设的第一模型确定为历史指标数据赋予第二标签或第三标签;
所述第一标签、第二标签和第三标签分别对应不同类型的第二模型,基于历史指标数据的标签将历史指标数据输入对应的第二模型中,基于第二模型输出对应多个时刻的预测指标参数;
实时获取预测时刻之前时刻的真实指标参数集合和预测指标参数集合,构建预测指标参数集合和真实指标参数集合的残差序列,基于经验法计算残差序列预设置信区间范围的上限值和下限值,根据上限值和下限值分别计算当前预测时刻的上边界值和下边界值;
计算多个预测时刻的上边界值和下边界值,将多个上边界值和多个下边界值分别连接,分别作为上边界和下边界构建基线;
基于基线的上边界和下边界所围成的范围确定是否对预测时刻的真实指标参数进行告警。
2.根据权利要求1所述的面向运维的类型自适应的指标预测预警方法,其特征在于,基于如下公式,根据上限值和下限值分别计算当前预测时刻的上边界值和下边界值:
上边界值=xa+ramax,下边界值=xa+ramin;
xa表示a预测时刻的预测指标参数,ramin表示a预测时刻的下限值,ramax表示a预测时刻的上限值。
3.根据权利要求2所述的面向运维的类型自适应的指标预测预警方法,其特征在于,将多个上边界值和多个下边界值分别连接,分别作为上边界和下边界构建基线中的基线的上边界和下边界分别表示为:
Kmax={x1+r1max,x2+r2max,...,xn+rn max};
Kmin={x1+r1min,x2+r2min,...,xn+rn min};
Kmax表示上边界,Kmin表示下边界,x1、x2、xn分别表示预测时刻1、2、n的预测指标参数,r1min、r2min、rn min分别表示预测时刻1、2、n的下限值,r1max、r2max、rn max分别表示预测时刻1、2、n的上限值。
4.根据权利要求1-3任一项所述的面向运维的类型自适应的指标预测预警方法,其特征在于,将多个上边界值和多个下边界值分别连接,分别作为上边界和下边界构建基线的步骤还包括,对计算出的基线加入高斯白噪声,如下公式对基线进行处理:
K1max=x1+r1max;
K2max=x2+r2max;
Knmax=xn+rnmax;
K1min=x1+r1min;
K2min=x2+r2min;
Knmin=xn+rnmin;
5.根据权利要求1所述的面向运维的类型自适应的指标预测预警方法,其特征在于,在将历史指标数据输入预设训练的第一模型中,根据预设的第一模型确定为历史指标数据赋予第二标签或第三标签的步骤中,将历史指标数据输入预设训练的第一模型中,基于第一模型的全连接层的输出参数确定历史指标数据的波形类型,若波形类型是周期型则为历史指标数据赋予第二标签,若波形类型是波动型则为历史指标数据赋予第三标签。
6.根据权利要求1所述的面向运维的类型自适应的指标预测预警方法,其特征在于,所述通过第三方网管平台接入历史指标数据的步骤包括,对历史指标数据的历史数据参数进行预处理,对历史指标数据的历史数据参数进行预处理的步骤包括对历史数据参数进行归一化处理。
7.根据权利要求1所述的面向运维的类型自适应的指标预测预警方法,其特征在于,在基于概率值确定历史指标数据是否平稳的步骤中,将所述概率值与预设的阈值参数相比较,若概率值小于预设的阈值参数,则确定历史指标数据平稳,若概率值不小于预设的阈值参数,则确定历史指标数据不平稳。
8.根据权利要求1所述的面向运维的类型自适应的指标预测预警方法,其特征在于,所述第一模型为卷积神经网络模型,所述第一模型结构包括顺序连接的卷积层、由三个由卷积层、池化层和卷积层够成的模块、卷积层、两个池化层、一个dropout层和全连接层。
9.根据权利要求1所述的面向运维的类型自适应的指标预测预警方法,其特征在于,在所述第一标签、第二标签和第三标签分别对应不同类型的第二模型,基于历史指标数据的标签将历史指标数据输入对应的第二模型中的步骤中,所述第一标签对应的第二模型类型为差分整合移动平均自回归模型;所述第二标签对应的第二模型类型为季节性差分自回归滑动平均模型;所述第三标签对应的第二模型类型为注意力机制长短期记忆神经网络模型。
10.一种面向运维的类型自适应的指标预测预警装置,其特征在于,该装置包括计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机指令,所述处理器用于执行所述存储器中存储的计算机指令,当所述计算机指令被处理器执行时该装置实现如权利要求1-9任一项所述方法所实现的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210712277.1A CN115314412B (zh) | 2022-06-22 | 2022-06-22 | 一种面向运维的类型自适应的指标预测预警方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210712277.1A CN115314412B (zh) | 2022-06-22 | 2022-06-22 | 一种面向运维的类型自适应的指标预测预警方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115314412A true CN115314412A (zh) | 2022-11-08 |
CN115314412B CN115314412B (zh) | 2023-09-05 |
Family
ID=83855103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210712277.1A Active CN115314412B (zh) | 2022-06-22 | 2022-06-22 | 一种面向运维的类型自适应的指标预测预警方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115314412B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117130882A (zh) * | 2023-08-14 | 2023-11-28 | 中南民族大学 | 基于时间序列干预分析模型的节点资源预测方法和系统 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160191336A1 (en) * | 2013-09-06 | 2016-06-30 | Huawei Technologies Co., Ltd. | Network performance prediction method and apparatus |
CN106485528A (zh) * | 2015-09-01 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 检测数据的方法和装置 |
CN109617745A (zh) * | 2019-01-11 | 2019-04-12 | 云智慧(北京)科技有限公司 | 告警预测方法、装置、系统及存储介质 |
CN109684310A (zh) * | 2018-11-22 | 2019-04-26 | 安徽继远软件有限公司 | 一种基于大数据分析的信息系统性能态势感知方法 |
WO2020119372A1 (zh) * | 2018-12-14 | 2020-06-18 | 中兴通讯股份有限公司 | 场强预测方法、装置、设备及存储介质 |
CN111914492A (zh) * | 2020-04-28 | 2020-11-10 | 昆明理工大学 | 一种基于进化优化的半监督学习工业过程软测量建模方法 |
CN111930599A (zh) * | 2020-09-29 | 2020-11-13 | 北京海联捷讯科技股份有限公司 | 一种云服务系统的运维数据处理方法、装置及存储介质 |
WO2020259421A1 (zh) * | 2019-06-28 | 2020-12-30 | 深圳前海微众银行股份有限公司 | 一种业务系统的监控方法及装置 |
CN112163728A (zh) * | 2020-08-24 | 2021-01-01 | 珠海格力电器股份有限公司 | 一种能耗数据处理方法、装置、电子设备及存储介质 |
CN112364318A (zh) * | 2020-11-24 | 2021-02-12 | 北京海联捷讯科技股份有限公司 | 一种运维大数据安全管理的方法、系统、终端和存储介质 |
CN112633316A (zh) * | 2020-10-22 | 2021-04-09 | 国网山东省电力公司潍坊供电公司 | 一种基于边界估值理论的负荷预测方法和装置 |
CN112712113A (zh) * | 2020-12-29 | 2021-04-27 | 广州品唯软件有限公司 | 一种基于指标的告警方法、装置及计算机系统 |
WO2021164267A1 (zh) * | 2020-02-21 | 2021-08-26 | 平安科技(深圳)有限公司 | 异常检测方法、装置、终端设备及存储介质 |
WO2021179572A1 (zh) * | 2020-03-12 | 2021-09-16 | 平安科技(深圳)有限公司 | 运维系统异常指标检测模型优化方法、装置及存储介质 |
CN113778805A (zh) * | 2021-09-15 | 2021-12-10 | 中国建设银行股份有限公司 | 一种dcgw集群告警方法及系统 |
CN113902334A (zh) * | 2021-10-28 | 2022-01-07 | 上海众源网络有限公司 | 一种事件异常波动检测方法、系统、电子设备及存储介质 |
-
2022
- 2022-06-22 CN CN202210712277.1A patent/CN115314412B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160191336A1 (en) * | 2013-09-06 | 2016-06-30 | Huawei Technologies Co., Ltd. | Network performance prediction method and apparatus |
CN106485528A (zh) * | 2015-09-01 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 检测数据的方法和装置 |
CN109684310A (zh) * | 2018-11-22 | 2019-04-26 | 安徽继远软件有限公司 | 一种基于大数据分析的信息系统性能态势感知方法 |
WO2020119372A1 (zh) * | 2018-12-14 | 2020-06-18 | 中兴通讯股份有限公司 | 场强预测方法、装置、设备及存储介质 |
CN109617745A (zh) * | 2019-01-11 | 2019-04-12 | 云智慧(北京)科技有限公司 | 告警预测方法、装置、系统及存储介质 |
WO2020259421A1 (zh) * | 2019-06-28 | 2020-12-30 | 深圳前海微众银行股份有限公司 | 一种业务系统的监控方法及装置 |
WO2021164267A1 (zh) * | 2020-02-21 | 2021-08-26 | 平安科技(深圳)有限公司 | 异常检测方法、装置、终端设备及存储介质 |
WO2021179572A1 (zh) * | 2020-03-12 | 2021-09-16 | 平安科技(深圳)有限公司 | 运维系统异常指标检测模型优化方法、装置及存储介质 |
CN111914492A (zh) * | 2020-04-28 | 2020-11-10 | 昆明理工大学 | 一种基于进化优化的半监督学习工业过程软测量建模方法 |
CN112163728A (zh) * | 2020-08-24 | 2021-01-01 | 珠海格力电器股份有限公司 | 一种能耗数据处理方法、装置、电子设备及存储介质 |
CN111930599A (zh) * | 2020-09-29 | 2020-11-13 | 北京海联捷讯科技股份有限公司 | 一种云服务系统的运维数据处理方法、装置及存储介质 |
CN112633316A (zh) * | 2020-10-22 | 2021-04-09 | 国网山东省电力公司潍坊供电公司 | 一种基于边界估值理论的负荷预测方法和装置 |
CN112364318A (zh) * | 2020-11-24 | 2021-02-12 | 北京海联捷讯科技股份有限公司 | 一种运维大数据安全管理的方法、系统、终端和存储介质 |
CN112712113A (zh) * | 2020-12-29 | 2021-04-27 | 广州品唯软件有限公司 | 一种基于指标的告警方法、装置及计算机系统 |
CN113778805A (zh) * | 2021-09-15 | 2021-12-10 | 中国建设银行股份有限公司 | 一种dcgw集群告警方法及系统 |
CN113902334A (zh) * | 2021-10-28 | 2022-01-07 | 上海众源网络有限公司 | 一种事件异常波动检测方法、系统、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
孙岩,陈也,罗红: "《无线多媒体传感器网络信息质量评估模型》", 《北京邮电大学学报》, no. 2, pages 53 - 57 * |
杨雪梅: "《基于BPM的通信业务运维平台的设计与实现》", 《中国优秀硕士学位论文全文数据库 (月刊)》, no. 03, pages 136 - 335 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117130882A (zh) * | 2023-08-14 | 2023-11-28 | 中南民族大学 | 基于时间序列干预分析模型的节点资源预测方法和系统 |
CN117130882B (zh) * | 2023-08-14 | 2024-03-08 | 中南民族大学 | 基于时间序列干预分析模型的节点资源预测方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115314412B (zh) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11888316B2 (en) | Method and system of predicting electric system load based on wavelet noise reduction and EMD-ARIMA | |
CN111079989B (zh) | 一种基于dwt-pca-lstm的供水公司供水量预测装置 | |
Zhou et al. | Short-term wind power prediction optimized by multi-objective dragonfly algorithm based on variational mode decomposition | |
CN113033011B (zh) | 一种船舶机械健康状态评估方法及系统 | |
CN114912077B (zh) | 一种融合随机搜索与混合分解误差订正的海浪预报方法 | |
He et al. | MTAD-TF: Multivariate time series anomaly detection using the combination of temporal pattern and feature pattern | |
CN113111572B (zh) | 航空发动机剩余寿命预测方法及系统 | |
CN113420509A (zh) | 一种风电机组状态评价方法、装置及存储介质 | |
CN114385614A (zh) | 基于Informer模型的水质预警方法 | |
CN115314412A (zh) | 一种面向运维的类型自适应的指标预测预警方法及装置 | |
CN115561416A (zh) | 污水处理厂进水水质实时检测方法和装置 | |
CN114358435A (zh) | 双阶段时空注意力机制的污染源-水质预测模型权重影响计算方法 | |
CN110852522B (zh) | 一种短期电力负荷预测方法及系统 | |
Li et al. | Stochastic recurrent wavelet neural network with EEMD method on energy price prediction | |
CN116502049A (zh) | 滚动轴承剩余使用寿命预测方法、系统、设备及存储介质 | |
CN114707577A (zh) | 一种基于自对抗变分自编码器的异常检测方法及系统 | |
CN116933152B (zh) | 一种基于多维emd-pso-lstm神经网络的海浪信息预测方法及系统 | |
Xing et al. | Research of a novel combined deterministic and probabilistic forecasting system for air pollutant concentration | |
CN115217152B (zh) | 一种沉管隧道管节接头张合变形的预测方法及装置 | |
CN116521863A (zh) | 一种基于半监督学习的标签抗噪文本分类方法 | |
CN111950752A (zh) | 光伏电站发电量预测方法、装置、系统及其存储介质 | |
CN112668249B (zh) | 电网一次设备大修技改方案在线构建方法及系统 | |
CN115310648A (zh) | 一种基于多气象变量模型识别的中长期风电功率组合预测方法 | |
CN114726751A (zh) | 资源质量监控的智能化预警方法、系统、设备和存储介质 | |
CN112668770A (zh) | 一种基于信息与波形总体相似度的电力负荷预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |