CN115829160A - 一种时序异常预测方法、装置、设备及存储介质 - Google Patents
一种时序异常预测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115829160A CN115829160A CN202211710598.4A CN202211710598A CN115829160A CN 115829160 A CN115829160 A CN 115829160A CN 202211710598 A CN202211710598 A CN 202211710598A CN 115829160 A CN115829160 A CN 115829160A
- Authority
- CN
- China
- Prior art keywords
- time sequence
- prediction
- dimensional
- abnormal
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000002159 abnormal effect Effects 0.000 claims abstract description 98
- 238000012423 maintenance Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 64
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 241000922351 Anoma Species 0.000 description 1
- 101150017040 I gene Proteins 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种时序异常预测方法、装置、设备及存储介质。该方法包括:从运维的多维指标时序数据中获取异常预测目标维度的单维时序数据,和与所述异常预测目标维度相关的异常预测相关维度的相关时序数据;将所述单维时序数据输入单维时序预测模型得到单维时序预测值,并根据所述单维时序预测值确定所述异常预测目标维度的时序预测基线;将所述单维时序数据和所述相关时序数据输入多维时序预测模型,得到所述异常预测目标维度的目标时序预测值;根据所述目标时序预测值和所述时序预测基线的比对结果,对所述目标维度指标进行异常预测。本发明实施例可以准确预测运维中出现的异常情况。
Description
技术领域
本发明涉及智能运维技术领域,尤其涉及一种时序异常预测方法、装置、设备及存储介质。
背景技术
在智能运维(Art i f i c i a l I nte l l i gence for I T Operat i ons,AI Ops)领域的时序指标智能化分析中,有大量的时序指标,尤其是业务或系统最为关注的黄金指标,需要进行实时的异常检测,目前主流的异常检测(Anoma l yDetect i on)方案,主要包括如下两种:
一是单指标异常检测:通过单维历史数据,基于统计/密度/预测等方式,训练监督/非监督模型,对线上数据进行实时异常检测;二是多指标异常检测:通过多维历史数据,采用编码器/注意力等模块挖掘多指标间的时空依赖关系,并基于对抗训练策略重构特征或误差,判断状态是否异常。
但无论哪种技术方案,都只能进行被动方式的异常发现,也就是出现异常后进行检测,无法做到异常的预测和主动防范。
发明内容
本发明提供了一种时序异常预测方法、装置、设备及存储介质,以准确预测运维中出现的异常情况。
根据本发明的一方面,提供了一种时序异常预测方法,包括:
从运维的多维指标时序数据中获取异常预测目标维度的单维时序数据,和与所述异常预测目标维度相关的异常预测相关维度的相关时序数据;
将所述单维时序数据输入单维时序预测模型得到单维时序预测值,并根据所述单维时序预测值确定所述异常预测目标维度的时序预测基线;
将所述单维时序数据和所述相关时序数据输入多维时序预测模型,得到所述异常预测目标维度的目标时序预测值;
根据所述目标时序预测值和所述时序预测基线的比对结果,对所述目标维度指标进行异常预测。
根据本发明的另一方面,提供了一种时序异常预测装置,包括:
时序数据获取模块,用于从运维的多维指标时序数据中获取异常预测目标维度的单维时序数据,和与所述异常预测目标维度相关的异常预测相关维度的相关时序数据;
预测基线确定模块,用于将所述单维时序数据输入单维时序预测模型得到单维时序预测值,并根据所述单维时序预测值确定所述异常预测目标维度的时序预测基线;
预测值确定模块,用于将所述单维时序数据和所述相关时序数据输入多维时序预测模型,得到所述异常预测目标维度的目标时序预测值;
异常预测模块,用于根据所述目标时序预测值和所述时序预测基线的比对结果,对所述目标维度指标进行异常预测。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的时序异常预测方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的时序异常预测方法。
本发明实施例通过确定目标维度的时序预测基线和目标时序预测值,提前判别未来可能发生的异常时间以及程度,区别于以往只能被动地响应异常,使得运维人员有充足的时间进行操作,降低故障发生率
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是根据本发明一实施例提供的一种时序异常预测方法的流程图;
图1B是根据本发明一实施例提供的一种正常数据对抗训练预测的示意图;
图2A是根据本发明又一实施例提供的一种时序异常预测方法的流程图;
图2B是是根据本发明又一实施例提供的一种异常预测框架的示意图;
图3是根据本发明又一实施例提供的一种时序异常预测装置的结构示意图;
图4是实现本发明实施例的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为进一步明确本发明的主要改进和保护范围,在展开本发明实施例之前,先对本发明的相关技术做出如下简单说明:
1)单指标异常检测是指通过算法分析待检测指标自身的时间序列数据,判断其是否出现异常点。其检测方法种类较多:一是基于统计方法,如3σ、箱型图、绝对中位差等,基本思想是基于历史数据分布来确定当前数据的合理波动范围,按照分位数、阈值或者统计检验的方法来判断当前点是否为异常;二是基于局部密度方法,如LOF、i Forest、k-means、DBSCAN等,通过衡量样本点与数据集中其他样本点的距离判断是否为异常点;三是基于预测方法,如ARI MA、ho l t-wi nter、fb-prophet等,将历史数据训练的模型预测当前时刻的理论正常幅值,通过与真实值的差异来判断此刻的异常程度。
以上方法各有优缺点,但均存在以下问题:一是仅能发现当前或历史异常,无法提前预警;二是待检测指标的异常可能由与之相关的其它指标异常导致,仅分析其自身规律无法有效发现异常。
2)有研究表明不同时间序列对之间的相关性对于描述系统状态至关重要,主要处理思路有两种:一是利用卷积编码器去编码变量之间的相关特性,同时利用基于注意力的卷积LSTM(ConvLSTM)去捕获时间依赖特性,最后利用解码器重构特征以及利用残差特征矩阵去检测和诊断异常;二是基于自编码器,同时利用了对抗训练的策略,在编码器-解码器架构上使其能够学习如何放大异常的输入的重建误差,作为异常分数检测异常。
该方法虽可捕捉不同指标之间的时空关联性,从而更全面地反映异常状态。但仍存在以下缺点:一是方法更适用于异常事件的监测,而无法具体到某个指标;二是同样仅能发现当前或历史异常,无法提前预警。
图1A为本发明一实施例提供的一种时序异常预测方法的流程图,本实施例可适用于根据生成的正常动态基线和预测的变化趋势,提前判别目标维度未来可能发生的异常时间以及程度的情况,该方法可以由时序异常预测装置来执行,该装置可以采用硬件和/或软件的形式实现,该装置可配置于具备相应数据处理能力的电子设备中。如图1A所示,该方法包括:
S110、从运维的多维指标时序数据中获取异常预测目标维度的单维时序数据,和与所述异常预测目标维度相关的异常预测相关维度的相关时序数据。
其中,多维指标中多维包括异常预测相关维度、异常预测目标维度和异常预测无关维度。目标维度是用于异常预测的单一待预测指标,相关维度则是与目标维度在实际和统计意义上均相关的指标集,而无关维度则是多维中除相关维度和目标维度之外的其他指标。
具体的,基于预先确定的异常预测目标维度和异常预测相关维度,在运维产生的多维指标时序数据中分别提取异常预测目标维度的单维时序数据,和异常预测相关维度的相关时序数据。
S120、将所述单维时序数据输入单维时序预测模型得到单维时序预测值,并根据所述单维时序预测值确定所述异常预测目标维度的时序预测基线。
其中,单维时序预测模型可通过对生成对抗(GAN)网络训练得到,单维时序预测值为单维时序预测模型根据单维时序数据预测出的目标维度在未来一段时间内的正常期望值。时序预测基线包括上下两条基线。
具体的,将目标维度的单维时序数据输入单维时序预测模型,单维时序预测模型输出单维时序预测值。基于设定的基线生成策略(如选用sc i py.stats、w l s_pred i cti on_std、fbprophet等功能包或置信区间等自定义基带计算方式),结合预测出的单维时序预测值,确定未来一段时间目标维度的时序预测基线。
可选的,所述将所述单维时序数据输入单维时序预测模型得到单维时序预测值之前,还包括:
基于输入序列窗口宽度和预测时序序列长度,从所述异常预测目标维度的正常历史时序段中获取训练样本;将所述训练样本输入生成对抗网络,训练得到单维时序预测模型。
具体的,从目标维度的正常历史时序段中,按照输入序列窗口宽度滑动提取输入时序序列,并以预测时序序列长度从正常历史时序段获取该输入时序序列对应的预测时序序列,将预测时序序列和对应的输入时序序列组合为训练样本。将训练样本输入生成对抗GAN网络,对GAN网络中的生成器进行训练,得到单维时序预测模型。
可选的,所述基于输入序列窗口宽度和预测时序序列长度,从所述异常预测目标维度的正常历史时序段中获取训练样本之前,还包括:
对所述异常预测目标维度的历史时序段进行异常点检测;若所述历史时序段中不存在异常点,则将所述历史时序段作为正常历史时序段;若所述历史时序段中存在异常点,则将异常点替换后的历史时序段作为正常历史时序段。
具体的,提取指定出的目标维度TSy的单维时序数据,截取近期的一段连续数据,作为历史时序段。连续数据的长度远大于输入序列窗口宽度t和预测长度k,连续数据若包含少量异常点,则剔除异常点后采用中位数或前后向方式进行填充,得到正常连续时序段(如正常连续时序段的长度0-T,T=10000)作为正常历史时序段。本发明仅需根据少量近期连续的异常标签筛选出待预测指标的正常数据或直接采用该指标的正常范围数据,采用GAN网络学习出该指标的正常形态,无需通过大量人工标注训练有监督模型。
可选的,所述基于输入序列窗口宽度和预测时序序列长度,从所述异常预测目标维度的正常历史时序段中获取训练样本包括:
以输入序列窗口宽度作为滑动窗口宽度,从所述异常预测目标维度的正常历史时序段中滑动提取输入时序序列;从所述输入时序序列在所述正常历史时序段的后续时序段中,滑动获取预测时序序列长度的真实未来时序序列;将所述输入时序序列和所述真实未来时序序列组合确定为训练样本。
具体的,以输入序列窗口宽度作为滑动窗口宽度,依次从正常连续时序段Y中提取N条(N=T–t–k)正常序列片段,分别作为输入时序序列,第一条输入时序序列为[x0、x1、…、xt-1]。从正常连续时序段Y中获取每一条输入时序序列后续的预测时序序列长度的序列,作为真实未来时序序列,第一条真实未来时序序列为[xt、xt+1、…、xt+k-1]real。将输入时序序列与对应的真实未来时序序列进行组合,得到GAN网络的训练样本,第一个训练样本为[x0、x1、…、xt-1,xt、xt+1、…、xt+k-1]。
示例性的,设窗口宽度和预测长度分别设定为100和50,正常连续时序段Y的长度为10000,则训练样本的集合如下:
([0-99,100-149]、[1-100,101-150]、...、[9850-9949,9950-9999])。
可选的,所述将所述训练样本输入生成对抗网络,训练得到单维时序预测模型包括:
将所述训练样本中的输入时序序列输入生成对抗网络中的生成器,得到所述输入序列片段的预测未来时序序列;将所述预测未来时序序列和所述训练样本中的真实未来时序序列输入所述生成对抗网络中的鉴别器,得到鉴别结果;若所述鉴别结果为假,所述生成器和所述鉴别器进行持续对抗训练,直至鉴别结果为真,得到单维时序预测模型。
具体的,将训练样本中的输入时序序列送入GAN网络的生成器,得到k长度的预测未来时序序列[xt、xt+1、…、xt+k-1]predict,将该预测序列与真实未来时序序列[xt、xt+1、…、xt+k-1]real输入鉴别器,判别真假。若为假,生成器和鉴别器持续对抗,使得预测值不断接近真实值,直至判别为真,完成对生成器的训练,得到单维时序预测模型。训练完成的单维时序预测模型在获取到单维时序数据的情况时,可对目标维度的正常状态进行预测,并输出正常期望值作为单维时序预测值。
示例性的,图1B是根据本发明一实施例提供的一种正常数据对抗训练预测的示意图。其中,在训练生成器时还可以向生成器额外输入噪声,以增强模型的泛化能力。
S130、将所述单维时序数据和所述相关时序数据输入多维时序预测模型,得到所述异常预测目标维度的目标时序预测值。
其中,多维时序预测模型可通过对回归模型进行训练得到。目标时序预测值为目标维度在未来一段时间内的变化趋势,单维时序预测值为目标维度在未来一段时间内的正常期望值。目标时序预测值的预测依据除目标维度的单维时序数据之外,还有相关维度的相关时序数据,而单维时序预测值的预测依据只有前者。
具体的,将单维时序数据和相关时序数据输入多维时序预测模型,多维时序预测模型根据单维时序数据和相关时序数据预测目标维度未来一段时间内的变化趋势,输出目标时序预测值。通过相关维度的相关时序数据来预测目标维度在未来一段时间内的值,可以有效挖掘多指标之间的依赖关系,充分捕捉异常。
可选的,所述将所述单维时序数据和所述相关时序数据输入多维时序预测模型,得到所述异常预测目标维度的目标时序预测值之前,还包括:
获取所述异常预测相关维度和所述异常预测目标维度的历史时序数据集;根据所述历史时序数据集确定所述异常预测目标维度和所述异常预测相关维度之间的映射关系;基于所述映射关系对回归模型进行训练,得到多维时序预测模型。
其中,回归模型的构造可基于机器学习或深度学习完成。
具体的,提取n(n≥1)个相关维度和目标维度的时序数据集,采用深度学习算法挖掘各维度之间的时空依赖关系,完成对相关维度与目标维度之间映射关系的构建。将映射关系作为训练样本,采用深度学习(如CNN方法,transformer等)或机器学习方法(如l ightGBM等)训练回归模型即根据相关维度1-n的时序数据来预测目标维度TSy的未来值。
S140、根据所述目标时序预测值和所述时序预测基线的比对结果,对所述目标维度指标进行异常预测。
具体的,对目标时序预测值和时序预测基线逐点比对,若目标时序预测值超出时序预测基线的基线范围,则预测该时序点将出现异常,从而提前预警,预警内容包括目标维度未来可能发生的异常时间以及程度。此外,也可加入经验阈值进行异常判别,如根据运维人员经验,某系统cpu使用率指标超过60%以上则认为异常,从而可将60%设为经验阈值
示例性的,单维时序预测模型输出的单维时序预测值是1、2、3,基于基线生成策略确定得到时序预测基线的上基线为2、3、4,下基线为0、1、2。如果单维时序预测模型输出的目标时序预测值A1、A2、A3,满足0<A1<2,1<A2<3,2<A3<4,就预测未来A1、A2、A3时序点内不会出现运维异常,反之,如果A1、A2、A3不在基线范围内,则预测未来相应的时序点将出现异常。
本发明实施例通过确定目标维度的时序预测基线和目标时序预测值,提前判别未来可能发生的异常时间以及程度,区别于以往只能被动地响应异常,使得运维人员有充足的时间进行操作,降低故障发生率。
图2A为本发明又一实施例提供的一种时序异常预测方法的流程图,本实施例在上述实施例的基础上进行了优化改进。如图2所示,该方法包括:
S210、根据领域知识去除多维指标中与目标维度无关的无关维度,得到候选相关维度;确定各候选相关维度与异常预测目标维度的相关系数,并将相关系数满足阈值要求的候选相关维度确定为异常预测相关维度。
具体的,首先根据领域知识去除多维指标中与目标维度无关的指标,剩下的则是候选相关维度的指标。再对剩余的多个指标进行与目标维度指标的相关性分析,如采用pearson相关系数,计算出剩余各指标与目标维度之间的相关系数。当相关系数r和p值均满足相应阈值时,认为该指标与目标维度相关,为相关维度的指标,否则去除,最终得到与目标维度在实际和统计意义上均相关的指标集-异常预测相关维度。在上述流程中,相关系数既可采用pearson进行两两相关分析或多元偏相关分析来分析确定之外,也可采用独立性检验进行因果分析确定。
S220、从运维的多维指标时序数据中获取异常预测目标维度的单维时序数据,和与所述异常预测目标维度相关的异常预测相关维度的相关时序数据。
S230、将所述单维时序数据输入单维时序预测模型得到单维时序预测值。
S240、根据设定置信区间确定所述的上下基线,得到所述异常预测目标维度的时序预测基线。
具体的,可预先基于目标维度的历史平均波动幅度确定目标维度的置信区间。在单维时序预测模型输出单维时序预测值后,结合单维时序预测值和置信区间计算单维时序预测值的上基线和下基线,作为目标维度的时序预测基线。
S250、将所述单维时序数据和所述相关时序数据输入多维时序预测模型,得到所述异常预测目标维度的目标时序预测值。
S260、根据所述目标时序预测值和所述时序预测基线的比对结果,对所述目标维度指标进行异常预测。
S270、获取所述异常预测的人工复核结果,并根据所述人工复核结果对所述单维时序预测模型和所述多维时序预测模型进行增量反馈训练。
具体的,对异常预测系统提示的异常内容进行人工比对核查,无论提前预警是否成功,都可将人工比对核查结果处理为相应的反馈训练样本。根据反馈训练样本对单维时序预测模型和多维时序预测模型进行增量反馈训练,从而优化两个模型,不断提升异常预测精度。
示例性的,图2B是根据本发明又一实施例提供的一种异常预测框架的示意图。其中,通过上下两条分支分别预测出目标维度的正常动态基线(时序预测基线)和变化趋势(目标时序预测值),将二者进行比较,提前识别异常,并定期加入人工反馈,优化预测模型。异常预测模型由动态基线生成模块、趋势预测模块、异常判别模块和反馈优化模块组成。动态基线生成模块用于输出时序预测基线,趋势预测模块用于输出目标时序预测值,异常判别模块则用于根据目标时序预测值和时序预测基线进行异常预测,用于根据预测的判别结果,当加入人工真实反馈后,对基线生成模型和趋势预测模型进行迭代优化,提高异常预测的准确率。
本发明实施例通过根据反馈训练样本对单维时序预测模型和多维时序预测模型进行增量反馈训练,从而优化两个模型,不断提升异常预测精度
图3为本发明又一实施例提供的一种时序异常预测装置的结构示意图。如图3所示,该装置包括:
时序数据获取模块310,用于从运维的多维指标时序数据中获取异常预测目标维度的单维时序数据,和与所述异常预测目标维度相关的异常预测相关维度的相关时序数据;
预测基线确定模块320,用于将所述单维时序数据输入单维时序预测模型得到单维时序预测值,并根据所述单维时序预测值确定所述异常预测目标维度的时序预测基线;
预测值确定模块330,用于将所述单维时序数据和所述相关时序数据输入多维时序预测模型,得到所述异常预测目标维度的目标时序预测值;
异常预测模块340,用于根据所述目标时序预测值和所述时序预测基线的比对结果,对所述目标维度指标进行异常预测。
本发明实施例所提供的时序异常预测装置可执行本发明任意实施例所提供的时序异常预测方法,具备执行方法相应的功能模块和有益效果
可选的,所述装置还包括:
训练样本获取模块,用于基于输入序列窗口宽度和预测时序序列长度,从所述异常预测目标维度的正常历史时序段中获取训练样本;
单维模型训练模块,用于将所述训练样本输入生成对抗网络,训练得到单维时序预测模型。
可选地,所述装置还包括:
异常点检测模块,用于对所述异常预测目标维度的历史时序段进行异常点检测;
第一时序段获取模块,用于若所述历史时序段中不存在异常点,则将所述历史时序段作为正常历史时序段;
第二时序段获取模块,用于若所述历史时序段中存在异常点,则将异常点替换后的历史时序段作为正常历史时序段。
可选地,所述训练样本获取模块包括:
输入序列提取单元,用于以输入序列窗口宽度作为滑动窗口宽度,从所述异常预测目标维度的正常历史时序段中滑动提取输入时序序列;
未来序列获取单元,用于从所述输入时序序列在所述正常历史时序段的后续时序段中,滑动获取预测时序序列长度的真实未来时序序列;
训练样本获取单元,用于将所述输入时序序列和所述真实未来时序序列组合确定为训练样本。
可选地,所述单维模型训练模块包括:
未来序列生成单元,用于将所述训练样本中的输入时序序列输入生成对抗网络中的生成器,得到所述输入序列片段的预测未来时序序列;
鉴别结果确定单元,用于将所述预测未来时序序列和所述训练样本中的真实未来时序序列输入所述生成对抗网络中的鉴别器,得到鉴别结果;
单维模型训练单元,用于若所述鉴别结果为假,所述生成器和所述鉴别器进行持续对抗训练,直至鉴别结果为真,得到单维时序预测模型。
可选地,所述装置还包括:
历史时序获取单元,用于获取所述异常预测相关维度和所述异常预测目标维度的历史时序数据集;
映射关系确定单元,用于根据所述历史时序数据集确定所述异常预测目标维度和所述异常预测相关维度之间的映射关系;
多维模型训练单元,用于基于所述映射关系对回归模型进行训练,得到多维时序预测模型。
可选地,所述装置还包括增量反馈训练模块,用于获取所述异常预测的人工复核结果,并根据所述人工复核结果对所述单维时序预测模型和所述多维时序预测模型进行增量反馈训练。
可选地,所述预测基线确定模块包括时序预测基线确定单元,用于根据设定置信区间确定所述单维时序预测值的上下基线,得到所述异常预测目标维度的时序预测基线。
可选地,所述装置还包括:
候选维度确定模块,用于根据领域知识去除多维指标中与目标维度无关的无关维度,得到候选相关维度;
相关维度确定模块,用于确定各候选相关维度与异常预测目标维度的相关系数,并将相关系数满足阈值要求的候选相关维度确定为异常预测相关维度。
进一步说明的时序异常预测装置也可执行本发明任意实施例所提供的时序异常预测方法,具备执行方法相应的功能模块和有益效果。
图4示出了可以用来实施本发明的实施例的电子设备40的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示,电子设备40包括至少一个处理器41,以及与至少一个处理器41通信连接的存储器,如只读存储器(ROM)42、随机访问存储器(RAM)43等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序,来执行各种适当的动作和处理。在RAM43中,还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM42以及RAM43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。
电子设备40中的多个部件连接至I/O接口45,包括:输入单元46,例如键盘、鼠标等;输出单元47,例如各种类型的显示器、扬声器等;存储单元48,例如磁盘、光盘等;以及通信单元49,例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理,例如时序异常预测方法。
在一些实施例中,时序异常预测方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元48。在一些实施例中,计算机程序的部分或者全部可以经由ROM42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM43并由处理器41执行时,可以执行上文描述的时序异常预测方法的一个或多个步骤。备选地,在其他实施例中,处理器41可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行时序异常预测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(AS I C)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (12)
1.一种时序异常预测方法,其特征在于,所述方法包括:
从运维的多维指标时序数据中获取异常预测目标维度的单维时序数据,和与所述异常预测目标维度相关的异常预测相关维度的相关时序数据;
将所述单维时序数据输入单维时序预测模型得到单维时序预测值,并根据所述单维时序预测值确定所述异常预测目标维度的时序预测基线;
将所述单维时序数据和所述相关时序数据输入多维时序预测模型,得到所述异常预测目标维度的目标时序预测值;
根据所述目标时序预测值和所述时序预测基线的比对结果,对所述目标维度指标进行异常预测。
2.根据权利要求1所述的方法,其特征在于,所述将所述单维时序数据输入单维时序预测模型得到单维时序预测值之前,还包括:
基于输入序列窗口宽度和预测时序序列长度,从所述异常预测目标维度的正常历史时序段中获取训练样本;
将所述训练样本输入生成对抗网络,训练得到单维时序预测模型。
3.根据权利要求2所述的方法,其特征在于,所述基于输入序列窗口宽度和预测时序序列长度,从所述异常预测目标维度的正常历史时序段中获取训练样本之前,还包括:
对所述异常预测目标维度的历史时序段进行异常点检测;
若所述历史时序段中不存在异常点,则将所述历史时序段作为正常历史时序段;
若所述历史时序段中存在异常点,则将异常点替换后的历史时序段作为正常历史时序段。
4.根据权利要求2所述的方法,其特征在于,所述基于输入序列窗口宽度和预测时序序列长度,从所述异常预测目标维度的正常历史时序段中获取训练样本包括:
以输入序列窗口宽度作为滑动窗口宽度,从所述异常预测目标维度的正常历史时序段中滑动提取输入时序序列;
从所述输入时序序列在所述正常历史时序段的后续时序段中,滑动获取预测时序序列长度的真实未来时序序列;
将所述输入时序序列和所述真实未来时序序列组合确定为训练样本。
5.根据权利要求2所述的方法,其特征在于,所述将所述训练样本输入生成对抗网络,训练得到单维时序预测模型包括:
将所述训练样本中的输入时序序列输入生成对抗网络中的生成器,得到所述输入序列片段的预测未来时序序列;
将所述预测未来时序序列和所述训练样本中的真实未来时序序列输入所述生成对抗网络中的鉴别器,得到鉴别结果;
若所述鉴别结果为假,所述生成器与所述鉴别器进行持续对抗训练,直至所述鉴别结果为真,得到单维时序预测模型。
6.根据权利要求1所述的方法,其特征在于,所述将所述单维时序数据和所述相关时序数据输入多维时序预测模型,得到所述异常预测目标维度的目标时序预测值之前,还包括:
获取所述异常预测相关维度和所述异常预测目标维度的历史时序数据集;
根据所述历史时序数据集确定所述异常预测目标维度和所述异常预测相关维度之间的映射关系;
基于所述映射关系对回归模型进行训练,得到多维时序预测模型。
7.根据权利要求1所述的方法,其特征在于,所述根据所述目标时序预测值和所述时序预测基线的比对结果,对所述目标维度指标进行异常预测之后,还包括:
获取所述异常预测的人工复核结果,并根据所述人工复核结果对所述单维时序预测模型和所述多维时序预测模型进行增量反馈训练。
8.根据权利要求1所述的方法,其特征在于,所述根据所述单维时序预测值确定所述异常预测目标维度的时序预测基线包括:
根据设定置信区间确定所述单维时序预测值的上下基线,得到所述异常预测目标维度的时序预测基线。
9.根据权利要求1所述的方法,其特征在于,所述从运维的多维指标时序数据中获取异常预测目标维度的单维时序数据,和与所述异常预测目标维度相关的异常预测相关维度的相关时序数据之前,还包括:
根据领域知识去除多维指标中与目标维度无关的无关维度,得到候选相关维度;
确定各候选相关维度与异常预测目标维度的相关系数,并将相关系数满足阈值要求的候选相关维度确定为异常预测相关维度。
10.一种时序异常预测装置,其特征在于,所述装置包括:
时序数据获取模块,用于从运维的多维指标时序数据中获取异常预测目标维度的单维时序数据,和与所述异常预测目标维度相关的异常预测相关维度的相关时序数据;
预测基线确定模块,用于将所述单维时序数据输入单维时序预测模型得到单维时序预测值,并根据所述单维时序预测值确定所述异常预测目标维度的时序预测基线;
预测值确定模块,用于将所述单维时序数据和所述相关时序数据输入多维时序预测模型,得到所述异常预测目标维度的目标时序预测值;
异常预测模块,用于根据所述目标时序预测值和所述时序预测基线的比对结果,对所述目标维度指标进行异常预测。
11.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-10中任一项所述的时序异常预测方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-10中任一项所述的时序异常预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211710598.4A CN115829160B (zh) | 2022-12-29 | 2022-12-29 | 一种时序异常预测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211710598.4A CN115829160B (zh) | 2022-12-29 | 2022-12-29 | 一种时序异常预测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115829160A true CN115829160A (zh) | 2023-03-21 |
CN115829160B CN115829160B (zh) | 2023-09-01 |
Family
ID=85519344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211710598.4A Active CN115829160B (zh) | 2022-12-29 | 2022-12-29 | 一种时序异常预测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115829160B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116757533A (zh) * | 2023-06-13 | 2023-09-15 | 无锡物联网创新中心有限公司 | 一种工业设备异常检测方法及相关装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015176565A1 (zh) * | 2014-05-22 | 2015-11-26 | 袁志贤 | 一种基于多维时间序列的电气设备故障预测方法 |
CN109615226A (zh) * | 2018-12-12 | 2019-04-12 | 焦点科技股份有限公司 | 一种运营指标异常监测方法 |
CN110147902A (zh) * | 2019-04-10 | 2019-08-20 | 焦点科技股份有限公司 | 一种多项运营指标联合异常监测方法 |
US20200097810A1 (en) * | 2018-09-25 | 2020-03-26 | Oracle International Corporation | Automated window based feature generation for time-series forecasting and anomaly detection |
WO2021061090A1 (en) * | 2019-09-23 | 2021-04-01 | Google Llc | Time-series anomaly detection using an inverted index |
CN112862012A (zh) * | 2021-03-31 | 2021-05-28 | 中国工商银行股份有限公司 | 一种基于lstm模型的运维系统异常预警方法、装置及设备 |
US20220004846A1 (en) * | 2020-07-01 | 2022-01-06 | International Business Machines Corporation | Forecasting multivariate time series data |
-
2022
- 2022-12-29 CN CN202211710598.4A patent/CN115829160B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015176565A1 (zh) * | 2014-05-22 | 2015-11-26 | 袁志贤 | 一种基于多维时间序列的电气设备故障预测方法 |
US20200097810A1 (en) * | 2018-09-25 | 2020-03-26 | Oracle International Corporation | Automated window based feature generation for time-series forecasting and anomaly detection |
CN109615226A (zh) * | 2018-12-12 | 2019-04-12 | 焦点科技股份有限公司 | 一种运营指标异常监测方法 |
CN110147902A (zh) * | 2019-04-10 | 2019-08-20 | 焦点科技股份有限公司 | 一种多项运营指标联合异常监测方法 |
WO2021061090A1 (en) * | 2019-09-23 | 2021-04-01 | Google Llc | Time-series anomaly detection using an inverted index |
US20220004846A1 (en) * | 2020-07-01 | 2022-01-06 | International Business Machines Corporation | Forecasting multivariate time series data |
CN112862012A (zh) * | 2021-03-31 | 2021-05-28 | 中国工商银行股份有限公司 | 一种基于lstm模型的运维系统异常预警方法、装置及设备 |
Non-Patent Citations (2)
Title |
---|
KANGWON SEO等: "《An application of hidden Markov model on determination of root cause frequency and locations》", QUALITY ENGINEERING * |
曹超凡,李路: "基于TRMF-LSTM组合模型的多维时间序列预测", 软件导刊 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116757533A (zh) * | 2023-06-13 | 2023-09-15 | 无锡物联网创新中心有限公司 | 一种工业设备异常检测方法及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115829160B (zh) | 2023-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111796957B (zh) | 基于应用日志的交易异常根因分析方法及系统 | |
CN112083244B (zh) | 综合化航空电子设备故障智能诊断系统 | |
CN116049146B (zh) | 一种数据库故障处理方法、装置、设备及存储介质 | |
CN115454778A (zh) | 大规模云网络环境下的时序指标异常智能监控系统 | |
CN115033463B (zh) | 一种系统异常类型确定方法、装置、设备和存储介质 | |
CN115391160B (zh) | 一种异常变更检测方法、装置、设备及存储介质 | |
CN115829160B (zh) | 一种时序异常预测方法、装置、设备及存储介质 | |
CN115422028A (zh) | 标签画像体系的可信度评估方法、装置、电子设备及介质 | |
CN111340287A (zh) | 配电柜运行状态预测方法及装置 | |
CN117149486B (zh) | 告警和根因定位方法、模型训练方法、装置、设备及介质 | |
CN114020715A (zh) | 一种日志数据的处理方法、装置、介质及设备 | |
CN117573412A (zh) | 系统故障预警方法、装置、电子设备及存储介质 | |
CN115705413A (zh) | 异常日志的确定方法及装置 | |
CN114692987A (zh) | 一种时序数据分析方法、装置、设备及存储介质 | |
CN115774648A (zh) | 一种异常定位方法、装置、设备以及存储介质 | |
CN114881112A (zh) | 一种系统异常检测方法、装置、设备及介质 | |
CN114330437A (zh) | 一种故障检测方法及故障分类模型的训练方法、装置 | |
CN114760190A (zh) | 一种面向服务的融合网络性能异常检测方法 | |
Wani et al. | Data Drift Monitoring for Log Anomaly Detection Pipelines | |
CN117909717B (zh) | 一种基于深度学习和数据挖掘的工程量辅助验收结算方法 | |
CN115361078B (zh) | 一种传输区间确定方法、装置、电子设备及介质 | |
CN117707899A (zh) | 一种微服务异常检测方法、装置、设备及存储介质 | |
CN115604745A (zh) | 高维kpi的异常检测方法、装置、计算机可读介质及设备 | |
CN118041678A (zh) | 一种自动化日志合规检测方法 | |
CN117667587A (zh) | 一种异常检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |