CN116383096A - 基于多指标时序预测的微服务系统异常检测方法及装置 - Google Patents
基于多指标时序预测的微服务系统异常检测方法及装置 Download PDFInfo
- Publication number
- CN116383096A CN116383096A CN202310661193.4A CN202310661193A CN116383096A CN 116383096 A CN116383096 A CN 116383096A CN 202310661193 A CN202310661193 A CN 202310661193A CN 116383096 A CN116383096 A CN 116383096A
- Authority
- CN
- China
- Prior art keywords
- index
- time
- attention
- data
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 230000005856 abnormality Effects 0.000 claims abstract description 37
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 24
- 230000007246 mechanism Effects 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000001351 cycling effect Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 abstract description 7
- 230000002123 temporal effect Effects 0.000 abstract 2
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001520764 Betula pubescens Species 0.000 description 1
- 241000921553 Parvopolyspora Species 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及微服务系统检测领域,具体公开了一种基于多指标时序预测的微服务系统异常检测方法及装置。包括:采集微服务系统指标和微服务业务指标组成多元指标时序数据,并进行预处理;根据预处理后的时序数据构建特征注意力编码器,赋予指标特征不同的注意力权重;使用LSTM作为编码器函数,通过时序注意力更新不同时间阶段权重;构建非线性自回归时序预测模型,生成下一时刻多元指标预测值集合;根据多元指标真实数据和非线性自回归时序预测值生成预测残差;根据孤立森林设置阈值检测微服务关键指标异常。本发明结合微服务多元指标相关性构建特征注意力和时序注意力模型,能够挖掘微服务系统指标和业务指标中的潜在信息,提升异常检测性能。
Description
技术领域
本发明涉及微服务系统检测领域,具体涉及一种基于多指标时序预测的微服务系统异常检测方法及装置。
背景技术
互联网的高速发展积累了大量计算、存储、网络、服务、应用和数据等资源,传统单体架构已经不能满足复杂的资源管理需要。在推进数字化的过程中,云计算扮演着重要的角色,为互联网的繁荣发展提供有力的保障和支撑。以云计算为平台搭建的微服务系统继承了云计算的极致弹性,微服务系统将传统的应用程序分解为细粒度、组件化的、松耦合的微服务。微服务对部署、运维,通讯均实现了标准化,让服务与服务之间的互联互通变得更容易,且支持跨平台,做到一次编写、一次定义、多处运行。但微服务带来便捷的同时,也产生了一些新问题:随着微服务数量和范围的扩大,运行环境和服务依赖变得更加复杂,使得管理和运维难度不断攀升。根据《Digital Enterprise Journal》针对全球Top企业运维管理的研究报告,在过去几年中,被调研的所有企业中仅有39%的异常被主动检测并产生预警,系统整体性能下降导致的损失达到平均每月近213万美元,且修复重大异常事件平均需要花费3.7小时。面对数据量庞大、运行环境复杂、监测指标繁多的微服务环境,传统依赖人工经验的运维方式已经不能满足业务要求,微服务系统具有服务调用复杂、指标数量多等特点。在复杂服务依赖网络中快速检测异常,需依赖关键监测指标,掌握应用系统的运行状态。
通过监控手段,微服务在运行中会持续产生各类指标数据,其中包括微服务系统指标、微服务业务指标等。利用上述指标数据构建有监督或者无监督的机器学习模型能够基于系统运行状态实现异常情况检测。针对微服务异常检测场景,目前已有学者提出相关方法:文献[S. Lin, R. Clark, R. Birke, S. Schonborn, N. Trigoni, andS.Roberts, “AnomalyDetection for Time Series Using VAE-LSTM Hybrid Model,” inICASSP 2020 - 2020 IEEEInternational Conference on Acoustics, Speech andSignal Processing (ICASSP),Barcelona, Spain, May 2020, pp. 4322–4326.]使用重构模型对正常的时序数据进行训练,将预测误差建模为多元高斯分布实现异常检测,但模型构建过程中忽略了多元指标之间的关联性,无法覆盖多种异常场景。文献[P. Liu etal., “Unsupervised Detection of Microservice Trace Anomalies throughService-Level Deep Bayesian Networks,” in ISSRE, Coimbra, Portugal, Oct. 2020, pp.48–58.]提出了一种基于调用链的微服务异常监测方法,通过生成模型对实时保存的数据样本进行异常检测。基于调用链信息构建的链路向量包含较多无用信息,异常检测准确率有进一步提升空间。
发明内容
针对异常检测场景中指标繁多、噪声较大的技术问题,本发明结合微服务多元指标相关性构建特征注意力和时序注意力模型,挖掘微服务系统指标和微服务业务指标中的潜在信息,提升微服务系统异常检测准确率。
为了实现上述目的,本发明提供了一种基于多指标时序预测的微服务系统异常检测方法,包括以下步骤:
S1:采集微服务系统的多元指标时序数据,并对多元指标时序数据进行预处理,所述多元指标时序数据包括:系统指标和业务指标组成的时序数据;
S2:根据预处理后的多元指标时序数据构建特征注意力编码器,赋予指标特征不同的注意力权重;
S3:使用LSTM作为编码器函数,通过时序注意力更新不同时间阶段的注意力权重;
S4:构建非线性自回归时序预测模型,生成下一时刻多元指标预测值集合;
S5:根据多元指标真实值和非线性自回归时序预测模型生成的多元指标预测值生成预测残差;
S6:根据预测残差计算各指标的异常得分,根据孤立森林设置异常概率的阈值,根据异常得分与阈值的关系获得微服务器系统指标异常检测结果。
进一步地,步骤S1具体包括:
S1.1:所述微服务系统指标数据包含物理服务器和容器的CPU使用情况、内存使用情况、I/O和网络负载等;微服务业务指标数据主要聚焦微服务的响应时间、网络请求量和响应成功率等指标数据。特别地,对于响应时间设置P99、P95和P90指标,分别表示响应时间指标的99%、95%和90%分位数。
S1.2:所述预处理操作包含缺失值处理、数据标准化;
所述缺失值处理指对于对于微服务系统指标数据和微服务业务指标数据而言,对极少量缺失数据行或数据列的数据采取平均值填充方法进行补全修复。
所述数据标准化指在数据预处理阶段,为了降低不同监测指标量纲和波动程度对模型预测结果的影响,对所有指标数据采用公式进行归一化处理:
部分研究表明,针对多元监测指标时间序列数据,相比针对单一指标建模,结合指标间多元相关性能够更实现更准确的预测。考虑到该特性,本发明根据多元指标之间特征相关性建立特征注意力机制。
进一步地,步骤S2具体包括:
S2.1:给定维监测指标时间序列/>,其中/>表示步骤S1中收集数据的初始时刻到当前时刻的时间段,通过SoftAttention构建特征注意力权重机制获取/>维指标特征在/>时刻的注意力分数。具体来说,根据/>时刻的隐含层状态/>和记忆单元状态/>组合得到/>时刻的注意力分数:
区别于简单赋予输入特征相同权重,引入特征注意力机制使模型在训练过程能够自适应地关注对指标变化有重要影响的特征,从而起到突出重要特征同时抑制无用信息的作用。
除了特征相关性之外,数据在时间维度上的表现对预测结果也有较大影响,具体来说,较近时间点对预测值的影响往往大于较远时间点。相关研究指出时间序列预测模型的性能与编码器输入长度成反比。相比于直接缩短编码器的输入长度,引入时间注意力机制可以提取出全部时间序列中的关键序列点,从而在控制编码器长度的同时实现较好的预测效果。
进一步地,步骤S3具体包括:
进一步地,步骤S4具体包括:
S4.2:组合隐层信息和待预测值历史数据,基于非线性自回归(Nonlinearautoregressive exogenous,NARX)模型对预测结果进行回归。具体来说,组合时刻的预测值/>计算/>时刻的解码器隐层信息:
进一步地,步骤S5具体包括:
进一步地,步骤S6具体包括:
S6.3:根据生成一个超平面划分当前数据空间:根据二分法将特征/>下的样本点根据切割点/>划分至当前节点的左右子分支。对节点的子分支递归执行步骤S6.2和步骤S6.3,不断构造新的叶子节点,直到满足停止条件:所有样本点均划分至不同的数据空间或孤立树高度到达设定的最大值。
此外,为了实现上述目的,本发明还提供了一种基于多指标时序预测的微服务系统异常检测装置,包括以下模块:
数据采集及预处理模块,用于采集微服务系统的多元指标时序数据,并对时序数据进行预处理,所述多元指标时序数据包括:系统指标和业务指标组成的时序数据;
注意力权重赋值模块,用于根据预处理后的多元指标时序数据构建特征注意力编码器,赋予指标特征不同的注意力权重;
时序注意力更新模块,用于使用LSTM作为编码器函数,通过时序注意力更新不同时间阶段权重;
自回归时序预测模块,用于构建非线性自回归时序预测模型,生成下一时刻多元指标预测值集合
预测残差生成模块,用于根据多元指标真实值和非线性自回归时序预测模型生成的多元指标预测值生成预测残差;
指标异常检测模块,用于根据预测残差计算各指标的异常得分,根据孤立森林设置异常概率的阈值,根据异常得分与阈值的关系获得微服务器系统指标异常检测结果。
本发明提供的技术方案具有以下有益效果:
(1)本发明所构建的微服务多元指标特征注意力模型,相比于针对单一指标建模,能够根据多元指标间的相关性挖掘特征之间的潜在信息,增强模型的适用范围;
(2)除了特征相关性之外,数据在时间维度上的表现对预测结果也有较大影响,本发明所构建的微服务多元指标时序注意力模型,以提取出全部时间序列中的关键序列点,从而在控制编码器长度的同时提升异常检测性能。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明中的一种基于多指标时序预测的微服务系统异常检测方法的执行流程图;
图2是本发明中的基于双注意力时序预测模型和孤立森林的异常检测架构图;
图3是本发明中的特征注意力机制模型;
图4是本发明中的时序注意力机制模型;
图5是本发明中的双注意力时序预测模型整体框架;
图6是本发明中的双注意力时序预测模型训练过程;
图7是本发明中一个实施例在数据集上预测序列和真实序列的残差示意图;
图8是本发明中的特征注意力在预测过程中的权重;
图9是本发明中的时序注意力在预测过程中的权重;
图10是本发明中的一种基于多指标时序预测的微服务系统异常检测装置的结构示意图;
图11是本发明中的一种电子设备结构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
下面是应用本发明的方法进行微服务系统多元指标异常检测的具体实施例,实施例采用两个数据集,其中一个数据集选取自2019年国际AIOps挑战赛(InternationalAIOps Challenge,IAC),该数据集(IAC2019)从运行大数据批处理的微服务系统中收集得到,包含实时性能指标和黄金业务指标,在不同维度反映系统的运行状况。另一个数据集来自于包含11个微服务的电子商务系统Online-boutique。在该系统上搭建数据采集工具Node Exporter和Prometheus,分别采集系统级指标和应用级指标,如表1所示;随后通过注入CPU满载、网络延迟或容器暂停等方式得到异常数据和标签:
最终两个数据集的详细特征如表2所示;
基于上述两个数据集,如图1、图2所示,本发明的实施步骤具体如下:
首先,执行步骤S1,采集微服务系统指标和微服务业务指标组成多元指标时间序列数据,并对多元指标时序数据进行预处理生成k维时间序列;
进一步地,执行步骤S2,根据预处理后的多元指标时序数据构建特征注意力编码器,如图3所示,赋予指标特征不同的注意力权重,具体包括:
步骤S2.1:给定维监测指标时间序列/>,其中T表示步骤S1中收集数据的初始时刻到当前时刻的时间段。通过SoftAttention构建特征注意力权重机制获取k维指标特征在t时刻的注意力分数。具体来说,根据/>时刻的隐含层状态/>和记忆单元状态/>组合得到/>时刻的注意力分数:
进一步地,执行步骤S3,使用LSTM作为编码器函数,通过时序注意力更新不同时间阶段权重,如图4所示;具体包括以下步骤:
步骤S3.1:在解码器阶段,获取i时刻的注意力权重:
进一步地,执行步骤S4:图5表示双注意力时序预测模型整体框架,基于双注意力时序预测模型整体框架构建非线性自回归时序预测模型,生成下一时刻多元指标预测值集合,具体包括:
步骤S4.2:组合隐层信息和待预测值历史数据,基于非线性自回归(Nonlinearautoregressive exogenous,NARX)模型对预测结果进行回归。具体来说,组合时刻的预测值/>计算/>时刻的解码器隐层信息:
图6展示了本发明中的双注意力时序预测模型训练过程,进一步地,执行步骤S5:根据多元指标真实数据和非线性自回归时序预测值生成预测残差,具体包括:
根据本发明的一个实施例,将IAC2019数据集中CPU指标时间序列的真实曲线和预测曲线对比,如图7所示。其中柱状部分为指标时间序列中异常出现的时间段,两条曲线分别表示时序真实值和预测值。
进一步地,执行步骤S6:孤立森林设置阈值检测微服务关键指标异常
步骤S6.3:根据生成一个超平面划分当前数据空间:根据二分法将特征/>下的样本点根据切割点/>划分至当前节点的左右子分支。对节点的子分支递归执行步骤6.2和步骤6.3,不断构造新的叶子节点,直到满足停止条件:所有样本点均划分至不同的数据空间或孤立树高度到达设定的最大值。
作为本发明的一个实施例,表3展示了不同对比方法的综合性能表现。本发明所提出的微服务异常检测DA-LSTM+iF方法在IAC2019和Online-boutique数据集上的表现均优于其他对比方法。同时也可以看出所有被评估的异常检测方法在Online-boutique数据集上的表现整体低于在IAC2019数据集上的表现,主要有以下几个原因:第一,Online-boutique数据集中存在部分真实场景下的非异常性波动,这些通常由于云原生系统环境动态变化造成,持续时间较短。这些波动对业务无显著影响,但算法易将其检测为异常。第二,Online-boutique数据集表现出的长短期周期性不够明显,异常所表现出的特征不易被捕捉。
图8展示了在Online-boutique数据集上预测内存使用率指标时间序列过程中多维指标特征在编码器单元的权重。由于CPU利用率指标、Pod负载指标特征和内存使用率指标和具有较强的相关性,注意力赋予其更高的权重。同时对相关性较低的Pod延迟指标、Pod成功率指标则赋予较低的权重。同时,时间注意力机制在时间序列上也现出更好的建模能力,如图9所示,距离当前预测时刻更近的时间段在预测过程被赋予更高的权重。本发明提出的异常检测模型能够自适应地赋予历史上下文信息不同的权重,相比于传统时序模型表现出更强的重要信息提取能力。
下面对本发明提供的一种基于多指标时序预测的微服务系统异常检测装置进行描述,下文描述的微服务系统异常检测装置与上文描述的微服务系统异常检测方法可相互对应参照。
如图10所示,一种基于多指标时序预测的微服务系统异常检测装置,包括以下模块:
数据采集及预处理模块001,用于采集微服务系统的多元指标时序数据,并对时序数据进行预处理,所述多元指标时序数据包括:系统指标和业务指标组成的时序数据;
注意力权重赋值模块002,用于根据预处理后的多元指标时序数据构建特征注意力编码器,赋予指标特征不同的注意力权重;
时序注意力更新模块003,用于使用LSTM作为编码器函数,通过时序注意力更新不同时间阶段权重;
自回归时序预测模块004,用于构建非线性自回归时序预测模型,生成下一时刻多元指标预测值集合
预测残差生成模块005,用于根据多元指标真实值和非线性自回归时序预测模型生成的多元指标预测值生成预测残差;
指标异常检测模块006,用于根据预测残差计算各指标的异常得分,根据孤立森林设置异常概率的阈值,根据异常得分与阈值的关系获得微服务器系统指标异常检测结果。
基于但不限于上述装置,所述数据采集及预处理模块001具体用于:
采集包含物理服务器和容器的CPU使用情况、内存使用情况、I/O和网络负载等系统指标;采集包括微服务的响应时间、网络请求量和响应成功率等业务指标数据。特别地,对于响应时间设置P99、P95和P90指标,分别表示响应时间指标的99%、95%和90%分位数。
对各指标组成的时序数据进行缺失值处理、数据标准化;
所述缺失值处理指对于对于微服务系统指标数据和微服务业务指标数据而言,对极少量缺失数据行或数据列的数据采取平均值填充方法进行补全修复。
所述数据标准化指在数据预处理阶段,为了降低不同监测指标量纲和波动程度对模型预测结果的影响,对所有指标数据采用公式进行归一化处理:
基于但不限于上述装置,所述注意力权重赋值模块002具体用于:
给定维监测指标时间序列/>,其中T表示步骤S1中收集数据的初始时刻到当前时刻的时间段。通过SoftAttention构建特征注意力权重机制获取k维指标特征在t时刻的注意力分数/>;所述注意力分数通过/>时刻的隐含层状态/>和记忆单元状态/>组合得到:
基于但不限于上述装置,所述时序注意力更新模块003,具体用于:
基于但不限于上述装置,所述自回归时序预测模块004,具体用于:
基于但不限于上述装置,所述预测残差生成模块005,具体用于:
基于但不限于上述装置,所述指标异常检测模块006,具体用于:
根据生成一个超平面划分当前数据空间:根据二分法将特征/>下的样本点根据切割点/>划分至当前节点的左右子分支;对节点的子分支递归执行上述步骤,不断构造新的叶子节点,直到满足停止条件:所有样本点均划分至不同的数据空间或孤立树高度到达设定的最大值;最终生成/>棵iTree;
如图11所示,示例了一种电子设备的实体结构示意图,该电子设备可以包括:处理器(processor)610、通信接口(CommunicationsInterface)620、存储器(memory)630和通信总线640,其中,处理器610、通信接口620、存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令,以执行上述微服务系统异常检测方法的步骤,具体包括:采集微服务系统的多元指标时序数据,并对时序数据进行预处理,所述多元指标时序数据包括:系统指标和业务指标组成的时序数据;根据预处理后的多元指标时序数据构建特征注意力编码器,赋予指标特征不同的注意力权重;使用LSTM作为编码器函数,通过时序注意力更新不同时间阶段的注意力权重;构建非线性自回归时序预测模型,生成下一时刻多元指标预测值集合;根据多元指标真实值和非线性自回归时序预测模型生成的多元指标预测值生成预测残差;根据预测残差计算各指标的异常得分,根据孤立森林设置异常概率的阈值,根据异常得分与阈值的关系获得微服务器系统指标异常检测结果。
此外,上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random15 AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面,本发明实施例还提供了一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述微服务系统异常检测方法的步骤,具体包括:采集微服务系统的多元指标时序数据,并对时序数据进行预处理,所述多元指标时序数据包括:系统指标和业务指标组成的时序数据;根据预处理后的多元指标时序数据构建特征注意力编码器,赋予指标特征不同的注意力权重;使用LSTM作为编码器函数,通过时序注意力更新不同时间阶段的注意力权重;构建非线性自回归时序预测模型,生成下一时刻多元指标预测值集合;根据多元指标真实值和非线性自回归时序预测模型生成的多元指标预测值生成预测残差;根据预测残差计算各指标的异常得分,根据孤立森林设置异常概率的阈值,根据异常得分与阈值的关系获得微服务器系统指标异常检测结果。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为标识。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于多指标时序预测的微服务系统异常检测方法,其特征在于,包括以下步骤:
S1:采集微服务系统的多元指标时序数据,并对多元指标时序数据进行预处理,所述多元指标时序数据包括:系统指标和业务指标组成的时序数据;
S2:根据预处理后的多元指标时序数据构建特征注意力编码器,赋予指标特征不同的注意力权重;
S3:使用LSTM作为编码器函数,通过时序注意力更新不同时间阶段的注意力权重;
S4:构建非线性自回归时序预测模型,生成下一时刻多元指标预测值集合;
S5:根据多元指标真实值和非线性自回归时序预测模型生成的多元指标预测值生成预测残差;
S6:根据预测残差计算各指标的异常得分,根据孤立森林设置异常概率的阈值,根据异常得分与阈值的关系获得微服务器系统指标异常检测结果。
2.根据权利要求1所述的微服务系统异常检测方法,其特征在于,步骤S1中,所述系统指标包括:物理服务器和容器的CPU使用情况、内存使用情况、I/O和网络负载;所述业务指标包括:微服务的响应时间、网络请求量和响应成功率。
3.根据权利要求1所述的微服务系统异常检测方法,其特征在于,步骤S1中,所述预处理包括:缺失值处理和数据标准化。
4.根据权利要求1所述的微服务系统异常检测方法,其特征在于,步骤S2具体包括:
S2.1:给定维监测指标时间序列/>,其中/>表示步骤S1中采集数据的初始时刻到当前时刻的时间段,通过Soft Attention构建特征注意力权重机制获取维指标特征在/>时刻的注意力分数/>;所述注意力分数通过/>时刻的隐含层状态/>和记忆单元状态/>组合得到:
6.根据权利要求1所述的微服务系统异常检测方法,其特征在于,步骤S4具体包括:
8.根据权利要求1所述的微服务系统异常检测方法,其特征在于,步骤S6具体包括:
步骤S6.3:根据生成一个超平面划分当前数据空间:根据二分法将特征/>下的样本点根据切割点/>划分至当前节点的左右子分支;对节点的子分支递归执行步骤S6.2和步骤S6.3,不断构造新的叶子节点,直到满足停止条件:所有样本点均划分至不同的数据空间或孤立树高度到达设定的最大值;
S6.5:通过设置异常概率的阈值检测微服务系统异常。
10.一种实施权利要求1-9任一项所述方法的基于多指标时序预测的微服务系统异常检测装置,其特征在于,包括以下模块:
数据采集及预处理模块,用于采集微服务系统的多元指标时序数据,并对时序数据进行预处理,所述多元指标时序数据包括:系统指标和业务指标组成的时序数据;
注意力权重赋值模块,用于根据预处理后的多元指标时序数据构建特征注意力编码器,赋予指标特征不同的注意力权重;
时序注意力更新模块,用于使用LSTM作为编码器函数,通过时序注意力更新不同时间阶段权重;
自回归时序预测模块,用于构建非线性自回归时序预测模型,生成下一时刻多元指标预测值集合
预测残差生成模块,用于根据多元指标真实值和非线性自回归时序预测模型生成的多元指标预测值生成预测残差;
指标异常检测模块,用于根据预测残差计算各指标的异常得分,根据孤立森林设置异常概率的阈值,根据异常得分与阈值的关系获得微服务器系统指标异常检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310661193.4A CN116383096B (zh) | 2023-06-06 | 2023-06-06 | 基于多指标时序预测的微服务系统异常检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310661193.4A CN116383096B (zh) | 2023-06-06 | 2023-06-06 | 基于多指标时序预测的微服务系统异常检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116383096A true CN116383096A (zh) | 2023-07-04 |
CN116383096B CN116383096B (zh) | 2023-08-18 |
Family
ID=86979086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310661193.4A Active CN116383096B (zh) | 2023-06-06 | 2023-06-06 | 基于多指标时序预测的微服务系统异常检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116383096B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117493220A (zh) * | 2024-01-03 | 2024-02-02 | 安徽思高智能科技有限公司 | 一种rpa流程操作异常检测方法、设备及存储设备 |
CN117539648A (zh) * | 2024-01-09 | 2024-02-09 | 天津市大数据管理中心 | 一种电子政务云平台的服务质量管理方法及装置 |
CN117951628A (zh) * | 2024-03-22 | 2024-04-30 | 陕西德联新能源有限公司 | 一种供热系统异常数据监测方法及系统 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180060665A1 (en) * | 2016-08-29 | 2018-03-01 | Nec Laboratories America, Inc. | Dual Stage Attention Based Recurrent Neural Network for Time Series Prediction |
US20190028496A1 (en) * | 2017-07-19 | 2019-01-24 | Cisco Technology, Inc. | Anomaly detection for micro-service communications |
WO2019172848A1 (en) * | 2018-03-06 | 2019-09-12 | Agency For Science, Technology And Research | Method and apparatus for predicting occurrence of an event to facilitate asset maintenance |
CN111914873A (zh) * | 2020-06-05 | 2020-11-10 | 华南理工大学 | 一种两阶段云服务器无监督异常预测方法 |
CN113014421A (zh) * | 2021-02-08 | 2021-06-22 | 武汉大学 | 一种面向云原生系统的微服务根因定位方法 |
CN113033780A (zh) * | 2021-03-24 | 2021-06-25 | 西北大学 | 一种基于双层注意力机制的云平台资源预测方法 |
CN113591905A (zh) * | 2021-06-17 | 2021-11-02 | 中山大学 | 基于双层注意力机制和对抗学习的深度学习时序聚类方法 |
CN114090396A (zh) * | 2022-01-24 | 2022-02-25 | 华南理工大学 | 一种云环境多指标无监督异常检测和根因分析方法 |
CN114580472A (zh) * | 2022-02-28 | 2022-06-03 | 西北大学 | 工业互联网中因果与注意力并重的大型设备故障预测方法 |
CN114579407A (zh) * | 2022-05-05 | 2022-06-03 | 北京航空航天大学 | 一种因果关系检验和微服务指标预测报警方法 |
CN114707731A (zh) * | 2022-04-11 | 2022-07-05 | 合肥工业大学 | 基于双层注意力网络多域特征融合的设备剩余寿命预测方法 |
WO2022160902A1 (zh) * | 2021-01-28 | 2022-08-04 | 广西大学 | 面向云环境下大规模多元时间序列数据异常检测方法 |
CN115063588A (zh) * | 2022-06-29 | 2022-09-16 | 深圳前海微众银行股份有限公司 | 一种数据处理方法、装置、设备及存储介质 |
CN115168443A (zh) * | 2022-06-23 | 2022-10-11 | 广东工业大学 | 一种基于gcn-lstm和注意力机制的异常检测方法及系统 |
CN115412455A (zh) * | 2022-07-28 | 2022-11-29 | 南京航空航天大学 | 一种基于时间序列的服务器多性能指标异常检测方法及装置 |
CN115840774A (zh) * | 2022-11-25 | 2023-03-24 | 北京航空航天大学杭州创新研究院 | 多元时序异常检测方法及装置、计算机设备和存储介质 |
CN115981902A (zh) * | 2022-12-16 | 2023-04-18 | 武汉大学 | 一种细粒度分布式微服务系统异常根因定位方法及装置 |
-
2023
- 2023-06-06 CN CN202310661193.4A patent/CN116383096B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180060665A1 (en) * | 2016-08-29 | 2018-03-01 | Nec Laboratories America, Inc. | Dual Stage Attention Based Recurrent Neural Network for Time Series Prediction |
US20190028496A1 (en) * | 2017-07-19 | 2019-01-24 | Cisco Technology, Inc. | Anomaly detection for micro-service communications |
WO2019172848A1 (en) * | 2018-03-06 | 2019-09-12 | Agency For Science, Technology And Research | Method and apparatus for predicting occurrence of an event to facilitate asset maintenance |
CN111914873A (zh) * | 2020-06-05 | 2020-11-10 | 华南理工大学 | 一种两阶段云服务器无监督异常预测方法 |
WO2022160902A1 (zh) * | 2021-01-28 | 2022-08-04 | 广西大学 | 面向云环境下大规模多元时间序列数据异常检测方法 |
CN113014421A (zh) * | 2021-02-08 | 2021-06-22 | 武汉大学 | 一种面向云原生系统的微服务根因定位方法 |
CN113033780A (zh) * | 2021-03-24 | 2021-06-25 | 西北大学 | 一种基于双层注意力机制的云平台资源预测方法 |
CN113591905A (zh) * | 2021-06-17 | 2021-11-02 | 中山大学 | 基于双层注意力机制和对抗学习的深度学习时序聚类方法 |
CN114090396A (zh) * | 2022-01-24 | 2022-02-25 | 华南理工大学 | 一种云环境多指标无监督异常检测和根因分析方法 |
CN114580472A (zh) * | 2022-02-28 | 2022-06-03 | 西北大学 | 工业互联网中因果与注意力并重的大型设备故障预测方法 |
CN114707731A (zh) * | 2022-04-11 | 2022-07-05 | 合肥工业大学 | 基于双层注意力网络多域特征融合的设备剩余寿命预测方法 |
CN114579407A (zh) * | 2022-05-05 | 2022-06-03 | 北京航空航天大学 | 一种因果关系检验和微服务指标预测报警方法 |
CN115168443A (zh) * | 2022-06-23 | 2022-10-11 | 广东工业大学 | 一种基于gcn-lstm和注意力机制的异常检测方法及系统 |
CN115063588A (zh) * | 2022-06-29 | 2022-09-16 | 深圳前海微众银行股份有限公司 | 一种数据处理方法、装置、设备及存储介质 |
CN115412455A (zh) * | 2022-07-28 | 2022-11-29 | 南京航空航天大学 | 一种基于时间序列的服务器多性能指标异常检测方法及装置 |
CN115840774A (zh) * | 2022-11-25 | 2023-03-24 | 北京航空航天大学杭州创新研究院 | 多元时序异常检测方法及装置、计算机设备和存储介质 |
CN115981902A (zh) * | 2022-12-16 | 2023-04-18 | 武汉大学 | 一种细粒度分布式微服务系统异常根因定位方法及装置 |
Non-Patent Citations (3)
Title |
---|
PYTHON数据挖掘: "孤立森林(isolation):一个最频繁使用的异常检测算法", pages 1 - 11, Retrieved from the Internet <URL:《https://blog.csdn.net/qq_34160248/article/details/124538485》> * |
YAO QIN等: "A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction", 《HTTPS://ARXIV.ORG/ABS/1704.02971》, pages 1 - 7 * |
沈潇军;葛亚男;沈志豪;倪阳旦;吕明琪;翁正秋;: "一种基于LSTM自动编码机的工业系统异常检测方法", 电信科学, no. 07 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117493220A (zh) * | 2024-01-03 | 2024-02-02 | 安徽思高智能科技有限公司 | 一种rpa流程操作异常检测方法、设备及存储设备 |
CN117493220B (zh) * | 2024-01-03 | 2024-03-26 | 安徽思高智能科技有限公司 | 一种rpa流程操作异常检测方法、设备及存储设备 |
CN117539648A (zh) * | 2024-01-09 | 2024-02-09 | 天津市大数据管理中心 | 一种电子政务云平台的服务质量管理方法及装置 |
CN117951628A (zh) * | 2024-03-22 | 2024-04-30 | 陕西德联新能源有限公司 | 一种供热系统异常数据监测方法及系统 |
CN117951628B (zh) * | 2024-03-22 | 2024-06-11 | 陕西德联新能源有限公司 | 一种供热系统异常数据监测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116383096B (zh) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116383096B (zh) | 基于多指标时序预测的微服务系统异常检测方法及装置 | |
Xiao et al. | Attentional factorization machines: Learning the weight of feature interactions via attention networks | |
Kouemou et al. | History and theoretical basics of hidden Markov models | |
JP6915809B2 (ja) | 事象予測装置、予測モデル生成装置および事象予測用プログラム | |
CN111258593B (zh) | 应用程序预测模型的建立方法、装置、存储介质及终端 | |
CN112289442A (zh) | 预测疾病终点事件的方法、装置及电子设备 | |
Tian et al. | Short-term wind speed forecasting based on autoregressive moving average with echo state network compensation | |
CN112580346B (zh) | 事件抽取方法、装置、计算机设备和存储介质 | |
US11669755B2 (en) | Detecting cognitive biases in interactions with analytics data | |
CN115098789B (zh) | 基于神经网络的多维兴趣融合推荐方法、装置及相关设备 | |
JP2019105871A (ja) | 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置 | |
Gong et al. | Causal discovery from temporal data: An overview and new perspectives | |
Kharal | Explainable artificial intelligence based fault diagnosis and insight harvesting for steel plates manufacturing | |
Yu et al. | Transformer-enhanced Hawkes process with decoupling training for information cascade prediction | |
CN115983087A (zh) | 一种注意力机制与lstm结合检测时序数据异常方法及终端机 | |
CN115062779A (zh) | 基于动态知识图谱的事件预测方法及装置 | |
Alali et al. | Deep reinforcement learning sensor scheduling for effective monitoring of dynamical systems | |
Rao et al. | Medical Big Data Analysis using LSTM based Co-Learning Model with Whale Optimization Approach. | |
CN117609905A (zh) | 一种监测数据预测方法、系统、设备以及可读存储介质 | |
Ding et al. | Degradation analysis with nonlinear exponential‐dispersion process: Bayesian offline and online perspectives | |
JP6927409B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
Kihlman et al. | Classifying human rights violations using deep multi-label co-training | |
Zhang et al. | Probabilistic autoencoder with multi-scale feature extraction for multivariate time series anomaly detection | |
CN114092269A (zh) | 基于改进广义网络向量模型的时序数据预测方法及装置 | |
Yu et al. | Real-time abnormal insider event detection on enterprise resource planning systems via predictive auto-regression model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |