CN111913849A - 一种用于运维数据的无监督异常检测和鲁棒趋势预测方法 - Google Patents

一种用于运维数据的无监督异常检测和鲁棒趋势预测方法 Download PDF

Info

Publication number
CN111913849A
CN111913849A CN202010746722.7A CN202010746722A CN111913849A CN 111913849 A CN111913849 A CN 111913849A CN 202010746722 A CN202010746722 A CN 202010746722A CN 111913849 A CN111913849 A CN 111913849A
Authority
CN
China
Prior art keywords
data
encoder
model
trend prediction
anomaly detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010746722.7A
Other languages
English (en)
Other versions
CN111913849B (zh
Inventor
赵万磊
陈润青
王菡子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202010746722.7A priority Critical patent/CN111913849B/zh
Publication of CN111913849A publication Critical patent/CN111913849A/zh
Application granted granted Critical
Publication of CN111913849B publication Critical patent/CN111913849B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种用于运维数据的无监督异常检测和鲁棒趋势预测方法，涉及计算机系统异常检测技术和趋势预测技术。1)模型设计：变分自编码器作为异常检测模块，为模型的前半部分；长短时记忆网络作为趋势预测模块，为模型的后半部分；2)原始运维时序数据经历数据补全，归一化处理，以及采用滑动窗口将数据分割成固定长度的时序段输入到模型；3)采用变分自编码器重构输入的时序段，从而分离出异常点，达到异常检测的目的；4)将自编码器重构的时序段输入到趋势预测模块，预测下一时刻的状态值。减少时间序列中原有的异常和噪声对长短时记忆网络的影响，提高长短时记忆网络的鲁棒性；提高性能的同时又减少性能在不同数据之间的波动。

Description

一种用于运维数据的无监督异常检测和鲁棒趋势预测方法
技术领域
本发明涉及计算机系统异常检测技术和趋势预测技术，尤其是涉及可应用到互联网公司中基于智能运维监控等领域的一种用于运维数据的无监督异常检测和鲁棒趋势预测方法。
背景技术
现有一条单变量时间序列X＝{x1,…,xt,xt+1,…,xn-1,xn}，t表示时间戳，xt表示t时刻的计算机系统某一运行指标的状态值。给定从1到t之间的状态值，异常检测需要判断出xt是否异常。趋势预测需要估计出下一个时刻的状态值，即xt+1的值。异常检测与趋势预测是智能运维监控领域中两个基础且关键的任务，可以极大地减少人力运维成本和运行故障所造成的损失。
对于异常检测，由于异常的罕见性和漂移性以及标签标注的困难和昂贵，在实际场景中想收集大量可用的标注数据用于异常检测模型的训练是不实际的，所以用无监督的方式进行异常检测更受青睐且更为实际。对于趋势预测，由于在实际场景中，时间序列不可避免地含有异常和噪声，会极大地影响一些原本在理想的实验环境中表现良好的趋势预测模型的性能，所以趋势预测模型的鲁棒性越发受到重视。因此，无监督异常检测和鲁棒趋势预测是本发明所关注并解决的两个任务。
然而，目前并没有对无监督异常检测和鲁棒趋势预测这两个任务进行联合训练的方法，且只用于无监督异常检测和只用于鲁棒趋势预测的大多数方法都存在一些尚待解决的问题。对于无监督异常检测，大多数方法都基于滑动窗口所划分出的样本来训练离群点检测模型或生成模型，如变分自编码器。但基于滑动窗口的这类方法在训练过程中窗口样本之间是独立且是随机打乱的，这忽略了窗口间所存在的时序信息，使得检测性能在不同数据之间不稳定。对于鲁棒趋势预测，一种常用的方法是抑制输入或梯度较大的值，防止预测模型受异常影响，但是这种方法性能不佳；另外一种相对有效的方法是基于集成学习训练多个多样的趋势预测模型，来产生一个鲁棒的预测结果，但是这种方法不可避免地会造成多倍的计算力消耗。
发明内容
本发明的目的在于针对无监督异常检测和鲁棒趋势预测这两个任务进行联合训练并解决现有技术在这两个任务存在的上述问题，提供可应用到基于人工智能的运维监控等领域的一种用于运维数据的无监督异常检测和鲁棒趋势预测方法。
本发明包括以下步骤：
1)模型设计：变分自编码器作为异常检测模块，为模型的前半部分；长短时记忆网络作为趋势预测模块，为模型的后半部分；
2)数据预处理：原始运维时序数据经历数据补全，归一化处理，以及采用滑动窗口将数据分割成固定长度的时序段输入到模型；
3)异常检测：采用变分自编码器重构输入的时序段，从而分离出异常点，达到异常检测的目的；
4)趋势预测：将自编码器重构的时序段输入到趋势预测模块，预测下一时刻的状态值。
在步骤1)中，所述模型设计的具体方法可为：
在变分自编码器中，编码器由三层全连接层构成，xt通过编码器表示出μz和σz，之后采样出z，最后通过解码器解码重构出x't，解码器是与编码器所对称的结构，损失函数如下：
Figure BDA0002608635900000021
在长短时记忆网络中，x't作为其输入，在最后通过一个全连接层映射到单实值yt，作为本时刻对下一时刻的状态预测值，损失函数如下：
Figure BDA0002608635900000022
在模型训练过程中，上述两个模块的损失函数需要进行平衡，所以总损失函数为：
Figure BDA0002608635900000023
在步骤2)中，所述数据预处理采用如下数据预处理步骤清洗原始时间序列R：
2.1给定原始的时间序列R＝{r1,…,rt,…,rn}，对于缺失值，采用相邻周期的插值方法进行填充；具体地，对于缺失长度小于或等于M，采用相邻点的状态值进行一阶线性插值填充；对于缺失长度大于M，采用相邻周期的相同时刻的状态值进行一阶线性插值填充；
2.2对于填充后的时间序列，基于序列的均值和方差进行归一化；
2.3对于归一化后的时间序列，采用大小为w0，步幅为1的滑动窗口进行切分；每个分段表示为
Figure BDA0002608635900000024
所有分段集合表示为
Figure BDA0002608635900000025
w0为常数，分钟数据取值为120，小时数据取值为30；
2.4每L个连续分段被认为是一个分段序列送入本发明的联合模型进行训练。
在步骤3)中，所述异常检测的具体方法可为：对于t时刻的分段xt，将其作为模型的输入，得到的异常检测模块的输出x't的最后状态值，与输入xt的最后状态值相比，若偏差的绝对值大于kσr，则被认为异常，否则被认为正常；其中，k为常数，而σr为这些偏差绝对值的标准差。
在步骤4)中，所述趋势预测的具体方法可为：变分自编码器的输出，x't作为长短时记忆网络的输入，在最后通过一个全连接层映射到单实值yt，作为本时刻对下一时刻的状态预测值。
本发明提出了一种简单却有效的模型，其中变分自编码器与长短时记忆网络序贯连接，且对无监督异常检测和鲁棒趋势预测这两个任务进行联合训练，并解决以往方法在这两个任务存在着的一些问题。在本发明提出的模型中，一方面，趋势预测模块，即长短时记忆网络充分使用了变分自编码器重编码的输出作为输入，极大减少了时间序列中原有的异常和噪声对长短时记忆网络的影响，极大提高了长短时记忆网络的鲁棒性；另一方面，异常检测模块，即变分自编码器在训练过程中，由长短时记忆网络所维持的窗口之间的序贯模式由长短时记忆网络传播到变分编码器，因此窗口之间的时序信息被添加到变分自编码器中，提高了性能的同时又减少了性能在不同数据之间的波动。
附图说明
图1为本发明实施例的模型结构图。在图1中，两个主要的模块，变分自编码器和长短时记忆网络，形成序贯结构。分段xt通过变分自编码器重构出x't进行无监督异常检测，之后x't作为长短时记忆网络的输入，预测下一时刻的状态值yt。
图2为本发明的模型与Prophet(由Facebook所开发)、ARIMA(差分整合移动平均自回归模型)、RM-LSTM(删除疑似异常的长短时记忆网络)和LSTM(长短时记忆网络)在KPI数据集上的均方误差箱型图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下实施例将结合附图对本发明进行作进一步的说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，以下对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
本发明实施例包括以下步骤：
1)模型设计：本发明的模型示意图如图1。变分自编码器作为异常检测模块，为模型的前半部分；长短时记忆网络作为趋势预测模块，为模型的后半部分。本发明的模型将异常检测模块所重构出的输出再作为长短时记忆网络的输入。
具体地，在变分自编码器中，编码器由三层全连接层构成，xt通过编码器表示出μz和σz，之后采样出z，最后通过解码器解码重构出x't，解码器是与编码器所对称的结构，损失函数如下：
Figure BDA0002608635900000041
在长短时记忆网络中，x't作为其输入，在最后通过一个全连接层映射到单实值yt，作为本时刻对下一时刻的状态预测值，损失函数如下：
Figure BDA0002608635900000042
在本发明的模型训练过程中，上述两个模块的损失函数需要进行平衡，所以总损失函数为：
Figure BDA0002608635900000043
2)数据预处理：采用如下数据预处理步骤清洗原始时间序列R：
2.1给定原始的时间序列R＝{r1,…,rt,…,rn}，对于缺失值，采用相邻周期的插值方法进行填充。具体地，对于缺失长度小于或等于M，采用相邻点的状态值进行一阶线性插值填充；对于缺失长度大于M，采用相邻周期的相同时刻的状态值进行一阶线性插值填充；
2.2对于填充后的时间序列，基于序列的均值和方差进行归一化；
2.3对于归一化后的时间序列，采用大小为w0，步幅为1的滑动窗口进行切分。每个分段表示为
Figure BDA0002608635900000044
所有分段集合表示为
Figure BDA0002608635900000045
w0为常数，分钟数据取值为120，小时数据取值为30。
2.4最后，每L个连续分段被认为是一个分段序列送入本发明的联合模型进行训练；
3)异常检测：对于t时刻的分段xt，将其作为本发明的模型的输入，得到的异常检测模块的输出x't的最后状态值，与输入xt的最后状态值相比，若偏差的绝对值大于kσr，则被认为异常；否则被认为正常。其中，k为常数，而σr为这些偏差绝对值的标准差。
4)趋势预测：变分自编码器的输出，x't作为长短时记忆网络的输入，在最后通过一个全连接层映射到单实值yt，作为本时刻对下一时刻的状态预测值。
在趋势预测中，图2给出本发明的模型与Prophet(由Facebook所开发)、ARIMA(差分整合移动平均自回归模型)、RM-LSTM(删除疑似异常的长短时记忆网络)和LSTM(长短时记忆网络)在KPI数据集上的均方误差箱型图。该评价采用KPI的29条时间序列的前50％进行训练，之后预测时间序列的后50％。因为时间序列中混有异常，所以将标注的异常删除并用相邻周期的插值方法填充为正常值。计算出29条时间序列被预测的均方误差后，将其画为箱型图以评价预测模型的性能的稳定性。均方误差越低且箱的宽度越小表示预测模型的准确率越高。
从图2可以看到，对于本发明的方法，在29条时间序列的预测结果中，其均方误差远远低于用于比较的其他方法，并且显示出很高的鲁棒性。
Prophet对应的方法为Facebook提出的方法(Facebook:Prophet:Tool forproducing high quality forecasts for time series data that has multipleseasonality with linear or non-linear growth.(2017),https://github.com/facebook/prophet)；ARIMA对应的方法为差分整合移动平均自回归模型(Box,G.E.,Jenkins,G.M.:Time series analysis:Forecasting and control.HoldenDay(1976))；LSTM对应的方法为Hochreiter,S.等人提出的长短时记忆网络(Hochreiter,S.,Jurgen,S.:Long short-term memory.Neural Computation 9(8),1735-1780(nov 1997))；RM-LSTM对应的方法为在时间序列送入长短时记忆网络训练之前，将过大过小的状态值删除并用相邻周期的插值方法填充为正常值。
本发明提供了一种无监督的运维数据异常检测和趋势预测技术。包括：1)模型设计。变分自编码器作为异常检测模块，为模型的前半部分；长短时记忆网络作为趋势预测模块，为模型的后半部分。2)数据预处理。原始运维时序数据经历数据补全，归一化处理，以及采用滑动窗口将数据分割成固定长度的时序段输入到模型；3)异常检测。采用变分自编码器重构输入的时序段，从而分离出异常点，达到异常检测的目的。4)趋势预测。将自编码器重构的时序段输入到长短记忆网络模块，预测下一时刻的状态值。本发明将异常检测与趋势预测结合，在异常检测和趋势预测公开数据集上，与现有无监督方法相比，均取得了最好的效果。
在异常检测中，本发明的模型与SPOT、DSPOT、DONUT、VAE、SR和SR-CNN在KPI和Yahoo数据集上的F1、准确率和召回率比较对比如表1所示。其中，SR-CNN是本评价中的唯一一个有监督方法。在评价前对所有方法模型采用与DONUT、SR和SR-CNN文献中所述的延迟调整策略，以反映实际场景的真实需求。
表1
Figure BDA0002608635900000061
从表1可以看出，本发明的模型在两个数据集下的F1都高于所有无监督方法模型，且在不同数据集之间的性能最为稳定。虽然有监督方法SR-CNN在KPI数据集上的性能更好，但是其有监督的方式在实际场景中并不实用。因此，本发明的模型获得了比所有无监督方法模型更好的结果并且保证了其实用性。
SPOT与DSPOT对应的方法为Siffer,A.等人提出的方法(Siffer,A.,Fouque,P.A.,Termier,A.,Largouet,C.:Anomaly detection in streams with extreme valuetheory.In:Proceedings of the ACM SIGKDD International Conference on KnowledgeDiscovery and Data Mining.vol.Part F1296,pp.1067-1075.ACM Press(2017))；
DONUT对应的方法为Xu,H.等人提出的方法(Xu,H.,Feng,Y.,Chen,J.,Wang,Z.,Qiao,H.,Chen,W.,Zhao,N.,Li,Z.,Bu,J.,Li,Z.,Liu,Y.,Zhao,Y.,Pei,D.:UnsupervisedAnomaly Detection via Variational Auto-Encoder for Seasonal KPIs in WebApplications.In:Proceeding of the International Conference on World WideWeb.vol.2,pp.187-196.ACM(2018))；VAE对应的方法为Kingma,D.P.等人提出的变分自编码器(Kingma,D.P.,Welling,M.:Auto-encoding variational bayes.CoRR abs/1312.6114(Dec 2013))；SR与SR-CNN对应的方法为Ren,H.等人提出的方法(Ren,H.,Zhang,Q.,Xu,B.,Wang,Y.,Yi,C.,Huang,C.,Kou,X.,Xing,T.,Yang,M.,Tong,J.:Time-seriesanomaly detection service at microsoft.In:Proceedings of the ACM SIGKDDInternational Conference on Knowledge Discovery and Data Mining.pp.3009-3017.ACM(Jun 2019)。

Claims (5)

1.一种用于运维数据的无监督异常检测和鲁棒趋势预测方法，其特征在于包括以下步骤：
1)模型设计：变分自编码器作为异常检测模块，为模型的前半部分；长短时记忆网络作为趋势预测模块，为模型的后半部分；
2)数据预处理：原始运维时序数据经历数据补全，归一化处理，以及采用滑动窗口将数据分割成固定长度的时序段输入到模型；
3)异常检测：采用变分自编码器重构输入的时序段，从而分离出异常点，达到异常检测的目的；
4)趋势预测：将自编码器重构的时序段输入到趋势预测模块，预测下一时刻的状态值。
2.如权利要求1所述一种用于运维数据的无监督异常检测和鲁棒趋势预测方法，其特征在于在步骤1)中，所述模型设计的具体方法为：
在变分自编码器中，编码器由三层全连接层构成，xt通过编码器表示出μz和σz，之后采样出z，最后通过解码器解码重构出x't，解码器是与编码器所对称的结构，损失函数如下：
Figure FDA0002608635890000011
在长短时记忆网络中，x't作为其输入，在最后通过一个全连接层映射到单实值yt，作为本时刻对下一时刻的状态预测值，损失函数如下：
Figure FDA0002608635890000012
在模型训练过程中，上述两个模块的损失函数需要进行平衡，所以总损失函数为：
Figure FDA0002608635890000013
3.如权利要求1所述一种用于运维数据的无监督异常检测和鲁棒趋势预测方法，其特征在于在步骤2)中，所述数据预处理采用如下数据预处理步骤清洗原始时间序列R：
2.1给定原始的时间序列R＝{r1,…,rt,…,rn}，对于缺失值，采用相邻周期的插值方法进行填充；具体地，对于缺失长度小于或等于M，采用相邻点的状态值进行一阶线性插值填充；对于缺失长度大于M，采用相邻周期的相同时刻的状态值进行一阶线性插值填充；
2.2对于填充后的时间序列，基于序列的均值和方差进行归一化；
2.3对于归一化后的时间序列，采用大小为w0，步幅为1的滑动窗口进行切分；每个分段表示为
Figure FDA0002608635890000021
所有分段集合表示为
Figure FDA0002608635890000022
w0为常数，分钟数据取值为120，小时数据取值为30；
2.4每L个连续分段被认为是一个分段序列送入本发明的联合模型进行训练。
4.如权利要求1所述一种用于运维数据的无监督异常检测和鲁棒趋势预测方法，其特征在于在步骤3)中，所述异常检测的具体方法为：对于t时刻的分段xt，将其作为模型的输入，得到的异常检测模块的输出x't的最后状态值，与输入xt的最后状态值相比，若偏差的绝对值大于kσr，则被认为异常，否则被认为正常；其中，k为常数，而σr为这些偏差绝对值的标准差。
5.如权利要求1所述一种用于运维数据的无监督异常检测和鲁棒趋势预测方法，其特征在于在步骤4)中，所述趋势预测的具体方法为：变分自编码器的输出，x't作为长短时记忆网络的输入，在最后通过一个全连接层映射到单实值yt，作为本时刻对下一时刻的状态预测值。
CN202010746722.7A 2020-07-29 2020-07-29 一种用于运维数据的无监督异常检测和鲁棒趋势预测方法 Expired - Fee Related CN111913849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010746722.7A CN111913849B (zh) 2020-07-29 2020-07-29 一种用于运维数据的无监督异常检测和鲁棒趋势预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010746722.7A CN111913849B (zh) 2020-07-29 2020-07-29 一种用于运维数据的无监督异常检测和鲁棒趋势预测方法

Publications (2)

Publication Number Publication Date
CN111913849A true CN111913849A (zh) 2020-11-10
CN111913849B CN111913849B (zh) 2022-02-11

Family

ID=73288211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010746722.7A Expired - Fee Related CN111913849B (zh) 2020-07-29 2020-07-29 一种用于运维数据的无监督异常检测和鲁棒趋势预测方法

Country Status (1)

Country Link
CN (1) CN111913849B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416662A (zh) * 2020-11-26 2021-02-26 清华大学 多时间序列数据异常检测方法与装置
CN112631881A (zh) * 2020-12-04 2021-04-09 北京浪潮数据技术有限公司 基于时序数据趋势预测的运维方法、装置及设备
CN112784965A (zh) * 2021-01-28 2021-05-11 广西大学 面向云环境下大规模多元时间序列数据异常检测方法
CN112799913A (zh) * 2021-01-28 2021-05-14 中国工商银行股份有限公司 容器运行异常检测方法及装置
CN112966016A (zh) * 2021-03-01 2021-06-15 北京青萌数海科技有限公司 一种异常检测方法
CN113076975A (zh) * 2021-03-17 2021-07-06 长江水利委员会长江科学院 一种基于无监督学习的大坝安全监测数据异常检测方法
CN113553232A (zh) * 2021-07-12 2021-10-26 厦门大学 一种通过在线矩阵画像对运维数据进行无监督异常检测的技术
CN113626502A (zh) * 2021-08-13 2021-11-09 南方电网深圳数字电网研究院有限公司 基于集成学习的电网数据异常检测方法及装置
CN117765737A (zh) * 2024-02-21 2024-03-26 天津大学 交通异常检测方法、装置、设备、介质及程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100299287A1 (en) * 2009-05-22 2010-11-25 Alcatel-Lucent Usa Inc. Monitoring time-varying network streams using state-space models
CN109492193A (zh) * 2018-12-28 2019-03-19 同济大学 基于深度机器学习模型的异常网络数据生成与预测方法
CN110377447A (zh) * 2019-07-17 2019-10-25 腾讯科技（深圳）有限公司 一种异常数据检测方法、装置及服务器
CN110751199A (zh) * 2019-10-15 2020-02-04 南京航空航天大学 一种基于贝叶斯神经网络的卫星异常检测方法
CN111130890A (zh) * 2019-12-26 2020-05-08 深圳市高德信通信股份有限公司 一种网络流量动态预测系统
CN111277603A (zh) * 2020-02-03 2020-06-12 杭州迪普科技股份有限公司 无监督异常检测系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100299287A1 (en) * 2009-05-22 2010-11-25 Alcatel-Lucent Usa Inc. Monitoring time-varying network streams using state-space models
CN109492193A (zh) * 2018-12-28 2019-03-19 同济大学 基于深度机器学习模型的异常网络数据生成与预测方法
CN110377447A (zh) * 2019-07-17 2019-10-25 腾讯科技（深圳）有限公司 一种异常数据检测方法、装置及服务器
CN110751199A (zh) * 2019-10-15 2020-02-04 南京航空航天大学 一种基于贝叶斯神经网络的卫星异常检测方法
CN111130890A (zh) * 2019-12-26 2020-05-08 深圳市高德信通信股份有限公司 一种网络流量动态预测系统
CN111277603A (zh) * 2020-02-03 2020-06-12 杭州迪普科技股份有限公司 无监督异常检测系统和方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416662A (zh) * 2020-11-26 2021-02-26 清华大学 多时间序列数据异常检测方法与装置
CN112631881A (zh) * 2020-12-04 2021-04-09 北京浪潮数据技术有限公司 基于时序数据趋势预测的运维方法、装置及设备
CN112784965B (zh) * 2021-01-28 2022-07-29 广西大学 面向云环境下大规模多元时间序列数据异常检测方法
CN112784965A (zh) * 2021-01-28 2021-05-11 广西大学 面向云环境下大规模多元时间序列数据异常检测方法
CN112799913A (zh) * 2021-01-28 2021-05-14 中国工商银行股份有限公司 容器运行异常检测方法及装置
CN112966016A (zh) * 2021-03-01 2021-06-15 北京青萌数海科技有限公司 一种异常检测方法
CN113076975A (zh) * 2021-03-17 2021-07-06 长江水利委员会长江科学院 一种基于无监督学习的大坝安全监测数据异常检测方法
CN113553232A (zh) * 2021-07-12 2021-10-26 厦门大学 一种通过在线矩阵画像对运维数据进行无监督异常检测的技术
CN113553232B (zh) * 2021-07-12 2023-12-05 厦门大学 一种通过在线矩阵画像对运维数据进行无监督异常检测的技术
CN113626502A (zh) * 2021-08-13 2021-11-09 南方电网深圳数字电网研究院有限公司 基于集成学习的电网数据异常检测方法及装置
CN113626502B (zh) * 2021-08-13 2024-05-14 南方电网数字平台科技(广东)有限公司 基于集成学习的电网数据异常检测方法及装置
CN117765737A (zh) * 2024-02-21 2024-03-26 天津大学 交通异常检测方法、装置、设备、介质及程序产品
CN117765737B (zh) * 2024-02-21 2024-05-14 天津大学 交通异常检测方法、装置、设备、介质及程序产品

Also Published As

Publication number Publication date
CN111913849B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN111913849B (zh) 一种用于运维数据的无监督异常检测和鲁棒趋势预测方法
CN113328755B (zh) 一种面向边缘计算的压缩数据传输方法
CN116451848A (zh) 一种基于时空注意力机制的卫星遥测数据预测方法及装置
WO2024012735A1 (en) Training of a machine learning model for predictive maintenance tasks
CN117236571B (zh) 一种基于物联网的规划方法和系统
CN110750455A (zh) 基于系统日志分析的智能在线自更新故障诊断方法和系统
CN116760033B (zh) 一种基于人工智能的实时电力需求预测系统
CN108134687B (zh) 一种基于马尔可夫链的灰色模型局域网峰值流量预测方法
CN114237962B (zh) 告警根因判断方法、模型训练方法、装置、设备和介质
CN115907198A (zh) 一种长距离供热负荷智能预测系统
CN115358892A (zh) 医康养大数据知识图谱智能数字孪生元宇宙方法和平台
CN117640342B (zh) 一种电力监控系统主体异常检测方法、装置、设备和介质
CN117667606B (zh) 基于用户行为的高性能计算集群能耗预测方法及系统
Amarlingam et al. Data Flow as Code: Managing Data Flow in an Industrial Hierarchical Edge Network
WO2024082452A1 (zh) 基于transformer架构的城市综合能源物联及智慧管控方法及系统
You et al. An Improved Long Short-Term Memory Neural Network Wind Power Forecast Algorithm Based on TEMD Noise Reduction
Wang et al. Short-term Load Combination Forecasting Model Based on AMS-VMD-DeepAR Error Correction
Ma et al. SW-Informer: A Seasonal-Trend Decomposition and Wavelet Fusion Informer Approach for IP Network Traffic Prediction
Qi et al. LPC-AD: Fast and Accurate Multivariate Time Series Anomaly Detection via Latent Predictive Coding
CN117596213A (zh) 电力通信网络流量的预测方法、装置及电子设备
Song et al. Power System Reliability Assessment Based on Big Data
Xu et al. Temperature Prediction Based on NEAT-Optimized GA-BP Neural Network
Wang et al. Long-Term Power Consumption Prediction with Two-Stage Clustering Framework
Han et al. The Defect Identification System of Electromechanical Equipment on the Edge Side of the Power Grid under Edge Computing
Xue et al. Towards Real-world Deployment of NILM Systems: Challenges and Practices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220211

CF01 Termination of patent right due to non-payment of annual fee