CN116226770A - 一种时间序列数据异常检测方法及装置 - Google Patents

一种时间序列数据异常检测方法及装置 Download PDF

Info

Publication number
CN116226770A
CN116226770A CN202310038125.2A CN202310038125A CN116226770A CN 116226770 A CN116226770 A CN 116226770A CN 202310038125 A CN202310038125 A CN 202310038125A CN 116226770 A CN116226770 A CN 116226770A
Authority
CN
China
Prior art keywords
sequence
time
detected
trend
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310038125.2A
Other languages
English (en)
Inventor
李际超
雷天扬
杨克巍
姜江
龚常
陈刚
欧萌歆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310038125.2A priority Critical patent/CN116226770A/zh
Publication of CN116226770A publication Critical patent/CN116226770A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明实施例提供了一种时间序列数据异常检测方法及装置，所述方法包括：获得待检测的时间序列；基于所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列，所述残差序列的频谱、趋势序列的频谱、周期序列的频谱依次增强；基于网络模型分别对所述趋势序列及周期序列进行预测，得到预测结果；对所述残差序列进行重构，得到重构结果；基于所述预测结果及重构结果计算确定重构后的时间序列；基于所述待检测的时间序列及重构后的时间序列计算确定所述待检测的时间序列中的异常数据点。本发明的时间序列数据异常检测方法能够快速有效，且准确度高地对时间序列数据的异常点进行检测。

Description

一种时间序列数据异常检测方法及装置
技术领域
本发明实施例涉及计算机技术领域，特别涉及一种时间序列数据异常检测方法及装置。
背景技术
随着通信技术、计算机技术以及传感器技术等新兴技术的发展，物联网技术也随着得到了巨大的发展，并且广泛应用于显示场景中，如工业制造、交通运输、金融等领域。一个物联网系统往往配置了许多传感器，用于监测各类环境数据。这些传感器会产生大量的时间序列数据，对这些时间序列数据进行数据挖掘、提取包含在其中的重要信息对于物联网系统的管理与决策而言具有重要价值。而时间序列数据的异常检测不但是一个研究热点，并且具有许多实际应用，例如可以通过分析时间序列数据监测网络攻击、识别传感器异常等。虽然在现实场景中，由于物联网系统具备一定的鲁棒性和自恢复能力，短暂的扰动或者异常并不会真正导致系统失灵，但是异常情况仍是系统的一个潜在威胁。因此，为了保障物联网系统的安全稳定运行，有必要对时间序列进行异常监测。
在现实场景中，准确的识别数据异常是一件较为困难的任务，主要的困难来自于三个方面：
1.数据量巨大。现实场景会产生海量的时间序列数据，通常为百万甚至十亿量级，海量的数据会对异常检测带来巨大的困难；
2.可供分析的异常数据稀疏。虽然现实场景会产生海量的时间序列数据，但是由于物联网的鲁棒性，系统发生异常的频率极低，因此可供分析的异常数据稀疏；
3.数据序列类型的复杂性。时间序列数据存在许多不同类型，例如稳定周期型、不稳定周期型、非周期型等。不同类型的时间序列数据，需要不同的方法对其进行分析于处理。
现有的时间序列数据异常检测方法主要分为基于统计方法、基于机器学习方法以及基于深度学习方法。基于统计的方法是最简单的一类检测方法，它主要通过计算时间序列的分布特征进行异常点检测，例如n-σ法、Grubbs检测方法等。基于机器学习的方法主要基于机器学习的思想，训练相关算法模型，实现自动识别异常数据，例如OCSVM算法、IForest算法以及LOF算法等。基于深度学习的方法是随着近年来深度神经网络的发展而兴起的一类方法，基于深度学习的数据异常检测方法又可以分为数据预测方法和数据重构方法。但是上述现有的时间序列异常检测方法的性能并不理想，经常造成许多误判和漏判。
发明内容
本发明提供了一种能够快速有效，且准确度高的时间序列数据异常检测方法及装置。
为了解决上述技术问题，本发明实施例提供了一种时间序列数据异常检测方法，包括：
获得待检测的时间序列；
基于所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列，所述残差序列的频谱、趋势序列的频谱、周期序列的频谱依次增强；
基于网络模型分别对所述趋势序列及周期序列进行预测，得到预测结果；
对所述残差序列进行重构，得到重构结果；
基于所述预测结果及重构结果计算确定重构后的时间序列；
基于所述待检测的时间序列及重构后的时间序列计算确定所述待检测的时间序列中的异常数据点。
作为一可选实施例，所述基于所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列，包括：
设定两个不同的振幅阈值；
基于所述两个不同的振幅阈值及所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列。
作为一可选实施例，所述基于网络模型分别对所述趋势序列及周期序列进行预测，得到预测结果，包括：
基于循环神经网络构建第一网络模型；
基于所述第一网络模型对所述趋势序列进行预测，得到对应的预测结果；
基于卷积神经网络构建第二网络模型；
基于所述第二网络模型对所述周期序列进行预测，得到对应的预测结果。
作为一可选实施例，所述第一网络模型由两个时间循环网络形成；
所述第二网络模型由一个多层感知机层、一个注意力机制层、两个卷积层以及一个时间循环网络形成。
作为一可选实施例，所述对所述残差序列进行重构，得到重构结果，包括：
计算所述残差序列的均值和方差；
基于所述均值和方差通过高斯分布对所述所述残差序列进行重构，得到重构结果。
作为一可选实施例，所述基于所述预测结果及重构结果计算确定重构后的时间序列，包括：
将所述预测结果及重构结果相加得到所述重构后的时间序列。
作为一可选实施例，所述基于所述待检测的时间序列及重构后的时间序列计算确定所述待检测的时间序列中的异常数据点，包括：
计算所述待检测的时间序列与重构后的时间序列间的差值，所述差值包含至少一个数据点；
确定差值阈值；
基于所述差值的绝对值与所述差值阈值间的关系确定所述差值中的数据点是否为异常数据点。
本发明实施例提供一种时间序列数据异常检测装置，包括：
获得模块，用于获得待检测的时间序列；
分解模块，用于基于所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列，所述残差序列的频谱、趋势序列的频谱、周期序列的频谱依次增强；
预测模块，用于基于网络模型分别对所述趋势序列及周期序列进行预测，得到预测结果；
重构模块，用于对所述残差序列进行重构，得到重构结果；
计算模块，用于基于所述预测结果及重构结果计算确定重构后的时间序列；
检测模块，用于基于所述待检测的时间序列及重构后的时间序列计算确定所述待检测的时间序列中的异常数据点。
作为一可选实施例，所述基于所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列，包括：
设定两个不同的振幅阈值；
基于所述两个不同的振幅阈值及所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列。
作为一可选实施例，所述基于网络模型分别对所述趋势序列及周期序列进行预测，得到预测结果，包括：
基于循环神经网络构建第一网络模型；
基于所述第一网络模型对所述趋势序列进行预测，得到对应的预测结果；
基于卷积神经网络构建第二网络模型；
基于所述第二网络模型对所述周期序列进行预测，得到对应的预测结果。
基于上述实施例的公开可以获知，本发明实施例具备的有益效果包括首先提取获得的待检测的时间序列的频谱，并基于频谱将原始时间序列分解为具有不同幅值，不同频率的三个组分，分别为趋势序列、周期序列和残差序列三部分。其次，设计两个网络模型，并分别对趋势序列、周期序列进行预测，再对残差序列进行重构。然后，将两个网络模型的预测结果和重构的残差序列结合得到重构后的待检测时间序列。最后，将重构后的时间序列与原始待检测的时间序列进行比较，根据两者之间的差异来判别异常点。通过本实施例中的方法克服了以往预测方法的局限性及不准确性，显著提升了时间序列的预测精度，减少了漏判及误判。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
附图用来提供对本申请的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请，并不构成对本申请的限制。在附图中：
图1为本发明实施例中的时间序列数据异常检测方法的流程图。
图2为本发明实施例中的第一网络模型的结构示意图。
图3为本发明实施例中的第二网络模型的结构示意图。
图4为本发明实施例中的第二网络模型的部分数据处理过程图。
图5为本发明实施例中的第二网络模型的原理图。
图6为本发明实施例中的时间序列数据异常检测装置的结构框图。
具体实施方式
下面，结合附图对本发明的具体实施例进行详细的描述，但不作为本发明的限定。
应理解的是，可以对此处公开的实施例做出各种修改。因此，下述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本公开的具体实施例；然而，应当理解，所公开的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所公开的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。
下面，结合附图详细的说明本发明实施例。
如图1所示，本发明实施例提供一种时间序列数据异常检测方法，包括：
获得待检测的时间序列；
基于待检测的时间序列的频谱对待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列，残差序列的频谱、趋势序列的频谱、周期序列的频谱依次增强；
基于网络模型分别对趋势序列及周期序列进行预测，得到预测结果；
对残差序列进行重构，得到重构结果；
基于预测结果及重构结果计算确定重构后的时间序列；
基于待检测的时间序列及重构后的时间序列计算确定待检测的时间序列中的异常数据点。
基于上述实施例可知，本实施例首先提取获得的待检测的时间序列的频谱，并基于频谱将原始时间序列分解为具有不同幅值，不同频率的三个组分，分别为趋势序列、周期序列和残差序列三部分。其次，设计两个网络模型，并分别对趋势序列、周期序列进行预测，再对残差序列进行重构。然后，将两个网络模型的预测结果和重构的残差序列结合得到重构后的待检测时间序列。最后，将重构后的时间序列与原始待检测的时间序列进行比较，根据两者之间的差异来判别异常点。通过本实施例中的方法克服了以往预测方法，以及预测及重构方法的局限性及不准确性，显著提升了时间序列的预测精度，减少了漏判及误判。
进一步地，基于待检测的时间序列的频谱对待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列，包括：
设定两个不同的振幅阈值；
基于两个不同的振幅阈值及待检测的时间序列的频谱对待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列。
例如，获得一个待检测的时间序列S∈RN，利用离散傅里叶变换获取其频谱X(记X(i)表示X中第i个元素)：
Figure BDA0004049298080000071
其中x(n)表示时间序列S中的第n个元素，X(k)表示频谱v中第k个频率分量，X(k)是一个复数，其绝对值abs(X(k))表示对应的频率分量的幅值。
设定两个振幅阈值，αt和αs，将原始频谱X分为三部分：Xt，Xs和Xr，三者间存在关系式：X＝Xt+Xs+Xr。其中：
Figure BDA0004049298080000072
Figure BDA0004049298080000073
Figure BDA0004049298080000074
接着，对Xt，Xs和Xr进行离散傅里叶逆变换，分别得到三个序列：St，Ss和Sr，该三个序列分别为：Trend-series(趋势序列)、Seasonal-series(周期序列)和residual-series(残差序列)。该三个序列与原始序列S之间存在等式关系：S＝St+Ss+Sr。
具体地，本实施例中的Trend-series包含了原始时间序列中幅值最大的一部分频率分量。设定一个阈值αt，将频谱X中绝对值大于或等于αt的元素保留，小于αt的元素置为零，即可得到Trend-series所对应的频谱Xt∈RN。即
Figure BDA0004049298080000081
其中Xt(i)表示Xt中第i个元素的值。
对Xt进行离散傅里叶逆变换即可得到Trend-seriesXt，即：
Figure BDA0004049298080000082
xt(n)表示Xt中第i个元素。
Seasonal-series包含了原始时间序列中幅值次大的一部分频率分量，其幅值小于Trend-series，大于Residual-series。设定一个阈值as(αs＜αt)，将频谱X中绝对值大于等于αs，且小于αt的元素保留，其余元素置为零，即可得到Seasonal-series所对应的频谱Xs∈RN。即
Figure BDA0004049298080000083
其中Xs(i)表示Xs中第i个元素的值。
对Xs进行离散傅里叶逆变换即可得到Seasonal-seriesXs，即：
Figure BDA0004049298080000084
xs(n)表示Xs中第i个元素。
进一步地，基于网络模型分别对趋势序列及周期序列进行预测，得到预测结果，包括：
基于循环神经网络构建第一网络模型；
基于第一网络模型对趋势序列进行预测，得到对应的预测结果；
基于卷积神经网络构建第二网络模型；
基于第二网络模型对周期序列进行预测，得到对应的预测结果。
例如，所谓的预测，就是利用历史数据预测未来时刻的数据。即已知历史[xs(t-T+1)，xs(t-T+2)，…xs(t)]，需要预测下一时刻的值xs(t+1)，即：
Figure BDA0004049298080000085
f为算法模型。
在本实施例中，对各不同序列进行预测时，可以基于循环神经网络设计一个深度神经网络模型(即第一网络模型)对Trend-series Xt进行预测，记预测的结果为
Figure BDA0004049298080000091
基于卷积神经网络设计一个深度神经网络模型(即第二网络模型)对Seasonal-series Xs进行预测，记预测的结果为/>
Figure BDA0004049298080000092
具体地，本实施例中的第一网络模型由两个时间循环网络形成。
Trend-series包含了原始时间序列中最重要的成分，其可以看作是原始时间序列的总体趋势。所以尽可能准确地预测趋势信号对于异常检测非常重要。在本实施例中个，Trend-series只包含原始待检测时间序列中幅值最大的一小部分频率分量，其波形比较平滑，且呈现出比较明显的周期性特征，因此准确的预测Trend-series比较容易。具体可以基于LSTM(Long Short-Term Memory)网络构建模型(即第一网络模型)实现对Trend-series的预测。具体模型结构如图2所示，整个模型只包含了两层LSTM(时间循环网络)，以及输入端及输出端。
进一步地，准确的对Seasonal-series进行预测是最难的一项任务。Seasonal-series包含了原始待检测时间序列中幅值次大的一部分频率分量，相比于Trend-series而言，Seasonal-series中包含的频率分量更多、幅值更小、波形变化的更加剧烈、周期性不明显，因此准确的预测Seasonal-series是一件较为困难的任务。本实施例中基于卷积神经网络(CNN)构建了一个损失函数为均方差损失函数的深度神经网络模型(即第二网络模型)以对Seasonal-series进行预测。该模型的总体结构如图3所示，其包含了一个MLP(多层感知机)层、一个Attention(注意力机制)操作、两个卷积层以及一个LSTM(时间循环网络)层。
具体地，MLP层将预测的时间序列S∈RT输入第二网络模型中，并将输入的时间序列编码为隐状态M∈Rn×T，该隐状态就代表输入的时间序列。接着，基于历史序列[xs(t-T+1)，xs(t-T+2)，…xs(t)]预测下一时刻的数值xs(t+1)，历史序列[xs(t-T+1)，xs(t-T+2)，…xs(t)]中每个元素对于预测xs(t+1)的重要性是不一样的，因此需要对MLP层输出的隐状态矩阵的列向量赋予不同的权重。由于Seasonal-series是由不同频率的周期信号线性叠加所得，前述频谱分析已经获得了Seasonal-series的频谱Xs，因此可以获知Seasonal-series包含了哪些频率组份，再通过该组份对应的频率便可以计算出Seasonal-series中不同组份所对应的周期及周期频率。基于各个组份的周期频率的幅值对隐状态M∈Rn×T进行赋权。(例如，当Seasonal-series包含三个组份
Figure BDA0004049298080000101
其幅值分别为0.5，0.2，0.3，三个组份的周期分别为8，10以及12，那么在对隐状态M∈Rn×T进行赋权时，分别将倒数第8列、倒数第10列和倒数第12列的权重分别设置为0.5、0.2、0.3。)记赋权后的隐状态为MA∈Rn×T，具体过程如图4所示。
进一步地，本实施例中的第一层卷积层设置了6个卷积核，每个卷积核的宽度都等于n，(n等于隐状态矩阵M∈Rn×T的行数)。第一个卷积核的长度设置为1，其他卷积核的长度则根据Seasonal-series中所包含的不同频率组份的周期所确定。(例如，当Seasonal-series包含若干个组份
Figure BDA0004049298080000102
假设
Figure BDA0004049298080000103
和/>
Figure BDA0004049298080000104
五个组份所对应的幅值最大，且其周期分别为8、10、12、20和24，那么五个卷积核的长度则分别设置为8、10、12、20、24)。经过第一个卷积层后，输出的隐状态维度为M′c∈R6×T。
进一步地，设计一个尺寸为6×1的卷积核形成第二卷积层，该第二卷积层用于对第一层输出的隐状态M′c∈R6×T进行卷积操作，输出隐状态M″c∈R1×T。之后，将第二层卷积输出的隐状态M″c∈R1×T输入LSTM层，经过LSTM层处理后输出最终的预测结果，具体卷积处理过程可以参考图5所示。
进一步地，对残差序列进行重构，得到重构结果，包括：
计算残差序列的均值和方差；
基于均值和方差通过高斯分布对残差序列进行重构，得到重构结果。
例如，Residual-series包含了原始时间序列中幅值较小的频率分组份，由于Residual-series中包含的频率组份众多，且幅值较小，因此Residual-series的波形呈现出杂乱无章的特征，应用时可将其视为噪声信号(但需注意的是此处的Residual-series并非真正的白噪声，仅是视为噪声信号)。由于预测Residual-series是一件不可能实现的任务，因此本实施例重构一个高斯白噪声近似代替Residual-series Sr。具体包括首先计算Residual-series Sr的均值μ和方差σ，再基于均值μ和方差σ结合高斯分布构造一个白噪声
Figure BDA0004049298080000111
以/>
Figure BDA0004049298080000112
近似代替Sr：
Figure BDA0004049298080000113
由于时间序列的异常点出现的频次相对是较低的，故不可能成为时间序列的重要特征。因此经过频谱分析和序列分解后，异常点不会影响Trend-series和Seasonal-series，而只会包含在Residual-series中。基于Residual-series的均值和方差重构一个高斯噪声，可消除包含在Residual-series中的异常点，从而为后续模型的预测精度奠定了基础，减少了无实际价值的干扰因素的干扰。
进一步地，基于预测结果及重构结果计算确定重构后的时间序列，包括：
将预测结果及重构结果相加得到重构后的时间序列。
基于待检测的时间序列及重构后的时间序列计算确定待检测的时间序列中的异常数据点，包括：
计算待检测的时间序列与重构后的时间序列间的差值，差值包含至少一个数据点；
确定差值阈值；
基于差值的绝对值与差值阈值间的关系确定差值中的数据点是否为异常数据点。
例如，将前述Trend-series St的预测结果
Figure BDA0004049298080000121
和Seasonal-series Ss的预测结果
Figure BDA0004049298080000122
以及Residual-series Sr的重构结果/>
Figure BDA0004049298080000123
进行相加得到最终的重构序列/>
Figure BDA0004049298080000124
Figure BDA0004049298080000125
计算原始时间序列S与重构后的时间序列Sr之间的差值，记两者之间的差异为Sdif，即
Figure BDA0004049298080000126
令Sdif中第i个元素表示为/>
Figure BDA0004049298080000127
设定阈值α，若/>
Figure BDA0004049298080000128
的绝对值大于或等于α则原始时间序列中第i个数据点判定为异常点，反之则判定为正常数据点。公式表示为：
Figure BDA0004049298080000129
如图6所示，本发明另一实施例同时提供一种时间序列数据异常检测装置，包括：
获得模块，用于获得待检测的时间序列；
分解模块，用于基于所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列，所述残差序列的频谱、趋势序列的频谱、周期序列的频谱依次增强；
预测模块，用于基于网络模型分别对所述趋势序列及周期序列进行预测，得到预测结果；
重构模块，用于对所述残差序列进行重构，得到重构结果；
计算模块，用于基于所述预测结果及重构结果计算确定重构后的时间序列；
检测模块，用于基于所述待检测的时间序列及重构后的时间序列计算确定所述待检测的时间序列中的异常数据点。
作为一可选实施例，所述基于所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列，包括：
设定两个不同的振幅阈值；
基于所述两个不同的振幅阈值及所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列。
作为一可选实施例，所述基于网络模型分别对所述趋势序列及周期序列进行预测，得到预测结果，包括：
基于循环神经网络构建第一网络模型；
基于所述第一网络模型对所述趋势序列进行预测，得到对应的预测结果；
基于卷积神经网络构建第二网络模型；
基于所述第二网络模型对所述周期序列进行预测，得到对应的预测结果。
作为一可选实施例，所述第一网络模型由两个时间循环网络形成；
所述第二网络模型由一个多层感知机层、一个注意力机制层、两个卷积层以及一个时间循环网络形成。
作为一可选实施例，所述对所述残差序列进行重构，得到重构结果，包括：
计算所述残差序列的均值和方差；
基于所述均值和方差通过高斯分布对所述所述残差序列进行重构，得到重构结果。
作为一可选实施例，所述基于所述预测结果及重构结果计算确定重构后的时间序列，包括：
将所述预测结果及重构结果相加得到所述重构后的时间序列。
作为一可选实施例，所述基于所述待检测的时间序列及重构后的时间序列计算确定所述待检测的时间序列中的异常数据点，包括：
计算所述待检测的时间序列与重构后的时间序列间的差值，所述差值包含至少一个数据点；
确定差值阈值；
基于所述差值的绝对值与所述差值阈值间的关系确定所述差值中的数据点是否为异常数据点。
本发明另一实施例还提供一种电子设备，包括:
一个或多个处理器；
存储器，配置为存储一个或多个程序；
当该一个或多个程序被该一个或多个处理器执行时，使得该一个或多个处理器实现上述时间序列数据异常检测方法。
进一步地，本发明一实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的时间序列数据异常检测方法。应理解，本实施例中的各个方案具有上述方法实施例中对应的技术效果，此处不再赘述。
进一步地，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可读指令，所述计算机可执行指令在被执行时使至少一个处理器执行诸如上文所述实施例中的时间序列数据异常检测方法。
需要说明的是，本申请的计算机存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储介质(RAM)、只读存储介质(ROM)、可擦式可编程只读存储介质(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储介质(CD-ROM)、光存储介质件、磁存储介质件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输配置为由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、天线、光缆、RF等等，或者上述的任意合适的组合。
另外，本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (10)

1.一种时间序列数据异常检测方法，其特征在于，包括：
获得待检测的时间序列；
基于所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列，所述残差序列的频谱、趋势序列的频谱、周期序列的频谱依次增强；
基于网络模型分别对所述趋势序列及周期序列进行预测，得到预测结果；
对所述残差序列进行重构，得到重构结果；
基于所述预测结果及重构结果计算确定重构后的时间序列；
基于所述待检测的时间序列及重构后的时间序列计算确定所述待检测的时间序列中的异常数据点。
2.根据权利要求1所述的时间序列数据异常检测方法，其特征在于，所述基于所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列，包括：
设定两个不同的振幅阈值；
基于所述两个不同的振幅阈值及所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列。
3.根据权利要求1所述的时间序列数据异常检测方法，其特征在于，所述基于网络模型分别对所述趋势序列及周期序列进行预测，得到预测结果，包括：
基于循环神经网络构建第一网络模型；
基于所述第一网络模型对所述趋势序列进行预测，得到对应的预测结果；
基于卷积神经网络构建第二网络模型；
基于所述第二网络模型对所述周期序列进行预测，得到对应的预测结果。
4.根据权利要求1所述的时间序列数据异常检测方法，其特征在于，所述第一网络模型由两个时间循环网络形成；
所述第二网络模型由一个多层感知机层、一个注意力机制层、两个卷积层以及一个时间循环网络形成。
5.根据权利要求1所述的时间序列数据异常检测方法，其特征在于，所述对所述残差序列进行重构，得到重构结果，包括：
计算所述残差序列的均值和方差；
基于所述均值和方差通过高斯分布对所述所述残差序列进行重构，得到重构结果。
6.根据权利要求1所述的时间序列数据异常检测方法，其特征在于，所述基于所述预测结果及重构结果计算确定重构后的时间序列，包括：
将所述预测结果及重构结果相加得到所述重构后的时间序列。
7.根据权利要求1所述的时间序列数据异常检测方法，其特征在于，所述基于所述待检测的时间序列及重构后的时间序列计算确定所述待检测的时间序列中的异常数据点，包括：
计算所述待检测的时间序列与重构后的时间序列间的差值，所述差值包含至少一个数据点；
确定差值阈值；
基于所述差值的绝对值与所述差值阈值间的关系确定所述差值中的数据点是否为异常数据点。
8.一种时间序列数据异常检测装置，其特征在于，包括：
获得模块，用于获得待检测的时间序列；
分解模块，用于基于所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列，所述残差序列的频谱、趋势序列的频谱、周期序列的频谱依次增强；
预测模块，用于基于网络模型分别对所述趋势序列及周期序列进行预测，得到预测结果；
重构模块，用于对所述残差序列进行重构，得到重构结果；
计算模块，用于基于所述预测结果及重构结果计算确定重构后的时间序列；
检测模块，用于基于所述待检测的时间序列及重构后的时间序列计算确定所述待检测的时间序列中的异常数据点。
9.根据权利要求8所述的时间序列数据异常检测装置，其特征在于，所述基于所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列，包括：
设定两个不同的振幅阈值；
基于所述两个不同的振幅阈值及所述待检测的时间序列的频谱对所述待检测的时间序列进行分解，得到具有不同频谱的趋势序列、周期序列及残差序列。
10.根据权利要求8所述的时间序列数据异常检测装置，其特征在于，所述基于网络模型分别对所述趋势序列及周期序列进行预测，得到预测结果，包括：
基于循环神经网络构建第一网络模型；
基于所述第一网络模型对所述趋势序列进行预测，得到对应的预测结果；
基于卷积神经网络构建第二网络模型；
基于所述第二网络模型对所述周期序列进行预测，得到对应的预测结果。
CN202310038125.2A 2023-01-10 2023-01-10 一种时间序列数据异常检测方法及装置 Pending CN116226770A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310038125.2A CN116226770A (zh) 2023-01-10 2023-01-10 一种时间序列数据异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310038125.2A CN116226770A (zh) 2023-01-10 2023-01-10 一种时间序列数据异常检测方法及装置

Publications (1)

Publication Number Publication Date
CN116226770A true CN116226770A (zh) 2023-06-06

Family

ID=86577901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310038125.2A Pending CN116226770A (zh) 2023-01-10 2023-01-10 一种时间序列数据异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN116226770A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116933197A (zh) * 2023-09-19 2023-10-24 安徽融兆智能有限公司 一种基于大数据的用电信息采集系统故障判别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116933197A (zh) * 2023-09-19 2023-10-24 安徽融兆智能有限公司 一种基于大数据的用电信息采集系统故障判别方法及系统
CN116933197B (zh) * 2023-09-19 2023-12-08 安徽融兆智能有限公司 一种基于大数据的用电信息采集系统故障判别方法及系统

Similar Documents

Publication Publication Date Title
Wang et al. Variational transformer-based anomaly detection approach for multivariate time series
Chang et al. Remaining useful life prediction for rolling bearings using multi-layer grid search and LSTM
Lee et al. Adsas: Comprehensive real-time anomaly detection system
Fu et al. MCA-DTCN: A novel dual-task temporal convolutional network with multi-channel attention for first prediction time detection and remaining useful life prediction
CN113642414A (zh) 一种基于Transformer模型的滚动轴承剩余使用寿命预测方法
Xin et al. Intelligent fault diagnosis method for rotating machinery based on vibration signal analysis and hybrid multi‐object deep CNN
Li et al. Robust and flexible strategy for missing data imputation in intelligent transportation system
CN116226770A (zh) 一种时间序列数据异常检测方法及装置
Dong et al. Multi‐task learning method for classification of multiple power quality disturbances
Pillai et al. Deep learning for machine health prognostics using Kernel-based feature transformation
You et al. Intelligent Fault Diagnosis of Bearing Based on Convolutional Neural Network and Bidirectional Long Short‐Term Memory
Yu et al. MAG: A novel approach for effective anomaly detection in spacecraft telemetry data
CN114389843A (zh) 一种基于变分自编码器的网络异常入侵检测系统和方法
Li et al. Multi-node knowledge graph assisted distributed fault detection for large-scale industrial processes based on graph attention network and bidirectional LSTMs
CN117610428A (zh) 基于模糊时间序列的新能源汽车锂电池工况参数预测方法、装置、介质
CN116610973A (zh) 一种传感器故障监测及失效信息重构方法及系统
CN116170200A (zh) 电力监控系统时间序列异常检测方法、系统、设备及存储介质
Zhuang et al. An autoregressive model-based degradation trend prognosis considering health indicators with multiscale attention information
CN111027680B (zh) 基于变分自编码器的监控量不确定性预测方法及系统
Shi et al. A new adaptive feature fusion and selection network for intelligent transportation systems
CN114692987A (zh) 一种时序数据分析方法、装置、设备及存储介质
Zhu et al. Contrastive BiLSTM-enabled Health Representation Learning for Remaining Useful Life Prediction
Ji et al. An uncertain information fusion method based on possibility theory in multisource detection systems
Tu et al. STFT-TCAN: A TCN-attention based multivariate time series anomaly detection architecture with time-frequency analysis for cyber-industrial systems
Qi et al. LPC-AD: Fast and Accurate Multivariate Time Series Anomaly Detection via Latent Predictive Coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination