CN110991504A - 基于motcn-ae的多维时间序列异常值检测方法及系统 - Google Patents
基于motcn-ae的多维时间序列异常值检测方法及系统 Download PDFInfo
- Publication number
- CN110991504A CN110991504A CN201911157810.7A CN201911157810A CN110991504A CN 110991504 A CN110991504 A CN 110991504A CN 201911157810 A CN201911157810 A CN 201911157810A CN 110991504 A CN110991504 A CN 110991504A
- Authority
- CN
- China
- Prior art keywords
- time
- time series
- time sequence
- norm
- motcn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims description 28
- 238000000034 method Methods 0.000 claims abstract description 39
- 239000013598 vector Substances 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000013450 outlier detection Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 230000005856 abnormality Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007087 memory ability Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种基于MOTCN‑AE的多维时间序列异常值检测方法及系统，包括：接收一组时间序列形式的信号；对所述时间序列进行特征丰富；使用自动编码器对特征丰富后的时间序列进行重构；将特征丰富后的时间序列与重构后的时间序列进行对比，得到所述时间序列形式信号中的异常数据。本发明提出的自动编码器TCN‑AE更加适合时间序列建模；本发明提出的时间序列特征丰富方法可以很好的提高算法框架的预测精度。
Description
技术领域
本发明涉及多维时间序列异常值检测技术领域，尤其涉及一种基于MOTCN-AE(时间序列异常检测框架)的多维时间序列异常值检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着物联网技术的发展，当今世界产生了越来越多的复杂系统。监控这些系统的行为会产生大量的多维时间序列数据，例如：电厂系统的传感器参数(温度和压力等)，汽车驾驶系统的运行参数，或者信息系统中的连接组件参数(例如CPU使用量，磁盘I/O)等等。管理这些系统的关键任务就是如何在特定的时间序列中检测出异常数据，以方便操作人员采取行动解决系统的潜在问题。例如在汽车驾驶数据中，可以通过安装在车上的GPS以及加速度传感器来捕获车辆的速度、加速度和行驶方向。通过对这三个维度的时间序列数据进行异常值检测我们可以发现司机的异常驾驶行为，例如昏睡，激烈驾驶等，并提醒司机以减少交通事故的发生。
多维时间序列异常值检测的目的是在时间序列中寻找不符合常见规律的点，不论是在学术界还是工业界这都是一个非常重要的问题。通常情况下，时间序列的异常点非常稀少，例如在工业生产环境中生产设备大部分时间都是稳定运行的，只有当设备控制系统受到攻击、设备产生违规操作或者设备发生故障等情况发生时传感器才会采集到异常数据。因此相关研究一般采用半监督学习或者无监督学习的方法来进行多维时间序列异常值检测。
但是，传统的半监督学习往往需要一定数量的标注数据，在没有标注数据的情况下无法应用半监督学习的方法。而传统的无监督学习方法精确度较低，无法满足对于异常数据检测准确度的要求。
发明内容
为了解决上述问题，本发明提出了一种基于MOTCN-AE的多维时间序列异常值检测方法及系统，基于时间卷积网络和自动编码器的无监督学习方法，能够提高异常检测的准确率。
在一些实施方式中，采用如下技术方案：
一种基于MOTCN-AE的多维时间序列异常值检测方法，包括：
接收一组时间序列形式的信号；
对所述时间序列进行特征丰富；
使用自动编码器对特征丰富后的时间序列进行重构；
将特征丰富后的时间序列与重构后的时间序列进行对比，得到所述时间序列形式信号中的异常数据。
在另一些实施方式中，采用如下技术方案：
一种基于MOTCN-AE的多维时间序列异常值检测系统，包括：
用于接收一组时间序列形式的信号的装置；
用于对所述时间序列进行特征丰富的装置；
用于使用自动编码器对特征丰富后的时间序列进行重构的装置；
用于将特征丰富后的时间序列与重构后的时间序列进行对比，得到所述时间序列形式信号中的异常数据的装置。
在另一些实施方式中，采用如下技术方案：
一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的基于MOTCN-AE的多维时间序列异常值检测方法。
在另一些实施方式中，采用如下技术方案：
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于MOTCN-AE的多维时间序列异常值检测方法。
与现有技术相比，本发明的有益效果是：
1)本发明的MOTCN-AE框架为无监督算法框架，，不需要使用标注好的数据进行训练，解决了工业领域产生时间序列的复杂系统缺乏标注好的异常数据的情况。
2)本发明的MOTCN-AE框架可以应用于多个生成时间序列的复杂系统，而且其在大数据集的情况下精度优于以往的算法。
3)本发明提出的自动编码器TCN-AE更加适合时间序列建模，相比于基于LSTN和CNN的自动编码器其有更高的预测精度。
4)本发明提出的时间序列特征丰富方法可以很好的提高算法框架的预测精度。
附图说明
图1(a)为本发明实施例一中时间序列检测系统架构图一；
图1(b)为本发明实施例一中时间序列检测系统架构图二；
图2为本发明实施例一中MOTCN-AE框架基本流程图；
图3为现有技术中的自动编码器结构图；
图4(a)-(b)为本发明实施例一中时间序列特征丰富步骤图；
图5为本发明实施例一中TCN-AE自动编码器结构图；
图6为本发明实施例一中MOTCN-AE算法不同滑动时间窗口F1-score对比图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
首先，对本发明中涉及的部分术语进行解释说明：
时间序列异常值检测，即在时间序列中寻找不符合常见规律的点。通常情况下，时间序列的异常点非常稀少，例如在工业生产环境中生产设备大部分时间都是稳定运行的，只有当设备控制系统受到攻击、设备产生违规操作或者设备发生故障等情况发生时传感器才会采集到异常数据。
时间卷积网络(TCN)，基于卷积神经网络进行改进的一种神经网络，使其更加适合时间序列建模。其主要进行了如下改进：
(1)使用因果卷积以更好的适应序列模型；
(2)使用空洞卷积以及残差模块来记忆历史信息。
相比于LSTM(长短期记忆网络)和GRU(Gated Recurrent Unit)，TCN不仅在序列数据建模上的记忆能力更加优秀，而且可以像卷积神经网络那样进行大规模的并行处理。
自动编码器，是一种尽可能复现输入信号的神经网络。一个自动编码器的目标是将输入向量X＝(x1，x2，…，xm)重构为输出向量
其由编码器和解码器两部分组成。首先编码器将输入向量X映射到中间向量F，然后解码器将F映射到输出向量
并期望输出向量近似于输入向量X。输入向量与输出向量具有相同的大小，但是其维度一般大于F的维度。形式上我们可以将自动编码器定义为函数(1)：
Encoderφ：Rm→Rn
Decoderψ：Rn→Rm (1)
然后自动编码器的目标就可以描述为以下形式：
这就意味着我们的目标是寻找合适的φ和ψ函数来使输入向量与重构的输出向量直接的差异最小。
自动编码器的架构如图3所示，其结构类似于神经网络，编码部分一般为线性组合之后在使用非线性激活函数。在编码阶段，神经网络将X＝(x1，x2，…，xm)作为输入进行编码后得到了新特征F∈Rn，F可用公式、进行描述：F＝σ(WX+B)
其中W∈Rn×m为权值矩阵，B∈Rn为偏差，σ为激活函数(例如ReLU函数，Sigmod函数)。在解码阶段神经网络将F映射到输出向量
并通过公式
对其进行重构，并使用公式
估计重构的输出与输入之间的相似性。
实施例一
在一个或多个实施例中，公开了一种基于MOTCN-AE的多维时间序列异常值检测方法，参照图2，包括以下过程：
(1)接收一组时间序列形式的信号；
(2)对所述时间序列进行特征丰富；
(3)使用自动编码器对特征丰富后的时间序列进行重构；
(4)将特征丰富后的时间序列与重构后的时间序列进行对比，得到所述时间序列形式信号中的异常数据。
本实施例方法首次将时间卷积网络应用于异常检测领域，并结合自动编码器以及丰富的时间序列数据提出了全新的时间序列异常检测框架MOTCN-AE(Multidimensionaltime series outlier detection based onTCN-AE)。该框架共包含以三部分：首先使用无监督的方法结合时间卷积网络(TCN)提出了一种基于TCN的自动编码器TCN-AE。其次结合时间序列特征提取的方法对原始时间序列进行了丰富，通过时间序列的统计特性进一步捕获了时间序列中时间变化的不同方面。
本实施例的技术方案可以应用于具有多状态模式的时间序列的异常检测。时间序列可以是任意领域的具有多状态模式的时间序列，例如，可以是电厂系统的传感器参数(温度和压力等)，汽车驾驶系统的运行参数(车辆的速度、加速度和行驶方向等)，或者信息系统中的连接组件参数(例如CPU使用量，磁盘I/O)等等。
当时间序列数据为电厂系统的传感器参数时，检测得到的异常数据用于识别设备运行的异常情况，提醒维护人员对设备进行检修，以减少生产损失。
当时间序列数据为汽车驾驶系统的运行参数时，检测得到的异常数据用于识别驾驶人员的异常驾驶情况例如激烈驾驶、驾驶人员昏睡等情况，提醒驾驶人员注意，减少交通事故的发生。
当时间序列数据为信息系统中的连接组件参数时，检测得到的异常数据用于识别服务器运行时的异常数据，例如CPU异常、内存异常、IO异常等，提醒运维人员对服务器状态进行查看，检查服务器是否受到攻击或者是否需要进行优化调整。
本实施例中提供的技术方案可以应用于图1(a)或图1(b)所示的系统架构中，该系统架构中包括装置100和时间序列异常检测装置200。
装置100可以用于产生时间序列形式的信号，比如，装置100可以是通信设备、监控设备、网络设备、生活电器、工业仪器仪表等任何可以产生时间序列形式信号的设备。
时间序列异常检测装置200用于对装置100产生的时间序列形式的信号进行异常检测，时间序列异常检测装置200可以是任意具备检测功能的装置。比如，时间序列异常检测装置200可以是如图1(a)所示独立于装置100的设备，也可以是如图1(b)所示设置在装置100内，用于实现时间序列异常检测功能的单元。
时间序列异常检测装置200可以通过有线连接的方式与装置100连接，获取时间序列形式的信号；也可以通过无线方式获取时间序列形式的信号，比如，移动通信网络、短距离通信等。
示例性的，参照图4(a)和图4(b),对所述时间序列进行特征丰富，具体过程为：
1)设定一个大小为b，b＞1的滑动窗口，两个连续窗口的重叠部分为
2)假设时间序列的每一列包含C个数值，则经过所述滑动窗口的划分，每一列得到
个时间窗口；
3)计算每一列中每个时间窗口的范数(NORM)；
假设Wini代表时间窗口[ti，ti+b-1](i≥1)，所以Wini中包含以下原始数据：
Wini＝[Si，Si+1，…，Si+b-1]
计算窗口Wini的第j个特征(即第j列)的欧式距离：
以滑动窗口b＝4，i＝6，j＝3为例：
共有两个时间窗口：Win1＝[S1，S2，S3，S4]，Win2＝[S3，S4，S5，S6]
使用公式(2)计算可得范数(NORM)：
4)继续计算范数差(DONM)，时间窗口Wini的第j个范数差(DONM)就是当前时间窗口与前一个时间窗口Wini-1的范数之差。其计算方法如公式(3)所示：
DONMj(wini)＝NORMj(wini)-NORMj(wini-1) (3)
以滑动窗口b＝4，i＝6，j＝3为例：
DONM1(win1)＝NORM1(win1)
DONM2(win1)＝NORM2(win1)
DONM3(win1)＝NORM3(win1)
DONM1(win2)＝NORM1(win2)-NORM1(win1)
DONM2(win2)＝NORM2(win2)-NORM2(win1)
DONM3(win2)＝NORM3(win2)-NORM3(win1)
5)经计算后得到了新的时间序列G＝[G1，G2]
其中
图4(a)展示了一个有14个向量的时间序列，时间窗口b＝4。第一个时间窗口包含[t1，t4]，第二个窗口包含[t3，t6]，然后第三个窗口包含[t5，t8]，以此类推该序列共有
个时间窗口。对于每个时间窗口，本文对原始数据计算了两个派生特征：范数(NORM)以及范数差(DONM)，通过范数可以捕获每个时间窗内数据之间的特征，范数差则可以捕获两个时间窗之间的特征。
6)再次使用滑动窗口f划分新的时间序列G，与第一步一样两个连续窗口的重叠部分为
以f＝2为例，共得到一个时间窗口Win’1＝[G1，G2]。
计算每个时间窗口的8个统计特征，包含：均值(MEA)、最小值(MIN)、最大值(MAX)、25％-四分位数(25Q)、50％-四分位数(50Q)、75％-四分位数(75Q)、标准差(STD)、峰峰值(P2P)。
以f＝2为例，经计算可得：
图4(b)展示了一个b＝4，f＝2的例子，其中维度k＝3，计算后得到了一个16*3的矩阵，该矩阵即为丰富的时间序列。
7)得到特征丰富的时间序列
示例性的，使用基于TCN的自动编码器(TCN-AE)重构特征丰富的时间序列H，得到重构数据
TCN-AE是TCN与自动编码器的组合。使用时间卷积网络构建自动编码器的编码器和解码器，编码器通过记忆时间序列数据之间的联系，通过设定的目标函数
将输入向量映射为中间向量F，然后解码器通过目标函数ψ将中间向量F重构为输出向量。
如图5所示，TCN-AE与传统的TCN有着类似的架构，但是在训练过程中并不为每个输入矩阵都提供一个标签，而是使用输入矩阵本身作为标签，这也是为什么TCN-AE可以在原始时间序列中学习到重要的特征，并将该特征用于重构工作。在编码阶段共使用了3个卷积层和3个池化层，卷积层用于数据特征的提取，池化层用于压缩数据。池化操作选用了max-pooling方法，该方法一种下采样方法通常用于在特征图的非重叠区域上取其最大值，使用max-pooling方法可以提高不同过滤器的选择特性。在解码阶段使用了4个卷积层以及3个上采样层，其方式与编码阶段类似。
解码完成后将对比特征丰富时间序列数据Hi与重构数据
之间的差异，存在差异的数据即为异常数据。
作为本实施方式的一种具体应用形式，在一些实施方式中，公开了一种基于MOTCN-AE的汽车行驶过程中多维时间序列数据异常值检测方法，包括以下过程：
(1)接收一组时间序列形式的信号；所述时间序列形式的信号包括：汽车行驶过程中GPS传感器，加速度传感器以及惯性传感器等传感器采集到的数据。
(2)对所述时间序列进行特征丰富；
(3)使用自动编码器对特征丰富后的时间序列进行重构；
(4)将特征丰富后的时间序列与重构后的时间序列进行对比，得到所述时间序列形式信号中的异常数据；得到的异常数据用于判断驾驶员是否在进行非正常驾驶，当驾驶员异常驾驶时提醒驾驶员，以减少交通事故的发生。
作为本实施方式的另一种具体应用形式，在一些实施方式中，公开了一种基于MOTCN-AE的云服务运维过程中多维时间序列数据异常值检测方法，包括以下过程：
(1)接收一组时间序列形式的信号；在上述的场景下，所述时间序列形式的信号具体包括CPU使用率，磁盘读写率以及网络IO数据等；
(2)对所述时间序列进行特征丰富；
(3)使用自动编码器对特征丰富后的时间序列进行重构；
(4)将特征丰富后的时间序列与重构后的时间序列进行对比，得到所述时间序列形式信号中的异常数据。得到的异常数据用于判断云服务器是否受到攻击或者存在异常运行的状况，提醒运维人员对服务器进行维护。
上述过程的具体实现方式与前文介绍的过程相同，此处不再赘述。
应当理解，上述应用场景仅是示例性的，本领域技术人员可以根据实际需要将本实施例方法应用于其他不同的技术领域，实现异常数据的检测。
示例性的，本实施例使用UAH-DriveSet(汽车行驶的实验数据集)以及NAB(云服务运维数据集)两个真实数据集检验本发明算法准确性，算法使用如下评价标准，三种评价标准均为得分越高精确度越高。
将本发明方法与传统无监督学习方法LOF，One-Class SVM以及基于CNN和LSTM的自动编码器进行了对比，以下是两个真实数据集的实验结果：
表1时间窗口选择遵循以下原则
表2 UAH-DriveSet数据集结果对比
表3 NAB数据集结果对比
试验结果表明，本发明方法在三种评价标准下均优于以往算法。
图6展示了滑动窗口对MOTCN-AE算法的影响。选用F1得分作为主要的评价指标，由图6可以看出算法在滑动区间b[4,10],f[2,8]之间的F1得分基本稳定，在b＝14,f＝8开始F1得分大幅度下降。这为下一步在不同数据集上寻找最优滑动窗口提供了帮助。
实施例二
在一个或多个实施方式中，公开了一种基于MOTCN-AE的多维时间序列异常值检测系统，包括：
用于接收一组时间序列形式的信号的装置；
用于对所述时间序列进行特征丰富的装置；
用于使用自动编码器对特征丰富后的时间序列进行重构的装置；
用于将特征丰富后的时间序列与重构后的时间序列进行对比，得到所述时间序列形式信号中的异常数据的装置。
由于本实施例提供的装置可用于执行实施例一中的时间序列异常检测方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。
本领域普通技术人员可知，上述方法中的全部或部分步骤可以通过程序指令相关的硬件完成，该程序可以存储于一计算机可读存储介质中，该计算机可读存储介质如ROM、RAM和光盘等。
本实施例还提供一种存储介质，该存储介质可以包括存储器。上述提供的任一种装置中相关内容的解释及有益效果均可参考上文提供的对应的方法实施例，此处不再赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于MOTCN-AE的多维时间序列异常值检测方法，其特征在于，包括：
接收一组时间序列形式的信号；
对所述时间序列进行特征丰富；
使用自动编码器对特征丰富后的时间序列进行重构；
将特征丰富后的时间序列与重构后的时间序列进行对比，得到所述时间序列形式信号中的异常数据。
2.如权利要求1所述的一种基于MOTCN-AE的多维时间序列异常值检测方法，其特征在于，对所述时间序列进行特征丰富，具体过程为：
设定一个大小为b，b>1的滑动窗口，两个连续窗口的重叠部分为
假设时间序列的每一列包含C个数值，则经过所述滑动窗口的划分，每一列得到
个时间窗口；
计算每一列中每个时间窗口的范数；
计算每一列中当前时间窗口与前一个时间窗口的范数之差；
根据所述的范数与范数差得到新的时间序列；
将所述新的时间序列使用滑动窗口划分为多个时间窗口，计算每一个时间窗口的统计特征值，得到特征丰富后的时间序列。
3.如权利要求1所述的一种基于MOTCN-AE的多维时间序列异常值检测方法，其特征在于，计算每一个时间窗口的统计特征值，具体包括：均值、最小值、最大值、25％-四分位数、50％-四分位数、75％-四分位数、标准差和峰峰值。
4.如权利要求1所述的一种基于MOTCN-AE的多维时间序列异常值检测方法，其特征在于，使用自动编码器对特征丰富后的时间序列进行重构，所述自动编码器基于时间卷积网络，具体为：
使用时间卷积网络构建自动编码器的编码器和解码器，编码器通过记忆时间序列数据之间的联系，通过设定的目标函数将输入向量映射为中间向量，然后解码器通过设定的目标函数将所述的中间向量重构为输出向量。
5.如权利要求1所述的一种基于MOTCN-AE的多维时间序列异常值检测方法，其特征在于，将特征丰富后的时间序列与重构后的时间序列进行对比，将两个序列中不一致的数据判定为异常数据。
6.一种基于MOTCN-AE的多维时间序列异常值检测系统，其特征在于，包括：
用于接收一组时间序列形式的信号的装置；
用于对所述时间序列进行特征丰富的装置；
用于使用自动编码器对特征丰富后的时间序列进行重构的装置；
用于将特征丰富后的时间序列与重构后的时间序列进行对比，得到所述时间序列形式信号中的异常数据的装置。
7.如权利要求6所述的一种基于MOTCN-AE的多维时间序列异常值检测系统，其特征在于，用于对所述时间序列进行特征丰富的装置，具体工作过程为：
设定一个大小为b，b>1的滑动窗口，两个连续窗口的重叠部分为
假设时间序列的每一列包含C个数值，则经过所述滑动窗口的划分，每一列得到
个时间窗口；
计算每一列中每个时间窗口的范数；
计算每一列中当前时间窗口与前一个时间窗口的范数之差；
根据所述的范数与范数差得到新的时间序列；
将所述新的时间序列使用滑动窗口划分为多个时间窗口，计算每一个时间窗口的统计特征值，得到特征丰富后的时间序列。
8.如权利要求6所述的一种基于MOTCN-AE的多维时间序列异常值检测系统，其特征在于，所述统计特征值具体包括：均值、最小值、最大值、25％-四分位数、50％-四分位数、75％-四分位数、标准差和峰峰值。
9.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-5任一项所述的基于MOTCN-AE的多维时间序列异常值检测方法。
10.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1-5任一项所述的基于MOTCN-AE的多维时间序列异常值检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911157810.7A CN110991504A (zh) | 2019-11-22 | 2019-11-22 | 基于motcn-ae的多维时间序列异常值检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911157810.7A CN110991504A (zh) | 2019-11-22 | 2019-11-22 | 基于motcn-ae的多维时间序列异常值检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110991504A true CN110991504A (zh) | 2020-04-10 |
Family
ID=70086074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911157810.7A Pending CN110991504A (zh) | 2019-11-22 | 2019-11-22 | 基于motcn-ae的多维时间序列异常值检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110991504A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111967507A (zh) * | 2020-07-31 | 2020-11-20 | 复旦大学 | 基于离散余弦变换和U-Net的时序异常检测方法 |
| CN112416661A (zh) * | 2020-11-18 | 2021-02-26 | 清华大学 | 基于压缩感知的多指标时间序列异常检测方法和装置 |
| CN113065606A (zh) * | 2021-04-19 | 2021-07-02 | 北京石油化工学院 | 一种基于轻量级深度学习的异常点位检测方法及系统 |
| CN113255750A (zh) * | 2021-05-17 | 2021-08-13 | 安徽大学 | 一种基于深度学习的vcc车辆攻击检测方法 |
| WO2021212752A1 (zh) * | 2020-04-23 | 2021-10-28 | 平安科技（深圳）有限公司 | 基于设备指标数据的异常检测方法、装置、设备及存储介质 |
| CN114510871A (zh) * | 2022-01-10 | 2022-05-17 | 西安理工大学 | 基于思维进化和lstm的云服务器性能衰退预测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543727A (zh) * | 2018-11-07 | 2019-03-29 | 复旦大学 | 一种基于竞争重构学习的半监督异常检测方法 |
| CN109871401A (zh) * | 2018-12-26 | 2019-06-11 | 北京奇安信科技有限公司 | 一种时间序列异常检测方法及装置 |
-
2019
- 2019-11-22 CN CN201911157810.7A patent/CN110991504A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543727A (zh) * | 2018-11-07 | 2019-03-29 | 复旦大学 | 一种基于竞争重构学习的半监督异常检测方法 |
| CN109871401A (zh) * | 2018-12-26 | 2019-06-11 | 北京奇安信科技有限公司 | 一种时间序列异常检测方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| COLIN LEA 等: "Temporal Convolutional Networks: A Unified Approach to Action Segmentation", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 * |
| SHAOJIE BAI 等: "An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling", 《ARXIV：1803.01271V2》 * |
| TUNG KIEU 等: "Outlier Detection for Multidimensional Time Series using Deep Neural Networks", 《2018 19TH IEEE INTERNATIONAL CONFERENCE ON MOBILE DATA MANAGEMENT》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021212752A1 (zh) * | 2020-04-23 | 2021-10-28 | 平安科技（深圳）有限公司 | 基于设备指标数据的异常检测方法、装置、设备及存储介质 |
| CN111967507A (zh) * | 2020-07-31 | 2020-11-20 | 复旦大学 | 基于离散余弦变换和U-Net的时序异常检测方法 |
| CN112416661A (zh) * | 2020-11-18 | 2021-02-26 | 清华大学 | 基于压缩感知的多指标时间序列异常检测方法和装置 |
| CN112416661B (zh) * | 2020-11-18 | 2022-02-01 | 清华大学 | 基于压缩感知的多指标时间序列异常检测方法和装置 |
| CN113065606A (zh) * | 2021-04-19 | 2021-07-02 | 北京石油化工学院 | 一种基于轻量级深度学习的异常点位检测方法及系统 |
| CN113065606B (zh) * | 2021-04-19 | 2023-11-17 | 北京石油化工学院 | 一种基于轻量级深度学习的异常点位检测方法及系统 |
| CN113255750A (zh) * | 2021-05-17 | 2021-08-13 | 安徽大学 | 一种基于深度学习的vcc车辆攻击检测方法 |
| CN113255750B (zh) * | 2021-05-17 | 2022-11-08 | 安徽大学 | 一种基于深度学习的vcc车辆攻击检测方法 |
| CN114510871A (zh) * | 2022-01-10 | 2022-05-17 | 西安理工大学 | 基于思维进化和lstm的云服务器性能衰退预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110991504A (zh) | 基于motcn-ae的多维时间序列异常值检测方法及系统 | |
| CN109902832B (zh) | 机器学习模型的训练方法、异常预测方法及相关装置 | |
| US9639521B2 (en) | Cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion | |
| CN112131673A (zh) | 基于融合神经网络模型的发动机喘振故障预测系统及方法 | |
| CN111091278B (zh) | 机械设备异常检测的边缘检测模型构建方法及装置 | |
| US20220164394A1 (en) | System and methods for faster processor comparisons of visual graph features | |
| US10860405B1 (en) | System operational analytics | |
| JP2020008997A (ja) | 異常検知システム | |
| CN111445597B (zh) | 用于机器学习的数据拼接和整合 | |
| CN116320042B (zh) | 边缘计算的物联终端监测控制系统 | |
| CN103197663B (zh) | 一种故障预测方法及系统 | |
| CN115983087B (zh) | 一种注意力机制与lstm结合检测时序数据异常方法及终端机 | |
| CN111489517A (zh) | 螺丝锁附异常警报方法、装置、计算机装置及存储介质 | |
| US20230237306A1 (en) | Anomaly score adjustment across anomaly generators | |
| CN116502164A (zh) | 基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法、设备及介质 | |
| CN116257663A (zh) | 面向无人地面车辆的异常检测与关联分析方法及相关设备 | |
| CN116976441A (zh) | 设备故障预测模型训练方法、设备故障预测方法和装置 | |
| CN116908684A (zh) | 电机故障预测方法、装置、电子设备及存储介质 | |
| CN114692767B (zh) | 异常检测方法和装置、计算机可读存储介质、电子设备 | |
| CN116226770A (zh) | 一种时间序列数据异常检测方法及装置 | |
| CN115758266A (zh) | 一种用于无人矿卡流式异常数据检测方法 | |
| CN115730194A (zh) | 齿轮箱油温信号的可变步长压缩采样方法、装置和设备 | |
| CN115510032A (zh) | 一种基于机器学习的数据库行为分析方法及系统 | |
| KR20220028726A (ko) | 열화에 따른 패턴 학습을 이용한 이상 감지 방법 및 그를 위한 장치 | |
| KR20220028727A (ko) | 열화에 따른 시계열 데이터를 이용한 실시간 이상 감지 방법 및 그를 위한 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501 Applicant after: Qilu University of Technology (Shandong Academy of Sciences) Address before: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501 Applicant before: Qilu University of Technology Country or region before: China |