CN113868006B - 时间序列的检测方法、装置、电子设备及计算机存储介质 - Google Patents
时间序列的检测方法、装置、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN113868006B CN113868006B CN202111175424.8A CN202111175424A CN113868006B CN 113868006 B CN113868006 B CN 113868006B CN 202111175424 A CN202111175424 A CN 202111175424A CN 113868006 B CN113868006 B CN 113868006B
- Authority
- CN
- China
- Prior art keywords
- data
- time sequence
- time
- sliding window
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 230000002159 abnormal effect Effects 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000012423 maintenance Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0751—Error or fault detection not based on redundancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/079—Root cause analysis, i.e. error or fault diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供一种时间序列的检测方法、装置、电子设备及计算机存储介质，该方法包括：对原始时间序列数据进行处理，得到至少一个滑动窗口；针对每一个滑动窗口，将滑动窗口中的时间序列数据转化为二维数据；再利用时间卷积网络模型提取二维数据中的高层次语义特征信息，得到特征丰富后的时间序列；之后，将特征丰富后的时间序列输入异常检测模型中，得到特征丰富后的时间序列的概率分布；其中，异常检测模型由训练样本集对变分自编码器进行训练得到；最终，通过特征丰富后的时间序列的概率分布与原始时间序列数据进行分析，得到原始时间序列数据中的异常数据。从而达到了根据时间序列信息，智能判断异常情况的发生的目的。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种时间序列的检测方法、装置、电子设备及计算机存储介质。
背景技术
随着云计算和大数据技术的不断发展，支撑业务规模越来越庞大，异常事件也愈发增多。为了保障应用系统的正常运行，保证业务系统运行时的可用性和可靠性，高效可靠的多维时间序列异常检测方法是非常重要的，将有力地保障应用系统的正常运行，提升应用系统的稳定性和安全性。
现有技术中，通常采用多维时间序列异常值检测方法，即在时间序列中寻找不符合常见规律的点。通常情况下，时间序列的异常点非常稀少，例如业务系统大部分时间都是稳定运行的，只有当设备故障、异常操作等情况发生时监控才会采集到异常数据。因此，现有的异常检测方法往往需要一定数量的标注数据，导致异常检测的难度大、成本高。无法满足日常运维工作对于异常检测方便快捷、成本低廉的要求。
发明内容
有鉴于此，本申请提供一种时间序列的检测方法、装置、电子设备及计算机存储介质，可以根据时间序列信息，智能判断异常情况的发生，极大减少运维工作量，且具备自适应、资源消耗低、适配性强等优点。
本申请第一方面提供了一种时间序列的检测方法，包括：
获取原始时间序列数据；其中，所述原始时间数据至少包括一种关键性能指标信息；
对所述原始时间序列数据进行预处理，得到预处理后的时间序列数据；
对所述预处理后的时间序列数据进行滑窗处理，得到至少一个滑动窗口；
针对每一个所述滑动窗口，将所述滑动窗口中的时间序列数据转化为二维数据；
利用时间卷积网络模型提取所述二维数据中的高层次语义特征信息，得到特征丰富后的时间序列；
将所述特征丰富后的时间序列输入异常检测模型中，得到所述特征丰富后的时间序列的概率分布；其中，所述异常检测模型由训练样本集对变分自编码器进行训练得到；
通过所述特征丰富后的时间序列的概率分布与所述原始时间序列数据进行分析，得到所述原始时间序列数据中的异常数据。
可选的，所述对所述预处理后的时间序列数据进行滑窗处理，得到至少一个滑动窗口，包括：
按照预设的时间序列切分规则，将预处理后的时间序列数据切分为至少一个时间片段数据；
将所述时间片段数据根据采集时间互相重叠，得到至少一个连续的时间序列片段数据，将所述时间序列片段数据作为滑动窗口。
可选的，所述针对每一个所述滑动窗口，将所述滑动窗口中的时间序列数据转化为二维数据，包括：
基于傅里叶原理将所述滑动窗口中的时间序列的时域信号采样变换成频域信号的采样，得到离散周期的信号频谱；
将所述滑动窗口中的时间序列和所述离散周期的信号频谱频进行融合后标准化处理，得到目标时间序列；
将所述目标时间序列的数据转化成二维数据。
可选的，所述通过所述特征丰富后的时间序列的概率分布与所述原始时间序列数据进行分析，得到所述原始时间序列数据中的异常数据，包括：
计算所述原始时间序列与所述特征丰富后的时间序列的概率分布之间的异常值；
判断所述异常值是否大于预设的异常阈值；
若判断出所述异常值大于预设的异常阈值，则确定所述异常值在所述原始时间序列中的时间段的数据为异常数据。
本申请第二方面提供了一种时间序列的检测装置，包括：
获取单元，用于获取原始时间序列数据；其中，所述原始时间数据至少包括一种关键性能指标信息；
预处理单元，用于对所述原始时间序列数据进行预处理，得到预处理后的时间序列数据；
滑窗处理单元，用于对所述预处理后的时间序列数据进行滑窗处理，得到至少一个滑动窗口；
转化单元，用于针对每一个所述滑动窗口，将所述滑动窗口中的时间序列数据转化为二维数据；
提取单元，用于利用时间卷积网络模型提取所述二维数据中的高层次语义特征信息，得到特征丰富后的时间序列；
输入单元，用于将所述特征丰富后的时间序列输入异常检测模型中，得到所述特征丰富后的时间序列的概率分布；其中，所述异常检测模型由训练样本集对变分自编码器进行训练得到；
分析单元，用于通过所述特征丰富后的时间序列的概率分布与所述原始时间序列数据进行分析，得到所述原始时间序列数据中的异常数据。
可选的，所述滑窗处理单元，包括：
切分单元，用于按照预设的时间序列切分规则，将预处理后的时间序列数据切分为至少一个时间片段数据；
滑窗处理子单元，用于将所述时间片段数据根据采集时间互相重叠，得到至少一个连续的时间序列片段数据，将所述时间序列片段数据作为滑动窗口。
可选的，所述转化单元，包括：
变换单元，用于基于傅里叶原理将所述滑动窗口中的时间序列的时域信号采样变换成频域信号的采样，得到离散周期的信号频谱；
融合单元，用于将所述滑动窗口中的时间序列和所述离散周期的信号频谱频进行融合后标准化处理，得到目标时间序列；
转化子单元，用于将所述目标时间序列的数据转化成二维数据。
可选的，所述分析单元，包括：
计算单元，用于计算所述原始时间序列与所述特征丰富后的时间序列的概率分布之间的异常值；
判断单元，用于判断所述异常值是否大于预设的异常阈值；
分析子单元，用于若所述判断单元判断出，所述异常值大于预设的异常阈值，则确定所述异常值在所述原始时间序列中的时间段的数据为异常数据。
本申请第三方面提供了一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如第一方面任意一项所述的时间序列的检测方法。
本申请第四方面提供了一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如第一方面任意一项所述的时间序列的检测方法。
由以上方案可知，本申请提供一种时间序列的检测方法、装置、电子设备及计算机存储介质，所述时间序列的检测方法包括：首先，获取原始时间序列数据；其中，所述原始时间数据至少包括一种关键性能指标信息；然后对所述原始时间序列数据进行预处理，得到预处理后的时间序列数据；再对所述预处理后的时间序列数据进行滑窗处理，得到至少一个滑动窗口；针对每一个所述滑动窗口，将所述滑动窗口中的时间序列数据转化为二维数据；利用时间卷积网络模型提取所述二维数据中的高层次语义特征信息，得到特征丰富后的时间序列；之后，将所述特征丰富后的时间序列输入异常检测模型中，得到所述特征丰富后的时间序列的概率分布；其中，所述异常检测模型由训练样本集对变分自编码器进行训练得到；最终，通过所述特征丰富后的时间序列的概率分布与所述原始时间序列数据进行分析，得到所述原始时间序列数据中的异常数据。从而达到了根据时间序列信息，智能判断异常情况的发生的目的。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种时间序列的检测方法的具体流程图；
图2为本申请另一实施例提供的一种采集时间序列信息的示意图；
图3为本申请另一实施例提供的一种生成滑动窗口的方法的流程图；
图4为本申请另一实施例提供的一种将滑动窗口中的时间序列数据转化为二维数据方法的流程图；
图5为本申请另一实施例提供的一种数据集某一监控指标的任意滑动窗口内数值大小的示意图；
图6为本申请另一实施例提供的一种图5频域变换后所得到的曲线的示意图；
图7为现有技术中变分自编码器的结构示意图；
图8为本申请另一实施例提供的一种时间序列的检测方法的流程图；
图9为本申请另一实施例提供的一种时间序列的检测装置的示意图；
图10为本申请另一实施例提供的一种实现时间序列的检测方法的电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要注意，本申请中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系，而术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
现对本申请中提及的术语进行解释：
智能运维：随着支撑业务规模的不断增长，越来越多的运维场景和问题无法用传统方法解决，运维效率也难以继续支撑业务规模的快速扩张，智能运维以数据为基础，将监控、管理和故障定位三部分有机结合起来解决运维效率的问题，依赖自身特性解决传统运维方法(人工、自动化)解决不了的问题。
异常检测：识别与正常数据不同的数据，与预期行为差异较大数据。异常或离群值有三种类型，第一，点异常，指的是少数个体实例是异常的，大多数个体实例是正常的。第二，条件异常，又称为上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的。第三，集合异常，相关数据实例的集合相对于整个数据集是异常的，对于单个值则不是，集合异常有两种可能性：按无法预料的顺序发生(有序，例如心电图心率中的间隙)；值的组合是无法预料的(无序，例如购买大量昂贵的物品)。
随着互联网技术的不断发展，计算机广泛应用于各个场景，异常事件也层出不穷。为了保障系统的正常运行，支撑业务的正常运作，保证业务系统运行时的可用性和可靠性是非常重要的，因此异常检测技术用于各种领域，如入侵检测、欺诈检测、故障检测、系统健康监测、传感器网络事件检测和生态系统干扰检测等。目前，异常检测是智能运维(Artificial Intelligence for IT Operations，AIOps)系统中一项基础且重要功能，其旨在通过算法自动发现KPI(Key Performance Indicator)时间序列数据中的异常波动，为后续的告警、自动止损、根因分析等提供决策依据。在实际场景下，由于异常点数据稀少，异常类型多样以及KPI类型多样，给异常检测带来了很大的挑战。
因此，本申请实施例提供了一种时间序列的检测方法，如图1所示，具体包括以下步骤：
S101、获取原始时间序列数据。
其中，原始时间数据至少包括一种关键性能指标信息。原始时间序列数据为一组多维时间序列形式的信号。关键性能指标信息包括但不限于：例如中央处理器(centralprocessing unit，CPU)使用率、网络吞吐量、磁盘使用率、磁盘输入/输出(Input/Output，IO)等待时间、传输控制协议(Transmission Control Protocol，TCP)连接统计数量、文件系统最大使用率等，此处不做限定。
具体的，对原始时间序列数据进行采集(即时间序列信息采集)的方式可以参阅图2。
S102、对原始时间序列数据进行预处理，得到预处理后的时间序列数据。
具体的，包括获取原始时间序列数据的频域信息，并对原始时间序列数据进行归一化。
S103、对预处理后的时间序列数据进行滑窗处理，得到至少一个滑动窗口。
可选的，在本申请的另一实施例中，步骤S103的一种实施方式，如图3所示，包括：
S301、按照预设的时间序列切分规则，将预处理后的时间序列数据切分为至少一个时间片段数据。
S302、将时间片段数据根据采集时间互相重叠，得到至少一个连续的时间序列片段数据，将时间序列片段数据作为滑动窗口。
在本申请的具体实现过程中，可以但不限于设定一个大小为W，且W＞1的滑动窗口，两个连续的滑动窗口的重叠部分为W/2，即两个相邻的滑动窗口中，一半的序列信息相同，假设时间序列的每一列包含N个指标，即该时间序列的维度为N，对该时间窗口内的每个维度的时间序列进行Z-score标准化，求解原始数据的均值和标准差进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1，转化函数为：
其中，u为该滑动窗口内对应某一维度样本数据的均值，σ为该滑动窗口内对应某一维度样本数据的标准差。
S104、针对每一个滑动窗口，将滑动窗口中的时间序列数据转化为二维数据。
可选的，在本申请的另一实施例中，步骤S104的一种实施方式，如图4所示，包括：
S401、基于傅里叶原理将滑动窗口中的时间序列的时域信号采样变换成频域信号的采样，得到离散周期的信号频谱。
由于大部分时间序列具有周期性的特点，因此，可基于傅里叶原理进行变化分析，得到信号在频域的分布，展开成不同频率的波形的叠加，在时域-频域对多维时间序列进行研究分析，实现时域到时频域的变换。通过傅里叶变换提供一种对时域信号特征分析的表达形式。
具体的，在监控系统中，多维时间序列为离散信号，可采用离散傅里叶变换(fastFourier transform，FFT)，每间隔一段时间采样一次信号，将时域信号的采样变换成在频域的采样，由此获得离散周期的信号频谱。
S402、将滑动窗口中的时间序列和离散周期的信号频谱频进行融合后标准化处理，得到目标时间序列。
S403、将目标时间序列的数据转化成二维数据。
图5为数据集某一监控指标的任意滑动窗口内数值大小的示意图；图6为一种图5频域变换后所得到的曲线的示意图。
S105、利用时间卷积网络模型提取二维数据中的高层次语义特征信息，得到特征丰富后的时间序列。
其中，时间卷积网络，基于卷积神经网络进行改进的一种神经网络，使其更加适合时间序列建模。相对于卷积网络其主要进行了如下改进：(1)使用因果卷积以更好的适应序列模型；(2)使用空洞卷积以及残差模块来记忆历史信息。相比于LSTM(Long Short-TermMemory)和GRU(Gated Recurrent Unit)等模型，时间卷积网络不仅在序列数据建模上的记忆能力更加优秀，而且可像卷积神经网络那样进行大规模的并行处理。(3)可变的输入长度，灵活的感受视野，比如改变卷积核的参数，容易控制模型的记忆大小等特点。
S106、将特征丰富后的时间序列输入异常检测模型中，得到特征丰富后的时间序列的概率分布。
其中，异常检测模型由训练样本集对变分自编码器进行训练得到。
变分自编码器，包含编码器、解码器和损失函数三部分。编码器将数据压缩到隐空间中，而解码器则根据隐状态重建数据。编码器是一个神经网络，其输入是Xi(i＝1,2,3...n)，输出为隐向量Zi(i＝1,2,3,...m)，参数为φ，则编码器可以表示为q(z|x；φ)。解码器同样是一个神经网络，其输入q(z|x；φ)，输出是数据的概率分布，参数为θ，则解码器可以表示为p(x|z；θ)。变分自编码器的损失函数是带正则项的负对数似然函数。根据数据中的训练数据，通过网络反向传播最小化损失值提取原始特征信息，使隐变量包含尽可能多的原始特征信息，并利用解码器根据所述原始特征信息构建出正常数据特征模型，同时得到最优的变分自编码器模型，变分自编码器的损失函数与寻常的自动编码器的损失函数不同，由基础的损失函数加上变分散度。
L(x)＝-DKL(qφ(z|x)||p(z))+Eq(zx)[logpθ(x|z)]；
其中，qθ(z|x)表示从输入层到隐层的编码器，pθ(x|z)表示隐层到输出层的解码器。变分自编码器的损失函数旨在减小KL散度，使得qφ(z|x)更接近于先验分布p(z)。而损失函数的第二项便是重构误差，使得重构的pθ(x|z)更接近于输入分布p(x)。通过实现重构，变分自编码器就可以学习到原始输入数据的最重要的特征。
利用变分自编码器构建无监督时间序列异常检测模型，利用建立的所述模型从包含异常值的多个时间序列片段数据中，学习正常数据的特征，并根据学习的特征重构正常的时间序列数据，给出重构出正常时间序列数据的概率分布；给定学习到的模型，从重构的正常时间序列数据池中随机抽取训练样本，在时间序列平滑假设的正则约束下优化模型参数，使得模型能够重构出正常的时间序列数据，完成模型训练；给定新观测数据，通过采样的方式得出重构出新正常时间序列数据的概率分布；根据重构出新正常时间序列数据的概率分布，计算输入的时间序列数据的异常值，并提供异常检测阈值，进而根据异常检测阈值判断某段时间序列数据是否为异常片段。
如图7所示现有技术中的变分自编码器(VAE)结构图。
而本申请使用SMD(Server Machine Dataset)真实数据集检验算法准确性，SMD数据集包含为期5周的28台服务器的数据。收集每台机器的38个监控指标数据。在对异常检测的过程中，模型预测的结果和真实结果的组合有4种：TP(True Positive)，FP(FalsePositive)，FN(False Negative)，TN(False Negative)，测试的相关性能指标包含精确率(precision)、召回率(recall)、F1-Score，这几个指标的定义如下：
需要说明的是，三种评价标准均为得分越高精确度越高。
在本实验中选用不同的时间窗口进行，其中滑动窗口的选值分别为：20、40、60、80、100、120、140、160、180、200。
| 滑动窗口大小 | Precision | Recall | F1-Score |
| 20 | 0.8704 | 0.8672 | 0.8688 |
| 40 | 0.8672 | 0.9198 | 0.8972 |
| 60 | 0.8972 | 0.9198 | 0.9084 |
| 80 | 0.9216 | 0.8672 | 0.8936 |
| 100 | 0.9056 | 0.8671 | 0.8860 |
| 120 | 0.9307 | 0.8672 | 0.8978 |
| 140 | 0.9126 | 0.8671 | 0.8893 |
| 160 | 0.8742 | 0.9499 | 0.9105 |
| 180 | 0.9344 | 0.8672 | 0.8995 |
| 200 | 0.9289 | 0.8672 | 0.8970 |
表1
表1表示滑动窗口对TCN-VAE算法的影响。选用F1-Score得分作为主要的评价指标，由上表可以看出F1-Score的整体情况优异，在滑动窗口W＞20后评价指标F1得分基本稳定，在W＞160时F1-Score和召回率均达到最优，在后续的选择中可将滑动窗口适当增加，一方面对结果影响较小，另一方面有效减少计算开销。
S107、通过特征丰富后的时间序列的概率分布与原始时间序列数据进行分析，得到原始时间序列数据中的异常数据。
可选的，在本申请的另一实施例中，步骤S107的一种实施方式，如图8所示，包括：
S801、计算原始时间序列与特征丰富后的时间序列的概率分布之间的异常值。
S802、判断异常值是否大于预设的异常阈值。
其中，预设的异常阈值由技术人员、相关有权限的人进行设置、更改，此处不做限定。
具体的，若判断出异常值大于预设的异常阈值，则执行步骤S803。若判断出异常值不大于预设的异常阈值，则确定异常值在原始时间序列中的时间段的数据不是异常数据。
S803、确定异常值在原始时间序列中的时间段的数据为异常数据。
本申请提出的TCN-VAE异常检测方法更加适合时间序列建模，相较于传统的异常检测模型，无需对数据标注，具有更灵活的拟合能力与鲁棒性，具有更高的异常检测精确度和更低的误报率，可同时检测短时突发异常和中长时间段异常。
由以上方案可知，本申请提供一种时间序列的检测方法：首先，获取原始时间序列数据；其中，原始时间数据至少包括一种关键性能指标信息；然后对原始时间序列数据进行预处理，得到预处理后的时间序列数据；再对预处理后的时间序列数据进行滑窗处理，得到至少一个滑动窗口；针对每一个滑动窗口，将滑动窗口中的时间序列数据转化为二维数据；利用时间卷积网络模型提取二维数据中的高层次语义特征信息，得到特征丰富后的时间序列；之后，将特征丰富后的时间序列输入异常检测模型中，得到特征丰富后的时间序列的概率分布；其中，异常检测模型由训练样本集对变分自编码器进行训练得到；最终，通过特征丰富后的时间序列的概率分布与原始时间序列数据进行分析，得到原始时间序列数据中的异常数据。从而达到了根据时间序列信息，智能判断异常情况的发生的目的。
本申请另一实施例提供了一种时间序列的检测装置，如图9所示，具体包括：
获取单元901，用于获取原始时间序列数据。
其中，原始时间数据至少包括一种关键性能指标信息。
预处理单元902，用于对原始时间序列数据进行预处理，得到预处理后的时间序列数据。
滑窗处理单元903，用于对预处理后的时间序列数据进行滑窗处理，得到至少一个滑动窗口。
可选的，在本申请的另一实施例中，滑窗处理单元903的一种实施方式，包括：
切分单元，用于按照预设的时间序列切分规则，将预处理后的时间序列数据切分为至少一个时间片段数据。
滑窗处理子单元，用于将时间片段数据根据采集时间互相重叠，得到至少一个连续的时间序列片段数据，将时间序列片段数据作为滑动窗口。
本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图3所示，此处不再赘述。
转化单元904，用于针对每一个滑动窗口，将滑动窗口中的时间序列数据转化为二维数据。
可选的，在本申请的另一实施例中，转化单元904的一种实施方式，包括：
变换单元，用于基于傅里叶原理将滑动窗口中的时间序列的时域信号采样变换成频域信号的采样，得到离散周期的信号频谱。
融合单元，用于将滑动窗口中的时间序列和离散周期的信号频谱频进行融合后标准化处理，得到目标时间序列。
转化子单元，用于将目标时间序列的数据转化成二维数据。
本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图4所示，此处不再赘述。
提取单元905，用于利用时间卷积网络模型提取二维数据中的高层次语义特征信息，得到特征丰富后的时间序列。
输入单元906，用于将特征丰富后的时间序列输入异常检测模型中，得到特征丰富后的时间序列的概率分布。
其中，异常检测模型由训练样本集对变分自编码器进行训练得到。
分析单元907，用于通过特征丰富后的时间序列的概率分布与原始时间序列数据进行分析，得到原始时间序列数据中的异常数据。
本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图1所示，此处不再赘述。
可选的，在本申请的另一实施例中，转化单元907的一种实施方式，包括：
计算单元，用于计算原始时间序列与特征丰富后的时间序列的概率分布之间的异常值。
判断单元，用于判断异常值是否大于预设的异常阈值。
分析子单元，用于若判断单元判断出，异常值大于预设的异常阈值，则确定异常值在原始时间序列中的时间段的数据为异常数据。
本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图8所示，此处不再赘述。
由以上方案可知，本申请提供一种时间序列的检测装置：首先，获取单元901获取原始时间序列数据；其中，原始时间数据至少包括一种关键性能指标信息；然后预处理单元902对原始时间序列数据进行预处理，得到预处理后的时间序列数据；滑窗处理单元903对预处理后的时间序列数据进行滑窗处理，得到至少一个滑动窗口；针对每一个滑动窗口，转化单元904将滑动窗口中的时间序列数据转化为二维数据；提取单元905利用时间卷积网络模型提取二维数据中的高层次语义特征信息，得到特征丰富后的时间序列；之后，输入单元906将特征丰富后的时间序列输入异常检测模型中，得到特征丰富后的时间序列的概率分布；其中，异常检测模型由训练样本集对变分自编码器进行训练得到；最终，分析单元907通过特征丰富后的时间序列的概率分布与原始时间序列数据进行分析，得到原始时间序列数据中的异常数据。从而达到了根据时间序列信息，智能判断异常情况的发生的目的。
本申请另一实施例提供了一种电子设备，如图10所示，包括：
一个或多个处理器1001。
存储装置1002，其上存储有一个或多个程序。
当所述一个或多个程序被所述一个或多个处理器1001执行时，使得所述一个或多个处理器1001实现如上述实施例中任意一项所述的时间序列的检测方法。
本申请另一实施例提供了一种计算机存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如上述实施例中任意一项所述的时间序列的检测方法。
在本申请公开的上述实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本公开的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，直播设备，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种时间序列的检测方法，其特征在于，包括：
获取原始时间序列数据；其中，所述原始时间序列数据至少包括一种关键性能指标信息；
对所述原始时间序列数据进行预处理，得到预处理后的时间序列数据；
对所述预处理后的时间序列数据进行滑窗处理，得到至少一个滑动窗口；
基于傅里叶原理将所述滑动窗口中的时间序列的时域信号采样变换成频域信号的采样，得到离散周期的信号频谱；
将所述滑动窗口中的时间序列和所述离散周期的信号频谱进行融合后标准化处理，得到目标时间序列；
将所述目标时间序列的数据转化成二维数据；
利用时间卷积网络模型提取所述二维数据中的高层次语义特征信息，得到特征丰富后的时间序列；
将所述特征丰富后的时间序列输入异常检测模型中，得到所述特征丰富后的时间序列的概率分布；其中，所述异常检测模型由训练样本集对变分自编码器进行训练得到；
通过所述特征丰富后的时间序列的概率分布与所述原始时间序列数据进行分析，得到所述原始时间序列数据中的异常数据。
2.根据权利要求1所述的检测方法，其特征在于，所述对所述预处理后的时间序列数据进行滑窗处理，得到至少一个滑动窗口，包括：
按照预设的时间序列切分规则，将预处理后的时间序列数据切分为至少一个时间片段数据；
将所述时间片段数据根据采集时间互相重叠，得到至少一个连续的时间序列片段数据，将所述时间序列片段数据作为滑动窗口。
3.根据权利要求1所述的检测方法，其特征在于，所述通过所述特征丰富后的时间序列的概率分布与所述原始时间序列数据进行分析，得到所述原始时间序列数据中的异常数据，包括：
计算所述原始时间序列与所述特征丰富后的时间序列的概率分布之间的异常值；
判断所述异常值是否大于预设的异常阈值；
若判断出所述异常值大于预设的异常阈值，则确定所述异常值在所述原始时间序列中的时间段的数据为异常数据。
4.一种时间序列的检测装置，其特征在于，包括：
获取单元，用于获取原始时间序列数据；其中，所述原始时间序列数据至少包括一种关键性能指标信息；
预处理单元，用于对所述原始时间序列数据进行预处理，得到预处理后的时间序列数据；
滑窗处理单元，用于对所述预处理后的时间序列数据进行滑窗处理，得到至少一个滑动窗口；
变换单元，用于基于傅里叶原理将所述滑动窗口中的时间序列的时域信号采样变换成频域信号的采样，得到离散周期的信号频谱；
融合单元，用于将所述滑动窗口中的时间序列和所述离散周期的信号频谱进行融合后标准化处理，得到目标时间序列；
转化子单元，用于将所述目标时间序列的数据转化成二维数据；
提取单元，用于利用时间卷积网络模型提取所述二维数据中的高层次语义特征信息，得到特征丰富后的时间序列；
输入单元，用于将所述特征丰富后的时间序列输入异常检测模型中，得到所述特征丰富后的时间序列的概率分布；其中，所述异常检测模型由训练样本集对变分自编码器进行训练得到；
分析单元，用于通过所述特征丰富后的时间序列的概率分布与所述原始时间序列数据进行分析，得到所述原始时间序列数据中的异常数据。
5.根据权利要求4所述的检测装置，其特征在于，所述滑窗处理单元，包括：
切分单元，用于按照预设的时间序列切分规则，将预处理后的时间序列数据切分为至少一个时间片段数据；
滑窗处理子单元，用于将所述时间片段数据根据采集时间互相重叠，得到至少一个连续的时间序列片段数据，将所述时间序列片段数据作为滑动窗口。
6.根据权利要求4所述的检测装置，其特征在于，所述分析单元，包括：
计算单元，用于计算所述原始时间序列与所述特征丰富后的时间序列的概率分布之间的异常值；
判断单元，用于判断所述异常值是否大于预设的异常阈值；
分析子单元，用于若所述判断单元判断出，所述异常值大于预设的异常阈值，则确定所述异常值在所述原始时间序列中的时间段的数据为异常数据。
7.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至3中任一所述的时间序列的检测方法。
8.一种计算机存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至3中任一所述的时间序列的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111175424.8A CN113868006B (zh) | 2021-10-09 | 2021-10-09 | 时间序列的检测方法、装置、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111175424.8A CN113868006B (zh) | 2021-10-09 | 2021-10-09 | 时间序列的检测方法、装置、电子设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113868006A CN113868006A (zh) | 2021-12-31 |
| CN113868006B true CN113868006B (zh) | 2024-03-01 |
Family
ID=79002238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111175424.8A Active CN113868006B (zh) | 2021-10-09 | 2021-10-09 | 时间序列的检测方法、装置、电子设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113868006B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114356743B (zh) * | 2022-03-11 | 2022-06-07 | 军事科学院系统工程研究院网络信息研究所 | 一种基于序列重建的异常事件自动检测方法和系统 |
| CN114692767B (zh) * | 2022-03-31 | 2024-01-19 | 中国电信股份有限公司 | 异常检测方法和装置、计算机可读存储介质、电子设备 |
| US20240202279A1 (en) * | 2022-12-20 | 2024-06-20 | Microsoft Technology Licensing, Llc | Training and implementing a steady state log analyzer |
| CN116149896B (zh) * | 2023-03-27 | 2023-07-21 | 阿里巴巴（中国）有限公司 | 时序数据异常检测方法、存储介质和电子设备 |
| CN116232772B (zh) * | 2023-05-08 | 2023-07-07 | 中国人民解放军国防科技大学 | 基于集成学习的无监督的网络数据入侵检测方法 |
| CN116933013B (zh) * | 2023-09-14 | 2023-12-26 | 煤炭科学研究总院有限公司 | 一种基于时频分析的煤矿时序数据分析方法、装置及设备 |
| CN117310118B (zh) * | 2023-11-28 | 2024-03-08 | 济南中安数码科技有限公司 | 一种地下水污染可视化监测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614981A (zh) * | 2018-10-17 | 2019-04-12 | 东北大学 | 基于斯皮尔曼等级相关的卷积神经网络的电力系统智能故障检测方法及系统 |
| CN112329713A (zh) * | 2020-11-25 | 2021-02-05 | 恩亿科(北京)数据科技有限公司 | 网络流量异常在线检测方法、系统、计算机设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7613576B2 (en) * | 2007-04-12 | 2009-11-03 | Sun Microsystems, Inc. | Using EMI signals to facilitate proactive fault monitoring in computer systems |
| US9075713B2 (en) * | 2012-05-24 | 2015-07-07 | Mitsubishi Electric Research Laboratories, Inc. | Method for detecting anomalies in multivariate time series data |
| US10261851B2 (en) * | 2015-01-23 | 2019-04-16 | Lightbend, Inc. | Anomaly detection using circumstance-specific detectors |
| US11170314B2 (en) * | 2018-10-22 | 2021-11-09 | General Electric Company | Detection and protection against mode switching attacks in cyber-physical systems |
-
2021
- 2021-10-09 CN CN202111175424.8A patent/CN113868006B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614981A (zh) * | 2018-10-17 | 2019-04-12 | 东北大学 | 基于斯皮尔曼等级相关的卷积神经网络的电力系统智能故障检测方法及系统 |
| CN112329713A (zh) * | 2020-11-25 | 2021-02-05 | 恩亿科(北京)数据科技有限公司 | 网络流量异常在线检测方法、系统、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113868006A (zh) | 2021-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113868006B (zh) | 时间序列的检测方法、装置、电子设备及计算机存储介质 | |
| CN110826648B (zh) | 一种利用时序聚类算法实现故障检测的方法 | |
| US10373065B2 (en) | Generating database cluster health alerts using machine learning | |
| CN113344295B (zh) | 基于工业大数据的设备剩余寿命预测方法、系统及介质 | |
| CN114298443B (zh) | 基于健康状态指数的工业设备预测性维护方法、装置和电子设备 | |
| CN110750429A (zh) | 运维管理系统的异常检测方法、装置、设备及存储介质 | |
| CN111309539A (zh) | 一种异常监测方法、装置和电子设备 | |
| CN116010485B (zh) | 一种动态周期时序的无监督异常检测方法 | |
| CN112414694B (zh) | 基于多元状态估计技术的设备多级异常状态识别方法及装置 | |
| CN112988509B (zh) | 一种告警消息过滤方法、装置、电子设备及存储介质 | |
| CN114265882A (zh) | 时序信号点异常检测方法、系统、设备及介质 | |
| CN112966222A (zh) | 一种时间序列异常数据检测方法及相关设备 | |
| CN111259949A (zh) | 飞机环控系统故障识别模型构建方法、模型及识别方法 | |
| CN115355166A (zh) | 一种基于短时傅里叶变换的空压机故障诊断方法和系统 | |
| CN113746780A (zh) | 基于主机画像的异常主机检测方法、装置、介质和设备 | |
| US20240098008A1 (en) | Detecting behavioral change of iot devices using novelty detection based behavior traffic modeling | |
| CN117473275A (zh) | 一种数据中心的能耗检测方法 | |
| CN117768022A (zh) | 光纤检测模型的训练方法、光纤检测方法及相关设备 | |
| CN116910559A (zh) | 一种面向电网超算中心智能运维应用的指标异常检测方法 | |
| CN117056842A (zh) | 构建设备异常监测模型的方法、装置、设备、介质及产品 | |
| Chen et al. | Image feature extraction based on HOG and its application to fault diagnosis for rotating machinery | |
| CN116227172A (zh) | 一种基于卷积神经网络的滚动轴承性能退化评估方法 | |
| CN117370352B (zh) | 一种基于大数据的数据监测方法及系统 | |
| Khetarpal et al. | Noisy and non-stationary power quality disturbance classification based on adaptive segmentation empirical wavelet transform and support vector machine | |
| Zhao et al. | Burst detection in district metering areas using flow subsequences clustering–reconstruction analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |