CN114844796A - 一种对时序kpi的异常检测的方法、装置及介质 - Google Patents
一种对时序kpi的异常检测的方法、装置及介质 Download PDFInfo
- Publication number
- CN114844796A CN114844796A CN202210467233.7A CN202210467233A CN114844796A CN 114844796 A CN114844796 A CN 114844796A CN 202210467233 A CN202210467233 A CN 202210467233A CN 114844796 A CN114844796 A CN 114844796A
- Authority
- CN
- China
- Prior art keywords
- data
- time
- sequence
- series
- kpi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000002159 abnormal effect Effects 0.000 claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000001228 spectrum Methods 0.000 claims description 43
- 238000000354 decomposition reaction Methods 0.000 claims description 27
- 230000005856 abnormality Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 230000002547 anomalous effect Effects 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 3
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Mining & Analysis (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种对时序KPI的异常检测的方法、装置及介质，涉及云计算领域。该方法包括：获取时序数据；获取时序数据的原始的显著性特征序列；将原始的显著性特征序列进行分解并获取分解后的各个分量；将各分量进行拟合并将拟合后的各个分量上的值相加以便获取重构的显著性特征序列；获取原始的显著性特征序列与重构的显著性特征序列的差值；根据差值获取时序数据中的异常数据。相比于依据经验设置阈值来确定时序数据中的异常点的方法，本申请提供的方法中以时序数据为基础，对时序数据提取显著性特征并对提取出的显著性特征进行重构，依据显著性特征的差值获取到时序数据中的异常数据，因此可以提高对KPI的异常检测的准确性。
Description
技术领域
本申请涉及云计算领域，特别是涉及一种对时序KPI的异常检测的方法、装置及介质。
背景技术
云平台也称为云计算平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力。云平台监控系统不间断的从平台中采集大量时序关键性能指标(KeyPerformance Indication，KPI)，例如中央处理器(Central Processing Unit，CPU)使用率，网络吞吐量等，来判断平台的运行状态。随着云平台的越来越成熟，平台规模也从最初的几台、十几台上升到几百台甚至上千台，同时平台自身的服务也越来越多、调用也越来越复杂，使监控数据具有海量且复杂的特点。
传统云平台中针对KPI的异常检测大多采用阈值的方式，即运维人员根据经验设置阈值，当KPI数据达到此阈值时，产生异常告警。但实际的应用过程中发现，阈值设置太依赖于经验，很难全面的对繁杂的KPI准确设置阈值；阈值太高，对异常情况产生漏报，质量隐患难以发现，阈值太低，往往引发告警风暴，干扰运维人员的判断；另外对于一些数据抖动但低于阈值的情况，这种方式无法检测，产生漏报的情况。
由此可见，如何提高对KPI的异常检测的准确性，是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种对时序KPI的异常检测的方法、装置及介质，用于提高对KPI的异常检测的准确性。
为解决上述技术问题，本申请提供一种对时序KPI的异常检测的方法，包括：
获取时序数据；
获取所述时序数据的原始的显著性特征序列；其中显著性特征用于表征所述时序数据中的异常数据；
将所述原始的显著性特征序列进行分解并获取分解后的各个分量；
将各所述分量进行拟合并将拟合后的各个分量上的值相加以便获取重构的显著性特征序列；
获取所述原始的显著性特征序列与所述重构的显著性特征序列的差值；
根据所述差值获取所述时序数据中的异常数据。
优选地，所述获取所述时序数据的原始的显著性特征序列包括：
将所述时序数据进行傅里叶变换；
通过所述傅里叶变换获取所述时序数据的频谱信息；
根据所述频谱信息获取所述时序数据的相位谱信息以及幅度谱信息；
根据阈值对所述幅度谱信息进行谐调处理以便增强所述幅度谱信息的显著性特征；
通过傅里叶逆变换将所述相位谱信息以及增强显著性特征的所述幅度谱信息转换为空域上的数据；
通过高斯滤波器将所述空域上的数据进行平滑化处理以便输出所述时序数据的原始的显著性特征序列。
优选地，所述将所述原始的显著性特征序列进行分解并获取分解后的各个分量包括：
通过小波分解将所述原始的显著性特征序列分解为n个高频分量以及1个低频分量；其中所述n等于所述小波分解的次数；
获取所述高频分量以及所述低频分量。
优选地，所述将各所述分量进行拟合并将拟合后的各个分量上的值相加以便获取重构的显著性特征序列包括：
通过ARIMA算法对各所述分量进行拟合；
将拟合后的各个所述分量上的值相加并获取相加后的结果；
将所述相加后的结果作为所述重构的显著性特征序列。
优选地，所述根据所述差值获取所述时序数据中的异常数据包括：
通过3-sigma算法对所述差值进行检测；
将超出3个标准差的值作为所述时序数据中的所述异常数据。
优选地，所述获取时序数据包括：
按照固定频率采集所述时序数据。
优选地，在所述根据所述差值获取所述时序数据中的异常数据之后，还包括：
对所述异常数据进行上报。
为了解决上述技术问题，本申请还提供一种对时序KPI的异常检测的装置，包括：
第一获取模块，用于获取时序数据；
第二获取模块，用于获取所述时序数据的原始的显著性特征序列；其中所述显著性特征用于表征所述时序数据中的异常数据；
分解及获取模块，用于将所述原始的显著性特征序列进行分解并获取分解后的各个分量；
相加模块，用于将各所述分量进行拟合并将拟合后的各个分量上的值相加以便获取重构的显著性特征序列；
第三获取模块，用于获取所述原始的显著性特征序列与所述重构的显著性特征序列的差值；
第四获取模块，用于根据所述差值获取所述时序数据中的异常数据。
为了解决上述技术问题，本申请还提供一种对时序KPI的异常检测的装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述的对时序KPI的异常检测的方法的步骤。
为了解决上述技术问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的对时序KPI的异常检测的方法的步骤。
本申请所提供的对时序KPI的异常检测的方法，包括：获取时序数据；获取时序数据的原始的显著性特征序列；其中显著性特征用于表征时序数据中的异常数据；将原始的显著性特征序列进行分解并获取分解后的各个分量；将各分量进行拟合并将拟合后的各个分量上的值相加以便获取重构的显著性特征序列；获取原始的显著性特征序列与重构的显著性特征序列的差值；根据差值获取时序数据中的异常数据。相比于依据经验设置阈值来确定时序数据中的异常点的方法，本申请提供的方法中以时序数据为基础，对时序数据提取显著性特征并对提取出的显著性特征进行重构，依据显著性特征的差值获取到时序数据中的异常数据，因此可以提高对KPI的异常检测的准确性。
此外，本申请还提供一种对时序KPI的异常检测的装置以及计算机可读存储介质，与上述提到的对时序KPI的异常检测的方法具有相同或相对应的技术特征，效果同上。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种对时序KPI的异常检测的方法的流程图；
图2为本申请实施例提供的一种多级离散小波分解的示意图；
图3为本申请的一实施例提供的对时序KPI的异常检测的装置的结构图；
图4为本申请另一实施例提供的对时序KPI的异常检测的装置的结构图；
图5为本申请实施例提供的对时序KPI的异常检测的整体流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的核心是提供一种对时序KPI的异常检测的方法、装置及介质，用于提高对KPI的异常检测的准确性。
由于传统的采用阈值来对时序KPI的异常检测的方法容易出现漏报等情况，因此，本申请使用机器学习以及数据挖掘技术对时序KPI进行自动异常检测。但在真实云平台监控中，异常发生概率比较低，难以积累大量异常样本，这就导致在机器学习流程框架中需要具备自动化构建样本的能力，产生足够的数据以支持异常检测模型的训练。另外由于时序监控数据复杂，有时序数据的特点，即依赖于时间变化，用数值反应变化程度，这种变化可以有多种模式，常见的时序数据模式有平稳型、波动型和周期型。在监控系统中数据模式随业务改变而发生变化，这就要求在针对时序监控数据的异常检测中，检测模型有足够的泛化能力在不同的数据模式下检测出异常。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。图1为本申请实施例提供的一种对时序KPI的异常检测的方法的流程图，如图1所示，该方法包括：
S10：获取时序数据。
对云平台的数据进行持续监控，获取时序数据。对于监控数据采集工具不作限定，可以为telegraf，使用其自带插件cpu、disk、mem采集，对于采集的频率、采集的数据等不作限定。但是为了能够真实了解到云平台的运行状态，在实施中，采集的数据至少包含CPU，内存等关键性能指标的监控数据。由于在监控的过程中，可能会出现某些时段或时间点数据缺失的情况以及对于不同的性能获取到的可能是带纲量的数据，故而，在获取到时序数据之后，需要对数据进行预处理。对于数据的预处理包含对监控数据缺失点填充，基于滑动窗口对数据进行分割以及对数据进行归一化处理。对数据进行归一化处理时，假设原始时序数据x＝{x1,x2,...,xm}，按照公式(1)进行变换：
公式(1)中xi、xj均表示时序数据中任意一个数据，x'表示归一化处理后得到的时序数据。变换后得到无量纲的时序数据范围为[0，1]。本申请所采用的数据都经过统一步骤的预处理后再作为算法模型的输入数据，以保证数据的标准化处理。
S11：获取时序数据的原始的显著性特征序列；其中显著性特征用于表征时序数据中的异常数据。
通常数据信息可以由显著性信息和非显著性信息组成，显著性信息通常代表数据中的异常数据，而非显著性信息通常代表数据中的正常数据。上述步骤中获取到了时序数据，为了能够找到时序数据中的异常数据，因此需要提取时序数据的显著性特征序列。对于提取时序数据的显著性特征序列的方式不作限定，如可以使用基于相位谱和幅度谱(PhaseSpectrum and Tuning Amplitude Spectrum)算法，简称PTA算法进行提取。本实施例中将提取出的时序数据的显著性特征序列称为原始的显著性特征序列。
S12：将原始的显著性特征序列进行分解并获取分解后的各个分量。
上述步骤中获得了时序数据的原始的显著性特征序列，在实施中，这些显著性特征序列，也就是异常的数据可能并不是真正的异常数据，因此需要对获取到的原始的显著性特征序列进行进一步地处理。本实施例中将原始的显著性特征序列进行分解。对于使用的分解的方式不作限定，如可以通过小波分解的方式对原始的显著性特征序列进行分解。在分解完后得到多个分量。
S13：将各分量进行拟合并将拟合后的各个分量上的值相加以便获取重构的显著性特征序列。
S14：获取原始的显著性特征序列与重构的显著性特征序列的差值。
S15：根据差值获取时序数据中的异常数据。
对各分量进行拟合并相加，重新构建显著性特征序列得到重构的显著性特征序列，将原始的显著性特征序列与重构的显著性特征序列相减，得到序列的残差序列，对残差序列进行检测得到时序数据中的异常数据。需要说明的是，对残差序列进行检测的方式不作限定，如可以使用3-sigma原理进行检测。
本实施例所提供的对时序KPI的异常检测的方法，包括：获取时序数据；获取时序数据的原始的显著性特征序列；其中显著性特征用于表征时序数据中的异常数据；将原始的显著性特征序列进行分解并获取分解后的各个分量；将各分量进行拟合并将拟合后的各个分量上的值相加以便获取重构的显著性特征序列；获取原始的显著性特征序列与重构的显著性特征序列的差值；根据差值获取时序数据中的异常数据。相比于依据经验设置阈值来确定时序数据中的异常点的方法，本实施例提供的方法中以时序数据为基础，对时序数据提取显著性特征并对提取出的显著性特征进行重构，依据显著性特征的差值获取到时序数据中的异常数据，因此可以提高对KPI的异常检测的准确性。
为了能够对时序数据中的异常数据进行评测，优选地实施方式是采用PTA算法，提取时序数据的显著性特征序列。在实施中，获取时序数据的原始的显著性特征序列包括：
将时序数据进行傅里叶变换；
通过傅里叶变换获取时序数据的频谱信息；
根据频谱信息获取时序数据的相位谱信息以及幅度谱信息；
根据阈值对幅度谱信息进行谐调处理以便增强幅度谱信息的显著性特征；
通过傅里叶逆变换将相位谱信息以及增强显著性特征的幅度谱信息转换为空域上的数据；
通过高斯滤波器将空域上的数据进行平滑化处理以便输出时序数据的原始的显著性特征序列。
本实施例中使用PTA算法对时序数据的特征进行提取，PTA算法本身为机器视觉领域的算法，其目的为找出视觉上较为明显的区域，对于图像上物体或边界定位具有重要作用。其理论核心基于傅里叶变换。由于PTA算法作为一种无监督算法并在视觉可视化显著性具有较好的效果，同时时序中异常点在视觉上比较明显，计算机视觉领域的显著性检测和时序数据中的异常检测任务较为相似，故本实施例中采用时序数据的显著性作为关键特征进行异常评测。
通常数据信息可以由显著性信息和非显著性信息组成，在数据经过傅里叶变换后可表示为幅度谱信息和相位谱信息组成。通过对幅度谱协调的方式可用来分析并增强数据中的显著性区域。PTA算法通常由三个主要步骤组成：经过傅里叶变换处理并得到相位谱和幅度谱域信息；基于幅度谱进行谐调处理，抑制数据中冗余信息并增强显著性区域；基于傅里叶逆变换使得序列数据转换到空间域。
对于给定的输入时序数据先通过傅里叶变换得到时序数据的频谱信息，从而计算相位谱以及幅度谱，如公式(2)、(3)所示：
p(x)＝phase(δ(x)) (2)
a(x)＝abs(δ(x)) (3)
上述公式(2)、(3)中，p(x)表示相位谱，a(x)表示幅度谱，δ表示傅里叶变换，phase函数表示相位谱函数，abs表示幅度谱函数，分别用于计算经傅里叶变换后得到的相位信息以及幅度谱信息。随后，通过阈值Δ对数据幅度信息进行削弱和增强。幅度数据的调谐函数为公式(4)、(5)所示：
Δ＝γM(a(x)) (4)
其中，M函数用于获取幅度信息的平均值，为取得较优的结果，γ参数用于对阈值Δ进行微调，a'(x)表示增强或减弱后的幅度谱，α、β均表示调节参数。在对非显著性区域的幅度信息进行削弱并增强显著性特征的幅度域信息后，基于傅里叶逆变换转换为空域数据，并通过高斯滤波器进行平滑化处理。傅里叶逆变换转换如公式(6)所示，高斯变换如公式(7)所示：
R(x)＝||δ-1(exp(log(a′(x)+p(x))))||2 (6)
S(x)＝G*R(x) (7)
其中，R(x)表示空域数据，δ-1为傅里叶逆变换函数，G为滤波器函数，S(x)为最终输出的特征序列即获取的时序数据的原始的显著性特征序列。
本实施例所提供的通过PTA算法提取时序数据的原始的显著性特征序列，由于PTA算法在视觉可视化显著性具有较好的效果，因此通过PTA算法能够较准确地获取到时序数据的原始的显著性特征序列。
为了能够较准确地确定上述实施例中得到的显著性特征序列中真正异常的数据，优选地实施方式是，将原始的显著性特征序列进行分解并获取分解后的各个分量包括：
小波分解将原始的显著性特征序列分解为n个高频分量以及1个低频分量；其中n等于小波分解的次数；
获取高频分量以及低频分量。
对特征进行PTA特征提取后得到与原时序数据等长的特征时间序列，然后对这个时间序列进行多级小波分解。一个小波函数(基函数)包含一个低通滤波器和一个高通滤波器。将一条时序数据通过一次小波分解能得到一个低通分量和一个高通分量。将得到的低通分量再进行一次小波分解同样可以得到一个低通分量和一个高通分量。依次下去，最后可以得到n个高通分量和1个低通分量。
原始的显著性特征序列S与分解后的低频分量A和高频分量D的关系为公式(8)所示：
S＝A+D (8)
对于小波分解的层数不作限定。本实施例中使用三层分解，得到小波分解序列。图2为本申请实施例提供的一种多级离散小波分解的示意图。如图2所示的小波分解流程，最终得到的分解分量为D1，D2，D3，A3。
本实施例所提供的通过多级离散小波分解的方式将原始的显著性特征序列进行分解并得到各个分量，由于小波变换不仅能够提供较精确的时域定位，还能提供较精确的频域定位，因此通过小波分解能够较准确地对原始的显著性特征序列进行分解并得到各个分量。
为了能够方便、快速地对上述实施例中获得的各个分量进行拟合，优选地实施方式是采用自回归移动平均模型(Autoregressive Integrated Moving Average Model，ARIMA)对各个分量进行拟合。因此，将各分量进行拟合并将拟合后的各个分量上的值相加以便获取重构的显著性特征序列包括：
通过ARIMA算法对各分量进行拟合；
将拟合后的各个分量上的值相加并获取相加后的结果；
将相加后的结果作为重构的显著性特征序列。
本实施例中采用ARIMA算法对小波分解后的各个分量信息进行拟合。ARIMA模型需要确定拟合参数。首先根据数据量确定参数的范围，根据参数确定出参数组。遍历参数组对生成的ARIMA模型计算BIC评分，BIC得分最小的参数组即为最优ARIMA参数。使用具有最小BIC得分的参数组对各个分量信息进行拟合。拟合后的各个分量上的值相加得到最终的PTA特征序列的重构值，即重构的显著性特征序列。重构的显著性特征序列S’与拟合后的低频分量A’和拟合后的高频分量D’的关系为公式(9)所示：
S’＝A’+D’ (9)
本实施例所提供的通过ARIMA算法对各个分量进行拟合得到重构的显著性特征序列，由于ARIMA算法模型简单，因此能够方便、快速地实现对各分量的拟合。
为了能够根据差值对时序数据中的异常点进行检测与排查，优选地实施方式是，采用3-sigma算法。在实施中，根据差值获取时序数据中的异常数据包括：
通过3-sigma算法对差值进行检测；
将超出3个标准差的值作为时序数据中的异常数据。
将重构的显著性特征序列与原始的显著性特征序列相减得到特征序列的残差序列L＝S’-S。对残差序列使用3-sigma原理进行检测，超出3个标准差的值即为序列中异常点。
本实施例所提供的通过3-sigma算法对差值进行检测，能够快速地得出时序数据中的异常数据。
在实施中，为了使获得数据具有规律性以及减少获得的监测时序数据的数量，优选地实施方式是，获取时序数据包括：
按照固定频率采集时序数据。
若对各个时刻的数据均进行采集可能会导致采集的数据量过大；若按照非固定频率采集数据时，当某些时刻的数据缺失时，则不能根据数据之间的规律对缺失的数据进行填充，因此，按照固定频率采集监控数据。对于固定频率的值不作限定，根据实际的情况选择合适的值。
本实施例所提供的按照固定频率采集时序数据，一方面，能够减少采集数据的量，从而提高对异常数据的检测效率；另一方面，按照固定频率采集数据可以根据数据之间的关系对缺失的数据进行填充，从而提高对时序数据的异常检测的准确性。
在实施中，为了使用户了解到云平台的运行状态以及对异常事件进行处理，优选地实施方式是，在根据差值获取时序数据中的异常数据之后，还包括：
对异常数据进行上报。
对异常数据上报的方式、频率等不作限定，只要能将异常数据上报即可。如当检测出异常的数据之后立即对异常进行告警，用户根据告警的提示信息对异常事件进行处理。
本实施例所提供的在根据差值获取时序数据中的异常数据之后，对异常数据进行上报，能够提醒用户及时对异常事件进行处理。
在上述实施例中，对于对时序KPI的异常检测的方法进行了详细描述，本申请还提供对时序KPI的异常检测的装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
图3为本申请的一实施例提供的对时序KPI的异常检测的装置的结构图。本实施例基于功能模块的角度，包括：
第一获取模块10，用于获取时序数据；
第二获取模块11，用于获取所述时序数据的原始的显著性特征序列；其中所述显著性特征用于表征所述时序数据中的异常数据；
分解及获取模块12，用于将所述原始的显著性特征序列进行分解并获取分解后的各个分量；
相加模块13，用于将各所述分量进行拟合并将拟合后的各个分量上的值相加以便获取重构的显著性特征序列；
第三获取模块14，用于获取所述原始的显著性特征序列与所述重构的显著性特征序列的差值；
第四获取模块15，用于根据所述差值获取所述时序数据中的异常数据。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本实施例所提供的对时序KPI的异常检测的装置，通过第一获取模块第获取时序数据；通过第二获取模块获取时序数据的原始的显著性特征序列；其中显著性特征用于表征时序数据中的异常数据；通过分解及获取模块将原始的显著性特征序列进行分解并获取分解后的各个分量；通过相加模块用于将各分量进行拟合并将拟合后的各个分量上的值相加以便获取重构的显著性特征序列；通过第三获取模块获取原始的显著性特征序列与重构的显著性特征序列的差值；通过第四获取模块根据差值获取时序数据中的异常数据。相比于依据经验设置阈值来确定时序数据中的异常点的装置，本实施例提供的装置中以时序数据为基础，对时序数据提取显著性特征并对提取出的显著性特征进行重构，依据显著性特征的差值获取到时序数据中的异常数据，因此可以提高对KPI的异常检测的准确性。
图4为本申请另一实施例提供的对时序KPI的异常检测的装置的结构图。本实施例基于硬件角度，如图4所示，对时序KPI的异常检测的装置包括：
存储器20，用于存储计算机程序；
处理器21，用于执行计算机程序时实现如上述实施例中所提到的对时序KPI的异常检测的方法的步骤。
本实施例提供的对时序KPI的异常检测的装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以集成有图形处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的对时序KPI的异常检测的方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于上述所提到的对时序KPI的异常检测的方法所涉及到的数据等。
在一些实施例中，对时序KPI的异常检测的装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解，图4中示出的结构并不构成对对时序KPI的异常检测的装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的对时序KPI的异常检测的装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：对时序KPI的异常检测的方法，效果同上。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请提供的计算机可读存储介质包括上述提到的对时序KPI的异常检测的方法，效果同上。
为了使本领域的技术人员更好的理解本申请的技术方案，下面结合附图5对上述本申请作进一步的详细说明，图5为本申请实施例提供的对时序KPI的异常检测的整体流程图。该过程包括：
S16：基于滑动窗口对时序数据分割并做归一化处理；
S17：PTA算法采集样本的显著性特征，构造异常检测的特征序列；
S18：通过多级小波分解将PTA算法提取的显著性特征序列分解；
S19：通过ARIMA算法对多级小波分解出的各个分量进行拟合，并计算残差序列；
S20：使用3-sigma原理进行异常点判定。
由此可见，相比于依据经验设置阈值来确定时序数据中的异常点的装置，本实施例提供的方法中以时序数据为基础，对时序数据提取显著性特征并对提取出的显著性特征进行重构，依据显著性特征的差值获取到时序数据中的异常数据，因此可以提高对KPI的异常检测的准确性。
以上对本申请所提供的一种对时序KPI的异常检测的方法、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种对时序KPI的异常检测的方法，其特征在于，包括：
获取时序数据；
获取所述时序数据的原始的显著性特征序列；其中显著性特征用于表征所述时序数据中的异常数据；
将所述原始的显著性特征序列进行分解并获取分解后的各个分量；
将各所述分量进行拟合并将拟合后的各个分量上的值相加以便获取重构的显著性特征序列；
获取所述原始的显著性特征序列与所述重构的显著性特征序列的差值；
根据所述差值获取所述时序数据中的异常数据。
2.根据权利要求1所述的对时序KPI的异常检测的方法，其特征在于，所述获取所述时序数据的原始的显著性特征序列包括：
将所述时序数据进行傅里叶变换；
通过所述傅里叶变换获取所述时序数据的频谱信息；
根据所述频谱信息获取所述时序数据的相位谱信息以及幅度谱信息；
根据阈值对所述幅度谱信息进行谐调处理以便增强所述幅度谱信息的显著性特征；
通过傅里叶逆变换将所述相位谱信息以及增强显著性特征的所述幅度谱信息转换为空域上的数据；
通过高斯滤波器将所述空域上的数据进行平滑化处理以便输出所述时序数据的原始的显著性特征序列。
3.根据权利要求2所述的对时序KPI的异常检测的方法，其特征在于，所述将所述原始的显著性特征序列进行分解并获取分解后的各个分量包括：
通过小波分解将所述原始的显著性特征序列分解为n个高频分量以及1个低频分量；其中所述n等于所述小波分解的次数；
获取所述高频分量以及所述低频分量。
4.根据权利要求3所述的对时序KPI的异常检测的方法，其特征在于，所述将各所述分量进行拟合并将拟合后的各个分量上的值相加以便获取重构的显著性特征序列包括：
通过ARIMA算法对各所述分量进行拟合；
将拟合后的各个所述分量上的值相加并获取相加后的结果；
将所述相加后的结果作为所述重构的显著性特征序列。
5.根据权利要求4所述的对时序KPI的异常检测的方法，其特征在于，所述根据所述差值获取所述时序数据中的异常数据包括：
通过3-sigma算法对所述差值进行检测；
将超出3个标准差的值作为所述时序数据中的所述异常数据。
6.根据权利要求1所述的对时序KPI的异常检测的方法，其特征在于，所述获取时序数据包括：
按照固定频率采集所述时序数据。
7.根据权利要求1至6任意一项所述的对时序KPI的异常检测的方法，其特征在于，在所述根据所述差值获取所述时序数据中的异常数据之后，还包括：
对所述异常数据进行上报。
8.一种对时序KPI的异常检测的装置，其特征在于，包括：
第一获取模块，用于获取时序数据；
第二获取模块，用于获取所述时序数据的原始的显著性特征序列；其中所述显著性特征用于表征所述时序数据中的异常数据；
分解及获取模块，用于将所述原始的显著性特征序列进行分解并获取分解后的各个分量；
相加模块，用于将各所述分量进行拟合并将拟合后的各个分量上的值相加以便获取重构的显著性特征序列；
第三获取模块，用于获取所述原始的显著性特征序列与所述重构的显著性特征序列的差值；
第四获取模块，用于根据所述差值获取所述时序数据中的异常数据。
9.一种对时序KPI的异常检测的装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的对时序KPI的异常检测的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的对时序KPI的异常检测的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210467233.7A CN114844796A (zh) | 2022-04-29 | 2022-04-29 | 一种对时序kpi的异常检测的方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210467233.7A CN114844796A (zh) | 2022-04-29 | 2022-04-29 | 一种对时序kpi的异常检测的方法、装置及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114844796A true CN114844796A (zh) | 2022-08-02 |
Family
ID=82567280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210467233.7A Pending CN114844796A (zh) | 2022-04-29 | 2022-04-29 | 一种对时序kpi的异常检测的方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114844796A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115292659A (zh) * | 2022-08-02 | 2022-11-04 | 成都毅创空间科技有限公司 | 智能家居的时序数据异常检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108173686A (zh) * | 2017-12-26 | 2018-06-15 | 北京工业大学 | 一种基于arima和小波变换的云数据中心请求流预测方法 |
| CN111967508A (zh) * | 2020-07-31 | 2020-11-20 | 复旦大学 | 基于显著图的时间序列异常点检测方法 |
| CN112257917A (zh) * | 2020-10-19 | 2021-01-22 | 北京工商大学 | 一种基于熵特征和神经网络的时间序列异常模式检测方法 |
| CN113127716A (zh) * | 2021-04-29 | 2021-07-16 | 南京大学 | 一种基于显著性图的情感时间序列异常检测方法 |
| CN114168586A (zh) * | 2022-02-10 | 2022-03-11 | 北京宝兰德软件股份有限公司 | 一种异常点检测的方法和装置 |
-
2022
- 2022-04-29 CN CN202210467233.7A patent/CN114844796A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108173686A (zh) * | 2017-12-26 | 2018-06-15 | 北京工业大学 | 一种基于arima和小波变换的云数据中心请求流预测方法 |
| CN111967508A (zh) * | 2020-07-31 | 2020-11-20 | 复旦大学 | 基于显著图的时间序列异常点检测方法 |
| CN112257917A (zh) * | 2020-10-19 | 2021-01-22 | 北京工商大学 | 一种基于熵特征和神经网络的时间序列异常模式检测方法 |
| CN113127716A (zh) * | 2021-04-29 | 2021-07-16 | 南京大学 | 一种基于显著性图的情感时间序列异常检测方法 |
| CN114168586A (zh) * | 2022-02-10 | 2022-03-11 | 北京宝兰德软件股份有限公司 | 一种异常点检测的方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| TAE WOO JOO: "Time series forecasting based on wavelet filtering", 《EXPERT SYSTEMS WITH APPLICATIONS》, 15 May 2015 (2015-05-15), pages 1 - 3 * |
| TAE WOO JOO: "Time series forecasting based on wavelet filtering", 《EXPERT SYSTEMS WITH APPLICATIONS》, pages 1 - 3 * |
| 申润业: "SDN中时间序列智能异常检测", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 January 2022 (2022-01-15), pages 3 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115292659A (zh) * | 2022-08-02 | 2022-11-04 | 成都毅创空间科技有限公司 | 智能家居的时序数据异常检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110839016B (zh) | 异常流量监测方法、装置、设备及存储介质 | |
| Golyandina et al. | Singular spectrum analysis with R | |
| CN113518011B (zh) | 异常检测方法和装置、电子设备及计算机可读存储介质 | |
| CN111045894B (zh) | 数据库异常检测方法、装置、计算机设备和存储介质 | |
| CN113868006B (zh) | 时间序列的检测方法、装置、电子设备及计算机存储介质 | |
| CN111766253A (zh) | 锡膏印刷品质检测方法、数据处理装置及计算机存储介质 | |
| CN111310139B (zh) | 行为数据识别方法、装置及存储介质 | |
| CN110912737A (zh) | 一种基于混合模型的动态感知性能预告警方法 | |
| CN112988509A (zh) | 一种告警消息过滤方法、装置、电子设备及存储介质 | |
| CN114465874A (zh) | 故障预测方法、装置、电子设备与存储介质 | |
| CN114037478A (zh) | 广告异常流量检测方法、系统、电子设备及可读存储介质 | |
| CN114844796A (zh) | 一种对时序kpi的异常检测的方法、装置及介质 | |
| CN114120974A (zh) | 一种基于深度学习的风机叶片故障诊断方法 | |
| CN114168586A (zh) | 一种异常点检测的方法和装置 | |
| CN110598959A (zh) | 一种资产风险评估方法、装置、电子设备及存储介质 | |
| Ma et al. | EMD-based online Filtering of Process Data | |
| CN114564983A (zh) | 一种基于时频转换的水电机组状态监测特征信号处理方法 | |
| Fang et al. | Detecting anomalies and de-noising monitoring data from sensors: A smart data approach | |
| JP2009110262A (ja) | フィルタ装置、フィルタ装置のフィルタリング方法およびフィルタリングプログラム | |
| CN115296933B (zh) | 一种工业生产数据风险等级评估方法及系统 | |
| CN115310490B (zh) | 基于多域特征与敏感特征选择的旋转设备故障分析方法 | |
| CN113746862A (zh) | 一种基于机器学习的异常流量检测方法、装置和设备 | |
| CN116361695A (zh) | 异常数据检测方法以及装置 | |
| CN114676593A (zh) | 一种纺织设备的异常检测方法及相关装置 | |
| CN113590663B (zh) | 一种环境检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |