CN111555932B - 一种大规模不规则kpi时间序列异常检测方法 - Google Patents

Abstract

本发明公开了一种大规模不规则KPI时间序列异常检测方法，包括：步骤1.检测大规模KPI时间序列数据，判断其是否属于采样不规则数据；步骤2.对采样不规则数据进行数据处理；步骤3.检测处理后的数据，判断是否出现数据异常。

Description

一种大规模不规则KPI时间序列异常检测方法

技术领域

本发明涉及计算机、通信网络运行维护技术领域，尤其涉及一种大规模不规则KPI时间序列异常检测方法。

背景技术

大型计算机、通信网络环境下，为了保证向海量用户提供可靠、高效的服务，互联网服务的运维人员通常会使用一些关键性能指标来监测这些应用的服务性能。比如，一个应用服务在单位时间内被访问的次数，单位时间交易量，闪退、网络带宽、内存量等，这些指标被称为KPI指标，海量KPI指标数据以时间为序构成KPI时间序列。系统运维过程中需要对海量KPI数据进行分析，以监测系统的异常。理想情况下，采样的KPI时间序列为规则数据，但是在现有网络环境中，采样时往往会出现大规模不规则KPI时间序列的情况，而现有技术不能直接处理这些拥有不规则类型的KPI，在处理之前，需要进行各种预处理，如截断、补零等，这些处理或多或少的会使处理结果的精度下降。也即，常用的KPI异常检测方法无法很好的处理这一类 KPI。另外来自不同服务器的KPI通常遵循不同的采样策略，而基于这些不同的策略，KPI之间可能会存在各种差异化，例如采样时段不同，采样间隔不同，采样单位不同等等；甚至同一服务器也会出现由于不可控力而产生的采样策略的调整，导致产生了分段KPI。这些因素都会导致普通异常检测方法无法直接处理这些数据集的集合。

为此，本发明提供了一种大规模不规则KPI时间序列异常检测方法，能够对不规则采样的海量KPI时间序列数据进行异常检测，从而为系统异常分析提供依据。

发明内容

为实现本发明之目的，采用以下技术方案予以实现：

一种大规模不规则KPI时间序列异常检测方法，包括：步骤1. 检测采样不规则的大规模KPI时间序列数据，判断其类型；步骤2. 对采样不规则数据进行异常检测，判断是否出现数据异常。

所述的检测方法，其中采用以下方式进行采样不规则数据的检测：

首先进行分段不规则KPI的判定：

对于一组N条KPI，若其中的任意一条KPI，①:如果其不满足

则为分段不规则KPI；之后按照分段的时间点，将这一分段不规则KPI分段为2段或更多段KPI组，使其满足上述的条件，之后再对每组KPI分别判断其类型；②：若满足

说明该KPI组不是分段不规则类型，也即该KPI组可以直接用后续方法判断其所属的类型，其中： I₁,I₂......I_N分别是这些KPI的采样间隔，i表示KPI时间序列的序号； t表示KPI时间序列中各个采样数据的采样时间戳；n_i为某一KPI序列的采样数量；

各类型的分段不规则KPI按如下方法判断：

I₁＝I₂＝...＝I_N且n₁,n₂...n_N不全部相等；则该组KPI为等间不等量 KPI。

I₁,I₂,...I_N不全部相等，则为不等间KPI。

I₁,I₂,...I_N不全部相等且I₁×n₁＝I₂×n₂＝...＝I_N×n_N，则为等时长不等间KPI。

所述的检测方法，其中对等间不等量KPI时间序列数据，按以下方式对其进行异常检测：

对于两个KPI时间序列x＝(x₁,x₂,......x_m)和y＝(y₁,y₂,......y_n)，其中n、 m表示采样数量，假设n≥m，通过在x上滑动y来计算每个y的元素滑动s个单位之后的内积；

滑动s之后的KPI变化为：

x(s)＝(x₁,x₂,......x_m) (10)

对于所有可能的移位s∈[-n+1，m-1]，计算内积UCC_s(x,y)如公式(12)所示：

将UCC_s(x,y)其标准化，将值限制在[-1,1]内，其中1表示完全相同，-1表示两个时间序列完全相反：

将公式(13)中所获得的NUCC的值导入近邻算法模型KNN判断这些KPI时间序列是否异常。

所述的检测方法，其中对等时长不等间KPI时间序列数据，按以下方式对其进行异常检测：

A.关键绩效指标KPI的秩分析；

B.基于MF的KPI恢复。

所述的检测方法，其中步骤A包括：

将KPI数据建模为矩阵

其中N是KPI的数量，T是KPI的采样数量；

应用奇异值分解(SVD)来检查矩阵X是否具有良好的低秩结构，应用SVD之后，得到按降序排列的对角线元素(diag(σ₁,σ₂,...,σ_τ,0,...,0))；

前k个奇异值占总能量的比例如下：

设公式14的值为预定的阈值后计算得到矩阵X的k。

所述的检测方法，其中步骤B如下：

①元素拆分：读取所有KPI内的元素将各条KPI时间序列按行排列，每行为一条KPI时间序列，每行元素为按时间戳排列的该条KPI 时间序列中的采样数据；

②元素排列：

对于这N个等时长不等间KPI时间序列，每个序列的采样持续时间相同，用D_i＝D表示，D表示采样持续时间，i表示KPI时间序列的序号；

第i个KPI用

表示，x表示采样数据，t 表示采样时间戳，n表示采样数量，采样间隔通过

计算；

假设所有KPI的采样是同时开始的，即开始时间

将矩阵的列设置为所有采样数的最大公倍数GCD,设

T＝gcd(n₁,n₂...n_N)，命名为通用采样数，得到常规采样间隔I＝D/T 和常规采样时间t_j＝t_start+jD/T；

对于矩阵X，第i行包含第i个KPI时间序列的值，此时如果

即采样时间正好在常规采样时间，则说明第i行第j列上的元素x_ij是已知的，由此获得未填充的KPI矩阵：

③矩阵分解：

低阶矩阵可以视为两个较小矩阵的乘积。

X＝U×V^T (16)

其中U,V是两个因子矩阵，

k即为步骤A中得到的中间系数；

定义一个采样算子

来指示进行测量的位置，其中子集Ω由矩阵的所有已知元素组成：

X的近似值通过U行和V行的乘积获得：

其中U_i*是U的第i行，而V_j*是V的第j行；

最小化真实值和近似值之间的误差计算如下：

其中

是FROBENIUS范数；

U，V的梯度下降通过公式(19)进行计算：

通过上述步骤，得到最接近原始数据的还原矩阵X＝U×V^T；

将还原矩阵后导入规则KPI异常检测算法中进行异常检测。

附图说明

图1为KPI不规则的四种主要类型示意图；

图2为时间序列滑动示意图，2(a)为无滑动的情况，2(b),2 (c),2(d)分别为滑动距离；

图3为低秩特性示意图，其中3(a)为特征值，3(b)为前K个奇异值占总能量的比例；

图4为NUCC的F1分数示意图；

图5为DTW和MF的F1分数示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行详细说明。

大规模不规则KPI时间序列异常检测方法包括：步骤1.检测采样不规则的大规模KPI时间序列数据，判断其类型；步骤2.对采样不规则数据检测，判断是否出现数据异常。

步骤1中，规则数据是指在采样系统的KPI数据时，以相同的采样间隔和采样数量进行采样所获得的KPI时间序列数据。而不同采样策略下产生的KPI不规则主要可以分为四种类型：等间不等量，不等间，等时长不等间和分段不规则，如图1a-1d所示。等间不等量是指采用相同的采样间隔但是采样数量不同；不等间采样是指采样间隔时间不同，因此每一个样本点表示的时间不一定一致；等时长不等间是指在相同的采样时间窗口内，进行不等间隔的采样；分段不规则是指在不同时间区间使用了不同的采样间隔。本发明采用以下方式进行不规则数据的检测：

本发明采用以下方式进行不规则数据的检测：

首先进行分段不规则KPI的判定：

对于一组N条KPI，若其中的任意一条KPI，①:如果其不满足

则为分段不规则KPI。之后按照分段的时间点，将这一分段不规则KPI分段为2段或多段KPI组，使其满足上述的条件，之后再对每组KPI分别判断其类型。②：若满足

说明该KPI组不是分段不规则类型，也即该KPI组可以直接用后续方法判断其所属的类型，其中： I₁,I₂......I_N分别是这些KPI的采样间隔，i表示KPI时间序列的序号； t表示KPI时间序列中各个采样数据的采样时间戳；n_i为某一KPI序列的采样数量。

各类型的不规则KPI按如下方法判断：

I₁＝I₂＝...＝I_N且n₁,n₂...n_N不全部相等；则该组KPI为等间不等量 KPI。

I₁,I₂,...I_N不全部相等，则为不等间KPI。

I₁,I₂,...I_N不全部相等且I₁×n₁＝I₂×n₂＝...＝I_N×n_N，则为等时长不等间KPI。

步骤2中，对采样不规则KPI时间序列数据，按以下方式对其进行异常检测。

不规则KPI，根据其与规则KPI的相异之处——比如采样数量不一致或者采样间隔不一致，将其分为不等量、不等间两大类。其中不等量KPI代表了采样数量不一致的不规则KPI，不等间KPI则代表了采样间隔不一致的不规则KPI。不等间KPI还包含了等时长不等间KPI 这一特殊类型。由于时间段在采样策略中更常用，等时长不等间KPI 是更常见的采样类型。

(1)等间不等量处理方法

这一类不规则KPI在采样时使用的是相同的采样间隔，但是采样的数值数量并不相同。由于KPI中可能存在相移偏差，会导致在单纯的使用时间戳将KPI进行对齐时，可能会产生较大的误报率。因此，有必要对KPI的相移偏差进行一定的处理。可以采用本发明首次提出的标准化不等长互相关距离对这一类KPI时间序列数据进行处理以计算其距离度量。

标准化不等长互相关距离(NUCC)：NUCC是不等长互相关距离的标准化版本。其定义如下，对于两个KPI时间序列x＝(x₁,x₂,......x_m)和 y＝(y₁,y₂,......y_n)，其中n、m表示采样数量，假设n≥m，互相关通过在x上滑动y来计算每个y的元素滑动s个单位之后的内积，图2表示滑动之后的情况，其中2(a)为无滑动的情况，2(b),2(c)和2 (d)分别为滑动距离s满足s≥0、m-n≤s＜0以及s＜m-n的情况；滑动s之后的KPI变化为：

x(s)＝(x₁,x₂,......x_m) (10)

对于所有可能的移位s∈[-n+1，m-1]，我们可以计算出来内积UCC_s(x,y)作为具有相移S的时间序列x和y之间的相似性。定义如公式(12)所示

不等长互相关距离是UCC_s(x,y)的最大值，这表示在最佳相移S处 x和y之间的相似性。将其标准化，将值限制在[-1,1]内，其中1表示完全相同，-1表示两个时间序列完全相反：

使用NUCC作为距离度量可以有效的减少相移偏差带来的误差影响，将任意两条等间不等量KPI时间序列的距离计算出来之后，就可以将这些数据(例如公式13中所获得的NUCC的值)导入近邻算法模型KNN等模型，来判断这些KPI时间序列是否异常。

图4显示了使用NUCC和直接使用明可夫斯基距离作为包含异常的等量不等间数据异常检测的距离度量时的F1分数，其中KNN的参数选择为默认的K＝5。可以看到，NUCC在各个数据集中的表现都要更优。F1分数在不同数据中提高了1％到7％个百分点，其中CinCECGTorso的性能提升较小，主要原因是该数据集的数据值较为平缓，偏移对该数据集的影响较小。

(2)不等间不规则KPI处理方法：由于采样间隔设置不一致导致，由于采样的窗口大小不一致，且无法直接对齐，这一类KPI可以通过已知的DTW(DYNAMIC TIME WARPING，动态时间归整)算法进行计算其距离度量，再导入近邻算法模型KNN等模型，来判断这些KPI时间序列是否异常。

(3)等时长不等间处理方法

由于采样算法在一个固定大小的采样窗口内，进行不等间隔的采样所以产生了等时长不等间的不规则KPI数据。这一类不规则KPI可以视为不等间KPI的特殊情况，在实际的采样情况下，这一类KPI出现的频率是相对更大的，因为操作员更偏向于在特定的时间内进行不规则采样，而不是完全随机的进行采样。

等时长不等间KPI可以视为不完整的数据，在某个时间点，一些 KPI有数据，而某些KPI没有数据。如果我们可以在这些没有数据的位置进行填充，则所有KPI的长度都相等，我们就可以使用现有的相似性度量来减少计算成本。如果KPI数据是低秩的，则典型的矩阵分解可以解决此填充问题。因此，我们针对等时长不等间KPI设计了一种基于矩阵分解的恢复方法。

A.关键绩效指标KPI的秩分析

我们将KPI数据建模为矩阵

其中N是KPI的数量，T是KPI 的采样数量。如果KPI规则，则所有KPI的采样数均相同。基于真实的KPI数据集，我们分析了KPI的低秩特征。在不同系统和时间收集的 KPI不是独立的，存在固有的数据冗余。我们首先应用奇异值分解(SVD) 来检查有多条KPI时间序列构成的矩阵是否具有良好的低秩结构(具有良好的低秩结构的矩阵在采用MF处理时计算量较小，反之计算量较大)。应用SVD之后，我们可以得到奇异值按降序排列的对角矩阵 (diag(σ₁,σ₂,...,σ_τ,0,...,0))。该对角矩阵的秩等于其非零奇异值的数量。

根据PCA(主成分分析)，如果矩阵的秩较低，则其前k个奇异值将占据总能量或接近总能量

我们使用的度量是前k个奇异值占总能量的比例：

KPI矩阵的奇异值如图3(a)所示。图3(b)显示了由KPI的前K个奇异值捕获的总能量的比例。图3(b)中显示了前20个奇异值捕获了实际迹线中70％-90％的方差。这些结果表明数据矩阵X具有良好的低秩近似。低秩性是使用矩阵填充功能的先决条件。我们认为98％的能量已经能够包含矩阵的所有信息，因此我们选择对应的秩k作为之后矩阵分解的中间系数。

B.基于MF(矩阵分解)的KPI恢复

当KPI不规则时，行的长度是不同的，这使得很难直接形成规则矩阵。为了形成规则矩阵，我们对齐KPI，并让所有KPI扩展到相同的长度。然后，矩阵的某些元素具有值，而某些元素则没有现成的值。由于目标矩阵在步骤A中被证明是低秩的，因此可以通过矩阵分解来填充丢失的元素：

①元素拆分：读取所有KPI内的元素，读取后按顺序排列，即将各条KPI时间序列按行排列，每行为一条KPI时间序列，每行元素为按时间戳排列的该条KPI时间序列中的采样数据。

②元素排列：

对于这N个等时长不等间KPI时间序列，每个序列的采样持续时间相同，用D_i＝D表示(D表示采样持续时间，i表示KPI时间序列的序号)。第i个KPI用

表示(x表示采样数据， t表示采样时间戳，n表示采样数量)，采样间隔可以通过

来计算。我们假设所有KPI的采样是同时开始的，即开始时间

为了不引入太多冗余，以致增加MF的计算开销，我们将矩阵的列设置为所有采样数的GCD(最大公倍数)，T＝gcd(n₁,n₂...n_N)，命名为通用采样数。然后，我们可以获得常规采样间隔I＝D/T和常规采样时间t_j＝t_start+jD/T(j∈R)。

对于矩阵X，第i行包含第i个KPI时间序列的值，此时如果

即采样时间正好在常规采样时间，则说明第i行第j列上的元素x_ij是已知的。其他情况则未知。因此，我们可以获得未填充的KPI矩阵。

例如，有N个KPI。采样数为2、3或6个值。一般采样数为6＝GCD (2,3,6)。因此，第一行的第一和第四元素是

第i行的元素和第N行的第一，第三和第五个元素都是已知的，其余元素未知，需要恢复。

③矩阵分解：

低阶矩阵可以视为两个较小矩阵的乘积。

X＝U×V^T (16)

其中U,V是两个因子矩阵，

k即为步骤A中得到的中间系数，这个系数越小，计算耗费的资源就越少。我们定义一个采样算子

来指示进行测量的位置，其中子集Ω由矩阵的所有已知元素组成。

X的近似值可以通过U行和V行的乘积获得。

其中U_i*是U的第i行，而V_j*是V的第j行。

正则化MF的目的是最小化真实值和近似值之间的误差，通过公式 (19)实现，如下：

其中

是FROBENIUS范数。后一部分是分解子矩阵的欧几里得范式，以防止矩阵项出现负值。U，V的梯度下降可通过公式(20)进行计算，MF有一种随机的梯度下降(SDG)算法。

通过上述步骤，我们得到了最接近原始数据的还原矩阵X＝U×V^T。得到还原矩阵后，可以将其导入规则KPI异常检测算法(例如KNN等模型)中进行异常检测。我们将上述方法统一简称为MF。

通过上述方法进行实验，结果表明，该方法较DTW的方法所用的时间缩短了98％，而性能表现则类似。图5显示了分别使用MF、DTW和直接使用明可夫斯基距离作为包含异常的等时长不等间数据异常检测的距离度量时的F1分数，KNN的参数同样选择为默认的K＝5。可以看到，MF和DTW在各个数据集中的表现都要更优于明可夫斯基距离，而在CricketX和CinCECGTorso中，MF的表现甚至要优于DTW。如表1(表 1为MF和DTW的消耗时间示意图；)所示，该方法较DTW的方法所用的时间缩短了约98％。这是由于DTW是对KPI的长度非常敏感的距离度量，算法复杂度为O(N²)，当KPI的长度变大时，DTW的运行时间会呈几何级增长。通过本发明，使得这些不规则KPI的异常检测能够快速有效的进行，这些异常KPI的数据可以直接使用，而无需任何特别的处理。

表1

(4)分段不规则KPI：如果KPI的采样在一天中的不同时间遵循不同的采样频率，则可以根据采样频率改变的时间将KPI分解成两个或多个子KPI，包括规则的子KPI与不规则的子KPI。操作员一般会在统一的时间进行采样频率的改变，基于这个原因，可以对在相同的采样时间段内采样的各个子KPI进行组合，之后就可以针对该子KPI集的实际情况选择如上所介绍的相应的方法进行距离度量，最后进行异常检测。

通过本发明，能够对不规则采样的海量KPI时间序列数据进行异常检测，从而为系统异常分析提供依据。

Claims (1)

1.一种大规模不规则KPI时间序列异常检测方法，其特征在于包括：

步骤1.检测采样不规则的大规模KPI时间序列数据，判断其类型：首先进行分段不规则KPI的判定：

对于一组N条KPI，若其中的任意一条KPI，①:如果其不满足

则为分段不规则KPI；之后按照分段的时间点，将这一分段不规则KPI分段为2段或更多段KPI组，使其满足上述的条件，之后再对每组KPI分别判断其类型；②：若满足

说明该KPI组不是分段不规则类型，也即该KPI组可以直接用后续方法判断其所属的类型，其中：I₁,I₂......I_N分别是这些KPI的采样间隔，i表示KPI时间序列的序号；t表示KPI时间序列中各个采样数据的采样时间戳；n_i为某一KPI序列的采样数量；

各类型的分段不规则KPI按如下方法判断：

I₁＝I₂＝...＝I_N且n₁,n₂...n_N不全部相等；则该组KPI为等间不等量KPI；

I₁,I₂,...I_N不全部相等，则为不等间KPI；

I₁,I₂,...I_N不全部相等且I₁×n₁＝I₂×n₂＝...＝I_N×n_N，则为等时长不等间KPI；

步骤2.对采样不规则数据进行异常检测，判断是否出现数据异常，其中：

其中对等间不等量KPI时间序列数据，按以下方式对其进行异常检测：

对于两个KPI时间序列x＝(x₁,x₂,......x_m)和y＝(y₁,y₂,......y_n)，其中n、m表示采样数量，假设n≥m，通过在x上滑动y来计算每个y的元素滑动s个单位之后的内积；

滑动s之后的KPI变化为：

x(s)＝(x₁,x₂,......x_m) (10)

对于所有可能的移位s∈[-n+1，m-1]，计算内积UCC_s(x,y)如公式(12)所示：

将UCC_s(x,y)其标准化，将值限制在[-1,1]内，其中1表示完全相同，-1表示两个时间序列完全相反：

将公式(13)中所获得的NUCC的值导入近邻算法模型KNN判断这些KPI时间序列是否异常；

对不等间不规则KPI时间序列数据，按以下方式对其进行异常检测：对不等间不规则KPI时间序列数据通过动态时间归整算法进行计算其距离度量，再导入近邻算法模型KNN等模型，来判断该不等间不规则KPI时间序列是否异常；

对等时长不等间KPI时间序列数据，按以下方式对其进行异常检测：

A.关键绩效指标KPI的秩分析；

B.基于MF的KPI恢复。

Images