CN115442271A - 一种网络性能指标时序数据异常检测方法 - Google Patents

Abstract

本发明公开了一种网络性能指标时序数据异常检测方法，通过建立3个随着时间推移而滑动的滑动窗口，计算变异值vary、偏离度drift、异常评分score，用数据自身的特征，实时检测数据是否异常；本发明无需人工设定阈值，提高了异常检测的精准率，减少了工作量，降低了数据异常检测的人力成本；本发明不对数据做分解，不依赖数据周期，不依赖长期的历史数据，可以很好的适应网络状况的动态变化；本发明还基于第三个窗口的异常评分判断是否异常，异常评分基于数据本身计算得到，从而降低了报警的错误率，提高了整个网络环境的容错率。

Description

一种网络性能指标时序数据异常检测方法

技术领域

本发明涉及网络通信领域，具体涉及一种网络性能指标时序数据异常检测方法。

背景技术

在通信行业，为了保证网络健康稳定的提供服务，会对网络中采集到的性能指标数据进行检测，以判断网络运行是否正常，如果网络运行不正常，会影响网络服务的质量，需要采取补救措施。

当前的数据异常检测方法主要有：基于经验设置固定阈值的方法；基于历史数据构建预测模型检测数据中的异常。

网络是复杂且多样的，网络中有众多的终端、服务端以及连接两者之间的网络设备，形成了庞大而错综复杂的网络关系，采用基于经验设置固定阈值的方法，需要为每一条路径上的每一个指标设定阈值，工作量大，人力成本高，且阈值设定完全依靠人为经验，准确性差；网络运行过程中的路由信息是动态变化的，从一个IP到另一个IP的路由会随着网络状况动态切换，难以满足同一路径获得足够多的建模所需训练数据，基于历史数据构建模型的方法难以适应实际网络环境。

发明内容

本发明解决的技术问题是：克服了现有建模技术的缺点，提供了一种网络性能指标时序数据异常检测方法。

本发明的目的是通过以下技术方案来实现的：

一种网络性能指标时序数据异常检测方法，通过建立3个随着时间推移而滑动的滑动窗口，计算变异值vary、偏离度drift、异常评分score，用数据自身的特征，实时检测数据是否异常。

具体的，包括以下步骤：

步骤1：将获取到的时序数据，根据时间先后放入窗口长度均为WSize的时序滑动窗口W1、滑动窗口W2和滑动窗口W3；

步骤2：计算窗口W3内待检测数据相对于窗口W1内数据的变异值vary；

步骤3：根据滑动窗口W1、W2内的数据，计算密度估计值；

根据滑动窗口W1、W2内的数据，计算密度估计值，得到数据点的数据密度的连续估计，从而推断出数据总体的分布；

还包括核函数f(x)，所述核函数f(x)基于N个数据，所述密度估计值是与数据中每个点相关的核函数的平滑值之和，所述密度估计值的计算式为：

其中

为估计密度函数，K为核函数的函数符号，X为窗口W1、W2中进行密度估计的当前值，X_i为窗口W1、W2中第i个值；

所述估计密度函数

可收敛于核函数f(x)；

所述核函数能选取包括高斯核函数的函数，计算式为：

其中h为核函数带宽，d为数据的维度；

步骤4：计算敏感参数值shift；

根据步骤3得到的估计密度函数

以及预设的1-alpha置信水平，计算得到敏感参数值shift，计算式为：

shift＝x-y；x、y满足

其中，x为估计密度函数积分值等于1-alpha时的自变量取值，y为估计密度函数积分值等于0.5时的自变量取值；

所述alpha取值为0.01或0.05；

步骤5：计算窗口W3的偏离度drift；

步骤6：计算滑动窗口W3的异常评分score；

所述异常评分score的计算公式为：

score＝vary*power(if(drift≤(WSize/2-1),0,drift/(WSize/2)),p)

其中，p为基数乘幂运算的指数；

步骤7：判断窗口W3的异常评分score；

所述判断窗口W3的异常评分score包括以下子步骤：

若异常评分score<＝0，则识别为指标时序数据正常，滑动窗口W1、W2、W3按照时间轴方向同时右移1个单位，再次计算变异值vary、偏离度drift和异常评分score；

若异常评分score>0，则识别为指标时序数据异常，同时锁定窗口W1、W2，窗口W3按照时间轴方向右移1个单位，再次计算变异值vary、偏离度drift、异常评分score；

识别为指标时序数据异常后，若异常评分score连续两次<＝0，识别为指标时序数据异常结束，否则，识别为指标时序数据异常持续。

具体的，还包括基于数据源获取网络性能指标时序数据，再按照指标进行分组的步骤。

具体的，所述变异值vary表示当前数据的总量水平乘以其总体差异与基准数据相同计算口径的比值，计算表达式为：

其中，{x1,x2,…,x_n}∈W3；

{y1,y2,…,y_n}∈W1；

sum算子的定义如下：

stdeva算子定义如下：

具体的，所述偏离度表示滑动窗口W3内的数据中偏离特征上限的样本量，计算表达式为：

drift＝countif(w3,">"&average(w1)+shift)

其中，shift为偏离度的敏感参数；

average算子定义如下：

本发明的有益效果：

1.本发明克服了基于经验设置固定阈值的方法需要为每一条路径上的每一个指标设定阈值，工作量大，人力成本高，且阈值设定完全依靠人为经验，准确性差的不足。

2.本发明无需人工设定阈值，提高了异常检测的精准率，减少了工作量，降低了数据异常检测的人力成本；本发明不对数据做分解，不依赖数据周期，不依赖长期的历史数据，可以很好的适应网络状况的动态变化。

3.本发明基于第三个窗口的异常评分判断是否异常，异常评分基于数据本身计算得到，从而降低了报警的错误率，提高了整个网络环境的容错率。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

为了对本发明的技术特征、目的和有益效果有更加清楚的理解，现对本发明的技术方案精选以下详细说明。显然，所描述的实施案例是本发明一部分实施例，而不是全部实施例，不能理解为对本发明可实施范围的限定。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他所有实施例，都属于本发明的保护范围。

实施例1

一种网络性能指标时序数据异常检测方法，通过建立3个随着时间推移而滑动的滑动窗口，计算变异值vary、偏离度drift、异常评分score，用数据自身的特征，实时检测数据是否异常。

具体的，包括以下步骤：

步骤1：将获取到的时序数据，根据时间先后放入窗口长度均为WSize的时序滑动窗口W1、滑动窗口W2和滑动窗口W3；

步骤2：计算窗口W3内待检测数据相对于窗口W1内数据的变异值vary；

步骤3：根据滑动窗口W1、W2内的数据，计算密度估计值；

根据滑动窗口W1、W2内的数据，计算密度估计值，得到数据点的数据密度的连续估计，从而推断出数据总体的分布；

还包括核函数f(x)，所述核函数f(x)基于N个数据，所述密度估计值是与数据中每个点相关的核函数的平滑值之和，所述密度估计值的计算式为：

其中

为估计密度函数，K为核函数的函数符号，X为窗口W1、W2中进行密度估计的当前值，X_i为窗口W1、W2中第i个值；

所述估计密度函数

可收敛于核函数f(x)；

所述核函数能选取包括高斯核函数的函数，计算式为：

其中h为核函数带宽，d为数据的维度；

步骤4：计算敏感参数值shift；

根据步骤3得到的估计密度函数

以及预设的1-alpha置信水平，计算得到敏感参数值shift，计算式为：

shift＝x-y；x、y满足

其中，x为估计密度函数积分值等于1-alpha时的自变量取值，y为估计密度函数积分值等于0.5时的自变量取值；

所述alpha取值为0.01或0.05；

步骤5：计算窗口W3的偏离度drift；

步骤6：计算滑动窗口W3的异常评分score；

所述异常评分score的计算公式为：

score＝vary*power(if(drift≤(WSize/2-1),0,drift/(WSize/2)),p)

其中，p为基数乘幂运算的指数；

步骤7：判断窗口W3的异常评分score；

所述判断窗口W3的异常评分score包括以下子步骤：

若异常评分score<＝0，则识别为指标时序数据正常，滑动窗口W1、W2、W3按照时间轴方向同时右移1个单位，再次计算变异值vary、偏离度drift和异常评分score；

若异常评分score>0，则识别为指标时序数据异常，同时锁定窗口W1、W2，窗口W3按照时间轴方向右移1个单位，再次计算变异值vary、偏离度drift、异常评分score；

识别为指标时序数据异常后，若异常评分score连续两次<＝0，识别为指标时序数据异常结束，否则，识别为指标时序数据异常持续。

具体的，还包括基于数据源获取网络性能指标时序数据，再按照指标进行分组的步骤。

具体的，所述变异值vary表示当前数据的总量水平乘以其总体差异与基准数据相同计算口径的比值，计算表达式为：

其中，{x1,x2,…,x_n}∈W3；

{y1,y2,…,y_n}∈W1；

sum算子的定义如下：

stdeva算子定义如下：

具体的，所述偏离度表示滑动窗口W3内的数据中偏离特征上限的样本量，计算表达式为：

drift＝countif(w3,">"&average(w1)+shift)

其中，shift为偏离度的敏感参数；

average算子定义如下：

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。

需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM、RAM等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (5)

1.一种网络性能指标时序数据异常检测方法，其特征在于，通过建立3个随着时间推移而滑动的滑动窗口，计算变异值vary、偏离度drift、异常评分score，用数据自身的特征，实时检测数据是否异常。

2.根据权利要求1所述的一种网络性能指标时序数据异常检测方法，其特征在于，包括以下步骤：

步骤1：将获取到的时序数据，根据时间先后放入窗口长度均为WSize的时序滑动窗口W1、滑动窗口W2和滑动窗口W3；

步骤2：计算窗口W3内待检测数据相对于窗口W1内数据的变异值vary；

步骤3：根据滑动窗口W1、W2内的数据，计算密度估计值；

根据滑动窗口W1、W2内的数据，计算密度估计值，得到数据点的数据密度的连续估计，从而推断出数据总体的分布；

还包括核函数f(x)，所述核函数f(x)基于N个数据，所述密度估计值是与数据中每个点相关的核函数的平滑值之和，所述密度估计值的计算式为：

其中

为估计密度函数，K为核函数的函数符号，X为窗口W1、W2中进行密度估计的当前值，X_i为窗口W1、W2中第i个值；

所述估计密度函数

可收敛于核函数f(x)；

所述核函数能选取包括高斯核函数的函数，计算式为：

其中h为核函数带宽，d为数据的维度；

步骤4：计算敏感参数值shift；

根据步骤3得到的估计密度函数

以及预设的1-alpha置信水平，计算得到敏感参数值shift，计算式为：

shift＝x-y；x、y满足

其中，x为估计密度函数积分值等于1-alpha时的自变量取值，y为估计密度函数积分值等于0.5时的自变量取值；

所述alpha取值为0.01或0.05；

步骤5：计算窗口W3的偏离度drift；

步骤6：计算滑动窗口W3的异常评分score；

所述异常评分score的计算公式为：

score＝vary*power(if(drift≤(WSize/2-1),0,drift/(WSize/2)),p)

其中，p为基数乘幂运算的指数；

步骤7：判断窗口W3的异常评分score；

所述判断窗口W3的异常评分score包括以下子步骤：

若异常评分score<＝0，则识别为指标时序数据正常，滑动窗口W1、W2、W3按照时间轴方向同时右移1个单位，再次计算变异值vary、偏离度drift和异常评分score；

若异常评分score>0，则识别为指标时序数据异常，同时锁定窗口W1、W2，窗口W3按照时间轴方向右移1个单位，再次计算变异值vary、偏离度drift、异常评分score；

识别为指标时序数据异常后，若异常评分score连续两次<＝0，识别为指标时序数据异常结束，否则，识别为指标时序数据异常持续。

3.根据权利要求2所述的一种网络性能指标时序数据异常检测方法，其特征在于，还包括基于数据源获取网络性能指标时序数据，再按照指标进行分组的步骤。

4.根据权利要求2所述的一种网络性能指标时序数据异常检测方法，其特征在于，所述变异值vary表示当前数据的总量水平乘以其总体差异与基准数据相同计算口径的比值，计算表达式为：

其中，{x1,x2,…,x_n}∈W3；

{y1,y2,…,y_n}∈W1；

sum算子的定义如下：

stdeva算子定义如下：

5.根据权利要求2所述的一种网络性能指标时序数据异常检测方法，其特征在于，所述偏离度表示滑动窗口W3内的数据中偏离特征上限的样本量，计算表达式为：

drift＝countif(w3,">"&average(w1)+shift)

其中，shift为偏离度的敏感参数；

average算子定义如下：