CN110895598B - 基于多源预测的实时异常检测并行化方法 - Google Patents

Abstract

一种基于多源预测的实时异常检测并行化方法，实现了通用场景下针对多通道时间序列的无监督异常检测，底层的门控循环单元网络模型经训练后能够连续做出准确的序列推理，即预测给定帧的后续序列取值。采用多源预测的方式一方面提高了时序异常检测的鲁棒性，另一方面为上层检测算法的高度并行化提供支撑。其完全基于矩阵运算的、可高度并行化的、以多源预测结果为基础的时间序列异常检测算法，算法的输入、中间结果以矩阵形式存储，计算过程基于矩阵运算进行，适用于多线程的计算场景，结合现有的矩阵计算并行化方法容易实现高加速比，可大大降低复杂时间序列的异常检测开销。

Description

基于多源预测的实时异常检测并行化方法

技术领域

本发明涉及监控异常检测技术领域，具体涉及一种基于多源预测的实时异常检测并行化方法。

背景技术

异常检测是生产环境安全防护的基础，不仅在在系统安全监控、网络安全监控等IT运维工作中尤为重要，更是作为重要模块普遍存在于时间序列场景中，如灾害预警、医疗监控和智能交通。以服务器/网络异常检测为例，长期实践表明恶意攻击和安全异常的出现往往具有不规律性，攻击/异常产生的效果具有不可预测性，导致安全监控中对它们的侦测十分困难。

目前有非常多的异常/攻击(以下统称异常)判定技术被运用在各类监控场景中，典型如基于绝对阈值的异常侦测方法、基于相对变化的异常侦测方法、基于序列比对的异常侦测方法，但均存在一些问题，主要表现在：

a)基于绝对阈值的异常侦测方法和基于相对变化的异常侦测方法实现简单、运用广泛，虽然具有漏报率低的特点，但相应的误报率较高，导致监控系统产生过多冗余警报信息，带来不必要的人力和物力资源开销。

b)基于序列比对的异常侦测方法的基本原理是挖掘正常序列的模式并存储，进而比照正常模式和目标事件的时间序列片段来实现异常判定；该类方法普遍存在的问题是时间开销大，因为模式挖掘和序列比对两个环节均具有高时间复杂度；同时现存的序列比对算法大多仅适用单通道序列并且依赖基准序列的有效性，不能用于多通道安全事件的实时异常侦测。

发明内容

本发明为了克服以上技术的不足，提供了一种利用门控循环单元网络的时间序列预测模型实现可高度并行化的时间序列异常检测的方法。

本发明克服其技术问题所采用的技术方案是：

一种基于多源预测的实时异常检测并行化方法，包括如下步骤：

a)通过公式

构建非线性函数φ(x(t),θ(t)；L)功能的循环神经网络，式中t为时刻，x(t)为t时刻的时间帧向量，θ(t)为网络状态，L为探测距离，式中

为t时刻之后下一帧向量取值的预测，

为t时刻之后的第2帧的向量取值的预测，

为t时刻之后第L帧的向量取值的预测；

b)通过公式

建立一组局部序列预测的集合Z，式中

为t时刻的时间帧向量预测，

为k时刻的时间帧向量预测；

c)通过公式

将集合Z中的每一个预测序列

基于行进行矩阵化存储，式中q为第k时刻的前一帧，即q≡k-1；

d)通过公式

计算得到帧i的预测，其中

标示帧i的第j个分量，m为目标时间序列的通道数，j＝1,2,...,m；

e)通过公式

将集合Z中每一个预测序列

进行矩阵存储，提取以k时刻的帧为左端点，t时刻的帧为右端点的目标序列S(k,t)＝(x(k),...,x(t))，其中x(i)＝(x⁽¹⁾(i),x⁽²⁾(i),...,x^(m)(i))，i＝k,k+1,...,t，通过公式

将集合Z中局部序列S(k,t)进行矩阵存储；

f)通过公式

计算局部序列S(k,t)与局部序列的预测

的差异D(k,t)，式中d_k-1(i,j)为帧i在第j维分量上的预测值与实际值的差，即

g)通过公式Q＝{D(t-L+1,t),D(t-L+2,t),...,D(t,t)}得到一组距离集合Q，D(t-L+1,t),D(t-L+2,t),...,D(t,t)的计算方式采用并行计算；

h)通过公式

将集合Q用矩阵G表示，利用公式P＝P(t-L),P(t-L+1),...,P(t-1)记录距离集合Q中各预测源所对应的异常概率；

i)利用公式p(t)＝PG计算得到检测结果，p(t)即帧t的异常概率。

优选的，还包括将步骤f)中的公式

转化为公式

式中

为

与S(k,t)差的Frobenius范数，计算时

中每一行分配给一个CPU的线程，实现理论值区间为[1,L]的加速比。

优选的，还包括将步骤h)中基于行做并行化，将集合Q中的每一个元素的计算分配给一个CPU的线程

本发明的有益效果是：实现了通用场景下针对多通道时间序列的无监督异常检测，底层的门控循环单元网络模型经训练后能够连续做出准确的序列推理，即预测给定帧的后续序列取值。采用多源预测的方式一方面提高了时序异常检测的鲁棒性，另一方面为上层检测算法的高度并行化提供支撑。其完全基于矩阵运算的、可高度并行化的、以多源预测结果为基础的时间序列异常检测算法，算法的输入、中间结果以矩阵形式存储，计算过程基于矩阵运算进行，适用于多线程的计算场景，结合现有的矩阵计算并行化方法容易实现高加速比，可大大降低复杂时间序列的异常检测开销。

具体实施方式

下面对本发明做进一步说明。

一种基于多源预测的实时异常检测并行化方法，包括如下步骤：

a)根据时间序列的特征维度(即通道数)，构建并训练以序列的任一帧为输入，以下一帧为起始点，具有指定长度的局部序列(即预测序列)为输出的门控循环单元(GRU)网络模型，用于实现技术框架中的多源预测功能，使用循环神经网络(GRU是一种循环神经网络)建立预测模型的基本原理是将多通道序列的预测值构建为一个非线性函数。通过公式

构建非线性函数φ(x(t),θ(t)；L)功能的循环神经网络，式中t为时刻，x(t)为t时刻的时间帧向量，θ(t)为网络状态，L为探测距离，式中

为t时刻之后下一帧向量取值的预测，

为t时刻之后的第2帧的向量取值的预测，以此类推，

为t时刻之后第L帧的向量取值的预测。

b)在训练集上完成底层GRU网络模型的训练后，将目标时间序列上的帧逐个输入GRU网络模型中以获得连续的局部序列预测，即多源序列预测。具体的而言，设L为探测距离(由用户指定)，需要将帧t之前的L个帧(即x(t-L)到x(t-1))输入GRU网络模型，将输出序列均截取至

从而获得一组局部序列预测的集合Z，即：

其中

…

或可以将其统一表示为：

为t时刻的时间帧向量预测，

为k时刻的时间帧向量预测。即预期集合Z包含了一组局部序列预测，这些预测有L个前继帧(即帧x(t-L)到x(t-1))做出。预期集合Z即所提出技术框架所需的多源预测结果，用于支撑下一步的并行化异常检测算法。

c)收集在步骤b)中GRU网络模型产生的局部序列预测集合Z并基于行进行矩阵化存储，其中Z中的每一个预测序列

按矩阵形式存储为：

其中q为第k时刻的前一帧，即q≡k-1。

d)设目标时间序列有m个通道，通过公式表示预测得出的帧

为

其中

标示帧i的第j个分量，m为目标时间序列的通道数，j＝1,2,...,m。

e)通过公式

将集合Z中每一个预测序列

进行矩阵存储，提取以k时刻的帧为左端点，t时刻的帧为右端点的目标序列S(k,t)＝(x(k),...,x(t))，其中x(i)＝(x⁽¹⁾(i),x⁽²⁾(i),...,x^(m)(i))，i＝k,k+1,...,t，通过公式

将集合Z中局部序列S(k,t)进行矩阵存储。

f)使用一种维度、长度无关的平方欧氏距离(Dimension-and-length-independent Square Euclidean Distance)量化真实局部序列S(k,t)与局部预测

的差异，记为D(k,t)，显然D(k,t)∈[0,1]。具体的计算方法为：通过公式

计算局部序列S(k,t)与局部序列的预测

的差异D(k,t)，式中式中d_k-1(i,j)为帧i在第j维分量上的预测值与实际值的差，即

g)对于局部预期集合Z，其中包含的每一个局部预测

都可以利用上述矩阵运算求得其与真实序列的维度无关平方欧氏距离D(k,t)。由此，根据用户给定的探测距离L，可以进而通过公式Q＝{D(t-L+1,t),D(t-L+2,t),...,D(t,t)}得到一组距离集合Q，该集合大小亦为L，程序在实际运行过程中，集合Q中的每一个元素的计算可以分配给一个线程(逻辑核心)，D(t-L+1,t),D(t-L+2,t),...,D(t,t)的计算方式采用并行计算，该过程理想加速比为L。

h)通过公式

将集合Q用矩阵G表示，利用公式P＝P(t-L),P(t-L+1),...,P(t-1)得到距离集合Q的异常概率P。异常概率P的矩阵表示为

式中[]^T表示矩阵转置运算。

i)以这一组概率作为权重，对集合G各元素做加权求和操作，得到p(t)，矩阵运算为利用公式p(t)＝PG计算得到检测结果p(t)，输出p(t)即为异常检测算法的检测结果，即帧t的异常概率。

使用了一种应用在多通道时间序列数据上的“帧-序列”预测模型，该模型基于门控循环单元网络实现，以时间序列的任一帧为输入，输出以下一帧为起始点、具有指定长度的局部序列(即预测序列)，用于实现技术框架中的多源预测功能。实现了一种基于局部预期不一致性的异常检测算法及其并行化方法，该算法根据已知的历史序列产生的多源序列预测，评估当前(待测)目标帧窗口内序列走势与这些预期的不一致程度，进而估计帧的异常概率；检测算法的流程完全基于矩阵运算进行，实现了可有效提高算法加速比的一种并行化方法。

通过本专利的基于多源预测的实时异常检测并行化方法，实现了通用场景下针对多通道时间序列的无监督异常检测，底层的门控循环单元网络模型经训练后能够连续做出准确的序列推理，即预测给定帧的后续序列取值。采用多源预测的方式一方面提高了时序异常检测的鲁棒性，另一方面为上层检测算法的高度并行化提供支撑。其完全基于矩阵运算的、可高度并行化的、以多源预测结果为基础的时间序列异常检测算法，算法的输入、中间结果以矩阵形式存储，计算过程基于矩阵运算进行，适用于多线程的计算场景，结合现有的矩阵计算并行化方法容易实现高加速比，可大大降低复杂时间序列的异常检测开销。

进一步的，还包括将步骤f)中的公式

转化为公式

式中

为

与S(k,t)差的Frobenius范数，其定义为矩阵所有元素的平方之和，结果为标量。D(k,t)的计算完全基于矩阵进行，计算时

中每一行分配给一个CPU的线程，计算D(k,t)的加速比与

与S(k,t)的维度有关(二者的维度均为(t-k+1)×m)，理论值区间为[1，L])。

进一步优选的，还包括将步骤h)中基于行做并行化，将集合Q中的每一个元素的计算分配给一个CPU的线程(即逻辑核心)。即并行化D(t-L+1,t),D(t-L+2,t),...,D(t,t)的计算过程，改过程理想加速比为L。

Claims (3)

1.一种基于多源预测的实时异常检测并行化方法，其特征在于，包括如下步骤：

a)通过公式

构建非线性函数φ(x(t),θ(t)；L)功能的循环神经网络，式中t为时刻，x(t)为t时刻的时间帧向量，θ(t)为网络状态，L为探测距离，式中

为t时刻之后下一帧向量取值的预测，

为t时刻之后的第2帧的向量取值的预测，

为t时刻之后第L帧的向量取值的预测；

b)通过公式

建立一组局部序列预测的集合Z，式中

为t时刻的时间帧向量预测，

为k时刻的时间帧向量预测；

c)通过公式

将集合Z中的每一个预测序列

基于行进行矩阵化存储，式中q为第k时刻的前一帧，即q≡k-1；

d)通过公式

计算得到帧i的预测，其中

标示帧i的第j个分量，m为目标时间序列的通道数，j＝1,2,...,m；

e)通过公式

k＝t-L+1,2,...,t，将集合Z中每一个预测序列

进行矩阵存储，提取以k时刻的帧为左端点，t时刻的帧为右端点的目标序列S(k,t)＝(x(k),...,x(t))，其中x(i)＝(x⁽¹⁾(i),x⁽²⁾(i),...,x^(m)(i))，i＝k,k+1,...,t，通过公式

将集合Z中局部序列S(k,t)进行矩阵存储；

f)通过公式

计算局部序列S(k,t)与局部序列的预测

的差异D(k,t)，式中d_k-1(i,j)为帧i在第j维分量上的预测值与实际值的差，即

g)通过公式Q＝{D(t-L+1,t),D(t-L+2,t),...,D(t,t)}得到一组距离集合Q，D(t-L+1,t),D(t-L+2,t),...,D(t,t)的计算方式采用并行计算；

h)通过公式

将集合Q用矩阵G表示，利用公式P＝P(t-L),P(t-L+1),...,P(t-1)记录距离集合Q中各预测源所对应的异常概率；

i)利用公式p(t)＝PG计算得到检测结果，p(t)即帧t的异常概率。

2.根据权利要求1所述的基于多源预测的实时异常检测并行化方法，其特征在于：还包括将步骤f)中的公式

转化为公式

式中

为

与S(k,t)差的Frobenius范数，计算时

中每一行分配给一个CPU的线程，实现理论值区间为[1,L]的加速比。

3.根据权利要求1所述的基于多源预测的实时异常检测并行化方法，其特征在于：还包括将步骤h)中基于行做并行化，将集合Q中的每一个元素的计算分配给一个CPU的线程。