CN107786388B - 一种基于大规模网络流数据的异常检测系统 - Google Patents

Abstract

本发明提供一种基于大规模网络流数据的异常检测系统，通过对输入的网络流数据进行采样和实时的三角形数目估计，检测当前网络中的某个点或某些点是否存在异常连接，包括数据预处理，网络流数据采样，网络建模及三角形数目估计和异常检测这四个子系统；在给定的网络流提取出有用的信息；利用PartitionCT算法对流数据进行等概率采样，建立相应的网络模型，并实时的估计全局或局部三角形数量；利用该结果对网络中是否存在异常进行判别；本发明可用于网络流采样；可用于估计网络流图中不同边的数目；也可用于动态估计网络中三角形数目并估计网络密度；还可以根据估计出的全局或局部三角形数目，进行网络或单个节点的异常检测等。

Description

一种基于大规模网络流数据的异常检测系统

技术领域

本发明属于数据挖掘技术领域，特别涉及一种基于大规模网络流数据的异常检测系统。

背景技术

随着互联网技术和通信技术的应用与发展，复杂网络开始在科学技术的各个领域有着广泛的应用。例如，计算机网络流量可以被表示为一个有向网络，其中一个节点代表一台计算机，而一条边表示一台计算机向另一台传递的数据包。这些网络结构可以很清晰的表示节点与节点之间的复杂关系，很多通过图结构计算出来的特征被用于社团检测、异常节点检测等实际问题中。

而随着需要处理的数据也越来越多，很多图结构的大小是我们不可预知的，存储这些图结构需要耗费大量的物力人力，因此大量数据以流图的形式呈现在人们面前。流图并不实际存储一个完整的图结构，而是在每一条数据到来时动态的去计算某些预先设定的指标。

这里我们关注的是实时地处理大规模网络流数据，例如网络流量、大型社交网络中好友关系的建立等；并对网络中地异常情况做出快速判断。但是由于数据量地巨大和设备资源地限制，我们并不能实时地去处理每一条数据。因此，主流方法通常采用采样的方式来近似的估计网络流中的各种指标；即设定一个随机数产生器，和一个阈值用来代表采样概率；若该随机数产生器生成的值小于该阈值，则对其进行采样。

然而，主流方法用在实际网络流中通常会产生很多问题。一是，这些方法一般没有考虑网络流中的重复问题，例如：网络流量中多个包可能具有相同的源地址和目的地址，通话网络中的用户也大都存在重复通话行为。显而易见，这样会造成重复流被采样概率的增大和其他流被采样概率的减小，产生很大的判别误差。二是，这种采样方法的阈值不好设定，面对规模未知的数据流，很容易出现内存溢出，造成系统崩溃。

此外，主流方法通常只考虑了网络流中内容信息。但是由于异常种类的多变性，以及攻击者的故意伪装，只考虑网络流中内容信息的异常检测方法实际上很难奏效。而在研究中我们发现，异常的发生通常伴有网络中全局或局部结构的变化。

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于大规模网络流数据的异常检测系统，与传统方法相比，本发明的一项优势在于，能够检测大规模流数据的异常问题。本发明的另一项优势在于，解决了常规采样算法不能很好的在重复流数据等概率采样的问题。本发明的又一项优势在于，结合网络结构特征来判断节点和网络上的异常，明显提高了判断精度。

为了实现上述目的，本发明采用的技术方案是：

基于大规模网络流数据的异常检测系统，包括：

数据预处理子系统，实现输入数据的预处理，将原始流数据进行解析，处理成容易进行后续操作的三元组。

具体地，数据预处理子系统对给定的原始流数据进行解析，提取出流数据中的源节点、目的节点和所需的流信息。即三元组L＝(u,v,l)的第一项为源节点，第二项为目的节点，最后一项为所需的流信息。值得注意的是，三元组中最后一项可以为空，此时三元组中只包含流数据的方向信息。

网络流数据采样子系统，对不同的三元组进行等概率采样，以数组的形式进行存储；并不断更新非重复边的估计值，以及采样边权重。

具体地，本发明提出了一种PartitionCT算法，在重复流数据中对每条非重复边进行等概率采样，得到一个元素为三元组类型的数组。为了实时估计该网络流中的全局和局部三角形数目，本发明可以以常数时间复杂度更新采样数组、非重复边的估计值及采样边权重。同时采样数组的大小可以根据需要自行设定，满足高效、准确的要求。

网络建模及三角形数目估计子系统，通过分析采样后的三元组，建立并更新节点的网络模型，以邻接表的形式存储；并不断更新全局和局部三角形计数器。

具体地，所述网络建模及三角形数目估计子系统使用邻接表作为存储结构来存储网络结构；邻接表使用两个索引：某一结点和流信息；存储信息为另一节点。在更新网络结构的同时，系统计算该操作引起的全局和局部三角形数目变化，并输出当前的全局和局部三角形数目向量。

本发明又包括；

异常检测子系统，利用网络建模及三角形数目估计子系统估计出的全局或局部三角形估计值，检测单个节点或整个网络中是否存在异常情况。

具体地，可利用得到的特征三角形向量训练多种分类器，对节点或网络异常做出判断，最后综合判断是否发生异常情况。本发明目前使用了SVM，Logistic回归和线性回归三种分类器，这三种分类器的优点是实现简单，运行效率高，分类准确率高。

本发明网络可以是通话网络，流量网络，社交网络好友关系等。

与现有技术相比，本发明的有益效果是：

1、能够检测大规模流数据的异常问题。

本发明使用一种原创PartitionCT算法，可以根据设定的采样数组大小对任意规模的数据流进行采样；既可以保证系统内存不会因为数据量过大而溢出，还可以保证运算效率，做到实时反馈。

2、解决了常规采样算法不能很好的在重复流数据等概率采样的问题。

本发明采用两个哈希函数对数据流进行采样，保证相同的数据流的映射值相同，解决了常规的阈值采样或蓄水池采样不能等概率对重复数据流进行采样的问题。

3、结合网络结构特征来判断节点和网络上的异常，明显提高了判断精度。

本发明将网络结构和流信息相结合，相较于独立使用流信息或网络建模的异常检测技术，判断精度有了明显提升。

附图说明

图1为本发明系统整体结构图。

图2为本发明数据预处理子系统流程图。

图3为本发明网络流数据采样子系统流程图。

图4为有向流图中三角形形式说明图。

图5为本发明网络建模及三角形数目估计子系统流程图。

图6为本发明异常检测子系统流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面结合附图和实施例详细说明本发明的实施方式。

如图1所示，本系统由四个子系统组成，分别是数据预处理子系统，网络流数据采样子系统，网络建模及三角形数目估计子系统和异常检测子系统。系统的输入数据为特定的流数据，如计算机网络流量中的数据包、通话网络中的通话记录及在线社交网络中的好友关系等。

首先，将上述时空轨迹数据输入数据预处理子系统，用于将原始流数据解析为网络流图中的边。

接着，处理后的流数据进入网络流数据采样子系统，使用一种原创的PartitionCT算法对每一条非重复边进行等概率采样。

在更新采样数组的同时，网络建模及三角形数目估计子系统不断更新采样图网络结构，并估计全局或局部三角形数目。

最后，将估计出的全局或局部三角形统计量送入异常检测子系统，通过预先设定的异常指标和异常阈值，来检测网络中的异常节点和整体异常情况的发生。

本发明中各个子系统的详细介绍如下：

1、数据预处理子系统

主要实现输入数据的预处理，包括将给定的流数据处理为容易进行后续操作的三元组。

具体地，如图2所示，数据预处理子系统对给定流数据的处理过程如下：

提取原始的流数据包含流的源节点，目的节点和该流数据包含的信息；表示为三元组L＝(u,v,l)，u为源节点，v为目的节点，l为所需的流信息。这样就得到了一条包含边信息的流数据三元组，能够反应流数据的流向和其包含的信息。

值得注意的是，三元组中的l可以根据实际需要来设定为不同的数据类型；例如在通话网络中，l可以设定为表示通话时间的标量；在短信流中，可以设定为字符串数组来存储短信中的关键词。

2、网络流数据采样子系统

主要功能是对经过预处理的流数据进行等概率采样。

具体地，如图3所示，网络流数据采样及三角形数目估计子系统对流数据三元组L_i的处理过程如下：

首先，将采样数组定义为B，其大小为|B|＝k，元素b_j＝(x_j,y_j,z_j)∈B，j＝1,2,...,k与流数据三元组L具有相同的数据类型；初始化定义当前网络流中不同边的数目为

并初始化

定义采样边权重为q，并初始化q←1。其中←表示赋值操作，将后者的值赋给前者。

为采样模块定义两个哈希函数。H₁:N²→[0,+∞)，将三元组中的源节点和目的节点随机映射到[0,+∞)区间，该哈希函数映射出的值满足参数为0.5的几何分布。其中，H₁(0,0)＝0。H₂:N²→{1,2,...,k}，将三元组中的源节点和目的节点随机映射到{1,2,...,k}共k个整数中，H₂映射出的值满足均匀分布。其中，N表示自然数集合，→表示从前者到后者的映射关系。此外，H₁和H₂均满足自反性，即H₁(u,v)＝H₁(v,u)，H₂(u,v)＝H₂(v,u)；这样既可以保证重复边落入相同的容器内，又可以保证在数据流中的每条边的相同概率采样。

当三元组L＝(u,v,l)到来时，令哈希值j＝H₂(u,v)，b_j＝(x_j,y_j,z_j)∈B，分为4种情况处理：

(1)若b_j为空，令b_j＝L；

(2)若b_j＝L，更新z_j←z_j∪l；

(3)若b_j不为空，并且b_j≠L，并且H₁(u,v)>H₁(x_j,y_j)，令b_j＝L；

(4)否则等待下一条数据流；

对于情况(1)(3)，系统更新

而对于(2)(4)，

和q的值保持不变。

3、网络建模及三角形数目估计子系统

主要功能是构建网络模型，并实时更新网络中的全局和局部三角形数目。

具体地，在更新采样数组后，系统也将更新网络结构并估计当前的全局或局部三角形个数。将网络结构表示为邻接表形式。网络中第m种三角形计数表示为

为全局三角形计数；对应的，包含节点u的第m种三角形计数表示为

为局部三角形计数。当三元组中l_i为空时，即数据流中只包含流的方向信息；共有7种不同的三角形结构，即m＝1,2,...,7，如图4所示。当三元组L＝(u,v,l)被采样后，根据不同情况更新邻接表G和对应的三角形计数：G_u表示邻接表G中索引为节点u的所有数组；G_u,l表示邻接表G中索引为节点u和边信息l的数组

(1)在邻接表G中添加采样边：G_u,l←G_u,l∪v，G_v,l←G_v,l∪u；对每个节点w∈G_u∩G_v，对应的计数器

(2)在邻接表G中更新原采样边：

对每个节点w∈G_u∩G_v，对应的计数器

对每个节点w∈G_u∩G_v，对应的计数器

(3)在邻接表G中删除原采样边，并添加新采样边：

对每个节点w∈G_u∩G_v，对应的计数器

G_u,l←G_u,l∪v，G_v,l←G_v,l∪u；对每个节点w∈G_u∩G_v，对应的计数器

(4)保持邻接表、全局和局部三角形计数不变。

接着，得到当前网络流图中的全局和局部三角形数目估计值：

其中

表示当前采样网络中三角形的权重。

综上，如图5所示，网络建模及三角形数目估计子系统的流程如下：

输入采样后的三元组，按(1)-(4)分情况更新网络结构、全局和局部三角形计数。网络建模及三角形数目估计子系统的输出为全局三角形数目向量ψ∈Ν^1×M，以及网络中每个节点u的局部三角形数目向量ψ_u∈Ν^1×M；其中M为三角形种类总数。

4、异常检测子系统

主要功能是利用网络建模及三角形数目估计子系统估计出的全局或局部三角形估计值，检测单个节点或整个网络中是否存在异常情况。

本发明目前使用了SVM，Logistic回归和线性回归三种分类器对全局(整个网络)或局部(单个节点)异常做出判别。现有的scikit-learn工具提供了大量分类器算法，可以利用其中的算法来实现分类预测子系统中的部分功能。scikit-learn是一个基于Python的科学计算库，提供了数种分类算法可供选择，分类预测子系统选择了SVM分类器(sklearn.svm)，Logistic回归(sklearn.linear_model.LogisticRegression)，和线性回归(sklearn.linear_model.LinearRegression)。

如图6所示，从网络建模及三角形数目估计子系统获得的全局三角形数目向量ψ，以及网络中每个节点u的局部三角形数目向量ψ_u。通过分析正常网络和异常网络，可以得到其特征三角形向量，使用这部分样本向量作为训练集，训练分类器，再使用该分类器对当前数据流的异常性进行判断。由于分类器可能有错判，因此分类预测子系统使用了三种分类器同时对用户进行预测，如果多数分类器预测出了同一结果，则取该预测结果作为最终判断。

综上，本发明提供一种基于大规模网络流数据的异常检测系统。提出原创的PartitionCT算法对流数据进行等概率采样，建立相应的网络模型，并实时的估计全局或局部三角形数量；利用该结果对网络中是否存在异常进行判别。本发明可用于网络流采样；可用于估计网络流图中不同边的数目；也可用于动态估计网络中三角形数目并估计网络密度；还可以根据估计出的全局或局部三角形数目，进行网络或单个节点的异常检测等。

Claims (7)

1.基于大规模网络流数据的异常检测系统，其特征在于，包括：

数据预处理子系统，实现输入数据的预处理，将原始流数据进行解析，处理成容易进行后续操作的三元组L＝(u,v,l)，u为源节点，v为目的节点，l为所需的流信息；

网络流数据采样子系统，对不同的三元组进行等概率采样，以数组的形式进行存储；并不断更新非重复边的估计值，以及采样边权重；

网络建模及三角形数目估计子系统，通过分析采样后的三元组，建立并更新节点的网络模型，以邻接表的形式存储；并不断更新全局和局部三角形计数器；

异常检测子系统，利用网络建模及三角形数目估计子系统估计出的全局或局部三角形估计值，检测单个节点或整个网络中是否存在异常情况。

2.根据权利要求1所述基于大规模网络流数据的异常检测系统，其特征在于，所述三元组中l为空，此时三元组中只包含流数据的方向信息。

3.根据权利要求1所述基于大规模网络流数据的异常检测系统，其特征在于，所述网络流数据采样子系统应用PartitionCT算法对数据流三元组进行采样：将采样数组定义为B，其大小，即存储数据的个数为|B|＝k，元素b_j＝(x_j,y_j,z_j)∈B，j＝1,2,...,k，与流数据三元组L具有相同的数据类型；初始化

定义当前网络流中不同边的数目为并初始化定义采样边权重为q，并初始化q←1，其中←表示赋值操作，将后者的值赋给前者。

4.根据权利要求3所述基于大规模网络流数据的异常检测系统，其特征在于，定义两个哈希函数：

H₁:N²→[0,+∞)，将三元组中的源节点和目的节点随机映射到[0,+∞)区间，H₁映射出的值满足参数为0.5的几何分布，其中H₁(0,0)＝0；

H₂:N²→{1,2,...,k}，将三元组中的源节点和目的节点随机映射到{1,2,...,k}共k个整数中，H₂映射出的值满足均匀分布；

其中，N表示自然数集合，→表示从前者到后者的映射关系，H₁和H₂均满足自反性，即H₁(u,v)＝H₁(v,u)，H₂(u,v)＝H₂(v,u)。

5.根据权利要求4所述基于大规模网络流数据的异常检测系统，其特征在于，所述网络流数据采样子系统在三元组L＝(u,v,l)到来时，令哈希值j＝H₂(u,v)，b_j＝(x_j,y_j,z_j)∈B，分为4种情况处理：

(1)若b_j为空，令b_j＝L；

(2)若b_j＝L，更新z_j←z_j∪l；

(3)若b_j不为空，并且b_j≠L，并且H₁(u,v)>H₁(x_j,y_j)，令b_j＝L；

(4)否则等待下一条数据流；

对于情况(1)(3)，系统更新

而对于(2)(4)，

和q的值保持不变。

6.根据权利要求1所述基于大规模网络流数据的异常检测系统，其特征在于，所述网络建模及三角形数目估计子系统将网络结构表示为邻接表形式，G_u,l表示邻接表G中索引为节点u和边信息l的数组，G_u表示邻接表G中索引包含节点u的所有数组，网络中第m种三角形计数表示为

为全局三角形计数；对应的，包含节点u的第m种三角形计数表示为为局部三角形计数。

7.根据权利要求1所述基于大规模网络流数据的异常检测系统，其特征在于，所述异常检测子系统利用分析正常网络和异常网络得到的特征三角形向量训练多种分类器，对网络流中节点或网络整体的异常情况做出判断，最后综合判断当前节点或网络是否存在异常。

Images