CN109347662B - 面向大规模网络流量的分布式社会网络结构快速挖掘系统 - Google Patents

Abstract

本发明提供一种面向大规模网络流量的分布式社会网络结构快速挖掘系统，对高速产生的大规模网络流量进行分布式地分配与存储，挖掘社会网络中存在的拓扑结构，包括数据处理、网络结构挖掘、数据存储三个子系统；面向大规模网络流量，提出原创的分布式数据分配与存储模型；提出原创的分布式社会网络结构测量模型，可对社会网络中存在的拓扑结构进行不同粒度的测量；本发明适用于大规模流数据，可用于网络拓扑结构测量；也可基于网络拓扑结构的测量结果，进行用户身份预测、社团检测、异常行为挖掘等。

Description

面向大规模网络流量的分布式社会网络结构快速挖掘系统

技术领域

本发明属于数据挖掘技术领域，特别涉及一种面向大规模网络流量的分布式社会网络结构快速挖掘系统。

背景技术

随着互联网技术的快速发展与广泛应用，用户构成的社会网络越来越庞大。对于单个用户的分析，所能得到的网络结构信息较为有限。对于用户所处的社会网络的拓扑结构进行挖掘，可对用户所处的网络环境有更为深入的了解，对于从多维度了解用户特征，预测用户身份，挖掘社会网络中的异常群体，维护公共网络安全，构建和谐的网络环境，有着重要的意义。

在用户构建的社会网络中，网络流量是用户间相互连接、设备间相互通信的主要媒介，其中包含了大量有效信息。但网络流量数据产生速度快、规模大，存储需要消耗很大的磁盘或者内存空间。因此，以大规模网络流量为对象，分布式地对社会网络结构进行有效的挖掘，得到了国内外研究人员的广泛关注。

我们主要关注的是社会网络中的三角形拓扑结构，是社会网络中较为简单但却普遍存在的拓扑结构，例如，社会网络中三个用户间相互连接进行通信可形成三角形结构；设备间相互通信也可形成三角形结构。目前已经有一些方法进行社会网络结构中三角形拓扑结构的挖掘统计。由于网络流量中包含的社会网络规模过于庞大，对其中的拓扑结构进行准确挖掘需要消耗大量的计算和存储资源，目前方法主要关注于拓扑结构的估测。一方面，一些方法基于水池采样或以固定概率采样，可对动态产生的流式数据进行实时的测量，但误差较高，同时没有提出在分布式系统上进行测量的数据分配方案；另一方面，一些方法先对大网络数据进行采样形成子网络，然后借助分布式系统并行快速的计算能力，对子网络进行三角形拓扑结构的挖掘统计，但无法直接迁移到对大规模网络流量形成的社会网络进行网络结构的实时挖掘。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种面向大规模网络流量的分布式社会网络结构快速挖掘系统，与传统方法相比，本发明并不是单机或单线程网络结构挖掘算法在分布式系统上的简单拓展，优势在于，适用于高速产生的大规模网络流量数据，同时也可在其他网络结构数据上进行扩展，例如社交网络数据等；利用数据分发策略，将数据有效分发至各个处理单元并进行计算存储，计算速度快，显著降低了现有方法的测量误差。

为了实现上述目的，本发明采用的技术方案是：

面向大规模网络流量的分布式社会网络结构快速挖掘系统，包括：

数据处理子系统，对输入的大规模网络流量进行预处理，按照不同粒度提取网络流量数据，并将所提取的数据分发，进行分布式挖掘和存储；

具体地，数据分发子系统可按照不同粒度对大规模网络流量进行处理，提取数据包五元组，包含源IP地址、目的IP地址、源端口号、目的端口号、协议的全部数据或任意组合的数据，用来标记社会网络中的任意节点以及节点间的连接关系，例如：社会网络中节点表示IP地址，边表示IP之间有向的访问关系。同时，利用队列对网络流量进行短暂地存储，对高速产生的大规模网络流量进行缓冲。基于所提取的网络流量数据，数据分析子系统对分布式系统中的每个处理单元都进行分发，即，将提取的网络流量数据分发给网络结构挖掘子系统的每个处理单元。

网络结构挖掘子系统，包含c个相互独立的处理单元，编号{0,...,c-1}，各个处理单元接收分发的网络流量数据，结合所存储的历史网络流量数据，挖掘社会网络中包含的拓扑结构并进行更新；

具体地，网络挖掘子系统基于每个处理单元所存储的社会子网络，对其中的拓扑结构进行挖掘，包括子网络结构中三角形拓扑结构总数量以及特定节点参与的三角形拓扑结构数量。即，每个处理单元对每个接收到的网络流量数据，进行社会网络拓扑结构的分布式计算，包括整个社会网络中三角形拓扑结构数量以及特定节点参与的三角形拓扑结构数量，每个处理单元分别更新所分配的子网络处理结果，最后进行汇总，得到整个社会网络的拓扑结构挖掘结果。

对于每个时刻接收的网络流量数据，网络结构挖掘子系统优先计算网络拓扑结构个数，之后交由数据存储子系统决定是否存储该数据。

数据存储子系统，包含c个相互独立的存储单元，编号{0,...,c-1}，各个存储单元接收网络挖掘子系统中对应编号的处理单元处理的数据，并基于哈希技术保留符合条件的网络流量数据，提高各个处理单元处理网络流量数据的效率。

具体地，对于每个时刻到达的网络流量，网络结构挖掘子系统中各处理单元在对相应的网络结构进行挖掘之后，传送给数据存储子系统中对应编号的存储单元，各存储单元利用哈希技术对网络流量数据进行筛选，同时存储满足条件的网络流量数据，从而在每个存储单元可保留一定的子网络结构。即，各个存储单元接收网络挖掘子系统中对应编号的处理单元处理的数据，并基于哈希技术保留符合条件的网络流量数据，提高各个处理单元处理网络流量数据的效率。

所述的大规模网络流量数据为实时产生、速度及规模不可预测的流式数据，本发明可对该形式的数据进行实时的处理以及网络拓扑结构的挖掘、存储。

所述网络结构挖掘子系统中每个处理单元以及数据存储子系统中每个存储单元均相互独立，不进行通信，各个处理单元完成社会网络拓扑结构挖掘，然后进行挖掘结果的汇总，各个存储单元完成子网络结构的存储。

与现有技术相比，本发明的有益效果是：

1、提出了分布式的数据分发和选择策略，提高了社会网络结构挖掘的准确率。

本发明所提出的数据分发和选择策略，是在分布式系统的各个处理单元独立进行的，不需要各个处理单元之间的相互通信，同时尽可能地保留更多的社会网络结构数据，从而提高了社会网络结构挖掘的准确率。

2、可对动态流数据进行实时分析，提高了分析的效率。

本发明不需保存整体的网络结构，可对每个时刻到达的动态流数据进行实时处理、挖掘、存储，降低了内存消耗，同时提高了分析的效率。

3、适用于不同粒度的网络拓扑结构挖掘。

本发明不仅可以分布式地挖掘整体社会网络的拓扑结构数量，也可以对社会网络中的特定节点进行计算，挖掘其参与的网络拓扑结构数量。

附图说明

图1为本发明系统整体结构图。

图2为本发明数据处理子系统流程图。

图3为本发明网络结构挖掘子系统流程图。

图4为本发明数据存储子系统流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面结合附图和实施例详细说明本发明的实施方式。

如图1所示，本系统由三个子系统组成，分别是数据处理子系统，网络结构挖掘子系统和数据存储子系统。系统的输入数据为大规模网络流量，数据处理子系统对网络流量进行解析，提取其中包含的网络流量数据，包括数据包五元组(源IP地址、目的IP地址、源端口号、目的端口号、协议)或其中部分数据的任意组合，同时将所提取的数据分发给网络结构挖掘子系统的每个处理单元。

网络结构挖掘子系统包含多个处理单元，每个处理单元接收网络流量数据，并进行网络拓扑结构的测量，各个处理单元之间相互独立，输出网络结构测量结果，包括整体网络结构包含的三角形拓扑结构数量以及单个节点参与的三角形拓扑结构数量，然后进行所有处理单元结果的汇总。

最后，数据存储子系统中的每个存储单元进行数据的筛选和存储，按照一定策略保留符合条件的网络流量数据，构成每个存储单元的社会子网络。

本发明中各个子系统的详细介绍如下：

1、数据处理子系统

主要实现输入大规模网络流量的预处理，提取有效的网络流量数据，包括数据包五元组(源IP地址、目的IP地址、源端口号、目的端口号、协议)或其中部分数据的任意组合，同时将所提取的数据分发给网络结构挖掘子系统中的每个处理单元。

具体地，如图2所示，数据处理子系统对大规模网络流量的处理过程如下：

原始的网络流量为单个数据包包含的所有数据，具体表现为每个网络层协议包含的数据，每条数据用一定长度的字段表示。网络流量是社会网络中多个用户、设备之间连接、通信的主要载体，利用网络流量数据可构建社会网络结构。从原始输入的网络流量中所要提取的网络数据包括数据包五元组：源IP地址、目的IP地址、源端口号、目的端口号、协议，或其中部分数据的任意组合。这样输入的每个网络流量数据可简化为社会网络中的一条边，两个节点表示不同的用户或设备，边表示用户、设备间的连接关系。对于所提取的每条网络流量数据，数据处理子系统将发送给网络结构挖掘子系统的每个处理单元。

2、网络结构挖掘子系统

主要功能是接收网络流量数据，对社会网络包含的拓扑结构进行计算更新。具体地，如图3所示，网络结构挖掘子系统对网络拓扑结构的挖掘过程如下：

每个处理单元接收的网络流量数据，可用边(u,v)表示，对于任意两个节点u和v，每个处理单元中都可能存储与这两个节点u和v相邻的节点，分别用和表示在第i个处理单元的邻接节点集合，和表示第i个处理单元的邻接节点个数，对于任意边(u,v)，其参与形成的三角形网络拓扑结构数量可以理解为u和v共同连接的邻接节点个数，用表示，每个处理单元包含的三角形拓扑结构数量以及单个节点参与的三角形拓扑结构更新为：

其中，τ⁽ⁱ⁾为第i个处理单元所挖掘的三角形拓扑结构个数，分别为第i个处理单元中节点u、v和w参与的三角形拓扑结构个数；

每个处理单元以固定概率采样，相当于将数据处理子系统处理后的数据均匀地分发给m个处理单元进行网络结构挖掘，每个三角形拓扑结构形成的概率表示为：

c为网络结构挖掘子系统中的处理单元数量；

当c≤m时，整个社会网络中三角形拓扑结构数量以及单个节点v参与的三角形拓扑结构数量计算为：

当c>m时，网络结构挖掘子系统中所有处理单元数量进一步表示为c＝c₁m+c₂，其中c₂＝c％m；则当c₂＝0时，社会网络中拓扑结构计算为：

当c₂≠0时，可将社会网络拓扑结构的计算划分为两部分，对前c₁m处理单元社会网络拓扑结构数量的计算和对后c₂个处理单元社会网络拓扑结构数量的计算，两部分计算对应的方差分别用w⁽¹⁾和w⁽²⁾表示。对于每个处理单元，更新参数其中，表示第i个处理单元中点u和w共同参与的三角形拓扑结构数量，表示第i个处理单元中点v和w共同参与的三角形拓扑结构数量，η⁽ⁱ⁾表示前两条边已经被存储在第i个处理单元中的三角形拓扑结构数量，由此得到：

进一步可得到整个社会网络的三角形拓扑结构数量为：

同样地，对特定节点v参与的三角形拓扑结构数量的计算，也可按照上述计算划分为两部分，对前c₁m处理单元社会网络拓扑结构数量的计算和对后c₂个处理单元社会网络拓扑结构数量的计算，两部分计算对应的方差分别用和表示。对于每个处理单元，更新参数其中，表示节点v参与的且前两条边已经被存储在第i个处理单元中的三角形拓扑结构数量，由此可得到：

进一步可得到整个社会网络的三角形拓扑结构数量为：

3、数据存储子系统

主要功能是利用哈希技术在各个存储单元保留一部分网络流量数据，降低网络挖掘子系统中各个处理单元处理网络流量数据的复杂度。数据存储子系统中的所有c个存储单元可编号为{0,...,c-1}，当网络结构挖掘子系统完成网络拓扑结构计算之后，每个存储单元可对边(u,v)进行哈希计算，表示为h(u,v)，该过程可均匀地产生{0,...,c-1}之间的随机数。对于数据存储子系统中的编号为i的第i个存储单元，当h(u,v)＝i时，存储单元将(u,v)进行存储，每个存储单元存储了整个社会网络的部分数据。在这个情况下，可视为每个存储单元以固定概率进行均匀采样。

综上，本发明提供的一种面向大规模网络流量的分布式社会网络结构快速挖掘系统，利用分布式系统对社会网络中的拓扑结构进行实时地挖掘、存储。本发明可用于网络拓扑结构基本测量；也可将测量结果用于用户身份预测、社团检测、异常行为挖掘。

Claims (6)

1.面向大规模网络流量的分布式社会网络结构快速挖掘系统，其特征在于，包括：

数据处理子系统，对输入的大规模网络流量进行预处理，按照不同粒度提取网络流量数据，并将所提取的数据分发，进行分布式挖掘和存储；

网络结构挖掘子系统，包含c个相互独立的处理单元，编号{0,...,c-1}，各个处理单元接收分发的网络流量数据，结合所存储的历史网络流量数据，挖掘社会网络中包含的拓扑结构并进行更新；所述每个处理单元对每个接收到的网络流量数据，进行社会网络拓扑结构的分布式计算，包括整个社会网络中三角形拓扑结构数量以及特定节点参与的三角形拓扑结构数量，每个处理单元分别更新所分配的子网络处理结果，最后进行汇总，得到整个社会网络的拓扑结构挖掘结果；

数据存储子系统，包含c个相互独立的存储单元，编号{0,...,c-1}，各个存储单元接收网络挖掘子系统中对应编号的处理单元处理的数据，并基于哈希技术保留符合条件的网络流量数据，提高各个处理单元处理网络流量数据的效率；

其特征在于，所述网络结构挖掘子系统中每个处理单元接收的网络流量数据，用边(u,v)表示，对于任意两个节点u和v，每个处理单元中都可能存储与这两个节点u和v相邻的节点，分别用和表示在第i个处理单元的邻接节点集合，和表示第i个处理单元的邻接节点个数，对于任意边(u,v)，其参与形成的三角形网络拓扑结构数量理解为u和v共同连接的邻接节点个数，用表示，每个处理单元包含的三角形拓扑结构数量以及单个节点参与的三角形拓扑结构更新为：

其中，τ⁽ⁱ⁾为第i个处理单元所挖掘的三角形拓扑结构个数，分别为第i个处理单元中节点u、v和w参与的三角形拓扑结构个数；

每个处理单元以固定概率采样，相当于将数据处理子系统处理后的数据均匀地分发给m个处理单元进行网络结构挖掘，每个三角形拓扑结构形成的概率表示为：

c为网络结构挖掘子系统中的处理单元数量；

当c≤m时，整个社会网络中三角形拓扑结构数量以及单个节点v参与的三角形拓扑结构数量计算为：

当c>m时，网络结构挖掘子系统中所有处理单元数量表示为c＝c₁m+c₂，其中c₂＝c％m；则当c₂＝0时，社会网络中拓扑结构计算为：

当c₂≠0时，将社会网络拓扑结构的计算划分为两部分，对前c₁m处理单元社会网络拓扑结构数量的计算和对后c₂个处理单元社会网络拓扑结构数量的计算，两部分计算对应的方差分别用w⁽¹⁾和w⁽²⁾表示；对于每个处理单元，更新参数其中，表示第i个处理单元中点u和w共同参与的三角形拓扑结构数量，表示第i个处理单元中点v和w共同参与的三角形拓扑结构数量，η⁽ⁱ⁾表示前两条边已经被存储在第i个处理单元中的三角形拓扑结构数量，由此得到：

进一步可得到整个社会网络的三角形拓扑结构数量为：

同样地，对特定节点v参与的三角形拓扑结构数量的计算，也按照上述计算划分为两部分，对前c₁m处理单元社会网络拓扑结构数量的计算和对后c₂个处理单元社会网络拓扑结构数量的计算，两部分计算对应的方差分别用和表示，对于每个处理单元，更新参数其中，表示节点v参与的且前两条边已经被存储在第i个处理单元中的三角形拓扑结构数量，由此可得到：

进一步可得到整个社会网络的三角形拓扑结构数量为：

2.根据权利要求1所述面向大规模网络流量的分布式社会网络结构快速挖掘系统，其特征在于，所述数据处理子系统对输入的大规模网络流量进行预处理，从每个数据包中提取源IP地址、目的IP地址、源端口号、目的端口号和协议的五元组或五元组中部分数据的任意组合，并将提取的网络流量数据分发给网络结构挖掘子系统的每个处理单元。

3.根据权利要求1所述面向大规模网络流量的分布式社会网络结构快速挖掘系统，其特征在于，对于每个时刻接收的网络流量数据，网络结构挖掘子系统优先计算网络拓扑结构个数，之后交由数据存储子系统决定是否存储该数据。

4.根据权利要求1所述面向大规模网络流量的分布式社会网络结构快速挖掘系统，所述各个存储单元接收网络挖掘子系统中对应编号的处理单元处理的数据，并基于哈希技术保留符合条件的网络流量数据，提高各个处理单元处理网络流量数据的效率。

5.根据权利要求1所述面向大规模网络流量的分布式社会网络结构快速挖掘系统，其特征在于，所述的大规模网络流量数据为实时产生、速度及规模不可预测的流式数据。

6.根据权利要求1所述面向大规模网络流量的分布式社会网络结构快速挖掘系统，其特征在于，所述网络结构挖掘子系统中每个处理单元以及数据存储子系统中每个存储单元均相互独立，不进行通信，各个处理单元完成社会网络拓扑结构挖掘，然后进行挖掘结果的汇总，各个存储单元完成子网络结构的存储。