CN104683346A - 基于流量分析的p2p僵尸网络检测装置及方法 - Google Patents

Abstract

本发明公开一种基于流量分析的P2P僵尸网络检测装置与方法，主要解决现有技术中检测速率低以及不具备可扩展性的问题。其装置包括数据采集模块，数据预处理模块，节点排名模块，聚类模块和检测模块。其方法步骤为：(1)采集网络流量数据；(2)聚合并过滤网络流量数据；(3)计算聚类枢纽值向量；(4)计算聚类权威值向量；(5)对聚类枢纽值向量和聚类权威值向量进行聚类；(6)判定检测结果。本发明在数据采集模块后添加数据域处理模块，通过计算枢纽值向量和权威值向量来分析网络流量数据，克服现有技术检测效率低下及不具备可扩展性的不足。

Description

基于流量分析的P2P僵尸网络检测装置及方法

技术领域

本发明属于通信技术领域，更进一步涉及通信网络安全技术领域中的一种基于流量分析的P2P僵尸网络检测装置，并使用该装置建立一种可扩展的检测方法。本发明可用于检测大型网络中存在的P2P僵尸主机，以便于其他通信网络安全技术对这些主机进行控制。

背景技术

僵尸网络检测技术用于发现网络中存在的僵尸主机，以便利用其他通信网络安全技术阻止僵尸网络对网络中主机的入侵活动。目前典型的僵尸网络检测方法有：

Shishir Nagaraja，Prateek Mittal，Chi-Yao Hong，Matthew Caesar和NikitaBorisov在论文“BotGrep:Finding P2P Bots with Structured Graph Analysis”(Proceedings of the 4th International Conference on Autonomous Infrastructure,Management and Security,2010)中提出了一种BotGrep检测方法。该方法分两个步骤执行：第一，由网络流量生成通信关系图，其中节点表示网络中的主机，边表示主机间的通信。很多ISP实际上都已经收集了需要的信息。BotGrep通过合并不同ISP的观测数据得到通信关系图。第二，利用结构化的僵尸网络的一个共同的特性：混合时间很短(fast mixing time)，即随机漫步(random walk)算法在很短的时间内能收敛到稳定状态，把混合时间短的网络节点独立出来，从而检测出僵尸主机。该检测装置存在的不足是：数据采集模块过滤效率较低，当网络流量较大时，网络流量数据容易在数据采集器处堆积，从而造成检测方法处理速率低下。

中国电信股份有限公司拥有的专利技术“追溯僵尸网络的方法和系统”(申请号201010241080.1授权公告号CN 101924757 B)提出了一种基于流量分析僵尸网络检测方法。该方法分为以下几个步骤：第一，流量采集子系统不断采集网络上的流量数据信息，并将流量数据信息发送给流量信息数据库进行保存。第二，流量分析子系统对网络流量进行监控。第三，DNS关联分析子系统从僵尸网络数据库中提取出僵尸网络的特征，使用僵尸网络的特征在DNS访问数据库中进行搜索，寻找是否有访问僵尸网络的命令和控制服务器C&C Server域名的访问行为。第四，如果发现有访问发生，DNS关联分析子系统记录访问C&C Server域名的每一个IP地址。第五，通过对网络流量特征和DNS访问请求进行分析、验证，从而发现僵尸网络并找出其控制的所有僵尸主机。该检测方法存在的不足是：不具备可扩展性，即该方法不能使用大数据工具扩展其处理数据量较大的网络流量的能力，难以应用于检测大型网络中的僵尸主机。

发明内容

本发明的目的是克服上述现有技术检测效率低下及不具备可扩展性的不足，提出一种基于流量分析P2P僵尸网络检测装置及方法。本发明可以提高检测效率，并增强检测方法的可扩展性。

实现本发明的具体思路是：在本发明装置的数据采集模块和数据预处理模块中采用多进程编程方法，得到聚合流集合，避免网络流量数据在数据采集模块处堆积。在节点排名模块中，通过计算聚合流集合中IP地址对应的聚类枢纽值向量和聚类权威值向量，来分析网络流量数据，使得本发明的检测方法具有良好的可扩展性。利用密度聚类方法对聚类枢纽值向量和聚类权威值向量进行聚类。对聚类结果进行判定，输出检测结果。

本发明的装置包括五个模块：数据采集模块，数据预处理模块，节点排名模块，聚类模块和检测模块，各模块之间通过总线连接。其中：

所述数据采集模块，用于采用多进程编程方法，采集可疑网络中核心路由器输出的网络流量数据，采用文件编程方法，将网络流量数据缓存到流文件中，并将网络流量数据传送给数据预处理模块；

所述数据预处理模块，用于采用多进程编程方法，对数据采集模块采集的网络流量数据进行聚合及过滤；采用通信关系转换方法，生通信邻接矩阵，并将通信邻接矩阵传送给节点排名模块；

所述节点排名模块，用于利用通信邻接矩阵，计算聚类枢纽值向量和聚类权威值向量，并将聚类枢纽值向量和聚类权威值向量传送给聚类模块；

所述聚类模块，用于采用密度聚类方法，对聚类枢纽值向量和权威值向量进行聚类，并将聚类结果传送给检测模块；

所述检测模块，用于在可疑网络中布置蜜罐主机，将聚类结果中包含已知僵尸主机的簇中所有IP地址判定为僵尸主机，得到检测结果。

实现本发明目的的具体步骤如下：

(1)采集网络流量数据：

(1a)采用网络流方法，配置可疑网络中的核心路由器，该路由器向数据采集模块发送网络流量数据；

(1b)在数据采集模块中，采用多进程编程方法，创建多个进程；

(1c)采用文件编程方法，在每个进程中创建一个流文件，将可疑网络中的单个核心路由器发送的网络流量数据缓存到一个流文件中；

(2)聚合并过滤网络流量数据：

(2a)在数据预处理模块中，采用多进程编程方法，创建多个进程，每个进程对应数据采集模块中的单个流文件；

(2b)在数据预处理模块的每个进程中，采用文件编程方法，每隔5分钟从单个流文件中读取网络流量数据；

(2c)在数据预处理模块的每个进程中，创建多个聚合流结构体，在每个聚合流结构体中记录具有相同源IP地址、目的IP地址和通信协议的网络流量数据的聚合属性，得到一个聚合流结构体集合；

(2d)在数据预处理模块的每个进程中，采用流量过滤方法，对聚合流结构体集合进行过滤，得到过滤后的聚合流结构体集合；

(2e)将数据预处理模块的每个进程得到的过滤后的聚合流结构体集合合并，得到聚合流集合，记录聚合流集合中的IP地址总数；

(2f)采用通信关系转换方法，得到通信邻接矩阵；

(2g)将通信邻接矩阵中IP地址对应的元素取1，得到初始枢纽值向量和初始权威值；

(3)计算聚类枢纽值向量：

(3a)在节点排名模块中，采用下式，更新初始枢纽值向量：

h'＝dAh+(1-d)W

其中，h'表示更新后的初始枢纽值向量，d表示取值为0.85的阻尼因子，A表示通信邻接矩阵，h表示初始枢纽值向量，W表示通信邻接矩阵中IP地址的权重向量；

(3b)当更新后的枢纽值向量和初始枢纽值向量满足下式时，执行步骤(3c)，否则，执行步骤(3a)：

||h'-h||＜θ

其中，h'表示更新后的枢纽值向量，h表示初始枢纽值向量，||·||表示取二范数运算，θ表示取值为0.00001的枢纽值向量距离阈值；

(3c)将更新后的枢纽值向量作为聚类枢纽值向量；

(4)计算聚类权威值向量：

(4a)在节点排名模块中，采用下式，更新初始权威值向量：

a'＝dA^Ta+(1-d)W

其中，a'表示更新后的初始权威值向量，d表示取值为0.85的阻尼因子，A表示通信邻接矩阵，(·)^T表示矩阵转置操作，a表示初始权威值向量，W表示通信邻接矩阵中IP地址的权重向量；

(4b)当更新后的权威值向量和初始权威值向量满足下式时，执行步骤(4c)，否则，执行步骤(4a)：

||a'-a||＜θ

其中，a'表示更新后的权威值向量，a表示初始权威值向量，||·||表示求二范数运算，θ表示取值为0.00001的权威值向量距离阈值；

(4c)将更新后的权威值向量作为聚类权威值向量；

(5)对聚类枢纽值向量和聚类权威值向量进行聚类：

在聚类模块中，将枢纽值向量和权威值间向量对应的IP地址中距离小于0.2468的主机，划分到同一个簇中，得到聚类结果；

(6)判定僵尸主机：

在检测模块中，采用蜜罐主机布置方法，在可疑网络中布置蜜罐主机，将聚类结果中包含已知僵尸主机的簇中所有IP地址判定为僵尸主机，得到检测结果。

本发明与现有技术相比具有如下优点：

第一，由于本发明的装置在数据采集模块后添加了数据预处理模块，并在这两个模块中都采用多进程编程方法，提高了本发明装置处理网络流量数据的速率和灵活性，克服了现有技术网络流量数据容易在数据采集模块处堆积的缺点，使得本发明的装置具有处理数据速率高和灵活性好的优点；

第二，由于本发明的方法通过计算网络节点对应的枢纽值向量和权威值向量，对网络流量数据进行分析，可以使用大数据工具对检测方法进行扩展，以处理数据量较大的网络流量数据，克服了现有技术不具备可扩展性的缺点，使得本发明的方法具有良好的可扩展性以及检测大型网络的能力。

附图说明

图1为本发明装置的方框图；

图2为本发明方法的流程图；

图3为本发明的仿真结果图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照附图1，本发明的装置包括五个模块：数据采集模块，数据预处理模块，节点排名模块，聚类模块和检测模块，各模块之间通过总线连接。其中：

数据采集模块，用于采用多进程编程方法，采集可疑网络中核心路由器输出的网络流量数据，每个进程对应可疑网络中的一台核心路由器，并将网络流量数据传送给数据预处理模块；

数据预处理模块，用于采用多进程编程方法，对数据采集模块采集的网络流量数据进行聚合及过滤，生通信邻接矩阵，并将通信邻接矩阵传送给节点排名模块，本模块用于提高本发明的装置的处理速率及灵活性；

节点排名模块，用于利用通信邻接矩阵，计算聚类枢纽值向量和聚类权威值向量，来分析网络流量数据，并将计算结果传送给聚类模块，本模块的原理是属于同一P2P僵尸网络的僵尸主机的枢纽值和权威值会聚集在一定范围之内，可以通过后续的聚类模块将这些僵尸主机提取出来，本模块中使用的方法具有良好的可扩展性，可以使用大数据工具处理该方法，使得本装置可用于检测大型网络；

聚类模块，用于对聚类枢纽值向量和聚类权威值向量进行聚类，并将聚类结果传送给检测模块，本发明在本模块中采用密度聚类方法，该方法可以发现形状不规则的簇，并且需要提供的初始数据个数只有两个，可以很好的适用于本发明的装置；

检测模块，用于对聚类模块得到的聚类结果进行判定，检测出网络中的僵尸主机，并输出检测结果，在可疑网络的局域网及安全缓冲区中来引诱僵尸网络的攻击，得到已知僵尸主机，并将聚类结果中包含已知主机的簇判定为僵尸主机，以便于其他通信网络安全技术对这些主机进行控制。

参照附图2，对本发明实现方法做进一步的描述。

步骤1，采集网络流量数据。

在可疑网络中的核心路由器连接的终端上利用命令行工具，将数据采集模块的IP地址及指定的端口号作为可疑网络中的核心路由器发送网络数据流量的目的IP地址及目的端口号，可疑网络中的核心路由器向数据采集模块发送网络流量数据。

在数据采集模块中，采用多进程编程方法，创建多个进程。

采用文件编程方法，在每个进程中创建一个流文件，将可疑网络中的单个核心路由器发送的网络流量数据缓存到一个流文件中。

步骤2，聚合并过滤网络流量数据。

在数据预处理模块中，采用多进程编程方法，创建多个进程，每个进程对应数据采集模块中的单个流文件。

在数据预处理模块的每个进程中，采用文件编程方法，每隔5分钟从单个流文件中读取网络流量数据。

在数据预处理模块的每个进程中，创建多个聚合流结构体，在每个聚合流结构体中记录具有相同源IP地址、目的IP地址和通信协议的网络流量数据的聚合属性，得到一个聚合流结构体集合，聚合属性包括网络数据流量的数目、持续时间、源IP地址和目的IP地址。

在数据预处理模块的每个进程中，删除聚合流结构体集合中，源IP地址及目的IP地址排在Alex排名网站前100名中的聚合流结构体、通信协议为非TCP协议的聚合流结构体、网络数据流量数目小于10的聚合流结构体和持续时间小于1分钟的聚合流结构体，得到过滤后的聚合流结构体集合。

将数据预处理模块的每个进程得到的过滤后的聚合流结构体集合合并，得到聚合流集合，记录聚合流集合中的IP地址总数。

将通信邻接矩阵初始化为N×N的零矩阵，N表示聚合流集合中的IP地址总数，将通信邻接矩阵中聚合流对应的元素置1，得到通信邻接矩阵。

将通信邻接矩阵中IP地址对应的元素取1，得到初始枢纽值向量和初始权威值。

步骤3，计算聚类枢纽值向量。

(3a)在节点排名模块中，采用下式，更新初始枢纽值向量：

h'＝dAh+(1-d)W

其中，h'表示更新后的枢纽值向量，d表示取值为0.85的阻尼因子，A表示通信邻接矩阵，h表示初始枢纽值向量，W表示通信邻接矩阵中IP地址的权重向量。

(3b)当更新后的枢纽值向量和初始枢纽值向量满足下式时，执行步骤(3c)，否则，执行步骤(3a)：

||h'-h||＜θ

其中，h'表示更新后的枢纽值向量，h表示初始枢纽值向量，||·||表示取二范数运算，θ表示取值为0.00001的枢纽值向量距离阈值。

(3c)获得聚类枢纽值向量。

步骤4，计算聚类权威值向量。

(4a)在节点排名模块中，采用下式，更新初始权威值向量：

a'＝dA^Ta+(1-d)W

其中，a'表示更新后的权威值向量，d表示取值为0.85的阻尼因子，A表示通信邻接矩阵，(·)^T表示矩阵转置操作，a表示初始权威值向量，W表示通信邻接矩阵中IP地址的权重向量。

(4b)当更新后的权威值向量和初始权威值向量满足下式时，执行步骤(4c)，否则，执行步骤(4a)：

||a'-a||＜θ

其中，a'表示更新后的权威值向量，a表示初始权威值向量，||·||表示求二范数运算，θ表示取值为0.00001的权威值向量距离阈值。

(4c)获得聚类权威值向量。

步骤5，对聚类枢纽值向量和聚类权威值向量进行聚类。

将枢纽值向量和权威值间向量对应的IP地址中距离小于0.2468的主机，划分到同一个簇中，得到聚类结果。

步骤6，判定僵尸主机。

将蜜罐主机布置在可疑局域网及安全缓冲区中来引诱僵尸网络的攻击，得到已知僵尸主机，将聚类结果中包含已知僵尸主机的簇中所有IP地址判定为僵尸主机，得到检测结果。

本发明的效果可以通过下述仿真实验加以说明：

1、仿真条件：

本发明的仿真实验是在CPU为Pentium(R)Dual-Core T43002.0GHZ、内存2G、WINDOWS 7系统上进行的。采用CloudSim软件、Snort软件以及MATLAB软件作为仿真工具。

2、仿真内容：

本发明的仿真实验是针对HoneyPot Project网络组织提供的HoneynetChallenge数据集进行实验，该数据集是包含P2P僵尸网络的网络中核心路由器采集到的网络流量数据。CloudSim中设置主机数为16，数据集数目为10。初始数据集为10000字节，总数据量为100000字节。所有主机的MIPS设为1000，内存设为1024MB。master主机定时器值设为4000ms，worker定时器值设为3000ms。按指数增长需要处理的数据量，并比较BotGrep方法和本发明中方法的处理时间。

仿真实验分以下五个步骤：第一，采用Snort软件对网络流量数据进行过滤和聚合；第二，使用CloudSim软件计算聚类枢纽值向量和聚类权威值向量，第三，使用MATLAB软件仿真对聚类枢纽值向量和聚类权威值向量的聚类；第四，判定僵尸主机；第五，按指数增长需要处理的数据量，比较BotGrep方法和本发明方法的处理时间。

3、仿真结果分析：

在CloudSim软件中按指数增长需要处理的数据量，并记录BotGrep方法和本发明方法的处理时间，绘制曲线，得到实验仿真结果图，如图3所示。图3中横坐标表示需要处理的数据量，单位为字节，纵坐标表示处理时间，单位为毫秒。图3中以圆圈标示的实线表示BotGrep方法在处理不同数据量时的处理时间，以三角形标示的实线表示本发明方法在处理不同数据量时的处理时间。

需要处理的数据量按指数增加，从10⁵字节增长到10⁹字节。可以看出当数据量较小时，BotGrep方法和本发明中方法的处理时间基本一致。当数据量超过10⁷字节时，本发明中方法的处理时间明显少于BotGrep方法。随着数据量的增长时，BotGrep方法的处理速率变得非常低。当数据量达到10⁹字节时，BotGrep方法的处理时间增长到46秒，而本发明中方法的处理时间仍然在10秒左右。

实验结果证明，本发明的方法处理较大数据量的速率高于BotGrep方法，因此本发明方法可以提高检测方法的处理效率，并具有可扩展性好的优点。

Claims (7)

1.一种基于流量分析的P2P僵尸网络检测装置，包括数据采集模块，数据预处理模块，节点排名模块，聚类模块和检测模块五个模块，各模块之间通过总线连接；其中：

所述数据采集模块，用于采用多进程编程方法，采集可疑网络中核心路由器输出的网络流量数据，采用文件编程方法，将网络流量数据缓存到流文件中，并将网络流量数据传送给数据预处理模块；

所述数据预处理模块，用于采用多进程编程方法，对数据采集模块采集的网络流量数据进行聚合及过滤；采用通信关系转换方法，生通信邻接矩阵，并将通信邻接矩阵传送给节点排名模块；

所述节点排名模块，用于利用通信邻接矩阵，计算聚类枢纽值向量和聚类权威值向量，并将聚类枢纽值向量和聚类权威值向量传送给聚类模块；

所述聚类模块，用于采用密度聚类方法，对聚类枢纽值向量和权威值向量进行聚类，并将聚类结果传送给检测模块；

所述检测模块，用于在可疑网络中布置蜜罐主机，将聚类结果中包含已知僵尸主机的簇中所有IP地址判定为僵尸主机，得到检测结果。

2.一种基于流量分析的P2P僵尸网络检测方法，该方法利用基于流量分析的P2P僵尸网络检测装置，执行以下步骤：

(1)采集网络流量数据：

(1a)采用网络流方法，配置可疑网络中的核心路由器，该路由器向数据采集模块发送网络流量数据；

(1b)在数据采集模块中，采用多进程编程方法，创建多个进程；

(1c)采用文件编程方法，在每个进程中创建一个流文件，将可疑网络中的单个核心路由器发送的网络流量数据缓存到一个流文件中；

(2)聚合并过滤网络流量数据：

(2a)在数据预处理模块中，采用多进程编程方法，创建多个进程，每个进程对应数据采集模块中的单个流文件；

(2b)在数据预处理模块的每个进程中，采用文件编程方法，每隔5分钟从单个流文件中读取网络流量数据；

(2c)在数据预处理模块的每个进程中，创建多个聚合流结构体，在每个聚合流结构体中记录具有相同源IP地址、目的IP地址和通信协议的网络流量数据的聚合属性，得到一个聚合流结构体集合；

(2d)在数据预处理模块的每个进程中，采用流量过滤方法，对聚合流结构体集合进行过滤，得到过滤后的聚合流结构体集合；

(2e)将数据预处理模块的每个进程得到的过滤后的聚合流结构体集合合并，得到聚合流集合，记录聚合流集合中的IP地址总数；

(2f)采用通信关系转换方法，得到通信邻接矩阵；

(2g)将通信邻接矩阵中IP地址对应的元素取1，得到初始枢纽值向量和初始权威值；

(3)计算聚类枢纽值向量：

(3a)在节点排名模块中，采用下式，更新初始枢纽值向量：

h'＝dAh+(1-d)W

其中，h'表示更新后的初始枢纽值向量，d表示取值为0.85的阻尼因子，A表示通信邻接矩阵，h表示初始枢纽值向量，W表示通信邻接矩阵中IP地址的权重向量；

(3b)当更新后的枢纽值向量和初始枢纽值向量满足下式时，执行步骤(3c)，否则，执行步骤(3a)：

||h'-h||＜θ

其中，h'表示更新后的枢纽值向量，h表示初始枢纽值向量，||·||表示取二范数运算，θ表示取值为0.00001的枢纽值向量距离阈值；

(3c)将更新后的枢纽值向量作为聚类枢纽值向量；

(4)计算聚类权威值向量：

(4a)在节点排名模块中，采用下式，更新初始权威值向量：

a'＝dA^Ta+(1-d)W

其中，a'表示更新后的初始权威值向量，d表示取值为0.85的阻尼因子，A表示通信邻接矩阵，(·)^T表示矩阵转置操作，a表示初始权威值向量，W表示通信邻接矩阵中IP地址的权重向量；

(4b)当更新后的权威值向量和初始权威值向量满足下式时，执行步骤(4c)，否则，执行步骤(4a)：

||a'-a||＜θ

其中，a'表示更新后的权威值向量，a表示初始权威值向量，||·||表示求二范数运算，θ表示取值为0.00001的权威值向量距离阈值；

(4c)将更新后的权威值向量作为聚类权威值向量；

(5)对聚类枢纽值向量和聚类权威值向量进行聚类：

在聚类模块中，将枢纽值向量和权威值间向量对应的IP地址中距离小于0.2468的主机，划分到同一个簇中，得到聚类结果；

(6)判定僵尸主机：

在检测模块中，采用蜜罐主机布置方法，在可疑网络中布置蜜罐主机，将聚类结果中包含已知僵尸主机的簇中所有IP地址判定为僵尸主机，得到检测结果。

3.根据权利要求2所述的基于流量分析的P2P僵尸网络检测方法，其特征在于，步骤(1a)所述的网络流方法是指，在可疑网络中的核心路由器连接的终端上利用命令行工具，将数据采集模块的IP地址及指定的端口号作为路由器发送网络数据流量的目的IP地址及目的端口号。

4.根据权利要求2所述的基于流量分析的P2P僵尸网络检测方法，其特征在于，步骤(2c)所述的聚合属性包括网络数据流量的数目、持续时间、源IP地址和目的IP地址。

5.根据权利要求2所述的基于流量分析的P2P僵尸网络检测方法，其特征在于，步骤(2d)所述的流量过滤方法是指，删除聚合流结构体集合中，源IP地址及目的IP地址排在Alex排名网站前100名中的聚合流结构体、通信协议为非TCP协议的聚合流结构体、网络数据流量数目小于10的聚合流结构体和持续时间小于1分钟的聚合流结构体，得到过滤后的聚合流结构体集合。

6.根据权利要求2所述的基于流量分析的P2P僵尸网络检测方法，其特征在于，步骤(2f)所述的通信关系转换方法是指，将通信邻接矩阵初始化为N×N的零矩阵，N表示聚合流集合中的IP地址总数，将通信邻接矩阵中聚合流对应的元素置1，得到通信邻接矩阵。

7.根据权利要求2所述的基于流量分析的P2P僵尸网络检测方法，其特征在于，步骤(5)所述的蜜罐主机布置方法是指，将蜜罐主机布置在可疑局域网及安全缓冲区中来引诱僵尸网络的攻击，得到已知僵尸主机。