CN105357065B - 一种基于p2p僵尸节点感知的自适应网络流量采样方法 - Google Patents

Abstract

本发明公开了一种基于P2P僵尸节点感知的自适应网络流量采样方法，属于网络数据处理领域。本发明首先根据P2P僵尸网络的本质特性，从高速网络中以较小的开销提取出潜在P2P僵尸节点的IP地址；然后根据即时采样率分配算法对目标采样率进行分配，计算各个IP地址的即时采样率；最后用计算所得的即时采样率对报文进行采样，将采得的网络流量输入P2P僵尸网络检测系统，以便进行进一步细粒度的检测。本发明自适应调节速度快，感知P2P僵尸节点能力强，能在目标采样率不变的情况下，极大的提高P2P僵尸节点流量的采样率，可与已有的基于网络流量的P2P僵尸网络检测系统无缝集成。

Description

一种基于P2P僵尸节点感知的自适应网络流量采样方法

技术领域

本发明涉及网络数据处理领域，特别是一种基于P2P僵尸节点感知的自适应网络流量采样方法。

背景技术

P2P僵尸网络已然成为当今互联网所面临的最大安全威胁之一。相对于传统的基于IRC或HTTP的集中式僵尸网络，P2P僵尸网络表现的更加隐蔽且更难以被检测。P2P僵尸网络是由感染主机(僵尸节点,bots)所组成的P2P网络，它由攻击者(botmaster)通过命令和控制(Command and Control,C&C)信道远程控制。攻击者可以利用这个平台发起分布式拒绝服务(Distributed Denial-of-Service,DDoS)攻击、发送垃圾邮件、窃取隐私信息等。

目前的P2P僵尸网络检测系统多通过监测网络流量来实现对僵尸节点的检测。但是，随着网络链路带宽和互联网业务流量的高速发展，捕获并分析所有报文所需要的计算和存储开销越来越大，这就使得这些系统无法再适用于高速网络环境。为解决此问题，流量采样技术被广泛引入到高速网络中的网络流量处理场景中，以减少需要处理的报文数目，用有限的资源来完成对大批量网络流量的监测与分析。当前使用最广泛的流量采样技术是随机报文采样，它的特点是简单、可行、易于操作。这种采样方法对长流采样效果较好，但是往往会遗漏掉较多短流的信息。Smart采样、Sample-and-hold采样等一些其它采样方法，同样存在倾向于采集长流而对短流采样率很低的缺点。为克服此缺陷，研究者们提出了FlexSample等采样方法来保证对短流的采样率，同时不影响长流的采样率。

但是，以上这些采样方法都不是专门针对P2P僵尸网络检测而设计的，因此在基于网络流量的P2P僵尸网络检测系统中只要使用经过以上采样方法采样后的网络流量，对P2P僵尸网络的检测精度不可避免的会受到影响。大量与P2P僵尸网络相关的报文可能会被丢弃，而采样到的报文中则可能大部分与P2P僵尸网络无关。针对P2P僵尸网络检测系统的采样方法应当最大程度地利用有限的资源，尽可能多的采集僵尸节点产生的报文，且尽可能少的采集其它节点产生的报文。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于P2P僵尸节点感知的自适应网络流量采样方法。

为解决上述技术问题，本发明所采用的技术方案是：一种基于P2P僵尸节点感知的自适应网络流量采样方法，该方法包括以下步骤：

1)在高速网络的出口处，以时间窗口T为单位，对网络流量进行分片处理；建立并维护一个报文统计表，采集并统计单个时间窗口内出现的报文的关键属性，当时间窗口结束时，结束报文统计，并进入2)；

2)分析当前时间窗口所得的报文统计表，从中提取出网络行为可疑的内部IP，视为潜在的P2P僵尸节点；随后将报文统计表内容清零，并进入下一个时间窗口的报文统计过程；

3)建立并维护一个流量采样表，根据当前时间窗口所得的可疑的内部IP的信息更新所述流量采样表：若可疑的内部IP已存在于流量采样表中，则更新对应表项的相关信息，若可疑的内部IP未存在于流量采样表中，则新增该可疑的内部IP的表项，并填写相关信息；

4)根据目标采样率和流量采样表的信息，计算高速网络各个内部IP对应的即时采样率，然后将所得的即时采样率更新到流量采样表中的对应表项；

5)对到达的每一个报文，查询经4)更新后的流量采样表，得到更新后的流量采样表对应的即时采样率，然后以所述即时采样率对当前报文进行采样。

所述报文统计表的每一个表项由一个五元组确定：{Pro,IP_in,IP_ex,Port_in,Port_ex}，即，将传输层协议类型Pro、内部IP地址IP_in、外部IP地址IP_ex、内部端口号Port_in和外部端口号Port_ex相同的报文统计到同一个表项。

所述报文统计表还包含以下三项关键属性：报文数量Pkt、报文大小之和Byte、SYN标志位为1的TCP报文数量SYN。

所述报文统计表统计由内部IP地址IP_in发出的TCP和UDP报文。

时间窗口大小为5分钟。

提取网络行为可疑的内部IP的过程包括：

1)删除报文统计表中SYN>1的表项；然后，逐个分析报文统计表中的每一个内部IP地址IP_in，将所有与IP_in相关的表项聚类到不同的集合，每个集合中的表项拥有相等的Pkt值和Byte值；

2)分别计算各集合中各外部IP地址IP_ex重复出现的次数之和，得到各集合的外部IP回访数RCN，取所有RCN中的最大值，得到IP_in的外部IP回访率RCR；

3)利用BGP(边界网关协议)前缀公告，计算拥有最大RCN的集合中所有IP_ex的不同BGP前缀数，得到该集合中所有IP_ex的BGP数，即B值；

4)所有RCR值大于阈值M且B值大于阈值N的IP_in为可疑的内部IP。本发明中，为了能得到较高的识别准确率和较低的误报率，设置M＝10；N＝100。

所述流量采样表的每一个表项包含一个可疑的内部IP，即IP_sus的相关信息；所述相关信息包括：该IP_sus的外部IP回访率RCR、BGP前缀数(B)、上一时间窗口内统计到的报文总数CNT_pre、当前时间窗口内统计到的报文总数CNT_cur和对应的即时采样率SR_ins。

更新到流量采样表包括删除已连续两个时间窗口未获更新的IP_sus表项。

将即时采样率更新到流量采样表中的对应表项的过程包括：记目标采样率为SR_tar，若无可疑的内部IP，则令所有内部IP的即时采样率为SR_tar，即：SR_ins＝SR_tar，即时采样率计算过程结束；否则，将内部IP分为两组：可疑IP组{IP_sus}和非可疑IP组{IP_{non_sus}}，首先，计算各组的总体采样率SR_sus和SR_{non_sus}；根据CNT_pre和CNT_cur，分别计算上一时间窗口和当前时间窗口内统计到的所有可疑的内部IP的报文总数占总报文数之比：f_pre和f_cur，记f＝0.2×f_pre+0.8×f_cur，则可疑IP组的总体采样率SR_sus为：SR_sus＝SR_tar/f；若SR_sus>＝1，令SR_sus＝1，且令所有可疑组内的IP的即时采样率SR_{ins_sus}＝1；而SR_{non_sus}为：且令所有非可疑组内的IP的即时采样率SR_{ins_non_sus}＝SR_{non_sus}，即时采样率计算过程结束；否则，令非可疑IP组的总体采样率SR_{non_sus}＝0，且令所有非可疑组内的IP的即时采样率SR_{ins_non_sus}＝0；然后将SR_sus分配到各可疑IP：IP_{sus_i}，计算各可疑IP的即时采样率SR_{ins_i}；根据CNT_pre和CNT_cur，分别计算上一时间窗口和当前时间窗口内统计到的IP_{sus_i}的报文数占可疑IP报文总数之比：f_{pre_i}和f_{cur_i}，记f_i＝0.2×f_{pre_i}+0.8×f_{cur_i}，V_i＝0.2×B_i+0.8×RCR_i，其中n为流量采样表中可疑IP总数；将流量采样表中各IP_{sus_i}表项按关键值K从大到小重新排序：再从流量采样表第一个表项到最后一个表项，依次计算各可疑IP对应的即时采样率SR_{ins_i}：若SR_{ins_i}>1，则令SR_{ins_i}＝1，且记流量采样表的剩余表项数为m，令所有剩余表项的V_j＝V_j+K_i/m，V_j＝0.2×B_j+0.8×RCR_j，B_j、RCR_j分别为IP_{sus_j}的外部IP回访率、BGP前缀数，IP_{sus_j}为剩余表项内的可疑IP；依此类推，依次计算每一个可疑IP对应的即时采样率，并将各即时采样率更新至流量采样表。所述步骤5)的具体实现过程包括：获取到达报文的内部IP，查询更新后的流量采样表，若此内部IP在更新后的流量采样表中，则以该内部IP对应的即时采样率SR_ins对所述报文进行采样；否则，令该内部IP即时采样率为SR_non-sus，并进行采样。

与现有技术相比，本发明所具有的有益效果为：本发明自适应调节速度快，每5分钟即可根据当前网络状态调节一次即时采样率；感知P2P僵尸节点能力强，根据真实网络流量数据的实验结果显示，所提取的可疑IP中，P2P僵尸节点的准确率为99.3％，而误报率为6.9％；与P2P僵尸节点相关的流量采样率高，根据真实网络流量数据的实验结果显示，当目标采样率为5％时，P2P僵尸节点产生的流量的平均采样率为82％；本发明具有较好的扩展性，可以与现有的基于网络流量的P2P僵尸网络检测系统无缝集成，提高其在高速网络环境下的检测效率并保证其检测精度；本发明在给定目标采样率的情况下，能自适应的调节即时采样率，以便尽可能多的采集P2P僵尸节点相关的流量，提高了高速网络环境下P2P僵尸节点检测的效率和精度。

附图说明

图1为本发明实施例公开的一种基于P2P僵尸节点感知的自适应网络流量采样方法的工作流程示意图。

具体实施方式

本发明公开了一种基于P2P僵尸节点感知的自适应网络流量采样方法，旨在为基于网络流量的P2P僵尸网络检测系统提供准确的数据源。参见图1所示的工作流程示意图，本发明方法步骤包括：

步骤1：统计报文的关键属性

在高速网络的出口处，采集并统计所有由内部IP发出的TCP和UDP报文。报文统计表包含8项内容：{Pro,IP_in,IP_ex,Port_in,Port_ex,Pkt,Byte,SYN}，前五项分别为传输层协议类型、内部IP地址、外部IP地址、内部端口号和外部端口号，此五项相同的报文统计到同一个表项。后三项分别为报文数量、报文大小之和、SYN标志位为1的TCP报文数量。统计的时间窗口为5分钟，当时间窗口到达时，结束统计，并进入下一步骤。

步骤2：提取可疑节点的IP地址

首先，删除报文统计表中SYN>1的表项；然后，逐个分析报文统计表中的每一个内部IP地址(IP_in)，将所有与IP_in相关的表项聚类到不同的集合，每个集合中的表项拥有相等的Pkt值和Byte值，再分别计算各集合中各外部IP地址(IP_ex)重复出现的次数之和，称之为该集合的外部IP回访数(RCN)，取所有RCN中的最大值称之为该IP_in的外部IP回访率(RCR)。接着利用BGP前缀公告，计算拥有最大RCN的集合中所有IP_ex的不同BGP前缀数，称之为该IP_in的BGP数(B)；最后，称所有RCR值大于阈值10且B值大于阈值100的IP_in为可疑IP。随后，将报文统计表内容清零，并进入下一个时间窗口的报文统计过程；

步骤3：更新流量采样表

流量采样表的每一个表项包含一个可疑IP(IP_sus)的相关信息。相关信息包括：该IP_sus的外部IP回访率(RCR)、BGP前缀数(B)、上一时间窗口内统计到的报文总数(CNT_pre)、当前时间窗口内统计到的报文总数(CNT_cur)和对应的即时采样率(SR_ins)。若步骤2中提取出的可疑IP已存在于流量采样表中，则更新对应表项的相关信息，若可疑IP未存在于流量采样表中，则新增该IP的表项，并填写相关信息。最后，删除已连续两个时间窗口未获更新的IP_sus表项，即已连续两个时间窗口未提取到该可疑IP。

步骤4：计算即时采样率

计算各IP对应的即时采样率(SR_ins)的过程如下：

记目标采样率为SR_tar，若无可疑IP，则令所有内部IP的即时采样率为SR_tar，即：SR_ins＝SR_tar，即时采样率计算过程结束；否则，将内部IP分为两组：可疑IP组{IP_sus}和非可疑IP组{IP_{non_sus}}。首先，计算各组的总体采样率SR_sus和SR_{non_sus}。根据CNT_pre和CNT_cur，分别计算上一时间窗口和本时间窗口内统计到的所有可疑IP的报文总数占总报文数之比：f_pre和f_cur，记f＝0.2×f_pre+0.8×f_cur，则可疑IP的总体采样率(SR_sus)为：

SR_sus＝SR_tar/f (1)

若SR_sus<＝1，则令非可疑IP的总体采样率SR_{non_sus}＝0，且令所有非可疑内部IP的即时采样率SR_{ins_non_sus}＝0；否则，令SR_sus＝1，且令所有可疑内部IP的即时采样率SR_{ins_su s}＝1，而SR_{non_sus}如下，且令所有非可疑内部IP的即时采样率SR_{ins_non_sus}＝SR_{non_sus}，即时采样率计算过程结束：

${\mathrm{SR}}_{non\_sus}=(1-\frac{{\mathrm{SR}}_{sus}\&times;f}{{\mathrm{SR}}_{tar}})\&times;\frac{{\mathrm{SR}}_{tar}}{1-f}---\left(2\right)$

然后，将SR_sus分配到各可疑IP(IP_{sus_i})，计算各可疑IP的即时采样率(SR_{ins_i})。根据CNT_pre和CNT_cur，分别计算上一时间窗口和本时间窗口内统计到的IP_{sus_i}的报文数占可疑IP报文总数之比：f_{pre_i}和f_{cur_i}，记f＝0.2×f_{pre_i}+0.8×f_{cur_i}。记V_i＝0.2×B_i+0.8×RCR_i，其中N为流量采样表中可疑IP总数。先将流量采样表中各IP_{sus_i}表项按关键值K从大到小重新排序：

$K_i=V_i-\frac{V_{sum}\&times;f}{{\mathrm{SR}}_{sus}}---\left(3\right)$

再从流量采样表第一个表项到最后一个表项，依次计算各IP_{sus_i}对应的即时采样率SR_{ins_i}为：

${\mathrm{SR}}_{ins\_i}={\mathrm{SR}}_{sus}\&times;\frac{V_i/V_{sum}}{f_i}---\left(4\right)$

若SR_{ins_i}>1，则令SR_{ins_i}＝1，且记流量采样表的剩余表项数为m，令所有剩余表项的V_j＝V_j+K_i/m，V_j＝0.2×B_j+0.8×RCR_j，B_j、RCR_j分别为IP_{sus_j}的外部IP回访率、BGP前缀数，IP_{sus_j}为剩余表项内的可疑IP。如此，依次计算每一个IP_{sus_i}对应的SR_{ins_i}，并将其更新至流量采样表。

步骤五：实施采样

对到达的每一个报文，查询流量采样表，若此报文的内部IP在流量采样表中，则以其对应的即时采样率SR_ins对此报文进行采样；否则，令其即时采样率为SR_non-sus，并进行采样。

Claims (10)

1.一种基于P2P僵尸节点感知的自适应网络流量采样方法，其特征在于，该方法包括以下步骤：

1)在高速网络的出口处，以时间窗口T为单位，对网络流量进行分片处理；建立并维护一个报文统计表，采集并统计单个时间窗口内出现的报文的关键属性，当时间窗口结束时，结束报文统计，并进入2)；

2)分析当前时间窗口所得的报文统计表，从中提取出网络行为可疑的内部IP，视为潜在的P2P僵尸节点；随后将报文统计表内容清零，并进入下一个时间窗口的报文统计过程；

3)建立并维护一个流量采样表，根据当前时间窗口所得的可疑的内部IP的信息更新所述流量采样表：若可疑的内部IP已存在于流量采样表中，则更新对应表项的相关信息，若可疑的内部IP未存在于流量采样表中，则新增该可疑的内部IP的表项，并填写相关信息；

4)根据目标采样率和流量采样表的信息，计算高速网络各个内部IP对应的即时采样率，然后将所得的即时采样率更新到流量采样表中的对应表项；具体实现过程为：记目标采样率为SR_tar，若无可疑的内部IP，则令所有内部IP的即时采样率为SR_tar，即：SR_ins＝SR_tar，即时采样率计算过程结束；否则，将内部IP分为两组：可疑IP组{IP_sus}和非可疑IP组{IP_{non_sus}}，首先，计算各组的总体采样率SR_sus和SR_{non_sus}；根据上一时间窗口内统计到的报文总数CNT_pre和当前时间窗口内统计到的报文总数CNT_cur，分别计算上一时间窗口和当前时间窗口内统计到的所有可疑的内部IP的报文总数占总报文数之比：f_pre和f_cur，记f＝0.2×f_pre+0.8×f_cur，则可疑IP组的总体采样率SR_sus为：SR_sus＝SR_tar/f；若SR_sus>＝1，令SR_sus＝1，且令所有可疑IP组内的IP的即时采样率SR_{ins_sus}＝1；而SR_{non_sus}为：且令所有非可疑IP组内的IP的即时采样率SR_{ins_non_sus}＝SR_{non_sus}，即时采样率计算过程结束；否则，令非可疑IP组的总体采样率SR_{non_sus}＝0，且令所有非可疑IP组内的IP的即时采样率SR_{ins_non_sus}＝0；然后将SR_sus分配到各可疑IP：IP_{sus_i}，计算各可疑IP的即时采样率SR_{ins_i}；根据CNT_pre和CNT_cur，分别计算上一时间窗口和当前时间窗口内统计到的IP_{sus_i}的报文数占可疑IP报文总数之比：f_{pre_i}和f_{cur_i}，记f_i＝0.2×f_{pre_i}+0.8×f_{cur_i}，V_i＝0.2×B_i+0.8×RCR_i，其中n为流量采样表中的可疑IP总数，B_i、RCR_i分别为IP_{sus_i}的BGP前缀数、外部IP回访率；将流量采样表中各IP_{sus_i}表项按关键值K从大到小重新排序：再从流量采样表第一个表项到最后一个表项，依次计算各可疑IP对应的即时采样率SR_{ins_i}：若SR_{ins_i}>1，则令SR_{ins_i}＝1，且记流量采样表的剩余表项数为m，令所有剩余表项的V_j+1＝V_j+K_i/m，V_j＝0.2×B_j+0.8×RCR_j，B_j、RCR_j分别为IP_{sus_j}的BGP前缀数、外部IP回访率，IP_{sus_j}为剩余表项内的可疑IP；依此类推，依次计算每一个可疑IP对应的即时采样率，并将各即时采样率更新至流量采样表；

5)对到达的每一个报文，查询经4)更新后的流量采样表，得到更新后的流量采样表对应的即时采样率，然后以所述即时采样率对当前报文进行采样。

2.根据权利要求1所述的基于P2P僵尸节点感知的自适应网络流量采样方法，其特征在于，所述报文统计表的每一个表项由一个五元组确定：{Pro,IP_in,IP_ex,Port_in,Port_ex}，即，将传输层协议类型Pro、内部IP地址IP_in、外部IP地址IP_ex、内部端口号Port_in和外部端口号Port_ex相同的报文统计到同一个表项。

3.根据权利要求2所述的基于P2P僵尸节点感知的自适应网络流量采样方法，其特征在于，所述报文统计表还包含以下三项关键属性：报文数量Pkt、报文大小之和Byte、SYN标志位为1的TCP报文数量SYN。

4.根据权利要求3所述的基于P2P僵尸节点感知的自适应网络流量采样方法，其特征在于，所述报文统计表统计由内部IP地址IP_in发出的TCP和UDP报文。

5.根据权利要求1所述的基于P2P僵尸节点感知的自适应网络流量采样方法，其特征在于，时间窗口大小为5分钟。

6.根据权利要求3～5之一所述的基于P2P僵尸节点感知的自适应网络流量采样方法，其特征在于，提取网络行为可疑的内部IP的过程包括：

1)删除报文统计表中SYN>1的表项；然后，逐个分析报文统计表中的每一个内部IP地址IP_in，将所有与IP_in相关的表项聚类到不同的集合，每个集合中的表项拥有相等的Pkt值和Byte值；

2)分别计算各集合中各外部IP地址IP_ex重复出现的次数之和，得到各集合的外部IP回访数RCN，取所有RCN中的最大值，得到IP_in的外部IP回访率RCR；

3)利用BGP前缀公告，计算拥有最大RCN的集合中所有IP_ex的不同BGP前缀数，得到该集合中所有IP_ex的BGP数，即B值；

4)所有RCR值大于阈值M且B值大于阈值N的IP_in为可疑的内部IP。

7.根据权利要求6所述的基于P2P僵尸节点感知的自适应网络流量采样方法，其特征在于，M＝10；N＝100。

8.根据权利要求6所述的基于P2P僵尸节点感知的自适应网络流量采样方法，其特征在于，所述流量采样表的每一个表项包含一个可疑的内部IP，即IP_sus的相关信息；所述相关信息包括：该IP_sus的外部IP回访率RCR、BGP前缀数B、上一时间窗口内统计到的报文总数CNT_pre、当前时间窗口内统计到的报文总数CNT_cur和对应的即时采样率SR_ins。

9.根据权利要求8所述的基于P2P僵尸节点感知的自适应网络流量采样方法，其特征在于，更新到流量采样表包括删除已连续两个时间窗口未获更新的IP_sus表项。

10.根据权利要求1所述的基于P2P僵尸节点感知的自适应网络流量采样方法，其特征在于，所述步骤5)的具体实现过程包括：获取到达报文的内部IP，查询更新后的流量采样表，若此内部IP在更新后的流量采样表中，则以该内部IP对应的即时采样率SR_ins对所述报文进行采样；否则，令该内部IP即时采样率为SR_non-sus，并进行采样。