CN101309179A - 一种基于主机活跃性和通信模式分析实时异常流量检测方法 - Google Patents

Abstract

本发明涉及一种基于主机活跃性和通信模式分析实时异常流量检测方法，本发明能够在高速网络环境下实时确定异常流量事件发生的时间，识别出异常流量事件的类型，并能对该异常流量事件进行物理定位。本发明包括：提供各种网络服务的广域网以及与广域网连接的区域网和局域网和安装在集中检测设备上的抽样单元、提取计算单元、比较单元、知识库单元。本发明基于先验知识建立各种类型异常流量事件的通信模式，而在异常检测时，通过提取网络中的活跃主机通信模式，并与各异常流量事件通信模式相比较，就可能识别出发生在活跃主机上的异常流量事件，支持的异常流量检测事件包括α流、各种Flood事件、Flash－Crowd、端口扫描、网络扫描、设备故障和蠕虫扫描事件。

Description

一种基于主机活跃性和通信模式分析实时异常流量检测方法

技术领域

本发明涉及一种基于主机活跃性和通信模式分析实时异常流量检测方法，是一种应用于网络系统中电数字数据处理传输，属于一种应用于网络流量监测领域相关网络安全产品核心关键技术——异常流量监测、类型识别和物理定位方法。

背景技术

网络流量异常检测是指采集被监测网络中的网络流量数据(包括网络报文和数据流)，通过数据统计或挖掘技术，发现隐藏在正常网络流量中的各类异常流量事件，并产生异常流量报警事件，方便网络管理员及时响应。

传统异常流量检测方法往往都是检测网络中真实流量(包括报文数或字节数)的突变情况，从而推断出异常流量事件的发生时间。比如，当发现80端口流量曲线产生突变时，则认为在HTTP服务上发生了流量异常。传统异常流量检测方法已在当前的网络流量监测领域得到广泛应用。但传统异常流量监测方法存在以下两点不足：1)无法检测出那些不会导致网络流量曲线产生明显突变的异常流量事件，比如网络扫描事件，因为它经常被正常的网络通信流量所淹没；2)检测出的网络异常流量事件信息并不充分，比如，大多数传统异常流量检测工具无法识别具体的异常流量类型(是拒绝服务攻击还是正常突发性访问？)，以及异常流量事件发生的具体位置(该异常流量事件发生在哪个IP主机上？)，因此，无法满足网络管理员的实时响应需求。网络管理员不得不借助其它工具(比如Sniffer)来获取与该异常流量事件相关的各种关键参数信息。

从宏观层面来看，各种类型异常流量事件的通信模式是有区别的，比如，当一个TCP-SYN Flood攻击发生时，表现为大量的IP地址同时向某一IP地址发送TCP-SYN报文。同时，当一个异常流量事件发生时，与该事件相关活动主机在整个网络中表现是非常活跃的，主要表现在传输的报文数量明显比其它活动主机多。如果可以基于先验知识建立各种类型异常流量事件的通信模式，而在异常检测时，通过提取网络中的活跃主机通信模式，并与各异常流量事件通信模式相比较(分类问题)，就可能识别出发生在活跃主机上的异常流量事件。

发明内容

为克服现有技术的缺陷，本发明提出了一种基于主机活跃性和通信模式分析的异常流量检测方法，能够在高速网络环境下实时确定异常流量事件发生的时间，识别出异常流量事件的类型，并能对该异常流量事件进行物理定位。

本发明的目的是这样实现的：

一种基于主机活跃性和通信模式分析实时异常流量检测方法，包括：提供各种网络服务的广域网以及与广域网连接的区域网和局域网和安装在集中检测设备上的抽样单元、提取计算单元、比较单元、知识库单元，其特征在于所述的步骤：

①创建报文抽样循环缓冲区；

②抽样单元的时间窗开启，统计开始；

③抽样单元按照报文分类对报文进行活跃IP统计和自适应抽样；

④抽样单元的时间窗关闭，统计结束；

⑤提取计算单元基于哈希表结构 提取活跃IP地址集合并计算特征分布熵向量；

⑥提取计算单元基于报文抽样循环区提取活跃IP并计算报文通讯模式；

⑦比较单元从知识库单元提取异常流量通讯模式样本与上一步骤获得的通讯模式进行比较，如相同则报警，如不同则回到步骤②。

本发明产生的有益效果是：本发明基于先验知识建立各种类型异常流量事件的通信模式，而在异常检测时，通过提取网络中的活跃主机通信模式，并与各异常流量事件通信模式相比较(分类问题)，就可能识别出发生在活跃主机上的异常流量事件。解决了应用于网络流量监测领域相关网络安全产品核心关键技术问题——异常流量监测、类型识别和物理定位。本发明支持的异常流量检测事件包括α流、各种Flood事件、Flash-Crowd、端口扫描、网络扫描、设备故障和蠕虫扫描事件。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为基于主机活跃性和通信模式分析实时异常流量检测方法结构示意图；

图2为基于主机活跃性和通信模式分析实时异常流量检测方法的运行示意图；

图3为Flash-Crowd事件在相关报文子空间中行为模式；

图4为用于统计和提取各报文子空间活跃主机的哈希表结构。

具体实施方式

本发明涉及一种基于主机活跃性和通信模式分析的异常流量检测方法，能够在高速网络环境下实时确定异常流量事件发生的时间，识别出异常流量事件的类型，并能对该异常流量事件进行物理定位。

本发明所述的异常流量检测方法总体思想：将网络报文总体空间按异常流量事件相关报文类型划分为多个报文子空间：对每一个报文子空间，进行活动主机报文传输统计和自适应报文抽样，通过对活动主机报文传输统计结果进行挖掘，提取出各报文子空间中的活跃主机(TopN)，然后对报文抽样缓冲区中与活跃主机相关的抽样报文集合进行报文特征分布统计分析，得到各活跃主机通信模式，最后通过将各活跃主机通信模式与先前建立的异常流量事件通信模式进行相似性比较，从而检测出发生在各活跃主机上的异常流量事件及具体事件类型。

图1为基于主机活跃性和通信模式分析实时异常流量检测方法结构示意图包括：提供各种网络服务的广域网以及与广域网连接的区域网和局域网和安装在集中检测设备上的抽样单元、提取计算单元、比较单元、知识库单元。

本实施例的主要思路是：基于分类报文提取异常流量事件通信模式，因此，在线异常流量检测时，同样必须采取分类报文方法提取被监测网络中活跃主机的通信模式。对于不同类型报文子空间，本实施例基于高效哈希表方法统计各活动主机报文传输情况以及采用自适应报文抽样策略对传输的网络报文进行抽样，然后基于活动主机报文传输统计结果提取出活跃主机，然后从各类型报文子空间相关报文抽样缓冲区中抽取各活跃主机相关抽样报文并计算出活跃主机的通信模式，最后利用先前构建的异常流量事件分类器对各活跃主机的通信模式进行分类，发现可能的异常流量事件及其具体类型。

本实施例采用高效哈希表方法来统计各类型报文子空间中各活动主机(包括源活跃IP和目活跃IP)的活跃情况(共16个哈希表结构)，并分别为表2中的各报文抽样子空间创建报文抽样循环缓冲区(共8个报文抽样缓冲区)，采用自适应报文抽样策略来对各报文子空间中传输的报文进行抽样存储。

本实施例采用基于固定时间窗口的异常流量检测方法。固定时间窗统计开始时，对于每一个网络报文，首先判别其报文类型，抽取网络报文<SIP，DIP，Sport，DPort>四元组属性，更新与该报文类型对应的源活跃IP和目活跃IP相关哈希表结构，同时由该类型报文子空间抽样策略决定该报文是否被采样，如果被采样，则将该报文四元组记录顺序存储到对应报文抽样循环缓冲区中。

固定时间窗统计结束时，首先对各类报文子空间对应的源活跃IP和目活跃IP哈希表结构进行遍历，提取出各类报文相关的源活跃IP和目活跃IP集合；对于提取的每一活跃IP地址(源活跃IP或目活跃IP)，从相应报文抽样循环缓冲区中抽取与该活跃IP相关的报文样本集，并基于标准熵方法计算出活跃IP报文样本在<SIP，DIP，Sport，DPort>四元属性上的特征分布熵向量。这里需要计算两个特征分布熵向量，一个对应于活跃IP为源IP条件下的4维特征分布熵向量(简称为源特征分布向量)，另一个对应于活跃IP为目IP条件下的4维特征分布熵向量(简称为宿特征分布向量)。

最后，从各类报文子空间相关的源活跃IP和目活跃IP哈希表结构提取的活跃IP活跃性，以及从各类报文抽样循环缓冲区中提取的活跃IP源特征分布向量和宿特征分布向量值，构成了各活跃IP的通信模式。采用先前构建的异常流量事件分类器对各活跃IP通信模式进行分类，可预测各活跃IP是否与某一具体的异常流量事件相关，从而产生异常流量事件报警。

图2为基于主机活跃性和通信模式分析实时异常流量检测方法的运行示意图，运行步骤归结如下：

(一)创建循环缓冲区。创建16和哈希表结构和8个报文抽样循环缓冲区。本实施例采用高效哈希表方法来统计各类型报文子空间中各活动主机(包括源活跃IP和目活跃IP)的活跃情况(共16个哈希表结构)，并分别为表2中的各报文抽样子空间创建报文抽样循环缓冲区(共8个报文抽样缓冲区)，采用自适应报文抽样策略来对各报文子空间中传输的报文进行抽样存储。

(二)抽样单元的时间窗开启，统计开始；

(三)抽样单元按照报文分类对报文进行活跃IP统计和自适应抽样；所述的抽样单元按照报文分类对报文进行活跃IP统计和自适应抽样的方法：

i判别报文类型；

ii抽取报文SIP、DIP、Sport、Dport四元组属性；

iii更新与该报文组的源活跃IP和目活跃IP相关哈希表结构；

iv由该类型报文子空间抽样策略决定该报文是否被采样；

v将获得并采用的报文四元组记录顺序存储到对应报文抽样循环缓冲区中。

(四)抽样单元的时间窗关闭，统计结束；

(五)提取计算单元基于哈希表结构提取活跃IP地址集合并计算特征分布熵向量，计算方法：

I对各类报文子空间对应的源活跃IP和目活跃IP哈希表结构进行遍历；

II提取出各类报文相关的源活跃IP和目活跃IP集合；

III对于提取的每一活跃源活跃IP或目活跃IP，从相应报文抽样循环缓冲区中抽取与该活跃IP相关的报文样本集；

IV基于标准熵方法计算出活跃IP报文样本在SIP、DIP、Sport、DPor四元属性上的特征分布熵向量。

所述的特征分布熵向量包括：源特征分布熵向量和宿特征分布熵向量。

(六)提取计算单元基于报文抽样循环区提取活跃IP并计算报文通讯模式。

提取方法：

①从各类报文子空间相关的源活跃IP和目活跃IP哈希表结构提取的活跃IP活跃性；

②从各类报文抽样循环缓冲区中提取的活跃IP源特征分布向量和宿特征分布向量值；

③将提取的活跃IP活跃性和活跃IP的源特征分布向量、宿特征分布向量值构成了各活跃IP的通信模式。

(七)比较单元从知识库单元提取异常流量通讯模式样本与上一步骤获得的通讯模式进行比较，如相同则报警，如不同则回到步骤(二)，继续下一轮检测。

基于哈希表结构的活跃主机报文传输统计和活跃IP提取的说明：

本实施例基于高效的哈希表结构统计各类报文子空间中各活动主机的报文传输情况，并据此提取出各类报文子空间中的源活跃IP集合和目活跃IP集合。本发明将整体报文空间划分为8个报文子空间，对于每个报文子空间，需要分别提取源活跃IP集合和目活跃IP集合，因此，总共需要设置16个哈希表结构。

本实施例设计的哈希表如图4所示。本哈希表由65536个哈希桶组成，每个哈希桶可以顺序存储4个活动主机报文传输统计记录。H₁为本哈希表的高效映射函数(键值生成函数)，负责将整个活动主机IP地址空间(32bits)均匀分配到各哈希桶中(16bits空间)。具有相同哈希键值的活动主机IP地址将被分配到同一个哈希桶中并顺序存储，当同一桶中的活动主机IP地址超过4个时，报文传输统计数最少的那个活动主机报文传输记录将被替换。

单位时间窗报文统计开始时，对于每一个网络报文，首先判别其报文类型，提取出报文源IP地址和目IP地址并找到对应的源活跃IP和目活跃IP哈希表结构，基于键值生成函数H1分别对源IP和目IP进行哈希运算，得到哈希桶索引值key1和key2，然后分别对相关源活跃IP哈希表的Key1哈希桶和目活跃IP哈希表的Key2哈希桶进行更新，更新操作为：如果对应记录存在，则更新其计数值；如果对应记录不存在，则创建活动主机报文传输记录并顺序存储到存储区尾部(存储区未满情况下)，或者替换四个报文传输记录中报文计数最小者(存储区满情况下)。

单位时间窗报文统计结束时，将遍历各高效哈希表，从哈希表中提取出活跃主机集合(TopN)。从高效哈希表中提取TopN的活跃主机集合算法描述如下：

首先，设置用于存储TopN个活动主机报文传输统计记录的存储数组，表示为T[1..N]，并将T[1..N]计数器清零。

然后，取哈希表中前N个活动主机报文传输记录到T[1..N]数组中，并设置报文传输统计最小值CNT_MIN为这N个记录中最小值；

最后，遍历哈希表中其余活动主机报文传输记录，对于哈希表中每一活动主机报文传输记录，如果其报文传输统计值CNT＞CNT_MIN，则本记录将替换T数组中具有CNT_MIN计数值的那个报文传输记录，并同时调整CNT_MIN值为T数组中统计值最小者。哈希表遍历结束后，数组T中存储的就是提取出的TopN活跃主机集合(包括IP地址和报文传输计数值)。

基于抽样报文缓冲区计算指定活跃IP特征分布向量的说明：

本实施例采用自适应抽样策略实现对各报文子空间的报文抽样。这里为各类报文子空间设置固定大小的报文抽样缓冲区，并根据实际报文速率和固定缓冲区大小来确定各类报文子空间的报文抽样频率，从而使得抽样产生的报文样本尽可能反映原始网络报文总体特征：当网络中实际报文速率较低时，将自动调高报文抽样频率，反之则自动调低报文抽样频率。对于抽样到的网络报文，抽取并存储其四元标识{SIP，DIP，Sport，DPort}。如果固定时间窗内抽样的网络报文数超过了固定抽样循环缓冲区大小，则新抽样的网络报文将顺序覆盖最先抽样的网络报文。

当固定时间窗统计结束后，可从各类报文抽样报文缓冲区中抽取与指定活跃IP相关的网络报文抽样集合，并据此计算活跃IP的源和宿特征分布向量。

为有效计算活跃IP相关的抽样报文样品分别在SIP，DIP，SPORT，DPORT属性上的熵，本实施例采用一种基于均匀映射和线性计数数组的近似熵高效计算方法：对于某一报文属性，设置一个大小合适(假设为m)的线性计数数组V，然后采用均匀映射函数将每一活跃IP相关抽样报文样品指定属性的值映射到线性数组V中某一单元并计数加1；最后基于线性计数数组V计算活跃IP相关报文抽样样品在指定报文属性上取值的熵：

$H=(-\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\left(V\right[i]/\mathrm{SV})\log \left(V\right[i]/\mathrm{SV}))/\log \left(\mathrm{SV}\right);$ 其中 $\mathrm{SV}=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}V\left[i\right]$

通过上述近似熵计算方法，可以高效计算出活跃IP相关报文抽样样品在SIP，DIP，SPORT和DPORT报文属性上取值的近似熵。通过对各类报文缓冲区采取运用上述近似熵计算方法，最终可以得到指定活跃IP在各报文子空间中的源特征分布向量和宿特征分布向量。

要实现基于主机活跃性和通信模式分析实时异常流量检测方法必须先建立知识库单元，也就是基于先验知识构建异常流量检测模型，知识库单元收集各类型异常流量事件样本。在构建异常流量检测模型时，需要收集各种类型异常流量检测事件样本。本实施例支持的异常流量检测事件包括α流、各种Flood事件、Flash-Crowd、端口扫描、网络扫描、设备故障和蠕虫扫描事件。有关各类型异常流量事件描述见表1。

表1本发明方法支持的异常流量事件

异常事件类型	异常流量事件定义
		α流	网络中点到点的大流量数据传输
Flood流量	包括TCP Flood、UDP Flood和ICMPFlood等各种类型的Flood流量
		FlashCrowd	一种突发性的大量主机访问某一IP所提供服务的场景
端口扫描	扫描某一目标主机的活动端口(垂直扫描)，包括TCP和UDP端口扫描
		网络扫描	扫描网络中大量目标主机的特定服务端口(水平扫描)，包括TCP和UDP网络扫描
设备故障	由于设备故障导致的大量ICMP不可到达报文
		蠕虫事件	网络中存在大量的具有同一网络扫描模式的主机

本异常流量检测方法选择在网络报文层面来抽取各类型异常流量事件的通信模式。为了易于区分各类型异常流量事件的通信模式，这里采用报文分类方法来提取各异常流量事件通信模式，即将整个网络报文空间按报文类型划分为多个报文子空间，然后分别在各类型报文子空间中提取各异常流量事件的局部通信特征，最后通过合并从各类型报文子空间中提取的局部通信特征得到完整通信模式。本发明将总体网络报文空间划分为8个网络报文子空间，与各子空间相关的网络报文类型及其相关异常流量事件见表2。

表2 8个网络报文抽样子空间和关联的异常流量事件

报文类型	与之相关异常流量事件
		TCP-SYNONLY报文	TCP SYN Flood事件、TCP类型网络扫描事件
TCP-SYN-ACK报文	Flash Crowd事件
		TCP-RST报文	TCP端口扫描事件
TCP-ACK-ONLY报文	Flash Crowd事件，α流
		UDP报文	UDP Flood事件、UDP扫描事件
ICMP Echo报文	ICMP扫描事件、ICMP Flood事件
		ICMP Reply报文	ICMP Flood事件(Smurf攻击)
ICMP不可达报文	UDP端口扫描事件、设备故障事件

本发明从两个方面刻画各异常流量事件在相关报文子空间中的通信模式：异常事件发生点活跃度和异常事件相关报文特征分布。异常事件发生点活跃度是指在整个异常流量事件过程中发送或接收的网络报文数；异常事件相关报文特征分布是指事件相关报文抽样样品在源IP(SIP)、目IP(DIP)、源端口(Sport)和目端口(DPort)四个报文属性上取值的发散或聚合情况，这里采用标准熵方法来度量各报文属性取值的发散或聚合情况，并将通过标准熵公式计算出的异常事件相关报文在源IP(SIP)、目IP(DIP)、源端口(Sport)和目端口(DPort)四个报文属性上的熵表示为(H_SIP，H_DIP，H_SPort，H_DPort)。

在提取了各类型异常流量事件的通信模式后，本发明将基于这些异常流量通信模式构建一个适于在线异常流量检测使用的异常流量事件分类器。本发明选择决策树技术来构建异常流量事件分类器，因为其易于理解，并且分类预测效率高。

知识库单元构建方法的具体步骤归结如下：

①将整个网络报文空间按报文类型划分为多个报文子空间；

②分别在各类型报文子空间中提取各异常流量事件的局部通信特征；

③通过合并从各类型报文子空间中提取的局部通信特征得到完整通信模式；

④基于这些异常流量通信模式构建一个适于在线异常流量检测使用的知识库单元。

异常流量事件样本通信模式提取的说明：

本发明方法结合异常流量事件发生源的活跃性和异常流量事件相关报文特征分布情况来构建各异常流量事件的通信模式。本发明方法在提取各异常流量事件通信模式前，对异常流量事件相关报文进行了分类。本发明之异常流量检测方法支持的异常流量事件类型见表1，在异常流量事件建模和实时异常流量检测时采取的报文子空间划分方法见表2。

以Flash-Crowd异常流量事件为例说明基于异常事件发生点活跃度和相关报文特征分布来提取异常事件通信模式的过程。Flash-Crowd事件表示一种突发性的大量主机访问某一IP地址所提供服务(恶意或者良性行为)的场景。以TCP类型网络应用服务为例，可以将Flash-Crowd事件相关报文划分到SYN-Only、SYN-ACK和ACK-Only三个报文子空间中。Flash-Crowd事件在相关报文子空间中的通信行为见图3。

统计这三个报文子空间中的Flash-Crowd事件样本报文数量发现：在SYN-Only报文子空间中存在大量的来自不同源IP地址的SYN-Only报文涌向同一个目IP地址(即Flash-Crowd事件发生点)；在SYN-ACK报文子空间中存在大量的从同一个IP地址发往不同IP地址的SYN-ACK报文；在ACK-Only报文子空间同样存在大量的来自不同源IP地址的ACK-Only报文涌向同一个目IP地址。

分析这三个报文子空间中Flash-Crowd事件相关报文样本的4个报文属性(SIP，DIP，Sport，DPort)取值情况发现：在SYN-Only报文子空间中，Flash-Crowd事件相关报文样本集的源IP地址(SIP)取值具有发散性，目IP地址(DIP)取值固定在一个IP地址上，源端口(Sport)取值具有发散性，目端口(DPort)取值则固定在少数几个端口值上；在SYN-ACK报文子空间中，Flash-Crowd事件相关报文样本集的源IP地址(SIP)取值固定，目IP地址取值具有发散性，源端口(Sport)取值则固定在少数几个端口值上，目端口(DPort)取值具有发散性；在ACK-Only报文子空间中，Flash-Crowd事件相关报文样本集的源IP地址(SIP)取值具有发散性，目IP地址(DIP)取值固定在一个IP地址上，源端口(Sport)取值具有发散性，目端口(DPort)取值则固定在少数几个端口值上。基于具体阈值的Flash-Crowd事件的通信特征可描述如下：

Flash-Crowd异常事件发生点活跃性特征：Flash-Crowd事件发生点每秒钟接收到的SYN-ONLY报文超过40个，发送的SYN-ACK报文超过40个，同时接收到的ACK-ONLY报文也超过了40个；

Flash-Crowd事件相关报文分布特征：在SYN-ONLY报文子空间，Flash-Crowd事件相关报文抽样集各属性取值分布(熵)表现为H_SIP趋于1，H_DIP趋于0，H_Sport趋于中间值，H_DPort趋于0；在SYN-ACK报文子空间，Flash-Crowd事件相关报文抽样集各属性取值分布(熵)表现为：H_SIP趋于0，H_DIP趋于1，H_Sport趋于0，H_DPort趋于中间值；在ACK-ONLY报文子空间，Flash-Crowd事件相关报文抽样集各属性取值分布(熵)表现为：H_SIP趋于1，H_DIP趋于0，H_Sport趋于中间值，H_DPort趋于0。

Claims (10)

1.一种基于主机活跃性和通信模式分析实时异常流量检测方法，包括：提供各种网络服务的广域网以及与广域网连接的区域网和局域网和安装在集中检测设备上的抽样单元、提取计算单元、比较单元、知识库单元，其特征在于所述的步骤：

①创建报文抽样循环缓冲区；

②抽样单元的时间窗开启，统计开始；

③抽样单元按照报文分类对报文进行活跃IP统计和自适应抽样；

④抽样单元的时间窗关闭，统计结束；

⑤提取计算单元基于哈希表结构提取活跃IP地址集合并计算特征分布熵向量；

⑥提取计算单元基于报文抽样循环区提取活跃IP并计算报文通讯模式；

⑦比较单元从知识库单元提取异常流量通讯模式样本与上一步骤获得的通讯模式进行比较，如相同则报警，如不同则回到步骤②。

2.根据权利要求1所述的一种基于主机活跃性和通信模式分析实时异常流量检测方法，其特征在于所述的循环缓冲区包括：16个哈希表结构和8个报文抽样循环缓冲分区。

3.根据权利要求1所述的一种基于主机活跃性和通信模式分析实时异常流量检测方法，其特征在于所述的抽样单元按照报文分类对报文进行活跃IP统计和自适应抽样的方法：

①判别报文类型；

②抽取报文SIP、DIP、Sport、Dport四元组属性；

③更新与该报文组的源活跃IP和目活跃IP相关哈希表结构；

④由该类型报文子空间抽样策略决定该报文是否被采样；

⑤将获得并采用的报文四元组记录顺序存储到对应报文抽样循环缓冲区中。

4.根据权利要求1所述的一种基于主机活跃性和通信模式分析实时异常流量检测方法，其特征在于所述的提取计算单元基于哈希表结构提取活跃IP地址集合并计算特征分布熵向量的方法：

①对各类报文子空间对应的源活跃IP和目活跃IP哈希表结构进行遍历；

②提取出各类报文相关的源活跃IP和目活跃IP集合；

③对于提取的每一活跃源活跃IP或目活跃IP，从相应报文抽样循环缓冲区中抽取与该活跃IP相关的报文样本集；

④基于标准熵方法计算出活跃IP报文样本在SIP、DIP、Sport、DPor四元属性上的特征分布熵向量。

5.根据权利要求4所述的一种基于主机活跃性和通信模式分析实时异常流量检测方法，其特征在于所述的特征分布熵向量包括：源特征分布熵向量和宿特征分布熵向量。

6.根据权利要求1所述的一种基于主机活跃性和通信模式分析实时异常流量检测方法，其特征在于所述的提取计算单元基于报文抽样循环区提取活跃IP并计算报文通讯模式的方法：

①从各类报文子空间相关的源活跃IP和目活跃IP哈希表结构提取的活跃IP活跃性；

②从各类报文抽样循环缓冲区中提取的活跃IP源特征分布向量和宿特征分布向量值；

③将提取的活跃IP活跃性和活跃IP的源特征分布向量、宿特征分布向量值构成了各活跃IP的通信模式。

7.根据权利要求1所述的一种基于主机活跃性和通信模式分析实时异常流量检测方法，其特征在于所述的知识库单元收集各类型异常流量事件样本，所述的知识库单元构建的方法：

①将整个网络报文空间按报文类型划分为多个报文子空间；

②分别在各类型报文子空间中提取各异常流量事件的局部通信特征；

③通过合并从各类型报文子空间中提取的局部通信特征得到完整通信模式；

④基于这些异常流量通信模式构建一个适于在线异常流量检测使用的知识库单元。

8.根据权利要求7所述的一种基于主机活跃性和通信模式分析实时异常流量检测方法，其特征在于所述的知识库单元收集各类型异常流量事件样本包括：α流、Flood、Flash-Crowd、端口扫描、网络扫描、设备故障和蠕虫扫描，或所述的知识库单元结构为决策树结构。

9.根据权利要求7所述的一种基于主机活跃性和通信模式分析实时异常流量检测方法，其特征在于所述的各类型报文子空间包括：TCP-SYNOnly、TCP-SYNACK、TCP-RST、TCP-ACKONLY、UDP、ICMP-Req、ICMP-Rply和ICMP-unreach。

10.根据权利要求7所述的一种基于主机活跃性和通信模式分析实时异常流量检测方法，其特征在于所述的通讯模式的描述方法：

异常事件发生点活跃度和异常事件相关报文特征分布，所述的异常事件发生点活跃度是指在整个异常流量事件过程中发送或接收的网络报文数；所述的异常事件相关报文特征分布是指事件相关报文抽样样品在源IP(SIP)、目IP(DIP)、源端口和目端口四个报文属性上取值的发散或聚合情况，所述的异常事件相关报文特征分布的计算方法是采用线性计数数组和均匀映射方法来高效计算近似熵，得到异常流量事件样本在不同类型报文子空间中的源和宿特征分布向量。

Images