CN105847283A - 一种基于信息熵方差分析的异常流量检测方法 - Google Patents

Abstract

本发明公开了一种基于信息熵方差分析的异常流量检测方法，本发明基于拥有大量的互联网用户访问日志，系统对采集到的数据经加工处理后，通过大数据挖掘、关联与统计分析，快速识别并记录攻击行为或异常行为，形成入侵攻击报警信息数据，通过相关入侵攻击数据分析来构建完整的攻击路径，从而实现入侵追踪定位目标任务。同时，该发明能实现事后行为追踪和用户访问行为机器学习，降低系统误报率且提出了网络流量的可测度集，描绘了一个正常网络流量的基线，为异常检测提供了参照。

Description

一种基于信息熵方差分析的异常流量检测方法

技术领域

本发明属于信息领域，尤其涉及一种基于信息熵方差分析的异常流量检测方法。

背景技术

名词解释：

DDoS：分布式拒绝服务(DDoS:Distributed Denial of Service)攻击指借助于客户/服务器技术，将多个计算机联合起来作为攻击平台，对一个或多个目标发动DDoS攻击。

CC：(Challenge Collapsar)攻击者借助代理服务器生成指向受害主机的合法请求，实现DDOS,和伪装。

CNNIC：中国互联网络信息中心(China Internet NetworkInformation Center，简称CNNIC)。

TCP：TCP(Transmission Control Protocol传输控制协议)是一种面向连接的、可靠的、基于字节流的传输层通信协议，由IETF的RFC 793定义。

随着Internet迅猛的发展以及网络社会的到来，网络与人们的日常生活的关系越来越密切。但Internet是一把双刃剑，它给我们泰来便利的同时，也给我们带来了诸多问题。在众多的问题当中，网络安全是首要问题。目前网络入侵的频率越来越高，入侵的危害性也越来越大，尤其是消耗网络资源的入侵行为愈演愈烈。而网络带宽作为一种宝贵的资源，直接影响到人们访问网络的质量。因此，如何保证带宽资源的有效利用，及时发现和防御恶意消耗网络带宽的行为是一个重要的研究方向。

DDoS攻击是一种常见的网络攻击方式，DDoS攻击最明显的特征就是流量的大幅度增加，基于流量变化检测DDoS也是最常见的方法。与最常见的基于单链路流量检测DDoS攻击相比，基于全网流量变化检测DDoS攻击，能有效降低网络流量波动导致的检测误差。罗华等人提出了基于网络全局流量异常特征，检测DDoS攻击的方法，通过对全网或运营商网络中的OD(origin-destination)对(或流，或者节点)之间的流量进行测量，构建网络流量矩阵，基于链路中攻击流的相关性，将流量矩阵分解为异常流量空间和正常流量空间，利用异常流量的相关特征检测出攻击。

Chen等人采用CAT(change-aggregation tree)机制对流经同一个ISP网络中的路由器流量进行协同分析，根据路由器每个接口的流量分布情况发现流量异常，流量异常报警信号发送给CAT构建服务器，由CAT构建服务器对报警信号进行协同分析融合处理，实现对攻击的快速、准确识别。

TCP协议承载了互联网中的大部分业务，并且TCP协议规定数据接收方需向数据发送方进行传输确认，因而某一网络节点或某一网段的TCP数据包数量比例在统计意义上是稳定，如果该比例值发生较大的变化，则认为发生了DDoS攻击.通过统计计算各子网的进出TCP包数比例，可以发现被攻击子网地址。

在骨干网层面检测DDoS攻击一直是研究的难点。Yuan等人提出了采用Cross-Correlation和Weight Vector方法分析骨干网节点流量，检测DDoS攻击的方法。此方法能够有效检测多种攻击，如恒速流量攻击、增速流量攻击、Pulsing攻击或TCP-Target攻击等。

DDoS攻击发生时，在骨干网层面上及时发现被攻击地址对网络安全应急响应具有重要意义。基于DDoS攻击会导致流量大幅度增加的特征，Sekar等人提出了一种两级DDoS检测机制，能够及时发现被攻击地址。采用Snmp测量路由器接口流量，并与历史流量数据进行比对，能够发现流量的异常变化，然后利用Netflow信息，提取被攻击地址。

Shrew(pulsing)DDoS利用了TCP协议重传的时间特性，根据TCP重传时间间隔，在较短时间内高速发送攻击包，消耗攻击目标缓冲区，导致大量TCP包被丢弃。TCP包依据重传规则，过一定时间后重传数据包，此时，攻击主机再次发送攻击包消耗缓冲区。利用较少的攻击流量，攻击者即可获得较好的攻击效果，且不易被检测。Chen等人提出一种Shrew DDoS攻击的识别机制。该方法对多个路由器流量的协同分析，计算流量采样序列的自相关序列，并利用傅里叶变换(discreteFourier transform)将自相关序列转换为频域，由于其低频域的功率谱密度(power spectrum density)比正常流量要高，因而可以检测到shrew DDoS攻击。Sun等人也提出了一种分布式的DDoS攻击检测方法，利用动态Time Warping方法，能够准确地检测出Shrew DDoS攻击。流量异常检测的核心是实现流量正常行为的描述，并且能够实时、快速地对异常进行处。而检测方法可以归结为以下4类：(1)阈值检测方法；(2)统计检测方法；(3)基于小波的检测方法；(4)面向网络安全的检测方法。

但是现有技术具有如下缺点

1.目前互联网发展速度极快，成为了大数据的时代，而在互联网中的用户交互数据量也成本的增加，原有的方法大部分是在对TCP包协议做特征检测的方法识别攻击，而当数据量成倍增加的时候，这样的方案将无法承载。

2.检测方法过于繁琐，攻击识别的实时性响应速度比较慢

3.由于DDOS其分布式和欺骗的特点，基于特征匹配的传统检测方法已经难以奏效。有的算法只能用于检测SYN FLOOD攻击，而对于其他的DoS/DDoS攻击则无法检测；有的算法运用了网络流量的自相似性特征进行分析；有的则对源IP地址过滤来检测防御DDoS攻击。每种算法都存在各自的缺陷，需要有一定的先验知识，难于区分突发正常流量。

发明内容

为解决上述问题，本发明提供了一种基于信息熵方差分析的异常流量检测方法。本发明通过对五元组信息计算信息熵后，再通过机器学习的方法对流量的异变做出准确判断，在数据采集方面不需要再对包内容读取检测，省去了大量的计算资源消耗，减小了检测的内容，提高了大数据量下的异常流量实时检测效率；在异常识别方面，通过对用户访问的行为学习后作出判断，用客观的数据分析方法代替主观识别，提高了异常检测的准确性。

为达到上述技术效果，本发明的技术方案是：

一种基于信息熵方差分析的异常流量检测方法，包括如下步骤：步骤一)设置置信区间：通过数据包的包头信息，学习流量在一段时间中的的正常行为，这段时间称为时间窗口；将每个时间窗口中所得的信息熵值进行积累，形成历史行为可测度集，利用历史行为可测度集建立正常网络基线；对历史行为可测度集内各时间窗口的信息熵值进行方差分析，根据中心极限定理建立正常网络基线的置信区间；步骤二)统计当前时间窗口的信息熵值，判断当前时间窗口的信息熵值是否超出置信区间；若处于置信区间则判断网络行为正常，若超出置信区间则说明发生了异常行为。

进一步的改进，所述异常行为为DDoS攻击或DoS攻击。

进一步的改进，所述步骤二)中，当前时间窗口的信息熵值超出置信区间时做一个连续时间段的判断，超过设定的连续时间T，则认为是DDoS攻击或DoS攻击发起，记录第一次超出置信区间的上界P₁；当连续信息熵值低于P₁，则判断攻击结束。

进一步的改进，T＝3分钟。

进一步的改进，所述步骤一)中，设置一个固定大小的滑动窗口，滑动窗口内包括固定数量的时间窗口，根据时间顺序不断删除旧的时间窗口，添加新的时间窗口，通过机器学习方法不断更新正常网络基线。

进一步的改进，所述滑动窗口内包括20个时间窗口。

进一步的改进，所述数据包的包头信息包括源IP地址、源端口号、目的IP地址、目的端口号和协议类型。

本发明仅需要网络包中的五元组信息，通过对五元组信息计算信息熵后，再通过机器学习的方法对流量的异变做出准确判断。

在数据采集方面不需要再对包内容读取检测，省去了大量的计算资源消耗，减小了检测的内容，提高了大数据量下的异常流量实时检测效率。

在异常识别方面，通过对用户访问的行为学习后作出判断，用客观的数据分析方法代替主观识别，提高了异常检测的准确性。

对于机器学习本发明采用了方差分析的方法。

信息熵结合方差分析：

采用方差分析建立异常流量检测模型。对流量在时间段上进行切割，可以学习到流量在一段时间中的的正常行为，这段时间称为时间窗口，这个时间窗口可以根据实际机器学习后的结果进行调整大小，以便能得到更准确的结果。

将每个时间段中所得的信息熵值进行积累，在积累了一定数量的测度统计内容后就形成了历史行为可测度集。利用这些流量历史行为，建立过去一段时间内的正常网络基线。在系统运行时，统计当前流量行为可测度集，并同正常的网络基线相比较，如果当前流量行为与正常网络基线出现明显的偏离时，即认为出现了异常行为，并可进一步检测分析；如果两种行为没有明显偏差，则流量正常，更新正常网络流量模型。

在流量发生异常的时候，发生时所在的时间段计算的信息熵值会与学习到的正常流量有很大的变化。根据中心极限定理，认为随机变量序列部分和分布渐近于正态分布，因此，通过对信息熵值的标准差计算正态分布值，得到了置信区间，作为判断是否异常的依据。

通过方差分析，判断超出置信区间范围的时间点为攻击发起时间。单独采用置信区间去判断异常，也会出现比较多的误判。所以需要对业务进行特征分析，对于常见的攻击发生时，会是连续持续的攻击，从数据中的表现来看，攻击的连接数是比较平稳和持续的，所以对超出置信区间时做一个连续时间段的判断，超过设定的连续时间T，则认为是攻击发起，记录第一次超出置信区间的上界P₁；当连续信息熵值低于P₁，则判断攻击结束。通过这种方法可以准确的识别攻击的开始和结束。

本发明能在大数据环境下，快速准确的发现网站/服务器是否正在收到攻击。通过在因特网上统计数据包头的一些信息。通过在核心路由器上或提供服务的服务器的监视器，监视到达数据包的源IP地址、源端口号、目的IP地址、目的端口号、协议类型这些五元组信息(数据包的包头信息)，然后统计单位时间内的连接信息熵这个统计量，通过更进一步计算熵值分布，来测量这个熵值分布的随机性。如果出现一个较大的阶跃，就认为可能预示着一个异常流量的攻击。

这种方法只需要获取每个数据包的包头信息，而不用检测分析包内容，结合大数据统计分析手段，能在短时间内分析检测大量的用户连接，通过统计算法分析出目的IP是否受到攻击。

本发明基于拥有大量的互联网用户访问日志，系统对采集到的数据经加工处理后，通过大数据挖掘、关联与统计分析，快速识别并记录攻击行为或异常行为，形成入侵攻击报警信息数据，通过相关入侵攻击数据分析来构建完整的攻击路径，从而实现入侵追踪定位目标任务。同时，该发明能实现事后行为追踪和用户访问行为机器学习，降低系统误报率。

本发明提出了网络流量的可测度集，描绘了一个正常网络流量的基线，为异常检测提供了参照。

附图说明

图1为本发明的流程示意图；

图2为信息熵值超出置信区间的示意图。

具体实施方式

以下通过具体实施方式并且结合附图对本发明的技术方案作具体说明。

实施例1

基于信息熵方差分析的异常流量检测方法的具体步骤如图1所示。

基于流量行为特征的骨干网络异常流量检测与异常流识别方法包括四个步骤：流量行为特征提取，异常时间点确定，异常目的IP确定以及异常流提取与攻击判定。具体流程如下：

(1).从网络设备中获取原始数据，并从中提取出流量行为特征；

(2).对粗粒度的流量行为特征参数进行处理，确定异常行为发生的时间点；

(3).分析异常行为发生的时间点流量最大的N个目的IP在历史时间窗内所构成子流的细粒度流量参数，判定异常目的IP

(4).找出历史时间窗内与异常目的IP对应的源IP并提取出相关异常流，综合分析异常流的行为特征参数在异常时间点的变化，判断引起该异常流的异常行为是否为DoS攻击或者DDoS攻击。

1、信息熵计算

信息熵：信息论之父C.E.Shannon在1948年发表的论文“通信的数学理论(A Mathematical Theory of Communication)”中，Shannon指出，任何信息都存在冗余，冗余大小与信息中每个符号(数字、字母或单词)的出现概率或者说不确定性有关。

Shannon借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。

$H\left(X\right)=-{\mathrm{\Σ}}_{i=1}^{n}p\left(x_i\right){\log }_{2}p\left(x_i\right)$

通过分析网络流连接信息熵时间序列，运用统计特征的方法，实现异常连接的识别，也能有效的区分正常的流量增加与异常攻击所导致的流量增加，对于固定IP、端口号随机变化的DDoS有比较好的检测效果

2、建立正常流量模型

要进行流量异常检测，首先建立正常的网络流量模型，然后对比正常模型能够识别异常。通过信息熵的计算，我们将网络中的访问连接进行量化，利用网络连接的历史行为检测当前异常活动和网络性能的下降。因此正常流量模型的建立需要把反映网络流量的各项指标都体现出来，使其能够准确反映网络活动。

定义1R＝{P1….P2…..Pi……Pj}为IP网络连接数集合，其中数据元素为三元组形式，即Pi＝(Si,Di,Porti)，其中，Si，Di，Porti分别表示数据包i的源IP地址、目前IP地址、目的端口号。若P1….P2…..Pj的源、目的IP地址及目的端口好均相同，则称其为一组相关数据，称集合R为相关数据集合。相关数据集合内元数据个数至少为1。

定义2假设单位时间网络连接数内的数据集合为P＝{P1,P2,……PM}，其内相关数据集合为Q＝{Q1,Q2,…..QN}，|Qi|表示集合Qj中连接数；对集合Q中相同|Q3|的连接数再次聚集，得到集合D＝{D1,….Di,……Dk}，其中，Di表示有i个数据彼此相似的集合。

定义3时间间隔△t内相关连接数x₁出现的频率近似为该x_i的出现概率p(x_i),所以某段连续报文流的信息熵(FCE)：

$H\left(X\right)=-{\mathrm{\Σ}}_{i=1}^{n}p\left(x_i\right){\log }_{2}p\left(x_i\right)$

其中，p(x_i)为数据包x_i在时间间隔△t内出现的概率。

在积累了一定数量的测度统计内容后就形成了历史行为可测度集。利用这些流量历史行为，我们建立过去一段时间内的正常网络基线。在系统运行时，统计当前流量行为可测度集，并同正常的网络基线相比较，如果当前流量行为与正常网络基线出现明显的偏离时，即认为出现了异常行为，并可进一步检测分析；如果两种行为没有明显偏差，则流量正常，更新正常网络流量模型。

3、方差分析

方差与标准差是测量离中趋势的最常用和最重要的量。总体方差是一组资料中各数值与其算术平均数离差平方和的平均数。通常用δ²表示。总体标准差则是总体方差的平方根，用δ表示。从方差与标准差的定义和计算公式，看到它与平均差同样都是以离差来反映一组数据的差异程度的，所不同在于对离差的处理方式不同，方差和标准差是通过对离差进行平方来避免正负离差的项目抵消，这使得它不仅能够考虑所有数据的情况来可以反映数据离散程度大小，而且避免了绝对值计算，这就使得方差成为最重要的离中趋势测度量。样本方差是一组资料中各数值与其算术平均数离差平方和的平均数。通常用S²表示。样本标准差则是样本方差的平方根，用S表示。

中心极限定理认为，无论研究的统计总体服从什么样的分布，样本平均值的分布接近一个正态分布，正态分布的均值等于总体分布的均值，标准偏差等于总体分布的标准变差除以样本大小的平方根。

设被测量统计量为X，该统计量前n个单位时间内平均抽样为x₁,x₂,……,则该统计量的样本均值为

$x={\mathrm{\Σ}}_{i=1}^n{x}_i$

标准方差是测量数据的偏差，如果数据离平均值近，则置信区间较窄，对于n个数据值，样本标准差对总体标准差的无偏估计定义为：

$S_n=\sqrt{\frac{1}{n-1}{\mathrm{\Σ}}_{i=1}^n{(x_i-x)}^2}=-\sqrt{\frac{{\mathrm{\Σ}}_{i=1}^n{x_i}^2-{\mathrm{nx}}^2}{n-1}}\sqrt{\frac{{\mathrm{\Σ}}_{i=1}^n{x_i}^2-{\mathrm{x\Σ}}_{i=1}^n{x}_i}{n-1}}$

对于每个测度，只需要维护3个值：样本均值、样本累加和、样本平方累加和。样本均值和标准差

$S_{xn}=\frac{S_n}{\sqrt{n}}$

能为流量特性的总体值构造一个置信区间(如：平均吞吐量)。样本均值的标准偏差如果从相同的流量中重复选择样本，并计算每个样本的均值，则这个统计量表明期望的变化量。中心极限定理对称对于大于n的样本，其均值服从均值等于流量总体的均值，标准差为的正态分布。因此可以构造总体均值的置信区间μ为

$|\mathrm{\μ}-x|\≤z_a\frac{S_n}{\sqrt{n}}$

即

$x-z_a\frac{s_n}{\sqrt{n}}\≤\mathrm{\μ}\≤x+Z_a\frac{S_n}{\sqrt{n}}$

z_a是标准正态分布给定的α的分位数。如果当前样本测度值满足上式要求，说明当前流量正常，若不满足上式要求，则说明当前流量异常。

我们采用方差统计模型，根据中心极限定理，如果研究的随机变量X可以表示成很多个独立的随机变量X₁,X₂,X₃,....,X_n之和，只要每个X_i(i＝1,2,…n)对X只起微小的作用，不管这些X服从什么分布，在n比较大的情况下，就可以认为X服从正态分布。由于网络流量测度都是独立的随机变量，因此这些测度可以使用该定理进行估计。

我们现在可以将一个每一个源IP到目的IP在一个时间窗口内的概率值换算为信息熵值，设定为T_i，前n个信息熵总和和为X_n，平均值为X^′ _n。当有一个新的时间窗口数据进来，信息熵总和与平均值都会发生变化。样本均值和标准差能为流量特性的总体均值构造一个置信区间，利用这个置信区间可以判定异常。如果某个时间范围内的测度在此置信区间内，则认为流量正常，否则认为出现异常，进行异常处理。

如图2所示，在流量发生异常变化的时候，可以通过这种方式明显发现信息熵超过了置信区间的上界。

3、连续性跟踪

通过置信区间判断异变时，在小粒度时间(10秒、30秒、1分钟)会出现小波动造成误判情况，对于这样的情况，本方法增加了连续性的跟踪判断：

攻击发生时，连续3个采样点，信息熵值都超过了置信区间上界时开始告警，而攻击开始时间记录为第一个采样点开始的时间。

根据置信区间的界限判断时，当信息熵达到稳定时，异常告警将停止，而此时攻击行为任然在继续，因此我们需要通过信息熵的持续增加的特征以及在攻击结束时，信息熵值下降的特征通过门限来确定攻击时间，步骤如下：

(1).将第一个采样点的置信区间上界值记录下来T₁，判断此后的采样点信息熵上界，只要连续大于第一个采样点置信区间上界值T₁，都记录为攻击行为

(2).直到判断到下一个采样点的信息熵下界值T₂小于第一个采样点的上界值T₁时算为攻击结束。

4、找出异常源IP

攻击时源IP的连接行为体现为：

●连续性

●周期性

●固定频率

因此，我们通过这种特性，再根据实际数据体现的结果，将具有连续周期，固定频率的源IP进行统计，根据经验设定阀值，将这些异常源IP过滤出来。

异常源IP的阀值设定为：连续3分钟，每分钟连接次数超过60次。

5、正常流量模型的调整

网络行为是不断变化的，即使对于比较稳定的网络环境，也会随着用户行为的变化而变化。因此，正常流量模型必须是可调整的，要能随着网络行为的改变而调整自己的历史行为网络基线。

动态调整测度需要设置一个滑动窗口，利用这个窗口取得新样本，去掉旧样本，这样可以保证窗口内的测度值为最近最新的历史行为。为了维护一个具有固定大小的滑动窗口队列，需要在窗口队列的头部抛弃旧数据，在队列尾增加新到的数据。因为对窗口数据的抛弃和增加是由时间顺序来决定的，所以本方法使用基于单位时间尺度的滑动窗口模型。

2.3本发明技术方案带来的有益效果

本发明基于拥有大量的互联网用户访问日志，系统对采集到的数据经加工处理后，通过大数据挖掘、关联与统计分析，快速识别并记录攻击行为或异常行为，形成入侵攻击报警信息数据，通过相关入侵攻击数据分析来构建完整的攻击路径，从而实现入侵追踪定位目标任务。同时，该发明能实现事后行为追踪和用户访问行为机器学习，降低系统误报率。

本发明提出了网络流量的可测度集，描绘了一个正常网络流量的基线，为异常检测提供了参照。

上述仅为本发明的一个具体导向实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明的保护范围的行为。

Claims (7)

1.一种基于信息熵方差分析的异常流量检测方法，其特征在于，包括如下步骤：

步骤一)设置置信区间：通过数据包的包头信息，学习流量在一段时间中的的正常行为，这段时间称为时间窗口；将每个时间窗口中所得的信息熵值进行积累，形成历史行为可测度集，利用历史行为可测度集建立正常网络基线；对历史行为可测度集内各时间窗口的信息熵值进行方差分析，根据中心极限定理建立正常网络基线的置信区间；

步骤二)统计当前时间窗口的信息熵值，判断当前时间窗口的信息熵值是否超出置信区间；若处于置信区间则判断网络行为正常，若超出置信区间则说明发生了异常行为。

2.如权利要求1所述的基于信息熵方差分析的异常流量检测方法，其特征在于，所述异常行为为DDoS攻击或DoS攻击。

3.如权利要求2所述的基于信息熵方差分析的异常流量检测方法，其特征在于，所述步骤二)中，当前时间窗口的信息熵值超出置信区间时做一个连续时间段的判断，超过设定的连续时间T，则认为是DDoS攻击或DoS攻击发起，记录第一次超出置信区间的上界P₁；当连续信息熵值低于P₁，则判断攻击结束。

4.如权利要求3所述的基于信息熵方差分析的异常流量检测方法，其特征在于，T＝3分钟。

5.如权利要求1所述的基于信息熵方差分析的异常流量检测方法，其特征在于，所述步骤一)中，设置一个固定大小的滑动窗口，滑动窗口内包括固定数量的时间窗口，根据时间顺序不断删除旧的时间窗口，添加新的时间窗口，通过机器学习方法不断更新正常网络基线。

6.如权利要求5所述的基于信息熵方差分析的异常流量检测方法，其特征在于，所述滑动窗口内包括20个时间窗口。

7.如权利要求1所述的基于信息熵方差分析的异常流量检测方法，其特征在于，所述数据包的包头信息包括源IP地址、源端口号、目的IP地址、目的端口号和协议类型。