CN101383694A - 基于数据挖掘技术的拒绝服务攻击防御方法和系统 - Google Patents

Abstract

本发明公开了一种基于数据挖掘技术的拒绝服务攻击防御方法和系统。该系统由异常检测、数据挖掘引擎、可信IP列表过滤器、流量控制四大模块组成。异常检测模块采用高效的协方差分析方法对当前网络流量进行分析以判断当前系统是否异常，数据挖掘引擎模块利用关联分析法提取可信IP列表用于数据包的过滤。该防御系统弥补了传统基于可信IP列表过滤的缺点，并在防御攻击时能有效区分正常流量与异常流量。系统的数据挖掘引擎模块提取、传输IP可信列表和属性分值表具有高效性，使该模型能对拒绝服务攻击(DoS/DDoS)进行实时防御。

Description

基于数据挖掘技术的拒绝服务攻击防御方法和系统

技术领域

本发明涉及互联网技术，具体涉及一种基于数据挖掘技术的拒绝服务攻击防御方法和系统。

背景技术

拒绝服务攻击(DoS)和分布式拒绝服务攻击(DDoS)是目前常见的网络攻击方式。这种攻击通过发送大量伪造的服务请求，消耗被攻击网络的带宽和受攻击主机的服务资源，从而淹没合法的正常服务。特别是DDoS攻击，由于其受控主机自身具有分布性，且攻击数据包采用伪随机IP，使得攻击者具有更强的隐蔽性，DDOS攻击更加难以防御。因此研究一种能够有效抵御DDoS攻击的防御模型和机制具有很迫切的现实需要。

数据挖掘技术在检测和防御分布式拒绝服务攻击领域有一定的应用。目前，数据挖掘技术主要应用在攻击检测领域。针对DDoS进行防御有多种机制和方法。对DDoS攻击防御方法有很多，比如：有基于源可信IP过滤、拥塞控制等方案。基于拥塞控制的防御机制只能解决网络拥塞的问题，该机制无法正确区分恶意攻击流量和合法流量。有研究者提出了一种根据历史流量提取可信源IP方法，并针对源IP进行过滤来防御DDoS攻击。该方案能在保护合法流量的情况下对DDoS进行防御，过滤伪造的攻击数据包，但如果攻击数据包源IP地址存在于可信IP列表中，该方法则失效。有研究者提出了一种大规模防御分布式拒绝服务攻击的模型，模型主要分为分布在受保护服务器前端的DCA(Data Collection Agent)和位于控制中心的DFA(Data Fusion Agent)两部分。DFA采用贝叶斯分类算法对数据块进行危险度的划分，若来自某个DCA的数据块危险度较高，则通知对应DCA进行防御。系统具有较好的防御效果，但需要大规模部署，实际应用性较差。

发明内容

本发明针对现有DoS/DDoS攻击防御的不足，提出了一种基于数挖掘技术的拒绝服务攻击防御方法和系统。该系统主要采用数据挖掘技术中的关联分析方法和贝叶斯分类算法构架了一个有效的防御体系。可信IP列表过滤器与流量控制模块相互配合，可信度较高的可信IP列表使可信流量尽快通过防御模型，也为流量控制模块分担一部分压力。流量控制组件对可信IP列表组件不能处理的流量按照危险度等级的不同进行不同概率丢包，这样有选择概率的丢包，使正常流量极大限度地通过防御模型，从而保障了网络的正常访问。

该防御系统主要解决了两个问题：

(1)基本解决了传统IP列表某些情况失效的问题，提取IP列表的方式使可信源IP更真实，更可靠。

(2)提取的属性分值表、分值映射到危险等级的方法使流量控制模块可以根据危险等级来进行选择性丢包，从而区分了正常流量和异常流量。

该防御系统具有以下特点：

(1)检测算法具有高效性和实时性，能实时检测当前网络流量的异常状态；

(2)具有自学习性，减少了人工干预；

(3)弥补了传统的基于可信IP过滤的缺点，使得基于可信IP的过滤机制更可靠；

(4)能够有效区分正常流量和异常流量；

(5)提取、传输可信IP列表具有高效性，使防御模型进行实时防御。

附图说明

图1为本发明防御系统数据流图；

图2为本发明异常检测模块具体流程图；

图3为本发明提取可信IP列表具体流程图；

图4为本发明提取属性分值表具体流程图；

图5为本发明将分数映射为危险等级具体流程图；

具体实施方式

为使本发明的目的、技术方案、及优点更加清楚明白，以下参照附图，对本发明的技术方案进一步详细说明。

如图1所示，本发明防御系统的系统流程图。

该防御系统是建立在对DoS/DDoS攻击的异常检测(101)的基础上的。异常检测(101)采用协方差的分析方法，并对检测结果进行二次评估，使判断结果更准确，对DoS/DDoS攻击进行有效、实时的检测，并根据随机抽样理论和系统异常状态标志将网络流量随机抽样至数据库服务器的正常流量库和异常流量库，从而为防御模型提供了可靠的数据来源。

防御系统除了异常检测模块(101)，还由数据挖掘引擎(102)、可信IP过滤器(103)、流量控制(104)三大模块构成。其中数据挖掘引擎(102)以数据库服务器中的正常与异常流量库作为数据来源，采用关联分析方法和贝叶斯分类算法，将生成的可信源IP与数据包属性分值表分别传送给可信IP过滤器(103)与流量控制组件(104)。当异常检测模块(101)认为当前流量正常时，则放行流量。当异常检测模块(101)检测当前流量发生异常时，网络数据包会首先经过可信IP过滤器(103)，若数据包中的源IP地址与可信IP过滤器中存储的可信IP列表匹配，认为该数据包为合法数据包，则放行该数据包，否则数据包将流入流量控制模块(104)，流量控制模块(104)利用数据包属性分值表对数据包进行危险度的评估，若数据包的危险等级越高，则被丢弃的概率就越大，若相反，则被丢弃的概率就越小。

如图2所示，本发明异常检测模块算法包括：

步骤201、定时提取TCP包头的标志字段和IP包头的分片标志；

在防御系统中每T(T＝5)秒中，随机抽取n(n＝20)个TCP数据包，提取数据包中的DF，URG，ACK，PSH，RST，SYN，FIN标志位，每个数据包提取其中p(p＝7)个特征，这样构成一个随机向量X＝(θ₁，...θ_p)′，所以在T的时间间隔就会形成X_i，...X_n个向量，令第i个向量为： $X_i=({\mathrm{\θ}}_1^i,...,{\mathrm{\θ}}_p^i).$ 若T(T＝5)秒时间内随机抽样的数据包的个数小于n(n＝20)，则抽样失败，继续在下一个T(T＝5)秒进行抽样。

步骤202、构造T(T＝5)秒内的协方差矩阵；

定义

为在第l个单位时间内，特征θ_i在向量X_j中的值。定义变量y_l和M_yl，其中

其中 ${\mathrm{\σ}}_{f_1^l{f}_1^l}=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}({\mathrm{\θ}}_i^{l,k}-{\mathrm{\μ}}_{f_i^l})({\mathrm{\θ}}_j^{l,k}-{\mathrm{\μ}}_{f_j^l}),$ ${\mathrm{\μ}}_{f_i^l}=E\left({\mathrm{\θ}}_i^{l,k}\right)=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\θ}}_i^{l,k}$

步骤203、计算当前时间的协方差矩阵与协方差矩阵序列的均值的距离；

定义D_l为M_yl与E(M_yl)之间的欧式距离：D_l＝‖M_yl-E(M_yl)‖，所以定义两矩阵的距离为： $\left|\right|M_1-M_2\left|\right|=\sqrt{\underset{1\≤i,j\≤p}{\overset{n}{\mathrm{\Σ}}}{(a_{i,j}-b_{i,j})}^2},$

$\∀a_{i,j}\∈M_1,$ $\∀b_{i,j}\∈M_2,$ 1≤i，j≤p，由此可以到D_l。

步骤204、构造存储大量距离值的历史窗口，计算距离值的置信区间；

设历史窗口维持时间为m个单位时间的D_l，在每个单位时间内，同时维护一个三元组(D_l，C_l，)1≤l≤m，其中D_l表示第l个时间单位时间内计算的距离值，C_l表示前l个单位时间Z_l的累加和 $C_l=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{Z}_i.$ 表示前l个单位时间Z_l的平方累加和

计算第m+1个单位时间内的距离值D_m+1。令

矩估计的样本均值为： $\stackrel{\‾}{C_{m+1}}=\frac{C_{m+1}}{m};$ 样本标准差为：

所以构造的置信区间为 $\stackrel{\‾}{C_m}-\mathrm{\μ}\frac{S_m}{\sqrt{m}}\≤\mathrm{\θ}\≤\stackrel{\‾}{C_m}+\mathrm{\μ}\frac{S_m}{\sqrt{m}},$ 其中μ为正态分布的一个分位数。

步骤205、进行异常检测的初次判断；

如果D_m+1落在置信区间外，则认为D_m+1有异常，且不更新历史窗口；如果D_m+1落在置信区间内，则认为D_m+1没有发生异常，同时更新历史窗口。

步骤206、对异常检测的初次判断进行二次评估。

二次评估的特点是：若初次判断为系统正常，二次评估算法内的一些参数会发生变化，但输出一定为正常。本系统采用的基于可信度的二次评估算法描述如下：T_max，T_min分别表示两个时间间隔的阈值，如果两次报警的时间间隔大于T_max，则认为两次报警没有关联；如果报警时间间隔大于T_min小于等于T_max，则认为两次报警之间的关联不紧密，可信度应该衰减；若报警时间间隔小于T_min，则认为两次报警关联紧密，可信度应该递增。

#define T_max，T_min

flag＝0；//报警出现标志，0表示没有过，1表示出现过

x＝0，y＝1；//x，y为控制可信度衰减或递增的参数

while(i++){

   if(r_i＝＝no)//分类结果为正常

     if(flag!＝0)y++；//出现过报警y增加1

   else//分类结果为攻击

   {   if(flag＝＝0)//第一次报警认为是误报

         {r_i＝no；flag＝1；x＝0；y＝1；}

       else

{

  if((y-x)≥T_max)//与以前的报警没有关联

      {r_i＝no；flag＝1；x＝0；y＝1；}//记为第一次报警

  else if((y-x)≥T_min)//关联不紧密，可信度应该衰减

      {x++；y++；r_i＝no+(yes-no)(ke)^-(1-x/y)；}//k为系数

  else //关联紧密，可信度递增

{y++；x＝y-1；

r_i＝no+(yes-no)(ke)^-(1-x/y)；}

}

  }

}

如图3所示，本发明提供的提取可信IP列表包括：

步骤301、按照访问频度排序提取IP列表；

在正常访问情况下，同一个源IP地址会较为频繁地访问被保护网络，所以在网络流量正常时，可以将具有一定访问频度的源IP地址近似认为被保护网络的可信IP地址。在该防御模型中维护一个按照访问密度降序排序的IP地址列表，S₁＝{p₁，p₂，p₃，...，p_n}(n为IP地址个数)。

步骤302、用关联分析方法提取合法IP列表；

以随机抽样的正常流量库作为数据源，基于IP数据包的TTL和数据包长度两个属性生成频繁项集L，取出频繁项集L对应的源IP，按照访问密度进行降序排序，得到一个IP地址列表S₂＝{l₁，l₂，l₃，...，l_i}(i为L的项数)。

步骤303、用关联分析方法提取可疑IP列表；

以随机抽样的异常流量库作为数据源，基于IP数据包的TTL和数据包长度两个属性生成频繁项集M，取出M中的源IP，得到一个IP地址列表S₃＝{m₁，m₂，m₃，...，m_j}(j为M的项数)。

步骤304、计算可信IP列表。

取 $A_1\⋐S_1,A_2\⋐S_2,$ 且 $\∀p_i\∈A_1,\∀l_i\∈A_2,$ p_i、l_i的访问次数大于1，则可信IP列表T＝A₁∩A₂-S₃。其中A₁∩A₂表示结合访问密度和频繁项集两种方法获取更为可信的IP列表，同时，为了避免攻击源IP出现在可信IP列表中，在其取交集后IP列表中去掉S₃，使得T能够更有效地基于源IP过滤进行防御。

如图4所示，本发明提供属性分值表的方法包括：

步骤401、将源IP前缀(16比特)和TTL属性值等宽离散化；

步骤402、计算属性分值表；

对正常流量库和异常流量库IP数据包的属性值进行频率统计，再根据贝叶斯定理计算IP数据包属性值在特定值的情况下，数据包为正常包的概率(为了降低计算复杂度，假设IP数据包各属性是独立同分布的，所以引入log算子将乘除运算改进为加减运算，加快了运算速度)。计算公式如下： $\mathrm{Log}\left[\mathrm{CLP}\left(p\right)\right]=\left\{\begin{array}{c}[\log \left(P_n(A=a_p)\right)-\log \left(P_m(A=a_p)\right)]+\\ [\log \left(P_n(B=b_p)\right)-\log \left(P_m(B=b_p)\right)]+\\ [\log \left(P_n(C=c_p)\right)-\log \left(P_m(C=c_p)\right)]+...\end{array}\right\}$

其中P_n(A＝a_p)表示在正常流量库中，属性A值等于a_p的概率，P_m(A＝a_p)表示在异常流量库中，属性A值等于a_p的概率，以此类推。CLP(p)表示数据包p属性A，B，C，...值等于a_p，b_p，c_p...的情况下为正常数据包的概率。一个数据包p的分数由各个属性的分数值相加得到。对于属性A的分数值表示为：log(P_n(A＝a_p))-log(P_m(A＝a_p))，以此类推。

步骤403、得出正常流量和异常流量分值的平均值和标准差。

根据数据库服务器的正常和异常流量库得到属性分值表后，对正常和异常流量库中的数据进行评分，分别计算正常和异常流量分值的标准差

和平均值(u_n，u_m)。值得注意的是，若u_n<u_m则表明提取属性分值表失败，进入下一次的提取过程。若提取成功，在网络处理器中定时更新

u_n，u_m与属性分值表。

如图5所示，本发明将分数映射为危险等级的方法包括：

当有数据包经过流量控制组件时，对数据包进行评分，再将分数根据

u_n，u_m四个参数映射到0-9的危险等级，其中9表示的危险等级最高。在流量控制组件规定：数据包的危险等级越高，则以更高的概率丢包。为了减少贝叶斯分类误差率对映射关系的影响，分数映射为危险等级的方法如下：

步骤501、计算稠密系数 $p={\&PartialD;}_n/{\&PartialD;}_m;$

步骤502、计算相对分数刻度r_i＝i^p(i＝0，1，2，...，10)；

步骤503、计算绝对分数刻度 $s_i=(u_n-u_m)\frac{r_i-r_0}{r_{10}-r_0}+u_m$ (i＝0，1，2，...，10)；

步骤504、对每一个数据包，根据属性分值表计算其分数v，则其危险等级 $d=\left\{\begin{array}{cc}0& (v>u_n)\\ 9-i& (s_i\&le;v<s_{i+1})\\ 9& (v<u_m)\end{array}\right.(i=\mathrm{0,1,2},...,9).$

Claims (8)

1、一种基于数据挖掘技术的拒绝服务攻击防御方法和系统，该系统需部署在被保护网络的网络入口，并为该系统配置数据库服务器以存储系统抽样的实时流量；其特征在于，所述系统包括有：

异常检测模块，负责检测当前网络流量的状态以判断当前系统是否异常，并根据当前系统的状态将当前网络流量随机抽样至数据库服务器的正常流量库和异常流量库。

数据挖掘引擎模块，负责利用数据库服务器中的正常流量库和异常流量库提取可信源IP列表和属性分值表，并将可信源IP列表和属性分值表分别传递给可信IP过滤器和流量控制模块。

可信IP过滤器模块，负责根据可信源IP列表对数据包的源IP进行匹配，如果匹配则放行流量，否则将流量交给流量控制模块处理。

流量控制模块，负责根据属性分值表对流经流量控制模块的网络数据包进行打分，并将分值映射成数据包危险等级，该模块根据危险度等级的高低进行选择性的丢包。

2、如权利要求1所述的异常检测模块，其特征在于，所述异常检测算法包括：

定时提取TCP包头的标志字段和IP包头的分片标志；

构造协方差矩阵，并计算协方差矩阵与协方差矩阵序列的均值的距离；

构造存储大量距离值的历史窗口，在假设距离值独立同分布的情况下，计算距离值的置信区间；

对判断结果进行二次评估，使检测算法的检测结果更准确。

3、如权利要求1所述的网络流量随机抽样，其特征在于，所述方法包括：

随机生成16比特匹配串，与IP数据包Identification字段16比特进行匹配，若匹配成功则抽样该数据包。

4、如权利要求1所述的提取可信源IP列表，其特征在于，所述方法包括：

对正常流量库中的源IP进行访问频度排序，得到集合S₁；

在正常流量库中，根据IP数据包TTL属性和IP包长度属性提取频繁项集，并得到频繁属性集对应的IP列表，得到集合S₂；

在异常流量库中，根据IP数据包TTL属性和IP包长度属性提取频繁项集，并得到频繁属性集对应的IP列表，得到集合S₃；

根据前三个集合得到可信IP列表。

5、如权利要求1所述的提取属性分值表方法，其特征在于，所述提取方法包括：

根据IP数据包的TTL属性和源IP前缀(16比特)两属性，对正常流量库和异常流量库中的数据包进行频率统计；

按照贝叶斯定理生成属性分值表；

根据属性分值表计算正常流量库和异常流量库中的数据包分值的平均值和标准差。

6、如权利要求1所述的将分值映射成数据包危险等级，其特征在于，所采用的映射方法充分考虑了贝叶斯分类误差，并减少映射关系对数据包危险度划分的影响。

7、如权利要求1所述的根据危险度等级的高低进行选择性的丢包，其特征在于：根据危险等级与丢包概率的对应关系，对高危险度的数据包进行高概率丢包，对于低危险度的数据包进行低概率丢包。

8、如权利要求7所述的危险等级与丢包概率的对应关系，其特征在于：当危险等级为0时，丢包概率为0％，当危险等级为9时，丢包概率为10％，其他危险等级可以按照线性或指数函数关系来设定丢包率。

Images