CN101217377A - 基于改进的序列尺度调整的分布式拒绝服务攻击检测方法 - Google Patents

Abstract

基于改进的序列尺度调整的分布式拒绝服务攻击检测方法是一种网络安全和软件开发技术的解决方案，主要用于解决DDoS攻击的检测与预防问题，该检测方法为：根据软件项目需求与检测器有数据交互的其它模块的实现特点，要求采用C/C++兼容的编码方式，在Linux操作系统环境下实现；检测器每隔一个时间间隔从底层包捕获器获取数据；否则转第3)步执行；检测器调用检测方法计算出Hurst值；检测器比照分布式拒绝服务攻击模型，根据当前计算出的Hurst值，判断是否有攻击发生；若有攻击发生，则启动相关的包过滤模块；检测器继续检测网络流量的自相似性，本发明的方案，能更快捷、高效地检测出DDoS攻击，保护我们的服务器与主机免受网络攻击的影响。

Description

基于改进的序列尺度调整的分布式拒绝服务攻击检测方法

技术领域

本发明是一种网络安全和软件开发技术的解决方案。主要用于解决网络流量分析处理程序的开发和应用问题，属于计算机网络和软件工程学技术交叉领域。

背景技术

网络的广泛应用，使得网络安全也越来越倍受关注，成为网络应用的关键。从网络普及的那天开始，网络犯罪就从来没有停止过，相反有愈演愈烈之势。通过检测与调查发现，现今的网络攻击又以分布式拒绝服务攻击(DDoS，DistributedDenial of Service)为主。DDoS攻击主要有两种表现形式，一种是资源耗尽型攻击，另一种是流量攻击。资源耗尽型攻击主要是针对服务器主机进行攻击，即通过发送大量的攻击数据包，导致主机内存被耗尽或是CPU被内核或应用程序占完，从而无法提供网络服务；流量攻击是指大量的攻击数据包导致网络带宽被阻塞，合法的数据包由于被攻击包所淹没而无法到达主机。

要防范和阻止这类攻击，首要的前提是发现它，也就是要寻找一种有效的DDoS攻击检测方法！目前DDoS攻击检测技术主要是基于数据包特征的。特征检测技术主要集中在对异常流量的数据包的特征检测上，期待能从流量中提取出数据包的异常特征，从而能够判定出是否发生了攻击。该技术能深入检查信息流，查出恶意行为，可以根据特征检测和内容过滤，来寻找已知的攻击，并理解什么是正常的通信，同时阻止异常的访问。然而，不管这种技术如何的先进，都是基于同样的思想，即对恶意数据包特征的提取。也就是说，对于已经存在并已研究过的一些恶意攻击工具所造成的攻击，通过对这些攻击工具所发数据包的特征进行检测，能很快发现攻击流。但是，现在的网络攻击技术的发展越来越快，新的攻击工具层出不穷，令人防不胜防。因此，这种技术永远都是跟在攻击者的后面，而无法提前预防。

发明内容

技术问题：本发明的目的是提供一种通用的可在多种语言环境下实现的基于改进的序列尺度调整的分布式拒绝服务攻击检测方法，同时，又必须是高效的。如何在不增加设备投资、操作可适用领域大的情况下完成，是本发明要解决的问题。即充分利用现有技术和现有设备，解决问题的方式也必须具有可推广性。

技术方案：本发明就是提供了一种通用的DDoS攻击检测方法，基于网络流量具有统计自相似性的理论。在此方法上，可以设计出准确、高效的DDoS检测产品，也可以将其嵌入到防火墙产品中，作为防火墙的核心检测模块。首先，本方法是一种检测算法，与具体的系统平台无关，可多语言实现；其次，本方法并不关心网络数据包的特征，因而无须耗时来分析数据包。实验表明，基于本方法实现的检测器能达到预期的检测效果，即当发生DDoS攻击时，检测器能检测出Hurst值的显著变化。检测模块嵌入到防火墙之后，可以由其来检测是否有攻击发生，并决定是否启动其它相应的事后处理模块，如启动过滤器，开始过滤数据包。

本发明一是提供了一种可在多个编程语言环境下实现的DDoS攻击检测方法；同时又提供了一个具体的检测器设计实现。

方法流程：该攻击检测方法具体描述如下：

1)根据软件项目需求与检测器有数据交互的其它模块的实现特点，要求采用C/C++兼容的编码方式，在Linux操作系统环境下实现；

2)检测器每隔一个时间间隔从底层包捕获器获取数据，该数据已经按某个确定的时间尺度预处理过了，参考当前的流量大小信息，如果流量规模小于某一设定值，则转回第2)步；否则转第3)步执行；

3)检测器调用检测方法计算出Hurst值；

4)检测器比照分布式拒绝服务攻击模型，根据当前计算出的Hurst值，判断是否有攻击发生；

5)若有攻击发生，则启动相关的包过滤模块；

6)检测器继续检测网络流量的自相似性，若从某一时间起，流量恢复了正常，则Hurst值将回升，检测器会检测出Hurst值的这种变化，比照DDoS攻击模型，检测器作出攻击是否已经停止的判断，并做相应的处理，如决定是否停止包过滤模块，通常情况下，底层包捕获器与攻击检测器始终并发运行，其它模块则根据网络状况由检测器决定是否启动或关闭。

检测器调用检测方法计算出Hurst值的方法如下：

1)将待分析的数据保存到一个数组中，确定划分尺度的起始值，对数据序列进行划分，产生若干个子序列，对于每一个子序列，计算极差、标准差，以及极差与标准差的商；

2)在求商的过程中，若出现分母为零，即出现“坏点”时，采用以下处理方案：

a.去除“坏点”，即去除标准差为0的子序列，不计算它的极差与标准差的商，继续划分出下一个子序列，求极差与标准差；

b.一旦划分出现了“坏点”，则针对当前尺度的划分整体失败，即不仅放弃当前方差为0的子序列，前面划分的方差不为0的子序列也将被废弃，且不再继续划分和计算下一个子序列；调整划分尺度，从头开始划分整个数组；

3)以划分尺度和商均值为真数，求出对数值，构成一个序偶，该序偶即为一个坐标点；反复划分产生若干个坐标点；

4)以坐标点为输入，计算拟合曲线的斜率。

移植性：由于本检测方法是纯算法实现，只要从底层能获取数据包，即可以进行分析，因而基于本方法设计的检测器具有很好的移植性。方法最终通过标准C++来实现的，可以移植到Windows和Unix等系统上运行，具有很好的兼容性。

若将本方法设计的检测器应用到软件防火墙产品上，则需要考虑以下几点：

(1)由于检测器需要底层提供网络流量数据，而底层抓包模块又与具体的系统环境有很大的相关性。因此要考虑具体的系统平台与编译环境。

(2)检测器发现遭遇攻击后，可能要启动相应的处理子模块，如数据包过滤器，而此类模块的实现一般也是与系统平台有关系的，与(1)类似，也要考虑系统平台与编译坏境。

策略算法：首先，基于自相似理论的DDoS攻击检测器并不关心网络流量的特征，是一个通用的检测方法，但在实际设计实现时，网络流量可以作为一个参考数据，如检测器根据当前的流量变化信息，可能采取某些优化与校正的措施。当网络流量非常小的时候，会出现许多小时间片内流量为0，因而R/S方法会出现除0的问题，当检测器发现这种情况时，会采取不检测的办法，认为小流量时不会出现攻击。由此可见，本方法实现的检测器是用来检测DDoS攻击的，而不是一般的入侵检测器，从小流量时不检测也不分析流量特征这一策略就可以看出。因此若要开发一个功能会面的软件防火墙产品，还要增加其它的入侵检测功能。

其次，本方法在检测时，若出现前述的“坏点”时，可以采取去除“坏点”或放弃整个序列划分等几种措施，在实际实现时，可以考虑采用程序自适应的方式，考虑到网络流量自相似性在一段时间内具有局部稳定性的特点，结合网络流量的变化的信息，可以动态地采取不同的“坏点”处理方法。

再次，基于本方法实现的检测器，也可以考虑将其它基于流量特征或性能统计的检测方法融合进来，在检测时，以本方法为主，辅以其它的检测方法，以提高整体检测的准确与可靠性。

有益效果：本发明提出一种基于改进的序列尺度调整的DDoS检测方法，以及用该方法实现的DDoS攻击检测器。实验表明，该检测器能很好地检测DDoS攻击，具有快速、准确等特点。它所具有的优点如下：

(1)方法的准确性。正常网络流量具有统计自相似性是已经被理论与实践证实了的。实验进一步证明，基于自相似理论的本检测方法检测DDoS攻击非常准确，攻击时本方法能检测出Hurst指数的显著变化，检测效果很明显。

(2)方法的普遍适用性。本方法是基于自相似理论的DDoS攻击检测方法，不是通过流量的特征或数据包的分析来检测攻击的，因而对于DDoS攻击具有普遍适应性；

(3)方法的快速性。由(1)可知，本方法不用分析流量的具体内容，同时，在检测算法实现时，采取了优化的措施，如使用数组存储、划分尺度2的指数幂递增等等；

(4)方法的鲁棒性。由于对经典的R/S方法进行了改进，使之适用于网络流量检测，且做了多处优化处理，实验表明，本方法的健壮性很好，能适应流量的骤然间变化，能适应小流量、大流量和超强流量时的数据检测。

(5)可嵌入性。本方法实现的检测模块可以嵌入到软件防火墙中，作为DDoS攻击核心检测模块。也可以考虑将代码固化到硬件中，最终将检测模块嵌入到硬件防火墙中，硬件防火墙一般主要采用特征匹配的检测技术，因为硬件的实现方式具有速度快的独特优势，在这种情况下，可以将本检测方法作为辅助的检测手段。

(6)可扩展性。本方法在实现时，采用了参数化、模块化的实现方式，易于扩充，随着理论研究的进一步深入，可以将成熟的理论成果形成扩展模块，加入其中。同时，将该方法应用于软件防火墙时，可以作为主流检测模块，辅以其它方法的检测模块。

附图说明

图1是本方法的实现流程图，包括了对坐标链的拟合处理过程。

图2是检测器的数据来源、处理、与去向的示意图。

具体实施方式

下面就对本发明中检测器的设计做一个全面的描述，并给出了基于该检测器的软件防火墙开发。

本发明的攻击检测方法具体描述如下：

(1)确定软件项目需求，分析易采用的编程语言及编程环境。

(2)在(1)的基础上，根据底层数据包的抓取策略和数据存储形式，决定检测方法采用什么样的数据结构，以方便于计算和提高计算的性能。

(3)底层抓包由于实时性能的需要，采用了与检测模块并行处理的方式，其数据结构采用了循环链队列，当获取到数据包时，即加入该队列，循环队列也称为特征库，该库有一定的长度，其链表元素的定义为：

struct list{

    struct PacketCharacter p；

    struct list next；

            }

PacketCharacter结构记录了数据包到达的时间与包的大小。

(4)当检测器需要数据时，包捕获器就从循环链中取得最新数据传给它。

检测器与包捕获器之间的数据交互有一个重要的参数，那就是时间片大小，包捕获器每次不是将固定个数的数据包传给检测器，而是将固定时间片(如100毫秒)内到达的数据包传给它。同样的时间片，不同时刻流量的不同将导致数据包个数会有很大的差异。

(5)为提高检测器的效率，检测器的数据结构没有采用链表结构，取而代之的是一个固定长度的数组。同样，该数组的长度也不是指数据包的个数，数组的每一个元素实际上是一个小时间片内到达的数据包大小的总和。如从包捕获器获取100毫秒的数据，为方便计算，划分为1024个子时间片，则数组元素存储0.0976毫秒内到达的数据包大小总和。这一过程也称为预处理。

(6)预处理之后，检测器将启动R/S算法，对固定长度的数组进行分析，分析过程是对数组按不同长度进行反复划分，计算所谓的重整化范围。每确定一个划分尺度，求重整化范围的平均值之后都将生成一个坐标点，最终形成一个坐标链。

(7)对坐标链执行拟合算法，计算出拟合直线的斜率，该斜率即为Hurst参数，而检测算法正是通过检测该参数的变化来发现DDoS攻击的。

可以看出，本发明所提出的这一个DDoS攻击检测方法，就是围绕Hurst参数的计算，通过检测其变化判断是否发生DDoS攻击。检测的准确性是首要的问题，检测器能否将正常流量与攻击流量区分出来，是决定检测器价值和有用性的主要标准；其次，在此基础上要考虑提高检测器的性能，如检测器的运算速度与反映速度，检测器的健壮性和抵御高强度攻击的可靠性、等等。

设计实现：本发明给出了一个可嵌入到防火墙上的检测器的代码实现。当然，这个检测器的实现是依据上述数据包处理方法流程完成的，是该方法的可行性理论验证。

首先，我们设计并实现了底层的数据包捕获器，为检测方法提供数据输入。为提高检测的实时性，采取抓包与检测并发进行，检测器每隔一个固定时间t向包捕获器发出数据请求消息，消息中带有时间片长度信息d，捕获器响应请求后取最新的时间片长度为d的数据，发给检测器。包捕获器与检测器的这种非串行流水化操作，大大提高了攻击检测的实时性。

其次，在检测方法上，我们采用了一种基于改进的序列尺度调整的Hurst检测方法，我们的方法来源于经典的R/S方法，但经典的R/S方法并不能直接应用于流量检测。因为在求重整化范围时，有一个形如R/S的计算式子，这个式子中，S指的是序列的标准差，显然，实际网络流量中很可能出现某个时间片内到达数据包的速度稳定且大小相同的情形，如一段时间内没有流量或一段时间内数据包的大小为某个常数，在此情况下，计算其标准差，结果必然为0，而将0作为分母，自然导致R/S运算没有意义，在程序中则会发生除零溢出的错误。

针对上述问题，我们采取了以下解决方案：

(1)设定最小流量阀值V，当单位流量U＜V时，检测器不进行检测，此法适用于网络空闲或小流量的情形；

(2)划分子序列时，若某一子序列的方差为0，则该子序列的R_i/S_i不参与最终的求平均运算，此法也称为子序列去除“坏点”；

(3)当子序列出现“坏点”时，本次整个序列的划分将被废弃，即产生的坐标点不参与线性拟合，更进一步的方法是放弃本次及之前产生的所有坐标点。

实验结果表明方案(3)更具有可行性，并已经被运用到实际检测中。

再次，为提高检测器的执行速度，我们采取了以下措施：

(1)用数组来存储预处理后的数据。从包捕获器取得数据后，检测器并不能立即处理它，而是按照一个固定的时间片s来对该数据序列进行划分。因为每一个数据包都有到达时间的信息，所以当取定一个时间的起始点T₀之后(一般即是以第一个数据包的到达时间为起始点)，划分操作即是以该时间点为基准，将时间片(T₀，T₀+s)内的所有数据包大小相加，形成一个数据L₁；同样地，分别计算(T₀+s，T₀+2s)、(T₀+2s，T₀+3s)…所有时间片内的数据，形成序列L₂，L₃…，最终形成一个序列L＝{L₁，L₂，L₃，…}。该序列是存放在一个定长数据中，而不是链表中，因为R/S算法执行时需要反复遍历该数据，因而利用数组元素具有直接定位的特性可以大大提高速度，尽管将数据拷贝到数组中要占用一定的空间和消耗一定的读写内存时间，但相比采用链表结构，算法要反复顺序遍历链表，性能上还是提高了很多的。

(2)算法执行时划分尺度按2的指数幂递增，而不是每次增1的方式。如长度L的序列，划分尺度依次取2ⁿ、2ⁿ⁺¹、2ⁿ⁺²…，而不是X、X+1、X+2…，其中n的取值一般从3开始，即划分尺度的最小值一般取8，且2ⁿ＜＝L。例如对于长度为1024的序列，划分尺度可以取为：8、16、32、64、128、256、512、1024，每个尺度都将产生一个对应的坐标点，则按这种尺度调整方法，将产生8个坐标点，相对于每次增1的调整方式(产生将近L个坐标点)，算法的计算量大大减小，运算量的减小比率近似为L/log₂L。划分尺度的取法不同，肯定会导致计算出的Hurst值不相同，但实验表明，按2的幂指数递增和增1方式相比，Hurst值的变化保持在一个较小的范围内，判断的效果是等价的。

(1)基于本方法的DDoS攻击检测器是在Linux平台下实现的，程序代码全部是符合C++标准的。方法本身的实现是平台无关的，考虑到要将实现的检测器嵌入到软件防火墙中，而防火墙的底层包捕获模块与过滤模块与具体的系统平台关系较大；Linux系统是一个开源的系统环境，有许多成熟、稳定的代码可以参考和利用，因而采用Linux系统是一个很好的选择。

(2)定义了一个检测器类，类的主要数据成员包括一个数组，处理后生成的坐标链和拟合运算最终计算出的Hurst指数等。数组中即存储了检测器要分析的数据，该数据来源于底层包捕获器，检测器类中定义一个成员方法，该方法以时间片为参数，从包捕获器那里获取预处理后的数据，放入数组中。数组的定义形式如下：

size_tm_uaPreProcessedData[MAX_RS_ANA_DATA_LENGTH]；是类的一个静态成员，其中MAX_RS_ANA_DATA_LENGTH是数组的最大长度，一般取1024或2048。

(3)定义检测器的一个重要方法，即改进的序列尺度调整的R/S方法的程序实现。该方法以(2)中的数组为输入，计算产生一个坐标链。方法首先确定一个划分尺度，一般初始为8，避免过小时导致计算时分母为0的情况。方法用该尺度对数组进行划分，产生一个个子区间，计算每个子区间内的元素的极差与标准差，用极差除以标准差得到一个重整化范围值，最后求出所有重整化范围的均值。以划分尺度和重整化均值的对数为序偶，产生一个坐标点，加入坐标链。以2的指数幂递增产生下一个划分尺度，按照相同的方法生成下一个坐标点，依次下去。

(4)在划分与计算过程中，可能会出现求极差与标准差商时的除零问题，即前述的“坏点”问题，则采用前述的处理方案。

(5)定义一个拟合函数作为类的成员方法，该函数以坐标链为输入，拟合算法是一个常见的计算方法，它是以若干个坐标点为输入，这些坐标点近似位于一条直线上，通过求最短距离来确定该直线的斜率与截距。直线的斜率即是待求的Hurst指数。

(6)检测器每隔一个时间间隔，一般取1秒，向包捕获器发一个获取数据的请求消息，即是调用检测器类的成员方法，从捕获器那里获取一个时间片的数据，一般是100ms，也可以是指定向捕获器获取多少个数据，如1024个，假设捕获器的预处理时间片大小为0.1ms，则获取1024个数据实际上相当于获取了时间片长度为1024*0.1ms＝102.4ms的数据。可以考虑缩短检测器的触发时间间隔来增加检测的稠密度，但考虑到单CPU的系统环境下，包捕获器或其它实时模块都要与检测器竞争CPU资源，分时共享，因此不可能将检测器的触发间隔设得过短。从实际的检测效果来看，1次/秒的检测频率不会对检测的实时效果有太大的影响，即对检测攻击的延迟时间影响不大。

(7)本方法实现的检测器最终嵌入到一个软件防火墙中，检测器的计算结果在Linux图形界面下通过一个“Hurst/时间”曲线来描绘。

(8)本方法实现的检测器，不仅适用于在线实时检测，也可以用于离线数据分析。对于离线检测，由于不需要考虑实时性，因此可以适当增加检测的数据量，分析时，也可以不采用2的指数幂递增的尺度变更方式。离线检测无须创建新的成员方法，仅调用已有的方法，传入不同的参数即可。离线检测可以用于离线数据文件的检测，可以将网络实时流量抓取下来保存在一个文件中，再读取该文件重构特征库，因此检测器类中增加了相应的文件读取方法和预处理方法。

Claims (2)

1.一种基于改进的序列尺度调整的分布式拒绝服务攻击检测方法，其特征在于该检测方法为：

1)根据软件项目需求与检测器有数据交互的其它模块的实现特点，要求采用C/C++兼容的编码方式，在Linux操作系统环境下实现；

2)检测器每隔一个时间间隔从底层包捕获器获取数据，该数据已经按某个确定的时间尺度预处理过了，参考当前的流量大小信息，如果流量规模小于某一设定值，则转回第2)步；否则转第3)步执行；

3)检测器调用检测方法计算出Hurst值；

4)检测器比照分布式拒绝服务攻击模型，根据当前计算出的Hurst值，判断是否有攻击发生；

5)若有攻击发生，则启动相关的包过滤模块；

6)检测器继续检测网络流量的自相似性，若从某一时间起，流量恢复了正常，则Hurst值将回升，检测器会检测出Hurst值的这种变化，比照DDoS攻击模型，检测器作出攻击是否已经停止的判断，并做相应的处理，如决定是否停止包过滤模块，通常情况下，底层包捕获器与攻击检测器始终并发运行，其它模块则根据网络状况由检测器决定是否启动或关闭。

2.根据权利要求1所述的基于改进的序列尺度调整的分布式拒绝服务攻击检测方法，其特征在于检测器调用检测方法计算出Hurst值的方法如下：

1)将待分析的数据保存到一个数组中，确定划分尺度的起始值，对数据序列进行划分，产生若干个子序列，对于每一个子序列，计算极差、标准差，以及极差与标准差的商；

2)在求商的过程中，若出现分母为零，即出现“坏点”时，采用以下处理方案：

a.去除“坏点”，即去除标准差为0的子序列，不计算它的极差与标准差的商，继续划分出下一个子序列，求极差与标准差；

b.一旦划分出现了“坏点”，则针对当前尺度的划分整体失败，即不仅放弃当前方差为0的子序列，前面划分的方差不为0的子序列也将被废弃，且不再继续划分和计算下一个子序列；调整划分尺度，从头开始划分整个数组；

3)以划分尺度和商均值为真数，求出对数值，构成一个序偶，该序偶即为一个坐标点；反复划分产生若干个坐标点；

4)以坐标点为输入，计算拟合曲线的斜率。

Images