CN110049061A - 高速网络上轻量级DDoS攻击检测装置及检测方法 - Google Patents

Abstract

本发明揭示了一种高速网络上轻量级DDoS攻击检测装置及检测方法，本发明的装置包括CBFSketch模块以及DDoS攻击检测模块。本发明的方法包括：S1、获取网络流量，将数据流信息记录并存储；S2、根据记录的数据流信息，查询特定数据流的流量大小或出现频次，并根据查询结果判断该数据流是否是一个DDoS攻击流量；S3、设定阈值，根据记录的数据流信息，检测超过阈值大小的数据流、完成DDoS攻击检测。本发明采用多级Sketch结构来对数据流进行存储，能够动态地申请空间，有效地控制空间开销上限，快速地检测出超出阈值的流量以检测DDoS攻击，并减少误报、提升了检测的准确性。

Description

高速网络上轻量级DDoS攻击检测装置及检测方法

技术领域

本发明涉及一种检测装置及相对应的检测方法，具体涉及一种高速网络上轻量级DDoS攻击检测装置及检测方法，属于高速网络流量测量及网络安全技术领域。

背景技术

随着互联网的发展与普及，信息安全已经逐渐成为了国家的政治、经济、军事、文化意识形态等领域所共同面对的一个严峻问题，如何确保信息安全也逐渐成为了各行业的共同诉求。

具体而言，网络安全是信息安全中的重要部分，在众多影响网络性能的因素中，网络流量为重要。随着互联网技术的发展，网络流量分析技术应运而生，这一技术通过捕捉网络中流动的数据包，查看数据包内数据并进行相关的分析和统计从而发现运行过程中出现的问题。目前，网络流量测量分析技术已被广泛地应用于网络计费、流量工程、网络安全等领域中。

DDoS(Distributed Denial of Service，分布式拒绝服务)攻击是目前比较常见的一种网络攻击方式。它通过消耗网络带宽或系统资源，进而导致网络或系统超负荷以至于瘫痪而停止提供正常的网络服务，造成拒绝服务。DDoS洪水攻击主要包括SYN flood、ACKflood、HTTP flood、UDP flood攻击等，此类攻击的主要目的是利用TCP/IP协议缺陷，通过大流量的正常数据包，占满服务器的连接资源或带宽资源导致服务器拒绝服务。所以洪水攻击的一个主要特征就是攻击流量吞吐量大、并发连接多，所以可以对网络中的流量大小设定检测阈值，当流量超过阈值时触发预警，提示检测到洪水攻击并采用相应的防护措施。但是对网络的流量进行存储记录需要消耗大量的空间，查询一个流量的大小需要较长的时间，并且可能会有大量误报。

Sketch是一种典型的散列方法，它是一种流量测量工具，可以汇总数据流，并且对数据流大小进行测量。它具有很强的灵活性和强大的功能，并期望对实际系统的影响很小。Sketch的基本结构如图1所示，固定的sketch矩阵将数据(表示为列向量)相乘以生成sketch向量。这样的汇总方式非常灵活，对基础数据的单次更新(插入或删除行)具有修改数据向量中的单个条目的效果。现存的sketch算法大部分是基于一个经典的Sketch算法Count-Min Sketch进行优化改进而来的。Count-Min Sketch的结构如图2所示，它包含d个数组A₁…A_d和d个hash函数，h₁(.)…h_d(.)(1≤h(.)≤w)，并且每个数组中包含w个计数器。当插入一个项目i时，首先，通过哈希函数定位该项目应该插入的位置，若该项目不存在，则直接将该项目插入；若该项目已经存在，则将项目处的计数器更新。

但是，现存的Sketch算法仍然存在着诸多问题。第一，在网络流量中，大流量是很重要的，在进行DDoS攻击检测时，主要是检测超过阈值的流量，而在网络中大流量的数量比较少，大多数都是小流量，当大流量和小流量在存储时产生冲突，在查询时，许多小流量会被过高的估计，从而导致误报。第二，由于要对网络中的所有流量进行存储，Sketch中的计数器位数比较大，导致占用的空间大，但是只有少数的大流量才需要比较大的计数器，有许多空间被浪费。

综上所述，如何在现有技术的基础上提出一种高速网络上轻量级DDoS攻击检测装置及相对应的检测方法，尽可能地克服现有技术中所存在的诸多缺陷，也就成为了本领域内技术人员共同的研究目标。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种高速网络上轻量级DDoS攻击检测装置，包括：

CBFSketch模块，用于获取网络流量、并对数据流信息进行记录；

DDoS攻击检测模块，用于查询所述CBFSketch模块所记录的数据流信息、并根据已设定的阈值完成DDoS攻击的检测；

所述CBFSketch模块包括，

Sketch单元，用于生成Sketch、并对数据流信息进行记录，

CBF单元，用于记录所述Sketch单元内当前存在的Sketch的个数；

所述CBFSketch模块的输入与网络中的数据流相连通，所述CBFSketch模块的输入的输出与所述DDoS攻击检测模块的输入相连通。

一种高速网络上轻量级DDoS攻击检测方法，使用如上所述的高速网络上轻量级DDoS攻击检测装置，包括如下步骤：

S1、获取网络流量，将检测所需的数据流信息记录并存储到Sketch单元中,使用CBF单元记录当前存在的Sketch的个数；

S2、根据S1中记录的数据流信息，查询特定数据流的流量大小或出现频次，并根据查询结果判断该数据流是否是一个DDoS攻击流量；

S3、设定阈值，根据S1中记录的数据流信息，检测超过阈值大小的数据流、完成DDoS攻击检测。

优选地，S1中所述检测所需的数据流信息至少包括五元组、流量大小或出现频次。

优选地，S1具体包括如下步骤：

S11、获取网络中的数据流；

S12、提取数据流中的信息<key,value>，其中，key表示五元组或源IP地址或宿IP地址，value表示数据流的流量大小或出现频次；

S13、将从数据流中提取出的信息存储到Sketch单元内的第1层Sketch中，根据key将数据流中的信息散列到Sketch中的不同计数器中，对key进行hash计算、得到key命中的计数器，再将value加到所有命中计数器中当前为小值的计数器中，若存在多个计数器的值均为小值，则这些计数器每个都加上value；

S14、若计数器在加上value后超过了计数器的最大值，则发生溢出，发生溢出时将第1层Sketch中hash命中的所有计数器的值全部置0；

S15、在Sketch单元内创建第2层Sketch，第2层Sketch的大小为第一层Sketch的r倍，其中0＜r＜1；

S16、依据S13的方法将value加到第2层Sketch中命中的为小值的计数器中，并且将CBF单元中命中的为小值的计数器的值加1；

S17、重复S11～S16，直至所有的数据流均被存储至CBFSketch模块中。

优选地，S2具体包括如下步骤：

S21、获取需要查询的数据流的key；

S22、在CBF单元中对key进行hash计算，得到命中的计数器，取所有命中计数器中的最小值作为层数dep；

S23、在第dep层Sketch中对key进行hash计算，得到命中的计数器，取所有命中计数器中的最小值作为key在第dep层Sketch中的估计值V_dep；

S24、在第dep-1层到第1层Sketch中重复S23，查询每层Sketch中的估计值V_i(i＝1,2,…,dep-1)；

S25、将每层Sketch的查询值根据每层的计数器位数相加得到最终的查询值；

S26、根据最终的查询值是否超过阈值判断该key的数据流是否为DDoS攻击流量，若最终的查询值超过阈值，则判断该key的数据流为DDoS攻击流量，反之则非DDoS攻击流量。

优选地，S3具体包括如下步骤：

S31、设置流量阈值；

S32、根据S1中存储的所有数据流信息，查询其中所有超过阈值的数据流；

S33、根据S32中查询出的流量大小值找到对应的key，进而判断这些key所对应的数据流是否为DDoS攻击流量。

与现有技术相比，本发明的优点主要体现在以下几个方面：

本发明提出了一种高速网络上轻量级DDoS攻击检测装置及相对应的检测方法，本发明采用多级Sketch结构来对数据流进行存储，能够动态地申请空间，有效地控制空间开销上限，快速地检测出超出阈值的流量以检测DDoS攻击，并减少误报、提升了检测的准确性。

同时，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于高速网络流量测量及网络安全方面的其他相关技术方案中，具有十分广阔的应用前景。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1为线性Sketch的基本结构示意图；

图2为Count-Min Sketch的结构及更新过程示意；

图3为本发明的高速网络上轻量级DDoS攻击检测装置的结构示意图；

图4为本发明中CBFSketch模块的结构示意图；

图5为Counting Bloom Filter的结构示意图。

具体实施方式

本发明揭示了一种高速网络上轻量级DDoS攻击检测装置及检测方法，下面结合具体方案的实施例，进一步阐述本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。

本发明的整体思路为：由于DDoS洪水攻击在流量上的表现通常是流量的迅速增大，所以采用Sketch这一结构来对网络中的流量进行存储汇总和检测。针对Sketch存在的使用空间大和空间浪费问题，采用多个空间较小的Sketch组合，动态地创建Sketch，动态地申请空间，尽量避免空间的浪费。在该结构中大的流量都会集中在高层的Sketch中，便于进行DDoS攻击流量的检测。

如图3所示，本发明所揭示的一种高速网络上轻量级DDoS攻击检测装置，包括：

CBFSketch模块，用于获取网络流量、并对数据流信息进行记录；

DDoS攻击检测模块，用于查询所述CBFSketch模块所记录的数据流信息、并根据已设定的阈值完成DDoS攻击的检测。

所述CBFSketch模块的输入与网络中的数据流相连通，所述CBFSketch模块的输入的输出与所述DDoS攻击检测模块的输入相连通。

所述CBFSketch模块的结构如图4所示，包括如下两个部分；

Sketch单元，用于生成Sketch、并对数据流信息进行记录；

CBF(Counting Bloom Filter)单元，用于记录所述Sketch单元内当前存在的Sketch的个数。

Sketch单元中包含n层Sketch，S₁,S₂,…,S_n用来记录网络中的数据流信息。每个Sketch由d个一维数组A₁,A₂,…,A_d和d个hash函数h₁(.),h₂(.),…,h_d(.)构成，每个数组中包含w_i(i＝1,2,…,n)个计数器，每层Sketch的大小是上一层的r倍，即每个计数器的位数为k。CBF单元包含一个Counting Bloom Filter，用于记录Sketch中所使用的Sketch的层数。Counting Bloom Filter的结构如图5所示是一维数组，包含m个hash函数h₁(.),h₂(.),…,h_m(.)，数组长度为w_cbf，即包含w_cbf个计数器，每个计数器的位数为k。

本发明还揭示了一种高速网络上轻量级DDoS攻击检测方法，使用如上所述的高速网络上轻量级DDoS攻击检测装置，包括如下步骤：

S1、获取网络流量，将检测所需的数据流信息记录并存储到Sketch单元中,使用CBF单元记录当前存在的Sketch的个数。

S1中所述检测所需的数据流信息至少包括五元组、流量大小或出现频次。

具体而言，S1包括如下步骤：

S11、获取并解析网络中的数据流；

S12、提取数据流中的信息<key,value>，其中，key表示五元组或源IP地址或宿IP地址等信息，value表示数据流的流量大小或出现频次；

S13、将从数据流中提取出的信息存储到Sketch单元内的第1层Sketch中，根据key将数据流中的信息散列到Sketch中的不同计数器中，对key进行hash计算、得到key命中的计数器，再将value加到所有命中计数器中当前为小值的计数器中，若存在多个计数器的值均为小值，则这些计数器每个都加上value。

S14、若计数器在加上value后超过了计数器的最大值，则发生溢出，发生溢出时将第1层Sketch中hash命中的所有计数器的值全部置0；

S15、在Sketch单元内创建第2层Sketch，第2层Sketch的大小为第一层Sketch的r倍，其中0＜r＜1，即每层Sktech的大小小于上一层Sketch；

S16、依据S13的方法将value加到第2层Sketch中命中的为小值的计数器中，并且将CBF单元中命中的为小值的计数器的值加1；

S17、重复S11～S16，直至所有的数据流均被存储至CBFSketch模块中。

上述过程可详述为，在第1层Sketch中进行d次hash运算，h₁(key),h₂(key),…,h_m(key)为在第1层Sketch中每行命中的计数器位置。随后找出所有命中计数器中为小值的计数器，将计数器的当前值加上value。如果加上value超过该计数器的上限即发生溢出，则创建第2层Sketch。在CBF单元中对key进行m次hash运算，h₁(key),h₂(key),…,h_m(key)为在CBF单元中命中的计数器位置，将小计数器的值加1。再将该key在第1层Sketch中命中的计数器的值全部置0，重复以上步骤将key对应的value存储到第2层Sketch中。

重复以上步骤直到不发生溢出为止，且对所有的数据流重复以上步骤，直到所有数据流全部存储完成。

S2、根据S1中记录的数据流信息，查询特定数据流的流量大小或出现频次，并根据查询结果判断该数据流是否是一个DDoS攻击流量。

对一个特定的key的查询，根据以上存储流量的步骤，CBF单元记录的是key溢出的层数，首先要先找到key对应的value存储在哪一层sketch中，对从高层到第1层的Sketch都进行查询，得到每层的查询值，将每层的查询值根据相应的计数器位数相加得到终的查询值；后将终的查询值与设定的阈值相比较，判断该流量是否为DDoS洪水攻击流量。因此，S2具体包括如下步骤：

S21、获取需要查询的数据流的key；

S22、在CBF单元中对key进行hash计算，得到命中的计数器，取所有命中计数器中的最小值作为层数dep；

S23、在第dep层Sketch中对key进行hash计算，得到命中的计数器，取所有命中计数器中的最小值作为key在第dep层Sketch中的估计值V_dep；

S24、在第dep-1层到第1层Sketch中重复S23，查询每层Sketch中的估计值V_i(i＝1,2,…,dep-1)；

S25、将每层Sketch的查询值根据每层的计数器位数相加得到最终的查询值；

S26、根据最终的查询值是否超过阈值判断该key的数据流是否为DDoS攻击流量，若最终的查询值超过阈值，则判断该key的数据流为DDoS攻击流量，反之则非DDoS攻击流量。

上述过程可详述为，在CBF单元中对key进行m次hash计算h₁(key),h₂(key),…,h_m(key)为在命中的计数器位置，找到小的计数器的值，记为dep。

随后在第dep层Sketch至第一层Sketch中查询key对应的估计值，记为V_dep,…,V₁。这一过程主要包括：在第dep层Sketch中对key进行d次hash运算，h₁(key),h₂(key),…,h_m(key)为在第1层Sketch中每行命中的计数器位置，取最小值作为V_dep。

最后根据每层中的估计值得到后的估计值

若V_est超过阈值，则判断该数据流为DDoS攻击流量。

S3、设定阈值，根据S1中记录的数据流信息，检测超过阈值大小的数据流、完成DDoS攻击检测。

检测DDoS攻击流量时，首先根据网络的实际情况设定一个阈值，将超过该阈值的流量判定为DDoS洪水攻击流量。由于CBFSketch模块中的Sketch是多层的Sketch组合而成，因此可以将阈值设定为第p层溢出时的大小。在存储流量信息的过程中，如果发生溢出到p+1层的情况，则认为该流量为DDoS洪水攻击的流量，因此，S3具体包括如下步骤：

S31、设置流量阈值(例如设置当流量达到第n层Sketch时超过阈值)；

S32、根据S1中存储的所有数据流信息，查询其中所有超过阈值的数据流；

S33、根据S32中查询出的流量大小值找到对应的key，进而判断这些key所对应的数据流是否为DDoS攻击流量。

以下结合一具体实施实例对本发明的技术方案进行更进一步地说明。

考虑到本发明实现高速网络上轻量级DDoS快速检测装置，需要对大量的网络流量进行存储、汇总和查询。因此采用了高速互联网骨干链路上的流量来进行检测。

首先解析高速互联网骨干链路上的数据流量文件，提取出所需的流量信息，将流量按照以上过程进行存储，根据所需存储流量的大小，可以设置使用的空间大小。由于每个Sketch由d个一维数组A₁,A₂,…,A_d和d个hash函数h₁(.),h₂(.),…,h_d(.)构成，每个数组中包含w_i(i＝1,2,…,n)个计数器，每层Sketch的大小是上一层的r倍，即每个计数器的位数为k，所以第1层到第n层Sketch所使用的空间大小分别为C₁＝w₁·k·d，因此Sketch部分所使用的总的空间大小为：其中0＜r＜1，因此Sketch单元所使用的空间是有限的。CBF单元是一个Counting Bloom Filter，结构是一维数组，所以使用的空间也是有限的。因此，整个CBFSketch模块所使用的空间都是有限的，并且可以根据流量的大小动态地申请空间，有效地减少空间的浪费。在进行DDoS攻击检测时，可以直接设置阈值，在高层的Sketch中，检测查询DDoS攻击的流量，大大地减少了查询和检测所用的时间。

综上所述，本发明提出了一种高速网络上轻量级DDoS攻击检测装置及相对应的检测方法，本发明采用多级Sketch结构来对数据流进行存储，能够动态地申请空间，有效地控制空间开销上限，快速地检测出超出阈值的流量以检测DDoS攻击，并减少误报、提升了检测的准确性。

具体而言，本发明的有益效果如下：

(1)当每一个Sketch中有计数器发生溢出时才创建下一个Sketch，实现动态地申请空间，减少空间的使用和浪费。

(2)由于动态申请空间的结构，大的流量一般都存在高层的Sketch中，可以快速地找出超过阈值的流量，从而快速地检测出DDoS攻击流量。

(3)由于每一个Sketch的大小是上一个Sketch的大小的r倍(0<r<1)，所以所使用的总的空间大小可控(存在上限)。

(4)如果在Sketch模块中采用可逆Sketch，则可以对查询的流量大小进行溯源，快速找到相应的key。

同时，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于高速网络流量测量及网络安全方面的其他相关技术方案中，具有十分广阔的应用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种高速网络上轻量级DDoS攻击检测装置，其特征在于，包括：

CBFSketch模块，用于获取网络流量、并对数据流信息进行记录；

DDoS攻击检测模块，用于查询所述CBFSketch模块所记录的数据流信息、并根据已设定的阈值完成DDoS攻击的检测；

所述CBFSketch模块包括，

Sketch单元，用于生成Sketch、并对数据流信息进行记录，

CBF单元，用于记录所述Sketch单元内当前存在的Sketch的个数；

所述CBFSketch模块的输入与网络中的数据流相连通，所述CBFSketch模块的输入的输出与所述DDoS攻击检测模块的输入相连通。

2.一种高速网络上轻量级DDoS攻击检测方法，使用如权利要求1所述的高速网络上轻量级DDoS攻击检测装置，其特征在于，包括如下步骤：

S1、获取网络流量，将检测所需的数据流信息记录并存储到Sketch单元中,使用CBF单元记录当前存在的Sketch的个数；

S2、根据S1中记录的数据流信息，查询特定数据流的流量大小或出现频次，并根据查询结果判断该数据流是否是一个DDoS攻击流量；

S3、设定阈值，根据S1中记录的数据流信息，检测超过阈值大小的数据流、完成DDoS攻击检测。

3.根据权利要求2所述的高速网络上轻量级DDoS攻击检测方法，其特征在于：S1中所述检测所需的数据流信息至少包括五元组、流量大小或出现频次。

4.根据权利要求2所述的高速网络上轻量级DDoS攻击检测方法，其特征在于，S1具体包括如下步骤：

S11、获取网络中的数据流；

S12、提取数据流中的信息<key,value>，其中，key表示五元组或源IP地址或宿IP地址，value表示数据流的流量大小或出现频次；

S13、将从数据流中提取出的信息存储到Sketch单元内的第1层Sketch中，根据key将数据流中的信息散列到Sketch中的不同计数器中，对key进行hash计算、得到key命中的计数器，再将value加到所有命中计数器中当前为小值的计数器中，若存在多个计数器的值均为小值，则这些计数器每个都加上value；

S14、若计数器在加上value后超过了计数器的最大值，则发生溢出，发生溢出时将第1层Sketch中hash命中的所有计数器的值全部置0；

S15、在Sketch单元内创建第2层Sketch，第2层Sketch的大小为第一层Sketch的r倍，其中0＜r＜1；

S16、依据S13的方法将value加到第2层Sketch中命中的为小值的计数器中，并且将CBF单元中命中的为小值的计数器的值加1；

S17、重复S11～S16，直至所有的数据流均被存储至CBFSketch模块中。

5.根据权利要求4所述的高速网络上轻量级DDoS攻击检测方法，其特征在于，S2具体包括如下步骤：

S21、获取需要查询的数据流的key；

S22、在CBF单元中对key进行hash计算，得到命中的计数器，取所有命中计数器中的最小值作为层数dep；

S23、在第dep层Sketch中对key进行hash计算，得到命中的计数器，取所有命中计数器中的最小值作为key在第dep层Sketch中的估计值V_dep；

S24、在第dep-1层到第1层Sketch中重复S23，查询每层Sketch中的估计值V_i(i＝1,2,…,dep-1)；

S25、将每层Sketch的查询值根据每层的计数器位数相加得到最终的查询值；

S26、根据最终的查询值是否超过阈值判断该key的数据流是否为DDoS攻击流量，若最终的查询值超过阈值，则判断该key的数据流为DDoS攻击流量，反之则非DDoS攻击流量。

6.根据权利要求5所述的高速网络上轻量级DDoS攻击检测方法，其特征在于，S3具体包括如下步骤：

S31、设置流量阈值；

S32、根据S1中存储的所有数据流信息，查询其中所有超过阈值的数据流；

S33、根据S32中查询出的流量大小值找到对应的key，进而判断这些key所对应的数据流是否为DDoS攻击流量。