CN106230819A

CN106230819A - 一种基于流采样的DDoS检测方法

Info

Publication number: CN106230819A
Application number: CN201610619870.6A
Authority: CN
Inventors: 邹福泰; 姜开达; 章思宇; 刘渝娇; 李林森; 李建华
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2016-07-31
Filing date: 2016-07-31
Publication date: 2016-12-14
Anticipated expiration: 2036-07-31
Also published as: CN106230819B

Abstract

本发明提供一种基于流采样的DDoS检测方法，涉及网络入侵检测领域，针对当前DDoS攻击流量巨大的特征以及UDP数据流的放大攻击，区分传统更关注在TCP的DDoS检测，利用了当前Spark Streaming技术，在云平台对流采样得到的时间序列流应用多测度因子快速并行化分析，给出DDoS攻击的指标。本发明基于当前流采样的异常检测方法，还基于业务动态和先进技术，具低时延检测的特性，能够有效检测当前反射放大型攻击，并且能够检测新型DDoS。与现有技术相比，本发明提供的基于流采样的DDoS检测方法具有以下有益效果：可扩展的云端检测框架；基于Spark Streaming的实时低时延检测；能够适应性检测当前新浮现的DDoS攻击类型；有效检测当前反射放大型攻击。

Description

一种基于流采样的DDoS检测方法

技术领域

本发明涉及网络入侵检测领域，尤其涉及一种基于流采样的DDoS检测方法。

背景技术

网络入侵检测是企业、园区网重要的安全防护点。基于入侵检测系统，可以有效地识别网络攻击，从而保护企业、园区网内安全。然而，近些年来，有效的网络入侵检测已越来越困难，主要原因在于网络带宽不断增长，实时检测巨量的数据存在性能瓶颈。现有的主流产品，一类是Suricata和Snort，采用多线程来提高性能，但它们是基于经典的流签名，并不具有灵活的可编程规则；另一类是Bro，具有Turing-Complete(图灵完备性)脚本语言，可灵活定制规则，但它目前还是单线程的。CCS2014会议上，来自Wisconsin大学和Berkeley大学研究者设计了一种全新并发的入侵检测模型：即能够具有Turing-Complete(图灵完备性)脚本语言的灵活规则制定，又具有并行的高性能。这种高并发性，不仅是雇佣了底层的并发性，也在应用层采用了并发性，而突破应用层多线程的锁的性能限制，其原理是利用SCOPE粒度划分进入流，依据是程序分割(program slicing)技术。

基于流采样的异常检测方法有许多种，有通过截取异常数据包来研究异常网络流的特征来研究的，也有利用波形过滤器来研究对网络异常信号进行分析，方法多种多样。

目前DDoS的检测，主要是通过观测一定时间内测量值的变化而进行推断。Haraldsson，Emil通过对Port数、TCP连接数等统计信息来发现异常攻击，但属于一种较大时延的检测。之后的研究开始进行时间窗口划分，并基于一定的测度来发现DDoS行为。通过利用这些测度，技术人员提出相应的方法有效的检测DDoS Flooding攻击，做到检测时延小，实时性效果好或者是对低速DDoS检测很有效。

而当前DDoS也呈现了一些新的变化，在CCS2015会议上，来自德克萨斯州大学奥斯汀分校的研究团队提出了二阶拒绝服务攻击(Second-Order DoS)漏洞的发现和利用。二阶DoS攻击定义为：(1)第一阶段是用junk entries(垃圾输入)的方法填充污染数据库，(2)第二阶段是基于污染数据库上面的这些junk entries执行高代价操作以耗尽资源。另外在SP2015会议上，Ryan Rasti等提出了一种新颖的DoS攻击方式：时间透镜脉冲DoS攻击。这种攻击优点在于能够使攻击者能以低开销产生精准的协同攻击，造成受害者得到脉冲式瞬间高流量攻击。

当前DDoS另外的一个显著特征是攻击流量巨大。今年第一季度，就全球范围内已经发生了25起带宽超过100Gbps的DDoS攻击，其中大部分是关于简单服务发现协议(SSDP)、网络时间服务器(NTP)和DNS服务器的反射式攻击。

因此，本领域的人致力于开发一种降低DDoS检测时延并且能够有效检测当前发射放大型攻击的更加全面的方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何有效检测当前发射放大型攻击，并且降低DDoS检测时延的问题。

为实现上述目的，本发明提供了一种基于流采样的DDoS检测方法，包括以下步骤：

步骤1、通过Apache Kafka进行实时多源的NetFlow/IPFix数据采集；

步骤2、通过Spark Streaming进行实时低延迟的DDoS检测；

步骤3、通过Spark Streaming输出DDoS攻击数据到MemSQL；

步骤4、通过Spark Streaming输出统计和报告；

其中，Spark Streaming被配置为同时支持多个测度因子，且每个所述测度因子都有自己的阈值用于预警DDoS，每个所述测度因子的所述阈值被配置为通过机器学习进行反馈调整。

进一步地，所述测度因子是RDD结构上的一个函数F(RDD)，所述RDD结构是针对netflow流建立的时间片。

进一步地，所述Spark Streaming被配置为根据测度因子按需分割时间序列的时间粒度以及需求长度。

进一步地，所述时间粒度和需求长度为固定值。

进一步地，所述阈值的判断包括以下步骤：

步骤51、通过当前输出序列以及人工判定的正确与否进行新的阈值预测；

步骤52、在每一次误判后，将根据之前超前值序列学习的统计分析以及当前序列值进行动态调整。

进一步地，所述测度因子为信息熵增益因子，所述信息熵增益因子被配置为将网络流量分割成固定大小的时间块，f^t为时间块的流数目，f_i ^t是以IPi为源或目标地址的流数目，对于每个时间块t，熵值为：

H (X) = - \underset{&ForAll; d i s t i n c t I P i}{Σ} \frac{f_{i}^{t}}{f^{t}} \log_{2} \frac{f_{i}^{t}}{f^{t}},

所述Spark Streaming计算出H(X)值之后与所述阈值对比，若超出则预警DDoS。

进一步地，所述测度因子为CPR因子，所述CPR因子为在时间窗口内统计TCP包中入链接和出链接的数值，用于表征拥塞和检测LDDoS攻击。

进一步地，所述测度因子为UDP放大因子，所述UDP因子为在时间窗口内统计UDP包的上下链接的比率，用于检测巨量放大攻击。

与现有技术相比，本发明提供的基于流采样的DDoS检测方法具有以下有益效果：

(1)可扩展的云端检测框架；

(2)基于Spark Streaming的实时低时延检测；

(3)能够适应性检测当前新浮现的DDoS攻击类型；

(4)有效检测当前反射放大型攻击。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的基于流采样的DDoS的检测方法框架示意图。

具体实施方式

基于当前流采样的异常检测方法且基于业务动态和先进技术，本发明提出了一种基于流采样的DDoS检测方法，具有可扩展的云端检测框架的特点，能实时低时延检测并且能够适应性检测当前新浮现的DDoS攻击类型。

本发明提供一种基于流采样的DDoS检测方法，针对当前DDoS攻击流量巨大的特征，此方法特别关注UDP数据流的放大攻击，区分传统更关注在TCP的DDoS检测。

本发明所述的方法利用了当前Spark Streaming技术，在云平台对流采样得到的时间序列流应用多测度因子快速并行化分析，给出DDoS攻击的指标，实现了快速有效的检测DDoS。

如图1所示，本发明提供一种基于流采样的DDoS检测方法的检测平台基本处理如下：

通过Apache Kafka支持实时多源的NetFlow/IPFix数据采集。

通过Spark Streaming支持实时低延迟的DDoS检测。Spark Streaming模块同时支持多个测度因子(Measurement Factor)，每个测度因子都有自己的阈值用于预警DDoS。Spark Streaming计算支持在秒级别输出DDoS攻击的警报。

Spark Streaming输出DDoS相关数据到MemSQL，可进行相关统计和报告。

对于每个测度因子的阈值，通过机器学习进行自动反馈调整。

进一步地，基于流采样的DDoS检测方法基本处理细节如下：

(1)测度因子集：实际上，测试因子集可以不断扩充，具有良好的可扩展性。在程序实现上，是针对netflow流建立时间片RDD(Re-Direct Device)结构，而测度因子是作用在此RDD结构上的一个函数F(RDD)。

(2)时间序列：根据因子按需分割时间序列的时间粒度以及需求长度。通常可通过经验分析取固定值。

(3)DDoS的阈值：对于阈值的判定，为了适应不断变化的外部环境和新的攻击模式，我们采用了动态修正的方法。阈值可通过当前输出的(超出值，阈值)序列以及人工判定的正确性进行预测新的阈值。在每一次误判后，将根据之前超前值序列学习的统计分析以及当前序列值，进行动态调整，以及时捕获新型的DDoS攻击模式。

进一步地，基于流采样的DDoS检测方法基本处理细节中测度因子集有以下几种：

(1)熵、相对熵、信息增益因子

以熵为例子，信息熵的检测方法，将网络流量分割成一个个固定大小的时间块，f^t为时间块的流数目，f_i ^t是以IPi为源或目标地址的流数目，对于每个时间块t，熵值为

H (X) = - \underset{&ForAll; d i s t i n c t I P i}{Σ} \frac{f_{i}^{t}}{f^{t}} \log_{2} \frac{f_{i}^{t}}{f^{t}}

Spark Streaming计算出H(X)值之后，比对阈值，若超出则预警DDoS。初始的阈值来自经验分析。在实际运行中，根据每次DDoS的正确性，依据机器学习方法进行反馈修正。同理，对相对熵、信息增益因子均类似处理。

(2)CPR(Congestion Participation Rate)因子，用于检测LDDoS攻击

在时间窗口内统计TCP包中入链接和出链接的数目值，来得到拥塞的一个近似，作为CPR因子，以检测LDDoS攻击。

(3)UDP(User Datagram Protocol)放大因子，用于检测巨量放大攻击

在时间窗口内统计UDP包的上下链接的比率作为放大因子。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims

1.一种基于流采样的DDoS检测方法，其特征在于，包括以下步骤：

步骤1、通过Apache Kafka进行实时多源的NetFlow/IPFix数据采集；

步骤2、通过Spark Streaming进行实时低延迟的DDoS检测；

步骤3、通过Spark Streaming输出DDoS攻击数据到MemSQL；

步骤4、通过Spark Streaming输出统计和报告；

2.如权利要求1所述的基于流采样的DDoS检测方法，其特征在于，所述测度因子是RDD结构上的一个函数F(RDD)，所述RDD结构是针对netflow流建立的时间片。

3.如权利要求1所述的基于流采样的DDoS检测方法，其特征在于，所述SparkStreaming被配置为根据测度因子按需分割时间序列的时间粒度以及需求长度。

4.如权利要求3所述的基于流采样的DDoS检测方法，其特征在于，所述时间粒度和需求长度为固定值。

5.如权利要求1所述的基于流采样的DDoS检测方法，其特征在于，所述阈值的判断包括以下步骤：

6.如权利要求1所述的基于流采样的DDoS检测方法，其特征在于，所述测度因子为信息熵增益因子，所述信息熵增益因子被配置为将网络流量分割成固定大小的时间块，f^t为时间块的流数目，f_i ^t是以IPi为源或目标地址的流数目，对于每个时间块t，熵值为：

H (X) = - \underset{&ForAll; d i s t i n c t I P i}{Σ} \frac{f_{i}^{t}}{f^{t}} \log_{2} \frac{f_{i}^{t}}{f^{t}},

7.如权利要求1所述的基于流采样的DDoS检测方法，其特征在于，所述测度因子为CPR因子，所述CPR因子为在时间窗口内统计TCP包中入链接和出链接的数值，用于表征拥塞和检测LDDoS攻击。

8.如权利要求1所述的基于流采样的DDoS检测方法，其特征在于，所述测度因子为UDP放大因子，所述UDP因子为在时间窗口内统计UDP包的上下链接的比率，用于检测巨量放大攻击。