CN107800727A - 一种DDoS检测方法 - Google Patents

一种DDoS检测方法 Download PDF

Info

Publication number
CN107800727A
CN107800727A CN201711322357.1A CN201711322357A CN107800727A CN 107800727 A CN107800727 A CN 107800727A CN 201711322357 A CN201711322357 A CN 201711322357A CN 107800727 A CN107800727 A CN 107800727A
Authority
CN
China
Prior art keywords
ddos
current
detection
detection methods
spark streaming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711322357.1A
Other languages
English (en)
Inventor
蔡昌菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201711322357.1A priority Critical patent/CN107800727A/zh
Publication of CN107800727A publication Critical patent/CN107800727A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service

Abstract

本发明提供一种DDoS检测方法，涉及网络入侵检测领域，针对当前DDoS攻击流量巨大的特征以及UDP数据流的放大攻击，区分传统更关注在TCP的DDoS检测，利用了当前Spark Streaming技术，在云平台对流采样得到的时间序列流应用多测度因子快速并行化分析，给出DDoS攻击的指标。本发明基于当前流采样的异常检测方法，还基于业务动态和先进技术，具低时延检测的特性，能够有效检测当前反射放大型攻击，并且能够检测新型DDoS。与现有技术相比，本发明提供的基于流采样的DDoS检测方法具有以下有益效果：可扩展的云端检测框架；基于Spark Streaming的实时低时延检测；能够适应性检测当前新浮现的DDoS攻击类型；有效检测当前反射放大型攻击。

Description

一种DDoS检测方法
技术领域
本发明涉及网络入侵检测领域，尤其涉及一种DDoS检测方法。
背景技术
网络入侵检测是企业、园区网重要的安全防护点。基于入侵检测系统，可以有效地识 别网络攻击，从而保护企业、园区网内安全。然而，近些年来，有效的网络入侵检测已越来越困难，主要原因在于网络带宽不断增长，实时检测巨量的数据存在性能瓶颈。现有的主流产品，一类是Suricata和Snort，采用多线程来提高性能，但它们是基于经典的流签名，并不具有灵活的可编程规则；另一类是Bro，具有Turing-Complete(图灵完备性)脚本语言，可灵活定制规则，但它目前还是单线程的。CCS2014会议上，来自Wisconsin大学 和Berkeley大学研究者设计了一种全新并发的入侵检测模型：即能够具有 Turing-Complete(图灵完备性)脚本语言的灵活规则制定，又具有并行的高性能。这种高 并发性，不仅是雇佣了底层的并发性，也在应用层采用了并发性，而突破应用层多线程的 锁的性能限制，其原理是利用SCOPE粒度划分进入流，依据是程序分割(program slicing) 技术。
基于流采样的异常检测方法有许多种，有通过截取异常数据包来研究异常网络流的特 征来研究的，也有利用波形过滤器来研究对网络异常信号进行分析，方法多种多样。
目前DDoS的检测，主要是通过观测一定时间内测量值的变化而进行推断。Haraldsson， Emil通过对Port数、TCP连接数等统计信息来发现异常攻击，但属于一种较大时延的检 测。之后的研究开始进行时间窗口划分，并基于一定的测度来发现DDoS行为。通过利用 这些测度，技术人员提出相应的方法有效的检测DDoS Flooding攻击，做到检测时延小， 实时性效果好或者是对低速DDoS检测很有效。
而当前DDoS也呈现了一些新的变化，在CCS2015会议上，来自德克萨斯州大学奥斯汀 分校的研究团队提出了二阶拒绝服务攻击(Second-Order DoS)漏洞的发现和利用。二阶DoS 攻击定义为：(1)第一阶段是用junk entries(垃圾输入)的方法填充污染数据库，(2)第二 阶段是基于污染数据库上面的这些junk entries执行高代价操作以耗尽资源。另外在 SP2015会议上，Ryan Rasti等提出了一种新颖的DoS攻击方式：时间透镜脉冲DoS攻击。 这种攻击优点在于能够使攻击者能以低开销产生精准的协同攻击，造成受害者得到脉冲式 瞬间高流量攻击。
发明内容
本发明的目的在于：有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何 有效检测当前发射放大型攻击，并且降低DDoS检测时延的问题。
本发明采用的技术方案如下：
一种DDoS检测方法，包括以下步骤：
步骤1、通过Apache Kafka进行实时多源的NetFlow/IPFix数据采集；
步骤2、通过Spark Streaming进行实时低延迟的DDoS检测；
步骤3、通过Spark Streaming输出DDoS攻击数据到MemSQL；
步骤4、通过Spark Streaming输出统计和报告；
其中，Spark Streaming被配置为同时支持多个测度因子，且每个所述测度因子都有自己的阈 值用于预警DDoS，每个所述测度因子的所述阈值被配置为通过机器学习进行反馈调整。
具体地，所述测度因子是RDD结构上的一个函数F(RDD)，所述RDD结构是针对netflow流建 立的时间片。
具体地，所述Spark Streaming被配置为根据测度因子按需分割时间序列的时间粒度以及需求 长度。
具体地，所述时间粒度和需求长度为固定值。
具体地，所述阈值的判断包括以下步骤：
步骤5.1、通过当前输出序列以及人工判定的正确与否进行新的阈值预测；
步骤5.2、在每一次误判后，将根据之前超前值序列学习的统计分析以及当前序列值进行动态 调整。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.可扩展的云端检测框架；
2.基于Spark Streaming的实时低时延检测；
3.能够适应性检测当前新浮现的DDoS攻击类型；
4.有效检测当前反射放大型攻击。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例对本发 明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实 施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创 造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明采用的技术方案如下：
一种DDoS检测方法，包括以下步骤：
步骤1、通过Apache Kafka进行实时多源的NetFlow/IPFix数据采集；
步骤2、通过Spark Streaming进行实时低延迟的DDoS检测；
步骤3、通过Spark Streaming输出DDoS攻击数据到MemSQL；
步骤4、通过Spark Streaming输出统计和报告；
其中，Spark Streaming被配置为同时支持多个测度因子，且每个所述测度因子都有自己的阈 值用于预警DDoS，每个所述测度因子的所述阈值被配置为通过机器学习进行反馈调整。
具体地，所述测度因子是RDD结构上的一个函数F(RDD)，所述RDD结构是针对netflow流建 立的时间片。
具体地，所述Spark Streaming被配置为根据测度因子按需分割时间序列的时间粒度以及需求 长度。
具体地，所述时间粒度和需求长度为固定值。
具体地，所述阈值的判断包括以下步骤：
步骤5.1、通过当前输出序列以及人工判定的正确与否进行新的阈值预测；
步骤5.2、在每一次误判后，将根据之前超前值序列学习的统计分析以及当前序列值进行动态 调整。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属 于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵 盖在本发明的保护范围。

Claims (5)

1.一种DDoS检测方法，其特征在于，包括以下步骤：
步骤1、通过Apache Kafka进行实时多源的NetFlow/IPFix数据采集；
步骤2、通过Spark Streaming进行实时低延迟的DDoS检测；
步骤3、通过Spark Streaming输出DDoS攻击数据到MemSQL；
步骤4、通过Spark Streaming输出统计和报告；
其中，Spark Streaming被配置为同时支持多个测度因子，且每个所述测度因子都有自己的阈值用于预警DDoS，每个所述测度因子的所述阈值被配置为通过机器学习进行反馈调整。
2.如权利要求1所述的基于流采样的DDoS检测方法，其特征在于，所述测度因子是RDD结构上的一个函数F(RDD)，所述RDD结构是针对netflow流建立的时间片。
3.如权利要求1所述的基于流采样的DDoS检测方法，其特征在于，所述SparkStreaming被配置为根据测度因子按需分割时间序列的时间粒度以及需求长度。
4.如权利要求3所述的基于流采样的DDoS检测方法，其特征在于，所述时间粒度和需求长度为固定值。
5.如权利要求1所述的基于流采样的DDoS检测方法，其特征在于，所述阈值的判断包括以下步骤：
步骤5.1、通过当前输出序列以及人工判定的正确与否进行新的阈值预测；
步骤5.2、在每一次误判后，将根据之前超前值序列学习的统计分析以及当前序列值进行动态调整。
CN201711322357.1A 2017-12-12 2017-12-12 一种DDoS检测方法 Pending CN107800727A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711322357.1A CN107800727A (zh) 2017-12-12 2017-12-12 一种DDoS检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711322357.1A CN107800727A (zh) 2017-12-12 2017-12-12 一种DDoS检测方法

Publications (1)

Publication Number Publication Date
CN107800727A true CN107800727A (zh) 2018-03-13

Family

ID=61538472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711322357.1A Pending CN107800727A (zh) 2017-12-12 2017-12-12 一种DDoS检测方法

Country Status (1)

Country Link
CN (1) CN107800727A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2703329C1 (ru) * 2018-11-30 2019-10-16 Открытое Акционерное Общество "Информационные Технологии И Коммуникационные Системы" Способ обнаружения несанкционированного использования сетевых устройств ограниченной функциональности из локальной сети и предотвращения исходящих от них распределенных сетевых атак
TWI698102B (zh) * 2020-01-06 2020-07-01 財團法人資訊工業策進會 用於行動通訊系統之威脅偵測系統及其中心裝置與本地裝置
TWI711284B (zh) * 2019-07-05 2020-11-21 動力安全資訊股份有限公司 分散式阻斷服務攻擊的處理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2703329C1 (ru) * 2018-11-30 2019-10-16 Открытое Акционерное Общество "Информационные Технологии И Коммуникационные Системы" Способ обнаружения несанкционированного использования сетевых устройств ограниченной функциональности из локальной сети и предотвращения исходящих от них распределенных сетевых атак
TWI711284B (zh) * 2019-07-05 2020-11-21 動力安全資訊股份有限公司 分散式阻斷服務攻擊的處理方法
TWI698102B (zh) * 2020-01-06 2020-07-01 財團法人資訊工業策進會 用於行動通訊系統之威脅偵測系統及其中心裝置與本地裝置
CN113163406A (zh) * 2020-01-06 2021-07-23 财团法人资讯工业策进会 用于移动通信系统的威胁侦测系统及其中心装置与本地装置
CN113163406B (zh) * 2020-01-06 2023-10-17 财团法人资讯工业策进会 用于移动通信系统的威胁侦测系统及其中心装置与本地装置

Similar Documents

Publication Publication Date Title
CN106230819B (zh) 一种基于流采样的DDoS检测方法
Parra et al. Implementation of deep packet inspection in smart grids and industrial Internet of Things: Challenges and opportunities
Wang et al. An entropy-based distributed DDoS detection mechanism in software-defined networking
US8682812B1 (en) Machine learning based botnet detection using real-time extracted traffic features
CN104506507B (zh) 一种sdn网络的蜜网安全防护系统及方法
CN102821002B (zh) 网络流量异常检测方法和系统
Sekar et al. LADS: Large-scale Automated DDoS Detection System.
US8402543B1 (en) Machine learning based botnet detection with dynamic adaptation
US9584533B2 (en) Performance enhancements for finding top traffic patterns
Dainotti et al. Nis04-1: Wavelet-based detection of dos attacks
CN101355463B (zh) 网络攻击的判断方法、系统和设备
CN105471854B (zh) 一种基于多级策略的自适应边界异常检测方法
CN107800727A (zh) 一种DDoS检测方法
CN102821081B (zh) 监测小流量ddos攻击的方法和系统
Karimi et al. Distributed network traffic feature extraction for a real-time IDS
Li et al. Using SVM to detect DDoS attack in SDN network
Smallwood et al. Intrusion analysis with deep packet inspection: increasing efficiency of packet based investigations
Duravkin et al. Method of slow-attack detection
Aminanto et al. Automated threat-alert screening for battling alert fatigue with temporal isolation forest
CN107896229A (zh) 一种计算机网络异常检测的方法、系统及移动终端
Vianello et al. A scalable SIEM correlation engine and its application to the olympic games IT infrastructure
CN113709114A (zh) 一种边缘计算场景下的边缘节点安全监测方法
Tahmassebpour Immediate detection of DDoS attacks with using NetFlow on cisco devices IOS
Zhan et al. Adaptive detection method for Packet-In message injection attack in SDN
Zeb et al. Volume based anomaly detection using LRD analysis of decomposed network traffic

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180313

WD01 Invention patent application deemed withdrawn after publication