CN105357228B - 一种基于动态阈值的突发流量检测方法 - Google Patents

一种基于动态阈值的突发流量检测方法 Download PDF

Info

Publication number
CN105357228B
CN105357228B CN201510952382.2A CN201510952382A CN105357228B CN 105357228 B CN105357228 B CN 105357228B CN 201510952382 A CN201510952382 A CN 201510952382A CN 105357228 B CN105357228 B CN 105357228B
Authority
CN
China
Prior art keywords
entropy
normal
value
detection
sliding window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510952382.2A
Other languages
English (en)
Other versions
CN105357228A (zh
Inventor
尹美娟
刘晓楠
罗军勇
骆凯
刘琰
丁文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA Information Engineering University
Original Assignee
PLA Information Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA Information Engineering University filed Critical PLA Information Engineering University
Priority to CN201510952382.2A priority Critical patent/CN105357228B/zh
Publication of CN105357228A publication Critical patent/CN105357228A/zh
Application granted granted Critical
Publication of CN105357228B publication Critical patent/CN105357228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及基于动态阈值的突发流量检测方法，可有效实现高速网络环境下突发流量的实时在线检测，解决采用固定阈值的方法不能很好适应动态变化的网络环境的问题，其解决解决的技术方案是，根据正常历史流量的源IP熵值动态调整阈值大小，并引入滑动窗口机制，通过比较当前检测值与滑动窗口中平均熵值的差值是否超过动态阈值来检测突发流量，步骤包括有：最初滑动窗口的生成，参考值的生成，当前检测值的生成，当前检测值异常判定及正常流量的处理和突发流量的处理，本发明检测方法快速、简单、检测率高，误报率低，有效保证网络安全，有很强的实用性，经济和社会效益巨大。

Description

一种基于动态阈值的突发流量检测方法
技术领域
本发明涉及网络安全技术领域，特别是网络突发流量检测的一种基于动态阈值的突发流量检测方法。
背景技术
随着互联网技术的不断发展，尤其是各种Web应用的不断涌现，互联网越来越成为人们日常工作、生活、学习中必不可少的组成部分。伴随着网络正常应用流量的大幅增长，各种异常流量也随之而来，特别是以DDoS攻击为主所引发的突发流量，对网络通信和网络服务造成严重影响。快速、准确地检测出网络突发流量，从而进一步为网络流量管理与控制提供可靠依据，具有十分重要的现实意义和实用价值。所述突发流量是指，通常由不正常的网络行为引起的，短时间内突然出现的到达某一网络设备的大量的网络流量(即网络数据包)。
网络流量发生异常时往往会引起网络流量在某些特征维度上的分布发生变化，信息熵常常用于衡量因分布不同而引起的变化，被广泛用于异常流量的检测。近些年来，国内外研究者基于熵理论提出了众多异常流量检测方法，这些方法大多预先设定一个固定阈值，根据被检测流量中某一特征分布的信息熵与正常流量情况下的偏差是否超过阈值来判断是否异常。但是采用固定阈值的方法不能很好适应动态变化的网络环境，导致检测率不高。
发明内容
针对上述情况，为克服现有技术之缺陷，本发明之目的就是提供一种基于动态阈值的突发流量检测方法，可有效实现高速网络环境下突发流量的实时在线检测，解决采用固定阈值的方法不能很好适应动态变化的网络环境的问题。
本发明解决的技术方案是，根据正常历史流量的源IP熵值动态调整阈值大小，并引入滑动窗口机制，通过比较当前检测值与滑动窗口中平均熵值的差值是否超过动态阈值来检测突发流量，步骤包括有：最初滑动窗口的生成，参考值的生成，当前检测值的生成，当前检测值异常判定及正常流量的处理和突发流量的处理。
本发明检测方法快速、简单、检测率高，误报率低，有效保证网络安全，有很强的实用性，经济和社会效益巨大。
附图说明
图1是本发明的检测过程示意图。
图2是本发明检测方法与固定阈值方法的a组检测结果对比图。
图3是本发明检测方法与固定阈值方法的b组检测结果对比图。
具体实施方式
以下结合附图和具体情况对本发明的具体实施方式做详细说明。
根据图1所示，本发明在具体实施中是由以下步骤实现：
(1)最初滑动窗口的生成：
将最初w个检测周期均为正常流量、中间或后面才含有突发流量的网络流量数据作为输入，从网络流量的最开始进行第一个检测周期的检测，对每个检测周期内的网络流量计算其原始熵值，每次向后移动一个检测周期，得到一个原始熵值序列及一个正常熵值序列，形成当前滑动窗口，滑动窗口的大小为在正常熵值序列中，用来当参考值的正常熵值的个数，记作w；
所述的检测周期是指检测窗口的基本大小，即单位时间t；
所述的原始熵值序列为，根据一个检测周期内到达的网络流量的源IP地址分布可计算出一个熵值，则各个检测周期内的源IP地址分布的熵值所形成的一个熵值序列为原始熵值序列，记作E1,E2,…,Ek，k为自然正整数；
所述的正常熵值序列是指原始熵值序列中，被判定为正常值的熵值所组成的熵值序列，记作E′1,E′2,…,E′k；
(2)当前参考值的生成：由式(1)、式(2)分别计算当前滑动窗口内的平均熵值A和最大偏差D：
式(1)
D＝max(|E'i-A|)；i＝1,2,…,w 式(2)
其中，w为滑动窗口的大小，A为最新的w个正常熵值的平均值，D为最新的w个正常熵值与平均熵值A的最大差值；
所述的平均熵值是指，最新的w个正常熵值的平均值，记作A；
所述的最大偏差是指，最新的w个正常熵值的个数与平均熵值A的最大差值，记作D；
(3)当前检测值的生成：向后移动一个检测周期，由式(3)计算当前检测周期内的源IP熵值En+1：
式(3)
其中，N为该检测周期内出现的不同源IP地址的数目，P(SrcIP)i为该检测周期内第i个源IP地址对应的数据包个数占总数据包个数的比例；
(4)当前检测值异常判定：计算当前检测值与平均熵值A的差值，若差值大于k·D，则判定为异常，即当前检测周期内的流量为突发流量，转步骤(6)；否则为正常，即当前检测周期内的流量是正常流量，转步骤(5)，其中，k为最大偏差系数，决定了检测的灵敏度；
(5)正常流量的处理：当前熵值正常，则将该熵值放入正常熵值序列中，并将滑动窗口向后推移一项，然后从步骤(2)开始，重新计算当前平均熵值A和最大偏差D，并进行下一周期流量的检测；
(6)突发流量的处理：当前熵值异常，则不更新平均熵值，从步骤(3)开始，进行下一周期流量的检测。
由上述可以看出，给出了一种基于动态阈值的突发流量检测方法，优化了传统采用固定阈值信息熵的检测方法，可以动态调整检测阈值的大小，通过观测源IP地址熵值的变化是否超过动态阈值来判断流量是否异常从而适应了动态变化的网络环境，其对突发流量的检测具有高检测率和快检测速度，并为试验所证实，有关资料如下：
为了验证方法的有效性，在以下三种数据集上进行了实验：1998FIFA World Cup数据集，CAIDA组织提供的DDoS Attack 2007数据集以及使用NetStress-NG工具进行DDoS攻击实验时采集的真实流量数据。
1998FIFA World Cup数据集由ITA(Internet Traffic Archive)提供，记录了1998年足球世界杯期间其官方网站为期92天(4月30号到7月26号)的全部HTTP请求。其中7月8日与7月9日为两场半决赛的时间，用户访问量很大，出现了Flash Crowd现象。
DDoS Attack 2007数据集是由CAIDA组织采集到的一次真实的大规模DDoS攻击数据，攻击发生在2007年8月4号，持续时间大约1个小时(20:50:08UTC到21:56:16UTC)。该数据集以PCAP文件格式存在，每个PCAP文件包含5分钟的流量，含有时间戳、源IP地址、目的IP地址、从源端发送给主机的请求等信息。
NetStress-NG是一个DDoS攻击和网络压力测试工具，可以通过设置不同的命令参数发动SYN Flood、FIN Flood、ICMP Flood、HTTP Flood等多种不同的DDoS攻击。如SYNFlood的命令形式为：#./netstress.fullrandom-d 192.168.100.100-P 80-a syn-n 1。
实验预设参数：时间粒度T＝60秒，滑动窗口大小w＝10，最大偏差系数k＝1.5，实验结果如下表1所示：
表1检测结果
与此同时，对固定阈值的方法和动态阈值的方法进行多组对比实验，检测率和误报率分别如图2和图3所示。
可以看到，虽然基于固定阈值的检测方法快速、简单，但其检测率和误报率都不是很理想，分别为70％和20％左右。与固定阈值的方法相比，本发明提出的基于动态阈值的方法，不令保留了原有固定阈值检测方法快速、简单的优点，而且明显在提高了检测率的同时，还降低了误报率，检测率高达99.7％，误报率可降低为0.8％，取得了非常好的有益技术效果，有效保证了网络的使用安全，具有很强的实际应用价值，经济和社会效益巨大。

Claims (1)

1.一种基于动态阈值的突发流量检测方法，其特征在于，根据正常历史流量的源IP熵值动态调整阈值大小，并引入滑动窗口机制，通过比较当前检测值与滑动窗口中平均熵值的差值是否超过动态阈值来检测突发流量，步骤包括有：最初滑动窗口的生成，当前参考值的生成，当前检测值的生成，当前检测值异常判定及正常流量的处理和突发流量的处理，具体由以下步骤实现：
(1)最初滑动窗口的生成：
将最初w个检测周期均为正常流量、中间或后面才含有突发流量的网络流量数据作为输入，从网络流量的最开始进行第一个检测周期的检测，对每个检测周期内的网络流量计算其原始熵值，每次向后移动一个检测周期，得到一个原始熵值序列及一个正常熵值序列，形成当前滑动窗口，滑动窗口的大小为在正常熵值序列中，用来当参考值的正常熵值的个数，记作w；
所述的检测周期是指检测窗口的基本大小，即单位时间t；
所述的原始熵值序列为，根据一个检测周期内到达的网络流量的源IP地址分布可计算出一个熵值，则各个检测周期内的源IP地址分布的熵值所形成的一个熵值序列为原始熵值序列，记作E1,E2,…, Ek，k为自然正整数；
所述的正常熵值序列是指原始熵值序列中，被判定为正常值的熵值所组成的熵值序列，记作E′1,E′2,…,E′k；
(2)当前参考值的生成：由式(1)、式(2)分别计算当前滑动窗口内的平均熵值A和最大偏差D：
D＝max(|E'i-A|)；i＝1,2,…,w 式(2)
其中，w为滑动窗口的大小，A为最新的w个正常熵值的平均值，D为最新的w个正常熵值与平均熵值A的最大差值；
所述的平均熵值是指，最新的w个正常熵值的平均值，记作A；
所述的最大偏差是指，最新的w个正常熵值与平均熵值A的最大差值，记作D；
(3)当前检测值的生成：向后移动一个检测周期，由式(3)计算当前检测周期内的源IP熵值En+1：
其中，N为该检测周期内出现的不同源IP地址的数目，P(SrcIP)i为该检测周期内第i个源IP地址对应的数据包个数占总数据包个数的比例；
(4)当前检测值异常判定：计算当前检测值与平均熵值A的差值，若差值大于k·D，则判定为异常，即当前检测周期内的流量为突发流量，转步骤(6)；否则为正常，即当前检测周期内的流量是正常流量，转步骤(5)，其中，k为最大偏差系数，决定了检测的灵敏度；
(5)正常流量的处理：当前熵值正常，则将该熵值放入正常熵值序列中，并将滑动窗口向后推移一项，然后从步骤(2)开始，重新计算当前平均熵值A和最大偏差D，并进行下一周期流量的检测；
(6)突发流量的处理：当前熵值异常，则不更新平均熵值，从步骤(3)开始，进行下一周期流量的检测。
CN201510952382.2A 2015-12-19 2015-12-19 一种基于动态阈值的突发流量检测方法 Active CN105357228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510952382.2A CN105357228B (zh) 2015-12-19 2015-12-19 一种基于动态阈值的突发流量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510952382.2A CN105357228B (zh) 2015-12-19 2015-12-19 一种基于动态阈值的突发流量检测方法

Publications (2)

Publication Number Publication Date
CN105357228A CN105357228A (zh) 2016-02-24
CN105357228B true CN105357228B (zh) 2018-03-20

Family

ID=55333091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510952382.2A Active CN105357228B (zh) 2015-12-19 2015-12-19 一种基于动态阈值的突发流量检测方法

Country Status (1)

Country Link
CN (1) CN105357228B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106470253B (zh) * 2016-11-21 2019-12-06 杭州迪普科技股份有限公司 Ip地址回收方法和装置
CN107104959B (zh) * 2017-04-20 2023-01-13 北京东方棱镜科技有限公司 一种云环境中异常行为检测方法与装置
CN109951420B (zh) * 2017-12-20 2020-02-21 广东电网有限责任公司电力调度控制中心 一种基于熵和动态线性关系的多级流量异常检测方法
CN108390870B (zh) * 2018-02-09 2021-07-20 北京天融信网络安全技术有限公司 一种防御网络攻击的方法、装置、存储介质及设备
CN108768942B (zh) * 2018-04-20 2020-10-30 武汉绿色网络信息服务有限责任公司 一种基于自适应阈值的DDoS攻击检测方法和检测装置
CN110162969B (zh) * 2018-10-08 2022-12-06 腾讯科技（深圳）有限公司 一种流量的分析方法和装置
CN111092849B (zh) * 2018-10-24 2022-01-25 中移（杭州）信息技术有限公司 基于流量的分布式拒绝服务的检测方法及装置
CN109257390B (zh) * 2018-11-27 2021-11-05 杭州安恒信息技术股份有限公司 Cc攻击的检测方法、装置及电子设备
CN110324339B (zh) * 2019-07-02 2021-10-08 光通天下网络科技股份有限公司 基于信息熵的DDoS攻击检测方法、装置和电子设备
CN110798442B (zh) * 2019-09-10 2023-01-20 广州西麦科技股份有限公司 数据注入攻击检测方法及相关装置
CN112261004B (zh) * 2020-09-27 2022-05-27 新华三信息安全技术有限公司 一种Domain Flux数据流的检测方法及装置
CN112291158A (zh) * 2020-10-30 2021-01-29 北京字节跳动网络技术有限公司 一种流量控制方法及装置
CN112583808B (zh) * 2020-12-08 2022-01-07 国网湖南省电力有限公司 针对物联网设备的异常流量检测方法
US11916940B2 (en) * 2021-04-12 2024-02-27 Ge Infrastructure Technology Llc Attack detection and localization with adaptive thresholding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101369897A (zh) * 2008-07-31 2009-02-18 成都市华为赛门铁克科技有限公司 一种检测网络攻击的方法和设备
CN102014031A (zh) * 2010-12-31 2011-04-13 湖南神州祥网科技有限公司 一种网络流量异常检测方法及系统
CN103888315A (zh) * 2014-03-24 2014-06-25 北京邮电大学 一种自适应的突发流量检测装置及其检测方法
CN104202336A (zh) * 2014-09-22 2014-12-10 浪潮电子信息产业股份有限公司 一种基于信息熵的DDoS攻击检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8223655B2 (en) * 2006-08-22 2012-07-17 Embarq Holdings Company, Llc System and method for provisioning resources of a packet network based on collected network performance information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101369897A (zh) * 2008-07-31 2009-02-18 成都市华为赛门铁克科技有限公司 一种检测网络攻击的方法和设备
CN102014031A (zh) * 2010-12-31 2011-04-13 湖南神州祥网科技有限公司 一种网络流量异常检测方法及系统
CN103888315A (zh) * 2014-03-24 2014-06-25 北京邮电大学 一种自适应的突发流量检测装置及其检测方法
CN104202336A (zh) * 2014-09-22 2014-12-10 浪潮电子信息产业股份有限公司 一种基于信息熵的DDoS攻击检测方法

Also Published As

Publication number Publication date
CN105357228A (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
CN105357228B (zh) 一种基于动态阈值的突发流量检测方法
CN110225037B (zh) 一种DDoS攻击检测方法和装置
CN104394015B (zh) 一种网络安全态势评估方法
CN104202329B (zh) DDoS攻击检测方法和装置
CN103618651B (zh) 一种基于信息熵和滑动窗口的网络异常检测方法及系统
CN106899448B (zh) 适用于网络状态及性能测量的一体化动态赋权评估方法
CN105491013A (zh) 一种基于sdn的多域网络安全态势感知模型及方法
CN106330611A (zh) 一种基于统计特征分类的匿名协议分类方法
CN105871861B (zh) 一种自学习协议规则的入侵检测方法
CN109951420A (zh) 一种基于熵和动态线性关系的多级流量异常检测方法
CN106685752A (zh) 一种信息处理方法及终端
CN104391207B (zh) 一种采用基频单向量s变换的电压暂降检测方法
CN101527649A (zh) 一种基于安全依赖关系的风险评估方法和系统
CN107592323A (zh) 一种DDoS检测方法及检测装置
CN105939321B (zh) 一种dns攻击检测方法及装置
BR112014014601B1 (pt) método para gerar um sinal que indica uma oscilação de uma variável elétrica em uma rede de suprimento de energia elétrica
Li et al. Covert timing channel detection method based on random forest algorithm
CN106295683A (zh) 一种基于尖锐度的时间序列数据的离群点检测方法
CN104539488B (zh) 基于可调节分段Tsallis熵的网络流量异常检测方法
Wellem et al. Superspreader detection system on NetFPGA platform
CN105187451A (zh) 网站流量异常检测方法及系统
Kim et al. Estimation of regional probable rainfall based on climate change scenarios
CN107104959A (zh) 云环境中异常行为检测方法与装置
CN108616420B (zh) 基于网络设备缓存信息传输延时序列提取平均延时的方法
Ravaioli et al. Chkdiff: checking traffic differentiation at internet access

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant