CN109067722B - 一种基于两步聚类和检测片分析联合算法的LDoS检测方法 - Google Patents

一种基于两步聚类和检测片分析联合算法的LDoS检测方法 Download PDF

Info

Publication number
CN109067722B
CN109067722B CN201810820413.2A CN201810820413A CN109067722B CN 109067722 B CN109067722 B CN 109067722B CN 201810820413 A CN201810820413 A CN 201810820413A CN 109067722 B CN109067722 B CN 109067722B
Authority
CN
China
Prior art keywords
detection piece
detection
unit time
ldos
tcp flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810820413.2A
Other languages
English (en)
Other versions
CN109067722A (zh
Inventor
汤澹
代锐
唐柳
吴小雪
冯叶
施玮
詹思佳
薛芸菲
罗能光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN201810820413.2A priority Critical patent/CN109067722B/zh
Publication of CN109067722A publication Critical patent/CN109067722A/zh
Application granted granted Critical
Publication of CN109067722B publication Critical patent/CN109067722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于两步聚类和检测片分析联合算法的LDoS检测方法，属于网络安全领域。其中所述的方法包括：获取服务器(或关键路由器)上的TCP流量，并按固定时长对其进行采样。使用两步聚类方法分析和挖掘TCP流量的离散特征，将离散特征异常的TCP流量划分到可疑簇中。接着将可疑簇中的TCP流量按检测片划分并分析，通过定量度量检测片中TCP流量的波动幅度特征，提出了相关准则来判断可疑簇中TCP流量的波动幅度是否异常，从而实现对LDoS攻击的检测。本发明提出的基于两步聚类和检测片分析联合算法的LDoS检测方法能高效、准确地检测LDoS攻击。

Description

一种基于两步聚类和检测片分析联合算法的LDoS检测方法
技术领域
本发明属于计算机网络安全领域，具体涉及一种基于两步聚类和检测片分析联合算法的LDoS检测方法。
背景技术
拒绝服务(DoS)攻击通过攻击网络协议实现的缺陷或直接以野蛮的手段来耗尽攻击目标的有限资源，以达到使受害网络或目标主机无法为合法用户提供正常服务的目的。DoS攻击一直严重威胁着网络的安全，而作为DoS攻击的变种，慢速拒绝服务(LDoS)攻击不仅有着近似于DoS攻击的效果，还有着更强的隐蔽性。
LDoS攻击有着较强的隐蔽性和破坏性，当前的检测方法存在以下问题：传统的DoS检测方法难以有效地检测LDoS攻击；已有的LDoS检测方法存在检测准确度不够、资源消耗大等缺点。
本发明针对当前LDoS攻击检测方法存在的检测准确度不高、资源消耗大等缺点，提出了一种基于两步聚类和检测片分析联合算法的LDoS检测方法。该方法首先采用两步聚类方法分析和挖掘网络中TCP流量的离散特征，从大量的网络数据中将疑似受到LDoS攻击的TCP流量划分到可疑簇中。然后将可疑簇中的TCP流量按检测片划分，定量度量检测片中TCP流量的波动幅度特征，并根据所提出的相关准则来判断可疑簇中TCP流量的波动幅度是否异常，从而实现对LDoS攻击的检测。该LDoS检测方法在预聚类阶段采用的基于层次的平衡迭代和规约(BIRCH)算法，实现了对数据的压缩，在整个检测过程中有效地节省了存储空间和降低了资源消耗；同时，由于经过了两个阶段的分析和检测，该方法能够有效地提高检测准确度。
发明内容
针对当前LDoS检测方法存在的检测准确度不高、资源消耗大等缺点，提出了一种基于两步聚类和检测片分析联合算法的LDoS检测方法。该检测方法在检测的过程中实现了对数据的压缩，有效地节省了存储空间和降低了资源消耗；而且该检测方法对LDoS攻击检测的准确度较高，有着较低的误报率和漏报率。
本发明为实现上述目标所采用的技术方案为：该LDoS检测方法包括以下五个步骤：采样数据、处理数据、聚类分析数据、分析可疑簇和判定检测。
1.采样数据。收集服务器(或关键路由器)上的TCP流量，并对其进行采样，得到足够多单位时间的TCP流量。
2.处理数据。根据采样得到的TCP流量数据，计算单位时间内TCP流量的方差和平均差，并采用min-max归一化处理公式对方差和平均差进行归一化处理，得到二维数据点，并求得每个簇(数据点)的聚类特征。通过归一化处理，能够将方差和平均差的值控制在[0,1]之间，从而消除方差和平均差上的数量级差距，min-max归一化处理公式如下：
Figure BDA0001741262770000021
聚类特征的定义如下：设某簇中有N个二维数据点
Figure BDA0001741262770000022
其中
Figure BDA0001741262770000023
vn为第n个数据点的方差，cvn为第n个数据点的平均差，则该簇的聚类特征
Figure BDA0001741262770000024
定义为三元组：
Figure BDA0001741262770000025
其中N为该簇中数据点的数目，矢量
Figure BDA0001741262770000026
为各数据点的线性求和，标量
Figure BDA0001741262770000027
为各数据点的平方和。
3.聚类分析数据。使用方差和平均差度量TCP流量的离散程度，采用两步聚类方法对TCP流量进行分析，将离散特征异常的TCP流量分配到可疑簇中，具体如下：(1)根据先前得到的聚类特征采用BIRCH算法对TCP流量进行预聚类分析；(2)采用K-means算法对预聚类分析得到的子簇进行聚类分析，疑似受到LDoS攻击的TCP流量聚集在一起，并将其划分到可疑簇中。
在预聚类阶段，根据BIRCH算法将数据对象(处理数据阶段得到的二维数据点)逐个插入到聚类特征(CF)树上，当CF树构建完成，其叶节点上的所有元项就是要输出的子簇。
在聚类阶段，根据K-means算法将预聚类阶段输出的子簇分配到相应的K(K>＝2)个簇中。根据预先存储的判断阈值，在K个簇中找到离散特征异常的簇并将其划分到可疑簇中。
4.分析可疑簇。可疑簇是由多个单位时间的TCP流量所组成，将单位时间内的TCP流量按时间更短的检测片进行划分，并计算单位时间内的异常检测片数目和异常检测片概率。具体如下：(1)将可疑簇中单位时间的TCP流量按检测片进行划分，并计算检测片内TCP流量的极差；(2)根据预先存储的检测片极差阈值，判断检测片是否是异常检测片，并求得单位时间内异常检测片的数目；(3)根据单位时间内的异常检测片数目求得异常检测片概率，异常检测片概率ADPR可表示为：
Figure BDA0001741262770000031
其中，numADP表示单位时间内的异常检测片数目，numALLADP表示单位时间内的所有检测片数目。
5.判定检测。根据计算得到的异常检测片概率，对可疑簇中单位时间内的TCP流量进行检测判定。若该单位时间的异常检测片概率大于预先存储的异常检测片概率阈值，则判定该单位时间内发生了LDoS攻击。
有益效果
该LDoS检测方法在检测的过程中实现了对数据的压缩，节省了存储空间和降低了资源消耗；而且该检测方法实现了对LDoS攻击的准确检测，有着较低的误报率和漏报率。
附图说明
图1为处理数据的流程图。计算单位时间内TCP流量的方差和平均差，并对其进行min-max归一化处理，求得聚类特征。
图2为两步聚类分析数据的流程图。经过预聚类和聚类两个阶段对TCP流量进行分析。
图3为分析可疑簇的流程图。对可疑簇中的TCP流量按检测片划分，计算单位时间内的异常检测片概率。
图4为一种基于两步聚类和检测片分析联合算法的LDoS检测方法的流程图。
具体实施方式
下面结合附图对本发明进一步说明。
如图4所示，该检测方法主要包括以下五个步骤：采样数据、处理数据、聚类分析数据、分析可疑簇和判定检测。
图1为处理数据的流程图。使用方差和平均差度量TCP流量的离散程度，计算单位时间内TCP流量的方差和平均差，并进行min-max归一化处理，消除方差和平均差的数量级差距，得到二维数据点，一个数据点对应一个簇，求得每个簇的聚类特征。聚类特征实现了对数据的压缩，能够有效地节省存储空间和降低资源消耗。
图2为两步聚类分析数据的流程图。根据BIRCH算法，对单位时间内的TCP流量以聚类特征的形式进行预聚类分析，并采用K-means算法对预聚类输出的子簇进行聚类分析。
图3为分析可疑簇的流程图。将可疑簇中单位时间内的TCP流量按检测片划分，使用极差来度量检测片中TCP流量的波动幅度，计算单位时间内的异常检测片数目和异常检测片概率。

Claims (5)

1.一种基于两步聚类和检测片分析联合算法的LDoS检测方法，其特征在于，该检测方法包括以下几个步骤：
步骤1、采样数据：收集服务器上的TCP流量，并对其进行采样，得到多个单位时间的TCP流量；
步骤2、处理数据：计算单位时间内TCP流量的方差和平均差，并求得聚类特征；
步骤3、聚类分析数据：基于两步聚类方法，根据步骤2中求得的聚类特征对TCP流量进行分析，将疑似遭受了LDoS攻击的TCP流量划分到可疑簇中；
步骤4、分析可疑簇：将可疑簇中单位时间内TCP流量按检测片进行划分，并计算可疑簇中单位时间内的异常检测片概率，包括三个步骤：
步骤4.1、按检测片划分可疑簇中TCP流量，并计算检测片内TCP流量的极差；
步骤4.2、根据预先存储的检测片极差阈值，判断检测片是否是异常检测片，若检测片中的TCP流量极差大于预先存储的检测片极差阈值，则该检测片为异常检测片，并计算单位时间内异常检测片数目；
步骤4.3、计算单位时间内异常检测片概率，单位时间内异常检测片出现的频率，称为异常检测片概率，令ADPR表示异常检测片概率，numADP表示单位时间内异常检测片数目，numALLDP表示单位时间内所有检测片数目，则异常检测片概率计算公式可表示为：
Figure FDA0002659853060000011
步骤5、判定检测：根据预先存储的异常检测片概率阈值，对可疑簇中单位时间内的TCP流量进行判定检测，若单位时间内的异常检测片概率大于预先存储的异常检测片概率阈值，则判定网络在该单位时间内发生了LDoS攻击。
2.根据权利要求1中所述的LDoS检测方法，其特征在于，步骤2中根据步骤1中采样得到的TCP流量数据，计算单位时间内TCP流量的方差和平均差，并对方差和平均差进行归一化处理，得到二维数据点，一个数据点对应一个簇，并求得每个簇的聚类特征。
3.根据权利要求1中所述的LDoS检测方法，其特征在于，步骤3中采用两步聚类方法对TCP流量进行分析，包括两个步骤：
步骤3.1、根据步骤2中求得的聚类特征对TCP流量进行预聚类分析；
步骤3.2、对预聚类分析得到的子簇进行聚类分析，将疑似遭受了LDoS攻击的TCP流量划分到可疑簇中。
4.根据权利要求3中所述的LDoS检测方法，其特征在于，步骤3.1中采用基于层次的平衡迭代和规约BIRCH算法对TCP流量进行预聚类分析，BIRCH算法实现了对数据的压缩，节省了存储空间和降低了资源消耗。
5.根据权利要求3中所述的LDoS检测方法，其特征在于，步骤3.2中采用K-means算法对预聚类分析得到的子簇进行聚类分析，根据预先存储的离散特征异常阈值，确定可疑簇。
CN201810820413.2A 2018-07-24 2018-07-24 一种基于两步聚类和检测片分析联合算法的LDoS检测方法 Active CN109067722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810820413.2A CN109067722B (zh) 2018-07-24 2018-07-24 一种基于两步聚类和检测片分析联合算法的LDoS检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810820413.2A CN109067722B (zh) 2018-07-24 2018-07-24 一种基于两步聚类和检测片分析联合算法的LDoS检测方法

Publications (2)

Publication Number Publication Date
CN109067722A CN109067722A (zh) 2018-12-21
CN109067722B true CN109067722B (zh) 2020-10-27

Family

ID=64836240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810820413.2A Active CN109067722B (zh) 2018-07-24 2018-07-24 一种基于两步聚类和检测片分析联合算法的LDoS检测方法

Country Status (1)

Country Link
CN (1) CN109067722B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109450957A (zh) * 2019-01-03 2019-03-08 湖南大学 一种基于云模型的低速拒绝服务攻击检测方法
CN110650145A (zh) * 2019-09-26 2020-01-03 湖南大学 一种基于sa-dbscan算法的低速率拒绝服务攻击检测方法
CN110719270A (zh) * 2019-09-26 2020-01-21 湖南大学 一种基于fcm算法的慢速拒绝服务攻击检测方法
CN110572413A (zh) * 2019-09-27 2019-12-13 湖南大学 一种基于Elman神经网络的低速率拒绝服务攻击检测方法
CN110826623B (zh) * 2019-11-04 2023-09-01 深圳雷霆应急科技有限公司 基于气象数据的分类方法、装置、计算机设备及存储介质
CN111935170B (zh) * 2020-08-20 2022-06-07 杭州安恒信息技术股份有限公司 一种网络异常流量检测方法、装置及设备
CN112261000B (zh) * 2020-09-25 2022-01-25 湖南大学 一种基于PSO-K算法的LDoS攻击检测方法
CN112765142A (zh) * 2021-01-18 2021-05-07 北京易莱信科技有限公司 一种基于两步聚类算法的异常数据诊断方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561878A (zh) * 2009-05-31 2009-10-21 河海大学 基于改进cure聚类算法的无监督异常检测方法和系统
CN103559420A (zh) * 2013-11-20 2014-02-05 苏州大学 一种异常检测训练集的构建方法及装置
CN103870751A (zh) * 2012-12-18 2014-06-18 中国移动通信集团山东有限公司 入侵检测方法及系统
CN104519031A (zh) * 2013-09-30 2015-04-15 西门子公司 一种用于恶意网络行为检测的方法和装置
CN105553998A (zh) * 2015-12-23 2016-05-04 中国电子科技集团公司第三十研究所 一种网络攻击异常检测方法
CN105681250A (zh) * 2014-11-17 2016-06-15 中国信息安全测评中心 一种僵尸网络分布式实时检测方法和系统
CN105959270A (zh) * 2016-04-25 2016-09-21 盐城工学院 一种基于谱聚类算法的网络攻击检测方法
CN107483455A (zh) * 2017-08-25 2017-12-15 国家计算机网络与信息安全管理中心 一种基于流的网络节点异常检测方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11848940B2 (en) * 2015-08-28 2023-12-19 The Boeing Company Cumulative trajectory of cyber reconnaissance indicators

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561878A (zh) * 2009-05-31 2009-10-21 河海大学 基于改进cure聚类算法的无监督异常检测方法和系统
CN103870751A (zh) * 2012-12-18 2014-06-18 中国移动通信集团山东有限公司 入侵检测方法及系统
CN104519031A (zh) * 2013-09-30 2015-04-15 西门子公司 一种用于恶意网络行为检测的方法和装置
CN103559420A (zh) * 2013-11-20 2014-02-05 苏州大学 一种异常检测训练集的构建方法及装置
CN105681250A (zh) * 2014-11-17 2016-06-15 中国信息安全测评中心 一种僵尸网络分布式实时检测方法和系统
CN105553998A (zh) * 2015-12-23 2016-05-04 中国电子科技集团公司第三十研究所 一种网络攻击异常检测方法
CN105959270A (zh) * 2016-04-25 2016-09-21 盐城工学院 一种基于谱聚类算法的网络攻击检测方法
CN107483455A (zh) * 2017-08-25 2017-12-15 国家计算机网络与信息安全管理中心 一种基于流的网络节点异常检测方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Kuo Dong;Shoubao Yang;Shaolin Wang.Analysis of low-rate TCP DoS attack against FAST TCP.《Proceedings of the Sixth-International Conference on intelligent Systems Design and Applications(ISDA’06)》.2006,第1-6页. *
一种基于数据挖掘的拒绝服务攻击检测技术;高能，冯登国，向继;《计算机学报》;20060630;第29卷(第6期);第945-951页 *

Also Published As

Publication number Publication date
CN109067722A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN109067722B (zh) 一种基于两步聚类和检测片分析联合算法的LDoS检测方法
CN107426199B (zh) 一种网络异常行为检测与分析的方法及系统
CN109729090B (zh) 一种基于wedms聚类的慢速拒绝服务攻击检测方法
Saxena et al. Intrusion detection in KDD99 dataset using SVM-PSO and feature reduction with information gain
CN103368979B (zh) 一种基于改进K-means算法的网络安全性验证装置
CN111107102A (zh) 基于大数据实时网络流量异常检测方法
CN109088869B (zh) Apt攻击检测方法及装置
CN105577679A (zh) 一种基于特征选择与密度峰值聚类的异常流量检测方法
CN105208037A (zh) 一种基于轻量级入侵检测的DoS/DDoS攻击检测和过滤方法
CN112261000B (zh) 一种基于PSO-K算法的LDoS攻击检测方法
CN110830946B (zh) 混合型在线数据异常检测方法
CN109951499B (zh) 一种基于网络结构特征的异常检测方法
CN110351291B (zh) 基于多尺度卷积神经网络的DDoS攻击检测方法及装置
CN109784668B (zh) 一种用于电力监控系统异常行为检测的样本特征降维处理方法
CN110719270A (zh) 一种基于fcm算法的慢速拒绝服务攻击检测方法
CN110661802A (zh) 一种基于pca-svm算法的慢速拒绝服务攻击检测方法
CN110719272A (zh) 一种基于lr算法的慢速拒绝服务攻击检测方法
CN117439827B (zh) 一种网络流量大数据分析方法
CN111031006A (zh) 一种基于网络流的智能电网通信异常检测方法
CN111600878A (zh) 一种基于maf-adm的低速率拒绝服务攻击检测方法
CN109150838A (zh) 一种针对慢速拒绝服务攻击的综合检测方法
KR102433830B1 (ko) 인공지능 기반 보안위협 이상행위 탐지 시스템 및 방법
CN113794680B (zh) 基于频域分析的高带宽场景下的恶意流量检测方法和装置
CN110650157B (zh) 基于集成学习的Fast-flux域名检测方法
CN110650145A (zh) 一种基于sa-dbscan算法的低速率拒绝服务攻击检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant