CN112422546A - 一种基于变邻域算法和模糊聚类的网络异常检测方法 - Google Patents

一种基于变邻域算法和模糊聚类的网络异常检测方法 Download PDF

Info

Publication number
CN112422546A
CN112422546A CN202011243442.0A CN202011243442A CN112422546A CN 112422546 A CN112422546 A CN 112422546A CN 202011243442 A CN202011243442 A CN 202011243442A CN 112422546 A CN112422546 A CN 112422546A
Authority
CN
China
Prior art keywords
clustering
algorithm
network
data
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011243442.0A
Other languages
English (en)
Inventor
缪祥华
高妍妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202011243442.0A priority Critical patent/CN112422546A/zh
Publication of CN112422546A publication Critical patent/CN112422546A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于变邻域算法和模糊聚类的网络异常检测方法，属于网络安全技术领域。本发明首先对收集到的正常网络数据流、主机系统日志等进行模糊聚类，生成正常数据流的模型，在聚类过程中利用变邻域搜索帮助模糊聚类算法跳出局部最优解，由于收集到的原始数据噪声和冗余过大因此利用曼哈顿距离减少噪声数据对聚类结果的影响，提高了正常数据流模型的正确性；接着利用该模型对待检测的网络数据进行判别，对判定为了异常的流量进行警报。本发明将变邻域算法和模糊聚类混合应用于网络异常检测，有利于充分发挥各自算法的优势，进一步提高优化效率并提供更好的结果。

Description

一种基于变邻域算法和模糊聚类的网络异常检测方法
技术领域
本发明涉及一种基于变邻域算法和模糊聚类的网络异常检测方法，属于网络安全领域。
背景技术
在网络安全日趋严峻的情况下，研究开发能够及时、准确对网络异常进行检测并能做出响应的网络安全防范技术，成为一个有效的解决网络安全问题的途径。异常检测也称基于行为的检测。它是建立在任何一种入侵检测行为都由偏离正常或所期望的系统和用户的活动而被检测出来。描述正常或合法活动的模型是从过去通过各种渠道收集到的大量历史活动资料的分析中得出的。异常检测的安全性高，但是要保证它具有较高的正确性却很困难。
发明内容
本发明提供了一种基于变邻域算法和模糊聚类的网络异常检测方法，可以高效快速检测到网络中存在的异常行为。
本发明采用的技术方案是：一种基于变邻域算法和模糊聚类的网络异常检测方法，包括如下步骤：
第一步：收集网络历史正常数据流，对数据进行初始化；所述的初始化包括字符型变量数值化，不同范围数据归一化以及利用主成分分析法及进行降维操作；
第二步：利用优化后的聚类算法对第一步的数据集进行分析，获得网络正常行为聚类模型；
第三步：输入当前待检测的数据集，利用第二步获得的网络正常行为模型对输入的未知网络流量进行分类，判定待检测数据是否为正常数据的方法为：计算当前数据与聚类中心的距离，如果待检测数据与所有聚类中心的距离均大于当前正常流量的阈值，则输出聚类结果判定为异常流量，并进行相应的响应。
具体地，第二步获得网络正常行为聚类模型的具体步骤如下：
第2.1步：初始化参数：数据集D，迭代次数t，聚类中心数c；
第2.2步：用值0-1之间的随机数初始化隶属度矩阵U，使其满足公式(1)
Figure BDA0002769121910000011
其中uij为第i个类的第j个元素的隶属度；
第2.3步：利用公式(2)计算C个聚类中心Ci,i＝1,…,c
Figure BDA0002769121910000021
其中Ci为第i类的聚类中心；uij为0-1之前的隶属度；n为元素的个数；m为模糊指数，通常设为2；xj表示第j个数据；
第2.4步：利用公式(3)计算目标函数
Figure BDA0002769121910000022
Ji是i个聚类中心的目标函数值；第SADij为第i个聚类中心到第j个数据点的曼哈顿距离，且是一个加权指数；
第2.5步：判断是否陷入局部最优：局部最优表现为在算法前期聚类中心的目标函数值相差不大且波动很小，设定一组tε、tγ、εγ，其中tε、tγ表示当前迭代的次数，εγ是为判定是否陷入局部最优提前设定的阈值大小，如果在算法的前tε迭代中，聚类中心在tγ中每次平均波动值均小于εγ，则有理由相信此时陷入了局部最优；如果陷入局部最优则利用变邻域算法，改变邻域的大小，帮助聚类中心跳出局部最优，达到更好的聚类效果；
第2.6步：判断算法的终止条件，如果迭代次数达到最大或满足预先设定的误差阈值，则获取聚类结果，算法结束，否则继续执行步骤2.7；
第2.7步：按照公式(4)计算新的隶属度矩阵，返回第2.3步；
Figure BDA0002769121910000023
其中k表示第k个聚类中心。
本发明的有益效果在于：本发明利用改进后的模糊聚类算法可以高效快速检测到网络中存在的异常行为。
附图说明
图1是本发明整体流程图；
图2是本发明基于变邻域算法的模糊聚类算法流程图。
具体实施方式
本发明提供了一种基于变邻域算法和模糊聚类的网络异常检测方法，旨在利用变邻域算法强大的跳出局部最优的能力，提高模糊聚类算法对网络异常行为数据的聚类正确性。为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体事实例，并参照附图，对本发明进一步详细说明。
实施例1：一种基于变邻域算法和模糊聚类的网络异常检测方法，包括如下步骤：
第一步：选取KDD CUP99数据集进行实验，该数据集包含正常流量和攻击流量，选取其中的正常流量进行模型的训练。将选中的数据集进行初始化；所述的初始化包括字符型变量数值化，不同范围数据归一化以及利用主成分分析法及进行降维操作；
第二步：利用图1所述的改进过的模糊聚类算法进行网络正常行为聚类模型的训练，获得网络正常行为聚类模型；
第三步：输入当前待检测的数据集，利用第二步获得的网络正常行为模型对输入的未知网络流量进行分类，判定待检测数据是否为正常数据的方法为：计算当前数据与聚类中心的距离，如果待检测数据与所有聚类中心的距离均大于当前正常流量的阈值，则输出聚类结果判定为异常流量，并进行相应的响应。
进一步地，第二步获得网络正常行为聚类模型的具体步骤如下：
第2.1步：初始化参数：网络正常数据流D，迭代次数t，聚类中心数C；
第2.2步：用值0-1之间的随机数初始化每条正常数据流到聚类中心的隶属度矩阵U，使其满足公式(1)
Figure BDA0002769121910000031
其中uij为第j条网络正常数据流读对第i个类的隶属度。
第2.3步：利用公式(2)计算C个聚类中心Ci,i＝1,…,c
Figure BDA0002769121910000032
其中Ci为第i类的聚类中心；uij为0-1之间的隶属度；n为网络正常数据流的条数；m为模糊指数，通常设为2；xj表示第j条网络正常数据流。
第2.4步：利用公式(3)计算目标函数
Figure BDA0002769121910000033
Ji是i个聚类中心的目标函数值；SADij为第i个聚类中心到第j条网络正常数据流的曼哈顿距离，且是一个加权指数。
第2.5步：判断是否陷入局部最优。局部最优表现为在算法前期聚类中心的目标函数值相差不大且波动很小。因此本方法设定一组tε、tγ、εγ，其中tε、tγ表示当前迭代的次数，εγ是为判定是否陷入局部最优提前设定的阈值大小。如果在算法的前tε迭代中，聚类中心在tγ中每次平均波动值均小于εγ，则有理由相信此时陷入了局部最优。如果陷入局部最优则利用变邻域算法，改变邻域的大小，帮助聚类中心跳出局部最优，达到更好的聚类效果；
第2.6步：判断算法的终止条件，如果迭代次数达到最大或满足预先设定的误差阈值，则获取聚类结果，算法结束，否则继续执行步骤2.7。
第2.7步：按照公式(4)计算新的隶属度矩阵，返回第2.3步。
Figure BDA0002769121910000041
其中k表示第k个聚类中心。
本发明首先在计算网络正常数据流的模糊矩阵和目标函数时将非相似指标欧式距离更新为曼哈顿距离，用每条网络数据流到聚类中心的最小距离代替其到聚类中心的平均距离，有效减少噪声数据对网络正常行为聚类模型的影响，提高该模型的性能。当目标函数值在阈值规定的迭代范围内没有发生太大幅度的波动时，调用变邻域搜索算子，从当前聚类的网络流量出发扩大或缩小当前网络数据流的聚类范围，更新当前聚类中心的位置，逐步提高网络流量的聚类质量帮助模糊聚类算法跳出局部最优。该算法无需设置繁杂的参数，而且实现简单、算法独立性强，易于嵌入其它算法中改善求解精度与收敛速度。
本发明方法在异常检测的精度及时间效率方面，相比于传统的异常检测方法，不仅具有较好的检测速度，而且提高了检测的准确性。
以上所述仅为本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于变邻域算法和模糊聚类的网络异常检测方法，其特征在于：包括如下步骤：
第一步：收集网络历史正常数据流，对数据进行初始化；所述的初始化包括字符型变量数值化，不同范围数据归一化以及利用主成分分析法及进行降维操作；
第二步：利用优化后的聚类算法对第一步的数据集进行分析，获得网络正常行为聚类模型；
第三步：输入当前待检测的数据集，利用第二步获得的网络正常行为模型对输入的未知网络流量进行分类，判定待检测数据是否为正常数据的方法为：计算当前数据与聚类中心的距离，如果待检测数据与所有聚类中心的距离均大于当前正常流量的阈值，则输出聚类结果判定为异常流量，并进行相应的响应。
2.根据权利要求1所述的一种基于变邻域算法和模糊聚类的网络异常检测方法，其特征在于：第二步获得网络正常行为聚类模型的具体步骤如下：
第2.1步：初始化参数：数据集D，迭代次数t，聚类中心数c；
第2.2步：用值0-1之间的随机数初始化隶属度矩阵U，使其满足公式(1)
Figure FDA0002769121900000011
其中uij为第i个类的第j个元素的隶属度；
第2.3步：利用公式(2)计算C个聚类中心Ci,i＝1,…,c
Figure FDA0002769121900000012
其中Ci为第i类的聚类中心；uij为0-1之前的隶属度；n为元素的个数；m为模糊指数，通常设为2；xj表示第j个数据；
第2.4步：利用公式(3)计算目标函数
Figure FDA0002769121900000013
Ji是i个聚类中心的目标函数值；第SADij为第i个聚类中心到第j个数据点的曼哈顿距离，且是一个加权指数；
第2.5步：判断是否陷入局部最优：局部最优表现为在算法前期聚类中心的目标函数值相差不大且波动很小，设定一组tε、tγ、εγ，其中tε、tγ表示当前迭代的次数，εγ是为判定是否陷入局部最优提前设定的阈值大小，如果在算法的前tε迭代中，聚类中心在tγ中每次平均波动值均小于εγ，则有理由相信此时陷入了局部最优；如果陷入局部最优则利用变邻域算法，改变邻域的大小，帮助聚类中心跳出局部最优，达到更好的聚类效果；
第2.6步：判断算法的终止条件，如果迭代次数达到最大或满足预先设定的误差阈值，则获取聚类结果，算法结束，否则继续执行步骤2.7；
第2.7步：按照公式(4)计算新的隶属度矩阵，返回第2.3步；
Figure FDA0002769121900000021
其中k表示第k个聚类中心。
CN202011243442.0A 2020-11-10 2020-11-10 一种基于变邻域算法和模糊聚类的网络异常检测方法 Pending CN112422546A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011243442.0A CN112422546A (zh) 2020-11-10 2020-11-10 一种基于变邻域算法和模糊聚类的网络异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011243442.0A CN112422546A (zh) 2020-11-10 2020-11-10 一种基于变邻域算法和模糊聚类的网络异常检测方法

Publications (1)

Publication Number Publication Date
CN112422546A true CN112422546A (zh) 2021-02-26

Family

ID=74780988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011243442.0A Pending CN112422546A (zh) 2020-11-10 2020-11-10 一种基于变邻域算法和模糊聚类的网络异常检测方法

Country Status (1)

Country Link
CN (1) CN112422546A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095268A (zh) * 2021-11-26 2022-02-25 河北师范大学 用于网络入侵检测的方法、终端及存储介质
CN114674352A (zh) * 2022-03-31 2022-06-28 天津大学 基于瑞利散射光谱非相似性的分布式扰动传感和解调方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024179A (zh) * 2010-12-07 2011-04-20 南京邮电大学 一种基于半监督学习的ga-som聚类方法
CN105553998A (zh) * 2015-12-23 2016-05-04 中国电子科技集团公司第三十研究所 一种网络攻击异常检测方法
CN106101102A (zh) * 2016-06-15 2016-11-09 华东师范大学 一种基于pam聚类算法的网络异常流量检测方法
CN108710914A (zh) * 2018-05-22 2018-10-26 常州工学院 一种基于广义模糊聚类算法的无监督数据分类方法
CN110309887A (zh) * 2019-07-09 2019-10-08 哈尔滨理工大学 基于改进花朵授粉的模糊c-均值聚类异常检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024179A (zh) * 2010-12-07 2011-04-20 南京邮电大学 一种基于半监督学习的ga-som聚类方法
CN105553998A (zh) * 2015-12-23 2016-05-04 中国电子科技集团公司第三十研究所 一种网络攻击异常检测方法
CN106101102A (zh) * 2016-06-15 2016-11-09 华东师范大学 一种基于pam聚类算法的网络异常流量检测方法
CN108710914A (zh) * 2018-05-22 2018-10-26 常州工学院 一种基于广义模糊聚类算法的无监督数据分类方法
CN110309887A (zh) * 2019-07-09 2019-10-08 哈尔滨理工大学 基于改进花朵授粉的模糊c-均值聚类异常检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李雪琴: ""基于模糊C均值的异常流量检测模型"", 《赣南师范学院学报》 *
金萍: ""基于变邻域搜索的启发式聚类算法"", 《皖西学院学报》 *
陆虎: ""基于模糊聚类的入侵检测方法研究"", 《中国优秀硕士学位论文信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095268A (zh) * 2021-11-26 2022-02-25 河北师范大学 用于网络入侵检测的方法、终端及存储介质
CN114674352A (zh) * 2022-03-31 2022-06-28 天津大学 基于瑞利散射光谱非相似性的分布式扰动传感和解调方法
CN114674352B (zh) * 2022-03-31 2023-09-15 天津大学 基于瑞利散射光谱非相似性的分布式扰动传感和解调方法

Similar Documents

Publication Publication Date Title
CN111314353B (zh) 一种基于混合采样的网络入侵检测方法及系统
CN107493277B (zh) 基于最大信息系数的大数据平台在线异常检测方法
CN109218223B (zh) 一种基于主动学习的鲁棒性网络流量分类方法及系统
CN111209563A (zh) 一种网络入侵检测方法及系统
CN111598179B (zh) 电力监控系统用户异常行为分析方法、存储介质和设备
CN109902740B (zh) 一种基于多算法融合并行的再学习工业控制入侵检测方法
CN109145516B (zh) 一种基于改进型极限学习机的模拟电路故障识别方法
CN107579846B (zh) 一种云计算故障数据检测方法及系统
CN111556016B (zh) 一种基于自动编码器的网络流量异常行为识别方法
Purohit et al. Deep autoencoding GMM-based unsupervised anomaly detection in acoustic signals and its hyper-parameter optimization
CN112422546A (zh) 一种基于变邻域算法和模糊聚类的网络异常检测方法
CN113949549B (zh) 一种面向入侵和攻击防御的实时流量异常检测方法
CN112714130A (zh) 一种基于大数据自适应网络安全态势感知方法
CN110493221A (zh) 一种基于聚簇轮廓的网络异常检测方法
CN108683658B (zh) 基于多rbm网络构建基准模型的工控网络流量异常识别方法
CN116668083A (zh) 一种网络流量异常检测方法及系统
CN109902754A (zh) 一种高效的半监督多层次入侵检测方法及系统
CN113609480B (zh) 基于大规模网络流的多路学习入侵检测方法
CN116738415A (zh) 基于粒子群优化加权朴素贝叶斯入侵检测方法及装置
CN111726351A (zh) 基于Bagging改进的GRU并行网络流量异常检测方法
CN113765921B (zh) 一种面向工业物联网的异常流量分级检测方法
CN111737688B (zh) 基于用户画像的攻击防御系统
CN113254485A (zh) 实时数据流异常检测方法及系统
CN117155701A (zh) 一种网络流量入侵检测方法
CN112583847A (zh) 一种面向中小企业网络安全事件复杂分析的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210226

RJ01 Rejection of invention patent application after publication