CN114861776B - 一种基于人工免疫技术的动态自适应网络异常检测方法 - Google Patents

一种基于人工免疫技术的动态自适应网络异常检测方法 Download PDF

Info

Publication number
CN114861776B
CN114861776B CN202210423494.9A CN202210423494A CN114861776B CN 114861776 B CN114861776 B CN 114861776B CN 202210423494 A CN202210423494 A CN 202210423494A CN 114861776 B CN114861776 B CN 114861776B
Authority
CN
China
Prior art keywords
detector
boundary
mature
boundary detector
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210423494.9A
Other languages
English (en)
Other versions
CN114861776A (zh
Inventor
王丽娜
杨葛英
余荣威
王清浩
刘晓稳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210423494.9A priority Critical patent/CN114861776B/zh
Publication of CN114861776A publication Critical patent/CN114861776A/zh
Application granted granted Critical
Publication of CN114861776B publication Critical patent/CN114861776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种基于人工免疫技术的动态自适应网络异常检测方法，包括：(1)基于启发式降维算法筛选最优特征子集。(2)为减少由于边界多样性造成的检测率降低问题，基于混合分层划分的NSA算法，将特征空间按照样本分布密度进行划分网格，在边界网格生成特定的候选检测器。(3)在非边界区域，对自样本采用聚类策略，以此提高检测器耐受阶段效率。(4)将实值NSA算法和优化的GWO相结合，自适应调整检测器的生成策略，提高网络异常检测效率。本发明能够针对异常数据与检测器的特点，基于混合划分网格策略与GWO算法对异常检测策略进行动态自适应调整，实现高效的网络异常检测。

Description

一种基于人工免疫技术的动态自适应网络异常检测方法
技术领域
本发明涉及网络安全领域，尤其涉及一种基于人工免疫技术的动态自适应网络异常检测方法。
背景技术
目前，全球性的网络安全威胁已步入未知威胁的时代。Kasper sky Labs最新统计表明，2019年全球共发现9.75亿次网络攻击，平均每天约产生79.5万种新型攻击。在全球所遭受的网络攻击中，未知网络威胁的比例急剧上升，已成为影响网络安全的重要因素，涉及到国家政治、经济、军事等多个领域，成为当前国家级网络安全对抗中亟待解决的关键技术难题。目前，传统网络安全技术在目的和功能上都比较单一，只能打击已知的攻击，对新的、未知的攻击束手无策。一方面，这些技术大多在架构上依附于系统进行被动防御，不能从根本上解决问题，安全性和可靠性也很难得到保证。另一方面，网络攻击手段越来越呈现出智能化、系统化、集成化的趋势。新的攻击方式不断涌现，导致目前的安全系统规则不断扩大，误报率不断提高。现有的传统防御手段无法有效地应对故意利用内生安全中的常见问题而造成的实时或非实时问题。计算机的安全问题与生物免疫系统遇到的问题惊人地相似，都能在不断变化的环境中保持系统稳定。人工免疫系统是通过模拟人体免疫机制，能够支持未知攻击检测、态势感知等网络安全解决方案。由此可见人工免疫技术已成为网络安全领域的研究热点和进一步发展的重要方向。
在人工免疫理论的诸多算法中，网络异常检测方面广泛使用的是否定选择算法。Forrest在1994年提出的否定选择选择，它是人工免疫系统里面一种重要的检测器生成算法，通过模拟胸腺中T细胞的成熟过程，该算法生成一个成熟检测器，消除免疫自我反应。NSA算法极大推动了人工免疫理论的研究，已广泛应用于网络异常检测、数据挖掘、多目标优化等领域。
此外，大量的攻击类型和网络流量属性为网络异常检测提出了另一个挑战，因为他们扩大了问题的搜索空间，导致计算量和时间复杂度较高。值得注意的是，特征选择已经被证明是入侵检测的一个很好解决的方案。它可以检测出高度相关的特征，并在性能略微下降的情况下消除无用的特征，从而降低检测的错误率。目前最流行的特征选择策略侧重于选择最佳拟合的功能，这依赖于数据集测量，缺乏分类器的性能。为了降低计算复杂度，相关研究在数据的降维方面进行改进。由于降维技术固有的局限性和检测器生成过程的随机性，对数据集模式和情况造成了极大的限制，导致平均检测性能依然较低。
发明内容
针对新型网络攻击手段不断涌现下，传统网络安全防御技术缺乏自适应性以及自调节而导致的检测性能不佳的问题，通过将基于人工免疫的思想应用于网络异常检测中，可以有效支持未知攻击检测、实现最优响应，加固网络安全防御体系。本发明提供了一种基于人工免疫技术的动态自适应网络异常检测方法。
本发明采用的技术方案为：
提供一种基于人工免疫技术的动态自适应网络异常检测方法，包括：
S1：基于相关性的无监督密度聚类方法对数据集的特征进行选择，得到最优特征子集，其中，最优特征子集中包括用以对自体和非自体进行分类的特征；
S2：基于步骤S1得到的最优特征子集构建样本空间，采用混合划分的策略将样本空间根据样本密度进行网格化，然后在子网格的边界产生特定的候选边界检测器，候选边界检测器通过自体耐受生成成熟边界检测器，其中，样本空间包括自体和非自体，自体表示网络的正常活动，非自体表示非法或网络攻击；
S3：在子网格的非边界产生非边界候选检测器，采用GWO算法对产生的非边界候选检测器进行优化，生成成熟非边界候选检测器，GWO算法为灰狼优化算法；
S4：根据成熟边界检测器与它的邻域检测器之间的距离、子网格中样本的密度，选择孔洞修复策略，对成熟边界检测器进行优化，生成目标边界检测器；根据成熟非边界检测器与它的邻域检测器之间的距离、子网格中样本的密度，选择孔洞修复策略，对成熟非边界检测器进行优化，生成目标非边界检测器；
S5：基于生成的目标边界检测器和目标非边界检测器对网络的非自体进行检测，从而实现网络异常检测。
在一种实施方式中，步骤S1包括：
采用基于相关性的无监督密度聚类的特征选择方法，针对数据集的特征进行聚类运算；
针对聚类结果，计算类内最大互信息系数以及类间对称不确定性；
基于类内最大互信息系数以及类间对称不确定性采用综合评分的方式对特征进行排序，根据排序结果选出最大相关性、最小冗余度的最优特征子集。
在一种实施方式中，步骤S2中候选边界检测器的生成包括：
基于得到的最优特征子集构建样本空间；
计算自体在构建的样本空间中的位置；
对包含自体的空间采用混合划分的策略，根据样本密度和阈值进行网格化，划分得到子网格。
在一种实施方式中，步骤S2中候选边界检测器通过自体耐受生成成熟边界检测器，包括：
计算候选边界检测器与自体之间的距离，如果计算的距离大于或等于候选边界检测器的半径则表示耐受成功，则将该候选边界检测器作为成熟边界检测器。
在一种实施方式中，步骤S3包括：
对自样本进行聚类，确定聚类对象到聚类中心的距离计算出聚类半径；
根据聚类半径以及聚类中心到候选非边界检测器的距离，对候选非边界检测器集中的检测器进行筛选与调整得到非边界检测器集；
采用GWO算法中的搜索策略，设置最小重叠率与最大覆盖率为适应度函数，自适应调整非边界检测器集中检测器的半径与位置，得到成熟非边界候选检测器。
在一种实施方式中，步骤S4中根据成熟边界检测器与它的邻域检测器之间的距离、子网格中样本的密度，选择孔洞修复策略，对成熟边界检测器进行优化，生成目标边界检测器，包括：
如果成熟边界检测器与它的邻域检测器之间的孔洞中非自样本密度大于阈值a，且成熟边界检测器与它的邻域检测器之间的距离大于所有成熟边界检测器检测器中的最小半径，则将成熟边界检测器与它的邻域检测器进行合并；
如果非自样本密度小于阈值a，且成熟边界检测器与它的邻域检测器之间的距离大于所有成熟边界检测器中的最大半径，则生成新的成熟边界检测器填充未覆盖区域；
如果非自样本密度小于阈值a，且成熟边界检测器与它的邻域检测器之间的距离小于所有成熟边界检测器的最小半径，则增加成熟边界检测器的半径。
在一种实施方式中，步骤S4中根据成熟非边界检测器与它的邻域检测器之间的距离、子网格中样本的密度，选择孔洞修复策略，对成熟非边界检测器进行优化，生成目标非边界检测器，包括：
如果成熟非边界检测器与它的邻域检测器之间的孔洞中非自样本密度大于阈值a，且成熟非边界检测器与它的邻域检测器之间的距离大于所有成熟非边界检测器中的最小半径，则将该成熟非边界检测器与它的邻域检测器进行合并；
如果非自样本密度小于阈值a，且成熟非边界检测器与它的邻域检测器之间的距离大于所有成熟非边界检测器中的最大半径，则生成新的成熟非边界检测器填充未覆盖区域；
如果非自样本密度小于阈值a，且成熟边界检测器与它的邻域检测器之间的距离小于所有成熟非边界检测器中的最小半径，则增加成熟非边界检测器的半径。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明提供的一种基于人工免疫技术的动态自适应网络异常检测方法，首先是基于相关性计算的特征选择，然后是基于混合划分的特定边界检测器生成、基于GWO优化的非边界检测器自适应生成，接着是基于样本密度与距离的孔洞修复，最后是基于得到的目标检测器的网络异常的检测。本发明利用计算机的安全问题与生物免疫系统之间的相似性，通过基于GWO优化的人工免疫方法与基于相似性的特征选择方法实现动态自适应的网络异常检测方法。从而提高了检测率，降低了误报率，提高了检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于人工免疫技术的网络异常检测简要流程示意图；
图2是本发明实施例提供的一种基于人工免疫技术的动态自适应网络异常检测整体流程示意图；
图3是本发明实施例提供的基于相关性计算的特征选择流程图；
图4是本发明实施例提供的基于混合划分策略的网格划分流程示意图；
图5是本发明实施例提供的基于GWO优化的检测器动态自适应生成示意图；
图6是本发明实施例提供的动态自调节的孔洞修复方法示意图；
图7是本发明实施例提供的基于混合划分策略的网格划分结果示意图。
具体实施方式
为解决新型网络攻击手段不断涌现下，传统网络安全防御技术缺乏自适应性以及自调节问题，通过将基于人工免疫的思想应用于网络异常检测中，可以有效支持未知攻击检测、实现最优响应，加固网络安全防御体系。本发明提出了一种基于人工免疫技术的动态自适应网络异常检测方法。该方法包括：(1)基于启发式降维算法筛选最优特征子集，通过基于密度与加权距离的无监督聚类方法计算特征之间的相似性，然后利用类内距离最小，类间距离最大的原则，基于对称不确定性与最大互信息，求出最小冗余与最大相关性的特征子集。(2)为减少由于边界多样性造成的检测率降低问题，基于混合分层划分的NSA算法(负选择算法negative selection algorithm)，将特征空间按照样本分布密度进行划分网格，在边界网格生成特定的候选检测器。(3)在非边界区域，对自样本采用聚类策略，以此实现检测器耐受时仅与聚类中心对比，大大减少了对比的时间，提高检测器耐受阶段效率。(4)将实值NSA算法和优化的GWO相结合，自适应调整检测器的生成策略，提高网络异常检测效率。本发明能够针对异常数据与检测器的特点，基于混合划分网格策略与GWO算法对异常检测策略进行动态自适应调整，实现高效的网络异常检测。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种基于人工免疫技术的动态自适应网络异常检测方法，包括：
S1：基于相关性的无监督密度聚类方法对数据集的特征进行选择，得到最优特征子集，其中，最优特征子集中包括用以对自体和非自体进行分类的特征；
S2：基于步骤S1得到的最优特征子集构建样本空间，采用混合划分的策略将样本空间根据样本密度进行网格化，然后在子网格的边界产生特定的候选边界检测器，候选边界检测器通过自体耐受生成成熟边界检测器，其中，样本空间包括自体和非自体，自体表示网络的正常活动，非自体表示非法或网络攻击；
S3：在子网格的非边界产生非边界候选检测器，采用GWO算法对产生的非边界候选检测器进行优化，生成成熟非边界候选检测器，GWO算法为灰狼优化算法；
S4：根据成熟边界检测器与它的邻域检测器之间的距离、子网格中样本的密度，选择孔洞修复策略，对成熟边界检测器进行优化，生成目标边界检测器；根据成熟非边界检测器与它的邻域检测器之间的距离、子网格中样本的密度，选择孔洞修复策略，对成熟非边界检测器进行优化，生成目标非边界检测器；
S5：基于生成的目标边界检测器和目标非边界检测器对网络的非自体进行检测，从而实现网络异常检测。
请参见图1，是本发明实施例提供的一种基于人工免疫技术的网络异常检测简要流程示意图。
整体来说，步骤S1是基于相关性计算的特征选择，步骤S2是基于混合划分的特定边界检测器生成，步骤S3是基于GWO优化的非边界检测器自适应生成。步骤S4是基于样本密度与距离的孔洞修复，步骤S5是网络异常检测的高效实现。
具体实施过程中，步骤S2采用步骤S1选出的最优特征子集构建样本空间，并对该样本空间采用混合划分的策略。确定自体所在样本空间的具体子空间位置，结合密度和设定的阈值来产生特定的边界候选检测器，候选边界检测器再通过自体耐受生成成熟边界检测器。
步骤S3采用基于GWO优化的检测器生成方法，在样本空间内生成重叠率低、检测率高的候选检测器。在非边界检测器生成阶段，对自样本进行聚类，确定聚类对象到簇中心的距离求出聚类半径，根据聚类半径和聚类中心到候选非边界检测器的距离，对候选非边界检测器集中的检测器进行筛选、调整得到成熟非边界检测器集。然后融合GWO算法中的搜索策略，设置最小重叠率与最大覆盖率为适应度函数，在非边界检测器生成过程中自适应调整检测器的半径与位置。
步骤S4根据步骤S3生成的检测器、结合子网格中样本密度，并计算检测器(边界或非边界)与邻域检测器之间的距离识别非自体空间中的孔洞，通过给出对应的孔洞修复策略，动态选择合适的修复方法对样本空间的孔洞修复，生成新检测器、合并邻域检测器或增加检测器半径。
步骤S5根据检测器位置与半径的自适应调整与孔洞修复实现动态自适应的网络异常检测。
需要说明的是，网络的正常活动称为自体，所有字体构成的集合为字体集合，非法或网络攻击成为非自体，自体所表示的样本点可以视为自样本。
步骤S2中的边界检测器是离自体相近的检测器，步骤S3中的非边界检测器与自体不相近的检测器。步骤S4是对前两步(步骤S2和步骤S3)生成的所有检测器进行优化。
请参见图2，是本发明实施例提供的一种基于人工免疫技术的动态自适应网络异常检测整体流程示意图；
在一种实施方式中，步骤S1包括：
采用基于相关性的无监督密度聚类的特征选择方法，针对数据集的特征进行聚类运算；
针对聚类结果，计算类内最大互信息系数以及类间对称不确定性；
基于类内最大互信息系数以及类间对称不确定性采用综合评分的方式对特征进行排序，根据排序结果选出最大相关性、最小冗余度的最优特征子集。
请参见图3，是本发明实施例提供的基于相关性计算的特征选择流程图。
具体来说，首先，在基于K近邻的无监督密度聚类方法基础上，增加加权距离，二者协同计算出具有最高中心影响力的聚类中心，实现聚类；然后，计算特征的类内最大互信息MIC与类间对称不确定性SU；最后，根据特征贡献度评分，筛选出最大相关性与最小冗余性特征子集。
在一种实施方式中，步骤S2中候选边界检测器的生成包括：
基于得到的最优特征子集构建样本空间；
计算自体在构建的样本空间中的位置；
对包含自体的空间采用混合划分的策略，根据样本密度和阈值进行网格化，划分得到子网格。
具体来说，通过网格划分策略，将样本空间根据样本密度网格化。然后在边界产生特定的候选检测器，可以有效解决由于样本边界多样性导致的边界检测器低下的技术问题。具体实现方式如图4所示，包括如下流程：
首先，将子网格设为(r,t)的每个维度范围内，如果亚网格中存在自身抗原，则在每个维度的亚网格创建一个新的d维超平面，以此得到了二维子网格。当亚网格中没有自身抗原时，亚网格的划分就停止。根据沿特征空间现有亚网格中自抗原的密度计算分层数，利用自样本大小和k维取值范围内的自样本数计算现有子网格中自抗原的比例。当该超平面的样本密度经过n次划分，仍然大于阈值K，更改分割方式。在该超平面沿着第i维进行连续的维度分割，除以n-1维的超平面。所有n-1维超平面由n维网格单元组成，每个单元都有一个指针指向位于该单元的自身抗原阵列。第i个超平面里的每个维度的划分数是根据自身抗原在维度上的密度计算的。第k维值为[m,h]的自样本的比例P由特征空间的亚网格总数除以第n层有自抗原的亚网格的大小决定的，如果P大于阈值n，则生成一个新的超平面，对k维进行除法。有时，沿着一个或者多个维度的大多数样本收敛到一个小的值范围，甚至收敛到一个值。因此，为了避免沿着这些维度进行过度分割，本发明添加了一个附加条件，即如果h-l小于λ，或该网格内密度小于阈值b，则范围不应该进一步分割。
而且，当一个网格为空且其相邻网格中至少有一个非空时，这就是边界网格。边界网格相邻网格中的非空网格是边界样本，它是自空间的最外层样本。边界网格的位置信息也决定了由边界网格生成的检测器的位置信息，检测器的中心点为边界网格的中心点。
请参见图7，是本发明实施例提供的基于混合划分策略的网格划分结果示意图。
需要说明的是，子网格是在步骤S2的边界检测器生成之前，对样本空间采用的混合划分策略生成的。非自体空间指的就是非法或者网络攻击等样本所在的空间。亚网格与子网格的含义相同，子网格将整个样本空间进行了网格化划分，如果一个自身抗原(也就是正常的网络活动)落入这个网格，根据这个子网格中的样本密度可以进行再次划分。
生成的检测器(边界和费边界)是为了实现异常检测，生成检测器时产生的孔洞进行修复是为了提高异常检测的准确率。
在一种实施方式中，步骤S2中候选边界检测器通过自体耐受生成成熟边界检测器，包括：
计算候选边界检测器与自体之间的距离，如果计算的距离大于或等于候选边界检测器的半径则表示耐受成功，则将该候选边界检测器作为成熟边界检测器。
在一种实施方式中，步骤S3包括：
对自样本进行聚类，确定聚类对象到聚类中心的距离计算出聚类半径；
根据聚类半径以及聚类中心到候选非边界检测器的距离，对候选非边界检测器集中的检测器进行筛选与调整得到非边界检测器集；
采用GWO算法中的搜索策略，设置最小重叠率与最大覆盖率为适应度函数，自适应调整非边界检测器集中检测器的半径与位置，得到成熟非边界候选检测器。
请参见图5，是本发明实施例提供的基于GWO优化的检测器动态自适应生成示意图。
具体来说，本实施方式通过确定密度峰值点，自适应选择聚类的局部邻域半径，可以简化参数的选择过程。其中，密度峰值点具有两个典型特征：一是具有更高的局部密度；二是同一簇中非密度峰值点与其它簇间对象的距离更大。计算每个数据点的两个特征即可发现密度峰值点。聚类中心的选取以数据点的邻域最小点数和局部密度为标准进行选取，直到不存在可用的聚类中心为止。聚类半径为检测器耐受阶段求出检测器半径的重要参数，本发明实施例中根据聚类对象到中心的距离求出聚类半径，其中，耐受阶段是指检测器生成后计算检测器与自体距离，如果小于半径则抛弃这个检测器，耐受不成功。
在本实施方式提出的基于GWO优化的检测器生成方法中，需要一个特定的策略来最大化成功的机会。因此，本发明对狩猎机制进行优化，将其分为两个阶段：全局搜索为第一阶段，局部搜索为第二阶段。在该模型中，本实施例将搜索最优检测器位置的过程作为全局搜索，最优检测器半径的过程作为局部搜索。在全局搜索阶段，搜索群体中的个体交换关于域的信息(在可能的搜索条件下交换信息)，而在局部搜索阶段，每个个体都依赖于自己的搜索能力。因此，可以快速比较域内的不同位置和远程位置。同时，受差分进化算法的启发，充分利用灰狼个体之间的差异信息，设计了一种新的基于权重的位置变异策略，借鉴b狼和c狼之间的差异性提高了种群搜索的多样性；同时利用最优个体a狼与当前灰狼个体之间的差异性信息，增强了算法跳出局部最优解的能力。本发明实施例采用检测器的最大覆盖率与最小重叠率的和作为每个检测器生成过程中的适应度函数，以寻求正常数据，从而有效地训练本发明提出的网络异常检测模型。其中每个检测器的半径都应该尽可能地覆盖整个网格空间，以保证覆盖率的最大化。
在一种实施方式中，步骤S4中根据成熟边界检测器与它的邻域检测器之间的距离、子网格中样本的密度，选择孔洞修复策略，对成熟边界检测器进行优化，生成目标边界检测器，包括：
如果成熟边界检测器与它的邻域检测器之间的孔洞中非自样本密度大于阈值a，且成熟边界检测器与它的邻域检测器之间的距离大于所有成熟边界检测器检测器中的最小半径，则将成熟边界检测器与它的邻域检测器进行合并；
如果非自样本密度小于阈值a，且成熟边界检测器与它的邻域检测器之间的距离大于所有成熟边界检测器中的最大半径，则生成新的成熟边界检测器填充未覆盖区域；
如果非自样本密度小于阈值a，且成熟边界检测器与它的邻域检测器之间的距离小于所有成熟边界检测器的最小半径，则增加成熟边界检测器的半径。
具体实施过程中，对于存在的孔洞，本实施例首先通过计算当前检测器与邻域检测器之间的距离识别非自身空间中未发现的孔洞，当前检测器指的是当前网格覆盖的检测器，邻域检测器指的是与当前网格相邻的网格所覆盖的检测器，可以有多个，本实施方式中的检测器为边界检测器。
(1)如果邻域检测器之间(当前成熟边界检测器与它的邻域检测器之间)的孔洞中非自样本密度Dens(i,j)大于阈值a，且检测器之间距离dist(i,j)大于检测器最小半径rmin，直接合并邻域检测器。Mnew为新的检测器中心，Rnew为新检测器的半径，mi,mj为检测器i，j的中心。Mnew在检测器i,j中心点的连线上。(mi+mj)表示通过mi,mj的坐标求解两检测器中心连线上的点的坐标值。ri,rj为检测器i,j的半径。dist(i,j)为检测器中心mi,mj之间的欧氏距离。max(mi,mj)表示取半径最大的检测器中心作为新的检测器的中心。
if Dens(i,j)>a andrmax>dist(i,j)>rmin
(2)如果非自样本密度小于阈值a，且检测器之间距离大于检测器最大半径rmax，生成新的检测器填充未覆盖区域。
if Dens(i,j)>aanddist(i,j)>rmax
(3)如果非自样本密度小于阈值a，且检测器之间的半径小于检测器最小半径rmin，增加检测器半径。
if Dens(i,j)>a and dist(i,j)<rmin
Mnew＝max(mi,mj)
请参见图6，是本发明实施例提供的动态自调节的孔洞修复方法示意图，c1,c2代表簇中心，r1，r2代表自样本的半径，d1,d2代表新生成检测器到c1,c2的欧氏距离，D1,D2,D3代表检测器，α,β,δ代表的是模拟狼群位置的检测器分布。Dnew代表新产生检测器，Cnew为新产生检测器中心点，Rnew代表新检测器半径。
在一种实施方式中，步骤S4中根据成熟非边界检测器与它的邻域检测器之间的距离、子网格中样本的密度，选择孔洞修复策略，对成熟非边界检测器进行优化，生成目标非边界检测器，包括：
如果成熟非边界检测器与它的邻域检测器之间的孔洞中非自样本密度大于阈值a，且成熟非边界检测器与它的邻域检测器之间的距离大于所有成熟非边界检测器中的最小半径，则将该成熟非边界检测器与它的邻域检测器进行合并；
如果非自样本密度小于阈值a，且成熟非边界检测器与它的邻域检测器之间的距离大于所有成熟非边界检测器中的最大半径，则生成新的成熟非边界检测器填充未覆盖区域；
如果非自样本密度小于阈值a，且成熟边界检测器与它的邻域检测器之间的距离小于所有成熟非边界检测器中的最小半径，则增加成熟非边界检测器的半径。
由于非边界检测器的优化过程与边界检测器的优化过程类似，故在此不再赘述。
总体来说，本发明利用计算机的安全问题与生物免疫系统之间的相似性，通过基于GWO优化的人工免疫方法与基于相似性的特征选择方法实现动态自适应的网络异常检测方法。从而提高了检测率，降低了误报率，提高了检测精度。
下面对本发明实施例提供的一种基于人工免疫技术的动态自适应网络异常检测方法的有效性进行如下测试实验：
实验环境：
软件平台：Windows10、Python3.8.1
本实施例方式通过实验验证了MDGWO-NSA的性能。首先，比较了本发明提供的特征选择方法与同一分类器下的其他方法的先进性。然后，比较了经典的深度学习和机器学习算法在NSL-KDD、UNSW-NB15、CICIDS-2017数据集上的网络异常检测的整体性能。最后，在UCI数据集上验证了改进的NSA算法的有效性。
首先，为了验证本发明提出的基于相关性的无监督密度聚类特征选择方法的效率，将其与代表性的特征选择方法进行比较，并通过本发明中提出的方法对特征进行排序。为了验证本发明提出的方法在网络异常检测中的整体性能，在同一数据集上比较了不同的分类器和MDGWO-NSA，这些数据集包括NSL-KDD、CIC-IDS-2017和UNSW-NB15。更重要的是，为了验证本发明中改进的NSA算法的有效性，MDGWO-NSA与传统的改进NSA算法在UCI数据集上进行了比较。验证过程是使用每个基准数据集的训练集和测试集。通过逐渐改变大小以探索算法的可扩展性。
为了比较本发明中选择的特征子集与其他已知算法的相关性，本发明应用了信息增益IG、相关属性评价算法CAE，以及基于变异系数的特征选择方法CVFS。表1总结了本发明的模型(即步骤S4得到的目标边界检测器、目标非边界检测器)与其他特征选择方法相比的平均性能。
表1
本发明中提供的新特征选择方法DP-SUMIC在NSL-KDD数据集上的训练时间最短，分类精度最高。虽然在CIC-IDS-2017数据集上的训练时间比ANOVA-F略长，但由于数据集的大小和算法的随机性，这种小的时间损失是可以接受的。训练时间结果表明，本发明提供的DP-SUMIC机制可以有效地减少训练时间，特别是对于大数据集。就分类精度而言，本发明提出的机制在这三个数据集上取得了最好的精度。重要的是，本发明选择的特征具有低冗余度和高相关性，这可以显著改善网络异常检测。
其次，为了验证本发明中所提供的方法在网络异常检测中的效率，MDGWO-NSA的性能是通过在同一数据集上与八种基线算法进行比较而评估的。NaiveBayes(NB)、K-NearestNeighbor(KNN)、SupportVectorMachine(SVM)、DecisionTree(DT)、RandomForest(RF)、DeepNeuralNetwork(DNN)、ConvolutionalNeuralNetworks(CNN)和LongShort-TermMemory(LSTM)。这些算法被广泛用于网络异常检测的研究中。如表2所示，与其他算法相比，MDGWO-NSA算法表现出更好的性能。事实上，在NSL-KDD、CIC-IDS-2017和UNSW-NB15数据集的测试下，它们的平均召回率为。99.23％，98.46％，95.73％。实验结果表明，MDGWO-NSA在检测大多数攻击方面是有效的。与传统的基于负选择算法的网络异常检测方法相比，通过本文的优化，检测率得到进一步提高。虽然训练数据中没有新的正常行为(实例)，但召回率略有增加。
表2
/>
再次，在UCI数据集上比较了五种改进的负选择算法，其中包括RNSA、V-detector、BIORV-NSA、GF-NSA和HD-NSA。比较实验的参数见表\ref{tab6}。为了避免随机选择训练样本的影响，每个实验都是独立训练20次。实验结果见表3、4、5。
表3
表4
表5
如上述表所示，当在同一数据集中使用不同的标签和训练自我抗原的数量进行实验时，MDGWO-NSA具有很大的优势。在某些情况下，从检测率来看，MDGWO-NSA比RNSA、V-Detector、GF-RNSA、BIORV-NSA和HD-NSA分别高16.2％、6.0％、4.8％、5.4％和1.9％，因为在检测器生成阶段使用了检测器自适应优化策略。同时，在检测器生成效率方面，MDGWO-NSA比RNSA、V-Detector、GF-RNSA、BIORV-NSA和HD-NSA分别低99.7％、97.7％、48.5％、98.5％和25.1％。在误报率方面，MDGWO-NSA算法是所有算法中最低的。HD-NSA算法的检测器数量最少，但它忽略了边界检测器的特殊性。就训练时间而言，BIROV-NSA算法的训练时间最长，因为在算法终止之前，它需要很长的时间来生成预设的1000个检测器。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述是实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于人工免疫技术的动态自适应网络异常检测方法，其特征在于，包括：
S1：基于相关性的无监督密度聚类方法对数据集的特征进行选择，得到最优特征子集，其中，最优特征子集中包括用以对自体和非自体进行分类的特征；
S2：基于步骤S1得到的最优特征子集构建样本空间，采用混合划分的策略将样本空间根据样本密度进行网格化，然后在子网格的边界产生特定的候选边界检测器，候选边界检测器通过自体耐受生成成熟边界检测器，其中，样本空间包括自体和非自体，自体表示网络的正常活动，非自体表示非法或网络攻击；
S3：在子网格的非边界产生非边界候选检测器，采用GWO算法对产生的非边界候选检测器进行优化，生成成熟非边界候选检测器，GWO算法为灰狼优化算法；
S4：根据成熟边界检测器与它的邻域检测器之间的距离、子网格中样本的密度，选择孔洞修复策略，对成熟边界检测器进行优化，生成目标边界检测器；根据成熟非边界检测器与它的邻域检测器之间的距离、子网格中样本的密度，选择孔洞修复策略，对成熟非边界检测器进行优化，生成目标非边界检测器；
S5：基于生成的目标边界检测器和目标非边界检测器对网络的非自体进行检测，从而实现网络异常检测；
其中，步骤S4中根据成熟边界检测器与它的邻域检测器之间的距离、子网格中样本的密度，选择孔洞修复策略，对成熟边界检测器进行优化，生成目标边界检测器，包括：
如果成熟边界检测器与它的邻域检测器之间的孔洞中非自样本密度大于阈值a，且成熟边界检测器与它的邻域检测器之间的距离大于所有成熟边界检测器检测器中的最小半径，则将成熟边界检测器与它的邻域检测器进行合并；
如果非自样本密度小于阈值a，且成熟边界检测器与它的邻域检测器之间的距离大于所有成熟边界检测器中的最大半径，则生成新的成熟边界检测器填充未覆盖区域；
如果非自样本密度小于阈值a，且成熟边界检测器与它的邻域检测器之间的距离小于所有成熟边界检测器的最小半径，则增加成熟边界检测器的半径；
步骤S4中根据成熟非边界检测器与它的邻域检测器之间的距离、子网格中样本的密度，选择孔洞修复策略，对成熟非边界检测器进行优化，生成目标非边界检测器，包括：
如果成熟非边界检测器与它的邻域检测器之间的孔洞中非自样本密度大于阈值a，且成熟非边界检测器与它的邻域检测器之间的距离大于所有成熟非边界检测器中的最小半径，则将该成熟非边界检测器与它的邻域检测器进行合并；
如果非自样本密度小于阈值a，且成熟非边界检测器与它的邻域检测器之间的距离大于所有成熟非边界检测器中的最大半径，则生成新的成熟非边界检测器填充未覆盖区域；
如果非自样本密度小于阈值a，且成熟边界检测器与它的邻域检测器之间的距离小于所有成熟非边界检测器中的最小半径，则增加成熟非边界检测器的半径。
2.如权利要求1所述的基于人工免疫技术的动态自适应网络异常检测方法，其特征在于，步骤S1包括：
采用基于相关性的无监督密度聚类的特征选择方法，针对数据集的特征进行聚类运算；
针对聚类结果，计算类内最大互信息系数以及类间对称不确定性；
基于类内最大互信息系数以及类间对称不确定性采用综合评分的方式对特征进行排序，根据排序结果选出最大相关性、最小冗余度的最优特征子集。
3.如权利要求1所述的基于人工免疫技术的动态自适应网络异常检测方法，其特征在于，步骤S2中候选边界检测器的生成包括：
基于得到的最优特征子集构建样本空间；
计算自体在构建的样本空间中的位置；
对包含自体的空间采用混合划分的策略，根据样本密度和阈值进行网格化，划分得到子网格。
4.如权利要求1所述的基于人工免疫技术的动态自适应网络异常检测方法，其特征在于，步骤S2中候选边界检测器通过自体耐受生成成熟边界检测器，包括：
计算候选边界检测器与自体之间的距离，如果计算的距离大于或等于候选边界检测器的半径则表示耐受成功，则将该候选边界检测器作为成熟边界检测器。
5.如权利要求1所述的基于人工免疫技术的动态自适应网络异常检测方法，其特征在于，步骤S3包括：
对自样本进行聚类，确定聚类对象到聚类中心的距离计算出聚类半径；
根据聚类半径以及聚类中心到候选非边界检测器的距离，对候选非边界检测器集中的检测器进行筛选与调整得到非边界检测器集；
采用GWO算法中的搜索策略，设置最小重叠率与最大覆盖率为适应度函数，自适应调整非边界检测器集中检测器的半径与位置，得到成熟非边界候选检测器。
CN202210423494.9A 2022-04-21 2022-04-21 一种基于人工免疫技术的动态自适应网络异常检测方法 Active CN114861776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210423494.9A CN114861776B (zh) 2022-04-21 2022-04-21 一种基于人工免疫技术的动态自适应网络异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210423494.9A CN114861776B (zh) 2022-04-21 2022-04-21 一种基于人工免疫技术的动态自适应网络异常检测方法

Publications (2)

Publication Number Publication Date
CN114861776A CN114861776A (zh) 2022-08-05
CN114861776B true CN114861776B (zh) 2024-04-09

Family

ID=82631379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210423494.9A Active CN114861776B (zh) 2022-04-21 2022-04-21 一种基于人工免疫技术的动态自适应网络异常检测方法

Country Status (1)

Country Link
CN (1) CN114861776B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412490A (zh) * 2013-08-14 2013-11-27 山东大学 用于多机器人动态路径规划的多克隆人工免疫网络算法
CN104504332A (zh) * 2014-12-29 2015-04-08 南京大学 一种基于二次移动点策略的否定选择入侵检测方法
WO2018126984A2 (zh) * 2017-01-06 2018-07-12 江南大学 一种基于mea-bp神经网络wsn异常检测方法
CN110870020A (zh) * 2017-10-16 2020-03-06 因美纳有限公司 利用卷积神经网络(cnns)进行异常剪接检测
CN113221065A (zh) * 2020-02-06 2021-08-06 北京三星通信技术研究有限公司 数据密度估计及回归方法、相应装置、电子设备、介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015058702A1 (zh) * 2013-10-23 2015-04-30 曹红光 基于光子计数的辐射成像系统、方法及其设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412490A (zh) * 2013-08-14 2013-11-27 山东大学 用于多机器人动态路径规划的多克隆人工免疫网络算法
CN104504332A (zh) * 2014-12-29 2015-04-08 南京大学 一种基于二次移动点策略的否定选择入侵检测方法
WO2018126984A2 (zh) * 2017-01-06 2018-07-12 江南大学 一种基于mea-bp神经网络wsn异常检测方法
CN110870020A (zh) * 2017-10-16 2020-03-06 因美纳有限公司 利用卷积神经网络(cnns)进行异常剪接检测
CN113221065A (zh) * 2020-02-06 2021-08-06 北京三星通信技术研究有限公司 数据密度估计及回归方法、相应装置、电子设备、介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于人工免疫技术的动态自适应网络异常检测方法;Geying Yang;《International Journal of Intelligent Systems》;20230228;第2023卷;第1-23页 *

Also Published As

Publication number Publication date
CN114861776A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
Panda et al. A hybrid intelligent approach for network intrusion detection
Aliniya et al. A novel combinatorial merge-split approach for automatic clustering using imperialist competitive algorithm
Lu et al. A hybrid ensemble algorithm combining AdaBoost and genetic algorithm for cancer classification with gene expression data
CN109522926A (zh) 基于信息熵聚类的异常检测方法
CN112766343B (zh) 一种基于改进woa-svm的网络安全态势评估方法
CN110266672B (zh) 基于信息熵和置信度下采样的网络入侵检测方法
CN111835707B (zh) 一种基于改进后的支持向量机的恶意程序识别方法
Granger et al. A comparison of self-organizing neural networks for fast clustering of radar pulses
Yang et al. Automatic classification of remote sensing images using multiple classifier systems
Ponmalar et al. Hybrid Whale Tabu algorithm optimized convolutional neural network architecture for intrusion detection in big data
Wang et al. EFS-DNN: an ensemble feature selection-based deep learning approach to network intrusion detection system
Li et al. Fast density peaks clustering algorithm based on improved mutual K-nearest-neighbor and sub-cluster merging
Cai et al. Aris: a noise insensitive data pre-processing scheme for data reduction using influence space
Elmasri et al. Evaluation of CICIDS2017 with qualitative comparison of Machine Learning algorithm
Yang et al. A modified gray wolf optimizer-based negative selection algorithm for network anomaly detection
Song et al. Feedback learning for improving the robustness of neural networks
Ahmed et al. Multi-label ASRS Dataset Classification Using Semi Supervised Subspace Clustering.
CN114861776B (zh) 一种基于人工免疫技术的动态自适应网络异常检测方法
Yang et al. On the vulnerability of hyperdimensional computing-based classifiers to adversarial attacks
Ahmed et al. Sisc: A text classification approach using semi supervised subspace clustering
Nunnari Clustering activity at Mt Etna based on volcanic tremor: A case study
Nesamani et al. Predictive Modeling for Classification of Breast Cancer Dataset Using Feature Selection Techniques
Fu et al. GAN-based intrusion detection data enhancement
Xu et al. Oversampling imbalanced data based on convergent WGAN for network threat detection
Du et al. A dynamic density peak clustering algorithm based on k-nearest neighbor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant