CN110213287A - 一种基于集成机器学习算法的双模式入侵检测装置 - Google Patents

一种基于集成机器学习算法的双模式入侵检测装置 Download PDF

Info

Publication number
CN110213287A
CN110213287A CN201910507257.9A CN201910507257A CN110213287A CN 110213287 A CN110213287 A CN 110213287A CN 201910507257 A CN201910507257 A CN 201910507257A CN 110213287 A CN110213287 A CN 110213287A
Authority
CN
China
Prior art keywords
data
algorithm
module
machine learning
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910507257.9A
Other languages
English (en)
Other versions
CN110213287B (zh
Inventor
胡昌振
高献伟
单纯
王可惟
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201910507257.9A priority Critical patent/CN110213287B/zh
Publication of CN110213287A publication Critical patent/CN110213287A/zh
Application granted granted Critical
Publication of CN110213287B publication Critical patent/CN110213287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Alarm Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种基于集成机器学习算法的双模式入侵检测系统，包括监控模块、网络入侵检测模块、智能入侵检测模块、串联检测模块及告警模块；监控模块用于根据监控策略从网络流量中获取流量数据；网络入侵检测模块利用入侵检测规则对流量数据进行匹配，若匹配到“黑”规则的流量数据时，启动告警模块，对于未匹配到规则的流量数据，则将其转发至智能入侵检测模块；智能入侵检测模块集成多种机器学习入侵检测算法，利用入侵检测算法分别对接收的流量数据进行检测，当检测结果为攻击流量时，启动告警模块；告警模块在被启动的情况下，发出告警信号或者进行阻断。该系统将两种检测技术结合起来共同检测网络攻击行为，大大提升了检测的精度和检测性能。

Description

一种基于集成机器学习算法的双模式入侵检测装置
技术领域
本发明涉及一种基于集成机器学习算法的双模式入侵检测装置，属于入侵检测技术领域。
背景技术
在网络入侵检测利用的现有技术中，当前最多的还是使用基于攻击特征的规则匹配方式，近几年国内外也有使用各种机器学习算法进行入侵检测的研究出现。NSL-KDD入侵检测数据集包含一类正常数据和四种攻击类型的数据，是网络安全领域最为经典的数据，解决了KDD99数据中存在大量冗余和重复数据的问题。很多研究者利用各种分类算法对该数据集进行了研究，主要有DecisionTree,Naive Bayes，Random Forest,Kneighbors、LogisticRegression、KNN、SVM、CNN、DNN等。根据Mahbod Tavallaee的对比分析，各种分类算法在KDDTest+的准确率最高是NB Tree算法准确率达到82.02％。Herve Nkiamaden等人在论文中提出了一种特征消除算法RFE，然后使用DecisionTree分类提高检测效果，但在实验中对DOS等四种攻击类型的数据进行单独训练和测试，实际是一种二分类方法，并且统计了交叉验证的结果，这种训练方式与现实入侵检测方法有一定的差别，实用价值不高。BIngre等人利用人工神经网络对NSL-KDD数据集进行训练，使用了全量的测试集数据进行验证，二分类和五分类的准确率分别是81.2％和79.9％，相比其他文献该结果更客观。
此外，张子辰等人设计的一种基于MLP的入侵检测方法，将多层感知机模型与可执行文件或日志的统计特征相结合，提高了入侵检测的精确度。刘勤让等人设计的一种基于时序神经网络的网络入侵检测方法及装置，通过采用GRU网络，在LSTM基础上进一步简化了网络结构，不仅可以有效解决了RNN中存在的不足，而且相比于LSTM更贴近于网络实时性的要求。张爽等人设计的基于加权距离度量以及矩阵分解的入侵检测方法及装置，对原始数据集进行预处理，基于所述加权闵可夫斯基距离度量和预定的聚类算法对预处理后的数据集进行检测，获得检测结果。但该方法并未提供验证数据证明，难以评估实际效果。吴巍等人设计的一种基于深度学习的移动自组织网络入侵检测方法与设备，将检测为异常的网络行为特征向量进行存储并用来训练深度神经网络，当这些入侵类型再次发生时，就能被检测识别。该文章中使用的受限玻尔兹曼机和反向传播(BackPropagation)神经网络是业界公开算法。张石等人设计的一种适用于入侵检测的分类方法，实现不均衡训练数据集的均衡化预处理，采用Bagging集成学习方法训练出基于SVM的集成分类器。
综上分析，近些年的研究主要集中在检测精度上的提升，大部分使用某种特定算法改进检测效果，有了一些效果。但每种算法都有瓶颈，尤其是多分类检测场景，不可能做到任何类型的检测都是最优。而且，当前的网络安全防御场景中，仍然以规则匹配的检测技术及产品为主。虽然传统方式灵活性和自适应性不好，但对于已知攻击的检测规则几乎没有误报，因此也有一定的优势。机器学习和规则匹配检测方式各有优劣，大部分现有技术都只采取了一种检测方式，因而存在瓶颈。
现有技术中存在如下缺陷：
(1)传统规则匹配入侵检测技术灵活性不足。传统入侵检测技术，主要采用规则匹配模式，事先把黑客攻击特征转换成入侵检测规则，例如IP、端口、协议类型、标志位、数据长度、数据包内容等信息，只有符合规则的行为才会促发告警。这种检测方式灵活性不足，黑客很容易绕过。而且维护很不方便，出现新的攻击时，需要手工分析并重写新的检测规则。但这种方式对于简单的已知攻击有较好的检测效果，误报率低，而且检测性能较好。
(2)机器学习算法入侵检测准确率不高。通过对NSL-KDD数据集近些年研究成果的分析，五分类的准确率一般在80％左右。当前虽然有很多分类检测算法，但主要存在一些问题：很多论文未使用全量测试集进行验证，算法的客观性难以对比评估；大部分是对KDD99数据集的检测，受到数据集本身缺陷的影响，导致检测结果偏高；另外，人为进行了事前分类训练，然后分别检测，与实际入侵检测场景不一致，导致结果偏高。原始数据集中U2R和R2L数据量非常少，导致对它们的检测准确率很低。
(3)机器学习算法性能不高。入侵检测需要对网络流量进行全量分析，在高带宽环境下对检测性能的要求很高。由于实际攻击场景中，分析人员无法事前从原始数据中区分出攻击日志，需要进行一系列预处理操作，需要消耗一定的时间，而且该数据集的目标是识别出正常及四类攻击的记录，为后续的攻击阻断和事件响应提供结果参考。虽然机器学习算法检测在原理上比传统规则匹配方式有更好的检测效果，但该过程比较复杂，对于新特征需要重新学习，而且计算性能未必有传统方式好。例如，如果已经知道某个黑IP，对于来自该IP的流量进行告警，则不需要太复杂的计算，直接进行匹配即可。机器学习算法计算过程比较复杂，尤其是深度学习算法，需要GPU等硬件设备才能提升运算性能，对硬件资源要求比较高。
(4)算法学习和更新困难。机器学习模型需要事先准备大量的训练数据，但目前这类训练数据集非常稀缺，模型的训练比较困难，这也是为什么很多商用产品并未大规模使用机器学习算法的原因。而且增加新的样本之后，需要对算法模型进行全量的重新训练，代价较高。
(5)检测结果可解释性差。采用机器学习算法，尤其是深度神经网络检测出的告警记录可能存在误报，安全分析人员对于检测结果的真实性难以理解，而且数据经过特征处理之后失去了很多原始信息，对于调查取证等事件响应工作带来麻烦。
发明内容
有鉴于此，本发明提供了一种基于集成机器学习算法的双模式入侵检测系统，该系统将两种检测技术结合起来共同检测网络攻击行为，大大提升了检测的精度和检测性能。
实现本发明的技术方案如下：
一种基于集成机器学习算法的双模式入侵检测系统，包括监控模块、网络入侵检测模块、智能入侵检测模块、串联检测模块及告警模块；
监控模块，用于根据监控策略从网络流量中获取流量数据，并将流量数据传递给网络入侵检测模块；
网络入侵检测模块，利用入侵检测规则对流量数据进行匹配，若匹配到“黑”规则的流量数据时，直接启动告警模块，对于未匹配到规则的流量数据，则将其转发至智能入侵检测模块；
智能入侵检测模块集成多种机器学习入侵检测算法，利用各种入侵检测算法分别对接收的流量数据进行检测，当检测结果为攻击流量时，启动告警模块；
告警模块在被启动的情况下，发出告警信号或者进行阻断。
进一步地，本发明所述智能入侵检测模块中集成机器学习入侵算法包括DNN深度神经网络算法、叠加决策树算法及随机森林算法中的至少一种。
进一步地，本发明所述智能入侵检测模块上设置集成投票算法，用于对各入侵检测算法针对不同类型的检测效果预设了相应权重，根据多种入侵检测算法的检测结果，采用对检测结果加权计算各类型的得分，得分最高的类型既为最终的检测结果。
进一步地，本发明所述权重为：各入侵检测算法针对某个类型数据的权重表示在这种场景下得到该检测值的可信度。
进一步地，本发明使用贝叶斯概率算法对各分类器的检测结果进行概率分析，用最大似然估计得出最终的检测结果。
进一步地，本发明利用NSL-KDD公开数据集进行机器学习入侵算法的训练。
进一步地，本发明所述叠加决策树算法为：
(a)调整训练数据集Train_D中训练记录比例：攻击类型记录不变，采用折半方式减少Normal类型数量生成新的训练数据集Train_D1，使用交差验证方式找到最佳比例值，按照所述最佳比例值，重新构造训练数据集Train_D1；
(b)采用新的训练数据集Train_D1训练分类器DTree1，输出预测结果Pred1＝DTree1(Test_D)；
(c)在训练数据集Train_D中利用交差验证方式找到二分类最佳比例值，调整Normal类数据与Attack数据的比例得到训练集Train_D2，训练Normal和Attack 2分类器DTree2.fit(Train_D2)，输出预测结果Pred2＝DTree2(Test_D)；
(d)统计Pred1中鉴定为Normal(0)的记录V1＝Pred1[class＝＝0]；
(e)统计Pred2中鉴定为Attack(1)的记录V2＝Pred2[class＝＝1]；
(f)计算分类不一致的记录集Ve＝V1 isin(V2)；
(g)从训练数据集Train_D提取类型为[1,2,3,4]的攻击数据记录，生成新的训练集Train_D3；
(h)使用Train_D3训练分类器DTree3；
(i)使用DTree3对Ve重新分类，输出预测结果Pred3＝DTree3(Ve)；
(j)更新Pred1中分类不一致的记录预测值：Pred1[Ve]＝Pred3
(k)输出最终决策树分类结果Pred4＝Pred1。
进一步地，本发明还包括反馈学习模块，用于记录已经确认的攻击，并将其反馈给智能入侵检测模块，作为新训练样本。
进一步地，本发明所述告警模块还利用主成分分析方法，可视化显示告警数据的分布情况。
有益效果
第一，本发明结合了传统入侵检测和机器学习入侵检测各自优势，使用集成机器学习算法解决传统规则匹配入侵检测方法扩展性和灵活性不足的问题，又使用了传统规则匹配入侵检测技术的性能和精度优势，最终达到的效果是不降低传统检测性能的前提下，既能检测已知明确的攻击行为，也能检测新型攻击或攻击变种，采用集成学习方法，能够提高网络入侵检测的准确率。
第二，本发明双模式入侵检测，可以切换入侵检测模式，对于比较简单的攻击利用传统规则匹配算法的性能优势分析；对于未知攻击或攻击变种，采用机器学习算法分析。两种模式可以分开检测，又可以同时检测，可以灵活适应各种网络环境。
第三，本发明智能入侵检测模块集成多种机器学习入侵检测算法，可以选择多种机器学习算法，既可以选择一种，也可组合使用，具有较好的扩展性，而且能够提高网络入侵检测的准确率。
第四，本发明设置检测发现的新型攻击记录，反馈作为新的训练样本可以持续提升算法检测效果。
附图说明
图1为本发明基于集成机器学习算法的双模式入侵检测装置的示意图；
图2为告警数据PCA分析图；
图3为NSL KDD中训练集和测试集各类型数据量统计图；
图4为叠加决策树分析流程；
图5为深度神经网络DNN算法示意图；
图6为集成投票算法示意图；
图7使用集成学习算法检测NSL-KDD测试集的confusion_matrix
具体实施方式
为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
本发明的核心思想是提出了一种集成机器学习算法，首先对单个算法进行优化，进一步提升精度，提出了叠加决策树算法和Ensemble Voting算法。为解决U2R等数据量极少的样本不均衡问题，采用过采样解决办法，调整训练集样本比例，设置不同类型数据权重等方法提升对该类型数据的检测精度。使用训练数据对算法进行训练，计算每种算法对各类数据的检测指标，保存模型参数作为实际应用场景使用。把多个优化后的算法同时对测试数据进行检测，对各个算法分类器的结果进行加权投票，输出最终的检测结果。对于攻击类型的数据发出告警，以便监控人员分析处理。对于确认的攻击记录，可以加入到训练数据集中作为新的学习样本，持续提升机器学习算法的精度。
本发明设计了双模式检测手段，既可以单独使用一种模式，又可以组合起来分析，发挥各自优势。首先使用机器学习算法，提升多个基础分类器的性能，然后采用集成投票算法，判断数据的类型。此外，本设计也采用了传统规则匹配模式的入侵检测技术，对于性能要求高，特征明确的攻击行为使用该方式检测，可以减少计算量，提升系统的总体性能。利用两种模式检测，优势互补，可以最大限度的提升检测效果。模型检测出的告警记录，经过人工确认之后，可以加入到训练数据集中作为新的训练样本，重新训练模型，可以实现自我学习，对检测精度持续提升。此外，使用PCA分析方式把告警记录展现成视图，让监控人员更容易理解和判断。
本发明实施例一种基于集成机器学习算法的双模式入侵检测系统，包括监控模块、网络入侵检测模块、智能入侵检测模块及告警模块；
监控模块按照监控策略，用于从网络流量中获取监控数据，然后传递给网络入侵检测模块。具体为：该监控模块按照监控策略，负责从网络流量中获取监控数据，然后传递给网络入侵检测模块分析，为了提升性能，可以设置源、目的IP、端口、协议等规则，只对部分数据进行监控，从而提升性能。
网络入侵检测模块，利用入侵检测规则对流量数据进行匹配，判断所述监控数据中是否包含攻击特征，当存在攻击特征时，触发告警模块。具体为：该模块基于传统的规则匹配算法，判断流量是否包含攻击特征，主要采用了传统入侵检测技术，利用正则匹配算法。例如设置IP、域名、端口、协议、标志位、数据内容检测等规则，这种方式简单高效，尤其是对检测已知网络攻击有很好的实用效果。
该模块可以设置黑、白检测规则，对于符合“白”规则的正常流量直接跳过，也不需要后续的智能入侵检测模块分析。对于符合“黑”规则的攻击流量，认为是真实攻击，促发告警。对于未匹配到规则的流量数据，认为是“灰”记录，则转发给后续的智能入侵检测模块进一步分析。采用这种串联模式，既可以发挥传统检测模式的精度优势，又减少了后续智能入侵检测模块需要分析的数据量，提升了检测速度，并且发挥了智能入侵检测模块发现未知攻击的算法优势。
智能入侵检测模块集成多种机器学习入侵检测算法，利用各种入侵检测算法分别对监控数据进行检测，可以采用集成投票的方式对各检测结果进行加权计算，或者还可以使用贝叶斯概率算法对各分类器的检测结果进行概率分析，用最大似然估计得出哪个分类结果更趋向于真实值。集成投票的方式为：对各算法针对不同类型的检测效果设置相应权重，对检测结果加权计算各类型的得分，得分最高的类型既为最终的检测结果。
告警模块，如果检测模块发现异常，判断是攻击行为，则发出告警，或者进行阻断。监控人员要对告警进行分析调查，采取下一步动作。对于确认的攻击，该模块要把告警信息以及原始数据反馈给机器学习模块自学习，加入到训练集中，生成新的特征，以便提升学习能力，识别更多的攻击。
此外，告警模块还利用主成分分析方法，可视化显示告警数据的分布情况，便于分析人员了解攻击态势，增加机器学习算法的可理解性。PCA(Principal ComponentAnalysis)主成分分析方法的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。通过PCA处理之后，原始告警记录就可以展示成二维数据，用图的形式展示出来，有利于监控人员理解和分析告警记录，如图2所示。
反馈学习模块对于已经确认的攻击记录，可以把相关记录信息反馈给智能入侵检测模块，作为新的训练样本，提升算法的分析能力。从而达到自我持续学习的目的，该系统可以持续优化，而不仅仅局限于原始训练集提供的学习能力。本发明实施例反馈自学习机制，对于检测出的新的攻击数据，可以利用机器学习模块重新加入到训练集，持续优化机器学习算法，持续提升系统性能。
本实施例中系统工作流程：
通过网络流量镜像获取原始数据，基于策略配置筛选需要分析的流量新型，例如只分析TCP协议，或目的端口为80的数据等。
监控模块把监控截取的数据发送给网络入侵检测模块，进行入侵检测规则匹配，如果发现攻击行为，则告警。
监控模块把待分析数据发送给机器学习检测模块，使用集成学习算法判断是否有攻击；
如果步骤3)未发现攻击，则继续传递给机器学习算法分析，检测变种攻击或未知攻击；采用该模式把两种检测模块串联起来，可以发现更多的攻击；
机器学习检测模块检测到攻击后，向告警模块发送告警详细信息，并且使用PCA主成分分析方法显示告警数据的分布；
网络入侵检测模块向告警模块发送告警详细信息，以便监控人员分析调查；
对于调查确认后发现的新的攻击数据，反馈给机器学习模块自学习，把告警数据按照特征提取规则加入到训练集数据中，持续提升该模块的检测能力。
本实施例中，智能入侵检测模块中用户可以自定义多种备选算法，灵活组合，在自定义的过程中既要考虑检测精度，也要考虑运行性能。例如SVM支持向量机算法，检测精度一般，但耗时很长，因此不作为备选算法。通过对比测试，决策树算法在训练、检测方面的精度、速度都比较理想，因而是比较好的备选算法，本实施例在此基础上设计了叠加决策树算法，进一步提升算法精度，达到了很好的效果。
因此，在本实施例中对智能入侵检测模块中集成机器学习入侵算法包括DNN深度神经网络算法、叠加决策树算法及随机森林算法中的至少两种。
本实施例中适用公开数据集NSL-KDD中包含字符串数据、离散数据、连续型数据，训练数据包括1种正常类型和4种攻击类型的数据，如图3所示。其中，正常类型数据比例最多，U2R攻击类型占比最少。本发明使用NSL-KDD公开数据集进行了测试验证。
(1)叠加决策树算法
决策树算法具有较好的检测精度和算法性能，使用CART(ClassificationandRegression Tree)分类回归树对样本数据进行分类，然后对算法优化，修正预测结果，通过叠加决策树算法提升单种算法的检测效果。
在分类问题中，假设有K个类，样本点属于第K类的概率为pk，则概率分布的基尼指数定位为：对于给定的样本集合D，其基尼指数为：Ck是D中属于第K类的样本子集，K是类的个数。Gini指数即为1与类别ck的概率平方之和的差值，反映了样本集合的不确定性程度。父节点对应的样本集合为D，CART选择特征A分裂为两个子节点，对应集合为D1与D2；分裂后的Gini指数定义如下：
Gini指数越大，样本集合的不确定性程度越高。分类学习过程的本质是样本不确定性程度的减少(即熵减过程)，故应选择最小Gini指数的特征分裂。
叠加决策树算法MultiTree：由于数据集中各种类型的数据比例严重失衡，Noraml及DOS类型的数据占比较高，导致这些类型的准确率偏高，而U2R类型的准确率偏低。本实施例设计了一种堆叠决策树算法，通过调整各类型样本比例训练多个决策树分类器，解决样本比例失衡的问题。
输入：训练集数据Train_D、测试集Test_D
输出：输出集成测试后的检测结果
NSL-KDD公开数据集中包含Normal数据和Attack数据，其中Attack数据包含4中攻击类型，分别为类型(1,2,3,4)。
(a)调整训练数据集Train_D中训练记录比例，Attack攻击类型记录不变，采用折半方式(1/2)减少Normal(类型：0)类型数量生成新的训练集Train_D1，使用交差验证方式找到最佳的比例值，按照此比例重新构造训练数据集Train_D1，经过交叉验证把Normal类型的数据设置为原始数据的1/8效果最好。
(b)使用训练集Train_D1训练分类器DTree1，输出预测结果Pred1＝DTree1(Test_D)，完成第一轮的训练，该分类器可对数据进行5分类，normal和4种Attack；
(c)同上训练方法，寻找Normal和Attack类数据最优比例生成新的2分类训练数据集Train_D2，根据实验结果选择1：5比例效果最好，训练Normal和Attack(类型：1、2、3、4)的2分类器DTree2.fit(Train_D2)，输出预测结果Pred2＝DTree2(Test_D)；该分类器只检测正常、攻击两种类型，完成第二轮的训练；
(d)统计Pred1中鉴定为Normal(0)的记录V1＝Pred1[class＝＝0]；
(e)统计Pred2中鉴定为Attack(1)的记录V2＝Pred2[class＝＝1]；
(f)计算分类不一致的记录集Ve＝V1 isin(V2)；(即两次检测结果不一致：第一步鉴定为Normal，但第二步鉴定为Attack的记录)
(g)从Train_D提取攻击类型为[1,2,3,4]的记录，生成新的训练集Train_D3；
(h)使用Train_D3训练分类器DTree3，完成第三轮训练，DTree3可以区分四种攻击数据类型；
(i)使用DTree3对Ve重新分类，输出预测结果Pred3＝DTree3(Ve)；该过程为对第一、二轮分类器分类中存在错误的情况进行重新分类；
(j)更新Pred1中分类不一致的记录预测值：Pred1[Ve]＝Pred3，利用步骤(i)中的分类结果去更新第一轮分类的结果，从而排除第一轮分类中存在误分类的情况；
(k)输出最终决策树分类结果Pred4＝Pred1。
本实施例叠加了三层决策树算法，如图4所示，采用多次训练和多层检测，通过解决不同类型数据比例失衡的问题，可以比单一决策树更精准的检测入侵攻击。
(2)DNN深度神经网络算法
如图5所示，深度神经网络由输入层、隐藏层、输出层组成。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是从小的局部模型来说，还是和感知机一样，即一个线性关系z＝∑wixi+b加上一个激活函数σ(z)。DNN的前向传播算法也就是利用若干个权重系数矩阵W,偏倚向量b来和输入值向量x进行一系列线性运算和激活运算，从输入层开始，一层层的向后计算，一直到运算到输出层，得到输出结果为值。
DNN前向传播算法：
输入:总层数L，所有隐藏层和输出层对应的矩阵W,偏倚向量b，输入值向量x
输出：输出层的输出al
1)初始化a1＝x
2)for l＝2 to L,计算：
al＝σ(zl)＝σ(wlal-1+bl)
最后的结果即为输出al。
用一个损失函数来度量训练样本的输出损失，接着对这个损失函数进行优化求最小化的极值，对应的一系列线性系数矩阵W,偏倚向量b即为我们的最终结果。
在多分类场景中，使用线性整流函数(Rectified Linear Unit,ReLU)作为激活函数：
σ(x)＝max(0,WT+b),
使用cross-entropy交叉熵作为损失函数：
在设计好DNN模型之后，对测试数据的权重进行调整，cls_weight5＝{0:0.5,1:1,2:10,3:20,4:200}，总体思路是设置数据的权重与其数据量成反比，数据量越少的类型权重越高，解决U2L等数据欠采样的问题，从而提升该类型的检测效果。
本实施例深度神经网络入侵检测算法，基于DNN算法设计了一种用于入侵检测的神经网络，并且通过调整class_weight参数，提高样本比例低的类型检测率，经过测试验证比传统机器学习算法有更高的检测精度。
(3)Ensemble组合算法设计
如图6所示，集成学习(ensemble learning)通过组合多个基分类器(baseclassifier)来完成学习任务。基分类器一般采用的是弱学习(weakly learnable)分类器，通过集成学习，组合成一个强学习(strongly learnable)分类器。集成学习的泛化能力一般比单一的基分类器要好。本算法其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。该算法的核心是确定某个分类器算法针对某个类型数据的权重wij，代表算法fi对类型Cj的权重，表示在这种场景下得到该检测值的可信度(可能性)。由于各数据集的特征各有差异，也可以参考该权重值手工设置投票权重，以达到最佳效果。
算法的具体过程为：
(1)对智能入侵检测模块中各机器学习算法(分类器)进行优化，使用训练集和验证集进行训练和检测；
(2)计算各算法对不同攻击类型的检测率，作为权重基数wij；
(3)对每条测试记录，计算各分类器的预测结果，并按照[0-4]类型，分别加权计算各类攻击类型的预测权重；
(4)挑选投票结果最大的类型作为该记录的最终检测结果；
(5)输出测试集全量五分类检测结果。
本实施例集成投票算法，通过对各算法计算权重，综合分析最终的检测结果，发挥各个算法对某种类型检测效果的优势，从而提升最终的检测效果。
下面举例说明该集成投票算法的工作原理。
表：例如针对三种数据类型的三个分类器算法权重如下
权重 算法1 算法2 算法3
Class1 0.8 0.5 0.7
Class2 0.7 0.8 0.9
Class3 0.9 0.6 0.5
举例4条待检测数据检测结果：
预测类型 算法1 算法2 算法3 投票过程 最终结果
记录1 Class2 Class 2 Class1 0.7+0.8>0.7 Class2
记录2 Class1 Class1 Class1 0.8+0.5+0.7 Class1
记录3 Class3 Class2 Class2 0.9<0.8+0.9 Class2
记录4 Class3 Class2 Class1 0.7<0.8<0.9 Class3
通过加权投票，算出可能性最高的分类检测结果。
本发明已经经过实验，使用公开的NSL-KDD数据集完整测试集进行评估，准确率达到85％以上。使用选择的部分测试集评估，可以到达90％以上的准确率，比同类算法有较大优势。对于数据测试结果有下面4种情况：TP:预测为正，实际为正；FP:预测为正，实际为负；TN:预测为负，实际为负；FN:预测为负，实际为正。对这几种数据进行统计，使用以下几个常用的指标。
准确率：Accuracy＝(TP+TN)/(TP+TN+FN+FP)
精准率：Precision＝TP/(TP+FP)
召回率：Recall＝TP/(TP+FN)
F1-score:2*TP/(2*TP+FP+FN)
主要使用准确率和召回率衡量一个算法的综合性能，对于算法的选择，优先考虑准确率高的算法，而对于某种攻击类型的检测，则尽可能提高召回率。因为，攻击数据在整个网络中的占比实际很少，所以尽可能把攻击查全，而不要漏掉可能的攻击行为。
把NSL KDD原始训练集按照50:50的比例，分成训练集和验证集，交差验证结果如下。
算法 Accuracy Precision Recall F1 Runtime(S)
DecisionTree 99.63％ 99.62％ 99.62％ 99.62％ 0.33
RandomForest 99.8％ 99.79％ 99.8％ 99.79％ 0.7
KNeighbors 99.59％ 99.57％ 99.59％ 99.58％ 33
LogisticRegression 97.73％ 97.72％ 97.73％ 97.71％ 13.7
SVM 99.53％ 99.52％ 99.53％ 99.52％ 220.7
DNN 98.4％ 99.09％ 98.4％ 98.64％ 245.2
经过测试，MultiTree叠加树的测试准确率可以达到83.73％，比其他算法有了较大提升。因此选择DecisionTree、RandomForest、KNeighbors、
LogisticRegression、DNN、MultiTree作为备选机器学习算法进行集成训练。本文选择了17883个测试数据集进行测试验证，得到的结果如图7所示。
Accuracy:91.82％
Precision:91.90％
Recall:91.82％
F1:91.24％
相比现有的算法，该模型取得了更好的检测精度，具有很好的实用价值。
本发明实施以网络入侵检测场景为例，说明了采用集成机器学习算法可以提升入侵检测的准确率、检测性能以及灵活性和扩展性。监控场景可以扩展到主机领域，或者移动终端监控领域。只要通过策略配置模块定义好要监控的数据源，以及特征提取规则，创建合适的训练数据，就可以使用该方法提升入侵检测效果。
此外，还可以采用非监督或半监督学习算法，对未知攻击进行初步分析，结合后续的PCA分析方法，可以让监控人员更容易发现潜在威胁。本方面具有良好的扩展性和可移植性，实用价值很高。
集成学习投票算法，也可以使用贝叶斯算法。通过学习入侵检测数据集的先验概率和条件概率分布，学习到联合概率分布P(X/Y)，对于给定的输入x，通过学习到的模型计算后验概率分布P(Y＝ck|X＝x)，然后将后验概率最大的类型作为x类型的输出。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于集成机器学习算法的双模式入侵检测系统，其特征在于，包括监控模块、网络入侵检测模块、智能入侵检测模块、串联检测模块及告警模块；
监控模块，用于根据监控策略从网络流量中获取流量数据，并将流量数据传递给网络入侵检测模块；
网络入侵检测模块，利用入侵检测规则对流量数据进行匹配，若匹配到“黑”规则的流量数据时，直接启动告警模块，对于未匹配到规则的流量数据，则将其转发至智能入侵检测模块；
智能入侵检测模块集成多种机器学习入侵检测算法，利用各种入侵检测算法分别对接收的流量数据进行检测，当检测结果为攻击流量时，启动告警模块；
告警模块在被启动的情况下，发出告警信号或者进行阻断。
2.根据权利要求1所述基于集成机器学习算法的双模式入侵检测系统，其特征在于，所述智能入侵检测模块中集成机器学习入侵算法包括DNN深度神经网络算法、叠加决策树算法及随机森林算法中的至少一种。
3.根据权利要求1所述基于集成机器学习算法的双模式入侵检测系统，其特征在于，所述智能入侵检测模块上设置集成投票算法，用于对各入侵检测算法针对不同类型的检测效果预设了相应权重，根据多种入侵检测算法的检测结果，采用对检测结果加权计算各类型的得分，得分最高的类型既为最终的检测结果。
4.根据权利要求1所述基于集成机器学习算法的双模式入侵检测系统，其特征在于，所述权重为：各入侵检测算法针对某个类型数据的权重表示在这种场景下得到该检测值的可信度。
5.根据权利要求1所述基于集成机器学习算法的双模式入侵检测系统，其特征在于，使用贝叶斯概率算法对各分类器的检测结果进行概率分析，用最大似然估计得出最终的检测结果。
6.根据权利要求1所述基于集成机器学习算法的双模式入侵检测系统，其特征在于，利用NSL-KDD公开数据集进行机器学习入侵算法的训练。
7.根据权利要求6所述基于集成机器学习算法的双模式入侵检测系统，其特征在于，所述叠加决策树算法为：
(a)调整训练数据集Train_D中训练记录比例：攻击类型记录不变，采用折半方式减少Normal类型数量生成新的训练数据集Train_D1，使用交差验证方式找到最佳比例值，按照所述最佳比例值，重新构造训练数据集Train_D1；
(b)采用新的训练数据集Train_D1训练分类器DTree1，输出预测结果Pred1＝DTree1(Test_D)；
(c)在训练数据集Train_D中利用交差验证方式找到二分类最佳比例值，调整Normal类数据与Attack数据的比例得到训练集Train_D2，训练Normal和Attack2分类器DTree2.fit(Train_D2)，输出预测结果Pred2＝DTree2(Test_D)；
(d)统计Pred1中鉴定为Normal(0)的记录V1＝Pred1[class＝＝0]；
(e)统计Pred2中鉴定为Attack(1)的记录V2＝Pred2[class＝＝1]；
(f)计算分类不一致的记录集Ve＝V1 isin(V2)；
(g)从训练数据集Train_D提取类型为[1,2,3,4]的攻击数据记录，生成新的训练集Train_D3；
(h)使用Train_D3训练分类器DTree3；
(i)使用DTree3对Ve重新分类，输出预测结果Pred3＝DTree3(Ve)；
(j)更新Pred1中分类不一致的记录预测值：Pred1[Ve]＝Pred3
(k)输出最终决策树分类结果Pred4＝Pred1。
8.根据权利要求1所述基于集成机器学习算法的双模式入侵检测系统，其特征在于，还包括反馈学习模块，用于记录已经确认的攻击，并将其反馈给智能入侵检测模块，作为新训练样本。
9.根据权利要求1所述基于集成机器学习算法的双模式入侵检测系统，其特征在于，所述告警模块还利用主成分分析方法，可视化显示告警数据的分布情况。
10.根据权利要求1所述基于集成机器学习算法的双模式入侵检测系统，其特征在于，所述集成投票算法的具体过程为：
计算各算法对不同攻击类型的检测率，作为权重基数wij；
对每条测试记录，计算各分类器的预测结果，分别加权计算各类攻击类型的预测权重；
挑选投票结果最大的类型作为该记录的最终检测结果，并输出。
CN201910507257.9A 2019-06-12 2019-06-12 一种基于集成机器学习算法的双模式入侵检测装置 Active CN110213287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910507257.9A CN110213287B (zh) 2019-06-12 2019-06-12 一种基于集成机器学习算法的双模式入侵检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910507257.9A CN110213287B (zh) 2019-06-12 2019-06-12 一种基于集成机器学习算法的双模式入侵检测装置

Publications (2)

Publication Number Publication Date
CN110213287A true CN110213287A (zh) 2019-09-06
CN110213287B CN110213287B (zh) 2020-07-10

Family

ID=67792360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910507257.9A Active CN110213287B (zh) 2019-06-12 2019-06-12 一种基于集成机器学习算法的双模式入侵检测装置

Country Status (1)

Country Link
CN (1) CN110213287B (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110650153A (zh) * 2019-10-14 2020-01-03 北京理工大学 一种基于聚焦损失深度神经网络的工控网络入侵检测方法
CN110753064A (zh) * 2019-10-28 2020-02-04 中国科学技术大学 机器学习和规则匹配融合的安全检测系统
CN110784338A (zh) * 2019-09-29 2020-02-11 许昌许继软件技术有限公司 一种智能告警处理方法及配网主站系统
CN111027686A (zh) * 2019-12-26 2020-04-17 杭州鲁尔物联科技有限公司 一种滑坡位移的预测方法、装置及设备
CN111147443A (zh) * 2019-11-18 2020-05-12 四川大学 一种基于风格迁移的网络威胁攻击特征统一量化方法
CN111565192A (zh) * 2020-05-08 2020-08-21 南开大学 基于可信度的内网安全威胁多模型协同防御方法
CN111726351A (zh) * 2020-06-16 2020-09-29 桂林电子科技大学 基于Bagging改进的GRU并行网络流量异常检测方法
CN112070131A (zh) * 2020-08-25 2020-12-11 天津大学 一种基于部分深度学习理论的入侵检测方法
CN112165487A (zh) * 2020-09-27 2021-01-01 上海万向区块链股份公司 基于zeek的分布式网络安全、性能检测方法及系统
CN112199417A (zh) * 2020-09-30 2021-01-08 中国平安人寿保险股份有限公司 基于人工智能的数据处理方法、装置、终端及存储介质
CN112422513A (zh) * 2020-10-26 2021-02-26 浙江大学 一种基于网络流量报文的异常检测和攻击发起者分析系统
CN112422524A (zh) * 2020-10-29 2021-02-26 中国铁道科学研究院集团有限公司通信信号研究所 一种多模型综合决策的列控系统入侵检测方法
CN112615877A (zh) * 2020-12-25 2021-04-06 江苏省未来网络创新研究院 一种基于机器学习的入侵检测系统规则匹配优化方法
CN112769840A (zh) * 2021-01-15 2021-05-07 杭州安恒信息技术股份有限公司 一种基于强化学习Dyna框架的网络攻击行为识别方法
CN112836215A (zh) * 2021-01-15 2021-05-25 南京航空航天大学 一种基于投票机制的人工智能主动式入侵检测方法
CN112887304A (zh) * 2021-01-25 2021-06-01 山东省计算中心（国家超级计算济南中心） 基于字符级神经网络的web应用入侵检测方法及系统
US20210185070A1 (en) * 2019-12-13 2021-06-17 Electronics And Telecommunications Research Institute Lightweight intrusion detection apparatus and method for vehicle network
CN113569904A (zh) * 2021-06-10 2021-10-29 国电南瑞科技股份有限公司 母线接线类型辨识方法、系统、存储介质及计算设备
CN113705624A (zh) * 2021-08-06 2021-11-26 广州大学 一种用于工控系统的入侵检测方法和系统
CN113743512A (zh) * 2021-09-07 2021-12-03 上海观安信息技术股份有限公司 一种安全告警事件自主学习判定方法及系统
CN113824677A (zh) * 2020-12-28 2021-12-21 京东科技控股股份有限公司 联邦学习模型的训练方法、装置、电子设备和存储介质
CN113839904A (zh) * 2020-06-08 2021-12-24 北京梆梆安全科技有限公司 基于智能网联汽车的安全态势感知方法和系统
CN113949530A (zh) * 2021-09-10 2022-01-18 上海电力大学 基于dfs和关联规则算法的入侵检测方法及系统
CN114372497A (zh) * 2021-08-18 2022-04-19 中电长城网际系统应用有限公司 多模态安全数据分类方法和分类系统
CN114499991A (zh) * 2021-12-30 2022-05-13 浙江大学 一种拟态waf中恶意流量检测和行为分析方法
CN114584350A (zh) * 2022-02-17 2022-06-03 上海师范大学 基于流形的网络数据包特征的降维及聚类的攻击识别方法
CN114765561A (zh) * 2022-04-11 2022-07-19 西北工业大学 基于对抗性机器学习的网络入侵检测方法
CN115208658A (zh) * 2022-07-12 2022-10-18 北京网藤科技有限公司 一种工业网络攻击检测系统及其检测方法
CN116827694A (zh) * 2023-08-29 2023-09-29 北京安天网络安全技术有限公司 一种数据安全性检测方法及系统
CN117997652A (zh) * 2024-04-03 2024-05-07 江西师范大学 一种基于集成学习的车辆入侵检测方法及装置
CN117997652B (zh) * 2024-04-03 2024-06-07 江西师范大学 一种基于集成学习的车辆入侵检测方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7296018B2 (en) * 2004-01-02 2007-11-13 International Business Machines Corporation Resource-light method and apparatus for outlier detection
CN102487293A (zh) * 2010-12-06 2012-06-06 中国人民解放军理工大学 基于网控的卫星通信网异常检测方法
CN104935600A (zh) * 2015-06-19 2015-09-23 中国电子科技集团公司第五十四研究所 一种基于深度学习的移动自组织网络入侵检测方法与设备
CN105187411A (zh) * 2015-08-18 2015-12-23 福建省海峡信息技术有限公司 一种分布式异常检测网络数据流的方法
CN105471882A (zh) * 2015-12-08 2016-04-06 中国电子科技集团公司第三十研究所 一种基于行为特征的网络攻击检测方法及装置
CN107835201A (zh) * 2017-12-14 2018-03-23 华中师范大学 网络攻击检测方法及装置
CN108093406A (zh) * 2017-11-29 2018-05-29 重庆邮电大学 一种基于集成学习的无线传感网入侵检测方法
CN108322445A (zh) * 2018-01-02 2018-07-24 华东电力试验研究院有限公司 一种基于迁移学习和集成学习的网络入侵检测方法
CN108566364A (zh) * 2018-01-15 2018-09-21 中国人民解放军国防科技大学 一种基于神经网络的入侵检测方法
CN108881265A (zh) * 2018-06-29 2018-11-23 北京奇虎科技有限公司 一种基于人工智能的网络攻击检测方法及系统
CN109450842A (zh) * 2018-09-06 2019-03-08 南京聚铭网络科技有限公司 一种基于神经网络的网络恶意行为识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7296018B2 (en) * 2004-01-02 2007-11-13 International Business Machines Corporation Resource-light method and apparatus for outlier detection
CN102487293A (zh) * 2010-12-06 2012-06-06 中国人民解放军理工大学 基于网控的卫星通信网异常检测方法
CN104935600A (zh) * 2015-06-19 2015-09-23 中国电子科技集团公司第五十四研究所 一种基于深度学习的移动自组织网络入侵检测方法与设备
CN105187411A (zh) * 2015-08-18 2015-12-23 福建省海峡信息技术有限公司 一种分布式异常检测网络数据流的方法
CN105471882A (zh) * 2015-12-08 2016-04-06 中国电子科技集团公司第三十研究所 一种基于行为特征的网络攻击检测方法及装置
CN108093406A (zh) * 2017-11-29 2018-05-29 重庆邮电大学 一种基于集成学习的无线传感网入侵检测方法
CN107835201A (zh) * 2017-12-14 2018-03-23 华中师范大学 网络攻击检测方法及装置
CN108322445A (zh) * 2018-01-02 2018-07-24 华东电力试验研究院有限公司 一种基于迁移学习和集成学习的网络入侵检测方法
CN108566364A (zh) * 2018-01-15 2018-09-21 中国人民解放军国防科技大学 一种基于神经网络的入侵检测方法
CN108881265A (zh) * 2018-06-29 2018-11-23 北京奇虎科技有限公司 一种基于人工智能的网络攻击检测方法及系统
CN109450842A (zh) * 2018-09-06 2019-03-08 南京聚铭网络科技有限公司 一种基于神经网络的网络恶意行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YINZHAO LI ; DONGXU YANG ; JIADONG REN ; CHANGZHEN HU: "An Approach for Database Intrusion Detection Based on the Event Sequence Clustering", 《2009 FIFTH INTERNATIONAL JOINT CONFERENCE ON INC, IMS AND IDC》 *
刘新倩等: "基于流量异常分析多维优化的入侵检测方法", 《信息安全学报》 *

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110784338A (zh) * 2019-09-29 2020-02-11 许昌许继软件技术有限公司 一种智能告警处理方法及配网主站系统
CN110650153A (zh) * 2019-10-14 2020-01-03 北京理工大学 一种基于聚焦损失深度神经网络的工控网络入侵检测方法
CN110753064A (zh) * 2019-10-28 2020-02-04 中国科学技术大学 机器学习和规则匹配融合的安全检测系统
CN110753064B (zh) * 2019-10-28 2021-05-07 中国科学技术大学 机器学习和规则匹配融合的安全检测系统
WO2021082339A1 (zh) * 2019-10-28 2021-05-06 中国科学技术大学 将机器学习和规则匹配相融合的安全检测方法和设备
CN111147443A (zh) * 2019-11-18 2020-05-12 四川大学 一种基于风格迁移的网络威胁攻击特征统一量化方法
US20210185070A1 (en) * 2019-12-13 2021-06-17 Electronics And Telecommunications Research Institute Lightweight intrusion detection apparatus and method for vehicle network
CN111027686B (zh) * 2019-12-26 2023-06-16 杭州鲁尔物联科技有限公司 一种滑坡位移的预测方法、装置及设备
CN111027686A (zh) * 2019-12-26 2020-04-17 杭州鲁尔物联科技有限公司 一种滑坡位移的预测方法、装置及设备
CN111565192A (zh) * 2020-05-08 2020-08-21 南开大学 基于可信度的内网安全威胁多模型协同防御方法
CN113839904B (zh) * 2020-06-08 2023-08-22 北京梆梆安全科技有限公司 基于智能网联汽车的安全态势感知方法和系统
CN113839904A (zh) * 2020-06-08 2021-12-24 北京梆梆安全科技有限公司 基于智能网联汽车的安全态势感知方法和系统
CN111726351A (zh) * 2020-06-16 2020-09-29 桂林电子科技大学 基于Bagging改进的GRU并行网络流量异常检测方法
CN112070131A (zh) * 2020-08-25 2020-12-11 天津大学 一种基于部分深度学习理论的入侵检测方法
CN112165487A (zh) * 2020-09-27 2021-01-01 上海万向区块链股份公司 基于zeek的分布式网络安全、性能检测方法及系统
CN112165487B (zh) * 2020-09-27 2022-07-15 上海万向区块链股份公司 基于zeek的分布式网络安全、性能检测方法及系统
CN112199417A (zh) * 2020-09-30 2021-01-08 中国平安人寿保险股份有限公司 基于人工智能的数据处理方法、装置、终端及存储介质
CN112422513A (zh) * 2020-10-26 2021-02-26 浙江大学 一种基于网络流量报文的异常检测和攻击发起者分析系统
CN112422524B (zh) * 2020-10-29 2022-10-04 中国铁道科学研究院集团有限公司通信信号研究所 一种多模型综合决策的列控系统入侵检测方法
CN112422524A (zh) * 2020-10-29 2021-02-26 中国铁道科学研究院集团有限公司通信信号研究所 一种多模型综合决策的列控系统入侵检测方法
CN112615877A (zh) * 2020-12-25 2021-04-06 江苏省未来网络创新研究院 一种基于机器学习的入侵检测系统规则匹配优化方法
CN113824677A (zh) * 2020-12-28 2021-12-21 京东科技控股股份有限公司 联邦学习模型的训练方法、装置、电子设备和存储介质
CN112836215A (zh) * 2021-01-15 2021-05-25 南京航空航天大学 一种基于投票机制的人工智能主动式入侵检测方法
CN112769840A (zh) * 2021-01-15 2021-05-07 杭州安恒信息技术股份有限公司 一种基于强化学习Dyna框架的网络攻击行为识别方法
CN112887304B (zh) * 2021-01-25 2022-12-30 山东省计算中心（国家超级计算济南中心） 基于字符级神经网络的web应用入侵检测方法及系统
CN112887304A (zh) * 2021-01-25 2021-06-01 山东省计算中心（国家超级计算济南中心） 基于字符级神经网络的web应用入侵检测方法及系统
CN113569904A (zh) * 2021-06-10 2021-10-29 国电南瑞科技股份有限公司 母线接线类型辨识方法、系统、存储介质及计算设备
CN113705624A (zh) * 2021-08-06 2021-11-26 广州大学 一种用于工控系统的入侵检测方法和系统
CN113705624B (zh) * 2021-08-06 2023-05-23 广州大学 一种用于工控系统的入侵检测方法和系统
CN114372497A (zh) * 2021-08-18 2022-04-19 中电长城网际系统应用有限公司 多模态安全数据分类方法和分类系统
CN113743512A (zh) * 2021-09-07 2021-12-03 上海观安信息技术股份有限公司 一种安全告警事件自主学习判定方法及系统
CN113949530A (zh) * 2021-09-10 2022-01-18 上海电力大学 基于dfs和关联规则算法的入侵检测方法及系统
CN114499991A (zh) * 2021-12-30 2022-05-13 浙江大学 一种拟态waf中恶意流量检测和行为分析方法
CN114584350A (zh) * 2022-02-17 2022-06-03 上海师范大学 基于流形的网络数据包特征的降维及聚类的攻击识别方法
CN114584350B (zh) * 2022-02-17 2024-03-29 上海师范大学 基于流形的网络数据包特征的降维及聚类的攻击识别方法
CN114765561A (zh) * 2022-04-11 2022-07-19 西北工业大学 基于对抗性机器学习的网络入侵检测方法
CN115208658A (zh) * 2022-07-12 2022-10-18 北京网藤科技有限公司 一种工业网络攻击检测系统及其检测方法
CN115208658B (zh) * 2022-07-12 2024-02-27 北京网藤科技有限公司 一种工业网络攻击检测系统及其检测方法
CN116827694A (zh) * 2023-08-29 2023-09-29 北京安天网络安全技术有限公司 一种数据安全性检测方法及系统
CN116827694B (zh) * 2023-08-29 2023-11-24 北京安天网络安全技术有限公司 一种数据安全性检测方法及系统
CN117997652A (zh) * 2024-04-03 2024-05-07 江西师范大学 一种基于集成学习的车辆入侵检测方法及装置
CN117997652B (zh) * 2024-04-03 2024-06-07 江西师范大学 一种基于集成学习的车辆入侵检测方法及装置

Also Published As

Publication number Publication date
CN110213287B (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN110213287A (zh) 一种基于集成机器学习算法的双模式入侵检测装置
Gao et al. An adaptive ensemble machine learning model for intrusion detection
Rai et al. Decision tree based algorithm for intrusion detection
CN110784481B (zh) SDN网络中基于神经网络的DDoS检测方法及系统
CN109768985A (zh) 一种基于流量可视化与机器学习算法的入侵检测方法
CN105117322B (zh) 一种基于多源报警日志安全事件特征分析的去冗余方法
CN113922985A (zh) 一种基于集成学习的网络入侵检测方法及系统
CN107895171A (zh) 一种基于k均值与深度置信网络的入侵检测方法
CN114422184A (zh) 基于机器学习的网络安全攻击类型和威胁等级预测方法
CN105827611B (zh) 一种基于模糊推理的分布式拒绝服务网络攻击检测方法和系统
Mugabo et al. Intrusion Detection Method Based on Support Vector Machine and Information Gain for Mobile Cloud Computing.
Syarif et al. Data mining approaches for network intrusion detection: from dimensionality reduction to misuse and anomaly detection
CN116633601A (zh) 一种基于网络流量态势感知的检测方法
Lei et al. P-DNN: An effective intrusion detection method based on pruning deep neural network
Alqarni et al. Improving intrusion detection for imbalanced network traffic using generative deep learning
He et al. Supervised data synthesizing and evolving–a framework for real-world traffic crash severity classification
Oladimeji et al. A new approach for event detection using k-means clustering and neural networks
Malik et al. Performance Evaluation of Classification Algorithms for Intrusion Detection on NSL-KDD Using Rapid Miner
Thanh et al. An approach to reduce data dimension in building effective network intrusion detection systems
Samadzadeh et al. Evaluating Security Anomalies by Classifying Traffic Using Deep Learning
CN101884045A (zh) 用于传感器阵列检测及分类的混合式统计与数值模型
CN115392351A (zh) 风险用户识别方法、装置、电子设备及存储介质
Kumar et al. Attack and Anomaly Detection in IIoT Networks Using Machine Learning Techniques
CN114363065A (zh) 一种基于GSODNN和SDN的DDoS检测方法
Baig et al. An AODE-based intrusion detection system for computer networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant