CN114070641B - 一种网络入侵检测方法、装置、设备和存储介质 - Google Patents

一种网络入侵检测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114070641B
CN114070641B CN202111418475.9A CN202111418475A CN114070641B CN 114070641 B CN114070641 B CN 114070641B CN 202111418475 A CN202111418475 A CN 202111418475A CN 114070641 B CN114070641 B CN 114070641B
Authority
CN
China
Prior art keywords
data
attack
determined
class
attack data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111418475.9A
Other languages
English (en)
Other versions
CN114070641A (zh
Inventor
陈苗苗
祁学豪
陈刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Network Communication and Security Zijinshan Laboratory
Original Assignee
Network Communication and Security Zijinshan Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Network Communication and Security Zijinshan Laboratory filed Critical Network Communication and Security Zijinshan Laboratory
Priority to CN202111418475.9A priority Critical patent/CN114070641B/zh
Publication of CN114070641A publication Critical patent/CN114070641A/zh
Application granted granted Critical
Publication of CN114070641B publication Critical patent/CN114070641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种网络入侵检测方法、装置、设备和存储介质，将网络数据的特征输入至第一误用检测模型，得到正常数据或攻击数据；将攻击数据的特征输入至第一异常检测模型，得到聚类类别，计算与其所属的聚类类别的类中心之间的第一类距离；响应于第一类距离不大于预先确定的该聚类类别的第一类距离阈值，将所述攻击数据作为确定性攻击数据，输入至第二误用检测模型，得到具体攻击类型；响应于第一类距离大于预先确定的该聚类类别的第一类距离阈值，将攻击数据作为待确定攻击数据，保存到待确定攻击数据集中，判断待确定攻击数据类型是否已出现过。本发明准确检测网络数据具体类型，还能检测新攻击是否已出现过，极大提高了网络安全性和及时性。

Description

一种网络入侵检测方法、装置、设备和存储介质
技术领域
本发明涉及网络异常入侵技术领域，尤其涉及一种网络入侵检测方法、装置、设备和存储介质。
背景技术
随着计算机网络和通信技术的发展，计算机网络迅速普及，已成为全社会信息共享与交流的重要工具。网络应用在给人们带来无穷便利的同时，网络安全问题日益凸显。当今社会计算机网络面临如下问题：公民个人信息被泄露、企业数据信息被盗取以及国家重要机关被攻击。维护网络安全问题从根本上来讲是保护经济的问题，从保护网络安全、抵抗入侵的角度，很多技术和设备应运而生。最常见的是防火墙技术和防网络病毒软件。但是这些防护的技术手段大部分还是基于被动的防御策略，严重依赖历史的流量数据库。在应对不断更新的网络入侵手段方面缺乏较为主动的应对措施。因此，如何采用更为安全有效的检测技术，并且能够对海量的复杂多变的网络流量进行动态地检测以应对不同的网络攻击也成为了一个急需解决的难题。
为了弥补被动的防御策略，引入了入侵检测技术，入侵检测是指依照一定的安全策略，通过软、硬件，对网络、系统运行状况进行监视，尽可能发现各种攻击企图、攻击行为或者攻击结果，保证网络系统资源的机密性、完整性和可用性。与被动阻挡外部攻击的防火墙技术不同的是，入侵检测是一种积极主动的安全防护技术，入侵检测技术的思想为搜集网络关键节点中的交换数据并对这些数据从流量或协议类型等方面进行分析和排查，从而检测网络中是否含有违反安全策略的行为和系统存在被非法攻击的迹象。网络安全入侵检测常用误用入侵检测和异常入侵检测，误用入侵检测虽然明确知道是否是攻击以及哪种类型的攻击，通常准确度较高，但无法识别新的攻击且存在漏报。异常的入侵检测通常用聚类模型，这种方法可以识别新的攻击，却无法识别具体的攻击类型，效果相对较差。
发明内容
技术目的：针对现有技术中的缺陷，本发明公开了一种网络入侵检测方法、装置、设备和存储介质，解决了目前无法既能识别出攻击数据的具体攻击类型又能识别出新的攻击导致检测效果差的问题。
技术方案：为实现上述技术目的，本发明采用以下技术方案：一种网络入侵检测方法，包括步骤：
获取网络数据并提取特征，将网络数据的特征输入至预先构建的第一误用检测模型中，得到网络数据是正常数据或攻击数据；若是正常数据，则结束本方法；
否则，将所述攻击数据的特征输入至预先构建的第一异常检测模型，得到该攻击数据所属的聚类类别，计算该攻击数据与其所属的聚类类别的类中心之间的第一类距离；
响应于所述第一类距离不大于预先确定的该聚类类别的第一类距离阈值，将所述攻击数据作为确定性攻击数据，将确定性攻击数据的特征输入至预先构建的第二误用检测模型，得到具体攻击类型；
响应于所述第一类距离大于预先确定的该聚类类别的第一类距离阈值，将所述攻击数据作为待确定攻击数据，将待确定攻击数据的特征保存到待确定攻击数据集中，根据所述待确定攻击数据集判断待确定攻击数据类型是否为已出现过的攻击类型。
进一步的，根据所述待确定攻击数据集判断待确定攻击数据类型是否为已出现过的攻击类型，包括：
将待确定攻击数据集中数据量与预设的数据量阈值比较，若不大于所述数据量阈值，则检测结果为：待确定攻击数据类型未出现过；其中，当数据量等于数据量阈值时，根据待确定攻击数据集构建第二异常检测模型；
若大于所述数据量阈值，将待确定攻击数据的特征输入至第二异常检测模型中，得到该待确定攻击数据所属的聚类类别，计算该待确定攻击数据与其所属的聚类类别的类中心之间的第二类距离；判断所述第二类距离是否大于预先确定的该聚类类别的第二类距离阈值，若不大于，则检测结果为：待确定攻击数据类型已出现过；若大于，则检测结果为：待确定攻击数据类型未出现过。
进一步的，根据待确定攻击数据集构建第二异常检测模型，方法包括：
通过聚类算法对待确定攻击数据集中的数据进行聚类得到聚类类别和聚类中心，从而构建第二异常检测模型。
进一步的，所述第二类距离阈值获取方法，包括：
计算待确定攻击数据集中的各待确定攻击数据与其所属聚类中心的距离，进而得到各聚类类别中所有待确定攻击数据与其所属聚类中心的距离均值和方差；
根据各聚类类别的距离均值和方差计算各个聚类的第二类距离阈值。
进一步的，所述第一误用检测模型的构建方法包括：
将收集的网络数据提取特征作为样本数据，并打上样本标签：正常或攻击；
根据样本数据采用分类算法生成训练后的第一误用检测模型。
进一步的，所述第一异常检测模型的构建方法，包括：
对收集的网络数据中的攻击样本数据提取特征；
通过聚类算法构建第一异常检测模型；
对攻击样本数据进行聚类得到聚类类别和聚类中心。
进一步的，所述第一类距离阈值获取方法，包括：
计算各攻击样本数据与其所属聚类中心的距离，进而得到各聚类类别中所有攻击样本数据与其所属聚类中心的距离均值和方差；
根据各聚类类别的距离均值和方差计算各个类的第一类距离阈值。
进一步的，所述第二误用检测模型的构建方法，包括：
计算各个攻击样本数据与其对应聚类中心的距离，将不超过对应的第一类距离阈值的攻击样本数据特征保存至确定性攻击数据集中，否则保存至待确定攻击数据集中；
将确定性攻击数据集中的数据作为样本数据，并为其打上攻击类型标签；
采用分类算法生成训练后的第二误用检测模型。
一种网络入侵检测装置，其特征在于，包括：
第一误用检测模块，用于获取网络数据并提取特征，将网络数据的特征输入至预先构建的第一误用检测模型中，得到网络数据是正常数据或攻击数据；若是正常数据，则结束本方法；
第一异常检测模块，用于将所述攻击数据的特征输入至预先构建的第一异常检测模型，得到该攻击数据所属的聚类类别，计算该攻击数据与其所属的聚类类别的类中心之间的第一类距离；
第二误用检测模块，用于响应于所述第一类距离不大于预先确定的该聚类类别的第一类距离阈值，将所述攻击数据作为确定性攻击数据，将确定性攻击数据的特征输入至预先构建的第二误用检测模型，得到具体攻击类型；
第二异常检测模块，用于响应于所述第一类距离大于预先确定的该聚类类别的第一类距离阈值，将所述攻击数据作为待确定攻击数据，将待确定攻击数据的特征保存到待确定攻击数据集中，根据所述待确定攻击数据集判断待确定攻击数据类型是否为已出现过的攻击类型。
进一步的，根据所述待确定攻击数据集判断待确定攻击数据类型是否为已出现过的攻击类型，包括：
将待确定攻击数据集中数据量与预设的数据量阈值比较，若不大于所述数据量阈值，则检测结果为：待确定攻击数据类型未出现过；其中，当数据量等于数据量阈值时，根据待确定攻击数据集构建第二异常检测模型；
若大于所述数据量阈值，将待确定攻击数据的特征输入至第二异常检测模型中，得到该待确定攻击数据所属的聚类类别，计算该待确定攻击数据与其所属的聚类类别的类中心之间的第二类距离；判断所述第二类距离是否大于预先确定的该聚类类别的第二类距离阈值，若不大于，则检测结果为：待确定攻击数据类型已出现过；若大于，则检测结果为：待确定攻击数据类型未出现过。
一种网络入侵检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述的任意一项所述网络入侵检测方法。
一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于被处理器执行时实现前述的任意一项所述网络入侵检测方法。
有益效果：本发明通过预先构建第一误用检测模型能够识别是否是攻击数据，通过预先构建的第一异常检测模型能够识别攻击数据所属的聚类类别，通过第一类距离阈值，判断是确定性攻击数据还是待确定的攻击数据(即新攻击数据)，进一步通过预先构建的第二误用检测模型得到确定性攻击数据的具体攻击类型，通过待确定攻击数据集(即新攻击数据集)进一步判断待确定攻击数据类型是否已出现过；
因此，本发明不仅可以准确预测此网络数据是哪种确定性的网络攻击，而且还能检测到网络是否遭到新攻击，且能检测出新的攻击数据的攻击类型是否是已出现过，极大提高了网络安全性和及时性。
附图说明
图1为本发明实施例中的一种网络入侵检测方法流程图；
图2为本发明实施例中的一种网络入侵检测方法逻辑图；
图3为本发明实施例中的一种网络入侵检测装置模块图。
具体实施方式
以下结合附图和实施例对本发明的一种网络入侵检测方法、装置、设备和存储介质做进一步的说明和解释。
如图1和2所示，本申请实施例提供一种网络入侵检测方法，包括步骤：
步骤S01，获取网络数据并提取特征，将网络数据特征输入至预先构建的第一误用检测模型中，得到网络数据是正常数据或攻击数据；若是正常数据，本次网络入侵检测的结果为：网络数据为正常数据，结束本方法；否则，进入步骤S02；
步骤S02，将所述攻击数据的特征输入至预先构建的第一异常检测模型，得到该攻击数据所属的聚类类别，计算该攻击数据与其所属的聚类类别的类中心之间的第一类距离；
步骤S03，若所述第一类距离不大于预先确定的该聚类类别的第一类距离阈值，将所述攻击数据作为确定性攻击数据；将确定性攻击数据的特征输入至预先构建的第二误用检测模型，得到具体攻击类型；本次网络入侵检测的结果为：网络数据为确定性攻击数据，并输出具体攻击类型；
步骤S04，若所述第一类距离大于预先确定的该聚类类别的第一类距离阈值，将所述攻击数据作为待确定攻击数据(即新攻击数据，以下均称之为新攻击数据)，将新攻击数据的特征保存到待确定攻击数据集(即新攻击数据集，以下均称之为新攻击数据集)中，进一步判断新攻击数据类型是否为已出现过的攻击类型。
其中，步骤S03和步骤S04的顺序可互换。
在其中一个实施例中，网络数据的特征可以为流量特征，也可以根据需求选择其他特征，本发明对特征的类型不做限定。本发明中提及的任何特征均是同样的特征，例如都是流量特征。
在其中一个实施例中，第一误用检测模型用于对网络数据初步检测为正常或者异常数据，通过分类算法训练生成；
具体的，采用分类算法生成第一误用检测模型的方法，包括步骤：
1)获取第一误用检测模型的样本数据；
具体的：将线下收集到的网络数据提取特征作为样本数据，并打上样本标签：正常(例如，将样本标签设置为0)或攻击(例如，将样本标签设置为1)；所述网络数据的特征和样本标签保存到网络安全数据集中；
2)根据样本数据采用分类算法生成训练后的第一误用检测模型，第一误用检测模型的输出为正常数据(例如，输出结果为0)或攻击数据(例如，输出结果为1)；
所述分类算法为二分类算法，可采用xgboost算法，xgboost算法速度快、效果好，可以防止过拟合。
在其中一个实施例中，所述第一异常检测模型用于对攻击数据的特征判断其所属的聚类类别，通过聚类算法构建，第一异常检测模型的输入为所述攻击数据特征，输出为攻击数据所属的聚类类别；所述攻击数据的特征保存到攻击数据集中，用于不断的扩大攻击数据集中的样本数量，以便更新第一异常检测模型；
具体的，通过聚类算法构建第一异常检测模型的方法，包括步骤：
1)对线下收集的网络数据中的攻击样本数据提取特征，将攻击样本数据的特征保存到攻击数据集中；
2)通过聚类算法对攻击样本数据进行聚类得到聚类类别和聚类中心：其中，K1是攻击样本数据聚类中心个数。
所述聚类算法可以为K-means算法，通过聚类得到若干个聚类类别及其对应的类中心。通过上述构建方法得到第一异常检测模型，可用于识别输入的攻击数据属于哪个聚类类别。
所述第一类距离阈值获取方法，包括：
计算各攻击样本数据与其所属聚类中心的距离，进而得到每个聚类类别中所有攻击样本数据与其所属聚类中心的距离均值和方差，根据均值加3倍标准差方法，得到每个类距离上界，即每个类的第一类距离阈值。
本实施例中采用均值加3倍标准差的方法得到第一类距离阈值为优选的方式，当然也可以设定其他的阈值；
在其中一个实施例中，第二误用检测模型用于判定确定性攻击数据的具体攻击类型，通过分类算法训练构建；
具体的，采用分类算法生成第二误用检测模型的方法，包括步骤：
1)计算各个攻击样本数据与对应聚类中心的距离，将不超过对应的第一类距离阈值的攻击样本数据作为确定性攻击数据特征，保存至确定性攻击数据集中；否则作为新攻击数据特征，保存至新攻击数据集中；
2)将确定性攻击数据集中的数据作为样本数据，并为其打上攻击类型标签；
3)采用分类算法生成训练后的第二误用检测模型，第二误用检测模型的输出为具体类型。
例如：攻击类型标签可以包括：DOS攻击数据的攻击类型标签，可设置为0；PROBE攻击数据的攻击类型标签，可设置为1；R2L攻击数据的攻击类型标签，可设置为2；U2R攻击数据的攻击类型标签，可设置为3。
分类算法可采用xgboost算法，xgboost算法速度快、效果好，可以防止过拟合。
在其中一个实施例中，所述根据所述新攻击数据集判断新攻击数据类型是否为已出现过的攻击类型，包括：
将新攻击数据集中数据量与预设的数据量阈值(即预设值，以下均称之为预设值)比较，若不大于预设值，则本次网络入侵检测结果为：新攻击数据为未出现过的攻击类型；其中，当所述数据量等于预设值时，根据新攻击数据集构建第二异常检测模型；
若大于预设值，将新攻击数据的特征输入至第二异常检测模型中，得到该新攻击数据的聚类类别，计算该新攻击数据与其所属的聚类类别的类中心之间的第二类距离；判断所述第二类距离是否大于预先确定的该聚类类别的第二类距离阈值，若不大于，则本次网络入侵检测的结果为：新攻击数据类型为出现过的攻击类型；若大于，则本次网络入侵检测的结果为：新攻击数据类型为未出现过的攻击类型。
具体的，根据新攻击数据集构建第二异常检测模型的方法，包括：
当新攻击数据集中的数据达到设定值时，通过聚类算法对新攻击数据集中的数据进行聚类得到聚类类别和聚类中心：其中，K2是新攻击数据聚类中心的个数；
所述聚类算法可以为KPrototypes聚类算法，通过聚类得到若干个聚类类别及其对应的类中心。通过上述构建方法得到第二异常检测模型，可用于识别输入的新攻击数据属于哪个聚类类别。
所述第二类距离阈值获取方法，包括：
计算新攻击数据集中的每个新攻击数据与其所属聚类中心的距离，进而得到每个聚类类别中所有新攻击数据与其所属聚类中心的距离均值和方差，根据均值加3倍标准差方法，得到每个类距离上界，即每个类的第二类距离阈值；
本实施例中采用均值加3倍标准差的方法得到第二类距离阈值为优选的方式，当然也可以设定其他的阈值；
在其中一个实施例中，网络安全数据集、攻击数据集和确定性攻击数据集中的数据量到达预设阈值后，对相应的第一误用检测模型、第一异常检测模型和第二误用检测模型进行线下更新，也可以定期进行更新。网络安全数据集、攻击数据集和确定性攻击数据集、新攻击数据集中的初始数据是根据线下收集的网络数据进行训练各个模型时得到的；在线进行网络入侵检测时，将新获取的网络数据、攻击数据、确定性攻击数据、新攻击数据的特征分别保存到对应的数据集中，可扩充数据集，以便定期更新模型。
本发明在线下训练和线上检测的过程中通过误用检测和异常检测的双重使用，不仅可以准确预测此网络数据是哪种确定性的网络攻击，而且还能预测此网络是否遭到新攻击，且能检测出新的攻击是否是已出现过，极大提高了网络安全性和及时性。
另外，将每次线上检测到新的攻击，保存到新攻击数据集中，增强了数据库的全面性。在复杂多变的互联网环境中准确地从流量数据中检测出网络入侵行为，从而能进一步保障网络环境的安全。
随着新攻击数据集中的某种新攻击数据越来越多，可将同一类新攻击标记为已知的攻击类型，将其打上对应的标签，作为攻击样本数据，重新训练第一误用检测模型、第一异常检测模型、第二误用检测模型，增加模型预测的准确性。
如附图3所示，本实施例提供一种网络入侵检测装置，包括：
第一误用检测模块，用于获取网络数据并提取特征，将网络数据的特征输入至预先构建的第一误用检测模型中，得到网络数据是正常数据或攻击数据；若是正常数据，则结束本方法；
第一异常检测模块，用于将所述攻击数据的特征输入至预先构建的第一异常检测模型，得到该攻击数据所属的聚类类别，计算该攻击数据与其所属的聚类类别的类中心之间的第一类距离；
第二误用检测模块，用于响应于所述第一类距离不大于预先确定的该聚类类别的第一类距离阈值，将所述攻击数据作为确定性攻击数据，将确定性攻击数据的特征输入至预先构建的第二误用检测模型，得到具体攻击类型；
第二异常检测模块，用于响应于所述第一类距离大于预先确定的该聚类类别的第一类距离阈值，将所述攻击数据作为待确定攻击数据，将待确定攻击数据的特征保存到待确定攻击数据集中，根据所述待确定攻击数据集判断待确定攻击数据类型是否为已出现过的攻击类型。
进一步的，根据所述待确定攻击数据集判断待确定攻击数据类型是否为已出现过的攻击类型，包括：
将待确定攻击数据集中数据量与预设的数据量阈值比较，若不大于所述数据量阈值，则检测结果为：待确定攻击数据类型未出现过；其中，当数据量等于数据量阈值时，根据待确定攻击数据集构建第二异常检测模型；
若大于所述数据量阈值，将待确定攻击数据的特征输入至第二异常检测模型中，得到该待确定攻击数据所属的聚类类别，计算该待确定攻击数据与其所属的聚类类别的类中心之间的第二类距离；判断所述第二类距离是否大于预先确定的该聚类类别的第二类距离阈值，若不大于，则检测结果为：待确定攻击数据类型已出现过；若大于，则检测结果为：待确定攻击数据类型未出现过。
进一步的，根据待确定攻击数据集构建第二异常检测模型，方法包括：
通过聚类算法对待确定攻击数据集中的数据进行聚类得到聚类类别和聚类中心，从而构建第二异常检测模型。
进一步的，所述第二类距离阈值获取方法，包括：
计算待确定攻击数据集中的各待确定攻击数据与其所属聚类中心的距离，进而得到各聚类类别中所有待确定攻击数据与其所属聚类中心的距离均值和方差；
根据各聚类类别的距离均值和方差计算各个聚类的第二类距离阈值。
进一步的，所述第一误用检测模型的构建方法包括：
将收集的网络数据提取特征作为样本数据，并打上样本标签：正常或攻击；
根据样本数据采用分类算法生成训练后的第一误用检测模型。
进一步的，所述第一异常检测模型的构建方法，包括：
对收集的网络数据中的攻击样本数据提取特征；
通过聚类算法对攻击样本数据进行聚类得到聚类类别和聚类中心，从而构建第一异常检测模型。
进一步的，所述第一类距离阈值获取方法，包括：
计算各攻击样本数据与其所属聚类中心的距离，进而得到各聚类类别中所有攻击样本数据与其所属聚类中心的距离均值和方差；
根据各聚类类别的距离均值和方差计算各个类的第一类距离阈值。
进一步的，所述第二误用检测模型的构建方法，包括：
计算各个攻击样本数据与其对应聚类中心的距离，将不超过对应的第一类距离阈值的攻击样本数据特征保存至确定性攻击数据集中，否则保存至待确定攻击数据集中；
将确定性攻击数据集中的数据作为样本数据，并为其打上攻击类型标签；
采用分类算法生成训练后的第二误用检测模型。
本发明在线下训练和线上检测的过程中通过误用检测和异常检测的双重使用，不仅可以准确预测此网络数据是哪种确定性的网络攻击，而且还能预测此网络是否遭到新攻击，且能检测出新的攻击是否是已出现过，极大提高了网络安全性和及时性。
另外，将每次线上检测到新的攻击，保存到新攻击数据集中，增强了数据库的全面性。在复杂多变，互联网环境中准确地从流量数据中检测出网络入侵行为，从而能进一步保障网络环境的安全。
本实施例提供一种网络入侵检测设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述的任意一项所述网络入侵检测方法。
以及，一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于被处理器执行时实现前述的任意一项所述网络入侵检测方法。
实验验证：
1)训练数据集的选择：将入侵检测KDD CUP数据集中训练集的10％数据作为样本数据，即145586个样本数据，每条样本数据包含41个特征，其中TCP链接基本特征(共计9种)、TCP链接的内容特征(共计13种)、基于时间的网络流量统计特征(共计9种)和基于主机的网络流量统计特征(共计10种)，结合已知的分类42项具体攻击类型，将异常类型合并划分为四类：DOS(拒绝服务)，PROBE(监视和其他探测活动)，R2L(未经授权的远程访问)和U2R(未经授权访问本地管理员权限)，得到正常样本数据87832，DOS攻击样本54572，PROBE攻击样本2131，R2L攻击样本999，U2R攻击样本52。将样本数据的特征和样本标签存入网络安全数据集；
2)测试数据集的选择：获取入侵检测KDD CUP数据集中测试数据集77291个样本，其中正常样本数据47913，DOS攻击样本21720，PROBE攻击样本1269，R2L攻击样本2328，U2R攻击样本39以及新攻击样本4022。本实验中将训练数据集进行分成抽样，将入侵检测KDDCUP数据集中的样本数据提取出训练数据集和用于交叉验证的测试数据集，分成抽样是为了对数据采样，防止数据的不一致带来预测偏差。
训练数据集的选取，除了本实施例中从入侵检测KDD CUP数据集中获取，还可以从DARPA数据集、NSL-KDD数据集、DDos dataset数据集、Dos dataset数据集、IPS/IDSdataset数据集等等获取。
3)线下训练过程：
3.1)将训练数据集样本按样本标签分成0类(网络正常)和1类(网络异常，包括：DOS、PROBE、R2L、U2R)，采用xgboost算法进行二分类建模，得到第一误用检测模型；
3.2)将网络安全数据集中样本标签为1类的数据作为攻击数据，将所有攻击数据特征保存至攻击数据集，并对攻击数据集中攻击数据特征采用Kmeans聚类，得到第一异常检测模型和对应聚类的第一类距离阈值。
3.3)将在第一类距离阈值内的攻击数据作为确定性攻击数据，将训练数据集样本按标签分成0类＝DOS、1类＝PROBE、2类＝R2L和3类＝U2R，将确定性攻击数据特征及攻击类型标签保存至确定性攻击数据集中，采用xgboost算法进行四分类建模，得到第二误用检测模型。
3.4)将所有超过第一类距离阈值的攻击数据作为新攻击数据，将新攻击数据特征保存至新攻击数据集中，当新攻击数据集中数据特征量达到一定数量时，这里设定N＝4000，对新攻击数据集中的数据特征采用KPrototypes聚类，得到第二异常检测模型和对应聚类的第二类距离阈值。当新攻击数据集数据特征量小于4000时，直接输出新攻击数据类型为未出现过的攻击；当新攻击数据集数据特征量大于4000时，通过第二异常检测模型和第二类距离阈值得到新攻击数据类型是否已出现过。训练效果见表格1，其精准率和查全率均在0.9以上。
表格1训练结果
样本标签 精准率 查全率
正常 0.99 0.99
DOS 0.99 0.98
PROBE 0.98 0.95
R2L 0.96 0.95
U2R 0.94 0.9
4)线上预测过程
4.1)将网络数据特征存入网络安全数据集，根据第一误用检测模型得到预测结果是0或者1，当结果为0，则表明数据正常，否则存在攻击。
4.2)当预测结果为1即表示存在攻击时，将攻击数据特征存入攻击数据集，根据第一异常检测模型得到此攻击数据的所属聚类类别，计算与其聚类中心的第一类距离。
4.3)当第一类距离在对应的第一类距离阈值内，则根据第二误用检测模型得到具体的攻击类型，并将攻击数据特征存入确定性攻击数据集。
4.4)当第一类距离超过对应的第一类距离阈值，则将攻击数据作为新攻击数据，将新攻击数据特征存入新攻击数据集，当新攻击数据集中数据特征量小于等于4000，则直接输出未出现过的攻击，否则，根据第二异常检测模型得到所属类别，计算与类中心的第二类距离，当第二类距离在第二类距离阈值范围内则输出出现过的新攻击，否则输出未出现过的新攻击。预测效果见表格2，其针对已有攻击类型标签的攻击精准率和查全率在0.5以上，针对新攻击的精准率和查全率在0.62以上，具体地，针对正常数据的检测，精准率和查全率分别为0.91和0.99，针对DOS的检测，精准率和查全率分别为0.97和0.98，针对PROBE的检测，精准率和查全率分别为0.72和0.78，针对R2L的检测，精准率和查全率分别为0.9和0.85，针对U2R的检测，精准率和查全率分别为0.78和0.52(U2R攻击样本数据为52，数据不够丰富，因此精准率和查全率数值均较低)，针对新攻击的检测，精准率和查全率分别为0.62和0.73，也就是说，本发明不仅具有高精度检测已知攻击的模式，还具有检测新攻击的能力，能够在复杂多变，互联网环境中准确地从流量数据中检测出网络入侵行为，从而能进一步保障网络环境的安全。
表格2预测结果
样本标签 精准率 查全率
正常 0.91 0.99
DOS 0.97 0.98
PROBE 0.72 0.78
R2L 0.9 0.85
U2R 0.78 0.52
新攻击 0.62 0.73
以上所述仅是本发明的优选实施方式，应当指出：对于本技木领域的普通技木人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种网络入侵检测方法，其特征在于，包括步骤：
获取网络数据并提取特征，将网络数据的特征输入至预先构建的第一误用检测模型中，得到网络数据是正常数据或攻击数据；若是正常数据，则结束本方法；
否则，将所述攻击数据的特征输入至预先构建的第一异常检测模型，得到该攻击数据所属的聚类类别，计算该攻击数据与其所属的聚类类别的类中心之间的第一类距离；
响应于所述第一类距离不大于预先确定的该聚类类别的第一类距离阈值，将所述攻击数据作为确定性攻击数据，将确定性攻击数据的特征输入至预先构建的第二误用检测模型，得到具体攻击类型；
响应于所述第一类距离大于预先确定的该聚类类别的第一类距离阈值，将所述攻击数据作为待确定攻击数据，将待确定攻击数据的特征保存到待确定攻击数据集中，根据所述待确定攻击数据集判断待确定攻击数据类型是否为已出现过的攻击类型。
2.根据权利要求1所述的一种网络入侵检测方法，其特征在于，根据所述待确定攻击数据集判断待确定攻击数据类型是否为已出现过的攻击类型，包括：
将待确定攻击数据集中数据量与预设的数据量阈值比较，若不大于所述数据量阈值，则检测结果为：待确定攻击数据类型未出现过；其中，当数据量等于数据量阈值时，根据待确定攻击数据集构建第二异常检测模型；
若大于所述数据量阈值，将待确定攻击数据的特征输入至第二异常检测模型中，得到该待确定攻击数据所属的聚类类别，计算该待确定攻击数据与其所属的聚类类别的类中心之间的第二类距离；判断所述第二类距离是否大于预先确定的该聚类类别的第二类距离阈值，若不大于，则检测结果为：待确定攻击数据类型已出现过；若大于，则检测结果为：待确定攻击数据类型未出现过。
3.根据权利要求2所述的一种网络入侵检测方法，其特征在于，根据待确定攻击数据集构建第二异常检测模型，方法包括：
通过聚类算法对待确定攻击数据集中的数据进行聚类得到聚类类别和聚类中心，从而构建第二异常检测模型。
4.根据权利要求3所述的一种网络入侵检测方法，其特征在于，所述第二类距离阈值获取方法，包括：
计算待确定攻击数据集中的各待确定攻击数据与其所属聚类中心的距离，进而得到各聚类类别中所有待确定攻击数据与其所属聚类中心的距离均值和方差；
根据各聚类类别的距离均值和方差计算各个聚类的第二类距离阈值。
5.根据权利要求1所述的一种网络入侵检测方法，其特征在于，所述第一误用检测模型的构建方法包括：
将收集的网络数据提取特征作为样本数据，并打上样本标签：正常或攻击；
根据样本数据采用分类算法生成训练后的第一误用检测模型。
6.根据权利要求1所述的一种网络入侵检测方法，其特征在于，所述第一异常检测模型的构建方法，包括：
对收集的网络数据中的攻击样本数据提取特征；
通过聚类算法构建第一异常检测模型；
对攻击样本数据进行聚类得到聚类类别和聚类中心。
7.根据权利要求6所述的一种网络入侵检测方法，其特征在于，所述第一类距离阈值获取方法，包括：
计算各攻击样本数据与其所属聚类中心的距离，进而得到各聚类类别中所有攻击样本数据与其所属聚类中心的距离均值和方差；
根据各聚类类别的距离均值和方差计算各个类的第一类距离阈值。
8.根据权利要求7所述的一种网络入侵检测方法，其特征在于，所述第二误用检测模型的构建方法，包括：
计算各个攻击样本数据与其对应聚类中心的距离，将不超过对应的第一类距离阈值的攻击样本数据特征保存至确定性攻击数据集中，否则保存至待确定攻击数据集中；
将确定性攻击数据集中的数据作为样本数据，并为其打上攻击类型标签；
采用分类算法生成训练后的第二误用检测模型。
9.一种网络入侵检测装置，其特征在于，包括：
第一误用检测模块，用于获取网络数据并提取特征，将网络数据的特征输入至预先构建的第一误用检测模型中，得到网络数据是正常数据或攻击数据；若是正常数据，则结束本方法；
第一异常检测模块，用于将所述攻击数据的特征输入至预先构建的第一异常检测模型，得到该攻击数据所属的聚类类别，计算该攻击数据与其所属的聚类类别的类中心之间的第一类距离；
第二误用检测模块，用于响应于所述第一类距离不大于预先确定的该聚类类别的第一类距离阈值，将所述攻击数据作为确定性攻击数据，将确定性攻击数据的特征输入至预先构建的第二误用检测模型，得到具体攻击类型；
第二异常检测模块，用于响应于所述第一类距离大于预先确定的该聚类类别的第一类距离阈值，将所述攻击数据作为待确定攻击数据，将待确定攻击数据的特征保存到待确定攻击数据集中，根据所述待确定攻击数据集判断待确定攻击数据类型是否为已出现过的攻击类型。
10.根据权利要求9所述的一种网络入侵检测装置，其特征在于，根据所述待确定攻击数据集判断待确定攻击数据类型是否为已出现过的攻击类型，包括：
将待确定攻击数据集中数据量与预设的数据量阈值比较，若不大于所述数据量阈值，则检测结果为：待确定攻击数据类型未出现过；其中，当数据量等于数据量阈值时，根据待确定攻击数据集构建第二异常检测模型；
若大于所述数据量阈值，将待确定攻击数据的特征输入至第二异常检测模型中，得到该待确定攻击数据所属的聚类类别，计算该待确定攻击数据与其所属的聚类类别的类中心之间的第二类距离；判断所述第二类距离是否大于预先确定的该聚类类别的第二类距离阈值，若不大于，则检测结果为：待确定攻击数据类型已出现过；若大于，则检测结果为：待确定攻击数据类型未出现过。
11.一种网络入侵检测设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1～8中任意一项所述网络入侵检测方法。
12.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于被处理器执行时实现如权利要求1～8中任意一项所述网络入侵检测方法。
CN202111418475.9A 2021-11-25 2021-11-25 一种网络入侵检测方法、装置、设备和存储介质 Active CN114070641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111418475.9A CN114070641B (zh) 2021-11-25 2021-11-25 一种网络入侵检测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111418475.9A CN114070641B (zh) 2021-11-25 2021-11-25 一种网络入侵检测方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN114070641A CN114070641A (zh) 2022-02-18
CN114070641B true CN114070641B (zh) 2024-02-27

Family

ID=80276460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111418475.9A Active CN114070641B (zh) 2021-11-25 2021-11-25 一种网络入侵检测方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114070641B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116383771B (zh) * 2023-06-06 2023-10-27 云南电网有限责任公司信息中心 基于变分自编码模型的网络异常入侵检测方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776828B1 (ko) * 2006-08-25 2007-11-19 고려대학교 산학협력단 유비쿼터스 홈네트워크 환경의 침입탐지 방법, 그 기록 매체 및 유비쿼터스 홈네트워크 환경의 침입탐지 장치
CN110086767A (zh) * 2019-03-11 2019-08-02 中国电子科技集团公司电子科学研究院 一种混合入侵检测系统及方法
CN110691100A (zh) * 2019-10-28 2020-01-14 中国科学技术大学 基于深度学习的分层网络攻击识别与未知攻击检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060161982A1 (en) * 2005-01-18 2006-07-20 Chari Suresh N Intrusion detection system
KR20160095856A (ko) * 2015-02-04 2016-08-12 한국전자통신연구원 새로운 공격 유형의 자동 탐지 및 공격 유형 모델 갱신을 통한 지능형 침입 탐지 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776828B1 (ko) * 2006-08-25 2007-11-19 고려대학교 산학협력단 유비쿼터스 홈네트워크 환경의 침입탐지 방법, 그 기록 매체 및 유비쿼터스 홈네트워크 환경의 침입탐지 장치
CN110086767A (zh) * 2019-03-11 2019-08-02 中国电子科技集团公司电子科学研究院 一种混合入侵检测系统及方法
CN110691100A (zh) * 2019-10-28 2020-01-14 中国科学技术大学 基于深度学习的分层网络攻击识别与未知攻击检测方法

Also Published As

Publication number Publication date
CN114070641A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
Hassan Network intrusion detection system using genetic algorithm and fuzzy logic
CN112235283A (zh) 一种基于脆弱性描述攻击图的电力工控系统网络攻击评估方法
US20150371044A1 (en) Targeted security alerts
CN105553998A (zh) 一种网络攻击异常检测方法
CN106295349A (zh) 账号被盗的风险识别方法、识别装置及防控系统
CN105009132A (zh) 基于置信因子的事件关联
CN103581186A (zh) 一种网络安全态势感知方法及系统
CN110417772A (zh) 攻击行为的分析方法及装置、存储介质、电子装置
CN111600880A (zh) 异常访问行为的检测方法、系统、存储介质和终端
CN113269389A (zh) 基于深度信念网的网络安全态势评估和态势预测建模方法
CN114915479B (zh) 一种基于Web日志的Web攻击阶段分析方法及系统
CN111786950A (zh) 基于态势感知的网络安全监控方法、装置、设备及介质
CN115150182B (zh) 基于流量分析的信息系统网络攻击检测方法
Mangrulkar et al. Network attacks and their detection mechanisms: A review
CN112165470A (zh) 一种基于日志大数据分析的智能终端接入安全预警系统
CN114070641B (zh) 一种网络入侵检测方法、装置、设备和存储介质
Sharma et al. WLI-FCM and artificial neural network based cloud intrusion detection system
CN113364745A (zh) 一种日志收集与分析处理方法
CN115795330A (zh) 一种基于ai算法的医疗信息异常检测方法及系统
CN117478433B (zh) 一种网络与信息安全动态预警系统
CN106993005A (zh) 一种网络服务器的预警方法及系统
Kadam et al. Various approaches for intrusion detection system: an overview
CN113032774A (zh) 异常检测模型的训练方法、装置、设备及计算机存储介质
Patel et al. Hybrid relabeled model for network intrusion detection
Baich et al. Machine Learning for IoT based networks intrusion detection: a comparative study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant