CN107145778B - 一种入侵检测方法及装置 - Google Patents

一种入侵检测方法及装置 Download PDF

Info

Publication number
CN107145778B
CN107145778B CN201710308371.XA CN201710308371A CN107145778B CN 107145778 B CN107145778 B CN 107145778B CN 201710308371 A CN201710308371 A CN 201710308371A CN 107145778 B CN107145778 B CN 107145778B
Authority
CN
China
Prior art keywords
data
cluster
training
clustering
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710308371.XA
Other languages
English (en)
Other versions
CN107145778A (zh
Inventor
姚海鹏
王淇艺
章扬
张培颖
王露瑶
殷志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201710308371.XA priority Critical patent/CN107145778B/zh
Publication of CN107145778A publication Critical patent/CN107145778A/zh
Application granted granted Critical
Publication of CN107145778B publication Critical patent/CN107145778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/552Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种入侵检测方法及装置,应用于服务器,方法包括:以预设修正率对待检测入侵数据进行采样,将采样得到的数据作为修正数据;对训练数据和修正数据进行聚类处理,获得分类聚类簇;对每个分类聚类簇进行分类模型训练,获得每个分类聚类簇对应的分类模型;利用获得的分类模型对剩余数据进行分类,获得剩余数据的攻击类型,并将所获得的攻击类型确定为待检测入侵数据的攻击类型,其中,剩余数据为:待检测入侵数据中除修正数据之外的数据。应用本发明实施例所提供的方案,通过将待检测入侵数据应用到分类模型的构建过程中,来获得分类模型,能够使得获得的分类模型对数据分类的结果较为准确,进而可以提高入侵检测算法的准确率。

Description

一种入侵检测方法及装置
技术领域
本发明涉及检测技术领域,特别是涉及一种入侵检测方法及装置。
背景技术
IDS(Intrusion Detection System,入侵检测系统)是一种主动的、动态的安全防护技术。它不仅可以检测到已知类型的攻击,对于未知类型攻击也有一定的检测效果。IDS基本架构分为三层:数据收集层、入侵检测层、响应处理层。
其中,入侵检测层是IDS的核心,直接影响甚至决定IDS性能的好坏。入侵检测方法有:FCANN(Artificial Neural Networks and Fuzzy Clustering,人工神经网络及模糊C均值聚类)入侵检测算法、FPANK(Neural Network and K-Means Clustering overFeature Selection by PCA,经过PCA降维后的神经网络和kmeans聚类结合算法)入侵检测算法,其中,PCA为:主成分分析(Principal Component Analysis)的缩写。
应用现有技术进行入侵检测时,将待检测入侵数据输入至入侵检测算法的预先训练得到的分类模型,得到待检测入侵数据的分类结果,然后对分类结果进行聚合,得到待检测入侵数据的攻击类型,从而得到最终的检测结果。
入侵检测算法为FCANN入侵检测算法时,上述预先训练得到的分类模型按照以下方式训练得到:将训练数据使用模糊C均值聚类的方式进行聚类处理,再分别对每一个聚类簇通过ANN(Artificial Neural Networks,人工神经网络)方法进行分类模型训练,得到分类模型,其中,一个聚类簇对应一个分类模型。
入侵检测算法为FPANK入侵检测算法时,上述预先训练得到的分类模型按照以下方式训练得到:按照PCA降维和特征选择方法对训练数据进行数据预处理,对数据预处理后的训练数据进行K-means聚类,再用神经网络算法对每个聚类簇进行分类模型训练,得到分类模型,其中,一个聚类簇对应一个分类模型。
可见现有技术中,入侵检测方法大多是只对训练数据进行聚类,然后对每个聚类簇进行分类模型训练,利用训练好的分类模型对待检测入侵数据进行分类。这样的话,由于在实际应用中,待检测入侵数据可能会与训练数据有很大的不同,因此这种只对训练数据进行聚类的入侵检测方法对待检测入侵数据的分类准确率较低,进而导致检测准确率较低。
发明内容
本发明实施例的目的在于提供一种入侵检测方法及装置,以提高检测准确率。具体技术方案如下:
一种入侵检测方法,应用于服务器,包括:
以预设修正率对待检测入侵数据进行采样,将采样得到的数据作为修正数据;
对训练数据和所述修正数据进行聚类处理,获得分类聚类簇;
对每个分类聚类簇进行分类模型训练,获得每个分类聚类簇对应的分类模型;
利用获得的分类模型对剩余数据进行分类,获得所述剩余数据的攻击类型,并将所获得的攻击类型确定为所述待检测入侵数据的攻击类型,其中,所述剩余数据为:所述待检测入侵数据中除所述修正数据之外的数据。
可选地,对训练数据和所述修正数据进行聚类处理,获得分类聚类簇,包括:
按照预设的预处理算法对所述修正数据以及所述训练数据进行数据预处理;
对数据预处理后的所述训练数据和修正数据进行聚类处理,获得分类聚类簇。
可选地,所述对数据预处理后的所述训练数据和修正数据进行聚类处理,获得分类聚类簇,包括:
对数据预处理后的所述训练数据进行聚类处理,获得训练聚类簇和训练聚类模型;
利用所述训练聚类模型对数据预处理后的所述修正数据进行聚类,获得修正聚类簇;
将所述修正聚类簇和所述训练聚类簇中簇标识相同的聚类簇合并,得到第一类分类簇;
将第一类微类别数据和第二类微类别数据合并,得到微类别分类簇,其中,所述第一类微类别数据为:数据预处理后的所述训练数据中的所有微类别数据,所述第二类微类别数据为:数据预处理后的所述修正数据中的所有微类别数据,所述微类别数据为:数据类别不属于预设类别,且数据数量小于预设阈值的数据;
将所述微类别分类簇分别与所述第一类分类簇中的分类簇合并,得到分类聚类簇。
可选地,所述预处理算法包括:因子数值化、连续变量归一化和特征选择。
可选地,所述利用获得的分类模型对剩余数据进行分类,获得所述剩余数据的攻击类型,包括:
对剩余数据进行数据预处理,并利用所述训练聚类模型对数据预处理后的所述剩余数据进行聚类处理;
利用获得的分类模型对聚类处理后的所述剩余数据进行分类,获得所述剩余数据的攻击类型。
本发明实施例还提供了一种入侵检测装置,应用于服务器,包括:
采样模块,用于以预设修正率对待检测入侵数据进行采样,将采样得到的数据作为修正数据;
聚类模块,用于对训练数据和所述修正数据进行聚类处理,获得分类聚类簇;
分类模块,用于对每个分类聚类簇进行分类模型训练,获得每个分类聚类簇对应的分类模型;
检测模块,用于利用获得的分类模型对剩余数据进行分类,获得所述剩余数据的攻击类型,并将所获得的攻击类型确定为所述待检测入侵数据的攻击类型,其中,所述剩余数据为:所述待检测入侵数据中除所述修正数据之外的数据。
可选地,所述聚类模块包括:
预处理子模块,用于按照预设的预处理算法对所述修正数据以及所述训练数据进行数据预处理;
聚类处理子模块,用于对数据预处理后的所述训练数据和修正数据进行聚类处理,获得分类聚类簇。
可选地,所述聚类处理子模块包括:
训练数据聚类单元,用于对数据预处理后的所述训练数据进行聚类处理,获得训练聚类簇和训练聚类模型;
修正数据聚类单元,用于利用所述训练聚类模型对数据预处理后的所述修正数据进行聚类,获得修正聚类簇;
聚类簇合并单元,用于将所述修正聚类簇和所述训练聚类簇中簇标识相同的聚类簇合并,得到第一类分类簇;
微类别数据合并单元,用于将第一类微类别数据和第二类微类别数据合并,得到微类别分类簇,其中,所述第一类微类别数据为:数据预处理后的所述训练数据中的所有微类别数据,所述第二类微类别数据为:数据预处理后的所述修正数据中的所有微类别数据,所述微类别数据为:数据类别不属于预设类别,且数据数量小于预设阈值的数据;
分类簇合并单元,用于将所述微类别分类簇分别与所述第一类分类簇中的分类簇合并,得到分类聚类簇。
可选地,所述预处理算法包括:因子数值化、连续变量归一化和特征选择。
可选地,所述检测模块包括:
数据预处理子模块,用于对剩余数据进行数据预处理,并利用所述训练聚类模型对数据预处理后的所述剩余数据进行聚类处理;
数据分类子模块,用于利用获得的分类模型对聚类处理后的所述剩余数据进行分类,获得所述剩余数据的攻击类型。
本发明实施例所提供的一种入侵检测方法及装置,以预设修正率对待检测入侵数据进行采样,将采样得到的数据作为修正数据;对训练数据和修正数据进行聚类处理,获得分类聚类簇;对每个分类聚类簇进行分类模型训练,获得每个分类聚类簇对应的分类模型;利用获得的分类模型对剩余数据进行分类,获得剩余数据的攻击类型,并将所获得的攻击类型确定为待检测入侵数据的攻击类型,其中,剩余数据为:待检测入侵数据中除修正数据之外的数据。通过将待检测入侵数据应用到分类模型的构建过程中来获得分类模型,能够使得获得的分类模型对数据分类的结果较为准确,进而可以提高入侵检测算法的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种入侵检测方法的第一种示意图;
图2为本发明实施例所提供的一种入侵检测方法的第二种示意图;
图3为本发明实施例所提供的一种入侵检测装置的第一种结构示意图;
图4为本发明实施例所提供的一种入侵检测装置的第二种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
参见图1,图1为本发明实施例所提供的一种入侵检测方法的第一种示意图,该方法应用于服务器,如图1所示,该方法包括以下步骤:
S110,以预设修正率对待检测入侵数据进行采样,将采样得到的数据作为修正数据。
本实施例与现有技术中的入侵检测算法不同。现有技术中会预先对训练数据进行聚类处理,获得分类模型。而本实施例中,服务器没有预先对训练数据进行聚类处理,而是先以预设修正率对待检测入侵数据进行采样,将采样得到的数据作为修正数据。
例如,服务器可以以0.1%或0.01%为修正率对待检测入侵数据进行采样,并对采样得到的数据进行标记,将标记后的数据作为修正数据。
S120,对训练数据和所述修正数据进行聚类处理,获得分类聚类簇。
在得到修正数据后,服务器会对训练数据以及得到的修正数据进行聚类处理,获得分类聚类簇。
具体地,本实施例中,服务器可以根据可能存在的攻击类型中的入侵数据或者实际应用中服务器曾经检测出的入侵数据确定训练数据。
可以理解,对训练数据和修正数据进行聚类处理后获得的分类聚类簇,可能为一个,也可能为多个。
需要说明的是,当分类聚类簇中包括多个聚类簇时,还可以对各个聚类簇进行定义。将比例大于预设值的数据均为同一类数据的聚类簇定义为简单簇,否则定义为复杂簇。例如,假设预设值为90,且一个聚类簇中95%的数据均为同一类别的数据,则将该聚类簇定义为简单簇。通过将聚类簇分为简单簇和复杂簇,能够针对性的分析不同簇的簇信息。
S130,对每个分类聚类簇进行分类模型训练,获得每个分类聚类簇对应的分类模型。
具体地,获得的分类聚类簇中包括简单簇和复杂簇。获得分类聚类簇后,服务器可以分别对每一个复杂簇通过ANN(Artificial Neural Networks,人工神经网络)方法进行分类模型训练,获得每个复杂簇对应的分类模型。而将分类聚类簇中的每个简单簇直接作为该简单簇对应的分类模型,即,对于任一简单簇,无需进行分类模型训练,而是直接用该简单簇对数据进行分类。例如,假设一个简单簇A中95%的数据都属于B类数据,则在对某一数据C进行分类时,如果该数据C属于该简单簇A,则直接将该数据确定为B类。
或者,用SVM(Support Vector Machine,支持向量机)算法对每个复杂簇进行分类模型训练,获得每个复杂簇对应的分类模型。而将分类聚类簇中的每个简单簇直接作为该简单簇对应的分类模型,即,对于任一简单簇,无需进行分类模型训练,而是直接用该简单簇对数据进行分类。
可以理解,当获得的分类聚类簇为一个时,服务器直接对该分类聚类簇进行分类模型训练,获得该分类聚类簇对应的分类模型。当获得的分类聚类簇为多个时,服务器会对每个分类聚类簇进行分类模型训练,获得每个分类聚类簇对应的分类模型,即,对于任一简单簇,无需进行分类模型训练,而是直接用该简单簇对数据进行分类。
需要说明的是,还可以采用决策树算法对所有的复杂簇进行分类模型训练,获得每个复杂簇对应的分类模型。而将分类聚类簇中的每个简单簇直接作为该简单簇对应的分类模型。
S140,利用获得的分类模型对剩余数据进行分类,获得所述剩余数据的攻击类型,并将所获得的攻击类型确定为所述待检测入侵数据的攻击类型。
其中,剩余数据为:待检测入侵数据中除修正数据之外的数据。
具体地,服务器在获得分类模型后,会利用获得的分类模型对待检测入侵数据中的剩余数据进行分类,获得每个分类模型对剩余数据的分类结果,并对获得的分类结果进行聚合,进而得到剩余数据的攻击类型,然后将获得的攻击类型确定为待检测入侵数据的攻击类型。
例如,针对一个分类模型来说,可以首先确定该分类模型与剩余数据中的每个数据之间的欧式距离,然后通过对比该分类模型的半径与每个欧式距离的大小关系,确定该分类模型对剩余数据的分类结果。然后通过同样的方法获得每个分类模型对剩余数据的分类结果,并对获得的分类结果进行聚合,进而得到剩余数据的攻击类,然后将获得的攻击类型确定为待检测入侵数据的攻击类型。
应用本实施例所提供的方案,利用预设修正率对待检测入侵数据进行采样,并对训练数据以及采样得到的待检测入侵数据进行聚类处理,获得了分类模型。即将待检测入侵数据应用到了获得分类模型的过程中,能够使得获得的分类模型对数据分类的结果较为准确,进而可以提高入侵检测算法的准确率。
进一步地,作为本实施例的一种可选方案,对训练数据和修正数据进行聚类处理,获得分类聚类簇的过程,可以包括:
按照预设的预处理算法对修正数据以及训练数据进行数据预处理;对数据预处理后的训练数据和修正数据进行聚类处理,获得分类聚类簇。
具体地,可以按照因子数值化、连续变量归一化和特征选择等算法对修正数据以及训练数据进行数据预处理。
实施例二
参加图2,图2为本发明实施例所提供的一种入侵检测方法的第二种示意图,该方法应用于服务器,如图2所示,该方法包括以下步骤:
S110,以预设修正率对待检测入侵数据进行采样,将采样得到的数据作为修正数据。
S1201,按照预设的预处理算法对修正数据以及训练数据进行数据预处理。
例如,可以通过因子数值化、连续变量归一化和特征选择等算法对修正数据以及训练数据进行数据预处理。
S1202,对数据预处理后的所述训练数据进行聚类处理,获得训练聚类簇和训练聚类模型。
具体地,可以采用K-means算法对数据预处理后的训练数据进行聚类处理,得到训练聚类簇以及训练聚类模型。
可以理解,训练聚类模型即为训练数据所对应的聚类模型。通过该模型可以对其他数据进行聚类处理,并且利用该模型对其他数据进行聚类处理所得到的聚类簇与训练聚类簇之间是一一对应的关系。
例如,假设对数据预处理后的训练数据进行聚类处理后,得到的训练聚类簇为:训练聚类簇1、训练聚类簇2和训练聚类簇3,获得的训练聚类模型为:聚类模型1。则利用聚类模型1对其他数据进行聚类处理后的获得的聚类簇也为:聚类簇1、聚类簇2、聚类簇3。且,训练聚类簇1与聚类簇1对应出簇标识一样,训练聚类簇2与聚类簇2对应出簇标识一样,训练聚类簇3与聚类簇3对应出簇标识一样。
具体地,通过聚类模型1对其他数据进行聚类处理时,会分别确定其他数据中的每个数据与训练聚类簇1、训练聚类簇2、训练聚类簇3之间的欧式距离,并确定欧式距离与训练聚类簇之间的对应关系。然后针对该数据,该聚类模型1会根据该数据于每个训练聚类簇之间的欧式距离,以及欧式距离与训练聚类簇之间的对应关系,将该数据聚类到最小欧式距离所对应的那个训练聚类簇中。并通过同样的方法对每个数据进行聚类处理。
S1203,利用所述训练聚类模型对数据预处理后的所述修正数据进行聚类,获得修正聚类簇。
可以理解,利用获得的训练聚类模型对数据预处理后的修正数据进行聚类后,获得的修正聚类簇与训练聚类簇之间是一一对应的关系。
例如,假设采用K-means算法对数据预处理后的训练数据进行聚类处理后,得到的训练聚类簇为:训练聚类簇1、训练聚类簇2、训练聚类簇3,获得的训练聚类模型为:聚类模型1,则用聚类模型1对数据预处理后的修正数据进行聚类后获得的修正聚类簇也为:修正聚类簇1、修正聚类簇2、修正聚类簇3。且,训练聚类簇1与修正聚类簇1对应出簇标识一样,训练聚类簇2与修正聚类簇2对应出簇标识一样,训练聚类簇3与修正聚类簇3对应出簇标识一样。
S1204,将所述修正聚类簇和所述训练聚类簇中簇标识相同的聚类簇合并,得到第一类分类簇。
可以理解,修正聚类簇和训练聚类簇之间是一一对应的关系,且每组相对应的聚类簇的簇标识是一样的,进而可以将修正聚类簇和训练聚类簇中簇标识相同的聚类簇合并,得到第一类分类簇。
例如,假设对数据预处理后的训练数据进行聚类处理后,得到:训练聚类簇1、训练聚类簇2、训练聚类簇3,以及聚类模型1。用聚类模型1对数据预处理后的修正数据进行聚类后获得:修正聚类簇1、修正聚类簇2、修正聚类簇3。其中,训练聚类簇1与修正聚类簇1对应出簇标识一样,训练聚类簇2与修正聚类簇2对应出簇标识一样,训练聚类簇3与修正聚类簇3对应出簇标识一样。则,服务器会将训练聚类簇1与修正聚类簇1进行合并,将训练聚类簇2与修正聚类簇2进行合并,将训练聚类簇3与修正聚类簇3进行合并,得到第一类分类簇。
可以理解,第一类分类簇中可能包括有一个分类簇,也可能包括有多个分类簇。
需要说明的是,当第一类分类簇中包括多个分类簇时,即包括多个训练聚类簇和多个修正聚类簇时,还可以对各个聚类簇进行定义。将比例大于预设值的数据均为同一类数据的聚类簇定义为简单簇,否则定义为复杂簇。例如,假设预设值为85,且一个聚类簇中90%的数据均为同一类别的数据,则将该聚类簇定义为简单簇。可以理解,第一类分类簇中的简单簇即为:训练聚类簇中的简单簇和修正聚类簇中的简单簇进行合并后的聚类簇,且这两个简单簇的簇标识相同。通过将聚类簇分为简单簇和复杂簇,能够针对性的分析不同簇的簇信息。
S1205,将第一类微类别数据和第二类微类别数据合并,得到微类别分类簇。
其中,所述第一类微类别数据为:数据预处理后的所述训练数据中的所有微类别数据,所述第二类微类别数据为:数据预处理后的所述修正数据中的所有微类别数据,所述微类别数据为:数据类别不属于预设类别,且数据数量小于预设阈值的数据。
具体地,第一类微类别数据可以为:数据预处理后的训练数据中的所有R2L类数据和U2R类数据,第二类微类别数据可以为:数据预处理后的修正数据中的所有R2L类数据和U2R类数据,以及数据预处理后的修正数据中包含,但数据预处理后的训练数据中不包含的数据类别。
然后将第一类微类别数据和第二类微类别数据合并,得到微类别分类簇。
S1206,将所述微类别分类簇分别与所述第一类分类簇中的分类簇合并,得到分类聚类簇。
具体地,当第一类分类簇中只包括一个分类簇时,服务器会将该分类簇与微类别分类簇进行合并,得到分类聚类簇。此时,分类聚类簇中只包括一个聚类簇。
当第一类分类簇中包括多个分类簇时,服务器会将第一类分类簇中的每个分类簇分别与微类别分类簇进行合并,得到分类聚类簇。此时,分类聚类簇中包括多个聚类簇。
例如,假设,第一类分类簇中包括分类簇1、分类簇2和分类簇3,服务器会将分类簇1与微类别分类簇进行合并,然后将分类簇2与微类别分类簇进行合并,然后将分类簇3与微类别分类簇进行合并,得到分类聚类簇。此时,分类聚类簇中包括3个聚类簇。
需要说明的是,由于微类别分类簇中的数据数量较少,因此微类别分类簇与第一类分类簇中的简单簇进行合并,得到的分类聚类簇还为简单簇。同样的,微类别分类簇与第一类分类簇中的复杂簇进行合并,得到的分类聚类簇还为复杂簇。
S130,对每个分类聚类簇进行分类模型训练,获得每个分类聚类簇对应的分类模型。
S140,利用获得的分类模型对剩余数据进行分类,获得所述剩余数据的攻击类型,并将所获得的攻击类型确定为所述待检测入侵数据的攻击类型。
其中,剩余数据为:待检测入侵数据中除修正数据之外的数据。
需要说明的是,本实施例中的S110、S130、S140可以与实施例一中的S110、S130、S140所对应的步骤一样,这里不再赘述。
进一步地,作为本实施例的一种可选方案,利用获得的分类模型对剩余数据进行分类,获得所述剩余数据的攻击类型,可以包括以下步骤:
首先,对剩余数据进行数据预处理,并利用所述训练聚类模型对数据预处理后的所述剩余数据进行聚类处理。
具体地,在对训练数据进行聚类处理获得训练聚类模型后,服务器会通过因子数值化、连续变量归一化和特征选择等算法,对剩余数据进行数据预处理,并利用获得的训练聚类模型对数据预处理后的剩余数据进行聚类处理。
可以理解,利用获得的训练聚类模型对数据预处理后的剩余数据进行聚类后,可以获得与训练聚类簇一一对应的剩余聚类簇。
例如,假设对数据预处理后的训练数据进行聚类处理后,得到训练聚类簇1、训练聚类簇2、训练聚类簇3,以及聚类模型1,则用聚类模型1对数据预处理后的剩余数据进行聚类后也可以获得:剩余聚类簇1、剩余聚类簇2、剩余聚类簇3。且,训练聚类簇1与剩余聚类簇1对应出簇标识一样,训练聚类簇2与剩余聚类簇2对应出簇标识一样,训练聚类簇3与剩余聚类簇3对应出簇标识一样。
然后,利用获得的分类模型对聚类处理后的所述剩余数据进行分类,获得所述剩余数据的攻击类型。
具体地,利用获得的分类模型对聚类处理后的剩余数据进行分类,获得剩余数据的攻击类型的过程,可以与实施例一中S140利用获得的分类模型对剩余数据进行分类,获得剩余数据的攻击类型的过程一样,这里不再赘述。
应用本实施例所提供的方案,通过将待检测入侵数据应用到获得分类模型的过程中,能够使得获得的分类模型对数据分类的结果较为准确,进而可以提高入侵检测算法的准确率。将训练数据和修正数据中的微类别数据抽取出来,并加入到原训练数据中,可以改善类别不平衡的现象。并使用对训练数据聚类处理后获得的训练聚类模型对修正数据以及剩余数据进行聚类处理,能够进一步提高分类模型的分类准确率,提高入侵检测算法的准确率。
实施例三
参加图3,图3为本发明实施例所提供的一种入侵检测装置的第一种结构示意图,该装置应用于服务器,如图3所示,该装置包括:
采样模块310,用于以预设修正率对待检测入侵数据进行采样,将采样得到的数据作为修正数据。
聚类模块320,用于对训练数据和修正数据进行聚类处理,获得分类聚类簇。
分类模块330,用于对每个分类聚类簇进行分类模型训练,获得每个分类聚类簇对应的分类模型。
检测模块340,用于利用获得的分类模型对剩余数据进行分类,获得剩余数据的攻击类型,并将所获得的攻击类型确定为待检测入侵数据的攻击类型,其中,剩余数据为:待检测入侵数据中除修正数据之外的数据。
应用本实施例所提供的方案,利用预设修正率对待检测入侵数据进行采样,并对训练数据以及采样得到的待检测入侵数据进行聚类处理,获得了分类模型。能够使得获得的分类模型对数据分类的结果较为准确,进而可以提高入侵检测算法的准确率。
实施例四
参加图4,图4为本发明实施例所提供的一种入侵检测装置的第二种结构示意图,该装置应用于服务器,如图4所示,该装置包括:
采样模块310,用于以预设修正率对待检测入侵数据进行采样,将采样得到的数据作为修正数据。
聚类模块320,用于对训练数据和修正数据进行聚类处理,获得分类聚类簇。
其中,聚类模块320包括:
预处理子模块320A,用于按照预设的预处理算法对修正数据以及训练数据进行数据预处理。
聚类处理子模块320B,用于对数据预处理后的训练数据和修正数据进行聚类处理,获得分类聚类簇。
其中,聚类处理子模块320B包括:
训练数据聚类单元320B1,用于对数据预处理后的训练数据进行聚类处理,获得训练聚类簇和训练聚类模型。
修正数据聚类单元320B2,用于利用训练聚类模型对数据预处理后的修正数据进行聚类,获得修正聚类簇。
聚类簇合并单元320B3,用于将修正聚类簇和训练聚类簇中簇标识相同的聚类簇合并,得到第一类分类簇。
微类别数据合并单元320B4,用于将第一类微类别数据和第二类微类别数据合并,得到微类别分类簇,其中,第一类微类别数据为:数据预处理后的训练数据中的所有微类别数据,第二类微类别数据为:数据预处理后的修正数据中的所有微类别数据,微类别数据为:数据类别不属于预设类别,且数据数量小于预设阈值的数据。
分类簇合并单元320B5,用于将微类别分类簇分别与第一类分类簇中的分类簇合并,得到分类聚类簇。
分类模块330,用于对每个分类聚类簇进行分类模型训练,获得每个分类聚类簇对应的分类模型。
检测模块340,用于利用获得的分类模型对剩余数据进行分类,获得剩余数据的攻击类型,并将所获得的攻击类型确定为待检测入侵数据的攻击类型,其中,剩余数据为:待检测入侵数据中除修正数据之外的数据。
具体地,预处理子模块320A中应用的预处理算法包括:因子数值化、连续变量归一化和特征选择。
具体地,检测模块330包括:
数据预处理子模块(图4中未示出),用于对剩余数据进行数据预处理,并利用训练聚类模型对数据预处理后的剩余数据进行聚类处理。
数据分类子模块(图4中未示出),用于利用获得的分类模型对聚类处理后的剩余数据进行分类,获得剩余数据的攻击类型。
应用本实施例所提供的方案,通过将待检测入侵数据应用到获得分类模型的过程中,能够使得获得的分类模型对数据分类的结果较为准确,进而可以提高入侵检测算法的准确率。将训练数据和修正数据中的微类别数据抽取出来,并加入到原训练数据中,可以改善类别不平衡的现象。并使用对训练数据聚类处理后获得的训练聚类模型对修正数据以及剩余数据进行聚类处理,能够进一步提高分类模型的分类准确率,提高入侵检测算法的准确率。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (6)

1.一种入侵检测方法,应用于服务器,其特征在于,包括:
以预设修正率对待检测入侵数据进行采样,将采样得到的数据作为修正数据;
对训练数据和所述修正数据进行聚类处理,获得分类聚类簇;所述训练数据为根据实际应用中服务器已检测出的入侵数据确定的;
对每个分类聚类簇进行分类模型训练,获得每个分类聚类簇对应的分类模型;
利用获得的分类模型对剩余数据进行分类,获得所述剩余数据的攻击类型,并将所获得的攻击类型确定为所述待检测入侵数据的攻击类型,其中,所述剩余数据为:所述待检测入侵数据中除所述修正数据之外的数据;
其中,对训练数据和所述修正数据进行聚类处理,获得分类聚类簇,包括:
按照预设的预处理算法对所述修正数据以及所述训练数据进行数据预处理;
对数据预处理后的所述训练数据和修正数据进行聚类处理,获得分类聚类簇;
其中,所述对数据预处理后的所述训练数据和修正数据进行聚类处理,获得分类聚类簇,包括:
对数据预处理后的所述训练数据进行聚类处理,获得训练聚类簇和训练聚类模型;
利用所述训练聚类模型对数据预处理后的所述修正数据进行聚类,获得修正聚类簇;
将所述修正聚类簇和所述训练聚类簇中簇标识相同的聚类簇合并,得到第一类分类簇;
将第一类微类别数据和第二类微类别数据合并,得到微类别分类簇,其中,所述第一类微类别数据为:数据预处理后的所述训练数据中的所有微类别数据,所述第二类微类别数据为:数据预处理后的所述修正数据中的所有微类别数据,所述微类别数据为:数据类别不属于预设类别,且数据数量小于预设阈值的数据;
将所述微类别分类簇分别与所述第一类分类簇中的分类簇合并,得到分类聚类簇。
2.根据权利要求1所述的方法,其特征在于,所述预处理算法包括:因子数值化、连续变量归一化和特征选择。
3.根据权利要求1或2所述的方法,其特征在于,所述利用获得的分类模型对剩余数据进行分类,获得所述剩余数据的攻击类型,包括:
对剩余数据进行数据预处理,并利用所述训练聚类模型对数据预处理后的所述剩余数据进行聚类处理;
利用获得的分类模型对聚类处理后的所述剩余数据进行分类,获得所述剩余数据的攻击类型。
4.一种入侵检测装置,应用于服务器,其特征在于,包括:
采样模块,用于以预设修正率对待检测入侵数据进行采样,将采样得到的数据作为修正数据;
聚类模块,用于对训练数据和所述修正数据进行聚类处理,获得分类聚类簇;所述训练数据为根据实际应用中服务器已检测出的入侵数据确定的;
分类模块,用于对每个分类聚类簇进行分类模型训练,获得每个分类聚类簇对应的分类模型;
检测模块,用于利用获得的分类模型对剩余数据进行分类,获得所述剩余数据的攻击类型,并将所获得的攻击类型确定为所述待检测入侵数据的攻击类型,其中,所述剩余数据为:所述待检测入侵数据中除所述修正数据之外的数据;
其中,所述聚类模块包括:
预处理子模块,用于按照预设的预处理算法对所述修正数据以及所述训练数据进行数据预处理;
聚类处理子模块,用于对数据预处理后的所述训练数据和修正数据进行聚类处理,获得分类聚类簇;
其中;所述聚类处理子模块包括:
训练数据聚类单元,用于对数据预处理后的所述训练数据进行聚类处理,获得训练聚类簇和训练聚类模型;
修正数据聚类单元,用于利用所述训练聚类模型对数据预处理后的所述修正数据进行聚类,获得修正聚类簇;
聚类簇合并单元,用于将所述修正聚类簇和所述训练聚类簇中簇标识相同的聚类簇合并,得到第一类分类簇;
微类别数据合并单元,用于将第一类微类别数据和第二类微类别数据合并,得到微类别分类簇,其中,所述第一类微类别数据为:数据预处理后的所述训练数据中的所有微类别数据,所述第二类微类别数据为:数据预处理后的所述修正数据中的所有微类别数据,所述微类别数据为:数据类别不属于预设类别,且数据数量小于预设阈值的数据;
分类簇合并单元,用于将所述微类别分类簇分别与所述第一类分类簇中的分类簇合并,得到分类聚类簇。
5.根据权利要求4所述的装置,其特征在于,所述预处理算法包括:因子数值化、连续变量归一化和特征选择。
6.根据权利要求4或5所述的装置,其特征在于,所述检测模块包括:
数据预处理子模块,用于对剩余数据进行数据预处理,并利用所述训练聚类模型对数据预处理后的所述剩余数据进行聚类处理;
数据分类子模块,用于利用获得的分类模型对聚类处理后的所述剩余数据进行分类,获得所述剩余数据的攻击类型。
CN201710308371.XA 2017-05-04 2017-05-04 一种入侵检测方法及装置 Active CN107145778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710308371.XA CN107145778B (zh) 2017-05-04 2017-05-04 一种入侵检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710308371.XA CN107145778B (zh) 2017-05-04 2017-05-04 一种入侵检测方法及装置

Publications (2)

Publication Number Publication Date
CN107145778A CN107145778A (zh) 2017-09-08
CN107145778B true CN107145778B (zh) 2020-07-28

Family

ID=59774074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710308371.XA Active CN107145778B (zh) 2017-05-04 2017-05-04 一种入侵检测方法及装置

Country Status (1)

Country Link
CN (1) CN107145778B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875365B (zh) * 2018-04-22 2023-04-07 湖南省金盾信息安全等级保护评估中心有限公司 一种入侵检测方法及入侵检测检测装置
CN109672666B (zh) * 2018-11-23 2021-12-14 北京丁牛科技有限公司 一种网络攻击检测方法及装置
CN109787979B (zh) * 2019-01-22 2020-03-10 电子科技大学 一种电力网络事件和入侵的检测方法
CN111651755B (zh) * 2020-05-08 2023-04-18 中国联合网络通信集团有限公司 入侵检测方法和装置
CN112887326A (zh) * 2021-02-23 2021-06-01 昆明理工大学 一种基于边云协同的入侵检测方法
CN113222056B (zh) * 2021-05-28 2022-11-08 北京理工大学 面向图像分类系统攻击的对抗样本检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980480A (zh) * 2010-11-04 2011-02-23 西安电子科技大学 半监督异常入侵检测方法
CN103870751A (zh) * 2012-12-18 2014-06-18 中国移动通信集团山东有限公司 入侵检测方法及系统
CN105956621A (zh) * 2016-04-29 2016-09-21 南京航空航天大学 一种基于进化欠抽样集成学习的航班延误预警方法
CN106599922A (zh) * 2016-12-16 2017-04-26 中国科学院计算技术研究所 用于大规模数据标定的迁移学习方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668843B2 (en) * 2004-12-22 2010-02-23 Regents Of The University Of Minnesota Identification of anomalous data records

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980480A (zh) * 2010-11-04 2011-02-23 西安电子科技大学 半监督异常入侵检测方法
CN103870751A (zh) * 2012-12-18 2014-06-18 中国移动通信集团山东有限公司 入侵检测方法及系统
CN105956621A (zh) * 2016-04-29 2016-09-21 南京航空航天大学 一种基于进化欠抽样集成学习的航班延误预警方法
CN106599922A (zh) * 2016-12-16 2017-04-26 中国科学院计算技术研究所 用于大规模数据标定的迁移学习方法及系统

Also Published As

Publication number Publication date
CN107145778A (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
CN107145778B (zh) 一种入侵检测方法及装置
Wilson et al. Predictive inequity in object detection
CN103793484B (zh) 分类信息网站中的基于机器学习的欺诈行为识别系统
CN109194612B (zh) 一种基于深度置信网络和svm的网络攻击检测方法
CN103117903B (zh) 上网流量异常检测方法及装置
US7937269B2 (en) Systems and methods for providing real-time classification of continuous data streams
CN110287439A (zh) 一种基于lstm的网络行为异常检测方法
CN109873779B (zh) 一种基于lstm的分级式无线信号调制类型识别方法
CN106713324A (zh) 一种流量检测方法及装置
CN111695597B (zh) 基于改进式孤立森林算法的信贷欺诈团伙识别方法和系统
Souza et al. Classification of evolving data streams with infinitely delayed labels
CN109218223A (zh) 一种基于主动学习的鲁棒性网络流量分类方法及系统
CN108363717B (zh) 一种数据安全级别的识别检测方法及装置
CN111556016B (zh) 一种基于自动编码器的网络流量异常行为识别方法
CN113489685B (zh) 一种基于核主成分分析的二次特征提取及恶意攻击识别方法
CN107483451B (zh) 基于串并行结构网络安全数据处理方法及系统、社交网络
CN109190698B (zh) 一种网络数字虚拟资产的分类识别系统及方法
CN110348523A (zh) 一种基于Stacking的恶意网页集成识别方法及系统
CN116662817B (zh) 物联网设备的资产识别方法及系统
CN106506528A (zh) 一种大数据环境下的网络安全分析系统
CN111224998B (zh) 一种基于极限学习机的僵尸网络识别方法
CN111191720B (zh) 一种业务场景的识别方法、装置及电子设备
CN109660656A (zh) 一种智能终端应用程序识别方法
CN114581702A (zh) 图像分类方法、装置、计算机设备及计算机可读存储介质
CN114285587B (zh) 域名鉴别方法和装置、域名分类模型的获取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant