CN111553381B - 基于多网络模型的网络入侵检测方法、装置及电子设备 - Google Patents
基于多网络模型的网络入侵检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111553381B CN111553381B CN202010206983.XA CN202010206983A CN111553381B CN 111553381 B CN111553381 B CN 111553381B CN 202010206983 A CN202010206983 A CN 202010206983A CN 111553381 B CN111553381 B CN 111553381B
- Authority
- CN
- China
- Prior art keywords
- data
- feature
- network models
- model
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
Abstract
本发明公开了一种基于多网络模型的网络入侵检测方法、装置及电子设备,该网络入侵检测方法包括:获取待处理数据,并对待处理数据进行预处理;对预处理后的数据进行特征提取,得到特征向量;将所述特征向量分别作为预先训练的多个分类网络模型的输入向量,分别得到多个分类网络模型的输出概率值;将多个分类网络模型的输出概率值拼接成一维矩阵信息,作为预先训练的决策模型的输入向量,根据决策模型的输出概率值判断所述待处理数据是否为入侵数据。该基于多网络模型的网络入侵检测方法将多种模型算法有效地结合在一起,共同发挥各自的优势,提高了识别准确率。
Description
技术领域
本发明涉及网络空间安全技术领域,特别是指一种基于多网络模型的网络入侵检测方法、装置及电子设备。
背景技术
随着互联网和移动互联网的普及,越来越多的人通过网络进行信息的共享。网络信息的共享给人们的生活带了便利的同时,网络安全问题也越来越严峻。入侵检测系统是网络安全系统的重要组成部分,与防火墙等被动检测系统不同的是它能够主动的对潜在的入侵行为信息进行检测,从而能够为用户提供更为全面的信息保护。随着黑客技术的提升,入侵手段以及入侵方式变得多样化和复杂化,对于入侵检测系统的各方面的性能提出了更高的要求。
随着近些年人工智能的飞速发展,基于机器学习和神经网络的入侵监测方法作为一种热门而又实用的技术成为目前入侵检测研究的热门领域之一。但是现有的入侵检测技术大多是基于单一模型构建的,由此带有该模型的固有的一些缺点,导致模型的准确率偏低。
发明内容
针对现有技术的不足之处,本发明的目的是提出一种基于多网络模型的网络入侵检测方法、装置及电子设备,该基于多网络模型的网络入侵检测方法将多种模型算法有效地结合在一起,共同发挥各自的优势,提高了识别准确率。
基于上述目的,本发明提供的一种基于多网络模型的网络入侵检测方法,包括:
获取待处理数据,并对待处理数据进行预处理;
对预处理后的数据进行特征提取,得到特征向量;
将所述特征向量分别作为预先训练的多个分类网络模型的输入向量,分别得到多个分类网络模型的输出概率值;
将多个分类网络模型的输出概率值拼接成一维矩阵信息,作为预先训练的决策模型的输入向量,根据决策模型的输出概率值判断所述待处理数据是否为入侵数据。
在本发明的一些实施例中,所述对待处理数据进行预处理的步骤包括:
采用one-hot编码对待处理数据中的离散类型数据进行编码,转化为数值型数据;
经过编码后的数据采用归一化处理,将数据中每个特征映射到0到1之间,其计算公式(1)如下:
在本发明的一些实施例中,上述基于多网络模型的网络入侵检测方法还包括:
将预处理后的数据视为灰度值,形成11*11大小的图像,然后进行特征提取。
在本发明的一些实施例中,根据分类网络模型的不同选择不同的特征提取方法,以满足各个分类网络模型所需要的数据信息;所述特征提取方法包括Fisher特征提取法,具体步骤包括:
输入预处理后的数据,按照公式(2)计算每个特征的Fisher值,根据Fisher值将特征按照重要程序降序排列,从中选择Fisher值高的特征来构建特征向量;
在本发明的一些实施例中,所述特征提取方法还包括PCA主成分分析法,具体步骤包括:
输入预处理后的数据,PCA将预处理后的数据进行线性变换,得到由新的主成分构成的新的特征向量空间,根据每一个新的主成分的方差贡献率进行降序排列,从中选择方差贡献率高的特征来构建特征向量。
在本发明的一些实施例中,所述多个分类网络模型和决策模型均采用sigmoid激活函数,将输出概率值归一化到(0,1)。
在本发明的一些实施例中,所述决策模型为感知机模型,所述感知机模型的训练过程包括以下步骤:
选取感知机模型的初始值w0,b0;其中,感知机模型为y=f(w·x+b);
获取输入向量x和标记值t,将输入向量x输入到感知机模型中,得到输出值y,根据公式(3)和(4)来调整权重值wi,经过多轮迭代后,得到感知机模型的权重值w;
wi←wi+Δwi (3)
b←b+Δb (4)
其中,Δwi=η(t-y)xi,Δb=η(t-y),η为学习速率的常数;
所述输入向量x是将多个分类网络模型的输出概率值拼接成一维矩阵信息得到的;所述标记值t为正常数据或入侵数据所对应的标记值,正常数据标记为0,入侵数据标记为1。
在本发明的一些实施例中,所述获取输入向量x的步骤包括:
对预先训练的各个分类网络模型进行测试,选择二分类的准确率达到95%以上的分类网络模型;
获取历史数据,并对历史数据进行预处理;
对预处理后的数据进行特征提取,得到特征向量;
将所述特征向量分别作为多个二分类的准确率达到95%以上的分类网络模型的输入向量,分别得到多个分类网络模型的输出概率值;
将多个分类网络模型的输出概率值拼接成一维矩阵信息作为输入向量x;
所述历史数据为最新的公开数据集CSE-CIC-IDS2018。
基于相同的发明构思,本发明还提供了一种基于多网络模型的网络入侵检测方法装置,包括:
获取模块,被配置为获取待处理数据,并对待处理数据进行预处理;
特征提取模块,被配置为对预处理后的数据进行特征提取,得到特征向量;
计算模块,被配置为将所述特征向量分别作为预先训练的多个分类网络模型的输入向量,分别得到多个分类网络模型的输出概率值;
判断模块,被配置为将多个分类网络模型的输出概率值拼接成一维矩阵信息,作为预先训练的决策模型的输入向量,根据决策模型的输出概率值判断所述待处理数据是否为入侵数据。
基于相同的发明构思,本发明还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述基于多网络模型的网络入侵检测方法。
与现有技术相比,本发明具有以下有益效果:
本发明利用多种技术进行组合识别,多种模型算法有效地结合在一起,共同发挥各自的优势,有效地提升了模型的识别效果,识别准确率高。
附图说明
图1为本发明实施例的基于多网络模型的网络入侵检测方法的流程图;
图2为本发明实施例的基于多网络模型的网络入侵检测方法的完整流程图;
图3为本发明实施例的多个分类网络模型的训练过程;
图4为本发明实施例的决策模型的训练过程;
图5为本发明实施例的基于多网络模型的网络入侵检测装置的结构示意图;
图6为本发明实施例的电子设备结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
随着深度学习和机器学习的快速发展,利用两者进行入侵检测上的研究很多,其中主要方法是支持向量机,多层感知机,卷积神经网络和循环神经网络。
·基于支持向量机的入侵检测方法
支持向量机是一类按监督学习方式对数据进行二元分类的广义线性分类器,其决策边界是对学习样本求解的最大边距超平面。SVM使用铰链损失函数计算经验风险并在求解系统中加入了正则化项以优化结构风险,是一个具有稀疏性和稳健性的分类器。SVM可以通过核方法进行非线性分类,是常见的核学习方法之一。判断数据包是否正常是一个二分类问题,支持向量机在二分类的效果很好。
·基于多层感知机的入侵检测方法
将多层感知机应用于入侵检测系统,首先将网络数据包分析提取的特征向量化,得到一维的矩阵作为输入。前馈网络包括输入层,隐藏层神经元和输出神经元,可以使用ReLu函数作为激活函数,可以使用sigmoid进行正常还是入侵的二分类,也可以用softmax分类器实现入侵类别的多分类。
·基于卷积神经网络的入侵检测方法
首先对原始流量数据进行预处理,生成统一大小的特征灰度图,将获得的特征的灰度图作为输入数据输入卷积神经网络中,通过卷积神经网络自动化提取流量有效载荷中的相关特征,并利用所得特征进行异常流量检测。
·基于循环神经网络的入侵检测方法
循环神经网络(RNN)是常规前馈神经网络的扩展,是一类用于处理序列数据的网络。与常规的神经网络相比,循环神经网络通过在隐藏层的神经元中添加了自连接的权重值,使得每次的训练可以记录前面训练时输出值状态的信息,实现了保存前一个序列的信息的功能,成功地解决了序列数据预测问题。
本发明的发明人经过研究发现,现有方法存在以下不足:
(1)数据集脱离实际场景
上述的研究基本上都是基于较早的公开数据集KDDCup 99或者NSL-KDD数据集,而这两个数据集一方面是年限已久,入侵手段日新月异,复杂化和多样化已经使得原先的数据集过时了;另外一方面原先的数据集已经是经过整理后的,与当时现的真实的场景本身就有差距,与现在的实际场景更是脱离,仅具备对比的意义,而不具备现实的意义。训练所得的模型不具备现实意义。
(2)模型的单一
入侵的手段与方法日新月异,呈现出多样化和复杂化。面对复杂的实际情况,入侵检测的手段也不应该是单一的模型算法。不同的模型算法侧重的特征不一样,如何有效的将多种模型算法有效的结合在一起,共同发挥各自的优势,正是本发明所要解决的技术问题。
随着互联网和移动互联网的普及,越来越多的人通过网络进行信息的共享。网络信息的共享给人们的生活带了便利的同时,网络安全问题也越来越严峻。入侵检测系统是网络安全系统的重要组成部分,与防火墙等被动检测系统不同的是它能够主动的对潜在的入侵行为信息进行检测,从而能够为用户提供更为全面的信息保护。随着黑客技术的提升,入侵手段以及入侵方式变得多样化和复杂化,对于入侵检测系统的各方面的性能提出了更高的要求。入侵检测实质上是分类问题,其目标是区分数据包是正常连接还是攻击。
通过深度学习和机器学习,对于海量的数据包进行有效的分析,判断其是否为正常数据包,从而实现入侵检测系统的判别引擎;在此基础上再实现完整的入侵检测系统,能够实时地对数据包进行有效检测。
如图1所示,本实施例提供了一种基于多网络模型的网络入侵检测方法,包括:
步骤S101,获取待处理数据,并对待处理数据进行预处理;
数据预处理的过程主要是将原始的流量数据转化为结构化的数据,模型会首先检查数据中包含的符号性数据类型,并通过One-Hot编码的方式对数据进行转换,最后输出规整化且结构化数据。下面将对数据预处理中的独热编码过程与数据归一化进行介绍。
(1)One-Hot编码过程
对于待处理数据中存在着某些无法进行数值计算的特征,采用one-hot编码对待处理数据中的离散类型数据进行编码,将待处理数据中的符号型数据转化为数值型数据;
首先,先对数据样本X进行扫描,发现数据中类型为符号型的特征集合{f1,f2,Kfs},之后,对于每一项特征项fi,i=1,2,K,s,会赋予每个不同特征取值一个标识的数字,该数字决定了编码中取值为1的位置,而其他位置用0填充。例如对于“源目标地址”这一项特征,它的不同取值的集合为{′192.168.0.1′,′192.168.0.2′,′192.168.0.3′},对应获得1、2和3的三个标识数字,根据标识数字获得对应编码100,010和001,并将编码作为新的特征值。最后,编码的新特征值将替换旧特征值,而往往经过One-Hot编码后,数据的维度会增加。
(2)归一化处理
对于待处理数据中数值差距大的也进行数值的标准化,标准化到[0,1]。数据集中存在大量的”0”,导致大量的无效计算,浪费计算资源,因此本文对所有的数据进行归一化处理。
经过One-Hot编码后的数据将采用归一化处理,归一化处理是将数据中每个特征映射到0到1之间,其计算公式(1)如下:
上述基于多网络模型的网络入侵检测方法还包括:
在步骤S101中,可选的,将预处理后的数据视为灰度值,形成11*11大小的图像,方便进行卷积特征提取。
步骤S102,对预处理后的数据进行特征提取,得到特征向量;
对于预处理后的数据,一般包含41个特征,这41个特征中并不是所有的特征都对最终的预测结果起作用。因此,识别并提取网络流量中最为关键的特征是至关重要的。从给定的特征集合中提取出相关特征子集的过程,称之为“特征提取”。
特征提取的方法有多种,根据分类网络模型的不同选择不同的特征提取方法,以满足各个分类网络模型所需要的数据信息。可选的,所述特征提取方法包括Fisher特征提取法和PCA主成分分析法,Fisher特征选择是一种典型的基于距离度量的、过滤式特征选择方法,寻找最佳投影方向,变换后的样本达到类间离散度最高、类内离散度最低,从而使类别之间具有良好的区分能力。在线性鉴别分析中,定义Sb,Sw,St分别为训练样本的类间、类内、和总体散布矩阵,满足St=Sb+Sw,x为n维实向量。其中Fisher准则定义为:
Fisher准则将类间散度和类内散度结合在一起,提供一种寻找最优投影方向的方法。取目标函数J(x)的极大值,其矢量x的投影方向表示当前的类间离散度和类内离散度之比达到最大。采用Fisher线性判别的思想对特征进行评价,将其按照对分类的重要性进行排序。在同一特征下,当满足类间相似度越小,而类内的相似度越大,说明特征对于分类的有效性更高,该特征也就越重要。采用单个特征的Fisher比值作为准则,对特征进行排序,能够给出特征的重要性序列。
Fisher特征提取法的具体步骤包括:
输入预处理后的数据,按照公式(2)计算每个特征的Fisher值,根据Fisher值将特征按照重要程序降序排列,从中选择Fisher值高的m个特征来构建特征向量;
PCA主成分分析法为降维算法,通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分。PCA主成分分析法的具体步骤包括:输入预处理后的数据,PCA将预处理后的数据进行线性变换,得到由新的主成分构成的新的特征向量空间,根据每一个新的主成分的方差贡献率进行降序排列,从中选择方差贡献率高的特征来构建特征向量。
例如PCA主成分分析法将原来41个特征x1,x2,…x41进行线性变换,得到新的41个特征数据集,由41个新的主成分构成的新的特征向量空间,根据每一个新的主成分的方差贡献率进行降序排列,从中适当的选择前m个特征就可以代表原始数据集的41个特征,达到数据降维的目的。
在步骤S102中,可选的,支持向量机模型选择Fisher特征提取法进行特征提取,神经网络模型选择PCA主成分分析法进行特征提取。
步骤S103,将所述特征向量分别作为预先训练的多个分类网络模型的输入向量,分别得到多个分类网络模型的输出概率值;
在步骤S103中,可选的,多个分类网络模型采用sigmoid激活函数,将输出概率值归一化到(0,1)。
步骤S104,将多个分类网络模型的输出概率值拼接成一维矩阵信息,作为预先训练的决策模型的输入向量,根据决策模型的输出概率值判断所述待处理数据是否为入侵数据。
在步骤S104中,例如采用10个分类算法的话,将10个分类网络模型的输出概率值拼接得到10维的向量。决策网络的话采用简单的感知机即可,通过两个全连接层,最后也采用sigmoid激活函数归一化到(0,1)。
根据决策模型的输出概率值判断待处理数据是否为入侵数据,例如当决策模型的输出概率值在(0.5,1)时,判断待处理数据为入侵数据,当决策模型的输出概率值在(0,0.5)时,判断待处理数据为正常数据。
如图2所示,本实施例提供的一种基于多网络模型的网络入侵检测方法包括以下步骤:首先对待预测的数据包进行数据的处理,提取满足各个分类器所需要的数据信息,然后针对每个分类器得到相应的概率值,将多个分类器所得的概率值组成一维矩阵信息,然后将一维矩阵信息(结果信息)输入到决策网络中,最后输出最后的判断结果。
下面将举出一个具体的实例对本实施例中基于多网络模型的网络入侵检测方法作详细的介绍。
获取待处理数据,待处理数据的特征包含32个连续类型和9个离散类型,采用one-hot编码对离散特征向量化,将数据集中的符号型数据转化为数值型。对于数据集中数值差距大的也进行数值的标准化,标准化到[0,1]。对所有的数据进行归一化处理。
通过Fisher特征提取法或PCA主成分分析法对预处理后的数据进行特征提取,得到如下特征向量,12,23,2,24,37,36,6,39,25,26,38,4,29,34,33,35,30,5,22,10,13,19,17,41,8,40,27,14,28,1,16,11,7,9,15,18,20,21,20,32,34.其中,有下划线的数据表示Fisher值高或方差贡献率高的特征,因此,可选择这些重要特征构成特征向量(12,23,2,24,37,36,6,39,25,26)。
将特征向量(12,23,2,24,37,36,6,39,25,26)分别输入到预先训练的SVM模型和神经网络模型中,分别得到SVM模型的输出概率值1和神经网络模型的输出概率值0.87。
将SVM模型和神经网络模型的输出概率值拼接成一维矩阵信息(1,0.87),输入到预先训练的决策模型中,得到决策模型的输出概率值0.93,根据该输出概率值判断待处理数据为入侵数据。
如图3所示,多个分类器模型的训练过程包括:首先对于数据包进行数据的处理,提取其中的特征。提取特征的方式主要是将原始的数据包的内容转换成一维矩阵或者二维矩阵,即数字化原本的数据信息。然后利用多种深度学习或者机器学习算法对数据处理之后的数据集进行模型的学习,分别训练得到多个分类器。
分类模型包括LSTM(长短期记忆人工神经网络)、CNN(卷积神经网络)、RNN(循环神经网络)、SVM(支持向量机)等。
以其中的CNN网络和KDD数据集为例进行数据的预处理过程进行介绍:
KDOTest+
KDD数据集的特征包含32个连续类型和9个离散类型,采用one-hot编码对离散特征向量化,将数据集中的符号型数据转化为数值型。对于数据集中数值差距大的也进行数值的标准化,标准化到[0,1]。数据集中存在大量的”0”,导致大量的无效计算,浪费计算资源,因此本文对所有的数据进行归一化处理,将其视为灰度值。处理之后的样本有119个数据,加上两个“0“,形成11*11大小的图像,方便进行卷积提取特征。由于样本的不均衡,因此选择进行二分类,将normal视为0,其他的(R2I,Probe,DOS,U2R)视为1。
由于数据内容较少,因此CNN网络也比较简单,通过卷积层,池化层,卷积层,全连接层,最后通过sigmoid激活函数使得预测的值落在(0,1)上,相当于概率值。
对预处理后的数据集采用Fisher特征提取法或PCA主成分分析法进行特征提取,选择重要特征构造特征向量,对于KDD数据集而言,每条网络连接通过41个特征来描述,对于一个学习任务来说,给定属性集,其中有些数次能够可能很关键、很有用,另一些属性可能没有什么用。通常将属性称为“特征”,对当前学习任务有用的属性称之为“相关特征”,没什么用的属性称为“无关特征”。从给定的特征集合中提取相关特征子集的过程,称之为“特征提取”。对提取出的特征进行学习,可以降低分类器的复杂度并提高检测速度,从而更好地满足入侵检测系统在数据处理与异常检测时的实时性需求。
每个数据集中10%的样本用作训练样本,其余用作测试样本。采用训练样本对各个分类器进行训练,训练过程中,SVM选择三种常用的核函数:线性核,多项式核和高斯核,通过调整核函数的参数以及SVM的惩罚参数,使其泛化误差降低到阈值ε以下。神经网络型采用sigmoid激活函数,调整超参数使泛化误差降低到ε以下。
在本实施例中,多个分类网络模型利用最新的公开数据集CSE-CIC-IDS2018,数据集是最新的而且是接近于实际的场景下的数据集中,根据该数据集训练出来的模型是可以部署在实际的入侵检测系统中,具有很好的现实意义。
如图4所示,决策模型的训练过程包括:首先对分类器进行测试,选择达到指标要求的分类器,达标的要求是二分类的准确率达到95%以上。然后,对数据包进行数据的处理,提起满足各个分类器所需要的数据信息,然后针对每个分类器得到相应的概率值,将多个分类器所得的概率值和原始标签组成新的训练数据。之后将新的训练数据进行决策网络的训练,得到相应的决策网络。
所述决策模型为感知机模型,所述感知机模型的训练过程包括以下步骤:
选取感知机模型的初始值w0,b0;其中,感知机模型为y=f(w·x+b);
获取输入向量x和标记值t,将输入向量x输入到感知机模型中,得到输出值y,根据公式(3)和(4)来调整权重值wi,经过多轮迭代后,得到感知机模型的权重值w;
wi←wi+Δwi (3)
b←b+Δb (4)
其中,Δwi=η(t-y)xi,Δb=η(t-y),η为学习速率的常数;
所述输入向量x是将多个分类网络模型的输出概率值拼接成一维矩阵信息得到的;所述标记值t为正常数据或入侵数据所对应的标记值,正常数据标记为0,入侵数据标记为1。
在本实施例中,可选的,所述获取输入向量x的步骤包括:
对预先训练的各个分类网络模型进行测试,选择二分类的准确率达到95%以上的分类网络模型;
获取历史数据,并对历史数据进行预处理;
对预处理后的数据进行特征提取,得到特征向量;
将所述特征向量分别作为多个二分类的准确率达到95%以上的分类网络模型的输入向量,分别得到多个分类网络模型的输出概率值;
将多个分类网络模型的输出概率值拼接成一维矩阵信息作为输入向量x;
所述历史数据为最新的公开数据集CSE-CIC-IDS2018。
由上述内容可知,本实施例的基于多网络模型的网络入侵检测方法相对于现有技术具有以下优点和效果:
(1)识别准确率高
利用多种技术进行组合识别,有效的提升模型的识别效果。
(2)识别速度极快
主要利用的是深度学习的方法,可以通过GPU加速运算,识别速度极快。
(3)直接可用性
利用最新的公开数据集CSE-CIC-IDS2018,数据集是最新的而且是接近于实际的场景下的数据集中,根据该数据集训练出来的模型是可以部署在实际的入侵检测系统中,具有很好的现实意义。
本实施例的基于多网络模型的网络入侵检测装置主要由分类网络和决策网络两部分组成,下面将对本发明的基于多网络模型的网络入侵检测装置作详细的描述。
如图5所示,本实施例提供了一种基于多网络模型的网络入侵检测装置,包括:
获取模块201,被配置为获取待处理数据,并对待处理数据进行预处理;
特征提取模块202,被配置为对预处理后的数据进行特征提取,得到特征向量;
计算模块203,被配置为将所述特征向量分别作为预先训练的多个分类网络模型的输入向量,分别得到多个分类网络模型的输出概率值;
判断模块204,被配置为将多个分类网络模型的输出概率值拼接成一维矩阵信息,作为预先训练的决策模型的输入向量,根据决策模型的输出概率值判断所述待处理数据是否为入侵数据。
在本实施例中,可选的,获取模块201具体配置为进行以下步骤:
采用one-hot编码对待处理数据中的离散类型数据进行编码,转化为数值型数据;
经过编码后的数据采用归一化处理,将数据中每个特征映射到0到1之间,其计算公式(1)如下:
在本实施例中,可选的,上述基于多网络模型的网络入侵检测装置还包括处理模块,被配置为将预处理后的数据视为灰度值,形成11*11大小的图像,然后进行特征提取。
在本实施例中,可选的,特征提取模块202具体配置为根据分类网络模型的不同选择不同的特征提取方法,以满足各个分类网络模型所需要的数据信息;所述特征提取方法包括Fisher特征提取法,具体步骤包括:
输入预处理后的数据,按照公式(2)计算每个特征的Fisher值,根据Fisher值将特征按照重要程序降序排列,从中选择Fisher值高的特征来构建特征向量;
在本实施例中,可选的,特征提取模块202具体被配置为进行以下步骤:
输入预处理后的数据,PCA将预处理后的数据进行线性变换,得到由新的主成分构成的新的特征向量空间,根据每一个新的主成分的方差贡献率进行降序排列,从中选择方差贡献率高的特征来构建特征向量。
在本实施例中,可选的,所述多个分类网络模型和决策模型均采用sigmoid激活函数,将输出概率值归一化到(0,1)。
在本实施例中,可选的,上述基于多网络模型的网络入侵检测装置还包括训练模块,训练模块具体被配置为进行以下步骤:
选取感知机模型的初始值w0,b0;其中,感知机模型为y=f(w·x+b);
获取输入向量x和标记值t,将输入向量x输入到感知机模型中,得到输出值y,根据公式(3)和(4)来调整权重值wi,经过多轮迭代后,得到感知机模型的权重值w;
wi←wi+Δwi (3)
b←b+Δb (4)
其中,Δwi=η(t-y)xi,Δb=η(t-y),η为学习速率的常数;
所述输入向量x是将多个分类网络模型的输出概率值拼接成一维矩阵信息得到的;所述标记值t为正常数据或入侵数据所对应的标记值,正常数据标记为0,入侵数据标记为1。
在本实施例中,可选的,训练模块还被配置为获取输入向量x的步骤包括:
对预先训练的各个分类网络模型进行测试,选择二分类的准确率达到95%以上的分类网络模型;
获取历史数据,并对历史数据进行预处理;
对预处理后的数据进行特征提取,得到特征向量;
将所述特征向量分别作为多个二分类的准确率达到95%以上的分类网络模型的输入向量,分别得到多个分类网络模型的输出概率值;
将多个分类网络模型的输出概率值拼接成一维矩阵信息作为输入向量x;
所述历史数据为最新的公开数据集CSE-CIC-IDS2018。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
本实施例的基于多网络模型的网络入侵检测装置,首先是将多种特征提取方式与多个网络模型有效的结合在一起,将深度学习和机器学习有效的结合在一起,实现多个分类器。这些分类器都是可以直接部署在入侵检测系统上的。其次,多个分类器是并行的网络;而将多个分类器有效的结合在一起是与分类器网络串行的决策网络,利用神经网络取代机器学习中的集成学习,更有效的将多个分类器有效的结合在一起。
上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于相同的发明构思,本实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上任意一实施例所述的基于多网络模型的网络入侵检测方法。
图6示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于多网络模型的网络入侵检测方法,其特征在于,包括:
获取待处理数据,并对待处理数据进行预处理;
所述获取待处理数据,并对待处理数据进行预处理,还包括:
将预处理后的数据视为灰度值,形成11*11大小的图像,然后进行特征提取;
对预处理后的数据进行特征提取,得到特征向量;
所述对预处理后的数据进行特征提取,得到特征向量,包括:
根据分类网络模型的不同选择不同的特征提取方法,以满足各个分类网络模型所需要的数据信息;所述特征提取方法包括Fisher特征提取法,具体步骤包括:
输入预处理后的数据,按照公式(2)计算每个特征的Fisher值,根据Fisher值将特征按照重要程序降序排列,从中选择Fisher值高的特征来构建特征向量;
将所述特征向量分别作为预先训练的多个分类网络模型的输入向量,分别得到多个分类网络模型的输出概率值;
将多个分类网络模型的输出概率值拼接成一维矩阵信息,作为预先训练的决策模型的输入向量,根据决策模型的输出概率值判断所述待处理数据是否为入侵数据。
3.根据权利要求1所述的基于多网络模型的网络入侵检测方法,其特征在于,所述特征提取方法还包括PCA主成分分析法,具体步骤包括:
输入预处理后的数据,PCA将预处理后的数据进行线性变换,得到由新的主成分构成的新的特征向量空间,根据每一个新的主成分的方差贡献率进行降序排列,从中选择方差贡献率高的特征来构建特征向量。
4.根据权利要求1所述的基于多网络模型的网络入侵检测方法,其特征在于,所述多个分类网络模型和决策模型均采用sigmoid激活函数,将输出概率值归一化到(0,1)。
5.根据权利要求1所述的基于多网络模型的网络入侵检测方法,其特征在于,所述决策模型为感知机模型,所述感知机模型的训练过程包括以下步骤:
选取感知机模型的初始值w0,b0;其中,感知机模型为y=f(w·x+b);
获取输入向量x和标记值t,将输入向量x输入到感知机模型中,得到输出值y,根据公式(3)和(4)来调整权重值wi,经过多轮迭代后,得到感知机模型的权重值w;
wi←wi+Δwi (3)
b←b+Δb (4)
其中,Δwi=η(t-y)xi,Δb=η(t-y),η为学习速率的常数;
所述输入向量x是将多个分类网络模型的输出概率值拼接成一维矩阵信息得到的;所述标记值t为正常数据或入侵数据所对应的标记值,正常数据标记为0,入侵数据标记为1。
6.根据权利要求5所述的基于多网络模型的网络入侵检测方法,其特征在于,所述获取输入向量x的步骤包括:
对预先训练的各个分类网络模型进行测试,选择二分类的准确率达到95%以上的分类网络模型;
获取历史数据,并对历史数据进行预处理;
将所述特征向量分别作为多个二分类的准确率达到95%以上的分类网络模型的输入向量,分别得到多个分类网络模型的输出概率值;
将多个分类网络模型的输出概率值拼接成一维矩阵信息作为输入向量x;
所述历史数据为最新的公开数据集CSE-CIC-IDS2018。
7.一种基于多网络模型的网络入侵检测方法装置,其特征在于,包括:
获取模块,被配置为获取待处理数据,并对待处理数据进行预处理;
所述获取待处理数据,并对待处理数据进行预处理,还包括:
将预处理后的数据视为灰度值,形成11*11大小的图像,然后进行特征提取;
特征提取模块,被配置为对预处理后的数据进行特征提取,得到特征向量;
所述对预处理后的数据进行特征提取,得到特征向量,包括:
根据分类网络模型的不同选择不同的特征提取方法,以满足各个分类网络模型所需要的数据信息;所述特征提取方法包括Fisher特征提取法,具体步骤包括:
输入预处理后的数据,按照公式(2)计算每个特征的Fisher值,根据Fisher值将特征按照重要程序降序排列,从中选择Fisher值高的特征来构建特征向量;
计算模块,被配置为将所述特征向量分别作为预先训练的多个分类网络模型的输入向量,分别得到多个分类网络模型的输出概率值;
判断模块,被配置为将多个分类网络模型的输出概率值拼接成一维矩阵信息,作为预先训练的决策模型的输入向量,根据决策模型的输出概率值判断所述待处理数据是否为入侵数据。
8.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1-6任意一项所述的基于多网络模型的网络入侵检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010206983.XA CN111553381B (zh) | 2020-03-23 | 2020-03-23 | 基于多网络模型的网络入侵检测方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010206983.XA CN111553381B (zh) | 2020-03-23 | 2020-03-23 | 基于多网络模型的网络入侵检测方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111553381A CN111553381A (zh) | 2020-08-18 |
CN111553381B true CN111553381B (zh) | 2022-11-18 |
Family
ID=72001864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010206983.XA Active CN111553381B (zh) | 2020-03-23 | 2020-03-23 | 基于多网络模型的网络入侵检测方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111553381B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085281B (zh) * | 2020-09-11 | 2023-03-10 | 支付宝(杭州)信息技术有限公司 | 检测业务预测模型安全性的方法及装置 |
CN111931175B (zh) | 2020-09-23 | 2020-12-25 | 四川大学 | 一种基于小样本学习的工业控制系统入侵检测方法 |
CN112465042B (zh) * | 2020-12-02 | 2023-10-24 | 中国联合网络通信集团有限公司 | 一种分类网络模型的生成方法及装置 |
CN112769752B (zh) * | 2020-12-15 | 2021-11-23 | 浙江大学 | 一种基于机器学习集成模型的网络入侵检测方法 |
CN112949743B (zh) * | 2021-03-22 | 2022-04-22 | 四川英得赛克科技有限公司 | 一种网络运维操作的可信判断方法、系统和电子设备 |
CN113328987A (zh) * | 2021-04-09 | 2021-08-31 | 国网浙江省电力有限公司金华供电公司 | 基于深度学习的增量学习流量异常检测方法 |
TWI810549B (zh) * | 2021-04-16 | 2023-08-01 | 馬爾他商優奈有限公司 | 可解釋的神經網路、相關的電腦實施方法、及用於實施可解釋的神經網路之系統 |
CN113095433B (zh) * | 2021-04-27 | 2023-06-23 | 北京石油化工学院 | 入侵检测网络结构模型的训练方法 |
CN113259332B (zh) * | 2021-04-29 | 2022-12-27 | 上海电力大学 | 一种基于端到端的多类型网络流量异常检测方法及系统 |
CN113364752B (zh) * | 2021-05-27 | 2023-04-18 | 鹏城实验室 | 一种流量异常检测方法、检测设备及计算机可读存储介质 |
CN113709118B (zh) * | 2021-08-11 | 2022-10-25 | 西安交通大学 | 一种多设备协同发波检验的物理入侵设备定位方法及系统 |
CN114710325B (zh) * | 2022-03-17 | 2023-09-15 | 广州杰赛科技股份有限公司 | 网络入侵检测模型的构建方法、装置、设备及存储介质 |
CN114826765A (zh) * | 2022-05-18 | 2022-07-29 | 深圳市基纳控制有限公司 | 一种基于异型接口的网络监控方法、系统 |
CN115996133B (zh) * | 2022-06-27 | 2024-04-09 | 西安电子科技大学 | 一种工业控制网络行为检测方法以及相关装置 |
CN115082865B (zh) * | 2022-07-27 | 2022-11-11 | 国能大渡河检修安装有限公司 | 基于视觉图像识别的桥机入侵危险行为预警方法及系统 |
CN115987689B (zh) * | 2023-03-20 | 2023-06-27 | 北京邮电大学 | 一种网络入侵检测方法及装置 |
CN117354056B (zh) * | 2023-12-04 | 2024-02-13 | 中国西安卫星测控中心 | 基于卷积神经网络和集成学习算法的网络入侵检测方法 |
CN117527451B (zh) * | 2024-01-08 | 2024-04-02 | 国网江苏省电力有限公司苏州供电分公司 | 一种网络入侵检测方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108632278A (zh) * | 2018-05-08 | 2018-10-09 | 北京理工大学 | 一种基于pca与贝叶斯相结合的网络入侵检测方法 |
CN109768985A (zh) * | 2019-01-30 | 2019-05-17 | 电子科技大学 | 一种基于流量可视化与机器学习算法的入侵检测方法 |
CN110351244A (zh) * | 2019-06-11 | 2019-10-18 | 山东大学 | 一种基于多卷积神经网络融合的网络入侵检测方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2833594A1 (en) * | 2013-07-31 | 2015-02-04 | Siemens Aktiengesellschaft | Feature based three stage neural networks intrusion detection method and system |
-
2020
- 2020-03-23 CN CN202010206983.XA patent/CN111553381B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108632278A (zh) * | 2018-05-08 | 2018-10-09 | 北京理工大学 | 一种基于pca与贝叶斯相结合的网络入侵检测方法 |
CN109768985A (zh) * | 2019-01-30 | 2019-05-17 | 电子科技大学 | 一种基于流量可视化与机器学习算法的入侵检测方法 |
CN110351244A (zh) * | 2019-06-11 | 2019-10-18 | 山东大学 | 一种基于多卷积神经网络融合的网络入侵检测方法及系统 |
Non-Patent Citations (3)
Title |
---|
Android运行时恶意行为检测模型研究;董航; 李祺; 董枫; 彭勇; 徐国爱;《北京邮电大学学报》;20140630;第37卷(第3期);全文 * |
改进KPCA对分类数据的特征提取;万家强等;《计算机工程与设计》;20100928(第18期);全文 * |
非负矩阵分解及其在模式识别中的应用;刘维湘等;《科学通报》;20060215(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111553381A (zh) | 2020-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111553381B (zh) | 基于多网络模型的网络入侵检测方法、装置及电子设备 | |
Van Amersfoort et al. | Uncertainty estimation using a single deep deterministic neural network | |
Springenberg et al. | Improving deep neural networks with probabilistic maxout units | |
Zhao et al. | A two-stage feature selection method with its application | |
US11755838B2 (en) | Machine learning for joint recognition and assertion regression of elements in text | |
CN109446804B (zh) | 一种基于多尺度特征连接卷积神经网络的入侵检测方法 | |
CN110602120B (zh) | 一种面向网络的入侵数据检测方法 | |
US11593619B2 (en) | Computer architecture for multiplier-less machine learning | |
Liu et al. | Decision tree learning based feature evaluation and selection for image classification | |
US20210279528A1 (en) | Systems and methods for fine tuning image classification neural networks | |
US20200364549A1 (en) | Predicting optical fiber manufacturing performance using neural network | |
CN115811440B (zh) | 一种基于网络态势感知的实时流量检测方法 | |
CN115580445A (zh) | 一种未知攻击入侵检测方法、装置和计算机可读存储介质 | |
Win et al. | Information gain measured feature selection to reduce high dimensional data | |
Chouaib et al. | Feature selection combining genetic algorithm and adaboost classifiers | |
Li et al. | An improved lightweight network architecture for identifying tobacco leaf maturity based on Deep learning | |
CN112052816A (zh) | 基于自适应图卷积对抗网络的人体行为预测方法及系统 | |
CN116633601A (zh) | 一种基于网络流量态势感知的检测方法 | |
US20210357729A1 (en) | System and method for explaining the behavior of neural networks | |
Kyatham et al. | A novel approach for network intrusion detection using probability parameter to ensemble machine learning models | |
US20220269991A1 (en) | Evaluating reliability of artificial intelligence | |
US11676391B2 (en) | Robust correlation of vehicle extents and locations when given noisy detections and limited field-of-view image frames | |
CN114881173A (zh) | 基于自注意力机制的简历分类方法和装置 | |
Patel | Large high dimensional data handling using data reduction | |
Bekele et al. | Implementing a robust explanatory bias in a person re-identification network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |