CN115580445A - 一种未知攻击入侵检测方法、装置和计算机可读存储介质 - Google Patents
一种未知攻击入侵检测方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN115580445A CN115580445A CN202211159011.5A CN202211159011A CN115580445A CN 115580445 A CN115580445 A CN 115580445A CN 202211159011 A CN202211159011 A CN 202211159011A CN 115580445 A CN115580445 A CN 115580445A
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- unknown
- class
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 76
- 238000012549 training Methods 0.000 claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 38
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 47
- 230000004913 activation Effects 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000007774 longterm Effects 0.000 claims description 11
- 230000007787 long-term memory Effects 0.000 claims description 7
- 230000006403 short-term memory Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 description 10
- 238000003062 neural network model Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 239000004215 Carbon black (E152) Substances 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 229930195733 hydrocarbon Natural products 0.000 description 1
- 150000002430 hydrocarbons Chemical class 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005272 metallurgy Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明属于网络安全技术领域,提出了一种未知攻击入侵检测方法、装置和计算机可读存储介质,该方法通过使用卷积神经网络和长短期记忆人工神经网络实现对基础分类器的搭建。同时,为了能够使模型更好的应用于未知攻击入侵检测领域,本发明在训练阶段提出了一种新的损失函数即距离度量函数,它能够使得相同类别的样本的空间向量分布更加紧凑,并使不同类别的样本更加稀疏,增强了基础分类器的分类能力。在检测阶段使用Openmax层替换常规的Softmax层,并与距离度量函数相互作用,以增大样本深层特征的类间间距和减少类内间距,实现对未知类别的有效检测。
Description
技术领域
本发明涉及网络安全技术领域,具体涉及一种未知攻击入侵检测方法、装置和计算机可读存储介质。
背景技术
作为现代社会的重要支柱,工业控制网络广泛存在于我国电力、水利、污水处理、石油化工、冶金、汽车、航空航天等诸多现代工业,与国计民生息息相关。近年来,随着信息化和工业化融合的逐步推进及5G、人工智能等新兴技术的落地应用,打破了传统工业控制系统与信息网络的“隔离”,越来越多的工业控制设备接入互联网或企业管理网中,网络安全形势愈发严峻。
入侵检测作为一种积极主动的安全防护技术已被广泛应用于工业控制网络中。但是,由于网络环境复杂开放和攻击手段的隐蔽多变,网络中充斥着大量未知威胁攻击,这导致现有基于先验知识和针对封闭场景设计的入侵检测方法很难覆盖所有的攻击类型,使得现有产品难以在真实环境中部署应用。
论文“Zhang Z,Zhang Y,Niu J,et al.Unknown network attack detectionbased on open-set recognition and active learning in drone network[J].Transactions on Emerging Telecommunications Technologies,2021.”提出了一个Open-CNN模型来实现入侵检测和检测未知攻击。该模型首先采用CNN神经网络作为基础分类器对样本数据进行训练,随后在检测阶段通过引入Openmax层来代替传统的Softmax层,Openmax层采用元识别理论重新计算倒数第二层的激活向量来估计样本属于未知类别的概率,从而实现对未知网络攻击的检测。最后,通过对少量未知样本进行人工标记,采用主动学习方法对模型进行更新实现分类器对未知类别的检测。虽然在检测阶段加入了Openmax方法,能够实现对未知类别的检测,但是该方法在训练阶段依然采用Softmax损失函数,这使得Openmax在计算深度特征平均激活向量时各类别之间的样本并未具有明显的区分度,特别在网络攻击入侵检测中,往往某几个字节的不同就会造成其具有类别上的差异,因此该方法在未知类别检测方面效果并不明显。
论文“Zhang Z,Liu Q,Qiu S,et al.Unknown attack detection based onzero-shot learning[J].IEEEAccess,2020,8:193981-193991.”提出了一种基于稀疏自动编码器的零样本学习方法来检测未知攻击。该方法将已知攻击的特征映射到语义空间,通过稀疏自动编码器对重构误差进行限制,将语义空间恢复到特征空间,建立特征到语义映射关系,用于检测未知攻击。但其需要建立特征空间与语义空间的映射关系,而对于未知攻击而言,往往很难找到其对应的语义描述资料,特别是对于从未出现的攻击类型,期望找到其语义描述是不切实际的,因此其在实际应用中很难发挥作用。
发明内容
本发明的目的是提出一种未知攻击入侵检测方法、装置和计算机可读存储介质,达到准确率高的目的。(1)本申请所提出的Gap loss损失函数能够使神经网络分类器在训练阶段获得区分度更高的特征,提高已知类别的分类准确率。(2)本申请所提出的神经网络模型在检测阶段使用Openmax层替换常规的Softmax层,并与Gap loss损失函数相互作用,以增大样本深层特征的类间间距和减少类内间距,实现对未知类别的有效检测。(3)本申请充分考虑到实际应用情况,不需要对网络流量数据进行人工干预,所提出的方法为自动化检测方式。
本发明的技术方案如下:一种未知攻击入侵检测方法,包括以下步骤:
步骤一:预处理网络攻击流量,获得模型输入数据;
1.1)设定网络攻击流量活跃时间阈值Tinterval,将网络攻击流量数据分割为多个数据流单元数据;每一数据流单元数据包括源地址、目的地址、源端口、目的端口和应用层协议;
1.2)提取数据流单元数据中的应用层协议数据;
1.3)计算所有样本中的最大字节长度Lmax,将其设置为模型的输入长度,不足该最大字节长度的样本后进行补0;
1.4)构造网络流字典,与16进制的数据流字节建立一个映射关系。
所述应用层协议数据以16进制格式表示;网络流字典数值范围为0到255;网络流字典的0代表0x00,255代表0xff。
步骤二:模型输入数据,作为训练样本对混合神经网络分类器进行训练;由于不同的神经网络架构能够捕获到不同类型的特征,我们将卷积神经网络(CNN)和长短期记忆人工神经网络(LSTM)结合起来,作为已知攻击检测的基础分类器。卷积神经网络分为多个不同卷积核;模型输入数据经卷积神经网络提取得到多个空间局部特征;将多个空间局部特征进行拼接获得完整的样本特征图,经长短期记忆人工神经网络自动提取得到各空间局部特征的长期依赖关系,用于确定各空间局部特征的位置关系,以减少后续损失函数训练过程中的误差;
2.1)利用不同卷积核的多个卷积神经网络在输入数据序列上滑动提取多个空间局部特征,计算公式如下:
hkl=f(h(k-1)l⊙wkl+rkl)
其中,hkl为第l个卷积神经网络第k层的特征矩阵,wkl为卷积神经网络第k层的权重,rkl为第k层的偏置矩阵;
2.2)对所有空间局部特征进行拼接操作,得到样本特征图,计算公式如下:
hk=[hk1,hk2,···,hkl]
2.3)利用长短期记忆人工神经网络从样本特征图中提取各空间特征之间的长期依赖关系,计算公式如下:
sz=f(Umz+sz-1W)
其中,sz为第z时刻隐藏层神经元的激活向量,状态U和W为长短期记忆人工神经网络的权值矩阵,mz为第z时刻长短期记忆人工神经网络隐藏层神经元的输入;其中,m1=hk。
步骤三:基于各空间局特征的长期依赖关系训练混合神经网络分类器的损失函数;在多分类模型中,通常采用Softmax作为损失函数来衡量分类任务中的误差,Softmax的详细计算过程如下式所示:
但当使用Softmax损失函数时,其所获得的深层特征并没有表现出很好的区分性,这导致Softmax损失函数在很多分类任务中难以取得有效的效果。于原有Softmax损失函数基础上增设一距离度量函数Gap loss,进行混合神经网络分类器的模型建立,Gap loss能够同时最小化样本深度特征与其类中心之间的距离和最大化属于不同类别的深度特征之间的距离。通过梯度下降算法使该损失函数最小化,完成对混合神经网络分类器的训练;
距离度量函数Gap loss计算公式如下:
其中,Ls为Softmax损失函数,LC为对同类样本之间距离的最小化;LG为不同类别样本距离最大化;λC和λG为权重系数,m为总类别数量,表示样本xi深层特征与该样本所在类别yi的深层特征中心cyi之间的距离,表示样本xi深层特征与除该样本所在类别yi以外的深层特征中心之间的距离;
3.1)对每一个样本xi计算反向传播误差,计算公式如下:
其中t为训练轮数;
多项式LC和LG分别对xi求导结果如下式所示:
3.2)在每一轮训练完成后,对每一类别j更新其类内和类外中心,在实际训练过程中,由于针对整个训练集去更新类内和类外中心是不现实的,所以本发明在每一次批处理数据时更新其类内与类外中心。
计算公式如下:
当condition为真值时,δ(condition)=1,否则δ(condition)=0;
3.3)更新模型权重矩阵参数,计算公式如下:
其中μt为学习率,初始权重矩阵θ为随机矩阵;
3.4)不断重复步骤1)-步骤4)直至模型达到最大训练轮数。
步骤四:攻击检测混合神经网络分类器,传统的神经网络模型使用Softmax层对最后一层全连接层的激活向量进行归一化,以得到每一类别的输出概率,并使这些概率的和为1。当未知样本出现时,具有Softmax层的神经网络模型仍然会将该样本划分到已知类别中。因此,我们采用Openmax层来代替Softmax层,完成对未知类别的检测。Openmax层的工作过程可分为两个阶段,即学习阶段和检测阶段。
4.1)在学习阶段,我们用已知的流量样本数据得到一个预训练模型。为了避免引入错误分类信息,根据已知的流量样本数据得到预训练模型,提取出分类正确的样本的最后一层全连接层的激活向量V(x)=[v1,···vj,···vN],并计算每一类别的平均激活向量M=[m1,...,mN];
4.2)计算每一类别所有样本的激活向量vj=[vj1,vj2,···,vjn]与该类别平均激活向量mj的距离,并选取其中距离最大的η个样本来拟合样本的威尔布分布pj,计算公式如下:
pj=(τj,λj,κj)=FitHigh(||vj-mj||,η)
其中τj代表位置参数,λj代表尺度参数,κj代表形状参数,威布尔分布用于估计输入样本相对于类j的离群值概率;
4.3)攻击检测阶段,我们需要对最后一层全连接层的激活向量进行重新校准,来估计未知攻击样本的概率值。首先对每一类样本的激活向量按照升序排序,计算其索引值,计算公式如下:
s(j)=argsort(V(x))
4.4)每一类别中选取其中α个最大激活向量,计算其权重概率,计算公式如下:
4.5)对激活向量进行重新调整校准,计算公式如下:
4.6)将softmax函数应用于重新校准的激活向量,得到包括已知与未知类在内的每个样本的输出概率,计算公式如下:
所述卷积神经网络中的卷积层后未进行池化操作。池化层的主要作用是为了简化网络复杂度及防止过拟合,但它会破坏特征的顺序性,而对于网络流量而言,各特征之间的顺序对于攻击识别将起到重要的作用。此外,为了防止网络过拟合,本发明在混合神经网络中加入了L2正则化操作。
在梯度下降算法中,要求损失函数必须为连续可微函数。本发明所提出的距离度量函数的多项式LC和LG分别对xi求导结果如下所示。
由此可知,Gap loss损失函数时连续可微的,可用于神经网络的梯度下降算法中。
一种用于工业控制网络的未知攻击入侵检测装置,包括:
网络模块,用于捕获网络流量数据;
存储器,用于存储捕获的网络流量数据和计算机程序;
处理器,用于执行所述存储器中存储的计算机程序,当所述计算机程序被执行时,所述处理器用于:
获取待检测的数据流单元数据,所述数据流单元数据是单位时间内具有相同源地址、目的地址、源端口、目的端口和应用层协议的网络流量数据;根据数据流单元数据,提取其中的应用层协议数据,所述应用层协议数据采用16进制表示;
将应用层协议数据输入混合神经网络分类器中,确定该条数据的激活向量;根据该条数据的激活向量,确定数据所属类别;
所述混合神经网络分类器主要由卷积神经网络和长短期记忆人工神经网络组成。
一种计算机可读存储介质,存储计算机程序,所述计算机程序可被处理器执行以实现上述的检测方法。
本发明的有益效果:本发明针对现有入侵检测方法无法对未知工控网络攻击进行有效识别的问题,提出了一种用于工业控制网络的未知攻击入侵检测方法、装置和计算机可读存储介质。目前,现有的入侵检测技术大多采用基于先验知识的分类方法,此类方法虽然在已知攻击的分类上取得了良好效果,但面对未知攻击类型依然无法进行准确识别。本发明在采用神经网络所搭建的基础分类器的基础上使用了一种新型的损失函数Gap loss,并在检测阶段将Softmax层替换为Openmax,使其与Gap loss相互作用,在完成对已知攻击准确识别的基础上能够同时实现对未知类别的检测。
附图说明
图1为用于工业控制网络的未知攻击入侵检测方法流程图。
图2为混合神经网络分类器结构图;
图3为用于工业控制网络的未知攻击入侵检测装置的示意图。
具体实施方式
本发明所提出的模型框架主要包括三个部分:混合神经网络分类器、训练损失函数和未知攻击检测。其中,混合神经网络分类器作为基础的分类器,在此基础上,提出了一种新的Gap loss损失函数,它与训练阶段相互作用以增大样本深层特征的类间间距和减少类内间距,以提供更好的分类结果并便于分类器识别出未知的类别。在攻击检测部分使用openmax层来代替softmax层,完成对未知类别的检测。
如图1所示,本发明的实施分为训练及检测两个阶段,首先进行网络流量预处理,提取出应用层数据,输入至混合神经网络分类器中。接下来判断是否为训练阶段,如果是训练阶段,则采用Gap loss损失函数梯度下降算法训练;如果是检测阶段,则采用Openmax层进行未知攻击检测。其中训练阶段通过输入训练数据不断调整神经网络内部参数,生成参数固定的神经网络模型。检测阶段将利用训练阶段所生成的神经网络模型对待检测数据进行分类,得到分类结果。
如图2所示,为混合神经网络分类器结构图,混合神经网络分类器包括多个不同卷积核的卷积神经网络和长短期记忆人工神经网络;模型输入数据经卷积神经网络提取得到多个空间局部特征;将多个空间局部特征进行拼接获得完整的样本特征图,经长短期记忆人工神经网络自动提取得到各空间局部特征的长期依赖关系即激活向量。
(1)训练阶段的具体实施方式如下:数据获取及预处理:为了论证本发明所提出的方法在未知攻击检测方面的效果,我们利用开源攻击工具和wireshark软件收集了不同种类的恶意流量数据。每种攻击所使用的工具如表1所示。
表1攻击工具表
首先我们将攻击流量数据分割为数据流单元,每一数据流单元是单位时间内具有相同五元组即源地址、目的地址、源端口、目的端口、应用层协议的数据包,随后将数据流单元中的应用层协议数据部分提取出来,按16进制格式写入CSV文件中。不同的数据流单元的长度不同,但我们的模型的输入数据必须是长度统一的,因此我们对所有样本的最大字节长度进行计算,在不足该长度的样本后进行补0。同时,我们构造了一个网络流字典,其数值范围为0到255,并与16进制的网络流字节建立一个映射关系,其中0代表0x00,255代表0xff。最后将转换后的数据输入到模型中。
(2)评价指标
本发明使用了四个指标来评估未知攻击检测模型,包括准确率、精度、召回率、Fl-score。假设TP表示真阳性即正确识别未知攻击,TN表示真阴性即正确识别已知攻击,FP表示假阳性即已知攻击被错误归类为未知攻击,FN表示假阴性即未知攻击被错误归类为已知攻击,则准确率的计算方式为(TP+TN)/(TP+TN+FP+FN),准确率定义了正确分类的样本比例。精度为TP/(TP+FP),表示预测为未知攻击且分类正确的比例。召回率为TP/(TP+FN),表示样本为未知攻击且被预测正确的比例。Fl-score的计算方式为(2*精度*召回率)/(精度+召回率),此公式为精度和召回率的加权平均值,通常是衡量分类器性能的一个更全面的指标。
(3)实验参数设置
本发明所提出的模型使用PyTorchAPI实现,实验在Ubuntu 18.04平台上进行,该平台配备了英特尔酷睿i7-8700 CPU和NVIDIA Gefouce RTX2060(6G)显卡。模型的详细参数如表2所示。
表2模型参数设置
检测阶段的具体实施方式如下:
(1)数据捕获及预处理:首先通过网络模块捕获待检测网络流量数据并将网络流量数据发送至存储器中,其次采用与训练阶段相同的数据预处理方法,将网络流量数据分割为数据流单元,每一数据流单元为一条样本数据,最后提取数据流单元中应用层协议数据部分,并转换为16进制形式。
(2)计算激活向量:将预处理后的待检测数据输入预训练完成的混合神经网络模型中,计算该条样本的激活向量的值即各空间局部特征的长期依赖关系。
(3)判断待检测样本类别:使用Openmax层对待检测样本的激活向量进行重新校准,并输出其所属类别。
本申请实施例提供一种用于工业控制网络的未知攻击入侵检测装置,如图3所示,实现对网络攻击流量的捕获、处理及分类检测,所述未知攻击入侵检测装置包括:网络模块,用于捕获网络流量数据;存储器,用于存储捕获的网络流量数据和计算机程序;处理器,用于执行所述存储器中存储的计算机程序,当所述计算机程序被执行时,所述处理器用于获取待检测的数据流单元数据,所述数据流单元数据是单位时间内具有相同源地址、目的地址、源端口、目的端口和应用层协议的网络流量数据;根据数据流单元数据,提取其中的应用层协议数据,所述应用层协议数据采用16进制表示;将应用层协议数据输入混合神经网络分类器中,确定该条数据的激活向量;根据该条数据的激活向量,确定数据所属类别;所述混合神经网络分类器主要由卷积神经网络和长短期记忆人工神经网络组成。
一种计算机可读存储介质,存储计算机程序,所述计算机程序可被处理器执行以实现检测方法。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。
将本发明的方法与其他方法进行检测效果比较,当攻击类型为未知攻击时,未知攻击检测结果具体如下:
我们在训练过程中分别剔除数据集中的某一种攻击,并将剩下的数据按照60:20;20的比例进行分割,其中60%的数据用于训练,20%的数据用于验证,剩下20%的数据用于测试。此外,我们在测试阶段加入了所剔除的该种攻击类型来测试我们的未知攻击检测模型,实验结果如表3所示:
表3不同方法未知攻击检测效果
从实验结果中可以看到,本发明所提出的Gap loss+Openmax方法在准确率和F1-score上都比现有方法有了较大的提升。其中,仅使用Softmax损失函数的分类模型由于不具备未知攻击鉴别能力,其会将未知攻击划分到已知类别中去,导致其准确率和F1-score数值最低。而仅采用Openmax的模型由于其在训练阶段仍然采用Softmax作为损失函数,使得各类别之间的区分度并不明显,虽然其能够实现对未知类别的检测,但是效果并不明显。
当攻击类型为已知攻击时,检测结果具体如下:
由于未知攻击检测结果可能受未知攻击样本数量影响,为了验证模型的整体性能,我们将所有的数据按照60:20;20的比例进行分割,其中60%的数据用于训练,20%的数据用于验证,剩下20%的数据用于测试。以验证使用Gap loss作为损失函数后对基础分类器的影响,实验结果如表3所示:
表4不同方法已知攻击检测效果
模型 | 准确率 | F1-score |
softmax | 95.43 | 0.9345 |
Openmax | 93.87 | 0.8876 |
Gaploss+Openmax | 96.76 | 0.9536 |
当在检测阶段未使用未知攻击类别时,仅采用Openmax的模型会将一小部分已知类别数据划分为未知类别中,导致其准确率和F1-score降低。而当我们在训练阶段加入Gaploss损失函数后,虽然也会有小部分数据被划分至未知类别中,但该方法能够使得同一类别的数据更加紧凑,不同类别数据愈发疏远,从而令数据更具区分度,达到较高的分类效果。
需要特殊说明的是,以上描述是结合具体内容提供的一种具体实施方式,并不能认定本发明仅局限于以上描述。凡与本发明方法、结构类似,或在本发明构思下做出若干替换、推演的方式,都应视为本发明的保护范围。
Claims (10)
1.一种未知攻击入侵检测方法,其特征在于,该未知攻击入侵检测方法包括以下步骤:
步骤一:预处理网络攻击流量,获得模型输入数据;
步骤二:模型输入数据,作为训练样本对混合神经网络分类器进行训练;混合神经网络结构包括多个不同卷积核的卷积神经网络和长短期记忆人工神经网络;模型输入数据经卷积神经网络提取得到多个空间局部特征;将多个空间局部特征进行拼接获得完整的样本特征图,经长短期记忆人工神经网络自动提取得到各空间局部特征的长期依赖关系;
步骤三:基于各空间局部特征的长期依赖关系,训练混合神经网络分类器的损失函数,于原有Softmax损失函数基础上增设一距离度量函数,进行混合神经网络分类器的模型建立;使该损失函数最小化,完成对混合神经网络分类器的训练;
步骤四:未知攻击检测,采用Openmax层代替步骤三获得的混合神经网络分类器的Softmax层,完成对未知类别的检测。
3.根据权利要求1或2所述的未知攻击入侵检测方法,其特征在于,所述步骤一的具体步骤如下:
1)设定网络攻击流量活跃时间阈值Tinterval,将网络攻击流量数据分割为多个数据流单元数据;每一数据流单元数据包括源地址、目的地址、源端口、目的端口和应用层协议;
2)提取数据流单元数据中的应用层协议数据;
3)计算所有样本中的最大字节长度Lmax,将其设置为模型的输入长度,不足该最大字节长度的样本后进行补0;
4)构造网络流字典,与16进制的数据流字节建立一个映射关系。
4.根据权利要求1或2所述的未知攻击入侵检测方法,其特征在于,所述步骤二的具体步骤如下:
1)利用不同卷积核的多个卷积神经网络在输入数据序列上滑动提取多个空间局部特征,计算公式如下:
hkl=f(h(k-1)l⊙wkl+rkl)
其中,hkl为第l个卷积神经网络第k层的特征矩阵,wkl为卷积神经网络第k层的权重,rkl为第k层的偏置矩阵;
2)对所有空间局部特征进行拼接操作,得到样本特征图,计算公式如下:
hk=[hk1,hk2,···,hkl]
3)利用长短期记忆人工神经网络从样本特征图中提取各空间特征之间的长期依赖关系,计算公式如下:
sz=f(Umz+sz-1W)
其中,sz为第z时刻隐藏层神经元的激活向量,状态U和W为长短期记忆人工神经网络的权值矩阵,mz为第z时刻长短期记忆人工神经网络隐藏层神经元的输入;其中,m1=hk。
5.根据权利要求2所述的未知攻击入侵检测方法,其特征在于,所述步骤三的具体步骤如下:
1)对每一个样本xi计算反向传播误差,计算公式如下:
其中t为训练轮数;
多项式LC和LG分别对xi求导结果如下式所示:
2)在每一轮训练完成后,对每一类别j更新其类内和类外中心,计算公式如下:
当condition为真值时,δ(condition)=1,否则δ(condition)=0;
3)更新模型权重矩阵参数,计算公式如下:
其中μt为学习率,初始权重矩阵θ为随机矩阵;
4)不断重复步骤1)-步骤4)直至模型达到最大训练轮数。
6.根据权利要求5所述的未知攻击入侵检测方法,其特征在于,所述步骤四具体步骤如下:
1)根据已知的流量样本数据得到预训练模型,提取出分类正确的样本的最后一层全连接层的激活向量V(x)=[v1,···vj,···vN],并计算每一类别的平均激活向量M=[m1,...,mN];
2)计算每一类别所有样本的激活向量vj=[vj1,vj2,···,vjn]与该类别平均激活向量mj的距离,并选取其中距离最大的η个样本来拟合样本的威尔布分布pj,计算公式如下:
pj=(τj,λj,κj)=FitHigh(||vj-mj||,η)
其中τj代表位置参数,λj代表尺度参数,κj代表形状参数,威布尔分布用于估计输入样本相对于类j的离群值概率;
3)攻击检测阶段,对每一类样本的激活向量按照升序排序,计算其索引值,计算公式如下:
s(j)=argsort(V(x))
4)每一类别中选取其中α个最大激活向量,计算其权重概率,计算公式如下:
5)对激活向量进行重新调整校准,计算公式如下:
6)将softmax函数应用于重新校准的激活向量,得到包括已知与未知类在内的每个样本的输出概率,计算公式如下:
7.根据权利要求1所述的未知攻击入侵检测方法,其特征在于,所述卷积神经网络中的卷积层后未进行池化操作。
8.一种未知攻击入侵检测装置,其特征在于,包括:
网络模块,用于捕获网络流量数据;
存储器,用于存储捕获的网络流量数据和计算机程序;
处理器,用于执行所述存储器中存储的计算机程序,当所述计算机程序被执行时,所述处理器用于:
获取待检测的数据流单元数据,所述数据流单元数据是单位时间内具有相同源地址、目的地址、源端口、目的端口和应用层协议的网络流量数据;根据数据流单元数据,提取其中的应用层协议数据,与网络流字典形成映射关系;
将应用层协议数据输入混合神经网络分类器中,确定各空间局部特征的长期依赖关系;基于各空间局特征的长期依赖关系训练混合神经网络分类器的损失函数并采用Openmax层代替混合神经网络分类器的Softmax层;最终确定数据所属类别。
9.根据权利要求8所述的未知攻击入侵检测装置,其特征在于,所述混合神经网络分类器主要由卷积神经网络和长短期记忆人工神经网络组成,卷积神经网络提取得到多个空间局部特征;将多个空间局部特征进行拼接获得完整的样本特征图,经长短期记忆人工神经网络自动提取得到各空间局部特征的长期依赖关系。
10.一种计算机可读存储介质,其特征在于,存储计算机程序,所述计算机程序可被处理器执行以实现如权利要求1-8中任一项所述的检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211159011.5A CN115580445B (zh) | 2022-09-22 | 2022-09-22 | 一种未知攻击入侵检测方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211159011.5A CN115580445B (zh) | 2022-09-22 | 2022-09-22 | 一种未知攻击入侵检测方法、装置和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115580445A true CN115580445A (zh) | 2023-01-06 |
CN115580445B CN115580445B (zh) | 2024-06-28 |
Family
ID=84581688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211159011.5A Active CN115580445B (zh) | 2022-09-22 | 2022-09-22 | 一种未知攻击入侵检测方法、装置和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115580445B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116056087A (zh) * | 2023-03-31 | 2023-05-02 | 国家计算机网络与信息安全管理中心 | 网络攻击检测方法、装置及设备 |
CN116628619A (zh) * | 2023-07-26 | 2023-08-22 | 西南交通大学 | 一种基于车网耦合的未知异常电气现象辨识方法 |
CN117240689A (zh) * | 2023-11-10 | 2023-12-15 | 北京航空航天大学杭州创新研究院 | 一种基于深度对比学习的节点受攻击复杂网络自重建方法 |
CN117527451A (zh) * | 2024-01-08 | 2024-02-06 | 国网江苏省电力有限公司苏州供电分公司 | 一种网络入侵检测方法、装置、电子设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180285740A1 (en) * | 2017-04-03 | 2018-10-04 | Royal Bank Of Canada | Systems and methods for malicious code detection |
CN109656134A (zh) * | 2018-12-07 | 2019-04-19 | 电子科技大学 | 一种基于时空联合递归神经网络的智能车端到端决策方法 |
US20200394509A1 (en) * | 2019-06-14 | 2020-12-17 | International Business Machines Corporation | Classification Of Sparsely Labeled Text Documents While Preserving Semantics |
CN112839034A (zh) * | 2020-12-29 | 2021-05-25 | 湖北大学 | 一种基于cnn-gru分层神经网络的网络入侵检测方法 |
CN113259331A (zh) * | 2021-04-29 | 2021-08-13 | 上海电力大学 | 一种基于增量学习的未知异常流量在线检测方法及系统 |
CN113887580A (zh) * | 2021-09-15 | 2022-01-04 | 天津大学 | 一种考虑多粒度类相关性的对比式开放集识别方法及装置 |
CN114357165A (zh) * | 2021-12-30 | 2022-04-15 | 江苏大学 | 一种基于深度学习网络的短文本分类方法 |
-
2022
- 2022-09-22 CN CN202211159011.5A patent/CN115580445B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180285740A1 (en) * | 2017-04-03 | 2018-10-04 | Royal Bank Of Canada | Systems and methods for malicious code detection |
CN109656134A (zh) * | 2018-12-07 | 2019-04-19 | 电子科技大学 | 一种基于时空联合递归神经网络的智能车端到端决策方法 |
US20200394509A1 (en) * | 2019-06-14 | 2020-12-17 | International Business Machines Corporation | Classification Of Sparsely Labeled Text Documents While Preserving Semantics |
CN112839034A (zh) * | 2020-12-29 | 2021-05-25 | 湖北大学 | 一种基于cnn-gru分层神经网络的网络入侵检测方法 |
CN113259331A (zh) * | 2021-04-29 | 2021-08-13 | 上海电力大学 | 一种基于增量学习的未知异常流量在线检测方法及系统 |
CN113887580A (zh) * | 2021-09-15 | 2022-01-04 | 天津大学 | 一种考虑多粒度类相关性的对比式开放集识别方法及装置 |
CN114357165A (zh) * | 2021-12-30 | 2022-04-15 | 江苏大学 | 一种基于深度学习网络的短文本分类方法 |
Non-Patent Citations (2)
Title |
---|
ZHAO ZHANG, YONG ZHANG, JIE NIU, DA GUO: "Unknown network attack detection based on open-set recognition and active learning in drone network", 《TRANSACTIONS ON EMERGING TELECOMMUNICATIONS TECHNOLOGIES 》, 31 January 2021 (2021-01-31) * |
ZHUN ZHANG, QIHE LIU, SHILIN QIU, SHIJIE ZHOU, CHENG ZHANG: "Unknown Attack Detection Based on Zero-Shot Learning", 《IEEE》, 26 October 2020 (2020-10-26) * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116056087A (zh) * | 2023-03-31 | 2023-05-02 | 国家计算机网络与信息安全管理中心 | 网络攻击检测方法、装置及设备 |
CN116056087B (zh) * | 2023-03-31 | 2023-06-09 | 国家计算机网络与信息安全管理中心 | 网络攻击检测方法、装置及设备 |
CN116628619A (zh) * | 2023-07-26 | 2023-08-22 | 西南交通大学 | 一种基于车网耦合的未知异常电气现象辨识方法 |
CN116628619B (zh) * | 2023-07-26 | 2023-10-20 | 西南交通大学 | 一种基于车网耦合的未知异常电气现象辨识方法 |
CN117240689A (zh) * | 2023-11-10 | 2023-12-15 | 北京航空航天大学杭州创新研究院 | 一种基于深度对比学习的节点受攻击复杂网络自重建方法 |
CN117240689B (zh) * | 2023-11-10 | 2024-02-06 | 北京航空航天大学杭州创新研究院 | 一种基于深度对比学习的节点受攻击复杂网络自重建方法 |
CN117527451A (zh) * | 2024-01-08 | 2024-02-06 | 国网江苏省电力有限公司苏州供电分公司 | 一种网络入侵检测方法、装置、电子设备及存储介质 |
CN117527451B (zh) * | 2024-01-08 | 2024-04-02 | 国网江苏省电力有限公司苏州供电分公司 | 一种网络入侵检测方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115580445B (zh) | 2024-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111553381B (zh) | 基于多网络模型的网络入侵检测方法、装置及电子设备 | |
CN115580445B (zh) | 一种未知攻击入侵检测方法、装置和计算机可读存储介质 | |
CN105224872B (zh) | 一种基于神经网络聚类的用户异常行为检测方法 | |
CN110298663B (zh) | 基于序列宽深学习的欺诈交易检测方法 | |
CN109934269B (zh) | 一种电磁信号的开集识别方法和装置 | |
CN116167010B (zh) | 具有智能迁移学习能力的电力系统异常事件快速识别方法 | |
CN111368920A (zh) | 基于量子孪生神经网络的二分类方法及其人脸识别方法 | |
CN109446804B (zh) | 一种基于多尺度特征连接卷积神经网络的入侵检测方法 | |
CN112149758B (zh) | 一种基于欧式距离和深度学习的高光谱开放集分类方法 | |
CN116805051A (zh) | 基于注意力机制的双卷积动态域适应设备故障诊断方法 | |
CN112949391A (zh) | 一种基于深度学习谐波信号分析的智能安检方法 | |
CN117478390A (zh) | 一种基于改进密度峰值聚类算法的网络入侵检测方法 | |
CN115987552A (zh) | 一种基于深度学习的网络入侵检测方法 | |
CN104143088B (zh) | 一种基于图像检索和特征权重学习的人脸识别方法 | |
CN110995713A (zh) | 一种基于卷积神经网络的僵尸网络检测系统及方法 | |
CN116977834B (zh) | 一种开放条件下分布内外图像识别方法 | |
CN114547365A (zh) | 一种图像检索方法和设备 | |
CN117614664A (zh) | 基于攻击警告权重聚类的多阶段攻击预测方法 | |
CN111786999A (zh) | 一种入侵行为的检测方法、装置、设备和存储介质 | |
CN116232761A (zh) | 基于shapelet的网络异常流量检测方法及系统 | |
CN114124437B (zh) | 基于原型卷积网络的加密流量识别方法 | |
CN113379779B (zh) | 堆叠宽度学习系统的边缘计算方法、装置、介质和设备 | |
CN115481685A (zh) | 一种基于原型网络的辐射源个体开集识别方法 | |
CN113392901A (zh) | 一种基于深度学习模型神经通路激活特征的对抗样本检测方法 | |
Zhang et al. | Improved Sparse Representation of Open Set HRRP Recognition Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |