CN115459996A - 基于门控卷积和特征金字塔的网络入侵检测方法 - Google Patents

Abstract

本发明属于入侵检测领域，涉及基于门控卷积和特征金字塔的网络入侵检测方法。该方法包括以下步骤：S1)将所用的数据进行预处理；S2)采用门控卷积神经网络按深度提取出网络数据不同程度的语义特征；S3)采用特征金字塔网络将模型深层的特征图进行融合；S4)对融合后的各模型深层特征图应用全连接神经网络进行分类判决；S5)采用FocalLoss损失函数对整体模型进行多监督训练。本发明能实现高性能的入侵检测，相比与其他方法，该发明在多分类入侵检测中的查准率、查全率以及综合指标F1‑score上取得的效果更佳，在提升入侵检测系统性能的同时实现对少数类样本F1‑score的巨大提升。

Description

基于门控卷积和特征金字塔的网络入侵检测方法

技术领域

本发明属于网络入侵检测技术领域，涉及基于门控卷积和特征金字塔的网络入侵检测方法。

背景技术

网络入侵检测技术是现代社会信息安全领域重要的研究方向。在当今的网络环境中，各种类型的网络攻击层出不穷，入侵检测技术在维护网络安全的任务中发挥了重要作用。网络入侵检测的任务是对网络中的各种异常流量进行识别，并判断出它属于哪一种攻击类型，以便对其采取相应的防御机制。目前经典的机器学习分类器如：决策树，支持向量机，逻辑回归以及多层感知机等模型被广泛应用于网络入侵检测的分类任务中。

基于端口识别，深层包检测类别等传统的网络数据的检测方法和经典的机器学习技术被广泛的应用于入侵检测领域。但是随着网络数据规模的不断扩大与发展，当前的网络攻击无论在数量上或者类别上都发生了天翻地覆的变化，而深度学习在入侵检测领域应用的越来越广泛，被认定为未来入侵检测关键技术的重要研究方法，与传统入侵检测方法有着明显的不同。在真实的网络环境中，存在着大量的多维度、缺少标签、复杂多变的数据，这对入侵检测模型的构建提出了更高的要求，深度学习以其优秀的特征提取能力，给处理复杂的入侵数据带来了全新的思路。许多研究者将各种深度学习应用于入侵检测领域如：卷积神经网络、循环神经网络、深度信念网络等。所以本发明采用基于深度学习的方法构建入侵检测模型。

卷积神经网络可以自动提取丰富的局部抽象特征，挖掘数据间的潜在联系。但是深度学习中的卷积神经网络在对输入的原始数据集进行特征提取时，每一层提取到的多个特征图之间存在一些相似，这些相似特征对下一层神经网络来说是一定程度的信息冗余。每一层积累起来的冗余的特征信息会耗费大量的处理时间，造成整个模型的处理速度下降，并使最终的检测精度下降。因此对各个卷积层提取的特征进行筛选和过滤考研获得更有效的特征信息，并且能相对地减少特征的信息量。在当前的研究中实现有选择的特征提取的方法是往卷积神经网络中加入门控机制。门控机制能控制网络中信息流通的路径，在循环神经网络中已经证明了是非常有效的手段。LSTM通过输入和遗忘门控制分离的细胞使得LSTM获得长时间的记忆。这使得信息可以不受阻碍的流通多个时间步。没有这些门，信息会在通过时间步的转移时轻易地消失。但是卷积神经网络不会遇到这样的梯度消失现象，因此模型只需要输出门，这个门可以控制信息是否应该通过这些层。

由于每个卷积层提取到的特征图的尺寸以及其包含的语义信息不同，比如浅层的卷积层提取到的信息一般尺寸较大，信息量比较丰富，而浅层的卷积层提取到的信息一般尺寸较小，包含更集中的语义信息。因此融合不同网络层的特征信息以构成更加全面综合的特征图能够使模型进行更加有效的分类判决。现有的神经网络模型通常都是单监督的训练方式，目前已经有很多研究将多监督学习应用到模型训练中。相比与单监督学习，多监督利用数据的多个或多种标签对模型的多个层次的预测结果进行误差比较，实现范围更广的监督学习。虽然训练步骤以及成本变高了，但是模型最终的特征提取能力以及分类判决能力都变得更强了。

因此设计一种基于门控卷积和特征金字塔的网络入侵检测方法对提升入侵检测系统的性能具有重要意义。

发明内容

有鉴于此，本发明的目的在于提供一种基于门控卷积和特征金字塔的网络入侵检测方法。门控卷积的是在每个卷积层中添加一个门控线性单元，模拟LSTM的遗忘门，或者说判断权重的思想，另外做一个和CNN卷积一样参数的filter，取值在0到1之间，判断提取的特征中哪些应该被关注，哪些应该被忽略。其中输出是两个标准卷积层的输出的逐个元素相乘，一层后跟任何激活函数，另一层后跟一个Sigmoid激活函数。

门控卷积的操作是标准卷积层后接一个Sigmoid函数作为软门控，在输入到下一个卷积层之前对当前卷积层的输出进行加权。硬门控只用0或1来做加权，但是对于软门控可以采用0到1之间的任意数来进行加权，这更加灵活而且此操作是可以通过训练来进行学习的。借鉴LSTM的Gate Mechanism思想，基于Relu激活函数和Tanh激活函数，结合gateunit产生了GTU units、GLU units等激活单元。

因为池化操作会不断缩小特征图尺寸，卷积神经网络由浅到深，分辨率越来越粗糙，特征图越来越小，但是卷积层越高，特征图包含语义信息越丰富。特征金字塔网络同时利用低层特征高分辨率和高层特征的高语义信息，通过融合这些不同层的特征达到预测的效果。特征金字塔网络由自下而上和自上而下两部分构成.自下而上的就是传统的卷积网络做特征提取，随着卷积的深入，空间分辨率减少，空间信息丢失，但是高级语义信息被更多地检测到。而特征金字塔网络是把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息。

特征金字塔网络的大致结构是一个自底向上的线路、一个自顶向下的线路、以及横向连接线路。自底向上的过程就是神经网络普通的前向传播过程。在前向过程中，feature map的大小在经过某些层后会改变，而在经过其他一些层的时候不会改变，将不改变feature map大小的层归为一个stage，因此每次抽取的特征都是每个stage的最后一个层输出，这样就能构成特征金字塔。自顶向下的过程是把高层特征图进行上采样，然后把该特征横向连接至前一层特征，因此高层特征得到加强。上采样采用内插值的方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，从而扩大原图像的大小。通过对特征图进行上采样，使得上采样后的特征图具有和下一层的特征图相同的尺寸，这样做主要是为了利用底层的位置细节信息。横向连接的作用是把前一层的特征图和后一层上采样的特征图拼接起来得到信息量最丰富的特征图，来给最后的全连接神经网络进行分类判决。

并且本发明的分类判决是在每个融合后的特征层上都进行一次，即根据模型提取到的不同程度的语义信息分别做出预测，然后比较这多个预测结果与数据真实的类别标签的差距，故本发明提出的模型是个多输出的模型，采用的多监督的训练方式。

因此本发明提出一种基于门控卷积和特征金字塔的网络入侵检测方法，该方法应用了GLU门控机制来改进的常规卷积，并结合特征金字塔网络来融合模型深层的各个特征图，得到更全面丰富的特征信息进行分类判决，实现高性能的网络入侵检测。该方法包括以下步骤：

步骤1)将所用的数据进行预处理；

步骤2)采用门控卷积神经网络按深度提取出网络数据不同程度的语义特征；

步骤3)采用特征金字塔网络将模型深层的特征图进行融合；

步骤4)对融合后的各模型深层特征图应用全连接神经网络进行分类判决；

步骤5)采用Focal Loss损失函数对整体模型进行多监督训练。

进一步，所述步骤1)具体为包括以下步骤：

步骤11)网络入侵数据通常有字符型特征，字符型特征不便输入到模型中参与运算，故需要编码成数值。例如网络数据通常都有协议特征protocol，它拥有3种属性值:“TCP”，“UDP”，对其采用LabelEncoder标签编码的方式将属性值编码为‘0’‘1’‘2’，这样就能以数值的大小区分不同的属性值，且便于输入到模型中参与运算。

步骤12)网络入侵数据的每一维特征都有着不同的取值范围，如果能将这些取值范围都按比例收缩到0附近，且方差为1的话，每条数据的特征属性值将有很大程度的减小，模型中运算速度就能有很大的提升。本发明选用Z-score标准化方法，公式为：

x^*为变换后的输出值，x为原始数据的各维度属性值，u,σ为原始数据各维度属性值的均值和方差。

进一步，所述步骤2)具体为包括以下步骤：

步骤21)将预处理后的数据x送入门控卷积层来进行特征提取。模型一共有5层门控卷积层，每一层都是在标准卷积层后接一个由Sigmoid函数激活的标准卷积输出来作为软门控，从而构造出一个GLU单元。门控卷积层一共使用了1*1、3*3和5*5三种卷积核。在网络的浅层用5*5的卷积核，在网络的中间层用3*3的卷积核，在网络的深层用1*1的卷积核。

GLU的表达式如下：

其中X是每个卷积层的输入数据，W和V是两个不同卷积核的权重参数，b和c是它们各自的偏差参数，δ是Sigmoid激活函数。其实表达式δ(X*V+c)就是标准卷积输出(X*W+b)的“激活函数”。相比与常规的激活函数，用GLU的软门控作为标准卷积层的激活层，可以判断提取的特征中应该被重点关注以及可以被忽略的成分。相较于Tanh激活函数，GLU有线性通道，梯度比较稳定，反向传播时不会锐减，因此采用GLU做为激活训练时收敛速度更快。

进一步所述步骤3)具体包括以下步骤：

步骤31)对于步骤2)中网络末端的三个门控卷积层的输出用特征金字塔网络进行特征融合。对末端网络输出的特征图用上采样的方式将尺寸拓展到与上一层网络输出的特征图相同大小，然后将这两份特征图合并得到包含不同程度语义信息的综合特征图，输出到模型的判决网络部分进行更准确的判决。上采样采用的是双线性插值的方式，即在特征图的两个维度方向上分别进行线性插值。

进一步，所述步骤4)具体为包括以下步骤：

步骤41)对步骤3)中得到的多层综合特征图应用Flatten操作将其压缩成一维的向量，送入全连接神经网络进行降维提取，最终由Softmax层输出预测的多分类结果。

Softmax公式如下：

其中yⁱ表示样本预测为类别i的输出值，n表示数据集总的类别数量，通过Softmax函数可以将多分类的输出值转换为范围在[0,1]和为1的概率分布。

进一步，所述步骤5)具体为包括以下步骤：

步骤51)将步骤4)中多层综合特征图输出的多分类结果与真实的数据类别标签进行对照，应用Focal Loss损失函数将预测误差损失值实时记录并反馈给模型，通过多轮次的数据迭代训练，不断优化更新网络节点的权值与偏置，使最终分类结果更加接近真实标签，在完成上述参数训练后，对测试数据进行决策响应。

因为网络入侵检测数据集通常是类别占比不平衡的数据，Focal Loss损失函数在交叉熵损失中引入权重因子α，来对不同类别的样本的损失进行缩放，从而使模型在训练过程中重点关注某一类样本的损失。一般取各类别样本数量的倒数作为该类样本在FocalLoss中的权重因子。Focal Loss损失函数的表达式如下：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t)

其中p_t表示样本被分类为类别t的概率，α_t表示t类别的样本在计算损失函数时占的权重，γ为调变因子，也称作聚焦参数。由公式可以看出设定α_t的值可以调整模型在训练过程中对第t类样本的关注度。而(1-p_t)^γ的作用是：当样本分类错误时，p_t趋于0，调变因子趋于1，使得损失函数几乎不受影响；当样本被正确分类，p_t将趋于1，调变因子将趋向于0，使得损耗非常接近于0，从而降低了该特定示例的权重。聚焦参数γ的作用是平滑地调整易于分类的示例向下加权的速率。

有益效果：

1.提出的门控卷积神经网络层进行特征提取时能够过滤特征中的无用信息，保留有用信息，得到更准确的特征图。

2.利用特征金字塔网络能将模型深层的各个特征图的信息融合起来得到语义更丰富全面的综合特征图。

3.用多监督训练的方式对各个综合特征图输出的分类判决结果进行优化，使模型最终的分类性能相比单监督训练得到较大提升。

4.将Focal Loss损失函数训练模型能调整各类别样本损失的权重以及加速模型收敛。

附图说明

为了将本发明的目的、技术方案和优点表述地更清晰，接下来将结合附图对本发明作更详细地描述，其中：

图1为基于门控卷积和特征金字塔的入侵检测模型结构示意图

图2为门控卷积模块结构示意图

具体实施方式

本发明提供一种基于门控卷积和特征金字塔的入侵检测方法，如图1所示，该方法包含以下步骤：

步骤1：由于网络数据是高维的线性数据，倘若作为神经网络模型的直接使用，需要使用数据预处理模块对原始数据进行数据预处理工作，首先需要将数据中的符号型特征进行数据化，然后对数据进行归一化映射到[0,1]区间内。

步骤2：根据门控卷积网络的结构特点，将一维线性数据转化为矩阵数据进行输入，采用NSL-KDD数据集，原始数据大小为41个特征，用一个全0的列将其扩充至42维，方便将其转化为6*7大小的二维矩阵作为模型的输入。

步骤3：首先每个门控卷积层使用GLU单元对数据进行特征提取并在池化层进行数据降维操作，得到多层特征图。然后将模型深层的各个特征图依次上采样到与上一层网络输出的特征图相同尺寸，合并这部分特征图，得到通道数更多，特征语义更丰富的综合特征图。

步骤4:对输出端得到的各个综合特征图用全连接神经网络进行分类判决，预测出样本属于各个攻击类别的概率，将输出结果与样本的真实类别进行比较，用Focal Loss函数计算出预测结果的损失。对每个综合特征图的预测结果都用真实类别标签进行训练来不断减少预测损失，实现多监督学习的功能，最终得到更高性能的网络入侵检测模型。

以上所述仅是本申请的具体实施方式，应当指出，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.基于门控卷积和特征金字塔的网络入侵检测方法，其特征在于：该方法包括以下步骤：

S1)通过门控卷积提取输入数据的多维特征；

S2)添加特征金字塔网络进行多个特征图的融合以及相应地分类判决；

S3)通过FocalLoss损失函数对模型进行多监督训练。

2.根据权利要求1所述的基于门控卷积和特征金字塔的网络入侵检测方法，其特征在于：所述步骤S1中，提取多维特征包括以下步骤：

步骤S11)本发明调整了CNN的网络结构以构建门控卷积网络(Gated CNN)。在GatedCNN中每一个卷积输出都是在标准卷积层后接一个由sigmoid函数激活的标准卷积输出来作为软门控。Gated CNN卷积层将使用1*1、3*3和5*5的卷积核，卷积核的尺寸越大，感受野越大，便于提取数据的整体特征，卷积核的尺寸越小，提取的细节特征越充分。因此本发明在网络的浅层用5*5的卷积核，在网络的中间层用3*3的卷积核，在网络的深层用1*1的卷积核。

因为模型的性能会随着网络宽度和深度的增加而下降，往往会存在过拟合和梯度爆炸等问题，尤其在增加网络的深度过程中，对输入层的非线性参数训练将变得异常困难，不可避免的对准确率造成影响。针对上述问题，提出的了残差卷积神经网络，通过网络内部的跳跃连接块，有效降低了深层卷积网络出现梯度弥散的可能性。为此本文借用残差网络设计了带跳跃连接的卷积模块，同时为了避免网络发生梯度弥散，本文借用残差网络的跳跃连接模型以增强网络模型的泛化性能。

同时添加池化层可以有效的减少网络参数量并增强模型的鲁棒性。池化层的主要思路是将特征图映射为多个小尺寸相邻区域并对响应特征图取其指定大小，这样可以有效的特征图进行大小压缩，达到降维和减少参数的目的，同时针对一些复杂包含噪声的数据也可以进行去噪处理，所以添加池化层可以有效增加网络的鲁棒性，在一定程度上减少了网络过拟合的发生。池化计算过程如下所示：

其中

分别表示为权重和偏置，σ为激活函数，down()为下采样函数。

3.根据权利要求1所述的基于门控卷积和特征金字塔的网络入侵检测方法，其特征在于：所述步骤S2中，添加特征金字塔网络进行多个特征图的融合以及相应地分类判决包括以下步骤：

步骤S21)在提取到数据的特征之后，对网络末端的三个门控卷积层的输出用特征金字塔网络进行特征融合。对底层的特征图进行上采样，然后把该特征横向连接至前一层特征，因此高层特征得到加强。上采样采用内插值的方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，从而扩大原图像的大小。通过对特征图进行上采样，使得上采样后的特征图具有和下一层的特征图相同的大小，这样做主要是为了利用底层的位置细节信息。横向连接的作用是把前一层的特征图和后一层上采样的特征图contact起来得到信息量最丰富的特征图，来给最后的全连接神经网络进行分类判决。

步骤S22)经过特征金字塔网络得到特征语义更丰富的综合特征图之后，分类判决是在每个融合后的综合特征图上都进行一次，即根据模型提取到的不同程度的语义信息分别做出预测，然后比较这多个预测结果与数据真实的类别标签的差距，因此本发明提出的模型是个多输出的模型，采用的多监督的训练方式。。

4.根据权利要求1所述的基于门控卷积和特征金字塔的网络入侵检测方法，其特征在于：所述步骤S3中，通过Focal Loss损失函数对模型进行多监督训练包括以下内容：

步骤S3)将模型softmax层预测的数据结果与真实的数据标签进行对照，代入FocalLoss损失函数中计算预测误差值，将误差值实时记录并反馈给模型，通过多轮次的数据迭代训练，不断优化更新网络节点的权值与偏置，使最终分类结果更加接近真实标签，在完成上述参数训练后，对测试数据进行决策响应。

Images