CN110719289A

CN110719289A - 一种基于多层特征融合神经网络的工控网络入侵检测方法

Info

Publication number: CN110719289A
Application number: CN201910973110.9A
Authority: CN
Inventors: 柴森春; 程中浩; 张百海; 崔灵果; 姚分喜
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology; Beijing Institute of Technology BIT
Priority date: 2019-10-14
Filing date: 2019-10-14
Publication date: 2020-01-21
Anticipated expiration: 2039-10-14
Also published as: CN110719289B

Abstract

本发明公开一种基于多层特征融合神经网络的工控网络入侵检测方法，包括：获取工控网络信息管理层的原始数据；对所述原始数据中的非数值特征进行数值编码，得到第一数据；对所述原始数据中的数值特征进行归一化处理，得到第二数据；构建多层特征融合金字塔神经网络；利用训练集和测试集对所述神经网络进行训练和测试，得到神经网络模型；将所述第一数据和第二数据输入神经网络模型，得到检测结果。本发明能够解决神经网络中深层特征稀疏性过大，细节特征丢失严重的问题，提高检测精度。

Description

一种基于多层特征融合神经网络的工控网络入侵检测方法

技术领域

本发明涉及工控网络安全技术领域，特别是涉及一种基于多层特征融合神经网络的工控网络入侵检测方法。

背景技术

工控网络安全是网络安全重要的组成部分，相比于互联网网络安全，工控网络安全问题所造成的损失更为巨大。不仅如此，工控网络安全更多的是国家与国家之间的攻防战，例如针对伊朗核电站的“震网”病毒，就是通过修改参数让设备的损坏率提升，造成巨大的损失。在多变的国际形式下，各国之间的国际关系都很复杂，工控网络安全的研究意义尤为重大。

目前基于机器学习的入侵检测算法已经广泛的应用在了工控网络安全领域。近年来，深度学习已经逐渐成为机器学习算法的主流研究方向。相比于传统机器学习算法，深度学习使用了更深的网络模型以及更大的训练集，在图像、语音等诸多领域达到了更优的效果。并且在诸多的领域都已验证，深度更大的网络模型可以取得更好的效果。因为增加深度可以增加网络的参数数量以及非线性拟合能力。当数据集可以达到一定数量级后，深度更高的模型效果更好。但是在面向工控网络信息管理层的深度神经网络入侵检测模型中，整体的网络模型都很稀疏，即在神经网络隐藏层的特征中存在大量的0，这样会降低预测结果的精度。

发明内容

本发明的目的是提供一种基于多层特征融合神经网络的工控网络入侵检测方法，能够有效地解决特征层稀疏性过大导致的特征丢失严重问题，提高检测精度。

为实现上述目的，本发明提供了如下技术方案：

一种基于多层特征融合神经网络的工控网络入侵检测方法，包括：

获取工控网络信息管理层的原始数据；

对所述原始数据中的非数值特征进行数值编码，得到第一数据；

对所述原始数据中的数值特征进行归一化处理，得到第二数据；

构建多层特征融合金字塔神经网络；

利用训练集和测试集对所述神经网络进行训练和测试，得到神经网络模型；

将所述第一数据和第二数据输入神经网络模型，得到检测结果。

可选的，所述对原始数据中的非数值特征进行数值编码，得到第一数据，包括：

采用One-hot编码对原始数据中的非数值特征进行数值编码。

可选的，所述对原始数据中的数值特征进行归一化处理，得到第二数据，包括：

采用公式

将所述数值特征的数值大小全部映射到[0,1]区间；

其中，x为原始数据中的某一个数值特征，x的取值范围不为[0,1]，x_n硈w为映射后特征的数值，x为原始特征的数值，x_min为原始特征中数值的最小值，x_max为原始特征中数值的最大值。

可选的，所述构建多特征融合金字塔神经网络，包括：

获取传统神经网络模型中隐藏层的第一层的特征向量，记为第一特征向量，所述第一特征向量的维数为2ⁿ，其中，所述隐藏层的第一层连接输出层；

将所述第一特征向量的维数扩展为2ⁿ⁺¹，得到第二特征向量；

获取传统神经网络模型中隐藏层的第二层的特征向量，记为第三特征向量，所述第三特征向量的维数为2ⁿ⁺¹，将所述第三特征向量与第二特征向量相加，得到第四特征向量；

将所述第二特征向量的维数扩展为2ⁿ⁺²，得到第五特征向量；

获取传统神经网络模型中隐藏层的第三层的特征向量，记为第六特征向量，所述第六特征向量的维数为2ⁿ⁺²，将所述第六特征向量与第五特征向量相加，得到第七特征向量；

直至获取传统神经网络模型中隐藏层的第m层的特征向量，所述第m层的特征向量维数为2^n+m-1，将所述第m层的特征向量与扩展后维数为2^n+m-1的特征向量相加，得到第1+3(m-1)特征向量，其中，所述隐藏层的第m层连接输入层；

根据所述第一特征向量、第四特征向量、第七特征向量......第1+3(m-1)特征向量构建多层特征融合金字塔神经网络。

可选的，扩展特征向量维数的方法为：

通过在特征向量的元素之间插入0对所述特征向量的维数进行扩展。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明通过构建多层特征融合金字塔的网络模型有效的解决了深层特征稀疏性过大，细节特征丢失严重的问题，且本发明不需要增加额外参数，只需要融合浅层的稀疏性较低的特征层和深层的稀疏性较高的特征层，并在多个维度的特征融合层中进行预测，可以有效地解决特征层稀疏性过大导致的特征丢失严重问题，提升神经网络模型的准确率、召回率和预测精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于多层特征融合神经网络的工控网络入侵检测方法流程图；

图2为本发明基于多层特征融合神经网络的神经元结构。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明于多层特征融合神经网络的工控网络入侵检测方法的流程图；如图1所示，一种基于多层特征融合神经网络的工控网络入侵检测方法，包括：

步骤101：获取工控网络信息管理层的原始数据；

步骤102：对所述原始数据中的非数值特征进行数值编码，得到第一数据；

步骤103：对所述原始数据中的数值特征进行归一化处理，得到第二数据；

步骤104：构建多层特征融合金字塔神经网络；

步骤105：利用训练集和测试集对所述神经网络进行训练和测试，得到神经网络模型；

步骤106：将所述第一数据和第二数据输入神经网络模型，得到检测结果。

其中，步骤102中采用One-hot编码对原始数据中的非数值特征进行数值编码；

步骤103中采用公式

将所述数值特征的数值大小全部映射到[0,1]区间，其中，x为原始数据中的某一个数值特征，x的取值范围不为[0,1]，x_n硈w为映射后特征的数值，x为原始特征的数值，x_min为原始特征中数值的最小值，x_max为原始特征中数值的最大值。

步骤104中构建多特征融合金字塔神经网络的具体方法包括：

将所述第四特征向量的维数扩展为2ⁿ⁺²，得到第五特征向量；

具体的，上述“根据所述第一特征向量、第四特征向量、第七特征向量......第1+3(m-1)特征向量构建多层特征融合金字塔神经网络”是先将这些特征向量构成多层特征融合金字塔，再利用该多层特征融合金字塔与传统神经网络的输入层、隐藏层以及输出层共同组成多层特征融合金字塔神经网络。

上述扩展特征向量维数的方法为：通过在特征向量的元素之间插入0对所述特征向量的维数进行扩展。

本发明的具体原理和方法为：

在基于深度神经网络的工控网络入侵检测算法中，在数据预处理的过程中会对非数值特征使用的One-hot编码，并且对数值特征进行归一化处理，以避免量纲所带来的影响。上述的两步预处理操作使得工控网络中原始数据生成的初始特征向量稀疏性很大，因此在初始向量稀疏性本身较大的情况下，在后续计算的特征中会产生更大的稀疏结构。除此之外，在深度学习中常用的ReLu非线性激活函数会导致在深度神经网络中越深的隐藏层的特征越稀疏。在网络深度的不断加深，深层的特征丢失情况较为严重，而输出层是根据深层特征进行分类预测。因此，深层特征较大的稀疏性会导致模型的预测性能下降。

针对随着深度神经网络层数的增加，最终特征稀疏性过大，导致模型的预测分类性能下降的问题，本发明提出了一种基于多层特征融合神经网络的工控网络入侵检测方法。本方法在传统的基于神经网络的入侵检测模型的基础上，首先对与输出层连接的一层隐藏层，即第一层隐藏层的特征进行采样，然后通过融合浅层的局部、稀疏性较小的特征层与深层的全面、但稀疏性较大的特征层，生成新的特征。通过在不同的维度生成特征，组成多层特征融合金字塔，最后在多层经过融合后的特征上进行预测分类。

针对本发明方法的详细步骤为：

1、关于非数值特征的One-hot编码

在工控网络信息管理层采集的原始数据中，存在许多非数值特征，例如特征协议，就分为：TCP，UDP以及ICMP。但是，深度神经网络只能处理整型或浮点型的数值变量，无法处理符号型变量。因此，我们需要首先将原始数据中的非数值特征进行编码。在深度学习中，为了避免编码数值大小所产生的歧义，一般使用One-hot编码来对非数值特征进行数值编码。如果特征共计N类，那么用N位的二进制数来表示此特征，针对每一类别，特征编码只有一位置1，其余位都置0。如表1所示，给出的是上述工控网络中协议特征的One-hot编码的示例。

表1工控网络中协议特征的One-hot编码示例

2、关于数值数据的归一化处理

在深度神经网络中，One-hot编码是针对非数值特征的预处理，而此步骤是在One-hot编码后，针对数值特征的处理。在工控网络的原始数据之中，存在许多数值特征，不过不同的数值特征由于属性的不同，导致量纲差别很大。在后续的计算之中，这种数量级的量纲差异会导致训练的不稳定。因此需要在将数据传入深度神经网络之前，进行归一化预处理，即通过式(1)将数值特征的数值大小全部映射到[0,1]区间。

其中，x_n硈w为特征的新数值，x为特征的原始数值，x_min为数据集中特征的原始数值的最小值，x_max为数据集中特征的原始数值的最大值。其中x所代表的含义为工控网络中的某一个数值特征，其数值的取值范围不为[0,1]。如表2，NSL-KDD的数据集的特征中，x分别表示标签号为1、5、6、8、9、10、11、13、16、17、18、19、23、32以及33的特征、即需要针对上述所列特征进行归一化处理。

表2 NSL-KDD中数据集的特征含义

3、关于构建多层特征融合金字塔神经网络

在对原始数据进行编码和归一化处理后，此步骤是针对工控网络入侵检测进行深度神经网络的模型设计，主要是设计神经网络的框架结构以及张量的计算流程。深度神经网络分为输入层、输出层和隐藏层，首先输入层的输入维数是经过数值化和归一化的预处理之后的输入数据的维数。然后输出层的维数是最终要预测的分类结果的类别数。最后是隐藏层的结构，在深度神经网络中，输入层和输出层之间的中间结构一般都是多个隐藏层进行堆叠形成的，每一个隐藏层的输出都称为特征。由于深度神经网络中输入向量的维数要远大于输出向量的维数，因此绝大多数基于神经网络的工控网络入侵检测模型都是类似于倒立的金字塔结构，即随着层数的深入，隐藏层中神经元的个数相应的递减，最终到输出层进行分类预测。

本发明中每个隐藏层的特征维数都设定为2ⁿ，其中n取整数。例如，n＝7，6，5。不过随着深度神经网络的深度不断增加，这种维数不断降低的结构设计会导致部分细节特征的丢失。

深度神经网络中层的基本组成单元为神经元，结构如图2所示，其中包含线性映射和非线性的激活函数。线性映射如式(2)所示：

其中，

为输入向量，维数为n×1；a为线性映射的输出标量；w为权重向量，维数为n×1；b为偏置；其中，权重向量w和偏置b为深度神经网络的待训练参数。在深度神经网络中，所有的神经元的参数都是通过数据集训练所得。多个神经元的并联就组成了神经网络中的层，隐藏层的运算可以用矩阵的形式表达，运算如式(3)所示：

其中

与式(2)中含义相同为输入向量，

为多个神经元输出组成的向量，若隐藏层中的神经元个数为m，则向量的维数为m×1，权重参数W扩展成为m×n的权重矩阵，偏置b扩展成为m×1的偏置向量。

常用的ReLu非线性激活函数如式(4)所示：

其中，a为线性映射单元的输出值，y为隐藏层神经元的输出值。此时小于0的值都会被赋值成0，特征向量的稀疏性相比于前一层有所增加。如此一来，随着网络层数的不断加深特征向量稀疏性会增加。原本这种稀疏方式，可以有效地剔除冗余特征，提取有效特征帮助分类。但随着网络层数不断地加深，尽管非线性的拟合能力增强，但这种过大的稀疏性会使得一些细节特征的丢失情况非常严重，最终导致预测性能的下降。

本发明方法的创新性在于融合浅层的局部、稀疏性较小的特征层与深层的全面、但稀疏性较大的特征层，生成新的特征，通过在不同的维度生成特征，组成多层特征融合金字塔，最后在多层经过融合后的特征上进行预测分类。

例如，本方法中首先对如上所述的n＝7，6，5的传统神经网络模型中最后一层维数为2⁵特征向量进行维数扩展，通过在原始向量的元素之间插入0将维数扩展成2⁶，然后将浅层和深层中两个维数相同的特征相加组成新的特征，在此新的特征的基础上使用输出层进行预测。如此一来，一些局部细节特征不会因为网络深度的原因而丢失，而是包含在浅层的特征中与深层特征进行了融合，再用相同的方式将扩展后的2⁶的特征的维度扩展成2⁷，并将浅层特征和深层特征进行融合，这样2⁵、2⁶和2⁷三个维度的特征就组成了多层特征融合金字塔。通过将浅层网络中稀疏性较小的特征映射与深层网络中稀疏性较大的特征映射进行特征融合，并在多个特征融合层上进行预测，最终输出相应的预测结果。

4、关于利用已有训练集对模型进行训练并利用测试集对模型的性能进行评估

通过使用已经标注好的入侵检测数据集对神经网络进行训练。首先对训练集中的样本进行编码和归一化的预处理，然后通过前向传播算法计算出当前深度神经网络的预测值。通过定义相应的损失函数表示预测值与真实值的误差，然后通过反向传播法计算每一层隐藏层中参数的梯度。通过梯度下降法，逐渐让损失函数收敛到全局或者局部极小值，此时深度神经网络的参数对于训练集中的数据拟合效果最优。

其中，关于前向传播、反向传播、梯度下降法：

神经网络的基本组成单元为层，每个层都包含线性映射以及非线性函数两个计算过程。整个神经网络就是通过层层堆叠，然后使得网络本身可以表达一个非常复杂的非线性函数。但此时网络中所有的参数是未知的，其中参数包括线性映射的权重值ω和偏置值b。这些参数是要依靠大量的数据训练的，这个数据就是提到的训练集。这些训练集是人为标注好的数据即包括数据本身

和这个数据类别的标注y(以上的数据代表的是经过预处理后的数据)。

前向传播就是将

通过未训练好的神经网络获得当前输出y'的过程。根据这个当前输出计算相应样本的损失函数其中j代表其中一类，n代表其中总的类别数，从损失函数可以看出，当预测值和真实值越接近时，损失函数越小。

反向传播是计算损失函数对于神经网络中的参数的梯度的过程。根据损失函数的定义可以计算出当前损失函数对于当前层的参数的梯度为

和

对于前一层参数的梯度为

和

其中x_k代表当前层的输入。对于再前的层数就是通过

和

这种传播获得参数的梯度。

梯度下降就是通过权重和偏置参数减去反向传播的梯度，此时使最终损失函数减少。通过不同的样本进行不停的前向传播和反向传播的迭代可以最终使得损失函数达到极小值，获得神经网络中相应的权重和偏置参数。

在训练结束之后，为了评定深度神经网络的泛化能力，因此要使用相应的测试集对模型的性能进行评估。一般的评估参数主要是精确率(Precision)和召回率(Recall)。准确率的含义是所有预测为正常样本的数据中正确的比例，召回率的含义是所有真实的正常样本中被正确预测出的比例。首先，需要计算出相应的混淆矩阵，其中包含四种结果，如表3所示：

表3精确率和召回率对应的混淆矩阵

在工控网络的入侵检测模型中，混淆矩阵中变量的含义如下：

TP：正常的样本被模型预测为正常样本的数量；

FN：正常的样本被模型预测为异常样本的数量；

FP：异常的样本被模型预测成正常样本的数量；

TN：异常的样本被模型预测成异常样本的数量；

相应的准确率和召回率的计算公式如式5和式6所示：

5、对于新的待检测数据进行预测

在完成对神经网络的训练后，得到了可用的基于多层特征融合金字塔神经网络的工控网络入侵检测模型，然后应用测试集对模型进行测试检验，如果性能未达到指标，则需要重新设定超参数并继续训练，确定达到预期的性能即准确率90％以上后保存网络参数，得到训练好的神经网络。

当预测待检测的新数据时，首先还是要对数值和非数值的原始数据进行预处理，其中包含对于非数值特征的One-hot编码以及数值特征的归一化处理。然后直接将处理后的数据输入训练好的神经网络，对输入是否为工控网络入侵以及工控网络入侵的种类进行预测，具体判断结果如表4所示，共计6种。

表4 NSL-KDD入侵类型

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。