CN110650153B - 一种基于聚焦损失深度神经网络的工控网络入侵检测方法 - Google Patents

Abstract

本发明公开一种基于聚焦损失深度神经网络的工控网络入侵检测方法，包括：获取工控网络信息管理层的原始数据；对所述原始数据中的非数值特征进行数值编码，得到第一数据；对所述原始数据中的数值特征进行归一化处理，得到第二数据；将训练集样本输入基于感知器模型的深度神经网络；定义聚焦损失函数；根据反向传播算法和梯度下降算法使所述聚焦损失函数收敛到局部或全局最小值，得到神经网络模型；将所述第一数据和第二数据输入所述神经网络模型，得到检测结果。本发明能够解决神经网络的训练过程中，由于不同类别的训练样本数量不均衡而导致的模型精度下降问题。

Description

一种基于聚焦损失深度神经网络的工控网络入侵检测方法

技术领域

本发明涉及网络安全技术领域，特别是涉及一种基于聚焦损失深度神经网络的工控网络入侵检测方法。

背景技术

机器学习算法已经广泛的应用在工控网络信息管理层的入侵检测领域，工控网络所能提供的海量数据契合于机器学习的应用场景。但是传统的机器学习，由于算法、计算能力的局限性，并不能很好的适应于大数据的场景。近年来，深度学习逐渐成为机器学习算法的主流。相比于传统机器学习算法，深度学习用更深的网络层数以及更大的训练集在图像、语音等诸多领域达到了更优的效果。

在深度学习中，需要使用到大量的数据，此时会面临不同类别的样本数量不均衡的问题。因为在真实地工控网络中，正常样本要远多于异常样本。不仅如此，在多类分类的情况中，不同异常种类的样本同样也存在着数量不均衡的问题。

为解决此问题，通常由两类思路，一类是针对样本本身的方法，另一类是合理的设计损失函数。

第一类思路主要就是对样本进行人为选择，对数量少的样本进行过采样或者对数量多的样本进行欠采样。还有一个方法就是进行数据增强，就是通过对原始数据进行处理产生新的数据，并且假定新的数据的类别。

第二类思路就是通过损失函数的设计，解决不均衡的问题。由于神经网络的本质是对损失函数进行梯度下降，通过寻找损失函数的局部或全局最小值来获得最优解。不同类别的样本数量不均衡本质上导致不同类别的样本在损失函数中所占比重的不平衡问题。因此在训练的过程中，样本数量小的类别就很难达到最优解。

发明内容

本发明的目的是提供一种基于聚焦损失深度神经网络的工控网络入侵检测方法，能够针对工控网络入侵检测问题中，由于不同类别样本数量不均衡而导致的神经网络的训练问题，能够有效提升神经网络模型的预测精度。

为实现上述目的，本发明提供了如下技术方案：

一种基于聚焦损失深度神经网络的工控网络入侵检测方法，包括：

获取工控网络信息管理层的原始数据；

对所述原始数据中的非数值特征进行数值编码，得到第一数据；

对所述原始数据中的数值特征进行归一化处理，得到第二数据；

将训练集样本输入基于感知器模型的深度神经网络；

定义聚焦损失函数；

根据反向传播算法和梯度下降算法使所述聚焦损失函数收敛到局部或全局最小值，得到神经网络模型；；

将所述第一数据和第二数据输入所述神经网络模型，得到检测结果。

可选的，所述对原始数据中的非数值特征进行数值编码，得到第一数据，包括：

采用One-hot编码对原始数据中的非数值特征进行数值编码。

可选的，所述对原始数据中的数值特征进行归一化处理，得到第二数据，包括：

采用公式

将所述数值特征的数值大小全部映射到[0,1]区间；

其中，x为原始数据中的某一个数值特征，x的取值范围不为[0,1]，x_n痀w为映射后特征的数值，x为原始特征的数值，x_min为原始特征中数值的最小值，x_max为原始特征中数值的最大值。

可选的，所述聚焦损失函数为：

其中，

代表聚焦损失函数，y_i代表训练集标注的真实值，f(x_i)代表神经网络对样本i的预测值，

代表聚焦交叉熵损失函数，j代表同一个样本中不同的类别，m数据集中总的类别数，

代表训练集样本i中第j类标注的真实值，

代表对于样本i中第j类的神经网络预测值，γ表示给定的权重参数。

可选的，在步骤根据反向传播算法和梯度下降算法使所述聚焦损失函数收敛到局部或全局最小值，得到神经网络模型之后，步骤将所述第一数据和第二数据输入所述神经网络模型，得到检测结果之前，还包括：

将测试集样本输入所述神经网络模型，得到所述神经网络模型的准确率和召回率。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明通过设定聚焦损失函数可以有效地调整各个类别的样本在损失函数中的比重，当某个样本神经网络的预测值接近于1，即接近于真实值的时候，可以有效地减小该样本在损失函数中的比例，最终使得分类错误或置信度较低的样本占损失函数更大的比例，增加神经网络模型预测的精确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于聚焦损失深度神经网络的工控网络入侵检测方法流程图；

图2为本发明聚焦损失函数预测概率与损失值的函数关系示意图；

图3为本发明神经元的基本结构。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于聚焦损失深度神经网络的工控网络入侵检测方法，能够针对工控网络入侵检测问题中，由于不同类别样本数量不均衡而导致的神经网络的训练问题，能够有效提升神经网络模型的预测精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明基于聚焦损失深度神经网络的工控网络入侵检测方法流程图；如图1所示，一种基于聚焦损失深度神经网络的工控网络入侵检测方法，包括：

步骤101：获取工控网络信息管理层的原始数据；

步骤102：对所述原始数据中的非数值特征进行数值编码，得到第一数据；

步骤103：对所述原始数据中的数值特征进行归一化处理，得到第二数据；

步骤104：将训练集样本输入基于感知器模型的深度神经网络；

步骤105：定义聚焦损失函数；

步骤106：根据反向传播算法和梯度下降算法使所述聚焦损失函数收敛到局部或全局最小值，得到神经网络模型；

步骤107：将所述第一数据和第二数据输入所述神经网络模型，得到检测结果。

其中，步骤102中采用One-hot编码对原始数据中的非数值特征进行数值编码，步骤103中采用公式

对原始数据中的数值特征进行归一化处理，将所述数值特征的数值大小全部映射到[0,1]区间，得到第二数据，其中，x为原始数据中的某一个数值特征，x的取值范围不为[0,1]，x_n痀w为映射后特征的数值，x为原始特征的数值，x_min为原始特征中数值的最小值，x_max为原始特征中数值的最大值；步骤105中所述聚焦损失函数为：

其中，

代表聚焦损失函数，y_i代表训练集标注的真实值，f(x_i)代表神经网络对样本i的预测值，

代表聚焦交叉熵损失函数，j代表同一个样本中不同的类别，m数据集中总的类别数，

代表训练集样本i中第j类标注的真实值，

代表对于样本i中第j类的神经网络预测值，γ表示给定的权重参数。

关于本发明的原理为：

面对工控网络信息管理层，针对神经网络的训练过程中，由于不同类别的样本数量不均衡而导致的模型精度下降问题，本发明提出基于聚焦损失深度神经网络的工控网络入侵检测方法，本方法可以不增加任何额外的待训练参数，只需要通过聚焦损失的设定就可以有效地提升模型精度。

训练的过程中，首先要对输入数据进行编码和归一化的预处理，然后通过前向传播得到预测值，利用聚焦损失函数来衡量预测值和真实值之间的偏差，再通过反向传播算法获得神经网络中参数的梯度，最后根据梯度下降法的思想，更新神经网络中的参数，并开始下一次迭代直至损失函数达到全局或局部极小值，得到神经网络模型。

然后使用测试集对上述神经网络模型性能进行测试，如果不满足条件需要重新训练，最终获得满足性能条件的神经网络模型。在实际应用中，对原始数据进行预处理后直接输入最终获得的神经网络模型进行前向传播，根据最终指数函数归一化的结果得出未知样本的预测类别。

其中，通过损失函数的设定可以有效地解决在样本不均衡的情况下，由于不同类别样本在训练过程中占损失函数的比重不均衡而导致神经网络模型性能下降的问题，即上述聚焦损失函数能够调整不同类别样本在训练过程中的占有损失函数的比例，所以，聚焦损失函数设定成如下式所示：

其中，

代表的是不同类型的损失函数如均方差、交叉熵，f(x_i)代表神经网络对样本i的预测值，y_i代表训练集标注的真实值，

表示聚焦交叉熵损失函数，

代表对于样本i中第j类的神经网络预测值，

代表训练集样本i中第j类标注的真实值，j代表同一个样本中不同的类别，m数据集中总的类别数，γ表示给定的权重参数，即为当前类别的样本数量的数量级，即样本数量级越大的类别在损失函数收敛时所占损失函数的比重越小，若将当前类别数量表示成a×10ⁿ的形式，则聚焦损失函数中的参数γ＝n。

如此设定损失函数可以在训练的过程中，根据当前神经网络的预测结果调整损失函数权重的大小，可以动态减小分类结果较优的样本占损失函数的比例，增加分类错误或者置信度较低的样本占损失函数的比例，最终有效地解决训练集中不同类别样本的数量不平衡问题。

关于本发明整个方法的工作流程为：

1、数据预处理步骤

首先是对工控网络信息管理层的原始数据进行预处理，包含两个方面：对非数值特征的编码和对数值特征的归一化处理。因为神经网络的输入必须是数值，所以需要针对非数值的特征进行编码，编码的方式有很多，但一般为了忽略数值大小的影响，采用One-hot编码。由于原始数据中的数值特征属性不同，数值大小差别很大，会导致训练的不稳定，因此需要通过式(1)对特征的数值进行归一化处理。

其中，x_n痀w为归一化后的数值，x为原始数值，x_min为训练集中该特征原始数值的最小值，x_max为训练集中该特征原始数值的最大值。其中x所代表的含义为工控网络中的某一个数值特征，其数值的取值范围不为[0，1]。

如表1所示，x分别表示标签号为1、5、6、8、9、10、11、13、16、17、18、19、23、32以及33的特征、即需要针对上述所列特征进行归一化处理。

表1 NSL-KDD中数据集的特征含义

2、获取基于感知器模型的深度神经网络结构

对初始数据进行处理后，需要利用现有技术中的基于感知器模型的深度神经网络，其基本的组成单位神经元如图3所示，每个层的特征都是由多个神经元并联组成，深度神经网络主要包含三部分：输入层、隐藏层以及输出层。输入层和输出层的维数一般由数据本身的性质决定，预处理后特征的维数决定输入层的结构，数据的分类类别数量决定输出层的结构。通常神经网络的输入维数要远远大于输出维数，每一层的非线性映射都会缩减特征的维度，即随着隐藏层数的加深，神经元的个数逐渐递减。通过堆叠的隐藏层最终完成从输入到输出的非线性拟合。

在多类分类的神经网络中，最终的输出层通常对每一个神经网络的输出值进行指数函数归一化处理，根据指数函数归一化后的数值大小来完成最终结果的预测，如式(2)所示：

其中，x_i为输出层的第i个神经元的输出，y_i为该神经元对应的指数函数归一化输出。

3、定义损失函数

在获取完基于感知器模型的深度网络模型后即可将训练集数据输入该神经网络，即通过前向传播得到该神经网络的预测值，然后需要定义损失函数来表示预测值与真实值得偏差，最后根据反向传播算法获得每一个参数的梯度值，通过梯度下降法来寻找损失函数的局部或全局极小值。换而言之，当损失函数达到极小时，神经网络的对训练集的拟合能力最强。

损失函数的一般式如式(3)所示：

其中，x_i代表训练集中样本i的输入，在工控网络中表示一条报文信息，f(x_i)代表神经网络的预测值，即神经网络预测该条报文信息的预测值，yi代表训练集标注的真实值，真实含义为工控网络中的真实入侵类型，如表2所示，共六种数据类型，

代表的是不同类型的损失函数如均方差、交叉熵等。

表2 NSL-KDD入侵类型

损失函数所需的性质为当预测值越接近真实值时，损失函数越小。在多分类的逻辑回归中，现有技术中，一般会使用交叉熵的概念来定义损失函数，交叉熵主要是度量两个独立的概率分布之间的差异。在基于神经网络的工控网络入侵检测模型中，损失函数也是表示预测值和真实值概率分布的差异大小。交叉熵损失函数如式(4)所示：

其中，

代表对于样本i中第j类的神经网络预测值，实际含义为针对某一类(j)入侵样本(i)的预测值，

代表训练集样本i中第j类标注的真实值，实际含义为该类该样本的真实编码，

表示交叉熵损失函数，j代表同一个样本中不同的类别，m表示数据集中总的类别数。

而本发明针对工控网络信息管理层中不同类别样本的数量不均衡问题，提出了基于聚焦损失神经网络的入侵检测方法，聚焦损失函数如式(5)所示：

其中，

表示聚焦交叉熵损失函数，γ表示给定的权重参数，实际含义为数据集中的不同类别样本的数量级，可以通过设定不同γ值来设定不同类别所占比重的大小。本方法中根据当前类别的样本数量的数量级决定γ值，例如在NSL-KDD的数据集中设定的γ值如表2所示，所得的损失函数如图2所示，其中，当γ＝0的时候是交叉熵损失函数，γ不为0的时候为聚焦损失函数。

相较于现有技术中交叉熵损失函数，聚焦损失函数对一个样本中每一类类别都增加了一个权重比例

这个权重不仅仅取决于设定的γ值，还取决于当前样本的预测输出。聚焦损失函数可以有效地在训练过程中，动态的调整不同样本在总的损失函数中所占的比重。使得训练在接近收敛时，更针对于分类效果不是很好的样本，从而解决不同类别样本数量不均衡的问题。

4、使用测试集对模型进行性能评估

经过步骤2、3对基于感知器模型的深度神经网络的训练后，在实际应用中，不仅要考虑神经网络在训练集的拟合能力，还需要考虑泛化能力，即神经网络对于新数据的预测能力。因此要使用测试集对神经网络的性能进行评估。通过性能参数的反馈，决定是否需要调整超参数重新训练神经网络，从而最终训练出满足性能要求即在测试集中准确率为90％以上的神经网络模型。

5、对工控网络中待检测样本进行预测

在实际的工控网络信息管理层中，若要对待检测样本进行预测，首先对于新样本进行预处理，其中包括对非数值特征的one-hot编码和数值特征的归一化。

然后将预处理后的数据输入到第4步骤训练完成的准确率达到90％以上的神经网络模型中，经过前向传播获得神经网络输出，然后，直接根据指数函数归一化后的数值大小得到相应的预测结果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于聚焦损失深度神经网络的工控网络入侵检测方法，其特征在于，包括：

获取工控网络信息管理层的原始数据；

对所述原始数据中的非数值特征进行数值编码，得到第一数据；

对所述原始数据中的数值特征进行归一化处理，得到第二数据；

将训练集样本输入基于感知器模型的深度神经网络；

深度神经网络主要包含三部分：输入层、隐藏层以及输出层，并且最终的输出层通常对每一个神经网络的输出值进行指数函数归一化处理，根据指数函数归一化后的数值大小来完成最终结果的预测，如下式所示：

其中，x_i为输出层的第i个神经元的输出，y_i为该神经元对应的指数函数归一化输出，n为总的神经元数目；

定义聚焦损失函数；

所述聚焦损失函数为：

其中，

代表聚焦损失函数，y_i代表训练集标注的真实值，f(x_i)代表神经网络对样本i的预测值，

代表聚焦交叉熵损失函数，j代表同一个样本中不同的类别，m数据集中总的类别数，

代表训练集样本i中第j类标注的真实值，

代表对于样本i中第j类的神经网络预测值，γ表示给定的权重参数；

根据反向传播算法和梯度下降算法使所述聚焦损失函数收敛到局部或全局最小值，得到神经网络模型；

将所述第一数据和第二数据输入所述神经网络模型，得到检测结果。

2.根据权利要求1所述的基于聚焦损失深度神经网络的工控网络入侵检测方法，其特征在于，所述对原始数据中的非数值特征进行数值编码，得到第一数据，包括：

采用One-hot编码对原始数据中的非数值特征进行数值编码。

3.根据权利要求1所述的基于聚焦损失深度神经网络的工控网络入侵检测方法，其特征在于，所述对原始数据中的数值特征进行归一化处理，得到第二数据，包括：

采用公式

将所述数值特征的数值大小全部映射到[0,1]区间；

其中，x为原始数据中的某一个数值特征，x的取值范围不为[0,1]，x_new为映射后特征的数值，x为原始特征的数值，x_min为原始特征中数值的最小值，x_max为原始特征中数值的最大值。

4.根据权利要求1所述的基于聚焦损失深度神经网络的工控网络入侵检测方法，其特征在于，在步骤根据反向传播算法和梯度下降算法使所述聚焦损失函数收敛到局部或全局最小值，得到神经网络模型之后，步骤将所述第一数据和第二数据输入所述神经网络模型，得到检测结果之前，还包括：

将测试集样本输入所述神经网络模型，得到所述神经网络模型的准确率和召回率。

Images