CN116170187A - 一种基于cnn和lstm融合网络的工业互联网入侵监测方法 - Google Patents

Abstract

本发明公开了一种基于CNN和LSTM融合网络的工业互联网入侵监测方法，包括以下步骤：S1、对数据集进行预处理；S2、建立基于CNN‑LSTM的入侵监测模型。本发明采用上述的一种基于CNN和LSTM融合网络的工业互联网入侵监测方法，通过CNN‑LSTM模型训练测试，对入侵攻击进行分类评估和比较分析，具有极佳的模型性能。

Description

一种基于CNN和LSTM融合网络的工业互联网入侵监测方法

技术领域

本发明涉及工业互联网入侵监测技术领域，尤其是涉及一种基于CNN和LSTM融合网络的工业互联网入侵监测方法。

背景技术

工业互联网安全事件频发，有效正确地检测攻击行为对工业互联网安全至关重要。

针对工业互联网的安全现状，入侵检测系统可以有效应对绝大多数的入侵行为。连结了工控系统和互联网的工业互联网，面临的威胁包括了针对传统工控系统的安全威胁和针对普通互联网的威胁，传统的检测方式不再适用于检测现在的工业互联网。随着深度学习的普及，其在语音、图像识别等方面产生了深远的影响，同时也为入侵检测带来新的思路。

Feng等于2017年提出一种将Bloom过滤器包级异常检测器和基于LSTM网络的时间序列级异常检测器相结合的框架。先构建一个网络包正常行为的特征数据库，将建立的签名数据库合并到Bloom过滤器中，以发现异常网络包。为了解决连续包之间的时间依赖性，提出一种基于堆叠式长期短期存储器(LSTM)网络的softmax分类器来处理时间序列异常检测。在天然气管道SCADA系统创建的真实数据集上进行验证，结果显示该组合架构能够处理具有混合特征的复杂数据样本，并具有较高的检测精度。Li等于2020年提出一种使用不同的单CNN模型和多CNN融合模型的网络入侵检测的入侵检测模型，利用先验信息或聚类算法将特征进行聚类，考虑到各特征间的相关性，并将1维数据转换为2维，空白处添零进行填充；凭借聚类后的数据训练多个CNN模型，且均无输出层，再将多个模型进行融合。并在NSL-KDD数据集上进行了验证，取得了较好的精度。REN等于2022年通过皮尔逊相关系数计算不同特征的相关度，对特征进行筛选。并通过设定不同相关度阈值对比在不同阈值强度下同一检测算法对检测结果的影响，找出最佳阈值并在不同学习模型下进行分类检测。

但是，上述研究中，没有充分利用各种机器学习和深度学习模型分别进行二分类和多分类实验。并且没有充足的进行验证，实验数据集选取单一，不具有泛化性的考量。

发明内容

本发明的目的是提供一种基于CNN和LSTM融合网络的工业互联网入侵监测方法，通过CNN-LSTM模型训练测试，对入侵攻击进行分类评估和比较分析，具有极佳的模型性能。

为实现上述目的，本发明提供了一种基于CNN和LSTM融合网络的工业互联网入侵监测方法，包括以下步骤：

S1、对数据集进行预处理；

S2、建立基于CNN-LSTM的入侵监测模型。

优选的，步骤S1中，对数据集进行预处理包括以下步骤：

S11、数据类型的归一化：将入侵监测数据集的数据类型表示成统一的数字标识，消除不同数据类型产生的特征属性的差异，然后使用min-max进行归一化处理：

其中，x为原始数据，x_min为数据最大值，x_max为数据最小值；

S12、将特征换成0、1组成的向量：对选用的数据集进行皮尔逊相关系数的技术，阈值选用0.1完成特征筛选降低特征维度，然后对数据集进行独热编码；

S13、基于样本分布的可视化对入侵监测数据进行分析：将数据划分为训练集和测试集，选用KDE核密度进行估计，KDE核密度估计函数的计算公式：

核函数的计算公式：

其中，f表示总体的概率密度函数，h是一个超参数，称之为带宽，或者窗口，n表示样本总数，K表示核函数，选用高斯核函数，故K表示高斯核函数。

优选的，入侵监测数据集为NSL-KDD数据集和Gaspipelines数据集。

优选的，步骤S2中，建立基于CNN-LSTM的入侵监测模型，包括以下步骤：

S21、通过CNN层的局部特征提取学习数据特征；

S22、通过LSTM对数据特征顺序的敏感性进行处理。

优选的，步骤S21中，CNN层包括卷积层、池化层和全连接层；

优选的，步骤S22中，LSTM通过forget门、input门、output门保持对较长数据信息学习与保存的能力，LSTM在信息传递过程中主要传递cell state及hidden state，cellstate、hidden state分别存储着LSTM的长期记忆与短期记忆；

LSTM的数学表达式如下：

i_t＝σ(w_i·[h_t-1,x_t]+b_i)

f_t＝σ(w_f·[h_t-1,x_t]+b_f)

o_t＝σ(w_o·[h_t-1,x_t]+b_o)

ht＝o_t⊙tanh(c_t)

其中，i_t、f_t、o_t分别代表input门、forget门、output门；W代表权重矩阵，b代表偏置向量，c_t代表当前存储单元状态，h_t代表当前隐藏状态，每个门使用sigmoid激活函数，状态和输出使用双曲正切函数作为激活函数。

优选的，forget门决定了上一时刻cell state要舍弃的信息，input门决定当前时刻cell state要加入的信息，forget门和input门共同决定了当前时刻cell state的信息，output门决定当前时刻cell state要输出到hidden state的信息。

因此，一种基于CNN和LSTM融合网络的工业互联网入侵监测方法，其技术效果如下：

(1)在皮尔逊特征选择的基础上，提出了基于融合CNN和LSTM网络的入侵检测方案。

(2)通过对原始数据集进行分析，使用KDE密度估计图比较数据分布，并进行随机无重复的平衡处理，利用皮尔逊相关系数进行特征选择，提高了模型识别的准确率。

(3)通过CNN-LSTM模型训练测试，对入侵攻击进行分类评估和比较分析，具有极佳的模型性能。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明一种基于CNN和LSTM融合网络的工业互联网入侵监测方法的未进行平衡处理的NSL-KDD核函数密度估计图；

图2为本发明一种基于CNN和LSTM融合网络的工业互联网入侵监测方法的进行平衡处理后的NSL-KDD核函数密度估计图；

图3为本发明一种基于CNN和LSTM融合网络的工业互联网入侵监测方法的CNN结构图；

图4为本发明一种基于CNN和LSTM融合网络的工业互联网入侵监测方法的LSTM结构图；

图5为本发明一种基于CNN和LSTM融合网络的工业互联网入侵监测方法的CNN-LSTM算法模型图；

图6为本发明一种基于CNN和LSTM融合网络的工业互联网入侵监测方法的CNN-LSTM入侵检测流程图；

图7为本发明一种基于CNN和LSTM融合网络的工业互联网入侵监测方法的NSL-KDD多分类训练曲线图；

图8为本发明一种基于CNN和LSTM融合网络的工业互联网入侵监测方法的NSL-KDD损失曲线图。

具体实施方式

以下通过附图和实施例对本发明的技术方案作进一步说明。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的主旨或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其它实施方式。这些其它实施方式也涵盖在本发明的保护范围内。

还应当理解，以上所述的具体实施例仅用于解释本发明，本发明的保护范围并不限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明/发明的保护范围之内。

对于相关领域普通技术人员已知的技术、方法和设备可能不作为详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

本发明说明书中引用的现有技术文献所公开的内容整体均通过引用并入本发明中，并且因此是本发明公开内容的一部分。

实施例一

一种基于CNN和LSTM融合网络的工业互联网入侵监测方法。具体实施步骤如下：

一、对数据集进行处理

选用的入侵检测数据集为NSL-KDD数据集、Gaspipeline数据集，数据集样本类别如表1、表2所示。

表1 NSL-KDD数据集样本分布

Type	Train	Test
			Normal	65536	9711
DOS	45927	7458
			Probing	11656	2421
R2L	995	2421
			U2R	52	533

表2 Gaspipeline数据集样本标签

Label Name	Label Value	Label Description
			Normal	0	Instance is not part of an attack
NMRI	1	Naive malicious response injection attack
			CMRI	2	Complex malicious response injection attack
MSCI	3	Malicious state command injection attack
			MPCI	4	Malicious parameter command injection attack
MFCI	5	Malicious function command injection attack
			DoS	6	Denial-of-service attack
Reconnaissance	7	Reconnaissance attack

入侵检测数据中常存在冗余、丢失及样本失衡等问题。

根据皮尔逊相关系数对数据特征进行筛除，选取相关度较强的特征，并对完成特征选择的数据进行归一化，归一化选用min-max方法，并统一量纲。min-max的计算公式如下：

其中，x为原始数据，x_min、x_max为数据最大值和最小值。

将特征换成0、1组成的向量。对于特征进行独热编码。在进行独热编码前，先进行皮尔逊相关系数的计算，阈值选用0.1来完成特征筛选降低特征维度，以保证有足够特征进行学习训练，同时规避了由于类别多，维度高，结果稀疏问题，也规避了并行性与多重共线性问题，还规避了变为稀疏矩阵的风险。

使用KDE核密度估计图分析数据的密度分布，并以此来平衡样本的分布。对NSL-KDD进行上述预处理，经过皮尔逊相关系数计算后选择了17个皮尔逊相关系数大于0.1的特征，并将数据进行整合，选择随机种子为42的对数据进行随机打乱，并重新划分，训练集与测试集互不重叠，并选用0.3的训练集作为验证集。

核密度估计函数及核函数计算公式如式(2)式(3)所示：

其中，f表示总体的概率密度函数，h是一个超参数，称之为带宽，或者窗口，n表示样本总数，K表示核函数，选用高斯核函数，故K表示高斯核函数。

如图1和图2所示，峰值越高，表示此类数据越密集，五个峰对应五个攻击类型，0-4分别代表dos，Normal，Probe，R2L，U2R。曲线越不相似，说明数据越不平衡，对于预测和分类研究，影响测试结果的最重要因素之一是训练集和测试集的分布。不一致的数据分布很可能导致模型过度拟合。

在Gaspipeline数据集上进行相同操作。

二、基于CNN-LSTM的入侵检测模型建模

卷积神经网络CNN作为一种人工神经网络，广泛应用于图象识别。CNN的主要思想是，它可以从高层输入获得局部特征，并将它们传送到较低层以获得更复杂的特征。

CNN网络可分三层，卷积层、池化层、全连接层，这三层分别用于提取特征、下采样和分类。

卷积层是CNN的主要组成部分，其通过对来自input层的特征图采用滤波器提取特征信息，池化层通过对给定的维度进行下采样，减少参数量，通常选取最大值，以此实现空间不变性，最后由全连接层根据卷积层与池化层获取的特征作出决策。

长短时记忆网络LSTM是循环神经网络RNN的一种变体，相较RNN来说，LSTM增加了三个门，forget门、input门、output门，通过这三个门，缓解了RNN的短时间记忆问题，具有对较长数据信息学习与保存的能力。

LSTM在信息传递过程中主要传递cell state及hidden state，这两个状态分别存储着LSTM的长期记忆与短期记忆。而forget门决定了上一时刻cell state要舍弃的信息，input门决定当前时刻cell state要加入的信息。forget门和input门共同决定了当前时刻cell state的信息。output门决定当前时刻cell state要输出到hidden state的信息。

LSTM的数学公式如式(4)到式(9)所示：

i_t＝σ(w_i·[h_t-1,x_t]+b_i) (4)

f_t＝σ(w_f·[h_t-1,x_t]+b_f) (5)

o_t＝σ(w_o·[h_t-1,x_t]+b_o) (8)

ht＝o_t⊙tanh(c_t) (9)

其中，i_t、f_t、o_t分别代表input门、forget门、output门。W代表权重矩阵，b代表偏置向量，c_t代表当前存储单元状态，h_t代表当前隐藏状态，每个门使用sigmoid激活函数，状态和输出使用双曲正切函数作为激活函数。这两个函数都是饱和函数，便于实现门控效应。

本发明提出的模型选择卷积神经网络和长短期记忆网络这种架构使其具有高度的平移不变性，并且RNN对序列数据的预测具有极好的效果。因此，选择RNN的变体LSTM，用于捕获要素的较远距离依赖关系。

图3为CNN结构图。图4为LSTM结构图。CNN-LSTM的结构层次为：conv1D maxpoolingX2→flatten→full Connection→LSTM→softmax→output。

首先，将步骤一中处理过的数据投入到CNN-LSTM模型中进行学习训练，先进入到CNN层学习数据的局部特征，随后进入到LSTM层，利用LSTM对较长距离特征信息的学习与保存能力，保证学习到足够用以分类的信息。从而实现对工业互联网入侵行为的检测。

以多分类为例，CNN-LSTM的迭代训练效果如图7所示，训练和验证的曲线都不断提高，表明训练与验证准确度不断升高，并且两曲线最终收敛达到最高趋于平稳，表现了模型优越的性能。

损失曲线如图8所示。模型在20轮过后，两个loss曲线都开始收敛趋于稳定，而且两者之间并没有明显的差距，说明没有过拟合也没有欠拟，模型性能较好。

试验测试

除CNN-LSTM外，其余模型皆采用对应的传统模型进行实验。CNN-LSTM算法模型图，网络层及其输入输出如图5所示。

采用的对比指标为Accuracy、F1-score、Precision、Recall。其中，精度(Precision)表示实际阳性样本占预测阳性样本的比例；召回率(Recall)表示预测阳性样本占实际阳性样本的比例；假阳性率(FPR)是指实际结果为阴性样本的数据，阴性样本在阳性样本类别中的比例；一般来说，准确率和召回率呈负相关，单一的高准确率或高召回率无法解释问题；F1-score对准确率和召回率进行加权，即准确率和召回率的调和平均值；准确率(Accuracy)是指实际样本占所有样本的比例。

表3给出了混淆矩阵的定义。表4显示了分类模型的评估。

表3混淆矩阵

表4指标计算公式

Metrics(指标)	Formula(公式)
		Precision	Precision＝TP/(TP+FP)
Recall	Recall＝TP/(TP+FN)
		FPR	FPR＝FP/(FP+TN)
F1-score	F1＝2TP/(2TP+FP+TN)
		ACC	ACC＝(TP+TN)/(TP+TN+FP+FN)

对NSL-KDD和Gaspipeline进行上述预处理，将处理后的数据分别放入各模型进行拟合训练。各模型的入侵检测效果的结果如表5、表6、表7所示，由表可知，CNN-LSTM相较于其他机器学习模型，在NSL-KDD数据集上有更高的精度和召回率，并且在工业数据集Gaspipeline数据集上检测效果优异。

表5 NSL-KDD数据集上不同模型二分类精度对比表

表6 NSL-KDD数据集上不同模型多分类精度对比表

Models	Accuracy	F1-score	Precision	Recall
					Random Forest	94.53％	81.77％	93.91％	76.59％
Naive Bayes	83.60％	62.18％	60.55％	72.58％
					SVM	89.76％	54.44％	61.33％	53.45％
MLP	95.15％	72.89％	89.17％	70.25％
					CNN-LSTM	98.28％	93.83％	91.10％	90.40％

表7 GAS数据集上多分类精度

Models	Accuracy	F1-score	Precision	Recall
					CNN-LSTM	99.82％	98.49％	99.15％	98.11％

因此，本发明采用上述一种基于CNN和LSTM融合网络的工业互联网入侵监测方法，在皮尔逊特征选择的基础上，提出了基于融合CNN和LSTM网络的入侵检测方案；通过对原始数据集进行分析，使用KDE密度估计图比较数据分布，并进行随机无重复的平衡处理，利用皮尔逊相关系数进行特征选择，提高了模型识别的准确率；通过CNN-LSTM模型训练测试，对入侵攻击进行分类评估和比较分析，具有极佳的模型性能。

最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (7)

1.一种基于CNN和LSTM融合网络的工业互联网入侵监测方法，其特征在于：包括以下步骤：

S1、对数据集进行预处理；

S2、建立基于CNN-LSTM的入侵监测模型。

2.根据权利要求1所述的一种基于CNN和LSTM融合网络的工业互联网入侵监测方法，其特征在于：步骤S1中，对数据集进行预处理包括以下步骤：

S11、数据类型的归一化：将入侵监测数据集的数据类型表示成统一的数字标识，消除不同数据类型产生的特征属性的差异，然后使用min-max进行归一化处理：

其中，x为原始数据，x_min为数据最大值，x_max为数据最小值；

S12、将特征换成0、1组成的向量：对选用的数据集进行皮尔逊相关系数的技术，阈值选用0.1完成特征筛选降低特征维度，然后对数据集进行独热编码；

S13、基于样本分布的可视化对入侵监测数据进行分析：将数据划分为训练集和测试集，选用KDE核密度进行估计，KDE核密度估计函数的计算公式：

核函数的计算公式：

其中，f表示总体的概率密度函数，h是一个超参数，称之为带宽，或者窗口，n表示样本总数，K表示核函数，选用高斯核函数，故K表示高斯核函数。

3.根据权利要求2所述的一种基于CNN和LSTM融合网络的工业互联网入侵监测方法，其特征在于：入侵监测数据集为NSL-KDD数据集和Gaspipelines数据集。

4.据权利要求1所述的一种基于CNN和LSTM融合网络的工业互联网入侵监测方法，其特征在于：步骤S2中，建立基于CNN-LSTM的入侵监测模型，包括以下步骤：

S21、通过CNN层的局部特征提取学习数据特征；

S22、通过LSTM对数据特征顺序的敏感性进行处理。

5.据权利要求4所述的一种基于CNN和LSTM融合网络的工业互联网入侵监测方法，其特征在于：步骤S21中，CNN层包括卷积层、池化层和全连接层。

6.据权利要求4所述的一种基于CNN和LSTM融合网络的工业互联网入侵监测方法，其特征在于：步骤S22中，LSTM通过forget门、input门、output门保持对较长数据信息学习与保存的能力，LSTM在信息传递过程中主要传递cell state及hidden state，cell state、hidden state分别存储着LSTM的长期记忆与短期记忆；

LSTM的数学表达式如下：

i_t＝σ(w_i·[h_t-1,x_t]+b_i)

f_t＝σ(w_f·[h_t-1,x_t]+b_f)

o_t＝σ(w_o·[h_t-1,x_t]+b_o)

ht＝o_t⊙tanh(c_t)

其中，i_t、f_t、o_t分别代表input门、forget门、output门；W代表权重矩阵，b代表偏置向量，c_t代表当前存储单元状态，h_t代表当前隐藏状态，每个门使用sigmoid激活函数，状态和输出使用双曲正切函数作为激活函数。

7.据权利要求6所述的一种基于CNN和LSTM融合网络的工业互联网入侵监测方法，其特征在于：forget门决定了上一时刻cell state要舍弃的信息，input门决定当前时刻cellstate要加入的信息，forget门和input门共同决定了当前时刻cell state的信息，output门决定当前时刻cell state要输出到hidden state的信息。

Images