CN110166484A - 一种基于LSTM-Attention网络的工业控制系统入侵检测方法 - Google Patents

Abstract

本发明提供了一种基于LSTM‑Attention的工业控制系统入侵检测方法，该方法采用LSTM神经网络与Attention机制相结合的网络结构，从整体时序性变化和聚焦关键信息点两个方面把握数据特征。针对工业控制系统入侵检测领域存在的效率较低和精度不高问题，本方法将监听捕获到的工业控制系统数据流解析相关属性形成原始数据集，进行相应的预处理并划分为训练集和测试集。接着利用LSTM神经网络对工控系统的训练集进行训练处理，从训练数据的时间前后变化入手提取相关数据特征，然后引入Attention机制，进一步在数据特征中聚焦关键信息点，最终通过激活函数为softmax的全连接层得出检测结果。采用本方法进行工业控制系统入侵检测，有效减少了计算量和检测时间，极大提高了检测效率和准确度。

Description

一种基于LSTM-Attention网络的工业控制系统入侵检测方法

技术领域

本发明涉及一种基于LSTM-Attention网络的工业控制系统入侵检测方法，针对工业控制系统入侵检测领域，采用LSTM神经网络与Attention机制相结合的网络结构，利用LSTM神经网络对于时序性数据的学习能力提取相关数据特征，然后运用Attention机制聚焦具有关键作用的特征，最后通过softmax得出检测结果，实现对各种入侵攻击的有效检测。

背景技术

随着经济社会的快速发展，工业化和信息化的融合发展不断深入，工业控制系统逐渐由封闭走向开放，面临的各类安全问题和风险愈发凸显。针对工业控制系统的各类入侵攻击事件日益增多，传统的入侵检测方法难以有效从工业控制系统的通信数据中发现恶意入侵行为，严重影响整个工业生产环境的安全。

LSTM是指长短期记忆网络，是循环神经网络(RNN)的变体。传统的循环神经网络在训练过程中会出现梯度消失或梯度爆炸问题，同时还存在长期依赖问题。LSTM通过在其记忆模块中设置逻辑门(遗忘门、输入门、输出门)和记忆模块状态更新，有效解决了传统循环神经网络存在的问题，提高了神经网络的学习能力和分类精度。在LSTM训练时，通过三个逻辑门的相互配合调节之前输入信息对当前输入信息影响，同时对当前记忆模块状态进行更新，充分考虑了信息在时序上的相关性，因此非常适用于时序型数据的处理。

Attention机制是指注意力机制，源自对人脑的注意力机制模拟。Attention的核心思想是将有限的注意力资源集中于大量信息中的关键信息点上，从而避免了平均用力导致的大量计算和较低效率。Attention通过相似度计算函数依次对查询数据和输入数据进行相似度计算，得出相似度分数。然后将查询数据与对应相似度分数进行加权求和，得出最终的关键信息点。

softmax函数，又称归一化指数函数，是逻辑函数的一种推广。softmax函数实际上是对有限项离散概率分布的梯度对数归一化，通过该函数可以将任意维度的实数向量转换为另一个相应维度的向量，使得每一个元素的值域都在0～1之间，并且对所有元素求和为1。

针对当前工业控制系统入侵检测存在的计算量大和检测精度的问题，首先利用LSTM神经网络对工控系统通信数据进行整体分析和特征提取，然后通过Attention机制进一步进行相似度计算，进而筛选出对分类检测作用较大关键信息点，最后通过softmax函数得出最终的分类结果。

发明内容

为了提高工业控制系统入侵检测的效率和准确度，本发明提出一种基于LSTM-Attention网络的工业控制系统入侵检测方法，利用LSTM神经网络在处理时序数据的优势，通过LSTM神经网络对工控系统中的通信数据依照时序进行训练，提取相关数据特征，同时通过Attention机制进一步缩小聚焦范围，提取出分类关键信息点，从而提高入侵检测的效率和准确度。其特征在于以下步骤：

(1)获取工业控制系统数据，进行相应预处理

通过监听捕获工业控制系统信道中数据流生成原始数据集，进行相应的预处理后，分为训练集D_train＝(d₁,d₂,d₃,…,d_n,c),d_n∈(0,1)和测试集D_test＝(d₁,d₂,d₃,…,d_n,c),d_n∈(0,1)；

(2)构建LSTM-Attention网络

构建一层LSTM网络，根据训练集的样本长度，初始化LSTM隐藏层单元个数，再添加一层Attention网络，完成聚焦提取特征，最后添加一层全连接层，并设置激活函数为softmax函数，得出最终检测结果；

(3)对LSTM-Attention网络进行参数调优

利用训练数据D_train对LSTM-Attention网络进行训练，将训练得出的预测值与真实值输入到损失函数，然后利用误差反向传播方式对LSTM-Attention网络模型的参数进行调整优化；

(4)利用LSTM-Attention网络实现工业控制系统入侵检测

利用测试集D_test和调优后的LSTM-Attention网络，得出入侵检测结果。

附图说明

为了更清楚的说明本发明实施例中的技术方案，下面结合附图与具体实施方案对本发明做进一步说明：

图1基于LSTM-Attention网络的工业控制系统入侵检测流程图。

图2 Attention机制示意图。

具体实施方式

下面结合附图对本发明作进一步详细的描述，本发明主要包括以下几个步骤：

(1)获取工业控制系统数据，进行相应预处理，利用服务器监听工业控制系统的信道，捕获一段时间内的通信数据包，解析数据包提取相关属性和正常异常类别，形成原始数据集D_raw＝(d₁,d₂,d₃,...,d_n,c)，其中d_n表示第n个属性，c表示所属类别；同时针对原始数据存在符号数据、噪声、奇异数据等问题，通过符号特征数据值化的方法，将原始数据中存在的符号数据转换为相应的十进制数值，然后通过归一化处理，实现原始数据的去噪声和去奇异数据，计算表达式如下所示：

其中，d表示原始数据中的一个属性值,d_min表示该属性中的最小值，d_max表示该属性中的最大值，d_new表示经过归一化处理后的属性值，且取值范围在0～1之间，经过上述处理后，为了便于接下来的LSTM-Attention网络训练操作和测试操作，将数据集划分为训练集D_train＝(d₁,d₂,d₃,…,d_n,c),d_n∈(0,1)和测试集D_test＝(d₁,d₂,d₃,…,d_n,c),d_n∈(0,1)；

(2)构建LSTM-Attention网络。工业控制系统的数据具有很强的时序性，因此先构建一层处理时序型数据具有优势的LSTM网络，初始化LSTM隐藏层单元个数为s；再添加一层Attention网络，完成聚焦提取特征；最后添加一层全连接层，并设置激活函数为softmax函数，得出最终检测结果。

1)LSTM更新过程，LSTM的隐藏层节点的三个逻辑门(遗忘门、输入门、输出门)和节点记忆状态的执行相应的更新。其中三个逻辑门更新过程的计算表达式如下所示：

f_t＝sigmoid(W_fd_t+U_fh_t-1+b_f)

i_t＝sigmoid(W_id_t+U_ih_t-1+b_i)

o_t＝sigmoid(W_od_t+U_oh_t-1+b_o)

其中，f、i、o、分别表示遗忘门、输入门、输出门、当前保留的记忆信息，W_f、U_f、W_i、U_i、W_o、U_o、W_c、U_c表示权重矩阵，b_f、b_i、b_o、b_c表示偏置向量。然后，对当前节点记忆状态进行更新，并计算输出，计算表达式如下所示：

h_t＝o_t×tanh(C_t)

其中，C表示当前隐藏层节点的状态值，h表示当前隐藏层节点的输出值，×表示乘法运算，经过LSTM网络层得到的输出H＝{h₁,h₁,…,h_t},t＝1,2,3,…,s；

2)实现Attention机制，Attention机制是通过LSTM隐藏层节点的输出结果与相应的相关性分数进行加权求和实现的。计算表达式如下所示：

a＝softmax(W_AH+b_A)

其中，W_A表示全连接层的权重矩阵，b_A表示全连接层的偏置向量，经过Attention机制处理得到最终聚焦的关键信息点p；

3)softmax分类，经过上述过程处理后，得到了最终的关键信息点p，利用softmax函数进行最终分类，softmax函数的计算表达式如下所示：

(3)对LSTM-Attention网络进行参数调优

LSTM-Attention网络的损失函数采用交叉熵(Categorical_rossentropy)，计算表达式如下所示：

其中，q表示入侵检测的真实值，p表示入侵检测的检测值；将LSTM-Attention网络的输出检测值与真实值带入损失函数，基于误差反向传播方式调整网络中的所有权重矩阵和偏置向量，使得损失函数的值趋于最小，调整网络结构趋于最优；

(4)利用LSTM-Attention网络实现工控系统入侵检测

利用测试集D_test和调优后的LSTM-Attention网络，得出入侵检测结果，同时利用准确率指标来衡量检测效果，根据混淆矩阵的定义，准确率的计算表达式如下所示：

其中，TP、TN、FP、FN分别表示正确分类的正样本，正确分类的负样本，错误分类的正样本，错误分类的负样本。

本发明主要采用LSTM神经网络与Attention机制相结合的方法实现工业控制系统的入侵检测。在LSTM神经网络隐藏层输出时，加入相关性权重矩阵，矩阵中的每一个元素表示LSTM隐藏层输出结果与真实结果结果之间的相关性，并通过对两者的加权求和得到最终的关键信息点，最后通过softmax分类得出入侵检测结果。利用LSTM-Attention网络大幅降低了工业控制系统入侵检测的计算量，同时大幅提高了效率和准确度。

Claims (5)

1.一种基于LSTM-Attention的工业控制系统入侵检测方法，其特征在于包含以下步骤：

a.获取工业控制系统数据，进行相应预处理；

b.构建LSTM-Attention网络；

c.对LSTM-Attention网络进行参数调优；

d.利用LSTM-Attention网络实现工业控制系统入侵检测。

2.根据权利要求1所述的一种基于LSTM-Attention的工业控制系统入侵检测方法，其特征在于：

所述步骤a中，本方法中将监听捕获到的工业控制系统数据，通过符号特征数据值化方法，将符号数据转换为相应的十进制数值，然后通过归一化方法，解决原始数据中存在的噪声和奇异数据问题，经过上述处理后，将数据集划分为训练集D_train＝(d₁,d₂,d₃,…,d_n,c),d_n∈(0,1)和测试集D_test＝(d₁,d₂,d₃,…,d_n,c),d_n∈(0,1)，其中d_n表示第n个属性，c表示所属类别。

3.根据权利要求1所述的一种基于LSTM-Attention的工业控制系统入侵检测方法，其特征在于：

所述步骤b中，构建一层LSTM网络，初始化LSTM隐藏层单元个数，接着添加一层Attention网络，完成聚焦提取特征，最后添加一层全连接层，并设置激活函数为softmax函数，得出最终检测结果。

4.根据权利要求1所述的一种基于LSTM-Attention的工业控制系统入侵检测方法，其特征在于：

在步骤c中，LSTM-Attention网络的损失函数采用交叉熵，将D_train输入LSTM-Attention网络，然后将输出的检测值与真实值带入损失函数，采用误差反向传播方式调整网络中的所有权重矩阵和偏置向量，使得损失函数的值趋于最小，调整网络参数趋于最优。

5.根据权利要求1所述的一种基于LSTM-Attention的工业控制系统入侵检测方法，其特征在于：

在步骤d中，利用测试集D_test和调优后的LSTM-Attention网络，得出入侵检测结果，同时利用准确率指标来衡量检测效果。