CN109753049B - 一种源网荷互动工控系统的异常指令检测方法 - Google Patents

Abstract

一种源网荷互动工控系统的异常指令检测方法，采用机器学习开源框架构建基于双向长短期记忆神经网络的源网荷互动工控系统异常指令检测模型，以源网荷工控系统的指令序列为双向长短期记忆神经网络的输入层，输出层为检测出的指令性质；将训练过的检测模型作为异常指令检测分类器分别下发给各级操作单元的指令异常分析模块，用于进行指令异常检测，并上报异常信息。本发明方法综合考虑指令序列的上下文关系对指令性质进行检测，可以有效解决指令序列长期依赖问题对检测精度的影响。并进一步形成一套采集、识别、反馈、更新训练的闭环方案，使得异常指令检测模型持续不断进行迭代优化，可以有效提高异常指令的识别精度及适应能力。

Description

一种源网荷互动工控系统的异常指令检测方法

技术领域

本发明属于电力系统信息安全检测与防御技术领域,涉及电网工控系统，为一种基于双向长短期记忆神经网络的源网荷互动工控系统的异常指令检测方法。

背景技术

全球能源互联网战略的提出促使电网互联的规模不断扩大、信息通信技术在电网中应用程度逐渐加深，随之而来的是电网工控系统遭受安全威胁逐渐加大。与传统电网工控系统相比，源网荷互动工控系统由于需要与用户侧进行更加频繁的互动，调度工作的任务量也越来越多，导致面临的网络安全威胁也进一步加大。一旦该系统因为遭受恶意攻击导致操作指令被篡改或者工作人员输入错误的操作指令都有可能出现安全隐患，终将导致电网工控系统无法正常运转甚至出现严重的电网安全事故。

在源网荷互动工控系统中，调度任务往往需要通过一系列的操作指令来完成。而操作指令的执行具有一定的时序性，从单一指令无法判断是否出现异常指令，需要同时考虑指令本身及指令的执行顺序，称之为具有序列化特征。相同的操作指令集，不同的组合顺序将会产生截然不同的结果。目前，处理具有序列化特征数据的各类模型中，以循环神经网络(Recurrent Neural Network，RNN)表现最为突出，已经广泛用于文本分析、语音处理、机器翻译等领域。然而在分析序列化的源网荷互动工控系统操作指令时面临着长期依赖问题，即相关指令和当前检测位置指令之间间隔变大时，传统的处理方法将无法获取它们之间的关联关系，从而导致异常指令的检测结果不准确，这也是使RNN训练变得非常困难的根本原因之一。

如何及时有效地发现电网工控系统中异常操作指令已成为电网安全领域亟待解决的重要问题之一，而针对源网荷互动工控系统的信息侧异常指令检测方法和技术尚未见报道，因此急需研究源网荷互动工控系统异常指令检测技术，保障源网荷互动工控系统的安全稳定运行。

发明内容

本发明要解决的问题是：现有的异常指令检测方法不能直接适用于源网荷互动工控系统，不能解决序列化操作指令面临的长期依赖问题，从而无法提高异常指令检测的准确性。本发明所要解决的技术问题是针对现有技术的不足，提供一种适用于源网荷互动工控系统的异常指令检测方法。

本发明的技术方案为：一种源网荷互动工控系统的异常指令检测方法,包括以下步骤：

1)采用机器学习开源框架构建基于双向长短期记忆神经网络的源网荷互动工控系统异常指令检测模型，以源网荷工控系统的指令序列为双向长短期记忆神经网络的输入层，输出层为检测出的指令性质；

对于隐藏层，采用ReLU函数作为激活函数构建前后向循环神经网络模块，用于分别提取当前指令的前后向指令序列信息；

对于前后向循环神经网络模块的输出，采用门控思想构建前后向输出选择模块，根据当前指令的前后文序列关系，筛选出前后向指令序列中的重要信息，根据前后向输出选择模块筛选出的前后向循环神经网络的输出状态，综合判定当前指令是否为异常指令，即输出层输出结果；

2)对于1)得到的检测模型，首先基于人工标记的指令序列训练数据集，对模型进行初始化训练；

3)以初始训练生成的检测模型作为异常指令检测分类器分别下发给各级操作单元的指令异常分析模块；

4)源网荷互动工控系统中各级操作单元接收到操作指令序列后，首先通过异常指令检测分类器进行指令异常检测，若为正常指令，则执行相关的指令动作，若发现异常，则执行相关的紧急处理措施，并上报异常信息。

作为进一步的改进，步骤4)之后进一步设有以下步骤：

5)基于反馈的异常信息，将该异常信息进行标记，用于扩充训练数据集；

6)当扩充后的训练数据集达到设定规模时，以扩充后的训练数据集为基础，采用MiniBatch方法对异常指令检测模型做进一步的更新训练；

7)将更新训练后的模型作为异常指令检测分类器分别下发给各级指令异常分析模块进行分类器的更新，从第4)步开始循环执行，从而使异常指令检测模型一直处在一个不断迭代优化的过程中，使得模型能够适应不同时期的源网荷互动工控系统中的不同状态。

与现有技术相比，本发明提供的一种基于双向长短期记忆神经网络的源网荷互动工控系统异常指令检测方法，具有如下特点：

(1)采用TensorFlow、SKlean、Numpy等机器学习开源框架构建基于双向长短期记忆神经网络的源网荷互动工控系统异常指令检测模型，可以综合考虑指令序列的上下文关系对指令性质进行检测，可以有效解决指令序列长期依赖问题对检测精度的影响。

(2)采用ReLU函数作为激活函数构建前后向循环神经网络模块，可以有效地提高模型训练的收敛速度，在保证模型识别精度的前提下，有效地降低模型训练的时间开销，提高模型训练效率。

(3)采用门控思想构建前后向输出选择模块，综合当前输入指令的上下文序列关系对前后向循环神经网络的输出状态进行选择，筛选出其中重要性较高的内容输入全连接层，提高异常指令检测精度。

(4)结合源网荷互动工控系统的网络结构设计异常指令检测系统的部署方案。整个系统形成一套采集、识别、反馈、更新训练的闭环方案，使得系统核心模型——异常指令检测模型持续不断进行迭代优化，可以有效提高异常指令的识别精度及适应能力。

附图说明

图1为本发明基于双向长短期记忆神经网络的源网荷互动工控系统异常指令检测模型。

图2为本发明的基于ReLU的前后向循环神经网络模块及前后向选择模块内部结构。

图3为本发明的源网荷互动工控系统的异常指令检测系统部署架构图。

具体实施方式

由于源网荷互动工控系统的操作指令具有序列化特征，因此在判断当前时刻指令X_t是否具有性质O_t(如为异常指令)时，需要综合考虑整个指令序列{X₁,...,X_n}。例如，某指令序列：切断电源、电路短接、接通电源。仅从单一“电路短接”指令动作来看，无法发现异常，但是如果考虑“电路短接”之后，执行“接通电源”操作，将会带来极大危险。也就是说，在进行异常指令分析时，需要通盘考虑操作指令执行的时序上下文关系，才能得出该指令是否是异常指令的正确判断。

为实现上述目的，本发明提供一种采用TensorFlow、SKlean、Numpy等机器学习开源框架构建的基于双向长短期记忆神经网络的源网荷互动工控系统异常指令检测方法，所述方法包括如下步骤：

(1)采用TensorFlow、SKlean、Numpy等机器学习开源框架构建双向的长短期记忆神经网络的源网荷互动工控系统异常指令检测模型。其中，采用ReLU函数作为激活函数构建前后向循环神经网络模块，用于分别提取当前指令的前后向指令序列信息；采用门控思想构建前后向输出选择模块，根据当前指令的前后文序列关系，筛选出前后向指令序列中的重要信息。

(2)以建立的基于双向长短期记忆神经网络的源网荷互动工控系统异常指令检测模型为基础，基于人工标记的指令序列训练数据集，对模型进行初始化训练。

(3)以初始训练生成的检测模型作为异常指令检测分类器分别下发给各级指令异常分析模块。

(4)源网荷互动工控系统中各级操作单元接收到操作指令序列后，首先通过异常指令检测分类器进行指令异常检测。若为正常指令，则执行相关的指令动作，若发现异常，则执行相关的紧急处理措施，并上报异常信息。

进一步的，为保证检测的长期有效运行，本发明方法还进行以下步骤进行检测的更新。

(5)基于反馈的异常信息，将该异常信息进行标记，扩充训练数据集。

(6)当扩充后的训练数据集达到一定规模时，以扩充后的训练数据集为基础，采用已有的MiniBatch方法对异常指令检测模型做进一步的更新训练。

(7)将更新训练后的模型作为异常指令检测分类器分别下发给各级指令异常分析模块，从第(4)步开始循环执行，从而使异常指令检测模型一直处在一个不断迭代优化的过程中，使得模型能够适应不同时期的源网荷互动工控系统中的不同状态，例如系统因业务需要出现大量新增指令序列状态。

下面具体说明本发明基于双向长短期记忆神经网络的源网荷互动工控系统异常指令检测模型的构建。

Step1：基于双向长短期记忆神经网络构建源网荷互动工控系统异常指令检测模型，通盘考虑源网荷互动工控系统中指令执行时序的上下文关系进行指令异常检测，解决序列化特征指令带来的长期依赖问题。在实际应用中，长短期记忆神经网络通过实践检验已被证明是最有效的序列模型之一。近些年来，已经衍生出多种针对长短期记忆神经网络的优化方案，研究证明其中的窥孔连接网络表现最为优异。由于当前输入指令是否异常不仅与之前已经执行的指令序列相关，还与后续指令序列相关，因此本发明构建了一套双向长短期记忆循环神经网络用于异常指令检测，基于双向长短时记忆循环神经网络(Bi-directional LSTM RNN)结构，其模型结构如图1所示。

Step2:以ReLU作为激活函数构建前后向循环网络模块，分别提取当前指令的前后向指令序列信息。

本模型每一步预测O_t需要依赖当前输入X_t,前向长短期循环神经网络的前向序列长期记忆状态

短期记忆

以及后向长短期循环神经网络的后向序列长期记忆状态

短期记忆

每一个单元的具体内部结构如图2所示，其中采用的ReLU函数定义如下：

长短期记忆LSTM包括遗忘门、更新门和输出门，双向长短时记忆循环神经网络包括前向循环神经网络模块和后向循环神经网络模块，具体如下。

前向循环神经网络模块：该模块主要功能是根据前向指令序列{X₁,...,X_t-1}的相关信息

以及当前输入X_t,更新前向长期记忆

内容,并输出当前短期记忆内容

也称为当前隐含层状态。长短期记忆神经网络维护两种记忆状态：长期记忆状态C以及短期记忆状态h，即前一时刻输出的隐含层状态。

遗忘门主要用来决定长期记忆中哪些内容应当保留、哪些内容应当遗忘，从而保证长期记忆内容的重要性，即剔除无价值信息。在前向循环神经网络结构中，采用窥孔连接网络的思想，由当前输入X_t、短期记忆内容

长期记忆内容

共同决定：

其中

分别为前向序列遗忘门的一次项参数矩阵与偏置向量，δ()为SIGMOD激活函数。

更新门的主要作用是将当前输入中的重要内容部分添加进长期记忆中。通过更新门

筛选出当前联合输入内容

中的重要内容添加进长期记忆，构成

其中

分别为前向序列更新门的一次项参数矩阵与偏置向量，

分别为联合输入内容的一次项参数矩阵与偏置向量。

在更新内容生成时，与传统长短期记忆神经网络不同，本发明的结构采用ReLU作为激活函数，以提高算法的收敛速度和学习效果。

输出门的作用是综合

和X_t,以决定当前指令状态的输出

首先把

输入ReLU函数进行处理，然后与输出门P_t ^f相乘，从而得到前向循环神经网络模块的输出部分。

后向循环神经网络模块：该模块功能与前向循环神经网络模块一致，不同的是其根据后向序列{X_t+1,...,X_n}来预测当前的输出状态，其对应的遗忘门、更新门和输出门公式如下：

上述公式中，C表示长期记忆，h表示短期记忆，下表t表示时刻，上标f表示前向，上标b表示后向，公式(8)至(13)中各符号定义与公式(2)至(7)各符号相对应，符号右上角f表示属于前向序列，b表示属于后向序列。遗忘门及更新门中涉及的一次项参数矩阵与偏置向量设置属于长短期记忆循环神经网络的常规设置，不再详述。

Step3：设置前后向输出选择模块，对指令的上下文信息进行筛选，提高检测识别准确率。传统的双向循环神经网络直接将前后向输出作为全连接输出层的输入进行后续处理。该方法导致前后向输出的内容具有同等重要性。而实际应用中，随着指令序列的推移，由于前后文内容的不同，显然前后文的重要性也不同。该模块的功能是对前后向循环神经网络的输出内容进行选择，综合指令序列上下文状态以及当前输入，筛选出其中重要内容作为全连接输出模块的输入，见图2。

首先对于前向循环神经网络中的输出内容，其内容的重要性不仅需要考虑当前输入，还应当考虑后续序列状态。因此，需要通过前向选择门对前向循环神经网络的输出状态进行筛选：

其中

为前向序列输出选择门，

分别为前向序列输出选择门的一次项参数矩阵与偏置向量，

为前向输出选择处理结果。

同理，对于后向循环神经网络中的输出内容，其内容的重要性不仅需要考虑当前输入，还应当考虑之前的指令序列状态：

其中

为后向序列输出选择门，

分别为前向序列输出选择门的一次项参数矩阵与偏置向量，

为前向输出选择处理结果。

全连接输出模块会根据前后向输出选择模块筛选出的前后向循环神经网络的输出状态，综合判定当前指令是否为异常指令，即输出O_t。采用双层神经网络加softmax输出层的模式，以

为输入，计算输出O_t：

其中

表示全连接神经网络第一层输出，

分别为全连接神经网络第一层的一次项参数矩阵与偏置向量，

表示全连接神经网络第二层输出，

分别为全连接神经网络第二层的一次项参数矩阵与偏置向量。

本发明所述内容涉及到的SIGMOD、Softmax函数请参见深度学习中相关定义说明，为现有技术，不再详述。

Step4:将本发明设计的指令异常检测系统部署到源网荷互动工控系统中。本发明提供的异常指令检测模型初始构建需要依赖人工标记的训练数据集。系统部署以后，具备了数据采集和标识能力，就不需要再进行人工标记数据。本发明采用现有的minibatch优化方法进行异常指令检测模型的训练。模型会根据部署后异常指令识别效果的反馈，添加新的样本数据到训练数据集中，进一步更新训练，从而构成反馈闭环使得模型处在不断迭代进化的过程中，不断提高异常指令检测的准确率以及适应能力。

该指令异常检测系统在源网荷互动工控系统中的部署方案如图3所示。由于用于深度学习的相关设备价格较为昂贵，在每一个控制中心均设置相关设备成本太高。省控中心相对于其他区控中心来说，更容易获取各个节点采集的样本数据，可以保证训练数据集的多样性，所以检测模型的指令异常分类器训练模块只设置在省控中心。

区控中心和其他终端节点只负责样本的采集、识别，逐层上传到省控中心，由省控中心识别效果反馈模块对样本进行标记，以便扩充训练数据集。指令异常分类器训练模块根据更新过的训练数据集，进行异常指令检测模型的相关训练优化。训练完成之后，指令异常分类器会被分别下发给各级异常指令检测模块，进行异常指令的实时在线检测。

综上所述，本发明提供了一种适用于源网荷互动的工控系统的异常指令检测实现方法，该方法首先采用TensorFlow、SKlean、Numpy等机器学习开源框架构建基于双向长短期记忆神经网络的异常指令检测模型，解决具有序列化特征的操作指令面临的长期依赖问题。然后为提高模型训练效率，以ReLU函数作为激活函数分别构建前后向循环神经网络模块，分别进行基于前文信息、基于后文信息的指令性质判断。接着为提高模型识别准确率，通过设置前后向输出选择模块，基于当前指令的上下文序列关系对前后向循环神经网络模块的输出内容进行筛选。最后，根据源网荷互动工控系统自身的网络结构设计出一套异常指令检测系统部署方案。整套检测系统构成一套反馈闭环，使得核心检测模型处于不断迭代优化过程中，以提高异常指令识别精度及适应能力。

本发明提供了一种基于双向长短期记忆神经网络的源网荷互动工控系统异常指令检测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施实例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种源网荷互动工控系统的异常指令检测方法,其特征是包括以下步骤：

1)采用机器学习开源框架构建基于双向长短期记忆神经网络的源网荷互动工控系统异常指令检测模型，以源网荷工控系统的指令序列为双向长短期记忆神经网络的输入层，输出层为检测出的指令性质；

对于隐藏层，采用ReLU函数作为激活函数构建前后向循环神经网络模块，用于分别提取当前指令的前后向指令序列信息；

对于前后向循环神经网络模块的输出，采用门控思想构建前后向输出选择模块，根据当前指令的前后文序列关系，筛选出前后向指令序列中的重要信息，根据前后向输出选择模块筛选出的前后向循环神经网络的输出状态，综合判定当前指令是否为异常指令，即输出层输出结果；

2)对于1)得到的检测模型，首先基于人工标记的指令序列训练数据集，对模型进行初始化训练；

3)以初始训练生成的检测模型作为异常指令检测分类器分别下发给各级操作单元的指令异常分析模块；

4)源网荷互动工控系统中各级操作单元接收到操作指令序列后，首先通过异常指令检测分类器进行指令异常检测，若为正常指令，则执行相关的指令动作，若发现异常，则执行相关的紧急处理措施，并上报异常信息。

2.根据权利要求1所述的源网荷互动工控系统的异常指令检测方法,其特征是步骤4)之后进一步设有以下步骤：

5)基于反馈的异常信息，将该异常信息进行标记，用于扩充训练数据集；

6)当扩充后的训练数据集达到设定规模时，以扩充后的训练数据集为基础，采用MiniBatch方法对异常指令检测模型做进一步的更新训练；

7)将更新训练后的模型作为异常指令检测分类器分别下发给各级指令异常分析模块进行分类器的更新，从第4)步开始循环执行，从而使异常指令检测模型一直处在一个不断迭代优化的过程中，使得模型能够适应不同时期的源网荷互动工控系统中的不同状态。

3.根据权利要求1或2所述的源网荷互动工控系统的异常指令检测方法,其特征是步骤1)中，设源网荷互动工控系统的当前时刻指令为X_t，前向长短期循环神经网络的长期记忆状态为

短期记忆为

后向长短期循环神经网络的长期记忆状态为

短期记忆为

对应检测出指令性质为O_t,C表示长期记忆，h表示短期记忆，下标t表示时刻，上标f表示前向，上标b表示后向，采用的ReLU函数定义如下：

前向循环神经网络模块包括遗忘门、更新门和输出门三个门状态，根据前向指令序列{X₁,...,X_t-1}的

以及当前输入X_t,更新前向长期记忆

内容,并输出当前短期记忆内容

即当前隐含层状态，

前向序列遗忘门F_t ^f用于决定前向序列的长期记忆中哪些内容应当保留、哪些内容应当遗忘，采用窥孔连接网络的思想，由当前输入X_t、前向序列短期记忆内容

前向长期记忆内容

共同决定：

其中

分别为前向序列遗忘门的一次项参数矩阵与偏置向量，δ()为SIGMOD激活函数；

前向序列更新门

用于筛选出当前联合输入内容

中的重要内容，并添加进前向序列长期记忆，构成

其中

分别为前向序列更新门的一次项参数矩阵与偏置向量，

分别为联合输入内容的一次项参数矩阵与偏置向量；

前向序列输出门P_t ^f综合

和X_t,决定当前指令状态的输出

首先把

输入ReLU函数进行处理，然后将处理结果与前向序列输出门

相乘，从而得到前向循环神经网络模块的输出部分:

后向循环神经网络模块与前向循环神经网络模块结构一致，只是根据后向指令序列{X_t+1,...,X_n}来预测当前的输出状态，其对应的遗忘门、更新门和输出门公式如下：

公式(8)至(13)中各符号定义与公式(2)至(7)各符号相对应，符号右上角f表示属于前向序列，b表示属于后向序列。

4.根据权利要求1或2所述的源网荷互动工控系统的异常指令检测方法,其特征是步骤1)中，前后向输出选择模块综合指令序列上下文状态以及当前输入，筛选出其中重要内容作为全连接输出模块，即全连接神经网络的输出层的输入，

对于前向循环神经网络中的输出内容，通过前向输出选择模块对前向循环神经网络的输出状态进行筛选：

其中

为前向序列输出选择门，

分别为前向序列输出选择门的一次项参数矩阵与偏置向量，

为前向输出选择处理结果，

对于后向循环神经网络中的输出内容，后向输出选择模块考虑当前输入，以及之前的指令序列状态：

其中

为后向序列输出选择门，

分别为后向序列输出选择门的一次项参数矩阵与偏置向量，

为后向输出选择处理结果；

全连接输出模块根据前后向输出选择模块筛选出的前后向循环神经网络的输出状态，综合判定当前指令是否为异常指令，即输出O_t，采用双层全连接神经网络加softmax输出层的模式，以

为输入，计算输出O_t：

其中

表示全连接神经网络第一层输出，

分别为全连接神经网络第一层的一次项参数矩阵与偏置向量，

表示全连接神经网络第二层输出，

分别为全连接神经网络第二层的一次项参数矩阵与偏置向量。

5.根据权利要求1或2所述的源网荷互动工控系统的异常指令检测方法,其特征是步骤1)中，采用的机器学习开源框架包括TensorFlow、SKlean和Numpy。

Images