CN111598179A - 电力监控系统用户异常行为分析方法、存储介质和设备 - Google Patents

Abstract

本发明公开了一种电力监控系统用户异常行为分析方法、存储介质和设备，采集电力监控系统中反映用户行为的数据；对采集到的反映用户行为的数据进行预处理生成待识别的用户行为数据；通过预先离线训练构建的强分类器对待识别的用户行为数据进行在线识别，识别出用户异常行为并发出告警。本发明对电力监控系统用户异常行为进行在线识别，识别精度高。

Description

电力监控系统用户异常行为分析方法、存储介质和设备

技术领域

本发明涉及电力系统信息安全检测与防御技术领域，具体涉及一种电力监控系统用户异常行为分析方法、存储介质和设备。

背景技术

近年来随着各类网络化应用的不断拓展和深化，计算机病毒、木马、黑客攻击等恶意网络攻击行为日益猖獗，网络安全事件进入了高发期，网络信息战和网络恐怖行动等国家、集团性网络攻击行为对全社会的生产生活都造成严重影响。电力监控系统作为电力系统的关键信息基础设施，已被不少国家视为“网络战”的首选攻击目标。近年来，以色列、乌克兰等国家相继发生了电力监控系统被入侵而导致电力供应中断的事件，给当地人民群众的生产生活造成了极大损失。

随着能源互联网的全面推进，作为电网调度控制中枢的电力监控系统的智能化、网络化水平不断提升，同时以高级持续性网络攻击(APT)为代表的网络攻击行为新变种层出不穷，其威胁也日益严重，给电力监控系统安全防护工作带来了严峻挑战。早期人们通常采用端口扫描、报文特征字段匹配等方法对电力监控系统用户异常行为进行分析和检测，随着网络攻击行为的不断变化，依靠人工对用户异常行为进行分析以获取特征的代价越来越高昂甚至不可行。随着人工智能技术的发展，机器学习技术更多地被用于从网络数据中自动计算异常行为模式、提取其特征、自动产生检测规则，大大降低了用户异常行为的检测代价。根据是否需要对样本数据进行人工标记，基于机器学习的用户异常行为检测方法大致分为：(1)基于无监督学习的方法，如聚类、SOM(自组织图)等方法，但是该类方法存在模型可读性差导致准确性低以及训练开销过高等不足；(2)监督学习方法，如隐马尔科夫模型、贝叶斯网络、决策树及SVM支持向量机等，在准确性、模型可读性等方面优于无监督学习，但其训练样本需要全部进行人工标记，开销巨大；(3)半监督学习又称协同学习方法，相比前两者，可以使用部分标记的训练样本数据，通过生成的若干成员分类器进行协作，挖掘蕴含在无标记训练样本中的信息，从而在降低标记训练样本数据的开销前提下兼顾检测准确性。半监督学习方法多采用支持向量机、决策树等传统机器学习方法作为核心分类模型来构建分类器，在处理大规模数据集时模型训练会遇到性能瓶颈，识别准确率无法得到进一步提高。

近年来，以神经网络为代表的深度学习技术发展较快，应用于大规模数据时，模型识别准确率明显优于其他机器学习模型，但是却面临着收敛速度慢的问题。深度神经网络模型为了提升识别准确率，需要有足够的网络深度。然而，随着网络深度的增大，梯度值在网络中传递时会出现指数级增长或消减，从而导致有效信息被过分夸大或隐瞒，出现梯度爆炸或梯度消失等问题，严重影响深度神经网络模型的识别精度与收敛速度，导致识别电力监控系统用户异常行为的准确率不高。

发明内容

为解决现有技术中的不足，本发明提供一种电力监控系统用户异常行为分析方法、存储介质和设备，解决了电力监控系统用户异常行为在线识别不准确的问题。

为了实现上述目标，本发明采用如下技术方案：一种电力监控系统用户异常行为分析方法，包括步骤：

采集电力监控系统中反映用户行为的数据；

对采集到的反映用户行为的数据进行预处理生成待识别的用户行为数据；

通过预先离线训练构建的强分类器对待识别的用户行为数据进行在线识别，识别出用户异常行为并发出告警。

进一步的，强分类器离线训练构建过程为：

1)构建多级残差全连接神经网络模型；

2)基于多级残差全连接神经网络模型进行弱分类器集群的初始化构建；

3)采用加权多数表决法将弱分类器集群线性组合成强分类器。

进一步的，所述多级残差全连接神经网络模型包括：输入层、残差全连接层、输出层与Softmax层；

输入层用于将有标记的训练样本数据作为输入向量；

残差全连接层的层数有一个或者多个，每个残差全连接层对应一个一级残差块；每个一级残差块内包括三个二级残差块，第三个二级残差块的输入由第一个二级残差块的输入与第二个二级残差块的输出构成；

每个二级残差块内包括三个隐含层和一个批标准化BN层；

输出层根据残差全连接层的输出结果，分别计算训练样本数据与不同类型用户行为的匹配值并输出；

Softmax层根据输出层的计算结果，计算训练样本数据中的每一条记录分别对应用户正常行为和用户异常行为的概率值。

进一步的，所述二级残差块内的四个层的数据处理公式如下所示：

第一隐含层：

第二隐含层：

第三隐含层：

BN层：O＝BN[a^[3]] (4)

其中，x为第一隐含层的输入，w^[i]为第i隐含层的权重矩阵，b^[i]为第i隐含层的偏置向量，z^[i]为第i隐含层对其输入向量进行线性连接操作的结果，a^[i]为第i隐含层的输出，BN[]表示对第三隐含层的输出进行归一化处理，O表示经过BN层进行归一化处理后的结果；

leaky_ReLU()为激活函数：

m为激活函数的变量；

所述训练样本数据与不同类型用户行为的匹配值，计算公式如下所示：

P＝w^[p]·a^[h]+b^[p] (5)

其中，a^[h]为残差全连接层的输出结果，w^[p]为输出层的权重矩阵，b^[p]为输出层的偏置向量，P的维度为2，其中，第一维向量P₀表示训练样本数据与用户正常行为的匹配值，第二维向量P₁表示训练样本数据与用户异常行为的匹配值；

所述训练样本数据中的每一条记录分别对应用户正常行为和用户异常行为的概率值的计算公式如下所示：

其中，S_j表示输入的训练样本数据中每一条用户行为数据对应用户正常行为和用户异常行为的概率值，j＝0表示用户正常行为，j＝1表示用户异常行为，e为自然常数。

进一步的，所述基于多级残差全连接神经网络模型进行弱分类器集群的初始化构建，包括：

基于识别用户行为的训练样本数据，以多级残差全连接神经网络模型为核心分类模型，选取不同的训练样本子集、设置不同的残差全连接层层数，对该核心分类模型进行离线训练，生成多个具有差异性的弱分类器，得到弱分类器集群。

进一步的，所述采用加权多数表决法将弱分类器集群线性组合成强分类器包括：

基于相同的测试样本数据集分别计算训练后的每一个弱分类器的分类误差率，第k个弱分类器G^k(y)的分类误差率r^k为分类错误的测试样本数据条数与测试样本数据总条数的比值，则第k个弱分类器G^k(y)的投票表决权重c^k的计算公式为：

c^k＝log((1-r^k)/r^k)/2 (7)

基于投票表决权重将多个弱分类器线性组合成一个强分类器E(y)：

其中，K表示组成强分类器的弱分类器个数，将所有弱分类器判断为用户正常行为的概率值和判断为用户异常行为的概率值分别与投票表决权重相乘后线性累加的结果最大值对应的用户行为类型作为识别结果输出。

进一步的，所述反映用户行为的数据至少包括流量特征、系统日志、系统告警数据。

进一步的，所述预处理包括数据清洗、删除含有缺失值和异常值的记录。

一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行前述的电力监控系统用户异常行为分析方法中的任一方法。

一种计算设备，包括，

一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行电力监控系统用户异常行为分析方法中的任一方法的指令。

本发明所达到的有益效果：本发明基于电力监控系统的流量特征、系统日志、系统告警等能够反映用户行为的原始数据构建训练样本，构建多级残差全连接神经网络模型，在此基础上采用混合扰动方法构建初始弱分类器集群，计算各弱分类的识别误差率，通过加权多数表决法将弱分类器线性组合成强分类器，用于对电力监控系统用户异常行为进行在线识别，识别精度高。

附图说明

图1是本发明具体实施方式中的分析方法流程图；

图2是本发明具体实施方式中的多级残差全连接神经网络模型结构示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，一种电力监控系统用户异常行为分析方法，包括步骤：

步骤1，采集电力监控系统中反映用户行为的数据，反映用户行为的数据至少包括流量特征、系统日志、系统告警三类数据的组合；

步骤2，对采集到的反映用户行为的数据进行预处理，包括数据清洗，删除含有缺失值和异常值的记录，生成待识别的用户行为数据；

步骤3，基于用户行为识别样本数据，通过预先离线训练构建的强分类器对待识别的用户行为数据中的用户异常行为进行在线识别，识别出用户异常行为并发出告警。

强分类器离线训练构建过程为：

1)构建多级残差全连接神经网络模型；

如图2所示，多级残差全连接神经网络模型包括：输入层、残差全连接层、输出层与Softmax层；

输入层负责将有标记的训练样本数据作为输入向量，以便后续残差全连接层进行训练处理。

有标记的训练样本数据为：对采集的电力监控系统中反映用户行为的数据预处理后打上正常或者异常行为标记；

残差全连接层是整个模型识别精度的根本保证。残差全连接层层数越多，模型对不同用户行为特征的抽象提取越细致，相应模型的识别准确率就会越高，可以根据需要设置不同的层数。为了解决梯度消失、梯度爆炸等问题，本模型引入残差思想，以残差块为基本单位构建残差全连接层。残差块采用二级结构，实现残差块嵌套的目的是使信息在层与层之间的交互更加充分。

如图2所示，有两个残差全连接层，每个残差全连接层对应一个一级残差块；每个一级残差块内包括三个二级残差块，第三个二级残差块的输入由第一个二级残差块的输入与第二个二级残差块的输出构成，即一级残差块的残差跨度是二级残差块的3倍。

每个二级残差块内由三个隐含层和一个批标准化(Batch Normalizaiton，BN)层构成，二级残差块内的四个层的数据处理公式如公式(1)至(4)所示：

第一隐含层：

第二隐含层：

第三隐含层：

BN层：O＝BN[a^[3]] (4)

其中，x为第一隐含层的输入，可以来自输入层，也可以来自二级残差块的输出，w^[i]为第i隐含层的权重矩阵，b^[i]为第i隐含层的偏置向量，z^[i]为第i隐含层对其输入向量进行线性连接操作的结果，a^[i]为第i隐含层的输出，BN[]表示对第三隐含层的输出进行归一化处理，O表示经过BN层进行归一化处理后的结果；

leaky_ReLU()为激活函数，实现对输入参数的非线性转换，如下所示：

m为激活函数的变量；

模型训练的目标就是找到最佳的(w,b)组合，使得模型拥有较高的识别准确率。

由于训练样本数据具有一定的波动性，如果不加处理，层与层之间的训练存在级联关系，相互影响较大，从而导致训练过程出现震荡现象，模型无法得到快速收敛。为此，本发明在每一个二级残差块内加上一个BN层，对输出数据做归一化处理，使每一个二级残差块的输出数据在固定的[-1,1]区间内进行波动，从而削弱残差块之间的级联影响，使得各残差块能够相对独立的进行训练，从而加快收敛速度。

输出层根据残差全连接层的输出结果，分别计算训练样本数据与不同类型用户行为的匹配值并输出，如公式(5)所示：

P＝w^[p]·a^[h]+b^[p] (5)

其中，a^[h]为残差全连接层的输出结果，w^[p]为输出层的权重矩阵，b^[p]为输出层的偏置向量，P的维度为2，其中，第一维向量P₀表示训练样本数据与用户正常行为的匹配值，第二维向量P₁表示训练样本数据与用户异常行为的匹配值。

Softmax层根据输出层的计算结果，计算训练样本数据中的每一条记录分别对应用户正常行为和用户异常行为的概率值，并输出，其计算公式如公式(6)所示：

其中，S_j表示输入的训练样本数据中每一条用户行为数据对应用户正常行为和用户异常行为的概率值，j＝0表示用户正常行为，j＝1表示用户异常行为，e为自然常数。

对于模型直观的理解是：该模型采用一个具有18层隐含层的深度神经网络进行细致的特征抽象与提取从而保证模型拥有较高的识别准确率；同时采用由两级残差块构成的神经网络进行梯度传播，避免梯度消失梯度爆炸，提高模型的收敛速度。

2)基于多级残差全连接神经网络模型进行弱分类器集群的初始化构建；

以多级残差全连接神经网络模型为核心分类模型，采用混合扰动的方法对该核心分类模型进行离线训练，生成多个具有差异性的弱分类器G(y)，得到弱分类器集群，其中y表示用于识别用户行为的训练样本数据。所谓混合扰动就是在弱分类器构建时，通过选取不同的训练样本子集、设置不同的残差全连接层层数，训练生成多个弱分类器，并保证生成的弱分类器对相同用户行为数据的识别结果具有一定差异性，以确保在弱分类器组合成强分类器进行集成学习时提升集体决策的准确性。

3)采用加权多数表决法将弱分类器集群线性组合成强分类器，。

在弱分类器生成以后，采用加权多数表决法将多个弱分类器线性组合成一个强分类器，具体实现过程如下：

首先，基于相同的测试样本数据集分别计算训练后的每一个弱分类器的分类误差率，第k个弱分类器G^k(y)的分类误差率r^k为分类错误的测试样本数据条数与测试样本数据总条数的比值，则第k个弱分类器G^k(y)的投票表决权重c^k的计算公式如公式(7)所示：

c^k＝log((1-r^k)/r^k)/2 (7)

其意义是：弱分类器误差率越小识别结果越可靠，相应的投票权重越大，反之，投票权重越小。

各弱分类器的投票表决权重计算好以后，基于投票表决权重将多个弱分类器线性组合成一个强分类器E(y)，如公式(8)所示：

其中，K表示组成强分类器的弱分类器个数，公式(8)意义是将所有弱分类器对用户行为识别样本数据y的识别结果(即将其判断为用户正常行为的概率值和判断为用户异常行为的概率值)分别乘以该弱分类器的投票表决权重后累加。

将所有弱分类器判断为用户正常行为的概率值和判断为用户异常行为的概率值分别线性累加的结果最大值对应的用户行为类型作为识别结果输出。

采用TensorFlow、SKlean、Numpy等机器学习开源框架构建基于残差全连接神经网络的电力监控系统用户异常行为分析方法，通过引入深度学习方法显著提高用户异常行为的识别准确率。

与现有技术相比，本发明具有以下有益效果：

(1)采用多级残差思想，对传统全连接神经网络模型进行改进，在保证模型识别精度的前提下，解决因模型深度过大导致的梯度消失和梯度爆炸问题，加快模型训练时的收敛速度，快速进行分类器集群的初始化构建。

(2)采用混合扰动的方法生成多个具有差异性的弱分类器，提高在弱分类器组合成强分类器进行集成学习时做出的集体决策的准确性。

(3)将各弱分类器正确率/误差率比值的对数函数值作为其投票权重，采用加权多数表决法将弱分类器集群线性组合成强分类器，实现电力监控系统用户异常行为的在线识别。

一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行前述的电力监控系统用户异常行为分析方法中的任一方法。

一种计算设备，包括，

一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行电力监控系统用户异常行为分析方法中的任一方法的指令。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种电力监控系统用户异常行为分析方法，其特征在于：包括步骤：

采集电力监控系统中反映用户行为的数据；

对采集到的反映用户行为的数据进行预处理生成待识别的用户行为数据；

通过预先离线训练构建的强分类器对待识别的用户行为数据进行在线识别，识别出用户异常行为并发出告警。

2.根据权利要求1所述的一种电力监控系统用户异常行为分析方法，其特征是：强分类器离线训练构建过程为：

1)构建多级残差全连接神经网络模型；

2)基于多级残差全连接神经网络模型进行弱分类器集群的初始化构建；

3)采用加权多数表决法将弱分类器集群线性组合成强分类器。

3.根据权利要求2所述的一种电力监控系统用户异常行为分析方法，其特征是：所述多级残差全连接神经网络模型包括：输入层、残差全连接层、输出层与Softmax层；

输入层用于将有标记的训练样本数据作为输入向量；

残差全连接层的层数有一个或者多个，每个残差全连接层对应一个一级残差块；每个一级残差块内包括三个二级残差块，第三个二级残差块的输入由第一个二级残差块的输入与第二个二级残差块的输出构成；

每个二级残差块内包括三个隐含层和一个批标准化BN层；

输出层根据残差全连接层的输出结果，分别计算训练样本数据与不同类型用户行为的匹配值并输出；

Softmax层根据输出层的计算结果，计算训练样本数据中的每一条记录分别对应用户正常行为和用户异常行为的概率值。

4.根据权利要求3所述的一种电力监控系统用户异常行为分析方法，其特征是：所述二级残差块内的四个层的数据处理公式如下所示：

第一隐含层：

第二隐含层：

第三隐含层：

BN层：O＝BN[a^[3]] (4)

其中，x为第一隐含层的输入，w^[i]为第i隐含层的权重矩阵，b^[i]为第i隐含层的偏置向量，z^[i]为第i隐含层对其输入向量进行线性连接操作的结果，a^[i]为第i隐含层的输出，BN[]表示对第三隐含层的输出进行归一化处理，O表示经过BN层进行归一化处理后的结果；

leaky_ReLU()为激活函数：

m为激活函数的变量；

所述训练样本数据与不同类型用户行为的匹配值，计算公式如下所示：

P＝w^[p]·a^[h]+b^[p] (5)

其中，a^[h]为残差全连接层的输出结果，w^[p]为输出层的权重矩阵，b^[p]为输出层的偏置向量，P的维度为2，其中，第一维向量P₀表示训练样本数据与用户正常行为的匹配值，第二维向量P₁表示训练样本数据与用户异常行为的匹配值；

所述训练样本数据中的每一条记录分别对应用户正常行为和用户异常行为的概率值的计算公式如下所示：

其中，S_j表示输入的训练样本数据中每一条用户行为数据对应用户正常行为和用户异常行为的概率值，j＝0表示用户正常行为，j＝1表示用户异常行为，e为自然常数。

5.根据权利要求3所述的一种电力监控系统用户异常行为分析方法，其特征是：所述基于多级残差全连接神经网络模型进行弱分类器集群的初始化构建，包括：

基于识别用户行为的训练样本数据，以多级残差全连接神经网络模型为核心分类模型，选取不同的训练样本子集、设置不同的残差全连接层层数，对该核心分类模型进行离线训练，生成多个具有差异性的弱分类器，得到弱分类器集群。

6.根据权利要求3所述的一种电力监控系统用户异常行为分析方法，其特征是：所述采用加权多数表决法将弱分类器集群线性组合成强分类器包括：

基于相同的测试样本数据集分别计算训练后的每一个弱分类器的分类误差率，第k个弱分类器G^k(y)的分类误差率r^k为分类错误的测试样本数据条数与测试样本数据总条数的比值，则第k个弱分类器G^k(y)的投票表决权重c^k的计算公式为：

c^k＝log((1-r^k)/r^k)/2 (7)

基于投票表决权重将多个弱分类器线性组合成一个强分类器E(y)：

其中，K表示组成强分类器的弱分类器个数，将所有弱分类器判断为用户正常行为的概率值和判断为用户异常行为的概率值分别与投票表决权重相乘后线性累加的结果最大值对应的用户行为类型作为识别结果输出。

7.根据权利要求1所述的一种电力监控系统用户异常行为分析方法，其特征是：所述反映用户行为的数据至少包括流量特征、系统日志、系统告警数据。

8.根据权利要求1所述的一种电力监控系统用户异常行为分析方法，其特征是：所述预处理包括数据清洗、删除含有缺失值和异常值的记录。

9.一种存储一个或多个程序的计算机可读存储介质，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至8所述的方法中的任一方法。

10.一种计算设备，其特征在于：包括，

一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至8所述的方法中的任一方法的指令。

Images