CN111476299A - 一种改进型卷积神经网络及基于其的电网智能告警系统 - Google Patents

Abstract

本发明涉及电力系统运行分析领域，提供了一种改进型卷积神经网络，所述神经网络通过如下步骤训练：S1、对已知的原始训练数据进行标准化处理，得到标准化数据；S2、将所述标准化数据进行前向传播，从而计算数据的误差；然后进行反向传播，从而迭代计算过程中的权值和阈值；以获得最合理的权值、阈值、卷积核以及分类向量；S3、训练soft‑max分类器，以对所述分类向量进行分类；S4、评价所述分类结果的准确率，若所述准确率符合预期，则保存步骤S2中的权值、阈值、卷积核以及分类向量；否则调整所述卷积核的个数、尺寸以及池化因子，然后重复步骤S2‑S4。本发明可以提高故障诊断的准确度，提升故障分类识别的能力，对电网的异常运行状态实现智能告警。

Description

一种改进型卷积神经网络及基于其的电网智能告警系统

技术领域

本发明涉及电力系统运行分析技术领域，尤其涉及一种改进型卷积神经网络及基于其的电网智能告警系统。

背景技术

电网告警系统是保证大电网安全稳定运行调度的重要支撑，它实时监测电网的各项数据和指标，对异常越界和故障事故发出实时预警，给调控员及故障处理人员提供了调度和故障处理实时依据。新一代电力系统的发展对告警系统运行的自动化、智能化提出了更高的要求，传统的调度告警系统误报率较高、告警存在延时，对运行人员过度依赖，已不能满足电网发展的需求，故需对智能告警系统进行研究。

近年来，随着智能电网的逐步发展，智能调度告警技术作为智能电网的重要组成部分，其核心为在线实时决策指挥，目标是灾变防治，实现大面积连锁故障的预防。针对目前调度告警系统过度依赖运行人员经验的问题，国内外专家对智能告警系统展开研究并取得了显著的成果。

发明内容

为了适应智能电网的发展，必须对电网智能调度各个环节进行实时监控和故障智能告警的综合处理。当前的告警系统存在告警误报率较高、告警延时时间较长等问题，无法满足大电网调控运行需求，需要对现阶段电网监控业务的各个输出环节进行全方位的综合分析，提升电网智能调度控制系统的感知能力和故障处理效率，以达到电网安全、稳定的运行状态。针对这种情况，本发明提出一种基于卷积神经网络的大电网的智能告警系统。实践结果表明，本发明所提出的告警系统对异常工况识别准确率达到了97.976％，在线诊断时计算时间为0.98s，可以实现高效的智能告警。

本发明首先提出了一种改进型卷积神经网络，通过如下步骤训练：

S1、对已知的原始训练数据进行标准化处理，得到标准化数据；

S2、将所述标准化数据进行前向传播，计算实际输出与期望输出的差值，求得输出层和隐含层的误差；然后进行反向传播，从而迭代计算过程中的权值和阈值；以获得最合理的权值、阈值、卷积核以及分类向量；

S3、训练soft-max分类器，以对所述分类向量进行分类；

S4、评价所述分类结果的准确率，若所述准确率符合预期，则保存步骤S2中的权值、阈值、卷积核以及分类向量；否则调整所述卷积核的个数、尺寸以及池化因子，然后重复步骤S2-S4。

上述的改进型卷积神经网络，步骤S1中，采用z分数进行数据标准化处理。

上述的改进型卷积神经网络，步骤S2中包括初始化的步骤，所述初始化包括将所述权值、阈值和卷积核设为介于0和0.001之间的随机值。

上述的改进型卷积神经网络，步骤S2中，若所述误差的精度满足一预设值或者若反向传播的次数超过一预设的最大值，则停止反向传播，进入步骤S3

上述的改进型卷积神经网络，步骤S3中包括对所述soft-max分类器进行初始化，所述初始化包括权值矩阵和偏移向量。

上述的改进型卷积神经网络，步骤S3中，采用适应性矩估计优化算法加速soft-max分类器的收敛。

上述的改进型卷积神经网络，步骤S4中，若准确率不符合预期，则步骤S2中得到的卷积核个数、尺寸以及池化因子作为下一次的初始化参数，重复步骤S2-S4。

基于同一发明构思，本发明还提出了一种基于上述的改进型卷积神经网络的电网智能告警系统，包括：

多个调控应用，所述调控应用为大电网中各自独立的现有调控应用，分别提供电网中的电流数据；

改进型卷积神经网络，对所述电流数据进行标准化处理后，经过若干次卷积、池化和分类后得到已分类的告警信息；

可视化分析模块，在二维平面上呈现分离的所述告警信息。

上述的电网智能告警系统，其中，所述可视化分析模块对非二维的告警信息进行降维处理，映射到二维的坐标图中。

上述的电网智能告警系统，其中，所述告警信息对至少以下五个潜在故障进行预警：设备线路故障、单相线路短路故障、线路重合闸后再跳闸、三相线路短路故障、正常调停误报。

与现有技术相比，本发明的技术方案主要包括信号采集、特征提取和选择、故障分类三部分。在构建故障类型数据库的基础上，结合卷积神经网络的特点，可以实现多层次、多维度、多分类的故障诊断与智能告警。将改进的卷积神经网络引入故障诊断之中，利用其多层次网络训练、故障特征自主提取和强大泛化能力等优势，在多维度的电网大数据基础上，可以提高故障诊断的准确度，提升故障分类识别的能力，对电网的异常运行状态实现智能告警。

附图说明

本领域技术人员可知，以下的附图仅仅列举出本发明的一些实施例，在不付出创造性劳动的前提下，本领域技术人员还可以根据这些附图获得其他同一性质的实施例(附图)。

图1是本发明一实施例中神经网络训练的流程图；

图2是本发明一实施例中原始样本数据；

图3是图2中数据标准化后的数据；

图4是本发明一实施例中改进的卷积神经网络训练过程对比图；

图5是本发明一实施例中改进的卷积神经网络输出特征的可视化图。

具体实施方式

为使本发明的目的、特征更明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明。然而，本发明可以用不同的形式实现，不应只是局限在所述的实施例。且，在不冲突的情况下，本发明中的实施例及实施例中的特征允许相互组合或替换。结合以下的说明，本发明的优点和特征将更清楚。

需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

还需声明的是，本发明中对步骤编号的目的在于便于引用，而非限定先后顺序。对于个别需强调顺序的步骤，文中将以专门文字进行特别说明。

大电网是指现有的国家电力网络，包含有发电厂、变电站、输电线路网、配电变压器和低压线路网等多种电力设备。大电网的规模庞大，变电站设备多，每天产生的信号量大，监控压力大，告警系统能否为调度监控员提供有效的帮助也显得至关重要。适当的告警系统能够保证调度监控员无论是在正常运行状态还是事故状态下，都能够实时、准确掌握电网的情况。传统的告警系统只是将厂站端收集的告警信息简单地在告警窗口按时间序列显示，并未对告警信号进行筛选和有效处理，每天的信息总量达到一万多条，调度监控员在兼顾系统调压、操作的工作压力下，容易出现错漏某些重要信号的情况，是大电网运行安全稳定的一个重要隐患。本发明的目的在于提供一种能够应用于大电网运行的智能告警系统，以提高监控和告警质量，为调度员快速识别故障，做出有效决策提供辅助，从而实现电网调度、控制、监视的集中管理和一体化运作。

针对目前电网综合智能告警系统过度依赖工作人员经验，难以适应电网的发展的问题，本发明以提高电网智能告警系统的智能化为目标，提出了基于一种改进的卷积神经网络的电网线路智能告警技术。本发明构思的核心思想在于，首先对调度中心的遥测、PMU(Phasor Measurement Unit，相量测量装置)等多源数据进行预处理，然后利用改进的卷积神经网络对时序、电流等数据进行特征提取，通过所述改进的卷积神经网络进行故障分类与识别，同时有效地避免了误报现象。相比于传统机器学习方法，本发明提出的改进的卷积神经网络有多层卷积池化层，并加入批归一化层优化神经网络的结构，可以自动提取故障特征，且效果显著，优于浅层学习的评估性能。本发明所提出的告警系统对异常工况识别准确率达到了97.976％，且在线诊断时模型计算时间为0.98s，可以实现高效的智能告警。通过优化神经网络模型，还可以将线路的五种异常工况有效地分类和识别，尤其是将调停误报与其他四种故障情况分离，避免误报现象，实现智能告警，以便调度监控员及时、准确的做出调度指令。

请参考图1，图1所示的是本发明提出的一种改进型卷积神经网络的一种训练过程。所述训练过程分为两个阶段：首先训练卷积神经网络，初始化神经网络的参数，再用BP(Back Propagation，反向传播)算法对网络参数进行微调，反向迭代直到所述神经网络的误差或者迭代次数到达设定值，从而得到最佳的权值、阈值等。然后将通过神经网络得到的分类向量作为输入来训练Soft-max分类器，同样，当迭代次数到达设定次数时停止迭代，输出最终的分类。然后检验网络的训练精度是否足够高，若满足精度要求，则保存网络模型，若不满足，则重新设定卷积核个数、尺寸和池化因子，重复上述的两个阶段，不断逼近最佳的权值和阈值。

简要的说，所述训练过程包括：

S1、对已知的原始训练数据进行标准化处理，得到标准化数据；

S2、将所述标准化数据进行前向传播，从而计算出实际输出与期望输出的差值，求得输出层和隐含层的误差数据的误差；然后进行反向传播，从而迭代计算过程中的权值和阈值；以获得最合理的权值、阈值、卷积核以及分类向量；

S3、训练soft-max分类器，以对所述分类向量进行分类；

S4、评价所述分类结果的准确率，若所述准确率符合预期，则保存步骤S2中的权值、阈值、卷积核以及分类向量，结束本次训练；否则调整所述卷积核的个数、尺寸以及池化因子，然后重复步骤S2-S4。

如前所述，大电网包括了众多提供数据的电网设备，多维的电网数据包括了庞大的电网信息，其中也包含了大量的冗余数据。同时，不同维度、不同指标、不同量纲的数据无法直接、有效的提取出有效的故障信息，所以在训练神经网络前首先要对采集到的数据进行标准化处理。呼应于步骤S1，本实施例对采集到的原始数据进行Z-score标准化(Zero-mean Normalization)处理，Z-score标准化处理是将原始数据按比例进行缩放，使所有原始数据都落入同一个特定区间，以减小各类数据的差异性。其计算公式如下：

其中，X为特征向量，

为对应特征量的平均值，σ(X)为该特征量的标准差，X’为标准化的值。

Z-score标准化适用于特征量的最大值和最小值未知的情况。通过Z-score标准化，将不同量级的数据转换成同一量级的数据，这样可以减小不同特征量之间的差异性。将标准化后的多来源数据输入到改进的神经网络之中，提高了数据的可比性，能够更有效地实现故障诊断和告警。

具体的，步骤S2中还包括初始化的步骤，所述初始化包括将所述权值、阈值和卷积核均设定为一接近0的随机值，一般定义该“接近0”的数值范围为0～0.001。

进一步地，步骤S2中，若所述误差的精度满足一预设值或者若反向传播的次数超过一预设的最大值，则停止反向传播，进入步骤S3。优选的，所述预设值为0.0001，即每次迭代误差的变化率应小于0.0001；所述预设的最大值为100，即当迭代次数超过100次时，停止反向传播。

具体的，步骤S3中，还包括对所述soft-max分类器进行初始化，所述初始化包括权值矩阵和偏移向量。为了自适应的调整模型的收敛速度，还可采用适应性矩估计(AdaptiveMoment Estimation，Adam)优化算法加速soft-max分类器的收敛。

具体的，步骤S4中，准确率符合预期是指分类结果的准确率达到预期要求，例如，若预期希望准确率高于97％，则当分类结果的准确率超过97％时，结束所有步骤，训练结束；若不满足预期要求，则将之前得到的卷积核个数、尺寸以及池化因子等参数作为神经网络的初始化参数，重复步骤S2-S4。

以下，具体说明一下神经网络中各层采用的计算公式及获得的结果。

针对数据类型，构建一维卷积神经网络，主要使用卷积操作和池化操作，并加入批归一化层提高神经网络精度。利用改进的卷积神经网络先对局部进行感知获得局部特征，然后在更高层将局部的信息综合起来以获得全局的特征。

网络的输入层是卷积层，在卷积层中，将标准化后的输入特征向量/上一层的特征图(Feature map)与可学习的卷积核进行卷积，然后通过一个激活函数(Activationfunction)进行分类(识别)，就可以得到输出特征图。假设第l层是卷积层，则一维卷积层的计算公式如下：

其中

表示l层的第j个特征映射，

表示l-1层的第i个特征映射，M表示输入特征映射的个数，

表示可训练的卷积核，

表示偏置，*代表卷积操作。f(·)表示激活函数。

本实施例中，所述激活函数采用ReLU(Rectified Linear Unit，线性整流函数)，ReLU激活函数如下：

f(x)＝max(0,x)

ReLU是非线性激活函数，可以使输入输出之间生成非线性映射。它将上一层输出信号由简单的线性函数变为非线性函数作为下一层的输入信号，以便使网络更加强大，增加它的能力，使它可以学习复杂的事物，复杂的表单数据。

将卷积层的输出向量输入到批归一化层，可以规范数据模型。批归一化在神经网络训练的过程中，通过计算每个批次数据的均值和标准差，将输入数据进行归一化处理，使其均值为0，标准差为1。批归一化公式如下：

其中，x^k表示第k维输入数据，E[x^(k)]表示该维的平均值，Var[x^(k)]表示标准差，

表示输出数据。

只对输入进行归一化可能会改变输入本来所能表现的特性或者分布，为了解决这个问题，可以用可学习的参数增益γ和偏置β去拟合原先的分布。优选的拟合公式如下：

其中，γ^(k)和β^(k)分别为k维数据的可学习参数增益γ和偏置β，y^(k)为输出的批归一化数据。

批归一化通过规范化与线性变换使得网络中每层输入数据的分布相对稳定，加速模型学习速度，并且具有一定的正则化效果。

再将批归一化层的输出向量作为池化层的输入。卷积层和池化层是交替出现的，卷积进行局部特征提取，池化具有特征平移不变性的特性，同时可以减少特征的分辨率。池化层计算公式如下：

其中down(·)为下采样函数，

表示偏置。把n×1向量的所有元素相加，由于下采样作用于不重合区域，因此所得的特征映射大小为原来的1/n。

网络的输出层为全连接层，可将卷积、批归一化和池化操作后得到的局部特征融合后形成特征向量层，输出通过对特征向量层加权求和并通过激活函数的响应得到：

y^l＝f(u^l)＝f(W^lx^l+b^l)

其中W^l表示权重，b^l表示偏置。

为了解决多分类问题，本发明使用了soft-max回归模型。soft-max回归模型是Logistic回归(对数几率回归)模型的一个扩展，主要用于解决多分类问题，对于本发明最终需要分出5个故障类别具有较好的效果。

假设训练样本为

它对应的标签集为

其中xⁱ∈R^N×1，lⁱ∈{1,2,…,K}。则p(y＝k|xⁱ)，其中，xⁱ表示估算样本属于类别k的概率。当一个标签对应的概率值最大时，则可以判定xⁱ属于该类别。定义假设函数如下：

其中，θ＝[θ₁,θ₂,…,θ_K]^T表示soft-max回归模型中的训练参数，

是归一化函数。可以看出，假设函数的所有元素之和为1，代表所有类别的概率和为1。soft-max回归模型的代价函数如下：

其中，1{·}表示指标函数，当{·}值为真时，指标函数值为1，否则指标函数值为0。λ表示权重衰减系数。

本发明还公开了一种电网智能告警系统，包括：

多个调控应用，所述调控应用为大电网中各自独立的现有调控应用，分别提供电网中的电流数据；

改进型卷积神经网络，对所述电流数据进行标准化处理后，经过若干次卷积、池化和分类后得到已分类的告警信息；

可视化分析模块，在二维平面上呈现分离的所述告警信息。所述可视化分析模块对非二维的告警信息进行降维处理，将其映射到二维的坐标图中，使得同类的告警信息聚集在相近的区域，便于人眼直观判断。

附图2-4是对某地电网在一段时间(3个月)内异常状态电流数进行验证时所采用的数据及效果对比。

图2为根据月报和系统储存的异常工作状态信息提取的五种异常状态的原始数据。其中设备线路故障样本数为81，单相线路短路故障样本数为216，线路重合闸后再跳闸样本数为27，三相线路短路故障样本数为27，正常调停误报样本数为81，共包含432个样本，每个样本包含故障前后共3s内的故障信息，有3000个采样数据点。为便于清晰显示，图2所示为432个样本的原始电流数据。

图3所示为将图2所示的数据标准化后的结果。

具体的，对前述的样本按下表进行分组使用：

表1样本安排

图4所示为按表1的样本进行训练的过程对比图。

由于不同设备、不同线路之间的电流维度不一样，所以对原始电流数据进行Z-score标准化，将数据按比例缩放，使之落入一个较小的特定区间。通过标准化，将不同量级的指标能够进行比较和加权，同时突出表现出电流数据的变化特征和振荡特征，可以大大提高神经网络的准确性。

样本的训练集和测试集安排如表1。每种类型的样本随机选取，按2:1的比例划分训练组与测试组。

根据对比实验结果，最优的神经网络构建方案为3卷积层—2批归一化层—3池化层共8个隐藏层的网络结构。同样根据对比实验结果，本实施例采用卷积核的移动步长设置为1，池化层选择最大池化，可以更好的提取出电流的突变量。所有卷积—批归一化—池化层训练完成后，再利用BP反向传播算法进行权值和偏置的微调，完成训练。其中，第一层卷积层设置64个卷积核提取到64种时序特征，经池化后，序列时间维度减半。第二、第三层卷积层与第一层参数一致，卷积核尺寸同样固定为3。根据经验，最大池化层池化因子取2，批归一化层的动态均值动量取0.8。虽然网络的每层配置相同，但上层池化的作用可使向量的维度减半，相当于该层的卷积运算对向量维度的感知增大为原来的两倍。随后通过全局最大池化将特征向量的维度压缩，此时特征向量维度已高度抽象，每个特征向量都包含了五种异常工况的特征信息。

为了分离物种特征信息，再进一步链接两层具有10个隐含单元的全链接层，将特征向量维度进一步压缩，通过softmax分类器将五种异常工况识别分类并输出结果。优选的，将epoch数设为20，训练集精确度为100％，测试集精确度为98.403％，训练时间为52s，网络的综合性能最优，故障识别与分类效果最好。

确定完整的网络结构后，如图1所示，还可采用Adam(Adaptive MomentEstimation，适应性矩估计)优化器算法来自适应调整学习率来加速模型收敛，使用其默认参数，依据经验设置学习率为0.001，迭代次数取70，结果如图4所示。可以看到，随着模型不断迭代计算，测试集损失和训练集损失同步降低。使用优化后的网络模型进行5次试验，并取其平均值，测试集的准确率达到97.976％。

为了更直观地了解到模型的分类识别效果，本发明还利用可视化工具t-SNE将第三卷积层的输出降维到二维平面并可视化，结果如图5所示。图中可以清晰地看到，经过3次卷积和池化操作，最后一层卷积池化后得到的样本特征已经呈现出完全分离状态，将设备线路故障、单相线路短路故障、线路重合闸后再跳闸、三相线路短路故障、正常调停误报这五种状态有效地分类识别。可见，本发明的网络模型能够从时序电流数据中提取出特征量，并且可以将调停误报的情况与其他故障状态区分，有效地避免了调停误报的现象，可以实现电网线路异常状态的智能告警。

基于数据驱动的故障诊断与告警技术是未来的发展方向，上述的基于改进的卷积神经网络的告警系统在构建故障类型数据库的基础上，结合卷积神经网络的特点，实现多层次、多维度、多分类的故障诊断与智能告警。将改进的卷积神经网络引入故障诊断之中，利用其多层次网络训练、故障特征自主提取和强大泛化能力等优势，在多维度的大电网的大数据基础上，提高故障诊断的准确度和实时性，进一步提升了对电网异常运行状态进行智能告警的能力。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种改进型卷积神经网络，其特征在于，通过如下步骤训练：

S1、对已知的原始训练数据进行标准化处理，得到标准化数据；

S2、将所述标准化数据进行前向传播，计算实际输出与期望输出的差值，求得输出层和隐含层的误差；然后进行反向传播，依据误差更新网络的权值和阈值；以获得最合理的权值、阈值、卷积核以及分类向量；

S3、训练soft-max分类器，以对所述分类向量进行分类；

S4、评价所述分类结果的准确率，若所述准确率符合预期，则保存步骤S2中的权值、阈值、卷积核以及分类向量，结束本次训练；否则调整所述卷积核的个数、尺寸以及池化因子，然后重复步骤S2-S4。

2.如权利要求1所述的改进型卷积神经网络，其特征在于，步骤S1中，采用z分数进行数据标准化处理。

3.如权利要求1所述的改进型卷积神经网络，其特征在于，步骤S2中包括初始化的步骤，所述初始化包括将所述权值、阈值和卷积核设为介于0和0.001之间的随机值。

4.如权利要求1所述的改进型卷积神经网络，其特征在于，步骤S2中，若所述误差的精度满足一预设值或者若反向传播的次数超过一预设的最大值，则停止反向传播，进入步骤S3。

5.如权利要求1所述的改进型卷积神经网络，其特征在于，步骤S3中包括对所述soft-max分类器进行初始化，所述初始化包括权值矩阵和偏移向量。

6.如权利要求1所述的改进型卷积神经网络，其特征在于，步骤S3中，采用适应性矩估计优化算法加速soft-max分类器的收敛。

7.如权利要求1所述的改进型卷积神经网络，其特征在于，步骤S4中，若准确率不符合预期，则步骤S2中得到的卷积核个数、尺寸以及池化因子作为下一次的初始化参数，重复步骤S2-S4。

8.一种基于如权利要求1-7任一项所述的改进型卷积神经网络的电网智能告警系统，其特征在于，包括：

多个调控应用，所述调控应用为大电网中各自独立的现有调控应用，分别提供电网中的电流数据；

改进型卷积神经网络，对所述电流数据进行标准化处理后，经过若干次卷积、池化和分类后得到已分类的告警信息；

可视化分析模块，在二维平面上呈现分离的所述告警信息。

9.如权利要求8所述的电网智能告警系统，其特征在于，所述可视化分析模块对非二维的告警信息进行降维处理，映射到二维的坐标图中。

10.如权利要求8所述的电网智能告警系统，其特征在于，所述告警信息对至少以下五个潜在故障进行预警：设备线路故障、单相线路短路故障、线路重合闸后再跳闸、三相线路短路故障、正常调停误报。

Images