CN114492662A - 基于Transformer-GRU的智能变电站二次系统故障定位方法 - Google Patents

基于Transformer-GRU的智能变电站二次系统故障定位方法 Download PDF

Info

Publication number
CN114492662A
CN114492662A CN202210137553.6A CN202210137553A CN114492662A CN 114492662 A CN114492662 A CN 114492662A CN 202210137553 A CN202210137553 A CN 202210137553A CN 114492662 A CN114492662 A CN 114492662A
Authority
CN
China
Prior art keywords
fault
interval
gru
transformer
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210137553.6A
Other languages
English (en)
Inventor
王洪彬
周念成
李智
童晓阳
王强钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Southwest Jiaotong University
Original Assignee
Chongqing University
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University, Southwest Jiaotong University filed Critical Chongqing University
Priority to CN202210137553.6A priority Critical patent/CN114492662A/zh
Publication of CN114492662A publication Critical patent/CN114492662A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)

Abstract

本发明公开了一种基于Transformer‑GRU的智能变电站二次系统故障定位方法，包括如下步骤：针对各间隔二次设备的每个故障情景，收集来自相关设备的告警信号，形成告警信号集合及对应故障位置；针对各间隔的每个故障情景，构造特征矩阵；针对各间隔中的小样本，对其进行复制；考虑网络延迟，针对各间隔的每个故障情景，将该故障情景下各时刻的行向量的顺序打乱，得到多个特征矩阵；分别构造各间隔的Transformer‑GRU故障定位模型；分别训练各间隔的Transformer‑GRU故障定位模型；将各间隔的测试集送入Transformer‑GRU故障定位模型进行测试，完成二次系统的故障定位，并统计各模型的测试准确率。本发明能够对变电站二次系统故障进行准确的定位，为运维人员提供高效准确的辅助决策。

Description

基于Transformer-GRU的智能变电站二次系统故障定位方法
技术领域
本发明涉及电力设备故障检测技术领域，特别是涉及一种基于Transformer-GRU的智能变电站二次系统故障定位方法。
背景技术
智能变电站能够通过网络通信平台采集到站内设备信息，监控一次设备和二次设备的运行状态，其安全可靠运行对于电力系统稳定运行至关重要。传统的智能变电站故障定位方法主要基于专家系统，结合通信装置和各二次设备的状态信息确定故障位置。智能变电站二次系统发生异常时会产生大量告警信号，运维检修人员很难从大量告警信号中提取有用信息，准确地确定出故障位置。
文献1：叶远波、孙月琴、黄太贵、等；智能变电站继电保护二次回路在线监测与故障诊断技术[J]，电力系统保护与控制，2016,44(20):148-153。提出一种基于多参信息量的继电保护二次回路在线监测及故障诊断方法，通过网络报文分析仪或保护状态检测装置，收集智能变电站二次系统发生故障时产生的告警信号，进行故障诊断，但需要运维检修人员根据经验提取相关告警信号。
文献2：LIU Y Q,GAO H L,GAO W C,et al.Development of a substation-areabackup protective relay for smart substation[J].IEEE Transactions on SmartGrid,2017,8(06):2544-2553.提出一种变电站区域后备保护，利用电流差分原理定位故障元件。
文献3：王月月、陈民铀、姜振超、等，基于云理论的智能变电站二次设备状态评估[J].电力系统保护与控制,2018,46(01):71-77；提出一种基于变权理论和梯形云模型，利用继电保护装置中间节点信息，构建二次设备的状态评估模型。
文献4：戴志辉、鲁浩、刘媛、等，基于改进D-S证据理论的智能站保护二次回路故障诊断方法[J].电力系统保护与控制,2020,48(09):59-67。通过解析(Substationconfiguration description，SCD)文件，分析二次回路的虚回路和物理回路映射关系，基于改进的D-S证据理论对智能变电站二次回路进行故障定位，但不同智能变电站SCD文件存在差异，难以适用于其它智能变电站。
近年来，人工智能和大数据技术迅速发展，成为新型的智能变电站故障定位方法。文献5：王磊、陈青、高洪雨、等，基于大数据挖掘技术的智能变电站故障追踪架构[J].电力系统自动化,2018,42(03):84-91。利用Spark对故障信息进行数据挖掘，采用决策树理论发现故障原因，但需要大量的监控数据才能准确判断出故障位置。
文献6：REN B,LI J S,ZHENG Y K,et al.Research on Fault Location ofProcess-Level Communication Networks in Smart Substation Based on Deep NeuralNetworks[J].IEEE Access,2020,8:109707-109718.提出了一种基于深度神经网络的过程层通信网络故障定位方法，通过对故障状态的冗余监测，总结了不同位置的监测节点故障特征信息，但并未考虑到复杂的通信网络结构。
文献7：孙宇嫣、蔡泽祥、郭采珊、等；基于深度学习的智能变电站通信网络故障诊断与定位方法[J].电网技术,2019,43(12):4306-4314；利用信宿的报文接收状态和交换机的流量状态信息，提出基于深度置信网络的智能变电站通信网络故障定位模型，但所利用的故障特征信息较少。
文献8：任博、郑永康、王永福、等，基于深度学习的智能变电站二次设备故障定位研究[J].电网技术,2021,45(02):713-721；提出基于循环神经网络的智能变电站二次设备故障定位模型，但是未考虑到通信网络延迟和告警信号到达站控层的时间先后顺序，对于顺序错乱的告警信号不能准确识别，并且每个故障情景均使用了电流的模拟量，导致需要收集信息太多。
已有的智能变电站深度学习网络故障定位模型存在一定的问题：(1)同一间隔下不同故障位置对应的告警信号样本数量不同，可能导致各故障位置的告警信号样本严重不均衡，会导致神经网络对小样本训练不足而误判；(2)各间隔下二次设备的通信延迟会带来告警信号到达站控层设备时间顺序的错乱，也会影响故障定位的准确性。
针对上述智能变电站故障定位存在的问题，本发明收集智能变电站各间隔二次设备发生故障时来自相关设备的告警信号，将Transformer网络和门控循环单元(Gatedrecurrent unit，GRU)网络相结合，构造各间隔的故障定位深度学习网络模型，对模型进行训练与测试。通过与其它传统的深度学习故障定位模型的对比，验证了基于Transformer-GRU的故障定位模型的有效性。
发明内容
有鉴于现有技术的至少一个缺陷，本发明的目的是提供一种基于Transformer-GRU的智能变电站二次系统故障定位方法，能够用于变电站二次系统故障进行准确的定位，为运维人员提供辅助决策。
为了达到上述目的，本发明采用如下技术方案：一种基于Transformer-GRU的智能变电站二次系统故障定位方法，包括如下步骤：
步骤A：针对线路间隔、变压器间隔、母线间隔、中心交换机间隔的二次系统中各二次设备的每个故障情景，收集来自相关设备的告警信号，形成告警信号集合及对应故障位置，针对线路间隔下线路合并单元的CT断线故障情景，收集电流采样值，获得判断量，作为辅助变量，加入告警信号集合；
步骤B：针对各间隔的每个故障情景，构造相应的特征矩阵；
步骤C：针对各间隔中二次设备的小样本故障情景，对其进行复制；考虑网络延迟，针对各间隔的每个故障情景，将该故障情景下各时刻的行向量的顺序打乱，得到多个特征矩阵；在其中的一个具体的实施例中，小样本故障情景可以指样本数量少于10的样本集；
步骤D：对各间隔下每个故障情景对应的特征矩阵进行归一化预处理；
步骤E：分别构造各间隔的Transformer-GRU故障定位模型，设计它们的网络结构，设置训练参数和评估指标；
步骤F：分别训练各间隔的Transformer-GRU故障定位模型，优化各模型的参数；
步骤G：将各间隔的测试集送入各自的Transformer-GRU故障定位模型进行测试，完成智能变电站二次系统的故障定位，并统计各模型的测试准确率。
将归一化处理后的特征矩阵作为Transformer-GRU故障定位模型的训练故障样本；又将训练故障样本分为训练集和测试集。
所述步骤A中，故障情景包括：故障情景包括：二次设备自检信息；二次设备SV/GOOSE接收状态；二次设备与交换机的网络端口发送/接收光强状态；保护设备来自采样值的判断量；
故障位置包括保护设备、测控设备、合并单元等二次设备及其发送网口与接收网口、光纤端口、交换机端口；
根据上述故障情景，构造各故障情景下的告警信号集合S：
S＝{SZJ,SSG,SGQ,SFZ} (3)；
式中：SZJ为二次设备自检信息；SSG为二次设备SV/GOOSE接收状态；SGQ为二次设备及交换机端口的发送/接收光强状态；SFZ为保护设备采样值的辅助判断量。
所述步骤A中，针对线路间隔下线路合并单元的CT断线故障情景，获得线路保护A相、B相、C相电流采样值，检查A相、B相、C相电流幅值是否为零，如果是，则设置相应的判断量为1，否则，设置相应的判断量为0，将这些判断量作为模拟信号辅助变量，将它们加入到相应故障情景的告警信号集合中。
所述步骤B中，针对各间隔的每个故障情景，构造相应的特征矩阵包括：
针对每个间隔的所有告警信号集合，先统计该间隔拥有的告警信号和保护设备的采样值判断量的总个数为M，统计该间隔拥有的故障位置总个数为N；再对各告警信号和模拟信号辅助变量从1到M进行编号，对各故障位置从1到N进行编号，每个编号对应一个长度为N的故障位置向量；
在每个间隔下一个二次设备发生故障的一个故障情景中，站控层设备先后分别收到不同时刻相关多个设备发来的告警信号，将同一个设备发来的告警信号看作该时刻的告警信号；将该间隔下各故障情景的故障时刻个数的最大值记为T，将该间隔下各故障情景的各故障时刻的告警信号个数的最大值记为A；
针对每个间隔下每个故障情景下的每个故障时刻，将其拥有的告警信号和模拟信号辅助变量的编号组成1×A行向量；如果该时刻下的告警信号个数小于A，则该行向量中不足元素填充为0；
将每个故障情景下各故障时刻的行向量进行组合，形成该故障情景下的T×A特征矩阵；如果该故障情景的故障时刻的数量小于T，则特征矩阵中不足的行向量中各元素填充为0。
所述步骤D中，对特征矩阵进行归一化预处理包括：
各间隔的特征矩阵的元素为告警信号编号，对告警信号编号进行归一化处理，采用Min-Max归一化方法，将告警信号编号映射到xnew，在区间[0,1]：
Figure BDA0003505543350000061
式中：x为告警信号集合S中告警信号编号；xmin、xmax分别为告警信号编号的最小值和最大值；xnew为告警信号编号映射到区间[0，1]的值。
所述步骤E中，Transformer-GRU故障定位模型的网络结构包括依次连接的输入层、编码网络、GRU网络以及输出层；
其中，输入层包括归一化后的特征矩阵加上位置编码矩阵；编码网络为Transformer网络的Encoders部分，Encoders部分包括NL个编码器子层；GRU网络由依次连接的第一GRU层、第二GRU层、第一全连接Dense层、Dropout层、第二全连接Dense层；
输出层则是一个Softmax分类层，数据通过输出层得到一个故障位置向量。
位置编码矩阵是Transformer网络中的一部分，根据特征矩阵的维度按公式生成。位置编码矩阵加上特征矩阵得到的结果，是整个故障定位模型的输入。
显著效果:本发明提供了一种基于Transformer-GRU的智能变电站二次系统故障定位方法，收集智能变电站各间隔二次设备发生故障时来自相关设备的告警信号，将Transformer网络和门控循环单元(Gated recurrent unit，GRU)网络相结合，构造各间隔的故障定位深度学习网络模型，能够用于变电站二次系统故障进行准确的定位，为运维人员提供高效准确的辅助决策。
附图说明
图1为编码器Encoders中各子层结构图；
图2为GRU的基本结构图；
图3为Transformer-GRU故障定位模型结构图；
图4为线路间隔Transformer-GRU故障定位模型训练准确率曲线图；
图5为线路间隔Transformer-GRU故障定位模型训练损失值曲线图；
图6为Transformer原始模型结构图；
图7为本发明的方法流程图；
图8为基于专家规则的中心交换机间隔故障定位过程示意图；
图9为线路间隔不同故障定位模型训练准确率曲线图；
图10为线路间隔不同故障定位模型训练损失值曲线图。
具体实施方式
如图1-图10所示，本发明针对智能变电站各间隔下二次设备告警报文到达站控层的顺序错乱、同一个间隔下不同二次设备的故障样本数量不均衡可能造成深度学习网络故障定位误判等问题，对于智能变电站线路、母线、主变压器间隔、中心交换机间隔，收集二次设备发生故障时来自相关设备的告警信号，研究将Transformer网络和门控循环单元(Gated recurrent unit，GRU)网络相结合，构造各间隔的故障定位模型，对各神经网络定位模型进行训练与测试。实验结果表明，与传统的深度学习故障定位模型对比，基于Transformer-GRU的故障定位模型能够更准确地对智能变电站二次系统进行故障定位。
下面结合附图1-图10和具体实施例对本发明作进一步详细说明。
1、智能变电站二次系统的特征量：
智能变电站各间隔的二次设备发生故障时会产生大量告警信号，各故障情景下具有相应的故障特征。本文参考实际智能变电站中已发生的故障案例，收集和形成了智能变电站二次系统故障定位所需的故障特征信息，主要包括：(1)二次设备自检信息；(2)二次设备SV/GOOSE接收状态；(3)二次设备及交换机端口的发送/接收光强状态；(4)保护设备来自采样值的判断量。
针对智能变电站线路间隔、母线间隔、主变压器间隔、中心交换机间隔下二次设备的每个故障情景，收集来自相关设备的告警信号，形成告警信号集合及对应的故障位置，故障位置包括保护设备、测控设备、合并单元等二次设备及其发送网口与接收网口、光纤端口、交换机端口等。
根据上述故障特征信息，构造各故障情景下的告警信号集合S：
S＝{SZJ,SSG,SGQ,SFZ} (5)；
式中：SZJ为二次设备自检信息；SSG为二次设备SV/GOOSE接收状态；SGQ为二次设备及交换机端口发送/接收光强状态；SFZ为保护设备采样值的辅助判断量。
针对不同间隔下少部分的故障情景，获得保护设备A相、B相、C相电流采样值，检查A相、B相、C相电流幅值是否为零，如果是，则设置相应的判断量为1，否则，设置相应的判断量为0，将这些判断量SFZ作为模拟信号辅助变量，将它们加入到相应故障情景的告警信号集合S中。
针对每个间隔的所有告警信号集合，先统计该间隔拥有的告警信号和保护设备的采样值判断量的总个数为M，统计该间隔拥有的故障位置总个数为N。再对各告警信号和模拟信号辅助变量从1到M进行编号，对各故障位置从1到N进行编号，每个编号对应一个长度为N的故障位置向量。以编号j为例，该编号对应的故障位置向量中，倒数第j个元素为1，其余元素全为0。
在每个间隔下一个二次设备发生故障的一个故障情景中，站控层设备先后分别收到不同时刻相关多个设备发来的告警信号，将同一个设备发来的告警信号看作该时刻的告警信号。将该间隔下各故障情景的故障时刻个数的最大值记为T，将该间隔下各故障情景的各故障时刻的告警信号个数的最大值记为A。
针对每个间隔下每个故障情景下的每个故障时刻，将其拥有的告警信号和模拟信号辅助变量的编号组成1×A行向量。如果该时刻下的告警信号个数小于A，则该行向量中不足元素填充为0。
将每个故障情景下各故障时刻的行向量进行组合，形成该故障情景下的T×A特征矩阵。如果该故障情景的故障时刻的数量小于T，则特征矩阵中不足的行向量中各元素填充为0。
2 Transformer与GRU网络：
2.1 Transformer网络
Transformer网络最初由谷歌大脑团队的Ashish Vaswani等人于2017年提出，最初被用于自然语言处理的机器翻译领域，其原始模型结构见附图6。该神经网络模型经过改进之后，能够应用到文本分类任务。
Transformer网络主要由编码器(Encoders)和解码器(Decoders)两个部分组成，Encoders由多个相同的编码器子层(Encoder Sublayer，ES)构成，Decoders由多个相同的解码器子层构成。Encoders和Decoders包含的子层个数相同。
Encoders的核心组件是自注意力层(Self Attention，SA)，注意输入序列中当前元素与其它位置元素的相似度，学习到长句子的长距离依赖特征。每个编码器子层均包含两个重要部分，一个是多头自注意力层(Multi Head Self Attention，MHSA)，另一个是前向神经网络(Feed Forward Neural Network，FFNN)。编码器子层还采用了残差网络，能够有效解决梯度消失问题，对深层模型具有较强的适应能力。通过单个子模块前数据与子模块后数据相加，对得到的数据进行层标准化(Layer Normalization，LN)。与传统的批标准化(Batch Normalization，BN)不同，LN能够有效提升神经网络的训练速度。编码器Encoders中各子层的结构如图1所示。
假设Encoders包含的编码器子层个数为NL，前一个编码器子层的输出是后一个编码器子层的输入，依次连接，共同构成Encoders。
由图1可见，Transformer不含任何循环和卷积，对输入矩阵采用并行处理方式。输入矩阵X可看作n个行向量组成，经过单个自注意力层运算后，产生n个行向量组成的输出矩阵Y。这种并行处理方式加快了数据运算速度，但是忽略了输入矩阵中元素之间的位置关系，所以需要位置编码，得到位置编码矩阵P。
P的构成元素按照以下公式计算：
Figure BDA0003505543350000101
Figure BDA0003505543350000102
式中：p为输入矩阵中元素所在的位置；i为维度序号；dmodel为输入特征的数目。当i为偶数时，通过式(2)计算该位置的编码；当i为奇数时，通过式(3)计算该位置的编码。P的维度为n×dmodel。
对于Transformer中的单个自注意力层，其输入分别由维度为dk的查询向量q、维度为dk的键向量k、维度为dv的值向量v组成。这三个向量均是Transformer网络随机初始化产生，可以经过训练并被优化。
对于每一个输入矩阵中的行向量，均对应一个q、k、v，该子序列的q会与其它所有k点乘。为保持梯度的稳定，需要将点乘结果除以
Figure BDA0003505543350000103
通过softmax函数获得每个v对应的权重向量w，将w与v点乘，获得该输入行向量对应的输出向量。
实际运算中上述过程均是以矩阵形式运算。对于输入矩阵X，自注意力层作用后的输出矩阵Y为：
Figure BDA0003505543350000111
式中：Q为查询矩阵；K为键矩阵；V为值矩阵。
输入矩阵X的维度为n×dmodel，输出矩阵Y的维度为n×dv。
MHSA的核心是将多头机制增加到自注意力机制上，这能够让输入向量可被映射到不同的子空间中，以得到更多的输入特征，使模型更易被训练。在Transformer中，每个头就是一个自注意力层。假设MHSA包含NH个自注意力层，输入矩阵通过MHSA得到的矩阵Z为：
Figure BDA0003505543350000112
式中：WO为(NH×dv)×dmodel的矩阵，由Transformer网络随机初始化产生。Z的维度为n×dmodel。矩阵X加上矩阵Z得到的结果需要层标准化，得到n×dmodel的矩阵L1，L1的每一个行向量会通过一个前向神经网络。
前向神经网络由两个全连接Dense层组成，第一个全连接Dense层的神经元个数为dFF，激活函数采用ReLU函数；第二个全连接Dense层的神经元个数为dmodel，不需要激活函数。
前向神经网络的输出结果加上L1需要层标准化，得到n×dmodel的矩阵L2。L2为单个编码器子层的输出结果，该编码器子层的输出会作为后一个编码器子层的输入，依次连接并进行运算，最终得到一个n×dmodel的矩阵E，E就是整个Encoders的输出结果。
2.2 GRU网络
循环神经网络很适合完成文本分类任务，但存在梯度消失和梯度爆炸的问题，且只能处理有限长度的信息。长短时记忆(Long short-term memory，LSTM)网络在循环神经网络(Recurrent Neural Network，RNN)的基础上引入了门控机制，包括遗忘门、输入门、输出门，能够解决循环神经网络存在的问题。但LSTM训练的参数更多，消耗的时间更长。
为了减少训练参数，学者们基于LSTM最重要的遗忘门机制，对LSTM结构进行了简化，提出了GRU网络。该网络不但与LSTM具有同等精度，而且有效地加快了训练速度。
GRU把LSTM中的内部状态向量和输出向量合并，统一为状态向量ht，门控数量也减少到2个，分别为重置门和更新门。GRU的基本结构如图2所示。
由图2可见，GRU网络的前向传播公式如下：
rt＝σ(Wr[ht-1,xt]) (10)；
ut＝σ(Wu[ht-1,xt]) (11)；
Figure BDA0003505543350000121
Figure BDA0003505543350000122
式中：rt、ut分别为重置门和更新门的门控值；Wr、Wr、Wr分别为权重矩阵；σ为sigmoid激活函数；ht-1、ht分别为上一时刻和当前时刻的隐藏单元状态；xt为当前时刻的输入；
Figure BDA0003505543350000123
为当前时刻隐藏单元的中间状态；*为乘法运算符；tanh为双曲正切激活函数。
3基于Transformer与GRU的二次系统故障定位模型：
3.1特征矩阵的预处理和训练策略
各间隔的特征矩阵的元素为告警信号编号，对告警信号编号进行归一化处理，有助于增加神经网络分类的准确性。考虑本文特征矩阵元素不需要遵循正态分布规律，故采用常见的Min-Max归一化方法，将告警信号编号映射到xnew，在区间[0,1]：
Figure BDA0003505543350000124
式中：x为告警信号集合S中告警信号的编号；xmin、xmax分别为告警信号编号的最小值和最大值。xnew为告警信号编号映射到区间[0,1]的值。
特征矩阵送入模型训练时有两个训练策略。训练策略一是为消除同一间隔下不同故障位置的告警信号样本数量严重不均衡问题，对各间隔中报警信号数量少的样本进行复制，扩充它们的数量，使神经网络增强对小样本的训练，减小因小样本训练不足造成的误判，能够提高神经网络分类的准确率。
训练策略二是考虑到各二次设备在上传告警信号到站控层设备时存在网络延时，可能会出现有些告警信号滞后现象，即应该先到达的告警信号后到达造成顺序错乱情况。将各间隔的每个故障情景下各时刻的行向量的顺序打乱，可得到多个T×A的特征矩阵，使它们都指向对应的故障位置，充分考虑了告警信号顺序错乱的问题，并加以充分训练。
3.2基于Transformer-GRU的二次系统故障定位模型
为了获得特征矩阵更多的空间位置信息和时间信息，保持模型训练过程中梯度的稳定。针对线路间隔、母线间隔、主变压器间隔、中心交换机间隔，分别建立了相应的Transformer-GRU故障定位模型，其具体结构如图3所示。
Transformer在处理文本语句分类任务时，为获得句子的语义信息，将一个完整句子划分为各个词，通过嵌入层将每个词用多维向量表示，多个词的向量构成一个矩阵表征一个完整的句子，加上位置编码，相加结果作为Transformer网络的输入。本文考虑告警信号编号不存在语义信息，去掉了嵌入层，直接将特征矩阵加上位置编码矩阵，相加得到的矩阵作为Transformer网络的输入。
考虑Decoders是生成式模型，用于自然语言生成，而智能变电站二次系统故障定位属于文本分类任务，本文所提出的Transformer网络仅包括Encoders部分，不含Decoders。由图3可见，整个Transformer网络由NL个编码器子层组成，能够获得输入层更多的空间位置信息和时间信息。GRU网络由两层依次连接的GRU层、全连接Dense层和Dropout层组成，这种网络结构既能获得更多的输入特征便于分类训练，也能抑制过拟合情况。输出层则是一个Softmax分类层，数据通过输出层会得到一个故障位置向量。
3.3基于Transformer与GRU的二次系统故障定位流程：
各间隔Transformer-GRU的二次系统故障定位流程图见图7。具体流程如下：步骤A：针对线路间隔、变压器间隔、母线间隔、中心交换机间隔的二次系统中各二次设备的每个故障情景，收集来自相关设备的告警信号，形成告警信号集合及对应故障位置，针对线路间隔下线路合并单元的CT断线故障情景，收集电流采样值，获得判断量，作为辅助变量，加入告警信号集合；
步骤B：针对各间隔的每个故障情景，构造相应的特征矩阵；
步骤C：针对各间隔中二次设备的小样本故障情景，对其进行复制；考虑网络延迟，针对各间隔的每个故障情景，将该故障情景下各时刻的行向量的顺序打乱，得到多个特征矩阵；
步骤D：对各间隔下每个故障情景对应的特征矩阵进行归一化预处理；
步骤E：分别构造各间隔的Transformer-GRU故障定位模型，设计它们的网络结构，设置训练参数和评估指标；步骤F：分别训练各间隔的Transformer-GRU故障定位模型，优化各模型的参数；
步骤G：将各间隔的测试集送入各自的Transformer-GRU故障定位模型进行测试，完成智能变电站二次系统的故障定位，并统计各模型的测试准确率。
4算例分析：
采用Tensorflow 2.5.0构建了线路间隔、母线间隔、主变压器间隔、中心交换机间隔的Transformer-GRU故障定位模型。模型训练所用CPU为AMD Ryzen 7 5800H，GPU为NVIDIA GeForce RTX 3060 Laptop GPU。
4.1算例
以线路间隔的Transformer-GRU故障定位模型为例，对各告警信号和辅助变量进行从1到81的编号，作为特征矩阵的元素。故障位置包括二次设备、其发送网口与接收网口、光纤、交换机端口等。对故障位置进行从1到11的编号，每个编号对应一个长度为11的故障位置向量。
故障位置及其对应的编号如表1所示。
表1线路间隔的故障位置及其编号；
Figure BDA0003505543350000151
将总故障样本划分为原始训练集和测试集，并对原始训练集中的小样本进行适量复制，使得训练集中各故障位置对应的样本数量均衡，复制后的训练集作为该间隔的Transformer-GRU故障定位模型真正训练集。
线路间隔的训练集包含256个样本，测试集包含74个样本。
母线间隔的告警信号和辅助变量共有47个，故障位置有6个，训练集包含186个样本，测试集包含45个样本。主变压器间隔的告警信号和辅助变量共有27个，故障位置有8个，训练集包含142个样本，测试集包含20个样本。
中心交换机间隔的告警信号和辅助变量共有13个，故障位置有9个，训练集包含158个样本，测试集包含25个样本。
4.2模型超参数优化及定位结果
4.2.1 Transformer-GRU模型中各参数设置
在不同间隔下的Transformer-GRU故障定位模型的参数优化过程中，需要设置Transformer网络与GRU网络的基本参数、确定神经网络层数及各层包含的神经元个数、激活函数、批次大小，调整学习率、考虑评估指标，设置损失函数类别和选择梯度下降算法等。以线路间隔的Transformer-GRU故障定位模型为例，该模型的具体参数如表2所示。
表2线路间隔的Transformer-GRU故障定位模型参数
Figure BDA0003505543350000161
Figure BDA0003505543350000171
其余三类间隔的基本参数见表3-表5。
表3母线间隔的Transformer-GRU故障定位模型参数；
Figure BDA0003505543350000172
表4主变压器间隔的Transformer-GRU故障定位模型参数；
Figure BDA0003505543350000173
Figure BDA0003505543350000181
表5中心交换机间隔的Transformer-GRU故障定位模型参数；
Figure BDA0003505543350000182
Figure BDA0003505543350000191
4.2.2模型训练与测试结果：
针对各间隔的Transformer-GRU故障定位模型，将训练集送入相应的模型进行训练，参数优化结束之后，将测试集送入所属间隔下的模型进行测试，得到各间隔的训练结果与测试结果。
以线路间隔为例，其Transformer-GRU故障定位模型的训练总次数为700，训练准确率和损失值随迭代次数的变化曲线如图4、图5所示。
图4为线路间隔Transformer-GRU故障定位模型训练准确率曲线图；
图5为线路间隔Transformer-GRU故障定位模型训练损失值曲线图；
由图4、图5所示，线路间隔的Transformer-GRU故障定位模型的训练损失值随迭代次数迅速下降，并逐渐收敛，训练准确率随迭代次数迅速上升，并逐渐收敛。在迭代650次之后，训练损失值下降到0.1591，接近于0且下降幅度很小，训练准确率达到了95.31％，且基本不再增加，说明了该模型已充分被训练。
将各间隔的测试数据送入各自的Transformer-GRU故障定位模型进行测试，各间隔下模型的测试准确率如表6所示。
表6不同间隔的Transformer-GRU故障定位模型测试准确率
Figure BDA0003505543350000192
Figure BDA0003505543350000201
由表6可见，各间隔的Transformer-GRU故障定位模型的测试准确率较高，说明了各模型的泛化能力强，能够解决告警报文到达站控层设备的顺序错乱、同间隔下不同二次设备的故障样本数量不均衡造成误判等问题。
中心交换机间隔出现故障情景时，根据传统的专家规则寻找故障位置的过程较为繁琐，其具体过程可见图8。而采用本文提出的中心交换机间隔的Transformer-GRU故障定位模型，能够高效准确地发现故障位置。
4.3不同模型结果对比
为了验证本文提出的各间隔的Transformer-GRU故障定位模型的优势，将各间隔的Transformer-GRU故障定位模型与RNN，LSTM、GRU、Transformer4种深度学习网络的故障定位模型进行对比实验。
以线路间隔为例，针对不同模型，保持学习率、隐藏层层数、梯度下降算法、批次大小和损失函数类别等主要参数一致，优化其模型参数，迭代700次，得到训练结果。5种故障定位神经网络模型的训练准确率与测试损失值随迭代次数的变化曲线见图9、图10。
由图9、图10可见，在迭代650次后，各模型均已收敛。线路间隔不同故障定位模型的训练准确率与测试准确率如表7所示。
表7线路间隔不同故障定位模型的训练准确率与测试准确率
Figure BDA0003505543350000202
Figure BDA0003505543350000211
由表7和图9、图10可见，相比于RNN与LSTM，基于GRU的故障定位模型收敛速度更快，训练准确率更高，验证了GRU网络能够有效减少训练时间和保持高精度。基于Transformer的故障定位模型和基于GRU故障定位模型的训练准确率相差不大，均能快速收敛到较高准确率。本文提出的基于Transformer-GRU的故障定位模型训练准确率最高，说明了Transformer和GRU的结合能够获得特征矩阵更多的特征信息，使特征矩阵更容易被分类训练。本文的Transformer-GRU故障定位模型的测试准确率最高，说明了该模型的泛化能力更强，能够更好解决告警报文到达站控层设备的顺序错乱、同间隔下不同二次设备的故障样本数量不均衡造成误判等问题。
针对智能变电站线路间隔、母线间隔、主变压器间隔、中心交换机间隔，本文收集智能变电站各间隔二次设备故障时的告警信号，建立了各间隔Transformer和GRU相结合的故障定位模型，能够得到以下结论：
1)针对不同间隔，本发明均建立了Transformer-GRU故障定位模型，故障定位范围广，能够完成智能变电站二次系统中主要设备的故障定位。
2)各间隔的Transformer-GRU故障定位模型定位准确率高，能够解决告警报文到达站控层设备的顺序错乱、同间隔下不同二次设备的故障样本数量不均衡造成误判等问题。
3)相比于各间隔单独的基于Transformer、GRU、LSTM、RNN的故障定位模型，基于Transformer-GRU故障定位模型定位准确率最高，模型泛化能力更好。
4)针对不同间隔，本文仅针对少数故障情景需要保护设备A相、B相、C相电流采样值，其余故障情景无需采样值也能够准确定位，减少信息收集量。
图6为Transformer原始模型结构图；
图7为本发明的方法流程图，也就是智能变电站二次系统故障定位流程。
图8为基于专家规则的中心交换机间隔故障定位过程示意图；在该间隔中，假设中心交换机上的“220kV故障录波装置A”收不到“220kV线路2合并单元A”的SV报文，则故障位置存在12种可能：
①中心交换机内部；
②中心交换机光口3M；
③中心交换机与线路2间隔交换机之间的光纤回路；
④线路2间隔交换机内部；
⑤线路2间隔交换机光口1M；
⑥线路2间隔交换机光口6M(假定6M接入合并单元SV组网口)；
⑦220kV线路2合并单元输出插件；
⑧220kV线路2合并单元SV输出插件SV组网光口；
⑨线路2间隔交换机光口6M与220kV线路2合并单元SV输出插件SV组网光口之间的光纤回路；
⑩故障录波SV采集插件；
Figure BDA0003505543350000221
中心交换机光口9M；
Figure BDA0003505543350000222
故障录波与中心交换机光口9M之间的光纤回路；
因为复故障在同一时刻发生的概率很低，所以在不考虑复故障的假设条件下，故障定位规则如下：
1)若线路保护与母线保护均收不到该支路直采SV，则判断为⑦故障；反之，则⑦无故障。
2)若线路保护与母线保护均能正常收到该支路直采SV。此时，220kV线路2测控装置也能正常收到“220kV线路2合并单元A”的SV组网报文，则④⑥⑦⑧⑨无故障；反之，若⑧处光口发送光强状态监测异常，则⑧故障；若⑧处光口光强状态监测正常，且⑥处发送光强正常、接收光强异常，则⑨故障；若⑥处发送光强、接收光强均异常，则⑥故障。
3)若④⑥⑦⑧⑨均无故障，交换机端口通常为全双工通讯，当⑤处发送、接收光强均正常，且②处发送光强正常、接收光强异常(通常情况下，光模块损坏时，收发均同时失效，若发或收其一正常，则可判断为光模块正常)，则③故障；若⑤处发送光强异常，则⑤故障；若②处发送、接收光强均异常，则②故障。
4)若中心交换机上的"网络报文记录装置1"正常收到“220kV线路2合并单元A”的SV报文，则可一次性排除①②③④⑤⑥⑦⑧⑨故障。此时，若
Figure BDA0003505543350000231
发送光强异常，则
Figure BDA0003505543350000232
故障；若
Figure BDA0003505543350000233
发送光强正常，则⑩或
Figure BDA0003505543350000234
故障。
5)当交换机“装置故障”硬接点信号发出时，相对应的①或④故障。
图9和图10为线路间隔不同故障定位模型的训练结果；其中图9为线路间隔不同故障定位模型训练准确率曲线图；图10为线路间隔不同故障定位模型训练损失值曲线图。其中，图9中迭代次数700次后，最上面的一根曲线为本发明的故障定位模型训练准确率曲线；图10中迭代次数700次后，最下面的一根曲线为本发明的故障定位模型训练损失值曲线。
最后，需要注意的是：以上列举的仅是本发明的具体实施例子，当然本领域的技术人员可以对本发明进行改动和变型，倘若这些修改和变型属于本发明权利要求及其等同技术的范围之内，均应认为是本发明的保护范围。

Claims (8)

1.一种基于Transformer-GRU的智能变电站二次系统故障定位方法，其特征在于，包括如下步骤：
步骤A：针对线路间隔、变压器间隔、母线间隔、中心交换机间隔的二次系统中各二次设备的每个故障情景，收集来自相关设备的告警信号，形成告警信号集合及对应故障位置，针对线路间隔下线路合并单元的CT断线故障情景，收集电流采样值，获得判断量，作为辅助变量，加入告警信号集合；
步骤B：针对各间隔的每个故障情景，构造相应的特征矩阵；
步骤C：针对各间隔中二次设备的小样本故障情景，对其进行复制；考虑网络延迟，针对各间隔的每个故障情景，将该故障情景下各时刻的行向量的顺序打乱，得到多个特征矩阵；
步骤D：对各间隔下每个故障情景对应的特征矩阵进行归一化预处理；
步骤E：分别构造各间隔的Transformer-GRU故障定位模型，设计它们的网络结构，设置训练参数和评估指标；
步骤F：分别训练各间隔的Transformer-GRU故障定位模型，优化各模型的参数；
步骤G：将各间隔的测试集送入各自的Transformer-GRU故障定位模型进行测试，完成智能变电站二次系统的故障定位，并统计各模型的测试准确率。
2.根据权利要求1所述的基于Transformer-GRU的智能变电站二次系统故障定位方法，其特征在于：所述步骤A中，故障情景包括：二次设备自检信息；二次设备SV/GOOSE接收状态；二次设备与交换机的网络端口发送/接收光强状态；保护设备来自采样值的判断量；
故障位置包括二次系统中的保护设备、测控设备、合并单元以及它们的发送网口与接收网口、光纤端口、交换机端口；
根据上述故障情景，构造各故障情景下的告警信号集合S：
S＝{SZJ,SSG,SGQ,SFZ} (1)；
式中：SZJ为二次设备自检信息；SSG为二次设备SV/GOOSE接收状态；SGQ为二次设备及交换机端口的发送/接收光强状态；SFZ为保护设备采样值的辅助判断量。
3.根据权利要求1所述的基于Transformer-GRU的智能变电站二次系统故障定位方法，其特征在于：所述步骤A中，针对线路间隔下线路合并单元的CT断线故障情景，获得线路保护A相、B相、C相电流采样值，检查A相、B相、C相电流幅值是否为零，如果是，则设置相应的判断量为1，否则，设置相应的判断量为0，将这些判断量作为模拟信号辅助变量，将它们加入到相应故障情景的告警信号集合中。
4.根据权利要求1所述的基于Transformer-GRU的智能变电站二次系统故障定位方法，其特征在于：所述步骤B中，针对各间隔的每个故障情景，构造相应的特征矩阵，包括：
针对每个间隔的所有告警信号集合，先统计该间隔拥有的告警信号和保护设备的采样值判断量的总个数为M，统计该间隔拥有的故障位置总个数为N；再对各告警信号和模拟信号辅助变量从1到M进行编号，对各故障位置从1到N进行编号，每个编号对应一个长度为N的故障位置向量；
在每个间隔下一个二次设备发生故障的一个故障情景中，站控层设备先后分别收到不同时刻相关多个设备发来的告警信号，将同一个设备发来的告警信号看作该时刻的告警信号；将该间隔下各故障情景的故障时刻个数的最大值记为T，将该间隔下各故障情景的各故障时刻的告警信号个数的最大值记为A；
针对每个间隔下每个故障情景下的每个故障时刻，将其拥有的告警信号和模拟信号辅助变量的编号组成1×A行向量；如果该时刻下的告警信号个数小于A，则该行向量中不足元素填充为0；
将每个故障情景下各故障时刻的行向量进行组合，形成该故障情景下的T×A特征矩阵；如果该故障情景的故障时刻的数量小于T，则特征矩阵中不足的行向量中各元素填充为0。
5.根据权利要求1所述的基于Transformer-GRU的智能变电站二次系统故障定位方法，其特征在于：所述步骤D中，对特征矩阵进行归一化预处理包括：
各间隔的特征矩阵的元素为告警信号编号，对告警信号编号进行归一化处理，采用Min-Max归一化方法，将告警信号编号映射到xnew，在区间[0,1]：
Figure FDA0003505543340000031
式中：x为告警信号集合S中告警信号编号；xmin、xmax分别为告警信号编号的最小值和最大值；xnew为告警信号编号映射到区间[0，1]的值。
6.根据权利要求1所述的基于Transformer-GRU的智能变电站二次系统故障定位方法，其特征在于：所述步骤E中，Transformer-GRU故障定位模型的网络结构包括依次连接的输入层、编码网络、GRU网络以及输出层；
其中，输入层包括归一化后的特征矩阵加上位置编码矩阵；编码网络为Transformer网络的Encoders部分，Encoders部分包括NL个编码器子层；GRU网络由依次连接的第一GRU层、第二GRU层、第一全连接Dense层、Dropout层、第二全连接Dense层；
输出层则是一个Softmax分类层，数据通过输出层得到一个故障位置向量。
7.根据权利要求1所述的基于Transformer-GRU的智能变电站二次系统故障定位方法，其特征在于：所述步骤F中，在各间隔下的Transformer-GRU故障定位模型的参数优化过程中，设置Transformer-GRU故障定位模型的基本参数、确定神经网络层数及各层包含的神经元个数、激活函数、批次大小，调整学习率、考虑评估指标，设置损失函数类别和选择梯度下降算法。
8.根据权利要求1所述的基于Transformer-GRU的智能变电站二次系统故障定位方法，其特征在于：所述步骤F中，将总故障样本划分为原始训练集和测试集，并对原始训练集中的小样本进行适量复制，使得训练集中各故障位置对应的样本数量均衡，复制后的训练集作为该间隔的Transformer-GRU故障定位模型的真正训练集；训练各间隔的Transformer-GRU故障定位模型，优化各模型的参数。
CN202210137553.6A 2022-02-15 2022-02-15 基于Transformer-GRU的智能变电站二次系统故障定位方法 Pending CN114492662A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210137553.6A CN114492662A (zh) 2022-02-15 2022-02-15 基于Transformer-GRU的智能变电站二次系统故障定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210137553.6A CN114492662A (zh) 2022-02-15 2022-02-15 基于Transformer-GRU的智能变电站二次系统故障定位方法

Publications (1)

Publication Number Publication Date
CN114492662A true CN114492662A (zh) 2022-05-13

Family

ID=81481330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210137553.6A Pending CN114492662A (zh) 2022-02-15 2022-02-15 基于Transformer-GRU的智能变电站二次系统故障定位方法

Country Status (1)

Country Link
CN (1) CN114492662A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116010896A (zh) * 2023-02-03 2023-04-25 南京南瑞继保电气有限公司 基于对抗训练与Transformer的风力发电机故障诊断方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116010896A (zh) * 2023-02-03 2023-04-25 南京南瑞继保电气有限公司 基于对抗训练与Transformer的风力发电机故障诊断方法

Similar Documents

Publication Publication Date Title
WO2015158198A1 (zh) 一种基于神经网络自学习的故障识别方法及系统
Chan Application of neural-network computing in intelligent alarm processing (power systems)
CN110879377B (zh) 基于深度信念网络的计量装置故障溯源方法
CN109298258A (zh) 结合rvm和dbn的变压器故障诊断方法及系统
CN110542819A (zh) 一种基于半监督dbnc的变压器故障类型诊断方法
CN110689069A (zh) 一种基于半监督bp网络的变压器故障类型诊断方法
CN110879373B (zh) 一种神经网络和决策融合的油浸式变压器故障诊断方法
CN113011248B (zh) 一种基于lstm的核动力装置故障诊断方法
CN116205265A (zh) 一种基于深层神经网络的电网故障诊断方法及装置
CN114661905A (zh) 一种基于bert的电网故障诊断方法
Wang et al. A remaining useful life prediction model based on hybrid long-short sequences for engines
CN117034143B (zh) 一种基于机器学习的分布式系统故障诊断方法及装置
CN117688336A (zh) 一种基于设备故障风险的电力调度故障集智能生成方法
CN114492662A (zh) 基于Transformer-GRU的智能变电站二次系统故障定位方法
CN118330386A (zh) 拓扑变化自适应的新型配电系统高阻接地故障定位方法
CN112380763A (zh) 一种基于数据挖掘的堆内构件可靠性分析系统及方法
CN112036496A (zh) 一种核动力装置故障诊断方法及系统
Zhang et al. Safety prediction of rail transit system based on deep learning
Cheng et al. Intelligent quantitative safety monitoring approach for ATP using LSSVM and probabilistic model checking considering imperfect fault coverage
Du et al. Fault diagnosis method of automation equipment in independent and controllable substation based on deep reinforcement learning
CN117805550B (zh) 一种基于aisnps的虚假数据注入电网故障诊断方法
Shuo-jie et al. Relationship Extraction of Bushing Failure from Chinese Corpus Based on BERT-FC Model
Kasinathan Power system fault detection and classification by wavelet transforms and adaptive resonance theory neural networks
Wang et al. Complex equipment diagnostic reasoning based on neural network algorithm
CN118468197B (zh) 一种多通道特征融合车联网异常检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination