CN114661905A - 一种基于bert的电网故障诊断方法 - Google Patents
一种基于bert的电网故障诊断方法 Download PDFInfo
- Publication number
- CN114661905A CN114661905A CN202210248594.2A CN202210248594A CN114661905A CN 114661905 A CN114661905 A CN 114661905A CN 202210248594 A CN202210248594 A CN 202210248594A CN 114661905 A CN114661905 A CN 114661905A
- Authority
- CN
- China
- Prior art keywords
- power grid
- model
- alarm information
- fault diagnosis
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000013598 vector Substances 0.000 claims abstract description 36
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 239000013604 expression vector Substances 0.000 claims description 2
- 230000000873 masking effect Effects 0.000 claims description 2
- 238000003058 natural language processing Methods 0.000 abstract description 7
- 238000012360 testing method Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- YCKRFDGAMUMZLT-UHFFFAOYSA-N Fluorine atom Chemical compound [F] YCKRFDGAMUMZLT-UHFFFAOYSA-N 0.000 description 2
- 229910052731 fluorine Inorganic materials 0.000 description 2
- 239000011737 fluorine Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/08—Locating faults in cables, transmission lines, or networks
- G01R31/081—Locating faults in cables, transmission lines, or networks according to type of conductors
- G01R31/086—Locating faults in cables, transmission lines, or networks according to type of conductors in power transmission or distribution networks, i.e. with interconnected conductors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/08—Locating faults in cables, transmission lines, or networks
- G01R31/088—Aspects of digital computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明提供一种基于BERT(Bidirectional Encoder Representationsfrom Transformers)的电网故障诊断方法。所述方法将电网故障诊断转化为一个自然语言处理问题，其中包括：采集告警信息样本，对样本进行切词预处理；对告警信息文本嵌入语义特征、句特征以及位置特征，将三大特征相加构成模型输入向量；构建基于BERT的电网故障诊断模型，利用Transformer编码器中的注意力机制，自主学习告警信息文本中的故障特征，利用解码器输出故障诊断结果。此方法通过输入的告警信息文本直接输出有关故障特征的概要性描述文本，实现了端到端的电网故障诊断。
Description
技术领域
本发明属于电网故障诊断领域，具体为一种基于BERT的电网故障诊断方法，适用于故障信息源为电网故障告警信息的故障诊断方法。
背景技术
随着电力信息化的快速建设以及电网智能化的全面推进，海量文本、音频和图像等数据分布于基建、运行、调控、检修等多个电网资产管理环节。电网监控告警信息作为数据采集与监视控制SCADA(Supervisory Control And Data Acquisition)系统产生的中文文本信息，是调控人员监视电网运行状态的重要方式。
智能化电网故障诊断是电网智能调度的典型应用之一，对于提高电网调度决策智能化水平、保证电网运行可靠性具有重要的意义。但是面对既包含保护动作、断路器跳闸等开关量信息，又包含装置异常、电压越限、控制回路断线、储能到位等非故障关键信息的海量告警信息，传统的人工处理电网告警信息的方法已经日趋无法满足当前电网的发展现状。如何快速、准确、智能地对电网故障进行诊断成为电网故障诊断研究的难点。
以自然语言处理NLP(Natural Language Processing)和深度学习技术为代表的新一代人工智能技术的崛起，为面向告警信息，实现智能化的电网诊断带来了新的解决思路和方法。
发明内容
为了解决上述问题，本发明提供一种基于BERT的电网故障诊断方法。此方法首先通过仿真软件批量生成告警信息样本，并混入某地区电网实测故障样本，以提高样本复杂度。以8:2的比例将样本划分为训练集和测试集。再对样本进行数据预处理，即切词。然后对切词结果进行语义嵌入、句嵌入和位置嵌入，以获得模型的输入文本向量。最后将训练集输入BERT模型以训练电网故障诊断模型，输出有关故障特征的概要性描述文本，用测试集测试模型的适用性。
一种基于BERT的电网故障诊断方法，所述方法包括：
S1、采集电网故障时的告警信息文本；
S2、对告警信息文本进行切词处理；
S3、对告警信息文本嵌入语义特征、句特征以及位置特征，将三大特征相加构成模型输入向量；
S4、构建基于BERT的电网故障诊断模型；
S5、将所述输入向量输入电网故障诊断模型，对电网故障进行诊断，并输出诊断结果。
优选地，所述基于BERT的电网故障诊断方法的输入为电网的告警信息文本，输出为有关故障特征的概要性描述文本，摆脱了对人工设计诊断逻辑的依赖，即实现了端到端的电网故障诊断。
优选地，所述步骤S1包括：
电网发生故障后，与故障设备相关的保护和开关动作信息将实时上传至SCADA系统。与此同时，SCADA系统还将接收一些诸如装置故障、开关机构弹簧未储能等方面的告警信息，这些信息按照时间先后顺序进行记录，生成故障时的告警信息集合。采集所述告警信息集合构建电网故障诊断模型的数据样本集。以8:2的比例将样本划分为训练集和测试集。
优选地，所述步骤S2包括：
基于jieba切词技术，并补充电力领域相关的命名实体，如厂站名、线路名、变电站名等词汇，构建电网故障诊断词典，由此对告警信息文本进行切词处理。
优选地，所述步骤S3包括：
采用Word2vec模型，将切词结果利用词的上下文信息，生成表示词语间关联关系的低维词向量，即语义特征向量；将告警信息文本的奇数句文本和偶数句文本分别嵌入EA和EB以学习相邻告警信息语句的逻辑关系；对切词结果进行位置编码，以确定每个词语的位置信息，学习各词语的时序特征和词语间的相关性。
优选地，所述步骤S3包括：
对于输入的告警信息样本，经过特征嵌入，将三种嵌入向量加和，即语义嵌入向量、句嵌入向量和位置嵌入向量相加输入BERT模型。
优选地，所述步骤S4包括：
BERT模型的语义提取层是一个以Transformer编码器为基本单元的多层双向解码器，主要包括注意力机制、层标准化和残差连接以及前馈神经网络三个部分。
优选地，所述步骤S4包括：
所述注意力机制由词嵌入矩阵乘以三个矩阵WQ、WK、WV得到Query、Key、Value三个矩阵，记为Q、K、V，其维度分别为N×dk，N×dk，N×dv，Q和K的维度相同；Q、K、V的计算公式：
Q＝Linear(X)＝XWQ
K＝Linear(X)＝XWK
V＝Linear(X)＝XWV
式中：Linear是线性映射；X是词嵌入矩阵；WQ、WK、WV是权重矩阵；
注意力机制的输出为：
式中：
是将注意力机制转换为标准正态分布，dk为惩罚因子避免QKT过大；Softmax()是归一化，指对文本中每个单词与其他单词的注意力权重求和。
层标准化是通过归一化神经网络中的隐藏层来加速标准正态分布的模型训练，从而加速模型收敛，其计算公式为：
式中：xij为词嵌入矩阵中的每一个向量，μi是所述矩阵行的平均值；σi 2是所述矩阵行的方差；m为矩阵行数；⊙是矩阵中元素的乘法；α和β是模型训练参数；ε用于防止分母为0；
前馈神经网络由2层线性映射形成，由ReLU激活函数激活，最后将经过归一化的数据输入前馈神经网络，其计算公式为
Xhidden＝ReLU(Linear(X))
优选地，所述步骤S4包括：
BERT模型的无监督预训练包括2个训练任务，即遮蔽语言模型(Masked LanguageModel，MLM)和下句预测(Next Sentence Prediction，NSP)。
MLM任务的方法是随机遮蔽15％的告警信息样本的输入，训练模型自学习预测遮蔽部分的原始词汇。其中，80％被遮挡词用Masked token来代替；10％用一个随机词汇代替；10％保持这个词不变。在其对应的输出表示向量后再接入一个Softmax层以预测被遮蔽的词或字，在多次预测的过程中对BERT的参数进行训练。
NSP任务学习两个句子之间的关联关系。通过在故障诊断模型中预训练一个二分类模型，在这一任务中有50％的概率从语料库中抽取上下文连续的两句话，另外50％的概率抽取上下文不连续的两句话，模型自学习预测抽取的两个句子是否为实际文章中连续的句子。
为了能够有效的利用告警信息数据，提升电网故障诊断的速度和准确率，减少对人工设计诊断策略和电网拓扑结构的依赖，本发明的方法将通过仿真软件生成的批量告警信息样本，融合某地区电网实测故障样本，构建故障诊断模型的样本数据集；以8:2的比例将样本数据集划分为训练集和测试集；再对样本进行数据预处理，即切词；然后对切词结果进行语义嵌入、句嵌入和位置嵌入，以获得模型的输入文本向量；最后将训练集输入BERT模型以训练电网故障诊断模型，用测试集测试模型的适用性。本发明将电网故障诊断问题转化为一个自然语言处理问题，利用深度学习网络和自然语言处理技术，模型能够通过输入的告警信息样本，自主学习告警信息文本中的故障特征，直接输出有关故障特征的概要性描述文本，实现端到端的电网故障诊断，大幅度节约了人力成本。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；
图1为根据本发明一个优选实施例中所述基于BERT的电网故障诊断方法流程框图
图2为根据本发明一个优选实施例中所述BERT模型的输入表示
图3为根据本发明一个优选实施例中所述Transformer编码器结构
图4为根据本发明一个优选实施例中所述MLM任务方法示意图
图5为根据本发明一个优选实施例中所述NSP任务方法示意图
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明提供一种基于BERT的电网故障诊断方法。此方法首先通过仿真软件批量生成告警信息样本，并混入某地区电网实测故障样本，以提高样本复杂度。以8:2的比例将样本划分为训练集和测试集。再对样本进行数据预处理，即切词。然后对切词结果进行语义嵌入、句嵌入和位置嵌入，以获得模型的输入文本向量。最后将训练集输入BERT模型以训练电网故障诊断模型，输出有关故障特征的概要性描述文本，用测试集测试模型的适用性。
参阅图1，所述方法具体包括如下步骤：
S1、采集电网故障时的告警信息文本；
具体的，电网发生故障后，与故障设备相关的保护和开关动作信息将实时上传至SCADA系统。与此同时，SCADA系统还将接收一些诸如装置故障、开关机构弹簧未储能等方面的告警信息，这些信息按照时间先后顺序进行记录，生成故障时的告警信息集合。采集所述告警信息集合构建电网故障诊断模型的数据样本集。以8:2的比例将样本划分为训练集和测试集。
S2、对告警信息文本进行切词处理；
具体的，基于jieba切词技术，并补充电力领域相关的命名实体，如厂站名、线路名、变电站名等词汇，构建电网故障诊断词典，由此对告警信息文本进行切词处理。
S3、对告警信息文本嵌入语义特征、句特征以及位置特征，将三大特征相加构成模型输入向量；
具体的，参阅图2，采用Word2vec模型，将切词结果利用词的上下文信息，生成表示词语间关联关系的低维词向量，即语义特征向量；将告警信息文本的奇数句文本和偶数句文本分别嵌入EA和EB，EA赋值为1，EB赋值为0，以学习相邻告警信息语句的逻辑关系；对切词结果进行位置编码，以确定每个词语的位置信息，学习各词语的时序特征和词语间的相关性。
对于输入的告警信息样本，经过特征嵌入，将三种嵌入向量加和，即语义嵌入向量、句嵌入向量和位置嵌入向量相加得到词嵌入矩阵，输入BERT模型。
S4、构建基于BERT的电网故障诊断模型。
具体的，参阅图3，BERT模型的语义提取层是一个以Transformer编码器为基本单元的多层双向解码器，包括注意力机制、层标准化和残差连接以及前馈神经网络三个部分。图3所示输入为待向量嵌入的告警信息文本，输出为待解码的故障情况描述文本。
注意力机制输入为词嵌入矩阵，由S3所得词嵌入矩阵乘以三个矩阵WQ、WK、WV得到Query、Key、Value三个矩阵，记为Q、K、V，其维度分别为N×dk，N×dk，N×dv，Q和K的维度相同。Q、K、V的计算公式：
Q＝Linear(X)＝XWQ
K＝Linear(X)＝XWK
V＝Linear(X)＝XWV
式中：Linear是线性映射；X是词嵌入矩阵；WQ、WK、WV是权重矩阵。
注意力机制的输出为：
式中：
是将注意力机制转换为标准正态分布，dk为惩罚因子避免QKT过大；Softmax()是归一化，指对文本中每个单词与其他单词的注意力权重求和。
层标准化是通过归一化神经网络中的隐藏层来加速标准正态分布的模型训练，从而加速模型收敛，其计算公式为
式中：xij为词嵌入矩阵中的每一个向量，μi是由上式求解的矩阵行的平均值；σi 2是通过上式求解的矩阵行的方差；⊙是矩阵中元素的乘法；α和β是模型训练参数；ε用于防止分母为0。
前馈神经网络由2层线性映射形成，由ReLU激活函数激活，最后将经过归一化的数据输入前馈神经网络，其计算公式为
Xhidden＝ReLU(Linear(X))
BERT模型的无监督预训练包括2个训练任务，即遮蔽语言模型(Masked LanguageModel，MLM)和下句预测(Next Sentence Prediction，NSP)。
具体的，参阅图4，MLM任务的方法是随机遮蔽15％的告警信息样本的输入，训练模型自学习预测遮蔽部分的原始词汇。其中，80％被遮挡词用Masked token来代替；10％用一个随机词汇代替；10％保持这个词不变。在其对应的输出表示向量后再接入一个Softmax层以预测被遮蔽的词或字，在多次预测的过程中对BERT的参数进行训练。
具体的，参阅图5，NSP任务学习两个句子之间的关联关系。通过在故障诊断模型中预训练一个二分类模型，在这一任务中有50％的概率从语料库中抽取上下文连续的两句话，另外50％的概率抽取上下文不连续的两句话，模型自学习预测抽取的两个句子是否为实际文章中连续的句子。
故障发生时，将SCADA系统采集到的告警信息文本，通过语义特征嵌入、句特征嵌入、位置特征嵌入，生成能被计算机识别的词嵌入向量矩阵；将向量矩阵输入Transformer编码器，通过注意力机制自学习文本中的故障特征；并通过MLM任务和NSP任务学习文本中上下文和前后句之间的逻辑关系；结合学习到的故障特征和逻辑关系，生成故障情况描述文本向量矩阵；通过解码器输出故障情况描述文本。
为了能够有效的利用告警信息数据，提升电网故障诊断的速度和准确率，减少对人工设计诊断策略和电网拓扑结构的依赖，本发明的方法将通过仿真软件生成的批量告警信息样本，融合某地区电网实测故障样本，构建故障诊断模型的样本数据集；以8:2的比例将样本数据集划分为训练集和测试集；再对样本进行数据预处理，即切词；然后对切词结果进行语义嵌入、句嵌入和位置嵌入，以获得模型的输入文本向量；最后将训练集输入BERT模型以训练电网故障诊断模型，用测试集测试模型的适用性。本发明将电网故障诊断问题转化为一个自然语言处理问题，利用深度学习网络和自然语言处理技术，模型能够通过输入的告警信息样本，自主学习告警信息文本中的故障特征，直接输出有关故障特征的概要性描述文本，实现端到端的电网故障诊断，大幅度节约了人力成本。
以上仅为本发明的较佳实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。
Claims (10)
1.一种基于BERT的电网故障诊断方法，其特征在于，所述方法包括：
S1、采集电网故障时的告警信息文本；
S2、对告警信息文本进行切词处理；
S3、对告警信息文本嵌入语义特征、句特征以及位置特征，将三大特征相加构成模型输入向量；
S4、构建基于BERT的电网故障诊断模型；
S5、将所述输入向量输入电网故障诊断模型，对电网故障进行诊断，并输出诊断结果。
2.根据权利要求1所述的方法，其特征在于，
所述基于BERT的电网故障诊断方法的输入为电网的告警信息文本，输出为有关故障特征的概要性描述文本，实现了端到端的电网故障诊断。
3.根据权利要求2所述的方法，其特征在于，所述步骤S1包括：
S11：电网发生故障后，与故障设备相关的保护和开关动作信息将实时上传至SCADA系统；
S12：SCADA系统接收装置故障、开关机构弹簧的告警信息，按照时间先后顺序进行记录，生成故障时的告警信息集合；
S13：采集的告警信息集合构建电网故障诊断模型的数据样本集。
4.根据权利要求3所述的方法，其特征在于，所述步骤S2包括：
基于jieba切词技术，并补充电力领域相关的命名实体，构建电网故障诊断词典，由此对告警信息文本进行切词处理。
5.根据权利要求4所述的方法，其特征在于，所述步骤S3包括：
S31：采用Word2vec模型，将切词结果利用词的上下文信息，生成表示词语间关联关系的低维词向量，即语义特征向量；
S32：将告警信息文本的奇数句文本和偶数句文本分别嵌入EA和EB以学习相邻告警信息语句的逻辑关系，EA赋值为1，EB赋值为0；
S33：对切词结果进行位置编码，以确定每个词语的位置信息，学习各词语的时序特征和词语间的相关性。
6.根据权利要求5所述的方法，其特征在于，所述步骤S3中：
对于输入的告警信息样本，经过特征嵌入，将三种嵌入向量加和，即语义嵌入向量、句嵌入向量和位置嵌入向量相加得到词嵌入矩阵输入BERT模型。
7.根据权利要求6所述的方法，其特征在于，所述步骤S4中：
所述BERT模型的语义提取层是一个以Transformer编码器为基本单元的多层双向解码器，包括注意力机制、层标准化和残差连接以及前馈神经网络三个部分。
8.根据权利要求7所述的方法，其特征在于：
所述注意力机制输入为词嵌入矩阵，由S3所得词嵌入矩阵乘以三个矩阵WQ、WK、WV得到Query、Key、Value三个矩阵，记为Q、K、V，其维度分别为N×dk，N×dk，N×dv，Q和K的维度相同。Q、K、V的计算公式：
Q＝Linear(X)＝XWQ
K＝Linear(X)＝XWK
V＝Linear(X)＝XWV
式中：Linear是线性映射；X是词嵌入矩阵；WQ、WK、WV是权重矩阵；
所述注意力机制的输出为：
式中：
是将注意力机制转换为标准正态分布，dk为惩罚因子避免QKT过大；Softmax()是归一化，指对文本中每个单词与其他单词的注意力权重求和；
层标准化是通过归一化神经网络中的隐藏层来加速标准正态分布的模型训练，从而加速模型收敛，其计算公式为：
式中：xij为词嵌入矩阵中的每一个向量，μi是所述矩阵行的平均值；σi 2是所述矩阵行的方差；m为矩阵行数；⊙是矩阵中元素的乘法；α和β是模型训练参数；ε用于防止分母为0；
前馈神经网络由2层线性映射形成，由ReLU激活函数激活，最后将经过归一化的数据输入前馈神经网络，其计算公式为
Xhidden＝ReLU(Linear(X))。
9.根据权利要求6所述的方法，其特征在于，所述步骤S4包括：
BERT模型的无监督预训练包括2个训练任务，即遮蔽语言模型MLM和下句预测NSP。
10.根据权利要求9所述的方法，其特征在于，
MLM任务的方法是随机遮蔽15％的告警信息样本的输入，训练模型自学习预测遮蔽部分的原始词汇；其中，80％被遮挡词用Masked token来代替；10％用一个随机词汇代替；10％保持这个词不变；在其对应的输出表示向量后再接入一个Softmax层以预测被遮蔽的词或字，在多次预测的过程中对BERT的参数进行训练；
NSP任务学习两个句子之间的关联关系，通过在故障诊断模型中预训练一个二分类模型，在这一任务中有50％的概率从语料库中抽取上下文连续的两句话，另外50％的概率抽取上下文不连续的两句话，模型自学习预测抽取的两个句子是否为实际文章中连续的句子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210248594.2A CN114661905B (zh) | 2022-03-14 | 2022-03-14 | 一种基于bert的电网故障诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210248594.2A CN114661905B (zh) | 2022-03-14 | 2022-03-14 | 一种基于bert的电网故障诊断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114661905A true CN114661905A (zh) | 2022-06-24 |
| CN114661905B CN114661905B (zh) | 2024-09-06 |
Family
ID=82030016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210248594.2A Active CN114661905B (zh) | 2022-03-14 | 2022-03-14 | 一种基于bert的电网故障诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114661905B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114818644A (zh) * | 2022-06-27 | 2022-07-29 | 北京云迹科技股份有限公司 | 文本模板生成方法、装置、设备及存储介质 |
| CN115453267A (zh) * | 2022-09-15 | 2022-12-09 | 北京京能清洁能源电力股份有限公司北京分公司 | 一种电力信息系统故障诊断系统 |
| CN116662787A (zh) * | 2023-07-26 | 2023-08-29 | 国网四川省电力公司广安供电公司 | 一种基于多融合算法的故障定位精度提升方法 |
| CN117473400A (zh) * | 2023-12-28 | 2024-01-30 | 中南大学 | 基于多通道层级变换网络结构的设备故障诊断方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112000791A (zh) * | 2020-08-26 | 2020-11-27 | 哈电发电设备国家工程研究中心有限公司 | 一种电机故障知识抽取系统及方法 |
| CN113239143A (zh) * | 2021-04-28 | 2021-08-10 | 国网山东省电力公司电力科学研究院 | 融合电网故障案例库的输变电设备故障处理方法及系统 |
| US20210342686A1 (en) * | 2020-04-30 | 2021-11-04 | Nvidia Corporation | Content management using one or more neural networks |
-
2022
- 2022-03-14 CN CN202210248594.2A patent/CN114661905B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210342686A1 (en) * | 2020-04-30 | 2021-11-04 | Nvidia Corporation | Content management using one or more neural networks |
| CN112000791A (zh) * | 2020-08-26 | 2020-11-27 | 哈电发电设备国家工程研究中心有限公司 | 一种电机故障知识抽取系统及方法 |
| CN113239143A (zh) * | 2021-04-28 | 2021-08-10 | 国网山东省电力公司电力科学研究院 | 融合电网故障案例库的输变电设备故障处理方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| CHEN LING等: "fault text classification of rotating machine based bert", 2021 33RD CHINESE CONTROL AND DECISION CONFERENCE, 24 May 2021 (2021-05-24), pages 1 - 10 * |
| 郑钰川: "基于多头自注意力机制的电网故障诊断", 中国优秀硕士学位论文全文数据库工程科技II辑, no. 3, 15 March 2023 (2023-03-15), pages 042 - 1035 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114818644A (zh) * | 2022-06-27 | 2022-07-29 | 北京云迹科技股份有限公司 | 文本模板生成方法、装置、设备及存储介质 |
| CN115453267A (zh) * | 2022-09-15 | 2022-12-09 | 北京京能清洁能源电力股份有限公司北京分公司 | 一种电力信息系统故障诊断系统 |
| CN116662787A (zh) * | 2023-07-26 | 2023-08-29 | 国网四川省电力公司广安供电公司 | 一种基于多融合算法的故障定位精度提升方法 |
| CN117473400A (zh) * | 2023-12-28 | 2024-01-30 | 中南大学 | 基于多通道层级变换网络结构的设备故障诊断方法 |
| CN117473400B (zh) * | 2023-12-28 | 2024-03-26 | 中南大学 | 基于多通道层级变换网络结构的设备故障诊断方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114661905B (zh) | 2024-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liao et al. | Fault diagnosis of power transformers using graph convolutional network | |
| CN114661905B (zh) | 一种基于bert的电网故障诊断方法 | |
| CN109086817B (zh) | 一种基于深度信念网络的高压断路器故障诊断方法 | |
| CN112632972B (zh) | 一种电网设备故障报告内故障信息的快速提取方法 | |
| CN113312411B (zh) | 一种基于知识图谱和规则约束的装备故障原因诊断方法 | |
| CN116245033B (zh) | 人工智能驱动的电力系统分析方法及智能软件平台 | |
| CN112838946A (zh) | 基于通信网故障智能感知与预警模型的构建方法 | |
| CN105606914A (zh) | 一种基于iwo-elm的航空功率变换器故障诊断方法 | |
| CN113343581B (zh) | 基于图马尔可夫神经网络的变压器故障的诊断方法 | |
| CN115563563A (zh) | 基于变压器油色谱分析的故障诊断方法及装置 | |
| CN117688336A (zh) | 一种基于设备故障风险的电力调度故障集智能生成方法 | |
| CN116205265A (zh) | 一种基于深层神经网络的电网故障诊断方法及装置 | |
| CN115146739A (zh) | 基于堆叠时间序列网络的电力变压器故障诊断方法 | |
| CN116662504A (zh) | 电力知识语义分析系统及其方法 | |
| CN114266201B (zh) | 一种基于深度学习的自注意力电梯困人预测方法 | |
| CN112232078A (zh) | 一种基于双向gru与注意力机制的调度操作票审核方法 | |
| CN115221233A (zh) | 基于深度学习的变电站多类带电检测数据异常检测方法 | |
| Qu et al. | Knowledge-driven recognition methodology for electricity safety hazard scenarios | |
| CN113899987A (zh) | 基于深度金字塔卷积神经网络的电网故障诊断方法 | |
| Patil et al. | A Comprehensive Analysis of Artificial Intelligence Integration in Electrical Engineering | |
| CN113240098B (zh) | 基于混合门控神经网络的故障预测方法、装置和存储介质 | |
| Huang et al. | Online Alarm Recognition of Power Grid Dispatching Based on PRADO | |
| CN115455959A (zh) | 一种基于深度学习的水电站监控告警事件智能识别方法 | |
| Jia et al. | Diagnosis of power operation and maintenance records based on pre-training model and prompt learning | |
| Yang et al. | Text classification method for analysing accidents in power system operation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |