CN110232395A - 一种基于故障中文文本的电力系统故障诊断方法 - Google Patents

Abstract

一种基于故障中文文本的电力系统故障诊断方法，所述方法首先构造融合χ²统计量和互信息的M‑CHI特征提取方法，并将深层注意力机制和双层双向LSTM融合，得到DA‑BiLSTM模型，然后采用M‑CHI特征提取方法从电力缺陷文本中提取文本特征向量，最后将文本特征向量输入到DA‑BiLSTM模型，由DA‑BiLSTM模型输出所有故障类型的概率分布，从而实现电力系统的故障诊断。本发明采用融合了χ²统计量和互信息的M‑CHI特征提取方法和融合了深层注意力机制和双层双向LSTM的模型来诊断电力系统故障，同传统方法相比，该方法的诊断结果具有很高的准确性，适于根据中文电力缺陷文本进行故障诊断。

Description

一种基于故障中文文本的电力系统故障诊断方法

技术领域

本发明涉及一种利用电力系统中积累的大量故障中文文本对系统进行故障诊断的方法，属于数据处理技术领域。

背景技术

电力系统的故障文本中记录了设备整个生命周期各阶段的缺陷等数据，因此通过对故障文本进行分析即可获得电力系统的故障信息。如何有效处理电力系统中积累的大量故障中文文本，是自然语言处理技术领域中的难点之一，目前，基于故障文本的电力系统故障诊断方法大多使用单一诊断模型对故障文本进行处理，这种诊断方法存在以下缺点：

(1)由于文本内容具有难切分、有歧义等特点，对故障文本的挖掘带来很大的影响，从而降低了故障诊断的准确性。

(2)现有的故障诊断模型大多是使用单一的机器学习模型，或采用国外已经使用的诊断模型，但所选模型往往不适于处理中文文本，无法保证故障诊断的准确性。

发明内容

本发明的目的在于针对现有技术之弊端，提供一种基于故障中文文本的电力系统故障诊断方法，以提高电力系统故障诊断结果的准确性。

本发明所述问题是以下述技术方案实现的：

一种基于故障中文文本的电力系统故障诊断方法，所述方法首先构造融合χ²统计量和互信息的M-CHI特征提取方法，并将深层注意力机制和双层双向LSTM融合，得到DA-BiLSTM模型，然后采用M-CHI特征提取方法从电力缺陷文本中提取文本特征向量，最后将文本特征向量输入到DA-BiLSTM模型，由DA-BiLSTM模型输出所有故障类型的概率分布，从而实现电力系统的故障诊断。

上述基于故障中文文本的电力系统故障诊断方法，所述方法包括以下步骤：

a.构造M-CHI特征提取方法，步骤如下：

①：对统计量(Chi-SquareStatistic,CHI)设置词频因子γ，其计算方法为：

式中，γ(t_i)表示第i个特征项t_i在故障文本中出现的频率，f(t_i,C_j)表示t_i在第j个类别C_j中出现的频数，表示t_i在所有类别中出现的总次数，N为类别数；

②：在互信息(Mutual Information,MI)法中引入α因子和方差λ：

式中，P(C_j)表示含有第j个类别C_j的文本数量占总文本数的频率，f_j(t)表示所有特征项在第j个类别中出现的频数，v表示类别总数，σ_i表示特征项权重；

③：MI法改进后的计算方法定义为：

式中，I(t_i,C_j)表示改进MI法的第i个特征项t_i在类外中出现的频数，P(t_i,C_j)表示第i个特征项t_i在类外中出现的频数，P(t_i)表示含有第i个特征项t_i的文本数量占总文本数的频率，P(C_j)表示含有第j个类别C_j的文本数量占总文本数的频率；

④：将改进后的CHI法和MI法进行融合，得到M-CHI特征提取方法：

式中，M_(CHI)表示采用M-CHI法的特征提取值，χ²(t_i,C_j)表示第i个特征项t_i在类别C_j中的特征提取值，γ(t)表示特征项t的词频，P(t_i,C_j)表示第i个特征项t_i在类外中出现的频数；

b.构造融合深层注意力机制的双层双向长短时记忆网络(DA-BiLSTM)模型：

所述DA-BiLSTM模型包含依次连接的嵌入层、双向LSTM(即BiLSTM)层、注意力层和输出层；

c.采用M-CHI特征提取方法从电力缺陷文本中提取文本特征向量；

d.将文本特征向量输入到DA-BiLSTM模型的嵌入层，由DA-BiLSTM模型的输出层得到所有故障类型的概率分布。

本发明采用融合了χ²统计量和互信息的M-CHI特征提取方法和融合了深层注意力机制和双层双向LSTM的模型来诊断电力系统故障，同传统方法相比，该方法的诊断结果具有很高的准确性，适于根据中文电力缺陷文本进行故障诊断。

附图说明

下面结合附图对本发明作进一步详述。

图1为5种机器学习分类模型特征提取准确率。

图2为DA-BiLSTM模型示意图。

图3为BiLSTM模型的测试过程。

图4为机器学习故障诊断流程图。

图5为Viterbi算法分词步骤图。

图6为节点变量递归关系图。

图7为深度学习故障诊断流程图。

文中所用符号：γ(t_i)表示第i个特征项t_i在故障文本中出现的频率，f(t_i,C_j)表示t_i在第j个类别C_j中出现的频数，表示t_i在所有类别中出现的总次数，N为类别数；P(C_j)含有第j个类别C_j的文本数量占总文本数的频率，f_j(t)表示所有特征项在第j个类别中出现的频数，v表示类别总数，σ_i表示特征项权重；I(t_i,C_j)表示改进MI法的第i个特征项t_i在类外中出现的频数，P(t_i,C_j)表示第i个特征项t_i在类外中出现的频数，P(t_i)表示含有第i个特征项t_i的文本数量占总文本数的频率，P(C_j)表示含有第j个类别C_j的文本数量占总文本数的频率；M_(CHI)表示采用M-CHI法的特征提取值，χ²(t_i,C_j)表示第i个特征项t_i在类别C_j中的特征提取值，γ(t)表示特征项t的词频，P(t_i,C_j)表示第i个特征项t_i在类外中出现的频数。

具体实施方式

本发明首先构造了融合χ²统计量和互信息的M-CHI特征提取方法，然后将深度学习方法中的双层双向长短时记忆网络模型进行优化，提出一种基于深层注意力机制的BiLSTM模型，最后以电力变压器故障文本为分析对象，对电力系统进行故障诊断。

本发明包括以下步骤：

(1)本发明提出了改进优化后的M-CHI方法，步骤如下。

第1步：对统计量(Chi-SquareStatistic,CHI)设置词频因子γ，其计算方法为：

式中，γ(t_i)表示第i个特征项t_i在故障文本中出现的频率，f(t_i,C_j)表示t_i在第j个类别C_j中出现的频数，表示t_i在所有类别中出现的总次数。

第2步：针对互信息(Mutual Information,MI)法的不足，引入α因子，使改进后的MI法尽量增加高频词的利用率，减小低频词的边缘率。引入的α因子的表达公式为：

α的引入提高了高频词的权重，降低了低频词对分类的影响程度。在各个类别中特征项方差对分类的结果有直接影响。因此，引入方差λ的计算方法：

式中，v表示类别总数，σ_i表示特征项权重。

第3步：MI法改进后的计算方法为：

式中，I(t_i,C_j)表示改进方法后的特征项t_i在类外中出现的频数，P(t_i,C_j)表示特征项t_i在类外中出现的频数，P(t_i)表示含有特征项t_i的文本数量占总文本数的频率，P(C_j)表示含有类别C_j的文本数量占总文本数的频率。

第4步：最后将改进后的CHI法和MI法进行融合为：

M_(CHI)表示采用M-CHI法的特征提取值，该方法不仅保留了CHI法和MI法的优点，还减少了CHI法没有统计特征项频数的缺点和MI法没有测量特征项本身频度的缺点，从而可有效识别权重较大的词汇。

(2)本发明提出一种融合深层注意力机制的双层双向长短时记忆网络(DA-BiLSTM)模型。

双向LSTM在隐藏层保存2个值，一个参与正向计算，一个参与反向计算，最终的输出值由2个计算过程决定，这就可以将上下文信息有效关联在一起，从而获得更全面、更准确的文本信息。双层LSTM通过将一个句子分割为几部分，对于每部分都使用双向LSTM结合注意力机制将小句子映射为一个向量，然后对于映射得到的一组序列向量，我们再通过一层双向LSTM结合注意力机制实现对设备的故障诊断。

本发明所述的DA-BiLSTM模型是将深层注意力机制和双层双向LSTM融合，能判断重要文本信息并进行故障诊断。DA-BiLSTM模型结构包含嵌入层、双向LSTM层、注意力层和输出层，其结构如图2所示。

嵌入层：该层的输入是由一组文本序列组成的故障文本信息。该层的主要功能是将不同的文本序列Y＝{y₁,y₂,L,y_n}映射到文本词向量空间R^E。其中，E是嵌入层的长度，n是文本中词的个数。

BiLSTM层：LSTM将文本词向量作为输入，隐藏状态H＝(h₁,h₂,L,h_t)是对词向量的注释。其中，h_t是LSTM在时间步骤t的隐藏状态，总结了从y₁到y_t所有词向量的信息。BiLSTM从前后两个方向获得词向量信息，BiLSTM模型包括前向和后向前向读取y₁到y_n向量，后向读取y_n到y₁向量，并从两个方向上的向量注释获得最终向量表示。

式中，表示连接h₁和h_i，L表示LSTM的长度，两层BiLSTM是为了获得更准确的词向量特征。

注意力层：所有词向量对文本贡献率是不同的，注意力机制可以判断不同词向量的重要程度。该过程能基于隐藏状态h_t而获得注意力权重α_i，特征向量s可以由当前状态h_t和前面的状态h_t-1得出。

输出层：s作为特征向量进行故障分类，并将故障诊断结果反馈到最终连接的softmax分类器层，该层输出所有类的概率分布。

(3)采用M-CHI特征提取方法从电力缺陷文本中提取文本特征向量；

(4)将文本特征向量输入到DA-BiLSTM模型的嵌入层，由DA-BiLSTM模型的输出层得到所有故障类型的概率分布。

下面结合实施例对本发明作详细说明。

步骤1：以某电力变压器故障文本为分析对象，研究利用中文文本进行故障诊断的应用。本算例收集了电力变压器故障描述数据39021条。首先对这些故障数据进行人工筛选，将错误的、稀疏的数据全部去除，减少噪音数据，然后将清洗后的数据按照数据预处理流程进行筛选，最终得到有效数据为2700条，部分预处理结果如表1所示。

表1变压器故障文本预处理数据(部分)

特征提取是机器学习模型设计的关键，使用M-CHI特征提取方法，并将M-CHI法分别应用到支持向量机(SVM)、k-最近邻(KNN)、Logistic回归(LR)、GradientBoosting(GBM)、朴素贝叶斯(NB)这5种经典的机器学习分类模型中。

在根据文本进行故障诊断之前，所有模型都必须预定义故障诊断评估指标。根据电力设备缺陷的诊断标准，电力系统故障评估一般被描述为3个层次“一般”、“重要”、“紧急”3个等级，基本上代表了故障的严重程度。

步骤2：用上述获得的2700条有效数据进行实验，为了比较5种机器学习对故障文本分类准确率，将M-CHI法分别应用在5种分类模型中，每种机器学习模型的特征提取准确率如图1所示，可以看出在每种故障诊断模型中，SVM模型分类准确率都明显高于其他4种模型，均达到了0.8以上。5种传统机器学习模型分类评价指标值如表2所示：

表2 5种机器学习分类评价指标值

图1比较的是五种分类模型在特征项不同数量时的分类准确率，当5种模型的特征项数量级达到1900时准确率趋于稳定，说明2700条预处理数据提取的特征项可以验证本实验的有效性。表2则表示5种机器学习模型在运用M-CHI特征提取方法下，得到分类评价指标正确率、召回率、F1值。

步骤3：接下来继续讨论算例数据在深度学习模型中的性能表现，在此将文本中词向量的维度和LSTM模型维度都设置为500，注意力权重的维度和词向量的长度一致，注意力层数设置为2层，Dropout设置为0.4(解决数据过拟合问题的参数)。本实验将DA-BiLSTM模型在100epoch(当一个完整的数据集通过并返回了1次神经网络称为1个epoch)过程中进行训练，测试结果如图3所示。

从图3看出，训练阶段在80epoch时准确率、召回率和F1值趋于稳定，在进行交叉校验后，得到测试阶段的评价指标值，该过程表示将文本进行故障诊断时DA-BiLSTM模型的分类效果。

步骤4：最后比较深度学习模型DA-BiLSTM模型与SVM模型的分类效果。从图3可以看出，DA-BiLSTM模型在80epoch时准确率、召回率和F1值趋于稳定，并且明显高于SVM的测试值，DA-BiLSTM模型测试的准确率、召回率和F1值与SVM模型的分类评价指标值如表3所示：

表3 DA-BiLSTM模型与SVM模型分类评价指标值

从表3看出，DA-BiLSTM模型的准确率、召回率和F1值都明显高于SVM模型，实验数据显示得到，DA-BiLSTM模型得到的的文本分类评价指标高于传统的机器学习分类评价指标，即DA-BiLSTM模型的分类效果优于传统机器学习的分类效果。

大多数故障诊断模型由于没有融合深层注意力机制，也没有使用双向LSTM结构，一般都是将最简单的LSTM模型应用到故障诊断模型中，容易造成文本中词语权重不正确并且与上下文的关联性较差，影响故障诊断准确性。因此，深层注意力机制能够关注文本中词向量的权重，双向LSTM可以使词向量从两个方向进行学习，增加上下文的关联性，从而为故障诊断的准确性提供双重保证。

本方法给出了一种融合深层注意力机制的双层双向长短时记忆网络的深度学习模型，可以保证上下文信息的关联、改善信息不连续导致的故障诊断错误情形，实现了对整篇文本的识别记忆，避免了梯度消失和梯度爆炸。

通过对某电力变压器故障文本案例的分析，初步验证了所提方法的有效性。本方法可为电力系统中根据中文故障文本进行故障诊断提供有效的参考，为其他应用领域的文本处理提供了对比思路。

相关技术资料：

(1)故障文本的特征

电力系统故障文本与一般文本有很大不同，其特征主要表现为：①文本中存在大量专业性较强的词汇；②一般是短文本，与长文本的处理存在差异；③文本中除了专业词汇外，还有一些专业领域的符号或者字母，用以描述电力方面的故障；④文本中有大量数据集，其中数字、字母互相夹杂，这些数据集对所建立的分类模型的效率也有一定影响。

(2)机器学习文本故障诊断流程

采用机器学习模型进行电力系统缺陷文本分类的步骤：对缺陷文本分词预处理、特征提取、文本表示、建立分类器，机器学习文本分类流程如图4所示。

(3)文本预处理

隐马尔科夫(Hidden Markov Model，HMM)是基于统计的序列分析和学习模型，近年来在自然语言处理、语音识别和文本挖掘中获得了较多应用。基于HMM的文本处理模型易于设置，无需依赖大规模字典集和规则集，能较好反映出文本信息所要表达的内容和性质。

一般情况下，为了增强数据的可用性，提高故障诊断模型的准确度，首先要对收集的故障文本进行人工处理，如①对于纯文本文档的处理，需要清除文档中的某些标记、图画、视频、音频等，减少噪声污染；②中文文本需要经过分词、去停用词和字典中未登录词的处理；③剔除意义不大的噪声文本。接着对人工处理后的文本采用HMM模型的Viterbi算法进行分词预处理。Viterbi算法运用动态规划的搜索算法求解最优状态序列，以达到分词的目的，其算法步骤图如图5所示。

文本中所有与字典中可以匹配的字或者词看作是节点，以此构造n元切分词图，图中节点s_n表示候选词，边表示路径，用a(n)表示选择节点的概率，Viterbi算法表示在时间t内寻找最优路径O₁O₂…O_t的过程，以实现最佳的分词效果。分词之后，根据词频的差异，建立字典，减小噪声的干扰，提高后续的文本分类质量。Viterbi算法寻找最优路径变量递归关系如图6所示。

因为在电力系统故障文本中，往往不只是搜索一个最优状态序列，而是搜索n个最佳(n-best)路径，因此，在路径的每个节点上常常需要记录m个最佳(m-best,m＜n)状态。

(4)故障诊断技术评价指标

故障诊断是基于文本的不同分类特征属性，按照预定义的文本处理方式将文本进行处理。对于不同文本特点的差异，故障诊断时对模型的选择都存在区别。但是，所有模型故障诊断效果的评测指标主要通过召回率(r)、正确率(p)和F-测度值来表示。

召回率：

正确率：

F-测度值：

式中，a,b,c的定义如表3所示，β是调整正确率和召回率的参数，通常取β＝1，此时评价指标变为：

表3故障诊断模型的输出结果

(5)特征提取方法

目前有许多特征提取方法，例如χ²统计量(CHI)、互信息(MI)、文档频率(DF)、信息增益(IG)等。由于CHI法和MI法具有关联程度高和共现程度大的特点，因此，比较适合对电力系统故障文本进行特征提取。但是CHI法和MI法也存在一些缺点。

CHI法的基本原理：对第i个特征项t_i和第j个类别C_j之间的关联度进行衡量，并且假设t_i和C_j之间属于一阶自由度的χ²分布。其计算方法为：

式中，A表示属于C_j类且包括t_i的文档频率，B表示不属于C_j类但包括t_i的文档频率，C表示属于C_j类但不包括t_i的文档频率，D表示既不属于C_j类也不包括t_i的文档频率，N表示文本总数。

CHI法只衡量特征项是否在文本中出现，并不统计出现的特征项数量。有些单词只出现在某些文本中，并且在该文本中是很高的频率出现的，或者有些单词是在大多数文本中出现过，但是在该文本中出现次数很少，这时使用CHI方法就有可能提取低频词作为特征项，而高频词却没有作为特征项被提取出来。

MI法的基本原理：来衡量在类里出现的不同特征项的频数，同时也将含有特征项的文本与总文本的频率进行衡量，这样就将各个特征项在类外也做了对比，并且简单、容易理解，其计算方法为：

式中，P(t_j)表示含有第i个特征项t_i的文本数量占总文本数的频率，P(C_j)表示含有第j个类别C_j的文本数量占总文本数的频率。

MI法不度量特征项本身的出现频度，因此，当通过MI方法提取时，可以选择到一些低频词。当两个特征项P(t_i|C_j)相同时，P(t_i)的值就决定了特征项和各个类别之间关联关系的大小，此时P(t_i)值越大，I(t_i,C_j)值越大，此时文本分类效果较差。

(6)文本表示

故障文本由汉字、字母、符号等组成，为了使计算机可以识别文本，就需要一种转化方法，这就是文本表示。本文采用向量空间模型(Vector Space Model,VSM)方法进行表示。

VSM的定义可以表示为：给定一个文档D(t₁,ω₁；t₂,ω₂；L；t_n,ω_n)，D符合2个条件：①各个特征项t_k(1≤t_k≤n)互异；②各个特征项t_k无先后顺序关系。

VSM模型涉及多个概念，如文档、特征项、项的权重等。文档指的是具有一定规模的句子、句群、段落等。特征项是VSM中最小的单元，由于每个特征项的价值不同，因此，每个特征项权重是不同的，权重越大表示特征项越重要，反之则越小。

(7)深度学习文本故障诊断流程

采用机器学习模型对文本进行分类时，如果建立的文本词向量集合维度很高，分类模型的参数调节、训练时长等都会导致文本特征提取的准确率较差，从而影响最终分类结果。而深度学习模型不需要对文本进行特征提取，擅长解决词向量维度过高问题。深度学习的分类评价指标与传统的机器学习分类指标相同，由召回率、正确率和F-测度值表示。

本文深度学习模型以中文维基百科词典库为基础，采用Word2vec模型训练词向量，词向量维数一般为200-300维。使用jieba分词工具，将分词后的缺陷文本与词向量进行匹配，得到缺陷文本词向量模型，最后进行文本分类。

深度学习分类模型的过程首先需要收集电力缺陷文本，然后对缺陷文本进行分词、词向量训练，最后构建DA-BiLSTM模型对缺陷文本分类，其过程如图7所示。

(8)长短时记忆网络(LSTM)模型

近年来，由于卷积神经网络(CNN)对特征的有效提取，已经很好的应用于NLP领域，但CNN模型没有考虑到词的序列，在进行NLP处理时，词序的信息总是丢失；虽然递归神经网络有效的处理了词序的问题，但RNN记忆功能与人脑类似，记住的都是相对短期的数据，以文本为例，当输入大量文本时，RNN对一开始输入的文本就会呈指数级遗忘，这就存在梯度消失和梯度爆炸的问题。鉴于此，Hochreiter等人提出长短时记忆网络模型(LSTM)，LSTM模型是RNN模型的变体，它保持了RNN词序排列问题的优点，并且有效改善了RNN梯度消失和梯度爆炸问题。

LSTM模型类似于RNN模型，也是由输入层、隐藏层和输出层组成，改进之处是在隐藏层引入了输入门i^t、遗忘门f^t、输出门o^t和记忆单元c^t结构，这3个门控机制都是由激活函数和点积组成的，并且激活函数的取值范围是[0,1]，表示文本信息的通过率，当激活函数取值为0时，代表该句子信息没有通过，即句子信息被遗忘，当激活函数取值为1时，代表该句子信息全部通过，即完全保留该句子。对于CNN和RNN来说，每一个句子的信息都是由输入和当前的记忆状态构成，但是记忆量是有限的，而LSTM的记忆单元就是来进行长期记忆的，增加不同时刻的记忆权重。

LSTM的3个门控机制和记忆单元表示如下：

f_t＝σ(W_f·Y+b_f)

i_t＝σ(W_i·Y+b_i)

o_t＝σ(W_o·Y+b₀)

式中，Y表示LSTM模型的输入词向量，由{y₁,y₂,L,y_n}表示，h_t表示隐藏层向量，W_f,W_i,W_o∈R^d×2d表示权重矩阵，σ表示激活函数，b_f,b_i,b_o∈R^d表示偏信值，表示点乘。

(9)深层注意力机制

注意力机制最早是在视觉图像领域提出来的，用来进行图像分类，后来注意力机制应用到NLP领域，接着基于注意力机制的LSTM模型扩展开始应用到各种NLP任务中。注意力机制的核心思想是人脑的注意力模型，虽然人们可以观察到整个画面，但是眼睛只聚焦到很小一块，这个时候人的大脑主要关注在这一小块图案上，也就是说，人脑对整个画面的注意力并不均衡，是有权重区分的。

深层注意力机制不同与传统的注意力机制，它更注重分类设置，后者都是“序列-序列”模型，由先前生成的输出子序列来引起注意，而深层注意力机制也适用于词语，可以在特定上下文中检测到影响较大的词语或语句，从而进行故障诊断决策。

深层注意力机制的基本思路为：首先处理给定的文本中的句子，计算每一个句子和给定问题的相关度，通过这一层的注意力模型，计算得到的向量作为每个句子的隐含向量表示；然后利用第二层注意力模型，计算句子中每一个词语和给定问题的相关度，计算得到的向量作为上下文向量，用以生成回答。深层注意力机制的计算过程如下。

.

.

.

s＝soft max(f_att(h_t,h_t-1))

式中，α_i代表每个时刻输出的权值，h_t表示隐藏层向量，s表示特征向量,注意力函数f_att(h_t,h_t-1)计算的是目前的隐藏状态h_t和前面的隐藏状态h_t-1之间的归一化分配值，softmax函数是对输入句子中任意一个单词归一化后计算概率，进行分类。

专业术语解释

自然语言处理(Natural language processing(NLP))：是关于计算机与人类(自然语言)交互的计算机科学与语言学一个领域。

统计量(Chi-SquareStatistic,CHI)：是统计理论中用来对数据进行分析、检验的变量。

互信息(Mutual Information,MI)：表示两个变量X与Y是否有关系，以及关系的强弱。

向量空间模型(vector space model,VSM)：把对文本内容的处理简化为向量空间中的向量运算，并且它以空间上的相似度表达语义的相似度，直观易懂。

卷积神经网络(convolutional neural networks，CNN):是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。

递归神经网络(recurrent neural networks,RNN):是两种人工神经网络的总称。一种是时间递归神经网络，又名循环神经网络，另一种是结构递归神经网络。时间递归神经网络的神经元间连接构成矩阵，而结构递归神经网络利用相似的神经网络结构递归构造更为复杂的深度网络。

长短时记忆网络(Long Short-Term Memory，LSTM)：是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。

Claims (2)

1.一种基于故障中文文本的电力系统故障诊断方法，其特征是，所述方法首先构造融合χ²统计量和互信息的M-CHI特征提取方法，并将深层注意力机制和双层双向LSTM融合，得到DA-BiLSTM模型，然后采用M-CHI特征提取方法从电力缺陷文本中提取文本特征向量，最后将文本特征向量输入到DA-BiLSTM模型，由DA-BiLSTM模型输出所有故障类型的概率分布，从而实现电力系统的故障诊断。

2.根据权利要求1所述的一种基于故障中文文本的电力系统故障诊断方法，其特征是，所述方法包括以下步骤：

a.构造M-CHI特征提取方法，步骤如下：

①：对统计量(Chi-SquareStatistic,CHI)设置词频因子γ，其计算方法为：

式中，γ(t_i)表示第i个特征项t_i在故障文本中出现的频率，f(t_i,C_j)表示t_i在第j个类别C_j中出现的频数，表示t_i在所有类别中出现的总次数，N为类别数；

②：在互信息(Mutual Information,MI)法中引入α因子和方差λ：

式中，P(C_j)表示含有第j个类别C_j的文本数量占总文本数的频率，f_j(t)表示所有特征项在第j个类别中出现的频数，v表示类别总数，σ_i表示特征项权重；

③：MI法改进后的计算方法定义为：

式中，I(t_i,C_j)表示改进MI法的第i个特征项t_i在类外中出现的频数，P(t_i,C_j)表示第i个特征项t_i在类外中出现的频数，P(t_i)表示含有第i个特征项t_i的文本数量占总文本数的频率，P(C_j)表示含有第j个类别C_j的文本数量占总文本数的频率；

④：将改进后的CHI法和MI法进行融合，得到M-CHI特征提取方法：

式中，M_(CHI)表示采用M-CHI法的特征提取值，χ²(t_i,C_j)表示第i个特征项t_i在类别C_j中的特征提取值，γ(t)表示特征项t的词频，P(t_i,C_j)表示第i个特征项t_i在类外中出现的频数；

b.构造融合深层注意力机制的双层双向长短时记忆网络(DA-BiLSTM)模型：

所述DA-BiLSTM模型包含依次连接的嵌入层、双向LSTM(即BiLSTM)层、注意力层和输出层；

c.采用M-CHI特征提取方法从电力缺陷文本中提取文本特征向量；

d.将文本特征向量输入到DA-BiLSTM模型的嵌入层，由DA-BiLSTM模型的输出层得到所有故障类型的概率分布。