CN115617990B - 基于深度学习算法的电力设备缺陷短文本分类方法和系统 - Google Patents

基于深度学习算法的电力设备缺陷短文本分类方法和系统 Download PDF

Info

Publication number
CN115617990B
CN115617990B CN202211191939.1A CN202211191939A CN115617990B CN 115617990 B CN115617990 B CN 115617990B CN 202211191939 A CN202211191939 A CN 202211191939A CN 115617990 B CN115617990 B CN 115617990B
Authority
CN
China
Prior art keywords
training
family
semantic
feature vectors
power equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211191939.1A
Other languages
English (en)
Other versions
CN115617990A (zh
Inventor
叶振豪
齐冬莲
闫云凤
郭炳延
闫玮丹
韩亚东
何继帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202211191939.1A priority Critical patent/CN115617990B/zh
Publication of CN115617990A publication Critical patent/CN115617990A/zh
Application granted granted Critical
Publication of CN115617990B publication Critical patent/CN115617990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于深度学习算法的电力设备缺陷短文本的分类方法和系统，其中分类方法具体包括：对描述不规则的电力设备缺陷短文本基于Bert算法进行语义表示，获取实施语义特征向量；将预训练家族特征矩阵和实施语义特征向量进行线性变换后，输入至改进的多头注意力模块进行加性注意力机制、残差连接、拼接以及线性变换运算,从而提取预训练家族特征矩阵和语义特征向量的隐藏特征，得到转换后的特征向量；基于Softmax分类函数，对转换后的特征向量进行平均池化和非线性激活，确定描述不规则的电力设备缺陷短文本对应某一种标准化描述的缺陷类型的最佳匹配结果；实现对人工录入的不规则的缺陷描述进行标准化分类，同时提高分类的准确度。

Description

基于深度学习算法的电力设备缺陷短文本分类方法和系统
技术领域
本发明涉及电力设备缺陷短文本的分类领域，特别涉及一种基于深度学习算法的电力设备缺陷短文本分类方法和系统。
背景技术
随着物理设备与信息系统的互联互通及各地电网生产设备全生命周期管理系统的广泛应用，在电力设备运维检修领域积累了大量的设备缺陷记录，目前相关的缺陷记录主要依靠人工的方式在系统进行录入。通常来说，人工录入的缺陷描述文本不超50个字，尽管电网企业已建立了一套标准的电力设备缺陷文本描述库，但不同运维人员对录入的缺陷表述不一，同一缺陷不同人员描述可能存在较大偏差，使后续检修人员无法根据缺陷描述准确定位问题和提供缺陷处理手段，延误了缺陷处理时间。
尽管当前已有学者利用基于机器学习的组合算法开展缺陷文本的分类研究，然而仍存在以下的不足：
(1)在对缺陷文本数据处理的方法方面，之前提出的大多数方案需要在前期对训练文本进行分词、去停用词等预处理过程，将缺陷文本拆分为不同的词组进入向量化表示后再输入分类器，这种方法尽管可以在一定程度上针对特定领域的知识提高分类的精度，但由于前期文本预处理工作量较大，不仅增加模型处理时间及增加模型累计误差，模型的普遍适用性也有待提高。
申请号为CN202210026653.1的发明专利提出了《一种基于组合算法的电力设备缺陷文本特征的分类方法》，该技术方案采用jieba分词、建立词典和停用词表等对缺陷文本进行了预处理操作；
申请号为CN201810355793.7的发明专利提出了《一种基于TensorFlow框架的电力设备缺陷文本处理方法》，其技术方案采用中科院的开源分词系统ICTCLAS5.0对文本进行分词处理；
申请号为CN202010430653.9的发明专利提出了一种《一种基于特征扩展的Bert电网缺陷文本分类方法》，其技术方案虽然未采用分词、去停用词方法进行预处理，但其采用k-means聚类方法对文本特征进行了预处理。
(2)在分类的结果方面，之前提出的大多数方案仅按照缺陷等级进行分类，即分类为一般、重大、紧急三种类型，分类的种类较少，如CN108596470A、CN114372464A。本专利适用于现实场景下，具备对多种典型的缺陷类型进行分类的能力，如分类为颜色异常、温度异常、元器件故障、腐蚀、渗漏等。
发明内容
本发明为了克服以上技术的不足，提供了一种基于深度学习算法的电力设备缺陷短文本的分类方法和系统，采用归纳式学习方法，独创的提出了家族特征融合模型和改进的多头注意力模型，通过运用语义表示模块、家族特征融合模块、改进的多头注意力模块和Softmax分类器模块，在训练阶段融合每种类别的历史家族特征，实现在实施阶段对输入文本提高短文本分类的准确度，从而规范人工录入的缺陷描述。
本发明克服其技术问题所采用的技术方案是：
本申请的第一个方面提出了一种基于深度学习算法的电力设备缺陷短文本的分类方法，至少包括实施阶段，具体包括：对描述不规则的电力设备缺陷短文本基于Bert算法进行语义表示，从而获取对应描述不规则的电力设备缺陷短文本的一组实施语义特征向量；将两组相同的预训练家族特征矩阵和一组实施语义特征向量进行线性变换后，输入至改进的多头注意力模块，至少进行加性注意力机制、残差连接、拼接以及线性变换运算,从而提取预训练家族特征矩阵和语义特征向量的隐藏特征，得到转换后的特征向量；基于Softmax分类函数，对转换后的特征向量进行平均池化和非线性激活，确定描述不规则的电力设备缺陷短文本对应某一种标准化描述的缺陷类型的最佳匹配结果。
进一步的，还包括模型训练阶段，从而获得所述预训练家族特征矩阵，具体包括：将第一轮用于训练的短文本基于Bert算法进行语义表示，从而获取对应用于训练的短文本的第一轮的一组训练语义特征向量；基于全连接层对所述一组训练语义特征向量进行增维得到增维语义特征向量；通过对增维语义特征向量与第一家族特征矩阵进行平均池化，将平均池化后含有所述增维语义特征向量对应的信息，作为一种历史信息融入到第一家族特征矩阵中；基于全连接层对融入历史信息的第一家族特征矩阵进行降维，从而形成第二家族特征矩阵，用于下一轮训练，作为下一轮训练的第一家族特征矩阵；若本轮训练为最后一轮，则将第二家族特征矩阵作为预训练家族特征矩阵。
根据训练阶段短文本的历史信息，有效利用同类文本特征，利用训练样本不断强化家族特征信息，更新家族特征矩阵，从而增强整体系统的学习能力。
进一步的，所述模型训练阶段还包括更新模型参数，具体包括：将两组相同的第一家族特征矩阵和第一轮的一组训练语义特征向量进行变换后，输入至改进的多头注意力模块，至少进行加性注意力机制、残差连接、拼接以及线性变换运算，提取第一家族特征矩阵和第一轮的一组训练语义特征向量的隐藏特征，得到转换后的特征向量；基于Softmax分类函数，将转换后的特征向量经过平均池化和非线性激活，获取对应不同类别的损失函数并取其最优值，从而确定第一轮用于训练的短文本对应某一种标准化描述的缺陷类型的最佳匹配结果；基于反向传播算法，对模型训练阶段的参数进行更新，并将更新后的参数用于第二轮训练；重复上述训练过程，直至第一轮训练为最后一轮模型训练阶段，则更新后的参数用于实施阶段。
进一步的，首轮训练用的第一家族特征矩阵为随机生成矩阵。
进一步的，所述输入至改进的多头注意力模块，至少进行加性注意力机制、残差连接、拼接以及线性变换运算，具体包括：将两组相同的家族特征矩阵和一组语义特征向量进行线性变换后，输入至改进的多头注意力模块，得到与家族特征矩阵及一组语义特征向量的隐含类别特征；将隐含类别特征与线性变换后的语义特征向量进行残差连接；将残差连接和加性注意力预设权重矩阵进行若干次拼接后得到向量，作为所述转换后的特征向量，输出至Softmax分类器模块。
利用改进的多头注意力机制，使含有同类历史文本语义信息的家族特征融入语义表达，增强语义类别特征，将有助于消除类别决策边界模糊的缺点，提高分离超平面的分类效果。
进一步的，模型训练阶段更新的参数至少包括，反向传播算法更新训练过程的参数，至少包括全连接层的参数，Bert算法的参数和加性注意力权重矩阵的参数。
本发明的另一个方面提出了一种基于深度学习算法的电力设备缺陷短文本的分类系统，至少包括耦接的语义表示模块，家族特征融合模块，改进的多头注意力模块和Softmax分类器模块，所述语义表示模块基于Bert算法模型，用于对输入的电力设备缺陷短文本提取语义特征向量，分别输出至家族特征融合模块和改进的多头注意力模块；所述家族特征融合模块用于提供预训练家族特征矩阵至改进的多头注意力模块；所述改进的多头注意力模块用于将两组相同的家族特征矩阵和一组语义特征向量作为输入量，进行加性注意力机制、残差连接、拼接以及线性变换运算，提取家族特征矩阵和语义特征向量的隐藏特征，从而得到转换后的特征向量输出至Softmax分类器模块；所述Softmax分类器模块将输入的转换后的特征向量进行平均池化和非线性激活，从而确定电力设备缺陷短文本对应某一种标准化描述的缺陷类型的最佳匹配结果。
进一步的，所述改进的多头注意力模块至少包括加性注意力单元，所述改进的多头注意力模块用于将语义特征向量和家族特征矩阵进行线性变换，输入到加性注意力单元；所述加性注意力单元用于进行注意力机制运算；所述改进的多头注意力模块还用于将隐含类别特征与线性变换后的语义特征进行残差连接，以及，基于残差连接和加性注意力权重矩阵经过拼接和线性变换，得到转换后的特征向量。
把传统的缩放点乘注意力scale-dot product attention单元改为加性注意力additive attention单元，并且增加了残差链接，缓解梯度消失，加快模型收敛速度，增加了模型的学习能力，提高了算法精度。
本发明的有益效果是：
1、通过归纳式学习方法，融合每种类别的历史家族特征，实现对输入文本增强语义表示，从而提高短文本分类的准确度；
2、直接将电力设备缺陷短文本送入Bert模型中进行语义表示，得到语义特征向量，未另外对短文本进行复杂的预处理；
3、独创提出了家族特征融合算法模型，根据训练阶段短文本的历史信息，有效利用同类文本特征，利用训练样本不断强化家族特征信息，更新家族特征矩阵，从而增强整体系统的学习能力；
4、基于多头注意力机制，使含有同类历史文本语义信息的家族特征融入语义表达，增强语义类别特征，将有助于消除类别决策边界模糊的缺点，提高分离超平面的分类效果；
5、独创提出了改进的多头注意力模型，把传统的缩放点乘注意力scale-dotproduct attention单元改为加性注意力additive attention单元，并且增加了残差链接，缓解梯度消失，加快模型收敛速度，增加了模型的学习能力，提高了算法精度；
6、从应用效果上来说，减少了预处理的时间，提高了算法速度，并实现对人工录入的不规则的缺陷描述分类，表示为标准化的缺陷类型，提高设备缺陷处理的效率及标准化、智能化水平，同时为后续开展故障分析、设备状态评价、辅助决策等研究奠定了基础；
7、不仅适用于专用的电力设备缺陷文本，该方法也适用于一些通用的中英文数据集；在对通用的中英文短文本数据集进行分类场景中，取得了较好的分类准确度且具有较好的鲁棒性以及普适性，同时能够扩展应用于具有一定口语化且文本稀疏性高的电力行业其他工作场景。
附图说明
图1为本发明实施例的深度学习算法的电力设备缺陷短文本的分类方法流程示意图；
图2为缺陷描述和缺陷类型示例；
图3为本发明实施例的改进的多头注意力模块的原理示意图；
图4为本发明实施例的模型训练过程的流程示意图；
图5为本发明实施例的获得预训练家族特征矩阵的原理示意图；
图6为本发明实施例的深度学习算法的电力设备缺陷短文本的分类系统原理框图；
图7为通用的中文文本数据集本模型与部分传统模型的性能对比示意图；
图8为通用的英文文本数据集本模型与部分传统模型的性能对比示意图。
具体实施方式
为了进一步理解本发明，首先对本发明提到的部分术语进行解释：
Bert算法：Bidirectional Encoder Representation from Transformers,基于Transformers的双向编码表示算法；
Averaging：平均池化；
Concat：拼接；
Addition：残差连接；
Additive Attention：加性注意力算法；
Linear layer：线性层；
Linear：线性变换；
Softmax：归一化指数函数；
FC：Fully Connected Layer,全连接层；
Bert-TriF：本文所述的基于深度学习算法的电力设备缺陷短文本分类方法
为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。
如图1所示，本实施例所述的深度学习算法的电力设备缺陷短文本的分类方法的实施阶段的流程示意图，至少包括以下步骤。
S1，对描述不规则的电力设备缺陷短文本基于Bert算法进行语义表示，从而获取对应描述不规则的电力设备缺陷短文本的一组实施语义特征向量。
如图2所示的缺陷描述，为人工录入的描述不规则的电力设备缺陷短文本，由于不同人员的描述方式不一致，因此电力缺陷短文本的描述差别很大。
利用Bert算法对对描述不规则的电力设备缺陷短文本进行语义表示，得到对应描述不规则的电力设备缺陷短文本的一组实施语义特征向量xm，其中R是指实数，dm是xm的维度。
S2，将预训练家族特征矩阵和实施语义特征向量进行线性变换后，输入至改进的多头注意力模块，至少进行加性注意力机制、残差连接、拼接以及线性变换运算,从而提取预训练家族特征矩阵和语义特征向量的隐藏特征，得到转换后的特征向量；
在本发明的一个实施例中，将两组相同的预训练家族特征矩阵Fm和一组实施语义特征向量xm进行线性变换，作为三组向量输入到加性注意力单元。如图3所示，将V、K、Q输入至改进的多头注意力模块中，进行转换处理，其中，V指实施语义特征向量xm，K与Q为预训练家族特征矩阵Fm。
利用线性层对V、K、Q进行线性变换，得到 其中，dl为特征变换维度，权重矩阵/>为共享参数。
基于加性注意力机制，从预设家族特征矩阵中提取与实施语义特征向量相关的隐含类别特征fh，具体公式如(1)所示。
其中，为家族特征矩阵Fl中第i列，即第i类别的家族特征，ELU作为激活函数，αi为第i类别特征的注意力相关系数，αi的计算公式为公式(2)所示。
其中，为权重向量，P为连接运算符。
为了加强对隐含类别特征的提取，使用多头注意力机制，对实施语义特征向量与家族特征进行ha次融合，最后将增强的实施语义特征向量进行拼接，经过线性变换得到特征向量具体公式如公式(3)。
其中，为权重矩阵，fhk与xlk为第k次融合参数。
S3，基于Softmax分类函数，对转换后的特征向量进行平均池化和非线性激活，确定描述不规则的电力设备缺陷短文本对应某一种标准化描述的缺陷类型的最佳匹配结果。
为了提高家族特征融合效果的稳定性，将hf个不同家族特征信息分别聚集到实施语义特征向量中，经过平均池化和非线性激活，得到输出特征向量计算公式为公式(4)所示。
其中，softmax(xi)＝exp(xi)/∑jexp(xj)。
本发明提出的一种基于深度学习算法的电力设备缺陷短文本的分类方法，还包括模型训练阶段，其中，模型训练阶段中获得预训练家族特征矩阵的流程示意如图4所示。原理示意图如图5所示。
S1'，将第一轮用于训练的短文本基于Bert算法进行语义表示，从而获取对应用于训练的短文本的第一轮的一组训练语义特征向量。
S2'，基于全连接层对一组训练语义特征向量进行增维得到增维语义特征向量。
通过全连接层进行特征增强，得到增维语义特征向量计算公式为
xh＝LeakyReLU(Whxm+bh) (5)
其中，为权重矩阵，/>为偏置向量，使用LeakyReLU作为激活函数。
S3'，通过对增维语义特征向量与第一家族特征矩阵进行平均池化，将平均池化后含有所述增维语义特征向量对应的信息，作为一种历史信息融入到第一家族特征矩阵中。
记第一家族特征矩阵为初始化为零矩阵/>其中，N为文本类别数量，每一列/>为第n类文本家族特征。通过对增维语义特征向量与相应类别家族特征进行平均池化，将最新类别信息融入第一轮家族历史特征矩阵，得到更新后的家族特征矩阵fn′。
S4'，基于全连接层对融入历史信息的第一家族特征矩阵fn′进行降维，从而形成第二家族特征矩阵，用于下一轮训练，若本轮训练为最后一轮，则将第二家族特征矩阵作为预训练家族特征矩阵。
在使用第一家族特征矩阵进行语义增强时，需要对当前家族特征矩阵F进行降维，得到计算公式为
Fm＝LeakyReLU(WmF+Bm), (6)
其中，为权重矩阵，/>为偏置矩阵。
在本发明的一个实施例中，首轮训练用的第一家族特征矩阵为随机生成矩阵。
需要说明的是，第一家族特征矩阵并不特指首次进行训练的矩阵。为了方便对于训练过程进行描述，因此第一家族特征矩阵为一轮模型训练中所应用的基准家族特征矩阵，第二家族特征矩阵为对应本轮模型训练得到的家族特征矩阵。重复模型训练过程，如果本轮训练为最后一轮模型训练过程，则将得到的第二家族特征矩阵作为预训练家族特征矩阵。
对于模型训练过程，还包括更新模型参数过程，如图4所示，具体包括：
S5'，将两组相同的第一家族特征矩阵和第一轮的一组训练语义特征向量进行线性变换后，输入至改进的多头注意力模块，至少进行加性注意力机制、残差连接、拼接以及线性变换运算，提取第一家族特征矩阵和第一轮的一组训练语义特征向量的隐藏特征，得到转换后的特征向量。
在本发明的一个实施例中，本步骤计算过程可如步骤S2中的计算过程一致。
S6'，基于Softmax分类函数，将转换后的特征向量经过平均池化和非线性激活，获取对应不同类别的损失函数并取其最优值，从而确定第一轮用于训练的短文本对应某一种标准化描述的缺陷类型的最佳匹配结果；
在本发明的一个实施例中，本步骤计算过程可如步骤S3中的计算过程一致。
S7'，基于反向传播算法，对模型训练阶段的参数进行更新，并将更新后的参数用于第二轮训练。
其中，基于反向传播算法对模型训练阶段的参数进行更新，更新训练过程的参数，至少包括全连接层的参数，Bert算法的参数和加性注意力权重矩阵的参数。参数更新后参与模型训练阶段获得所述预训练家族特征矩阵的过程。
S8'，重复上述训练过程，直至第一轮训练为最后一轮模型训练阶段，则更新后的参数用于实施阶段。
在本发明的一个实施例中，参数设置如下。
Bert算法采用Google提供的Bert-Base预训练模型，其中，网络结构层数L＝12，隐藏层维数H＝dm＝768，自注意力机制头数A＝12，参数达到110M。在家族特征融合模块中，增维语义特征向量维度dh置为1024。在改进的多头注意力模块中，特征变换维度dl置为512，平行堆叠的注意力层数ha＝6，ELU激活函数的负半平面参数置为1，即
此外，模型学习率初始化为1e-4，每批训练集的数据量为128，共有hf＝6个家族特征融合模块与对应的改进多头注意力模块平行堆叠，其中，LeakyRELU激活函数的负半平面参数置为0.2，即
本发明的另一个方面还提出了一种基于深度学习算法的电力设备缺陷短文本的分类系统，用于运行上述基于深度学习算法的电力设备缺陷短文本的分类方法，如图6所示为其原理示意图。至少包括耦接的语义表示模块，家族特征融合模块，改进的多头注意力模块和Softmax分类器模块，其中，语义表示模块基于Bert算法模型，用于对输入的电力设备缺陷短文本提取语义特征向量，分别输出至家族特征融合模块和改进的多头注意力模块；家族特征融合模块用于提供预训练家族特征矩阵至改进的多头注意力模块；改进的多头注意力模块用于将两组相同的家族特征矩阵和一组语义特征向量作为输入量，进行加性注意力机制、残差连接、拼接以及线性变换运算，提取家族特征矩阵和语义特征向量的隐藏特征，从而得到转换后的特征向量输出至Softmax分类器模块；Softmax分类器模块将输入的转换后的特征向量进行平均池化和非线性激活，从而确定电力设备缺陷短文本对应某一种标准化描述的缺陷类型的最佳匹配结果。
其中，改进的多头注意力模块至少包括加性注意力单元，改进的多头注意力模块用于将语义特征向量和家族特征矩阵进行线性变换，输入到加性注意力单元；加性注意力单元用于进行注意力机制运算；改进的多头注意力模块还用于将隐含类别特征与线性变换后的语义特征进行残差连接，以及，基于残差连接和加性注意力权重矩阵经过拼接和线性变换，得到转换后的特征向量。
如图7和图8所示，为本申请的基于深度学习组合算法的电力设备缺陷短文本的分类方法和系统，与其他模型的性能对比图，图7是对于通用的中文文本数据集本模型与部分传统模型的性能对比示意，图8是对于通用的英文文本数据集本模型与部分传统模型的性能对比示意。因此，本申请除适用于专用的电力设备缺陷文本以外，也适用于一些通用的中英文数据集；二是在对通用的中英文短文本数据集进行分类实验中，与一些传统的模型进行对比，取得了较好的分类准确度，同时验证模型具有较好的鲁棒性以及普适性，能够应用于具有一定口语化且文本稀疏性高的电力运检场景，构建一种基于Bert与家族特征融合算法的电力设备缺陷短文本分类方法和系统，减少了预处理的时间，提高了算法速度。同时也实现对人工录入的不规则的缺陷描述分类，表示为标准化的缺陷类型，提高设备缺陷处理的效率及标准化、智能化水平，同时为后续开展故障分析、设备状态评价、辅助决策等研究奠定了基础。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

Claims (4)

1.一种基于深度学习算法的电力设备缺陷短文本的分类方法，其特征在于，至少包括实施阶段和模型训练阶段，其中实施阶段具体包括：
对描述不规则的电力设备缺陷短文本基于Bert算法进行语义表示，从而获取对应描述不规则的电力设备缺陷短文本的一组实施语义特征向量；
将两组相同的在模型训练阶段中获得的预训练家族特征矩阵和一组实施语义特征向量进行线性变换后，输入至改进的多头注意力模块，所述改进的多头注意力模块至少进行加性注意力机制、残差连接、拼接以及线性变换运算,从而提取预训练家族特征矩阵和电力设备缺陷短文本相关的隐藏特征，从而将转换后的特征向量输出至Softmax分类函数，其中，改进的多头注意力模块至少包括加性注意力单元，改进的多头注意力模块用于将语义特征向量和家族特征矩阵进行线性变换，输入到加性注意力单元，加性注意力单元用于进行注意力机制运算，改进的多头注意力模块还用于将隐藏特征与线性变换后的语义特征进行残差连接，以及，基于残差连接和加性注意力权重矩阵经过拼接和线性变换，得到转换后的特征向量；
基于Softmax分类函数，对转换后的特征向量进行平均池化和非线性激活，确定描述不规则的电力设备缺陷短文本对应某一种标准化描述的缺陷类型的最佳匹配结果；
其中，所述预训练家族特征矩阵从模型训练阶段获取的最终训练后的第二家族特征矩阵，所述模型训练阶段获取预训练家族特征矩阵包括：
将第一轮用于训练的短文本基于Bert算法进行语义表示，从而获取对应用于训练的短文本的一组训练语义特征向量；基于全连接层对所述一组训练语义特征向量进行增维得到增维语义特征向量；通过对增维语义特征向量与第一家族特征矩阵进行平均池化，将平均池化后含有所述增维语义特征向量对应的信息，作为一种历史信息融入到下一轮的第一家族特征矩阵中；其中，第一家族特征矩阵为一轮模型训练中所应用的基准家族特征矩阵，第一轮用于训练的第一家族特征矩阵为随机生成矩阵，若本轮训练为最后一轮，则将第二家族特征矩阵作为预训练家族特征矩阵；基于全连接层对融入历史信息的第一家族特征矩阵进行降维，从而形成第二家族特征矩阵作为改进的多头注意力机制的两组相同的输入。
2.根据权利要求1所述的基于深度学习算法的电力设备缺陷短文本的分类方法，其特征在于，所述模型训练阶段还包括更新模型参数，具体包括：
将两组相同的第一家族特征矩阵和第一轮的一组训练语义特征向量进行变换后，输入至改进的多头注意力模块，至少进行加性注意力机制、残差连接、拼接以及线性变换运算，提取第一家族特征矩阵和第一轮的一组训练语义特征向量的隐藏特征，得到转换后的特征向量；
基于Softmax分类函数，将转换后的特征向量经过平均池化和非线性激活，获取对应不同类别的损失函数并取其最优值，从而确定第一轮用于训练的短文本对应某一种标准化描述的缺陷类型的最佳匹配结果；
基于反向传播算法，对模型训练阶段的参数进行更新，并将更新后的参数用于第二轮训练；
重复上述训练过程，直至第一轮训练为最后一轮模型训练阶段，则更新后的参数用于实施阶段。
3.根据权利要求2所述的基于深度学习算法的电力设备缺陷短文本的分类方法，其特征在于，模型训练阶段更新的参数至少包括，反向传播算法更新训练过程的参数，至少包括全连接层的参数，Bert算法的参数和加性注意力权重矩阵的参数。
4.一种基于深度学习算法的电力设备缺陷短文本的分类系统，用于运行权利要求1-3任一项所述的基于深度学习算法的电力设备缺陷短文本的分类方法，其特征在于，至少包括耦接的语义表示模块，家族特征融合模块，改进的多头注意力模块和Softmax分类器模块，
所述语义表示模块基于Bert算法模型，用于对输入的电力设备缺陷短文本提取语义特征向量，分别输出至家族特征融合模块和改进的多头注意力模块；
所述家族特征融合模块用于提供预训练家族特征矩阵至改进的多头注意力模块；
所述改进的多头注意力模块用于将两组相同的家族特征矩阵和一组语义特征向量作为输入量，进行加性注意力机制、残差连接、拼接以及线性变换运算，提取家族特征矩阵和输入的电力设备缺陷短文本的隐藏特征，从而得到转换后的特征向量输出至Softmax分类器模块；
所述Softmax分类器模块将输入的转换后的特征向量进行平均池化和非线性激活，从而确定电力设备缺陷短文本对应某一种标准化描述的缺陷类型的最佳匹配结果。
CN202211191939.1A 2022-09-28 2022-09-28 基于深度学习算法的电力设备缺陷短文本分类方法和系统 Active CN115617990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211191939.1A CN115617990B (zh) 2022-09-28 2022-09-28 基于深度学习算法的电力设备缺陷短文本分类方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211191939.1A CN115617990B (zh) 2022-09-28 2022-09-28 基于深度学习算法的电力设备缺陷短文本分类方法和系统

Publications (2)

Publication Number Publication Date
CN115617990A CN115617990A (zh) 2023-01-17
CN115617990B true CN115617990B (zh) 2023-09-05

Family

ID=84860879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211191939.1A Active CN115617990B (zh) 2022-09-28 2022-09-28 基于深度学习算法的电力设备缺陷短文本分类方法和系统

Country Status (1)

Country Link
CN (1) CN115617990B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116775871A (zh) * 2023-06-15 2023-09-19 南京航空航天大学 基于seBERT预训练模型的深度学习软件缺陷报告分类方法
CN117435933B (zh) * 2023-12-22 2024-04-16 浙江大学 融合预训练语言模型和图谱的变压器设备健康度评价方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866117A (zh) * 2019-10-25 2020-03-06 西安交通大学 一种基于语义增强与多层次标签嵌入的短文本分类方法
CN110895565A (zh) * 2019-11-29 2020-03-20 国网湖南省电力有限公司 一种电力设备故障缺陷文本分类方法与系统
CN112199496A (zh) * 2020-08-05 2021-01-08 广西大学 基于多头注意力机制与rcnn网络的电网设备缺陷文本分类方法
CN112528668A (zh) * 2020-11-27 2021-03-19 湖北大学 深层情感语义识别方法、系统、介质、计算机设备及终端
CN113239700A (zh) * 2021-04-27 2021-08-10 哈尔滨理工大学 改进bert的文本语义匹配设备、系统、方法及存储介质
CN113239690A (zh) * 2021-03-24 2021-08-10 浙江工业大学 基于Bert与全连接神经网络融合的中文文本意图识别方法
CN113987188A (zh) * 2021-11-10 2022-01-28 重庆邮电大学 一种短文本分类方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11347944B2 (en) * 2020-01-27 2022-05-31 Walmart Apollo, Llc Systems and methods for short text identification

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866117A (zh) * 2019-10-25 2020-03-06 西安交通大学 一种基于语义增强与多层次标签嵌入的短文本分类方法
CN110895565A (zh) * 2019-11-29 2020-03-20 国网湖南省电力有限公司 一种电力设备故障缺陷文本分类方法与系统
CN112199496A (zh) * 2020-08-05 2021-01-08 广西大学 基于多头注意力机制与rcnn网络的电网设备缺陷文本分类方法
CN112528668A (zh) * 2020-11-27 2021-03-19 湖北大学 深层情感语义识别方法、系统、介质、计算机设备及终端
CN113239690A (zh) * 2021-03-24 2021-08-10 浙江工业大学 基于Bert与全连接神经网络融合的中文文本意图识别方法
CN113239700A (zh) * 2021-04-27 2021-08-10 哈尔滨理工大学 改进bert的文本语义匹配设备、系统、方法及存储介质
CN113987188A (zh) * 2021-11-10 2022-01-28 重庆邮电大学 一种短文本分类方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dongxue Bao等.Short Text Classification Model Based on BERT and Fusion Network.《CSAI '21: Proceedings of the 2021 5th International Conference on Computer Science and Artificial IntelligenceDecember 2021》.2022,全文. *

Also Published As

Publication number Publication date
CN115617990A (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN115617990B (zh) 基于深度学习算法的电力设备缺陷短文本分类方法和系统
CN111337768B (zh) 变压器油中溶解气体的深度并行故障诊断方法及系统
CN110490946B (zh) 基于跨模态相似度和生成对抗网络的文本生成图像方法
CN112069940B (zh) 一种基于分阶段特征学习的跨域行人重识别方法
CN113283027B (zh) 一种基于知识图谱和图神经网络的机械故障诊断方法
CN109543502A (zh) 一种基于深度多尺度神经网络的语义分割方法
CN112883197B (zh) 一种用于封闭开关设备的知识图谱构建方法与系统
CN111475655A (zh) 一种基于配电网知识图谱的电力调度文本实体链接方法
CN113673242A (zh) 一种基于k邻近结点算法和对比学习的文本分类方法
CN114241191A (zh) 一种基于跨模态自注意力的无候选框指代表达理解方法
CN115186102A (zh) 基于双流嵌入和深度神经网络的动态知识图谱补全方法
CN116662565A (zh) 基于对比学习预训练的异质信息网络关键词生成方法
CN115687609A (zh) 一种基于Prompt多模板融合的零样本关系抽取方法
CN113392191B (zh) 一种基于多维度语义联合学习的文本匹配方法和装置
CN111898756B (zh) 一种多目标信息关联神经网络损失函数计算方法及装置
CN117435992A (zh) 一种用于盾构机液压推进系统的故障预测方法及系统
CN113342982B (zh) 融合RoBERTa和外部知识库的企业行业分类方法
CN115310560A (zh) 一种基于模态空间同化和对比学习的多模态情感分类方法
CN116049450A (zh) 一种基于距离聚类的支持多模态的图文检索方法及装置
CN115982374A (zh) 大坝应急响应知识库联动的多视角学习实体对齐方法和系统
CN114896415A (zh) 基于轻量级自注意力机制的实体关系联合抽取方法及装置
CN113487194A (zh) 一种基于文本分类的电力系统调度员等级评估系统
CN114357166A (zh) 一种基于深度学习的文本分类方法
CN114610882A (zh) 一种基于电力短文本分类的异常设备编码检测方法和系统
CN111858682A (zh) 一种基于深度学习的裁判文书逻辑评估方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant