CN112559741A - 核电设备缺陷记录文本分类方法、系统、介质及电子设备 - Google Patents

核电设备缺陷记录文本分类方法、系统、介质及电子设备 Download PDF

Info

Publication number
CN112559741A
CN112559741A CN202011395959.1A CN202011395959A CN112559741A CN 112559741 A CN112559741 A CN 112559741A CN 202011395959 A CN202011395959 A CN 202011395959A CN 112559741 A CN112559741 A CN 112559741A
Authority
CN
China
Prior art keywords
nuclear power
defect
power equipment
hidden layer
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011395959.1A
Other languages
English (en)
Other versions
CN112559741B (zh
Inventor
崔妍
周勇
陈世均
张兰岐
黄立军
朱鹏树
陈星�
梁永飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China General Nuclear Power Corp
CGN Power Co Ltd
Guangdong Nuclear Power Joint Venture Co Ltd
Suzhou Nuclear Power Research Institute Co Ltd
Original Assignee
China General Nuclear Power Corp
CGN Power Co Ltd
Guangdong Nuclear Power Joint Venture Co Ltd
Suzhou Nuclear Power Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China General Nuclear Power Corp, CGN Power Co Ltd, Guangdong Nuclear Power Joint Venture Co Ltd, Suzhou Nuclear Power Research Institute Co Ltd filed Critical China General Nuclear Power Corp
Priority to CN202011395959.1A priority Critical patent/CN112559741B/zh
Publication of CN112559741A publication Critical patent/CN112559741A/zh
Application granted granted Critical
Publication of CN112559741B publication Critical patent/CN112559741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种核电设备缺陷记录文本分类方法、系统、介质及电子设备，该方法包括以下步骤：S1：提取所述核电设备缺陷记录文本中多个带有电力语义信息的词向量；S2：将多个所述词向量输入BiLSTM模型后利用注意力机制为有效信息赋予不同的权重，得到最终的待分类向量；S3：将所述待分类向量经过全连接层组合后，输出至Softmax分类器中以根据所述权重进行分类。本发明提出了基于注意力机制的神经网络模型，通过该模型能够实现核电设备缺陷记录文本的自动、精准、高效分类，可以降低人为工作量，并能更快速准确地对核电设备故障进行诊断。在部分运维人员知识储备相对较少地区，可有效提高缺陷程度诊断的正确率。

Description

核电设备缺陷记录文本分类方法、系统、介质及电子设备
技术领域
本发明涉及核电技术领域，尤其涉及一种核电设备缺陷记录文本分类方法、系统、介质及电子设备。
背景技术
在针对核电设备缺陷记录文本的相关研究中，国外已有利用机器学习的相关算法，即通过历史故障时间记录和天气数据进行设备故障预测。麻省理工学院对纽约城市电缆数万条的故障单进行组件和系统故障风险预测，从而为检修井的巡视提供了帮助。也有学者采用新颖的方法对社交网络(Twitter)中关于停电的社交数据进行挖掘，为电网停电管理提供参考。此外，由于语言形式的不同，中英文文本在分词方式以及词向量对应上有所不同，中文的预处理过程会相对复杂一些。在国内，先后有学者将传统机器学习和深度学习引入至电力设备缺陷文本挖掘领域中，并逐渐取得更优的效果，但是这些模型存在较多无义信息混淆特征向量而误分类。业内有几种方法：如将知识图谱技术应用于缺陷记录中，利用图搜索技术实现电力设备缺陷文本的检索；如将CNN应用于变压器设备缺陷文本分类，该方法首先对缺陷现象文本进行分词，再将词语向量化，输入CNN中进行训练。但是该方法仅仅对文本进行了一次串行浅层特征提取，不能很好地挖掘长文本深层语义信息；如将RNN和CNN用于变压器运维文本信息挖掘，从而取得较优的分类效果。但该模型仅仅通过CNN中的最大池化层提取特征信息，无法对特征进行注意力学习，因此仍需要对网络模型进一步优化，以实现对长文本重点语义信息的特征提取。
并且，核电厂重要设备拥有大量的设备缺陷记录文本，但是缺少系统化的利用和整理，且受限于运检人员的知识储备，常出现误分类的情况。
发明内容
本发明要解决的技术问题在于，针对现有技术的缺陷，提供一种核电设备缺陷记录文本分类方法、系统、介质及电子设备。
本发明解决其技术问题所采用的技术方案是：构造一种核电设备缺陷记录文本分类方法，包括以下步骤：
S1：提取所述核电设备缺陷记录文本中多个带有电力语义信息的词向量；
S2：将多个所述词向量输入BiLSTM模型后利用注意力机制为有效信息赋予不同的权重，得到最终的待分类向量；
S3：将所述待分类向量经过全连接层组合后，输出至Softmax分类器中以根据所述权重进行分类。
优选地，在本发明所述的核电设备缺陷记录文本分类方法中，所述步骤S1包括：
S11：对所述核电设备缺陷记录文本进行文本预处理，获得有效词语；
S12：根据所述有效词语，利用词嵌入模型得到多个带有电力语义信息的词向量。
优选地，在本发明所述的核电设备缺陷记录文本分类方法中，所述文本预处理包括：文本分词以及词汇特征提取。
优选地，在本发明所述的核电设备缺陷记录文本分类方法中，所述步骤S12包括：
S121：预构建电力设备缺陷语料库，存储缺陷语料以及对应的语料特征；
S122：利用word2vec词嵌入模型将所述有效词语映射到K维的语料特征空间，计算所述有效词语的词汇特征与所述语料特征的相关性，形成分布式词向量，从中选择正相关的词向量，得到带有电力语义信息的词向量。
优选地，在本发明所述的核电设备缺陷记录文本分类方法中，所述步骤S2包括：
S21：将多个所述词向量分别输入BiLSTM模型中，经过前向LSTM和后向LSTM后，得到每个时间步输出的表示有效信息的隐藏层状态；
S22：利用注意力机制，为每个所述隐藏层状态赋予相应的权重，以得到最终的待分类向量。
优选地，在本发明所述的核电设备缺陷记录文本分类方法中，所述步骤S22包括：
S221：计算多个所述隐藏层状态，得到所有隐藏层状态向量；
S222：计算每个所述隐藏层状态与所述所有隐藏层状态向量的相似性，根据相似性，利用注意力机制为每个所述隐藏层状态赋予相应权重的注意力值向量，得到最终的待分类向量。
优选地，在本发明所述的核电设备缺陷记录文本分类方法中，所述步骤S3中根据所述权重进行分类，包括：
根据预设注意力值向量标准，提取所述标准下的注意力值向量所对应的隐藏层状态；
计算所述隐藏层状态与所述Softmax分类器中预设类别的相关性并进行统计，获得所属预设类别的概率；
选取概率最大的类作为最终类，完成文本分类。
优选地，在本发明所述的核电设备缺陷记录文本分类方法中，所述核电设备缺陷记录文本包括：非结构化的事件工单、核电群厂经验反馈、外部经验反馈、STA周报、巡检信息。
本发明还构造了一种核电设备缺陷记录文本分类系统，包括：
提取模块，用于提取所述核电设备缺陷记录文本中多个带有电力语义信息的词向量；
注意模块，用于将多个所述词向量输入BiLSTM模型后利用注意力机制为有效信息赋予不同的权重，得到最终的待分类向量；
分类模块，用于将所述待分类向量经过全连接层组合后，输出至Softmax分类器中以根据所述权重进行分类。
优选地，在本发明所述的核电设备缺陷记录文本分类系统中，所述提取模块包括：
预处理模块，用于对所述核电设备缺陷记录文本进行文本预处理，获得有效词语；
词向量模块，用于根据所述有效词语，利用词嵌入模型得到多个带有电力语义信息的词向量。
优选地，在本发明所述的核电设备缺陷记录文本分类系统中，所述文本预处理包括：文本分词以及词汇特征提取。
优选地，在本发明所述的核电设备缺陷记录文本分类系统中，所述词向量模块包括：
预构建模块，用于预构建电力设备缺陷语料库，存储缺陷语料以及对应的语料特征；
选择模块，用于利用word2vec词嵌入模型将所述有效词语映射到K维的语料特征空间，计算所述有效词语的词汇特征与所述语料特征的相关性，形成分布式词向量，从中选择正相关的词向量，得到带有电力语义信息的词向量。
优选地，在本发明所述的核电设备缺陷记录文本分类系统中，所述注意模块包括：
有效信息模块，用于将多个所述词向量分别输入BiLSTM模型中，经过前向LSTM和后向LSTM后，得到每个时间步输出的表示有效信息的隐藏层状态；
权重模块，用于利用注意力机制，为每个所述隐藏层状态赋予相应的权重，以得到最终的待分类向量。
优选地，在本发明所述的核电设备缺陷记录文本分类系统中，所述权重模块包括：
计算模块，用于计算多个所述隐藏层状态，得到所有隐藏层状态向量；
赋予模块，用于计算每个所述隐藏层状态与所述所有隐藏层状态向量的相似性，根据相似性，利用注意力机制为每个所述隐藏层状态赋予相应权重的注意力值向量，得到最终的待分类向量。
优选地，在本发明所述的核电设备缺陷记录文本分类系统中，所述分类模块中包括：
隐藏层提取模块，用于根据预设注意力值向量标准，提取所述标准下的注意力值向量所对应的隐藏层状态；
相关性计算模块，用于计算所述隐藏层状态与所述Softmax分类器中预设类别的相关性并进行统计，获得所属预设类别的概率；
选取模块，用于选取概率最大的类作为最终类，完成文本分类。
优选地，在本发明所述的核电设备缺陷记录文本分类系统中，所述核电设备缺陷记录文本包括：非结构化的事件工单、核电群厂经验反馈、外部经验反馈、STA周报、巡检信息。
本发明还构造了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的核电设备缺陷记录文本分类方法。
本发明还构造了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述任一项所述的核电设备缺陷记录文本分类方法。
通过实施本发明，具有以下有益效果：
本发明提出了基于注意力机制的神经网络模型，以混淆矩阵、准确率为评价依据，与传统机器学习模型、CNN、BiLSTM模型进行对比，深度学习模型相比于机器学习模型能够更有效地提取句义信息，对含有无义干扰信息的长文本有更好的分类效果，因此相对于CNN、BiLSTM模型有更好地分类性能，能够实现核电设备缺陷记录文本的自动、精准、高效分类，可以降低人为工作量，并能更快速准确地对核电设备故障进行诊断。在部分运维人员知识储备相对较少地区，可有效提高缺陷程度诊断的正确率。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明核电设备缺陷记录文本分类方法的流程示意图；
图2是本发明BiLSTM模型示意图；
图3是本发明注意力机制计算步骤；
图4是本发明基于注意力机制的神经网络算法；
图5是本发明核电设备缺陷记录文本分类系统的模块示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
需要说明的是，附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本发明为进一步提高深度学习在核电设备缺陷记录文本中的分类模型性能，本发明创新性地将注意力机制引入核电设备缺陷记录文本挖掘领域，并提出基于注意力机制的神经网络算法，提高了含有无义混淆信息长文本的特征提取能力和分类能力。
第一实施例，如图1所示，本发明构造了一种核电设备缺陷记录文本分类方法，其中核电设备缺陷记录文本包括：非结构化的事件工单、核电群厂经验反馈、外部经验反馈、STA周报、巡检信息。一条规范的核电设备缺陷记录应完整地描述一种缺陷情况，即必须包括一个明确的缺陷主体及其对应的缺陷现象，还可能包括对缺陷现象的程度和量化单位的描述。而对于缺陷主体不明确、缺陷现象记录有误、缺陷程度和单位记录有误，可通过检索查错流程进行识别，同步辅以专家知识经验予以校核。
该核电设备缺陷记录文本分类方法包括以下步骤：
步骤S1：提取核电设备缺陷记录文本中多个带有电力语义信息的词向量；
步骤S2：将多个词向量输入BiLSTM模型后利用注意力机制为有效信息赋予不同的权重，得到最终的待分类向量，如图4所示；
步骤S3：将待分类向量经过全连接层组合后，输出至Softmax分类器中以根据权重进行分类，如图4所示。
具体地，在本实施例中，步骤S1：提取核电设备缺陷记录文本中多个带有电力语义信息的词向量，包括：
步骤S11：对核电设备缺陷记录文本进行文本预处理，获得有效词语。
其中，文本预处理包括：文本分词以及词汇特征提取。该文本分词技术为基于字典的分词技术或者基于统计规律的无字典分词技术或者两者的结合。在一些实施例中，还可对核电设备缺陷记录文本进行文本表示，方便运检人员查看以及确认需要分类的核电设备缺陷记录文本。
步骤S12：根据有效词语，利用词嵌入模型得到多个带有电力语义信息的词向量。其中，词嵌入模型也称词的分布式表示模型，广泛用于词语的向量表示。词嵌入模型是将文本空间中的某个词语通过一定的方法映射到另一个K维数值向量空间。词嵌入模型采用神经网络训练词向量，因此词嵌入模型能够尽可能地保留词语之间的相似性。
在本实施例中，步骤S12包括：
步骤S121：预构建电力设备缺陷语料库，存储缺陷语料以及对应的语料特征；
步骤S122：利用word2vec词嵌入模型将有效词语映射到K维的语料特征空间，计算有效词语的词汇特征与语料特征的相关性，形成分布式词向量，从中选择正相关的词向量，得到带有电力语义信息的词向量。其中，word2vec词嵌入模型，由预处理模块和浅层神经网络组成。该模型的输入为独热编码，输出为神经网络输入层与单隐藏层之间的权重值，并用这些值组成词向量。
在本实施例中，步骤S2：将多个词向量输入BiLSTM模型后利用注意力机制为有效信息赋予不同的权重，得到最终的待分类向量，包括：
步骤S21：将多个词向量分别输入BiLSTM模型中，经过前向LSTM和后向LSTM后，得到每个时间步输出的表示有效信息的隐藏层状态。如图2所示，Xi(i＝0，1,2,3…t)代表词向量，Af代表仅利用前向信息的LSTM，Ab代表仅利用后向信息的LSTM，hi(i＝0，1,2,3…n)代表隐藏层状态；
步骤S22：利用注意力机制，为每个隐藏层状态赋予相应的权重，以得到最终的待分类向量。
在本实施例中，步骤S22如图3所示，包括：
步骤S221：计算多个隐藏层状态hi，得到所有隐藏层状态向量H；
步骤S222：计算每个隐藏层状态hi与所有隐藏层状态向量H的相似性，根据相似性，利用注意力机制为每个隐藏层状态hi赋予相应权重的注意力值向量，即进行加权求和，将每个隐藏层状态hi与注意力值向量进行矩阵相乘，得到最终的待分类向量。在本实施例中，计算每个隐藏层状态hi与所有隐藏层状态向量H的相似性后，根据Softmax分类器对相似性进行归一化处理，将相似性转换为所有相似性权重之和为1并且突出重要元素权重，然后再利用注意力机制为每个隐藏层状态hi赋予相应权重的注意力值向量。
其中，BiLSTM，在文本语义分析中，单向的LSTM只能利用之前的字词作语义分析，而BiLSTM可以利用过去和未来的信息做出更加完善详尽的决策。图2为BiLSTM模型。Af代表仅利用前向信息的LSTM，Ab代表仅利用后向信息的LSTM。BiLSTM由于能够同时利用前向和后向的信息，在处理文本信息时能够获取到更多的信息，更有利于后续的分类任务。
注意力机制，序列到序列模型需要计算解码器状态和编码器状态的注意力分数。在随后的注意力机制模型中，把计算注意力分数的对象抽象为请求(Query)和键(Key)。一般来说，请求为解码器状态，键是编码器状态。在本实施例中，在BiLSTM-Attention模型中，将经过BiLSTM模型得到的所有隐藏层状态向量(H)作为请求，将BiLSTM模型每个时间步输出的隐藏层状态(hi)作为键和值。在步骤S222中，对值按权重系数进行加权求和，也就是将请求与得到注意力值向量进行矩阵相乘，以得到最终的待分类向量。
而针对BiLSTM使用注意力机制，其物理意义是对有助于文本分类的关键信息加大权重，对干扰无义信息减小权重，从而进一步提高模型特征抽取的准确性。注意力机制对BiLSTM提取出来的状态信息序列进行加权变换，自动按信息的重要程度不同赋予不同的权重。
在本实施例中，步骤S3中采用的全连接神经网络(DNN)是最朴素的神经网络。其由输入层、隐藏层和输出层组成。一个DNN结构只有一个输入层、一个输出层，输入层与输出层之间的都是隐藏层，每一层神经网络有若干神经元，层与层之间神经元相互连接，层内神经元互不连接，而且下一层神经元连接上一层所有的神经元。
步骤S3中根据权重进行分类，包括：
根据预设注意力值向量标准，提取标准下的注意力值向量所对应的隐藏层状态；
计算隐藏层状态与Softmax分类器中预设类别的相关性并进行统计，获得所属预设类别的概率；
选取概率最大的类作为最终类，完成文本分类。
在另外一些实施例中，本发明还提出了缺陷处理优先指数，为核电设备缺陷记录文本中记录的缺陷进行优先指数预先设定，根据缺陷获取对应的优先指数，并根据优先指数对文本进行优先分类，为实际运维的设备缺陷处理提供指导。
通过实施本发明，本方法模型比BiLSTM和CNN模型在挖掘电力缺陷文本时效果更好，F1Micro值为0.9634，测试集分类准确率高达96.81％，训练集分类准确率高达99.81％。虽然BiLSTM模型相比于CNN模型能够有效地记忆前后文的信息，但由于本方法所研究的核电设备缺陷记录文本序列长度一般较短，长文本所占比例不高，没能够很好地凸显LSTM的优点，因而BiLSTM模型比CNN模型的评价指标仅稍微高了一点，但基于注意力机制的神经网络模型相比于BiLSTM模型能够对重要信息赋予权重，因此该模型比BiLSTM模型有更好的分类性能。
本发明提出了基于注意力机制的神经网络模型，以混淆矩阵、准确率为评价依据，与传统机器学习模型、CNN、BiLSTM模型进行对比，深度学习模型相比于机器学习模型能够更有效地提取句义信息，对含有无义干扰信息的长文本有更好的分类效果，因此相对于CNN、BiLSTM模型有更好地分类性能，能够实现核电设备缺陷记录文本的自动、精准、高效分类，可以降低人为工作量，并能更快速准确地对核电设备故障进行诊断。在部分运维人员知识储备相对较少地区，可有效提高缺陷程度诊断的正确率。
第二实施例，本发明构造了一种核电设备缺陷记录文本分类系统，其中核电设备缺陷记录文本包括：非结构化的事件工单、核电群厂经验反馈、外部经验反馈、STA周报、巡检信息。一条规范的核电设备缺陷记录应完整地描述一种缺陷情况，即必须包括一个明确的缺陷主体及其对应的缺陷现象，还可能包括对缺陷现象的程度和量化单位的描述。而对于缺陷主体不明确、缺陷现象记录有误、缺陷程度和单位记录有误，可通过检索查错流程进行识别，同步辅以专家知识经验予以校核。
如图5所示，该核电设备缺陷记录文本分类系统包括：
提取模块，用于提取核电设备缺陷记录文本中多个带有电力语义信息的词向量；
注意模块，用于将多个词向量输入BiLSTM模型后利用注意力机制为有效信息赋予不同的权重，得到最终的待分类向量；
分类模块，用于将待分类向量经过全连接层组合后，输出至Softmax分类器中以根据权重进行分类。
具体地，在本实施例中，提取模块包括：预处理模块和词向量模块。
预处理模块，用于对核电设备缺陷记录文本进行文本预处理，获得有效词语。其中，文本预处理包括：文本分词以及词汇特征提取。该文本分词技术为基于字典的分词技术或者基于统计规律的无字典分词技术或者两者的结合。在一些实施例中，还可对核电设备缺陷记录文本进行文本表示，方便运检人员查看以及确认需要分类的核电设备缺陷记录文本。
词向量模块，用于根据有效词语，利用词嵌入模型得到多个带有电力语义信息的词向量。其中，词嵌入模型也称词的分布式表示模型，广泛用于词语的向量表示。词嵌入模型是将文本空间中的某个词语通过一定的方法映射到另一个K维数值向量空间。词嵌入模型采用神经网络训练词向量，因此词嵌入模型能够尽可能地保留词语之间的相似性。
在本实施例中，词向量模块包括：
预构建模块，用于预构建电力设备缺陷语料库，存储缺陷语料以及对应的语料特征；
选择模块，用于利用word2vec词嵌入模型将有效词语映射到K维的语料特征空间，计算有效词语的词汇特征与语料特征的相关性，形成分布式词向量，从中选择正相关的词向量，得到带有电力语义信息的词向量。其中，word2vec词嵌入模型，由预处理模块和浅层神经网络组成。该模型的输入为独热编码，输出为神经网络输入层与单隐藏层之间的权重值，并用这些值组成词向量。
在本实施例中，注意模块包括：
有效信息模块，用于将多个词向量分别输入BiLSTM模型中，经过前向LSTM和后向LSTM后，得到每个时间步输出的表示有效信息的隐藏层状态。如图2所示，Xi(i＝0，1,2,3…t)代表词向量，Af代表仅利用前向信息的LSTM，Ab代表仅利用后向信息的LSTM，hi(i＝0，1,2,3…n)代表隐藏层状态；
权重模块，用于利用注意力机制，为每个隐藏层状态赋予相应的权重，以得到最终的待分类向量。
在本实施例中，权重模块包括：
计算模块，用于计算多个隐藏层状态，得到所有隐藏层状态向量；
赋予模块，用于计算每个隐藏层状态hi与所有隐藏层状态向量H的相似性，根据相似性，利用注意力机制为每个隐藏层状态hi赋予相应权重的注意力值向量，即进行加权求和，将每个隐藏层状态hi与注意力值向量进行矩阵相乘，得到最终的待分类向量。在本实施例中，计算每个隐藏层状态hi与所有隐藏层状态向量H的相似性后，根据Softmax分类器对相似性进行归一化处理，将相似性转换为所有相似性权重之和为1并且突出重要元素权重，然后再利用注意力机制为每个隐藏层状态hi赋予相应权重的注意力值向量。
其中，BiLSTM，在文本语义分析中，单向的LSTM只能利用之前的字词作语义分析，而BiLSTM可以利用过去和未来的信息做出更加完善详尽的决策。图2为BiLSTM模型。Af代表仅利用前向信息的LSTM，Ab代表仅利用后向信息的LSTM。BiLSTM由于能够同时利用前向和后向的信息，在处理文本信息时能够获取到更多的信息，更有利于后续的分类任务。
注意力机制，序列到序列模型需要计算解码器状态和编码器状态的注意力分数。在随后的注意力机制模型中，把计算注意力分数的对象抽象为请求(Query)和键(Key)。一般来说，请求为解码器状态，键是编码器状态。在本实施例中，在BiLSTM-Attention模型中，将经过BiLSTM模型得到的所有隐藏层状态向量(H)作为请求，将BiLSTM模型每个时间步输出的隐藏层状态(hi)作为键和值。在赋予模块中，对值按权重系数进行加权求和，也就是将请求与得到注意力值向量进行矩阵相乘，以得到最终的待分类向量。
而针对BiLSTM使用注意力机制，其物理意义是对有助于文本分类的关键信息加大权重，对干扰无义信息减小权重，从而进一步提高模型特征抽取的准确性。注意力机制对BiLSTM提取出来的状态信息序列进行加权变换，自动按信息的重要程度不同赋予不同的权重。
在本实施例中，分类模块中中采用的全连接神经网络(DNN)是最朴素的神经网络。其由输入层、隐藏层和输出层组成。一个DNN结构只有一个输入层、一个输出层，输入层与输出层之间的都是隐藏层，每一层神经网络有若干神经元，层与层之间神经元相互连接，层内神经元互不连接，而且下一层神经元连接上一层所有的神经元。
分类模块中包括：
隐藏层提取模块，用于根据预设注意力值向量标准，提取标准下的注意力值向量所对应的隐藏层状态；
相关性计算模块，用于计算隐藏层状态与Softmax分类器中预设类别的相关性并进行统计，获得所属预设类别的概率；
选取模块，用于选取概率最大的类作为最终类，完成文本分类。
在另外一些实施例中，本发明还提出了缺陷处理优先指数，即还包括优先模块，用于为核电设备缺陷记录文本中记录的缺陷进行优先指数预先设定，根据缺陷获取对应的优先指数，并根据优先指数对文本进行优先分类，为实际运维的设备缺陷处理提供指导。
第三实施例，本发明还构造了一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一实施例所述的核电设备缺陷记录文本分类方法，在此不再赘述。
第四实施例，本发明还构造了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如第一实施例所述的核电设备缺陷记录文本分类方法，在此不再赘述。
可以理解的，以上实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，可以对上述技术特点进行自由组合，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，凡跟本发明权利要求范围所做的等同变换与修饰，均应属于本发明权利要求的涵盖范围。

Claims (18)

1.一种核电设备缺陷记录文本分类方法，其特征在于，包括以下步骤：
S1：提取所述核电设备缺陷记录文本中多个带有电力语义信息的词向量；
S2：将多个所述词向量输入BiLSTM模型后利用注意力机制为有效信息赋予不同的权重，得到最终的待分类向量；
S3：将所述待分类向量经过全连接层组合后，输出至Softmax分类器中以根据所述权重进行分类。
2.根据权利要求1所述的核电设备缺陷记录文本分类方法，其特征在于，所述步骤S1包括：
S11：对所述核电设备缺陷记录文本进行文本预处理，获得有效词语；
S12：根据所述有效词语，利用词嵌入模型得到多个带有电力语义信息的词向量。
3.根据权利要求2所述的核电设备缺陷记录文本分类方法，其特征在于，所述文本预处理包括：文本分词以及词汇特征提取。
4.根据权利要求3所述的核电设备缺陷记录文本分类方法，其特征在于，所述步骤S12包括：
S121：预构建电力设备缺陷语料库，存储缺陷语料以及对应的语料特征；
S122：利用word2vec词嵌入模型将所述有效词语映射到K维的语料特征空间，计算所述有效词语的词汇特征与所述语料特征的相关性，形成分布式词向量，从中选择正相关的词向量，得到带有电力语义信息的词向量。
5.根据权利要求1所述的核电设备缺陷记录文本分类方法，其特征在于，所述步骤S2包括：
S21：将多个所述词向量分别输入BiLSTM模型中，经过前向LSTM和后向LSTM后，得到每个时间步输出的表示有效信息的隐藏层状态；
S22：利用注意力机制，为每个所述隐藏层状态赋予相应的权重，以得到最终的待分类向量。
6.根据权利要求5所述的核电设备缺陷记录文本分类方法，其特征在于，所述步骤S22包括：
S221：计算多个所述隐藏层状态，得到所有隐藏层状态向量；
S222：计算每个所述隐藏层状态与所述所有隐藏层状态向量的相似性，根据相似性，利用注意力机制为每个所述隐藏层状态赋予相应权重的注意力值向量，得到最终的待分类向量。
7.根据权利要求6所述的核电设备缺陷记录文本分类方法，其特征在于，所述步骤S3中根据所述权重进行分类，包括：
根据预设注意力值向量标准，提取所述标准下的注意力值向量所对应的隐藏层状态；
计算所述隐藏层状态与所述Softmax分类器中预设类别的相关性并进行统计，获得所属预设类别的概率；
选取概率最大的类作为最终类，完成文本分类。
8.根据权利要求1-7任一项所述的核电设备缺陷记录文本分类方法，其特征在于，所述核电设备缺陷记录文本包括：非结构化的事件工单、核电群厂经验反馈、外部经验反馈、STA周报、巡检信息。
9.一种核电设备缺陷记录文本分类系统，其特征在于，包括：
提取模块，用于提取所述核电设备缺陷记录文本中多个带有电力语义信息的词向量；
注意模块，用于将多个所述词向量输入BiLSTM模型后利用注意力机制为有效信息赋予不同的权重，得到最终的待分类向量；
分类模块，用于将所述待分类向量经过全连接层组合后，输出至Softmax分类器中以根据所述权重进行分类。
10.根据权利要求9所述的核电设备缺陷记录文本分类系统，其特征在于，所述提取模块包括：
预处理模块，用于对所述核电设备缺陷记录文本进行文本预处理，获得有效词语；
词向量模块，用于根据所述有效词语，利用词嵌入模型得到多个带有电力语义信息的词向量。
11.根据权利要求10所述的核电设备缺陷记录文本分类系统，其特征在于，所述文本预处理包括：文本分词以及词汇特征提取。
12.根据权利要求11所述的核电设备缺陷记录文本分类系统，其特征在于，所述词向量模块包括：
预构建模块，用于预构建电力设备缺陷语料库，存储缺陷语料以及对应的语料特征；
选择模块，用于利用word2vec词嵌入模型将所述有效词语映射到K维的语料特征空间，计算所述有效词语的词汇特征与所述语料特征的相关性，形成分布式词向量，从中选择正相关的词向量，得到带有电力语义信息的词向量。
13.根据权利要求9所述的核电设备缺陷记录文本分类系统，其特征在于，所述注意模块包括：
有效信息模块，用于将多个所述词向量分别输入BiLSTM模型中，经过前向LSTM和后向LSTM后，得到每个时间步输出的表示有效信息的隐藏层状态；
权重模块，用于利用注意力机制，为每个所述隐藏层状态赋予相应的权重，以得到最终的待分类向量。
14.根据权利要求13所述的核电设备缺陷记录文本分类系统，其特征在于，所述权重模块包括：
计算模块，用于计算多个所述隐藏层状态，得到所有隐藏层状态向量；
赋予模块，用于计算每个所述隐藏层状态与所述所有隐藏层状态向量的相似性，根据相似性，利用注意力机制为每个所述隐藏层状态赋予相应权重的注意力值向量，得到最终的待分类向量。
15.根据权利要求14所述的核电设备缺陷记录文本分类系统，其特征在于，所述分类模块中包括：
隐藏层提取模块，用于根据预设注意力值向量标准，提取所述标准下的注意力值向量所对应的隐藏层状态；
相关性计算模块，用于计算所述隐藏层状态与所述Softmax分类器中预设类别的相关性并进行统计，获得所属预设类别的概率；
选取模块，用于选取概率最大的类作为最终类，完成文本分类。
16.根据权利要求9-15任一项所述的核电设备缺陷记录文本分类系统，其特征在于，所述核电设备缺陷记录文本包括：非结构化的事件工单、核电群厂经验反馈、外部经验反馈、STA周报、巡检信息。
17.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的核电设备缺陷记录文本分类方法。
18.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-8任一项所述的核电设备缺陷记录文本分类方法。
CN202011395959.1A 2020-12-03 2020-12-03 核电设备缺陷记录文本分类方法、系统、介质及电子设备 Active CN112559741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011395959.1A CN112559741B (zh) 2020-12-03 2020-12-03 核电设备缺陷记录文本分类方法、系统、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011395959.1A CN112559741B (zh) 2020-12-03 2020-12-03 核电设备缺陷记录文本分类方法、系统、介质及电子设备

Publications (2)

Publication Number Publication Date
CN112559741A true CN112559741A (zh) 2021-03-26
CN112559741B CN112559741B (zh) 2023-12-29

Family

ID=75047562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011395959.1A Active CN112559741B (zh) 2020-12-03 2020-12-03 核电设备缺陷记录文本分类方法、系统、介质及电子设备

Country Status (1)

Country Link
CN (1) CN112559741B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115563528A (zh) * 2022-11-25 2023-01-03 四川飞宇电力股份有限公司 变压器维修设备控制方法、电子设备和介质
CN117540908A (zh) * 2023-11-07 2024-02-09 北京佳格天地科技有限公司 基于大数据的农业资源整合方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472024A (zh) * 2018-10-25 2019-03-15 安徽工业大学 一种基于双向循环注意力神经网络的文本分类方法
WO2019149200A1 (zh) * 2018-02-01 2019-08-08 腾讯科技（深圳）有限公司 文本分类方法、计算机设备及存储介质
CN110232122A (zh) * 2019-05-15 2019-09-13 上海海事大学 一种基于文本纠错与神经网络的中文问句分类方法
CN111651593A (zh) * 2020-05-08 2020-09-11 河南理工大学 基于词向量和字向量混合模型的文本情感分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019149200A1 (zh) * 2018-02-01 2019-08-08 腾讯科技（深圳）有限公司 文本分类方法、计算机设备及存储介质
CN109472024A (zh) * 2018-10-25 2019-03-15 安徽工业大学 一种基于双向循环注意力神经网络的文本分类方法
CN110232122A (zh) * 2019-05-15 2019-09-13 上海海事大学 一种基于文本纠错与神经网络的中文问句分类方法
CN111651593A (zh) * 2020-05-08 2020-09-11 河南理工大学 基于词向量和字向量混合模型的文本情感分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯斌等: "基于BiLSTM-Attention神经网络的电力设备缺陷文本挖掘"" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115563528A (zh) * 2022-11-25 2023-01-03 四川飞宇电力股份有限公司 变压器维修设备控制方法、电子设备和介质
CN117540908A (zh) * 2023-11-07 2024-02-09 北京佳格天地科技有限公司 基于大数据的农业资源整合方法和系统

Also Published As

Publication number Publication date
CN112559741B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
CN110580292A (zh) 一种文本标签生成方法、装置和计算机可读存储介质
CN111966812B (zh) 一种基于动态词向量的自动问答方法和存储介质
CN111475655B (zh) 一种基于配电网知识图谱的电力调度文本实体链接方法
CN109492223B (zh) 一种基于神经网络推理的中文缺失代词补全方法
CN111427775B (zh) 一种基于Bert模型的方法层次缺陷定位方法
CN112232087B (zh) 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法
CN111079430A (zh) 一种组合深度学习和概念图谱的电力故障事件抽取方法
CN109408574B (zh) 基于文本挖掘技术的投诉责任认定系统
CN113742733B (zh) 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置
CN111767398A (zh) 基于卷积神经网络的二次设备故障短文本数据分类方法
CN112559741B (zh) 核电设备缺陷记录文本分类方法、系统、介质及电子设备
CN112860904B (zh) 一种融入外部知识的生物医疗关系抽取方法
CN114970508A (zh) 基于数据多源融合的电力文本知识发现方法及设备
CN108920446A (zh) 一种工程文本的处理方法
CN111984791A (zh) 一种基于注意力机制的长文分类方法
CN113255366A (zh) 一种基于异构图神经网络的方面级文本情感分析方法
CN115659244A (zh) 故障预测方法、装置及存储介质
CN114254645A (zh) 一种人工智能辅助写作系统
CN115563314A (zh) 多源信息融合增强的知识图谱表示学习方法
CN114564950A (zh) 一种结合字词序列的电力中文命名实体识别方法
CN113722494A (zh) 一种基于自然语言理解的设备故障定位方法
CN113449072A (zh) 基于深度学习的挖掘机故障知识图谱的构建方法
CN113065356A (zh) 一种基于语义分析算法的it设备运维故障建议处理方法
CN116975161A (zh) 电力设备局放文本的实体关系联合抽取方法、设备、介质
CN113342964B (zh) 一种基于移动业务的推荐类型确定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant