CN112036185A

CN112036185A - 一种基于工业企业构建命名实体识别模型的方法及装置

Info

Publication number: CN112036185A
Application number: CN202011213439.4A
Authority: CN
Inventors: 王乐
Original assignee: Changsha Rootcloud Technology Co ltd
Current assignee: Changsha Rootcloud Technology Co ltd; Rootcloud Technology Co Ltd
Priority date: 2020-11-04
Filing date: 2020-11-04
Publication date: 2020-12-04
Anticipated expiration: 2040-11-04
Also published as: CN112036185B

Abstract

本发明提供了一种基于工业企业构建命名实体识别模型的方法及装置，其中，方法包括：对基于工业企业故障诊断维修得到的故障诊断维修数据信息进行命名实体的三元标注；将标注的故障诊断维修数据信息输入预训练的ALBERT模型，得到标注的故障诊断维修数据信息对应的预测语义向量序列；将预测语义向量序列输入条件随机场网络层，得到预测标签；依据预测标签和该预测标签对应的三元标注，计算损失值，在损失值大于预先设置的损失阈值的情形下，利用反向传播算法和梯度下降算法，更新条件随机场网络层以及ALBERT模型的参数，直至损失值不大于损失阈值时为止，得到命名实体识别模型。可以提高命名实体的识别效率。

Description

一种基于工业企业构建命名实体识别模型的方法及装置

技术领域

本发明涉及故障诊断维修技术领域，具体而言，涉及一种基于工业企业构建命名实体识别模型（NER，Named Entity Recognition）的方法及装置。

背景技术

工业企业在长时间的生产、销售和售后过程中，积累了非常多的有价值的数据信息，然而这些积累的数据信息却很难转化成知识进行应用。比如，在设备的故障诊断维修领域，维修工程师经常会通过编写维修日志，将排故维修过程进行记录，并将记录的维修日志交付给工业企业的数据管理人员进行归档，从而完成维修流程。但该归档的维修日志等数据信息，对于规模较小的工业企业，在完成维修流程后，几乎不会被再次利用，对于规模较大的工业企业，为了提升数据信息的利用效率，可以由数据管理人员组织领域专家进行故障知识的命名实体识别，依据识别的命名实体构建故障树，或者，进一步在构建的故障树的基础上，由专家制定用于表征故障知识的命名实体的推理规则，后续借助计算机程序，在接收到用户上报的用于描述故障的数据信息后，利用推理规则进行命名实体识别，从而可以快速定位数据信息对应的故障知识（故障点），以便于维修工程师进行故障维修。但该基于工业企业构建命名实体识别模型以进行故障知识整理的方法，需要人工基于数据信息进行命名实体识别，导致人力资源浪费且效率较低。因此，如何快速高效地从大量沉淀的数据信息中学习得到相关命名实体，并智能化应用是亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供基于工业企业构建命名实体识别模型的方法及装置，以提高命名实体的识别效率。

第一方面，本发明实施例提供了基于工业企业构建命名实体识别模型的方法，该方法包括：

对基于工业企业故障诊断维修得到的故障诊断维修数据信息进行命名实体的三元标注；

将标注的故障诊断维修数据信息输入预训练的ALBERT模型，得到所述标注的故障诊断维修数据信息对应的预测语义向量序列；

将所述预测语义向量序列输入条件随机场网络层，得到预测标签；

依据预测标签和该预测标签对应的三元标注，计算损失值，在损失值大于预先设置的损失阈值的情形下，利用反向传播算法和梯度下降算法，更新条件随机场网络层以及ALBERT模型的参数，直至损失值不大于损失阈值时为止，得到命名实体识别模型。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述对基于工业企业故障诊断维修得到的故障诊断维修数据信息进行命名实体的三元标注，包括：

针对每条故障诊断维修数据信息进行语料处理，得到该条故障诊断维修数据信息对应的工单数据语料集；

利用预设的新词发现算法，对工单数据语料集进行新词挖掘，将挖掘得到的新词与预设的命名实体分类库进行匹配，获取挖掘得到的新词对应的命名实体分类；

利用字符串匹配方法，对获取的命名实体分类中的新词进行三元标注。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述将标注的故障诊断维修数据信息输入预训练的ALBERT模型，包括：

依据预训练的ALBERT模型的输入格式，对标注的故障诊断维修数据信息进行处理，得到符合所述输入格式的训练样本，将所述训练样本输入所述预训练的ALBERT模型，其中，所述预训练的ALBERT模型是利用通用中文语料进行训练得到的模型。

结合第一方面、第一方面的第一种可能的实施方式或第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，设置所述预训练的ALBERT模型中的学习率参数为一预设的低值学习率，设置所述条件随机场网络层中的学习率初始参数为一高值学习率，并按照预先设置的学习率衰减策略，减小条件随机场网络层进行训练时的学习率参数。

结合第一方面、第一方面的第一种可能的实施方式或第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述方法还包括：

获取待识别的故障诊断维修数据信息，按照预训练的ALBERT模型的输入格式，对待识别的故障诊断维修数据信息进行处理，得到待输入数据信息序列；

将待输入数据信息序列输入所述命名实体识别模型，得到针对待输入数据信息序列中每一字符对应的预估标签；

依据BIO标注的格式，对得到的预估标签进行识别，得到待输入数据信息序列包含的命名实体。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述方法还包括：

将待输入数据信息序列包含的命名实体，与预设的每一组合命名实体进行匹配，获取待输入数据信息序列对应的组合命名实体，组合命名实体包括：故障现象、故障原因以及维修方法。

第二方面，本发明实施例还提供了一种基于工业企业构建命名实体识别模型的装置，包括：

标注模块，用于对基于工业企业故障诊断维修得到的故障诊断维修数据信息进行命名实体的三元标注；

向量获取模块，用于将标注的故障诊断维修数据信息输入预训练的ALBERT模型，得到所述标注的故障诊断维修数据信息对应的预测语义向量序列；

标签预测模块，用于将所述预测语义向量序列输入条件随机场网络层，得到预测标签；

模型生成模块，用于依据预测标签和该预测标签对应的三元标注，计算损失值，在损失值大于预先设置的损失阈值的情形下，利用反向传播算法和梯度下降算法，更新条件随机场网络层以及ALBERT模型的参数，直至损失值不大于损失阈值时为止，得到命名实体识别模型。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。

本发明实施例提供的基于工业企业构建命名实体识别模型的方法及装置，通过对基于工业企业故障诊断维修得到的故障诊断维修数据信息进行命名实体的三元标注；将标注的故障诊断维修数据信息输入预训练的ALBERT模型，得到所述标注的故障诊断维修数据信息对应的预测语义向量序列；将所述预测语义向量序列输入条件随机场网络层，得到预测标签；依据预测标签和该预测标签对应的三元标注，计算损失值，在损失值大于预先设置的损失阈值的情形下，利用反向传播算法和梯度下降算法，更新条件随机场网络层以及ALBERT模型的参数，直至损失值不大于损失阈值时为止，得到命名实体识别模型。这样，利用预训练的ALBERT模型，在故障诊断维修数据信息的训练样本量较小的情形下，结合CRF网络层，构建命名实体识别模型，使得基于构建的命名实体识别模型进行命名实体的识别效率高。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的基于工业企业构建命名实体识别模型的方法流程示意图；

图2示出了本发明实施例利用命名实体识别模型进行命名实体识别的结构示意图；

图3示出了本发明实施例所提供的基于工业企业构建命名实体识别模型的装置结构示意图；

图4为本申请实施例提供的一种计算机设备400的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

通过组织领域专家进行故障知识的命名实体识别，依据识别的命名实体构建故障树，或，在构建的故障树的基础上，制定识别表征故障知识的命名实体的推理规则，后续借助计算机程序，在接收到用户上报的用于描述故障的数据信息后，利用推理规则进行命名实体识别，由于需要人工进行命名实体识别，使得命名实体识别的效率较低。

对于命名实体的识别，目前利用的机器学习方法包括：隐马尔科夫模型（HMM，Hidden Markov Model）、条件随机场（CRF，Conditional Random Field）、神经网络，如长短期记忆网络（LSTM，Long Short Term Memory）、预训练模型等，但这些学习方法，所需用于模型训练的训练样本量大，若训练样本量较小，则很难达到相当的精度，使得利用模型进行命名实体识别的准确率不高，实用性不强，而目前的工业企业的数据信息的数据量，虽然已积累不少，但相对于用于进行模型训练所需的数据量来说，还不够支撑模型的训练，使得建立的模型的精度较低，因而，为了保障命名实体识别的准确率，采用人工进行命名实体识别标注的方式，使得命名实体识别的效率较低。

本发明实施例中，使用轻量级预训练的BERT模型（ALBERT模型），对故障诊断维修数据信息进行微训练，从而利用预训练的ALBERT模型，在故障诊断维修数据信息的训练样本量较小的情形下，结合CRF网络层，并使用不同学习率，优化ALBERT模型和CRF网络层，从而基于工业企业，构建命名实体识别模型。

本发明实施例提供了一种基于工业企业构建命名实体识别模型的方法及装置，下面通过实施例进行描述。

图1示出了本发明实施例所提供的基于工业企业构建命名实体识别模型的方法流程示意图。如图1所示，应用于工业企业的故障诊断维修，该方法包括：

步骤101，对基于工业企业故障诊断维修得到的故障诊断维修数据信息进行命名实体的三元标注；

本发明实施例中，作为一可选实施例，对基于工业企业故障诊断维修得到的故障诊断维修数据信息进行命名实体的三元标注，包括：

A11，针对每条故障诊断维修数据信息进行语料处理，得到该条故障诊断维修数据信息对应的工单数据语料集；

本发明实施例中，以每条故障诊断维修数据信息为单位进行语料处理，每条故障诊断维修数据信息对应一工单数据语料集。

A12，利用预设的新词发现算法，对工单数据语料集进行新词挖掘，将挖掘得到的新词与预设的命名实体分类库进行匹配，获取挖掘得到的新词对应的命名实体分类；

本发明实施例中，作为一可选实施例，通过对工业企业中的设备故障诊断所收集的故障诊断维修数据信息，进行归纳总结，并结合基于故障诊断维修数据信息构建的知识图谱，得到故障诊断维修领域的命名实体分类（命名实体），各命名实体分类构成命名实体分类库。

本发明实施例中，作为一可选实施例，命名实体分类包括但不限于：零部件（COMP）、现象词（PHW）、故障词（BRW）、前置条件（PREC）、程度副词（LEV）以及方法（MET）。

本发明实施例中，作为一可选实施例，命名实体分类可以包含具体的命名实体，也可以包含识别该命名实体分类的表达式，例如，正则表达式等。

本发明实施例中，作为另一可选实施例，还可以通过对各命名实体分类进行聚类分析，得到组合命名实体，其中，组合命名实体包括但不限于：故障现象、故障原因以及维修方法，每一组合命名实体包含有一个或多个命名实体分类。

本发明实施例中，利用新词发现算法以辅助进行词语挖掘工作，可以有效提升词语挖掘效率，节省人力。

A13，利用字符串匹配方法，对获取的命名实体分类中的新词进行三元标注。

本发明实施例中，利用字符串匹配方法，对获取的每一命名实体分类进行三元（BIO，B-begin,I-inside,O-outside）标注。

本发明实施例中，以故障诊断维修数据信息为：大臂油缸有杆腔与转塔之间异响；黄油能打进去为例，得到的命名实体分类包括零部件以及现象词，其中，零部件包括：大臂油缸以及转塔，现象词包括：异响，进行BIO标注后，得到：大（B-COMP）臂（I-COMP）油（I-COMP）缸（I-COMP）有（O）杆（O）腔（O）与（O）转（B-COMP）塔（I-COMP）之（O）间（O）异（B-PHW）响（I-PHW）；（O）黄（O）油（O）能（O）打（O）进（O）去（O）。

本发明实施例中，为了保障作为训练样本的故障诊断维修数据信息进行BIO标注的准确性，作为一可选实施例，在利用预设的字符串匹配方法进行BIO标注得到标注标签后，还可以对标注标签进行人工审核和更正。

步骤102，将标注的故障诊断维修数据信息输入预训练的ALBERT模型，得到所述标注的故障诊断维修数据信息对应的预测语义向量序列；

本发明实施例中，作为一可选实施例，将标注的故障诊断维修数据信息输入预训练的ALBERT模型，包括：

本发明实施例中，作为一可选实施例，ALBERT模型的输入格式为：要求训练样本的输入长度为128。

本发明实施例中，利用通用中文语料，对ALBERT模型进行预训练，这样，针对故障诊断维修领域的数据量较少的情形，充分利用从开放领域学习到的语义向量知识的预训练的ALBERT模型，该预训练的ALBERT模型已具有较好的精度，基于具有较好精度的预训练的ALBERT模型，利用标注的故障诊断维修数据信息再次进行训练，从而对预训练的ALBERT模型的参数进行微调，使之能够应用于故障诊断维修领域的命名实体识别。作为另一可选实施例，也可以直接利用目前训练好的ALBERT模型作为预训练的ALBERT模型。

本发明实施例中，若标注的故障诊断维修数据信息的长度超过128，则进行截取操作，截取长度为128的标注的故障诊断维修数据信息，若标注的故障诊断维修数据信息的长度低于128，则进行补零操作，使得进行补零操作后的标注的故障诊断维修数据信息的长度为128。

本发明实施例中，标注的故障诊断维修数据信息中，每一字符对应有一标注的BIO，例如，对应BIO标注中的B标注或I标注或O标注，预训练的ALBERT模型输出的预测语义向量序列中，每一字符对应一预测语义向量。

本发明实施例中，作为一可选实施例，设置预训练的ALBERT模型中的学习率参数为一预设的低值学习率，这样，通过设置较小值的学习率，可以在保障预训练的ALBERT模型的精度的基础上，避免对预训练的ALBERT模型的各参数进行较大的改动。

步骤103，将所述预测语义向量序列输入条件随机场网络层，得到预测标签；

本发明实施例中，作为一可选实施例，利用CRF网络层进行序列标注的训练学习，可以有效提升最后得到的命名实体识别模型的精度，从而解决了小数据量和高精度模型之间的矛盾。

本发明实施例中，作为一可选实施例，设置条件随机场网络层中的学习率初始参数为一高值学习率，并按照预先设置的学习率衰减策略，减小条件随机场网络层进行训练时的学习率参数。这样，可以使得条件随机场网络层在训练的前期能够实现快速拟合，在训练的后期能够实现充分调优。而且，不同的网络层参数（预训练的ALBERT模型的网络层参数以及CRF网络层的网络层参数）使用不同的学习率策略进行训练，更加有利于命名实体识别模型的调优。

本发明实施例中，条件随机场网络层对输入的预测语义向量序列进行预测，得到针对预测语义向量序列中每一预测语义向量对应的预测标签。其中，标注的故障诊断维修数据信息中，每一字符对应一预测标签。

步骤104，依据预测标签和该预测标签对应的三元标注，计算损失值，在损失值大于预先设置的损失阈值的情形下，利用反向传播算法和梯度下降算法，更新条件随机场网络层以及ALBERT模型的参数，直至损失值不大于损失阈值时为止，得到命名实体识别模型。

本发明实施例中，标注的故障诊断维修数据信息中的每一字符，经过预训练的ALBERT模型以及条件随机场网络层后，得到该字符对应的预测标签，依据预测标签和该字符对应的三元标注（真实标签）计算损失值，若损失值大于预先设置的损失阈值，利用反向传播算法和梯度下降算法，更新预训练的ALBERT模型以及条件随机场网络层的各层参数，直到损失值不大于损失阈值或不再降低为止。

本发明实施例中，作为一可选实施例，该方法还包括：

本发明实施例中，利用命名实体识别模型，可以对故障诊断维修数据信息进行命名实体的自动识别。

图2示出了本发明实施例利用命名实体识别模型进行命名实体识别的结构示意图。如图2所示，假设待识别的故障诊断维修数据信息为“打泵时输送缸有响声”，在不考虑命名实体识别模型的输入格式要求的情形下，输入命名实体识别模型的输入句子为：“[CLS]打泵时输送缸有响声[SEP]”，命名实体识别模型输出的预测结果为：[CLS] [O]打[B-PREC]泵[I-PREC]时[I-PREC]输[B-COMP]送[I-COMP]缸[I-COMP]有[B-PHW]响[I-PHW]声[I-PHW][SEP][O]。基于该预测结果，可以得到命名实体（实体），分别为：PREC：打泵时；COMP：输送缸；PHW：有响声。

表1示出了本发明实施例的命名实体识别模型在工业企业的故障诊断维修领域中，对命名实体的识别评测结果。

表1

	精确度(precision)	召回率(recall)	F1得分(f1-score)	命名实体数（support）
					零部件（COMP）	0.9706	0.9733	0.9719	2472
故障词（BRW）	0.9678	0.9861	0.9769	793
					现象词（PHW）	0.9809	0.9752	0.9780	685
方法（MET）	0.9844	0.9872	0.9858	703
					前置条件（PREC）	0.9222	0.8925	0.9071	93
程度副词（LEV）	1.0000	1.0000	1.0000	68
					微平均（micro avg）	0.9731	0.9765	0.9748	4814
宏平均（macro avg）	0.9731	0.9765	0.9748	4814

本发明实施例中，作为一可选实施例，该方法还包括：

本发明实施例中，基于识别的命名实体，与各组合命名实体分别进行匹配，可以对识别的各命名实体进行归类。

本发明实施例中，对基于工业企业故障诊断维修得到的故障诊断维修数据信息，通过人工结合新词发现算法，进行命名实体的BIO标注，并基于进行命名实体标注得到的标注标签，使用不同学习率策略，对预训练的ALBERT模型以及CRF网络层进行训练，构建基于ALBERT模型以及CRF网络层结构的命名实体识别模型，从而可以利用命名实体识别模型，从以文本表示的故障诊断维修数据信息中，自动抽取用于表征故障诊断维修相关的故障知识的命名实体。

图3示出了本发明实施例所提供的基于工业企业构建命名实体识别模型的装置结构示意图。如图3所示，该装置包括：

标注模块301，用于对基于工业企业故障诊断维修得到的故障诊断维修数据信息进行命名实体的三元标注；

本发明实施例中，作为一可选实施例，标注模块301包括：

语料处理单元（图中未示出），用于针对每条故障诊断维修数据信息进行语料处理，得到该条故障诊断维修数据信息对应的工单数据语料集；

命名实体获取单元，用于利用预设的新词发现算法，对工单数据语料集进行新词挖掘，将挖掘得到的新词与预设的命名实体分类库进行匹配，获取挖掘得到的新词对应的命名实体分类；

标注单元，用于利用字符串匹配方法，对获取的命名实体分类中的新词进行三元标注。

向量获取模块302，用于将标注的故障诊断维修数据信息输入预训练的ALBERT模型，得到所述标注的故障诊断维修数据信息对应的预测语义向量序列；

本发明实施例中，作为一可选实施例，向量获取模块302包括：

输入格式处理单元，用于依据预训练的ALBERT模型的输入格式，对标注的故障诊断维修数据信息进行处理，得到符合所述输入格式的训练样本，将所述训练样本输入所述预训练的ALBERT模型，其中，所述预训练的ALBERT模型是利用通用中文语料进行训练得到的模型；

语义向量获取单元，用于从所述预训练的ALBERT模型中得到所述标注的故障诊断维修数据信息对应的预测语义向量序列。

标签预测模块303，用于将所述预测语义向量序列输入条件随机场网络层，得到预测标签；

本发明实施例中，作为一可选实施例，设置预训练的ALBERT模型中的学习率参数为一预设的低值学习率，设置所述条件随机场网络层中的学习率初始参数为一高值学习率，并按照预先设置的学习率衰减策略，减小条件随机场网络层进行训练时的学习率参数。

模型生成模块304，用于依据预测标签和该预测标签对应的三元标注，计算损失值，在损失值大于预先设置的损失阈值的情形下，利用反向传播算法和梯度下降算法，更新条件随机场网络层以及ALBERT模型的参数，直至损失值不大于损失阈值时为止，得到命名实体识别模型。

本发明实施例中，作为一可选实施例，该装置还包括：

命名实体识别模块（图中未示出），用于获取待识别的故障诊断维修数据信息，按照预训练的ALBERT模型的输入格式，对待识别的故障诊断维修数据信息进行处理，得到待输入数据信息序列；将待输入数据信息序列输入所述命名实体识别模型，得到针对待输入数据信息序列中每一字符对应的预估标签；依据BIO标注的格式，对得到的预估标签进行识别，得到待输入数据信息序列包含的命名实体。

本发明实施例中，作为另一可选实施例，该装置还包括：

命名实体匹配模块，用于将待输入数据信息序列包含的命名实体，与预设的每一组合命名实体进行匹配，获取待输入数据信息序列对应的组合命名实体，组合命名实体包括：故障现象、故障原因以及维修方法。

如图4所示，本申请一实施例提供了一种计算机设备400，用于执行图1中的基于工业企业构建命名实体识别模型的方法，该设备包括存储器401、处理器402及存储在该存储器401上并可在该处理器402上运行的计算机程序，其中，上述处理器402执行上述计算机程序时实现上述基于工业企业构建命名实体识别模型的方法的步骤。

具体地，上述存储器401和处理器402能够为通用的存储器和处理器，这里不做具体限定，当处理器402运行存储器401存储的计算机程序时，能够执行上述基于工业企业构建命名实体识别模型的方法。

对应于图1中的基于工业企业构建命名实体识别模型的方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述基于工业企业构建命名实体识别模型的方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述基于工业企业构建命名实体识别模型的方法。

在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory ，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种基于工业企业构建命名实体识别模型的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对基于工业企业故障诊断维修得到的故障诊断维修数据信息进行命名实体的三元标注，包括：

3.根据权利要求1所述的方法，其特征在于，所述将标注的故障诊断维修数据信息输入预训练的ALBERT模型，包括：

4.根据权利要求1至3任一项所述的方法，其特征在于，设置所述预训练的ALBERT模型中的学习率参数为一预设的低值学习率，设置所述条件随机场网络层中的学习率初始参数为一高值学习率，并按照预先设置的学习率衰减策略，减小条件随机场网络层进行训练时的学习率参数。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.一种基于工业企业构建命名实体识别模型的装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，所述标注模块包括：

语料处理单元，用于针对每条故障诊断维修数据信息进行语料处理，得到该条故障诊断维修数据信息对应的工单数据语料集；

9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的基于工业企业构建命名实体识别模型的方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一所述的基于工业企业构建命名实体识别模型的方法的步骤。