CN115858825B - 基于机器学习的设备故障诊断知识图谱构建方法和装置 - Google Patents

Abstract

本申请提供了一种基于机器学习的设备故障诊断知识图谱构建方法和装置，涉及工业设备故障领域技术领域，该方法包括：获取工业设备数据，并对工业设备数据进行预处理；将预处理后的工业设备数据输入至预先构建的实体关系抽取模型进行实体关系抽取，并基于预先构建的实体识别模型进行实体识别，得到目标实体和目标实体之间的关系；其中，预先构建的实体关系抽取模型至少包括：注意力增强层、弱分类器层和强分类器层；预先构建的实体识别模型的输出层之前设置有条件随机场层，条件随机场层用于约束标签顺序；根据目标实体和目标实体之间的关系构建针对工业设备故障诊断的目标知识图谱。本申请提升了实体关系抽取和实体识别的准确性。

Description

基于机器学习的设备故障诊断知识图谱构建方法和装置

技术领域

本申请涉及工业设备故障领域技术领域，尤其是涉及一种基于机器学习的设备故障诊断知识图谱构建方法和装置。

背景技术

在针对工业设备故障诊断知识图谱构建过程中，实体关系抽取和实体识别是十分重要的步骤，目前的实体关系抽取和实体识别均存在一些缺陷：

现有的实体关系抽取方法通常使用单一的神经网络模型，但在不同的输入条件下会表现出不同的结果，稳定性较差。

现有的实体识别方法存在一些缺点，如需要强大的硬件支持，并且通常会花费更多的训练时间来达到更好的模型效果，大大提高了实体识别的时间成本与经济成本；传统LSTM模型无法有效捕捉工业设备数据相关文本中的前后文关系，导致在实体识别过程中从后到前的语义无法准确理解的问题。

发明内容

本申请的目的在于提供一种基于机器学习的设备故障诊断知识图谱构建方法和装置，本申请实施例提升了实体关系抽取和实体识别的准确性。

第一方面，本发明提供一种基于机器学习的设备故障诊断知识图谱构建方法，包括：获取工业设备数据，并对工业设备数据进行预处理；将预处理后的工业设备数据输入至预先构建的实体关系抽取模型进行实体关系抽取，并基于预先构建的实体识别模型进行实体识别，得到目标实体和目标实体之间的关系；其中，预先构建的实体关系抽取模型至少包括：词嵌入层、双向长短期记忆网络层、注意力增强层、弱分类器层、强分类器层、全连接神经网络层和输出层；预先构建的实体识别模型的输出层之前设置有条件随机场层，条件随机场层用于约束标签顺序；根据目标实体和目标实体之间的关系构建针对工业设备故障诊断的目标知识图谱。

在可选的实施方式中，工业设备数据包括工业设备文本数据；方法还包括：通过注意力增强层对工业设备文本数据和预设权重矩阵进行计算，得到Q矩阵、K矩阵和V矩阵；将Q矩阵和K矩阵进行点积计算，并将点积结果进行归一化处理，得到归一化结果；基于归一化结果和V矩阵确定注意力增强后的目标样本信息。

在可选的实施方式中，弱分类器层包括双向长短期记忆网络弱分类器和卷积神经网络弱分类器；方法还包括：通过双向长短期记忆网络对工业设备数据对应的数据序列进行文本向量学习处理，得到第一关系预测概率；通过卷积神经网络弱分类器对目标样本信息进行卷积和池化处理，得到第二关系预测概率。

在可选的实施方式中，方法还包括：对第一关系预测概率和第二关系预测概率分别确定第一关系类别标签和第二关系类别标签；对第一关系类别标签和第二关系类别标签进行编码处理，得到第一关系矩阵和第二关系矩阵；基于第一关系矩阵和第二关系矩阵确定目标关系矩阵；将目标关系矩阵确定为强分类器层的输入信息。

在可选的实施方式中，预先构建的实体识别模型包括输入层、目标ALBert层、双向长短期记忆网络层、条件随机场层和输出层；其中，目标ALBert层的嵌入层维度和隐藏层维度为解绑状态；方法还包括：基于辅助矩阵对嵌入层参数进行维度转换，得到目标时间复杂度为：

其中，隐藏层维度远大于嵌入层维度，为工业设备数据对应的词汇表长度，函数表示模型复杂度。

在可选的实施方式中，目标ALBert层包括多个转换编码层；多个转换编码层之间跨层共享同一个参数矩阵。

在可选的实施方式中，在对工业设备数据进行预处理后，方法还包括：对预处理后的工业设备数据进行本体构建，得到工业设备数据七元组；其中，工业设备数据七元组的概念包括：设备、子设备、组件、零件、属性、属性值和状态值；七元组中的概念之间的关系至少包括包含关系、导致关系、出现关系和存在属性关系；基于工业设备数据七元组构建工业设备本体知识模型，以通过工业设备本体知识模型对工业设备文本数据进行知识抽取，得到目标知识实例。

第二方面，本发明提供一种基于机器学习的设备故障诊断知识图谱构建装置，包括：数据获取及预处理模块，用于获取工业设备数据，并对工业设备数据进行预处理；实体关系抽取及实体识别模块，用于将预处理后的工业设备数据输入至预先构建的实体关系抽取模型进行实体关系抽取，并基于预先构建的实体识别模型进行实体识别，得到目标实体和目标实体之间的关系；其中，预先构建的实体关系抽取模型至少包括：词嵌入层、双向长短期记忆网络层、注意力增强层、弱分类器层、强分类器层、全连接神经网络层和输出层；预先构建的实体识别模型的输出层之前设置有条件随机场层，条件随机场层用于约束标签顺序；知识图谱构建模块，用于根据目标实体和目标实体之间的关系构建针对工业设备故障诊断的目标知识图谱。

第三方面，本发明提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现前述实施方式任一项的基于机器学习的设备故障诊断知识图谱构建方法。

第四方面，本发明提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现前述实施方式任一项的基于机器学习的设备故障诊断知识图谱构建方法。

本申请提供的基于机器学习的设备故障诊断知识图谱构建方法和装置，在实体关系抽取操作中，利用集成学习思想将多个单一模型集成为一个综合模型来提高模型的稳定性，并通过注意力增强机制提高实体关系抽取的准确性；在实体识别操作中，在模型的输出层之前加入条件随机场层进行约束，防止标签顺序混乱而导致结果错误，可以在保证效果的同时减少模型的参数、降低模型使用的内存，同时能够更好地捕捉文本信息中为双向依赖信息，防止标签顺序混乱而导致结果错误。因此，本申请实施例提升了实体关系抽取和实体识别的准确性。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于机器学习的设备故障诊断知识图谱构建方法的流程图；

图2为本申请实施例提供的一种构建知识图谱的具体流程图；

图3为本申请实施例提供的一种本体构建的概念层次结构；

图4为本申请实施例提供的一种预先构建的实体关系抽取模型的结构图；

图5为本申请实施例提供的一种双向长短期记忆网络的网络结构；

图6为本申请实施例提供的一种LSTM模型的结构图；

图7为本申请实施例提供的一种注意力增强层的结构图；

图8为本申请实施例提供的一种卷积神经网络弱分类器的结构图；

图9为本申请实施例提供的一种强分类器层的结构图；

图10为本申请实施例提供的一种预先构建的实体识别模型架构；

图11为本申请实施例提供的一种基于机器学习的设备故障诊断知识图谱构建装置的结构图；

图12为本申请实施例提供的一种电子设备的结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

构建知识图谱中最重要的环节就是知识抽取，知识抽取的好坏与否影响到后续三元组抽取的效果甚至整个知识图谱的构建，而特定领域知识图谱的构建最先应该要解决的问题就是领域语料库的建立。相关技术中，针对通用领域的数据，可以通过获取网络上公开的数据集（通常为已处理好的标注状态）进行后续处理即可。而在本申请特定的工业设备故障领域中，由于工业设备种类巨多，业界公开的数据集难以进行普适通用，因此针对特定的工业设备故障诊断应用现场，需要收集大量数据进行标注，构建领域数据集。并且，在知识图谱构建过程中，实体关系抽取和实体识别是十分重要的步骤，研究基于机器学习的实体关系抽取和实体识别，将对知识图谱的构建具有重要意义。

目前，在知识图谱构建过程中，实体关系抽取和识别识别均存在一定的缺陷：（1）现有的实体关系抽取方法通常使用单一的神经网络模型，但在不同的输入条件下会表现出不同的结果，稳定性较差。（2）现有的实体识别方法存在一些缺点，如需要强大的硬件支持，并且通常会花费更多的训练时间来达到更好的模型效果，大大提高了实体识别的时间成本与经济成本；传统LSTM模型无法有效捕捉设备数据相关文本中的前后文关系，导致在实体识别过程中从后到前的语义无法准确理解的问题。

为解决上述问题，本申请实施例提供了一种基于机器学习的设备故障诊断知识图谱构建方法和装置，在实体关系抽取操作中，旨在通过集成学习思想将多个单一模型集成为一个综合模型来提高模型的稳定性，并通过注意力增强机制提高实体关系抽取的准确性；在实体识别操作中，通过引入双向长短期记忆神经网络，使得模型能够更好地捕捉文本信息中为双向依赖信息；同时，在模型的输出层之前加入条件随机场层进行约束，防止标签顺序混乱而导致结果错误。所提出的实体识别模型可以在保证效果的同时减少模型的参数、降低模型使用的内存，同时能够更好地捕捉文本信息中为双向依赖信息，防止标签顺序混乱而导致结果错误。

参见图1所示，本申请实施例提供的一种基于机器学习的设备故障诊断知识图谱构建方法，主要包括以下步骤：

步骤S102，获取工业设备数据，并对工业设备数据进行预处理。

上述工业设备数据为与工业设备相关的数据，诸如可以包括工业设备使用管理、设备维护、设备操作相关的文本数据，以及与设备运维相关的、故障解决相关的文本数据。

在一种实施方式中，获取工业设备数据的方式，主要可以包括提取文本说明数据、获取日志数据以及网络爬虫等方式进行数据获取。

为便于对数据进行实体关系的处理，上述对工业设备数据进行预处理，可以包括清洗、筛选、去除无用停用词、删除特殊字符、删除多余空格、多余分类等预处理操作，从而保证后续输入至模型的的工业设备数据的数据质量。

步骤S104，将预处理后的工业设备数据输入至预先构建的实体关系抽取模型进行实体关系抽取，并基于预先构建的实体识别模型进行实体识别，得到目标实体和目标实体之间的关系。

上述预先构建的实体关系抽取模型至少包括：词嵌入层、双向长短期记忆网络层、注意力增强层、弱分类器层、强分类器层、全连接神经网络层和输出层，其中，预先构建的实体识别模型的输出层之前设置有条件随机场层，条件随机场层用于约束标签顺序。

在一种实施方式中，为了便于后续知识图谱的构建，上述对工业设备数据进行实体抽取后得到的目标实体可以包括工业设备（例如电机实体）、子设备（例如电机实体中的定子、转子）、组件、零件、设备属性、设备属性值、设备状态等实体信息。

针对上述各个抽取得到的目标实体，本实施例中所指的目标实体和目标实体之间的关系至少可以包括包含关系、导致关系、出现关系、存在属性关系等。

本申请实施例通过上述预先构建的实体关系抽取模型进行实体关系抽取，通过模型所包括的词嵌入层将输入的工业设备数据转换成机器学习模型能够识别的向量，并通过双向长短期记忆网络层利用前向和后向的上下文信息，使得模型能够更好地理解句子语义。进一步通过注意力增强层对工业设备文本数据和预设权重矩阵进行计算，确定注意力增强后的目标样本信息。然后通过弱分类器层进行关系预测概率的确定，以进行文本向量学习及分类处理。进一步通过强分类器层对关系预测概率进行处理，得到类别标签，并通过关系类别标签确定目标关系矩阵，从而进行实体关系的抽取。

步骤S106，根据目标实体和目标实体之间的关系构建针对工业设备故障诊断的目标知识图谱。

在一种实施方式中，在进行知识图谱的构建时，可以使用RDF（资源描述框架）进行存储，也可以通过图数据库进行知识存储。本申请实施例使用Neo4j图形数据库进行知识存储和可视化操作，从而提升了知识图谱构建的性能、稳定性和准确性。

为便于理解，以下对本申请实施例提供的基于机器学习的设备故障诊断知识图谱构建方法进行详细说明。

在进行基于工业设备数据的知识图谱构建时，参见图2所示，可以包括以下步骤S1至步骤S7：

步骤S1，获取工业设备数据；

步骤S2，工业设备数据进行预处理；

步骤S3，本体概念关系抽取；

步骤S4，语料标注；

步骤S5，实体关系抽取；

步骤S6，实体识别；

步骤S7，知识存储。

本申请实施例主要针对步骤S5和步骤S6进行方案的改进设计，但为便于说明，将整个流程中的步骤均进行详细介绍。

步骤S1：获取工业设备数据

在一种实施方式中，采集获取工业设备数据时，主要可以包括以下方式：

1）工业设备说明书中数据，主要包括与设备管理、设备维护、设备操作说明相关的内容；

2）工业设备运行过程中的运维日志、故障维修记录表、检修清单等，主要包括设备名称、故障描述、故障原因及处理建议等信息；

3）利用爬虫框架Selenium从网上获取工业设备相关数据，包括故障描述解决方法、故障建议解决方案等。

步骤S2：工业设备数据预处理

对步骤S1收集到的工业设备数据进行清洗、筛选、去除无用停用词、删除特殊字符、删除多余空格、多余分类等预处理操作。

步骤S3：本体概念关系抽取

进一步，在对工业设备数据进行预处理后，方法还包括：

对预处理后的工业设备数据进行本体构建，得到工业设备数据七元组；其中，工业设备数据七元组的概念包括：设备、子设备、组件、零件、属性、属性值和状态值；七元组中的概念之间的关系至少包括包含关系、导致关系、出现关系和存在属性关系。

本体知识的构建方法主要有自顶向下和自底向上两种方法。自顶向下是指首先构建本体概念和数据模型，并根据概念向知识库中添加数据实体；而自底向上是从数据层开始，首先总结实体，填充数据，然后构建本体的概念。在实际构建的过程中，这两种方法不是孤立进行，通常采用两种方法结合起来进行构建工作。在本申请实施例的知识图谱构建过程中，采用自顶向下和自底向上相结合的方法构建本体。

针对工业设备故障信息的复杂关系和层次结构，定义知识概念和概念关系，通过前期研究、专家咨询和文献查阅指导，对涉及的数据进行分析和划分，融合词项、文档频率等确定关键词作为本体概念。

本发明首先定义了知识本体的类型，构建了一个概念层，然后使用自底向上的方法输入数据知识进行扩展，主要研究以下几种类型本体概念：

第一类概念是设备，通常指工业生产中出现的主要设备，例如电机实体；

第二类概念是子设备，从属于设备实体，例如电机实体中的定子和转子实体；

第三类概念是组件，是设备系统的一部分，尤其指设备中的组件实体；

第四类概念是零件，是最小级别的设备实体，同时也是无法细分的零件，例如齿轮零件的轴孔或键槽；

第五类概念是属性，指与上述四个级别的设备实体相对应的实体属性。属性通常与属性值成对出现，例如设备的温度属性；

第六类概念是属性值，通常与属性相对应。例如，温度属性的属性值可以是高或低；

第七类概念是状态值，指设备实体生产过程中出现的状态信息。与属性的区别在于没有明确的属性和对应的属性值。例如“电机中有杂物”，“有杂物”是电机实体对应的状态信息。

图3示出了一种本体构建的概念层次结构。本体概念建模主要有：设备、子设备、部件、零件、属性、属性值、状态值。即将本体定义为O={E，S，B，L，A，V，Z}七元组，其中E代表设备概念，S代表子设备概念，B代表部件概念，L代表零件概念，A代表属性概念，V代表属性值概念，Z代表状态值概念。

基于工业设备数据七元组构建工业设备本体知识模型，以通过工业设备本体知识模型对工业设备文本数据进行知识抽取，得到目标知识实例。概念间的关系抽取也是构建本体领域的重要步骤，对概念信息进行分析的同时，也可以发现概念之间存在着不同的对应关系，本体概念关系主要描述的是概念间的逻辑关系。通过分析提取出概念之间的关系主要有：包含关系、导致关系、出现关系、存在属性关系。在一种实施方式中，可以通过本体建模工具protege构建故障诊断本体知识模型，通过知识抽取方法从非结构化文本中获取知识，作为本体模型的知识实例。

步骤S4：语料标注

语料库的实体关系标注可以看成是序列标记任务，对于实体任务，语料库的标注过程主要分为以下三个阶段：

第一阶段是早期分析阶段。主要对获取的故障文本信息进行分析，查阅相关文献资料，划分本体概念，确定本体类型，并通过初步研究和咨询专家制定相应的标签规范。

第二阶段是预标记阶段。根据标签规范，本发明对工业设备相关的数据样本进行预标签。如果存在不确定词，将讨论或寻求不确定词的解决方案，并再次更新标签规范。当没有不确定的词时，这个阶段结束。

第三阶段是正式标记阶段。经过前一阶段的处理，正式进入标记阶段，最后将通过多组标记人员比较标记结果的一致性，以确保标记的准确性。

关系的标注流程和上述相同，关系的标注方法主要包括关系类别、字符位置、实体尾部字符位置、字符位置代表字符在句子中的位置、实体尾部字符位置表示对应于关系类别的尾实体的尾部字符的位置，根据前面的本体概念关系模型，关系的类型有四种：包含关系、导致关系、出现关系、存在属性关系。

关系三元组包括头实体和尾实体，因此本发明将关系类别标记在头实体的尾字符上。不属于任何关系类型的位置标注为“N”。当实体之间存在实体关系时，在句子中标记尾实体的尾部字符位置。对于同一实体涉及多个三元组的情况，在头实体的尾部字符上标记所有关系，并标记与尾实体的尾部字符对应关系的位置。

步骤S5：实体关系抽取

现有的实体关系抽取方法通常使用单一的神经网络模型，但在不同的输入条件下会表现出不同的结果，稳定性较差。本发明利用集成学习思想将多个单一模型集成为一个综合模型来提高模型的稳定性，并通过注意力增强机制提高实体关系抽取的准确性。在实体关系抽取时，本申请实施例采用预先构建的实体关系抽取模型执行，参见图4所示，该模型由下往上分为：词嵌入层、双向长短期记忆网络层、注意力增强层、弱分类器层、强分类器层、全连接神经网络层、输出层。接下来，分别对各层设计及参数进行介绍。

（1）词嵌入层

词嵌入层的输入是工业设备相关的文本数据，经过词嵌入层转换成机器学习模型能够识别的向量。词嵌入层采用Bert模型进行向量转换，该模型为领域内成熟的通用模型，因此在此不进行展开介绍。

除去语义和位置信息，输入模型的数据还包括实体标签和实体之间的关系。因此，词嵌入层的输入是将给定X={x₁,x₂，…，x_n}的数据序列，包括：位置信息、语义信息。通过词嵌入层将序列转换成向量矩阵，然后进行padding对齐，不足的补0，超出的部分采用从后往前截取方法。

（2）双向长短期记忆网络层

双向长短期记忆网络英文缩写为Bi-LSTM，该网络可以充分的利用前向和后向的上下文信息，使得模型能够更好地理解句子语义。在本模型中，双向长短期记忆网络层作为词嵌入层的下一层，能对词嵌入层输出的文本向量进行双向学习并拼接，以得到句子进行更深层次的理解。

双向长短期记忆网络的组成单元是LSTM，LSTM是领域内成熟的通用模型。双向长短期记忆网络由前向LSTM和后向LSTM构成，单向LSTM只能通过从前到后的顺序发掘时间序列数据信息，无法从后到前发掘时间序列数据信息，可能导致神经网络预测模型学习能力较弱。双向长短期记忆网络通过两个方向来发掘时间序列数据信息，能够提高神经网络预测模型学习能力，提高模型的预测精度，双向长短期记忆网络的网络结构参见图5所示。

其中，LSTM是循环神经网络的一种变体，属于改进的循环神经网络，它能够有效地解决循环神经网络无法处理时间序列中长序列的依赖问题，通过引入专门的变量存储神经单元状态，从而使神经网络具有长时间序列记忆功能，解决了循环神经网络的梯度消失和爆炸问题。LSTM模型往往由多个LSTM神经单元构成，由输入层、LSTM层、输出层构成，参见图6所示。

双向长短期记忆网络的隐藏层的计算方式如下：

其中，为t时刻的输入向量，为前向的隐藏状态，为后向的隐藏状态，表示前一时刻的隐藏状态，表示下一时刻的隐藏状态。所以，时刻的隐藏状态为前向和后向隐藏状态的拼接，其表示方式如下：

其中，为t时刻的前向隐藏状态，为t时刻的后向隐藏状态，符号表示状态拼接操作。因此最终隐藏层输出可表示H=（h₁,h₂,…,h_n）。

（3）注意力增强层

本申请算法结构中的注意力增强层的结构可以参见图7所示。

上述工业设备数据包括工业设备文本数据。在一可选的实施方式中，可以通过注意力增强层对工业设备文本数据和预设权重矩阵进行计算，得到Q矩阵、K矩阵和V矩阵；然后将Q矩阵和K矩阵进行点积计算，并将点积结果进行归一化处理，得到归一化结果；进而基于归一化结果和V矩阵确定注意力增强后的目标样本信息。

为便于理解，以输入信息为工业设备文本数据为例，将输入信息分别乘以相应的权重得到q₁、k₁以及v₁，计算过程如下：

其中，Q、K和V是由上述各个q_i、k_i和v_i分别拼接而成的矩阵，表示如下：

W^q、W^k以及W^v分别对应Q、K、V的权重矩阵；，是词库的大小。将得到的与进行点积运算，接着将结果归一化处理，最后分别乘以相应的权重得到输出内容，即得到：

由b₁的计算结果可以看出，b₁的结果值与整个输入序列有关，这也是本发明提出的注意力机制可以并行加速计算的原因。将上述的计算过程用矩阵的方式表示为：

其中，为矩阵的维度，softmax函数用于将结果进行归一化为概率分布。

通过注意力增强后的样本表示为U=（u₁,u₂,…,u_n）。

（4）弱分类器层

弱分类器层包括双向长短期记忆网络弱分类器和卷积神经网络弱分类器；在一种实施方式中，可以过双向长短期记忆网络对工业设备数据对应的数据序列进行文本向量学习处理，得到第一关系预测概率；通过卷积神经网络弱分类器对目标样本信息进行卷积和池化处理，得到第二关系预测概率。

进一步，详细说明如下：

1）双向长短期记忆网络弱分类器

双向长短期记忆网络已在双向长短期记忆网络层进行介绍，此处不再展开。

通过该模型得到双向长短期记忆网络弱分类器的关系预测概率。

2）卷积神经网络弱分类器

卷积神经网络英文缩写为CNN，可以解决实体关系抽取任务中并行计算的问题，增加卷积神经网络的层数可以解决长距离依赖的问题，但随着层数的增加，模型的参数就会增多，从而导致训练时间过长。因此，在一种实施方式中，参见图8所示，可以选用2层卷积层和2层全连接层进行关系抽取，既保证并行性，又防止训练时间过长，还可以提取到更有效的特征。

在该模型中，输入到卷积层的数据是U=（u₁,u₂,…,u_n），若滑动窗口大小为，当窗口在上滑动时，向量落到第个窗口的向量表示如下式：

设置卷积核为，R为空间表示，c为卷积核的宽度，n为特征数量，d为卷积核的长度，则向量Q_j经过卷积层与池化层输出的特征信息计算方式如下：

其中，表示最大池化操作，符号是卷积操作，b是偏置，f（）是非线性激活函数，s是卷积核的数目。最后经过全连接层与Softmax分类器得到关系预测概率，其计算方式如下：

其中，softmax( )是softmax分类函数，是卷积神经网络弱分类器的关系预测概率。

（5）强分类器层

本申请实施例通过集成学习将一系列弱分类器以某种恰当的方式组合起来，得到比使用单个模型更鲁棒的强模型。

在一可选的实施方式中，可以将对第一关系预测概率和第二关系预测概率分别确定第一关系类别标签和第二关系类别标签；对第一关系类别标签和第二关系类别标签进行编码处理，得到第一关系矩阵和第二关系矩阵；基于第一关系矩阵和第二关系矩阵确定目标关系矩阵；将目标关系矩阵确定为强分类器层的输入信息。

为便于理解，本申请实施例使用全连接神经网络进行模型集成，输入主要包括两个部分：Output_BiLSTM、Output_CNN，参见图9所示。

Output_BiLSTM是双向长短期记忆网络弱分类器计算的关系类别预测概率，取其最大值作为关系类别标签，经过独热编码的形式将其转换为m维的关系矩阵；Output_CNN是卷积神经网络弱分类器计算的关系类别预测概率，取其最大值作为关系类别标签，经过独热编码的形式将其转换为m维的关系矩阵。因此，综合模型的输入可表示为：

（6）全连接神经网络层

本发明选择3层隐藏层的全连接神经网络进行特征提取，在提高训练效率的同时，保证实体关系抽取的性能.使用全连接神经网络进行信息传播计算方式如下：

其中，z^(l)表示l层神经元的净输入，a^(l)表示第l层神经元的输出，a^(l-1)表示第l层前一层神经元的输出，f₁()表示神经元的激活函数，W^(l)表示l-1层到l层的权重矩阵，b^(l)表示l-1到l层的偏置。最后利用Softmax分类器，得到最终每个关系类别的预测概率。

（7）输出层

输出层为输出的实体关系类别预测概率。

步骤S6：实体识别

现有的实体识别方法存在一些缺点，如需要强大的硬件支持，并且通常会花费更多的训练时间来达到更好的模型效果，大大提高了实体识别的时间成本与经济成本；传统LSTM模型无法有效捕捉设备数据相关文本中的前后文关系，导致在实体识别过程中从后到前的语义无法准确理解的问题。

为解决上述问题，本发明提出一种新型实体识别模型，该模型可以在保证效果的同时减少模型的参数、降低模型使用的内存，同时能够更好地捕捉文本信息中为双向依赖信息，防止标签顺序混乱而导致结果错误。

在一可选的实施方式中，预先构建的实体识别模型包括输入层、目标ALBert层（也即基于辅助矩阵的Bert层）、双向长短期记忆网络层、条件随机场层和输出层；其中，目标ALBert层的嵌入层维度和隐藏层维度为解绑状态。

本申请所提供的预先构建的实体识别模型架构参见图10所示，可以包括输入层、基于辅助矩阵的Bert层（也即目标ALBert层）、双向长短期记忆网络层和条件随机场层，以下针对每个层进行详细说明。

（1）输入层

输入层处理方法同步骤S5的词嵌入层处理方法相同，此处不再进行展开介绍。

（2）基于辅助矩阵的Bert层

本层对Bert模型进行了改进，为了在保证模型性能的同时降低Bert模型的参数量，基于辅助矩阵的Bert模型的改进方式包括以下方面：

1）嵌入层参数因式分解

Bert模型将嵌入层维度与隐藏层维度进行了捆绑，这样做的结果是嵌入层维度会随隐藏层维度提升而提升，这也是Bert模型参数量较大的原因，因此基于辅助矩阵的Bert模型从这个角度对Bert模型进行了改进，它对隐藏层和嵌入层进行了解绑，实现方式是引入辅助矩阵对嵌入层进行维度转化，但并不改变嵌入层本身的维度。

在一种实施方式中，基于辅助矩阵对嵌入层参数进行维度转换，得到目标时间复杂度为：

也即，本申请引入嵌入层参数因式分解后的时间复杂度变换如下式所示：

其中，隐藏层维度远大于嵌入层维度，为词汇表长度，函数表示模型复杂度，因此基于辅助矩阵的Bert模型的参数量是远小于Bert模型的。

2）跨层参数共享

在一可选的实施方式中，上述目标ALBert层（也即基于辅助矩阵的Bert模型）包括多个转换编码层（也即多层Transformer编码器），且多个转换编码层之间跨层共享同一个参数矩阵。

相较于传统Bert模型中采用的多层Transformer编码器，但各Transformer层的参数之间没有关联，这会导致Transformer结构的层数变多时，Bert模型的参数量也随之增加。针对这个问题，本申请实施例提供的基于辅助矩阵的Bert模型采用跨层参数共享的方式，使多个Transformer层之间共享一个参数矩阵，将多个不同Encoder层的叠加变成一个参数相同的Encoder叠加，从而降低参数量级。

（3）双向长短期记忆网络层

双向长短期记忆网络层同步骤S5的双向长短期记忆网络层处理方法相同，此处不再赘述。

（4）条件随机场层

本发明选用条件随机场层来控制标签的输出顺序。假定有一个由若干变量组成的一个整体，那么当给这个整体中的某一个变量随机赋值之后，其全体就叫做随机场。以本发明中的工业设备故障诊断知识图谱构建方法中的实体识别任务为例，假定某个句子由10个字组成，要对这10个字进行实体识别的标注，就需要给每个字分配对应的标签（B、I、O），当其中一个字被分配了标签后，其他的字就形成了一个随机场。而当随机场中某一个位置的赋值只由自身位置或相邻位置决定时，随机场就变成了马尔可夫随机场。比如第三个字的标签除了与自己本身的位置有关外，只与第二个字和第四个字的标签有关，这时就变成了一个马尔可夫随机场。当马尔可夫随机场中只有X和Y两种变量时(X是词，Y是标签），这种随机场就称之为条件随机场，英文缩写为CRF。假定是给定X时Y的条件概率分布，则其具体计算公式如下：

其中，和是特征函数；和是对应的权值，可以通过历史经验确定，此处不作具体限定；是规范化因子，用于对所有的特征进行归一化处理；是当前时刻的输入词向量；是时刻所对应的标签。根据条件概率分布，按照概率大小确定标签的输出顺序。

步骤S7：知识存储

在一种实施方式中，可以使用图数据库进行知识存储。本申请实施例使用Neo4j图形数据库进行知识存储和可视化操作，Neo4j是一个高性能、成熟和稳定的图形数据库，在基于JDK的环境下运行。

综上，本申请实施例提供的基于机器学习的设备故障诊断知识图谱构建方法，提升了实体关系抽取和实体识别的准确性。

基于上述方法实施例，本申请实施例还提供一种基于机器学习的设备故障诊断知识图谱构建装置，参见图11所示，主要包括以下模块：

数据获取及预处理模块112，用于获取工业设备数据，并对工业设备数据进行预处理；

实体关系抽取及实体识别模块114，用于将预处理后的工业设备数据输入至预先构建的实体关系抽取模型进行实体关系抽取，并基于预先构建的实体识别模型进行实体识别，得到目标实体和目标实体之间的关系；其中，预先构建的实体关系抽取模型至少包括：词嵌入层、双向长短期记忆网络层、注意力增强层、弱分类器层、强分类器层、全连接神经网络层和输出层；预先构建的实体识别模型的输出层之前设置有条件随机场层，条件随机场层用于约束标签顺序；

知识图谱构建模块116，用于根据目标实体和目标实体之间的关系构建针对工业设备故障诊断的目标知识图谱。

本申请实施例提供的基于机器学习的设备故障诊断知识图谱构建装置，预先构建的实体关系抽取模型通过集成学习思想将多个单一模型集成为一个综合模型来提高模型的稳定性，并通过注意力增强机制提高实体关系抽取的准确性；在实体识别操作中，在预先构建的实体识别模型的输出层之前加入条件随机场层进行约束，防止标签顺序混乱而导致结果错误，可以在保证效果的同时减少模型的参数、降低模型使用的内存，同时能够更好地捕捉文本信息中为双向依赖信息，防止标签顺序混乱而导致结果错误。因此，本申请实施例提升了实体关系抽取和实体识别的准确性。

在一些实施方式中，工业设备数据包括工业设备文本数据；上述装置还包括，注意力增强处理模块，用于：

通过注意力增强层对工业设备文本数据和预设权重矩阵进行计算，得到Q矩阵、K矩阵和V矩阵；将Q矩阵和K矩阵进行点积计算，并将点积结果进行归一化处理，得到归一化结果；基于归一化结果和V矩阵确定注意力增强后的目标样本信息。

在一些实施方式中，弱分类器层包括双向长短期记忆网络弱分类器和卷积神经网络弱分类器；上述装置还包括，关系预测概率确定模块，用于：

通过双向长短期记忆网络对工业设备数据对应的数据序列进行文本向量学习处理，得到第一关系预测概率；通过卷积神经网络弱分类器对目标样本信息进行卷积和池化处理，得到第二关系预测概率。

在一些实施方式中，上述装置还包括：强分类输入处理模块，用于：对第一关系预测概率和第二关系预测概率分别确定第一关系类别标签和第二关系类别标签；对第一关系类别标签和第二关系类别标签进行编码处理，得到第一关系矩阵和第二关系矩阵；基于第一关系矩阵和第二关系矩阵确定目标关系矩阵；将目标关系矩阵确定为强分类器层的输入信息。

在一些实施方式中，预先构建的实体识别模型包括输入层、目标ALBert层、双向长短期记忆网络层、条件随机场层和输出层；其中，目标ALBert层的嵌入层维度和隐藏层维度为解绑状态；上述装置还包括：维度转换模块，用于：

基于辅助矩阵对嵌入层参数进行维度转换，得到目标时间复杂度为：

其中，隐藏层维度远大于嵌入层维度，为工业设备数据对应的词汇表长度，函数表示模型复杂度。

在一些实施方式中，目标ALBert层包括多个转换编码层；多个转换编码层之间跨层共享同一个参数矩阵。

在一些实施方式中，在对工业设备数据进行预处理后，上述装置还包括：本体构建模块，用于：对预处理后的工业设备数据进行本体构建，得到工业设备数据七元组；其中，工业设备数据七元组的概念包括：设备、子设备、组件、零件、属性、属性值和状态值；七元组中的概念之间的关系至少包括包含关系、导致关系、出现关系和存在属性关系；基于工业设备数据七元组构建工业设备本体知识模型，以通过工业设备本体知识模型对工业设备文本数据进行知识抽取，得到目标知识实例。

本申请实施例提供的基于机器学习的设备故障诊断知识图谱构建装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，基于机器学习的设备故障诊断知识图谱构建装置的实施例部分未提及之处，可参考前述基于机器学习的设备故障诊断知识图谱构建方法实施例中相应内容。

本申请实施例还提供了一种电子设备，如图12所示，为该电子设备的结构示意图，其中，该电子设备100包括处理器121和存储器120，该存储器120存储有能够被该处理器121执行的计算机可执行指令，该处理器121执行该计算机可执行指令以实现上述任一项基于机器学习的设备故障诊断知识图谱构建方法。

在图12示出的实施方式中，该电子设备还包括总线122和通信接口123，其中，处理器121、通信接口123和存储器120通过总线122连接。

其中，存储器120可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口123（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线122可以是ISA（IndustryStandard Architecture，工业标准体系结构）总线、PCI（Peripheral ComponentInterconnect，外设部件互连标准）总线或EISA（Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线122可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器121可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器121中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器121可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器121读取存储器中的信息，结合其硬件完成前述实施例的基于机器学习的设备故障诊断知识图谱构建方法的步骤。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述基于机器学习的设备故障诊断知识图谱构建方法，具体实现可参见前述方法实施例，在此不再赘述。

本申请实施例所提供的基于机器学习的设备故障诊断知识图谱构建方法和装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (9)

1.一种基于机器学习的设备故障诊断知识图谱构建方法，其特征在于，包括：

获取工业设备数据，并对所述工业设备数据进行预处理；

将预处理后的工业设备数据输入至预先构建的实体关系抽取模型进行实体关系抽取，并基于预先构建的实体识别模型进行实体识别，得到目标实体和目标实体之间的关系；其中，所述预先构建的实体关系抽取模型至少包括：词嵌入层、双向长短期记忆网络层、注意力增强层、弱分类器层、强分类器层、全连接神经网络层和输出层；所述预先构建的实体识别模型包括输入层、目标ALBert层、双向长短期记忆网络层、条件随机场层和输出层；其中，所述目标ALBert层的嵌入层维度和隐藏层维度为解绑状态，所述目标ALBert层包括多个转换编码层；多个转换编码层之间跨层共享同一个参数矩阵，所述条件随机场层用于约束标签顺序；

具体的，通过词嵌入层将输入的工业设备数据转换成机器学习模型能够识别的向量，并通过双向长短期记忆网络层利用前向和后向的上下文信息，通过注意力增强层对工业设备数据和预设权重矩阵进行计算，确定注意力增强后的目标样本信息，通过弱分类器层进行关系预测概率的确定，以进行文本向量学习及分类处理；通过强分类器层对关系预测概率进行处理，得到类别标签，并通过关系类别标签确定目标关系矩阵，以进行实体关系的抽取；

根据目标实体和目标实体之间的关系构建针对工业设备故障诊断的目标知识图谱。

2.根据权利要求1所述的基于机器学习的设备故障诊断知识图谱构建方法，其特征在于，所述工业设备数据包括工业设备文本数据；所述方法还包括：

通过注意力增强层对所述工业设备文本数据和预设权重矩阵进行计算，得到Q矩阵、K矩阵和V矩阵；

将所述Q矩阵和K矩阵进行点积计算，并将点积结果进行归一化处理，得到归一化结果；

基于所述归一化结果和所述V矩阵确定注意力增强后的目标样本信息。

3.根据权利要求2所述的基于机器学习的设备故障诊断知识图谱构建方法，其特征在于，所述弱分类器层包括双向长短期记忆网络弱分类器和卷积神经网络弱分类器；所述方法还包括：

通过所述双向长短期记忆网络对所述工业设备数据对应的数据序列进行文本向量学习处理，得到第一关系预测概率；

通过所述卷积神经网络弱分类器对所述目标样本信息进行卷积和池化处理，得到第二关系预测概率。

4.根据权利要求3所述的基于机器学习的设备故障诊断知识图谱构建方法，其特征在于，所述方法还包括：

对所述第一关系预测概率和所述第二关系预测概率分别确定第一关系类别标签和第二关系类别标签；

对所述第一关系类别标签和所述第二关系类别标签进行编码处理，得到第一关系矩阵和第二关系矩阵；

基于所述第一关系矩阵和所述第二关系矩阵确定目标关系矩阵；

将所述目标关系矩阵确定为所述强分类器层的输入信息。

5.根据权利要求2所述的基于机器学习的设备故障诊断知识图谱构建方法，其特征在于，所述方法还包括：

基于辅助矩阵对嵌入层参数进行维度转换，得到目标时间复杂度为：

其中，隐藏层维度大于嵌入层维度，为所述工业设备数据对应的词汇表长度，函数表示模型复杂度。

6.根据权利要求5所述的基于机器学习的设备故障诊断知识图谱构建方法，其特征在于，在对所述工业设备数据进行预处理后，所述方法还包括：

对预处理后的工业设备数据进行本体构建，得到工业设备数据七元组；其中，所述工业设备数据七元组的概念包括：设备、子设备、组件、零件、属性、属性值和状态值；七元组中的概念之间的关系至少包括包含关系、导致关系、出现关系和存在属性关系；

基于所述工业设备数据七元组构建工业设备本体知识模型，以通过所述工业设备本体知识模型对工业设备文本数据进行知识抽取，得到目标知识实例。

7.一种基于机器学习的设备故障诊断知识图谱构建装置，其特征在于，包括：

数据获取及预处理模块，用于获取工业设备数据，并对所述工业设备数据进行预处理；

实体关系抽取及实体识别模块，用于将预处理后的工业设备数据输入至预先构建的实体关系抽取模型进行实体关系抽取，并基于预先构建的实体识别模型进行实体识别，得到目标实体和目标实体之间的关系；其中，所述预先构建的实体关系抽取模型至少包括：词嵌入层、双向长短期记忆网络层、注意力增强层、弱分类器层、强分类器层、全连接神经网络层和输出层；所述预先构建的实体识别模型包括输入层、目标ALBert层、双向长短期记忆网络层、条件随机场层和输出层；其中，所述目标ALBert层的嵌入层维度和隐藏层维度为解绑状态，所述目标ALBert层包括多个转换编码层；多个转换编码层之间跨层共享同一个参数矩阵，所述条件随机场层用于约束标签顺序；具体的，通过词嵌入层将输入的工业设备数据转换成机器学习模型能够识别的向量，并通过双向长短期记忆网络层利用前向和后向的上下文信息，通过注意力增强层对工业设备数据和预设权重矩阵进行计算，确定注意力增强后的目标样本信息，通过弱分类器层进行关系预测概率的确定，以进行文本向量学习及分类处理；通过强分类器层对关系预测概率进行处理，得到类别标签，并通过关系类别标签确定目标关系矩阵，以进行实体关系的抽取；

知识图谱构建模块，用于根据目标实体和目标实体之间的关系构建针对工业设备故障诊断的目标知识图谱。

8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至6任一项所述的基于机器学习的设备故障诊断知识图谱构建方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至6任一项所述的基于机器学习的设备故障诊断知识图谱构建方法。

Images