CN113283027B - 一种基于知识图谱和图神经网络的机械故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于知识图谱以及图神经网络的机械故障诊断方法，包括：采集机械故障工单；对故障工单进行文本清洗，创建结构化的故障文本数据；创建可训练的故障节点特征数据、关系三元组数据以及图数据；构建机械故障知识图谱，并进行可视化展示；构建图注意力神经网络模型，并训练网络；获取机械故障知识图谱节点的特征表示，通过降维算法将节点特征表示降到二维，得到节点特征在二维平面上的分布，最终得到故障节点的分类，以此实现故障诊断。本发明利用图神经网络训练机械故障知识图谱，从智能决策层面做出诊断，可大大提高故障诊断的准确率。

Description

一种基于知识图谱和图神经网络的机械故障诊断方法

技术领域

本发明涉及基于知识的故障诊断技术领域，尤其涉及一种基于知识图谱和图神经网络的机械故障诊断方法。

背景技术

故障诊断技术就其分类而言，大致可分为三类：基于解析模型的方法、基于信号处理的方法和基于知识的智能故障诊断方法。其中，伴随着计算机技术的飞速进步，基于知识的智能故障诊断技术也在逐渐发展，但其技术仍不够成熟。在工业应用上，基于知识的智能故障诊断技术仍然缺少可行的工程方法。现有的基于知识的智能故障诊断方法大多是将知识工程、专家系统、模糊控制、神经网络等人工智能技术简单地应用于故障检测与诊断技术中。然而，就智能决策层面而言，这些方法还有一些不足之处：其一，基于知识的故障诊断技术需要大量专家经验和专家知识，这会导致成本急剧增加；其二，知识数据库的建立极其依赖人工，消耗大量的人力物力，不利于解放劳动力以及自动化部署；其三，很容易忽略知识本身丰富的语义以及知识之间的巨大的潜在联系。

发明内容

本发明的目的在于克服现有技术的缺陷，提供一种基于知识图谱和图神经网络的机械故障诊断方法，针对在工业上已有的专家经验和故障诊断知识分布零散的情况下，为了弥补现有诊断方法难以利用知识之间隐藏的丰富的关系问题，将知识图谱引入到故障诊断领域，并引入图神经网络对故障知识图谱进行知识推理，从而实现挖掘机运行故障的智能诊断决策，解决挖掘机在运行时零部件的故障诊断与智能决策问题。

为解决上述问题，本发明采用以下技术方案。

步骤1、数据处理阶段：

步骤1.1、清洗故障工单文本数据。以正则表达式抽取故障工单文本里的故障实体文本数据、故障关系三元组文本数据，并且去除多余的标点符号以及辅助说明信息，其次去除对故障实体文本数据、故障关系三元组文本数据的解释说明，最终得到清洗完成的机械故障工单数据。

步骤1.2、创建结构化的故障文本数据。根据故障实体间的对应关系筛选故障三元组，具体形式为：(头实体，关系，尾实体)，简记为：(h,r,t)。

步骤1.3、创建训练数据集、验证数据集、测试数据集。将清洗完的故障工单文本按照单个汉字做成一个字典，对每个故障实体按照汉字字典进行编码，编码向量作为其特征表示。为训练数据集，其中/>为训练集中第i个故障实体的特征向量，/>为训练集中第i个故障实体的one-hot标签向量，n_s为训练集中故障实体的个数。/>为验证数据集,其中/>为验证集中第i个故障实体的特征向量，n_v为验证集中实体的个数。为测试数据集,其中/>为测试集中第i个故障实体的特征向量，n_t为测试集中实体的个数。验证集和测试集都不含有标签数据。

步骤2、图谱展示阶段：

步骤2.1、构建故障知识图谱。基于Python和py2neo库创建机械故障知识图谱，并向机械故障知识图谱中插入故障实体以及故障实体间的语义关系，最终形成一张完整的机械故障知识图谱。

步骤2.2、可视化展示。通过Neo4j图数据库进行可视化展示，并且能够通过Python脚本实现各种故障数据的增减查找的图搜索算法。

步骤3、模型训练阶段：

步骤3.1、基于PyTorch深度学习框架构建图注意力神经网络模型。该模型属于图卷积神经网络的变种，此模型基于聚合函数进行建模，并且提出了以注意力体制为核心运算的注意力层。创建模型时指定了图注意力神经网络模型的深度、各层的节点数、学习率、注意力头数以及迭代次数。

该模型由堆叠多头图注意力层来实现。图注意力层的结构图由图5a以及图5b所示。图注意力层是一种将数据的特征向量x＝{x₁,x₂,…,x_N},x_i∈R^F(x_i,i＝1,2,…,N为节点更新前的特征向量，N为节点数，F为节点更新前的维度)经过一个以注意力为核心的聚合操作输出得到一个新的特征向量x′＝{x′₁,x′₂,…,x′_N},x′_i∈R^F′(x′_i,i＝1,2,…,N为节点更新后的特征向量，N为节点数，F′为节点更新后的维度)的神经网络层，其核心便是计算注意力系数。

(i)注意力系数

为了将输入的故障节点的特征向量转换到更高维的特征向量空间中，通过已初始化的矩阵W(W∈R^F′×F)定义一个映射b:R^F′×R^F→R，再由自注意力机制(self-attention)计算得到两个故障节点之间的权重关系

e_ij＝b(Wx_i,Wx_j) (1)

其中，e_ij是两个故障节点之间的权重关系，b是映射向量，W是第i个和第j故障节点共享的线性变换矩阵，x_i是当前关注的故障节点，x_j是故障节点x_i的邻居故障节点。

加入LeakyReLU函数再使用softmax进行正则化处理，就可以得到故障节点i的注意力系数：

其中，α_ij是两个故障节点之间的权重系数，N_i为第i个故障节点的邻居节点，exp(x)表示为数学运算e^x，||为向量拼接操作，b^T是映射向量的转置，x_k为第k个故障节点的邻居节点。

将所求的注意力模型特征加权求和，可得：

其中，σ是非线性转换操作，x′_i是更新后的第i个故障节点的特征向量。

(ii)多头图注意力层

为了使自注意力机制更加稳定，可以引入多头图注意力机制(multi-headattention)。多头的含义是指分别对每个故障节点i调用K次相互独立的注意力运算(可以进行平均优化)，然后将输出结果拼接在一起得到一个总的向量：

其中，||为拼接操作，K为相互独立的注意力运算次数，σ是非线性转换操作，为第k次的注意力系数，W^k为第k组的线性变换矩阵。

步骤3.2、在训练集上训练图注意力神经网络模型，并在验证集验证模型的准确性，在测试集测试模型可靠性。将训练集数据和验证集数据/>同时送入图注意力神经网络模型进行训练，对于每个故障节点i得到其预测标签/>设置交叉熵函数为损失函数，使用Adam优化器优化，不断调整训练参数，使损失值不断减小。通过对比训练集中正确预测的节点个数占比得到正确率。验证集数据不参与反向传播训练，只得到其正确率。最后通过测试集/>测试模型效果。

步骤4、效果展示阶段：

步骤4.1、获取训练后的故障节点特征表示。将训练完的故障实体向量取出保存，作为故障实体新的特征表示。

步骤4.2、降维展示：通过TSNE降维算法将故障节点特征表示降至二维，得到故障实体特征在二维平面上的分布，并画出此分布的散点图，最终可以得到故障节点分类。

与现有技术相比，本发明具有以下优点和有益效果：

1.本发明将知识图谱引入到故障诊断领域，并且提供一种基于图神经网络进行知识推理的机械故障诊断方法，此方法能够实现机械运行故障的智能诊断决策，解决机械在运行时零部件的故障诊断与智能决策问题，从而提高故障诊断准确率。

2.本发明依据机械故障数据文件模板自动抽取故障实体以及故障三元组，并且自动构建机械故障知识数据库，实现不依赖大量人工的自动化部署，可大大减少人力物力的消耗，解放劳动力。

3.本发明集中储存了大量的有关机械运行故障的专家经验和专家知识，深入挖掘了故障知识本身丰富的语义以及故障知识之间的巨大的潜在联系，在技术上提供了智能诊断决策，辅助操作员快速定位故障以及提供处理故障的方法，并且不会增加额外的数据收集成本。

附图说明

图1为本发明的一种实施例的方法流程图。

图2为本发明的一种实施例的故障知识图谱展示图。

图3为本发明的一种实施例的方法流程结构图。

图4a-图4b为本发明的一种实施例的故障节点分类展示图。其中，图4a为本发明的一种实施例的训练前故障节点分类展示图，图4b为本发明的一种实施例的训练后故障节点分类展示图。

图5a-图5b为本发明的一种实施例的图注意力层结构图。其中，图5a为本发明的一种实施例的计算注意力系数结构图，图5b为本发明的一种实施例的注意力层及多头注意力结构图。

具体实施方式

本发明的一种基于知识图谱以及图神经网络的机械故障诊断方法，在建立机械故障知识图谱的基础上利用图神经网络进行知识推理，从而解决机械的故障诊断问题。此方法利用图神经网络训练机械故障知识图谱，从智能决策层面做出诊断，能提高故障诊断的准确率。本发明方法包括：采集机械故障工单；对故障工单进行文本清洗，创建结构化的故障文本数据；创建可训练的故障节点特征数据、关系三元组数据以及图数据；构建机械故障知识图谱，并进行可视化展示；构建图注意力神经网络模型，并训练网络；获取机械故障知识图谱节点的特征表示，通过降维算法将节点特征表示降到二维，可得到节点特征在二维平面上的分布，最终可以得到故障节点的分类，以此实现故障诊断。

下面结合附图对本发明作进一步详细描述。

图1为本发明的一种实施例的方法流程图。如图1所示，本发明提供一种基于知识图谱和图神经网络的机械故障诊断方法，该方法包括以下步骤：

步骤1为数据处理阶段，如图3的故障数据处理模块所示，其中包括：采集机械故障工单，并对故障工单文件进行文本清洗，只保留其中故障实体以及故障关系的语义信息；创建结构化的文本数据，包括前置条件、故障原因、故障现象、故障程度、故障部位、维修方法以及辅助实体；创建可训练的故障节点特征数据、关系三元组数据以及图数据。

步骤2为图谱展示阶段，如图3的建立故障知识图谱模块所示：基于Python和py2neo库构建机械故障知识图谱，并通过Neo4j图数据库进行可视化展示；

步骤3为模型训练阶段，如图3的图神经网络模型模块所示：构建图注意力神经网络模型，在训练集上训练网络，在验证集上验证网络模型的准确性，在测试集上测试模型可靠性。

步骤4为效果展示阶段，如图3的结果展示模块所示：获取机械故障知识图谱的节点特征表示，通过TSNE降维算法将节点特征表示降到二维，可以得到节点特征在二维平面上的分布，最终可以得到故障节点分类。

具体的，所述步骤1数据处理阶段，包括：

步骤1.1、清洗故障工单文本数据。以正则表达式抽取故障工单文本里的故障实体文本数据、故障关系三元组文本数据，并且去除多余的标点符号以及辅助说明信息，其次去除对故障实体文本数据、故障关系三元组文本数据的解释说明，最终得到清洗完成的机械故障工单数据。

步骤1.2、创建结构化的故障文本数据。根据故障实体间的对应关系筛选故障三元组，具体形式为：(头实体，关系，尾实体)，简记为：(h,r,t)。

步骤1.3、创建训练数据集、验证数据集、测试数据集。将清洗完的故障工单文本按照单个汉字做成一个字典，对每个故障实体按照汉字字典进行编码，编码向量作为其特征表示。为训练数据集，其中/>为训练集中第i个故障实体的特征向量，/>为训练集中第i个故障实体的one-hot标签向量，n_s为训练集中故障实体的个数。/>为验证数据集,其中/>为验证集中第i个故障实体的特征向量，n_v为验证集中实体的个数。为测试数据集,其中/>为测试集中第i个故障实体的特征向量，n_t为测试集中实体的个数。验证集和测试集都不含有标签数据。

具体的，所述步骤2图谱展示阶段，包括：

步骤2.1、构建故障知识图谱。基于Python和py2neo库创建机械故障知识图谱，并向机械故障知识图谱中插入故障实体以及故障实体间的语义关系，最终形成一张完整的机械故障知识图谱。

步骤2.2、可视化展示。通过Neo4j图数据库进行可视化展示，并且能够通过Python脚本实现各种故障数据的增减查找的图搜索算法。

具体的，所述步骤3模型训练阶段，包括：

步骤3.1、基于PyTorch深度学习框架构建图注意力神经网络模型。该模型属于图卷积神经网络的变种，此模型基于聚合函数进行建模，并且提出了以注意力体制为核心运算的注意力层。创建模型时指定了图注意力神经网络模型的深度、各层的节点数、学习率、注意力头数以及迭代次数。

该模型由堆叠多头图注意力层来实现。图注意力层的结构图由图5a以及图5b所示。图注意力层是一种将数据的特征向量x＝{x₁,x₂,…,x_N},x_i∈R^F(x_i,i＝1,2,…,N为节点更新前的特征向量，N为节点数，F为节点更新前的维度)经过一个以注意力为核心的聚合操作输出得到一个新的特征向量x′＝{x′₁,x′₂,…,x′_N},x′_i∈R^F′(x′_i,i＝1,2,…,N为节点更新后的特征向量，N为节点数，F′为节点更新后的维度)的神经网络层，其核心便是计算注意力系数。

(i)注意力系数

为了将输入的故障节点的特征向量转换到更高维的特征向量空间中，通过已初始化的矩阵W(W∈R^F′×F)定义一个映射b:R^F′×R^F→R，再由自注意力机制(self-attention)计算得到两个故障节点之间的权重关系

e_ij＝b(Wx_i,Wx_j) (1)

其中，e_ij是两个故障节点之间的权重关系，b是映射向量，W是第i个和第j故障节点共享的线性变换矩阵，x_i是当前关注的故障节点，x_j是故障节点x_i的邻居故障节点。

加入LeakyReLU函数再使用softmax进行正则化处理，就可以得到故障节点i的注意力系数：

其中，α_ij是两个故障节点之间的权重系数，N_i为第i个故障节点的邻居节点，exp(x)表示为数学运算e^x，||为向量拼接操作，b^T是映射向量的转置，x_k为第k个故障节点的邻居节点。

将所求的注意力模型特征加权求和，可得：

其中，σ是非线性转换操作，x′_i是更新后的第i个故障节点的特征向量。

(ii)多头图注意力层

为了使自注意力机制更加稳定，可以引入多头图注意力机制(multi-headattention)。多头的含义是指分别对每个故障节点i调用K次相互独立的注意力运算(可以进行平均优化)，然后将输出结果拼接在一起得到一个总的向量：

其中，||为拼接操作，K为相互独立的注意力运算次数，σ是非线性转换操作，为第k次的注意力系数，W^k为第k组的线性变换矩阵。

步骤3.2、在训练集上训练图注意力神经网络模型，并在验证集验证模型的准确性，在测试集测试模型可靠性。将训练集数据和验证集数据/>同时送入图注意力神经网络模型进行训练，对于每个故障节点i得到其预测标签/>设置交叉熵函数为损失函数，使用Adam优化器优化，不断调整训练参数，使损失值不断减小。通过对比训练集中正确预测的节点个数占比得到正确率。验证集数据不参与反向传播训练，只得到其正确率。最后通过测试集/>测试模型效果。

具体的，所述步骤4效果展示阶段，包括：

步骤4.1、获取训练后的故障节点特征表示。将训练完的故障实体向量取出保存，作为故障实体新的特征表示。

步骤4.2、降维展示：通过TSNE降维算法将故障节点特征表示降至二维，得到故障实体特征在二维平面上的分布，并画出此分布的散点图，最终可以得到故障节点分类。

本发明提出的基于知识图谱和图神经网络的机械故障诊断方法，可以用来实现机械运行故障的智能诊断决策，解决机械在运行时零部件的故障诊断与智能决策问题。

1.本发明将知识图谱引入到故障诊断领域，在建立机械故障知识图谱的基础上利用图注意力神经网络进行知识推理，从而解决机械的故障诊断问题。此方法利用图注意力神经网络训练机械故障知识图谱，从智能决策层面做出诊断，能提高故障诊断准确率。

2.本发明可以依据机械故障数据文件模板自动抽取故障实体以及故障三元组，并且自动构建机械故障知识数据库，实现不依赖大量人工的自动化部署，能尽可能的减少人力物力的消耗，解放劳动力。

3.本发明集中储存了大量的有关机械运行故障的专家经验和专家知识，深入挖掘了故障知识本身丰富的语义以及故障知识之间的巨大的潜在联系，在技术上提供了智能诊断决策，辅助操作员快速定位故障以及提供处理故障的方法，并且不会增加额外的数据收集成本。

本发明在国产某型号挖掘机知识数据上进行了验证，本发明采用了3层图注意力层的图注意力神经网络。

本发明验证结果如下表所示：

训练准确率	验证准确率	测试准确率
			0.9093	0.7600	0.7840

本发明验证结果图如图4a和图4b所示，结合上表和结果图可以看出该模型能很好的预测出挖掘机故障节点类别，本发明实现了挖掘机运行故障的智能诊断决策，解决了挖掘机在运行时零部件的故障诊断与智能决策问题，提高了故障诊断准确率。同时，本发明深入挖掘了故障知识本身丰富的语义以及故障知识之间的巨大的潜在联系，在技术上提供了智能诊断决策，辅助操作员快速定位故障以及提供处理故障的方法。本发明也依据挖掘机故障数据文件模板自动抽取故障实体以及故障三元组，并且自动构建挖掘机故障知识数据库，实现了不依赖大量人工的自动化部署，能尽可能的减少了人力物力的消耗，解放了劳动力。

Claims (4)

1.一种基于知识图谱和图神经网络的机械故障诊断方法，其特征在于，包括以下步骤：

步骤1、数据处理阶段：采集机械故障工单，并对故障工单文件进行文本清洗，只保留其中故障实体以及故障关系的语义信息；创建结构化的文本数据，包括前置条件、故障原因、故障现象、故障程度、故障部位、维修方法以及辅助实体；创建可训练的故障节点特征数据、关系三元组数据以及图数据；

步骤2、图谱展示阶段：基于Python和py2neo库构建机械故障知识图谱，并通过Neo4j图数据库进行可视化展示；

步骤3、模型训练阶段：构建图注意力神经网络模型，在训练集上训练网络，在验证集上验证网络模型的准确性，在测试集上测试模型可靠性；

步骤4、效果展示阶段：获取机械故障知识图谱的节点特征表示，通过TSNE降维算法将节点特征表示降到二维，获得节点特征在二维平面上的分布，最终得到故障节点分类；

所述步骤3模型训练阶段，具体包括：

步骤3.1、基于PyTorch深度学习框架构建图注意力神经网络模型：该模型属于图卷积神经网络的变种，此模型基于聚合函数进行建模，并且提出以注意力体制为核心运算的注意力层；创建模型时指定图注意力神经网络模型的深度、各层的节点数、学习率、注意力头数以及迭代次数；

所述的图注意力神经网络模型由堆叠多头图注意力层来实现；图注意力层是一种将数据的特征向量x＝{x₁,x₂,…,x_N},x_i∈R^F经过一个以注意力为核心的聚合操作输出得到一个新的特征向量x′＝{x′₁,x′₂,…,x′_N},x′_i∈R^F′的神经网络层，其核心便是计算注意力系数；其中，x_i,i＝1,2,…,N为节点更新前的特征向量，N为节点数，F为节点更新前的维度；x′_i,i＝1,2,…,N为节点更新后的特征向量，N为节点数，F′为节点更新后的维度；

步骤3.2、在训练集上训练图注意力神经网络模型，并在验证集验证模型的准确性，在测试集测试模型可靠性：将训练集数据和验证集数据/>同时送入图注意力神经网络模型进行训练，对于每个故障节点i得到其预测标签/>设置交叉熵函数为损失函数，使用Adam优化器优化，不断调整训练参数，使损失值不断减小；通过对比训练集中正确预测的节点个数占比得到正确率；验证集数据不参与反向传播训练，只得到其正确率；最后通过测试集/>测试模型效果；

所述的注意力系数的计算过程包括：

为了将输入的故障节点的特征向量转换到更高维的特征向量空间中，通过已初始化的矩阵W(W∈R^F′×F)定义一个映射b:R^F′×R^F→R，再由自注意力机制计算得到两个故障节点之间的权重关系

e_ij＝b(Wx_i,Wx_j) (1)

其中，e_ij是两个故障节点之间的权重关系，b是映射向量，W是第i个和第j故障节点共享的线性变换矩阵，x_i是当前关注的故障节点，x_j是故障节点x_i的邻居故障节点；

加入LeakyReLU函数再使用softmax进行正则化处理，得到故障节点i的注意力系数：

其中，α_ij是两个故障节点之间的权重系数，N_i为第i个故障节点的邻居节点，exp(x)表示为数学运算e^x，||为向量拼接操作，b^T是映射向量的转置，x_k为第k个故障节点的邻居节点；

将所求的注意力模型特征加权求和，得到：

其中，σ是非线性转换操作，x_i′是更新后的第i个故障节点的特征向量；

所述的多头图注意力层是指：

为了使自注意力机制更加稳定，引入多头图注意力机制；多头是指分别对每个故障节点i调用K次相互独立的注意力运算，进行平均优化；然后将输出结果拼接在一起得到一个总的向量：

其中，||为拼接操作，K为相互独立的注意力运算次数，σ是非线性转换操作，为第k次的注意力系数，W^k为第k组的线性变换矩阵。

2.根据权利要求1所述的一种基于知识图谱和图神经网络的机械故障诊断方法，其特征在于，所述步骤1数据处理阶段，具体包括：

步骤1.1、清洗故障工单文本数据：以正则表达式抽取故障工单文本里的故障实体文本数据、故障关系三元组文本数据，并且去除多余的标点符号以及辅助说明信息；去除对故障实体文本数据、故障关系三元组文本数据的解释说明，最终得到清洗完成的机械故障工单数据；

步骤1.2、创建结构化的故障文本数据：根据故障实体间的对应关系筛选故障三元组，具体形式为：头实体，关系，尾实体，简记为：h,r,t；

步骤1.3、创建训练数据集、验证数据集、测试数据集：将清洗完的故障工单文本按照单个汉字做成一个字典，对每个故障实体按照汉字字典进行编码，编码向量作为其特征表示；为训练数据集，其中/>为训练集中第i个故障实体的特征向量，/>为训练集中第i个故障实体的one-hot标签向量，n_s为训练集中故障实体的个数；/>为验证数据集,其中/>为验证集中第i个故障实体的特征向量，n_v为验证集中实体的个数；为测试数据集,其中/>为测试集中第i个故障实体的特征向量，n_t为测试集中实体的个数；验证集和测试集均不含有标签数据。

3.根据权利要求1所述的一种基于知识图谱和图神经网络的机械故障诊断方法，其特征在于，所述步骤2图谱展示阶段，具体包括：

步骤2.1、构建故障知识图谱：基于Python和py2neo库创建机械故障知识图谱，并向机械故障知识图谱中插入故障实体以及故障实体间的语义关系，最终形成一张完整的机械故障知识图谱；

步骤2.2、可视化展示：通过Neo4j图数据库进行可视化展示，并且能够通过Python脚本实现各种故障数据的增减查找的图搜索算法。

4.根据权利要求1所述的一种基于知识图谱和图神经网络的机械故障诊断方法，其特征在于，所述步骤4效果展示阶段，具体包括：

步骤4.1、获取训练后的故障节点特征表示：将训练完的故障实体向量取出保存，作为故障实体新的特征表示；

步骤4.2、降维展示：通过TSNE降维算法将故障节点特征表示降至二维，得到故障实体特征在二维平面上的分布，并画出此分布的散点图，最终得到故障节点分类。