CN113961718A - 一种基于工业机械故障诊断知识图谱的知识推理方法 - Google Patents
一种基于工业机械故障诊断知识图谱的知识推理方法 Download PDFInfo
- Publication number
- CN113961718A CN113961718A CN202111265289.6A CN202111265289A CN113961718A CN 113961718 A CN113961718 A CN 113961718A CN 202111265289 A CN202111265289 A CN 202111265289A CN 113961718 A CN113961718 A CN 113961718A
- Authority
- CN
- China
- Prior art keywords
- knowledge
- entity
- graph
- fault
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Abstract
本发明公开了一种基于工业机械故障诊断知识图谱的知识推理方法,包括:采集并清洗某工业机械的故障工况数据;创建结构化的故障知识三元组;根据结构化的故障知识三元组创建故障实体与故障关系的词嵌入表示以及异构工业机械故障诊断知识图谱;将工业机械故障诊断知识图谱通过Neo4j图数据库进行可视化展示;构建知识图谱异构图注意力网络模型;训练模型以获取工业机械故障诊断知识图谱中实体的嵌入表示;完成故障知识实体分类任务和故障知识链接预测任务,以此实现工业机械故障诊断知识图谱的知识推理。本发明采用知识图谱异构图注意力网络模型训练故障知识数据,可大大提高故障知识实体分类和故障知识链接预测的准确率。
Description
技术领域
本发明属于机械故障诊断技术领域,涉及基于知识图谱的知识推理技术领域,尤其是一种基于工业机械故障诊断知识图谱的知识推理方法。
背景技术
知识图谱旨在描述客观世界的概念、实体、事件及其间的关系,它本质上是一种语义网络,将客观经验沉淀在巨大的网络中。知识图谱将互联网的信息表达成更接近人类认知世界的形式,提供了一种更好地组织、管理和理解互联网海量信息的能力。知识图谱的核心内容与知识库是相近的,只是在表现形式上稍微略有不同。当涉及到结构信息时,知识图谱可以看作是一个图;当涉及到形式语义时,它可以作为解释和推断事实的知识库。知识图谱的出现改变了传统的知识获取模式,将知识工程“自上而下”方式转变为挖掘数据、抽取知识的“自下而上”方式。经过长期的理论创新与实践探索,知识图谱已经具备体系化的构建与推理方法。
知识图谱从大量数据资源中抽取、组织和管理知识,但是,知识图谱之间大多数关系都是残缺的,实体间的关系缺失非常严重。因此,知识推理技术应运而生,此技术可以从给定的知识图谱推导出新的实体跟实体之间的关系,进一步完成知识发现,以此可以完成对数据的深度分析和推理。实现知识推理的核心便是知识表示,虽然知识图谱三元组的知识表示形式受到了人们的广泛认可,但是其在计算效率、数据稀疏性等方面却面临着诸多问题。近年来,以深度学习为代表的学习技术取得了重要的进展,可以将实体的语义信息表示为稠密低维的实值向量,进而在低维空间中高效计算实体、关系及其之间的复杂语义关联,对知识库的构建、推理、融合以及应用均具有重要的意义。
基于此背景下,工程人员需要根据新时代大数据环境下的知识组织原则,从全新的视角去探索既符合网络信息资源发展变化又能适应用户需求的知识互联方法,从更深层次上揭示人类认知的整体性关联性。因此,工业界与学术界开始积极地将知识图谱技术引入到故障诊断领域中。借助知识图谱技术,工程人员很容易定位、解决工业设备工作中发生各种各样的故障,并且能够模拟专家系统,实现对故障的自动化分析诊断。因此,建立实时敏捷、灵活且可扩展、智能自适应的动态故障诊断知识图谱尤为重要。
发明内容
本发明的目的在于克服现有技术的缺陷,提供一种基于工业机械故障诊断知识图谱的知识推理方法。该方法建立基于工业机械的故障诊断知识图谱,并针对工业机械故障诊断知识图谱进行新的基于图神经网络的知识推理;此方法在异构图注意力网络模型的基础上,创新性地保留了知识图谱三元组的知识结构和知识图谱作为图数据结构拥有的图结构信息,能够以端到端的学习方式学习工业机械故障诊断知识图谱中的实体嵌入表示,从而可以完成故障知识实体分类和故障知识链接预测两个下游任务。
为解决上述技术问题,本发明采用以下技术方案。
本发明的一种基于工业机械故障诊断知识图谱的知识推理方法,包括以下步骤:
步骤1、数据清洗阶段:采集并清洗某工业机械的故障工况数据;创建结构化的故障知识三元组;
步骤2、数据处理阶段:根据结构化的故障知识三元组创建故障实体与故障关系的词嵌入表示以及异构工业机械故障诊断知识图谱;
步骤3、图谱展示阶段:基于Python和Py2neo库将构建的工业机械故障诊断知识图谱通过Neo4j图数据库进行可视化展示;
步骤4、模型构建与训练阶段:构建知识图谱异构图注意力网络模型;训练模型以获取工业机械故障诊断知识图谱中实体的嵌入表示;
步骤5、任务验证阶段:完成故障知识实体分类任务和故障知识链接预测任务,以此实现工业机械故障诊断知识图谱的知识推理。
进一步的,所述步骤1数据清洗阶段包括:
步骤1.1、清洗故障工况数据:以正则表达式抽取故障工况数据里的故障实体以及故障知识三元组数据,并且去除多余的标点符号以及辅助说明信息;
步骤1.2、创建结构化的故障知识三元组:根据故障实体间的对应关系筛选故障知识三元组,具体形式为:(头实体,关系,尾实体),简记为:(h,r,t)。
3.根据权利要求1所述的一种基于工业机械故障诊断知识图谱的知识推理方法,其特征在于,所述步骤2数据处理阶段,具体包括:
步骤2.1、创建故障实体与故障关系的词嵌入表示:将清洗完的故障工况数据按照单个汉字形成一个列表并以Unicode编码方式从小到大排序,对每一个故障实体与故障关系按照汉字列表与汉字数量进行编码,编码向量作为其词嵌入表示;
步骤2.2、创建异构工业机械故障诊断知识图谱:基于图神经网络框架DGL中的图数据结构存储异构工业机械故障诊断知识图谱。
进一步的,所述步骤3图谱展示阶段,具体包括:
步骤3.1、构建工业机械故障诊断知识图谱:基于Python和Py2neo库将故障知识三元组构建为工业机械故障诊断知识图谱;
步骤3.2、知识图谱可视化:通过Neo4j图数据库进行可视化展示,并且能够通过Python脚本实现各种工业故障数据的增删查找的图搜索算法。
进一步的,在步骤4模型构建与训练阶段,所述的基于异构图注意力网络HAN提出知识图谱异构图注意力网络KGHAN模型,具体包括:
步骤4.1、构建知识图谱异构图注意力网络模型:基于异构图注意力网络HAN提出知识图谱异构图注意力网络KGHAN模型;它在异构图注意力网络模型的基础上,保留了知识图谱三元组的知识结构和知识图谱作为图数据结构拥有的图结构信息,能够以端到端的学习方式学习工业机械故障诊断知识图谱中的实体嵌入表示;其KGHAN模型采用如下设计:
(1)知识信息融合层:为了保留知识图谱原本的知识三元组结构,融合知识图谱翻译模型TransD的嵌入向量表示;
TransD模型通过优化TransE翻译模型来学习知识图谱中每个实体和关系的嵌入向量表示,它使用两个向量来表示每个实体和关系,第一个向量表示实体或关系的意义,另一个向量称为投影向量用于构造映射矩阵;将头实体和尾实体的映射矩阵定义为:
之后,通过映射矩阵将实体的嵌入向量映射到对应的关系嵌入向量空间中,映射到关系空间的头实体和尾实体的嵌入向量公式定义为:
其中,γ是正确的三元组得分和错误的三元组得分的裕度,max(x,y)是取x或者y中的最大值运算;
最后,将训练后的实体和关系的嵌入向量添加到节点的词嵌入表示中作为输入;融合后的节点的词嵌入表示定义为:
(2)图结构信息融合层:为了保留知识图谱作为图数据结构拥有的图的结构信息,融合图中节点的度;
在KGHAN模型中使用每个实体的度向量作为实体和关系的嵌入表示的附加信号,即:加入实体中心性编码,根据实体的入度和出度为每个实体分配两个实值嵌入向量;由于实体中心性编码应用于每个实体,只需将其添加到实体的词嵌入表示中作为输入;融合后的实体的嵌入表示定义为:
(3)异构图注意力网络层:该层同时包含了节点级注意力和语义级注意力,节点级注意力主要学习实体及其临近实体间的权重,语义级注意力用于学习基于不同元路径的权重;得益于这种层次性的注意力,可以同时考虑邻居实体和元路径的重要性;
a)节点级注意力:
知识图谱是典型的异构图,其可以表示为G=(V,E),由一个实体集合V和关系集合E组成;知识图谱还与实体类型映射函数φ:V→A和关系类型映射函数E→B相关联;A和B表示预定义实体类型和关系类型的集合,其中||A||+||B||≥2;在异构图中,两个不同类型的实体可以通过不同的语义路径进行关联,这条语义路径被称为元路径,其可以被定义为其中A1,A2,…,Al+1是一条元路径上的实体,R1,R2,…,Rl是一条元路径上的关系;
在此引入节点级注意力聚合每个实体的元路径邻居信息,借此学习到基于元路径的邻居实体对于知识图谱中每个实体的重要性,并将这些邻居的表示聚合起来形成实体的嵌入表示;对于每种类型的实体设计特定类型的变换矩阵将不同类型实体的嵌入表示投影到相同的嵌入空间中;投影公式定义为:
其中,attnnode是计算节点级注意力的深层神经网络,xi′、x′j是投影后的实体嵌入表示,Φ是实体j到实体i的元路径;
然后,基于元路径的实体i的嵌入表示可以由其邻居实体的嵌入表示的投影和相应的注意力系数聚合,其公式定义为:
将多头注意力运用到节点级注意力中,使得训练过程更加稳定;并将学习到的嵌入连接为特定语义的嵌入表示;其公式定义为:
b)语义级注意力
引入一种新的语义层次注意力,自动学习不同元路径的重要性,并将它们融合到特定的任务中;以从节点级注意力中学习到的P组特定实体语义嵌入为输入,可以学习到每个元路径的权重,其公式定义为:
为了了解每个元路径的重要性,首先通过一个非线性函数变换特定语义的嵌入;然后,利用一个语义级注意力向量q与元路径特定语义节点嵌入的非线性变换做内积,来测量特定元路径特定语义实体的嵌入的重要性;之后,平均优化所有特定语义节点嵌入的重要性;每个元路径的重要性定义为:
将学习到的权值作为系数,并将这些语义特定的嵌入进行融合,得到最终的嵌入Z,其公式定义为:
步骤4.2、训练知识图谱异构图注意力网络模型:训练模型以获取工业机械知识图谱实体的词嵌入表示;
对于半监督实体分类,采用最小化有类标签节点的预测类标签分布与真实类标签的交叉熵函数作为损失函数,其公式定义为:
其中,C是分类器的参数,yL是有标签的节点索引集,Yl和Zl是有标签节点的标签和嵌入;对于链接预测,训练损失函数L采用Margin损失函数,其公式定义为:
步骤4.2、训练知识图谱异构图注意力网络模型:训练模型以获取工业机械故障诊断知识图谱中实体的嵌入表示。
进一步的,所述步骤5任务验证阶段,具体包括:
步骤5.1、故障知识实体分类任务:将实体的嵌入表示以降维算法TSNE降至二维,以实体的词嵌入表示在二维平面上的分布实现故障实体的分类;
步骤5.2、故障知识链接预测任务:将实体的嵌入表示以Hits@10评分验证故障知识链接预测准确性。
与现有技术相比,本发明具有以下优点和有益效果:
1.本发明在异构图注意力网络模型的基础上,创新性地保留了知识图谱三元组的知识结构和知识图谱作为图数据结构拥有的图结构信息,能够以端到端的学习方式学习工业机械故障诊断知识图谱中的实体嵌入表示。本发明采用知识图谱异构图注意力网络模型(KGHAN)训练故障知识数据,能够极大地提高故障知识实体分类和故障知识链接预测的准确率。
2.本发明可以从给定的知识图谱推导出新的实体跟实体之间的关系,进一步完成知识发现,以此可以完成对数据的深度分析和推理。本发明通过知识图谱异构图注意力网络模型而得到的实体和关系的嵌入表示形式在知识图谱的计算、补全、推理等方面起到重要的作用。
3.本发明的故障知识实体分类任务能够实现知识图谱的半自动化构建,可以辅助工程人员更快更好地构建工业故障诊断知识图谱;本发明的故障知识链接预测任务能够辅助工程人员诊断工业故障,向工程人员推荐故障可能的原因和故障的解决办法。
附图说明
图1为本发明的一种实施例的方法流程图。
图2为本发明的一种实施例的知识图谱异构图注意力网络模型结构图。
图3为本发明的一种实施例的故障知识实体分类展示图。其中,图3a为数据集FDI-NCM的故障知识实体分类展示图,图3b为数据集FDI-EXC的故障知识实体分类展示图。
具体实施方式
本发明的一种基于工业机械故障诊断知识图谱的知识推理方法,在建立工业机械故障诊断知识图谱的基础上利用知识图谱异构图注意力网络进行知识推理,从而解决工业机械故障诊断知识图谱的故障知识实体分类任务和故障知识链接预测任务。本发明利用知识图谱异构图注意力网络模型训练某工业机械的故障工况数据,以此进行知识推理。本发明同时考虑知识图谱的知识结构和图结构,能极大地提高故障知识实体分类和故障知识链接预测的准确率。本发明方法包括:采集并清洗某工业机械的故障工况数据;创建结构化的故障知识三元组;根据结构化的故障知识三元组创建故障实体与故障关系的词嵌入表示以及异构工业机械故障诊断知识图谱;将构建的工业机械故障诊断知识图谱通过Neo4j图数据库进行可视化展示;构建知识图谱异构图注意力网络模型;训练模型以获取工业机械故障诊断知识图谱中实体的嵌入表示;完成故障知识实体分类任务和故障知识链接预测任务,以此实现工业机械故障诊断知识图谱的知识推理。
下面结合附图对本发明作进一步详细描述。
图1为本发明的一种实施例的方法流程图。如图1所示,该实施例方法包括以下步骤:
步骤1为数据清洗阶段,其中包括:采集并清洗某工业机械的故障工况数据;创建结构化的故障知识三元组。
步骤2为数据处理阶段,其中包括:根据结构化的故障知识三元组创建故障实体与故障关系的词嵌入表示以及异构工业机械故障诊断知识图谱。
步骤3为图谱展示阶段,其中包括:将构建的工业机械故障诊断知识图谱通过Neo4j图数据库进行可视化展示。
步骤4为模型构建与训练阶段,其中包括:构建知识图谱异构图注意力网络模型;训练模型以获取工业机械故障诊断知识图谱中实体的嵌入表示。
步骤5为任务验证阶段,其中包括:完成故障知识实体分类任务和故障知识链接预测任务,以此实现工业机械故障诊断知识图谱的知识推理。
所述步骤1数据清洗阶段,包括:
步骤1.1、清洗故障工况数据:以正则表达式抽取故障工况数据里的故障实体以及故障知识三元组数据,并且去除多余的标点符号以及辅助说明信息。
步骤1.2、创建结构化的故障知识三元组:根据故障实体间的对应关系筛选故障知识三元组,具体形式为:(头实体,关系,尾实体),简记为:(h,r,t)。
所述步骤2数据处理阶段,包括:
步骤2.1、创建故障实体与故障关系的词嵌入表示:将清洗完的故障工况数据按照单个汉字形成一个列表并以Unicode编码方式从小到大排序,对每一个故障实体与故障关系按照汉字列表与汉字数量进行编码,编码向量作为其词嵌入表示。
步骤2.2、创建异构工业机械故障诊断知识图谱:基于图神经网络框架DGL中的图数据结构存储异构工业机械故障诊断知识图谱。
所述步骤3图谱展示阶段,包括:
步骤3.1、构建工业机械故障诊断知识图谱:基于Python和Py2neo库将故障知识三元组构建为工业机械故障诊断知识图谱。
步骤3.2、知识图谱可视化:通过Neo4j图数据库进行可视化展示,并且能够通过Python脚本实现各种工业故障数据的增删查找的图搜索算法。
在步骤4模型构建与训练阶段,所述的基于异构图注意力网络HAN提出知识图谱异构图注意力网络KGHAN模型,具体包括:
步骤4.1、构建知识图谱异构图注意力网络模型:基于异构图注意力网络(HAN)提出了知识图谱异构图注意力网络(KGHAN)模型,它在异构图注意力网络模型的基础上,创新地保留了知识图谱三元组的知识结构和知识图谱作为图数据结构拥有的图结构信息,能够以端到端的学习方式学习工业机械故障诊断知识图谱中的实体嵌入表示。
图2为本发明的一种实施例的知识图谱异构图注意力网络模型结构图。其中,KGHAN模型采用如下设计,包括知识信息融合层、图结构信息融合层和异构图注意力网络层,具体为:
(1)知识信息融合层:该层的结构图如图2的知识信息融合层模块所示,为了保留知识图谱原本的知识三元组结构,融合知识图谱翻译模型TransD的嵌入向量表示。步骤2.1所述的实体和关系的词嵌入表示是根据其one-hot词编码向量表示的。然而,使用one-hot词编码向量表示一个知识三元组时,会导致向量维度太大,无法捕捉相似度。因此,本发明融合知识图谱翻译模型TransD的嵌入向量以改善该问题。
TransD模型是通过优化TransE翻译模型来学习知识图谱中每个实体和关系的嵌入向量表示,它使用两个向量来表示每个实体和关系,第一个向量表示实体或关系的意义,另一个向量(称为投影向量)将用于构造映射矩阵。头实体和尾实体的映射矩阵定义为:
之后,通过映射矩阵将实体的嵌入向量映射到对应的关系嵌入向量空间中,映射到关系空间的头实体和尾实体的嵌入向量公式定义为:
其中,γ是正确的三元组得分和错误的三元组得分的裕度,max(x,y)是取x或者y中的最大值运算。
最后,本发明将训练后的实体和关系的嵌入向量添加到节点的词嵌入表示中作为输入。融合后的节点的词嵌入表示定义为:
(2)图结构信息融合层:该层的结构图如图2的图结构信息融合层模块所示,为了保留知识图谱作为图数据结构拥有的图的结构信息,融合图中节点的度。步骤2.1所述的实体与实体之间的注意力相关性是根据其语义相关性来计算的。然而,节点中心性(衡量节点在图中的重要程度)通常是理解图的一个重要信号,这些信息在当前的注意力计算中被忽略了。
本发明在KGHAN模型中使用每个实体的度向量作为实体和关系的嵌入表示的附加信号。具体地说,本发明加入了实体中心性编码,根据实体的入度和出度为每个实体分配两个实值嵌入向量。由于实体中心性编码应用于每个实体,本发明只需将其添加到实体的词嵌入表示中作为输入。融合后的实体的嵌入表示定义为:
(3)异构图注意力网络层:该层的结构图如图2的异构图注意力网络层模块所示,该层同时包含了节点级注意力和语义级注意力,节点级注意力主要学习实体及其临近实体间的权重,语义级注意力是来学习基于不同元路径的权重。得益于这种层次性的注意力,可以同时考虑邻居实体和元路径的重要性。
a)节点级注意力
知识图谱是典型的异构图,其可以表示为G=(V,E),由一个实体集合V和关系集合E组成。知识图谱还与实体类型映射函数φ:V→A和关系类型映射函数E→B相关联。A和B表示预定义实体类型和关系类型的集合,其中||A||+||B||≥2。在异构图中,两个不同类型的实体可以通过不同的语义路径进行关联,这条语义路径被称为元路径,其可以被定义为其中A1,A2,…,Al+1是一条元路径上的实体,R1,R2,…,Rl是一条元路径上的关系。
本发明引入节点级注意力聚合每个实体的元路径邻居信息,借此学习到基于元路径的邻居实体对于知识图谱中每个实体的重要性,并将这些邻居的表示聚合起来形成实体的嵌入表示。由于知识图谱节点的异构特性,不同类型的实体具有不同的嵌入空间。因此,对于每种类型的实体设计特定类型的变换矩阵将不同类型实体的嵌入表示投影到相同的嵌入空间中。投影公式定义为:
其中,attnnode是计算节点级注意力的深层神经网络,x′i、x′j是投影后的实体嵌入表示,Φ是实体j到实体i的元路径。
然后,基于元路径的实体i的嵌入表示可以由其邻居实体的嵌入表示的投影和相应的注意力系数聚合,其公式定义为:
由于异构图具有无标度特性,因此图数据的方差很大。为了解决此问题,本发明将多头注意力运用到节点级注意力中,使得训练过程更加稳定。多头注意力的含义是指分别对每个实体调用K次相互独立的节点级注意力运算(可进行平均优化),并将学习到的嵌入连接为特定语义的嵌入表示。其公式定义为:
b)语义级注意力
为了学习到更全面的节点嵌入,需要融合各个元路径蕴含的特定语义。本发明引入了一种新的语义层次注意力,自动学习不同元路径的重要性,并将它们融合到特定的任务中。以从节点级注意力中学习到的P组特定实体语义嵌入为输入,可以学习到每个元路径的权重,其公式定义为:
为了了解每个元路径的重要性,首先通过一个非线性函数变换特定语义的嵌入。然后,利用一个语义级注意力向量q与元路径特定语义节点嵌入的非线性变换做内积,来测量特定元路径特定语义实体的嵌入的重要性。进一步,平均优化所有特定语义节点嵌入的重要性。每个元路径的重要性定义为:
将学习到的权值作为系数,并将这些语义特定的嵌入进行融合,得到最终的嵌入Z,其公式定义为:
步骤4.2、训练知识图谱异构图注意力网络模型:训练模型以获取工业机械知识图谱实体的词嵌入表示。
对于半监督实体分类,采用最小化有类标签节点的预测类标签分布与真实类标签的交叉熵函数作为损失函数,其公式定义为:
其中,C是分类器的参数,yL是有标签的节点索引集,Yl和Zl是有标签节点的标签和嵌入。
对于链接预测,训练损失函数L采用Margin损失函数,其公式定义为:
所述步骤5任务验证阶段,包括:
步骤5.1、故障知识实体分类任务:将实体的嵌入表示以降维算法TSNE降至二维,以实体的词嵌入表示在二维平面上的分布实现故障实体的分类。
步骤5.2、故障知识链接预测任务:将实体的嵌入表示以Hits@10评分验证故障知识链接预测准确性。
如上所述,本发明提出了一种基于工业机械故障诊断知识图谱的知识推理方法,可以用来实现工业机械故障诊断知识图谱的知识推理,能够极大地提高故障知识实体分类和故障知识链接预测的准确率。
本发明在异构图注意力网络模型的基础上,创新性地保留了知识图谱三元组的知识结构和知识图谱作为图数据结构拥有的图结构信息,能够以端到端的学习方式学习工业机械故障诊断知识图谱中的实体嵌入表示。本发明采用知识图谱异构图注意力网络模型(KGHAN)训练故障知识数据,能够极大地提高故障知识实体分类和故障知识链接预测的准确率。
本发明可以从给定的知识图谱推导出新的实体跟实体之间的关系,进一步完成知识发现,以此可以完成对数据的深度分析和推理。本发明通过知识图谱异构图注意力网络模型而得到的实体和关系的嵌入表示形式在知识图谱的计算、补全、推理等方面起到重要的作用。
本发明的故障知识实体分类任务能够实现知识图谱的半自动化构建,可以辅助工程人员更快更好地构建工业故障诊断知识图谱;本发明的故障知识链接预测任务能够辅助工程人员诊断工业故障,向工程人员推荐故障可能的原因和故障的解决办法。
本发明在国产某型号数控机床和国产某型号挖掘机的故障工况数据上进行了验证,本发明处理了国产某型号数控机床的故障工况数据,并形成可训练得数据集,命名为FDI-NCM;处理了国产某型号挖掘机的故障工况数据,并形成可训练得数据集,命名为FDI-EXC。本发明采用了1层知识图谱异构图注意力网络。
本发明故障知识实体分类任务验证结果如表1所示:
表1 故障知识实体分类任务准确率指标
本发明故障知识实体分类任务的验证结果图如图3a和图3b所示,结合上表1和结果图可以看出知识图谱异构图注意力网络模型能很好的预测出故障知识实体类别,相比于其他模型能够极大地提高故障知识实体分类。同时,本发明的故障知识实体分类任务能够实现知识图谱的半自动化构建,可以辅助工程人员更快更好的构建工业故障诊断知识图谱。
本发明故障知识链接预测任务验证结果如表2所示:
表2 故障知识链接预测任务Hits@n指标
由上表2可以看出,知识图谱异构图注意力网络模型能很好地预测出故障知识链接路径。同时,本发明的故障知识链接预测任务能够辅助工程人员诊断工业故障,向工程人员推荐故障可能的原因和故障的解决办法。
Claims (6)
1.一种基于工业机械故障诊断知识图谱的知识推理方法,其特征在于,包括以下步骤:
步骤1、数据清洗阶段:采集并清洗某工业机械的故障工况数据;创建结构化的故障知识三元组;
步骤2、数据处理阶段:根据结构化的故障知识三元组创建故障实体与故障关系的词嵌入表示以及异构工业机械故障诊断知识图谱;
步骤3、图谱展示阶段:基于Python和Py2neo库将构建的工业机械故障诊断知识图谱通过Neo4j图数据库进行可视化展示;
步骤4、模型构建与训练阶段:构建知识图谱异构图注意力网络模型;训练模型以获取工业机械故障诊断知识图谱中实体的嵌入表示;
步骤5、任务验证阶段:完成故障知识实体分类任务和故障知识链接预测任务,以此实现工业机械故障诊断知识图谱的知识推理。
2.根据权利要求1所述的一种基于工业机械故障诊断知识图谱的知识推理方法,其特征在于,所述步骤1数据清洗阶段包括:
步骤1.1、清洗故障工况数据:以正则表达式抽取故障工况数据里的故障实体以及故障知识三元组数据,并且去除多余的标点符号以及辅助说明信息;
步骤1.2、创建结构化的故障知识三元组:根据故障实体间的对应关系筛选故障知识三元组,具体形式为:(头实体,关系,尾实体),简记为:(h,r,t)。
3.根据权利要求1所述的一种基于工业机械故障诊断知识图谱的知识推理方法,其特征在于,所述步骤2数据处理阶段,具体包括:
步骤2.1、创建故障实体与故障关系的词嵌入表示:将清洗完的故障工况数据按照单个汉字形成一个列表并以Unicode编码方式从小到大排序,对每一个故障实体与故障关系按照汉字列表与汉字数量进行编码,编码向量作为其词嵌入表示;
步骤2.2、创建异构工业机械故障诊断知识图谱:基于图神经网络框架DGL中的图数据结构存储异构工业机械故障诊断知识图谱。
4.根据权利要求1所述的一种基于工业机械故障诊断知识图谱的知识推理方法,其特征在于,所述步骤3图谱展示阶段,具体包括:
步骤3.1、构建工业机械故障诊断知识图谱:基于Python和Py2neo库将故障知识三元组构建为工业机械故障诊断知识图谱;
步骤3.2、知识图谱可视化:通过Neo4j图数据库进行可视化展示,并且能够通过Python脚本实现各种工业故障数据的增删查找的图搜索算法。
5.根据权利要求1所述的一种基于工业机械故障诊断知识图谱的知识推理方法,其特征在于,在步骤4模型构建与训练阶段,所述的基于异构图注意力网络HAN提出知识图谱异构图注意力网络KGHAN模型,具体包括:
步骤4.1、构建知识图谱异构图注意力网络模型:基于异构图注意力网络HAN提出知识图谱异构图注意力网络KGHAN模型;它在异构图注意力网络模型的基础上,保留了知识图谱三元组的知识结构和知识图谱作为图数据结构拥有的图结构信息,能够以端到端的学习方式学习工业机械故障诊断知识图谱中的实体嵌入表示;其KGHAN模型采用如下设计:
(1)知识信息融合层:为了保留知识图谱原本的知识三元组结构,融合知识图谱翻译模型TransD的嵌入向量表示;
TransD模型通过优化TransE翻译模型来学习知识图谱中每个实体和关系的嵌入向量表示,它使用两个向量来表示每个实体和关系,第一个向量表示实体或关系的意义,另一个向量称为投影向量用于构造映射矩阵;将头实体和尾实体的映射矩阵定义为:
之后,通过映射矩阵将实体的嵌入向量映射到对应的关系嵌入向量空间中,映射到关系空间的头实体和尾实体的嵌入向量公式定义为:
其中,γ是正确的三元组得分和错误的三元组得分的裕度,max(x,y)是取x或者y中的最大值运算;
最后,将训练后的实体和关系的嵌入向量添加到节点的词嵌入表示中作为输入;融合后的节点的词嵌入表示定义为:
(2)图结构信息融合层:为了保留知识图谱作为图数据结构拥有的图的结构信息,融合图中节点的度;
在KGHAN模型中使用每个实体的度向量作为实体和关系的嵌入表示的附加信号,即:加入实体中心性编码,根据实体的入度和出度为每个实体分配两个实值嵌入向量;由于实体中心性编码应用于每个实体,只需将其添加到实体的词嵌入表示中作为输入;融合后的实体的嵌入表示定义为:
(3)异构图注意力网络层:该层同时包含了节点级注意力和语义级注意力,节点级注意力主要学习实体及其临近实体间的权重,语义级注意力用于学习基于不同元路径的权重;得益于这种层次性的注意力,可以同时考虑邻居实体和元路径的重要性;
a)节点级注意力:
知识图谱是典型的异构图,其可以表示为G=(V,E),由一个实体集合V和关系集合E组成;知识图谱还与实体类型映射函数φ:V→A和关系类型映射函数相关联;A和B表示预定义实体类型和关系类型的集合,其中||A||+||B||≥2;在异构图中,两个不同类型的实体可以通过不同的语义路径进行关联,这条语义路径被称为元路径,其可以被定义为其中A1,A2,…,Al+1是一条元路径上的实体,R1,R2,…,Rl是一条元路径上的关系;
在此引入节点级注意力聚合每个实体的元路径邻居信息,借此学习到基于元路径的邻居实体对于知识图谱中每个实体的重要性,并将这些邻居的表示聚合起来形成实体的嵌入表示;对于每种类型的实体设计特定类型的变换矩阵将不同类型实体的嵌入表示投影到相同的嵌入空间中;投影公式定义为:
其中,attnnode是计算节点级注意力的深层神经网络,x′i、x′j是投影后的实体嵌入表示,Φ是实体j到实体i的元路径;
然后,基于元路径的实体i的嵌入表示可以由其邻居实体的嵌入表示的投影和相应的注意力系数聚合,其公式定义为:
将多头注意力运用到节点级注意力中,使得训练过程更加稳定;并将学习到的嵌入连接为特定语义的嵌入表示;其公式定义为:
b)语义级注意力
引入一种新的语义层次注意力,自动学习不同元路径的重要性,并将它们融合到特定的任务中;以从节点级注意力中学习到的P组特定实体语义嵌入为输入,可以学习到每个元路径的权重,其公式定义为:
为了了解每个元路径的重要性,首先通过一个非线性函数变换特定语义的嵌入;然后,利用一个语义级注意力向量q与元路径特定语义节点嵌入的非线性变换做内积,来测量特定元路径特定语义实体的嵌入的重要性;之后,平均优化所有特定语义节点嵌入的重要性;每个元路径的重要性定义为:
将学习到的权值作为系数,并将这些语义特定的嵌入进行融合,得到最终的嵌入Z,其公式定义为:
步骤4.2、训练知识图谱异构图注意力网络模型:训练模型以获取工业机械知识图谱实体的词嵌入表示;
对于半监督实体分类,采用最小化有类标签节点的预测类标签分布与真实类标签的交叉熵函数作为损失函数,其公式定义为:
其中,C是分类器的参数,yL是有标签的节点索引集,Yl和Zl是有标签节点的标签和嵌入;
对于链接预测,训练损失函数L采用Margin损失函数,其公式定义为:
步骤4.2、训练知识图谱异构图注意力网络模型:训练模型以获取工业机械故障诊断知识图谱中实体的嵌入表示。
6.根据权利要求1所述的一种基于工业机械故障诊断知识图谱的知识推理方法,其特征在于,所述步骤5任务验证阶段,具体包括:
步骤5.1、故障知识实体分类任务:将实体的嵌入表示以降维算法TSNE降至二维,以实体的词嵌入表示在二维平面上的分布实现故障实体的分类;
步骤5.2、故障知识链接预测任务:将实体的嵌入表示以Hits@10评分验证故障知识链接预测准确性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111265289.6A CN113961718A (zh) | 2021-10-28 | 2021-10-28 | 一种基于工业机械故障诊断知识图谱的知识推理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111265289.6A CN113961718A (zh) | 2021-10-28 | 2021-10-28 | 一种基于工业机械故障诊断知识图谱的知识推理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113961718A true CN113961718A (zh) | 2022-01-21 |
Family
ID=79468071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111265289.6A Pending CN113961718A (zh) | 2021-10-28 | 2021-10-28 | 一种基于工业机械故障诊断知识图谱的知识推理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113961718A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114579875A (zh) * | 2022-03-03 | 2022-06-03 | 中国科学院大学 | 基于知识图谱的设备故障诊断与维修知识推荐系统 |
CN114660993A (zh) * | 2022-05-25 | 2022-06-24 | 中科航迈数控软件(深圳)有限公司 | 一种基于多源异构数据特征降维的数控机床故障预测方法 |
CN115115113A (zh) * | 2022-06-28 | 2022-09-27 | 山东大学 | 基于图注意力网络关系嵌入的设备故障预测方法及系统 |
CN115524002A (zh) * | 2022-09-19 | 2022-12-27 | 国家电投集团河南电力有限公司 | 一种电厂旋转设备的运行状态预警方法、系统及存储介质 |
CN115757828A (zh) * | 2022-11-16 | 2023-03-07 | 南京航空航天大学 | 一种基于辐射源知识图谱的空中目标意图识别方法 |
CN116089618A (zh) * | 2023-04-04 | 2023-05-09 | 江西师范大学 | 融合三元损失和标签嵌入的图注意力网络文本分类模型 |
CN116186295A (zh) * | 2023-04-28 | 2023-05-30 | 湖南工商大学 | 基于注意力的知识图谱链接预测方法、装置、设备及介质 |
CN116401380A (zh) * | 2023-06-07 | 2023-07-07 | 湖北工业大学 | 面向异构知识图谱的对比学习预测方法及系统 |
CN116484027A (zh) * | 2023-06-20 | 2023-07-25 | 北京中科智易科技股份有限公司 | 基于知识图谱技术建立的军用设备图谱系统 |
CN116894180A (zh) * | 2023-09-11 | 2023-10-17 | 南京航空航天大学 | 一种基于异构图注意力网络的产品制造质量预测方法 |
CN117150042A (zh) * | 2023-09-01 | 2023-12-01 | 海通证券股份有限公司 | 基于知识图谱推荐应急预案的方法、装置、设备和介质 |
CN117196025A (zh) * | 2023-09-13 | 2023-12-08 | 安徽国麒科技有限公司 | 基于多视图解码器的知识图谱高阶关系预测方法及系统 |
-
2021
- 2021-10-28 CN CN202111265289.6A patent/CN113961718A/zh active Pending
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114579875A (zh) * | 2022-03-03 | 2022-06-03 | 中国科学院大学 | 基于知识图谱的设备故障诊断与维修知识推荐系统 |
CN114579875B (zh) * | 2022-03-03 | 2022-09-27 | 中国科学院大学 | 基于知识图谱的设备故障诊断与维修知识推荐系统 |
CN114660993A (zh) * | 2022-05-25 | 2022-06-24 | 中科航迈数控软件(深圳)有限公司 | 一种基于多源异构数据特征降维的数控机床故障预测方法 |
CN115115113A (zh) * | 2022-06-28 | 2022-09-27 | 山东大学 | 基于图注意力网络关系嵌入的设备故障预测方法及系统 |
CN115524002B (zh) * | 2022-09-19 | 2023-08-22 | 国家电投集团河南电力有限公司 | 一种电厂旋转设备的运行状态预警方法、系统及存储介质 |
CN115524002A (zh) * | 2022-09-19 | 2022-12-27 | 国家电投集团河南电力有限公司 | 一种电厂旋转设备的运行状态预警方法、系统及存储介质 |
CN115757828A (zh) * | 2022-11-16 | 2023-03-07 | 南京航空航天大学 | 一种基于辐射源知识图谱的空中目标意图识别方法 |
CN115757828B (zh) * | 2022-11-16 | 2023-11-10 | 南京航空航天大学 | 一种基于辐射源知识图谱的空中目标意图识别方法 |
CN116089618A (zh) * | 2023-04-04 | 2023-05-09 | 江西师范大学 | 融合三元损失和标签嵌入的图注意力网络文本分类模型 |
CN116186295A (zh) * | 2023-04-28 | 2023-05-30 | 湖南工商大学 | 基于注意力的知识图谱链接预测方法、装置、设备及介质 |
CN116401380A (zh) * | 2023-06-07 | 2023-07-07 | 湖北工业大学 | 面向异构知识图谱的对比学习预测方法及系统 |
CN116401380B (zh) * | 2023-06-07 | 2023-08-11 | 湖北工业大学 | 面向异构知识图谱的对比学习预测方法及系统 |
CN116484027B (zh) * | 2023-06-20 | 2023-08-22 | 北京中科智易科技股份有限公司 | 基于知识图谱技术建立的军用设备图谱系统 |
CN116484027A (zh) * | 2023-06-20 | 2023-07-25 | 北京中科智易科技股份有限公司 | 基于知识图谱技术建立的军用设备图谱系统 |
CN117150042A (zh) * | 2023-09-01 | 2023-12-01 | 海通证券股份有限公司 | 基于知识图谱推荐应急预案的方法、装置、设备和介质 |
CN117150042B (zh) * | 2023-09-01 | 2024-04-16 | 海通证券股份有限公司 | 基于知识图谱推荐应急预案的方法、装置、设备和介质 |
CN116894180A (zh) * | 2023-09-11 | 2023-10-17 | 南京航空航天大学 | 一种基于异构图注意力网络的产品制造质量预测方法 |
CN116894180B (zh) * | 2023-09-11 | 2023-11-24 | 南京航空航天大学 | 一种基于异构图注意力网络的产品制造质量预测方法 |
CN117196025A (zh) * | 2023-09-13 | 2023-12-08 | 安徽国麒科技有限公司 | 基于多视图解码器的知识图谱高阶关系预测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113961718A (zh) | 一种基于工业机械故障诊断知识图谱的知识推理方法 | |
CN107273490B (zh) | 一种基于知识图谱的组合错题推荐方法 | |
CN114579875B (zh) | 基于知识图谱的设备故障诊断与维修知识推荐系统 | |
CN110399518B (zh) | 一种基于图卷积的视觉问答增强方法 | |
CN112463980A (zh) | 一种基于知识图谱的预案智能推荐方法 | |
CN111611367B (zh) | 一种引入外部知识的视觉问答方法 | |
CN114639483A (zh) | 一种基于图神经网络的电子病历检索方法及装置 | |
CN114065040A (zh) | 基于学科知识图谱的个性化学习路径和学习资源推荐方法 | |
CN112507130A (zh) | 一种基于多源知识图谱的三元组可信评估方法 | |
CN112148891A (zh) | 一种基于图感知张量分解的知识图谱补全方法 | |
CN115270007B (zh) | 一种基于混合图神经网络的poi推荐方法及系统 | |
CN115203550A (zh) | 一种增强邻居关系的社交推荐方法及系统 | |
CN114969363A (zh) | 一种基于知识图谱风险等级的数控机床安全部件分析方法 | |
Xiao et al. | Knowledge graph-based manufacturing process planning: A state-of-the-art review | |
Lonij et al. | Open-world visual recognition using knowledge graphs | |
CN114116957A (zh) | 一种基于知识图谱的电磁信息泄漏智能分析方法 | |
CN116993043A (zh) | 一种电力设备故障溯源方法及装置 | |
CN114240539B (zh) | 一种基于Tucker分解和知识图谱的商品推荐方法 | |
CN116401624A (zh) | 一种基于多叉树结构的非自回归数学题求解器 | |
CN116431821A (zh) | 基于常识感知的知识图谱补全方法及问答系统 | |
CN115984053A (zh) | 试题推荐方法、装置、电子设备和存储介质 | |
CN114238439B (zh) | 一种基于联合嵌入的任务驱动关系型数据视图推荐方法 | |
CN115934966A (zh) | 基于遥感影像推荐信息的自动标注方法 | |
CN115601007A (zh) | 一种复杂机电系统全生命周期诊断推理与维护决策方法 | |
CN115545833A (zh) | 一种基于用户社交信息的推荐方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |