CN115456044A - 一种基于知识图谱多集池化的装备健康状态评估方法 - Google Patents

一种基于知识图谱多集池化的装备健康状态评估方法 Download PDF

Info

Publication number
CN115456044A
CN115456044A CN202211008740.0A CN202211008740A CN115456044A CN 115456044 A CN115456044 A CN 115456044A CN 202211008740 A CN202211008740 A CN 202211008740A CN 115456044 A CN115456044 A CN 115456044A
Authority
CN
China
Prior art keywords
graph
pooling
matrix
node
knowledge graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211008740.0A
Other languages
English (en)
Inventor
张元鸣
肖士易
肖刚
程振波
徐雪松
陆佳炜
王琪冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202211008740.0A priority Critical patent/CN115456044A/zh
Publication of CN115456044A publication Critical patent/CN115456044A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于知识图谱多集池化的装备健康状态评估方法,属于装备健康状态评估技术领域。它包括以下步骤:1、装备健康状态数据模型构建;2、知识图谱多集池化网络模型构建;3、知识图谱的节点维度特征提取;4、知识图谱多头注意力多集池化;5、训练与分类。本发明针对现有健康状态评估方法不能有效融合时间特征和空间特征的问题,提出一种基于知识图谱多集池化的装备健康评估方法,利用时序知识图谱将装备部件和指标信息进行深度融合为结构化图数据模型,并通过知识图谱多级池化提取其中的时间特征和空间特征,提高了健康评估的准确率,为实现装备预测性维护提供了技术支持。

Description

一种基于知识图谱多集池化的装备健康状态评估方法
技术领域
本发明属于装备健康状态评估技术领域,具体涉及一种基于知识图谱多集池化的装备健康状态评估方法。
背景技术
随着工业互联网、大数据和人工智能技术的迅速发展和广泛应用,健康状态智能评估成为智能制造的关键一环和未来的潜在爆发点,通过分析大量状态监测数据,评估装备当前和未来一段时间的工作状态,及时准确掌握健康状态并进行预警,从而采取预测性维护措施,保障装备运行安全性、可靠性并有效降低维护成本,
现有装备健康度评估方法主要分为模型驱动类型、知识驱动类型、数据驱动类型。模型驱动类型是相关专家在长期工作过程中,对装备降级的原理进行深入研究而设计的一种物理模型、如马氏距离法、融合权重计算法、欧式距离法、模糊理论法等,宋登巍(系统仿真技术,2017)等人基于健康基线和马氏距离对液压系统进行健康度评估方法中将广义回归神经网络构建的观测器来获取残差,计算与健康基线间的马氏距离并归一化为健康度;Bai(Microelectronics&Reliability,2017)等人通过构建一个虚拟健康向量,用灰色关联法计算采集向量和虚拟向量的关联度,对风力机叶片的健康度进行了评估。这些方法由于需要专家经验确定权重及模型参数,加上建模的理想化假设,导致在实践中的效果很难适应装备运行过程中各种复杂的因素影响。
知识驱动类型的健康度评估通过知识获取和知识表达来进行健康状态评。彭炎亮(计算机系统应用,2017)等针对开关柜提出了基于动态权重和模糊综合评判法的健康评估模型,但其权重是基于人工定义的,并不准确;钱虹(上海电力学院学报,2019)等人在基于变权重模糊评价方法的基础上,利用熵权法、均衡函数变权等形成综合加权法,能更加准确地反映装备运行状态的健康度;刘伟强(计算机集成制造系统,2021)等针对发动机缸盖装配系统评估过程中存在的随机性和模糊性问题,提出了一种基于脆性度和云模型的健康状态评估方法,并验证了方法的正确性和有效性。这类方法很难实用,在健康度评估方面还罕有研究,这主要是因为知识和经验受到限制,且知识表达也面临知识规格化的难题。
数据驱动是目前最有前景的一类方法,充分利用了机器学习和人工智能的优势,也是目前国内外在健康度评估方面广泛研究的方法。雷亚国(机械工程学报,2019)提出机械装备故障的深度迁移诊断方法,构建领域共享的深度残差网络,从不同机械装备的监测数据中提取迁移故障特征;Pan(KSCE Journal of Civil Engineering,2018)等将深度贝叶斯信念网络学习用于提取结构信息和概率确定结构条件,解决了对结构件的健康度评估中不稳定和不确定性的问题;Sun(Mathematical Problems in Engineering,2018)等引入了一种将顺SCADA变量的方差分析与RNN相结合的混合方法,通过长短期记忆网络以及部件健康的加权方法以评估风力涡轮机的健康状态;XU(IJCNN,2018)等提出一种基于GRU的刀具磨损预测模型,可以很好地处理时间序列数据并避免梯度消失问题;Huang(IEEETransactions on Industrial Electronics,2019等)提出了一种基于双向长短期记忆网络的新型预测方法,将多个传感器数据与操作条件数据集成并学习到高级的特征,生成预测的目标输出;Peng(IEEE Transactions on Industrial Electronics,2019)等提出了一种基于贝叶斯深度学习的方法,采用变分推理基于贝叶斯神经网络进行推理,其预测结果具有更好的可扩展性和泛化能力。这类方法主要集中于通过大量数据的训练,利用机器学习算法自动掌握数据之间的规律。
现有的装备健康评估方法还没有实现将不同来源的数据进行融合,也没有将数据中的空间特征和时间特征融合起来,因而存在比较大的局限性。
发明内容
针对现有技术中存在的上述问题,本发明的目的在于提供一种基于知识图谱多集池化的装备健康评估方法,将部件数据和指标数据融合通过时序知识图谱进行深度融合,利用知识图谱多集池化网络模型提取时序知识图谱的时空特征,再根据时空特征进行健康状态评估。
本发明提供如下技术方案:
一种基于知识图谱多集池化的装备健康状态评估方法,通过时序知识图谱将装备部件与指标信息进行深度融合,利用图卷积神经网络和注意力机制对知识图谱进行多集池化表示学习,得到设备健康状态分类结果;包括以下具体步骤:
S1、发动机健康状态数据模型构建:从发动机数据中提取部件实体和相应指标的时序数据,根据部件和指标之间的关系,构建得到时序知识图谱,建立相对应的邻接矩阵;
S2、构建发动机知识图谱多集池化网络模型:将通过知识图谱神经网络GIN得到的知识图谱特征向量hG与步骤S1中得到的邻接矩阵池化得到发动机健康状态表示学习结果;
S3、提取知识图谱的节点维度特征:采用知识图谱神经网络GIN对步骤S1中提取出的知识图谱进行表示学习,获得发动机知识图谱各节点特征的全图特征hG
S4、基于知识图谱多头注意力的图多集池化,包括以下步骤:
S4.1、采用知识图谱多头注意力机制学习到近似节点的分簇方案,生成分簇分配矩阵;
S4.2、进行知识图谱多集池化,定义知识图谱多重集池化GMPool,以端到端池化方式将n个节点压缩成k个典型代表节点,将图卷积模块获得的全图特征H输入到GMPool中;
S4.3、进一步使用节点自注意力机制考虑n个输入节点或k个典型代表节点之间的相互作用;
S5、图多集池化网络训练与分类:对图多集池化网络进行循环训练过程,不断缩小损失,使得发动机健康状态的嵌入收敛,得到最终的发动机健康状态分类结果。
进一步的,述时序知识图谱的形式化定义如下:
时序知识图谱为一张有向标签图Gt=(t0,tn,E,R,τ),其中E为知识图谱的顶点集,用于表示实体集合;R为知识图谱的边集,用于表示事实关系集合;τ为E×E→R|k的函数,表示知识图谱中的所有元组;k表示在时间段[t0,tn]按照时间前后排序的知识图谱三元组列表中,两实体之间存在第k次的关系R;在时序知识图谱中存在直接链接关系的一对节点,节点间的距离为1;设实体数量为N,构建关系图谱的直接邻接矩阵:
Figure BDA0003810080190000041
进一步的,所述步骤S2中,图多头注意力池化网络包括一个输入层以及两个隐藏层,其输入层为装备时序知识图谱的初始特征矩阵和直接邻接矩阵,两个隐藏层通过卷积和自注意力池化操作同时学习节点维度和图维度的特征信息,两个隐藏层训练后的输出作为部件实体健康状态的最终向量表示;具体过程如下:
2.1、先用图神经网络GNN学习出节点的特征向量:
Encoder(X,A)=GNN2(GNN1(X,A),A) (1)
其中,X为输入特征矩阵,A为直接邻接矩阵,GNN1为第一层卷积,GNN2为第二层卷积层;
2.2、得到节点的特征向量后,用图多重集池化的方法生成全图的嵌入:
Pooling(H,A)=GMPool1(SelfAtt(GMPoolk(H,A)),A′) (2)
其中,GMPool是图多头注意力卷积层,SelfAtt代表节点自注意力机制,H为GNN层得到的节点特征向量,A为直接邻接矩阵,A′是经GMPoolk压缩后粗化邻接矩阵,得到部件实体健康状态的最终向量表示。
进一步的,所述步骤S3的具体过程如下:
S3.1、将时序知识图谱的直接邻接矩阵A和特征矩阵X输入到卷积模块中完成对特征向量的聚合,得到时序知识图谱中部件和指标节点级别的特征表示:
Figure BDA0003810080190000051
其中,UPDATE和AGGREGATE是更新和聚合的可微函数,N(u)表示u的一组相邻节点,
Figure BDA0003810080190000052
被初始化为输入节点特征Xu,H(l+1)∈Rn×d是一次GNN后得到的节点特征,简化为:
H(l+1)=GNN(H(l),A(l)) (4)
S3.2、在得到节点的特征表示H(l+1)后,由一个读出函数生成一个嵌入向量获得完整的全图表示:
hG=CONTACT(sum({Hv|v∈V})|k=0,1,....K) (5)
其中,hG为全图特征,CONTACT为向量拼接函数,sum为求和函数,他们共同构成读出函数,对每次迭代的节点求和得到图的特征进行拼接,得到包含节点特征的全图特征。
进一步的,所述步骤S4的具体过程如下:
S4.1、为了让池化方法能区分图中各节点的重要程度,使用图多头注意机制提取分簇方案;
S 4.1.1、假设图中有n个节点向量,注意力函数Att的输入为:query矩阵
Figure BDA0003810080190000061
key矩阵
Figure BDA0003810080190000062
和value矩阵
Figure BDA0003810080190000063
其中nq是query向量的个数,n是输入节点的个数,dk是key矩阵的维数,dv是value矩阵向量的维数,注意力函数公式如下:
Att(Q,K,A)=ω(QKT)V (6)
将注意力函数分解成query与所有key的点积,可以学习到相应的加权值,将更多的权重放在关键目标节点上:
Figure BDA0003810080190000064
其中,ω是激活函数softmax,exp是自然常数e的指数;
S 4.1.2、进一步使用多头注意力代替单注意力,分别通过线性投影query矩阵Q、key矩阵K和value矩阵V来产生h个不同的投影空间:
MH(Q,K,V)=[O1,...Oh]WO;Oi=Att(QWi Q,KWi K,VWi V) (8)
注意力机制通过输入节点的特征向量,将学习的权重映射到Q,K和V三个权重矩阵中,从而保证在对任意部分进行编码学习时,都最大可能地只关注重要部分;W为调整矩阵生成多个Q,K,V值,进一步保证了编码学习的有效性,h代表投影空间O的个数,O由参数矩阵
Figure BDA0003810080190000071
组成,
Figure BDA0003810080190000072
是输出投影矩阵,dmodel是多头注意力的输出维度;
S 4.1.3、为了在多头注意力中更准确地生成K和V,使用图多头注意力函数通过GNN学习K和V,图多头注意力函数GMH的输出可以表示为:
Figure BDA0003810080190000073
相比于多头公式中线性嵌入的KW和VW,GNNi的输出包含图的邻接信息,图多头注意力能够更容易学习到近似节点的分簇方案,生成分簇分配矩阵;
S 4.2、知识图谱多集池化,具体过程如下:
定义知识图谱多重集池化GMPool,以端到端池化方式将n个节点压缩成k个典型代表节点,将图卷积模块获得的全图特征H输入到GMPool中,公式如下:
GMPoolk(H,A)=LN(Z+rFF(Z));Z=LN(S+GMH(S,H,A))
(10)
其中,H∈Rn×d是由GNN得出的节点特征,A是邻接矩阵,rFF是任何行方向的前馈层,独立且相同地处理每行特征,LN是层归一化层,S∈Rk×d是参数化的分簇种子矩阵用于优化池化操作;GMH函数考虑了S中的k个种子向量query和H中的n个节点value之间的交互,利用它们之间的注意力相似性将n个节点压缩成k个典型代表节点;
S 4.3、节点自注意力机制:
进一步使用节点自注意力机制考虑n个输入节点或k个典型代表节点之间的相互作用,公式如下:
SelfAtt(H)=LN(Z+rFF(Z));Z=LN(S+MH(H,H,H)) (11)
与考虑k个向量和n个节点之间的相互作用的公式(7)中的GMH相比,SelfAtt将节点嵌入H放在等式(8)中MH的query和key的位置上来捕捉n个节点之间的内在关系。
进一步的,所述步骤S5的具体过程如下:
将上述得到的最终装备健康状态的表示向量HFinal输入最终的线性分类器,得到最终的概率
Figure BDA0003810080190000081
其中
Figure BDA0003810080190000082
定义如下:
Figure BDA0003810080190000083
其中,sigmoid()函数将向量映射到[0,1]范围内的输出概率;
然后根据上述计算出的概率
Figure BDA0003810080190000084
通过损失函数与样本中正确的标签
Figure BDA0003810080190000085
进行损失计算,并通过Adam优化器来最小化损失函数,损失函数定义为:
Figure BDA0003810080190000086
其中,
Figure BDA0003810080190000087
为样本中的样本数,
Figure BDA0003810080190000088
为样本中正确的标签;
不断迭代以上训练过程,使装备健康状态的嵌入表示收敛,得到最终的装备健康状态评估的模型;将需要评估的装备知识图谱输入到上述训练模型,得到设备健康状态分类结果,完成装备健康状态评估。
通过采用上述技术,与现有技术相比,本发明的有益效果如下:
本发明针对现有健康状态评估方法不能有效融合时间特征和空间特征的问题,提出一种基于知识图谱多集池化的装备健康评估方法,利用时序知识图谱将装备部件和指标信息进行深度融合为结构化图数据模型,并通过知识图谱多级池化提取其中的时间特征和空间特征,提高了健康评估的准确率,为实现装备预测性维护提供了技术支持。
附图说明
图1为本发明实施例知识图谱多集池化网络模型的结构示意图;
图2为本发明实施例发动机时序知识图谱的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合说明书附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
相反,本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步,为了使公众对本发明有更好的了解,在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
请参阅图1-2,一种基于知识图谱多集池化的装备健康状态评估方法,包括以下步骤:
(1)发动机健康状态数据模型构建
从发动机数据中提取部件实体和相应指标的时序数据,根据部件和指标之间的关系,构建得到时序知识图谱本体图,如图2(a)所示;发动机时序知识图谱如图2(c)所示,单独抽取t时刻的装备知识图谱如图2(b)所示,代表某时刻发动机状态;
建立与知识图谱相对应的邻接矩阵,邻接矩阵反映节点之间是否直接相连,例如,图2(b)中的部件2与部件1、3、4相连,则(A)(1,2)=(A)(2,1)=(A)(1,3)=(A)(3,1)=(A)(1,4)=(As)(4,1)=1,因此,图2(b)的知识图谱的直接邻接矩阵A表示为:
Figure BDA0003810080190000101
(2)构建发动机知识图谱多集池化网络模型
图多集池化过程包含如图1所示的两层图多重集池化和一层自注意力层,将通过GIN得到的知识图谱特征向量hG与步骤(1)得到的邻接矩阵A通过公式(2)的池化得到发动机健康状态表示学习结果。
(3)提取知识图谱的节点维度特征
采用知识图谱神经网络GIN对步骤(1)中提取出的发动机某时刻知识图谱进行表示学习,其结构包括一层输入与两层卷积,各层向量维度为[4,128,128];根据公式(1)首先将步骤(1)得到的4维的初始特征向量H、邻接矩阵A输入到GIN网络中,通过公式(3)经过两层卷积计算上一层发动机图谱中各节点的特征向量H(l+1);通过公式(5)的读出函数通过全图角度生成一个嵌入向量获得发动机知识图谱各节点的表示向量hG
(4)基于知识图谱多头注意力的图多集池化
(4.1)图多头注意力模块
将步骤(2)中学到的特征向量hG,邻接矩阵A,随机初始化注意力矩阵Q输入公式(9),通过公式(6)、(7)的注意力函数学习到相应的加权值,将更多的权重放在发动机关键的部件、指标节点上,同时通过GNN学习近似部件、指标的分簇方案,生成分簇分配矩阵S优化池化过程;
(4.2)图多重集池化
将特征向量hG与邻接矩阵A输入公式(10),通过步骤(4.1)中公式(9)图多头注意力部分学习压缩后的k个种子向量与原图谱中的n个节点之间的交互关系,并学到分簇分配矩阵S得到表示学习结果,最后经过归一化层和前馈层对公式(9)结果进行处理得到最终代表发动机健康状态的表示学习结果;
(4.3)节点自注意力机制
将步骤(4.2)中得到的表示学习结果输入公式(11),引用公式(6)、(7)、(8),通过节点自注意力学习,考虑图多重集池化结果中k个典型代表节点之间的相互作用,计算出多头注意力系数来有所偏好的聚合各视角下的特征向量,再经过归一化层和前馈层激活,最终融合得到当前时刻发动机健康状况的特征向量。
(5)图多集池化网络训练与分类
首先,将步骤(4.3)中得到的某时刻发动机的最终向量表示输入到公式(12)中,得到最终的健康状态分类概率。
其次,根据公式(13)的损失函数缩小公式(12)中计算出的概率
Figure BDA0003810080190000111
与正确的健康状态标签
Figure BDA0003810080190000112
之间的损失,使得计算出的分类结果不断的逼近正确的标签,从而让发动机健康状态表示向量更加准确。
不断循环训练过程,不断缩小损失,使得发动机健康状态的嵌入收敛,得到最终的发动机健康状态分类结果。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于知识图谱多集池化的装备健康状态评估方法,其特征在于:通过时序知识图谱将装备部件与指标信息进行深度融合,利用图卷积神经网络和注意力机制对知识图谱进行多集池化表示学习,得到设备健康状态分类结果;包括以下具体步骤:
S1、发动机健康状态数据模型构建:从发动机数据中提取部件实体和相应指标的时序数据,根据部件和指标之间的关系,构建得到时序知识图谱,建立相对应的邻接矩阵;
S2、构建发动机知识图谱多集池化网络模型:将通过知识图谱神经网络GIN得到的知识图谱特征向量hG与步骤S1中得到的邻接矩阵池化得到发动机健康状态表示学习结果;
S3、提取知识图谱的节点维度特征:采用知识图谱神经网络GIN对步骤S1中提取出的知识图谱进行表示学习,获得发动机知识图谱各节点特征的全图特征hG
S4、基于知识图谱多头注意力的图多集池化,包括以下步骤:
S4.1、采用知识图谱多头注意力机制学习到近似节点的分簇方案,生成分簇分配矩阵;
S4.2、进行知识图谱多集池化,定义知识图谱多重集池化GMPool,以端到端池化方式将n个节点压缩成k个典型代表节点,将图卷积模块获得的全图特征H输入到GMPool中;
S4.3、进一步使用节点自注意力机制考虑n个输入节点或k个典型代表节点之间的相互作用;
S5、图多集池化网络训练与分类:对图多集池化网络进行循环训练过程,不断缩小损失,使得发动机健康状态的嵌入收敛,得到最终的发动机健康状态分类结果。
2.根据权利要求1所述的一种基于知识图谱多集池化的装备健康状态评估方法,其特征在于所述时序知识图谱的形式化定义如下:
时序知识图谱为一张有向标签图Gt=(t0,tn,E,R,τ),其中E为知识图谱的顶点集,用于表示实体集合;R为知识图谱的边集,用于表示事实关系集合;τ为E×E→R|k的函数,表示知识图谱中的所有元组;k表示在时间段[t0,tn]按照时间前后排序的知识图谱三元组列表中,两实体之间存在第k次的关系R;在时序知识图谱中存在直接链接关系的一对节点,节点间的距离为1;设实体数量为N,构建关系图谱的直接邻接矩阵:
Figure FDA0003810080180000021
3.根据权利要求2所述的一种基于知识图谱多集池化的装备健康状态评估方法,其特征在于所述步骤S2中,图多头注意力池化网络包括一个输入层以及两个隐藏层,其输入层为装备时序知识图谱的初始特征矩阵和直接邻接矩阵,两个隐藏层通过卷积和自注意力池化操作同时学习节点维度和图维度的特征信息,两个隐藏层训练后的输出作为部件实体健康状态的最终向量表示;具体过程如下:
2.1、先用图神经网络GNN学习出节点的特征向量:
Encoder(X,A)=GNN2(GNN1(X,A),A) (1)
其中,X为输入特征矩阵,A为直接邻接矩阵,GNN1为第一层卷积,GNN2为第二层卷积层;
2.2、得到节点的特征向量后,用图多重集池化的方法生成全图的嵌入:
Pooling(H,A)=GMPool1(SelfAtt(GMPoolk(H,A)),A′) (2)
其中,GMPool是图多头注意力卷积层,SelfAtt代表节点自注意力机制,H为GNN层得到的节点特征向量,A为直接邻接矩阵,A′是经GMPoolk压缩后粗化邻接矩阵,得到部件实体健康状态的最终向量表示。
4.根据权利要求3所述的一种基于知识图谱多集池化的装备健康状态评估方法,其特征在于所述步骤S3的具体过程如下:
S3.1、将时序知识图谱的直接邻接矩阵A和特征矩阵X输入到卷积模块中完成对特征向量的聚合,得到时序知识图谱中部件和指标节点级别的特征表示:
Figure FDA0003810080180000031
其中,UPDATE和AGGREGATE是更新和聚合的可微函数,N(u)表示u的一组相邻节点,
Figure FDA0003810080180000032
被初始化为输入节点特征Xu,H(l+1)∈Rn×d是一次GNN后得到的节点特征,简化为:
H(l+1)=GNN(H(l),A(l)) (4)
S3.2、在得到节点的特征表示H(l+1)后,由一个读出函数生成一个嵌入向量获得完整的全图表示:
hG=CONTACT(sum({Hv|v∈V})|k=0,1,....K) (5)
其中,hG为全图特征,CONTACT为向量拼接函数,sum为求和函数,他们共同构成读出函数,对每次迭代的节点求和得到图的特征进行拼接,得到包含节点特征的全图特征。
5.根据权利要求4所述的一种基于知识图谱多集池化的装备健康状态评估方法,其特征在于所述步骤S4的具体过程如下:
S4.1、为了让池化方法能区分图中各节点的重要程度,使用图多头注意机制提取分簇方案;
S4.1.1、假设图中有n个节点向量,注意力函数Att的输入为:query矩阵
Figure FDA0003810080180000041
key矩阵
Figure FDA0003810080180000042
和value矩阵
Figure FDA0003810080180000043
其中nq是query向量的个数,n是输入节点的个数,dk是key矩阵的维数,dv是value矩阵向量的维数,注意力函数公式如下:
Att(Q,K,A)=ω(QKT)V (6)
将注意力函数分解成query与所有key的点积,可以学习到相应的加权值,将更多的权重放在关键目标节点上:
Figure FDA0003810080180000044
其中,ω是激活函数softmax,exp是自然常数e的指数;
S4.1.2、进一步使用多头注意力代替单注意力,分别通过线性投影query矩阵Q、key矩阵K和value矩阵V来产生h个不同的投影空间:
Figure FDA0003810080180000045
注意力机制通过输入节点的特征向量,将学习的权重映射到Q,K和V三个权重矩阵中,从而保证在对任意部分进行编码学习时,都最大可能地只关注重要部分;W为调整矩阵生成多个Q,K,V值,进一步保证了编码学习的有效性,h代表投影空间O的个数,O由参数矩阵
Figure FDA0003810080180000046
组成,
Figure FDA0003810080180000047
是输出投影矩阵,dmodel是多头注意力的输出维度;
S4.1.3、为了在多头注意力中更准确地生成K和V,使用图多头注意力函数通过GNN学习K和V,图多头注意力函数GMH的输出可以表示为:
Figure FDA0003810080180000048
Figure FDA0003810080180000051
相比于多头公式中线性嵌入的KW和VW,GNNi的输出包含图的邻接信息,图多头注意力能够更容易学习到近似节点的分簇方案,生成分簇分配矩阵;
S4.2、知识图谱多集池化,具体过程如下:
定义知识图谱多重集池化GMPool,以端到端池化方式将n个节点压缩成k个典型代表节点,将图卷积模块获得的全图特征H输入到GMPool中,公式如下:
GMPoolk(H,A)=LN(Z+rFF(Z));Z=LN(S+GMH(S,H,A)) (10)
其中,H∈Rn×d是由GNN得出的节点特征,A是邻接矩阵,rFF是任何行方向的前馈层,独立且相同地处理每行特征,LN是层归一化层,S∈Rk×d是参数化的分簇种子矩阵用于优化池化操作;GMH函数考虑了S中的k个种子向量query和H中的n个节点value之间的交互,利用它们之间的注意力相似性将n个节点压缩成k个典型代表节点;
S4.3、节点自注意力机制:
进一步使用节点自注意力机制考虑n个输入节点或k个典型代表节点之间的相互作用,公式如下:
SelfAtt(H)=LN(Z+rFF(Z));Z=LN(S+MH(H,H,H)) (11)
与考虑k个向量和n个节点之间的相互作用的公式(7)中的GMH相比,SelfAtt将节点嵌入H放在等式(8)中MH的query和key的位置上来捕捉n个节点之间的内在关系。
6.根据权利要求5所述的一种基于知识图谱多集池化的装备健康状态评估方法,其特征在于所述步骤S5的具体过程如下:
将上述得到的最终装备健康状态的表示向量HFinal输入最终的线性分类器,得到最终的概率
Figure FDA0003810080180000061
其中
Figure FDA0003810080180000062
定义如下:
Figure FDA0003810080180000063
其中,sigmoid()函数将向量映射到[0,1]范围内的输出概率;
然后根据上述计算出的概率
Figure FDA0003810080180000064
通过损失函数与样本中正确的标签
Figure FDA0003810080180000065
进行损失计算,并通过Adam优化器来最小化损失函数,损失函数定义为:
Figure FDA0003810080180000066
其中,
Figure FDA0003810080180000067
为样本中的样本数,
Figure FDA0003810080180000068
为样本中正确的标签;
不断迭代以上训练过程,使装备健康状态的嵌入表示收敛,得到最终的装备健康状态评估的模型;将需要评估的装备知识图谱输入到上述训练模型,得到设备健康状态分类结果,完成装备健康状态评估。
CN202211008740.0A 2022-08-22 2022-08-22 一种基于知识图谱多集池化的装备健康状态评估方法 Pending CN115456044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211008740.0A CN115456044A (zh) 2022-08-22 2022-08-22 一种基于知识图谱多集池化的装备健康状态评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211008740.0A CN115456044A (zh) 2022-08-22 2022-08-22 一种基于知识图谱多集池化的装备健康状态评估方法

Publications (1)

Publication Number Publication Date
CN115456044A true CN115456044A (zh) 2022-12-09

Family

ID=84298665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211008740.0A Pending CN115456044A (zh) 2022-08-22 2022-08-22 一种基于知识图谱多集池化的装备健康状态评估方法

Country Status (1)

Country Link
CN (1) CN115456044A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117332261A (zh) * 2023-12-01 2024-01-02 深圳市伟昊净化设备有限公司 一种滤芯的效能评价方法、系统及存储介质
CN117435933A (zh) * 2023-12-22 2024-01-23 浙江大学 融合预训练语言模型和图谱的变压器设备健康度评价方法
CN117579513A (zh) * 2024-01-16 2024-02-20 北京中科网芯科技有限公司 汇聚分流设备的可视化运维系统及其方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117332261A (zh) * 2023-12-01 2024-01-02 深圳市伟昊净化设备有限公司 一种滤芯的效能评价方法、系统及存储介质
CN117332261B (zh) * 2023-12-01 2024-03-22 深圳市伟昊净化设备有限公司 一种滤芯的效能评价方法、系统及存储介质
CN117435933A (zh) * 2023-12-22 2024-01-23 浙江大学 融合预训练语言模型和图谱的变压器设备健康度评价方法
CN117435933B (zh) * 2023-12-22 2024-04-16 浙江大学 融合预训练语言模型和图谱的变压器设备健康度评价方法
CN117579513A (zh) * 2024-01-16 2024-02-20 北京中科网芯科技有限公司 汇聚分流设备的可视化运维系统及其方法
CN117579513B (zh) * 2024-01-16 2024-04-02 北京中科网芯科技有限公司 汇聚分流设备的可视化运维系统及其方法

Similar Documents

Publication Publication Date Title
CN115456044A (zh) 一种基于知识图谱多集池化的装备健康状态评估方法
Khayyam et al. A novel hybrid machine learning algorithm for limited and big data modeling with application in industry 4.0
CN115618296A (zh) 一种基于图注意力网络的大坝监测时序数据异常检测方法
CN112464996A (zh) 基于LSTM-XGBoost的智能电网入侵检测方法
CN111310722A (zh) 一种基于改进神经网络的电力设备图像的故障识别方法
CN115345222A (zh) 一种基于TimeGAN模型的故障分类方法
CN116503118A (zh) 一种基于分类选择强化预测模型的废旧家电价值评估系统
CN113762591B (zh) 一种基于gru和多核svm对抗学习的短期电量预测方法及系统
CN113298131B (zh) 一种基于注意力机制的时序数据缺失值插补方法
CN113887694A (zh) 一种注意力机制下基于特征表征的点击率预估模型
Wieland et al. From neural networks to qualitative models in environmental engineering
CN115438897A (zh) 一种基于blstm神经网络的工业过程产品质量预测方法
CN116894180B (zh) 一种基于异构图注意力网络的产品制造质量预测方法
Chen et al. Short-term Wind Speed Forecasting Based on Singular Spectrum Analysis, Fuzzy C-Means Clustering, and Improved POABP
Li et al. A lstm-based method for comprehension and evaluation of network security situation
CN117313795A (zh) 一种基于改进dbo-lstm的智慧楼宇能耗预测方法
CN112149896A (zh) 一种基于注意力机制的机械设备多工况故障预测方法
CN115412332B (zh) 基于混合神经网络模型优化的物联网入侵检测系统及方法
CN113537539A (zh) 一种基于注意力机制的多时间步供热用气量预测模型
CN116340936A (zh) 融合强化学习和特征选择优化的ics入侵检测系统及方法
CN114401135B (zh) 基于LSTM-Attention用户和实体行为分析技术的内部威胁检测方法
CN115330082A (zh) 一种基于注意力机制的lstm网络的pm2.5浓度预测方法
CN114676887A (zh) 一种基于图卷积stg-lstm的河流水质预测方法
Jin et al. Research on multi-sensor information fusion algorithm of fan detection robot based on improved BP neural network
CN113746813B (zh) 基于两阶段学习模型的网络攻击检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination