CN116894180B - 一种基于异构图注意力网络的产品制造质量预测方法 - Google Patents
一种基于异构图注意力网络的产品制造质量预测方法 Download PDFInfo
- Publication number
- CN116894180B CN116894180B CN202311161640.6A CN202311161640A CN116894180B CN 116894180 B CN116894180 B CN 116894180B CN 202311161640 A CN202311161640 A CN 202311161640A CN 116894180 B CN116894180 B CN 116894180B
- Authority
- CN
- China
- Prior art keywords
- node
- workpiece
- attention
- nodes
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 120
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 61
- 230000008569 process Effects 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000007246 mechanism Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 230000002776 aggregation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims 1
- 238000004886 process control Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 206010027175 memory impairment Diseases 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开了一种基于异构图注意力网络的产品制造质量预测方法，包括：获取工业产品样本数据，建立不同的节点集合及节点特征矩阵、边集合，构建异构图；根据产品制造工序的顺序进行特征编码并提取样本的初始特征编码，作为初始工件节点特征；采用多头注意力机制，对每个节点根据不同含义的元路径进行特征提取与表示学习；训练异构图注意力网络；将工业产品样本数据输入至更新后的异构图注意力网络进行工业制造过程的产品制造质量预测。本发明能够实现对航空航天领域复杂结构件加工状态的预测，并进一步实现工艺调控，显著提高航空发动机关键构件的加工效率和质量，并能保证加工过程的安全性。
Description
技术领域
本发明涉及产品制造质量预测技术领域，涉及一种基于异构图注意力网络的产品制造质量预测方法。
背景技术
近年来，国内外制造业逐渐向将传统的加工工艺与数字孪生、人工智能有机结合的方向发展，以通过虚拟孪生系统对加工过程进行智能调控。目前在诸多领域如航空航天领域存在复杂结构件，其制造过程是一个非线性的多场耦合加工过程，伴随着材料去除和表面创成，多种复杂的物理过程高度耦合，综合影响目标构件的形状精度与表面状态。
对于数据驱动的加工状态预测问题，传统的机器学习算法例如支持向量机等，面对多种工艺耦合的复杂工业场景存在泛化性能的局限性。深度神经网络具有良好的预测性能，例如递归神经网络、长短期记忆网络等，能够捕捉数据中的时间动态行为，却难以捕捉更为复杂的环境因素以及复杂工艺间的耦合影响因素，无法充分利用数据样本，难以保证在复杂工艺过程下产品质量预测的准确性。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于异构图注意力网络的产品制造质量预测方法，在多道生产工序以及复杂工业环境下对工业产品制造质量进行精确预测，本发明能够实现对航空航天领域复杂结构件加工状态的预测，并进一步实现工艺调控，显著提高航空发动机关键构件的加工效率和质量，并能保证加工过程的安全性，解决制造工序复杂、多工艺耦合的工业产品质量预测问题。
为实现上述技术目的，本发明采取的技术方案为：
一种基于异构图注意力网络的产品制造质量预测方法，包括：
S1、数字孪生系统获取工业产品样本数据，包括制造过程中各制造工序的工艺参数、相关传感器数据和结构件的质量指标；
S2、根据样本数据建立不同的节点集合及节点特征矩阵，根据不同的节点的连接关系构建边集合，基于所述节点集合、节点特征矩阵和边集合构建异构图；
S3、基于S2中的异构图，采用双向长短期记忆网络，根据产品制造工序的顺序进行特征编码并提取样本的初始特征编码，作为初始工件节点特征；
S4、基于S2构建的异构图构建异构图注意力网络，采用多头注意力机制和初始工件节点特征，对每个节点根据不同含义的元路径进行特征提取与表示学习，得到融合路径级注意力后工件节点的最终嵌入表示；
S5、利用S4中得到的融合路径级注意力后工件节点的最终嵌入表示作为输入，通过连接全连接网络训练异构图注意力网络，通过反向传播算法更新异构图注意力网络参数，并优化异构图注意力网络参数以最小化预测误差；
S6、数字孪生系统采用更新后的异构图注意力网络，将工业产品样本数据输入至更新后的异构图注意力网络进行工业制造过程的产品制造质量预测。
为优化上述技术方案，采取的具体措施还包括：
上述的步骤S2具体包括以下步骤：
S201、对各制造工序的工艺参数和结构件的质量指标的样本数据进行异常值处理与归一化处理；
S202、定义不同节点类型，包括工件节点、工序节点、以及每个工序所对应的设备节点；每个工件所对应的工艺参数以及加工过程的传感器数据作为工件节点特征，每台设备的数据以及外界因素作为设备节点特征，工件节点特征与设备节点特征构成节点特征矩阵；
S203、根据不同的节点的连接关系构建边集合，包括：
每个工件节点与每个工序节点连接，构成“工件-工序”边；
每个设备节点分别与其对应的一个工序节点相连，构成“设备-工序”边；
每个工件节点分别与每个工序所对应的设备节点中的一个设备节点相连，构成“工件-设备工序”边；
S204、根据节点集合、边集合以及节点特征矩阵构建异构图。
上述的步骤S3具体包括以下步骤：
S301、基于异构图，将工件节点特征按照对应工序划分，与每一道工序所对应的工件节点特征分别嵌入至相同维度，得到嵌入至相同维度后的工件节点特征；
S302、根据各工序的先后顺序，以每一道工序作为一个时间步，构建双向长短期记忆网络BiLSTM，对嵌入至相同维度后的工件节点特征进行基于工序的时序编码，以BiLSTM的隐藏状态为时序特征；
S303、将嵌入至相同维度后的工件节点特征与时序特征相拼接，作为样本的初始特征编码。
上述的步骤S301中，对于工件节点特征的嵌入方式为：
；
其中，表示第/>个工件节点的初始化特征/>中第/>道工序所对应的特征，/>表示嵌入后的第/>个工件节点的特征中被映射至对应维度的第/>道工序所对应的工件节点特征嵌入表示，/>表示嵌入函数，/>表示可学习权重矩阵，/>表示偏置项，/>表示工序节点的总数。
上述的步骤S302中，时序特征的提取方式为：
；
其中，表示双向长短期记忆网络，/>与/>分别表示/>中正向与反向的最后一个时间步的特征隐藏表示；
符号“”表示将向量串联，将/>拼接得到/>作为第/>个工件节点的时序特征，/>表示时间步。
在步骤S303中，嵌入至相同维度后的工件节点特征与时序特征的拼接方式为：
；
为第/>个工件节点的初始特征编码。
上述的步骤S4中具体包括以下步骤：
S401、异构图注意力网络，基于注意力机制，对每个工件节点相连的所有设备节点进行特征聚合，得到设备特征，与第个工件节点的初始特征编码/>拼接后嵌入得到更新后的工件节点特征；
S402、基于更新后的工件节点特征，采用节点级注意力，根据元路径的邻居，对异构图中每个工件节点进行表示学习，聚合与其处于相同元路径的邻居的表示以更新节点特征，得到通过元路径对于第/>个工件节点的学习嵌入表示；
S403、基于通过元路径对于工件节点的学习嵌入表示，采用路径级注意力，学习不同类型元路径的重要性，得到融合路径级注意力后得到的工件节点的最终嵌入表示。
上述的步骤S401中，设备特征的聚合方式为：
；
；
其中，表示反映第/>个设备节点对第/>个工件节点的重要性的权重系数，表示注意力机制，/>表示将第/>个设备节点的特征映射至与工件节点相同维度的嵌入表示，/>表示工件节点与设备节点间的元路径集合，/>为聚合得到的设备特征，表示工序节点的总数；
在步骤S401中，聚合得到的设备特征与第/>个工件节点的初始特征编码/>拼接后嵌入得到更新后的工件节点特征：
。
上述的步骤S402中，通过元路径对于工件节点的学习嵌入表示具体为：
；
；
其中，表示与第/>道工序所对应的元路径集合，即“工件-设备工序k-工件”，表示由元路径/>相连的第/>个与第/>个工件节点之间的节点级注意力向量，表示注意力机制，/>与/>表示第/>个与第/>个工件节点的特征；
表示通过元路径/>对于第/>个工件节点特征的学习嵌入表示，/>表示多头注意力机制中注意力头的个数，/>表示激活函数,/>表示与第/>个工件节点通过元路径/>相连的邻居个数。
上述的步骤S403中，融合路径级注意力后得到的工件节点的最终嵌入表示为：
；
；
其中，为路径级注意力向量，表示每种类型元路径的重要性，/>表示路径级注意力机制；/>表示融合路径级注意力后得到的第/>个工件节点的最终嵌入表示，/>表示第/>个工件节点对于元路径/>的嵌入表示。
上述的步骤S5具体包括以下步骤：
S501、异构图注意力网络通过连接多层感知机，并以S4中得到的融合路径级注意力后工件节点的最终嵌入表示作为输入，进行产品制造质量预测；
S502、构建损失函数，并计算异构图注意力网络的预测损失；
S503、根据预测损失值，通过反向传播算法对异构图注意力网络的参数进行迭代更新。
本发明具有以下有益效果：
1、本发明通过双向的长短期记忆网络可以挖掘出与产品工艺流程中各个工序间存在的时序特征，在特征中保留了不同工序间相互耦合的影响关系；
基于异构图神经网络，并结合多头注意力机制，充分挖掘产品样本与加工环境因素之间以及各产品样本之间的存在的相互影响关系，使预测具有更好可解释性；利用全局图级别的特征和局部节点之间的关联来进行预测，能够实现半监督学习，并有效的提高较小样本量支持下的预测准确性。
2、本发明能够实现对航空航天领域复杂结构件加工状态的预测，并进一步实现工艺调控，显著提高航空发动机关键构件的加工效率和质量，并能保证加工过程的安全性。
3、本发明采用异构图注意力网络，利用异构图结构模拟复杂工业过程，通过节点之间的连接和信息传递，捕捉工业过程中存在的相互作用，充分利用多层次关系与上下文信息，提高复杂工艺过程下模型的预测准确性、鲁棒性和泛化能力。
附图说明
图1为本发明产品制造质量预测孪生系统的流程图；
图2为本发明基于某复杂结构件的关键制造过程所构建的异构图；
图3为本发明新的数字孪生模型的特征提取与表示学习过程的示意图；
图4为本发明某复杂结构件的关键制造的流程图；
图5为本发明新的数字孪生模型的预测试验结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。
如图1-图5所示为本发明的一种具体实施方式，采用异构图注意力网络，利用异构图结构模拟复杂工业过程，通过节点之间的连接和信息传递，捕捉工业过程中存在的相互作用，充分利用多层次关系与上下文信息，提高复杂工艺过程下模型的预测准确性、鲁棒性和泛化能力。
以图2所示的某复杂结构件的关键制造流程所对应的异构图为例，该产品制造质量预测方法的具体实施方式包括如下步骤：
S1、数字孪生系统获取工业产品样本数据，包括制造过程中各制造工序的工艺参数、相关传感器数据和结构件的质量指标；
通过数字孪生系统获取工业产品样本数据，包括制造过程中各工序的工艺参数、相关传感器数据和质量指标；
各个制造工序的样本数据根据制造车间中工业产品的具体工艺流程，确定每道工序的工艺参数以及测量所得的质量指标，其中，工艺参数与质量指标的数量均为多个，同时每一个样本数据都对应多道制造工序，从而根据样本数据确定各工序中的工艺参数、相关传感器数据和质量指标。
S2、根据样本数据建立不同的节点集合及节点特征矩阵，根据不同的节点的连接关系构建边集合，基于所述节点集合、节点特征矩阵和边集合构建异构图；
根据数据不同特征的涵义定义不同的节点类型和边类型，并基于节点与边构建异构图；
作为本实施例的优选方式，对于实现步骤S2所采用的方法如下：
S201、对各制造工序的工艺参数和复杂结构件的质量指标的样本数据进行异常值处理与归一化处理得到样本数据集；
异常值处理采用现有技术中的数据处理之异常值处理，以3σ原则建立在正态分布的等精度重复测量基础上而造成奇异数据的干扰或噪声难以满足正态分布，完成对异常值检测，随后采用删除、视为缺失值、平均值修正或盖帽法实现对于异常值处理。归一化处理采用现有技术所公知的归一化处理方法，此处不再详细赘述。
S202、定义不同节点类型，包括工件节点、工序节点、以及每个工序所对应的设备节点，每个工件所对应的工艺参数以及加工过程的传感器数据作为工件节点特征，每台设备的数据以及工程师、工具等外界因素作为设备节点特征，工件节点特征与设备节点特征构成节点特征矩阵。
S203、根据不同的节点的连接关系构建边集合：定义边的类型，每个工件节点与每个工序节点连接，构成“工件-工序”边；每个设备节点分别于其对应的一个工序节点相连，构成“设备-工序”边；每个工件节点分别于每个工序所对应的设备节点中的一个相连，构成“工件-设备工序”边，不同工序对应的“工件-设备工序”边存在差异。
在该步骤中，工业产品制造过程的每一道工序往往可由多台设备以及多位工程师完成，因此每个工件节点对应多个工序节点以及设备节点，每个工序节点对应至少一个设备节点。
S204、根据节点集合、边集合以及节点特征矩阵构建异构图。
S3、基于S2中的异构图，采用双向长短期记忆网络，根据产品制造工序的顺序进行特征编码并提取样本的初始特征编码，作为初始工件节点特征，为具有时序含义的补充特征；
基于双向的长短期记忆网络，根据产品制造工序的顺序，进行特征编码并提取为具有时序含义的补充特征；
作为本实施例的优选方式，对于实现步骤S3所采用的方法如下：
S301、基于异构图，将工件节点的特征按照对应工序划分，与每一道工序所对应的特征分别嵌入至相同维度，得到嵌入至相同维度后的工件节点特征。
在步骤S301中，对于工件节点的特征嵌入采用下述公式完成：
；
其中，表示第/>个工件节点的初始化特征/>中第/>道工序所对应的特征，/>表示嵌入后的第/>个工件节点的特征中被映射至对应维度的第/>道工序所对应的工件节点特征嵌入表示，/>表示嵌入函数，/>表示可学习权重矩阵，/>表示偏置项，/>表示工序节点的总数。
S302、根据各工序的先后顺序，以每一道工序作为一个时间步，构建双向长短期记忆网络BiLSTM，随后对嵌入至相同维度后的工件节点特征进行基于工序的时序编码，以BiLSTM的隐藏状态为输出的时序特征。
在步骤S302中，对于时序特征的提取采用下述公式完成：
；
其中，表示双向长短期记忆网络，/>与/>分别表示/>中正向与反向的最后一个时间步的特征隐藏表示，将其拼接得到/>作为第/>个工件节点的时序特征，/>表示时间步。
双向长短期记忆网络BiLSTM的具体计算方法为：
对于正向的LSTM有：
；
其中表示遗忘门、/>表示输入门、/>表示输出门、/>表示输入的特征向量，/>表示细胞临时状态，/>表示上一时刻的隐藏状态，/>表示权重矩阵，b表示偏置项；
；
；
其中表示t时刻的细胞状态，/>表示t时刻的隐藏状态。
；
其中与/>分别表示双向长短期记忆网络/>正向与反向的最后一个时间步的隐藏状态，拼接在一起后得到第/>个工件节点的时序特征/>。
S303、将嵌入后的样本特征（嵌入至相同维度后的工件节点特征）与时序特征相拼接，作为样本的初始特征编码。
在步骤S303中，对于样本的初始特征编码采用下述公式完成：
；
拼接第个工件节点的初始嵌入表示/>与时序特征/>，再通过/>进行维度转换后得到新的特征嵌入/>，即为样本的初始特征编码，作为初始工件节点特征。
S4、基于S2构建的异构图构建异构图注意力网络，采用多头注意力机制和初始工件节点特征，对每个节点根据不同含义的元路径进行特征提取与表示学习，得到融合路径级注意力后工件节点的最终嵌入表示。
该步骤的计算流程如图3所示，作为本实施例的优选方式，对于实现步骤S4所采用的方法如下：
S401、异构图注意力网络，基于注意力机制，对每个工件节点相连的所有设备节点进行特征聚合，得到设备特征，与第个工件节点的初始特征编码/>拼接后嵌入得到更新后的工件节点特征；
S402、基于更新后的工件节点特征，采用节点级注意力，根据元路径的邻居，对异构图中每个工件节点进行表示学习，聚合与其处于相同元路径的邻居的表示以更新节点特征，得到通过元路径对于第/>个工件节点的学习嵌入表示；
S403、基于通过元路径对于工件节点的学习嵌入表示，采用路径级注意力，学习不同类型元路径的重要性，并将它们融合得到新的特征嵌入表示，即得到融合路径级注意力后得到的工件节点的最终嵌入表示。
在步骤S401中，对于设备特征的聚合采用下述公式完成：
；
其中，表示反映第/>个设备节点对第/>个工件节点的重要性的权重系数，表示注意力机制，/>表示将第/>个设备节点的特征映射至与工件节点相同维度的嵌入表示，/>表示工件节点与设备节点间的元路径集合，此处采用掩码机制，仅计算与元路径/>相关节点的注意力。
注意力机制的具体计算方法为：
；
其中,表示设备/>对工件/>的重要性，/>表示激活函数，/>、均表示可学习的权重矩阵，/>表示可学习的权重向量；
；
其中，K表示每个工件节点相连的设备节点数量，也等于工序数；
；
；
；
其中，聚合得到的设备特征，与工件特征拼接后嵌入得到更新后的工件节点特征嵌入/>，即更新后的工件节点特征，/>表示工序节点的总数。聚合得到的设备特征/>与第/>个工件节点的初始特征编码/>拼接后嵌入得到更新后的工件节点特征。
在步骤S402中，对于节点级注意力的特征表示学习采用下述公式完成：
；
其中，表示与第/>道工序所对应的元路径集合，即“工件-设备工序k-工件”，表示由元路径/>相连的第/>个与第/>个工件节点之间的节点级注意力向量，/>与/>表示第/>个与第/>个工件节点的特征，/>表示注意力机制，计算方法与S401中相同；
；
其中，表示通过元路径/>对于第/>个工件节点特征的学习嵌入表示，/>表示多头注意力机制中注意力头的个数，/>表示激活函数,/>表示与第/>个工件节点通过元路径/>相连的邻居个数。
在步骤S403中，对于路径级注意力的特征表示学习采用下述公式完成：
；
其中，为路径级注意力向量，表示每种类型元路径的重要性，/>表示路径级注意力机制；
注意力机制的具体计算方法为：
；
；
其中,表示元路径/>的重要性，/>表示激活函数，/>均表示可学习的权重矩阵,/>表示权重向量；
；
其中，表示融合路径级注意力后得到的第/>个工件节点的最终嵌入表示，/>表示第/>个工件节点对于元路径/>的嵌入表示。
S5、利用S4中得到的融合路径级注意力后工件节点的最终嵌入表示作为输入，通过连接全连接网络训练异构图注意力网络，通过反向传播算法更新异构图注意力网络参数，并优化异构图注意力网络参数以最小化预测误差；
训练模型，通过反向传播的算法更新网络模型参数，并优化网络参数以最小化预测误差；
作为本实施例的优选方式，对于实现步骤S5所采用的方法如下：
S501、异构图注意力网络通过连接多层感知机，并以S4中得到的融合路径级注意力后工件节点的最终嵌入表示作为输入，进行产品制造质量预测；
S502、构建损失函数，并计算网络模型的预测损失；
S503、根据损失值通过反向传播算法对该网络模型的参数进行迭代更新。
在步骤S502中，对于预测损失的计算采用下述公式完成：
；
其中，表示Huber损失函数，/>与/>分别表示预测结果与真实值，/>是一个超参数。较小的/>值会使得Huber损失函数更接近于MSE，对异常值更敏感；较大的/>值会使得Huber损失函数更接近于MAE，对异常值的影响较小。
S6、数字孪生系统采用更新后的异构图注意力网络，将复杂结构件制造过程的样本数据输入至更新后的网络模型进行工业制造过程的制造质量预测。
本实施例所提出的基于异构图注意力网络的产品制造质量预测方法，通过双向的长短期记忆网络可以挖掘出与产品工艺流程中各个工序间存在的时序特征，在特征中保留了不同工序间相互耦合的影响关系。
基于异构图神经网络，并结合多头注意力机制，充分挖掘产品样本与加工环境因素之间以及各产品样本之间的存在的相互影响关系，使预测具有更好可解释性；利用全局图级别的特征和局部节点之间的关联来进行预测，能够实现半监督学习，并有效的提高较小样本量支持下的预测准确性。
具体的，如图2所示，为新的异构图注意力网络结构示意图，本实施例通过对图4所示的产品制造过程的样本对新的网络模型进行验证与定量分析，其预测的平均绝对误差为9.87，均方根误差为11.53，预测结果如图5所示。相比与其他传统算法性能更好、误差更低，能够有效解决在小样本量支持下的产品制造质量预测问题，结果如表1所示：
| 模型 | MAE | RMSE |
| FNN | 13.17 | 15.61 |
| CNN | 11.59 | 14.22 |
| LSTM | 11.02 | 13.74 |
| 新的数字孪生模型 | 9.87 | 11.53 |
表1 不同模型对图2所示产品制造过程的质量预测结果对比
本实施例所提供的预测方法能够实现对航空航天领域复杂结构件加工状态的预测，并进一步实现工艺调控，显著提高航空发动机关键构件的加工效率和质量，并能保证加工过程的安全性。
同时采用异构图注意力网络，利用异构图结构模拟复杂工业过程，通过节点之间的连接和信息传递，捕捉工业过程中存在的相互作用，充分利用多层次关系与上下文信息，提高复杂工艺过程下模型的预测准确性、鲁棒性和泛化能力。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (5)
1.一种基于异构图注意力网络的产品制造质量预测方法，其特征在于，包括：
S1、数字孪生系统获取工业产品样本数据，包括制造过程中各制造工序的工艺参数、相关传感器数据和结构件的质量指标；
S2、根据样本数据建立不同的节点集合及节点特征矩阵，根据不同的节点的连接关系构建边集合，基于所述节点集合、节点特征矩阵和边集合构建异构图；
S3、基于S2构建的异构图，采用双向长短期记忆网络，根据产品制造工序的顺序进行特征编码并提取样本的初始特征编码，作为初始工件节点特征；
S4、基于S2构建的异构图构建异构图注意力网络，采用多头注意力机制和初始工件节点特征，对每个节点根据不同含义的元路径进行特征提取与表示学习，得到融合路径级注意力后工件节点的最终嵌入表示；
S5、利用S4中得到的融合路径级注意力后工件节点的最终嵌入表示作为输入，通过连接全连接网络训练异构图注意力网络，通过反向传播算法更新异构图注意力网络参数，并优化异构图注意力网络参数以最小化预测误差；
S6、数字孪生系统采用更新后的异构图注意力网络，将工业产品样本数据输入至更新后的异构图注意力网络进行工业制造过程的产品制造质量预测；
步骤S2具体包括以下步骤：
S201、对各制造工序的工艺参数和结构件的质量指标的样本数据进行异常值处理与归一化处理；
S202、定义不同节点类型，包括工件节点、工序节点、以及每个工序所对应的设备节点；每个工件所对应的工艺参数以及加工过程的传感器数据作为工件节点特征，每台设备的数据以及外界因素作为设备节点特征，工件节点特征与设备节点特征构成节点特征矩阵；
S203、根据不同的节点的连接关系构建边集合，包括：
每个工件节点与每个工序节点连接，构成“工件-工序”边；
每个设备节点分别与其对应的一个工序节点相连，构成“设备-工序”边；
每个工件节点分别与每个工序所对应的设备节点中的一个设备节点相连，构成“工件-设备工序”边；
S204、根据节点集合、边集合以及节点特征矩阵构建异构图；
在步骤S4中具体包括以下步骤：
S401、异构图注意力网络，基于注意力机制，对每个工件节点相连的所有设备节点进行特征聚合，得到设备特征，与第i个工件节点的初始特征编码hi拼接后嵌入得到更新后的工件节点特征；
S402、基于更新后的工件节点特征，采用节点级注意力，根据元路径的邻居，对异构图中每个工件节点进行表示学习，聚合与其处于相同元路径的邻居的表示以更新节点特征，得到通过元路径Φ对于第i个工件节点的学习嵌入表示；
S403、基于通过元路径对于工件节点的学习嵌入表示，采用路径级注意力，学习不同类型元路径的重要性，得到融合路径级注意力后得到的工件节点的最终嵌入表示；
在步骤S401中，设备特征的聚合方式为：
其中，表示反映第p个设备节点对第i个工件节点的重要性的权重系数，Att(·)表示注意力机制，/>表示将第j个设备节点的特征映射至与工件节点相同维度的嵌入表示，ΦP_M表示工件节点与设备节点间的元路径集合，/>为聚合得到的设备特征，K表示工序节点的总数；
在步骤S401中，聚合得到的设备特征与第i个工件节点的初始特征编码hi拼接后嵌入得到更新后的工件节点特征：
其中Emb(·)表示嵌入函数，符号“||”表示将向量串联；
在步骤S402中，通过元路径对于工件节点的学习嵌入表示具体为：
其中，Φk表示与第k道工序所对应的元路径集合，即“工件-设备工序k-工件”，表示由元路径Φk相连的第i个与第j个工件节点之间的节点级注意力向量，Att(·)表示注意力机制，hi与hj表示第i个与第j个工件节点的特征；
表示通过元路径Φk对于第i个工件节点特征的学习嵌入表示，N表示多头注意力机制中注意力头的个数，Sigmod(·)表示激活函数,/>表示与第i个工件节点通过元路径Φk相连的邻居个数；
在步骤S403中，融合路径级注意力后得到的工件节点的最终嵌入表示为：
其中，为路径级注意力向量，表示每种类型元路径的重要性，Attpath(·)表示路径级注意力机制；ei表示融合路径级注意力后得到的第i个工件节点的最终嵌入表示，/>表示第i个工件节点对于元路径Φk的嵌入表示。
2.根据权利要求1所述的一种基于异构图注意力网络的产品制造质量预测方法，其特征在于，步骤S3具体包括以下步骤：
S301、基于异构图，将工件节点特征按照对应工序划分，与每一道工序所对应的工件节点特征分别嵌入至相同维度，得到嵌入至相同维度后的工件节点特征；
S302、根据各工序的先后顺序，以每一道工序作为一个时间步，构建双向长短期记忆网络BiLSTM，对嵌入至相同维度后的工件节点特征进行基于工序的时序编码，以BiLSTM的隐藏状态为时序特征；
S303、将嵌入至相同维度后的工件节点特征与时序特征相拼接，作为样本的初始特征编码。
3.根据权利要求2所述的一种基于异构图注意力网络的产品制造质量预测方法，其特征在于，在步骤S301中，对于工件节点特征的嵌入方式为：
ek＝Emb(xk)＝Wembxk+bemb
其中，xk表示第i个工件节点的初始化特征Xi＝[x1,…xk,…,xK]中第k道工序所对应的特征，ek表示嵌入后的第i个工件节点的特征Ei＝[e1,…,ek,…eK]中被映射至对应维度的第k道工序所对应的工件节点特征嵌入表示，Emb(·)表示嵌入函数，Wemb表示可学习权重矩阵，bemb表示偏置项，K表示工序节点的总数。
4.根据权利要求3所述的一种基于异构图注意力网络的产品制造质量预测方法，其特征在于，在步骤S302中，时序特征的提取方式为：
其中，BiLSTM(·)表示双向长短期记忆网络，与/>分别表示BiLSTM中正向与反向的最后一个时间步的特征隐藏表示；
符号“||”表示将向量串联，将拼接得到h′i作为第i个工件节点的时序特征；
在步骤S303中，嵌入至相同维度后的工件节点特征与时序特征的拼接方式为：
hi＝Emb([Ei||h′i])
hi为第i个工件节点的初始特征编码。
5.根据权利要求1所述的一种基于异构图注意力网络的产品制造质量预测方法，其特征在于，步骤S5具体包括以下步骤：
S501、异构图注意力网络通过连接多层感知机，并以S4中得到的融合路径级注意力后工件节点的最终嵌入表示作为输入，进行产品制造质量预测；
S502、构建损失函数，并计算异构图注意力网络的预测损失；
S503、根据预测损失值，通过反向传播算法对异构图注意力网络的参数进行迭代更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311161640.6A CN116894180B (zh) | 2023-09-11 | 2023-09-11 | 一种基于异构图注意力网络的产品制造质量预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311161640.6A CN116894180B (zh) | 2023-09-11 | 2023-09-11 | 一种基于异构图注意力网络的产品制造质量预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116894180A CN116894180A (zh) | 2023-10-17 |
| CN116894180B true CN116894180B (zh) | 2023-11-24 |
Family
ID=88311123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311161640.6A Active CN116894180B (zh) | 2023-09-11 | 2023-09-11 | 一种基于异构图注意力网络的产品制造质量预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116894180B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117708821B (zh) * | 2024-02-06 | 2024-04-30 | 山东省计算中心（国家超级计算济南中心） | 基于异构图嵌入的勒索软件检测方法、系统、设备及介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554100A (zh) * | 2021-07-28 | 2021-10-26 | 湖南科技大学 | 异构图注意力网络增强的Web服务分类方法 |
| CN113961718A (zh) * | 2021-10-28 | 2022-01-21 | 南京航空航天大学 | 一种基于工业机械故障诊断知识图谱的知识推理方法 |
| CN114090902A (zh) * | 2021-11-22 | 2022-02-25 | 中国人民解放军国防科技大学 | 一种基于异质网络的社交网络影响力预测方法、装置 |
| WO2022133210A2 (en) * | 2020-12-18 | 2022-06-23 | Strong Force TX Portfolio 2018, LLC | Market orchestration system for facilitating electronic marketplace transactions |
| CN114861297A (zh) * | 2022-04-15 | 2022-08-05 | 中国航空制造技术研究院 | 一种面向飞机总装排产的多因素加工时间计算方法及装置 |
| CN115860670A (zh) * | 2022-11-30 | 2023-03-28 | 京东方科技集团股份有限公司 | 加工顺序调度方法、装置、电子设备及存储介质 |
| CN115965154A (zh) * | 2023-01-13 | 2023-04-14 | 东华大学 | 一种基于知识图谱的数字孪生机械加工过程调度方法 |
| CN116166875A (zh) * | 2022-11-22 | 2023-05-26 | 湖南大学 | 基于元路径增强的异质图神经网络的双向跨域推荐方法 |
| CN116206775A (zh) * | 2023-01-13 | 2023-06-02 | 大连大学 | 一种融合多维度特征的药物-靶点相互作用预测方法 |
| CN116366673A (zh) * | 2023-04-11 | 2023-06-30 | 国网甘肃省电力公司信息通信公司 | 一种面向电网信息机房管理的数据分析与共享方法 |
| CN116485576A (zh) * | 2023-04-20 | 2023-07-25 | 成都飞机工业（集团）有限责任公司 | 一种航空制造业知源大脑数据智能制造管理平台 |
| CN116502959A (zh) * | 2023-06-21 | 2023-07-28 | 南京航空航天大学 | 一种基于元学习的产品制造质量预测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11748613B2 (en) * | 2019-05-10 | 2023-09-05 | Baidu Usa Llc | Systems and methods for large scale semantic indexing with deep level-wise extreme multi-label learning |
| CN113326656B (zh) * | 2021-05-26 | 2022-11-01 | 东南大学 | 一种数字集成电路众工艺角延时预测方法 |
-
2023
- 2023-09-11 CN CN202311161640.6A patent/CN116894180B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022133210A2 (en) * | 2020-12-18 | 2022-06-23 | Strong Force TX Portfolio 2018, LLC | Market orchestration system for facilitating electronic marketplace transactions |
| CN113554100A (zh) * | 2021-07-28 | 2021-10-26 | 湖南科技大学 | 异构图注意力网络增强的Web服务分类方法 |
| CN113961718A (zh) * | 2021-10-28 | 2022-01-21 | 南京航空航天大学 | 一种基于工业机械故障诊断知识图谱的知识推理方法 |
| CN114090902A (zh) * | 2021-11-22 | 2022-02-25 | 中国人民解放军国防科技大学 | 一种基于异质网络的社交网络影响力预测方法、装置 |
| CN114861297A (zh) * | 2022-04-15 | 2022-08-05 | 中国航空制造技术研究院 | 一种面向飞机总装排产的多因素加工时间计算方法及装置 |
| CN116166875A (zh) * | 2022-11-22 | 2023-05-26 | 湖南大学 | 基于元路径增强的异质图神经网络的双向跨域推荐方法 |
| CN115860670A (zh) * | 2022-11-30 | 2023-03-28 | 京东方科技集团股份有限公司 | 加工顺序调度方法、装置、电子设备及存储介质 |
| CN115965154A (zh) * | 2023-01-13 | 2023-04-14 | 东华大学 | 一种基于知识图谱的数字孪生机械加工过程调度方法 |
| CN116206775A (zh) * | 2023-01-13 | 2023-06-02 | 大连大学 | 一种融合多维度特征的药物-靶点相互作用预测方法 |
| CN116366673A (zh) * | 2023-04-11 | 2023-06-30 | 国网甘肃省电力公司信息通信公司 | 一种面向电网信息机房管理的数据分析与共享方法 |
| CN116485576A (zh) * | 2023-04-20 | 2023-07-25 | 成都飞机工业（集团）有限责任公司 | 一种航空制造业知源大脑数据智能制造管理平台 |
| CN116502959A (zh) * | 2023-06-21 | 2023-07-28 | 南京航空航天大学 | 一种基于元学习的产品制造质量预测方法 |
Non-Patent Citations (5)
| Title |
|---|
| An Adversarial bidirectional serial-parallel LSTM-based QTD framework;Zhengyu Liu等;《Journal of Intelligent Manufacturing》;第31卷;1511-1529 * |
| Multisensor fusion-based digital twin for localized quality prediction in robotic laser-directed energy deposition;Lequn Chen等;《Robotics and Computer-Integrated Manufacturing》;1-38 * |
| Path Enhanced Bidirectional Graph Attention Network for Quality Prediction in Multistage Manufacturing Process;Donghao Zhang等;《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》;第18卷(第02期);1018-1027 * |
| 花诗燕等.基于卷积-反残差和组合注意力机制的航天器多余物检测.《 计算机集成制造系统》.2022,1-20. * |
| 面向航空制造过程排产的关键参数智能感知计算研究;李伟豪;《中国硕士学位论文全文数据库（工程科技Ⅱ辑）》;C031-806 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116894180A (zh) | 2023-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115618296B (zh) | 一种基于图注意力网络的大坝监测时序数据异常检测方法 | |
| CN113723010B (zh) | 一种基于lstm温度-位移相关模型的桥梁损伤预警方法 | |
| CN110083125B (zh) | 一种基于深度学习的机床热误差建模方法 | |
| CN110705029B (zh) | 一种基于迁移学习的振荡扑翼能量采集系统流场预测方法 | |
| CN116894180B (zh) | 一种基于异构图注意力网络的产品制造质量预测方法 | |
| CN116448419A (zh) | 基于深度模型高维参数多目标高效寻优的零样本轴承故障诊断方法 | |
| Barzola-Monteses et al. | Energy consumption of a building by using long short-term memory network: a forecasting study | |
| CN114266278A (zh) | 一种基于双重注意力网络的设备剩余使用寿命预测方法 | |
| CN114528755A (zh) | 一种基于注意力机制结合gru的电力设备故障检测模型 | |
| CN115712873A (zh) | 一种基于数据分析和红外图像信息融合的光伏并网运行异常检测系统及方法 | |
| CN115456044A (zh) | 一种基于知识图谱多集池化的装备健康状态评估方法 | |
| Huang et al. | The mahalanobis taguchi system—adaptive resonance theory neural network algorithm for dynamic product designs | |
| CN111968156A (zh) | 一种自适应超特征融合的视觉跟踪方法 | |
| CN115438897A (zh) | 一种基于blstm神经网络的工业过程产品质量预测方法 | |
| CN116502959B (zh) | 一种基于元学习的产品制造质量预测方法 | |
| CN114169091A (zh) | 工程机械部件剩余寿命的预测模型建立方法及预测方法 | |
| CN116774086B (zh) | 一种基于多传感器数据融合的锂电池健康状态估计方法 | |
| CN112149896A (zh) | 一种基于注意力机制的机械设备多工况故障预测方法 | |
| Chi et al. | Calculation method of probability integration method parameters based on MIV-GP-BP model | |
| CN115664970A (zh) | 基于双曲空间的网络异常点检测方法 | |
| KR102287673B1 (ko) | 비정상 데이터 생성 방법 | |
| CN114021469A (zh) | 一种基于混合序列网络进行一段炉过程监测的方法 | |
| CN113746813B (zh) | 基于两阶段学习模型的网络攻击检测系统及方法 | |
| CN115329906B (zh) | 一种基于图正则化网络的故障诊断方法及装置 | |
| CN117635218B (zh) | 基于六度分离理论和图注意网络的商圈流量预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |