CN117830750A - 一种基于图Transformer的机械故障预测方法 - Google Patents
一种基于图Transformer的机械故障预测方法 Download PDFInfo
- Publication number
- CN117830750A CN117830750A CN202410239088.6A CN202410239088A CN117830750A CN 117830750 A CN117830750 A CN 117830750A CN 202410239088 A CN202410239088 A CN 202410239088A CN 117830750 A CN117830750 A CN 117830750A
- Authority
- CN
- China
- Prior art keywords
- representing
- graph
- lstm
- node
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000005096 rolling process Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000000547 structure data Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000010892 electric spark Methods 0.000 description 1
- 238000009760 electrical discharge machining Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Landscapes
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
本发明提供了一种基于图Transformer的机械故障预测方法，涉及机械故障预测技术领域，具体包括如下步骤：对于三种故障信号：内圈故障信号、外圈故障信号和滚动球故障信号，基于图结构提取三种故障信息，并基于相似性得分判断不同故障之间的关联。基于Graph Transformer进行图特征提取。基于Bi‑LSTM对信号特征进行整合。对CWRU数据集划分训练集和测试集，利用交叉熵损失函数进行训练，对旋转机械故障进行预测。本发明的技术方案克服现有技术中的不能有效挖掘各信号之间的关联性、机械故障预测准确性较低的问题。
Description
技术领域
本发明涉及机械故障预测技术领域，具体涉及一种基于图Transformer的机械故障预测方法。
背景技术
旋转机械在现代工业中扮演着关键的角色，广泛应用于航空、电力、化工等领域。然而，在恶劣环境和复杂工况下，旋转机械容易发生故障，据统计大约45%至55%的旋转机械和设备故障是由轴承部分的损坏引起的。因此，对旋转故障进行准确检测有助于提高机械可靠性、确保操作安全以及降低设备维护成本至关重要。监测数据直接反映机械的健康状况，因此从监测数据中准确确定旋转机械的健康状态成为当前研究的紧迫任务。
在预测机械健康状态时，通过传感器获得机械运作时的信号信息，并通过所获得的信号判断机械故障与否。由于信号处理方法和传统的智能诊断方法都依赖于人工特征提取和选择，操作人员必须具备丰富的知识，且旋转机械系统的信号信息通常涉及到复杂的非线性关系，传统的线性方法可能无法充分捕捉到这种复杂信息。基于此，研究人员开发了基于深度学习的故障预测方法。以各种神经网络为代表的深度学习算法具有强大的特征提取能力，对信号信息进行建模，提取信号特征用于故障预测任务，且深度学习模型在训练时能够适应不同的数据分布和变化，具有较强的泛化能力，这对于旋转机械系统在不同工况和环境下的故障预测是非常有益的。
目前，国内外已有许多基于深度学习模型如堆栈式自动编码器（SAE）、深度信念网络（DBN）、卷积神经网络（CNN）和循环神经网络（RNN）等在旋转机械故障诊断领域获得了很多应用。然而现有的基于CNN和RNN的预测方法数据处理过程较为简单，未能深入挖掘故障信号信息更深层次的东西，且发生故障时零件的各种故障模式之间是存在一定关联的，不应该单独进行编码，联合编码可挖掘故障信号更深层次的联动性从而提高特征的准确表达。
因此，现需要一种能够有效挖掘各信号之间的关联性，提高故障预测任务的准确性的基于图Transformer的机械故障预测方法。
发明内容
本发明的主要目的在于提供一种基于图Transformer的机械故障预测方法，以解决现有技术中不能有效挖掘各信号之间的关联性、机械故障预测准确性较低的问题。
为实现上述目的，本发明提供了一种基于图Transformer的机械故障预测方法，具体包括如下步骤：
S1，对于三种故障信号：内圈故障信号、外圈故障信号和滚动球故障信号，基于图结构提取三种故障信息，并基于相似性得分判断不同故障之间的关联。
S2，基于Graph Transformer进行图特征提取。
S3，基于Bi-LSTM对信号特征进行整合。
S4，对CWRU数据集划分训练集和测试集，利用交叉熵损失函数进行训练，对旋转机械故障进行预测。
步骤S1具体包括如下步骤：
S1.1，对于一种轴承，将内圈故障故障信号分割为N个子序列，使用窗口机制将每个子序列分割为M个窗口，每个窗口对应图结构中的一个节点，包含某时间内的信号序列信息。
S1.2，计算内圈故障信号序列各个窗口之间以及外圈故障信号和滚动球故障信号中各窗口之间的相似性得分。
进一步地，步骤S1.2具体包括如下步骤：
S1.2.1，利用欧氏距离计算两窗口信号之间的相似性得分， 代表信号长度，假
设有两个窗口信号为A=[]和B=[]，A与B之间的欧氏距离计算公式为：
（1）；
其中，和分别是窗口A和B中第i个点的位置信息。
S1.2.2，对欧氏距离得分进行归一化，得到两个窗口信号的相似性得分：
（2）。
进一步地，步骤S2具体包括如下步骤：
S2.1，内圈故障信号中第m个图结构定义为，代表图结构中的节
点集合，其中，代表图结构中节点的数量，代表第i个节点；图结构中的所
有边组成键集合，为图结构中键的数量，表示节点和
之间的第个键，代表组成图结构的第个键，将初始化的节点定义为，节点i和j之间的
键定义为，第层的第i个节点定义为，为节点i和j在第层的键特征。
S2.2，将图结构中的节点和键信息传输给Graph Transformer模型，通过自注意力
机制self-attention，提取判断故障原因的节点，根据式（3）的多头注意力操作获得节点i
与j之间的注意力得分：
（3）；
，和分别表示第层中三个参数矩阵，是的维度。
S2.3，利用式（4）更新节点的特征，从而得到特征：
（4）；
其中代表多头拼接操作，表示头的数量，代表与节点i存在关联的节
点集合，代表权重矩阵。
同理，键的特征通过式（5）更新：
（5）；
其中，表示第个头，表示头的数量。
进一步地，步骤S2还包括如下步骤：
S2.4，为特征进行残差连接Residual和归一化Norm操作：
（6）；
其中，和分别代表进行残差连接Residual和归一化Norm操作后的节点特征
和键的特征。
S2.5，将步骤S2.4获得的特征和输入前馈神经网络FNN中，经过前馈神经网
络FNN的全连接层将输入数据映射到输出：
（7）；
其中，、、和代表权重参数矩阵，是ReLU激活函数，和代表经
FNN输出的节点特征和键的特征。
S2.6，将数据传递到最后一层残差连接和归一化层作为Graph Transformer层的输出：
（8）。
S2.7，使用全局池化操作将节点特征融合，从而获得的图级特征；
（9）；
同理，从外圈故障信号和滚动球故障信号中提取图结构和的图级特征，
其中m=1,2...M，特征编码过程如步骤S2.1~S2.7所述。
进一步地，步骤S3具体包括如下步骤：
S3.1，以内圈故障信号序列为例，表示内圈故障信号序列中各子序列的特征:
（10）。
表示前向隐藏层的特征:
{} （11）；
其中，表示第m个子序列的前向隐藏层的特征。
表示后向隐藏层的特征:
{,...,} （12）；
其中，表示第m个子序列的后向隐藏层的特征。
和均由经过正向LSTM和后向LSTM获得，将二者拼接得到双长短记忆网络Bi-
LSTM的输出向量。
进一步地，步骤S3还包括如下步骤：
S3.2，Bi-LSTM中包括多个LSTM模块，对于每个LSTM模块的编码计算过程如下：
；
；
；
；
；
；
其中，代表输入门的输出，代表遗忘门的输出，代表候选记忆单元的输出，代表更新记忆单元的输出，代表输出门的输出，代表使用输出门和更新后的记忆单
元来计算当前时间步的隐藏状态，,,...代表权重矩阵，代表的第t个子序
列的图级特征，代表sigmod激活函数，代表tanh激活函数，*代表逐元素相乘操作。
第t个子序列在前向LSTM中得到的特征向量为，LSTM的输入为前一个LSTM的隐
藏向量和，同理，在后向LSTM中得到的特征向量为，LSTM的输入为前一个LSTM的
隐藏向量和；将和组合成第t个子序列的最终隐藏向量作为Bi-LSTM的输出，
如公式(13)所示：
（13）。
其中代表特征拼接操作，={,...,}，是内圈故障信号的最终嵌
入向量。
进一步地，步骤S4具体包括如下步骤：
S4.1，将提取到的内圈故障信号的最终嵌入向量使用包含softmax的全连接层
MLP中进行分类任务，过程如式(14)所示：
（14）；
其中，W是可学习的权重矩阵，是偏置向量，是故障类型信息。
S4.2，使用交叉熵损失函数进行训练：
（15）；
其中，代表样本总数目，代表指示函数，当第个样本的真实类别为时取1，否
则取0，是第个样本，代表属于第类样本的预测概率值, 代表判别函数。
本发明具有如下有益效果：
1）本发明通过设计时间窗口机制将轴承中不同故障信号之间隐含的关联信息与故障信号进行了融合，动态地编码了故障信息，挖掘各种故障之间的潜在关联提高故障特征的全面性和联动性。
2）本发明利用序列信息巧妙地建模成了结构更强的图结构信息，用于挖掘各故障更深层次的非线性关联。
3）本发明提出了将Graph Transformer和LSTM结合的方法，用于提取基于图结构的序列信息，充分学习故障信号的局部和全局特征，从而提升故障信号描述的多样性以及故障预测的正确率。
综上所述，本发明将序列的故障信号信息建模为图结构数据从而建立零件故障模式之间的动态的联系，挖掘各信号之间的关联性，并且设计可以动态提取图结构信息的编码器，提高故障预测任务的准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了根据本发明的一种基于图Transformer的机械故障预测方法的步骤S1得到的子序列示意图。
图2示出了示出了根据IR故障信息建模得到的图结构。
图3示出了本发明的一种基于图Transformer的机械故障预测方法的步骤S3的Bi-LSTM编码IR故障序列过程示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于图Transformer的机械故障预测方法，具体包括如下步骤：
S1，对于三种故障信号：内圈故障信号、外圈故障信号和滚动球故障信号，基于图结构提取三种故障信息，并基于相似性得分判断不同故障之间的关联。
CWRU数据集是在旋转机械故障诊断领域广泛应用的公共滚动轴承故障数据集，使用两马力（2HP）的Reliance电动机、功率计和扭矩传感器，收集了风扇端轴承（型号6203-2RS JEM SKF）和驱动端轴承（型号6205-2RS JEM SKF）的加速振动信号，并在不同电机负载（0HP至3HP）下进行测试。电机速度在1730 rpm至1797 rpm之间变化。通过电火花加工（EDM）在电机轴承上引入故障。每种轴承有三种故障模式，包括内圈故障(IR)、外圈故障(OR)和滚动球故障(RB)。现有方法将每一传感器收集到的单一故障信息建模进行预测，但本发明认为每个轴承的不同故障信息之间是存在潜在关联的，可以帮助模型挖掘更深层次的信号特征用于预测任务。因此本发明将每个轴承的每种单一信号按照时间序列进行分割，得到多个子序列，然后设计了时间窗口机制每隔固定时间在子序列截取该窗口大小的信号信息，具体过程如图1所示。
S2，基于Graph Transformer（即图Transformer）进行图特征提取。
S3，基于Bi-LSTM对信号特征进行整合。
S4，对CWRU数据集划分训练集和测试集，利用交叉熵损失函数进行训练，对旋转机械故障进行预测。
由于在数据集中每个轴承的不同故障信息之间没有明确的关联信息，因此本发明提出了一种基于图结构的方法将提取到的三种故障信息分别建模为图结构数据以探索同一轴承不同故障的潜在关联，IR故障信息的建模过程如图2所示。基于此，步骤S1具体包括如下步骤：
S1.1，对于一种轴承，将内圈故障故障信号分割为N个子序列，使用窗口机制将每个子序列分割为M个窗口，每个窗口对应图结构中的一个节点，包含某时间内的信号序列信息。
S1.2，计算内圈故障信号序列各个窗口之间以及外圈故障信号和滚动球故障信号中各窗口之间的相似性得分。
具体地，步骤S1.2具体包括如下步骤：
S1.2.1，利用欧氏距离计算两窗口信号之间的相似性得分， 代表信号长度，假
设有两个窗口信号为A=[]和B=[]，A与B之间的欧氏距离计算公式为：
（1）；
其中，和分别是窗口A和B中第i个点的位置信息。
S1.2.2，为了将相似性得分转化为更直观的形式，即0到1之间，对欧氏距离得分进
行归一化，得到两个窗口信号的相似性得分：
（2）。
根据作为两窗口信号信息的相似性得分，可以评估两信号之间的相似性
程度，分数越高，表示两个信号越相似。本发明根据相似性分数设置一个阈值0.5，若大于该
阈值则认为在图中两个窗口信号存在关联，反之则没有。然后使用提取的IR故障图信息用
于IR故障预测任务。
Graph Transformer是一种基于Transformer模型的变体，专门用于处理图结构数据。本发明使用多层Graph Transformer对图中节点进行编码，通过注意力机制捕获各节点之间的潜在关联从而学习各故障信号之间的关联信息用于故障诊断。
具体地，步骤S2具体包括如下步骤：
S2.1，内圈故障信号中第m个图结构定义为，代表图结构中的节
点集合，其中，代表图结构中节点的数量，代表第i个节点；图结构中的所
有边组成键集合，为图结构中键的数量，表示节点和
之间的第个键，将初始化的节点定义为，节点i和j之间的键定义为，第层的第i个
节点定义为，为节点i和j在第层的键特征。
S2.2，将图结构中的节点和键信息传输给Graph Transformer模型，通过自注意力
机制self-attention，提取判断故障原因的节点，根据式（3）的多头注意力操作获得节点i
与j之间的注意力得分：
（3）；
，和分别表示第层中三个参数矩阵，是的维度，目的是为了防止点
积结果过大。其中的目的是将注意力权重标准化，使其变成一个概率分布，能够
将一组数值转换为概率分布，其中每个数值对应的概率值在 0 到 1 之间，并且所有概率
值的总和为 1。
S2.3，利用式（4）更新节点的特征，从而得到特征：
（4）；
其中代表多头拼接操作，增强模型学习复杂关系和捕获不同子控件的特
征，表示头的数量，代表与节点i存在关联的节点集合，代表权重矩阵。
同理，键的特征通过式（5）更新：
（5）；
其中，表示第个头，表示头的数量。
为了缓和梯度消失和爆炸的问题，提高模型训练的稳定性，为特征进行了残差连接（Residual）和归一化（Norm）操作，使得模型数据的规模和分布变化具有一定的鲁棒性。
具体地，步骤S2还包括如下步骤：
S2.4，为特征进行残差连接Residual和归一化Norm操作：
（6）；
其中，和分别代表进行残差连接Residual和归一化Norm操作后的节点特征
和键的特征。
S2.5，为了通过多层的非线性变换提高模型的表达能力，使其能够更好地适应各种数据和任务，数据会被送入前馈神经网络（FNN）中，包括输入层、隐藏层和输出层，其主要作用是通过一系列的全连接层将输入数据映射到输出，其中每个隐藏层都经过激活函数的非线性变换，使得网络可以学习复杂的非线性关系。
具体为，将步骤S2.4获得的特征和输入前馈神经网络FNN中，经过前馈神经
网络FNN的全连接层将输入数据映射到输出：
（7）；
其中，、、和代表权重参数矩阵，是ReLU激活函数，具有计算效率高
和缓解梯度消失等优点，和代表经FNN输出的节点特征和键的特征。
S2.6，将数据传递到最后一层残差连接和归一化层作为Graph Transformer层的输出：
（8）。
通过Graph Transformer模块的编码，各节点根据图结构中节点捕获了各节点在
图结构中的全局信息，即将图结构中三种故障信号信息进行融合，使图结构中节点融合
了多源信息之间的关联。
S2.7，使用全局池化操作将节点特征融合，从而获得的图级特征：
（9）。
同理，从外圈故障信号和滚动球故障信号中提取图结构和的图级特征，
其中m=1,2...M，特征编码过程如步骤S2.1~S2.7所述。
本发明将故障信号分割为多个子序列，每个子序列可以被看作是原始序列中的一个局部区域，通过对每个子序列提取特征，模型更有可能捕捉到序列中不同区域的局部特征，有助于模型更细致地理解序列中不同部分的信息。为了能够捕捉到每个子序列中上下文信息，包括过去和未来的上下文信息，本发明通过Bi-LSTM捕捉整个序列中的长程依赖关系，以学习序列的全局特征。
Bi-LSTM主要包括两个部分，一个是正向LSTM一个是反向LSTM，可以分别从两个方向学习信号序列的信息。
具体地，步骤S3具体包括如下步骤：
S3.1，以内圈故障信号序列为例，表示内圈故障信号序列中各子序列的特征:
（10）。
表示前向隐藏层的特征:
{} （11）；
其中，表示第m个子序列的前向隐藏层的特征。
表示后向隐藏层的特征:
{,...,} （12）；
其中，表示第m个子序列的后向隐藏层的特征。
和均由经过正向LSTM和后向LSTM获得，将二者拼接得到双长短记忆网络Bi-
LSTM的输出向量。具体过程如图3所示。
具体地，步骤S3还包括如下步骤：
S3.2，Bi-LSTM中包括多个LSTM模块，对于每个LSTM模块的编码计算过程如下：
；
；
；
；
；
；
其中，代表输入门的输出，决定哪些新的信息应该存储在到记忆单元中；代表
遗忘门的输出，控制哪些信息应该冲记忆单元中移除；代表候选记忆单元的输出，用于更
新当前记忆单元的输出，代表更新记忆单元的输出，该过程由遗忘门，输入门和候选记忆
单元一起完成，代表输出门的输出，确定当前时间步的隐藏状态，代表使用输出门和
更新后的记忆单元来计算当前时间步的隐藏状态，,,...代表权重矩阵，代
表的第t个子序列的图级特征，代表sigmod激活函数，代表tanh激活函数，*代表逐元
素相乘操作。
第t个子序列在前向LSTM中得到的特征向量为，LSTM的输入为前一个LSTM的隐
藏向量和，同理，在后向LSTM中得到的特征向量为，LSTM的输入为前一个LSTM的
隐藏向量和；将和组合成第t个子序列的最终隐藏向量作为Bi-LSTM的输出，
如公式(13)所示：
（13）。
其中代表特征拼接操作，={,...,}，是内圈故障信号的最终嵌
入向量。同理，同样的编码过程可以得到OR和RB故障信号的嵌入。
WRU数据集中采用电火花加工技术对三种电机轴承进行故障播种，每种轴承有三种故障模式，无故障的健康轴承视为一种页数的故障模式，因此在CWRU数据集中一共包含了10种轴承故障类型。随机挑选80%构成训练集用于训练模型，20%构成测试集验证模型性能。
具体地，步骤S4具体包括如下步骤：
S4.1，将提取到的内圈故障信号的最终嵌入向量使用包含softmax的全连接层
MLP中进行分类任务，过程如式(14)所示：
（14）；
其中，W是可学习的权重矩阵，是偏置向量，是故障类型信息。
S4.2，使用交叉熵损失函数进行训练：
（15）；
其中，代表样本总数目，代表指示函数，当第个样本的真实类别为时取1，否
则取0，是第个样本，代表属于第类样本的预测概率值, 代表判别函数。
通过上述方法训练模型，从而实现对旋转机械故障预测。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (8)
1.一种基于图Transformer的机械故障预测方法，其特征在于，具体包括如下步骤：
S1，对于三种故障信号：内圈故障信号、外圈故障信号和滚动球故障信号，基于图结构提取三种故障信息，并基于相似性得分判断不同故障之间的关联；
S2，基于Graph Transformer进行图特征提取；
S3，基于Bi-LSTM对信号特征进行整合；
S4，对CWRU数据集划分训练集和测试集，利用交叉熵损失函数进行训练，对旋转机械故障进行预测。
2.根据权利要求1所述的一种基于图Transformer的机械故障预测方法，其特征在于，步骤S1具体包括如下步骤：
S1.1，对于一种轴承，将内圈故障故障信号分割为N个子序列，使用窗口机制将每个子序列分割为M个窗口，每个窗口对应图结构中的一个节点，包含某时间内的信号序列信息；
S1.2，计算内圈故障信号序列各个窗口之间以及外圈故障信号和滚动球故障信号中各窗口之间的相似性得分。
3.根据权利要求2所述的一种基于图Transformer的机械故障预测方法，其特征在于，步骤S1.2具体包括如下步骤：
S1.2.1，利用欧氏距离计算两窗口信号之间的相似性得分， 代表信号长度，假设有两个窗口信号为A=[/>]和B=[/>]，A与B之间的欧氏距离/>计算公式为：
（1）；
其中，和/>分别是窗口A和B中第i个点的位置信息；
S1.2.2，对欧氏距离得分进行归一化，得到两个窗口信号的相似性得分：
（2）。
4.根据权利要求1所述的一种基于图Transformer的机械故障预测方法，其特征在于，步骤S2具体包括如下步骤：
S2.1，内圈故障信号中第m个图结构定义为，/>代表图结构中的节点集合/>，其中，/>代表图结构中节点的数量，/>代表第i个节点；图结构中的所有边组成键集合/>，/>为图结构中键的数量，/>表示节点/>和/>之间的第/>个键，将初始化的节点定义为/>，节点i和j之间的键定义为/>，第/>层的第i个节点定义为/>，/>为节点i和j在第/>层的键特征；
S2.2，将图结构中的节点和键信息传输给Graph Transformer模型，通过自注意力机制self-attention，提取判断故障原因的节点，根据式（3）的多头注意力操作获得节点i与j之间的注意力得分：
（3）；
，/>和/>分别表示第/>层中三个参数矩阵，/>是/>的维度；
S2.3，利用式（4）更新节点的特征，从而得到特征/>：
（4）；
其中代表多头拼接操作，/>表示头的数量，/>代表与节点i存在关联的节点集合，/>代表权重矩阵；
同理，键的特征通过式（5）更新：
（5）；
其中，表示第/>个头，/>表示头的数量。
5.根据权利要求4所述的一种基于图Transformer的机械故障预测方法，其特征在于，步骤S2还包括如下步骤：
S2.4，为特征进行残差连接Residual和归一化Norm操作：
（6）；
其中，和/>分别代表进行残差连接Residual和归一化Norm操作后的节点特征和键的特征；
S2.5，将步骤S2.4获得的特征和/>输入前馈神经网络FNN中，经过前馈神经网络FNN的全连接层将输入数据映射到输出：
（7）；
其中，、/>、/>和/>代表权重参数矩阵，/>是ReLU激活函数，/>和/>代表经FNN输出的节点特征和键的特征；
S2.6，将数据传递到最后一层残差连接和归一化层作为Graph Transformer层的输出：
（8）；
S2.7，使用全局池化操作将节点特征融合，从而获得的图级特征/>，
（9）；
同理，从外圈故障信号和滚动球故障信号中提取图结构和/>的图级特征，其中m=1,2...M，特征编码过程如步骤S2.1~S2.7所述。
6.根据权利要求1所述的一种基于图Transformer的机械故障预测方法，其特征在于，步骤S3具体包括如下步骤：
S3.1，以内圈故障信号序列为例，表示内圈故障信号序列中各子序列的特征:
（10）;
表示前向隐藏层的特征:
{/>} （11）；
其中，表示第m个子序列的前向隐藏层的特征；
表示后向隐藏层的特征:
{/>,/>...,/>} （12）；
其中，表示第m个子序列的后向隐藏层的特征；
和/>均由/>经过正向LSTM和后向LSTM获得，将二者拼接得到双长短记忆网络Bi-LSTM的输出向量/>。
7.根据权利要求6所述的一种基于图Transformer的机械故障预测方法，其特征在于，步骤S3还包括如下步骤：
S3.2，Bi-LSTM中包括多个LSTM模块，对于每个LSTM模块的编码计算过程如下：
；
；
；
；
；
；
其中，代表输入门的输出，/>代表遗忘门的输出，/>代表候选记忆单元的输出，/>代表更新记忆单元的输出，/>代表输出门的输出，/>代表使用输出门和更新后的记忆单元来计算当前时间步的隐藏状态，/>,/>,.../>代表权重矩阵，/>代表/>的第t个子序列的图级特征，/>代表sigmod激活函数，/>代表tanh激活函数，*代表逐元素相乘操作；
第t个子序列在前向LSTM中得到的特征向量为，LSTM的输入为前一个LSTM的隐藏向量/>和/>，同理，在后向LSTM中得到的特征向量为/>，LSTM的输入为前一个LSTM的隐藏向量/>和/>；将/>和/>组合成第t个子序列的最终隐藏向量作为Bi-LSTM的输出，如公式(13)所示：
（13）；
其中代表特征拼接操作，/>={/>,/>...,/>}，/>是内圈故障信号的最终嵌入向量。
8.根据权利要求1所述的一种基于图Transformer的机械故障预测方法，其特征在于，步骤S4具体包括如下步骤：
S4.1，将提取到的内圈故障信号的最终嵌入向量使用包含softmax的全连接层MLP中进行分类任务，过程如式(14)所示：
（14）；
其中，W是可学习的权重矩阵，是偏置向量，/>是故障类型信息；
S4.2，使用交叉熵损失函数进行训练：
（15）；
其中，代表样本总数目，/>代表指示函数，当第/>个样本的真实类别为/>时取1，否则取0，/>是第/>个样本，/>代表/>属于第/>类样本的预测概率值, />代表判别函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410239088.6A CN117830750B (zh) | 2024-03-04 | 一种基于图Transformer的机械故障预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410239088.6A CN117830750B (zh) | 2024-03-04 | 一种基于图Transformer的机械故障预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117830750A true CN117830750A (zh) | 2024-04-05 |
| CN117830750B CN117830750B (zh) | 2024-06-04 |
Family
ID=
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200265291A1 (en) * | 2019-02-18 | 2020-08-20 | Nec Laboratories America, Inc. | Spatio temporal gated recurrent unit |
| CN112488179A (zh) * | 2020-11-26 | 2021-03-12 | 中国舰船研究设计中心 | 一种基于gru的旋转机械故障诊断方法 |
| US20220269925A1 (en) * | 2019-06-05 | 2022-08-25 | South China University Of Technology | Intelligent fault diagnosis method based on multi-task feature sharing neural network |
| CN115186904A (zh) * | 2022-07-13 | 2022-10-14 | 清华大学 | 基于Transformer的工业设备故障预测方法及装置 |
| US20220358363A1 (en) * | 2020-09-30 | 2022-11-10 | Southwest Petroleum University | Engine surge fault prediction system and method based on fusion neural network model |
| CN115905976A (zh) * | 2022-11-11 | 2023-04-04 | 东北林业大学 | 基于注意力机制的Highway Bi-LSTM轴承故障诊断方法、系统及设备 |
| CN116775423A (zh) * | 2022-09-09 | 2023-09-19 | 郑州大学 | 用于集群故障预测的方法 |
| CN116821762A (zh) * | 2023-06-30 | 2023-09-29 | 青岛理工大学 | 一种基于多尺度图注意力融合网络的机械故障诊断方法 |
| KR20230137788A (ko) * | 2022-03-22 | 2023-10-05 | 광동 유에하이 워터 서비스 인베스트먼트 컴퍼니 리미티드 | 셀프 어텐션 메커니즘 기반 다양한 유형의 배관 결함에 대한 검사, 추적 및 계수방법 |
| CN117009770A (zh) * | 2023-08-30 | 2023-11-07 | 安徽大学 | 一种基于SDP和视觉Transformer编码的轴承故障诊断方法 |
| WO2024000852A1 (zh) * | 2022-06-29 | 2024-01-04 | 深圳前海微众银行股份有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN117606801A (zh) * | 2023-10-20 | 2024-02-27 | 燕山大学 | 一种基于多表征自适应网络的跨域轴承故障诊断方法 |
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200265291A1 (en) * | 2019-02-18 | 2020-08-20 | Nec Laboratories America, Inc. | Spatio temporal gated recurrent unit |
| US20220269925A1 (en) * | 2019-06-05 | 2022-08-25 | South China University Of Technology | Intelligent fault diagnosis method based on multi-task feature sharing neural network |
| US20220358363A1 (en) * | 2020-09-30 | 2022-11-10 | Southwest Petroleum University | Engine surge fault prediction system and method based on fusion neural network model |
| CN112488179A (zh) * | 2020-11-26 | 2021-03-12 | 中国舰船研究设计中心 | 一种基于gru的旋转机械故障诊断方法 |
| KR20230137788A (ko) * | 2022-03-22 | 2023-10-05 | 광동 유에하이 워터 서비스 인베스트먼트 컴퍼니 리미티드 | 셀프 어텐션 메커니즘 기반 다양한 유형의 배관 결함에 대한 검사, 추적 및 계수방법 |
| WO2024000852A1 (zh) * | 2022-06-29 | 2024-01-04 | 深圳前海微众银行股份有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN115186904A (zh) * | 2022-07-13 | 2022-10-14 | 清华大学 | 基于Transformer的工业设备故障预测方法及装置 |
| CN116775423A (zh) * | 2022-09-09 | 2023-09-19 | 郑州大学 | 用于集群故障预测的方法 |
| CN115905976A (zh) * | 2022-11-11 | 2023-04-04 | 东北林业大学 | 基于注意力机制的Highway Bi-LSTM轴承故障诊断方法、系统及设备 |
| CN116821762A (zh) * | 2023-06-30 | 2023-09-29 | 青岛理工大学 | 一种基于多尺度图注意力融合网络的机械故障诊断方法 |
| CN117009770A (zh) * | 2023-08-30 | 2023-11-07 | 安徽大学 | 一种基于SDP和视觉Transformer编码的轴承故障诊断方法 |
| CN117606801A (zh) * | 2023-10-20 | 2024-02-27 | 燕山大学 | 一种基于多表征自适应网络的跨域轴承故障诊断方法 |
Non-Patent Citations (3)
| Title |
|---|
| J. KANG, ED.;Q. LIANG;HUAWEI;: "Fault Management Mechanism in MPTCP Session draft-kang-tcpm-fault-management-in-mptcp-session-00", IETF, 9 August 2020 (2020-08-09) * |
| 王太勇;王廷虎;王鹏;乔卉卉;徐明达;: "基于注意力机制BiLSTM的设备智能故障诊断方法", 天津大学学报(自然科学与工程技术版), no. 06, 27 April 2020 (2020-04-27) * |
| 王婧;许志伟;刘文静;王永生;刘利民: "滚动轴承健康智能监测和故障诊断机制研究综述", 计算机科学与探索, 17 August 2023 (2023-08-17) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111914873A (zh) | 一种两阶段云服务器无监督异常预测方法 | |
| CN110751207B (zh) | 基于深度卷积域对抗迁移学习的故障诊断方法 | |
| Tang et al. | Signal-transformer: A robust and interpretable method for rotating machinery intelligent fault diagnosis under variable operating conditions | |
| Qin et al. | Deep joint distribution alignment: A novel enhanced-domain adaptation mechanism for fault transfer diagnosis | |
| CN113008559B (zh) | 基于稀疏自编码器和Softmax的轴承故障诊断方法及系统 | |
| CN112113755B (zh) | 一种基于深度卷积-峭度神经网络的机械故障智能诊断方法 | |
| CN112461537A (zh) | 基于长短时神经网络与自动编码机的风电齿轮箱状态监测方法 | |
| CN113505664B (zh) | 一种风电机组行星齿轮箱故障诊断方法 | |
| Zou et al. | Bayesian optimization and channel-fusion-based convolutional autoencoder network for fault diagnosis of rotating machinery | |
| Oh et al. | Fault detection for lubricant bearing with cnn | |
| Wang et al. | Unsupervised joint subdomain adaptation network for fault diagnosis | |
| CN117349708A (zh) | 一种基于浅层特征融合的电机故障智能诊断方法 | |
| Wang et al. | A novel domain generalization network with multidomain specific auxiliary classifiers for machinery fault diagnosis under unseen working conditions | |
| Xue et al. | A novel local binary temporal convolutional neural network for bearing fault diagnosis | |
| Liu et al. | Rolling bearing fault diagnosis of train running gear based on optimized deep residual network | |
| CN117830750B (zh) | 一种基于图Transformer的机械故障预测方法 | |
| CN113790890A (zh) | 基于小波包分解权值模糊熵与elm的轴承故障分类方法及装置 | |
| CN117830750A (zh) | 一种基于图Transformer的机械故障预测方法 | |
| Tian et al. | Multi-scale deep coupling convolutional neural network with heterogeneous sensor data for intelligent fault diagnosis | |
| CN111766513A (zh) | 一种基于胶囊网络的三相感应电机变工况多故障诊断方法 | |
| CN115795397A (zh) | 基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法 | |
| CN116167008A (zh) | 基于数据增强的物联感知云数据中心异常定位方法 | |
| Liu et al. | Fault diagnosis of rolling bearing under limited samples using joint learning network based on local-global feature perception | |
| Ren et al. | An Efficient Model Fusion Method for Bearing Fault Diagnosis | |
| Guo et al. | Rolling bearing fault diagnosis based on the combination of improved deep convolution network and gated recurrent unit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |