CN117237685A - 一种基于多模态深度聚类的机械设备故障诊断方法 - Google Patents
一种基于多模态深度聚类的机械设备故障诊断方法 Download PDFInfo
- Publication number
- CN117237685A CN117237685A CN202311201166.5A CN202311201166A CN117237685A CN 117237685 A CN117237685 A CN 117237685A CN 202311201166 A CN202311201166 A CN 202311201166A CN 117237685 A CN117237685 A CN 117237685A
- Authority
- CN
- China
- Prior art keywords
- representing
- module
- mode
- encoder
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 20
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 16
- 150000001875 compounds Chemical class 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007634 remodeling Methods 0.000 description 2
- 208000037408 Device failure Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多模态深度聚类的机械设备故障诊断方法，其步骤包括：1.收集机械设备运行状态的传感器信号数据，通过小波包变换生成时频图像数据，并对信号数据与时频图像数据进行预处理，构建数据样本集；2.搭建多模态无监督网络，网络结构包括卷积自编码器模块、门控递归单元自编码器模块、多模态融合模块和聚类模块；3.训练多模态无监督网络，并优化网络参数；4.利用训练好的多模态无监督网络模型对机械设备进行故障诊断。本发明能从无标签的多模态数据中提取不同模态数据的深度特征并实现多模态特征的自适应融合，从而提升机械设备故障诊断的效果。
Description
技术领域
本方法涉及机械设备故障诊断领域，具体涉及一种基于多模态深度聚类的机械设备故障诊断方法。
背景技术
随着机械设备复杂程度的不断增加，对于机械设备可靠性和安全性的要求也显著提升。一般情况下，在工业生产过程中，机械设备会不可避免地发生故障，而未能及时诊断出机械设备的故障种类可能会造成巨大的经济损失和严重的安全事故。因此，对机械设备进行有效的故障诊断对于保证机械设备的安全运行尤为重要。
当前，机械设备的故障诊断方法主要有人工诊断方法和数据驱动的智能诊断方法。人工诊断方法是指诊断人员结合领域知识和经验，以人工判读的方式进行故障诊断。然而，这种方法易受环境与人员主观性的影响，导致故障诊断的效率与准确率较低。而与人工诊断方法相比，数据驱动的智能诊断方法能够直接从传感器数据中构建关键故障特征，通过故障模式识别方法进行诊断，在效率和准确率方面具有很大优势。数据驱动的智能诊断方法可分为传统方法和深度学习方法。相比于前者，后者能够从大量传感器数据中自动提取深层特征，降低了对信号处理方法和专家经验的依赖，能够更好地捕捉故障特征信息。
然而现有的基于深度学习的故障诊断方法在机械设备故障诊断中仍存在着不足之处：
(1)一方面，现有的基于深度学习的故障诊断方法在模型训练时需要使用大量带有故障标签的传感器数据，但是在现实中存在工况不稳定和劳动力成本高等问题，收集足够标签数据的代价十分高昂。因此，研究如何充分利用大量无标签传感器数据进行故障诊断十分必要。
(2)另一方面，现有的基于深度学习的故障诊断方法只从一维信号或者图像等形式的单一模态数据中提取特征并识别故障种类，而很少考虑不同模态数据之间存在的互补信息。因此，利用不同模态数据进行故障诊断具有重要的研究价值。
发明内容
为了解决现有技术存在的上述问题，本发明提供一种基于多模态深度聚类的机械设备故障诊断方法，以期能从无标签的多模态数据中提取不同模态数据的深度特征，并实现多模态特征的自适应融合，从而能提升机械设备故障诊断的效果。
本发明为达到上述发明目的，采用以下技术方案：
本发明一种基于多模态深度聚类的机械设备故障诊断方法的特点在于，包括以下步骤：
步骤1，构建数据样本集：
利用V个传感器收集机械设备运行状态的原始信号数据，并通过小波包变换将原始信号数据转换成时频图像数据，再对原始信号数据与时频图像数据进行归一化处理；得到归一化后的信号数据与时频图像数据并进行样本划分，从而构建样本集与/>其中，和/>分别表示第i个样本的信号数据及其对应的第i个时频图像数据，yi表示第i个样本的故障标签，N表示样本数量，V表示传感器数量，m表示每个传感器信号数据的特征维度，h×h表示每个时频图像数据的分辨率；
步骤2，搭建多模态无监督网络，包括：门控递归单元自编码器模块、卷积自编码器模块、多模态融合模块和聚类模块：
步骤2.1，对所述多模态无监督网络中的参数进行初始化；
步骤2.2，按照信号样本与时频图像样本的对应关系，依次将信号数据及其对应的时频图像数据分别输入到所述的门控递归单元自编码器模块和卷积自编码器模块进行特征提取，并输出对应的深度表示特征和/>从而利用式(3)构建第i个样本的信号数据与重构的信号数据/>之间的重构损失函数/>
式(3)中，||·||F表示矩阵的F-范数；
利用式(6)构建第i个时频图像数据与重构的时频图像数据/>之间的重构损失函数/>
步骤2.3，将门控递归单元自编码器模块与卷积自编码器模块分别提取的深度表示特征输入到多模态融合模块，以得到多模态深度特征融合
步骤2.4，将所有样本的多模态融合特征输入到聚类模块中进行聚类：
步骤2.4.1，所述聚类模块利用k均值聚类算法初始化N个样本的多模态融合特征的聚类质心μj表示第j个聚类质心，K表示聚类质心数量；
步骤2.4.2，所述聚类模块利用式(10)计算软分配分布其中，/>表示第i个样本的多模态融合特征属于第j个聚类的概率：
步骤2.4.3，所述聚类模块利用式(11)计算辅助目标分布其中，/>第i个样本的多模态融合特征属于第j个聚类的目标概率：
步骤2.4.4，所述聚类模块利用式(12)计算软分配分布QF和辅助目标分布PF之间的KL散度，并作为聚类损失函数Lc：
步骤2.4.5，所述聚类模块利用式(13)计算第i个样本的聚类结果并作为第i个样本的预测故障标签：
式(13)中，argmax表示输出函数取最大值时对应的索引值；
步骤3，训练多模态无监督网络，并优化网络参数：
步骤3.1，利用式(14)计算多模态无监督网络的总计损失函数LTotal：
式(14)中，α,β,γ表示平衡不同损失函数影响的三个超参数；
步骤3.2，以最小化总计损失函数LTotal为目标，通过反向传播算法和自适应矩估计优化算法对多模态无监督网络的参数进行优化更新，直到迭代次数达到设置上限为止，结束训练，从而得到训练好的多模态无监督网络模型，用于对机械设备进行故障诊断。
本发明所述的基于多模态深度聚类的机械设备故障诊断方法的特点也在于，所述步骤2.2包括以下步骤：
步骤2.2.1，所述门控递归单元自编码器模块利用式(1)对第i个样本的信号数据进行编码操作，从而得到第i个样本的信号数据/>的深度表示特征其中，/>表示第i个样本的信号数据/>的第t个时间步的深度表示特征，d表示深度表示特征中每个通道的特征维度，Ts表示信号数据输入门控递归单元自编码器时划分的时间步数目：
式(1)中，表示所述门控递归单元自编码器模块中编码层的权重参数，/>表示所述门控递归单元自编码器模块中编码层的偏置向量，/>表示所述门控递归单元自编码器模块中编码层的激活函数；
步骤2.2.2，所述门控递归单元自编码器模块利用式(2)对深度表示特征Zi S进行解码操作，从而得到重构的信号数据
式(2)中，表示所述门控递归单元自编码器模块中解码层的权重参数，/>表示所述门控递归单元自编码器模块中解码层的偏置向量，/>表示所述门控递归单元自编码器模块中解码层的激活函数；
步骤2.2.3，所述卷积自编码器模块利用式(4)对第i个时频图像数据进行编码操作，从而得到第i个时频图像数据/>的深度表示特征/>其中，表示第i个时频图像数据/>的第v个通道的深度表示特征：
式(4)中，表示所述卷积自编码器模块中编码层的权重参数，/>表示所述卷积自编码器模块中编码层的偏置向量，/>表示所述卷积自编码器模块中编码层的激活函数；
步骤2.2.4，所述卷积自编码器模块利用式(5)对深度表示特征进行解码操作，从而得到重构的时频图像数据/>
式(5)中，表示所述卷积自编码器模块中解码层的权重参数，/>表示所述卷积自编码器模块中解码层的偏置向量，/>表示所述卷积自编码器模块中解码层的激活函数。
所述步骤2.3包括以下步骤：
步骤2.3.1，所述多模态融合模块利用式(7)得到两种模态深度特征之间的相似度矩阵
式(7)中，表示多模态融合模块中两种模态的参数矩阵，tanh(·)表示双曲正切激活函数，T表示转置；
步骤2.3.2，所述多模态融合模块利用式(8)得到两种模态的注意力权重
式(8)中，表示多模态融合模块中两种模态的参数向量，/>分别表示第i个样本的信号数据/>的深度表示特征/>的注意力权重，/>分别表示第i个时频图像数据的深度表示特征/>的注意力权重，softmax(·)表示归一化指数激活函数；
步骤2.3.3，所述多模态融合模块利用式(9)对不同模态深度特征进行加权求和，得到多模态融合特征
本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述机械设备故障诊断方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述机械设备故障诊断方法的步骤。
与已有技术相比，本发明的有益效果体现在：
1.本发明提出了一种无监督的机械设备故障诊断方法，利用基于多模态融合的深度聚类方法进行机械设备故障诊断，克服了现实工业生产中缺少充足标签数据的问题，从而有效实现了更低诊断成本的机械设备故障诊断，更具实际应用价值。
2.本发明利用门控递归单元自编码器和卷积自编码器分别提取了信号数据和时频图像数据的深度表示特征，克服了现有的机械设备故障诊断方法只利用单一模态数据，而忽略了不同模态数据之间存在互补性的问题，从而更加全面地提取了故障特征信息，提高了机械设备故障诊断的准确率。
3.本发明引入了一种注意力机制用于多模态融合，该机制能够自适应地调整不同模态的贡献大小，从而更好地融合不同模态的深度表示特征，从而提升了机械设备故障诊断的性能。
附图说明
图1为本发明方法的流程示意图；
图2为本发明的多模态无监督网络模型的结构图。
具体实施方式
本实施例中，如图1所示，一种基于多模态深度聚类的机械设备故障诊断方法的流程包括以下步骤：
步骤1，构建数据样本集：
利用V个传感器收集机械设备运行状态的原始信号数据，并通过小波包变换将原始信号数据转换成时频图像数据，再对原始信号数据与时频图像数据进行归一化处理；得到归一化后的信号数据与时频图像数据并进行样本划分，从而构建样本集与/>其中，和/>分别表示第i个样本的信号数据及其对应的第i个时频图像数据，yi表示第i个样本的故障标签，N表示样本数量，V表示传感器数量，m表示每个传感器信号数据的特征维度，h×h表示每个时频图像数据的分辨率；
步骤2，搭建多模态无监督网络，包括：门控递归单元自编码器模块、卷积自编码器模块、多模态融合模块和聚类模块：
步骤2.1，对多模态无监督网络中的参数进行初始化；
步骤2.2，按照信号样本与时频图像样本的对应关系，依次将信号数据及其对应的时频图像数据分别输入到门控递归单元自编码器模块和卷积自编码器模块进行特征提取，并输出对应的深度表示特征：
步骤2.2.1，门控递归单元自编码器模块利用式(1)对第i个样本的信号数据进行编码操作，从而得到第i个样本的信号数据/>的深度表示特征其中，/>表示第i个样本的信号数据/>的第t个时间步的深度表示特征，d表示深度表示特征中每个通道的特征维度，Ts表示信号数据输入门控递归单元自编码器时划分的时间步数目：
式(1)中，表示门控递归单元自编码器模块中编码层的权重参数，/>表示门控递归单元自编码器模块中编码层的偏置向量，/>表示门控递归单元自编码器模块中编码层的激活函数；
如图2所示，门控递归单元自编码器的编码层由双向门控递归单元组成，双向门控递归单元对时间切片数据进行前向信息和后向信息的提取，并在最后一层的门控递归单元中，将第i个样本数据在时间步t上的前向隐藏状态向量和后向隐藏向量/>进行拼接后，得到时间步t上的深度时序特征/>且将所有时间步的前后向隐藏向量拼接后得到所有时间步上的隐藏层特征，记为即得到门控递归单元自编码器提取的深度表示特征/>不失一般性，省略前向符号，在时间步t上的前向隐藏状态向量计算过程如下：
式(2)中，表示第i个样本在时间步t上的更新门，ri (t)表示第i个样本在时间步t上的重置门，/>表示第i个样本在时间步t上的重置状态，/>表示第i个样本在时间步t上更新之后的隐藏状态，/>表示第i个样本在时间步t上的输入，其他变量是第i个样本在双向门控递归单元的参数，tanh(·)表示双曲正切激活函数，σ(·)表示Sigmoid激活函数；
步骤2.2.2，门控递归单元自编码器模块利用式(3)对深度表示特征进行解码操作，从而得到重构的信号数据/>
式(3)中，表示门控递归单元自编码器模块中解码层的权重参数，/>表示门控递归单元自编码器模块中解码层的偏置向量，/>表示门控递归单元自编码器模块中解码层的激活函数；
步骤2.2.3，门控递归单元自编码器模块利用式(4)构建第i个样本的信号数据与重构的信号数据/>之间的重构损失函数/>
式(4)中，||·||F表示矩阵的F-范数；
步骤2.2.4，卷积自编码器模块利用式(5)对第i个时频图像数据进行编码操作，从而得到第i个时频图像数据/>的深度表示特征/>其中，/>表示第i个时频图像数据/>的第v个通道的深度表示特征：
式(5)中，表示卷积自编码器模块中编码层的权重参数，/>表示卷积自编码器模块中编码层的偏置向量，/>表示卷积自编码器模块中编码层的激活函数；
如图2所示，卷积自编码器编码层由三层卷积层和一层全连接层组成，每层卷积层包含一次二维卷积操作、一次激活操作和一次最大池化操作，第三层卷积层后接一层全连接层。编码层对图像数据进行空间信息的提取，并在最后一层全连接层输出特征向量且l＝d×V，经过重塑后得到深度表示特征/>卷积自编码器编码层的计算过程如下：
di＝Fc(Flat(Conv1(Conv2(Conv3(Xi I))))) (6)
式(6)中，Conv1(·),Conv2(·),Conv3(·)表示卷积层操作，Flat(·)表示展平操作，Fc(·)表示全连接层操作；
步骤2.2.5，卷积自编码器模块利用式(7)对深度表示特征进行解码操作，从而得到重构的时频图像数据/>
式(7)中，表示卷积自编码器模块中解码层的权重参数，/>表示卷积自编码器模块中解码层的偏置向量，/>表示卷积自编码器模块中解码层的激活函数；
如图2所示，卷积自编码器解码层由一层全连接层和三层转置卷积层组成，每层转置卷积层包含一次二维转置卷积操作和一次激活操作。解码层对图像数据进行重构，将特征向量di经过全连接层后得到的输出向量经过重塑，再输入到三层转置卷积层，并在最后一层转置卷积层输出重构的图像数据卷积自编码器解码层的计算过程如下：
式(8)中，TransConv1(·),TransConv2(·),TransConv3(·)表示转置卷积层操作，Reshape(·)表示重塑操作；
步骤2.2.6，卷积自编码器模块利用式(9)构建第i个时频图像数据与重构的时频图像数据/>之间的重构损失函数/>
步骤2.3，将门控递归单元自编码器模块与卷积自编码器模块分别提取的深度表示特征输入到多模态融合模块，以实现多模态深度特征融合：
步骤2.3.1，多模态融合模块利用式(10)得到两种模态深度特征之间的相似度矩阵
式(10)中，表示多模态融合模块中两种模态的参数矩阵，tanh(·)表示双曲正切激活函数，T表示转置；
步骤2.3.2，多模态融合模块利用式(11)得到两种模态的注意力权重
式(11)中，表示多模态融合模块中两种模态的参数向量，/>分别表示第i个样本的信号数据/>的深度表示特征/>的注意力权重，/>分别表示第i个时频图像数据/>的深度表示特征/>的注意力权重，softmax(·)表示归一化指数激活函数；
步骤2.3.3，多模态融合模块利用式(12)对不同模态深度特征进行加权求和，得到多模态融合特征
步骤2.4，将所有样本的多模态融合特征输入到聚类模块中进行聚类：
步骤2.4.1，聚类模块利用k均值聚类算法初始化N个样本的多模态融合特征的聚类质心μj表示第j个聚类质心，K表示聚类质心数量；
步骤2.4.2，聚类模块利用式(13)计算软分配分布其中，/>表示第i个样本的多模态融合特征属于第j个聚类的概率：
步骤2.4.3，聚类模块利用式(14)计算辅助目标分布其中，/>第i个样本的多模态融合特征属于第j个聚类的目标概率：
步骤2.4.4，聚类模块利用式(15)计算软分配分布QF和辅助目标分布PF之间的KL散度，并作为聚类损失函数PF：
步骤2.4.5，聚类模块利用式(16)计算第i个样本的聚类结果并作为第i个样本的预测故障标签：
式(16)中，argmax表示输出函数取最大值时对应的索引值；
步骤3，训练多模态无监督网络，并优化网络参数：
步骤3.1，利用式(17)计算多模态无监督网络的总计损失函数LTotal：
式(14)中，α,β,γ表示平衡不同损失函数影响的三个超参数；
步骤3.2，以最小化总计损失函数LTotal为目标，通过反向传播算法和自适应矩估计优化算法对多模态无监督网络的参数进行优化更新，直到迭代次数达到设置上限为止，结束训练，从而得到训练好的多模态无监督网络模型，用于对机械设备进行故障诊断。
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
Claims (5)
1.一种基于多模态深度聚类的机械设备故障诊断方法，其特征在于，包括以下步骤：
步骤1，构建数据样本集：
利用V个传感器收集机械设备运行状态的原始信号数据，并通过小波包变换将原始信号数据转换成时频图像数据，再对原始信号数据与时频图像数据进行归一化处理；得到归一化后的信号数据与时频图像数据并进行样本划分，从而构建样本集与/>其中，和/>分别表示第i个样本的信号数据及其对应的第i个时频图像数据，yi表示第i个样本的故障标签，N表示样本数量，V表示传感器数量，m表示每个传感器信号数据的特征维度，h×h表示每个时频图像数据的分辨率；
步骤2，搭建多模态无监督网络，包括：门控递归单元自编码器模块、卷积自编码器模块、多模态融合模块和聚类模块：
步骤2.1，对所述多模态无监督网络中的参数进行初始化；
步骤2.2，按照信号样本与时频图像样本的对应关系，依次将信号数据及其对应的时频图像数据分别输入到所述的门控递归单元自编码器模块和卷积自编码器模块进行特征提取，并输出对应的深度表示特征和/>从而利用式(3)构建第i个样本的信号数据/>与重构的信号数据/>之间的重构损失函数/>
式(3)中，||·||F表示矩阵的F-范数；
利用式(6)构建第i个时频图像数据与重构的时频图像数据/>之间的重构损失函数
步骤2.3，将门控递归单元自编码器模块与卷积自编码器模块分别提取的深度表示特征输入到多模态融合模块，以得到多模态深度特征融合
步骤2.4，将所有样本的多模态融合特征输入到聚类模块中进行聚类：
步骤2.4.1，所述聚类模块利用k均值聚类算法初始化N个样本的多模态融合特征的聚类质心μj表示第j个聚类质心，K表示聚类质心数量；
步骤2.4.2，所述聚类模块利用式(10)计算软分配分布其中，/>表示第i个样本的多模态融合特征属于第j个聚类的概率：
步骤2.4.3，所述聚类模块利用式(11)计算辅助目标分布其中，/>第i个样本的多模态融合特征属于第j个聚类的目标概率：
步骤2.4.4，所述聚类模块利用式(12)计算软分配分布QF和辅助目标分布PF之间的KL散度，并作为聚类损失函数Lc：
步骤2.4.5，所述聚类模块利用式(13)计算第i个样本的聚类结果并作为第i个样本的预测故障标签：
式(13)中，argmax表示输出函数取最大值时对应的索引值；
步骤3，训练多模态无监督网络，并优化网络参数：
步骤3.1，利用式(14)计算多模态无监督网络的总计损失函数LTotal：
式(14)中，α,β,γ表示平衡不同损失函数影响的三个超参数；
步骤3.2，以最小化总计损失函数LTotal为目标，通过反向传播算法和自适应矩估计优化算法对多模态无监督网络的参数进行优化更新，直到迭代次数达到设置上限为止，结束训练，从而得到训练好的多模态无监督网络模型，用于对机械设备进行故障诊断。
2.根据权利要求1所述的基于多模态深度聚类的机械设备故障诊断方法，其特征在于，所述步骤2.2包括以下步骤：
步骤2.2.1，所述门控递归单元自编码器模块利用式(1)对第i个样本的信号数据进行编码操作，从而得到第i个样本的信号数据/>的深度表示特征其中，/>表示第i个样本的信号数据/>的第t个时间步的深度表示特征，d表示深度表示特征中每个通道的特征维度，Ts表示信号数据输入门控递归单元自编码器时划分的时间步数目：
式(1)中，表示所述门控递归单元自编码器模块中编码层的权重参数，/>表示所述门控递归单元自编码器模块中编码层的偏置向量，/>表示所述门控递归单元自编码器模块中编码层的激活函数；
步骤2.2.2，所述门控递归单元自编码器模块利用式(2)对深度表示特征进行解码操作，从而得到重构的信号数据/>
式(2)中，表示所述门控递归单元自编码器模块中解码层的权重参数，/>表示所述门控递归单元自编码器模块中解码层的偏置向量，/>表示所述门控递归单元自编码器模块中解码层的激活函数；
步骤2.2.3，所述卷积自编码器模块利用式(4)对第i个时频图像数据进行编码操作，从而得到第i个时频图像数据/>的深度表示特征/>其中，/>表示第i个时频图像数据/>的第v个通道的深度表示特征：
式(4)中，表示所述卷积自编码器模块中编码层的权重参数，/>表示所述卷积自编码器模块中编码层的偏置向量，/>表示所述卷积自编码器模块中编码层的激活函数；
步骤2.2.4，所述卷积自编码器模块利用式(5)对深度表示特征进行解码操作，从而得到重构的时频图像数据/>
式(5)中，表示所述卷积自编码器模块中解码层的权重参数，/>表示所述卷积自编码器模块中解码层的偏置向量，/>表示所述卷积自编码器模块中解码层的激活函数。
3.根据权利要求2所述的基于多模态深度聚类的机械设备故障诊断方法，其特征在于，所述步骤2.3包括以下步骤：
步骤2.3.1，所述多模态融合模块利用式(7)得到两种模态深度特征之间的相似度矩阵
式(7)中，表示多模态融合模块中两种模态的参数矩阵，tanh(·)表示双曲正切激活函数，T表示转置；
步骤2.3.2，所述多模态融合模块利用式(8)得到两种模态的注意力权重
式(8)中，表示多模态融合模块中两种模态的参数向量，/>分别表示第i个样本的信号数据/>的深度表示特征/>的注意力权重，/>分别表示第i个时频图像数据/>的深度表示特征/>的注意力权重，softmax(·)表示归一化指数激活函数；
步骤2.3.3，所述多模态融合模块利用式(9)对不同模态深度特征进行加权求和，得到多模态融合特征
4.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1-3所述机械设备故障诊断方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
5.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-3所述机械设备故障诊断方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311201166.5A CN117237685A (zh) | 2023-09-18 | 2023-09-18 | 一种基于多模态深度聚类的机械设备故障诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311201166.5A CN117237685A (zh) | 2023-09-18 | 2023-09-18 | 一种基于多模态深度聚类的机械设备故障诊断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237685A true CN117237685A (zh) | 2023-12-15 |
Family
ID=89087433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311201166.5A Pending CN117237685A (zh) | 2023-09-18 | 2023-09-18 | 一种基于多模态深度聚类的机械设备故障诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237685A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117556344A (zh) * | 2024-01-08 | 2024-02-13 | 浙江大学 | 基于多源信息融合的球磨机传动系统故障诊断方法与系统 |
-
2023
- 2023-09-18 CN CN202311201166.5A patent/CN117237685A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117556344A (zh) * | 2024-01-08 | 2024-02-13 | 浙江大学 | 基于多源信息融合的球磨机传动系统故障诊断方法与系统 |
| CN117556344B (zh) * | 2024-01-08 | 2024-05-14 | 浙江大学 | 基于多源信息融合的球磨机传动系统故障诊断方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109471895B (zh) | 电子病历表型抽取、表型名称规范化方法及系统 | |
| CN112633378B (zh) | 一种多模态影像胎儿胼胝体智能检测方法及系统 | |
| CN114445420B (zh) | 编解码结构结合注意力机制的图像分割模型及其训练方法 | |
| CN111667483B (zh) | 多模态图像的分割模型的训练方法、图像处理方法和装置 | |
| CN110175248B (zh) | 一种基于深度学习和哈希编码的人脸图像检索方法和装置 | |
| CN111667027B (zh) | 多模态图像的分割模型训练方法、图像处理方法及装置 | |
| CN114140831B (zh) | 人体姿态估计方法、装置、电子设备及存储介质 | |
| CN117237685A (zh) | 一种基于多模态深度聚类的机械设备故障诊断方法 | |
| CN114896434B (zh) | 一种基于中心相似度学习的哈希码生成方法及装置 | |
| CN112560948A (zh) | 数据偏差下的眼底图分类方法及成像方法 | |
| Li et al. | Dual-source gramian angular field method and its application on fault diagnosis of drilling pump fluid end | |
| CN115881265A (zh) | 电子病历智能病案质控方法、系统、设备及存储介质 | |
| CN115661165A (zh) | 基于增强注意力的编解码网络胶质瘤融合分割系统及方法 | |
| CN115861196A (zh) | 针对多模态医学影像的主动学习方法 | |
| CN113516232B (zh) | 一种基于自注意力机制的穿墙雷达人体姿态重构方法 | |
| CN116823850A (zh) | 基于U-Net和Transformer融合改进的心脏MRI分割方法及系统 | |
| CN118072965B (zh) | 一种基于自监督学习的病理大模型的构建方法 | |
| CN117909881A (zh) | 多源数据融合的抽油机的故障诊断方法及装置 | |
| CN116884067B (zh) | 一种基于改进的隐式语义数据增强的微表情识别方法 | |
| CN116403283A (zh) | 基于transformer的目标行为识别方法及系统 | |
| CN116129200A (zh) | 一种基于深度学习的支气管镜图像良恶性病灶分类装置 | |
| Ma | Summary of research on application of deep learning in image recognition | |
| CN115565671A (zh) | 基于跨模型相互教学半监督的房颤辅助分析方法 | |
| CN115205972A (zh) | 一种基于深度学习的六步洗手评估方法及装置 | |
| CN115035455A (zh) | 一种基于对抗多模态领域自适应的跨类别视频时间定位方法、系统和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |