CN116465628A - 一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法 - Google Patents

一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法 Download PDF

Info

Publication number
CN116465628A
CN116465628A CN202310239905.3A CN202310239905A CN116465628A CN 116465628 A CN116465628 A CN 116465628A CN 202310239905 A CN202310239905 A CN 202310239905A CN 116465628 A CN116465628 A CN 116465628A
Authority
CN
China
Prior art keywords
model
source domain
domain
layer
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310239905.3A
Other languages
English (en)
Inventor
王玉静
夏林
康守强
孙宇林
谢金宝
王庆岩
兰朝凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202310239905.3A priority Critical patent/CN116465628A/zh
Publication of CN116465628A publication Critical patent/CN116465628A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G01M13/045—Acoustic or vibration analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法，涉及滚动轴承故障诊断技术领域。本发明是针对实际工业生产中不同规格和工况下滚动轴承振动数据分布差异大，多个相似数据集资源利用不充分，导致诊断模型准确率不高的问题而提出的。该方法利用短时傅里叶变换获取滚动轴承振动信号的时频谱图；选择多种不同规格和工况下已知标签数据作为多源域，其他规格和工况下少量已知标签数据作为目标域；使用多个源域数据训练多个ResNet‑34深度网络，并提出利用基于进化策略的与模型无关元学习改进异构模型参数迁移策略，使其能够自适应决定迁移到目标域的知识层级及内容；提出将源域知识迁移到VGG‑16深度网络得到多个目标域模型后，将其提取的特征依次输入同一个极限学习机中实现模型集成，通过极限学习机输出分类结果，最终建立滚动轴承故障诊断模型。经实验验证，所提方法可实现不同规格和工况下滚动轴承间的移诊断问题，并且具有较高的准确率。

Description

一种基于改进多源域异构模型参数传递的滚动轴承故障诊断 方法
技术领域
本发明涉及基于改进多源域异构模型参数传递的滚动轴承故障诊断方法，涉及滚动轴承故障诊断技术领域。
背景技术
滚动轴承在工业生产中应用广泛，对其进行故障诊断可预防重大事故发生[1]。滚动轴承规格和工况多变且工作环境恶劣难以拆卸，导致在工业生产中无法获取足够的带标签数据[2]。同时，不同规格和工况下滚动轴承数据存在差异，并且在实际应用时，往往拥有多个相似的滚动轴承数据资源。因此，有效利用多个源域振动数据来实现不同规格和工况下滚动轴承的状态识别具有重要的意义。
传统故障诊断方法采用人工提取信号的特征，特征提取的情况会直接决定整个模型的诊断效果[3]。近年来深度学习应用于故障诊断技术并显示出其优越性，通过自适应提取特征，在某种程度上可以避免人工提取故障特征造成的操作误差。文献[4]提出了首层多尺度卷积核的深度卷积神经网络，利用不同大小的一维卷积核从轴承原始振动信号中提取多尺度特征，实现了轴承健康状态的智能诊断。文献[5]将滚动轴承原始振动信号直接输入到双向长短期记忆网络中，通过双向长短期记忆网络自动提取滚动轴承的故障特征并进行诊断。文献[6]提出一种新的卷积深度置信网络与压缩感知方法相结合的故障诊断模型，并取得了较好的效果。文献[7]提出一种基于深度学习的多信号故障诊断方法，并且在感应电机故障识别方面取得了有效的诊断。
上述基于深度学习的方法需要大量的有标签数据来训练故障诊断模型，但由于滚动轴承工作条件复杂而无法获取足够有标签数据，因此基于深度学习的故障诊断方法存在局限性。
针对深度学习故障诊断方法存在的问题，迁移学习受到学术界的广泛关注。文献[8]构建深度自动编码器，利用目标域少量样本微调目标域模型提高迁移分类效果，且在不同轴承上验证了其有效性。文献[9]提出利用有标记数据的源域来训练改进的卷积神经网络，将训练好的模型参数迁移至目标域网络并微调，在公共数据集上取得了较好的分类效果。文献[10]利用格拉姆角差场方法将一维原始振动信号转化为二维图谱输入ResNet-34网络中，通过模型迁移方法实现了变速轴承的故障诊断。
上述方法的源域和目标域模型均使用同一种网络模型，若使用相同网络模型对不同分布数据提取特征时，可能会漏掉相关特征信息。并且传统参数传递方法直接固定源域浅层网络迁移至目标域，容易迁移无用知识甚至负样本，导致负迁移。
文献[11]通过不同的自动编码器网络将源域与目标域特征映射到相同的空间，引入域中心距离评估不同域之间分布的相似性，通过支持向量机实现轴承故障诊断，具有较好的效果。文献[12]将ResNet-20作为源域模型，ResNet-32作为目标域网络，通过元学习(Meta Learning，ML)传递模型参数，并在多个数据集上取得了较好的效果。
上述迁移学习均为单个源域的迁移，忽略了多个不同相似数据集作为多源域时对目标域诊断的作用，并且在实际的工业生产中，往往拥有多个相似数据集的带标签数据。为了充分利用多个相似源域数据集资源以提高目标域诊断的准确率，多源域迁移方法受到了广泛的关注。
文献[13]提出一种基于多源域深度迁移学习的故障诊断方法，通过锚适配器的构建，获得多源域与目标域适配器数据对，再建立深度域适应的迁移学习网络模型获得每个数据对的分类器和预测结构，并在一个滚动轴承数据集上取得了良好的效果。文献[14]提出一种多源域迁移学习网络框架，通过将多个部分分布适应子网络和多源域诊断知识融合模块相结合，达到迁移和聚合多源域诊断知识，在两个数据集上获得了较好的效果。文献[15]利用核最大均值差异构造多个深度迁移学习网络，实现单个源域目标域自适应，再统一度量作为奖励，提出一种强化学习方法，为多领域多模型提供了有效的集成策略，在多个数据集上验证了方法的有效性。
针对不同规格和工况下滚动轴承故障诊断问题，现有方法大多建立在恒定规格或者不同规格但不涉及工况的条件下，并且在实际工业生产中，往往拥有多个相似的滚动轴承数据集资源，但传统模型迁移学习只有一个源域，忽略了多个相似源域数据集对目标域诊断的贡献。针对实际工业生产中不同规格和工况下滚动轴承振动数据分布差异大，多个相似数据集资源利用不充分，导致诊断模型准确率不高的问题，亟待解决。
发明内容
本发明要解决的技术问题是：
针对实际工业生产中不同规格和工况下滚动轴承振动数据分布差异大，多个相似数据集资源利用不充分，导致诊断模型准确率不高的问题，进而提出一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法(一种基于多源域异构模型迁移的滚动轴承故障诊断方法)。
本发明为解决上述技术问题所采用的技术方案为：
一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法，所述方法适于不同规格不同工况下的滚动轴承故障诊断，其实现过程为：
1)数据选取及预处理
选取N种不同规格不同工况下滚动轴承的所有状态振动信号作为多个源域数据，记为源域一数据、源域二数据、……源域N数据，对多个源域数据作短时傅里叶变换得到多状态二维图像数据集，作为多源域网络的输入；
获取与所述多源域数据规格和工况均不同的少量已知标签振动信号，将其作为目标域数据；对目标域数据分别作短时傅里叶变换得到多状态二维图像数据集，作为目标域网络的输入；
2)构建多源域异构模型
利用多个相似源域数据迭代训练多个ResNet-34网络构建多源域预训练模型，通过整合多个相似源域数据集中的相关信息来辅助目标域的分类识别任务，从而提升目标域的分类效果；
3)模型参数迁移及目标域网络模型训练
多个源域分类模型导出，利用基于ES-MAML传递参数达到模型迁移的目的，通过ES-MAML自适应决定迁移知识的层级及知识的内容到目标域，将处理好的目标域数据输入VGG-16网络，通过不断交替更新目标网络模型参数与元网络参数，建立参数迁移后的目标域网络诊断模型；
4)模型集成及多状态识别
根据第3节将多个目标域网络模型提取到的特征输入ELM，结合这些特征信息实现模型集成过程，并利用目标域少量带标签数据对ELM进行微调，通过ELM分类器输出分类结果，最终建立最优的滚动轴承故障诊断模型。
进一步地，利用基于ES-MAML传递参数进行模型迁移，提出一种基于进化策略的与模型无关元学习的新型参数传递策略，学习传递规则，自动考虑源域网络模型与目标域网络模型结构的差异、源域与目标域任务的差异，无需手动调整参数传递配置，元学习会自适应匹配并产生对应权重。
进一步地，模型迁移具体为：
(1)迁移知识的内容
使用加权特征匹配损失确定迁移的内容，根据在目标任务上的效果决定迁移什么，加权特征匹配损失定义为：
其中，H表示源域网络第m层的特征图大小，W表示目标域网络第n层的特征图大小，i∈(1,2,…,H)，j∈(1,2,…,W)，是通道c的非负权重，rθ是待训练模型参数θ的线性变换，/>为目标域网络的第n层的特征图，Sm(x)是源域网络的第m层的特征图。将通道权重设为：
通过匹配源域第m层和目标域第n层的特征图，得到特征匹配损失，进而指导源域第m层向目标域第n层迁移的知识内容；
(2)迁移知识的层级
在进行异构模型迁移过程中，要选取源域哪一层迁移到目标域哪一层，对于每个网络层对应对(m,n)引入一个可学习参数λm,n，其中λm,n≥0，可以决定源域第m层向目标域第n层传递参数的可行性，λm,n越大表示源域第m层向目标域第n层的可迁移性越强；
为每对(m,n)设定作为元网络的输出，自动确定学习目标任务的重要层对；其中/>表示第(m,n)对时元学习的参数；将通道的权重ω和匹配对λ的权重进行合并，得到的特征匹配损耗定义为：
其中，C代表候选对，因此训练目标模型的最终损失为：
其中，Lorg是目标网络的交叉熵损失，β1是超参数且β1>0；
在迁移知识的层级操作时，首先通过源域第m层和目标域第n层进行匹配得出权重矩阵λm,n，再由参数λm,n指导源域哪一层迁移到目标域哪一层。
进一步地，将多个目标域网络模型提取到的特征输入ELM实现模型集成，即多源域模型集成，所述ELM是一种由输入层、隐含层和输出层组成的全连接网络。
进一步地，ELM分类器的结构模型如图5所示。
输入层的输入是经过神经网络提取到的滚动轴承特征x，特征维数是P；隐藏层共有L个神经元，第i个神经元的输出为：
g(x,ωi,bi)＝g(xωi+bi) (6)
其中，g代表激活函数，ωi表示第i个神经元和所有输入节点间的连接权重，bi表示第i个神经元的偏置。输入层和隐藏层的连接实际上是P维空间特征映射到L维空间，若输入一个特征向量x，其映射特征向量表示为：
h(x)＝[g(x,ω1,b1),g(x,ω2,b2),Λ,g(x,ωL,bL) (7)
输出层输出节点的个数为3，表示3种不同诊断结果，每一个输出节点对应一种诊断结果，则第j个输出节点的值表示为：
其中βi,j表示第i个神经元与第j个输出节点之间的输出权重，那么，输入样本x在隐藏层的输出向量可表示为：
f(x)＝[f1(x),f2(x),f3(x)]＝h(x)β2 (9)
其中：
本发明具有以下有益技术效果：
本发明提出的一种基于多源域异构模型迁移的滚动轴承故障诊断方法，是一种不同规格且不同工况下滚动轴承故障诊断方法。本发明利用多个源域提供更多的有效信息，以更好地辅助目标域的诊断工作，并引入基于进化策略的与模型无关元学习(EvolutionStrategies Model Agnostic Meta Learning，ES-MAML)来实现参数传递策略的改进，提出将目标域网络提取到的特征输入极限学习机(Extreme Learning Machine，ELM)中完成模型集成，最终实现不同规格且不同工况下滚动轴承间故障诊断问题。
本发明方法利用短时傅里叶变换获取滚动轴承振动信号的时频谱图；选择多种不同规格和工况下已知标签数据作为多源域，其他规格和工况下少量已知标签数据作为目标域；使用多个源域数据训练多个ResNet-34深度网络，并提出利用基于进化策略的与模型无关元学习改进异构模型参数迁移策略，使其能够自适应决定迁移到目标域的知识层级及内容；提出将源域知识迁移到VGG-16深度网络得到多个目标域模型后，将其提取的特征依次输入同一个极限学习机中实现模型集成，通过极限学习机输出分类结果，最终建立滚动轴承故障诊断模型。经实验验证，所提方法可实现不同规格和工况下滚动轴承间的移诊断问题，并且具有较高的准确率。
附图说明
图1为3×3小卷积核代替5×5大卷积核的示意图；图2为传统参数传递方式示意图；图3为迁移知识内容示意图；图4迁移知识层级示意图(迁移知识的层级操作)；图5为ELM分类器的结构模型示意图；图6为一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法的流程框图(不同规格且不同工况下基于多源域异构模型迁移方法的滚动轴承故障诊断过程图)；图7为轴承试验台示意图；图8为同构异构对比结果图；图9为同构(ResNet-34)特征可视化结果图；图10为同构(VGG-16)特征可视化结果图，图11为异构模型迁移特征可视化结果图；图12为多源域和单源域的准确率与损失值对比图；图13为单源域混淆矩阵图；图14为多源域混淆矩阵图；图15为不同元学习参数传递策略训练时间对比结果图；图16为准确率和损失值随迭代次数变化图；图17为本发明所提方法与其他方法的实验对比结果图。
具体实施方式
下面结合附图1至17，针对基于改进多源域异构模型参数传递的滚动轴承故障诊断方法的实现进行如下阐述：
1异构模型迁移学习网络
针对不同规格且不同工况下滚动轴承振动数据分布差异大的问题，采用不同的网络模型分别提取源域和目标域的特征可以避免遗漏部分关键特征信息。因此本文采用异构模型迁移学习来实现不同规格且不同工况下滚动轴承的故障诊断，选取ResNet-34深度网络作为源域模型，VGG-16深度网络作为目标域模型。
1.1ResNet-34卷积神经网络
为了提取信号更深层次的特征，深度卷积网络往往会增加网络的层数，即增加模型的深度。在模型深度增加的同时，神经网络中的学习参数也会相应增加，从而导致模型过于复杂，分类效果也会受到相应的影响。为解决上述问题，ResNet-34将目标函数与残差梯度相结合，可以有效解决因模型深度而导致不易收敛的问题，提升模型的准确率。
假设残差块输入为z，输出为H(z)，残差指的是输出值H(z)与输入值z的差值，即：
f(z)＝H(z)-z (1)
残差网络的学习对象为残差f(z)，在网络训练过程中只需要学习残差块输入输出之间的差别，降低了网络学习的难度。
1.2VGG-16卷积神经网络
VGG-16是在AlexNet基础上改进的深度卷积神经网络，其专注构建简洁规整的结构网络，训练简单且高效。
VGG-16采用几个连续的3×3小卷积核代替AlexNet中较大的卷积核(11×11，7×7，5×5)，多个3×3卷积核组合可以使网络结构复杂度减小，增加的网络深度也会加深对样本的学习，有利于提高分类精度。
以3×3卷积核代替5×5卷积核为例，如图1所示。对于两个3×3卷积核，所用的参数总量为2×(3×3)＝18，对于5×5的卷积核所用的参数总量为5×5＝25，因此，可以减少训练的参数。2基于元学习的参数传递方法改进
2.1基于进化策略的与模型无关元学习
元学习，又称学会学习，是机器学习领域一个重要的研究方向，它解决的是学会如何学习的问题[16]。ML可以在数据与模型之间交互，不断获取新的信息，进行自我更新，适应不断变化的环境，在没有人为干预影响的情况下，模型能够自适应数据变化并且不断调整，学会如何处理遇到的新问题。
ES-MAML是一种基于进化策略结合与模型无关元学习(Model Agnostic MetaLearning，MAML)的新框架[17]。现有的MAML是基于随机策略梯度的，在随机策略上使用反向传播算法估计二阶导数时，会遇到准确率不高，训练时间长的问题。因此将进化策略应用到与模型无关元学习中，通过进化策略，避免了二阶导数的估计问题，达到提高模型准确率，缩短模型训练时间的目的。
2.2模型迁移参数传递策略的改进
在源域和目标域的网络模型结构完全不同的情况下，传统的直接固定浅层网络加微调深层网络的参数传递方法直接失效，传统参数传递方式如图2所示。文献[18]与文献[19]分别采用知识蒸馏和雅可比矩阵进行参数传递，但是存在传递无用信息和梯度收敛困难的问题。因此，提出一种基于进化策略的与模型无关元学习的新型参数传递策略。该方法主要学习传递规则，自动考虑源域网络模型与目标域网络模型结构的差异、源域与目标域任务的差异，无需手动调整参数传递配置，元学习会自适应匹配并产生对应权重。
(1)迁移知识的内容
在异构模型迁移过程中，并非所有来自源域的知识都可以辅助目标域进行诊断，盲目迁移可能会迁移无用知识甚至有害知识导致模型训练时间长甚至产生负迁移。因此，使用加权特征匹配损失确定迁移的内容，根据在目标任务上的效果决定迁移什么，加权特征匹配损失定义为：
其中，H×W表示一个通道下的特征图大小，是通道c的非负权重，rθ是待训练模型参数θ的线性变换，/>为目标网络的第n层的特征图，Sm(x)是预训练网络的第m层的特征图。
由于要传递的重要通道可能会因输入图像不同而不一样，因此将通道权重设为：
迁移知识的内容操作图如图3所示。由图3可以看出，通过匹配源域第m层和目标域第n层的特征图，得到特征匹配损失，进而指导源域第m层向目标域第n层迁移的知识内容。
(2)迁移知识的层级
在进行异构模型迁移过程中，选取源域哪一层迁移到目标域哪一层至关重要。因此，对于每个网络层对应对(m,n)引入一个可学习参数λm,n，其中λm,n≥0，可以决定源域第m层向目标域第n层传递参数的可行性，λm,n越大表示源域第m层向目标域第n层的可迁移性越强。此外，为每对(m,n)设定作为元网络的输出，自动确定学习目标任务的重要层对。其中/>表示第(m,n)对时元学习的参数。将通道的权重ω和匹配对λ的权重进行合并，得到的特征匹配损耗定义为：
其中，C代表候选对，因此训练目标模型的最终损失为：
其中，Lorg是目标网络的交叉熵损失，β是超参数且β>0。
迁移知识的层级操作如图4所示。由图4可以看出，首先通过源域第m层和目标域第n层进行匹配得出权重矩阵λm,n，再由参数λm,n指导源域哪一层迁移到目标域哪一层。
3多源域模型集成方法
ELM是一种全连接网络，由输入层、隐含层和输出层组成。ELM分类器的结构模型如图5所示。
输入层的输入是经过神经网络提取到的滚动轴承特征x，特征维数是P。隐藏层共有L个神经元，第i个神经元的输出为：
g(x,ωi,bi)＝g(xωi+bi) (6)
其中，g代表激活函数，ωi表示第i个神经元和所有输入节点间的连接权重，bi表示第i个神经元的偏置。输入层和隐藏层的连接实际上是P维空间特征映射到L维空间，若输入一个特征向量x，其映射特征向量表示为：
h(x)＝[g(x,ω1,b1),g(x,ω2,b2),Λ,g(x,ωL,bL) (7)
输出层输出节点的个数为3，表示3种不同诊断结果，每一个输出节点对应一种诊断结果，则第j个输出节点的值表示为：
其中βi,j表示第i个神经元与第j个输出节点之间的输出权重，那么，输入样本x在隐藏层的输出向量可表示为：
f(x)＝[f1(x),f2(x),f3(x)]＝h(x)β (9)
其中：
4不同规格且不同工况下滚动轴承故障诊断方法
不同规格且不同工况下基于多源域异构模型迁移方法的滚动轴承故障诊断过程如图6所示。
具体步骤为：
1)数据选取及预处理
获取已知某种规格和工况下滚动轴承的所有状态振动信号作为源域一数据。另外一种规格和工况下滚动轴承的所有状态振动信号作为源域二数据。将其他不同规格和工况下的少量已知标签振动信号作为目标域数据。对多个源域与目标域数据作短时傅里叶变换构造多状态二维图像数据集，作为多源域网络和目标域网络的输入。
2)构建多源域模型
利用多个相似源域数据迭代训练多个ResNet-34网络构建多源域预训练模型，通过整合多个相似源域数据集中的相关信息来辅助目标域的分类识别任务，从而提升目标域的分类效果。
3)模型参数迁移及目标域网络模型训练
多个源域分类模型导出，根据2.2节利用基于ES-MAML传递参数达到模型迁移的目的，通过ES-MAML自适应决定迁移知识的层级及知识的内容到目标域，具体迁移过程如图3和图4所示。将处理好的目标域数据输入VGG-16网络，通过不断交替更新目标网络模型参数与元网络参数，建立参数迁移后的目标域网络诊断模型。
4)模型集成及多状态识别
根据第3节将多个目标域网络模型提取到的特征输入ELM，结合这些特征信息实现模型集成过程，并利用目标域少量带标签数据对ELM进行微调，通过ELM分类器输出分类结果，最终建立最优的滚动轴承故障诊断模型。
5应用与分析
5.1实验数据集
实验所用的轴承数据采集自轴承试验台，试验台示意图如图7所示。试验台中的驱动端和风扇端分别安装有规格为SKF6205和SKF6203的深沟球滚动轴承，利用加速度传感器采集振动信号，采样频率为12kHz。实验是在0hp、1hp、2hp、3hp不同负载下，对不同规格滚动轴承振动信号进行采集，轴承的故障是由电火花机在轴承的内圈(IR)、滚动体(B)、外圈(OR)加工产生的点蚀故障，每个故障位置的损伤直径包括0.1778mm、0.3556mm、0.5334mm三种，加上正常状态一共可以分为10类。对于工作在正常状态下，并未发生故障的滚动轴承振动信号，用N来表示。为了方便表述，对滚动轴承的故障位置和故障程度进行简化表述，如表1所示。以1024点为一个样本的长度，每种工作状态选取100个样本数据。
机械故障预防技术学会(Mechanical Failure Prevention Technology，MFPT)滚动轴承振动数据，采样频率为48.828kHz，转速为每秒25转[20]。实验采用内圈故障、外圈故障及正常共3种状态的振动数据，每类状态100个样本。以上数据集作为源域时，每类状态有100个完全带标签的样本，作为目标域时，每类状态有100个样本，其中有5个带标签。
表1实验数据表示方法
为更方便地表示实验中所用到的数据，本文所使用的数据集与轴承规格、工作工况的对应关系如表2所示。
表2数据集与轴承规格、工况对应关系
根据本文所提出的滚动轴承故障诊断问题，实验部分以两个源域为例，共设置了12个迁移任务，各任务所用数据集组成如表3所示。
表3各任务所用数据集组成
以任务1为例，任务1表示源域一为SKF6205规格0工况，源域二为SKF6203规格1工况，目标域为MFPT规格3工况。源域一和源域二有10类状态，每类状态有100个带标签样本，目标域有3类状态，每类状态有5张带标签样本。
5.2实验与分析
5.2.1异构模型迁移与同构模型迁移对比实验
为了验证当源域与目标域数据分布存在差异的情况下，使用异构模型迁移策略(源域模型为ResNet-34，目标域模型为VGG-16)与同构模型迁移策略(源域与目标域模型都为ResNet-34或VGG-16)的分类效果。具体实验结果如图8所示。
观察图8可知，当源域与目标域数据分布存在差异的情况下，异构模型迁移的平均准确率为97.94％，同构(ResNet-34)平均准确率为94.8％，同构(VGG-16)平均准确率为93.3％。异构模型迁移平均准确率要比同构高3％和4％。尤其在任务1中，异构比同构(VGG-16)准确率高8.7％，在任务5中异构比同构(ResNet-34)准确率高6.8％。因此采用异构模型迁移学习可以避免在数据分布差异大的情况下模型准确率低的问题。
利用t-分布邻域嵌入(t-distribution stochastic neighbor embedding，t-SNE)算法直观证明异构模型迁移学习方法的有效性[21]，将异构模型迁移和同构模型迁移的目标域网络最后一层特征提取层的特征进行可视化，结果如图9、10和11所示。
由图9，图10，图11可看出，采用同构模型迁移方法所提取的特征，经可视化后存在多处错分现象，并且类别边界不明显，在图9的L1～L6区域都存在错分样本，并且在L1区域内出现了多类别的类间重叠现象，类别边界十分模糊；图10中的L1～L6区域同样存在错分样本。采用异构模型迁移方法提取的深层特征可视化后，类别边界清晰，样本混叠较少，错分现象较少，仅在图11的L1区域出现单个的离群样本。故应用所提方法可以很好地提取滚动轴承深层特征，有利于提高故障诊断模型的性能。
5.2.2多源域单源域对比实验
本节对采用多源域迁移策略和单源域迁移策略进行对比实验。为减少随机初始化训练参数及实验不确定性因素对所提方法诊断结果的影响，分类任务将准确率和损失值作为评价指标。
对比实验数据集设置以迁移任务3为例，多源域实验设置为：源域一SKF6205规格0工况，源域二MFPT规格2工况，目标域为SKF6203规格3工况。单源域实验设置：源域为SKF6205规格0工况，目标域为SKF6203规格3工况。源域目标域模型均为VGG-16，采用传统固定加微调方式进行参数传递。多源域和单源域对比的实验结果如图12。
从图12可以看出，当迭代次数为50时多源域准确率为99.8％，单源域准确率为93.5％，此时多源域准确率比单源域高6.3％。并且在迭代过程中，除个别迭代次数时多源域和单源域准确率持平外，其余多源域的准确率都要比单源域高，而且损失函数也更为稳定。因此采用多源域迁移学习策略可以集合多个源域的知识，模型准确率明显高于单源域迁移策略，并且模型稳定性高于单源域迁移策略。
为了更加直观地观察多源域方法在故障诊断问题中的有效性，引入多分类混淆矩阵对诊断结果进行分析。篇幅所限，仅以任务3的故障诊断结果为例，绘制混淆矩阵如图13和14所示。
从图13和14中可以看到，多源域方法在1000个目标域测试集样本中，仅有一个标签出现3个样本诊断错误，为IR14故障被误判为B07故障。而单源域方法存在多处误判。由此可以看出，本文所采用的多源域方法可以有效解决多个相似数据集利用不充分从而导致模型准确率不高的问题。
5.2.3不同元学习算法对比实验
为验证引入基于进化策略的与模型无关元学习在自适应参数传递过程中的效果，因此采取不同元学习进行参数传递实验。以任务1为例，实验结果如图15所示。
对比图15中的不同元学习参数传递策略可知，在迭代过程中，ES-MAML的模型训练时间一直比MAML短，并且当迭代次数达到50时，ES-MAML比相比MAML缩短了22.1h。因此，引入ES-MAML可以缩短模型的训练时间。
5.2.4所提方法在不同迁移任务上的验证实验
为验证所提方法在不同迁移任务上的有效性，将多源域迁移学习和异构模型迁移相结合，并且采用ES-MAML改进参数传递策略进行实验验证。数据集设置如表2和表3所示，实验结果如表4所示。
表4不同迁移任务的实验结果(准确率％)
从表5可看出，本文所提方法的平均分类准确率达98.0％以上，充分说明所提方法可以实现不同规格且不同工况下滚动轴承的故障状态识别。
以任务1为例绘制准确率和损失值随迭代次数变化折线图。
由图16可知，本文所提方法在达到较高准确率的同时，损失值也很稳定，进一步证明所提方法的有效性。
5.2.5与其他算法对比实验
为验证所提方法在不同规格且不同工况下滚动轴承迁移故障诊断问题上具有更好的效果，本文选择文献[10]、文献[12]、文献[13]、文献[14]方法进行对比实验。实验过程中设置相同的源域及目标域数据集和相同的迁移任务。准确率对比结果如图17所示。
从图17可以看出，所提方法在12种不同迁移任务的实验中，平均准确率可高达98.0％，且相对于传统模型迁移学习分类、多源域迁移学习分类和其他异构模型迁移方法，准确率提高约5％。因此，本文所提方法可有效实现少量带标签样本下不同规格且不同工况滚动轴承的故障诊断。
6结论
1)针对不同规格且不同工况下滚动轴承数据分布差异大的问题，提出利用异构模型迁移学习分别提取源域和目标域的特征，避免了采用相同网络会遗漏不同规格且不同工况下轴承相关特征信息。经实验验证，异构模型迁移的平均准确率比同构模型迁移的平均准确率高4％，证明了异构模型迁移的有效性。
2)将ML与深度迁移学习结合，提出利用ES-MAML自适应决定迁移的知识层级和知识内容，避免了传统固定加微调的参数传递方式可能会传递无用知识甚至有害知识，从而导致负迁移的问题。经实验验证，改进后的参数传递方法比传统的固定加微调参数传递方法平均准确率提高3％，证明改进参数传递方法的有效性。
3)针对多个相似数据集资源利用不充分的问题，提出多源域异构模型迁移学习框架，利用多个相似源域数据集辅助其他规格和工况下滚动轴承的故障诊断。提出将多个目标域网络提取到的特征输入ELM中来实现分类任务。经实验验证，所提方法可以实现少量带标签样本下不同规格和工况的滚动轴承故障诊断。且较所对比的参数迁移方法提升约5％，平均诊断准确率可达98.0％，证明所提方法的有效性。
此外，本文所提方法解决了不同规格且不同工况下滚动轴承间的故障诊断，呈现了滚动轴承迁移诊断的另一种思维方式。
实验中已经对滚动轴承振动数据进行了充分的实验验证，下一步将对旋转机械其他部件进行实验，这将是以后的研究重点。
本发明中援引的参考文献如下：
[1]康守强，邹佳悦，王玉静，等.基于无监督特征对齐的变负载下滚动轴承故障诊断方法[J].中国电机工程学报，2020，40(1)：274-281.
KANG Shou-qiang,ZOU Jia-yue,WANG Yu-jing,et al.Fault diagnosis methodof a rolling bearing under varying loads based on unsupervised featurealignment[J].Proceedings of the CSEE,2020,40(1):274-281.
[2]李益兵，黄定洪，马建波，等.基于深度置信网络与信息融合的齿轮故障诊断方法[J].振动与冲击，2021，40(8)：62-69.
LI Yi-bing,HUANG Ding-hong,MA Jian-bo,et al.A gear fault diagnosismethod based on deep belief network and information fusion[J].Journal ofVibration and Shock,2021,40(8):62-69.
[3]杨毅，范栋琛，殷浩然，等.基于深度迁移学习的输电线路故障选相模型及可迁移性研究[J].电力自动化设备，2020，40(10)：165-172.
YANG Yi,FAN Dong-chen,YIN Haoran,et al.Transmission line fault phaseselection model based on deep-migration learning and its transferabilityresearch[J].Electric Power Automation Equipment,2020,40(10):165-172.
[4]Fu L,Zhang L,Tao J.An improved deep convolutional neural networkwith multiscale convolution kernels for fault diagnosis of rolling bearing[J].IOP Conference Series:Materials Science and Engineering,2021,1043(5):052021.
[5]赵志宏，赵敬娇，魏子洋，等.基于BiLSTM的滚动轴承故障诊断研究[J].振动与冲击，2021，40(1)：95-101.
ZHAO Zhi-hong,ZHAO Jing-jiao,WEI Zi-yang.Rolling bearing faultdiagnosis based on BiLSTM network[J].Journal of Vibration and Shock,2021,40(1):95-101.
[6]Wu Z H,Jiang H K,Zhao K,et al.An adaptive deep transfer learningmethod for bearing fault diagnosis[J].Measurement.2020,(151):2-29.
[7]Shao S,Yan R Q,Lu Y,et al.DCNN-Based Multi-Signal Induction MotorFault Diagnosis[J].IEEE Transactions on Instrumentation and Measurement,2020,69(6):2658-2669.
[8]邵海东，张笑阳，程军圣，等.基于提升深度迁移自动编码器的轴承智能故障诊断[J].机械工程学报，2020，56(9)：84-90.
SHAO Hai-dong,ZHANG Xiao-yang,CHENG Jun-sheng,et al.Intelligent faultdiagnosis of bearing using enhanced deep transfer auto-encoder[J].Journal ofmechanical engineering,2020,56(9):84-90.
[9]Jiang F,Shen X,Jiang F,et al.A bearing fault diagnosis methodbased on improved convolution neural network and transfer learning[C]//International Conference on Intelligent Equipment and Special Robots(ICIESR2021).SPIE,2021,12127:124-130.
[10]侯东晓，穆金涛，方成，时培明.基于GADF与引入迁移学习的ResNet34对变速轴承的故障诊断[J].东北大学学报(自然科学版)，2022，43(03)：383-389.
HOU Dong-xiao,MU Jin-tao,FANG Cheng,et al.Fault Diagnosis of VarialeSpeed Bearings Based on GADF and ResNet34 Introduced Transfer Learning[J].Journal of Northeastern University(Natural Science),2022,43(03):383-389.
[11]CHUNFENG W,ZHENG L,JUN Z,et al.Heterogeneous Transfer LearningBased on Stack Sparse Auto-Encoders for Fault Diagnosis[C]//ChineseAutomation Congress,2018,4277-4281.
[12]Yunhun J,Hankook Le,Sung J.Learning What and Where to Transfer[EB/OL].http://arxiv.org/abs/1905.0590,2019.
[13]杨胜康，孔宪光，程涵，等.基于多源域深度迁移学习的机械故障诊断[J].振动与冲击，2022，41(9)：32-40.
YANG Shengkang,SUN Xuanguang,CHEN Han,et al.Mechanical faultdiagnosis based on multi-source domain deep transfer learning[J].Journal ofVibration and Shock,2022,41(9):32-40.
[14]Bin Y,Songci X,Yagou L,et al.Multi-source transfer learningnetwork to complement knowledge for intelligent diagnosis of machines withunseen faults[EB/OL].https//doi.org/10.1016/j.ymssp.2021.
[15]Xing G,Li H,Jiang M,Xie,et al.A reinforcement ensemble deeptransfer learning network for rolling bearing fault diagnosis with Multi-source domains[EB/OL].https//doi.org/10.1016/j.aei.2021.
[16]刘颖，雷研博，范九伦，等.基于小样本学习的图像分类技术综述[J].自动化学报，2020，47(2)：297-315.
LIU Ying,LEI Yan-bo,FAN Jiu-lun,et al.Survey on image classificationtechnology based on small sample learning[J].Aota automatica sinice,2020,47(2):297-315.
[17]XingY,Wenbo G,Yu Y.ES-MAML:Simple Hessian-Free Meta Learning[EB/OL].https//arXiv:1910.01215,2020.
[18]LI Z,HOIEMD.Learning without Forgetting[J].European conference oncomputer vision,2018,40(12):614-629.
[19]Srinivas S,Fleuret F.Knowledge Transfer with Jacobian Matching[J].International Conference on Machine Learning,2018,4723-4731.
[20]王玉静，吕海岩，康守强，等.不同型号滚动轴承故障诊断方法[J].中国电机工程学报，2021，41(1)：267-276.
WANG Yu-jing,LYU Hai-yan,KANG Shou-qiang,et al.Fault Diagnosis Methodfor Different Types of Rolling Bearings[J].Proceedings of the CSEE,2021,41(1):267-276.
[21]Van Der Maten L,Hinton G.Visualizing data using t-SNE[J].Journalof Machine Learning Research,2008,9(11):2579-2625。

Claims (5)

1.一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法，其特征在于，所述方法适于不同规格不同工况下的滚动轴承故障诊断，其实现过程为：
1)数据选取及预处理
选取N种不同规格不同工况下滚动轴承的所有状态振动信号作为多个源域数据，记为源域一数据、源域二数据、……源域N数据，对多个源域数据作短时傅里叶变换得到多状态二维图像数据集，作为多源域网络的输入；
获取与所述多源域数据规格和工况均不同的少量已知标签振动信号，将其作为目标域数据；对目标域数据分别作短时傅里叶变换得到多状态二维图像数据集，作为目标域网络的输入；
2)构建多源域异构模型
利用多个相似源域数据迭代训练多个ResNet-34网络构建多源域预训练模型，通过整合多个相似源域数据集中的相关信息来辅助目标域的分类识别任务，从而提升目标域的分类效果；
3)模型参数迁移及目标域网络模型训练
多个源域分类模型导出，利用基于ES-MAML传递参数达到模型迁移的目的，通过ES-MAML自适应决定迁移知识的层级及知识的内容到目标域，将处理好的目标域数据输入VGG-16网络，通过不断交替更新目标网络模型参数与元网络参数，建立参数迁移后的目标域网络诊断模型；
4)模型集成及多状态识别
根据第3节将多个目标域网络模型提取到的特征输入ELM，结合这些特征信息实现模型集成过程，并利用目标域少量带标签数据对ELM进行微调，通过ELM分类器输出分类结果，最终建立最优的滚动轴承故障诊断模型。
2.根据权利要求1所述的一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法，其特征在于，利用基于ES-MAML传递参数进行模型迁移，提出一种基于进化策略的与模型无关元学习的新型参数传递策略，学习传递规则，自动考虑源域网络模型与目标域网络模型结构的差异、源域与目标域任务的差异，无需手动调整参数传递配置，元学习会自适应匹配并产生对应权重。
3.根据权利要求2所述的一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法，其特征在于，模型迁移具体为：
(1)迁移知识的内容
使用加权特征匹配损失确定迁移的内容，根据在目标任务上的效果决定迁移什么，加权特征匹配损失定义为：
其中，H表示源域网络第m层的特征图大小，W表示目标域网络第n层的特征图大小，i∈(1,2,…,H)，j∈(1,2,…,W)，是通道c的非负权重，rθ是待训练模型参数θ的线性变换，为目标域网络的第n层的特征图，Sm(x)是源域网络的第m层的特征图。将通道权重设为：
通过匹配源域第m层和目标域第n层的特征图，得到特征匹配损失，进而指导源域第m层向目标域第n层迁移的知识内容；
(2)迁移知识的层级
在进行异构模型迁移过程中，要选取源域哪一层迁移到目标域哪一层，对于每个网络层对应对(m,n)引入一个可学习参数λm,n，其中λm,n≥0，可以决定源域第m层向目标域第n层传递参数的可行性，λm,n越大表示源域第m层向目标域第n层的可迁移性越强；
为每对(m,n)设定作为元网络的输出，自动确定学习目标任务的重要层对；其中/>表示第(m,n)对时元学习的参数；将通道的权重ω和匹配对λ的权重进行合并，得到的特征匹配损耗定义为：
其中，C代表候选对，因此训练目标模型的最终损失为：
其中，Lorg是目标网络的交叉熵损失，β1是超参数且β1>0；
在迁移知识的层级操作时，首先通过源域第m层和目标域第n层进行匹配得出权重矩阵λm,n，再由参数λm,n指导源域哪一层迁移到目标域哪一层。
4.根据权利要求3所述的一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法，其特征在于，将多个目标域网络模型提取到的特征输入ELM实现模型集成，即多源域模型集成，所述ELM是一种由输入层、隐含层和输出层组成的全连接网络。
5.根据权利要求3所述的一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法，其特征在于，ELM分类器的结构模型如图5所示。
输入层的输入是经过神经网络提取到的滚动轴承特征x，特征维数是P；隐藏层共有L个神经元，第i个神经元的输出为：
g(x,ωi,bi)＝g(xωi+bi) (6)
其中，g代表激活函数，ωi表示第i个神经元和所有输入节点间的连接权重，bi表示第i个神经元的偏置。输入层和隐藏层的连接实际上是P维空间特征映射到L维空间，若输入一个特征向量x，其映射特征向量表示为：
h(x)＝[g(x,ω1,b1),g(x,ω2,b2),Λ,g(x,ωL,bL) (7)
输出层输出节点的个数为3，表示3种不同诊断结果，每一个输出节点对应一种诊断结果，则第j个输出节点的值表示为：
其中βi,j表示第i个神经元与第j个输出节点之间的输出权重，那么，输入样本x在隐藏层的输出向量可表示为：
f(x)＝[f1(x),f2(x),f3(x)]＝h(x)β2 (9)
其中：
CN202310239905.3A 2023-03-13 2023-03-13 一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法 Pending CN116465628A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310239905.3A CN116465628A (zh) 2023-03-13 2023-03-13 一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310239905.3A CN116465628A (zh) 2023-03-13 2023-03-13 一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法

Publications (1)

Publication Number Publication Date
CN116465628A true CN116465628A (zh) 2023-07-21

Family

ID=87176122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310239905.3A Pending CN116465628A (zh) 2023-03-13 2023-03-13 一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法

Country Status (1)

Country Link
CN (1) CN116465628A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117493946A (zh) * 2023-12-29 2024-02-02 浪潮软件科技有限公司 一种基于vgg网络的小样本示功图诊断方法
CN117664567A (zh) * 2024-01-30 2024-03-08 东北大学 一种面向多源域不平衡数据的滚动轴承跨域故障诊断方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117493946A (zh) * 2023-12-29 2024-02-02 浪潮软件科技有限公司 一种基于vgg网络的小样本示功图诊断方法
CN117664567A (zh) * 2024-01-30 2024-03-08 东北大学 一种面向多源域不平衡数据的滚动轴承跨域故障诊断方法
CN117664567B (zh) * 2024-01-30 2024-04-02 东北大学 一种面向多源域不平衡数据的滚动轴承跨域故障诊断方法

Similar Documents

Publication Publication Date Title
CN111721536B (zh) 一种改进模型迁移策略的滚动轴承故障诊断方法
Grezmak et al. Interpretable convolutional neural network through layer-wise relevance propagation for machine fault diagnosis
Shao et al. Highly accurate machine fault diagnosis using deep transfer learning
Yang et al. SuperGraph: Spatial-temporal graph-based feature extraction for rotating machinery diagnosis
US11287470B2 (en) Vector-valued regularized kernel function approximation based fault diagnosis method for analog circuit
CN112084974B (zh) 一种基于元学习的多标签滚动轴承故障诊断方法
CN116465628A (zh) 一种基于改进多源域异构模型参数传递的滚动轴承故障诊断方法
Xu et al. A novel multi-scale CNN and attention mechanism method with multi-sensor signal for remaining useful life prediction
Su et al. A novel method based on deep transfer unsupervised learning network for bearing fault diagnosis under variable working condition of unequal quantity
CN110543860B (zh) 基于tjm迁移学习的机械故障诊断方法及系统
CN106886660A (zh) EEMD‑Hilbert包络谱与DBN相结合的变负载下滚动轴承状态识别方法
CN112232244A (zh) 一种滚动轴承故障诊断方法
CN116593157A (zh) 少样本下基于匹配元学习的复杂工况齿轮故障诊断方法
Aljemely et al. Intelligent fault diagnosis of rolling bearings based on LSTM with large margin nearest neighbor algorithm
CN116011507A (zh) 融合元学习与图神经网络的稀有故障诊断方法
Praveen et al. Using AIG in Verilog HDL, Autonomous Testing in a Family of Wien Bridge Cross Transducers
Chen et al. A novel Bayesian-optimization-based adversarial TCN for RUL prediction of bearings
CN116702076A (zh) 一种基于cnn特征融合的小样本迁移学习故障诊断方法、系统、计算机及存储介质
Qi et al. A review on data-driven condition monitoring of industrial equipment
Saufi et al. Machinery fault diagnosis based on a modified hybrid deep sparse autoencoder using a raw vibration time-series signal
Lyu et al. A novel multiview sampling-based meta self-paced learning approach for class-imbalanced intelligent fault diagnosis
Cai et al. Analysis on transformer vibration signal recognition based on convolutional neural network
Yuan et al. A novel fault diagnosis method for second-order bandpass filter circuit based on TQWT-CNN
Wang et al. Fault diagnosis of bearing based on improved refined composite hierarchical fuzzy entropy and least squares support vector machine
Wang et al. A small sample piezoelectric impedance-based structural damage identification using Signal Reshaping-based Enhance Attention Transformer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination