CN115270956A - 基于持续学习的跨设备增量轴承故障诊断方法 - Google Patents

基于持续学习的跨设备增量轴承故障诊断方法 Download PDF

Info

Publication number
CN115270956A
CN115270956A CN202210879607.6A CN202210879607A CN115270956A CN 115270956 A CN115270956 A CN 115270956A CN 202210879607 A CN202210879607 A CN 202210879607A CN 115270956 A CN115270956 A CN 115270956A
Authority
CN
China
Prior art keywords
model
diagnosis
stage
bearing
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210879607.6A
Other languages
English (en)
Other versions
CN115270956B (zh
Inventor
沈长青
陈博戬
李林
孔林
谭陆洋
王冬
石娟娟
黄伟国
朱忠奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202210879607.6A priority Critical patent/CN115270956B/zh
Priority to PCT/CN2022/118373 priority patent/WO2024021246A1/zh
Publication of CN115270956A publication Critical patent/CN115270956A/zh
Application granted granted Critical
Publication of CN115270956B publication Critical patent/CN115270956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

本发明涉及一种基于持续学习的跨设备增量轴承故障诊断方法，包括构建跨设备增量轴承健康状态数据集，按设备划分不同阶段的诊断任务；使用第一个设备的诊断任务数据构建初始诊断模型，筛选典例；基于初始诊断模型引入神经元级微调和分类器得到诊断模型；将典例与下一个设备的轴承故障诊断任务数据共同训练诊断模型，使用损失函数缩小当前阶段的诊断模型与上一阶段的诊断模型在上一阶段诊断任务数据上表现的差异，筛选典例；重复步骤S104，使用当前的诊断模型诊断所有已学习任务的轴承故障，得到轴承故障诊断结果。本发明采用持续学习方法构建一个不断积累和复用知识的诊断模型，能解决灾难性遗忘问题，以适应跨设备增量轴承故障诊断的需求。

Description

基于持续学习的跨设备增量轴承故障诊断方法
技术领域
本发明涉及轴承故障诊断和深度学习技术领域，尤其是指一种基于持续学习的跨设备增量轴承故障诊断方法。
背景技术
目前旋转机械设备的高速、重载以及自动化程度要求不断提高所表现出来的动态信号更加复杂，现代状态监测技术已经能够实现对复杂装备多测点、全寿命的数据采集，进而获得海量的数据，但同时导致对动态信号的处理和其中健康状态信息的特征提取带来较大难度。传统的故障诊断方法有基于振动信号提取故障特征频率、短时傅里叶变换、经验模式分解、稀疏表示方法等。这些方法已经较为成熟，但对目前的机械设备状态信号而言，基于信号处理的方法不具备处理大量信号数据中故障数据密度低、干扰强且在变工况下表现多样性的能力。
近年来，随着人工智能、机器学习领域的快速发展，越来越多的基于机器学习的旋转机械智能故障诊断方法被提出。基于机器学习的故障诊断一般包括信号采集，特征提取，故障识别与预测等步骤。这种方法大大简化了故障诊断过程，提高了诊断效率，但是由于多为浅层网络，结构简单，层次有限，其有效性取决于前期预处理提取特征的有效性，在面对大量结构复杂的设备状态信号时处理能力有限。因此，许多学者利用深度学习优秀的自适应特征学习与提取能力，克服了浅层模型难以表征信号与健康状况之间复杂的映射关系的不足，取得了不错的效果。然而，这些方法都是基于两个假设：训练数据与测试数据同分布且训练数据足够多。但是在实际工程中，机械设备运行工况多变且故障发生具有偶然性，获得的样本难以满足以上两个假设，因而直接影响故障诊断的结果。
随着迁移学习的快速发展，借助其在跨领域、跨分布间的知识挖掘和迁移能力，针对标签样本受限(极小样本或无样本)问题或者变工况问题的迁移学习解决方案在机械故障诊断领域也得到了发展。但是迁移学习仅能满足单一目标任务的故障诊断，即源域和目标域给定条件下完成一次迁移即可，由于机械设备故障本身与运行工况的多样性，在面对新的任务时，模型的泛化能力大大下降，通用性较差；另一方面，迁移学习不涉及对知识的积累，在面对源域数据对应工况下的设备状态识别任务时，往往表现较差，与工程实际中的需求不符。由于运行工况的复杂多变，一个机械系统中多个子机器经常会产生意外故障，导致跨设备增量诊断问题的出现，使得通过预收集半完备的故障数据训练的深度诊断模型和深度迁移诊断模型失效，因此需要重新训练模型以识别新的故障类型。然而，使用新类型的数据直接训练深度模型将导致旧故障类的识别表现断崖式下降，这称为灾难性遗忘。灾难性遗忘一直是深度学习领域的一个重要问题，同样，在故障诊断领域，需要研究解决由意外故障引起的深度诊断模型的灾难性遗忘问题，以建立可靠性、泛化性和通用性更强的持续故障诊断模型。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种基于持续学习的跨设备增量轴承故障诊断方法，以解决现有基于深度学习和迁移学习的故障诊断模型不能解决跨设备轴承故障问题。
为解决上述技术问题，本发明提供一种基于持续学习的跨设备增量轴承故障诊断方法，包括以下步骤：
S101:利用加速度传感器采集多个不同设备上的轴承振动信号构建跨设备增量轴承健康状态数据集，并将数据集按照设备划分为不同阶段的轴承故障诊断任务；
S102:在初始阶段使用第一个设备的轴承故障诊断任务数据训练ResNet-32，构建初始诊断模型，并筛选该阶段各个故障类型的典例；
S103:在增量阶段引入神经元级微调对初始诊断模型进行修改，得到双分支残差自适应聚合网络，并使用最近邻典例分类器或余弦标准化分类器取代初始诊断模型的全连接层分类器，得到诊断模型；
S104:将典例与下一个设备的轴承故障诊断任务数据共同训练所述诊断模型，使用增量阶段的损失函数缩小当前阶段的诊断模型与上一阶段的诊断模型在上一阶段诊断任务数据上表现的差异，并通过双层优化方案优化聚合权重和模型参数，训练完成后筛选该阶段各个故障类型的典例；
S105:重复步骤S104，当完成当前阶段任务的学习后，使用当前的诊断模型诊断所有已学习任务的轴承故障，得到轴承故障诊断结果，并验证诊断模型克服灾难性遗忘的能力。
在本发明的一个实施例中，所述利用加速度传感器采集多个不同设备上的轴承振动信号构建跨设备增量轴承健康状态数据集，并将数据集按照设备划分为不同阶段的轴承故障诊断任务，包括：
利用加速度传感器采集多个不同设备上的轴承振动信号构建跨设备增量轴承健康状态数据集D；
按照设备划分不同阶段的诊断任务，假设第n个设备的诊断任务用Tn表示，Tn的数据为
Figure BDA0003763736080000031
其中Pn是任务Tn的故障数据样本的数量，
Figure BDA0003763736080000032
表示Tn中的第i个样本，
Figure BDA0003763736080000033
表示
Figure BDA0003763736080000034
的健康状态标签，Jn表示在任务Tn之前学习的故障类型C0:n-1＝{C0,C1,K,Cn-1}的数量，Kn表示任务Tn中学习的故障类型Cn的数量。
在本发明的一个实施例中，所述使用第一个设备的轴承故障诊断任务数据训练ResNet-32，构建初始诊断模型，并筛选该阶段各个故障类型的典例进行存储，包括：
在初始阶段利用任务T0的数据
Figure BDA0003763736080000035
训练ResNet-32学习故障类型C0得到初始诊断模型Θ0，其中
Figure BDA0003763736080000036
初始诊断模型Θ0的损失函数为：
Figure BDA0003763736080000037
其中δ是真实标签；
在完成此阶段模型训练后，使用特征提取器F0通过herding算法选取训练样本作为此阶段学习的故障类型的典例。
在本发明的一个实施例中，所述使用特征提取器F0通过herding算法选取训练样本作为此阶段学习的故障类型的典例，包括：
使用
Figure BDA0003763736080000038
表示故障类型c的训练样本，则c的类平均为
Figure BDA0003763736080000039
其中Pc是类c的训练样本的数量，每个典例ε通过
Figure BDA00037637360800000310
计算得到类c的典例mc＝(ε0,ε1,K,εt-1)，其中t表示典例数量。
在本发明的一个实施例中，引入神经元级微调对初始阶段诊断模型进行修改，得到双分支残差自适应聚合网络，包括：
利用双分支残差自适应聚合网络替换初始阶段诊断模型的单分支ResNet-32，其中，双分支残差自适应聚合网络包含动态分支和稳态分支，动态分支使用参数级微调，稳态分支使用神经元级微调。
在本发明的一个实施例中，动态分支使用参数级微调，稳态分支使用神经元级微调，包括：
所述动态分支使用的参数级微调在训练时使用初始诊断模型参数初始化后用训练数据微调该分支所有参数；
所述稳态分支使用神经元级微调在使用初始诊断模型参数初始化后将冻结模型网络参数，并赋予每个神经元一个缩放权重，并使用各个阶段任务训练微调。
在本发明的一个实施例中，所述使用最近邻典例分类器或余弦标准化分类器取代初始诊断模型的全连接层分类器进行分类的方法，包括：
所述最近邻典例分类器通过计算各类典例的特征均值
Figure BDA0003763736080000041
进行分类，其中y＝0,1,K,Jn+Kn-1，Py是my中样本的数量，F(·)是当前阶段的特征提取器，假设输入故障样本x，则通过
Figure BDA0003763736080000042
预测类型；
所述余弦标准化分类器通过计算特征与各类学习得到的原型之间的余弦相似度进行分类，在初始阶段通过
Figure BDA0003763736080000043
计算输入x为类c的预测概率，其中θ0为初始阶段全连接分类层参数，h0＝F0(x)为初始阶段提取的特征；在增量阶段通过
Figure BDA0003763736080000044
计算输入x为类c的预测概率，其中θn为学习得到的每个类的原型，hn＝Fn(x)为增量阶段n提取的特征，
Figure BDA0003763736080000045
表示l2归一化，
Figure BDA0003763736080000046
η是可学习缩放参数。
在本发明的一个实施例中，存储的典例与下一个设备的轴承故障诊断任务数据共同训练所述诊断模型，包括：
利用初始阶段存储的典例和下一个设备的轴承故障诊断任务数据训练双分支残差自适应聚合网络，分别赋予每个残差块层的动态残差块和稳态残差块的自适应聚合权重ωα和ωβ；
使用赋予了自适应聚合权重的所述双分支残差自适应聚合网络对训练数据x[0]进行特征提取，在第n个残差块层，动态残差块和稳态残差块提取的特征分别为
Figure BDA0003763736080000051
得到第n个残差块层的聚合特征为
Figure BDA0003763736080000052
其中W0表示初始阶段被冻结的参数，f[n]为第n个残差块层的特征提取过程，
Figure BDA0003763736080000053
在本发明的一个实施例中，所述增量阶段的损失函数包括分类交叉熵损失函数、分类级知识蒸馏损失函数和特征级知识蒸馏损失函数；所述分类交叉熵损失函数为
Figure BDA0003763736080000054
所述分类级知识蒸馏损失函数
Figure BDA0003763736080000055
其中
Figure BDA0003763736080000056
Figure BDA0003763736080000057
Figure BDA0003763736080000058
和
Figure BDA0003763736080000059
分别为旧模型的软标签和新模型的软预测，T表示温度参数；所述特征级知识蒸馏损失为
Figure BDA00037637360800000510
其中
Figure BDA00037637360800000511
和
Figure BDA00037637360800000512
分别为当前阶段的诊断模型与上一阶段的诊断模型所提取的归一化特征，
Figure BDA00037637360800000513
度量了二者之间的余弦相似度。
在本发明的一个实施例中，通过双层优化方案优化聚合权重和模型参数，包括：
所述双层优化方案包括上层问题
Figure BDA00037637360800000514
和下层问题
Figure BDA00037637360800000515
所述下层问题通过
Figure BDA00037637360800000516
更新模型参数Θn，其中μ1是下层问题学习率；
所述上层问题利用对该阶段学习的任务数据Dn随机采样得到
Figure BDA00037637360800000517
构建平衡数据
Figure BDA00037637360800000518
通过
Figure BDA00037637360800000519
更新自适应聚合权重，其中μ2是上层问题学习率。
在本发明的一个实施例中，所述增量阶段训练得到的诊断模型需能完成所有已学任务，因此测试数据包含所有已学习故障类C0:n，以验证所述诊断模型克服灾难性遗忘的能力。
本发明的上述技术方案相比现有技术具有以下优点：
本发明采用持续学习方法构建一个不断积累和复用知识的诊断模型，以适应跨设备增量轴承故障诊断的需求，与传统的深度学习方法相比，本发明能解决灾难性遗忘问题，更加符合工业应用的实际场景。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1为本发明所提供的基于持续学习的跨设备增量轴承故障诊断方法的流程图。
图2为本发明所提供的双分支残差自适应聚合网络的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
请参考图1，图1为本发明所提供的基于持续学习的跨设备增量轴承故障诊断方法的具体实施例的流程图，具体操作步骤如下：
步骤S101：利用加速度传感器采集多个不同设备上的轴承振动信号构建跨设备增量轴承健康状态数据集，并将数据集按照设备划分为不同阶段的轴承故障诊断任务；
步骤S102:在初始阶段使用第一个设备的轴承故障诊断任务数据训练ResNet-32，构建初始诊断模型，并筛选该阶段各个故障类型的典例；
步骤S103:在增量阶段引入神经元级微调对初始诊断模型进行修改，得到双分支残差自适应聚合网络，并使用最近邻典例分类器或余弦标准化分类器取代初始诊断模型的全连接层分类器，得到诊断模型；
步骤S104:将典例与下一个设备的轴承故障诊断任务数据共同训练所述诊断模型，使用增量阶段的损失函数缩小当前阶段的诊断模型与上一阶段的诊断模型在上一阶段诊断任务数据上表现的差异在旧任务数据上表现的差异，并通过双层优化方案优化聚合权重和模型参数，训练完成后筛选该阶段各个故障类型的典例；
步骤S105:重复步骤S104，当完成当前阶段任务的学习后，使用当前的诊断模型诊断所有已学习任务的轴承故障，得到轴承故障诊断结果，并验证诊断模型克服灾难性遗忘的能力。
本发明所提供的基于持续学习的跨设备增量轴承故障诊断方法，首先通过加速度传感器采集多个不同设备上的轴承振动信号构建跨设备增量轴承健康状态数据集，按设备划分不同阶段的诊断任务，模拟实际场景中子机器意外故障的发生造成了跨设备轴承故障而导致的诊断任务增加；使用第一个设备的轴承故障诊断任务数据训练ResNet-32，构建初始诊断模型，筛选各故障类型的典例存储；接着引入神经元级微调对初始诊断模型进行修改，得到双分支残差自适应聚合网络，作为后续增量阶段的特征提取器，以保证模型持续学习新任务时维持模型的可塑性和稳定性的平衡，并使用最近邻典例分类器或余弦标准化分类器取代初始诊断模型的全连接层分类器，得到诊断模型，从而能够避免类偏置问题；存储的典例与下一个设备的故障数据一同训练诊断模型，以唤醒模型对旧知识的记忆，克服深度学习模型的灾难性遗忘，通过聚合权重维持模型的可塑性和稳定性的平衡，使用增量阶段的损失函数缩小新旧模型在旧任务数据上表现的差异，并通过双层优化方案优化聚合权重和模型参数，完成训练后，选取此阶段数据的典例存储；重复上述训练过程，当完成当前阶段任务的学习后，使用当前的诊断模型诊断所有已学习任务的轴承故障，得到轴承故障诊断结果，并验证诊断模型克服灾难性遗忘的能力；即本发明采用了持续学习方法，构建一个不断积累和复用知识的诊断模型，以适应跨设备增量轴承故障诊断的需求。
进一步的，所述步骤S101具体包括以下步骤：
步骤S101.1：使用多个试验台采集所需实验数据，构建跨设备增量轴承健康状态数据集。
步骤S101.2：根据实际场景，划分不同阶段的诊断任务。假设第n个机器设备诊断任务用Tn表示，Tn的数据为
Figure BDA0003763736080000081
其中Pn是任务Tn的故障数据样本的数量。用Jn表示在任务Tn之前学习的故障类型
Figure BDA0003763736080000082
的数量，Kn表示任务Tn中学习的故障类型Cn的数量，那么Jn+1＝Kn+Jn，所以
Figure BDA0003763736080000083
表示Tn中的第i个样本，
Figure BDA0003763736080000084
表示
Figure BDA0003763736080000085
的健康状态标签。
如表1所列，使用三个机器设备的轴承故障数据集划分不同阶段的诊断任务。每个数据集有6种故障类型，共计18种故障类型。每个故障类型有100个训练样本和100个测试样本。三个数据集按顺序进行学习。例如，ABC代表在阶段0、增量阶段1和增量阶段2分别完成数据集A、B、C的诊断任务。
表1跨设备增量轴承故障数据集描述
Figure BDA0003763736080000086
进一步的，所述步骤S102具体包括以下步骤：
S102.1：在初始阶段(也指阶段0)利用诊断任务T0的数据
Figure BDA0003763736080000087
训练原始的ResNet-32学习故障类C0得到初始诊断模型Θ0，ResNet-32的详细结构如表2所示。模型的损失函数为分类交叉熵损失函数：
Figure BDA0003763736080000091
其中δ是真实标签。所述初始模型参数Θ0的更新过程为常规的
Figure BDA0003763736080000092
表2骨干网络ResNet-32的结构化参数
Figure BDA0003763736080000093
S102.2：训练完成后，利用分类层前的特征提取器F0通过herding算法选取一定数量的典例M0。用
Figure BDA0003763736080000094
表示故障类型c的训练样本，则c的类平均为
Figure BDA0003763736080000095
其中Pc是类c的训练样本的数量。选取的典例数量为5，则每个典例ε通过
Figure BDA0003763736080000096
计算得到类c的典例mc＝(ε0,ε1,K,εt-1)。
进一步的，所述步骤S103具体包括以下步骤：
S103.1：对初始诊断模型进行重新设计和修改，引入神经元级微调表征模型稳定性，得到双分支残差自适应聚合网络，其结构如图2所示，将双分支残差自适应聚合网络作为后续增量阶段的特征提取器，以保证模型持续学习新任务时维持模型的可塑性和稳定性的平衡。
所述动态分支使用的参数级微调，如图2(a)所示，在训练时使用初始模型参数初始化后用训练数据微调该分支所有参数α，动态分支可以快速学习新任务，因此可表征模型的可塑性
所述稳态分支使用的神经元级微调，如图2(b)所示，在使用初始模型参数初始化后将冻结模型网络参数，并赋予每个神经元一个缩放权重β，接着用各阶段任务训练微调β。假设稳态分支第k层卷积神经网络包含Q个神经元，所述神经元权重为初始模型冻结的参数
Figure BDA0003763736080000101
所述缩放权重为
Figure BDA0003763736080000102
则第k层卷积神经网络的输入为xk-1，输出为xk＝(Wkeβk)xk-1，其中e为哈达玛积。稳态分支由于冻结了初始阶段的所有参数，且待学习的参数远少于动态分支，因此具有克服灾难性遗忘的能力，能表征模型的稳定性。
利用双分支残差自适应聚合网络替换原始的ResNet-32，双分支聚合网络结构如图2(c)所示。
S103.2：使用两种可以避免类偏置问题的分类器，即最近邻典例分类器和余弦标准化分类器，代替原始的全连接层分类器。
所述最近邻典例分类器通过计算各类典例的特征均值
Figure BDA0003763736080000103
进行分类，其中y＝0,1,K,Jn+Kn-1，Py是my中样本的数量，F(·)是当前阶段的特征提取器，假设输入故障样本x，那么通过
Figure BDA0003763736080000104
预测类型；
所述余弦标准化分类器通过计算特征与各类学习得到的原型之间的余弦相似度进行分类。在初始阶段通过
Figure BDA0003763736080000105
计算输入x为类c的预测概率，其中θ0为初始阶段全连接分类层参数，h0＝F0(x)为初始阶段提取的特征；在增量阶段n，使用余弦标准化分类器，即通过
Figure BDA0003763736080000106
计算输入x为类c的预测概率，其中θn为学习得到的每个类的原型，hn＝Fn(x)为增量阶段n提取的特征，
Figure BDA0003763736080000107
表示l2归一化，
Figure BDA0003763736080000108
η是可学习缩放参数，通过η控制经过softmax处理的预测概率在[-1,1]范围内；
通过最近邻典例分类器和余弦标准化分类器均可避免新旧类分类偏置问题。
进一步的，所述步骤S104具体包括以下步骤：
S104.1：以增量阶段1为例，利用所述初始阶段保留的典例M0和该阶段任务数据D1训练双分支残差自适应聚合网络，每个残差块层的动态残差块和稳态残差块表征的可塑性和稳定性需要平衡，因此，分别赋予自适应聚合权重ωα和ωβ，如图2(c)所示；
所述训练数据x[0]通过双分支聚合网络提取特征，在第n个残差块层，动态残差块和稳态残差块提取的特征分别为
Figure BDA0003763736080000111
其中W0来自阶段0的被冻结的参数，f[n]为第n个残差块层的特征提取过程；
所述第n个残差块层的聚合特征为
Figure BDA0003763736080000112
其中
Figure BDA0003763736080000113
S104.2：所述增量阶段的损失函数为分类交叉熵损失
Figure BDA0003763736080000114
和知识蒸馏损失
Figure BDA0003763736080000115
其中，
Figure BDA0003763736080000116
Figure BDA0003763736080000117
和
Figure BDA0003763736080000118
分别为旧模型在旧故障类的软标签和新模型在旧故障类的硬标签，温度T通常大于1。通过知识蒸馏损失缩小了新模型在旧故障类C0:n-1上的表现与旧模型的差异，新模型中旧类的相似性分布被近似约束为旧模型中旧类的相似性分布。所述增量阶段的损失函数为
Figure BDA0003763736080000119
其中0＜λ≤1。
S104.2：所述增量阶段的损失函数为分类交叉熵损失函数，分类级知识蒸馏损失函数和特征级知识蒸馏损失函数组成；
所述分类交叉熵损失函数为
Figure BDA00037637360800001110
所述分类级知识蒸馏损失函数
Figure BDA00037637360800001111
其中
Figure BDA00037637360800001112
Figure BDA00037637360800001113
和
Figure BDA00037637360800001114
分别为旧模型的软标签和新模型的软预测，温度参数T通常大于1，新旧模型在同一样本的预测被约束为相似以克服灾难性遗忘；
所述特征级知识蒸馏损失为
Figure BDA00037637360800001115
其中
Figure BDA00037637360800001116
和
Figure BDA00037637360800001117
分别为新旧模型提取的归一化特征，
Figure BDA00037637360800001118
度量了二者之间的余弦相似度。特征级知识蒸馏损失鼓励新旧模型提取的同一样本的特征相似，进一步克服模型的灾难性遗忘；
所述增量阶段的损失函数为
Figure BDA0003763736080000121
其中随着学习任务的数量增加，需要保存的旧知识的程度也会增加，因此缩放参数为
Figure BDA0003763736080000122
所述自适应聚合权重和模型参数的最优化互相制约，即诊断模型Θn参数的更新需要固定自适应聚合权重，而适应自聚合权重ωn的更新需要固定模型参数，因此采取双层优化方案；
所述双层优化方案分为上层问题
Figure BDA0003763736080000123
和下层问题
Figure BDA0003763736080000124
所述下层问题通过
Figure BDA0003763736080000125
更新模型参数Θn，其中μ1是下层问题学习率；
所述上层问题中的自适应聚合权重的更新为平衡模型的可塑性与稳定性，利用对该阶段学习的任务数据Dn随机采样得到
Figure BDA0003763736080000126
构建平衡数据
Figure BDA0003763736080000127
通过
Figure BDA0003763736080000128
更新自适应聚合权重，其中μ2是上层问题学习率。
进一步的，所述步骤S105具体包括以下步骤：
所述增量阶段n(也指增量阶段2)训练得到的诊断模型Θn需能完成所有已学任务，因此测试数据包含所有已学习故障类C0:n，以验证模型克服灾难性遗忘的能力。
表3六种任务顺序下的诊断精度
Figure BDA0003763736080000131
如表3所示，在六种任务顺序下，重复五次实验，两种微调的诊断精度体现了不采取持续学习的深度学习诊断模型的灾难性遗忘，而本发明方法能有效解决灾难性遗忘，实现连续的跨设备增量轴承故障诊断。
综上所述，本发明基于持续学习方法设计了一种能实现跨设备增量轴承故障诊断方法。与传统的深度学习方法相比，本发明能解决灾难性遗忘问题，更合符工业应用的实际场景。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于持续学习的跨设备增量轴承故障诊断方法，其特征在于，包括以下步骤：
S101:利用加速度传感器采集多个不同设备上的轴承振动信号构建跨设备增量轴承健康状态数据集，并将数据集按照设备划分为不同阶段的轴承故障诊断任务；
S102:在初始阶段使用第一个设备的轴承故障诊断任务数据训练ResNet-32，构建初始诊断模型，并筛选该阶段各个故障类型的典例；
S103:在增量阶段引入神经元级微调对初始诊断模型进行修改，得到双分支残差自适应聚合网络，并使用最近邻典例分类器或余弦标准化分类器取代初始诊断模型的全连接层分类器，得到诊断模型；
S104:将典例与下一个设备的轴承故障诊断任务数据共同训练所述诊断模型，使用增量阶段的损失函数缩小当前阶段的诊断模型与上一阶段的诊断模型在上一阶段诊断任务数据上表现的差异，并通过双层优化方案优化聚合权重和模型参数，训练完成后筛选该阶段各个故障类型的典例；
S105:重复步骤S104，当完成当前阶段任务的学习后，使用当前的诊断模型诊断所有已学习任务的轴承故障，得到轴承故障诊断结果，并验证诊断模型克服灾难性遗忘的能力。
2.如权利要求1所述的基于持续学习的跨设备增量轴承故障诊断方法，其特征在于，所述利用加速度传感器采集多个不同设备上的轴承振动信号构建跨设备增量轴承健康状态数据集，并将数据集按照设备划分为不同阶段的轴承故障诊断任务，包括：
利用加速度传感器采集多个不同设备上的轴承振动信号构建跨设备增量轴承健康状态数据集D；
按照设备划分不同阶段的诊断任务，假设第n个设备的诊断任务用Tn表示，Tn的数据为
Figure FDA0003763736070000011
其中Pn是任务Tn的故障数据样本的数量，
Figure FDA0003763736070000012
表示Tn中的第i个样本，
Figure FDA0003763736070000013
表示
Figure FDA0003763736070000014
的健康状态标签，Jn表示在任务Tn之前学习的故障类型C0:n-1＝{C0,C1,K,Cn-1}的数量，Kn表示任务Tn中学习的故障类型Cn的数量。
3.如权利要求2所述的基于持续学习的跨设备增量轴承故障诊断方法，其特征在于，所述使用第一个设备的轴承故障诊断任务数据训练ResNet-32，构建初始诊断模型，并筛选该阶段各个故障类型的典例进行存储，包括：
在初始阶段利用任务T0的数据
Figure FDA0003763736070000021
训练ResNet-32学习故障类型C0得到初始诊断模型Θ0，其中
Figure FDA0003763736070000022
初始诊断模型Θ0的损失函数为：
Figure FDA0003763736070000023
其中δ是真实标签；
在完成此阶段模型训练后，使用特征提取器F0通过herding算法选取训练样本作为此阶段学习的故障类型的典例。
4.如权利要求3所述的基于持续学习的跨设备增量轴承故障诊断方法，其特征在于，所述使用特征提取器F0通过herding算法选取训练样本作为此阶段学习的故障类型的典例，包括：
使用
Figure FDA0003763736070000024
表示故障类型c的训练样本，则c的类平均为
Figure FDA0003763736070000025
其中Pc是类c的训练样本的数量，每个典例ε通过
Figure FDA0003763736070000026
计算得到类c的典例
Figure FDA0003763736070000027
其中t表示典例数量。
5.如权利要求1所述的基于持续学习的跨设备增量轴承故障诊断方法，其特征在于：引入神经元级微调对初始阶段诊断模型进行修改，得到双分支残差自适应聚合网络，包括：
利用双分支残差自适应聚合网络替换初始阶段诊断模型的单分支ResNet-32，其中，双分支残差自适应聚合网络包含动态分支和稳态分支，动态分支使用参数级微调，稳态分支使用神经元级微调。
6.如权利要求5所述的基于持续学习的跨设备增量轴承故障诊断方法，其特征在于：动态分支使用参数级微调，稳态分支使用神经元级微调，包括：
所述动态分支使用的参数级微调在训练时使用初始诊断模型参数初始化后用训练数据微调该分支所有参数；
所述稳态分支使用神经元级微调在使用初始诊断模型参数初始化后将冻结模型网络参数，并赋予每个神经元一个缩放权重，并使用各个阶段任务训练微调。
7.如权利要求1所述的基于持续学习的跨设备增量轴承故障诊断方法，其特征在于，所述使用最近邻典例分类器或余弦标准化分类器取代初始诊断模型的全连接层分类器进行分类的方法，包括：
所述最近邻典例分类器通过计算各类典例的特征均值
Figure FDA0003763736070000031
进行分类，其中y＝0,1,K,Jn+Kn-1，Py是my中样本的数量，F(·)是当前阶段的特征提取器，假设输入故障样本x，则通过
Figure FDA0003763736070000032
预测类型；
所述余弦标准化分类器通过计算特征与各类学习得到的原型之间的余弦相似度进行分类，在初始阶段通过
Figure FDA0003763736070000033
计算输入x为类c的预测概率，其中θ0为初始阶段全连接分类层参数，h0＝F0(x)为初始阶段提取的特征；在增量阶段通过
Figure FDA0003763736070000034
计算输入x为类c的预测概率，其中θn为学习得到的每个类的原型，hn＝Fn(x)为增量阶段n提取的特征，
Figure FDA0003763736070000035
表示l2归一化，
Figure FDA0003763736070000036
η是可学习缩放参数。
8.如权利要求6所述的基于持续学习的跨设备增量轴承故障诊断方法，其特征在于，存储的典例与下一个设备的轴承故障诊断任务数据共同训练所述诊断模型，包括：
利用初始阶段存储的典例和下一个设备的轴承故障诊断任务数据训练双分支残差自适应聚合网络，分别赋予每个残差块层的动态残差块和稳态残差块的自适应聚合权重ωα和ωβ；
使用赋予了自适应聚合权重的所述双分支残差自适应聚合网络对训练数据x[0]进行特征提取，在第n个残差块层，动态残差块和稳态残差块提取的特征分别为
Figure FDA0003763736070000037
得到第n个残差块层的聚合特征为
Figure FDA0003763736070000038
其中W0表示初始阶段被冻结的参数，f[n]为第n个残差块层的特征提取过程，
Figure FDA0003763736070000039
9.如权利要求1所述的基于持续学习的跨设备增量轴承故障诊断方法，其特征在于，所述增量阶段的损失函数包括分类交叉熵损失函数、分类级知识蒸馏损失函数和特征级知识蒸馏损失函数；所述分类交叉熵损失函数为
Figure FDA00037637360700000310
所述分类级知识蒸馏损失函数
Figure FDA0003763736070000041
其中
Figure FDA0003763736070000042
Figure FDA0003763736070000043
Figure FDA0003763736070000044
和
Figure FDA0003763736070000045
分别为旧模型的软标签和新模型的软预测，T表示温度参数；所述特征级知识蒸馏损失为
Figure FDA0003763736070000046
其中
Figure FDA0003763736070000047
和
Figure FDA0003763736070000048
分别为当前阶段的诊断模型与上一阶段的诊断模型所新旧模型提取的归一化特征，
Figure FDA0003763736070000049
度量了二者之间的余弦相似度。
10.如权利要求1所述的基于持续学习的跨设备增量轴承故障诊断方法，其特征在于，通过双层优化方案优化聚合权重和模型参数，包括：
所述双层优化方案包括上层问题
Figure FDA00037637360700000410
和下层问题
Figure FDA00037637360700000411
所述下层问题通过
Figure FDA00037637360700000412
更新模型参数Θn，其中μ1是下层问题学习率；
所述上层问题利用对该阶段学习的任务数据Dn随机采样得到
Figure FDA00037637360700000413
构建平衡数据
Figure FDA00037637360700000414
通过
Figure FDA00037637360700000415
更新自适应聚合权重，其中μ2是上层问题学习率。
CN202210879607.6A 2022-07-25 2022-07-25 基于持续学习的跨设备增量轴承故障诊断方法 Active CN115270956B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210879607.6A CN115270956B (zh) 2022-07-25 2022-07-25 基于持续学习的跨设备增量轴承故障诊断方法
PCT/CN2022/118373 WO2024021246A1 (zh) 2022-07-25 2022-09-13 基于持续学习的跨设备增量轴承故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210879607.6A CN115270956B (zh) 2022-07-25 2022-07-25 基于持续学习的跨设备增量轴承故障诊断方法

Publications (2)

Publication Number Publication Date
CN115270956A true CN115270956A (zh) 2022-11-01
CN115270956B CN115270956B (zh) 2023-10-27

Family

ID=83770047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210879607.6A Active CN115270956B (zh) 2022-07-25 2022-07-25 基于持续学习的跨设备增量轴承故障诊断方法

Country Status (2)

Country Link
CN (1) CN115270956B (zh)
WO (1) WO2024021246A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965057A (zh) * 2022-11-28 2023-04-14 北京交通大学 一种面向列车传动系统的类脑持续学习故障诊断方法
CN116089883A (zh) * 2023-01-30 2023-05-09 北京邮电大学 用于提高已有类别增量学习新旧类别区分度的训练方法
CN116108346A (zh) * 2023-02-17 2023-05-12 苏州大学 一种基于生成特征重放的轴承增量故障诊断终身学习方法
CN116399589A (zh) * 2023-03-29 2023-07-07 哈尔滨理工大学 基于rcmwe的滚动轴承微弱信号特征提取方法
CN116625689A (zh) * 2023-05-24 2023-08-22 石家庄铁道大学 基于smder的滚动轴承故障诊断方法及系统
CN117150377A (zh) * 2023-11-01 2023-12-01 北京交通大学 基于全自主动机偏移的电机故障诊断阶梯式学习方法
CN117216635A (zh) * 2023-09-12 2023-12-12 中国矿业大学 基于多领域自适应构造式增量网络的轴承故障诊断方法
CN117313251A (zh) * 2023-11-30 2023-12-29 北京交通大学 基于非滞后渐进学习的列车传动装置全局故障诊断方法
CN117313000A (zh) * 2023-09-19 2023-12-29 北京交通大学 一种基于样本表征拓扑的电机类脑学习故障诊断方法
CN117407797A (zh) * 2023-12-15 2024-01-16 山东能源数智云科技有限公司 基于增量学习的设备故障诊断方法及模型的构建方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117668623B (zh) * 2024-02-02 2024-05-14 中国海洋大学 船舶管道阀门泄漏多传感器跨域故障诊断方法
CN117872038B (zh) * 2024-03-11 2024-05-17 浙江大学 一种基于图论的直流微电网失稳故障源定位方法及装置
CN118014051B (zh) * 2024-04-08 2024-07-05 传申弘安智能(深圳)有限公司 多模态大模型增量学习方法、装置及计算机设备
CN118194152B (zh) * 2024-05-16 2024-08-02 苏州顶裕节能环保有限公司 动平衡仪数据处理方法、装置及设备
CN118296546B (zh) * 2024-06-06 2024-08-23 浙江大学 一种具有自学习强泛化能力的失稳故障监测方法及装置
CN118378541B (zh) * 2024-06-21 2024-08-23 浙江大学 拉杆转子系统拉杆螺栓松动故障诊断方法、装置及其应用
CN118468143B (zh) * 2024-07-11 2024-09-20 中国海洋大学 基于声学信号的螺旋桨速度解缠域泛化故障诊断方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429153A (zh) * 2021-12-31 2022-05-03 苏州大学 基于终身学习的齿轮箱增量故障诊断方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162018B (zh) * 2019-05-31 2020-11-24 天津开发区精诺瀚海数据科技有限公司 基于知识蒸馏与隐含层共享的增量式设备故障诊断方法
CN110780146B (zh) * 2019-12-10 2021-04-27 武汉大学 基于多阶段迁移学习的变压器故障辨识与定位诊断方法
CN112183581A (zh) * 2020-09-07 2021-01-05 华南理工大学 基于自适应迁移神经网络的半监督机械故障诊断方法
CN113935406B (zh) * 2021-09-27 2023-05-16 苏州大学 基于对抗流模型的机械设备无监督故障诊断方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429153A (zh) * 2021-12-31 2022-05-03 苏州大学 基于终身学习的齿轮箱增量故障诊断方法及系统

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965057B (zh) * 2022-11-28 2023-09-29 北京交通大学 一种面向列车传动系统的类脑持续学习故障诊断方法
CN115965057A (zh) * 2022-11-28 2023-04-14 北京交通大学 一种面向列车传动系统的类脑持续学习故障诊断方法
CN116089883A (zh) * 2023-01-30 2023-05-09 北京邮电大学 用于提高已有类别增量学习新旧类别区分度的训练方法
CN116089883B (zh) * 2023-01-30 2023-12-19 北京邮电大学 用于提高已有类别增量学习新旧类别区分度的训练方法
CN116108346A (zh) * 2023-02-17 2023-05-12 苏州大学 一种基于生成特征重放的轴承增量故障诊断终身学习方法
CN116399589B (zh) * 2023-03-29 2024-01-12 哈尔滨理工大学 基于rcmwe的滚动轴承微弱信号特征提取方法
CN116399589A (zh) * 2023-03-29 2023-07-07 哈尔滨理工大学 基于rcmwe的滚动轴承微弱信号特征提取方法
CN116625689A (zh) * 2023-05-24 2023-08-22 石家庄铁道大学 基于smder的滚动轴承故障诊断方法及系统
CN116625689B (zh) * 2023-05-24 2023-12-22 石家庄铁道大学 基于smder的滚动轴承故障诊断方法及系统
CN117216635A (zh) * 2023-09-12 2023-12-12 中国矿业大学 基于多领域自适应构造式增量网络的轴承故障诊断方法
CN117313000A (zh) * 2023-09-19 2023-12-29 北京交通大学 一种基于样本表征拓扑的电机类脑学习故障诊断方法
CN117313000B (zh) * 2023-09-19 2024-03-15 北京交通大学 一种基于样本表征拓扑的电机类脑学习故障诊断方法
CN117150377A (zh) * 2023-11-01 2023-12-01 北京交通大学 基于全自主动机偏移的电机故障诊断阶梯式学习方法
CN117150377B (zh) * 2023-11-01 2024-02-02 北京交通大学 基于全自主动机偏移的电机故障诊断阶梯式学习方法
CN117313251A (zh) * 2023-11-30 2023-12-29 北京交通大学 基于非滞后渐进学习的列车传动装置全局故障诊断方法
CN117313251B (zh) * 2023-11-30 2024-03-15 北京交通大学 基于非滞后渐进学习的列车传动装置全局故障诊断方法
CN117407797A (zh) * 2023-12-15 2024-01-16 山东能源数智云科技有限公司 基于增量学习的设备故障诊断方法及模型的构建方法
CN117407797B (zh) * 2023-12-15 2024-03-29 山东能源数智云科技有限公司 基于增量学习的设备故障诊断方法及模型的构建方法

Also Published As

Publication number Publication date
CN115270956B (zh) 2023-10-27
WO2024021246A1 (zh) 2024-02-01

Similar Documents

Publication Publication Date Title
CN115270956B (zh) 基于持续学习的跨设备增量轴承故障诊断方法
CN110609524B (zh) 一种工业设备剩余寿命预测模型及其构建方法和应用
CN114429153B (zh) 基于终身学习的齿轮箱增量故障诊断方法及系统
CN111190349A (zh) 船舶机舱设备状态监测及故障诊断方法、系统及介质
Chadha et al. Time series based fault detection in industrial processes using convolutional neural networks
KR20210056296A (ko) 입력 데이터의 처리를 위한 최적의 어노말리 감지 모델 결정 방법
Shi et al. Health index synthetization and remaining useful life estimation for turbofan engines based on run-to-failure datasets
Nasser et al. A hybrid of convolutional neural network and long short-term memory network approach to predictive maintenance
CN115435892A (zh) 一种复杂机电装备的智能故障诊断方法
Zhang et al. Intelligent machine fault diagnosis using convolutional neural networks and transfer learning
CN112101659A (zh) 一种基于堆叠去噪自编码器的复杂装备寿命预测方法
Zhao et al. Ensemble adaptive convolutional neural networks with parameter transfer for rotating machinery fault diagnosis
CN115791179A (zh) 基于聚类算法的自监督轴承故障诊断方法
CN113962289B (zh) 面向终身学习的旋转机械在线智能故障诊断方法及系统
CN112683532B (zh) 轴承的跨工况条件对抗诊断方法
CN112613227B (zh) 基于混合机器学习的航空发动机剩余使用寿命预测模型
Maurya et al. Intelligent hybrid scheme for health monitoring of degrading rotary machines: An adaptive fuzzy c-means coupled with 1-D CNN
CN117112992A (zh) 一种聚酯酯化阶段的故障诊断方法
KR20210050412A (ko) 입력 데이터의 처리를 위한 최적의 어노말리 감지 모델 결정 방법
CN116026590A (zh) 自监督的轴承故障诊断方法
Cabanes et al. A simultaneous two-level clustering algorithm for automatic model selection
CN109547248A (zh) 基于人工智能的在轨飞行器自组网故障诊断方法及装置
CN114528906A (zh) 一种旋转机械的故障诊断方法、装置、设备和介质
Li et al. Rotating machinery fault diagnosis based on spatial-temporal GCN
CN114202028A (zh) 基于mamtl的滚动轴承寿命阶段识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant