CN115628910A - 一种基于迁移学习的嵌入式轴承故障诊断装置及设备 - Google Patents

一种基于迁移学习的嵌入式轴承故障诊断装置及设备 Download PDF

Info

Publication number
CN115628910A
CN115628910A CN202211653310.4A CN202211653310A CN115628910A CN 115628910 A CN115628910 A CN 115628910A CN 202211653310 A CN202211653310 A CN 202211653310A CN 115628910 A CN115628910 A CN 115628910A
Authority
CN
China
Prior art keywords
fault diagnosis
encoder
signal
learning
embedded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211653310.4A
Other languages
English (en)
Other versions
CN115628910B (zh
Inventor
岑健
杨卓洪
司伟伟
赵必创
伍银波
刘溪
熊建斌
徐辰华
陈红花
曾林喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN202211653310.4A priority Critical patent/CN115628910B/zh
Publication of CN115628910A publication Critical patent/CN115628910A/zh
Application granted granted Critical
Publication of CN115628910B publication Critical patent/CN115628910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G01M13/045—Acoustic or vibration analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

本发明涉及故障诊断领域，特别是一种基于迁移学习的嵌入式轴承故障诊断装置及设备。所述装置包括加速度传感器、信号放大器、嵌入式处理器以及故障诊断单元；所述加速度传感器用于采集轴承的振动信号，并将所述振动信号转换成模拟电信号；所述信号放大器用于对所述模拟电信号进行信号放大，并输出到所述嵌入式处理器；所述嵌入式处理器用于将放大后的所述模拟电信号转换成数字信号，并输入到故障诊断单元；所述故障诊断单元用于根据所述数字信号判断所述轴承的故障类型，并输出所述子序列对应的故障类型。通过本发明可以提高嵌入式故障诊断装置的集成度，能够在工业现场对深度学习诊断模型进行迁移部署，降低了故障诊断的成本。

Description

一种基于迁移学习的嵌入式轴承故障诊断装置及设备
技术领域
本发明涉及旋转机械故障诊断领域，特别是涉及一种基于迁移学习的嵌入式轴承故障诊断装置及设备。
背景技术
在故障诊断领域中，采用深度学习算法进行故障诊断，从而有效提高故障诊断的准确率已成为现有技术中常用的技术方案。然而，大多数的深度学习故障诊断模型的改进都是基于Windows或Linux系统的台式计算机或服务器训练而来，并没有考虑这些模型对硬件设备的要求，因为需要基于大量标签样本来训练模型，因此这些模型对硬件设备的算力要求很高，直接将这些诊断模型部署到算力有限的工业现场或终端，实际的运行效果并不理想，工程实现难度大且成本高。
另外，传统的Transformer用于故障诊断往往需要大量的标签样本来训练，由于训练量较大，而实际工业过程中能获取的标签数据少，这使得传统的Transformer在工业设备的故障诊断中效果不好。
发明内容
针对上述提出的基于大量标签样本来训练模型，对硬件设备算力要求高和实际工业过程中能获取的标签数据少，使得传统的Transformer在工业设备的故障诊断中效果不好两个问题，对传统的Transformer进行了优化，设计了一种掩码自监督Transformer故障诊断模型，基于该模型设计出一种基于迁移学习的嵌入式轴承故障诊断装置及设备，用较少的标签，也能有效提高故障诊断效率。
为了实现上述发明目的，本发明提供了以下技术方案：
一种基于迁移学习的嵌入式轴承故障诊断装置，包括加速度传感器、信号放大器、嵌入式处理器以及故障诊断单元；
所述加速度传感器用于采集轴承的振动信号，并将所述振动信号转换成模拟电信号；
所述信号放大器用于对所述模拟电信号进行信号放大，并输出到所述嵌入式处理器；
所述嵌入式处理器包括AD转换器以及故障诊断单元；
所述AD转换器用于将放大后的所述模拟电信号转换成数字信号，并输入到故障诊断单元；
所述故障诊断单元用于根据所述数字信号判断所述轴承的故障类型；所述故障类型包括正常无故障、内圈磨损、外圈磨损以及滚珠磨损；
具体的，所述故障诊断单元用于执行以下工作步骤：
S1：对所述数字信号进行分片操作，输出为若干子序列；
S2：将所述子序列输入到预训练的掩码自监督Transformer故障诊断模型中，输出所述子序列对应的故障类型；
其中，掩码自监督Transformer故障诊断待训练模型包括Transformer编码器和Transformer解码器；所述故障诊断模型的训练过程包括：
S01：自监督学习阶段：基于所述编码器和所述解码器进行自监督学习，得到编码器的初始训练参数；
S02：微调学习阶段：保持所述编码器的初始训练参数，并排除所述编码器后进行监督学习，输出当前所述编码器为所述掩码自监督Transformer故障诊断模型。本发明的方法提出了一种新的基于掩码自监督Transformer故障诊断模型的故障诊断装置，掩码自监督Transformer故障诊断模型可以缓解过拟合，有效提高测试数据集的诊断精度。由于该方法的采用，可以提高嵌入式故障诊断装置的集成度，能够在工业现场对深度学习诊断模型进行迁移部署，降低了故障诊断的成本，并且该发明可以代替工作人员进行工业设备振动状态的诊断，能够精准识别工业设备的工作状态，在发现异常后对及时发出声光信号提醒工作人员，采取措施抑制异常的进一步发展。该系统的使用可以降低工业设备所受到的停机维修时间。此系统可以与现有工业系统进行无缝衔接，有效减少故障诊断成本，大大提高故障诊断效率。
作为本发明的优选方案，所述S01包括：
S011：输入若干子序列，并为所述子序列添加随机掩码；
S012：将添加随机掩码后的所述子序列输入到所述编码器中，输出信号特征；
S013：所述解码器根据所述信号特征以及多头注意力机制对掩码部分的子序列进行预测，输出预测值；
S014：根据所述预测值与真实值计算损失函数，并反向传播更新所述编码器的权重参数；判断所述损失函数是否收敛；
若收敛，则输出当前的所述权重参数为所述编码器的初始训练参数；否则，进入所述S011。
作为本发明的优选方案，所述编码器用于对未掩码的信号特征进行提取；包括多头注意机制模块、前馈神经网络模块，层归一化模块以及残差连接模块。
作为本发明的优选方案，所述S012中所述信号特征提取表达式为：
Figure 513928DEST_PATH_IMAGE001
其中x是所述编码器的输入，
Figure 962227DEST_PATH_IMAGE002
是所述编码器中间层的输出，而x o 是所述编码器的输出。
作为本发明的优选方案，所述S014中使用均方误差作为损失函数，其数学表达如下：
Figure 7543DEST_PATH_IMAGE003
其中，Γloss为均方误差，k代表输入信号的长度，x i 代表第i个点的真实信号值，
Figure 933911DEST_PATH_IMAGE004
代表第i个点的预测信号值。
所述权重参数的更新表达式为：
Figure 30174DEST_PATH_IMAGE005
其中，η为预设的学习率，θ为待更新权重参数。
作为本发明的优选方案，所述S02包括：
S021：将标注后的若干子序列输入到所述编码器中；其中，所述编码器采用所述S01中输出的所述初始训练参数；
S022：将所述编码器输出的数据输入到线性层，并输出故障类型预测值；
S023：根据所述故障类型预测值与标注值计算交叉熵损失，反向传播更新线性层的权重参数；判断所述交叉熵损失是否收敛；
若收敛，则输出此时的掩码自监督Transformer故障诊断模型为预训练完成的掩码自监督Transformer故障诊断模型；否则，进入所述S021。
作为本发明的优选方案，所述嵌入式处理器优选为RK3399嵌入式处理器。
作为本发明的优选方案，所述加速度传感器优选为CTC振动传感器。
一种基于迁移学习的嵌入式轴承故障诊断设备，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项所述的一种基于迁移学习的嵌入式轴承故障诊断装置中所述故障诊断单元的故障诊断步骤。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一项所述的一种基于迁移学习的嵌入式轴承故障诊断装置中所述故障诊断单元的故障诊断步骤。
与现有技术相比，本发明的有益效果：
本发明的方法提出了一种新的基于掩码自监督Transformer故障诊断模型的故障诊断装置，掩码自监督Transformer故障诊断模型可以缓解过拟合，有效提高测试数据集的诊断精度。由于该方法的采用，可以提高嵌入式故障诊断装置的集成度，能够在工业现场对深度学习诊断模型进行迁移部署，降低了故障诊断的成本，并且该发明可以代替工作人员进行工业设备振动状态的诊断，能够精准识别工业设备的工作状态，在发现异常后对及时发出声光信号提醒工作人员，采取措施抑制异常的进一步发展。该系统的使用可以降低工业设备所受到的停机维修时间。此系统可以与现有工业系统进行无缝衔接，有效减少故障诊断成本，大大提高故障诊断效率。
附图说明
图1为本发明实施例1中一种基于迁移学习的嵌入式轴承故障诊断装置的结构示意图；
图2为本发明实施例1中一维振动信号分片示意图；
图3为本发明实施例1中掩码自监督Transformer故障诊断模型的训练过程示意图；
图4为本发明实施例5中一种基于迁移学习的嵌入式故障诊断装置的架构框图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
一种基于迁移学习的嵌入式故障诊断装置，所述装置通过各部分协调工作实现对工业设备的在线实时故障诊断，如图1所示，包括加速度传感器、信号放大器、数据采集器和嵌入式处理器。
所述加速度传感器优选为振动传感器（例如产品型号为AC102的美国CTC振动传感器）。用于将采集到的机械量转化为模拟量后通过信号线传输给信号放大器。
所述信号放大器包括两个信号调理模块（例如产品型号为JX59CP-05的精信信号调理模块）。所述信号调理模块对模拟量进行放大至0-3.3V，经过处理后再次将模拟量传输至嵌入式处理器。
所述嵌入式处理器包括AD转换器以及故障诊断单元；所述AD转换器用于将放大后的所述模拟电信号转换成数字信号，并输入到故障诊断单元。本实施例优选为RK3399嵌入式处理器（本发明RK3399嵌入式处理器的最小系统由主芯片上电复位电路，时钟电路，电源供电电路组成）；具体的，所述嵌入式处理器的AD转换模块用于实现模拟量转换为数字量，本实施例以6通道，大小为0-3.3V，采样频率为48kHz的模拟量直接连接到嵌入式处理器的I/O引脚作为AD转换模块的输入，考虑到故障诊断的实时性以及故障诊断单元所需的数字量大小，AD转换模块的转换位数优选为12位，分辨则为0.805mV，可满足1000条采样点大小为1024个数据的寄存，AD转换模块将处理好的数字量传送给故障诊断单元。
所述故障诊断单元用于对所述数字信号进行故障诊断，判断所述轴承的故障类型；所述故障类型包括正常无故障、内圈磨损、外圈磨损以及滚珠磨损。
具体的，所述故障诊断单元用于执行以下工作步骤：
S1：对所述数字信号进行分片操作，输出为若干子序列。
其中，输入的数据（所述数字信号）是轴承运行时采集到轴承的振动信号，该振动信号是一维数字量数据，传统方式是直接对一个完整的1024长度的信号进行处理。而本发明的方法中，首先对一维振动信号进行了分片操作，对一维振动信号进行分片操作举例来说用以下方法实现：
一个振动信号（也就是一维数字量数据）是采样点数为1024的时序振动信号样本，将1024的振动信号样本平均分形成的32片，每片是32（即1024/32）的长度，由此将1024的振动信号按顺序分为32个子序列，32个小序列仍然属于同一个样本，对应一个标签。这么分片的目的是为了Transformer网络处理到每个子序列的同时，还能充分关注到当前子序列与其余子序列之间的关系。不同于CNN网络的卷积核只关注了局部或边缘的特征，这种分片操作能使Transformer网络有效学习一个样本内各个不同子序列之间的相互关系，从而捕获振动信号的全局特征。
S2：将所述子序列输入到预训练的掩码自监督Transformer故障诊断模型中，输出所述子序列对应的故障类型。
对于预先训练好的掩码自监督Transformer故障诊断模型，当给它一个输入数据向量x=[x 1，x 2，....，x 1024]时，该模型首先对x进行特征提取得到特征向量z=[z 1，z 2，z 3，z 4]，然后通过Softmax函数对提z进行归一化Softmax(z)得到概率矩形p=[p1，p2，p3，p4]，最终将概率矩阵p中最大值的p i 视为故障诊断结果输出。其中p1对应轴承正常的概率，p2对应轴承内圈磨损的概率，p3对应轴承外圈磨损的概率，p4对应滚珠磨损的概率。
掩码自监督Transformer故障诊断模型的训练过程引入了一种掩码自监督学习策略，并进一步设计了带有掩码学习功能的编码器和解码器（所述编码器和解码器为Transformer架构），它可根据可见的部分信号来重建完整的原始信号。所述掩码自监督Transformer故障诊断模型的训练过程如图3所示。该方法主要包括两个学习阶段：基于自监督学习的预训练和基于故障诊断的微调。在预训练之后，解码器部分被丢弃，编码器被应用于未掩盖输入信号的识别任务。
具体的，掩码自监督Transformer故障诊断待训练模型包括Transformer编码器和Transformer解码器；在自监督学习阶段有编码器和解码器，在微调学习阶段没有解码器，只有编码器。
具体的迁移过程就是，对自监督学习阶段编码器的网络参数进行保存，将在直接用于微调学习阶段，并且在微调学习阶段编码器的网络参数不会再进行更新。在实际训练好的掩码自监督Transformer故障诊断模型中，也只有编码器，而没有解码器。
所述故障诊断模型的训练过程包括：
S01：自监督学习阶段：基于所述编码器和所述解码器进行自监督学习，得到编码器的初始训练参数。
S02：微调学习阶段：保持所述编码器的初始训练参数，并排除所述编码器后进行监督学习，输出当前所述编码器为所述掩码自监督Transformer故障诊断模型。
实施例2
本实施例与实施例1的区别在于，所述故障诊断模型的训练过程还包括以下步骤：
S01：自监督学习阶段：在自监督学习的过程中，首先对一维数字量数据进行分片操作，有效地分段为多个子序列，其次对一部分的子序列进行随机掩码操作，并将掩码的子序列设置为可学习的参数，对未被子序列添加上位置信息后输入到Transformer网络中进行自监督学习。包括以下步骤：
S011：输入若干子序列，并为所述子序列添加随机掩码；
S012：将添加随机掩码后的所述子序列输入到所述编码器中，输出信号特征；
S013：所述解码器根据所述信号特征以及多头注意力机制对掩码部分的子序列进行预测，输出预测值；
S014：根据所述预测值与真实值计算损失函数，并反向传播更新所述编码器的权重参数；判断所述损失函数是否收敛；
若收敛，则输出当前的所述权重参数为所述编码器的初始训练参数；否则，进入所述S011。
S02：微调学习阶段：在微调阶段，预训练模型中的编码器部分将被保留并迁移到目标任务上，解码器部分则被丢弃。我们将编码器的权重进行冻结，仅允许MLP线性层的权重进行再次学习，使用正常样本及其对应的标签以监督学习的方式对模型进行训练。包括以下步骤：
S021：将标注后的若干子序列输入到所述编码器中；其中，所述编码器采用所述S01中输出的所述初始训练参数；
S022：将所述编码器输出的数据输入到线性层，并输出故障类型预测值；
S023：根据所述故障类型预测值与标注值计算交叉熵损失，反向传播更新线性层的权重参数；判断所述交叉熵损失是否收敛；
若收敛，则输出此时的掩码自监督Transformer故障诊断模型为预训练完成的掩码自监督Transformer故障诊断模型；否则，进入所述S021。
具体的，在基于自监督学习的预训练阶段，原始信号添加随机掩码后输入到编码器，随机掩码就是对分片后的32个子序列中，随机地选取几个进行屏蔽，随机在计算程序中是利用函数实现的。编码器用于对未掩码的信号特征进行提取。解码器根据编码器提取的特征以及注意机制的对掩码部分的子序列进行预测，用于预测完整信号中的被掩码部分。在解码器中，掩码部分信号被初始化可学习的参数，它们在训练过程中不断的迭代，形成预测向量，预测向量用来表示被掩码部分的信号值。这些预测值与真实值计算均方误差损失，用于反向传播更新网络的权重参数。
编码器包括有多头自注意力机制，前馈神经网络，层归一化以及残差连接四个子模块。
（1）多头注意力机制由多个自注意力机制构成，假设一组输入矩阵为Q∈Rm×n, K∈Rm×n, V∈Rm×n, 那么自我注意力计算的数学表达如下：
Figure 383795DEST_PATH_IMAGE006
其中，
Figure 181986DEST_PATH_IMAGE007
是比例因子，Q、K、V分别是自我注意力计算中的查询矩阵、键矩阵和值矩阵参数。
多头自注意力机制通过不同的初始化形式得到多组Q、K、V矩阵来实现自我注意力的并行计算，然后再通过转换矩阵Wo将并行计算的多组注意力关系转化为一组输出，其数学运算过程可表示为：
Figure 646466DEST_PATH_IMAGE008
Figure 95771DEST_PATH_IMAGE009
分别代表的是第i个自我注意力机制中，Q,K,V对应的映射参数矩阵。
（2）前馈神经网络的数学表达如下所示：
Figure 354714DEST_PATH_IMAGE010
其中，GeLU是非线性激活函数，其中W 1和W 2表示权重，b 1和b 2表示的偏置。
（3）在给定x∈Rm×n的输入下，层归一化的数学表达如下：
Figure 640201DEST_PATH_IMAGE011
其中μ，σ 2 代表x的均值与方差；g，b分别是缩放参数和平移参数，ε是一个确保分母大于零的很小的正数。
（4）残差连接的一般数学表达式如下所示：
Figure 908372DEST_PATH_IMAGE012
其中f(x)是残差部分，SC(x)表示残差层的输出，x为残差层的输入。
（5）对于编码器而言，特征提取过程可表达为：
Figure 962915DEST_PATH_IMAGE013
其中x是该编码器的输入，
Figure 674651DEST_PATH_IMAGE002
是编码器中间层的输出，而x o 是该编码器的最终输出。
自监督学习是利用未标记数据进行自我监督学习的一种表征方法，是通过学习一个辅助任务的目标函数来获取特征表示。通过这种构造的监督信息对模型进行训练，从而可以学习到对下游任务有价值的表征。
所述S014中预测值将与真实值计算均方误差损失，用于反向传播更新网络的权重参数具体是指：
解码器用于预测的信号掩盖部分，然后通过最小化模型预测信号值
Figure 181855DEST_PATH_IMAGE014
和原始信号真实值x之间的重构损失来达到信号重构和特征学习目的。在这个过程中，通常使用均方误差（Mean Square Error，MSE）作为损失函数，其数学表达如下：
Figure 988137DEST_PATH_IMAGE003
其中k代表输入信号的长度，x i 代表第i个点的真实信号值，
Figure 897187DEST_PATH_IMAGE004
代表第i个点的预测信号值。
利用均方误差损失，用于反向传播更新网络的权重参数过程为：
Figure 497933DEST_PATH_IMAGE005
其中η代表学习率，一般设置为0.001，θ是指权重参数。
在基于故障诊断的微调阶段，预训练模型中的编码器部分将被保留并迁移到目标任务上，解码器部分则被丢弃。将编码器的权重进行冻结，仅允许线性层的权重进行再次学习，使用正常样本及其对应的标签以监督学习的方式对模型进行训练。
实施例3
本实施例与实施例2的区别在于，所述自监督学习阶段在S011为所述子序列添加随机掩码时，还包括为所述子序列添加位置信息，用于防止所述编码器在并行计算时，丢失子序列相对位置或绝对位置关系。具体操作如下：
在随机掩码处理后的所述子序列上，加上可学习的训练参数；其表达式如下：
input = X mask +θ positional ，
其中，input为添加位置信息后的所述子序列，X mask 为随机掩码处理后的所述子序列，θ positional 为可学习的训练参数。
实施例4
本实施例为实施例1所述掩码自监督Transformer故障诊断模型中模型训练方法的另一种实施方式，包括以下步骤：
Step1：通过实验平台采集原始数据集。
Step2：将原始数据集划分为训练集与测试集。
Step3：未标记样本用于的掩码自监督Transformer故障诊断模型（下称诊断模型）第一阶段学习，即掩码自监督学习。
Step4：将上一步骤的得到预训练模型迁移到目标任务中，并将解码器部分直接丢弃，对编码器的大部分参数进行冻结，并仅允许线性层的参数再次学习。
Step5：使用训练集中的有限个标记样本继续对诊断模型进行第二阶段学习，即目标任务上的微调学习。
Step6：最后将目标任务上训练好的模型进行保存，使用测试样本输入诊断模型模型已验证其性能。
验证过程：
实验数据是在多级离心式风机机组故障诊断平台上实测获得的，每个样本采样点数为1024点。如表1所示，数据集共 400 个样本，其中轴承正常、轴承外圈故障、轴承内圈故障、轴承缺滚珠四种状态各为 100 个样本。
表1 多级离心风机轴承故障数据集
Figure 492434DEST_PATH_IMAGE015
将原始数据集按照75%：25%的比例划分为了训练集与测试集，那么训练集的样本数量一共是300个，测试集的样本数据量是100个。在自监督学习的过程中，在利用上述的训练集来构造辅助任务，这样的辅助任务需要利用相对大量的未标记样本进行训练，为此，对训练集中的有限样本简单地进行滑动窗口分割，将300个样本生成了4000个样，每个样本的长度依然是1024，滑窗的步长设置为75。注意，这4000个样本仅用于自监督学习的过程，在自监督学习过程结束之后，300个原始的训练样本将用于对模型的微调，以使模型获得目标任务上的故障分类能力。最后，测试集的100个样本将用于微调后模型的测试。
在自监督学习的训练过程中，模型的编码器层数为4，解码器的层数为1，具体训练参数设置如表2所示。
表2 训练参数设置
Figure 351674DEST_PATH_IMAGE016
为凸显本申请所述方法的有效性和优越性，构造以下两种对比方法：1)对
比方法1：采用传统深度学习方法的卷积神经网络；2)对比方法2：采用传统深度学习方法的Transformer。实验结果从表3所示，与对比方法1相比，本申请方法在诊断准确率上提高了6.25%，而对比方法2诊断准确率仅为77.25%，这是因为小数据集在深度学习模型中出现了过拟合现。本申请方法的诊断结果高达95.59%，这体现了自监督学习的有效性，尤其是本申请的掩码自监督Transformer方法，它能利用未标记的训练样本是能帮助模型学习更多的故障表征特征，从而提高了最终的故障诊断结果。
表 3 与不同方法的比较
Figure 380810DEST_PATH_IMAGE017
实施例5
如图4所示，本实施例与上述实施例的区别在于，所述装置还包括触摸屏以及声光报警器。
所述触摸屏用于显示当前实时数据以及故障诊断结果，所述声光报警器负责对异常的故障诊断结果发出预警信号。
实施例6
一种基于迁移学习的嵌入式轴承故障诊断设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器，以及与所述至少一个处理器通讯连接的至少一个输入输出接口；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述实施例所述的一种基于迁移学习的嵌入式轴承故障诊断装置中所述故障诊断单元的故障诊断步骤。所述输入输出接口可以包括显示器、键盘、鼠标、以及USB接口，用于输入输出数据。
本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（Read Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于迁移学习的嵌入式轴承故障诊断装置，其特征在于，包括加速度传感器、信号放大器、嵌入式处理器以及故障诊断单元；
所述加速度传感器用于采集轴承的振动信号，并将所述振动信号转换成模拟电信号；
所述信号放大器用于对所述模拟电信号进行信号放大，并输出到所述嵌入式处理器；
所述嵌入式处理器包括AD转换器以及故障诊断单元；
所述AD转换器用于将放大后的所述模拟电信号转换成数字信号，并输入到故障诊断单元；
所述故障诊断单元用于根据所述数字信号判断所述轴承的故障类型；所述故障类型包括正常无故障、内圈磨损、外圈磨损以及滚珠磨损；
具体的，所述故障诊断单元用于执行以下工作步骤：
S1：对所述数字信号进行分片操作，输出为若干子序列；
S2：将所述子序列输入到预训练的掩码自监督Transformer故障诊断模型中，输出所述子序列对应的故障类型；
其中，掩码自监督Transformer故障诊断待训练模型包括Transformer编码器和Transformer解码器；所述故障诊断模型的训练过程包括：
S01：自监督学习阶段：基于所述编码器和所述解码器进行自监督学习，得到编码器的初始训练参数；
S02：微调学习阶段：保持所述编码器的初始训练参数，并排除所述编码器后进行监督学习，输出当前所述编码器为所述掩码自监督Transformer故障诊断模型。
2.根据权利要求1所述的一种基于迁移学习的嵌入式轴承故障诊断装置，其特征在于，所述S01包括：
S011：输入若干子序列，并为所述子序列添加随机掩码；
S012：将添加随机掩码后的所述子序列输入到所述编码器中，输出信号特征；
S013：所述解码器根据所述信号特征以及多头注意力机制对掩码部分的子序列进行预测，输出预测值；
S014：根据所述预测值与真实值计算损失函数，并反向传播更新所述编码器的权重参数；判断所述损失函数是否收敛；
若收敛，则输出当前的所述权重参数为所述编码器的初始训练参数；否则，进入所述S011。
3.根据权利要求2所述的一种基于迁移学习的嵌入式轴承故障诊断装置，其特征在于，所述编码器用于对未掩码的信号特征进行提取；包括多头注意机制模块、前馈神经网络模块，层归一化模块以及残差连接模块。
4.根据权利要求2所述的一种基于迁移学习的嵌入式轴承故障诊断装置，其特征在于，所述S012中所述信号特征提取表达式为：
Figure 237113DEST_PATH_IMAGE001
其中x是所述编码器的输入，
Figure 30494DEST_PATH_IMAGE002
是所述编码器中间层的输出，而x o 是所述编码器的输出。
5.根据权利要求2所述的一种基于迁移学习的嵌入式轴承故障诊断装置，其特征在于，所述S014中使用均方误差作为损失函数，其数学表达如下：
Figure 726049DEST_PATH_IMAGE003
其中，Γloss为均方误差，k代表输入信号的长度，x i 代表第i个点的真实信号值，
Figure 140850DEST_PATH_IMAGE004
代表第i个点的预测信号值；
所述权重参数的更新表达式为：
Figure 614556DEST_PATH_IMAGE005
其中，η为预设的学习率，θ为待更新权重参数。
6.根据权利要求1所述的一种基于迁移学习的嵌入式轴承故障诊断装置，其特征在于，所述S02包括：
S021：将标注后的若干子序列输入到所述编码器中；其中，所述编码器采用所述S01中输出的所述初始训练参数；
S022：将所述编码器输出的数据输入到线性层，并输出故障类型预测值；
S023：根据所述故障类型预测值与标注值计算交叉熵损失，反向传播更新线性层的权重参数；判断所述交叉熵损失是否收敛；
若收敛，则输出此时的掩码自监督Transformer故障诊断模型为预训练完成的掩码自监督Transformer故障诊断模型；否则，进入所述S021。
7.根据权利要求1所述的一种基于迁移学习的嵌入式轴承故障诊断装置，其特征在于，所述嵌入式处理器优选为RK3399嵌入式处理器。
8.根据权利要求1所述的一种基于迁移学习的嵌入式轴承故障诊断装置，其特征在于，所述加速度传感器优选为CTC振动传感器。
9.一种基于迁移学习的嵌入式轴承故障诊断设备，其特征在于，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行权利要求1至8任一项所述的一种基于迁移学习的嵌入式轴承故障诊断装置中所述故障诊断单元的故障诊断步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一项所述的一种基于迁移学习的嵌入式轴承故障诊断装置中所述故障诊断单元的故障诊断步骤。
CN202211653310.4A 2022-12-22 2022-12-22 一种基于迁移学习的嵌入式轴承故障诊断装置及设备 Active CN115628910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211653310.4A CN115628910B (zh) 2022-12-22 2022-12-22 一种基于迁移学习的嵌入式轴承故障诊断装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211653310.4A CN115628910B (zh) 2022-12-22 2022-12-22 一种基于迁移学习的嵌入式轴承故障诊断装置及设备

Publications (2)

Publication Number Publication Date
CN115628910A true CN115628910A (zh) 2023-01-20
CN115628910B CN115628910B (zh) 2023-03-17

Family

ID=84910888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211653310.4A Active CN115628910B (zh) 2022-12-22 2022-12-22 一种基于迁移学习的嵌入式轴承故障诊断装置及设备

Country Status (1)

Country Link
CN (1) CN115628910B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116992365A (zh) * 2023-08-02 2023-11-03 广东海洋大学 一种在随机冲击干扰下的故障诊断方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104236911A (zh) * 2014-09-28 2014-12-24 江苏润仪仪表有限公司 一种列车转向架轴承服役过程监测与故障诊断系统及方法
CN110619342A (zh) * 2018-06-20 2019-12-27 鲁东大学 一种基于深度迁移学习的旋转机械故障诊断方法
CN111323228A (zh) * 2020-03-20 2020-06-23 广东技术师范大学 一种基于时间序列映射与卷积神经网络的故障诊断方法
US20210270244A1 (en) * 2020-03-02 2021-09-02 Wuhan University Method and system for fault diagnosis of gearbox of wind turbine generator
CN114722952A (zh) * 2022-04-20 2022-07-08 哈尔滨工业大学 一种基于表示学习的轴承故障检测和分类的一体化方法
CN114720130A (zh) * 2022-03-28 2022-07-08 青岛明思为科技有限公司 基于域不变序列变换的滚动轴承故障诊断迁移学习方法
CN115435892A (zh) * 2022-08-31 2022-12-06 长春工业大学 一种复杂机电装备的智能故障诊断方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104236911A (zh) * 2014-09-28 2014-12-24 江苏润仪仪表有限公司 一种列车转向架轴承服役过程监测与故障诊断系统及方法
CN110619342A (zh) * 2018-06-20 2019-12-27 鲁东大学 一种基于深度迁移学习的旋转机械故障诊断方法
US20210270244A1 (en) * 2020-03-02 2021-09-02 Wuhan University Method and system for fault diagnosis of gearbox of wind turbine generator
CN111323228A (zh) * 2020-03-20 2020-06-23 广东技术师范大学 一种基于时间序列映射与卷积神经网络的故障诊断方法
CN114720130A (zh) * 2022-03-28 2022-07-08 青岛明思为科技有限公司 基于域不变序列变换的滚动轴承故障诊断迁移学习方法
CN114722952A (zh) * 2022-04-20 2022-07-08 哈尔滨工业大学 一种基于表示学习的轴承故障检测和分类的一体化方法
CN115435892A (zh) * 2022-08-31 2022-12-06 长春工业大学 一种复杂机电装备的智能故障诊断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
裴杏龙: "基于信号处理与深度学习的滚动轴承故障诊断方法研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116992365A (zh) * 2023-08-02 2023-11-03 广东海洋大学 一种在随机冲击干扰下的故障诊断方法及系统
CN116992365B (zh) * 2023-08-02 2024-03-08 广东海洋大学 一种在随机冲击干扰下的故障诊断方法及系统

Also Published As

Publication number Publication date
CN115628910B (zh) 2023-03-17

Similar Documents

Publication Publication Date Title
CN112629863B (zh) 变工况下动态联合分布对齐网络的轴承故障诊断方法
CN112784965B (zh) 面向云环境下大规模多元时间序列数据异常检测方法
Ni et al. Data-driven prognostic scheme for bearings based on a novel health indicator and gated recurrent unit network
Jiménez et al. Maintenance management based on machine learning and nonlinear features in wind turbines
Deutsch et al. Using deep learning-based approach to predict remaining useful life of rotating components
CN111079683B (zh) 基于卷积神经网络的遥感图像云雪检测方法
CN111914873A (zh) 一种两阶段云服务器无监督异常预测方法
Peng et al. Fault feature extractor based on bootstrap your own latent and data augmentation algorithm for unlabeled vibration signals
Thoppil et al. Deep learning algorithms for machinery health prognostics using time-series data: A review
EP3193227B1 (en) Entropy-based validation of sensor measurements
Chen et al. A novel knowledge transfer network with fluctuating operational condition adaptation for bearing fault pattern recognition
CN115628910B (zh) 一种基于迁移学习的嵌入式轴承故障诊断装置及设备
CN111158964B (zh) 一种磁盘故障预测方法、系统、装置及存储介质
CN113158722A (zh) 基于多尺度深度神经网络的旋转机械故障诊断方法
CN114548199A (zh) 一种基于深度迁移网络的多传感器数据融合方法
Zhang et al. Robust KPI anomaly detection for large-scale software services with partial labels
CN112163020A (zh) 一种多维时间序列异常检测方法及检测系统
CN115791174A (zh) 一种滚动轴承异常诊断方法、系统、电子设备及存储介质
CN115905959A (zh) 基于缺陷因子的电力断路器关联性故障分析方法及装置
Ding et al. An elastic expandable fault diagnosis method of three-phase motors using continual learning for class-added sample accumulations
Liu et al. A novel health prognosis method for system based on improved degenerated Hidden Markov model
Techane et al. Rotating machinery prognostics and application of machine learning algorithms: Use of deep learning with similarity index measure for health status prediction
CN117809164A (zh) 基于多模态融合的变电站设备故障检测方法及系统
CN117269742A (zh) 一种高海拔环境下断路器健康状态评估方法、装置及介质
Pei et al. Degradation state identification for hydraulic pumps based on multi-scale ternary dynamic analysis, NSGA-II and SVM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant