CN112101220A - 一种无监督模型参数迁移的滚动轴承寿命预测方法 - Google Patents

一种无监督模型参数迁移的滚动轴承寿命预测方法 Download PDF

Info

Publication number
CN112101220A
CN112101220A CN202010971076.4A CN202010971076A CN112101220A CN 112101220 A CN112101220 A CN 112101220A CN 202010971076 A CN202010971076 A CN 202010971076A CN 112101220 A CN112101220 A CN 112101220A
Authority
CN
China
Prior art keywords
layer
rolling bearing
data
state
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010971076.4A
Other languages
English (en)
Other versions
CN112101220B (zh
Inventor
康守强
邢颖怡
王玉静
王庆岩
梁欣涛
康成璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202010971076.4A priority Critical patent/CN112101220B/zh
Publication of CN112101220A publication Critical patent/CN112101220A/zh
Application granted granted Critical
Publication of CN112101220B publication Critical patent/CN112101220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

一种无监督模型参数迁移的滚动轴承寿命预测方法,属于滚动轴承状态识别及剩余寿命预测技术领域。本发明针对实际中某种工况滚动轴承带标签振动数据获取困难,健康指标难以构建及寿命预测误差大的问题而提出的。该方法首先对滚动轴承全寿命周期振动数据提取均方根特征,并引入新的自下而上时间序列分割算法将特征序列分割为正常期、退化期和衰退期3种状态;对振动信号经快速傅里叶变换后的幅值序列进行状态信息标记,并作为改进全卷积神经网络的输入,提取深层特征,经训练构建源域模型和微调后的状态识别模型,实现滚动轴承多状态识别;利用状态概率估计法建立滚动轴承寿命预测模型。实验验证,所提方法无需构建健康指标,可实现无监督条件下不同工况滚动轴承状态识别和寿命预测,并获得较好的效果。

Description

一种无监督模型参数迁移的滚动轴承寿命预测方法
技术领域
本发明具体涉及一种无监督模型参数迁移的滚动轴承寿命预测方法,属于滚动轴承状态识别及剩余寿命预测技术领域。
背景技术
滚动轴承是易受损的零部件之一[1],其剩余使用寿命与设备运行状态息息相关,通过对轴承运行状态识别和剩余寿命的预测能够避免因轴承失效导致的停机维修,人员伤亡等问题,具有重要意义[2-3]
目前,已有许多学者针对滚动轴承状态识别方法进行研究。文献[4-5]分别提出多目标优化改进经验模态分解、阶数统计滤波器结合快速奇异频谱分解提取浅层故障特征的方法,有效地解决了轴承故障诊断问题。浅层特征提取方法已广泛应用在滚动轴承故障诊断等方面,但依赖信号预处理技术及专家经验。
深度学习网络可自动提取高维数据的深层特征,近几年在机械状态识别领域得到了广泛应用[6]。文献[7]利用深度学习中的去噪堆叠式自动编码器进行特征提取,实现轴承故障诊断,获得了较好效果。文献[8]利用集合经验模态分解–希尔伯特包络谱结合深度信念网络,有效实现变负载下滚动轴承故障诊断。文献[9]提出多输入层卷积神经网络,可将谱分析数据在模型任意位置输入,有效解决了滚动轴承故障诊断问题。
在实际工作中,滚动轴承的工况常常是变化的,带有标签的样本数据量过少,同时训练数据与测试数据分布不一定相同,导致基于深度学习的状态识别方法效果并不理想。迁移学习可以解决样本数据不充裕及数据分布不同的问题,故在机械状态识别领域得到一定应用。文献[10]提出一种利用域自适应模块辅助状态识别模块学习域不变特征的方法,取得了较好的轴承故障分类效果。文献[11]提出一种深度域适应方法,有效地解决了齿轮在多种工作条件下的故障诊断问题。然而,域适应方法存在特征映射困难的问题,导致分类效果不理想,而模型迁移不存在此类问题。模型迁移是通过参数传递的形式将源域中的相关知识迁移到目标领域的方法。文献[12]提出一种“权重裁剪迁移”思想,将源域提取的共享知识应用到新领域,实现共享知识的裁剪迁移,在情感分类领域获得了较好的效果。
剩余寿命预测是指根据设备的历史退化趋势,预测出设备从当前时刻到最终失效的时间间隔[13]。现有的设备剩余寿命预测方法可分为三类[14]:基于机理模型的方法、数据驱动的方法和两种方法结合的方法。文献[15]利用Paris-Erdogan模型描述滚动轴承性能退化趋势,获得较好效果。然而,在实际工作中滚动轴承工况会随着时间发生变化,很难建立精确的机理模型。采用数据驱动的方法建立预测模型可直接从历史输入信息中提取有用的信息构建模型,受其他因素影响较小,是一种较为有效的建模方法。
现阶段,基于数据驱动预测剩余使用寿命的方法主要分为基于退化趋势建模及建立回归模型。文献[16]利用全参数动态学习深度信念网络对滚动轴承进行剩余寿命预测,具有较高的预测精度。文献[17]利用皮尔逊相似度法对轴承数据进行相似度分析,并采用改进隐马尔可夫退化模型完成滚动轴承自适应预测,具有较好的预测准确性。文献[18]利用卷积神经网络级联Catboost构建改进的深度森林,完成滚动轴承剩余寿命预测,很好地表征了轴承的退化过程。上述数据驱动方法需要找到剩余寿命和性能退化过程之间的对应关系,但在实际工作中,剩余寿命预测对象一般具有多退化量及非线性退化过程,很难构建健康指标、准确设定失效阈值,导致较难找到准确对应关系,使得剩余寿命预测方法的结果受到较大影响。
无论是状态识别,还是剩余寿命预测,都需带标签的先验数据集,然而有些数据集缺少甚至没有标签。为了克服这种局限性,可使用状态退化严重性信息(例如健康、轻度、中度等)标记未标记的原始数据。文献[19]提出一种基于状态持续时间的转辙机故障预测方法,利用k-means聚类方法对转辙机健康状态进行划分。但聚类算法的划分结果实质上是随机的,且机械设备的工作环境对划分结果影响较大[20]。文献[21]提出一种离线和在线机器健康评估方法,利用自下而上(Bottom Up,BUP)的时间序列分割方法划分所选特征序列,以区分转辙机的健康状态。
综上,现有技术存在实际中某种工况滚动轴承带标签振动数据获取困难,目标域样本数据不含标签,健康指标难以构建以及寿命预测误差大等问题。
发明内容
本发明要解决的技术问题为:
针对实际中某种工况滚动轴承带标签振动数据获取困难,目标域样本数据不含标签,健康指标难以构建以及寿命预测误差大的问题,提出一种无监督模型参数迁移的滚动轴承寿命预测方法。
本发明为解决上述技术问题所采用的技术手为:
一种无监督模型参数迁移的滚动轴承寿命预测方法,所述方法的实现过程为:
步骤(1)、数据预处理:
获取某种工况下全寿命的滚动轴承振动信号,将其视为源域(有标签),非全寿命的滚动轴承振动信号作为目标域(无标签);对轴承原始振动信号源域数据求时域RMS特征并做归一化处理,然后分别对源域、目标域滚动轴承原始振动信号做快速傅里叶变换,得到频域幅值序列;
步骤(2)、分割并标记滚动轴承退化状态:
引入自下而上算法对滚动轴承源域数据的RMS特征进行分割,分别为正常期、退化期和衰退期;将划分好的滚动轴承退化状态类别对应标记在经过快速傅里叶变换后的幅值序列上;
步骤(3)、深层特征提取:
利用改进FCN具有更好的挖掘高维数据特征的能力,以及在空间和时间上具有更强鲁棒性的特点,对变工况下滚动轴承源域数据和目标域数据的频域幅值序列进行特征提取,得到滚动轴承深层特征;
步骤(4)、采用滚动轴承多状态分类模型进行多状态识别:
滚动轴承多状态分类模型基于无监督模型迁移来构建,无监督模型迁移包括预训练和迁移训练:
将快速傅里叶变换后得到的幅值序列(有标签)输入改进FCN网络进行预训练,得到源域模型;
源域模型(预训练模型)导出后,卷积层的参数保持不变,利用目标域数据(无标签)对softmax层进行参数初始化并重新训练,即迁移训练;
从而完成参数传递的过程(完成无监督模型参数迁移);经过多次迭代寻优,建立滚动轴承多状态分类模型,实现无监督条件下滚动轴承状态识别,得到多分类结果(概率);
步骤(5)、剩余寿命预测:
利用多状态识别结果,即滚动轴承分属于每种退化状态的概率Pi,以及由历史全寿命数据确定的每种退化状态对应的剩余使用寿命(RULi),根据式(15)、(16)建立预测模型,计算滚动轴承剩余使用寿命;通过预测的剩余寿命RUL与真实寿命ActRUL之间的误差E来反映模型剩余寿命预测性能的好坏,预测误差如式(17)所示:
Figure BDA0002684045380000031
进一步地,改进FCN网络的构建过程为:
1)定义FCN网络
FCN是以卷积神经网络为基础进一步发展的神经网络,其采用反卷积层对最后一个卷积层的特征图进行上采样,对每个特征点进行预测并保留原始输入空间信息以具有更好的分类效果;
FCN主要由输入层、卷积层、池化层、输出层组成:
(1)输入层:数据的输入;
(2)卷积层:卷积层选择三层,卷积层的每个卷积核以固定大小与该卷积层中的数据进行卷积并产生相应的特征,同时采用非线性激活函数加强泛化能力,防止梯度消失;卷积运算为:
Figure BDA0002684045380000041
式中:Mj为第j个输入特征矢量;l为第l层网络;
Figure BDA0002684045380000042
为第l层卷积核,i为特征图的序号;
Figure BDA0002684045380000043
为网络偏置;
Figure BDA0002684045380000044
为第l层的第j个输出,
Figure BDA0002684045380000045
为第l层的第j个输入;卷积神经网络选择修正线性单元(Rectified Linear Unit,ReLU)作为非线性激活函数,ReLU使用式(2)进行描述:
Figure BDA0002684045380000046
式中:
Figure BDA0002684045380000047
表示完成卷积运算的输出值;
Figure BDA0002684045380000048
Figure BDA0002684045380000049
的激活值;
(3)池化层:采用最大池化算子对特征进行稀疏化处理以降低运算量,最大池化算子的函数表示为:
Figure BDA00026840453800000410
式中:
Figure BDA00026840453800000411
表示第l层第i个特征矢量中第t个神经元的值,t∈[(j-1)W+1];W是池化宽度;
Figure BDA00026840453800000412
代表第l+1层神经元对应的值;
(4)输出层:对最后一个池化层的输出进行首尾全连接操作,然后使用Softmax分类器完成多分类过程,该模型用式(4)进行描述:
O=f(boofv) (4)
式中:fv表示特征矢量;bo、ωo分别代表偏差向量和权值矩阵;
2)改进的FCN网络
FCN网络通过堆叠多个滤波器对输入样本数据进行逐层卷积操作,完成输入数据的深层特征自动提取;从每层卷积层中提取出蕴含在样本数据中的特征,随着卷积层数加深,所提取到的特征会变得更抽象,因此,FCN网络的卷积层数与能否更好地提取数据深层特征息息相关;
当样本数据分布差异较大时,为更好地降低样本数据间的特征差异,可加深FCN网络的卷积层数,更好地挖掘样本数据之间的关系;增加卷积层数能够改善分类结果,但会造成特征信息丢失,为解决二者存在相互制衡问题,通过在FCN网络的第三层卷积层后增加一层卷积层构建改进FCN网络,使其具有更好的局部连接和权值共享特性,在空间和时间上对扭曲数据具有更强的鲁棒性;
改进的FCN网络分为以下两步:
(1)前向传播
在训练数据集中随机抽取样本数据并逐层传送到输出层,计算相应的实际输出,其过程可描述为:
al+1=f(wl+1·al+bl+1) (5)
式中:a为相应的输入数据流,w和b为相应层神经元的权重与偏置,f代表一系列的池化、归一化、激活函数操作;
(2)后向传播
后向传播即误差传播阶段,计算理想输出差异,即代价函数:
Figure BDA0002684045380000051
式中:m为类别数量,hw,b表示权重与偏置的函数。利用随机梯度下降的方法寻找最佳的w和b,使得代价函数最小。
进一步地,所述无监督条件下滚动轴承状态识别是指利用无监督模型迁移进行状态识别,具体为:
首先使用有标签源域数据集进行预训练,然后使用无标签目标域数据集(无监督)对预训练形成的模型进行迁移训练,也就是微调的过程;具体为给预训练模型做一个“换头术”,即切掉最后的softmax层,然后接上一个新的参数随机初始化后的softmax层,即完成模型迁移的过程;
在模型迁移过程中仅初始化logits层参数,参数更新过程为:
ωj←ωj+Δωj (7)
bj←bj+Δbj (8)
式中:ωj、bj分别是第j层神经元的权值和偏置,Δ代表增量符号;
利用式(9)和式(10)计算图4中卷积层和logits层的第j层输出:
z=ωjx+bj (9)
Figure BDA0002684045380000052
Figure BDA0002684045380000053
其中:
Figure BDA0002684045380000054
表示第j层输出,f表示激活函数,Pi表示第i类的概率,yi表示网络输出的某一类别,n表示网络输出的类别总数;
迁移训练过程中,只有logits层进行参数更新,卷积层仅计算输出;通过与真实标签进行对比,计算交叉熵函数,函数表示为:
Figure BDA0002684045380000061
式中:C表示分类数,yc表示真实标签,
Figure BDA0002684045380000062
表示logits层输出;
使用Adam优化算法用于提高收敛速度,其是将动量与RMSProp优化算法相结合,表示为:
Figure BDA0002684045380000068
Figure BDA0002684045380000063
式中:ωt、bt、at分别表示第t次迭代时的权值、偏置、学习速率;
Figure BDA0002684045380000064
分别表示权重与偏置的偏差纠正动量值;
Figure BDA0002684045380000065
分别是权值与偏置的偏差纠正RMSProp值;ε是优化算法中的超参数。
进一步地,剩余寿命预测的具体过程为:
根据时间序列属于不同退化状态的概率Pi,采用状态概率估计法进行剩余寿命预测;状态概率估计法是指根据状态分类器得到的时间序列分属于不同退化状态的概率,以及由历史数据(训练样本)确定的每种退化状态对应的剩余使用寿命,进而得到当前状态剩余寿命的方法;某时刻剩余寿命的计算过程为:
Figure BDA0002684045380000066
Figure BDA0002684045380000067
式中:Dui表示由历史数据(训练样本)得到的设备在第i(i=1,2…C)个状态时的驻留时间;k表示当前状态驻留时间系数,用于调整剩余寿命预测准确度,C代表状态类别;RULi表示由训练样本得出的设备处于第i个退化状态时的剩余寿命;P(Xt=i)代表序列Xt处于第i个退化状态的概率,与式(11)中的Pi含义相同。
本发明具有以下有益技术效果:
该方法引入自下而上时间序列分割算法对均方根(Root Mean Square,RMS)特征进行分割,在快速傅里叶变换幅值序列上标记退化状态,并构建不同域数据集。使用源域数据训练改进的全卷积神经网络(Full Convolutional Neural Network,FCN)得到源域模型,并利用目标域数据(无标签)进行微调,从而得到状态识别模型。基于状态识别模型结合状态概率估计法建立预测模型,实现无监督条件下不同工况滚动轴承的状态识别及剩余寿命预测。
本发明方法首先对滚动轴承全寿命周期振动数据提取均方根特征,并引入新的自下而上时间序列分割算法将特征序列分割为正常期、退化期和衰退期3种状态;对振动信号经快速傅里叶变换后的幅值序列进行状态信息标记,并作为改进全卷积神经网络的输入,提取深层特征,经训练构建源域模型和微调后的状态识别模型,实现滚动轴承多状态识别;利用状态概率估计法建立滚动轴承寿命预测模型。实验验证,所提方法无需构建健康指标,可实现无监督条件下不同工况滚动轴承状态识别和寿命预测,并获得较好的效果。本发明采用无监督深度模型迁移的手段完全实现了滚动轴承退化状态识别及剩余使用寿命预测。
附图说明
图1为FCN网络结构图;图2为改进的FCN网络结构图;图3为无监督模型迁移过程示意图;图4为迁移训练框图;图5为滚动轴承剩余寿命预测流程框图;图6为轴承1_1原始数据时域信号图,图7为轴承1_1频域幅值信号图,图8为轴承1_1RMS特征的分割结果图;
图9至图12分别为变工况下轴承2_7和轴承3_3迁移前后的对比图:图9为轴承2_7迁移之前训练及测试损失值图,图10为轴承2_7迁移之后训练及测试损失值图,图11为轴承3_3迁移之前训练及测试损失值图,图12为轴承3_3迁移之后训练及测试损失值图。
具体实施方式
针对本发明的实现,结合附图1至12,进行如下详尽阐述:
1自下而上分割算法理论
时间序列分割是将序列分解成具有相似特征子序列的过程。BUP时间序列分割算法是分段线性逼近技术,由分割和合并两步完成。首先,将长度为T的时间序列数据点两两连接,划分成不重合的T/2个初始分段,并计算合并相邻段的拟合代价(拟合误差)。然后,循环地从中选择最小的拟合代价,如果该最小值小于设定的分段阈值,则合并对应的两个分段,并计算新分段与它前后分段的拟合代价。重复该过程,直到所有的拟合代价均不小于分段阈值,分段结束。
自下而上分割算法流程为:
Figure BDA0002684045380000081
由于BUP将给定的序列分解为特征相似的子序列,因此,每个分段可以被视为具有不同劣化程度的机械设备健康状态。
2 FCN网络及改进
2.1 FCN网络
FCN是以卷积神经网络为基础进一步发展的神经网络,其采用反卷积层对最后一个卷积层的特征图进行上采样,对每个特征点进行预测,保留原始输入空间信息,具有更好的分类效果。网络结构如图1所示。
FCN主要由输入层、卷积层、池化层、输出层组成:
(1)输入层:数据的输入。
(2)卷积层:卷积层的每个卷积核以固定大小与该卷积层中的数据进行卷积并产生相应的特征。同时采用非线性激活函数加强泛化能力,防止梯度消失。卷积运算为:
Figure BDA0002684045380000082
式中:Mj为第j个输入特征矢量;l为第l层网络;
Figure BDA0002684045380000083
为第l层卷积核,i为特征图的序号;
Figure BDA0002684045380000084
为网络偏置;
Figure BDA0002684045380000085
为第l层的第j个输出,
Figure BDA0002684045380000086
为第l层的第j个输入。卷积神经网络一般选择修正线性单元(Rectified Linear Unit,ReLU)作为非线性激活函数。ReLU使用式(2)进行描述。
Figure BDA0002684045380000087
式中:
Figure BDA0002684045380000088
表示完成卷积运算的输出值;
Figure BDA0002684045380000089
Figure BDA00026840453800000810
的激活值。
(3)池化层:采用最大池化算子对特征进行稀疏化处理,降低运算量。最大池化算子的函数表示为:
Figure BDA0002684045380000091
式中:
Figure BDA0002684045380000092
表示第l层第i个特征矢量中第t个神经元的值,t∈[(j-1)W+1];W是池化宽度;
Figure BDA0002684045380000093
代表第l+1层神经元对应的值。
(4)输出层:对最后一个池化层的输出进行首尾全连接操作,然后使用Softmax分类器完成多分类过程,该模型可用式(4)进行描述:
O=f(bo+ωofv) (4)
式中:fv表示特征矢量;bo、ωo分别代表偏差向量和权值矩阵。
2.2改进的FCN网络
FCN网络通过堆叠多个滤波器对输入样本数据进行逐层卷积操作,完成输入数据的深层特征自动提取。从每层卷积层中提取出蕴含在样本数据中的特征,随着卷积层数加深,所提取到的特征会变得更抽象。因此,能否更好地提取数据深层特征与FCN网络的卷积层数息息相关。
当样本数据分布差异较大时,为更好地降低样本数据间的特征差异,可加深FCN网络的卷积层数,更好地挖掘样本数据之间的关系。增加卷积层数能够改善分类结果,但可能造成特征信息丢失,二者存在相互制衡问题。因此,通过增加一层卷积层构建改进FCN网络,使其具有更好的局部连接和权值共享特性,在空间和时间上对扭曲数据具有更强的鲁棒性。改进的FCN网络结构如图2所示。
改进的FCN网络理论分为以下两步:
(1)前向传播
在训练数据集中随机抽取样本数据并逐层传送到输出层,计算相应的实际输出,其过程可描述为:
al+1=f(wl+1·al+bl+1) (5)
式中:a为相应的输入数据流,w和b为相应层神经元的权重与偏置,f代表一系列的池化、归一化、激活函数操作。
(2)后向传播
后向传播即误差传播阶段,计算理想输出差异,即代价函数:
Figure BDA0002684045380000094
式中:m为类别数量,hw,b表示权重与偏置的函数。利用随机梯度下降的方法寻找最佳的w和b,使得代价函数最小。
3无监督模型迁移
传统机器学习要求训练数据与测试数据同分布且需要足够的数据标注来训练模型,然而在实际生产中很难满足这一条件。无监督模型迁移方法可解决上述问题,其过程示意图如图3所示。
模型迁移由预训练和迁移训练组成。首先使用有标签源域数据集进行预训练,然后使用无标签目标域数据集(无监督)对预训练形成的模型进行迁移训练,也就是微调的过程。具体为给预训练模型做一个“换头术”,即切掉最后的softmax层,然后接上一个新的参数随机初始化后的softmax层,即完成模型迁移的过程。
深度模型迁移方法中logits(softmax层的输入)训练过程如图4所示,在此过程中仅初始化logits层参数,参数更新过程为:
ωj←ωj+Δωj (7)
bj←bj+Δbj (8)
式中:ωj、bj分别是第j层神经元的权值和偏置,Δ代表增量符号。
利用式(9)和式(10)计算图4中卷积层和logits层的第j层输出:
z=ωjx+bj (9)
Figure BDA0002684045380000101
Figure BDA0002684045380000102
其中:
Figure BDA0002684045380000103
表示第j层输出,f表示激活函数,Pi表示第i类的概率,yi表示网络输出的某一类别,n表示网络输出的类别总数。
迁移训练过程中,只有logits层进行参数更新,卷积层仅计算输出。通过与真实标签进行对比,计算交叉熵函数,函数表示为:
Figure BDA0002684045380000104
式中:C表示分类数,yc表示真实标签,
Figure BDA0002684045380000105
表示logits层输出。
使用Adam优化算法提高收敛速度[22],其思想是将动量与RMSProp优化算法相结合,表示为:
Figure BDA0002684045380000111
Figure BDA0002684045380000112
式中:ωt、bt、at分别表示第t次迭代时的权值、偏置、学习速率;
Figure BDA0002684045380000113
分别表示权重与偏置的偏差纠正动量值;
Figure BDA0002684045380000114
分别是权值与偏置的偏差纠正RMSProp值;ε是优化算法中的超参数。
4剩余寿命预测
根据时间序列属于不同退化状态的概率Pi,采用状态概率估计法进行剩余寿命预测。状态概率估计法是指根据状态分类器得到的时间序列分属于不同退化状态的概率,以及由历史数据(训练样本)确定的每种退化状态对应的剩余使用寿命,进而得到当前状态剩余寿命的方法。某时刻剩余寿命的计算过程为:
Figure BDA0002684045380000115
Figure BDA0002684045380000116
式中:Dui表示由历史数据(训练样本)得到的设备在第i(i=1,2…C)个状态时的驻留时间。k表示当前状态驻留时间系数,用于调整剩余寿命预测准确度,C代表状态类别。RULi表示由训练样本得出的设备处于第i个退化状态时的剩余寿命。P(Xt=i)代表序列Xt处于第i个退化状态的概率,与式(11)中的Pi含义相同。
5滚动轴承多状态识别与RUL预测方法
基于无监督模型迁移和状态概率估计法的滚动轴承多状态识别与剩余寿命预测流程如图5所示。
具体过程为:
(1)数据预处理
获取某种工况下全寿命的滚动轴承振动信号,将其视为源域(有标签),非全寿命的滚动轴承振动信号作为目标域(无标签)。对轴承原始振动信号源域数据求时域RMS特征并做归一化处理,然后分别对源域、目标域滚动轴承原始振动信号做快速傅里叶变换,得到频域幅值序列。
(2)分割并标记滚动轴承退化状态
引入自下而上算法对滚动轴承源域数据的RMS特征进行分割,分别为正常期、退化期和衰退期。将划分好的滚动轴承退化状态类别对应标记在经过快速傅里叶变换后的幅值序列上。
(3)深层特征提取
利用改进FCN具有更好的挖掘高维数据特征的能力,以及在空间和时间上具有更强鲁棒性的特点,对变工况下滚动轴承源域数据和目标域数据的频域幅值序列进行特征提取,得到滚动轴承深层特征。
(4)多状态识别
将快速傅里叶变换后得到的幅值序列(有标签)输入改进FCN网络进行预训练,得到源域模型。预训练模型导出后,其他层的参数保持不变,利用目标域数据(无标签)对softmax层进行参数初始化并重新训练,完成参数传递的过程。经过多次迭代寻优,建立滚动轴承多状态分类模型,实现无监督条件下滚动轴承状态识别,得到多分类结果(概率)。
(5)剩余寿命预测
利用多状态识别结果,即滚动轴承分属于每种退化状态的概率Pi,以及由历史全寿命数据确定的每种退化状态对应的剩余使用寿命(RULi),根据式(15)、(16)建立预测模型,计算滚动轴承剩余使用寿命。通过预测的剩余寿命RUL与真实寿命ActRUL之间的误差E来反映模型剩余寿命预测性能的好坏。预测误差如式(17)所示:
Figure BDA0002684045380000121
6应用与分析
6.1实验数据
采用IEEE PHM 2012Data Challenge轴承数据对本文提出的基于深度迁移学习的滚动轴承状态识别与寿命预测进行实验验证[23]。数据集是在PRONOSTIA实验平台上得到的,在不同操作条件下对滚动轴承进行加速退化实验,当振动信号的振幅超过20g的时候,测试即停止。振动信号分为水平方向和垂直方向,每10s记录一次数据,记录时间为0.1s,采样频率为25.6kHz,即每次采集2560个数据点。本文使用水平方向振动数据完成实验。
本文利用轴承1_1、1_2、2_1、2_2、3_1和3_2共6个轴承进行训练(源域数据、有标签),分别对轴承1_3、1_4、1_5、1_6、1_7、2_3、2_4、2_5、2_6、2_7和3_3(目标域数据、无标签)共11个轴承进行状态识别和剩余寿命预测,此种情况符合无监督实验要求。表1为实验数据描述,表2为不同工况描述。
表1 PHM2012数据描述
Tab.1 PHM2012 data description
Figure BDA0002684045380000131
表2三种工况描述
Tab.2 Description of the three working conditions
Figure BDA0002684045380000132
6.2数据预处理及结果
首先对轴承1_1、1_2、2_1、2_2、3_1和3_2,共6组数据进行快速傅里叶变换,同时提取6组数据的RMS特征并进行归一化处理。然后利用自下而上算法对RMS特征进行分割,得到滚动轴承的退化状态类别(正常期,退化期,衰退期)及驻留时间Dui。将滚动轴承的退化状态类别标记在经快速傅里叶变换后的幅值序列上,将其作为源域数据集。以轴承1_1为例,图6、图7分别为轴承1_1时域振动信号及FFT后的频域幅值图,图8为分割轴承1_1RMS特征后的结果图,其中三角代表退化状态拐点。
6.3无监督条件下滚动轴承多状态识别过程及结果
训练源域模型:将预处理后的轴承1_1(有标签)全寿命数据输入到改进FCN模型中,进行深层特征提取并得到源域分类模型。同理训练轴承1_2、2_1、2_2、3_1和3_2,源域共训练了6个分类模型。在改进FCN网络中,由于输入的振动信号是一维时间序列,所以选择的卷积核是一维的。根据大量实验,确定改进FCN的详细参数如表3所示,其中Conv代表卷积层。
表3改进FCN网络参数设置
Tab.3 Parameter settings of improved FCN network
Figure BDA0002684045380000133
Figure BDA0002684045380000141
训练多状态识别模型:利用工况1下轴承1_1进行训练得到预训练模型之后,进行参数传递(微调),辅助目标域网络进行训练,使用工况2下滚动轴承数据(轴承2_7为例,无标签)和工况3下滚动轴承数据(轴承3_3为例,无标签)目标域网络进行训练。通过不断交替更新目标模型参数,建立参数迁移后的多状态识别模型,并获得目标域最终标注的标签。与目标域数据真实标签进行对比,获得多状态识别的准确率。
同理使用无标签滚动轴承1_3、1_4、1_5、1_6、1_7、2_3、2_4、2_5、2_6、2_7、3_3数据对目标域网络进行训练,分别得到它们的状态识别结果。图9至图12分别为变工况下轴承2_7和轴承3_3迁移前后的对比图。
由图9到图12可以看出,深度模型损失值要比深度迁移模型的损失值波动大,并且其他滚动轴承的训练及测试损失值波动与轴承2_7和轴承3_3结果相似,表明深度模型状态分类效果不好。
为进一步说明本文提出的方法在状态识别上具有更好的效果,将其与FCN深度模型、FCN迁移模型、文献[10]及文献[11]进行对比实验研究。实验过程中使用相同的源域及目标域数据集,对比结果如表4所示。
表4状态识别方法对比实验结果
Tab.4 Comparison results using different state identification methods
Figure BDA0002684045380000142
Figure BDA0002684045380000151
由表4可以看出,迁移后的模型要比没有迁移的模型效果好,且本文所提方法的准确率要高于文献[10]及文献[11]所用的域适应迁移方法,平均准确率达到99%,相比对比方法提高17%。
6.4预测RUL过程及结果
建立预测模型:以工况1下轴承1_1为例,将全寿命1_1数据集中的前75%数据取出作为验证集对模型进行验证,得到多状态识别结果。利用分类结果Pi以及每种退化状态对应的驻留时间Dui,由式(15)及(16)建立数学模型得到三种退化状态对应的RUL。对轴承1_1来说,Dui为各个状态所持续的时间,k为测试样本与训练样本数据点数之比。同理,对轴承1_2、2_1、2_2、3_1和3_2进行验证,共得到6个轴承的各退化状态对应的RUL,并以此作为测试轴承剩余使用寿命的计算依据。
计算剩余寿命:以训练轴承1_1、测试轴承2_7为例,已知全寿命轴承1_1各退化状态对应的RUL,利用非全寿命轴承2_7与全寿命1_1样本数据点数之比得到当前状态驻留时间系数k,得出轴承2_7各退化状态对应的RUL,并由式(15)及(16)计算轴承2_7的RUL。同理,利用其他5个训练集进行训练,共可得到轴承2_7的6组RUL结果。以单独训练集数据点数在整个训练集数据点数中的占比对所得6个结果进行加权,得到轴承2_7的最终剩余寿命。以同样方法计算剩余10个测试轴承的剩余寿命。
为了证明本文所提方法的有效性,利用IEEE PHM 2012轴承数据库的剩余寿命预测精度评分标准,对滚动轴承RUL预测进行评价,如式(18)、(19)所示。利用本文预测方法进行预测的结果和误差如表5所示。
Figure BDA0002684045380000152
其中,AJ定义为:
Figure BDA0002684045380000153
表5不同轴承RUL预测误差结果对比
Tab.5 Comparison of RUL prediction error results of differentbearings
Figure BDA0002684045380000154
Figure BDA0002684045380000161
由实验结果可以看出,轴承1_5、2_5的剩余寿命预测误差较大,轴承1_6、2_4、2_6、3_3预测误差较小。依据式(17),利用本文方法所得RUL预测误差在30%以内的轴承数量占测试轴承总数量的55%,与文献[24]中占比45%、文献[25]中占比24.29%相比,预测误差在30%以内的轴承数量更多,误差更小。综上,可证明本文所提方法在滚动轴承RUL预测方面的有效性。
7.结论
(1)针对传统聚类方法的划分结果受机械设备工作环境影响较大的问题,本文引入一种新的自下而上时间序列分割算法,对滚动轴承特征序列进行分割,将特征序列划分为具有相似特征的子序列,保证了滚动轴承退化状态划分的准确性。
(2)不同滚动轴承因受环境、工况等因素影响,难以获取到大量有标签的数据,本文利用改进的FCN网络进行模型迁移,完成对滚动轴承的无监督状态识别,解决了带有标签训练数据少、训练与测试数据分布差异过大导致分类准确率低的问题,准确率在99%以上。
(3)针对滚动轴承剩余寿命预测中健康指标难构建、以及寿命预测误差大的问题,本文在状态识别的基础上引入状态概率估计法对滚动轴承剩余寿命进行预测,避免了构建健康指标且预测误差小于30%的轴承数量占总轴承数量的55%,具有更好的预测效果。
验证本文所提方法有效性的过程中,对PHM2012数据库中的振动数据进行了充分实验验证,但还没有对此数据库之外的滚动轴承数据进行剩余使用寿命预测的实验,这将是以后的重要研究内容。
本发明所援引的参考文献明细如下:
[1]赵德尊,李建勇,程卫东.基于迭代广义解调算法的变转速滚动轴承复合故障特征的提取[J].振动与冲击,2018,37(4):177-183+190.
ZHAO Dezun,LI Jianyong,CHENG Weidong.Extraction of composite faultcharacteristics of variable speed rolling bearing based on iterativegeneralized demodulation algorithm[J].Journal of Vibration and Shock,2018,37(4):177-183+190.
[2]张焱,冯乔琦,黄庆卿,等.非负自编码网络基于部分特征表示的变工况滚动轴承状态识别[J/OL].仪器仪表学报.http://kns.cnki.net/kcms/detail/11.2179.th.202 00602.1521.010.html,2020-06-27.ZHANG Yan,FENG Qiaoqi,HUANG Qingqing,etal.Recognition of non-negative self-encoding network based on partial featurerepresentation of rolling bearing state recognition under variable operatingconditions[J/OL].http://kns.cnki.net/kcms/detail/11.2179.th.20200602.1521.0 10.html,2020-06-27.
[3]康守强,周月,王玉静,等.基于改进SAE和双向LSTM的滚动轴承RUL预测方法[J/OL].自动化学报.https://doi.org/10.16383/j.aas.c190796,2020-07-04.
KANG Shouqiang,ZHOU Yue,WANG Yujing,et al.RUL prediction method ofrolling bearing based on improved SAE and bidirectional LSTM[J/OL].Journal ofAutomation.https://doi.org/10.16383/j.aas.c190796,2020-07-04.
[4]Guo T,Deng Z.An improved EMD method based on the multi-objectiveoptimization and its application to fault feature extraction of rollingbearing[J].Applied Acoustics,2017:46-62.
[5]Xu Y,Cao J,Zhao J.Application of fast singular spectrumdecomposition method based on order statistic filter in rolling bearing faultdiagnosis[J].Measurement Science and Technology,2019,30(12).
[6]赵春华,胡恒星,陈保家,等.基于深度学习特征提取和WOA-SVM状态识别的轴承故障诊断[J].振动与冲击,2019,38(10):31-37+48.
ZHAO Chunhua,HU Hengxing,CHEN Baojia,et al.Bearing fault diagnosisbased on deep learning feature extraction and WOA-SVM state recognition[J].Journal of Vibration and Shock,2019,38(10):31-37+48.
[7]Xu F,Tse P W.Automatic roller bearings fault diagnosis using DSAEin deep learning and CFS algorithm[J].Soft computing,2019,23(13):5117-5128.
[8]王玉静,那晓栋,康守强,等.基于EEMD-Hilbert包络谱和DBN的变负载下滚动轴承状态识别方法[J].中国电机工程学报,2017,37(23):6943-6950+7085.
WANG Yujing,NA Xiaodong,KANG Shouqiang,et al.State identificationmethod of rolling bearing under variable load based on EEMD-Hilbert envelopespectrum and DBN[J].Chinese Journal of Electrical Engineering,2017,37(23):6943-6950+7085.
[9]昝涛,王辉,刘智豪,等.基于多输入层卷积神经网络的滚动轴承故障诊断模型[J].振动与冲击,2020,39(12):142-149+163.
ZAN Tao,WANG Hui,LIU Zhihao,et al.Fault diagnosis model of rollingbearing based on multi-input layer convolutional neural network[J].Vibrationand Shock,2020,39(12):142-149+163.
[10]Guo L,Lei Y,Xing S.Deep Convolutional Transfer Learning Network:ANew Method for Intelligent Fault Diagnosis of Machines With Unlabeled Data[J].IEEE Transactions on Industrial Electronics,2019,66(9):7316-7325.
[11]Li J,Li X,He D.A domain adaptation model for early gear pittingfault diagnosis based on deep transfer learning network[J].Proceedings of theInstitution of Mechanical Engineers,Part O:Journal of Risk and Reliability,2019:1748006X19867776.
[12]Li X,Jiang H,Zhao K.A Deep Transfer Nonnegativity-ConstraintSparse Autoencoder for Rolling Bearing Fault Diagnosis With Few Labeled Data[J].IEEE Access,2019,7:91216-91224.
[13]文娟,高宏力.一种基于UPF的轴承剩余寿命预测方法[J].振动与冲击,2018,37(24):208-213+243.
WEN Juan,GAO Hongli.A method for predicting the remaining life ofbearings based on UPF[J].Vibration and Shock,2018,37(24):208-213+243.
[14]裴洪,胡昌华,司小胜,等.基于机器学习的设备剩余寿命预测方法综述[J].机械工程学报,2019,55(08):1-13.
PEI Hong,HU Changhua,SI Xiaosheng,et al.Overview of predictionmethods of equipment remaining life based on machine learning[J].Journal ofMechanical Engineering,2019,55(08):1-13.
[15]雷亚国,李乃鹏,林京.基于粒子滤波的滚动轴承寿命预测方法[C]//中国机械工程学会可靠性工程分会.2014年全国机械行业可靠性技术学术交流会暨可靠性工程分会第五届委员会成立大会论文集.中国机械工程学会可靠性工程分会:中国机械工程学会,2014.198-203.
LEI Yaguo,LI Naipeng,LIN Jing.Rolling bearing life prediction methodbased on particle filter[C]//Reliability Engineering Branch of ChineseMechanical Engineering Society.2014 National Reliability Technology AcademicExchange Conference and Reliability Engineering Branch of National MachineryIndustry Proceedings of the Founding Conference of the 5thCommittee.Reliability Engineering Branch of Chinese Mechanical EngineeringSociety:Chinese Mechanical Engineering Society,2014.198-203.
[16]杨宇,张娜,程军圣.全参数动态学习深度信念网络在滚动轴承寿命预测中的应用[J].振动与冲击,2019,38(10):199-205+249.
YANG Yu,ZHANG Na,CHENG Junsheng.Application of full-parameter dynamiclearning deep belief network in rolling bearing life prediction[J].Vibrationand Shock,2019,38(10):199-205+249.
[17]瞿家明,周易文,王恒,等.基于改进HMM和Pearson相似度分析的滚动轴承自适应寿命预测方法[J].振动与冲击,2020,39(08):172-177+201.
QU Jiaming,ZHOU Yiwen,WANG Heng,et al.Adaptive life prediction methodfor rolling bearings based on improved HMM and Pearson similarity analysis[J].Vibration and Shock,2020,39(08):172-177+201.
[18]王玉静,王诗达,康守强,等.基于改进深度森林的滚动轴承剩余寿命预测方法[J/OL].中国电机工程学报.https://doi.org/10.13334/j.0258-8013.pcsee.191730,2020-07-04.
WANG Yujing,WANG Shida,KANG Shouqiang,et al.Rolling bearing remaininglife prediction method based on improved deep forest[J/OL].Chinese Journal ofElectrical Engineering.https://doi.org/10.13334/j.0258-8013.pcsee.191730,2020-07-04.
[19]Eker O F,Camci F.State-based prognostics with state durationinformation[J].Quality and Reliability Engineering International,2013,29(4):465-476.
[20]Lin J,Keogh E,Truppel W.Clustering of streaming time series ismeaningless[C]//Proceedings of the 8th ACM SIGMOD workshop on Research issuesin data mining and knowledge discovery.2003.56-65.
[21]Atamuradov V,Medjaher K,Camci F.Feature selection and fault-severity classification-based machine health assessment methodology for pointmachine sliding-chair degradation[J].Quality and Reliability EngineeringInternational,2019,35(4):1081-1099.
[22]Bui D T,Hoang N D,Martínez-
Figure BDA0002684045380000191
F.A novel deep learning neuralnetwork approach for predicting flash flood susceptibility:A case study at ahigh frequency tropical storm area[J].Science of The Total Environment,2020,701:134413.
[23]PATRICK N,RAFAEL G,KAMAL M.PRONOSTIA:Anexperimental platform forbearing saccelerated life test[C]//IEEE International Conference onPrognostics and Health Management.USA:Denver,2012.1-8.
[24]齐申武.基于振动信号分析的滚动轴承故障诊断及寿命预测研究[D].燕山大学,2018.QI Shenwu.Research on rolling bearing fault diagnosis and lifeprediction based on vibration signal analysis[D].Yanshan University,2018.
[25]阙子俊,金晓航,孙毅.基于UKF的轴承剩余寿命预测方法研究[J].仪器仪表学报,2016,37(9):2036-2043.
XUN Zijun,JIN Xiaohang,SUN Yi.Research on prediction method ofbearing remaining life based on UKF[J].Journal of Instrumentation,2016,37(9):2036-2043.

Claims (4)

1.一种无监督模型参数迁移的滚动轴承寿命预测方法,其特征在于,所述方法的实现过程为:
步骤(1)、数据预处理:
获取某种工况下全寿命的滚动轴承振动信号,将其视为源域,非全寿命的滚动轴承振动信号作为目标域;对轴承原始振动信号源域数据求时域RMS特征并做归一化处理,然后分别对源域、目标域滚动轴承原始振动信号做快速傅里叶变换,得到频域幅值序列;
步骤(2)、分割并标记滚动轴承退化状态:
引入自下而上算法对滚动轴承源域数据的RMS特征进行分割,分别为正常期、退化期和衰退期;将划分好的滚动轴承退化状态类别对应标记在经过快速傅里叶变换后的幅值序列上;
步骤(3)、深层特征提取:
利用改进FCN具有更好的挖掘高维数据特征的能力,以及在空间和时间上具有更强鲁棒性的特点,对变工况下滚动轴承源域数据和目标域数据的频域幅值序列进行特征提取,得到滚动轴承深层特征;
步骤(4)、采用滚动轴承多状态分类模型进行多状态识别:
滚动轴承多状态分类模型基于无监督模型迁移来构建,无监督模型迁移包括预训练和迁移训练:
将快速傅里叶变换后得到的幅值序列输入改进FCN网络进行预训练,得到源域模型;
源域模型导出后,卷积层的参数保持不变,利用目标域数据对softmax层进行参数初始化并重新训练,即迁移训练;
从而完成参数传递的过程;经过多次迭代寻优,建立滚动轴承多状态分类模型,实现无监督条件下滚动轴承状态识别,得到多分类结果;
步骤(5)、剩余寿命预测:
利用多状态识别结果,即滚动轴承分属于每种退化状态的概率Pi,以及由历史全寿命数据确定的每种退化状态对应的剩余使用寿命(RULi),建立预测模型进而计算滚动轴承剩余使用寿命;通过预测的剩余寿命RUL与真实寿命ActRUL之间的误差E来反映模型剩余寿命预测性能的好坏,预测误差如式(17)所示:
Figure FDA0002684045370000011
2.根据权利要求1所述的一种无监督模型参数迁移的滚动轴承寿命预测方法,其特征在于,改进FCN网络的构建过程为:
1)定义FCN网络
FCN是以卷积神经网络为基础进一步发展的神经网络,其采用反卷积层对最后一个卷积层的特征图进行上采样,对每个特征点进行预测并保留原始输入空间信息以具有更好的分类效果;
FCN主要由输入层、卷积层、池化层、输出层组成:
(1)输入层:数据的输入;
(2)卷积层:卷积层选择三层,卷积层的每个卷积核以固定大小与该卷积层中的数据进行卷积并产生相应的特征,同时采用非线性激活函数加强泛化能力,防止梯度消失;卷积运算为:
Figure FDA0002684045370000021
式中:Mj为第j个输入特征矢量;l为第l层网络;
Figure FDA0002684045370000022
为第l层卷积核,i为特征图的序号;
Figure FDA0002684045370000023
为网络偏置;
Figure FDA0002684045370000024
为第l层的第j个输出,
Figure FDA0002684045370000025
为第l层的第j个输入;卷积神经网络选择修正线性单元(Rectified Linear Unit,ReLU)作为非线性激活函数,ReLU使用式(2)进行描述:
Figure FDA0002684045370000026
式中:
Figure FDA0002684045370000027
表示完成卷积运算的输出值;
Figure FDA0002684045370000028
Figure FDA0002684045370000029
的激活值;
(3)池化层:采用最大池化算子对特征进行稀疏化处理以降低运算量,最大池化算子的函数表示为:
Figure FDA00026840453700000210
式中:
Figure FDA00026840453700000211
表示第l层第i个特征矢量中第t个神经元的值,t∈[(j-1)W+1];W是池化宽度;
Figure FDA00026840453700000212
代表第l+1层神经元对应的值;
(4)输出层:对最后一个池化层的输出进行首尾全连接操作,然后使用Softmax分类器完成多分类过程,该模型用式(4)进行描述:
O=f(boofv) (4)
式中:fv表示特征矢量;bo、ωo分别代表偏差向量和权值矩阵;
2)改进的FCN网络
FCN网络通过堆叠多个滤波器对输入样本数据进行逐层卷积操作,完成输入数据的深层特征自动提取;从每层卷积层中提取出蕴含在样本数据中的特征,随着卷积层数加深,所提取到的特征会变得更抽象,因此,FCN网络的卷积层数与能否更好地提取数据深层特征息息相关;
当样本数据分布差异较大时,为更好地降低样本数据间的特征差异,可加深FCN网络的卷积层数,更好地挖掘样本数据之间的关系;增加卷积层数能够改善分类结果,但会造成特征信息丢失,为解决二者存在相互制衡问题,通过在FCN网络的第三层卷积层后增加一层卷积层构建改进FCN网络,使其具有更好的局部连接和权值共享特性,在空间和时间上对扭曲数据具有更强的鲁棒性;
改进的FCN网络分为以下两步:
(1)前向传播
在训练数据集中随机抽取样本数据并逐层传送到输出层,计算相应的实际输出,其过程可描述为:
al+1=f(wl+1·al+bl+1) (5)
式中:a为相应的输入数据流,w和b为相应层神经元的权重与偏置,f代表一系列的池化、归一化、激活函数操作;
(2)后向传播
后向传播即误差传播阶段,计算理想输出差异,即代价函数:
Figure FDA0002684045370000031
式中:m为类别数量,hw,b表示权重与偏置的函数。利用随机梯度下降的方法寻找最佳的w和b,使得代价函数最小。
3.根据权利要求1或2所述的一种无监督模型参数迁移的滚动轴承寿命预测方法,其特征在于,所述无监督条件下滚动轴承状态识别是指利用无监督模型迁移进行状态识别,具体为:
首先使用有标签源域数据集进行预训练,然后使用无标签目标域数据集(无监督)对预训练形成的模型进行迁移训练,也就是微调的过程;具体为给预训练模型做一个“换头术”,即切掉最后的softmax层,然后接上一个新的参数随机初始化后的softmax层,即完成模型迁移的过程;
在模型迁移过程中仅初始化logits层参数,参数更新过程为:
ωj←ωj+Δωj (7)
bj←bj+Δbj (8)
式中:ωj、bj分别是第j层神经元的权值和偏置,Δ代表增量符号;
利用式(9)和式(10)计算图4中卷积层和logits层的第j层输出:
z=ωjx+bj (9)
Figure FDA0002684045370000041
Figure FDA0002684045370000042
其中:
Figure FDA0002684045370000043
表示第j层输出,f表示激活函数,Pi表示第i类的概率,yi表示网络输出的某一类别,n表示网络输出的类别总数;
迁移训练过程中,只有logits层进行参数更新,卷积层仅计算输出;通过与真实标签进行对比,计算交叉熵函数,函数表示为:
Figure FDA0002684045370000044
式中:C表示分类数,yc表示真实标签,
Figure FDA0002684045370000045
表示logits层输出;
使用Adam优化算法用于提高收敛速度,其是将动量与RMSProp优化算法相结合,表示为:
Figure FDA0002684045370000046
Figure FDA0002684045370000047
式中:ωt、bt、at分别表示第t次迭代时的权值、偏置、学习速率;
Figure FDA0002684045370000048
分别表示权重与偏置的偏差纠正动量值;
Figure FDA0002684045370000049
分别是权值与偏置的偏差纠正RMSProp值;ε是优化算法中的超参数。
4.根据权利要求3所述的一种无监督模型参数迁移的滚动轴承寿命预测方法,其特征在于,剩余寿命预测的具体过程为:
根据时间序列属于不同退化状态的概率Pi,采用状态概率估计法进行剩余寿命预测;状态概率估计法是指根据状态分类器得到的时间序列分属于不同退化状态的概率,以及由历史数据(训练样本)确定的每种退化状态对应的剩余使用寿命,进而得到当前状态剩余寿命的方法;某时刻剩余寿命的计算过程为:
Figure FDA0002684045370000051
Figure FDA0002684045370000052
式中:Dui表示由历史数据(训练样本)得到的设备在第i(i=1,2…C)个状态时的驻留时间;k表示当前状态驻留时间系数,用于调整剩余寿命预测准确度,C代表状态类别;RULi表示由训练样本得出的设备处于第i个退化状态时的剩余寿命;P(Xt=i)代表序列Xt处于第i个退化状态的概率,与式(11)中的Pi含义相同。
CN202010971076.4A 2020-09-15 2020-09-15 一种无监督模型参数迁移的滚动轴承寿命预测方法 Active CN112101220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010971076.4A CN112101220B (zh) 2020-09-15 2020-09-15 一种无监督模型参数迁移的滚动轴承寿命预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010971076.4A CN112101220B (zh) 2020-09-15 2020-09-15 一种无监督模型参数迁移的滚动轴承寿命预测方法

Publications (2)

Publication Number Publication Date
CN112101220A true CN112101220A (zh) 2020-12-18
CN112101220B CN112101220B (zh) 2023-03-03

Family

ID=73758752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010971076.4A Active CN112101220B (zh) 2020-09-15 2020-09-15 一种无监督模型参数迁移的滚动轴承寿命预测方法

Country Status (1)

Country Link
CN (1) CN112101220B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597607A (zh) * 2020-12-21 2021-04-02 北京华能新锐控制技术有限公司 风力发电机高速轴承的预测性维修方法及系统
CN112734002A (zh) * 2020-12-28 2021-04-30 北京航空航天大学 一种基于数据层和模型层联合迁移学习的寿命预测方法
CN112765890A (zh) * 2021-01-26 2021-05-07 西安电子科技大学 基于动态域适应网络的多工况旋转机械剩余寿命预测方法
CN112818598A (zh) * 2021-01-31 2021-05-18 中国人民解放军63963部队 一种车载健康管理系统仿真论证系统及方法
CN113052302A (zh) * 2021-04-02 2021-06-29 重庆大学 基于循环神经网络的机器健康监控方法、装置及终端设备
CN113092115A (zh) * 2021-04-09 2021-07-09 重庆大学 数模联合驱动的全寿命滚动轴承数字孪生模型构建方法
CN113221382A (zh) * 2021-06-01 2021-08-06 中国科学院自动化研究所 一种工业设备剩余寿命预测方法、系统及设备
CN113240099A (zh) * 2021-07-09 2021-08-10 北京博华信智科技股份有限公司 基于lstm的旋转机械健康状态的预测方法和装置
CN113326590A (zh) * 2021-07-16 2021-08-31 北京博华信智科技股份有限公司 基于深度学习模型的滚动轴承寿命预测方法和装置
CN113554621A (zh) * 2021-07-23 2021-10-26 江苏科技大学 基于小波尺度图和深度迁移学习的刀具磨损状态识别系统及识别方法
CN113553903A (zh) * 2021-06-11 2021-10-26 东南大学 一种深度时间卷积网络的旋转机械健康评估方法
CN113609770A (zh) * 2021-08-06 2021-11-05 电子科技大学 基于分段线性拟合hi及lstm的滚动轴承rul预测方法
CN113642618A (zh) * 2021-07-27 2021-11-12 上海展湾信息科技有限公司 一种用于螺杆装置状态预测模型训练的方法及设备
CN113705715A (zh) * 2021-09-04 2021-11-26 大连钜智信息科技有限公司 一种基于lstm和多尺度fcn的时间序列分类方法
CN113779724A (zh) * 2021-09-13 2021-12-10 江苏仅一联合智造有限公司 一种充填包装机故障智能预测方法及其系统
CN114048546A (zh) * 2021-11-17 2022-02-15 大连理工大学 一种基于图卷积网络和无监督域自适应的航空发动机剩余使用寿命预测方法
CN114202028A (zh) * 2021-12-13 2022-03-18 四川大学 基于mamtl的滚动轴承寿命阶段识别方法
CN114218872A (zh) * 2021-12-28 2022-03-22 浙江大学 基于dbn-lstm半监督联合模型的剩余使用寿命预测方法
CN114417913A (zh) * 2021-12-22 2022-04-29 太原理工大学 基于pc-tcn和迁移学习的轴承寿命预测方法
CN114925723A (zh) * 2022-05-06 2022-08-19 盐城工学院 采用编码器和解码器的滚动轴承剩余使用寿命预测方法
CN114936444A (zh) * 2022-02-25 2022-08-23 核电运行研究(上海)有限公司 一种基于不同退化趋势的设备剩余使用寿命估计方法
CN116432543A (zh) * 2023-06-13 2023-07-14 湖南大学 功率半导体模块剩余寿命预测方法、终端设备及存储介质
CN117330315A (zh) * 2023-12-01 2024-01-02 智能制造龙城实验室 一种基于在线迁移学习的旋转机械故障监测方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080141072A1 (en) * 2006-09-21 2008-06-12 Impact Technologies, Llc Systems and methods for predicting failure of electronic systems and assessing level of degradation and remaining useful life
US20150073751A1 (en) * 2012-04-13 2015-03-12 Siemens Corporation Embedded Prognostics on PLC Platforms for Equipment Condition Monitoring, Diagnosis and Time-to-Failure/Service Prediction
CN104636584A (zh) * 2013-11-13 2015-05-20 上银科技股份有限公司 滚珠螺杆运行顺畅度的诊断方法
CN107680090A (zh) * 2017-10-11 2018-02-09 电子科技大学 基于改进全卷积神经网络的输电线路绝缘子状态识别方法
CN107677472A (zh) * 2017-08-25 2018-02-09 中国矿业大学 面向网络变量筛选与特征熵融合的轴承状态噪声诊断算法
CN109883691A (zh) * 2019-01-21 2019-06-14 太原科技大学 核估计和随机滤波集成的齿轮剩余寿命预测方法
CN109902393A (zh) * 2019-03-01 2019-06-18 哈尔滨理工大学 一种基于深层特征和迁移学习的变工况下滚动轴承故障诊断方法
CN109918752A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于迁移卷积神经网络的机械故障诊断方法、设备及介质
CN110057584A (zh) * 2019-04-01 2019-07-26 西安交通大学 一种机车牵引电机轴承退化监测方法
US20190311273A1 (en) * 2016-12-21 2019-10-10 Abb Schweiz Ag Estimation of current and future machine states
CN110866365A (zh) * 2019-11-22 2020-03-06 北京航空航天大学 基于部分迁移卷积网络的机械设备智能故障诊断方法
CN111027678A (zh) * 2019-12-04 2020-04-17 湃方科技(北京)有限责任公司 一种数据迁移方法及装置
CN111060318A (zh) * 2020-01-09 2020-04-24 山东科技大学 一种基于深度对抗迁移网络的轴承故障诊断方法
CN111442926A (zh) * 2020-01-11 2020-07-24 哈尔滨理工大学 一种基于深层特征迁移的变负载下不同型号滚动轴承故障诊断方法
CN111651937A (zh) * 2020-06-03 2020-09-11 苏州大学 变工况下类内自适应轴承故障诊断方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080141072A1 (en) * 2006-09-21 2008-06-12 Impact Technologies, Llc Systems and methods for predicting failure of electronic systems and assessing level of degradation and remaining useful life
US20150073751A1 (en) * 2012-04-13 2015-03-12 Siemens Corporation Embedded Prognostics on PLC Platforms for Equipment Condition Monitoring, Diagnosis and Time-to-Failure/Service Prediction
CN104636584A (zh) * 2013-11-13 2015-05-20 上银科技股份有限公司 滚珠螺杆运行顺畅度的诊断方法
US20190311273A1 (en) * 2016-12-21 2019-10-10 Abb Schweiz Ag Estimation of current and future machine states
CN107677472A (zh) * 2017-08-25 2018-02-09 中国矿业大学 面向网络变量筛选与特征熵融合的轴承状态噪声诊断算法
CN107680090A (zh) * 2017-10-11 2018-02-09 电子科技大学 基于改进全卷积神经网络的输电线路绝缘子状态识别方法
CN109883691A (zh) * 2019-01-21 2019-06-14 太原科技大学 核估计和随机滤波集成的齿轮剩余寿命预测方法
CN109918752A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于迁移卷积神经网络的机械故障诊断方法、设备及介质
CN109902393A (zh) * 2019-03-01 2019-06-18 哈尔滨理工大学 一种基于深层特征和迁移学习的变工况下滚动轴承故障诊断方法
CN110057584A (zh) * 2019-04-01 2019-07-26 西安交通大学 一种机车牵引电机轴承退化监测方法
CN110866365A (zh) * 2019-11-22 2020-03-06 北京航空航天大学 基于部分迁移卷积网络的机械设备智能故障诊断方法
CN111027678A (zh) * 2019-12-04 2020-04-17 湃方科技(北京)有限责任公司 一种数据迁移方法及装置
CN111060318A (zh) * 2020-01-09 2020-04-24 山东科技大学 一种基于深度对抗迁移网络的轴承故障诊断方法
CN111442926A (zh) * 2020-01-11 2020-07-24 哈尔滨理工大学 一种基于深层特征迁移的变负载下不同型号滚动轴承故障诊断方法
CN111651937A (zh) * 2020-06-03 2020-09-11 苏州大学 变工况下类内自适应轴承故障诊断方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
HE YU 等: "Rolling Bearing Degradation State Identification Based on LPP Optimized by GA", 《INTERNATIONAL JOURNAL OF ROTATING MACHINERY》 *
NING CAO 等: "Bearing State Recognition Method Based on Transfer Learning Under Different Working Conditions", 《SENSORS》 *
宁永杰: "基于机器学习的滚动轴承状态评估与剩余寿命预测", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
康守强: "基于无监督深度模型迁移的滚动轴承寿命预测方法", 《自动化学报》 *
戴稳: "基于深度学习的铣刀磨损状态识别及预测方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅰ辑》 *
邢颖怡: "基于无监督深度模型迁移的滚动轴承寿命预测方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
黄业昌: "基于深度学习的轴承故障状态识别方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597607A (zh) * 2020-12-21 2021-04-02 北京华能新锐控制技术有限公司 风力发电机高速轴承的预测性维修方法及系统
CN112597607B (zh) * 2020-12-21 2023-09-15 北京华能新锐控制技术有限公司 风力发电机高速轴承的预测性维修方法及系统
CN112734002A (zh) * 2020-12-28 2021-04-30 北京航空航天大学 一种基于数据层和模型层联合迁移学习的寿命预测方法
CN112734002B (zh) * 2020-12-28 2023-01-13 北京航空航天大学 一种基于数据层和模型层联合迁移学习的寿命预测方法
CN112765890A (zh) * 2021-01-26 2021-05-07 西安电子科技大学 基于动态域适应网络的多工况旋转机械剩余寿命预测方法
CN112765890B (zh) * 2021-01-26 2023-02-10 西安电子科技大学 基于动态域适应网络的多工况旋转机械剩余寿命预测方法
CN112818598A (zh) * 2021-01-31 2021-05-18 中国人民解放军63963部队 一种车载健康管理系统仿真论证系统及方法
CN113052302A (zh) * 2021-04-02 2021-06-29 重庆大学 基于循环神经网络的机器健康监控方法、装置及终端设备
CN113092115A (zh) * 2021-04-09 2021-07-09 重庆大学 数模联合驱动的全寿命滚动轴承数字孪生模型构建方法
CN113092115B (zh) * 2021-04-09 2022-10-11 重庆大学 数模联合驱动的全寿命滚动轴承数字孪生模型构建方法
CN113221382A (zh) * 2021-06-01 2021-08-06 中国科学院自动化研究所 一种工业设备剩余寿命预测方法、系统及设备
CN113553903A (zh) * 2021-06-11 2021-10-26 东南大学 一种深度时间卷积网络的旋转机械健康评估方法
CN113553903B (zh) * 2021-06-11 2022-11-22 东南大学 一种深度时间卷积网络的旋转机械健康评估方法
CN113240099A (zh) * 2021-07-09 2021-08-10 北京博华信智科技股份有限公司 基于lstm的旋转机械健康状态的预测方法和装置
CN113326590B (zh) * 2021-07-16 2021-10-29 北京博华信智科技股份有限公司 基于深度学习模型的滚动轴承寿命预测方法和装置
CN113326590A (zh) * 2021-07-16 2021-08-31 北京博华信智科技股份有限公司 基于深度学习模型的滚动轴承寿命预测方法和装置
CN113554621A (zh) * 2021-07-23 2021-10-26 江苏科技大学 基于小波尺度图和深度迁移学习的刀具磨损状态识别系统及识别方法
CN113554621B (zh) * 2021-07-23 2023-09-22 江苏科技大学 基于小波尺度图和深度迁移学习的刀具磨损状态识别系统及识别方法
CN113642618A (zh) * 2021-07-27 2021-11-12 上海展湾信息科技有限公司 一种用于螺杆装置状态预测模型训练的方法及设备
CN113642618B (zh) * 2021-07-27 2024-03-01 上海展湾信息科技有限公司 一种用于螺杆装置状态预测模型训练的方法及设备
CN113609770A (zh) * 2021-08-06 2021-11-05 电子科技大学 基于分段线性拟合hi及lstm的滚动轴承rul预测方法
CN113609770B (zh) * 2021-08-06 2023-06-02 电子科技大学 基于分段线性拟合hi及lstm的滚动轴承rul预测方法
CN113705715B (zh) * 2021-09-04 2024-04-19 大连钜智信息科技有限公司 一种基于lstm和多尺度fcn的时间序列分类方法
CN113705715A (zh) * 2021-09-04 2021-11-26 大连钜智信息科技有限公司 一种基于lstm和多尺度fcn的时间序列分类方法
CN113779724A (zh) * 2021-09-13 2021-12-10 江苏仅一联合智造有限公司 一种充填包装机故障智能预测方法及其系统
CN114048546B (zh) * 2021-11-17 2024-04-23 大连理工大学 一种基于图卷积网络和无监督域自适应的航空发动机剩余使用寿命预测方法
CN114048546A (zh) * 2021-11-17 2022-02-15 大连理工大学 一种基于图卷积网络和无监督域自适应的航空发动机剩余使用寿命预测方法
CN114202028B (zh) * 2021-12-13 2023-04-28 四川大学 基于mamtl的滚动轴承寿命阶段识别方法
CN114202028A (zh) * 2021-12-13 2022-03-18 四川大学 基于mamtl的滚动轴承寿命阶段识别方法
CN114417913A (zh) * 2021-12-22 2022-04-29 太原理工大学 基于pc-tcn和迁移学习的轴承寿命预测方法
CN114417913B (zh) * 2021-12-22 2024-03-29 太原理工大学 基于pc-tcn和迁移学习的轴承寿命预测方法
CN114218872A (zh) * 2021-12-28 2022-03-22 浙江大学 基于dbn-lstm半监督联合模型的剩余使用寿命预测方法
CN114936444A (zh) * 2022-02-25 2022-08-23 核电运行研究(上海)有限公司 一种基于不同退化趋势的设备剩余使用寿命估计方法
CN114925723B (zh) * 2022-05-06 2023-04-07 盐城工学院 采用编码器和解码器的滚动轴承剩余使用寿命预测方法
CN114925723A (zh) * 2022-05-06 2022-08-19 盐城工学院 采用编码器和解码器的滚动轴承剩余使用寿命预测方法
CN116432543A (zh) * 2023-06-13 2023-07-14 湖南大学 功率半导体模块剩余寿命预测方法、终端设备及存储介质
CN116432543B (zh) * 2023-06-13 2023-09-05 湖南大学 功率半导体模块剩余寿命预测方法、终端设备及存储介质
CN117330315A (zh) * 2023-12-01 2024-01-02 智能制造龙城实验室 一种基于在线迁移学习的旋转机械故障监测方法
CN117330315B (zh) * 2023-12-01 2024-02-23 智能制造龙城实验室 一种基于在线迁移学习的旋转机械故障监测方法

Also Published As

Publication number Publication date
CN112101220B (zh) 2023-03-03

Similar Documents

Publication Publication Date Title
CN112101220B (zh) 一种无监督模型参数迁移的滚动轴承寿命预测方法
Xu et al. Intelligent monitoring and diagnostics using a novel integrated model based on deep learning and multi-sensor feature fusion
Zhang et al. Analog circuit incipient fault diagnosis method using DBN based features extraction
CN111382542B (zh) 一种面向全寿命周期的公路机电设备寿命预测系统
Liu et al. Intelligent prognostics of machining tools based on adaptive variational mode decomposition and deep learning method with attention mechanism
Xu et al. A novel multi-scale CNN and attention mechanism method with multi-sensor signal for remaining useful life prediction
CN114048600A (zh) 一种数字孪生驱动的多模型融合工业系统异常检测方法
CN106886660A (zh) EEMD‑Hilbert包络谱与DBN相结合的变负载下滚动轴承状态识别方法
Shang et al. A remaining life prediction of rolling element bearings based on a bidirectional gate recurrent unit and convolution neural network
Yu et al. Novel hybrid multi-head self-attention and multifractal algorithm for non-stationary time series prediction
CN114218872B (zh) 基于dbn-lstm半监督联合模型的剩余使用寿命预测方法
CN116577677A (zh) 退役动力电池的放电测试系统及其方法
CN112434743A (zh) 基于gil金属微粒局部放电时域波形图像的故障识别方法
Huang et al. An adversarial learning approach for machine prognostic health management
CN116578940A (zh) 一种基于混合深度自编码的轴承故障新类识别与诊断方法
Wang et al. Feature fusion based ensemble method for remaining useful life prediction of machinery
Qiu et al. A piecewise method for bearing remaining useful life estimation using temporal convolutional networks
Zhang et al. Fault diagnosis of oil-immersed power transformer based on difference-mutation brain storm optimized catboost model
CN114861778A (zh) 一种改进宽度迁移学习的不同负载下滚动轴承状态快速分类方法
Xiao et al. Health assessment for piston pump using LSTM neural network
Zheng et al. An unsupervised transfer learning method based on SOCNN and FBNN and its application on bearing fault diagnosis
CN116738332A (zh) 一种结合注意力机制的飞行器多尺度信号分类识别与故障检测方法
Amar Bouzid et al. CNC milling cutters condition monitoring based on empirical wavelet packet decomposition
CN115496384A (zh) 工业设备的监控管理方法、装置和计算机设备
CN114298413A (zh) 一种水电机组振摆趋势预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant