CN116595857A - 基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法 - Google Patents
基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法 Download PDFInfo
- Publication number
- CN116595857A CN116595857A CN202310335856.3A CN202310335856A CN116595857A CN 116595857 A CN116595857 A CN 116595857A CN 202310335856 A CN202310335856 A CN 202310335856A CN 116595857 A CN116595857 A CN 116595857A
- Authority
- CN
- China
- Prior art keywords
- data
- vibration signal
- rolling bearing
- signal data
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006731 degradation reaction Methods 0.000 title claims abstract description 82
- 230000015556 catabolic process Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000005096 rolling process Methods 0.000 title claims abstract description 32
- 238000013508 migration Methods 0.000 title claims abstract description 10
- 230000005012 migration Effects 0.000 title claims abstract description 10
- 230000036541 health Effects 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000012360 testing method Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims abstract description 6
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 238000009826 distribution Methods 0.000 claims description 20
- 238000013526 transfer learning Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 9
- 230000035772 mutation Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/17—Mechanical parametric or variational design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/04—Ageing analysis or optimisation against ageing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Human Resources & Organizations (AREA)
- Computer Hardware Design (AREA)
- Strategic Management (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Biomedical Technology (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Optimization (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
一种基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法，先采集滚动轴承的原始振动信号数据，对其采用滑窗分割方法得到多端振动信号数据。其次通过计算自健康数据与多段振动信号数据之间的最大均值差异度量值得到健康指标曲线变化。然后，通过对健康指标曲线引用统计过程分析方法得到轴承退化阶段。将原始振动信号数据进行数据预处理、数据集划分和打上标签送入残差网络和Adaptive‑Transformer进行训练。最后，将测试集送入Adaptive‑Transformer网络中进行预测，输出最终的滚动轴承剩余寿命预测结果。该方法考虑了各阶段轴承的RUL，将预测损失RMSE降低了0.1左右，预测精度提升4％～6％。
Description
技术领域
本发明涉及故障诊断与轴承寿命预测技术领域，特别涉及一种基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法。
背景技术
滚动轴承作为工业旋转机械最基本的部件，一旦在工业生产中出现故障会导致生产计划外的经济损失和设备停机。当轴承在运行过程中出现退化或故障时，将直接影响整部设备的运行可靠性和稳定性。因此，轴承的剩余寿命(RUL)预测对避免运行风险前的危险情况起着至关重要的作用，并在预测和健康管理(PHM)技术等方面受到了越来越多的关注。近年来，迁移学习(TL)作为一种解决域分布特征差异的有效工具得到了迅速发展。作为TL的一个分支，域自适应(DA)将不同域的特征映射到一个新的共同特征空间来进行问题求解。为了解决域移位问题，DA通过选择适当的特征表示使得新特征空间中源域和目标域的分布尽可能一致。DA为剩余寿命预测提供了一种新的解决方案，在不同的工作条件下模型表现出了更好的性能。然而，这些TL方法往往需要大量跨工况数据来提高剩余寿命预测性能。虽然上述剩余寿命预测方法已经取得了巨大的进步，但仍存在如下问题：
(1)现有预测方法往往使用单一的时域特征来作为健康指标，并通过设定阈值来对健康指标曲线进行退化阶段的划分，但由于阈值无法自动适应轴承的退化过程，进而无法准确的获取轴承的多级退化信息。
(2)现有预测方法对剩余寿命的预测没有考虑到多级退化阶段之间的相关性，无法根据退化趋势的多边形准确的识别健康指标和退化阶段。
(3)现有迁移学习预测模型的预测精度在很大程度上取决于源域的数据量和多工况下数据分布的差异。然而，现实场景中通常难以收集足够的数据来获得特征分布差异和训练迁移学习网络，从而导致轴承跨工况下剩余寿命预测结果表现不佳。
(4)现有预测方法只考虑了模型总体的预测精度，而忽略了每一个退化阶段有着相似的退化特征可以用作模型精度的调整，从而使得单个退化阶段的预测精度降低。
(5)现有预测方法在实际工业场景下无法克服由于数据量小、数据不平衡而导致的轴承RUL跨工况预测精度下降问题。
发明内容
本发明的目的是为了改善轴承跨工况剩余寿命预测模型预测精度低、泛化性差的情况，而提供一种基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法，以实现在跨工况条件下对轴承不同退化阶段的剩余寿命进行准确预测。
为实现上述目的，本发明采用的技术方案是：
一种基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法，包括以下步骤：
步骤1：采集滚动轴承的原始振动信号数据，并对其采用滑动窗口分割方法得到多段振动信号数据；
步骤2：计算自健康数据SH与步骤1中多段振动信号数据之间的最大均值差异度量MMD值，并进一步通过归一化MMD值来得到健康指标曲线的变化；
步骤3：通过统计过程分析SPA方法对步骤2中得到的健康指标曲线进行首次预测时间点FPT和尖锐转变点STP的识别，得到轴承的各个退化阶段；
步骤4：对步骤1中得到的原始振动信号数据进行数据预处理，并进行特征提取以获得特征参数；
步骤5：将步骤4中获取的特征参数划分为训练集和测试集，并通过步骤3对各个退化阶段的训练数据打上标签；
步骤6：把步骤5中的训练集送入分类网络和时间序列预测网络中进行训练；
步骤7：将步骤5中所划分得到的测试集送入在步骤6中训练好的时间序列预测网络中进行预测，输出最终的滚动轴承剩余寿命预测结果。
进一步优选，步骤1中，所述滚动轴承的原始振动信号数据包括水平振动信号数据和垂直振动信号数据两种，通过安装在轴承基座上的加速度传感器分别进行采集，得到轴承运行的全生命周期数据，以轴承振动幅度超过20g作为结束采集的阈值。
进一步优选，步骤1中，所述滑窗分割方法的具体方法是，根据步长l，对整个原始振动信号数据进行等距离分割，其中l取为64。
进一步优选，步骤2中，所述自健康数据SH指的是通过步骤1中所述的滑窗分割方法进行时段划分的第一段振动信号数据。
进一步优选，步骤2中，所述最大均值差异度量MMD值为在再生希尔伯特空间中两个分布的距离，即为自健康数据SH和每一段振动信号数据之间的差异度。
进一步优选，步骤3中，所述统计过程分析方法是通过分析曲线多个点的集合的平均值μ、方差σ2和标准差σ来定位曲线斜率突变点的位置，从而找出首次预测时间点FPT和尖锐转变点STP来对健康指标曲线进行多级退化阶段的划分。
进一步优选，步骤4中，所述对原始振动信号数据进行数据预处理包括标准化和归一化，对预处理后的数据进行特征提取得到的特征参数，包括均方根值、标准差、峰峰值和波形因子。
进一步优选，步骤5中，所述将步骤4中获取的特征参数划分为训练集和测试集的具体方法是，按照7：3的比例划分训练集和测试集，其中训练集表示形式为：Xtrain＝(x1，x2，…，xK)，其中xi＝(x1，x2，…，xk)，且K和k分别表示样本数量和特征参数量，所述测试集类似。
进一步优选，步骤6中，所述分类网络为残差网络，所述时间序列预测网络为Adaptive-Transformer网络。
本发明的优点和有益效果如下：
(1)本发明提出了一种确定健康指标和多级退化阶段的新型划分方法。与传统统计模型相比，该方法在不设置阈值的情况下，可以准确获取随轴承多级退化变化的健康指标，降低了65％的计算成本。
(2)本发明提出了一种残差网络与特征提取相结合的多退化阶段自适应识别方法，既能根据轴承退化趋势的多变性准确识别健康指标和退化阶段，又将退化阶段的识别时间缩短到10毫秒以内。
(3)本发明提出了一种基于Adaptive-Transformer的分层自适应RUL模型，将学习到的多阶段退化特征从一种工况迁移到多种工况，有利于小样本数据集进行跨工况的轴承剩余寿命预测。
(4)本发明提出了分层自适应调优(HAT)方法，降低了自适应RUL模型的RMSE损失约0.1左右，并提高了4％-6％的预测精度。
(5)本发明将轴承退化过程和寿命预测结合起来，实现了跨工况轴承剩余寿命的预测，解决了在工业数据量小于1500张且标签数据不平衡情况下预测精度低于60％的问题。
附图说明
图1为基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法的总体流程图，
图2为基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法的详细流程图，
图3为基于MMD的健康指标构建方法流程图，
图4为残差网络结构示意图，
图5为Adaptive-Transformer网络结构示意图，
图6为本发明与不带有HAT模块的Adaptive-Transformer对比结果示意图，其中图(a)、图(b)为测试轴承1_3的RUL预测结果，图(c)、图(d)为测试轴承2_1的RUL预测结果。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征以及优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，本发明可以以各种形式实现而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本发明实施例的限定。
如图1和图2所示，一种基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法，包括以下步骤：
1)采集滚动轴承的原始振动信号
采集滚动轴承的原始振动信号数据，并对其采用滑动窗口分割方法得到多段振动信号数据。其中，滚动轴承的原始振动信号数据包括水平振动信号数据和垂直振动信号数据两种，通过安装在轴承基座上的加速度传感器分别进行采集，得到轴承运行的全生命周期数据，以轴承振动幅度超过20g作为结束采集的阈值。其中滑窗分割法是根据步长l，对整个原始振动信号数据进行等距离分割，本发明中l取为64。
2)通过最大均值差异度量构建基于MMD的健康指标
计算自健康数据SH与步骤1中多段振动信号数据之间的最大均值差异度量(MMD)值，并通过归一化MMD值来得到健康指标曲线的变化。其中，自健康数据SH指的是通过步骤1)中所述的滑窗分割法进行时段划分的第一段振动信号数据。其中，MMD是迁移学习中最常用的度量，它测量了再生希尔伯特空间(RHS)中两个分布之间的距离，通过引入核学习降低了求解难度。此外，MMD还可以用于测试两个样本是否来自两个不同的分布。MMD的具体公式表示如下：
其中S和T是两个不同的分布，ES[·]表示分布S的期望，f∈F表示RHS中定义了一组属于F的函数。在实践中，函数集F不能任意定义。在MMD中，函数域定义为RHS的单位球内的任意向量，即||f||＜1，该空间中φ(·)的RHS中向量f的点积可下式计算:
f(x)＝<f，φ(x)>H (2)
其中，变量通过核函数映射到RHS中的向量。将式(2)代入式(1)，可将MMD公式改写为:
其中μS和μT表示ES[<f，φ(dS)>H]和ET[<f，φ(dT)>H]。
为解决映射函数选择困难的问题，通过引入核函数方法将平方后的MMD表示为:
其中DS和DT为源域和目标域的特征，||·||H表示特征图的再生核希尔伯特空间(RKHS)，nS和nT分别表示源域和目标域的样本数量。其中，函数φ(·)将原始数据映射到RKHS,则表示映射过程的内积。如果distmmd(DS，DT)＝0，则DS＝DT，则distmmd(DS，DT)表示RKHS中两种特征分布的平均嵌入距离。为便于计算，可将式(4)简化为如式(5)所示的矩阵形式:
MMD＝tr(KL)
基于此，本发明提出了一种基于MMD的健康指标构建方法，以获取自健康数据s1与滑动窗口拼接的原始振动数据之间的差异程度。通常情况下，轴承运行初期没有明显退化的运行状态的测量数据可视为自健康数据。将自我健康数据s1视为基准，si表示运行到故障生命周期中的退化数据。随着轴承的退化，s1和si之间的差异会逐渐增大，直到两者完全不同。为了确定原始信号样本变化时的健康指标，采用计算s1和si之间的MMD值来评估差异，从而实时评估健康状态。基于MMD的健康指标构建流程如图3所示。
3)通过统计过程分析(SPA)方法对步骤2中得到的健康指标曲线进行突变点的识别，从而得到各个退化阶段。
统计过程分析方法是通过分析曲线多个点的集合的平均值(μ)、方差(σ2)和标准差(σ)来定位曲线斜率突变点的位置，从而找出FPT和STP来对健康指标曲线进行多级退化阶段的划分。首先，采用分段平均的方法对基于MMD的健康指标曲线进行了处理，得到了平滑的健康指标曲线，避免了数据冗余、退化趋势不明确等问题。然后，通过计算三个监测基准，有效监测突变点是否出现，并将监测到的突变点记录为可疑点。最后，通过寻找多个可疑点并对其突变程度进行排序，可以准确获得轴承的多个阶段。为了对轴承系统运行过程中的退化阶段进行分类，本发明提出了轴承退化的四阶段模型。退化阶段具体如下:
(1)健康阶段:该阶段轴承运行平稳，不会有明显的健康指标下降趋势。
(2)轻度退化阶段:轴承开始退化，健康指标呈现轻微下降趋势。
(3)缓慢退化阶段:与轻度退化阶段相比，健康指标往往表现出大量的不规则波动，这表明轴承开始显著退化。
(4)加速退化阶段:在这一阶段，健康指标开始以更快的速度下降，轴承最终将在这一阶段失效。
本发明选用三个监测基准:平均值(μ)、方差(σ2)和标准差(σ)，其公式表示为:
统计过程分析方法进行轴承多级退化阶段划分的具体实施步骤如下：
步骤(3.1)通过计算每个步长l′的数据平均值，可得到新的平滑健康指标曲线，并表示为为
步骤(3.2)利用滑动窗口法，得到样本点数据的子集。连续两个子集可表示为和/>其中W表示滑动窗口长度，l表示单次移动步长，p为滑动窗口移动的起始点位置。子集集合可表示为Y＝(y1，y2，…，yn′)，其中n′可由下式得到：
步骤(3.3)计算相邻两个子集yi和yi+1的三个基准统计量，然后进行比较。如果yi+1的基准值大于yi的M倍，可疑点将被记录为突变点。
步骤(3.4)将可疑点基准值的增加倍数按降序排列，将识别出的可疑点视为突变点，即可准确实现轴承退化阶段的划分
4)通过对步骤1)中得到的原始振动信号进行数据预处理，并进行特征提取，获得特征参数。
步骤3)中对原始振动信号进行的预处理包括标准化和归一化，对预处理后的数据进行特征提取得到的特征参数有均方根值、标准差、峰峰值和波形因子等。
5)将步骤4中获取的特征参数划分为训练集和测试集，并通过步骤3对各个退化阶段数据打上标签。
步骤5中的训练集我们表示为如下形式Xtrain＝(x1，x2，…，xK)，其中xi＝(x1，x2，…，xk)，且K和k分别到表样本数量和特征参数量，测试集类似。由于原始振动信号并不包含标签集，因此我们通过以下公式制作标签集:
其中，代表第i个样本的标签。且，TFPT由步骤3得到，是FPT点在样本中的序列数，即轴承在TFPT开始发生退化。
6)把步骤5中的训练集送入残差神经网络和Adaptive-transformer进行训练。
训练残差网络是为了实现健康指标和多级退化阶段的自适应识别，为Adaptive-Transformer的剩余寿命预测打下基础；进行跨工况轴承RUL预测的Adaptive-Transformer网络将不同的轴承退化阶段当作源域和目标域进行域自适应，训练针对不同退化阶段的剩余寿命预测模型，包括轻度退化预测模型、缓慢退化预测模型和加速退化预测模型，并通过分级自适应调优(HAT)方法降低了各退化阶段的模型损失。
6.1)残差神经网络的训练
残差网络的应用旨在缓解深度卷积神经网络(CNN)中由于网络深度增加而导致的梯度消失问题。因此，为了解决这一问题，引入了残差块的概念，可具体表示为下式：
xl+1＝h(xl)+F(xl，wl) (11)
残差块分为两个部分:直接映射部分h(xl)和剩余部分F(xl，wl)。如图4所示，F(xl，Wl)由两个或三个卷积运算组成。
为了解决划分轴承退化阶段过于依赖人工的问题，提出了一种残差网络与特征提取相结合的多退化阶段自适应识别方法，可实时监测健康指标变化并识别退化阶段，为后续RUL预测中不同阶段间的域自适应提供基础。本发明提出的退化阶段自适应识别方法具体步骤如下：
步骤(6.1)数据处理。提取原始振动信号T＝(t1，t2，…，tN)的时域和频域特征，既能减少数据量又不丢失任何信息，还能使网络更有针对性地训练数据。
步骤(6.2)对不同阶段的数据进行标记。为通过SPA方法获取的标签数据集，其中n0为标签数量。针对四个降解阶段，有不同类别的标签如下:
类别0:健康阶段
类别1:轻度退化阶段
类别2:缓慢退化阶段
类别3:加速退化阶段
步骤(6.3)网络训练。将标记好的数据输入网络，然后进行卷积和池化进行特征提取和下采样，利用残差块对可学习参数进行充分训练，最后通过全连通层输出分类结果。
本发明所提出的自适应识别方法将残差网络与特征提取相结合，可有效缩短寻优路径，加快网络收敛速度。与传统方法相比，该方法能根据退化趋势的变化来自适应识别健康指标和退化阶段。
6.2)Adaptive-Transformer的训练
其中，Transformer基于注意机制，可以将序列中任意两个位置之间的距离转换为一个常数。这样在分析和预测长时间序列时，可以更好地捕捉间隔较长的语义信息，避免了序列计算中所携带的语义信息被削弱的问题。此外，Transformer放弃了传统的顺序结构，从而获得了更好的并行性。特别是位置编码使得它能够记住每个信息的位置，这使得它更容易使用分布式GPU进行并行训练，从而提高了模型训练的效率。Transformer主要包括以下结构：
输入层：包括源域数据嵌入层、目标域数据嵌入层和位置编码器层。嵌入层根据网络计算的任务要求，将数据映射为维数d_model维的向量。由于Transformer不包含递归和卷积，该模型增加了位置编码来表示信息在序列中的绝对位置或相对位置，使网络可以使用序列信息。位置编码选择正弦和余弦函数，公式如下所示:
其中pos是位置，i是维度。因此，位置编码的每个维度对应一个正弦信号，实验证明该函数可以使模型很容易地学习到位置的规律。
编码器：由堆叠的N个编码器层组成，其中每个编码器层依次与两个子层连接，一个多头注意力机制(MHA)和一个位置前馈网络(PWFFN)。各子层采用残差跳接，并采用层归一化，使子层参数得到充分训练，加快了收敛速度。MHA解决了自注意机制在编码当前位置信息时会过度关注自身位置的缺陷，通过使用h组不同的注意头对数据进行不同的线性投影，从而学习不同的查询(Q)、键(K)和值(V)，然后将不同Q、K、V的h组并行合并。最后，将h组的池输出连接在一起，并通过另一个可学习的线性投影进行变化，以产生最终的输出。计算公式如下所示：
MH(Q，K，V)＝Concat(head1，head2，…，headh)WO( 14)
where headi＝Attention(QWi Q，KWi K，VWi V)
其中可学习参数包括和基于这种设计，每个头可以专注于输入数据的不同部分。
解码器：由堆叠的N个解码器层组成，每个编码器有三个按顺序连接的子层：掩码多头注意力层(masked MHA)、MHA和PWFFN。掩码多头注意力层除了增加掩码外与编码器块中的MHA相同。掩码表示某些值被屏蔽，以便在参数更新时它们不生效。在时间序列预测中，对于时间步长t，解码器的输出只需要依赖于时间t之前的输出，因此对解码器的输入采用掩码MHA，得到之前预测的输出信息，相当于记录当前时刻输入之间的信息。
输出层：经过N层编码器和解码器后，输入特征进行线性变换，由激活函数激活，得到最终输出。在轴承的RUL预测中，通常选择sigmoid作为输出层的激活函数。
基于传统Transformer，本发明提出了Adaptive-Transformer将单轴承的各个退化阶段分别作为源域和目标域，动态减小源域和目标域之间的分布差异。所提出的Adaptive-Transformer网络的结构如图5所示。在正向传播中，将两个退化阶段的数据分别作为源域和目标域。然后在各自的域中进行打乱，这些域将作为训练数据输入。在反向传播中，为了有效更新网络权重，减小域间分布差异，提出了新的目标损失函数，该函数由两部分组成：
(1)回归损失Lregression：Lregression用于最小化训练数据的预测误差，可自适应调整网络训练参数，使预测的RUL更接近实际结果。本发明专利选取径向基函数(RBF)作为核函数，通过均方误差(MSE)计算Lregression如下：
其中yi和分别表示真实的RUL标签和模型预测的RUL标签，n表示训练过程中的批次大小。(2)分布差异损失LMMD(DS，DT):LMMD(DS，DT)表示高维特征在源域和目标域之间的分布差异，使网络能够更好地提取域不变特征。作为一种非参数度量MMD，它可以测量两个域之间的一阶分布散度。因此，引入核学习后分布差异损失公式可表示为:
其中表示源域的第i个元素，nS和nT分别表示源域和目标域每个批次的大小，k(·，·)表示核函数。因此，网络损失函数可被定义为：
Ltotal(DS，DT；θ)＝Lregression(θ)+LMMD(DS，DT) (17)
其中θ表示网络中的可学习参数。
为了更好地利用自我注意子层，本发明专利提出了注意力层重要性评价(ALIE)方法。注意力层重要性评价方法的作用是在捕获时间相关性的同时，自适应匹配两个退化阶段(DS，DT)的自我注意层之间的分布。此外，引入重要性评价向量来评价每个自我注意层的相对重要性，其中L表示自我注意层数。对于输入退化阶段数据集(DS，DT)，分布匹配的损失公式可计算如下:
其中和/>分别表示第l个自我注意层DS和DT的数据，/>表示第l个自我注意层DS和DT之间的分布重要度，dcosine表示余弦相似度。
最后，考虑ALIE的网络优化损耗可重新表示为:
7)将步骤5中所划分得到的测试集送入在步骤6中训练好的Adaptive-Transformer中进行预测，输出最终的滚动轴承剩余寿命预测结果。
为了验证本发明，在XJTU-SY数据集上的两种工作条件下的7个跨域情况下进行了大量的实验，以预测滚动轴承的RUL。
实验结果如图6所示，其中图(a)、图(b)为测试轴承1_3的RUL预测结果，图(c)、图(d)为测试轴承2_1的RUL预测结果，实验分别取两个工况下的某一个轴承数据，预测结果分别为退化阶段的轻度退化阶段、缓慢退化阶段和加速退化阶段。其中，红色曲线代表本方法所提出的HAT方法应用在Adaptive-Transformer模型上进行预测的结果，蓝色曲线代表不应用HAT方法的预测结果。从图中可以看出相较于蓝色曲线，红色曲线对真实剩余寿命的拟合效果更好，泛化性更好。该方法不仅具有较好的精度和优于其他传统方法的优点，而且能够识别轴承的多阶段退化，预测各阶段的RUL，实现多级域不变特征从一种工况到交叉工况的转移，预测精度显著提升。
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。
Claims (9)
1.一种基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法，其特征在于，包括以下步骤：
步骤1：采集滚动轴承的原始振动信号数据，并对其采用滑动窗口分割方法得到多段振动信号数据；
步骤2：计算自健康数据SH与步骤1中多段振动信号数据之间的最大均值差异度量MMD值，并进一步通过归一化MMD值来得到健康指标曲线的变化；
步骤3：通过统计过程分析SPA方法对步骤2中得到的健康指标曲线进行首次预测时间点FPT和尖锐转变点STP的识别，得到轴承的各个退化阶段；
步骤4：对步骤1中得到的原始振动信号数据进行数据预处理，并进行特征提取以获得特征参数；
步骤5：将步骤4中获取的特征参数划分为训练集和测试集，并通过步骤3对各个退化阶段的训练数据打上标签；
步骤6：将步骤5中的训练集送入分类网络和时间序列预测网络中进行训练；
步骤7：将步骤5中所划分得到的测试集送入在步骤6中训练好的时间序列预测网络中进行预测，输出最终的滚动轴承剩余寿命预测结果。
2.根据权利要求1所述的基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法，其特征在于，步骤1中，所述滚动轴承的原始振动信号数据包括水平振动信号数据和垂直振动信号数据两种，通过安装在轴承基座上的加速度传感器分别进行采集，得到轴承运行的全生命周期数据，以轴承振动幅度超过20g作为结束采集的阈值。
3.根据权利要求1所述的基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法，其特征在于，步骤1中，所述滑窗分割方法的具体方法是，根据步长l，对整个原始振动信号数据进行等距离分割，其中l取为64。
4.根据权利要求1所述的基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法，其特征在于，步骤2中，所述自健康数据SH指的是通过步骤1中所述的滑窗分割方法进行时段划分的第一段振动信号数据。
5.根据权利要求1所述的基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法，其特征在于，步骤2中，所述最大均值差异度量MMD值为在再生希尔伯特空间中两个分布的距离，即为自健康数据SH和每一段振动信号数据之间的差异度。
6.根据权利要求1所述的基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法，其特征在于，步骤3中，所述统计过程分析方法是通过分析曲线多个点的集合的平均值μ、方差σ2和标准差σ来定位曲线斜率突变点的位置，从而找出首次预测时间点FPT和尖锐转变点STP来对健康指标曲线进行多级退化阶段的划分。
7.根据权利要求1所述的基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法，其特征在于，步骤4中，所述对原始振动信号数据进行数据预处理包括标准化和归一化，对预处理后的数据进行特征提取得到的特征参数，包括均方根值、标准差、峰峰值和波形因子。
8.根据权利要求1所述的基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法，其特征在于，步骤5中，所述将步骤4中获取的特征参数划分为训练集和测试集的具体方法是，按照7：3的比例划分训练集和测试集，其中训练集表示形式为：Xtrain＝(x1，x2，…，xK)，其中xi＝(x1，x2，…，xk)，且K和k分别表示样本数量和特征参数量，所述测试集类似。
9.根据权利要求1所述的基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法，其特征在于，步骤6中，所述分类网络为残差网络，所述时间序列预测网络为Adaptive-Transformer网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310335856.3A CN116595857A (zh) | 2023-03-29 | 2023-03-29 | 基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310335856.3A CN116595857A (zh) | 2023-03-29 | 2023-03-29 | 基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116595857A true CN116595857A (zh) | 2023-08-15 |
Family
ID=87597910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310335856.3A Pending CN116595857A (zh) | 2023-03-29 | 2023-03-29 | 基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116595857A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117520902A (zh) * | 2023-12-05 | 2024-02-06 | 中国人民解放军63796部队 | 基于机器学习的南海台风生成预测方法 |
-
2023
- 2023-03-29 CN CN202310335856.3A patent/CN116595857A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117520902A (zh) * | 2023-12-05 | 2024-02-06 | 中国人民解放军63796部队 | 基于机器学习的南海台风生成预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111914873A (zh) | 一种两阶段云服务器无监督异常预测方法 | |
| CN112148955B (zh) | 一种物联网时序数据异常检测方法及系统 | |
| US20200150622A1 (en) | Method for detecting abnormity in unsupervised industrial system based on deep transfer learning | |
| CN112784965A (zh) | 面向云环境下大规模多元时间序列数据异常检测方法 | |
| CN112257263B (zh) | 基于自注意力机制的设备剩余寿命预测系统 | |
| CN114386521A (zh) | 时间序列数据的异常检测方法、系统、设备和存储介质 | |
| CN115293280A (zh) | 基于时空特征分割重构的动力装备系统异常检测方法 | |
| CN116340796B (zh) | 时序数据分析方法、装置、设备及存储介质 | |
| CN116595857A (zh) | 基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法 | |
| CN115859077A (zh) | 一种变工况下多特征融合的电机小样本故障诊断方法 | |
| Kumar et al. | The Importance of Feature Processing in Deep‐Learning‐Based Condition Monitoring of Motors | |
| Zhang et al. | Deep transfer learning-based hierarchical adaptive remaining useful life prediction of bearings considering the correlation of multistage degradation | |
| CN116796272A (zh) | 一种基于Transformer的多变量时间序列异常检测方法 | |
| Wen et al. | A new method for identifying the ball screw degradation level based on the multiple classifier system | |
| Liu et al. | A novel health prognosis method for system based on improved degenerated Hidden Markov model | |
| CN114648076A (zh) | 一种无监督学习的电池生产工艺异常波动检测方法 | |
| Li et al. | A novel remaining useful life transfer prediction method of rolling bearings based on working conditions common benchmark | |
| CN117171713A (zh) | 一种基于轴承寿命的交叉自适应深度迁移学习方法及系统 | |
| Maurya et al. | Intelligent hybrid scheme for health monitoring of degrading rotary machines: An adaptive fuzzy c-means coupled with 1-D CNN | |
| Li et al. | Knowledge enhanced ensemble method for remaining useful life prediction under variable working conditions | |
| CN110728377B (zh) | 一种面向机电设备的智能故障诊断方法及系统 | |
| WO2023231374A1 (zh) | 机械设备半监督故障检测分析方法、装置、终端及介质 | |
| CN116383747A (zh) | 基于多时间尺度深度卷积生成对抗网络的异常检测方法 | |
| Qin et al. | An Adaptive Symmetric Loss in Dynamic Wide-Kernel ResNet for Rotating Machinery Fault Diagnosis Under Noisy Labels | |
| Li et al. | Multiscale Feature Extension Enhanced Deep Global-Local Attention Network for Remaining Useful Life Prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |