CN114707731A - 基于双层注意力网络多域特征融合的设备剩余寿命预测方法 - Google Patents

基于双层注意力网络多域特征融合的设备剩余寿命预测方法 Download PDF

Info

Publication number
CN114707731A
CN114707731A CN202210371790.9A CN202210371790A CN114707731A CN 114707731 A CN114707731 A CN 114707731A CN 202210371790 A CN202210371790 A CN 202210371790A CN 114707731 A CN114707731 A CN 114707731A
Authority
CN
China
Prior art keywords
scale
features
layer
feature
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210371790.9A
Other languages
English (en)
Inventor
王刚
邵佳颖
苏泽容
张亚楠
伍章俊
杨敏
马敬玲
卢明凤
贡俊巧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210371790.9A priority Critical patent/CN114707731A/zh
Publication of CN114707731A publication Critical patent/CN114707731A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于双层注意力网络多域特征融合的设备剩余寿命预测方法，包括：1、融合领域知识，提取信号信息的时域、频域和时频域统计特征；2、构建多尺度特征提取模块，采用不同大小卷积核的一维卷积神经网络从多个尺度的信号信息中提取特征；3、基于尺度注意力模块对得到的多尺度综合信息进行加权组合；4、将多尺度特征输入长短期记忆网络提取多尺度深度特征；5、采用领域注意力模块，为多尺度深度特征和三种统计特征赋予不同的权重，有针对性的利用不同的特征组合进行设备剩余寿命预测。本发明能快速、准确地预测设备的剩余寿命，从而提高工程机械高端装备可靠性和安全性、降低失效事件发生的风险。

Description

基于双层注意力网络多域特征融合的设备剩余寿命预测方法
技术领域
本发明属于设备故障预测与健康管理技术领域，具体涉及一种基于双层注意力网络多域特征融合的设备剩余寿命预测方法。
背景技术
随着科学技术的发展，现代设备变得更加精确、自动和系统化。在现代制造业的场景中，设备的工作环境往往是恶劣和多变的。长时间的运行会导致设备的可靠性下降，而设备的运行能力下降到某一阈值就可能导致设备突然停机，严重的可能会导致人员伤亡。因此，设备的剩余使用寿命预测在学术界和工业界一直受到依赖。近期，由于数据驱动的剩余寿命预测方法不依赖于任何故障机理，可以通过直接提取观测数据的特征来识别退化趋势，预测未来状态，引起了越来越多的关注。数据驱动的方法可以分为传统的数据驱动方法和深度学习方法。传统的数据驱动方法通常分为特征提取和模型构建两步，但是存在模型较为浅层、两阶段易丢失联系的问题。而深度学习方法具有强大的特征提取能力，能够从大量样本中自动提取特征，减少了对信号处理技术及专家经验的依赖。同时其模型较为深层，能够更好捕捉原始信号与剩余寿命之间的复杂映射。因此，深度学习能够应对设备在工业大数据场景中具有数据高维、非线性的特性，为设备剩余寿命的预测提供了一种新的解决思路。
但是现有的深度学习方法在预测剩余寿命中仍存在着不足之处：
(1)没有考虑基于信号处理技术和专家经验的传统方法的优势。在目前的深度学习研究中，研究人员主要关注如何提高深度学习方法的表示能力或预测性能。大多数研究开发了几种深度学习方法，如改进网络结构以提高估计性能，而没有考虑利用传统统计特征的优势。
(2)没有充分考虑信息的尺度在特征提取中的重要性。在目前的剩余寿命预测的特征提取步骤中，研究者常常以单一的视角处理数据，即每次计算的序列长度都是单一的。而使用过短或过长的时间尺度进行特征提取可能会遗漏重要的信息，无法全面地在机械振动信号数据中找到时间点之间的深度关联来进行设备剩余寿命的预测。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于双层注意力网络多域特征融合的设备剩余寿命预测方法，以期能融合统计特征和多尺度信息构建预测模型，从而能更有效和准确地实现设备剩余寿命的预测。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于双层注意力网络多域特征融合的设备剩余寿命预测方法的特点在于：包括如下步骤：
步骤1，构建网络训练集：
通过安装在设备上的传感器在采样周期T下采集N个采样点的振动信号并构成一组样本，从而由M组样本构建网络训练集，记为T＝{X1,X2,…,Xm,…,XM}；Xm表示第m组样本；
步骤2，统计特征提取：
提取第m组样本Xm的时域特征，记为
Figure BDA0003588897760000021
表示第m组样本Xm中第n1个时域特征；N1表示提取的时域特征个数；
提取第m组样本Xm的频域特征，记为
Figure BDA0003588897760000022
表示第m组样本Xm中第n2个频域特征；N2表示提取的频域特征个数；
提取第m组样本Xm的时频域特征，记为
Figure BDA0003588897760000023
表示第m组样本Xm中第n3个时频域特征；N3表示提取的时频域特征个数；
步骤3，构建基于双层注意力多域特征融合的HAM-RUL网络，包括：多尺度特征提取模块、尺度注意力模块、长短期神经网络、领域注意力模块、全连接层；
步骤3.1，构建多尺度特征提取模块，包括K个一维卷积神经网络，并分别为MscaleBlock1,...,MscaleBlockk,...,MscaleBlockK，其中，MscaleBlockk表示样本Xm第k个一维卷积神经网络模块，k＝1,2,...,K；第k个一维卷积神经网络模块MscaleBlockk具有L层一维卷积层
Figure BDA0003588897760000024
和L层下采样层
Figure BDA0003588897760000025
其中，
Figure BDA0003588897760000026
表示第k个一维卷积神经网络模块MscaleBlockk中第l层一维卷积层，
Figure BDA00035888977600000216
表示第k个一维卷积神经网络模块MscaleBlockk中第l层下采样层，l＝1,2,...,L；
当l＝1时，将所述第m组样本Xm输入第k个一维卷积神经网络模块MscaleBlockk中，并依次经过第l层一维卷积层
Figure BDA0003588897760000027
的卷积处理和第l层下采样层
Figure BDA0003588897760000028
的最大池化处理后输出第一层多尺度特征
Figure BDA0003588897760000029
当l＞1时，将第l-1层多尺度特征
Figure BDA00035888977600000210
经过第l层一维卷积层
Figure BDA00035888977600000211
和第l层下采样层
Figure BDA00035888977600000212
的处理后输出第l层多尺度特征
Figure BDA00035888977600000213
从而由第L层下采样层
Figure BDA00035888977600000214
输出最终多尺度特征
Figure BDA00035888977600000215
从而由K个一维卷积神经网络模块MscaleBlock1,...,MscaleBlockk,...,MscaleBlockK输出多尺度特征
Figure BDA0003588897760000031
并作为多尺度特征提取模块输出的最终多尺度特征，记为
Figure BDA0003588897760000032
其中，
Figure BDA0003588897760000033
表示第m组样本Xm在经过第K个一维卷积神经网络模块后输出的最终多尺度特征，
Figure BDA0003588897760000034
步骤3.2，构建T个尺度注意力模块，记为SawareBlock1,...,SawareBlockt,...,SawareBlockT，其中，SawareBlockt表示第t个尺度注意力模块，t＝1,2,...,T；
步骤3.2.1，按照时间步对第k个最终多尺度特征
Figure BDA0003588897760000035
进行划分，得到划分后的多尺度特征
Figure BDA0003588897760000036
其中，
Figure BDA0003588897760000037
表示第k个最终多尺度特征对应第t个时间步的片段，t＝1,2,...,T；
步骤3.2.2，将K个一维卷积神经网络模块MscaleBlock1,...,MscaleBlockk,...,MscaleBlockK输出的多尺度特征
Figure BDA0003588897760000038
在第t个时间步的片段进行组合后得到多尺度组合特征
Figure BDA0003588897760000039
并输入第t个尺度注意力模块SawareBlockt中，从而利用式(1)得到K个尺度特征的注意力分数
Figure BDA00035888977600000310
Figure BDA00035888977600000311
式(1)中，
Figure BDA00035888977600000312
表示第k个最终多尺度特征对应第t个时间步时
Figure BDA00035888977600000313
所得到的分数，
Figure BDA00035888977600000314
和
Figure BDA00035888977600000315
为第k个最终多尺度特征对应第t个时间步时尺度注意力模块的参数；s()是一个非线性激活函数；
步骤3.2.3，对K个尺度特征的注意力分数
Figure BDA00035888977600000316
进行归一化，得到最终的注意力内容得分
Figure BDA00035888977600000317
表示第k个最终多尺度特征对应第t个时间步时
Figure BDA00035888977600000318
所最终得到的分数；
步骤3.2.4，所述第t个尺度注意力模块SawareBlockt利用式(2)得到最终输出的带关注的多尺度特征
Figure BDA00035888977600000319
Figure BDA00035888977600000320
步骤3.3，构建T个长短期记忆网络，记为LSTMcell1,...,LSTMcellt,...,LSTMcellT，其中，LSTMcellt表示第t个长短期记忆网络单元，t＝1,2,...,T；
将第t个带关注的多尺度特征
Figure BDA0003588897760000041
输入第t个长短期记忆网络单元LSTMcellt进行深度特征提取，输出第t个时序特征
Figure BDA0003588897760000042
从而由T个长短期记忆网络单元输出T个时序特征并作为多尺度深度特征，记为
Figure BDA0003588897760000043
其中，
Figure BDA0003588897760000044
表示第m组样本Xm中第n4个多尺度深度特征；N4表示提取的多尺度深度特征个数；n4＝t；N4＝T；
步骤3.4，将时域特征、频域特征、时频域特征和多尺度深度特征分别作为领域特征并输入到领域注意力模块中进行处理：
步骤3.4.1，根据式(3)得到第d种领域特征的注意力得分
Figure BDA0003588897760000045
Figure BDA0003588897760000046
式(3)中，
Figure BDA0003588897760000047
为第d种领域特征，
Figure BDA0003588897760000048
是第d种领域特征
Figure BDA0003588897760000049
对应的领域注意力的参数；d＝1,2,3,4；
步骤3.4.2，将所述关注度得分
Figure BDA00035888977600000410
归一化后，得到第d种领域特征
Figure BDA00035888977600000411
的最终关注度得分
Figure BDA00035888977600000412
步骤3.4.3，根据式(4)得到第d种领域特征
Figure BDA00035888977600000413
的最终特征
Figure BDA00035888977600000414
从而由4种领域特征的最终特征拼接后作为领域注意力模块输出的最终特征F(m)；
Figure BDA00035888977600000415
步骤3.5，所述全连接层利用式(5)对第m组样本Xm的剩余寿命进行预测，得到第m组样本Xm的剩余寿命
Figure BDA00035888977600000416
Figure BDA00035888977600000417
式(5)中，
Figure BDA00035888977600000418
表示最终特征F(m)中第x个最终特征，
Figure BDA00035888977600000419
表示全连接层中第x个最终特征
Figure BDA00035888977600000420
对应的参数，
Figure BDA00035888977600000421
表示第x个最终特征
Figure BDA00035888977600000422
对应偏置，φ()表示激活函数；X为最终特征的个数；
步骤3.6，对HAM-RUL网络进行训练，并计算如式(6)所示的损失函数L(x)，当训练迭代次数达到设定的次数时训练停止，从而得到最优重建模型，用于实现设备剩余寿命的预测：
Figure BDA00035888977600000423
式(6)中，RUL(m)表示第m组样本Xm对应的真实剩余寿命。
与现有技术相比，本发明的有益效果在于：
1.本发明在端到端网络中加入了统计特征，可以帮助减少传统剩余寿命预测方法中特征提取与预测环节不连通造成的负面影响，同时在利用深度学习的同时增加了信号学知识及专家经验作为对剩余寿命预测的补充，从而能利用更丰富的信息进行准确的设备剩余寿命预测。
2.本发明通过利用统计特征作为双层注意力的补充，提出了基于注意力的端到端方法。首先，使用领域感知的注意力将时域、频域、时频域特征和深度特征融合在一起。此外，还在长短期记忆网络增加了一个尺度注意力层，以从加权的多尺度信息中提取深度特征，从而更好特征领域知识并能避免单一尺度导致的信息遗漏。
3.本发明提出了一种多尺度深层特征提取方法，以收集不同尺度的退化信息，并综合利用它们，通过包含不同大小的核过滤器的多尺度一维卷积神经网络层，获得更全面的信号信息，用于后续深度特征提取。
附图说明
图1为本发明流程示意图；
图2为本发明尺度注意力示意图；
具体实施方式
本实施例中，一种基于双层注意力网络多域特征融合的设备剩余寿命预测方法，具体流程如图1所示，包括：
步骤1，构建网络训练集：
通过安装在设备上的传感器在采样周期T下采集N个采样点的振动信号并构成一组样本，从而由M组样本构建网络训练集，记为T＝{X1,X2,...,Xm,...,XM}；Xm表示第m组样本；将训练集划分为M组样本，记为T＝{X1,X2,...,Xm,...,XM}；Xm表示第m组样本；
本实施例中，以轴承为例，采用IEEE PHM2012挑战赛提供的轴承加速寿命实验数据对该方法进行验证；实验数据来自PRONOSTIA实验台，该实验专门设计用于轴承的故障检测、诊断和预测方法的研究；在这个数据集中使用了NSK 6804DD球轴承；该数据集提供了真实的实验数据，描述了球轴承在整个寿命中的退化过程，当振动信号的振幅超过20g时，轴承的寿命就结束了；采样频率为25.6kHz，在每个10秒的监测周期中，总共记录了2560个样本，耗时0.1s；监测间隔为9.9秒(10-0.1秒)；试验期间使用的工作条件是1800RPM和4000N，只使用水平轴振动信号数据；对步骤1中的振动信号构建训练集；选取6个轴承的数据作为训练集，将其余的数据作为测试集；例如，如果选择从轴承1到轴承6的数据作为训练集，则使用来自轴承7的数据作为测试集；
步骤2，统计特征提取：
提取第m组样本Xm的时域特征，记为
Figure BDA0003588897760000061
表示第m组样本Xm中第n1个时域特征；N1表示提取的时域特征个数；本实施例中提取的时域特征如表1所示；
表1本实施例中提取的时域特征
Figure BDA0003588897760000062
提取第m组样本Xm的频域特征，记为
Figure BDA0003588897760000063
表示第m组样本Xm中第n2个频域特征；N2表示提取的频域特征个数；本实施例中提取的频域特征如表2所示；
表2本实施例中提取的频域特征
Figure BDA0003588897760000064
提取第m组样本Xm的时频域特征，记为
Figure BDA0003588897760000065
表示第m组样本Xm中第n3个时频域特征；N3表示提取的时频域特征个数；本实施例中采用小波包变换以及经验模态分解进行时频域特征的提取；
步骤3，构建基于双层注意力多域特征融合的网络(HAM-RUL)，包括：多尺度特征提取模块、尺度注意力模块、长短期神经网络、领域注意力模块、全连接层；
步骤3.1，构建多尺度特征提取模块，包括K个一维卷积神经网络，并分别为MscaleBlock1,...,MscaleBlockk,...,MscaleBlockK，其中，MscaleBlockk表示样本Xm第k个一维卷积神经网络模块，k＝1,2,...,K，本实施例中，K＝5；第k个一维卷积神经网络模块MscaleBlockk具有L层一维卷积层
Figure BDA0003588897760000071
和L层下采样层
Figure BDA0003588897760000072
其中，
Figure BDA0003588897760000073
表示第k个一维卷积神经网络模块MscaleBlockk中第l层一维卷积层，
Figure BDA0003588897760000074
表示第k个一维卷积神经网络模块MscaleBlockk中第l层下采样层，l＝1,2,...,L，本实施例中，L＝2；对于第k个一维卷积神经网络模块
Figure BDA0003588897760000075
卷积核大小为
Figure BDA0003588897760000076
n＝1,2,...,K；本实施例中，
Figure BDA0003588897760000077
卷积步长为1，填充补零；
当l＝1时，将第m组样本Xm输入第k个一维卷积神经网络模块MscaleBlockk中，并依次经过第1层一维卷积层
Figure BDA0003588897760000078
的卷积处理和第1层下采样层
Figure BDA0003588897760000079
的最大池化处理后输出第一层多尺度特征
Figure BDA00035888977600000710
当l＞1时，将l-1层多尺度特征
Figure BDA00035888977600000711
经过第l层一维卷积层
Figure BDA00035888977600000712
和第l层下采样层
Figure BDA00035888977600000713
的处理后输出第l层多尺度特征
Figure BDA00035888977600000714
从而由第L层下采样层
Figure BDA00035888977600000715
输出最终多尺度特征
Figure BDA00035888977600000716
从而由K个一维卷积神经网络模块MscaleBlock1,...,MscaleBlockk,...,MscaleBlockK输出多尺度特征
Figure BDA00035888977600000717
并作为多尺度特征提取模块的输出
Figure BDA00035888977600000718
其中，
Figure BDA00035888977600000719
表示样本Xm在经过第K个一维卷积神经网络模块后输出的最终多尺度特征，
Figure BDA00035888977600000720
步骤3.2，构建T个尺度注意力模块，记为SawareBlock1,...,SawareBlockt,...,SawareBlockT，其中，SawareBlockt表示第t个尺度注意力模块，t＝1,2,...,T，具体结构如图2所示；本实施例中，T＝10；
步骤3.2.1，按照时间步对第k个最终多尺度特征
Figure BDA00035888977600000721
进行划分，表示为
Figure BDA00035888977600000722
其中，
Figure BDA00035888977600000723
表示第k个最终多尺度特征对应第t个时间步的片段，t＝1,2,...,T；
步骤3.2.2，将K个一维卷积神经网络模块MscaleBlock1,...,MscaleBlockk,...,MscaleBlockK输出的多尺度特征
Figure BDA0003588897760000081
在第t个时间步的片段进行组合得到多尺度组合特征
Figure BDA0003588897760000082
并输入第t个尺度注意力模块SawareBlockt中，从而利用式(1)得到K个尺度特征的注意力分数
Figure BDA0003588897760000083
Figure BDA0003588897760000084
式(1)中，
Figure BDA0003588897760000085
表示第k个最终多尺度特征对应第t个时间步时
Figure BDA0003588897760000086
所得到的分数，
Figure BDA0003588897760000087
和
Figure BDA0003588897760000088
为第k个最终多尺度特征对应第t个时间步时尺度注意力模块的参数；s()是一个非线性激活函数；
步骤3.2.3，对K个尺度特征的注意力分数
Figure BDA0003588897760000089
进行归一化，得到最终的注意力内容得分
Figure BDA00035888977600000810
表示第k个最终多尺度特征对应第t个时间步时
Figure BDA00035888977600000811
所最终得到的分数；
步骤3.2.4，第t个尺度注意力模块SawareBlockt利用式(2)得到最终输出的带关注的多尺度特征
Figure BDA00035888977600000812
Figure BDA00035888977600000813
步骤3.3，构建长短期记忆网络，共计T个长短期记忆网络单元，记为LSTMcell1,...,LSTMcellt,...,LSTMcellT，其中，LSTMcellt表示第t个长短期记忆网络单元，t＝1,2,...,T；
将第t个带关注的多尺度特征
Figure BDA00035888977600000814
输入第t个长短期记忆网络单元LSTMcellt进行深度特征提取，输出第t个时序特征
Figure BDA00035888977600000815
从而由T个长短期记忆网络单元输出T个时序特征并作为多尺度深度特征，记为
Figure BDA00035888977600000816
其中，
Figure BDA00035888977600000817
表示第m组样本Xm中第n4个多尺度深度特征；N4表示提取的多尺度深度特征个数；n4＝t；N4＝T；
步骤3.4，采将时域特征、频域特征、时频域特征和多尺度深度特征分别作为领域特征并输入到领域注意力模块中进行处理：
步骤3.4.1，根据式(3)得到第d种领域特征的注意力得分
Figure BDA0003588897760000091
Figure BDA0003588897760000092
式(3)中，
Figure BDA0003588897760000093
是第d种领域特征对应的领域注意力的参数；
Figure BDA0003588897760000094
为第d种领域特征，d＝1,2,3,4；
步骤3.4.2，将关注度得分
Figure BDA0003588897760000095
归一化后，得到上第d种领域特征的最终关注度得分
Figure BDA0003588897760000096
步骤3.4.3，根据式(4)得到第d种领域特征的最终特征
Figure BDA0003588897760000097
从而由4种领域特征的最终特拼接后作为领域注意力模块输出的最终特征F(m)；
Figure BDA0003588897760000098
步骤3.5，全连接层利用式(5)对第m组样本Xm的剩余寿命进行预测，得到Xm的剩余寿命
Figure BDA0003588897760000099
Figure BDA00035888977600000910
式(5)中，是
Figure BDA00035888977600000911
全连接层中特征
Figure BDA00035888977600000912
对应的参数，
Figure BDA00035888977600000913
表示最终特征F(m)中第x个最终特征，
Figure BDA00035888977600000914
表示特征
Figure BDA00035888977600000915
对应偏置，φ()表示激活函数；X为最终特征的个数；
步骤3.6，对HAM-RUL网络进行训练，并计算如式(6)所示的损失函数L(x)，当训练迭代次数达到设定的次数时训练停止，从而得到最优重建模型，用于实现设备剩余寿命的预测；本实施例中，采用ReLu优化器，每次训练迭代100次；
Figure BDA00035888977600000916
式(6)中，RUL(m)表示第m组样本Xm对应的真实剩余寿命。

Claims (1)

1.一种基于双层注意力网络多域特征融合的设备剩余寿命预测方法，其特征在于：包括如下步骤：
步骤1，构建网络训练集：
通过安装在设备上的传感器在采样周期T下采集N个采样点的振动信号并构成一组样本，从而由M组样本构建网络训练集，记为T＝{X1,X2,...,Xm,...,XM}；Xm表示第m组样本；
步骤2，统计特征提取：
提取第m组样本Xm的时域特征，记为
Figure FDA0003588897750000011
Figure FDA0003588897750000012
表示第m组样本Xm中第n1个时域特征；N1表示提取的时域特征个数；
提取第m组样本Xm的频域特征，记为
Figure FDA0003588897750000013
Figure FDA0003588897750000014
表示第m组样本Xm中第n2个频域特征；N2表示提取的频域特征个数；
提取第m组样本Xm的时频域特征，记为
Figure FDA0003588897750000015
Figure FDA0003588897750000016
表示第m组样本Xm中第n3个时频域特征；N3表示提取的时频域特征个数；
步骤3，构建基于双层注意力多域特征融合的HAM-RUL网络，包括：多尺度特征提取模块、尺度注意力模块、长短期神经网络、领域注意力模块、全连接层；
步骤3.1，构建多尺度特征提取模块，包括K个一维卷积神经网络，并分别为MscaleBlock1,...,MscaleBlockk,...,MscaleBlockK，其中，MscaleBlockk表示样本Xm第k个一维卷积神经网络模块，k＝1,2,...,K；第k个一维卷积神经网络模块MscaleBlockk具有L层一维卷积层
Figure FDA0003588897750000017
和L层下采样层
Figure FDA0003588897750000018
其中，
Figure FDA0003588897750000019
表示第k个一维卷积神经网络模块MscaleBlockk中第l层一维卷积层，
Figure FDA00035888977500000110
表示第k个一维卷积神经网络模块MscaleBlockk中第l层下采样层，l＝1,2,...,L；
当l＝1时，将所述第m组样本Xm输入第k个一维卷积神经网络模块MscaleBlockk中，并依次经过第l层一维卷积层
Figure FDA00035888977500000111
的卷积处理和第l层下采样层
Figure FDA00035888977500000112
的最大池化处理后输出第一层多尺度特征
Figure FDA00035888977500000113
当l＞1时，将第l-1层多尺度特征
Figure FDA00035888977500000114
经过第l层一维卷积层
Figure FDA00035888977500000115
和第l层下采样层
Figure FDA00035888977500000116
的处理后输出第l层多尺度特征
Figure FDA00035888977500000117
从而由第L层下采样层
Figure FDA00035888977500000118
输出最终多尺度特征
Figure FDA0003588897750000021
从而由K个一维卷积神经网络模块MscaleBlock1,...,MscaleBlockk,...,MscaleBlockK输出多尺度特征
Figure FDA0003588897750000022
并作为多尺度特征提取模块输出的最终多尺度特征，记为
Figure FDA0003588897750000023
其中，
Figure FDA0003588897750000024
表示第m组样本Xm在经过第K个一维卷积神经网络模块后输出的最终多尺度特征，
Figure FDA0003588897750000025
步骤3.2，构建T个尺度注意力模块，记为SawareBlock1,...,SawareBlockt,...,SawareBlockT，其中，SawareBlockt表示第t个尺度注意力模块，t＝1,2,...,T；
步骤3.2.1，按照时间步对第k个最终多尺度特征
Figure FDA0003588897750000026
进行划分，得到划分后的多尺度特征
Figure FDA0003588897750000027
其中，
Figure FDA0003588897750000028
表示第k个最终多尺度特征对应第t个时间步的片段，t＝1,2,...,T；
步骤3.2.2，将K个一维卷积神经网络模块MscaleBlock1,...,MscaleBlockk,...,MscaleBlockK输出的多尺度特征
Figure FDA0003588897750000029
在第t个时间步的片段进行组合后得到多尺度组合特征
Figure FDA00035888977500000210
并输入第t个尺度注意力模块SawareBlockt中，从而利用式(1)得到K个尺度特征的注意力分数
Figure FDA00035888977500000211
Figure FDA00035888977500000212
式(1)中，
Figure FDA00035888977500000213
表示第k个最终多尺度特征对应第t个时间步时
Figure FDA00035888977500000214
所得到的分数，
Figure FDA00035888977500000215
和
Figure FDA00035888977500000216
为第k个最终多尺度特征对应第t个时间步时尺度注意力模块的参数；s()是一个非线性激活函数；
步骤3.2.3，对K个尺度特征的注意力分数
Figure FDA00035888977500000217
进行归一化，得到最终的注意力内容得分
Figure FDA00035888977500000218
Figure FDA00035888977500000219
表示第k个最终多尺度特征对应第t个时间步时
Figure FDA00035888977500000220
所最终得到的分数；
步骤3.2.4，所述第t个尺度注意力模块SawareBlockt利用式(2)得到最终输出的带关注的多尺度特征
Figure FDA00035888977500000221
Figure FDA0003588897750000031
步骤3.3，构建T个长短期记忆网络，记为LSTMcell1,...,LSTMcellt,...,LSTMcellT，其中，LSTMcellt表示第t个长短期记忆网络单元，t＝1,2,...,T；
将第t个带关注的多尺度特征
Figure FDA0003588897750000032
输入第t个长短期记忆网络单元LSTMcellt进行深度特征提取，输出第t个时序特征
Figure FDA0003588897750000033
从而由T个长短期记忆网络单元输出T个时序特征并作为多尺度深度特征，记为
Figure FDA0003588897750000034
其中，
Figure FDA0003588897750000035
表示第m组样本Xm中第n4个多尺度深度特征；N4表示提取的多尺度深度特征个数；n4＝t；N4＝T；
步骤3.4，将时域特征、频域特征、时频域特征和多尺度深度特征分别作为领域特征并输入到领域注意力模块中进行处理：
步骤3.4.1，根据式(3)得到第d种领域特征的注意力得分
Figure FDA0003588897750000036
Figure FDA0003588897750000037
式(3)中，
Figure FDA0003588897750000038
为第d种领域特征，
Figure FDA0003588897750000039
是第d种领域特征
Figure FDA00035888977500000310
对应的领域注意力的参数；d＝1,2,3,4；
步骤3.4.2，将所述关注度得分
Figure FDA00035888977500000311
归一化后，得到第d种领域特征
Figure FDA00035888977500000312
的最终关注度得分
Figure FDA00035888977500000313
步骤3.4.3，根据式(4)得到第d种领域特征
Figure FDA00035888977500000314
的最终特征
Figure FDA00035888977500000315
从而由4种领域特征的最终特征拼接后作为领域注意力模块输出的最终特征F(m)；
Figure FDA00035888977500000316
步骤3.5，所述全连接层利用式(5)对第m组样本Xm的剩余寿命进行预测，得到第m组样本Xm的剩余寿命
Figure FDA00035888977500000317
Figure FDA00035888977500000318
式(5)中，
Figure FDA00035888977500000319
表示最终特征F(m)中第x个最终特征，
Figure FDA00035888977500000320
表示全连接层中第x个最终特征
Figure FDA00035888977500000321
对应的参数，
Figure FDA00035888977500000322
表示第x个最终特征
Figure FDA00035888977500000323
对应偏置，φ()表示激活函数；X为最终特征的个数；
步骤3.6，对HAM-RUL网络进行训练，并计算如式(6)所示的损失函数L(x)，当训练迭代次数达到设定的次数时训练停止，从而得到最优重建模型，用于实现设备剩余寿命的预测：
Figure FDA0003588897750000041
式(6)中，RUL(m)表示第m组样本Xm对应的真实剩余寿命。
CN202210371790.9A 2022-04-11 2022-04-11 基于双层注意力网络多域特征融合的设备剩余寿命预测方法 Pending CN114707731A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210371790.9A CN114707731A (zh) 2022-04-11 2022-04-11 基于双层注意力网络多域特征融合的设备剩余寿命预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210371790.9A CN114707731A (zh) 2022-04-11 2022-04-11 基于双层注意力网络多域特征融合的设备剩余寿命预测方法

Publications (1)

Publication Number Publication Date
CN114707731A true CN114707731A (zh) 2022-07-05

Family

ID=82172862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210371790.9A Pending CN114707731A (zh) 2022-04-11 2022-04-11 基于双层注意力网络多域特征融合的设备剩余寿命预测方法

Country Status (1)

Country Link
CN (1) CN114707731A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238833A (zh) * 2022-09-22 2022-10-25 中国民航大学 一种空气涡轮起动机轴承性能退化特征提取方法
CN115659283A (zh) * 2022-12-12 2023-01-31 陕西金元新能源有限公司 基于多任务学习的注意力机制的风电设备损伤预测方法
CN116383096A (zh) * 2023-06-06 2023-07-04 安徽思高智能科技有限公司 基于多指标时序预测的微服务系统异常检测方法及装置
CN118133026A (zh) * 2024-05-07 2024-06-04 浙江大学杭州国际科创中心 轴承剩余寿命预测方法、装置、计算机设备以及存储介质
CN118153244A (zh) * 2024-05-09 2024-06-07 克拉玛依宏兴石油工程技术服务股份有限公司 连续管疲劳寿命实时预警系统及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238833A (zh) * 2022-09-22 2022-10-25 中国民航大学 一种空气涡轮起动机轴承性能退化特征提取方法
CN115238833B (zh) * 2022-09-22 2022-11-25 中国民航大学 一种空气涡轮起动机轴承性能退化特征提取方法
CN115659283A (zh) * 2022-12-12 2023-01-31 陕西金元新能源有限公司 基于多任务学习的注意力机制的风电设备损伤预测方法
CN116383096A (zh) * 2023-06-06 2023-07-04 安徽思高智能科技有限公司 基于多指标时序预测的微服务系统异常检测方法及装置
CN116383096B (zh) * 2023-06-06 2023-08-18 安徽思高智能科技有限公司 基于多指标时序预测的微服务系统异常检测方法及装置
CN118133026A (zh) * 2024-05-07 2024-06-04 浙江大学杭州国际科创中心 轴承剩余寿命预测方法、装置、计算机设备以及存储介质
CN118153244A (zh) * 2024-05-09 2024-06-07 克拉玛依宏兴石油工程技术服务股份有限公司 连续管疲劳寿命实时预警系统及方法

Similar Documents

Publication Publication Date Title
CN114707731A (zh) 基于双层注意力网络多域特征融合的设备剩余寿命预测方法
CN111340238A (zh) 一种工业系统的故障诊断方法、装置、设备及存储介质
CN112254964A (zh) 一种基于快速多尺度卷积神经网络的滚动轴承故障诊断方法
CN113505655B (zh) 面向数字孪生系统的轴承故障智能诊断方法
CN111931625B (zh) 基于非对称损失神经网络的产品关键零件剩余寿命预测方法
CN111914883A (zh) 一种基于深度融合网络的主轴轴承状态评估方法及装置
CN113449473B (zh) 一种基于DFCAE-BiLSTM的风电轴承退化趋势预测方法、系统及装置
CN110954326A (zh) 一种自动学习特征表达的滚动轴承在线故障诊断方法
CN114048787B (zh) 一种基于Attention CNN模型的轴承故障实时智能诊断方法与系统
Wang et al. Fault diagnosis of industrial robots based on multi-sensor information fusion and 1D convolutional neural network
Sadoughi et al. A deep learning approach for failure prognostics of rolling element bearings
CN117475191A (zh) 一种特征对齐域对抗神经网络的轴承故障诊断方法
CN116561517A (zh) 基于奖励优化深度强化学习不平衡智能故障定量诊断方法
CN115905976A (zh) 基于注意力机制的Highway Bi-LSTM轴承故障诊断方法、系统及设备
CN112146882A (zh) 基于迁移学习振动信号图像识别的轴承故障诊断方法
KR102471427B1 (ko) 모터 소음과 열분포 분석을 통한 기계 및 전기적 고장 예측진단 시스템
Ning et al. Research on Intelligent Fault Diagnosis of Rolling Bearing Based on Improved ShufflenetV2‐LSTM
CN113111752B (zh) 针对样本不均衡的增强扩展深度置信网络的轧机故障诊断方法
CN117990368A (zh) 滚动轴承的声纹信号检测方法、装置、介质与电子设备
Saha et al. Enhancing bearing fault diagnosis using transfer learning and random forest classification: A comparative study on variable working conditions
CN116861343A (zh) 一种轴承故障诊断方法
CN117556317A (zh) 一种基于时频图像的转动轴承故障诊断方法
CN114997333B (zh) 一种风力发电机的故障诊断方法和装置
Li et al. A robust fault diagnosis method for rolling bearings based on deep convolutional neural network
CN113052060B (zh) 基于数据增强的轴承剩余寿命预测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination