CN113343591A - 基于自注意力网络的产品关键零件寿命端到端预测方法 - Google Patents

基于自注意力网络的产品关键零件寿命端到端预测方法 Download PDF

Info

Publication number
CN113343591A
CN113343591A CN202110805989.3A CN202110805989A CN113343591A CN 113343591 A CN113343591 A CN 113343591A CN 202110805989 A CN202110805989 A CN 202110805989A CN 113343591 A CN113343591 A CN 113343591A
Authority
CN
China
Prior art keywords
self
data
layer
attention
vibration signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110805989.3A
Other languages
English (en)
Other versions
CN113343591B (zh
Inventor
刘振宇
刘惠
郏维强
张栋豪
谭建荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110805989.3A priority Critical patent/CN113343591B/zh
Publication of CN113343591A publication Critical patent/CN113343591A/zh
Application granted granted Critical
Publication of CN113343591B publication Critical patent/CN113343591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]

Abstract

本发明公开了一种基于自注意力网络的产品关键零件寿命端到端预测方法。在机械产品关键零件上安装加速度传感器，通过加速度传感器记录零件的振动信号数据，并记录零件运行的时间；对振动信号数据进行数据预处理，同时对运行时间进行处理，得到训练数据样本及对应的剩余使用寿命标签；构建剩余使用寿命的预测模型；训练预测模型，获得训练好的预测模型；采集零件的振动信号数据并进行数据预处理后，输入到训练好的预测模型中实时预测获得零件的剩余使用寿命。本发明采用自注意力网络构建预测模型，能充分挖掘振动信号中的时序特征，克服复杂数据预处理和特征提取的缺点，实现从振动信号到剩余使用寿命的端到端预测，具备操作简单、泛化性强的优点。

Description

基于自注意力网络的产品关键零件寿命端到端预测方法
技术领域
本发明属于机械产品零件剩余使用寿命预测领域的一种产品关键零件寿命端到端预测方法，涉及了一种基于自注意力网络的产品关键零件寿命端到端预测方法。
背景技术
机械产品关键零件如刀具、齿轮、轴承等在现代工业中应用十分广泛，其不仅在机械产品的功能实现中起着关键作用，而且其运行状态对机械产品能否正常工作有着极大的影响。以轴承和齿轮为例，若减速器的轴承和齿轮出现故障问题，减速器就不能发挥正常的作用了。剩余使用寿命预测技术是产品健康管理的重要环节，可以用于实时监测产品关键零件的运行状态，提供其还能正常使用的时间，从而实现对零件的及时维护，避免因故障而出现长时间停工的情况，从而提高了生产效率、降低了生产成本。综上所述，对机械产品关键零件进行剩余使用寿命研究具有重大意义。
机械振动是工程技术中常见的现象，在机械产品关键零件的工作过程中，振动信号随着其健康状态而变化，即振动信号中有着丰富的退化信息。因此可以采集机械关键零件在运行过程中产生的振动信号来分析其健康状态。通过传感器采集的振动信号属于时序信号，其中蕴含着丰富的时序特征，通过提取与分析这些时序特征可以实现健康状态监测和寿命预测。因此，研究剩余使用寿命预测技术的关键在于如何有效提取并利用振动信号中的时序特征。
在现有的研究中，深度学习中的各种神经网络常被用于对振动信号进行特征提取和分析。常用的神经网络模型包括卷积神经网络、长短期记忆网络、门控循环单元网络、自编码器等。卷积神经网络最初是为图像处理而设计的，因其有效的局部特征提取能力而得到了广泛应用，近年在处理时序数据问题中也得到了一定应用。2019年，专利“一种深度卷积神经网络的旋转机械健康评估方法”公开了一种基于深度卷积网络的旋转机械健康评估方法，通过对振动信号进行挖掘实现旋转类零部件的健康评估与寿命预测；长短期记忆网络和门控循环单元网络擅长于处理时序数据，可以提取时序数据中重要的时序特征，因此在时序数据问题中得到了广泛应用。专利“一种基于长短时记忆网络的滚动轴承剩余使用寿命预测方法”和专利“多层双向门控循环单元网络的旋转机械剩余使用寿命预测方法”分别在2018年和2019年公开了基于长短期记忆网络和门控循环单元网络的旋转机械剩余使用寿命方法，借助于这两种网络对时间序列数据进行了特征提取，实现了较精确的寿命预测；此外，2020年，专利“基于非对称损失神经网络的产品关键零件剩余寿命预测方法”公开了一种机械产品关键零件剩余使用寿命预测方法，通过卷积自编码器对传感器数据的时频域特征进行数据降维，并利用长短期记忆网络和卷积神经网络提取重要时序特征实现剩余使用寿命预测。
现有的基于神经网络的方法在机械产品关键零件的剩余使用寿命预测中取得了较好的成果，已经成为了最常用的预测方法。但已有的方法仍然存在一定局限性，比如模型的时序特征提取能力不强导致无法进一步提高预测精度。此外，已有的方法通常依赖于复杂的数据预处理和特征提取来预先提取数据中的重要特征，无法实现端到端的预测。在这种情况下，模型的预测精度往往依赖于人工所提取的特征，而不合适的特征将大大降低模型的预测精度。同时，精确的数据预处理和特征提取需要大量的本领域专业知识，且实现过程较为复杂，从而增加了已有预测方法在工业界的应用难度。比如专利“基于非对称损失神经网络的产品关键零件剩余寿命预测方法”在深度学习模型对数据进行处理前，需要事先通过统计手段和小波变化提取振动信号中的特征，这在一定程度上限制了方法的泛化性和可行性。端到端预测是指数据处理、特征提取和寿命预测皆在模型中完成，不需要进行复杂的数据预处理和特征提取，将振动信号数据输入到训练好的预测模型中即可得到零件的剩余使用寿命。因此端到端的寿命预测具备实现过程简便、泛化性较强的优点，符合工业界的实际需求。
综上所述，提出一种能有效提取振动信号中的时序特征且简易可行的方法来实现高精度的剩余使用寿命端到端预测是非常重要的。
发明内容
针对背景技术中提到的问题，本发明提出了一种基于自注意力网络的产品关键零件寿命端到端预测方法。本发明借助于时序特征提取能力强的自注意力机制网络对振动信号进行直接处理，不仅有效地提高了模型的预测能力，而且该方法应用广泛范围广、可行性高，能实现从传感器数据到剩余使用寿命的端到端预测，可广泛应用于各种机械产品关键零件的剩余使用寿命预测中。
为实现上述功能，本发明的技术方案如下：
本发明包括以下步骤：
S1.在机械产品关键零件上安装加速度传感器，在零件运行过程中通过加速度传感器记录零件的振动信号数据，并记录零件运行的时间，直至零件损坏；
S2.对振动信号数据进行数据预处理，得到训练数据样本，同时对零件运行的时间进行处理，得到训练数据样本对应的剩余使用寿命标签；
S3.构建自注意力神经网络作为机械产品关键零件剩余使用寿命的预测模型；
S4.将S2中得到的训练数据样本和对应的剩余使用寿命标签输入预测模型中训练预测模型，获得训练好的预测模型；
S5.在同种零件工作的过程中使用与S1和S2中相同的方法采集振动信号数据并进行数据预处理，得到测试数据，将测试数据输入训练好的预测模型中实时预测获得零件的剩余使用寿命。
所述S1中零件的振动信号数据包括水平与竖直两个方向的振动信号。
所述S2中对振动信号数据进行数据预处理，得到训练数据样本，具体为：采用最大-最小归一化方法沿时间轴对振动信号数据进行归一化处理，将振动信号数据转化为0到1区间内的数据后作为训练数据样本。
所述S3中自注意力神经网络包括四个池化层、特征自注意力机制层、位置编码层、数据融合层、两个多头自注意力机制层、数据展平层、两个全连接网络层和输出层；
自注意力神经网络的输入作为四个并行的池化层的输入，四个并行的池化层的输出沿特征维度进行连接后输入到特征自注意力机制层中，特征自注意力机制层依次经位置编码层、数据融合层、两个多头自注意力机制层、数据展平层和两个全连接网络层后与输出层相连；特征自注意力机制层的输出输入到数据融合层中，特征自注意力机制层的输出还输入到数据展平层中。
所述特征自注意力机制层的自注意力机制采用常用的加性注意力；所述特征自注意力机制层沿着振动信号数据的特征维度进行操作。
所述多头自注意力机制层采用点乘注意力；所述多头自注意力机制层沿着振动信号数据的时间维度进行操作。
所述位置编码层选用正弦函数和余弦函数作为位置编码函数。
本发明通过自注意力机制网络处理机械产品关键零件运行过程的振动信号，可以充分挖掘振动信号中与剩余使用寿命相关的重要时序特征，并将提取的特征。具体地，通过池化层对振动信号进行初步特征提取和数据降维，然后利用特征自注意力机制层对降维后的特征进行加权处理，使模型更关注于那些重要的特征。接下来，借助于多头自注意力机制和位置编码，充分挖掘数据中与剩余使用寿命相关的时序特征，并通过全连接网络的拟合能力，将提取到的特征映射到预测结果上，实现零件剩余使用寿命的在线预测。
与现有的技术相比，本发明具有以下优势：
与传统的方法相比，所提出的方法不需要借助于卷积神经网络或循环类神经网络来提取时序特征，而是采用提取能力更强的自注意力机制和位置编码来实现时序特征提取。卷积神经网络可以实现并行运算但其时序特征提取能力相对较弱，而循环类神经网络具有较强的时序特征提取能力但不能实现并行运算。而本发明所提出的方法既具有较强的时序特征提取能力，也能实现并行运算，非常适合于未来工业界大数据的发展。
本发明的方法克服了现有方法需要进行复杂的数据预处理和特征提取的缺点，实现了从振动信号到剩余使用寿命的端到端预测，具备操作简单、泛化性强的优点。本发明的方法适用性广，能广泛应用于各种机械产品关键零件的剩余使用寿命预测中。
在机械产品零件剩余使用寿命预测领域，本发明首次提出使用自注意力网络来提取振动信号中的时序特征，并实现有效的剩余寿命预测，该方法新颖且具有较强的创新性和实用性。
附图说明
图1为本发明方法的流程示意图。
图2为本发明实施例中bearing1_1子集的水平方向振动信号图，其中纵坐标为振幅，横坐标为样本。
图3为本发明实施例中用于轴承剩余使用寿命预测的自注意力网络模型。
图4为本发明实施例中训练过程的训练误差和验证误差的变化趋势图。
图5为本发明实施例中剩余使用寿命预测值和真实值的比较图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明：
本发明具体实施例如下：
本实施例使用了2012年PHM数据大赛的轴承监控数据(简称PHM2012数据集)对本发明所提出的一种基于自注意力网络的产品关键零件寿命端到端预测方法进行实验验证。
PHM2012数据集是通过在PRONOSTIA平台(退化实验平台)上对滚动轴承进行加速退化实验得到的，该平台主要包括旋转部分、加载部分和测量部分。旋转部分以电机驱动，使滚动轴承处于不间断工作状态；为了加速轴承的退化，加载部分对运行中的滚动轴承施加可控的径向载荷；测量部分利用两个相互垂直的加速度传感器分别测量滚动轴承水平和垂直两个方向的振动信号。其中加速度传感器每10s进行一次采样，每次采样时间为0.1s，采样频率为25.6kHz，即每次采样共得到2560组数据，这2560组数据形成一个文件。当采集的振动信号幅值超过20g时，则认为该滚动轴承已经不能正常工作，停止试验。通过上述试验产生了三种工作状态下(转速和负载不同)的滚动轴承全生命周期监控数据。
在实施例中选取第一种工作状态(转速为1800rpm，负载为4000N)下退化趋势较明显的轴承进行实验，验证所提方法的有效性。选取的滚动轴承在试验中的编号如下：bearing1_1、bearing1_2、bearing1_3、bearing1_7。其中bearing1_1、bearing1_2和bearing1_3作为训练数据对模型进行训练，bearing1_7作为测试数据集对模型效果进行测试。
如图1所示，结合PHM2012数据集，本发明包括以下步骤：
S1.在机械产品关键零件上安装加速度传感器，在零件运行过程中通过加速度传感器记录零件的振动信号数据，并记录零件运行的时间，直至零件损坏；
S1中零件的振动信号数据包括水平与竖直两个方向的振动信号。图2为本实施例中bearing1_1子集在水平方向采集的振动信号图。
S2.对振动信号数据进行数据预处理，得到训练数据样本，同时对零件运行的时间进行处理，得到训练数据样本对应的剩余使用寿命标签；
S2中对振动信号数据进行数据预处理，得到训练数据样本，具体为：采用最大-最小归一化方法沿时间轴对振动信号数据进行归一化处理，将振动信号数据转化为0到1区间内的数据后作为训练数据样本。数据归一化是一种基本的预处理手段。一方面，数据归一化可以提升模型的收敛速度，另一方面，数据归一化也可以有效提高模型的预测精度。
S3.构建自注意力神经网络作为机械产品关键零件剩余使用寿命的预测模型；
如图3所示，S3中自注意力神经网络包括四个池化层、特征自注意力机制层、位置编码层、数据融合层、两个多头自注意力机制层、数据展平层、两个全连接网络层和输出层；
自注意力神经网络的输入作为四个并行的池化层的输入，四个并行的池化层的输出沿特征维度进行连接后输入到特征自注意力机制层中，特征自注意力机制层依次经位置编码层、数据融合层、两个多头自注意力机制层、数据展平层和两个全连接网络层后与输出层相连；特征自注意力机制层的输出输入到数据融合层中，特征自注意力机制层的输出还输入到数据展平层中。
具体实施中，四个并行的池化层的池化策略分别采用最大池化函数、方均根池化函数、方差池化函数和峰峰值池化函数。池化层的过滤器大小均设置为N，步长均设置为S。步骤S1中采集了水平和垂直两个方向的振动信号，则振动信号数据在特征维度的尺度为2。训练数据样本同时经过四个并行的池化层处理后，其特征维度的尺度变为8；池化操作沿时间轴进行，则训练数据样本的长度由L变为(L-N)/S+1。在本实施例中，池化层的过滤器大小设置为20，步长设置为20。池化操作沿时间轴进行，则本实施例中的输入数据长度由2560变为128。
与普通自注意力机制的区别在于，特征自注意力机制层沿着数据的特征维度进行操作，给不同维度的特征分配不同的权重。通过特征自注意力机制层，那些相对重要的输入特征获得更大的权重，进而获得模型更多关注，实现更好的预测结果。特征自注意力机制层的自注意力机制采用常用的加性注意力(addictive attention)。
位置编码层通过位置编码函数给不同的数据点进行位置编码得到位置编码矩阵。将位置编码矩阵与特征自注意力层的输出相加后得到编码数据作为位置编码层的输出，从而让模型学习到不同数据点之间的位置关系。位置编码层选用正弦函数和余弦函数作为位置编码函数。
数据融合层将特征自注意力机制层的输出与位置编码层的输出相加后得到融合数据。
多头自注意力机制层沿着数据的时间维度进行操作。振动信号数据为多条时序数据构成的二维矩阵，沿时间轴方向为振动信号数据的时间维度，另一个维度为特征维度，即表示多条时序数据的方向为特征维度。在每个多头自注意力机制层中，m个自注意力机制分别并行地处理输入数据，然后将m个自注意力机制的输出矩阵进行相加得到该层的输出矩阵。本实施例中，m＝3。
该n个相同的多头自注意力机制层通过串行的方式处理数据，即前一个多头自注意力机制层的输出作为下一个多头自注意力机制层的输入。
多头自注意力机制层采用常用的点乘注意力(dot-product attention)。
数据展平层的主要功能是将二维矩阵数据进行一维化处理，方便全连接网络进行处理；此外，采取残差网络的跳跃式传递，将特征自注意力机制层的输出直接传递到数据展平层，与最后一层多头自注意力机制层的输出进行连接，一维化后的数据作为数据展平层的输出。
如图3所示，在本实施例中，第一层全连接网络的神经元个数设置为400，第二层全连接网络的神经元个数设置为200，两层全连接网络的激活函数选择线性整流函数(ReLU)。
第二层全连接网络后设有随机失活(dropout)层，dropout层的dropout率均设置为k。在本实施例中，k的取值为0.3。
输出层的激活函数选择线性激活函数，选择均方差损失函数来计算模型的训练误差。输出层神经元个数设置为1，输出剩余使用寿命。
S4.将S2中得到的训练数据样本和对应的剩余使用寿命标签输入预测模型中训练预测模型，获得训练好的预测模型；在本实施例中，PHM2012数据集中的三个子集(bearing1_1、bearing1_2和bearing1_3)作为训练集对模型进行训练。
此外，选择均匀分布初始化方法(glorot uniform)对神经网络的权重进行初始化，同时将神经网络的初始偏置设置为0。
本发明实施例中采用误差逆传播(BP)算法对神经网络进行学习训练。神经网络的损失函数选择均方差损失函数，同时选用Adam优化算法对网络权重和偏置进行优化，学习率设置为0.001。在训练过程中选取10％的训练集数据作为验证集，采用早停法避免过拟合，即在当前训练周期后的N个训练周期中，若验证集上的误差一直没降低，则停止训练，选择当前周期下的训练模型作为最终预测模型。在本实施例中，N设置为20，此外，为了防止模型训练时间过长，设置最大训练周期为400。
在本实施例中，损失函数计算的训练误差和验证误差随着训练的变化趋势如图4所示。
S5.在同种零件工作的过程中使用与S1和S2中相同的方法采集振动信号数据并进行数据预处理，得到测试数据，将测试数据输入训练好的预测模型中实时预测获得零件的剩余使用寿命。
在本实施例中，PHM2012数据集中的bearing1_7子集作为测试集对训练好的模型进行测试。得到bearing1_7的预测剩余寿命值后，将其与相应真实值进行比较。选用三种回归问题中常用的评价函数作为本实施例的评价参数，即均方根误差(RMSE)、平均绝对误差(MAE)和判定系数(R2)。其中，RMSE和MAE值越小，表明预测越精确，而R2越接近于1，表明所拟合的回归方程越优，预测越精确。
为避免偶然因素的影响，每组实验重复十次，记录了十次实验的RMSE、MAE和R2值，取平均值和标准差作为最终评价参数。在本实施例中，三个评价参数的平均值和标准差如下表所示：
表1
Figure BDA0003166566480000071
Figure BDA0003166566480000081
从表1可以看出，实验结果的均方根误差、平均绝对误差的平均值较小，且判定系数的平均值大于0.8，说明本实施例方法的回归拟合较好。同时，三种实验参数的标准差较小，说明结果波动较小，实验结果可靠。图5展示了本实施例的预测值与真实值之间的对比情况。以上实验结果表明本方法能对机械产品关键零件的剩余使用寿命进行预测，方法可行有效。
本发明通过自注意力机制网络处理机械产品关键零件运行过程的振动信号，可以充分挖掘振动信号中与剩余使用寿命相关的重要时序特征，并将提取的特征。具体地，通过池化层对振动信号进行初步特征提取和数据降维，然后利用特征自注意力机制层对降维后的特征进行加权处理，使模型更关注于那些重要的特征。接下来，借助于多头自注意力机制和位置编码，充分挖掘数据中与剩余使用寿命相关的时序特征，并通过全连接网络的拟合能力，将提取到的特征映射到预测结果上，实现零件剩余使用寿命的在线预测。
本发明的方法克服了现有方法需要进行复杂的数据预处理和特征提取的缺点，实现了从振动信号到剩余使用寿命的端到端预测，具备操作简单、泛化性强的优点。本发明的方法适用性广，能广泛应用于各种机械产品关键零件的剩余使用寿命预测中。在机械产品零件剩余使用寿命预测领域，本发明专利首次提出使用自注意力网络来提取振动信号中的时序特征，并实现有效的剩余寿命预测，该方法新颖且具有较强的创新性和实用性。
实验结果表明，本发明所提出的方法可以对运行过程中机械产品关键零件进行有效的健康监测，并根据剩余使用寿命值对零件进行实时维护，即进行更换或修复处理。本发明可为机械产品关键零件的视情维护提供重要信息，避免在机械产品运行过程中因其关键零件故障而造成严重损失，进而有效提高机械产品的使用寿命和工作效率，为智能制造提供良好的基础。
上述实施例实现为本发明专利在PHM2012轴承数据集上的一个调优结果，但本发明的具体实施不仅局限于上述实施例。依照本发明原理和思路提出的相似方案，均应视为本发明专利的保护范围。

Claims (7)

1.一种基于自注意力网络的产品关键零件寿命端到端预测方法，其特征在于，包括以下步骤：
S1.在机械产品关键零件上安装加速度传感器，在零件运行过程中通过加速度传感器记录零件的振动信号数据，并记录零件运行的时间，直至零件损坏；
S2.对振动信号数据进行数据预处理，得到训练数据样本，同时对零件运行的时间进行处理，得到训练数据样本对应的剩余使用寿命标签；
S3.构建自注意力神经网络作为机械产品关键零件剩余使用寿命的预测模型；
S4.将S2中得到的训练数据样本和对应的剩余使用寿命标签输入预测模型中训练预测模型，获得训练好的预测模型；
S5.在同种零件工作的过程中使用与S1和S2中相同的方法采集振动信号数据并进行数据预处理，得到测试数据，将测试数据输入训练好的预测模型中实时预测获得零件的剩余使用寿命。
2.根据权利要求1所述的一种基于自注意力网络的产品关键零件寿命端到端预测方法，其特征在于：所述S1中零件的振动信号数据包括水平与竖直两个方向的振动信号。
3.根据权利要求1所述的一种基于自注意力网络的产品关键零件寿命端到端预测方法，其特征在于，所述S2中对振动信号数据进行数据预处理，得到训练数据样本，具体为：采用最大-最小归一化方法沿时间轴对振动信号数据进行归一化处理，将振动信号数据转化为0到1区间内的数据后作为训练数据样本。
4.根据权利要求1所述的一种基于自注意力网络的产品关键零件寿命端到端预测方法，其特征在于：所述S3中自注意力神经网络包括四个池化层、特征自注意力机制层、位置编码层、数据融合层、两个多头自注意力机制层、数据展平层、两个全连接网络层和输出层；
自注意力神经网络的输入作为四个并行的池化层的输入，四个并行的池化层的输出沿特征维度进行连接后输入到特征自注意力机制层中，特征自注意力机制层依次经位置编码层、数据融合层、两个多头自注意力机制层、数据展平层和两个全连接网络层后与输出层相连；特征自注意力机制层的输出输入到数据融合层中，特征自注意力机制层的输出还输入到数据展平层中。
5.根据权利要求4所述的一种基于自注意力网络的产品关键零件寿命端到端预测方法，其特征在于：所述特征自注意力机制层的自注意力机制采用常用的加性注意力；所述特征自注意力机制层沿着振动信号数据的特征维度进行操作。
6.根据权利要求4所述的一种基于自注意力网络的产品关键零件寿命端到端预测方法，其特征在于：所述多头自注意力机制层采用点乘注意力；所述多头自注意力机制层沿着振动信号数据的时间维度进行操作。
7.根据权利要求4所述的一种基于自注意力网络的产品关键零件寿命端到端预测方法，其特征在于：所述位置编码层选用正弦函数和余弦函数作为位置编码函数。
CN202110805989.3A 2021-07-16 2021-07-16 基于自注意力网络的产品关键零件寿命端到端预测方法 Active CN113343591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110805989.3A CN113343591B (zh) 2021-07-16 2021-07-16 基于自注意力网络的产品关键零件寿命端到端预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110805989.3A CN113343591B (zh) 2021-07-16 2021-07-16 基于自注意力网络的产品关键零件寿命端到端预测方法

Publications (2)

Publication Number Publication Date
CN113343591A true CN113343591A (zh) 2021-09-03
CN113343591B CN113343591B (zh) 2022-05-03

Family

ID=77479857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110805989.3A Active CN113343591B (zh) 2021-07-16 2021-07-16 基于自注意力网络的产品关键零件寿命端到端预测方法

Country Status (1)

Country Link
CN (1) CN113343591B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990584A (zh) * 2021-03-19 2021-06-18 山东大学 一种基于深度强化学习的自动生产决策系统及方法
CN114266278A (zh) * 2021-12-29 2022-04-01 合肥工业大学 一种基于双重注意力网络的设备剩余使用寿命预测方法
CN115017945A (zh) * 2022-05-24 2022-09-06 南京林业大学 基于增强型卷积神经网络的机械故障诊断方法和诊断系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2375409A1 (en) * 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
CN111721535A (zh) * 2020-06-23 2020-09-29 中国人民解放军战略支援部队航天工程大学 一种基于卷积多头自注意力机制的轴承故障检测方法
CN111931625A (zh) * 2020-08-03 2020-11-13 浙江大学 基于非对称损失神经网络的产品关键零件剩余寿命预测方法
CN112819219A (zh) * 2021-01-26 2021-05-18 河海大学 一种基于自注意力机制的时序网络的洪水流量预测方法
CN113051839A (zh) * 2021-05-12 2021-06-29 中国人民解放军海军航空大学 一种基于深度学习的设备剩余寿命预测模型构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2375409A1 (en) * 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
CN111721535A (zh) * 2020-06-23 2020-09-29 中国人民解放军战略支援部队航天工程大学 一种基于卷积多头自注意力机制的轴承故障检测方法
CN111931625A (zh) * 2020-08-03 2020-11-13 浙江大学 基于非对称损失神经网络的产品关键零件剩余寿命预测方法
CN112819219A (zh) * 2021-01-26 2021-05-18 河海大学 一种基于自注意力机制的时序网络的洪水流量预测方法
CN113051839A (zh) * 2021-05-12 2021-06-29 中国人民解放军海军航空大学 一种基于深度学习的设备剩余寿命预测模型构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUI LIU: "Remaining Useful Life Prediction Using a Novel Feature-Attention-Based End-to-End Approach", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》 *
谭宇宁等: "基于SATLSTM的Web系统老化趋势预测", 《计算机应用与软件》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990584A (zh) * 2021-03-19 2021-06-18 山东大学 一种基于深度强化学习的自动生产决策系统及方法
CN112990584B (zh) * 2021-03-19 2022-08-02 山东大学 一种基于深度强化学习的自动生产决策系统及方法
CN114266278A (zh) * 2021-12-29 2022-04-01 合肥工业大学 一种基于双重注意力网络的设备剩余使用寿命预测方法
CN114266278B (zh) * 2021-12-29 2024-02-20 合肥工业大学 一种基于双重注意力网络的设备剩余使用寿命预测方法
CN115017945A (zh) * 2022-05-24 2022-09-06 南京林业大学 基于增强型卷积神经网络的机械故障诊断方法和诊断系统

Also Published As

Publication number Publication date
CN113343591B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN113343591B (zh) 基于自注意力网络的产品关键零件寿命端到端预测方法
CN108171263A (zh) 基于改进变分模态分解和极限学习机的滚动轴承故障诊断方法
CN109063308B (zh) 一种基于深度量子学习的健康评估方法
CN111695521B (zh) 一种基于Attention-LSTM的滚动轴承性能衰退预测方法
CN114429153B (zh) 基于终身学习的齿轮箱增量故障诊断方法及系统
Pan et al. A deep learning network via shunt-wound restricted Boltzmann machines using raw data for fault detection
CN101025618A (zh) 一种电厂热工设备智能状态诊断分析系统
CN111289250A (zh) 一种伺服电机滚动轴承剩余使用寿命预测方法
CN112834211A (zh) 一种风电机组传动系统故障预警方法
CN111896254A (zh) 一种变速变载大型滚动轴承故障预测系统及方法
CN106127300A (zh) 一种旋转机械健康状态预测方法
CN112305388B (zh) 一种发电机定子绕组绝缘局部放电故障在线监测诊断方法
Qin et al. Remaining useful life prediction for rotating machinery based on optimal degradation indicator
CN116150901A (zh) 一种基于注意力增强时频Transformer的滚动轴承剩余寿命预测方法
CN114091525A (zh) 一种滚动轴承退化趋势预测方法
Tang et al. Prediction of bearing performance degradation with bottleneck feature based on LSTM network
Wang et al. Fault diagnosis of industrial robots based on multi-sensor information fusion and 1D convolutional neural network
CN113984389A (zh) 一种基于多感受野与改进胶囊图神经网络的滚动轴承故障诊断方法
CN117034169A (zh) 基于时序因果关系网络的电网主变设备异常状态预测方法
Techane et al. Rotating machinery prognostics and application of machine learning algorithms: Use of deep learning with similarity index measure for health status prediction
Xuejiao et al. A method for rolling bearing life state recognition by combining health indicator and anti-noise deep residual shrinkage network
CN113836820A (zh) 一种基于自相关模型和多变量监控方法的设备健康评估与故障诊断算法
CN113449465A (zh) 一种用于滚动轴承的寿命预测方法
CN113297704A (zh) 基于混合深度神经网络的谐波减速器功率实时预测方法及系统
Wang et al. Smart health evaluation of slewing bearing based on multiple-characteristic parameters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant