CN113987834B

CN113987834B - 一种基于can-lstm的铁路列车轴承剩余寿命预测方法

Info

Publication number: CN113987834B
Application number: CN202111348357.5A
Authority: CN
Inventors: 周建民; 高森; 尹洪妍
Original assignee: East China Jiaotong University
Current assignee: East China Jiaotong University
Priority date: 2021-11-15
Filing date: 2021-11-15
Publication date: 2022-07-15
Anticipated expiration: 2041-11-15
Also published as: US20230153608A1; CN113987834A

Abstract

本发明提出了一种基于CAN‑LSTM的铁路列车轴承剩余寿命预测方法。利用本方法可根据振动信号预测出铁路列车轴承剩余使用寿命(RUL)。针对传统的铁路列车轴承寿命预测方法缺乏明确的学习机制，影响预测精度的问题，该方法首先从轴承全寿命振动数据中提取时域、频域和时频域特征参数，归一化处理后，作为CAN的输入。利用CAN学习通道和时间维度中的深层故障特征，提高特征的表征能力。之后将深层故障特征输入LSTM网络，基于退化特征对轴承进行寿命预测，同时归一化健康指标至[0,1]区间内，获得相同的失效阈值。最后使用五点平滑法对预测结果进行处理，实现轴承RUL预测。实验结果表明，所提方法的剩余寿命预测值误差小，验证了本发明的准确性和适应性。

Description

一种基于CAN-LSTM的铁路列车轴承剩余寿命预测方法

技术领域

本发明涉及轴承检测技术领域，具体涉及一种基于CAN-LSTM的铁路列车轴承剩余寿命预测方法。

背景技术

预测与健康管理是系统在实际运行条件下提高安全性、完好性和任务成功性的有效方法，剩余寿命预测是预测与健康管理中最具挑战性的技术。在现代铁路列车运行中，轴承是决定铁路列车安全运行的关键零部件，铁路列车轴承因其恶劣的工作条件，众多的退化诱因以及离散的寿命周期等特点导致安全问题多发，对社会经济和安全效益造成一定的损失和影响，因此对铁路列车轴承在运行中的健康状态进行实时监测和剩余使用寿命(Remaining Useful Life,RUL)预测具有重大意义。在各种机器学习算法中，深度学习网络模型由于强大的可扩展性和表征学习能力，能够从原始数据中自动学习多层次特征，这种机器学习算法是当前设备寿命预测研究算法中的热点与重点之一。

近年来，许多学者在轴承剩余使用寿命预测的方法上进行了诸多研究，并提出了多种网络模型结构，基于卷积神经网络(CNNs)的相关算法有较好的处理时间序列的能力。CNN在RUL预测中获得了广泛的应用。CNN的基本结构卷积块由卷积层和池化层组成，每个卷积块包括两个卷积层和一个池化层。卷积层的目的是从传感器信号中学习多层特征，对于每个卷积层，首先使用一系列核函数对输入信号进行卷积，然后使用非线性激活函数Relu对卷积输出进行非线性变换。CNN模型采用了有效的局部连接和权值共享的方式，不仅减少了权值数且模型易于优化，但CNN模型没有考虑时序特征的长期依赖性。

长短期记忆网络(Long short-term memory,LSTM)是对循环神经网络的一种改进，包含前馈连接和内部反馈连接的前向传播网络。LSTM网络能够充分利用来自输入时间序列数据的信息，保留隐藏层上一时刻的信息，并对不同退化状态的时间序列进行建模。目前在寿命预测领域得到广泛应用。尽管LSTM可以获取轴承数据间长期依赖关系及一定程度上弥补RNN训练过程中梯度爆炸、梯度消失的问题，但其对每层隐藏层滑动窗口步长的关注广度是确定值，这将会造成分散注意力问题。

目前，注意力机制逐渐应用于深度学习领域中，注意力机制在语音识别、图像识别和自然语言处理方面均已得到广泛应用。深度学习模型在处理自然语言任务中得到较好的效果，但仍然存在诸多不足，如长程记忆能力有限、序列转化过程中的相互关系无法确切表达、模型动态结构输出质量不足等，引入注意力机制会有效解决上述问题。在轴承寿命预测方面，注意力机制可充分整合传感器中退化信息，关注退化信息并给予较高的权重，在提高RUL预测精度方面有显著的有效性和优越性。如何将注意力机制与新模型更好融合，是提高RUL预测精度的关键问题。

发明内容

本发明旨在解决上述提到的技术问题，提出一种基于CAN-LSTM的铁路列车轴承剩余寿命预测方法。

本发明的上述技术目的是通过以下技术方案得以实现的：

1.一种基于CAN-LSTM的铁路列车轴承剩余寿命预测方法，其特征在于，包括以下步骤：

构建故障特征参数集：从轴承全寿命振动数据中提取时域，频域和时频域特征参数；其中，时域特征和频域特征包括均方根、峭度、峰峰值、偏斜度、均方值和均方误差，并进行归一化处理；db5小波包对振动信号执行三层小波包分解生成的8个频率子带的能量比作为时频域特征；所提取时域、频域和时频域特征作为第一特征序列；

定义故障时间标签：以轴承退化点到完全失效的时间作为轴承的RUL，将关于RUL的时间标准化为[0，1]，并作为CAN和LSTM模型训练的标签；

式中：i为当前时刻值，n为轴承寿命值，k为故障起始时刻；

CAN网络训练：在CNN中加入注意力机制得到CAN模型，挖掘振动信号中通道和空间维度深层故障特征，使用CAN模型对第一特征序列进行特征提取，得到第二特征序列；

RUL预测：将第二特征序列输入到LSTM网络中，对LSTM网络进行训练，其循环网络结构，可处理不同退化状态间时间序列，保存训练工程中误差最小的模型，并使用这种模型预测轴承RUL，获取特征量化值，最终得到轴承剩余寿命预测值；

预测结果评价：为降低震荡对预测值的影响，采用五点滑动平滑法对量化值进行平滑处理，得到预测寿命值，通过评价函数对预测结果进行评价。

进一步地，步骤构建故障特征参数集的步骤中，提取铁路列车轴承原始振动信号数据特征，构建故障特征参数集，作为第一特征序列并划分为训练集和测试集。

进一步地，定义故障时间标签的步骤中，对于轴承全寿命振动信号，在振幅与正常标准振幅相比，轴承振幅显著增加的时刻，这一时刻定义为轴承退化点并开始预测轴承RUL。

进一步地，CAN网络训练的步骤中，CAN模型包括卷积层、池化层、Attention层、Dropout层和全连接层；所述池化层为最大池化层；第一特征序列输入至CNN模型生成特征映射，所述注意力机制从时间维度和通道维度计算特征映射的注意力映射，然后将注意力映射与特征映射相乘最终得到轴承数据第二特征序列。

进一步地，注意力机制的构建过程为：注意力机制包括通道注意力和时间注意力；注意力机制从CNN模型生成的第二序列特征中提取特征输出z^l-1∈R^I×1×J，注意力机制依次计算通道注意力权重α^l∈R^1×1×J和时间注意力权重β^l∈R^I×1×J，其中I是特征输出的长度，J＝N×S是特征输出的数量，S为输入传感器序列的通道数量；完整的注意力机制公式为：

其中

表示相应元素相乘，

为通道注意力细化特征输出，z^l∈R^I×1×J为时间注意力输出，即轴承退化数据第二特征序列；Φ_c(·)和Φ_t(·)分别表示通道和时间注意力功能。

进一步地，所述LSTM网络包括输入层、隐藏层、全连接层和输出层；基于训练好的LSTM网络和第二序列特征得到轴承的RUL预测值。

进一步地，在LSTM网络训练过程中，调整LSTM网络结构和超参数提高预测准确率；

对LSTM网络超参数进行调整；如果过拟合，则适当减少学习率、减少迭代次数、添加Dropout；如果欠拟合，则适当增加学习率、增加迭代次数、减少Dropout；如果训练结果误差仍较大，则对网络结构进行改进。

进一步地，所述LSTM网络训练模型的激活函数为Relu。

进一步地，预测结果评价的步骤中，评价函数为均方根误差(RMSE)和平均绝对误差(MAE)。

本发明的有益效果为：

本发明为解决传统的铁路列车轴承寿命预测方法缺乏明确的学习机制，影响预测精度的问题，该方法首先从轴承全寿命振动数据中提取时域、频域和时频域特征参数，归一化处理后，作为CAN的输入。利用CAN学习通道和时间维度中的深层故障特征，提高特征的表征能力。之后将深层故障特征输入LSTM网络，基于退化特征对轴承进行寿命预测，同时归一化健康指标至[0,1]区间内，得到相同的失效阈值。最后使用五点平滑法对预测结果进行处理，实现轴承RUL预测。实验结果表明，所提方法剩余寿命预测值与真实值的平均均方根误差和平均绝对值误差小，验证了本发明的准确性和适应性。

附图说明

图1是CAN-LSTM预测网络结构图；

图2是一维CNN示意图；

图3是注意力机制结构图；

图4是LSTM模型结构图；

图5是本发明所述的滚动轴承RUL预测方法的系统性流程图；

图6是Bearing1_1全寿命振动信号图；

图7是CNN对Bearing1_2RUL预测结果图；

图8是LSTM对Bearing1_2RUL预测结果图；

图9是CNN-LSTM对Bearing1_2RUL预测结果图；

图10是CAN-LSTM对Bearing1_2RUL预测结果图；

图11是CNN对Bearing2_2RUL预测结果图；

图12是LSTM对Bearing2_2RUL预测结果图；

图13是CNN-LSTM对Bearing2_2RUL预测结果图；

图14是CAN-LSTM对Bearing2_2RUL预测结果图；

图15为一种基于CAN-LSTM的铁路列车轴承剩余寿命预测方法的步骤图。

具体实施方式

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

结合如图1-14，本发明的实施及实验结果如下：

1、CAN-LSTM轴承RUL预测模型的提出与演化

本发明所提模型由特征学习网络CAN和预测网络LSTM组成。CAN-LSTM结构示意图如图1所示，在CAN-LSTM中，不同传感器采集的振动信号原始特征作为输入，以集成多特征退化信息。然后通过注意力机制和卷积网络学习，构造特征学习子网络，从输入振动信号中发现并突出特征信息。最后，将学习到的特征反馈到LSTM网络执行RUL预测。CAN-LSTM网络详细信息描述如下。

CAN模型由CNN和自注意力模块组成。卷积神经网络将原始轴承信号通过卷积运算的形式进行更抽象、更深层次的表达。一维CNN网络结构图如图1所示。CNN的基本结构卷积块由卷积层和池化层组成，每个卷积块包括两个卷积层和一个池化层。卷积层的目的是从传感器信号中学习多层特征，对于每个卷积层，首先使用一系列核函数对输入信号进行卷积，然后使用非线性激活函数Relu对卷积输出进行非线性变换，通过上述两个步骤，可以在卷积层中获得不同的特征映射。

如图3所示，注意力模块包括通道注意力和时间注意力。这两种注意力机制使深度学习模型有效学习通道和时间维度中的特征。有效提高网络模型的表征能力。

注意力模块从不同的传感器序列中提取特征输出z^l-1∈R^I×1×J，自注意力模块依次计算通道注意力权重α^l∈R^1×1×J和时间注意力权重β^l∈R^I×1×J，其中I是特征输出的长度，J＝N×S是特征输出的数量，S为输入传感器序列的通道数量。完整的注意力模块公式为：

其中

表示相应元素相乘，

为通道注意力细化特征输出，z^l∈R^I×1×J为时间注意力输出，Φ_c(·)和Φ_t(·)分别表示通道和时间注意力功能。

LSTM网络结构如图4所示，LSTM网络是对循环神经网络的一种改进。长短期记忆网络的输出不仅取决于当前输入，而且还取决于所有过去所输入的信息。这使得该网络能够充分利用来自输入时间序列数据的信息，并对不同退化状态的时间序列进行建模。

LSTM在实际训练过程中可以有效减轻梯度消失或爆炸的问题并获取数据间的时间依赖性。LSTM包括输入门、遗忘门和输出门，具体公式如下。

i_t＝σ(W_xix_t+W_hih_t-1+b_i) (4)

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f) (5)

o_t＝σ(W_xox_t+W_hoh_t-1+b_o) (7)

式中，i_t，f_t，o_t分别代表计算输入门、遗忘门和输出门的值；W_xc，W_xi，W_xf，W_xo分别表示t时刻下输入层与隐藏层之间的记忆单元、输入门、遗忘门和输出门中的卷积核；W_hc，W_hi，W_hf，W_ho分别表示t-1时刻下输入层与隐藏层之间的记忆单元、输入门、遗忘门和输出门中的卷积核；b_c，b_i，b_f，b_o是偏差项；h和c代表外部单元和记忆状态；

表示哈达玛积；σ(·)是Logistic Sigmoid函数。

2、铁路列车轴承RUL预测方法及流程

如图5所示，具体步骤如下：

1)构建故障特征参数集：从轴承全寿命振动数据中提取时域，频域和时频域特征参数。其中时域特征和频域特征包括均方根、峭度、峰峰值、偏斜度、均方值和均方误差，并进行归一化处理。db5小波包对振动信号执行三层小波包分解生成的8个频率子带的能量比作为时频域特征。所提取时域、频域和时频域特征作为第一特征序列。

2)定义故障时间标签：以轴承退化点到完全失效的时间作为轴承的RUL，将关于RUL的时间标准化为[0，1]，并作为CAN和LSTM模型训练的标签。

式中：i为当前时刻值，n为轴承寿命值，k为故障起始时刻。

3)CAN网络训练：在CNN中加入注意力机制得到CAN模型，充分挖掘振动信号中通道和空间维度深层故障特征。使用CAN模型对第一特征序列进行特征提取，得到第二特征序列。

4)RUL预测：将第二特征序列输入到LSTM网络中，对LSTM网络进行训练，其循环网络结构，可以有效处理不同退化状态间时间序列，保存训练工程中误差最小的模型，并使用这种模型预测轴承RUL，获取特征量化值，最终得到轴承剩余寿命预测值。

5)预测结果评价：为降低震荡对预测值的影响，采用五点滑动平滑法对量化值进行平滑处理，得到预测寿命值。通过评价函数对预测结果进行评价。

3、实验验证

为评估模型的性能，利用轴承数据对轴承寿命评估模型进行验证分析。实验验证的轴承数据来源于XJTU-SY轴承数据集。

实验在固定速度条件下开始，在不同的操作条件下进行滚动元件轴承的加速退化试验。当一个方向上的振动信号幅值超过10×A_h时，即认定轴承失效，并停止相关的寿命实验，A_h为正常运行下该方向振动信号的最大幅度。实验过程中，轴承可能发生任何类型的故障(内圈、外圈、滚珠或保持架)。测试轴承类型为LDK UER204；加速度信号是在连续的窗口中采集的，持续时间为1.28秒，每1min重复一次，采样频率为25.6Hz。

每个工况各有5个轴承，分别命名为Bearing1_1-Bearing1_5,Bearing2_1-Bearing2_5,Bearing3_1-Bearing3_5,本文模型选用每种工况中的其中一组轴承数据为测试集，其余数据为训练集。

提取全周期轴承振动信号中时域特征和频域特征各包括均方根、峭度、峰值、偏斜度等11个特征。对轴承信号进行三层db5小波包分解，将生成的8个频率子带的能量比作为时频域特征。将提取的时域、频域和时频域特征作为故障特征参数集，输入CAN模型进行训练。

如图6所示，确定轴承故障起始点的方法为：对于轴承全寿命振动信号，在某一时刻振幅较正常标准振幅相比，轴承振幅显著增加时，这一时刻定义为轴承故障的起始时刻并开始预测轴承RUL。对于每个实验样本(X_i,Y_i)，X_i作为特征输入，为第i次采集到的振动加速度数值。Y_i作为标签，为当前时刻和失效时刻之间的时间差值与故障起始时刻和失效时刻之间时间间隔的比值(归一化为0～1之间)。

4、剩余寿命预测

对于传统的回归问题，CAN-LSTM最后的输出层节点个数为1，其输出值就是模型的预测值。为了验证剩余寿命预测方法的准确性，采用均方根误差(RMSE)和平均绝对误差(MAE)评价预测结果的准确性，具体定义为

其中A_t为时间t时真实值，F_t为预测值。

在RUL预测中，通过在训练数据集上执行交叉验证来调整和选择CAN-LSTM超参数，最终选择出模型超参数。该模型包括5个卷积注意力层、5个池化层和3个LSTM层。同时，将丢弃层和L2正则化都应用于每个卷积注意力层和池化层，以防止创建的模型与训练数据过拟合。此外，使用均方误差和平均绝对误差作为CAN-LSTM的评价损失函数，Adam作为优化器，通过迭代更新的方式优化网络权值。

训练集标签值在0～1之间，避免了失效阈值不确定性对预测结果的影响。

5、不同模型预测结果比较

CAN-LSTM模型主要由CAN网络和LSTM网络两部分构成，为了验证模型的有效性，将该模型与CNN模型、LSTM模型、CNN-LSTM模型进行比较。以Bearing1-2和Bearing2-2两个轴承为例，采用上述四种模型进行寿命预测.Bearing1-2的预测值如图7-10所示，Bearing2-2的预测值如图11-14所示。图中横坐标为采样周期(10s)，纵坐标为趋势性健康量化指标，曲折线为拟合后的预测值，直线实线为实际值。

从图中结果看出，与其他三个模型相比，CAN-LSTM模型可以提供更准确的RUL预测结果且预测效果稳定，接近真正的RUL。由于LSTM模型和CNN-LSTM模型没有有效融合多传感器退化信息，CNN模型没有考虑时序特征的长期依赖型，而所提CAN-LSTM模型中具备注意力机制有融合退化信息的能力以及挖掘连续时序特征的能力，使得所提取的时间序列特征能够有效减少预测误差。

为了更全面的验证本发明所提模型的准确性和适应性，采用留一法进行预测验证。每次选用每种工况下的一个轴承作为测试集，其余同工况轴承作为训练集，首先训练四种模型然后对测试轴承进行预测。预测值如表1所示，结果包含了四种模型的预测值与真实值的RMSE和MAE。

表1留一法实验结果

从表1中可以看出，CAN-LSTM模型的预测值相对于其它三种模型有较好的预测精度。均方根误差和平方绝对误差均小于其他三种预测模型。将表1中各个模型的均方根误差和平方绝对误差算平均值，得到四种模型的综合均方根误差和综合平方绝对值误差。CAN-LSTM的综合均方根误差和综合平方绝对误差比CNN模型低54.12％和59.05％，比LSTM模型低39.06％和43.42％，比卷积长短时记忆网络低20.41％和25.86％。说明该模型在不同的工况下具有较好的适应性。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims

式中：i为当前时刻值，n为轴承寿命值，k为故障起始时刻；

2.根据权利要求1所述的一种基于CAN-LSTM的铁路列车轴承剩余寿命预测方法，其特征在于：

步骤构建故障特征参数集的步骤中，提取铁路列车轴承原始振动信号数据特征，构建故障特征参数集，作为第一特征序列并划分为训练集和测试集。

3.根据权利要求1所述的一种基于CAN-LSTM的铁路列车轴承剩余寿命预测方法，其特征在于：

定义故障时间标签的步骤中，对于轴承全寿命振动信号，在振幅与正常标准振幅相比，轴承振幅显著增加的时刻，这一时刻定义为轴承退化点并开始预测轴承RUL。

4.根据权利要求1所述的一种基于CAN-LSTM的铁路列车轴承剩余寿命预测方法，其特征在于：

CAN网络训练的步骤中，CAN模型包括卷积层、池化层、Attention层、Dropout层和全连接层；所述池化层为最大池化层；第一特征序列输入至CNN模型生成特征映射，所述注意力机制从时间维度和通道维度计算特征映射的注意力映射，然后将注意力映射与特征映射相乘最终得到轴承数据第二特征序列。

5.根据权利要求4所述的一种基于CAN-LSTM的铁路列车轴承剩余寿命预测方法，其特征在于：

注意力机制的构建过程为：注意力机制包括通道注意力和时间注意力；注意力机制从CNN模型生成的第二序列特征中提取特征输出z^l-1∈R^I×1×J，注意力机制依次计算通道注意力权重α^l∈R^1×1×J和时间注意力权重β^l∈R^I×1×J，其中I是特征输出的长度，J＝N×S是特征输出的数量，S为输入传感器序列的通道数量；完整的注意力机制公式为：

其中

表示相应元素相乘，

6.根据权利要求1所述的一种基于CAN-LSTM的铁路列车轴承剩余寿命预测方法，其特征在于：

所述LSTM网络包括输入层、隐藏层、全连接层和输出层；基于训练好的LSTM网络和第二序列特征得到轴承的RUL预测值。

7.根据权利要求6所述的一种基于CAN-LSTM的铁路列车轴承剩余寿命预测方法，其特征在于：

在LSTM网络训练过程中，调整LSTM网络结构和超参数提高预测准确率；

8.根据权利要求7所述的一种基于CAN-LSTM的铁路列车轴承剩余寿命预测方法，其特征在于：

所述LSTM网络训练模型的激活函数为Relu。

9.根据权利要求4所述的一种基于CAN-LSTM的铁路列车轴承剩余寿命预测方法，其特征在于：

预测结果评价的步骤中，评价函数为均方根误差(RMSE)和平均绝对误差(MAE)。