CN114646891B - 一种结合lstm网络和维纳过程的剩余寿命预测方法 - Google Patents

Abstract

本发明公开了一种结合LSTM网络和维纳过程的剩余寿命预测方法，本发明一种结合长短期记忆神经网络和维纳过程的剩余寿命预测新方法，通过加速待测器件的寿命实验，获取待测器件在不同时刻的退化量；然后利用退化数据训练一个LSTM网络；接着通过迁移学习的方法对训练好的LSTM网络进行微调，并将微调后的LSTM网络用于代替维纳过程中的退化趋势函数；最后通过逆高斯分布计算出当前时刻下待测器件RUL的概率密度函数，具有预测精度高、实时性好、预测速度快等特点。

Description

一种结合LSTM网络和维纳过程的剩余寿命预测方法

技术领域

本发明属于锂电池可靠性分析技术领域，更为具体地讲，涉及一种结合长短期记忆神经网络(LSTM)和维纳过程的剩余寿命预测方法。

背景技术

近年来，随着电子系统的集成度越来越高，系统中出现故障的频率也越来越高。对于复杂电子系统中的各个功能模块来说，它们的可靠性影响着整个系统设备的运行稳定性，而对各模块的剩余寿命(RUL,Remaining Useful Life)预测技术方法的研究也变得十分必要，其具有以下几点重要意义：(1)是获得复杂电子系统可靠性信息的重要途径，可进一步为实现系统在线监测与健康管理提供依据；(2)有助于促使生产商对各类系统模块进行工艺改进(引入新的材料与改进封装技术)；(3)有利于更好地设计加速老化试验以获得更为准确的老化数据；(4)可实现视情维修，使终端使用者获得复杂电子系统更多的寿命信息以减少对系统维护的投入。

而现有的RUL预测技术方法的研究主要分为两大类，基于物理模型驱动的预测技术和基于数据驱动的预测技术。虽然基于物理模型驱动的预测技术可从材料的角度上表述各系统模块的RUL信息，但需要对器件制造材料的本质特性与工艺制造过程有足够深的理解，而且所获取的物理模型往往缺乏足够的精度，建模的过程易丢失对象参数间的非线性关系，导致误差增大。而基于数据驱动的预测技术是从系统模块输出特征量的历史老化数据中学习输入和输出之间的映射关系，其主要分为基于概率统计的方法和基于机器学习的方法。基于机器学习的方法能够利用计算机强大的计算能力来很好地学习锂电池退化的趋势，在RUL的预测上具有较高的精度，但其预测的准确率与训练数据的数量相关；基于概率统计的方法则是利用概率统计的模型来描述锂电池的退化趋势，可以很好地刻画锂电池的退化过程中的不确定性，但其剩余寿命的概率密度函数难以求解。

发明内容

本发明的目的在于克服现有技术的不足，提供一种结合LSTM网络和维纳过程的剩余寿命预测方法，采用LSTM来代替维纳过程中的非线性函数，加强了维纳过程对不同器件退化趋势的拟合能力，从而提高了剩余寿命预测的准确度。

为实现上述发明目的，本发明一种结合LSTM网络和维纳过程的剩余寿命预测方法，其特征在于，包括以下步骤：

(1)、获取待测器件在不同时刻的退化量；

通过加速N个待测器件的寿命实验，采样每个待测器件在不同时刻的特征量，再将每个待测器件在不同时刻的特征量与初始特征量做差，获得每个待测器件在不同时刻特征量的退化量，其中，第i个待测器件在不同时刻特征量的退化量记为

表示第i个待测器件的初始特征量退化量，

表示第i个待测器件在第t个时刻的特征量退化量，t＝1,2,…,T，T表示采样时刻数；

(2)、构建待测器件在每个采样时刻的维纳过程模型；

X(t)＝x₀+f(t)+σ_BB(t)

其中，x₀表示待测器件的初始特征量退化量，f(t)表示待测器件特征量退化量的趋势函数，σ_B是维纳过程的扩散系数，B(t)为标准布朗运动；

(3)、利用历史数据训练一个长短期记忆神经网络LSTM；

利用最小二乘拟合的方法，分别对N组特征量退化量数据进行平滑，得到N组平滑数据，其中，第i组平滑数据记为

表示第i组特征量退化量在第t个时刻的平滑数值；

利用所有的平滑数据

训练一个LSTM神经网络，记为LSTM_all；

(4)、待测器件剩余寿命的实时预测；

(4.1)、获取当前时刻待测器件的特征量退化量数据；

用步骤(1)中方法，获取当前时刻下待测器件特征量的退化量数据X＝{x₀，x₁，x₂...x_t}，判断x_t是否超过了失效阈值w，若超过，则转至步骤(5)，算法结束；若未超过，则转至步骤(4.2)；

(4.2)、利用迁移学习调整神经网络LSTM_all；

利用最小二拟合的方法平滑X，得到平滑数据X^smooth＝{x_smooth，0，x_smooth，1，x_smooth，2...x_smooth，t}；

取历史数据

中前t个时刻的历史数据分别与X^smooth计算距离E_i：

将神经网络LSTM_all除全连接层之外的所有层之间参数的学习率设置为0，全连接层与其他层之间的参数学习率设置为1，选取最小的E_i对应的平滑数据

来对LSTM_all进行再一次的训练，得到微调后的神经网络LSTM_{all，fine-tune}；(4.3)、利用LSTM_{all，fine-tune}预测第T时刻的预测数据

取步骤(4.2)中X^smooth的最后m个数据{x_smooth，t-m，x_{smooth，t-m+1}...x_smooth，t-1，x_smooth，t}，作为神经网络LSTM_{all，fine-tune}的输入，得到预测输出

再将X^smooth的最后m-1个数据与预测数据

作为神经网络LSTM_{all，fine-tune}的输入，得到预测数据

然后以此类推，重复上述过程，直到得到预测数据

时，预测停止；

(4.4)、计算待测器件的剩余寿命概率密度函数F(l)：

将数据

作为函数f(t)在时刻0～T的值；

在t时刻，计算待测器件的剩余寿命概率密度函数为：

其中，l表示剩余寿命时刻数，l∈[1，T-t]；x_t为t时刻待测器件特征量的退化量；w为待测器件特征量退化量的失效阈值；

(4.5)、遍历l的所有取值，从而计算出待测器件的多个剩余寿命概率密度函数值，然后选取F(l)中最大值对应的时刻l作为当前时刻下待测器件的剩余寿命预测值，然后再令t＝t+1，重新返回至步骤(4.1)；

(5)、待测器件特征量的退化量达到失效阈值w，预测终止，算法结束。

本发明的发明目的是这样实现的：

本发明一种结合LSTM网络和维纳过程的剩余寿命预测方法，本发明一种结合长短期记忆神经网络和维纳过程的剩余寿命预测新方法，通过加速待测器件的寿命实验，获取待测器件在不同时刻的退化量；然后利用退化数据训练一个LSTM网络；接着通过迁移学习的方法对训练好的LSTM网络进行微调，并将微调后的LSTM网络用于代替维纳过程中的退化趋势函数；最后通过逆高斯分布计算出当前时刻下待测器件RUL的概率密度函数，具有预测精度高、实时性好、预测速度快等特点。

附图说明

图1是本发明一种结合LSTM网络和维纳过程的剩余寿命预测方法流程图；

图2是加速寿命实验所获取的12组锂电池容量的退化量数据；

图3是某时刻剩余寿命的概率密度函数；

图4是某时刻LSTM网络拟合曲线和实际容量退化量曲线；

图5是本发明提出的一种结合长短期记忆神经网络和维纳过程的剩余寿命预测新方法的剩余寿命预测结果图：

图6是三种预测模型对锂电池剩余寿命预测的结果：(1)基于LSTM神经网络的剩余寿命预测模型；(2)基于传统Wiener过程的剩余寿命预测模型；(3)一种结合长短期记忆神经网络和维纳过程的剩余寿命预测新方法模型。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明一种结合LSTM网络和维纳过程的剩余寿命预测方法流程图。

在本实施例中，如图1所示，本发明一种结合LSTM网络和维纳过程的剩余寿命预测方法，包括以下步骤：

S1、获取待测器件在不同时刻的退化量；

通过加速N个待测器件的寿命实验，采样每个待测器件在不同时刻的特征量，再将每个待测器件在不同时刻的特征量与初始特征量做差，获得每个待测器件在不同时刻特征量的退化量，其中，第i个待测器件在不同时刻特征量的退化量记为

表示第i个待测器件的初始特征量退化量，

表示第i个待测器件在第t个时刻的特征量退化量，t＝1,2,…,T，T表示采样时刻数；

在本实施例中，选取锂电池CS2-33作为实施对象，通过加速其余11组锂电池的寿命实验，获取11组锂电池的退化数据作为历史退化数据，进而计算锂电池在不同时刻特征量的退化量，如图2所示，图中的每一条曲线代表一个锂电池的退化量数据。

S2、构建待测器件在每个采样时刻的维纳过程模型；

X(t)＝x₀+f(t)+σ_BB(t)

其中，x₀表示待测器件的初始特征量退化量，f(t)表示待测器件特征量退化量的趋势函数，σ_B是维纳过程的扩散系数，B(t)为标准布朗运动；

S3、利用历史数据训练一个长短期记忆神经网络LSTM；

利用最小二乘拟合的方法，分别对N组特征量退化量数据进行平滑，得到N组平滑数据，其中，第i组平滑数据记为

表示第i组特征量退化量在第t个时刻的平滑数值；

有了平滑数据后，维纳过程的扩散系数σ_B也可以通过下式得到：

其中，

为第i组特征量退化量数据的一阶差分，

为第i组特征量退化量平滑数据的一阶差分，I为N阶单位矩阵，T为数据ΔX_i的长度。

在本实施例中，在基于历史退化数据的参数估计中，利用11组锂电池退化数据估计得到的维纳过程扩散系数

利用所有的平滑数据

训练一个LSTM网络，记为LSTM_all；关于LSTM网络的训练与通用的神经网络模型的训练过程相同，在此不再赘述。

S4、待测器件剩余寿命的实时预测；

S4.1、获取当前时刻待测器件的特征量退化量数据；

用步骤S1中方法，获取当前时刻下待测器件特征量的退化量数据X＝{x₀，x₁，x₂...x_t}，判断x_t是否超过了失效阈值w，若超过，则转至步骤S5，算法结束；若未超过，则转至步骤S4.2；

S4.2、利用迁移学习调整神经网络LSTM_all；

利用最小二拟合的方法平滑X，得到平滑数据X^smooth＝{x_smooth，0，x_smooth，1，x_smooth，2...x_smooth，t}；

取历史数据

中前t个时刻的历史数据分别与X^smooth计算距离E_i：

将神经网络LSTM_all除全连接层之外的所有层之间参数的学习率设置为0，全连接层与其他层之间的参数学习率设置为1，选取最小的E_i对应的平滑数据

来对LSTM_all进行再一次的训练，得到微调后的神经网络LSTM_{all，fine-tune}；S4.3、利用LSTM_{all，fine-tune}预测第T时刻的预测数据

取步骤S4.2中X^smooth的最后m个数据{x_smooth，t-m，x_{smooth，t-m+1}...x_smooth，t-1，x_smooth，t}，作为神经网络LSTM_{all，fine-tune}的输入，得到预测输出

再将X^smooth的最后m-1个数据与预测数据

作为神经网络LSTM_{all，fine-tune}的输入，得到预测数据

然后以此类推，重复上述过程，直到得到预测数据

时，预测停止；

S4.4、计算待测器件的剩余寿命概率密度函数F(l)：

将数据

作为函数f(t)在时刻0～T的值；

在t时刻，计算待测器件的剩余寿命概率密度函数为：

其中，l表示剩余寿命时刻数，l∈[1，T-t]；x_t为t时刻待测器件特征量的退化量；w为待测器件特征量退化量的失效阈值；

S4.5、遍历l的所有取值，从而计算出待测器件的多个剩余寿命概率密度函数值，然后选取F(l)中最大值对应的时刻l作为当前时刻下待测器件的剩余寿命预测值，然后再令t＝t+1，重新返回至步骤S4.1；

S5、待测器件特征量的退化量达到失效阈值w，预测终止，算法结束。

在本实施例中，在剩余寿命预测的某个时刻，本发明得到的待测锂电池剩余寿命的概率密度曲线如图3所示，微调后的LSTM神经网络对待测锂电池的数据的拟合情况如图4所示。

利用本发明在不同时刻下预测得到的锂电池CS2-33的剩余寿命曲线如图5所示。可以清楚地看到，采用本发明得到的剩余寿命预测曲线可以提供不同时刻下剩余寿命的概率密度函数曲线，可以为器件的维修保障工作提供更多的信息，从而有利于器件维修工作的进行。

为了定量比较和衡量预测性能，图6展示了本发明、非线性Wiener过程(非线性函数采用aexp(bt)，其中a，b为参数)和长短期记忆神经网络(LSTM)对锂电池CS2-33剩余寿命的预测结果。通过图6中不同类型模型对锂电池RUL的预测结果可以发现，由于本发明在维纳过程的基础上采用了LSTM网络对待测锂电池退化趋势进行自适应的拟合，比传统的采用某个固定的非线性函数进行拟合(本例中为aexp(bt))的效果更好；同时，又因为本发明包含了Wiener过程，相比于直接用LSTM网络进行预测，本发明可以提供每个时刻预测结果的不确定性。此外，迁移学习的应用也使得本发明可以根据待测数据的更新自适应地提高LSTM神经网络对待测锂电池退化趋势的拟合精度，避免了不相似数据对预测结果的干扰。因此本发明的剩余寿命预测精度要远高于其他模型。

表1给出了各模型对锂电池CS2-33的RUL平均预测误差。

表1

由表1显示的预测结果可以看出，本模型的剩余寿命预测结果的精度要远远高于其他模型，这直接说明了本发明提出的一种结合长短期记忆神经网络和维纳过程的剩余寿命预测新方法的优势。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种结合LSTM网络和维纳过程的剩余寿命预测方法，其特征在于，包括以下步骤：

(1)、获取待测器件在不同时刻的退化量；

通过加速N个待测器件的寿命实验，采样每个待测器件在不同时刻的特征量，再将每个待测器件在不同时刻的特征量与初始特征量做差，获得每个待测器件在不同时刻特征量的退化量，其中，第i个待测器件在不同时刻特征量的退化量记为

表示第i个待测器件的初始特征量退化量，

表示第i个待测器件在第t个时刻的特征量退化量，t＝1,2,…,T，T表示采样时刻数；

(2)、构建待测器件在每个采样时刻的维纳过程模型；

X(t)＝x₀+f(t)+σ_BB(t)

其中，x₀表示待测器件的初始特征量退化量，f(t)表示待测器件特征量退化量的趋势函数，σ_B是维纳过程的扩散系数，B(t)为标准布朗运动；

(3)、利用历史数据训练一个长短期记忆神经网络LSTM；

利用最小二乘拟合的方法，分别对N组特征量退化量数据进行平滑，得到N组平滑数据，其中，第i组平滑数据记为

表示第i组特征量退化量在第t个时刻的平滑数值；

利用所有的平滑数据

训练一个LSTM神经网络，记为LSTM_all；

(4)、待测器件剩余寿命的实时预测；

(4.1)、获取当前时刻待测器件的特征量退化量数据；

用步骤(1)中方法，获取当前时刻下待测器件特征量的退化量数据X＝{x₀，x₁，x₂...x_t}，判断x_t是否超过了失效阈值w，若超过，则转至步骤(5)，算法结束；若未超过，则转至步骤(4.2)；

(4.2)、利用迁移学习调整神经网络LSTM_all；

利用最小二拟合的方法平滑X，得到平滑数据X^smooth＝{x_smooth，0，x_smooth，1，x_smooth，2…x_smooth，t}；

取历史数据

中前t个时刻的历史数据分别与X^smooth计算距离E_i：

将神经网络LSTM_all除全连接层之外的所有层之间参数的学习率设置为0，全连接层与其他层之间的参数学习率设置为1，选取最小的E_i对应的平滑数据

来对LSTM_all进行再一次的训练，得到微调后的神经网络LSTM_{all，fine-tune}；

(4.3)、利用LSTM_{all，fine-tune}预测第T时刻的预测数据

取步骤(4.2)中X^smooth的最后m个数据{x_smooth，t-m，x_{smooth，t-m+1}...x_smooth，t-1，x_smooth，t}，作为神经网络LSTM_{all，fine-tune}的输入，得到预测输出

再将X^smooth的最后m-1个数据与预测数据

作为神经网络LSTM_{all，fine-tune}的输入，得到预测数据

然后以此类推，重复上述过程，直到得到预测数据

时，预测停止；

(4.4)、计算待测器件的剩余寿命概率密度函数F(l)：

将数据

作为函数f(t)在时刻0～T的值；

在t时刻，计算待测器件的剩余寿命概率密度函数为：

其中，l表示剩余寿命时刻数，l∈[1，T-t]；x_t为t时刻待测器件特征量的退化量；w为待测器件特征量退化量的失效阈值；

(4.5)、遍历l的所有取值，从而计算出待测器件的多个剩余寿命概率密度函数值，然后选取F(l)中最大值对应的时刻l作为当前时刻下待测器件的剩余寿命预测值，然后再令t＝t+1，重新返回至步骤(4.1)；

(5)、待测器件特征量的退化量达到失效阈值w，预测终止，算法结束。

2.根据权利要求1所述的一种结合LSTM网络和维纳过程的剩余寿命预测方法，其特征在于，所述维纳过程的扩散系数σ_B满足：

其中，

为第i组特征量退化量数据的一阶差分，

为第i组特征量退化量平滑数据的一阶差分，I为N阶单位矩阵，T为数据ΔX_i的长度。

Images