CN115409263A - 一种基于门控和注意力机制的锂电池剩余寿命预测方法 - Google Patents

Abstract

本发明公开了一种基于门控和注意力机制的锂电池剩余寿命预测方法，属于电池技术领域。该方法包括搭建基于门控和注意力机制的深度学习模型，所述深度学习模型包括依次连接的特征提取网络、基于自注意力机制的网络、第一全连接层、第二全连接层与求和单元；所述特征提取网络对输入的数据序列X＝[x_t‑τ,x_t‑τ+1,…,x_t]处理得到数据序列

所述基于自注意力机制的网络接收数据序列

生成对应的输出序列H_attn；所述第一全连接层接收输出序列H_attn，生成中间值H₁，所述第二全连接层接收H₁；所述求和单元对所述基于自注意力机制的网络的输出与所述第二全连接层的输出求和，生成所述基于门控和注意力机制的深度学习模型的输出作为预测的锂电池容量序列；根据所述预测的锂电池容量序列与指定的锂电池失效阈值，得到所述锂电池的剩余寿命。本发明面对锂电池多维度特征和强因果长时序的情况，能够进行有效的信息提取，从而提高电池剩余寿命的预测精度，实现对锂电池未来工作状态的准确评估。

Description

一种基于门控和注意力机制的锂电池剩余寿命预测方法

技术领域

本发明属于锂离子电池技术领域，具体涉及一种基于门控和注意力机制的锂电池剩余寿命预测方法。

背景技术

面对环境恶化和能源危机两个亟待解决的问题，使用绿色能源，推动新能源技术进步与创新已经成为未来发展的重要议题。锂离子电池因具备使用寿命长、充电速度快、比能量大、工作电压高和安全性能好等优点，已经广泛用于移动设备、动力系统、基站服务以及航空航天等各个领域。与传统储能器件例如油箱的不同之处在于，电池内部状态难以直接观测，可用容量以及剩余电量无法通过观测直接得出，并且电池在储能与供能过程中，受化学副反应等因素影响，会导致不可逆的损伤影响正常使用。一方面为避免电池失效导致安全事故，另一方面为防止过早更换电池导致资源浪费，锂电池剩余使用寿命(RUL，Remaining Useful Life)的预测显得尤为重要。

锂离子电池剩余寿命研究方法主要分为基于模型和基于数据驱动两类，基于模型的预测方法通过化学定理、物理公式以及电路等效等方式对电池的内部机理进行描述，但电池在充放电过程中反应复杂，导致建模过程困难且对不同类型电池的可移植性差，预测精度也并不理想；随着机器学习和人工智能技术的成熟，基于数据驱动的方法逐渐成为主流，仅通过对电池充放电过程中各项观测数据变化规律进行分析，即可建立对电池剩余使用寿命的预测模型，同时，对数据的依赖性决定了数据驱动型方法需要解决实际充放电过程中数据采集出现的噪声、观测误差以及缺失值等问题，并且预测模型应具有一定的鲁棒性保证预测性能。

目前，基于数据驱动的剩余寿命预测方法主要有以支持向量回归(SVR)为主的经典机器学习算法和以循环卷积网络(RNN)为主的深度学习算法。SVR及其它机器学习算法对锂电池老化的非线性规律拟合能力弱，同时需要耗时耗力的特征工程和调参过程，效率低下；同时无法学习时序序列内部的因果性特征。RNN作为时序序列预测的典型算法尽管克服了机器学习的缺陷，但对长时间序列存在梯度消失或梯度爆炸问题，导致学习能力弱、预测效果差。后续RNN的变体长期短期记忆网络(LSTM)通过门控机制一定程度上解决了长期依赖问题，但仍然存在梯度消失问题。并且对多特征的电池数据而言，RNN的信息提取能力不如卷积神经网络(CNN)，而CNN又不具备时序预测能力。

因此，如何有效提取多维度特征、预测时序型数据且对长时间序列具备良好学习能力成为电池RUL预测有待改进的问题。

发明内容

针对上述现有电池寿命预测技术中存在的不足，本发明提供了一种基于门控和注意力机制的锂电池RUL预测方法。目的在于通过引入带有门控机制的卷积层提高提取特征信息的能力，同时基于自注意力机制改进现有时序预测方法处理长时间序列的性能，能够精确、高效地学习锂电池的老化规律，进而预测锂电池的剩余使用寿命。

为解决上述一种或多种问题，根据本申请的实施例，提供了基于门控和注意力机制的锂电池剩余寿命预测方法，包括：搭建基于门控和注意力机制的深度学习模型，所述深度学习模型包括依次连接的特征提取网络、基于自注意力机制的网络、第一全连接层、第二全连接层与求和单元；所述特征提取网络对输入的数据序列X＝[x_t-τ,x_t-τ+1,…,x_t]处理得到数据序列

其中x_j代表对应锂电池第j次充放电循环的特征向量，t-τ<＝j<＝t，t代表所述锂电池已经经历的充放电循环的次数，所述数据序列X包括τ+1个特征向量；其中，所述特征提取网络包括门控残差网络，所述门控残差网络对输入的每个特征向量的特征

处理得到

其中i表示特征向量中特征的序数，1<＝i<＝n，n为特征向量的特征；所述基于自注意力机制的网络接收数据序列

生成对应的输出序列H_attn；所述第一全连接层接收所述基于自注意力机制的网络的输出序列H_attn，生成中间值H₁，所述第二全连接层接收所述第一全连接层的输出H₁；所述基于自注意力机制的网络的输出还通过残差连接提供给所述求和单元，所述求和单元对所述基于自注意力机制的网络的输出与所述第二全连接层的输出求和，生成所述基于门控和注意力机制的深度学习模型的输出作为预测的锂电池容量序列；根据所述预测的锂电池容量序列与指定的锂电池失效阈值，得到所述锂电池总体可用的充放电循环次数，减去所述锂电池已经历的充放电循环次数，得到所述锂电池的剩余充放电循环次数作为所述锂电池的剩余寿命。

根据本申请的又一方面的基于门控和注意力机制的锂电池剩余寿命预测方法，包括：步骤1：监测锂电池的运行过程，获取充放电过程中的各项观测指标，建立锂电池老化数据库；

步骤2：根据获得的原始数据，建立与电池寿命的映射关系，寻找具有明显相关性的数据类型并从中提取健康因子作为后续模型的输入特征；基于原始数据，保留并计算健康因子对应的数据序列，进行数据预处理工作，去除异常值和缺失值，整理合并为能够为模型所用的结果数据；

步骤3：将数据按比例划分为供模型训练的数据和模型测试的数据，其中对于模型的训练数据，为保证因果性，即利用之前时刻数据预测后续时刻数据，基于时序预测原则将训练数据进一步划分为训练集和验证集；

步骤4：搭建基于门控和注意力机制的深度学习模型，从特征和时间维度有侧重性地提取更有效的特征信息，再通过全连接层进行更深层次地学习；

步骤5：利用训练集和验证集训练模型，在训练集上获得较高准确率之后用于对锂电池可用容量的预测，并结合锂电池时效阈值得到其剩余寿命的预测结果。

进一步地，本发明的所述步骤1的具体方法为：

通过对电池进行充放电循环实验获得电池各项观测指标以及电池充放电容量数据，首先确定电池的基本参数，包括电池额定容量、充放电截止电压以及电池失效时的容量标准等；其次对锂电池进行充放电循环试验，采用恒流恒压充放电协议，充电过程：在要求的测试温度下，以恒定电流模式进行充电，直到电池达到目标截止电压，然后以恒定电压模式充电，直到充电电流降至预期微小电流；放电过程：电池以恒定电流模式进行放电，直到电压下降至放电截止电压为止，电池的一次充电和一次放电合并视作一次充放电循环，随着循环次数增加，电池会逐渐老化，当某一次循环中锂电池的充放电容量小于电池失效定义值，则认为电池失效，使用寿命结束，收集循环试验中电流、电压、时间等各项观测数据并得到相应的充放电容量数据，建立锂电池老化原始数据库。

进一步地，本发明的所述步骤2的具体方法为：

步骤2.1：基于锂电池老化原始数据库，建立各项观测数据与循环寿命的映射关系，在寿命初期、中期以及后期选择采样点，通过图像可视化直观筛选与循环寿命相关的观测数据；

步骤2.2：基于可视化结果，提取与循环寿命具有显著关联的观测数据作为健康因子，即后续模型的输入特征ξ⁽ⁱ⁾,i＝1,2,…,n，其中n为特征个数；

步骤2.3：对数据进行预处理工作，去除其中的异常值与缺失值：在充放电循环试验中由于噪声以及传感器测量误差等问题，可能会导致数据值异常；同时可能会出现采样点位置数据缺失的问题，因此需要对得到的特征数据进行预处理操作，以设置参数τ为窗口大小对特征数据采取滑动窗操作，计算窗口内数据的平均值和标准差，将超出该窗口计算所得临界值的数据作为异常值去除，在数值空缺位置使用线性内插方式插值，得到完整且可用的数据集D。

进一步地，本发明的所述步骤3的具体方法为：

步骤3.1：按照一定比例将数据集D分为训练集D_train与测试集D_test两部分；

步骤3.2：采取适用于时序数据的k-fold交叉验证方法将训练集D_train按照不同分割方式划分为多组以训练子集和验证集两部分构成的组合，后续模型在训练子集上训练，然后在对应验证集上打分，以所有组合所得分数的均值作为模型参数的评判结果。

进一步地，本发明的所述步骤4的具体方法为：

步骤4.1：输入层输入数据序列X＝[x_t-τ,x_t-τ+1,…,x_t]，其中

是t时刻输入的特征向量，

表示t时刻输入的第i个特征；

步骤4.2：输入序列通过基于门控机制的特征选择网络，在特征维度下有侧重地提取特征信息，具体地，特征选择网络是由门控残差网络模块(GRN)主要构成，通过将某时刻输入数据展开通过门控残差网络后，使用softmax激活函数对各特征加权求和达到提取特征有效信息的目的，计算公式为：

ω_t＝Softmax(GRN(Ξ_t))

其中GRN模块由全连接层、激活函数、门控机制和残差连接构成，具体计算公式为：

GRN(a)＝LayerNorm(a+GLU(η₁))

η₁＝W₁η₂+b₁

η₂＝ELU(W₂a+b₂)

其中GLU为门控线性单元，具体计算公式为：

GLU(γ)＝σ(W₃γ+b₃)⊙(W₄γ+b₄)

上式中矩阵W与向量b都是权重矩阵与偏置向量，σ是sigmoid激活函数，⊙表示矩阵同位置对应元素相乘操作；

步骤4.3：上述新的特征向量通过基于自注意力机制的网络，在全局时间维度下对不同时间步不同特征进行权重分配，注意力机制计算公式如下：

H_attn＝Attn(Q,K,V)＝A(Q,K)V

其中，Q、K和V分别是查询向量矩阵、键向量矩阵和值向量矩阵，三个矩阵中每一行分别代表一个对象向量，其由输入序列X分别乘以随机矩阵W^q、W^k和W^v得到；

步骤4.4：上述得到的输出序列通过两个全连接层以及残差连接，最终得到预期输出结果，具体计算公式为：

Y＝H_attn+Dense(H₁)

H₁＝Dense(H_attn)

其中Y为最终的预期输出，H_attn和H₁分别是注意力模块的输出矩阵和两层全连接层间的中间值。

进一步地，本发明的所述步骤5的具体方法为：

步骤5.1：利用数据集对模型进行训练，以均方误差(MSE)损失函数最小化作为优化目标，使用RMSprop优化器调整模型参数，减少训练过程中的误差，得到理想的模型参数，以均方根误差(RMSE)、平均绝对误差(MAE)和平均绝对百分比误差(MAPE)作为评价指标，具体计算公式如下：

其中y_j为真实值，

为预测值，m为样本个数；

步骤5.2：基于训练后模型得到预测容量序列，结合定义的电池失效阈值推出电池循环寿命，减去当前时刻已经充放电循环次数，即可得到锂电池的剩余循环寿命值。

本发明的有益效果是：

1)在模型性能方面，本发明具有更有效的信息提取能力，在特征维度方面利用卷积神经网络更优秀的信息提取性能以及门控机制的筛选功能，保留对预期输出更有价值的特征信息；在时间维度方面，引入自注意力机制，调整不同时间步下对不同特征的关注程度。同时自注意力机制有效解决了RNN和LSTM网络中对长时间序列学习产生的梯度消失和梯度爆炸问题，用更大的感受野学习电池老化过程中的时间关联信息。因此本发明能够有效提高锂电池RUL的预测精度。

2)在实际应用方面，本发明能够对锂电池老化数据集中多维度的观测数据进行有效学习，在长时间序列上仍具备良好的预测效果，同时相比于传统机器学习，无需进行复杂的特征工程和手动调参，训练速度快、计算效率高、操作简单。

附图说明

图1为本发明整体的方法流程图。

图2为数据集划分方法示意图

图3为本发明深度学习模型的内部结构图。

图4为本发明实施例提供的锂电池老化过程放电容量退化图，左图为NASA数据集，右图为CALCE数据集。

图5为本发明所述方法在实施例上的预测结果以及与其他传统方法的对比图，左图为锂电池B0018预测结果，右图为锂电池CS2_36预测结果。

具体实施方式

下面通过本发明中的附图及实施例，对本发明的技术方案进行清晰、完整地描述，显然，所描述的实施例仅仅用于解释本发明，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，一种基于门控和注意力机制的锂电池剩余寿命预测方法可以分为以下步骤：

步骤1：监测锂电池的运行过程，获取充放电过程中的各项观测指标，建立锂电池老化数据库：

在本发明实施例中，通过对电池进行充放电循环实验获得电池各项观测指标以及电池充放电容量数据，首先确定电池的基本参数，包括电池额定容量、充放电截止电压以及电池失效时的容量标准等；其次对锂电池进行充放电循环试验，采用恒流恒压充放电协议，充电过程：在要求的测试温度下，以恒定电流模式进行充电，直到电池达到目标截止电压，然后以恒定电压模式充电，直到充电电流降至预期微小电流；放电过程：电池以恒定电流模式进行放电，直到电压下降至放电截止电压为止，电池的一次充电和一次放电合并视作一次充放电循环，随着循环次数增加，电池会逐渐老化，当某一次循环中锂电池的充放电容量小于电池失效定义值，则认为电池失效，使用寿命结束，收集循环试验中电流、电压、时间等各项观测数据并得到相应的充放电容量数据，建立锂电池老化原始数据库。

步骤2：根据获得的原始数据，建立与电池寿命的映射关系，寻找具有明显相关性的数据类型并从中提取健康因子作为后续模型的输入特征；基于原始数据，保留并计算健康因子对应的数据序列，进行数据预处理工作，去除异常值和缺失值，整理合并为能够为模型所用的结果数据：

步骤2.1：基于锂电池老化原始数据库，建立各项观测数据与循环寿命的映射关系，在寿命初期、中期以及后期选择采样点，通过可视化或相关性分析等方式筛选与循环寿命相关的观测数据。具体的可视化对象例如电池不同循环次数后的充放电曲线对应的电压、电流曲线，内阻随电池循环次数增加的变化曲线，以及恒流、恒压充放电时间随循环次数增加的变化曲线等。

步骤2.2：基于上一步筛选结果，提取与循环寿命具有显著关联的观测数据作为健康因子，即后续模型的输入特征ξ⁽ⁱ⁾,i＝1,2,…,n，其中n为特征个数，i表示特征向量中特征的序数。具体的健康因子以及可能作为输入的特征向量中的特征包括：电压曲线斜率

其中V₁和V₂表示预设的电压变化区间边界值，t₁和t₂为获取两电压值V₁和V₂的对应时刻，；电压由V₁变为V₂对应的充/放电时间T_V＝|t₂-t₁|；恒流充电时长T_I和内阻r，电池容量等。可以理解地，这些特征同电池的充放电循环次数相关。

步骤2.3：对数据进行预处理工作，去除其中的异常值与缺失值：在充放电循环试验中由于噪声以及传感器测量误差等问题，可能会导致数据值异常；同时可能会出现采样点位置数据缺失的问题，因此需要对得到的数据样本进行预处理操作。以设置参数τ为窗口大小对来自各个特征向量的特定特征(例如，来自各个特征向量的多个内阻r特征)采取滑动窗操作，以获取某个特征向量中所缺失的特征或者替换数据值异常的特征。例如，计算滑动窗口内多个特征数据的平均值和标准差，将超出该窗口计算所得临界值的数据作为异常值去除，在数值空缺位置使用线性内插方式插值，得到缺失的特征，补充了缺失特征的特征向量，得到完整且可用的数据集D。

步骤3：将数据集D按比例划分为供模型训练的训练数据和模型测试的数据，其中对于模型的训练数据，为保证因果性，即利用之前时刻数据预测后续时刻数据，基于时序预测原则将训练数据进一步划分为训练子集和验证集，划分示意图见图2；

步骤3.1：按照一定比例将数据集D分为训练集D_train与测试集D_test两部分；

步骤3.2：采取适用于时序数据的k-fold交叉验证方法将训练集D_train按照不同分割方式划分为多组以训练子集和验证集两部分构成的组合，后续模型在训练子集上训练，然后在对应验证集上打分，以所有组合所得分数的均值作为模型参数的评判结果。

步骤4：搭建基于门控和注意力机制的深度学习模型，从特征和时间维度有侧重性地提取更有效的特征信息，再通过全连接层进行更深层次地学习，具体的深度学习模型结构如图3所示：

步骤4.1：输入层输入数据序列X＝[x_t-τ,x_t-τ+1,…,x_t]，其中

是从第t次充放电循环得到的特征向量，

表示第t次充放电循环的第i个特征，包括电压曲线斜率、放电时长和内阻等；从而提供给根据本申请实施例的深度学习模型的输入层输入数据X是来自连续的多次(例如τ+1次)充放电循环的特征序列。

步骤4.2：输入数据通过基于门控机制的特征提取网络，在特征维度下有侧重地提取特征信息，具体地，特征提取网络包括多个门控残差网络(GRN)，通过将某时刻输入数据展开通过门控残差网络后，使用softmax激活函数对各特征加权求和达到提取特征有效信息的目的，计算公式为：

ω_t＝Softmax(GRN(Ξ_t))

其中i指示特征向量中的第i个特征；

其中GRN模块由全连接层、激活函数、门控机制和残差连接构成，具体计算公式为：

GRN(a)＝LayerNorm(a+GLU(η₁))

η₁＝W₁η₂+b₁

η₂＝ELU(W₂a+b₂)

其中ELU为一种激活函数，η₁和η₂为中间变量，a是输入量；GLU为门控线性单元，具体计算公式为：

GLU(γ)＝σ(W₃γ+b₃)⊙(W₄γ+b₄)

上式中矩阵W与向量b都是权重矩阵与偏置向量，γ为输入量，σ是sigmoid激活函数，⊙表示矩阵同位置对应元素相乘操作。

也参看图3，输入数据的每个特征向量(x_t-τ,x_t-τ+1,…,x_t)分别被提供给特征提取网络。特征提取网络中，将特征向量(例如x_t)的各个特征

提供给门控残差网络(GRN)，并得到对应的

在特征提取网络中还根据当前特征向量生成Ξ_t，并通过门控残差网络(GRN)与softmax激活函数得到同各特征对应的权重

特征提取网络还对各特征

与对应的权重

加权求和，得到特征加权后结果

可选地，利用多个特征提取网络根据各自处理的输入特征向量(例如x_t)输出对应的特征加权后结果(例如

)，这些特征加权后结果形成新的特征向量序列

依然可选地，利用单一特征提取网络分时处理各输入特征向量。

步骤4.3：上述新的特征向量序列

提供给基于自注意力机制的网络，在全局时间维度下对不同时间步(对应充放电循环)不同特征进行权重分配，注意力机制计算公式如下：

H_attn＝Attn(Q,K,V)＝A(Q,K)V

其中，Q、K和V分别是查询向量矩阵、键向量矩阵和值向量矩阵，三个矩阵中每一行分别代表一个对象向量，其由输入序列

分别乘以随机矩阵W^q、W^k和W^v得到，d_attn为Q中每个向量的维度，H_attn为本层输出；

步骤4.4：通过基于自注意力机制的网络得到的输出序列H_attn，再通过两个全连接层以及残差连接，最终得到预期输出结果，具体计算公式为：

Y＝H_attn+Dense(H₁)

H₁＝Dense(H_attn)

其中Y为最终的预期输出，其含义为基于输入数据序列X＝[x_t-τ,x_t-τ+1,…,x_t]所得到的接下来的一个或多个充放电循环的预测的电池容量序列，Dense()表示全连接层处理，H₁是两层全连接层间的中间值。

步骤5：利用训练子集和验证集训练模型，在训练集上获得较高准确率之后用于对锂电池可用容量的预测，并结合锂电池时效阈值得到其剩余寿命的预测结果。

步骤5.1：利用数据集对模型进行训练，以均方误差(MSE)损失函数最小化作为优化目标，使用RMSprop优化器调整模型参数，减少训练过程中的误差，得到理想的模型参数，以均方根误差(RMSE)、平均绝对误差(MAE)和平均绝对百分比误差(MAPE)作为评价指标，具体计算公式如下：

其中y_j为训练样本中同一个或多个充放电循环对应的电池容量序列的真实值，

为步骤4.4输出的预测值，m为样本个数；

步骤5.2：基于训练后模型得到预测的电池容量序列，结合定义的电池失效阈值推出电池总体可用的充放电循环次数，减去当前时刻已经进行的充放电循环次数，得到锂电池的剩余充放电循环次数作为剩余寿命值。

实施例：

为展示本发明提出的一种基于门控和注意力机制的锂电池剩余寿命预测方法的过程和估计性能，在此以一个实例说明：

采用美国国家航空航天局(NASA)的锂电池B0005、B0006、B0007、B0018组成的测试数据集(具体见网址https://ti.arc.nasa.gov/tech/dash/pcoe/prognostic-data-repository/battery)和马里兰大学先进寿命周期工程研究中心(CACLE)的锂电池CS2_35、CS2_36、CS2_37、CS2_38组成的测试数据集(具体见网址https://calce.umd.edu/data)验证本发明方法的有效性。NASA的实验环境为：在24℃环境下，以1.5A的恒定电流(CC)模式充电，直到电压达到4.2V时改为恒定电压(CV)模式充电，直到充电电流降至20mA；再以2A的CC模式放电，直到数据集B0005、B0006、B0007和B0018的电压降到2.7V、2.5V、2.2V和2.5V。CACLE的实验环境为：在1℃环境下，同样以CC模式充电至4.2V再CV模式充电直到电流降至20mA；再以CC模式放电直到电压降至2.7V。二者电池寿命中止标准为：额定容量下降至初始容量的30％。基于此类数据，应用本发明提供的寿命预测算法，具体步骤如下：

(1)获取两类数据集数据，获得充放电过程中电压、电流、时间、温度以及内阻、电压变化斜率、电池容量的特征序列，建立电池老化数据集。

(2)除了每次充放电循环的电池容量计算结果外，选取电压曲线斜率K、固定范围电压变化时间T_V、恒流充放电时长T_I以及内阻r作为健康因子指标，共同构成输入特征序列；使用滑动窗方法去除异常值并用线性插值法补充缺失值得到可用数据。以容量数据为例，图4分别展示了两个数据集中各个电池随充放电循环次数增加的电池容量衰减数据经过数据预处理后的曲线。

作为举例，第t次充放电循环对应的输入数据为

选取τ个循环次数作为数据输入窗口大小，K_t为第t次循环中电压曲线的斜率，

为第t次循环的充电或放电时间，r_t为第t次循环的电池的内阻，以及最终预测结果为一定长度的电池容量序列。电池容量序列中，第j个电池容量表示第j次充放电循环后对应的电池容量。

(3)本实施例用数据集B0018和数据集CS2_36作为测试数据集，分别预测数据集B0018和数据集CS2_36所代表的电池的剩余寿命。因此采用剩余对应三组电池数据集(B0005、B0006和B0007，以及CS2_35、CS2_37和CS2_38)以及本组电池数据集(B0018与CS2_36)各自前50％的数据部分分别作为训练集。

测试集为本组电池数据集(B0018与CS2_36)后50％数据。对训练集使用适用于时间序列的k-fold交叉验证划分方法，示意图见图2。设置预测序列的窗口尺寸τ，按照输入序列X＝[x_t-σ,x_t-τ+1,…,x_t]和输出序列Y＝[y₁,…,y_m]的方式调整数据集形式(m为输出序列中的预测电池容量的个数，并且yj所代表的电池容量对应的重放循环，y_j+1所代表的电池容量对应的重放循环的序数相邻)。可选地，m可以取1以及其他正整数。

(4)深度学习模型的结构如图3所示，模块及参数均已说明。进一步可选地，本实施例在Dense层后添加一个LeakyReLU激活函数保证非线性的学习，以及dropout层避免过拟合情况的出现。

(5)以均方误差(MSE)损失函数最小化作为优化目标，以准确率(accuracy)作为度量，使用RMSprop优化器调整模型参数得到理想的模型参数，最后通过容量衰退预测序列预测电池的剩余寿命，容量预测误差使用RMSE、MAE和MAPE表示。可视化结果如图5所示，左侧为基于数据集B0018的预测结果，右侧为基于数据集CS2_36的预测结果。图5中对比展示了传统的RNN和LSTM算法与使用本申请实施例提供的算法对电池容量的预测结果。

表1为传统的RNN和LSTM算法与使用本申请实施例提出的算法在两种数据集下的预测结果对比。结果显示，在NASA数据集B0018上，本发明提出的算法比传统方法的预测精度有所提升，而在数据点更密集的CALCE数据集CS2_36上，本发明提出的算法显著降低了预测误差。

综上所述，使用本发明提出的基于门控和注意力机制的深度学习模型具有更好的预测效果。

表1

本领域的技术人员容易理解，以上所述仅用于演示本发明的实际效果，并不用于限制本发明，凡在本发明的精神和原理之内所作的任何修改、等同替换和改进变型等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于门控和注意力机制的锂电池剩余寿命预测方法，包括：

搭建基于门控和注意力机制的深度学习模型，所述深度学习模型包括依次连接的特征提取网络、基于自注意力机制的网络、第一全连接层、第二全连接层与求和单元；

所述特征提取网络对输入的数据序列X＝[x_t-τ,x_t-τ+1,…,x_t]处理得到数据序列

其中x_j代表对应锂电池第j次充放电循环的特征向量，t-τ<＝j<＝t，t代表充放电循环的序数，所述数据序列X包括τ+1个特征向量；其中，所述特征提取网络包括门控残差网络，所述门控残差网络对输入的每个特征向量的特征

处理得到

其中i表示特征向量中特征的序数，1<＝i<＝n，n为特征向量的特征个数；

所述基于自注意力机制的网络接收数据序列

生成对应的输出序列H_attn；所述第一全连接层接收所述基于自注意力机制的网络的输出序列H_attn，生成中间值H₁，所述第二全连接层接收所述第一全连接层的输出H₁；所述基于自注意力机制的网络的输出还通过残差连接提供给所述求和单元，所述求和单元对所述基于自注意力机制的网络的输出与所述第二全连接层的输出求和，生成所述基于门控和注意力机制的深度学习模型的输出作为预测的锂电池容量序列；

根据所述预测的锂电池容量序列与指定的锂电池失效阈值，得到所述锂电池总体可用的充放电循环次数，减去所述锂电池已经历的充放电循环次数，得到所述锂电池的剩余充放电循环次数作为所述锂电池的剩余寿命。

2.根据权利要求1所述的方法，还包括：

获取用于训练所述基于门控和注意力机制的深度学习模型的数据集，所述数据集的训练样本包括同锂电池多次充放电循环对应的特征向量；其中，通过对锂电池实施多次充放电循环，并获取锂电池充放电循环过程中的多项观测指标来构建所述特征向量；

其中，从锂电池充放电循环过程中的多项观测指标中，从所述多项观测指标中选择与锂电池的充放电循环次数相关的观测指标作为所述特征向量中的特征ξ⁽ⁱ⁾,i＝1,2,…,n，其中n为特征个数；以及所述训练样本还包括同锂电池充放电循环对应的电池容量观测值。

3.根据权利要求2所述的方法，还包括：

对所述数据集进行预处理，以去除其中的异常值与缺失值；对来自连续多个充放电循环的特征向量的指定特征进行滑动窗计算，将超出滑动窗计算所得临界值的特征数据作为异常值去除，用插值方式生成缺失值，得到完整的数据集。

4.根据权利要求3所述的方法，还包括：

将所述数据集的训练样本分为训练集与测试集，将所述训练集用k-fold交叉验证方法分为多组训练子集与验证集；

用训练子集训练所述基于门控和注意力机制的深度学习模型，用验证集对所述基于门控和注意力机制的深度学习模型的预测结果打分，将通过所述多组训练子集与验证集训练与验证所述基于门控和注意力机制的深度学习模型的打分结果的均值作为评判结果。

5.根据权利要求4所述的方法，其中

训练与验证所述基于门控和注意力机制的深度学习模型中，以均方误差(MSE)损失函数最小化作为优化目标，使用RMSprop优化器调整模型参数，以均方根误差(RMSE)、平均绝对误差(MAE)和/或平均绝对百分比误差(MAPE)作为评价指标，其中

其中，y_k为训练中所使用的来自训练样本的对应一个或多个连续充放电循环的锂电池容量序列，

为所述基于门控和注意力机制的深度学习模型输出的预测的锂电池容量序列，m为训练样本个数。

6.根据权利要求1-5之一所述的方法，其中

所述门控残差网络计算

以及其中

GRN(a)＝LayerNorm(a+GLU(η₁))

η₁＝W₁η₂+b₁

η₂＝ELU(W₂a+b₂)

其中ELU为激活函数，η₁和η₂为中间变量，a是输入量；GLU为门控线性单元，

GLU(γ)＝σ(W₃γ+b₃)⊙(W₄γ+b₄)

上式中矩阵W与向量b分别为权重矩阵与偏置向量，γ为输入量，σ是sigmoid激活函数，⊙表示矩阵同位置对应元素相乘操作。

7.根据权利要求6所述的方法，其中

所述特征提取网络根据

ω_t＝Softmax(GRN(Ξ_t))

生成同每个

对应的权重

以及计算特征向量x_j的特征加权后结果

其中

8.根据权利要求7所述的方法，其中

所述基于自注意力机制的网络接收数据序列

根据

H_attn＝Attn(Q,K,V)＝A(Q,K)V

生成对应的输出序列H_attn，

其中，Q、K和V分别是查询向量矩阵、键向量矩阵和值向量矩阵，其由数据序列

分别乘以随机矩阵W^q、W^k和W^v得到，d_attn为Q中每个向量的维度。

9.一种信息处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现根据权利要求1-7之一所述的方法。

Images