CN113777496A - 基于时间卷积神经网络的锂离子电池剩余寿命预测方法 - Google Patents

Abstract

基于时间卷积神经网络的锂离子电池剩余寿命预测方法属于锂离子电池故障预测与健康管理领域。电池设备退化过程是一个高度非线性，复杂的多维系统，时变性强，现有算法预测过程需要专家知识和先验知识，费时费力，且预测过程困难，精度低。本方法通过神经网络强大的时序建模能力，挖掘时间序列中的隐藏模型，自动的建立所测参数与寿命之间的非线性映射关系。由于卷积计算的并行性机制，可以使用图形计算进行加速训练，计算更快。本发明提出了一种参数筛选器的计算方法，无效参数和冗余参数过多时，可以自动筛选一部分参数，减少了预测工作量，提高了训练效率。

Description

基于时间卷积神经网络的锂离子电池剩余寿命预测方法

技术领域

基于时间卷积神经网络的锂离子电池剩余寿命预测方法属于锂离子电池故障预测与健康管理领域。

背景技术

锂电池由有具有输出电压高、能量密度高、自放电率低、循环寿命长及可靠性高等优点，广泛应用于水力、火力、风力和太阳能电站等电源储能系统，以及交通、军事装备、航空航天等重要领域。如果在使用过程中出现电池故障很可能会导致对应动力设备或系统的性能下降或故障，从而增加成本，甚至导致火灾和爆炸等事故的发生。因此，准确预测与电池的剩余寿命具有很大的实际意义。

典型的锂离子电池剩余寿命(remaining useful life，RUL)预测方法有三种：第一种是基于经验的方法，第二种是基于模型的方法，第三种是数据驱动的方法。基于经验的方法是通过历史数据规律完成电池寿命预测，基于经验的方法简便快捷，但只是对RUL的粗略估计，不满足当下的精度要求。基于模型的方法是通过分析电池的运行环境、内部材料特性等方式完成寿命预测，但是建立准确的模型需要花费大量的时间且操作繁琐。数据驱动的方法基于统计分析，通过挖掘输入与响应输出之间的内在关联实现寿命预测，数据驱动方法不需要具体的材料特性、结构或失效机制的知识。虽然在建模时更加便利，但对电池的具体老化机理不能明确表示。

近年来，深度学习作为机器学习算法的一种，在面对高度非线性，复杂的多维系统时，其强大的函数映射能力得到了广泛的应用。特别是在时间序列处理问题中，循环神经网络(RNN)及其变种网络如：长短时记忆网络，门控单元网络等由于其强大的特征挖掘能力被广泛应用。但是，循环神经网络及其变种网络在运行时无法并行计算，不能使用充分使用GPU的图形计算能力对其加速训练，影响计算效率。本发明使用时序卷积网络(Temporalconvolutional network，TCN)来处理序列建模任务，融合了一维全卷积网络、因果卷积和扩张卷积，具有灵活的感受野和稳定的梯度。对TCN的初步实验评估表明,简单的卷积结构在不同任务和数据集上的性能优于标准递归网络(如LSTMs),同时表现出更加长期的高效的记忆。

因此，将时序卷积网络应用在锂离子电池的剩余寿命预测估计中，具有很大的前景。

发明内容

为了尽可能准确预测锂电池剩余寿命，本发明现提出一种基于时间卷积网络(Temporal convolutional network，TCN)的锂电池剩余寿命预测方法。通过挖掘电池使用过程中监测参数与剩余寿命的隐藏特征，构造非线性时序模型来精准预测电池剩余寿命，主要步骤如下：

步骤1：采集锂离子电池的全寿命周期历史数据；

步骤2：对采集到的数据导入参数筛选器进行参数筛选。对筛选后的数据进行预处理，构建训练数据集样本和测试数据集样本以便于输入TCN网络；

步骤3：构建所需的TCN网络模型，并随机初始化模型参数，输入训练数据集，使用梯度下降算法训练TCN模型，并固定最优模型参数。

步骤4：将测试数据集导入步骤3中所获得的最优模型，计算得出所预测的剩余寿命值。

步骤1中电池在室温24℃情况下进行反复充放电实验，收集电池老化对内部参数的影响。在充放电过程中，以1.5A的恒定电流模式进行充电，直到电池电压达到4.2V，然后以恒定电压模式继续充电，直到充电电流降至20mA。放电以2A的恒定电流进行放电，直至降至2.7V，反复进行充放电过程，直至额定容量从2Ahr降至1.4Ahr，得到时间序列和剩余寿命指标{(x₁,x₂…x₅,x_n),y}，其中{x₁-x_n}为寿命参数，y为寿命。

步骤2共包含4步：

第一步：将数据导入数据筛选器进行数据筛选，剔除无效参数降低运算量。

第二步：针对所选参数进行归一化。归一化方法为最大最小归一化，数学表达式为

第三步：利用训练数据构造TCN模型的训练集。将全数据周期的数据作为训练数据。在后50个周期中随机选择一个周期，将此周期之前的所有数据作为测试数据集。将电池容量作为衡量电池寿命的标准，将其设为标签

第四步：为便于神经网络进行训练，采用滑动窗口取样的方法制作样本，得到带时标的训练样本。

步骤3共包含3步。

第一步：构建时序卷积网络。时序卷积网络由若干个剩余块组成。每个剩余块包含两个用于卷积运算的膨胀因果卷积模块，两个确保非线性化的ReLU层，以及两个权值标准化和丢失层用于标准化和正则化。最后引入额外的1×1卷积来确保剩余块的输入和输出具有相同的宽度。

其中卷积的的计算公式为：

式中k为滤波器中训练的参数；w为卷积核权重；x^l _i为第l层的第i个输入特征；y^l _i为第l层的第i个输出特征。

为了加速网络训练过程，保证隐层激活数据分布的一致性，采用权值标准化(BN，Batch normalization)对每批数据进行标准化。将输入数据进行批标准化后，数据的分布被标准化，因此网络无需进一步学习去适应不同数据的分布特征，从而提高了网络的泛化能力。批标准化的计算公式如下：

式中y^(k)为第k个神经元的输出响应；γ^(k)为训练的重构参数规模；β^(k)为训练的重构参数转变，ε为极小常数防止分母为零，初始值为随机值，重复迭代过程得出最优y,γ,β；

激活函数主要用于非线性变换。模型采用ReLU为激活函数，在网络训练的反向传播过程中，当输入小于0时，不能更新权值。ReLU定义如下：

式中，x_i为输入特征。

第二步：选择均方误差作为损失函数，数学表达式为

式中：

为输出预测值；y_i为实际值；n为数据时间序列长度。

使用均方根误差(RMSE)进行评估，公式如下：

式中：

为输出预测值；y_i为实际值；n为数据时间序列长度。

第三步：采用随机初始化模型进行训练，输入为步骤2中构造的训练样本，使用反向传播算法进行训练迭代，当损失函数值10周期内不再下降时，保留模型。

步骤4：将测试集数据按照步骤2进行处理，得到训练集样本。将训练集样本输入步骤3训练好的模型，进行寿命预，输出剩余寿命值，并进行寿命评估。RMSE值低于10则流程结束，若高于10重复步骤三进行训练。

本发明的创造性主要体现在：

电池设备退化过程是一个高度非线性，复杂的多维系统，时变性强，现有算法预测过程需要专家知识和先验知识，费时费力，且预测过程困难，精度低。本方法使用神经网络算法进行电池设备退化过程预测，不需要人工建立复杂的数学物理模型。通过神经网络强大的时序建模能力，挖掘时间序列中的隐藏模型，自动的建立所测参数与寿命之间的非线性映射关系。

现有的基于神经网络进行时间序列建模的方法大多使用循环神经网络及其变种网络进行建模。而我们选择跳出循环神经网络结构，使用卷积神经网络进行建模，由于卷积计算的并行性机制，可以使用图形计算进行加速训练，计算更快。

提出了一种参数筛选器的计算方法，无效参数和冗余参数过多时，可以自动筛选一部分参数，减少了预测工作量，提高了训练效率。

附图说明

图1.时序卷积网络残差块示意图

图2.膨胀因果卷积示意图

图3.程序流程图

具体实施方式

基于TCN的锂离子电池剩余寿命预测方法，具体实施方案如下：

步骤1：电池在室温24℃情况下进行反复充放电实验，收集电池老化对内部参数的影响。在充放电过程中，以1.5A的恒定电流模式进行充电，直到电池电压达到4.2V，然后以恒定电压模式继续充电，直到充电电流降至20mA。放电以2A的恒定电流进行放电，直至降至2.7V，反复进行充放电过程，直至额定容量从2Ahr降至1.4Ahr。采集锂离子电池在全寿命周期运行过程中，不同工况下的运行状态参数值，包括电池端子电压、电池输出电流、电池温度、负载测量电流、负载测量电压、电池容量、环境温度{(x₁,x₂,x₃,x₄,x₅,x₆,x₇)}以及剩余寿命y，将参数按照时间进行组合，得到时间序列{(x₁,x₂,x₃,x₄,x₅,x₆,x₇)},，本发明使用NASAPCoE的公开锂电池数据集作为实验数据。

步骤2：对采集到的数据进行预处理，构建训练数据集，测试数据集便于输入TCN网络

第一步：数据清洗。对同一系统采集到的多源传感器数据，有些传感器参数与设备寿命相关性较小甚至为无关数据，也有一部分数据为重复数据，因此对于多源传感器数据首先应选择合适的传感器参数，其次应选择变化的参数，有些参数不会发生变化，为冗余参数。就电池寿命而言，应选择容易测量且与电池健康状态息息相关的参数。基于此原则选择数据集中的七个参数作为特征参数进行寿命预测。将时间序列X:{(x₁,x₂,x₃,x₄,x₅,x₆,x₇),y}导入参数筛选器，进行计算。计算公式为

NASAPCoE数据集中，环境温度的偏导数为0，基于此，将环境温度参数剔除，得到时间序列{(x₁,x₂,x₃,x₄,x₅,x₆),y}。若环境温度的偏导数不为0，则时间序列为{(x₁,x₂,x₃,x₄,x₅,x₆,x₇),y}。

第二步：数据标准化。为消除不同传感器数据规模、特征、分布差异等问题，使这些数据具有可比性，本方法采用最大最小归一化的方法来消除差异。数学表达示为：

其中x是传感器数值，x_min是最小值，x_max是最大值，x'为处理后的数值。

第三步划分测试数据集和训练数据集：利用训练数据构造TCN模型的训练集。将全数据周期的数据作为训练数据。在后50个周期中随机选择一个周期，将此周期之前的所有数据作为测试数据集。将电池容量作为衡量电池寿命的标准，将其设为标签。

(1)其中训练集表示为[x_train]，[y_train]，其中：

上式中V_m(i)，A_m(i)，T_m(i)，A_l(i)，V_l(i)，C_(i)分别代表锂电池第i个充放电周期的电池端子电压、电池输出电流、电池温度、负载测量电流、负载测量电压、电池容量。

第四步：获得剩余寿命标签。对传感器数据预处理后，获得时间序列{(x₁,x₂,x₃,...,x_t),y}，为了获得训练样本，采用滑动窗口取样的方法，时间窗高度为传感器数据宽度b,长度为设定长度a,因此样本矩阵大小为a×b。滑动窗口从时间序列首端开始滑动，没有元素时用0补充，每次移动一个时间步长得到样本序列{X₁,X₂,...,X_L},L为电池最大生命周期。

步骤3：搭建TCN网络预测模型，设置训练参数，进行模型训练。

第一步：构造TCN模型：

(1)TCN的剩余块如图1所示：包含两个用于卷积运算的膨胀因果卷积模块，两个确保非线性化的ReLU层，以及两个权值标准化和丢失层用于标准化和正则化。最后引入额外的1×1卷积来确保剩余块的输入和输出具有相同的宽度。膨胀卷积为了获得更大范围的感受野。因果卷积为了保证每个时间的输入都要有对应的输出，同时保证从未来到过去没有时间泄露。

其中卷积的的计算公式为：

式中k为滤波器中训练的参数；w为卷积核权重；x^l _i为第l层的第i个输入特征；y^l _i为第l层的第i个输出特征，b为偏置默认为1。

为了加速网络训练过程，保证隐层激活数据分布的一致性，采用权值标准化(BN，Batch normalization)对每批数据进行标准化。将输入数据进行批标准化后，数据的分布被标准化，因此网络无需进一步学习去适应不同数据的分布特征，从而提高了网络的泛化能力。批标准化的计算公式如下：

式中y^(k)为第k个神经元的输出响应；γ^(k)为训练的重构参数规模；β^(k)为训练的重构参数转变，ε为极小常数防止分母为零，E(x)表示均值，

表示标准差。初始值为随机值，重复迭代过程，当5个周期内损失函数值不再减小，得出最优y,γ,β；

激活函数主要用于非线性变换。模型采用ReLU为激活函数，在网络训练的反向传播过程中，当输入小于0时，不能更新权值。ReLU定义如下：

式中，x_i为输入特征。

(2)因果空洞卷积：如图2所示，膨胀卷积的意义在于扩大卷积核的感受野，卷积核尺寸为：

k′＝d(k-1)+1

其中d是扩张系数，k是卷积核大小，k′为扩张后的卷积核大小。k′不应超过样本的大小。窗口长度为15，所以选择卷积核大小为：{5x5,3x3}；扩张系数选为{3，2，1}，卷积核数量为{64，32}确保能获得多尺度的特征信息。

因果卷积则是严格固定卷积的方向，如图2所示，这可以保证历史信息不会泄露。

(3)每一个残差块的输出O如下，其中x为输入，F(x)为因果空洞卷积计算：

O＝Activation(x+F(x))

Activation为激活函数，本网络选用的激活函数为ReLU函数，表达式为f(x)＝max{0，x}

X为输入，f(x)为输出。

第二步：选择均方误差作为损失函数，数学表达式为

式中：

为输出预测值；y_i为实际值；n为数据时间序列长度。

训练过程中，选用梯度下降算法，损失通过梯度下降进行反向传播，逐层更新卷积神经网络的各个层的可训练参数(权重W和偏置b)。学习速率参数(η)用于控制残差反向传播的强度：

i为第i层卷积层。η设定值为0.001.

使用均方根误差(RMSE)进行评估，公式如下：

式中：

为输出预测值；y_i为实际值；N为样本个数。

第三步：

完成以上步骤后进行网络训练，训练过程如下：输入数据输入模型后，首先经过因果卷积计算，进行权重归一化，然后经过激活函数ReLU进行非线性化处理，同时进行随机丢失策略(Dropout)，Dropout指随机冻结一些神经元使其在网络中不发挥作用，一般取值为：0.05-0.5，本方法实验后根据经验取为0.2。经过两次这样的操作后得到第一个残差模块的输出，第一个残差模块的输出作为下一个残差模块的输入，最后一个残差模块计算完毕，得到TCN模型的输出值。残差块为数量为3。迭代计算过程中使用提前终止策略，当均方误差5个周期没有变化，停止训练并保存训练模型。

步骤4：将测试集数据按照步骤2进行处理，得到训练集样本。将训练集样本输入步骤3训练好的模型，进行寿命预测，输出剩余寿命值，并进行寿命评估。RMSE值低于10则流程结束，若高于10重复步骤三进行训练。

综上所述，本方法充分发挥了时序卷积网络对于时序信息的特征挖掘能力和高维特征的提取能力。避免了传统电池寿命预测方法需要利用电池劣化的先验知识，建立复杂的数学物理模型来预测寿命。通过时序卷积网络直接建立特征参数与寿命之间的非线性映射关系，捕获时间序列潜在的特征信息，从而获得更准确的预测结果。该方法可以正确估计电池的健康状态，保证电池系统的安全运行，减低运营成本。

Claims (1)

1.基于时间卷积神经网络的锂离子电池剩余寿命预测方法，其特征在于包括以下步骤：

步骤1：电池在室温24℃情况下进行反复充放电实验，收集电池老化对内部参数的影响；

在充放电过程中，以1.5A的恒定电流模式进行充电，直到电池电压达到4.2V，然后以恒定电压模式继续充电，直到充电电流降至20mA；放电以2A的恒定电流进行放电，直至降至2.7V，反复进行充放电过程，直至额定容量从2Ahr降至1.4Ahr；采集锂离子电池在全寿命周期运行过程中，不同工况下的运行状态参数值，包括电池端子电压、电池输出电流、电池温度、负载测量电流、负载测量电压、电池容量、环境温度{(x₁,x₂,x₃,x₄,x₅,x₆,x₇)}以及剩余寿命y，将参数按照时间进行组合，得到时间序列{(x₁,x₂,x₃,x₄,x₅,x₆,x₇),y}；

步骤2：对采集到的数据进行预处理，构建训练数据集，测试数据集便于输入TCN网络

第一步：数据清洗；将时间序列X:{(x₁,x₂,x₃,x₄,x₅,x₆,x₇),y}导入参数筛选器，进行计算；计算公式为

当环境温度的偏导数为0，将环境温度参数剔除，得到时间序列{(x₁,x₂,x₃,x₄,x₅,x₆),y}；若环境温度的偏导数不为0，则时间序列为{(x₁,x₂,x₃,x₄,x₅,x₆,x₇),y}；

第二步：数据标准化；

采用最大最小归一化的方法来消除差异；数学表达示为：

其中x是传感器数值，x_min是最小值，x_max是最大值，x'为处理后的数值；

第三步划分测试数据集和训练数据集：

利用训练数据构造TCN模型的训练集；将全数据周期的数据作为训练数据；在后50个周期中随机选择一个周期，将此周期之前的所有数据作为测试数据集；将电池容量作为衡量电池寿命的标准，将其设为标签；

(1)其中训练集表示为[x_train]，[y_train]，其中：

上式中V_m(i),A_m(i),T_m(i),A_l(i),V_l(i),C_(i)分别代表锂电池第i个充放电周期的电池端子电压、电池输出电流、电池温度、负载测量电流、负载测量电压、电池容量；

第四步：获得剩余寿命标签；

采用滑动窗口取样的方法，时间窗高度为传感器数据宽度b,长度为设定长度a,因此样本矩阵大小为a×b；滑动窗口从时间序列首端开始滑动，没有元素时用0补充，每次移动一个时间步长得到样本序列{X₁,X₂,...,X_L},L为电池最大生命周期；

步骤3：搭建TCN网络预测模型，设置训练参数，进行模型训练；

第一步：构造TCN模型：

(1)TCN包含两个用于卷积运算的膨胀因果卷积模块，两个确保非线性化的ReLU层，以及两个权值标准化和丢失层用于标准化和正则化；最后引入额外的1×1卷积来确保剩余块的输入和输出具有相同的宽度；

其中卷积的的计算公式为：

式中k为滤波器中训练的参数；w为卷积核权重；x^l _i为第l层的第i个输入特征；y^l _i为第l层的第i个输出特征，b为偏置默认为1；

为了加速网络训练过程，保证隐层激活数据分布的一致性，采用权值标准化(BN，Batchnormalization)对每批数据进行标准化；

批标准化的计算公式如下：

式中y^(k)为第k个神经元的输出响应；γ^(k)为训练的重构参数规模；β^(k)为训练的重构参数转变，ε为极小常数防止分母为零，E(x)表示均值，

表示标准差；初始值为随机值，重复迭代过程，当5个周期内损失函数值不再减小，得出最优y,γ,β；

采用ReLU为激活函数，在网络训练的反向传播过程中，当输入小于0时，不能更新权值；ReLU定义如下：

式中，x_i为输入特征；

(2)因果空洞卷积：

卷积核尺寸为：

k′＝d(k-1)+1

其中d是扩张系数，k是卷积核大小，k′为扩张后的卷积核大小；k′不应超过样本的大小；窗口长度为15，所以选择卷积核大小为：{5x5,3x3}；扩张系数选为{3，2，1}，卷积核数量为{64，32}确保能获得多尺度的特征信息；

(3)每一个残差块的输出O如下，其中x为输入，F(x)为因果空洞卷积计算：

O＝Activation(x+F(x))

Activation为激活函数，选用的激活函数为ReLU函数，表达式为

f(x)＝max{0,x}

X为输入，f(x)为输出；

第二步：选择均方误差作为损失函数，数学表达式为

式中：

为输出预测值；y_i为实际值；n为数据时间序列长度；

训练过程中，选用梯度下降算法，损失通过梯度下降进行反向传播，逐层更新卷积神经网络的各个层的可训练参数即权重W和偏置b；学习速率参数η用于控制残差反向传播的强度：

i为第i层卷积层；η设定值为0.001；

使用均方根误差(RMSE)进行评估；

第三步：

完成以上步骤后进行网络训练，训练过程如下：输入数据输入模型后，首先经过因果卷积计算，进行权重归一化，然后经过激活函数ReLU进行非线性化处理，同时进行随机丢失策略Dropout，Dropout取为0.2；经过两次这样的操作后得到第一个残差模块的输出，第一个残差模块的输出作为下一个残差模块的输入，最后一个残差模块计算完毕，得到TCN模型的输出值；残差块为数量为3；迭代计算过程中使用提前终止策略，当均方误差5个周期没有变化，停止训练并保存训练模型；

步骤4：将测试集数据按照步骤2进行处理，得到训练集样本；将训练集样本输入步骤3训练好的模型，进行寿命预测，输出剩余寿命值，并进行寿命评估；RMSE值低于10则流程结束，若高于10重复步骤三进行训练。

Images