CN117148197A - 一种基于集成Transformer模型的锂离子电池寿命预测方法 - Google Patents
一种基于集成Transformer模型的锂离子电池寿命预测方法 Download PDFInfo
- Publication number
- CN117148197A CN117148197A CN202311267164.6A CN202311267164A CN117148197A CN 117148197 A CN117148197 A CN 117148197A CN 202311267164 A CN202311267164 A CN 202311267164A CN 117148197 A CN117148197 A CN 117148197A
- Authority
- CN
- China
- Prior art keywords
- model
- training
- battery
- lithium ion
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 title claims abstract description 77
- 229910001416 lithium ion Inorganic materials 0.000 title claims abstract description 77
- 238000012549 training Methods 0.000 claims abstract description 113
- 239000013598 vector Substances 0.000 claims abstract description 57
- 238000005259 measurement Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 238000000137 annealing Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 32
- 238000013507 mapping Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000007726 management method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000010219 correlation analysis Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000002790 cross-validation Methods 0.000 claims description 5
- 230000008030 elimination Effects 0.000 claims description 5
- 238000003379 elimination reaction Methods 0.000 claims description 5
- 230000007774 longterm Effects 0.000 claims description 5
- 229910052744 lithium Inorganic materials 0.000 claims description 4
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 18
- 230000015556 catabolic process Effects 0.000 description 11
- 238000006731 degradation reaction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 230000003679 aging effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000005653 Brownian motion process Effects 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/36—Arrangements for testing, measuring or monitoring the electrical condition of accumulators or electric batteries, e.g. capacity or state of charge [SoC]
- G01R31/392—Determining battery ageing or deterioration, e.g. state of health
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/36—Arrangements for testing, measuring or monitoring the electrical condition of accumulators or electric batteries, e.g. capacity or state of charge [SoC]
- G01R31/367—Software therefor, e.g. for battery testing using modelling or look-up tables
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Secondary Cells (AREA)
Abstract
本文提供了一种基于集成Transformer模型的锂离子电池寿命预测方法，包括：获取锂离子电池的领域知识，并得到与电池寿命相关的手工特征；将原始测量数据分别输入预设卷积神经网络模块E1和预设Transformer模块E2中，分别得到特征向量和编码向量；将手工特征、特征向量和编码向量进行连接处理，得到训练数据；利用训练数据对电池寿命预测模型进行训练，在训练过程在使用余弦退火策略调整学习率，并保存多个不同训练阶段的模型参数至模型列表，通过模型的SWA参数平均对电池寿命预测模型进行二次训练，得到目标电池寿命预测模型；通过分位数回归损失对指定预测起始点对应预测置信区间边界进行处理，以得到锂离子电池寿命预测结果，本文能够提高锂离子电池RUL的准确性。
Description
技术领域
本文属于锂离子电池技术领域，具体涉及一种基于集成Transformer模型的锂离子电池寿命预测方法。
背景技术
锂离子电池具有长寿命、低成本、高能量密度的特点，因此被广泛应用于电动汽车和电子设备等多种场景。然而，锂离子电池是一个具有复杂老化过程的系统，其容量下降和功率衰减并非由单一原因引起，而是由多种不同过程及其相互作用共同导致的。在储存过程中，可能发生的老化效应，如自放电和阻抗上升，会影响电池的日历寿命。而循环寿命则受到使用过程中可能发生的老化效应，例如机械降解和锂金属镀层等的影响。因此，亟需构建高性能的电池管理系统，以准确监测锂离子电池的健康状态并及时提供状态警报，从而尽量减少潜在的危害。
现有技术中，主要是利用早期循环阶段的数据预测锂离子电池的剩余使用寿命(RUL)，在优化电池设计、提前预知电池寿命、提高电池安全性和加速新技术验证等方面具有重要的实际意义，为电池技术的发展和应用提供了积极的推动作用。但是早期循环数据所蕴含的退化特征信息微弱，因此如何利用这些数据准确预测锂离子电池的剩余使用寿命成为一个亟待解决的难题。
发明内容
针对现有技术的上述问题，本文的目的在于，提供一种基于集成Transformer模型的锂离子电池寿命预测方法，可以提高锂离子电池的剩余使用寿命预测的准确性。
为了解决上述技术问题，本文的具体技术方案如下：
一方面，本文提供一种基于集成Transformer模型的锂离子电池寿命预测方法，所述方法包括：
获取锂离子电池的领域知识，基于所述锂离子电池的领域知识，通过相关性分析得到与电池寿命相关的特征集合；
将所述特征集合通过三层全连接层进行特征映射，得到与电池寿命相关的手工特征；
获取锂离子电池的原始测量数据，并将所述原始测量数据分别输入预设卷积神经网络模块E1和预设Transformer模块E2中，分别得到所述原始测量数据的特征向量和编码向量；
将所述手工特征、所述特征向量和所述编码向量进行连接处理，得到训练数据；
利用所述训练数据对电池寿命预测模型进行训练，在训练过程在使用余弦退火策略调整学习率，并保存多个不同训练阶段的模型参数至模型列表，计算模型列表中模型的SWA参数平均，通过所述SWA参数平均对所述电池寿命预测模型进行二次训练，得到目标电池寿命预测模型；
根据所述目标电池寿命预测模型，通过分位数回归损失对指定预测起始点对应预测置信区间边界进行处理，以得到锂离子电池寿命预测结果。
进一步地，基于所述锂离子电池的领域知识，通过相关性分析得到与电池寿命相关的特征集合，包括：
基于所述锂离子电池的领域知识，提取多个特征信息；
计算任意两个特征信息之间的斯皮尔曼相关系数，计算公式为： 其中，R(Xi),R(Yi)分别是特征信息X和Y中每个数据点的等级，n是样本数量；
将斯皮尔曼相关系数超过系数阈值的两个特征信息加入候选特征集中，其中候选特征集由Xdomain1表示；
利用基于交叉验证的递归特征消除从所述候选特征集中选择出最佳数量的特征作为与电池寿命相关的特征集合，其中特征集合由Xdomain2表示，其维度为维度为n×p,n表示电池样本数量，p表示特征集合中特征数量。
进一步地，所述预设卷积神经网络模块包括卷积层、池化层和全连接层；
所述卷积层用于从所述原始策略数据中提取特征，生成特征图；
所述池化层用于降低卷积层提取特征图的维度；
所述全连接层用于将池化后的特征图连接处理，得到所述原始测量数据的特征向量，表示为：Hr1＝E1(Xraw)，Hr1为特征向量；E1为预设卷积神经网络模块，Xraw为原始测量数据的初始特性向量，维度为n×l×m，n表示电池样本数量，l表示原始特征统计总数，m表示周期数。
进一步地，所述预设Transformer模块E2包括去噪自动编码器、Transformer层和位置编码器；
获取取锂离子电池的原始测量数据之后还包括：将高斯噪声加入到所述原始测量数据的归一化输入中，得到被破坏的初始特征向量
所述去噪自动编码器用于从叠加噪声的输入中学习得到的特征更具鲁棒性，DAE编码器的输出表示为：其中/>和b分别表示DAE编码器的输出、激活函数、权重及偏差；然后，为了重建输入向量，将潜在表示映射回输入空间,重建后的输入向量表示为：/>其中W',b'和f(.)分别表示DAE解码器的权重、偏置和映射函数；
所述位置编码器用于输入数据在序列中的相对或绝对位置，通过不同频率的正弦和余弦函数来表示位置编码，计算公式如下：
PE(p,2k)＝sin(t/100002k/d)；
PE(p,2k+1)＝cos(t/100002k/d)；
其中，p表示特征在时间序列数据中的位置，d表示特征的维数，2k表示偶数的维度，2k+1表示奇数维度；
所述Transformer层用于对所述去噪自动编码器的输出结果进行处理，以从电池运行记录中学习寿命衰减的依赖特征，表示为：
进一步地，所述Transformer层包括编码器和解码器；编码器接收输入序列将其映射为高维向量，并将其送入解码器以产生一个输出序列，本文仅使用Transformer编码器，用于从电池运行记录中学习寿命衰减的长期依赖性；
所述编码器包括多头自注意机制和前馈网络；
所述多头自注意机制用于捕捉特征之间的依赖关系，并且忽略其在序列中的距离，表示为：
MultiHead(Hl-1)＝[head1；head2；...；headh]WO；
其中，headi＝Attention(Hl-1Wi Q,Hl-1Wi K,Hl-1Wi V)；
其中，Hl-1表示(l-1)-th的表示层，Wi Q,Wi K,Wi V表示映射权重，i∈[1,h]，h表示多头注意力机制的头数，Q,K,V分别表示查询、键值和值，WO是训练权重；
前馈网络有线性和ReLU非线性两种不同的映射方式，前馈网络FFN(x)和前馈网络的第l层的输出Hl可表示为：
Hl＝FFN(MultiHead(Hl-1))；
FFN(x)＝ReLU(xW1+b1)W2+b2；
其中，ReLU(.)表示映射函数，W1,W2表示权重，b1,b2表示偏差；
进一步地，利用所述训练数据对电池寿命预测模型进行训练，在训练过程在使用余弦退火策略调整学习率，并保存多个不同训练阶段的模型参数至模型列表，包括：
根据所述训练数据，通过向前传播计算电池寿命预测模型的预测结果、计算损失函数并进行反向传播、更新模型的参数；
根据当前训练轮数和退火周期计算当前学习率，以调整下一轮模型训练的模型参数；
将当前模型的参数保存至模型列表中。
进一步地，所述计算模型列表中模型的SWA参数平均，通过所述SWA参数平均对所述电池寿命预测模型进行二次训练，得到目标电池寿命预测模型，包括：
遍历模型列表中的每个模型参数，计算SWA参数平均值；
设定start_swa_epoch参数；
根据所述start_swa_epoch参数，确定二次训练的起始位置；
根据所述二次训练的起始位置，在start_swa_epoch之前的训练过程通过普通的模型参数进行训练，在之后则使用SWA参数平均值进行训练，直到获得收敛后的目标电池寿命预测模型。
进一步地，根据所述目标电池寿命预测模型，通过分位数回归损失对指定预测起始点对应预测置信区间边界进行处理，以得到锂离子电池寿命预测结果，包括：
确定基于所述目标电池寿命预测模型的分位数回归损失函数，表示为：其中中yi为真实的剩余使用寿命，/>表示目标电池寿命预测模型在一个分数水平q值下预测的剩余使用寿命，q∈[0,1]，并且(.)+＝max(0,.)表示只能保留正部分，让负部分等于零；
确定多个分位数水平Q＝{0.1，0.5，0.9}；
根据所述多个分位数水平和所述分位数回归损失函数，通过使用全部训练数据的分位数损失，得到最终的目标函数，表示为：其中α表示权衡不同模块重要性的加权系数，S代表样本量，M表示四分位等级数，LD表示DAE模块的重构损失，其中/>视为模型的剩余使用寿命点预测，/>可看作为模型剩余使用寿命预测的80％置信区间边界；
利用AdamW优化器对所述目标函数优化，得到锂离子电池寿命预测结果。
另一方面，本文还提供一种电池管理系统，所述系统包括锂电池和控制器，所述控制器包括上述所述的方法。
最后，本文还提供一种用电设备，所述用电设备包括上述所述的电池管理系统。
采用上述技术方案，本文所述的一种基于集成Transformer模型的锂离子电池寿命预测方法，所述方法包括：获取锂离子电池的领域知识，基于所述锂离子电池的领域知识，通过相关性分析得到与电池寿命相关的特征集合；将所述特征集合通过三层全连接层进行特征映射，得到与电池寿命相关的手工特征；获取锂离子电池的原始测量数据，并将所述原始测量数据分别输入预设卷积神经网络模块E1和预设Transformer模块E2中，分别得到所述原始测量数据的特征向量和编码向量；将所述手工特征、所述特征向量和所述编码向量进行连接处理，得到训练数据；利用所述训练数据对电池寿命预测模型进行训练，在训练过程在使用余弦退火策略调整学习率，并保存多个不同训练阶段的模型参数至模型列表，计算模型列表中模型的SWA参数平均，通过所述SWA参数平均对所述电池寿命预测模型进行二次训练，得到目标电池寿命预测模型；根据所述目标电池寿命预测模型，通过分位数回归损失对指定预测起始点对应预测置信区间边界进行处理，以得到锂离子电池寿命预测结果，本文提供的方法能够同时考虑基于领域知识的特征和原始数据中隐藏的特征，针对原始数据进行DAE处理，实现了对输入数据去噪和学习非线性的表示。其次，提出新颖的集成方法，该模型可以自适应的调整学习率、增加模型的多样性，减少过拟合的风险，提高泛化能力、并且可以提供不确定性估计，最后，借助分位数回归对预测结果进行不确定性量化，提供了RUL点估计和范围的估计，并给出该范围的置信区间，从而提高了锂离子电池剩余寿命预测的准确性。
为让本文的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本文实施例提供的一种基于集成Transformer模型的锂离子电池寿命预测方法的步骤示意图；
图2示出了本文实施例提供方法的网络框架示意图；
图3示出了本文实施例中Transformer模块的网络框架示意图；
图4示出了本文实施例中集成训练的流程示意图；
图5示出了本文实施例提供的一种基于集成Transformer模型的锂离子电池寿命预测装置的结构示意图；
图6示出了本文实施例提供的用电设备的结构示意图。
附图符号说明：
510、特征集合获取模块；520、手工特征获取模块；530、编码向量获取模块；540、训练数据获取模块；550、训练模块；560、预测模块。
具体实施方式
下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。
需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在实施例开展之前对本文出现的现有技术进行说明：
Transformer是一种重要的神经网络架构，在自然语言处理领域取得了革命性的进展，并且在其他领域也得到广泛应用。相较于传统的序列模型(如循环神经网络和长短期记忆网络)，Transformer解决了处理长序列数据时的多个问题，例如难以捕捉长期依赖关系和受限的并行计算能力。其设计目标是实现突破性性能，并在序列数据处理方面取得显著进步。传统的序列模型在处理输入序列时逐个元素进行计算，导致计算效率低下。而自注意力机制通过同时考虑所有输入序列元素之间的关系，实现了更高效的并行计算，从而显著提升了模型性能。Transformer模型主要由编码器和解码器组成，其中自注意力机制是其关键组件。编码器负责将输入序列转换为一系列特征表示，而解码器则用于生成目标序列。
集成模型的主要思想是通过结合多个模型的预测结果，实现更准确、稳定且具有更好泛化性能的预测。在集成过程中，通常采用多样性的模型，这些模型可以使用不同的算法、参数设置或特征子集来构建单个模型。通过这种方式，集成模型的各个成员模型能够互补，从而提升整体性能。常见的集成模型方法包括投票法、平均法和堆叠法等。这些方法在机器学习竞赛和实际应用中都取得了广泛的成功。恰当地选择和组合多个模型，集成模型能显著提高预测的准确性和鲁棒性，同时减少过拟合风险。然而，构建和调整集成模型需要一定的经验和技巧，过度集成也可能导致过拟合问题，因此需要谨慎考虑和实验。
锂离子电池循环寿命预测方法可分为基于模型的方法和数据驱动的方法。基于模型的方法包括经验模型、等效电路模型和电化学模型等。一些学者提出了不同构建方案，如基于库伦效率方法和粒子滤波算法的半经验模型，用于提高电池剩余使用寿命的预测精度；构建两阶段Wiener过程模型，以捕获锂离子电池在不同老化阶段的特征，并结合无迹粒子滤波算法进行剩余使用寿命预测；另一种融合了经验指数和多项式回归模型的集成模型，用于描述锂离子电池的容量退化并预测其剩余有用性能，并且通过粒子过滤方法在线调整模型参数。尽管基于模型的方法在电池寿命预测方面取得了成功，但电池退化模型对预测性能有显著影响，而且由于容量退化迹象在早期循环中不明显，早期准确预测变得困难。相比之下，数据驱动方法将提取的相关电池健康特征输入到基于机器学习或深度学习方法开发的黑盒模型，输出相应的电池寿命预测。也有许多学者提出了不同构建思想，例如将宽度学习系统与相关向量机相结合的混合模型，以提高电池寿命预测模型的精度和长期预测能力；使用前馈神经网络和重要性采样的在线方法，适用于实际运行中精确的电池剩余寿命预测；基于双向门控递归单元和多专家的双任务网络结构，用于改进传统预测和健康管理框架，可同时评估并预测工业设备的剩余使用寿命；还有结合卷积神经网络和高斯过程回归的两阶段模型，个性化应用于每个测试锂离子电池的早期剩余寿命预测，从而提高模型的预测精度。
为了解决上述问题，本文实施例提供了一种基于集成Transformer模型的锂离子电池寿命预测方法，能够提高锂离子电池剩余寿命预测的准确性。图1是本文实施例提供的一种基于集成Transformer模型的锂离子电池寿命预测方法的步骤示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或装置产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。具体的如图1所示，所述方法可以包括：
S101：获取锂离子电池的领域知识，基于所述锂离子电池的领域知识，通过相关性分析得到与电池寿命相关的特征集合；
S102：将所述特征集合通过三层全连接层进行特征映射，得到与电池寿命相关的手工特征；
S103：获取锂离子电池的原始测量数据，并将所述原始测量数据分别输入预设卷积神经网络模块E1和预设Transformer模块E2中，分别得到所述原始测量数据的特征向量和编码向量；
S104：将所述手工特征、所述特征向量和所述编码向量进行连接处理，得到训练数据；
S105：利用所述训练数据对电池寿命预测模型进行训练，在训练过程在使用余弦退火策略调整学习率，并保存多个不同训练阶段的模型参数至模型列表，计算模型列表中模型的SWA参数平均，通过所述SWA参数平均对所述电池寿命预测模型进行二次训练，得到目标电池寿命预测模型；
S106：根据所述目标电池寿命预测模型，通过分位数回归损失对指定预测起始点对应预测置信区间边界进行处理，以得到锂离子电池寿命预测结果。
可以理解为，如图2所示，为本说明书实施例提供的方法的网络框架示意图，主要包括三个部分：特征提取、集成训练、区间预测。首先，根据基于领域知识的特征和锂离子电池的原始测量数据分别进行手动和自动特征提取。基于领域知识的特征先后经过递归特征消除法和斯皮尔曼相关系数筛选出与电池寿命相关系数较高的特征，再借助三层的全连接层进行特征映射得到最终的手工特征。经最大最小归一化处理的原始数据同时分别进入三层结构的一维卷积神经网络层和四层结构的带有去噪自动编码器的Transformer层，将两结构处理后的特征平滑连接以此得到自动提取的特征。将筛选后手工特征和自动提取的特征合并成为最终模型输入特征，增加了特征提取器的完备性。其次，提出新颖的CosineSWA集成训练方法，对模型进行两级训练。该方法在初次训练过程中使用余弦退火策略调整学习率，并保存多个不同训练阶段的模型。二次训练前计算这些模型的SWA参数平均，使用SWA参数平均对模型进行再次训练。最后，借助分位数回归对所提方法的RUL预测进行不确定性量化，从而提高了了对锂离子电池的剩余寿命预测的准确性和可靠性。
本说明书实施例在于解决锂离子电池容量退化的早期循环场景中的RUL区间预测问题，即在锂离子电池容量退化尚不明显的阶段，如何进行准确的区间预测。真实的RUL问题的定义如式(1)所示：
RULreal＝CycleFailure-Cyclen (1)
其中CycleFailure和Cyclen分别代表锂离子电池退化至性能失效状态所对应的循环次数以及预测起始点对应的循环次数。本发明提出的模型借助分位数回归对预测结果进行不确定性量化，可以提供RUL的点估计和范围估计，并给出该范围的置信区间。
CDT-CASWA方法用于RUL预测问题的描述可表示为公式(2)所示：
其中表示所构建的预测模型，Xn表示预测起始点n(n取100、90、80、70......)对应的输入特征，θ表示模型的其他相关参数，q表示分位数取值，在本发明中取值为[0.1,0.5,0.9]。
模型最终优化问题可表示为公式(3)所示：
其中，α表示权衡不同模块重要性的加权系数，S代表样本量，M表示四分位等级数，LD表示DAE模块的重构损失，可以视为模型的RUL点预测，/>可看作为模型RUL预测的80％置信区间边界。最后，可使用AdamW优化器对上述目标函数进行最小化。
本文是通过提取锂离子电池的领域知识的手工特征，以及锂离子电池的历史使用的数据的自动提取特征，并进行特征的融合，从而进行模型的训练，增加了特征提取的完整性，从而提高了后续模型训练的可靠性。
进一步地，所述预设卷积神经网络模块包括卷积层、池化层和全连接层；
所述卷积层用于从所述原始策略数据中提取特征，生成特征图；
所述池化层用于降低卷积层提取特征图的维度；
所述全连接层用于将池化后的特征图连接处理，得到所述原始测量数据的特征向量，表示为：Hr1＝E1(Xraw)，Hr1为特征向量；E1为预设卷积神经网络模块，Xraw为原始测量数据的初始特性向量，维度为n×l×m，n表示电池样本数量，l表示原始特征统计总数，m表示周期数。
也就是说，卷积神经网络模块(Convolutional Neural Networks，CNN)模块是由卷积层、池化层和全连接层三个主要部分组成的。卷积层的主要作用是从输入数据中提取特征，其中包含多个卷积核。每个卷积核都有对应的权重系数和偏差量，类似于前馈神经网络中的神经元。通过卷积操作，CNN能够有效地捕捉输入数据的空间结构信息，从而实现对文本等复杂数据的特征提取和表示。池化层用于降低特征图的维度，减少计算量，并增强模型的鲁棒性。全连接层则将池化后的特征图映射到输出空间，进行最终的分类或预测任务。卷积公式定义如公式(4)所示：
其中，表示(l+1)层中第i个特征的输出值，Wi l+1表示(l+1)层的第i个卷积核的权重矩阵，“*”表示卷积运算，X(l)表示(l+1)层的输出，/>表示偏置项。
Transformer模块主要由去噪自动编码器(Denoising Auto-Eoder，DAE)和Transformer层组成，该模块架构如图3所示。为了保持模型的稳健性，原始数据(即原始测量数据)在进入模型前要进行DAE处理。DAE是在Auto-Encoder(AE)的基础上，为了保证模型的抗噪性而对输入数据加入噪声。DAE从叠加噪声的输入中学习得到的特征更具鲁棒性。DAE编码器的输出如公式(5)所示：
其中，和b分别表示DAE编码器的输出、激活函数、权重及偏差。
然后，为了重建输入向量，将潜在表示映射回输入空间,重建后的输入向量如公式(6)所示：
其中，W',b'和f(.)分别表示DAE解码器的权重、偏置和映射函数。
由于Transformer层不采用RNN的结构，而是利用全局信息，因此无法直接利用输入数据的顺序信息。然而，在处理时间序列数据的预测任务中，顺序信息是非常重要的。因此，在Transformer模型中引入了位置编码，用于保存输入数据在序列中的相对或绝对位置。为了实现这一目标，本说明使用了不同频率的正弦和余弦函数来表示位置编码，计算公式如公式(7)(8)所示：
PE(p,2k)＝sin(t/100002k/d) (7)
PE(p,2k+1)＝cos(t/100002k/d) (8)
其中，p表示特征在时间序列数据中的位置，d表示特征的维数，2k表示偶数的维度，2k+1表示奇数维度。
进一步实施例中，所述Transformer层包括编码器和解码器。编码器接收输入序列将其映射为高维向量，并将其送入解码器以产生一个输出序列。在说明中，仅使用Transformer编码器，用于从电池运行记录中学习寿命衰减的长期依赖性。Transformer编码器有两个子层：多头自注意机制和前馈网络，可以捕捉特征之间的依赖关系，并且忽略其在序列中的距离。多头注意力的定义如公式(9)所示，则第i个注意力函数headi的定义如公式(10)表示:
MultiHead(Hl-1)＝[head1；head2；...；headh]WO (9)
headi＝Attention(Hl-1Wi Q,Hl-1Wi K,Hl-1Wi V) (10)
其中，Hl-1表示(l-1)-th的表示层，Wi Q,Wi K,Wi V表示映射权重,i∈[1,h]，h表示多头注意力机制的头数，Q,K,V分别表示查询、键值和值，Wo是训练权重；
Scaled DotProduct Attention定义如公式(11)所示:
其中,h表示多头注意力机制的头数，d表示特征的维数。
前馈网络有线性和ReLU非线性两种不同的映射方式，从之前的MultiHead(Hl-1)中可知Hl如公式(12)所示，前馈网络FFN(x)可表示为公式(13)所示:
Hl＝FFN(MultiHead(Hl-1)) (12)
FFN(x)＝ReLU(xW1+b1)W2+b2 (13)
其中ReLU(.)表示映射函数，W1,W2表示权重，b1,b2表示偏差。
综上可以得出，本说明书实施例通过一维CNN编码器(即卷积神经网络)E1将这些原始数据编码为特征向量Hr1，如公式(14)所示。同理，借助DAE-Transformer编码器E2将原始数据编码为Hr2，如公式(15)所示:
Hr1＝E1(Xraw) (14)
从而可以获得完整全面的特征向量，提高了后续模型训练的可靠性和准确性，通过CNN和DAE-Transformer的模型来获取局部和全局退化信息，实现对原始退化数据的自动特征提取。
在本说明书一些实施例中，基于所述锂离子电池的领域知识，通过相关性分析得到与电池寿命相关的特征集合，包括：
基于所述锂离子电池的领域知识，提取多个特征信息；
计算任意两个特征信息之间的斯皮尔曼相关系数，计算公式为： 其中，R(Xi),R(Yi)分别是特征信息X和Y中每个数据点的等级，n是样本数量；
将斯皮尔曼相关系数超过系数阈值的两个特征信息加入候选特征集中，其中候选特征集由Xdomain 1表示；
利用基于交叉验证的递归特征消除从所述候选特征集中选择出最佳数量的特征作为与电池寿命相关的特征集合，其中特征集合由Xdomain 2表示，其维度为维度为n×p,n表示电池样本数量，p表示特征集合中特征数量。
可以理解为，本文利用具有交叉验证的递归特征消除法、斯皮尔曼相关系数和全连接层实现基于领域知识的手工特征筛选。特征选择是特征工程里的一个重要问题，其目标是寻找最优特征子集。特征选择能剔除不相关或冗余的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。本说明书实施例借助斯皮尔曼相关系数来评价锂离子电池早期阶段的非线性退化特征，而不是常用的线性相关的皮尔森系数。斯皮尔曼的系数计算如公式(16)所示：
其中，R(Xi),R(Yi)分别是向量X和Y中每个数据点的等级，n是样本数量。
特征选择过程具体来说，首先借助斯皮尔曼相关系数计算基于领域知识的手工特征与目标RUL之间的相关性，选择相关性的绝对值高于0.45的特征作为特征子集1(即候选特征集)，由Xdomain 1表示。然后利用基于交叉验证的递归特征消除(RFECV)选择最佳数量的特征作为特征子集2，由Xdomain 2表示。最后将特征子集2送入由一系列全连接层组成的网络D，如公式(17)所示：
Hd＝D(Xdomain 2) (17)
其中，Xdomain 2的维度为n×p,n表示电池样本数量，p表示特征子集2中特征数量。
在本说明书实施例中，将所述手工特征、所述特征向量和所述编码向量进行连接处理，得到训练数据，可以理解为，自动特征提取和基于领域知识的手工特征提取完成后，为了防止过度拟合，针对CNN编码器E1、DAE-Transformer编码器E2和网络D分别设置了dropout层，然后将Hr1,Hr2,Hd连接在一起形成集成预测模型的输入如公式(18)所示。
H＝(Hr1||Hr2||Hd) (18)
在本说明书实施例中，利用所述训练数据对电池寿命预测模型进行训练，在训练过程在使用余弦退火策略调整学习率，并保存多个不同训练阶段的模型参数至模型列表，包括：
根据所述训练数据，通过向前传播计算电池寿命预测模型的预测结果、计算损失函数并进行反向传播、更新模型的参数；
根据当前训练轮数和退火周期计算当前学习率，以调整下一轮模型训练的模型参数；
将当前模型的参数保存至模型列表中。
进一步地，所述计算模型列表中模型的SWA参数平均，通过所述SWA参数平均对所述电池寿命预测模型进行二次训练，得到目标电池寿命预测模型，包括：
遍历模型列表中的每个模型参数，计算SWA参数平均值；
设定start_swa_epoch参数；
根据所述start_swa_epoch参数，确定二次训练的起始位置；
根据所述二次训练的起始位置，在start_swa_epoch之前的训练过程通过普通的模型参数进行训练，在之后则使用SWA参数平均值进行训练，直到获得收敛后的目标电池寿命预测模型。
可以理解为，本说明书实施例提出的Cosine-SWAI模型是对传统的StochasticWeight Averaging(SWA)方法进行改进的一种方法。SWA方法通过对多个训练过程中的模型参数进行平均，以提高模型的泛化能力。然而，简单平均化可能导致模型无法适应复杂的训练数据，并且忽略了模型参数的不确定性。为了解决这些问题，本发明提出Cosine-SWAI模型。首先，在初次训练过程中嵌套了三层循环，外层循环遍历所要保存的模型，中间循环遍历每个模型的训练轮数，内层循环遍历每个训练步骤,如：随机选择一个小批量的训练样本、通过前向传播计算模型的预测结果、计算损失函数并进行反向传播、更新模型的参数。内层循环结束后根据当前训练轮数和退火周期计算当前学习率。中间层循环结束后将当前模型的参数保存到模型列表中。其次，遍历模型列表中的每个模型参数，计算SWA参数平均值。最后，在二次训练中，为了充分利用普通模型的训练结果，设定了start_swa_epoch参数，该参数表示从哪个epoch开始使用SWA参数平均。在start_swa_epoch之前的训练过程仍然使用普通的模型参数进行训练，而在之后则使用SWA参数平均进行训练。
这样做的目的是在模型训练的早期阶段，充分利用普通模型的训练结果，帮助模型更快地收敛到某个局部最优点。然后，在训练后期使用SWA参数平均，进一步稳定模型，并在更广泛的参数空间内进行搜索，以获取更好的泛化能力和性能。通过以上改进，Cosine-SWAI模型能够更好地应对模型训练中的不确定性，提高了模型的性能和泛化能力。本说明书实施例提供的的Cosine-SWAI模型集成训练过程如图4所示。
在本说明书实施例中，根据所述目标电池寿命预测模型，通过分位数回归损失对指定预测起始点对应预测置信区间边界进行处理，以得到锂离子电池寿命预测结果，可以理解为，对锂离子电池的RUL预测进行不确定性量化可以提高预测的准确性和可靠性，为电池管理、设计和制造等方面提供重要的支持和指导。这对于电池技术的发展和应用具有重要的实际意义。包括：
本说明书实施例借助分位数回归对基于CDT-CosineSWA方法的RUL预测进行不确定量化。分位数回归损失由公式(19)表示：
其中，yi为真实的RUL，表示CDT-CosineSWA方法在一个分数水平q值下预测的RUL，q∈[0,1]，并且(.)+＝max(0,.)表示只能保留正部分，让负部分等于零。
在这种情况下，当给定多个分位数水平Q＝{q1,...,qm}，本发明可以利用所以训练样本的分位数损失。比如本说明书实施例选取Q＝{0.1，0.5，0.9}，使用所有训练样本的分位数损失，最终的优化问题可表示为公式(20)：
其中，α表示权衡不同模块重要性的加权系数，S代表样本量，M表示四分位等级数，LD表示DAE模块的重构损失，可以视为模型的RUL点预测，/>可看作为模型RUL预测的80％置信区间边界。最后，可使用AdamW优化器对上述目标函数进行最小化。
本说明书实施例对锂离子电池剩余使用寿命进行早期概率预测具有以下优点和实际意义：
(1)提前预知电池寿命：通过早期区间预测，可以在锂离子电池的寿命尚未明显下降之前，提前估计其剩余使用寿命。这有助于及早发现潜在的寿命问题，并及时采取维护措施，延长电池的使用寿命。
(2)优化电池维护策略：早期区间预测为电池维护策略的制定提供了重要的信息。通过了解电池在早期循环阶段的预测区间，采取相应的维护措施，避免电池在后期出现严重损坏或故障。
(3)提高电池性能评估：早期区间预测可以帮助评估不同电池技术和材料的性能差异。通过对多个电池样本进行早期预测，可以及早发现性能优异的电池，并优化设计和制造过程。
(4)优化电池设计和制造：了解电池在早期阶段的寿命区间，有助于优化电池的设计和制造。通过针对早期预测结果进行调整和改进，可以提高电池的性能和稳定性，从而延长其整体寿命。
(5)提高电池安全性：早期区间预测有助于及早发现电池的异常情况，例如容量下降或功率衰减等。这可以帮助采取及时的安全措施，保障电池的安全性。
(6)加速新技术验证：对于新型锂离子电池技术的验证和应用，早期区间预测可以帮助科学家和工程师更早地了解其性能和寿命。这有助于快速筛选出具有潜力的新技术，推动锂离子电池领域的创新发展。
在上述提供的方法的基础上，本说明书实施例还提供一种基于集成Transformer模型的锂离子电池寿命预测装置，如图5所示，所述装置包括：
特征集合获取模块510，用于获取锂离子电池的领域知识，基于所述锂离子电池的领域知识，通过相关性分析得到与电池寿命相关的特征集合；
手工特征获取模块520，用于将所述特征集合通过三层全连接层进行特征映射，得到与电池寿命相关的手工特征；
编码向量获取模块530，用于获取锂离子电池的原始测量数据，并将所述原始测量数据分别输入预设卷积神经网络模块E1和预设Transformer模块E2中，分别得到所述原始测量数据的特征向量和编码向量；
训练数据获取模块540，用于将所述手工特征、所述特征向量和所述编码向量进行连接处理，得到训练数据；
训练模块550，用于利用所述训练数据对电池寿命预测模型进行训练，在训练过程在使用余弦退火策略调整学习率，并保存多个不同训练阶段的模型参数至模型列表，计算模型列表中模型的SWA参数平均，通过所述SWA参数平均对所述电池寿命预测模型进行二次训练，得到目标电池寿命预测模型；
预测模块560，用于根据所述目标电池寿命预测模型，通过分位数回归损失对指定预测起始点对应预测置信区间边界进行处理，以得到锂离子电池寿命预测结果。
通过上述装置所取得的有益效果和上述方法所取得的有益效果一致，本说明书实施例不做赘述。
在另一实施例中，本文还提供一种电池管理系统，所述系统包括锂离子电池和控制器，所述控制器配置有上述提供的方法。
本实施例提供一种用电设备，其内部结构图可以如图6所示。该用电设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该用电设备的处理器用于提供计算和控制能力。该用电设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该用电设备的网络接口用于与外部的终端通过网络连接通信。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的用电设备的限定，具体的用电设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种用电设备，包括上述提供的电池管理系统。
在一个实施例中，提供了一种用电设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
本文中应用了具体实施例对本文的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本文的方法及其核心思想；同时，对于本领域的一般技术人员，依据本文的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本文的限制。
Claims (10)
1.一种基于集成Transformer模型的锂离子电池寿命预测方法，其特征在于，所述方法包括：
获取锂离子电池的领域知识，基于所述锂离子电池的领域知识，通过相关性分析得到与电池寿命相关的特征集合；
将所述特征集合通过三层全连接层进行特征映射，得到与电池寿命相关的手工特征；
获取锂离子电池的原始测量数据，并将所述原始测量数据分别输入预设卷积神经网络模块E1和预设Transformer模块E2中，分别得到所述原始测量数据的特征向量和编码向量；
将所述手工特征、所述特征向量和所述编码向量进行连接处理，得到训练数据；
利用所述训练数据对电池寿命预测模型进行训练，在训练过程在使用余弦退火策略调整学习率，并保存多个不同训练阶段的模型参数至模型列表，计算模型列表中模型的SWA参数平均，通过所述SWA参数平均对所述电池寿命预测模型进行二次训练，得到目标电池寿命预测模型；
根据所述目标电池寿命预测模型，通过分位数回归损失对指定预测起始点对应预测置信区间边界进行处理，以得到锂离子电池寿命预测结果。
2.根据权利要求1所述的方法，其特征在于，基于所述锂离子电池的领域知识，通过相关性分析得到与电池寿命相关的特征集合，包括：
基于所述锂离子电池的领域知识，提取多个特征信息；
计算任意两个特征信息之间的斯皮尔曼相关系数，计算公式为： 其中，R(Xi),R(Yi)分别是特征信息X和Y中每个数据点的等级，n是样本数量；
将斯皮尔曼相关系数超过系数阈值的两个特征信息加入候选特征集中，其中候选特征集由Xdomain1表示；
利用基于交叉验证的递归特征消除从所述候选特征集中选择出最佳数量的特征作为与电池寿命相关的特征集合，其中特征集合由Xdomain2表示，其维度为维度为n×p,n表示电池样本数量，p表示特征集合中特征数量。
3.根据权利要求1所述的方法，其特征在于，所述预设卷积神经网络模块包括卷积层、池化层和全连接层；
所述卷积层用于从所述原始策略数据中提取特征，生成特征图；
所述池化层用于降低卷积层提取特征图的维度；
所述全连接层用于将池化后的特征图连接处理，得到所述原始测量数据的特征向量，表示为：Hr1＝E1(Xraw)，Hr1为特征向量；E1为预设卷积神经网络模块，Xraw为原始测量数据的初始特性向量，维度为n×l×m，n表示电池样本数量，l表示原始特征统计总数，m表示周期数。
4.根据权利要求1所述的方法，其特征在于，所述预设Transformer模块E2包括去噪自动编码器(DAE)、Transformer层和位置编码器；
获取取锂离子电池的原始测量数据之后还包括：将高斯噪声加入到所述原始测量数据的归一化输入中，得到被破坏的初始特征向量
所述去噪自动编码器用于从叠加噪声的输入中学习得到的特征更具鲁棒性，DAE编码器的输出表示为，Z,/>W和b分别表示DAE编码器的输出、激活函数、权重及偏差；然后，为了重建输入向量，将潜在表示映射回输入空间,重建后的输入向量表示为，/>W',b'和f(.)分别表示DAE解码器的权重、偏置和映射函数；
所述位置编码器用于输入数据在序列中的相对或绝对位置，通过不同频率的正弦和余弦函数来表示位置编码，计算公式如下：
PE(p,2k)＝sin(t/100002k/d)；
PE(p,2k+1)＝cos(t/100002k/d)；
其中，p表示特征在时间序列数据中的位置，d表示特征的维数，2k表示偶数的维度，2k+1表示奇数维度；
所述Transformer层用于对所述去噪自动编码器的输出结果进行处理，以从电池运行记录中学习寿命衰减的依赖特征，表示为，
5.根据权利要求1所述的方法，其特征在于，所述Transformer层包括堆叠编码器和解码器；编码器接收输入序列将其映射为高维向量，并将其送入解码器以产生一个输出序列，本发明中，仅使用Transformer编码器，用于从电池运行记录中学习寿命衰减的长期依赖性；
所述编码器包括多头自注意机制和前馈网络；
所述多头自注意机制用于捕捉特征之间的依赖关系，并且忽略其在序列中的距离，表示为：
MultiHead(Hl-1)＝[head1；head2；...；headh]WO；
其中，
其中，表示映射权重，h表示多头注意力机制的头数，Q,K,V分别表示查询、键值和值，WO是训练权重；
所述前馈网络用于对多头自注意机制的输出结果进行映射处理，得到原始测量数据的编码向量，表示为：
Hl＝FFN(MultiHead(Hl-1))；
FFN(x)＝ReLU(xW1+b1)W2+b2。
6.根据权利要求1所述的方法，其特征在于，利用所述训练数据对电池寿命预测模型进行训练，在训练过程在使用余弦退火策略调整学习率，并保存多个不同训练阶段的模型参数至模型列表，包括：
根据所述训练数据，通过向前传播计算电池寿命预测模型的预测结果、计算损失函数并进行反向传播、更新模型的参数；
根据当前训练轮数和退火周期计算当前学习率，以调整下一轮模型训练的模型参数；
将当前模型的参数保存至模型列表中。
7.根据权利要求1所述的方法，其特征在于，所述计算模型列表中模型的SWA参数平均，通过所述SWA参数平均对所述电池寿命预测模型进行二次训练，得到目标电池寿命预测模型，包括：
遍历模型列表中的每个模型参数，计算SWA参数平均值；
设定start_swa_epoch参数；
根据所述start_swa_epoch参数，确定二次训练的起始位置；
根据所述二次训练的起始位置，在start_swa_epoch之前的训练过程通过普通的模型参数进行训练，在之后则使用SWA参数平均值进行训练，直到获得收敛后的目标电池寿命预测模型。
8.根据权利要求1所述的方法，其特征在于，根据所述目标电池寿命预测模型，通过分位数回归损失对指定预测起始点对应预测置信区间边界进行处理，以得到锂离子电池寿命预测结果，包括：
确定基于所述目标电池寿命预测模型的分位数回归损失函数，表示为：其中yi为真实的剩余使用寿命，/>表示目标电池寿命预测模型在一个分数水平q值下预测的剩余使用寿命，q∈[0,1]，并且(.)+＝max(0,.)表示只能保留正部分，让负部分等于零；
确定多个分位数水平Q＝{0.1，0.5，0.9}；
根据所述多个分位数水平和所述分位数回归损失函数，通过使用全部训练数据的分位数损失，得到最终的目标函数，表示为：
其中α表示权衡不同模块重要性的加权系数，S代表样本量，M表示四分位等级数，LD表示DAE模块的重构损失，/>视为模型的剩余使用寿命点预测，/>可看作为模型剩余使用寿命预测的80％置信区间边界；
利用AdamW优化器对所述目标函数优化，得到锂离子电池寿命预测结果。
9.一种电池管理系统，其特征在于，所述系统包括锂电池和控制器，所述控制器包括权利要求1至8任一项所述的方法。
10.一种用电设备，其特征在于，所述用电设备包括权利要求9所述的电池管理系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311267164.6A CN117148197A (zh) | 2023-09-27 | 2023-09-27 | 一种基于集成Transformer模型的锂离子电池寿命预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311267164.6A CN117148197A (zh) | 2023-09-27 | 2023-09-27 | 一种基于集成Transformer模型的锂离子电池寿命预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117148197A true CN117148197A (zh) | 2023-12-01 |
Family
ID=88900864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311267164.6A Pending CN117148197A (zh) | 2023-09-27 | 2023-09-27 | 一种基于集成Transformer模型的锂离子电池寿命预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117148197A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117371047A (zh) * | 2023-12-07 | 2024-01-09 | 福建中科星泰数据科技有限公司 | 一种基于区块链技术的储能电池回收管理方法及系统 |
| CN117494071A (zh) * | 2023-12-29 | 2024-02-02 | 深圳市科沃电气技术有限公司 | 基于电机转速监测的寿命预测方法及相关装置 |
-
2023
- 2023-09-27 CN CN202311267164.6A patent/CN117148197A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117371047A (zh) * | 2023-12-07 | 2024-01-09 | 福建中科星泰数据科技有限公司 | 一种基于区块链技术的储能电池回收管理方法及系统 |
| CN117371047B (zh) * | 2023-12-07 | 2024-03-08 | 福建中科星泰数据科技有限公司 | 一种基于区块链技术的储能电池回收管理方法及系统 |
| CN117494071A (zh) * | 2023-12-29 | 2024-02-02 | 深圳市科沃电气技术有限公司 | 基于电机转速监测的寿命预测方法及相关装置 |
| CN117494071B (zh) * | 2023-12-29 | 2024-04-16 | 深圳市科沃电气技术有限公司 | 基于电机转速监测的寿命预测方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117148197A (zh) | 一种基于集成Transformer模型的锂离子电池寿命预测方法 | |
| CN111339712A (zh) | 质子交换膜燃料电池剩余寿命预测方法 | |
| CN111861013B (zh) | 一种电力负荷预测方法及装置 | |
| CN111027772A (zh) | 基于pca-dbilstm的多因素短期负荷预测方法 | |
| CN108876044B (zh) | 一种基于知识增强神经网络的线上内容流行度预测方法 | |
| CN113449919B (zh) | 一种基于特征和趋势感知的用电量预测方法及系统 | |
| CN116679211B (zh) | 一种锂电池健康状态的预测方法 | |
| CN115656857A (zh) | 一种锂离子电池剩余使用寿命的多尺度融合预测方法 | |
| CN116381517A (zh) | 基于时间卷积注意力机制的锂电池剩余寿命概率预测方法 | |
| Wang et al. | Remaining useful life estimation of aircraft engines using a joint deep learning model based on TCNN and transformer | |
| CN114118225A (zh) | 发电机剩余寿命预测方法、系统、电子设备和存储介质 | |
| CN116844041A (zh) | 一种基于双向卷积时间自注意力机制的耕地提取方法 | |
| CN117250914A (zh) | 制造过程捕获的测量数据训练机器学习模型的方法和系统 | |
| CN117455208B (zh) | 基于人工智能的注塑品生产调度优化方法及系统 | |
| CN117574776A (zh) | 一种面向任务规划的模型自学习优化方法 | |
| JP2024050510A (ja) | トレーニングされた機械学習モデルを用いて根本原因分析を実行するための方法及びシステム | |
| CN117458480A (zh) | 基于改进lof的光伏发电功率短期预测方法及系统 | |
| CN112232570A (zh) | 一种正向有功总电量预测方法、装置及可读存储介质 | |
| CN115577647B (zh) | 电网故障类型识别方法与智能体构建方法 | |
| CN116502774A (zh) | 一种基于时间序列分解和勒让德投影的时间序列预测方法 | |
| CN116381510A (zh) | 一种锂电池剩余寿命的预测方法、系统及存储介质 | |
| CN116106751A (zh) | 一种基于Informer的锂离子电池荷电状态估计方法 | |
| CN112633607B (zh) | 一种动态时空事件预测方法及系统 | |
| CN115809725A (zh) | 一种多因素短期电量预测方法及装置 | |
| CN114118568A (zh) | 基于多头注意力的卷积神经网络的电力消耗预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |