CN112734002A - 一种基于数据层和模型层联合迁移学习的寿命预测方法 - Google Patents

一种基于数据层和模型层联合迁移学习的寿命预测方法 Download PDF

Info

Publication number
CN112734002A
CN112734002A CN202011576950.0A CN202011576950A CN112734002A CN 112734002 A CN112734002 A CN 112734002A CN 202011576950 A CN202011576950 A CN 202011576950A CN 112734002 A CN112734002 A CN 112734002A
Authority
CN
China
Prior art keywords
data
model
target
layer
domain data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011576950.0A
Other languages
English (en)
Other versions
CN112734002B (zh
Inventor
马剑
尚芃超
王超
刘学
丁宇
程玉杰
吕琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202011576950.0A priority Critical patent/CN112734002B/zh
Publication of CN112734002A publication Critical patent/CN112734002A/zh
Application granted granted Critical
Publication of CN112734002B publication Critical patent/CN112734002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0463—Neocognitrons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Development Economics (AREA)
  • Evolutionary Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于数据层和模型层联合迁移学习的寿命预测方法，包括：将待预测的目标设备的少量已知退化数据作为目标域数据；通过距离相似性度量的方法，从历史数据库中筛选与目标设备退化曲线最为相似的历史样本设备的样本数据，作为数据层迁移的源域数据；利用所述目标域数据和所述源域数据，生成一条更接近目标设备的性能退化曲线；利用所述更接近目标设备的性能退化曲线和所述目标域数据训练寿命预测模型；将所述目标设备的待测数据输入到所述训练好的预测模型，对所述目标设备进行寿命预测。

Description

一种基于数据层和模型层联合迁移学习的寿命预测方法
技术领域
本发明涉及设备的寿命预测技术领域，特别涉及一种基于数据层和模型层联合迁移学习的寿命预测方法。
背景技术
剩余使用寿命预测任务主要研究分析目标对象的退化趋势，利用目标对象的观测数据来预测剩余使用寿命(Remaining Useful Life，RUL)。即，根据当前时刻目标对象的退化状态，确定其剩余使用寿命。在实际运用中，预测目标设备的剩余使用寿命大小，对科学规划和优化管理维修活动具有重要意义。
按照传统技术，需要在获得目标设备的全寿命数据后，才能利用该目标设备的全寿命数据训练预测模型，并利用训练好的预测模型对目标设备进行寿命预测。但是新开发的目标设备通常仅有一段时间获得的少量已知的性能退化数据，因而不能在短时间内得到新开发的目标设备的预测模型，也不能及时对新开发的目标设备进行剩余使用寿命预测。
发明内容
本发明目的是提供一种基于数据层和模型层联合迁移学习的寿命预测方法，利用已知的相似设备性能退化数据和设备的目标设备的少量已知退化数据训练寿命预测模型，以便利用训练好的预测模型对目标设备的剩余使用寿命进行预测。
本发明的一种基于数据层和模型层联合迁移学习的寿命预测方法包括：
将待预测的目标设备的少量已知退化数据作为目标域数据；
通过距离相似性度量的方法，从历史数据库中筛选与目标设备退化曲线最为相似的历史样本设备的样本数据，作为数据层迁移的源域数据；
利用所述目标域数据和所述源域数据，生成一条更接近目标设备的性能退化曲线；
利用所述更接近目标设备的性能退化曲线和所述目标域数据训练寿命预测模型；
将所述目标设备的待测数据输入到所述训练好的预测模型，对所述目标设备进行寿命预测。
优选地，利用所述目标域数据和所述源域数据，生成一条更接近目标设备的性能退化曲线包括：
利用所述源域数据训练降噪自动编码器DAE；
将训练好的DAE的参数初始化改进的深度学习SDA模型，使所述SDA模型生成输入层和隐藏层的初始化权重参数；
利用所述目标域数据训练初始化的SDA模型，得到训练好的SDA模型；
将所述源域数据输入到所述训练好的SDA模型，输出一条更接近目标设备的性能退化曲线。
优选地，利用所述目标域数据训练初始化的SDA模型包括：
采用均方误差损失函数和夹角余弦值损失函数度量所述初始化后的SDA模型的源域数据与目标域数据的学习误差；
通过最小化学习误差，建立从历史样本设备到目标设备的退化数据映射关系，得到训练好的用于迁移数据的SDA模型。
优选地，所述训练好的SDA模型包括：
一个输入层；
第一隐藏层，其隐藏层初始化权重参数对应经过训练的一个DAE的参数；
第二隐藏层，其隐藏层初始化权重参数对应经过训练的另一个DAE的参数；以及
一个输出层。
优选地，利用所述更接近目标设备的性能退化曲线和所述目标域数据训练寿命预测模型包括：
将所述更接近目标设备的性能退化曲线作为LSTM预测模型的输入，将所述目标域数据作为LSTM预测模型的输出，训练所述LSTM预测模型。
优选地，训练所述LSTM预测模型包括：
通过学习所述更接近目标设备的性能退化曲线与目标域数据的剩余使用寿命RUL标签之间的映射关系，建立LSTM预测模型的性能退化数据与RUL标签之间的映射关系。
优选地，对所述目标设备进行寿命预测包括：
利用所述性能退化数据与RUL标签之间的映射关系，得到输入到所述训练好的LSTM预测模型的所述目标设备的待测数据对应的RUL标签。
本发明的寿命预测方法还包括对输入到所述训练好的LSTM预测模型的所述目标设备的待测数据进行归一化处理。
优选地，对所述目标设备进行寿命预测还包括：对所得到的RUL标签进行反归一化处理，得到RUL预测值。
本发明的有益技术效果是，1)利用目标设备少量已知的性能退化数据实现寿命预测；2)通过数据层和模型层的联合迁移学习，在实现较高寿命预测准确度的同时，也极大地节省了目标设备寿命测试所需的试验时间。
附图说明
图1是DAE模型结构和训练过程示意图；
图2是LSTM单元结构示意图；
图3是本发明的基于相似样本生成的数据层迁移策略的示意图；
图4是本发明的数据层迁移生成模型(SDA模型)结构及生成过程的示意图；
图5是本发明的基于参数继承的模型层迁移策略的示意图；
图6是联合迁移预测模型RUL反归一化过程示意图；
图7是不同测试温度下锂电池容量退化数据对比图；
图8是25℃数据层迁移生成样本对比图；
图9是45℃数据层迁移生成样本对比图；
图10是60℃数据层迁移生成的样本对比图；
图11是RUL标签反归一化过程示意图；
图12是不同方法寿命预测准确度对比图；
图13是不同温度下锂电池寿命测试试验优化时间分布情况；
图14是本发明的一种基于数据层和模型层联合迁移学习的寿命预测方法的示意图；
具体实施方式
降噪自动编码器(Denoising Auto Encoder，DAE)是一个经典的三层前馈网络，包括一个编码器和一个解码器。DAE模型结构如图1所示。
DAE模型的构建过程包括编码器和解码器两个部分，如图1(b)所示。首先，对原始输入数据添加一定比例的随机噪声，编码器通过非线性变换从添加噪声后的输入数据中提取特征，解码器通过特征逆变换重构原始输入数据。最后，通过多步迭代网络调整参数使损失函数最小化，实现DAE模型的训练过程。
原始输入数据记为x(i)，通过将元素x(i)的一部分随机设置为零的方式加入随机噪声，记为
Figure BDA0002864538690000041
则
Figure BDA0002864538690000042
满足
Figure BDA0002864538690000043
编码器通过确定性映射将加入噪声后的输入向量
Figure BDA0002864538690000044
转换为隐藏层的特征向量h(i)，可以表示为：
Figure BDA0002864538690000045
其中sigmoid是激活函数，Wen和ben分别是编码器的权值矩阵和偏置项。解码器按照映射函数
Figure BDA0002864538690000046
对特征进行重构，使得重构值
Figure BDA0002864538690000047
其中，sigmoid是激活函数，Wde和bde分别是解码器的权重矩阵和偏置向量。
DAE模型的训练过程是优化参数θ＝{Wen,ben,Wde,bde}以最小化损失函数，并获得输入数据的鲁棒和稀疏特征的过程。对于固定的输入数据
Figure BDA0002864538690000048
DAE模型的训练损失函数可以表示为：
Figure BDA0002864538690000049
其中λ和β分别是权重衰减参数和稀疏惩罚参数。训练损失函数
Figure BDA00028645386900000410
包含三项：重构误差
Figure BDA00028645386900000411
权重衰减项l2(θ)和稀疏性限制项
Figure BDA00028645386900000412
最小化重构误差，将权重限制为较小的值来避免过度拟合，并提高特征的稀疏性。
重构误差项可以表示为：
Figure BDA00028645386900000413
其中W和b表示权重矩阵和偏置向量。m表示输入数据集中的样本数。
l2正则项可以表示为：
Figure BDA00028645386900000414
其中
Figure BDA00028645386900000415
代表第l层中的第i个神经元和第l+1层中的第j个神经元之间非线性变换的权重。sl和sl+1分别表示第l层和第l+1层神经元的总数。
稀疏正则化通过使多数隐藏节点处于抑制状态(活动神经元输出值接近1，而非活动意味着输出接近0)，提高特征的稀疏度。稀疏性限制项表示为：
Figure BDA00028645386900000416
Figure BDA0002864538690000051
其中s2是隐藏层(第二层)中神经元的数量，
Figure BDA0002864538690000052
是隐藏层第i个神经元的平均激活程度。ρ是稀疏正则化目标的预设参数，通常是接近零的较小值。hi表示隐藏层第i个神经元的激活值，即隐藏层的特征向量。通过稀疏正则化能够减小
Figure BDA0002864538690000053
与预设值ρ之间的差异，使得
Figure BDA0002864538690000054
近似等于ρ。
长短期记忆网络(LSTM)能够学习时序依赖关系，是一种改进的循环神经网络(RNN)，同时有效解决了RNN算法在长周期信号处理中的梯度消失和膨胀等问题[77]。LSTM模型通过设计遗忘门，输入门，输出门等门控制单元，构建了一种自循环结构，使神经元能够根据前后序列数据信息确定自循环更新的权重，实现了LSTM模型的记忆、遗忘机制。LSTM模型中主要的隐藏层单元称为“记忆块”，结构原理如图2所示。
每一个LSTM单元获取t时刻输入x(t)，同时选择是否加入t-1时刻的状态h(t-1)，最终决定当前时刻的输出值h(t)，从而实现神经网络的“记忆”功能。在深度学习网络结构中，特征能够沿着网络结构在层与层之间流动传递，实现特征的高阶映射，具有强大的拟合能力。
首先，由遗忘门控制自循环更新的权重。遗忘门利用sigmoid层将t时刻的输入向量，t-1时刻的输出h(t-1)，映射为一个0-1之间的权重值，0表示完全丢弃，1表示完全保留，作为前一时刻状态信息更新的权重f(t)，如式(7)所示，从而实现从历史记忆中丢弃部分信息；
f(t)＝sigmoid(Wf·[h(t-1),x(t)]+bf) (7)
式中Wf，bf分别是遗忘门的权重，偏置项；
类似地，输入门控制部分当前输入信息参与细胞单元状态更新，信息的更新权重i(t)如式(8)所示；
i(t)＝sigmoid(Wi·[h(t-1),x(t)]+bi) (8)
Wi，bi分别是输入门的权重，偏置项；接着通过tanh激活函数生成式(9)所示的新的候选状态向量
Figure BDA0002864538690000055
Figure BDA0002864538690000056
Wc，bc分别是tanh层的权重，偏置项；综合输入门控制的当前状态信息和由遗忘门控制的记忆状态信息进行状态更新，更新后的状态量为C(t)，如式(10)所示；
Figure BDA0002864538690000061
最终由输出门决定输出部分信息。通过tanh激活函数将内部状态信息C(t)映射到-1至1之间，并与式(11)所示的输出向量o(t)相乘，得到当前状态的输出h(t)，如式(12)所示。
o(t)＝sigmoid(Wo·[h(t-1),x(t)]+bo) (11)
Wo，bo分别是输出门的权重，偏置项；
h(t)＝o(t)*tanh(C(t)) (12)
图14显示了本发明的基于数据层和模型层联合迁移学习的寿命预测方法，包括：
将待预测的目标设备的少量已知退化数据作为目标域数据；
通过距离相似性度量的方法，从历史数据库中筛选与目标设备退化曲线最为相似的历史样本设备的样本数据，作为数据层迁移的源域数据；
利用所述目标域数据和所述源域数据，生成一条更接近目标设备的性能退化曲线；
利用所述更接近目标设备的性能退化曲线和所述目标域数据训练寿命预测模型；
将所述目标设备的待测数据输入到所述训练好的预测模型，对所述目标设备进行寿命预测。
在本发明的寿命预测方法中，利用所述目标域数据和所述源域数据，生成一条更接近目标设备的性能退化曲线包括：
利用所述源域数据训练降噪自动编码器DAE；
将训练好的DAE的参数初始化改进的深度学习SDA模型，使所述SDA模型生成输入层和隐藏层的初始化权重参数；
利用所述目标域数据训练初始化的SDA模型，得到训练好的SDA模型；
将所述源域数据输入到所述训练好的SDA模型，输出一条更接近目标设备的性能退化曲线。
在本发明的寿命预测方法中，利用所述目标域数据训练初始化的SDA模型包括：
采用均方误差损失函数和夹角余弦值损失函数度量所述初始化后的SDA模型的源域数据与目标域数据的学习误差；
通过最小化学习误差，建立从历史样本设备到目标设备的退化数据映射关系，得到训练好的用于迁移数据的SDA模型。
本发明的训练好的SDA模型包括：一个输入层；第一隐藏层，其隐藏层初始化权重参数对应经过训练的一个DAE的参数；第二隐藏层，其隐藏层初始化权重参数对应经过训练的另一个DAE的参数；以及一个输出层。
在本发明的寿命预测方法中，利用所述更接近目标设备的性能退化曲线和所述目标域数据训练寿命预测模型包括：
将所述更接近目标设备的性能退化曲线作为长短期记忆网络LSTM预测模型的输入，将所述目标域数据作为LSTM预测模型的输出，训练所述LSTM预测模型。
在本发明的寿命预测方法中，训练所述LSTM预测模型包括：
通过学习所述更接近目标设备的性能退化曲线与目标域数据的剩余使用寿命RUL标签之间的映射关系，建立LSTM预测模型的性能退化数据与RUL标签之间的映射关系。
在本发明的寿命预测方法中，对所述目标设备进行寿命预测包括：
利用所述性能退化数据与RUL标签之间的映射关系，得到输入到所述训练好的LSTM预测模型的所述目标设备的待测数据对应的RUL标签。
本发明的寿命预测方法还包括对输入到所述训练好的LSTM预测模型的所述目标设备的待测数据进行归一化处理。
在本发明的寿命预测方法中，对所述目标设备进行寿命预测还包括：对所得到的RUL标签进行反归一化处理，得到RUL预测值。
本发明从数据层和模型层联合迁移的角度，提出了一种基于数据层和模型层联合迁移学习的寿命预测方法。利用距离相似性度量筛选得到的历史样本数据；通过数据层迁移策略生成一条与目标曲线更接近的性能退化曲线；通过模型层迁移策略训练立寿命预测模型，利用目标设备少量已知性能退化数据预测剩余寿命。
图3显示了本发明的基于相似样本生成的数据层迁移策略。由于通过距离相似性筛选得到的历史数据与目标数据间仍然存在一定的差距，为了获得与目标设备更加相似的可迁移样本，提高寿命预测准确度，利用基于相似样本生成的数据层迁移策略生成与目标设备更相似的可迁移样本。图3中的自编码器为图1所示的DAE。
SDA模型是一种改进的深度学习模型，通过堆叠多层DAE，加入稀疏约束逐层提取更高阶的鲁棒特征，在模式识别和回归方面具有出色的特征泛化性能。训练过程主要包括逐层无监督预训练和有监督精调训练两个阶段：首先，以无监督方式对两个DAE模型逐一进行训练，对筛选得到的历史样本数据原始数据进行重构，获得SDA生成模型的输入层和两个隐藏层的权重参数；然后，以有监督的方式精调训练，采用均方误差(MSE)和夹角余弦值(cosθ)两种损失函数度量学习误差，学习从历史样本设备到目标设备的退化数据映射关系，最终建立具有双隐藏层结构的SDA迁移生成模型。MSE和cosθ损失函数分别如(13)，(14)所示。
Figure BDA0002864538690000081
Figure BDA0002864538690000082
其中
Figure BDA0002864538690000083
表示由SDA模型输出的目标设备性能退化曲线生成值，y表示目标设备性能衰退曲线真实值。
图4显示了数据层迁移生成模型的结构(即训练好的SDA模型)和生成过程。
图4(a)表示数据层迁移生成模型的结构，该模型具有一个输入层，两个隐藏层和一个输出层。在训练过程中，利用该生成模型以历史样本设备性能衰退曲线为输入，目标设备少量已知退化曲线为输出，对归一化的样本设备和目标设备性能衰退数据之间的映射关系进行建模。测试生成阶段，利用样本退化数据生成一条全新的与目标数据更接近的性能退化曲线.
图4(b)表示基于相似样本生成的数据层迁移过程，图中黑色实线表示目标设备性能退化曲线的已知部分，黑色虚线表示目标设备退化曲线数据的未知部分，蓝色实线表示通过距离相似度筛选得到的样本数据，绿色实线表示通过数据层迁移策略生成的数据。TSEOT表示目标设备性能衰退测试终止阈值，TSEOL表示失效阈值。数据层迁移方法以样本性能退化曲线作为输入，以目标设备已知的部分容量退化曲线作为输出，利用SDA模型学习从样本数据到目标数据的映射关系，通过深度学习模型生成一条全新的与目标数据更相似的性能退化曲线。
图5显示了本发明的基于参数继承的模型层迁移策略。在数据层迁移生成更相似样本的基础上，通过模型层迁移策略预测目标设备的剩余使用寿命。
具体而言，利用数据层迁移方法生成的可迁移样本训练LSTM预测模型，以生成样本的性能退化数据作为输入，剩余寿命标签作为输出，学习设备性能退化数据与RUL标签的映射关系。迁移寿命预测模型结构和权重参数，输入目标设备性能退化数据，预测相应的寿命标签，并通过反归一化处理获得RUL预测值。
模型层迁移预测模型结构(即LSTM模型)如图6(a)所示，该模型具有一个输入层，两个隐藏层和一个输出层。在训练过程中，该预测模型以生成的样本退化曲线为输入，建立性能退化数据与RUL标签之间的映射关系。
寿命预测阶段，利用目标设备少量性能衰退数据预测RUL。通过如图6(b)所示的反归一化过程，最终得到剩余使用寿命。图中红色虚线表示预测模型输出的RUL标签，绿色实线表示真实的RUL标签，蓝色实线表示经过直线拟合的RUL标签。通过对模型输出进行直线拟合，获得其线性退化趋势，更接近实际退化过程。TSEOT表示目标设备退化测试终止阈值对应的循环数，TSEOL表示失效阈值对应的循环数，从而计算剩余使用寿命＝TSEOL-TSEOT。按照图6(b)所示的反归一化过程，将LSTM模型输出的多个RUL标签值进行线性拟合，根据线性退化趋势获得最终的预测值，能够避免单个输出结果波动的影响，提高了RUL预测结果的鲁棒性和准确性。
具体实施例
为了验证本发明所提出的基于数据层和模型层联合迁移的寿命预测方法的有效性，使用宁德时代新能源科技股份有限公司的锂电池容量退化数据集进行案例验证。
锂电池容量退化数据集介绍
为了验证本发明所提出的基于数据层和模型层联合迁移学习的寿命预测方法的有效性，使用锂电池容量退化数据进行验证。该数据集是在某公司设计的锂离子电池循环寿命试验台上通过循环寿命实验采集得到的，其中包含来自相同设计平台的三种不同温度(25℃，45℃，60℃)，10种不同配方(A，B，C，D，E，F，G，H，I，J组)的锂离子电池容量退化数据。每一组代表一种锂电池设计配方，不同组别之间具有相同的阴极和分隔材料，但阳极材料和电解质溶液各不相同，不同组别之间退化趋势差异较大，不同配方锂电池的原始退化数据(剩余容量)如图7所示。
不同颜色代表不同配方的锂电池容量退化数据，从每种配方中任意选取了一个样本作图，从图中可以看出不同配方锂电池的退化数据差异较大，且由于不同电池退化数据具有不同的分布尺度，难以直接进行有效的相似性度量。
(1)锂电池试验温度T
该锂电池数据集包含标准试验温度条件(25℃)以及高温度条件(45℃和60℃)，在每组试验温度下对不同配方的多个电池进行循环充放电寿命试验，得到对应的循环寿命。
(3)锂电池失效阈值TSEOL(寿命终止条件)
由于实验条件的限制以及锂电池特性的影响，选取TSEOL＝82％作为电池的失效阈值，即当锂电池容量退化至初始容量的82％时，判定锂电池到达寿命终止条件，停止充放电循环试验。
(4)目标电池测试终止阈值TSEOT
为了充分减小实验误差，获得足够多的数据保证寿命预测方法的有效性，同时尽可能优化目标电池寿命测试时间，实验选取初始容量的90％作为目标电池测试数据终止阈值TSEOT，当目标电池容量退化至初始容量的90％时停止充放电循环试验，通过试验测量数据预测锂电池的剩余使用寿命。
选用的三种温度条件下不同配方的电池退化数据如表1所示。
表1 25℃、45℃和60℃测试温度下锂电池分组情况
Figure BDA0002864538690000101
Figure BDA0002864538690000111
模型参数设置
SDA生成模型参数设置
数据层迁移所采用的SDA模型结构包括一个底层的数据输入层，两个隐藏层和一个顶层的生成输出层。各层的神经元数目依次为100，50，50，1，激活函数为Relu。深度学习模型训练过程中，批训练样本batch_size＝64，单个样本的数据长度为100，模型训练选择优化器为Adam，模型稀疏度为0.0005，学习率为0.001，无监督学习和反向传播过程的循环训练次数epochs为100。SDA生成模型参数设置如表2所示。
表2 SDA生成模型参数设置
Figure BDA0002864538690000112
LSTM预测模型参数设置
模型层迁移所采用的LSTM模型结构包括一个底层的数据输入层，两个隐藏层和一个顶层的预测输出层，各层的神经元数目依次为100，50，50，1。前两层LSTM层的激活传递函数为Tanh，后两层Dense层的激活传递函数为Linear。深度学习模型训练过程中，批训练样本batch_size＝64，单个样本数据长度为100，模型训练选择优化器Adam，降噪遮挡比例为0.3，学习率为0.001，训练次数epochs为20。具体见表3所示。
表3 LSTM预测模型参数设置
Figure BDA0002864538690000113
Figure BDA0002864538690000121
可迁移样本生成结果
利用SDA模型学习从样本电池到目标电池容量退化数据的映射关系，通过数据层迁移方法生成可迁移样本，不同温度下生成的可迁移样本如图8，图9，图10所示。图中黑色实线表示要预测的目标电池容量退化数据，蓝色实线表示距离相似度筛选得到的样本电池历史数据，而绿色实线表示的生成数据是通过数据层迁移方法生成的可迁移样本退化数据。
通过对比可以发现，通过计算距离相似度得到的样本电池历史数据虽然和目标电池具有最高的相似度，但由于样本数据库总是有限的，无法涵盖退化趋势复杂多变的所有退化曲线，筛选得到的历史数据与目标电池退化轨迹之间仍然存在一定差异。而通过数据层迁移方法，将筛选得到的样本电池退化轨迹迁移到目标电池，生成一条全新的容量退化曲线，如图中绿色实线所示，更加接近目标电池的退化趋势，有利于提升寿命预测准确度。
剩余使用寿命预测结果
(1)剩余寿命预测准确度比对
基于本发明提出的数据层和模型层联合迁移学习的寿命预测方法，利用不同配方，不同温度的目标电池少量测试数据，通过数据层迁移生成与目标电池更相似的可迁移样本，通过模型层迁移利用生成的相似样本训练LSTM预测模型，通过反归一化过程最终得到目标电池的剩余使用寿命，反归一化结果如图11所示。
图中黑色实线表示真实的RUL标签，红色虚线表示模型输出的RUL标签，蓝色实线表示经过直线拟合的RUL标签。将LSTM模型输出的多个RUL标签值进行线性拟合，根据线性退化趋势获得最终的预测值。为了对比分析本发明提出的剩余使用寿命联合预测方法的预测性能，本节将其与四种不同典型预测方法得到的结果进行了比较，分别为LSTM模型(不使用联合迁移方法)，堆叠降噪自动编码器(SDA)模型，支持向量回归(SVR)模型和Elman神经网络模型。其中，LSTM是一种改进的循环神经网络结构，SDA模型是典型的多个隐藏层深度学习模型，SVR是常用的浅层机器学习回归预测模型，Elman是较为简单地单隐藏层循环神经网络。在对比方法中，LSTM模型与模型层迁移使用的网络结构保持一致，而没有加入数据层迁移；SDA模型包括一个输入层，两个隐藏层，一个输出层，神经元数目依次为100，50，50，1；Elman模型具有100个输入节点和50个隐藏层节点，SVR模型具有100个输入节点的，核函数为‘rbf’函数，核函数系数gamma＝‘auto’，惩罚因子C＝0.01。不同对比方法使用相同锂电池训练和测试数据进行寿命预测，不同测试温度下的每种方法的寿命预测平均准确度统计结果如表4所示。
表4寿命预测准确度统计值
Figure BDA0002864538690000131
本发明提出的联合迁移预测方法在25℃，45℃和60℃三种温度下得到的寿命预测准确度依次为94.43％，93.36％和92.98％，通过数据层和模型层的联合迁移，在各种方法中得到了最高的平均预测准确度，为93.59％；LSTM作为一种改进的循环神经网络，没有数据层迁移，在25℃，45℃和60℃三种温度下得到的寿命预测准确度依次92.72％，91.58％，90.62％，平均准确度为91.46％；SDA模型在25℃，45℃和60℃三种温度下得到的寿命预测准确度依次91.26％，90.38％，87.10％，平均准确度为89.58％；SVR方法在25℃，45℃和60℃三种温度下得到的寿命预测准确度依次90.93％，89.85％，87.57％，平均准确度为89.45％；Elman作为较简单地单隐藏层循环神经网络，在25℃，45℃和60℃三种温度下得到的寿命预测准确度依次91.70％，90.65％，89.55％，平均准确度为90.63％。预测准确度低于联合迁移方法和LSTM模型。
不同方法得到的寿命预测平均准确度对比如图12所示。
通过对比结果可以发现，联合迁移预测方法从数据层和模型层两个方面实现锂电池剩余寿命的联合迁移预测，通过数据层迁移生成一条全新的可迁移样本，通过模型层迁移利用样本电池数据预测目标电池剩余使用寿命，在每种温度下都获得了最高的寿命预测准确度，如蓝色柱状图所示。虽然LSTM和Elman模型均具有循环神经网络结构，但由于没有数据层迁移生成更相似的样本数据，因此二者得到的预测准确度均低于联合迁移方法。
同时，LSTM模型的预测准确度比Elman模型准确度更高，这也表明具有多层隐藏层的LSTM模型在拟合时序数据衰退趋势方面具有更好的性能。SDA模型是具有多个隐藏层深度学习网络，但不具有循环网络结构，无法学习数据间的时序依赖关系，因此预测准确度较低，从而表明循环神经网络结构更适合对数据之间的时序依赖关系进行建模并实现更准确的预测。SVR作为常见的浅层机器学习回归预测模型，缺少挖掘数据高维特征和时序依赖关系的能力，预测准确度最低。
(2)剩余寿命测试试验优化分析
基于本发明提出的联合迁移预测方法，当TSEOT＝90％时，停止目标电池寿命测试试验，通过数据层和模型层的联合迁移预测目标电池剩余使用寿命，在获得较高寿命预测准确度的同时，能够减少锂电池寿命测试试验消耗的时间，实现锂电池寿命测试试验优化。不同温度下锂电池寿命测试试验优化时间的统计结果如表5所示。
表5不同温度下锂电池寿命测试试验优化时间统计值
Figure BDA0002864538690000141
表5中列出了每种温度下节省的锂电池寿命测试试验时间的统计值。在25℃条件下，节省的测试试验时间(以循环数为单位)的平均值为1187，最大值为1753，最小值为574，平均能够节省46.73％的测试循环数，节省的测试试验时间(以天为单位)的平均值为99，最大值为146，最小值为48；在45℃条件下，节省的测试试验时间(以循环数为单位)的平均值为725，最大值为1337，最小值为191，平均能够节省39.80％的测试循环数，节省的测试试验时间(以天为单位)的平均值为60，最大值为111，最小值为16；在60℃条件下，节省的测试试验时间(以循环数为单位)的平均值为249，最大值为439，最小值为134，平均能够节省28.89％的测试循环数，节省的测试试验时间(以天为单位)的平均值为21，最大值为37，最小值为11。
不同温度下锂电池寿命测试试验优化时间的统计结果如图13所示。
图13(a)～(c)分别表示在25℃，45℃和60℃温度下，锂电池寿命试验节省的测试天数。以图13(a)为例，25℃温度条件下，节省的测试时间(以天为单位)在区间[0，25)，[25，50)，[50，75)，[75，100)，[100，125)内的电池个数占总数的百分比依次为2.04％，16.33％，30.61％，38.78％，12.24％。同理，在45℃温度条件下，节省的测试天数在区间[0，25)，[25，50)，[50，75)，[75，100)，[100，125)内的电池个数占总数的百分比依次为3.45％，29.31％，46.55％，17.24％，3.45％；在60℃温度条件下，节省的测试天数在区间[7，14)，[14，21)，[21，28)，[28，35)，[35，42)内的电池个数占总数的百分比依次为12.50％，45.00％，30.00％，10.00％，2.50％。
图13(d)表示每种温度下，节省测试时间(以天为单位)的分布情况。蓝色图形表示在25℃条件下，节省的平均天数为99天，节省天数的最大值为146，最小值为48；黄色图形表示在45℃条件下，节省的平均天数为60天，节省天数的最大值为111，最小值为16；绿色图形表示在60℃条件下，节省的平均天数为21天，节省天数的最大值为37，最小值为11。随着温度逐步上升，三种温度条件下节省的测试时间依次减小，平均节省的测试时间为60天。
25℃温度条件下，锂电池化学反应速率最慢，循环寿命时间最长，采用本发明提出的寿命预测方法，当TSEOT＝90％停止寿命测试试验，节省的测试时间最长，可获得最显着的优化结果；随着温度升高，45℃温度条件下锂电池化学反应速率加快，循环寿命时间变短，当TSEOT＝90％停止寿命测试试验，节省的测试时间也变少；60℃温度条件下，锂电池化学反应速率最快，循环寿命时间最短，当TSEOT＝90％停止寿命测试试验，节省的测试时间最少。通过对比分析可以发现，随着测试温度的逐步升高，锂电池化学反应速率加快，循环寿命测试时间变短，能够节省的测试时间也逐步减小。
综上所述，本发明提出了一种数据层和模型层联合迁移学习的寿命预测技术，在距离相似性度量得到相似样本的基础上，基于数据层和模型层联合迁移的方式，生成全新的可迁移样本并训练LSTM预测模型，提高目标设备寿命预测模型的准确度，同时能够优化寿命测试试验消耗的时间，解决了相似设备退化轨迹差异化数据的利用和全寿数据缺失条件下的预测建模问题。
通过XX公司锂电池数据集对本发明提出的数据层和模型层联合迁移预测方法进行了验证分析。针对不同配方，不同温度的目标锂电池部分测试数据，基于距离相似度筛选的方法从历史数据库中筛选出较为相似的样本电池。然后，通过数据层迁移生成与目标电池更相似的可迁移样本，通过模型层迁移利用生成的相似样本训练LSTM预测模型，由目标电池少量测试数据预测剩余使用寿命，平均预测准确度达到了93.59％，具有最好的预测准确度。同时，采用该方法对锂电池寿命测试试验进行优化，当TSEOT＝90％时，停止目标电池寿命测试试验，通过数据层和模型层的联合迁移预测剩余使用寿命，平均节省的测试时间为60天。本发明所提方法在有效提升目标设备的剩余使用寿命预测准确度的同时，能够节省大量的寿命测试试验时间，具有可观的经济效益。

Claims (10)

1.一种基于数据层和模型层联合迁移学习的寿命预测方法，包括：
将待预测的目标设备的少量已知退化数据作为目标域数据；
通过距离相似性度量的方法，从历史数据库中筛选与目标设备退化曲线最为相似的历史样本设备的样本数据，作为数据层迁移的源域数据；
利用所述目标域数据和所述源域数据，生成一条更接近目标设备的性能退化曲线；
利用所述更接近目标设备的性能退化曲线和所述目标域数据训练寿命预测模型；
将所述目标设备的待测数据输入到所述训练好的预测模型，对所述目标设备进行寿命预测。
2.根据权利要求1所述的寿命预测方法，其中，利用所述目标域数据和所述源域数据，生成一条更接近目标设备的性能退化曲线包括：
利用所述源域数据训练降噪自动编码器DAE；
将训练好的DAE的参数初始化改进的深度学习SDA模型，使所述SDA模型生成输入层和隐藏层的初始化权重参数；
利用所述目标域数据训练初始化的SDA模型，得到训练好的SDA模型；
将所述源域数据输入到所述训练好的SDA模型，输出一条更接近目标设备的性能退化曲线。
3.根据权利要求2所述的寿命预测方法，其中，利用所述目标域数据训练初始化的SDA模型包括：
采用均方误差损失函数和夹角余弦值损失函数度量所述初始化后的SDA模型的源域数据与目标域数据的学习误差；
通过最小化学习误差，建立从历史样本设备到目标设备的退化数据映射关系，得到训练好的用于迁移数据的SDA模型。
4.根据权利要求3所述的寿命预测方法，其中，所述训练好的SDA模型包括：
一个输入层；
第一隐藏层，其隐藏层初始化权重参数对应经过训练的一个DAE的参数；
第二隐藏层，其隐藏层初始化权重参数对应经过训练的另一个DAE的参数；以及
一个输出层。
5.根据权利要求3所述的寿命预测方法，其中，利用所述更接近目标设备的性能退化曲线和所述目标域数据训练寿命预测模型包括：
将所述更接近目标设备的性能退化曲线作为长短期记忆网络LSTM预测模型的输入，将所述目标域数据作为LSTM预测模型的输出，训练所述LSTM预测模型。
6.根据权利要求5所述的寿命预测方法，其中，训练所述LSTM预测模型包括：
通过学习所述更接近目标设备的性能退化曲线与目标域数据的剩余使用寿命RUL标签之间的映射关系，建立LSTM预测模型的性能退化数据与RUL标签之间的映射关系。
7.根据权利要求5所述的寿命预测方法，其中，对所述目标设备进行寿命预测包括：
利用所述性能退化数据与RUL标签之间的映射关系，得到输入到所述训练好的LSTM预测模型的所述目标设备的待测数据对应的RUL标签。
8.根据权利要求7所述的寿命预测方法，其中，还包括对输入到所述训练好的LSTM预测模型的所述目标设备的待测数据进行归一化处理。
9.根据权利要求7所述的寿命预测方法，其中，对所述目标设备进行寿命预测还包括：对所得到的RUL标签进行反归一化处理，得到RUL预测值。
10.根据权利要求5所述的寿命预测方法，其中，所述训练好的LSTM预测模型包括：
一个输入层；
第一隐藏层；
第二隐藏层；以及
一个输出层。
CN202011576950.0A 2020-12-28 2020-12-28 一种基于数据层和模型层联合迁移学习的寿命预测方法 Active CN112734002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011576950.0A CN112734002B (zh) 2020-12-28 2020-12-28 一种基于数据层和模型层联合迁移学习的寿命预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011576950.0A CN112734002B (zh) 2020-12-28 2020-12-28 一种基于数据层和模型层联合迁移学习的寿命预测方法

Publications (2)

Publication Number Publication Date
CN112734002A true CN112734002A (zh) 2021-04-30
CN112734002B CN112734002B (zh) 2023-01-13

Family

ID=75606296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011576950.0A Active CN112734002B (zh) 2020-12-28 2020-12-28 一种基于数据层和模型层联合迁移学习的寿命预测方法

Country Status (1)

Country Link
CN (1) CN112734002B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240194A (zh) * 2021-06-04 2021-08-10 河北工业大学 储能电池容量预测方法、服务端及计算机可读存储介质
CN113487084A (zh) * 2021-07-06 2021-10-08 新智数字科技有限公司 一种设备使用寿命的预测方法、装置、计算机设备及计算机可读存储介质
CN113536676A (zh) * 2021-07-15 2021-10-22 重庆邮电大学 基于特征迁移学习的锂电池健康状况监测方法
CN114239752A (zh) * 2022-01-24 2022-03-25 广州地铁集团有限公司 继电器剩余寿命预测模型的构建方法、装置、设备及介质
CN118584373A (zh) * 2024-07-25 2024-09-03 江苏小牛电动科技有限公司 一种检测电动车电池性能的方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104792530A (zh) * 2015-04-15 2015-07-22 北京航空航天大学 一种基于SDA和Softmax回归的深度学习滚动轴承故障诊断方法
CN107797067A (zh) * 2016-09-05 2018-03-13 北京航空航天大学 一种基于深度学习的锂离子电池寿命迁移预测方法
US20180143257A1 (en) * 2016-11-21 2018-05-24 Battelle Energy Alliance, Llc Systems and methods for estimation and prediction of battery health and performance
WO2019017991A1 (en) * 2017-07-21 2019-01-24 Quantumscape Corporation PREDICTIVE MODEL FOR ESTIMATING BATTERY CONDITIONS
CN109726524A (zh) * 2019-03-01 2019-05-07 哈尔滨理工大学 一种基于cnn和lstm的滚动轴承剩余使用寿命预测方法
CN111612029A (zh) * 2020-03-30 2020-09-01 西南电子技术研究所（中国电子科技集团公司第十研究所） 机载电子产品故障预测方法
CN112036083A (zh) * 2020-08-28 2020-12-04 北京航空航天大学 一种相似产品剩余寿命预测方法及系统
CN112036084A (zh) * 2020-08-28 2020-12-04 北京航空航天大学 一种相似产品寿命迁移筛选方法和系统
CN112051506A (zh) * 2020-08-28 2020-12-08 北京航空航天大学 一种相似产品可迁移样本筛选方法、系统及用途
CN112101220A (zh) * 2020-09-15 2020-12-18 哈尔滨理工大学 一种无监督模型参数迁移的滚动轴承寿命预测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104792530A (zh) * 2015-04-15 2015-07-22 北京航空航天大学 一种基于SDA和Softmax回归的深度学习滚动轴承故障诊断方法
CN107797067A (zh) * 2016-09-05 2018-03-13 北京航空航天大学 一种基于深度学习的锂离子电池寿命迁移预测方法
US20180143257A1 (en) * 2016-11-21 2018-05-24 Battelle Energy Alliance, Llc Systems and methods for estimation and prediction of battery health and performance
WO2019017991A1 (en) * 2017-07-21 2019-01-24 Quantumscape Corporation PREDICTIVE MODEL FOR ESTIMATING BATTERY CONDITIONS
CN109726524A (zh) * 2019-03-01 2019-05-07 哈尔滨理工大学 一种基于cnn和lstm的滚动轴承剩余使用寿命预测方法
CN111612029A (zh) * 2020-03-30 2020-09-01 西南电子技术研究所（中国电子科技集团公司第十研究所） 机载电子产品故障预测方法
CN112036083A (zh) * 2020-08-28 2020-12-04 北京航空航天大学 一种相似产品剩余寿命预测方法及系统
CN112036084A (zh) * 2020-08-28 2020-12-04 北京航空航天大学 一种相似产品寿命迁移筛选方法和系统
CN112051506A (zh) * 2020-08-28 2020-12-08 北京航空航天大学 一种相似产品可迁移样本筛选方法、系统及用途
CN112101220A (zh) * 2020-09-15 2020-12-18 哈尔滨理工大学 一种无监督模型参数迁移的滚动轴承寿命预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAN MA 等: "A hybrid transfer learning scheme for remaining useful life prediction and", 《APPLIED ENERGY》 *
于广滨等: "基于InfoLSGAN和AC算法的滚动轴承剩余寿命预测", 《航空动力学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240194A (zh) * 2021-06-04 2021-08-10 河北工业大学 储能电池容量预测方法、服务端及计算机可读存储介质
CN113240194B (zh) * 2021-06-04 2022-08-23 河北工业大学 储能电池容量预测方法、服务端及计算机可读存储介质
CN113487084A (zh) * 2021-07-06 2021-10-08 新智数字科技有限公司 一种设备使用寿命的预测方法、装置、计算机设备及计算机可读存储介质
CN113536676A (zh) * 2021-07-15 2021-10-22 重庆邮电大学 基于特征迁移学习的锂电池健康状况监测方法
CN114239752A (zh) * 2022-01-24 2022-03-25 广州地铁集团有限公司 继电器剩余寿命预测模型的构建方法、装置、设备及介质
CN114239752B (zh) * 2022-01-24 2023-01-31 广州地铁集团有限公司 继电器剩余寿命预测模型的构建方法、装置、设备及介质
CN118584373A (zh) * 2024-07-25 2024-09-03 江苏小牛电动科技有限公司 一种检测电动车电池性能的方法及系统

Also Published As

Publication number Publication date
CN112734002B (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN112734002B (zh) 一种基于数据层和模型层联合迁移学习的寿命预测方法
CN112241608B (zh) 一种基于lstm网络和迁移学习的锂电池寿命预测方法
CN109991542B (zh) 基于wde优化lstm网络的锂离子电池剩余寿命预测方法
CN112036084B (zh) 一种相似产品寿命迁移筛选方法和系统
CN113053115B (zh) 一种基于多尺度图卷积网络模型的交通预测方法
CN113777496B (zh) 基于时间卷积神经网络的锂离子电池剩余寿命预测方法
Fan et al. A novel machine learning method based approach for Li-ion battery prognostic and health management
CN113722877B (zh) 一种对锂电池放电时温度场分布变化进行在线预测的方法
CN112990556A (zh) 一种基于Prophet-LSTM模型的用户用电能耗预测方法
CN114325450A (zh) 基于CNN-BiLSTM-AT混合模型的锂离子电池健康状态预测方法
CN112380773A (zh) 一种基于迁移学习的燃料电池退化预测方法、装置、设备
CN113361692B (zh) 一种锂电池剩余寿命结合预测方法
CN111079926B (zh) 基于深度学习的具有自适应学习率的设备故障诊断方法
CN115481788B (zh) 相变储能系统负荷预测方法及系统
CN114578234A (zh) 一种考虑因果性特征的锂离子电池退化与容量预测模型
CN115759415A (zh) 基于lstm-svr的用电需求预测方法
CN113884936B (zh) 一种基于issa耦合delm的锂离子电池健康状态预测方法
Shen et al. Transfer learning-based state of charge and state of health estimation for Li-ion batteries: A review
CN116522747A (zh) 一种两阶段优化的挤压铸造工艺参数优化设计方法
CN116298936A (zh) 在不完全电压范围内的锂离子电池智能健康状态预测方法
CN116359773A (zh) 一种锂离子电池剩余寿命预测方法及系统
CN118157127A (zh) 基于lstm-mm模型的多天气光伏发电功率预测数字孪生系统
CN115062528A (zh) 一种针对工业过程时序数据的预测方法
Zhang et al. Remaining useful life prediction of lithium-ion batteries based on TCN-DCN fusion model combined with IRRS filtering
CN113627594A (zh) 基于wgan的一维时序数据增广方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant