CN111722139B - 基于可微连续映射的锂电池健康监测模型自学习方法 - Google Patents

Abstract

本发明涉及一种基于可微连续映射的锂电池健康监测模型自学习方法，属于锂电池健康监测领域，包括以下步骤：S1：根据锂电池健康状态监测的任务类型，以1d‑CNN和AST‑LSTM NN为核心模块进行组合，根据任务要求的性能指标以及网络本身的损失函数大小为约束，挑选适应任务需要的神经网络模型；S2：在获得与各类健康状态监测任务匹配的神经网络模型之后，采用可微结构的自动学习方法，对这些神经网络进行自动训练。本发明将助于缺乏ANN经验的锂电池研究人员和工程师，快速简单地使用ANN建模，降低模型训练的成本，提高锂电池健康状态监测的研发能效。

Description

基于可微连续映射的锂电池健康监测模型自学习方法

技术领域

本发明属于锂电池健康监测领域，涉及一种基于可微连续映射的锂电池健康监测模型自学习方法。

背景技术

锂电池健康监测模型性能对异常工况的鲁棒性欠佳。大量研究表明，关于基础模型的选择，使用深层ANN的效果普遍优于浅层ANN。然而，这些研究大多直接使用标准的RNN、CNN、LSTM NN，改进模型本身对时间序列处理能力的研究极少。以LSTM NN为例，当利用遗忘门和候选产生门对时间序列的长短期依赖关系进行记忆时，用于防止反向误差信息快速衰减的CEC(Constant Error Carousel)却没有被控制。这对信息筛选是不利的，导致记忆的效率降低，最终影响中监测模型鲁棒性。一些研究尝试通过LSTM NN与CNN、或RNN的组合来强化基础模型的性能，但仅对标准网络进行简单组合，效果并不理想。

采用ANN对锂电池健康状态监测的准确性，大多优于其他机器学习方法，但模型训练时间和计算资源的代价更高。该问题来源于对ANN的超参数调节，这亦是近年来人工智能所面临的公认难题之一。最近在标准LSTM NN基础上提出了主动状态追踪的LSTM NN(AST-LSTM NN)，并将其用于锂电池SOH估计和RUL多步预测，性能优于RNN、多种改进的LSTMNN以及其他机器学习方法。然而，为获得合适的SOH与RUL模型，在高性能GPU硬件环境中，以NASA数据集28个单体共计90720个数据点作为训练数据，针对16个LSTM超参数的不同组合，进行了300余次，共计700余小时的网络训练，训练过程数据高达1.82G。这还是在参考其他研究模型作为“预训练模型”，且不计人工校验所花费的时间，否则代价更高。因此，降低建模过程中的人工参与的代价，自动地优化超参数调节过程，提高训练效率，是采用ANN进行锂电池健康状态监测的迫切问题。

发明内容

有鉴于此，本发明的目的在于以监测模型性能改进和建模效率提升破题，弥补锂电池健康状态预测中神经网络建模理论研究缺失，为健康监测模型架构设计与优化提供新的研究思路，针对一维锂电池序列特点，以一维CNN和AST-LSTM为核心模块，构建满足SOC、SOH、RUL等任务的混合神经网络，并将其拓扑结构、神经元表示成有向无环图，将离散超参数调节转为连续优化问题，自动高效搜索模型架构。

为达到上述目的，本发明提供如下技术方案：

一种基于可微连续映射的锂电池健康监测模型自学习方法，包括以下步骤：

S1：根据锂电池健康状态监测的任务类型，以1d-CNN和AST-LSTM NN为核心模块进行组合，根据任务要求的性能指标以及网络本身的损失函数大小为约束，挑选适应任务需要的神经网络模型；

S2：在获得与各类健康状态监测任务匹配的神经网络模型之后，采用可微结构的自动学习方法，对这些神经网络进行自动训练。

进一步，步骤S1中，以1d-CNN和AST-LSTM NN为核心模块，按以下四种基本方式对其组合，根据任务要求的性能指标以及网络本身的损失函数大小为约束，挑选适应任务需要的神经网络模型：

在上式中，Y为锂电池健康状态监测的指标，是集合{SOH,RUL,SOC,SOF,…异常分类}中的任意元素或其组合；

表示神经网络模型的非线性映射作用；Θ_A和Θ_C分别为AST-LSTM NN与1d-CNN模块中的超参数；net_A和net_C分别为AST-LSTM NN与1d-CNN模块的输入；

和

分别为上述组合的损失函数；a_m和c_n分别为AST-LSTM块的个数与1d-CNN中的通道宽度；w为这些神经网络中的权值。

进一步，步骤S2中，自动学习框架包括离散网络结构的连续可微映射、部分通道连接、局部边界归一化，具体为：

S21：离散化监测模型的连续可微映射，采用网络结构、网络单元表示为有向无环图，将结构搜索问题进行松弛，转化为连续变量优化问题；

S22：在进行局部通道自动学习时，网络的超参数定义为K；连接被选定，即S_i,j＝1，占所有连接的比例为1/K，通过改变K，实现方式灵活的自动学习，并在学习精度，即K较小，和效率，即K较大之间找到平衡点；

S23：引入边界归一化的自动学习，缓解潜在的波动。

进一步，步骤S21具体包括：将锂电池健康状态监测的神经网络模型，分解为L个单元，每个单元为具有N个节点的有向无环图，每个节点代表模型中的一个网络层；预定义一个操作空间Ο，该空间中每个元素o(·)代表在网络层上执行的固定操作，包括卷积、池化、连接、LSTM单元中的遗忘门、输入门、输出门、CEC控制门操作；

网络的自动学习是从操作空间Ο选择一个操作，使得某一个单元中的几点进行连接配对，令一对节点为(i,j)，0≤i＜j≤N-1，从i到j的信息传递被视为一个加权和操作|Ο|，即：

其中，x_i是第i个节点的输出，

是加权运算o(x_i)对应的一个超参数，节点j的输出是与其相连的所有节点的加权输入之和，即：

在固定节点x₀和x₁作为单元输入之后，整个锂电池健康状态监测模型的单元输出对应于串联节点x₂至节点x_N-1；设L_t和L_v分别为训练集与验证集上的损失，自动学习的目标为：

w^*＝arg min_wL_t(w,α^*) (4)

α^*和w^*分布为上层、下层优化变量，此优化问题进一步描述为

min_αL_v(w^*(α),α)s.t.w^*(α)＝arg min_wL_t(w,α) (5)

在求解上述优化问题过程中，当执行k次迭代时，根据当前结构α_k-1，通过将w_k-1向着使得训练误差L_t(w_k-1,α_k-1)最小化的方向移动得到w_k；然后固定w_k，最小化在验证集上的损失，此过程的代价为：L_v(w_k-ηL_t(w_k,α_k-1),α_k-1)；为求解此代价，对w进行迭代的梯度下降计算，根据复合导数原则，代价函数对α的梯度为：

其中，

如此，网络每层都有可微分权重w^*和超参数α^*，且按梯度下降方式进行自动学习与架构搜索。

进一步，步骤S22具体包括：

定义节点x_i到节点x_j的状态为S_i,j，当二者连接时，其值为0，且不进行操作|Ο|，直接复制到单元输出，反之为1，执行操作|Ο|；此过程表示为：

将考察

的内存开销，通过大量数值实验，分析在小批量操作中，分析更多的训练数据对网络权值和结构参数更新不确定性的影响。

进一步，步骤S23中，定义归一化操作β_i,j，对有向图中的每个边，即(i,j)，进行显式加权，并采用下式计算

在局部通道自动学习的同时，边(i,j)的连接由

和β_i,j共同决定，即，将归一化系数

和

进行相乘；在学习过程中，权重参数最大的边将被选中。

本发明的有益效果在于：本发明将助于缺乏ANN经验的锂电池研究人员和工程师，快速简单地使用ANN建模，降低模型训练的成本，提高锂电池健康状态监测的研发能效。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为基于一维卷积与AST-LSTM神经网络的锂电池健康状态监测系统结构示意图；

图2为可微结构下锂电池健康状态监测模型的自动学习结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

针对神经网络监测锂电池健康状态中，预训练模型性能欠佳的问题，研究长短期记忆和卷积网络在不同监测任务中的模块化混合建模方法。以锂电池序列的长短期依赖关系为对象，研究锂电池序列的信息遗忘、数据加载及误差控制，设计具有自主状态跟踪的长短期记忆网络；以序列的空间非线性特征为对象，研究卷积网络对序列非线性特征的捕获规律；以具体的健康监测指标为约束，研究上述网络的模块化建模。

(1)基于可微连续映射的锂电池健康监测模型自学习

针对与各种健康状态监测任务匹配的神经网络训练，人工干预过多造成建模效率较低的问题，研究监测模型在可微结构下的自动学习方法。以监测模型的结构化超参数为对象，研究神经网络在有向无环图框架下的连续可微映射，将黑箱结构搜索的问题进行松弛，转化为连续变量优化问题；以连续可微的模型结构为对象，研究监测模型局部通道与边界归一化的自动学习，降低人工对超参数调节的参与程度，并确保模型稳定性。

1)任务约束的模块化组装

一维卷积与长短期记忆自主跟踪的锂电池健康状态监测，是针对具体任务，如SOH、RUL、SOC、异常工况分类等，模块组装AST-LSTM NN和1d-CNN，快速完成相应任务的交叉验证。其过程如图1所示。

根据锂电池健康状态监测的任务类型，如SOH、RUL、SOC、SOF、异常工况分类等，以1d-CNN和AST-LSTM NN为核心模块，按以下四种基本方式对其组合，根据任务要求的性能指标以及网络本身的损失函数大小为约束，挑选适应任务需要的神经网络模型。

在上式中，Y为锂电池健康状态监测的指标，它可以是集合{SOH,RUL,SOC,SOF,…异常分类}中的任意元素或其组合；

表示神经网络模型的非线性映射作用；Θ_A和Θ_C分别为AST-LSTM NN与1d-CNN模块中的超参数；net_A和net_C分别为AST-LSTM NN与1d-CNN模块的输入；

和

分别为上述组合的损失函数；a_m和c_n分别为AST-LSTM块的个数与1d-CNN中的通道宽度；w为这些神经网络中的权值。注：为方便后续讨论，Θ_A和Θ_C将在以下内容被描述成

2)基于可微连续映射的锂电池健康监测模型自学习

在获得与各类健康状态监测任务匹配的神经网络模型之后，将采用可微结构的自动学习方法，对这些神经网络进行自动训练，以减少人工干预，如依靠人工经验通过不断试错，手动调整网络拓扑架构、交叉验证等。该自动学习框架包括离散网络结构的连续可微映射、部分通道连接、局部边界归一化三个步骤，如图2所示。

2-1)离散化监测模型的连续可微映射

任何基于神经网络的锂电池健康状态预测模型，其模型训练均为离散化的黑箱优化问题，梯度信息没有在超参数调节过程中得到体现。为此，需要依靠人工经验不断试错，寻找合适的结构以适应多种监测任务。鉴于此，我们采用网络结构、网络单元表示为有向无环图，将结构搜索问题进行松弛，转化为连续变量优化问题。

具体地，将锂电池健康状态监测的神经网络模型，分解为L个单元，每个单元为具有N个节点的有向无环图，每个节点代表模型中的一个网络层。预定义一个操作空间Ο，该空间中每个元素o(·)代表在网络层上执行的固定操作，如卷积、池化、连接、LSTM单元中的遗忘门、输入门、输出门、CEC控制门操作等。对于网络的自动学习，就是从操作空间Ο选择一个操作，使得某一个单元中的几点进行连接(也叫配对)。假设一对节点为(i,j)，0≤i＜j≤N-1。从i到j的信息传递被视为一个加权和操作|Ο|，即：

其中，x_i是第i个节点的输出，

是加权运算o(x_i)对应的一个超参数。节点j的输出是与其相连的所有节点的加权输入之和，即：

在固定节点x₀和x₁作为单元输入之后，整个锂电池健康状态监测模型的单元输出对应于串联节点x₂至节点x_N-1。设L_t和L_v分别为训练集与验证集上的损失，自动学习的目标为：

w^*＝arg min_wL_t(w,α^*) (4)

α^*和w^*分布为上层、下层优化变量。此优化问题可进一步描述为

min_αL_v(w^*(α),α)s.t.w^*(α)＝arg min_wL_t(w,α) (5)

在求解上述优化问题过程中，当执行k次迭代时，根据当前结构α_k-1，通过将w_k-1向着使得训练误差L_t(w_k-1,α_k-1)最小化的方向移动得到w_k。然后固定w_k，最小化在验证集上的损失，此过程的代价为：L_v(w_k-ηL_t(w_k,α_k-1),α_k-1)。为求解此代价，可对w进行迭代的梯度下降计算，根据复合导数原则，代价函数对α的梯度为：

其中，

如此，网络每层都有可微分权重w^*和超参数α^*，且按梯度下降方式进行自动学习与架构搜索。实际研究中，将根据方案(2)所确定的某一组合方式，给出(6)式的解析表达。

2-2)局部通道连接的自动学习

定义节点x_i到节点x_j的状态为S_i,j。当二者连接时，其值为0，且不进行操作|Ο|，直接复制到单元输出，反之为1，执行操作|Ο|。此过程可表示为：

在锂电池健康状态监测的神经网络模型进行局部通道自动学习时，网络的超参数定义为K。连接被选定(即S_i,j＝1)占所有连接的比例为1/K。通过改变K,可以实现方式灵活的自动学习，并在学习精度(K较小)和效率(K较大)之间找到平衡点。

实际研究中，将考察

的内存开销，并通过大量数值实验，分析在小批量操作中，分析更多的训练数据对网络权值和结构参数更新不确定性的影响。

2-3)边界归一化的自动学习

在将锂电池健康状态的神经网络模型进行有向图映射时，每一个单元的输出节点x_j需要从前面的节点{x₀,x₁…,x_j-1}中获得两个输入节点。这些输入节点分别由

决定。然而，这些结构确定的参数是通过随机采样获得的，其最佳的组合可能会随采样通道的时间变化而变化，最终导致模型结构发生意外波动。为此，本方案引入边界归一化的自动学习，以缓解潜在的波动。

定义归一化操作β_i,j，对有向图中的每个边，即(i,j)，进行显式加权，并采用下式计算

具体地，在局部通道自动学习的同时，边(i,j)的连接由

和β_i,j共同决定，即，将归一化系数

和

进行相乘。在学习过程中，权重参数最大的边将被选中。

由于β_i,j是共享的，因此，理论上自动学习到的网络结构对通道并不敏感(所有通道均被归一化)。实际研究中，将通过大量对比实验加以验证。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种基于可微连续映射的锂电池健康监测模型自学习方法，其特征在于：包括以下步骤：

S1：根据锂电池健康状态监测的任务类型，以1d-CNN和AST-LSTMNN为核心模块进行组合，根据任务要求的性能指标以及网络本身的损失函数大小为约束，挑选适应任务需要的神经网络模型；

S2：在获得与各类健康状态监测任务匹配的神经网络模型之后，采用可微结构的自动学习方法，对这些神经网络进行自动训练；所述自动学习方法包括离散网络结构的连续可微映射、部分通道连接、局部边界归一化，具体为：

S21：离散化监测模型的连续可微映射，采用网络结构、网络单元表示为有向无环图，将结构搜索问题进行松弛，转化为连续变量优化问题；具体包括：将锂电池健康状态监测的神经网络模型，分解为L个单元，每个单元为具有N个节点的有向无环图，每个节点代表模型中的一个网络层；预定义一个操作空间O，该空间中每个元素o(·)代表在网络层上执行的固定操作，包括卷积、池化、连接、LSTM单元中的遗忘门、输入门、输出门、CEC控制门操作；

网络的自动学习是从操作空间O选择一个操作，使得某一个单元中的几点进行连接配对，令一对节点形成的边为(i,j)，0≤i＜j≤N-1，从i到j的信息传递被视为一个加权和操作|O|，即：

其中，x_i是第i个节点的输出，

是加权运算o(x_i)对应的一个超参数，节点j的输出是与其相连的所有节点的加权输入之和，即：

在固定节点x₀和x₁作为单元输入之后，整个锂电池健康状态监测模型的单元输出对应于串联节点x₂至节点x_N-1；设L_t和L_v分别为训练集与验证集上的损失，自动学习的目标为：

w*＝argmin_wL_t(w,α*)k-1▽_aAji (4)

α*和w*分别为上层、下层优化变量，此优化问题进一步描述为

min_αL_v(w*(α),α) s.t.w*(α)＝argmin_wL_t(w,α) (5)

在求解上述优化问题过程中，当执行k次迭代时，根据当前结构α_k-1，通过将w_k-1向着使得训练误差L_t(w_k-1,α_k-1)最小化的方向移动得到w_k；然后固定w_k，最小化在验证集上的损失，此过程的代价为：L_v(w_k-ηL_t(w_k,α_k-1),α_k-1)；为求解此代价，对w进行迭代的梯度下降计算，根据复合导数原则，代价函数对α的梯度为：

其中，w'＝w-η▽_wL_v(w,α)；

如此，网络每层都有可微分权重w*和超参数α*，且按梯度下降方式进行自动学习与架构搜索；

S22：在进行局部通道自动学习时，网络的超参数定义为K；连接被选定，即S_i,j＝1，占所有连接的比例为1/K，通过改变K，实现方式灵活的自动学习，并在学习精度，即K较小，和效率，即K较大之间找到平衡点；具体包括：

定义节点x_i到节点x_j的状态为S_i,j，当二者连接时，其值为0，且不进行操作|O|，直接复制到单元输出，反之为1，执行操作|O|；此过程表示为：

将考察

的内存开销，通过大量数值实验，分析在小批量操作中，分析更多的训练数据对网络权值和结构参数更新不确定性的影响；

S23：引入边界归一化的自动学习，缓解潜在的波动；在将锂电池健康状态的神经网络模型进行有向图映射时，每一个单元的输出节点x_j从前面的节点{x₀,x₁…,x_j-1}中获得两个输入节点；这些输入节点分别由

决定，引入边界归一化的自动学习：

定义归一化操作β_i,j，对有向图中的每个边，即(i,j)，进行显式加权，并采用下式计算

在局部通道自动学习的同时，边(i,j)的连接由

和β_i,j共同决定，即，将归一化系数

和

进行相乘；在学习过程中，权重参数最大的边将被选中。

2.根据权利要求1所述的基于可微连续映射的锂电池健康监测模型自学习方法，其特征在于：步骤S1中，以1d-CNN和AST-LSTM NN为核心模块，按以下四种基本方式对其组合，根据任务要求的性能指标以及网络本身的损失函数大小为约束，挑选适应任务需要的神经网络模型：

在上式中，Y为锂电池健康状态监测的指标，是集合{SOH,RUL,SOC,SOF,…异常分类}中的任意元素或其组合；

表示神经网络模型的非线性映射作用；Θ_A和Θ_C分别为AST-LSTMNN与1d-CNN模块中的超参数；net_A和net_C分别为AST-LSTMNN与1d-CNN模块的输入；

和

分别为上述组合的损失函数；a_m和c_n分别为AST-LSTM块的个数与1d-CNN中的通道宽度；w为这些神经网络中的权值。

Images