CN113742178A - 一种基于lstm的网络节点健康状态监测方法 - Google Patents

Abstract

本发明公开了一种基于LSTM的网络节点健康状态监测方法，步骤包括：S1、获取节点多特征重叠数据和多节点状态数据，对所述节点多特征重叠数据和多节点状态数据进行预处理，获得多特征数据，构建LSTM模型；S2、基于所述多特征数据进行CNN特征融合，获得融合特征参数，搭建网络层次结构模型；S3、基于所述LSTM模型，将所述融合特征参数输入到所述LSTM模型，输出退化时间序列；S4、对所述退化时间序列输入到所述网络层侧结构模型进行优化处理和训练处理，获得训练后的特征数据，进行系统整体健康状态预测。

Description

一种基于LSTM的网络节点健康状态监测方法

技术领域

本发明涉及电池监测领域，特别是涉及一种基于LSTM的网络节点健康状态监测方法。

背景技术

在深度学习的应用中，对于时间序列的相关任务分析是一类典型的任务问题。其中，LSTM是一种已经较为成熟应用的模型结构。LSTM方法最初由Sepp Hochreiter与JürgenSchmidnuber提出，其基本框架是基于传统的循环神经网络模型(Recurrent NeuralNetwork,RNN)，用于进行时间序列处理。但RNN模型在实际使用过程中，由于其算法过程的梯度消失与梯度爆炸问题，很难用于处理长期依赖关系，而在系统退化过程中的时间序列往往存在一些长期影响信息，而这一部分信息对于退化过程的分析至关重要，丢失对结果的影响显而易见；而LSTM则为在此背景下提出的用于解决RNN计算时间过长与长期信息“健忘”问题的一种图形神经网络(GNN)模型扩展结构。

发明内容

本发明的目的是实现节点退化过程的准确预测，再将根据预测得到的退化过程向节点状态分布进行转化，再与系统贝叶斯网络模型相结合，最终实现系统健康状态的预测评估。

为实现上述目的，本发明提供了如下方案：本发明提出了一种基于LSTM的网络节点健康状态监测方法，步骤包括：

S1、获取节点多特征重叠数据和多节点状态数据，对所述节点多特征重叠数据和多节点状态数据进行预处理，获得多特征数据，构建LSTM模型；

S2、基于所述多特征数据进行CNN特征融合，获得融合特征参数，搭建网络层次结构模型；

S3、基于所述LSTM模型，将所述融合特征参数输入到所述LSTM模型，输出退化时间序列；

S4、对所述退化时间序列输入到所述网络层侧结构模型进行优化处理和训练处理，获得训练后的特征数据，进行系统整体健康状态预测。

可选的，所述LSTM模型包括：输入门、遗忘门和输出门；

根据所述输入门、遗忘门和输出门学习相应的权重参数，进行记忆单元状态信息的控制和判断。

可选的，所述学习相应的权重参数过程包括：采用前向和后向算法，进行学习相应的权重参数。

可选的，所述网络层次结构模型包括：

输入层，根据所述融合特征参数作为所述网络层次结构模型的输入，根据输入层包含的节点数以及各节点所采集的特征数量确定输入层的维度；

隐层，由多层LSTM网络结构组成，根据数据维度及规模大小确定所述隐层的层数与神经元数量；

输出层，输出电池组容量退化时间序列。

可选的，所述优化处理包括：所述电池组容量退化时间序列输入到所述网络层侧结构模型获得损伤函数，采用均方误差MSE最小为优化目标，其中均方误差γ计算公式如下，

其中，X_i为观察到的真实样本序列，

为样本序列X_i的预测序列。

可选的，所述训练处理包括归一化处理，对原始数据的线性变换，使结果值映射到[0-1]之间，转换函数如下：

其中max为样本数据的最大值，min为样本数据的最小值。X^*为数据X的归一化结果。

可选的，归一化处理后进行参数判断，符合停止条件则进行模型输出，反之则返回LSTM模型重新进行参数设置。

可选的，所述停止条件为：RMSE、MAE达到期望水平即R²>0.85；

具体包括：按照8：1：1或7：2：1的比例划分训练集、验证集与测试集；利用划分好的训练样本作为测试集进行模型评估，以均方根误差RMSE、绝对误差MAE和相关系数R²值作为模型评价指标，RMSE、MAE，和R²值的计算公式分别如下公式所示：

y_i表示第i个真实值；

表示第i次预测的预测值；i＝1,2,……，m为测量次数；并根据评价指标结果进行参数调节模型参数调节采取网格化搜索方法，通过多次调参测试得到较优参数组合。

本发明的有益效果为：本发明利用LSTM模型对得到的多特征参数融合数据进行系统健康状态预测模型的构建，利用特征参数交互作用下融合得到的节点退化趋势信息进行系统整体健康状态预测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的整体方案流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提出了一种基于LSTM的网络节点健康状态监测方法，步骤包括：S1、获取节点多特征重叠数据和多节点状态数据，对所述节点多特征重叠数据和多节点状态数据进行预处理，获得多特征数据，构建LSTM模型；S2、基于所述多特征数据进行CNN特征融合，获得融合特征参数，搭建网络层次结构模型；S3、基于所述LSTM模型，将所述融合特征参数输入到所述LSTM模型，输出电池组容量退化时间序列；S4、对所述退化时间序列输入到所述网络层侧结构模型进行优化处理和训练处理，获得训练后的特征数据，进行系统整体健康状态预测。

LSTM循环神经网络的基本结构与RNN类似，都是基于链式结构的网络模型，但是LSTM循环神经网络当中的重复记忆单元相比RNN更加复杂。LSTM循环神经网络比RNN循环神经网络模型多设计了一个“门逻辑”来弥补RNN存在的缺点。LSTM模型增加了四个隐藏的网络层，每个网络层都特有一套参数，通过相应的方式组合成一个隐藏记忆单元。

LSTM模型包含三种门逻辑结构：输入门、遗忘门和输出门。通过三个门逻辑，学习相应的权重参数，实现对记忆单元状态信息的控制和判断。三个门逻辑结构位于隐藏层中，其中输入门对新时刻的输入信息进行控制，计算相应进入记忆单元的强度信息；遗忘门主要对记忆单元上一时刻的状态信息激活强度进行控制；输出门控制本时刻记忆单元的输出强度。

i_t＝σ(∑W_xix_t+∑W_hix_t-1+∑W_cix_t-1+b_i) (3.1)

f_t＝σ(∑W_xfx_t+∑W_hfx_t-1+∑W_cfx_t-1+b_f) (3.2)

o_t＝σ(∑W_xox_t+∑W_hox_t-1+∑W_cox_t-1+b_o) (3.3)

c_t＝f_tc_t-1+i_ttanh(∑W_xcx_t+∑W_hcx_t-1+b_c) (3.4)

h_t＝o_t tanh(c_t) (3.5)

式~分别是输入门，遗忘门，输出门和记忆单元状态信息的激活值。其中w为各输入循环的权重值；b为偏置项；σ是sigmoid激活函数(也可以是其他激活函数)，用于控制单元流经的权重，范围在0到1之间；t为单元间的激活向量；tanh为双曲正切激活函数；

为逐元素向量乘法操作。

(1)遗忘门

遗忘门的主要功能是对上一时刻记忆单元所储存的节点历史状态信息进行控制。以上一时刻节点的状态信息和本时刻节点的输入信息作为输入，利用学习得到的权值参数计算出相应的激活值，其输出结果是0到1之间的值，以此作为上一时刻状态信息控制的判断标准，来决定状态信息的舍弃和保留。相应的0表示舍弃信息，1表示保留信息，遗忘门可以让网络模型具备对历史信息取舍选择的能力。

(2)输入门

输入门的主要功能也是利用自身学习到的相应权重参数，以当前时刻节点的特征信息作为输入，进行相关运算判断是否需要将当前输入的信息更新到当前时刻记忆单元的状态信息，以此来控制隐藏神经元的状态输入。以sigmoid函数为例，特征信息经过输入门计算之后的激活值为0到1之间的数值，之后以此作用在输入信息来判断是否一个更新当前时刻记忆单元状态信息的值。与遗忘门相同，0为放弃，1为更新，从而实现对输入信息的筛选。

(1)状态层

状态层同样适用上一记忆单元结果h_t-1和本次输入x以及sigmoid，tanh函数计算。其中，输入层的更新情况主要由sigmoid层决定，再通过tanh层创建出一个新的候选值状态向量，再添加到记忆单元当中，然后得到新的状态信息。

(2)输出门

通过输出门的控制可以实现对本时刻记忆单元状态信息输出的控制。与其他门逻辑机构相同，输出门学习相关的权值参数，以当前节点的状态信息作为输入，计算输出激活值，结果为1表示输出，结果为0则放弃输出。

传统的RNN循环神经网络没有相应的门逻辑结构，模型在训练学习的过程中各个时间节点的记忆单元共享一套权重参数，容易造成梯度爆炸和梯度消失，学习效率较低，模型传递过程不可控。与之相比，LSTM模型由于具备更加复杂的逻辑结构，对本时刻的输入，上一时刻信息的保留，以及本时刻状态信息的输出都分别学习一套参数，同时采用合适的算法来对信息进行精准处理。当门关闭的时候之前的计算结果就不会影响当前的计算，而门开启的时候，前面模型的训练结果就会关联到当前的模型计算。

LSTM模型计算过程

与传统的BP神经网络类似，LSTM也具有正向和反向传播计算，有一点需要注意，相应的正向反向计算过程都是在同一个记忆单元内部进行。将当前时刻的神经元记为j，将上一时刻的神经元记为i。从上一时刻到本时刻神经元连接的权值参数记为

(从i到j)，在当前时刻t将神经元j的输入特征参数记为

激活值记为

输入门、遗忘门、输出门和记忆单元分别以下标l、φ、w、c表示。同理，将记忆单元c与输入门的权值参数记为

与输出门的权值参数记为

到遗忘门的权值参数记为

在t时刻，神经元c的状态记作s。输入门、输出门和遗忘门的激活函数记作f，神经元c的输入激活函数记作g，输出激活函数记作h。

设输入神经元的数量为I，输出神经元的数量为K，隐藏层的单元数量为H。在隐藏层中，神经元通过它自身的输出

与其余的记忆块连接，而记忆块中其余的激活函数，如神经元输入值、门激活函数和神经元状态都只在记忆单元内部起作用。记索引h来表示隐藏层的输入神经元数量为G，G包括所有单元和门，使用索引g来表示这些输入神经元。LSTM的前向算法是为了计算一个长度为时间T的输入序列X，该时间序列长度T的起始点为t＝1，当时间点t的值不断递增时，方程也相应递归更新，一直持续到t＝T为止。反向算法类似前向算法，也是计算时间长度T的一个输入序列X，但是反向算法的起始时间为t＝T，当t不断递减时，递归计算出记忆单元的导数，一直持续到t＝1为止。根据以上每个时间点的导数，可以得到最终的权值导数值，如所示：

其中，loss是损失函数，用来度量本次训练得到的模型所产生的预测值与真实值之间的偏差，通过调整参数减小损失函数的值实现对网络参数的优化。

(1)前向算法

t时刻输入门的值为：

t时刻输入门的激活值：

t时刻遗忘门的值为：

t时刻遗忘门的激活值为：

t时刻记忆单元的输入值为：

t时刻记忆单元的状态值为：

t时刻输出门的值为：

t时刻输出门的激活值为：

(2)反向算法

记权重的导数值为：

t时刻单元的值为：

t时刻输出门的值为：

t时刻的状态值为：

单元权值导数为：

遗忘门权值导数：

输入门权值导数为：

基于前向和后向算法，实现LSTM的参数学习过程。

基于LSTM的节点健康状态预测

利用LSTM模型对得到的多特征参数融合数据进行系统健康状态预测模型的构建，利用特征参数交互作用下融合得到的节点退化趋势信息进行系统整体健康状态预测。根据深度学习算法的基本结构，模型构建过程主要包括三部分：1)网络层次结构搭建；2)寻优求解；

3)模型训练。

(1)网络模型输入数据准备

本发明结合节点多特征输入进行相应的预测过程，在时间序列信息上考虑节点的退化交互作用，获取节点的退化趋势。这一信息的输入可由节点前期退化过程进行学习获得。记S_ori为预测所采用的训练数据集，归一化后记为S，节点健康状态融合特征数据表达为S_c＝[X₁，X₂，…，X_n，…X_N]^T，n∈N，其中N为系统内部包含的单节点数量；系统健康状态数据表示为S_P＝[Y₁，Y₂，…，Y_m，…，Y_M]^T，m∈M，其中M为系统健康状态指标类型，为简化叙述，假设系统健康状态指标个数为1，展开讨论，即S_P＝[Y]。对于每个单节点的健康状态融合特征数据X_n，在时间序列T上的数据可以表示为：

其中，t∈T为时间序列的时间标间，T为时间序列的采集时长；p∈P为电池单体的健康状态指标类型(维度)。至此，已给出模型中根节点及系统健康状态指标进行输入输出规则。

(2)网络模型搭建

网络模型结构取决于数据输入输出形式、数据规模及优化结构类型。本文所提出网络结构基于本章前文所述LSTM基本结构及Dropout正则化方法。

1)输出层

以根节点健康状态退化融合特征数据作为模型输入，其维度取决于被估计的系统所包含的节点数以及各节点所采集的特征数量；

2)输出层

模型内部结构由数层LSTM网络结构组成，其层数与神经元数量取决于数据维度及规模大小，相应的模型内部结构。仅由LSTM组成的神经网络容易出现过拟合现象，使得模型的泛化能力极差；为减轻过拟合现象的发生，每两层LSTM结构中设置Dropout环节，对网络结构中的神经元进行随机丢弃重构；

3)输出层

模型输出为电池组容量退化时间序列，其时间维度与输入序列的时间维度保持一致。

(3)模型训练及结果输出

在模型训练过程中，损失函数(Loss function)的设定是模型求解的重要标准。本文采用以均方误差MSE(Mean-square error)最小为优化目标。均方误差γ的具体计算公式如下：

其中，X_i为观察到的真实样本序列，

为样本序列X_i的预测序列，则两者间的均方误差MSE则可由上式中的γ得到。基于损失函数，采用合适的优化算法(如RMSprop、Adam等)，进行模型的参数求解。

(4)模型训练及结果输出

模型的训练是决定神经网络模型有效性与准确性的最关键环节，为了能在本文所述应用场景下获得满意的模型训练结果，需要对以下内容进行良好的实现：

1)数据排序：

模型训练需要进行良好的归一化处理，以消除由于数据尺度不同造成的预测误差。

2)数据排序：

一般按照8：1：1或7：2：1的比例划分训练集、验证集与测试集，这一划分比例主要考虑为模型提供充足的训练数据以进行模型参数寻优，并提供不少于测试集的验证集规模来保证训练效果，遵循一般深度学习的数据集划分习惯。

停止条件为：RMSE、MAE达到期望水平即R²>0.85；

具体包括：按照8：1：1或7：2：1的比例划分训练集、验证集与测试集；利用划分好的训练样本作为测试集进行模型评估，以均方根误差RMSE、绝对误差MAE和相关系数R²值作为模型评价指标，RMSE、MAE，和R²值的计算公式分别如下公式所示：

y_i表示第i个真实值；

表示第i次预测的预测值；i＝1,2,……，m为测量次数；并根据评价指标结果进行参数调节模型参数调节采取网格化搜索方法，通过多次调参测试得到较优参数组合。

3)数据排序：

根据数据前后特点的一致性，对数据进行重新排序有助于训练集中包含各类型的特征数据，训练所得模型效果较好。

完成输入数据处理后对模型进行训练，具体模型参数根据训练数据效果进行判定；模型输出设定为系统健康状态量预测值。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (8)

1.一种基于LSTM的网络节点健康状态监测方法，其特征在于，步骤包括：

S1、获取节点多特征重叠数据和多节点状态数据，对所述节点多特征重叠数据和多节点状态数据进行预处理，获得多特征数据，构建LSTM模型；

S2、基于所述多特征数据进行CNN特征融合，获得融合特征参数，搭建网络层次结构模型；

S3、基于所述LSTM模型，将所述融合特征参数输入到所述LSTM模型，输出退化时间序列；

S4、对所述退化时间序列输入到所述网络层侧结构模型进行优化处理和训练处理，获得训练后的特征数据，进行系统整体健康状态预测。

2.根据权利要求1所述的基于LSTM的网络节点健康状态监测方法，其特征在于，所述LSTM模型包括：输入门、遗忘门和输出门；

根据所述输入门、遗忘门和输出门学习相应的权重参数，进行记忆单元状态信息的控制和判断。

3.根据权利要求2所述的基于LSTM的网络节点健康状态监测方法，其特征在于，所述学习相应的权重参数过程包括：采用前向和后向算法，进行学习相应的权重参数。

4.根据权利要求1所述的基于LSTM的网络节点健康状态监测方法，其特征在于，所述网络层次结构模型包括：

输入层，根据所述融合特征参数作为所述网络层次结构模型的输入，根据输入层包含的节点数以及各节点所采集的特征数量确定输入层的维度；

隐层，由多层LSTM网络结构组成，根据数据维度及规模大小确定所述隐层的层数与神经元数量；

输出层，输出电池组容量退化时间序列。

5.根据权利要求1所述的基于LSTM的网络节点健康状态监测方法，其特征在于，所述优化处理包括：所述电池组容量退化时间序列输入到所述网络层侧结构模型获得损伤函数，采用均方误差MSE最小为优化目标，其中均方误差γ计算公式如下，

其中，X_i为观察到的真实样本序列，

为样本序列X_i的预测序列。

6.根据权利要求1所述的基于LSTM的网络节点健康状态监测方法，其特征在于，所述训练处理包括归一化处理，对原始数据的线性变换，使结果值映射到[0-1]之间，转换函数如下：

其中max为样本数据的最大值，min为样本数据的最小值。X^*为数据X的归一化结果。

7.根据权利要求6所述的基于LSTM的网络节点健康状态监测方法，其特征在于，归一化处理后进行参数判断，符合停止条件则进行模型输出，反之则返回LSTM模型重新进行参数设置。

8.根据权利要求7所述的基于LSTM的网络节点健康状态监测方法，其特征在于，所述停止条件为：RMSE、MAE达到期望水平即R²>0.85；

具体包括：按照8：1：1或7：2：1的比例划分训练集、验证集与测试集；利用划分好的训练样本作为测试集进行模型评估，以均方根误差RMSE、绝对误差MAE和相关系数R²值作为模型评价指标，RMSE、MAE，和R²值的计算公式分别如下公式所示：

y_i表示第i个真实值；

表示第i次预测的预测值；i＝1,2,……，m为测量次数；并根据评价指标结果进行参数调节模型参数调节采取网格化搜索方法，通过多次调参测试得到较优参数组合。

Images