CN108344564A - 一种基于深度学习的主轴特性试验台状态识别及预测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的主轴特性试验台状态识别及预测方法，其步骤：采集主轴特性试验台运行过程中的振动信号，对振动信号进行归一化处理后，采用EEMD对归一化后的振动信号降噪处理后得到IMF分量，对得到的IMF分量重构形成还原信号；还原信号作为CNN的输入样本，对还原信号进行特征提取后得到特征向量进行CNN特征学习，得到训练特征样本；训练特征样本通过多层LSTM编码时间信息，并通过Softmax逻辑回归进行分类得到预测特征样本，实现运行状态的预测；通过训练特征样本和预测特征样本进行Softmax逻辑回归，在逻辑回归层上进行分类判定转子回转试验台系统的故障类型，实现状态识别。本发明具有快速的响应性能和跟踪性能。

Description

一种基于深度学习的主轴特性试验台状态识别及预测方法

技术领域

本发明涉及一种机械设备运行状态的诊断和预测方法，特别是关于一种基于深度学习的主轴特性试验台状态识别及预测方法。

背景技术

机械设备运行状态的诊断和预测对现代企业的生产效率具有十分重要的意义，有利于对设备进行基于状态的维修(condition based maintenance，CBM)和使用寿命的预测(Remaining Useful Life，RUL)，能大幅度提高设备的使用效率。机械系统的监测包括构建系统的数学模型和基于信号采集分析两大类，由于实际工业环境的复杂和噪声污染，建立准确的机械系统数学模型是非常困难的；随着传感器技术、计算机系统运算能力以及人工智能算法的不断发展，基于信号采集分析表现出高效和灵活性。传统的信号分析系统包括：多域特征提取(方差、偏度、峰度、频谱偏差、小波系数等)，敏感特征选择，故障模式识别以及时间序列数据的预测(马尔可夫模型，卡尔曼滤波器和支持向量机SVM等)。针对试验台转子系统的正常、碰磨、不平衡三种类型的状态诊断及预测，王红军等做了大量的研究工作，近年来提出了基于轴心轨迹流行拓扑空间得到可视化的流形敏感特征，采用支持向量机进行故障识别诊断；采用时域内的振动烈度和频域内的频率分量同时作为机械系统状态预测的敏感因子的基于支持向量机的组合预测模型。针对小样本数据集具备很高的识别率和预测精度，然而小样本所包含的数据信息可能存在偏差或者信息不足。

深度学习是一种可用于识别对象的技术，在图像理解领域有大量的研究。深度学习方法通常具有几个甚至数百个隐藏层。从每个层，可以提取和收集包含故障信息的特征，然后用作后续层的输入。输入与输出之间具备从低维度特征转换为高维度抽象表示的非线性映射，克服了对提取和选择适用特征的诊断和预测专业知识。而深度学习理论在高端装备运行状态诊断及健康评估预测的应用，考虑到信号的采集通常被表征为非固定的，并且受到设备以及传输路径中其他部件信号的干扰和噪声影响，有益信息可能被掩盖，如何从被污染的信号中获取有用的信息对于有效的故障诊断和状态预测至关重要。

发明内容

针对上述问题，本发明的目的是提供一种基于深度学习的主轴特性试验台状态识别及预测方法，该方法对降噪后的振动信号具有较强的特征提取能力和泛化能力，测试准确率较高；LSTM(双向长短时记忆循环神经网络)对不同状态下的时域编码信息进行目标值预测具有快速的响应性能和跟踪性能。

为实现上述目的，本发明采取以下技术方案：一种基于深度学习的主轴特性试验台状态识别及预测方法，其特征在于包括以下步骤：1)通过现有数据采集设备采集主轴特性试验台运行过程中的振动信号，并对振动信号进行归一化处理后，采用EEMD对归一化后的振动信号降噪处理后得到IMF分量，对得到的IMF分量重构形成还原信号；2)还原信号作为CNN的输入样本，对还原信号进行特征提取后得到特征向量，并进行CNN特征学习，得到训练特征样本；3)训练特征样本通过多层LSTM编码时间信息，并通过Softmax逻辑回归进行分类，得到预测特征样本，实现运行状态的预测；4)通过训练特征样本和预测特征样本进行Softmax逻辑回归，在逻辑回归层上进行分类判定转子回转试验台系统的故障类型，实现状态识别。

进一步，所述步骤2)中,采用深层卷积神经网络获取特征向量的过程如下： 2.1)定义两个数据集S和Y，给定一个训练样本为S和Y的联合分配， n为数据样本的长度，m为数据的类型数，定义监督学习的映射关系并引入平方误差损失函数；2.2)假设存在一个集合F使得S最小化到Y；数据集S 首先进入卷积层，每个后续层s_i从卷积中通过激励函数ρ从前一层s_i-1得到；当前卷积层l的特征输出由前一层l-1的特征输出作为输入通过卷积得到：

式中，M_j表示选择的输入特征的集合；表示当前卷积层l的第j个通道的特征输出；表示前一层l-1的第i个特征输入；表示当前层l的第j个通道的激励函数ρ的偏置；表示当前层l的第j个通道的激励函数ρ的权重；2.3)池化层紧跟在卷积层之后，卷积层作为池化层的输入层，池化层的特征单元与卷积层的局部接受域相连，形成唯一对应关系；池化层的池化方法为最大池化；2.4)将最后一层池化得到的所有特征图拼接成一维特征作为全连接层的输入，全连接层的输出同样通过对输入加权求和并通过激励函数的响应得到，最后输出特征向量，并采用 Softmax逻辑回归进行状态分类。

进一步，所述步骤2.1)中，平方误差损失函数Eⁱ：

其中，表示第i个样本的第k维，表示第i个样本第k维对应网络输出。

进一步，所述步骤2.2)中，激励函数ρ采用sigmoid函数将输出压缩到[0,1]，将训练集经过归一化处理使其均值为0、方差为1。

进一步，所述步骤2.3)中，采用的最大池化函数为：

其中，表示当前卷积层l的第i个通道的特征输出，β为权重系数，b为偏置项；down()为池化函数，通过滑动窗口对输入特征图划分成多个不重叠的特征块，取特征块中的最大值。

进一步，所述步骤2)中，CNN特征学习问题实际上是计算梯度和权值更新问题，采用BP算法实现梯度计算进而更新权值，反向传播回来的误差看做是每个神经元的基的灵敏度，定义如下：

式中，δ表示基的灵敏度即梯度；表示期望误差E对一个节点全部输入u的导数，即基的灵敏度看作是期望误差E对一个节点全部输入u的导数；反向传播算法的关键点是从高一层向低一层传播，故计算第l层的梯度δ^l和输出层L的梯度δ^L：

其中，表示每个元素相乘；W^l+1表示高一层l+1的权值向量；ρ′表示当前层l激励函数ρ的导数；u^l表示当前层l的特征输入；yⁿ表示输入数据样本；tⁿ表示网络输出数据样本；δ^l+1表示高一层l+1的梯度；

通过使用δ规则进行权值更新，对于第l层，误差对于该层每一个权值的导数是该层的输入与该层的灵敏度的叉乘：

其中，η是学习率，对于每一个权值(W)_ij都有一个特定的学习率η_ij；W^l表示当前层l的权值向量；s^l-1表示前一层l-1的特征向量。

进一步，所述步骤3)中，通过LSTM对运行状态预测过程包括以下步骤：3.1) 在每一个时间步，输入门、输出门和遗忘门被用来控制捕获远程依赖关系的序列传递信息，LSTM框架中定义时间步长为t，s^t为当前数据序列输入，c^t为记忆单元，输入门i^t，遗忘门f^t，输出门o^t，隐藏状态h^t更新方程如下：

i^t＝ρ(Wⁱs^t+Vⁱh^t-1+bⁱ)

f^t＝ρ(W^fs^t+V^fh^t-1+b^f)

o^t＝ρ(W^os^t+V^oh^t-1+b^o)

c^t＝f^t⊙c^t-1+i^t⊙tanh(W^cs^t+V^ch^t-1+b^c)

h^t＝o^t⊙tanh(c^t)

其中，W和V为权重矩阵，b为偏置向量；ρ为sigmoid激励函数，⊙表示元素乘积；终端时间步长的输出用于预测回归softmax逻辑回归层的输出，即预测输出式中，W^r表示权值空间；表示终端时间步长T的第i个元素的隐藏状态；3.2)将预测的状态值与真实值进行比较，引入平方误差损失函数作为模型损失：

多层LSTM中，当前层的输入为前一层的输出，最后一层为全连接层：

oⁱ＝ρ(W_ihⁱ+b_i)

输出实现对时间序列信息的预测；其中，W_i为第i层的权值矩阵；oⁱ表示LSTM 第i层的输出；b_i表示第i层的偏置项；hⁱ表示LSTM第i层对应的输入。

本发明由于采取以上技术方案，其具有以下优点：本发明采用EEMD对采集现场的振动信号进行处理，将降噪后的IMF分量重构形成还原信号作为卷积神经网络的输入样本；通过卷积层和池化层得到样本的固定特征，在全连接层展开进行全连接得到特征向量；一方面在逻辑回归层上进行分类判定转子回转试验台系统的故障类型；与此同时，在特征向量层建立一个双向长短时记忆循环神经网络模型应用于编码时间信息，从而进行状态预测。本发明采用的CNN对降噪后的振动信号具有较强的特征提取能力和泛化能力，不同状态的训练准确能力为99.16％，测试准确率为98.61％；LSTM对不同状态下的时域编码信息进行目标值预测具有快速的响应性能和跟踪性能。

附图说明

图1是本发明的整体流程示意图；

图2是本发明LSTM的单个信元的记忆模块结构示意图；

图3是原始主轴特性试验台采集数据示意图；

图4是本发明的CNN训练集诊断示意图；

图5是本发明CNN测试集诊断示意图；

图6是本发明的CNN特征提取示意图；

图7是本发明的LSTM3300r/min预测示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明提供一种基于深度学习的主轴特性试验台状态识别及预测方法，该方法对主轴特性试验台运行中的正常、碰磨和不平衡三种类型的状态进行识别和预测，其包括以下步骤：

1)通过现有数据采集设备采集主轴特性试验台运行过程中的振动信号，并对振动信号进行归一化处理后，采用总体平均经验模态分解(EEMD)对归一化后的振动信号降噪处理后得到IMF分量，对得到的IMF分量重构形成还原信号；

将采集到的原始振动信号进行总体平均经验模态分解，并利用白噪声的零均值特性，来抑制消除噪声的影响；

2)还原信号作为深层卷积神经网络(CNN)的输入样本，对还原信号进行特征提取后得到特征向量，并进行CNN特征学习，得到训练特征样本；

其中，CNN由输入层、卷积层、池化层、全连接层及输出层分类器构成。采用多个卷积层和池化层交替设置，即一个卷积层连接一个池化层再连接一个卷积层进行迭代。卷积层中输出特征面的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和再加上偏置值得到该神经元输入值；池化层进一步减少特征面的维度，提取敏感特征；全连接层中的每个神经元与其前一层的所有神经元通过激励函数进行全连接，全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息；最后一层全连接层的输出值被传递给一个输出层，得到特征向量。

3)训练特征样本通过多层长短时记忆神经网络模型(LSTM)编码时间信息，并通过Softmax逻辑回归进行分类，得到预测特征样本，实现运行状态的预测。

4)通过训练特征样本和预测特征样本进行Softmax逻辑回归，在逻辑回归层上进行分类判定转子回转试验台系统的故障类型，实现状态识别。

上述步骤2)中,采用深层卷积神经网络获取特征向量的过程如下：

2.1)定义两个数据集S和Y，给定一个训练样本为S和Y的联合分配，n为数据样本的长度，m为数据的类型数，定义监督学习的映射关系为了减少期望误差，引入平方误差损失函数Eⁱ：

其中，表示第i个样本的第k维，表示第i个样本第k维对应网络输出。

2.2)假设存在一个集合F使得S最小化到Y：

式中，E表示期望误差。

数据集S首先进入卷积层，每个后续层s_i从卷积中通过激励函数ρ从前一层s_i-1得到：

其中，W_i为第i层的权值矩阵；b_i表示第i层的偏置项。通常激励函数ρ可以有很多种选择，可以是线性纠正函数(Rectified Linear Uint ReLU)，sigmoid函数， tanh(x)函数或径向基函数等。本实施例中激励函数ρ采用sigmoid函数将输出压缩到[0,1]，将训练集经过归一化处理使其均值为0、方差为1。当前卷积层l的特征输出可以由前一层l-1的特征输出作为输入通过卷积得到：

式中，M_j表示选择的输入特征的集合；表示当前卷积层l的第j个通道的特征输出；表示前一层l-1的第i个特征输入；表示当前层l的第j个通道的激励函数ρ的偏置；表示当前层l的第j个通道的激励函数ρ的权重。

2.3)池化层紧跟在卷积层之后，卷积层作为池化层的输入层，池化层的特征单元与卷积层的局部接受域相连，形成唯一对应关系。池化层旨在通过降低特征面的维度获取具有空间不变性的特征。常用的池化方法有最大池化即取局部接受域中值最大的点，均值池化即对局部接受域中的所有值求均值和随机池化。本实施例中采用的最大池化函数为：

其中，表示当前卷积层l的第i个通道的特征输出，β为权重系数，b为偏置项。down()为池化函数，通过滑动窗口对输入特征图划分成多个不重叠的特征块，取特征块中的最大值。

2.4)将最后一层池化得到的所有特征图拼接成一维特征作为全连接层的输入。全连接层的输出同样可通过对输入加权求和并通过激励函数的响应得到，最后输出特征向量，并采用Softmax逻辑回归进行状态分类。

上述步骤2)中，CNN特征学习问题实际上是计算梯度和权值更新问题。本实施例中采用BP算法实现梯度计算进而更新权值。反向传播回来的误差可以看做是每个神经元的基的灵敏度(即基b的变化多少，误差就变化多少，反映了误差对基的变化率)。定义如下：

式中，δ表示基的灵敏度即梯度；表示期望误差E对一个节点全部输入u的导数，即基的灵敏度可以看作是期望误差E对一个节点全部输入u的导数。反向传播算法的关键点是从高一层向低一层传播，故计算第l层的梯度δ^l和输出层L的梯度δ^L：

其中，表示每个元素相乘；W^l+1表示高一层l+1的权值向量；ρ′表示当前层l激励函数ρ的导数；u^l表示当前层l的特征输入，与前面的s^l定义类似，只是此时反向传播时重新定义输入输出；yⁿ表示输入数据样本；tⁿ表示网络输出数据样本；δ^l+1表示高一层l+1的梯度。

通过使用δ规则进行权值更新，对于第l层，误差对于该层每一个权值(组合为矩阵)的导数是该层的输入(等于上一层的输出)与该层的灵敏度(该层每个神经元的δ组合成一个向量的形式)的叉乘：

其中，η是学习率，对于每一个权值(W)_ij都有一个特定的学习率η_ij；W^l表示当前层l的权值向量；s^l-1表示前一层l-1的特征向量。

上述步骤3)中，长短时记忆网络模型(LSTM)的结构包括一组相互联系的递归子网络模块，也就是熟知的记忆模块。每个网络模块包括一个或多个自相关的记忆单元和3个增值单元：输入门(input gate)、输出门(output gate)和遗忘门 (forget gates)。如图2所示是LSTM的单个信元的记忆模块，3个增值单元是非线性汇总单元，汇集模块内部及外部所有激励，并且通过增值结点控制信元的激励。遗忘门的激励函数通常是对数逻辑曲线，因此门激励在0(门关闭)和1(门开启)之间取值。信元输入门、输出门的激励函数通常是双曲正切和逻辑函数。

通过长短时记忆神经网络模型(LSTM)对运行状态预测：由前一时间步长数据序列s^t-1得到隐藏状态h^t-1，通过更新方程得到后一时间步长的隐藏状态h^t,最终得到终端时间步长h^T，通过预测回归层得到预测输出，引入损失函数与真实状态比较进行权重大小调节和更新。最后通过数据样本的训练学习，得到最优权重值，进而预测下一时间步长的序列信息。具体过程如下：

3.1)在每一个时间步，输入门、输出门和遗忘门被用来控制沿着可以更准确地捕获远程依赖关系的序列传递信息。在本实施例中，LSTM框架中定义时间步长为t，s^t为当前数据序列输入，c^t为记忆单元，输入门i^t，遗忘门f^t，输出门o^t，隐藏状态h^t更新方程如下：

i^t＝ρ(WⁱS^t+Vⁱh^t-1+bⁱ)

f^t＝ρ(W^fS^t+V^fh^t-1+b^f)

o^t＝ρ(W^os^t+V^oh^t-1+b^o)

c^t＝f^t⊙c^t-1+i^t⊙tanh(W^cs^t+V^ch^t-1+b^c)

h^t＝o^t⊙tanh(c^t) (17)

其中，W和V为权重矩阵，b为偏置向量；ρ为sigmoid激励函数，⊙表示元素乘积。

终端时间步长的输出用于预测回归softmax逻辑回归层的输出，即预测输出

式中，W^r表示权值空间，在本实施例中输出维度为1，此时W为权值向量；表示终端时间步长T的第i个元素的隐藏状态；

3.2)对于模型训练，将预测的状态值与真实值进行比较，同样引入平方误差损失函数作为模型损失：

多层LSTM中，当前层的输入为前一层的输出，最后一层为全连接层：

oⁱ＝ρ(W_ihⁱ+b_i) (20)

输出实现对时间序列信息的预测。其中，W_i为第i层的权值矩阵；oⁱ表示LSTM 第i层的输出；b_i表示第i层的偏置项；hⁱ表示LSTM第i层对应的输入。

实施例：

本实施例针对主轴特性试验台，通过采集的样本数据进行了可行性验证。试验平台由伺服驱动机构、液压加载机构、被测轴承、加速度振动传感器以及信号采集系统组成。通过液压加载的负载变化，采集两个交错方向X/Y的信号数据，实现主轴系统与被测轴承的正常、不对中和轴承出现裂痕三种运行状态渐变过程的状态识别和预测。试验过程中采样频率为1 024Hz，转子转速从600r/min、900r/min直到3300r/min逐次加速、采样长度为100000。主轴特性试验台数据集构成如表1所示。

表1转子数据集

每种状态下共有64个数据样本，其中32个样本作为测试集，剩下的32个样本作为测试集，最后、不同状态下的90个总体数据样本作为训练样本，另外96个样本用来测试。传感器采集的不同状态的时域信号如图3所示：可以看出，直接根据时域信号判断状态类型和进行预测是十分困难和效率低下的。

原始数据转换为32×32维度矩阵作为CNN-LSTM模型的输入层。由式(17)可以得出输入样本经过3层卷积池化运算后最后一层全连接层的输出特征向量 D₉＝100，通过Softmax逻辑回归分类器对主轴特性试验台正常、不对中、裂痕三种状态进行类型识别，测试结果如图4、图5所示，对主轴试验台的三种状态具有很明显的识别率，减少了人工操作的不便性。

多层LSTM建立在CNN的顶层对输出特征向量编码时间信息重构时序信号，主轴特性试验台在转速600r/min以每300转逐次递增3300r/min的重构时序信号如图6所示。将前3000r/min的数据作为LSTM网络的训练样本，设置输入单元为10，时间步长为3，最后通过Softmax逻辑回归对3300r/min特征信息进行预测。如图 7所示，不同状态下的时序跟踪具有良好的收敛性。

综上所述，本发明通过深度学习理论CNN-LSTM在主轴特性试验台状态识别及趋势预测的应用。基于系统的时域振动信号通过降噪后构造样本矩阵建立了CNN 卷积神经网络获取输入样本的敏感特征向量。输入样本经过CNN卷积和池化运算能够快速提取原始信号敏感特征，全连接构造特征向量，通过Softmax分类器实现实验台运行过程中不平衡、碰磨和正常状态120个训练样本和120个测试样本的识别，状态识别率为98.61％。同时针对主轴在不同转速和负载工况下，对主轴运行正常、与连接轴承不对中、连接轴承出现裂纹的过程故障进行识别，验证了该模型的正确性和快速响应性能。另一方面，对CNN卷积网络提取的特性信息进行时序序列重构，在CNN顶层建立多层LSTM网络对其进行时间编码。对主轴特性试验台随转速的增加，实现系统的状态的预测。试验表明不同状态下的序列信息跟踪具有很好的收敛性质。对状态的发展趋势具有很好的预测精度。

上述各实施例仅用于说明本发明，各个步骤都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别步骤进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims (7)

1.一种基于深度学习的主轴特性试验台状态识别及预测方法，其特征在于包括以下步骤：

1)通过现有数据采集设备采集主轴特性试验台运行过程中的振动信号，并对振动信号进行归一化处理后，采用EEMD对归一化后的振动信号降噪处理后得到IMF分量，对得到的IMF分量重构形成还原信号；

2)还原信号作为CNN的输入样本，对还原信号进行特征提取后得到特征向量，并进行CNN特征学习，得到训练特征样本；

3)训练特征样本通过多层LSTM编码时间信息，并通过Softmax逻辑回归进行分类，得到预测特征样本，实现运行状态的预测；

4)通过训练特征样本和预测特征样本进行Softmax逻辑回归，在逻辑回归层上进行分类判定转子回转试验台系统的故障类型，实现状态识别。

2.如权利要求1所述的一种基于深度学习的主轴特性试验台状态识别及预测方法，其特征在于：所述步骤2)中,采用深层卷积神经网络获取特征向量的过程如下：

2.1)定义两个数据集S和Y，给定一个训练样本为S和Y的联合分配，n为数据样本的长度，m为数据的类型数，定义监督学习的映射关系并引入平方误差损失函数；

2.2)假设存在一个集合F使得S最小化到Y；数据集S首先进入卷积层，每个后续层s_i从卷积中通过激励函数ρ从前一层s_i-1得到；当前卷积层l的特征输出由前一层l-1的特征输出作为输入通过卷积得到：

式中，M_j表示选择的输入特征的集合；表示当前卷积层l的第j个通道的特征输出；表示前一层l-1的第i个特征输入；表示当前层l的第j个通道的激励函数ρ的偏置；表示当前层l的第j个通道的激励函数ρ的权重；

2.3)池化层紧跟在卷积层之后，卷积层作为池化层的输入层，池化层的特征单元与卷积层的局部接受域相连，形成唯一对应关系；池化层的池化方法为最大池化；

2.4)将最后一层池化得到的所有特征图拼接成一维特征作为全连接层的输入，全连接层的输出同样通过对输入加权求和并通过激励函数的响应得到，最后输出特征向量，并采用Softmax逻辑回归进行状态分类。

3.如权利要求2所述的一种基于深度学习的主轴特性试验台状态识别及预测方法，其特征在于：所述步骤2.1)中，平方误差损失函数Eⁱ：

其中，表示第i个样本的第k维，表示第i个样本第k维对应网络输出。

4.如权利要求2所述的一种基于深度学习的主轴特性试验台状态识别及预测方法，其特征在于：所述步骤2.2)中，激励函数ρ采用sigmoid函数将输出压缩到[0,1]，将训练集经过归一化处理使其均值为0、方差为1。

5.如权利要求2所述的一种基于深度学习的主轴特性试验台状态识别及预测方法，其特征在于：所述步骤2.3)中，采用的最大池化函数为：

其中，表示当前卷积层l的第i个通道的特征输出，β为权重系数，b为偏置项；down()为池化函数，通过滑动窗口对输入特征图划分成多个不重叠的特征块，取特征块中的最大值。

6.如权利要求1所述的一种基于深度学习的主轴特性试验台状态识别及预测方法，其特征在于：所述步骤2)中，CNN特征学习问题实际上是计算梯度和权值更新问题，采用BP算法实现梯度计算进而更新权值，反向传播回来的误差看做是每个神经元的基的灵敏度，定义如下：

式中，δ表示基的灵敏度即梯度；表示期望误差E对一个节点全部输入u的导数，即基的灵敏度看作是期望误差E对一个节点全部输入u的导数；反向传播算法的关键点是从高一层向低一层传播，故计算第l层的梯度δ^l和输出层L的梯度δ^L：

其中，表示每个元素相乘；W^l+1表示高一层l+1的权值向量；ρ′表示当前层l激励函数ρ的导数；u^l表示当前层l的特征输入；yⁿ表示输入数据样本；tⁿ表示网络输出数据样本；δ^l+1表示高一层l+1的梯度；

通过使用δ规则进行权值更新，对于第l层，误差对于该层每一个权值的导数是该层的输入与该层的灵敏度的叉乘：

其中，η是学习率，对于每一个权值(W)_ij都有一个特定的学习率η_ij；W^l表示当前层l的权值向量；s^l-1表示前一层l-1的特征向量。

7.如权利要求1所述的一种基于深度学习的主轴特性试验台状态识别及预测方法，其特征在于：所述步骤3)中，通过LSTM对运行状态预测过程包括以下步骤：

3.1)在每一个时间步，输入门、输出门和遗忘门被用来控制捕获远程依赖关系的序列传递信息，LSTM框架中定义时间步长为t，s^t为当前数据序列输入，c^t为记忆单元，输入门i^t，遗忘门f^t，输出门o^t，隐藏状态h^t更新方程如下：

i^t＝ρ(Wⁱs^t+Vⁱh^t-1+bⁱ)

f^t＝ρ(W^fs^t+V^fh^t-1+b^f)

o^t＝ρ(W^os^t+V^oh^t-1+b^o)

c^t＝f^t⊙c^t-1+i^t⊙tanh(W^cs^t+V^ch^t-1+b^c)

h^t＝o^t⊙tanh(c^t)

其中，W和V为权重矩阵，b为偏置向量；ρ为sigmoid激励函数，⊙表示元素乘积；

终端时间步长的输出用于预测回归softmax逻辑回归层的输出，即预测输出

式中，W^r表示权值空间；表示终端时间步长T的第i个元素的隐藏状态；

3.2)将预测的状态值与真实值进行比较，引入平方误差损失函数作为模型损失：

多层LSTM中，当前层的输入为前一层的输出，最后一层为全连接层：

oⁱ＝ρ(W_ihⁱ+b_i)

输出实现对时间序列信息的预测；其中，W_i为第i层的权值矩阵；oⁱ表示LSTM第i层的输出；b_i表示第i层的偏置项；hⁱ表示LSTM第i层对应的输入。