CN109460005A - 基于gru深度神经网络的动态工业过程故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于GRU深度神经网络的动态工业过程故障诊断方法，本方法将原始数据分成几个序列单元作为GRU的输入，通过批量归一化算法建立GRU网络，可以有效地从序列单元中提取动态特征，采用softmax回归方法，根据GRU提取的动态特征对故障进行分类，给出分类的概率解释，使得诊断结果进一步精确，从而避免“维数灾难”问题，提高动态工业过程故障诊断的准确率。

Description

基于GRU深度神经网络的动态工业过程故障诊断方法

技术领域

本发明涉及一种基于GRU深度神经网络的动态工业过程故障诊断方法。

背景技术

随着现代工业技术和过程控制机制的发展，工业过程变得越来越复杂。为了提高工业过程安全性和产品质量，过去几十年来工业过程监控和故障诊断受到了广泛关注。数据驱动的多变量统计过程监测(MSPM)已广泛应用于工业过程操作和生产结果的监测。与基于知识的方法和基于模型的方法相比，MSPM方法更容易建立。因此，主成分分析(PCA)，独立成分分析(ICA)等MSPM模型被广泛应用于工业过程监控和故障诊断。传统故障诊断的框架主要包括两个步骤：1)特征提取；2)故障分类。在特征提取步骤中，已经提出了许多方法将来自高维空间的原始数据映射到低维特征空间，然后在该特征空间中执行故障诊断。PCA，ICA，偏最小二乘法(PLS)和线性判别分析(LDA)是故障诊断领域中使用最广泛的特征提取方法。在故障分类步骤中，各种分类器，如多层感知神经网络(MLP)，支持向量机(SVM)，贝叶斯判别函数，自适应模糊推理系统(ANFIS)等已被广泛应用于故障分类。PCA+SVM和ICA+MLP等“特征提取+分类”故障诊断策略取得了良好的效果。然而，像PCA和LDA这样的静态建模方法是假设数据样本独立于传感器而没有序列相关性而收集的，众所周知，大多数工业过程在时间上都是连续的，称为动态工业过程。为了提取序列数据的动态特征，动态主成分分析(DPCA)和动态线性判别分析(DLDA) 等已开发应用，结合分类器可用于动态工业过程的故障诊断，如DPCA+SVM和 DLDA+SVM。然而，这些基于矢量增强的方法可能会加剧“维数灾难”(在涉及向量计算问题中，随着维数的增加，计算量呈指数倍增长的现象)，并使特征提取方法不稳定；此外，增强的结构是预先固定的，即动态信息的采用不是从原始过程数据中自适应地学习的。

发明内容

本发明所要解决的技术问题是提供一种基于GRU深度神经网络的动态工业过程故障诊断方法，本方法采用GRU神经网络自适应提取工业过程中的动态特征，并采用softmax函数回归来进行分类，给出分类的概率解释，避免了“维数灾难”问题，提高动态工业过程故障诊断的准确率。

为解决上述技术问题，本发明基于GRU深度神经网络的动态工业过程故障诊断方法包括如下步骤：

步骤一、假设有n组原始实验数据X＝[x₁,x₂...x_n]，将时间步长T 设为3，采用移动窗预处理原始实验数据，通过移动窗将原始n组实验数据分成[x₁,x₂,x₃]、[x₂,x₃,x₄]、[x₃,x₄,x₅]序列单元，序列单元有n-T个；

其中，表示每组原始实验数据x的维度，是数学符号，表示实相量空间，d_x表示x的特征数；

步骤二、将序列单元X⁽¹⁾＝[x₁,x₂,x₃]、X⁽²⁾＝[x₂,x₃,x₄]…X^(m)＝[x_n-2,x_n-1,x_n]输入到经过批量归一化算法优化过的GRU深度神经网络中，每个输入的序列单元 X⁽ⁱ⁾获得对应的GRU深度神经网络输出o⁽ⁱ⁾，o⁽ⁱ⁾即为提取到的工业过程动态特征；

其中，m是输入的样本数，n组原始实验数据经移动窗处理后有m组输入样本数，即m＝n-T；

步骤三、将提取到的工业过程动态特征o⁽ⁱ⁾输入到softmax函数经回归处理得到分类结果φ_θ(o⁽ⁱ⁾)。

进一步，所述GRU深度神经网络使用重置门和更新门判断先前隐藏状态中的信息是否有用，并保存有用信息、删除无用信息；

其中：重置门r_t和更新门z_t的函数表达式分别如式(1)和式(2)：

r_t＝σ(W_rhh_t-1+W_rxx_t+b_r) (1)

z_t＝σ(W_zhh_t-1+W_zxx_t+b_z) (2)

σ是sigmoid函数，重置门r_t和更新门z_t的取值范围为[0,1]；

候选隐藏状态

其中，⊙表示矩阵对应元素相乘；

候选隐藏状态使用重置门r_t来控制包含过去信息的先前隐藏状态的流入，如果复位门为零，则删除先前的隐藏状态，即移除与未来无关的先前隐藏状态；

隐藏状态

隐藏状态使用更新门来更新先前的隐藏状态和候选隐藏状态，如果更新门为1，则先前的隐藏状态被保持并传递到当前时刻，当给定长度为T的输入序列X＝[x₁,x₂...x_t...x_T]时，GRU深度神经网络通过非线性变换输出传递到最后的隐藏状态：

o＝σ(W_oh_T+b_o) (5)

上述式(1)至式(5)中，W_zh,W_rh,是隐藏层之间的权重矩阵，表示权重维度，d_h为隐藏层节点数；W_zx,W_rx,是输入层到隐藏层的权重矩阵，是输出层的权重矩阵，d_o表示输出层维度；b_z,b_r,b_h,是偏置，W_zh,W_rh,W_zx,W_rx,b_z,b_r,b_h,b_o和初始隐藏状态是GRU深度神经网络的参数。

进一步，对GRU深度神经网络进行批标准化优化，解决模型内部协变量位移问题，批标准化的原理如式(6)，

其中，是将要被标准化的相量的模型参数，用于确定标准化激活的平均值和标准偏差，ε是正则超参数，E(c)是当前批的均值，Var(c) 是方差；

将批标准化算法应用到GRU深度神经网络的隐藏层中：

z_t＝σ(BN(W_zhh_t-1)+W_zxx_t+b_z) (7)

r_t＝σ(BN(W_rhh_t-1)+W_rxx_t+b_r) (8)

o＝σ(W_oh_T+b_o) (11)

得到经优化的GRU深度神经网络隐藏层参数。

进一步，softmax函数对GRU深度神经网络提取到的工业过程动态特征进行分类的原理为：

假设有训练集它的标签是X⁽ⁱ⁾是训练集中的一个样本，总共有K类的情况下它的标签为Y⁽ⁱ⁾∈{1,2,...j...,K}，此时的X⁽ⁱ⁾就是经过GRU深度神经网络提取的动态特征，即GRU深度神经网络的输出o；Softmax函数算出X⁽ⁱ⁾属于各类的概率P(Y⁽ⁱ⁾＝j|X⁽ⁱ⁾)，其算法如下：

其中，Θ＝[θ₁,θ₂,...,θ_K]^T是softmax函数的参数，将整体归一化，使得输出结果在0到1之间，损失函数为：

其中，m是样本数量，K是种类个数，1{Y⁽ⁱ⁾＝j}是指示函数，即当第i个样本属于j类时1{Y⁽ⁱ⁾＝j}。

由于本发明基于GRU深度神经网络的动态工业过程故障诊断方法采用了上述技术方案，即本方法将原始数据分成几个序列单元作为GRU的输入，通过批量归一化算法建立GRU网络，可以有效地从序列单元中提取动态特征，采用 softmax回归方法，根据GRU提取的动态特征对故障进行分类，给出分类的概率解释，使得诊断结果进一步精确，从而避免“维数灾难”问题，提高动态工业过程故障诊断的准确率。

附图说明

下面结合附图和实施方式对本发明作进一步的详细说明：

图1为本方法的原理框图；

图2为采用田纳西伊士曼(TE)基准过程验证本方法的实验结果示意图。

具体实施方式

实施例如图1所示，本发明基于GRU深度神经网络的动态工业过程故障诊断方法包括如下步骤：

步骤一、假设有n组原始实验数据X＝[x₁,x₂...x_n]，将时间步长T 设为3，采用移动窗预处理原始实验数据，通过移动窗将原始n组实验数据分成[x₁,x₂,x₃]、[x₂,x₃,x₄]、[x₃,x₄,x₅]序列单元，序列单元有n-T个；

其中，表示每组原始实验数据x的维度，是数学符号，表示实相量空间，d_x表示x的特征数；

步骤二、将序列单元X⁽¹⁾＝[x₁,x₂,x₃]、X⁽²⁾＝[x₂,x₃,x₄]…X^(m)＝[x_n-2,x_n-1,x_n]输入到经过批量归一化算法优化过的GRU深度神经网络中，每个输入的序列单元X⁽ⁱ⁾获得对应的GRU深度神经网络输出o⁽ⁱ⁾，o⁽ⁱ⁾即为提取到的工业过程动态特征；

其中，m是输入的样本数，n组原始实验数据经移动窗处理后有m组输入样本数，即m＝n-T；

步骤三、将提取到的工业过程动态特征o⁽ⁱ⁾输入到softmax函数经回归处理得到分类结果φ_θ(o⁽ⁱ⁾)。

优选的，所述GRU深度神经网络使用重置门和更新门判断先前隐藏状态中的信息是否有用，并保存有用信息、删除无用信息；

其中：重置门r_t和更新门z_t的函数表达式分别如式(1)和式(2)：

r_t＝σ(W_rhh_t-1+W_rxx_t+b_r) (1)

z_t＝σ(W_zhh_t-1+W_zxx_t+b_z) (2)

σ是sigmoid函数，重置门r_t和更新门z_t的取值范围为[0,1]；

候选隐藏状态

其中，⊙表示矩阵对应元素相乘；

候选隐藏状态使用重置门r_t来控制包含过去信息的先前隐藏状态的流入，如果复位门为零，则删除先前的隐藏状态，即移除与未来无关的先前隐藏状态；

隐藏状态

隐藏状态使用更新门来更新先前的隐藏状态和候选隐藏状态，如果更新门为1，则先前的隐藏状态被保持并传递到当前时刻，当给定长度为T的输入序列X＝[x₁,x₂...x_t...x_T]时，GRU深度神经网络通过非线性变换输出传递到最后的隐藏状态：

o＝σ(W_oh_T+b_o) (5)

上述式(1)至式(5)中，W_zh,W_rh,是隐藏层之间的权重矩阵，表示权重维度，d_h为隐藏层节点数；W_zx,W_rx,是输入层到隐藏层的权重矩阵，是输出层的权重矩阵，d_o表示输出层维度；b_z,b_r,b_h,是偏置，W_zh,W_rh,W_zx,W_rx,b_z,b_r,b_h,b_o和初始隐藏状态是GRU深度神经网络的参数。

优选的，对GRU深度神经网络进行批标准化优化，解决模型内部协变量位移问题，批标准化的原理如式(6)，

其中，是将要被标准化的相量的模型参数，用于确定标准化激活的平均值和标准偏差，ε是正则超参数，E(c)是当前批的均值，Var(c) 是方差；

将批标准化算法应用到GRU深度神经网络的隐藏层中：

z_t＝σ(BN(W_zhh_t-1)+W_zxx_t+b_z) (7)

r_t＝σ(BN(W_rhh_t-1)+W_rxx_t+b_r) (8)

o＝σ(W_oh_T+b_o) (11)

得到经优化的GRU深度神经网络隐藏层参数。

优选的，softmax函数对GRU深度神经网络提取到的工业过程动态特征进行分类的原理为：

假设有训练集它的标签是X⁽ⁱ⁾是训练集中的一个样本，总共有K类的情况下它的标签为Y⁽ⁱ⁾∈{1,2,...j...,K}，此时的X⁽ⁱ⁾就是经过GRU深度神经网络提取的动态特征，即GRU深度神经网络的输出o；Softmax函数算出X⁽ⁱ⁾属于各类的概率P(Y⁽ⁱ⁾＝j|X⁽ⁱ⁾)，其算法如下：

其中，Θ＝[θ₁,θ₂,...,θ_K]^T是softmax函数的参数，将整体归一化，使得输出结果在0到1之间，损失函数为：

其中，m是样本数量，K是种类个数，1{Y⁽ⁱ⁾＝j}是指示函数，即当第i个样本属于j类时1{Y⁽ⁱ⁾＝j}。

如图2所示，采用田纳西伊士曼(TE)基准过程对本方法进行验证，可见其准确率完全满足工业过程故障诊断的要求。本方法采用GRU(gate recurrent unit)来提取工业过程中的动态特征并用softmax回归来进行分类。这样首先避免了“维数灾难”问题；且GRU可以自适应的提取工业数据中的动态特征；采用softmax回归给出了分类的概率解释，从而大大提高动态工业过程故障诊断的准确率。

Claims (4)

1.一种基于GRU深度神经网络的动态工业过程故障诊断方法，其特征在于本方法包括如下步骤：

步骤一、假设有n组原始实验数据将时间步长T设为3，采用移动窗预处理原始实验数据，通过移动窗将原始n组实验数据分成[x₁,x₂,x₃]、[x₂,x₃,x₄]、[x₃,x₄,x₅]序列单元，序列单元有n-T个；

其中，表示每组原始实验数据x的维度，是数学符号，表示实相量空间，d_x表示x的特征数；

步骤二、将序列单元X⁽¹⁾＝[x₁,x₂,x₃]、X⁽²⁾＝[x₂,x₃,x₄]…X^(m)＝[x_n-2,x_n-1,x_n]输入到经过批量归一化算法优化过的GRU深度神经网络中，每个输入的序列单元X⁽ⁱ⁾获得对应的GRU深度神经网络输出o⁽ⁱ⁾，o⁽ⁱ⁾即为提取到的工业过程动态特征；

其中，m是输入的样本数，n组原始实验数据经移动窗处理后有m组输入样本数，即m＝n-T；

步骤三、将提取到的工业过程动态特征o⁽ⁱ⁾输入到softmax函数经回归处理得到分类结果φ_θ(o⁽ⁱ⁾)。

2.根据权利要求1所述的基于GRU深度神经网络的动态工业过程故障诊断方法，其特征在于：所述GRU深度神经网络使用重置门和更新门判断先前隐藏状态中的信息是否有用，并保存有用信息、删除无用信息；

其中：重置门r_t和更新门z_t的函数表达式分别如式(1)和式(2)：

r_t＝σ(W_rhh_t-1+W_rxx_t+b_r) (1)

z_t＝σ(W_zhh_t-1+W_zxx_t+b_z) (2)

σ是sigmoid函数，重置门r_t和更新门z_t的取值范围为[0,1]；

候选隐藏状态

其中，⊙表示矩阵对应元素相乘；

候选隐藏状态使用重置门r_t来控制包含过去信息的先前隐藏状态的流入，如果复位门为零，则删除先前的隐藏状态，即移除与未来无关的先前隐藏状态；

隐藏状态

隐藏状态使用更新门来更新先前的隐藏状态和候选隐藏状态，如果更新门为1，则先前的隐藏状态被保持并传递到当前时刻，当给定长度为T的输入序列X＝[x₁,x₂...x_t...x_T]时，GRU深度神经网络通过非线性变换输出传递到最后的隐藏状态：

o＝σ(W_oh_T+b_o) (5)

上述式(1)至式(5)中，是隐藏层之间的权重矩阵，表示权重维度，d_h为隐藏层节点数；是输入层到隐藏层的权重矩阵，是输出层的权重矩阵，d_o表示输出层维度；是偏置，和初始隐藏状态是GRU深度神经网络的参数。

3.根据权利要求1或2所述的基于GRU深度神经网络的动态工业过程故障诊断方法，其特征在于：对GRU深度神经网络进行批标准化优化，解决模型内部协变量位移问题，批标准化的原理如式(6)，

其中，是将要被标准化的相量的模型参数，用于确定标准化激活的平均值和标准偏差，ε是正则超参数，E(c)是当前批的均值，Var(c)是方差；

将批标准化算法应用到GRU深度神经网络的隐藏层中：

z_t＝σ(BN(W_zhh_t-1)+W_zxx_t+b_z) (7)

r_t＝σ(BN(W_rhh_t-1)+W_rxx_t+b_r) (8)

o＝σ(W_oh_T+b_o) (11)

得到经优化的GRU深度神经网络隐藏层参数。

4.根据权利要求3所述的基于GRU深度神经网络的动态工业过程故障诊断方法，其特征在于：softmax函数对GRU深度神经网络提取到的工业过程动态特征进行分类的原理为：

假设有训练集它的标签是X⁽ⁱ⁾是训练集中的一个样本，总共有K类的情况下它的标签为Y⁽ⁱ⁾∈{1,2,...j...,K}，此时的X⁽ⁱ⁾就是经过GRU深度神经网络提取的动态特征，即GRU深度神经网络的输出o；Softmax函数算出X⁽ⁱ⁾属于各类的概率P(Y⁽ⁱ⁾＝j|X⁽ⁱ⁾)，其算法如下：

其中，Θ＝[θ₁,θ₂,...,θ_K]^T是softmax函数的参数，将整体归一化，使得输出结果在0到1之间，损失函数为：

其中，m是样本数量，K是种类个数，1{Y(ⁱ⁾＝j}是指示函数，即当第i个样本属于j类时1{Y⁽ⁱ⁾＝j}。