CN111914897A - 一种基于孪生长短时间记忆网络的故障诊断方法 - Google Patents
一种基于孪生长短时间记忆网络的故障诊断方法 Download PDFInfo
- Publication number
- CN111914897A CN111914897A CN202010610712.0A CN202010610712A CN111914897A CN 111914897 A CN111914897 A CN 111914897A CN 202010610712 A CN202010610712 A CN 202010610712A CN 111914897 A CN111914897 A CN 111914897A
- Authority
- CN
- China
- Prior art keywords
- fault diagnosis
- network
- lstm
- layer
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000015654 memory Effects 0.000 title claims abstract description 29
- 238000005259 measurement Methods 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000001311 chemical methods and process Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000009467 reduction Effects 0.000 claims abstract description 17
- 239000000126 substance Substances 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 10
- 230000006386 memory function Effects 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012824 chemical production Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011112 process operation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 244000290333 Vanilla fragrans Species 0.000 description 1
- 235000009499 Vanilla fragrans Nutrition 0.000 description 1
- 235000012036 Vanilla tahitensis Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于孪生长短时间记忆网络的故障诊断方法，尤其针对化工过程故障诊断，包括S1、采集化工系统在各种运行状态下各测量设备的测量数据，对其进行降噪处理；S2、对测量数据进行标准化处理构建训练样本；S3、构建故障诊断模型，利用训练样本进行训练；S4、将待诊断的测量数据对应的标准化处理的数据输入到训练好的故障诊断模型中，得到故障类型结果。本发明将具有长短时间记忆功能的LSTM和能够放大相似样本之间微小差异的孪生网络结合起来，进行化工过程的故障诊断，不仅能够通过多层LSTM对复杂动态时序性的数据具有更强的表达能力，而且对微小故障也具有更优的识别能力，使得化工过程的故障诊断效果得到显著提高。
Description
技术领域
本发明属于化工过程的故障诊断技术领域，具体涉及一种基于孪生长短时间记忆网络(Siamese LSTM)的故障诊断方法。
背景技术
随着计算机技术不断进步，化工工业迅速发展，其整个生产系统日趋复杂化。大规模的化工生产过程使得企业的生产效率加倍提高，从而带来更大的经济效益。然而，这样复杂化的化工过程给企业带来利益的同时也会加大故障发生的效率，若在生产过程中发生故障，轻则导致产品质量下降，重则导致难以估计的人员伤亡和财产损失，所以要保证生产过程可靠、高效运行，需要能准确、及时地诊断故障的技术。
由于化工过程日趋复杂化，其监测数据具有高维度、非线性、动态时序性的特征。因此，基于传统数据驱动的故障诊断方法应用在复杂化工过程中难度较高。深度学习作为数据驱动方法的一个新兴分支，其对高维非线性数据具有强大的学习能力。因此，近年来深度学习方法被广泛应用于化工过程的故障诊断研究。目前，基于深度学习的故障诊断方法主要有：深度置信网络(Deep Belief Networks,DBN)、堆叠自动编码器(Stacked AutoEncoders,SAE)、卷积神经网络(Convolutional Neural Network,CNN)、循环神经网络(Recurrent Neural Network,RNN)、长短时间记忆网络(Long Short-Term Memory NeuralNetwork,LSTM)。除RNN和LSTM网络之外的其它深度学习方法虽然与传统的故障诊断方法相比，具有更强的学习能力，并取得更优的故障诊断效果；但是，这些方法忽略了化工过程监测数据之间的时序相关性。事实上，化工过程的观测信号之间并不是相互独立的，在化工过程中当前时刻的过程运行状态与之前时刻过程运行状态具有强关联性，因此，观测信号之间的动态时间依赖特性是故障诊断效果的主要影响因素。
同时，在实际的化工过程中常会出现幅值低、故障特性不明显、易被未知扰动和噪声掩盖的微小故障，虽然微小故障和正常工况没有明显变化，早期对系统没有太大的影响，但是如果没有尽早对这些故障进行诊断和采取相关维护措施，那么经过时间的积累就会给系统带来很大的安全隐患，使得系统不能正常运行。现有的化工过程故障诊断方法对微小故障的诊断效果仍不够理想。
发明内容
针对现有技术中的上述不足，本发明提出的基于孪生长短时间记忆网络的故障诊断方法解决了上述背景技术中的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于孪生长短时间记忆网络的故障诊断方法，包括以下步骤：
S1、采集化工系统在各种运行状态下各测量设备的测量数据，并对其进行降噪处理；
S2、对降噪后的测量数据进行标准化处理，并构建训练样本；
S3、构建基于Siamese LSTM的故障诊断模型，并利用构建的训练样本对其进行训练；
S4、将化工系统运行过程中测量设备的测量数据对应的标准化处理后的数据输入到训练好的故障诊断模型中，得到对应的故障类型诊断结果，实现化工过程的故障诊断。
进一步地，所述步骤S1中的运行状态包括正常状态和K种故障状态；
将第k种运行状态下采样时刻为r时的测量设备的测量数据记为数据向量
其中，上标k＝0时，表示测量设备处于正常状态，k＝1,2,...,K时，表示测量设备的故障状态序号，
表示第k种运行状态下采样时刻为r时第n种测量设备的测量数据，下标n为测量设备序号，n＝1,2,...,N，N为测量设备总数；
所述步骤S1中降噪处理后的测量数据对应的数据向量为
进一步地，所述步骤S2具体为：
S21、将每种运行状态下经过降噪处理后的数据向量进行标准化，得到标准化后的数据向量
S22、将数据向量
按照采样时刻构成序列
式中，下标Tk表示采样时间序列标号；
S23、采用长度为T的滑动窗口对序列
进行滑窗处理，得到Hk个子序列
其中，Hk表示第k种运行状态下所提取到的子序列总数，下标h＝1,2,...,Hk表示第k种运行状态下所提取到的第h个子序列，
表示在子序列
中第t个数据向量，t＝1,2,...,T；
S24、将子序列
作为输入，其对应的运行状态序号k作为输出，得到训练样本。
进一步地，所述步骤S3中的故障诊断模型包括特征提取层、相似性度量层和故障诊断层；
所述特征提取层为改进的Siamese LSTM网络，所述特征提取层中将Siamese LSTM网络中用于特征表示的网络替换成两个结构相同的堆叠LSTM网络，分别记为第一堆叠LSTM网络和第二堆叠LSTM网络，用于提取输入序列的特征向量；
所述相似性度量层通过一阶范数的指数函数对第一堆叠LSTM网络输出的特征向量
和第二堆叠LSTM网络输出的特征向量
进行相似性度量；其中，
为第一堆叠LSTM网络输出的特征，
为第二堆叠LSTM网络输出的特征；
所述故障诊断层为softmax层，用于对第一堆叠LSTM网络输出的特征向量
进行分类得到输入数据对应的运行状态序号，进而确定当前测量设备的运行状态。
进一步地，所述第一堆叠LSTM网络和第二堆叠LSTM网络均由D层LSTM网络叠加而成，每层LSTM网络中的LSTM计算单元数量为T，第d层LSTM网络的第D时刻下LSTM计算单元的计算流程为：
式中，
分别表示第d层LSTM网络的第t时刻下LSTM计算单元
中的输入门、遗忘门、输出门、候选记忆细胞、记忆细胞以及隐藏状态的计算值，下标d＝1,2,...,D；当d＝1时，Y为输入序列中第t个数据向量，当d>1时，Y为第d-1层LSTM网络的第t时刻的输出值
为第d层LSTM网络中第t-1时刻计算单元的输出值，且当t＝1时，
为0；
分别为输入门、遗忘门、输出门和候选记忆细胞预设的权重参数；
分别为输入门、遗忘门、输出门和候选记忆细胞预设的偏置参数；σ(·)为sigmoid函数，tanh(·)为双曲正切函数；⊙为同或运算符，[·]为矩阵乘法运算符。进一步地，，所述相似性度量层中通过一阶范数的指数函数进行相似性度量的公式为：
E(H1,H2)＝exp(-||H1-H2||1)∈[0,1]
式中，E(H1,H2)表示特征向量H1和特征向量H2的距离，||·||表示范数运算符。
进一步地，所述步骤S3中，对故障诊断模型进行训练的方法具体为：
将训练样本中的子序列
作为故障诊断模型的输入序列，其中测量设备正常状态下k＝0时的子序列
作为第二LSTM堆叠网络的输入序列，测量设备故障状态下的k>0时的子序列
作为第一LSTM堆叠网络的输入序列，将其对应的运行状态序号作为期望输出，对故障诊断模型进行训练。
进一步地，所述故障诊断模型的损失函数为：
式中，
为对比损失；
为交叉熵损失；λ1和λ2分别与对比损失和交叉熵损失的权重系数；V为样本个数；a为两个输入是否为相同类别的控制变量，当a＝0时，两个输入属于同一类，a＝1时，两个输入不属于同一类；E为两个输入的距离值；margin为设定的阈值，rj和p(j|x)分别为样本x属于类别j的真实概率与预测概率，d为样本类别数目。
进一步地，所述步骤S4中，将训练好的故障诊断模型输出的运行状态序号k对应的运行状态作为测量设备的故障类型诊断结果。
本发明的有益效果为：
本发明提供的基于孪生长短时间记忆网络的故障诊断方法，将具有长短时间记忆功能的LSTM和能够放大相似样本之间微小差异的孪生网络结合起来，进行化工过程的故障诊断，不仅能够通过多层LSTM对复杂动态时序性的数据具有更强的表达能力，而且对微小故障也具有更优的识别能力，使得化工过程的故障诊断效果得到显著提高。
附图说明
图1为本发明提供的基于孪生长短时间记忆网络故障诊断方法流程图。
图2为本发明提供的基于孪生长短时间记忆网络化工过程故障诊断模型结构图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种基于孪生长短时间记忆网络的故障诊断方法，包括以下步骤：
S1、采集化工系统在各种运行状态下各测量设备的测量数据，并对其进行降噪处理；
S2、对降噪后的测量数据进行标准化处理，并构建训练样本；
S3、构建基于Siamese LSTM的故障诊断模型，并利用构建的训练样本对其进行训练；
S4、将化工系统运行过程中测量设备的测量数据对应的标准化处理后的数据输入到训练好的故障诊断模型中，得到对应的故障类型诊断结果，实现化工过程的故障诊断。
本实施例步骤S1中的运行状态包括正常状态和K种故障状态；
将第k种运行状态下采样时刻为r时的测量设备的测量数据记为数据向量
其中，上标k＝0时，表示测量设备处于正常状态，k＝1,2,...,K时，表示测量设备的故障状态序号，
表示第k种运行状态下采样时刻为r时第n种测量设备的测量数据，下标n为测量设备序号，n＝1,2,...,N，N为测量设备总数；分别对每种运行状态下的测量数据通过小波阈值降噪方法进行降噪处理，得到降噪处理后的测量数据对应的数据向量为
本实施例步骤S2具体为：
S21、将每种运行状态下经过降噪处理后的数据向量进行标准化，得到标准化后的数据向量
S22、将数据向量
按照采样时刻构成序列
式中，下标Tk表示采样时间序列标号；
S23、采用长度为T的滑动窗口对序列
进行滑窗处理，得到Hk个子序列
其中，Hk表示第k种运行状态下所提取到的子序列总数，下标h＝1,2,...,Hk表示第k种运行状态下所提取到的第h个子序列，
表示在子序列
中第t个数据向量，t＝1,2,...,T；
S24、将子序列
作为输入，其对应的运行状态序号k作为输出，得到训练样本；
上述步骤S21中，进行标准化处理时采用的公式为：
其中，
分别表示第k种运行状态下第n个测量设备在Tk个采样时刻的测量数据
的平均值和标准差；
如图2所示，本实施例的步骤S3中的故障诊断模型包括特征提取层、相似性度量层和故障诊断层；
所述特征提取层为改进的Siamese LSTM网络，所述特征提取层中将Siamese LSTM网络中用于特征表示的网络替换成两个结构相同的堆叠LSTM网络，分别记为第一堆叠LSTM网络和第二堆叠LSTM网络，用于提取输入序列的特征向量；
所述相似性度量层通过一阶范数的指数函数对第一堆叠LSTM网络输出的特征向量
和第二堆叠LSTM网络输出的特征向量
进行相似性度量；其中，
为第一堆叠LSTM网络输出的特征，
为第二堆叠LSTM网络输出的特征；
所述故障诊断层为softmax层，用于对第一堆叠LSTM网络输出的特征向量
进行分类得到输入数据对应的运行状态序号，进而确定当前测量设备的运行状态。
图2中的第一堆叠LSTM网络和第二堆叠LSTM网络均由D层LSTM网络叠加而成，每层LSTM网络中的LSTM计算单元数量为T，以第一堆叠LSTM网络的第t时刻计算单元的输入是所输入序列中第t个数据向量和上一时刻计算单元输出的隐层状态
和记忆细胞
其它层LSTM网络的计算单元输入值是上一层计算单元输出的隐藏状态
和该层上一时刻计算单元输出的隐藏状态
(d′表示LSTM层数，d′>1)和记忆细胞
因此，在特征提取层中，第d层LSTM网络的第D时刻下LSTM计算单元的计算流程为：
式中，
分别表示第d层LSTM网络的第t时刻下LSTM计算单元
中的输入门、遗忘门、输出门、候选记忆细胞、记忆细胞以及隐藏状态的计算值，下标d＝1,2,...,D；当d＝1时，Y为输入序列中第t个数据向量，当d>1时，Y为第d-1层LSTM网络的第t时刻的输出值
为第d层LSTM网络中第t-1时刻计算单元的输出值，且当t＝1时，
为0；
分别为输入门、遗忘门、输出门和候选记忆细胞预设的权重参数；
分别为输入门、遗忘门、输出门和候选记忆细胞预设的偏置参数；σ(·)为sigmoid函数，tanh(·)为双曲正切函数；⊙为同或运算符，[·]为矩阵乘法运算符。
上述相似性度量层中通过一阶范数的指数函数进行相似性度量的公式为：
E(H1,H2)＝exp(-||H1-H2||1)∈[0,1]
式中，E(H1,H2)表示特征向量H1和特征向量H2的距离，||·||表示范数运算符。
本实施例的步骤S3中，对故障诊断模型进行训练的方法具体为：
将训练样本中的子序列
作为故障诊断模型的输入序列，其中测量设备正常状态下k＝0时的子序列
作为第二LSTM堆叠网络的输入序列，测量设备故障状态下的k>0时的子序列
作为第一LSTM堆叠网络的输入序列，将其对应的运行状态序号作为期望输出，对故障诊断模型进行训练。
上述训练过程中，为了防止模型的过拟合并加快模型的训练速度，在故障诊断模型中使用dropout技术，因为dropout在训练模型的过程中可以随机使得一定比例的隐藏节点不工作，而不工作的节点会在训练中不会进行权值更新，且在下一次训练中会重新按比例选择不工作的节点。本实施例在模型梯度下降训练时采用的是Adam优化算法，该算法相对于普通的梯度下降算法有更好的训练效果。故障诊断模型训练的目的是通过Adam算法训练，优化网络各参数，使得其损失函数值最小。Siamese LSTM模型的损失函数由对比损失函数和交叉熵损失函数两部分组成，因此，故障诊断模型的损失函数为：
式中，
为对比损失；
为交叉熵损失；λ1和λ2分别与对比损失和交叉熵损失的权重系数；V为样本个数；a为两个输入是否为相同类别的控制变量，当a＝0时，两个输入属于同一类，a＝1时，两个输入不属于同一类；E为两个输入的距离值；margin为设定的阈值，rj和p(j|x)分别为样本x属于类别j的真实概率与预测概率，d为样本类别数目。
当Loss<τ(τ表示损失函数最小化阈值)或者网络训练的次数iter>Num(Num表示网络训练迭代的最大次数)，则训练结束，将当前模型的最优参数保存，得到训练好的基于Siamese LSTM的故障诊断模型。
本实施例的步骤S4中，在化工系统运行过程，按照预设采样周期采集N个测量设备的测量数据，对最近T个采样时刻的数据向量X′t＝[x′t1,x′t2,…,x′tN]采用步骤S102中的降噪方法进行降噪处理，得到降噪后的数据向量
其中x′tN表示采样时刻t时第n个测量设备的测量数据；接着采用步骤S103中的标准化方法进行标准化处理，得到标准化的数据向量
然后构建得到序列
将其输入到训练好的基于Siamese LSTM的故障诊断模型中，将其输出的运行状态序号k对应的运行状态作为测量设备的故障类型诊断结果。
实施例2：
以一个化工过程模型为例，该模型为美国田纳西-伊士曼(Tennessee Eastman,TE)化工过程模型，其取自一个真实的化工过程。TE仿真过程模拟了复杂化工生产的基本工艺流程，具有实际化工过程的复杂、非线性特性，近年来被广泛应用于化工过程故障检测和故障诊断技术的研究。整个TE化工过程主要包含22个连续过程测量变量、19个成分测量变量和12个操作变量，其可以模拟正常工况和21种故障工况。在TE化工过程的21种故障中，有些故障很容易被识别(比如：故障1和故障2)，因为它们严重地影响了TE过程的运行，明显地改变了过程变量之间的关系。然而，也有一些故障是难以被检测的(如故障3、9和15)，因为它们对测量和操作变量的影响很小，因此对TE生产过程的运行状态影响不大，经常容易被忽略。然而，这些特征不明显的故障如果不能及时处理会存在很大的安全隐患。
为了使实验具有可操作性、实验结果具有可比性，采用由美国哈佛大学(HarvardUniversity)对该模型进行仿真并公开的数据集作为本实施例所使用的数据集。此数据集分为训练集和测试集两部分，两个部分均包含20种故障工况(除第21种故障之外)和正常工况的样本集，每个样本特征为52维。训练集中的每种工况分别在500种不同随机数下进行仿真实验，采集到的训练集数据中每种工况共有250000个样本；同样，测试集每种工况分别在500种不同随机数下进行仿真实验，采集到的测试集数据中每种工况共有480000个样本。
本实施例在实验的过程中，首先将所有的数据集进行预处理，然后将训练集数据用于训练模型，测试集数据用于测试所构建的Siamese LSTM模型的性能。
本实施例中采用F1分数作为本发明的评价指标，其计算公式为：
本实施例是一个多分类问题，计算第i类样本的评价指标时，将第i类作为正类，其它类作为负类。F1分数是精准率和召回率的平均值，表示故障模型的综合识别能力和稳定性，F1值越高说明模型的预测能力越理想。
本实施例中采用SSAE、RNN、GRU、Vanilla LSTM、Siamese RNN、Siamese GRU方法作为对比方法。表1是本实施例中Siamese LSTM方法和对比方法的故障诊断结果。
表1：Siamese LSTM方法和对比方法的故障诊断结果
由于故障诊断的F1越高表示模型的预测能力越强，由表1可以看出，本发明方法在化工生产过程的故障诊断效果优于其它方法，特别对微小故障3、9和15的诊断效果得到明显的提升。
Claims (9)
1.一种基于孪生长短时间记忆网络的故障诊断方法，其特征在于，包括以下步骤：
S1、采集化工系统在各种运行状态下各测量设备的测量数据，并对其进行降噪处理；
S2、对降噪后的测量数据进行标准化处理，并构建训练样本；
S3、构建基于Siamese LSTM的故障诊断模型，并利用构建的训练样本对其进行训练；
S4、将化工系统运行过程中测量设备的测量数据对应的标准化处理后的数据输入到训练好的故障诊断模型中，得到对应的故障类型诊断结果，实现化工过程的故障诊断。
2.根据权利要求1所述的基于孪生长短时间记忆网络的故障诊断方法，其特征在于，所述步骤S1中的运行状态包括正常状态和K种故障状态；
将第k种运行状态下采样时刻为r时的测量设备的测量数据记为数据向量
其中，上标k＝0时，表示测量设备处于正常状态，k＝1,2,...,K时，表示测量设备的故障状态序号，
表示第k种运行状态下采样时刻为r时第n种测量设备的测量数据，下标n为测量设备序号，n＝1,2,...,N，N为测量设备总数；
所述步骤S1中降噪处理后的测量数据对应的数据向量为
3.根据权利要求2所述的基于孪生长短时间记忆网络的故障诊断方法，其特征在于，所述步骤S2具体为：
S21、将每种运行状态下经过降噪处理后的数据向量进行标准化，得到标准化后的数据向量
S22、将数据向量
按照采样时刻构成序列
式中，下标Tk表示采样时间序列标号；
S23、采用长度为T的滑动窗口对序列
进行滑窗处理，得到Hk个子序列
其中，Hk表示第k种运行状态下所提取到的子序列总数，下标h＝1,2,...,Hk表示第k种运行状态下所提取到的第h个子序列，
表示在子序列
中第t个数据向量，t＝1,2,...,T；
S24、将子序列
作为输入，其对应的运行状态序号k作为输出，得到训练样本。
4.根据权利要求3所述的基于孪生长短时间记忆网络的故障诊断方法，其特征在于，所述步骤S3中的故障诊断模型包括特征提取层、相似性度量层和故障诊断层；
所述特征提取层为改进的Siamese LSTM网络，所述特征提取层中将Siamese LSTM网络中用于特征表示的网络替换成两个结构相同的堆叠LSTM网络，分别记为第一堆叠LSTM网络和第二堆叠LSTM网络，用于提取输入序列的特征向量；
所述相似性度量层通过一阶范数的指数函数对第一堆叠LSTM网络输出的特征向量
和第二堆叠LSTM网络输出的特征向量
进行相似性度量；其中，
为第一堆叠LSTM网络输出的特征，
为第二堆叠LSTM网络输出的特征；
所述故障诊断层为softmax层，用于对第一堆叠LSTM网络输出的特征向量
进行分类得到输入数据对应的运行状态序号，进而确定当前测量设备的运行状态。
5.根据权利要求4所述的基于孪生长短时间记忆网络的故障诊断方法，其特征在于，所述第一堆叠LSTM网络和第二堆叠LSTM网络均由D层LSTM网络叠加而成，每层LSTM网络中的LSTM计算单元数量为T，第d层LSTM网络的第D时刻下LSTM计算单元的计算流程为：
式中，
分别表示第d层LSTM网络的第t时刻下LSTM计算单元
中的输入门、遗忘门、输出门、候选记忆细胞、记忆细胞以及隐藏状态的计算值，下标d＝1,2,...,D；当d＝1时，Y为输入序列中第t个数据向量，当d>1时，Y为第d-1层LSTM网络的第t时刻的输出值
为第d层LSTM网络中第t-1时刻计算单元的输出值，且当t＝1时，
为0；
分别为输入门、遗忘门、输出门和候选记忆细胞预设的权重参数；
分别为输入门、遗忘门、输出门和候选记忆细胞预设的偏置参数；σ(·)为sigmoid函数，tanh(·)为双曲正切函数；⊙为同或运算符，[·]为矩阵乘法运算符。
6.根据权利要求4所述的基于孪生长短时间记忆网络的故障诊断方法，其特征在于，所述相似性度量层中通过一阶范数的指数函数进行相似性度量的公式为：
E(H1,H2)＝exp(-||H1-H2||1)∈[0,1]
式中，E(H1,H2)表示特征向量H1和特征向量H2的距离，||·||表示范数运算符。
7.根据权利要求4所述的基于孪生长短时间记忆网络的故障诊断方法，其特征在于，所述步骤S3中，对故障诊断模型进行训练的方法具体为：
将训练样本中的子序列
作为故障诊断模型的输入序列，其中测量设备正常状态下k＝0时的子序列
作为第二LSTM堆叠网络的输入序列，测量设备故障状态下的k>0时的子序列
作为第一LSTM堆叠网络的输入序列，将其对应的运行状态序号作为期望输出，对故障诊断模型进行训练。
8.根据权利要求7所述的基于孪生长短时间记忆网络的故障诊断方法，其特征在于，所述故障诊断模型的损失函数为：
式中，
为对比损失；
为交叉熵损失；λ1和λ2分别与对比损失和交叉熵损失的权重系数；V为样本个数；a为两个输入是否为相同类别的控制变量，当a＝0时，两个输入属于同一类，a＝1时，两个输入不属于同一类；E为两个输入的距离值；margin为设定的阈值，rj和p(j|x)分别为样本x属于类别j的真实概率与预测概率，d为样本类别数目。
9.根据权利要求7所述的基于孪生长短时间记忆网络的故障诊断方法，其特征在于，所述步骤S4中，将训练好的故障诊断模型输出的运行状态序号k对应的运行状态作为测量设备的故障类型诊断结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010610712.0A CN111914897A (zh) | 2020-06-30 | 2020-06-30 | 一种基于孪生长短时间记忆网络的故障诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010610712.0A CN111914897A (zh) | 2020-06-30 | 2020-06-30 | 一种基于孪生长短时间记忆网络的故障诊断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111914897A true CN111914897A (zh) | 2020-11-10 |
Family
ID=73226271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010610712.0A Pending CN111914897A (zh) | 2020-06-30 | 2020-06-30 | 一种基于孪生长短时间记忆网络的故障诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111914897A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465124A (zh) * | 2020-12-15 | 2021-03-09 | 武汉智能装备工业技术研究院有限公司 | 孪生深度时空神经网络模型获取/故障诊断方法、装置 |
| CN113011248A (zh) * | 2021-02-01 | 2021-06-22 | 西安交通大学 | 一种基于lstm的核动力装置故障诊断方法 |
| CN113191215A (zh) * | 2021-04-12 | 2021-07-30 | 西安理工大学 | 融合注意力机制与孪生网络结构的滚动轴承故障诊断方法 |
| CN113326881A (zh) * | 2021-05-31 | 2021-08-31 | 西安思安云创科技有限公司 | 一种电力变压器故障诊断方法 |
| CN114157552A (zh) * | 2021-10-29 | 2022-03-08 | 国网河南省电力公司漯河供电公司 | 一种基于孪生时序图网络的配网故障检测方法 |
| CN114298200A (zh) * | 2021-12-23 | 2022-04-08 | 电子科技大学(深圳)高等研究院 | 基于深度并行时序关系网络的异常数据诊断方法 |
| CN114330549A (zh) * | 2021-12-28 | 2022-04-12 | 浙江工业大学 | 一种基于深度图网络的化工过程故障诊断方法 |
| WO2024113574A1 (zh) * | 2022-11-29 | 2024-06-06 | 北京航空航天大学 | 一种知识与孪生模型驱动的作动器关键故障注入与诊断方法 |
| CN118349985A (zh) * | 2024-06-14 | 2024-07-16 | 电子科技大学 | 一种基于对比学习和多模态生物特征的身份识别方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052512A (zh) * | 2017-11-03 | 2018-05-18 | 同济大学 | 一种基于深度注意力机制的图像描述生成方法 |
| CN108846426A (zh) * | 2018-05-30 | 2018-11-20 | 西安电子科技大学 | 基于深度双向lstm孪生网络的极化sar分类方法 |
| CN109766921A (zh) * | 2018-12-19 | 2019-05-17 | 合肥工业大学 | 一种基于深度领域自适应的振动数据故障分类方法 |
| CN110413924A (zh) * | 2019-07-18 | 2019-11-05 | 广东石油化工学院 | 一种半监督多视图学习的网页分类方法 |
| US20190349287A1 (en) * | 2018-05-10 | 2019-11-14 | Dell Products L. P. | System and method to learn and prescribe optimal network path for sdn |
| CN110990608A (zh) * | 2019-12-03 | 2020-04-10 | 哈尔滨工业大学 | 一种基于Siamese结构双向长短时记忆网络的三维模型检索方法 |
| US20200126241A1 (en) * | 2018-10-18 | 2020-04-23 | Deepnorth Inc. | Multi-Object Tracking using Online Metric Learning with Long Short-Term Memory |
| CN111273623A (zh) * | 2020-02-25 | 2020-06-12 | 电子科技大学 | 基于Stacked LSTM的故障诊断方法 |
-
2020
- 2020-06-30 CN CN202010610712.0A patent/CN111914897A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052512A (zh) * | 2017-11-03 | 2018-05-18 | 同济大学 | 一种基于深度注意力机制的图像描述生成方法 |
| US20190349287A1 (en) * | 2018-05-10 | 2019-11-14 | Dell Products L. P. | System and method to learn and prescribe optimal network path for sdn |
| CN108846426A (zh) * | 2018-05-30 | 2018-11-20 | 西安电子科技大学 | 基于深度双向lstm孪生网络的极化sar分类方法 |
| US20200126241A1 (en) * | 2018-10-18 | 2020-04-23 | Deepnorth Inc. | Multi-Object Tracking using Online Metric Learning with Long Short-Term Memory |
| CN109766921A (zh) * | 2018-12-19 | 2019-05-17 | 合肥工业大学 | 一种基于深度领域自适应的振动数据故障分类方法 |
| CN110413924A (zh) * | 2019-07-18 | 2019-11-05 | 广东石油化工学院 | 一种半监督多视图学习的网页分类方法 |
| CN110990608A (zh) * | 2019-12-03 | 2020-04-10 | 哈尔滨工业大学 | 一种基于Siamese结构双向长短时记忆网络的三维模型检索方法 |
| CN111273623A (zh) * | 2020-02-25 | 2020-06-12 | 电子科技大学 | 基于Stacked LSTM的故障诊断方法 |
Non-Patent Citations (2)
| Title |
|---|
| 汪润 等: "DeepRD ：基于 Siamese LSTM 网络的 Android 重打包应用检测方法", 《通信学报》 * |
| 魏攀 等: "基于贝叶斯网络的故障诊断专家系统", 《计算机测量与控制》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465124B (zh) * | 2020-12-15 | 2023-03-10 | 武汉智能装备工业技术研究院有限公司 | 孪生深度时空神经网络模型获取/故障诊断方法、装置 |
| CN112465124A (zh) * | 2020-12-15 | 2021-03-09 | 武汉智能装备工业技术研究院有限公司 | 孪生深度时空神经网络模型获取/故障诊断方法、装置 |
| CN113011248A (zh) * | 2021-02-01 | 2021-06-22 | 西安交通大学 | 一种基于lstm的核动力装置故障诊断方法 |
| CN113191215A (zh) * | 2021-04-12 | 2021-07-30 | 西安理工大学 | 融合注意力机制与孪生网络结构的滚动轴承故障诊断方法 |
| CN113191215B (zh) * | 2021-04-12 | 2024-02-23 | 陕西少梁塬网络科技有限公司 | 融合注意力机制与孪生网络结构的滚动轴承故障诊断方法 |
| CN113326881A (zh) * | 2021-05-31 | 2021-08-31 | 西安思安云创科技有限公司 | 一种电力变压器故障诊断方法 |
| CN113326881B (zh) * | 2021-05-31 | 2023-02-14 | 西安思安云创科技有限公司 | 一种电力变压器故障诊断方法 |
| CN114157552A (zh) * | 2021-10-29 | 2022-03-08 | 国网河南省电力公司漯河供电公司 | 一种基于孪生时序图网络的配网故障检测方法 |
| CN114157552B (zh) * | 2021-10-29 | 2024-04-05 | 国网河南省电力公司漯河供电公司 | 一种基于孪生时序图网络的配网故障检测方法 |
| CN114298200A (zh) * | 2021-12-23 | 2022-04-08 | 电子科技大学(深圳)高等研究院 | 基于深度并行时序关系网络的异常数据诊断方法 |
| CN114298200B (zh) * | 2021-12-23 | 2024-06-11 | 电子科技大学(深圳)高等研究院 | 基于深度并行时序关系网络的异常数据诊断方法 |
| CN114330549A (zh) * | 2021-12-28 | 2022-04-12 | 浙江工业大学 | 一种基于深度图网络的化工过程故障诊断方法 |
| WO2024113574A1 (zh) * | 2022-11-29 | 2024-06-06 | 北京航空航天大学 | 一种知识与孪生模型驱动的作动器关键故障注入与诊断方法 |
| CN118349985A (zh) * | 2024-06-14 | 2024-07-16 | 电子科技大学 | 一种基于对比学习和多模态生物特征的身份识别方法 |
| CN118349985B (zh) * | 2024-06-14 | 2024-08-27 | 电子科技大学 | 一种基于对比学习和多模态生物特征的身份识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111914897A (zh) | 一种基于孪生长短时间记忆网络的故障诊断方法 | |
| CN111273623B (zh) | 基于Stacked LSTM的故障诊断方法 | |
| US20200150622A1 (en) | Method for detecting abnormity in unsupervised industrial system based on deep transfer learning | |
| CN113642754B (zh) | 一种基于rf降噪自编码信息重构和时间卷积网络的复杂工业过程故障预测方法 | |
| Xia et al. | Multi-stage fault diagnosis framework for rolling bearing based on OHF Elman AdaBoost-Bagging algorithm | |
| CN108875771B (zh) | 一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法 | |
| CN111914873A (zh) | 一种两阶段云服务器无监督异常预测方法 | |
| CN109116834B (zh) | 一种基于深度学习的间歇过程故障检测方法 | |
| CN111562108A (zh) | 一种基于cnn和fcmc的滚动轴承智能故障诊断方法 | |
| CN108875772B (zh) | 一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型及方法 | |
| CN112129534B (zh) | 一种机床主轴轴承寿命预测方法及系统 | |
| CN111339712A (zh) | 质子交换膜燃料电池剩余寿命预测方法 | |
| Remadna et al. | Leveraging the power of the combination of CNN and bi-directional LSTM networks for aircraft engine RUL estimation | |
| Chadha et al. | Time series based fault detection in industrial processes using convolutional neural networks | |
| CN112904810B (zh) | 基于有效特征选择的流程工业非线性过程监测方法 | |
| CN113723007A (zh) | 基于DRSN和麻雀搜索优化BiLSTM的机械设备剩余寿命预测方法 | |
| CN115580445B (zh) | 一种未知攻击入侵检测方法、装置和计算机可读存储介质 | |
| CN111123894B (zh) | 一种基于lstm和mlp结合的化工过程故障诊断方法 | |
| Fu et al. | MCA-DTCN: A novel dual-task temporal convolutional network with multi-channel attention for first prediction time detection and remaining useful life prediction | |
| CN114091525A (zh) | 一种滚动轴承退化趋势预测方法 | |
| Xu et al. | Global attention mechanism based deep learning for remaining useful life prediction of aero-engine | |
| CN111046961A (zh) | 基于双向长短时记忆单元和胶囊网络的故障分类方法 | |
| Liu et al. | Deep & attention: A self-attention based neural network for remaining useful lifetime predictions | |
| CN111079348B (zh) | 一种缓变信号检测方法和装置 | |
| CN114266278A (zh) | 一种基于双重注意力网络的设备剩余使用寿命预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201110 |