CN116226739A - 一种基于时空融合的图卷积网络工业过程故障诊断方法 - Google Patents
一种基于时空融合的图卷积网络工业过程故障诊断方法 Download PDFInfo
- Publication number
- CN116226739A CN116226739A CN202310155167.4A CN202310155167A CN116226739A CN 116226739 A CN116226739 A CN 116226739A CN 202310155167 A CN202310155167 A CN 202310155167A CN 116226739 A CN116226739 A CN 116226739A
- Authority
- CN
- China
- Prior art keywords
- layer
- gcn
- res
- data
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 45
- 230000004927 fusion Effects 0.000 title claims abstract description 29
- 238000003745 diagnosis Methods 0.000 title abstract description 35
- 239000011159 matrix material Substances 0.000 claims abstract description 70
- 230000008569 process Effects 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000009776 industrial production Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 43
- 238000000605 extraction Methods 0.000 claims description 40
- 238000010606 normalization Methods 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000005096 rolling process Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 238000002759 z-score normalization Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 13
- 238000013135 deep learning Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000000547 structure data Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012824 chemical production Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明涉及工业过程故障诊断方法，本发明公开了一种基于时空融合的图卷积网络工业过程故障诊断方法，包括的具体过程为：采集工业生产过程中的故障数据，然后将故障数据进行z‑score标准化处理和滑动窗口截取得到节点特征矩阵，将节点特征矩阵输入到训练和测试好的ST‑Res‑GCN模型中获得故障分类结果；本发明提出了一种基于时空融合的图卷积网络工业过程故障诊断模型，能够自动自取、深度挖掘数据中的时空融合特征，有效地提高故障的诊断率。
Description
技术领域
本发明涉及工业过程故障诊断方法，具体是一种基于时空融合的图卷积网络工业过程故障诊断方法。
背景技术
随着工业4.0时代的来临，各生产企业通过不断探索和技术发展，纷纷对生产设备进行了智能化升级，其背后随之而来的是现代化工业生产系统的复杂度飙升问题，从而使得对生产过程的监测变得愈加具有挑战性。众所周知，工业过程的安全极为重要，因为一旦发生事故，面临的将是产品出现问题，更有甚者，还会造成重大人员伤亡。如何实现工业过程的稳定运行就成为了亟待解决的问题，因此，开发安全高效的故障检测和诊断技术显得尤为重要。
根据不同的建模原理，故障诊断方法可以分为机理建模、知识驱动建模和数据驱动建模三大类。在工业升级的背景下，单单依靠专家的先验知识和实际经验的机理建模和知识驱动建模已经越来越难以实现对日益复杂的化工生产过程进行故障检测与诊断的目标。而生产过程监测到的大量实测数据，为数据驱动建模方法的实现提供了先决条件。在人工智能技术飞速发展的背景下，基于数据驱动的工业过程故障诊断获得了大量专家学者的青睐。数据驱动建模方法基于过程历史数据进行模型构建及参数自适应整定，具有良好的适配性和鲁棒性。常用的数据驱动建模方法有主成分分析、支持向量机、人工神经网络等。浅层的数据驱动建模方法在故障诊断中取得了很好的成果，但对于高维非线性、非平稳数据的特征提取效果有限。近年来，深度学习方法在图像分类、自然语言处理、视频分类等领域表现出优越的性能，因此，越来越多的专家学者将深度学习方法应用于工业过程的故障诊断中。深度学习方法是一种深层的机器学习方法，通过堆叠多层的非线性函数映射层来挖掘数据之间的相互关系，从而实现更高层级的、更加抽象的数据表达。将深度学习方法引入故障诊断中，能够较好的克服以往方法存在的对复杂深层结构学习能力不足的问题，能够更加充分的利用数据的信息，提高模型的预测精度。
现如今，工业过程规模愈发庞大、结构愈发复杂，使得工业过程数据呈现复杂的时空特点：在时序上，不同种类的故障，其时序表现快慢不同，其数据表现出非平稳、非线性的特性；在特征空间上，影响不同故障的关键特征不同，特征之间的耦合关系复杂；在时空关联的角度上，时序特征和空间特征之间又存在着静态、动态耦合关联。因此在进行具有复杂时空数据特征的工业过程故障诊断建模时，不仅要考虑时间上的连续性和周期性，还需要考虑不同区域之间的空间相关性，并且这些空间相关性还会伴随着时间发生变化。传统的时空序列研究方法主要是基于统计学原理，这些方法将时空序列看作多个时间序列来处理，很难捕获空间的相关性，也难以挖掘出其中的非线性时空信息。深度学习的兴起使时空序列的研究取得了进一步的发展。现有的基于深度学习方法的时空序列算法从序列生成模型和空间关系建模两个角度进行分析。序列生成模型以循环神经网络(RNN)为基础，并在RNN的基础上提出了长短期期记忆单元(LSTM)和门控循环单元(GRU)及其他衍生方法。随后，鉴于seq2seq框架在自然语言处理领域中的良好表现，将RNNs和seq2seq框架结合的序列生成模型也取得了很好的效果。空间关系建模以卷积神经网络(CNN)为基础，能够很好的提取空间特征。但对于非欧几里得的图结构关系，CNN无法有效操作，因此出现了图神经网络(GNN)。GNN是一类基于深度学习的处理图域信息的方法。对于非欧的图数据结构的研究，极大地推动了图卷积网络(GCN)等一系列图分析技术的发展。
通过将序列模型和空间模型相结合构建时空模型可以很好的应用于时空序列问题。现有的方法大多都只从单一图结构数据或是单一矩阵结构数据角度提取时空特征，但工业过程数据大多存在高度非线性的特点，其包含的时空特征往往无法通过单一角度进行完全提取，从而无法最大限度地或者无法充分地挖掘出工业过程故障诊断中时空特征信息。
发明内容
本发明要解决的技术问题是提供一种基于时空融合的图卷积网络工业过程故障诊断方法，用以对工业过程中的故障数据自动进行故障类型的分类。
为了解决上述技术问题，本发明提供一种基于时空融合的图卷积网络工业过程故障诊断方法，包括的具体过程为：采集工业生产过程中的故障数据，然后将故障数据进行z-score标准化处理和滑动窗口截取得到节点特征矩阵Xonline，将节点特征矩阵Xonline输入到训练和测试好的ST-Res-GCN模型中获得故障分类结果；
所述ST-Res-GCN模型包括依次连接的输入层、第一批量归一化层BN Layer1、第一图卷积层GCN Layer1、三个残差图卷积模块Res-GCN、第五批量归一化层BN Layer5、第一一维卷积层CNN Layer1、二个时空特征提取模块ST、全局最大池化层GMP Layer、丢弃层Dropout Layer和输出层；
所述残差图卷积模块Res-GCN包括批量归一化层BN Layer、图卷积层GCN Layer和加法层Add Layer；
所述时空特征提取模块ST包括批量归一化层BN、长短记忆网络LSTM、批量归一化层BN、一维卷积层CNN和加法层Add Layer。
作为本发明的一种基于时空融合的图卷积网络工业过程故障诊断方法的改进：
所述ST-Res-GCN模型的训练和测试过程为：
(1)将仿真实验数据分为训练集和测试集两部分，每部分均包含正常数据和故障数据；
(2)计算训练集的正常数据中不同变量之间的MIC值作为邻接矩阵A，将训练集的故障数据进行z-score标准化处理后使用滑动窗口截取得到训练集的节点特征矩阵X，然后将训练集的邻接矩阵A和节点特征矩阵X输入所述ST-Res-GCN模型进行训练，以交叉熵作为损失函数，Adam算法作为优化算法，并且加入早停机制来寻找最佳模型，获得训练好的ST-Res-GCN模型；
(3)将测试集的故障数据进行z-score标准化处理后使用滑动窗口截取得到训练集的节点特征矩阵X，将测试集的节点特征矩阵X输入训练好的ST-Res-GCN模型，评价指标为误差率和F1分数，调整ST-Res-GCN模型的参数直到评价指标满足预设的评价标准，获得所述训练和测试好的ST-Res-GCN模型，其中测试时的邻接矩阵A与训练时所用的邻接矩阵A相同。
作为本发明的一种基于时空融合的图卷积网络工业过程故障诊断方法的进一步改进：
所述邻接矩阵A的获取过程为：
(1)数据截取
对所述正常数据
进行z-score标准化处理，然后选取长度为l的时序数据得到数据集/>
其中，/>
N为数据集S中时序数据的条数；
(2)MIC值计算
依次选取数据集S中的2条时序数据si,sj∈S，计算两条数据之间的MIC值：
其中，p(si,sj)为si,sj的联合分布，p(si)、p(sj)分别为si和sj的边缘分布，I(si,sj)为si,sj的互信息，B为网格上限，通常取B＝n0.6，n为样本数量，a和b为a×b网格的a行和b列；
(3)邻接矩阵计算
对
中所有N条时序数据之间按式(1)的计算最大信息系数MIC值，得到对称的N×N矩阵，设定一个阈值λ，将N×N矩阵中小于λ的MIC值替换为0，其余值保持不变，获得MIC矩阵作为邻接矩阵/>
作为本发明的一种基于时空融合的图卷积网络工业过程故障诊断方法的进一步改进：
所述滑动窗口截取的过程如下：
对所述z-score标准化处理后的故障数据用t的窗口长度、以1为步长进行移动截取，得到T-t+1组N×t的数据集X＝{x1,x2,...,xT-t+1}作为所述节点特征矩阵X，其中
T为故障数据的时序长度，i＝1,2,...,T-t+1。
作为本发明的一种基于时空融合的图卷积网络工业过程故障诊断方法的进一步改进：
所述输入层包括所述节点特征矩阵X和所述邻接矩阵A；
所述残差图卷积模块Res-GCN包括第一残差图卷积模块Res-GCN 1、第二残差图卷积模块Res-GCN 2、第三残差图卷积模块Res-GCN 3；
所述时空特征提取模块ST包括第一时空特征提取模块ST 1、第二时空特征提取模块ST 2。
作为本发明的一种基于时空融合的图卷积网络工业过程故障诊断方法的进一步改进：
所述第一图卷积层GCN Layer1)的计算过程为：
其中，
IN为单位矩阵；/>
是/>
的对角度矩阵，/>
为/>
的归一化矩阵，W1为权重，σ为激活函数；fBN为批量归一化层的计算输出，X为输入。
作为本发明的一种基于时空融合的图卷积网络工业过程故障诊断方法的进一步改进：
所述第一残差图卷积模块Res-GCN 1包括：第二批量归一化层BN Layer2、第二图卷积层GCN Layer2、第一加法层Add Layer1，计算过程为：
O1＝H1+H2， (10)
其中，O1和H2分别表示第一残差图卷积模块Res-GCN 1的输出和第二图卷积层GCNLayer2的输出，
所述第二残差图卷积模块Res-GCN 2包括：第三批量归一化层BN Layer3、第三图卷积层GCN Layer3、第二加法层Add Layer2，计算过程为：
O2＝O1+H3(11)
其中，O2和H3分别表示第二残差图卷积模块Res-GCN 2的输出和第三图卷积层GCNLayer3的输出，
所述第三残差图卷积模块Res-GCN3包括：第四批量归一化层BN Layer4、第四图卷积层GCN Layer4、第三加法层Add Layer3，计算过程为：
O3＝O2+H4(12)
其中，O3和H4分别表示第三残差图卷积模块Res-GCN3的输出和第四图卷积层GCNLayer4的输出，
其中，W2、W3和W4均为权重。
作为本发明的一种基于时空融合的图卷积网络工业过程故障诊断方法的进一步改进：
所述第一时空特征提取模块ST 1包括：第六批量归一化层BN Layer6、第一长短记忆网络LSTM Layer1、第七批量归一化层BN Layer7、第二一维卷积层CNN Layer2、第四加法层Add Layer4，计算过程为：
STO1＝R1+R2(22)
其中，STO1、R1和R2分别表示第一时空特征提取模块ST 1的输出、第一一维卷积层CNNLayer1的输出和第二一维卷积层CNN Layer2的输出；
R1＝fConv(fBN(O3))(14)
R2＝ReLU(fConv(fBN(fLSTM(fBN(R1)))))(21)
其中，fConv表示一维卷积层计算，fLSTM表示长短记忆网络的计算；
所述第二时空特征提取模块ST 2包括：第八批量归一化层BN Layer8、第二长短记忆网络LSTM Layer2、第九批量归一化层BN Layer9、第三一维卷积层CNN Layer3、第五加法层Add Layer5，计算过程为：
R3＝ReLU(fConv(fBN(fLSTM(fBN(STO1)))))(23)
STO2＝STO1+R3(24)
其中，STO2、STO1和R3分别表示第二时空特征提取模块ST 2的输出、第一时空特征提取模块ST 1的输出和第三一维卷积层CNN Layer3的输出。
本发明的有益效果主要体现在：
1、本发明提出了一种基于时空融合的图卷积网络工业过程故障诊断模型，能够自动自取、深度挖掘数据中的时空融合特征，有效地提高故障的诊断率；
2、本发明基于一维卷积网络和长短期记忆网络提出了时空特征提取模块，实现了时序信息和空间信息的提取与融合，并且，采用一层GCN层和三个残差图卷积模块对图结构数据的时空特征进行提取，能够很好的挖掘数据的本质特征，再结合2个由一维卷积层和LSTM层构成的时空特征提取模块来进行更多角度的时空特征提取，提高分类结果的准确率；同时，使用全局最大池化层来对特征数据进行下采样、降维，增加丢弃层来避免模型过拟合，增强模型的泛化能力，能够更好的提升实际应用时的诊断率和性能；
3、本发明采用最大信息系数(MIC)方法计算数据变量之间的MIC值矩阵作为GCN的邻接矩阵，能够解决在常规工业过程中无法得到数据变量之间更深层次相关性的问题。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为本发明的基于时空融合的图卷积网络ST-Res-GCN的结构示意图；
图2为图1中残差图卷积模块Res-GCN的结构示意图；
图3为图1中的时空特征提取模块ST的结构示意图；
图4为本发明的一种基于时空融合的图卷积网络工业过程故障诊断方法的过程示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例1、一种基于时空融合的图卷积网络工业过程故障诊断方法，如图4所示，本发明的使用方法具体为：
步骤1、获取工业过程的正常数据和故障数据；
在工业生产现场，通过传感器和工业计算机等技术手段，定时采集工业生产过程中物料参数、设备参数、状态参数等变量的数值，获得正常工况下各变量的时序数据(即正常数据)和不同故障工况下各变量的时序数据(即故障数据)；
步骤2、对步骤1获取的正常数据的所有不同变量之间进行最大信息系数(MIC)计算得到所有变量间的MIC值的矩阵；
基于最大信息系数(MIC)方法对步骤1获取的正常数据进行变量间的相关关系的表示，最大信息系数(MIC)方法的计算过程如下：
步骤2.1、数据截取
给定正常数据
对其进行z-score标准化处理，以平衡数据的尺度，z-score标准化的公式为：
其中，μ为所有样本数据的均值，σ为所有样本数据的标准差。
然后在标准化处理后的数据集中选取长度为l的时序数据减少计算的复杂度，得到数据集
其中，S＝{s1,s2,...,si,...,sN}，/>
N为数据集中时序数据的条数，长度l可以根据数据集的不同进行调整，选择最适合该数据集的长度即可，例如采用TE数据集时选择35为最适。
步骤2.2、MIC值计算
依次选取数据集S中的2条时序数据si,sj∈S，计算两条数据之间的MIC值，计算公式如下：
其中，p(si,sj)为si,sj的联合分布，p(si)、p(sj)分别为si和sj的边缘分布，I(si,sj)为si,sj的互信息，B为网格上限，通常取B＝n0.6，n为样本数量。
将2条时序数据(si,sj)的取值分别依序划分至a和b个格子中，得到a行b列的a×b的网格划分，使落在第(si,sj)个格子中的数据点的频率作为p(si,sj)的估计，然后计算(si,sj)的互信息。取不同划分方式中互信息的最大值，即为2条时序数据(si,sj)的最大信息系数。
步骤2.3、邻接矩阵计算
对步骤2.1得到的所有N条时序数据之间通过步骤2.2的计算最大信息系数，得到对称的N×N矩阵，在此基础上，为了减少低相关性变量可能造成的干扰，人工设定一个阈值λ，将N×N矩阵中小于l的MIC值替换为0，其余值保持不变。综上，通过上述步骤得到MIC矩阵，作为后续图卷积网络层的邻接矩阵
使用。
步骤3、对步骤1获取的故障数据进行标准化处理，然后滑动窗口截取；
给定故障数据
其中，N为特征变量数，T为故障数据的时序长度，对其进行z-score标准化处理：
Data*＝(Data2-μ)/σ (4)
其中，μ和σ分别为每一维特征变量的均值和方差；
然后用t的窗口长度，以1为步长进行移动截取，可得到T-t+1组N×t的数据集X＝{x1,x2,...,xT-t+1}作为节点特征矩阵X，其中
i＝1,2,...,T-t+1；
步骤4、构建基于图卷积和时空特征提取模块的深度学习神经网络ST-Res-GCN模型(下文简称为ST-Res-GCN模型)，如图1所示，并对ST-Res-GCN模型初始化；
ST-Res-GCN模型依次为输入层、第一批量归一化层BN Layer1、第一图卷积层GCNLayer1、第一残差图卷积模块Res-GCN 1、第二残差图卷积模块Res-GCN 2、第三残差图卷积模块Res-GCN 3、第五批量归一化层BN Layer5、第一一维卷积层CNN Layer1、第一时空特征提取模块ST 1、第二时空特征提取模块ST 2、全局最大池化层GMP Layer、丢弃层Dropout Layer和输出层；
输入层包括节点特征矩阵X和邻接矩阵A；然后采用一层图卷积层即第一图卷积层(GCNLayer1)和三个残差图卷积模块(Res-GCN)即第一残差图卷积模块(Res-GCN 1)、第二残差图卷积模块(Res-GCN 2)和第三残差图卷积模块(Res-GCN 3)对图结构数据的时空特征进行提取，并选择ReL U作为激活函数；然后，第三残差图卷积模块(Res-GCN 3)提取的特征经转置操作后再经第五批量归一化层BN Layer5和第一一维卷积层CNN Layer1卷积后，将其输入第一时空特征提取模块(ST 1)和第二时空特征提取模块(ST 2)以对特征进一步从不同角度进行提取；最后将特征输入全局最大池化层(GMP Layer)进行下采样及降维，并使用全连接层(Dense)进行分类，在全局最大池化层和全连接层之间加入丢弃层(DropoutLayer)来减少模型的过拟合，最终得到准确的故障分类结果。
每个残差图卷积模块(Res-GCN)均包括批量归一化层(BN Layer)、图卷积层(GCNLayer)和加法层(Add Layer)。
(1)图卷积层的计算
除了第一图卷积层(GCN Layer1)，ST-Res-GCN模型中的残差图卷积模块(Res-GCN)内均包括图卷积层(GCN Layer)，每一层图卷积层GCN可以用一个非线性函数表示：
O＝f(I,A) (5)
其中，I和O分别表示图卷积层的输入和输出；
图卷积层GCN模仿图像上的卷积操作，然后对邻接矩阵A加入自循环得到新的邻接矩阵A，并且对新的邻接矩阵A进行归一化，所有图卷积层GCN Layer均以ReLU作为激活函数，因此得到图卷积层GCN的常用计算公式：
其中，H表示图卷积层GCN Layer的输出，
表示对邻接矩阵A加入自连接，IN为单位矩阵；/>
是/>
的对角度矩阵，对角线元素为/>
其余元素为0；
为/>
的归一化矩阵，W为该层的权重，X为输入；
批量归一化层(包括BN Layer1和BN Layer5)的计算过程为：
因此可以得到ST-Res-GCN模型的第一图卷积层(GCN Layer1)的计算过程为：
第二图卷积层(GCN Layer2)的计算过程为：
第三图卷积层(GCN Layer3)的计算过程为：
其中，O1为第一残差图卷积模块Res-GCN 1的输出；
第四图卷积层(GCN Layer4)的计算过程为：
其中，O2为第二残差图卷积模块Res-GCN 2的输出；
(2)残差图卷积模块的计算
残差图卷积模块(Res-GCN)包括：批量归一化层(BN Layer)、图卷积层(GCNLayer)、加法层(Add Layer)，如图2所示，其计算过程为：
O(L)＝I(L)+H(L+1)(9)
其中，O(L)、I(L)和H(L+1)分别表示第L个残差图卷积模块(Res-GCN)的输出、输入和第L+1个残差图卷积模块的图卷积层(GCN Layer)的输出；
第一残差图卷积模块Res-GCN 1包括：第二批量归一化层BN Layer2、第二图卷积层GCNLayer2、第一加法层Add Layer1，因此可以得到ST-Res-GCN模型第一残差图卷积模块(Res-GCN 1)的计算过程为：
O1＝H1+H2(10)
其中，O1、H1和H2分别表示第一残差图卷积模块Res-GCN 1的输出、第一图卷积层GCN Layer1的输出和第二图卷积层GCN Layer2的输出；
第二残差图卷积模块Res-GCN 2包括：第三批量归一化层BN Layer3、第三图卷积层GCNLayer3、第二加法层Add Layer2，其计算过程为：
其中，O2、O1和H3分别表示第二残差图卷积模块Res-GCN 2的输出、第一残差图卷积模块Res-GCN 1的输出和第三图卷积层GCN Layer3的输出；
第三残差图卷积模块Res-GCN3包括：第四批量归一化层BN Layer4、第四图卷积层GCNLayer4、第三加法层Add Layer3，其计算过程为：
O3＝O2+H4(12)
其中，O3、O2和H4分别表示第三残差图卷积模块Res-GCN3的输出、第二残差图卷积模块Res-GCN 2的输出和第四图卷积层GCN Layer4的输出。
(3)时空特征提取模块的计算
卷积层的计算过程为：
其中，x为输入数据，yConv为输出数据，ω为卷积核的权重，a、β分别为卷积核的行数、列数，上标i,j表示数据中第i行第j列的元素。
因此可以得到ST-Res-GCN模型第一一维卷积层(CNN Layer1)的计算过程为：
长短记忆层(LSTM)的计算过程fLSTM(xt)为：
输入门：it＝σ(Wi·[ht-1,xt]+bi) (15)
遗忘门：ft＝σ(Wf·[ht-1,xt]+bf) (16)
输出门：ot＝σ(Wo·[ht-1,xt]+bo) (17)
候选记忆单元：
长记忆：
短记忆(隐藏状态)：ht＝ot*tanh(Ct) (20)
Wi为输入门的权重，Wf为遗忘门的权重，Wo为输出门的权重，ht-1为第t-1层LSTM短记忆(隐藏状态)的值，为第t层LSTM的输入xt，bi为输入门的偏置，为遗忘门的偏置bf，bo为输出门的偏置，WC、bC分别为候选记忆单元的权重和偏置。
时空特征提取模块的网络结构如图3所示，包括输入的特征图依次经过批量归一化层BN、长短记忆网络LSTM、批量归一化层BN、一维卷积层CNN和Relu函数后再与输入的特征图相加，具体的，第一时空特征提取模块ST 1包括：第六批量归一化层BN Layer6、第一长短记忆网络LSTM Layer1、第七批量归一化层BN Layer7、第二一维卷积层CNN Layer2、第四加法层Add Layer4，其计算过程为：
R2＝ReLU(fConv(fBN(fLSTM(fBN(R1))))) (21)
其中，fConv表示一维卷积层计算，fLSTM表示长短记忆网络的计算；
STO1＝R1+R2 (22)
其中，STO1、R1和R2分别表示第一时空特征提取模块ST 1的输出、第一一维卷积层CNNLayer1的输出和第二一维卷积层CNN Layer2的输出；
第二时空特征提取模块ST 2包括：第八批量归一化层BN Layer8、第二长短记忆网络LSTM Layer2、第九批量归一化层BN Layer9、第三一维卷积层CNN Layer3、第五加法层AddLayer5，其计算过程为：
R3＝ReLU(fConv(fBN(fLSTM(fBN(STO1)))))(23)
STO2＝STO1+R3(24)
其中，STO2、STO1和R3分别表示第二时空特征提取模块ST 2的输出、第一时空特征提取模块ST 1的输出和第三一维卷积层CNN Layer3的输出。
总体来说，采用最大信息系数(MIC)方法计算数据变量之间的MIC值矩阵作为GCN的邻接矩阵，能够解决在常规工业过程中，无法得到数据变量之间更深层次相关性的问题；并且，采用一层GCN层和三个残差图卷积模块对图结构数据的时空特征进行提取，能够很好的挖掘数据的本质特征，再结合2个由一维卷积层和LSTM层构成的时空特征提取模块来进行更多角度的时空特征提取，提高分类结果的准确率；同时，使用全局最大池化层来对特征数据进行下采样、降维，增加丢弃层来避免模型过拟合，增强模型的泛化能力，能够更好的提升实际应用时的诊断率和性能；
步骤5、训练和测试ST-Res-GCN模型
本发明使用的仿真实验数据为田纳西-伊斯曼(TE)过程数据集，分为训练集和测试集两部分，每部分均包含正常样本数据和21种故障样本数据，每个样本数据都有52种变量，训练集中每个变量有500个数据，测试集中每个变量有800个数据；对正常样本数据的52种变量之间经过步骤2的计算得到52×52的MIC矩阵，对每种故障样本数据进行步骤3的标准化处理和移动滑窗截取，窗口宽度为35，从而使训练集可以得到466组训练数据(即466个节点特征矩阵X)，测试集可以得到766组测试数据(即766个节点特征矩阵X)；将上述52×52的MIC矩阵作为步骤4建立的ST-Res-GCN模型的输入层中的邻接矩阵A，将上述466组训练数据(即466个节点特征矩阵X)作为ST-Res-GCN模型输入层中的特征矩阵X，对ST-Res-GCN模型进行训练，以交叉熵作为损失函数，Adam算法作为优化算法，并且加入早停机制来寻找最佳模型；从而获得训练好的ST-Res-GCN模型。
将上述766组测试数据(即766个节点特征矩阵X)输入训练好的ST-Res-GCN模型，测试时的邻接矩阵A与训练时所用的邻接矩阵A相同，均是通过计算训练集的正常数据中不同变量之间的MIC值得到。利用评价指标误差率和F1分数作为预设指标来评估ST-Res-GCN模型，误差率越小越好，F1分数越大越好。若ST-Res-GCN模型的评价指标不符合预设的评价标准，调整ST-Res-GCN模型的网络结构的参数，直到评价指标满足预设的评价标准从而获得满足在线工业过程故障诊断使用的训练和测试好的ST-Res-GCN模型。
误差率(error)
error＝1-accuracy(25)
F1分数(F1 score)
其中，accuracy是准确率，precision是精确率，recall是召回率。
步骤6、利用步骤5获得的训练好的ST-Res-GCN模型即能进行在线的工业过程故障诊断：
将按步骤1相同技术方法采集到的实时工业生产现场的故障数据，经过步骤3的标准化处理和滑动窗口截取得到实时工业生产现场的数据的节点特征矩阵Xonline，将Xonline输入步骤5训练和测试好的ST-Res-GCN模型中，最终获得实时数据的故障分类诊断结果。
实验1：
采用田纳西-伊斯曼(TE)过程数据集作为本实验的仿真实验数据，实验硬件参数如下表1：
表1实验硬件参数：
对于网络模型的预测结果评估，本实验采用误差率(error)和F1分数作为评价指标。
将实施例1的ST-Res-GCN模型与卷积神经网络CNN(2D)、卷积神经网络CNN(1D)、长短期期记忆网络LSTMs和支持向量机SVM模型在相同的输入数据下进行对每种故障的分别分类的二分类对比实验，结果如表2所示：
表2：二分类实验结果
将实施例1的ST-Res-GCN模型与卷积神经网络CNN(2D)、卷积神经网络CNN(1D)、长短期期记忆网络LSTMs和支持向量机SVM模型在相同的输入数据下进行对所有故障同时分类的多分类对比实验，结果如表3所示：
表3：多分类对比实验结果
从表2和表3的结果可以看出，ST-Res-GCN模型的平均F1 score要优于常规的深度学习和机器学习算法，故障诊断率有明显的提升，表明相比于常规算法，ST-Res-GCN模型能够更有效的提取数据的时空特征。
通过实验可以表明，ST-Res-GCN模型将MIC矩阵作为邻接矩阵的图卷积结构能够很好的提取不同变量之间的相关关系以及变量自身的时序变化特征，并且残差图卷积模块与时空特征提取模块的结合能够很好的挖掘数据的时空特征关系，从而有效的提高故障诊断的准确率和性能。预测结果表明：在二分类和多分类两种测试方式下，ST-Res-GCN模型的平均F1分数比CNN(2D)模型分别提高了9％和21％；比CNN(1D)模型分别提高了11％和24％；比LSTMs模型分别提高了10％和23％；比SVM模型分别提高了22％和46％。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。
Claims (8)
1.一种基于时空融合的图卷积网络工业过程故障诊断方法，其特征在于：
采集工业生产过程中的故障数据，然后将故障数据进行z-score标准化处理和滑动窗口截取得到节点特征矩阵Xonline，将节点特征矩阵Xonline输入到训练和测试好的ST-Res-GCN模型中获得故障分类结果；
所述ST-Res-GCN模型包括依次连接的输入层、第一批量归一化层BN Layer1、第一图卷积层GCN Layer1、三个残差图卷积模块Res-GCN、第五批量归一化层BN Layer5、第一一维卷积层CNN Layer1、二个时空特征提取模块ST、全局最大池化层GMP Layer、丢弃层DropoutLayer和输出层；
所述残差图卷积模块Res-GCN包括批量归一化层BN Layer、图卷积层GCN Layer和加法层Add Layer；
所述时空特征提取模块ST包括批量归一化层BN、长短记忆网络LSTM、批量归一化层BN、一维卷积层CNN和加法层Add Layer。
2.根据权利要求1所述的一种基于时空融合的图卷积网络工业过程故障诊断方法，其特征在于：
所述ST-Res-GCN模型的训练和测试过程为：
(1)将仿真实验数据分为训练集和测试集两部分，每部分均包含正常数据和故障数据；
(2)计算训练集的正常数据中不同变量之间的MIC值作为邻接矩阵A，将训练集的故障数据进行z-score标准化处理后使用滑动窗口截取得到训练集的节点特征矩阵X，然后将训练集的邻接矩阵A和节点特征矩阵X输入所述ST-Res-GCN模型进行训练，以交叉熵作为损失函数，Adam算法作为优化算法，并且加入早停机制来寻找最佳模型，获得训练好的ST-Res-GCN模型；
(3)将测试集的故障数据进行z-score标准化处理后使用滑动窗口截取得到训练集的节点特征矩阵X，将测试集的节点特征矩阵X输入训练好的ST-Res-GCN模型，评价指标为误差率和F1分数，调整ST-Res-GCN模型的参数直到评价指标满足预设的评价标准，获得所述训练和测试好的ST-Res-GCN模型，其中测试时的邻接矩阵A与训练时所用的邻接矩阵A相同。
3.根据权利要求2所述的一种基于时空融合的图卷积工业过程故障诊断方法，其特征在于：
所述邻接矩阵A的获取过程为：
(1)数据截取
对所述正常数据
进行z-score标准化处理，然后选取长度为l的时序数据得到数据集/>
其中，S＝{s1,s2,...,si,...,sN}，/>
N为数据集S中时序数据的条数；
(2)MIC值计算
依次选取数据集S中的2条时序数据si,sj∈S，计算两条数据之间的MIC值：
其中，p(si,sj)为si,sj的联合分布，p(si)、p(sj)分别为si和sj的边缘分布，I(si,sj)为si,sj的互信息，B为网格上限，通常取B＝n0.6，n为样本数量，a和b为a×b网格的a行和b列；
(3)邻接矩阵计算
对
中所有N条时序数据之间按式(1)的计算最大信息系数MIC值，得到对称的N×N矩阵，设定一个阈值λ，将N×N矩阵中小于λ的MIC值替换为0，其余值保持不变，获得MIC矩阵作为邻接矩阵/>
4.根据权利要求3所述的一种基于时空融合的图卷积网络工业过程故障诊断方法，其特征在于：
所述滑动窗口截取的过程如下：
对所述z-score标准化处理后的故障数据用t的窗口长度、以1为步长进行移动截取，得到T-t+1组N×t的数据集X＝{x1,x2,...,xT-t+1}作为所述节点特征矩阵X，其中
T为故障数据的时序长度，i＝1,2,...,T-t+1。
5.根据权利要求4所述的一种基于时空融合的图卷积网络工业过程故障诊断方法，其特征在于：
所述输入层包括所述节点特征矩阵X和所述邻接矩阵A；
所述残差图卷积模块Res-GCN包括第一残差图卷积模块Res-GCN 1、第二残差图卷积模块Res-GCN 2、第三残差图卷积模块Res-GCN 3；
所述时空特征提取模块ST包括第一时空特征提取模块ST 1、第二时空特征提取模块ST2。
6.根据权利要求5所述的一种基于时空融合的图卷积网络工业过程故障诊断方法，其特征在于：
所述第一图卷积层GCN Layer1)的计算过程为：
其中，
IN为单位矩阵；/>
是/>
的对角度矩阵，/>
为/>
的归一化矩阵，W1为权重，σ为激活函数；fBN为批量归一化层的计算输出，X为输入。
7.根据权利要求6所述的一种基于时空融合的图卷积网络工业过程故障诊断方法，其特征在于：
所述第一残差图卷积模块Res-GCN 1包括：第二批量归一化层BN Layer2、第二图卷积层GCN Layer2、第一加法层Add Layer1，计算过程为：
O1＝H1+H2， (10)
其中，O1和H2分别表示第一残差图卷积模块Res-GCN 1的输出和第二图卷积层GCNLayer2的输出，
所述第二残差图卷积模块Res-GCN 2包括：第三批量归一化层BN Layer3、第三图卷积层GCN Layer3、第二加法层Add Layer2，计算过程为：
O2＝O1+H3 (11)
其中，O2和H3分别表示第二残差图卷积模块Res-GCN 2的输出和第三图卷积层GCNLayer3的输出，
所述第三残差图卷积模块Res-GCN3包括：第四批量归一化层BN Layer4、第四图卷积层GCN Layer4、第三加法层Add Layer3，计算过程为：
O3＝O2+H4 (12)
其中，O3和H4分别表示第三残差图卷积模块Res-GCN3的输出和第四图卷积层GCNLayer4的输出，
其中，W2、W3和W4均为权重。
8.根据权利要求7所述的一种基于时空融合的图卷积网络工业过程故障诊断方法，其特征在于：
所述第一时空特征提取模块ST 1包括：第六批量归一化层BN Layer6、第一长短记忆网络LSTM Layer1、第七批量归一化层BN Layer7、第二一维卷积层CNN Layer2、第四加法层Add Layer4，计算过程为：
STO1＝R1+R2 (22)
其中，STO1、R1和R2分别表示第一时空特征提取模块ST 1的输出、第一一维卷积层CNNLayer1的输出和第二一维卷积层CNN Layer2的输出；
R1＝fConv(fBN(O3)) (14)
R2＝ReLU(fConv(fBN(fLSTM(fBN(R1))))) (21)
其中，fConv表示一维卷积层计算，fLSTM表示长短记忆网络的计算；
所述第二时空特征提取模块ST 2包括：第八批量归一化层BN Layer8、第二长短记忆网络LSTM Layer2、第九批量归一化层BN Layer9、第三一维卷积层CNN Layer3、第五加法层Add Layer5，计算过程为：
R3＝ReLU(fConv(fBN(fLSTM(fBN(STO1))))) (23)
STO2＝STO1+R3 (24)
其中，STO2、STO1和R3分别表示第二时空特征提取模块ST 2的输出、第一时空特征提取模块ST 1的输出和第三一维卷积层CNN Layer3的输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310155167.4A CN116226739A (zh) | 2023-02-23 | 2023-02-23 | 一种基于时空融合的图卷积网络工业过程故障诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310155167.4A CN116226739A (zh) | 2023-02-23 | 2023-02-23 | 一种基于时空融合的图卷积网络工业过程故障诊断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116226739A true CN116226739A (zh) | 2023-06-06 |
Family
ID=86582006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310155167.4A Pending CN116226739A (zh) | 2023-02-23 | 2023-02-23 | 一种基于时空融合的图卷积网络工业过程故障诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116226739A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116629080A (zh) * | 2023-07-24 | 2023-08-22 | 福建农林大学 | 钢管混凝土叠合构件撞击位移时程图卷积预测方法 |
-
2023
- 2023-02-23 CN CN202310155167.4A patent/CN116226739A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116629080A (zh) * | 2023-07-24 | 2023-08-22 | 福建农林大学 | 钢管混凝土叠合构件撞击位移时程图卷积预测方法 |
| CN116629080B (zh) * | 2023-07-24 | 2023-09-26 | 福建农林大学 | 钢管混凝土叠合构件撞击位移时程图卷积预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111273623B (zh) | 基于Stacked LSTM的故障诊断方法 | |
| CN112580263A (zh) | 基于时空特征融合的涡扇发动机剩余使用寿命预测方法 | |
| CN111898639B (zh) | 基于降维的分层时间记忆工业异常检测方法与装置 | |
| Chen et al. | One-dimensional convolutional neural network-based active feature extraction for fault detection and diagnosis of industrial processes and its understanding via visualization | |
| Wu et al. | A transformer-based approach for novel fault detection and fault classification/diagnosis in manufacturing: A rotary system application | |
| CN115204302A (zh) | 一种无人机小样本故障诊断系统及方法 | |
| CN111914897A (zh) | 一种基于孪生长短时间记忆网络的故障诊断方法 | |
| CN116226739A (zh) | 一种基于时空融合的图卷积网络工业过程故障诊断方法 | |
| CN111832228B (zh) | 基于cnn-lstm的振动传递系统 | |
| Kara | Multi-scale deep neural network approach with attention mechanism for remaining useful life estimation | |
| CN111985825A (zh) | 一种用于滚磨机定向仪的晶面质量评估方法 | |
| CN115828754A (zh) | 基于多尺度时空融合网络模型的刀具磨损状态监测方法 | |
| CN113110398B (zh) | 基于动态时间归整和图卷积网络的工业过程故障诊断方法 | |
| CN116844041A (zh) | 一种基于双向卷积时间自注意力机制的耕地提取方法 | |
| CN112966595B (zh) | 一种基于图神经网络的传感器网络数据异常判决方法 | |
| CN113610147A (zh) | 一种基于lstm的多潜在子空间信息融合地震短临预测方法 | |
| CN111797979A (zh) | 基于lstm模型的振动传递系统 | |
| KR20210126378A (ko) | 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템 | |
| CN115578325A (zh) | 一种基于通道注意配准网络的图像异常检测方法 | |
| CN115694985A (zh) | 基于tmb的混合网络流量攻击预测方法 | |
| WO2020213560A1 (ja) | モデル学習装置、データ分析装置、モデル学習方法、及びプログラム | |
| CN114841063A (zh) | 一种基于深度学习的航空发动机剩余寿命预测方法 | |
| Vázquez et al. | Using testor theory to reduce the dimension of neural network models | |
| Xu et al. | Failure prediction using gated recurrent unit and autoencoder in complex manufacturing process | |
| Ma et al. | A data-driven fault detection approach for unknown large-scale systems based on GA-SVM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |