CN113110398B - 基于动态时间归整和图卷积网络的工业过程故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于动态时间归整和图卷积网络的工业过程故障诊断方法，将仿真实验数据集中的正常数据的所有不同变量之间进行动态时间归整DTW得到距离的倒数矩阵作为邻接矩阵A，将故障数据进行标准化处理，然后滑动窗口截取得到节点特征矩阵X，然后构建DTW‑GCN模型，将邻接矩阵A和节点特征矩阵X用于训练和测试DTW‑GCN模型，将实时采集到的工业生产现场数据经过标准化处理和滑动窗口截取后输入训练和测试好的DTW‑GCN模型中进行故障诊断，最终得到实时的诊断结果。本发明能够自动自取、深度挖掘数据中的时空融合特征，有效地提高故障的诊断率。

Description

基于动态时间归整和图卷积网络的工业过程故障诊断方法

技术领域

本发明涉及工业过程故障诊断方法，特别是一种基于动态时间归整和图卷积网络的工业过程故障诊断方法。

背景技术

随着现代科技水平和不断发展和市场竞争的愈演愈烈，工业生产设备向大型化、智能化、自动化等方向发展，因此设备的安全稳定运行成为大家关注的重点。因为工业生产过程中一旦发生事故，轻则对产品质量和生产效率造成不良影响，重则造成非常严重的人员伤亡。因此，开发安全高效的故障检测和诊断技术显得尤为重要。

根据不同的建模原理，故障诊断方法可以分为机理建模、知识驱动建模和数据驱动建模三大类。机理建模和知识驱动建模方法需要大量的先验知识和对实际系统的全面把握，由于工业过程的高度集成性、复杂性等特点，这两种方法较难应用到当前的工业过程中。与此同时，随着工业过程数据储备的日益丰富和人工智能技术的发展，基于数据驱动的工业过程故障诊断算法受到越来越多的关注。数据驱动建模方法基于过程历史数据进行模型构建及参数自适应整定，具有良好的适配性和鲁棒性。常用的数据驱动建模方法有主成分分析、支持向量机、人工神经网络等。浅层的数据驱动建模方法在故障诊断中取得了很好的成果，但对于高维非线性、非平稳数据的特征提取效果有限。近年来，深度学习方法在许多领域表现出强大的性能，因此，越来越多的专家学者将深度学习方法应用于工业过程的故障诊断中。深度学习方法是一种深层的机器学习方法，通过堆叠多层的非线性函数映射层来挖掘数据之间的相互关系，从而实现更高层级的、更加抽象的数据表达。将深度学习方法引入故障诊断中，能够较好的克服以往方法存在的对复杂深层结构学习能力不足的问题，能够更加充分的利用数据的信息，提高模型的预测精度。

现如今，工业过程规模愈发庞大、结构愈发复杂，使得工业过程数据呈现复杂的时空特点：在时序上，不同种类的故障，其时序表现快慢不同，其数据表现出非平稳、非线性的特性；在特征空间上，影响不同故障的关键特征不同，特征之间的耦合关系复杂；在时空关联的角度上，时序特征和空间特征之间又存在着静态、动态耦合关联。因此在进行具有复杂时空数据特征的工业过程故障诊断建模时，不仅要考虑时间上的连续性和周期性，还需要考虑不同区域之间的空间相关性，并且这些空间相关性还会伴随着时间发生变化。传统的时空序列研究方法主要是基于统计学原理，这些方法将时空序列看作多个时间序列来处理，很难捕获空间的相关性，也难以挖掘出其中的非线性时空信息。深度学习的兴起使时空序列的研究取得了进一步的发展。现有的基于深度学习方法的时空序列算法从序列生成模型和空间关系建模两个角度进行分析。序列生成模型以循环神经网络(RNN)为基础，并在RNN的基础上提出了长短期记忆单元(LSTM)和门控循环单元(GRU)及其他衍生方法。随后，鉴于seq2seq框架在自然语言处理领域中的良好表现，将RNNs和seq2seq框架结合的序列生成模型也取得了很好的效果。空间关系建模以卷积神经网络(CNN)为基础，能够很好的提取空间特征。但对于非欧几里得的图结构关系，CNN无法有效操作，因此出现了图神经网络(GNN)。GNN是一类基于深度学习的处理图域信息的方法。对于非欧的图数据结构的研究，极大地推动了图卷积网络(GCN)等一系列图分析技术的发展。

通过将序列模型和空间模型相结合构建时空模型可以很好的应用于时空序列问题。结合序列生成模型和空间关系建模的时空序列算法要求输入数据为图像序列，或需要给定不同序列之间的明确相互关系。但是工业过程数据的不同特征之间的复杂相互关系难以测量，因此现有的时空序列算法无法直接应用。

发明内容

本发明要解决的技术问题是一种基于动态时间归整和图卷积网络的工业过程故障诊断方法，用以克服现有技术不足能够准确、有效地对工业过程故障进行分类诊断。

为了解决上述技术问题，本发明提供一种基于动态时间归整和图卷积网络的工业过程故障诊断方法，包括将仿真实验数据集中的正常数据的所有不同变量之间进行动态时间归整DTW得到距离的倒数矩阵作为邻接矩阵A，将故障数据进行标准化处理，然后滑动窗口截取得到节点特征矩阵X，然后构建DTW-GCN模型，将邻接矩阵A和节点特征矩阵X用于训练和测试DTW-GCN模型，将实时采集到的工业生产现场数据经过标准化处理和滑动窗口截取后输入训练和测试好的DTW-GCN模型中进行故障诊断，最终得到实时的诊断结果。

作为一种基于动态时间归整和图卷积网络的工业过程故障诊断方法的改进：

所述邻接矩阵A的获取过程为：

给定所述正常数据

取其中l长度时序数据进行计算得到数据

其中，S＝{s₁,s₂,...,s_N}，

N为自然数；

对于数据S中任意两条长度为l时序数据s_i,s_j∈S，令s_i＝{a₁,a₂,...,a_l}，s_j＝{b₁,b₂,...,b_l}，采用曼哈顿距离d(a_m,b_n)＝|a_m-b_n|构造一个l×l的距离矩阵，矩阵元素(m,n)表示a_m和b_n两个点之间的距离d(a_m,b_n)，两条时序数据s_i、s_j的曼哈顿距离矩阵以左下角为起始点，动态时间规整DTW为在起始条件L_min(1,1)＝d(1,1)下，通过动态规划方法：

L_min(m,n)＝min{L_min(m,n-1),L_min(m-1,n),L_min(m-1,n-1)}+d(m,n)，

寻找到一条路径，得到最小的L_min(l,l)；

对于数据S中所有N条时序数据之间计算动态时间归整距离，得到N×N距离矩阵，然后N×N距离矩阵内的所有元素取其倒数作为衡量变量之间相关权重的参数，得到距离的倒数矩阵

作为邻接矩阵A。

作为一种基于动态时间归整和图卷积网络的工业过程故障诊断方法的进一步改进：

所述节点特征矩阵X的获取过程如下：

对所述故障数据进行标准化处理和移动滑窗截取，给定原始数据

其中，N为特征变量数，T为原始数据的时序长度；对其进行标准化处理，Data^*＝(Data₂-μ)/σ，其中，μ和σ分别为每一维特征变量的均值和方差；然后用t的窗口长度，以1为步长进行移动截取，可得到T-t+1组N×t的数据集X＝{x₁,x₂,...,x_T-t+1}作为节点特征矩阵X，其中

作为一种基于动态时间归整和图卷积网络的工业过程故障诊断方法的进一步改进：

基于图卷积构建所述DTW-GCN模型，依次包括输入层、第一图卷积层GCN Layer1、第二图卷积层GCN Layer2、第一全连接层Dense Layer1、丢弃层Dropout Layer、第二全连接层Dense Layer2和输出层；：

输入层包括所述节点特征矩阵X和所述邻接矩阵A；第一图卷积层GCN Layer1和第二图卷积层GCN Layer2均以ReLU作为激活函数且均为图卷积层，第一图卷积层(GCNLayer1)的计算过程为：

H⁽¹⁾＝ReLU(D^-1/2AD^-1/2XW⁽¹⁾)，其中，H⁽¹⁾表示第一图卷积层GCN Layer1的输出，A＝A+I_N表示对邻接矩阵A加入自连接，I_N为单位矩阵；D是A的对角度矩阵，对角线元素为

其余元素为0；A＝D^-1/2AD^-1/2为A的归一化矩阵，W⁽¹⁾为第1层的权重；

第二图卷积层GCN Layer2的计算过程为：

H⁽²⁾＝ReLU(D^-1/2AD^-1/2H⁽¹⁾W⁽²⁾)H⁽²⁾第二图卷积层GCN Layer2的输出，W⁽²⁾为第2层的权重；

作为一种基于动态时间归整和图卷积网络的工业过程故障诊断方法的进一步改进：

所述仿真实验数据集为田纳西-伊斯曼TE过程数据集，设置分为训练集和测试集两部分，利用训练集对所述DTW-GCN模型进行训练，以交叉熵作为损失函数，Adam算法作为优化算法，并且加入早停机制来寻找最佳模型；训练之后将测试集输入，并利用误差率和F1分数来评估DTW-GCN模型从而获得所述训练和测试好的DTW-GCN模型。

本发明的有益效果主要体现在：

本发明提出了一种基于图卷积网络的工业过程故障诊断模型，能够自动自取、深度挖掘数据中的时空融合特征，有效地提高故障的诊断率；本发明基于动态时间归整方法生成图邻接矩阵，实现了对不同类型的变量之间的广义距离的衡量，有效解决了工业过程变量之间相关性难以表示的问题，而现有技术由于工业过程数据不同变量之间体现的不是普通物理意义上的空间距离的远近，而是更为复杂的相关关系，解决了现有的时空序列算法无法推广应用到工业过程故障诊断中的问题。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1为本发明的基于动态时间归整和图卷积网络的算法整体结构示意图；

图2为本发明的曼哈顿距离矩阵实例示意图；

图3为本发明的动态时间归整路径实例示意图；

图4为本发明的DTW-GCN模型结构示意图；

图5为本发明的一种基于动态时间归整和图卷积网络的工业过程故障诊断方法的过程示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例1、一种基于动态时间归整和图卷积网络的工业过程故障诊断方法，如图1-5所示，该方法继承了图卷积网络的优点，同时弥补了工业过程无法直接得到有关距离的邻接矩阵的不足，针对工业过程数据挖掘其时间和空间特征，以此来提高工业过程故障诊断的准确率和效率，如图1所示，包括数据预处理及表示和DTW-GCN模型两部分。数据预处理及表示部分包括对故障样本数据进行移动滑窗截取得到模型的训练集、对正常样本数据引入动态时间规整(DTW)方法得到广义距离的倒数矩阵作为图卷积的邻接矩阵；DTW-GCN模型部分引入两层图卷积(GCN)层对数据进行时空信息的融合提取，并通过全连接层输出故障分类结果，同时，在全连接层(Dense)和输出层之间增加丢弃层(Dropout)来防止模型过拟合，增强模型的泛化能力。

步骤1、获取工业过程的正常数据和故障数据；

在工业生产现场，通过传感器和工业计算机等技术手段，定时采集工业生产过程中物料参数、设备参数、状态参数等变量的数值，获得正常工况下各变量的时序数据(即正常数据)和不同故障工况下各变量的时序数据(即故障数据)；

步骤2、对步骤1获取的正常数据的所有不同变量之间进行动态时间归整(DTW)计算得到距离矩阵，并取矩阵内元素的倒数，得到距离的倒数矩阵；

基于动态时间规整(DTW)方法对步骤1获取的正常数据进行广义距离的表示，动态时间规整(DTW)方法的计算过程如下：

步骤2.1、给定正常数据

为减少计算时间，取其中l长度时序数据进行计算，得到数据

其中，S＝{s₁,s₂,...,s_N}，

N为自然数；

步骤2.2、对步骤2.1得到的数据S的任意两个变量之间进行动态时间规整(DTW)计算，对于S中任意2条长度为l时序数据s_i,s_j∈S，令s_i＝{a₁,a₂,...,a_l}，s_j＝{b₁,b₂,...,b_l}，构造一个l×l矩阵，矩阵元素(m,n)表示a_m和b_n两个点之间的距离d(a_m,b_n)，一般采用曼哈顿距离d(a_m,b_n)＝|a_m-b_n|，如图2所示，两条时序数据s_i、s_j的曼哈顿距离矩阵以左下角为起始点，元素为两条时间序列对应值的曼哈顿距离；

动态时间规整(DTW)即为在起始条件L_min(1,1)＝d(1,1)下，寻找到一条路径，得到最小的L_min(l,l)，采用动态规划，可知：

L_min(m,n)＝min{L_min(m,n-1),L_min(m-1,n),L_min(m-1,n-1)}+d(m,n)，

通过动态规划方法得到的动态时间规整(DTW)路径，如图3所示；得到的L_min(l,l)即为数据S的两个变量之间的动态时间归整(DTW)结果；

步骤2.3、对步骤2.1得到的所有N条时序数据之间通过步骤2.2的计算动态时间归整距离，得到对称的N×N距离矩阵；由于距离越大表示变量之间的相关性越差，与图邻接矩阵元素的意义相反，因此，对N×N距离矩阵内的所有元素取其倒数作为衡量变量之间相关权重的参数，得到距离的倒数矩阵

其中，N为特征变量数，作为图卷积网络层的邻接矩阵A；

步骤3、对步骤1获取的故障数据进行标准化处理，然后滑动窗口截取；

给定原始数据

其中，N为特征变量数，T为原始数据的时序长度，对其进行标准化处理，Data^*＝(Data₂-μ)/σ，其中，μ和σ分别为每一维特征变量的均值和方差；然后用t的窗口长度，以1为步长进行移动截取，可得到T-t+1组N×t的数据集X＝{x₁,x₂,...,x_T-t+1}作为节点特征矩阵X，其中

步骤4、构建基于图卷积的深度学习神经网络DTW-GCN模型(下文简称为DTW-GCN模型)，如图4所示，并对DTW-GCN模型初始化；

DTW-GCN模型依次为输入层、第一图卷积层(GCN Layer1)、第二图卷积层(GCNLayer2)、第一全连接层(Dense Layer1)、丢弃层(Dropout Layer)、第二全连接层(DenseLayer2)和输出层；

输入层包括节点特征矩阵X和邻接矩阵A；采用两层图卷积层GCN层即第一图卷积层(GCN Layer1)和第二图卷积层(GCN Layer2)对数据的时空特征进行提取，并选择ReLU作为激活函数；然后，第二图卷积层(GCN Layer2)提取的特征经过两层全连接层即第一全连接层(Dense Layer1)和第二全连接层(Dense Layer2)，对特征进一步的提取并分类；在两层全连接层之间加入丢弃层(Dropout Layer)来减少模型的过拟合；最后，得到准确的故障分类结果；DTW-GCN模型中的每一层图卷积层GCN可以用一个非线性函数表示：

H^(L+1)＝f(H^(L),A)

其中，H^(L)和H^(L+1)分别表示第L层和第L+1层的输出；

图卷积层GCN模仿图像上的卷积操作，然后对邻接矩阵A加入自循环得到新的邻接矩阵A，并且对新的邻接矩阵A进行归一化，因此得到图卷积层GCN的常用计算公式：

f(H^(L),A)＝σ(D^-1/2AD^-1/2H^(L)W^(L))

其中，A＝A+I_N表示对邻接矩阵A加入自连接，I_N为单位矩阵；D是A的对角度矩阵，对角线元素为

其余元素为0；A＝D^-1/2AD^-1/2为A的归一化矩阵，W^(L)为第L层的权重，σ为激活函数；

因此可以得到DTW-GCN模型第一图卷积层(GCN Layer1)的计算过程为：

H⁽¹⁾＝ReLU(D^-1/2AD^-1/2XW⁽¹⁾)

第二图卷积层(GCN Layer2)的计算过程为

H⁽²⁾＝ReLU(D^-1/2AD^-1/2H⁽¹⁾W⁽²⁾)

总体来说，采用动态时间规整(DTW)方法计算数据变量之间的距离矩阵，并取其倒数矩阵来代替GCN的邻接矩阵，能够解决在常规工业过程中，无法得到数据变量之间相关性参数的问题；并且，采用两层GCN层和两层全连接层对数据的深层时空特征进行提取，能够很好的挖掘数据的本质特征，提高最后分类结果的准确率；同时，增加丢弃层来避免模型过拟合，增强模型的泛化能力，能够更好的提升实际应用时的诊断率和性能；

步骤5、训练和测试DTW-GCN模型

本发明使用的仿真实验数据为田纳西-伊斯曼(TE)过程数据集，分为训练集和测试集两部分，每部分均包含正常样本数据和21种故障样本数据，每个样本数据都有52种变量，训练集中每个变量有500个数据，测试集中每个变量有800个数据；对正常样本数据的52种变量之间经过步骤2的计算得到52×52的距离倒数矩阵，对每种故障样本数据进行步骤3的标准化处理和移动滑窗截取，窗口宽度为16，从而使训练集可以得到485组训练数据(即485个节点特征矩阵X)，测试集可以得到785组测试数据(即785个节点特征矩阵X)；将上述52×52的距离倒数矩阵作为步骤4建立的DTW-GCN模型的输入层中的邻接矩阵A，将上述485组训练数据作为DTW-GCN模型输入层中节点特征矩阵X，对DTW-GCN模型进行训练，以交叉熵作为损失函数，Adam算法作为优化算法，并且加入早停机制来寻找最佳模型；从而获得训练好的DTW-GCN模型；

将上述785组测试数据输入训练好的DTW-GCN模型，并利用评价指标误差率和F1分数来评估DTW-GCN模型，若DTW-GCN模型的评价指标不符合预设的评价标准，调整DTW-GCN模型的网络结构的参数，直到评价指标满足预设的评价标准从而获得满足在线工业过程故障诊断使用的训练和测试好的DTW-GCN模型；

步骤6、利用步骤5获得的训练好的DTW-GCN模型即能进行在线的工业过程故障诊断：

将按步骤1相同技术方法采集到的实时工业生产现场的数据，经过步骤3的标准化处理和滑动窗口截取得到实时的节点特征矩阵X_online，将X_online输入步骤5训练和测试好的DTW-GCN模型中，最终获得实时数据的故障诊断结果。

实验1：

使用实施例1中的田纳西-伊斯曼(TE)过程数据集作为本实验的仿真实验数据，实验硬件参数如下表1：

表1实验硬件参数：

对于网络模型的预测结果评估，本实验采用如下两种评价指标：

(1)、误差率(error)

error＝1-accuracy

(2)、F1分数(F1 score)

其中，accuracy是准确率，precision是精确率，recall是召回率；

将实施例1的DTW-GCN模型与卷积神经网络CNN(2D)、卷积神经网络CNN(1D)、长短期记忆网络LSTMs和支持向量机SVM模型在相同的输入数据下进行对每种故障的分别分类的二分类对比实验，结果如表2所示：

表2：二分类实验结果

将实施例1的DTW-GCN模型与卷积神经网络CNN(2D)、卷积神经网络CNN(1D)、长短期记忆网络LSTMs和支持向量机SVM模型在相同的输入数据下进行对所有故障同时分类的多分类对比实验，结果如表3所示：

表3：多分类对比实验结果

从表2和表3的结果可以看出，DTW-GCN模型的平均error和平均F1 score要优于常规的深度学习和机器学习算法，故障诊断率有明显的提升，表明相比于常规算法，DTW-GCN模型能够更有效的提取数据的时空特征。

通过实验可以表明，DTW-GCN模型将DTW距离的倒数矩阵作为邻接矩阵的图卷积结构能够很好的提取不同变量之间的相关关系以及变量自身的时序变化特征，并且图卷积网络结果能够很好的挖掘数据的时空特征关系，从而有效的提高故障诊断的准确率和性能。预测结果表明：在二分类和多分类两种测试方式下，DTW-GCN模型的平均误差率比CNN(2D)模型分别降低了3.8％和8.8％，平均F1分数分别提高了4.5％和8.9％；平均误差率比CNN(1D)模型分别降低了5.0％和9.7％，平均F1分数分别提高了6.6％和9.6％；平均误差率比LSTMs模型分别降低了4.7％和10.5％，平均F1分数分别提高了6.4％和10.3％；平均误差率比SVM模型分别降低了13.6％和31.1％，平均F1分数分别提高了16.7％和33.3％。

最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (4)

1.一种基于动态时间归整和图卷积网络的工业过程故障诊断方法，其特征在于：将仿真实验数据集中的正常数据的所有不同变量之间进行动态时间归整DTW得到距离的倒数矩阵作为邻接矩阵A，将故障数据进行标准化处理，然后滑动窗口截取得到节点特征矩阵X，然后构建DTW-GCN模型，将邻接矩阵A和节点特征矩阵X用于训练和测试DTW-GCN模型，将实时采集到的工业生产现场数据经过标准化处理和滑动窗口截取后输入训练和测试好的DTW-GCN模型中进行故障诊断，最终得到实时的诊断结果；

所述邻接矩阵A的获取过程为：给定所述正常数据

取其中l长度时序数据进行计算得到数据

其中，S＝{s₁,s₂,...,s_N}，

N为自然数；

对于数据S中任意两条长度为l时序数据s_i,s_j∈S，令s_i＝{a₁,a₂,...,a_l}，s_j＝{b₁,b₂,...,b_l}，采用曼哈顿距离d(a_m,b_n)＝|a_m-b_n|构造一个l×l的距离矩阵，矩阵元素(m,n)表示a_m和b_n两个点之间的距离d(a_m,b_n)，两条时序数据s_i、s_j的曼哈顿距离矩阵以左下角为起始点，动态时间规整DTW为在起始条件L_min(1,1)＝d(1,1)下，通过动态规划方法：

L_min(m,n)＝min{L_min(m,n-1),L_min(m-1,n),L_min(m-1,n-1)}+d(m,n)，

寻找到一条路径，得到最小的L_min(l,l)；

对于数据S中所有N条时序数据之间计算动态时间归整距离，得到N×N距离矩阵，然后N×N距离矩阵内的所有元素取其倒数作为衡量变量之间相关权重的参数，得到距离的倒数矩阵

作为邻接矩阵A。

2.根据权利要求1所述的一种基于动态时间归整和图卷积网络的工业过程故障诊断方法，其特征在于：

所述节点特征矩阵X的获取过程如下：

对所述故障数据进行标准化处理和移动滑窗截取，给定原始数据

其中，N为特征变量数，T为原始数据的时序长度；对其进行标准化处理，Data^*＝(Data₂-μ)/σ，其中，μ和σ分别为每一维特征变量的均值和方差；然后用t的窗口长度，以1为步长进行移动截取，可得到T-t+1组N×t的数据集X＝{x₁,x₂,...,x_T-t+1}作为节点特征矩阵X，其中

3.根据权利要求2所述的一种基于动态时间归整和图卷积网络的工业过程故障诊断方法，其特征在于：

基于图卷积构建所述DTW-GCN模型，依次包括输入层、第一图卷积层GCN Layer1、第二图卷积层GCN Layer2、第一全连接层Dense Layer1、丢弃层Dropout Layer、第二全连接层Dense Layer2和输出层；：

输入层包括所述节点特征矩阵X和所述邻接矩阵A；第一图卷积层GCN Layer1和第二图卷积层GCN Layer2均以ReLU作为激活函数且均为图卷积层，第一图卷积层(GCN Layer1)的计算过程为：

其中，H⁽¹⁾表示第一图卷积层GCN Layer1的输出，

表示对邻接矩阵A加入自连接，I_N为单位矩阵；

是

的对角度矩阵，对角线元素为

其余元素为0；

为

的归一化矩阵，W⁽¹⁾为第1层的权重；

第二图卷积层GCN Layer2的计算过程为：

H⁽²⁾第二图卷积层GCN Layer2的输出，W⁽²⁾为第2层的权重。

4.根据权利要求3所述的一种基于动态时间归整和图卷积网络的工业过程故障诊断方法，其特征在于：

所述仿真实验数据集为田纳西-伊斯曼TE过程数据集，设置分为训练集和测试集两部分，利用训练集对所述DTW-GCN模型进行训练，以交叉熵作为损失函数，Adam算法作为优化算法，并且加入早停机制来寻找最佳模型；训练之后将测试集输入，并利用误差率和F1分数来评估DTW-GCN模型从而获得所述训练和测试好的DTW-GCN模型。

Images