CN116520799A - 基于时空变分图注意力自编码器的复杂工业过程故障检测方法 - Google Patents
基于时空变分图注意力自编码器的复杂工业过程故障检测方法 Download PDFInfo
- Publication number
- CN116520799A CN116520799A CN202310438339.9A CN202310438339A CN116520799A CN 116520799 A CN116520799 A CN 116520799A CN 202310438339 A CN202310438339 A CN 202310438339A CN 116520799 A CN116520799 A CN 116520799A
- Authority
- CN
- China
- Prior art keywords
- encoder
- space
- node
- time
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 45
- 238000010586 diagram Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 75
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000009826 distribution Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 17
- 238000004148 unit process Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000000547 structure data Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 abstract description 9
- 238000010276 construction Methods 0.000 abstract description 4
- 230000003993 interaction Effects 0.000 description 13
- 238000012360 testing method Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 6
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000011701 zinc Substances 0.000 description 5
- 229910052725 zinc Inorganic materials 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 3
- 238000003723 Smelting Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000003546 flue gas Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004540 process dynamic Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002918 waste heat Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0262—Confirmation of fault detection, e.g. extra checks to confirm that a failure has indeed occurred
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24065—Real time diagnostics
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及工业过程故障检测技术领域，具体公开了基于时空变分图注意力自编码器的复杂工业过程故障检测方法，S01：基于慢特征分析的时间特征提取：对测量数据进行慢特征提取可获得m个慢特征；S02：基于度量学习和先验知识的空间图拓扑构造：对获得慢特征构建图形拓扑；S03：基于变分图注意力自编码器的时空特征表示学习：变分图注意力自编码器能够处理S01时间特征和S02的空间结构，生成潜在特征时空表示；S04：通过重构计算时间特征、空间关系和潜在表示的分布的损失进行训练；S05：基于阈值计算，将训练的损失输入到核密度估计中得到故障检测阈值。本发明能够处理工业过程时空信息，提高了故障检测率并减低误报率。
Description
技术领域
本申请涉及工业过程故障检测技术领域，具体公开了基于时空变分图注意力自编码器的复杂工业过程故障检测方法。
背景技术
随着现代工业技术的进步，工业过程变得高度复杂，导致系统结构日益复杂。这种复杂的工业过程通常包括多个相互关联的单元部分，这些单元部分紧密耦合并相互依赖，从而产生高昂的维护成本。一个单元的故障会引发其他单元的异常，甚至整个工业过程的崩溃，造成巨大的经济损失。因此，有效提升现代工业系统的故障检测性能势在必行；
现代工业工厂在每个运行单元部分中安装了大量的传感器，以收集和存储反映运行状态的大量数据，以保证系统安全和产品的高质量。因此，数据驱动的方法是复杂工业过程故障检测的首选方法。可分为两大类，多元统计分析和先进人工智能方法。在示例[1]中，研究人员设计了混合第一原理和数据驱动的过程监控方法，其核心算法为主成分分析(Principal component analysis,PCA)，属于经典的多元统计分析方法。具体而言，研究人员针对不同工况总是存在较大区别和数据量不平衡的问题，首先设计了集成主成分分析和公共子空间学习(PCA-CSL)方法。其中，针对具有足够数据的工作条件建立了PCA算法。相反，针对数据不足的工况，提出一种CSL算法，利用数据充足的工况辅助对公共子空间中数据不足的工况进行建模，从而实现准确的故障检测。最后，基于集成第一原理和数据驱动方法建立工况决策规则库，并采用粒子群优化方法对决策规则参数进行优化，实现基于规则推理的异常状态检测；
在示例[2]中，研究人员设计了一个全图自编码器的工业物联网大规模系统的故障检测。所设计的模型核心技术为图自编码器(graph autoencoder,GAE)，属于先进人工智能方法。具体而言，研究人员，在训练时以正常状态的输入数据为输入，仅包含几个归一化图卷积层，简单快捷，可以同时处理各种不规则结构。为了GAE学习表示，多变量时间序列被转换为与先验知识融合的图数据。然后，重建完整的图数据以获得可靠的故障检测分数，同时采用图增强操作来提高准确性和鲁棒性；
上述存在的缺陷：
示例[1]所给出的估计方法存在一定的局限性。方法没有考虑多元时间序列数据之间的空间依赖关系。实际上，工艺单元之间存在物质和能量的空间相互作用，遵循物理化学反应规律，并受工艺连接拓扑结构的影响。由于这种相互作用，一个单元的故障将不可避免地传播到其他单元，从而触发级联故障。这意味着故障可以由多个相互关联的单元变量同时叠加引起。多个相互关联的过程变量共同进化以保持协作行为。这种交互协作关系包含过程动力学、拓扑结构和能量-质量耦合信息，可以看作是多元时间序列变量之间的空间关系。因此，挖掘复杂工业过程中多变量时间序列数据之间的空间相互作用并融合故障检测信息至关重要；
示例[2]给出的方法考虑了工业过程故障检测的空间关系，但是仍然缺乏对时间信息特征的深入挖掘，并且空间信息考虑的不够全面，仅依赖于过程本身收集的生产数据，而不是多个相互关联的单元过程，实际应用起来非常困难；
示例[1]出处：Liang H,Yang C,Huang K,et al.A hybrid first principlesand data-driven process monitoring method for zinc smelting roasting process[J].IEEE Transactions on Instrumentation and Measurement,2021,70:1-14。
示例[2]出处：Feng Y,Chen J,Liu Z,et al.Full Graph Autoencoder for One-Class Group Anomaly Detection of IIoT System[J].IEEE Internet of ThingsJournal,2022,9(21):21886-21898。
总的来说，同时考虑时间特征和空间特征是非常重要的。在时间上，关联单元过程之间的相互作用机制不明确，且存在多个决策变量且它们之间存在动态关联。随着物料状态、工艺机理和操作条件参数的变化，过程变量变化表现出复杂的动态时变特性。空间上，多个相互连接的单元过程按照特定的过程连接结构串联或并联分布在不同的位置，并通过能量-质量流相互作用。这些相互作用表现出结构化特征，容易受到虚假相关性的影响。通过简单线性叠加各个流程的机制模型来构建一个完整的流程耦合模型是非常困难的，这给流程耦合建模带来了挑战，鉴于此，发明人提出基于时空变分图注意力自编码器的复杂工业过程故障检测方法。
发明内容
本发明提供一种基于时空变分图注意力自编码器的复杂工业过程故障检测方法，解决现有方法只从自身单元过程的时间或空间上提取特征的进行故障检测的限制，此发明能够处理多个相互关联的单元过程结构耦合的多元时间数据，并能够学习表示时空交互依赖，从而提供可靠故障检测率并大幅度减低误报率。
为了达到上述目的，本发明提供以下基础方案：
基于时空变分图注意力自编码器的复杂工业过程故障检测方法，包括以下步骤：
S01：基于慢特征分析(SFA)的时间特征提取，提取携带重要信息的慢分量，找到一个转换函数，使得特征S(t)＝g(X(t))最慢，传感器数据经过SFA之后，可获得m个SFs；
S02：基于度量学习和先验知识的空间图拓扑构造，对获得的SFA基于度量学习和先验知识构建图形拓扑；
S03：基于变分图注意力自编码器的时空特征表示学习：变分图注意力自编码器结合图注意力自编码器(GATE)和变分图自编码器(VGAE)，将VGAE的原始GCN编码器替换为GATE的图形注意网络(GAT)编码器，生成高质量的潜在时空特征表示；
S04：损失函数综合训练：重构图空间结构与原始图空间结构、重构图节点特征和原始图节点特征和潜在表示的分布的损失计算，然后优化，优化的训练对象包含节点特征和图拓扑结构；
S05：基于核密度估计的阈值计算，对于S04的损失函数综合训练，故障检测阈值具体由训练的重构损失函数L的分布决定，采用一种非参数估计方法核密度估计来计算L的阈值。
本基础方案的原理及效果在于：
1.与现有技术相比，针对现存方法没有全面考虑工业过程的时间和空间问题，提出了一种基于时空变分图注意力自编码器的复杂工业过程故障检测方法无监督框架。通过时间动态提取、空间交互图拓扑构建、综合时空特征表示学习与训练，对多个相互关联单元过程进行精确故障检测。检测阈值融合了时间特征重构、空间关系重构和潜在表征向量的分布损失。因此，本发明能够细致地反映工业流程的运行状态，并进行精确的故障检测。
2.与现有技术相比，针对实际工业结构知识和测量数据难以转化为图数据的问题，本发明提供了一种基于数据特征和先验知识的图拓扑构造范式。它是一种度量学习与先验知识相结合的方法，可以有效地将时间序列数据的交互信息转换为图结构数据。这确保了时间和空间信息都被有效地保留。
3.与现有技术相比，本发明训练过程仅仅需要正常样本数据，可以处理未标记的数据可用的实际问题。
4.本方法通过时间动态特征提取、空间交互信息转换和综合时空特征学习，实现了多个相互关联单元过程的高效故障检测。首先，利用慢特征分析(slow featureanalysis,SFA)从时间序列数据中提取导致过程动态时变的潜在驱动力，即缓慢变化的变量；这些提取出来的慢特征代表了系统运行的基本动态趋势。然后，将度量学习与先验知识相结合，构建基于慢特征和交互结构信息的图拓扑。它结合了时间特征和实体依赖关系。在此基础上，提供了一种新的变分图注意力自动编码器(VGATE)，该编码器能够高质量地自动表示时间特征和空间结构特征信息。随后，设计了一个综合训练损失函数，该函数集成了所有时间变量节点的重建、边缘相互作用关系和潜在表示。最后，基于核密度估计方法，从训练损失函数中得具有鲁棒性的故障阈值。
进一步，在步骤S01中，采用线性SFA学习范式学习慢速变化，可表示为s(t)＝Wx(t)，其中W为权重矩阵，输入测量数据可以进行求解，求解可得到按照缓慢程度从大到小排列的m个慢特征(SFs)，(SFs)中缓慢变化的特征是能够恰当地表示数据本质特征的特征，变化快的特征看作是噪声信号，将变化最快的特征去掉。
进一步，在步骤S02，每个SFs变量定义为一个节点，那么节点i和节点j之间的度量相似度可表示为Aij＝M(Hi,Hj)，采用在向量空间上定义的度量方法，定义了一个完整的范数向量空间DChebyshev(Hi,Hj)＝maxn(|Hi-Hj|)。
进一步，结合节点i和节点j之间的度量相似度，通过阈值参数k来学习空间结构，空间结构矩阵信息可表示为：然后，可以基于先验知识构建邻接矩阵A′ij，其中如果确定节点i与节点j具有固有的连接关系，那么A′ij＝1，否则，A′ij＝0，综合度量学习的相似度矩阵/>和先验知识矩阵A′ij，可得到最终空间结构E：E包含了特征信息和先验知识信息，可根据E，构建图结构数据G(V,E),V是慢特征变量，E是特征之间的结构信息。
进一步，在步骤S03中，图注意力编码器在VGATE中，经过SFA处理后的工业过程变量节点Si在应用第kth个GAT编码层的输出可表示为：S表示所有工业节点集合，可由式子(6)获得，Ei表示节点i的邻域空间关系集合由(10)获得，表示工业变量节点的原始特征Si(t),W(k)表示第k个编码层特征映射的隐藏层的权重矩阵。σ(·)表示激活函数。/>是第kth的邻居节点j与节点j的相关性注意力系数。
进一步，相关性注意力系数： 表示节点i与邻居节点j的相关系数。
进一步，其中：
是kth编码器层的可训练参数，θ(·)表示激活函数，σ(·)表示kth编码层的激活函数。
进一步，在步骤S05中，通过对损失函数的综合训练，有效地学习和训练了多个相互关联的单元过程之间的时空关系，损失函数值是理想的检测指标，故障检测阈值具体由重构损失函数L的分布决定，该损失函数是在正常样本上训练的。
进一步，采用一种非参数估计方法核密度估计来计算L的阈值，令训练得到li,i＝1,2,...,n向量，点l处的核密度估计定义为:其中，K(·)为核函数，h为带宽。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提出的基于时空变分图注意力自编码器的复杂工业过程故障检测方法的本发明建模策略示意图；
图2示出了本申请实施例提出的基于时空变分图注意力自编码器的复杂工业过程故障检测方法中焙烧过程工艺示意图；
图3示出了本申请实施例提出的基于时空变分图注意力自编码器的复杂工业过程故障检测方法中400个测试样本的慢特征示意图；
图4示出了本申请实施例提出的基于时空变分图注意力自编码器的复杂工业过程故障检测方法中空间图拓扑的邻接矩阵热力图；
图5示出了本申请实施例提出的基于时空变分图注意力自编码器的复杂工业过程故障检测方法中模型所提取测试样本的时空特征示意图；
图6示出了本申请实施例提出的基于时空变分图注意力自编码器的复杂工业过程故障检测方法中在线测试对比效果图；
图7示出了本申请实施例提出的基于时空变分图注意力自编码器的复杂工业过程故障检测方法中各方法在线测试所提取的特征示意图。
具体实施方式
为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如后。
实施例如图1-图7所示：
基于时空变分图注意力自编码器的复杂工业过程故障检测方法，
本发明建模流程如附图1示，它由五部分组成：基于慢特征分析的时间特征提取，基于度量学习和先验知识的空间图拓扑构造，基于变分图注意力自编码器的时空特征表示学习，损失函数综合训练，基于核密度估计的阈值计算。
步骤1：基于慢特征分析的时间特征提取。
慢特征分析是一种无监督时域特征提取算法。它的目的是从时变数据中提取携带重要信息的慢分量，从而消除噪声信息。对于在t∈[t0,t1]的m个传感器采集的信息X(t)＝[x1(t),x2(t),…,xm(t)]T，慢特征分析的目标是找到一个转换函数使得特征S(t)＝g(X(t))变化最慢，如下式子所示。
约束为
<si>t＝0 (2)
其中，是慢特征的一阶导数，<·>t是s随时间变化的平均值，可以由下式计算：
对于上述优化问题，存在不同的方案。为了不失一般性，本发明采用线性SFA学习范式学习慢速变化，可表示为：
s(t)＝Wx(t) (6)
其中W为权重矩阵，输入测量数据可以进行求解，求解可得到按照缓慢程度从大到小排列的m个慢特征(SFs)，通常认为，SFs中缓慢变化的特征是能够恰当地表示数据本质特征的特征。变化快的特征看作是噪声信号，因此本发明将变化最快的特征去掉。注意，这里是不局限去掉最快，去掉几个变化快的特征由具体的工业过程的特点确定，这里本发明只是举例说明。
步骤2：基于度量学习和先验知识的空间图拓扑构造：
本发明基于度量学习和先验知识构建图形拓扑。度量是常用的空间结构学习方法。为了结构信息的准确性。已知传感器数据经过SFA之后，可获得m个SFs。因此，我们可将每个SFs变量定义为一个节点，那么节点i和节点j之间的度量相似度可表示为:
Aij＝M(Hi,Hj) (7)
其中，Hi和Hj分别表示节点i和节点j。节点的特征表示形式是SFs.M(·)表示度量学习方法。本发明举例采用在向量空间上定义的度量方法，切比雪夫距离。它定义了一个完整的范数向量空间，在数学界称为巴拿赫空间,如下式。
DChebyshev(Hi,Hj)＝maxn(|Hi-Hj|)(8)
其中n表示样本数量。如果，DChebyshev(Hi,Hj)接近0，则表明两个向量相似性越高。然后，通过阈值参数k来学习空间结构。空间结构矩阵信息可表示为：
然后，可以基于先验知识构建邻接矩阵A′ij，其中如果确定节点i与节点j具有固有的连接关系，那么A′ij＝1，否则，A′ij＝0。综合度量学习的相似度矩阵和先验知识矩阵A′ij，可得到最终空间结构E：
E包含了特征信息和先验知识信息。可根据E，构建图结构数据G(V,E),V是慢特征变量，E是特征之间的结构信息。
步骤3：基于变分图注意力自编码器的时空特征表示学习：
发明设计的变分图注意力自编码器结合了图注意力自编码器(graph attentionautoencoder，GATE)和变分自编码器(Variational autoencoder，VGAE)两者算法优势，具体而言，将VGAE的原始GCN编码器替换为GATE的图形注意网络(GAT)编码器，以生成高质量的潜在特征的空间表示。GATE和VGAE算法在工业故障检测中表现出互补的特点。GATE编码器和解码器的图注意力机制有利于交互感知特征提取，提高了VGATE模型的整体性能。此外，VGAE的变分自编码器策略有助于提高时空潜在特征分布表示的质量。变分图注意力自编码器由图注意力编码器、变分推理过程和解码器三个基本组成部分组成。
(1)图注意力编码器：
在VGATE中，经过SFA处理后的工业过程变量节点Si在应用第kth个GAT编码层的输出可表示为：
其中,S表示所有工业节点集合，可由式子(6)获得。Ei表示节点i的邻域空间关系集合由(10)获得，表示工业变量节点的原始特征Si(t),W(k)表示第k个编码层特征映射的隐藏层的权重矩阵。σ(·)表示激活函数。/>是第kth的邻居节点j与节点j的相关性注意力系数，由下式获得。
其中，表示节点i与邻居节点j的相关系数，可由被下式计算。
其中，是kth编码器层的可训练参数。θ(·)表示激活函数，σ(·)表示kth编码层的激活函数。
(2)变分推理过程
基于变分思想，采用上述GAT编码层拟合μ和σ，如下式。
μ＝GATμ(S(k),E) (14)
logσ＝GATσ(S(k),E) (15)
其中，μ是平均向量矩阵，σ是方差矩阵。logσ和μ共享权重W。S(k)是经过(11)的kthGAT编码获得。随后，可以获得时空隐藏向量表示。
Z＝q(S|N(μ,σ2)) (16)
式中，Z为潜在向量，其后验分布P(Z|S,E)与推理模型得到的变分后验分布q(zi|S,E)近似。q(zi∣S,E)被设为高斯分布，其对角协方差矩阵如下所示。
(3)解码
解码器的目的是重建特征S和空间关系E。
其中，GAT(k)表示编码层数与解码层保持一致。是任意两个节点表示向量的内积，以满足邻接关系，从而重构图中任何两点是否相连：
步骤4：损失函数综合训练：
对于训练良好的STVGATE模型，优化的训练对象包含节点特征和图拓扑结构。为了使STVGATE能够学习两者的高质量表示，损失函数设计如下。
其中，MSE是均方误差损失函数,n为样本量。Eq(Z∣S,E)[logp(E|Z)]表示重构图空间结构与原始图空间结构之间的差异计算，它是使用二进制交叉熵损失进行最小化。KL[q(·)‖p(·)]为q(·)和p(·)的Kullback-Leibler散度。
步骤5：基于核密度估计的阈值计算：
通过对损失函数的综合训练，有效地学习和训练了多个相互关联的单元过程之间的时空关系。损失函数值是理想的检测指标。故障检测阈值具体由重构损失函数L的分布决定，该损失函数是在正常样本上训练的。在本研究中，采用一种非参数估计方法核密度估计来计算L的阈值。令训练得到li,i＝1,2,...,n向量，点l处的核密度估计定义为:
其中，K(·)为核函数，h为带宽。本研究采用径向基函数，估计的概率密度函数可表示为:
那么，在给定置信水平α的情况下，检测限值d表示为:
为使本发明的目的、技术方案和优点更加清楚，下面将根据本发明的附图2所优选的实施例对本发明的技术方案进行清楚、完整地描述。要说明的是，所举的实施例是本发明一部分实施例，仅仅用以解释本发明，并不用于限定本发明。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实例1：以某冶炼厂焙烧过程为例，如附图2所示，焙烧过程是一个典型的多互联操作单元过程，由五个不同的单元部分组成:入料单元、鼓风单元、炉体单元、烟气处理单元和焙砂处理单元。焙烧工艺的主要目的是提高焙烧产品中可溶性锌的含量。具体来说，在焙烧炉中，抛料机送入的锌精矿(ZnS)和鼓风机鼓入的空气(O2)形成流化床充分混合并发生剧烈氧化反应，生成的锌焙砂(ZnO)由焙烧处理单元输送至下道工序，烟气(SO2)则进入余热回收和制酸工艺。在此实例中，从工厂中测量了25个变量。总共使用4000个正常状态样本进行训练，使用200个正常样本和200个故障样本进行测试。
步骤一：首先，对于当前时刻t，收集t∈[t0,t1]的25个过程变量X(t)＝[x1(t),x2(t),…,xm(t)]T,其中4000个正常样本作为训练，400个测试样本(包含200个正常样本和200个故障样本)作为在线测试。本方法所有的训练过程仅仅需要正常样本。首先基于慢特征分析对过程变量进行时间特征提取计算出下式W。
s(t)＝Wx(t)
计算机求解过程(简明说明)：
f(x)＝W(x+b)
通过输入样本x得到W和b
其中，为正交矩阵，D为特征值对角矩阵，U为特征矩阵，得到w和b后，同时W也被计算出来。然后通过W提取出测试样本的时间慢特征，得到25个慢特征，去掉最后变化最快的慢特征，得到测试样本的24个慢特征如附图3所示。
步骤二：通过步骤1可得到训练与测试各24个慢特征，然后我们基于训练出的慢特征构建空间拓扑作为空间关系。注意此部分仍然是基于训练数据，得出的结果用热力图进行可视化显示如附图4所示。注意此处热力图仅为示例，具体空间连接情况由相关工程师的先验知识和不同数据计算而得。
步骤3与步骤4：基于变分图注意力自编码器的时空特征表示学习和综合训练：
经过，步骤1与步骤2，已经获得时间特征和空间结构，因此输入到变分图注意力自编码器进行综合训练。训练之后，可以得到综合训练模型l oss值，这个l oss被用来输入到步骤5计算阈值。另外可得到就是训练好的模型，此处，通过训练好的模型对测试集时空隐藏向量Z进行可视化，来说明模型特征提取能力。通过降维处理进行可视化可得附图5所示。可以看见模型提取能力较强，能够较好得对故障和正常样本进行区分。
步骤5：基于核密度估计的阈值计算：
通过设置置信度，计算出一个精准的阈值，这个阈值用来区分输入样本是否是故障。置信度建议值为(95％到99％)，这里本发明设计的计算出阈值为1.2445。
步骤6：在线测试：
经过步骤1-5后，得到训练好的STVGATE模型和一个精准的阈值。然后可直接输入400测试样本，STVGATE模型会输出l oss值。通过这个l oss与阈值对比可判断输入的是否为故障。此步骤，通过实验并以故障误报率(FAR)和故障检测率(FDR)作为评估方法的性能指标，对本实施例方案进行验证，得到锌冶炼焙烧过程故障检测对比效果如附图6所示。
由上图可以看出，PCA的FAR和FDR分别为17.5％和42％，K-SVD的FAR和FDR分别为30.5％和60％。故障检测率均较低，说明这些方法不能有效地检测故障。此外，从检测曲线可以观察到，在很多情况下，正常状态统计量高于PCA和K-SVD的故障统计量。这意味着PCA和K-SVD不能有效地提取多个相互关联的操作单元工业过程的特征，从而难以区分正常和故障状态。AE的FAR为37.5％，FDR为100％，在一定程度上提高了检测性能。然而，仍然不能高质量地提取正常数据的特征，导致FAR还是较高。所发明的时空变分图注意力自编码器，结合了空间和时间信息，实现了2.5％的FAR和100％的FDR。FAR比AE低93.33％，这表明时空变分图注意力自编码器模型能够反映相互关联的单元过程之间的相互作用，故障检测具有较好的鲁棒性。
为了进一步研究所提故障检测方法优越性的深层原因，利用t分布随机最近邻嵌入(t-SNE)算法对不同方法学习到的特征表示进行可视化，结果如附图7所示。PCA提取的特征具有随机性和重叠性。同时，K-SVD提取的特征稀疏，但不足以区分故障。虽然AE提取的特征质量有所提高，但它们仍然表现出明显的重叠。这些观察结果表明，PCA、K-SVD和AE在特征提取和知识表示方面的有效性可能在故障决策中受到限制。相比之下，本发明提出的方法可以较为轻松区分正常和故障数，如附图图6。这些结果表明，STVGATE可以捕获多个相互关联单元处理时间变量的交互信息，学习高级时空特征表示，显著提高了模型的检测性能。这对于复杂工业过程中的故障精确检测，保证工业系统的正常运行至关重要。
本方法针对现存方法没有全面考虑工业过程的时间和空间问题，提出了一种基于时空变分图注意力自编码器的复杂工业过程故障检测方法无监督框架。通过时间动态提取、空间交互图拓扑构建、综合时空特征表示学习与训练，对多个相互关联单元过程进行精确故障检测。检测阈值融合了时间特征重构、空间关系重构和潜在表征向量的分布损失。因此，本发明能够细致地反映工业流程的运行状态，并进行精确的故障检测。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (9)
1.基于时空变分图注意力自编码器的复杂工业过程故障检测方法，其特征在于：包括以下步骤：
S01：基于慢特征分析(SFA)的时间特征提取，提取携带重要信息的慢分量，找到一个转换函数，使得特征S(t)＝g(X(t))最慢，传感器数据经过SFA之后，可获得m个SFs；
S02：基于度量学习和先验知识的空间图拓扑构造，对获得的SFA基于度量学习和先验知识构建图形拓扑；
S03：基于变分图注意力自编码器的时空特征表示学习：变分图注意力自编码器结合图注意力自编码器(GATE)和变分图自编码器(VGAE)，将VGAE的原始GCN编码器替换为GATE的图形注意网络(GAT)编码器，生成高质量的潜在时空特征表示；
S04：损失函数综合训练：重构图空间结构与原始图空间结构、重构图节点特征和原始图节点特征和潜在表示的分布的损失计算，然后优化，优化的训练对象包含节点特征和图拓扑结构；
S05：基于核密度估计的阈值计算，对于S04的损失函数综合训练，故障检测阈值具体由训练的重构损失函数L的分布决定，采用一种非参数估计方法核密度估计来计算L的阈值。
2.根据权利要求1所述的基于时空变分图注意力自编码器的复杂工业过程故障检测方法，其特征在于，在步骤S01中，采用线性SFA学习范式学习慢速变化，可表示为s(t)＝Wx(t)，其中W为权重矩阵，输入测量数据可以进行求解，求解可得到按照缓慢程度从大到小排列的m个慢特征(SFs)，(SFs)中缓慢变化的特征是能够恰当地表示数据本质特征的特征，变化快的特征看作是噪声信号，将变化最快的特征去掉。
3.根据权利要求1所述的基于时空变分图注意力自编码器的复杂工业过程故障检测方法，其特征在于，在步骤S02，每个SFs变量定义为一个节点，那么节点i和节点j之间的度量相似度可表示为Aij＝M(Hi,Hj)，采用在向量空间上定义的度量方法，定义了一个完整的范数向量空间DChebyshev(Hi,Hj)＝maxn(|Hi-Hj|)。
4.根据权利要求3所述的基于时空变分图注意力自编码器的复杂工业过程故障检测方法，其特征在于，结合节点i和节点j之间的度量相似度，通过阈值参数k来学习空间结构，空间结构矩阵信息可表示为：然后，可以基于先验知识构建邻接矩阵A′ij，其中如果确定节点i与节点j具有固有的连接关系，那么A′ij＝1，否则，A′ij＝0，综合度量学习的相似度矩阵/>和先验知识矩阵A′ij，可得到最终空间结构E：E包含了特征信息和先验知识信息，可根据E，构建图结构数据G(V,E),V是慢特征变量，E是特征之间的结构信息。
5.根据权利要求1所述的基于时空变分图注意力自编码器的复杂工业过程故障检测方法，其特征在于，在步骤S03中，图注意力编码器在VGATE中，经过SFA处理后的工业过程变量节点Si在应用第kth个GAT编码层的输出可表示为：S表示所有工业节点集合，可由式子(6)获得，Ei表示节点i的邻域空间关系集合由(10)获得，/>表示工业变量节点的原始特征Si(t),W(k)表示第k个编码层特征映射的隐藏层的权重矩阵，σ(·)表示激活函数，/>是第kth的邻居节点j与节点j的相关性注意力系数。
6.根据权利要求5所述的基于时空变分图注意力自编码器的复杂工业过程故障检测方法，其特征在于，相关性注意力系数：
表示节点i与邻居节点j的相关系数。
7.根据权利要求6所述的基于时空变分图注意力自编码器的复杂工业过程故障检测方法，其特征在于，其中，是kth编码器层的可训练参数，θ(·)表示激活函数，σ(·)表示kth编码层的激活函数。
8.根据权利要求1所述的基于时空变分图注意力自编码器的复杂工业过程故障检测方法，其特征在于，在步骤S05中，通过对损失函数的综合训练，有效地学习和训练了多个相互关联的单元过程之间的时空关系，损失函数值是理想的检测指标，故障检测阈值具体由重构损失函数L的分布决定，该损失函数是在正常样本上训练的。
9.根据权利要求8所述的基于时空变分图注意力自编码器的复杂工业过程故障检测方法，其特征在于，采用一种非参数估计方法核密度估计来计算L的阈值，令训练得到li,i＝1,2,...,n向量，点l处的核密度估计定义为:其中，K(·)为核函数，h为带宽。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310438339.9A CN116520799A (zh) | 2023-04-23 | 2023-04-23 | 基于时空变分图注意力自编码器的复杂工业过程故障检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310438339.9A CN116520799A (zh) | 2023-04-23 | 2023-04-23 | 基于时空变分图注意力自编码器的复杂工业过程故障检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116520799A true CN116520799A (zh) | 2023-08-01 |
Family
ID=87395277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310438339.9A Pending CN116520799A (zh) | 2023-04-23 | 2023-04-23 | 基于时空变分图注意力自编码器的复杂工业过程故障检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116520799A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116956197A (zh) * | 2023-09-14 | 2023-10-27 | 山东理工昊明新能源有限公司 | 基于深度学习的能源设施故障预测方法、装置及电子设备 |
| CN117519052A (zh) * | 2023-12-12 | 2024-02-06 | 博纯(泉州)半导体材料有限公司 | 基于电子气体生产制造系统的故障分析方法及系统 |
| CN117556202A (zh) * | 2023-11-09 | 2024-02-13 | 南通大学 | 基于概率相关慢特征分析的工业过程微小故障检测方法 |
-
2023
- 2023-04-23 CN CN202310438339.9A patent/CN116520799A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116956197A (zh) * | 2023-09-14 | 2023-10-27 | 山东理工昊明新能源有限公司 | 基于深度学习的能源设施故障预测方法、装置及电子设备 |
| CN116956197B (zh) * | 2023-09-14 | 2024-01-19 | 山东理工昊明新能源有限公司 | 基于深度学习的能源设施故障预测方法、装置及电子设备 |
| CN117556202A (zh) * | 2023-11-09 | 2024-02-13 | 南通大学 | 基于概率相关慢特征分析的工业过程微小故障检测方法 |
| CN117556202B (zh) * | 2023-11-09 | 2024-06-11 | 南通大学 | 基于概率相关慢特征分析的工业过程微小故障检测方法 |
| CN117519052A (zh) * | 2023-12-12 | 2024-02-06 | 博纯(泉州)半导体材料有限公司 | 基于电子气体生产制造系统的故障分析方法及系统 |
| CN117519052B (zh) * | 2023-12-12 | 2024-05-28 | 博纯(泉州)半导体材料有限公司 | 基于电子气体生产制造系统的故障分析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Saeed et al. | Fault diagnosis based on extremely randomized trees in wireless sensor networks | |
| Xu et al. | Predicting pipeline leakage in petrochemical system through GAN and LSTM | |
| Audibert et al. | Usad: Unsupervised anomaly detection on multivariate time series | |
| CN116520799A (zh) | 基于时空变分图注意力自编码器的复杂工业过程故障检测方法 | |
| Su et al. | An end-to-end framework for remaining useful life prediction of rolling bearing based on feature pre-extraction mechanism and deep adaptive transformer model | |
| WO2023044978A1 (zh) | 基于对抗流模型的机械设备无监督故障诊断方法 | |
| CN110309886B (zh) | 基于深度学习的无线传感器高维数据实时异常检测方法 | |
| CN111914873A (zh) | 一种两阶段云服务器无监督异常预测方法 | |
| US20230094389A1 (en) | Quantum computing based deep learning for detection, diagnosis and other applications | |
| Li et al. | Data-driven bearing fault identification using improved hidden Markov model and self-organizing map | |
| Luo et al. | A data-driven two-stage maintenance framework for degradation prediction in semiconductor manufacturing industries | |
| Jiang et al. | Deep discriminative representation learning for nonlinear process fault detection | |
| Liu et al. | Intelligent fault diagnosis under small sample size conditions via Bidirectional InfoMax GAN with unsupervised representation learning | |
| Ezeme et al. | Hierarchical attention-based anomaly detection model for embedded operating systems | |
| Zhang et al. | End-to-end unsupervised fault detection using a flow-based model | |
| Gouriveau et al. | Strategies to face imbalanced and unlabelled data in PHM applications. | |
| Schneider et al. | Detecting anomalies within time series using local neural transformations | |
| Kabore et al. | Review of anomaly detection systems in industrial control systems using deep feature learning approach | |
| Xu et al. | NVAE-GAN based approach for unsupervised time series anomaly detection | |
| Kong et al. | Semi-supervised classification of wafer map based on ladder network | |
| Zhang et al. | MS-TCN: A multiscale temporal convolutional network for fault diagnosis in industrial processes | |
| Ma et al. | A collaborative central domain adaptation approach with multi-order graph embedding for bearing fault diagnosis under few-shot samples | |
| Pan et al. | A new perspective on AE-and VAE-based process monitoring | |
| Qin et al. | Remaining useful life prediction using temporal deep degradation network for complex machinery with attention-based feature extraction | |
| Xue et al. | Deep anomaly detection for industrial systems: a case study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |