CN117034139A - 一种基于模型融合的化工过程故障诊断方法 - Google Patents
一种基于模型融合的化工过程故障诊断方法 Download PDFInfo
- Publication number
- CN117034139A CN117034139A CN202310940463.5A CN202310940463A CN117034139A CN 117034139 A CN117034139 A CN 117034139A CN 202310940463 A CN202310940463 A CN 202310940463A CN 117034139 A CN117034139 A CN 117034139A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- layer
- convolution
- fault diagnosis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000003745 diagnosis Methods 0.000 title claims abstract description 37
- 238000001311 chemical methods and process Methods 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 title claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000003889 chemical engineering Methods 0.000 claims abstract description 13
- 230000000694 effects Effects 0.000 claims abstract description 6
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 33
- 230000007246 mechanism Effects 0.000 claims description 27
- 239000000126 substance Substances 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 239000000498 cooling water Substances 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012824 chemical production Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000010445 mica Substances 0.000 description 1
- 229910052618 mica group Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C3/00—Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
- G07C3/005—Registering or indicating the condition or the working of machines or other apparatus, other than vehicles during manufacturing process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Manufacturing & Machinery (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种基于模型融合的化工过程故障诊断方法，通过对原始的transform模型进行改进优化，并与膨胀卷积网络结合，加强模型特征提取的效果；对故障数据使用正交位置编码获取位置信息，将获得的位置编码信息与原始故障数据融合，提高模型对故障诊断的精度。化工故障诊断方法的具体步骤为：首先对采集到的原始化工故障数据使用正交位置编码，将获得的位置编码信息与原始故障数据融合，送入优化后的transform模型中进行特征提取。同时将化工故障数据送入膨胀卷积网络进行特征提取。两个网络采用并行结构，能够充分提取数据特征，最后将两个网络提取到的包含时空信息的特征进行融合，进行故障类别的分类。本发明能高效准确的诊断化工过程中产生的故障。
Description
技术领域
本发明涉及化工故障诊断技术领域，具体涉及一种基于模型融合的化工过程故障诊断方法。
背景技术
化学工程是一门专业性强的复杂学科，涉及许多基础理论及新技术的应用。在化工生产过程中，会产生许多的故障问题。如何提高这些故障的诊断准确率，是一个值得深入研究的问题。化工过程数据具有非线性、高维、非高斯分布等特征，因此对于故障检测过程提取故障的信息会更加复杂。
目前，比较流行的PCA、ICA、KPCA、KICA、MICA等传统方法虽然可以有效地检测出生产过程中某种物料产生损失导致的阶跃型故障，或物料之间的组成发生改变导致的随机变化型故障等。但对于某些扰动性故障：如反应动力学常数发生变化导致的慢漂移类型故障，或冷凝器冷却水阀门发生改变引起的粘滞型故障等的检出率极低。因此，传统的方法依旧未能完全准确地提取出这些故障的信息。
传统的方法主要存在对化工故障数据进行特征提取需要大量的专家知识和信号处理技术，并且对于不同的任务，没有统一的程序来完成。另，传统的方法如PCA方法进行特征提取时因为数据的尺度不统一，需要对数据进行标准化操作，因此数据中的噪声经过这种操作后对数据的影响变得更为明显。此外该方法原理主要为了消除变量之间的相关性，并且假设数据之间的相关性是线性的，而化工故障数据是非线性的，因此特征提取能力不高。并且该方法假设数据是服从高斯分布的，而化工数据一般是非高斯分布，所以该方法提取信号的高维非线性关系方面能力有限，也就是特征提取能力较差。最后是对故障数据的诊断精度不是很高，达不到故障诊断任务的要求。
发明内容
针对上述的传统方法的特征提取能力较差，对故障数据的诊断精度低的技术问题，本技术方案提供了一种基于模型融合的化工过程故障诊断方法，通过对原始的transform模型进行改进优化，并与膨胀卷积网络结合，加强模型特征提取的效果；对故障数据使用正交位置编码获取位置信息，将获得的位置编码信息与原始故障数据融合，提高模型对故障诊断的精度；能有效的解决上述问题。
本发明通过以下技术方案实现：
一种基于模型融合的化工过程故障诊断方法，通过对原始的transform模型进行改进优化，并与膨胀卷积网络结合，加强模型特征提取的效果；对故障数据使用正交位置编码获取位置信息，将获得的位置编码信息与原始故障数据融合，提高模型对故障诊断的精度；化工故障诊断方法的具体步骤包括：
步骤1：获取化工历史时序数据，并将其作为训练样本集和测试样本集；
步骤2：对于获取的化工历史时序数据进行正交位置编码操作，获取数据的位置编码信息；通过如下公式构造对称矩阵：
D＝[dij]＝r|i-j| i,j＝1,2,…,l3 0<r<1
其中，r是超参数；dij代表元素之间的位置关系，dij值大，表示两个元素位置越接近；i,j为每一批输入网络的化工数据的大小，一般为正整数；l3为分解得到的特征向量的个数，一般为正整数；D是实对称矩阵，可以被分解为VΛVT，其中Λ为对角矩阵；
计算矩阵D的特征向量并将其表示为：
最后，位置编码通过如下公式来设计：
其中u是化工时序数据中每一个变量的位置，一般为正整数；是计算得到的特征向量，由特征向量v1,u到/>组成的p(u)就是最后获得的位置编码；将获得的位置编码信息与原始化工数据融合，得到可用于模型训练的数据；
步骤3：构建神经网络模型并进行模型训练，神经网络模型结构包括transformerblock模块和膨胀卷积模块两个部分；
步骤3.1：构建transformerblock块；每个block块中包括多头自注意力机制、层归一化层和前馈层，前馈层使用卷积层代替全连接层，层与层之间引入稠密连接增强模型的特征复用能力；
步骤3.2：利用transformerblock块对步骤2得到的可用于模型训练的数据进行特征提取；
步骤3.3：构建膨胀卷积网络模型来提取原始化工时序数据的数据特征，膨胀卷积网络模型包括膨胀卷积层、池化层、全局池化层、和批量归一化层；
步骤3.4：利用膨胀卷积网络模型对步骤2得到的可用于模型训练的数据进行特征提取；
步骤4：使用Concat函数将transformerblock块和膨胀卷积网络模型提取到的特征进行融合；
步骤5：在训练过程中采用Adam梯度优化器优化网络使其损失函数的总体损失最小，损失函数采用交叉熵损失函数，公式如下：
式中，y为输出实际值，为输出预测值；
步骤6：使用softmax函数进行最后故障的分类。
进一步的，步骤1所述的训练样本集用于建立本方法的故障诊断模型，测试样本集用于验证本方法的诊断精度。
进一步的，步骤2中所述的对角矩阵，其中的对角元素为特征值λi，i＝1,2,…,l3，是正交矩阵，正交矩阵中的列/>是特征值λi对应的特征向量。
进一步的，步骤3.2所述的利用transformerblock块对步骤2得到的可用于模型训练的数据进行特征提取，其具体的方式为：
将可用于模型训练的数据输入到多头自注意力机制进行特征提取，多头自注意力机制由自注意力机制构成，自注意力机制通过下式进行计算：
式中，Q为query向量，K为key向量，V为value向量，KT为K向量的转置，为缩放因子；
通过下式计算多个自注意力机制组成的多头自注意力机制：
MultiHead(Q,K,V)＝Concat(head1,…,headH)W0
式中，Q为query向量，K为key向量，V为value向量，headH为第H个自注意力机制的结果，W0为权重矩阵，为query权重矩阵，/>为key权重矩阵，/>为value权重矩阵，Concat为特征拼接函数；
可用于模型训练的数据经过多头自注意机制进行特征提取后进入层归一化层，对数据进行归一化操作；然后数据进入前馈层。
进一步的，所述的前馈层使用两层卷积神经网络对数据特征进行进一步的提取；层与层之间使用稠密连接增强模型的特征复用能力。
进一步的，步骤3.4所述的利用膨胀卷积网络模型对步骤2得到的可用于模型训练的数据进行特征提取，其具体的方式为：
可用于模型训练的数据进入膨胀卷积层提取数据的特征信息，膨胀卷积通过下式计算：
其中，x为输入的时序数据，f为卷积滤波器，为膨胀系数为d的卷积运算符号，k为卷积核大小，s-d·i为卷积计算进行的方向；
通过使用膨胀卷积可以扩大感受野，捕获非相邻数据的相关性特征；其次可以捕获多尺度信息，在膨胀卷积中，可以设置膨胀系数，当设置不同膨胀系数时，具有不同的感受野，能获取对应数据的多尺度信息；
在经过膨胀卷积层提取特征后，数据特征进入批量归一化层，即为BN层，通过BN层的使用减少协变量偏移，加快网络训练的收敛速度，提高网络泛化能力；
使用Relu函数进行非线性变换，公式如下：
g(x)＝max(0,x)
式中，x为输入的时序数据；
然后对数据进行下采样，使用最大池化操作，其运算可描述为：
式中，为池化后第i个特征图中第j个神经元的输出值，/>为第l层第i个特征图中第t个神经元的输入值，w为池化核的宽度。
进一步的，所述膨胀卷积网络模型的最后一层使用全局池化层，改变数据的维度。
有益效果
本发明提出的一种基于模型融合的化工过程故障诊断方法，与现有技术相比较，其具有以下有益效果：
(1)本技术方案使用transformerblock模块和膨胀卷积模块作为模型的特征提取部分，transformerblock模块可以更好的学习化工故障信息长时间内的时序特征和全局特征，膨胀卷积模块可以获取故障信息的局部特征，将两个模块得到的特征信息进行融合，可以得到更加准确的故障关系。使用了正交位置编码，减轻了由加法运算引起的数据间相关性的恶化，丰富了数据的特征信息。相比于普通卷积神经网络，具有特征提取能力更强，诊断准确率更高。
(2)本技术方案提出了正交位置编码技术，通过使用这种位置编码方式，丰富了数据的特征信息，提高了故障诊断的准确率。并对原始transformer进行改进优化，在前馈层使用卷积层代替全连接层，减少模型的参数，提高训练的速度；层与层之间引入稠密连接增强模型的特征复用能力。使用transformerblock模块学习化工故障信息长时间内的时序特征和全局特征，使用膨胀卷积模块获取故障信息的局部特征；通过将两个模型提取到的特征进行融合，并且采用了并行的网络架构，最大程度避免了特征丢失，保留了数据特征的全局和局部信息。该模型能够挖掘数据中隐藏特征，学习到的特征通常是逐层加深的，具有更强的特征提取能力；具有更高的鲁棒性，且对故障的诊断精度得到了很大的提高。
附图说明
图1是本发明的整体流程图。
图2是本发明中transformerblock块结构图。
图3是本发明的化工过程故障诊断模型建模图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。在不脱离本发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均应落入到本发明的保护范围。
实施例1：
如图1所示，一种基于模型融合的化工过程故障诊断方法，通过对原始的transform模型进行改进优化，并与膨胀卷积网络结合，加强模型特征提取的效果；对故障数据使用正交位置编码获取位置信息，将获得的位置编码信息与原始故障数据融合，提高模型对故障诊断的精度。将方法应用到田纳西-伊斯曼(TE)基准化工过程来进行实验；化工故障诊断方法的具体步骤包括：
步骤1：获取化工历史时序数据，并将其作为训练样本集和测试样本集；
化工历史时序数据介绍：
TE过程主要包括5个操作单元，即：反应器、冷凝器、汽液分离器、循环压缩机、汽提塔。在模拟的数据中，其中包含41个测量变量和11个控制变量。TE过程还包括21个预先设定的故障。其中具体的故障种类说明见表1，训练集样本与测试集样本的采样间隔都为3分钟，每个故障的训练集由480个样本构成；测试集由960个样本组成。
| 故障序号 | 过程变化 | 干扰类型 |
| 1 | A/C物料进料比例扰动，B成分恒定 | 阶跃变化 |
| 2 | B组分扰动，A/C比例恒定 | 阶跃变化 |
| 3 | 组分D进料温度扰动 | 阶跃变化 |
| 4 | 反应器冷却水入口温度 | 阶跃变化 |
| 5 | 反应器冷却水入口温度 | 阶跃变化 |
| 6 | A组分泄漏 | 阶跃变化 |
| 7 | 组分C压力下降扰动 | 阶跃变化 |
| 8 | A、B、C进料成分 | 随机变化 |
| 9 | 组分D进料温度扰动 | 随机变化 |
| 10 | 组分C进料温度扰动 | 随机变化 |
| 11 | 反应器冷却水入口温度 | 随机变化 |
| 12 | 反应器冷却水入口温度 | 随机变化 |
| 13 | 反应器动力性能 | 缓慢漂移 |
| 14 | 反应器冷却水调节阀 | 堵塞 |
| 15 | 反应器冷却水调节阀 | 堵塞 |
| 16-20 | 未知 | 未知 |
| 21 | 流4的阀门固定在稳态位置 | 恒定位置 |
表1 TE过程预先设定的故障
步骤2：对于获取的化工历史时序数据进行正交位置编码操作，获取数据的位置编码信息。
步骤2.1：对数据进行正交位置编码操作，通过如下公式构造对称矩阵：
D＝[dij]＝r|i-j| i,j＝1,2,…,l3 0<r<1
其中，r是超参数；dij代表元素之间的位置关系，dij值大，表示两个元素位置越接近；i,j为每一批输入网络的化工数据的大小，一般为正整数；l3为分解得到的特征向量的个数，一般为正整数；D是实对称矩阵。
可以被分解为VΛVT，其中Λ为对角矩阵。
步骤2.2：将构造的实对称矩阵进行分解，可以被分解为VΛVT，其中Λ为对角矩阵；对角矩阵中的对角元素为特征值λi，i＝1,2,…,l3，是正交矩阵，正交矩阵中的列/>是特征值λi对应的特征向量。
步骤2.3：计算矩阵D的特征向量并将其表示为：
最后，位置编码通过如下公式来设计：
其中，u是化工时序数据中每一个变量的位置，一般为正整数；是计算得到的特征向量，由特征向量v1,u到/>组成的p(u)就是最后获得的位置编码。
步骤2.4：将获得的正交位置编码信息与原始化工数据进行加法操作，得到可用于模型训练的数据。
步骤3：构建神经网络模型并进行模型训练，神经网络模型结构包括transformerblock模块和膨胀卷积模块两个部分。
步骤3.1：构建改进的transformer block模块部分，整个模块由4层堆叠的transformer block组成。每个block块中包括多头自注意力机制、层归一化层、前馈层，前馈层使用卷积层代替全连接层，减少模型的参数，提高训练的速度。层与层之间引入稠密连接增强模型的特征复用能力。
在前馈神经网络模块中使用卷积层代替全连接层，由于卷积层有着权重共享的特性，因此不同参数之间可以共享权重，就大大减少了网络中参数的数量。加快了网络的训练速度。并且使用卷积层能够提取到更丰富的特征信息，特征提取能力要强于全连接层。
步骤3.2：利用transformer block块对步骤2得到的可用于模型训练的数据进行特征提取；
将数据输入到多头自注意力机制进行特征提取，多头自注意力机制由自注意力机制构成，自注意力机制通过下式计算：
式中，Q为query向量，K为key向量，V为value向量，KT为K向量的转置，为缩放因子。
通过下式计算多个自注意力机制组成的多头自注意力机制：
MultiHead(Q,K,V)＝Concat(head1,…,headH)W0
式中，Q为query向量，K为key向量，V为value向量，h eadH为第H个自注意力机制的结果，W0为权重矩阵，为query权重矩阵，/>为key权重矩阵，/>为value权重矩阵，Concat为特征拼接函数。
数据经过多头自注意机制进行特征提取后进入层归一化层，对数据进行归一化操作。
数据进入前馈层，本实施例的前馈层使用两层卷积神经网络来对数据特征进行提取。层与层之间使用稠密连接增强模型的特征复用能力。
步骤3.3：构建膨胀卷积网络模型来提取原始化工时序数据的数据特征，膨胀卷积网络模型包括3个一维膨胀卷积层、2个最大池化层、1个全局池化层、和3个批量归一化层。
步骤3.4：利用膨胀卷积网络模型对步骤2得到的可用于模型训练的数据进行特征提取。
数据进入膨胀卷积层提取数据的特征信息，膨胀卷积通过下式计算：
其中，x为输入的时序数据，f为卷积滤波器，为膨胀系数为d的卷积运算符号，k为卷积核大小，s-d·i为卷积计算进行的方向。
通过使用膨胀卷积可以扩大感受野，捕获非相邻数据的相关性特征；其次可以捕获多尺度信息，在膨胀卷积中，可以设置膨胀系数，当设置不同膨胀系数时，具有不同的感受野，能获取对应数据的多尺度信息。
其中，3个膨胀卷积层中的膨胀系数分别设置为1,2,3。通过设置不同的膨胀系数，具有不同的感受野，能获取对应数据的多尺度信息。卷积核数量分别为64,128,256。卷积核大小分别为3,6,9。
在经过膨胀卷积层提取特征后，数据特征进入批量归一化层(batchnormalization，BN)，通过BN层的使用减少协变量偏移，加快网络训练的收敛速度，提高网络泛化能力。
使用Relu函数进行非线性变换，公式如下：
g(x)＝max(0,x)
式中，x为输入的时序数据。
对数据进行下采样，使用最大池化操作，其运算可描述为：
式中，为第l层第i个特征图中第t个神经元的输入值，w为池化核的宽度，为池化后第i个特征图中第j个神经元的输出值。其中，各最大池化层的窗口大小为2。
膨胀卷积网络模型的最后一层使用全局池化层，减少模型的参数，改变数据的维度。
步骤4：使用Concat函数将以上构建的transformerblock模块和膨胀卷积模块提取到的特征进行融合。
步骤5：在训练过程中采用Adam梯度优化器优化网络使其损失函数的总体损失最小，损失函数采用交叉熵损失函数，公式如下：
式中，y为输出实际值，为输出预测值。
步骤6：使用softmax函数进行最后故障的分类。
Claims (7)
1.一种基于模型融合的化工过程故障诊断方法，其特征在于：通过对原始的transform模型进行改进优化，并与膨胀卷积网络结合，加强模型特征提取的效果；对故障数据使用正交位置编码获取位置信息，将获得的位置编码信息与原始故障数据融合，提高模型对故障诊断的精度；化工故障诊断方法的具体步骤包括：
步骤1：获取化工历史时序数据，并将其作为训练样本集和测试样本集；
步骤2：对于获取的化工历史时序数据进行正交位置编码操作，获取数据的位置编码信息；通过如下公式构造对称矩阵：
D＝[dij]＝r|i-j| i,j＝1,2,...,l3 0<r<1
其中，r是超参数；dij代表元素之间的位置关系，dij值大，表示两个元素位置越接近；i,j为每一批输入网络的化工数据的大小，一般为正整数；l3为分解得到的特征向量的个数，一般为正整数；D是实对称矩阵，可以被分解为VΛVT，其中Λ为对角矩阵；
计算矩阵D的特征向量并将其表示为：
最后，位置编码通过如下公式来设计：
其中u是化工时序数据中每一个变量的位置，一般为正整数；是计算得到的特征向量，由特征向量v1,u到/>组成的p(u)就是最后获得的位置编码；将获得的位置编码信息与原始化工数据融合，得到可用于模型训练的数据；
步骤3：构建神经网络模型并进行模型训练，神经网络模型结构包括transformerblock模块和膨胀卷积模块两个部分；
步骤3.1：构建transformer block块；每个block块中包括多头自注意力机制、层归一化层和前馈层，前馈层使用卷积层代替全连接层，层与层之间引入稠密连接增强模型的特征复用能力；
步骤3.2：利用transformer block块对步骤2得到的可用于模型训练的数据进行特征提取；
步骤3.3：构建膨胀卷积网络模型来提取原始化工时序数据的数据特征，膨胀卷积网络模型包括膨胀卷积层、池化层、全局池化层、和批量归一化层；
步骤3.4：利用膨胀卷积网络模型对步骤2得到的可用于模型训练的数据进行特征提取；
步骤4：使用Concat函数将transformer block块和膨胀卷积网络模型提取到的特征进行融合；
步骤5：在训练过程中采用Adam梯度优化器优化网络使其损失函数的总体损失最小，损失函数采用交叉熵损失函数，公式如下：
式中，y为输出实际值，为输出预测值；
步骤6：使用softmax函数进行最后故障的分类。
2.根据权利要求1所述的一种基于模型融合的化工过程故障诊断方法，其特征在于：步骤1所述的训练样本集用于建立本方法的故障诊断模型，测试样本集用于验证本方法的诊断精度。
3.根据权利要求1所述的一种基于模型融合的化工过程故障诊断方法，其特征在于：步骤2中所述的对角矩阵，其中的对角元素为特征值λi，是正交矩阵，正交矩阵中的列/>是特征值λi对应的特征向量。
4.根据权利要求1所述的一种基于模型融合的化工过程故障诊断方法，其特征在于：步骤3.2所述的利用transformer block块对步骤2得到的可用于模型训练的数据进行特征提取，其具体的方式为：
将可用于模型训练的数据输入到多头自注意力机制进行特征提取，多头自注意力机制由自注意力机制构成，自注意力机制通过下式进行计算：
式中，Q为query向量，K为key向量，V为value向量，KT为K向量的转置，为缩放因子；
通过下式计算多个自注意力机制组成的多头自注意力机制：
MultiHead(Q,K,V)＝Concat(head1,…headH)W0
式中，Q为query向量，K为key向量，V为value向量，h eadH为第H个自注意力机制的结果，W0为权重矩阵，为query权重矩阵，/>为key权重矩阵，/>为value权重矩阵，Concat为特征拼接函数；
可用于模型训练的数据经过多头自注意机制进行特征提取后进入层归一化层，对数据进行归一化操作；然后数据进入前馈层。
5.根据权利要求1或4所述的一种基于模型融合的化工过程故障诊断方法，其特征在于：所述的前馈层使用两层卷积神经网络对数据特征进行进一步的提取；层与层之间使用稠密连接增强模型的特征复用能力。
6.根据权利要求1所述的一种基于模型融合的化工过程故障诊断方法，其特征在于：步骤3.4所述的利用膨胀卷积网络模型对步骤2得到的可用于模型训练的数据进行特征提取，其具体的方式为：
可用于模型训练的数据进入膨胀卷积层提取数据的特征信息，膨胀卷积通过下式计算：
其中，x为输入的时序数据，f为卷积滤波器，为膨胀系数为d的卷积运算符号，k为卷积核大小，s-d·i为卷积计算进行的方向；
通过使用膨胀卷积可以扩大感受野，捕获非相邻数据的相关性特征；其次可以捕获多尺度信息，在膨胀卷积中，可以设置膨胀系数，当设置不同膨胀系数时，具有不同的感受野，能获取对应数据的多尺度信息；
在经过膨胀卷积层提取特征后，数据特征进入批量归一化层，即为BN层，通过BN层的使用减少协变量偏移，加快网络训练的收敛速度，提高网络泛化能力；
使用Relu函数进行非线性变换，公式如下：
g(x)＝max(0,x)
式中，x为输入的时序数据；
然后对数据进行下采样，使用最大池化操作，其运算可描述为：
式中，为池化后第i个特征图中第j个神经元的输出值，/>为第l层第i个特征图中第t个神经元的输入值，w为池化核的宽度。
7.根据权利要求1或6所述的一种基于模型融合的化工过程故障诊断方法，其特征在于：所述膨胀卷积网络模型的最后一层使用全局池化层，改变数据的维度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310940463.5A CN117034139A (zh) | 2023-07-28 | 2023-07-28 | 一种基于模型融合的化工过程故障诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310940463.5A CN117034139A (zh) | 2023-07-28 | 2023-07-28 | 一种基于模型融合的化工过程故障诊断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117034139A true CN117034139A (zh) | 2023-11-10 |
Family
ID=88621813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310940463.5A Pending CN117034139A (zh) | 2023-07-28 | 2023-07-28 | 一种基于模型融合的化工过程故障诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117034139A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117591813A (zh) * | 2024-01-18 | 2024-02-23 | 广东工业大学 | 基于多维特征的复杂装备故障诊断方法及系统 |
-
2023
- 2023-07-28 CN CN202310940463.5A patent/CN117034139A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117591813A (zh) * | 2024-01-18 | 2024-02-23 | 广东工业大学 | 基于多维特征的复杂装备故障诊断方法及系统 |
| CN117591813B (zh) * | 2024-01-18 | 2024-04-19 | 广东工业大学 | 基于多维特征的复杂装备故障诊断方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Heo et al. | Fault detection and classification using artificial neural networks | |
| Xie et al. | Supervised variational autoencoders for soft sensor modeling with missing data | |
| Yu et al. | MoniNet with concurrent analytics of temporal and spatial information for fault detection in industrial processes | |
| CN110033021A (zh) | 一种基于一维多路卷积神经网络的故障分类方法 | |
| CN110287983B (zh) | 基于最大相关熵深度神经网络单分类器异常检测方法 | |
| CN109116834B (zh) | 一种基于深度学习的间歇过程故障检测方法 | |
| Chen et al. | One-dimensional convolutional neural network-based active feature extraction for fault detection and diagnosis of industrial processes and its understanding via visualization | |
| CN113052218A (zh) | 工业过程的多尺度残差卷积与lstm融合性能评估方法 | |
| CN117034139A (zh) | 一种基于模型融合的化工过程故障诊断方法 | |
| CN112147432A (zh) | 基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统 | |
| CN116562114A (zh) | 一种基于图卷积神经网络的电力变压器故障诊断方法 | |
| Wang et al. | Time-weighted kernel-sparse-representation-based real-time nonlinear multimode process monitoring | |
| CN117312821A (zh) | 一种基于特征提取和Transformer模型的故障检测方法 | |
| CN115496100A (zh) | 一种基于GAF-ConvNeXt-TF的周界安防扰动识别算法 | |
| Yao et al. | Fault diagnosis based on RseNet-LSTM for industrial process | |
| CN114819388A (zh) | 基于频域信息引导的凝汽器真空度预测方法和装置 | |
| CN114139639A (zh) | 一种基于自步邻域保持嵌入的故障分类方法 | |
| CN111061151B (zh) | 一种基于多元卷积神经网络的分布式能源状态监测方法 | |
| CN117290716A (zh) | 一种基于KPCA-TCN-Attention的光伏阵列故障诊断方法 | |
| Qi et al. | Using stacked auto-encoder and bi-directional LSTM for batch process quality prediction | |
| Wu et al. | A multi-channel multi-head CNN framework for fault classification in industrial process | |
| CN116702580A (zh) | 一种基于注意力卷积自编码器的发酵过程故障监测方法 | |
| CN115017366A (zh) | 基于多粒度语境化和多结构保存的无监督视频哈希检索方法 | |
| CN111913461B (zh) | 一种基于正则化gcca模型的分布式化工过程监测方法 | |
| CN115146689A (zh) | 一种基于深度学习的动力系统高维测量数据降维方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |