CN116451063A - 一种基于主元分析法和卷积模型工业过程故障检测方法 - Google Patents
一种基于主元分析法和卷积模型工业过程故障检测方法 Download PDFInfo
- Publication number
- CN116451063A CN116451063A CN202310200648.2A CN202310200648A CN116451063A CN 116451063 A CN116451063 A CN 116451063A CN 202310200648 A CN202310200648 A CN 202310200648A CN 116451063 A CN116451063 A CN 116451063A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- convolution
- layer
- fault detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 32
- 238000012847 principal component analysis method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000007246 mechanism Effects 0.000 claims abstract description 20
- 238000000513 principal component analysis Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 230000009467 reduction Effects 0.000 claims abstract description 10
- 239000010410 layer Substances 0.000 claims description 60
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 239000013589 supplement Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 241000540325 Prays epsilon Species 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 238000009776 industrial production Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000007477 logistic regression Methods 0.000 abstract 1
- 238000005065 mining Methods 0.000 abstract 1
- 238000004088 simulation Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003842 industrial chemical process Methods 0.000 description 2
- IJJWOSAXNHWBPR-HUBLWGQQSA-N 5-[(3as,4s,6ar)-2-oxo-1,3,3a,4,6,6a-hexahydrothieno[3,4-d]imidazol-4-yl]-n-(6-hydrazinyl-6-oxohexyl)pentanamide Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)NCCCCCC(=O)NN)SC[C@@H]21 IJJWOSAXNHWBPR-HUBLWGQQSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000012263 liquid product Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Complex Calculations (AREA)
Abstract
一种基于主元分析法和卷积模型工业过程故障检测方法，涉及一种工业过程故障检测方法。该方法首先采集工业生产过程的数据，利用主元分析法对数据进行降维降噪处理；其次将主元分析法处理后的数据输入到多层卷积结构，来实现更多角度更深层次地挖掘数据的局部相关信息；随后将融合局部信息的数据输入到Transformer模型，利用注意力机制来提取数据的全局相关性；最后模型通过逻辑回归得到预测结果，保存性能最好的模型用于后续测试。本发明有效解决Transformer模型存在的忽略局部相关信息、学习全局信息时无法去除噪声信息干扰和收敛速度缓慢的问题，提高了模型故障检测的性能。实现了在数据是大规模、高维度和非线性的情况下，对工业数据进行特征提取，提高故障检测的准确率。
Description
技术领域
本发明涉及一种工业过程故障检测方法，特别是涉及一种基于主元分析法和卷积模型工业过程故障检测方法。
背景技术
近年来，现代工业发展迅速，已经成为经济增长的强大助力，但工业生产过程往往复杂多变，稍有不规范就有可能发生事故，造成严重的经济损失甚至人员伤亡，因此一个安全准确的故障检测和诊断(Fault Detection and Diagnosis，FDD)算法是至关重要的。同时由于目前工业生产过程的高度复杂性和智能性，基于数据驱动建模的方法受到更多关注。分散式控制系统的广泛应用，使得大量的工业生产过程数据可以被采集和存储，这为基于数据驱动的过程检测技术提供了坚实的基础。基于数据驱动建模的方法是利用工业过程中传感器收集到的历史数据直接建立模型，从而实现系统状态检测和诊断。基于数据驱动建模的方法可以进一步细分为统计方法、浅层学习方法和深度学习方法，但工业过程数据往往具有强非线性关系，浅层结构可能无法有效处理，因此深度学习方法得到更多的运用。
表示学习是一组方法，它可以从原始数据中提取到预测或分类所需的特征，深度学习是一种具有多层表示法的表示学习方法，由多个简单但非线性的模块组成，层次越深特征越抽象，因此可以拟合非常复杂的函数。工业过程故障检测和诊断领域中，应用较广泛的传统深度学习方法有自动编码器、深度置信网络、卷积神经网络和循环神经网络等，在诸多研究中也取得了不错的效果。
Transformer是由谷歌在2017年提出的完全基于注意力机制的深度学习模型，首先被应用于自然语言处理领域，在诸多任务上取得了显著的效果，因此各个领域有关Transformer模型的研究开始兴起，其中包括计算机视觉、音频处理和时间序列等。Transformer模型在各领域的应用中显现出了它的诸多优点，如其能够显著地捕获序列数据的长时程依赖性，解决顺序学习问题实现并行运算，模型融合多种模态信息能力强，模型中的多头自注意力机制能够实现特征信息的全面提取，模型可解释性强等。Transformer模型长时间建模的强大能力和诸多优点使得其在故障检测领域有着很好的应用前景，但仍有不足之处，如Transformer模型忽略了数据之间的局部相关性、注意力机制在计算注意力权重时无法去除噪声信息的干扰和收敛速度缓慢等问题。因此在面对具有大规模、高维度、非线性等复杂数据特性的工业过程数据时，传统的Transformer模型很难取得良好的故障检测效果。所以现在急需一种有效的过程故障检测方法对现代的工业生产过程采集的大规模数据进行统一建模并进行故障检测。
发明内容
本发明的目的在于提供一种基于主元分析法和卷积模型工业过程故障检测方法，本发明针对工业过程中数据的大规模、高维度、非线性等复杂数据特性以及故障检测问题，提出了一种基于改进Transformer模型的工业过程故障检测方法，实现在数据是大规模、高维度和非线性的情况下，对工业数据进行特征提取，提高故障检测的准确率。
本发明的目的是通过以下技术方案实现的：
一种基于主元分析法和卷积模型工业过程故障检测方法，所述方法包括以下步骤：
步骤一：采集工业过程中N个样本数据X∈RN×m，其中m表示数据的变量数，N表示采集的样本总数，利用主元分析法(Principal Component Analysis，PCA)对数据X进行降维降噪处理；
步骤二：将PCA处理后的数据Xpca∈RN×k通过全连接神经网络(Fully ConnectedNeural Network,FC)映射至高维空间得到其中dmodel为变量数m映射得到的维度；随后将Xfc输入到多层卷积结构，利用卷积神经网络的局部连接的特性来提取数据的局部相关信息，因为单层卷积的卷积核大小固定，感受野有限，提取到的特征受限，因此采用多层卷积操作，每层卷积配置多个卷积核，每层卷积的卷积核大小不同，前一层卷积的输出作为后一层卷积的输入，以此不断增大感受野，来提取更加准确全面的局部特征；
步骤三：将带有局部相关信息的数据输入到Transformer模型，由于工业过程数据是具有时序性的，需要添加位置编码(Positional Encoding,PE)来补充顺序信息得到/>
步骤四：将带有位置信息和局部相关信息的Xconvpe输入到编码器中，利用多头自注意力机制来捕获数据的全局相关性；
步骤五：将融合了局部信息和全局信息的数据输入到前馈网络层，在多头自注意力机制中进行的都是线性变换，学习泛化能力不强，因此需要激活函数来强化学习，增强非线性；
步骤六：将经过编码器后的数据再次执行步骤四、五n次得到经过Transformer模型后的数据/>
步骤七：在Y和实际标签之间计算交叉熵损失函数，不断更新模型网络参数，保存性能最好的模型用于后续测试；
步骤八：故障检测阶段，过程如下：
1)采集工业过程中的新数据Xnew∈RN×m，按照公式(1)使用训练数据的均值和方差σ先进行标准化处理得到标准化数据Xnew，随后按照公式(4)将Xnew与训练数据的降维矩阵P相乘得到PCA处理后的数据/>
2)将输入到训练阶段保存的模型进行故障检测；通过该模型对新数据进行故障检测。
所述的一一种基于主元分析法和卷积模型工业过程故障检测方法，所述步骤一PCA处理流程如公式(1)*(4)所示：
S＝COV(X) (2)
p，v，pT＝SVD(S) (3)
Xpca＝XP (4)
其中，公式(1)是对数据X做标准化处理，表示数据X的列均值，σ表示数据X的列方差，公式(2)是求标准化数据X的协方差矩阵S∈Rm×m，公式(3)是对协方差矩阵S做奇异值分解得到它的奇异值v∈Rm和奇异矩阵p∈Rm×1，假设取奇异值总和的85％作为主成分，则满足条件的前k个奇异值对应的基向量组成降维矩阵P∈Rm×k，公式(4)是将标准化数据X与降维矩阵P相乘得到PCA处理后的数据Xpca∈RN×k。
所述的一种基于主元分析法和卷积模型工业过程故障检测方法，所述步骤三添加位置编码(Positional Encoding,PE)来补充顺序信息得到具体公式如下：
其中，pos表示数据在时序序列中的位置，2i和2i+1分别表示向量中的偶数位置和奇数位置。
所述的一种基于主元分析法和卷积模型工业过程故障检测方法，所述步骤六n为Transformer模型中编码器的层数，前一层编码器的输出为后一层编码器的输入；随后XTrm经过一层全连接层对dmodel降维到1得到Xout∈RN×1，再使用Sigmoid函数将Xout中的数值变化到[0，1]之间，若数值大于等于0.5，模型预测值为1，表示是故障样本，若数值小于0.5，模型预测值为0，表示是正常样本；上述过程如公式(17)-(18)所示：
本发明的优点与效果是：
(1)本发明方法利用主元分析法对数据进行降维降噪处理，减少噪声信息对模型训练时的干扰；
(2)本发明方法利用卷积神经网络的局部连接的特性来提取局部信息，多层卷积层逐渐扩大的感受野，各层卷积层中不同尺寸的多个卷积核，能够充分学习数据之间的局部相关信息；
本发明方法利用Pre-Ln结构来提高模型的收敛速度。本发明的过程监测方法有效提高了故障检测性能，充分验证了该发明的过程监测方法的有效性和可行性。
附图说明
图1为基于田纳西州伊斯曼化学品公司真实工业化工过程的仿真系统结构图；
图2为本发明基于主元分析法和卷积的Transformer模型的流程图；
图3为本发明基于主元分析法和卷积的Transformer模型的架构图；
图4为数据经过第一层卷积神经网络后的热力图；
图5为数据在多头自注意力机制中第一层的注意力得分矩阵热力图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明以田纳西州伊斯曼化学品公司(Eastman Chemicals of Tennessee，TE)真实工业化工过程的仿真系统得到的数据为例，TE过程仿真系统结构如图1所示，基于改进Transformer模型的工业过程故障检测方法如图2所示，基于主元分析法和卷积的Transformer模型架构如图3所示。
具体步骤：
步骤一：采集工业过程中的样本数据。TE仿真系统中包括五种进料(A、B、C、D和E)，在两个平行反应中获得两种液体产物(G、H)和一种液体副产物(F)。TE数据中包括11个操纵变量和41个测量变量，因此每个数据有52维向量。TE仿真系统在每次运行时都会加入随机噪声，并且分为训练和测试来采集，采集间隔为3分钟，故障种类共21种，因此分别运行21次，其中训练数据每次运行25个小时，训练数据从故障引入时开始采集，因此每次实验只有480组故障数据；测试数据每次运行48小时，因此每次实验共960组测试数据，其中故障数据中前160组为正常数据，后800组为故障数据，系统还采集了两次正常工况下的数据，分别为500组和960组数据。将正常工况下的960组数据分别和每种故障的训练集组合作为训练集。训练集X∈RN×m，其中m表示数据的变量数，在本实施例中m＝52；N表示采集的样本总数，在本实施例中N＝1440，利用主元分析法(Principal Component Analysis，PCA)对数据X进行降维降噪处理，PCA处理流程如公式(19)-(21)所示：
S＝COV(X) (2)
p，v，pT＝SVD(S) (3)
Xpca＝XP (4)
其中，公式(19)是对数据X做标准化处理，表示数据X的列均值，σ表示数据X的列方差，公式(22)是求标准化数据X的协方差矩阵S∈Rm×m，公式(21)是对协方差矩阵S做奇异值分解得到它的奇异值v∈Rm和奇异矩阵p∈Rm×1，假设取奇异值总和的85％作为主成分，本实施例中取95％作为主成分，则满足条件的前k个奇异值对应的基向量组成降维矩阵P∈Rm ×k，本实施例中k＝3，公式(22)是将标准化数据X与降维矩阵P相乘得到PCA处理后的数据Xpca∈RN×k。
步骤二：将PCA处理后的数据Xpca∈RN×k通过全连接神经网络(Fully ConnectedNeural Network,FC)映射至高维空间得到其中dmodel为变量数m映射得到的维度，本实施例中dmodel＝256。随后将Xfc输入到多层卷积结构，利用卷积神经网络的局部连接的特性来提取数据的局部相关信息，因为单层卷积的卷积核大小固定，感受野有限，提取到的特征受限，因此采用多层卷积操作，每层卷积配置多个卷积核，每层卷积的卷积核大小不同，前一层卷积的输出作为后一层卷积的输入，以此不断增大感受野，来提取更加准确全面的局部特征。此外为了防止网络层数加深出现梯度消失，强化模型非线性和保证中间层分布一致性，在多层卷积结构后添加了批归一化(Bach Normalization，BN)和Relu激活函数，同时还添加了残差连接模块使模型更加关注差异部分，减缓网络退化。上述过程如公式(23)-(24)所示：
(Xconv＝Xfc+Relu(0，Bn(Convn(...(Conv1(Xfc))))) (6)
其中，表示经过多层卷积结构后带有局部相关信息的数据，n表示卷积层数，本实施例中n＝4。
步骤三：将带有局部相关信息的数据输入到Transformer模型，由于工业过程数据是具有时序性的，因此需要添加位置编码(Positional Encoding，PE)来补充顺序信息得到/>具体公式如下：
其中，pos表示数据在时序序列中的位置，2i和2i+1分别表示向量中的偶数位置和奇数位置。
步骤四：将带有位置信息和局部相关信息的Xconvpe输入到编码器中，利用多头自注意力机制来捕获数据的全局相关性。在多头自注意力机制前添加了层规范化(LayerNormalization,LN)得到来减少“协变量偏移”问题，同时提高模型收敛速度。在多头自注意力机制中首先通过多个不同的线性变换将X′covpe转化为不同子空间内的(查询)、/>(键值)和/>(值)，每个子空间内只关注dmodel/h＝dk＝dV个维度的信息，本实施例中dk＝dV＝64，h为多头自注意力机制的头数，本实施例中h＝4，在每个子空间内先将Qi和Ki的转置进行点积来计算每个特征间的注意力权重矩阵，再使用softmax函数对注意力权重矩阵进行归一化，最后与Vi进行加权求和，则得到一个子空间内的特征之间关联性输出/>i∈[1，h]，将每个子空间内的输出使用Concat函数进行拼接，再经过线性变换得到多头自注意机制的输出XH，随后添加了残差连接模块来简化网络训练，减少网络退化。上述过程如公式(27)-(31)所示：
X’convpe＝LN(Xconvpe) (9)
XH＝concat(head1，...headi，...headh)WO (12)
XH＝Xconvpe+XH (13)
其中，表示经过多头注意力机制后带有全局信息的数据， 和/>为线性变换矩阵，dk＝dv＝dmodel/h，/>是缩放因子，它的引入是为了防止梯度过小和注意力权重分散。
步骤五：将融合了局部信息和全局信息的数据输入到前馈网络层，在多头自注意力机制中进行的都是线性变换，学习泛化能力不强，因此需要激活函数来强化学习，增强非线性。在前馈网络层前同样添加了LN层得到/>首先经过层全连接层对dmodel进行升维到dff，本实施例中dff＝512，再利用Relu激活函数进行强化学习，随后再经过层全连接层对dff降维到dmodel得到前馈网络层的输出/>最后经过残差连接得到经过编码器后的数据/>上述过程如公式(32)-(34)所示：
X’H＝LN(XH) (14)
XFFN＝max(0,X’HW1+b1)W2+b2 (15)
XEnc＝XH+XFFN (16)
其中，W1、b1、W2和b2为全连接层的参数，由模型训练得到。
步骤六：将经过编码器后的数据再次执行步骤四、五L次得到经过Transformer模型后的数据/>L为Transformer模型中编码器的层数，本实施例中L＝2，前一层编码器的输出为后一层编码器的输入。随后XTrm经过一层全连接层对dmodel降维到1得到Xout∈RN×1，再使用Sigmoid函数将Xout中的数值变化到[0，1]之间，若数值大于等于0.5，模型预测值为1，表示是故障样本，若数值小于0.5，模型预测值为0，表示是正常样本。上述过程如公式(35)-(36)所示：
步骤七：在Y和实际标签之间计算交叉熵损失函数，不断更新模型网络参数，保存性能最好的模型用于后续测试。
步骤八：故障检测阶段，过程如下：
1)采集工业过程中的新数据Xnew∈RN×m，在本实施例中，引入测试数据，测试数据运行时间为48小时，采样间隔为3分钟，即采集960组测试样本数据。其中故障2是由B成分变化出现阶跃故障引起的，故障发生时刻为第161个样本并一直持续到最后。按照公式(19)使用训练数据的均值和方差σ先进行标准化处理得到标准化数据Xnew，随后按照公式(22)将Xnew与训练数据的降维矩阵P相乘得到PCA处理后的数据/>
2)将输入到训练阶段保存的模型进行故障检测。
仿真实验结果分析：
在本实施例中，故障2检测准确率和F1分数分别为92.07％和0.78。通过结果可以看出，综合准确率和F1分数两个统计量，该发明的过程监测方法体现出了较好的故障检测性能
接下来对该发明的故障检测性能进行分析。图4表示测试集中第100个到第350个样本在第一层卷积神经网络中的神经元表达，其中前60个样本为正常样本，剩下的全是故障样本，图中横轴时间步表示样本数，纵轴卷积核代表该层卷积层中卷积核个数，蓝色表示神经元被最大激活，黄色表示神经元没有激活。首先卷积层中大多数神经元呈蓝色，说明模型倾向于学习一种稠密表达(Dense Representation)，卷积神经网络提取的是复杂特征信息；其次从图中可以看出，多数卷积核只学习正常信号或只学习故障信号，少数卷积核能学习全部样本信息，得出卷积神经网络可以多角度去学习数据信息，但更专注于局部信息，并且能够分辨出两种类别信号分别提取特征。综上所述，卷积神将网络对提高模型性能有很大帮助。
图5表示测试集中第100个到第300个样本在注意力机制中第一层的注意力得分矩阵，其中前60个样本为正常样本，剩下的全是故障样本，横轴纵轴的标签时间步均表示样本数，蓝色表示注意力得分最高，黄色表示注意力得分最低。首先，注意力模块中每个头的注意力得分矩阵中蓝色区域分布不同，说明模型关注的位置有所不同，这与多头注意力机制的初衷一样，每个头从不同角度提取特征，分类信息更加全面，模型鲁棒性得到提高；第二，注意力得分矩阵的主对角线区域体现了同类别样本之间的注意力得分情况，2、3、4头中的主对角线区域更多为蓝色，其他区域更多为黄色，可以得到同类样本间注意力得分更高，不同类别样本间注意力得分较低，即同类别样本间相关性更高，不同类别样本间相关性较低，且注意力机制能够分辨出两种类别信号。综上所述，注意力机制可以提高模型性能和鲁棒性。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (4)
1.一种基于主元分析法和卷积模型工业过程故障检测方法，其特征在于，所述方法包括以下步骤：
步骤一：采集工业过程中N个样本数据X∈RN×m，其中m表示数据的变量数，N表示采集的样本总数，利用主元分析法(Principal Component Analysis，PCA)对数据X进行降维降噪处理；
步骤二：将PCA处理后的数据Xpca∈RN×k通过全连接神经网络(Fully Connected NeuralNetwork,FC)映射至高维空间得到其中dmodel为变量数m映射得到的维度；随后将Xfc输入到多层卷积结构，利用卷积神经网络的局部连接的特性来提取数据的局部相关信息，因为单层卷积的卷积核大小固定，感受野有限，提取到的特征受限，因此采用多层卷积操作，每层卷积配置多个卷积核，每层卷积的卷积核大小不同，前一层卷积的输出作为后一层卷积的输入，以此不断增大感受野，来提取更加准确全面的局部特征；
步骤三：将带有局部相关信息的数据输入到Transformer模型，由于工业过程数据是具有时序性的，需要添加位置编码(Positional Encoding，PE)来补充顺序信息得到/>
步骤四：将带有位置信息和局部相关信息的Xconvpe输入到编码器中，利用多头自注意力机制来捕获数据的全局相关性；
步骤五：将融合了局部信息和全局信息的数据输入到前馈网络层，在多头自注意力机制中进行的都是线性变换，学习泛化能力不强，因此需要激活函数来强化学习，增强非线性；
步骤六：将经过编码器后的数据再次执行步骤四、五n次得到经过Transformer模型后的数据/>
步骤七：在Y和实际标签之间计算交叉熵损失函数，不断更新模型网络参数，保存性能最好的模型用于后续测试；
步骤八：故障检测阶段，过程如下：
1)采集工业过程中的新数据Xnew∈RN×m，按照公式(1)使用训练数据的均值和方差σ先进行标准化处理得到标准化数据Xnew，随后按照公式(4)将Xnew与训练数据的降维矩阵P相乘得到PCA处理后的数据/>
2)将输入到训练阶段保存的模型进行故障检测；通过该模型对新数据进行故障检测。
2.根据权利要求1所述的一种基于主元分析法和卷积模型工业过程故障检测方法，其特征在于，所述步骤一PCA处理流程如公式(1)-(4)所示：
s＝COV(X) (2)
p，v，pT＝SVD(S) (3)
Xpca＝XP (4)
其中，公式(1)是对数据X做标准化处理，表示数据X的列均值，σ表示数据X的列方差，公式(2)是求标准化数据X的协方差矩阵S∈Rm×m，公式(3)是对协方差矩阵S做奇异值分解得到它的奇异值v∈Rm和奇异矩阵p∈Rm×1，假设取奇异值总和的85％作为主成分，则满足条件的前k个奇异值对应的基向量组成降维矩阵P∈Rm×k，公式(4)是将标准化数据X与降维矩阵P相乘得到PCA处理后的数据Xpca∈RN×k。
3.根据权利要求1所述的一种基于主元分析法和卷积模型工业过程故障检测方法，其特征在于，所述步骤三添加位置编码(Positional Encoding,PE)来补充顺序信息得到具体公式如下：
其中，pos表示数据在时序序列中的位置，2i和2i+1分别表示向量中的偶数位置和奇数位置。
4.根据权利要求1所述的一种基于主元分析法和卷积模型工业过程故障检测方法，其特征在于，所述步骤六n为Transformer模型中编码器的层数，前一层编码器的输出为后一层编码器的输入；随后XTrm经过一层全连接层对dmodel降维到1得到Xout∈RN×1，再使用Sigmoid函数将Xout中的数值变化到[0，1]之间，若数值大于等于0.5，模型预测值为1，表示是故障样本，若数值小于0.5，模型预测值为0，表示是正常样本；上述过程如公式(17)-(18)所示：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310200648.2A CN116451063A (zh) | 2023-03-03 | 2023-03-03 | 一种基于主元分析法和卷积模型工业过程故障检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310200648.2A CN116451063A (zh) | 2023-03-03 | 2023-03-03 | 一种基于主元分析法和卷积模型工业过程故障检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116451063A true CN116451063A (zh) | 2023-07-18 |
Family
ID=87129162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310200648.2A Pending CN116451063A (zh) | 2023-03-03 | 2023-03-03 | 一种基于主元分析法和卷积模型工业过程故障检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116451063A (zh) |
-
2023
- 2023-03-03 CN CN202310200648.2A patent/CN116451063A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | One-dimensional convolutional neural network-based active feature extraction for fault detection and diagnosis of industrial processes and its understanding via visualization | |
| Wei et al. | A novel deep learning model based on target transformer for fault diagnosis of chemical process | |
| Yu et al. | Stacked denoising autoencoder‐based feature learning for out‐of‐control source recognition in multivariate manufacturing process | |
| CN110579967B (zh) | 基于同时降维和字典学习的过程监控方法 | |
| Wu et al. | A transformer-based approach for novel fault detection and fault classification/diagnosis in manufacturing: A rotary system application | |
| CN114385614A (zh) | 基于Informer模型的水质预警方法 | |
| CN117034003A (zh) | 航空航天重大产品制造装备的全生命周期自适应故障诊断方法、系统、设备及介质 | |
| CN116150901A (zh) | 一种基于注意力增强时频Transformer的滚动轴承剩余寿命预测方法 | |
| Maggipinto et al. | A deep learning-based approach to anomaly detection with 2-dimensional data in manufacturing | |
| Pani | Non-linear process monitoring using kernel principal component analysis: A review of the basic and modified techniques with industrial applications | |
| Zhang et al. | Gated recurrent unit-enhanced deep convolutional neural network for real-time industrial process fault diagnosis | |
| Gao et al. | Dual channel feature attention-based approach for RUL prediction considering the spatiotemporal difference of multisensor data | |
| Xu et al. | Global attention mechanism based deep learning for remaining useful life prediction of aero-engine | |
| CN117312821A (zh) | 一种基于特征提取和Transformer模型的故障检测方法 | |
| Lu et al. | Rotating Machinery Fault Diagnosis Under Multiple Working Conditions via A Time Series Transformer Enhanced by Convolutional Neural Network | |
| Li et al. | Knowledge enhanced ensemble method for remaining useful life prediction under variable working conditions | |
| KR102366787B1 (ko) | 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템 | |
| CN117493930A (zh) | 一种基于对比生成对抗网络的多元时间序列异常检测方法 | |
| CN117034139A (zh) | 一种基于模型融合的化工过程故障诊断方法 | |
| CN116451063A (zh) | 一种基于主元分析法和卷积模型工业过程故障检测方法 | |
| Xiao et al. | Health assessment for piston pump using LSTM neural network | |
| CN116775423A (zh) | 用于集群故障预测的方法 | |
| CN115146689A (zh) | 一种基于深度学习的动力系统高维测量数据降维方法 | |
| Wu et al. | Convolutional neural networks for multi-stage semiconductor processes | |
| Wang et al. | Fault detection for process industries via temporal CapsNet encoder-assisted one-class classifier |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |