CN116702580A - 一种基于注意力卷积自编码器的发酵过程故障监测方法 - Google Patents
一种基于注意力卷积自编码器的发酵过程故障监测方法 Download PDFInfo
- Publication number
- CN116702580A CN116702580A CN202310309451.2A CN202310309451A CN116702580A CN 116702580 A CN116702580 A CN 116702580A CN 202310309451 A CN202310309451 A CN 202310309451A CN 116702580 A CN116702580 A CN 116702580A
- Authority
- CN
- China
- Prior art keywords
- input
- convolution
- monitoring
- attention
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000012544 monitoring process Methods 0.000 title claims abstract description 54
- 238000000855 fermentation Methods 0.000 title claims abstract description 31
- 230000004151 fermentation Effects 0.000 title claims abstract description 31
- 238000005070 sampling Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000011161 development Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 241000282326 Felis catus Species 0.000 claims description 2
- 238000001125 extrusion Methods 0.000 claims description 2
- 238000009472 formulation Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 14
- 229930182555 Penicillin Natural products 0.000 description 9
- JGSARLDLIJGVTE-MBNYWOFBSA-N Penicillin G Chemical compound N([C@H]1[C@H]2SC([C@@H](N2C1=O)C(O)=O)(C)C)C(=O)CC1=CC=CC=C1 JGSARLDLIJGVTE-MBNYWOFBSA-N 0.000 description 9
- 229940049954 penicillin Drugs 0.000 description 9
- 230000018109 developmental process Effects 0.000 description 7
- 238000003756 stirring Methods 0.000 description 7
- 239000000758 substrate Substances 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012733 comparative method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 239000000047 product Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- QDGIAPPCJRFVEK-UHFFFAOYSA-N (1-methylpiperidin-4-yl) 2,2-bis(4-chlorophenoxy)acetate Chemical compound C1CN(C)CCC1OC(=O)C(OC=1C=CC(Cl)=CC=1)OC1=CC=C(Cl)C=C1 QDGIAPPCJRFVEK-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000035143 Bacterial infection Diseases 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000005273 aeration Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000022362 bacterial infectious disease Diseases 0.000 description 1
- 230000003115 biocidal effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000007306 functionalization reaction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 231100000053 low toxicity Toxicity 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002207 metabolite Substances 0.000 description 1
- 230000000813 microbial effect Effects 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005312 nonlinear dynamic Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 229930000044 secondary metabolite Natural products 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种基于注意力卷积自编码器的发酵过程故障监测方法。首先将发酵过程的三维数据展开成二维形式，并通过滑动窗采样得到模型的输入序列；之后设计了一种通道卷积注意力模块，并将通道卷积注意力模块融入卷积自编码器中。利用注意力卷积自编码器构建故障监测模型，利用重构误差构建平方预测误差监控统计量实现在线监测，再利用核密度估计方法确定该监控统计量的控制限。测试时先将测试样本进行标准化，然后再输入到模型中，计算出监控统计量的值，并与其控制限进行比较。若未超出控制限则表示系统正常；若超出控制限，则表示出现故障样本。本发明对故障的发生更加敏感，有利于及时发现故障，减少监测过程中误报警、漏报警现象的发生。
Description
技术领域
本发明属于故障监测技术领域，特别是涉及一种基于数据驱动的发酵过程故障监测技术。本发明的方法是在发酵过程故障监测方面的具体应用。
背景技术
随着经济的发展和现代工业制造业的升级，工业系统的集成度以及复杂度越来越高，操作条件的任何异常都容易引起过程故障，过程故障一旦发生，将会对最终产品的质量产生影响，很有可能造成重大经济损失，对人身安全也会产生威胁。所以，过程监测技术对提高整个生产过程的安全性和效率至关重要。发酵过程，指的是人们采用一定培养条件、培养设备并借助微生物在有氧或无氧条件下的生命活动，来制造微生物菌体本身、直接代谢产物或次级代谢产物的过程，并在有限的时间内满足质量要求，其一次只能生产一定量的产品，如需要更多的产品，就要重复整个过程。随着生产者对发酵过程产品高纯度、多品种、多规格、功能化等要求越来越高，这使得人们对发酵过程工业生产的要求越来越严格。因此，发酵过程的故障监测已经成为学术界和工业领域的高度关注点。
目前国内外常见的故障监测方法主要分为三类：基于模型的方法、基于知识的方法和基于数据驱动的方法。基于模型的方法主要是利用先验的物理和数学知识进行过程监控，然而，基于模型的方法的成功在很大程度上取决于良好的过程模型。发酵过程表现出很强的非线性和时变参数，而且在结构上也变得越来越复杂，所以建立精确的模型变成了目前科研界很大的挑战。基于知识的方法主要是收集有关过程性能的可用信息，并通过带标签的有向图进行因果分析，寻找定性或半定量关系。这些技术的主要缺点是它们依赖于人类的洞察力，容易受到外部变化的影响，限制了基于知识方法的具体使用。随着大数据时代的到来，大量的过程数据被记录，基于数据驱动的方法应运而生，通过建立数据驱动模型，就可以实现对发酵过程的故障监测，且不需要理解复杂的机理模型及过程知识。现今最常用的数据驱动方法如多向主成分分析(Multi-way Principal Component Analysis,MPCA)、多向偏最小二乘(Multi-way Partial Least Square,MPLS)，但这些方法仍然属于线性建模方法，不适合发酵过程存在的明显的非线性，所以需要对方法做进一步的修改。核函数的引入可以解决非线性特征带来的问题，但核函数的选择是一个亟待解决的问题，不同的核函数产生的方法性能是不同的，而且核函数的引入也会导致整个算法的运算量大幅度增加。因此，研究者们开始把目光聚焦于其他方法。自编码器(Autoencoder,AE)是一种无监督的神经网络模型，它通过最小化输入数据和输出数据的重构误差来优化模型，并且可以从数据中提取非线性特征。随着机器学习技术的逐渐发展，AE被当作是解决非线性问题的显著替代方案。但AE是直接对输入数据进行整体降维，忽略了局部特征，导致特征提取效率不高。
发明内容
为了克服上述方法的不足，本文提出了一种基于注意力卷积自编码器的(AttentionConvolutional Autoencoder,ACAE)的发酵过程故障监测方法。卷积自编码器采用卷积神经网络的结构，能够更好地捕捉输入数据的特征信息，从而提取更高级别的特征，提高自编码器的特征学习效率；同时，本发明设计了一种通道卷积注意力(ChannelConvolutional Attention,CCA)模块，该模块可以从不同尺度提取输入的非线性特征，同时也可以改善模型性能，减少无关信息的干扰，提高模型对有效信息的关注能力；最后，将CCA模块融入到卷积自编码器中，可以有效地捕获输入变量间的非线性关系，很好的提取输入的前期特征，在与卷积自编码器的倒数第二个反卷积层的输出进行特征融合时，注意力机制和卷积自编码器可以共同发挥优势，解决特征提取困难的问题。
本发明采用了如下的技术方案及实现步骤：
A.离线建模：
1)利用批次与变量展开相结合的三步展开方法对发酵过程数据进行预处理，具体方法为：采集发酵过程正常工况下的三维历史数据样本，对该三维数据X(I×J×K)沿批次方向展开为二维时间片矩阵X(I×KJ)，其中，I表示批次数量，J表示观测变量个数，K表示每个批次的采样点个数，并对展开后的二维时间片矩阵X(I×KJ)沿批次方向对每一列进行标准化处理，标准化公式为：式中，xi,k,j表示第i个批次中第k个采样点的第j个观测变量的值，/>和sk,j分别表示在批次方向上的第k个采样点的第j个观测变量的均值和标准方差，其计算公式为：/>然后将标准化后的二维时间片矩阵X(I×KJ)沿变量方向展开为X(KI×J)，对展开后的每个批次数据采用窗宽为d的滑动窗进行连续采样，得到模型的输入序列x。
2)将步骤1中得到的输入序列x输入到本发明方法的模型中。该模型选用卷积自编码器作为主干网络，由于发酵过程变量数量有限，因此只在编码单元中使用了3个卷积层，在解码单元中使用了3个反卷积层，这样可以避免使用池化层可能会导致重要特征丢失的问题。卷积层中的计算公式为：hi＝σ(∑xi⊙k′i+bi）,i＝1,2,3,k′i∈Z，式中，hi是第i个卷积层的输出，xi是第i个卷积层的输入，k′i是第i个卷积层中卷积核的权重，bi是第i个卷积层的偏差，σ是ReLU激活函数。第1个卷积层的输入x1即为模型的输入序列x；反卷积层中的计算公式为：式中，yi是第i个反卷积层的输出，di是第i个反卷积层的输入，/>是卷积层中权重k′i的转置，ai是第i个反卷积层的偏差。第1个反卷积层的输入d1即为编码单元的输出h3。通道卷积注意力(CCA)模块是本发明方法设计的一种注意力机制模块，该模块可以从不同尺度提取输入的非线性特征，准确的捕获输入变量间的非线性关系。将该模块嵌入到卷积自编码器的编码单元和解码单元之间，并将编码单元第1个卷积层的输出h1作为CCA模块的输入。CCA模块包括两个子模块：分割拼接(SPC)模块和卷积式挤压扩充(CSE)模块。在SPC模块中，首先对输入h1(C×H×W)按通道方向进行切分，其中，C是输入h1具有的通道个数、H是输入h1的高度(行数)、W是输入h1的宽度(列数)，[X0,X1,…,XS-1]表示被切分的S个部分，每个部分有/>个通道，通过控制S的取值将C′设置为2，这样可以切分出更多的部分，从更多的尺度提取输入h1的特征；接下来对每个部分使用不同尺寸的卷积核进行卷积操作，以提取不同尺度特征Fi，其生成函数为：Fi＝Conv(1×ki)(Xi),i＝0,1,2,…,S-1，式中，第i个部分Xi(C′×H×W)的卷积核大小ki＝2*(i+1)+1,i＝0,1,2,…,S-1。CSE模块包含两个卷积层、一个最大池化层、一个全局平均池化层和两个全连接层，将通过SPC模块得到的不同尺度特征Fi(C′×H×W)分别输入到CSE模块中：F0通过两个卷积层的公式表达为：D1＝Conv(F0)，D2＝Conv(D1)；之后利用最大池化层，将D2变换成C′×H×1的形式，公式表达为：P0＝Maxpooling(D2)，通过以上操作可以使F0在进行全局平均池化时不会丢失局部特征；然后再通过全局平均池化层，得到F0的初级注意力权重g0，公式表达为：/>其形状为C′×1×1；最后通过两个全连接层，对g0进行先“挤压”和后“扩充”的操作，即通道维度上的降维和升维，这样可以有效组合各通道之间的特征信息，从而得到F0的注意力权重Z0，用公式表达为：Z0＝σ(W1δ(W0(g0)))，式中，分别表示在通道维度上的降维和升维的过程，通过控制r的取值将设置为1，这样可以充分组合各通道之间的特征信息，δ表示ReLU激活函数，σ表示sigmoid激活函数。按上述步骤依次求出[X0,X1,…,XS-1]这S个部分对应的注意力权重[Z0,Z1,…,ZS-1]后，利用Softmax来重新校准不同尺度特征的注意力权重，实现局部和全局通道注意力的交互，用公式表达为：/>将重新校准不同尺度特征的注意力权重atti与对应的尺度特征Fi进行特征相乘，从而得到不同尺度的注意力权重特征Yi，用公式表达为：Yi＝Fi⊙atti,i＝0,1,2,…,S-1。最后，将不同尺度的注意力权重特征Yi进行拼接，得到CCA模块的输出Out，用公式表达为：Out＝Cat([Y0,Y1,…,YS-1])，式中，Cat表示在通道维度上的拼接。将CCA模块的输出Out与卷积自编码器的倒数第二个反卷积层的输出y2进行特征融合，一起作为最后一个反卷积层的输入d3，由此得到ACAE的输出y。
3)利用重构误差e来求取原始样本和重构样本之间的重构差异，重构误差的表达式为：e＝x-y，其中，x表示ACAE的输入，y表示ACAE的输出。利用重构误差e定义平方预测误差(SPE)统计量，公式表示为：其中，d是滑动窗的窗宽。
4)采用核密度估计的方法计算历史正常样本的SPE统计量的概率密度函数，设置置信水平为99％，将概率密度函数转换为累积分布函数(CDF)，然后找到对应置信水平的分位数，从而得到SPE统计量的控制限。该控制限作为故障监测的基准线，当故障样本的SPE统计量超过该控制限则认为有故障发生，需要对故障作进一步的处理；若低于该控制限，则认为无故障发生。核密度估计的公式为：其中，fk(x)为概率密度函数；xi为第i个样本；K为核函数，本方法选用的核函数是高斯核函数；h为带宽参数；n为观测样本数目。
B.在线监测：
5)对新批次的数据进行采样，得到第k个采样点的样本数据用离线建模中的均值和标准方差对其进行标准化处理，得到/>式中，/>为标准化后第k个采样点的数据，/>为标准化后第k个采样点的第j个观测变量的值。标准化的公式为：式中，/>为第k个采样点的第j个观测变量对应的原始样本在批次方向上的均值，sk,j第k个采样点的第j个观测变量对应的原始样本在批次方向上的标准方差。然后与之前d个时刻的样本组合得到模型的输入序列；/>最后将/>输入到ACAE中得到模型的输出。
6)计算原始样本和重构样本之间的重构误差e：根据重构误差e去计算/>的监控统计量SPEk，计算公式为：/>
7)将在步骤6中得到的第k个采样点的监控统计量SPEk与在离线建模中利用核密度估计方法计算历史正常样本得到的控制限进行比较，如果超过控制限则认为发生故障，需对故障作进一步处理；如果没有超过控制限，则认为正常，无故障发生。
本发明具有以下有益效果
1)本发明方法设计了一种通道卷积注意力模块。在该模块的SPC模块中，可以实现对输入的不同尺度特征提取；在CSE模块中，可以实现对不同尺度特征的注意力权重计算，得到整个通道卷积注意力模块输入的多尺度注意力权重特征。相比于传统的注意力机制模块，它可以从不同尺度提取输入的非线性特征，有效捕获输入变量间的非线性关系。
2)本发明方法将通道卷积注意力模块嵌入在卷积自编码器的编码单元和解码单元之间，这样可以通过该模块来保留住输入的前期敏感特征，在解码单元中的特征融合操作也可以同时发挥卷积和注意力机制的优势，使模型对故障更加敏感，提高了故障监测的准确性，减少过程监测中误报警、漏报警现象的发生。
附图说明
图1为本发明的方法流程图；
图2为ACAE算法流程图；
图3为卷积自编码器示意图；
图4为通道卷积注意力模块示意图；
图5为ACAE模型示意图；
图6为离线建模流程图；
图7为在线监测流程图；
图8为本发明方法ACAE对底物流加速率故障(斜坡故障)进行故障监测效果图；
图9为本发明方法ACAE对底物流加速率故障(阶跃故障)进行故障监测效果图；
图10为本发明方法ACAE对搅拌功率故障(斜坡故障)进行故障监测效果图；
图11为本发明方法ACAE对搅拌功率故障(阶跃故障)进行故障监测效果图；
图12为对比方法CAE对底物流加速率故障(斜坡故障)进行故障监测效果图；
图13为对比方法CAE对底物流加速率故障(阶跃故障)进行故障监测效果图；
图14为对比方法CAE对搅拌功率故障(斜坡故障)进行故障监测效果图；
图15为对比方法CAE对搅拌功率故障(阶跃故障)进行故障监测效果图；
具体实施方式
青霉素(penicillin)是一种高效、低毒的重要抗生素，能高效治疗细菌性感染且副作用小，广泛用于治疗各种传染性疾病，其生产制备过程就是一个高度复杂的非线性动态间歇过程。本文使用伊利诺理工大学Birol教授在2002年开发的青霉素发酵监测和过程建模仿真软件pensim2.0进行实验仿真研究，以模拟发酵过程的底物流加速率、搅拌功率、通风速率等变量。在本次实验中，选取了40批正常工况数据作为样本训练集，每批次的发酵时间设置为400h，采样间隔时间为1h，在每个批次初始条件的设置中均在可允许的范围内进行改变，选取了10个对青霉素发酵过程影响较大的过程变量用于建模和监测，如表1所示。
表1青霉素发酵过程的主要变量
本文选取2个故障变量，2种故障类型，共4组故障批次样本进行测试验证。所有故障均在200h引入，在每一批次发酵过程结束后停止，如表2所示。
表2故障批次设置信息
将本发明方法应用到上述青霉素发酵过程仿真对象包括离线建模和在线监测两个大步骤，具体陈述如下：
A.离线建模
步骤1：利用批次与变量展开相结合的三步展开方法对发酵过程数据进行预处理：具体方法为将通过pensim2.0仿真得到的青霉素发酵三维数据X40×10×400沿批次方向展开为二维时间片矩阵X40×(400×10)，并沿批次方向进行标准化，标准化公式为：式中，xi,k,j表示第i个批次中第k个采样点的第j个观测变量的值，/>和sk,j分别代表在批次方向上的第k个采样点的第j个观测变量的均值和标准方差，计算公式为：/> 然后将得到的二维时间片矩阵X40×(400×10)沿变量方向展开为X(400×40)×10，每批次的数据由400行10列构成，即每批次400个采样点，10个观测变量。
步骤2：本发明方法使用的电脑CPU型号为Intel(R)Core(TM)i5-12400F，pycharm3.9软件，使用pytorch平台进行实验。ACAE的模型参数的具体设定为：(1)优化器选择Adam，损失函数选择MSE，学习率learningrate＝0.00018，迭代次数epoch＝400，批次大小batchsize＝400，模型输入向量的维度设置为10。(2)卷积自编码器的编码单元有3个卷积层，解码单元有3个反卷积层，各卷积层的out_channels设置为8、15、22，kernel_size均设置为4，stride均设置为1，其他参数采用默认设置。(3)SPC模块中的切分的4个部分的kernel_size分别设置为3、5、7、9，stride均设置为1，对应的padding设置为1、2、3、4，其他参数采用默认设置；CSE模块中两个卷积层的kernel_size分别设置为4和3，stride均设置为1，最大池化层的kernel_size设置为2，stride设置为1，其他参数采用默认设置。
步骤3：设置完模型参数后将对ACAE模型进行训练。将在步骤1中标准化后的数据分批次输入到ACAE中，输入数据的格式为400行10列，共40批次。通过卷积自编码器的第一个卷积层后，输入数据的格式变成8通道400行7列，并将该数据输入到CCA模块中。在CCA模块中，首先通过SPC模块，在SPC模块中将输入数据的8个通道分割成4个部分，它们是[X0,X1,X2,X3]，此时每个部分的格式为2通道400行7列，针对第i个部分用大小为ki＝2*(i+1)+1,i＝0,1,2,3的卷积核进行卷积操作，其不同尺度特征的生成函数为：Fi＝Conv(1×ki)(Xi),i＝0,1,2,3；之后将SPC模块输出的4个部分分别输入到CSE模块，此时F0的格式为2通道400行7列。在CSE模块中，首先通过两个卷积层，卷积核的大小分别为k1＝4和k2＝3，输出的格式为2通道400行2列；利用核大小为k3＝2的最大池化层，将上一卷积层的输出变换成2通道400行1列的格式，通过以上操作可以使F0在进行全局平均池化时不会丢失局部特征；之后通过全局平均池化层，得到F0的初级注意力权重g0，公式表达为此时g0的格式为2通道1行1列；最后通过两个全连接层，对F0的初级注意力权重g0进行通道数目的改变来完成降维和升维，这样可以更有效的组合通道之间的特征信息，从而得到F0的注意力权重Z0，用公式表达为：Z0＝σ(W1δ(W0(g0)))。式中，W0∈R2×1、W1∈R1×2分别表示对g0进行先降维后升维的过程，δ表示ReLU激活函数，σ表示sigmoid激活函数。按上述步骤依次求出[X0,X1,X2,X3]这4个部分对应的注意力权重[Z0,Z1,Z2,Z3]后，利用softmax来重新校准不同尺度特征的注意力权重，实现局部和全局通道注意力间的交互，可表示为/>将重新校准后的注意力权重atti与对应的尺度特征Fi进行特征相乘，并将结果拼接起来，得到该模块的输出。然后将此模块的输出与卷积自编码器中解码单元的倒数第二个反卷积层的输出进行特征融合，一起作为最后一个反卷积层的输入，由此得到ACAE的输出。重复epoch＝400次后，完成模型的训练，并将模型保存下来。
步骤4：利用重构误差e来求取原始样本和重构样本之间的重构差异，重构误差的表达式为：e＝x-y，其中，x表示ACAE的输入，y表示ACAE对输入的重构。定义残差子空间的平方预测误差(SPE)统计量其中，xk为第k个采样点ACAE的输入，yk为第k个采样点ACAE的输出。
步骤5：采用核密度估计的方法计算历史正常样本的SPE统计量的概率密度函数，设置置信水平为99％，将概率密度函数转换为累积分布函数(CDF)，然后找到对应置信水平的分位数，从而得到SPE统计量的控制限。该控制限作为故障监测的基准线，当故障样本的SPE统计量超过该控制限则认为有故障发生，需要对故障作进一步的处理；若低于该控制限，则认为无故障发生。核密度估计的公式为：其中，spek表示第k个样本的SPE的值。
B.在线监测
完成离线建模后，进行在线监测。将含有故障样本的测试样本先进行标准化，然后输入到ACAE中，计算每一个测试样本的SPE统计量的值，计算公式为：SPE＝eTe＝(x-y)T(x-y)，其中，x为ACAE的输入，y为ACAE的输出。并将测试样本的SPE统计量的值与在离线建模的步骤5中计算的控制限进行比较，若高于控制限，则判定当前采样点为故障点，需对故障作进一步的处理；若低于控制限，则判定此样本为正常样本。
上述步骤即为本发明方法在青霉素仿真平台故障监测领域的具体应用。为了验证ACAE在故障监测中的性能，采用MKPCA、CAE、SAE作为对比方法，分别对青霉素发酵过程的故障1(对底物流加速率所设置的斜坡故障)、故障2(对底物流加速率所设置的阶跃故障)、故障3(对搅拌功率所设置的斜坡故障)、故障4(对搅拌功率所设置的阶跃故障)进行过程监控，本发明方法ACAE的实验效果图和对比方法CAE的实验效果图如图8-15所示。虚线为正常批次样本的阈值，实线为在线监测引入故障批次时的统计指标SPE。当实线超出虚线时，则出现报警。对于故障1，如图8和图12所示，在误报警上，ACAE和CAE表现相当，但在故障发生后，ACAE及时捕获到故障的发生，而且没有漏报，而CAE在故障发生后在200h-250h区间内存在大量漏报警。对于故障2，如图9和图13所示，ACAE和CAE均无误报的发生，但CAE存在大量的漏报警，尤其在300h-400h区间内，导致模型监测性能不佳；而ACAE在故障刚发生便准确监测到故障，且无漏报现象的发生。对于故障3，如图10和图14所示，ACAE和CAE均无误报现象的发生，但在发现故障的时间上，分别是218h和220h，相比之下，ACAE表现更佳，而且在漏报警上ACAE也是最好的。对于故障4，如图11和图15所示，ACAE和CAE均无误报现象的发生，且这两种方法都是在200h监测到故障，但是在故障发生后，CAE在200h-260h、320h-400h区间内漏报警现象非常严重，而ACAE没有漏报警，一直准确捕获到了故障的发生，而且故障幅度也有一定的收敛，上升也比较明显，表现出更好的监控效果。在误报率和漏报率两个评价指标对本发明方法和CAE方法作对比，如表3和表4所示。
表3算法在误报率指标上的对比
表4算法在漏报率指标上的对比
总之，根据监测效果图(8-15)和表(3-4)数据进行分析可以看出，本发明提出的ACAE方法在故障监测时由于加入了注意力机制，可以准确的提取输入的不同尺度特征，从而显著提高了特征提取的效率。与传统方法相比，ACAE可以更精确地监测故障状态，从而提高了监测的精度。这证明了本发明方法的有效性和准确性。
Claims (1)
1.一种基于注意力卷积自编码器的发酵过程故障监测方法，其包括“离线建模”和“在线监测”两个阶段，其特征在于具体步骤如下：
A.离线建模：
1)利用批次与变量展开相结合的三步展开方法对发酵过程数据进行预处理，具体方法为：采集发酵过程正常工况下的三维历史数据样本，对该三维数据X(I×J×K)沿批次方向展开为二维时间片矩阵X(I×KJ)，其中，I表示批次数量，J表示观测变量个数，K表示每个批次的采样点个数，并对展开后的二维时间片矩阵X(I×KJ)沿批次方向对每一列进行标准化处理，标准化公式为：式中，xi,k,j表示第i个批次中第k个采样点的第j个观测变量的值，/>和sk,j分别表示在批次方向上的第k个采样点的第j个观测变量的均值和标准方差，其计算公式为：/>然后将标准化后的二维时间片矩阵X(I×KJ)沿变量方向展开为X(KI×J)，对展开后的每个批次数据采用窗宽为d的滑动窗进行连续采样，得到模型的输入序列x；
2)将步骤1中得到的输入序列x输入到模型中；该模型选用卷积自编码器作为主干网络，由于发酵过程变量数量有限，因此只在编码单元中使用了3个卷积层，在解码单元中使用了3个反卷积层，这样可以避免使用池化层可能会导致重要特征丢失的问题；卷积层中的计算公式为：hi＝σ(∑xi⊙k′i+bi),i＝1,2,3,k′i∈Z，式中，hi是第i个卷积层的输出，xi是第i个卷积层的输入，k′i是第i个卷积层中卷积核的权重，bi是第i个卷积层的偏差，σ是ReLU激活函数；第1个卷积层的输入x1即为模型的输入序列x；反卷积层中的计算公式为：式中，yi是第i个反卷积层的输出，di是第i个反卷积层的输入，/>是卷积层中权重k′i的转置，ai是第i个反卷积层的偏差；第1个反卷积层的输入d1即为编码单元的输出h3；通道卷积注意力(CCA)模块是本发明方法设计的一种注意力机制模块，该模块可以从不同尺度提取输入的非线性特征，准确的捕获输入变量间的非线性关系；将该模块嵌入到卷积自编码器的编码单元和解码单元之间，并将编码单元第1个卷积层的输出h1作为CCA模块的输入；CCA模块包括两个子模块：分割拼接(SPC)模块和卷积式挤压扩充(CSE)模块；在SPC模块中，首先对输入h1(C×H×W)按通道方向进行切分，其中，C是输入h1具有的通道个数、H是输入h1的高度(行数)、W是输入h1的宽度(列数)，[X0,X1,…,XS-1]表示被切分的S个部分，每个部分有/>个通道，通过控制S的取值将C′设置为2，这样可以切分出更多的部分，从更多的尺度提取输入h1的特征；接下来对每个部分使用不同尺寸的卷积核进行卷积操作，以提取不同尺度特征Fi，其生成函数为：Fi＝Conv(1×ki)(Xi),i＝0,1,2,…,S-1，式中，第i个部分Xi(C′×H×W)的卷积核大小ki＝2*(i+1)+1,i＝0,1,2,…,S-1；CSE模块包含两个卷积层、一个最大池化层、一个全局平均池化层和两个全连接层，将通过SPC模块得到的不同尺度特征Fi(C′×H×W)分别输入到CSE模块中：F0通过两个卷积层的公式表达为：D1＝Conv(F0)，D2＝Conv(D1)；之后利用最大池化层，将D2变换成C′×H×1的形式，公式表达为：P0＝Maxpooling(D2)，通过以上操作可以使F0在进行全局平均池化时不会丢失局部特征；然后再通过全局平均池化层，得到F0的初级注意力权重g0，公式表达为：其形状为C′×1×1；最后通过两个全连接层，对g0进行先“挤压”和后“扩充”的操作，即通道维度上的降维和升维，这样可以有效组合各通道之间的特征信息，从而得到F0的注意力权重Z0，用公式表达为：Z0＝σ(W1δ(W0(g0)))，式中/>分别表示在通道维度上的降维和升维的过程，通过控制r的取值将/>设置为1，这样可以充分组合各通道之间的特征信息，δ表示ReLU激活函数，σ表示sigmoid激活函数；按上述步骤依次求出[X0,X1,…,XS-1]这S个部分对应的注意力权重[Z0,Z1,…,ZS-1]后，利用Softmax来重新校准不同尺度特征的注意力权重，实现局部和全局通道注意力的交互，用公式表达为：将重新校准不同尺度特征的注意力权重atti与对应的尺度特征Fi进行特征相乘，从而得到不同尺度的注意力权重特征Yi，用公式表达为：Yi＝Fi⊙atti,i＝0,1,2,,S-1；最后，将不同尺度的注意力权重特征Yi进行拼接，得到CCA模块的输出Out，用公式表达为：Out＝Cat([Y0,Y1,…,YS-1])，式中，Cat表示在通道维度上的拼接；将CCA模块的输出Out与卷积自编码器的倒数第二个反卷积层的输出y2进行特征融合，一起作为最后一个反卷积层的输入d3，由此得到ACAE的输出y；
3)利用重构误差e来求取原始样本和重构样本之间的重构差异，重构误差的表达式为：e＝x-y，其中，x表示ACAE的输入，y表示ACAE的输出；利用重构误差e定义平方预测误差(SPE)统计量，公式表示为：其中，d是滑动窗的窗宽；
4)采用核密度估计的方法计算历史正常样本的SPE统计量的概率密度函数，设置置信水平为99％，将概率密度函数转换为累积分布函数(CDF)，然后找到对应置信水平的分位数，从而得到SPE统计量的控制限；该控制限作为故障监测的基准线，当故障样本的SPE统计量超过该控制限则认为有故障发生，需要对故障作进一步的处理；若低于该控制限，则认为无故障发生；核密度估计的公式为：其中，fk(x)为概率密度函数；xi为第i个样本；K为核函数，选用的核函数是高斯核函数；h为带宽参数；n为观测样本数目；
B.在线监测：
5)对新批次的数据进行采样，得到第k个采样点的样本数据用离线建模中的均值和标准方差对其进行标准化处理，得到/>式中，/>为标准化后第k个采样点的数据，/>为标准化后第k个采样点的第j个观测变量的值；标准化的公式为：式中，/>为第k个采样点的第j个观测变量对应的原始样本在批次方向上的均值，sk,j第k个采样点的第j个观测变量对应的原始样本在批次方向上的标准方差；然后与之前d个时刻的样本组合得到模型的输入序列；/>最后将/>输入到ACAE中得到模型的输出；
6)计算原始样本和重构样本之间的重构误差e：根据重构误差e去计算的监控统计量SPEk，计算公式为：/>
7)将在步骤6中得到的第k个采样点的监控统计量SPEk与在离线建模中利用核密度估计方法计算历史正常样本得到的控制限进行比较，如果超过控制限则认为发生故障，需对故障作进一步处理；如果没有超过控制限，则认为正常，无故障发生。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310309451.2A CN116702580A (zh) | 2023-03-26 | 2023-03-26 | 一种基于注意力卷积自编码器的发酵过程故障监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310309451.2A CN116702580A (zh) | 2023-03-26 | 2023-03-26 | 一种基于注意力卷积自编码器的发酵过程故障监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116702580A true CN116702580A (zh) | 2023-09-05 |
Family
ID=87838094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310309451.2A Pending CN116702580A (zh) | 2023-03-26 | 2023-03-26 | 一种基于注意力卷积自编码器的发酵过程故障监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116702580A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117169804A (zh) * | 2023-11-02 | 2023-12-05 | 华中科技大学 | 基于合电流矢量分析的电流互感器误差状态在线辨识方法 |
-
2023
- 2023-03-26 CN CN202310309451.2A patent/CN116702580A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117169804A (zh) * | 2023-11-02 | 2023-12-05 | 华中科技大学 | 基于合电流矢量分析的电流互感器误差状态在线辨识方法 |
| CN117169804B (zh) * | 2023-11-02 | 2024-01-12 | 华中科技大学 | 基于合电流矢量分析的电流互感器误差状态在线辨识方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929765B (zh) | 一种基于批次图像化的卷积自编码故障监测方法 | |
| CN111460728B (zh) | 一种工业设备剩余寿命预测方法、装置、存储介质及设备 | |
| CN102707256B (zh) | 基于BP-AdaBoost神经网络的电子式电能表故障诊断方法 | |
| CN107368809A (zh) | 一种基于稀疏表示和字典学习的轴承故障分类方法 | |
| CN110647911A (zh) | 一种基于主成分分析和深度信念网络的轴承故障诊断方法 | |
| CN109740687B (zh) | 一种基于dlae的发酵过程故障监测方法 | |
| CN109828552B (zh) | 一种基于宽度学习系统的间歇过程故障监测与诊断方法 | |
| CN109472097B (zh) | 一种输电线路在线监测设备故障诊断方法 | |
| CN112214006A (zh) | 考虑两维动态特性的间歇过程故障检测方法及系统 | |
| CN113504768B (zh) | 面向装配质量预测的高精密产品数字孪生可计算性方法 | |
| CN116702580A (zh) | 一种基于注意力卷积自编码器的发酵过程故障监测方法 | |
| CN111324110A (zh) | 一种基于多块收缩自动编码器的发酵过程故障监测方法 | |
| CN114897138A (zh) | 基于注意力机制和深度残差网络的系统故障诊断方法 | |
| CN117435992A (zh) | 一种用于盾构机液压推进系统的故障预测方法及系统 | |
| CN116431966A (zh) | 一种增量式特征解耦自编码器的堆芯温度异常检测方法 | |
| CN111079857B (zh) | 一种基于过完备宽度学习模型的污水处理过程故障监测方法 | |
| CN116071352A (zh) | 一种电力安全工器具表面缺陷图像的生成方法 | |
| CN115981280A (zh) | 一种基于深度学习的复杂装备故障诊断系统 | |
| CN108491878B (zh) | 一种基于多个误差生成模型的故障分类诊断方法 | |
| CN108572639B (zh) | 一种基于主成分自相关性剔除的动态过程监测方法 | |
| CN110554667A (zh) | 基于卷积神经网络(cnn)的间歇工业过程故障诊断 | |
| CN113159088A (zh) | 一种基于多特征融合和宽度学习的故障监测与诊断方法 | |
| CN113779773B (zh) | 一种基于慢特征分析的过完备宽度学习系统的发酵过程监测方法 | |
| CN115638965A (zh) | 一种基于一维注意力机制和卷积神经网络的旋转机械故障诊断方法 | |
| CN115578325A (zh) | 一种基于通道注意配准网络的图像异常检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |