CN117193184A - Vae与深度神经网络混合的智能制造工厂过程质量监控方法 - Google Patents
Vae与深度神经网络混合的智能制造工厂过程质量监控方法 Download PDFInfo
- Publication number
- CN117193184A CN117193184A CN202311106229.9A CN202311106229A CN117193184A CN 117193184 A CN117193184 A CN 117193184A CN 202311106229 A CN202311106229 A CN 202311106229A CN 117193184 A CN117193184 A CN 117193184A
- Authority
- CN
- China
- Prior art keywords
- manufacturing process
- variable
- data
- vae
- lstm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 202
- 238000000034 method Methods 0.000 title claims abstract description 165
- 230000008569 process Effects 0.000 title claims abstract description 123
- 238000012544 monitoring process Methods 0.000 title claims abstract description 107
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 14
- 238000009826 distribution Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims description 45
- 238000004364 calculation method Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 17
- 238000004088 simulation Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 4
- 238000013507 mapping Methods 0.000 abstract description 4
- 230000007787 long-term memory Effects 0.000 abstract description 2
- 230000006403 short-term memory Effects 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 21
- 238000007476 Maximum Likelihood Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
为了解决传统分布式过程质量监控方法往往会忽略或抑制一些故障信息导致无法识别生产系统中的早期故障和局部故障的技术问题，本发明提供了一种VAE与深度神经网络混合的智能制造工厂过程质量监控方法。本发明将预处理后的数据划分为多个子单元从而构建分布式制造过程，将原来复杂的制造场景划分为多个数据维度较小的制造单元对其进行分布式监控，然后，本发明通过非线性映射建立VAE‑LSTM过程监控网络提取复杂制造系统数据分布的特征，通过长短期记忆深度神经网络(LSTM)改进VAE网络模型，以处理实际工厂过程中的各个操作单元之间的时序性数据，能够准确的定位故障发生的具体子单元并精确识别故障位置，进而实现对智能制造工厂过程的各个阶段的质量监控。
Description
技术领域
本发明属于工业智能制造分布式过程监控技术领域，具体涉及一种VAE与深度神经网络混合的智能制造工厂过程质量监控方法。
背景技术
在现代工业生产过程中，尤其是在智能化、大规模、多单元的生产过程中，实施实时的过程监控方法能够及时发现故障，减少对工业仪器的损伤，同时有效提高生产效率。
传统监测方法，包括多变量统计方法、动态建模的质量监控方法，无法解释生产过程中单元间的状态和关联关系，普遍存在检测准确率低和检测效率低等问题。分布式过程质量监控通过将整个生产流程划分为多个子单元，能够降低质量监控的复杂度，然后通过监控各个子单元的状态，进而分析生产流程中是否发生故障。因此，在智能化、大规模、多单元的生产过程中采用分布式过程质量监控变得尤为重要。
然而，对复杂工业制造系统进行过程监控时，传统基于深度学习的分布式过程监控方法为整体过程建立全局监控但忽略系统中的局部特征，也有针对局部单元分别建立监视器但忽略了单元之间的时序相关性，由于监控方法忽略或抑制了一些故障信息，从而无法识别生产系统中的早期故障和局部故障。
发明内容
为了解决传统分布式过程质量监控方法往往会忽略或抑制一些故障信息导致无法识别生产系统中的早期故障和局部故障的技术问题，本发明提供了一种VAE与深度神经网络混合的智能制造工厂过程质量监控方法。
本发明的技术解决方案是：
VAE与深度神经网络混合的智能制造工厂过程质量监控方法，其特殊之处在于，包括以下步骤：
步骤1：搭建智能制造工厂的制造系统仿真模型并收集制造过程的仿真数据，包括一一对应的制造过程变量和质量观测变量，并向制造过程变量中引入s种故障类型作为数据标签将制造过程变量划分为正常生产数据和带有故障的生产数据，利用所述正常生产数据和与其对应的质量观测变量集合构建训练集，利用所述带有故障的生产数据和与其对应的质量观测变量集合构建测试集；
步骤2：对所述训练集和测试集中的数据进行预处理，删除非数字字符后进行标准化；
步骤3：将预处理后的训练集和测试集均划分为多个子单元；
步骤4：搭建VAE-LSTM过程监控网络模型并进行训练；
步骤5：分布式过程质量监控；
步骤5.1将实际生产中采集的制造过程数据预处理后划分为多个制造过程变量子单元和与其对应的质量监测变量子单元，并输入步骤4训练好的VAE-LSTM过程监控网络模型中，VAE-LSTM过程监控网络模型输出lnp(xi|LV)和lnp(yi|LV)；p(xi|LV)和lnp(yi|LV)为每个潜在变量LV的样本分别关于xi和yi的后验分布；xi为各子单元中制造过程变量，yi为与xi对应的质量监测变量；
步骤5.2将所述输出lnp(xi|LV)与相应的制造过程变量子单元中各制造过程变量的预设阈值比较，
如果输出lnp(xi|LV)大于某个制造过程变量的预设阈值，表示该制造过程变量对应的制造工序发生故障，且根据该制造过程变量所属制造过程子单元和其数据标签定位到故障所属制造过程变量子单元以及故障类型，实现分布式过程质量监控。
进一步地，步骤1中利用MATLAB搭建智能制造工厂的制造系统仿真模型。
进一步地，步骤3中将预处理后的训练集划分为多个子单元的方法是：
步骤3.1：计算预处理后的训练集中的制造过程变量数据集的相关系数矩阵；
步骤3.2：将预处理后的训练集中每个制造过程变量和与其最大相关系数的制造过程变量连接起来，形成原始制造过程变量关系网络；
步骤3.3：计算当前制造过程变量关系网络中每条边的边介数；
步骤3.4：判断当前制造过程变量关系网络中是否存在唯一最大边介数，若是，进入步骤3.5；若否，进入步骤3.7；
步骤3.5：找出边介数最大的边并将其移除，得到删除最大边缘后的制造过程变量关系网络；
步骤3.6：将步骤3.5得到的删除最大边缘后的制造过程变量关系网络中的制造过程变量集合作为一个子单元，并计算当前制造过程变量关系网络的模块度，若当前值大于上一次迭代时的值，表示当前得到的子单元符合要求，将当前值存储，返回步骤3.3；若当前值小于等于上一次迭代时的值，表示当前得到的子单元不符合要求，将其舍弃不用，返回步骤3.3；
模块度的计算公式如下：
其中，i代表子单元的序号；ei表示第i个子单元对应的制造过程变量关系网络中非公共点形成的边数占原始制造过程变量关系网络的边数的比例；ai表示第i个子单元对应的制造过程变量关系网络的总边数占原始制造过程变量关系网络总边数的比例；
步骤3.7：划分流程结束，最终得到多个制造过程变量子单元X1,X2,...,Xn；相应的，根据划分得到的制造过程变量子单元X1,X2,...,Xn中各制造过程变量与质量观测变量的对应关系，能够得到多个质量观测变量子单元Y1,Y2,...,Yn；
步骤3中将预处理后的测试集划分为多个子单元的方法与训练集相同。
进一步地，步骤4中所述的VAE-LSTM过程监控网络模型包括LSTM编码器、X-解码器、Y-解码器、潜在变量计算模块、后验分布计算模块和激活函数模块；
LSTM编码器获取输入数据(Xi,Yi)的分布规律，同时向所述潜在变量计算模块中输入噪声ε(s)，然后潜在变量计算模块根据接收到的数据计算得到潜在变量LV，接着LSTM编码器根据其获取的数据分布规律对所述潜在变量LV进行采样并将采样结果LV(s)输入相应的X-解码器和Y-解码器中，X-解码器和Y-解码器对接收到的潜在变量采样数据进行解码得到采样数据的均值f和g并输入给所述后验分布计算模块，同时向所述后验分布计算模块中输入基于噪声因子生成的影响制造过程变量的观测值ei和影响质量变量的观测值ti的标准差∑e和∑t，后验分布计算模块根据采样数据的均值f和g以及噪声因子的标准差∑e和∑t进行运算，得到后验分布p(x|LV)＝N(f(LV),∑e)和p(y|LV)＝N(g(LV),∑t)，将该后验分布输入至所述激活函数模块中，最终激活函数模块的输出即为所述VAE-LSTM过程监控网络模型的输出。
进一步地，步骤4中采用期望最大算法、变分下界、局部高斯定理、sigmoid激活函数对VAE-LSTM过程监控网络模型进行优化，直到达到最大训练迭代次数后，获得VAE-LSTM过程监控网络模型的网络参数最优集合以及训练好的VAE-LSTM过程监控网络模型。
计算机可读存储介质，其上存储有计算机程序；其特殊之处在于：所述计算机程序被运行时用于执行上述的智能制造工厂过程质量监控方法。
电子设备，包括处理器、存储器和计算机程序；其特征在于：所述计算机程序被所述处理器运行时用于执行上述的智能制造工厂过程质量监控方法。
本发明的有益效果是：
1.由于只能制造工厂的数据形式复杂，无法简单通过一个变量来监控产品的质量情况，因此本发明将预处理后的数据划分为多个子单元从而构建分布式制造过程，将原来复杂的制造场景划分为多个数据维度较小的制造单元对其进行分布式监控，然后，本发明通过非线性映射建立VAE-LSTM过程监控网络提取复杂制造系统数据分布的特征，通过长短期记忆深度神经网络(LSTM)改进VAE网络模型，以处理实际工厂过程中的各个操作单元之间的时序性数据，能够准确的定位故障发生的具体子单元并精确识别故障位置，进而实现对智能制造工厂过程的各个阶段的质量监控，且及时发现故障信息能够降低集中式过程监控方法带来的通信成本和风险。此外通过表2中案例实验最终结果对比本发明较VAE-DNN、PCA以及KPCA方法具有更高的故障检测率和更低的故障误报率。且从表2中分析可以得到本发明对于一些故障类型故障检测率最高可达100％，且故障误报率最低可达0％。
2.本发明中的概率生成模型在数据预处理结束后，首先将制造变量划分为过程变量和质量变量，将除此之外的变量定义为其他变量，并在模型中引入噪声因子来考虑过程中的一些影响，最终采用非线性映射来建立概率生成模型。通过对其余变量和噪声因素的分析能够使得VAE-LSTM过程监控网络更加准确符合实际。
3.本发明中的VAE-LSTM过程监控网络还可以用于监测其他类型的数据，如：图像、声音等，应用范围广。
4.为了优化VAE-LSTM过程监控网络的监控过程，使其对数似然估计最大，本发明利用期望最大(EM)算法来计算使其最大化，并采用变分下界来计算最大似然估计从而使VAE-LSTM过程监控网络达到最优情况，同时改进算法，引入KL散度给出本发明的损失函数，在非线性制造系统中能够使VAE-LSTM过程监控网络更加优化。
5.考虑非线性过程中期望难以确定的情况，本发明给出了模型的采样计算方式。此外，利用LSTM模型提取特征的基础上，公式化生成分布从而具体的表示每个过程。最终VAE-LSTM过程监控网络的搭建中，所呈现的模型框架也有不同。进而表现出本发明的VAE-LSTM过程监控网络能够适应更加复杂的智能制造生产过程。
6.本发明通过融合各个子单元中的数据信息，并结合两个统计量来检测故障信息，根据对应计算出的阈值能够定量判断VAE-LSTM过程监控网络检测出故障的水平。
附图说明
图1是TE过程分布式子单元划分示意图。
图2是分布式子单元划分算法的流程图。
图3是分布式子单元的划分结果。
图4是VAE-LSTM过程监控网络的结构图。
图5是分布式过程质量监控流程图。
图6是分布式过程质量监控结果图示例1。
图7是分布式过程质量监控结果图示例2。
具体实施方式
以下结合附图和具体实施例对本发明的内容作进一步的详细描述。
本发明所提出的VAE与深度神经网络混合的智能制造工厂过程质量监控方法，包括以下步骤：
步骤1：数据收集；
本实施例以图1所示的TEP(Tennessee Eastman Process，田纳西州伊士曼过程)工业制造过程为例，通过对TEP制造系统进行仿真收集数据，即在利用MATLAB搭建TEP制造系统的仿真模型后，利用MATLAB中的仿真工具箱Simulink配置环境设置参数(至少包括采样周期、采样长度、输出格式、运行时长、扰动因子)后运行，进行TEP制造系统仿真并收集制造过程的数据，包括与产品生产过程相关的制造过程变量和与制造过程变量一一对应的且与产品生产质量相关的质量观测变量，然后引入已知的21种故障类型(根据故障类型的历史数据得到)对所收集的仿真数据中的制造过程变量进行标记后划分，最终得到正常生产数据集和带有故障生产数据集，利用正常生产数据集和与其对应的质量观测变量集合构建训练集(大小为480*52)，利用带有故障生产数据集和与其对应的质量观测变量集合构建测试集(大小为960*52)。
假设TEP的制造过程变量为xi∈Rm，i＝1,2,...,N；Rm为制造过程变量集合；N表示Rm中含有的过程变量数量。当模型输入为训练集时，Rm代表训练集中的制造过程变量集合，xi代表训练集中的制造过程变量；当模型输入为测试集时，Rm代表测试集中的制造过程变量集合，xi代表测试集中的制造过程变量。
假设TEP的质量观测变量为yi∈Rp，i＝1,2,...,N；Rp为制造过程变量集合；N表示Rm中含有的质量观测变量数量。当模型输入为训练集时，Rp代表训练集中的质量观测变量集合，yi代表训练集中的质量观测变量；当模型输入为测试集时，Rp代表测试集中的质量观测变量集合，xi代表测试集中的质量观测变量。步骤2：分别对训练集和测试集中的数据进行预处理；
步骤2.1：判断训练集和测试集中是否存在特殊字符和停用字符等非数字字符(如英文字母、//、*、标点符号等)，若有，则删除特殊字符和停用字符等非数字字符；
步骤2.2：分别对训练集和测试集中的数据按照下式进行标准化处理，保证输入模型中数据维度的统一性，防止本发明后续搭建的VAE-LSTM过程监控网络模型出现过拟合和峰值现象。数据标准化公式如下：
其中，Xnor表示数据标准化之后的结果；X表示原始仿真数据集中的变量数据；Xmean表示原始仿真数据集中数据的均值、Xstd表示原始仿真数据集中数据的标准差；原始仿真数据集为步骤1得到的训练集或测试集。
步骤3：将经步骤2预处理之后得到的训练集和测试集均划分为多个子单元；
将训练集和测试集划分为多个子单元的方法流程相同，如图2所示，以下以训练集的划分方法为例进行说明，具体步骤如下：
步骤3.1：计算预处理之后得到的训练集中的相关系数矩阵；
步骤3.2：将预处理之后的训练集中的每个制造过程变量与其最大相关系数的制造过程变量连接起来，形成原始制造过程变量关系网络；
步骤3.3：计算当前制造过程变量关系网络中每条边的边介数，由于在同一个制造过程变量关系网络中总最短路径数目是一定的，因此只需要计算通过每条边的最短路径的数目；
步骤3.4：判断当前制造过程变量关系网络中是否存在唯一最大边介数，若是，进入步骤3.5；若否，进入步骤3.7；
步骤3.5：找出边介数最大的边，并将其移除，得到删除最大边缘后的制造过程变量关系网络；
步骤3.6：将步骤3.5得到的删除最大边缘后的制造过程变量关系网络中的制造过程变量集合作为一个子单元，并计算当前制造过程变量关系网络的模块度，若当前值大于上一次迭代时的值(首次迭代时为初始值0)，表示当前得到的子单元符合要求，将当前值存储，返回步骤3.3；若当前值小于等于上一次迭代时的值，表示当前得到的子单元不符合要求，将其舍弃不用，返回步骤3.3；
模块度的计算公式如下：
其中，i代表子单元的序号；ei表示第i个子单元对应的制造过程变量关系网络中非公共点形成的边数占原始制造过程变量关系网络的边数的比例；ai表示第i个子单元对应的制造过程变量关系网络的总边数占原始制造过程变量关系网络总边数的比例。
步骤3.7：划分流程结束，最终得到多个制造过程变量子单元X1,X2,...,Xn，也即将训练集中的制造过程变量集合Rm划分为多个子集合R1 m,R2 m,...,Rn m。
相应的，根据划分得到的制造过程变量子单元X1,X2,...,Xn中各制造过程变量与质量观测变量的对应关系，能够得到多个质量观测变量子单元Y1,Y2,...,Yn，也即将训练集中的质量观测变量集合Rp划分为多个子集合R1 p,R2 p,...,Rn p。
图3和表1给出了本实施例最终的子单元划分结果，没有交集的两个子单元之间实线连接的变量标签表示其在这两个子单元间都存在。
表1.子单元划分结果示例.
步骤4：搭建并训练用于对步骤3划分得到的各制造过程变量子单元进行监控的VAE-LSTM过程监控网络模型；
步骤4.1：搭建的VAE-LSTM过程监控网络模型如图4所示，包括LSTM编码器、X-解码器、Y-解码器、潜在变量计算模块、后验分布计算模块和激活函数模块。
(Xi,Yi)输入VAE-LSTM过程监控网络模型中后，首先通过LSTM编码器获取输入数据(Xi,Yi)的分布规律，同时向潜在变量计算模块中输入噪声ε(s)，然后潜在变量计算模块根据接收到的数据计算得到潜在变量LV，接着LSTM编码器根据其获取的数据分布规律对潜在变量进行采样并将采样结果LV(s)输入相应的X-解码器和Y-解码器中，X-解码器和Y-解码器对接收到的潜在变量采样数据进行解码得到采样数据的均值f和g并输入给后验分布计算模块，同时向后验分布计算模块中输入基于噪声因子生成的影响制造过程变量的观测值ei和影响质量变量的观测值ti的标准差∑e和∑t，后验分布计算模块根据采样数据的均值f和g以及噪声因子的标准差∑e和∑t进行运算，得到后验分布p(x|LV)＝N(f(LV),∑e)和p(y|LV)＝N(g(LV),∑t)，将该后验分布输入至激活函数模块中，最终激活函数模块的输出即为本发明VAE-LSTM过程监控网络模型的输出。
其中：
潜在变量LV是指在分布式过程质量监控流程中对产品质量的故障产生独立影响的因素，s是LSTM编码器对潜在变量的采样次数，s＝1,2,...,S，S是最大采样次数，LV(s)是第s次采样的潜在变量。潜在变量LV(s)由噪声ε(s)和均值μ决定，ε(s)服从单位高斯分布p(ε)＝N(0,1)。
解码器和编码器的结构类似，对于X-解码器LSTM，当LSTM的输入为LV时，输出f(LV)是一个均值常数，与之对应的Y-解码器LSTM的输出为g(LV)。LSTM网络通过其网络结构来表述分布式过程数据，考虑采样过程期望难以确定的情况，本发明的采样过程近似为：
其中，S是LSTM编码器对潜在变量的采样总数量。
X-解码器LSTM和Y-解码器LSTM分别表示为：
X＝f(LV)+e+z
Y＝g(LV)+t
式中，f(LV)表示Rn→Rm，即描述如何根据潜在变量集合LV到制造过程变量集合的非线性映射函数；g(LV)表示Rn→Rp，用来描述如何根据潜在变量集合LV生成质量观测值的非线性函数；将对质量和制造过程均无实质性影响的变量(例如在上一步最终划分得到的子单元中都不存在的标签为32和36制造过程变量)构造为Zj，z为对质量和制造过程均无实际影响的变量集合Zj中的数据；e为影响制造过程相关变量的噪声因子且服从零均值高斯分布，即e～N(0,∑e)。同时为了考虑影响质量变量的观测值本发明引入噪声因子t进行表示，这些噪声包含操作变化、过程波动还有一些流程中的反馈活动等。
步骤4.2：定义步骤4.1构建的VAE-LSTM过程监控网络模型的参数：
子单元长度val_num，由步骤3中划分的子单元数量确定；
制造过程变量数据最大长度Length：960(数据集维度最大值)；
模型优化函数optim.Adam(model.parameters(),lr＝learning_rate)；
激活函数，本发明选择ln(1+ex)作为sigmoid激活函数；
损失函数采用KL，其表示KL(Kullback-Leibler)散度用来衡量相对于某个随机测量值对于随机向量的分布之间的相似性；
网络线性层中的数据长度256；
迭代次数2000；
其中，网络线性层中的数据长度和迭代次数根据训练过程中模型的最佳收敛点确定。
步骤4.3：将步骤3处理好的子单元过程变量X1,X2,...,Xn以及质量观测变量Y1,Y2,...,Yn依次输入步骤4.1构建好的VAE-LSTM过程监控网络模型中进行训练和测试，获取VAE-LSTM过程监控网络模型的交叉熵、最大似然估计以及损失函数的最佳参数值，并且能够解决数据缺失问题同时分析复杂数据之间的相关性。
步骤4.4：重复步骤4.3并采用期望最大算法(EM算法)、变分下界、局部高斯定理、sigmoid激活函数对VAE-LSTM过程监控网络模型进行优化，直到达到最大训练迭代次数后，获得VAE-LSTM过程监控网络模型的网络参数最优集合以及训练好的VAE-LSTM过程监控网络模型。
具体过程如下：
步骤4.4.1：优化VAE-LSTM过程监控网络模型，以使其对数似然率最大；
假设制造过程变量子单元Xi，质量观测变量子单元Yi均是潜在变量集合LV的标准正态分布，即p(LV)＝N(0,1)。那么根据标准连续型模型，假设每一对输入(xi,yi)独立且均匀分布，可以采用SN(X,Y)来表示对数似然，并利用期望最大(EM)算法来最大化SN(X,Y)的对数似然率；
对数似然SN(X,Y)的表达式如下：
根据最大似然估计的计算过程，由于边际分布p(xi,yi)的复杂性，通常很难直接最大化SN(xi,yi)，相反变分下界LSN(xi,yi)更容易进行最大化估计，其中：LSN(xi,yi)≤SN(xi,yi)，但是制造过程变量子单元Xi与质量观测变量子单元Yi是相互独立于潜在变量集合LV的，因此可以在期望最大算法的基础上采用最大变分下界进行最大似然率计算，可得下式：
其中，Eq(LV)是边际分布p(xi,yi)的期望，KL(Kullback-Leibler)散度用来衡量相对于某个随机测量值对于随机向量的随机分布q和边际分布p(xi,yi)之间的相似性。VAE-LSTM过程监控网络模型在EM算法的E步的最后一次训练迭代中获得用于计算解码器输出数据的后验分布p(LV|xi,yi)，然后最大化LSN(xi,yi)并在EM算法的M步计算过程中更新变分下界参数，以实现SN(xi,yi)最大化，最后循环执行EM算法直到对数似然SN(X,Y)的估计参数收敛。
步骤4.4.2：生成LSTM编码器所采集的每个潜在变量关于(x,y)的后验分布；
本发明建立的VAE-LSTM过程监控网络模型为一种概率生成模型，在决非线性系统中存在生成公式难拟合的问题，同样的，潜在变量样本关于(x,y)的后验分布p(LV|x,y)也没有具体的解析形式，因此，本发明采用局部高斯定理来获取潜在变量样本的后验分布。
局部高斯定理公式如下：
p(LV|x,y)＝N(μ(x,y),Λ(x,y))
其中，μ为均值；Λ(x,y)为协方差矩阵，可以限制协方差矩阵对角线来表示LV的正交性；
利用上述的局部高斯定理的公式，即可得到每个潜在变量样本分别关于x和y的后验分布：
p(x|LV)＝N(f,∑e)
p(y|LV)＝N(g,∑t)。
步骤4.4.3：将步骤4.4.2得到的后验分布输入VAE-LSTM过程监控网络模型的激活函数模块中进行计算，当迭代次数达到设定值时，将激活函数模块得到的计算值作为整个模型的输出；
本发明选择ln(1+ex)作为sigmoid激活函数，将后验分布输入至sigmoid激活函数中，判断模型迭代次数是否达到步骤4.2设定的迭代次数，如果未达到则返回步骤4.4.1继续训练，同时根据输出的损失函数判断模型训练过程是否逐渐收敛；若迭代次数已达到步骤4.2设定的迭代次数，则模型训练结束，此时sigmoid激活函数的输出lnp(xi|LV)和lnp(yi|LV)作为VAE-LSTM过程监控网络模的输出。
步骤5：分布式过程质量监控；
步骤5.1将实际生产中采集制造过程数据预处理后采用步骤2相同的方法进行预处理及采样步骤3的方法划分为多个制造过程变量子单元后，和与其对应的质量观测变量子单元，并一起输入到步骤4训练完成的VAE-LSTM过程监控网络模型中，模型最终输出lnp(xi|LV)和lnp(yi|LV)。
步骤5.2将VAE-LSTM过程监控网络模型的输出lnp(xi|LV)与其相应的制造过程变量子单元中相应的制造过程变量的预设阈值相比较，如果lnp(xi|LV)大于某个制造过程变量的预设阈值，则表示该制造过程变量对应的制造工序发生了故障，并且由于制造过程变量与故障类型存在关联(在步骤1引入了故障类型对仿真数据进行了标记)，所以还能够定位该制造工序发生的故障类型，从而实现分布式过程质量监控。
作为优选，还可以在上述故障判断和定位的基础上，将输出lnp(yi|LV)分别与相应的质量观测变量子单元中各质量观测变量的预设阈值相比较，如果lnp(yi|LV)大于某个质量观测变量的预设阈值，则表示该质量观测变量对应的制造过程变量所对应的制造阶段发生了故障。此时，通过输出lnp(xi|LV)和lnp(yi|LV)分别与相应的预设阈值相比较，只要二者之一大于预设阈值便可判断故障并定位故障类型，提高了故障监测的可靠性和稳定性，降低了故障漏检的概率。
本发明VAE-LSTM过程监控网络模型的性能验证：
步骤1：在分布式过程质量监控的基础上，设计分布式故障监视器，以定量检测本发明的故障检测水平；
本发明结合PCA监控过程中的两个指标T2和SPE来定量分析分布式过程中变量的故障情况。其中统计量T2用以衡量样本向量在主元空间的变化(即T2用来监控正常制造过程情况)，SPE指标用来衡量样本向量在残差空间的投影变化(即SPE用来检测故障发生情况)，将统计量T2与比较，将SPE与/>比较，若最终结果之一超过统计控制限/>则判定在制造过程中存在故障。图5给出了具体的分布式过程监视器设计流程，详细阐述如下：
步骤1.1：收集TEP制造过程变量的本地历史数据p构建正常历史数据集，根据均值和方差对该正常历史数据集中的数据进行标准归一化；
步骤1.2：将步骤1.1预处理后的数据集按照步骤3中的划分方法划分至多个子单元中，然后根据子单元之间的关系，计算本地历史数据p中概率模型生成的潜在变量的数目N；
步骤1.3：计算步骤1.2中已划分好的各个子单元变量数据输入至模VAE-LSTM模型中，并利用VAE-LSTM过程监控网络模型中训练的数据计算子单元变量数据的权重矩阵P和方差矩阵Vp；
步骤1.4：确定统计量T2、SPE及其控制限
根据下述公式构建步骤1.3中计算得到的各个子单元变量数据的统计量T2、SPE，其中T2可以监控VAE-LSTM过程监控网络模型的输出lnp(xi|LV)和lnp(yi|LV)在潜在空间中的变化，SPE能够监控lnp(xi|LV)和lnp(yi|LV)在剩余空间的变化；所述潜在空间是指生成概率分布过程中的潜在变量所产生的空间；剩余空间是指主元空间除去潜在空间后所得的空间；SPE指标可以监控正常区域，从而通过统计量T2和SPE指标互补，实现检测故障发生的区域和正常区域的同时监控最终基于此能够计算出故障检测率和故障误报率。
其中，Λ为对角矩阵，Λ＝diag{λ1,λ2,...,λA}；V是监控数据的特征向量矩阵；P为特征向量矩阵V的前A列；分别表示置信度为α的控制限；
控制限常用以下计算方法：
其中，是带有A和n-A个自由度、置信度α的分布值； 这里的控制限/>也可以分别作为前述步骤5.2中制造过程变量的预设阈值和质量观测变量的预设阈值的参考。
步骤1.5：根据步骤1.4中确定好的统计量T2、SPE的控制限，并比对各个子单元变量的T2、SPE统计量情况，由于统计量T2在计算时会向故障空间作残差投影，因此对于故障的检测相对于SPE更加敏感，因此通常情况仅用统计量T2与控制限比较即可判断故障，具体的，当子单元变量的统计量T2存在超出控制限的情况即表示该制造过程已发生故障。在此基础上，作为进一步优化，还可以用SPE统计量与控制限比较进行故障判断，提高可靠性。在本发明中潜在变量的分布均服从标准高斯分布，其所有的数据转化都是线性过程，因此各个子单元变量的统计量T2的控制限均可由具有1个自由度的χ2(卡方分布)确定；
步骤1.6：将采集的各个子单元的数据输入VAE-LSTM过程监控网络模型时，每输入一组数据后便重复一次步骤1.1～1.5，即可实现分布式故障监视器的设计。
步骤2：设计故障检测率(Fault Detection Rate FDR)和误报率(False AlarmRate，)来衡量VAE-LSTM过程监控网络模型的性能，其中表示检测指标超出控制范围的样品与总样品的比率，表示错误报警数据与正常数据总数之比，具体描述如下：
本发明给出两种故障检测示意图可见图6、图7。本发明对已知类型的15种故障进行检测分析，由于故障3、故障9以及故障15故障量级较小，在检测过程中对于统计量T2不够敏感，因此本发明针对其余12种已知类型的故障进行分布式过程检测。我们发现引入故障1的制造过程质量是可以恢复的，即在该类故障发生时，当产品质量波动一段时间后，最后会回归正常，这类故障包括故障1，故障5以及故障7，因此采用分布式检测能够检测出集中检测过程中难以发现的故障。图6中显示的是随机故障类型，从中可以看出本发明可以及时准确发现故障，并且针对故障类型能够获取其对应的特征。图7是对阶跃类故障进行过程监控得到的结果能够，同样该类故障也能及时被监测出来，并且模型能够输出各类故障的状态。根据表2TE过程中故障检测最终结果对比发现，本发明提出的VAE-LSTM过程监控网络较传统PCA以及KPCA方法的故障检测率有了大幅度提高，并且较VAE-DNN方法的故障检测准确性也有一定提升。本发明最终的故障误报率也有很大程度降低，由表2对比可以得到本发明在分布式过程监控中对于故障的误报率也是最低的。
表2.TEP过程中故障检测结果(％)
/>
Claims (7)
1.VAE与深度神经网络混合的智能制造工厂过程质量监控方法，其特征在于，包括以下步骤：
步骤1：搭建智能制造工厂的制造系统仿真模型并收集制造过程的仿真数据，包括一一对应的制造过程变量和质量观测变量，并向制造过程变量中引入s种故障类型作为数据标签将制造过程变量划分为正常生产数据和带有故障的生产数据，利用所述正常生产数据和与其对应的质量观测变量集合构建训练集，利用所述带有故障的生产数据和与其对应的质量观测变量集合构建测试集；
步骤2：对所述训练集和测试集中的数据进行预处理，删除非数字字符后进行标准化；
步骤3：将预处理后的训练集和测试集均划分为多个子单元；
步骤4：搭建VAE-LSTM过程监控网络模型并进行训练；
步骤5：分布式过程质量监控；
步骤5.1将实际生产中采集的制造过程数据预处理后划分为多个制造过程变量子单元和与其对应的质量监测变量子单元，并输入步骤4训练好的VAE-LSTM过程监控网络模型中，VAE-LSTM过程监控网络模型输出lnp(xi|LV)和lnp(yi|LV)；p(xi|LV)和lnp(yi|LV)为每个潜在变量LV的样本分别关于xi和yi的后验分布；xi为各子单元中制造过程变量，yi为与xi对应的质量监测变量；
步骤5.2将所述输出lnp(xi|LV)与相应的制造过程变量子单元中各制造过程变量的预设阈值比较，
如果输出lnp(xi|LV)大于某个制造过程变量的预设阈值，表示该制造过程变量对应的制造工序发生故障，且根据该制造过程变量所属制造过程子单元和其数据标签定位到故障所属制造过程变量子单元以及故障类型，实现分布式过程质量监控。
2.根据权利要求1所述的VAE与深度神经网络混合的智能制造工厂过程质量监控方法，其特征在于：步骤1中利用MATLAB搭建智能制造工厂的制造系统仿真模型。
3.根据权利要求1所述的VAE与深度神经网络混合的智能制造工厂过程质量监控方法，其特征在于：步骤3中将预处理后的训练集划分为多个子单元的方法是：
步骤3.1：计算预处理后的训练集中的制造过程变量数据集的相关系数矩阵；
步骤3.2：将预处理后的训练集中每个制造过程变量和与其最大相关系数的制造过程变量连接起来，形成原始制造过程变量关系网络；
步骤3.3：计算当前制造过程变量关系网络中每条边的边介数；
步骤3.4：判断当前制造过程变量关系网络中是否存在唯一最大边介数，若是，进入步骤3.5；若否，进入步骤3.7；
步骤3.5：找出边介数最大的边并将其移除，得到删除最大边缘后的制造过程变量关系网络；
步骤3.6：将步骤3.5得到的删除最大边缘后的制造过程变量关系网络中的制造过程变量集合作为一个子单元，并计算当前制造过程变量关系网络的模块度，若当前值大于上一次迭代时的值，表示当前得到的子单元符合要求，将当前值存储，返回步骤3.3；若当前值小于等于上一次迭代时的值，表示当前得到的子单元不符合要求，将其舍弃不用，返回步骤3.3；
模块度的计算公式如下：
其中，i代表子单元的序号；ei表示第i个子单元对应的制造过程变量关系网络中非公共点形成的边数占原始制造过程变量关系网络的边数的比例；ai表示第i个子单元对应的制造过程变量关系网络的总边数占原始制造过程变量关系网络总边数的比例；
步骤3.7：划分流程结束，最终得到多个制造过程变量子单元X1,X2,...,Xn；相应的，根据划分得到的制造过程变量子单元X1,X2,...,Xn中各制造过程变量与质量观测变量的对应关系，能够得到多个质量观测变量子单元Y1,Y2,...,Yn；
步骤3中将预处理后的测试集划分为多个子单元的方法与训练集相同。
4.根据权利要求1所述的VAE与深度神经网络混合的智能制造工厂过程质量监控方法，其特征在于：步骤4中所述的VAE-LSTM过程监控网络模型包括LSTM编码器、X-解码器、Y-解码器、潜在变量计算模块、后验分布计算模块和激活函数模块；
LSTM编码器获取输入数据(Xi,Yi)的分布规律，同时向所述潜在变量计算模块中输入噪声ε(s)，然后潜在变量计算模块根据接收到的数据计算得到潜在变量LV，接着LSTM编码器根据其获取的数据分布规律对所述潜在变量LV进行采样并将采样结果LV(s)输入相应的X-解码器和Y-解码器中，X-解码器和Y-解码器对接收到的潜在变量采样数据进行解码得到采样数据的均值f和g并输入给所述后验分布计算模块，同时向所述后验分布计算模块中输入基于噪声因子生成的影响制造过程变量的观测值ei和影响质量变量的观测值ti的标准差∑e和∑t，后验分布计算模块根据采样数据的均值f和g以及噪声因子的标准差∑e和∑t进行运算，得到后验分布p(x|LV)＝N(f(LV),∑e)和p(y|LV)＝N(g(LV),∑t)，将该后验分布输入至所述激活函数模块中，最终激活函数模块的输出即为所述VAE-LSTM过程监控网络模型的输出。
5.根据权利要求4所述的VAE与深度神经网络混合的智能制造工厂过程质量监控方法，其特征在于：步骤4中采用期望最大算法、变分下界、局部高斯定理、sigmoid激活函数对VAE-LSTM过程监控网络模型进行优化，直到达到最大训练迭代次数后，获得VAE-LSTM过程监控网络模型的网络参数最优集合以及训练好的VAE-LSTM过程监控网络模型。
6.计算机可读存储介质，其上存储有计算机程序；其特征在于：所述计算机程序被运行时用于执行权利要求1-5任一所述的智能制造工厂过程质量监控方法。
7.电子设备，包括处理器、存储器和计算机程序；其特征在于：所述计算机程序被所述处理器运行时用于执行权利要求1-5任一所述的智能制造工厂过程质量监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311106229.9A CN117193184A (zh) | 2023-08-30 | 2023-08-30 | Vae与深度神经网络混合的智能制造工厂过程质量监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311106229.9A CN117193184A (zh) | 2023-08-30 | 2023-08-30 | Vae与深度神经网络混合的智能制造工厂过程质量监控方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117193184A true CN117193184A (zh) | 2023-12-08 |
Family
ID=88989817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311106229.9A Pending CN117193184A (zh) | 2023-08-30 | 2023-08-30 | Vae与深度神经网络混合的智能制造工厂过程质量监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117193184A (zh) |
-
2023
- 2023-08-30 CN CN202311106229.9A patent/CN117193184A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8140301B2 (en) | Method and system for causal modeling and outlier detection | |
| CN109145516B (zh) | 一种基于改进型极限学习机的模拟电路故障识别方法 | |
| CN111562108A (zh) | 一种基于cnn和fcmc的滚动轴承智能故障诊断方法 | |
| CN106067034B (zh) | 一种基于高维矩阵特征根的配电网负荷曲线聚类方法 | |
| CN114861788A (zh) | 一种基于dbscan聚类的负荷异常检测方法及系统 | |
| CN112116198A (zh) | 数据驱动的流程工业状态感知网络关键节点筛选方法 | |
| CN112416662A (zh) | 多时间序列数据异常检测方法与装置 | |
| CN111046961A (zh) | 基于双向长短时记忆单元和胶囊网络的故障分类方法 | |
| CN115204536A (zh) | 楼宇设备故障预测方法、装置、设备及存储介质 | |
| CN115021679A (zh) | 一种基于多维离群点检测的光伏设备故障检测方法 | |
| CN116756594A (zh) | 一种电网数据异常点检测方法、系统、设备及介质 | |
| CN113110961B (zh) | 设备异常检测方法、装置、计算机设备及可读存储介质 | |
| CN111260024A (zh) | 基于长短期记忆和典型相关结合的故障检测方法及系统 | |
| CN114357870A (zh) | 基于局部加权偏最小二乘的计量设备运行性能预测分析方法 | |
| CN116627116B (zh) | 一种流程工业故障定位方法、系统及电子设备 | |
| CN111091194B (zh) | 一种基于cavwnb_kl算法的操作系统识别方法 | |
| CN110941542B (zh) | 基于弹性网络的序列集成高维数据异常检测系统及方法 | |
| CN117171702A (zh) | 一种基于深度学习的多模态电网故障检测方法和系统 | |
| CN117269742A (zh) | 一种高海拔环境下断路器健康状态评估方法、装置及介质 | |
| CN116720095A (zh) | 一种基于遗传算法优化模糊c均值的电特性信号聚类方法 | |
| CN117193184A (zh) | Vae与深度神经网络混合的智能制造工厂过程质量监控方法 | |
| JP2016520220A (ja) | 隠れ属性モデル推定装置、方法およびプログラム | |
| CN112541554B (zh) | 基于时间约束的核稀疏表示的多模态过程监控方法及系统 | |
| CN117367751B (zh) | 超脉冲掺铥激光器的性能检测方法及装置 | |
| CN112884167B (zh) | 一种基于机器学习的多指标异常检测方法及其应用系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |