CN112149355B - 基于半监督动态反馈堆栈降噪自编码器模型的软测量方法 - Google Patents

基于半监督动态反馈堆栈降噪自编码器模型的软测量方法 Download PDF

Info

Publication number
CN112149355B
CN112149355B CN202011029629.0A CN202011029629A CN112149355B CN 112149355 B CN112149355 B CN 112149355B CN 202011029629 A CN202011029629 A CN 202011029629A CN 112149355 B CN112149355 B CN 112149355B
Authority
CN
China
Prior art keywords
noise reduction
network
process variable
supervised
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011029629.0A
Other languages
English (en)
Other versions
CN112149355A (zh
Inventor
周乐
王尧欣
侯北平
陈光捷
刘薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lover Health Science and Technology Development Co Ltd
Original Assignee
Zhejiang Lover Health Science and Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lover Health Science and Technology Development Co Ltd filed Critical Zhejiang Lover Health Science and Technology Development Co Ltd
Priority to CN202011029629.0A priority Critical patent/CN112149355B/zh
Publication of CN112149355A publication Critical patent/CN112149355A/zh
Application granted granted Critical
Publication of CN112149355B publication Critical patent/CN112149355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于半监督动态反馈堆栈降噪自编码器模型的软测量方法，包括：采集正常工况下的过程变量样本和关键质量变量样本，对得到的样本进行标准化处理；利用标准化处理后的过程变量样本和关键质量变量样本构建半监督动态反馈堆栈降噪自编码器模型；在线收集新的化工过程的过程变量样本，并进行标准化处理；利用构建的半监督动态反馈堆栈降噪自编码器模型对标准化后的在线过程变量样本进行软测量，得到在线过程变量样本对应的关键质量变量样本。采用本发明的测量方法，加强了对噪声的鲁棒性，提高了对多层特征信息的合理利用，从而提高了软测量的精度。

Description

基于半监督动态反馈堆栈降噪自编码器模型的软测量方法
技术领域
本发明属于工业过程检测技术领域，具体是涉及一种基于半监督动态反馈堆栈降噪自编码器模型的造纸废水过程软测量方法。
背景技术
在现代化工过程中，多传感器技术配合集散控制系统(DCS)等大数据存储技术可实现对流量、温度和压力等常规过程变量的高采样率获取和存储。但这些过程变量数据往往无法直接用于判断过程处理的效果和产品质量的优劣，而是需要借助对一些难以用常规传感器采集的关键质量变量进行抽样化验，这也就导致关键质量变量和常规过程变量之间存在较大的采样差异，同时关键质量数据在时序上也呈现出严重的稀缺性。传统基于模型的过程监控手段是基于整个工艺流程建立的，在复杂工业噪声的影响下，其精度由于过度依赖于高速采样的低精度过程变量数据，而难以对关键质量变量做出精准检测或估计。而随着大数据采集和存储手段的推广，基于数据的软测量方法试图从大量历史数据中发现过程变量和关键质量变量之间的数学联系，从而探索得到数据本身的内在规律性以减少对实际工艺流程的依赖性以及检测的成本。
在常见的基于数据的软测量技术中，主成分回归(PCR)和偏最小二乘回归(PLSR)的方法通过提取主元信息的方法将数据进行降维，同时还可通过其共享的静态潜隐特征求得相应的关键质量变量，在动态性不强的工况下具有不错的表现。而在复杂动态工况下，动态主成分回归(DPCR)和自回归动态潜隐变量回归(ARDLVR)通过增广矩阵或在概率框架下提取共享的扩展动态潜隐变量的方法，在建模中考虑了变量本身的自相关性，进而完善了过程变量和关键质量变量之间公共特征提取的过程，提高了软测量的精度。然而，传统的方法大多存在线性、抗噪性不强以及单一采样处理等建模局限性。但随着深度学习的兴起，非线性的神经网络被广泛用于数据深层特征的提取和变量间关系的建立，循环时间网络(RNN)及其各种变体被用于提取数据间的非线性动态关系,降噪自编码器(DAE)通过对数据本身进行编码重构的方法提取潜隐特征，并在训练中加入人为噪声以加强模型的抗噪能力和鲁棒性。不过大多深度学习的方法集中于对图像数据的处理，而工业数据本身的特殊结构，导致卷积等特征提取手段无法适用，数据深层特征难以可视化，特征信息在各层间的损失也造成数据重构的不完整性，除此之外，单一的神经网络也难以处理不规则的采样数据。因此，需要提出一种既能够合理利用各层特征信息，又具有较好的降噪功能的混合神经网络软测量技术。
发明内容
本发明提供了基于半监督动态反馈堆栈降噪自编码器模型的软测量方法，利用过程变量实现对关键质量变量的快速检测。
一种基于半监督动态反馈堆栈降噪自编码器模型的软测量方法，包括：
(1)采集化工过程正常工况下的过程变量样本和关键质量变量样本，对得到的样本进行标准化处理；
(2)利用标准化处理后的过程变量样本和关键质量变量样本构建半监督动态反馈堆栈降噪自编码器模型；
(3)在线收集新的化工过程的过程变量样本，并进行标准化处理；
(4)利用步骤(2)构建的半监督动态反馈堆栈降噪自编码器模型对标准化后的在线过程变量样本进行软测量，得到在线过程变量样本对应的关键质量变量样本。
步骤(1)中，利用集散控制系统收集化工过程中正常工况下的大量过程变量数据，得到过程变量样本，同时用化验手段在相同时间段内定期抽样获取少量关键质量变量数据，得到关键质量变量样本，由得到的大量过程变量样本和少量关键质量变量样本组成数据建模用的训练样本集，假设采集到了同一时间段内正常工况下的过程变量X0和关键质量变量Y0，其样本数量分别为K,J，且J＜K，由对应的采样率决定：
其中，R表示实数集；M为过程变量数，H为关键质量变量数，将这些数据存入历史数据库。
同时，对数据集X0,Y0进行标准化处理，使得各个变量的均值为0，方差为1，得到标准化的过程变量数据集X，和关键质量变量数据集Y，且与隐变量间存在非线性动态关系，同时由于X和Y是造纸废水处理系统的主要输入输出变量，因此它们之间同样也存在非线性动态联系。
步骤(2)中，所述半监督动态反馈堆栈降噪自编码器模型包括用于对输入的过程变量样本进行降噪重构的前端网络以及用于构建降噪重构过程变量样本与对应关键质量变量样本之间非线性关系的后端网络；为实现深度网络信息的反馈和原始过程数据的降噪，所述前端网络利用无监督反馈式堆栈降噪自编码器实现；所述后端网络通过有监督门控循环神经网络(GRU网络)实现。本发明利用前端网络降噪重构，从而为后端网络非线性动态拟合提供更纯净更有效的过程变量样本数据。
作为优选，步骤(2)中，所述半监督动态反馈堆栈降噪自编码器模型由如下方法构建：
(2-1)利用标准化处理后的过程变量样本训练无监督反馈式堆栈降噪自编码器，同时得到降噪重构的过程变量样本，即过程重构变量样本；
(2-2)抽取同时拥有过程变量与关键质量变量的有标签数据样本；此处的有标签数据样本由两部分组成，一部分是过程重构变量样本，另外一部分是同时刻采集得到的标准化处理后的关键质量变量；
(2-3)利用抽取的有标签数据样本，构建有监督门控循环神经网络。
作为优选，所述无监督反馈式堆栈降噪自编码器的构造如下：
其中，上述结构中的第一式表示过程变量X在前端无监督反馈式降噪堆栈自编码器中的编码结构式；其中N为编码网络的层数，X为标准化后的含噪过程变量样本；σ1(*)为无监督反馈式堆栈降噪自编码器的非线性激活函数；An为第n层前向编码网络的权值，εn为第n层前向编码网络的人为加噪分量；an为偏置系数；tn为第n层对应的过程变量的潜隐特征；tn-1为第n-1层对应的过程变量的潜隐特征；tn-2为第n-2层对应的过程变量的潜隐特征；Pn为维度转换矩阵；Fn为重构权值，bn为重构偏置系数；Z'n+1为无监督反馈式堆栈降噪自编码器中n+1层的特征重构变量，Gn为转换权重；Z'1为无监督反馈式堆栈降噪自编码器中第一层得到的反馈降噪重构结果，最终得到Z'1为所述降噪重构的过程变量样本。
为了避免这种深层网络的衰减，本发明在原有的堆栈降噪自编码网络的基础上加设了间隔式残差结构，即式(2)中的第二个式子。本发明利用残差结构间隔性地将浅层网络特征向深层网络传递，弥补了各层特征在提取中的损失，实现了更深层降噪网络的搭建。此外，由于连续型的残差网络难以调整隐层神经元数，不利于网络的进一步调节和优化，而本发明采用的间隔型残差网络结构，可以通过两个残差结构间的隐层以及隐层维度转换矩阵Pn来不断切换和调节隐层数，从而使网络结构更加合理。
作为优选，训练无监督反馈式堆栈降噪自编码器时，对于每一层利用输入和重构的最小平方误差作为优化目标优化各自的网络参数。具体讲，当对大量过程数据实现深度编码后，各层网络将利用这些深层和浅层特征在每一层分别进行重构，并以每层输入和重构输出的平方误差||X-Z||2(或||tn-1-Zn||2)作为网络训练的优化目标，这就建立了n个小型的自监督网络，使各层网络能在人为加噪后还能保留最大特征并重构，也就是能够消除人为加噪的影响，而当人为加噪与数据本身的噪声相近时，网络就能实现有效的降噪效果。
传统的堆栈降噪自编码网络的数据重构只与其相应的隐层特征有关，深层和浅层的重构信息往往都无法保证包含全部的特征信息，因此，本发明通过加权重构的方法建立了深层网络到浅层网络的反馈式连接，对传统的表示从各隐层特征到去噪信息的重构过程进行改进，即得：
Zn＝σ1(Fntn+GnZn+1+bn) (3)
其中，Zn+1为前端网络中n+1层的特征重构变量，Gn为其相应的转换权重，代表了深层网络特征对于前一网络重构的贡献程度。而各个加权重构的连接，将使深层特征信息传递到最浅层的重构，使最浅层网络的数据重构变得更加合理，同时也构成了一条类似于深层编码通道的深层重构信息通道，其结构如式(2)中的第三个式子所示。
传统反馈式堆栈降噪自编码器中，各层重构无直接的联系，特征提取也可能会出现逐层变差的情况，而本发明通过残差结构和加权重构的方法实现了网络特征信息交互，同时反馈式的网络重构连接也使各层降噪特征加权集中于第一层的重构，使第一层的重构将在训练中变得更加科学合理，也为后续的有监督网络拟合提供了更纯净的过程信息。
作为优选，步骤(2-1)和步骤(2-3)中，均采用adam优化函数进行参数优化，反复迭代更新网络参数，直至达到优化目标或到达最大迭代次数。
步骤(2-1)的网络训练结束后，网络参数{An,Fn,Gn,Pn,an,bn}将被保存用于测试过程样本数据的降噪重构。
利用门控循环神经网络(GRUNN)拟合降噪重构的过程变量和关键质量变量之间的非线性动态关系。在前端网络训练中，大量无标签的过程变量的使用有利于提取出关键过程变量中更加完整的过程特征，从而更好地进行降噪重构。然而，重构后的过程变量和标准化后的关键质量变量因采样差异而存在时序的不一致问题，故需在将数据输入后端的有监督GRU网络前进行预处理，方法为按关键质量变量和过程变量的相对采样比对重构的过程样本进行抽样，保留同时具有重构后的过程变量和关键质量变量的有标签数据，以保证两者样本数和时序一致，用于后端网络的构建。
在有监督的GRU网络中，经过预处理的重构过程变量Z′和关键质量变量Y将进行非线性动态关系拟合。所述有监督门控循环神经网络的结构如下：
其中，rk和uk分别表示k时刻监督门控循环神经网络的重置系数和更新系数，Wr和Wu分别为重置权值和更新权值，s(*)表示监督门控循环神经网络的非线性激活函数；hk-1为k-1时刻的隐藏状态；hk为k时刻的隐藏状态；Z'1为k时刻对应的降噪重构的过程变量样本；为k时刻的候选信息；tanh(*)表示tanh非线性激活函数；/>为相应的候选信息转换权重；Wo为输出权值；yk为当前的网络输出，即测量得到的关键质量变量。
在上述结构中，第一式和第二式分别构成了GRU网络的两个特殊结构：重置门和更新门，重置门决定了网络将忘记的历史信息量，更新门则将决定网络要丢弃哪些信息以及要添加的新信息。而为了防止时间轴上的梯度消失问题，GRU网络设置了隐藏状态h保存历史信息特征并进行长时间尺度的特征传输。在这一环节中，重置门将在第三式中决定k-1时刻的信息忘记量，以得到k时刻候选信息tanh(*)表示tanh非线性激活函数，/>为相应的候选信息转换权重；然后更新门将在第四式中结合k-1时刻的隐藏状态hk-1和k时刻的候选信息/>进行状态更新，得到k时刻的隐藏状态hk。最后在第五式中通过k时刻的隐藏状态hk和输出权值Wo就可得到当前的网络输出yk，而在网络输出端再加设全连接层即可实现有监督的GRU网络搭建。
在GRU网络搭建完毕后，adam优化器将用于网络参数的优化训练，最终将训练后的网络参数保存并用于后续的软测量测试。
步骤(1)中，得到的标准化处理后的过程变量样本和关键质量变量样本一部分用于步骤(2)的模型构建，一部分用于对构建后的模型进行验证优化。构建模型完成后，可以对构建的模型进行评价，作为优选，利用所求的关键质量样本集和真实的关键质量样本集之间的预测残差，可获得各质量变量所对应的均方根误差(RMSE)，以评价软测量模型的优劣：
其中，K表示时间序列的长度，即样本数；Yk,test表示k时刻关键质量样本的预测值，Y′k,test表示k时刻关键质量样本的真实值，ek为k时刻的预测残差。最终得到的RMSE值越小，则表示模型预测的精度越高。当发现精度不满足要求时，可以通过调节神经元数量以及人为加噪强度等重新进行模型构建，直至模型精度满足要求。
步骤(4)中，在线收集相同工况下新的造纸废水处理过程的过程变量数据，得到测试样本集Xtest，并进行z-score标准化处理，其样本数量为K′，过程变量类型和种类与训练样本集一致。
步骤(5)中，利用半监督动态反馈堆栈降噪自编码器模型对测试数据进行软测量，得到过程样本所对应的关键质量样本。首先采用已训练好的反馈式堆栈降噪自编码器对标准化后的过程变量Xtest进行降噪重构，得到重构的过程样本Z′1,test。
其中，网络参数{An,Fn,Gn,Pn,an,bn}与训练完毕的网络一致，由于模型训练考虑了噪声的影响，当人为加噪和数据噪声相似时，大部分噪声将会在编码重构中消失，使模型在训练后就会对该类噪声有一定的抗性，因此不需要在测试时再添加人为噪声；求得第一层前端网络中的反馈降噪重构的结果，它是各隐层网络特征的加权重构，将作为后端网络的输入。
然后，将前端网络的降噪重构的过程样本Z′1,test作为有监督GRU网络的输入，以预测相应的关键质量变量样本yk,test，最终得到关键质量样本集Ytest。在上述计算结构中，利用已经拟合好的网络参数对输入的过程重构样本进行计算，首先得到相应的测试重置系数rk,test和更新系数uk,test，然后利用重置门和更新门分别求解相应时刻过程测试样本的候选信息/>和隐藏状态hk,test，最后利用输出权重和隐藏状态得到GRU网络输出，并通过全连接网络将网络输出集中为所求的关键质量样本集Ytest。
作为优选，所述化工过程为造纸废水处理过程，也可为制药和石油化工等流程工业过程。
作为优选，本发明中，所述标准化处理采用z-score标准化处理方法。
本发明提供一种基于半监督动态反馈堆栈降噪自编码器模型的造纸废水过程软测量方法。通过半监督学习的思路，所有数据集可以分为同时拥有过程变量与关键质量变量的有标签数据和仅包含过程变量的无标签数据，然后通过前端网络降噪重构，后端网络有监督拟合的方法建立过程重构变量和关键质量变量的内在联系模型。为了削弱工业噪声对实际数据的干扰，本发明在前端网络采用反馈堆栈降噪自编码器(FSDAE)，在每一层都以输入和重构输出之间的残差最小作为训练目标形成多个小型的自监督网络，提高了深层特征提取的科学合理，而在网络训练时每层的加噪编码也加强了对噪声的鲁棒性，能够起到逐层降噪净化的效果；为了防止深层网络在特征提取时信息的过度损失，残差结构被设计将浅层特征信息传递给深层网络，同时为了防止浅层网络因缺乏准确特征指导而无法有效重构，每层重构被加权连接至上一层的重构，从而实现深层信息与浅层信息的交互训练，最终实现对含噪工业数据的有效降噪重构；而在后端的门控循环神经网络(GRUNN)利用有标签的少量降噪重构的过程数据和关键质量变量进行有监督的拟合，从而建立起准确的非线性动态关系，提高了软测量的精度。
具体实施方式
以造纸废水处理过程为例，对本发明的基于半监督动态反馈堆栈降噪自编码器模型的软测量方法做进一步说明：
该方法针对造纸废水处理过程中关键质量变量和过程变量间的差异采样以及工业噪声干扰的工况背景，首先利用集散控制系统收集正常工况下大量过程变量数据，利用化验手段获取同一时间段的少量关键质量变量数据。在半监督学习的指导下，该方法利用无监督的反馈式堆栈降噪自编码器对大量过程变量数据进行逐层降噪编码与重构，同时通过残差结构和加权重构建立浅层网络和深层网络之间的信息交互，使原始过程变量数据在保留大部分特征信息的情况下剔除尽量多的无关信息，最后通过有监督的GRU网络拟合少量净化后的过程重构变量(即经过降噪重构的过程变量样本)和标准化后的关键质量变量，从而建立精确的非线性动态网络模型。对同一工况下的在线造纸废水处理过程进行采样并获取大量新的过程变量数据作为测试样本，此时不需要化验手段获取关键质量变量数据，而是通过预先训练的反馈堆栈降噪自编码器对大量过程变量数据进行降噪重构，然后就可通过预先训练的GRU网络直接获取相应的关键质量变量数据，从而实现软测量的效果。
具体讲，本实施例是一种基于半监督动态反馈堆栈降噪自编码器模型的造纸废水处理过程软测量方法，包括以下步骤：
第一步：利用集散控制系统收集造纸废水处理过程中正常工况下的大量过程变量数据，得到过程变量样本，同时用化验手段在相同时间段内定期抽样获取少量关键质量变量数据，得到关键质量变量样本，组成数据建模用的训练样本集，假设采集到了同一时间段内正常工况下的过程变量X0和关键质量变量Y0，其样本数量分别为K,J，且J＜K：
其中，R表示实数集；M为过程变量数，H为关键质量变量数，将这些数据存入历史数据库；
第二步：对数据集X0,Y0进行z-score标准化处理，得到标准化的过程变量数据集X，和关键质量变量数据集Y，使得各个变量的均值为0，方差为1，且与隐变量间存在非线性动态关系，同时由于X和Y是造纸废水处理系统的主要输入输出变量，因此它们之间同样也存在非线性动态联系，假设其简化关系式如下：
其中，第一式为含噪的过程变量X的结构组成式，包含了数据的真实部分和自身的噪声分量δn，它是各种深层简单特征叠加的集合，N表示特征提取的深度，可对应于神经网络的层数；tn∈RD1×1表示第n层中过程变量的潜隐特征，其维度为D1；An为第n层非线性特征转换矩阵；后三式为过程重构变量和关键质量变量之间的非线性动态关系式，它们通过动态潜隐特征相互联系；Zk∈RM×K为k时刻过程变量Xk的降噪重构，由于只是去除了过程变量数据中的无关信息，所以在数据大小上和Xk一致；t′k∈RD2×1表示k时刻动态潜隐特征，t′k-1∈RD2×1表示k-1时刻动态潜隐特征，维度(即隐层神经元数)分别为为D2；B和C分别为过程重构变量和关键质量变量的非线性观测矩阵，E为非线性动态转换矩阵。
该步骤得到的标准化样本，一部分用于后续模型的训练，另外一部分可用于构建完成的模型的评价和优化。
第三步：利用前端网络降噪重构、为后端网络非线性动态拟合提供更纯净的等价过程数据。为实现深度网络信息的反馈和原始过程数据的降噪，前端网络利用反馈式堆栈降噪自编码器利用实现，并将输入和重构的最小平方误差作为优化目标，在adam优化函数的辅助下，反复迭代更新网络参数，直至达到优化目标或到达最大迭代次数；后端网络选择有监控的门控循环神经网络(GRUNN)，实现过程重构变量和关键质量变的非线性动态网络模型的构建。
首先，标准化后的大量含噪过程变量数据X被送入反馈式堆栈降噪自编码器逐层编码提取隐层特征tn并重构。常规堆栈前向编码网络的基本的结构如下：
其中，上述结构中的第一式表示过程变量X在前端无监督反馈式降噪堆栈自编码器中的编码结构式，An和εn分别为第n层前向编码网络的权值和人为加噪分量，an为偏置系数，σ1(*)为前端网络的非线性激活函数，N层的堆栈自编码网络将不断提取过程变量中的各隐层特征tn；第二式表示从各隐层特征到去噪信息的重构过程，Zn为第n层中含噪过程变量X对应的降噪重构，Fn和bn分别为相应的重构权值和偏置；
由(3)式可基本建立常规堆栈前向编码网络，但信息在每层特征提取中的损失不可避免，因此深层的网络虽然理论上能够提取更深层次的特征信息，但由于深层网络特征的逐层损失，提取特征的效果将可能变差。因此为了避免这种深层网络的衰减，本发明在原有的堆栈降噪自编码网络的基础上加设了间隔式残差结构，对(3)中的第一式优化设计如下：
其中，tn为第n层对应的过程变量的潜隐特征；tn-1为第n-1层对应的过程变量的潜隐特征；tn-2为第n-2层对应的过程变量的潜隐特征。第一式和原有结构一致，表示过程变量X和各层特征tn间的基本关系未发生变化，而第二式利用了残差结构间隔性地将浅层网络特征向深层网络传递，弥补了各层特征在提取中的损失，实现了更深层降噪网络的搭建。此外，由于连续型的残差网络难以调整隐层神经元数，不利于网络的进一步调节和优化，而本发明采用的间隔型残差网络结构，可以通过两个残差结构间的隐层以及隐层维度转换矩阵Pn来不断切换和调节隐层数，从而使网络结构更加合理。
当对大量过程数据实现深度编码后，各层网络将利用这些深层和浅层特征在每一层分别进行重构，并以每层输入和重构输出的平方误差||X-Z||2(或||tn-1-Zn||2)作为网络训练的优化目标，这就建立了n个小型的自监督网络，使各层网络能在人为加噪后还能保留最大特征并重构，也就是能够消除人为加噪的影响，而当人为加噪与数据本身的噪声相近时，网络就能实现有效的降噪效果。然而，传统的堆栈降噪自编码网络的数据重构只与其相应的隐层特征有关，深层和浅层的重构信息往往都无法保证包含全部的特征信息，因此，本发明通过加权重构的方法建立了深层网络到浅层网络的反馈式连接，对(3)中第二式的具体优化设计如下：
Z'n＝σ1(Fntn+GnZ'n+1+bn) (5)
其中，Z'n为前端网络中第n层的特征重构变量，Z'n+1为前端网络中第n+1层的特征重构变量，Gn为其相应的转换权重，代表了深层网络特征对于前一网络重构的贡献程度。而各个加权重构的连接，将使深层特征信息传递到最浅层的重构，使最浅层网络的数据重构变得更加合理，同时也构成了一条类似于深层编码通道的深层重构信息通道，其结构如下：
上式中，Z'1为无监督反馈式堆栈降噪自编码器中第一层得到的反馈降噪重构结果，最终得到Z'1为所述降噪重构的过程变量样本Z′。
在(3)式中，各层重构无直接的联系，特征提取也可能会出现逐层变差的情况，而本发明通过残差结构(式(4))和加权重构(式(6))的方法实现了网络特征信息交互，同时反馈式的网络重构连接也使各层降噪特征加权集中于第一层的重构，使第一层的重构将在训练中变得更加科学合理，也为后续的有监督网络拟合提供了更纯净的过程信息。而在网络训练结束后，网络参数{An,Fn,Gn,Pn,an,bn}将被保存用于测试过程样本数据的降噪重构。
然后，利用门控循环神经网络(GRUNN)(简写为：GRU网络)拟合降噪重构的过程变量和关键质量变量之间的非线性动态关系。在前端网络训练中，大量无标签的过程变量的使用有利于提取出过程变量中更加完整的过程特征，从而更好地进行降噪重构。然而，重构后的过程变量和标准化后的关键质量变量因采样差异而存在时序的不一致问题，故需在将数据输入后端的有监督GRU网络前进行预处理，方法为按关键质量变量和过程变量的相对采样比对重构的过程样本进行抽样，保留同时拥有过程变量与关键质量变量的有标签数据进行后端网络的构建，以保证两者样本数和时序一致。
在有监督的GRU网络中，经过预处理的重构过程变量Z′和关键质量变量Y将进行非线性动态关系拟合。具体网络结构设计如下：
在上述结构中，第一式和第二式分别构成了GRU网络的两个特殊结构：重置门和更新门。其中，rk和uk分别表示k时刻GRU网络的重置系数和更新系数，Wr和Wu分别为重置权值和更新权值，s(*)表示后端网络的非线性激活函数，重置门决定了网络将忘记的历史信息量，更新门则将决定网络要丢弃哪些信息以及要添加的新信息。而为了防止时间轴上的梯度消失问题，GRU网络设置了隐藏状态h保存历史信息特征并进行长时间尺度的特征传输。在这一环节中，重置门将在第三式中决定k-1时刻的信息忘记量，以得到k时刻候选信息tanh(*)表示tanh非线性激活函数，/>为相应的候选信息转换权重；然后更新门将在第四式中结合k-1时刻的隐藏状态hk-1和k时刻的候选信息/>进行状态更新，得到k时刻的隐藏状态hk。最后在第五式中通过k时刻的隐藏状态hk和输出权值Wo就可得到当前的网络输出yk，而在网络输出端再加设全连接层即可实现有监督的GRU网络搭建。
在GRU网络搭建完毕后，adam优化器将用于网络参数的优化训练，最终将训练后的网络参数保存并用于后续的软测量测试。
模型构建完成后，可以对得到的模型进行评价和优化，可以利用所求得的关键质量样本集和真实的关键质量样本集之间的预测残差，可获得各质量变量所对应的均方根误差(RMSE)，以评价软测量模型的优劣：
其中，K表示时间序列的长度，即样本数；Yk,test表示k时刻关键质量样本的预测值，Y′k,test表示k时刻关键质量样本的真实值，ek为k时刻的预测残差。最终得到的RMSE值越小，则表示模型预测的精度越高。当精度不满足要求时，可以通过调整前端网络中隐层数、神经元数等参数进行优化，重新进行建模，直至得到符合精度的模型，用于后续的实际检测。
第四步：在线收集相同工况下新的造纸废水处理过程的过程变量数据，得到测试样本集Xtest,0，并进行z-score标准化处理，得到标准化后的Xtest，其样本数量为K′，过程变量类型和种类与训练样本集一致：
Xtest∈RM×K′,Xtest＝{x1,test,x2,test，,...,xK',test} (9)
第五步：利用半监督动态反馈堆栈降噪自编码器模型对测试数据进行软测量，得到过程变量样本所对应的关键质量变量样本。
首先采用步骤三中已训练好的反馈式堆栈降噪自编码器对标准化后的过程变量Xtest进行降噪重构，得到重构的过程变量样本Z′1,test：
tn-1,test为第n-1层对应的过程测试样本的潜隐特征；tn-2,test为第n-2层对应的过程测试样本的潜隐特征；Zn+1,test为第n+1层过程测试样本对应构成重构变量。
其中，网络参数{An,Fn,Gn,Pn,an,bn}与训练完毕的网络一致，由于模型训练考虑了噪声的影响，当人为加噪和数据噪声相似时，大部分噪声将会在编码重构中消失，使模型在训练后就会对该类噪声有一定的抗性，因此不需要在测试时再添加人为噪声，即省略εn；tn,test表示过程测试样本在第n层网络中的隐层特征，Z'1,test表示第一层前端网络中的反馈降噪重构的结果，它是各隐层网络特征的加权重构，将作为后端网络的输入。
然后，将前端网络的降噪重构的过程样本Z'1,test作为有监督GRU网络的输入，以预测相应的关键质量变量：
其中Z'1,k,test为k时刻对应的降噪重构的过程样本Z'1,test；hk-1,test为测试样本对应的k-1时刻的隐藏状态；Z'1为k时刻对应的降噪重构的过程变量样本；为k时刻的候选信息；tanh(*)表示tanh非线性激活函数；/>为相应的候选信息转换权重；Wo为输出权值；yk为当前的网络输出，即测量得到的关键质量变量。
在上述计算结构中，利用已经拟合好的网络参数对输入的过程重构样本Z'1,k,test进行计算，首先得到相应的测试重置系数rk,test和更新系数uk,test，然后利用重置门和更新门分别求解相应时刻过程测试样本的候选信息/>和隐藏状态hk,test，最后利用输出权重和隐藏状态得到GRU网络输出，并通过全连接网络将网络输出集中为所求的关键质量样本集Ytest。/>

Claims (8)

1.一种基于半监督动态反馈堆栈降噪自编码器模型的软测量方法，其特征在于，包括：
(1)采集化工过程正常工况下的过程变量样本和关键质量变量样本，对得到的样本进行标准化处理；
(2)利用标准化处理后的过程变量样本和关键质量变量样本构建半监督动态反馈堆栈降噪自编码器模型；
(3)在线收集新的化工过程的过程变量样本，并进行标准化处理；
(4)利用步骤(2)构建的半监督动态反馈堆栈降噪自编码器模型对标准化后的在线过程变量样本进行软测量，得到在线过程变量样本对应的关键质量变量样本；
步骤(2)中，所述半监督动态反馈堆栈降噪自编码器模型包括用于对输入的过程变量样本进行降噪重构的前端网络以及用于构建降噪重构过程变量样本与对应关键质量变量样本之间非线性关系的后端网络；所述前端网络利用无监督反馈式堆栈降噪自编码器实现；所述后端网络通过有监督门控循环神经网络实现；
所述无监督反馈式堆栈降噪自编码器的构造如下：
其中，N为编码网络的层数，X为标准化后的含噪过程变量样本；σ1(*)为无监督反馈式堆栈降噪自编码器的非线性激活函数；An为第n层前向编码网络的权值，εn为第n层前向编码网络的人为加噪分量；an为偏置系数；tn为第n层对应的过程变量的潜隐特征；tn-1为第n-1层对应的过程变量的潜隐特征；tn-2为第n-2层对应的过程变量的潜隐特征；Pn为维度转换矩阵；Fn为重构权值，bn为重构偏置系数；Z'n+1为无监督反馈式堆栈降噪自编码器中n+1层的特征重构变量，Gn为转换权重；Z'1为无监督反馈式堆栈降噪自编码器中第一层得到的反馈降噪重构结果，最终得到Z'1为所述降噪重构的过程变量样本。
2.根据权利要求1所述的基于半监督动态反馈堆栈降噪自编码器模型的软测量方法，其特征在于，步骤(2)中，所述半监督动态反馈堆栈降噪自编码器模型由如下方法构建：
(2-1)利用标准化处理后的过程变量样本训练无监督反馈式堆栈降噪自编码器，同时得到降噪重构的过程变量样本；
(2-2)抽取同时拥有过程变量与关键质量变量的有标签数据样本；
(2-3)利用抽取的有标签数据样本，构建有监督门控循环神经网络。
3.根据权利要求1或2所述的基于半监督动态反馈堆栈降噪自编码器模型的软测量方法，其特征在于，训练无监督反馈式堆栈降噪自编码器时，对于每一层利用输入和重构的最小平方误差作为优化目标优化各自的网络参数。
4.根据权利要求2所述的基于半监督动态反馈堆栈降噪自编码器模型的软测量方法，其特征在于，步骤(2-1)和步骤(2-3)中，均采用adam优化函数进行参数优化。
5.根据权利要求1或2所述的基于半监督动态反馈堆栈降噪自编码器模型的软测量方法，其特征在于，所述有监督门控循环神经网络的结构如下：
rk和uk分别表示k时刻有监督门控循环神经网络的重置系数和更新系数，Wr和Wu分别为重置权值和更新权值，s(*)表示监督门控循环神经网络的非线性激活函数；hk-1为k-1时刻的隐藏状态；hk为k时刻的隐藏状态；Z'1,k为k时刻对应的降噪重构的过程变量样本；为k时刻的候选信息；tanh(*)表示tanh非线性激活函数；Wh％为相应的候选信息转换权重；Wo为输出权值；yk为当前的网络输出，即测量得到的关键质量变量。
6.根据权利要求1或2所述的基于半监督动态反馈堆栈降噪自编码器模型的软测量方法，其特征在于，步骤(4)中，首先采用已训练好的反馈式堆栈降噪自编码器对标准化后的过程变量Xtest进行降噪重构，在降噪重构时，省略人为加噪分量，得到降噪重构的过程变量样本；然后，将前端网络的降噪重构的过程变量样本作为有监督门控循环神经网络的输入，以预测相应的关键质量变量。
7.根据权利要求1所述的基于半监督动态反馈堆栈降噪自编码器模型的软测量方法，其特征在于，所述化工过程为造纸废水处理过程，制药过程和石油化工。
8.根据权利要求1所述的基于半监督动态反馈堆栈降噪自编码器模型的软测量方法，其特征在于，步骤(1)中，得到的标准化处理后的过程变量样本和关键质量变量样本一部分用于步骤(2)的模型构建，一部分用于对构建后的模型进行验证优化。
CN202011029629.0A 2020-09-27 2020-09-27 基于半监督动态反馈堆栈降噪自编码器模型的软测量方法 Active CN112149355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011029629.0A CN112149355B (zh) 2020-09-27 2020-09-27 基于半监督动态反馈堆栈降噪自编码器模型的软测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011029629.0A CN112149355B (zh) 2020-09-27 2020-09-27 基于半监督动态反馈堆栈降噪自编码器模型的软测量方法

Publications (2)

Publication Number Publication Date
CN112149355A CN112149355A (zh) 2020-12-29
CN112149355B true CN112149355B (zh) 2023-08-22

Family

ID=73894679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011029629.0A Active CN112149355B (zh) 2020-09-27 2020-09-27 基于半监督动态反馈堆栈降噪自编码器模型的软测量方法

Country Status (1)

Country Link
CN (1) CN112149355B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989635B (zh) * 2021-04-22 2022-05-06 昆明理工大学 基于自编码器多样性生成机制的集成学习软测量建模方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416439A (zh) * 2018-02-09 2018-08-17 中南大学 基于变量加权深度学习的炼油过程产品预测方法和系统
CN109060347A (zh) * 2018-10-25 2018-12-21 哈尔滨理工大学 基于堆叠消噪自动编码器和门控循环单元神经网络的行星齿轮故障识别方法
CN109690577A (zh) * 2016-09-07 2019-04-26 皇家飞利浦有限公司 利用堆叠式自动编码器进行的半监督式分类
CN111325112A (zh) * 2020-01-31 2020-06-23 贵州大学 基于深度门控循环单元神经网络的刀具磨损状态监测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9922272B2 (en) * 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109690577A (zh) * 2016-09-07 2019-04-26 皇家飞利浦有限公司 利用堆叠式自动编码器进行的半监督式分类
CN108416439A (zh) * 2018-02-09 2018-08-17 中南大学 基于变量加权深度学习的炼油过程产品预测方法和系统
CN109060347A (zh) * 2018-10-25 2018-12-21 哈尔滨理工大学 基于堆叠消噪自动编码器和门控循环单元神经网络的行星齿轮故障识别方法
CN111325112A (zh) * 2020-01-31 2020-06-23 贵州大学 基于深度门控循环单元神经网络的刀具磨损状态监测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于无监督栈式降噪自编码网络的显著性检测算法;李庆武 等;《电子学报》;地871-879页 *

Also Published As

Publication number Publication date
CN112149355A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN108764540B (zh) 基于并行lstm串联dnn的供水管网压力预测方法
CN112468326B (zh) 基于时间卷积神经网络的访问流量预测方法
CN113723007B (zh) 基于drsn和麻雀搜索优化的设备剩余寿命预测方法
CN106022954B (zh) 基于灰色关联度的多重bp神经网络负荷预测方法
CN112884056A (zh) 基于优化的lstm神经网络的污水水质预测方法
CN113743016B (zh) 基于自编码器和回声状态网络的发动机剩余寿命预测方法
CN111539132B (zh) 一种基于卷积神经网络的动载荷时域识别方法
CN111815806B (zh) 一种基于野值剔除和特征提取的飞参数据预处理方法
CN113486303A (zh) 一种基于修饰模型集成的长时间序列预测方法
CN116738868B (zh) 一种滚动轴承剩余寿命预测方法
CN114363195A (zh) 面向时间和频谱残差卷积网络的网络流量预测预警方法
CN112149355B (zh) 基于半监督动态反馈堆栈降噪自编码器模型的软测量方法
CN115017826A (zh) 一种装备剩余使用寿命预测方法
CN114266201B (zh) 一种基于深度学习的自注意力电梯困人预测方法
CN116467577A (zh) 基于mtf和改进密集连接网络的风机齿轮箱故障诊断方法
CN116052254A (zh) 基于扩展卡尔曼滤波神经网络的视觉连续情感识别方法
CN115759461A (zh) 一种面向物联网的多元时间序列预测方法及系统
CN108538301B (zh) 一种基于神经网络音频技术的智能数码乐器
CN114152442A (zh) 基于迁移卷积神经网络的滚动轴承跨工况故障检测方法
CN114596726A (zh) 基于可解释时空注意力机制的停车泊位预测方法
CN116364203A (zh) 一种基于深度学习的水质预测方法、系统和装置
CN115963788A (zh) 多采样率工业过程关键质量指标在线预测方法
CN115510748A (zh) 基于变分模态分解和cnn-gru的滑坡位移预测方法
CN114462306A (zh) 基于变权重时域卷积网络的非侵入式用电负荷分解方法
CN113033695A (zh) 一种电子器件故障的预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310023 No. 318 stay Road, Xihu District, Zhejiang, Hangzhou

Applicant after: ZHEJIANG University OF SCIENCE AND TECHNOLOGY

Address before: 310023 No. 318, Ho Ho Road, Hangzhou, Zhejiang

Applicant before: ZHEJIANG University OF SCIENCE AND TECHNOLOGY

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant