CN114004346A - 基于门控堆叠同构自编码器的软测量建模方法及存储介质 - Google Patents
基于门控堆叠同构自编码器的软测量建模方法及存储介质 Download PDFInfo
- Publication number
- CN114004346A CN114004346A CN202110940803.5A CN202110940803A CN114004346A CN 114004346 A CN114004346 A CN 114004346A CN 202110940803 A CN202110940803 A CN 202110940803A CN 114004346 A CN114004346 A CN 114004346A
- Authority
- CN
- China
- Prior art keywords
- self
- isomorphic
- encoder
- hidden layer
- stacking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Abstract
本发明提供了一种基于门控堆叠同构自编码器的软测量建模方法及存储介质,包括:搭建门控堆叠同构自编码器;对原始变量标准化处理后输入到门控堆叠同构自编码器中,通过各隐藏层进行逐层无监督预训练,得到各隐藏层的深度抽象特征;并输入对应的门控单元,得到各隐藏层的门值和候补预测值,根据所述门值和所述候补预测值,计算并输出待测变量的预测值;通过有监督微调最小化损失函数,将微调后的门控堆叠同构自编码器作为软测量模型。本发明提供的方法比传统的堆叠同构自编码器具有更好的信息筛选能力与测量精度,并且具有良好的泛化性,在有监督微调阶段损失函数收敛的更快,充分反映出门控单元对微调阶段的有效性和对数据信息筛选的有效性。
Description
技术领域
本发明涉及深度学习软测量技术领域,具体涉及一种基于门控堆叠同构自编码器的软测量建模方法及存储介质。
背景技术
近年来,由人工神经网络发展起来的深度学习方法在语音识别、视觉目标识别、目标检测等领域取得了很多研究成果。与传统的基于先验知识和分析所设计的特征提取方法相比,深度学习作为一种端到端的学习方法,可以独立学习有用的特征表示,不需要大量的先验知识和工程技能。此外深度学习能够通过深层网络结构对低等级特征进行变换或组合来获得更高等级的抽象特征,从而学习出具有层次结构的深度特征,具有更优异的特征学习能力和获取更本质的数据特征的能力。
深度学习中的自编码器结构在工业软测量中有着广泛的应用。目前,基于自编码器结构的软测量方法已被广泛应用于复杂工业过程难测变量的在线估计,并取得了大量的理论研究和过程工业应用成果。软测量技术被广泛用于复杂工业过程中的质量指标估计和预测,主要利用工业过程数据建立难以直接测量的质量变量与易于测量的过程变量之间的数学模型。利用该模型可以实现对难以测量的变量的实时在线预测。相比于传统的机理建模,建立基于深度网络的软测量模型不需要对工艺流程和机理有明确的认识,而且相较于浅层模型,堆叠自编码器模型具有更强的复杂函数逼近能力,故而能够很好地解决过程的非线性、时变性、动态性等问题,在质量预测任务中有更高的预测精度。
传统的软测量方法往往需要花大量的时间在特征工程上面,效率低下而且在输入变量发生变化时又需要进行新的特征工程,也就是说传统软测量模型的泛化性并不高。而基于深度学习的软测量方法是一种端到端的方法,不需要特征工程这一步骤就可以描述出数据良好的特征。但并不是所有工业数据信息都对建模与软测量有帮助,因此,提高工业数据特征提取的效率就显得尤为重要。
发明内容
为了解决传统软测量模型的效率较低且泛化性能较差的问题,本发明提供了一种基于门控堆叠同构自编码器的软测量建模方法及存储介质,
作为本发明的一个方面,本发明提供了一种基于门控堆叠同构自编码器的软测量建模方法,包括以下步骤:
搭建门控堆叠同构自编码器,所述门控堆叠同构自编码器包括:门控单元和堆叠同构自编码器;
获取与待测变量相关的原始变量,并对所述原始变量进行标准化处理,得到标准化后的数据;
将所述标准化后的数据输入到所述门控堆叠同构自编码器中各隐藏层进行逐层无监督预训练,训练完成,得到各隐藏层的深度抽象特征;
将各所述深度抽象特征分别输入到各隐藏层对应的门控单元,得到各隐藏层的门值和候补预测值,
根据所述门值和所述候补预测值,计算并输出待测变量的预测值;
根据所述预测结果计算得到损失函数,通过最小化所述损失函数微调所述门控堆叠同构自编码器的网络参数,将微调后的门控堆叠同构自编码器作为软测量模型。
优选地,所述堆叠同构自编码器由L个同构自编码器分层堆叠组成,每个所述同构自编码器连接一个门控单元。
优选地,所述将标准化后的数据输入到所述门控堆叠同构自编码器中各隐藏层进行逐层无监督预训练,训练完成,得到各隐藏层的深度抽象特征的步骤,具体包括:
将标准化后的数据x=[x1,x2,…,xn]T作为第一个同构自编码器IAE1的输入,第一个同构自编码器IAE1通过最小化重构原始数据误差(原始数据x与解码后的数据之间的误差)将x映射到第一个隐藏层,输出第一个隐藏层的深度抽象特征h1;
将所述第一个隐藏层的深度抽象特征h1作为第二个同构自编码器IAE2的输入,第二个同构自编码器IAE2通过最小化重构原始数据误差将h1映射到第二个隐藏层;
依次类推,直至最后一个同构自编码器IAEL也被训练好时,即完成了整个的无监督预训练过程,得到各隐藏层的深度抽象特征H={h1,h2,…,hL-1,hL}。
优选地,所述将各深度抽象特征分别输入到各隐藏层对应的门控单元,得到各隐藏层的门值和候补预测值的步骤,具体包括:
对于第k个隐藏层,k=1,2,...L,通过第k个隐藏层的深度抽象特征生成一个门值gk:
经过映射得到第k个隐藏层的候补预测值yk:
优选地,所述根据门值和所述候补预测值,计算并输出所述待测变量的预测值的步骤,具体包括:
优选地,所述损失函数的计算公式为:
优选地,通过反向传播算法最小化所述损失函数。
优选地,在所述将微调后的门控堆叠同构自编码器作为软测量模型的步骤之后,还包括:
根据性能指标对所述软测量模型进行精度评价,所述性能指标包括:均方根误差RMSE和决定系数R2。
作为本发明的另一方面,本发明提供了一种存储介质,所述存储介质为计算机可读存储介质,所述计算机可读存储介质中存储有如权利要求1-7任一所述的基于门控堆叠同构自编码器的软测量建模方法。
本发明的有益效果是:
堆叠同构自编码器在加入了门控单元,可以将工业过程数据的有效信息筛选出来,根据门值去控制信息的通过率,高效地将基于堆叠同构自编码器的软测量模型搭建起来,完成相关主要变量的预测与估计,对工业生产过程有理论与实际性的帮助。将门控单元应用到堆叠同构自编码器中不仅对深度学习软测量方面具有重要意义,而且对工业实际生产过程方面有着很好的效果。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例中基于门控堆叠同构自编码器的软测量建模方法的执行流程图;
图2是本发明实施例中门控堆叠同构自编码器的结构示意图;
图3是本发明实施例中三种方法的实验结果对比;
图4是本发明实施例中模型训练时的拟合结果;
图5为本发明实施例中模型测试时的拟合结果。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
参考图1,本发明一种基于门控堆叠同构自编码器的软测量建模方法,包括以下步骤:
S1、搭建门控堆叠同构自编码器,所述门控堆叠同构自编码器包括:门控单元和堆叠同构自编码器;
S2、获取与待测变量相关的原始变量,并对所述原始变量进行标准化处理,得到标准化后的数据;
S3、将所述标准化后的数据输入到所述门控堆叠同构自编码器中各隐藏层进行逐层无监督预训练,训练完成,得到各隐藏层的深度抽象特征;
S4、将各所述深度抽象特征分别输入到各隐藏层对应的门控单元,得到各隐藏层的门值和候补预测值,
S5、根据所述门值和所述候补预测值,计算并输出待测变量的预测值;
S6、根据所述预测结果计算得到损失函数,通过最小化所述损失函数有监督微调所述门控堆叠同构自编码器的网络参数,将微调后的门控堆叠同构自编码器作为软测量模型。
参考图2,本发明通过堆叠同构自编码器部分和门控部分构成门控堆叠同构自编码器。
堆叠同构自编码器的训练包括无监督逐层预训练与有监督整体微调两个部分。给定输入原始变量,进行标准化后为x=[x1,x2,…,xn]T,其中x∈Rn,n为输入数据的维度,进行逐层的无监督预训练,首先,将第一个同构自编码器IAE1的重构原始数据误差最小化(原始数据x与解码后的数据之间的误差),进而将x映射到第一个隐藏层,然后将该隐藏层的输出h1当作IAE2的输入,通过最小化重构原始数据误差将h1映射到第二个隐藏层。以此类推,直至最后一个同构自编码器IAEL也被训练好时,即完成了整个的无监督预训练过程。
经过预训练后,可以得到每个隐层的抽象表示H={h1,h2,…,hL-1,hL},其中的h1到hL表示第一层至第L层的特征,对于第k层,首先使用特征生成一个门值:
然后将每一个隐藏层的门值作用在候补预测值上,并且将计算结果相加,如下所示:
至此前向传播完成,然后进行有监督微调。
通过最小化下式来根据反向传播算法对相关参数进行调整:
调整完成,即得到软测量模型。
在得到软测量模型之后,还包括:根据性能指标对软测量模型进行精度评价,性能指标包括:均方根误差RMSE和决定系数R2,具体的计算公式分别:
实施例二,在本实施例中,将上述得到的软测量模型用于工业硫回收过程的预测。
工业硫回收过程的输入为两种酸性气体,一种是含有硫化氢的气体,称为MEA,另一种是含有硫化氢和二氧化硫的气体,称为SWS。MEA和SWS首先进行焚烧,从而除去残留的氨气,然后依次送入冷凝器和催化转化器中,催化转化器通过H2S和SO2的反应生成硫和水,从而达到清除硫化物的目的。硫回收过程含有2个主导变量,分别为H2S和SO2浓度,工业硫回收过程的过程变量描述如下表所示。
表1工业硫回收过程的过程变量描述
在本次验证中,选择SO2为主要变量(待测变量),u1-u5为辅助变量(原始变量),为了预测废气中的SO2浓度,选择对五个相关变量进行数据采集。考虑到硫回收过程的动态特性,软测量模型可以设计成如下形式,其中f是门控堆叠同构自编码器:
其中k代表了每个时刻,{u1(k),u1(k-5),u1(k-7),...,u5(k-9)}代表了每个时刻的输入增广变量。
基于上述变量,10071个样本被用于软测量建模,将其中的8000组用于深层网络的训练,对于模型评估,另外的2071组数据用于测试预测性能。为了更有说服力,将门控堆叠同构自编码器软测量模型与基本的堆叠自编码器软测量模型进行比较时,两者网络结构是保持一致的,这是通过试错法确定的,门控堆叠同构自编码器软测量模型的网络层结构如下表:
表2门控堆叠同构自编码器软测量模型的网络层结构
其余的参数设为:有监督微调300轮,无监督预训练每层为训练250次,预训练与微调阶段的批量都设置每次为50个样本,预训练时的学习率设置为0.01,微调阶段的学习率设置为0.03。
在本实施例中,将三种不同方法分别进行了对比实验,实验结果对比参考图3。三种方法在有监督微调阶段的前一百次微调结果,可以看出门控堆叠同构自编码器(GSIAE)比堆叠自编码器(SAE)和堆叠同构自编码器(SIAE)收敛的更快,堆叠自编码器大约在微调20次时达到较小的值,堆叠同构自编码器和门控堆叠同构自编码器大约只需10次左右就达到较小值,且基于门控单元的软测量方法微调结果要明显小于其他两种,充分反映出门控单元对微调阶段的有效性,以及对数据信息筛选的有效性。
表3列出了在训练集与测试集上进行20次实验后的四个指标的平均值。从数值上看,加入了门控单元的同构自编码器(GSIAE)在这四个指标上的表现均优于堆叠自编码器(SAE)和堆叠同构自编码器(SIAE)。更详细的说,使用门控神经元所带来的改善比引入原数据相关损失项更为显著,同时充分说明了微调阶段对于模型最后的性能更起决定性作用。
表3三种模型的精度评价结果
参考图4,为模型训练时的拟合效果,分别选取了训练数据与真实数据的前1000组数据,虚线为数据训练的结果,实线为真实数据的标签,从图中可以看出就算原数据有很大的波动,该软测量方法依旧可以测量的很准确,证明了该模型训练时的有效性。
参考图5,将训练好的模型参数应用于测试数据集中,并分别选取了测试数据和真实数据的前800组数据,虚线为数据测试的结果,实线为真实数据的标签可以看出本发明所提出的门控堆叠自编码器模型有着很好的测试结果,与训练时的结果相差不大,说明了该模型的泛化性良好,没有过拟合现象,同时在数据剧烈变化的过程中也能保持着良好的跟踪效果,证明了该模型测试时的有效性。
本发明提供了一种基于门控堆叠同构自编码器的软测量建模方法,包括:搭建门控堆叠同构自编码器;获取原始变量,并进行标准化处理;将所述标准化后的数据输入到门控堆叠同构自编码器中各隐藏层进行逐层无监督预训练,得到各隐藏层的深度抽象特征;并输入对应的门控单元,得到各隐藏层的门值和候补预测值,根据所述门值和所述候补预测值,计算并输出待测变量的预测值;通过有监督微调最小化损失函数,微调后的网络作为软测量模型。
通过在工业硫回收过程的应用,可以得出结论:本发明提供的方法比传统的堆叠同构自编码器具有更好的信息筛选能力与测量精度,并且具有良好的泛化性,在有监督微调阶段损失函数收敛的更快,充分反映出门控单元对微调阶段的有效性和对数据信息筛选的有效性。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为标识。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种基于门控堆叠同构自编码器的软测量建模方法,其特征在于,包括以下步骤:
搭建门控堆叠同构自编码器,所述门控堆叠同构自编码器包括:门控单元和堆叠同构自编码器;
获取与待测变量相关的原始变量,并对所述原始变量进行标准化处理,得到标准化后的数据;
将所述标准化后的数据输入到所述门控堆叠同构自编码器中的各隐藏层进行逐层无监督预训练,训练完成,得到各隐藏层的深度抽象特征;
将各所述深度抽象特征分别输入到各隐藏层对应的门控单元,得到各隐藏层的门值和候补预测值,
根据所述门值和所述候补预测值,计算并输出所述待测变量的预测值;
根据所述预测值计算得到损失函数,通过最小化所述损失函数有监督微调所述门控堆叠同构自编码器的网络参数,将微调后的门控堆叠同构自编码器作为软测量模型。
2.如权利要求1所述的基于门控堆叠同构自编码器的软测量建模方法,其特征在于,所述堆叠同构自编码器由L个同构自编码器分层堆叠组成,每个所述同构自编码器连接一个门控单元。
3.如权利要求1所述的基于门控堆叠同构自编码器的软测量建模方法,其特征在于,所述通过标准化后的数据对所述门控堆叠同构自编码器中的各隐藏层进行逐层无监督预训练,训练完成,得到各隐藏层的深度抽象特征的步骤,具体包括:
所述门控堆叠同构自编码器中包括L个同构自编码器,对应L个隐藏层;
将标准化后的数据x作为第一个同构自编码器IAE1的输入,第一个同构自编码器IAE1通过最小化重构原始数据误差将x映射到第一个隐藏层,输出第一个隐藏层的深度抽象特征hL;
将所述第一个隐藏层的深度抽象特征h1作为第二个同构自编码器IAE2的输入,第二个同构自编码器IAE2通过最小化重构原始数据误差将h1映射到第二个隐藏层;
依次类推,直至最后一个同构自编码器IAEL也被训练好时,即完成了整个的无监督预训练过程,得到各隐藏层的深度抽象特征H={h1,h2,…,hL-1,hL}。
4.如权利要求1所述的基于门控堆叠同构自编码器的软测量建模方法,其特征在于,所述将各深度抽象特征分别作为各隐藏层对应的门控单元的输入,得到各隐藏层的门值和候补预测值的步骤,具体包括:
对于第k个隐藏层,k=1,2,...L,通过第k个隐藏层的深度抽象特征生成一个门值gk:
经过映射得到第k个隐藏层的候补预测值yk:
7.如权利要求1所述的基于门控堆叠同构自编码器的软测量建模方法,其特征在于,通过反向传播算法最小化所述损失函数。
8.如权利要求1所述的基于门控堆叠同构自编码器的软测量建模方法,其特征在于,在所述将微调后的门控堆叠同构自编码器作为软测量模型的步骤之后,还包括:
根据性能指标对所述软测量模型进行精度评价,所述性能指标包括:均方根误差RMSE和决定系数R2。
9.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述计算机可读存储介质中存储有如权利要求1-8任一所述的基于门控堆叠同构自编码器的软测量建模方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110940803.5A CN114004346A (zh) | 2021-08-17 | 2021-08-17 | 基于门控堆叠同构自编码器的软测量建模方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110940803.5A CN114004346A (zh) | 2021-08-17 | 2021-08-17 | 基于门控堆叠同构自编码器的软测量建模方法及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114004346A true CN114004346A (zh) | 2022-02-01 |
Family
ID=79921088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110940803.5A Pending CN114004346A (zh) | 2021-08-17 | 2021-08-17 | 基于门控堆叠同构自编码器的软测量建模方法及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114004346A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117040030A (zh) * | 2023-10-10 | 2023-11-10 | 国网浙江宁波市鄞州区供电有限公司 | 新能源消纳能力风险管控方法及系统 |
WO2024059965A1 (zh) * | 2022-09-19 | 2024-03-28 | 浙江大学 | 基于双通道信息互补融合堆叠自编码器的产品质量预测方法 |
-
2021
- 2021-08-17 CN CN202110940803.5A patent/CN114004346A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024059965A1 (zh) * | 2022-09-19 | 2024-03-28 | 浙江大学 | 基于双通道信息互补融合堆叠自编码器的产品质量预测方法 |
CN117040030A (zh) * | 2023-10-10 | 2023-11-10 | 国网浙江宁波市鄞州区供电有限公司 | 新能源消纳能力风险管控方法及系统 |
CN117040030B (zh) * | 2023-10-10 | 2024-04-02 | 国网浙江宁波市鄞州区供电有限公司 | 新能源消纳能力风险管控方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xie et al. | Supervised variational autoencoders for soft sensor modeling with missing data | |
CN109060001B (zh) | 一种基于特征迁移学习的多工况过程软测量建模方法 | |
CN111079836B (zh) | 基于伪标签方法和弱监督学习的过程数据故障分类方法 | |
CN109242223B (zh) | 城市公共建筑火灾风险的量子支持向量机评估与预测方法 | |
CN114004346A (zh) | 基于门控堆叠同构自编码器的软测量建模方法及存储介质 | |
CN111768000A (zh) | 在线自适应微调深度学习的工业过程数据建模方法 | |
CN111046961A (zh) | 基于双向长短时记忆单元和胶囊网络的故障分类方法 | |
CN115561005A (zh) | 基于eemd分解和轻量化神经网络的化工过程故障诊断方法 | |
CN111723949A (zh) | 基于选择性集成学习的孔隙度预测方法 | |
CN110634198B (zh) | 一种基于正多胞体滤波的工业系统分层故障诊断方法 | |
CN115905848A (zh) | 基于多模型融合的化工过程故障诊断方法及系统 | |
CN114357872A (zh) | 一种基于stacking模型融合的船舶运动黑箱辨识建模与运动预测方法 | |
Cheraghi et al. | An adaptive artificial neural network for reliability analyses of complex engineering systems | |
CN110245398B (zh) | 空气预热器转子热变形量的软测量深度学习方法 | |
CN112784331A (zh) | 基于改进lstm深度学习方法的土体应力应变关系确定方法 | |
CN111863153A (zh) | 一种基于数据挖掘的废水中悬浮固体总量的预测方法 | |
CN116665039A (zh) | 基于两阶段因果干预的小样本目标识别方法 | |
CN116303786A (zh) | 一种基于多维数据融合算法的区块链金融大数据管理系统 | |
CN114239397A (zh) | 基于动态特征提取与局部加权深度学习的软测量建模方法 | |
CN115482877A (zh) | 一种基于时序图网络的发酵过程软测量建模方法 | |
CN115083511A (zh) | 基于图表示学习与注意力的外围基因调控特征提取方法 | |
CN114529040A (zh) | 一种机电产品装配误差在线预测方法 | |
CN114330114A (zh) | 基于量子支持向量机的铍青铜合金腐蚀速率预测方法 | |
CN114841000B (zh) | 一种基于模态共有特征分离的软测量建模方法 | |
CN113239021B (zh) | 一种用于相似产品剩余寿命预测的数据迁移方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |