CN110245781A - 基于自编码器的极限学习机在工业生产预测的建模应用 - Google Patents

基于自编码器的极限学习机在工业生产预测的建模应用 Download PDF

Info

Publication number
CN110245781A
CN110245781A CN201910399740.XA CN201910399740A CN110245781A CN 110245781 A CN110245781 A CN 110245781A CN 201910399740 A CN201910399740 A CN 201910399740A CN 110245781 A CN110245781 A CN 110245781A
Authority
CN
China
Prior art keywords
self
encoding encoder
learning machine
extreme learning
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910399740.XA
Other languages
English (en)
Inventor
陈恺
王雅洁
杨冰
韩永明
耿志强
孟庆超
于杰
张成梅
陶衡
郝淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUIZHOU ACADEMY OF SCIENCES
Beijing University of Chemical Technology
Original Assignee
GUIZHOU ACADEMY OF SCIENCES
Beijing University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUIZHOU ACADEMY OF SCIENCES, Beijing University of Chemical Technology filed Critical GUIZHOU ACADEMY OF SCIENCES
Priority to CN201910399740.XA priority Critical patent/CN110245781A/zh
Publication of CN110245781A publication Critical patent/CN110245781A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种基于自编码器的极限学习机在工业生产预测的建模应用,包括:使用自编码器对输入数据进行编码,以获取原始数据的主要特征,去除数据中的噪声和冗余信息。根据平均相对误差比较不同自编码器结构对应的自编码器重构损失,选择损失最小的自编码器结构作为最终的自动编码器,使用选择的自编码器对所述原始数据进行编码,作为极限学习机的输入。根据Moore‑Penrose广义逆矩阵计算极限学习机的输出权重,获得极限学习机的最终输出。本发明通过去除数据之中的噪声和冗余信息,将自编码器提取的主要特征用作极限学习机的输入,降低了极限学习机对于隐藏层节点选择的敏感性,提高了模型预测的精度和鲁棒性。

Description

基于自编码器的极限学习机在工业生产预测的建模应用
技术领域
本发明涉及工业生产预测的技术领域,尤其涉及一种基于自编码器的极限学习机在工业生产预测的建模应用。
背景技术
近年来,化工生产技术取得了一定进展,其中精对苯二甲酸(Pure TerephthalicAcid,PTA)发挥了关键作用。PTA在市场上的需求不断增加,其生产成本影响复杂化学过程中的整体能效水平。在PTA生产技术中,节约能源的有效方法之一是建立准确的生产预测模型。
但是,由于PTA生产过程中需要处理大量数据特征和各种影响因素,因此变量之间存在很强的非线性关系。基于统计的传统生产预测模型过于复杂,而且需要相关领域知识的支持,因此已经不适用于对越来越复杂的石化生产数据建立自适应生产预测模型。
人工神经网络(Artificial Neural Network,ANN)是生物神经网络的近似模拟,可用于分类、视觉识别等监督任务,也可用作无监督任务。ANN具有数据驱动、非线性逼近和并行分布式处理的优点。因此,它已经应用于环境科学、电力工业、建筑工程、公路运输和石油化学工业等。反向传播(Back Propagation,BP)神经网络是一种计算神经元相对于最终误差的梯度的算法,具有良好的性能,但是BP的结构需要根据经验来确定,对于开发人员提出了更高的要求。
发明内容
为解决现有技术存在的局限和缺陷,本发明提供一种基于自编码器的极限学习机在工业生产预测的建模应用,包括:
使用自编码器对输入数据进行编码,以获取原始数据的主要特征,计算公式如下:
z=f(wx+b)
其中,x为输入数据,w为隐藏层的权重,b为隐藏层的偏置;
使用所述自编码器最小化输出数据和输入数据之间的差别,计算公式如下:
E=L(x,g(f(x)))
其中,L为衡量所述原始数据和重构数据之间差距的损失函数;
根据平均相对误差比较不同自编码器结构对应的自编码器损失,选择损失最小的自编码器结构作为最终的自动编码器;
使用选择的自编码器对所述原始数据进行编码,作为极限学习机的输入;
极限学习机的最终输出表示如下:
其中,Wk为第k个隐藏节点的输入权重,bk为第k个隐藏节点的偏置,g为激活函数,βk为第k个隐藏节点的输出权重;
将极限学习机的最终输出表示为矩阵形式:
Y=Hβ
其中,H为隐藏层的输出结果,β为隐藏层的输出权重,Y为极限学习机的最终输出结果;
根据极限学习机获得具有最小化输出误差的输出权重计算公式如下:
其中,为真实输出值。
可选的,所述使用自编码器对输入数据进行编码的步骤包括:
获取原始数据的样本集D=(Xi,Yi),其中,Xi=[xi1,xi2,...,xin]∈Rn为输入向量,Yi=[yi1,yi2,...,xim]∈Rm为目标向量;
选择最大值归一化处理,以保持所述原始数据的稀疏性,计算公式如下:
其中,xi,original为所述原始数据第i维的值,xi,max为所述原始数据第i维的最大值,xi,normed为归一化之后的结果。
可选的,还包括:
根据Moore-Penrose广义逆矩阵计算极限学习机的输出权重,计算公式如下:
其中,为极限学习机的输出权重。
可选的,所述使用所述自编码器最小化输出数据和输入数据之间的差别的步骤包括:
所述自编码器的编码过程表示如下:
z=f(wx+b)
所述自解码器的解码过程表示如下:
可选的,所述激活函数为sigmoid函数。
可选的,所述损失函数L为最小均方误差。
本发明具有下述有益效果:
本发明提供的一种基于自编码器的极限学习机在工业生产预测的建模应用,包括:使用自编码器对输入数据进行编码,以获取原始数据的主要特征,去除数据中的噪声和冗余信息。根据平均相对误差比较不同自编码器结构对应的自编码器重构损失,选择损失最小的自编码器结构作为最终的自动编码器,使用选择的自编码器对所述原始数据进行编码,作为极限学习机的输入。根据Moore-Penrose广义逆矩阵计算极限学习机的输出权重,获得极限学习机的最终输出。本发明提供的技术方案通过去除数据之中的噪声和冗余信息,对复杂数据执行降维或者特征学习。本发明将自编码器提取的主要特征用作极限学习机的输入,降低了极限学习机对于隐藏层节点选择的敏感性,提高了模型预测的精度和鲁棒性。
附图说明
图1为本发明实施例一提供的极限学习机的基本架构图。
图2为本发明实施例一提供的自编码器的基本架构图。
图3为本发明实施例一提供的精对苯二甲酸装置的溶剂脱水塔的示意图。
其中,附图标记为:1、共沸蒸馏塔;2、回流罐;3、空气冷凝;4、水冷凝。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图对本发明提供的基于自编码器的极限学习机在工业生产预测的建模应用进行详细描述。
实施例一
极限学习机(Extreme Learning Machine,ELM)只有一个隐藏层,以简化人工神经网络(Artificial Neural Network,ANN)的训练和泛化过程。ELM随机初始化输入权重和阈值,而不是使用梯度下降算法迭代地更新网络权重,而且输出权重可以通过求解矩阵方程进行计算。ELM解决了ANN在梯度下降过程中容易陷入局部最小值的问题。ELM已经广泛应用于食品生产、风速预测、生物系统工程、非线性系统控制和区域供热系统等。但是,ELM的有效性与隐藏层节点数量的选择有很大关系。由于缺乏稳定性,ELM在实际应用中往往表现不佳。
基于主成分提取的鲁棒极限学习机(PCE-RELM)模型用于解决传统ELM的局限性。主元分析(Principal Component Analysis,PCA)将原始数据投影到具有最大方差的几个相互正交的方向,以期望保留最多的样本信息。PCA是一种常用的降维方法,可以提取原始数据的主要特征。但是,PCA只能执行线性变换以获得低维的数据集。自编码器(Autoencoder,AE)是一种非线性降维方法,与PCA相比,AE更加灵活,可以表示线性和非线性变换。本实施例提出了一种基于AE的ELM模型(AE-ELM),通过去除数据中的噪声和冗余信息,AE可以对复杂数据执行降维或特征学习。本实施例通过原始数据的主要特征作为ELM的输入,可以提高传统ELM模型的精度和鲁棒性。
本实施例提供一种基于自编码器的极限学习机在工业生产预测的建模应用,用于对工业过程数据进行预测建模。AE可以通过消除原始复杂数据之间的线性相关性来提取具有较低维度的主要特征。然后,将AE提取的主要特征用作传统ELM的输入,降低了ELM对于隐藏层节点选择的敏感性,提高了模型预测的精度和鲁棒性。
图1为本发明实施例一提供的极限学习机的基本架构图,图2为本发明实施例一提供的自编码器的基本架构图。如图1-2,本实施例获取工业生产数据样本集D=(Xi,Yi),其中,Xi=[xi1,xi2,...,xin]∈Rn是输入向量,Yi=[yi1,yi2,...,xim]∈Rm是目标向量。首先将样本集分为训练数据集和测试数据集,为了使输入数据的各个维度具有相同的尺度,需要对输入数据进行归一化处理。本实施例选择最大值归一化处理,以保持原始数据的稀疏性:
其中,xi,original代表原始输入数据第i维的值,xi,max代表原始数据第i维的最大值,xi,normed表示归一化后的结果。本实施例使用AE对输入数据进行编码,获取原始数据的主要特征,其中编码的过程可以表示为:
z=f(wx+b)
其中,x代表输入数据,w和b分别代表隐藏层的权重和偏置。解码器从编码z之中重构原始数据,解码过程可以表示为:
因此,AE的学习过程就是最小化重构误差,即最小化输出数据和输入数据之间的差别:
E=L(x,g(f(x)))
其中,L代表衡量原始数据和重构数据之间差距的损失函数。对于预测问题,L通常可以选用最小均方误差(MSE)。为了决定AE的编码维度,根据平均相对误差准则(MRE),比较不同AE结构之下对应的AE损失,选择损失最小的AE结构作为最终的自动编码器。随后,使用选定的AE对训练数据之中的原始数据进行编码,作为ELM的输入。
ELM是具有单一隐藏层的神经网络模型,主要特点是隐藏层的权重不需要通过迭代训练更新,而是通过随机设定或者手动设定,而且不再修改。此外,ELM模型的输出权重通过求解矩阵方程求解。因此,ELM具有学习速率快的特点。
对于上述给定的数据集,ELM模型的最终输出可以表示为:
其中,Wk和bk代表第k个隐藏节点的输入权重和偏置,g表示激活函数,βk表示第k个隐藏节点的输出权重。本实施例选择sigmoid函数作为激活函数。
上述公式可以表示为矩阵形式:
Y=Hβ
其中,H代表隐藏层的输出结果,β代表隐藏层的输出权重,Y代表ELM的最终输出结果。
本实施例中,ELM模型的学习目标是找到可以最小化输出误差的其学习过程可以表示为:
也就是,
其中,为真实输出值。
为了避免陷入局部极小值的问题,ELM模型的输出权重通过Moore-Penrose广义逆矩阵计算:
本实施例将AE的编码结果作为ELM的输入,随机初始化ELM的输入权重,根据上述公式,计算ELM的输出权重最后保存得到的模型参数,使用测试数据集验证AE-ELM模型的有效性和稳定性。
下面使用一个PTA数据为例来说明本实施例提供的基于自编码器的极限学习机在工业生产预测的建模应用的具体实施细节和方式。
本实施例选取了2007年DCS采集的PTA设备数据,在PTA工艺技术中,醋酸的消耗是衡量其先进性和有效性的重要指标。因此,降低醋酸的消耗是提高经济效益的重要目标。图3为本发明实施例一提供的精对苯二甲酸装置的溶剂脱水塔的示意图。如图3所示,PTA系统分为三个部分:溶剂脱水塔、再沸器和回流罐。具体为,PTA系统包括:共沸蒸馏塔1、回流罐2、空气冷凝3、水冷凝4。
影响PTA系统醋酸含量的主要因素为:水回流量、进料流量、进料组成、NBA主回流量、NBA侧线回流量、在44号塔板和50号托盘之间的温度点、蒸汽流量、蒸汽气压、回流温度、塔顶温度、塔顶采出量、进料温度、回流罐液位、35号板上的温度、35号板和40号板之间的温度、灵敏板附近的压力、53号板和58号板之间的可控温度点的温度。输出变量是塔顶的导电率(塔顶导电率可以反映塔顶的醋酸含量)。
本实施例采集259组生产数据,其中172组作为训练数据,87组作为测试数据。根据实际生产数据,确定共有17个输入变量,1个输出变量。
这里以最小重构误差为准则,确定AE的结构。通过比较不同AE隐藏层节点数目下AE-ELM的平均相对误差(MRE),确定自编码器的隐藏层节点数目为3,实验结果如表1所示。
表1不同AE结构下AE-ELM的平均相对误差
为了证明本实施例提出方法的有效性,本实施例比较AE-ELM、ELM和PCE-RELM在不同ELM隐藏节点数下的平均相对误差,其结果如表2所示。从表2可以看出,AE-ELM模型将误差控制在了0.6%到0.9%之间。同时,在保证精度的条件下,提高了ELM的鲁棒性,对复杂工业过程的生产预测具有指导意义。
表2不同ELM结构下的平均相对误差
本实施例提供的一种基于自编码器的极限学习机在工业生产预测的建模应用,包括:使用自编码器对输入数据进行编码,以获取原始数据的主要特征,使用所述自编码器最小化输出数据和输入数据之间的差别,根据平均相对误差比较不同自编码器结构对应的自编码器损失,选择损失最小的自编码器结构作为最终的自动编码器,使用选择的自编码器对所述原始数据进行编码,作为极限学习机的输入,获得极限学习机的最终输出,根据极限学习机获得具有最小化输出误差的输出权重。本实施例提供的技术方案通过去除数据之中的噪声和冗余信息,对复杂数据执行降维或者特征学习。本实施例将自编码器提取的主要特征用作极限学习机的输入,降低了极限学习机对于隐藏层节点选择的敏感性,提高了模型预测的精度和鲁棒性。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。

Claims (6)

1.一种基于自编码器的极限学习机在工业生产预测的建模应用,其特征在于,包括:
使用自编码器对输入数据进行编码,以获取原始数据的主要特征,计算公式如下:
z=f(wx+b)
其中,x为输入数据,w为隐藏层的权重,b为隐藏层的偏置;
使用所述自编码器最小化输出数据和输入数据之间的差别,计算公式如下:
E=L(x,g(f(x)))
其中,L为衡量所述原始数据和重构数据之间差距的损失函数;
根据平均相对误差比较不同自编码器结构对应的自编码器损失,选择损失最小的自编码器结构作为最终的自动编码器;
使用选择的自编码器对所述原始数据进行编码,作为极限学习机的输入;
极限学习机的最终输出表示如下:
其中,Wk为第k个隐藏节点的输入权重,bk为第k个隐藏节点的偏置,g为激活函数,βk为第k个隐藏节点的输出权重;
将极限学习机的最终输出表示为矩阵形式:
Y=Hβ
其中,H为隐藏层的输出结果,β为隐藏层的输出权重,Y为极限学习机的最终输出结果;
根据极限学习机获得具有最小化输出误差的输出权重计算公式如下:
其中,为真实输出值。
2.根据权利要求1所述的基于自编码器的极限学习机在工业生产预测的建模应用,其特征在于,所述使用自编码器对输入数据进行编码的步骤包括:
获取原始数据的样本集D=(Xi,Yi),其中,Xi=[xi1,xi2,...,xin]∈Rn为输入向量,Yi=[yi1,yi2,...,xim]∈Rm为目标向量;
选择最大值归一化处理,以保持所述原始数据的稀疏性,计算公式如下:
其中,xi,original为所述原始数据第i维的值,xi,max为所述原始数据第i维的最大值,xi,normed为归一化之后的结果。
3.根据权利要求1所述的基于自编码器的极限学习机在工业生产预测的建模应用,其特征在于,还包括:
根据Moore-Penrose广义逆矩阵计算极限学习机的输出权重,计算公式如下:
其中,为极限学习机的输出权重。
4.根据权利要求1所述的基于自编码器的极限学习机在工业生产预测的建模应用,其特征在于,所述使用所述自编码器最小化输出数据和输入数据之间的差别的步骤包括:
所述自编码器的编码过程表示如下:
z=f(wx+b)
所述自解码器的解码过程表示如下:
5.根据权利要求1所述的基于自编码器的极限学习机在工业生产预测的建模应用,其特征在于,所述激活函数为sigmoid函数。
6.根据权利要求1所述的基于自编码器的极限学习机在工业生产预测的建模应用,其特征在于,所述损失函数L为最小均方误差。
CN201910399740.XA 2019-05-14 2019-05-14 基于自编码器的极限学习机在工业生产预测的建模应用 Pending CN110245781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910399740.XA CN110245781A (zh) 2019-05-14 2019-05-14 基于自编码器的极限学习机在工业生产预测的建模应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910399740.XA CN110245781A (zh) 2019-05-14 2019-05-14 基于自编码器的极限学习机在工业生产预测的建模应用

Publications (1)

Publication Number Publication Date
CN110245781A true CN110245781A (zh) 2019-09-17

Family

ID=67884258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910399740.XA Pending CN110245781A (zh) 2019-05-14 2019-05-14 基于自编码器的极限学习机在工业生产预测的建模应用

Country Status (1)

Country Link
CN (1) CN110245781A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241688A (zh) * 2020-01-15 2020-06-05 北京百度网讯科技有限公司 复合生产工艺过程监控方法及装置
CN112485394A (zh) * 2020-11-10 2021-03-12 浙江大学 一种基于稀疏自编码和极限学习机的水质软测量方法
CN113342474A (zh) * 2021-06-29 2021-09-03 中国农业银行股份有限公司 客户流量的预测、模型训练的方法、设备及存储介质
CN113469257A (zh) * 2021-07-07 2021-10-01 云南大学 一种配电变压器故障检测方法和系统
CN116738354A (zh) * 2023-08-15 2023-09-12 国网江西省电力有限公司信息通信分公司 一种电力物联网终端行为异常检测方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241688A (zh) * 2020-01-15 2020-06-05 北京百度网讯科技有限公司 复合生产工艺过程监控方法及装置
CN111241688B (zh) * 2020-01-15 2023-08-25 北京百度网讯科技有限公司 复合生产工艺过程监控方法及装置
CN112485394A (zh) * 2020-11-10 2021-03-12 浙江大学 一种基于稀疏自编码和极限学习机的水质软测量方法
CN113342474A (zh) * 2021-06-29 2021-09-03 中国农业银行股份有限公司 客户流量的预测、模型训练的方法、设备及存储介质
CN113342474B (zh) * 2021-06-29 2024-04-30 中国农业银行股份有限公司 客户流量的预测、模型训练的方法、设备及存储介质
CN113469257A (zh) * 2021-07-07 2021-10-01 云南大学 一种配电变压器故障检测方法和系统
CN116738354A (zh) * 2023-08-15 2023-09-12 国网江西省电力有限公司信息通信分公司 一种电力物联网终端行为异常检测方法及系统
CN116738354B (zh) * 2023-08-15 2023-12-08 国网江西省电力有限公司信息通信分公司 一种电力物联网终端行为异常检测方法及系统

Similar Documents

Publication Publication Date Title
CN110245781A (zh) 基于自编码器的极限学习机在工业生产预测的建模应用
CN103927412B (zh) 基于高斯混合模型的即时学习脱丁烷塔软测量建模方法
Jung et al. Application of model trees and other machine learning techniques for algal growth prediction in Yongdam reservoir, Republic of Korea
CN106971237B (zh) 一种基于细菌觅食优化算法的中长期径流预报方法
CN105425583B (zh) 基于协同训练lwpls的青霉素生产过程的控制方法
Chuentawat et al. The comparison of PM2. 5 forecasting methods in the form of multivariate and univariate time series based on support vector machine and genetic algorithm
CN105447509A (zh) 一种光伏发电系统的短期功率预测方法
CN108520111A (zh) 一种基于正交成分最优选择与最优回归的软测量方法
Mousavi et al. Modeling surface tension of ionic liquids by chemical structure-intelligence based models
CN112199862B (zh) 纳米粒子运移的预测方法、其影响因子分析方法及系统
CN110929809B (zh) 一种特征自增强的循环神经网络的污水关键水质指标软测量方法
CN114117852B (zh) 一种基于有限差分工作域划分的区域热负荷滚动预测方法
CN113780420B (zh) 基于gru-gcn的变压器油中溶解气体浓度预测方法
CN110738363A (zh) 一种光伏发电功率预测模型及其构建方法和应用
CN113051828B (zh) 一种工艺参数驱动的天然气水露点在线预测方法
CN113762591A (zh) 一种基于gru和多核svm对抗学习的短期电量预测方法及系统
Riady Stock price prediction using prophet facebook algorithm for BBCA and TLKM
Cheng-Ping et al. Research on hydrology time series prediction based on grey theory and [epsilon]-support vector regression
Guo et al. Short-term wind power prediction based on genetic algorithm to optimize RBF neural network
Al-Fawa’Reh et al. Intelligent Methods for flood forecasting in Wadi al Wala, Jordan
Jiang et al. Discharge estimation based on machine learning
Kumar et al. Stock Market Prediction by Non-Linear Combination based on Support Vector Machine Regression Model.
Pan et al. Air visibility prediction based on multiple models
WANG et al. The estimation of reference evapotranspiration based on gamma test and gene expression programming using the weather data set from different climatic zones in China
Goz et al. Machine Learning Application of Dissolved Oxygen Prediction in River Water Quality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190917

RJ01 Rejection of invention patent application after publication