CN110096810A - 一种基于逐层数据扩充深度学习的工业过程软测量方法 - Google Patents

一种基于逐层数据扩充深度学习的工业过程软测量方法 Download PDF

Info

Publication number
CN110096810A
CN110096810A CN201910366487.8A CN201910366487A CN110096810A CN 110096810 A CN110096810 A CN 110096810A CN 201910366487 A CN201910366487 A CN 201910366487A CN 110096810 A CN110096810 A CN 110096810A
Authority
CN
China
Prior art keywords
data
layer
encoder
self
expansion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910366487.8A
Other languages
English (en)
Other versions
CN110096810B (zh
Inventor
袁小锋
欧晨
王雅琳
阳春华
桂卫华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201910366487.8A priority Critical patent/CN110096810B/zh
Publication of CN110096810A publication Critical patent/CN110096810A/zh
Application granted granted Critical
Publication of CN110096810B publication Critical patent/CN110096810B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于逐层数据扩充深度学习的工业过程软测量方法，属于软测量技术领域，本发明所公开的技术方案通过采取数据扩充自编码器扩充过程变量的样本量，并利用多个数据扩充自编码器堆栈成深度网络模型，从工业过程数据中逐层获得由低层次到高层次的大量样本，为深度学习模型提供足够多的样本量，实现对产品质量的准确预测，能广泛运用于复杂工业过程如加氢裂化过程、钢铁烧结过程的产品质量预测，具有预测精度高、泛化性好等优点。

Description

一种基于逐层数据扩充深度学习的工业过程软测量方法
技术领域
本发明涉及软测量技术领域，特别涉及一种基于逐层数据扩充深度学习的工业过程软测量方法。
背景技术
在现代工业生产中，为了得到最佳过程控制策略、实现运行性能最优化，需要对工业生产过程关键产品质量进行实时测量并有效检测，采用传统的仪表或化验去检测，具有测量滞后、测量仪器昂贵等缺点，难以满足生产需求。因此，目前普遍采取软测量技术测量方式，对工业生产中难以测量或暂时不能测量的过程变量，通过选择测量另外一些易于检测且关系紧密的过程变量，构建它们之间的数学模型，运用计算机技术，进行推导和估计，实现实时检测，具有可在线监测、经济可靠、动态响应、可连续给出相关信息的优点。
传统软测量技术大致可分为机理分析方式和数据分析方式，但随着工业生产过程的复杂化和大规模化，该两种软测量方式对工业生产过程特性和状态变化的精确描述能力不足，造成实时产品质量检测和分析的精度不断降低，难以满足现代工业对测量精度的要求。得益于计算机技术和信息化技术的在工业生产中广泛和深入运用，长期以来积累了大量的工业生产过程的运行数据，这些数据蕴含有丰富的生产过程信息和知识，基于深度学习模型的软测量技术理论上具有较高预测精度的潜力，通过多层神经网络结构从这些过程数据中学习由低层具体特征到高层抽象特征提取，用于输出质量预测建模。但生产实践中，这些工业过程数据通常存在测量噪声、缺失值、异常值和采样率不一致等问题，经过预处理剔除不合格数据，剩下的有效数据就很少了，而深度学习模型往往需要大量数据作为训练样本，由于有效数据偏少，深度学习模型在实践中常常无法取得满意的预测精度，即现有深度学习模型存在小样本问题的缺陷。
发明内容
本发明的目的在于提供一种基于逐层数据扩充深度学习的工业过程软测量方法，解决生产实践中训练样本过少导致现有深度学习模型技术无法取得满意的预测精度的问题。
为了实现上述目的，本发明提供技术方案如下：
一种基于逐层数据扩充深度学习的工业过程软测量方法，包括：
第一步：获取工业生产过程中的过程变量和质量变量并进行归一化处理：
采集一定生产时间内的过程变量xi,j和质量变量yi，作为样本数据进行归一化处理：
其中i＝1,2,...,N,j＝1,2,...,m,N为获得的样本总数，m为过程变量数；xmin,j和xmax,j分别为第j个过程变量的最小值和最大值，ymin和ymax分别为质量变量的最小值和最大值；
第二步：训练深度学习模型：
所述深度学习模型包括若干个数据扩充自编码器，每相邻的两个数据扩充自编码器中，将排列在前的数据扩充自编码器的隐含层特征数据经数据扩充后作为排列在后的数据扩充自编码器的输入，对排列在后的数据扩充自编码器进行训练；每个数据扩充自编码器的数据扩充目标函数为：
其中，k表示逐层数据扩充深度学习模型中第k个数据扩充自编码器，对应输入层到隐含层的权重系数和偏置项为{Wk,bk}，激励函数为fk，隐含层到其输出层(重构输入层)的权重系数和偏置项为{W′k,b′k}，激励函数为f′k；
第三步：输出质量指标的估计值。
进一步地，所述的“第二步：训练深度学习模型”中数据扩充自编码器共计三个，分别为第一数据扩充自编码器、第二数据扩充自编码器和第三数据扩充自编码器，则所述的“训练深度学习模型”可表示为如下步骤：
2.1、获取第一扩充数据集：
对每两相邻过程变量样本xi、xi+1之间线性插值得到虚拟样本并将所有的虚拟样本xv和原样本x组成第一扩充数据集xA(i)：
其中i＝1,2,...,2N-1；
2.2、获得第一数据扩充自编码器的隐含层特征数据：
将第一扩充数据集xA(i)作为第一数据扩充自编码器的输入，记第一数据扩充自编码器隐含层数据为i＝1,2,...,2N-1，对应输出层的重构数据为i＝1,2,...,2N-1，将第一数据扩充自编码器网络参数集记为θ1＝{W1,b1,W′1,b′1}；从而有各个网络层之间的关系式可表示为：
f1、f′1为sigmoid函数；
将第一数据扩充自编码器的输出层表示为输入层函数式：
将所述第一扩充数据集作为输入，构建第一数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第一数据扩充自编码器进行训练，得到所述第一数据扩充自编码器的网络参数θ1＝{W1,b1,W′1,b′1}，并计算得到第一数据扩充自编码器的隐含层特征数据i＝1,2,...,2N-1；
2.3、获取第二扩充数据集：
将第一数据扩充自编码器的隐含层特征数据样本之间线性插值得到虚拟样本i＝1,2,...,2N-2，然后将所有的虚拟样本h1(v)和原样本h1组成第二扩充数据集
其中i＝1,2,...,4N-3；
2.4、获得第二数据扩充自编码器的隐含层特征数据：
将第二扩充数据集作为第二数据扩充自编码器的输入；记该第二数据扩充自编码器隐含层特征数据为i＝1,2,...,4N-3，对应输出层将对其输入层进行重构，重构数据可记为i＝1,2,...,4N-3；记该第二数据扩充自编码器的网络参数为θ2＝{W2,b2,W′2,b′2}；从而有各个网络层之间的关系式可表示为：
f2、f′2为sigmoid函数；
将第二数据扩充自编码器的输出层表示为输入层函数式：
将所述第二扩充数据集作为输入，构建第二数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第二数据扩充自编码器进行训练，得到所述第二数据扩充自编码器的网络参数θ2＝{W2,b2,W′2,b′2}，并计算得到所述第二数据扩充自编码器的隐含层特征数据i＝1,2,...,4N-3；
2.5、获取第三扩充数据集：
将所述第二数据扩充自编码器的隐含层特征数据样本之间线性插值得到虚拟样本i＝1,2,...,4N-4，然后将所有的虚拟样本h2(v)和原样本h2组成第三扩充数据集
其中i＝1,2,...,8N-7；
2.6、获得第三数据扩充自编码器的隐含层特征数据：
将第三扩充数据集作为第三数据扩充自编码器的输入；记该第三数据扩充自编码器隐含层特征数据为i＝1,2,...,8N-7，对应输出层将对其输入层进行重构，重构数据可记为i＝1,2,...,8N-7；记该第三数据扩充自编码器的网络参数为θ3＝{W3,b3,W′3,b′3}；从而有各个网络层之间的关系式可表示为：
f3、f′3为sigmoid函数；
将第三数据扩充自编码器的输出层表示为输入层函数式：
将所述第三扩充数据集作为输入，构建第三数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第三数据扩充自编码器进行训练，得到所述第三数据扩充自编码器的网络参数θ3＝{W3,b3,W′3,b′3}，并计算得到所述第三数据扩充自编码器的隐含层特征数据i＝1,2,...,8N-7。
进一步地，所述的“第三步：输出质量指标的估计值”采取如下方式：
将第三数据扩充自编码器预训练完成后，在其隐含层上连接最终输出层，输出层数据由质量变量数据yi构成，输出层对应网络参数为{W,b}；通过以下目标函数，微调整个基于堆栈自编码器的深度学习模型的参数θ＝{W1,b1,W2,b2,W3,b3,W,b}，直至满足收敛条件：
其中，i＝1,2,...,N，为通过网络前向算法获得的输出质量指标的估计值。
进一步地，所述的“工业过程软测量”为加氢裂化过程产品质量预测。
进一步地，选择加氢裂化生产过程中航煤10％馏出点为输出变量，通过机理分析，从过程中选取对该输出变量有较大影响的43个过程变量作为逐层数据扩充深度学习模型的输入变量；提取加氢裂化过程的600个数据样本用作训练数据。
进一步地，所述的“工业过程软测量”为钢铁烧结过程产品质量预测。
进一步地，选择氧化亚铁(FeO)含量作为输出变量；通过机理分析，从过程中选取对FeO含量有较大影响的19个过程变量作为逐层数据扩充深度学习模型的输入变量；提取钢铁烧结过程的1000个数据样本用作训练数据。
本发明的有益效果在于：通过数据扩充自编码器扩充过程变量的样本量，并利用多个数据扩充自编码器堆栈成深度网络模型，从工业过程数据中逐层获得由低层次到高层次的大量样本，为深度学习模型提供足够多的样本量，实现对产品质量提供准确预测值，具有预测精度高、泛化性好等优点。
附图说明
图1为根据本发明实施例的工业过程产品质量预测方法示意图。
图2为根据本发明实施例的深度学习模型对加氢裂化生产过程中航煤10％馏出点预测示意图。
图3为根据本发明实施例对加氢裂化生产过程中航煤10％馏出点预测的三种神经网络收敛速度结果比较示意图。
图4为根据本发明实施例的深度学习模型对钢铁烧结过程中氧化亚铁含量预测示意图。
图5为根据本发明实施例对钢铁烧结过程中氧化亚铁含量预测的三种神经网络收敛速度结果比较示意图。
具体实施方式
为进一步公开本发明内容，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述：
如图1所示，图中示出了一种基于逐层数据扩充深度学习的工业过程软测量方法，包括：
第一步：获取工业生产过程中的过程变量和质量变量并进行归一化处理：
采集一定生产时间内的过程变量xi,j和质量变量yi，作为样本数据进行归一化处理：
其中i＝1,2,...,N,j＝1,2,...,m,N为获得的样本总数，m为过程变量数。xmin,j和xmax,j分别为第j个过程变量的最小值和最大值，ymin和ymax分别为质量变量的最小值和最大值。
第二步：训练的深度学习模型：
所述深度学习模型包括第一数据扩充自编码器、第二数据扩充自编码器和第三数据扩充自编码器。
2.1、获取第一扩充数据集：
对每两相邻过程变量样本xi、xi+1之间线性插值得到虚拟样本并将所有的虚拟样本xv和原样本x组成第一扩充数据集xA(i)：
其中i＝1,2,...,2N-1。
线性插值可以减少原训练集的空缺值或异常值对预测效果的影响，通过在训练样本之间插补虚拟样本，提高了训练样本之间无数据空间的预测性能。此外，从奥卡姆剃刀的角度来看，线性插值是一种很好的归纳偏置。
2.2、获得第一数据扩充自编码器的隐含层特征数据：
将第一扩充数据集xA(i)作为第一数据扩充自编码器的输入，记第一数据扩充自编码器隐含层数据为i＝1,2,...,2N-1，对应输出层的重构数据为i＝1,2,...,2N-1，将第一数据扩充自编码器网络参数集记为θ1＝{W1,b1,W′1,b′1}。从而有各个网络层之间的关系式可表示为：
f1、f′1为sigmoid函数。
将第一数据扩充自编码器的输出层表示为输入层函数式：
将所述第一扩充数据集作为输入，构建第一数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第一数据扩充自编码器进行训练，得到所述第一数据扩充自编码器的网络参数θ1＝{W1,b1,W′1,b′1}，并计算得到第一数据扩充自编码器的隐含层特征数据i＝1,2,...,2N-1。
2.3、获取第二扩充数据集：
将第一数据扩充自编码器的隐含层特征数据样本之间线性插值得到虚拟样本i＝1,2,...,2N-2，然后将所有的虚拟样本h1(v)和原样本h1组成第二扩充数据集
其中i＝1,2,...,4N-3。
2.4、获得第二数据扩充自编码器的隐含层特征数据：
将第二扩充数据集作为第二数据扩充自编码器的输入。记该第二数据扩充自编码器隐含层特征数据为i＝1,2,...,4N-3，对应输出层将对其输入层进行重构，重构数据可记为i＝1,2,...,4N-3。记该第二数据扩充自编码器的网络参数为θ2＝{W2,b2,W′2,b′2}。从而有各个网络层之间的关系式可表示为：
f2、f′2为sigmoid函数。
将第二数据扩充自编码器的输出层表示为输入层函数式：
将所述第二扩充数据集作为输入，构建第二数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第二数据扩充自编码器进行训练，得到所述第二数据扩充自编码器的网络参数θ2＝{W2,b2,W′2,b′2}，并计算得到所述第二数据扩充自编码器的隐含层特征数据i＝1,2,...,4N-3。
2.5、获取第三扩充数据集：
将所述第二数据扩充自编码器的隐含层特征数据样本之间线性插值得到虚拟样本i＝1,2,...,4N-4，然后将所有的虚拟样本h2(v)和原样本h2组成第三扩充数据集
其中i＝1,2,...,8N-7。
2.6、获得第三数据扩充自编码器的隐含层特征数据：
将第三扩充数据集作为第三数据扩充自编码器的输入。记该第三数据扩充自编码器隐含层特征数据为i＝1,2,...,8N-7，对应输出层将对其输入层进行重构，重构数据可记为i＝1,2,...,8N-7。记该第三数据扩充自编码器的网络参数为θ3＝{W3,b3,W′3,b′3}。从而有各个网络层之间的关系式可表示为：
f3、f′3为sigmoid函数。
将第三数据扩充自编码器的输出层表示为输入层函数式：
将所述第三扩充数据集作为输入，构建第三数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第三数据扩充自编码器进行训练，得到所述第三数据扩充自编码器的网络参数θ3＝{W3,b3,W′3,b′3}，并计算得到所述第三数据扩充自编码器的隐含层特征数据i＝1,2,...,8N-7。
第三步：输出质量指标的估计值：
将第三数据扩充自编码器预训练完成后，在其隐含层上连接最终输出层，输出层数据由质量变量数据yi构成，输出层对应网络参数为{W,b}。通过以下目标函数，微调整个基于堆栈自编码器的深度学习模型的参数θ＝{W1,b1,W2,b2,W3,b3,W,b}，直至满足收敛条件：
其中，i＝1,2,...,N，为通过网络前向算法获得的输出质量指标的估计值
作为一种替代方案，还可以有3个以上的数据扩充自编码器，需要构建更多层次的逐层数据扩充深度学习模型，其网络结构为m→m1→m2→m3→…→mk→1。其中mk为第k个数据扩充自编码器隐含层神经元数；在训练深度学习模型时，每相邻的两个数据扩充自编码器中，将排列在前的数据扩充自编码器的隐含层特征数据经数据扩充后作为排列在后的数据扩充自编码器的输入，对排列在后的数据扩充自编码器进行训练。每个数据扩充自编码器的数据扩充目标函数为：
其中，k表示逐层数据扩充深度学习模型中第k个数据扩充自编码器，对应输入层到隐含层的权重系数和偏置项为{Wk,bk}，激励函数为fk，隐含层到其输出层(重构输入层)的权重系数和偏置项为{W′k,b′k}，激励函数f′k。
本技术方案利用了多个数据扩充自编码器堆栈成逐层数据扩充深度学习模型，每一个自编码器(比如：第一数据扩充自编码器、第二数据扩充自编码器或第三数据扩充自编码器)在训练过程中，输入变量为经过数据扩充后的扩充数据集，其扩充数据集由原输入变量每两个相邻样本线性插值形成，能够逐层获得由低层次到高层次的大量样本，为产品质量提供准确预测值。其网络结构为m→m1→m2→m3→…→mk→1。其中m为整个网络输入层神经元数；m1为第一数据扩充自编码器隐含层神经元数，m2为第二数据扩充自编码器隐含层神经元数，m3为第三数据扩充自编码器隐含层神经元数……,mk为第K数据扩充自编码器隐含层神经元数,1为最终质量变量输出层神经元数。各数据扩充自编码器的输入层到隐含层的权重系数和偏置项记为{W1,b1}、{W2,b2}和{W3,b3}……，对应激励函数为f1、f2、f3……。同时，各数据扩充自编码器的隐含层到其输出层(重构输入层)的权重系数和偏置项分别为{W′1,b′1}、{W′2,b′2}、{W′3,b′3}……，对应激励函数为f′1、f′2、f′3……。第K个数据扩充自编码器隐含层到质量变量输出层的权重系数和偏置项记为{W,b}，对应激活函数为f。
具体实施例1：
本实施例中示出了本发明技术方案逐层数据扩充深度学习的工业过程软测量应用到加氢裂化过程产品质量预测中，包括：
基于生产过程要求，选择加氢裂化生产过程中航煤10％馏出点作为输出变量y，通过机理分析从过程中选取对该输出变量有较大影响的43个过程变量作为逐层数据扩充深度学习模型的输入变量，如表1所示，记为x(1),x(2),...,x(43)。提取加氢裂化过程的600个数据样本用作训练数据，同时，对所有变量进行归一化处理。
表1选取的对航煤10％馏出点有较大影响的43个过程变量
构建逐层数据扩充深度学习模型网络结构，本实施例中的网络结构为43→33→23→13→1。即原始43维过程变量经过三个数据扩充自编码器依次降为33维、23维和13维，最终与一维输出质量变量y相连。各数据扩充自编码器的输入层到隐含层的权重系数和偏置项记为{W1,b1}、{W2,b2}和{W3,b3}，对应激励函数f1、f2和f3均采用sigmoid函数。同时，各数据扩充自编码器的隐含层到其输出层(重构输入层)的权重系数和偏置项分别为{W′1,b′1}、{W′2,b′2}和{W′3,b′3}，对应激励函数f′1、f′2和f′3亦均采用sigmoid函数。第三个数据扩充自编码器隐含层到质量变量输出层的权重系数和偏置项记为{W,b}，对应激活函数f采用sigmoid函数。
对所述过程变量xi，i＝1,2,...,600进行数据扩充，得到第一扩充数据集xA；为了按照过程变量自身分布扩充数据，本实施例中提出一种数据扩充方式。首先，对每两相邻过程变量xi,xi+1,i＝1,2,...,599样本之间线性插值得到虚拟样本i＝1,2,...,599：
然后将所有的虚拟样本xv和原样本x组成第一扩充数据集xA：
i＝1,2,...,1199
线性插值可以减少原训练集的空缺值或异常值对预测效果的影响，通过在训练样本之间插补虚拟样本，提高了训练样本之间无数据空间的预测性能。此外，从奥卡姆剃刀的角度来看，线性插值是一种很好的归纳偏置。
将第一扩充数据集xA(i)，i＝1,2,...,1199作为第一数据扩充自编码器的输入，记第一数据扩充自编码器隐含层数据为i＝1,2,...,1199，对应输出层的重构数据为i＝1,2,...,1199，将第一数据扩充自编码器网络参数集记为θ1＝{W1,b1,W′1,b′1}。从而有各个网络层之间的关系式可表示为：
可将第一数据扩充自编码器的输出层表示为输入层函数式：
为此，在本实施例中，将所述第一扩充数据集作为输入，构建第一数据扩充自编码器的预训目标函数：
通过反向传播算法对所述第一数据扩充自编码器进行训练，得到所述第一数据扩充自编码器的网络参数θ1＝{W1,b1,W′1,b′1}，并计算得到所述第一数据扩充自编码器的隐含层特征数据i＝1,2,...,1199。
第二扩充数据集的获取方式与第一扩充数据集的获取方式类似，将所述隐含层特征数据i＝1,2,...,1199样本之间线性插值得到虚拟样本i＝1,2,...,1198，然后将所有的虚拟样本h1(v)和原样本h1组成第二扩充数据集i＝1,2,...,2397。
在本实施例中，将第二扩充数据集i＝1,2,...,2397作为第二数据扩充自编码器的输入。该第二数据扩充自编码器隐含层特征数据记为i＝1,2,...,2397，对应输出层将对其输入层进行重构，重构数据可记为i＝1,2,...,2397。该第二数据扩充自编码器的参数记为θ2＝{W2,b2,W′2,b′2}。
第二数据扩充自编码器训练方式与第一数据扩充自编码器训练方式类似，将所述第二扩充数据集作为输入，构建第二数据扩充自编码器的预训目标函数：
通过反向传播算法对所述第二数据扩充自编码器进行训练，得到所述第二数据扩充自编码器的网络参数θ2＝{W2,b2,W′2,b′2}，并计算得到所述第二数据扩充自编码器的隐含层特征数据i＝1,2,...,2397。
在本实施例中，第三扩充数据集的获取方式与第一扩充数据集、第二扩充数据集的获取方式类似，将所述第二数据扩充自编码器的隐含层特征数据i＝1,2,...,2397样本之间线性插值得到虚拟样本i＝1,2,...,2396，然后将所有的虚拟样本h2(v)和原样本h2组成第三扩充数据集i＝1,2,...,4793，并将其作为第三数据扩充自编码器的输入。该第三数据扩充自编码器隐含层特征数据记为i＝1,2,...,4793，对应输出层将对其输入层进行重构，重构数据可记为i＝1,2,...,4793，构建第三数据扩充目标函数，通过反向传播算法对所述第三数据扩充自编码器进行训练，得到所述第三数据扩充自编码器的网络参数θ3＝{W3,b3,W′3,b′3}，并计算得到所述第三数据扩充自编码器的隐含层特征数据i＝1,2,...,4793。
在本实施例中，将第三数据扩充自编码器预训练完成后，在其隐含层上连接最终输出层，输出层数据由质量变量数据yi，i＝1,2,...,600构成，输出层对应网络参数为{W,b}。通过以下目标函数，微调整个基于堆栈自编码器的深度学习模型的网络参数θ＝{W1,b1,W2,b2,W3,b3,W,b}，直至满足收敛条件：
其中，为通过网络前向算法获得的输出质量指标的估计值。
利用上述训练的深度学习模型，即可对新的测试样本进行输出质量变量的预测。在加氢裂化过程采集240组过程变量数据样本，代入上述深度学习模型对各组航煤10％馏出点进行预测，预测结果分别如图2所示。由图可见，利用逐层数据扩充堆栈自编码器深度学习模型获得了较好的预测效果。
如表2所示，为传统多层神经网络(Neural Networks，NN)、堆栈自编码器(StackedAutoEncoder，SAE)及本实施例中提出的逐层数据扩充堆栈自编码器(Layer-Wise DataAugmentation SAE,LWDA-SAE)三种模型在测试集上的预测均方根误差。
表2三种建模方法的预测均方根误差RMSE
由表中可看出本发明所提出的LWDA-SAE取得了最好的预测精度，验证本发明所提出的方法的准确性。并且，通过图3所示比较三种神经网络的收敛速度可以看出，LWDA-SAE具有更快的收敛性。
具体实施例2：
本实施例中还示出了一种本发明的工业过程产品质量预测方法应用到钢铁烧结过程产品质量预测中，包括：
基于生产过程要求，选择氧化亚铁(FeO)含量作为输出变量y，通过机理分析从过程中选取对FeO含量有较大影响的19个过程变量作为逐层数据扩充深度学习模型的输入变量，如表3所示，记为x(1),x(2),...,x(19)。提取钢铁烧结过程的1000个数据样本用作训练数据，同时，对所有变量进行归一化处理。
表3选取的对氧化亚铁含量有较大影响的19个过程变量
编号 过程变量描述 编号 过程变量描述
1 1号风箱支管温度 2 2号风箱支管温度
3 3号风箱支管温度 4 4号风箱支管温度
5 5号风箱支管温度 6 6号风箱支管温度
7 7号风箱支管温度 8 8号风箱支管温度
9 1号风箱总管温度 10 9号风箱支管温度
11 10号风箱支管温度 12 11号风箱支管温度
13 12号风箱支管温度 14 13号风箱支管温度
15 14号风箱支管温度 16 15号风箱支管温度
17 16号风箱支管温度 18 2号风箱总管温度
19 前一时刻FeO含量
构建逐层数据扩充深度学习模型网络结构，本实施例中的网络结构为19→14→9→4→1。即原始19维过程变量经过三个数据扩充自编码器依次降为14维、9维和4维，最终与一维输出质量变量y相连。各数据扩充自编码器的输入层到隐含层的权重系数和偏置项记为{W1,b1}、{W2,b2}和{W3,b3}，对应激励函数f1、f2和f3均采用sigmoid函数。同时，各数据扩充自编码器的隐含层到其输出层(重构输入层)的权重系数和偏置项分别为{W′1,b′1}、{W′2,b′2}和{W′3,b′3}，对应激励函数f′1、f′2和f′3亦均采用sigmoid函数。第三个数据扩充自编码器隐含层到质量变量输出层的权重系数和偏置项记为{W,b}，对应激活函数f采用sigmoid函数。
对所述过程变量xi，i＝1,2,...,1000进行数据扩充，得到第一扩充数据集xA；为了按照过程变量自身分布扩充数据，本实施例中提出一种数据扩充方式。首先，对每两相邻过程变量样本xi,xi+1之间线性插值得到虚拟样本i＝1,2,...,999：
然后将所有的虚拟样本xv和原样本x组成第一扩充数据集xA：
i＝1,2,...,1999
线性插值可以减少原训练集的空缺值或异常值对预测效果的影响，通过在训练样本之间插补虚拟样本，提高了训练样本之间无数据空间的预测性能。此外，从奥卡姆剃刀的角度来看，线性插值是一种很好的归纳偏置。
将第一扩充数据集xA(i)，i＝1,2,...,1999作为第一数据扩充自编码器的输入，记第一数据扩充自编码器隐含层数据为i＝1,2,...,1999，对应输出层的重构数据为i＝1,2,...,1999，将第一数据扩充自编码器网络参数集记为θ1＝{W1,b1,W′1,b′1}。从而有各个网络层之间的关系式可表示为：
可将第一数据扩充自编码器的输出层表示为输入层函数式：
为此，在本实施例中，将所述第一扩充数据集作为输入，构建第一数据扩充自编码器的预训目标函数：
通过反向传播算法对所述第一数据扩充自编码器进行训练，得到所述第一数据扩充自编码器的网络参数θ1＝{W1,b1,W′1,b′1}，并计算得到所述第一数据扩充自编码器的隐含层特征数据i＝1,2,...,1999。
第二扩充数据集的获取方式与第一扩充数据集的获取方式类似，将所述隐含层特征数据i＝1,2,...,1999样本之间线性插值得到虚拟样本i＝1,2,...,1998，然后将所有的虚拟样本h1(v)和原样本h1组成第二扩充数据集i＝1,2,...,3997。
在本实施例中，将第二扩充数据集i＝1,2,...,3997作为第二数据扩充自编码器的输入。该第二数据扩充自编码器隐含层特征数据记为i＝1,2,...,3997，对应输出层将对其输入层进行重构，重构数据可记为i＝1,2,...,3997。该第二数据扩充自编码器的参数记为θ2＝{W2,b2,W′2,b′2}。
第二数据扩充自编码器训练方式与第一数据扩充自编码器训练方式类似，将所述第二扩充数据集作为输入，构建第二数据扩充自编码器的预训目标函数：
通过反向传播算法对所述第二数据扩充自编码器进行训练，得到所述第二数据扩充自编码器的网络参数θ2＝{W2,b2,W′2,b′2}，并计算得到所述第二数据扩充自编码器的隐含层特征数据i＝1,2,...,3997。
在本实施例中，第三扩充数据集的获取方式与第一扩充数据集、第二扩充数据集的获取方式类似，将所述第二数据扩充自编码器的隐含层特征数据i＝1,2,...,3997样本之间线性插值得到虚拟样本i＝1,2,...,3996，然后将所有的虚拟样本h2(v)和原样本h2组成第三扩充数据集i＝1,2,...,7993，并将其作为第三数据扩充自编码器的输入。该第三数据扩充自编码器隐含层特征数据记为i＝1,2,...,7993，对应输出层将对其输入层进行重构，重构数据可记为i＝1,2,...,7993，构建第三数据扩充目标函数，通过反向传播算法对所述第三数据扩充自编码器进行训练，得到所述第三数据扩充自编码器的网络参数θ3＝{W3,b3,W′3,b′3}，并计算得到所述第三数据扩充自编码器的隐含层特征数据i＝1,2,...,7993。
在本实施例中，将第三数据扩充自编码器预训练完成后，在其隐含层上连接最终输出层，输出层数据由质量变量数据yi，i＝1,2,...,1000构成，通过以下目标函数，微调整个基于堆栈自编码器的深度学习模型的网络参数θ＝{W1,b1,W2,b2,W3,b3,W,b}，直至满足收敛条件：
其中，为通过网络前向算法获得的输出质量指标的估计值。
利用上述训练的深度学习模型，即可对新的测试样本进行输出质量变量的预测。在钢铁烧结过程采集414组过程变量数据样本，代入上述深度学习模型对FeO含量进行预测，预测结果分别如图4所示。由图可见，利用逐层数据扩充堆栈自编码器深度学习模型获得了较好的预测效果。
如表4所示，为传统多层神经网络(Neural Networks，NN)、堆栈自编码器(StackedAutoEncoder，SAE)及本实施例中提出的逐层数据扩充堆栈自编码器(Layer-Wise DataAugmentation SAE,LWDA-SAE)三种模型在测试集上的预测均方根误差。
表4三种建模方法的预测均方根误差RMSE
由表中可看出本发明所提出的LWDA-SAE取得了最好的预测精度，验证本发明所提出的方法的准确性。并且，通过图5所示比较三种神经网络的收敛速度可以看出，LWDA-SAE具有更快的收敛性。

Claims (7)

1.一种基于逐层数据扩充深度学习的工业过程软测量方法，其特征在于，包括：
第一步：获取工业生产过程中的过程变量和质量变量并进行归一化处理：
采集一定生产时间内的过程变量xi,j和质量变量yi，作为样本数据进行归一化处理：
其中i＝1,2,...,N,j＝1,2,...,m,N为获得的样本总数，m为过程变量数；xmin,j和xmax,j分别为第j个过程变量的最小值和最大值，ymin和ymax分别为质量变量的最小值和最大值；
第二步：训练深度学习模型：
所述深度学习模型包括若干个数据扩充自编码器，每相邻的两个数据扩充自编码器中，将排列在前的数据扩充自编码器的隐含层特征数据经数据扩充后作为排列在后的数据扩充自编码器的输入，对排列在后的数据扩充自编码器进行训练；每个数据扩充自编码器的数据扩充目标函数为：
其中，k表示逐层数据扩充深度学习模型中第k个数据扩充自编码器，对应输入层到隐含层的权重系数和偏置项为{Wk,bk}，激励函数为fk，隐含层到其输出层(重构输入层)的权重系数和偏置项为{W′k,b′k}，激励函数为fk′；
第三步：输出质量指标的估计值。
2.根据权利要求1所述的基于逐层数据扩充深度学习的工业过程软测量方法，其特征在于：所述的“第二步：训练深度学习模型”中数据扩充自编码器共计三个，分别为第一数据扩充自编码器、第二数据扩充自编码器和第三数据扩充自编码器，则所述的“训练深度学习模型”可表示为如下步骤：
2.1、获取第一扩充数据集：
对每两相邻过程变量样本xi、xi+1之间线性插值得到虚拟样本并将所有的虚拟样本xv和原样本x组成第一扩充数据集xA(i)：
其中i＝1,2,...,2N-1；
2.2、获得第一数据扩充自编码器的隐含层特征数据：
将第一扩充数据集xA(i)作为第一数据扩充自编码器的输入，记第一数据扩充自编码器隐含层数据为对应输出层的重构数据为将第一数据扩充自编码器网络参数集记为θ1＝{W1,b1,W′1,b′1}；从而有各个网络层之间的关系式可表示为：
f1、f1′为sigmoid函数；
将第一数据扩充自编码器的输出层表示为输入层函数式：
将所述第一扩充数据集作为输入，构建第一数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第一数据扩充自编码器进行训练，得到所述第一数据扩充自编码器的网络参数θ1＝{W1,b1,W′1,b′1}，并计算得到第一数据扩充自编码器的隐含层特征数据
2.3、获取第二扩充数据集：
将第一数据扩充自编码器的隐含层特征数据样本之间线性插值得到虚拟样本然后将所有的虚拟样本h1(v)和原样本h1组成第二扩充数据集
其中i＝1,2,...,4N-3；
2.4、获得第二数据扩充自编码器的隐含层特征数据：
将第二扩充数据集作为第二数据扩充自编码器的输入；记该第二数据扩充自编码器隐含层特征数据为对应输出层将对其输入层进行重构，重构数据可记为记该第二数据扩充自编码器的网络参数为θ2＝{W2,b2,W′2,b′2}；从而有各个网络层之间的关系式可表示为：
f2、f′2为sigmoid函数；
将第二数据扩充自编码器的输出层表示为输入层函数式：
将所述第二扩充数据集作为输入，构建第二数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第二数据扩充自编码器进行训练，得到所述第二数据扩充自编码器的网络参数θ2＝{W2,b2,W′2,b′2}，并计算得到所述第二数据扩充自编码器的隐含层特征数据
2.5、获取第三扩充数据集：
将所述第二数据扩充自编码器的隐含层特征数据样本之间线性插值得到虚拟样本然后将所有的虚拟样本h2(v)和原样本h2组成第三扩充数据集
其中i＝1,2,...,8N-7；
2.6、获得第三数据扩充自编码器的隐含层特征数据：
将第三扩充数据集作为第三数据扩充自编码器的输入；记该第三数据扩充自编码器隐含层特征数据为对应输出层将对其输入层进行重构，重构数据可记为记该第三数据扩充自编码器的网络参数为θ3＝{W3,b3,W′3,b′3}；从而有各个网络层之间的关系式可表示为：
f3、f3′为sigmoid函数；
将第三数据扩充自编码器的输出层表示为输入层函数式：
将所述第三扩充数据集作为输入，构建第三数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第三数据扩充自编码器进行训练，得到所述第三数据扩充自编码器的网络参数θ3＝{W3,b3,W′3,b′3}，并计算得到所述第三数据扩充自编码器的隐含层特征数据
3.根据权利要求2所述的基于逐层数据扩充深度学习的工业过程软测量方法，其特征在于：所述的“第三步：输出质量指标的估计值”采取如下方式：
将第三数据扩充自编码器预训练完成后，在其隐含层上连接最终输出层，输出层数据由质量变量数据yi构成，输出层对应网络参数为{W,b}；通过以下目标函数，微调整个基于堆栈自编码器的深度学习模型的参数θ＝{W1,b1,W2,b2,W3,b3,W,b}，直至满足收敛条件：
其中，i＝1,2,...,N，为通过网络前向算法获得的输出质量指标的估计值。
4.根据权利要求2所述的基于逐层数据扩充深度学习的工业过程软测量方法，其特征在于：所述的“工业过程软测量”为加氢裂化过程产品质量预测。
5.根据权利要求4所述的基于逐层数据扩充深度学习的工业过程软测量方法，其特征在于：选择加氢裂化生产过程中航煤10％馏出点为输出变量，通过机理分析，从过程中选取对该输出变量有较大影响的43个过程变量作为逐层数据扩充深度学习模型的输入变量；提取加氢裂化过程的600个数据样本用作训练数据。
6.根据权利要求2所述的基于逐层数据扩充深度学习的工业过程软测量方法，其特征在于：所述的“工业过程软测量”为钢铁烧结过程产品质量预测。
7.根据权利要求6所述的基于逐层数据扩充深度学习的工业过程软测量方法，其特征在于：选择氧化亚铁(FeO)含量作为输出变量；通过机理分析，从过程中选取对FeO含量有较大影响的19个过程变量作为逐层数据扩充深度学习模型的输入变量；提取钢铁烧结过程的1000个数据样本用作训练数据。
CN201910366487.8A 2019-05-05 2019-05-05 一种基于逐层数据扩充深度学习的工业过程软测量方法 Expired - Fee Related CN110096810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910366487.8A CN110096810B (zh) 2019-05-05 2019-05-05 一种基于逐层数据扩充深度学习的工业过程软测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910366487.8A CN110096810B (zh) 2019-05-05 2019-05-05 一种基于逐层数据扩充深度学习的工业过程软测量方法

Publications (2)

Publication Number Publication Date
CN110096810A true CN110096810A (zh) 2019-08-06
CN110096810B CN110096810B (zh) 2020-03-17

Family

ID=67446707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910366487.8A Expired - Fee Related CN110096810B (zh) 2019-05-05 2019-05-05 一种基于逐层数据扩充深度学习的工业过程软测量方法

Country Status (1)

Country Link
CN (1) CN110096810B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241688A (zh) * 2020-01-15 2020-06-05 北京百度网讯科技有限公司 复合生产工艺过程监控方法及装置
CN111309958A (zh) * 2020-03-30 2020-06-19 四川长虹电器股份有限公司 一种基于插值运算的光谱重构方法
CN111915006A (zh) * 2020-06-23 2020-11-10 宁波大学 一种基于有监督型sae的尾气硫化氢浓度实时监测方法
CN112904810A (zh) * 2021-01-13 2021-06-04 中南大学 基于有效特征选择的流程工业非线性过程监测方法
CN112989635A (zh) * 2021-04-22 2021-06-18 昆明理工大学 基于自编码器多样性生成机制的集成学习软测量建模方法
CN113505477A (zh) * 2021-06-29 2021-10-15 西北师范大学 一种基于svae-wgan的过程工业软测量数据补充方法
JP2022042844A (ja) * 2020-09-03 2022-03-15 Ｊｆｅスチール株式会社 鋼帯の鋼中水素量予測方法、鋼中水素量制御方法、製造方法、鋼中水素量予測モデルの生成方法及び鋼中水素量予測装置
CN116611525A (zh) * 2023-05-12 2023-08-18 昆明理工大学 基于深度演化模糊规则系统的工业过程软测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077288A (zh) * 2013-01-23 2013-05-01 重庆科技学院 面向小样本试验数据的多元合金材料的软测量及其配方决策方法
CN106780482A (zh) * 2017-01-08 2017-05-31 广东工业大学 一种医学图像分类方法
CN108416439A (zh) * 2018-02-09 2018-08-17 中南大学 基于变量加权深度学习的炼油过程产品预测方法和系统
CN109033505A (zh) * 2018-06-06 2018-12-18 东北大学 一种基于深度学习的超快冷温度控制方法
US20190095798A1 (en) * 2017-09-28 2019-03-28 D5Ai Llc Stochastic categorical autoencoder network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077288A (zh) * 2013-01-23 2013-05-01 重庆科技学院 面向小样本试验数据的多元合金材料的软测量及其配方决策方法
CN106780482A (zh) * 2017-01-08 2017-05-31 广东工业大学 一种医学图像分类方法
US20190095798A1 (en) * 2017-09-28 2019-03-28 D5Ai Llc Stochastic categorical autoencoder network
CN108416439A (zh) * 2018-02-09 2018-08-17 中南大学 基于变量加权深度学习的炼油过程产品预测方法和系统
CN109033505A (zh) * 2018-06-06 2018-12-18 东北大学 一种基于深度学习的超快冷温度控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAOFENG YUAN 等: "Deep Learning-Based Feature Representation and Its Application for Soft Sensor Modeling With Variable-Wise Weighted SAE", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241688A (zh) * 2020-01-15 2020-06-05 北京百度网讯科技有限公司 复合生产工艺过程监控方法及装置
CN111241688B (zh) * 2020-01-15 2023-08-25 北京百度网讯科技有限公司 复合生产工艺过程监控方法及装置
CN111309958A (zh) * 2020-03-30 2020-06-19 四川长虹电器股份有限公司 一种基于插值运算的光谱重构方法
CN111915006A (zh) * 2020-06-23 2020-11-10 宁波大学 一种基于有监督型sae的尾气硫化氢浓度实时监测方法
CN111915006B (zh) * 2020-06-23 2023-09-29 宁波大学 一种基于有监督型sae的尾气硫化氢浓度实时监测方法
JP7088244B2 (ja) 2020-09-03 2022-06-21 Ｊｆｅスチール株式会社 鋼帯の鋼中水素量予測方法、鋼中水素量制御方法、製造方法、鋼中水素量予測モデルの生成方法及び鋼中水素量予測装置
JP2022042844A (ja) * 2020-09-03 2022-03-15 Ｊｆｅスチール株式会社 鋼帯の鋼中水素量予測方法、鋼中水素量制御方法、製造方法、鋼中水素量予測モデルの生成方法及び鋼中水素量予測装置
CN112904810A (zh) * 2021-01-13 2021-06-04 中南大学 基于有效特征选择的流程工业非线性过程监测方法
CN112904810B (zh) * 2021-01-13 2022-07-01 中南大学 基于有效特征选择的流程工业非线性过程监测方法
CN112989635B (zh) * 2021-04-22 2022-05-06 昆明理工大学 基于自编码器多样性生成机制的集成学习软测量建模方法
CN112989635A (zh) * 2021-04-22 2021-06-18 昆明理工大学 基于自编码器多样性生成机制的集成学习软测量建模方法
CN113505477A (zh) * 2021-06-29 2021-10-15 西北师范大学 一种基于svae-wgan的过程工业软测量数据补充方法
CN116611525A (zh) * 2023-05-12 2023-08-18 昆明理工大学 基于深度演化模糊规则系统的工业过程软测量方法

Also Published As

Publication number Publication date
CN110096810B (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
CN110096810B (zh) 一种基于逐层数据扩充深度学习的工业过程软测量方法
CN112435363B (zh) 一种刀具磨损状态实时监测方法
CN111967688B (zh) 一种基于卡尔曼滤波器与卷积神经网络的电力负荷预测方法
CN106022954B (zh) 基于灰色关联度的多重bp神经网络负荷预测方法
CN106897774B (zh) 基于蒙特卡洛交叉验证的多个软测量算法集群建模方法
CN115824519B (zh) 基于多传感器信息融合的阀门泄露故障综合诊断方法
CN113642666B (zh) 一种基于样本扩充和筛选的主动增强软测量方法
CN114548199A (zh) 一种基于深度迁移网络的多传感器数据融合方法
CN112948932A (zh) 一种基于TSP预报数据与XGBoost算法的围岩等级预测方法
CN114239397A (zh) 基于动态特征提取与局部加权深度学习的软测量建模方法
CN114015825A (zh) 基于注意力机制的高炉热负荷异常状态监测方法
CN113988357A (zh) 基于深度学习的高层建筑风致响应预测方法及装置
CN111415008B (zh) 一种基于vmd-foa-grnn的船舶流量预测方法
CN114487129A (zh) 基于声发射技术的柔性材料的损伤识别方法
CN117217915A (zh) 一种基于深度迁移学习的股票价格预测方法
Xie et al. Tool wear status recognition and prediction model of milling cutter based on deep learning
CN113570165B (zh) 基于粒子群算法优化的煤储层渗透率智能预测方法
CN117709488A (zh) 基于RUN-XGBoost的大坝渗流预测方法
CN116680988A (zh) 一种基于Transformer网络的多孔介质渗透率预测方法
CN117349693A (zh) 基于pso-dbn的车轴疲劳裂纹声发射信号识别方法
CN116842358A (zh) 一种基于多尺度卷积和自适应特征融合的软测量建模方法
CN113688773B (zh) 一种基于深度学习的储罐穹顶位移数据修复方法及其装置
CN115359197A (zh) 一种基于空间自相关神经网络的地质曲面重构方法
CN115963788A (zh) 多采样率工业过程关键质量指标在线预测方法
CN114943328A (zh) 基于bp神经网络非线性组合的sarima-gru时序预测模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200317