CN110096810B - 一种基于逐层数据扩充深度学习的工业过程软测量方法 - Google Patents
一种基于逐层数据扩充深度学习的工业过程软测量方法 Download PDFInfo
- Publication number
- CN110096810B CN110096810B CN201910366487.8A CN201910366487A CN110096810B CN 110096810 B CN110096810 B CN 110096810B CN 201910366487 A CN201910366487 A CN 201910366487A CN 110096810 B CN110096810 B CN 110096810B
- Authority
- CN
- China
- Prior art keywords
- data
- encoder
- layer
- self
- expansion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 35
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 238000000691 measurement method Methods 0.000 title claims abstract description 13
- 238000005259 measurement Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 75
- 230000008569 process Effects 0.000 claims description 64
- 238000012549 training Methods 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 53
- 238000013136 deep learning model Methods 0.000 claims description 37
- 230000003190 augmentative effect Effects 0.000 claims description 31
- UQSXHKLRYXJYBZ-UHFFFAOYSA-N Iron oxide Chemical compound [Fe]=O UQSXHKLRYXJYBZ-UHFFFAOYSA-N 0.000 claims description 28
- 238000004517 catalytic hydrocracking Methods 0.000 claims description 12
- 238000009776 industrial production Methods 0.000 claims description 10
- 229910000831 Steel Inorganic materials 0.000 claims description 9
- 238000005245 sintering Methods 0.000 claims description 9
- 239000010959 steel Substances 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 239000003350 kerosene Substances 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004821 distillation Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 claims 5
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000005284 excitation Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 101150055297 SET1 gene Proteins 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于逐层数据扩充深度学习的工业过程软测量方法，属于软测量技术领域，本发明所公开的技术方案通过采取数据扩充自编码器扩充过程变量的样本量，并利用多个数据扩充自编码器堆栈成深度网络模型，从工业过程数据中逐层获得由低层次到高层次的大量样本，为深度学习模型提供足够多的样本量，实现对产品质量的准确预测，能广泛运用于复杂工业过程如加氢裂化过程、钢铁烧结过程的产品质量预测，具有预测精度高、泛化性好等优点。
Description
技术领域
本发明涉及软测量技术领域，特别涉及一种基于逐层数据扩充深度学习的工业过程软测量方法。
背景技术
在现代工业生产中，为了得到最佳过程控制策略、实现运行性能最优化，需要对工业生产过程关键产品质量进行实时测量并有效检测，采用传统的仪表或化验去检测，具有测量滞后、测量仪器昂贵等缺点，难以满足生产需求。因此，目前普遍采取软测量技术测量方式，对工业生产中难以测量或暂时不能测量的过程变量，通过选择测量另外一些易于检测且关系紧密的过程变量，构建它们之间的数学模型，运用计算机技术，进行推导和估计，实现实时检测，具有可在线监测、经济可靠、动态响应、可连续给出相关信息的优点。
传统软测量技术大致可分为机理分析方式和数据分析方式，但随着工业生产过程的复杂化和大规模化，该两种软测量方式对工业生产过程特性和状态变化的精确描述能力不足，造成实时产品质量检测和分析的精度不断降低，难以满足现代工业对测量精度的要求。得益于计算机技术和信息化技术的在工业生产中广泛和深入运用，长期以来积累了大量的工业生产过程的运行数据，这些数据蕴含有丰富的生产过程信息和知识，基于深度学习模型的软测量技术理论上具有较高预测精度的潜力，通过多层神经网络结构从这些过程数据中学习由低层具体特征到高层抽象特征提取，用于输出质量预测建模。但生产实践中，这些工业过程数据通常存在测量噪声、缺失值、异常值和采样率不一致等问题，经过预处理剔除不合格数据，剩下的有效数据就很少了，而深度学习模型往往需要大量数据作为训练样本，由于有效数据偏少，深度学习模型在实践中常常无法取得满意的预测精度，即现有深度学习模型存在小样本问题的缺陷。
发明内容
本发明的目的在于提供一种基于逐层数据扩充深度学习的工业过程软测量方法，解决生产实践中训练样本过少导致现有深度学习模型技术无法取得满意的预测精度的问题。
为了实现上述目的，本发明提供技术方案如下：
一种基于逐层数据扩充深度学习的工业过程软测量方法，包括：
第一步：获取工业生产过程中的过程变量和质量变量并进行归一化处理：
采集一定生产时间内的过程变量xi,j和质量变量yi，作为样本数据进行归一化处理：
其中i＝1,2,...,N,j＝1,2,...,m,N为获得的样本总数，m为过程变量数；xmin,j和xmax,j分别为第j个过程变量的最小值和最大值，ymin和ymax分别为质量变量的最小值和最大值；
第二步：训练深度学习模型：
所述深度学习模型包括三个数据扩充自编码器，分别为第一数据扩充自编码器、第二数据扩充自编码器和第三数据扩充自编码器，每相邻的两个数据扩充自编码器中，将排列在前的数据扩充自编码器的隐含层特征数据经数据扩充后作为排列在后的数据扩充自编码器的输入，对排列在后的数据扩充自编码器进行训练；训练步骤为：
2.1、获取第一扩充数据集：
对每两相邻过程变量样本xi、xi+1之间线性插值得到虚拟样本
并将所有的虚拟样本xv和原样本x组成第一扩充数据集xA(i)：
其中i＝1,2,...,2N-1；
2.2、获得第一数据扩充自编码器的隐含层特征数据：
将第一扩充数据集xA(i)作为第一数据扩充自编码器的输入，记第一数据扩充自编码器隐含层数据为
i＝1,2,...,2N-1，对应输出层的重构数据为
i＝1,2,...,2N-1，将第一数据扩充自编码器网络参数集记为θ1＝{W1,b1,W′1,b′1}；从而有各个网络层之间的关系式可表示为：
f1、f1′为sigmoid函数；
将第一数据扩充自编码器的输出层表示为输入层函数式：
将所述第一扩充数据集作为输入，构建第一数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第一数据扩充自编码器进行训练，得到所述第一数据扩充自编码器的网络参数θ1＝{W1,b1,W′1,b′1}，并计算得到第一数据扩充自编码器的隐含层特征数据
i＝1,2,...,2N-1；
2.3、获取第二扩充数据集：
将第一数据扩充自编码器的隐含层特征数据
样本之间线性插值得到虚拟样本
i＝1,2,...,2N-2，然后将所有的虚拟样本h1(v)和原样本h1组成第二扩充数据集
其中i＝1,2,...,4N-3；
2.4、获得第二数据扩充自编码器的隐含层特征数据：
将第二扩充数据集
作为第二数据扩充自编码器的输入；记该第二数据扩充自编码器隐含层特征数据为
i＝1,2,...,4N-3，对应输出层将对其输入层进行重构，重构数据可记为
i＝1,2,...,4N-3；记该第二数据扩充自编码器的网络参数为θ2＝{W2,b2,W′2,b′2}；从而有各个网络层之间的关系式可表示为：
f2、f′2为sigmoid函数；
将第二数据扩充自编码器的输出层表示为输入层函数式：
将所述第二扩充数据集作为输入，构建第二数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第二数据扩充自编码器进行训练，得到所述第二数据扩充自编码器的网络参数θ2＝{W2,b2,W′2,b′2}，并计算得到所述第二数据扩充自编码器的隐含层特征数据
i＝1,2,...,4N-3；
2.5、获取第三扩充数据集：
将所述第二数据扩充自编码器的隐含层特征数据
样本之间线性插值得到虚拟样本
i＝1,2,...,4N-4，然后将所有的虚拟样本h2(v)和原样本h2组成第三扩充数据集
2.6、获得第三数据扩充自编码器的隐含层特征数据：
将第三扩充数据集
作为第三数据扩充自编码器的输入；记该第三数据扩充自编码器隐含层特征数据为
i＝1,2,...,8N-7，对应输出层将对其输入层进行重构，重构数据可记为
i＝1,2,...,8N-7；记该第三数据扩充自编码器的网络参数为θ3＝{W3,b3,W′3,b′3}；从而有各个网络层之间的关系式可表示为：
f3、f′3为sigmoid函数；
将第三数据扩充自编码器的输出层表示为输入层函数式：
将所述第三扩充数据集作为输入，构建第三数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第三数据扩充自编码器进行训练，得到所述第三数据扩充自编码器的网络参数θ3＝{W3,b3,W′3,b′3}，并计算得到所述第三数据扩充自编码器的隐含层特征数据
i＝1,2,...,8N-7；
第三步：输出质量指标的估计值。
进一步地，所述的“第三步：输出质量指标的估计值”采取如下方式：
将第三数据扩充自编码器预训练完成后，在其隐含层上连接最终输出层，输出层数据由质量变量数据yi构成，输出层对应网络参数为{W,b}；通过以下目标函数，微调整个基于堆栈自编码器的深度学习模型的参数θ＝{W1,b1,W2,b2,W3,b3,W,b}，直至满足收敛条件：
其中，i＝1,2,...,N，
为通过网络前向算法获得的输出质量指标的估计值。
进一步地，所述的“工业过程软测量”为加氢裂化过程产品质量预测。
进一步地，选择加氢裂化生产过程中航煤10％馏出点为输出变量，通过机理分析，从过程中选取对该输出变量有较大影响的43个过程变量作为逐层数据扩充深度学习模型的输入变量；提取加氢裂化过程的600个数据样本用作训练数据。
进一步地，所述的“工业过程软测量”为钢铁烧结过程产品质量预测。
进一步地，选择氧化亚铁(FeO)含量作为输出变量；通过机理分析，从过程中选取对FeO含量有较大影响的19个过程变量作为逐层数据扩充深度学习模型的输入变量；提取钢铁烧结过程的1000个数据样本用作训练数据。
本发明的有益效果在于：通过数据扩充自编码器扩充过程变量的样本量，并利用多个数据扩充自编码器堆栈成深度网络模型，从工业过程数据中逐层获得由低层次到高层次的大量样本，为深度学习模型提供足够多的样本量，实现对产品质量提供准确预测值，具有预测精度高、泛化性好等优点。
附图说明
图1为根据本发明实施例的工业过程产品质量预测方法示意图。
图2为根据本发明实施例的深度学习模型对加氢裂化生产过程中航煤10％馏出点预测示意图。
图3为根据本发明实施例对加氢裂化生产过程中航煤10％馏出点预测的三种神经网络收敛速度结果比较示意图。
图4为根据本发明实施例的深度学习模型对钢铁烧结过程中氧化亚铁含量预测示意图。
图5为根据本发明实施例对钢铁烧结过程中氧化亚铁含量预测的三种神经网络收敛速度结果比较示意图。
具体实施方式
为进一步公开本发明内容，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述：
如图1所示，图中示出了一种基于逐层数据扩充深度学习的工业过程软测量方法，包括：
第一步：获取工业生产过程中的过程变量和质量变量并进行归一化处理：
采集一定生产时间内的过程变量xi,j和质量变量yi，作为样本数据进行归一化处理：
其中i＝1,2,...,N,j＝1,2,...,m,N为获得的样本总数，m为过程变量数。xmin,j和xmax,j分别为第j个过程变量的最小值和最大值，ymin和ymax分别为质量变量的最小值和最大值。
第二步：训练的深度学习模型：
所述深度学习模型包括第一数据扩充自编码器、第二数据扩充自编码器和第三数据扩充自编码器。
2.1、获取第一扩充数据集：
对每两相邻过程变量样本xi、xi+1之间线性插值得到虚拟样本
并将所有的虚拟样本xv和原样本x组成第一扩充数据集xA(i)：
其中i＝1,2,...,2N-1。
线性插值可以减少原训练集的空缺值或异常值对预测效果的影响，通过在训练样本之间插补虚拟样本，提高了训练样本之间无数据空间的预测性能。此外，从奥卡姆剃刀的角度来看，线性插值是一种很好的归纳偏置。
2.2、获得第一数据扩充自编码器的隐含层特征数据：
将第一扩充数据集xA(i)作为第一数据扩充自编码器的输入，记第一数据扩充自编码器隐含层数据为
i＝1,2,...,2N-1，对应输出层的重构数据为
i＝1,2,...,2N-1，将第一数据扩充自编码器网络参数集记为θ1＝{W1,b1,W′1,b′1}。从而有各个网络层之间的关系式可表示为：
f1、f1′为sigmoid函数。
将第一数据扩充自编码器的输出层表示为输入层函数式：
将所述第一扩充数据集作为输入，构建第一数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第一数据扩充自编码器进行训练，得到所述第一数据扩充自编码器的网络参数θ1＝{W1,b1,W′1,b′1}，并计算得到第一数据扩充自编码器的隐含层特征数据
i＝1,2,...,2N-1。
2.3、获取第二扩充数据集：
将第一数据扩充自编码器的隐含层特征数据
样本之间线性插值得到虚拟样本
i＝1,2,...,2N-2，然后将所有的虚拟样本h1(v)和原样本h1组成第二扩充数据集
其中i＝1,2,...,4N-3。
2.4、获得第二数据扩充自编码器的隐含层特征数据：
将第二扩充数据集
作为第二数据扩充自编码器的输入。记该第二数据扩充自编码器隐含层特征数据为
i＝1,2,...,4N-3，对应输出层将对其输入层进行重构，重构数据可记为
i＝1,2,...,4N-3。记该第二数据扩充自编码器的网络参数为θ2＝{W2,b2,W′2,b′2}。从而有各个网络层之间的关系式可表示为：
f2、f′2为sigmoid函数。
将第二数据扩充自编码器的输出层表示为输入层函数式：
将所述第二扩充数据集作为输入，构建第二数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第二数据扩充自编码器进行训练，得到所述第二数据扩充自编码器的网络参数θ2＝{W2,b2,W′2,b′2}，并计算得到所述第二数据扩充自编码器的隐含层特征数据
i＝1,2,...,4N-3。
2.5、获取第三扩充数据集：
将所述第二数据扩充自编码器的隐含层特征数据
样本之间线性插值得到虚拟样本
i＝1,2,...,4N-4，然后将所有的虚拟样本h2(v)和原样本h2组成第三扩充数据集
2.6、获得第三数据扩充自编码器的隐含层特征数据：
将第三扩充数据集
作为第三数据扩充自编码器的输入。记该第三数据扩充自编码器隐含层特征数据为
i＝1,2,...,8N-7，对应输出层将对其输入层进行重构，重构数据可记为
i＝1,2,...,8N-7。记该第三数据扩充自编码器的网络参数为θ3＝{W3,b3,W′3,b′3}。从而有各个网络层之间的关系式可表示为：
f3、f′3为sigmoid函数。
将第三数据扩充自编码器的输出层表示为输入层函数式：
将所述第三扩充数据集作为输入，构建第三数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第三数据扩充自编码器进行训练，得到所述第三数据扩充自编码器的网络参数θ3＝{W3,b3,W′3,b′3}，并计算得到所述第三数据扩充自编码器的隐含层特征数据
i＝1,2,...,8N-7。
第三步：输出质量指标的估计值：
将第三数据扩充自编码器预训练完成后，在其隐含层上连接最终输出层，输出层数据由质量变量数据yi构成，输出层对应网络参数为{W,b}。通过以下目标函数，微调整个基于堆栈自编码器的深度学习模型的参数θ＝{W1,b1,W2,b2,W3,b3,W,b}，直至满足收敛条件：
其中，i＝1,2,...,N，
为通过网络前向算法获得的输出质量指标的估计值
作为一种替代方案，还可以有3个以上的数据扩充自编码器，需要构建更多层次的逐层数据扩充深度学习模型，其网络结构为m→m1→m2→m3→…→mk→1。其中mk为第k个数据扩充自编码器隐含层神经元数；在训练深度学习模型时，每相邻的两个数据扩充自编码器中，将排列在前的数据扩充自编码器的隐含层特征数据经数据扩充后作为排列在后的数据扩充自编码器的输入，对排列在后的数据扩充自编码器进行训练。每个数据扩充自编码器的数据扩充目标函数为：
其中，k表示逐层数据扩充深度学习模型中第k个数据扩充自编码器，对应输入层到隐含层的权重系数和偏置项为{Wk,bk}，激励函数为fk，隐含层到其输出层(重构输入层)的权重系数和偏置项为{W′k,b′k}，激励函数f′k。
本技术方案利用了多个数据扩充自编码器堆栈成逐层数据扩充深度学习模型，每一个自编码器(比如：第一数据扩充自编码器、第二数据扩充自编码器或第三数据扩充自编码器)在训练过程中，输入变量为经过数据扩充后的扩充数据集，其扩充数据集由原输入变量每两个相邻样本线性插值形成，能够逐层获得由低层次到高层次的大量样本，为产品质量提供准确预测值。其网络结构为m→m1→m2→m3→…→mk→1。其中m为整个网络输入层神经元数；m1为第一数据扩充自编码器隐含层神经元数，m2为第二数据扩充自编码器隐含层神经元数，m3为第三数据扩充自编码器隐含层神经元数……,mk为第K数据扩充自编码器隐含层神经元数,1为最终质量变量输出层神经元数。各数据扩充自编码器的输入层到隐含层的权重系数和偏置项记为{W1,b1}、{W2,b2}和{W3,b3}……，对应激励函数为f1、f2、f3……。同时，各数据扩充自编码器的隐含层到其输出层(重构输入层)的权重系数和偏置项分别为{W′1,b′1}、{W′2,b′2}、{W′3,b′3}……，对应激励函数为f1′、f′2、f′3……。第K个数据扩充自编码器隐含层到质量变量输出层的权重系数和偏置项记为{W,b}，对应激活函数为f。
具体实施例1：
本实施例中示出了本发明技术方案逐层数据扩充深度学习的工业过程软测量应用到加氢裂化过程产品质量预测中，包括：
基于生产过程要求，选择加氢裂化生产过程中航煤10％馏出点作为输出变量y，通过机理分析从过程中选取对该输出变量有较大影响的43个过程变量作为逐层数据扩充深度学习模型的输入变量，如表1所示，记为x(1),x(2),...,x(43)。提取加氢裂化过程的600个数据样本用作训练数据，同时，对所有变量进行归一化处理。
表1选取的对航煤10％馏出点有较大影响的43个过程变量
构建逐层数据扩充深度学习模型网络结构，本实施例中的网络结构为43→33→23→13→1。即原始43维过程变量经过三个数据扩充自编码器依次降为33维、23维和13维，最终与一维输出质量变量y相连。各数据扩充自编码器的输入层到隐含层的权重系数和偏置项记为{W1,b1}、{W2,b2}和{W3,b3}，对应激励函数f1、f2和f3均采用sigmoid函数。同时，各数据扩充自编码器的隐含层到其输出层(重构输入层)的权重系数和偏置项分别为{W′1,b′1}、{W′2,b′2}和{W′3,b′3}，对应激励函数f1′、f′2和f3′亦均采用sigmoid函数。第三个数据扩充自编码器隐含层到质量变量输出层的权重系数和偏置项记为{W,b}，对应激活函数f采用sigmoid函数。
对所述过程变量xi，i＝1,2,...,600进行数据扩充，得到第一扩充数据集xA；为了按照过程变量自身分布扩充数据，本实施例中提出一种数据扩充方式。首先，对每两相邻过程变量xi,xi+1,i＝1,2,...,599样本之间线性插值得到虚拟样本
i＝1,2,...,599：
然后将所有的虚拟样本xv和原样本x组成第一扩充数据集xA：
线性插值可以减少原训练集的空缺值或异常值对预测效果的影响，通过在训练样本之间插补虚拟样本，提高了训练样本之间无数据空间的预测性能。此外，从奥卡姆剃刀的角度来看，线性插值是一种很好的归纳偏置。
将第一扩充数据集xA(i)，i＝1,2,...,1199作为第一数据扩充自编码器的输入，记第一数据扩充自编码器隐含层数据为
i＝1,2,...,1199，对应输出层的重构数据为
i＝1,2,...,1199，将第一数据扩充自编码器网络参数集记为θ1＝{W1,b1,W1′,b′1}。从而有各个网络层之间的关系式可表示为：
可将第一数据扩充自编码器的输出层表示为输入层函数式：
为此，在本实施例中，将所述第一扩充数据集作为输入，构建第一数据扩充自编码器的预训目标函数：
通过反向传播算法对所述第一数据扩充自编码器进行训练，得到所述第一数据扩充自编码器的网络参数θ1＝{W1,b1,W′1,b′1}，并计算得到所述第一数据扩充自编码器的隐含层特征数据
i＝1,2,...,1199。
第二扩充数据集的获取方式与第一扩充数据集的获取方式类似，将所述隐含层特征数据
i＝1,2,...,1199样本之间线性插值得到虚拟样本
i＝1,2,...,1198，然后将所有的虚拟样本h1(v)和原样本h1组成第二扩充数据集
i＝1,2,...,2397。
在本实施例中，将第二扩充数据集
i＝1,2,...,2397作为第二数据扩充自编码器的输入。该第二数据扩充自编码器隐含层特征数据记为
i＝1,2,...,2397，对应输出层将对其输入层进行重构，重构数据可记为
i＝1,2,...,2397。该第二数据扩充自编码器的参数记为θ2＝{W2,b2,W′2,b′2}。
第二数据扩充自编码器训练方式与第一数据扩充自编码器训练方式类似，将所述第二扩充数据集作为输入，构建第二数据扩充自编码器的预训目标函数：
通过反向传播算法对所述第二数据扩充自编码器进行训练，得到所述第二数据扩充自编码器的网络参数θ2＝{W2,b2,W′2,b′2}，并计算得到所述第二数据扩充自编码器的隐含层特征数据
i＝1,2,...,2397。
在本实施例中，第三扩充数据集的获取方式与第一扩充数据集、第二扩充数据集的获取方式类似，将所述第二数据扩充自编码器的隐含层特征数据
i＝1,2,...,2397样本之间线性插值得到虚拟样本
i＝1,2,...,2396，然后将所有的虚拟样本h2(v)和原样本h2组成第三扩充数据集
i＝1,2,...,4793，并将其作为第三数据扩充自编码器的输入。该第三数据扩充自编码器隐含层特征数据记为
i＝1,2,...,4793，对应输出层将对其输入层进行重构，重构数据可记为
i＝1,2,...,4793，构建第三数据扩充目标函数，通过反向传播算法对所述第三数据扩充自编码器进行训练，得到所述第三数据扩充自编码器的网络参数θ3＝{W3,b3,W′3,b′3}，并计算得到所述第三数据扩充自编码器的隐含层特征数据
i＝1,2,...,4793。
在本实施例中，将第三数据扩充自编码器预训练完成后，在其隐含层上连接最终输出层，输出层数据由质量变量数据yi，i＝1,2,...,600构成，输出层对应网络参数为{W,b}。通过以下目标函数，微调整个基于堆栈自编码器的深度学习模型的网络参数θ＝{W1,b1,W2,b2,W3,b3,W,b}，直至满足收敛条件：
其中，
为通过网络前向算法获得的输出质量指标的估计值。
利用上述训练的深度学习模型，即可对新的测试样本进行输出质量变量的预测。在加氢裂化过程采集240组过程变量数据样本，代入上述深度学习模型对各组航煤10％馏出点进行预测，预测结果分别如图2所示。由图可见，利用逐层数据扩充堆栈自编码器深度学习模型获得了较好的预测效果。
如表2所示，为传统多层神经网络(Neural Networks，NN)、堆栈自编码器(StackedAutoEncoder，SAE)及本实施例中提出的逐层数据扩充堆栈自编码器(Layer-WiseDataAugmentation SAE,LWDA-SAE)三种模型在测试集上的预测均方根误差。
表2三种建模方法的预测均方根误差RMSE
由表中可看出本发明所提出的LWDA-SAE取得了最好的预测精度，验证本发明所提出的方法的准确性。并且，通过图3所示比较三种神经网络的收敛速度可以看出，LWDA-SAE具有更快的收敛性。
具体实施例2：
本实施例中还示出了一种本发明的工业过程产品质量预测方法应用到钢铁烧结过程产品质量预测中，包括：
基于生产过程要求，选择氧化亚铁(FeO)含量作为输出变量y，通过机理分析从过程中选取对FeO含量有较大影响的19个过程变量作为逐层数据扩充深度学习模型的输入变量，如表3所示，记为x(1),x(2),...,x(19)。提取钢铁烧结过程的1000个数据样本用作训练数据，同时，对所有变量进行归一化处理。
表3选取的对氧化亚铁含量有较大影响的19个过程变量
| 编号 | 过程变量描述 | 编号 | 过程变量描述 |
| 1 | 1号风箱支管温度 | 2 | 2号风箱支管温度 |
| 3 | 3号风箱支管温度 | 4 | 4号风箱支管温度 |
| 5 | 5号风箱支管温度 | 6 | 6号风箱支管温度 |
| 7 | 7号风箱支管温度 | 8 | 8号风箱支管温度 |
| 9 | 1号风箱总管温度 | 10 | 9号风箱支管温度 |
| 11 | 10号风箱支管温度 | 12 | 11号风箱支管温度 |
| 13 | 12号风箱支管温度 | 14 | 13号风箱支管温度 |
| 15 | 14号风箱支管温度 | 16 | 15号风箱支管温度 |
| 17 | 16号风箱支管温度 | 18 | 2号风箱总管温度 |
| 19 | 前一时刻FeO含量 |
构建逐层数据扩充深度学习模型网络结构，本实施例中的网络结构为19→14→9→4→1。即原始19维过程变量经过三个数据扩充自编码器依次降为14维、9维和4维，最终与一维输出质量变量y相连。各数据扩充自编码器的输入层到隐含层的权重系数和偏置项记为{W1,b1}、{W2,b2}和{W3,b3}，对应激励函数f1、f2和f3均采用sigmoid函数。同时，各数据扩充自编码器的隐含层到其输出层(重构输入层)的权重系数和偏置项分别为{W′1,b′1}、{W′2,b′2}和{W′3,b′3}，对应激励函数f1′、f′2和f3′亦均采用sigmoid函数。第三个数据扩充自编码器隐含层到质量变量输出层的权重系数和偏置项记为{W,b}，对应激活函数f采用sigmoid函数。
对所述过程变量xi，i＝1,2,...,1000进行数据扩充，得到第一扩充数据集xA；为了按照过程变量自身分布扩充数据，本实施例中提出一种数据扩充方式。首先，对每两相邻过程变量样本xi,xi+1之间线性插值得到虚拟样本
i＝1,2,...,999：
然后将所有的虚拟样本xv和原样本x组成第一扩充数据集xA：
线性插值可以减少原训练集的空缺值或异常值对预测效果的影响，通过在训练样本之间插补虚拟样本，提高了训练样本之间无数据空间的预测性能。此外，从奥卡姆剃刀的角度来看，线性插值是一种很好的归纳偏置。
将第一扩充数据集xA(i)，i＝1,2,...,1999作为第一数据扩充自编码器的输入，记第一数据扩充自编码器隐含层数据为
i＝1,2,...,1999，对应输出层的重构数据为
i＝1,2,...,1999，将第一数据扩充自编码器网络参数集记为θ1＝{W1,b1,W′1,b′1}。从而有各个网络层之间的关系式可表示为：
可将第一数据扩充自编码器的输出层表示为输入层函数式：
为此，在本实施例中，将所述第一扩充数据集作为输入，构建第一数据扩充自编码器的预训目标函数：
通过反向传播算法对所述第一数据扩充自编码器进行训练，得到所述第一数据扩充自编码器的网络参数θ1＝{W1,b1,W′1,b′1}，并计算得到所述第一数据扩充自编码器的隐含层特征数据
i＝1,2,...,1999。
第二扩充数据集的获取方式与第一扩充数据集的获取方式类似，将所述隐含层特征数据
i＝1,2,...,1999样本之间线性插值得到虚拟样本
i＝1,2,...,1998，然后将所有的虚拟样本h1(v)和原样本h1组成第二扩充数据集
i＝1,2,...,3997。
在本实施例中，将第二扩充数据集
i＝1,2,...,3997作为第二数据扩充自编码器的输入。该第二数据扩充自编码器隐含层特征数据记为
i＝1,2,...,3997，对应输出层将对其输入层进行重构，重构数据可记为
i＝1,2,...,3997。该第二数据扩充自编码器的参数记为θ2＝{W2,b2,W′2,b′2}。
第二数据扩充自编码器训练方式与第一数据扩充自编码器训练方式类似，将所述第二扩充数据集作为输入，构建第二数据扩充自编码器的预训目标函数：
通过反向传播算法对所述第二数据扩充自编码器进行训练，得到所述第二数据扩充自编码器的网络参数θ2＝{W2,b2,W′2,b′2}，并计算得到所述第二数据扩充自编码器的隐含层特征数据
i＝1,2,...,3997。
在本实施例中，第三扩充数据集的获取方式与第一扩充数据集、第二扩充数据集的获取方式类似，将所述第二数据扩充自编码器的隐含层特征数据
i＝1,2,...,3997样本之间线性插值得到虚拟样本
i＝1,2,...,3996，然后将所有的虚拟样本h2(v)和原样本h2组成第三扩充数据集
i＝1,2,...,7993，并将其作为第三数据扩充自编码器的输入。该第三数据扩充自编码器隐含层特征数据记为
i＝1,2,...,7993，对应输出层将对其输入层进行重构，重构数据可记为
i＝1,2,...,7993，构建第三数据扩充目标函数，通过反向传播算法对所述第三数据扩充自编码器进行训练，得到所述第三数据扩充自编码器的网络参数θ3＝{W3,b3,W′3,b′3}，并计算得到所述第三数据扩充自编码器的隐含层特征数据
i＝1,2,...,7993。
在本实施例中，将第三数据扩充自编码器预训练完成后，在其隐含层上连接最终输出层，输出层数据由质量变量数据yi，i＝1,2,...,1000构成，通过以下目标函数，微调整个基于堆栈自编码器的深度学习模型的网络参数θ＝{W1,b1,W2,b2,W3,b3,W,b}，直至满足收敛条件：
其中，
为通过网络前向算法获得的输出质量指标的估计值。
利用上述训练的深度学习模型，即可对新的测试样本进行输出质量变量的预测。在钢铁烧结过程采集414组过程变量数据样本，代入上述深度学习模型对FeO含量进行预测，预测结果分别如图4所示。由图可见，利用逐层数据扩充堆栈自编码器深度学习模型获得了较好的预测效果。
如表4所示，为传统多层神经网络(Neural Networks，NN)、堆栈自编码器(StackedAutoEncoder，SAE)及本实施例中提出的逐层数据扩充堆栈自编码器(Layer-WiseDataAugmentation SAE,LWDA-SAE)三种模型在测试集上的预测均方根误差。
表4三种建模方法的预测均方根误差RMSE
由表中可看出本发明所提出的LWDA-SAE取得了最好的预测精度，验证本发明所提出的方法的准确性。并且，通过图5所示比较三种神经网络的收敛速度可以看出，LWDA-SAE具有更快的收敛性。
Claims (6)
1.一种基于逐层数据扩充深度学习的工业过程软测量方法，其特征在于，包括：
第一步：获取工业生产过程中的过程变量和质量变量并进行归一化处理：
采集一定生产时间内的过程变量xi,j和质量变量yi，作为样本数据进行归一化处理：
其中i＝1,2,...,N,j＝1,2,...,m,N为获得的样本总数，m为过程变量数；xmin,j和xmax,j分别为第j个过程变量的最小值和最大值，ymin和ymax分别为质量变量的最小值和最大值；
第二步：训练深度学习模型：
所述深度学习模型包括三个数据扩充自编码器，分别为第一数据扩充自编码器、第二数据扩充自编码器和第三数据扩充自编码器，每相邻的两个数据扩充自编码器中，将排列在前的数据扩充自编码器的隐含层特征数据经数据扩充后作为排列在后的数据扩充自编码器的输入，对排列在后的数据扩充自编码器进行训练；训练步骤为：
2.1、获取第一扩充数据集：
对每两相邻过程变量样本xi、xi+1之间线性插值得到虚拟样本
并将所有的虚拟样本xv和原样本x组成第一扩充数据集xA(i)：
其中i＝1,2,...,2N-1；
2.2、获得第一数据扩充自编码器的隐含层特征数据：
将第一扩充数据集xA(i)作为第一数据扩充自编码器的输入，记第一数据扩充自编码器隐含层数据为
i＝1,2,...,2N-1，对应输出层的重构数据为
i＝1,2,...,2N-1，将第一数据扩充自编码器网络参数集记为θ1＝{W1,b1,W1′,b′1}；从而有各个网络层之间的关系式可表示为：
f1、f1′为sigmoid函数；
将第一数据扩充自编码器的输出层表示为输入层函数式：
将所述第一扩充数据集作为输入，构建第一数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第一数据扩充自编码器进行训练，得到所述第一数据扩充自编码器的网络参数θ1＝{W1,b1,W1′,b′1}，并计算得到第一数据扩充自编码器的隐含层特征数据
i＝1,2,...,2N-1；
2.3、获取第二扩充数据集：
将第一数据扩充自编码器的隐含层特征数据
样本之间线性插值得到虚拟样本
i＝1,2,...,2N-2，然后将所有的虚拟样本h1(v)和原样本h1组成第二扩充数据集
其中i＝1,2,...,4N-3；
2.4、获得第二数据扩充自编码器的隐含层特征数据：
将第二扩充数据集
作为第二数据扩充自编码器的输入；记该第二数据扩充自编码器隐含层特征数据为
i＝1,2,...,4N-3，对应输出层将对其输入层进行重构，重构数据可记为
i＝1,2,...,4N-3；记该第二数据扩充自编码器的网络参数为θ2＝{W2,b2,W2′,b′2}；从而有各个网络层之间的关系式可表示为：
f2、f2′为sigmoid函数；
将第二数据扩充自编码器的输出层表示为输入层函数式：
将所述第二扩充数据集作为输入，构建第二数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第二数据扩充自编码器进行训练，得到所述第二数据扩充自编码器的网络参数θ2＝{W2,b2,W2′,b′2}，并计算得到所述第二数据扩充自编码器的隐含层特征数据
i＝1,2,...,4N-3；
2.5、获取第三扩充数据集：
将所述第二数据扩充自编码器的隐含层特征数据
样本之间线性插值得到虚拟样本
i＝1,2,...,4N-4，然后将所有的虚拟样本h2(v)和原样本h2组成第三扩充数据集
2.6、获得第三数据扩充自编码器的隐含层特征数据：
将第三扩充数据集
作为第三数据扩充自编码器的输入；记该第三数据扩充自编码器隐含层特征数据为
i＝1,2,...,8N-7，对应输出层将对其输入层进行重构，重构数据可记为
i＝1,2,...,8N-7；记该第三数据扩充自编码器的网络参数为θ3＝{W3,b3,W3′,b′3}；从而有各个网络层之间的关系式可表示为：
f3、f3′为sigmoid函数；
将第三数据扩充自编码器的输出层表示为输入层函数式：
将所述第三扩充数据集作为输入，构建第三数据扩充自编码器的预训练目标函数：
通过反向传播算法对所述第三数据扩充自编码器进行训练，得到所述第三数据扩充自编码器的网络参数θ3＝{W3,b3,W3′,b′3}，并计算得到所述第三数据扩充自编码器的隐含层特征数据
i＝1,2,...,8N-7；
第三步：输出质量指标的估计值。
2.根据权利要求1所述的基于逐层数据扩充深度学习的工业过程软测量方法，其特征在于：所述的“第三步：输出质量指标的估计值”采取如下方式：
将第三数据扩充自编码器预训练完成后，在其隐含层上连接最终输出层，输出层数据由质量变量数据yi构成，输出层对应网络参数为{W,b}；通过以下目标函数，微调整个基于堆栈自编码器的深度学习模型的参数θ＝{W1,b1,W2,b2,W3,b3,W,b}，直至满足收敛条件：
其中，i＝1,2,...,N，
为通过网络前向算法获得的输出质量指标的估计值。
3.根据权利要求1所述的基于逐层数据扩充深度学习的工业过程软测量方法，其特征在于：所述的“工业过程软测量”为加氢裂化过程产品质量预测。
4.根据权利要求3所述的基于逐层数据扩充深度学习的工业过程软测量方法，其特征在于：选择加氢裂化生产过程中航煤10％馏出点为输出变量，通过机理分析，从过程中选取对该输出变量有较大影响的43个过程变量作为逐层数据扩充深度学习模型的输入变量；提取加氢裂化过程的600个数据样本用作训练数据。
5.根据权利要求1所述的基于逐层数据扩充深度学习的工业过程软测量方法，其特征在于：所述的“工业过程软测量”为钢铁烧结过程产品质量预测。
6.根据权利要求5所述的基于逐层数据扩充深度学习的工业过程软测量方法，其特征在于：选择氧化亚铁(FeO)含量作为输出变量；通过机理分析，从过程中选取对FeO含量有较大影响的19个过程变量作为逐层数据扩充深度学习模型的输入变量；提取钢铁烧结过程的1000个数据样本用作训练数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910366487.8A CN110096810B (zh) | 2019-05-05 | 2019-05-05 | 一种基于逐层数据扩充深度学习的工业过程软测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910366487.8A CN110096810B (zh) | 2019-05-05 | 2019-05-05 | 一种基于逐层数据扩充深度学习的工业过程软测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110096810A CN110096810A (zh) | 2019-08-06 |
| CN110096810B true CN110096810B (zh) | 2020-03-17 |
Family
ID=67446707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910366487.8A Expired - Fee Related CN110096810B (zh) | 2019-05-05 | 2019-05-05 | 一种基于逐层数据扩充深度学习的工业过程软测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110096810B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111241688B (zh) * | 2020-01-15 | 2023-08-25 | 北京百度网讯科技有限公司 | 复合生产工艺过程监控方法及装置 |
| CN111309958A (zh) * | 2020-03-30 | 2020-06-19 | 四川长虹电器股份有限公司 | 一种基于插值运算的光谱重构方法 |
| CN111915006B (zh) * | 2020-06-23 | 2023-09-29 | 宁波大学 | 一种基于有监督型sae的尾气硫化氢浓度实时监测方法 |
| JP7088244B2 (ja) * | 2020-09-03 | 2022-06-21 | Ｊｆｅスチール株式会社 | 鋼帯の鋼中水素量予測方法、鋼中水素量制御方法、製造方法、鋼中水素量予測モデルの生成方法及び鋼中水素量予測装置 |
| CN112904810B (zh) * | 2021-01-13 | 2022-07-01 | 中南大学 | 基于有效特征选择的流程工业非线性过程监测方法 |
| CN112989635B (zh) * | 2021-04-22 | 2022-05-06 | 昆明理工大学 | 基于自编码器多样性生成机制的集成学习软测量建模方法 |
| CN113505477B (zh) * | 2021-06-29 | 2022-05-20 | 西北师范大学 | 基于svae-wgan的过程工业软测量数据补充方法 |
| CN116611525A (zh) * | 2023-05-12 | 2023-08-18 | 昆明理工大学 | 基于深度演化模糊规则系统的工业过程软测量方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103077288B (zh) * | 2013-01-23 | 2015-08-26 | 重庆科技学院 | 面向小样本试验数据的多元合金材料的软测量及其配方决策方法 |
| CN106780482A (zh) * | 2017-01-08 | 2017-05-31 | 广东工业大学 | 一种医学图像分类方法 |
| US10679129B2 (en) * | 2017-09-28 | 2020-06-09 | D5Ai Llc | Stochastic categorical autoencoder network |
| CN108416439B (zh) * | 2018-02-09 | 2020-01-03 | 中南大学 | 基于变量加权深度学习的炼油过程产品预测方法和系统 |
| CN109033505A (zh) * | 2018-06-06 | 2018-12-18 | 东北大学 | 一种基于深度学习的超快冷温度控制方法 |
-
2019
- 2019-05-05 CN CN201910366487.8A patent/CN110096810B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN110096810A (zh) | 2019-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110096810B (zh) | 一种基于逐层数据扩充深度学习的工业过程软测量方法 | |
| JP6817426B2 (ja) | マシンラーニング基盤の半導体製造の収率予測システム及び方法 | |
| CN109828304B (zh) | 一种基于深度学习的利用地震数据预测岩性序列模型的方法 | |
| CN112435363B (zh) | 一种刀具磨损状态实时监测方法 | |
| CN106897774B (zh) | 基于蒙特卡洛交叉验证的多个软测量算法集群建模方法 | |
| CN106022954B (zh) | 基于灰色关联度的多重bp神经网络负荷预测方法 | |
| CN115824519B (zh) | 基于多传感器信息融合的阀门泄露故障综合诊断方法 | |
| CN108897975A (zh) | 基于深度信念网络的煤层气测井含气量预测方法 | |
| CN113642666B (zh) | 一种基于样本扩充和筛选的主动增强软测量方法 | |
| CN105868164B (zh) | 一种基于有监督的线性动态系统模型的软测量建模方法 | |
| CN114548199A (zh) | 一种基于深度迁移网络的多传感器数据融合方法 | |
| Sattarifar et al. | Damage localization and characterization using one-dimensional convolutional neural network and a sparse network of transducers | |
| CN114239397A (zh) | 基于动态特征提取与局部加权深度学习的软测量建模方法 | |
| CN114015825A (zh) | 基于注意力机制的高炉热负荷异常状态监测方法 | |
| CN112149355A (zh) | 基于半监督动态反馈堆栈降噪自编码器模型的软测量方法 | |
| CN111415008B (zh) | 一种基于vmd-foa-grnn的船舶流量预测方法 | |
| CN114487129B (zh) | 基于声发射技术的柔性材料的损伤识别方法 | |
| CN117217915A (zh) | 一种基于深度迁移学习的股票价格预测方法 | |
| Xie et al. | Tool wear status recognition and prediction model of milling cutter based on deep learning | |
| CN109632942B (zh) | 一种基于集成学习的管道缺陷尺寸的反演方法 | |
| CN118114118A (zh) | 一种基于cndt的典型武器装备故障诊断方法 | |
| CN113570165A (zh) | 基于粒子群算法优化的煤储层渗透率智能预测方法 | |
| CN116910483A (zh) | 一种基于遮蔽卷积注意力残差收缩网络的软测量建模方法 | |
| CN116662925A (zh) | 一种基于加权稀疏神经网络工业过程软测量方法 | |
| CN115963788A (zh) | 多采样率工业过程关键质量指标在线预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200317 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |