CN110739031B - 一种冶金烧结过程的有监督预测方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种冶金烧结过程的有监督预测方法，按照时间序列采集烧结过程中的相关过程变量，将过程变量与对应时刻的质量变量组合，构造训练样本；继续采样过程变量，将过程变量与对应前一采样时刻的质量变量组合，构造测试样本输入，并对训练样本以及测试样本进行数据预处理；构建有监督受限玻尔兹曼机，利用L个有监督受限玻尔兹曼机及一个全连接层共同组成有监督深度置信网络模型，利用极大化似然原理，通过CD‑K采样方法，预训练所提出的有监督受限玻尔兹曼机，利用反向传播微调多个有监督受限玻尔兹曼机堆叠组成的深度置信网络模型，获得模型参数；将测试样本输入到已经训练好的有监督深度置信网络模型中，获得对应的产品质量预测值。

Description

一种冶金烧结过程的有监督预测方法、装置及存储介质

技术领域

本发明涉及钢铁冶炼技术领域，尤其涉及一种冶金烧结过程的有监督预测方法、装置及存储介质。

背景技术

钢铁生产是典型的大型连续复杂生产工业流程之一，该过程涉及到复杂的化学、物理变化过程。完整的钢铁生产过程涉及到多个生产工序，原始矿料经过采矿、选矿、烧结、炼钢、轧钢等多个生产流程后获得不同规格的钢铁产品。我国钢铁冶金工业由于自动化程度不足，在实际生产过程中存在着污染大、能耗高、生产环境恶劣、生产关系复杂、产品质量波动大、生产环节时滞大等问题。其中烧结作为现代钢铁生产过程中为高炉炼钢提供人造富矿的重要环节，烧结矿的性能直接影响到生产的成本和钢铁产能。因此对烧结矿性能的实时在线监测对于指导烧结生产控制、改善烧结矿质量、降低高炉冶炼成本、提高高炉冶炼效率具有重要意义。烧结生产包括配料、混料、烧结、破碎、冷却等主要生产流程。具体为红土矿、石灰等原料经配料、混料，进入烧结台车，经烧结、破碎、冷却，最后送入高炉进行后续的炼钢流程。由于烧结现场恶劣的生产环境、高昂的测量成本、监测准确率等原因，导致生产过程所需实时监测的质量变量不能够直接实时获取。因此，必须利用软测量的方式，通过易于监测到的过程变量与难以在线监测的质量变量之间的关系，建立质量预测模型，对所需监测的质量变量进行实时预测。

随着现代钢铁冶金工业的自动化升级改造以及生产规模的扩大，越来越多的过程数据能够被实时监测，但由于传统的机理分析建模方法需要大量的先验知识和对生产对象的深刻理解，尤其是现代工业生产过程都向大型化、规模化、复杂化发展，这急剧地加大了机理建模的困难度。

深度置信网络作为深度学习模型的经典算法之一，凭借着多层神经网络对输入数据由低到高的进行逐层特征抽象提取，最大程度地利用监测到的海量生产数据中包含的生产过程信息及过程变量与质量变量间的复杂非线性关系，同时模型的不断学习和更新能够较好的适应现代工业生产中频繁的工况调整和优化，能够较好地预测相关的质量变量。但是由于目前的传统的深度置信网络仅仅关注于过程数据本身的特征提取，而忽略了输出质量变量中所包含的特征信息，从而使得网络模型的特征提取具有局限性，进而不能够获得满意的预测效果。

发明内容

因此，本发明提供一种能够缓解上述问题的基于质量信息融合的有监督深度置信网络预测烧结过程产品质量的方法，针对现有的深度置信网络模型仅仅关注于过程数据本身的特征提取，忽略了过程数据中与质量变量相关的特征信息以及质量变量本身所包含的特征信息，通过引入质量变量，指导网络模型对与质量变量相关的特征进行提取，大幅提高了预测的精度。

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明公开了一种

冶金烧结过程的有监督预测方法，包括以下步骤：

步骤a、按照时间序列采集烧结过程中的相关过程变量，将过程变量与对应时刻的质量变量组合，构造训练样本；继续采样过程变量，将过程变量与对应前一采样时刻的质量变量组合，构造测试样本，并对训练样本以及测试样本进行数据预处理；

步骤b、构建有监督受限玻尔兹曼机，利用L个有监督受限玻尔兹曼机及一个全连接层共同组成有监督深度置信网络模型，其中，L为大于等于3的自然数；

步骤c、利用极大化似然原理，通过CD-K采样方法，预训练所提出的有监督受限玻尔兹曼机，之后利用反向传播微调多个有监督受限玻尔兹曼机堆叠组成的深度置信网络模型，获得模型参数；

步骤d、将测试样本输入到已经训练好的有监督深度置信网络模型中，获得对应的产品质量预测值。

更进一步地，从烧结生产过程中采集到与生产相关的质量变量以及对应的过程变量，并将二者组合，构造训练样本，并在测试时以类似方式构造测试样本，所述过程包括以下步骤：

步骤a0、按一定时间间隔顺序采集系统指定时间序列内的t时刻的过程变量

及对应t时刻的质量变量

其中，

表示过程变量x^t的第i(i＝1,2…n_x)个特征，t＝1,2…T表示从1到T时刻的数据，T表示指定时间序列内所有样本的个数；

步骤a1、将过程变量与对应采样时刻的质量变量按照采样时刻进行匹配，然后将匹配成功的质量变量加入到对应过程变量的最后一个变量的后面，得到训练样本，也将该训练样本称为第一有监督受限玻尔兹曼机的输入样本，记该训练样本为：

其中，t是当前采样时刻，m是组合训练样本的第m维度，n_v是组合训练样本的维度，n_x的过程变量的维度,n_y是质量变量的维度,在质量预测中n_y为1；

步骤a2、再次采样烧结过程的相关过程变量，考虑到前后相邻两个时刻的生产质量具有密切的关联，将过程变量对应的前一采样时刻的质量变量进行组合，得到测试样本，记测试样本为：

其中，s表示第s个测试样本，S表示测试样本的总数量；

步骤a3、对训练样本与对应采样时刻的质量变量进行数据预处理：

其中，

表示训练样本的第m个变量，v_(max)m和v_(min)m分别表示训练样本中的第m个变量的最大值和最小值，y_(max)和y_(min)则分别表示对应采样时刻的质量变量的最大值和最小值；

步骤a4、对测试样本与对应前一采样时刻的质量变量以与所述步骤a3的方式相同的方法进行数据预处理。

更进一步地，构建的有监督深度置信网络模型的结构进一步包括：

所述有监督深度置信网络模型由L个(L≥3)有监督受限玻尔兹曼机模型及一个全连接层依次堆叠组成，有监督受限玻尔兹曼机模型是通过将受限玻尔兹曼机的显层输入进行扩展，引入与质量信息相关的有监督信息，进而指导网络模型的学习。

更进一步地，利用过程变量与质量变量组合而成的有监督输入样本受限对第一个受限玻尔兹曼机进行有监督训练，具体步骤包括：

步骤c1、基于有监督受限玻尔兹曼机能量函数，推导出第一有监督受限玻尔兹曼机的输入样本的概率分布，利用极大化似然原理，通过CD-K交替采样的方式更新网络参数，最大化这一概率分布，进而获得第一个有监督受限玻尔兹曼机的超参数并提取第一隐层特征数据；

步骤c2、将第一隐层特征数据与当前采样时刻的质量变量进行组合，构造第二有监督受限玻尔兹曼机的输入样本，利用该有监督输入样本推导出对应的概率分布，通过CD-K交替采样的方式最大化该有监督输入样本的概率分布，进而获得第二个有监督受限玻尔兹曼机的超参数并提取第二隐层特征数据；

步骤c3、重复所述步骤c2，用l＝1,2…,L表示有监督受限玻尔兹曼机在序列中的位置，对于后续有监督受限玻尔兹曼机(即l≥2时)的训练，将第l-1隐层特征数据与当前采样时刻的质量变量进行组合，构造第l有监督受限玻尔兹曼机的有监督输入样本，利用第l有监督受限玻尔兹曼机推导出该有监督输入样本的概率分布，通过CD-K交替采样的方式最大化第l有监督受限玻尔兹曼机的输入样本的概率分布，进而获得第l个有监督受限玻尔兹曼机的超参数并提取第l隐层特征数据；

步骤c4、将预训练好的L个有监督受限玻尔兹曼机与全连接的输出层进行连接，构成有监督深度置信网络结构，在预训练获得的参数基础上，通过反向传播算法对网络参数进行微调，最终通过输出层，输出网络的预测结果。

更进一步地，通过在第l个有监督受限玻尔兹曼机的显层输入

和隐层输出

之间使用CD-K交替采样使得似然函数P(v^t,[l])最大化，依据能量函数：

对于多个有监督受限玻尔兹曼机(L个)的训练，上述过程可表示为：

其中，v^t,[l]和

分别表示某个样本v^t,[l]及其对应的似然函数P(v^t,[l])关于θ^[l]中各个参数的偏导数，θ^[l]＝{w_ij,w_lj,a_i,c_I,b_j,σ_i,β_I,γ_j}表示第l个有监督受限玻尔兹曼机显层v^t,[l]到隐层h^t,[l]的各变量之间的参数集合，包括显层x、y与隐层h间的权重w_ij、w_lj，显层单元x、y及隐层单元h的偏差a_i、c_I、b_j，和各自对应的高斯单元的方差σ_i、β_I、γ_j，通过CD-K算法对以上偏导数进行计算，完成参数的更新，进而达到最大化似然函数的学习目的。

更进一步地，完成所述的L个有监督受限玻尔兹曼机的预训练后，还应通过以下步骤完成网络的微调训练过程：

基于第L个有监督受限玻尔兹曼机的隐层输出，利用全连接层获得质量变量的预测值

根据

构建深度置信网络的损失函数

其中，T为输入训练样本个数，y^t是对应第t个训练样本对应采样时刻的质量变量真实值，

是对应第t个训练样本对应采样时刻的质量变量预测值；根据所述损失函数，利用反向传播算法对有监督深度置信网络进行参数的微调，直至网络收敛到目标范围。

更进一步地，在所述步骤d中，利用所建的有监督深度置信网络模型预测产品质量的具体方法包括：

将测试样本v^T+s代入到训练好的的有监督深度置信网络模型中，通过前向传播算法，得到预测结果

本发明进一步提供了一种电子装置，包括：处理器；以及，存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任一项所述的有监督预测方法。

本发明进一步提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的有监督预测方法。

本发明提供了一种基于质量信息融合的有监督深度置信网络预测烧结过程产品质量的方法，通过所述的有监督受限玻尔兹曼机，由低层到高层逐层地对输入数据中与质量变量相关的特征进行提取，从而提高网络对质量变量的预测精度。本发明相对于现有技术，具有预测精度高，鲁棒性好等优点。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。

图1为本发明所述的一种基于质量信息融合的有监督深度置信网络的模型结构示意图；

图2为本发明一个实施例的基于质量信息融合的有监督深度置信网络预测烧结过程产品质量的方法流程图。

具体实施方式

下面将结合附图和实施例对本发明的具体技术方案和实施流程进行详细、清晰地描述，显然，所描述的实施例仅是本发明一部分实施例，而非全部的实施例，所述实例并不限制本发明的范围。

如图1所示，图中展示了一种基于质量信息融合的有监督深度置信网络的模型结构。图2展示了一种基于质量信息融合的深度置信网络预测烧结过程产品质量的方法，包括以下步骤：

a、按照时间序列采集烧结过程中的相关过程变量，将过程变量与对应时刻的质量变量组合，构造训练样本；继续采样过程变量，将过程变量与对应前一采样时刻的质量变量组合，构造测试样本，并对训练样本以及测试样本进行数据预处理；

b、提出有监督受限玻尔兹曼机，利用L个(L≥3)有监督受限玻尔兹曼机及一个全连接层共同组成有监督深度置信网络模型；

c、利用极大化似然原理，通过CD-K采样方法，预训练所提出的有监督受限玻尔兹曼机，之后利用反向传播微调多个有监督受限玻尔兹曼机堆叠组成的深度置信网络模型，获得模型参数；

d、将测试样本输入到已经训练好的有监督深度置信网络模型中，获得对应的产品质量预测值。

具体地，本发明通过对烧结过程的机理分析，选取了烧结过程中与烧结矿质量具有较大相关性的过程变量作为相关过程变量。通过时间序列顺序采样以及质量信息的融合，构造出训练样本，即第一有监督受限玻尔兹曼机的输入样本。通过类似方式，构造出测试样本。利用训练样本对所述有监督深度置信网络进行训练。

所述深度置信网络模型的训练过程分为逐层预训练和反向微调两个步骤。首先逐层预训练每个有监督玻尔兹曼机，通过将显层的有监督输入样本输入到第一个有监督受限玻尔兹曼机中，利用CD-K采样方法最大化第一监督输入样本的概率分布，从而完成第一个有监督受限玻尔兹曼机的预训练并获得其隐层输出。将上一个有监督受限玻尔兹曼机的隐层输出与对应当前采样时刻质量信息融合，作为下一个有监督受限玻尔兹曼机的显层输入，利用CD-K采样方法最大化显层输入样本的概率分布，从而完成该有监督受限玻尔兹曼机的预训练并获得其隐层输出。以同样的方式，依次完成L个有监督受限玻尔兹曼机的预训练并获得其隐层输出。将第L个有监督受限玻尔兹曼机的隐层输出连接到一个全连接层，通过全连接层输出网络的预测值。

在反向微调步骤中，利用反向传播算法，通过构造模型的损失函数来微调有监督深度置信网络的参数，直至网络收敛到目标范围。

所述利用有监督深度置信网络进行产品质量预测的过程是将测试样本输入到训练好的有监督深度置信网络中，利用前向传播算法，获得其预测值。

基于上述实施例，作为一种可选的实施例，在步骤a中，从烧结过程中采集到与生产相关的质量变量以及对应的过程变量，并将二者组合，构造训练样本，并在测试时以类似方式构造测试样本，所述过程包括以下步骤：

按一定时间间隔顺序采集系统指定时间序列内的t时刻的过程变量

及对应t时刻的质量变量

其中，

表示过程变量x^t的第i(i＝1,2…n_x)个特征。t＝1,2…T表示从1到T时刻的数据，T表示指定时间序列内所有样本的个数。

a1、将过程变量与对应采样时刻的质量变量按照采样时刻进行匹配，然后将匹配成功的质量变量加入到对应过程变量的最后一个变量的后面，得到训练样本，也将该训练样本称为第一有监督受限玻尔兹曼机的输入样本，记该训练样本为：

上式中，t是当前采样时刻，m是组合训练样本的第m维度，n_v是组合训练样本的维度，n_x的过程变量的维度,n_y是质量变量的维度,在质量预测中n_y为1。

a2、再次采样烧结过程的相关过程变量，考虑到前后相邻两个时刻的生产质量具有密切的关联，将过程变量对应的前一采样时刻的质量变量进行组合，得到测试样本，记测试样本为：

上式中，s表示第s个测试样本，S表示测试样本的总数量。

a3、对训练样本与对应采样时刻的质量变量进行数据预处理：

上式中，v_m ^t表示训练样本的第m个变量，v_(max)m和v_(min)m分别表示训练样本中的第m个变量的最大值和最小值。y_(max)和y_(min)则分别表示对应采样时刻的质量变量的最大值和最小值。

a4、同样，对测试样本与对应前一采样时刻的质量变量以类似a3的方式进行数据预处理：

基于上述实施例，作为一种可选的实施例，在步骤b中，所述的有监督深度置信网络模型结构包括：针对每一个受限玻尔兹曼机，都将其扩展成有监督形式，将L

(L≥3)个有监督受限玻尔兹曼机堆叠起来，在最后一个有监督受限玻尔兹曼机的隐层后连接一个全连接层。

具体地，通过L(L≥3)个有监督受限玻尔兹曼机的堆叠构建的深度置信网络模型的网络结构为n_v→h^[1]→…→h^[l]→…→h^[L]→output。其中n_v是深度置信网络的输入层神经元数。h^[l],l＝1,…L表示第l个有监督受限玻尔兹曼机的隐层神经元数，根据具体的数据特征和模型要求选择神经元的单元类型。output为输出层神经元数。如前所述，第l个有监督受限玻尔兹曼机的各参数分别表示为

第l个有监督受限玻尔兹曼机的隐层激活函数为g^[l],l＝1…L。第L个有监督受限玻尔兹曼机与输出层之间的参数表示为{w^[o],b^[o]},激活函数为f。

基于上述实施例，作为一种可选的实施例，在步骤c中，利用有监督输入样本对第一有监督受限玻尔兹曼机进行训练，所述过程包括以下步骤：

c1、基于有监督受限玻尔兹曼机能量函数，推导出第一有监督受限玻尔兹曼机的输入样本的概率分布，利用极大化似然原理，通过CD-K交替采样的方式更新网络参数，最大化这一概率分布，进而获得第一个有监督受限玻尔兹曼机的超参数并提取第一隐层特征数据；

c2、将第一隐层特征数据与当前采样时刻的质量变量进行组合，构造第二有监督受限玻尔兹曼机的输入样本，利用该有监督输入样本推导出对应的概率分布，通过CD-K交替采样的方式最大化该有监督输入样本的概率分布，进而获得第二个有监督受限玻尔兹曼机的超参数并提取第二隐层特征数据；

c3、重复步骤c2，用l＝1,2…,L表示有监督受限玻尔兹曼机在序列中的位置。因此，对于后续有监督受限玻尔兹曼机(即l≥2时)的训练，将第l-1隐层特征数据与当前采样时刻的质量变量进行组合，构造第l有监督受限玻尔兹曼机的有监督输入样本，利用第l有监督受限玻尔兹曼机推导出该有监督输入样本的概率分布，通过CD-K交替采样的方式最大化第l有监督受限玻尔兹曼机的输入样本的概率分布，进而获得第l个有监督受限玻尔兹曼机的超参数并提取第l隐层特征数据；

c4、将预训练好的L个有监督受限玻尔兹曼机与全连接的输出层进行连接，构成有监督深度置信网络结构，在预训练获得的参数基础上，通过反向传播算法对网络参数进行微调，最终通过输出层，输出网络的预测结果。

具体地，通过在第l个有监督受限玻尔兹曼机的显层输入

和隐层输出

之间使用CD-K交替采样使得似然函数P(v^t,[l])最大化，依据如下能量函数：

对于多个有监督受限玻尔兹曼机(如L个)的训练，上述过程可表示为：

上式中，v^t,[l]和

分别表示某个样本v^t,[l]及其对应的似然函数P(v^t,[l])关于θ^[l]中各个参数的偏导数，θ^[l]＝{w_ij,w_lj,a_i,c_I,b_j,σ_i,β_I,γ_j}表示第l个有监督受限玻尔兹曼机显层v^t,[l]到隐层h^t,[l]的各变量之间的参数集合，包括显层x、y与隐层h间的权重w_ij、w_lj，显层单元x、y及隐层单元h的偏差a_i、c_I、b_j，和各自对应的单元方差σ_i、β_I、γ_j，通过CD-K算法对以上偏导数进行计算，完成参数的更新，进而达到最大化似然函数的学习目的。

在完成第L个有监督受限玻尔兹曼机的预训练之后，获得其隐层输出并在隐层之后添加全连接层，根据以下目标函数利用反向传播算法，对所述预训练获得的网络参数{w^[l],a^[l],c^[l],b^[l],σ^[l],β^[l],γ^[l],w^[o],b^[o]}进行微调，直到满足精度要求。

其中，

是对应的t时刻的输入样本的质量变量的预测值。

基于上述实施例，作为一种可选的实施例，在步骤d中，利用所建的有监督深度置信网络模型预测产品质量的具体方法包括：将测试样本v^T+s带入到训练好的有监督深度置信网络模型中，通过前向传播算法，得到预测结果

本发明通过构造输入样本，引入质量变量信息，利用多个有监督受限玻尔兹曼机依次堆叠而成的有监督深度置信网络，采用有监督方式的预训练方法，实现了由低层到高层逐层地对数据中与质量变量相关的特征的提取，弥补了传统深度置信网络不能充分利用输入输出关系的缺陷，提高网络对质量变量的预测精度。

基于上述实施例，作为一种优选的实施例，在本实施例中将本发明一种基于质量信息融合的有监督深度置信网络预测方法应用到烧结过程产品质量预测中，具体方法步骤包括：

根据实际生产需要，以烧结矿中的氧化亚铁含量作为所需预测的质量变量y，通过对获取到的状态参数、操作参数等过程变量进行机理分析，选取其中对烧结矿质量影响最大的18个过程变量作为深度置信网络的无监督输入变量，记为x₁，x₂，…，x₁₈。从烧结生产过程中提取1414个数据样本作为构建深度置信网络的数据集，其中，前1000个数据样本作为训练集，后414个数据样本作为测试集，同时根据本发明所述有监督信息的引入方式，针对各个数据样本引入相应的质量变量信息，之后对全体样本数据的各个变量进行归一化处理。

本实施例中，在原始的18维输入变量的基础上引入监督信息，网络模型的结构为19—>73—>73—>72—>1，即输入维度为19，有监督受限玻尔兹曼机个数为3，全连接层维度为72。同时，在预训练过程中，由于各有监督受限玻尔兹曼机在输入层都引入了质量变量的监督信息，故在深度置信网络中，对应的隐层维度也增加1。最终，输入数据样本通过以上网络结构对质量变量进行预测。三个有监督受限玻尔兹曼机的显层到隐层的各参数分别为

和

有监督受限玻尔兹曼机神经元单元采用双高斯型，因此，各神经元分别服从标准差为σ,β,γ的高斯噪声分布，一般我们选σ,β,γ为1。三个有监督受限玻尔兹曼机的隐层激活函数分别为g^[1]，g^[2]，g^[3]。第三个有监督受限玻尔兹曼机与输出层之间的参数表示为{w^[o],b^[o]},采用线性激活函数f。

在本实施例中，首先将原始过程变量组成的无监督输入变量x^t(x^t∈R¹⁸，i＝1,2…18)与相应的质量变量y^t进行组合，形成第一个有监督受限玻尔兹曼机的有监督输入样本数据v^t＝(x^t,y^t),通过在有监督受限玻尔兹曼机的显层输入v^t(v^t∈R¹⁹)和隐层输出h^t(h^t∈R⁷²)之间使用CD-K交替采样使得似然函数P(v^t)最大化。

在本实例中，第一个有监督受限玻尔兹曼机的训练以最大化似然函数P(v^t,1)为目标,计算公式如下：

上式中，

表示第1个有监督受限玻尔兹曼机显层v^t,[1]到隐层h^t,[1]的各变量之间的参数集合，第一个有监督受限玻尔兹曼机的显层输入为v^t,[1](v^t,[1]∈R¹⁹，t＝1,2,…,1000),第一隐层数据为h^t,[1](h^t,[1]∈R⁷²，t＝1,2,…,1000)，通过对第一隐层数据h^t,[1]采样并重构得到显层重构数据[v^t,[1]]⁽¹⁾，之后以[v^t,[1]]⁽¹⁾为输入，经过前向计算与采样得到隐层重构数据[h^t,[1]]⁽¹⁾，如此循环，完成K次采样后，利用V^t,[1]及提取到的特征等更新网络参数，完成一次CD-K算法。CD-K算法计算过程可用公式表示为：

经过K次采样后，通过以下公式对各参数梯度进行计算：

通过以上公式可以对第一个有监督受限玻尔兹曼机进行参数更新，多次迭代后，固定学习到的参数

完成第一个有监督受限玻尔兹曼机的预训练。

在本实施例中，完成第一个有监督受限玻尔兹曼机的预训练后，获得第一隐层输出h^t,[1]。将h^t,[1]与质量变量y^t组合得到第二个有监督受限玻尔兹曼机的第二显层输入v^{t ,[2]}(v^t,[2]∈R⁷³，t＝1,2,…,1000)。采用前向计算和CD-K采样最大化似然函数P(v^t,[2])，则目标函数的偏导计算公式为：

通过K次采样完成参数的更新，最后得到第二个有监督受限玻尔兹曼机的超参数

在本实例中，完成第二个有监督受限玻尔兹曼机的训练后，获得第二个有监督受限玻尔兹曼机的隐层输出h^t,[2](h^t,[2]∈R⁷²，t＝1,2,…,1000)，之后将h^t,[2]与质量变量y^t组合得到第三个有监督受限玻尔兹曼机的第三显层输入v^t,[3](v^t,[3]∈R⁷³，t＝1,2,…,1000)。采用前向计算和CD-K采样最大化似然函数P(v^t,[3])，则目标函数的偏导计算公式为：

通过K次采样完成参数的更新，最后得到第三个有监督受限玻尔兹曼机的超参数

及对应的隐层输出h^t,[3](h^t,[3]∈R⁷²，t＝1,2,…,1000)。

在本实施例中，完成第三有监督受限玻尔兹曼机的预训练之后，在第三有监督受限玻尔兹曼机的隐层之后添加输出层。根据以下损失函数利用反向传播算法，对所述三个有监督受限玻尔兹曼机堆叠而成的深度置信网络的网络参数{θ^[1],θ^[2],θ^[3],w^[o],b^[o]}进行微调，直到满足精度要求。

其中，

是对应的t时刻的质量变量的预测值。

通过以上所述方法完成深度置信网络的训练，对测试样本按照所述数据处理方法将过程变量与对应前一时刻的质量变量进行组合，然后将组合样本数据代入上述训练好的深度置信网络中，得到各输入样本数据对应的质量预测输出值，通过有监督受限玻尔兹曼机堆叠构建的深度学习模型取得了十分理想的预测效果。

如表1所示，为堆栈自编码器(Stacked AutoEncoder，SAE)、深度置信网络(DeepBelief Network，DBN)以及本发明提出的有监督深度置信网络(Supervised Deep BeliefNetwork，SDBN)三种模型在训练集和测试集上的预测均方根误差(RMSE)。

表1三种模型在训练集和测试集上的RMSE

由表中可看出本发明所提出的SDBN的预测误差在训练集合和测试集合上最低，验证本发明所提出的方法的具有更高的精确性。并且，通过比较三种神经网络的训练误差可以看出，SDBN在误差大幅度降低的同时，收敛速度与SAE、DBN相差不大。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。因此，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种冶金烧结过程的有监督预测方法，其特征在于，包括以下步骤：

步骤a、按照时间序列采集烧结过程中的相关过程变量，将过程变量与对应时刻的质量变量组合，构造训练样本；继续采样过程变量，将过程变量与对应前一采样时刻的质量变量组合，构造测试样本，并对训练样本以及测试样本进行数据预处理；

步骤b、构建有监督受限玻尔兹曼机，利用L个有监督受限玻尔兹曼机及一个全连接层共同组成有监督深度置信网络模型，其中，L为大于等于3的自然数；

步骤c、利用极大化似然原理，通过CD-K采样方法，预训练所提出的有监督受限玻尔兹曼机，之后利用反向传播微调多个有监督受限玻尔兹曼机堆叠组成的深度置信网络模型，获得模型参数；

步骤d、将测试样本输入到已经训练好的有监督深度置信网络模型中，获得对应的产品质量预测值；

从烧结生产过程中采集到与生产相关的质量变量以及对应的过程变量，并将二者组合，构造训练样本，并在测试时以类似方式构造测试样本，所述过程包括以下步骤：

步骤a0、按一定时间间隔顺序采集系统指定时间序列内的t时刻的过程变量

及对应t时刻的质量变量

其中，

表示过程变量x^t的第i(i＝1,2…n_x)个特征，t＝1,2…T表示从1到T时刻的数据，T表示指定时间序列内所有样本的个数；

步骤a1、将过程变量与对应采样时刻的质量变量按照采样时刻进行匹配，然后将匹配成功的质量变量加入到对应过程变量的最后一个变量的后面，得到训练样本，也将该训练样本称为第一有监督受限玻尔兹曼机的输入样本，记该训练样本为：

其中，t是当前采样时刻，m是组合训练样本的第m维度，n_v是组合训练样本的维度，n_x的过程变量的维度,n_y是质量变量的维度,在质量预测中n_y为1；

步骤a2、再次采样烧结过程的相关过程变量，考虑到前后相邻两个时刻的生产质量具有密切的关联，将过程变量对应的前一采样时刻的质量变量进行组合，得到测试样本，记测试样本为：

其中，s表示第s个测试样本，S表示测试样本的总数量；

步骤a3、对训练样本与对应采样时刻的质量变量进行数据预处理：

其中，

表示训练样本的第m个变量，v_(max)m和v_(min)m分别表示训练样本中的第m个变量的最大值和最小值，y_(max)和y_(min)则分别表示对应采样时刻的质量变量的最大值和最小值；

步骤a4、对测试样本与对应前一采样时刻的质量变量以与所述步骤a3的方式相同的方法进行数据预处理。

2.根据权利要求1所述的有监督预测方法，其特征在于，构建的有监督深度置信网络模型的结构进一步包括：

所述有监督深度置信网络模型由L个有监督受限玻尔兹曼机模型及一个全连接层依次堆叠组成，有监督受限玻尔兹曼机模型是通过将受限玻尔兹曼机的显层输入进行扩展，引入与质量信息相关的有监督信息，进而指导网络模型的学习。

3.根据权利要求2所述的有监督预测方法，其特征在于，利用过程变量与质量变量组合而成的有监督输入样本受限对第一个受限玻尔兹曼机进行有监督训练，具体步骤包括：

步骤c1、基于有监督受限玻尔兹曼机能量函数，推导出第一有监督受限玻尔兹曼机的输入样本的概率分布，利用极大化似然原理，通过CD-K交替采样的方式更新网络参数，最大化这一概率分布，进而获得第一个有监督受限玻尔兹曼机的超参数并提取第一隐层特征数据；

步骤c2、将第一隐层特征数据与当前采样时刻的质量变量进行组合，构造第二有监督受限玻尔兹曼机的输入样本，利用该有监督输入样本推导出对应的概率分布，通过CD-K交替采样的方式最大化该有监督输入样本的概率分布，进而获得第二个有监督受限玻尔兹曼机的超参数并提取第二隐层特征数据；

步骤c3、重复所述步骤c2，用l＝1,2…,L表示有监督受限玻尔兹曼机在序列中的位置，对于后续有监督受限玻尔兹曼机L≥2时的训练，将第l-1隐层特征数据与当前采样时刻的质量变量进行组合，构造第L有监督受限玻尔兹曼机的有监督输入样本，利用第L有监督受限玻尔兹曼机推导出该有监督输入样本的概率分布，通过CD-K交替采样的方式最大化第L有监督受限玻尔兹曼机的输入样本的概率分布，进而获得第L个有监督受限玻尔兹曼机的超参数并提取第l隐层特征数据；

步骤c4、将预训练好的L个有监督受限玻尔兹曼机与全连接的输出层进行连接，构成有监督深度置信网络结构，在预训练获得的参数基础上，通过反向传播算法对网络参数进行微调，最终通过输出层，输出网络的预测结果。

4.根据权利要求3所述的有监督预测方法，其特征在于，通过在第L个有监督受限玻尔兹曼机的显层输入

和隐层输出

之间使用CD-K交替采样使得似然函数P(v^t,[l])最大化，依据能量函数：

对于多个有监督受限玻尔兹曼机(L个)的训练，上述过程可表示为：

其中，v^t,[l]和

分别表示某个样本v^t,[l]及其对应的似然函数P(v^t,[l])关于θ^[l]中各个参数的偏导数，θ^[l]＝{w_ij,w_lj,a_i,c_I,b_j,σ_i,β_I,γ_j}表示第L个有监督受限玻尔兹曼机显层v^t,[l]到隐层h^t,[l]的各变量之间的参数集合，包括显层x、y与隐层h间的权重w_ij、w_lj，显层单元x、y及隐层单元h的偏差a_i、c_I、b_j，和各自对应的高斯单元的方差σ_i、β_I、γ_j，通过CD-K算法对以上偏导数进行计算，完成参数的更新，进而达到最大化似然函数的学习目的。

5.根据权利要求3所述的有监督预测方法，其特征在于，完成所述的L个有监督受限玻尔兹曼机的预训练后，还应通过以下步骤完成网络的微调训练过程：

基于第L个有监督受限玻尔兹曼机的隐层输出，利用全连接层获得质量变量的预测值

根据

构建深度置信网络的损失函数

其中，T为输入训练样本个数，y^t是对应第t个训练样本对应采样时刻的质量变量真实值，

是对应第t个训练样本对应采样时刻的质量变量预测值；根据所述损失函数，利用反向传播算法对有监督深度置信网络进行参数的微调，直至网络收敛到目标范围。

6.根据权利要求1所述的有监督预测方法，其特征在于，在所述步骤d中，利用所建的有监督深度置信网络模型预测产品质量的具体方法包括：

将测试样本v^T+s代入到训练好的有监督深度置信网络模型中，通过前向传播算法，得到预测结果

7.一种电子装置，其特征在于，包括：处理器；以及，存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-6任一项所述的有监督预测方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的有监督预测方法。

Images