CN110739031A - 一种冶金烧结过程的有监督预测方法、装置及存储介质 - Google Patents
一种冶金烧结过程的有监督预测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110739031A CN110739031A CN201911127970.7A CN201911127970A CN110739031A CN 110739031 A CN110739031 A CN 110739031A CN 201911127970 A CN201911127970 A CN 201911127970A CN 110739031 A CN110739031 A CN 110739031A
- Authority
- CN
- China
- Prior art keywords
- supervised
- training
- quality
- boltzmann machine
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/10—Analysis or design of chemical reactions, syntheses or processes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/70—Machine learning, data mining or chemometrics
Abstract
本发明公开了一种冶金烧结过程的有监督预测方法,按照时间序列采集烧结过程中的相关过程变量,将过程变量与对应时刻的质量变量组合,构造训练样本;继续采样过程变量,将过程变量与对应前一采样时刻的质量变量组合,构造测试样本输入,并对训练样本以及测试样本进行数据预处理;构建有监督受限玻尔兹曼机,利用L个有监督受限玻尔兹曼机及一个全连接层共同组成有监督深度置信网络模型,利用极大化似然原理,通过CD‑K采样方法,预训练所提出的有监督受限玻尔兹曼机,利用反向传播微调多个有监督受限玻尔兹曼机堆叠组成的深度置信网络模型,获得模型参数;将测试样本输入到已经训练好的有监督深度置信网络模型中,获得对应的产品质量预测值。
Description
技术领域
本发明涉及钢铁冶炼技术领域,尤其涉及一种冶金烧结过程的有监督预测方法、装置及存储介质。
背景技术
钢铁生产是典型的大型连续复杂生产工业流程之一,该过程涉及到复杂的化学、物理变化过程。完整的钢铁生产过程涉及到多个生产工序,原始矿料经过采矿、选矿、 烧结、炼钢、轧钢等多个生产流程后获得不同规格的钢铁产品。我国钢铁冶金工业由 于自动化程度不足,在实际生产过程中存在着污染大、能耗高、生产环境恶劣、生产 关系复杂、产品质量波动大、生产环节时滞大等问题。其中烧结作为现代钢铁生产过 程中为高炉炼钢提供人造富矿的重要环节,烧结矿的性能直接影响到生产的成本和钢 铁产能。因此对烧结矿性能的实时在线监测对于指导烧结生产控制、改善烧结矿质量、 降低高炉冶炼成本、提高高炉冶炼效率具有重要意义。烧结生产包括配料、混料、烧 结、破碎、冷却等主要生产流程。具体为红土矿、石灰等原料经配料、混料,进入烧 结台车,经烧结、破碎、冷却,最后送入高炉进行后续的炼钢流程。由于烧结现场恶 劣的生产环境、高昂的测量成本、监测准确率等原因,导致生产过程所需实时监测的 质量变量不能够直接实时获取。因此,必须利用软测量的方式,通过易于监测到的过 程变量与难以在线监测的质量变量之间的关系,建立质量预测模型,对所需监测的质 量变量进行实时预测。
随着现代钢铁冶金工业的自动化升级改造以及生产规模的扩大,越来越多的过程数据能够被实时监测,但由于传统的机理分析建模方法需要大量的先验知识和对生产 对象的深刻理解,尤其是现代工业生产过程都向大型化、规模化、复杂化发展,这急 剧地加大了机理建模的困难度。
深度置信网络作为深度学习模型的经典算法之一,凭借着多层神经网络对输入数据由 低到高的进行逐层特征抽象提取,最大程度地利用监测到的海量生产数据中包含的生 产过程信息及过程变量与质量变量间的复杂非线性关系,同时模型的不断学习和更新能够较好的适应现代工业生产中频繁的工况调整和优化,能够较好地预测相关的质量 变量。但是由于目前的传统的深度置信网络仅仅关注于过程数据本身的特征提取,而 忽略了输出质量变量中所包含的特征信息,从而使得网络模型的特征提取具有局限性, 进而不能够获得满意的预测效果。
发明内容
因此,本发明提供一种能够缓解上述问题的基于质量信息融合的有监督深度置信网络预测烧结过程产品质量的方法,针对现有的深度置信网络模型仅仅关注于过程数 据本身的特征提取,忽略了过程数据中与质量变量相关的特征信息以及质量变量本身 所包含的特征信息,通过引入质量变量,指导网络模型对与质量变量相关的特征进行 提取,大幅提高了预测的精度。
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明公开了一种
冶金烧结过程的有监督预测方法,包括以下步骤:
步骤a、按照时间序列采集烧结过程中的相关过程变量,将过程变量与对应时刻的质量变量组合,构造训练样本;继续采样过程变量,将过程变量与对应前一采样时刻 的质量变量组合,构造测试样本,并对训练样本以及测试样本进行数据预处理;
步骤b、构建有监督受限玻尔兹曼机,利用L个有监督受限玻尔兹曼机及一个全连接层共同组成有监督深度置信网络模型,其中,L为大于等于3的自然数;
步骤c、利用极大化似然原理,通过CD-K采样方法,预训练所提出的有监督受限玻尔兹曼机,之后利用反向传播微调多个有监督受限玻尔兹曼机堆叠组成的深度置信网 络模型,获得模型参数;
步骤d、将测试样本输入到已经训练好的有监督深度置信网络模型中,获得对应的产品质量预测值。
更进一步地,从烧结生产过程中采集到与生产相关的质量变量以及对应的过程变量,并将二者组合,构造训练样本,并在测试时以类似方式构造测试样本,所述过程 包括以下步骤:
步骤a0、按一定时间间隔顺序采集系统指定时间序列内的t时刻的过程变量xt 及对应t时刻的质量变量其中,表示过 程变量xt的第i(i=1,2…nx)个特征,t=1,2…T表示从1到T时刻的数据,T表示指定 时间序列内所有样本的个数;
步骤a1、将过程变量与对应采样时刻的质量变量按照采样时刻进行匹配,然后将匹配成功的质量变量加入到对应过程变量的最后一个变量的后面,得到训练样本,也 将该训练样本称为第一有监督受限玻尔兹曼机的输入样本,记该训练样本为:
其中,t是当前采样时刻,m是组合训练样本的第m维度,nv是组合训练样本的 维度,nx的过程变量的维度,ny是质量变量的维度,在质量预测中ny为1;
步骤a2、再次采样烧结过程的相关过程变量,考虑到前后相邻两个时刻的生产质量具有密切的关联,将过程变量对应的前一采样时刻的质量变量进行组合,得到测试 样本,记测试样本为:
其中,s表示第s个测试样本,S表示测试样本的总数量;
步骤a3、对训练样本与对应采样时刻的质量变量进行数据预处理:
步骤a4、对测试样本与对应前一采样时刻的质量变量以与所述步骤a3的方式相同的方法进行数据预处理。
更进一步地,构建的有监督深度置信网络模型的结构进一步包括:
所述有监督深度置信网络模型由L个(L≥3)有监督受限玻尔兹曼机模型及一 个全连接层依次堆叠组成,有监督受限玻尔兹曼机模型是通过将受限玻尔兹曼机的显 层输入进行扩展,引入与质量信息相关的有监督信息,进而指导网络模型的学习。
更进一步地,利用过程变量与质量变量组合而成的有监督输入样本受限对第一个受限玻尔兹曼机进行有监督训练,具体步骤包括:
步骤c1、基于有监督受限玻尔兹曼机能量函数,推导出第一有监督受限玻尔兹曼机的输入样本的概率分布,利用极大化似然原理,通过CD-K交替采样的方式更新网络 参数,最大化这一概率分布,进而获得第一个有监督受限玻尔兹曼机的超参数并提取 第一隐层特征数据;
步骤c2、将第一隐层特征数据与当前采样时刻的质量变量进行组合,构造第二有监督受限玻尔兹曼机的输入样本,利用该有监督输入样本推导出对应的概率分布,通 过CD-K交替采样的方式最大化该有监督输入样本的概率分布,进而获得第二个有监督 受限玻尔兹曼机的超参数并提取第二隐层特征数据;
步骤c3、重复所述步骤c2,用l=1,2…,L表示有监督受限玻尔兹曼机在序列中的位置,对于后续有监督受限玻尔兹曼机(即l≥2时)的训练,将第l-1隐层特征数据 与当前采样时刻的质量变量进行组合,构造第l有监督受限玻尔兹曼机的有监督输入样 本,利用第l有监督受限玻尔兹曼机推导出该有监督输入样本的概率分布,通过CD-K交 替采样的方式最大化第l有监督受限玻尔兹曼机的输入样本的概率分布,进而获得第l 个有监督受限玻尔兹曼机的超参数并提取第l隐层特征数据;
步骤c4、将预训练好的L个有监督受限玻尔兹曼机与全连接的输出层进行连接,构成有监督深度置信网络结构,在预训练获得的参数基础上,通过反向传播算法对网 络参数进行微调,最终通过输出层,输出网络的预测结果。
对于多个有监督受限玻尔兹曼机(L个)的训练,上述过程可表示为:
其中,vt,[l]和分别表示某个样本vt,[l]及其对应的似然函数P(vt,[l])关 于θ[l]中各个参数的偏导数,θ[l]={wij,wlj,ai,cI,bj,σi,βI,γj}表示第l个有监督受限玻尔 兹曼机显层vt,[l]到隐层ht,[l]的各变量之间的参数集合,包括显层x、y与隐层h间的权重wij、wlj,显层单元x、y及隐层单元h的偏差ai、cI、bj,和各自对应的高斯单元 的方差σi、βI、γj,通过CD-K算法对以上偏导数进行计算,完成参数的更新,进而 达到最大化似然函数的学习目的。
更进一步地,完成所述的L个有监督受限玻尔兹曼机的预训练后,还应通过以下步骤完成网络的微调训练过程:
其中,T为输入训练样本个数,yt是对应第t个训练样本对应采样时刻的质量变 量真实值,是对应第t个训练样本对应采样时刻的质量变量预测值;根据所述损失 函数,利用反向传播算法对有监督深度置信网络进行参数的微调,直至网络收敛到目 标范围。
更进一步地,在所述步骤d中,利用所建的有监督深度置信网络模型预测产品质量的具体方法包括:
本发明进一步提供了一种电子装置,包括:处理器;以及,存储器,用于存储所 述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上 述任一项所述的有监督预测方法。
本发明进一步提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的有监督预测方法。
本发明提供了一种基于质量信息融合的有监督深度置信网络预测烧结过程产品质 量的方法,通过所述的有监督受限玻尔兹曼机,由低层到高层逐层地对输入数据中与质量变量相关的特征进行提取,从而提高网络对质量变量的预测精度。本发明相对于 现有技术,具有预测精度高,鲁棒性好等优点。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制,而是将重点放在示出实施例的原理上。在图中,在不同的视图中,相同的附图标记指 定对应的部分。
图1为本发明所述的一种基于质量信息融合的有监督深度置信网络的模型结构示意图;
图2为本发明一个实施例的基于质量信息融合的有监督深度置信网络预测烧结过程产品质量的方法流程图。
具体实施方式
下面将结合附图和实施例对本发明的具体技术方案和实施流程进行详细、清晰地描述,显然,所描述的实施例仅是本发明一部分实施例,而非全部的实施例,所述实 例并不限制本发明的范围。
如图1所示,图中展示了一种基于质量信息融合的有监督深度置信网络的模型结构。图2展示了一种基于质量信息融合的深度置信网络预测烧结过程产品质量的方法, 包括以下步骤:
a、按照时间序列采集烧结过程中的相关过程变量,将过程变量与对应时刻的质量变量组合,构造训练样本;继续采样过程变量,将过程变量与对应前一采样时刻的质 量变量组合,构造测试样本,并对训练样本以及测试样本进行数据预处理;
b、提出有监督受限玻尔兹曼机,利用L个(L≥3)有监督受限玻尔兹曼机及一 个全连接层共同组成有监督深度置信网络模型;
c、利用极大化似然原理,通过CD-K采样方法,预训练所提出的有监督受限玻尔兹曼机,之后利用反向传播微调多个有监督受限玻尔兹曼机堆叠组成的深度置信网络模 型,获得模型参数;
d、将测试样本输入到已经训练好的有监督深度置信网络模型中,获得对应的产品质量预测值。
具体地,本发明通过对烧结过程的机理分析,选取了烧结过程中与烧结矿质量具有较大相关性的过程变量作为相关过程变量。通过时间序列顺序采样以及质量信息的 融合,构造出训练样本,即第一有监督受限玻尔兹曼机的输入样本。通过类似方式, 构造出测试样本。利用训练样本对所述有监督深度置信网络进行训练。
所述深度置信网络模型的训练过程分为逐层预训练和反向微调两个步骤。首先逐层预训练每个有监督玻尔兹曼机,通过将显层的有监督输入样本输入到第一个有监督 受限玻尔兹曼机中,利用CD-K采样方法最大化第一监督输入样本的概率分布,从而完 成第一个有监督受限玻尔兹曼机的预训练并获得其隐层输出。将上一个有监督受限玻 尔兹曼机的隐层输出与对应当前采样时刻质量信息融合,作为下一个有监督受限玻尔 兹曼机的显层输入,利用CD-K采样方法最大化显层输入样本的概率分布,从而完成该 有监督受限玻尔兹曼机的预训练并获得其隐层输出。以同样的方式,依次完成L个有 监督受限玻尔兹曼机的预训练并获得其隐层输出。将第L个有监督受限玻尔兹曼机的 隐层输出连接到一个全连接层,通过全连接层输出网络的预测值。
在反向微调步骤中,利用反向传播算法,通过构造模型的损失函数来微调有监督深度置信网络的参数,直至网络收敛到目标范围。
所述利用有监督深度置信网络进行产品质量预测的过程是将测试样本输入到训练 好的有监督深度置信网络中,利用前向传播算法,获得其预测值。
基于上述实施例,作为一种可选的实施例,在步骤a中,从烧结过程中采集到与 生产相关的质量变量以及对应的过程变量,并将二者组合,构造训练样本,并在测试 时以类似方式构造测试样本,所述过程包括以下步骤:
按一定时间间隔顺序采集系统指定时间序列内的t时刻的过程变量及对应t时刻的质量变量其中,表示过程变量xt的第i(i=1,2…nx) 个特征。t=1,2…T表示从1到T时刻的数据,T表示指定时间序列内所有样本的个数。
a1、将过程变量与对应采样时刻的质量变量按照采样时刻进行匹配,然后将匹配成功的质量变量加入到对应过程变量的最后一个变量的后面,得到训练样本,也将该 训练样本称为第一有监督受限玻尔兹曼机的输入样本,记该训练样本为:
上式中,t是当前采样时刻,m是组合训练样本的第m维度,nv是组合训练样本 的维度,nx的过程变量的维度,ny是质量变量的维度,在质量预测中ny为1。
a2、再次采样烧结过程的相关过程变量,考虑到前后相邻两个时刻的生产质量具有密切的关联,将过程变量对应的前一采样时刻的质量变量进行组合,得到测试样本, 记测试样本为:
上式中,s表示第s个测试样本,S表示测试样本的总数量。
a3、对训练样本与对应采样时刻的质量变量进行数据预处理:
a4、同样,对测试样本与对应前一采样时刻的质量变量以类似a3的方式进行数 据预处理:
基于上述实施例,作为一种可选的实施例,在步骤b中,所述的有监督深度置信 网络模型结构包括:针对每一个受限玻尔兹曼机,都将其扩展成有监督形式,将L (L≥3)个有监督受限玻尔兹曼机堆叠起来,在最后一个有监督受限玻尔兹曼机的隐 层后连接一个全连接层。
具体地,通过L(L≥3)个有监督受限玻尔兹曼机的堆叠构建的深度置信网络模 型的网络结构为nv→h[1]→…→h[l]→…→h[L]→output。其中nv是深度置信网络的输入层 神经元数。h[l],l=1,…L表示第l个有监督受限玻尔兹曼机的隐层神经元数,根据具体 的数据特征和模型要求选择神经元的单元类型。output为输出层神经元数。如前所述, 第l个有监督受限玻尔兹曼机的各参数分别表示为 第l个有监督受限玻尔兹曼机的隐层激活函 数为g[l],l=1…L。第L个有监督受限玻尔兹曼机与输出层之间的参数表示为{w[o],b[o]}, 激活函数为f。
基于上述实施例,作为一种可选的实施例,在步骤c中,利用有监督输入样本对 第一有监督受限玻尔兹曼机进行训练,所述过程包括以下步骤:
c1、基于有监督受限玻尔兹曼机能量函数,推导出第一有监督受限玻尔兹曼机的输入样本的概率分布,利用极大化似然原理,通过CD-K交替采样的方式更新网络参数, 最大化这一概率分布,进而获得第一个有监督受限玻尔兹曼机的超参数并提取第一隐 层特征数据;
c2、将第一隐层特征数据与当前采样时刻的质量变量进行组合,构造第二有监督受限玻尔兹曼机的输入样本,利用该有监督输入样本推导出对应的概率分布,通过CD- K交替采样的方式最大化该有监督输入样本的概率分布,进而获得第二个有监督受限玻 尔兹曼机的超参数并提取第二隐层特征数据;
c3、重复步骤c2,用l=1,2…,L表示有监督受限玻尔兹曼机在序列中的位置。因此,对于后续有监督受限玻尔兹曼机(即l≥2时)的训练,将第l-1隐层特征数据与 当前采样时刻的质量变量进行组合,构造第l有监督受限玻尔兹曼机的有监督输入样本, 利用第l有监督受限玻尔兹曼机推导出该有监督输入样本的概率分布,通过CD-K交替采 样的方式最大化第l有监督受限玻尔兹曼机的输入样本的概率分布,进而获得第l个有 监督受限玻尔兹曼机的超参数并提取第l隐层特征数据;
c4、将预训练好的L个有监督受限玻尔兹曼机与全连接的输出层进行连接,构成有监督深度置信网络结构,在预训练获得的参数基础上,通过反向传播算法对网络参 数进行微调,最终通过输出层,输出网络的预测结果。
对于多个有监督受限玻尔兹曼机(如L个)的训练,上述过程可表示为:
上式中,vt,[l]和分别表示某个样本vt,[l]及其对应的似然函数P(vt ,[l]) 关于θ[l]中各个参数的偏导数,θ[l]={wij,wlj,ai,cI,bj,σi,βI,γj}表示第l个有监督受限玻 尔兹曼机显层vt,[l]到隐层ht,[l]的各变量之间的参数集合,包括显层x、y与隐层h间的权重wij、wlj,显层单元x、y及隐层单元h的偏差ai、cI、bj,和各自对应的单元方 差σi、βI、γj,通过CD-K算法对以上偏导数进行计算,完成参数的更新,进而达到 最大化似然函数的学习目的。
在完成第L个有监督受限玻尔兹曼机的预训练之后,获得其隐层输出并在隐层之后添加全连接层,根据以下目标函数利用反向传播算法,对所述预训练获得的网络参 数{w[l],a[l],c[l],b[l],σ[l],β[l],γ[l],w[o],b[o]}进行微调,直到满足精度要求。
其中,是对应的t时刻的输入样本的质量变量的预测值。
基于上述实施例,作为一种可选的实施例,在步骤d中,利用所建的有监督深度 置信网络模型预测产品质量的具体方法包括:将测试样本vT+s带入到训练好的有监督 深度置信网络模型中,通过前向传播算法,得到预测结果
本发明通过构造输入样本,引入质量变量信息,利用多个有监督受限玻尔兹曼机依次堆叠而成的有监督深度置信网络,采用有监督方式的预训练方法,实现了由低层 到高层逐层地对数据中与质量变量相关的特征的提取,弥补了传统深度置信网络不能 充分利用输入输出关系的缺陷,提高网络对质量变量的预测精度。
基于上述实施例,作为一种优选的实施例,在本实施例中将本发明一种基于质量信息融合的有监督深度置信网络预测方法应用到烧结过程产品质量预测中,具体方法 步骤包括:
根据实际生产需要,以烧结矿中的氧化亚铁含量作为所需预测的质量变量y,通过对获取到的状态参数、操作参数等过程变量进行机理分析,选取其中对烧结矿质量 影响最大的18个过程变量作为深度置信网络的无监督输入变量,记为x1,x2,…, x18。从烧结生产过程中提取1414个数据样本作为构建深度置信网络的数据集,其中, 前1000个数据样本作为训练集,后414个数据样本作为测试集,同时根据本发明所述 有监督信息的引入方式,针对各个数据样本引入相应的质量变量信息,之后对全体样 本数据的各个变量进行归一化处理。
本实施例中,在原始的18维输入变量的基础上引入监督信息,网络模型的结构为19—>73—>73—>72—>1,即输入维度为19,有监督受限玻尔兹曼机个数为3,全连接 层维度为72。同时,在预训练过程中,由于各有监督受限玻尔兹曼机在输入层都引入 了质量变量的监督信息,故在深度置信网络中,对应的隐层维度也增加1。最终,输 入数据样本通过以上网络结构对质量变量进行预测。三个有监督受限玻尔兹曼机的显 层到隐层的各参数分别为 和有监督受限玻 尔兹曼机神经元单元采用双高斯型,因此,各神经元分别服从标准差为σ,β,γ的高斯 噪声分布,一般我们选σ,β,γ为1。三个有监督受限玻尔兹曼机的隐层激活函数分别 为g[1],g[2],g[3]。第三个有监督受限玻尔兹曼机与输出层之间的参数表示为 {w[o],b[o]},采用线性激活函数f。
在本实施例中,首先将原始过程变量组成的无监督输入变量xt(xt∈R18, i=1,2…18)与相应的质量变量yt进行组合,形成第一个有监督受限玻尔兹曼机的有 监督输入样本数据vt=(xt,yt),通过在有监督受限玻尔兹曼机的显层输入vt(vt∈R19) 和隐层输出ht(ht∈R72)之间使用CD-K交替采样使得似然函数P(vt)最大化。
在本实例中,第一个有监督受限玻尔兹曼机的训练以最大化似然函数P(vt,1)为目标,计算公式如下:
上式中,表示第1个有监督受限玻尔兹曼机显层vt,[1]到隐层ht,[1]的各变量之间的参数集合,第一个有监督受限玻尔兹曼机的显层 输入为vt,[1](vt,[1]∈R19,t=1,2,…,1000),第一隐层数据为ht,[1](ht,[1]∈R72, t=1,2,…,1000),通过对第一隐层数据ht,[1]采样并重构得到显层重构数据[vt,[1]](1),之 后以[vt,[1]](1)为输入,经过前向计算与采样得到隐层重构数据[ht,[1]](1),如此循环,完成 K次采样后,利用Vt,[1]及提取到的特征等更新网络参数,完成一次CD-K算法。CD-K算 法计算过程可用公式表示为:
经过K次采样后,通过以下公式对各参数梯度进行计算:
通过以上公式可以对第一个有监督受限玻尔兹曼机进行参数更新,多次迭代后,固定学习到的参数完成第一个有监督受限玻尔 兹曼机的预训练。
在本实施例中,完成第一个有监督受限玻尔兹曼机的预训练后,获得第一隐层输出ht,[1]。将ht,[1]与质量变量yt组合得到第二个有监督受限玻尔兹曼机的第二显层输入 vt ,[2](vt,[2]∈R73,t=1,2,…,1000)。采用前向计算和CD-K采样最大化似然函数 P(vt,[2]),则目标函数的偏导计算公式为:
通过K次采样完成参数的更新,最后得到第二个有监督受限玻尔兹曼机的超参数
在本实例中,完成第二个有监督受限玻尔兹曼机的训练后,获得第二个有监督受限玻尔兹曼机的隐层输出ht,[2](ht,[2]∈R72,t=1,2,…,1000),之后将ht,[2]与质量变 量yt组合得到第三个有监督受限玻尔兹曼机的第三显层输入vt,[3](vt,[3]∈R73, t=1,2,…,1000)。采用前向计算和CD-K采样最大化似然函数P(vt,[3]),则目标函数的 偏导计算公式为:
在本实施例中,完成第三有监督受限玻尔兹曼机的预训练之后,在第三有监督受限玻尔兹曼机的隐层之后添加输出层。根据以下损失函数利用反向传播算法,对所述 三个有监督受限玻尔兹曼机堆叠而成的深度置信网络的网络参数{θ[1],θ[2],θ[3],w[o],b[o]} 进行微调,直到满足精度要求。
通过以上所述方法完成深度置信网络的训练,对测试样本按照所述数据处理方法将过程变量与对应前一时刻的质量变量进行组合,然后将组合样本数据代入上述训练 好的深度置信网络中,得到各输入样本数据对应的质量预测输出值,通过有监督受限 玻尔兹曼机堆叠构建的深度学习模型取得了十分理想的预测效果。
如表1所示,为堆栈自编码器(Stacked AutoEncoder,SAE)、深度置信网络 (DeepBelief Network,DBN)以及本发明提出的有监督深度置信网络(Supervised Deep BeliefNetwork,SDBN)三种模型在训练集和测试集上的预测均方根误差(RMSE)。
表1三种模型在训练集和测试集上的RMSE
由表中可看出本发明所提出的SDBN的预测误差在训练集合和测试集合上最低,验证本发明所提出的方法的具有更高的精确性。并且,通过比较三种神经网络的训练误 差可以看出,SDBN在误差大幅度降低的同时,收敛速度与SAE、DBN相差不大。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他 性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素, 而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设 备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素, 并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施 例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算 机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机 程序产品的形式。
虽然上面已经参考各种实施例描述了本发明,但是应当理解,在不脱离本发明的范围的情况下,可以进行许多改变和修改。因此,其旨在上述详细描述被认为是例示 性的而非限制性的,并且应当理解,以下权利要求(包括所有等同物)旨在限定本发明 的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保 护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修 改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (9)
1.一种冶金烧结过程的有监督预测方法,其特征在于,包括以下步骤:
步骤a、按照时间序列采集烧结过程中的相关过程变量,将过程变量与对应时刻的质量变量组合,构造训练样本;继续采样过程变量,将过程变量与对应前一采样时刻的质量变量组合,构造测试样本,并对训练样本以及测试样本进行数据预处理;
步骤b、构建有监督受限玻尔兹曼机,利用L个有监督受限玻尔兹曼机及一个全连接层共同组成有监督深度置信网络模型,其中,L为大于等于3的自然数;
步骤c、利用极大化似然原理,通过CD-K采样方法,预训练所提出的有监督受限玻尔兹曼机,之后利用反向传播微调多个有监督受限玻尔兹曼机堆叠组成的深度置信网络模型,获得模型参数;
步骤d、将测试样本输入到已经训练好的有监督深度置信网络模型中,获得对应的产品质量预测值。
2.根据权利要求1所述的有监督预测方法,其特征在于,从烧结生产过程中采集到与生产相关的质量变量以及对应的过程变量,并将二者组合,构造训练样本,并在测试时以类似方式构造测试样本,所述过程包括以下步骤:
步骤a0、按一定时间间隔顺序采集系统指定时间序列内的t时刻的过程变量 及对应t时刻的质量变量其中,xi t表示过程变量xt的第i(i=1,2…nx)个特征,t=1,2…T表示从1到T时刻的数据,T表示指定时间序列内所有样本的个数;
步骤a1、将过程变量与对应采样时刻的质量变量按照采样时刻进行匹配,然后将匹配成功的质量变量加入到对应过程变量的最后一个变量的后面,得到训练样本,也将该训练样本称为第一有监督受限玻尔兹曼机的输入样本,记该训练样本为:
其中,t是当前采样时刻,m是组合训练样本的第m维度,nv是组合训练样本的维度,nx的过程变量的维度,ny是质量变量的维度,在质量预测中ny为1;
步骤a2、再次采样烧结过程的相关过程变量,考虑到前后相邻两个时刻的生产质量具有密切的关联,将过程变量对应的前一采样时刻的质量变量进行组合,得到测试样本,记测试样本为:
其中,s表示第s个测试样本,S表示测试样本的总数量;
步骤a3、对训练样本与对应采样时刻的质量变量进行数据预处理:
步骤a4、对测试样本与对应前一采样时刻的质量变量以与所述步骤a3的方式相同的方法进行数据预处理。
3.根据权利要求2所述的有监督预测方法,其特征在于,构建的有监督深度置信网络模型的结构进一步包括:
所述有监督深度置信网络模型由L个(L≥3)有监督受限玻尔兹曼机模型及一个全连接层依次堆叠组成,有监督受限玻尔兹曼机模型是通过将受限玻尔兹曼机的显层输入进行扩展,引入与质量信息相关的有监督信息,进而指导网络模型的学习。
4.根据权利要求3所述的有监督预测方法,其特征在于,利用过程变量与质量变量组合而成的有监督输入样本受限对第一个受限玻尔兹曼机进行有监督训练,具体步骤包括:
步骤c1、基于有监督受限玻尔兹曼机能量函数,推导出第一有监督受限玻尔兹曼机的输入样本的概率分布,利用极大化似然原理,通过CD-K交替采样的方式更新网络参数,最大化这一概率分布,进而获得第一个有监督受限玻尔兹曼机的超参数并提取第一隐层特征数据;
步骤c2、将第一隐层特征数据与当前采样时刻的质量变量进行组合,构造第二有监督受限玻尔兹曼机的输入样本,利用该有监督输入样本推导出对应的概率分布,通过CD-K交替采样的方式最大化该有监督输入样本的概率分布,进而获得第二个有监督受限玻尔兹曼机的超参数并提取第二隐层特征数据;
步骤c3、重复所述步骤c2,用l=1,2…,L表示有监督受限玻尔兹曼机在序列中的位置,对于后续有监督受限玻尔兹曼机(即l≥2时)的训练,将第l-1隐层特征数据与当前采样时刻的质量变量进行组合,构造第l有监督受限玻尔兹曼机的有监督输入样本,利用第l有监督受限玻尔兹曼机推导出该有监督输入样本的概率分布,通过CD-K交替采样的方式最大化第l有监督受限玻尔兹曼机的输入样本的概率分布,进而获得第l个有监督受限玻尔兹曼机的超参数并提取第l隐层特征数据;
步骤c4、将预训练好的L个有监督受限玻尔兹曼机与全连接的输出层进行连接,构成有监督深度置信网络结构,在预训练获得的参数基础上,通过反向传播算法对网络参数进行微调,最终通过输出层,输出网络的预测结果。
对于多个有监督受限玻尔兹曼机(L个)的训练,上述过程可表示为:
8.一种电子装置,其特征在于,包括:处理器;以及,存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的有监督预测方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的有监督预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911127970.7A CN110739031B (zh) | 2019-11-18 | 2019-11-18 | 一种冶金烧结过程的有监督预测方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911127970.7A CN110739031B (zh) | 2019-11-18 | 2019-11-18 | 一种冶金烧结过程的有监督预测方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110739031A true CN110739031A (zh) | 2020-01-31 |
CN110739031B CN110739031B (zh) | 2021-07-23 |
Family
ID=69273126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911127970.7A Active CN110739031B (zh) | 2019-11-18 | 2019-11-18 | 一种冶金烧结过程的有监督预测方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110739031B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111768000A (zh) * | 2020-06-23 | 2020-10-13 | 中南大学 | 在线自适应微调深度学习的工业过程数据建模方法 |
CN112034793A (zh) * | 2020-08-10 | 2020-12-04 | 华东理工大学 | Pta工艺流程中氧化工段生产运行状态空间监测方法 |
CN112099460A (zh) * | 2020-11-02 | 2020-12-18 | 常州微亿智造科技有限公司 | 适用于深度学习金属注射成型烧结产品质量特征处理方法 |
CN112330085A (zh) * | 2020-09-17 | 2021-02-05 | 上海微亿智造科技有限公司 | Mim金属注射成型烧结产品质量控制方法及系统 |
CN113239565A (zh) * | 2021-05-27 | 2021-08-10 | 中南大学 | 一种沸腾焙烧炉产品质量软测量方法及装置 |
CN115994742A (zh) * | 2023-03-22 | 2023-04-21 | 眉山市彭山区明羽鼎盛建材有限公司 | 湿拌砂浆塑化剂的全生命周期管理方法及装置 |
CN117312579A (zh) * | 2023-11-28 | 2023-12-29 | 一铭寰宇科技(北京)有限公司 | 一种数据模型搜索分析文本的生成方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104794534A (zh) * | 2015-04-16 | 2015-07-22 | 国网山东省电力公司临沂供电公司 | 一种基于改进深度学习模型的电网安全态势预测方法 |
KR101561651B1 (ko) * | 2014-05-23 | 2015-11-02 | 서강대학교산학협력단 | 딥 빌리프 네트워크를 이용한 음성기반 호불호 검출방법 및 장치, 그를 기록한 기록매체 |
CN105046268A (zh) * | 2015-06-18 | 2015-11-11 | 西安电子科技大学 | 基于Wishart深度网络的极化SAR图像分类方法 |
CN105224985A (zh) * | 2015-09-28 | 2016-01-06 | 南京航空航天大学 | 一种基于深度重构模型的功率放大器行为建模方法 |
CN107272644A (zh) * | 2017-06-21 | 2017-10-20 | 哈尔滨理工大学 | 潜油往复抽油机的dbn网络故障诊断方法 |
-
2019
- 2019-11-18 CN CN201911127970.7A patent/CN110739031B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101561651B1 (ko) * | 2014-05-23 | 2015-11-02 | 서강대학교산학협력단 | 딥 빌리프 네트워크를 이용한 음성기반 호불호 검출방법 및 장치, 그를 기록한 기록매체 |
CN104794534A (zh) * | 2015-04-16 | 2015-07-22 | 国网山东省电力公司临沂供电公司 | 一种基于改进深度学习模型的电网安全态势预测方法 |
CN105046268A (zh) * | 2015-06-18 | 2015-11-11 | 西安电子科技大学 | 基于Wishart深度网络的极化SAR图像分类方法 |
CN105224985A (zh) * | 2015-09-28 | 2016-01-06 | 南京航空航天大学 | 一种基于深度重构模型的功率放大器行为建模方法 |
CN107272644A (zh) * | 2017-06-21 | 2017-10-20 | 哈尔滨理工大学 | 潜油往复抽油机的dbn网络故障诊断方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111768000A (zh) * | 2020-06-23 | 2020-10-13 | 中南大学 | 在线自适应微调深度学习的工业过程数据建模方法 |
CN112034793A (zh) * | 2020-08-10 | 2020-12-04 | 华东理工大学 | Pta工艺流程中氧化工段生产运行状态空间监测方法 |
CN112034793B (zh) * | 2020-08-10 | 2024-04-26 | 华东理工大学 | Pta工艺流程中氧化工段生产运行状态空间监测方法 |
CN112330085A (zh) * | 2020-09-17 | 2021-02-05 | 上海微亿智造科技有限公司 | Mim金属注射成型烧结产品质量控制方法及系统 |
CN112099460A (zh) * | 2020-11-02 | 2020-12-18 | 常州微亿智造科技有限公司 | 适用于深度学习金属注射成型烧结产品质量特征处理方法 |
CN113239565A (zh) * | 2021-05-27 | 2021-08-10 | 中南大学 | 一种沸腾焙烧炉产品质量软测量方法及装置 |
CN113239565B (zh) * | 2021-05-27 | 2022-07-12 | 中南大学 | 一种沸腾焙烧炉产品质量软测量方法及装置 |
CN115994742A (zh) * | 2023-03-22 | 2023-04-21 | 眉山市彭山区明羽鼎盛建材有限公司 | 湿拌砂浆塑化剂的全生命周期管理方法及装置 |
CN115994742B (zh) * | 2023-03-22 | 2023-06-20 | 眉山市彭山区明羽鼎盛建材有限公司 | 湿拌砂浆塑化剂的全生命周期管理方法及装置 |
CN117312579A (zh) * | 2023-11-28 | 2023-12-29 | 一铭寰宇科技(北京)有限公司 | 一种数据模型搜索分析文本的生成方法及系统 |
CN117312579B (zh) * | 2023-11-28 | 2024-02-06 | 一铭寰宇科技(北京)有限公司 | 一种数据模型搜索分析文本的生成方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110739031B (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110739031A (zh) | 一种冶金烧结过程的有监督预测方法、装置及存储介质 | |
Zhao et al. | A visual long-short-term memory based integrated CNN model for fabric defect image classification | |
CN108596327B (zh) | 一种基于深度学习的地震速度谱人工智能拾取方法 | |
CN112364779B (zh) | 信号处理与深-浅网络多模型融合的水声目标识别方法 | |
CN105975573B (zh) | 一种基于knn的文本分类方法 | |
CN108399248A (zh) | 一种时序数据预测方法、装置及设备 | |
CN110534132A (zh) | 一种基于谱图特征的并行卷积循环神经网络的语音情感识别方法 | |
CN110427989B (zh) | 汉字骨架自动合成方法及大规模中文字库自动生成方法 | |
CN111899254A (zh) | 基于半监督学习自动标注工业产品外观缺陷图像的方法 | |
CN109840595B (zh) | 一种基于群体学习行为特征的知识追踪方法 | |
CN108647772B (zh) | 一种用于边坡监测数据粗差剔除的方法 | |
CN110455512B (zh) | 基于深度自编码器dae的旋转机械多集成故障诊断方法 | |
CN110210495A (zh) | 基于并行LSTM自编码器动态特征提取的XGBoost软测量建模方法 | |
CN112215339B (zh) | 基于生成对抗网络的医疗数据扩充方法 | |
CN114219139B (zh) | 基于注意力机制的dwt-lstm电力负荷预测方法 | |
CN115673596B (zh) | 一种基于Actor-Critic强化学习模型的焊接异常实时诊断方法 | |
CN111649779B (zh) | 基于密集神经网络的油井含油率和总流速测量方法及应用 | |
CN108630198A (zh) | 用于训练声学模型的方法和设备 | |
CN111191823B (zh) | 一种基于深度学习的生产物流预测方法 | |
CN116592993A (zh) | 一种基于深度学习的机械振动故障诊断方法 | |
CN114548591A (zh) | 一种基于混合深度学习模型和Stacking的时序数据预测方法及系统 | |
CN115130514A (zh) | 一种工程设备健康指标构建方法及系统 | |
CN109920489A (zh) | 一种基于Lasso-CCF-CNN的加氢裂化模型及建立方法 | |
CN108090905B (zh) | 产线异常的判断方法及系统 | |
Arunsuriyasak et al. | Investigation of deep learning optimizer for water pipe leaking detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |