CN111652355A - 一种基于lstm&dnn的高炉铁水硅含量预测方法及装置 - Google Patents
一种基于lstm&dnn的高炉铁水硅含量预测方法及装置 Download PDFInfo
- Publication number
- CN111652355A CN111652355A CN202010487723.4A CN202010487723A CN111652355A CN 111652355 A CN111652355 A CN 111652355A CN 202010487723 A CN202010487723 A CN 202010487723A CN 111652355 A CN111652355 A CN 111652355A
- Authority
- CN
- China
- Prior art keywords
- blast furnace
- silicon content
- lstm
- dnn
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Manufacture Of Iron (AREA)
Abstract
本发明公开了一种基于LSTM&DNN的高炉铁水硅含量预测方法及装置,该方法基于皮尔森相关系数划分时滞属性、相关属性及冗余属性;并利用划分后的属性数据分别构建LSTM高炉硅含量模型和DNN高炉硅含量模型;通过BP神经网络加权融合LSTM模型和DNN模型,获得高炉铁水硅含量预测模型;该方法基于皮尔森相关系数进行属性划分,通过剔除冗余属性,并将相关属性剥离,可有效缓解LSTM模型压力,提高计算速度,并提高模型预测效果;利用LSTM网络的长短时记忆能力,有效解决高炉数据的大时滞特征;利用DNN模型挖掘相关属性的高维特征,使得基于LSTM&DNN的高炉铁水硅含量预测模型具备记忆能力和泛化能力。
Description
技术领域
本发明属于高炉铁水硅含量预测领域,特别涉及一种基于LSTM&DNN的高炉铁水硅含量预测方法及装置。
背景技术
在高炉炼铁过程中,高炉热状态是生铁质量的决定因素,但现有技术难以准确测量复杂高炉系统的内部热状态。高炉热状态与铁水中的硅含量呈线性相关,因此,掌握硅含量的变化动向具有重要的意义。然而,受高炉内部恶劣环境及生产工艺的限制,铁水中的硅含量无法实时测量,不利于对高炉作业参数做出及时的调整。为了高炉的平稳运行,硅含量的预测就显得尤为重要。近年来,针对高炉系统的非线性、大时滞等特征,研究者们采取了多种高炉铁水硅含量预测方法,例如,为适应高炉数据的非线性特征,高绪东运用BP神经网络对硅含量进行预测,参见文献:高绪东.BP神经网络在高炉铁水硅预报中的应用[J].中国冶金,2014,24(06):24-26+39.,刘家奇等人基于BP神经网络建立动态预测模型,参见文献:刘家奇,赵原,杨文韬,陈应天.基于BP神经网络的硅含量动态预测模型[J].中国战略新兴产业,2017(28):92.,该类模型往往能够在平稳炉况下表现良好,且模型收敛速度快,但难以解决大时滞问题;为了更好地适应大时滞特征,中国专利CN106096637A公开了一种基于Elman-Adaboost强预测器的铁水硅含量预测方法,采用Elman神经网络用于表达输入与输出间的时间延迟,具有较好的动态性能;另有李泽龙等人基于LSTM-RNN模型的铁水硅含量预测,利用单一LSTM模型预测铁水硅含量,同样致力于反映动态系统的特性,参见文献:李泽龙,杨春节,刘文辉,et al.基于LSTM-RNN模型的铁水硅含量预测[J].化工学报,2018(3):992-997.。
对于高炉系统的预测,单一神经网络具有良好的泛化能力,适合解决非线性问题,但由于神经网络信息向上传递,因而不具备记忆能力,难以处理高炉数据中的大时滞特征;适用于动态系统的预测模型具有良好的记忆能力,能够解决高炉数据的大时滞特征,但通常具有复杂的网络结构,处理速度较慢、泛化能力弱,不利于满足实际生产的实时需求。
发明内容
本发明的目的在于提出一种基于LSTM&DNN的高炉铁水硅含量预测方法及装置,主要针对高炉数据的非线性、大时滞等特征,克服单一模型无法兼顾的困难,使预测模型同时具备动态系统模型的记忆能力和深度神经网络的泛化能力,并确保模型具有良好的预测精度和处理速度。
本发明提供的技术方案如下:
一种基于LSTM&DNN的高炉铁水硅含量预测方法,包括:
步骤1:获取高炉数据样本集,并对高炉数据样本进行属性划分,再分别对各类属性数据样本进行归一化处理,其中数据样本属性包括时滞属性、相关属性以及冗余属性;
步骤2:构建基于LSTM&DNN的高炉硅含量预测模型,并利用归一化处理后的属性数据进行训练;
所述基于LSTM&DNN的高炉硅含量预测模型由BP神经网络连接LSTM高炉硅含量模型和DNN高炉硅含量模型,将时滞属性数据时间序列样本和相关属性数据样本分别输入LSTM高炉硅含量模型和DNN高炉硅含量模型,将两个模型的输出结果合并,作为BP神经网络的输入数据,经BP神经网络加权变换得到BP神经网络的输出数据,利用损失函数计算基于LSTM&DNN的高炉硅含量预测模型的硅含量输出值与实际值之间的误差,对基于LSTM&DNN的高炉硅含量预测模型进行训练;
其中,BP神经网络的输入层神经元个数为2,隐含层神经元个数为5,输出层神经元个数为1,隐含层的激活函数为ReLU函数,权重矩阵的初始值为随机值;
步骤3:按照属性类别,将实时采集的高炉数据,输入至已训练好的基于LSTM&DNN的高炉硅含量预测模型中,获得硅含量的预测值。
时滞属性和相关属性分别用于LSTM高炉硅含量模型和DNN高炉硅含量模型的输入;将冗余属性从输入集中剔除,冗余属性无法提供有效的训练方向,会增加模型训练难度,易导致模型过拟合,降低预测效果。因此,为模型选取适当的用于建模和训练的属性数据相当重要。
进一步地,所述对高炉数据样本进行属性划分,是指依据各高炉属性对硅含量的滞后影响时间进行划分,具体过程如下:
步骤1.1:计算单一高炉数据时间序列{ci -n}与硅含量时间序列{cSi}在不同滞后时间点n上的相关系数,其中,{ci -n}是指相对于硅含量前移n个时间单位的第i个历史高炉属性数据的时间序列,{cSi}是指硅含量时间序列,n的单位为小时,n的取值小于等于高炉下料至出铁的持续时间;
步骤1.2:若某单一高炉数据时间序列与硅含量时间序列之间的相关系数的绝对值在各滞后时间点均小于0.1,则将该单一高炉数据的属性定义为冗余属性,并将冗余属性数据从高炉数据样本集中剔除;
步骤1.3:以最大相关系数所在滞后时间点为标准,划分时滞属性和相关属性,最大相关系数在滞后0个时间点处的高炉数据的属性,属于相关属性,其余高炉数据的属性则为时滞属性。
进一步地,采用皮尔森相关系数,计算第i个单一高炉数据时间序列{ci -n}与硅含量时间序列{cSi}在不同滞后时间点n上的相关系数:
其中,E(Ci -nCSi)为Ci -n*CSi的数学期望,E(Ci -n)和E(CSi)分别是单一高炉数据Ci -n和硅含量CSi的数学期望,E((Ci -n)2)和E(CSi 2)分别是单一高炉数据和硅含量的平方的数学期望,E2(Ci -n)和E2(CSi)分别是E(Ci -n)和E(CSi)的平方值。
|r|越接近1相关性越强,|r|越接近0相关性越弱。
进一步地,所述时滞属性数据时间序列样本包括时滞属性高炉数据在n个时刻ti至ti+(n-1)的采样值以及硅含量在时刻ti+(n-1)的采样值,即Xt(i)={xt(ti),xt(ti+1),xt(ti+2),…,xt(ti+(n-1)),cSi(ti+(n-1))};
其中,Xt(i)表示第i个时滞属性时间序列样本,xt(ti)和xt(ti+(n-1))分别表示所有时滞属性高炉数据在时刻ti和ti+(n-1)的采样值;
所述相关属性数据样本是包括所有相关属性高炉数据以及硅含量在同一时刻的采样数值,即Xr(i)={xr(ti),cSi(ti)},Xr(i)表示第i个相关属性数据样本,xr(ti)表示所有相关属性高炉数据在时刻ti的采样值,cSi(ti)表示硅含量在时刻ti的采样值。
假设总计s个高炉属性被划分为a个时滞属性和b个相关属性(a+b≤s),xt(ti)和xr(ti)均为一维向量;
进一步地,在操作系统上搭建基于Python的深度学习框架Tensorflow,基于Tensorflow框架构建基于LSTM&DNN的高炉硅含量预测模型。
进一步地,所述LSTM高炉硅含量模型是通过对单层LSTM模型的输入层、LSTM层和输出层进行设置获得;
所述单层LSTM模型的输入层输入时滞属性数据时间序列样本集{Xt};
所述单层LSTM模型的LSTM层中包括LSTM基本单元和时间维度展开函数,在LSTM基本单元中定义隐状态维度lstm_unit、批量大小Batchsize和随机失活率dropout,lstm_unit的初始值取2的幂次的随机正整数;Batchsize是指训练过程中每次输入的样本数量,为大于16的正整数,即Batchsize≥16,dropout的初始值为(0,1)内的随机小数,隐状态的初始值函数参数为Batchsize;
所述单层LSTM模型的输出层中的激活函数设置为ReLU,单层LSTM模型的权重矩阵的初始值为以设定的均值mean和标准差stddev,生成的呈截断正态分布的随机值,单层LSTM模型的偏置参数的初始值为0。
进一步地,所述DNN高炉硅含量模型是通过对DNN模型的输入层、隐含层以及输出层设定获得;
所述DNN模型包括1层输入层,k层隐含层和1层输出层;
所述DNN模型的输入层输入相关属性数据时间序列样本集{Xr},且输入层的神经元数量与相关属性个数相等;
隐含层层数k初始化为3,隐含层为全连接层,各隐含层神经元个数根据上限公式限定在范围内:
Nhid≤Ntrain/R*(Nin+Nout)
式中Nhid为隐含层神经元个数,Ntrain为相关属性样本训练数据数量,Nin为隐含层输入神经元数,Nout为隐含层输出神经元数,5≤R≤10;Nin与高炉数据相关属性的个数相同,Nout设定为1;
DNN模型的输出层输出神经元数为1,即输出LSTM&DNN模型中DNN模型的输出值yDNN;
DNN模型的隐含层和输出层激活函数均设定为ReLU激活函数,且DNN模型的隐含层和输出层的权重矩阵的初始值为以设定的均值mean和标准差stddev,生成的呈截断正态分布的随机值,DNN模型的偏置参数的初始值为0。
进一步地,所述均值mean和标准差stddev均设置为0.05。
进一步地,利用Adam算法对基于LSTM&DNN的高炉硅含量预测模型中的所有权重矩阵和偏置参数进行优化,设置Adam的学习率为0.0095,梯度阈值设置为4;不断的调节学习率,使得基于LSTM&DNN的高炉硅含量预测模型的硅含量输出值与实际值之间的损失函数值梯度不超过梯度阈值,且以达到收敛时的学习率更新基于LSTM&DNN的高炉硅含量预测模型中的所有权重矩阵和偏置参数,得到优化后的基于LSTM&DNN的高炉硅含量预测模型。
另一方面,一种基于LSTM&DNN的高炉铁水硅含量预测装置,包括:
样本获取与划分单元:用于获取高炉数据样本集,并对高炉数据样本进行属性划分,再分别对各类属性数据样本进行归一化处理,其中数据样本属性包括时滞属性、相关属性以及冗余属性;
预测模型构建与训练单元:通过构建基于LSTM&DNN的高炉硅含量预测模型,并利用归一化处理后的属性数据进行训练;
所述基于LSTM&DNN的高炉硅含量预测模型由BP神经网络连接LSTM高炉硅含量模型和DNN高炉硅含量模型,将时滞属性数据时间序列样本和相关属性数据样本分别输入LSTM高炉硅含量模型和DNN高炉硅含量模型,将两个模型的输出结果合并,作为BP神经网络的输入数据,经BP神经网络加权变换得到BP神经网络的输出数据,利用损失函数计算基于LSTM&DNN的高炉硅含量预测模型的硅含量输出值与实际值之间的误差,对基于LSTM&DNN的高炉硅含量预测模型进行训练;
其中,BP神经网络的输入层神经元个数为2,隐含层神经元个数为5,输出层神经元个数为1,隐含层的激活函数为ReLU函数,权重矩阵的初始值为随机值;
硅含量预测单元:按照属性类别,将实时采集的高炉数据,输入至已训练好的基于LSTM&DNN的高炉硅含量预测模型中,获得硅含量的预测值。
有益效果
本发明提供的一种基于LSTM&DNN的高炉铁水硅含量预测方法及装置,该方法基于皮尔森相关系数划分时滞属性、相关属性及冗余属性;并利用划分后的属性数据分别构建LSTM高炉硅含量模型和DNN高炉硅含量模型;通过BP神经网络加权融合LSTM模型和DNN模型,获得基于LSTM&DNN的高炉铁水硅含量预测模型;相对于现有技术而言,具有以下优点:
1.基于皮尔森相关系数进行属性划分,并依此将属性分配到适用模型中。通过剔除冗余属性,并将相关属性剥离,可有效缓解LSTM模型压力,提高计算速度,并提高模型预测效果;
2.将时滞属性应用于LSTM高炉硅含量模型,利用LSTM网络的长短时记忆能力,有效解决高炉数据的大时滞特征,使基于LSTM&DNN的高炉铁水硅含量预测模型具备记忆能力;
3.将相关属性应用于DNN高炉硅含量模型,利用DNN模型挖掘相关属性的高维特征,使得基于LSTM&DNN的高炉铁水硅含量预测模型具备泛化能力。
附图说明
图1为不同滞后时间变量相关性的计算原理示意图;
图2为基于LSTM&DNN的高炉铁水硅含量预测模型示意图;
图3为基于LSTM&DNN的高炉铁水硅含量预测模型预测效果图示意图。
具体实施方式
下面将结合附图和实例对本发明做进一步的说明。
本实施例中以国内某钢铁厂2650m3某高炉,2017年1月1日0时至10月13日11时采集的实际高炉生产数据为例说明。
如图2所示,一种基于LSTM&DNN模型的高炉铁水硅含量预测方法,具体实施步骤如下:
步骤1:对高炉数据样本进行属性划分,是指依据各高炉属性对硅含量的滞后影响时间进行划分,具体过程如下:
步骤1)中提到的高炉数据样本包含以下属性:记录时间(c0)、富氧率(c1)、透气性指数(c2)、一氧化碳(c3)、氢气(c4)、二氧化碳(c5)、标准风速(c6)、富氧流量(c7)、冷风流量(c8)、鼓风动能(c9)、炉腹煤气量(c10)、炉腹煤气指数(c11)、理论燃烧温度(c12)、顶压(c13)、富氧压力(c14)、冷风压力(c15)、全压差(c16)、热风压力(c17)、实际风速(c18)、热风温度(c19)、顶温东北(c20)、顶温西南(c21)、顶温西北(c22)、顶温东南(c23)、阻力系数(c24)、鼓风湿度(c25)、设定喷煤量(c26)、上小时喷煤量(c27)和硅含量(cSi);
步骤1.1:计算单一高炉数据时间序列{ci -n}与硅含量时间序列{cSi}在不同滞后时间点n上的相关系数,其中,{ci -n}是指相对于硅含量前移n个时间单位的第i个历史高炉属性数据的时间序列,{cSi}是指硅含量时间序列,n的单位为小时,n的取值小于等于高炉下料至出铁的持续时间;高炉冶炼过程大概需持续6~8个小时,因此依次令n=1,2,3……8,计算各属性与硅含量的皮尔森相关系数,如图1所示。表1所示为各属性在不同滞后时间点下与硅含量的皮尔森相关系数。
采用皮尔森相关系数,来计算第i个单一高炉数据时间序列{ci -n}与硅含量时间序列{cSi}在不同滞后时间点n上的相关系数:
其中,E(Ci -nCSi)为Ci -n*CSi的数学期望,E(Ci -n)和E(CSi)分别是单一高炉数据Ci -n和硅含量CSi的数学期望,E((Ci -n)2)和E(CSi 2)分别是单一高炉数据和硅含量的平方的数学期望,E2(Ci -n)和E2(CSi)分别是E(Ci -n)和E(CSi)的平方值。
|r|越接近1相关性越强,|r|越接近0相关性越弱。
表1各属性在不同滞后时间点下与硅含量的皮尔森相关系数
步骤1.2:若某单一高炉数据时间序列与硅含量时间序列之间的相关系数的绝对值|r|在各滞后时间点均小于0.1,则将该单一高炉数据的属性定义为冗余属性,并将冗余属性数据从高炉数据样本集中剔除;
步骤1.3:以最大相关系数所在滞后时间点为标准,划分时滞属性和相关属性,最大相关系数在滞后0个时间点处的高炉数据的属性,属于相关属性,其余高炉数据的属性则为时滞属性。
分析表1的相关系数,得到表2所示的属性划分。
表2属性划分结果
步骤2:属性数据归一化
为比较加权不同数量级的属性,将属性数据归一化缩放到(0,1)之间:
其中,c(t)为归一化前的属性序列,c(t)′为归一化后的属性序列,c(t)min是c(t)属性序列中的最小值,c(t)max是c(t)属性序列中的最大值。
步骤3:输入样本的构建与批处理
为LSTM高炉硅含量模型构建时滞属性数据时间序列样本,包括时滞属性高炉数据在n个时刻ti至ti+(n-1)的采样值以及硅含量在时刻ti+(n-1)的采样值,即Xt(i)={xt(ti),xt(ti+1),xt(ti+2),…,xt(ti+(n-1)),cSi(ti+(n-1))};
其中,Xt(i)表示第i个时滞属性时间序列样本,xt(ti)和xt(ti+(n-1))分别表示所有时滞属性高炉数据在时刻ti和ti+(n-1)的采样值;xt(ti)为一维向量,其中包括表2中的12个时滞属性的采样值;
为DNN高炉硅含量模型构建相关属性数据样本,所述相关属性数据样本是包括所有相关属性高炉数据以及硅含量在同一时刻的采样数值,即Xr(i)={xr(ti),cSi(ti)},Xr(i)表示第i个相关属性数据样本,xr(ti)表示所有相关属性高炉数据在时刻ti的采样值,cSi(ti)表示硅含量在时刻ti的采样值。xr(ti)为一维向量,其中包括表2中的11个相关属性的采样值;
为实现小批量下降,定义训练过程中每次输入的样本数量,即批量大小(Batchsize),当Batchsize为m时,每次训练输入m个时滞属性数据时间序列样本和相关属性数据样本,Batchsize取值为大于16的正整数,即Batchsize≥16。
在操作系统上搭建基于Python的深度学习框架Tensorflow,基于Tensorflow框架构建基于LSTM&DNN的高炉硅含量预测模型。
在本实例中,DNN高炉硅含量模型中包含4层隐含层,从第一层隐含层到第四层隐含层,各隐含层包含的神经元个数依次为50、25、25、15,LSTM高炉硅含量模型中包含的LSTM基本单元数量为128;
步骤4:构建基于LSTM&DNN的高炉硅含量预测模型,并利用归一化处理后的属性数据进行训练;
基于LSTM&DNN的高炉硅含量预测模型由BP神经网络连接LSTM高炉硅含量模型和DNN高炉硅含量模型,将时滞属性数据时间序列样本和相关属性数据样本分别输入LSTM高炉硅含量模型和DNN高炉硅含量模型,将两个模型的输出结果合并,作为BP神经网络的输入数据,经BP神经网络加权变换得到BP神经网络的输出数据,利用损失函数计算基于LSTM&DNN的高炉硅含量预测模型的硅含量输出值与实际值之间的误差,对基于LSTM&DNN的高炉硅含量预测模型进行训练;
步骤4.1:构建基于LSTM&DNN的高炉硅含量预测模型中的LSTM高炉硅含量模型。
LSTM高炉硅含量模型是通过对单层LSTM模型的输入层、LSTM层和输出层进行设置获得;
所述单层LSTM模型的输入层输入时滞属性数据时间序列样本集{Xt};
所述单层LSTM模型的LSTM层中包括LSTM基本单元和时间维度展开函数,在LSTM基本单元中定义隐状态维度lstm_unit、批量大小Batchsize和随机失活率dropout,lstm_unit的初始值取2的幂次的随机正整数;Batchsize是指训练过程中每次输入的样本数量,为大于16的正整数,即Batchsize≥16,dropout的初始值为(0,1)内的随机小数,隐状态的初始值函数参数为Batchsize;
所述单层LSTM模型的输出层中的激活函数设置为ReLU,单层LSTM模型的权重矩阵的初始值为以设定的均值mean和标准差stddev,生成的呈截断正态分布的随机值,单层LSTM模型的偏置参数的初始值为0。
步骤4.2:构建基于LSTM&DNN的高炉硅含量预测模型中的DNN高炉硅含量模型。
所述DNN高炉硅含量模型是通过对DNN模型的输入层、隐含层以及输出层设定获得;
所述DNN模型包括1层输入层,k层隐含层和1层输出层;
所述DNN模型的输入层输入相关属性数据时间序列样本集{Xr},且输入层的神经元数量与相关属性个数相等;
隐含层层数k初始化为3,隐含层为全连接层,各隐含层神经元个数根据上限公式限定在范围内:
Nhid≤Ntrain/R*(Nin+Nout)
式中Nhid为隐含层神经元个数,Ntrain为相关属性样本训练数据数量,Nin为隐含层输入神经元数,Nout为隐含层输出神经元数,5≤R≤10;Nin与高炉数据相关属性的个数相同,Nout设定为1;
DNN模型的输出层输出神经元数为1,即输出基于LSTM&DNN的高炉硅含量预测模型中DNN高炉硅含量模型的输出值yDNN;
DNN模型的隐含层和输出层激活函数均设定为ReLU激活函数,且DNN模型的隐含层和输出层的权重矩阵的初始值为以设定的均值mean和标准差stddev,生成的呈截断正态分布的随机值,DNN模型的偏置参数的初始值为0。
步骤4.3:连接LSTM高炉硅含量模型和DNN高炉硅含量模型,并训练基于LSTM&DNN的高炉硅含量预测模型;
合并LSTM模型和DNN模型的输出,作为BP神经网络的输入,BP神经网络的输入层神经元个数为2,隐含层神经元个数为5,输出层神经元个数为1,隐含层的激活函数为ReLU函数,权重矩阵的初始值为随机值;
训练迭代次数初始值取随机正整数,迭代结束后观察训练集与验证集MSE值,若训练集和验证集的MSE值均较高(超过0.01)则增加迭代次数,若训练集MSE值远小于验证集MSE值则减少迭代次数,迭代次数最终取值为1100;经多次迭代训练,LSTM高炉模型中的lstm_unit取值为128,Batchsize取值为100,dropout取值为0.3,DNN高炉模型中的k为4,自输入层至输出层之间的4层隐含层神经元个数分别为50,25,25和15,此时验证集MSE最小。
利用Adam算法对基于LSTM&DNN的高炉硅含量预测模型中的所有权重矩阵和偏置参数进行优化,设置Adam的学习率为0.0095,梯度阈值设置为4;不断的调节学习率,使得基于LSTM&DNN的高炉硅含量预测模型的硅含量输出值与实际值之间的损失函数值梯度不超过梯度阈值,且以达到收敛时的学习率更新基于LSTM&DNN的高炉硅含量预测模型中的所有权重矩阵和偏置参数,得到优化后的基于LSTM&DNN的高炉硅含量预测模型。
步骤5:将测试集输入已收敛的LSTM&DNN模型中,得到硅含量的预测结果。
比较预测值和实际硅含量数据,对预测效果进行评估。采用均方误差(MSE)、平均绝对误差(MAE)、绝对误差在threshold以内(threshold为0.05%和0.1%)的硅含量预测命中率(HR)和模型运行时间(Time)作为模型效果衡量指标,即:
式中,yp表示硅含量预测值,yf表示硅含量实测值。
基于LSTM&DNN的高炉硅含量预测模型预测结果如图3所示,表3对比基于LSTM&DNN的高炉硅含量预测模型与单一LSTM模型和DNN模型。
表3预测结果比较
通过对比基于LSTM&DNN的高炉硅含量预测模型与单一LSTM和DNN模型在预测中的表现,LSTM&DNN模型能够提高预测精度,由于属性划分降低了LSTM部分的模型负担,LSTM&DNN模型收敛时间也有所降低,处理速度提高,有利于适应实际生产需求。
基于上述方法,本发明实施例还提供一种基于LSTM&DNN的高炉铁水硅含量预测装置,包括:
样本获取与划分单元:用于获取高炉数据样本集,并对高炉数据样本进行属性划分,再分别对各类属性数据样本进行归一化处理,其中数据样本属性包括时滞属性、相关属性以及冗余属性;
预测模型构建与训练单元:通过构建基于LSTM&DNN的高炉硅含量预测模型,并利用归一化处理后的属性数据进行训练;
所述基于LSTM&DNN的高炉硅含量预测模型由BP神经网络连接LSTM高炉硅含量模型和DNN高炉硅含量模型,将时滞属性数据时间序列样本和相关属性数据样本分别输入LSTM高炉硅含量模型和DNN高炉硅含量模型,将两个模型的输出结果合并,作为BP神经网络的输入数据,经BP神经网络加权变换得到BP神经网络的输出数据,利用损失函数计算基于LSTM&DNN的高炉硅含量预测模型的硅含量输出值与实际值之间的误差,对基于LSTM&DNN的高炉硅含量预测模型进行训练;
其中,BP神经网络的输入层神经元个数为2,隐含层神经元个数为5,输出层神经元个数为1,隐含层的激活函数为ReLU函数,权重矩阵的初始值为随机值;
硅含量预测单元:按照属性类别,将实时采集的高炉数据,输入至已训练好的基于LSTM&DNN的高炉硅含量预测模型中,获得硅含量的预测值。
应当理解,本发明各个实施例中的功能单元模块可以集中在一个处理单元中,也可以是各个单元模块单独物理存在,也可以是两个或两个以上的单元模块集成在一个单元模块中,可以采用硬件或软件的形式来实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于LSTM&DNN的高炉铁水硅含量预测方法,其特征在于,包括:
步骤1:获取高炉数据样本集,并对高炉数据样本进行属性划分,再分别对各类属性数据样本进行归一化处理,其中数据样本属性包括时滞属性、相关属性以及冗余属性;
步骤2:构建基于LSTM&DNN的高炉硅含量预测模型,并利用归一化处理后的属性数据进行训练;
所述基于LSTM&DNN的高炉硅含量预测模型由BP神经网络连接LSTM高炉硅含量模型和DNN高炉硅含量模型,将时滞属性数据时间序列样本和相关属性数据样本分别输入LSTM高炉硅含量模型和DNN高炉硅含量模型,将两个模型的输出结果合并,作为BP神经网络的输入数据,经BP神经网络加权变换得到BP神经网络的输出数据,利用损失函数计算基于LSTM&DNN的高炉硅含量预测模型的硅含量输出值与实际值之间的误差,对基于LSTM&DNN的高炉硅含量预测模型进行训练;
其中,BP神经网络的输入层神经元个数为2,隐含层神经元个数为5,输出层神经元个数为1,隐含层的激活函数为ReLU函数,权重矩阵的初始值为随机值;
步骤3:按照属性类别,将实时采集的高炉数据,输入至已训练好的基于LSTM&DNN的高炉硅含量预测模型中,获得硅含量的预测值。
2.根据权利要求1所述的方法,其特征在于,所述对高炉数据样本进行属性划分,是指依据各高炉属性对硅含量的滞后影响时间进行划分,具体过程如下:
步骤1.1:计算单一高炉数据时间序列{ci -n}与硅含量时间序列{cSi}在不同滞后时间点n上的相关系数,其中,{ci -n}是指相对于硅含量前移n个时间单位的第i个历史高炉属性数据的时间序列,{cSi}是指硅含量时间序列,n的单位为小时,n的取值小于等于高炉下料至出铁的持续时间;
步骤1.2:若某单一高炉数据时间序列与硅含量时间序列之间的相关系数的绝对值在各滞后时间点均小于0.1,则将该单一高炉数据的属性定义为冗余属性,并将冗余属性数据从高炉数据样本集中剔除;
步骤1.3:以最大相关系数所在滞后时间点为标准,划分时滞属性和相关属性,最大相关系数在滞后0个时间点处的高炉数据的属性,属于相关属性,其余高炉数据的属性则为时滞属性。
4.根据权利要求1所述的方法,其特征在于,所述时滞属性数据时间序列样本包括时滞属性高炉数据在n个时刻ti至ti+(n-1)的采样值以及硅含量在时刻ti+(n-1)的采样值,即Xt(i)={xt(ti),xt(ti+1),xt(ti+2),…,xt(ti+(n-1)),cSi(t i+(n-1))};
其中,Xt(i)表示第i个时滞属性时间序列样本,xt(ti)和xt(ti+(n-1))分别表示所有时滞属性高炉数据在时刻ti和ti+(n-1)的采样值;
所述相关属性数据样本是包括所有相关属性高炉数据以及硅含量在同一时刻的采样数值,即Xr(i)={xr(ti),cSi(ti)},Xr(i)表示第i个相关属性数据样本,xr(ti)表示所有相关属性高炉数据在时刻ti的采样值,cSi(ti)表示硅含量在时刻ti的采样值。
5.根据权利要求1所述的方法,其特征在于,在操作系统上搭建基于Python的深度学习框架Tensorflow,基于Tensorflow框架构建基于LSTM&DNN的高炉硅含量预测模型。
6.根据权利要求1所述的方法,其特征在于,所述LSTM高炉硅含量模型是通过对单层LSTM模型的输入层、LSTM层和输出层进行设置获得;
所述单层LSTM模型的输入层输入时滞属性数据时间序列样本集{Xt};
所述单层LSTM模型的LSTM层中包括LSTM基本单元和时间维度展开函数,在LSTM基本单元中定义隐状态维度lstm_unit、批量大小Batchsize和随机失活率dropout,lstm_unit的初始值取2的幂次的随机正整数;Batchsize是指训练过程中每次输入的样本数量,为大于16的正整数,即Batchsize≥16,dropout的初始值为(0,1)内的随机小数,隐状态的初始值函数参数为Batchsize;
所述单层LSTM模型的输出层中的激活函数设置为ReLU,单层LSTM模型的权重矩阵的初始值为以设定的均值mean和标准差stddev,生成的呈截断正态分布的随机值,单层LSTM模型的偏置参数的初始值为0。
7.根据权利要求1所述的方法,其特征在于,所述DNN高炉硅含量模型是通过对DNN模型的输入层、隐含层以及输出层设定获得;
所述DNN模型包括1层输入层,k层隐含层和1层输出层;
所述DNN模型的输入层输入相关属性数据时间序列样本集{Xr},且输入层的神经元数量与相关属性个数相等;
隐含层层数k初始化为3,隐含层为全连接层,各隐含层神经元个数根据上限公式限定在范围内:
Nhid≤Ntrain/R*(Nin+Nout)
式中Nhid为隐含层神经元个数,Ntrain为相关属性样本训练数据数量,Nin为隐含层输入神经元数,Nout为隐含层输出神经元数,5≤R≤10;Nin与高炉数据相关属性的个数相同,Nout设定为1;
DNN模型的输出层输出神经元数为1,即输出LSTM&DNN模型中DNN模型的输出值yDNN;
DNN模型的隐含层和输出层激活函数均设定为ReLU激活函数,且DNN模型的隐含层和输出层的权重矩阵的初始值为以设定的均值mean和标准差stddev,生成的呈截断正态分布的随机值,DNN模型的偏置参数的初始值为0。
8.根据权利要求6或7所述的方法,其特征在于,所述均值mean和标准差stddev均设置为0.05。
9.根据权利要求1所述的方法,其特征在于,利用Adam算法对基于LSTM&DNN的高炉硅含量预测模型中的所有权重矩阵和偏置参数进行优化,设置Adam的学习率为0.0095,梯度阈值设置为4;不断的调节学习率,使得基于LSTM&DNN的高炉硅含量预测模型的硅含量输出值与实际值之间的损失函数值梯度不超过梯度阈值,且以达到收敛时的学习率更新基于LSTM&DNN的高炉硅含量预测模型中的所有权重矩阵和偏置参数,得到优化后的基于LSTM&DNN的高炉硅含量预测模型。
10.一种基于LSTM&DNN的高炉铁水硅含量预测装置,其特征在于,包括:
样本获取与划分单元:用于获取高炉数据样本集,并对高炉数据样本进行属性划分,再分别对各类属性数据样本进行归一化处理,其中数据样本属性包括时滞属性、相关属性以及冗余属性;
预测模型构建与训练单元:通过构建基于LSTM&DNN的高炉硅含量预测模型,并利用归一化处理后的属性数据进行训练;
所述基于LSTM&DNN的高炉硅含量预测模型由BP神经网络连接LSTM高炉硅含量模型和DNN高炉硅含量模型,将时滞属性数据时间序列样本和相关属性数据样本分别输入LSTM高炉硅含量模型和DNN高炉硅含量模型,将两个模型的输出结果合并,作为BP神经网络的输入数据,经BP神经网络加权变换得到BP神经网络的输出数据,利用损失函数计算基于LSTM&DNN的高炉硅含量预测模型的硅含量输出值与实际值之间的误差,对基于LSTM&DNN的高炉硅含量预测模型进行训练;
其中,BP神经网络的输入层神经元个数为2,隐含层神经元个数为5,输出层神经元个数为1,隐含层的激活函数为ReLU函数,权重矩阵的初始值为随机值;
硅含量预测单元:按照属性类别,将实时采集的高炉数据,输入至已训练好的基于LSTM&DNN的高炉硅含量预测模型中,获得硅含量的预测值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010487723.4A CN111652355B (zh) | 2020-06-02 | 2020-06-02 | 一种基于lstm&dnn的高炉铁水硅含量预测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010487723.4A CN111652355B (zh) | 2020-06-02 | 2020-06-02 | 一种基于lstm&dnn的高炉铁水硅含量预测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111652355A true CN111652355A (zh) | 2020-09-11 |
CN111652355B CN111652355B (zh) | 2023-04-07 |
Family
ID=72347344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010487723.4A Active CN111652355B (zh) | 2020-06-02 | 2020-06-02 | 一种基于lstm&dnn的高炉铁水硅含量预测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111652355B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112598248A (zh) * | 2020-12-16 | 2021-04-02 | 广东电网有限责任公司广州供电局 | 负荷预测方法、装置、计算机设备和存储介质 |
CN113111092A (zh) * | 2021-03-15 | 2021-07-13 | 中冶南方工程技术有限公司 | 一种基于冷轧全流程数据的硅钢铁损预测方法 |
CN113223634A (zh) * | 2021-03-22 | 2021-08-06 | 浙江大学 | 基于二维自注意力增强gru模型高炉铁水硅含量预测方法 |
CN113656930A (zh) * | 2021-06-24 | 2021-11-16 | 华北理工大学 | 单渣法冶炼终点磷含量的预测方法 |
CN115019923A (zh) * | 2022-07-11 | 2022-09-06 | 中南大学 | 一种基于对比学习的电子病历数据预训练方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170091615A1 (en) * | 2015-09-28 | 2017-03-30 | Siemens Aktiengesellschaft | System and method for predicting power plant operational parameters utilizing artificial neural network deep learning methodologies |
CN107299170A (zh) * | 2017-08-10 | 2017-10-27 | 东北大学 | 一种高炉铁水质量鲁棒软测量方法 |
KR101807961B1 (ko) * | 2016-06-07 | 2017-12-11 | 한양대학교 산학협력단 | Lstm 및 심화신경망 기반의 음성 신호 처리 방법 및 장치 |
CN109670569A (zh) * | 2017-10-16 | 2019-04-23 | 优酷网络技术(北京)有限公司 | 神经网络预测方法及装置 |
-
2020
- 2020-06-02 CN CN202010487723.4A patent/CN111652355B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170091615A1 (en) * | 2015-09-28 | 2017-03-30 | Siemens Aktiengesellschaft | System and method for predicting power plant operational parameters utilizing artificial neural network deep learning methodologies |
KR101807961B1 (ko) * | 2016-06-07 | 2017-12-11 | 한양대학교 산학협력단 | Lstm 및 심화신경망 기반의 음성 신호 처리 방법 및 장치 |
CN107299170A (zh) * | 2017-08-10 | 2017-10-27 | 东北大学 | 一种高炉铁水质量鲁棒软测量方法 |
CN109670569A (zh) * | 2017-10-16 | 2019-04-23 | 优酷网络技术(北京)有限公司 | 神经网络预测方法及装置 |
Non-Patent Citations (2)
Title |
---|
OSPINA, JUAN等: "Forecasting of PV plant output using hybrid wavelet-based LSTM-DNN structure model" * |
王炜;余方超;: "考虑时滞的铁水硅含量预报模型" * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112598248A (zh) * | 2020-12-16 | 2021-04-02 | 广东电网有限责任公司广州供电局 | 负荷预测方法、装置、计算机设备和存储介质 |
CN113111092A (zh) * | 2021-03-15 | 2021-07-13 | 中冶南方工程技术有限公司 | 一种基于冷轧全流程数据的硅钢铁损预测方法 |
CN113111092B (zh) * | 2021-03-15 | 2022-06-24 | 中冶南方工程技术有限公司 | 一种基于冷轧全流程数据的硅钢铁损预测方法 |
CN113223634A (zh) * | 2021-03-22 | 2021-08-06 | 浙江大学 | 基于二维自注意力增强gru模型高炉铁水硅含量预测方法 |
CN113656930A (zh) * | 2021-06-24 | 2021-11-16 | 华北理工大学 | 单渣法冶炼终点磷含量的预测方法 |
CN113656930B (zh) * | 2021-06-24 | 2023-11-17 | 华北理工大学 | 采用机器学习算法对单渣法冶炼终点磷含量的预测方法 |
CN115019923A (zh) * | 2022-07-11 | 2022-09-06 | 中南大学 | 一种基于对比学习的电子病历数据预训练方法 |
CN115019923B (zh) * | 2022-07-11 | 2023-04-28 | 中南大学 | 一种基于对比学习的电子病历数据预训练方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111652355B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111652355B (zh) | 一种基于lstm&dnn的高炉铁水硅含量预测方法及装置 | |
CN111353656B (zh) | 一种基于生产计划的钢铁企业氧气负荷预测方法 | |
CN106909705B (zh) | 一种高炉铁水质量预报方法及其系统 | |
CN111444942B (zh) | 一种高炉铁水硅含量智能预报方法及系统 | |
CN114511159B (zh) | 基于条件变分自编码器的电力负荷概率预测方法和系统 | |
CN114678080B (zh) | 转炉终点磷含量预测模型及构建方法、磷含量预测方法 | |
CN112836884A (zh) | 基于Copula-DBiLSTM的综合能源系统多元负荷精确预测方法 | |
CN111915080A (zh) | 一种基于铁水质量约束的原燃料成本最优配比方法 | |
CN113761787A (zh) | 基于深度迁移网络的高炉铁水硅含量在线预测方法及系统 | |
CN111444963A (zh) | 一种基于ssa-svr模型的高炉铁水硅含量预测方法 | |
CN116434859A (zh) | 高炉煤气产耗预测方法、装置、电子设备及存储介质 | |
Li et al. | Deep learning for predictive mechanical properties of hot-rolled strip in complex manufacturing systems | |
CN109934421B (zh) | 一种面向波动炉况的高炉铁水硅含量预测与补偿方法 | |
Ji et al. | Application of the improved the ELM algorithm for prediction of blast furnace gas utilization rate | |
CN115049115A (zh) | 计及nwp风速横纵向误差的rdpg风速修正方法 | |
CN113177364B (zh) | 一种高炉风口回旋区温度软测量建模方法 | |
CN114036827A (zh) | 基于分解的高炉炼铁多目标碳减排方法 | |
CN106682312A (zh) | 一种局部加权极限学习机模型的工业过程软测量建模方法 | |
CN113657037A (zh) | 基于时间序列插值-注意力机制的铁水硅含量预测方法 | |
CN116957131A (zh) | 一种基于层次时序和Informer模型融合的发电功率预测方法 | |
CN116488151A (zh) | 一种基于条件生成对抗网络的短期风电功率预测方法 | |
Ding et al. | Dynamic prediction of the silicon content in the blast furnace using lstm-rnn-based models | |
CN112364527B (zh) | 一种基于aliesn在线学习算法的脱丁烷塔软测量建模方法 | |
CN113219942B (zh) | 基于加权联合分布适配神经网络的高炉故障诊断方法 | |
CN106709570A (zh) | 一种基于时间维度拓展局部加权极限学习机的软测量建模方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |