CN111950191B - 基于混合深度神经网络的回转窑烧结温度预测方法 - Google Patents

基于混合深度神经网络的回转窑烧结温度预测方法 Download PDF

Info

Publication number
CN111950191B
CN111950191B CN202010648367.XA CN202010648367A CN111950191B CN 111950191 B CN111950191 B CN 111950191B CN 202010648367 A CN202010648367 A CN 202010648367A CN 111950191 B CN111950191 B CN 111950191B
Authority
CN
China
Prior art keywords
data
prediction
weight
training
sintering temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010648367.XA
Other languages
English (en)
Other versions
CN111950191A (zh
Inventor
陈华
张小刚
雷艳莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202010648367.XA priority Critical patent/CN111950191B/zh
Publication of CN111950191A publication Critical patent/CN111950191A/zh
Application granted granted Critical
Publication of CN111950191B publication Critical patent/CN111950191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/28Design optimisation, verification or simulation using fluid dynamics, e.g. using Navier-Stokes equations or computational fluid dynamics [CFD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00Details relating to the application field
    • G06F2113/08Fluids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/08Thermal analysis or thermal optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14Force analysis or force optimisation, e.g. static or dynamic forces

Abstract

本发明公开了一种基于混合深度神经网络的回转窑烧结温度预测方法,从多个热工数据中选取出8个热工变量;对多维原始变量数据进行PCA分析,并从中选取出最优热工变量作为模型输入;对各变量数据标准化处理;通过采集到的样本数据选取相应时间间隔内变量数据得到样本数据集合,分成75%的训练数据集,20%的预测数据集,5%的验证数据集;利用训练数据集训练深度神经网络得到相应的权重与偏置,得到权重与偏置带入验证数据集,计算出验证数据集的预测误差,并保存使训练集预测误差最小的权重和偏置;将使训练集预测误差最小的权重和偏置带入预测集合中计算得到预测值。实现从多元热时间序列中自动提取耦合特征和动态时序特征。

Description

基于混合深度神经网络的回转窑烧结温度预测方法
技术领域
本发明属于回转窑工业控制技术领域,特别是涉及一种基于混合深度神经网络的回转窑烧结温度预测方法。
背景技术
工业回转窑是一种典型的高能耗热工设备,在冶金、水泥、等工业领域应用十分广泛,其能耗占生产总能耗60%。生产的关键环节是其窑内烧结温度的稳定控制,通过提前预知燃烧状态,调节被控变量,使窑内保持稳定的生产状态,这些手段对于提高生产率,减少废气和颗粒物排放至关重要。
回转窑烧结过程的工况检测与控制近年受到学者的广泛关注。目前常见的回转窑建模研究主要包括:机理建模和数据驱动建模。由于复杂的物理化学反应,热传递和多相流体流动同时发生,因此很难建立烧结过程的机理模型。随着信息技术的发展,已经使用软测量技术对回转窑中的燃烧进行了许多测量和检测。与机理建模相比,基于数据驱动建模在描述建模烧结过程的复杂行为方面显示出巨大的潜力。
回转窑的燃烧过程是一个复杂的非线性动力学系统,从过程传感器收集的热工数据是具有典型的强耦合和非线性动力学特征的多元时间序列。大多数现有的数据驱动模型都基于静态建模或自回归统计方法实现预测,仅仅考虑变量在空间或时间上分离的信息,并且将信息直接送入统计分类器或回归中,而并不挖掘数据之间的关系和动态依赖性。因此这些方法很难利用现场的热工数据来精确预测烧结温度。
发明内容
本发明实施例的目的在于提供一种基于混合深度神经网络的回转窑烧结温度预测方法,以实现从多元热时间序列中自动提取耦合特征和动态时序特征,从而更精确的预测烧结温度。
为解决上述技术问题,本发明所采用的技术方案是,基于混合深度神经网络的回转窑烧结温度预测方法,包括:
步骤S1,从多个热工数据中选取出8个热工变量,采集间隔为1分钟,并进行预处理;步骤S2,对预处理后的多维原始变量数据进行PCA分析,并从中选取出最优热工变量作为模型输入;
步骤S3,对各变量数据标准化处理;
步骤S4,通过采集到的多个样本数据选取相应时间间隔内变量数据得到样本数据集合,分成75%的训练数据集,20%的预测数据集,5%的验证数据集;
步骤S5,利用训练数据集训练深度神经网络得到相应的权重与偏置,将得到的权重与偏置带入验证数据集,然后计算出验证数据集的预测误差,并保存使训练集预测误差最小的权重和偏置;
步骤S6,将步骤S5中使训练集预测误差最小的权重和偏置带入预测数据集中,计算得到预测值。
进一步的,所述步骤S1,8个热工变量为:窑头温度x1、窑尾温度x2、主机负荷x3、冷却机负荷x4、鼓风流量x5、窑体转速x6、喂煤量x7、烧结温度y。
进一步的,所述步骤S1,预处理过程为:查找采集到的8个热工变量数据的缺失值,删除缺失值并删除同一时刻采集到的其他变量数据。
进一步的,所述步骤S2为:
步骤S2.1,计算7个热工数据变量X的中心化矩阵Xc
步骤S2.2,计算Xc的协方差矩阵W=XcXc T,T是转置;
步骤S2.3,协方差矩阵W做特征值分解,计算特征值λi和特征向量pi,i∈(1,2,...7)并按特征值大小降序排列;
步骤S2.4,计算各主成分贡献率
Figure BDA0002573984090000021
L为主成分的个数,L∈(1,2,...7),计算累计贡献率
Figure BDA0002573984090000022
选取累计贡献率前90%对应的前L个主成分对应的L个特征向量组成因子载荷矩阵
Figure BDA0002573984090000023
Figure BDA0002573984090000024
是实数集;
步骤S2.5,选取L个主成分在因子载荷矩阵中数值最高所对应的热工变量作为最优变量,作为模型输入。
进一步的,所述步骤S3为:
选取的变量数据进行计算
Figure BDA0002573984090000025
其中xmin和xmin分别为每个变量样本中最小值和最
大值,x为采集到的原数据,x′为归一化后的变量数据。
进一步的,所述步骤S4为:
以时间间隔τ为样本选取间隔长度,以滑窗的方式选取集合,对预测烧结温度y(t+1),输入数据为X(t),...,X(t-τ),y(t),...,y(t-τ),其中
Figure BDA0002573984090000031
X是选取的最优的L个过程变量时间序列数据,即X={x1,x5,x6,x7},y是烧结温度数据,N是采集数据样本个数,t是当前时刻,
Figure BDA0002573984090000032
指实数集合,将得到的样本集合分成75%的训练集,20%预测集,5%的验证集。
进一步的,所述步骤S5为:
步骤S5.1,确定神经网络反向传播的误差阈值ε并设置超参数;设置初始化迭代次数I=0,最大迭代次数为IMAX;随机初始化各网络层权重矩阵w和偏差β;
步骤S5.2,对输入的二维矩阵Xy=[[X(t),...,X(t-τ)],[y(t),...y(t-τ)]]进行二维卷积计算:
Figure BDA0002573984090000033
其中,
Figure BDA0002573984090000034
为二维卷积运算得到的时空耦合特征,*表示卷积运算,并且
Figure BDA0002573984090000035
是第N个过滤器的权重,大小为j×(n+1),j为卷积核的长,n为PCA选取的变量个数,βN是卷积层的偏差,ReLU函数是ReLU(x)=max(0,x),在忽略边界填充的情况下,二维CNN的输出大小为1×l,其中
Figure BDA0002573984090000036
为输出向量的长度,s为步长;
同时,历史烧结温度Y={y(t),...y(t-τ)}作为GRU层输入挖掘回转窑的非线性动态特征Hy,GRU单元在t时刻的最后隐藏状态计算为:
Figure BDA0002573984090000037
Figure BDA0002573984090000038
Figure BDA0002573984090000039
Figure BDA00025739840900000310
其中wr、vr是复位门rt的权重矩阵,βr是其偏差向量;wz、vz是更新门zt的权重矩阵,βz是其偏差向量;vh和wh是公式(4)的权重矩阵,βh是其偏差向量;tanh是一个双曲正切函数,⊙是按元素乘法,σ(x)函数是
Figure BDA0002573984090000041
e是自然常数;
公式(2)和(3)为复位门rt和更新门zt的操作,在获得当前时刻的输出Yt和前一时间步长
Figure BDA0002573984090000042
的隐藏状态之后,更新或重置的可能性由σ(x)函数确定;
公式(4),同时步的当前数据Yt和复位门rt选择的部分过去的隐藏状态通过非线性变化确定新的存储内容
Figure BDA0002573984090000043
公式(5),更新门zt通过过滤新的存储器内容
Figure BDA0002573984090000044
和前一时间步长
Figure BDA0002573984090000045
的隐藏状态,形成当前的动态耦合信息
Figure BDA0002573984090000046
步骤S5.3,对提取到的耦合特征进一步一维卷积压缩:
Figure BDA0002573984090000047
K表示一维卷积层中滤波器的个数,wK和βK是一维卷积过程的权重矩阵和偏差向量,HK为输出的深度时空耦合特征;
步骤S5.4,通过两层卷积层计算得到的耦合特征被进一步挖掘动态特征,在GRU单元被计算为:
Figure BDA0002573984090000048
Figure BDA0002573984090000049
Figure BDA00025739840900000410
Figure BDA00025739840900000411
Ht指当前时刻的深度时空耦合特征,
Figure BDA00025739840900000412
为上一时刻GRU单元的输出;
步骤S5.5,利用全连接层进一步挖掘经过GRU层计算得到的动态耦合特征HXy的非线性信息:
DXy=f(wXyHXyXy) (11)
其中wXy和βXy分别是权重矩阵和偏差;
步骤S5.6,利用全连接层加权融合动态耦合特征HXy和非线性动态特征Hy
Figure BDA0002573984090000051
其中
Figure BDA0002573984090000052
表示模型的最终预测;wD、wy表示转换矩阵,βFc表示偏差值,f是非线性激活函数;
步骤S5.7,利用均方误差损失函数Loss用于模型训练中的优化,计算预测偏差:
Figure BDA0002573984090000053
其中F是训练样本长度;
步骤S5.8,使用Adam优化算法寻找网络误差对每个权重参数的反向传播梯度,并通过参数更新过程获得新的权重和偏置,增加迭代次数I=I+1,将新的权重和偏置带入训练集,通过计算公式(1)-(12)得到训练集的预测偏差,保存使训练集预测误差最小的权重和偏置;
步骤S5.9,当Loss>ε或I≤IMAX时,返回步骤S5.1。
本发明的有益效果:
1,利用PCA算法从各过程变量中选取几个关键相关变量作为建模的输入。根据烧结过程特征分析,影响烧结温度的过程变量太多,且很多变量之间存在很强的相关性。通过PCA技术降低了模型的复杂度,提高了模型的预测性。
2,针对大工业过程的多变量耦合和非线性动态特性,利用多维热工信号提出了一种基于深度学习的数据驱动模型来预测回转窑烧结温度,通过自动学习数据信息结合相关特征达到高精度预测。
3,与传统的数据驱动的建模方法来识别和预测燃烧不同,采用先分块提取特征后加权融合的建模方式,最大化利用回转窑数据信息,更加精确的建立回转窑烧结温度模型,获得更丰富的内在特征信息,进而提高预测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的预测方法的流程框图;
图2是本发明中PCA选取最佳输入变量的流程图;
图3是DCGNet网络训练流程图;
图4是基于八种不同预测模型得到的测试数据误差概率分布曲线图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的思路是提出了一种深度卷积神经网络(CNN)和门控递归单元神经网络(GRU)相结合的混合深度神经网络模型(DCGNet),以提取多元耦合和非线性动力学特征,并通过使用主成分分析(PCA)算法选择了最佳相关热工数据来预测烧结温度。首先为了降低模型复杂度,提高预测性能,引入主成分分析法来选择最优的模型输入变量数据。在第一个网络模块中,CNN与GRU相结合,用于捕获多变量的耦合特征和局部时间信息。在第二个网络模块中,并行GRU对历史烧结温度数据信息进行建模,获取烧结温度时间序列的非线性动态特性。最后,利用全连通网络层加权融合这两个模块,通过构建这三部分模块对烧结温度进行预测,获得更丰富的特征信息,进一步提高所构建的DCGNet的建模精度。
本发明实施例的步骤,如图1所示,包括:
步骤S1,从多个热工数据中选取出8个热工变量,采集间隔为1分钟;
步骤S2,对预处理后的多维原始变量数据进行PCA分析,并从中选取出最优热工变量作为模型输入;
步骤S3,对各变量数据标准化处理;
步骤S4,通过采集到的7000个样本数据选取相应时间间隔内变量数据得到样本数据集合,分成75%的训练数据集,20%的预测数据集,5%的验证数据集;
步骤S5,利用训练数据集训练深度神经网络得到相应的权重与偏置,得到权重与偏置带入验证数据集,根据公式(1)-公式(13)计算出验证数据集的预测误差,并保存使训练集预测误差最小的权重和偏置;
步骤S6,将步骤S5中使训练集预测误差最小的权重和偏置带入预测集合中,即通过把预测值带入公式1-公式12计算得到预测值。
具体来说,步骤S1中采集的8个热工变量如表1:
变量 热工变量描述 单位
x<sub>1</sub> 窑头温度
x<sub>2</sub> 窑尾温度
x<sub>3</sub> 主机负荷 A
x<sub>4</sub> 冷却机负荷 A
x<sub>5</sub> 鼓风流量 m<sup>3</sup>/h
x<sub>6</sub> 窑体转速 Rad/min
x<sub>7</sub> 喂煤量 Rad/min
y 烧结温度
预处理过程为:查找采集到的8个热工变量数据的缺失值,删除缺失值并删除同一时刻采集到的其他变量数据。
步骤S2流程如图2所示,具体包括:
步骤S2.1,计算7个热工数据变量X的中心化矩阵Xc
步骤S2.2,计算Xc的协方差矩阵W=XcXc T;T是转置;
步骤S2.3,协方差矩阵W做特征值分解,计算特征值λi和特征向量pi i∈(1,2,...7)并按特征值大小降序排列;
步骤S2.4,计算各主成分贡献率
Figure BDA0002573984090000071
L为主成分的个数,L∈(1,2,...7),计算累计贡献率
Figure BDA0002573984090000072
选取累计贡献率前90%对应的前L个主成分对应的L个特征向量组成因子载荷矩阵
Figure BDA0002573984090000073
Figure BDA0002573984090000074
是实数集;
步骤S2.5,选取L个主成分在因子载荷矩阵中数值最高所对应的热工变量作为最优变量,作为模型输入。
步骤S3具体包括:
选取的变量数据进行计算
Figure BDA0002573984090000075
其中xmin和xmin分别为每个变量样本中最小值和最大值,x为采集到的原数据,x为归一化后的变量数据。
步骤S4具体包括:
以时间间隔τ为样本选取间隔长度,以滑窗的方式选取集合。即对预测烧结温度y(t+1),输入数据为X(t),...,X(t-τ),y(t),...,y(t-τ)。其中
Figure BDA0002573984090000081
X是选取的最优的L个过程变量时间序列数据,即X={x1,x5,x6,x7},y是烧结温度数据,N是采集数据样本个数,t是当前时刻,
Figure BDA0002573984090000082
指实数集合。将得到的样本集合分成75%的训练集,20%预测集,5%的验证集。
步骤S5过程如图3所示,具体包括:
步骤S5.1,确定神经网络反向传播的误差阈值ε并设置超参数;设置初始化迭代次数I=0,最大迭代次数为IMAX;随机初始化各网络层权重矩阵w和偏差β。
步骤S5.2,对输入的二维矩阵Xy=[[X(t),...,X(t-τ)],[y(t),...y(t-τ)]]进行二维卷积计算:
Figure BDA0002573984090000083
其中,
Figure BDA0002573984090000084
为二维卷积运算得到的时空耦合特征,*表示卷积运算,并且
Figure BDA0002573984090000085
是第N个过滤器的权重,大小为j×(n+1),j为卷积核的长,n为PCA选取的变量个数,βN是卷积层的偏差,ReLU函数是ReLU(x)=max(0,x)。在忽略边界填充的情况下,二维CNN的输出大小为1×l,其中
Figure BDA0002573984090000086
为输出向量的长度,s为步长。
同时,历史烧结温度Y={y(t),...y(t-τ)}作为GRU层输入挖掘回转窑的非线性动态特征Hy,GRU单元在t时刻的最后隐藏状态计算为:
Figure BDA0002573984090000087
Figure BDA0002573984090000088
Figure BDA0002573984090000089
Figure BDA00025739840900000810
其中wr、vr是复位门rt的权重矩阵,βr是其偏差向量;wz、vz是更新门zt的权重矩阵,βz是其偏差向量;
vh和wh是公式(4)的权重矩阵,βh是其偏差向量。tanh是一个双曲正切函数,⊙是按元素乘法。σ(x)函数是
Figure BDA0002573984090000091
e是自然常数。
公式(2)和(3)显示了复位门rt和更新门zt的操作。在获得当前时刻的输出Yt和前一时间步长
Figure BDA0002573984090000092
的隐藏状态之后,更新或重置的可能性由σ(x)函数确定。在公式(4),同时步的当前数据Yt和复位门rt选择的部分过去的隐藏状态通过非线性变化确定新的存储内容
Figure BDA0002573984090000093
在公式(5),更新门zt通过过滤新的存储器内容
Figure BDA0002573984090000094
和前一时间步长
Figure BDA0002573984090000095
的隐藏状态,形成当前的动态耦合信息
Figure BDA0002573984090000096
步骤S5.3,对提取到的耦合特征进一步一维卷积压缩:
Figure BDA0002573984090000097
K表示一维卷积层中滤波器的个数,wK和βK是一维卷积过程的权重矩阵和偏差向量,HK为输出的深度时空耦合特征。
步骤S5.4,通过两层卷积层计算得到的耦合特征被进一步挖掘动态特征,在GRU单元被计算为:
Figure BDA0002573984090000098
Figure BDA0002573984090000099
Figure BDA00025739840900000910
Figure BDA00025739840900000911
公式(2)-(5)与公式(7)-(10)计算含义相同,Ht指当前时刻的深度时空耦合特征,
Figure BDA00025739840900000912
为上一时刻GRU单元的输出。
步骤S5.5,利用全连接层进一步挖掘经过GRU层计算得到的动态耦合特征HXy的非线性信息:
DXy=f(wXyHXyXy) (11)
其中wXy和βXy分别是权重矩阵和偏差。
步骤S5.6,利用全连接层加权融合动态耦合特征HXy和非线性动态特征Hy
Figure BDA0002573984090000101
其中
Figure BDA0002573984090000102
表示模型的最终预测;wD、wy表示转换矩阵,βFc表示偏差值,f是非线性激活函数。
步骤S5.7,利用均方误差损失函数Loss用于模型训练中的优化,计算预测偏差:
Figure BDA0002573984090000103
其中F是训练样本长度。
步骤S5.8,使用Adam优化算法寻找网络误差对每个权重参数的反向传播梯度,并通过参数更新过程获得新的权重和偏置,增加迭代次数I=I+1,将新的权重和偏置带入训练集,通过计算公式(1)-(12)得到训练集的预测偏差,保存使训练集预测误差最小的权重和偏置。
步骤S5.9,当Loss>ε或I≤IMAX时,返回步骤S5.1。
本发明将手工变量选择与自动特征学习相结合的混合方法,应用于回转窑烧结温度预测。利用PCA技术分析出回转窑烧结温度建模中最优变量,解决了高维建模问题,有效的降低了模型复杂度,提高预测性能;同时根据回转窑烧结过程中的两大特性:强耦合和非线性,利用CNN与GRU神经网络结合有针对性的自动挖掘回转窑烧结过程中多元时间序列的强耦合特征和非线性动态特征;通过先分类提取特征后加权融合预测的方法构造三个模块共同应用于回转窑烧结温度预测,可以获得更多丰富的特性信息,并且可以进一步提高模型的建模精度。
选择深度去噪自编码网络(DAE),多层感知器(MLP),多层卷积神经网络(DCNN),卷积神经网络与长短期记忆网络的混合网络(CNN-LSTM),多层长短期记忆网络(DLSTM),多层门控递归单元网络(DGRU),多层双向门控递归单元网络(DBiGRU)共7种预测方法与本发明相比比较。工业数据训练样本、验证样本和测试样本按照70%、10%和20%比例。实验重复20次取平均值作为结果。下表2为实验对比结果,采用三个不同评价指标,粗体数据是最好的结果。
表2工业数据实验对比结果
方法 MAE RMSE CC
DCGNet 2.0213 3.4359 0.99881
CNN-LSTM 3.8745 5.8152 0.99649
DCNN 4.6112 6.0277 0.99643
MLP 7.1573 10.0170 0.98890
DAE 7.4002 8.9617 0.99412
DLSTM 4.7459 6.8883 0.99538
DGRU 4.5449 5.9534 0.99645
DBiGRU 4.2675 5.8681 0.99638
由表可以看出,本发明具有最佳的预测精度,其平均绝对误差(MAE)和均方根误差(RMSE)最小,相关系数(CC)最大表明实际值与预测值之间具有很强的相关性。进一步由图4看出,相对于其他算法,与其他模型相比,本发明的模型获得的预测烧结温度的误差分布更接近零,且变化较小,从而进一步表明了我们所提出方法的可靠性。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (6)

1.基于混合深度神经网络的回转窑烧结温度预测方法,其特征在于,包括:
步骤S1,从多个热工数据中选取出8个热工变量,采集间隔为1分钟,并进行预处理;
步骤S2,对预处理后的多维原始变量数据进行PCA分析,并从中选取出最优热工变量作为模型输入;
步骤S3,对各变量数据标准化处理;
步骤S4,通过采集到的多个样本数据选取相应时间间隔内变量数据得到样本数据集合,分成75%的训练数据集,20%的预测数据集,5%的验证数据集;
步骤S5,利用训练数据集训练深度神经网络得到相应的权重与偏置,将得到的权重与偏置带入验证数据集,然后计算出验证数据集的预测误差,并保存使训练集预测误差最小的权重和偏置;
步骤S6,将步骤S5中使训练集预测误差最小的权重和偏置带入预测数据集中,计算得到预测值;
所述步骤S5为:
步骤S5.1,确定神经网络反向传播的误差阈值ε并设置超参数;设置初始化迭代次数I=0,最大迭代次数为IMAX;随机初始化各网络层权重矩阵w和偏差β;
步骤S5.2,对输入的二维矩阵Xy=[[X(t),...,X(t-τ)],[y(t),...y(t-τ)]]进行二维卷积计算:
Figure FDA0002982101680000011
其中,
Figure FDA0002982101680000012
为二维卷积运算得到的时空耦合特征,*表示卷积运算,并且
Figure FDA0002982101680000013
是第N个过滤器的权重,大小为j×(n+1),j为卷积核的长,n为PCA选取的变量个数,βN是卷积层的偏差,ReLU函数是ReLU(x)=max(0,x),在忽略边界填充的情况下,二维CNN的输出大小为1×l,其中
Figure FDA0002982101680000014
为输出向量的长度,s为步长;
同时,历史烧结温度Y={y(t),...y(t-τ)}作为GRU层输入挖掘回转窑的非线性动态特征Hy,GRU单元在t时刻的最后隐藏状态计算为:
Figure FDA0002982101680000015
Figure FDA0002982101680000016
Figure FDA0002982101680000017
Figure FDA0002982101680000021
其中wr、vr是复位门rt的权重矩阵,βr是其偏差向量;wz、vz是更新门zt的权重矩阵,βz是其偏差向量;vh和wh是公式(4)的权重矩阵,βh是其偏差向量;tanh是一个双曲正切函数,⊙是按元素乘法,σ(x)函数是
Figure FDA0002982101680000022
e是自然常数;
公式(2)和(3)为复位门rt和更新门zt的操作,在获得当前时刻的输出Yt和前一时间步长
Figure FDA0002982101680000023
的隐藏状态之后,更新或重置的可能性由σ(x)函数确定;
公式(4),同时步的当前数据Yt和复位门rt选择的部分过去的隐藏状态通过非线性变化确定新的存储内容
Figure FDA0002982101680000024
公式(5),更新门zt通过过滤新的存储器内容
Figure FDA0002982101680000025
和前一时间步长
Figure FDA0002982101680000026
的隐藏状态,形成当前的动态耦合信息
Figure FDA0002982101680000027
步骤S5.3,对提取到的耦合特征进一步一维卷积压缩:
Figure FDA0002982101680000028
K表示一维卷积层中滤波器的个数,wK和βK是一维卷积过程的权重矩阵和偏差向量,HK为输出的深度时空耦合特征;
步骤S5.4,通过两层卷积层计算得到的耦合特征被进一步挖掘动态特征,在GRU单元被计算为:
Figure FDA0002982101680000029
Figure FDA00029821016800000210
Figure FDA00029821016800000211
Figure FDA00029821016800000212
Ht指当前时刻的深度时空耦合特征,
Figure FDA00029821016800000213
为上一时刻GRU单元的输出;
步骤S5.5,利用全连接层进一步挖掘经过GRU层计算得到的动态耦合特征HXy的非线性信息:
DXy=f(wXyHXyXy) (11)
其中wXy和βXy分别是权重矩阵和偏差;
步骤S5.6,利用全连接层加权融合动态耦合特征HXy和非线性动态特征Hy
Figure FDA0002982101680000031
其中
Figure FDA0002982101680000032
表示模型的最终预测;wD、wy表示转换矩阵,βFc表示偏差值,f是非线性激活函数;
步骤S5.7,利用均方误差损失函数Loss用于模型训练中的优化,计算预测偏差:
Figure FDA0002982101680000033
其中F是训练样本长度;
步骤S5.8,使用Adam优化算法寻找网络误差对每个权重参数的反向传播梯度,并通过参数更新过程获得新的权重和偏置,增加迭代次数I=I+1,将新的权重和偏置带入训练集,通过计算公式(1)-(12)得到训练集的预测偏差,保存使训练集预测误差最小的权重和偏置;
步骤S5.9,当Loss>ε或I≤IMAX时,返回步骤S5.1。
2.根据权利要求1所述的基于混合深度神经网络的回转窑烧结温度预测方法,其特征在于,所述步骤S1,8个热工变量为:窑头温度x1、窑尾温度x2、主机负荷x3、冷却机负荷x4、鼓风流量x5、窑体转速x6、喂煤量x7、烧结温度y。
3.根据权利要求1所述的基于混合深度神经网络的回转窑烧结温度预测方法,其特征在于,所述步骤S1,预处理过程为:查找采集到的8个热工变量数据的缺失值,删除缺失值并删除同一时刻采集到的其他变量数据。
4.根据权利要求1所述的基于混合深度神经网络的回转窑烧结温度预测方法,其特征在于,所述步骤S2为:
步骤S2.1,计算7个热工数据变量X的中心化矩阵Xc
步骤S2.2,计算Xc的协方差矩阵W=XcXc T,T是转置;
步骤S2.3,协方差矩阵W做特征值分解,计算特征值λi和特征向量pi,i∈(1,2,...7)并按特征值大小降序排列;
步骤S2.4,计算各主成分贡献率
Figure FDA0002982101680000041
L为主成分的个数,L∈(1,2,...7),计算累计贡献率
Figure FDA0002982101680000042
选取累计贡献率前90%对应的前L个主成分对应的L个特征向量组成因子载荷矩阵
Figure FDA0002982101680000043
Figure FDA0002982101680000044
是实数集;
步骤S2.5,选取L个主成分在因子载荷矩阵中数值最高所对应的热工变量作为最优变量,作为模型输入。
5.根据权利要求1所述的基于混合深度神经网络的回转窑烧结温度预测方法,其特征在于,所述步骤S3为:
选取的变量数据进行计算
Figure FDA0002982101680000045
其中xmin和xmin分别为每个变量样本中最小值和最大值,x为采集到的原数据,x′为归一化后的变量数据。
6.根据权利要求1所述的基于混合深度神经网络的回转窑烧结温度预测方法,其特征在于,所述步骤S4为:
以时间间隔τ为样本选取间隔长度,以滑窗的方式选取集合,对预测烧结温度y(t+1),输入数据为X(t),...,X(t-τ),y(t),...,y(t-τ),其中
Figure FDA0002982101680000046
X是选取的最优的L个过程变量时间序列数据,即X={x1,x5,x6,x7},y是烧结温度数据,N是采集数据样本个数,t是当前时刻,
Figure FDA0002982101680000047
指实数集合,将得到的样本集合分成75%的训练集,20%预测集,5%的验证集。
CN202010648367.XA 2020-07-07 2020-07-07 基于混合深度神经网络的回转窑烧结温度预测方法 Active CN111950191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010648367.XA CN111950191B (zh) 2020-07-07 2020-07-07 基于混合深度神经网络的回转窑烧结温度预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010648367.XA CN111950191B (zh) 2020-07-07 2020-07-07 基于混合深度神经网络的回转窑烧结温度预测方法

Publications (2)

Publication Number Publication Date
CN111950191A CN111950191A (zh) 2020-11-17
CN111950191B true CN111950191B (zh) 2021-05-11

Family

ID=73340357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010648367.XA Active CN111950191B (zh) 2020-07-07 2020-07-07 基于混合深度神经网络的回转窑烧结温度预测方法

Country Status (1)

Country Link
CN (1) CN111950191B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177332B (zh) * 2021-03-09 2023-02-24 广东工业大学 一种基于机理和数据相结合的回转窑烧结温度预测方法
CN113465660B (zh) * 2021-05-25 2022-07-05 湖南大学 基于电导率的非接触式测温及物料成分检测装置与方法
CN113406313A (zh) * 2021-06-28 2021-09-17 浙江邦业科技股份有限公司 基于全自动游离氧化钙分析仪数据实时预测熟料f-CaO的方法
CN113378477B (zh) * 2021-06-29 2023-05-26 西北师范大学 一种基于深度学习方法的锅炉过热器区域高低温预测方法
CN113688983A (zh) * 2021-08-09 2021-11-23 上海新氦类脑智能科技有限公司 脉冲神经网络中减少权重储存的卷积运算实现方法、电路及终端
CN113627064B (zh) * 2021-09-03 2023-11-21 广东工业大学 基于机理和数据混合驱动的辊道窑烧成带温度预测方法
CN114021449A (zh) * 2021-10-29 2022-02-08 江苏方天电力技术有限公司 一种磨煤机安全性评估的预测方法
CN114999182B (zh) * 2022-05-25 2023-07-04 中国人民解放军国防科技大学 基于lstm回馈机制的车流量预测方法、装置及设备
CN117155041B (zh) * 2023-04-19 2024-02-20 湖州越球电机有限公司 外转子电机及其智能化生产方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629104B (zh) * 2011-12-01 2013-10-02 燕山大学 一种水泥回转窑煅烧预测控制系统及方法
CN105159235B (zh) * 2015-01-08 2018-12-25 北方工业大学 回转窑煅烧过程综合协调控制方法及系统
CN108932567B (zh) * 2018-08-10 2020-12-01 燕山大学 一种基于卷积神经网络的水泥烧成过程多能耗指标预测方法
CN108647481A (zh) * 2018-08-14 2018-10-12 华东理工大学 一种回转窑烧成带温度软测量方法

Also Published As

Publication number Publication date
CN111950191A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN111950191B (zh) 基于混合深度神经网络的回转窑烧结温度预测方法
CN110782067B (zh) 一种基于模糊信息粒化的烧结终点波动范围预测方法
Shen et al. Weighted nonlinear dynamic system for deep extraction of nonlinear dynamic latent variables and industrial application
CN114282443B (zh) 基于mlp-lstm有监督联合模型的剩余使用寿命预测方法
CN114218872B (zh) 基于dbn-lstm半监督联合模型的剩余使用寿命预测方法
CN115329853B (zh) 一种基于多源域迁移的装备参数预测与知识转移方法
CN111507365A (zh) 一种基于模糊聚类的置信规则自动生成方法
CN115759409A (zh) 多时间模式注意力机制优化lstm模型的水闸形变预测方法
CN114015825A (zh) 基于注意力机制的高炉热负荷异常状态监测方法
CN115983465A (zh) 一种基于小样本学习的冲击地压时序预测模型构建方法
Yang et al. Forecasting of iron ore sintering quality index: A latent variable method with deep inner structure
Sheikhoushaghi et al. Application of Rough Neural Network to forecast oil production rate of an oil field in a comparative study
CN114169091A (zh) 工程机械部件剩余寿命的预测模型建立方法及预测方法
CN113610147A (zh) 一种基于lstm的多潜在子空间信息融合地震短临预测方法
CN116341371A (zh) 一种基于Bi-LSTM-CORAL网络迁移学习航空发动机剩余寿命预测方法
CN115525697A (zh) 一种基于中药生产数据挖掘的工艺优化方法
CN115470888A (zh) 一种多目标优化的1dcnn-gru-lstm神经网络隧道掌子面瓦斯浓度预测方法
Wenqiang et al. Remaining useful life prediction for mechanical equipment based on temporal convolutional network
CN114818493A (zh) 一种隧道岩体完整程度定量评价的方法
CN114595884A (zh) 一种遗传智能优化的神经网络风力发电设备温度预测方法
CN113987704A (zh) 基于自动多微分学习深度网络的航空发动机寿命预测方法
Guo et al. Remaining Useful Life Prediction of Mechanical Equipment Based on Temporal Convolutional Network and Asymmetric Loss Function
Cui et al. Prediction of Aeroengine Remaining Useful Life Based on SE-BiLSTM
Yan et al. Nonlinear quality-relevant process monitoring based on maximizing correlation neural network
Xarez et al. Extracting control variables of casting processes with NMF and rule extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant