CN111079906B - 基于长短时记忆网络的水泥成品比表面积预测方法及系统 - Google Patents

基于长短时记忆网络的水泥成品比表面积预测方法及系统 Download PDF

Info

Publication number
CN111079906B
CN111079906B CN201911394047.XA CN201911394047A CN111079906B CN 111079906 B CN111079906 B CN 111079906B CN 201911394047 A CN201911394047 A CN 201911394047A CN 111079906 B CN111079906 B CN 111079906B
Authority
CN
China
Prior art keywords
output
time
gate
training
specific surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911394047.XA
Other languages
English (en)
Other versions
CN111079906A (zh
Inventor
郝晓辰
郑立召
史鑫
杨跃
赵彦涛
黄高路
李泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN201911394047.XA priority Critical patent/CN111079906B/zh
Publication of CN111079906A publication Critical patent/CN111079906A/zh
Application granted granted Critical
Publication of CN111079906B publication Critical patent/CN111079906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于长短时记忆网络的水泥成品比表面积预测方法及系统。该方法包括：对训练输入集中的训练输入数据按照时间序列进行排序；将排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，得到各个时刻的水泥成品比表面积预测值；依据训练输出集和水泥成品比表面积预测值，采用基于时间的反向传播算法计算每个神经元的节点误差项；节点误差项包括遗忘门误差项、输入们误差项和输出门误差项；依据节点误差项，采用随机梯度下降法对待训练参量进行训练，得到训练好的长短时记忆网络模型；将待测试输入集输入到训练好的长短时记忆网络模型中，得到待测试的水泥成品比表面积预测值。本发明能够提高水泥成品比表面积预测的准确度。

Description

基于长短时记忆网络的水泥成品比表面积预测方法及系统
技术领域
本发明涉及水泥成品比表面积预测技术领域，特别是涉及一种基于长短时记忆网络的水泥成品比表面积预测方法及系统。
背景技术
水泥工业是我国国民经济建设的重要基础材料产业，为国民经济建设提供原材料。由辊压机与球磨机等设备组成的水泥磨系统在当代水泥生产中已经被广泛应用。水泥成品比表面积就是单位面积水泥粉末的总表面积，如果水泥比表面积过大，则说明水泥粉末颗粒过细，会产生水化速度过快，混凝土表面出现裂缝等问题；如果水泥比表面积过小，则说明水泥粉末颗粒过粗，水化速度降低，导致水泥收料活性丧失，以上问题都会影响混凝土使用寿命。因此，将水泥成品比表面作为评价水泥性能，品质的重要指标，对其进行在线预测，有利于指导水泥磨系统生产调度，将水泥成品比表面积控制在合适的范围内，提高水泥成品性能。
在水泥成品比表面积检测方面，针对水泥成品比表面积的检测主要有离线检测和在线检测两种，前者所取样本小，滞后性大，后者虽然能及时、快速的检测，但其成本高，保养、维修工作量大。在水泥成品比表面积预测方面，由于水泥磨工艺流程具有复杂随机性和动态时滞性等特点，难以用传统的数学方法建立精确的水泥成品比表面积预测模型。
针对上述问题，袁铸钢等人针对带有水泥粒度的联合粉磨系统建模问题，给出一种分工况的联合粉磨粒度建模方法，采用回归分析算法建立多输入单输出的粒度模型和最小二乘支持向量机(LS_SVM)进行了相应建模。通过回归分析建模精度较差，LS_SVM建模虽具有较高精度，但适用于较小样本数据集的预测，对于水泥成品比表面积相关的过程参量构成的工业大数据则不适用。王贵生采用一元线性回归法45μm细度快速预测水泥比表面积，通过负压筛析法检测水泥45μm筛余量及水泥比表面积的测定，对得到的数据进行回归分析，建立45μm水泥细度与比表面积的一元线性方程，实现比表面积的预测。但该方法并未考虑水泥磨复杂工况多变量之间强耦合的特点，以及数据的时延特征，仅根据单一指标来预测水泥成品比表面积，容易造成较大误差，实用性不强。
发明内容
基于此，有必要提供一种基于长短时记忆网络的水泥成品比表面积预测方法及系统，既解决水泥磨复杂工况多变量、强耦合，难以建立机理模型的问题，又解决变量数据与水泥成品比表面积指标之间存在时变实延，预测准确度差的问题。
为实现上述目的，本发明提供了如下方案：
基于长短时记忆网络的水泥成品比表面积预测方法，包括：
获取训练输入集和训练输出集；所述训练输入集包括多个时刻的训练输入数据；所述训练输出集包括多个时刻的训练输出数据；一个时刻的训练输入数据对应一个时刻的训练输出数据；所述训练输入数据包括辊压机挡板开度、喂料量、选粉机电流、选粉机转速、循环风机挡板开度、循环风机变频反馈、水泥磨主机电流和出磨提升机电流；所述训练输出数据为水泥成品比表面积实际值；
对所述训练输入集中的训练输入数据按照时间序列进行排序，得到排序后的训练输入集；
将所述排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，得到各个时刻的水泥成品比表面积预测值；所述长短时记忆网络模型包括输入层、隐含层和输出层；所述隐含层包括多个神经元；每个所述神经元包均由遗忘门、输入门和输出门组成；一个所述神经元对应一组待训练参量；所述待训练参量包括遗忘门权重、遗忘门偏置、输入门权重、输入门偏置、输出门权重和输出门偏置；
依据所述训练输出集和所述水泥成品比表面积预测值，采用基于时间的反向传播算法计算每个所述神经元的节点误差项；所述节点误差项包括遗忘门误差项、输入们误差项和输出门误差项；
依据所述节点误差项，采用随机梯度下降法对所述待训练参量进行训练，得到训练好的长短时记忆网络模型；
将待测试输入集输入到所述训练好的长短时记忆网络模型中，得到待测试的水泥成品比表面积预测值。
可选的，所述将所述排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，得到各个时刻的水泥成品比表面积预测值，具体包括：
将所述排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，由遗忘门输出结果和输入门输出结果确定细胞记忆值
Ct＝Ct-1⊙ft+it⊙ct'，
其中，Ct表示第t时刻的细胞记忆值，Ct-1表示第t-1时刻的细胞记忆值，it⊙ct′表示第t时刻的输入门输出结果，it表示第t时刻的输入门中第一函数输出结果，ct′表示第t时刻的输入门中第二函数输出结果，ft表示第t时刻的遗忘门输出结果，ft＝σ(Wf[ht-1,xt]+bf)，σ表示sigmoid激活函数，Wf表示遗忘门权重，[ht-1,xt]表示第t-1时刻的隐含层将前一时刻隐含层状态ht-1和第t时刻对应的训练输入数据xt连接成的向量，bf为遗忘门偏置；
由所述细胞记忆值和输出门输出结果确定隐含层输出结果
ht＝ot⊙tanh(Ct)，
ht为第t时刻的隐含层输出结果，ot为第t时刻的输出门输出结果，ot＝σ(Wo[ht-1,xt]+bo)，Wo表示输出门权重，bo为输出门偏置；
将所述隐含层输出结果作为输出层的输入，得到各个时刻的水泥成品比表面积预测值
Figure BDA0002345791430000031
Figure BDA0002345791430000032
为第t时刻的水泥成品比表面积预测值，V为输出层权重，c为输出层偏置。
可选的，所述依据所述节点误差项，采用随机梯度下降法对所述待训练参量进行训练，得到训练好的长短时记忆网络模型，具体包括：
判断t-1时刻的总体误差值是否小于设定阈值；所述总体误差值包括沿时间反向传播误差值和向上一层传播误差值；
若是，则将t-1时刻对应的待训练参量确定为最优参量，并根据所述最优参量得到训练好的长短时记忆网络模型；
若否，则依据t时刻的节点误差项，采用随机梯度下降法，对t-1时刻对应的待训练参量进行更新，并将更新后的待训练参量作为t时刻对应的待训练参量，再令t加1，返回所述判断t-1时刻的总体误差值是否小于设定阈值。
可选的，所述依据所述训练输出集和所述水泥成品比表面积预测值，采用基于时间的反向传播算法计算每个所述神经元的节点误差项，具体包括：
确定损失函数
Figure BDA0002345791430000041
L为损失函数，
Figure BDA0002345791430000042
为第j时刻的水泥成品比表面积预测值，yj为训练输出集中第j时刻的水泥成品比表面积实际值；
计算总体误差值
Figure BDA0002345791430000043
δt为第t时刻的总体误差值，ht为第t时刻的隐含层输出结果；
依据所述总体误差值、细胞记忆值、输入门输出结果、遗忘门输出结果和输出门输出结果，计算节点误差项
Figure BDA0002345791430000044
Figure BDA0002345791430000045
Figure BDA0002345791430000046
Figure BDA0002345791430000047
其中，δo,t为第t时刻的输出门误差项，δf,t为第t时刻的遗忘门误差项，δi,t为第t时刻的输入门中第一函数误差项，δc′,t为第t时刻的输入门中第二函数误差项，T表示转置，Ct表示第t时刻的细胞记忆值，Ct-1表示第t-1时刻的细胞记忆值，ot为第t时刻的输出门输出结果，ft表示第t时刻的遗忘门输出结果，it表示第t时刻的输入门中第一函数输出结果，ct′表示第t时刻的输入门中第二函数输出结果。
可选的，在所述对所述训练输入集中的训练输入数据按照时间序列进行排序，得到排序后的训练输入集之后，还包括：
对所述排序后的训练输入集进行归一化处理，得到归一化后的训练输入集。
本发明还提供了一种基于长短时记忆网络的水泥成品比表面积预测系统，包括：
数据获取模块，用于获取训练输入集和训练输出集；所述训练输入集包括多个时刻的训练输入数据；所述训练输出集包括多个时刻的训练输出数据；一个时刻的训练输入数据对应一个时刻的训练输出数据；所述训练输入数据包括辊压机挡板开度、喂料量、选粉机电流、选粉机转速、循环风机挡板开度、循环风机变频反馈、水泥磨主机电流和出磨提升机电流；所述训练输出数据为水泥成品比表面积实际值；
排序模块，用于对所述训练输入集中的训练输入数据按照时间序列进行排序，得到排序后的训练输入集；
预测值获取模块，用于将所述排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，得到各个时刻的水泥成品比表面积预测值；所述长短时记忆网络模型包括输入层、隐含层和输出层；所述隐含层包括多个神经元；每个所述神经元包均由遗忘门、输入门和输出门组成；一个所述神经元对应一组待训练参量；所述待训练参量包括遗忘门权重、遗忘门偏置、输入门权重、输入门偏置、输出门权重和输出门偏置；
误差项计算模块，用于依据所述训练输出集和所述水泥成品比表面积预测值，采用基于时间的反向传播算法计算每个所述神经元的节点误差项；所述节点误差项包括遗忘门误差项、输入们误差项和输出门误差项；
训练模块，用于依据所述节点误差项，采用随机梯度下降法对所述待训练参量进行训练，得到训练好的长短时记忆网络模型；
预测模块，用于将待测试输入集输入到所述训练好的长短时记忆网络模型中，得到待测试的水泥成品比表面积预测值。
可选的，所述预测值获取模块，具体包括：
细胞记忆值确定单元，用于将所述排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，由遗忘门输出结果和输入门输出结果确定细胞记忆值
Ct＝Ct-1⊙ft+it⊙ct'，
其中，Ct表示第t时刻的细胞记忆值，Ct-1表示第t-1时刻的细胞记忆值，it⊙ct′表示第t时刻的输入门输出结果，it表示第t时刻的输入门中第一函数输出结果，ct′表示第t时刻的输入门中第二函数输出结果，ft表示第t时刻的遗忘门输出结果，ft＝σ(Wf[ht-1,xt]+bf)，σ表示sigmoid激活函数，Wf表示遗忘门权重，[ht-1,xt]表示第t-1时刻的隐含层将前一时刻隐含层状态ht-1和第t时刻对应的训练输入数据xt连接成的向量，bf为遗忘门偏置；
由所述细胞记忆值和输出门输出结果确定隐含层输出结果
ht＝ot⊙tanh(Ct)，
ht为第t时刻的隐含层输出结果，ot为第t时刻的输出门输出结果，ot＝σ(Wo[ht-1,xt]+bo)，Wo表示输出门权重，bo为输出门偏置；
预测值确定单元，用于将所述隐含层输出结果作为输出层的输入，得到各个时刻的水泥成品比表面积预测值
Figure BDA0002345791430000061
Figure BDA0002345791430000062
为第t时刻的水泥成品比表面积预测值，V为输出层权重，c为输出层偏置。
可选的，所述训练模块，具体包括：
判断单元，用于判断t-1时刻的总体误差值是否小于设定阈值；所述总体误差值包括沿时间反向传播误差值和向上一层传播误差值；
模型确定单元，用于若t-1时刻的总体误差值小于设定阈值，则将t-1时刻对应的待训练参量确定为最优参量，并根据所述最优参量得到训练好的长短时记忆网络模型；
更新单元，用于若t-1时刻的总体误差值不小于设定阈值，则依据t时刻的节点误差项，采用随机梯度下降法，对t-1时刻对应的待训练参量进行更新，并将更新后的待训练参量作为t时刻对应的待训练参量，再令t加1，返回所述判断单元。
可选的，所述误差项计算模块，具体包括：
损失函数确定单元，用于确定损失函数
Figure BDA0002345791430000071
L为损失函数，
Figure BDA0002345791430000072
为第j时刻的水泥成品比表面积预测值，yj为训练输出集中第j时刻的水泥成品比表面积实际值；
总体误差计算单元，用于计算总体误差值
Figure BDA0002345791430000073
δt为第t时刻的总体误差值，ht为第t时刻的隐含层输出结果；
节点误差计算单元，用于依据所述总体误差值、细胞记忆值、输入门输出结果、遗忘门输出结果和输出门输出结果，计算节点误差项
Figure BDA0002345791430000074
Figure BDA0002345791430000075
Figure BDA0002345791430000076
Figure BDA0002345791430000077
其中，δo,t为第t时刻的输出门误差项，δf,t为第t时刻的遗忘门误差项，δi,t为第t时刻的输入门中第一函数误差项，δc′,t为第t时刻的输入门中第二函数误差项，T表示转置，Ct表示第t时刻的细胞记忆值，Ct-1表示第t-1时刻的细胞记忆值，ot为第t时刻的输出门输出结果，ft表示第t时刻的遗忘门输出结果，it表示第t时刻的输入门中第一函数输出结果，ct′表示第t时刻的输入门中第二函数输出结果。
可选的，所述基于长短时记忆网络的水泥成品比表面积预测系统，还包括：
归一化模块，用于对所述排序后的训练输入集进行归一化处理，得到归一化后的训练输入集。
与现有技术相比，本发明的有益效果是：
本发明提出了一种基于长短时记忆网络的水泥成品比表面积预测方法及系统，对训练输入集中的训练输入数据按照时间序列进行排序；将排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，得到各个时刻的水泥成品比表面积预测值；依据训练输出集和水泥成品比表面积预测值，采用基于时间的反向传播算法计算每个神经元的节点误差项；依据节点误差项，采用随机梯度下降法对待训练参量进行训练，得到训练好的长短时记忆网络模型。本发明利用构建的训练好的长短时记忆网络模型进行预测，消除了变量的时变时延特性对比表面积预测的影响；充分利用变量数据和预测指标的时序特性，不但具有循环神经网络(recurrentneural networks,RNN)模型的记忆功能，而且解决了长期依赖的问题，能选择性的遗忘无效信息并更新记忆有效信息，并在一定程度上解决梯度消失的问题；在模型的反向传播中，采用随机梯度下降算法，通过误差项的反向传播更新参量，训练效率高，因此，在提高预测精度的同时，也提高了预测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例2基于长短时记忆网络的水泥成品比表面积预测方法的流程图；
图2为本发明实施例3预先构建好的长短时记忆网络模型的结构图；
图3为本发明实施例3长短时记忆网络模型中隐含层的结构图；
图4为本发明实施例4基于长短时记忆网络的水泥成品比表面积预测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1：
本实施例的基于长短时记忆网络的水泥成品比表面积预测方法具体如下：
首先，选取与比表面积相关的8个输入变量，先将选择的变量数据按照时间序列排列，其次将数据按照长短时记忆网络(Long Short-term Memory Networks，LSTM)的输入格式进行处理，再将数据进行归一化作为LSTM的输入数据。
在该步骤中，首先分析整个水泥磨的生产工艺，结合现场工程师的经验知识以及水泥比表面积的测量工艺，选取了八种与水泥成品比表面积相关的过程参量作为LSTM模型的输入变量，充分考虑水泥生产过程的时延和时长，将一段时间的输入变量对应某一时刻的比表面积指标的输出，并从水泥磨研磨系统数据库中导出相关输入输出变量数据。由于所选取的变量有些波动较大，为了提高模型收敛速度以及减少数据特征的损失，对数据采用归一化处理。
接下来，将归一化后的训练数据输入到LSTM模型进行数据特征的前向传播，输入数据进入隐藏层，通过遗忘门实现对细胞状态长期记忆的选择，通过输入门对细胞状态进行近期记忆的更新，通过输出门对隐藏层进行输出，最后更新当前序列索引的预测输出，完成长短时记忆网络前向传播。
在该步骤中，水泥磨研磨过程中的过程参量是基于时间序列变化的变量，不同时刻的输入变量在时序上有很强的关联性，同时为了解决在训练过程中出现的梯度爆炸和梯度消失的现象，采用LSTM模型来进行水泥磨工业数据的训练，将归一化后的数据输入到LSTM模型，当前时刻输入和上一时刻隐藏层的输出作为当前时刻遗忘门的输入，sigmoid函数作为遗忘门的激活函数，遗忘门的输出决定细胞状态的长期记忆被遗忘的程度。输入门由sigmoid、tanh函数构成，前一时刻和当前输入数据通过输入门权重矩阵提取前一时刻和当前输入数据的特征，再分别经过sigmoid和tan函数，再对二者输出求handmard积得到输入门的输出，输入门的输出将特征数据添加到细胞状态作为近期记忆。输出门由权重矩阵和sigmoid函数构成，输出门的输出结果与激活后的当前细胞状态求hadmard积作为当前时刻隐藏层的输出，隐藏层的输出经过激活函数后得到当前时刻的预测输出，从而完成LSTM模型前向传播。
然后，采用基于时间的反向传播算法(back-propagation through time,BPTT)计算每个神经元的误差项，一方面，误差项沿时间反向传播，从当前时刻开始，计算之前每个时刻的误差项，另一方面是将误差项向上一层传播。采用随机梯度下降算法(StochasticGradient Descent,SGD)，根据相应的误差项，计算每个权重的梯度，更新权值和偏置，反复训练，实现误差的最小化。
在该步骤中，在经过上面的比表面积数据特征前向传播后，实际输出的比表面积值与期望的不符时，模型进行反向误差传播，损失函数为水泥成品比表面积的期望输出与实际输出的均方误差，该误差项一方面沿时间反向传播，从当前时刻开始，计算之前每个时刻的误差项，另一方面将误差项向上一层传播，最终每个隐藏层的每个时刻都获得相应的误差项。由于影响水泥成品比表面积的输入变量样本庞大，计算量巨大，因此，采用随机梯度下降算法，每次更新权重不一定按照损失函数减小的方向，然而，虽然存在一定的随机性，大量的权重更新仍然是沿着减少损失函数的方向前进的。同时，每次更新权重的迭代，只计算一个样本，那么对于数十万次的训练数据，完成一次遍历就会对权重更新数十万次，效率大大提升。经过反复的学习训练，当误差小于设定的阈值或者学习次数大于设定的最大次数时，确定最小误差所对应的网络参数，完成LSTM模型的训练。
最后，将处理后的水泥磨研磨过程中的过程变量数据输入到训练好的长短时记忆网络模型，实现水泥磨研磨过程水泥成品比表面积的在线预测。
本实施例的基于长短时记忆网络的水泥成品比表面积预测方法，既解决了水泥磨复杂工况多变量、强耦合，难以建立机理模型的问题，又解决了变量数据与水泥成品比表面积指标之间存在时变实延，预测准确度差的问题。
实施例2：
图1为本发明实施例2基于长短时记忆网络的水泥成品比表面积预测方法的流程图。参见图1，本实施例的基于长短时记忆网络的水泥成品比表面积预测方法，包括：
步骤S1：获取训练输入集和训练输出集。
所述训练输入集包括多个时刻的训练输入数据；所述训练输出集包括多个时刻的训练输出数据；一个时刻的训练输入数据对应一个时刻的训练输出数据；所述训练输入数据包括辊压机挡板开度、喂料量、选粉机电流、选粉机转速、循环风机挡板开度、循环风机变频反馈、水泥磨主机电流和出磨提升机电流；所述训练输出数据为水泥成品比表面积实际值。
因为比表面积是离散数据，由于水泥工业的连续性和时延特性，当前时刻训练输出数据和之前一段时间的多个训练输出数据有关。因此，一个时刻的输出数据是受该时刻之前的一段时间内多个时刻的输入数据影响的。
步骤S2：对所述训练输入集中的训练输入数据按照时间序列进行排序，得到排序后的训练输入集。
步骤S3：将所述排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，得到各个时刻的水泥成品比表面积预测值。
所述长短时记忆网络模型包括输入层、隐含层和输出层；所述隐含层包括多个神经元；每个所述神经元包均由遗忘门、输入门和输出门组成；一个所述神经元对应一组待训练参量；所述待训练参量包括遗忘门权重、遗忘门偏置、输入门权重、输入门偏置、输出门权重和输出门偏置。
所述步骤S3，具体包括：
31)将所述排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，由遗忘门输出结果和输入门输出结果确定细胞记忆值
Ct＝Ct-1⊙ft+it⊙ct'，
其中，Ct表示第t时刻的细胞记忆值，Ct-1表示第t-1时刻的细胞记忆值，it⊙ct′表示第t时刻的输入门输出结果，it表示第t时刻的输入门中第一函数输出结果，ct′表示第t时刻的输入门中第二函数输出结果，ft表示第t时刻的遗忘门输出结果，ft＝σ(Wf[ht-1,xt]+bf)，σ表示sigmoid激活函数，Wf表示遗忘门权重，[ht-1,xt]表示第t-1时刻的隐含层将前一时刻隐含层状态ht-1和第t时刻对应的训练输入数据xt连接成的向量，bf为遗忘门偏置；
由所述细胞记忆值和输出门输出结果确定隐含层输出结果
ht＝ot⊙tanh(Ct)，
ht为第t时刻的隐含层输出结果，ot为第t时刻的输出门输出结果，ot＝σ(Wo[ht-1,xt]+bo)，Wo表示输出门权重，bo为输出门偏置。
32)将所述隐含层输出结果作为输出层的输入，得到各个时刻的水泥成品比表面积预测值
Figure BDA0002345791430000121
Figure BDA0002345791430000122
为第t时刻的水泥成品比表面积预测值，V为输出层权重，c为输出层偏置。
步骤S4：依据所述训练输出集和所述水泥成品比表面积预测值，采用基于时间的反向传播算法计算每个所述神经元的节点误差项；所述节点误差项包括遗忘门误差项、输入们误差项和输出门误差项。
所述步骤S4，具体包括：
41)确定损失函数
Figure BDA0002345791430000123
L为损失函数，
Figure BDA0002345791430000124
为第j时刻的水泥成品比表面积预测值，yj为训练输出集中第j时刻的水泥成品比表面积实际值。
42)计算总体误差值
Figure BDA0002345791430000125
δt为第t时刻的总体误差值，ht为第t时刻的隐含层输出结果。
43)依据所述总体误差值、细胞记忆值、输入门输出结果、遗忘门输出结果和输出门输出结果，计算节点误差项
Figure BDA0002345791430000126
Figure BDA0002345791430000127
Figure BDA0002345791430000128
Figure BDA0002345791430000131
其中，δo,t为第t时刻的输出门误差项，δf,t为第t时刻的遗忘门误差项，δi,t为第t时刻的输入门中第一函数误差项，δc′,t为第t时刻的输入门中第二函数误差项，T表示转置，Ct表示第t时刻的细胞记忆值，Ct-1表示第t-1时刻的细胞记忆值，ot为第t时刻的输出门输出结果，ft表示第t时刻的遗忘门输出结果，it表示第t时刻的输入门中第一函数输出结果，ct′表示第t时刻的输入门中第二函数输出结果。
步骤S5：依据所述节点误差项，采用随机梯度下降法对所述待训练参量进行训练，得到训练好的长短时记忆网络模型。
所述步骤S5，具体包括：
51)判断t-1时刻的总体误差值是否小于设定阈值；所述总体误差值包括沿时间反向传播误差值和向上一层传播误差值。
52)若t-1时刻的总体误差值小于设定阈值，则将t-1时刻对应的待训练参量确定为最优参量，并根据所述最优参量得到训练好的长短时记忆网络模型。
若t-1时刻的总体误差值不小于设定阈值，则依据t时刻的节点误差项，采用随机梯度下降法，对t-1时刻对应的待训练参量进行更新，并将更新后的待训练参量作为t时刻对应的待训练参量，再令t加1，返回步骤51)。
步骤S6：将待测试输入集输入到所述训练好的长短时记忆网络模型中，得到待测试的水泥成品比表面积预测值。
作为一种可选的实施方式，在所述步骤S2之后，还包括：对所述排序后的训练输入集进行归一化处理，得到归一化后的训练输入集。
本实施例的基于长短时记忆网络的水泥成品比表面积预测方法，利用构建的训练好的长短时记忆网络模型进行预测，消除了变量的时变时延特性对比表面积预测的影响；充分利用变量数据和预测指标的时序特性，不但具有循环神经网络模型的记忆功能，而且解决了长期依赖的问题，能选择性的遗忘无效信息并更新记忆有效信息，并在一定程度上解决梯度消失的问题；在模型的反向传播中，采用随机梯度下降算法，通过误差项的反向传播更新参量，训练效率高，因此，在提高预测精度的同时，也提高了预测效率。
下面提供了一个更为具体的实施例。
实施例3：
图2为本发明实施例3预先构建好的长短时记忆网络模型的结构图；图3为本发明实施例3长短时记忆网络模型中隐含层的结构图。参见图2和图3，本实施例的基于长短时记忆网络的水泥成品比表面积预测方法，具体如下：
步骤1：分析水泥磨工艺流程选取与比表面积相关的8个输入变量，首先将选择的变量数据按照时间序列排列，其次将数据按照LSTM的输入格式进行处理，再将数据进行归一化作为LSTM的输入数据。
在步骤1中，首先分析整个水泥磨的生产工艺，在水泥磨系统的正常运行过程中，多种原料按照系统设定的配比由喂料传送带运输到辊压机喂料仓中。
辊压机挡板开度是决定辊压机喂料仓下料口到辊压机中的喂料量多少的主要因素，在其他工况相同的情况下，物料量越多，研磨可能不充分，物料粒度过大，比表面积过小，反之物料粒度过细，比表面积过大；物料经过辊压机的碾压作用后通过喂料提升机运送到V型选粉机中，在循环风机和旋风筒的共同作用下，物料粒度较细的部分被带到水泥球磨机中进行粉磨，粒度较大的部分重新落入辊压机喂料仓，在此过程中，选粉机电流和选粉机转速的大小决定着对物料的筛选程度，选粉机转速不同其离心力不同，不同粒度的物料颗粒质量不同，在离心力的作用下，物料按照粒度大小在选粉机内分层，选粉机转速越大，离心力越大，物料跟随选粉机旋转，在旋风筒的作用下符合粒度要求的物料被抽出V型选粉机进入水泥球磨机，其中，循环风机挡板开度决定着旋风筒中风量的多少，循环风机变频反馈是循环风机产生风量大小的指标，风量越大，抽出的物料粒度越大，反之风量越小，抽出的物料粒度越小，会有更多的物料重新进入辊压机重新研磨；初步研磨的物料进入水泥球磨机进一步研磨，水泥磨主机电流反应水泥球磨机的运行状态，出磨提升机电流反应了水泥磨的负荷状态，保证水泥球磨机处于平稳，高效的运行状态对于生产具有合格比表面积的水泥成品至关重要；研磨后的物料在球磨机的磨尾出磨，经过出磨提升机运送到选粉机中，符合水泥成品粒度要求的物料经由收尘风机收尘并加入矿粉后输送到水泥成品库，粒度较大的则会重新进入球磨机再次研磨，然后重复上述过程。
通过分析水泥磨系统工艺，选取8个与水泥成品比表面积相关的输入变量，分别为辊压机挡板开度P1、喂料量P2、选粉机电流P3、选粉机转速P4、循环风机挡板开度P5、循环风机变频反馈P6、水泥磨主机电流P7、出磨提升机电流P8。
充分考虑水泥生产过程的时延和时长，将一段时间的输入变量对应某一时刻的比表面积指标的输出，并从水泥磨研磨系统数据库中导出相关输入输出变量数据。由于所选取的变量有些波动较大，为了提高模型收敛速度以及减少数据特征的损失，对数据进行归一化处理。
步骤2：归一化后的训练数据作为输入层输入到LSTM神经网络中，进行样本数据训练。
如图3所示，LSTM需要学习的参数共8组，分别是：遗忘门的权重矩阵和偏置项、输入门权重矩阵和偏置项、输出门的权重矩阵和偏置项、以及计算单元状态的权重矩阵和偏置。
(1)随机初始化上述参数并开始前向传播。
(2)遗忘门的输出决定细胞状态的长期记忆被遗忘的程度，其遗忘程度由前一时刻隐藏状态输出和当前时刻输入共同决定，遗忘门的计算
ft＝σ(Wf[ht-1,xt]+bf)，
σ表示sigmoid激活函数，Wf表示遗忘门权重(矩阵形式)，[ht-1,xt]表示第t-1时刻的隐含层将前一时刻隐含层状态ht-1和第t时刻对应的训练输入数据xt连接成的向量，bf为遗忘门偏置，ft表示第t时刻的遗忘门输出结果，决定了细胞记忆被遗忘的程度。
(3)输入门的计算
it＝σ(Wi·[ht-1,xt]+bi)，
其中，Wi为输入门中第一函数的权重，bi为输入门中第一函数的偏置，it表示第t时刻的输入门中第一函数输出结果，决定了当前输入单元状态中要加入细胞记忆的部分。
(4)当前输入的单元状态计算
c′t＝tanh(Wc[ht-1,xt]+bc)，
其中，Wc为输入门中第二函数的权重，bc为输入门中第二函数的偏置，ct′表示第t时刻的输入门中第二函数输出结果。
(5)细胞状态的遗忘和更新
Ct＝Ct-1⊙ft+it⊙ct'，
其中，Ct表示第t时刻的细胞记忆值，Ct-1表示第t-1时刻的细胞记忆值，it⊙ct′表示第t时刻的输入门输出结果，⊙为handmard积，上式第一项实现对长期记忆中无效信息的选择性遗忘，第二项将近期记忆中的有效信息更新到细胞状态中。
(6)输出门的计算
ot＝σ(Wo[ht-1,xt]+bo)，
其中，ot为第t时刻的输出门输出结果，Wo表示输出门权重，bo为输出门偏置。
(7)隐含层最终输出由当前时刻输出门输出和细胞记忆共同决定
ht＝ot⊙tanh(Ct)，
ht为第t时刻的隐含层输出结果，tanh为激活函数。
(8)更新索引序列预测输出
Figure BDA0002345791430000161
Figure BDA0002345791430000162
为第t时刻的水泥成品比表面积预测值，V为输出层权重，c为输出层偏置。
将过上述步骤(1)-(8)，完成LSTM模型的前向传播。
步骤3：采用基于时间的反向传播(back-propagation through time，BPTT)，反向计算每个神经元的误差项，一方面，误差项沿时间反向传播，从当前时刻开始，计算之前每个时刻的误差项，另一方面是将误差项向上一层传播。根据相应的误差项，计算每个权重的梯度，更新权重。为了计算方便，将权重矩阵Wf、Wi、Wc、Wo拆分成Wfx、Wfh、Wix、Wih、Wcx、Wch、Wox、Woh。Wfx为遗忘门中沿层传播对应的权重，Wfh为遗忘门中沿时间传播对应的权重，Wix为输入门中第一函数沿层传播对应的权重，Wih为输入门中第一函数沿时间传播对应的权重，Wcx为输入门中第二函数沿层传播对应的权重，Wch为输入门中第二函数沿时间传播对应的权重，Wox为输出门中沿层传播对应的权重，Woh为输出门中沿时间传播对应的权重。
(1)误差项的传播分为两部分，a.沿时序反向传播；b.向上一层传播。
定义损失函数：
Figure BDA0002345791430000171
L为损失函数，
Figure BDA0002345791430000172
为第j时刻的水泥成品比表面积预测值，yj为训练输出集中第j时刻的水泥成品比表面积实际值。
在t时刻，LSTM隐含层输出为ht，定义t时刻的总体误差值δt为
Figure BDA0002345791430000173
由于LSTM网络隐含层有四个节点，与其对应四个加权输入，定义四个加权输入为：
netf,t＝Wf[ht-1,xt]+bf＝Wfhht-1+Wfxxt+bf，
neti,t＝Wihht-1+Wixxt+bi，
netc,t＝Wchht-1+Wcxxt+bc，
neto,t＝Wohht-1+Woxxt+bo，
加权输入对应的误差项(节点误差项)为
Figure BDA0002345791430000174
Figure BDA0002345791430000175
Figure BDA0002345791430000176
Figure BDA0002345791430000177
下面，计算上一时刻的总体误差值δt-1
Figure BDA0002345791430000178
当t-1时刻的总体误差值不小于设定阈值时，依据所述总体误差值、细胞记忆值、输入门输出结果、遗忘门输出结果和输出门输出结果，计算节点误差项
Figure BDA0002345791430000181
Figure BDA0002345791430000182
Figure BDA0002345791430000183
Figure BDA0002345791430000184
其中，δo,t为第t时刻的输出门误差项，δf,t为第t时刻的遗忘门误差项，δi,t为第t时刻的输入门中第一函数误差项，δc′,t为第t时刻的输入门中第二函数误差项，T表示转置。
a.沿时序反向传播
误差项沿时序反向传播到任意k时刻的误差项为
Figure BDA0002345791430000185
Figure BDA0002345791430000186
b.向上一层传播
设当前层为l层，定义l-1层的误差项是误差函数l-1层加权输入的导数，则有
Figure BDA0002345791430000187
Figure BDA0002345791430000188
为l-1层的误差项，
Figure BDA0002345791430000189
为l-1层的加权输入，LSTM的输入xt由下面的公式得出：
Figure BDA00023457914300001810
其中，fl-1表示第l-1层的激活函数。
由全导公式递推可知：
Figure BDA00023457914300001811
Figure BDA00023457914300001812
表示xt l对
Figure BDA00023457914300001813
的导数。
(2)依据所述节点误差项，采用随机梯度下降法对所述待训练参量进行训练，得到训练好的长短时记忆网络模型。具体的：
①依据所述节点误差项，计算权重梯度和偏置梯度，其中，
Woh、Wih、Wfh、Wch各时刻的权重梯度为：
Figure BDA0002345791430000191
Figure BDA0002345791430000192
Figure BDA0002345791430000193
Figure BDA0002345791430000194
δo,j为第j时刻的输出门误差项，δf,j为第j时刻的遗忘门误差项，δi,j为第j时刻的输入门中第一函数误差项，δc′,j为第j时刻的输入门中第二函数误差项，j∈[1,t]，hj-1为第j-1时刻的隐含层输出结果；
与权重对应的偏置的梯度为：
Figure BDA0002345791430000195
Figure BDA0002345791430000196
Figure BDA0002345791430000197
Figure BDA0002345791430000198
Wfx、Wix、Wcx、Wox的权重梯度为：
Figure BDA0002345791430000199
Figure BDA00023457914300001910
Figure BDA00023457914300001911
Figure BDA0002345791430000201
由此，求出了在t之前的所有时刻损失函数相对于各参数的梯度，下面进行权重的更新。
②根据梯度下降算法对权重进行更新
Figure BDA0002345791430000202
Figure BDA0002345791430000203
η为模型的学习率，W为权重，b为偏置。
具体更新过程为：
误差项沿时序传播的相关权重更新为
Figure BDA0002345791430000204
Figure BDA0002345791430000205
Figure BDA0002345791430000206
Figure BDA0002345791430000207
与各节点权重相对应的偏置项更新为
Figure BDA0002345791430000208
Figure BDA0002345791430000209
Figure BDA00023457914300002010
Figure BDA0002345791430000211
误差项向上层传播的相关权重更新为
Figure BDA0002345791430000212
Figure BDA0002345791430000213
Figure BDA0002345791430000214
Figure BDA0002345791430000215
③至此，完成一次前向和反向传播，循环迭代地更新各个部分，每经过一个时间步，求得总体误差值，若总体误差值小于阈值，则进行权重矩阵和偏置项的更新，直到总体误差值小于设定阈值或达到最大训练次数，退出循环，完成训练。
步骤4：将待测试输入集输入到所述训练好的长短时记忆网络模型中，得到待测试的水泥成品比表面积预测值。
本实施例中的基于长短时记忆网络的水泥成品比表面积预测方法，具有以下优点：
1)将各变量按照时间序列排列作为输入层，对应于某一时刻的水泥成品比表面积，构建的训练好的长短时记忆网络模型，消除了变量的时变时延特性对比表面积预测的影响。
2)构建的训练好的长短时记忆网络模型，充分利用变量数据和预测指标的时序特性，不但具有循环神经网络模型的记忆功能，而且解决了长期依赖的问题，能选择性的遗忘无效信息并更新记忆有效信息，并在一定程度上解决梯度消失的问题。在模型的反向传播中，采用随机梯度下降算法，通过误差项的反向传播求得权重梯度，达到权重更新的目的，模型预测精度提升的同时，训练效率得到提高。
实施例3：
图4为本发明实施例3基于长短时记忆网络的水泥成品比表面积预测系统的结构示意图。参见图4，本实施例提供的基于长短时记忆网络的水泥成品比表面积预测系统，包括：
数据获取模块401，用于获取训练输入集和训练输出集；所述训练输入集包括多个时刻的训练输入数据；所述训练输出集包括多个时刻的训练输出数据；一个时刻的训练输入数据对应一个时刻的训练输出数据；所述训练输入数据包括辊压机挡板开度、喂料量、选粉机电流、选粉机转速、循环风机挡板开度、循环风机变频反馈、水泥磨主机电流和出磨提升机电流；所述训练输出数据为水泥成品比表面积实际值。
排序模块402，用于对所述训练输入集中的训练输入数据按照时间序列进行排序，得到排序后的训练输入集。
预测值获取模块403，用于将所述排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，得到各个时刻的水泥成品比表面积预测值；所述长短时记忆网络模型包括输入层、隐含层和输出层；所述隐含层包括多个神经元；每个所述神经元包均由遗忘门、输入门和输出门组成；一个所述神经元对应一组待训练参量；所述待训练参量包括遗忘门权重、遗忘门偏置、输入门权重、输入门偏置、输出门权重和输出门偏置。
误差项计算模块404，用于依据所述训练输出集和所述水泥成品比表面积预测值，采用基于时间的反向传播算法计算每个所述神经元的节点误差项；所述节点误差项包括遗忘门误差项、输入们误差项和输出门误差项。
训练模块405，用于依据所述节点误差项，采用随机梯度下降法对所述待训练参量进行训练，得到训练好的长短时记忆网络模型。
预测模块406，用于将待测试输入集输入到所述训练好的长短时记忆网络模型中，得到待测试的水泥成品比表面积预测值。
作为一种可选的实施方式，所述预测值获取模块403，具体包括：
细胞记忆值确定单元，用于将所述排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，由遗忘门输出结果和输入门输出结果确定细胞记忆值
Ct＝Ct-1⊙ft+it⊙ct'，
其中，Ct表示第t时刻的细胞记忆值，Ct-1表示第t-1时刻的细胞记忆值，it⊙ct′表示第t时刻的输入门输出结果，it表示第t时刻的输入门中第一函数输出结果，ct′表示第t时刻的输入门中第二函数输出结果，ft表示第t时刻的遗忘门输出结果，ft＝σ(Wf[ht-1,xt]+bf)，σ表示sigmoid激活函数，Wf表示遗忘门权重，[ht-1,xt]表示第t-1时刻的隐含层将前一时刻隐含层状态ht-1和第t时刻对应的训练输入数据xt连接成的向量，bf为遗忘门偏置。
隐含层输出确定单元，用于由所述细胞记忆值和输出门输出结果确定隐含层输出结果
ht＝ot⊙tanh(Ct)，
ht为第t时刻的隐含层输出结果，ot为第t时刻的输出门输出结果，ot＝σ(Wo[ht-1,xt]+bo)，Wo表示输出门权重，bo为输出门偏置。
预测值确定单元，用于将所述隐含层输出结果作为输出层的输入，得到各个时刻的水泥成品比表面积预测值
Figure BDA0002345791430000231
Figure BDA0002345791430000232
为第t时刻的水泥成品比表面积预测值，V为输出层权重，c为输出层偏置。
作为一种可选的实施方式，所述训练模块405，具体包括：
判断单元，用于判断t-1时刻的总体误差值是否小于设定阈值；所述总体误差值包括沿时间反向传播误差值和向上一层传播误差值。
模型确定单元，用于若t-1时刻的总体误差值小于设定阈值，则将t-1时刻对应的待训练参量确定为最优参量，并根据所述最优参量得到训练好的长短时记忆网络模型。
更新单元，用于若t-1时刻的总体误差值不小于设定阈值，则依据t时刻的节点误差项，采用随机梯度下降法，对t-1时刻对应的待训练参量进行更新，并将更新后的待训练参量作为t时刻对应的待训练参量，再令t加1，返回所述判断单元。
作为一种可选的实施方式，所述误差项计算模块404，具体包括：
损失函数确定单元，用于确定损失函数
Figure BDA0002345791430000241
L为损失函数，
Figure BDA0002345791430000242
为第j时刻的水泥成品比表面积预测值，yj为训练输出集中第j时刻的水泥成品比表面积实际值。
总体误差计算单元，用于计算总体误差值
Figure BDA0002345791430000243
δt为第t时刻的总体误差值，ht为第t时刻的隐含层输出结果。
节点误差计算单元，用于依据所述总体误差值、细胞记忆值、输入门输出结果、遗忘门输出结果和输出门输出结果，计算节点误差项
Figure BDA0002345791430000244
Figure BDA0002345791430000245
Figure BDA0002345791430000246
Figure BDA0002345791430000247
其中，δo,t为第t时刻的输出门误差项，δf,t为第t时刻的遗忘门误差项，δi,t为第t时刻的输入门中第一函数误差项，δc′,t为第t时刻的输入门中第二函数误差项，T表示转置，Ct表示第t时刻的细胞记忆值，Ct-1表示第t-1时刻的细胞记忆值，ot为第t时刻的输出门输出结果，ft表示第t时刻的遗忘门输出结果，it表示第t时刻的输入门中第一函数输出结果，ct′表示第t时刻的输入门中第二函数输出结果。
作为一种可选的实施方式，所述基于长短时记忆网络的水泥成品比表面积预测系统，还包括：
归一化模块，用于对所述排序后的训练输入集进行归一化处理，得到归一化后的训练输入集。
本实施例的基于长短时记忆网络的水泥成品比表面积预测系统，既解决了水泥磨复杂工况多变量、强耦合，难以建立机理模型的问题，又解决了变量数据与水泥成品比表面积指标之间存在时变实延，预测准确度差的问题。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.基于长短时记忆网络的水泥成品比表面积预测方法，其特征在于，包括：
获取训练输入集和训练输出集；所述训练输入集包括多个时刻的训练输入数据；所述训练输出集包括多个时刻的训练输出数据；一个时刻的训练输入数据对应一个时刻的训练输出数据；所述训练输入数据包括辊压机挡板开度、喂料量、选粉机电流、选粉机转速、循环风机挡板开度、循环风机变频反馈、水泥磨主机电流和出磨提升机电流；所述训练输出数据为水泥成品比表面积实际值；
对所述训练输入集中的训练输入数据按照时间序列进行排序，得到排序后的训练输入集；
将所述排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，得到各个时刻的水泥成品比表面积预测值；所述长短时记忆网络模型包括输入层、隐含层和输出层；所述隐含层包括多个神经元；每个所述神经元包均由遗忘门、输入门和输出门组成；一个所述神经元对应一组待训练参量；所述待训练参量包括遗忘门权重、遗忘门偏置、输入门权重、输入门偏置、输出门权重和输出门偏置；
依据所述训练输出集和所述水泥成品比表面积预测值，采用基于时间的反向传播算法计算每个所述神经元的节点误差项；所述节点误差项包括遗忘门误差项、输入们误差项和输出门误差项；
依据所述节点误差项，采用随机梯度下降法对所述待训练参量进行训练，得到训练好的长短时记忆网络模型；
将待测试输入集输入到所述训练好的长短时记忆网络模型中，得到待测试的水泥成品比表面积预测值。
2.根据权利要求1所述的基于长短时记忆网络的水泥成品比表面积预测方法，其特征在于，所述将所述排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，得到各个时刻的水泥成品比表面积预测值，具体包括：
将所述排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，由遗忘门输出结果和输入门输出结果确定细胞记忆值
Ct＝Ct-1⊙ft+it⊙ct'，
其中，Ct表示第t时刻的细胞记忆值，Ct-1表示第t-1时刻的细胞记忆值，it⊙ct′表示第t时刻的输入门输出结果，it表示第t时刻的输入门中第一函数输出结果，ct′表示第t时刻的输入门中第二函数输出结果，ft表示第t时刻的遗忘门输出结果，ft＝σ(Wf[ht-1,xt]+bf)，σ表示sigmoid激活函数，Wf表示遗忘门权重，[ht-1,xt]表示第t-1时刻的隐含层将前一时刻隐含层状态ht-1和第t时刻对应的训练输入数据xt连接成的向量，bf为遗忘门偏置；
由所述细胞记忆值和输出门输出结果确定隐含层输出结果
ht＝ot⊙tanh(Ct)，
ht为第t时刻的隐含层输出结果，ot为第t时刻的输出门输出结果，ot＝σ(Wo[ht-1,xt]+bo)，Wo表示输出门权重，bo为输出门偏置；
将所述隐含层输出结果作为输出层的输入，得到各个时刻的水泥成品比表面积预测值
Figure FDA0002345791420000021
Figure FDA0002345791420000022
为第t时刻的水泥成品比表面积预测值，V为输出层权重，c为输出层偏置。
3.根据权利要求1所述的基于长短时记忆网络的水泥成品比表面积预测方法，其特征在于，所述依据所述节点误差项，采用随机梯度下降法对所述待训练参量进行训练，得到训练好的长短时记忆网络模型，具体包括：
判断t-1时刻的总体误差值是否小于设定阈值；所述总体误差值包括沿时间反向传播误差值和向上一层传播误差值；
若是，则将t-1时刻对应的待训练参量确定为最优参量，并根据所述最优参量得到训练好的长短时记忆网络模型；
若否，则依据t时刻的节点误差项，采用随机梯度下降法，对t-1时刻对应的待训练参量进行更新，并将更新后的待训练参量作为t时刻对应的待训练参量，再令t加1，返回所述判断t-1时刻的总体误差值是否小于设定阈值。
4.根据权利要求1所述的基于长短时记忆网络的水泥成品比表面积预测方法，其特征在于，所述依据所述训练输出集和所述水泥成品比表面积预测值，采用基于时间的反向传播算法计算每个所述神经元的节点误差项，具体包括：
确定损失函数
Figure FDA0002345791420000031
L为损失函数，
Figure FDA0002345791420000032
为第j时刻的水泥成品比表面积预测值，yj为训练输出集中第j时刻的水泥成品比表面积实际值；
计算总体误差值
Figure FDA0002345791420000033
δt为第t时刻的总体误差值，ht为第t时刻的隐含层输出结果；
依据所述总体误差值、细胞记忆值、输入门输出结果、遗忘门输出结果和输出门输出结果，计算节点误差项
Figure FDA0002345791420000034
Figure FDA0002345791420000035
Figure FDA0002345791420000036
Figure FDA0002345791420000037
其中，δo,t为第t时刻的输出门误差项，δf,t为第t时刻的遗忘门误差项，δi,t为第t时刻的输入门中第一函数误差项，δc′,t为第t时刻的输入门中第二函数误差项，T表示转置，Ct表示第t时刻的细胞记忆值，Ct-1表示第t-1时刻的细胞记忆值，ot为第t时刻的输出门输出结果，ft表示第t时刻的遗忘门输出结果，it表示第t时刻的输入门中第一函数输出结果，ct′表示第t时刻的输入门中第二函数输出结果。
5.根据权利要求1所述的基于长短时记忆网络的水泥成品比表面积预测方法，其特征在于，在所述对所述训练输入集中的训练输入数据按照时间序列进行排序，得到排序后的训练输入集之后，还包括：
对所述排序后的训练输入集进行归一化处理，得到归一化后的训练输入集。
6.基于长短时记忆网络的水泥成品比表面积预测系统，其特征在于，包括：
数据获取模块，用于获取训练输入集和训练输出集；所述训练输入集包括多个时刻的训练输入数据；所述训练输出集包括多个时刻的训练输出数据；一个时刻的训练输入数据对应一个时刻的训练输出数据；所述训练输入数据包括辊压机挡板开度、喂料量、选粉机电流、选粉机转速、循环风机挡板开度、循环风机变频反馈、水泥磨主机电流和出磨提升机电流；所述训练输出数据为水泥成品比表面积实际值；
排序模块，用于对所述训练输入集中的训练输入数据按照时间序列进行排序，得到排序后的训练输入集；
预测值获取模块，用于将所述排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，得到各个时刻的水泥成品比表面积预测值；所述长短时记忆网络模型包括输入层、隐含层和输出层；所述隐含层包括多个神经元；每个所述神经元包均由遗忘门、输入门和输出门组成；一个所述神经元对应一组待训练参量；所述待训练参量包括遗忘门权重、遗忘门偏置、输入门权重、输入门偏置、输出门权重和输出门偏置；
误差项计算模块，用于依据所述训练输出集和所述水泥成品比表面积预测值，采用基于时间的反向传播算法计算每个所述神经元的节点误差项；所述节点误差项包括遗忘门误差项、输入们误差项和输出门误差项；
训练模块，用于依据所述节点误差项，采用随机梯度下降法对所述待训练参量进行训练，得到训练好的长短时记忆网络模型；
预测模块，用于将待测试输入集输入到所述训练好的长短时记忆网络模型中，得到待测试的水泥成品比表面积预测值。
7.根据权利要求6所述的基于长短时记忆网络的水泥成品比表面积预测系统，其特征在于，所述预测值获取模块，具体包括：
细胞记忆值确定单元，用于将所述排序后的训练输入集输入到预先构建好的长短时记忆网络模型中，由遗忘门输出结果和输入门输出结果确定细胞记忆值
Ct＝Ct-1⊙ft+it⊙ct'，
其中，Ct表示第t时刻的细胞记忆值，Ct-1表示第t-1时刻的细胞记忆值，it⊙ct′表示第t时刻的输入门输出结果，it表示第t时刻的输入门中第一函数输出结果，ct′表示第t时刻的输入门中第二函数输出结果，ft表示第t时刻的遗忘门输出结果，ft＝σ(Wf[ht-1,xt]+bf)，σ表示sigmoid激活函数，Wf表示遗忘门权重，[ht-1,xt]表示第t-1时刻的隐含层将前一时刻隐含层状态ht-1和第t时刻对应的训练输入数据xt连接成的向量，bf为遗忘门偏置；
由所述细胞记忆值和输出门输出结果确定隐含层输出结果
ht＝ot⊙tanh(Ct)，
ht为第t时刻的隐含层输出结果，ot为第t时刻的输出门输出结果，ot＝σ(Wo[ht-1,xt]+bo)，Wo表示输出门权重，bo为输出门偏置；
预测值确定单元，用于将所述隐含层输出结果作为输出层的输入，得到各个时刻的水泥成品比表面积预测值
Figure FDA0002345791420000051
Figure FDA0002345791420000052
为第t时刻的水泥成品比表面积预测值，V为输出层权重，c为输出层偏置。
8.根据权利要求6所述的基于长短时记忆网络的水泥成品比表面积预测系统，其特征在于，所述训练模块，具体包括：
判断单元，用于判断t-1时刻的总体误差值是否小于设定阈值；所述总体误差值包括沿时间反向传播误差值和向上一层传播误差值；
模型确定单元，用于若t-1时刻的总体误差值小于设定阈值，则将t-1时刻对应的待训练参量确定为最优参量，并根据所述最优参量得到训练好的长短时记忆网络模型；
更新单元，用于若t-1时刻的总体误差值不小于设定阈值，则依据t时刻的节点误差项，采用随机梯度下降法，对t-1时刻对应的待训练参量进行更新，并将更新后的待训练参量作为t时刻对应的待训练参量，再令t加1，返回所述判断单元。
9.根据权利要求6所述的基于长短时记忆网络的水泥成品比表面积预测系统，其特征在于，所述误差项计算模块，具体包括：
损失函数确定单元，用于确定损失函数
Figure FDA0002345791420000061
L为损失函数，
Figure FDA0002345791420000062
为第j时刻的水泥成品比表面积预测值，yj为训练输出集中第j时刻的水泥成品比表面积实际值；
总体误差计算单元，用于计算总体误差值
Figure FDA0002345791420000063
δt为第t时刻的总体误差值，ht为第t时刻的隐含层输出结果；
节点误差计算单元，用于依据所述总体误差值、细胞记忆值、输入门输出结果、遗忘门输出结果和输出门输出结果，计算节点误差项
Figure FDA0002345791420000064
Figure FDA0002345791420000065
Figure FDA0002345791420000066
Figure FDA0002345791420000067
其中，δo,t为第t时刻的输出门误差项，δf,t为第t时刻的遗忘门误差项，δi,t为第t时刻的输入门中第一函数误差项，δc′,t为第t时刻的输入门中第二函数误差项，T表示转置，Ct表示第t时刻的细胞记忆值，Ct-1表示第t-1时刻的细胞记忆值，ot为第t时刻的输出门输出结果，ft表示第t时刻的遗忘门输出结果，it表示第t时刻的输入门中第一函数输出结果，ct′表示第t时刻的输入门中第二函数输出结果。
10.根据权利要求6所述的基于长短时记忆网络的水泥成品比表面积预测系统，其特征在于，还包括：
归一化模块，用于对所述排序后的训练输入集进行归一化处理，得到归一化后的训练输入集。
CN201911394047.XA 2019-12-30 2019-12-30 基于长短时记忆网络的水泥成品比表面积预测方法及系统 Active CN111079906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911394047.XA CN111079906B (zh) 2019-12-30 2019-12-30 基于长短时记忆网络的水泥成品比表面积预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911394047.XA CN111079906B (zh) 2019-12-30 2019-12-30 基于长短时记忆网络的水泥成品比表面积预测方法及系统

Publications (2)

Publication Number Publication Date
CN111079906A CN111079906A (zh) 2020-04-28
CN111079906B true CN111079906B (zh) 2023-05-05

Family

ID=70319522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911394047.XA Active CN111079906B (zh) 2019-12-30 2019-12-30 基于长短时记忆网络的水泥成品比表面积预测方法及系统

Country Status (1)

Country Link
CN (1) CN111079906B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101519B (zh) * 2020-08-07 2022-04-08 中国南方电网有限责任公司超高压输电公司广州局 一种基于lstm的换流阀冷却裕度预测运维方法及系统
CN111930602B (zh) * 2020-08-13 2023-09-22 中国工商银行股份有限公司 性能指标预测方法及装置
CN112036658B (zh) * 2020-09-09 2022-06-14 华东交通大学 一种基于随差遗忘长短期记忆的风电功率实时预测方法
CN112132333B (zh) * 2020-09-16 2024-02-02 安徽泽众安全科技有限公司 一种基于深度学习的短期水质水量预测方法及系统
CN112164076B (zh) * 2020-09-24 2022-10-25 济南大学 基于水泥微观结构图像的硬化水泥水灰比预测方法及系统
CN112949894B (zh) * 2020-12-10 2023-09-19 北京工业大学 一种基于简化型长短期记忆神经网络的出水bod预测方法
CN113033974B (zh) * 2021-03-08 2022-02-18 华院计算技术(上海)股份有限公司 基于改进lstm网络的数字钢卷特征质量预测及工艺参数动态调整方法及系统
CN112990439A (zh) * 2021-03-30 2021-06-18 太原理工大学 一种增强矿井下时间序列数据互相关联性的方法
CN112990598A (zh) * 2021-03-31 2021-06-18 浙江禹贡信息科技有限公司 一种水库水位时间序列预测方法与系统
CN113591384B (zh) * 2021-08-02 2023-08-18 燕山大学 一种基于门控卷积网络的水泥成品比表面积预测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101688A1 (zh) * 2014-12-25 2016-06-30 清华大学 一种基于深度长短期记忆循环神经网络的连续语音识别方法
WO2016145850A1 (zh) * 2015-03-19 2016-09-22 清华大学 基于选择性注意原理的深度长短期记忆循环神经网络声学模型的构建方法
CN108133297A (zh) * 2018-01-26 2018-06-08 广州大学 基于长短期记忆网络的溶解氧预测方法与系统
CN108694480A (zh) * 2018-07-13 2018-10-23 西南石油大学 基于改进的长短时记忆网络的金融数据预测方法
CN108830487A (zh) * 2018-06-21 2018-11-16 王芊霖 基于长短时神经网络的电力负荷预测方法
CN109214575A (zh) * 2018-09-12 2019-01-15 河海大学 一种基于小波长短期记忆网络的超短期风电功率预测方法
CN110222825A (zh) * 2019-06-10 2019-09-10 燕山大学 一种水泥成品比表面积预测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101688A1 (zh) * 2014-12-25 2016-06-30 清华大学 一种基于深度长短期记忆循环神经网络的连续语音识别方法
WO2016145850A1 (zh) * 2015-03-19 2016-09-22 清华大学 基于选择性注意原理的深度长短期记忆循环神经网络声学模型的构建方法
CN108133297A (zh) * 2018-01-26 2018-06-08 广州大学 基于长短期记忆网络的溶解氧预测方法与系统
CN108830487A (zh) * 2018-06-21 2018-11-16 王芊霖 基于长短时神经网络的电力负荷预测方法
CN108694480A (zh) * 2018-07-13 2018-10-23 西南石油大学 基于改进的长短时记忆网络的金融数据预测方法
CN109214575A (zh) * 2018-09-12 2019-01-15 河海大学 一种基于小波长短期记忆网络的超短期风电功率预测方法
CN110222825A (zh) * 2019-06-10 2019-09-10 燕山大学 一种水泥成品比表面积预测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王昭旭 ; 郝晓辰 ; 郭曈曈 ; 赵彦涛.基于深度信念网络的水泥生产能耗时间序列预测模型.第37届中国控制会议.2018,全文. *
郝晓辰 ; 杨跃 ; 杨黎明 ; 郭曈曈 ; 赵彦涛.基于时间序列卷积神经网络的水泥烧成过程能耗预测模型.2018中国自动化大会(CAC2018).2018,全文. *

Also Published As

Publication number Publication date
CN111079906A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111079906B (zh) 基于长短时记忆网络的水泥成品比表面积预测方法及系统
CN109002686B (zh) 一种自动生成样本的多牌号化工过程软测量建模方法
Zhou et al. A novel soft sensor modeling approach based on difference-LSTM for complex industrial process
CN109242194B (zh) 一种基于混合模型的浓密机底流浓度预测方法
CN113591374B (zh) 基于卷积简单循环单元网络的水泥成品比表面积预测方法
CN110909802A (zh) 一种基于改进的pso优化pnn平滑因子的故障分类方法
CN110264079A (zh) 基于CNN算法和Lasso回归模型的热轧产品质量预测方法
CN106485289A (zh) 一种菱镁矿矿石的品级的分类方法及设备
CN111950697A (zh) 一种基于门控循环单元网络的水泥成品比表面积预测方法
CN112308298B (zh) 一种面向半导体生产线的多场景性能指标预测方法及系统
CN115456460A (zh) 一种制丝松散回潮工艺的多质量指标输出预测方法、系统
Vakhshouri et al. Application of adaptive neuro-fuzzy inference system in high strength concrete
CN114388069A (zh) 一种多性能控制的混凝土配合比优化方法
CN110222825B (zh) 一种水泥成品比表面积预测方法及系统
CN116088453A (zh) 生产质量预测模型训练方法及装置、生产质量监控方法
Altun et al. Identification of dynamic loads on structural component with artificial neural networks
CN115096357A (zh) 一种基于ceemdan-pca-lstm的室内环境质量预测方法
CN113705897A (zh) 一种面向工业铜箔生产的产品质量预测方法及系统
Wang et al. RBF neural network soft-sensor modeling of rotary kiln pellet quality indices optimized by biogeography-based optimization algorithm
CN113609772B (zh) 基于卷积准循环神经网络的水泥成品比表面积预测方法
CN111062118B (zh) 一种基于神经网络预测分层的多层软测量建模系统及方法
Pani et al. A hybrid soft sensing approach of a cement mill using principal component analysis and artificial neural networks
CN114798763A (zh) 一种加热炉出钢板坯粗轧出口温度的预测方法及系统
Prakash et al. Speculation of compressive strength of concrete in real-time
CN111931948A (zh) 用于测量混凝土抗压强度的深度集成森林回归建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant