CN113609772A - 基于卷积准循环神经网络的水泥成品比表面积预测方法 - Google Patents

Abstract

本发明公开了基于卷积准循环神经网络的水泥成品比表面积预测方法，属于预测技术领域，分析水泥磨工艺流程再将数据进行归一化作为卷积的输入数据，并按照时间顺序将其重构为时序序列；卷积后的输出数据作为输入数据送给到准循环神经网络，进行样本训练；在反向传播过程中，采用Adam算法作为网络的优化器，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习速率，经过多次的学习训练，当误差足够小或者超过最大迭代次数，即可退出循环，完成训练的训练好的卷积准循环神经网络模型对水泥磨研磨过程中水泥成品质量指标‑比表面积进行在线预测。

Description

基于卷积准循环神经网络的水泥成品比表面积预测方法

技术领域

本发明涉及水泥磨水泥成品质量指标的比表面积预测技术领域，尤其涉及基于卷积准循环神经网络的水泥成品比表面积预测方法。

背景技术

近些年，随着国家各方面的飞速发展，各种大型建筑拔地而起，其中，水泥是不可或缺的原材料。现在我国水泥的产量和需求量排在世界前端，而水泥工业又是我国的基础原材料工业之一，虽然在经济建设中具有重要地位，但同时这也是一项高耗能、高排放的产业。其中，水泥研磨过程是水泥生产的重要过程，水泥成品的比表面积是衡量水泥质量状况的一项重要的指标，水泥的性能会直接影响到混凝土的性能。因此，对水泥比表进行精准预测，不仅可以为水泥磨研磨过程调度的优化、综合能耗的降低和水泥产品的评价提供依据，也可以防止不合格的水泥产品投入使用，提高建筑物的安全系数。

水泥成品的比表面积就是单位面积的水泥粉末的总表面积，比表面积可作为评价水泥细度的指标。若水泥粉末颗粒过细，则比表面积越大，这将导致水泥的水化速度过快、放热过快且集中、混凝土显著收缩，使混凝土早期开裂等。相反，若水泥粉末颗粒过粗，则比表面积越小，这将导致水泥的水化速度降低，水泥收料活性丧失，也会影响混凝土的质量和使用寿命。因此，比表面积作为评价水泥品质、性能的重要指标应保持在合适的范围内，而实现比表面积的预测对于提高混凝土质量具有重要意义。

在水泥成品的比表面积预测方面，由于水泥磨工作流程本身具有时滞和随机性等特点，难以用传统的线性模型来进行预测。目前，国内外水泥比表面积的检测分为离线和在线两种。离线检测就是每一个小时到现场取样，将样本用实验室的分析仪化验，之后得到结果。但由于取样量小，取样时间间隔长，因此不具有代表性，且滞后性大。对实际生产中操作员的指导产生延时，不能准确监测水泥比表面积，容易生产出不合格产品，甚至可能导致水泥达不到国家标准而作废，不仅不能适应生产的要求，还会造成不必要的浪费。而在线监测是在水泥生产过程中直接监测水泥的比表面积，并且将监测到的水泥的比表面积等信息传送到DCS系统之中。现在，在线测量水泥粒度的设备主要有在线粒度监测仪，它能够及时、快速地对水泥的粒度进行测量，这是使水泥质量的有效方法。但是，这种方法只可测量水泥成品粒度，无法直接反应水泥成品的比表面积，并且成本较高，价格昂贵，结构复杂，日常维护工作量大，容易出现故障，影响工业生产。

针对上述问题，为了更有效的适应水泥制造过程的复杂性，袁铸钢等人针对带有水泥粒度的联合粉磨系统建模问题，采用回归分析法建立多输入单输出的粒度模型，并且使用最小二乘支持向量机进行建模。回归分析法建模精度较差，最小二乘支持向量机建模虽具有较高精度，但只适用于较小样本数据集的预测。预测水泥成品比表面积的相关参量数据量极大，因此，此模型并不适用。王贵生等人采用一元线性回归法建立了45μm水泥细度和水泥比表面积的回归方程，利用负压筛析仪检测水泥细度，之后，将水泥细度数据带入回归方程中即可求得相应的比表面积。但这种方法辅助变量单一，自我修复校正能力不强，没有考虑到水泥磨复杂工况下的变量耦合、时变时延等问题，使用该方法进行比表面积的预测会产生较大误差。

综上所述，随着水泥行业对智慧制造要求的不断提升，实现水泥比表面积的实时评价与合理控制成为了水泥流程工业领域函待解决的问题。

发明内容

本发明为了解决上述缺陷，提出基于卷积准循环神经网络的水泥成品比表面积预测方法，该方法既解决水泥磨复杂工况下的变量耦合，又解决变量数据与水泥成品比表面积指标之间存在时变时延，预测准确度差的问题。

为解决上述技术问题，本发明所采用的技术方案是：

基于卷积准循环神经网络的水泥成品比表面积预测方法，包括以下步骤：

步骤S1：分析水泥磨工艺流程选取与水泥成品比表面积相关的8个输入变量，首先将选择的变量数据按照时间序列排列，其次将数据按照卷积的输入格式进行处理，再将数据进行归一化作为卷积的输入数据。

步骤S2：步骤S1中归一化处理后的数据进行一维卷积及最大池化运算，并按照时间顺序将其重构为时序序列。

步骤S3：卷积后的输出数据作为输入数据送给到准循环神经网络，进行样本训练；首先输入数据依次经过输入门，遗忘门，输出门进行计算，之后通过单元状态，计算出一个最终状态，最后完成准循环神经网络的一次前向传播。

步骤S4:采用基于时间的反向传播算法,反向计算准循环神经网络中每个神经元的误差项，从当前时刻开始，误差项可以沿时间进行反向传播，从当前时刻开始，计算之前每个时刻的误差项，同时，误差项向上一层进行传播，从输入数据以及权重开始，向输出层传递，最后求出预测值并和目标值构成损失函数；在反向传播过程中，采用Adam算法作为网络的优化器，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习速率，经过多次的学习训练，当误差足够小或者超过最大迭代次数，即可退出循环，完成卷积准循环神经网络模型训练。

步骤S5:步骤S4为准循环神经网络模型的第一层，由于准循环神经网络单元单层预测效果不理想，因此，使用两个准循环神经网络单元进行堆叠，从而得到一个具有近似更复杂函数的能力的模型，之后，利用步骤S4中的训练好的卷积准循环神经网络模型对水泥磨研磨过程中水泥成品质量指标-比表面积进行在线预测。

步骤S6:通过均方误差MSE、均方根误差RMSE、平均绝对误差MAE，观测模型预测的准确性。

本发明技术方案的进一步改进在于：步骤S1中包括以下步骤：

步骤S101:首先分析整个水泥磨的生产工艺，结合现场工程师的经验知识以及水泥比表面积的测量工艺，选取了8个与水泥成品比表面积相关的过程参量作为卷积准循环神经网络模型的输入变量，8个输入变量包括主机电流X1、喂料斗提电流X2、出磨斗提电流X3、选粉机电流X4、选粉机转速X5、循环风机变频反馈X6、喂料量X7和球磨机出口压力X8，充分考虑水泥生产过程的时延和时长，选取对应的一段时间内的水泥比表面积数据作为输出变量，输入变量和输出变量建立数据库，并从水泥磨研磨系统数据库中导出相关变量数据。

步骤S102:为确保相关数据具有普适性、准确性和可靠性，对提取的相关数据进行以下流程：

步骤S1021:首先，由于机器原因或者操作人员自身操作原因，以及其它的外部原因，会出现异常值、缺失值的情况，因此，为了提高本模型预测的准确性，将异常数据进行剔除，并且将缺失值进行填补，主要采用以下3种步骤：

步骤S10211:采用人工经验去除法，根据现场工作人员的经验以及结合历史生产数据分布制定的一个大异常数据去除策略，以各参量的期望值为中心，将历史数据中小于0.1倍期望值的数据和大于10倍期望值的数据去除掉。

步骤S10212:在步骤S10211的基础上，水泥磨系统生产过程中各参量的数据记录一般都符合正态分布,因此，使用3σ准则筛选法来再一次进行异常数据的剔除,3σ准则筛选法的公式为:

其中，U(x_i)为数据x_i的筛选法则，

为该变量数据集合的平均值，x_i为输入变量中第i个数据，σ_i为该变量数据集合的标准差。

当U(x_i)＝0时，数据x_i是异常数据，剔除数据，当U(x_i)＝1时，数据x_i为正常数据，保留数据。

步骤S10213:在步骤S10212的基础上，采用拉伊达准则标记每个变量中的异常值，将每个变量中的缺失值使用该变量的均值代替，拉伊达准则如式所示:

|x_i-μ|≥3σ

其中，x代表一个辅助变量，x_i代表该辅助变量的第i个值，μ代表该辅助变量的均值，σ代表该辅助变量的标准差。

步骤S1022:由于所选取的变量有些波动较大，为了提高模型收敛速度以及减少数据特征的损失，对数据进行归一化处理。

将输入数据按照卷积准循环神经网络模型所需要的数据格式进行处理，并将数据进行Min-Max归一化，方便网络对其进行有效的训练，其归一化公式为：

其中，x₁,x₂,…,x_n为输入序列，y₁,y₂,...,y_n为归一化后的输出序列，

为输入序列中的最小值，

为输入序列中的最大值。

步骤S103:将归一化后的数据，划分训练集和测试集。

通过步骤S101到步骤S103实现对原始数据的初步处理，使得模型的预测结果更加具有普适性。

本发明技术方案的进一步改进在于：步骤S2中，所述一维卷积及最大池化运算包括以下步骤：

步骤S201:一维卷积运算时使用卷积核以平移方式对输入数据进行卷积运算，将卷积核设定为若干个，从而提取输入数据的不同特征信息，通过一维卷积来提取水泥比表面积相关变量数据的特征后的卷积层单元输出值：

其中，

是卷积层l的第j单元的输出值，

是卷积层l-1的第j单元的输出值，M^l _j表示选择的输入特征图的集合，k^l _ij是第l层的第i个卷积核的权重矩阵，*运算符表示卷积运算，

为偏置项，f为激活函数。

步骤S202:对得到的输出数据进行池化，使用最大池化方式对数据进行处理。

本发明技术方案的进一步改进在于：步骤S3中，在单层准循环神经网络单元网络层中，信息的增加和去除由遗忘门、输入门和输出门三种门控制单元同时控制，而准循环神经网络模型需要学习的参数共3组，分别是：激活权重矩阵W_z、输出门权重矩阵W_o以及遗忘门权重矩阵W_f，随机初始化这些权值并开始前向传播，其具体流程：

步骤S301:步骤S2的输出数据作为输入数据进行卷积之后，分别得到输出z_t,f_t,o_t,采用滤波宽度为2，即卷积操作在序列维度上跨度为2，则公式为：

其中，x_t-1为上一时刻输入向量，x_t为当前时刻输入向量，z_t为激活向量，f_t为遗忘门向量，o_t为输出门向量，i_t为输入门向量，

为上一时刻输入门权重矩阵，

为上一时刻遗忘门权重矩阵，

为上一时刻输出门权重矩阵，

为当前时刻输入门权重矩阵，

为当前时刻遗忘门权重矩阵，

为当前时刻输出门权重矩阵，tanh是双曲正切激活函数，σ是sigmoid激活函数。

使用遮罩卷积获取相应的门控向量，应用具有单独的滤波组的额外卷积来获取池化函数所需的元素门的向量序列，其门控单元的作用：

输入时间序列X，即x_i＝(x_i(1),x_i(2)...x_i(t))，式中x_i(i＝1,2,...9)为第i个变量的时间序列，分别通过3个卷积层和非线性层得到其卷积分量，其激活函数：

Z＝tanh(W_z*X)

其中，*为卷积运算，即以k为宽度的序列维度上的窗口滑动，Z为激活函数，W_z是为R^k×n×m大小的卷积滤波器，即激活权重，tanh是双曲正切激活函数；

遗忘门用来判断删除或者保留哪些有用数据，遗忘门公式为：

F＝σ(W_f*X)

其中，*为卷积运算，即以k为宽度的序列维度上的窗口滑动，F为遗忘门输出，W_f为R^k×n×m大小的卷积滤波器，即遗忘门的权重，σ是sigmoid激活函数。

输入门的作用是用来更新细胞状态，当前的输入信息和上一隐层单元的输出信息同时输入到sigmoid函数和tanh函数中，然后把两个函数的输出值进行乘法运算，运算结果用来更新细胞状态，遗忘门公式为：

I＝σ(W_i*X)

其中，*为卷积运算，即以k为宽度的序列维度上的窗口滑动，I为遗忘门输出，W_i为R^k×n×m大小的卷积滤波器，即输入门的权重，σ是sigmoid激活函数；

输出门的作用是用来确定下一个隐藏状态的值，首先先把上一隐层单元的输出信息和当前的输入信息同时输入sigmoid函数，然后把新细胞状态输入tanh函数，最后将这俩函数的输出值做乘法运算，将最后的结果作为当前隐层状态，并和当前的细胞状态输入到下一个隐层单元，输出门公式为：

O＝σ(W_o*X)

其中，*为卷积运算，即以k为宽度的序列维度上的窗口滑动，O为输出门输出，W_o为R^k×n×m大小的卷积滤波器，即输出门的权重，σ是sigmoid激活函数；

该单元把上一个隐层的输出信息和当前的输入信息同时输入sigmoid函数来达到控制的目的，sigmoid函数表达式:

步骤S302:输入层数据经过卷积核卷积计算后由tanh函数激活，激活后输出的每个神经元中包含一个数据矩阵，作为池化层的输入，选择tanh函数作为激活函数，其公式：

步骤S303:采用池化层将得到的特征进行降维，使用池化函数来进一步对卷积操作得到的特征映射结果进行处理，由遗忘门输出结果和输入门输出结果确定细胞记忆值，且初始h，c的状态都为0，公式为：

c_t＝f_t⊙c_t-1+(1-f_t)⊙z_t

其中，⊙表示向量之间的点乘运算，c_t为当前状态向量，c_t-1为上一时刻状态向量，f_t为遗忘门向量，z_t为激活向量；

步骤S304:由所述细胞记忆值和输出门输出结果确定隐含层输出结果，其公式为：

h_t＝o_t⊙c_t

其中，⊙表示向量之间的点乘运算，h_t为当前隐藏状态向量，o_t为当前输出状态向量，c_t为当前状态向量；

步骤S305:最后将计算出的最终状态，预测值确定单元，用于将所述隐含层输出结果作为输出层的输入，得到各个时刻的水泥成品比表面积预测值为：

其中，

为第t时刻的水泥成品比表面积预测值，W为预测输出层权重矩阵，b为预测输出层偏置项，h为隐含层输出结果，σ是sigmoid激活函数；

从上述步骤S301到上述步骤S305完成了准循环神经网络的一次前向传播。

本发明技术方案的进一步改进在于：步骤S4中包括以下流程：

步骤S401:误差项分为两个方向进行传播，一个是沿时间进行方向传播，从t时刻起，计算每个时刻的误差项；另一个方向是将误差在空间上向上一层传播，定义损失函数：

其中，

和y_t分别为t时刻的预测输出值和期望输出；

在t时刻，准循环神经网络的隐藏层输出为f_t，定义t时刻的误差项δ_t为：

根据准循环神经网络的计算图以及链式求导法则可知，遗忘门梯度为：

式中，L为损失函数；

沿时序进行反向传播公式为：

误差项向上一层传播：设当前层为l，定义l-1层的误差项是误差函数对l-1层加权输入时的导数，则有：

其中，

为l-1层的误差项，L为误差函数，

为l-1层的加权输入；

步骤S402:权重梯度计算：

与权重对应的偏置梯度为：

从上述步骤S401到步骤S402，求出了在t之前的所有时刻损失函数相对于各参数的梯度，下面进行权重的更新；

步骤S403:权重更新，η为模型的学习率，为增加公式的适用性，将公式泛化，W表示网络节点权重，b表示节点对应偏置项，公式为：

上述步骤完成一次前向和一次反向传播，循环迭代地更新各个部分，每经过一个时间步，求得误差项，若误差项小于阈值，则进行权重矩阵和偏置项的更新，直到误差小于设定阈值或达到最大训练次数，退出循环。

本发明技术方案的进一步改进在于：步骤S6中，所述均方误差MSE、均方根误差RMSE以及平均绝对误差MAE公式为：

其中，y_i表示比表面积的真实值，y′表示比表面积的预测输出，n表示训练样本数。

由于采用了上述技术方案，本发明取得的技术进步是：

本发明建立的基于卷积准循环神经网络的水泥成品比表面积预测方法，能够对经过水泥研磨系统产出的水泥成品比表面积以及变化趋势进行快速、连续地预测，消除了变量的时变时延特性对比表面积预测的影响，及时为水泥研磨过程提供规划调度依据，为水泥质量的稳定提供了有效手段。

本发明相对于其他神经网络模型，卷积准循环神经网络模型训练速度及计算速度决，能达到实时训练-预测。采用软测量方式进行预测，有效降低了测量成本。并且采用多种辅助变量，有效提升了模型的抗干扰能力。

本发明从水泥成品比表面积实际测量工艺出发，充分利用变量数据和预测指标的时序特性，数据处理上对变量数据进行归一化处理，在神经网络模型中进行前向训练之后，通过计算水泥成品比表面积期望输出值与实际输出值之间的误差均方差，对隐含层和输出层各层所有的神经元进行修正，提高了预测精确度，同时降低了工业生产过程中变量耦合，坏数据，坏工况等对预测结果的影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；

图1是卷积准循环神经网络隐含层结构图；

图2是本发明提出的基于卷积准循环神经网络模型的水泥磨研磨过程水泥成品质量指标-比表面积在线预测整体结构流程图；

图3是基于卷积准循环神经网络的水泥磨研磨过程水泥成品质量指标-比表面积在线预测模型的结构图；

具体实施方式

本发明提出了卷积准循环神经网络的水泥粉磨过程中多指标预测方法，如图1到图3所示，首先从水泥粉磨系统的数据库中选取与比表面积相关的8个输入变量，按照时间序列排列，输入到神经网络模型中进行训练，反复训练得到最小误差，最后获取最优模型，进行准确预测。卷积准循环神经网络隐含层结构整体结构流程图，基于卷积准循环神经网络的水泥磨研磨过程水泥成品质量指标-比表面积在线预测模型结构。

步骤1：分析水泥磨工艺流程选取与水泥成品比表面积相关的8个输入变量，首先将选择的变量数据按照时间序列排列，其次将数据按照卷积的输入格式进行处理，再将数据进行归一化作为卷积的输入数据。

①首先分析整个水泥磨的生产工艺，结合现场工程师的经验知识以及水泥比表面积的测量工艺，选取了8个与水泥成品比表面积相关的过程参量作为卷积准循环神经网络模型的输入变量，8个输入变量分别为主机电流X1、喂料斗提电流X2、出磨斗提电流X3、选粉机电流X4、选粉机转速X5、循环风机变频反馈X6、喂料量X7、球磨机出口压力X8。充分考虑水泥生产过程的时延和时长，选取对应的一段时间内的水泥比表面积数据作为输出变量，输入变量和输出变量建立数据库，并从水泥磨研磨系统数据库中导出相关变量数据。

②为确保相关数据具有普适性、准确性和可靠性，因此，对提取的相关数据进行如下处理：

A.首先，由于机器原因或者操作人员自身操作原因，以及其它的外部原因，会出现异常值、缺失值的情况。因此，为了提高本模型预测的准确性，将异常数据进行剔除，并且将缺失值进行填补，主要采用如下3种方法：

a.采用人工经验去除法，根据现场工作人员的经验以及结合历史生产数据分布制定的一个大异常数据去除策略，以各参量的期望值为中心，将历史数据中小于0.1倍期望值的数据和大于10倍期望值的数据去除掉。

b.在步骤a的基础上，水泥磨系统生产过程中各参量的数据记录一般都符合正态分布。因此，使用3σ准则筛选法来再一次进行异常数据的剔除。3σ准则筛选法的公式如下:

其中，U(x_i)为数据x_i的筛选法则，

为该变量数据集合的平均值，x_i为输入变量中第i个数据，σ_i为该变量数据集合的标准差；

当U(x_i)＝0时，数据x_i是异常数据，剔除数据，当U(x_i)＝1时，数据x_i为正常数据，保留数据。

c.在步骤b的基础上，采用拉伊达准则标记每个变量中的异常值，将每个变量中的缺失值使用该变量的均值代替。拉伊达准则如式所示:

|x_i-μ|≥3σ (2)

式中x代表一个辅助变量，x_i代表该辅助变量的第i个值，μ代表该辅助变量的均值，σ代表该辅助变量的标准差。

B.由于所选取的变量有些波动较大，为了提高模型收敛速度以及减少数据特征的损失，对数据进行归一化处理。

将输入数据按照卷积准循环神经网络模型所需要的数据格式进行处理，并将数据进行Min-Max归一化，方便网络对其进行有效的训练，其归一化公式如下所示：

其中，x₁,x₂,…,x_n为输入序列，y₁,y₂,...,y_n为归一化后的输出序列，

为输入序列中的最小值，

为输入序列中的最大值。

③将归一化后的数据，划分训练集和测试集。在本实施例中，从水泥企业生产数据库中提取2000组数据，并按上述方法进行数据处理，并按以下方法进行模型训练，达到预测的目的。选取其中1600组作为训练数据，其余400组作为测试数据以验证模型的有效性。

通过①到③实现对原始数据的初步处理，使得模型的预测结果更加具有普适性。

步骤2：将步骤1中归一化处理后的数据进行一维卷积及最大池化运算，并按照时间顺序将其重构为时序序列，所述一维卷积及最大池化运算包括:

①一维卷积运算时使用卷积核以平移方式对输入数据进行卷积运算，将卷积核设定为若干个，从而提取输入数据的不同特征信息，通过一维卷积来提取水泥比表面积相关变量数据的特征后的卷积层单元输出值如下：

式中，

是卷积层l的第j单元的输出值；

是卷积层l-1的第j单元的输出值；Mⁱ _j表示选择的输入特征图的集合；k^l _ij是第l层的第i个卷积核的权重矩阵；*运算符表示卷积运算；

为偏置项；f为激活函数。

②对得到的输出数据进行池化，使用最大池化方式对数据进行处理。

步骤3：将卷积后的输出数据作为输入数据给到准循环神经网络，进行样本训练。首先将输入数据依次经过输入门，遗忘门，输出门进行计算，之后通过单元状态，计算出一个最终状态，最后完成准循环神经网络的一次前向传播。

在单层准循环神经网络单元网络层中，信息的增加和去除由遗忘门、输入门和输出门三种门控制单元同时控制。而准循环神经网络模型需要学习的参数共3组，分别是：激活权重矩阵W_z、输出门权重矩阵W_o以及遗忘门权重矩阵W_f，随机初始化这些权值并开始前向传播。其具体流程如下：

①将步骤2的输出数据作为输入数据进行卷积之后，分别得到输出z_t,f_t,o_t,在本实例中，采用滤波宽度为2时的情况，即卷积操作在序列维度上跨度为2，则公式如下：

其中，x_t-1为上一时刻输入向量，x_t为当前时刻输入向量。z_t为激活向量，f_t为遗忘门向量，o_t为输出门向量，i_t为输入门向量。

为上一时刻输入门权重矩阵，

为上一时刻遗忘门权重矩阵，

为上一时刻输出门权重矩阵，

为当前时刻输入门权重矩阵，

为当前时刻遗忘门权重矩阵，

为当前时刻输出门权重矩阵。tanh是双曲正切激活函数，σ是sigmoid激活函数。

使用遮罩卷积获取相应的门控向量。应用具有单独的滤波组的额外卷积来获取池化函数所需的元素门的向量序列。其门控单元分别的作用如下：

A.输入时间序列X，即x_i＝(x_i(1),x_i(2)…x_i(t))，式中x_i(i＝1,2,…9)为第i个变量的时间序列。分别通过3个卷积层和非线性层得到其卷积分量。其激活函数如下：

Z＝tanh(W_z*X) (6)

其中，*是卷积运算，即以k为宽度的序列维度上的窗口滑动，Z为激活函数。W_z是为R^k×n×m大小的卷积滤波器，即激活权重。tanh是双曲正切激活函数。

B.遗忘门用来判断删除或者保留哪些有用数据。遗忘门公式如下：

F＝σ(W_f*X) (7)

其中，*是卷积运算，即以k为宽度的序列维度上的窗口滑动，F为遗忘门输出。W_f为R^k×n×m大小的卷积滤波器，即遗忘门的权重。σ是sigmoid激活函数。

C.输入门的作用是用来更新细胞状态。当前的输入信息和上一隐层单元的输出信息同时输入到sigmoid函数和tanh函数中，然后把两个函数的输出值进行乘法运算，运算结果用来更新细胞状态。遗忘门公式如下：

I＝σ(W_i*X) (8)

其中，*是卷积运算，即以k为宽度的序列维度上的窗口滑动，I为遗忘门输出。W_i为R^k×n×m大小的卷积滤波器，即输入门的权重。σ是sigmoid激活函数。

D.输出门的作用是用来确定下一个隐藏状态的值。首先先把上一隐层单元的输出信息和当前的输入信息同时输入sigmoid函数，然后把新细胞状态输入tanh函数，最后将这俩函数的输出值做乘法运算，将最后的结果作为当前隐层状态，并和当前的细胞状态输入到下一个隐层单元。输出门公式如下：

O＝σ(W_o*X) (9)

其中，*是卷积运算，即以k为宽度的序列维度上的窗口滑动，O为输出门输出。W_o为R^k×n×m大小的卷积滤波器，即输出门的权重。σ是sigmoid激活函数。

E.该单元把上一个隐层的输出信息和当前的输入信息同时输入sigmoid函数来达到控制的目的。sigmoid函数表达式如式所示:

②输入层数据经过卷积核卷积计算后由tanh函数激活，激活后输出的每个神经元中包含一个数据矩阵，作为池化层的输入。

本实施例中，选择tanh函数作为激活函数，其公式如下：

③采用池化层将得到的特征进行降维，使用池化函数来进一步对卷积操作得到的特征映射结果进行处理，由遗忘门输出结果和输入门输出结果确定细胞记忆值，且初始h，c的状态都为0，如公式(8)所示：

c_t＝f_t⊙c_t-1+(1-f_t)⊙z_t (12)

其中，⊙表示向量之间的点乘运算，c_t为当前状态向量，c_t-1为上一时刻状态向量，f_t为遗忘门向量，z_t为激活向量。

④由所述细胞记忆值和输出门输出结果确定隐含层输出结果，其公式如下：

h_t＝o_t⊙c_t (13)

其中，⊙表示向量之间的点乘运算，h_t为当前隐藏状态向量，o_t为当前输出状态向量，c_t为当前状态向量。

⑤最后将计算出的最终状态，预测值确定单元，用于将所述隐含层输出结果作为输出层的输入，得到各个时刻的水泥成品比表面积预测值为：

其中，

为第t时刻的水泥成品比表面积预测值，W为预测输出层权重矩阵，b为预测输出层偏置项，h为隐含层输出结果，σ是sigmoid激活函数。

从上述①到上述⑤完成了准循环神经网络的一次前向传播。

步骤4：采用基于时间的反向传播(back-propagation through time,BPTT)算法,反向计算准循环神经网络中每个神经元的误差项。从当前时刻开始，误差项可以沿时间进行反向传播，从当前时刻开始，计算之前每个时刻的误差项，同时，误差项向上一层进行传播，从输入数据以及权重开始，向输出层传递，最后求出预测值并和目标值构成损失函数。在反向传播过程中，采用Adam算法作为网络的优化器，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习速率。经过多次的学习训练，当误差足够小或者超过最大迭代次数，即可退出循环，完成卷积准循环神经网络模型训练。

①误差项分为两个方向进行传播，一个是沿时间进行方向传播，从t时刻起，计算每个时刻的误差项；另一个方向是将误差在空间上向上一层传播。定义损失函数：

式中，

和y_t分别为t时刻的预测输出值和期望输出。

在t时刻，准循环神经网络的隐藏层输出为f_t，定义t时刻的误差项δ_t为：

根据准循环神经网络的计算图以及链式求导法则可知，遗忘门梯度为：

式中，L为损失函数。

a.沿时序进行反向传播公式为：

b.误差项向上一层传播：设当前层为l，定义l-1层的误差项是误差函数对l-1层加权输入时的导数，则有：

式中，

为l-1层的误差项，L为误差函数，

为l-1层的加权输入。

②权重梯度计算：

与权重对应的偏置梯度为：

从①到②，求出了在t之前的所有时刻损失函数相对于各参数的梯度，下面进行权重的更新。

③权重更新，η为模型的学习率，为增加公式的适用性，将公式泛化，W表示网络节点权重，b表示节点对应偏置项，公式如下所示：

至此，完成一次前向和一次反向传播，循环迭代地更新各个部分，每经过一个时间步，求得误差项，若误差项小于阈值，则进行权重矩阵和偏置项的更新，直到误差小于设定阈值或达到最大训练次数，退出循环。

步骤5：步骤4为准循环神经网络模型的第一层，由于准循环神经网络单元单层预测效果不理想，因此，使用多个准循环神经网络单元进行堆叠，从而得到一个具有近似更复杂函数的能力的模型。之后，利用步骤4中的训练好的卷积准循环神经网络模型对水泥磨研磨过程中水泥成品质量指标-比表面积进行在线预测。

步骤6：通过均方误差MSE、均方根误差RMSE、平均绝对误差MAE，观测模型预测的准确性。其公式如下：

其中，y_i表示比表面积的真实值，y′表示比表面积的预测输出，n表示训练样本数。

工程实际应用中可以根据系统的实际运行数据每隔一段时间对稳态输入输出样本数据进行更新，重新训练该卷积准循环神经网络模型，以使该稳态模型尽可能逼近现场实际系统的稳态模型。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (6)

1.基于卷积准循环神经网络的水泥成品比表面积预测方法，其特征在于：包括以下步骤：

步骤S1：分析水泥磨工艺流程选取与水泥成品比表面积相关的8个输入变量，首先将选择的变量数据按照时间序列排列，其次将数据按照卷积的输入格式进行处理，再将数据进行归一化作为卷积的输入数据；

步骤S2：步骤S1中归一化处理后的数据进行一维卷积及最大池化运算，并按照时间顺序将其重构为时序序列；

步骤S3：卷积后的输出数据作为输入数据送给到准循环神经网络，进行样本训练；首先输入数据依次经过输入门，遗忘门，输出门进行计算，之后通过单元状态，计算出一个最终状态，最后完成准循环神经网络的一次前向传播；

步骤S4:采用基于时间的反向传播算法,反向计算准循环神经网络中每个神经元的误差项，从当前时刻开始，误差项可以沿时间进行反向传播，从当前时刻开始，计算之前每个时刻的误差项，同时，误差项向上一层进行传播，从输入数据以及权重开始，向输出层传递，最后求出预测值并和目标值构成损失函数；在反向传播过程中，采用Adam算法作为网络的优化器，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习速率，经过多次的学习训练，当误差足够小或者超过最大迭代次数，即可退出循环，完成卷积准循环神经网络模型训练；

步骤S5:步骤S4为准循环神经网络模型的第一层，由于准循环神经网络单元单层预测效果不理想，因此，使用两个准循环神经网络单元进行堆叠，从而得到一个具有近似更复杂函数的能力的模型，之后，利用步骤S4中的训练好的卷积准循环神经网络模型对水泥磨研磨过程中水泥成品质量指标-比表面积进行在线预测；

步骤S6:通过均方误差MSE、均方根误差RMSE、平均绝对误差MAE，观测模型预测的准确性。

2.根据权利要求1所述的基于卷积准循环神经网络的水泥成品比表面积预测方法，其特征在于：所述步骤S1中包括以下步骤：

步骤S101:首先分析整个水泥磨的生产工艺，结合现场工程师的经验知识以及水泥比表面积的测量工艺，选取了8个与水泥成品比表面积相关的过程参量作为卷积准循环神经网络模型的输入变量，8个输入变量包括主机电流X1、喂料斗提电流X2、出磨斗提电流X3、选粉机电流X4、选粉机转速X5、循环风机变频反馈X6、喂料量X7和球磨机出口压力X8，充分考虑水泥生产过程的时延和时长，选取对应的一段时间内的水泥比表面积数据作为输出变量，输入变量和输出变量建立数据库，并从水泥磨研磨系统数据库中导出相关变量数据；

步骤S102:为确保相关数据具有普适性、准确性和可靠性，对提取的相关数据进行以下流程：

步骤S1021:首先，由于机器原因或者操作人员自身操作原因，以及其它的外部原因，会出现异常值、缺失值的情况，因此，为了提高本模型预测的准确性，将异常数据进行剔除，并且将缺失值进行填补，主要采用以下3种步骤：

步骤S10211:采用人工经验去除法，根据现场工作人员的经验以及结合历史生产数据分布制定的一个大异常数据去除策略，以各参量的期望值为中心，将历史数据中小于0.1倍期望值的数据和大于10倍期望值的数据去除掉；

步骤S10212:在步骤S10211的基础上，水泥磨系统生产过程中各参量的数据记录一般都符合正态分布,因此，使用3σ准则筛选法来再一次进行异常数据的剔除,3σ准则筛选法的公式为:

其中，U(x_i)为数据x_i的筛选法则，

为该变量数据集合的平均值，x_i为输入变量中第i个数据，σ_i为该变量数据集合的标准差；

当U(x_i)＝0时，数据x_i是异常数据，剔除数据，当U(x_i)＝1时，数据x_i为正常数据，保留数据；

步骤S10213:在步骤S10212的基础上，采用拉伊达准则标记每个变量中的异常值，将每个变量中的缺失值使用该变量的均值代替，拉伊达准则如式所示:

|x_i-μ|≥3σ

其中，x代表一个辅助变量，x_i代表该辅助变量的第i个值，μ代表该辅助变量的均值，σ代表该辅助变量的标准差；

步骤S1022:由于所选取的变量有些波动较大，为了提高模型收敛速度以及减少数据特征的损失，对数据进行归一化处理；

将输入数据按照卷积准循环神经网络模型所需要的数据格式进行处理，并将数据进行Min-Max归一化，方便网络对其进行有效的训练，其归一化公式为：

其中，x₁,x₂,...,x_n为输入序列，y₁,y₂,...,y_n为归一化后的输出序列，

为输入序列中的最小值，

为输入序列中的最大值；

步骤S103:将归一化后的数据，划分训练集和测试集；

通过步骤S101到步骤S103实现对原始数据的初步处理，使得模型的预测结果更加具有普适性。

3.根据权利要求1所述的基于卷积准循环神经网络的水泥成品比表面积预测方法，其特征在于：所述步骤S2中，所述一维卷积及最大池化运算包括以下步骤：

步骤S201:一维卷积运算时使用卷积核以平移方式对输入数据进行卷积运算，将卷积核设定为若干个，从而提取输入数据的不同特征信息，通过一维卷积来提取水泥比表面积相关变量数据的特征后的卷积层单元输出值：

其中，

是卷积层l的第j单元的输出值，

是卷积层l-1的第j单元的输出值，M^l _j表示选择的输入特征图的集合，k^l _ij是第l层的第i个卷积核的权重矩阵，*运算符表示卷积运算，

为偏置项，f为激活函数；

步骤S202:对得到的输出数据进行池化，使用最大池化方式对数据进行处理。

4.根据权利要求1所述的基于卷积准循环神经网络的水泥成品比表面积预测方法，其特征在于：所述步骤S3中，在单层准循环神经网络单元网络层中，信息的增加和去除由遗忘门、输入门和输出门三种门控制单元同时控制，而准循环神经网络模型需要学习的参数共3组，分别是：激活权重矩阵W_z、输出门权重矩阵W_o以及遗忘门权重矩阵W_f，随机初始化这些权值并开始前向传播，其具体流程：

步骤S301:步骤S2的输出数据作为输入数据进行卷积之后，分别得到输出z_t,f_t,o_t,采用滤波宽度为2，即卷积操作在序列维度上跨度为2，则公式为：

其中，x_t-1为上一时刻输入向量，x_t为当前时刻输入向量，z_t为激活向量，f_t为遗忘门向量，o_t为输出门向量，i_t为输入门向量，

为上一时刻输入门权重矩阵，

为上一时刻遗忘门权重矩阵，

为上一时刻输出门权重矩阵，

为当前时刻输入门权重矩阵，

为当前时刻遗忘门权重矩阵，

为当前时刻输出门权重矩阵，tanh是双曲正切激活函数，σ是sigmoid激活函数；

使用遮罩卷积获取相应的门控向量，应用具有单独的滤波组的额外卷积来获取池化函数所需的元素门的向量序列，其门控单元的作用：

输入时间序列X，即x_i＝(x_i(1),x_i(2)...x_i(t))，式中x_i(i＝1,2,...9)为第i个变量的时间序列，分别通过3个卷积层和非线性层得到其卷积分量，其激活函数：

Z＝tanh(W_z*X)

其中，*为卷积运算，即以k为宽度的序列维度上的窗口滑动，Z为激活函数，W_z是为R^k×n×m大小的卷积滤波器，即激活权重，tanh是双曲正切激活函数；

遗忘门用来判断删除或者保留哪些有用数据，遗忘门公式为：

F＝σ(W_f*X)

其中，*为卷积运算，即以k为宽度的序列维度上的窗口滑动，F为遗忘门输出，W_f为R^k×n×m大小的卷积滤波器，即遗忘门的权重，σ是sigmoid激活函数；

输入门的作用是用来更新细胞状态，当前的输入信息和上一隐层单元的输出信息同时输入到sigmoid函数和tanh函数中，然后把两个函数的输出值进行乘法运算，运算结果用来更新细胞状态，遗忘门公式为：

I＝σ(W_i*X)

其中，*为卷积运算，即以k为宽度的序列维度上的窗口滑动，I为遗忘门输出，W_i为R^k×n×m大小的卷积滤波器，即输入门的权重，σ是sigmoid激活函数；

输出门的作用是用来确定下一个隐藏状态的值，首先先把上一隐层单元的输出信息和当前的输入信息同时输入sigmoid函数，然后把新细胞状态输入tanh函数，最后将这俩函数的输出值做乘法运算，将最后的结果作为当前隐层状态，并和当前的细胞状态输入到下一个隐层单元，输出门公式为：

O＝σ(W_o*X)

其中，*为卷积运算，即以k为宽度的序列维度上的窗口滑动，O为输出门输出，W_o为R^k×n×m大小的卷积滤波器，即输出门的权重，σ是sigmoid激活函数；

该单元把上一个隐层的输出信息和当前的输入信息同时输入sigmoid函数来达到控制的目的，sigmoid函数表达式:

步骤S302:输入层数据经过卷积核卷积计算后由tanh函数激活，激活后输出的每个神经元中包含一个数据矩阵，作为池化层的输入，选择tanh函数作为激活函数，其公式：

步骤S303:采用池化层将得到的特征进行降维，使用池化函数来进一步对卷积操作得到的特征映射结果进行处理，由遗忘门输出结果和输入门输出结果确定细胞记忆值，且初始h，c的状态都为0，公式为：

c_t＝f_t⊙c_t-1+(1-f_t)⊙z_t

其中，⊙表示向量之间的点乘运算，c_t为当前状态向量，c_t-1为上一时刻状态向量，f_t为遗忘门向量，z_t为激活向量；

步骤S304:由所述细胞记忆值和输出门输出结果确定隐含层输出结果，其公式为：

h_t＝o_t⊙c_t

其中，⊙表示向量之间的点乘运算，h_t为当前隐藏状态向量，o_t为当前输出状态向量，c_t为当前状态向量；

步骤S305:最后将计算出的最终状态，预测值确定单元，用于将所述隐含层输出结果作为输出层的输入，得到各个时刻的水泥成品比表面积预测值为：

其中，

为第t时刻的水泥成品比表面积预测值，W为预测输出层权重矩阵，b为预测输出层偏置项，h为隐含层输出结果，σ是sigmoid激活函数；

从上述步骤S301到上述步骤S305完成了准循环神经网络的一次前向传播。

5.根据权利要求1所述的基于卷积准循环神经网络的水泥成品比表面积预测方法，其特征在于：所述步骤S4中包括以下流程：

步骤S401:误差项分为两个方向进行传播，一个是沿时间进行方向传播，从t时刻起，计算每个时刻的误差项；另一个方向是将误差在空间上向上一层传播，定义损失函数：

其中，

和y_t分别为t时刻的预测输出值和期望输出；

在t时刻，准循环神经网络的隐藏层输出为f_t，定义t时刻的误差项δ_t为：

根据准循环神经网络的计算图以及链式求导法则可知，遗忘门梯度为：

式中，L为损失函数；

沿时序进行反向传播公式为：

误差项向上一层传播：设当前层为l，定义l-1层的误差项是误差函数对l-1层加权输入时的导数，则有：

其中，δ_t ^l-1为l-1层的误差项，L为误差函数，net_t ^l-1为l-1层的加权输入；

步骤S402:权重梯度计算：

与权重对应的偏置梯度为：

从上述步骤S401到步骤S402，求出了在t之前的所有时刻损失函数相对于各参数的梯度，下面进行权重的更新；

步骤S403:权重更新，η为模型的学习率，为增加公式的适用性，将公式泛化，W表示网络节点权重，b表示节点对应偏置项，公式为：

上述步骤完成一次前向和一次反向传播，循环迭代地更新各个部分，每经过一个时间步，求得误差项，若误差项小于阈值，则进行权重矩阵和偏置项的更新，直到误差小于设定阈值或达到最大训练次数，退出循环。

6.根据权利要求1所述的基于卷积准循环神经网络的水泥成品比表面积预测方法，其特征在于：所述步骤S6中，所述均方误差MSE、均方根误差RMSE以及平均绝对误差MAE公式为：

其中，y_i表示比表面积的真实值，y′表示比表面积的预测输出，n表示训练样本数。

Images