CN111931418A - 一种基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法 - Google Patents

Abstract

本发明涉及马蹄焰玻璃窑炉的热效率预测领域，更具体地，涉及一种基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法。利用进化策略，将神经网络的连接权值不断的变异进化，寻找更优的神经网络连接权值，从而达到优化LSTM的目的；对缺失和错误的数据进行修复，并使用主成分分析降低维度，从而尽可能的提高算法模型的预测精度上限，实现了快速、高效的对马蹄焰玻璃窑炉的热效率预测。

Description

一种基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法

技术领域

本发明涉及马蹄焰玻璃窑炉的热效率预测领域，更具体地，涉及一种基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法。

背景技术

关于马蹄窑玻璃窑炉的能耗的研究大多是提高工艺水平，改进设备，并进行模拟仿真。比如戚淑芬通过引入马蹄焰玻璃窑炉蓄热室温度变化率η来校正窑头换火时间的节能型控制方案，并给出了用可编程调节器予以实现的方法。这对稳定产品质量，节能降耗意义极大。李骏通过提出一种创新性的结构划分模型分析的新颖方法，把整个马蹄焰玻璃窑炉的工艺流程划分为三级结构，逐级展开分析建模。得出增强窑体保温，减少散热损失以及提高蓄热室余热回收作用，降低出口烟气温度是马蹄焰玻璃窑中节能优化的有效途径。张绪全对马蹄焰玻璃熔炉的蓄热室面积加大1/3，加大热交换力度，用余热锅炉对烟气余热回收等措施实现了能耗降低。雷世昌通过分析窑炉特性，有针对性的在模糊广义预测控制的基础上进行深入研究，构建适用于窑炉建模与控制的算法，在理论上解决了马蹄焰窗炉的控制问题^[5]。通过研究发现目前国内虽然很多专家学者对马蹄焰窑炉的节能优化有一定的研究成果。但是大多数是通过系统控制、仿真建模、工艺参数调整、物理、化学、热力学等角度来对马蹄焰窑炉进行节能优化的分析，并没有从玻璃窑炉的热效率预测的角度来进行节能研究。

窑炉设备的数据大多为时间序列，循环神经网络其每一个时间步状态的计算需要依赖于上一个时间步，所以其比较适合用来预测时间序列的数据。长短期记忆网络(LSTM，Long Short-Term Memory)是一种时间循环神经网络，是一个效果很好的RNN的变体算法。它既能继承RNN探索序列数据内在依赖关系的能力，又能解决传统RNN因序列过长而导致的梯度消失、训练时间长和过拟合等问题，并提升局部优化能力和网络泛化能力。最近几年，很多研究使用进化算法和神经网络结合的模型进行学习。比如文献在GA-GRU预测模型对环境空气污染物PM2.5浓度预测中，不仅保留了处理数据维度和输入特征的能力，并且在一定程度上充分挖掘了环境空气污染物因子自身之间与气象因子之间潜在的特征关系。在2017年，Uber不仅提出遗传算法可以解决深度强化学习问题。还提出了深度学习训练的新方法，通过进化算法来优化神经网络。同样在2017年，OpenAI将进化策略运用到神经网络，然后不断进化神经网络中的参数，最终的实验结果都能够媲美很多强化学习方法。谷歌团队在训练神经网络的时候发现，在相同的硬件下，与强化学习相比，进化算法能更快得到结果。文献用遗传算法去优化DNN，证明了简单的算法能在困难的深度学习问题上表现良好。以上的研究均表明了进化神经网络能够发挥出不错的效果，但是在窑炉的热效率预测研究上没有发现使用进化神经网络的方法。

发明内容

本发明为克服上述现有技术中的至少一个缺陷，提供一种基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法，能够快速、有效的对马蹄焰玻璃窑炉的热效率进行预测。

为解决上述技术问题，本发明采用的技术方案是：一种基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法，包括以下步骤：

S1.从能源管理系统里获取窑炉设备的运行参数，对窑炉高温的工作环境下出现的异常数据进行预处理，降低对训练模型的干扰；然后通过主成分分析对数据降维，以提升模型训练的速度；

S2.随机初始化LSTM种群，随机生成2n个不同基因组成的群体，其中每个个体的基因为初代LSTM网络参数的权值；对每一个个体进行适应度评估，并按大小排序，得出最优的前n个个体；

S3.适应度最优的精英个体保留添加到精英库里；把最优的n个个体进行变异操作，产生新的n个后代，最后总共得到2n个个体的新种群；

S4.不断的重复步骤S2和步骤S3，不断的更新参数的权值，一直寻找最优表现的LSTM网络个体；不断进化，从精英库里挑出最优的个体作为预测模型；

S5.采用RMSE和MAE进行评估判断，这两个评估值越小，说明模型的泛化能力就越强；

式中，y_i为窑炉的实际热效率值，

为模型的预测值，RMSE是指均方根误差，MAE是指平均绝对误差，k是指样本数。

进一步的，所述的S1步骤中使用缺失值算法对异常数据进行预处理，降低对训练模型的干扰，缺失值算法包括以下步骤：

S111.设有异常数据的序列A(a₁,a₂,a₃…a_t)，

avg＝(a₁,a₂,a₃…a_t)/t，

lv＝avg-3*Mavg/1.128，

hv＝avg+3*Mavg/1.128，

式中：a_t代表具体数据值，t代表该序列的时间；Mavg代表移动极差均值，avg代表数据均值，lv代表下限值，hv代表上限值；

S112.当序列中的某个数值高于上限值hv或者低于下限值lv，则认为该数据是异常值，并把该值视为缺失值；对于出现缺失值的情况，采用均值与随机参数结合的方式填补：

式中：X_i为缺失值，随机参数ω∈{±0.01～0.05}。

进一步的，所述的S1步骤中使用特征工程算法降低特征维度，具体包括以下步骤：

S121.对数据集进行归一化，Z-score归一化公式：

式中k是样本原始数据，u是样本均值，σ是样本标准差，k`是归一化后的样本数据；

S122.假设有样本K`的数量是n个，且每个样本里有p个特征，则样本K`用矩阵表示为：

S123.计算出K`的协方差矩阵C，以及C的特征值λ；根据特征值来确定主成分j的值：

其中当η取0.95的时候，认为j个主成分包含了原矩阵绝大部分信息；

S124.使用最大的j个特征值λ对应的特征向量，组成特征向量矩阵。并将样本数据投影到特征向量矩阵上，从而得到降维后的数据。

进一步的，LSTM算法模型包括：每一个递归神经网络均是由重复的模块链组合，其中每一个模块我们称为Cell；为了实现记忆功能，LSTM构造了遗忘门、输入门、输出门；假设输入的序列为(x₁,x₂,x₃…,x_t)，隐藏层信息为(h₁,h₂,h₃,…,h_t)，则在t时刻下有以下表达：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

o_t＝σ(W_o[h_t-1,x_t]+b_o)

式中，i_t为输入门，

为候选状态，f_t为遗忘门，o_t为输出门，C_t为Cell的状态即长期记忆，h_t为隐藏层状态，

表示矩阵点乘，X_t表示输入值，b表示各层的偏差值，W表示连接权重，σ表示Sigmoid函数。

进一步的，所述的S2步骤中，使用优化的进化策略进行适应度评估，具体包括以下步骤：

S21.初始数量为n的种群p₁,p₂,p₃…p_n，产生出n个后代k₁,k₂,k₃…k_n；

S22.计算后代k的与父辈p的基因的变异差距d，距离大的认为是变异程度大的后代，d的计算公式为：

式中，p为父辈的基因型，k为后代的基因型；

S23.对种群中变异程度大的后代k，给予新颖性奖励：

式中，

为整个种群的平均变异距离，α为新颖性奖励系数，f_k为后代的适应度，d_k为后代与父辈的变异差距；

S24.新颖性奖励为对该部分变异大的后代的适应度进行提高：

f'＝f+R

其中，f为后代的适应度，f'为提高后的适应度，R为提高系数；

S25.最后把父辈的个体与后代的个体放入同一群体里。进行物竞天择，保留适应度最高的n个个体作为下一代进化种群的父辈。

与现有技术相比，有益效果是：本发明提供的一种基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法，利用进化策略，将神经网络的连接权值不断的变异进化，寻找更优的神经网络连接权值，从而达到优化LSTM的目的；对缺失和错误的数据进行修复，并使用主成分分析降低维度，从而尽可能的提高算法模型的预测精度上限，实现了快速、高效的对马蹄焰玻璃窑炉的热效率预测。

附图说明

图1是本发明方法的流程图。

图2是本发明LSTM网络结构图。

图3是本发明实施例中适应度随着进化过程的变化曲线图。

图4是本发明实施例中不同模型预测结果对比曲线。

具体实施方式

附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。

本发明提供一种基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法，本发明采取的神经进化方式为：固定神经网络的结构不变，不断进化的方式来更新优化参数。每次变异的时候，都更新网络链接中的参数,从而改变神经网络的预测结果。在这个过程中，保留理想预测结果的网络参数，淘汰结果较差的。如图1所示，包括以下步骤：

步骤1.从能源管理系统里获取窑炉设备的运行参数。对窑炉高温的工作环境下出现的异常数据进行预处理，降低对训练模型的干扰。然后通过主成分分析对数据降维，以提升模型训练的速度。

在实际的生产过程中，由于设备长期处于高温状态，导致异常数据占有相当一部分的比例。为了让模型的预测精度更高，对实际的生产数据产生的异常进行预处理。除此之外，大型的马蹄焰玻璃窑炉设备生产过程产生的数据的特征维度特别高，有超过200维的数据。其中包含大量无关和冗余的数据特征，造成“维数灾难”和“过拟合”问题。这对构建算法模型来说，是一个很大的挑战，不仅降低了预测精准，而且还会增加运算的时间复杂度和空间复杂度。因此在训练模型前，先使用缺失值算法和特征工程对数据进行预处理。

缺失值算法：

设有异常数据的序列A(a₁,a₂,a₃…a_t)，

avg＝(a₁,a₂,a₃…a_t)/t，

lv＝avg-3*Mavg/1.128，

hv＝avg+3*Mavg/1.128，

式中：a_t代表具体数据值，t代表该序列的时间；Mavg代表移动极差均值，avg代表数据均值，lv代表下限值，hv代表上限值；

当序列中的某个数值高于上限值hv或者低于下限值lv，则认为该数据是异常值，并把该值视为缺失值；对于出现缺失值的情况，采用均值与随机参数结合的方式填补：

式中：X_i为缺失值，随机参数ω∈{±0.01～0.05}。

特征工程：

利用特征工程可以降低特征维度，从而降低最终模型的复杂性，达到快速计算的目的。在得到一个更为简单的模型的同时预测准确性降低很小甚至不会降低。

PCA通过降维技术把多个变量化为少数几个主成分，在维度减小的同时尽量的保存大部分信息。首先数据进行归一化处理，数据集里各个属性的单位不同，PCA降维需要将属性的量纲去掉才能使用。而归一化能解决这个问题。特征工程的步骤如下：

S121.对数据集进行归一化，Z-score归一化公式：

式中k是样本原始数据，u是样本均值，σ是样本标准差，k`是归一化后的样本数据；

S122.假设有样本K`的数量是n个，且每个样本里有p个特征，则样本K`用矩阵表示为：

S123.计算出K`的协方差矩阵C，以及C的特征值λ；根据特征值来确定主成分j的值：

其中当η取0.95的时候，认为j个主成分包含了原矩阵绝大部分信息；

S124.使用最大的j个特征值λ对应的特征向量，组成特征向量矩阵。并将样本数据投影到特征向量矩阵上，从而得到降维后的数据。

步骤2.随机初始化LSTM种群，随机生成2n个不同基因组成的群体，其中每个个体的基因为初代LSTM网络参数的权值。对每一个个体进行适应度评估，并按大小排序，得出最优的前n个个体。

其中，LSTM如图2所示，作为RNN的变体模型，具有独特的设计结构。在某一时刻t，其的隐藏层h_t的输入不仅包含了当前的输入x_t，还有t-1时刻的信息h_t-1，所以t-1时刻对t时刻的输出产生了影响。除此之外t时刻的输出对t+1时刻的隐藏层也会产生影响，通过这种循环影响机制，LSTM可以有效的解决长期依赖问题。因此能够解决长序列训练过程中的梯度消失和梯度爆炸问题。11.每一个递归神经网络均是由重复的模块链组合，其中每一个模块我们称为Cell；为了实现记忆功能，LSTM构造了遗忘门、输入门、输出门；假设输入的序列为(x₁,x₂,x₃…,x_t)，隐藏层信息为(h₁,h₂,h₃,…,h_t)，则在t时刻下有以下表达：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

o_t＝σ(W_o[h_t-1,x_t]+b_o)

式中，i_t为输入门，

为候选状态，f_t为遗忘门，o_t为输出门，C_t为Cell的状态即长期记忆，h_t为隐藏层状态，

表示矩阵点乘，X_t表示输入值，b表示各层的偏差值，W表示连接权重，σ表示Sigmoid函数。

另外，进化神经网络由进化算法(EA)和神经网络组合而成。根据不同的使用情景，选择不同的搭配进化算法和神经网络。由于神经网络参数多，在进化算法的选择上，使用进化策略，可以避免编码问题。本发明采取的神经进化方式为：固定神经网络的结构不变，不断进化的方式来更新优化参数。每次变异的时候,都更新网络链接中的参数,从而改变神经网络的预测结果。在这个过程中，保留理想预测结果的网络参数,淘汰结果较差的。

在进化的过程中，很可能最优的个体丢失了，导致群体无法向好的方向进化。因此，本实施例在原有的ES模型上，对进化的过程提出改进方案。用以加快寻找最优的后代。优化方案如下：

S21.初始数量为n的种群p₁,p₂,p₃…p_n，产生出n个后代k₁,k₂,k₃…k_n；

S22.计算后代k的与父辈p的基因的变异差距d，距离大的认为是变异程度大的后代，d的计算公式为：

式中，p为父辈的基因型，k为后代的基因型；

S23.对种群中变异程度大的后代k，给予新颖性奖励：

式中，

为整个种群的平均变异距离，α为新颖性奖励系数，f_k为后代的适应度，d_k为后代与父辈的变异差距；

S24.新颖性奖励为对该部分变异大的后代的适应度进行提高：

f'＝f+R

S25.最后把父辈的个体与后代的个体放入同一群体里。进行物竞天择，保留适应度最高的n个个体作为下一代进化种群的父辈。

步骤3.适应度最优的精英个体保留添加到精英库里。把最优的n个个体进行变异操作，产生新的n个后代，最后总共得到2n个个体的新种群。

步骤4.断的重复第二步和第三步，不断的更新参数的权值，一直寻找最优表现的LSTM网络个体。不断进化，从精英库里挑出最优的个体作为预测模型。

步骤5.采用RMSE和MAE进行评估判断，这两个评估值越小，说明模型的泛化能力就越强；

式中，y_i为窑炉的实际热效率值，

为模型的预测值。

实施例

结合厂家的实际热效率数据，对模型进行验证分析，实验证明使用进化算法来训练神经网络是可行的，而且能提升模型的预测准确性。

运行环境：

实验过程使用Python 3.6作为编程语言，实验环境为Windows10操作系统，LSTM模型使用TensorFlow 1.140。

实验数据：

数据来自于某玻璃厂2018年10月至2019年5月总计8个月的实际能耗统计数据。该玻璃厂的opc采集程序约150s采集一次数据，每小时汇总数据一次。每日汇总的热效率值可以表明该设备的当日能源利用率。通过数据预处理后得到5780条数据，其中4046条数据作为训练样本，剩余的1374条数据作为测试样本，用于检验训练好的模型的精度。

实验结果：

本发明训练ES-LSTM模型的时候，利用ES算法对LSTM进行优化。根据种群进化的过程中的适应度评估，不断的动态调整LSTM的链接参数。整个过程，种群的适应度随着变异不断的变化，有的变异利于预测，则适应度高，反之则低。通过图3得知，在进化的过程中，后代的表现不断往优秀个体的方向靠拢。并且进化的代数越大，就越有可能找到更优的个体。在ES算法对LSTM模型进行的训练过程中，ES作为一种全局搜索优化算法，它能够避开局部极值点，在进化过程中不需要计算梯度。如果存在局部最优，那么ES会比传统的梯度下降表现更好，从而可以得到了预测精度更高的LSTM模型。

通过对ES-LSTM，LSTM，BP三个模型对比实验，得到三组预测值，并将模型预测值分别与实际数据进行误差计算得出实验结果。部分实验结果如表1所示。根据表中的数据显示，ES-LSTM预测的值相对误差均小于传统的LSTM算法和BP算法的预测值。也就是说ES-LSTM的预测值更符合目标要求。

表1不同模型能耗预测结果比较

图4是分别采用ES-LSTM算法、LSTM算法以及BP算法模型对马蹄窑玻璃窑炉热效率预测的曲线图。由图中的曲线可以看出，ES-LSTM与实际热效率值的拟合程度是最优的。因此可以提出一个初步结论，ES-LSTM作为LSTM的改进版本，在训练过程中进行全局搜索，从而提高了模型对热效率值预测的准确性。

为了进一步详细的比较三个模型的性能，表2是三种模型的RMSE和MAE对比。其中ES-LSTM的RMSE和MAE均为三个模型中最小，这说明了ES-LSTM模型的预测准确性是最高的。

表2模型评估值对比

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法，其特征在于，包括以下步骤：

S1.从能源管理系统里获取窑炉设备的运行参数，对窑炉高温的工作环境下出现的异常数据进行预处理，降低对训练模型的干扰；然后通过主成分分析对数据降维，以提升模型训练的速度；

S2.随机初始化LSTM种群，随机生成2n个不同基因组成的群体，其中每个个体的基因为初代LSTM网络参数的权值；对每一个个体进行适应度评估，并按大小排序，得出最优的前n个个体；

S3.适应度最优的精英个体保留添加到精英库里；把最优的n个个体进行变异操作，产生新的n个后代，最后总共得到2n个个体的新种群；

S4.不断的重复步骤S2和步骤S3，不断的更新参数的权值，一直寻找最优表现的LSTM网络个体；不断进化，从精英库里挑出最优的个体作为预测模型；

S5.采用RMSE和MAE进行评估判断，这两个评估值越小，说明模型的泛化能力就越强；其中，RMSE是指均方根误差，MAE是指平均绝对误差。

2.根据权利要求1所述的基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法，其特征在于，所述的RMSE的计算公式为：

式中，y_i为窑炉的实际热效率值，

为模型的预测值，k是指样本数。

3.根据权利要求2所述的基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法，其特征在于，所述的MAE的计算公式为：

式中，y_i为窑炉的实际热效率值，

为模型的预测值，k是指样本数。

4.根据权利要求3所述的基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法，其特征在于，所述的S1步骤中使用缺失值算法对异常数据进行预处理，降低对训练模型的干扰。

5.根据权利要求4所述的基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法，其特征在于，缺失值算法包括以下步骤：

S111.设有异常数据的序列A(a₁,a₂,a₃…a_t)，

avg＝(a₁,a₂,a₃…a_t)/t，

lv＝avg-3*Mavg/1.128，

hv＝avg+3*Mavg/1.128，

式中：a_t代表具体数据值，t代表该序列的时间；Mavg代表移动极差均值，avg代表数据均值，lv代表下限值，hv代表上限值；

S112.当序列中的某个数值高于上限值hv或者低于下限值lv，则认为该数据是异常值，并把该值视为缺失值；对于出现缺失值的情况，采用均值与随机参数结合的方式填补：

式中：X_i为缺失值，随机参数ω∈{±0.01～0.05}。

6.根据权利要求1所述的基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法，其特征在于，所述的S1步骤中使用特征工程算法降低特征维度。

7.根据权利要求6所述的基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法，其特征在于，特征工程算法具体包括以下步骤：

S121.对数据集进行归一化，Z-score归一化公式：

式中k是样本原始数据，u是样本均值，σ是样本标准差，k`是归一化后的样本数据；

S122.假设有样本K`的数量是n个，且每个样本里有p个特征，则样本K`用矩阵表示为：

S123.计算出K`的协方差矩阵C，以及C的特征值λ；根据特征值来确定主成分j的值：

其中当η取0.95的时候，认为j个主成分包含了原矩阵绝大部分信息；

S124.使用最大的j个特征值λ对应的特征向量，组成特征向量矩阵。并将样本数据投影到特征向量矩阵上，从而得到降维后的数据。

8.根据权利要求7所述的基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法，其特征在于，当η取0.95的时候，认为j个主成分包含了原矩阵绝大部分信息。

9.根据权利要求1所述的基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法，其特征在于，LSTM算法模型包括：每一个递归神经网络均是由重复的模块链组合，其中每一个模块称为Cell；为了实现记忆功能，LSTM构造了遗忘门、输入门、输出门；假设输入的序列为(x₁,x₂,x₃…,x_t)，隐藏层信息为(h₁,h₂,h₃,…,h_t)，则在t时刻下有以下表达：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

o_t＝σ(W_o[h_t-1,x_t]+b_o)

式中，i_t为输入门，

为候选状态，f_t为遗忘门，o_t为输出门，C_t为Cell的状态即长期记忆，h_t为隐藏层状态，

表示矩阵点乘，X_t表示输入值，b表示各层的偏差值，W表示连接权重，σ表示Sigmoid函数。

10.根据权利要求1所述的基于进化神经网络的马蹄焰玻璃窑炉的热效率预测方法，其特征在于，所述的S2步骤中，使用优化的进化策略进行适应度评估，具体包括以下步骤：

S21.初始数量为n的种群p₁,p₂,p₃…p_n，产生出n个后代k₁,k₂,k₃…k_n；

S22.计算后代k的与父辈p的基因的变异差距d，距离大的认为是变异程度大的后代，d的计算公式为：

式中，p为父辈的基因型，k为后代的基因型；

S23.对种群中变异程度大的后代k，给予新颖性奖励：

式中，

为整个种群的平均变异距离，α为新颖性奖励系数，f_k为后代的适应度，d_k为后代与父辈的变异差距；

S24.新颖性奖励为对该部分变异大的后代的适应度进行提高：

f'＝f+R

式中，f为后代的适应度，f'为提高后的适应度，R为提高系数；

S25.最后把父辈的个体与后代的个体放入同一群体里。进行物竞天择，保留适应度最高的n个个体作为下一代进化种群的父辈。

Images