CN114841452A - 一种基于独立循环神经网络的高炉铁水硅含量预测方法 - Google Patents

Abstract

本发明请求保护一种基于独立循环神经网络的高炉铁水硅含量预报方法，主要针对钢铁工业的高炉铁水硅含量预测问题。该方法包括主要包括两部分：1.构建数据预处理模块，通过实时获取高炉生产数据，并针对数据做相应的预处理，细化时间粒度，提高预测的及时性。2.构建可以有效预测长序列的、基于独立循环神经网络的高炉铁水硅含量预测模型，模型通过结合循环神经网络与注意力机制的特点，有效的捕获长期依赖关系，并去除长序列的冗余信息；高炉生产变量对硅含量有着复杂的影响，本发明可以有效的捕获数据间的隐含关系，提高预测精确度，为实际生产带来显著的应用价值。

Description

一种基于独立循环神经网络的高炉铁水硅含量预测方法

技术领域

本发明属于工业自动化/高炉炉温控制领域，具体涉及一种基于独立循环神经网络的高炉铁水硅含量预报方法。

背景技术

高炉炼铁是当前炼铁的主流方法。当高炉系统工作时，高炉炉顶到炉底不同区域发生着复杂的物理化学反应，固态与气态、固态与液态、固态与固态同时作用，具有高温、高压多相耦合、多物理形态并存的特点。当炉内温度过高时，使反应不均衡，浪费材料，还会使高炉作业时间变长，导致生产效率降低，高炉炉内温度过低时，会导致高炉无法正常炼铁。

炉缸铁水温度难以直接测量，由于铁水硅含量代表着炉内的化学热，铁水中的硅含量在如今已被视为高炉炉温预测的主要指标。在高炉生产过程中，可以通过PLC设备获取海量生产数据，但由于高炉炉缸温度存在的大噪声、大延迟、大波动等问题，海量的生产数据无法为高炉铁水硅含量预测提供可靠的决策信息支撑。如何通过深度学习对这些海量数据进行分析和计算，发现高炉生产中存在的潜在的温度改变规律，是改善炉温控制效果的一个关键点。

实际生产中，生产变量对硅含量的影响具有长期、迟滞的特点。当前的炉温的预测系统中，多对预测变量的这个特点均以近似、求平均等方式进行处理，当变量长时间发送剧烈变化时，预测效果的准确度会受到影响。

经过检索，申请公开号CN113761787A，一种基于深度迁移网络的高炉铁水硅含量在线预测方法及系统，通过利用铁水温度数据无监督的训练去噪自编码机网络，并堆叠多个去噪自编码机网络，从而获得深度去噪自编码机网络,在深度去噪自编码机网络前端嵌入动态注意力机制模块，获得基于动态注意力机制的深度网络以及迁移预训练好的基于动态注意力机制的深度网络，获得铁水硅含量在线预报模型，解决了现有高炉铁水硅含量在线预测精度低的技术问题，通过在深度去噪自编码机网络前端嵌入动态注意力机制模块，能实时的为每个输入样本的过程变量计算动态的注意力分数，使得模型能动态的为每个样本中有效的和有价值的过程变量分配更多的注意力，进而更高效并精准地在线预测铁水硅含量。

该发明数据预处理部分较少，对高炉炉温的预测间隔较长。而本发明为了更及时预测，做了大量的数据预处理，并通过插值法细化了数据的时间粒度，可以五分钟一次播报。在模型部分，该发明通过去噪自编码器与注意力机制堆叠而成，并且注意力机制主要的用途在于输入端，通过注意力机制为输入打分，并输入到深度网络进行训练。而本模型的注意力机制与上述注意力机制的方法、作用不同，本模型使用了独立循环神经网络捕获的长期依赖关系，并通过注意力机制并在多个特征子空间关注重点信息，去除最终输出的冗余信息。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于独立循环神经网络的高炉铁水硅含量预测方法。本发明的技术方案如下：

一种基于独立循环神经网络的高炉铁水硅含量预测方法，其包括以下步骤：

S1：获取历史高炉生产数据，对得到的生产数据进行选取，得到高炉生产时间序列数据；选取的生产数据包括取下料速度、煤气利用率、焦比、煤比、热损、鼓风温度以及历史硅含量；

S2：对高炉生产数据进行异常处理，三次Hermite插值，数据平滑化，数据归一化等预处理，并对高炉生产数据进行划分，得到训练样本与待预测样本；

S3：构建基于独立循环神经网络的高炉铁水硅含量预测模型，设置待训练模型的超参数；

S4：初始化模型的初始值，将训练数据集放入高炉铁水硅含量预测模型，通过双向的独立循环神经网络捕获数据的时序特征，多头注意力机制关注重点关系，并采用正反传播算法筛选出最优的模型权重；

S5：将待预测样本放入高炉铁水硅含量预报模型中，得到高炉铁水硅含量的预测结果。

进一步的，所述去除离群值具体包括：对于数据数量为n的数据集合，若数据成正态分布，则取值集中在均值

个标准差σ范围内，根据此规律去除离群值，具体公式如下：

所述数据插值具体包括：高炉炉温预测模型需要五分钟进行一次炉温预报，部分参数粒度大，远超五分钟，需要进行插值处理；

分段三次Hermite插值能够正确反应原始函数的特性，具体求解过程如下所示：

其中f(x)代表原始序列，H(x)代表拟合函数，假设在节点a≤x₀<x₁<…<x_n≤b，h_i＝x_i-x_i-1(i＝1,2,…n)上给定插值条件y_k＝f(x_k),y′_k＝f′(x_k),k＝0,1,…n，可得：

进一步的，所述数据平滑化具体包括：采用均值滤波进行数据平滑化，

其中X为输入数据，NX为经均值滤波处理后的数据，n为平滑窗口的大小；所述数据归一化具体包括：表示为：

其中，X_new表示归一化的数据，X_i表示第i个数据，X_min表示所有数据中的最小值，X_max表示所有数据中的最大值。

进一步的，所述S3：构建基于独立循环神经网络的高炉铁水硅含量预测模型，具体包括：

高炉铁水硅含量预测模型是一个全连接的神经网络结构，通过神经元为1的全连接层输出得到；

定义模型的训练损失函数

其中，m为样本总数，y_t为测试集中硅含量的真实值，

为模型对测试集硅含量的预测值，MSE代表均方误差；

进一步的，所述超参数包括：模型隐藏层数L，模型时间窗口长度T、模型权重W、隐藏层偏置bias，模型隐藏状态H。

进一步的，高炉铁水硅含量预测模型的循环神经部分使用了双向独立循环神经网络，注意力机制使用多头自注意力机制，预测结果通过这两个模块合并预测，得到最终结果：

网络预测步骤：将经过数据预处理的数据经过滑动窗口生成训练数据，以此捕获多个时间步的高炉时序相互关系，并通过前后两个方向的独立循环神经网络捕获网络的时间序列关系，并通过多头注意力机制去除冗余信息。

进一步的，所述独立循环神经网络的前向传播的表达式具体为：

h_t＝σ(Wx_t+u⊙h_t-1+b)

其中W，u代表网络层的权重，b为网络层的偏执，h_t表示t时刻的输出和隐藏状态，x_t表示t时刻的输入。所以由上式可知，在时刻t时，独立循环神经网络的第n个神经单元的计算方式为：

h_n,t＝σ(W_nx_t+u_n⊙h_n,t-1+b_n)

多头注意力机制公式如下所示

Q，K，V分别代表查询，键，值，d_k代表矩阵K的维度。其中K，V为全部隐藏状态H与权重W^K，W^V相乘，而Q为最后一个隐藏状态与W^Q相乘。

进一步的，所述步骤S4采用正反传播算法筛选出最优的模型权重；算法筛选出最优的模型超参数的过程包括：

S41：初始学习率、迭代次数；并对权重W，隐藏状态H与偏置bias进行随机取值；

S42：通过Adam算法进行自适应学习率调整；

S42：当达到最大迭代次数时，或者loss在验证集上不下降时，得到最优的权重、隐藏状态和偏置。

本发明的优点及有益效果如下：

本发明提出了一种基于独立循环神经网络的高炉铁水硅含量预报方法，通过捕获时序关系，去除信息冗余，提高了预测效果。本方法的主要创新内容包括：权利1，构建基于独立循环神经网络的高炉铁水硅含量预报模型，本模型首先考虑生产数据对高炉炉温影响的长期性，使用了较长的滑动窗口配合独立循环神经网络捕获长期依赖，并考虑较长的滑动窗口会提供过多冗余信息，使用多头注意力机制捕获不同的特征空间的重点信息；权利2，为了更好的生产实践，在数据预处理方面做了创新。首先实时获取高炉生产数据，为了提高预测的及时性，通过插值法，对数据粒度做细化，并通过考虑生产实际，结合专家经验确定了生产数据起作用的时滞。后续又做了数据去噪平滑归一化等处理，提高了数据的精确性，更好的为权利1服务。同时权利2也导致了序列更长，而权利1可以有效的把控长序列。最后将预处理过的数据的输送入基于独立循环神经网络的高炉铁水硅含量预报模型中进行训练，并通过测试集得到高炉铁水硅含量预报结果；根据高炉铁水硅含量预测结果对高炉生产进行指导；

附图说明

图1是本发明提供优选实施例基于独立循环神经网络的高炉铁水硅含量预测方法的流程图；

图2为本发明中实施的基于独立循环神经网络的高炉铁水硅含量预测效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

一种基于独立循环神经网络的高炉铁水硅含量预报方法，其特征在于，包括：构建基于独立循环神经网络的高炉铁水硅含量预报模型；实时获取高炉生产数据，并对数据进行预处理，将预处理过的数据的输送入基于独立循环神经网络的高炉铁水硅含量预报模型中进行训练，并通过测试集得到高炉铁水硅含量预报结果；根据高炉铁水硅含量预测结果对高炉生产进行指导；

对基于独立循环神经网络的高炉铁水硅含量预报进行训练的过程包括：

S1：获取历史高炉生产数据，对得到的生产数据进行数据选取，得到高炉生产时间序列数据；选取的生产数据包括取下料速度、煤气利用率、焦比、煤比、热损、鼓风温度以及历史硅含量；

S2：对高炉生产数据进行异常处理，三次Hermite插值，数据平滑化，数据归一化等预处理，并对高炉生产数据进行划分，得到训练样本与待预测样本；

S3：构建基于独立循环神经网络的高炉铁水硅含量预测模型，设置待训练模型的超参数；

S4：初始化模型的初始值，将训练数据集放入高炉铁水硅含量预测模型，通过双向的独立循环神经网络捕获数据的时序特征，多头注意力机制关注重点关系，并采用正反传播算法筛选出最优的模型权重；

S5：将待预测样本放入高炉铁水硅含量预测模型中，得到高炉铁水硅含量的预测结果。

一种基于独立循环神经网络的高炉铁水硅含量预测方法的具体实施方式，该方法是依据双向独立循环神经网络结合注意力机制对高炉铁水硅含量进行预测，进而对高炉炉温提供有效的调控指导，帮助实现炉温控制自动化。本发明提出的方法流程如图1所示，详细具体流程可以包括以下几个步骤。

步骤S1、针对高炉系统的各个部分，获取选取的实时生产数据；

步骤S2、对高炉实时生产数据进行特征选取；

步骤S3、去除离群值：对于数据数量为n的数据集合，若数据成正态分布，则取值集中在均值

个标准差σ范围内，根据此规律去除离群值，具体公式如下：

步骤S4、数据插值：高炉炉温预测模型需要五进行一次炉温预测，部分参数粒度大，远超五分钟，需要进行插值处理。

分段三次Hermite插值能够正确反应原始函数的特性，具体求解过程如下所示：

其中f(x)代表原始序列，H(x)代表拟合函数，假设在节点a≤x₀<x₁<…<x_n≤b，h_i＝x_i-x_i-1(i＝1,2,…n)上给定插值条件y_k＝f(x_k),y′_k＝f′(x_k),k＝0,1,…n，可得：

步骤S5、数据平滑化。因噪声影响，数据存在大量抖动，难以正确的捕捉数据间的规律，故需要采用均值滤波进行数据平滑化。

其中X为输入数据，NX为经均值滤波处理后的数据，n为平滑窗口的大小。

步骤S6、数据归一化。因为采集数据量纲不同，导致模型训练困难。为了方便模型训练，需要进行归一化，归一化可以表示为：

其中，X_new表示归一化的数据，X_i表示第i个数据，X_min表示所有数据中的最小值，X_max表示所有数据中的最大值。

步骤S7、滞后性处理。高炉特征起作用需要一定能的时滞，若不对时滞进行处理，将难以拟合真实的温度规律，具体时滞如下所示：

步骤S8、构建高炉炉温预测模型。本模型由双层的双向独立循环神经网络组成，并通过多头注意力机制关注重点信息，提高模型的准确度。

步骤S9、通过正反传播算法，更新权值W，隐藏层偏置bias。

步骤S10、对模型进行增量训练；

1.高炉预测部分是一个全连接的神经网络结构，通过神经元为1的全连接层输出得到。

定义模型的训练损失函数

其中，m为样本总数，y_t为测试集中硅含量的真实值，

为模型对测试集硅含量的预测值，MSE代表均方误差；

模型包括以下部分：模型的循环神经部分使用了双向独立循环神经网络，注意力机制使用多头自注意力机制。预测结果通过这两个模块合并预测，得到最终结果：

网络预测步骤：将经过数据预处理的数据经过滑动窗口生成训练数据，以此捕获多个时间步的高炉时序相互关系，并通过前后两个方向的独立循环神经网络计算网络的时间序列关系，并通过多头注意力机制去除冗余信息。

独立循环神经网络的前向传播的方式：

h_t＝σ(Wx_t+u⊙h_t-1+b)

其中W，u代表网络层的权重，b为网络层的偏执，h_t表示输出和隐藏状态，x_t代表t时刻的输入。所以由上式可知，在时刻t时，独立循环神经网络的第n个神经单元的计算方式为：

h_n,t＝σ(W_nx_t+u_n⊙h_n,t-1+b_n)

多头注意力机制公式如下所示

其中K，V为全部隐藏状态H与权重W^K，W^V相乘，而Q为最后一个隐藏状态与W^Q相乘。

如图2所示，模型预测效果如下表所示：

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.一种基于独立循环神经网络的高炉铁水硅含量预测方法，其特征在于，包括以下步骤：

S1：获取历史高炉生产数据，对得到的生产数据进行数据选取，得到高炉生产时间序列数据；选取的生产数据包括取下料速度、煤气利用率、焦比、煤比、热损、鼓风温度以及历史硅含量；

S2：对高炉生产数据进行异常处理，三次Hermite插值，数据平滑化，数据归一化在内的预处理，并对高炉生产数据进行划分，得到训练样本与待预测样本；

S3：构建基于独立循环神经网络的高炉铁水硅含量预测模型，设置待训练模型的超参数；

S4：初始化模型的初始值，将训练数据集放入高炉铁水硅含量预测模型，通过双向的独立循环神经网络捕获数据的时序特征，多头注意力机制关注重点关系，并采用正反传播算法筛选出最优的模型权重；

S5：将待预测样本放入高炉铁水硅含量预报模型中，得到高炉铁水硅含量的预测结果。

2.根据权利要求1所述的一种基于独立循环神经网络的高炉铁水硅含量预测方法，其特征在于，所述步骤S2对高炉生产数据数据进行预处理的过程包括：通过3σ准则对异常值进行处理，为了统一时间间隔，达到五分钟预测一次的效果，采用三次Hermite插值法对数据进行插值处理，并使用均值滤波法对数据进行平滑化，使用数据归一化对不同量纲的数据进行无量纲化，最后通过专家经验，确定参数起作用的具体时间。

3.根据权利要求2所述的一种基于独立循环神经网络的高炉铁水硅含量预测方法，其特征在于，所述去除离群值具体包括：对于数据数量为n的数据集合，若数据成正态分布，则取值集中在均值

个标准差σ范围内，根据此规律去除离群值，具体公式如下：

所述数据插值具体包括：高炉炉温预测模型需要五分钟进行一次炉温预报，部分参数粒度大，远超五分钟，需要进行插值处理；

分段三次Hermite插值能够正确反应原始函数的特性，具体求解过程如下所示：

其中f(x)代表原始序列，H(x)代表拟合函数，假设在节点a≤x₀<x₁<…<x_n≤b，h_i＝x_i-x_i-1(i＝1,2,…n)上给定插值条件y_k＝f(x_k),y′_k＝f′(x_k),k＝0,1,…n，可得：

。

4.根据权利要求2所述的一种基于独立循环神经网络的高炉铁水硅含量预测方法，其特征在于，所述数据平滑化具体包括：采用均值滤波进行数据平滑化，

其中X为输入数据，NX为经均值滤波处理后的数据，n为平滑窗口的大小；

所述数据归一化具体包括：表示为：

其中，X_new表示归一化的数据，X_i表示第i个数据，X_min表示所有数据中的最小值，X_max表示所有数据中的最大值。

5.根据权利要求1所述的一种基于独立循环神经网络的高炉铁水硅含量预测方法，其特征在于，所述S3：构建基于独立循环神经网络的高炉铁水硅含量预测模型，具体包括：

高炉铁水硅含量预测模型是一个全连接的神经网络结构，通过神经元为1的全连接层输出得到；

定义模型的训练损失函数

其中，m为样本总数，y_t为测试集中硅含量的真实值，

为模型对测试集硅含量的预测值，MSE代表均方误差。

6.根据权利要求5所述的一种基于独立循环神经网络的高炉铁水硅含量预测方法，其特征在于，所述超参数包括：模型隐藏层数L，模型时间窗口长度T、模型权重W、隐藏层偏置bias，模型隐藏状态H。

7.根据权利要求5所述的一种基于独立循环神经网络的高炉铁水硅含量预测方法，其特征在于，高炉铁水硅含量预测模型的循环神经部分使用了双向独立循环神经网络，注意力机制使用多头自注意力机制，预测结果通过这两个模块合并预测，得到最终结果：

网络预测步骤：将经过数据预处理的数据经过滑动窗口生成训练数据，以此捕获多个时间步的高炉时序相互关系，并通过前后两个方向的独立循环神经网络捕获网络的时间序列关系，并通过多头注意力机制去除冗余信息。

8.根据权利要求7所述的一种基于独立循环神经网络的高炉铁水硅含量预测方法，其特征在于，所述独立循环神经网络的前向传播的表达式具体为：

h_t＝σ(Wx_t+u⊙h_t-1+b)

其中W，u代表网络层的权重，b为网络层的偏执，h_t表示输出和隐藏状态，x_t代表t时刻的输入。所以由上式可知，在时刻t时，独立循环神经网络的第n个神经单元的计算方式为：

h_n,t＝σ(W_nx_t+u_n⊙h_n,t-1+b_n)

多头注意力机制公式如下所示

Q，K，V分别代表查询，键，值，d_k代表矩阵K的维度。其中K，V为全部隐藏状态H与权重W^K，W^V相乘，而Q为最后一个隐藏状态与W^Q相乘。

9.根据权利要求7所述的一种基于独立循环神经网络的高炉铁水硅含量预测方法，其特征在于，所述步骤S4采用正反传播算法筛选出最优的模型权重；算法筛选出最优的模型超参数的过程包括：

S41：初始学习率、迭代次数；并对权重W，隐藏状态H与偏置bias进行随机取值；

S42：通过Adam算法进行自适应学习率调整；

S42：当达到最大迭代次数时，或者loss在验证集上不下降时，得到最优的权重、隐藏状态和偏置。

Images