CN114912335B - 一种基于缺失数据的煤气发生量预测方法 - Google Patents

Abstract

本发明涉及一种基于缺失数据的煤气发生量预测方法，涉及数据编码系统。本发明包括以下步骤：步骤一、采集钢铁企业制造部门的生产信息和能源管理部门的煤气信息；步骤二、对采集到的数据进行去噪，并对数据进行归一化处理：步骤三、对缺失数据进行填补；步骤四、利用现有的历史数据构造特征空间：步骤五、使用可加自回归模型对现有的数据进行预测：步骤六：进入预测阶段。本发明充分考虑了现在和未来数据的信息，提高了数据使用效率，即使在少量缺失数据下也能得到可靠的煤气发生量预测。

Description

一种基于缺失数据的煤气发生量预测方法

技术领域

本发明涉及一种基于缺失数据的煤气发生量预测方法，，涉及数据编码系统。

背景技术

高炉煤气的发生是一个复杂动态系统，需要用实验建模的方式对高炉煤气系统进行分析，如果采用基于机理的建模方式很难对系统的状态进行有效估计，目前很多钢厂的煤气发生量仅仅是根据调度工人的经验，煤气如果发生量比较平稳，波动性小，该方法对煤气的平衡影响不大，但是当高炉不稳定时，煤气的产生量会发生较大波动，此时靠调度人员的经验远远不足，由于传感采集、数据的传输等问题，采集煤气的数据过程中经常会遇到缺失数据，因此在煤气波动性较大、缺失数据下如何准确的估计煤气的发生量为煤气的平衡服务，仅仅依靠过去的经验是不够的，但是过去煤气发生量的数据又包含了大量的信息，因此如何从过去信息中挖掘出规律，为煤气的预测服务就非常重要。本发明旨在解决在缺失数据下、波动性较大的情况下，因人工经验不足，操作不规范，造成的煤气发生量预测与实际偏差较大的问题，轻则影响钢厂的经济效益，重则有可能引起安全事故。

现有的预测方法主要是运用统计或数学模型，对煤气未来一段时间的发生量进行预测，主要通过对过去一些历史数据的统计分析，对系统未来发展进行点预测或者区间预测。能源预测的最重要指标是预测精度，因此选择准确的预测方法至关重要。目前采用的主要预测方法有回归分析法、时间序列分析法、灰色预测法、人工神经网络法、组合预测法等。

发明内容

本发明针对现有技术不足，本发明采用双向缺失数据预测填补的回声神经网络算法进行预测，对缺失数据采用双向填补核估计，对历史数据进行统计分析，运用统计学原理建模，实现对未来一个或多个生产计划期的能源使用量的准确估计。

针对现有技术的不足，本发明提出一种基于缺失数据下高炉煤气发生量的能耗预测方法，包括以下步骤：

步骤一、采集钢铁企业制造部门的生产信息和能源管理部门的煤气信息，所述生产信息包括各工序和生产线的生产量、生产周期内的设备检修记录，所述煤气信息包括能源介质的消耗、回收和放散数据；

步骤二、对采集到的数据进行去噪，并对数据进行归一化处理：

具体步骤为：把数据由小至大排列，处于数据1/4及3/4的数据，称为数据的1/4分位数与3/4分位数，分别记为q_0.25与q_0.75，

int＝q_0.75-q_0.25；

如果数据不属于区间[q_0.25-1.5int,q_0.75+1.5int]，识别为异常数据点，把所述异常数据点从数据中剔除；

对数据进行归一化：

x_i代表表1中的每一列中的一个数据，x_min代表对应列数据变化的最小值，x_max代表对应列数据变化的最大值；

步骤三、对缺失数据进行填补，从而使收集到的煤气数据更加完整，使用BP神经网络由历史数据对现有的缺失数据进行预测，使用 BP神经网络由未来数据对现有的缺失数据进行预测，使用双向核光滑的方法对两组数平滑，生成缺失数据的填补；

步骤四、利用现有的历史数据构造特征空间：

第i组数据的输入变量为：

第i组比变量的输出为y_i；

步骤五、使用可加自回归模型对现有的数据进行预测：

所述自回归模型如下：

其中f_m(·)为未知函数m＝1,...,d，β_ti-s，t＝1,...,d，s＝1,...,k_t与α，α_l，l＝1,...,k为未知参数；

步骤六：进入预测阶段，输入要预测的工序或产线未来计划期内的计划产量和影响因素的值，运行运用可加自回归模型算法，得到算法的输出值，输出值为工序或产线的高炉煤气发生量。

上述技术方案的进一步改进是：所述步骤三中，填补具体步骤如下：

建立前馈神经网络模型，n_l表示网络的层数，第一层为输入值，最后一层为输出值，s_l表示第l层神经元的个数，f(·)表示的是激活函数，表示第l层到第l+1层的权重矩阵，/>表示第 l层到第l+1层的偏置，/>表示第l层的输入，/>表示第l层中第i 个神经元的输入，/>表示第l层的输出，其中/>表示第l层中第 i个神经元的输出；

每个神经元的表达式如下：

向前传播的步骤如下

需要利用数据训练，求出相应的权重矩阵及偏置向量，采用反向传播算法给定样本容量为n的样本训练集，目标函数为：

采用梯度下降算法极小化目标函数J(W,b)：

则前馈神经网络算法如下：

进行前馈传导计算，利用向前传导公式，得到的激活值，对输出层(第n_l层)，计算：

对于l＝n_l-1,n_l-2,n_l-3,…,2的各层，计算：

δ^(l)＝(W^(l)Tδ^(l+1)·f′(z^(l))；

计算最终需要的偏导数值：

激活函数选取sigmod函数f(x)＝(1+e^-x)^-1。

上述技术方案的进一步改进是：所述步骤三中，设缺失数据有m 个，BP神经网络估计的结果为步骤3.2中BP神经网络估计的结果为/>

本发明采用上述技术方案的有益效果是：本发明提出一种基于缺失数据下提高钢铁企业能源利用率的能耗预测方法，通过针对各工序能源消耗的相关性分析和对求解算法的改进，提供一种科学的、准确的能源预测方法，可以根据在缺失数据下对缺失数据进行合理的填补，从而形成完整的数据，使用完整数据构造样本空间，在进行高炉煤气发生量的预测；该方法充分考虑了现在和未来数据的信息，提高了数据使用效率，即使在少量缺失数据下也能得到可靠的煤气发生量预测。

附图说明

下面结合附图对本发明作进一步说明。

图1为本发明实施例的流程示意图；

图2为本发明实施例的前馈神经网络的结构示意图。

具体实施方式

实施例

下面以炼铁工序为例，结合附图对本发明具体实施方式加以详细的说明。

由于缺失数据总是时间序列中的一段，因此之前和之后的数据信息都为该段数据的大小提供重要的信息，因此可以利用历史数据的信息，采用可加自回归模型进行建模，并使用历史数据对模型进行训练，使用训练好的数据进行预测。

本发明采用双向缺失数据预测填补的回声神经网络算法进行预测，对缺失数据采用双向填补核估计，对历史数据进行统计分析，运用统计学原理建模，实现对未来一个或多个生产计划期的能源使用量的准确估计。

一种基于缺失数据下高炉煤气发生量的能耗预测方法，包括以下步骤：

步骤一、采集企业制造部门的生产信息和能源管理部门的煤气信息。生产信息包括各工序和生产线的生产量、生产周期内的设备检修记录，煤气信息包括能源介质的消耗、回收和放散数据。以下为具体样本数据：

步骤二、对采集到的数据进行去噪，得到稳定的、规则的生产与能源数据，该数据收集的过程中由于传感器的影响有数据缺失，并对数据进行归一化处理。

采用传统的去噪方法，把数据由小至大排列，处于数据1/4及3/4 的数据，称为数据的1/4分位数与3/4分位数，分别记为q_0.25与q_0.75，

int＝q_0.75-q_0.25；

如果数据不属于[q_0.25-1.5int,q_0.75+1.5int]，识别为异常数据点，把该点数据从数据中剔除，此外使用如下公式对数据进行归一化，

x_i代表表1中的每一列中的一个数据，x_min代表对应列数据变化的最小值，x_max代表对应列数据变化的最大值。

步骤三、对缺失数据进行填补，从而使收集到的煤气数据是完整的。

由于收集阶段数据采集及传输的问题，且在步骤二中剔除掉一部分异常数据点，因此世界序列数据存在单点缺失及一部分时间窗口的缺失，采取如下的数据填补方法。

馈神经网络又称为多层感知机，是机器学习中比较常见的模型，前馈神经网络用于处理复杂的非线性建模问题，相比线性回归、逻辑回归等其他建模方法相比，提高建模的灵活性，又避免了出现过拟合的情况，相关的理论模型如下：

n_l表示网络的层数，第一层为输入值，最后一层为输出值，s_l表示第l层神经元的个数，f(·)表示的是激活函数，表示第l层到第l+1层的权重矩阵，/>表示第l层到第l+1层的偏置，/>表示第l层的输入，/>表示第l层中第i个神经元的输入，/>表示第l层的输出，其中/>表示第l层中第i个神经元的输出，如图2所示。

每个神经元的表达式如下：

向前传播的步骤如下：

需要利用数据训练，求出相应的权重矩阵及偏置向量，采用反向传播算法(BP)给定样本容量为n的样本训练集，目标函数为：

采用梯度下降算法极小化目标函数J(W,b)：

则前馈神经网络算法如下：

进行前馈传导计算，利用向前传导公式，得到的激活值。

对输出层(第n_l层)，计算

对于l＝n_l-1,n_l-2,n_l-3,…,2的各层，计算

δ^(l)＝(W^(l)Tδ^(l+1)·f′(z^(l))；

计算最终需要的偏导数值

此处激活函数可以选取sigmod函数，f(x)＝(1+e^-x)^-1，利用大数据处理工具R进行数据处理，采用R中的neuralnet软件包进行建模。

步骤三中，使用BP神经网络由历史数据对现有的缺失数据进行预测。使用BP神经网络由未来数据对现有的缺失数据进行预测。使用双向核光滑的方法对两组数平滑，生成缺失数据的填补

设缺失数据有m个，使用步骤3.1中BP神经网络估计的结果为步骤3.2中BP神经网络估计的结果为/>考虑数据信息预测的准确性，采用双向核光滑的方法

其中K(·)表示核函数，这里可以选择高斯核，即h表示估计的窗宽，为概率密度函数的平滑参数，该算法即考虑到过去数据的信息，有考虑未来数据的信息，较合理的缺失数据填补方法。

步骤四、利用现有的历史数据构造特征空间：

第i组数据的人输入变量为

第i组比变量的输出为y_i。

步骤五、使用可加自回归模型对现有的数据进行预测；

模型如下：

其中f_m(·)为未知函数m＝1,...,d，β_ti-s，t＝1,...,d，s＝1,...,k_t与α，α_l，l＝1,...,k为未知参数，要进行煤气发生量的预测，必须要把上述未知的参数和函数利用现有的数据学习出来。采用back fitting算法，流程如图1所示。

把参数β_ti-s，t＝1,...,d，s＝1,...,k_t，α，α_l，l＝1,...,k看成已知参数

使用Backfitting算法求解模型中的未知函对于模型(1.1)。

首先引入一些符号，Y＝(Y₁,...,Y_n)^T,

用/>表示第j个协变量在x_j处局部多项式回归的等价核，即：

其中e_j表示第j个位置为1其余为零的向量，

K_hj(.)＝h_j ^-1K(./h_j),K为某个核函数，h_j为带宽，

p_j是拟合m_j的局部多项式的阶，用S_j表示m_j在观测X_j处局部多项式拟合的光滑矩阵，即

在观测点m＝α+m₁+...+m_d的估计量定义为

其中 是m_j在观测点处的非参数估计，他们是关于下列未知向量m₁,...,m_d的方程的解：

在实际应用中上述nd个未知量的nd个方程的方程组，涉及到一个高维矩阵求逆的过程，计算比较麻烦，通常通过后移算法来求解。后移算法的基本估计方法是令为没有利用变量X_j的偏残差，通过最小化来求m_j(·)，这是利用多项式回归来求解/>关于变量{X_ij}的非参数回归问题，所导致的偏残差/>是线性的，因此可以表示为

其中矩阵S_j为平滑矩阵，为记号方便把左端记为并令

Y＝(Y₁,Y₂,...,Y_n)^T

X_j＝(X_1j,X_2j,...,X_nj)^T，则上面式子相应的表示为

后移算法由以下几步组成：

求出并初始化/>

循环j＝1,...d，计算中心化更新

重复直到连续迭代过程中m_j(·),(j＝1,...d)的变化小于指定值。

实际可以求得的不可直接应用，函数中包含未知参数，可以表示为/>其中θ＝{β_ti-s，t＝1,...,d，s＝1,...,k_t，α_l，l＝1,...,k，α}

再带入未知的函数，使用最小二乘方法，极小化(1.9)：

可以得到参数θ＝{β_ti-s，t＝1,...,d，s＝1,...,k_t，α_l，l＝1,...,k，α}的估计值。

步骤6：进入预测阶段，输入要预测的工序或产线未来计划期内的计划产量和影响因素的值，运行运用可加自回归模型算法，得到算法的输出值，即该工序或产线的高炉煤气发生量。

进入预测阶段，输入的炼钢工序的计划产量和影响因素的值，运行带有误差反馈校正学习的神经网络算法，得到算法的输出值，即炼钢工序的能源介质消耗量或回收量。下表列出了带有误差反馈校正的神经网络算法的输出值。采用实际生产中常用的T+2预测，即在当月预测未来三个月的能源消耗量。

从上表的结果可以观察到，本发明提出的基于增加动量项和自适应调节学习率的误差反馈校正神经网络的技术方案得到了精度较高的预测结果。

上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。

Claims (3)

1.一种基于缺失数据的煤气发生量预测方法，其特征在于包括以下步骤：

步骤一、采集钢铁企业制造部门的生产信息和能源管理部门的煤气信息，所述生产信息包括各工序和生产线的生产量、生产周期内的设备检修记录，所述煤气信息包括能源介质的消耗、回收和放散数据；

步骤二、对采集到的数据进行去噪，并对数据进行归一化处理：

具体步骤为：把数据由小至大排列，处于数据1/4及3/4的数据，称为数据的1/4分位数与3/4分位数，分别记为q_0.25与q_0.75，

int＝q_0.75-q_0.25；

如果数据不属于区间[q_0.25-1.5int,q_0.75+1.5int]，识别为异常数据点，把所述异常数据点从数据中剔除；

对数据进行归一化：

x_i代表表1中的每一列中的一个数据，x_min代表对应列数据变化的最小值，x_max代表对应列数据变化的最大值；

步骤三、对缺失数据进行填补，从而使收集到的煤气数据更加完整，使用BP神经网络由历史数据对现有的缺失数据进行预测，使用BP神经网络由未来数据对现有的缺失数据进行预测，使用双向核光滑的方法对两组数平滑，生成缺失数据的填补；

步骤四、利用现有的历史数据构造特征空间：

第i组数据的输入变量为：

第i组比变量的输出为y_i；

步骤五、使用可加自回归模型对现有的数据进行预测：

所述自回归模型如下：

其中f_m(·)为未知函数m＝1,...,d，β_ti-s，t＝1,...,d，s＝1,...,k_t与α，α_l，l＝1,...,k为未知参数；

步骤六：进入预测阶段，输入要预测的工序或产线未来计划期内的计划产量和影响因素的值，运行运用可加自回归模型算法，得到算法的输出值，输出值为工序或产线的高炉煤气发生量。

2.根据权利要求1所述的基于缺失数据的煤气发生量预测方法，其特征在于：所述步骤三中，填补具体步骤如下：

建立前馈神经网络模型，n_l表示网络的层数，第一层为输入值，最后一层为输出值，s_l表示第l层神经元的个数，f(·)表示的是激活函数，表示第l层到第l+1层的权重矩阵，/>表示第l层到第l+1层的偏置，/>表示第l层的输入，/>表示第l层中第i个神经元的输入，/>表示第l层的输出，其中/>表示第l层中第i个神经元的输出；

每个神经元的表达式如下：

向前传播的步骤如下

需要利用数据训练，求出相应的权重矩阵及偏置向量，采用反向传播算法给定样本容量为n的样本训练集，目标函数为：

采用梯度下降算法极小化目标函数J(W,b)：

则前馈神经网络算法如下：

进行前馈传导计算，利用向前传导公式，得到的激活值，对输出层(第n_l层)，计算：

对于l＝n_l-1,n_l-2,n_l-3,…,2的各层，计算：

δ^(l)＝(W^(l)Tδ^(l+1))·f′(z^(l))；

计算最终需要的偏导数值：

激活函数选取sigmod函数f(x)＝(1+e^-x)^-1。

3.根据权利要求1所述的基于缺失数据的煤气发生量预测方法，其特征在于：所述步骤三中，设缺失数据有m个，BP神经网络估计的结果为步骤3.2中BP神经网络估计的结果为/>