CN107679671A - 一种隐含时间序列深度信念网络的水泥生产电耗预测方法 - Google Patents

Abstract

本发明公开了一种隐含时间序列深度信念网络的水泥生产电耗预测方法，其内容包括：根据水泥工艺选取输入变量，并进行归一化处理，构建模型的输入层；确定模型的初始参数完成对HTS‑DBN模型的初步建立，并对模型进行无监督的前向训练，确定初始权值和偏置；采用BP反向误差修正算法对整个神经网络进行有监督的反向微调。利用训练好的HTS‑DBN模型进行水泥生产电耗实时预测。本发明建立的HTS‑DBN水泥能耗预测模型解决了时变时延问题，能够精确的预测水泥生产电耗量，对水泥生产的科学生产调度和合理的能源规划提供依据，从而为水泥制造的优化生产和降低能耗提供条件。

Description

一种隐含时间序列深度信念网络的水泥生产电耗预测方法

技术领域

本发明涉及水泥生产电耗预测领域，尤其涉及一种基于隐含时间序列深度信念网络的水泥电耗预测方法。

背景技术

用电量是水泥生产的重要能耗指标，电耗量的精确预测对水泥科学的生产调度和合理的能源规划提供依据，从而为水泥制造的优化生产和降低能耗提供条件。所以水泥用电量的精准预测对水泥生产的节能降耗具有重要的意义。水泥生产过程是一个复杂的过程并具有时变性、滞后性、不确定性和非线性等特点，从而导致难于建立一个精确的水泥电耗预测模型。针对上述问题，一些学者采用了不同的算法来研究用电量预测模型。天津理工大学赵辉等采用主成分分析法确定影响水泥生产电耗的关键因素，并基于改进的多元非线性回归算法对电耗进行预测。上述方法用于研究水泥生产过程中的非线性问题，但该回归模型不能使用工业中产生的大数据，不能解决时滞问题。从而导致精度低。济南大学张鑫等基于支持向量机利用能源管理系统建立了电耗预测模型。虽然LSSVM预测模型的收敛速度快，但是更适用于小规模的数据样本，难以寻找大数据中变量间的变化规律，而且需要复杂的数据清洗，并没有解决时变时延的问题，导致预测精度低。事实表明回归预测模型，人工神经网络都由于自身的局限性而难以解决时变时延的问题，导致预测精度不高。因此要得到精确的水泥的用电量预测模型，必须解决变量数据和用电量之间存在的时变时延问题。

发明内容

针对上述存在的问题，本发明提供一种隐含时间序列深度信念网络(Hide timeseries deep belief network,简称HTS-DBN)的水泥生产电耗预测方法,从而消除时变时延对水泥能耗预测的影响。

为实现上述目的，本发明是通过以下技术方案来实现的：

一种隐含时间序列深度信念网络(HTS-DBN)的水泥生产电耗预测方法，该方法内容包括以下步骤：

步骤1：根据水泥工艺选取输入变量，并进行归一化处理，构建HTS-DBN模型的输入层，将时间特性隐含到输入层中，使预测模型具有能够学习数据变量中时变时延的能力；

在步骤1中，从水泥企业的能源管理系统中采集训练样本数据集，并进行异常值处理和归一化处理；由于深度信念网络能够深度挖掘各变量和预测变量之间的变化规律，故无需对变量进行降维等复杂的数据清洗，只需要简单的异常值处理；来自不同变量的数据变量单位不尽相同，所以在训练之前对数据变量进行统一的归一化处理；

所述构建隐含时间序列的深度信念网络模型的输入层，就是对输入层进行重新构建，将时间特性融入到输入层的排列中；根据深度信念网络能够进行特征提取和数据挖掘的特点，利用水泥生产中产生的工业能源大数据，建立一个区间段的时间序列数据变量与单个时间点预测量的网络结构，从而深度挖掘预测量与各变量之间的变化规律，最终消除了时变时延对水泥用电量预测精确度的影响；

步骤2：确定模型的初始参数完成对HTS-DBN模型的初步建立，并对模型进行无监督的前向训练；所述初始参数包括权值w、偏置a和b、学习率、结构层数以及隐含单元数；

在步骤2中，利用步骤1中选取的输入变量，选择合适的结构层数、隐含单元数和学习率，对HTS-DBN模型进行贪婪无监督的前向训练，确定初始的权值w，偏置a和b；具体将两个相邻的结构层看成一个受限玻尔兹曼机(Restricted Boltzmann Machine，RBM)，通过逐个对RBM的训练完成整个模型的前向无监督训练；

步骤3：利用步骤2中确定的初始参数，根据样本的标签采用BP反向误差修正算法进行有监督的反向微调，通过对误差的修正，优化参数w，a，b；从而完成了HTS-DBN模型的构建；

在步骤3中，所述有监督的反向微调就是采用BP反向误差修正算法逐层修正的方法对参数进行优化，由于误差的校正需要有标签的样本进行运算，故反向微调为有监督的；

步骤4：利用步骤3中训练好的HTS-DBN模型进行水泥生产电耗实时预测。

本发明具有以下有益效果：

1、本发明建立的HTS-DBN水泥能耗预测模型解决了时变时延问题。该模型将输入层重构，使一个时间段输出变量对应一段时间内的输入变量，从而能够学习这段时间内的时延变化，消除了时变时延对能耗预测的影响，省去了复杂的数据预处理过程，提高了预测的精确度。

2、本发明的HTS-DBN模型基于深度信念网络构建，相比传统的人工神经网络算法，避免了人工选取参数带来的各种局限性问题，提高了模型的收敛速度、精度和泛化能力。

3、本发明能够精确的预测水泥生产电耗量，对水泥生产的科学生产调度和合理的能源规划提供依据，从而为水泥制造的优化生产和降低能耗提供条件。

附图说明

图1为本发明提出的方法隐含时间序列深度信念网络预测模型(HTS-DBN)的结构图；

图2为HTS-DBN模型的输入层结构原理图；

图3为受限玻尔兹曼机的示意图；

图4为本发明提出的HTS-DBN预测水泥生产电耗量系统流程框图。

具体实施方式

下面结合附图对本发明做进一步详细的描述：

本发明提出了一种隐含时间序列深度信念网络的水泥电耗预测方法。首先进行变量选取，从水泥企业的能源管理系统数据库中选取训练样本集和预测样本集；然后重构深度信念网络的输入层并完成隐含时间序列深度信念网络水泥能耗预测模型，其结构如图1所示；本发明提出的隐含时间序列深度信念网络水泥电耗预测系统流程框图如图4所示；最后采用BP算法进行有监督的全局反向微调，对误差进行修正以及对权值和偏置的调优，完成了HTS-DBN预测模型的构建，其内容包括如下步骤：

步骤1：根据水泥工艺选取输入变量，并进行归一化处理，构建模型的输入层；将时间特性隐含到输入层中，使预测模型具有能够学习数据变量中时变时延的能力。

由水泥工艺可知，水泥回转窑是水泥企业生产水泥时的关键设备，其核心任务是对水泥的生料进行煅烧，在窑内发生一系列的物理化学反应生成符合生产需要的合格的熟料。水泥回转窑运转时，由大功率的高温风机抽风使窑内产生巨大的气压差，从而形成气路，保证了气路与料路的热交换；回转窑的窑尾EP风机对篦冷机抽气，将生成的熟料粉末和小颗粒吸入电收尘器进行回收，降低了能源浪费，提高熟料的产量；回转窑旋转运行时由窑电机提供动力，保证窑内均匀的物理化学反应。所以高温风机和EP风机以及窑电机是水泥烧成工艺的主要用电设备。水泥回转窑的的生料喂料量间接影响了烧成工艺的用电量，当喂料量增加时，使水泥回转窑的负载变大，导致高温风机、EP风机和窑电机的功率也要相应的提升来确保合格的熟料烧成。

由上述分析可知，HTS-DBN模型选用如下6个输入变量：生料喂料量、高温风机转速、EP风机转速、水泥回转窑电流、水泥回转窑平均电流和历史时刻窑耗电量。预测的输出变量为未来某时刻的水泥回转窑电量。由于HTS-SBN模型建立的隐含时间序列能够消除时延对精度的影响，并深度挖掘各数据变量和预测量之间的变化规律，所以输入变量不需要复杂的清洗过程，只要简单的异常值去除和归一化处理，相比传统的人工神经网络算法数据处理过程更简单，预测速度更快。

HTS-DBN的输入层结构原理基于深度信念网络，根据其能够进行特征提取和数据挖掘的特点，利用水泥生产中产生的工业能源大数据，建立一个区间段的时间序列数据变量与单个时间点预测量的网络结构，从而深度挖掘预测量与各变量之间的变化规律，最终消除了时变时延对水泥用电量预测精确度的影响。首先建立一个能够学习区间段时间序列的输入层。具体的选择一个区间段m(min)作为时间序列的长度，将各个变量数据按时间序列排序形成一个数据矩阵，每行表示各个输入变量生料量等，每列表示不同时刻的数据量形成连续的时间序列。输入层结构如图2所示。

输入变量集合为：

X_i＝{X_i(t-k)|k＝0,1,2···M},i＝1,2,3,4,5,6 (1)

输出预测变量为：

Y＝Y(t+p) (2)

其中t为某预测时刻，M为每次训练一段数据变量的时间长度，i表示有6种输入变量，p为预测提前量，Y(t+p)表示对未来t+p时刻的预测变量值。

步骤2：模型初步建立，并进行无监督的前向训练，确定初始权值和偏置。

HTS-DBN预测模型将时间序列隐含到网络的输入层，使输入层由接收实时数据改变为接收区间段时间数据序列，从而消除了水泥生产过程中时变时延对预测模型精度的影响，进而采用受限玻尔兹曼机(RBM)对数据挖掘筛选，提取样本特征，完成无监督的前向训练。

1.HTS-DBN模型初步建立

本发明提出的HTS-DBN预测模型采用4层网络结构，每层的单元数为：360,10,10,1。学习率选择0.001，并将网络结构之间的连接权值以及偏置初始为0。

2.HTS-DBN模型的前向无监督预训练

HTS-DBN的中间层是一个一个的受限玻尔兹曼机(RBM)连续堆叠而成。它是一种基于能量理论的概率模型，其采用无监督的方法来学习特征。RBM由表示输入值的显层可见单元v对应的通过权值W接隐藏单元h组成的双向图。受限玻尔兹曼机的结构如图3所示。

可见单元和隐藏单元都是二元随机的。如果一个受限玻尔兹曼机由n个可见单元v和m个隐藏单元h组成。那么对于一组给定的状态{v,h}受限玻尔兹曼机的能量函数定义为：

(3)式中，w_ij表示可见单元v_i与隐藏单元h_j之间的连接权重，其中a_i表示可见单元v_i的偏置，b_j表示隐藏单元h_j的偏置。θ＝(a,b,w)构成受限玻尔兹曼机的参数。基于无向图模型的Gibbs分布随机变量(v,h)的联合概率分布为：

其中Z为归一化因子(也称分配函数，partition function)。

由上面式子(4)和(5)可以推导出：已知可见层求隐含层的激活概率

已知隐含层求可见层的激活概率

其中为sigmoid激活函数，训练受限玻尔兹曼机时采用Hinton提出的对比散度算法(ContrastiveDivergence,CD)。该算法核心思想是先对可见层采样得到隐含层再对隐含层采样更新可见层由公式

b_j＝P(h_j＝1|v⁽⁰⁾)-P(h_j＝1|v^(k)) (10)

得到更新的参数w，a，b。在一般应用中t通常取0，k通常取1。

输入变量X_i对应受限玻尔兹曼机的v_i。HTS-DBN模型由3个RBM堆叠而成，要依次训练RBM以完成对权值和偏置的初始化。具体的，先训练最底层的RBM，由公式(6)，求得隐含层的激活概率P(h_i＝1|v)，再由公式(7)，反向更新可见层的激活概率P(v_i＝1|h)。并由公式(8),(9)和(10)得到的初始权值和偏置。完成对第一个RBM的无监督训练。

重复上述方法，依次对剩下两个RBM进行训练，并得到全部的连接权值和偏置。

步骤3：采用BP反向误差修正算法对整个神经网络进行有监督的反向微调。

经前向训练得到初始参数后，根据样本的标签进行反向有监督的权值微调、误差修正、偏置的校正。一般的训练方法是将深度信念网络看成传统的深层网络，以前向算法训练的参数为初始参数用BP反向误差修正算法进行参数的反向微调。

由误差函数

其中

t是样本的真实值，y是网络的预测值；是第l层的第i个神经元的输出；f(·)是激活函数，η是学习率。

对于单个样本x_k，输出层(L层)第k个神经元与第L-1层第j个神经元权值的偏导为：

对偏置的偏导为：

对L-1隐层：

类似的：

令

那么：

类似的，第l层的权值和偏置的变化量为：

最后，权值和偏置的更新公式：

w^l＝w^l-η*Δw^l (22)

b^l＝b^l-η*Δb^l (23)

由上述分析可知，反向微调的更新方法具体是，首先根据公式(20)和(21)求得输出层(L层)和倒数第二层(L-1层)之间权值和偏置的变化量，再根据公式(22)，(23)实现对权值和偏置的更新，然后利用公式(22)和(23)反向依次逐层对所有的权值和偏置进行更新，完成对整个网络的参数调优。这样就实现了HTS-DBN水泥电耗预测模型的构建及训练。

步骤4：水泥生产用电量的预测输出。

用步骤3中训练好的HTS-DBN模型对水泥生产电耗进行实时预测。其中输入变量为：生料喂料量、高温风机转速、EP风机转速、水泥回转窑电流、水泥回转窑平均电流和历史时刻水泥回转窑耗电量。预测的输出变量为未来某时刻的水泥回转窑耗电量。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (1)

1.一种隐含时间序列深度信念网络的水泥生产电耗预测方法，其特征在于：所述方法内容包括以下步骤：

步骤1：根据水泥工艺选取输入变量，并进行归一化处理，构建隐含时间序列深度信念网络模型的输入层，将时间特性隐含到输入层中，使预测模型具有能够学习数据变量中时变时延的能力；

在步骤1中，从水泥企业的能源管理系统中采集训练样本数据集，并进行异常值处理和归一化处理；由于深度信念网络能够深度挖掘各变量和预测变量之间的变化规律，故无需对变量进行降维的数据清洗，只需要简单的异常值处理；来自不同变量的数据变量单位不尽相同，所以在训练之前对数据变量进行统一的归一化处理；

所述构建隐含时间序列的深度信念网络模型的输入层，就是对输入层进行重新构建，将时间特性融入到输入层的排列中；根据深度信念网络能够进行特征提取和数据挖掘的特点，利用水泥生产中产生的工业能源大数据，建立一个区间段的时间序列数据变量与单个时间点预测量的网络结构，从而深度挖掘预测量与各变量之间的变化规律，最终消除了时变时延对水泥用电量预测精确度的影响；

步骤2：确定模型的初始参数完成对隐含时间序列深度信念网络模型的初步建立，并对模型进行无监督的前向训练；所述初始参数包括权值w、偏置a和b、学习率、结构层数以及隐含单元数；

在步骤2中，利用步骤1中选取的输入变量，选择合适的结构层数、隐含单元数和学习率，对隐含时间序列深度信念网络模型进行贪婪无监督的前向训练，确定初始的权值w，偏置a和b；具体将两个相邻的结构层看成一个受限玻尔兹曼机，通过逐个对受限玻尔兹曼机的训练完成整个模型的前向无监督训练；

步骤3：利用步骤2中确定的初始参数，根据样本的标签采用BP反向误差修正算法进行有监督的反向微调，通过对误差的修正，优化参数w，a，b；从而完成了隐含时间序列深度信念网络模型的构建；

在步骤3中，所述有监督的反向微调就是采用BP反向误差修正算法逐层修正的方法对参数进行优化，由于误差的校正需要有标签的样本进行运算，故反向微调为有监督的；

步骤4：利用步骤3中训练好的隐含时间序列深度信念网络模型进行水泥生产电耗实时预测。