CN109685252B - 基于循环神经网络和多任务学习模型的建筑能耗预测方法 - Google Patents

Abstract

基于循环神经网络和多任务学习模型的建筑能耗预测方法，涉及综合能源管理技术领域，所解决的是并行预测多类能耗、保证预测精度的同时缩短模型训练时间的技术问题。该方法先获取建筑能耗数据样本，利用“多个相似时间点数据平均”进行缺失数据处理，再根据能耗类型、时间步长和初始时间构造多个学习任务，之后对每个学习任务的数据集进行归一化，再用皮尔逊相关系数度量多个任务训练集之间的相似性。确保多个任务之间的相似性后，创建并训练神经网络模型，最后利用多任务CIFG‑LSTM神经网络模型预测综合能耗。本发明的能耗预测方法使多元能耗能够同时预测，充分利用能耗之间的紧密联系与相互作用，提高了预测精度和速度。

Description

基于循环神经网络和多任务学习模型的建筑能耗预测方法

技术领域

本发明属于多元负荷预测技术领域，涉及一种基于循环神经网络和多任务学习模型的建筑能耗预测方法。

背景技术

综合能源管理系统是由电、热、冷、气等多种能源网络耦合而成，发挥多种能源优势互补，推动能源结构转型，推进我国能源革命具有重要意义。准确快速的能耗预测是综合能源管理系统可靠、高效运行的重要组成部分，为使能源合理规划及有效利用，有必要对未来短期内的能源消耗进行准确预测。目前针对单一种类能源的能耗预测技术已经很成熟，比如多元线性回归法、随机时间序列法、指数平滑法、灰色理论法等基于数学模型的预测方法和基于各种人工智能算法的预测方法，预测精度也随之逐步提高。

但是随着综合能源管理系统的推广，对单一能耗的预测不能兼顾到能源之间的互相影响，也忽略了综合能源系统管理能源的多样化。同时，对于综合能源管理系统而言，针对不同类型能源的消耗建立不同的预测模型无疑是大大增加了工作量和系统的复杂度，不利于综合能源管理系统的开发、维护及使用。作为未来能源供应系统的重要发展方向，综合能源管理系统势必会引发多元能耗预测的需求。

多任务学习(Multi-Task Learning,MTL)是一种归纳迁移机制，主要目标是利用隐含在多个相关任务的训练信号中的特定领域信息来提高泛化能力，并通过使用共享表示并行训练多个任务来完成这一目标。实际上，每个任务的训练信号提供的信息可以作为其他任务在特定领域的归纳偏置，通过对不同任务之间的共享特征结构分析和联合训练来确定最优参数，一次学习几个艰难的任务会比分别学习这些相同的任务更容易。神经网络隐含层的参数由多个任务共同训练，各个任务又在输出层分开，来学习任务相关的信息。

CIFG-LSTM(Coupled Input and Forget Gate LSTM)神经网络是由循环神经网络中的LSTM(Long Short Term Memory，长短时记忆神经网络)改进的一种人工智能算法，可充分利用负荷数据之间的相关性，从而提高负荷预测的精度，同时降低所需历史数据的维度大小，对于处理时间序列相关的负荷数据有很好的效果。

发明内容

本发明的目的是提供基于循环神经网络和多任务学习模型的建筑能耗预测方法，解决了多元负荷无法统一预测造成预测过程繁、精度低的问题。

本发明所采用的技术方案是，基于循环神经网络和多任务学习模型的建筑能耗预测方法，具体如下步骤：

步骤1、获取建筑能耗数据样本集，采用“多个相似时间点数据平均”法补齐个别时间点遗缺的数据，得到处理后数据集，数据集结构为M＝{(m₁₁,m₂₁,...,m_k1),(m₁₂,m₂₂,...,m_k2)...(m_1i,m_2i,...,m_ki)}；其中下标k表示不同能耗类型，k∈N^*,i表示第i个样本值，i∈N^*；

步骤2、根据k种能耗类型构造出k个学习任务，即把步骤1得到的数据集划分为k类，即M'＝{(m₁₁,m₁₂,...,m_1i),(m₂₁,m₂₂,...,m_2i)...(m_k1,m_k2,...,m_ki)}，保证构造的k个学习任务的时间步长h和初始时间t相同，并进行归一化处理，归一化后得到的数据集类型为M^R＝{M₁ ^R,M₂ ^R,...,M_k ^R}，其中M_k ^R＝(m_k1 ^R,m_k2 ^R,...,m_ki ^R)；对于h和t不相同的数据集要进行丢弃，并重复步骤1；

步骤3、采用皮尔逊相关系数度量多个任务训练集之间的相似性；

步骤4、创建CIFG-LSTM神经网络模型；

步骤5、用k个任务的样本集M^R同时训练CIFG-LSTM模型，并获得训练完成后的多任务CIFG-LSTM预测模型；

步骤6、将k个任务的样本集输入到步骤5训练的CIFG-LSTM模型中，得到k组预测能耗值，预测能耗值经过反归一化处理后的预测值与对应的k组真实值进行比较，如果至少有一组预测值和真实值的差值大于预先设定的误差范围，则重复步骤5，否则进行下一步；

步骤7、利用多任务CIFG-LSTM预测模型对综合能源智慧园区的多类能耗进行同时预测，并将得到的结果反归一化处理后作为多类能耗预测值。

本发明的特点还在于，

步骤3具体为：

1)根据皮尔逊积矩相关系数r的计算公式

即任务一的样本集M₁和任务二的样本集M₂之间的协方差和标准差的商；

2)根据所得皮尔逊积矩相关系数r判断两个任务之间的相似性，如果0.6≤r≤1,表明这两个任务相关性强，适用于本文提出的预测模型；如果0≤r＜0.6，表明这两个任务弱相关或无相关，需要丢弃此样本集，重新选择样本集。

步骤4具体为：

训练多任务CIFG-LSTM神经网络预测模型，分别需要计算遗忘门信息，即上一时刻的信息有哪些需要保留到下一时刻；输入门信息，即当前时刻输入的信息需要保留多少；以及输出门信息，即当前状态的信息有多少需要作为当前输出值输出；整个训练过程需要学习的参数有6组，分别是遗忘门的权重矩阵W_f和偏置项b_f、输入门的权重矩阵W_c和偏置项b_c、输出门的权重矩阵W_o和偏置项b_o；

1)首先计算遗忘门信息：f_t＝sigmoid(W_f[h_t-1,X_t]+b_f)，

其中，sigmoid是sigmoid函数，W_f是遗忘门的权重矩阵，h_t-1表示上一时刻输出，X_t表示当前输入、即数据集M，b_f是遗忘门的偏置项，[h_t-1,X_t]表示把上一时刻输出h_t-1和当前输入X_t连接；

2)计算输入门信息：

①创建新的候选值向量：g_t＝tanh(W_c[h_t-1,X_t]+b_c)；其中tanh表示tanh函数，W_c是输入门的权重，b_c是输入门的偏置项；

②确定更新信息:C_t＝f_t*C_t-1+(1-f_t)*g_t；其中f_t是第一步所得的遗忘门信息，表示需要丢弃的信息，C_t-1表示上一时刻的一个神经单元状态，1-f_t表示需要记住的信息，g_t表示新的候选值向量；

3)计算输出门信息：

①决定将要被输出的部分:o_t＝sigmoid(W_o[h_t-1+X_t]+b_o)；其中sigmoid表示sigmoid函数，W_o是输出门的权重，[h_t-1,X_t]表示把两个向量连接成一个更长的向量，b_o是输出门的偏置项；

②确定最终输出部分:h_t＝o_t*tanh(C_t)；其中o_t是要被输出的信息，tanh表示tanh函数，C_t表示当前时刻一个神经单元的状态。

步骤5所述训练CIFG-LSTM模型的过程如下：

(1)数据处理：同步输入训练数据，并进行标准化；

(2)定义如下超参数：输入的维度D＝1，

num_unrollings＝50，batch_size＝500，num_nodes＝[200,200,150]，其中，num_unrollings为与反向传播时间相关的超参数，用于优化LSTM模型；batch_size为单个时间步中考虑的数据样本数；num_nodes为每个cell中隐藏神经元的数量，默认定义三层LSTM；

(3)定义输入和输出，通过Sigmoid函数来调节需要添加到cell状态的值；

(4)定义隐藏层和输出层之间的权重和偏差；

(5)计算候选值

计算每层输出信息，将先前的输出与新输入合并为候选值；

(6)计算更新信息

使用tanh函数创建一个包含所有候选值的向量，输出值范围为[-1,1]，然后将步骤(3)cell状态的值乘以tanh函数创建的向量，然后将这些信息添加到下一个cell状态中；

(7)计算输出信息

再次使用tanh函数创建一个向量，将下一个cell预输出值缩放范围为[-1,1]，再次使用一个sigmoid函数使用当前输出和下一时刻输入的值生成一个过滤器，以便它可以调节需要从tanh创建的向量中输出的值，将此输出的值乘以tanh创建的向量，并将其作为输出发送出去，并发送到下个cell的隐藏层；

(8)循环第1～7步，直到输出损失率为0.4-0.5，精确度为训练数据真实值的90-95％时停止循环，得到最终模型。

本发明的有益效果是：

1.利用多任务框架，使多元能耗能够同时预测，充分利用能耗之间的紧密联系与相互作用，提高了预测精度和速度。

2.将LSTM的忘记门和输入门相结合，对需要忘记的旧信息和需要添加的新信息同时作出决定，简化了信息的“丢弃”和“更新过程”，默认需要忘记的信息以外的信息便是需要记忆的信息。降低了LSTM的复杂度保证准确度的同时，加快了模型训练速度。

附图说明

图1是本发明基于多任务神经网络的模型结构；

图2是本发明针对多任务神经网络改进的CIFG-LSTM神经网络结构图；

图3是本发明基于CIFG-LSTM算法和多任务学习框架的能耗预测方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明，具体流程结构如图3所示，

步骤1、获取建筑能耗数据样本集，采用“多个相似时间点数据平均”法补齐个别时间点遗缺的数据，具体方法如下：

对于某类能耗缺失数据x_i，设采集时间点为t_i，选定时间步长s，若样本点之间的时间间隔单位为小时，则s为24小时，若样本点之间的时间间隔单位为天，则s为30天，以此类推确定s大小。选择时间点为t_i±ns(n＝1,2,...)对应的样本点，其中t_i±ns的范围在第一个样本点和最后一个样本点对应的时间点范围内。

处理后的数据集结构为M＝{(m₁₁,m₂₁,...,m_k1),(m₁₂,m₂₂,...,m_k2)...(m_1i,m_2i,...,m_ki)}；其中下标k表示不同能耗类型，k∈N^*,i表示第几个样本值，i∈N^*。

步骤2、对于k种能耗类型构造出k个学习任务，即把步骤1得到的数据集划分为k类，即M'＝{(m₁₁,m₁₂,...,m_1i),(m₂₁,m₂₂,...,m_2i)...(m_k1,m_k2,...,m_ki)}，保证它们的时间步长h(即相邻数据集样本点之间的时间间隔)和初始时间t(即每个数据集第一个样本点的时间点)相同，并进行归一化处理，否则丢弃样本重复步骤1；归一化处理方式如下：

对数据集M_k'写成矩阵形式，如下：

其中下标k表示不同能耗类型，n为天数，t表示采集周期，比如1小时。采用线性函数归一化法对数据集进行归一化，经过归一化后变为矩阵

为变量M_k的最小值，

为变量的极差，经过式二变换后，所有数据集值均在0～1之间。

得到的数据集类型为M^R＝{M₁ ^R,M₂ ^R,...,M_k ^R},其中M_k ^R＝(m_k1 ^R,m_k2 ^R,...,m_ki ^R)，其中下标k表示不同能耗类型，k∈N^*,i表示第i个样本值，i∈N^*。

步骤3、采用皮尔逊相关系数度量多个任务训练集之间的相似性。

1)根据皮尔逊积矩相关系数r的计算公式

即任务一的样本集M₁和任务二的样本集M₂之间的协方差和标准差的商；

根据所得皮尔逊积矩相关系数r判断两个任务之间的相似性。如果0.6≤r≤1,表明这两个任务相关性强，适用于本文提出的预测模型；如果0≤r＜0.6，表明这两个任务弱相关或无相关，需要丢弃此样本集，重新选择样本集。对步骤2得到的k个任务的样本集运用皮尔逊积矩相关系数法进行两两比较，得到k个相关任务的样本集，否则重复步骤1。

步骤4、训练多任务CIFG-LSTM神经网络预测模型(如图1所示)，分别需要计算遗忘门信息，即上一时刻的信息有哪些需要保留到下一时刻；输入门信息，即当前时刻输入的信息需要保留多少；以及输出门信息，即当前状态的信息有多少需要作为当前输出值输出。整个训练过程需要学习的参数由6组，分别是遗忘门的权重矩阵W_f和偏置项b_f、输入门的权重矩阵W_c和偏置项b_c、输出门的权重矩阵W_o和偏置项b_o。

1)首先计算遗忘门信息：f_t＝sigmoid(W_f[h_t-1,X_t]+b_f)。sigmoid是sigmoid函数，W_f是遗忘门的权重矩阵，h_t-1表示上一时刻输出，X_t表示当前输入，即数据集M，b_f是遗忘门的偏置项。[h_t-1,X_t]表示把两个向量连接成一个更长的向量。

2)计算输入信息：

①创建新的候选值向量：g_t＝tanh(W_c[h_t-1,X_t]+b_c)；其中tanh表示tanh函数，W_c是输入门的权重，[h_t-1,X_t]表示把两个向量连接成一个更长的向量，b_c是输入门的偏置项。

②确定更新信息:C_t＝f_t*C_t-1+(1-f_t)*g_t；其中f_t是第一步所得的遗忘门信息，表示需要丢弃的信息，C_t-1表示上一时刻的一个神经单元状态，(1-f_t)表示需要记住的信息，g_t表示新的候选值向量，*表示按元素相乘。

3)计算输出信息：

①决定将要被输出的部分:o_t＝sigmoid(W_o[h_t-1+X_t]+b_o)；其中sigmoid表示sigmoid函数，W_o是输出门的权重，[h_t-1,X_t]表示把两个向量连接成一个更长的向量，b_o是输出门的偏置项。

②确定最终输出部分:h_t＝o_t*tanh(C_t)；其中o_t是要被输出的信息，tanh表示tanh函数，C_t表示当前时刻一个神经单元的状态。

训练多任务CIFG-LSTM预测模型的步骤如下：

(1)数据处理：同步输入数据，并进行标准化。

(2)定义超参数(根据实际情况自行调整)。D(输入的维度)＝1，num_unrollings(与反向传播时间(BPTT)相关的超参数，用于优化LSTM模型)＝50，batch_size(单个时间步中考虑的数据样本数)＝500，num_nodes(每个cell中隐藏神经元的数量，默认定义三层LSTM)＝[200,200,150]。

(3)定义输入和输出。通过Sigmoid函数来调节需要添加到cell状态的值，目的是作为一个滤波器过滤来自上一时刻输出和和当前输入的信息。

(4)定义隐藏层和输出层之间的权重和偏差。

(5)计算候选值。计算每层输出信息，将先前的输出与新输入合并为候选值。

(6)计算更新信息。使用tanh函数创建一个包含所有候选值的向量，输出值范围为[-1,1]。然后将调节滤波器的值(步骤3得到的值)乘以tanh函数创建的向量，然后将这些信息添加到下一个cell状态中。

(7)计算输出信息。再次使用tanh函数创建一个向量，将下一个cell预输出值缩放范围为[-1,1]。再次使用一个sigmoid函数使用当前输出和下一时刻输入的值生成一个过滤器，以便它可以调节需要从tanh创建的向量中输出的值。将此输出的值乘以tanh创建的向量，并将其作为输出发送出去，并发送到下个cell的隐藏层。

(8)循环第1～7步，直到输出损失率为0.4-0.5，精确度为训练数据真实值的90-95％时停止循环，得到最终模型。

训练CIFG-LSTM模型的伪代码如下：

#先前神经元状态prev_ct、先前隐藏状态prev_ht和当前输入input作为输入

def CIFG-LSTMCELL(prev_ct,prev_ht,input):

#把先前隐藏状态prev_ht和当前输入input合并成候选值combine

combin＝prev_ht+input

#把候选值combine输入遗忘层forget_layer，决定哪些不相关数据需要被忘记，需要被忘记的信息记为ft

ft＝forget_layer(combin)

#把需要忘记的信息之外的信息作为需要更新的信息输入输入层input_layer，决定需要添加进当前神经元的信息it

it＝input_layer(1-ft)

#更新当前神经元状态ct

ct＝prev_ct*ft+(1-ft)*it

#把combine输入输出层output_layer，计算输出ot

ot＝output_layer(combin)

#把输出和当前cell状态进行点乘，得到更新后的隐藏状态

ht＝ot*sigmoid(ct)

return ht,ct

ct＝[0,0,0]

ht＝[0,0,0]

#循环上述过程得到最终模型

for input in inputs:

ct,ht＝CIFG-LSTMCELL(ct,ht,input)。

步骤5、用k个任务的样本集M^R同时训练CIFG-LSTM模型，并获得训练完成后的多任务CIFG-LSTM预测模型(如图2所示)ht＝ot*tanh(C_t)，h_t即为输出结果矩阵。

步骤6、将k个任务的样本集输入到步骤5训练的CIFG-LSTM模型中，得到k组预测能耗值，预测能耗值经过反归一化处理后与对应的k组真实值进行比较，如果至少有一组预测值和真实值的差值大于预先设定的误差范围，则重复步骤5，否则进行下一步；

其中预先设定的误差范围一般控制在±14.2％，可以根据实际需要作修改；

步骤7、利用多任务CIFG-LSTM神经网络预测模型对综合能源智慧园区的多类能耗进行同时预测，并将得到的结果反归一化处理后作为综合能源智慧园区的多类能耗预测值。

Claims (1)

1.基于循环神经网络和多任务学习模型的建筑能耗预测方法，其特征在于，包括如下步骤：

步骤1、获取建筑能耗数据样本集，采用“多个相似时间点数据平均”法补齐个别时间点遗缺的数据，得到处理后数据集，数据集结构为M＝{(m₁₁,m₂₁,...,m_k1),(m₁₂,m₂₂,...,m_k2)...(m_1i,m_2i,...,m_ki)}；其中下标k表示不同能耗类型，k∈N^*,i表示第i个样本值，i∈N^*；

步骤2、根据k种能耗类型构造出k个学习任务，即把步骤1得到的数据集划分为k类，即M'＝{(m₁₁,m₁₂,...,m_1i),(m₂₁,m₂₂,...,m_2i)...(m_k1,m_k2,...,m_ki)}，保证构造的k个学习任务的时间步长h和初始时间t相同，并进行归一化处理，归一化后得到的数据集类型为M^R＝{M₁ ^R,M₂ ^R,...,M_k ^R}其中,M_k ^R＝(m_k1 ^R,m_k2 ^R,...,m_ki ^R)；对于k个学习任务中h和t不相同的数据集要进行丢弃，并重复步骤1；

步骤3、采用皮尔逊相关系数度量多个任务训练集之间的相似性；

步骤3具体为：

1)根据皮尔逊积矩相关系数r的计算公式

即任务一的样本集M₁和任务二的样本集M₂之间的协方差和标准差的商；

2)根据所得皮尔逊积矩相关系数r判断两个任务之间的相似性，如果0.6≤r≤1,表明这两个任务相关性强，适用于本文提出的预测模型；如果0≤r<0.6，表明这两个任务弱相关或无相关，需要丢弃此样本集，重新选择样本集；

步骤4、创建CIFG-LSTM神经网络模型；

步骤4具体为：

训练多任务CIFG-LSTM神经网络预测模型，分别需要计算遗忘门信息，即上一时刻的信息有哪些需要保留到下一时刻；输入门信息，即当前时刻输入的信息需要保留多少；以及输出门信息，即当前状态的信息有多少需要作为当前输出值输出；整个训练过程需要学习的参数有6组，分别是遗忘门的权重矩阵W_f和偏置项b_f、输入门的权重矩阵W_c和偏置项b_c、输出门的权重矩阵W_o和偏置项b_o；

1)计算遗忘门信息：f_t＝sigmoid(W_f[h_t-1,X_t]+b_f)，

其中，sigmoid是sigmoid函数，W_f是遗忘门的权重矩阵，h_t-1表示上一时刻输出，X_t表示当前输入、即数据集M，b_f是遗忘门的偏置项，[h_t-1,X_t]表示把上一时刻输出h_t-1和当前输入X_t连接；

2)计算输入门信息：

①创建新的候选值向量：g_t＝tanh(W_c[h_t-1,X_t]+b_c)；其中tanh表示tanh函数，W_c是输入门的权重，b_c是输入门的偏置项；

②确定更新信息:C_t＝f_t*C_t-1+(1-f_t)*g_t；其中f_t是第一步所得的遗忘门信息，表示需要丢弃的信息，C_t-1表示上一时刻的一个神经单元状态，1-f_t表示需要记住的信息，g_t表示新的候选值向量；

3)计算输出门信息：

①决定将要被输出的部分:o_t＝sigmoid(W_o[h_t-1+X_t]+b_o)；其中sigmoid表示sigmoid函数，W_o是输出门的权重，[h_t-1,X_t]表示把两个向量连接成一个更长的向量，b_o是输出门的偏置项；

②确定最终输出部分:h_t＝o_t*tanh(C_t)；其中o_t是要被输出的信息，tanh表示tanh函数，C_t表示当前时刻一个神经单元的状态；

步骤5、用k个任务的样本集M^R同时训练CIFG-LSTM模型，并获得训练完成后的多任务CIFG-LSTM预测模型；

步骤5所述训练CIFG-LSTM模型的过程如下：

(1)数据处理：同步输入训练数据，并进行标准化；

(2)定义如下超参数：输入的维度D＝1，

num_unrollings＝50，batch_size＝500，num_nodes＝[200,200,150]，其中，num_unrollings为与反向传播时间相关的超参数，用于优化LSTM模型；batch_size为单个时间步中考虑的数据样本数；num_nodes为每个cell中隐藏神经元的数量，默认定义三层LSTM；

(3)定义输入和输出，通过Sigmoid函数来调节需要添加到cell状态的值；

(4)定义隐藏层和输出层之间的权重和偏差；

(5)计算候选值

计算每层输出信息，将先前的输出与新输入合并为候选值；

(6)计算更新信息

使用tanh函数创建一个包含所有候选值的向量，输出值范围为[-1,1]，然后将步骤(3)cell状态的值乘以tanh函数创建的向量，然后将这些信息添加到下一个cell状态中；

(7)计算输出信息

再次使用tanh函数创建一个向量，将下一个cell预输出值缩放范围为[-1,1]，再次使用一个sigmoid函数使用当前输出和下一时刻输入的值生成一个过滤器，以便它可以调节需要从tanh创建的向量中输出的值，将此输出的值乘以tanh创建的向量，并将其作为输出发送出去，并发送到下个cell的隐藏层；

(8)循环第1～7步，直到输出损失率为0.4-0.5，精确度为训练数据真实值的90-95％时停止循环，得到最终模型；

步骤6、将k个任务的样本集输入到步骤5训练的CIFG-LSTM模型中，得到k组预测能耗值，预测能耗值经过反归一化处理后的预测值与对应的k组真实值进行比较，如果至少有一组预测值和真实值的差值大于预先设定的误差范围，则重复步骤5，否则进行下一步；

步骤7、利用多任务CIFG-LSTM预测模型对综合能源智慧园区的多类能耗进行同时预测，并将得到的结果反归一化处理后作为多类能耗预测值。

Images