CN114169639A - 一种企业用电量预测方法 - Google Patents

Abstract

本发明公开了一种企业用电量预测方法，包括以下步骤：1)数据采集；2)引入最大均值差异，进行相似度分析；3)迁移学习的长短期记忆网络建模；4)电量预测，利用步骤3)中的改进模型对目标域企业未来时刻电量进行预测。本发明有效解决了在电量预测时数据量不足的问题，节省模型训练时间，提高电量预测精度。

Description

一种企业用电量预测方法

技术领域

本发明涉及电力预测领域，特别是涉及一种企业用电量预测方法。

背景技术

电力预测是电力系统发电计划的重要组成部分，是对购电、发电、输电和电能分配等合理安排的必要前提，是电力系统经济运行的基础，企业生产管理的重要组成部分，是一种辅助和改善企业经济、环境等决策过程的有利工具。由于历史原因、技术水平等多方面因素，导致我国现有供电监管信息化水平普遍偏低，智慧化管理仍有较大差距。所以，用电量精准预测一直是电力管理部门面临的关键问题之一。

针对这一问题，现有技术中的预测模型都在力求精准地预测用电量，方法包括回归分析、趋势外推、滑动平均、机器学习、人工神经网络等，但前述方法均需要大量的预测样本，数据样本量的大小直接影响建模效果。在数据样本量较少的情况下难以得到较为准确的预测结果。

因此本领域技术人员致力于开发一种数据样本量较少时仍能准确的企业用电量预测方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种数据样本量较少时仍能准确的企业用电量预测方法。

为实现上述目的，本发明提供了一种企业用电量预测方法，包括以下步骤：

1)数据采集，确定一已知电量数据的企业，作为迁移学习的源域，为源域企业，收集源域企业历史电量数据，形成原始序列，作为迁移学习的源域，对历史电量信息中记录的电量时间序列标准化处理；

2)引入最大均值差异，将最大均值差异距离MMD作为判断源域企业和目标域企业电量数据的相似度度量，进行相似度分析；所述目标域企业为预测用电量的企业；

3)迁移学习的长短期记忆网络建模，将源域企业的历史电量数据作为输入，进行长短期记忆网络建模训练，在训练好模型的基础上，将MMD距离乘以权重因子λ，改进模型损失函数；

4)电量预测，利用步骤3)中的改进模型对目标域企业未来时刻电量进行预测。

较佳的，所述电量数据为至少连续一年的日用电量数据。

较佳的，所述步骤2)中的相似度分析方法如下：

假设源域企业s电量数据

的概率分布函数是P，目标域企业t电量数据

的概率分布函数是Q；令H表示再生核希尔伯特空间RKHS，φ(·):X→H表示原始特征空间映射到RKHS的映射函数，当n_s,n_t→∞时dX^(s)和X^(t)在RKHS中的最大均值差异为：

其中，n_s和n_t分别表示源域和目标域企业的样本数量；

即将求得的最大均值差异距离MMD为判断源域企业和目标域企业电量数据的相似度度量。

较佳的，所述步骤3)中迁移学习的长短期记忆网络建模方法为：

设置单层LSTM网络，设置记忆单元个数为120～170，迭代次数设置为150～250，选择sigmod函数控制遗忘门，输入门和输出门，tanh函数为激活函数，同时对LSTM神经网络和全连接层之间的连接进行Dropout操作，Dropout比率为0.2～0.3，采用深度学习方法中的Adam优化算法对不同的参数设定学习率到0.001～0.1之间，源域和目标域企业的电量数据数量级差异越大，学习率越低；使用平均绝对误差MAE和最大均值差异作为最终损失函数，将源域企业的电量数据作为输入，进行迁移学习的长短期记忆网络建模训练。

较佳的，所述步骤3)中迁移学习的长短期记忆网络建模方法为包括以下步骤：

31)遗忘门控制细胞历史状态信息的保留，激活函数使得遗忘门的输出值在[0,1]之间，当遗忘门输出为0的时候，表示将上一层状态的信息全部丢弃，为1的时候，表示上一层状态的信息全部保留；遗忘门的输入为上一层的输出h_t-1和当前层的输入x_t，通过sigmoid激活函数，得到遗忘门的输出f_t，数学表达式为：

f_t＝σ(W_f*[h_t-1,x_t]+b_f)

其中，σ为sigmoid激活函数，h_t-1为上一层的输出，x_t是当前层的输入，W_f是遗忘门的权重矩阵，b_f是遗忘门的偏置项；

32)输入门控制信息输入，生成补充信息；首先使用Sigmoid激活函数，负责处理当前序列位置的输入，输出为i_t，然后使用tanh激活函数，输出为细胞状态Ct，两者的结果后面会相乘再去更新细胞状态，数学表达式如下：

i_t＝σ(W_i*[h_t-1,x_t]+b_i)

C_t ＝tanh(W_C*[h_t-1,x_t]+b_C)

其中，W_i和b_i分别是输入门的权重矩阵和偏置项，W_C和b_C分别是细胞状态Ct的权重矩阵和偏置项；

33)更新信息，信息通过遗忘门和输入门得出的结果，需要进行更新状态。输出结果C_t由两部分组成，第一部分是C_t-1和步骤31)中遗忘门输出f_t的乘积，第二部分是步骤32)输入门的i_t和C_t 的乘积，计算公式如下所示：

C_t＝f_t*C_t-1+i_t*C_t

其中，C_t-1中为上一层的细胞状态；

34)输出门选择性输出，sigmoid层确定细胞状态的哪个部分将输出出去；把细胞状态通过tanh层进行处理，得到输出门的输出O_t，O_t值在-1到1之间，并将它和sigmoid门的输出相乘，得到最终输出结果h_t，计算公式如下：

O_t＝σ(W_o*[h_t-1,x_t]+b_O)

h_t＝O_t*tanh(C_t)

其中，W_o是输出门的权重矩阵，b_o是输出门的偏置项；

36)将MAE作为模型主要损失函数，在此基础上加入MMD距离，对LSTM基础模型进行优化，改进模型的损失函数，新的损失函数J：

其中λ表示权重因子，取值范围在0到50之间，用于权衡MMD距离与原始函数的比重；m为训练集样本大小；J₀为原始的损失函数；y_i为模型实际输出；z_t0为模型预测动态输出，当损失函数J达到最小时，对应取值的z_t0即为最终预测值。

较佳的，所述权重因子λ的取值范围在20到30之间。

较佳的，所述标准化处理为z-score标准化的处理。

本发明的有益效果是：本发明采用长短期记忆网络LSTM利用最大均值差异改进损失函数的迁移模型，仅采用1个长短期记忆网络LSTM进行建模，针对多家企业(源域企业和目标域企业)，对象上的不同，通过相似性分析评估源域和目标域企业的数据相似度，用最大均值差异MMD作为相似度指标，进而可以在源域企业已经训练好的模型的基础上，直接加入MMD进行改进，也能达到较好的预测精度，不需要重新对目标企业再次重新建模，节省了重新建模调参时间。在保持模型预测精度的基础上，节省模型训练时间。

进一步的，本发明与现有技术相比较，有以下优点：

1)模型参数调试具有自适应性；

2)迁移学习有效解决了电量预测数据量不足的问题，节省模型训练时间，提高电量预测精度；

3)通过引入最大均值差异度量相似度，减小训练样本与测试样本在子空间中的分布差异，能够有效提高迁移学习算法的预测精度；

4)为解决企业电力系统信息管理水平低提供了一种有效途径。

附图说明

图1是本发明一具体实施方式的流程示意图。

图2是本发明一具体实施方式的模型流程图。

图3是本发明一具体实施方式应用的仿真案例图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1和图2所示，一种企业用电量预测方法，包括以下步骤：

1)数据采集，确定一已知电量数据的企业，作为迁移学习的源域，为源域企业，收集源域企业历史电量数据，形成原始序列，作为迁移学习的源域，对历史电量信息中记录的电量时间序列标准化处理。本实施例中，电量数据为至少连续一年的日用电量数据，标准化处理为z-score标准化的处理。

2)引入最大均值差异，将最大均值差异距离MMD作为判断源域企业和目标域企业电量数据的相似度度量，进行相似度分析；所述目标域企业为预测用电量的企业。

假设源域企业s电量数据

的概率分布函数是P，目标域企业t电量数据

的概率分布函数是Q，令H表示再生核希尔伯特空间RKHS，φ(·):X→H表示原始特征空间映射到RKHS的映射函数，当n_s,n_t→∞时dX^(s)和X^(t)在RKHS中的最大均值差异为：

其中，n_s和n_t分别表示源域和目标域企业的样本数量；

即将求得的最大均值差异距离MMD为判断源域企业和目标域企业电量数据的相似度度量，在下一步骤中使用。

3)迁移学习的长短期记忆网络建模，将源域企业的历史电量数据作为输入，进行长短期记忆网络建模训练，在训练好模型的基础上，将MMD距离乘以权重因子λ，改进模型损失函数。

所述步骤3)中迁移学习的长短期记忆网络建模方法为：

设置单层LSTM网络，设置记忆单元个数为120～170，迭代次数设置为150～250，选择sigmod函数控制遗忘门，输入门和输出门，tanh函数为激活函数，同时对LSTM神经网络和全连接层之间的连接进行Dropout操作，Dropout比率为0.2～0.3，采用深度学习方法中的Adam优化算法对不同的参数设定学习率到0.001～0.1之间，源域和目标域企业的电量数据数量级差异越大，学习率越低。使用平均绝对误差MAE和最大均值差异作为最终损失函数，将源域企业的电量数据作为输入，进行迁移学习的长短期记忆网络建模训练。

采用本方法，具体对一具体企业进行预测，记忆单元个数为150，迭代次数设置为200，Dropout比率为0.3，即随机失活30％的连接。

具体包括以下步骤：

31)遗忘门控制细胞历史状态信息的保留，激活函数使得遗忘门的输出值在[0,1]之间，当遗忘门输出为0的时候，表示将上一层状态的信息全部丢弃，为1的时候，表示上一层状态的信息全部保留；遗忘门的输入为上一层的输出h_t-1和当前层的输入x_t，通过sigmoid激活函数，得到遗忘门的输出f_t，数学表达式为：

f_t＝σ(W_f*[h_t-1,x_t]+b_f)

其中，σ为sigmoid激活函数，h_t-1为上一层的输出，x_t是当前层的输入，W_f是遗忘门的权重矩阵，b_f是遗忘门的偏置项；

32)输入门控制信息输入，生成补充信息；首先使用Sigmoid激活函数，负责处理当前序列位置的输入，输出为i_t，然后使用tanh激活函数，输出为C_t ，两者的结果后面会相乘再去更新细胞状态，数学表达式如下：

i_t＝σ(W_i*[h_t-1,x_t]+b_i)

C_t ＝tanh(W_C*[h_t-1,x_t]+b_C)

其中，W_i和b_i分别是输入门的权重矩阵和偏置项，W_C和b_C分别是细胞状态Ct的权重矩阵和偏置项；

33)更新信息，信息通过遗忘门和输入门得出的结果，需要进行更新状态。输出结果C_t由两部分组成，第一部分是C_t-1和步骤31)中遗忘门输出f_t的乘积，第二部分是步骤32)输入门的i_t和C_t 的乘积，计算公式如下所示：

C_t＝f_t*C_t-1+i_t*C_t

其中，C_t-1中为上一层的细胞状态；

34)输出门选择性输出，sigmoid层确定细胞状态的哪个部分将输出出去；把细胞状态通过tanh层进行处理，得到输出门的输出O_t，O_t值在-1到1之间，并将它和sigmoid门的输出相乘，得到最终输出结果h_t，计算公式如下：

O_t＝σ(W_oh_t-1+U_Ox_t+b_O)

h_t＝O_t*tanh(C_t)

其中，W_o是输出门的权重矩阵，b_o是输出门的偏置项；

35)将MAE作为模型主要损失函数，在此基础上加入MMD距离，对LSTM基础模型进行优化，改进模型的损失函数，新的损失函数J：

其中λ表示权重因子，取值范围在0到50之间，用于权衡MMD距离与原始函数的比重；主要作用是控制源领域与目标领域在全连接层的分布差异，验证集偏差随权重因子λ的增加先减小后增大，本发明中，优化的，权重因子λ的取值范围在20到30之间最好，具体在如图3中的实施例，取值25。m为训练集样本大小；J₀为原始的损失函数；y_i为模型实际输出；z_t0为模型预测动态输出，当损失函数J达到最小时，对应取值的z_t0即为最终预测值。

采用本方法对一目标企业进行预测后，其预测结果与实际用电量如图3所示，充分显示了采用本方法具有较高预测精度，同时有效解决了数据量不足的问题，节省模型训练时间。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (7)

1.一种企业用电量预测方法，其特征是，包括以下步骤：

1)数据采集，确定一已知电量数据的企业，作为迁移学习的源域，为源域企业，收集源域企业历史电量数据，形成原始序列，作为迁移学习的源域，对历史电量信息中记录的电量时间序列标准化处理；

2)引入最大均值差异，将最大均值差异距离MMD作为判断源域企业和目标域企业电量数据的相似度度量，进行相似度分析；所述目标域企业为预测用电量的企业；

3)迁移学习的长短期记忆网络建模，将源域企业的历史电量数据作为输入，进行长短期记忆网络建模训练，在训练好模型的基础上，将MMD距离乘以权重因子λ，改进模型损失函数；

4)电量预测，利用步骤3)中的改进模型对目标域企业未来时刻电量进行预测。

2.如权利要求1所述的企业用电量预测方法，其特征是：所述电量数据为至少连续一年的日用电量数据。

3.如权利要求3企业用电量预测方法，其特征是：所述步骤2)中的相似度分析方法如下：

假设源域企业s电量数据

的概率分布函数是P，目标域企业t电量数据

的概率分布函数是Q；令H表示再生核希尔伯特空间RKHS，φ(·):X→H表示原始特征空间映射到RKHS的映射函数，当n_s,n_t→∞时dX^(s)和X^(t)在RKHS中的最大均值差异为：

其中，n_s和n_t分别表示源域和目标域企业的样本数量；

即将求得的最大均值差异距离MMD为判断源域企业和目标域企业电量数据的相似度度量。

4.如权利要求3企业用电量预测方法，其特征是，所述步骤3)中迁移学习的长短期记忆网络建模方法为：

设置单层LSTM网络，设置记忆单元个数为120～170，迭代次数设置为150～250，选择sigmod函数控制遗忘门，输入门和输出门，tanh函数为激活函数，同时对LSTM神经网络和全连接层之间的连接进行Dropout操作，Dropout比率为0.2～0.3，采用深度学习方法中的Adam优化算法对不同的参数设定学习率到0.001～0.1之间，源域和目标域企业的电量数据数量级差异越大，学习率越低；使用平均绝对误差MAE和最大均值差异作为最终损失函数，将源域企业的电量数据作为输入，进行迁移学习的长短期记忆网络建模训练。

5.如权利要求4所述的企业用电量预测方法，其特征是，所述步骤3)中迁移学习的长短期记忆网络建模方法为包括以下步骤：

31)遗忘门控制细胞历史状态信息的保留，激活函数使得遗忘门的输出值在[0,1]之间，当遗忘门输出为0的时候，表示将上一层状态的信息全部丢弃，为1的时候，表示上一层状态的信息全部保留；遗忘门的输入为上一层的输出h_t-1和当前层的输入x_t，通过sigmoid激活函数，得到遗忘门的输出f_t，数学表达式为：

f_t＝σ(W_f*[h_t-1,x_t]+b_f)

其中，σ为sigmoid激活函数，h_t-1为上一层的输出，x_t是当前层的输入，W_f是遗忘门的权重矩阵，b_f是遗忘门的偏置项；

32)输入门控制信息输入，生成补充信息；首先使用Sigmoid激活函数，负责处理当前序列位置的输入，输出为i_t，然后使用tanh激活函数，输出为细胞状态Ct，两者的结果后面会相乘再去更新细胞状态，数学表达式如下：

i_t＝σ(W_i*[h_t-1,x_t]+b_i)

C_t ＝tanh(W_C*[h_t-1,x_t]+b_C)

其中，W_i和b_i分别是输入门的权重矩阵和偏置项，W_C和b_C分别是细胞状态Ct的权重矩阵和偏置项；

33)更新信息，信息通过遗忘门和输入门得出的结果，需要进行更新状态。输出结果C_t由两部分组成，第一部分是C_t-1和步骤31)中遗忘门输出f_t的乘积，第二部分是步骤32)输入门的i_t和C_t 的乘积，计算公式如下所示：

C_t＝f_t*C_t-1+i_t*C_t

其中，C_t-1中为上一层的细胞状态；

34)输出门选择性输出，sigmoid层确定细胞状态的哪个部分将输出出去；把细胞状态通过tanh层进行处理，得到输出门的输出O_t，O_t值在-1到1之间，并将它和sigmoid门的输出相乘，得到最终输出结果h_t，计算公式如下：

O_t＝σ(W_o*[h_t-1,x_t]+b_O)

h_t＝O_t*tanh(C_t)

其中，W_o是输出门的权重矩阵，b_o是输出门的偏置项；

35)将MAE作为模型主要损失函数，在此基础上加入MMD距离，对LSTM基础模型进行优化，改进模型的损失函数，新的损失函数J：

其中λ表示权重因子，取值范围在0到50之间，用于权衡MMD距离与原始函数的比重；m为训练集样本大小；J₀为原始的损失函数；y_i为模型实际输出；z_t0为模型预测动态输出，当损失函数J达到最小时，对应取值的z_t0即为最终预测值。

6.如权利要求5所述的企业用电量预测方法，其特征是，所述权重因子λ的取值范围在20到30之间。

7.如权利要求1所述的企业用电量预测方法，其特征是，所述标准化处理为z-score标准化的处理。

Images