CN112418526A - 基于改进深度信念网络的综合能源负荷控制方法及装置 - Google Patents

基于改进深度信念网络的综合能源负荷控制方法及装置 Download PDF

Info

Publication number
CN112418526A
CN112418526A CN202011325303.2A CN202011325303A CN112418526A CN 112418526 A CN112418526 A CN 112418526A CN 202011325303 A CN202011325303 A CN 202011325303A CN 112418526 A CN112418526 A CN 112418526A
Authority
CN
China
Prior art keywords
load
data
network
training
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011325303.2A
Other languages
English (en)
Inventor
王剑锋
王旭东
于海涛
王丹丹
孔祥玉
高毅
刘茂
项添春
郑剑
倪家明
董磊
韩淑军
刘鹏
贺小刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Sanyuan Electric Information Technology Co ltd
State Grid Tianjin Electric Power Co Ltd
Original Assignee
Tianjin Sanyuan Electric Information Technology Co ltd
State Grid Tianjin Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Sanyuan Electric Information Technology Co ltd, State Grid Tianjin Electric Power Co Ltd filed Critical Tianjin Sanyuan Electric Information Technology Co ltd
Priority to CN202011325303.2A priority Critical patent/CN112418526A/zh
Publication of CN112418526A publication Critical patent/CN112418526A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于改进深度信念网络的综合能源负荷控制方法及装置，方法包括：通过数据选择与预处理，使用自编码神经网络对历史数据进行聚合；利用高斯‑伯努利受限玻尔兹曼机构建改进的深度信念网络模型，同时基于最大似然估计进行网络模型的参数调整，并利用对比散度CD‑k算法加速RBM的训练过程；采用强化学习无监督训练对网络模型进行预训练；利用有限记忆微调网络对预测结果进行修正；由负荷数据训练得到输出数据，得到综合能源系统负荷的预测值，该预测值用于综合能源系统的负荷控制。装置包括：数据聚合模块、优化模块及预测模块。本发明能够充分挖掘历史负荷数据中的规律性，提高预测准确性，进而提高综合能源负荷控制的精度。

Description

基于改进深度信念网络的综合能源负荷控制方法及装置
技术领域
本发明涉及综合能源负荷控制领域，具体涉及基于改进深度信念网络的综合能源负荷控制方法及装置。
背景技术
在综合能源系统设计和运行中，对综合能源系统的负荷控制是其中的关键环节，将在需求侧响应、负荷控制策略与综合能源系统选址选型及定容等方面发挥重要作用。在用能侧，综合能源系统在考虑电负荷影响的同时，也要分析不同形式负荷(如电动汽车、油、热、气)对系统的影响[1]。诸多能源系统由能量转换单元(如电锅炉、热电联产机组等) 通过能量流的方式相互连接、耦合。
例如，电锅炉将电能转化为热能以及电能转换为天然气的电转气(power to gas,P2G) 技术；燃气锅炉完成天然气中的化学能转换为热能；地源热泵将电能转换为热能；热电联产机组消耗天然气产生电能与热能等等。但综合能源控制过程中可再生能源和负荷带来的不确定性会使调度方案偏离计划，甚至使计划完全崩溃。现有的方法是将可再生能源、电与热负荷以及交易电价等多种不确定性纳入系统运行模型，并通过多能协调应对不确定性。随机优化与鲁棒优化方法经常被应用于可再生能源发电调度与备用整定中以应对不确定性带来的波动。文献[2]针对安全约束的单元承诺问题，提出了一种两阶段自适应鲁棒单元承诺控制模型。同样受两阶段自适应鲁棒优化的启发，文献[3]遵循相似的思路，建立了一种考虑多能源间交易组合离散特性的先进控制模型，并使用列约束生成算法有效地解决了该问题。研究已表明，不对可再生能源或负荷进行任何预测，相较基于鲁棒优化的方法保守性降低，但此类方法的局限在于在线数据的超短周期调度难以解决综合能源负荷控制过程中基于离线信息的经济调度问题[4]。文献[5]针对含冷热电的综合能源调度问题，提出了一种多主体并行分布式自适应鲁棒优化模型，实现了联络线全局调度的鲁棒方案。然而，通常鲁棒优化从最糟糕的情况出发制定策略，获得的解较为保守。
在各能源系统相互耦合中，产生了大量能量转换共享信息，很难通过传统方法提取有效特征，如何通过机器学习与人工智能相关技术更加准确追踪综合能源系统多元负荷的变化趋势是亟待解决的问题。
发明内容
本发明提供了一种基于改进深度信念网络的综合能源负荷控制方法及装置，本发明能够充分挖掘历史负荷数据中的规律性，提高预测准确性，进而提高综合能源负荷控制的精度，详见下文描述：
一种基于改进深度信念网络的综合能源负荷控制方法，所述方法包括：
通过数据选择与预处理，使用自编码神经网络对历史数据进行聚合；
利用高斯-伯努利受限玻尔兹曼机构建改进的深度信念网络模型，同时基于最大似然估计进行网络模型的参数调整，并利用对比散度CD-k算法加速RBM的训练过程；
采用强化学习无监督训练对网络模型进行预训练；利用有限记忆微调网络对预测结果进行修正；
由负荷数据训练得到输出数据，得到综合能源系统负荷的预测值，该预测值用于综合能源系统的负荷控制。
其中，所述采用强化学习无监督训练对网络模型进行预训练具体为：将强化学习应用到深度信念网络中。
进一步地，所述利用有限记忆微调网络对预测结果进行修正具体为：
采用的负荷预测有限记忆微调网络由一个输入层、多个隐藏层和一个输出层构成，上一个隐藏层的输出作为下一个隐藏层的输入，输入层与隐藏层共同实现输入负荷数据时间相关性提取，最后一个隐藏层的输出为一维列向量，经线性回归得到处理后负荷数据的预测值；
在每一个时间步下，记忆单元通过基于门的机制选择是否更新上一时间步的记忆，门的激活函数采用非线性sigmoid函数，时间步t下隐藏层的激活值a＜t＞不仅与时间步t下输入的历史负荷值x＜t＞，上一时间步隐藏层激活值a＜t-1＞有关，还与本时间步下记忆单元状态c＜t＞有关；
通过有选择的更新记忆单元，c＜t＞的状态则反映深度网络所学习到的时间步之间的相关特性，时间步t下隐藏层的输出a＜t＞反映时间步t下的输入x＜t＞以及较长时间以前输入负荷数据共同结构性特征；采用FC层作为负荷预测值的输出，x,
Figure BDA0002794091000000021
分别是FC层的输入和输出，actv()是激活函数，采取线性函数作为激活函数。
一种基于改进深度信念网络的综合能源负荷控制装置，所述装置包括：
数据聚合模块：用于选择负荷数据并进行聚合；
优化模块：用于构建深度信念网络模型G-DBN；采用强化学习等无监督训练对模型进行预训练，利用有限记忆微调网络进行预测结果修正；
预测模块：用于将由负荷数据训练得到输出数据，得到综合能源系统负荷的预测值。
其中，所述优化模块包括：GB-RAM、BB-RAM和回归输出层，RBM由隐藏层和可见层构成，两层之间单元互相连接，但同层单元两两之间不存在链接。
进一步地，所述优化模块用于采用强化学习对模型记性预测，利用有限记忆微调网络进行预测结果修正，包括：采用强化学习对DBN进行预训练，在带训练RBM上面堆叠一层临时输出层，用于保证预测模型的完整性；利用有限记忆微调网络进行预测结果修正，确定模型拓扑结构。
本发明提供的技术方案的有益效果是：
1、本发明通过充分挖掘历史负荷数据中的规律性，然后将数据特征向量输入到多个用于两层稀疏自编码神经网络中进行特征融合，利用DBN模型进行负荷预测，并进行无监督训练对DBN模型进行预训练，最后利用有限记忆微调网络对预测结果进行修正，获取到最终的预测结果，提高了综合能源负荷控制的精度；
2、本发明可以更好地利用历史负荷数据的规律性，提高预测的效率，同时可充分考虑不同因素的影响提高了预测精度，满足了实际应用中对综合能源负荷控制的要求；
3、本发明利用自编码器对符合的历史数据进行聚合，利用多层受限玻尔兹曼机构成深度信念网络，并通过强化学习无监督训练模型，从而改善学习性能，提高预测精度；
4、本发明改进现有神经网络算法学习对历史数据利用的问题的同时提高了学习效率。仿真结果显示，相比于传统神经网络算法，本发明的预测准确性有所提高。
附图说明
图1为基于改进深度信念网络的综合能源负荷控制方法的流程图；
图2为自编码神经网络(AE)结构的示意图；
图3为Gibbs采样的说明示意图；
图4为改进的深度信念网络模型(G-DBN)模型流程图；
图5本发明所采用的单个有限记忆微调网络单元结构图；
图6为G-DBN模型与模型的第一个受限玻尔兹曼机(RBM)采用伯努利-伯努利受限玻尔兹曼机(BB-RBM)的DBN(B-DBN)模型的对比试验结果曲线图；
图7为选择常用的人工智能预测方法：BP神经网络、支持向量机(SVM)方法和传统DBN方法(强化学习预训练和基于梯度下降的标准BP算法)进行对比的曲线图；
图8为对比四种不同可再生能源并网比的方法预测结果柱状图；
图9为基于改进的深度信念网络的综合能源负荷控制装置的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例提供了一种基于改进深度信念网络的综合能源负荷控制方法，该DBN 的基本组件之一为RBM，RBM由隐藏层和可见层构成，该方法包括如下步骤：
101：通过数据选择与数据的预处理，使用自编码神经网络(AE)对历史数据进行聚合；
102：利用高斯-伯努利受限玻尔兹曼机(GB-RBM)构建改进的深度信念网络模型(G-DBN)，同时基于最大似然估计进行网络模型的参数调整，并利用对比散度CD-k算法加速RBM的训练过程；
103：采用强化学习无监督训练对网络模型进行预训练；
104：利用有限记忆微调网络对预测结果进行修正；
105：由负荷数据训练得到输出数据，得到综合能源系统负荷的预测值，该预测值用于综合能源系统的负荷控制。
实施例2
下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
一、选择负荷数据及利用AE对数据进行聚合
为使预测结果更加准确，考虑多种影响负荷的因素，包括：日期属性、天气数据、峰谷分时电价等需求侧管理信息，并将每一种数据类型详细划分，从而形成综合能源系统负荷预测模型的输入特征向量。然后，将特征向量放入自编码器中进行特征聚合，以实现对非线性数据的有效聚合。
201：对负荷数据的选择；
其中，负荷数据主要包括四组测量变量：天气数据(温度、降水量、风速和太阳辐射)，日类型数据，电量数据及分时电价。
①数据选择
非节假日：选取待预测日前若干天非节假日的数据作为训练样本集。节假日：采用常用的灰色关联投影法选取待预测日的相似日的数据。
计算Y0j与Yij间的关联度：
Figure BDA0002794091000000051
其中，λ为分辨系数，n为预测日的个数，m为关联系数的位置序号，Y0j为待预测日特征向量的第j个影响因素值，Yij为第i个样本的第j个影响因素值。
计算各影响因素所占的权重：
Figure BDA0002794091000000052
其中，Wj为第j个影响因素的权重值，
Figure BDA0002794091000000053
为第i个样本的第j个因素对应的灰色关联度值。
②数据预处理
数据归一化的目标是把有量纲数据变为无量纲数据，并将数据映射到0～1范围之内，这样可以提升预测模型的收敛速度。
Figure BDA0002794091000000054
其中，Xi为样本数据，
Figure BDA0002794091000000055
为Xi的归一化值，Xmax和Xmin分别是Xi的最大值和最小值。
202：利用AE对数据进行聚合
其中，自编码神经网络(AE)是一种三层的无监督神经网络，可以采取输入向量通过非线性映射在下一层中形成一个高级别概念。AE尝试近似相同的函数，因此使目标输出值接近输入值从而最小化预期的重建误差。图2是AE的基本架构。第一层是输入层，中间层是隐藏层，最后一层是输出层。AE网络可以通过激活功能进行从前一层到下一层的非线性转换。
其中，AE网络的学习过程包括两个阶段：编码器和解码器阶段。
编码器将输入转化为更抽象的特征向量，解码器从特征向量重建输入。编码器是前向传播过程。编码器需要训练{x(1),x(2),...,x(i)},x(i)∈Zn，非线性映射到隐藏层通过如下的sigmoid函数f(z)：
Figure BDA0002794091000000061
其中，f(z)为sigmoid函数值。
解码过程是重建输出中的输入层。重建的矢量{y(1),y(2),...,y(i)}可以由下式给出：
Figure BDA0002794091000000062
其中，W是这些不同层之间的权重向量，b是偏移量。{W，b}是编码器和解码器中可训练的参数，aj为中间层节点，
Figure BDA0002794091000000063
为第2层第i个节点的偏置项，
Figure BDA0002794091000000064
为第T层第j个节点与第T+1层第i个节点之间的连接参数权值大小，yi为激活函数。
在网络中，如果在隐藏层中节点输出为零或接近零，节点被认为是“不活跃的”，而当输出为1或接近1时，该节点被视为“活跃的”。为使隐藏层稀疏，需要使大部分节点在这个隐藏层中不活动。因此，稀疏性约束被强加于隐藏节点，公式如下：
Figure BDA0002794091000000065
其中，
Figure BDA0002794091000000066
是隐藏节点的平均激活值，变量m是训练次数，[aj(x(i))]表示第j层隐藏节点与第i层样品的活化值。
对于训练集，为了避免学习相同功能并提高捕获重要信息的能力，需要设置每个隐藏节点j的平均激活为零或接近零。因此，额外的惩罚因子是：
Figure BDA0002794091000000067
其中，ρ是稀疏参数，而KL(·)是Kullback-Leibler散度，被用来充当期望的和实际的分布的惩罚措施。如果
Figure BDA0002794091000000068
则
Figure BDA0002794091000000069
当
Figure BDA00027940910000000610
接近0或1时，KL-散度接近无穷。SAE成本函数可以由下式确定：
Figure BDA0002794091000000071
其中，J(W，b)是损失函数，旨在使产生输出编码器尽可能与输入等效。可以使用梯度下降算法来更新参数(W，b)，β为权重衰减项，S2为训练样本的个数，J(W,b；x(i),y(i)) 为SAE输入数据与输出数据的方差，λ为稀疏惩罚项的系数，
Figure BDA0002794091000000072
为第1层第i个节点与第T+1层第j个节点之间的连接参数权值大小，ST为第T层神经元个数，nT为神经网络隐含层的层数。
203：构建深度信念网络模型G-DBN
本方法中G-BEN由BB-RBM和GB-RBM两种RBM组成。
一、构建BB-RBM模型
对于伯努利RBM(Bernoulli-Bernoulli RBM，BB-RBM)，可见单元和隐藏单元均为二进制随机单元。其能量函数为：
E(v,h)＝-aTv-bTh-vTwh (式9)
其中，w、a和b是RBM的参数。模型被分为两组单元：v和h，它们的偏置对应a 和b，之间的相互作用通过w描述。
模型的联合概率分布根据能量函数定义为：
Figure BDA0002794091000000073
式中，Z＝∑v,he-E(v,h)为归一化因子。
“限制”是指RBM模型的同类节点之间不存在连接，这代表隐藏层单元(或者可见单元)之间条件独立性成立。在BB-RBM中，所有单位都是二进制随机单元，这意味着输入数据应该是二进制的，或者在0和1之间的实数值表示可见单元活跃或不活跃的概率。
每个单位的条件概率分布由其接收的输入的sigmoid函数给出：
Figure BDA0002794091000000081
Figure BDA0002794091000000082
式中，σ(x)＝1/(1+exp(-x))为sigmoid激活函数，ωij为边缘分布概率密度，bj为给定预测值，vi为实际值，hj为预测值。
二、构建GB-RBM模型
与BB-RBM不同的是，GB-RBM的能量函数被定义为：
Figure BDA0002794091000000083
其中，σ为v的高斯噪声的标准差。
模型的条件概率分布和BB-RBM相同，联合概率分布：
Figure BDA0002794091000000084
式中，vi取实值，服从均值为μ，方差为σ的高斯分布。
Gibbs采样
基于上述模型需要训练RBM即调整参数θ，以拟和给定的训练样本。最大似然估计是一种常用的模型参数的估计方法，应用到本方法中，就是寻找参数θ使得所有训练数据x在该分布下的概率最大，因此可以将RBM的训练问题转化为求解似然函数的最值问题。
给定一个训练集，对于每个训练样本的模型对数似然可以表示为：
Figure BDA0002794091000000085
其中，θ＝{b、a、W}，D是训练数据集，P为联合概率分布。
其梯度可表示为：
Figure BDA0002794091000000086
Figure BDA0002794091000000087
Figure BDA0002794091000000088
其中，EP*是经验分布P*下的x期望值，EP是模型分布P下的期望值。
虽然EP*[x·h]可以根据训练数据很容易地计算出来；但是EP[x·h]对应着v和h的所有可能性取值，需要遍历可见单位和隐性单位的所有可能的数值组合，且组合数目呈指数关系，因此很难直接计算得到。通常可以通过Gibbs采样(如图3)获得EP的无偏样本用于估计期望。
CD-k算法
为了加速RBM的训练过程，采用对比散度CD-k算法进行强化学习。由于CD-k算法中(k表示采样次数)，当k＝1时，即只进行一步吉布斯采样，就能达到很好的拟合效果。
故一般采用CD-1算法的形式，来拟合各参数的值。
Figure BDA0002794091000000091
式中，可视层v的重构为v*，根据重构的可视层v*所得隐藏层为h*。设学习效率为ε，经过对比散度算法对RBM进行训练后，权重矩阵W、可视层的偏置向量b、隐藏层的偏置向量c。
三、构建G-DBN模型
将DBN应用于复杂因素下的负荷预测问题中，其关键问题在于，如何构造合适的预测模型和如何对构造的预测模型进行有效的训练。本发明实施例中改进了图4所示的DBN模型，以适应于解决短期综合能源系统负荷预测问题。
G-DBN模型由一个GB-RBM、多个BB-RBM和一个回归输出层构成：
(1)将GB-RBM作为堆叠组成DBN的第一个RBM，以便将输入数据中的天气数据和负荷数据等连续型实值数据有效的转化成二进制数据；(2)因为BB-RBM适用于处理二进制数据(如黑白图像或编码后的文本)的建模过程，所以其他RBM均采用BB-RBM，实现对输入数据的特征提取；(3)最后一个RBM的隐藏层和输出层构成线性回归网络结构，将G-DBN提取的特征向量作为输入，通过线性激活函数处理得到时间间隔可以是15 分钟，30分钟或1小时的综合能源系统负荷时间序列y。
204：采用强化学习训练对模型进行预训练并利用有限记忆微调网络进行预测结果修正。
采用强化学习对DBN进行预训练，有效完成了语音识别的分类任务，同时为下一步的参数微调提供更优的参数基础。在混合预训练的过程中，待训练的RBM的上面需要堆叠一层临时输出层，保证预测模型的完整性。
1)强化学习预训练
强化训练是一种无监督学习技术，将强化学习应用到深度信念网络中。采用稀疏自动编码器模型作为深度学习中数据的预处理工具具有一定的代表性，稀疏自动编码器模型为：对稀疏自编码参数进行训练，在稀疏自编码模型中，寻找重构数据
Figure BDA0002794091000000101
使其接近原始数据a，即：
Figure BDA0002794091000000102
抽取M个训练样本，计算重构误差函数C：
Figure BDA0002794091000000103
其中，y为系数向量，
Figure BDA0002794091000000104
A＝[a1,a2,...,aH]，w为训练样本的权重系数，
Figure BDA0002794091000000105
为重构数据，通过优化公式：
Figure BDA0002794091000000106
来得到系数y和样本的权重系数w。
其中，
Figure BDA0002794091000000107
为稀疏性惩罚因子.
2)利用有限记忆微调网络对预测结果进行修正。
在逐层混合预训练为G-DBN模型提供了良好的网络参数之后，本发明实施例采用基于有限记忆预测结果修正微调技术，提升预测精度。
所采用的负荷预测有限记忆微调网络结构如图5所示，由一个输入层、多个隐藏层和一个输出层构成，上一个隐藏层的输出作为下一个隐藏层的输入，输入层与隐藏层共同实现输入负荷数据时间相关性提取，最后一个隐藏层的输出为一维列向量，经线性回归即得到处理后负荷数据的预测值。由于单元中记忆结构的引入，在每一个时间步下，记忆单元可以通过基于门的机制选择是否更新上一时间步的记忆。有限记忆网络单元中具体计算过程如下式所示，所构建的遗忘门、输入门、输出门，以及记忆单元状态分别如下：
Figure BDA0002794091000000111
Figure BDA0002794091000000112
Figure BDA0002794091000000113
Figure BDA0002794091000000114
Figure BDA0002794091000000115
(式24)中，输入门
Figure BDA0002794091000000116
与
Figure BDA0002794091000000117
做点乘，决定是否更新t时间步记忆单元状态，遗忘门
Figure BDA0002794091000000118
与c＜t-1＞做点乘，决定是否保留t-1时间步记忆单元原始状态。计算得到t时间步记忆单元状态c＜t＞后经过tanh非线性函数，与输出门
Figure BDA0002794091000000119
做点乘得到t时间步下隐藏层a＜t＞。式中Wf,Wu,Wc,Wo以及bf,bu,bc,bo为同一层所有有限记忆网络单元共有的参数，即为网络需要学习的部分，
Figure BDA00027940910000001110
即为控制记忆单元是否需要被更新、是否需要被设置为0、以及是否需要在激活向量中被反映的门结构。门的激活函数采用非线性sigmoid函数，因此函数值可以在(0,1)区间内充分光滑。有限记忆网络独特的记忆单元的设计使得梯度沿时间步反向传播过程中，在梯度传播到激活的遗忘门之前，关于记忆单元的梯度可以经过较长的时间步而不消失，因此与传统单BP网络相比，有限记忆网络可以学习到较长时间的相关性特征。
由于有限记忆网络单元的记忆结构，如式(5)所示，时间步t下隐藏层的激活值a＜t＞不仅与时间步t下的输入的历史负荷值x＜t＞，上一时间步隐藏层激活值a＜t-1＞有关，并且还与本时间步下记忆单元状态c＜t＞有关。通过有选择的更新记忆单元，c＜t＞的状态则反映深度网络所学习到的时间步之间的相关特性，因此时间步t下隐藏层的输出a＜t＞可以反映时间步t下的输入x＜t＞以及较长时间以前输入负荷数据共同结构性特征。
除了采用有限记忆网络层外，采用FC层作为负荷预测值的输出，如式(式6)所示，x,
Figure BDA0002794091000000121
分别是FC层的输入和输出，actv()是激活函数，由于负荷预测是一个回归问题，本文采取线性函数作为激活函数。
Figure BDA0002794091000000122
有限记忆网络的网络训练可以看成是一个有监督的特征学习过程的补充，根据不同的目标函数学习输入数据的不同特征，利用各个时间步有限记忆网络单元中的记忆结构，学习输入负荷时间序列中的时间相关特性，并反映到每一时间步的隐藏层向量a＜t＞中，而由于本发明最后一层采用基于线性激活函数的FC层，作为FC层输入的有限记忆网络单元隐藏层向量，则是有限记忆网络将输入负荷数据映射到高维空间的结果，即在高维空间中找到一个超平面，使得待预测负荷数据落在这个超平面上，提高了预测的精准性。
205：实验设置
负荷测试实验样本数据以中国某地区2016年1月至2017年12月的实际负荷数据为基础，数据包括四组主要的测量变量：天气数据(温度，降水量，风速和太阳辐射)、日类型数据、电量数据和分时电价数据(高峰时段为7：00～11：00，19：00～23：00；平常时段为11：00～19：00；低谷时段为23：00～次日7：00)。天气数据源自气象网站，采集频率为1h，负荷数据选用与天气数据对应的每小时的数据进行分析。
为了比较算法性能，在DBN的参数微调最常用的方法中，选用了BP神经网络等方法进行比较。“混合训练+BP微调”的优化策略的预测结果波动性最大，原因BP算法对于多层网络参数寻优易导致损失函数收敛到局部最优；本文所提供的方法较为平稳，是由于算法中考虑了数据回归，并在有限记忆的基础上加入了冲量项，在一定程度上起到加大搜索步长的效果，从而越过某些狭窄的局部极小值，达到更小的地方。
模型的评估和比较采用权重平均精度(weighted mean accuracy,WMA)、平均精度((mean accuracy,MA)以及平均绝对百分误差(mean absolute percentage error,MADE)。3个指标分别为:
WMA＝α1MA1+α2MA2...+αkMAk (式27)
MA＝1-MAPE (式28)
Figure BDA0002794091000000131
其中，N代表测量负荷的样本数，yl(k)和
Figure BDA0002794091000000132
分别表示为第k天的第1小时的量测负荷和预测负荷。电、热、气负荷的权重比例分别设为0.6，0.2，0.2。
206：性能评价
(1)网络结构对预测模型的影响
本发明实施例构建G-DBN模型进行短期综合能源系统负荷预测，是对GB-RBM处理实值数据的能力的信任。图6展示了G-DBN模型与模型的第一个RBM采用BB-RBM的 DBN(B-DBN)模型的对比试验结果。两种模型均进行预训练和BP微调进行模型参数寻优。
图6两种模型预测结果的比较。B-DBN预测效果的不稳定性是由于BB-RBM在处理实值数据时易于产生噪声的事实。相反，G-DBN的预测效果更好。
(2)不同预测方法比较
为了进一步验证本实施例的可行性，对2017年某地区综合能源系统四季的负荷进行了分别预测，训练样本集和测试样本集由待预测日前10个月的历史数据构成。选择常用的人工智能预测方法：BP神经网络、SVM方法和传统DBN方法进行对比。为了保证客观性，实验结果均为执行100次实验得到的平均值。
图7对不同方法的预测进行比较。四季的平均值为3.59％MAPE，小于其他三种方法。考虑到温度，光照强度和使用时间电价的影响，G-DBN可以更充分地利用多种影响因素和综合能源系统负荷之间的复杂关系。
随着可再生能源发电(主要为光伏发电、风电)的渗透率日益提高，某些国家已有超过20％的年度电力需求来自风能和太阳能，有些地区部分小时的光伏发电、风电的出力甚至超过负荷的50％，综合能源系统运行中的波动性和不确定性问题更加突出。为了验证本发明方法的泛化性能，获取可再生能源发电出力占比为30％左右、20％左右、10％左右的三个不同地区的负荷作为对比试验的输入样本，并以MAPE作为评价指标。
图8表明当可再生能源出力占比提高时，各方法的预测误差均会变大，BP和SVM变化较为明显，而DBN和G-DBN略有变化。这可能是因为随着可再生能源出力占比提高，综合能源系统运行更加不稳定，非线性负荷曲线更加复杂，深层网络拟合复杂非线性曲线的优势更加明显。
综合能源系统负荷预测是综合能源系统规划的重要组成部分，也是综合能源系统经济运行的基础，为配电网管理决策和运行方式提供了重要依据。本发明实施了提出了改进的深度信念网络的负荷预测算法，改进现有神经网络算法学习对历史数据利用的问题的同时提高了学习效率。仿真结果显示，相比于传统神经网络算法，基于改进的深度信念网络的算法的综合能源系统负荷预测预测准确性有所提高。
本发明实施例还提供一种基于改进的深度信念网络的综合能源系统负荷控制装置，用于执行上述实施例中所描述的综合能源系统负荷控制方法，结合图9所示，综合能源系统负荷控制装置包括：
数据聚合模块01：用于选择负荷数据并进行聚合；
优化模块02：用于构建深度信念网络模型G-DBN；采用强化学习等无监督训练对模型进行预训练，利用有限记忆微调网络进行预测结果修正；
预测模块03：用于将由负荷数据训练得到输出数据，得到综合能源系统负荷的预测值。
可选的，数据聚合模块01，还用于：综合考虑日期、天气、需求侧管理信息等各种影响负荷的因素，对每一种数据类型进行详细划分，形成综合能源系统负荷预测模型的输入特征向量；将所述特征向量特征输入到多个用于两层稀疏自编码神经网络中进行特征融合。
可选的，优化模块02，包括：GB-RAM、BB-RAM和回归输出层，RBM由隐藏层和可见层构成，两层之间单元互相连接，但同层单元两两之间不存在链接。
可选的，优化模块02，具体用于采用强化学习方法对模型记性预测，为给所述模型参数寻优，利用有限记忆微调网络进行预测结果修正，包括：采用强化学习对DBN进行预训练，可选的，寻优过程中，在带训练RBM上面堆叠一层临时输出层，以保证预测模型的完整性；利用有限记忆微调网络进行预测结果修正，确定模型拓扑结构。
可选的，预测模块03将由负荷数据训练得到输出数据，得到综合能源系统负荷的预测值。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
参考文献：
[1]张世翔,吕帅康.面向园区微电网的综合能源系统评价方法[J].电网技术,2018,42(08): 2431-2439.
[2]Bertsimas D,Litvinov E,Sun X A,et al.Adaptive Robust Optimizationfor the Security Constrained Unit Commitment Problem[J].IEEE Transactions onPower Systems,2013,28(1): 52-63.
[3]Zhang B,Li Q,Wang L,et al.Robust optimization for energytransactions in multi-microgrids under uncertainty[J].Applied Energy,2018,217:346-360.
[4]孔祥玉,李闯,郑锋,于力,马溪原.基于经验模态分解与特征相关分析的短期负荷预测方 [J].电力系统自动化，2019,43(5):46-52.
[5]Qiu H,Gu W,Xu Y,et al.Robustly Multi-Microgrid Scheduling:Stakeholder-Parallelizing Distributed Optimization[J].IEEE Transactions onSustainable Energy,2020,11(2):988-1001。

Claims (6)

1.一种基于改进深度信念网络的综合能源负荷控制方法，其特征在于，所述方法包括：
通过数据选择与预处理，使用自编码神经网络对历史数据进行聚合；
利用高斯-伯努利受限玻尔兹曼机构建改进的深度信念网络模型，同时基于最大似然估计进行网络模型的参数调整，并利用对比散度CD-k算法加速RBM的训练过程；
采用强化学习无监督训练对网络模型进行预训练；利用有限记忆微调网络对预测结果进行修正；
由负荷数据训练得到输出数据，得到综合能源系统负荷的预测值，该预测值用于综合能源系统的负荷控制。
2.根据权利要求1所述的一种基于改进深度信念网络的综合能源负荷控制方法，其特征在于，所述采用强化学习无监督训练对网络模型进行预训练具体为：将强化学习应用到深度信念网络中。
3.根据权利要求1所述的一种基于改进深度信念网络的综合能源负荷控制方法，其特征在于，所述利用有限记忆微调网络对预测结果进行修正具体为：
采用的负荷预测有限记忆微调网络由一个输入层、多个隐藏层和一个输出层构成，上一个隐藏层的输出作为下一个隐藏层的输入，输入层与隐藏层共同实现输入负荷数据时间相关性提取，最后一个隐藏层的输出为一维列向量，经线性回归得到处理后负荷数据的预测值；
在每一个时间步下，记忆单元通过基于门的机制选择是否更新上一时间步的记忆，门的激活函数采用非线性sigmoid函数，时间步t下隐藏层的激活值a＜t＞不仅与时间步t下输入的历史负荷值x＜t＞，上一时间步隐藏层激活值a＜t-1＞有关，还与本时间步下记忆单元状态c＜t＞有关；
通过有选择的更新记忆单元，c＜t＞的状态则反映深度网络所学习到的时间步之间的相关特性，时间步t下隐藏层的输出a＜t＞反映时间步t下的输入x＜t＞以及较长时间以前输入负荷数据共同结构性特征；采用FC层作为负荷预测值的输出，x,
Figure FDA0002794090990000011
分别是FC层的输入和输出，actv()是激活函数，采取线性函数作为激活函数。
4.一种基于改进深度信念网络的综合能源负荷控制装置，其特征在于，所述装置包括：
数据聚合模块：用于选择负荷数据并进行聚合；
优化模块：用于构建深度信念网络模型G-DBN；采用强化学习等无监督训练对模型进行预训练，利用有限记忆微调网络进行预测结果修正；
预测模块：用于将由负荷数据训练得到输出数据，得到综合能源系统负荷的预测值。
5.根据权利要求4所述的一种基于改进深度信念网络的综合能源负荷控制装置，其特征在于，
所述优化模块包括：GB-RAM、BB-RAM和回归输出层，RBM由隐藏层和可见层构成，两层之间单元互相连接，但同层单元两两之间不存在链接。
6.根据权利要求4所述的一种基于改进深度信念网络的综合能源负荷控制装置，其特征在于，
所述优化模块用于采用强化学习对模型记性预测，利用有限记忆微调网络进行预测结果修正，包括：采用强化学习对DBN进行预训练，在带训练RBM上面堆叠一层临时输出层，用于保证预测模型的完整性；利用有限记忆微调网络进行预测结果修正，确定模型拓扑结构。
CN202011325303.2A 2020-11-24 2020-11-24 基于改进深度信念网络的综合能源负荷控制方法及装置 Pending CN112418526A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011325303.2A CN112418526A (zh) 2020-11-24 2020-11-24 基于改进深度信念网络的综合能源负荷控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011325303.2A CN112418526A (zh) 2020-11-24 2020-11-24 基于改进深度信念网络的综合能源负荷控制方法及装置

Publications (1)

Publication Number Publication Date
CN112418526A true CN112418526A (zh) 2021-02-26

Family

ID=74776904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011325303.2A Pending CN112418526A (zh) 2020-11-24 2020-11-24 基于改进深度信念网络的综合能源负荷控制方法及装置

Country Status (1)

Country Link
CN (1) CN112418526A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177355A (zh) * 2021-04-28 2021-07-27 南方电网科学研究院有限责任公司 一种电力负荷预测方法
CN113177366A (zh) * 2021-05-28 2021-07-27 华北电力大学 一种综合能源系统规划方法、装置和终端设备
CN113297791A (zh) * 2021-05-18 2021-08-24 四川大川云能科技有限公司 一种基于改进dbn的风功率组合预测方法
CN113822475A (zh) * 2021-09-15 2021-12-21 浙江浙能技术研究院有限公司 抽汽供热机组辅机故障减负荷工况热负荷预测及控制方法
CN116561696A (zh) * 2023-01-11 2023-08-08 上海合煌能源科技有限公司 基于多维度的用户可调节负荷快速聚合方法及其系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015172560A1 (zh) * 2014-05-16 2015-11-19 华南理工大学 基于bp神经网络的中央空调冷负荷的预测方法
CN107730039A (zh) * 2017-10-10 2018-02-23 中国南方电网有限责任公司电网技术研究中心 配电网负荷预测的方法及系统
CN110580543A (zh) * 2019-08-06 2019-12-17 天津大学 一种基于深度信念网络的电力负荷预测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015172560A1 (zh) * 2014-05-16 2015-11-19 华南理工大学 基于bp神经网络的中央空调冷负荷的预测方法
CN107730039A (zh) * 2017-10-10 2018-02-23 中国南方电网有限责任公司电网技术研究中心 配电网负荷预测的方法及系统
CN110580543A (zh) * 2019-08-06 2019-12-17 天津大学 一种基于深度信念网络的电力负荷预测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张宇帆等: "基于深度长短时记忆网络的区域级超短期负荷预测方法", 《电网技术》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177355A (zh) * 2021-04-28 2021-07-27 南方电网科学研究院有限责任公司 一种电力负荷预测方法
CN113177355B (zh) * 2021-04-28 2024-01-12 南方电网科学研究院有限责任公司 一种电力负荷预测方法
CN113297791A (zh) * 2021-05-18 2021-08-24 四川大川云能科技有限公司 一种基于改进dbn的风功率组合预测方法
CN113297791B (zh) * 2021-05-18 2024-02-06 四川大川云能科技有限公司 一种基于改进dbn的风功率组合预测方法
CN113177366A (zh) * 2021-05-28 2021-07-27 华北电力大学 一种综合能源系统规划方法、装置和终端设备
CN113177366B (zh) * 2021-05-28 2024-02-02 华北电力大学 一种综合能源系统规划方法、装置和终端设备
CN113822475A (zh) * 2021-09-15 2021-12-21 浙江浙能技术研究院有限公司 抽汽供热机组辅机故障减负荷工况热负荷预测及控制方法
CN113822475B (zh) * 2021-09-15 2023-11-21 浙江浙能技术研究院有限公司 抽汽供热机组辅机故障减负荷工况热负荷预测及控制方法
CN116561696A (zh) * 2023-01-11 2023-08-08 上海合煌能源科技有限公司 基于多维度的用户可调节负荷快速聚合方法及其系统
CN116561696B (zh) * 2023-01-11 2024-04-16 上海合煌能源科技有限公司 基于多维度的用户可调节负荷快速聚合方法及其系统

Similar Documents

Publication Publication Date Title
Shamshirband et al. A survey of deep learning techniques: application in wind and solar energy resources
Ke et al. Short-term electrical load forecasting method based on stacked auto-encoding and GRU neural network
Wang et al. A review of wind speed and wind power forecasting with deep neural networks
CN110580543A (zh) 一种基于深度信念网络的电力负荷预测方法及系统
Chen et al. Short-term wind speed predicting framework based on EEMD-GA-LSTM method under large scaled wind history
Aslam et al. A survey on deep learning methods for power load and renewable energy forecasting in smart microgrids
Elsaraiti et al. Solar power forecasting using deep learning techniques
Almalaq et al. Evolutionary deep learning-based energy consumption prediction for buildings
CN112418526A (zh) 基于改进深度信念网络的综合能源负荷控制方法及装置
Sarmas et al. Short-term photovoltaic power forecasting using meta-learning and numerical weather prediction independent Long Short-Term Memory models
CN110570023B (zh) 一种基于sarima-grnn-svm的短期商业电力负荷预测方法
Li et al. A novel hybrid model for multi-step ahead photovoltaic power prediction based on conditional time series generative adversarial networks
Miraftabzadeh et al. High-resolution PV power prediction model based on the deep learning and attention mechanism
Shaikh et al. A new approach to seasonal energy consumption forecasting using temporal convolutional networks
CN115115125A (zh) 基于深度学习融合模型的光伏功率区间概率预测方法
Lee et al. Generative model-based hybrid forecasting model for renewable electricity supply using long short-term memory networks: A case study of South Korea's energy transition policy
Souabi et al. Data-driven prediction models of photovoltaic energy for smart grid applications
Liao et al. Scenario prediction for power loads using a pixel convolutional neural network and an optimization strategy
Huang et al. Short-Term PV Power Forecasting Based on CEEMDAN and Ensemble DeepTCN
Tayab et al. Solar photovoltaic power forecasting for microgrid energy management system using an ensemble forecasting strategy
Yang et al. A novel short-term load forecasting approach for data-poor areas based on K-MIFS-XGBoost and transfer-learning
Xu et al. A novel hybrid wind speed interval prediction model based on mode decomposition and gated recursive neural network
Prema et al. LSTM based Deep Learning model for accurate wind speed prediction
Kedia et al. Wind power uncertainties forecasting based on long short term memory model for short-term power market
Bai et al. Short-term probabilistic photovoltaic power forecast based on deep convolutional long short-term memory network and kernel density estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210226