CN114970369A - 一种基于多任务学习的综合能源系统多元负荷预测方法 - Google Patents
一种基于多任务学习的综合能源系统多元负荷预测方法 Download PDFInfo
- Publication number
- CN114970369A CN114970369A CN202210691561.5A CN202210691561A CN114970369A CN 114970369 A CN114970369 A CN 114970369A CN 202210691561 A CN202210691561 A CN 202210691561A CN 114970369 A CN114970369 A CN 114970369A
- Authority
- CN
- China
- Prior art keywords
- energy system
- load prediction
- prediction method
- comprehensive energy
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 31
- 238000005070 sampling Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 10
- 238000011161 development Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 230000001939 inductive effect Effects 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000001816 cooling Methods 0.000 description 3
- 238000004880 explosion Methods 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000288105 Grus Species 0.000 description 1
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 1
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/08—Probabilistic or stochastic CAD
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Optimization (AREA)
- Molecular Biology (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Probability & Statistics with Applications (AREA)
- Tourism & Hospitality (AREA)
- Algebra (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
Abstract
本发明公开了一种基于多任务学习的综合能源系统多元负荷预测方法包括：基于多任务学习(MTL)的综合能源系统(IES)搭建多元负荷预测模型；采用门控循环单元(GRU)构建多任务学习共享层，利用贝叶斯优化算法(BOA)实现GRU超参数的优化选择；利用Attention机制实现不同子任务对共享层中重要特征的差异化提取，实现精准预测负荷值。本发明提供的一种基于多任务学习的综合能源系统多元负荷预测方法，所提供的多任务学习模型可以有效提升IES冷热电负荷的预测精度。
Description
技术领域
本发明涉及综合能源系统多元负荷预测领域，尤其涉及一种基于多任务学习的综合能源系统多元负荷预测方法。
背景技术
随着社会经济的快速发展，能源利用与环境保护的协调发展面临重大挑战。由于分布不均、利用效率低、环境污染等缺点，独立规划、运行的传统单一能源系统已不能满足绿色用能、低碳环保的需要。在此基础上，强调多能源互补和清洁高效的综合能源系统(integrated energy system，IES)应运而生。IES作为一种基于多能利用、转换和传输技术的新型能源供应模式，通过冷、热、电等多种能源形式的耦合，实现多种能源类型的灵活转换、高效分配和有机协调。准确的负荷预测是IES安全经济运行与优化管理的的前提。
目前，针对单一负荷预测已取得较多成果。在电力负荷预测方面，多元线性回归(MLP)、整合移动平均自回归模型(ARIMA)、人工神经网络(ANN)、支持向量回归(SVR)、长短时记忆神经网络(LSTM)等常被用于电力负荷预测。Nie H等人使用ARIMA模型预测负荷的线性基本部分，然后使用SVR预测负荷的非线性敏感部分。Kong W等人提出了一种基于LSTM网络的短期电力负荷预测框架，并在一组真实的公共住宅智能电表数据上进行了测试，取得了较高的预测精度。在冷/热负荷预测方面，建筑能耗模拟软件、机器学习等数据挖掘方法都有一定程度的应用。张保民等人利用TRNSYS软件对某区域供冷系统用户逐时动态冷负荷进行模拟。Ling J等人采用反向传播神经网络(BPNN)模型和支持向量回归(SVR)模型来预测建筑热负荷需求。HuangY等人使用蚁群优化算法(ACO)和小波神经网络(WNN)预测住宅建筑冷负荷和热负荷的值。然而，由于忽略了不同能量之间的耦合特性，这些方法不能直接应用于IES多元负荷预测。
因此，本发明提出一种基于多任务学习的综合能源系统多元负荷预测模型。首先，该模型将冷热电负荷历史数据、气象数据及日历规则等输入到基于MTL搭建的GRU深度学习模型中，通过信息共享的方式提取多元负荷间的复杂耦合特征，同时利用BOA实现GRU超参数的优化选择。接着，使用Attention实现各个子任务对共享特征中重要信息的差异化选择。最后，通过实际案例验证所提模型的有效性。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的技术问题是：现有的综合能源系统多元负荷预测模型大多是单一预测模型，忽略了不同能量之间的耦合特性，限制了预测精度的进一步提升。
为解决上述技术问题，本发明提供如下技术方案：一种基于多任务学习的综合能源系统多元负荷预测方法，包括：
基于多任务学习(MTL)的综合能源系统搭建多元负荷预测模型；
采用门控循环单元(GRU)构建多任务学习共享层，利用贝叶斯优化算法(BOA)实现GRU超参数的优化选择；
利用Attention机制实现不同子任务对共享层中重要特征的差异化提取，实现精准预测负荷值。
作为本发明所述的一种基于多任务学习的综合能源系统多元负荷预测方法的一种优选方案，其中：MTL是一种经典的归纳迁移机制，旨在提高模型输出的准确性，增强泛化能力；所述MTL包括：
一组任务
yt(t∈T)
数据集
其中，T和N分别代表任务和数据样本的数量，
表示第i个数据点的第t个任务的标签。
作为本发明所述的一种基于多任务学习的综合能源系统多元负荷预测方法的一种优选方案，其中还包括：
所述预测函数定义为
ft(x；θsh,θt):x→yt
其中θsh代表不同任务共享的参数，θt是任务相关参数。
MTL的整体优化损失函数定义为
其中，wt代表权重系数，
是损失函数。
作为本发明所述的一种基于多任务学习的综合能源系统多元负荷预测方法的一种优选方案，其中：将模型的输入信息归一化并作为所提出模型的训练集、验证集和测试集。
作为本发明所述的一种基于多任务学习的综合能源系统多元负荷预测方法的一种优选方案，其中：归一化可以防止训练过程中的梯度爆炸，提高网络训练的有效性；所述归一化公式表示为：
其中，X是标准化前的数据，X′是对应的归一化数据，Xmin和Xmax是序列中的最小值和最大值。
作为本发明所述的一种基于多任务学习的综合能源系统多元负荷预测方法的一种优选方案，其中：GRU有两个门结构，更新门和重置门；更新门控制在当前状态中保留多少来自前一时刻的状态信息，而重置门确定当前状态是否要与先前信息结合；所述GRU的整个过程表示为：
zt＝σ(W(z)xt+U(z)ht-1)
rt＝σ(W(r)xt+U(r)ht-1)
其中，xt是隐藏层在时间t的输入，ht是当前层在时间t的输出，ht-1是在时间t-1的输出，zt和rt是更新门和重置门，
表示前一时刻的输入xt和输出ht-1的集合。σ和tanh表示激活函数；U(z)和W(z)是更新门中的训练参数矩阵，U(r)和W(r)是复位门中的训练参数矩阵，U和W是获取
过程中的训练参数矩阵。
作为本发明所述的一种基于多任务学习的综合能源系统多元负荷预测方法的一种优选方案，其中：贝叶斯优化的基本思想是利用贝叶斯定理估计目标函数的后验分布，然后根据分布选择下一个样本的超参数组合。该方法充分利用之前采样点的采样结果完善目标函数的形状，从而找到全局最优超参数；设X＝x1,x2,…xn为一组超参数组合，f(x)为超参数x的目标函数，所述贝叶斯优化的原理表示为：
作为本发明所述的一种基于多任务学习的综合能源系统多元负荷预测方法的一种优选方案，其中：所述BOA还包括：
选择一个均值大的点作为采样点称为开发，选择一个方差大的点作为采样点称为探索；选择期望改进函数(EI)作为采样函数，表示为：
其中，f(x*)为当前最大值，μ为平均值，σ为标准差，Φ为正态累积分布函数，c用于平衡开发和探索比例。
作为本发明所述的一种基于多任务学习的综合能源系统多元负荷预测方法的一种优选方案，其中：注意力机制使模型能够更加关注有效特征，并以有限的资源捕获最有用的信息；所述Attention层注意力机制表示为：
et＝u tanh(wht+b)
其中，et表示由GRU输出向量ht在时刻t确定的注意力概率分布的值，u和w是权重系数，b是偏置系数，St表示注意力层在时间t的输出。
作为本发明所述的一种基于多任务学习的综合能源系统多元负荷预测方法的一种优选方案，其中：选择平均绝对百分比误差、均方根误差两个指标评价模型的预测效果；平均绝对百分比误差和均方根误差越小，模型的预测精度越高；所述指标表示为：
平均百分比误差
均方根误差
其中，yi代表实际负荷值，y′i代表预测负荷值，N代表样本总数。
本发明的有益效果：本发明提供的一种基于多任务学习的综合能源系统多元负荷预测方法，运用门控循环单元(GRU)建立多任务学习的共享层，并利用贝叶斯优化算法(BOA)实现GRU超参数的优化选择；然后，使用注意力机制(Attention)实现不同子任务对共享层中重要特征的差异化提取；通过与其他预测模型进行对比分析得出，本发明所提供的多任务学习模型可以有效提升综合能源系统(IES)冷热电负荷的预测精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明一个实施例提供的一种基于多任务学习的综合能源系统多元负荷预测方法的负荷预测流程图；
图2为本发明一个实施例提供的一种基于多任务学习的综合能源系统多元负荷预测方法的多任务学习结构图；
图3为本发明一个实施例提供的一种基于多任务学习的综合能源系统多元负荷预测方法的GRU结构图；
图4为本发明一个实施例提供的一种基于多任务学习的综合能源系统多元负荷预测方法的注意力机制图；
图5为本发明一个实施例提供的一种基于多任务学习的综合能源系统多元负荷预测方法的电负荷预测结果；
图6为本发明一个实施例提供的一种基于多任务学习的综合能源系统多元负荷预测方法的冷负荷预测结果；
图7为本发明一个实施例提供的一种基于多任务学习的综合能源系统多元负荷预测方法的热负荷预测结果。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1—4，为本发明的一个实施例，提供了一种基于多任务学习的综合能源系统多元负荷预测方法，包括：
S1：基于多任务学习(MTL)的综合能源系统搭建多元负荷预测模型；
更进一步的，MTL是一种经典的归纳迁移机制，旨在提高模型输出的准确性，增强泛化能力；MTL结构如图2所示，包括：
一组任务
yt(t∈T)
数据集
其中，T和N分别代表任务和数据样本的数量，
表示第i个数据点的第t个任务的标签。
应说明的是，IES结构复杂，不同的能源系统通过能量转换元件(CCHP、热泵等)的能量流形式进行耦合。因此，IES输出的冷热电负荷数据中存在大量关于能量转换的共享信息，这些能量转换特征难以用传统的人工特征方法提取。而MTL通过共享信息来学习和获取多个相关问题的知识，能够有效利用IES的复杂的能量转换共享信息。
更进一步的，预测函数定义为
ft(x；θsh,θt):x→yt
其中θsh代表不同任务共享的参数，θt是任务相关参数。
更进一步的，MTL的整体优化损失函数定义为
其中，wt代表权重系数，
是损失函数。
应说明的是，此为多任务学习模型训练的目标——最小化损失函数。
更进一步的，将模型的输入信息归一化并作为所提出模型的训练集、验证集和测试集。
应说明的是，受测量设备特性、能源供应约束等因素影响，冷热电负荷数据在采集或者传输过程中可能会出现数据缺失、异常波动等问题。如果直接使用原始数据，将会有太多的干扰因素。因此，为了保证数据的准确性和完整性，将缺失值和异常值用该点前后对应时间点的平均值进行填充和替换。
更进一步的，归一化可以防止训练过程中的梯度爆炸，提高网络训练的有效性；所述归一化公式表示为：
其中，X是标准化前的数据，X′是对应的归一化数据，Xmin和Xmax是序列中的最小值和最大值。
应说明的是，由于各个变量单位不同，数值范围跨度也较大，直接使用清洗后的数据进行预测，网络的整体映射效果可能会扭曲。因此，有必要对输入序列进行归一化。
S2：采用门控循环单元(GRU)构建多任务学习共享层，利用贝叶斯优化算法(BOA)实现GRU超参数的优化选择；
更进一步的，GRU有两个门结构，更新门和重置门；更新门控制在当前状态中保留多少来自前一时刻的状态信息，而重置门确定当前状态是否要与先前信息结合；GRU的基本机构如图3所示，整个过程表示为：
zt＝σ(W(z)xt+U(z)ht-1)
rt＝σ(W(r)xt+U(r)ht-1)
其中，xt是隐藏层在时间t的输入，ht是当前层在时间t的输出，ht-1是在时间t-1的输出，zt和rt是更新门和重置门，
表示前一时刻的输入xt和输出ht-1的集合。σ和tanh表示激活函数；U(z)和W(z)是更新门中的训练参数矩阵，U(r)和W(r)是复位门中的训练参数矩阵，U和W是获取
过程中的训练参数矩阵。
应说明的是，循环神经网络(RNN)是一种具有记忆能力的神经网络(NN)，擅长处理非线性序列数据。然而，RNN在处理长期依赖关系时容易陷入梯度消失、梯度爆炸等问题。因此，在1997年Hochreiter等人提出了长短时记忆(LSTM)神经网络。基于RNN的结构，LSTM网络通过添加遗忘门、输入门和输出门来学习时间序列中的长期和短期依赖信息。作为LSTM的一种变体，GRU在结构上与LSTM相似，不同之处在于GRU与LSTM相比减少了内部隐藏状态和相关的门结构。LSTM有三个门，而GRU只有两个门结构，即更新门和重置门。
更进一步的，贝叶斯优化的基本思想是利用贝叶斯定理估计目标函数的后验分布，然后根据分布选择下一个样本的超参数组合。该方法充分利用之前采样点的采样结果完善目标函数的形状，从而找到全局最优超参数；设X＝x1,x2,…xn为一组超参数组合，f(x)为超参数x的目标函数，所述贝叶斯优化的原理表示为：
应说明的是，超参数的选择在许多深度学习算法中至关重要，传统的优化方法，如网格搜索、随机搜索等，在超参数较多的情况下往往效率低下，不仅耗费大量时间，而且效果不佳。BOA作为一种新兴的超参数优化方法，可以有效地搜索可能的超参数空间，其比网格搜索和随机搜索方法更有效。
更进一步的，选择一个均值大的点作为采样点称为开发，选择一个方差大的点作为采样点称为探索；选择期望改进函数(EI)作为采样函数，表示为：
其中，f(x*)为当前最大值，μ为平均值，σ为标准差，Φ为正态累积分布函数，c用于平衡开发和探索比例。
应说明的是，BOA使用高斯过程回归计算前n个点的后验概率分布，得到超参数在每个点的预期均值和方差。均值表示这一点的最终预期效果，均值越大，效果越好。方差代表了这一点影响的不确定性，方差越大，不确定性越大。然而，不可能只选择均值最大的点，因为这种方法容易陷入局部最优，某些方差较大的点可能具有全局最优解。因此，选择一个均值大的点作为采样点称为开发，选择一个方差大的点作为采样点称为探索。为了平衡开发和探索的比例，采样函数(Acquisition function)被提出，该函数表示目标函数的取值高于当前最优值的概率，作为下一个采样点取值的参考。本发明选择期望改进函数(EI)作为采样函数。
S3：利用Attention机制实现不同子任务对共享层中重要特征的差异化提取，实现精准预测负荷值。
更进一步的，注意力机制使模型能够更加关注有效特征，并以有限的资源捕获最有用的信息；注意力机制结构如图4所示，Attention层注意力机制表示为：
et＝u tanh(wht+b)
其中，et表示由GRU输出向量ht在时刻t确定的注意力概率分布的值，u和w是权重系数，b是偏置系数，St表示注意力层在时间t的输出。
应说明的是，在各个任务的输出层之前加入Attention层，实现不同子任务对共享层中重要特征的差异化选择，使模型能够更好地利用数据。注意力机制赋予GRU不同的隐藏状态概率权重，并关注与冷、热和电负荷相关的重要特征的影响。注意力是一种模拟人脑中注意力机制的资源分配机制，通过巧妙合理地改变对信息的注意力，忽略无关信息，放大重要信息，提高对必要信息的有效提取。
更进一步的，选择平均绝对百分比误差、均方根误差两个指标评价模型的预测效果；平均绝对百分比误差和均方根误差越小，模型的预测精度越高；所述指标表示为：
平均百分比误差
均方根误差
其中，yi代表实际负荷值，y′i代表预测负荷值，N代表样本总数。
实施例2
参照图1—4，为本发明的一个实施例，提供了一种基于多任务学习的综合能源系统多元负荷预测方法，为了验证本发明的预测效果，通过仿真实验进行科学论证。
本文使用的算例数据来自美国亚利桑那州立大学坦佩校区。利用CampusMetabolism项目网络平台获取2019年1月1日0时—2020年7月31日24时的冷、热、电负荷数据，时间分辨率为1h。其中以2020年7月负荷数据为测试集，剩余数据的80％为训练集，20％为验证集，使用的气象数据取自最近的气象站。选择历史电负荷、历史冷负荷、历史热负荷、干球温度、湿球温度、相对湿度、大气压力以及日历规则作为输入特征。选择单一GRU模型作为对照模型，计算各种模型在测试集上的MAPE和RMSE指标，如表1所示，预测结果对比如图5、6、7所示。结果表明，所提出的多任务学习模型具有很高的预测精度，预测精度高于单一深度学习模型。
表1基于不同预测模型的测试集预测性能
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于多任务学习的综合能源系统多元负荷预测方法，其特征在于，包括：
基于多任务学习的综合能源系统搭建多元负荷预测模型；
采用门控循环单元构建多任务学习共享层，利用贝叶斯优化算法实现门控循环单元超参数的优化选择；
利用注意力机制实现不同子任务对共享层中重要特征的差异化提取，实现精准预测负荷值。
2.如权利要求1所述的一种基于多任务学习的综合能源系统多元负荷预测方法，其特征在于：所述多任务学习是一种经典的归纳迁移机制，包括：
一组任务
yt(t∈T)
数据集
其中，T和N分别代表任务和数据样本的数量，
表示第i个数据点的第t个任务的标签。
3.如权利要求2所述的一种基于多任务学习的综合能源系统多元负荷预测方法，其特征在于还包括：
所述预测函数定义为
ft(x；θsh,θt):x→yt
其中，θsh代表不同任务共享的参数，θt是任务相关参数。
MTL的整体优化损失函数定义为
其中，wt代表权重系数，
是损失函数。
4.如权利要求1所述的一种基于多任务学习的综合能源系统多元负荷预测方法，其特征在于：将模型的输入信息归一化并作为所提出模型的训练集、验证集和测试集。
5.如权利要求2所述的一种基于多任务学习的综合能源系统多元负荷预测方法，其特征在于：所述归一化公式表示为：
其中，X是标准化前的数据，X′是对应的归一化数据，Xmin和Xmax是序列中的最小值和最大值。
6.如权利要求1所述的一种基于多任务学习的综合能源系统多元负荷预测方法，其特征在于：所述，门控循环单元的整个过程表示为：
zt＝σ(W(z)xt+U(z)ht-1)
rt＝σ(W(r)xt+U(r)ht-1)
其中，xt是隐藏层在时间t的输入，ht是当前层在时间t的输出，ht-1是在时间t-1的输出，zt和rt是更新门和重置门，
表示前一时刻的输入xt和输出ht-1的集合。σ和tanh表示激活函数；U(z)和W(z)是更新门中的训练参数矩阵，U(r)和W(r)是复位门中的训练参数矩阵，U和W是获取
过程中的训练参数矩阵。
7.如权利要求5所述的一种基于多任务学习的综合能源系统多元负荷预测方法，其特征在于：贝叶斯优化算法，包括：
设X＝x1,x2,…xn为一组超参数组合，f(x)为超参数x的目标函数，所述贝叶斯优化原理表示为：
8.如权利要求6所述的一种基于多任务学习的综合能源系统多元负荷预测方法，其特征在于：所述算法还包括：
选择一个均值大的点作为采样点称为开发，选择一个方差大的点作为采样点称为探索；选择期望改进函数(EI)作为采样函数，表示为：
其中，f(x*)为当前最大值，μ为平均值，σ为标准差，Φ为正态累积分布函数，c用于平衡开发和探索比例。
9.如权利要求1所述的一种基于多任务学习的综合能源系统多元负荷预测方法，其特征在于：所述注意力机制表示为：
et＝u tanh(wht+b)
其中，et表示由门控循环单元输出向量ht在时刻t确定的注意力概率分布的值，u和w是权重系数，b是偏置系数，St表示注意力层在时间t的输出。
10.如权利要求9所述的一种基于多任务学习的综合能源系统多元负荷预测方法，其特征在于还包括：
选择平均绝对百分比误差、均方根误差两个指标评价模型的预测效果；平均绝对百分比误差和均方根误差越小，模型的预测精度越高；所述指标表示为：
平均百分比误差
均方根误差
其中，yi代表实际负荷值，y′i代表预测负荷值，N代表样本总数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210691561.5A CN114970369A (zh) | 2022-06-17 | 2022-06-17 | 一种基于多任务学习的综合能源系统多元负荷预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210691561.5A CN114970369A (zh) | 2022-06-17 | 2022-06-17 | 一种基于多任务学习的综合能源系统多元负荷预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114970369A true CN114970369A (zh) | 2022-08-30 |
Family
ID=82963404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210691561.5A Pending CN114970369A (zh) | 2022-06-17 | 2022-06-17 | 一种基于多任务学习的综合能源系统多元负荷预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114970369A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116151495A (zh) * | 2023-04-24 | 2023-05-23 | 北京智芯微电子科技有限公司 | 基于联邦学习的用电预测方法及系统、计算机设备 |
-
2022
- 2022-06-17 CN CN202210691561.5A patent/CN114970369A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116151495A (zh) * | 2023-04-24 | 2023-05-23 | 北京智芯微电子科技有限公司 | 基于联邦学习的用电预测方法及系统、计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hao et al. | A novel two-stage forecasting model based on error factor and ensemble method for multi-step wind power forecasting | |
| Tran et al. | Nature-inspired metaheuristic ensemble model for forecasting energy consumption in residential buildings | |
| Niu et al. | Short-term multi-energy load forecasting for integrated energy systems based on CNN-BiGRU optimized by attention mechanism | |
| Liang et al. | A novel wind speed prediction strategy based on Bi-LSTM, MOOFADA and transfer learning for centralized control centers | |
| Liang et al. | Evolutionary multi-task optimization for parameters extraction of photovoltaic models | |
| Wang et al. | LASSO and LSTM integrated temporal model for short-term solar intensity forecasting | |
| Kaboli et al. | Long-term electric energy consumption forecasting via artificial cooperative search algorithm | |
| Pousinho et al. | A hybrid PSO–ANFIS approach for short-term wind power prediction in Portugal | |
| Dombaycı | The prediction of heating energy consumption in a model house by using artificial neural networks in Denizli–Turkey | |
| CN110866592B (zh) | 模型训练方法、装置、能效预测方法、装置和存储介质 | |
| CN107622329A (zh) | 基于多时间尺度长短时记忆神经网络的电力负荷预测方法 | |
| Ala et al. | Evaluating the performance of various algorithms for wind energy optimization: a hybrid decision-making model | |
| CN112100911B (zh) | 一种基于深度bilstm的太阳辐射预测方法 | |
| Ghadimi et al. | SqueezeNet for the forecasting of the energy demand using a combined version of the sewing training-based optimization algorithm | |
| CN110826784B (zh) | 能源使用效率的预测方法、装置及存储介质和终端设备 | |
| CN114119273A (zh) | 一种园区综合能源系统非侵入式负荷分解方法及系统 | |
| CN112149890A (zh) | 基于用户用能标签的综合能源负荷预测方法及系统 | |
| CN113591368A (zh) | 一种综合能源系统多能负荷预测方法及系统 | |
| CN115310727B (zh) | 一种基于迁移学习的建筑冷热电负荷预测方法及系统 | |
| El Bourakadi et al. | Improved extreme learning machine with AutoEncoder and particle swarm optimization for short-term wind power prediction | |
| CN115759458A (zh) | 基于综合能源数据处理和多任务深度学习的负荷预测方法 | |
| Xu et al. | Competitive search algorithm: a new method for stochastic optimization | |
| Fatema et al. | Deterministic and probabilistic occupancy detection with a novel heuristic optimization and Back-Propagation (BP) based algorithm | |
| Zhang et al. | All‐factor short‐term photovoltaic output power forecast | |
| CN114970369A (zh) | 一种基于多任务学习的综合能源系统多元负荷预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |