CN110991729A - 一种基于迁移学习和多头注意力机制的负荷预测方法 - Google Patents
一种基于迁移学习和多头注意力机制的负荷预测方法 Download PDFInfo
- Publication number
- CN110991729A CN110991729A CN201911192616.2A CN201911192616A CN110991729A CN 110991729 A CN110991729 A CN 110991729A CN 201911192616 A CN201911192616 A CN 201911192616A CN 110991729 A CN110991729 A CN 110991729A
- Authority
- CN
- China
- Prior art keywords
- neural network
- recurrent neural
- prediction
- load
- gru
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013526 transfer learning Methods 0.000 title claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 79
- 239000013598 vector Substances 0.000 claims abstract description 40
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 10
- 238000013508 migration Methods 0.000 claims abstract description 7
- 230000005012 migration Effects 0.000 claims abstract description 7
- 230000000306 recurrent effect Effects 0.000 claims description 64
- 230000005611 electricity Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 6
- 238000011160 research Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 230000007547 defect Effects 0.000 description 2
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Operations Research (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Entrepreneurship & Innovation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于迁移学习和多头注意力机制的负荷预测方法,采用数据集向量到向量的数据处理流程,可以在统一框架下提供未来多步时刻的用电负荷预测结果;通过循环神经网络进行数据集编码,并构造多头注意力机制,能有效识别多种负荷模型,提升数据精度;并利用迁移学习方法,将某特定区域训练好的神经网络模型参数迁移至其他区域,大幅度降低模型对数据集规模要求,有效降低适用门槛。
Description
技术领域
本发明涉及用电负荷预测领域,具体涉及一种基于迁移学习和多头注意力机制的负荷预测方法。
背景技术
近年来,以时间序列、机器学习技术为基础的多种算法或模型被用于用电负荷预测中,如:Arima、GBDT、循环神经网络等。其中Arima等传统时间序列预测模型精度较低;GBDT及其变种无法直接进行多步预测;循环神经网络模型复杂度较高,对小型数据集预测精度较差。
现有技术方案不仅存在上述内在缺陷,由于用电主体往往存在多种负荷模式,模式间规律性差异较大,因此上述各种算法或模型均不能准确预测用电负荷。
发明内容
针对现有技术中的上述不足,本发明提供的一种基于迁移学习和多头注意力机制的负荷预测方法解决了现有技术无法预测具有多样性且只有小型数据集样本的用电负荷的问题。
为了达到上述发明目的,本发明采用的技术方案为:一种基于迁移学习和多头注意力机制的负荷预测方法,包括以下步骤:
S1、从能源大数据平台获取研究区域内的所有用电单元历史粒度负荷数据,得到用电数据集X={x0,…,xt,…,xτ},t为当前时间,其值在区间[0,τ]内,τ为所获取的用电数据集的时间长度;
S4、采用GRU循环神经网络,利用均值为0方差为0.05的正态分布,根据用电数据集X、隐藏状态编码集和最终编码向量henc,对未来用电负荷进行预测,得到未来时刻用电负荷预测集{p′t+1,…,p′t+i,…,p′t+K},其中K为预测范围内,未来时间中的单位时刻总数;
S5、继续监控并采集用电负荷情况,得到与未来时刻用电负荷预测集对应的相对未来时刻用电负荷真实值{pt+1,…,pt+i,…,pt+K},并计算未来时刻用电负荷预测集和相对未来时刻用电负荷真实值的均方误差MSE;
S6、根据均方误差MSE,采用梯度下降法训练GRU循环神经网络的各项权值,判断权值是否在训练过程中发生变化,若是,则跳转至步骤S1,若否,则跳转至步骤S7;
S7、记录训练出的GRU循环神经网络的各项权值,扩大需要进行用电负荷预测的研究区域,并通过迁移学习方法,采用记录得到的GRU循环神经网络的各项权值构建成熟的GRU循环神经网络对新的区域进行数据集神经网络训练,进而实现用电负荷预测。
进一步地:步骤S1的用电数据集X={x0,…,xt,…,xτ}由[0,τ]时间范围内的[0,N]用电单元的负荷、当前用电单元产生负荷的当前时间是否为节假日的标志信息以及当前用电单元产生负荷的当前时间是否为周末的标志信息组合而成,即其中u为当前的用电单元编号,其值在区间[0,N]内,N为用电单元总数,为用电单元u在t时刻的用电负荷,为用电单元u在t时刻是否为其节假日的标志信息,为t时刻是否为周末的标志信息。
进一步地:步骤S2中的编码过程遵循以下等式:
其中,sigmoid()为S型生长曲线函数;tanh()为双曲正切函数;·为向量点乘运算;*为卷积运算;0为0向量;zt为GRU循环神经网络更新门输出量;为循环神经网络更新门权值;rt为GRU循环神经网络重置门输出量;为GRU循环神经网络重置门权值;st为GRU循环神经网络中间状态量;Wenc为GRU循环神经网络中间状态权值。
进一步地:步骤S3中的进一步编码过程遵循以下等式:
进一步地:步骤S4中的预测过程遵循以下等式:
p’t+i=tanh(Woutput·ht+i) (16)
其中,x’t+i为未来时刻t+i的拼接输入集,为预测用GRU循环神经网络更新门输出量;为预测用循环神经网络更新门权值;为预测用GRU循环神经网络重置门输出量;为预测用GRU循环神经网络重置门权值;为预测用GRU循环神经网络中间状态量;Wdec为预测用GRU循环神经网络中间状态权值;Woutput为输出量权值,为未来时刻t+i的解码隐藏状态向量;ht+i为最终编码向量henc和解码隐藏状态向量拼接后的状态向量;p’t+i为未来时刻t+i的用电负荷预测值。
进一步地:步骤S6中的各项权值包括:循环神经网络更新门权值GRU循环神经网络重置门权值GRU循环神经网络中间状态权值Wenc,预测用循环神经网络更新门权值预测用GRU循环神经网络重置门权值预测用GRU循环神经网络中间状态权值Wdec和输出量权值Woutput。
本发明的有益效果为:采用数据集向量到向量的数据处理流程,可以在统一框架下提供未来多步时刻的用电负荷预测结果;通过循环神经网络进行数据集编码,并构造多头注意力机制,能有效识别多种负荷模型,提升数据精度;并利用迁移学习方法,将某特定区域训练好的神经网络模型参数迁移至其他区域,大幅度降低模型对数据集规模要求,有效降低适用门槛。
附图说明
图1为一种基于迁移学习和多头注意力机制的负荷预测方法流程示意图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图1所示,在本发明的一个实施例中,一种基于迁移学习和多头注意力机制的负荷预测方法,包括以下步骤:
S1、从能源大数据平台获取研究区域内的所有用电单元历史粒度负荷数据,得到用电数据集X={x0,…,xt,…,xτ},t为当前时间,其值在区间[0,τ]内,τ为所获取的用电数据集的时间长度;
步骤S1的用电数据集X={x0,…,xt,…,xτ}由[0,τ]时间范围内的[0,N]用电单元的负荷、当前用电单元产生负荷的当前时间是否为节假日的标志信息以及当前用电单元产生负荷的当前时间是否为周末的标志信息组合而成,即其中u为当前的用电单元编号,其值在区间[0,N]内,N为用电单元总数,为用电单元u在t时刻的用电负荷,为用电单元u在t时刻是否为其节假日的标志信息,为t时刻是否为周末的标志信息。
步骤S2中的编码过程遵循以下等式:
其中,sigmoid()为S型生长曲线函数;tanh()为双曲正切函数;·为向量点乘运算;*为卷积运算;0为0向量;zt为GRU循环神经网络更新门输出量;为循环神经网络更新门权值;rt为GRU循环神经网络重置门输出量;为GRU循环神经网络重置门权值;st为GRU循环神经网络中间状态量;Wenc为GRU循环神经网络中间状态权值。
步骤S3中的进一步编码过程遵循以下等式:
S4、采用GRU循环神经网络,利用均值为0方差为0.05的正态分布,根据用电数据集X、隐藏状态编码集和最终编码向量henc,对未来用电负荷进行预测,得到未来时刻用电负荷预测集{p′t+1,…,p′t+i,…,p′t+K},其中K为预测范围内,未来时间中的单位时刻总数;
步骤S4中的预测过程遵循以下等式:
p’t+i=tanh(Woutput·ht+i) (16)其中,x′t+i为未来时刻t+i的拼接输入集,为预测用GRU循环神经网络更新门输出量;为预测用循环神经网络更新门权值;为预测用GRU循环神经网络重置门输出量;为预测用GRU循环神经网络重置门权值;为预测用GRU循环神经网络中间状态量;Wdec为预测用GRU循环神经网络中间状态权值;Woutput为输出量权值,为未来时刻t+i的解码隐藏状态向量;ht+i为最终编码向量henc和解码隐藏状态向量拼接后的状态向量;p′t+i为未来时刻t+i的用电负荷预测值。
S5、继续监控并采集用电负荷情况,得到与未来时刻用电负荷预测集对应的相对未来时刻用电负荷真实值{pt+1,…,pt+i,…,pt+K},并计算未来时刻用电负荷预测集和相对未来时刻用电负荷真实值的均方误差MSE;
S6、根据均方误差MSE,采用梯度下降法训练GRU循环神经网络的各项权值,判断权值是否在训练过程中发生变化,若是,则跳转至步骤S1,若否,则跳转至步骤S7;
步骤S6中的各项权值包括:循环神经网络更新门权值GRU循环神经网络重置门权值GRU循环神经网络中间状态权值Wenc,预测用循环神经网络更新门权值预测用GRU循环神经网络重置门权值预测用GRU循环神经网络中间状态权值Wdec和输出量权值Woutput。
S7、记录训练出的GRU循环神经网络的各项权值,扩大需要进行用电负荷预测的研究区域,并通过迁移学习方法,采用记录得到的GRU循环神经网络的各项权值构建成熟的GRU循环神经网络对新的区域进行数据集神经网络训练,进而实现用电负荷预测。
本发明采用数据集向量到向量的数据处理流程,可以在统一框架下提供未来多步时刻的用电负荷预测结果;通过循环神经网络进行数据集编码,并构造多头注意力机制,能有效识别多种负荷模型,提升数据精度;并利用迁移学习方法,将某特定区域训练好的神经网络模型参数迁移至其他区域,大幅度降低模型对数据集规模要求,有效降低适用门槛。
Claims (6)
1.一种基于迁移学习和多头注意力机制的负荷预测方法,其特征在于,包括以下步骤:
S1、从能源大数据平台获取研究区域内的所有用电单元历史粒度负荷数据,得到用电数据集X={x0,…,xt,…,xτ},t为当前时间,其值在区间[0,τ]内,τ为所获取的用电数据集的时间长度;
S4、采用GRU循环神经网络,利用均值为0方差为0.05的正态分布,根据用电数据集X、隐藏状态编码集和最终编码向量henc,对未来用电负荷进行预测,得到未来时刻用电负荷预测集{p’t+1,…,p’t+i,…,p’t+K},其中K为预测范围内,未来时间中的单位时刻总数;
S5、继续监控并采集用电负荷情况,得到与未来时刻用电负荷预测集对应的相对未来时刻用电负荷真实值{pt+1,…,pt+i,…,pt+K},并计算未来时刻用电负荷预测集和相对未来时刻用电负荷真实值的均方误差MSE;
S6、根据均方误差MSE,采用梯度下降法训练GRU循环神经网络的各项权值,判断权值是否在训练过程中发生变化,若是,则跳转至步骤S1,若否,则跳转至步骤S7;
S7、记录训练出的GRU循环神经网络的各项权值,扩大需要进行用电负荷预测的研究区域,并通过迁移学习方法,采用记录得到的GRU循环神经网络的各项权值构建成熟的GRU循环神经网络对新的区域进行数据集神经网络训练,进而实现用电负荷预测。
5.根据权利要求4所述的基于迁移学习和多头注意力机制的负荷预测方法,其特征在于,所述步骤S4中的预测过程遵循以下等式:
p’t+i=tanh(Woutput·ht+i)(16)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911192616.2A CN110991729A (zh) | 2019-11-28 | 2019-11-28 | 一种基于迁移学习和多头注意力机制的负荷预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911192616.2A CN110991729A (zh) | 2019-11-28 | 2019-11-28 | 一种基于迁移学习和多头注意力机制的负荷预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110991729A true CN110991729A (zh) | 2020-04-10 |
Family
ID=70088091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911192616.2A Pending CN110991729A (zh) | 2019-11-28 | 2019-11-28 | 一种基于迁移学习和多头注意力机制的负荷预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110991729A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112037179A (zh) * | 2020-08-11 | 2020-12-04 | 深圳大学 | 一种脑疾病诊断模型的生成方法、系统及设备 |
CN113095598A (zh) * | 2021-05-07 | 2021-07-09 | 国网山东省电力公司经济技术研究院 | 一种多能负荷预测方法、系统、设备和介质 |
CN113222112A (zh) * | 2021-04-02 | 2021-08-06 | 西安电子科技大学 | 一种基于mv-gru的热负荷预测方法 |
-
2019
- 2019-11-28 CN CN201911192616.2A patent/CN110991729A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112037179A (zh) * | 2020-08-11 | 2020-12-04 | 深圳大学 | 一种脑疾病诊断模型的生成方法、系统及设备 |
CN113222112A (zh) * | 2021-04-02 | 2021-08-06 | 西安电子科技大学 | 一种基于mv-gru的热负荷预测方法 |
CN113222112B (zh) * | 2021-04-02 | 2023-10-17 | 西安电子科技大学 | 一种基于mv-gru的热负荷预测方法 |
CN113095598A (zh) * | 2021-05-07 | 2021-07-09 | 国网山东省电力公司经济技术研究院 | 一种多能负荷预测方法、系统、设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Pai | System reliability forecasting by support vector machines with genetic algorithms | |
CN110991729A (zh) | 一种基于迁移学习和多头注意力机制的负荷预测方法 | |
CN111861013B (zh) | 一种电力负荷预测方法及装置 | |
CN112052948B (zh) | 一种网络模型压缩方法、装置、存储介质和电子设备 | |
CN109492748B (zh) | 一种基于卷积神经网络的电力系统的中长期负荷预测模型建立方法 | |
CN110707763A (zh) | 一种基于集成学习的交直流配电网负荷预测方法 | |
CN110837888A (zh) | 一种基于双向循环神经网络的交通缺失数据补全方法 | |
CN113689030B (zh) | 一种基于双向注意力和二次优化的短期风功率预测方法 | |
CN112232577A (zh) | 用于多芯智能表的电力负荷概率预测系统与方法 | |
CN115186803A (zh) | 一种考虑pue的数据中心算力负荷需求组合预测方法和系统 | |
CN109034500A (zh) | 一种多时序协同的中期电力负荷预测方法 | |
CN108304912A (zh) | 一种运用抑制信号实现脉冲神经网络监督学习的系统和方法 | |
CN112508286A (zh) | 一种基于Kmeans-BiLSTM-DMD模型的短期负荷预测方法 | |
CN114490065A (zh) | 一种负载预测方法、装置及设备 | |
CN112803398A (zh) | 基于经验模态分解和深度神经网络的负荷预测方法及系统 | |
CN113947182A (zh) | 基于双阶段堆叠图卷积网络的交通流预测模型构建方法 | |
CN116014722A (zh) | 基于季节分解和卷积网络的次日光伏发电预测方法及系统 | |
CN113762591B (zh) | 一种基于gru和多核svm对抗学习的短期电量预测方法及系统 | |
CN110287938A (zh) | 基于关键片段检测的事件识别方法、系统、设备及介质 | |
CN113609762A (zh) | 一种基于gru-mtl的电冷热负荷联合预测方法及系统 | |
CN116245259B (zh) | 基于深度特征选择的光伏发电预测方法、装置和电子设备 | |
CN116402194A (zh) | 一种基于混合神经网络的多时间尺度负荷预测方法 | |
CN114861967A (zh) | 一种电力负荷预测方法、系统、装置及存储介质 | |
CN116106909A (zh) | 一种雷达回波外推方法、系统及存储介质 | |
CN110288002A (zh) | 一种基于稀疏正交神经网络的图像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200410 |
|
RJ01 | Rejection of invention patent application after publication |