CN110969293A - 一种基于迁移学习的短期广义负荷预测方法 - Google Patents
一种基于迁移学习的短期广义负荷预测方法 Download PDFInfo
- Publication number
- CN110969293A CN110969293A CN201911159416.7A CN201911159416A CN110969293A CN 110969293 A CN110969293 A CN 110969293A CN 201911159416 A CN201911159416 A CN 201911159416A CN 110969293 A CN110969293 A CN 110969293A
- Authority
- CN
- China
- Prior art keywords
- target
- model
- load
- prediction
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013526 transfer learning Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 88
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 230000005012 migration Effects 0.000 claims abstract description 18
- 238000013508 migration Methods 0.000 claims abstract description 18
- 238000002790 cross-validation Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 11
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 31
- 230000009897 systematic effect Effects 0.000 claims description 14
- 238000003066 decision tree Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 8
- 238000009795 derivation Methods 0.000 claims description 7
- 238000010219 correlation analysis Methods 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 6
- 238000007476 Maximum Likelihood Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 230000006872 improvement Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 101000654674 Homo sapiens Semaphorin-6A Proteins 0.000 description 1
- 229910010888 LiIn Inorganic materials 0.000 description 1
- CYTYCFOTNPOANT-UHFFFAOYSA-N Perchloroethylene Chemical compound ClC(Cl)=C(Cl)Cl CYTYCFOTNPOANT-UHFFFAOYSA-N 0.000 description 1
- 241000220010 Rhode Species 0.000 description 1
- 102100032795 Semaphorin-6A Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Development Economics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于迁移学习的短期广义负荷预测方法,包括以下步骤:构建短期负荷预测集成模型,对短期负荷预测模型的预测误差进行分析;利用基于迭代和交叉验证的算法来求解权重;构建基于负荷时间序列分解和实例迁移的短期负荷预测模型;基于隐变量模型,让目标问题和源问题构建的一个公共模型;基于负荷仿射曲线设计隐变量提取模块;本发明通过通过在短期负荷预测问题中引入迁移学习的目标,巧妙地利用源问题与目标问题的相似性,引入源问题数据集来辅助目标问题的训练过程,能够达到提升目标问题预测效果的目标;通过利用隐变量模型能够提升预测精度;通过基于负荷仿射曲线并基于这个假设设计的隐变量提取模块,能减小计算复杂度。
Description
技术领域
本发明涉及电力电网技术领域,尤其涉及一种基于迁移学习的短期广义负荷预测方法。
背景技术
电力系统短期负荷预测是电力系统调度运营部门一项重要的日常工作,预测精度的高低直接影响到电力系统运行的安全性、经济性和供电质量。依据统计学的理论,模型预测的精度与数据量满足-1/2幂的关系,这意味着数据量对负荷预测模型精度的提升有重要的作用,是负荷预测精度提高的重要驱动力;
但在实际情况下,数据缺乏问题却是非常常见的现象,这就限制了负荷预测精度的提高,例如:(1)当用电场景发生变化时(例如电价调整),负荷特性可能会有较大变化。此时,新场景下负荷预测问题尚未积累足够多的训练数据,同时原始场景下的负荷数据包含了大量的有用信息;(2)当新用户出现时,电力系统中缺乏新用户的历史负荷数据,直接使用少量的数据训练预测模型会导致较差的预测效果;(3)另可再生能源、电动汽车及主动负荷等广义新型负荷处于快速发展阶段,较难获得足够的历史数据,如何解决数据缺乏条件下的高精度广义负荷预测问题是关键之处,因此,本发明提出一种基于迁移学习的短期广义负荷预测方法,以解决现有技术中的不足之处。
发明内容
针对上述问题,本发明提出一种基于迁移学习的短期广义负荷预测方法,通过在短期负荷预测问题中引入迁移学习的目标,巧妙地利用源问题与目标问题的相似性,引入源问题数据集来辅助目标问题的训练过程,能够达到提升目标问题预测效果的目标;通过利用隐变量模型能够提升预测精度;通过基于负荷仿射曲线并基于这个假设设计的隐变量提取模块,能减小计算复杂度。
本发明提出一种基于迁移学习的短期广义负荷预测方法,包括以下步骤:
步骤一:基于传递熵和相关系数分析不同区域负荷数据集之间的相关性:
基于相关系数的负荷数据集相关性分析具体包括:将第k个数据集的历史负荷值依照时间排列构成一个向量,用y(k)表示,y(k)的表达公式如公式(1)所示,第k个数据集与第l个数据集之间的相关系数用Mcov(k,l)表示,Mcov(k,l)的计算公式如公式(2)所示:
基于交叉熵的负荷数据集相关性分析具体包括:对于两个变量X和Y,他们的交叉熵I(X,Y)的定义如公式(3)所示;
步骤二:构建短期负荷预测集成模型,首先将目标问题Ptarget的数据集用S(target)=(x(target),y(target))表示,然后将Starget作为训练集进行训练,得到的预测模型如公式(6)所示,然后再引入源问题数据集S(k)=(x(k),y(k)),然后基于源问题数据集S(k)进行训练,得到的预测模型如公式(7)所示:
y(target)=f(target)(x(target)) (6)
y(k)=f(k)(x(k)) (7)
其中,f(target)是由S(target)训练得到的预测函数;
步骤五:用w(target)表示目标问题数据集的权重,使用w(k)表示各个源问题数据集的权重,将短期负荷预测集成模型训练过程中的加权损失函数loss形式用公式(14)表示:
然后采用于最大似然算法推导权重的取值,优化问题的损失函数loss的表达用公式(15)表示:
最后得到目标问题Ptarget的数据集S(target)和源问题数据集S(k)所加的权重,如公式(16)和(17)所示;
步骤六:对公式(16)和(17)进行归一化处理,得到公式(18)和(19):
其中,w(k)的最大取值为1;
步骤七:利用基于迭代和交叉验证的算法来求解权重w(k)和w(target),w(k)通过迭代来求解,w(target)是一个超参数,w(target)的值由交叉验证进行确定;
步骤八:构建基于负荷时间序列分解和实例迁移的短期负荷预测模型,所述短期负荷预测模型采用的预测方法具体为:首先基于负荷时间序列分解得到去除了趋势分量和周期分量的负荷序列,然后基于实例迁移算法,使用目标问题和源问题的数据共同训练公共预测模型,最后在公共预测模型的基础上加入目标问题负荷序列的趋势分量和周期分量;
步骤九:假定目标问题和相关的预测问题可以被建模为隐变量模型,然后基于隐变量模型,让目标问题和源问题构建的一个公共模型f满足公式(20)和(21):
k=1,2,…,K. (21)
步骤十一:当不同训练集中的数据权重不同时,根据负荷预测模型内核是否支持对训练数据加权进行分情况处理,当负荷预测模型内核不支持对训练数据加权时,使用小批量采样数据训练模型,并通过权重确定数据采样率;当负荷预测模型内核支持对训练数据加权时,直接将权重交由负荷预测模型内核处理或采用小批量采样数据训练模型;
步骤十二:对公共模型f和隐变量提取模块进行训练,具体包括:
对于手动设计隐变量的提取模块,直接训练公共模型f,以L和X作为输入,以到达缩小训练误差loss(y,y^);
对于需要训练的隐变量提取模块,将公共模型f与隐变量提取模块的训练结合起来,将公共模型f与隐变量提取模块组合为一个整体并直接训练这个整体,和S(k)为这个整体的输入,以到达缩小训练误差loss(y,y^);
步骤十三:假设不同区域的负荷曲线是一系仿射曲线,然后将目标预测问题的负荷曲线和源预测问题的负荷曲线假定为一系列的仿射曲线,再引入了一个基础曲线f(Xi,0),将目标问题负荷曲线和源预测问题负荷曲线与基础曲线之间的偏差分别由和表示,和的定义如公式(22)所示;
步骤十四:将隐变量模型与迭代赋权算法的组合构建为双层迁移学习负荷预测算法框架,首先将隐变量模型作为内层,源问题的迭代赋权算法最为外层,将源问题的迭代赋权算法的负荷预测模型内核替换为隐变量模型,得到双层迁移学习负荷预测框架;
步骤十五:假定目标问题和源问题数据集完全符合公共模型f,目标问题和源问题的预测模型如公式(23)和(24)所示:
k=1,2,…,K. (24)
然后从随机误差和系统误差两个方面目标问题和源问题的预测模型的预测误差,参照步骤二中内容将目标问题的随机误差依旧用表示,源问题k的随机误差依旧用表示,加入随机误差后,将公式(23)和(24)变换为公式(25)和(26);
步骤十六:选择梯度提升树作为双层迁移学习框架的短期负荷预测模型内核,得到双层迁移学习梯度提升树算法,然后假设待求解的拟合函数在第i个样本点处的取值为则第t个阶段结束后的拟合函数系综在第i个样本点处的取值如公式(27)所示:
步骤十七:拟合L(t)的负梯度选择CART决策树作为基础学习器,然后基于分裂叶子节点并生成树,假设生成的树有K(t)个叶子节点,第k个节点包含的数据点构成集合然后用表示CART决策树在第k个叶子节点处的取值,则均方根误差如公式(30)所示,成功构建第t个阶段的树后,新的基于决策树的预测函数被乘以一个学习率λ后再加到第t-1个阶段结束时得到的预测函数f(t-1)之中,则对任意的从属于树模型的第k个叶子节点的自变量Xi,第t个阶段结束时新的预测模型f(t)(Xi)满足下公式(31)。
进一步改进在于:所述步骤一公式(3)中μ(x,y)表示随机变量X和Y的联合分布,μx(x)和μy(y)是分别变量X和Y的边缘分布,μx(x)和μy(y)满足公式(4)和(5):
μx(x)=∫dyμ(x,y) (4)
μy(y)=∫dxμ(x,y) (5)
然后定义交叉熵衡量两个序列之间的相关性,当交叉熵越高,相关性越高;当两个变量完全独立时,交叉熵为0。
进一步改进在于:所述步骤十一中当采用小批量采样数据训练模型时,不同训练集中采样的样本数由公式(32)和(33)确定:
进一步改进在于:所述步骤十五的双层迁移学习负荷预测框架中,源问题的系统误差表示的是源问题与基于隐变量的公共预测模型的差别,然后加入系统误差,新的预测模型如公式(34)和(35)所示。
进一步改进在于:所述步骤十六中双层迁移学习梯度提升树算法采用均方根误差作为损失函数,当以f(t-1)表示第t-1个阶段结束后的拟合函数系综,则在t个阶段开始前,双层迁移学习框架的短期负荷预测模型遗留下来的残差表达如公式(36)所示。
进一步改进在于:所述步骤十七中为了确定叶子节点的最优取值,需要将L(t)对叶子节点取值求导,求导公式如公式(37)所示。
本发明的有益效果为:本发明方法通过在短期负荷预测问题中引入迁移学习的目标,巧妙地利用源问题与目标问题的相似性,引入源问题数据集来辅助目标问题的训练过程,能够达到提升目标问题预测效果的目标,通过对短期负荷预测模型的预测误差进行分析,将预测误差分为系统误差和随机误差,可以实现将较大的权重赋予与目标问题关系密切的数据集,将较小的权重赋予与目标问题无关的数据集,从而可以在正迁移与负迁移之间找到最佳的平衡点;
通过利用隐变量模型,相比于由小的目标问题数据集直接训练得到的目标问题,当把目标问题与源问题连接在一起构建公共模型时,在训练的公共模型的过程中就可以引入源问题的数据集,增大的训练数据集可以抑制模型的过拟合,且考虑到目标问题缺乏数据是迁移学习的一个基本的假设,引入额外的训练数据对提升预测精度是非常有意义的;且相比于由所有目标问题数据和源问题数据训练的公共模型,隐含参数的引入考虑了不同问题之间的不同点并避免了负迁移;通过基于负荷仿射曲线并基于这个假设设计的隐变量提取模块,能减小计算复杂度。
附图说明
图1为本发明基于迭代和交叉验证的权重求解算法流程示意图。
图2为本发明实施例中基于迭代和交叉验证的权重求解算法模型训练结果示意图。
图3隐变量模型结构示意图。
图4双层迁移学习短期复合预测算法模型结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
根据图1、2、3、4所示,本实施例提出一种基于迁移学习的短期广义负荷预测方法,包括以下步骤:
步骤一:基于传递熵和相关系数分析不同区域负荷数据集之间的相关性:
基于相关系数的负荷数据集相关性分析具体包括:将第k个数据集的历史负荷值依照时间排列构成一个向量,用y(k)表示,y(k)的表达公式如公式(1)所示,第k个数据集与第l个数据集之间的相关系数用Mcov(k,l)表示,Mcov(k,l)的计算公式如公式(2)所示:
基于交叉熵的负荷数据集相关性分析具体包括:对于两个变量X和Y,他们的交叉熵I(X,Y)的定义如公式(3)所示;
μ(x,y)表示随机变量X和Y的联合分布,μx(x)和μy(y)是分别变量X和Y的边缘分布,μx(x)和μy(y)满足公式(4)和(5):
μx(x)=∫dyμ(x,y) (4)
μy(y)=∫dxμ(x,y) (5)
然后定义交叉熵衡量两个序列之间的相关性,当交叉熵越高,相关性越高;当两个变量完全独立时,交叉熵为0;
步骤二:构建短期负荷预测集成模型,首先将目标问题Ptarget的数据集用S(target)=(x(target),y(target))表示,然后将Starget作为训练集进行训练,得到的预测模型如公式(6)所示,然后再引入源问题数据集S(k)=(x(k),y(k)),然后基于源问题数据集S(k)进行训练,得到的预测模型如公式(7)所示:
y(target)=f(target)(x(target)) (6)
y(k)=f(k)(x(k)) (7)
其中,f(target)是由S(target)训练得到的预测函数;
使用目标问题数据集训练一个预测模型f(target),并将其赋予权重w(target)(w(target)的值由交叉验证确定),再加入到最终的预测模型之中,此时,集成预测模型f(ensemble)如公式(38)所示:
步骤五:用w(target)表示目标问题数据集的权重,使用w(k)表示各个源问题数据集的权重,将短期负荷预测集成模型训练过程中的加权损失函数loss形式用公式(14)表示:
然后采用于最大似然算法推导权重的取值,对于预测函数f(target),表示f(target)所有可能的选择的集合,对于集合中的任意一个预测函数(θ表示预测函数的参数),是正确的预测函数的可能性计算公式如下所示:
最后得到目标问题Ptarget的数据集S(target)和源问题数据集S(k)所加的权重,如公式(16)和(17)所示;
步骤六:对公式(16)和(17)进行归一化处理,得到公式(18)和(19):
其中,w(k)的最大取值为1;
步骤七:利用基于迭代和交叉验证的算法来求解权重w(k)和w(target),w(k)通过迭代来求解,w(target)是一个超参数,w(target)的值由交叉验证进行确定;
为w(k)赋初值时,因为对于每个源问题的没有任何的了解,所以所有的源问题不应被区别对待。因此所有的源问题的权重都被初始化为一个相同的值1,在w(target)和w(k)已经确定的情况下,可以基于已知的权重训练内层的负荷预测模型内核,在内层的负荷预测模型内核训练好之后,可计算得到模型误差的方差然后可基于公式(19)更新w(k),基于更新过的w(k),可开始下一轮循环,当所有w(k)都收敛时,循环停止;
基于迭代和交叉验证的权重求解算法过程为:
本实施例中基于两个公开的数据集,2012年全球负荷预测大赛(GlobalEnergyForecastingCompetition2012,GEFCom2012)数据集和新英格兰地区独立系统调度机构(ISONewEngland,ISONE)数据集;GEFCom2012数据集包含2004年-2008年20个区域(后文中以Z1~Z20表示)的小时负荷数据、11个气象站的小时气象数据和当地的节假日列表,比赛要求参赛者预测七天后的20个区域的小时负荷和20个区域的总负荷;由于区域Z2、Z3和Z7的负荷数据满足倍数关系,因此删去区域3和区域7的数据只保留区域Z2的数据,ISONewEngland数据集由新英格兰地区的负荷数据组成;新英格兰地区独立系统调度机构将新英格兰地区分为8个区域来统计负荷,这8个区域分别是:康涅狄格(CT)、缅因(ME)、新罕布什尔(NH)、罗德岛(RI)、佛蒙特(VT)、马萨诸塞中西部(WCMA)、马萨诸塞东南部(SEMA)和马萨诸塞东北部(NEMA);这8个区域对应8个数据集;其中,2012-2016年的数据作为训练集,2017年的数据作为测试集:
选取区域Z1的预测问题作为目标问题,对其它区域的负荷预测问题作为源问题,本实施例选取GBDT作为基本的短期负荷预测算法内核,此时,迭代赋权的短期负荷预测归纳迁移模型可被称为IterativeWeight-assignment-basedGBDT(缩写为IWA-GBDT);w(target)是一个超参数,他的取值由交叉验证确定,依据交叉验证的结果,本实施例选取w(target)=200,依照基于迭代和交叉验证的权重求解算法,模型开始训练,得到如图2所示结果,权重的收敛过程如表1所示,权重w(target)是一个超参数,当权重w(target)取不同的值时,基于迭代和交叉验证的权重求解算法的预测误差如表2所示:
表1
表2
步骤八:构建基于负荷时间序列分解和实例迁移的短期负荷预测模型,所述短期负荷预测模型采用的预测方法具体为:首先基于负荷时间序列分解得到去除了趋势分量和周期分量的负荷序列,然后基于实例迁移算法,使用目标问题和源问题的数据共同训练公共预测模型,最后在公共预测模型的基础上加入目标问题负荷序列的趋势分量和周期分量;
步骤九:假定目标问题和相关的预测问题可以被建模为隐变量模型,然后基于隐变量模型,让目标问题和源问题构建的一个公共模型f满足公式(20)和(21):
k=1,2,…,K. (21)
步骤十一:当不同训练集中的数据权重不同时,根据负荷预测模型内核是否支持对训练数据加权进行分情况处理,当负荷预测模型内核不支持对训练数据加权时,使用小批量采样数据训练模型,并通过权重确定数据采样率;当负荷预测模型内核支持对训练数据加权时,直接将权重交由负荷预测模型内核处理或采用小批量采样数据训练模型;
当采用小批量采样数据训练模型时,不同训练集中采样的样本数由公式(32)和(33)确定:
步骤十二:对公共模型f和隐变量提取模块进行训练,具体包括:
对于手动设计隐变量的提取模块,直接训练公共模型f,以L和X作为输入,以到达缩小训练误差loss(y,y^);
隐变量提取模块不需要训练的情形下,隐变量模型的小批量训练过程如下所示:
对于需要训练的隐变量提取模块,将公共模型f与隐变量提取模块的训练结合起来,将公共模型f与隐变量提取模块组合为一个整体并直接训练这个整体,和S(k)为这个整体的输入,以到达缩小训练误差loss(y,y^);
隐变量提取模块需要训练的情形下,隐变量模型的小批量训练过程如下所示:
步骤十三:假设不同区域的负荷曲线是一系仿射曲线,然后将目标预测问题的负荷曲线和源预测问题的负荷曲线假定为一系列的仿射曲线,再引入了一个基础曲线f(Xi,0),将目标问题负荷曲线和源预测问题负荷曲线与基础曲线之间的偏差分别由和表示,和的定义如公式(22)所示;
其中,Kr,M表示距离点r最接近的M个点组成的集合;
对于不同的预测问题,选取参数M的原则是使M的取值与数据集数据量N成正比,此时,M与N的关系可以通过公式表达为:
其中,m是表示M与N比例的超参数。当超参数m的值确定后,可以通过下式确定M(target)和M(k)的取值;
M(target)=mN(target)
M(k)=mN(k).
无需训练的隐变量提取模块的算法流程如下所示:
步骤十四:将隐变量模型与迭代赋权算法的组合构建为双层迁移学习负荷预测算法框架,首先将隐变量模型作为内层,源问题的迭代赋权算法最为外层,将源问题的迭代赋权算法的负荷预测模型内核替换为隐变量模型,得到双层迁移学习负荷预测框架;
双层迁移学习短期负荷预测算法如下所示:
步骤十五:假定目标问题和源问题数据集完全符合公共模型f,目标问题和源问题的预测模型如公式(23)和(24)所示:
k=1,2,…,K. (24)
然后从随机误差和系统误差两个方面目标问题和源问题的预测模型的预测误差,参照步骤二中内容将目标问题的随机误差依旧用表示,源问题k的随机误差依旧用表示,加入随机误差后,将公式(23)和(24)变换为公式(25)和(26);
双层迁移学习负荷预测框架中,源问题的系统误差表示的是源问题与基于隐变量的公共预测模型的差别,然后加入系统误差,新的预测模型如公式(34)和(35)所示。
步骤十六:选择梯度提升树作为双层迁移学习框架的短期负荷预测模型内核,得到双层迁移学习梯度提升树算法,然后假设待求解的拟合函数在第i个样本点处的取值为则第t个阶段结束后的拟合函数系综在第i个样本点处的取值如公式(27)所示:
双层迁移学习梯度提升树算法采用均方根误差作为损失函数,当以f(t-1)表示第t-1个阶段结束后的拟合函数系综,则在t个阶段开始前,双层迁移学习框架的短期负荷预测模型遗留下来的残差表达如公式(36)所示:
步骤十七:拟合L(t)的负梯度选择CART决策树作为基础学习器,然后基于分裂叶子节点并生成树,假设生成的树有K(t)个叶子节点,第k个节点包含的数据点构成集合然后用表示CART决策树在第k个叶子节点处的取值,则均方根误差如公式(30)所示,成功构建第t个阶段的树后,新的基于决策树的预测函数被乘以一个学习率λ后再加到第t-1个阶段结束时得到的预测函数f(t-1)之中,则对任意的从属于树模型的第k个叶子节点的自变量Xi,第t个阶段结束时新的预测模型f(t)(Xi)满足下公式(31);
为了确定叶子节点的最优取值,需要将L(t)对叶子节点取值求导,求导公式如公式(37)所示。
本发明方法通过在短期负荷预测问题中引入迁移学习的目标,巧妙地利用源问题与目标问题的相似性,引入源问题数据集来辅助目标问题的训练过程,能够达到提升目标问题预测效果的目标,通过对短期负荷预测模型的预测误差进行分析,将预测误差分为系统误差和随机误差,可以实现将较大的权重赋予与目标问题关系密切的数据集,将较小的权重赋予与目标问题无关的数据集,从而可以在正迁移与负迁移之间找到最佳的平衡点;
通过利用隐变量模型,相比于由小的目标问题数据集直接训练得到的目标问题,当把目标问题与源问题连接在一起构建公共模型时,在训练的公共模型的过程中就可以引入源问题的数据集,增大的训练数据集可以抑制模型的过拟合,且考虑到目标问题缺乏数据是迁移学习的一个基本的假设,引入额外的训练数据对提升预测精度是非常有意义的;且相比于由所有目标问题数据和源问题数据训练的公共模型,隐含参数的引入考虑了不同问题之间的不同点并避免了负迁移;通过基于负荷仿射曲线并基于这个假设设计的隐变量提取模块,能减小计算复杂度。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (6)
1.一种基于迁移学习的短期广义负荷预测方法,其特征在于:包括以下步骤:
步骤一:基于传递熵和相关系数分析不同区域负荷数据集之间的相关性:
基于相关系数的负荷数据集相关性分析具体包括:将第k个数据集的历史负荷值依照时间排列构成一个向量,用y(k)表示,y(k)的表达公式如公式(1)所示,第k个数据集与第l个数据集之间的相关系数用Mcov(k,l)表示,Mcov(k,l)的计算公式如公式(2)所示:
基于交叉熵的负荷数据集相关性分析具体包括:对于两个变量X和Y,他们的交叉熵I(X,Y)的定义如公式(3)所示;
步骤二:构建短期负荷预测集成模型,首先将目标问题Ptarget的数据集用S(target)=(x(target),y(target))表示,然后将Starget作为训练集进行训练,得到的预测模型如公式(6)所示,然后再引入源问题数据集S(k)=(x(k),y(k)),然后基于源问题数据集S(k)进行训练,得到的预测模型如公式(7)所示:
y(target)=f(target)(x(target)) (6)
y(k)=f(k)(x(k)) (7)
其中,f(target)是由S(target)训练得到的预测函数;
步骤五:用w(target)表示目标问题数据集的权重,使用w(k)表示各个源问题数据集的权重,将短期负荷预测集成模型训练过程中的加权损失函数loss形式用公式(14)表示:
然后采用于最大似然算法推导权重的取值,优化问题的损失函数loss的表达用公式(15)表示:
最后得到目标问题Ptarget的数据集S(target)和源问题数据集S(k)所加的权重,如公式(16)和(17)所示;
步骤六:对公式(16)和(17)进行归一化处理,得到公式(18)和(19):
其中,w(k)的最大取值为1;
步骤七:利用基于迭代和交叉验证的算法来求解权重w(k)和w(target),w(k)通过迭代来求解,w(target)是一个超参数,w(target)的值由交叉验证进行确定;
步骤八:构建基于负荷时间序列分解和实例迁移的短期负荷预测模型,所述短期负荷预测模型采用的预测方法具体为:首先基于负荷时间序列分解得到去除了趋势分量和周期分量的负荷序列,然后基于实例迁移算法,使用目标问题和源问题的数据共同训练公共预测模型,最后在公共预测模型的基础上加入目标问题负荷序列的趋势分量和周期分量;
步骤九:假定目标问题和相关的预测问题可以被建模为隐变量模型,然后基于隐变量模型,让目标问题和源问题构建的一个公共模型f满足公式(20)和(21):
步骤十一:当不同训练集中的数据权重不同时,根据负荷预测模型内核是否支持对训练数据加权进行分情况处理,当负荷预测模型内核不支持对训练数据加权时,使用小批量采样数据训练模型,并通过权重确定数据采样率;当负荷预测模型内核支持对训练数据加权时,直接将权重交由负荷预测模型内核处理或采用小批量采样数据训练模型;
步骤十二:对公共模型f和隐变量提取模块进行训练,具体包括:
对于手动设计隐变量的提取模块,直接训练公共模型f,以L和X作为输入,以到达缩小训练误差loss(y,y^);
对于需要训练的隐变量提取模块,将公共模型f与隐变量提取模块的训练结合起来,将公共模型f与隐变量提取模块组合为一个整体并直接训练这个整体,和S(k)为这个整体的输入,以到达缩小训练误差loss(y,y^);
步骤十三:假设不同区域的负荷曲线是一系仿射曲线,然后将目标预测问题的负荷曲线和源预测问题的负荷曲线假定为一系列的仿射曲线,再引入了一个基础曲线f(Xi,0),将目标问题负荷曲线和源预测问题负荷曲线与基础曲线之间的偏差分别由和表示,和的定义如公式(22)所示;
步骤十四:将隐变量模型与迭代赋权算法的组合构建为双层迁移学习负荷预测算法框架,首先将隐变量模型作为内层,源问题的迭代赋权算法最为外层,将源问题的迭代赋权算法的负荷预测模型内核替换为隐变量模型,得到双层迁移学习负荷预测框架;
步骤十五:假定目标问题和源问题数据集完全符合公共模型f,目标问题和源问题的预测模型如公式(23)和(24)所示:
然后从随机误差和系统误差两个方面目标问题和源问题的预测模型的预测误差,参照步骤二中内容将目标问题的随机误差依旧用表示,源问题k的随机误差依旧用表示,加入随机误差后,将公式(23)和(24)变换为公式(25)和(26);
步骤十六:选择梯度提升树作为双层迁移学习框架的短期负荷预测模型内核,得到双层迁移学习梯度提升树算法,然后假设待求解的拟合函数在第i个样本点处的取值为则第t个阶段结束后的拟合函数系综在第i个样本点处的取值如公式(27)所示:
步骤十七:拟合L(t)的负梯度选择CART决策树作为基础学习器,然后基于分裂叶子节点并生成树,假设生成的树有K(t)个叶子节点,第k个节点包含的数据点构成集合然后用表示CART决策树在第k个叶子节点处的取值,则均方根误差如公式(30)所示,成功构建第t个阶段的树后,新的基于决策树的预测函数被乘以一个学习率λ后再加到第t-1个阶段结束时得到的预测函数f(t-1)之中,则对任意的从属于树模型的第k个叶子节点的自变量Xi,第t个阶段结束时新的预测模型f(t)(Xi)满足下公式(31)。
2.根据权利要求1所述的一种基于迁移学习的短期广义负荷预测方法,其特征在于:所述步骤一公式(3)中μ(x,y)表示随机变量X和Y的联合分布,μx(x)和μy(y)是分别变量X和Y的边缘分布,μx(x)和μy(y)满足公式(4)和(5):
μx(x)=∫dyμ(x,y) (4)
μy(y)=∫dxμ(x,y) (5)
然后定义交叉熵衡量两个序列之间的相关性,当交叉熵越高,相关性越高;当两个变量完全独立时,交叉熵为0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911159416.7A CN110969293B (zh) | 2019-11-22 | 2019-11-22 | 一种基于迁移学习的短期广义电力负荷预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911159416.7A CN110969293B (zh) | 2019-11-22 | 2019-11-22 | 一种基于迁移学习的短期广义电力负荷预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110969293A true CN110969293A (zh) | 2020-04-07 |
CN110969293B CN110969293B (zh) | 2023-07-21 |
Family
ID=70031336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911159416.7A Active CN110969293B (zh) | 2019-11-22 | 2019-11-22 | 一种基于迁移学习的短期广义电力负荷预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110969293B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220004941A1 (en) * | 2020-07-06 | 2022-01-06 | Samsung Electronics Co., Ltd. | Short-term load forecasting |
CN114169416A (zh) * | 2021-11-30 | 2022-03-11 | 电子科技大学 | 一种基于迁移学习的小样本集下短期负荷预测方法 |
CN115184993A (zh) * | 2022-09-14 | 2022-10-14 | 煤炭科学研究总院有限公司 | 基于多层主动传递熵的微震数据的分析与判识方法 |
CN115310727A (zh) * | 2022-10-11 | 2022-11-08 | 山东建筑大学 | 一种基于迁移学习的建筑冷热电负荷预测方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971240A (zh) * | 2017-03-16 | 2017-07-21 | 河海大学 | 一种变量选择与高斯过程回归的短期负荷预测方法 |
CN107563539A (zh) * | 2017-07-24 | 2018-01-09 | 佛山市顺德区中山大学研究院 | 基于机器学习模型的短期和中长期电力负荷预测方法 |
CN109102126A (zh) * | 2018-08-30 | 2018-12-28 | 燕山大学 | 一种基于深度迁移学习的理论线损率预测模型 |
CN109711620A (zh) * | 2018-12-26 | 2019-05-03 | 浙江大学 | 一种基于gru神经网络和迁移学习的短期电力负荷预测方法 |
US20190265768A1 (en) * | 2018-02-24 | 2019-08-29 | Hefei University Of Technology | Method, system and storage medium for predicting power load probability density based on deep learning |
CN110472778A (zh) * | 2019-07-29 | 2019-11-19 | 上海电力大学 | 一种基于Blending集成学习的短期负荷预测方法 |
-
2019
- 2019-11-22 CN CN201911159416.7A patent/CN110969293B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971240A (zh) * | 2017-03-16 | 2017-07-21 | 河海大学 | 一种变量选择与高斯过程回归的短期负荷预测方法 |
CN107563539A (zh) * | 2017-07-24 | 2018-01-09 | 佛山市顺德区中山大学研究院 | 基于机器学习模型的短期和中长期电力负荷预测方法 |
US20190265768A1 (en) * | 2018-02-24 | 2019-08-29 | Hefei University Of Technology | Method, system and storage medium for predicting power load probability density based on deep learning |
CN109102126A (zh) * | 2018-08-30 | 2018-12-28 | 燕山大学 | 一种基于深度迁移学习的理论线损率预测模型 |
CN109711620A (zh) * | 2018-12-26 | 2019-05-03 | 浙江大学 | 一种基于gru神经网络和迁移学习的短期电力负荷预测方法 |
CN110472778A (zh) * | 2019-07-29 | 2019-11-19 | 上海电力大学 | 一种基于Blending集成学习的短期负荷预测方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220004941A1 (en) * | 2020-07-06 | 2022-01-06 | Samsung Electronics Co., Ltd. | Short-term load forecasting |
US11847591B2 (en) * | 2020-07-06 | 2023-12-19 | Samsung Electronics Co., Ltd. | Short-term load forecasting |
CN114169416A (zh) * | 2021-11-30 | 2022-03-11 | 电子科技大学 | 一种基于迁移学习的小样本集下短期负荷预测方法 |
CN114169416B (zh) * | 2021-11-30 | 2023-04-21 | 电子科技大学 | 一种基于迁移学习的小样本集下短期负荷预测方法 |
CN115184993A (zh) * | 2022-09-14 | 2022-10-14 | 煤炭科学研究总院有限公司 | 基于多层主动传递熵的微震数据的分析与判识方法 |
CN115310727A (zh) * | 2022-10-11 | 2022-11-08 | 山东建筑大学 | 一种基于迁移学习的建筑冷热电负荷预测方法及系统 |
CN115310727B (zh) * | 2022-10-11 | 2023-02-03 | 山东建筑大学 | 一种基于迁移学习的建筑冷热电负荷预测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110969293B (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969293A (zh) | 一种基于迁移学习的短期广义负荷预测方法 | |
CN106600059B (zh) | 基于改进rbf神经网络的智能电网短期负荷预测方法 | |
CN107730003A (zh) | 一种支持多电器类型高精度的nilm实现方法 | |
CN109345027B (zh) | 基于独立成分分析与支持向量机的微电网短期负荷预测方法 | |
CN112054943B (zh) | 一种移动网络基站流量预测方法 | |
CN111062512B (zh) | 一种风电功率预测方法 | |
CN107832259A (zh) | 一种基于时间序列和卡尔曼滤波的负荷预测方法 | |
Thouvenot et al. | Electricity forecasting using multi-stage estimators of nonlinear additive models | |
CN114219139B (zh) | 基于注意力机制的dwt-lstm电力负荷预测方法 | |
CN112434848A (zh) | 基于深度信念网络的非线性加权组合风电功率预测方法 | |
CN110851566A (zh) | 一种改进的可微分网络结构搜索的方法 | |
CN107909262A (zh) | 一种众包代价复杂度的获取方法 | |
CN116526450A (zh) | 计及误差补偿的两阶段短期电力负荷组合预测方法 | |
CN112884236B (zh) | 一种基于vdm分解与lstm改进的短期负荷预测方法及系统 | |
CN111008790A (zh) | 一种水电站群发电调度规则提取方法 | |
CN114897144A (zh) | 基于复值神经网络的复值时序信号预测方法 | |
CN109754122A (zh) | 一种基于随机森林特征提取的bp神经网络的数值预测方法 | |
CN111355633A (zh) | 一种基于pso-delm算法的比赛场馆内手机上网流量预测方法 | |
CN111340069A (zh) | 基于交替学习的不完整数据精细建模及缺失值填补方法 | |
CN112905656A (zh) | 一种融合时序网络的动态社区发现系统 | |
CN111242353A (zh) | 风电功率组合预测建模和预测方法 | |
CN111105005B (zh) | 一种风电功率预测方法 | |
CN110110447B (zh) | 一种混合蛙跳反馈极限学习机带钢厚度预测方法 | |
CN106227965B (zh) | 一种顾及时空分布非平稳特征的土壤有机碳空间抽样网络设计方法 | |
CN112766537B (zh) | 一种短期电负荷预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |