CN115907233B - 基于机器心智模型和自注意力的风力发电分位数预测方法 - Google Patents

基于机器心智模型和自注意力的风力发电分位数预测方法 Download PDF

Info

Publication number
CN115907233B
CN115907233B CN202310014898.7A CN202310014898A CN115907233B CN 115907233 B CN115907233 B CN 115907233B CN 202310014898 A CN202310014898 A CN 202310014898A CN 115907233 B CN115907233 B CN 115907233B
Authority
CN
China
Prior art keywords
tomwpf
power generation
prediction
wind power
quantile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310014898.7A
Other languages
English (en)
Other versions
CN115907233A (zh
Inventor
胡天宇
马惠敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202310014898.7A priority Critical patent/CN115907233B/zh
Publication of CN115907233A publication Critical patent/CN115907233A/zh
Application granted granted Critical
Publication of CN115907233B publication Critical patent/CN115907233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Wind Motors (AREA)

Abstract

本发明提出了一种基于机器心智模型和自注意力的风力发电分位数预测方法，包括以下步骤：借鉴人类认知决策机理，构建机器心智模型作为ToMWPF的基本架构，再将风力发电季节规律和短期日内发电趋势，编码入ToMWPF中作为本预测方法的输入信息‑采用自注意力层来取代原始机器心智模型中的循环神经网络，有效地在季节发电规律和日内发电趋势之间建立统计联系，减轻原有机器心智模型的长程遗忘‑将积分形式的连续秩概率得分转化为求和形式，并将其作为损失函数训练ToMWPF，使ToMWPF以最高的效率逼近最优的分位数预测结果。本发明采用上述方法，可实现准确的风力发电分位数预测，有利于能源系统的运行，提高低碳未来的社会福利。

Description

基于机器心智模型和自注意力的风力发电分位数预测方法
技术领域
本发明涉及一种风力发电预测技术，尤其涉及一种基于机器心智模型和自注意力的风力发电分位数预测方法。
背景技术
提升可再生能源如风电、光伏等在一次能源中的比例是符合国家“双碳”重大战略需求的有效举措。2021年，风力、光伏发电在全球发电总量中的占比首次突破1/10，达到10.3％。由于风电出力的高度不确定性，其大规模并网对电力系统安全运行提出了较大的挑战。准确的风电预测是应对不确定性最有效的方法之一，其可为超前调度提供足够的安全裕量，进而有助于提高风电消纳能力。
风电预测有效地降低了风电大规模应用所造成的发电侧不确定性。现有预测方法主要集中在风电出力的确定性(点)预测上，而较少关注风力发电的概率预测方法。确定性预测模型的输出是条件期望(或均值)。概率预测模型的输出是预测目标的分布区间或分位数。相较于确定性预测模型，概率预测模型更能够捕捉预测目标的不确定性，进而为能源系统优化运行带来了更高的灵活性，如鲁棒调度、随机规划等。因此，风力发电的概率预测在电力系统的实际运行中具有巨大的应用潜力和价值，但其目前面临着如下挑战：
问题1：季节发电规律(长期)与日内发电趋势(短期)的信息平衡
风力发电波动总体受两个因素的影响：(1)长期的、季节性的气流变化规律。例如，同一风场所有夏季都有大致类似的风电出力统计规律。该因素可以通过统计归纳长期以来的历史发电曲线得到，而且在一定程度上是稳定的。(2)风电出力的短期日内波动，代表了当前气流的短期变化趋势。在风电预测模型或方法中，如何有机地结合长期规律和短期趋势、如何把握以上两点的信息平衡是进行准确风电预测的瓶颈之一。
问题2：长期信息的遗忘
现有时间序列预测方法难以解决长程遗忘问题，即较远之前的历史数据会被遗忘或忽视。而在风电预测场景中，季节因素等长程历史信息对未来风电出力预测仍然会起到重要指引作用，因此克服现有预测方法的长程遗忘问题也是当前风电预测所面临的挑战。
问题3：评价指标连续秩概率得分(Continuous Ranked Probability Score,CRPS)不可导，故无法作为模型训练的损失函数
将分位数预测的评价指标(如CRPS)直接作为模型训练的损失函数，可以使模型最快地瞄准最高质量的分位数预测结果。然而现有CRPS的积分形式难以直接求导，故无法直接作为模型训练的损失函数。
发明内容
针对问题1，本发明考虑了风电长期季节规律和短期日内趋势，采用机器心智模型借鉴人类认知机理将季节规律和日内趋势有机结合起来，即基于机器心智模型和自注意力的风力发电分位数预测方法(ToMWPF)。在ToMWPF中构建两个特征编码：季节规律编码和日内趋势编码；季节规律编码旨在从过去三个月的每日发电曲线中总结风场出力随季节变化的统计规律；日内趋势编码旨在从最近的发电量中捕捉目前的风电出力变化趋势。
针对问题2，本发明公开了基于自注意机制的风电数据编码方法，其模仿了人类选择性地专注于一件或几件事而忽略其他事情的认知过程。在ToMWPF中，采用自注意力来取代原始机器心智模型中的循环神经网络，从而有效地在季节发电规律和日内发电趋势之间建立统计联系。
针对问题3，本发明将CRPS从积分形式转化为求和形式，该求和形式的CRPS是可导的，故可以直接作为预测模型的损失函数。在本发明中，将转化后的求和形式的CRPS直接作为ToMWPF的损失函数。
本发明的目的是提供一种基于机器心智模型和自注意力的风力发电分位数预测方法(ToMWPF)，ToMWPF以机器心智模型为架构借鉴人类认知决策机理实现了季节发电规律和日内发电趋势的合理平衡,同时通过建立自注意力达到了缓解长期遗忘的目的，并直接采用求和形式的CRPS作为训练ToMWPF的损失函数，以上三点使ToMWPF具有优异的预测能力和巨大的应用潜力。
为实现上述目的，本发明提供了基于机器心智模型和自注意力的风力发电分位数预测方法，包括以下步骤：
S1、构建ToMWPF的基本架构
S11、分位数预测的问题描述和数学表达；
S12、构建机器心智模型作为ToMWPF的基本架构，然后将风力发电季节规律和短期日内发电趋势编码入ToMWPF中作为本预测方法的输入信息，并将自注意力机制融入ToMWPF中作为连通各个编码和向量的纽带；
S2、ToMWPF的训练和预测
S21、采用连续秩概率得分(Continuous Ranked Probability Score,CRPS)作为ToMWPF的预测结果评价指标，并通过推导将其转化为可导形式；
S22、将转化后的可导的CRPS作为损失函数训练ToMWPF；
S23、ToMWPF利用机器心智模型模拟人类的心理决策机制，进行风力发电量分位数预测。
优选的，步骤S11具体包括以下步骤：
S11、分位数预测的问题描述和数学表达
给定训练数据为
Figure GDA0004172347190000031
其中，t表示时间戳，T表示覆盖周期，xt是风力发电分位数预测的解释性变量(如风力发电季节规律统计、当前风场出力趋势、天气预报信息等)，yt表示目标变量，如某风场在时刻t的发电量；分位数预测的目标是估计yt+h的概率分布的分位数：
Figure GDA0004172347190000032
其中,
Figure GDA0004172347190000041
为yt+h所对应的概率分布的累积概率为α时的分位数，r为所采样的α的数量，D为本预测任务的滞后区间；若用
Figure GDA0004172347190000042
表示对
Figure GDA0004172347190000043
的预测或估计，则可将t时刻的所有预测分位数写成
Figure GDA0004172347190000044
然后，将所有时刻的预测分位数可以合并表示为
Figure GDA0004172347190000045
Figure GDA0004172347190000046
或者，将预测目标变量yt的所有观测值合并写成Y＝[y1,y2,…,yT]。
优选的，步骤S12具体包括以下步骤：
S121、在ToMWPF中建立季节规律网络、日内趋势网络和预测网络三个网络；其中季节规律网络旨在获得风电场出力的季节规律特征；日内趋势网络旨在估计最近若干小时风力发电的日内趋势；预测网络用于预测1小时之后的风力发电分布的分位数；
ToMWPF的三个部分，即季节规律网络、日内趋势网络和预测网络，均由自注意力层组成。自我注意是缓解神经网络长期遗忘的有效方法，其高并行性带来了高时间效率；自我注意力的核心思想是运用输入样本的相互注意力重新表达所有输入样本，假设输入样本矩阵为X＝[x1,x2,…,xN]T，其中N为样本总数，则自注意力以以下方式计算：
Figure GDA0004172347190000047
其中：
Q＝X·WQ,K＝X·WK,V＝X·WV
上式中WQ，WK，WV是可训练的权重矩阵；Q，K，V分别是查询、键、值矩阵；dk是Q中每一行的维度；Z是自注意力层的输出，即每个样本的重新表达；
S122、在ToMWPF中构建两个特征编码：季节规律编码和日内趋势编码；季节规律编码旨在从过去三个月的每日发电曲线中总结风场出力随季节变化的统计规律；日内趋势编码旨在从最近的发电量中捕捉目前的风电出力变化趋势；
S123、ToMWPF将季节规律编码、日内趋势编码以及时间周期性信息进行合并，然后通过预测网络输出风力发电分位数预测值。
优选的，步骤S21具体包括以下步骤：
S21、采用连续秩概率得分(Continuous Ranked Probability Score,CRPS)作为ToMWPF的预测结果评价指标，并通过推导将其转化为可导形式CRPS是一个综合的分位数评价指标，其同时考虑了预测分位数的可靠性和尖锐度，定义如下：
Figure GDA0004172347190000051
其中，
Figure GDA0004172347190000052
由对
Figure GDA0004172347190000053
进行线性插值获得(其中
Figure GDA0004172347190000054
和
Figure GDA0004172347190000055
分别表示yt的上界和下界，且α0＝0,αr+1＝1)，ε(·)是阶跃函数，其定义如下：
Figure GDA0004172347190000056
经过将yt正则化到[0,1]后，将(3)式简化如下：
Figure GDA0004172347190000057
证明在(5)中的CRPS积分等价地重写为以下可导形式：
Figure GDA0004172347190000058
其中：
Figure GDA0004172347190000059
Figure GDA00041723471900000510
Figure GDA00041723471900000511
以上结论的证明如下：
若给定预测分位数为：
Figure GDA0004172347190000061
其中，
Figure GDA0004172347190000062
则有：
Figure GDA0004172347190000063
其中Ft(p)是通过在
Figure GDA0004172347190000064
上线性插值获得；
由
Figure GDA0004172347190000065
和
Figure GDA0004172347190000066
所确定的线段可由以下公式表达：
Figure GDA0004172347190000067
Figure GDA0004172347190000068
由于Ft(p)是分段的，其可行区域可分为以下互斥部分：
Figure GDA0004172347190000069
Ft(p)在除最后一个孤立点
Figure GDA00041723471900000610
外的每个段内是连续可导的；与概率间隔
Figure GDA00041723471900000611
所对应的指示函数可转化为：
Figure GDA00041723471900000612
最后一个边界点
Figure GDA00041723471900000613
对应的指示函数可转化为：
Figure GDA0004172347190000071
据此，Ft(p)可被重新表达为：
Figure GDA0004172347190000072
结合式(11)和式(17)得到式(18)：
Figure GDA0004172347190000073
然后确定以下引理作为进一步推导的基础：
引理1：由于对于任意x∈R
ε2(x)＝ε(x)和[1-ε(x)]2＝1-ε(x)  (19)
引理2：对于任意x∈R，并且i≠j
Figure GDA0004172347190000074
引理3：对于R上的任何有限函数f(x)，有以下结论：
Figure GDA0004172347190000081
证明如下：
Figure GDA0004172347190000082
结合公式(19)、(20)、(21)，将公式(18)化简如下：
Figure GDA0004172347190000083
由于
Figure GDA0004172347190000084
等于曲线
Figure GDA0004172347190000085
在
Figure GDA0004172347190000086
和
Figure GDA0004172347190000087
之间的面积，因此：
Figure GDA0004172347190000088
而
Figure GDA0004172347190000089
可被等效转换为以下三种情况：
(A)当
Figure GDA00041723471900000810
即
Figure GDA00041723471900000811
Figure GDA0004172347190000091
(B)当
Figure GDA0004172347190000092
即
Figure GDA0004172347190000093
Figure GDA0004172347190000094
(C)当
Figure GDA0004172347190000095
即
Figure GDA0004172347190000096
Figure GDA0004172347190000097
合并(23)、(24)、(25)、(26)和(27)，得到(28)：
Figure GDA0004172347190000098
然后，结合(18)和(28)，公式(11)中的CRPS可被重新表达为(29)：
Figure GDA0004172347190000099
CRPS在式(29)中的表达形式是与式(3)等价的，且其是可导的，故其可以作为损失函数进行训练；
S22、将转化后的可导的CRPS作为损失函数训练ToMWPF
将式(29)中的CRPS作为训练ToMWPF的损失函数，ToMWPF的训练被抽象为以下优化问题：
Figure GDA0004172347190000101
约束条件：
Figure GDA0004172347190000102
和
Figure GDA0004172347190000103
其中，式(30)采用双梯度下降算法实现，其中首先将拉格朗日函数
Figure GDA0004172347190000104
定义为：
Figure GDA0004172347190000105
约束条件，
Figure GDA0004172347190000106
上式中θ是神经网络的参数集合，λ是拉格朗日乘子，然后，运用双梯度下降算法并将
Figure GDA0004172347190000107
作为直接损失函数训练ToMWPF，θ和
Figure GDA0004172347190000108
在双梯度下降算法中进行交替更新，以达到ToMWPF的训练目的。
因此，本发明具有以下有益效果：
1、提出了基于机器心智模型和自注意力的风力发电分位数预测方法(ToMWPF)，其具有以下优势：(1)将机器心智模型作为ToMWPF的基本架构，其模仿人类进行认知决策的机理，能够有效地平衡季节发电规律(长期信息)和日内变化趋势(短期信息)。(2)自注意力层减轻了ToMWPF的长期遗忘。(3)采用求和形式的CRPS作为损失函数使ToMWPF以最高的效率逼近最优的分位数预测结果。
2、采用自注意力来取代原始机器心智模型中的循环神经网络，从而有效地在季节发电规律和日内变化趋势之间建立统计联系，减轻了原有机器心智理论的长程遗忘。
3、将积分形式的CRPS转化为求和形式，使ToMWPF以最高的效率逼近最优的分位数预测结果。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的ToMWPF的框架图；
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
图1为本发明的ToMWPF的框架图，如图1所示，基于机器心智模型和自注意力的风力发电分位数预测方法(Theory Of Mind based Wind Power Forecaster，ToMWPF)，包括以下步骤：
S1、构建ToMWPF的基本架构
S11、分位数预测的问题描述和数学表达；
优选的，步骤S11具体包括以下步骤：
S11、分位数预测的问题描述和数学表达
给定训练数据为
Figure GDA0004172347190000111
其中，t表示时间戳，T表示覆盖周期，xt是风力发电分位数预测的解释性变量(如风力发电季节规律统计、当前风场出力趋势、天气预报信息等)，yt表示目标变量，如某风场在时刻t的发电量；分位数预测的目标是估计yt+h的概率分布的分位数：
Figure GDA0004172347190000112
其中,
Figure GDA0004172347190000113
为yt+h所对应的概率分布的累积概率为α时的分位数，r为所采样的α的数量，D为本预测任务的滞后区间；若用
Figure GDA0004172347190000114
表示对
Figure GDA0004172347190000115
的预测或估计，则可将t时刻的所有预测分位数写成
Figure GDA0004172347190000116
然后，将所有时刻的预测分位数可以合并表示为
Figure GDA0004172347190000117
Figure GDA0004172347190000118
或者，将预测目标变量yt的所有观测值合并写成Y＝[y1,y2,…,yT]。
S12、构建机器心智模型作为ToMWPF的基本架构，然后将风力发电季节规律(最近三个月的风电场发电记录)和短期日内发电趋势(最近24小时的风电场发电记录)编码入ToMWPF中作为本预测方法的输入信息，并将自注意力机制融入ToMWPF中作为连通各个编码和向量的纽带；
优选的，步骤S12具体包括以下步骤：
S121、在ToMWPF中建立季节规律网络、日内趋势网络和预测网络三个网络；其中季节规律网络旨在获得风电场出力的季节规律特征；日内趋势网络旨在估计最近若干小时风力发电的日内趋势；预测网络用于预测1小时之后的风力发电分布的分位数；
ToMWPF的三个部分，即季节规律网络、日内趋势网络和预测网络，均由自注意力层组成。自我注意是缓解神经网络长期遗忘的有效方法，其高并行性带来了高时间效率；自我注意力的核心思想是运用输入样本的相互注意力重新表达所有输入样本，假设输入样本矩阵为X＝[x1,x2,...,xN]T，其中N为样本总数，则自注意力以以下方式计算：
Figure GDA0004172347190000121
其中：
Q＝X·WQ,K＝X·WK,V＝X·WV
上式中WQ，WK，WV是可训练的权重矩阵；Q，K，V分别是查询、键、值矩阵；dk是Q中每一行的维度；Z是自注意力层的输出，即每个样本的重新表达；
S122、在ToMWPF中构建两个特征编码：季节规律编码和日内趋势编码；季节规律编码旨在从过去三个月的每日发电曲线中总结风场出力随季节变化的统计规律；日内趋势编码旨在从最近的发电量中捕捉目前的风电出力变化趋势；
S123、ToMWPF将季节规律编码、日内趋势编码以及时间周期性信息进行合并，然后通过预测网络输出风力发电分位数预测值。
S2、ToMWPF的训练和预测
S21、采用CRPS(连续分级概率评分)作为ToMWPF的预测结果评价指标，并通过推导将其转化为可导形式；
优选的，步骤S21具体包括以下步骤：
S21、采用连续秩概率得分(Continuous Ranked Probability Score,CRPS)作为ToMWPF的预测结果评价指标，并通过推导将其转化为可导形式CRPS是一个综合的分位数评价指标，其同时考虑了预测分位数的可靠性和尖锐度，定义如下：
Figure GDA0004172347190000131
其中，
Figure GDA0004172347190000132
由对
Figure GDA0004172347190000133
进行线性插值获得(其中
Figure GDA0004172347190000134
和
Figure GDA0004172347190000135
分别表示yt的上界和下界，且α0＝0,αr+1＝1)，ε(·)是阶跃函数，其定义如下：
Figure GDA0004172347190000136
经过将yt正则化到[0,1]后，将(3)式简化如下：
Figure GDA0004172347190000137
证明在(5)中的CRPS积分等价地重写为以下可导形式：
Figure GDA0004172347190000138
其中：
Figure GDA0004172347190000141
Figure GDA0004172347190000142
Figure GDA0004172347190000143
以上结论的证明如下：
若给定预测分位数为：
Figure GDA0004172347190000144
其中，
Figure GDA0004172347190000145
则有：
Figure GDA0004172347190000146
其中Ft(p)是通过在
Figure GDA0004172347190000147
上线性插值获得；
由
Figure GDA0004172347190000148
和
Figure GDA0004172347190000149
所确定的线段可由以下公式表达：
Figure GDA00041723471900001410
Figure GDA00041723471900001411
由于Ft(p)是分段的，其可行区域可分为以下互斥部分：
Figure GDA00041723471900001412
Ft(p)在除最后一个孤立点
Figure GDA00041723471900001413
外的每个段内是连续可导的；
与概率间隔
Figure GDA00041723471900001414
所对应的指示函数可转化为：
Figure GDA0004172347190000151
最后一个边界点
Figure GDA0004172347190000152
对应的指示函数可转化为：
Figure GDA0004172347190000153
据此，Ft(p)可被重新表达为：
Figure GDA0004172347190000154
结合式(11)和式(17)得到式(18)：
Figure GDA0004172347190000155
然后确定以下引理作为进一步推导的基础：
引理1：由于对于任意x∈R
ε2(x)＝ε(x)和[1-ε(x)]2＝1-ε(x)(19)
引理2：对于任意x∈R，并且i≠j
Figure GDA0004172347190000161
引理3：对于R上的任何有限函数f(x)，有以下结论：
Figure GDA0004172347190000162
证明如下：
Figure GDA0004172347190000163
结合公式(19)、(20)、(21)，将公式(18)化简如下：
Figure GDA0004172347190000164
由于
Figure GDA0004172347190000165
等于曲线
Figure GDA0004172347190000166
在
Figure GDA0004172347190000167
和
Figure GDA0004172347190000168
之间的面积，因此：
Figure GDA0004172347190000171
而
Figure GDA0004172347190000172
可被等效转换为以下三种情况：
(A)当
Figure GDA0004172347190000173
即
Figure GDA0004172347190000174
Figure GDA0004172347190000175
(B)当
Figure GDA0004172347190000176
即
Figure GDA0004172347190000177
Figure GDA0004172347190000178
(C)当
Figure GDA0004172347190000179
即
Figure GDA00041723471900001710
Figure GDA00041723471900001711
合并(23)、(24)、(25)、(26)和(27)，得到(28)：
Figure GDA00041723471900001712
然后，结合(18)和(28)，公式(11)中的CRPS可被重新表达为(29)：
Figure GDA0004172347190000181
CRPS在式(29)中的表达形式是与式(3)等价的，且其是可导的，故其可以作为损失函数进行训练；
S22、将转化后的可导的CRPS作为损失函数训练ToMWPF
将式(29)中的CRPS作为训练ToMWPF的损失函数，ToMWPF的训练被抽象为以下优化问题：
Figure GDA0004172347190000182
Figure GDA0004172347190000183
约束条件：
Figure GDA0004172347190000184
和
Figure GDA0004172347190000185
其中，式(30)采用双梯度下降算法实现，其中首先将拉格朗日函数
Figure GDA0004172347190000186
定义为：
Figure GDA0004172347190000187
约束条件，
Figure GDA0004172347190000188
上式中θ是神经网络的参数集合，λ是拉格朗日乘子，然后，运用双梯度下降算法并将
Figure GDA0004172347190000189
作为直接损失函数训练ToMWPF，θ和
Figure GDA00041723471900001810
在双梯度下降算法中进行交替更新，以达到ToMWPF的训练目的。
S22、将转化后的可导的CRPS作为损失函数训练ToMWPF；
S23、ToMWPF利用机器心智模型模拟人类的心理决策机制，进行风力发电量分位数预测。
本发明提出了一种将机器心智模型和自注意力机制应用于风力发电分位数预测的有效解决方案，即ToMWPF。ToMWPF在预测结果的可靠性和尖锐度方面都优于最先进的参数和非参数分位数预测模型。其优势在于以下几个方面：(1)ToMWPF以机器心智模型为基本架构，其模仿人类进行认知决策的过程，可以有效平衡风力发电季节规律和短期日内发电趋势，使其优于现有深度学习预测模型。(2)ToMWPF中的自注意力层在缓解长期遗忘和灾难遗忘方面的优势给其带来了高准确度。(3)将积分形式的CRPS转化为求和形式，使ToMWPF以最高的效率逼近最优的分位数预测结果。ToMWPF可实现准确的风力发电概率预测，其有利于能源系统的经济运行，提高低碳未来的社会福利。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (1)

1.一种基于机器心智模型和自注意力的风力发电分位数预测方法，其特征在于：包括以下步骤：
S1、构建ToMWPF的基本架构
S11、分位数预测的问题描述和数学表达；
S12、构建机器心智模型作为ToMWPF的基本架构，然后将风力发电季节规律和短期日内发电趋势编码入ToMWPF中作为本预测方法的输入信息，并将自注意力机制融入ToMWPF中作为连通各个编码和向量的纽带；
S2、ToMWPF的训练和预测
S21、采用连续秩概率得分作为ToMWPF的预测结果评价指标，并通过推导将其转化为可导形式；
S22、将转化后的可导的CRPS作为损失函数训练ToMWPF；
S23、ToMWPF利用机器心智模型模拟人类的心理决策机制，进行风力发电量分位数预测；
步骤S11具体包括以下步骤：
S11、分位数预测的问题描述和数学表达
给定训练数据为
Figure FDA0004172347170000018
其中，t表示时间戳，T表示覆盖周期，xt是风力发电分位数预测的解释性变量，yt表示目标变量；分位数预测的目标是估计yt+h的概率分布的分位数：
Figure FDA0004172347170000011
其中,
Figure FDA0004172347170000012
为yt+h所对应的概率分布的累积概率为α时的分位数，r为所采样的α的数量，D为本预测任务的滞后区间；若用
Figure FDA0004172347170000013
表示对
Figure FDA0004172347170000014
的预测或估计，则可将t时刻的所有预测分位数写成
Figure FDA0004172347170000015
然后，将所有时刻的预测分位数可以合并表示为
Figure FDA0004172347170000016
Figure FDA0004172347170000017
或者，将预测目标变量yt的所有观测值合并写成Y＝[y1,y2,…,yT]；
步骤S12具体包括以下步骤：
S121、在ToMWPF中建立季节规律网络、日内趋势网络和预测网络三个网络；其中季节规律网络旨在获得风电场出力的季节规律特征；日内趋势网络旨在估计最近若干小时风力发电的日内趋势；预测网络用于预测1小时之后的风力发电分布的分位数；
ToMWPF的三个部分，即季节规律网络、日内趋势网络和预测网络，均由自注意力层组成。自我注意是缓解神经网络长期遗忘的有效方法，其高并行性带来了高时间效率；自我注意力的核心思想是运用输入样本的相互注意力重新表达所有输入样本，假设输入样本矩阵为X＝[x1,x2,…,xN]T，其中N为样本总数，则自注意力以以下方式计算：
Figure FDA0004172347170000021
其中：
Q＝X·WQ,K＝X·WK,V＝X·WV
上式中WQ，WK，WV是可训练的权重矩阵；Q，K，V分别是查询、键、值矩阵；dk是Q中每一行的维度；Z是自注意力层的输出，即每个样本的重新表达；
S122、在ToMWPF中构建两个特征编码：季节规律编码和日内趋势编码；季节规律编码旨在从过去三个月的每日发电曲线中总结风场出力随季节变化的统计规律；日内趋势编码旨在从最近的发电量中捕捉目前的风电出力变化趋势；
S123、ToMWPF将季节规律编码、日内趋势编码以及时间周期性信息进行合并，然后通过预测网络输出风力发电分位数预测值；
步骤S21具体包括以下步骤：
S21、采用连续秩概率得分作为ToMWPF的预测结果评价指标，并通过推导将其转化为可导形式
CRPS是一个综合的分位数评价指标，其同时考虑了预测分位数的可靠性和尖锐度，定义如下：
Figure FDA0004172347170000031
其中，
Figure FDA0004172347170000032
由对
Figure FDA0004172347170000033
进行线性插值获得(其中
Figure FDA0004172347170000034
和
Figure FDA0004172347170000035
分别表示yt的上界和下界，且α0＝0,αr+1＝1)，ε(·)是阶跃函数，其定义如下：
Figure FDA0004172347170000036
经过将yt正则化到[0,1]后，将(3)式简化如下：
Figure FDA0004172347170000037
证明在(5)中的CRPS积分等价地重写为以下可导形式：
Figure FDA0004172347170000038
其中：
Figure FDA0004172347170000039
Figure FDA00041723471700000310
Figure FDA00041723471700000311
以上结论的证明如下：
若给定预测分位数为：
Figure FDA00041723471700000312
其中，
Figure FDA00041723471700000313
则有：
Figure FDA0004172347170000041
其中Ft(p)是通过在
Figure FDA0004172347170000042
上线性插值获得；
由
Figure FDA0004172347170000043
和
Figure FDA0004172347170000044
所确定的线段可由以下公式表达：
Figure FDA0004172347170000045
Figure FDA0004172347170000046
由于Ft(p)是分段的，其可行区域可分为以下互斥部分：
Figure FDA0004172347170000047
Ft(p)在除最后一个孤立点
Figure FDA0004172347170000048
外的每个段内是连续可导的；
与概率间隔
Figure FDA0004172347170000049
所对应的指示函数可转化为：
Figure FDA00041723471700000410
最后一个边界点
Figure FDA00041723471700000411
对应的指示函数可转化为：
Figure FDA00041723471700000412
据此，Ft(p)可被重新表达为：
Figure FDA0004172347170000051
结合式(11)和式(17)得到式(18)：
Figure FDA0004172347170000052
(18)
然后确定以下引理作为进一步推导的基础：
引理1：由于对于任意x∈R
ε2(x)＝ε(x)和[1-ε(x)]2＝1-ε(x)(19)引理2：对于任意x∈R，并且i≠j
Figure FDA0004172347170000053
引理3：对于R上的任何有限函数f(x)，有以下结论：
Figure FDA0004172347170000054
证明如下：
Figure FDA0004172347170000061
结合公式(19)、(20)、(21)，将公式(18)化简如下：
Figure FDA0004172347170000062
由于
Figure FDA0004172347170000063
等于曲线
Figure FDA0004172347170000064
在
Figure FDA0004172347170000065
和
Figure FDA0004172347170000066
之间的面积，因此：
Figure FDA0004172347170000067
而
Figure FDA0004172347170000068
可被等效转换为以下三种情况：
(A)当
Figure FDA0004172347170000069
即
Figure FDA00041723471700000610
Figure FDA00041723471700000611
(B)当
Figure FDA0004172347170000071
即
Figure FDA0004172347170000072
Figure FDA0004172347170000073
(C)当
Figure FDA0004172347170000074
即
Figure FDA0004172347170000075
Figure FDA0004172347170000076
合并(23)、(24)、(25)、(26)和(27)，得到(28)：
Figure FDA0004172347170000077
然后，结合(18)和(28)，公式(11)中的CRPS被重新表达为(29)：
Figure FDA0004172347170000078
CRPS在式(29)中的表达形式是与式(3)等价的，且其是可导的，故其可以作为损失函数进行训练；
S22、将转化后的可导的CRPS作为损失函数训练ToMWPF
将式(29)中的CRPS作为训练ToMWPF的损失函数，ToMWPF的训练被抽象为以下优化问题：
Figure FDA0004172347170000081
约束条件：
Figure FDA0004172347170000082
和
Figure FDA0004172347170000083
其中，式(30)采用双梯度下降算法实现，其中首先将拉格朗日函数
Figure FDA0004172347170000084
定义为：
Figure FDA0004172347170000085
约束条件，
Figure FDA0004172347170000086
上式中θ是神经网络的参数集合，λ是拉格朗日乘子，然后，运用双梯度下降算法并将
Figure FDA0004172347170000087
作为直接损失函数训练ToMWPF，θ和
Figure FDA0004172347170000088
在双梯度下降算法中进行交替更新，以达到ToMWPF的训练目的。
CN202310014898.7A 2023-01-06 2023-01-06 基于机器心智模型和自注意力的风力发电分位数预测方法 Active CN115907233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310014898.7A CN115907233B (zh) 2023-01-06 2023-01-06 基于机器心智模型和自注意力的风力发电分位数预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310014898.7A CN115907233B (zh) 2023-01-06 2023-01-06 基于机器心智模型和自注意力的风力发电分位数预测方法

Publications (2)

Publication Number Publication Date
CN115907233A CN115907233A (zh) 2023-04-04
CN115907233B true CN115907233B (zh) 2023-05-09

Family

ID=85771769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310014898.7A Active CN115907233B (zh) 2023-01-06 2023-01-06 基于机器心智模型和自注意力的风力发电分位数预测方法

Country Status (1)

Country Link
CN (1) CN115907233B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018125465A1 (de) * 2018-10-15 2020-04-16 Wobben Properties Gmbh Verfahren und Windpark zum Einspeisen elektrischer Leistung in ein elektrisches Versorgungsnetz
CN110648014B (zh) * 2019-08-28 2022-04-15 山东大学 一种基于时空分位数回归的区域风电预测方法及系统
CN113868938A (zh) * 2021-08-24 2021-12-31 国电南瑞科技股份有限公司 基于分位数回归的短期负荷概率密度预测方法、装置及系统
CN114865620B (zh) * 2022-04-29 2023-01-10 浙江工业大学 基于机器学习算法的风力发电场发电量预测方法

Also Published As

Publication number Publication date
CN115907233A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
CN109902863B (zh) 一种基于多因素时空相关性的风速预测方法及装置
CN110766212B (zh) 用于历史数据缺失电场的超短期光伏功率预测方法
CN105631558A (zh) 基于相似日的bp神经网络光伏发电系统功率预测方法
CN114792156B (zh) 基于曲线特征指标聚类的光伏输出功率预测方法和系统
Jiang et al. Day‐ahead renewable scenario forecasts based on generative adversarial networks
Shah et al. A novel prediction error-based power forecasting scheme for real pv system using pvusa model: A grey box-based neural network approach
Wang et al. A novel wind power prediction model improved with feature enhancement and autoregressive error compensation
CN116341613A (zh) 一种基于Informer encoder和LSTM的超短期光伏功率预测方法
CN112072643A (zh) 一种基于深度确定性梯度策略的光-蓄系统在线调度方法
Luo et al. A cascaded deep learning framework for photovoltaic power forecasting with multi-fidelity inputs
CN108694475B (zh) 基于混合模型的短时间尺度光伏电池发电量预测方法
Huang et al. A deep learning neural network for the residential energy consumption prediction
Jønler et al. Probabilistic forecasts of global horizontal irradiance for solar systems
Mukherjee et al. Solar irradiance prediction from historical trends using deep neural networks
CN116523148B (zh) 一种配电网配变重过载预警方法、装置和设备
CN115907233B (zh) 基于机器心智模型和自注意力的风力发电分位数预测方法
Li et al. Deep learning model for short-term photovoltaic power forecasting based on variational mode decomposition and similar day clustering
Wang et al. An ultra-short-term forecasting model for high-resolution solar irradiance based on SOM and deep learning algorithm
Chen et al. Interval prediction of photovoltaic power using improved NARX network and density peak clustering based on kernel mahalanobis distance
CN105787813A (zh) 一种基于协方差的短期风功率预测方法
CN113591391A (zh) 一种电力负荷控制装置、控制方法、终端、介质及应用
Yang et al. A hybrid vmd-based ARIMA-LSTM model for day-ahead pv prediction and uncertainty analysis
Lee et al. A short-and medium-term forecasting model for roof PV systems with data pre-processing
CN114298444B (zh) 一种风速概率预测方法、装置、设备及存储介质
Jiang et al. Ultra-short-term PV power prediction based on Informer with multi-head probability sparse self-attentiveness mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant