CN115907233A - 基于机器心智模型和自注意力的风力发电分位数预测方法 - Google Patents

基于机器心智模型和自注意力的风力发电分位数预测方法 Download PDF

Info

Publication number
CN115907233A
CN115907233A CN202310014898.7A CN202310014898A CN115907233A CN 115907233 A CN115907233 A CN 115907233A CN 202310014898 A CN202310014898 A CN 202310014898A CN 115907233 A CN115907233 A CN 115907233A
Authority
CN
China
Prior art keywords
tomwpf
prediction
power generation
wind power
quantile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310014898.7A
Other languages
English (en)
Other versions
CN115907233B (zh
Inventor
胡天宇
马惠敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202310014898.7A priority Critical patent/CN115907233B/zh
Publication of CN115907233A publication Critical patent/CN115907233A/zh
Application granted granted Critical
Publication of CN115907233B publication Critical patent/CN115907233B/zh
Priority to US18/243,107 priority patent/US20240256829A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Wind Motors (AREA)

Abstract

本发明提出了一种基于机器心智模型和自注意力的风力发电分位数预测方法，包括以下步骤：借鉴人类认知决策机理，构建机器心智模型作为ToMWPF的基本架构，再将风力发电季节规律和短期日内发电趋势，编码入ToMWPF中作为本预测方法的输入信息‑采用自注意力层来取代原始机器心智模型中的循环神经网络，有效地在季节发电规律和日内发电趋势之间建立统计联系，减轻原有机器心智模型的长程遗忘‑将积分形式的连续秩概率得分转化为求和形式，并将其作为损失函数训练ToMWPF，使ToMWPF以最高的效率逼近最优的分位数预测结果。本发明采用上述方法，可实现准确的风力发电分位数预测，有利于能源系统的运行，提高低碳未来的社会福利。

Description

基于机器心智模型和自注意力的风力发电分位数预测方法
技术领域
本发明涉及一种风力发电预测技术，尤其涉及一种基于机器心智模型和自注意力的风力发电分位数预测方法。
背景技术
提升可再生能源如风电、光伏等在一次能源中的比例是符合国家重大战略需求的有效举措。2021年，风力、光伏发电在全球发电总量中的占比首次突破1/10，达到10.3%。由于风电出力的高度不确定性，其大规模并网对电力系统安全运行提出了较大的挑战。准确的风电预测是应对不确定性最有效的方法之一，其可为超前调度提供足够的安全裕量，进而有助于提高风电消纳能力。
风电预测有效地降低了风电大规模应用所造成的发电侧不确定性。现有预测方法主要集中在风电出力的确定性（点）预测上，而较少关注风力发电的概率预测方法。确定性预测模型的输出是条件期望（或均值）。概率预测模型的输出是预测目标的分布区间或分位数。相较于确定性预测模型，概率预测模型更能够捕捉预测目标的不确定性，进而为能源系统优化运行带来了更高的灵活性，如鲁棒调度、随机规划等。因此，风力发电的概率预测在电力系统的实际运行中具有巨大的应用潜力和价值，但其目前面临着如下挑战：
问题1：季节发电规律（长期）与日内发电趋势（短期）的信息平衡
风力发电波动总体受两个因素的影响：(1)长期的、季节性的气流变化规律。例如，同一风场所有夏季都有大致类似的风电出力统计规律。该因素可以通过统计归纳长期以来的历史发电曲线得到，而且在一定程度上是稳定的。(2)风电出力的短期日内波动，代表了当前气流的短期变化趋势。在风电预测模型或方法中，如何有机地结合长期规律和短期趋势、如何把握以上两点的信息平衡是进行准确风电预测的瓶颈之一。
问题2：长期信息的遗忘
现有时间序列预测方法难以解决长程遗忘问题，即较远之前的历史数据会被遗忘或忽视。而在风电预测场景中，季节因素等长程历史信息对未来风电出力预测仍然会起到重要指引作用，因此克服现有预测方法的长程遗忘问题也是当前风电预测所面临的挑战。
问题3：评价指标连续秩概率得分（Continuous Ranked Probability Score,CRPS）不可导，故无法作为模型训练的损失函数
将分位数预测的评价指标（如CRPS）直接作为模型训练的损失函数，可以使模型最快地瞄准最高质量的分位数预测结果。然而现有CRPS的积分形式难以直接求导，故无法直接作为模型训练的损失函数。
发明内容
针对问题1，本发明考虑了风电长期季节规律和短期日内趋势，采用机器心智模型借鉴人类认知机理将季节规律和日内趋势有机结合起来，即基于机器心智模型和自注意力的风力发电分位数预测方法（ToMWPF）。在ToMWPF中构建两个特征编码：季节规律编码和日内趋势编码；季节规律编码旨在从过去三个月的每日发电曲线中总结风场出力随季节变化的统计规律；日内趋势编码旨在从最近的发电量中捕捉目前的风电出力变化趋势。
针对问题2，本发明公开了基于自注意机制的风电数据编码方法，其模仿了人类选择性地专注于一件或几件事而忽略其他事情的认知过程。在ToMWPF中，采用自注意力来取代原始机器心智模型中的循环神经网络，从而有效地在季节发电规律和日内发电趋势之间建立统计联系。
针对问题3，本发明将CRPS从积分形式转化为求和形式，该求和形式的CRPS是可导的，故可以直接作为预测模型的损失函数。在本发明中，将转化后的求和形式的CRPS直接作为ToMWPF的损失函数。
本发明的目的是提供一种基于机器心智模型和自注意力的风力发电分位数预测方法（ToMWPF），ToMWPF以机器心智模型为架构借鉴人类认知决策机理实现了季节发电规律和日内发电趋势的合理平衡,同时通过建立自注意力达到了缓解长期遗忘的目的，并直接采用求和形式的CRPS作为训练ToMWPF的损失函数，以上三点使ToMWPF具有优异的预测能力和巨大的应用潜力。
为实现上述目的，本发明提供了基于机器心智模型和自注意力的风力发电分位数预测方法，包括以下步骤：
S1、构建ToMWPF的基本架构
S11、分位数预测的问题描述和数学表达；
S12、构建机器心智模型作为ToMWPF的基本架构，然后将风力发电季节规律和短期日内发电趋势编码入ToMWPF中作为本预测方法的输入信息，并将自注意力机制融入ToMWPF中作为连通各个编码和向量的纽带；
S2、ToMWPF的训练和预测
S21、采用连续秩概率得分（Continuous Ranked Probability Score, CRPS）作为ToMWPF的预测结果评价指标，并通过推导将其转化为可导形式；
S22、将转化后的可导的CRPS作为损失函数训练ToMWPF；
S23、ToMWPF利用机器心智模型模拟人类的心理决策机制，进行风力发电量分位数预测。
优选的，步骤S11具体包括以下步骤：
S11、分位数预测的问题描述和数学表达
给定训练数据为，其中，表示时间戳，表示覆盖周期，是风力发电分位数预测的解释性变量（如风力发电季节规律统计、当前风场出力趋势、天气预报信息等），表示目标变量，如某风场在时刻的发电量；分位数预测的目标是估计的概率分布的分位数：
（1）
其中, 为所对应的概率分布的累积概率为时的分位数，为所采样的的数量，为本预测任务的滞后区间；若用表示对的预测或估计，则可将时刻的所有预测分位数写成；然后，将所有时刻的预测分位数可以合并表示为， ，或者，将预测目标变量的所有观测值合并写成。
优选的，步骤S12具体包括以下步骤：
S121、在ToMWPF中建立季节规律网络、日内趋势网络和预测网络三个网络；其中季节规律网络旨在获得风电场出力的季节规律特征；日内趋势网络旨在估计最近若干小时风力发电的日内趋势；预测网络用于预测1小时之后的风力发电分布的分位数；
ToMWPF的三个部分，即季节规律网络、日内趋势网络和预测网络，均由自注意力层组成。自我注意是缓解神经网络长期遗忘的有效方法，其高并行性带来了高时间效率；自我注意力的核心思想是运用输入样本的相互注意力重新表达所有输入样本，假设输入样本矩阵为，其中N为样本总数，则自注意力以下方式计算：
（2）
其中：
上式中，，是可训练的权重矩阵；，，分别是查询矩阵、键矩阵、值矩阵；是Q中每一行的维度；Z是自注意力层的输出，即每个样本的重新表达；
S122、在ToMWPF中构建两个特征编码：季节规律编码和日内趋势编码；季节规律编码旨在从过去三个月的每日发电曲线中总结风场出力随季节变化的统计规律；日内趋势编码旨在从最近的发电量中捕捉目前的风电出力变化趋势；
S123、ToMWPF将季节规律编码、日内趋势编码以及时间周期性信息进行合并，然后通过预测网络输出风力发电分位数预测值。
优选的，步骤S21具体包括以下步骤：
S21、采用连续秩概率得分（Continuous Ranked Probability Score, CRPS）作为ToMWPF的预测结果评价指标，并通过推导将其转化为可导形式
CRPS是一个综合的分位数评价指标，其同时考虑了预测分位数的可靠性和尖锐度，定义如下：
  （3）
其中，由对进行线性插值获得（其中和分别表示的上界和下界，且），是阶跃函数，其定义如下：
（4）
经过将正则化到后，将（3）式简化如下：
（5）
证明在（5）中的CRPS积分等价地重写为以下可导形式：
 （6）
其中：
（7）
   （8）
   （9）
以上结论的证明如下：
若给定预测分位数为：
   （10）
其中，
则有：
（11）
其中是通过在上线性插值获得；
由和所确定的线段可由以下公式表达：
（12）
（13）
由于是分段的，其可行区域可分为以下互斥部分：
（14）
在除最后一个孤立点外的每个段内是连续可导的；
与概率间隔所对应的指示函数可转化为：
  （15）
最后一个边界点对应的指示函数可转化为：
  （16）
据此，可被重新表达为：
（17）
结合式（11）和式（17）得到式（18）：
（18）
然后确定以下引理作为进一步推导的基础：
引理1：由于对于任意 x∈R
（19）
引理2：对于任意x∈R，并且
  (20)
引理3：对于R上的任何有限函数f (x)，有以下结论：
  （21）
证明如下：
  （22）
结合公式（19）、（20）、（21），将公式（18）化简如下：
（23）
由于等于曲线在和之间的面积，因此：
（24）
而可被等效转换为以下三种情况：
（A）当，即
   （25）
（B）当，即
   （26）
（C）当即
   （27）
合并（23）、(24)、(25)、 (26)和（27），得到（28）：
（28）
然后，结合（18）和（28），公式(11)中的CRPS可被重新表达为（29）：
（29）
CRPS在式（29）中的表达形式是与式（3）等价的，且其是可导的，故其可以作为损失函数进行训练；
S22、将转化后的可导的CRPS作为损失函数训练ToMWPF
将式（29）中的CRPS作为训练ToMWPF的损失函数，ToMWPF的训练被抽象为以下优化问题：
   （30）
约束条件：和，其中，式（30）采用双梯度下降算法实现，其中首先将拉格朗日函数定义为：
（31）
约束条件，。上式中是神经网络的参数集合，是拉格朗日乘子，然后，运用双梯度下降算法并将作为直接损失函数训练ToMWPF，和在双梯度下降算法中进行交替更新，以达到ToMWPF的训练目的。
因此，本发明具有以下有益效果：
1、提出了基于机器心智模型和自注意力的风力发电分位数预测方法（ToMWPF），其具有以下优势：(1) 将机器心智模型作为ToMWPF的基本架构，其模仿人类进行认知决策的机理，能够有效地平衡季节发电规律（长期信息）和日内变化趋势（短期信息）。 (2) 自注意力层减轻了ToMWPF的长期遗忘。（3）采用求和形式的CRPS作为损失函数使ToMWPF以最高的效率逼近最优的分位数预测结果。
2、采用自注意力来取代原始机器心智模型中的循环神经网络，从而有效地在季节发电规律和日内变化趋势之间建立统计联系，减轻了原有机器心智理论的长程遗忘。
3、将积分形式的CRPS转化为求和形式，使ToMWPF以最高的效率逼近最优的分位数预测结果。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的ToMWPF的框架图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
图1为本发明的ToMWPF的框架图，如图1所示，基于机器心智模型和自注意力的风力发电分位数预测方法（Theory Of Mind based Wind Power Forecaster，ToMWPF），包括以下步骤：
S1、构建ToMWPF的基本架构
S11、分位数预测的问题描述和数学表达；
优选的，步骤S11具体包括以下步骤：
 S11、分位数预测的问题描述和数学表达
给定训练数据为，其中，表示时间戳，表示覆盖周期，是风力发电分位数预测的解释性变量（如风力发电季节规律统计、当前风场出力趋势、天气预报信息等），表示目标变量，如某风场在时刻的发电量；分位数预测的目标是估计的概率分布的分位数：
（1）
其中, 为所对应的概率分布的累积概率为时的分位数，为所采样的的数量，为本预测任务的滞后区间；若用表示对的预测或估计，则可将时刻的所有预测分位数写成；然后，将所有时刻的预测分位数可以合并表示为， ，或者，将预测目标变量的所有观测值合并写成。
S12、构建机器心智模型作为ToMWPF的基本架构，然后将风力发电季节规律（最近三个月的风电场发电记录）和短期日内发电趋势（最近24小时的风电场发电记录）编码入ToMWPF中作为本预测方法的输入信息，并将自注意力机制融入ToMWPF中作为连通各个编码和向量的纽带；
优选的，步骤S12具体包括以下步骤：
S121、在ToMWPF中建立季节规律网络、日内趋势网络和预测网络三个网络；其中季节规律网络旨在获得风电场出力的季节规律特征；日内趋势网络旨在估计最近若干小时风力发电的日内趋势；预测网络用于预测1小时之后的风力发电分布的分位数；
ToMWPF的三个部分，即季节规律网络、日内趋势网络和预测网络，均由自注意力层组成。自我注意是缓解神经网络长期遗忘的有效方法，其高并行性带来了高时间效率；自我注意力的核心思想是运用输入样本的相互注意力重新表达所有输入样本，假设输入样本矩阵为，其中N为样本总数，则自注意力以下方式计算：
（2）
其中：
上式中，，是可训练的权重矩阵；，，分别是查询矩阵、键矩阵、值矩阵；是Q中每一行的维度；Z是自注意力层的输出，即每个样本的重新表达；
S122、在ToMWPF中构建两个特征编码：季节规律编码和日内趋势编码；季节规律编码旨在从过去三个月的每日发电曲线中总结风场出力随季节变化的统计规律；日内趋势编码旨在从最近的发电量中捕捉目前的风电出力变化趋势；
S123、ToMWPF将季节规律编码、日内趋势编码以及时间周期性信息进行合并，然后通过预测网络输出风力发电分位数预测值。
S2、ToMWPF的训练和预测
S21、采用CRPS（连续分级概率评分）作为ToMWPF的预测结果评价指标，并通过推导将其转化为可导形式；
优选的，步骤S21具体包括以下步骤：
S21、采用连续秩概率得分（Continuous Ranked Probability Score, CRPS）作为ToMWPF的预测结果评价指标，并通过推导将其转化为可导形式
CRPS是一个综合的分位数评价指标，其同时考虑了预测分位数的可靠性和尖锐度，定义如下：
  （3）
其中，由对进行线性插值获得（其中和分别表示的上界和下界，且），是阶跃函数，其定义如下：
   （4）
经过将正则化到后，将（3）式简化如下：
（5）
证明在（5）中的CRPS积分等价地重写为以下可导形式：
 （6）
其中：
（7）
  （8）
   （9）
以上结论的证明如下：
若给定预测分位数为：
   （10）
其中，
则有：
 （11）
其中是通过在上线性插值获得；
由和所确定的线段可由以下公式表达：
  （12）
（13）
由于是分段的，其可行区域可分为以下互斥部分：
（14）
在除最后一个孤立点外的每个段内是连续可导的；
与概率间隔所对应的指示函数可转化为：
  （15）
最后一个边界点对应的指示函数可转化为：
  （16）
据此，可被重新表达为：
（17）
结合式（11）和式（17）得到式（18）：
（18）
然后确定以下引理作为进一步推导的基础：
引理1：由于对于任意 x∈R
（19）
引理2：对于任意x∈R，并且
  (20)
引理3：对于R上的任何有限函数f (x)，有以下结论：
    （21）
证明如下：
（22）
结合公式（19）、（20）、（21），将公式（18）化简如下：
（23）
由于等于曲线在和之间的面积，因此：
（24）
而可被等效转换为以下三种情况：
（A）当，即
    （25）
（B）当，即
   （26）
（C）当即
   （27）
合并（23）、(24)、(25)、 (26)和（27），得到（28）：
（28）
然后，结合（18）和（28），公式(11)中的CRPS可被重新表达为（29）：
（29）
CRPS在式（29）中的表达形式是与式（3）等价的，且其是可导的，故其可以作为损失函数进行训练；
S22、将转化后的可导的CRPS作为损失函数训练ToMWPF
将式（29）中的CRPS作为训练ToMWPF的损失函数，ToMWPF的训练被抽象为以下优化问题：
（30）
约束条件：和，其中，式（30）采用双梯度下降算法实现，其中首先将拉格朗日函数定义为：
（31）
约束条件，。上式中是神经网络的参数集合，是拉格朗日乘子，然后，运用双梯度下降算法并将作为直接损失函数训练ToMWPF，和在双梯度下降算法中进行交替更新，以达到ToMWPF的训练目的。
S22、将转化后的可导的CRPS作为损失函数训练ToMWPF；
S23、ToMWPF利用机器心智模型模拟人类的心理决策机制，进行风力发电量分位数预测。
本发明提出了一种将机器心智模型和自注意力机制应用于风力发电分位数预测的有效解决方案，即ToMWPF。ToMWPF在预测结果的可靠性和尖锐度方面都优于最先进的参数和非参数分位数预测模型。其优势在于以下几个方面：(1) ToMWPF以机器心智模型为基本架构，其模仿人类进行认知决策的过程，可以有效平衡风力发电季节规律和短期日内发电趋势，使其优于现有深度学习预测模型。(2)ToMWPF中的自注意力层在缓解长期遗忘和灾难遗忘方面的优势给其带来了高准确度。（3）将积分形式的CRPS转化为求和形式，使ToMWPF以最高的效率逼近最优的分位数预测结果。ToMWPF可实现准确的风力发电概率预测，其有利于能源系统的经济运行，提高低碳未来的社会福利。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (4)

1.一种基于机器心智模型和自注意力的风力发电分位数预测方法，其特征在于：包括以下步骤：
S1、构建ToMWPF的基本架构
S11、分位数预测的问题描述和数学表达；
S12、构建机器心智模型作为ToMWPF的基本架构，然后将风力发电季节规律和短期日内发电趋势编码入ToMWPF中作为本预测方法的输入信息，并将自注意力机制融入ToMWPF中作为连通各个编码和向量的纽带；
S2、ToMWPF的训练和预测
S21、采用连续秩概率得分作为ToMWPF的预测结果评价指标，并通过推导将其转化为可导形式；
S22、将转化后的可导的CRPS作为损失函数训练ToMWPF；
S23、ToMWPF利用机器心智模型模拟人类的心理决策机制，进行风力发电量分位数预测。
2.根据权利要求1所述的基于机器心智模型和自注意力的风力发电分位数预测方法，其特征在于：步骤S11具体包括以下步骤：
S11、分位数预测的问题描述和数学表达
给定训练数据为，其中，表示时间戳，表示覆盖周期，是风力发电分位数预测的解释性变量，表示目标变量，如某风场在时刻的发电量；分位数预测的目标是估计的概率分布的分位数：
（1）
其中, 为所对应的概率分布的累积概率为时的分位数，为所采样的的数量，为本预测任务的滞后区间；若用表示对的预测或估计，则可将时刻的所有预测分位数写成；然后，将所有时刻的预测分位数可以合并表示为， ，或者，将预测目标变量的所有观测值合并写成。
3.根据权利要求2所述的基于机器心智模型和自注意力的风力发电分位数预测方法，其特征在于：步骤S12具体包括以下步骤：
S121、在ToMWPF中建立季节规律网络、日内趋势网络和预测网络三个网络；其中季节规律网络旨在获得风电场出力的季节规律特征；日内趋势网络旨在估计最近若干小时风力发电的日内趋势；预测网络用于预测1小时之后的风力发电分布的分位数；
ToMWPF的三个部分，即季节规律网络、日内趋势网络和预测网络，均由自注意力层组成，自我注意是缓解神经网络长期遗忘的有效方法，其高并行性带来了高时间效率；自我注意力的核心思想是运用输入样本的相互注意力重新表达所有输入样本，假设输入样本矩阵为，其中N为样本总数，则自注意力以下方式计算：
（2）
其中：
上式中，，是可训练的权重矩阵；，，分别是查询矩阵、键矩阵、值矩阵；是Q中每一行的维度；Z是自注意力层的输出，即每个样本的重新表达；
S122、在ToMWPF中构建两个特征编码：季节规律编码和日内趋势编码；季节规律编码旨在从过去三个月的每日发电曲线中总结风场出力随季节变化的统计规律；日内趋势编码旨在从最近的发电量中捕捉目前的风电出力变化趋势；
S123、ToMWPF将季节规律编码、日内趋势编码以及时间周期性信息进行合并，然后通过预测网络输出风力发电分位数预测值。
4.根据权利要求3所述的基于机器心智模型和自注意力的风力发电分位数预测方法，其特征在于：步骤S21具体包括以下步骤：
S21、采用连续秩概率得分作为ToMWPF的预测结果评价指标，并通过推导将其转化为可导形式
CRPS是一个综合的分位数评价指标，其同时考虑了预测分位数的可靠性和尖锐度，定义如下：
  （3）
其中，由对进行线性插值获得（其中和分别表示的上界和下界，且），是阶跃函数，其定义如下：
（4）
经过将正则化到后，将（3）式简化如下：
（5）
证明在（5）中的CRPS积分等价地重写为以下可导形式：
  （6）
其中：
   （7）
   （8）
   （9）
以上结论的证明如下：
若给定预测分位数为：
   （10）
其中，
则有：
（11）
其中是通过在上线性插值获得；
由和所确定的线段可由以下公式表达：
（12）
（13）
由于是分段的，其可行区域可分为以下互斥部分：
（14）
在除最后一个孤立点外的每个段内是连续可导的；
与概率间隔所对应的指示函数可转化为：
   （15）
最后一个边界点对应的指示函数可转化为：
   （16）
据此，可被重新表达为：
（17）
结合式（11）和式（17）得到式（18）：
（18）
然后确定以下引理作为进一步推导的基础：
引理1：由于对于任意 x∈R
（19）
引理2：对于任意x∈R，并且
  (20)
引理3：对于R上的任何有限函数f (x)，有以下结论：
   （21）
证明如下：
（22）
结合公式（19）、（20）、（21），将公式（18）化简如下：
（23）
由于等于曲线在和之间的面积，因此：
  （24）
而可被等效转换为以下三种情况：
（A）当，即
   （25）
（B）当，即
   （26）
（C）当即
   （27）
合并（23）、(24)、(25)、 (26)和（27），得到（28）：
（28）
然后，结合（18）和（28），公式(11)中的CRPS被重新表达为（29）：
（29）
CRPS在式（29）中的表达形式是与式（3）等价的，且其是可导的，故其可以作为损失函数进行训练；
S22、将转化后的可导的CRPS作为损失函数训练ToMWPF
将式（29）中的CRPS作为训练ToMWPF的损失函数，ToMWPF的训练被抽象为以下优化问题：
  （30）
约束条件：和，其中，式（30）采用双梯度下降算法实现，其中首先将拉格朗日函数定义为：
（31）
约束条件，，上式中是神经网络的参数集合，是拉格朗日乘子，然后，运用双梯度下降算法并将作为直接损失函数训练ToMWPF，和在双梯度下降算法中进行交替更新，以达到ToMWPF的训练目的。
CN202310014898.7A 2023-01-06 2023-01-06 基于机器心智模型和自注意力的风力发电分位数预测方法 Active CN115907233B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310014898.7A CN115907233B (zh) 2023-01-06 2023-01-06 基于机器心智模型和自注意力的风力发电分位数预测方法
US18/243,107 US20240256829A1 (en) 2023-01-06 2023-09-07 Wind power generation quantile prediction method based on machine mental model and self-attention

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310014898.7A CN115907233B (zh) 2023-01-06 2023-01-06 基于机器心智模型和自注意力的风力发电分位数预测方法

Publications (2)

Publication Number Publication Date
CN115907233A true CN115907233A (zh) 2023-04-04
CN115907233B CN115907233B (zh) 2023-05-09

Family

ID=85771769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310014898.7A Active CN115907233B (zh) 2023-01-06 2023-01-06 基于机器心智模型和自注意力的风力发电分位数预测方法

Country Status (2)

Country Link
US (1) US20240256829A1 (zh)
CN (1) CN115907233B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648014A (zh) * 2019-08-28 2020-01-03 山东大学 一种基于时空分位数回归的区域风电预测方法及系统
US20210388814A1 (en) * 2018-10-15 2021-12-16 Wobben Properties Gmbh Method and wind park for feeding electric power into an electric supply network
CN113868938A (zh) * 2021-08-24 2021-12-31 国电南瑞科技股份有限公司 基于分位数回归的短期负荷概率密度预测方法、装置及系统
CN114865620A (zh) * 2022-04-29 2022-08-05 浙江工业大学 基于机器学习算法的风力发电场发电量预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210388814A1 (en) * 2018-10-15 2021-12-16 Wobben Properties Gmbh Method and wind park for feeding electric power into an electric supply network
CN110648014A (zh) * 2019-08-28 2020-01-03 山东大学 一种基于时空分位数回归的区域风电预测方法及系统
CN113868938A (zh) * 2021-08-24 2021-12-31 国电南瑞科技股份有限公司 基于分位数回归的短期负荷概率密度预测方法、装置及系统
CN114865620A (zh) * 2022-04-29 2022-08-05 浙江工业大学 基于机器学习算法的风力发电场发电量预测方法

Also Published As

Publication number Publication date
CN115907233B (zh) 2023-05-09
US20240256829A1 (en) 2024-08-01

Similar Documents

Publication Publication Date Title
Zhao et al. Research and application based on the swarm intelligence algorithm and artificial intelligence for wind farm decision system
CN110766212B (zh) 用于历史数据缺失电场的超短期光伏功率预测方法
WO2021238505A1 (zh) 基于联邦学习的区域光伏功率概率预测方法及协同调控系统
US11755976B2 (en) Method for predicting oxygen load in iron and steel enterprises based on production plan
CN110648014B (zh) 一种基于时空分位数回归的区域风电预测方法及系统
CN110110912B (zh) 一种光伏功率多模型区间预测方法
CN105631558A (zh) 基于相似日的bp神经网络光伏发电系统功率预测方法
Huang et al. A control strategy based on deep reinforcement learning under the combined wind-solar storage system
CN109800898A (zh) 一种智能短期负荷预测方法及系统
Jiang et al. Day‐ahead renewable scenario forecasts based on generative adversarial networks
CN116523148B (zh) 一种配电网配变重过载预警方法、装置和设备
Shah et al. A novel prediction error-based power forecasting scheme for real pv system using pvusa model: A grey box-based neural network approach
CN116599151A (zh) 基于多源数据的源网储荷安全管理方法
Wang et al. A novel wind power prediction model improved with feature enhancement and autoregressive error compensation
CN115660855A (zh) 一种融合新闻数据的股票收盘价预测方法
Sen Time series prediction based on improved deep learning
CN114429248A (zh) 一种变压器视在功率预测方法
CN114611757A (zh) 基于遗传算法与改进深度残差网络的电力系统短期负荷预测方法
CN115936185B (zh) 基于dcnn-lstm-ae-am的短期电力负荷和碳排放量预测方法及系统
Chen et al. Interval prediction of photovoltaic power using improved NARX network and density peak clustering based on kernel mahalanobis distance
CN115907233A (zh) 基于机器心智模型和自注意力的风力发电分位数预测方法
CN107563573B (zh) 一种基于自适应学习混合模型的太阳能发电量的预测方法
CN115713252A (zh) 一种水风光储多能互补系统综合效益评估方案寻优方法
Zhang et al. A hybrid load forecasting method based on neural network in smart grid
Ren et al. Scenario-Based Optimal Real-Time Charging Strategy of Electric Vehicles with Bayesian Long Short-Term Memory Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant