CN114139778A - 风电机组功率预测建模方法及装置 - Google Patents

Abstract

本公开提供一种风电机组功率预测建模方法及装置。包括：初始化各种参数和状态，包括奖励机制R，衰减因子γ；学习速率α；贪婪因子ε；Q表；状态S＝S₀；π策略；根据ε‑greedy策略π^ε执行操作a＝π^ε(S)；根据奖励机制R的计算方法获得即时奖励r_t；利用新计算的评价函数Q更新Q表，并将当前状态设置为S_t＝S_t+1；重复上述步骤，直到满足迭代终止条件，得到风电机组功率预测强化学习模型；基于数字孪生技术，对所述风电机组功率预测强化学习模型进行实时更新。通过强化学习算法，有效提高了功率预测模型的精度。借助数字孪生技术，改善风电机组功率预测精度。

Description

风电机组功率预测建模方法及装置

技术领域

本公开属于风电功率预测技术领域，具体涉及一种风电机组功率预测建模方法及装置。

背景技术

风能已经成为一种不可或缺的电力能源，但其伴随的大随机性严重影响着电网的稳定性。风力发电机组的运维优化问题一直倍受学者关注，目前所取得的理论研究成果颇为丰盛但工业可实施性较低。强化学习算法基于智能体自主学习的概念，从环境获得数据后不断训练从而获得对环境的精确反应，在解决众多工业领域的优化问题上展现了良好的性能。数字孪生是对一个物理实体的数字化副本复制，利用前端传感器及时捕捉物理实体当前和过去时刻的状态信息传递给数字化副本，有助于物理实体实时优化运行。为更大规模集成式风电机组并入电网，将强化学习与数字孪生技术结合，研究切实可行的风电机组发电功率预测建模方法是十分必要的。

发明内容

本公开旨在至少解决现有技术中存在的技术问题之一，提供一种风电机组功率预测建模方法及装置。

本公开的一方面，提供一种风电机组功率预测建模方法，所述方法包括：

初始化各种参数和状态，包括奖励机制R，衰减因子γ,0<γ<1；学习速率α，0<α<1；贪婪因子ε；Q表；状态S＝S₀；π策略；

根据ε-greedy策略π^ε执行操作a＝π^ε(S)；

根据奖励机制R的计算方法获得即时奖励r_t；

利用新计算的评价函数Q更新Q表，并将当前状态设置为S_t＝S_t+1；

重复上述步骤，直到满足迭代终止条件，得到风电机组功率预测强化学习模型；

基于数字孪生技术，对所述风电机组功率预测强化学习模型进行实时更新。

在一些实施方式中，在所述初始化各种参数和状态中：

Q智能体是一种基于价值的强化学习智能体，它维护一个Q表作为评估价值函数的批评家；状态S和动作A作为批评家的输入，训练后输出相应的长期回报期望；状态S＝[w₁,w₂,w₃]解释了学习过程中每个具体状态的组成，w₁,w₂,w₃为权系数：

在一些实施方式中，π^ε策略的计算方式如下关系式：

其中，ε∈(0,1)为探索可能性。

在一些实施方式中，根据奖励机制R的计算方法获得即时奖励r_t，包括：

根据过去时刻状态S_t对应的权系数w_t、以及新状态S_t+1对应的权系数w_t+1分别求解强化学习阶段的损失函数，即预测误差error，error_t和error_t+1；

当error<error_t+1时，惩罚Δerror-1被应用到智能体上；

当error_t＞error_t+1时，奖励Δerror+1被应用到智能体上；

奖励和惩罚机制的数学表达式如下：

Δerror＝error_t-error_t+1

r_t＝R(S_t,a_t)

具体来说，预测误差用均方误差MSE表示，其表达式如下：

其中，

为风电机组功率预测结果，Y为实际风电机组功率数据，N_Y为实际数据个数。

在一些实施方式中，所述利用新计算的评价函数Q更新Q表，并将当前状态设置为S_t＝S_t+1，包括：

采用下述关系式更新Q表：

其中，a_t代表Q智能体t时刻的动作。

在一些实施方式中，所述基于数字孪生技术，对所述风电机组功率预测强化学习模型进行实时更新，包括：

基于数字孪生技术，将处于物理层的风电机组实时运行数据映射到虚拟空间，基于数据驱动建模方法得到风电机组发电功率模型；

将强化学习算法内嵌入虚拟空间，通过智能体对风电机组实际运行数据的不断学习，实时更新功率模型；

如预测误差较大，则判断引起误差的原因，及时排除故障或更新功率预测模型，达到准确预测风电机组发电功率的目标。

本公开的另一方面，提供一种风电机组功率预测建模装置，所述装置包括：

初始化模块，用于初始化各种参数和状态，包括奖励机制R，衰减因子γ,0<γ<1；学习速率α，0<α<1；贪婪因子ε；Q表；状态S＝S₀；π策略；

处理模块，用于根据ε-greedy策略π^ε执行操作a＝π^ε(S)；

计算模块，用于根据奖励机制R的计算方法获得即时奖励r_t；

更新模块，用于利用新计算的评价函数Q更新Q表，并将当前状态设置为S_t＝S_t+1，直到满足迭代终止条件，得到风电机组功率预测强化学习模型；

所述更新模块，还用于基于数字孪生技术，对所述风电机组功率预测强化学习模型进行实时更新。

在一些实施方式中，π^ε策略的计算方式如下关系式：

其中，ε∈(0,1)为探索可能性。

在一些实施方式中，所述计算模块，具体还用于：

根据过去时刻状态S_t对应的权系数w_t、以及新状态S_t+1对应的权系数w_t+1分别求解强化学习阶段的损失函数，即预测误差error，error_t和error_t+1；

当error<error_t+1时，惩罚Δerror-1被应用到智能体上；

当error_t＞error_t+1时，奖励Δerror+1被应用到智能体上；

奖励和惩罚机制的数学表达式如下：

Δerror＝error_t-error_t+1

r_t＝R(S_t，a_t)

具体来说，预测误差用均方误差MSE表示，其表达式如下：

其中，

为风电机组功率预测结果，Y为实际风电机组功率数据，N_Y为实际数据个数。

在一些实施方式中，所述更新模块，具体还用于：

基于数字孪生技术，将处于物理层的风电机组实时运行数据映射到虚拟空间，基于数据驱动建模方法得到风电机组发电功率模型；

将强化学习算法内嵌入虚拟空间，通过智能体对风电机组实际运行数据的不断学习，实时更新功率模型；

如预测误差较大，则判断引起误差的原因，及时排除故障或更新功率预测模型，达到准确预测风电机组发电功率的目标。

本公开的风电机组功率预测建模方法及装置，通过强化学习算法的Q智能体不断学习风力发电机组的实时运行状态数据，有效提高了功率预测模型的精度。借助数字孪生技术，可将风力发电机组的实时运行状态数据映射到虚拟空间建立实时功率预测模型，改善风电机组功率预测精度。

附图说明

图1为本公开一实施例的风电机组功率预测建模方法的流程图；

图2为本公开另一实施例的风电机组功率预测建模方法的流程图；

图3为本公开另一实施例的风电机组功率预测建模装置的结构示意图。

具体实施方式

为使本领域技术人员更好地理解本公开的技术方案，下面结合附图和具体实施方式对本公开作进一步详细描述。

强化学习作为一种卓越新颖及的机器学习方法，在制作业、电力领域得到充分应用。在当今大数据处理背景下，数字孪生技术为智慧化生产的物理实体和虚拟云空间之间的信息交流提供了新的解决方案。

强化学习算法是一种属于机器学习领域的方法，它强调目标行为随着环境的变化而变化，其目的是使目标预期收益最大化。强化学习算法启发于心理学行为主义理论，在外部环境的奖惩刺激下，算法中的智能体会在迭代过程中逐渐形成这些刺激的预期结果，并最终朝着能获得最大利益的方向产生惯性行为。与有监督学习和无监督学习相比，强化学习直接抛弃了马尔可夫决策过程。强化学习算法可以从在线规划的角度找到目标未来时刻状态与现在时刻状态知识之间的平衡，是解决最优决策问题的有效方法。此外，强化学习算法属于时间序列微分学习，可以有效地实现无模型学习，因此很适合于解决风力发电机组的功率预测模型建立问题。通过构建合理的外部环境、状态空间、行动空间和奖励函数，可以巧妙地将风力发电机组的功率预测模型转化为强化学习问题进行求解。

基于此，为促进智慧风电的发展，可结合强化学习算法与数字孪生技术建立精准的风电机组的功率模型，下文将对本公开的风电机组功率预测建模方法进行详细说明。

本实施例的一方面，如图1和图2所示，涉及一种风电机组功率预测建模方法S100，所述方法S100包括：

S110、初始化各种参数和状态，包括奖励机制R，衰减因子γ，0<γ<1；学习速率α，0<α<1；贪婪因子ε；Q表；状态S＝S₀；π策略。

具体地，在本步骤中，Q智能体是一种基于价值的强化学习智能体，它维护一个Q表作为评估价值函数的批评家；状态S和动作A作为批评家的输入，训练后输出相应的长期回报期望；状态S＝[w₁，w₂，w₃]解释了学习过程中每个具体状态的组成，w₁,w₂,w₃为权系数：

S120、根据ε-greedy策略π^ε执行操作a＝π^ε(S)。

具体地，在本步骤中，π^ε策略的数学计算方法如下：

其中，ε∈(0,1)为探索可能性。

S130、根据奖励R机制的计算方法获得即时奖励r_t。

具体地，在本步骤中，根据过去时刻状态S_t对应的权系数w_t、以及新状态S_t+1对应的权系数w_t+1分别求解强化学习阶段的损失函数，即预测误差error，error_t和error_t+1。当error<error_t+1时，惩罚Δerror-1被应用到智能体上。当error_t＞error_t+1时，奖励Δerror+1被应用到智能体上。奖励和惩罚机制的数学表达式如下：

Δerror＝error_t-error_t+1

r_t＝R(S_t,a_t)

具体来说，预测误差用均方误差MSE表示，其表达式如下：

其中，

为风电机组功率预测结果，Y为实际风电机组功率数据，N_Y为实际数据个数。

S140、利用新计算的评价函数Q更新Q表，并将当前状态设置为S_t＝S_t+1。

具体地，在本步骤中，更新方法的数学公式如下：

其中，a_t代表Q智能体t时刻的动作。

S150、重复上述步骤S110至S140，直到满足迭代终止条件，得到风电机组功率预测强化学习模型.

S160、基于数字孪生技术，对所述风电机组功率预测强化学习模型进行实时更新。

具体地，在本步骤中，得益于数字孪生技术的发展，来自风力发电机组实体的实时状态数据可映射到虚拟空间助力其功率预测模型的实时更新。物理-虚拟空间的实时数据交互可以进一步改善风力发电机组功率预测模型滞后的现状。执行图2所示的结合强化学习和数字孪生机组的风电机组功率预测建模方案。

首先，借助于数字孪生技术，将处于物理层的风电机组实时运行数据映射到虚拟空间，基于数据驱动建模方法得到风电机组发电功率模型。其次，将强化学习算法内嵌入虚拟空间，通过智能体对风电机组实际运行数据的不断学习，实时更新其功率模型。如预测误差较大，则判断引起误差的原因(机组故障或功率预测模型不准确)，及时排除故障或更新功率预测模型，达到准确预测风电机组发电功率的目标。

本公开的风电机组功率预测建模方法，通过强化学习算法的Q智能体不断学习风力发电机组的实时运行状态数据，有效提高了功率预测模型的精度。借助数字孪生技术，可将风力发电机组的实时运行状态数据映射到虚拟空间建立实时功率预测模型，改善风电机组功率预测精度。

本公开的另一方面，如图3所示，提供一种风电机组功率预测建模装置100，该装置100可以适用于前文记载的方法，具体可以参考前文相关记载，在此不作赘述。所述装置100包括：

初始化模块110，用于初始化各种参数和状态，包括奖励机制R，衰减因子γ,0<γ<1；学习速率α，0<α<1；贪婪因子ε；Q表；状态S＝S₀；π策略；

处理模块120，用于根据ε-greedy策略π^ε执行操作a＝π^ε(S)；

计算模块130，用于根据奖励机制R的计算方法获得即时奖励r_t；

更新模块140，用于利用新计算的评价函数Q更新Q表，并将当前状态设置为S_t＝S_t+1，直到满足迭代终止条件，得到风电机组功率预测强化学习模型；

所述更新模块140，还用于基于数字孪生技术，对所述风电机组功率预测强化学习模型进行实时更新。

本公开的风电机组功率预测建模装置，通过强化学习算法的Q智能体不断学习风力发电机组的实时运行状态数据，有效提高了功率预测模型的精度。借助数字孪生技术，可将风力发电机组的实时运行状态数据映射到虚拟空间建立实时功率预测模型，改善风电机组功率预测精度。

在一些实施方式中，π^ε策略的计算方式如下关系式：

其中，ε∈(0,1)为探索可能性。

在一些实施方式中，所述计算模块130，具体还用于：

根据过去时刻状态S_t对应的权系数w_t、以及新状态S_t+1对应的权系数w_t+1分别求解强化学习阶段的损失函数，即预测误差error，error_t和error_t+1；

当error<error_t+1时，惩罚Δerror-1被应用到智能体上；

当error_t＞error_t+1时，奖励Δerror+1被应用到智能体上；

奖励和惩罚机制的数学表达式如下：

Δerror＝error_t-error_t+1

r_t＝R(S_t,a_t)

具体来说，预测误差用均方误差MSE表示，其表达式如下：

其中，

为风电机组功率预测结果，Y为实际风电机组功率数据，N_Y为实际数据个数。

在一些实施方式中，所述更新模块140，具体还用于：

基于数字孪生技术，将处于物理层的风电机组实时运行数据映射到虚拟空间，基于数据驱动建模方法得到风电机组发电功率模型；

将强化学习算法内嵌入虚拟空间，通过智能体对风电机组实际运行数据的不断学习，实时更新功率模型；

如预测误差较大，则判断引起误差的原因，及时排除故障或更新功率预测模型，达到准确预测风电机组发电功率的目标。

可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。

Claims (10)

1.一种风电机组功率预测建模方法，其特征在于，所述方法包括：

初始化各种参数和状态，包括奖励机制R；衰减因子γ，0<γ<1；学习速率α，0<α<1；贪婪因子ε；Q表；状态S＝S₀；π策略；

根据ε-greedy策略π^ε执行操作a＝π^ε(S)；

根据奖励机制R的计算方法获得即时奖励r_t；

利用新计算的评价函数Q更新Q表，并将当前状态设置为S_t＝S_t+1；

重复上述步骤，直到满足迭代终止条件，得到风电机组功率预测强化学习模型；

基于数字孪生技术，对所述风电机组功率预测强化学习模型进行实时更新。

2.根据权利要求1所述的方法，其特征在于，在所述初始化各种参数和状态中：

Q智能体是一种基于价值的强化学习智能体，它维护一个Q表作为评估价值函数的批评家；状态S和动作A作为批评家的输入，训练后输出相应的长期回报期望；状态S＝[w₁,w₂,w₃]解释了学习过程中每个具体状态的组成，w₁,w₂,w₃为权系数：

3.根据权利要求1所述的方法，其特征在于，π^ε策略的计算方式如下关系式：

其中，ε∈(0,1)为探索可能性。

4.根据权利要求1所述的方法，其特征在于，根据奖励机制R的计算方法获得即时奖励r_t，包括：

根据过去时刻状态S_t对应的权系数w_t、以及新状态S_t+1对应的权系数w_t+1分别求解强化学习阶段的损失函数，即预测误差error，error_t和error_t+1；

当error<error_t+1时，惩罚Δerror-1被应用到智能体上；

当error_t＞error_t+1时，奖励Δerror+1被应用到智能体上；

奖励和惩罚机制的数学表达式如下：

Δerror＝error_t-error_t+1

r_t＝R(S_t,a_t)

具体来说，预测误差用均方误差MSE表示，其表达式如下：

其中，

为风电机组功率预测结果，Y为实际风电机组功率数据，N_Y为实际数据个数。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述利用新计算的评价函数Q更新Q表，并将当前状态设置为S_t＝S_t+1，包括：

采用下述关系式更新Q表：

其中，a_t代表Q智能体t时刻的动作。

6.根据权利要求1至4任一项所述的方法，其特征在于，所述基于数字孪生技术，对所述风电机组功率预测强化学习模型进行实时更新，包括：

基于数字孪生技术，将处于物理层的风电机组实时运行数据映射到虚拟空间，基于数据驱动建模方法得到风电机组发电功率模型；

将强化学习算法内嵌入虚拟空间，通过智能体对风电机组实际运行数据的不断学习，实时更新功率模型；

如预测误差较大，则判断引起误差的原因，及时排除故障或更新功率预测模型，达到准确预测风电机组发电功率的目标。

7.一种风电机组功率预测建模装置，其特征在于，所述装置包括：

初始化模块，用于初始化各种参数和状态，包括奖励机制R，衰减因子γ,0<γ<1；学习速率α，0<α<1；贪婪因子ε；Q表；状态S＝S₀；π策略；

处理模块，用于根据ε-greedy策略π^ε执行操作a＝π^ε(S)；

计算模块，用于根据奖励机制R的计算方法获得即时奖励r_t；

更新模块，用于利用新计算的评价函数Q更新Q表，并将当前状态设置为S_t＝S_t+1，直到满足迭代终止条件，得到风电机组功率预测强化学习模型；

所述更新模块，还用于基于数字孪生技术，对所述风电机组功率预测强化学习模型进行实时更新。

8.根据权利要求7所述的装置，其特征在于，π^ε策略的计算方式如下关系式：

其中，ε∈(0,1)为探索可能性。

9.根据权利要求7所述的装置，其特征在于，所述计算模块，具体还用于：

根据过去时刻状态S_t对应的权系数w_t、以及新状态S_t+1对应的权系数w_t+1分别求解强化学习阶段的损失函数，即预测误差error，error_t和error_t+1；

当error<error_t+1时，惩罚Δerror-1被应用到智能体上；

当error_t＞error_t+1时，奖励Δerror+1被应用到智能体上；

奖励和惩罚机制的数学表达式如下：

Δerror＝error_t-error_t+1

r_t＝R(S_t,a_t)

具体来说，预测误差用均方误差MSE表示，其表达式如下：

其中，

为风电机组功率预测结果，Y为实际风电机组功率数据，N_Y为实际数据个数。

10.根据权利要求7至9任一项所述的装置，其特征在于，所述更新模块，具体还用于：

基于数字孪生技术，将处于物理层的风电机组实时运行数据映射到虚拟空间，基于数据驱动建模方法得到风电机组发电功率模型；

将强化学习算法内嵌入虚拟空间，通过智能体对风电机组实际运行数据的不断学习，实时更新功率模型；

如预测误差较大，则判断引起误差的原因，及时排除故障或更新功率预测模型，达到准确预测风电机组发电功率的目标。

Images