CN117273188A - 一种具有增量学习能力的太阳能光伏发电功率预测方法 - Google Patents

Abstract

本发明提供了一种具有增量学习能力的太阳能光伏发电功率预测方法，该方法能解决目前光伏发电系统无法实时准确预测太阳能光伏发电功率的问题。本发明提出了以数据增量和数据维度增量的太阳能发电功率预测框架，利用增量学习、深度随机森林和增量Transformer相结合的组合方法对太阳能光伏发电历史数据进行学习优化，得到不断学习新知识的能力。组合方法包含数据增量库构建、数据维度增量和增量Transformer三个部分。本发明能在线学习，无需对所有数据进行训练也能获得准确的预测光伏发电功率。

Description

一种具有增量学习能力的太阳能光伏发电功率预测方法

技术领域

本发明属于人工智能、数据驱动、新能源领域，涉及一种人工智能方法的太阳能光伏发电功率预测方法，使用于电力系统太阳能光伏发电功率预测。

背景技术

光伏发电功率大小与诸如空气温度、空气湿度、光照强度、风速等外界环境的变化息息相关，这导致光伏发电功的功率输出存在不确定性，大规模的光伏电站接入电网，会给电网的安全稳定运行带来诸多挑战。准确的预测光伏发电功率能助力电力系统的调度及运行计划的合理安排。

目前，光伏发电功率的预测有物理法、统计法、元启发式学习法和组合法。首先，这些方法构建的太阳能光伏发电功率预测模型是一个静态模型，无法自适应的对新增的光伏发电功率数据和数值天气数据进行学习，光伏发电功率会随着数值天气的变化而发生改变，光伏发电设备也会出现老化现象，光伏发电功率也会发生改变。因为不可能一次性获得所有样本数据，如果只是应用原有的预测模型进行预测，可能会导致光伏发电功率的预测准确度下降。如果重新训练模型，则需要消耗大量的空间来存储旧的历史发电功率数据和历史数值天气预报数据，且在重新训练的过程中占用的资源和时间都会大幅度增加；其次，如果数值天气的数据维度有所增加，原有的预测模型就不适用，需要花费大量的时间重新建立光伏发电功率预测模型。

综上所述，光伏发电系统需要一个既可以不断学习新增的光伏发电功率数据和数值天气数据，又能保持高精度的预测方法。具有增量学习能力的太阳能光伏发电功率预测方法与上述的预测方法不同，所提出的方法通过结合Transformer和增量学习算法构建增量Transformer预测模型，实现光伏发电功率的在线学习和在线预测，对于数值天气数据维度增加的问题，引入了深度随机森林来进行特征提取，引导构建适合该数值天气数据维度的增量Transformer，从而提高光伏发电功率预测的准确度。

发明内容

本发明提出一种具有增量学习能力的太阳能光伏发电功率预测方法。具有增量学习能力的太阳能光伏发电功率预测方法通过结合增量学习和Transformer构建增量Transformer，从而解决太阳能光伏发电功率预测模型无法学习新增的光伏发电功率数据和数值天气数据来提高模型预测准确度的问题；采用深度随机森林对新增的数值天气数据特征进行提取，并与已训练的数值天气数据特征进行对比，从而判段数值天气数据特征的维度是否有增加，如果有增加，构建适合该数值天气数据特征的增量Transformer，从而解决数值天气数据维度增加的问题。

增量Transformer包含四个部分，分别为输入部分、编码器部分、解码器部分和输出部分，其中，输入部分由输入序列、输出序列和两个位置编码器组成；编码器部分由多个编码器层堆叠而成，每一个编码器层包含两个子层连接网络结构，第一个子层连接结构由多头自注意力机制、规范化层和残差连接组成，第二个子层连接结构由前馈神经网络、规范化层和残差连接组成；解编码器部分也由多个解编码器层堆叠而成，每个解编码器层包含了三个子层连接结构，第一个子层连接结构为多头掩码自注意力机制、规范化层和残差连接，第二个子层连接结构为多头注意力机制、规范化层和残差连接，第三个子层连接结构为前馈神经网络、规范化层和残差连接；输出部分则由线性层和softmax层组成，利用增量Transformer预测光伏发电功率的方法能减少训练时间，能不断学习新的历史数据，实时进行在线预测，提高预测精度。

输入部分的输入序列和输出序列分别为数值天气数据和光伏发电功率数据。首先，将数值天气数据和光伏发电功率数据用矩阵表示，被定义为输入序列嵌入矩阵，输出序列嵌入矩阵，位置编码器采用正弦函数和余弦函数对数值天气数据和光伏发电功率数据进行位置编码，在奇数位置采用正弦编码，偶数位置采用余弦编码，即：

式中，pos表示嵌入矩阵中向量的位置，i是嵌入矩阵的维度，d是嵌入矩阵的大小，PE_pos，2i和PE_pos，2i+1分别表示嵌入矩阵pos位置上第2i个维度和第2i+1个维度的值，将输入序列嵌入矩阵及其对应的位置信息相加得到输入序列矩阵X，作为编码器部分的输入，输出序列嵌入矩阵及其对应的位置信息相加得到输出序列矩阵Y，作为解码器部分的输入。

编码器部分，自注意力机制被描述为将输入序阵X线性变换成三个矩阵，即：

式中，q、k、v分别为查询矩阵，键矩阵和值矩阵，w^q、w^k、w^v分别为q、k、v的权重参数，q主要用于捕捉输入矩阵中向量间的关系，k表示的是关注的关键信息，v表示的是每一个向量的特征信息。采用两个向量的相关程度用查询矩阵q和键矩阵k的内积值来表示，归一化后得到相关程度的概率分布，从而得到自注意力机制的输出为：

式中，d_k是查询矩阵q的维度，k^T为键矩阵k的转置，多头自注意力机制被描述为多个自注意力机制并行计算得到，最后将每一个自注意力机制的输出进行拼接，经过加权后得到多头自注意力的输出为：

式中，w^o为多头注意力机制的权重参数，n为自注意力机制的数量，Attention_m为第m头自注意力的输出。多头自注意力机制的输出经过规范化层和残差连接后得到编码器部分的第一个子层连接结构的输出；对于编码器部分的第二个子层连接结构，其前馈神经网络的由两个线性层连接组成，输出为：

H(z)＝max(0，zw₁+b₁)w₂+b₂ (5)

式中，z为第一个子层连接结构的输出，w₁和b₁分别为第一个线性层的权重和偏置，w₂和b₂分别为第二个线性层的权重和偏置，前馈神经网络的输出经过归一化和残差连接后得到第二个子层连接结构的输出。

解码器部分，对于多头掩码自注意力机制，其在多头自注意力机制的基础上加入了掩码机制，即在相似程度矩阵和归一化之前加入一个掩码矩阵A，用来遮挡未来的信息。构建掩码自注意力机制的查询矩阵Q、键矩阵K和值矩阵V为：

式中，W^Q、W^K、W^V分别为Q、K、V的权重参数，两个向量间的相关程度用查询矩阵Q和键矩阵K的内积值来表示，加入一个掩码矩阵A，得到带掩码的相关程度矩阵，归一化后得到相关程度的概率分布，从而得到掩码自注意力机制的输出为：

式中，D_K是查询矩阵Q的维度，K^T为键矩阵K的转置，多头掩码自注意力机制被描述为多个掩码自注意力机制并行计算得到，最后将每一个掩码自注意力机制的输出进行拼接，经过加权后得到多头掩码自注意力的输出为：

式中，W^A为多头掩码自注意力机制的权重参数，n掩码自注意力机制的数量，MAttention_m为第m头掩码自注意力的输出。多头掩码自注意力机制的输出经过规范化层和残差连接后得到解码器部分的第一个子层连接结构的输出，第二个子层连接结构和第三个子层连接结构与编码器相同，但是第二个子层连接结构的查询向量和键向量由编码器部分输出提供，值向量和残差连接由第一个子层连接结构的输出提供。

增量Transformer预测模型的增量学习被描述为采用元注意力机制动态调整Transformer中每一头自注意力机制的重要性，具体的来说，对于第每头自注意机制，就有一个对应的元参数，首先采用初始数据集T₁进行训练，得到初始增量Transformer预测模型，得到初始的参数θ和元参数τ，对增量数据集进行学习时，在增量数据集的训练集中随机采样一批数值天气和光伏发电功率数据，将数值天气输入到初始的增量Transformer模型中得到光伏发电功率的预测值，计算光伏发电功率的实际值和预测值的MSE损失为：

式中，n为采样的样本个数，y_i为实际的光伏发电功率值，Y_i为预测的光伏发电功率值，使用梯度下降来更新增量Transformer模型的参数和元参数，即：

式中，θ_k为第k次迭代后的增量Transformer模型参数，θ_k-1为第k-1次迭代后的增量Transformer模型参数，α是学习率，τ_i为第i头注意力机制的元参数，θⁱ为第i头注意力机制的参数，γ为元学习率；经过多次迭代后得到最优增量Transformer模型的参数和元参数，从而完成对增量数据集的学习。

深度随机森林主要由多个随机森林级联组成，采用多粒度扫描的模式对输入的数值天气特征进行切分，得到多个数值天气特征的子系列，每一个子系列作为深度随时森林的输入，每一个随机森林都能对输入的特征进行选择和转换，从而提取更高层次的特征表示，每一个随机森林采用袋外估计的原则来进行特征选择，基于特征的重要性来衡量特征的好坏，从而得到对太阳能光伏发电功率影响最大的特征，剔除噪声的影响，增加功率预测的准确度，每一个特征的重要性为：

式中，n为深度随机森林中决策树的数量，Err为每一颗决策树选择对应的袋外数据样本计算的袋外数据误差，Err₂为每一颗决策树选择对应的加入噪声干扰后的袋外数据样本计算的袋外数据误差。

本发明相对于现有技术具有如下的优点及效果：

(1)所述的具有增量学习能力的太阳能光伏发电功率预测方法能不断的学习新增的数值天气数据和光伏发电功率数据，提高光伏发电功率预测的准确性。

(2)所述的具有增量学习能力的太阳能光伏发电功率预测方法在学习的过程中只学习新增的数值天气数据和光伏发电功率数据，不需要对历史的数值天气数据和光伏发电功率数据进行学习，减少了模型的训练时间。

附图说明

图1是本发明方法的增量Transformer方法的编码器部分结构示意图。

图2是本发明方法的增量Transformer方法的解码器部分结构示意图。

图3是本发明方法的实时太阳能光伏发电功率预测控制框架示意图。

具体实施方式

本发明提出的一种具有增量学习能力的太阳能光伏发电功率预测方法，结合附图详细说明如下：

图1是本发明方法的增量Transformer方法的编码器部分结构示意图。数值天气经过位置编码后得到编码器部分的输入，经过加权后得到自注意力机制的三个输入向量，分别为查询向量q，键向量k和值向量v，通过计算查询向量q和键向量k的内积得到向量间的相关程度，并将其转化为概率值，从而得到值向量v中每一个特征的注意力比重，从而得到每个自注意力机制的注意力输出Attention，将每个注意力机制的输出进行组合，经过加权后得到多头自注意力的输出，经规范化层和残差连接得到编码器部分的第一个子层连接网络结构的输出，再经过一个前馈神经网络、规范化层和残差连接得到编码器部分的输出。

图2是本发明方法的增量Transformer方法的解码器部分结构示意图。历史发电功率经过位置编码后得到解码部分的输入，经过加权后得到掩码自注意力机制的查询向量、键向量和值向量，通过查询向量和键向量计算输入向量间的相关程度，加入掩码机制后，得到一个带掩码的相关程度矩阵，从而计算出值向量中每一个特征的注意力比重，最后得到每个掩码自注意力机制的自注意力输出，并将每个掩码自注意力输出进行组合，经过加权后得到掩码多头自注意力机制的输出，再经过规范化层和残差连接，得到解码器部分的第一个子层连接结构的输出。第二个子层连接结构则是由一个多头注意力机制、规范化层和残差连接构成，多头注意力机制的查询向量和键向量是由编码器部分的输出提供，值向量是由解码器的第一个子层连接结构的输出提供，之后的计算和多头自注意力机制的计算方式相同。

图3是本发明方法的实时太阳能光伏发电功率预测控制框架示意图。一种具有增量学习能力的太阳能光伏发电功率预测方法采用增量学习和Transformer的框架，是一个多输入单输出的预测模型。该模型以历史的光伏发电功率和历史数值天气数据为输入，经过深度随机森林进行特征提取，从而得到历史数值天气特征和新增数值天气特征情况，经过特征匹配机制，能对比历史数值天气特征和新增数值天气特征的个数，从而判断新增的数值天气是否有新的特征产生，如果没有新特征产生，则增量Transformer模型只需要对新增的数值天气和新增的历史数值天气进行学习，从而使得预测模型的对光伏发电功率的预测更加准确；如果有新的特征产生，则需要重新构建一个符合该新增的数值天气特征的增量Transformer预测模型，每新增加一个数值天气特征，则就需要构建一个增量Transformer预测模型，光伏功率的最终预测值为不同维度的增量Transformer模型的预测值之和再取其均值。

Claims (1)

1.一种具有增量学习能力的太阳能光伏发电功率预测方法，其由增量学习、深度随机森林和增量Transformer组成，该方法能实时在线预测光伏发电功率，能在线学习新产生的数值天气数据和光伏发电功率数据，提高预测精度和训练速度，其特征在于：所述方法的步骤包括如下：

(1)构建数据增量库，将历史光伏发电功率数据和历史数值天气预报数据进行归一化处理，归一化后的数据按周期分为多个数据集，将第一个周期的数据集作为初始数据集T₁，其他数据集作为增量数据集T₂,T₃,T₄,…,T_n；

(2)建立光伏发电功率预测增量Transformer模型；

增量Transformer包含四个部分，分别为输入部分、编码器部分、解码器部分和输出部分，输入部分由输入序列、输出序列和两个位置编码器组成；编码器部分由多个编码器层堆叠而成，每一个编码器层包含两个子层连接网络结构，第一个子层连接结构由多头自注意力机制、规范化层和残差连接组成，第二个子层连接结构由前馈神经网络、规范化层和残差连接组成；解编码器部分也由多个解编码器层堆叠而成，每个解编码器层包含了三个子层连接结构，第一个子层连接结构为多头掩码自注意力机制、规范化层和残差连接，第二个子层连接结构为多头注意力机制、规范化层和残差连接，第三个子层连接结构为前馈神经网络、规范化层和残差连接；输出部分则由线性层和softmax层组成，利用增量Transformer预测光伏发电功率的方法能减少训练时间，能不断学习新的历史数据，实时进行在线预测，提高预测精度；

输入部分的输入序列和输出序列分别为数值天气数据和光伏发电功率数据，首先，将数值天气数据和光伏发电功率数据用矩阵表示，被定义为输入序列嵌入矩阵，输出序列嵌入矩阵，位置编码器采用正弦函数和余弦函数对数值天气数据和光伏发电功率数据进行位置编码，在奇数位置采用正弦编码，偶数位置采用余弦编码，即：

式中，pos表示嵌入矩阵中向量的位置，i是嵌入矩阵的维度，d是嵌入矩阵的大小，PE_pos,2i和PE_pos,2i+1分别表示嵌入矩阵pos位置上第2i个维度和第2i+1个维度的值，将输入序列嵌入矩阵及其对应的位置信息相加得到输入序列矩阵X，作为编码器部分的输入，输出序列嵌入矩阵及其对应的位置信息相加得到输出序列矩阵Y，作为解码器部分的输入；

编码器部分，自注意力机制被描述为将输入序阵X线性变换成三个矩阵，即：

式中，q、k、v分别为查询矩阵，键矩阵和值矩阵，w^q、w^k、w^v分别为q、k、v的权重参数，q主要用于捕捉输入矩阵中向量间的关系，k表示的是关注的关键信息，v表示的是每一个向量的特征信息，采用两个向量的相关程度用查询矩阵q和键矩阵k的内积值来表示，归一化后得到相关程度的概率分布，从而得到自注意力机制的输出为：

式中，d_k是查询矩阵q的维度，k^T为键矩阵k的转置，多头自注意力机制被描述为多个自注意力机制并行计算得到，最后将每一个自注意力机制的输出进行拼接，经过加权后得到多头自注意力的输出为：

式中，w^o为多头注意力机制的权重参数，n为自注意力机制的数量，Attention_m为第m头自注意力的输出；多头自注意力机制的输出经过规范化层和残差连接后得到编码器部分的第一个子层连接结构的输出；对于编码器部分的第二个子层连接结构，其前馈神经网络的由两个线性层连接组成，输出为：

H(z)＝max(0,zw₁+b₁)w₂+b₂ (5)

式中，z为第一个子层连接结构的输出，w₁和b₁分别为第一个线性层的权重和偏置，w₂和b₂分别为第二个线性层的权重和偏置，前馈神经网络的输出经过归一化和残差连接后得到第二个子层连接结构的输出；

解码器部分，对于多头掩码自注意力机制，在多头自注意力机制的基础上加入了掩码机制，即在相似程度矩阵和归一化之前加入一个掩码矩阵A，用来遮挡未来的信息；构建掩码自注意力机制的查询矩阵Q、键矩阵K和值矩阵V为：

式中，W^Q、W^K、W^V分别为Q、K、V的权重参数，两个向量间的相关程度用查询矩阵Q和键矩阵K的内积值来表示，加入一个掩码矩阵A，得到带掩码的相关程度矩阵，归一化后得到相关程度的概率分布，从而得到掩码自注意力机制的输出为：

式中，D_K是查询矩阵Q的维度，K^T为键矩阵K的转置，多头掩码自注意力机制被描述为多个掩码自注意力机制并行计算得到，最后将每一个掩码自注意力机制的输出进行拼接，经过加权后得到多头掩码自注意力的输出为：

式中，W^A为多头掩码自注意力机制的权重参数，n掩码自注意力机制的数量，MAttention_m为第m头掩码自注意力的输出；多头掩码自注意力机制的输出经过规范化层和残差连接后得到解码器部分的第一个子层连接结构的输出；第二个子层连接结构和第三个子层连接结构与编码器相同，但是第二个子层连接结构的查询向量和键向量由编码器部分输出提供，值向量和残差连接由第一个子层连接结构的输出提供；

增量Transformer预测模型的增量学习被描述为采用元注意力机制动态调整Transformer中每一头自注意力机制的重要性；对于第每头自注意机制，有一个对应的元参数；首先采用初始数据集T₁进行训练，得到初始增量Transformer预测模型，得到初始的参数θ和元参数τ，对增量数据集进行学习时，在增量数据集的训练集中随机采样一批数值天气和光伏发电功率数据，将数值天气输入到初始的增量Transformer模型中得到光伏发电功率的预测值，计算光伏发电功率的实际值和预测值的MSE损失为：

式中，n为采样的样本个数，y_i为实际的光伏发电功率值，Y_i为预测的光伏发电功率值，使用梯度下降来更新增量Transformer模型的参数和元参数，即：

式中，θ_k为第k次迭代后的增量Transformer模型参数，θ_k-1为第k-1次迭代后的增量Transformer模型参数，α是学习率，τ_i为第i头注意力机制的元参数，θⁱ为第i头注意力机制的参数，γ为元学习率；经过多次迭代后得到最优增量Transformer模型的参数和元参数，从而完成对增量数据集的学习；

(3)使用深度随机森林建立数值天气预报的特征提取模型；

深度随机森林主要由多个随机森林级联组成，采用多粒度扫描的模式对输入的数值天气特征进行切分，得到多个数值天气特征的子系列，每一个子系列作为深度随时森林的输入，每一个随机森林都能对输入的特征进行选择和转换，从而提取更高层次的特征表示，每一个随机森林采用袋外估计的原则来进行特征选择，基于特征的重要性来衡量特征的好坏，从而得到对太阳能光伏发电功率影响最大的特征，剔除噪声的影响，增加功率预测的准确度，每一个特征的重要性为：

式中，n为深度随机森林中决策树的数量，Err₁为每一颗决策树选择对应的袋外数据样本计算的袋外数据误差，Err₂为每一颗决策树选择对应的加入噪声干扰后的袋外数据样本计算的袋外数据误差。