CN112991090A - 基于Transformer模型的光伏功率预测方法 - Google Patents

基于Transformer模型的光伏功率预测方法 Download PDF

Info

Publication number
CN112991090A
CN112991090A CN202110161723.XA CN202110161723A CN112991090A CN 112991090 A CN112991090 A CN 112991090A CN 202110161723 A CN202110161723 A CN 202110161723A CN 112991090 A CN112991090 A CN 112991090A
Authority
CN
China
Prior art keywords
layer
data
matrix
output
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110161723.XA
Other languages
English (en)
Other versions
CN112991090B (zh
Inventor
沈艳霞
沈俊豪
赵芝璞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202110161723.XA priority Critical patent/CN112991090B/zh
Publication of CN112991090A publication Critical patent/CN112991090A/zh
Application granted granted Critical
Publication of CN112991090B publication Critical patent/CN112991090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Biophysics (AREA)
  • Marketing (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Geometry (AREA)
  • Primary Health Care (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Water Supply & Treatment (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于Transformer模型的光伏功率预测方法，涉及光伏电力技术领域，包括基于Transformer模型构建光伏功率预测模型，光伏功率预测模型包括卷积层、位置编码层、编码器组、解码器组和激活输出层；获取历史数据输入卷积层和位置编码层计算后输送至编码器组中，编码器组计算数据并输送至解码器组中；获取当前环境数据输入光伏功率预测模型的卷积层和位置编码层计算数据并输送至解码器组中，解码器组得到初始目标数据输送至激活输出层；将激活输出层的输出作为当前功率数据，通过研究历史数据和当前数据决定光伏并网的接入功率，有利于决定电网的运行方式，实现不同能源发电的协调控制。

Description

基于Transformer模型的光伏功率预测方法
技术领域
本发明涉及光伏电力技术领域，尤其是一种基于Transformer模型的光伏功率预测方法。
背景技术
光伏发电是一种利用太阳电池半导体材料的光伏效应，将太阳光辐射能直接转换成电能的一种新型发电方式，通过预测光伏功率能够判断何时将光伏进行并网输入，实现能源利用的效益最大化，但由于光伏功率受到多种环境因素的影响，这些环境因素包括辐照度、温度、湿度等，因此目前光伏功率的预测都不够准确，对于何时将光伏进行并网接入的时机选择也会十分困难，造成能源浪费。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于Transformer模型的光伏功率预测方法，本发明的技术方案如下：
一种基于Transformer模型的光伏功率预测方法，所述方法包括：
基于Transformer模型构建光伏功率预测模型，所述光伏功率预测模型包括卷积层、位置编码层、编码器组、解码器组和激活输出层，所述位置编码层对输入到所述位置编码层的数据进行位置编码，所述卷积层统一输入到所述卷积层的数据的维度；
获取历史数据输入所述光伏功率预测模型的卷积层和位置编码层、通过所述卷积层和所述位置编码层的输出相加后得到第一历史初始数据并输送至所述编码器组中，所述编码器组计算所述第一历史初始数据得到第二历史初始数据输送至所述解码器组中，所述历史数据为待预测日之前的预定天数内的每一天的历史环境数据和对应的历史功率数据；
获取当前环境数据输入所述光伏功率预测模型的卷积层和位置编码层、通过所述卷积层和所述位置编码层的输出相加后得到第一当前初始数据并输送至所述解码器组中，所述解码器组根据第一当前初始数据和所述第二历史初始数据得到初始目标数据输送至所述激活输出层，所述当前环境数据为待预测日的环境数据；
将所述激活输出层的输出作为待预测日的当前功率数据。
其进一步的技术方案为，所述编码器组包括多个依次串联连接的编码器，所述编码器组中的第一编码器获取第一历史初始数据、最后一个编码器输出第二历史初始数据；
每个所述编码器包括从输入到输出依次连接的第一层归一化层、第一多头注意力层、第二层归一化层和第一前馈神经网络层，第一层归一化层的输入数据还输入到所述第二层归一化层，所述第二层归一化层的输入数据还与第一前馈神经网络层的输出数据一起作为所述编码器的输出。
其进一步的技术方案为，所述解码器组包括多个依次串联连接的解码器，所述解码器组中的第一解码器获取第一当前初始数据、最后一个解码器输出初始目标数据，每个所述解码器包括三个层归一化层、两个多头注意力层和第二前馈神经网络层；
每个所述解码器包括从输入到输出依次连接的第三层归一化层、第二多头注意力层、第四层归一化层、第三多头注意力层、第五层归一化层和第二前馈神经网络层，第三层归一化层的输入数据还输入到所述第四层归一化层，所述第三多头注意力层获取所述第四层归一化层的输出数据和所述编码器组的输出数据，所述第四层归一化层的输入数据还输入到所述第五层归一化层，所述第五层归一化层的输入数据还与第二前馈神经网络层的输出数据一起作为所述解码器的输出。
其进一步的技术方案为，输入到所述位置编码层的历史环境数据和当前环境数据所包含的环境数据种类相同，所述对输入到所述位置编码层的数据进行位置编码，包括：
通过位置编码函数PE()对输入到位置编码层的第n个环境数据种类的数据进行位置编码，位置编码函数PE()的表达式为：
PE(pos,2n)＝sin(pos/100002n/d)；
PE(pos,2n+1)＝cos(pos/100002n/d)；
其中，pos为历史数据和当前环境数据采集的日期，d表示卷积层的卷积核数量。
其进一步的技术方案为，所述方法还包括：
每个层归一化层对每个层归一化层的输入数据进行归一化处理得到均值为0和方差1的数据分布；
在多头注意力层中将输入到多头注意力层的数据进行转换得到查询矩阵Q、键矩阵K和值矩阵V；
对查询矩阵Q、键矩阵K和值矩阵V进行矩阵计算处理。
其进一步的技术方案为，所述对查询矩阵Q、键矩阵K和值矩阵V进行矩阵计算处理，包括：
将查询矩阵Q、键矩阵K和值矩阵V的最后一个维度分为h份矩阵，利用注意力机制函数对查询矩阵Q、键矩阵K和值矩阵V的每一份进行点乘注意力处理得到一个注意力头；
对h个注意力头进行加权拼接处理。
其进一步的技术方案为，所述利用注意力机制函数对查询矩阵Q、键矩阵K和值矩阵V的每一份进行点乘注意力处理得到一个注意力头，包括：
Figure BDA0002936946560000031
其中，
Figure BDA0002936946560000032
分别表示查询矩阵Q、键矩阵K和值矩阵V的第i个注意力头headi的权重矩阵，i≤h，T表示矩阵转置，Qi、Ki和Vi分别表示查询矩阵、键矩阵和值矩阵的最后一个维度的第i个矩阵，dk表示查询矩阵Q和键矩阵K的维度，Attention()表示注意力机制函数，Softmax()表示归一化指数函数，其表达式为：
Figure BDA0002936946560000041
其中，a和m为参数，a≤C,m≤C,zm为第m个数据点的输出值，za表示第a个数据点的输出值，C为数据点的总个数。
其进一步的技术方案为，所述对h个注意力头进行加权拼接处理，包括：
MultiHead(Q,K,V)＝Concat(head1,…,headh)WO；
其中，MultiHead(Q,K,V)表示加权拼接处理后的输出值，Concat()表示对每个注意力头在最后一个维度的拼接，WO表示线性拼接变换矩阵。
其进一步的技术方案为，每个前馈神经网络层的计算公式为：
FFN(x1)＝max(0,x1Win+bin)Wout+bout；
其中，FFN(x1)表示前馈神经网络层的输出结果，x1表示前馈神经网络层的输入数据，Win和Wout表示前馈神经网络层输入和输出的权重矩阵，bin和bout表示前馈神经网络层输入和输出的偏置矩阵。
其进一步的技术方案为，所述激活输出层的计算公式为：
O(x2)＝tanh(x2W+b)；
其中，O(x2)表示功率预测值，x2表示初始目标数据，W表示激活输出层的权重矩阵，b表示激活输出层的偏置矩阵。
本发明的有益技术效果是：现有的Transformer模型主要应用在语言翻译任务上，而无法准确预测光伏功率，本申请将现有的Transformer模型进行合理改进使其具有光伏功率预测的能力；将现有的Transformer模型中的遮掩层去除，固定输入序列长度；将每一个残差块中的层归一化层前置，统一输入序列的数据分布；通过卷积层统一输入序列的维度；通过前馈神经网络层实现非线性全连接层输出，为模型提供非线性表达能力。
附图说明
图1是本申请的光伏功率预测模型的结构示意图。
图2是本申请的多头注意力层的处理流程示意图。
图3是本申请的前馈神经网络层的结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
一种基于Transformer模型的光伏功率预测方法，如图1所示，基于Transformer模型构建光伏功率预测模型，光伏功率预测模型包括卷积层、位置编码层、编码器组、解码器组和激活输出层。
卷积层统一输入数据的维度，本申请中使用的卷积层的卷积核数量为d，卷积核的大小为1，步长为1对数据进行维度变换。
位置编码层对输入数据进行位置编码，为表达输入数据的序列位置关系，输入到所述位置编码层的历史环境数据和当前环境数据所包含的环境数据种类相同，通过位置编码函数PE()对位置编码层的第n个环境数据种类数据进行位置编码，即使用不同频率的正弦函数和余弦函数进行位置编码，计算公式为：
PE(pos,2n)＝sin(pos/100002n/d)；
PE(pos,2n+1)＝cos(pos/100002n/d)；
其中，pos为历史数据和当前环境数据采集的日期，d表示卷积层的卷积核数量。
获取历史数据输入光伏功率预测模型的卷积层和位置编码层、通过卷积层和位置编码层的输出相加后得到第一历史初始数据并输送至编码器组中，编码器组计算第一历史初始数据得到第二历史初始数据并输送至解码器组中；历史数据指的是待预测日之前的预定天数内的每一天的历史环境数据及其对应的历史功率数据，历史环境数据包括日期、辐照度、风速、风向、温度、压强、湿度和实发辐照度，历史功率数据包括实际功率。
编码器组包括多个依次串联连接的编码器，编码器组中的第一编码器获取第一历史初始数据、最后一个编码器输出第二历史初始数据，每个编码器包括两个层归一化层、第一多头注意力层和第一前馈神经网络层，从输入到输出依次连接的第一层归一化层、第一多头注意力层、第二层归一化层和第一前馈神经网络层，即第一层归一化层和第一多头注意力层组成第一残差块，第二层归一化层和第一前馈神经网络层组成第二残差块。
每个残差块的输出数据都与输入数据相加，即第二层归一化层获取第一层归一化层的输入数据和第一多头注意力层的输出数据，当编码器的序号为第一编码器时，此时第一层归一化层的输入数据为第一历史初始数据，当编码器的序号不是第一解码器时，此时第一层归一化层的输入数据即为前一个编码器的输出数据。
最后，解码器组的每个解码器获取最后一个编码器的第二层归一化层的输入数据和前馈神经网络层的输出数据，第二历史初始数据包括最后一个编码器的第二层归一化层的输入数据和前馈神经网络层的输出数据。
获取当前环境数据输入光伏功率预测模型的卷积层和位置编码层、通过卷积层和位置编码层的输出相加后得到第一当前初始数据并输送至解码器组，解码器组根据第一当前初始数据和第二历史初始数据得到初始目标数据并输送至激活输出层；当前环境数据指的是待预测日的环境数据，即待预测日的相关环境数据，当前环境数据所包括的数据名称与历史环境数据中的数据名称相同。
解码器组包括多个依次串联连接的解码器，解码器组中的第一解码器获取第一当前初始数据、最后一个解码器输出初始目标数据，每个解码器包括三个层归一化层、两个多头注意力层和第二前馈神经网络层，每个解码器包括从输入到输出依次连接的第三层归一化层、第二多头注意力层、第四层归一化层、第三多头注意力层、第五层归一化层和第二前馈神经网络层，即第三残差块由第三层归一化层和第二多头注意力层组成，第四残差块由第四层归一化层和第三多头注意力层组成，第五残差块由第五归一化层和第二前馈神经网络层组成。
与编码器组的残差块相同的是，每个残差块的输出数据都与输入数据相加，即第四层归一化层获取第二多头注意力层的输出数据和第三层归一化层的输入数据，第五层归一化层获取第四层归一化层的输入数据和第三多头注意力层的输出数据。当解码器为第一解码器时，第三层归一化层的输入数据为第一当前初始数据，当解码器不是第一解码器时，第三层归一化层的输入数据为前一个解码器的输出数据。
同时，需要说明的是，第三多头注意力层获取第四层归一化层的输出数据和编码器组的输出数据，激活输出层获取最后一个解码器的第五层归一化层的输入数据和第二前馈神经网络层的输出数据，初始目标数据包括最后一个解码器的第五层归一化层的输入数据和第二前馈神经网络层的输出数据，激活输出层输出当前功率数据。
现有的Transformer模型主要应用在语言翻译任务上，而对于光伏功率的预测则不是很准确，这是因为光伏功率输出的预测不仅与过去的影响因素有关，而且还和当前预测日的数据有关，而语言翻译任务中待翻译的句子与已翻译的句子有关；光伏功率预测任务的历史数据和当前环境数据是不同维的，历史数据相比于当前环境数据增加了历史功率数据，而语言翻译任务则是同维的。
通过研究历史数据和当前环境数据决定光伏并网的接入功率，有利于决定电网的运行方式，实现不同能源发电的协调控制。
每个层归一化层将每个层归一化层的输入数据进行归一化处理，即将输入数据分布归一化均值为0，方差为1的分布。
如图2所示，每个多头注意力层的处理步骤包括：
在多头注意力层中将输入到多头注意力层的数据进行转换得到查询矩阵Q(Query)、键矩阵K(Key)和值矩阵V(Value)，对于三个矩阵的获取方法，分别将多头注意力层的输入数据乘以相应的线性变化矩阵既可得到，该获取方法是Transformer模型的常规操作，本申请不过多赘述。
需要说明的是，第三多头注意力层获取第四层归一化层的输出数据的查询矩阵Q以及解码器组的输出数据的键矩阵K和值矩阵V。
其中，查询矩阵Q和键矩阵K的维度为dk，值矩阵V的维度为dv；
步骤一：将查询矩阵Q、键矩阵K和值矩阵V的最后一个维度分为h份矩阵，并利用注意力机制函数对查询矩阵Q、键矩阵K和值矩阵V的每一份进行点乘注意力处理得到一个注意力头headi，计算公式为：
Figure BDA0002936946560000081
其中，
Figure BDA0002936946560000082
分别表示查询矩阵Q、键矩阵K和值矩阵V的第i个注意力头headi的权重矩阵，i≤h，T表示矩阵转置，Qi、Ki和Vi分别表示查询矩阵、键矩阵和值矩阵的最后一个维度的第i个矩阵，Attention()表示注意力机制函数，通过查询矩阵Q和键矩阵K获得预测点对应的值矩阵V的概率分布，乘上值矩阵V后得到预测值，其中，查询矩阵Q和键矩阵K的均值为0，方差为1，他们之间的点乘会使方差增大
Figure BDA0002936946560000083
倍，为防止落入Softamx的饱和区间，对QKT的值缩放
Figure BDA0002936946560000084
倍，Softmax()表示归一化指数函数，其表达式为：
Figure BDA0002936946560000085
其中，a和m为参数，a≤C,m≤C,zm为第m个数据点的输出值，za表示第a个数据点的输出值，C为数据点的总个数。
步骤二：对h个注意力头进行加权拼接处理，经过一个线性拼接变换矩阵WO后输出，计算公式为：
MultiHead(Q,K,V)＝Concat(head1,…,headh)WO；
其中，MultiHead(Q,K,V)表示加权拼接处理后的输出值，Concat()表示对每个注意力头在最后一个维度的拼接。
如图3所示，前馈神经网络层输入输出的神经元个数相同，隐含层神经元个数选择3d，d表示卷积层的卷积核个数，通过前馈神经网络层提供非线性表达能力，前馈神经网络层的计算公式为：
FFN(x1)＝max(0,x1Win+bin)Wout+bout；
其中，FFN(x1)表示前馈神经网络层的输出结果，x1表示前馈神经网络层的输入数据，Win和Wout表示前馈神经网络层输入和输出的权重矩阵，bin和bout表示前馈神经网络层输入和输出的偏置矩阵。
激活输出层的计算公式为：
O(x2)＝tanh(x2W+b)；
其中，O(x2)表示功率预测值，x2表示初始目标数据，W表示激活输出层的权重矩阵，b表示激活输出层的偏置矩阵。
具体的，本申请举出一种实施例：
编码器的计算步骤如下：
步骤一：将历史数据以每15分钟采样一次，一天的时间中共计采样96个点，以过去七天的数据为例，此时的历史数据的矩阵形状为(N，96*7,9)，N为输入批次，同时输入至卷积层和位置编码层。
步骤二：以16个卷积核的卷积层为例，将卷积层和位置编码层的输出叠加得到的第一历史初始数据矩阵形状为(N，96*7,16)，输入编码器组中。
步骤三：编码器组包括L个编码器，每个编码器的第一多头注意力层的输入都为第一层归一化层的输出，形状为(N，96*7,16)，第二残差块的输出形状为(N，96*7,16)。
步骤四：经过L个编码器的计算后，输出为抽象高阶状态变量，作为键矩阵K和值矩阵V输出至解码器组的每个解码器中。
解码器的计算步骤如下：
步骤一：将当前数据以每15分钟采样一次，即待预测日一天的时间共计采样96个点，则当前数据的矩阵形状为(N，96,8)，同时输入至卷积层和位置编码层。
步骤二：将16个卷积核的卷积层和位置编码层的输出叠加，其形状为(N，96,16)，输入至解码器组中。
步骤三：每个解码器由三个残差块依次连接组成，第一残差块输出的形状为(N，96,16)，第二残差块的输入包括Q为形状为(N，96,16)的层归一化的输出，K、V为形状为(N，96*7,16)，输出形状为(N，96,16)，第三残差块的输出形状为(N，96,16)。
步骤四：经过L个解码器的计算后，输出至激活输出层，输出待预测日的96个点的功率预测值。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (10)

1.一种基于Transformer模型的光伏功率预测方法，其特征在于，所述方法包括：
基于Transformer模型构建光伏功率预测模型，所述光伏功率预测模型包括卷积层、位置编码层、编码器组、解码器组和激活输出层，所述位置编码层对输入到所述位置编码层的数据进行位置编码，所述卷积层统一输入到所述卷积层的数据的维度；
获取历史数据输入所述光伏功率预测模型的卷积层和位置编码层、通过所述卷积层和所述位置编码层的输出相加后得到第一历史初始数据并输送至所述编码器组中，所述编码器组计算所述第一历史初始数据得到第二历史初始数据输送至所述解码器组中，所述历史数据为待预测日之前的预定天数内的每一天的历史环境数据和对应的历史功率数据；
获取当前环境数据输入所述光伏功率预测模型的卷积层和位置编码层、通过所述卷积层和所述位置编码层的输出相加后得到第一当前初始数据并输送至所述解码器组中，所述解码器组根据第一当前初始数据和所述第二历史初始数据得到初始目标数据输送至所述激活输出层，所述当前环境数据为待预测日的环境数据；
将所述激活输出层的输出作为待预测日的当前功率数据。
2.根据权利要求1所述的一种方法，其特征在于，所述编码器组包括多个依次串联连接的编码器，所述编码器组中的第一编码器获取第一历史初始数据、最后一个编码器输出第二历史初始数据；
每个所述编码器包括从输入到输出依次连接的第一层归一化层、第一多头注意力层、第二层归一化层和第一前馈神经网络层，第一层归一化层的输入数据还输入到所述第二层归一化层，所述第二层归一化层的输入数据还与所述第一前馈神经网络层的输出数据一起作为所述编码器的输出。
3.根据权利要求1所述的一种方法，其特征在于，所述解码器组包括多个依次串联连接的解码器，所述解码器组中的第一解码器获取第一当前初始数据、最后一个解码器输出初始目标数据，每个所述解码器包括三个层归一化层、两个多头注意力层和第二前馈神经网络层；
每个所述解码器包括从输入到输出依次连接的第三层归一化层、第二多头注意力层、第四层归一化层、第三多头注意力层、第五层归一化层和第二前馈神经网络层，所述第三层归一化层的输入数据还输入到所述第四层归一化层，所述第三多头注意力层获取所述第四层归一化层的输出数据和所述编码器组的输出数据，所述第四层归一化层的输入数据还输入到所述第五层归一化层，所述第五层归一化层的输入数据还与第二前馈神经网络层的输出数据一起作为所述解码器的输出。
4.根据权利要求1所述的一种方法，其特征在于，输入到所述位置编码层的历史环境数据和当前环境数据所包含的环境数据种类相同，所述对输入到所述位置编码层的数据进行位置编码，包括：
通过位置编码函数PE()对输入到位置编码层的第n个环境数据种类的数据进行位置编码，位置编码函数PE()的表达式为：
PE(pos,2n)＝sin(pos/100002n/d)；
PE(pos,2n+1)＝cos(pos/100002n/d)；
其中，pos为历史数据和当前环境数据采集的日期，d表示卷积层的卷积核数量。
5.根据权利要求2或3所述的一种方法，其特征在于，所述方法还包括：
每个层归一化层对每个层归一化层的输入数据进行归一化处理得到均值为0和方差1的数据分布；
在多头注意力层中将输入到多头注意力层的数据进行转换得到查询矩阵Q、键矩阵K和值矩阵V；
对查询矩阵Q、键矩阵K和值矩阵V进行矩阵计算处理。
6.根据权利要求5所述的一种方法，其特征在于，所述对查询矩阵Q、键矩阵K和值矩阵V进行矩阵计算处理，包括：
将查询矩阵Q、键矩阵K和值矩阵V的最后一个维度分为h份矩阵，利用注意力机制函数对查询矩阵Q、键矩阵K和值矩阵V的每一份进行点乘注意力处理得到一个注意力头；
对h个注意力头进行加权拼接处理。
7.根据权利要求6所述的一种方法，其特征在于，所述利用注意力机制函数对查询矩阵Q、键矩阵K和值矩阵V的每一份进行点乘注意力处理得到一个注意力头，包括：
Figure FDA0002936946550000031
其中，Wi Q、Wi K、Wi V分别表示查询矩阵Q、键矩阵K和值矩阵V的第i个注意力头headi的权重矩阵，i≤h，T表示矩阵转置，Qi、Ki和Vi分别表示查询矩阵、键矩阵和值矩阵的最后一个维度的第i个矩阵，dk表示查询矩阵Q和键矩阵K的维度，Attention()表示注意力机制函数，Softmax()表示归一化指数函数，其表达式为：
Figure FDA0002936946550000032
其中，a和m为参数，a≤C,m≤C,zm为第m个数据点的输出值，za表示第a个数据点的输出值，C为数据点的总个数。
8.根据权利要求6所述的一种方法，其特征在于，所述对h个注意力头进行加权拼接处理，包括：
MultiHead(Q,K,V)＝Concat(head1,…,headh)WO；
其中，MultiHead(Q,K,V)表示加权拼接处理后的输出值，Concat()表示对每个注意力头在最后一个维度的拼接，WO表示线性拼接变换矩阵。
9.根据权利要求2或3所述的一种方法，其特征在于，每个前馈神经网络层的计算公式为：
FFN(x1)＝max(0,x1Win+bin)Wout+bout；
其中，FFN(x1)表示前馈神经网络层的输出结果，x1表示前馈神经网络层的输入数据，Win和Wout表示前馈神经网络层输入和输出的权重矩阵，bin和bout表示前馈神经网络层输入和输出的偏置矩阵。
10.根据权利要求1所述的一种方法，其特征在于，所述激活输出层的计算公式为：
O(x2)＝tanh(x2W+b)；
其中，O(x2)表示功率预测值，x2表示初始目标数据，W表示激活输出层的权重矩阵，b表示激活输出层的偏置矩阵。
CN202110161723.XA 2021-02-05 2021-02-05 基于Transformer模型的光伏功率预测方法 Active CN112991090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110161723.XA CN112991090B (zh) 2021-02-05 2021-02-05 基于Transformer模型的光伏功率预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110161723.XA CN112991090B (zh) 2021-02-05 2021-02-05 基于Transformer模型的光伏功率预测方法

Publications (2)

Publication Number Publication Date
CN112991090A true CN112991090A (zh) 2021-06-18
CN112991090B CN112991090B (zh) 2023-10-20

Family

ID=76348171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110161723.XA Active CN112991090B (zh) 2021-02-05 2021-02-05 基于Transformer模型的光伏功率预测方法

Country Status (1)

Country Link
CN (1) CN112991090B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627670A (zh) * 2021-08-10 2021-11-09 江南大学 基于深度傅里叶网络的超短期光伏功率预测系统
CN113935534A (zh) * 2021-10-20 2022-01-14 华能大理风力发电有限公司洱源分公司 一种基于卷积transformer架构的光伏日前预测方法、系统及设备
CN114239971A (zh) * 2021-12-20 2022-03-25 浙江大学 基于Transformer注意力机制的日降水量预测方法
WO2023070960A1 (zh) * 2021-10-29 2023-05-04 中国华能集团清洁能源技术研究院有限公司 一种基于卷积transformer架构的风功率预测方法、系统及设备
CN116960991A (zh) * 2023-09-21 2023-10-27 杭州半云科技有限公司 一种基于图卷积网络模型的面向概率电力负荷预测方法
CN117374972A (zh) * 2023-11-28 2024-01-09 广东电网有限责任公司 一种基于Transformer的光伏短期功率区间预测方法、装置及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150057801A (ko) * 2013-11-20 2015-05-28 한국전자통신연구원 고속 인트라 예측을 위한 영상 부호화 방법 및 장치
CN110321962A (zh) * 2019-07-09 2019-10-11 北京金山数字娱乐科技有限公司 一种数据处理方法及装置
CN111160620A (zh) * 2019-12-06 2020-05-15 江苏方天电力技术有限公司 一种基于端到端记忆网络的短期风电功率预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150057801A (ko) * 2013-11-20 2015-05-28 한국전자통신연구원 고속 인트라 예측을 위한 영상 부호화 방법 및 장치
CN110321962A (zh) * 2019-07-09 2019-10-11 北京金山数字娱乐科技有限公司 一种数据处理方法及装置
CN111160620A (zh) * 2019-12-06 2020-05-15 江苏方天电力技术有限公司 一种基于端到端记忆网络的短期风电功率预测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627670A (zh) * 2021-08-10 2021-11-09 江南大学 基于深度傅里叶网络的超短期光伏功率预测系统
CN113935534A (zh) * 2021-10-20 2022-01-14 华能大理风力发电有限公司洱源分公司 一种基于卷积transformer架构的光伏日前预测方法、系统及设备
WO2023070960A1 (zh) * 2021-10-29 2023-05-04 中国华能集团清洁能源技术研究院有限公司 一种基于卷积transformer架构的风功率预测方法、系统及设备
CN114239971A (zh) * 2021-12-20 2022-03-25 浙江大学 基于Transformer注意力机制的日降水量预测方法
CN116960991A (zh) * 2023-09-21 2023-10-27 杭州半云科技有限公司 一种基于图卷积网络模型的面向概率电力负荷预测方法
CN116960991B (zh) * 2023-09-21 2023-12-29 杭州半云科技有限公司 一种基于图卷积网络模型的面向概率电力负荷预测方法
CN117374972A (zh) * 2023-11-28 2024-01-09 广东电网有限责任公司 一种基于Transformer的光伏短期功率区间预测方法、装置及介质

Also Published As

Publication number Publication date
CN112991090B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN112991090A (zh) 基于Transformer模型的光伏功率预测方法
Rahman et al. Prospective methodologies in hybrid renewable energy systems for energy prediction using artificial neural networks
CN113592185B (zh) 一种基于Transformer的电力负荷预测方法
CN110322364B (zh) 一种短期光伏发电预测方法及系统
CN113988449B (zh) 基于Transformer模型的风电功率预测方法
Tong et al. Hourly solar irradiance forecasting based on encoder–decoder model using series decomposition and dynamic error compensation
CN115409258A (zh) 一种混合深度学习短期辐照度预测方法
CN116433223A (zh) 基于双域稀疏Transformer模型的变电站设备故障预警方法及设备
Zhang et al. Short-term PV output power forecasting based on CEEMDAN-AE-GRU
CN116014722A (zh) 基于季节分解和卷积网络的次日光伏发电预测方法及系统
CN117273188A (zh) 一种具有增量学习能力的太阳能光伏发电功率预测方法
CN115456235A (zh) 一种基于多模态融合的光伏功率预测系统
CN117216526A (zh) 基于人工智能的光伏出力预测方法及系统
CN117114192A (zh) 基于多尺度时空图变换网络的海上风电功率预测方法及装置
Hu et al. Spatiotemporal generative adversarial imputation networks: An approach to address missing data for wind turbines
Sabri et al. Photovoltaic power forecasting with a long short-term memory autoencoder networks
CN113627670B (zh) 基于深度傅里叶网络的超短期光伏功率预测系统
CN113128762B (zh) 一种多源异构数据的短期光伏发电功率预测方法及系统
Dai et al. Learning from chatgpt: A transformer-based model for wind power forecasting
CN116299774A (zh) 一种人工智能数值天气预报方法和系统
Tran et al. Short-term solar power generation forecasting using edge ai
CN116029438A (zh) 水质参数预测模型建模方法及水质参数预测方法及装置
CN116205327A (zh) 一种基于稀疏自注意力的生成推理发电功率预测方法
Yen et al. Predicting solar performance ratio based on encoder-decoder neural network model
CN114550159A (zh) 一种图像字幕生成方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant