CN115081586B - 基于时间和空间注意力的光伏发电时序预测方法及系统 - Google Patents

基于时间和空间注意力的光伏发电时序预测方法及系统 Download PDF

Info

Publication number
CN115081586B
CN115081586B CN202210547025.8A CN202210547025A CN115081586B CN 115081586 B CN115081586 B CN 115081586B CN 202210547025 A CN202210547025 A CN 202210547025A CN 115081586 B CN115081586 B CN 115081586B
Authority
CN
China
Prior art keywords
sequence
time
data
attention
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210547025.8A
Other languages
English (en)
Other versions
CN115081586A (zh
Inventor
王珏
王子鉴
操海洲
姚铁锤
王彦棡
王晓光
万萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Computer Network Information Center of CAS
Original Assignee
Computer Network Information Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Computer Network Information Center of CAS filed Critical Computer Network Information Center of CAS
Priority to CN202210547025.8A priority Critical patent/CN115081586B/zh
Publication of CN115081586A publication Critical patent/CN115081586A/zh
Application granted granted Critical
Publication of CN115081586B publication Critical patent/CN115081586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供一种基于时间和空间注意力的短期时序预测方法及系统，其中，方法包括，获取历史时间步长的预测目标数据和相关外源特征的数据作为第一、第二序列，历史时间步长内与预测目标具有空间相关性的第三序列，未来时间步长内对相关外源特征进行科学预测得的第四序列；对第四序列在第一、第二序列中提取时间相似趋势得到第五序列；对第五序列提取周期性并进行映射生成目标预测数据；提取第三序列中的空间相关性嵌入到目标预测数据中得到未来时间步长内的时空相关性编码数据；对第一序列、第二序列提取时间相关性并嵌入到时空相关性编码数据得到短期时序预测数据。本发明实现了对预测数据的时间、空间关联，提高了预测数据的准确性。

Description

基于时间和空间注意力的光伏发电时序预测方法及系统
技术领域
本申请涉及神经网络算法的深度学习技术领域，尤其涉及基于时间和空间注意力的光伏发电时序预测方法及系统。
背景技术
在各类数据的规模迎来爆发式增长的大数据时代，构建有效的准确性高的预测模型具有重要的研究意义。时间序列预测作为重要的人工智能技术，已被广泛应用于社会运转与生产活动中,并产生了巨大的经济和社会效益。例如气象预报、新能源发电、城市交通，都以时间序列作为数据形式，且具有周期规律的特性。同时，时间序列数据也受到许多外界因素的影响，因此其具备一定的随机性，对时间序列的准确分析与预测一直是学界和业界的研究重点。
近年来，深度学习在许多领域的优势逐渐凸显，非线性神经网络LSTM、Transformer等架构的神经网络在自然语言处理、计算机视觉、时间序列预测等人工智能主要领域中相继取得突破性进展。相比于传统方法，深度神经网络具有强大的特征提取和非线性拟合能力，已成为时间序列预测的首选模型。
然而，在以往使用Transformer进行深度学习时，基于近似日的数据分类方法存在忽视一天中可能出现的多种事件类型的短板。这使得对历史信息的利用不够充分，导致模型的分类的精度下降。
发明内容
本申请提供一种基于时间和空间注意力的短期时序预测方法及系统，提出一种时间注意力模块和空间注意力模块，采用将时间注意力模块和空间注意力模块融入编码器，并将时间注意力模块融入解码器的策略。使用基于本发明提出的时间注意力模块和空间注意力模块的Transformer架构解决短期时序预测问题。
本申请提供一种基于时间和空间注意力的短期时序预测方法，所述短期时序预测通过Transformer架构神经网络模型，所述神经网络模型基于编码器-解码器架构，其特征在于,所述方法包括：
获取神经网络的输入数据，所述输入数据包括历史时间步长的预测目标数据作为第一序列、历史时间步长的相关外源特征的数据作为第二序列、历史时间步长内与预测目标具有空间相关性的数据作为第三序列、未来时间步长内用科学模型对所述相关外源特征预测得的第四序列；
基于所述编码器的时间注意力机制对所述第四序列在所述第一序列、所述第二序列中提取时间相似趋势得到第五序列；所述编码器的时间注意力机制采用相似序列注意力机制；
基于所述编码器的多头注意力机制对所述第五序列提取周期性后得到时间相关编码后的相关外源特征数据；
基于所述编码器的映射机制将所述时间相关编码后的相关外源特征数据映射为目标预测数据；
基于所述编码器的空间注意力机制将空间规律嵌入到所述目标预测数据中得到未来时间步长内的时空相关性编码数据；将所述未来时间步长内的时空相关性编码数据作为所述编码器的输出数据；所述空间注意力机制采用相似序列注意力机制；所述空间规律通过所述编码器的空间注意力机制从所述第三序列中提取；
基于所述解码器的时间注意力机制提取所述历史时间步长的预测目标数据、所述历史时间步长的相关外源特征的数据的时间规律；将所述时间规律嵌入到所述编码器的输出数据得到解码器的输出数据；所述解码器的时间注意力机制采用相似序列注意力机制。
优选的，所述第一序列、所述第二序列和所述第三序列是通过对真实自然条件进行测量得到的真实历史数据。
优选的，所述科学模型为科学意义上有预测功能的模型。
优选的，所述相似序列注意力机制通过相似序列注意力模块实现，所述相似序列注意力模块具有标志参数FLAG；
设置所述相似序列注意力模块的输入为所述第一序列和所述第二序列，设置所述标志参数FLAG＝TEMPORAL，所述相似序列注意力模块实现时间维度上的所述时间注意力机制的功能；
设置所述相似序列注意力模块的输入为所述第三序列，设置所述标志参数FLAG＝SPATIAL，所述相似序列注意力模块实现空间维度上的所述空间注意力机制的功能。
优选的，所述相似序列注意力模块的输入为张量Query与张量Key，所述张量Query为未知事件类别的序列数据，所述张量Key为包含多种不同事件的长序列数据组。
优选的，所述相似序列注意力模块将Query与Key中的数据序列划分为N段，对于Query中每段与Key数据组中每条序列的对应段计算皮尔逊相关系数(Pearson Correlation Coefficient,PCC)，作为识别序列相似度的衡量指标：
Figure GDA0004031284680000021
其中，X、Y是任意两个样本向量，cov是计算两个向量间的协方差，σ为向量的标准差；
选出U组最相似序列构成张量TopU-Key与TopU-Value用于注意力的计算：
IndexU＝argTopU(PCC(Queryi,Keyjk)),i、j∈{1,2,3，…，6},k＝1，2，…，daynum，
Figure GDA0004031284680000022
Figure GDA0004031284680000023
其中，U为算法的超参数，IndexU表示经过相关性筛选后得到的时段索引，daynum为历史长序列组中含的序列数量，i、j表示不同时段，k表示不同长序列。
Figure GDA0004031284680000024
与/>
Figure GDA0004031284680000025
为筛选后的
Figure GDA0004031284680000026
经过线性层映射后得到的结果，Q为Query通过线性层映射后得到。
另一方面，本申请提出一种基于时间和空间注意力的短期时序预测系统，所述短期时序预测通过Transformer架构的神经网络模型，所述神经网络模型基于编码器-解码器架构，其特征在于,所述系统包括：
编码器，包含编码时间注意力模块，多头注意力模块，映射模块，空间注意力模块；
解码器，包含解码时间注意力模块。
优选的，编码时间注意力模块：对编码器输入的历史时间步长的预测目标数据、历史时间步长的相关外源特征的数据提取时间相似趋势，将所述时间相似趋势嵌入到未来时间步长内的相关外源特征的科学预测数据；
多头注意力模块：对所述编码时间注意力模块的输出数据提取周期性得到时间相关编码后的相关外源特征数据；
映射模块：将所述时间相关编码后的相关外源特征数据映射为目标预测数据；
空间注意力模块：对编码器输入的历史时间步长内与预测目标具有空间相关性的数据提取空间相关特性，将所述空间相关特性嵌入到所述目标预测数据得到未来时间步长内的时空相关性编码数据；将所述未来时间步长内的时空相关性编码数据作为所述编码器的输出数据；
解码时间注意力模块：提取所述历史时间步长的预测目标数据、所述历史时间步长的相关外源特征的数据的时间规律，将所述时间规律嵌入到所述编码器的输出数据得到解码器的输出数据。
优选的，所述历史时间步长的预测目标数据、所述历史时间步长的相关外源特征数据和所述历史时间步长内与预测目标具有空间相关性的数据是通过对真实自然条件进行测量得到的真实历史数据。
优选的，所述科学预测由科学模型完成，所述科学模型为科学意义上有预测功能的模型。
本申请提出了一种基于时间和空间注意力的短期序列预测方法及系统，其时间注意力模块和空间注意力模块基于在信息繁杂的数据中关注最相关部分的相似序列的注意力机制。预测具有时空相关特性的序列时，将相似序列注意力分别应用在时间与空间维度中，使用编码器-解码器框架整合实现精确提取时空相关性的序列预测网络，相比于其他传统模型，具有更高的时序预测性能。
附图说明
为了更简单说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中基于时间和空间注意力的短期时序预测方法的流程示意图；
图2为本申请实施例中基于时间和空间注意力的短期时序预测系统的编码器-解码器结构示意图；
图3为本申请实施例中基于时间和空间注意力的短期时序预测系统所使用的的相似序列注意力模块的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1中，本申请提供一种基于时间和空间注意力的短期时序预测方法，通过Transformer架构神经网络模型，基于编码器-解码器架构，包括：
获取神经网络的输入数据，输入数据包括历史时间步长的预测目标数据作为第一序列、历史时间步长的相关外源特征的数据作为第二序列、历史时间步长内与预测目标具有空间相关性的数据作为第三序列、未来时间步长内用科学模型对相关外源特征预测得的第四序列；
基于编码器的时间注意力机制对第四序列在第一序列、第二序列中提取时间相似趋势得到第五序列；编码器的时间注意力机制采用相似序列注意力机制；
基于编码器的多头注意力机制对第五序列提取周期性后得到时间相关编码后的相关外源特征数据；
基于编码器的映射机制将时间相关编码后的相关外源特征数据映射为目标预测数据；
基于编码器的空间注意力机制将空间规律嵌入到目标预测数据中得到未来时间步长内的时空相关性编码数据；将未来时间步长内的时空相关性编码数据作为编码器的输出数据；空间注意力机制采用相似序列注意力机制；空间规律通过编码器的空间注意力机制从第三序列中提取；
基于解码器的时间注意力机制提取历史时间步长的预测目标数据、历史时间步长的相关外源特征的数据的时间规律；将该时间规律嵌入到编码器的输出数据得到解码器的输出数据；解码器的时间注意力机制采用相似序列注意力机制。
在一个实施例中，第一序列、第二序列和第三序列是通过对真实自然条件进行测量得到的真实历史数据。
在一个实施例中，科学模型为科学意义上有预测功能的模型。
在一个实施例中，相似序列注意力机制通过相似序列注意力模块实现，相似序列注意力模块具有标志参数FLAG：
一方面，设置相似序列注意力模块的输入为第一序列和第二序列，设置所述标志参数FLAG＝TEMPORAL，相似序列注意力模块实现时间维度上的时间注意力机制的功能；
另一方面，设置相似序列注意力模块的输入为所述第三序列，设置所述标志参数FLAG＝SPATIAL，所述相似序列注意力模块实现空间维度上的所述空间注意力机制的功能。
图2中，本申请提供一种基于时间和空间注意力的短期时序预测系统，本申请的系统包括：
编码器，包含编码时间注意力模块，多头注意力模块，映射模块，空间注意力模块；
解码器，包含解码时间注意力模块。
为了更好的进行理解，下面采用短期光伏出力的单站点发电时序预测领域对本申请的系统进行详细说明。
在一个实施例中，设置当前时刻为P，Th包括0到P表示过去的历史时间步，其中Tl为距P一天的历史时刻S(0<S<P)到P包含的时间步，Tf表示P+1到P+Q之间为未来的时间步长，时间序列则定义为TSeq＝Th+Tf＝{t0,…,tS…,tP}∪{tP+1,……,tP+Q}。
网络的输入包括历史时间步长目标站点的发电功率
Figure GDA0004031284680000041
(预测目标的序列数据)与辐照度/>
Figure GDA0004031284680000042
(相关外源特征的数据)，历史时间步长内的相邻站点的发电功率
Figure GDA0004031284680000043
(与预测目标具有空间相关性的序列数据)，这三个都是测量得到的真实历史数据。
其中neighbor包括选择的邻接站点，利用科学模型预测得到未来时间步长内的辐照度数据
Figure GDA0004031284680000044
(对相关外源特征的预测数据)。
可选的，科学模型为科学意义上有预测功能的模型，比如气象领域中的晴空模型，在不借用人工智能技术的情况下对辐照度数据进行预测。
在时间维度上，光伏出力的相似性往往体现在辐照度的周期性和历史天气的变化规律中。因此提出基于相似序列注意力实现的时间注意力模块和空间注意力模块。
编码时间注意力模块输入待预测序列NWP(numer ical weather predict ion)数据
Figure GDA0004031284680000045
包含有足够多天气类型与历史周期性的多日长序列数据/>
Figure GDA0004031284680000046
历史辐照度数据
Figure GDA0004031284680000047
从时间细粒度的角度出发，对于待预测序列中各时段的不同趋势找到历史序列中走向相似的TopU时段后计算注意力分数，学习最相关的出力规律。
与时间维度趋势性造成的对应时段相关性最高不同，由于云覆盖造成辐照度的下降，目标站点的出力规律与周边站点的任意历史时段都可能具有一定相似性。根据风速计算出云运动的大致速度后，选择周边站点历史一天的出力数据
Figure GDA0004031284680000048
作为输入，建立基于所有时段的相似序列注意机制的空间云覆盖注意力模块。通过目标站点待预测时段的可能走向与周边多站点历史数据的相似性比较，捕捉云覆盖规律。
在一个实施例中，在编码器框架中主要包括两部分建模：时间相关性与空间相关性。
在时间相关性建模部分，通过提出的时间注意力模块对输入的
Figure GDA0004031284680000051
在
Figure GDA0004031284680000052
中提取有意义的时间相似趋势，多头注意力模块进一步提取周期性后得到时间相关编码后的辐照度数据。由于辐照度数据与发电功率存在线性相关关系，添加了由线性层构成的功率近似模块(编码器中的映射模块)将辐照度映射为出力数据。
在空间相关性建模部分，对于时间编码后的出力数据，使用空间注意力模块关注
Figure GDA0004031284680000053
中隐含云覆盖趋势的有用信息，将空间相关性嵌入到数据中得到未来步长内的时空相关性出力编码。
解码器部分的主要功能是使用时间注意力模块提取真实历史数据
Figure GDA0004031284680000054
中的时间规律，将时间规律嵌入到编码器的编码数据，强调了本站点历史数据趋势，防止空间关注引入相邻站点的周期性趋势造成误差。
时空相似序列提取网络使用MSE损失函数进行训练。网络在已知数据上良好训练后，可以生成目标光伏电站在未来时间步内发电功率的趋势。
最后，将预测出的目标光伏电站在未来时间步内发电功率的趋势序列用
Figure GDA0004031284680000055
来表示。
在一个实施例中，相似序列注意力模块具有标志参数FLAG。通过控制不同的输入与模块控制标志参数FLAG，使得相似序列注意力模块实现时间与空间维度上两种不同注意力机制。
一方面，在时间维度上，使用提出的相似序列注意力机制，输入相关外源特征的数据
Figure GDA0004031284680000056
与包含有足够多事件类型与历史周期性的预测目标的历史序列数据/>
Figure GDA0004031284680000057
同时设置参数FLAG＝TEMPORAL，使得相似序列注意力模块对待预测序列中各时段的不同趋势找到历史序列中走向相似的Top-U段后计算注意力分数，学习最相关的规律。
另一方面，与时间维度趋势性造成的对应时段相关性最高不同，目标序列的变化规律和与其有空间相关性的序列数据的任意历史时段都可能具有一定相似性。在空间维度上，将具有空间相关性的预测目标历史序列数据
Figure GDA0004031284680000058
作为输入，设置参数FLAG＝SPATIAL，建立基于所有时段的相似序列注意机制的注意力模块。通过目标待预测序列的可能走向与具有空间相关性的历史数据的相似性比较，捕捉规律。
图3中，本申请时间注意力机制和空间注意力机制使用相似序列注意力机制，相似序列注意力机制通过相似序列注意力模块实现。
传统划分聚类法在处理信息繁杂的序列数据时，往往无法有效识别局部相似事件。本申请提出一种相似序列的划分方法，用于识别局部相似事件的出现。
自注意力机制是Transformer结构中最主要提高模型记忆能力的模块，对于时间序列预测问题中时间步越近越重要的规律模拟十分适用。基于输入的张量创建的Query、Key和Value定义，通过计算向量间的内积得到注意力分数，分数表示出向量内不同位置间的关注程度。将注意力分数与Value向量相乘即可保留当前位置更关注的部分，同时降低未关注部分的影响。结合自注意力机制，本申请提出了一种关注相似序列的注意力机制：
在一个实施例中，相似序列注意力模块的输入为张量Query与张量Key，张量Query为未知事件类别的序列数据，张量Key为包含多种不同事件的长序列数据组。
在一个实施例中，相似序列注意力模块将Query与Key中的目标序列数据序列划分为N个时段，则待识别事件在所属时段中所占比重相较之前增加，提升正确识别事件的概率。对于Query中每段与Key数据组中每条序列的对应段计算皮尔逊相关系数(PearsonCorrelat ion Coefficient,PCC)，作为识别序列相似度的衡量指标：
Figure GDA0004031284680000061
其中，X、Y是任意两个样本向量，cov是计算两个向量间的协方差，σ为向量的标准差。通过计算皮尔逊相关系数筛选出的相似序列的注意力分数，对于未知类别数据时段关注多种类别的长序列中更相似的部分。
选出U组最相似序列构成张量TopU-Key与TopU-Value用于注意力的计算：
IndexU＝argTopU(PCC(Queryi,Keyjk)),i、j∈{1,2,3，…，6},k＝1，2，…，daynum，
Figure GDA0004031284680000062
Figure GDA0004031284680000063
其中，U为算法的超参数，IndexU表示经过相关性筛选后得到的时段索引，daynum为历史长序列组中含的序列数量，i、j表示不同时段，k表示不同长序列。
Figure GDA0004031284680000064
与/>
Figure GDA0004031284680000065
为筛选后的
Figure GDA0004031284680000066
经过线性层映射后得到的结果，Q为Query通过线性层映射后得到。通过相似序列注意力机制，可以更准确的捕捉事件的出现，减少无用信息的干扰，实现对相似序列数据的关注。在图3中，Softmax归一化权重，MatMul进行矩阵相乘。
在一个实施例中，基于本领域公开常用的光伏出力的单站点时序预测，训练集与测试集按照8:3的比例划分，时间粒度为15分钟。实验训练与测试数据特征由目标站点历史七日辐照度数据、历史七日出力数据与未来一日内的NWP数据和周边六个邻接站点的历史一日出力数据构成，训练模型后得到对未来一天的光伏出力数据的预测。
对于定义的序列中各项参数，我们设置Th＝420(七天)，Tl＝60(一天)，Tf＝60(一天)。此外相似序列注意力机制中的每日划分时段参数M＝6，选取的最相似序列数U＝3。主要模型结构包含1个编码器层和1个解码器层。使用Adam优化器、MSE(均方误差)损失函数进行训练，初始学习率λ＝0.001，批次大小设置为8，训练过程在10个epochs内提前停止。
参考图1-3所示基于Transformer架构时序预测模型的原理框图和方法图，得到对光伏出力的数据的预测值，选择了四种不同的基线模型进行对比：传统的时间序列预测模型ARIMA，机器学习模型RF，采用K-means聚类方法进行分类的RF模型，深度神经网络LSTM，其中本申请模型与LSTM模型使用了NWP数据。
使用两种评价指标：平均绝对误差(Mean Absolute Error,MAE)与均方根误差(Root Mean Square Error，RMSE)来对预测结果进行度量，与MAE相比，RMSE更加考虑预测值与真实值的偏差，对异常点较敏感。四种基线模型与本申请模型的评价指标对比结果如表1所示：
表1基线模型与本申请模型的评价指标对比
Figure GDA0004031284680000067
表1展示了不同模型预测未来一天出力数据时的平均误差。从表中可以看出，传统时间序列模型的预测效果整体最差。而通过将数据按照天气类型划分后，较原始RF模型获得了更高的预测精度，但人工划分存在的误差使得预测效果劣于基于本申请提出的相似序列自动关注预测算法。而基于注意力机制与端到端网络的网络结构，在对出力的长序列预测中，达到了较LSTM更好的效果，证明了本申请提出模型的有效性。
本申请提出了一种基于时间和空间注意力的短期序列预测方法及系统，其时间注意力模块和空间注意力模块基于在信息繁杂的数据中关注最相关部分的相似序列的注意力机制。预测具有时空相关特性的序列时，将相似序列注意力分别应用在时间与空间维度中，使用编码器-解码器框架整合实现精确提取时空相关性的序列预测网络，相比于传统模型，具有更高的时序预测性能。
需要说明的是，在此提供的方法不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定的编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明内容，并且上面对特定语言、系统功能模块的调用所做的描述仅仅是为了披露发明的最佳实施方式。
在此处所提供的说明书中，说明了大量的具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下完成实现。在一些示例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要去及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于时间和空间注意力的光伏发电短期时序预测方法，所述短期时序预测通过Transformer架构神经网络模型，所述神经网络模型基于编码器-解码器架构，其特征在于,所述方法包括：
获取神经网络的输入数据，所述输入数据包括历史时间步长的目标站点发电功率作为第一序列、历史时间步长的辐照度作为第二序列、历史时间步长内的相邻站点发电功率作为第三序列、未来时间步长内用科学模型对辐照度预测得的第四序列；
基于所述编码器的时间注意力机制对所述第四序列在所述第一序列、所述第二序列中提取时间相似趋势得到第五序列；所述编码器的时间注意力机制采用相似序列注意力机制；
基于所述编码器的多头注意力机制对所述第五序列提取周期性后得到时间相关编码后的辐照度；
基于所述编码器的映射机制将所述时间相关编码后的辐照度映射为目标预测数据；
基于所述编码器的空间注意力机制将空间规律嵌入到所述目标预测数据中得到未来时间步长内的时空相关性编码数据；将所述未来时间步长内的时空相关性编码数据作为所述编码器的输出数据；所述空间注意力机制采用相似序列注意力机制；所述空间规律通过所述编码器的空间注意力机制从所述第三序列中提取；
基于所述解码器的时间注意力机制提取所述历史时间步长的预测目标数据、所述历史时间步长的辐照度的时间规律；将所述时间规律嵌入到所述编码器的输出数据得到解码器的输出数据，所述解码器的输出数据为预测出的目标光伏站点在未来时间步内发电功率的趋势序列；所述解码器的时间注意力机制采用相似序列注意力机制。
2.根据权利要求1所述的光伏发电短期时序预测方法，其特征在于，所述科学模型为科学意义上有预测功能的模型。
3.根据权利要求1所述的光伏发电短期时序预测方法，其特征在于，所述相似序列注意力机制通过相似序列注意力模块实现，所述相似序列注意力模块具有标志参数FLAG；
设置所述相似序列注意力模块的输入为所述第一序列和所述第二序列，设置所述标志参数FLAG＝TEMPORAL，所述相似序列注意力模块实现时间维度上的所述时间注意力机制的功能；
设置所述相似序列注意力模块的输入为所述第三序列，设置所述标志参数FLAG＝SPATIAL，所述相似序列注意力模块实现空间维度上的所述空间注意力机制的功能。
4.根据权利要求3所述的光伏发电短期时序预测方法，其特征在于，所述相似序列注意力模块的输入为张量Query与张量Key，所述张量Query为未知事件类别的序列数据，所述张量Key为包含多种不同事件的长序列数据组。
5.根据权利要求4所述的光伏发电短期时序预测方法，其特征在于，所述相似序列注意力模块将Query与Key中的数据序列划分为N段，对于Query中每段与Key数据组中每条序列的对应段计算皮尔逊相关系数，作为识别序列相似度的衡量指标：
Figure QLYQS_1
其中，X、Y是任意两个样本向量，cov是计算两个向量间的协方差，σ为向量的标准差；
选出U组最相似序列构成张量TopU-Key与TopU-Value用于注意力的计算：
IndexU＝argTopU(PCC(Queryi,Keyjk)),i、j∈{1,2,3，…，6},k＝1，2，…，daynum，
Figure QLYQS_2
Figure QLYQS_3
其中，U为算法的超参数，IndexU表示经过相关性筛选后得到的时段索引，daynum为历史长序列组中含的序列数量，i、j表示不同时段，k表示不同长序列；
Figure QLYQS_4
与/>
Figure QLYQS_5
为筛选后的KeyIndexU经过线性层映射后得到的结果，Q为Query通过线性层映射后得到。
6.一种基于时间和空间注意力的光伏发电短期时序预测系统，所述短期时序预测通过Transformer架构的神经网络模型，所述神经网络模型基于编码器-解码器架构，其特征在于,所述系统包括：
编码器，包含编码时间注意力模块，多头注意力模块，映射模块，空间注意力模块；
解码器，包含解码时间注意力模块；
所述编码时间注意力模块，用于对编码器输入的历史时间步长的目标站点发电功率、历史时间步长的辐照度提取时间相似趋势，将所述时间相似趋势嵌入到未来时间步长内的辐照度的科学预测数据；
所述多头注意力模块，用于对所述编码时间注意力模块的输出数据提取周期性得到时间相关编码后的辐照度；
所述映射模块，用于将所述时间相关编码后的辐照度映射为目标预测数据；
所述空间注意力模块，用于对编码器输入的历史时间步长内的相邻站点发电功率提取空间相关特性，将所述空间相关特性嵌入到所述目标预测数据得到未来时间步长内的时空相关性编码数据；将所述未来时间步长内的时空相关性编码数据作为所述编码器的输出数据；
所述解码时间注意力模块，用于提取所述历史时间步长的预测目标数据、所述历史时间步长的辐照度的时间规律，将所述时间规律嵌入到所述编码器的输出数据得到解码器的输出数据，所述解码器的输出数据为预测出的目标光伏站点在未来时间步内发电功率的趋势序列。
7.根据权利要求6所述的光伏发电短期时序预测系统，其特征在于，所述科学预测由科学模型完成，所述科学模型为科学意义上有预测功能的模型。
CN202210547025.8A 2022-05-19 2022-05-19 基于时间和空间注意力的光伏发电时序预测方法及系统 Active CN115081586B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210547025.8A CN115081586B (zh) 2022-05-19 2022-05-19 基于时间和空间注意力的光伏发电时序预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210547025.8A CN115081586B (zh) 2022-05-19 2022-05-19 基于时间和空间注意力的光伏发电时序预测方法及系统

Publications (2)

Publication Number Publication Date
CN115081586A CN115081586A (zh) 2022-09-20
CN115081586B true CN115081586B (zh) 2023-03-31

Family

ID=83248361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210547025.8A Active CN115081586B (zh) 2022-05-19 2022-05-19 基于时间和空间注意力的光伏发电时序预测方法及系统

Country Status (1)

Country Link
CN (1) CN115081586B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919358A (zh) * 2019-01-31 2019-06-21 中国科学院软件研究所 一种基于神经网络时空注意力机制的实时站点流量预测方法
CN111598329A (zh) * 2020-05-13 2020-08-28 中国科学院计算机网络信息中心 基于自动化参数调整循环神经网络的时序数据预测方法
CN111814398A (zh) * 2020-07-08 2020-10-23 国网河北省电力有限公司 一种基于图的融合时空注意力的地表太阳辐射度预测方法
CN112801355A (zh) * 2021-01-20 2021-05-14 南京航空航天大学 基于长短期时空数据多图融合时空注意力的数据预测方法
CN112801404A (zh) * 2021-02-14 2021-05-14 北京工业大学 一种基于自适应空间自注意力图卷积的交通预测方法
CN113379164A (zh) * 2021-07-16 2021-09-10 国网江苏省电力有限公司苏州供电分公司 基于深度自注意力网络的负荷预测方法及系统
CN114493014A (zh) * 2022-01-28 2022-05-13 湖南大学 多元时间序列预测方法、系统及计算机产品、存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830709B2 (en) * 2016-03-11 2017-11-28 Qualcomm Incorporated Video analysis with convolutional attention recurrent neural networks
US11776319B2 (en) * 2020-07-14 2023-10-03 Fotonation Limited Methods and systems to predict activity in a sequence of images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919358A (zh) * 2019-01-31 2019-06-21 中国科学院软件研究所 一种基于神经网络时空注意力机制的实时站点流量预测方法
CN111598329A (zh) * 2020-05-13 2020-08-28 中国科学院计算机网络信息中心 基于自动化参数调整循环神经网络的时序数据预测方法
CN111814398A (zh) * 2020-07-08 2020-10-23 国网河北省电力有限公司 一种基于图的融合时空注意力的地表太阳辐射度预测方法
CN112801355A (zh) * 2021-01-20 2021-05-14 南京航空航天大学 基于长短期时空数据多图融合时空注意力的数据预测方法
CN112801404A (zh) * 2021-02-14 2021-05-14 北京工业大学 一种基于自适应空间自注意力图卷积的交通预测方法
CN113379164A (zh) * 2021-07-16 2021-09-10 国网江苏省电力有限公司苏州供电分公司 基于深度自注意力网络的负荷预测方法及系统
CN114493014A (zh) * 2022-01-28 2022-05-13 湖南大学 多元时间序列预测方法、系统及计算机产品、存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Hangxia Zhou 等.Short-Term Photovoltaic Power Forecasting Based on Long Short Term Memory Neural Network and Attention Mechanism.《IEEE Access》.2019,1-12. *
Haoxing Lin 等.Preserving Dynamic Attntion for Long-Term Spatial-Temporal Prediction.《arXiv》.2020,1-11. *
孟安波 等.基于混沌CSO优化时序注意力GRU模型的超短期风电功率预测.《电网技术》.2021,第45卷(第1期),4692-4700. *
黄伟建 等.基于混合神经网络和注意力机制的混沌时间序列预测.《物理学报》.2020,第70卷(第1期),010501-1-010501-9. *

Also Published As

Publication number Publication date
CN115081586A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN109754113B (zh) 基于动态时间规整与长短时间记忆的负荷预测方法
CN109492830B (zh) 一种基于时空深度学习的移动污染源排放浓度预测方法
CN113487061A (zh) 一种基于图卷积-Informer模型的长时序交通流量预测方法
CN111859010B (zh) 一种基于深度互信息最大化的半监督音频事件识别方法
CN111160626B (zh) 一种基于分解融合的电力负荷时间序列控制方法
CN115660161A (zh) 一种基于时序融合Transformer模型的中期小时级负荷概率预测方法
CN111242351A (zh) 基于自编码器和gru神经网络的热带气旋轨迹预测方法
CN112270355A (zh) 基于大数据技术与sae-gru的主动安全预测方法
CN115587454A (zh) 基于改进Transformer模型的交通流量长时预测方法及系统
Zhuang et al. Long-lead prediction of extreme precipitation cluster via a spatiotemporal convolutional neural network
Xie et al. Research of PM2. 5 prediction system based on CNNs-GRU in Wuxi urban area
CN111898836A (zh) 一种犯罪时空预测方法及系统
CN115310677A (zh) 一种基于二进制编码表示与多分类的航迹预测方法及装置
CN114065996A (zh) 基于变分自编码学习的交通流预测方法
CN114817773A (zh) 一种基于多级分解和融合的时序预测系统及方法
CN114493034B (zh) 一种面向区域流量预测的时空全局语义表示学习方法
CN116432697A (zh) 一种融合长短期记忆网络与注意力机制的时间序列预测方法
CN115081586B (zh) 基于时间和空间注意力的光伏发电时序预测方法及系统
CN113255597A (zh) 一种基于transformer的行为分析方法、装置及其终端设备
CN116737521A (zh) 一种基于自监督对比学习的hpc作业功耗预测方法及系统
CN116404637A (zh) 电力系统短期负荷预测方法和电力系统短期负荷预测装置
ABBAS A survey of research into artificial neural networks for crime prediction
Rathnayaka et al. Specialist vs generalist: A transformer architecture for global forecasting energy time series
Wen et al. A multi-source feature temporal convolutional deep learning-based method for power grid icing prediction
CN113821929B (zh) 基于时空注意力机制的高速路网站点流量预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wang Jue

Inventor after: Wang Zijian

Inventor after: Cao Haizhou

Inventor after: Yao Tiechui

Inventor after: Wang Yangang

Inventor after: Wang Xiaoguang

Inventor after: Wan Meng

Inventor before: Wang Jue

Inventor before: Wang Zijian

Inventor before: Cao Haizhou

Inventor before: Yao Tiechui

Inventor before: Wang Yangang

Inventor before: Wang Xiaoguang

Inventor before: Wan Meng

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant