CN113984198B - 一种基于卷积神经网络的短波辐射预测方法及系统 - Google Patents
一种基于卷积神经网络的短波辐射预测方法及系统 Download PDFInfo
- Publication number
- CN113984198B CN113984198B CN202111241509.1A CN202111241509A CN113984198B CN 113984198 B CN113984198 B CN 113984198B CN 202111241509 A CN202111241509 A CN 202111241509A CN 113984198 B CN113984198 B CN 113984198B
- Authority
- CN
- China
- Prior art keywords
- data
- wave radiation
- short
- prediction
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005855 radiation Effects 0.000 title claims abstract description 128
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000010606 normalization Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims description 28
- 238000012795 verification Methods 0.000 claims description 24
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 claims description 9
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012805 post-processing Methods 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000010248 power generation Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000005431 greenhouse gas Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J2001/4266—Photometry, e.g. photographic exposure meter using electric radiation detectors for measuring solar light
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
- Y02E40/70—Smart grids as climate change mitigation technology in the energy generation sector
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于卷积神经网络的短波辐射预测方法及系统，将海拔高度数据与所述短波辐射数据相对应，叠加经纬度以及时间特征，进行归一化处理，按照特定时间间隔T形成时间序列样本，生成样本数据集；构建卷积神经网络模型；由样本数据集中选择样本，训练卷积神经网络模型；采集一段时间内的短波辐射数据处理后输入卷积神经网络模型，输出预测结果，获取对应的短波辐射数据作为短波辐射数据预测值。本发明的预测方法及系统，基于ConvLSTM构建编码和解码架构，将短波辐射预测问题定义为一个时空序列预报问题，提高太阳短波辐射预测产品的时空分辨率，实现太阳短波辐射短期预测高精度、高效率运行。
Description
技术领域
本发明涉及太阳辐射预测技术领域，尤其涉及一种基于卷积神经网络的短波辐射预测方法及系统。
背景技术
近年来，随着经济快速增长，越来越多的环境问题随之出现，二氧化碳温室气体猛增，对生命系统形成威胁。在这一背景下，世界各国以全球协约的方式减排温室气体。
为实现这一伟大目标，各地应积极调整能源结构，优化产业布局，发展新能源产业，坚持绿色低碳发展。电力行业作为碳排重点，必须大力发展光伏等新能源发电产业，不断优化电力结构，所谓光伏发电是将太阳辐射能通过光伏电池组件直接转换成直流电能，并通过功率变换装置与电网连接在一起，向电网输送有功功率和无功功率的发电系统，因此如何更好的将光伏电站并入电网，充分发挥新能源优势，成为研究的重点，这也对太阳辐射预测的空间、时间分辨率和精度都提出了更高的要求。
在电力市场基本结构中，发电部分和输电部分是分离的，输电系统需要负责协调和平衡计划的供给和实施需求间的差距，输电系统需要实时补偿由于电力资源攻击中光伏发电量的预测误差而造成的不平衡。由于天气和能源预测存在不确定性，这带来的预测误差会给输电系统带来平衡和调度的成本，但这些成本可以通过减少预测误差来降低。准确的太阳辐射预测对于提供未来12或24小时的预期光伏发电量的可靠预测至关重要，并且有利于电力系统的管理和运营。由于可再生能源作为电力来源的份额不断上升，对更准确的预测的需求正在迅速增长。
现有的短波辐射预测通常基于数值天气预报(Numerical Weather Prediction,NWP)实现，结合地面气象站数据和遥感观测，通过数据同化等方法得到。但此类方法在每次运行时都需要重新初始化，并在每个格网单独进行参数优化，并且受同化算法、计算机性能和效率等的影响，在实时运行的预测系统中，通常无法在大范围内快速得到较高时空分辨率的预测结果。在预测精度上，基于NWP的预测方法无法准确模拟太阳辐照度与气象变量之间的实时关系，因此其短期预测能力有限，精度有待提高。
发明内容
本发明提供一种基于卷积神经网络的短波辐射预测方法及系统，提高了太阳辐射预测的精度，降低电力预测误差，可以实现电力系统的高效运行，进而不断推动新能源利用与发展。
为达到上述目的，本发明提供了一种基于卷积神经网络的短波辐射预测方法，包括：
确定预测区域的经纬度范围，获取所述经纬度范围内的高程(DEM)数据；
获取设定时间范围内的短波辐射数据；
将高程(DEM)数据与所述短波辐射数据相对应，叠加经纬度以及时间特征，进行归一化处理，按照特定时间间隔T形成时间序列样本，生成样本数据集；
构建卷积神经网络模型；
由所述样本数据集中选择样本，输入所述卷积神经网络模型训练，直至预测结果满足精度要求；
采集一段时间内的短波辐射数据，关联对应的高程(DEM)数据，按照特定时间间隔T形成时间序列样本，叠加经纬度以及时间特征，进行归一化处理后，输入所述卷积神经网络模型；
所述卷积神经网络模型输出预测结果，获取对应的短波辐射数据作为短波辐射数据预测值。
进一步地，将高程(DEM)数据与所述短波辐射数据相对应，按照特定时间间隔T形成时间序列样本，包括：
遍历所述短波辐射数据，使用滑动窗口提取SWR波段的短波辐射数据，转换为实际值；将高程(DEM)数据重采样为与短波辐射数据相同的空间范围和分辨率，保存为相同的格式和坐标系；
叠加经纬度以及时间特征，进行归一化处理；
每个样本前T个时刻的数据作为输入，后T个时刻的数据作为标签。
进一步地，所述卷积神经网络模型包括编码模块和解码模块；所述编码模块包括T个编码单元，每个所述编码单元依次包括下采样层、ConvLSTM层、下采样层、ConvLSTM层、下采样层以及ConvLSTM层，第m个所述编码单元对输入的对应时刻的数据进行编码；
所述解码模块包括T个解码单元，每个所述解码单元依次包括ConvLSTM层、上采样层、ConvLSTM层、上采样层、ConvLSTM层以及上采样层，第k个所述解码单元输出k小时后的预测结果；
每个ConvLSTM层接还输入上一时刻对应ConvLSTM层的输出，并将其输出传递到下一时刻对应ConvLSTM层。
进一步地，样本数据集划分为训练集、验证集和测试集；分别对训练集、验证集和测试集中训练样本、验证样本和测试样本；
训练步骤包括：选择训练样本对所述卷积神经网络模型训练，当满足训练要求后，进入验证步骤；
验证步骤包括：选择验证样本输入所述卷积神经网络模型进行验证，计算精度；返回训练步骤，并调整模型结构参数；
选择验证步骤获得精度最高的模型作为最优模型，固定模型结构参数；
测试步骤包括：选择测试样本输入所述卷积神经网络模型进行测试，评价精度指标。
进一步地，计算决定系数R2和平均绝对误差MAPE作为精度评价指标：
其中m为样本数量，yi为第i个真实值，为第i个预测值，/>为真实值的均值。
进一步地，由输出预测结果获取对应的短波辐射数据，包括进行所述归一化处理的逆变换。
另一方面提供一种基于卷积神经网络的短波辐射预测系统，包括：
采集模块，采集一段时间内的短波辐射数据；
数据处理模块，将短波辐射数据关联对应的高程(DEM)数据，按照特定时间间隔T形成时间序列样本，叠加经纬度以及时间特征，进行归一化处理后，输入预测模块；
所述预测模块内置卷积神经网络模型，输出预测结果；
后处理模块，基于所述预测结果获取对应的短波辐射数据作为短波辐射数据预测值输出；
所述卷积神经网络模型训练包括：
确定预测区域的经纬度范围，获取所述经纬度范围内的高程(DEM)数据；
获取设定时间范围内的短波辐射数据；
将高程(DEM)数据与所述短波辐射数据相对应，叠加经纬度以及时间特征，进行归一化处理，按照特定时间间隔T形成时间序列样本，生成样本数据集；
由所述样本数据集中选择样本，输入所述卷积神经网络模型训练，直至预测结果满足精度要求。
进一步地，将高程(DEM)数据与所述短波辐射数据相对应，按照特定时间间隔T形成时间序列样本，包括：
遍历所述短波辐射数据，提取SWR波段的短波辐射数据，转换为实际值；将高程(DEM)数据重采样为与短波辐射数据相同的空间范围和分辨率，保存为相同的格式和坐标系；
间隔T个时刻形成样本，每个样本前T个时刻的数据作为输入，后T个时刻的数据作为标签。
进一步地，所述卷积神经网络模型包括编码模块和解码模块；所述编码模块包括T个编码单元，每个所述编码单元依次对包括下采样层、ConvLSTM层、下采样层、ConvLSTM层、下采样层以及ConvLSTM层，第m个所述编码单元对输入的对应时刻的数据进行编码；
所述解码模块包括T个解码单元，每个所述解码单元依次包括ConvLSTM层、上采样层、ConvLSTM层、上采样层、ConvLSTM层以及上采样层，第k个所述解码单元输出k个时刻后的预测结果；
每个ConvLSTM层接还输入上一时刻对应ConvLSTM层的输出，并将其输出传递到下一时刻对应ConvLSTM层。
进一步地，所述后处理模块，由输出预测结果获取对应的短波辐射数据，包括进行所述归一化处理的逆变换。
本发明的上述技术方案具有如下有益的技术效果：
(1)本发明的预测方法及系统，针对现有方法时空分辨率较低的问题，基于ConvLSTM构建编码和解码架构，将短波辐射预测问题定义为一个时空序列预报问题，提高太阳短波辐射预测产品的时空分辨率，实现太阳短波辐射短期预测高精度、高效率运行。
(2)本发明使用直接的遥感观测产品作为数据源和数据驱动的深度学习方法来提高系统的短期预测精度和实时预测效率。
附图说明
图1是基于卷积神经网络的短波辐射预测流程示意图；
图2为滑动窗口生成样本示意图；
图3为输入数据和模型结构图；
图4为测试样本在不同预测时刻的精度分布图；
图5为单个示例样本在4小时内的预测精度示意图；
图6为短波辐射预测系统组成示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
结合图1，提供一种基于卷积神经网络的短波辐射预测方法，包括如下步骤：
(1)确定预测区域的经纬度范围，获取所述经纬度范围内的高程(DEM)数据；获取设定时间范围内的短波辐射数据。
进行数据下载，获取历史数据。在一个实施例中短波辐射数据来源于Himawari-8卫星的短波辐射Level 2产品，产品的空间分辨率为0.05°，时间分辨率为10分钟，产品的空间覆盖范围为60S-60N，80E-160W，文件格式为NetCDF。DEM数据来源于USGS的SRTM(ShuttleRadar Topography Mission)产品，空间分辨率约30米。
(2)将高程(DEM)数据与所述短波辐射数据相对应，叠加经纬度以及时间特征，进行归一化处理，按照特定时间间隔T形成时间序列样本，生成样本数据集。
在一个实施例中，包括以下步骤：
2-1确定预测区域的经纬度范围，按照经纬度范围筛选并下载DEM数据。
2-2确定数据的时间范围，如2017年1月1日到2021年5月1日，下载此时间范围内的Himawari-8短波辐射产品。
2-3遍历所有下载好的短波辐射数据产品文件(NC格式)，从文件中提取“SWR”波段数据，读取scale和offset系数，将原始数据转换为实际值，单位为W/m2，然后按照步骤2-1中确定的经纬度范围提取数据，结果保存为GeoTIFF格式的文件，坐标为WGS-84地理坐标系。命名规则为“H08_SWR_YYYYMMDD_HHMM.GIF”，“H08”代表Himawari-8产品，“SWR”为ShortWave Radiation的缩写，代表短波辐射数据，YYYY为年份，MM为月份，DD为日期，HH为小时，MM为分钟。
2-4将下载好的DEM数据重采样为与短波辐射数据相同的空间范围和分辨率，同样保存为GeoTIFF，WGS-84坐标系。
2-5将数据按照特定时间点划分为训练集、验证集和测试集。
2-6确定历史输入数据长度和预测时长，如输入前4小时，预测未来4小时的短波辐射值。
2-7按照时间顺序使用滑动窗口生成样本，如图2所示，整个数据集中为n个时刻的短波辐射数据，每个样本由前4小时的输入和后4小时作为标签组成，然后向后移4小时，以此类推生成全部样本。可以自定义输入长度、输出长度和滑动窗口间隔。分别对训练集、验证集和测试集进行相同的操作，生成对应的样本数据集。
在步骤2-7样本生成过程中，需要对数据进行一系列操作，包括生成经纬度网格，生成时间变量(包括年、月、日、周、小时、分钟)，特征叠加和特征归一化。
由于短波辐射在空间和时间上都有一定的变化规律，因此加入经纬度和时间变量有助于模型学习短波辐射的时空变化规律。生成经纬度网格是根据输入的短波辐射数据提取各个像元所在的经度和纬度，作为额外的输入特征，以波段叠加的形式加入到输入数据中。时间变量是根据短波辐射数据所在时刻提取对应的年份、月份、日期、第几周、小时、分钟这些变量，同样以波段叠加的形式加入到输入数据中。
对各个输入特征根据其数据范围单独进行归一化，由于不同类型的输入变量的物理意义和数值范围不同，归一化会将这些变量的数值统一到相同的范围内，有助于模型训练过程中参数的学习和模型的收敛。
在一个实施例中采用最大最小值归一化方法，公式为：
Vnorm＝(V-Vmin)/(Vmax-Vmin) (1)
其中V为归一化之前的值，Vmin和Vmax为最小值和最大值，Vnorm为归一化之后的值。
最终的输入特征类型和结构如图3的所示，单个样本的输入特征维度为T×W×H×C，T为时刻数，W为宽度，H为高度，C为输入特征数量。
(3)构建卷积神经网络模型。
结合图3，模型整体采用编码和解码架构，使用ConvLSTM作为基础网络单元，每个ConvLSTM接收当前时刻的输入和上一时刻的状态，并将其输出传递到下一时刻。ConvLSTM结合了卷积神经网络(CNN)和循环神经网络(RNN)，既考虑了数据的空间关系，又考虑了前后时间的依赖和变化，因此适用于中短波辐射的时空变化预测。
编码层包括三层ConvLSTM和三次下采样，接收前4个小时(24个时刻)的历史输入数据，解码层(即预测层)接收编码层输出的中间变量，同样经过三层ConvLSTM和上采样，输出得到未来24个时刻的预测结果。
在一个实施例中，所述卷积神经网络模型包括编码模块和解码模块；所述编码模块包括T个编码单元，每个所述编码单元依次对包括下采样层、ConvLSTM层、下采样层、ConvLSTM层、下采样层以及ConvLSTM层，第m个所述编码单元对输入的对应时刻的数据进行编码。所述解码模块包括T个解码单元，每个所述解码单元依次包括ConvLSTM层、上采样层、ConvLSTM层、上采样层、ConvLSTM层以及上采样层，第k个所述解码单元输出k小时后的预测结果；每个ConvLSTM层接还输入上一时刻对应ConvLSTM层的输出，并将其输出传递到下一时刻对应ConvLSTM层。
(4)由所述样本数据集中选择样本，输入所述卷积神经网络模型训练，直至预测结果满足精度要求。
训练的过程中需要设定超参数和模型结构参数，包括学习率，优化器，批量大小，输入输出长度，卷积核大小等。
使用训练集训练模型，验证集验证训练精度。使用随机搜索方法，比较不同参数设置下的模型精度，得到精度最优的参数设置，得到最优模型。使用测试集测试最终模型的精度。
进一步地，样本数据集划分为训练集、验证集和测试集；分别对训练集、验证集和测试集中选择样本，分别形成训练样本、验证样本和测试样本。
训练步骤包括：选择训练样本对所述卷积神经网络模型训练，当满足训练要求后，进入验证步骤。训练要求例如为训练50轮次，或者损失函数不再降低。
验证步骤包括：选择验证样本输入所述卷积神经网络模型进行验证，计算精度；返回训练步骤，并调整模型结构参数。选择精度最高模型作为最优模型，最优模型对应的结构参数作为确定的模型参数。
测试步骤包括：选择测试样本输入所述卷积神经网络模型进行测试，评价精度指标。使用测试集测试最终模型的精度。
通过训练、验证以及测试的步骤后，完成训练，封装所述卷积神经网络模型。
所述卷积神经网络模型为回归预测问题，选择决定系数R2和平均绝对误差MAPE作为精度评价指标，来为训练过程中的参数选择和最终的精度评价提供依据。R2越接近1，MAPE约接近0，表示精度越高，误差越小，两者的计算公式分别为：
其中m为样本数量，yi为第i个真实值，为第i个预测值，/>为真实值的均值。
首先使用测试集验证模型的总体精度，具体流程为：
4-1初始化模型，读取训练好的参数文件并恢复模型。
4-2将测试集中的样本输入已恢复的模型，得到所有测试样本在T1～T24各个时刻的预测。
每个样本的预测结果为24张灰度图，其像元值代表预测区域内各个时刻的短波辐射预测值。
4-3对比每个测试样本在各个时刻的真实值和预测值，以像元为单位，计算R2和MAPE。例如样本Sn在t时刻的预测值为代表所有像元/>的集合，实际值为Y，代表所有像元y1～ym的集合，按照公式(2)和公式(3)计算得到此样本在t时刻的R2和MAPE。以此方式遍历计算所有样本在各个时刻的R2和MAPE。
4-4统计所有样本在各个时刻的R2和MAPE的数值分布，得到图4所示的精度分布图。可以看出在0～4小时内R2从0.9降低到0.6左右，MAPE从0.1增加到0.4左右，并且方差逐渐增大，说明随着预测时间的推移，总体误差升高，误差大的样本数量逐渐增加。
(5)采集一段时间内的短波辐射数据，关联对应的高程(DEM)数据，按照特定时间间隔T形成时间序列样本，叠加经纬度以及时间特征，进行归一化处理后，输入所述卷积神经网络模型。
采集一段时间内的短波辐射数据，需要满足卷积神经网络模型输入的要求。例如卷积神经网络模型需要输入24个时刻的短波辐射数据，则一段时间应当覆盖24个时刻的短波辐射数据。相邻时刻间隔为10分钟，24个时刻总长为4小时。
在模型训练完成后，需要搭建定时预测服务，以满足实际应用中对实时预测结果的需求。
对采集数据的处理和历史数据的处理类似。在一个实施例中，包括如下步骤：
5-1下载当前时刻前4小时的Himawari-8短波辐射产品。
5-2构造预测所需的输入数据，对下载好的短波辐射产品进行与数据集构造部分中相似的处理，包括步骤2-3中的SWR波段提取和转换、按照范围提取并保存；步骤2-8中的生成经纬度网格、时间变量、波段叠加和数据归一化，其中归一化使用的最大最小值需要与训练数据集保持一致。
5-3初始化卷积神经网络模型，读取训练好的参数文件并恢复模型。每次运行程序时需要先定义和初始化模型，卷积神经网络模型从已经训练保存好的参数文件中恢复。
(6)所述卷积神经网络模型输出预测结果，获取对应的短波辐射数据作为短波辐射数据预测值。
卷积神经网络模型输出预测结果，使用训练集中短波辐射值的最大最小值对输出结果进行逆向归一化，即公式(1)的逆运算，得到未来4小时的短波辐射预测值。将预测结果通过接口服务提交给后续应用。
步骤(5)、(6)为定时运行，定时输出短波辐射数据预测值。
图5的示例样本为中国东部104～128E，22～46N区域，2021年2月9日8:40开始向后4小时每隔10分钟的预测结果和精度。图中为在T1、T7、T13、T19的预测精度变化，可以看出，在短期内预测精度较高，且精度随时间衰减不明显，误差保持在10％左右。
整个实时预测服务的全部流程，单次预测运行所需的时间在10分钟以内，考虑到Himawari-8数据更新约30分钟的延迟，因此总延迟约为40分钟，可以满足实时预测的需求。
另一方面提供一种基于卷积神经网络的短波辐射预测系统，结合图6，包括采集模块、数据处理模块、预测模块以及后处理模块。
采集模块，采集一段时间内的短波辐射数据。
数据处理模块，将短波辐射数据关联对应的高程(DEM)数据，按照特定时间间隔T形成时间序列样本，叠加经纬度以及时间特征，进行归一化处理后，输入预测模块。
所述预测模块内置卷积神经网络模型，输出预测结果。
后处理模块，基于所述预测结果获取对应的短波辐射数据作为短波辐射数据预测值输出。
所述卷积神经网络模型训练包括：
确定预测区域的经纬度范围，获取所述经纬度范围内的高程(DEM)数据；
获取设定时间范围内的短波辐射数据；
将高程(DEM)数据与所述短波辐射数据相对应，叠加经纬度以及时间特征，进行归一化处理，按照特定时间间隔T形成时间序列样本，生成样本数据集；
由所述样本数据集中选择样本，输入所述卷积神经网络模型训练，直至预测结果满足精度要求。
综上所述，本发明涉及一种基于卷积神经网络的短波辐射预测方法及系统，将高程数据与所述短波辐射数据相对应，叠加经纬度以及时间特征，进行归一化处理，按照特定时间间隔T形成时间序列样本，生成样本数据集；构建卷积神经网络模型；由样本数据集中选择样本，训练卷积神经网络模型；采集一段时间内的短波辐射数据处理后输入卷积神经网络模型，输出预测结果，获取对应的短波辐射数据作为短波辐射数据预测值。本发明的预测方法及系统，基于ConvLSTM构建编码和解码架构，将短波辐射预测问题定义为一个时空序列预报问题，提高太阳短波辐射预测产品的时空分辨率，实现太阳短波辐射短期预测高精度、高效率运行。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (6)
1.一种基于卷积神经网络的短波辐射预测方法，其特征在于，包括：
确定预测区域的经纬度范围，获取所述经纬度范围内的高程(DEM)数据；
获取设定时间范围内的短波辐射数据；
将高程(DEM)数据与所述短波辐射数据相对应，叠加经纬度以及时间特征，进行归一化处理，按照特定时间间隔T形成时间序列样本，生成样本数据集；
构建卷积神经网络模型；
由所述样本数据集中选择样本，输入所述卷积神经网络模型训练，直至预测结果满足精度要求；
采集一段时间内的短波辐射数据，关联对应的高程(DEM)数据，按照特定时间间隔T形成时间序列样本，叠加经纬度以及时间特征，进行归一化处理后，输入所述卷积神经网络模型；
所述卷积神经网络模型输出预测结果，获取对应的短波辐射数据作为短波辐射数据预测值；
将高程(DEM)数据与所述短波辐射数据相对应，按照特定时间间隔T形成时间序列样本，包括：
遍历所述短波辐射数据，使用滑动窗口提取SWR波段的短波辐射数据，转换为实际值；将高程(DEM)数据重采样为与短波辐射数据相同的空间范围和分辨率，保存为相同的格式和坐标系；
叠加经纬度以及时间特征，进行归一化处理；
每个样本前T个时刻数据作为输入，后T个时刻数据作为标签；
所述卷积神经网络模型包括编码模块和解码模块；所述编码模块包括T个编码单元，每个所述编码单元依次包括下采样层、ConvLSTM层、下采样层、ConvLSTM层、下采样层以及ConvLSTM层，第m个所述编码单元对输入的对应时刻的数据进行编码；
所述解码模块包括T个解码单元，每个所述解码单元依次包括ConvLSTM层、上采样层、ConvLSTM层、上采样层、ConvLSTM层以及上采样层，第k个所述解码单元输出k个时刻后的预测结果；
每个ConvLSTM层接还输入上一时刻对应ConvLSTM层的输出，并将其输出传递到下一时刻对应ConvLSTM层。
2.根据权利要求1所述的基于卷积神经网络的短波辐射预测方法，其特征在于，样本数据集划分为训练集、验证集和测试集；分别对训练集、验证集和测试集中训练样本、验证样本和测试样本；
训练步骤包括：选择训练样本对所述卷积神经网络模型训练，当满足训练要求后，进入验证步骤；
验证步骤包括：选择验证样本输入所述卷积神经网络模型进行验证，计算精度；返回训练步骤，并调整模型结构参数；
选择验证步骤获得精度最高的模型作为最优模型，固定模型结构参数；
测试步骤包括：选择测试样本输入所述卷积神经网络模型进行测试，评价精度指标。
3.根据权利要求2所述的基于卷积神经网络的短波辐射预测方法，其特征在于，计算决定系数R2和平均绝对误差MAPE作为精度评价指标：
其中m为样本数量，yi为第i个真实值，为第i个预测值，/>为真实值的均值。
4.根据权利要求1所述的基于卷积神经网络的短波辐射预测方法，其特征在于，由输出预测结果获取对应的短波辐射数据，包括进行所述归一化处理的逆变换。
5.一种基于卷积神经网络的短波辐射预测系统，其特征在于，包括：
采集模块，采集一段时间内的短波辐射数据；
数据处理模块，将短波辐射数据关联对应的高程(DEM)数据，按照特定时间间隔T形成时间序列样本，叠加经纬度以及时间特征，进行归一化处理后，输入预测模块；
所述预测模块内置卷积神经网络模型，输出预测结果；
后处理模块，基于所述预测结果获取对应的短波辐射数据作为短波辐射数据预测值输出；
所述卷积神经网络模型训练包括：
确定预测区域的经纬度范围，获取所述经纬度范围内的高程(DEM)数据；
获取设定时间范围内的短波辐射数据；
将高程(DEM)数据与所述短波辐射数据相对应，叠加经纬度以及时间特征，进行归一化处理，按照特定时间间隔T形成时间序列样本，生成样本数据集；
由所述样本数据集中选择样本，输入所述卷积神经网络模型训练，直至预测结果满足精度要求；
将高程(DEM)数据与所述短波辐射数据相对应，按照特定时间间隔T形成时间序列样本，包括：
遍历所述短波辐射数据，使用滑动窗口提取SWR波段的短波辐射数据，转换为实际值；将高程(DEM)数据重采样为与短波辐射数据相同的空间范围和分辨率，保存为相同的格式和坐标系；
每个样本前T个时刻作为输入后T个时刻作为标签；
所述卷积神经网络模型包括编码模块和解码模块；所述编码模块包括T个编码单元，每个所述编码单元依次对包括下采样层、ConvLSTM层、下采样层、ConvLSTM层、下采样层以及ConvLSTM层，第m个所述编码单元对输入的对应时刻的数据进行编码；
所述解码模块包括T个解码单元，每个所述解码单元依次包括ConvLSTM层、上采样层、ConvLSTM层、上采样层、ConvLSTM层以及上采样层，第k个所述解码单元输出k个时刻后的预测结果；
每个ConvLSTM层接还输入上一时刻对应ConvLSTM层的输出，并将其输出传递到下一时刻对应ConvLSTM层。
6.根据权利要求5所述的基于卷积神经网络的短波辐射预测系统，其特征在于，所述后处理模块，由输出预测结果获取对应的短波辐射数据，包括进行所述归一化处理的逆变换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111241509.1A CN113984198B (zh) | 2021-10-25 | 2021-10-25 | 一种基于卷积神经网络的短波辐射预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111241509.1A CN113984198B (zh) | 2021-10-25 | 2021-10-25 | 一种基于卷积神经网络的短波辐射预测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113984198A CN113984198A (zh) | 2022-01-28 |
| CN113984198B true CN113984198B (zh) | 2023-11-17 |
Family
ID=79741040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111241509.1A Active CN113984198B (zh) | 2021-10-25 | 2021-10-25 | 一种基于卷积神经网络的短波辐射预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113984198B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114662807B (zh) * | 2022-05-26 | 2022-10-14 | 国网浙江省电力有限公司电力科学研究院 | 基于序列编码重构的多尺度区域光伏出力预测方法及系统 |
| CN117135639B (zh) * | 2023-08-09 | 2024-03-08 | 中国人民解放军61905部队 | 基于神经网络的无线通信覆盖预测方法、系统及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000007411A1 (en) * | 1998-07-30 | 2000-02-10 | Ion Optics, Inc. | Infrared radiation sources, sensors and source combinations, and methods of manufacture |
| US7171328B1 (en) * | 2004-08-30 | 2007-01-30 | Sandia Corporation | Method for measuring thermal properties using a long-wavelength infrared thermal image |
| CN104143043A (zh) * | 2014-06-27 | 2014-11-12 | 南京林业大学 | 一种多功能气候数据模型及其应用 |
| CN113408701A (zh) * | 2021-06-22 | 2021-09-17 | 哈尔滨航天恒星数据系统科技有限公司 | 一种卷积神经网络土壤有机质分析模型构建系统及方法 |
| CN113537561A (zh) * | 2021-06-09 | 2021-10-22 | 中国电力科学研究院有限公司 | 一种基于地基云图的超短期太阳辐射预测方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019231448A1 (en) * | 2018-05-31 | 2019-12-05 | Siemens Aktiengesellschaft | Solar irradiation prediction using deep learning with end-to- end training |
-
2021
- 2021-10-25 CN CN202111241509.1A patent/CN113984198B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000007411A1 (en) * | 1998-07-30 | 2000-02-10 | Ion Optics, Inc. | Infrared radiation sources, sensors and source combinations, and methods of manufacture |
| US7171328B1 (en) * | 2004-08-30 | 2007-01-30 | Sandia Corporation | Method for measuring thermal properties using a long-wavelength infrared thermal image |
| CN104143043A (zh) * | 2014-06-27 | 2014-11-12 | 南京林业大学 | 一种多功能气候数据模型及其应用 |
| CN113537561A (zh) * | 2021-06-09 | 2021-10-22 | 中国电力科学研究院有限公司 | 一种基于地基云图的超短期太阳辐射预测方法和系统 |
| CN113408701A (zh) * | 2021-06-22 | 2021-09-17 | 哈尔滨航天恒星数据系统科技有限公司 | 一种卷积神经网络土壤有机质分析模型构建系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113984198A (zh) | 2022-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Agoua et al. | Short-term spatio-temporal forecasting of photovoltaic power production | |
| CN110070226B (zh) | 基于卷积神经网络与元学习的光伏功率预测方法及系统 | |
| Martín et al. | Prediction of global solar irradiance based on time series analysis: Application to solar thermal power plants energy production planning | |
| CN103117546B (zh) | 一种超短期风电功率滑动预测方法 | |
| CN113984198B (zh) | 一种基于卷积神经网络的短波辐射预测方法及系统 | |
| CN111582551B (zh) | 风电场短期风速预测方法、系统及电子设备 | |
| CN105988146A (zh) | 一种星载微波辐射计的应用数据处理方法 | |
| CN108717579B (zh) | 一种短期风电功率区间预测方法 | |
| CN113657662B (zh) | 一种基于数据融合的降尺度风电功率预测方法 | |
| CN112862274A (zh) | 一种基于WRF-LES和DeepAR相结合的风功率预测方法 | |
| CN111861023A (zh) | 基于统计学的混合风电功率预测方法、装置 | |
| CN113536576B (zh) | 一种数值预报产品距平积分动力统计订正方法和系统 | |
| Aliberti et al. | Forecasting Short-term Solar Radiation for Photovoltaic Energy Predictions. | |
| CN105974495A (zh) | 利用分类拟合法预判目标区域未来平均云量的方法 | |
| CN113139327B (zh) | 一种基于gru网络模型的电离层tec单点预测方法及系统 | |
| CN116307291B (zh) | 一种基于小波分解的分布式光伏发电预测方法及预测终端 | |
| CN115544889A (zh) | 基于深度学习的数值模式降水偏差校正方法 | |
| CN116595394A (zh) | 风速修正模型的训练方法及风速预测方法、设备和介质 | |
| CN116484189A (zh) | 一种基于深度学习的era5降水产品降尺度方法 | |
| CN116706903B (zh) | 光伏发电量预测方法、装置、设备及介质 | |
| Alharbi et al. | Short-term wind speed and temperature forecasting model based on gated recurrent unit neural networks | |
| CN117293809A (zh) | 一种基于大模型的多时空尺度新能源发电功率预测方法 | |
| Niu et al. | De-Trend First, Attend Next: A Mid-Term PV forecasting system with attention mechanism and encoder–decoder structure | |
| CN117277304A (zh) | 考虑日出日落时间的光伏发电超短期功率预测方法、系统 | |
| CN116128211A (zh) | 基于风光不确定性预报场景的风光水联合短期优化调度方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |