CN111752976A - 气象数据处理方法、装置、计算机设备及可读存储介质 - Google Patents
气象数据处理方法、装置、计算机设备及可读存储介质 Download PDFInfo
- Publication number
- CN111752976A CN111752976A CN202010470564.7A CN202010470564A CN111752976A CN 111752976 A CN111752976 A CN 111752976A CN 202010470564 A CN202010470564 A CN 202010470564A CN 111752976 A CN111752976 A CN 111752976A
- Authority
- CN
- China
- Prior art keywords
- data
- meteorological
- meteorological data
- index
- direct irradiance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000004364 calculation method Methods 0.000 claims abstract description 66
- 238000005070 sampling Methods 0.000 claims abstract description 60
- 238000007781 pre-processing Methods 0.000 claims abstract description 25
- 238000012216 screening Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 81
- 230000002159 abnormal effect Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006854 communication Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Complex Calculations (AREA)
Abstract
本申请涉及一种气象数据处理方法、装置、计算机设备及可读存储介质。该方法包括:对目标区域中所有网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所有网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据,从直接辐照度数据和指标气象数据中,筛选出网格点中与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的直接辐照度数据和指标气象数据,作为气象特征数据,基于目标气象数据推算模型,通过气象特征数据获取未知点在指定时刻的目标气象推算数据;上述方法可以对不同质量的初始气象数据进行处理,以通过初始气象数据进一步推算出未知点的气象数据,提高了未知点推算结果的精确度。
Description
技术领域
本申请涉及光伏功率预测领域,特别是涉及一种气象数据处理方法、装置、计算机设备及可读存储介质。
背景技术
太阳辐照度等数值天气预报(Numerical Weather Prediction,NWP)气象数据对于光伏功率预测是十分重要的输入特征。要想实现分布式光伏预测,全覆盖安装分布式光伏气象采集装置是十分不经济的。因此,如何低成本地获取高精度的太阳辐照度等NWP气象数据,是分布式光伏预测研究难点之一。
传统技术中,在目标区域内分散安装分布式光伏气象采集装置,以采集所有网格点中已知点的NWP气象数据;同时,利用双线性插值法,对已知点的NWP辐照数据进行双线性插值处理,以推算出所有网格中未知点的NWP辐照数据。但是,传统的推算方法对未知点的NWP气象数据具有较强的敏感性,当已知点的NWP气象数据质量较差时,会导致未知点的推算结果精确度较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高推算结果精确度的气象数据处理方法、装置、计算机设备和可读存储介质。
一种气象数据处理方法,所述方法包括:
对目标区域中网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据;
从所述直接辐照度数据和所述指标气象数据中,筛选出所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据;
基于目标气象数据推算模型,通过所述气象特征数据获取所述未知点在所述指定时刻的目标气象推算数据;所述目标气象数据推算模型为通过历史气象数据中提取的气象特征数据作为样本数据进行训练得到的模型。
在其中一个实施例中,所述对目标区域中网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所有网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据,包括:
采用异常值处理法,对所述目标区域中所述网格点对应的所述预设时间段内,每个采样时刻的所述初始气象数据进行异常处理,获取异常处理后的所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据。
在其中一个实施例中,所述方法还包括:
采用插值法,对所述目标区域中所述网格点对应的所述预设时间段内,每个采样时刻的所述初始气象数据进行插值处理,获取插值处理后的所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据。
在其中一个实施例中,所述从所述直接辐照度数据和所述指标气象数据中,筛选出所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据,包括:
对所述直接辐照度数据与所述指标气象数据进行运算处理,得到所述预设时间段内每个指定日下,所述直接辐照度数据与所述指标气象数据之间的相关系数;
通过所述相关系数,选取所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据。
在其中一个实施例中,所述对所述直接辐照度数据与所述指标气象数据进行运算处理,得到所述预设时间段内每个指定日下,所述直接辐照度数据与所述指标气象数据之间的相关系数,包括:
对所述直接辐照度数据与所述指标气象数据进行运算处理,计算所述直接辐照度数据与所述指标气象数据之间的皮尔逊相关系数,并将所述皮尔逊相关系数作为所述相关系数;所述运算处理包括加法运算、减法运算、乘法运算和除法运算的组合运算处理。
在其中一个实施例中,所述通过所述相关系数,选取所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据,包括:
对每个指定日下与每类指标气象数据对应的相关系数,分别求平均并取绝对值处理,得到绝对平均相关系数;
根据所述绝对平均相关系数,确定强相关系数和弱相关系数;
获取所述强相关系数和/或所述弱相关系数对应的所述直接辐照度数据和所述指标气象数据;
从所述直接辐照度数据和所述指标气象数据中,选取所述网格点中与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为所述气象特征数据。
在其中一个实施例中,所述根据所述绝对平均相关系数,确定强相关系数和弱相关系数,包括:
将每个绝对平均相关系数,分别与预设相关阈值进行比较,根据比较结果确定所述强相关系数和所述弱相关系数。
一种气象数据处理装置,所述装置包括:
预处理模块,用于对目标区域中网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据;
数据筛选模块,用于从所述直接辐照度数据和所述指标气象数据中,筛选出所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据;
推算模块,用于基于目标气象数据推算模型,通过所述气象特征数据获取所述未知点在所述指定时刻的目标气象推算数据;所述目标气象数据推算模型为通过历史气象数据中提取的气象特征数据作为样本数据进行训练得到的模型。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
对目标区域中网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据;
从所述直接辐照度数据和所述指标气象数据中,筛选出所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据;
基于目标气象数据推算模型,通过所述气象特征数据获取所述未知点在所述指定时刻的目标气象推算数据;所述目标气象数据推算模型为通过历史气象数据中提取的气象特征数据作为样本数据进行训练得到的模型。
一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
对目标区域中网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据;
从所述直接辐照度数据和所述指标气象数据中,筛选出所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据;
基于目标气象数据推算模型,通过所述气象特征数据获取所述未知点在所述指定时刻的目标气象推算数据;所述目标气象数据推算模型为通过历史气象数据中提取的气象特征数据作为样本数据进行训练得到的模型。
上述气象数据处理方法、装置、计算机设备及可读存储介质,计算机设备对目标区域中网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据,从直接辐照度数据和指标气象数据中,筛选出网格点中与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的直接辐照度数据和指标气象数据,作为气象特征数据,基于目标气象数据推算模型,通过气象特征数据获取未知点在指定时刻的目标气象推算数据;上述方法可以对不同质量的初始气象数据进行处理,以通过初始气象数据进一步推算出网格点中未知点的气象数据,提高了未知点推算结果的精确度。
附图说明
图1为一个实施例中气象数据处理方法的流程示意图;
图2为一个实施例中计算机设备的内部结构图;
图3为一个实施例中选取气象特征数据的流程示意图;
图4为另一个实施例中选取气象特征数据的具体流程示意图;
图5为一个实施例中气象数据处理装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示提供了一种气象数据处理方法的流程示意图,以该方法应用于图2中的计算机设备为例进行说明(图2示出了计算机设备的内部结构),包括以下步骤:
步骤S1000、对目标区域中网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据。
具体的,目标区域可以划分为网格区域,网格的交叉点可以理解为网格点;预设时间段可以为历史时间段,可以大于等于1年。上述初始气象数据可以为分布式光伏气象采集装置采集到的数值天气预报气象数据,即NWP气象数据;可以包括目标区域中所有网格点对应的预设时间段内,每个采样时刻的NWP气象数据;初始气象数据可以包括风、降水量、气温、气压、相对湿度等等气象数据,且初始气象数据中可以包含异常或缺失数据;采样数据的时间分辨率可以为小时级别。上述目标区域范围可以理解为空间范围,在空间范围内,初始气象数据中的不同NWP气象数据之间可以存在一定的相关性。需要说明的是,上述预处理可以为特征编码处理、特征选择处理、规范化处理、插值处理、平均数填充处理、异常值处理中的至少一种处理过程。
在本实施例中,不同NWP气象数据的时间分辨率可以为1小时,空间范围可以为100km*100km左右的目标区域范围,且空间范围内各个NWP气象数据的空间分辨率可以为15km~20km;也就是,在100km*100km空间范围内,可以有5~7行5~7列共25~49个已知的NWP气象数据点,这些已知的NWP气象数据点具有对应已知的NWP气象数据。每个NWP气象数据点可以称为一个网格点;已知的NWP气象数据可以称为网格点中已知点的NWP气象数据;网格点可以理解为NWP气象数据点对应的空间位置;目标区域内的已知点可以形成一个矩阵数列。另外,空间范围内,除了已知的NWP气象数据点外,还可以包括未知的NWP气象数据点,即网格点中的未知点。
可以理解的是,与直接辐照度具有强相关关系的气象因素,可以包括除散射辐照度、温度、风速和湿度四种因素,以及除这四种因素以外的其它气象因素。也就是,初始气象数据还可以包括除直接辐照度、散射辐照度、温度、风速和湿度这五种气象数据以外的其它气象数据;若其它气象数据以获取、且获取成本低时,本实施例还可以获取五种气象数据以外的其它气象数据作为初始气象数据。但是,由于与直接辐照度具有强相关关系的主要气象因素为散射辐照度、温度、风速和湿度,因此,在本实施例中,以初始气象数据包括直接辐照度数据、散射辐照度数据、温度数据、风速数据和湿度数据这五种气象数据为例,进行说明气象数据处理过程。
其中,上述直接辐照度数据可以表征太阳直接辐照到地面的辐照度数据;上述散射辐照度数据可以表征太阳经过大气分子、水蒸气、灰尘等质点的反射后到达地面的辐照度数据。计算机设备可以对初始气象数据进行预处理,得到所有网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据。在本实施例中,指标气象数据可以包括散射辐照度数据、温度数据、风速数据和湿度数据。
步骤S2000、从所述直接辐照度数据和所述指标气象数据中,筛选出所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据。
具体的,计算机设备可以从目标区域中所有网格点对应的预设时间段内,每个采样时刻下的直接辐照度数据和指标气象数据中,筛选出推算网格点中未知点的直接辐照度数据和指标气象数据时,所需要的网格点中与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的直接辐照度数据和指标气象数据。可选的,网格点中包括已知点和未知点,已知点可以理解为设置有采集气象数据装置的网格点,未知点可以理解没有设置采集气象数据装置的网格点。
若目标区域内的所有网格点形成一个5*5矩形阵列,其中,第3行第3列位置上的点为未知点,此时,网格点中与未知点相邻的已知点包括:第2行第2列、第2行第3列、第2行第4列、第3行第2列、第3行第4列、第4行第2列、第4行第3列、第4行第4列位置上的点。
在本实施例中,上述指定时刻可以理解为预设时间段内某天中任意时刻;上述预设数量可以为任意数量。若筛选出指定时刻tn前后N个时刻的气象数据,则N个时刻可以分别时刻tn-2、时刻tn-1、时刻tn+1、时刻tn+2;其中,指定时刻tn前的多个时刻和指定时刻tn后的多个时刻可以相等,也可以不相等,只要保证指定时刻tn前后均具有筛选到的气象数据即可。可选的,将筛选出的直接辐照度数据与指标气象数据可以作为气象特征数据。
步骤S3000、基于目标气象数据推算模型,通过所述气象特征数据获取所述未知点在所述指定时刻的目标气象推算数据;所述目标气象数据推算模型为通过历史气象数据中提取的气象特征数据作为样本数据进行训练得到的模型。
具体的,计算机设备可以将气象特征数据输入至目标气象数据推算模型中,通过目标气象数据推算模型,对未知点在指定时刻的NWP气象数据进行精确推算,以输出目标气象推算数据;该目标气象推算数据可以包括推算出的未知点在指定时刻的直接辐照度数据和指标气象数据。上述目标气象数据推算模型可以为一种三维卷积神经网络模型,通过历史气象数据中提取的气象特征数据,对初始气象数据推算模型进行训练得到的网络模型。其中,上述气象特征数据与目标气象推算数据可以为预设时间段中相同日期、不同时刻下,对应的气象数据。例如,预设时间段为1年,即365天,若本实施例需要推算第108天内t时刻的气象数据,此时,相同日期可以为第108天;气象特征数据可以为预设时间段中第108天内t时刻前后多个不同时刻的气象数据;目标气象推算数据可以为推算出的预设时间段中第108天内t时刻的气象数据,也就是目标区域内指定时刻t的气象数据。
需要说明的是,初始气象数据推算模型可以包括卷积层、池化层和全连接层这三层结构。训练前,可以采集预设时间段内的NWP气象数据,按照8:2的比例将NWP气象数据划分成训练集数据和测试集数据,训练集数据可以用于网络模型的训练,测试集数据可以用于网络模型拟合效果的验证。训练时,可以将初始化后的气象特征数据的时间维度Lin和一组网络参数(包括学习因子、隐含层神经元个数、卷积核大小等)输入至初始气象数据推算模型中,通过对网络结构的不断调整,进行网络模型的训练,得到一个最优的网络模型;然后采用遍历法,使网络模型的拟合精度和训练速度都最优时,确定此时的网络参数为最优网络参数;最后,在固定最优的网络模型和最优网络参数后,对气象特征数据的时间维度Lin进行优化,取测试集数据拟合精度最大时,气象特征数据的时间维度Lin为最优时间维度Le。上述气象特征数据的时间维度Lin可以表征气象特征数据中包含的NWP气象数据的类数。
另外,为了使气象特征数据和目标气象推算数据处于同一分布区间内,在将气象特征数据输入目标气象数据推算模型之前,计算机设备可以先对气象特征数据进行归一化处理,进一步将归一化处理后的气象特征数据输入至目标气象数据推算模型再进行处理。其中,归一化处理的具体计算公式如下列式(1)所示,即:
其中,y表示归一化后的气象特征数据,x表示气象特征数据,带有max和min下标的变量分别为气象特征数据中的最大值和最小值。在本实施例中,需要将气象特征数据归一化到[-1,1]的区间内,所以ymax可以等于1,ymin可以等于-1。
需要说明的是,目标气象推算模型每次输入的气象特征数据,可以由网格点中所有已知点的气象数据在指定时刻t前后预设数量N个时刻的气象数据构成,包含Gk·TN·C个有意义元素,目标气象推算模型输出的目标气象推算数据是所有待拟合未知点在指定时刻t的直接辐照度数据,输出的目标气象推算数据包含Gk个元素。TN取值不能超过Γ,TN表示目标气象推算模型利用t时刻前后TN个时刻的气象数据去拟合t时刻的气象数据。
例如,目标区域内包含5行5列的NWP网格点,网格点中的已知点为15个,待拟合的未知点为10个,采集气象数据时的时间分辨率为1小时,1个指定日内的日辐照度数据包含12个点(也就是1个指定日内白天12小时中1小时一个点),目标气象推算模型输入的气象特征数据包括直接辐照度、散射辐照度和气温数据三种为例进行说明,单点拟合利用时刻t周围7个时刻的气象数据(即直接辐照度、散射辐照度和气温数据)作为气象特征数据。该示例中上述符号的取值如表1所示,表1中的C表示气象特征数据中的气象数据类别数量。
表1
进一步地,为了适应于三维卷积神经网络模型的输入形式,需要对上述的输入矩阵(即气象特征数据)所包含的有意义元素进行调整。
其中,三维卷积神经网络均要求(Cin,Win,Hin,Lin)形式的输入矩阵,其中,Cin为通道数,与上述C含义相同。Win,Hin表示输入矩阵的空间特征,取值分别为目标区域内网格点的行数和列数。Lin表示输入矩阵的时间特征,与上述T含义相同,在单点拟合中与上述TN含义相同。另外,(Cin,Win,Hin,Lin)形式的输入矩阵可以为一个包含很多0元素的稀疏矩阵,其中有意义的元素仅为Gk·Lin·Cin个。
若Gk、Cin、C、T、TN的取值与表1相同,目标区域包含5行5列的NWP网格点,则可以基于三维卷积神经网络的目标气象推算模型的气象特征数据为(3,5,5,7)的四维矩阵,输出的目标气象推算数据可以为(10,1)的向量。
上述气象数据处理方法,对目标区域中所有网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所有网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据,从直接辐照度数据和指标气象数据中,筛选出网格点中与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的直接辐照度数据和指标气象数据,作为气象特征数据,基于目标气象数据推算模型,通过气象特征数据获取未知点在指定时刻的目标气象推算数据;上述方法可以对不同质量的初始气象数据进行处理,以通过初始气象数据进一步推算出网格点中未知点的气象数据,提高了未知点推算结果的精确度;同时,上述方法可以适用于不同质量的初始气象数据,提高了推算方法的鲁棒性。
在其中一个实施例中,上述步骤S1000中对目标区域中网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所有网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据的过程,可以包括:采用异常值处理法,对所述目标区域中所述网格点对应的所述预设时间段内,每个采样时刻的所述初始气象数据进行异常处理,获取异常处理后的所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据。
具体的,计算机设备可以采用3-sigma法或相关因素分析法等检测法,检测初始气象数据中是否存在异常数据;若检测到初始气象数据中存在异常数据时,可以采用异常值处理法将初始气象数据进行异常处理,以得到异常处理后的初始气象数据中,网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据。通常,初始气象数据中会存在异常数据。
需要说明的是,若初始气象数据中的异常数据较少时,计算机设备可以直接剔除异常值,得到异常处理后的初始气象数据中,网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据,从而还能够减少计算量;若初始气象数据中的异常数据较多时,计算机设备可以采用插值法或者平均数填充法等处理法替换初始气象数据中的异常数据,得到异常处理后的初始气象数据中,网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据。
其中,上述步骤S1000中对目标区域中所述网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据的过程,还可以包括:采用插值法,对所述目标区域中所述网格点对应的所述预设时间段内,每个采样时刻的所述初始气象数据进行插值处理,获取插值处理后的所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据。
同时,计算机设备还可以采用查询法检测初始气象数据中是否存在缺失数据;若检测到初始气象数据中存在缺失数据时,可以采用插值法等处理方法对初始气象数据进行插值处理,以得到插值处理后的网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据。通常,初始气象数据中还会存在缺失数据。
在本实施例中,若初始气象数据中仅存在异常数据,则计算机设备可以仅对初始气象数据进行异常处理,得到异常处理后的网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据;若初始气象数据中仅存在缺失数据,则计算机设备可以仅对初始气象数据进行缺失值处理(即插值处理),得到插值处理后的网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据;若初始气象数据中既存在异常数据还存在缺失数据,此时,计算机设备可以对初始气象数据进行异常处理和缺失值处理后,才能得到网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据。其中,异常处理和缺失值处理的执行顺序可以相互调换,对此执行顺序不做任何限定。在本实施例中,初始气象数据中存在的缺失值是目标区域中已设置采集气象数据装置的网格点上,由于采集气象数据装置通信过程的故障所致缺失的气象数据,大多属于小段的数据缺失。
上述气象数据处理方法,可以对初始气象数据进行预处理,得到直接辐照度数据和指标气象数据,进而对直接辐照度数据和指标气象数据进行处理推算出目标气象推算数据;上述方法可以对不同质量的初始气象数据进行预处理,以提高数据质量,从而提高网格中未知点推算结果的精确度;同时,上述方法可以适用于不同质量的初始气象数据,提高了推算方法的鲁棒性。
作为其中一个实施例,如图3所示,上述步骤S2000中从所述直接辐照度数据和所述指标气象数据中,筛选出所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据的过程,可以包括以下步骤:
步骤S2100、对所述直接辐照度数据与所述指标气象数据进行运算处理,得到所述预设时间段内每个指定日下,所述直接辐照度数据与所述指标气象数据之间的相关系数。
具体的,上述运算处理可以为加法运算、减法运算、乘法运算、除法运算中至少一种运算处理。上述直接辐照度数据与指标气象数据之间的相关系数可以反映直接辐照度数据与指标气象数据之间的相关性。可选的,指定日可以理解为一天,即24小时,那么,预设时间段内可以包含多个指定日。每个指定日下均有对应的直接辐照度数据与指标气象数据,从而可以计算预设时间段内每个指定日下,直接辐照度数据与指标气象数据之间的相关系数。
需要说明的是,运算处理的直接辐照度数据与指标气象数据,可以为每个指定日下,相同时间、相同NWP气象数据点的直接辐照度数据与指标气象数据;还可以为每个指定日下,相同时间、不同NWP气象数据点的直接辐照度数据与指标气象数据;当然,还可以为每个指定日下,不同时间、不同NWP气象数据点下的直接辐照度数据与指标气象数据。
其中,上述步骤S2100对所述直接辐照度数据与所述指标气象数据进行运算处理,得到所述预设时间段内每个指定日下,所述直接辐照度数据与所述指标气象数据之间的相关系数中的过程,具体可以包括:对所述直接辐照度数据与所述指标气象数据进行运算处理,计算所述直接辐照度数据与所述指标气象数据之间的皮尔逊相关系数,并将所述皮尔逊相关系数作为所述相关系数;所述运算处理包括加法运算、减法运算、乘法运算和除法运算的组合运算处理。
具体的,计算机设备可以对直接辐照度数据与散射辐照度数据进行运算处理,得到两者之间的相关系数。在本实施例中,计算机设备可以采用相关系数计算法,对直接辐照度数据与散射辐照度数据进行运算处理,得到两者之间的相关系数。通常,计算机设备可以计算相同日期下,两种不同气象数据之间的相关系数。
需要说明的是,上述相关系数计算法可以为杰卡德相似系数法、皮卡尔逊相关系数法或皮尔森相关系数法等计算方法;上述运算处理可以包括加法运算、减法运算、乘法运算和除法运算之间的组合运算。
可以理解的是,Xij,d表示目标区域内第i行、第j列的空间位置的第d天的直接辐照度数据,Yij,d表示目标区域内第i行、第j列的空间位置历史时间段内第d天的指标气象数据(即散射辐照度数据、温度数据、风速数据和湿度数据),皮尔逊相关系数ρ可以通过下列公式(2)表示,即:
其中,Cov(·)表示协方差,var(·)表示方差;上述相关系数可以反映相同日期(即预设时间段内第d天)和相同空间位置(即第i行、第j列的空间位置)下,直接辐照度数据与指标气象数据之间的相关性;d可以表示历史时间段内的推算日期。例如,预设时间段为1年,即365天,本实施例可以推算第108天内的气象数据,此时,d可以等于108。
步骤S2200、通过所述相关系数,选取所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据。
具体的,计算机设备可以通过获取到的每个指定日下,直接辐照度数据与指标气象数据之间的相关系数,选取网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的直接辐照度数据和指标气象数据,作为气象特征数据,以作为目标气象数据推算模型的输入数据。其中,将每个指定日对应的相关系数中的最大相关系数和最小相关系数,分别对应的气象数据(即直接辐照度数据和指标气象数据)组合,将组合结果可以确定为气象特征数据;将每个指定日对应的相关系数中多个间隔相关系数,分别对应的直接辐照度数据和指标气象数据组合,将组合结果也可以确定为气象特征数据;当然,将每个指定日对应的相关系数对应的直接辐照度数据和指标气象数据组合也可以确定为气象特征数据。
上述气象数据处理方法,该方法可以对直接辐照度数据和指标气象数据之间的相关系数,并通过相关系数,选取网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的直接辐照度数据和指标气象数据,作为气象特征数据,进而基于目标气象推算模型推算出目标气象推算数据;上述方法可以对不同质量的初始气象数据进行预处理,以提高数据质量,从而提高网格中未知点推算结果的精确度;同时,上述方法可以适用于不同质量的初始气象数据,提高了推算方法的鲁棒性。
在一个实施例中,如图4所示,上述步骤S2200中通过所述相关系数,选取所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据的过程,可以通过以下步骤实现:
步骤S2210、对每个指定日下与每类指标气象数据对应的相关系数,分别求平均并取绝对值处理,得到绝对平均相关系数。
具体的,计算机设备可以对每个指定日下,每类指标气象数据与直接辐照度数据之间的所有相关系数进行组合运算处理,得到绝对平均相关系数。上述组合运算处理可以为算术运算处理和绝对值处理的组合运算;但是在本实施例中,上述组合运算处理可以包括求平均值、取绝对值处理。
在本实施例中,计算机设备可以对每个指定日下,每类指标气象数据与直接辐照度数据之间的所有相关系数,先求平均值,再对平均值取绝对值处理,得到绝对平均相关系数。以指标气象数据为散射辐照度数据进行说明,计算机设备可以对每个指定日下,直接辐照度数据与散射辐照度数据之间的所有相关系数,求平均值后再对平均值做绝对值处理,得到绝对平均相关系数。同时,计算机设备也可以计算温度数据、风速数据和湿度数据分别对应的绝对平均相关系数。一般,绝对平均相关系数的取值范围可以在0~1之间。
步骤S2220、根据所述绝对平均相关系数,确定强相关系数和弱相关系数。
具体的,计算机设备可以确定所有绝对平均相关系数中的强相关系数和弱相关系数。
其中,上述步骤S2220中根据所述绝对平均相关系数,确定强相关系数和弱相关系数的过程,具体可以包括:将每个绝对平均相关系数,分别与预设相关阈值进行比较,根据比较结果确定所述强相关系数和所述弱相关系数。
在本实施例中,预设相关阈值可以为0.8和/或0.3。计算机设备可以将绝对平均相关系数与0.8进行比较,并将比较结果中,大于0.8的绝对平均相关系数确定为强相关系数;同时,计算机设备还可以将绝对平均相关系数与0.8进行比较后,将比较结果中,小于0.8的绝对平均相关系数再与0.3进行比较,将此时比较结果中,小于0.8且大于0.3的绝对平均相关系数确定为弱相关系数。在本实施例中,也就是小于0.3的绝对平均相关系数可以表征为无相关性。
步骤S2230、获取所述强相关系数和/或所述弱相关系数对应的所述直接辐照度数据和所述指标气象数据。
具体的,计算机设备可以将强相关系数对应的直接辐照度数据和指标气象数据全部作为气象特征数据;和/或根据实际条件,将弱相关系数对应的直接辐照度数据和指标气象数据也可以作为气象特征数据。上述实际条件可以包括弱相关系数对应的初始气象数据是否充足、是否易获取、获取成本是否低;若三个条件均为是时,可以将弱相关系数对应的直接辐照度数据和指标气象数据作为气象特征数据;若三个条件其中一个为否时,不可以将弱相关系数对应的直接辐照度数据和指标气象数据作为气象特征数据。
步骤S2240、从所述直接辐照度数据和所述指标气象数据中,选取所述网格点中与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为所述气象特征数据。
具体的,计算机设备可以从强相关系数和/或弱相关系数对应的直接辐照度数据和指标气象数据中,选取网格点中与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的直接辐照度数据和所述指标气象数据,作为气象特征数据。
若目标区域内的所有网格点形成一个5*5矩形阵列,其中,第3行第3列位置上的点为未知点,此时,网格点中与未知点相邻的已知点包括:第2行第2列、第2行第3列、第2行第4列、第3行第2列、第3行第4列、第4行第2列、第4行第3列、第4行第4列位置上的点。
在本实施例中,上述指定时刻可以理解为预设时间段内某天中任意时刻;上述预设数量可以为任意数量。若筛选出指定时刻tn前后N个时刻的气象数据,则N个时刻可以分别时刻tn-2、时刻tn-1、时刻tn+1、时刻tn+2;其中,指定时刻tn前的多个时刻和指定时刻tn后的多个时刻可以相等,也可以不相等,只要保证指定时刻tn前后均具有筛选到的气象数据即可。可选的,将筛选出的直接辐照度数据与指标气象数据可以作为气象特征数据。可选的,气象特征数据和目标气象推算数据可以为同一指定日对应的气象数据。
上述气象数据处理方法可以获取直接辐照度数据与不同指标气象数据之间的相关系数,进而通过相关系数,选取目标气象数据推算模型的气象特征数据,基于目标气象数据推算模型,通过气象特征数据获取目标气象推算数据;上述方法可以对不同质量的初始气象数据进行处理,进一步推算出未知网格点的气象数据,提高了未知网格点推算结果的精确度。
应该理解的是,虽然图1、3和4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1、3和4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种气象数据处理装置,所述装置包括:预处理模块11、数据筛选模块12和推算模块13。
其中,所述预处理模块11,用于对目标区域中网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据;
所述数据筛选模块12,用于从所述直接辐照度数据和所述指标气象数据中,筛选出所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据;
所述推算模块13,用于基于目标气象数据推算模型,通过所述气象特征数据获取所述未知点在所述指定时刻的目标气象推算数据;所述目标气象数据推算模型为通过历史气象数据中提取的气象特征数据作为样本数据进行训练得到的模型。
本实施例提供的气象数据处理装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,所述预处理模块11包括:异常处理单元。
其中,所述异常处理单元,用于采用异常值处理法,对所述目标区域中所述网格点对应的所述预设时间段内,每个采样时刻的所述初始气象数据进行异常处理,获取异常处理后的所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据。
本实施例提供的气象数据处理装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,所述预处理模块11还包括:插值处理单元。
其中,所述插值处理单元,用于采用插值法,对所述目标区域中所述网格点对应的所述预设时间段内,每个采样时刻的所述初始气象数据进行插值处理,获取插值处理后的所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据。
本实施例提供的气象数据处理装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,所述数据筛选模块12包括:运算单元和选取单元。
其中,所述运算单元,用于对所述直接辐照度数据与所述指标气象数据进行运算处理,得到所述预设时间段内每个指定日下,所述直接辐照度数据与所述指标气象数据之间的相关系数;
所述选取单元,用于通过所述相关系数,选取所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据。
本实施例提供的气象数据处理装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,所述运算单具体用于对所述直接辐照度数据与所述指标气象数据进行运算处理,计算所述直接辐照度数据与所述指标气象数据之间的皮尔逊相关系数,并将所述皮尔逊相关系数作为所述相关系数;所述运算处理包括加法运算、减法运算、乘法运算和除法运算的组合运算处理。
本实施例提供的气象数据处理装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,所述选取单元包括:计算子单元、确定子单元、获取子单元及选取子单元。
其中,所述计算子单元,用于对每个指定日下与每类指标气象数据对应的相关系数,分别求平均并取绝对值处理,得到绝对平均相关系数;
所述确定子单元,用于根据所述绝对平均相关系数,确定强相关系数和弱相关系数;
所述获取子单元,用于获取所述强相关系数和/或所述弱相关系数对应的所述直接辐照度数据和所述指标气象数据;
所述选取子单元,用于从所述直接辐照度数据和所述指标气象数据中,选取所述网格点中与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为所述气象特征数据。
本实施例提供的气象数据处理装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,所述计算子单元具体用于将每个绝对平均相关系数,分别与预设相关阈值进行比较,根据比较结果确定所述强相关系数和所述弱相关系数。
本实施例提供的气象数据处理装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
关于气象数据处理装置的具体限定可以参见上文中对于气象数据处理方法的限定,在此不再赘述。上述气象数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以继续参见图2所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储采集到的气象数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种气象数据处理方法。
本领域技术人员可以理解,图2中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
对目标区域中网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据;
从所述直接辐照度数据和所述指标气象数据中,筛选出所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据;
基于目标气象数据推算模型,通过所述气象特征数据获取所述未知点在所述指定时刻的目标气象推算数据;所述目标气象数据推算模型为通过历史气象数据中提取的气象特征数据作为样本数据进行训练得到的模型。
在一个实施例中,提供了一种可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
对目标区域中网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据;
从所述直接辐照度数据和所述指标气象数据中,筛选出所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据;
基于目标气象数据推算模型,通过所述气象特征数据获取所述未知点在所述指定时刻的目标气象推算数据;所述目标气象数据推算模型为通过历史气象数据中提取的气象特征数据作为样本数据进行训练得到的模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种气象数据处理方法,其特征在于,所述方法包括:
对目标区域中网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据;
从所述直接辐照度数据和所述指标气象数据中,筛选出所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据;
基于目标气象数据推算模型,通过所述气象特征数据获取所述未知点在所述指定时刻的目标气象推算数据;所述目标气象数据推算模型为通过历史气象数据中提取的气象特征数据作为样本数据进行训练得到的模型。
2.根据权利要求1所述的方法,其特征在于,所述对目标区域中网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所有网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据,包括:
采用异常值处理法,对所述目标区域中所述网格点对应的所述预设时间段内,每个采样时刻的所述初始气象数据进行异常处理,获取异常处理后的所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
采用插值法,对所述目标区域中所述网格点对应的所述预设时间段内,每个采样时刻的所述初始气象数据进行插值处理,获取插值处理后的所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据。
4.根据权利要求1所述的方法,其特征在于,所述从所述直接辐照度数据和所述指标气象数据中,筛选出所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据,包括:
对所述直接辐照度数据与所述指标气象数据进行运算处理,得到所述预设时间段内每个指定日下,所述直接辐照度数据与所述指标气象数据之间的相关系数;
通过所述相关系数,选取所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据。
5.根据权利要求4所述的方法,其特征在于,所述对所述直接辐照度数据与所述指标气象数据进行运算处理,得到所述预设时间段内每个指定日下,所述直接辐照度数据与所述指标气象数据之间的相关系数,包括:
对所述直接辐照度数据与所述指标气象数据进行运算处理,计算所述直接辐照度数据与所述指标气象数据之间的皮尔逊相关系数,并将所述皮尔逊相关系数作为所述相关系数;所述运算处理包括加法运算、减法运算、乘法运算和除法运算的组合运算处理。
6.根据权利要求4所述的方法,其特征在于,所述通过所述相关系数,选取所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据,包括:
对每个指定日下与每类指标气象数据对应的相关系数,分别求平均并取绝对值处理,得到绝对平均相关系数;
根据所述绝对平均相关系数,确定强相关系数和弱相关系数;
获取所述强相关系数和/或所述弱相关系数对应的所述直接辐照度数据和所述指标气象数据;
从所述直接辐照度数据和所述指标气象数据中,选取所述网格点中与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为所述气象特征数据。
7.根据权利要求6所述的方法,其特征在于,所述根据所述绝对平均相关系数,确定强相关系数和弱相关系数,包括:
将每个绝对平均相关系数,分别与预设相关阈值进行比较,根据比较结果确定所述强相关系数和所述弱相关系数。
8.一种气象数据处理装置,其特征在于,所述装置包括:
预处理模块,用于对目标区域中网格点对应的预设时间段内,每个采样时刻的初始气象数据进行预处理,获取所述网格点在每个采样时刻下的直接辐照度数据,以及与直接辐照度相关的指标气象数据;
数据筛选模块,用于从所述直接辐照度数据和所述指标气象数据中,筛选出所述网格点中,与未知点相邻的已知点在指定时刻前后预设数量个时刻对应的所述直接辐照度数据和所述指标气象数据,作为气象特征数据;
推算模块,用于基于目标气象数据推算模型,通过所述气象特征数据获取所述未知点在所述指定时刻的目标气象推算数据;所述目标气象数据推算模型为通过历史气象数据中提取的气象特征数据作为样本数据进行训练得到的模型。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010470564.7A CN111752976A (zh) | 2020-05-28 | 2020-05-28 | 气象数据处理方法、装置、计算机设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010470564.7A CN111752976A (zh) | 2020-05-28 | 2020-05-28 | 气象数据处理方法、装置、计算机设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111752976A true CN111752976A (zh) | 2020-10-09 |
Family
ID=72673657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010470564.7A Pending CN111752976A (zh) | 2020-05-28 | 2020-05-28 | 气象数据处理方法、装置、计算机设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111752976A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112748483A (zh) * | 2020-12-24 | 2021-05-04 | 北京思湃德信息技术有限公司 | 一种基于深度学习的气温预报偏差订正方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108375807A (zh) * | 2017-12-01 | 2018-08-07 | 国网北京市电力公司 | 气象数据的获取方法及装置 |
CN109447315A (zh) * | 2018-09-18 | 2019-03-08 | 中国电力科学研究院有限公司 | 一种基于多时空尺度的电力气象数值天气预报方法和装置 |
CN110148068A (zh) * | 2019-05-23 | 2019-08-20 | 福州大学 | 一种基于气象数据相似度分析和lstm神经网络实现光伏电站超短期功率预测方法 |
CN111033318A (zh) * | 2017-06-23 | 2020-04-17 | 慧天科技公司 | 当地气象预测 |
-
2020
- 2020-05-28 CN CN202010470564.7A patent/CN111752976A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111033318A (zh) * | 2017-06-23 | 2020-04-17 | 慧天科技公司 | 当地气象预测 |
CN108375807A (zh) * | 2017-12-01 | 2018-08-07 | 国网北京市电力公司 | 气象数据的获取方法及装置 |
CN109447315A (zh) * | 2018-09-18 | 2019-03-08 | 中国电力科学研究院有限公司 | 一种基于多时空尺度的电力气象数值天气预报方法和装置 |
CN110148068A (zh) * | 2019-05-23 | 2019-08-20 | 福州大学 | 一种基于气象数据相似度分析和lstm神经网络实现光伏电站超短期功率预测方法 |
Non-Patent Citations (1)
Title |
---|
EKICI B B: "A least squares support vector machine model for prediction of the next day solar insolation for effective use of PV systems", MEASUREMENT, 31 December 2014 (2014-12-31), pages 255 - 262 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112748483A (zh) * | 2020-12-24 | 2021-05-04 | 北京思湃德信息技术有限公司 | 一种基于深度学习的气温预报偏差订正方法及装置 |
CN112748483B (zh) * | 2020-12-24 | 2022-08-19 | 北京思湃德信息技术有限公司 | 一种基于深度学习的气温预报偏差订正方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111754026B (zh) | 光伏电站群功率预测方法、装置、计算机设备及存储介质 | |
US20200057175A1 (en) | Weather dependent energy output forecasting | |
CN113496104B (zh) | 基于深度学习的降水预报订正方法及系统 | |
CN103617462B (zh) | 一种基于地理统计学的风电场风速时空数据建模方法 | |
CN113505923B (zh) | 一种地区电网短期负荷预测方法及系统 | |
Biard et al. | Automated detection of weather fronts using a deep learning neural network | |
CN114331233A (zh) | 植被总初级生产力估算方法、装置、电子设备及存储介质 | |
CN113901384A (zh) | 顾及全局空间自相关性和局部异质性的地面pm2.5浓度建模方法 | |
Li et al. | Actual evapotranspiration estimation over the Tuojiang River Basin based on a hybrid CNN-RF model | |
Quinting et al. | EuLerian Identification of ascending AirStreams (ELIAS 2.0) in numerical weather prediction and climate models–Part 1: Development of deep learning model | |
CN113095619A (zh) | 基于气候和土壤模拟植被生产力空间格局的方法及系统 | |
CN111859054A (zh) | 气象卫星数据的处理方法及装置 | |
Alonso-Montesinos et al. | The use of ANN and conventional solar-plant meteorological variables to estimate atmospheric horizontal extinction | |
CN113269805B (zh) | 降水事件引导的遥感降水反演训练样本自适应选取方法 | |
CN111752976A (zh) | 气象数据处理方法、装置、计算机设备及可读存储介质 | |
CN113486295A (zh) | 基于傅里叶级数的臭氧总量变化预测方法 | |
CN112418684A (zh) | 空中水资源时空分布规律的评估方法、装置、设备和介质 | |
Yang et al. | Predictor selection for CNN-based statistical downscaling of monthly precipitation | |
Liu et al. | Gridded statistical downscaling based on interpolation of parameters and predictor locations for summer daily precipitation in North China | |
CN117131654A (zh) | 基于预分析初猜值条件非线性最优扰动的目标观测方法 | |
CN115830865A (zh) | 基于自适应超图卷积神经网络的车流量预测方法及装置 | |
Kesavavarthini et al. | Bias correction of CMIP6 simulations of precipitation over Indian monsoon core region using deep learning algorithms | |
Rossi et al. | Potential of MERIS fAPAR for drought detection | |
Ling et al. | Diffusion Model-based Probabilistic Downscaling for 180-year East Asian Climate Reconstruction | |
CN117391221B (zh) | 基于机器学习的ndvi预测集成优化方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |