CN115796394A - 数值天气预报订正方法、装置、电子设备及存储介质 - Google Patents
数值天气预报订正方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115796394A CN115796394A CN202310050244.XA CN202310050244A CN115796394A CN 115796394 A CN115796394 A CN 115796394A CN 202310050244 A CN202310050244 A CN 202310050244A CN 115796394 A CN115796394 A CN 115796394A
- Authority
- CN
- China
- Prior art keywords
- data
- weather forecast
- numerical weather
- sample
- time step
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims description 73
- 230000006835 compression Effects 0.000 claims description 22
- 238000007906 compression Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 239000010410 layer Substances 0.000 description 20
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 230000032683 aging Effects 0.000 description 6
- 238000012950 reanalysis Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 238000001556 precipitation Methods 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例提供了一种数值天气预报订正方法、装置、电子设备及存储介质。数值天气预报订正方法包括:获取待订正数值天气预报数据对应的预报关联数据和预先训练的数值天气预报订正模型,预报关联数据包括第一数据和第二数据,数值天气预报订正模型包括第一网络和第二网络;将预报关联数据输入数值天气预报订正模型,在第一网络对第一数据进行第一处理得到中间数据,对中间数据和第二数据进行堆叠得到堆叠数据,在第二网络对堆叠数据进行第二处理得到订正后的数值天气预报数据,数值天气预报订正模型输出订正后的数值天气预报数据。本申请实施例中,能够利用数值天气预报订正模型对数值天气预报数据进行订正,提高数值天气预报数据的准确性。
Description
技术领域
本申请涉及人工智能技术领域,特别是涉及一种数值天气预报订正方法、装置、电子设备及存储介质。
背景技术
数值天气预报(Numerical Weather Prediction,NWP)是利用数学物理方程抽象地描述地球大气和海洋系统的演变, 利用现代超级计算机从初始场迭代地求解偏微分方程预测未来的大气状况。
由于NWP采用离散化数值计算,并且其描述地球系统的参数化方案还不够完善,因此基于NWP的天气预报技术得到的数值天气预报数据存在一定的误差。因此,如何对存在误差的数值天气预报数据进行进一步地订正,是目前亟待解决的技术问题。
发明内容
鉴于上述问题,本申请实施例提出了一种数值天气预报订正方法、装置、电子设备及存储介质,能够利用数值天气预报订正模型对数值天气预报数据进行进一步地订正,以便提高数值天气预报数据的准确性。
根据本申请的实施例的一个方面,提供了一种数值天气预报订正方法,所述方法包括:
获取待订正数值天气预报数据对应的预报关联数据和预先训练的数值天气预报订正模型;所述预报关联数据包括第一数据和第二数据,所述数值天气预报订正模型包括第一网络和第二网络;
将所述预报关联数据输入所述数值天气预报订正模型,在所述第一网络对所述第一数据进行第一处理得到中间数据,对所述中间数据和所述第二数据进行堆叠得到堆叠数据,在所述第二网络对所述堆叠数据进行第二处理得到订正后的数值天气预报数据,所述数值天气预报订正模型输出所述订正后的数值天气预报数据。
可选地,所述第一数据是四维数据,所述第二数据是三维数据,所述第一数据的最后两个维度与所述第二数据的最后两个维度相同;所述第一处理包括特征提取和维度压缩,所述维度压缩包括在所述第一数据的第一维度或第二维度上进行压缩,以使所述中间数据为三维数据。
可选地,所述第一数据包括等压层数、第一物理要素、经度和纬度四个维度;所述第二数据包括第二物理要素、经度和纬度三个维度;所述订正后的数值天气预报数据包括目标物理要素、经度和纬度三个维度,所述目标物理要素包括所述第二物理要素中的至少一个。
可选地,所述第一数据包括顺序排列的多个日期的第一数据,所述第二数据包括顺序排列的所述多个日期的第二数据;所述多个日期包括启报日期之前的至少一日、所述启报日期和所述启报日期之后的至少一日。
可选地,所述第一网络为三维卷积门循环单元3DConvGRU,所述3DConvGRU包括串联的多个第一时间步单元,所述第二网络为卷积门循环单元ConvGRU,所述ConvGRU包括串联的多个第二时间步单元;针对每个第一时间步单元,当前第一时间步单元的输入包括当前第一时间步单元对应日期的第一数据,当前第一时间步单元的输出包括当前第一时间步单元对应日期的中间数据;针对每个第二时间步单元,当前第二时间步单元的输入包括当前第二时间步单元对应日期的堆叠数据,当前第二时间步单元的输出包括当前第二时间步单元对应日期的订正后的数值天气预报数据;所述当前第二时间步单元对应日期的堆叠数据由当前第二时间步单元对应日期的中间数据与当前第二时间步单元对应日期的第二数据堆叠得到的。
可选地,所述数值天气预报订正模型通过如下方式训练得到:
获取第一训练样本和待训练数值天气预报订正模型;所述第一训练样本包括第一样本数值天气预报数据对应的第一样本预报关联数据,以及所述第一样本数值天气预报数据对应的第一实际天气数据,所述第一样本预报关联数据包括第一样本数据和第二样本数据,所述待训练数值天气预报订正模型包括第一待训练网络和第二待训练网络;
将所述第一样本预报关联数据输入所述待训练数值天气预报订正模型,在所述第一待训练网络对所述第一样本数据进行第一处理得到第一样本中间数据,对所述第一样本中间数据和所述第二样本数据进行堆叠得到第一样本堆叠数据,在所述第二待训练网络对所述第一样本堆叠数据进行第二处理得到订正后的第一样本数值天气预报数据,所述待训练数值天气预报订正模型输出所述订正后的第一样本数值天气预报数据;
在基于所述订正后的第一样本数值天气预报数据和所述第一实际天气数据确定训练完成后,得到所述数值天气预报订正模型。
可选地,所述方法还包括:按照预设规则获取第二训练样本和所述数值天气预报订正模型;所述第二训练样本基于当前日期的历史同一日期对应的历史数据获取;利用所述第二训练样本对所述数值天气预报订正模型进行增量训练。
根据本申请的实施例的另一方面,提供了一种数值天气预报订正装置,所述装置包括:
第一获取模块,用于获取待订正数值天气预报数据对应的预报关联数据和预先训练的数值天气预报订正模型;所述预报关联数据包括第一数据和第二数据,所述数值天气预报订正模型包括第一网络和第二网络;
订正模块,用于将所述预报关联数据输入所述数值天气预报订正模型,在所述第一网络对所述第一数据进行第一处理得到中间数据,对所述中间数据和所述第二数据进行堆叠得到堆叠数据,在所述第二网络对所述堆叠数据进行第二处理得到订正后的数值天气预报数据,所述数值天气预报订正模型输出所述订正后的数值天气预报数据。
可选地,所述第一数据是四维数据,所述第二数据是三维数据,所述第一数据的最后两个维度与所述第二数据的最后两个维度相同;所述第一处理包括特征提取和维度压缩,所述维度压缩包括在所述第一数据的第一维度或第二维度上进行压缩,以使所述中间数据为三维数据。
可选地,所述第一数据包括等压层数、第一物理要素、经度和纬度四个维度;所述第二数据包括第二物理要素、经度和纬度三个维度;所述订正后的数值天气预报数据包括目标物理要素、经度和纬度三个维度,所述目标物理要素包括所述第二物理要素中的至少一个。
可选地,所述第一数据包括顺序排列的多个日期的第一数据,所述第二数据包括顺序排列的所述多个日期的第二数据;所述多个日期包括启报日期之前的至少一日、所述启报日期和所述启报日期之后的至少一日。
可选地,所述第一网络为三维卷积门循环单元3DConvGRU,所述3DConvGRU包括串联的多个第一时间步单元,所述第二网络为卷积门循环单元ConvGRU,所述ConvGRU包括串联的多个第二时间步单元;针对每个第一时间步单元,当前第一时间步单元的输入包括当前第一时间步单元对应日期的第一数据,当前第一时间步单元的输出包括当前第一时间步单元对应日期的中间数据;针对每个第二时间步单元,当前第二时间步单元的输入包括当前第二时间步单元对应日期的堆叠数据,当前第二时间步单元的输出包括当前第二时间步单元对应日期的订正后的数值天气预报数据;所述当前第二时间步单元对应日期的堆叠数据由当前第二时间步单元对应日期的中间数据与当前第二时间步单元对应日期的第二数据堆叠得到的。
可选地,所述数值天气预报订正模型通过如下模块训练得到:
第二获取模块,用于获取第一训练样本和待训练数值天气预报订正模型;所述第一训练样本包括第一样本数值天气预报数据对应的第一样本预报关联数据,以及所述第一样本数值天气预报数据对应的第一实际天气数据,所述第一样本预报关联数据包括第一样本数据和第二样本数据,所述待训练数值天气预报订正模型包括第一待训练网络和第二待训练网络;
第一训练模块,用于将所述第一样本预报关联数据输入所述待训练数值天气预报订正模型,在所述第一待训练网络对所述第一样本数据进行第一处理得到第一样本中间数据,对所述第一样本中间数据和所述第二样本数据进行堆叠得到第一样本堆叠数据,在所述第二待训练网络对所述第一样本堆叠数据进行第二处理得到订正后的第一样本数值天气预报数据,所述待训练数值天气预报订正模型输出所述订正后的第一样本数值天气预报数据;
在基于所述订正后的第一样本数值天气预报数据和所述第一实际天气数据确定训练完成后,得到所述数值天气预报订正模型。
可选地,所述装置还包括:第三获取模块,用于按照预设规则获取第二训练样本和所述数值天气预报订正模型;所述第二训练样本基于当前日期的历史同一日期对应的历史数据获取;第二训练模块,用于利用所述第二训练样本对所述数值天气预报订正模型进行增量训练。
根据本申请的实施例的另一方面,提供了一种电子设备,包括:一个或多个处理器;和其上存储有指令的一个或多个计算机可读存储介质;当所述指令由所述一个或多个处理器执行时,使得所述处理器执行如上任一项所述的数值天气预报订正方法。
根据本申请的实施例的另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被处理器执行时,使得所述处理器执行如上任一项所述的数值天气预报订正方法。
本申请实施例中,获取待订正数值天气预报数据对应的预报关联数据和预先训练的数值天气预报订正模型;所述预报关联数据包括第一数据和第二数据,所述数值天气预报订正模型包括第一网络和第二网络;将所述预报关联数据输入所述数值天气预报订正模型,在所述第一网络对所述第一数据进行第一处理得到中间数据,对所述中间数据和所述第二数据进行堆叠得到堆叠数据,在所述第二网络对所述堆叠数据进行第二处理得到订正后的数值天气预报数据,所述数值天气预报订正模型输出所述订正后的数值天气预报数据。由此可知,本申请实施例中,能够预先训练数值天气预报订正模型,并利用该数值天气预报订正模型对NWP系统的数值天气预报数据进行进一步地订正,从而降低NWP系统数值天气预报数据的误差,提高数值天气预报数据的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些附图,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例的一种数值天气预报订正模型训练方法的流程图。
图2是本申请实施例的一种数值天气预报订正方法的流程图。
图3是本申请实施例的一种整体处理过程的示意图
图4是本申请实施例的一种数值天气预报订正模型的结构示意图。
图5是本申请实施例的一种ConvGRU的结构示意图。
图6是本申请实施例的一种数值天气预报订正装置的结构框图。
图7是本申请实施例的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请的实施例中的附图,对本申请的实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本申请的一部分实施例,而不是本申请的全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中,预先训练数值天气预报订正模型,并利用该数值天气预报订正模型对实时产生的数值天气预报数据进行订正,从而降低NWP系统数值天气预报数据的误差,提高数值天气预报数据的准确性。
首先,考虑到了以下几种类型的模型:
1、基于传统方法,例如多元线性回归、累积分布函数变换、贝叶斯模型平均、卡尔曼滤波等,输入多个预报因子,输出预报值。传统方法处理的特征数量少,只能对单个站点或者格点建立模型。对于累积分布函数变换还要求预先选定分布函数的形式。
2、基于机器学习方法,例如多层感知机、支持向量机、K紧邻算法、树模型、集成算法模型等,输入输出方式与上述传统方法类似,能学习到更强的非线性映射关系,可产生多维输出,产生多个位置或多个时间的预报,但需通过复杂的特征工程才能提取数据中的空间和时间信息。
3、基于卷积神经网络(ConvolutionalNeural Networks,CNN)或视觉转换器(VisualTransformer,VIT),为NWP数据的每个预报时效的预报网格建立后处理模型,输出预报误差更小的预报差场,缺点是建模工作量也增大随着预报步长增大,且只能提取固定时间的特征。
4、基于循环神经网络(RecurrentNeural Network,RNN),例如门循环单元(GatedRecurrent Unit,GRU)、长短期记忆网络(LongShort Term Memory,LSTM)等,用一个RNN对过去实况天气和NWP预报的时间序列进行编码,提取时间特征信息,再用另一个RNN解码特征,得到预报值。但是,RNN只能编码向量,无法提取空间特征。
5、CNN和RNN的结合,例如卷积长短期记忆网络(ConvolutionalLong Short TermMemory,ConvLSTM),结合卷积和循环神经网络,可提取多个要素的时空信息。但是无法提取多个要素的立体空间信息。
归纳可知,上述几种类型的网络,无法充分利用高维预报数据中的时间和三维空间信息,建模复杂,需要对数据进行复杂的特征工程。
本申请实施例在上述几种类型网络的基础上进一步考虑,提出一种结构简单、能够充分考虑时间和空间信息的数值天气预报订正模型,该模型相比于上述几种类型的模型,实现过程更加简单,订正效果更佳,可以推广到气象预报部门。
以下具体说明。
参照图1,示出了本申请实施例的一种数值天气预报订正模型训练方法的流程图。
如图1所示,数值天气预报订正模型训练方法可以包括以下步骤:
步骤101,获取第一训练样本和待训练数值天气预报订正模型。
所述第一训练样本可以从历史数据存档中获取。历史数据存档可以包括NWP数据存档和再分析资料存档等等。其中,NWP数据存档可以包括历史日期的数值天气预报数据等,再分析资料存档可以包括历史日期的实际天气数据等。其中,每日的数值天气预报数据可以包括,以该日为启报日期,该日之后的至少一日的数值天气预报数据。
所述第一训练样本可以包括第一样本数值天气预报数据对应的第一样本预报关联数据,以及所述第一样本数值天气预报数据对应的第一实际天气数据。
所述第一样本数值天气预报数据可以从历史数据存档中的NWP数据存档获取。所述第一样本数值天气预报数据是指需要利用模型进行订正的数值天气预报数据。所述第一样本数值天气预报数据可以包括所述第一样本数值天气预报数据对应的启报日期之后的至少一日的数值天气预报数据。
所述第一样本数值天气预报数据对应的第一样本预报关联数据,可以从历史数据存档中的NWP数据存档和再分析资料存档中获取。所述第一样本预报关联数据可以包括所述第一样本数值天气预报数据,所述第一样本数值天气预报数据对应的启报日期的实际天气数据,以及所述第一样本数值天气预报数据对应的启报日期之前的至少一日的实际天气数据。比如,所述第一样本数值天气预报数据包括12月2日至12月8日的数值天气预报数据,则所述第一样本数值天气预报数据对应的第一样本预报关联数据包括12月2日之前的至少一日的实际天气数据,12月2日的实际天气数据,以及12月2日至12月8日的数值天气预报数据。
所述第一样本预报关联数据(也即所述第一样本数值天气预报数据,所述第一样本数值天气预报数据对应的启报日期的实际天气数据,以及所述第一样本数值天气预报数据对应的启报日期之前的至少一日的实际天气数据)均包括第一样本数据和第二样本数据。
所述第一样本数据是四维数据,所述第一样本数据包括等压层数、第一物理要素、经度和纬度四个维度,对于维度的顺序不做限制。其中,等压层数包括多个不同等压层数的压强,第一物理要素可以包括但不限于:垂直速度、压力、V风(垂直方向也即经度方向的风速)、U风(水平方向也即纬度方向的风速)、温度、湿度,等等。
所述第一样本数据包括顺序排列的多个日期的第一样本数据,所述多个日期包括启报日期之前的至少一日、所述启报日期和所述启报日期之后的至少一日。其中,顺序排列是指按照日期从前往后的顺序排列。
所述第二样本数据是三维数据,所述第二样本数据包括第二物理要素、经度和纬度三个维度,对于维度的顺序不做限制。其中,第二物理要素可以包括但不限于:降雨量、地表湿度、10m V风、10m U风、2m平均气温,等等。
所述第二样本数据包括顺序排列的多个日期的第二样本数据,所述多个日期包括启报日期之前的至少一日、所述启报日期和所述启报日期之后的至少一日。其中,顺序排列是指按照日期从前往后的顺序排列。
所述第一样本数据的最后两个维度与所述第二样本数据的最后两个维度相同,比如上述第一样本数据的第三维度与第二样本数据的第二维度均为经度,第一样本数据的第四维度与第二样本数据的第三维度均为经度。
所述第一样本数值天气预报数据对应的第一实际天气数据,可以从历史数据存档中的再分析资料存档中获取。所述第一实际天气数据可以包括第一样本数值天气预报数据中每日的实际天气数据。比如,所述第一样本数值天气预报数据包括12月2日至12月8日的数值天气预报数据,则所述第一样本数值天气预报数据对应的第一实际天气数据包括12月2日至12月8日的实际天气数据。
所述订正后的第一样本数值天气预报数据为三维数据,所述订正后的第一样本数值天气预报数据包括目标物理要素、经度和纬度三个维度,其中,目标物理要素可以包括上述第二物理要素中的至少一个。
示例性地,获取第一训练样本的过程可以包括如下步骤A1~步骤A3:
步骤A1,收集NWP数据存档,对于四维数据,逐格点、预报时效和等压层数计算均值和标准差,对数据进行Z-Score标准化,对于三维数据,逐格点和预报时效计算均值和标准差,对数据进行Z-Score标准化,从而得到数据集A。
其中,一个经度和一个纬度组成一个格点。预报时效是指启报日期之后的几日,比如预报启报日期之后的7日,则预报时效为7日。
步骤A2,收集再分析资料存档,对于四维数据,逐格点、预报时效和等压层数计算均值和标准差,对数据进行Z-Score标准化,对于三维数据,逐格点和预报时效计算均值和标准差,对数据进行Z-Score标准化,从而得到数据集B。
步骤A3,根据数据集A中数据的启报日期、预报步长(预报步长是指启报日期之后的几日)、前置步长(前置步长是指启报日期之前的几日),从数据集合中B选取对应的数据,得到一对输入和输出数据的第一训练样本,从而得到数据集C。
步骤102,将所述第一样本预报关联数据输入所述待训练数值天气预报订正模型,在所述第一待训练网络对所述第一样本数据进行第一处理得到第一样本中间数据,对所述第一样本中间数据和所述第二样本数据进行堆叠得到第一样本堆叠数据,在所述第二待训练网络对所述第一样本堆叠数据进行第二处理得到订正后的第一样本数值天气预报数据,所述待训练数值天气预报订正模型输出所述订正后的第一样本数值天气预报数据。
所述待训练数值天气预报订正模型包括第一待训练网络和第二待训练网络。将所述第一样本预报关联数据输入所述待训练数值天气预报订正模型后,在所述第一待训练网络对所述第一样本数据进行第一处理得到第一样本中间数据,对所述第一样本中间数据和所述第二样本数据进行堆叠得到第一样本堆叠数据,在所述第二待训练网络对所述第一样本堆叠数据进行第二处理得到订正后的第一样本数值天气预报数据,所述待训练数值天气预报订正模型输出所述订正后的第一样本数值天气预报数据。
示例性地,所述第一待训练网络为三维卷积门循环单元(3D ConvolutionalGated Recurrent Unit,3D ConvGRU),所述3DConvGRU包括串联的多个第一时间步单元,所述多个第一时间步单元是3DConvGRU在时间上的迭代展开。所述第二待训练网络为卷积门循环单元(Convolutional Gated Recurrent Unit,ConvGRU),所述ConvGRU包括串联的多个第二时间步单元,所述多个第二时间步单元是ConvGRU在时间上的迭代展开。
针对每个第一时间步单元,当前第一时间步单元的输入包括当前第一时间步单元对应日期的第一样本数据,当前第一时间步单元的输出包括当前第一时间步单元对应日期的第一样本中间数据。需要说明的是,当前第一时间步单元的输入还可以包括前一个第一时间步单元样本中间输出数据,当前第一时间步单元的输出还可以包括当前第一时间步单元的样本中间输出数据。
针对每个第二时间步单元,当前第二时间步单元的输入包括当前第二时间步单元对应日期的第一样本堆叠数据,当前第二时间步单元的输出包括当前第二时间步单元对应日期的订正后的第一样本数值天气预报数据;所述当前第二时间步单元对应日期的第一样本堆叠数据由当前第二时间步单元对应日期的第一样本中间数据与当前第二时间步单元对应日期的第二样本数据堆叠得到的。需要说明的是,当前第二时间步单元的输入还可以包括前一个第二时间步单元的样本中间输出数据,当前第二时间步单元的输出还可以包括当前第二时间步单元的样本中间输出数据。
示例性地,所述第一处理包括特征提取和维度压缩等处理,所述维度压缩包括在所述第一样本数据的第一维度或第二维度上进行压缩,以使所述第一样本中间数据为三维数据。所述第二处理包括特征提取等处理。
步骤103,在基于所述订正后的第一样本数值天气预报数据和所述第一实际天气数据确定训练完成后,得到所述数值天气预报订正模型。
示例性地,基于所述订正后的第一样本数值天气预报数据和所述第一实际天气数据可以计算模型训练的目标函数,在所述目标函数满足预设条件(比如小于预设阈值)的情况下,可以确定训练完成,将训练完成的模型作为数值天气预报订正模型。在训练未完成的情况下,可以调整模型的参数继续进行训练。
本申请实施例中的目标函数可以选用任意适用的目标函数,比如均方误差(MeanSquare Error,MSE)、交叉熵损失函数,等等,本实施例对此不做限制。
示例性地,目标函数可以选用MSE,MSE的计算公式如下:
一种可选实施方式中,还可以按照预设规则获取第二训练样本和所述数值天气预报订正模型,并利用所述第二训练样本对所述数值天气预报订正模型进行增量训练,以便对数值天气预报订正模型进行微调,进一步提高数值天气预报订正模型的准确度。
示例性地,预设规则可以为在每次进行数值天气预报订正之前进行增量训练,或者预设规则可以为定期进行增量训练,等等。
示例性地,所述第二训练样本可以从历史数据存档中获取。历史数据存档还可以包括历史回算数据等等。其中历史回算数据可以包括历史同一日期的实际天气数据等。所述第二训练样本可以基于当前日期的历史同一日期对应的历史数据(也即上述的历史数据存档)获取得到。比如,当前日期为12月1日,则第二训练样本可以基于之前至少一年中12月1日的相关历史数据获取。
所述第二训练样本可以包括第二样本数值天气预报数据对应的第二样本预报关联数据,以及所述第二样本数值天气预报数据对应的第二实际天气数据,所述第二样本预报关联数据包括第三样本数据和第四样本数据。所述第二样本数值天气预报数据可以从历史数据存档中的NWP数据存档获取。所述第二样本数值天气预报数据对应的第二样本预报关联数据,可以从历史数据存档中的NWP数据存档和历史回算数据中获取。所述第二样本数值天气预报数据对应的第二实际天气数据,可以从历史数据存档中的历史回算数据中获取。
比如,当前日期为12月1日,需要预报的是12月2日至12月8日的天气数据,则所述第二样本数值天气预报数据包括当前日期之前至少一年的12月2日至12月8日的数值天气预报数据;所述第二样本数值天气预报数据对应的第二样本预报关联数据包括当前日期之前至少一年的12月2日之前的至少一日的实际天气数据,当前日期之前至少一年的12月2日的实际天气数据,以及当前日期之前至少一年的12月2日至12月8日的数值天气预报数据;所述第二样本数值天气预报数据对应的第二实际天气数据包括当前日期之前至少一年的12月2日至12月8日的实际天气数据。
利用所述第二训练样本对所述数值天气预报订正模型进行增量训练的过程可以包括以下步骤B1~步骤B2:
步骤B1,将所述第二样本预报关联数据输入所述数值天气预报订正模型,在第一网络对所述第三样本数据进行第一处理得到第二样本中间数据,对所述第二样本中间数据和所述第四样本数据进行堆叠得到第二样本堆叠数据,在第二网络对所述第二样本堆叠数据进行第二处理得到订正后的第二样本数值天气预报数据,所述数值天气预报订正模型输出所述订正后的第二样本数值天气预报数据。
步骤B2,在基于所述订正后的第二样本数值天气预报数据和所述第二实际天气数据确定训练完成后,得到增量训练后的数值天气预报订正模型。
对于增量训练的过程与上述模型训练的过程基本相似,具体可以参照上述对模型训练过程的相关描述,本实施例在此不再详细论述。
参照图2,示出了本申请实施例的一种数值天气预报订正方法的流程图。
如图2所示,数值天气预报订正方法可以包括以下步骤:
步骤201,获取待订正数值天气预报数据对应的预报关联数据和预先训练的数值天气预报订正模型。
所述待订正数值天气预报数据可以包括所述待订正数值天气预报数据对应的启报日期之后的至少一日的数值天气预报数据。
所述待订正数值天气预报数据对应的预报关联数据可以包括所述待订正数值天气预报数据,所述待订正数值天气预报数据对应的启报日期的实际天气数据,以及所述待订正数值天气预报数据对应的启报日期之前的至少一日的实际天气数据。
所述预报关联数据包括第一数据和第二数据。
所述第一数据是四维数据,所述第一数据包括等压层数、第一物理要素、经度和纬度四个维度,对于维度的顺序不做限制。其中,等压层数包括多个不同等压层数的压强,第一物理要素可以包括但不限于:垂直速度、压力、V风(垂直方向也即经度方向的风速)、U风(水平方向也即纬度方向的风速)、温度、湿度,等等。
所述第一数据包括顺序排列的多个日期的第一数据,所述多个日期包括启报日期之前的至少一日、所述启报日期和所述启报日期之后的至少一日。其中,顺序排列是指按照日期从前往后的顺序排列。
所述第二数据是三维数据,所述第二数据包括第二物理要素、经度和纬度三个维度,对于维度的顺序不做限制。其中,第二物理要素可以包括但不限于:降雨量、地表湿度、10m V风、10m U风、2m平均气温,等等。
所述第二数据包括顺序排列的所述多个日期的第二数据,所述多个日期包括启报日期之前的至少一日、所述启报日期和所述启报日期之后的至少一日。其中,顺序排列是指按照日期从前往后的顺序排列。
所述第一数据的最后两个维度与所述第二数据的最后两个维度相同。比如上述第一数据的第三维度与第二数据的第二维度均为经度,第一数据的第四维度与第二数据的第三维度均为经度。
步骤202,将所述预报关联数据输入所述数值天气预报订正模型,在所述第一网络对所述第一数据进行第一处理得到中间数据,对所述中间数据和所述第二数据进行堆叠得到堆叠数据,在所述第二网络对所述堆叠数据进行第二处理得到订正后的数值天气预报数据,所述数值天气预报订正模型输出所述订正后的数值天气预报数据。
需要说明的是,对于上述的预报关联数据进行Z-Score标准化之后,再输入数值天气预报订正模型。
所述数值天气预报订正模型包括第一网络和第二网络。将所述预报关联数据输入所述数值天气预报订正模型之后,在所述第一网络对所述第一数据进行第一处理得到中间数据,对所述中间数据和所述第二数据进行堆叠得到堆叠数据,在所述第二网络对所述堆叠数据进行第二处理得到订正后的数值天气预报数据,所述数值天气预报订正模型输出所述订正后的数值天气预报数据。
示例性地,所述第一网络为3DConvGRU,所述3DConvGRU包括串联的多个第一时间步单元,所述第二网络为ConvGRU,所述ConvGRU包括串联的多个第二时间步单元。
针对每个第一时间步单元,当前第一时间步单元的输入包括当前第一时间步单元对应日期的第一数据,当前第一时间步单元的输出包括当前第一时间步单元对应日期的中间数据。需要说明的是,当前第一时间步单元的输入还可以包括前一个第一时间步单元的中间输出数据,当前第一时间步单元的输出还可以包括当前第一时间步单元的中间输出数据。
针对每个第二时间步单元,当前第二时间步单元的输入包括当前第二时间步单元对应日期的堆叠数据,当前第二时间步单元的输出包括当前第二时间步单元对应日期的订正后的数值天气预报数据;所述当前第二时间步单元对应日期的堆叠数据由当前第二时间步单元对应日期的中间数据与当前第二时间步单元对应日期的第二数据堆叠得到的。需要说明的是,当前第二时间步单元的输入还可以包括前一个第二时间步单元的中间输出数据,当前第二时间步单元的输出还可以包括当前第二时间步单元的中间输出数据。
示例性地,所述第一处理包括特征提取和维度压缩等处理,所述维度压缩包括在所述第一数据的第一维度或第二维度上进行压缩,以使所述中间数据为三维数据。所述第二处理包括特征提取等处理。
需要说明的是,第一时间步单元和第二时间步单元与多个日期对齐,也即第一个第一时间步单元对应的日期为多个日期中的第一日,第一个第二时间步单元对应的日期为多个日期中的第一日,以此类推。
所述订正后的数值天气预报数据为三维数据,所述订正后的数值天气预报数据包括目标物理要素、经度和纬度三个维度。其中,目标物理要素可以包括上述第二物理要素中的至少一个。
本申请实施例中,能够预先训练数值天气预报订正模型,利用该数值天气预报订正模型对NWP系统的数值天气预报数据进行进一步地订正,从而降低NWP系统数值天气预报数据的误差,提高数值天气预报数据的准确性。
参照图3,示出了本申请实施例的一种整体处理过程的示意图。
如图3所示,整体处理过程可以包括:从气象中心获取历史数据存档;收集NWP数据存档,对数据进行Z-Score标准化,得到数据集A;收集再分析资料存档,对数据进行Z-Score标准化,得到数据集B;对数据集A和数据集B进行日期对齐,得到数据集C;利用数据集C进行模型训练,得到数值天气预报订正模型;收集历史回算数据与对应的NWP数据存档,对数据进行Z-Score标准化,与数据集B进行日期对齐;对数值天气预报订正模型进行增量训练,得到参数微调的数值天气预报订正模型(也即增量训练后的数值天气预报订正模型);对实时数值天气预报数据进行Z-Score标准化;利用参数微调的数值天气预报订正模型对标准化后的实时数值天气预报数据进行后处理预报(也即订正)。
参照图4,示出了本申请实施例的一种数值天气预报订正模型的结构示意图。图4中的3DConvGRU表示3DConvGRU中的第一时间步单元,ConvGRU表示ConvGRU中的第二时间步单元。需要说明的是,图4所示的结构只是用于举例说明,并不作为对数值天气预报订正模型具体结构的限制。比如在实际应用中,第一时间步单元、第二时间步单元的数量可以根据实际情况设置。
如图4所示,串联的多个第一时间步单元构成第一网络3DConvGRU,串联的多个第二时间步单元构成第二网络ConvGRU。启报日期为t,启报日期的前一日为t-1,启报日期的前两日为t-2,启报日期的后一日为t+1。
对于3DConvGRU中的第一时间步单元,、、、(相当于上述实施例中的第一数据、第一样本数据、第三样本数据)是四维数据,每个维度分别表示等压层数、物理要素(相当于上述的第一物理要素,包括垂直速度、压力、V风、U风、温度、湿度)、经度和纬度。、、、输入到第一时间步单元,第一时间步单元的三维卷积核在垂直方向和水平方向上滑动,提取多层物理要素的三维空间特征,并进行维度压缩(比如在等压层数维度进行压缩),输出三维数据、、、(相当于上述实施例中的中间数据、第一样本中间数据、第二样本中间数据)。并且第一时间步单元还输出中间输出数据、、(相当于上述实施例中第一时间步单元的中间输出数据)。
、、、(相当于上述实施例中的第二数据、第二样本数据、第四样本数据)是三维数据,每个维度分别表示物理要素(相当于上述的第二物理要素,包括降雨量、地表湿度、10m V风、10m U风、2m平均气温)、经度和纬度。三维数据、、、与三维数据、、、在通道上进行对应拼接(也即堆叠),具体地与拼接,与拼接,与拼接,与拼接,得到堆叠数据。
对于ConvGRU中的第二时间步单元,堆叠数据输入到第二时间步单元,第二时间步单元的二维卷积核在水平方向上滑动,提取多个单层物理要素的空间特征,输出三维数据(相当于上述实施例中的订正后的数值天气预报数据、订正后的第一样本数值天气预报数据、订正后的第二样本数值天气预报数据,在实际应用中也可以输出、、、)。并且第二时间步单元还输出中间输出数据、、(相当于上述实施例中第二时间步单元的中间输出数据)。图4中包含订正后的降雨量和2m平均气温,通道数为2,在实际应用中可以根据实际需求,增加其他订正目标,并不限于降雨量和2m平均气温,通道数随之改变。
在图4中,第一时间步单元和第二时间步单元的迭代从启报日期t的前n天开始,则模型的前置输入是的再分析资料,即通过前n的历史大气信息,初始化第一时间步单元和第二时间步单元的状态,就具备真实意义的时间和空间信息,避免了数值天气预报订正模型在时间t后的若干次迭代的效果较差。
参照图5,示出了本申请实施例的一种ConvGRU的结构示意图。3DConvGRU的结构与ConvGRU基本一致。
如图5所示,在ConvGRU中,存在三个卷积层操作,但和可通过使用同一个卷积层(“卷积1”)的输出张量的通道分裂得到。由于和的通道数相同,“卷积1”和“卷积2”的输出通道数都是相同,但“卷积1”的输入通道数是“卷积2”的两倍。考虑到、和的空间经纬格点相同,为保持卷积后的空间大小不变化,网络的卷积层的卷积核步长为(ConvGRU)或(3DGConvGRU),同时使用0在卷积前进行边缘填充。如果实际情况下,输出的空间区域小于并在输入空间区域内部,可以适当去掉某些卷积层的“0-边缘填充”。
本申请实施例中的数值天气预报订正模型融合了卷积和GRU,卷积负责提取每个时间的NWP空间特征,GRU负责提取时间特征。使用两种神经网络:ConvGRU和3DConvGRU,ConvGRU和3DConvGRU在第步的运算都可以表示为:
其中,为重置门,为更新门,为候选门(记忆状态),为中间输出数据,为输入,为输出,是Sigmod函数,是Hadamard乘积(哈达玛乘积),是卷积运算,表示将数据在通道上堆叠。对于ConvGRU,是二维卷积;对于3DConvGRU,是三维卷积。
本申请实施例中,采用3DConvGRU和ConvGRU堆叠的架构。第一阶段,3DConvGRU提取多个物理要素在三维空间信息和时间信息;第二阶段,ConvGRU中编码单层数据,包含气温、降水,同时利用了第一阶段的抽象特征。降水预报与温度、湿度、风速、风向和气压在不同层之间的变化息息相关,第一阶段的作用正是提取这些变化特征。
本申请实施例具备以下优点:
1、可获取时间信息、立体空间信息。输入数据是高维的时空数据,包含时间、经度、纬度和等压层数。卷积算子可以提取平面空间信息,也可以提取垂直方向的空间信息。基于GRU的循环神经网络架构可以提取这些空间信息随时间的变化。
2、同时对多个物理要素进行后处理。输入数据包含多种物理要素,作为预报因子,有单层和多层的物理要素。输出数据包含多个目标要素,例如气温、降水。
3、处理方便。直接将NWP的数据做标准化之后,保持其原有数据形状即可输入到本网络中,无需进行额外的特征变换。
4、误差小。使用到多种要素,并充分利用三维空间信息和时间序列信息,模型能学习到更多特征的非线性关系,是的模型对NWP的后处理能力更强。
5、增量训练。如果NWP产生实时预报的同时,还产生相同日期的历史回算数据,可以利用历史回算数据对模型进行增量训练的微调,然后用于对实时预报的微调,避免模型在新的数据上的订正效果出现退化。
参照图6,示出了本申请实施例的一种数值天气预报订正装置的结构框图。
如图6所示,数值天气预报订正装置可以包括以下模块:
第一获取模块601,用于获取待订正数值天气预报数据对应的预报关联数据和预先训练的数值天气预报订正模型;所述预报关联数据包括第一数据和第二数据,所述数值天气预报订正模型包括第一网络和第二网络;
订正模块602,用于将所述预报关联数据输入所述数值天气预报订正模型,在所述第一网络对所述第一数据进行第一处理得到中间数据,对所述中间数据和所述第二数据进行堆叠得到堆叠数据,在所述第二网络对所述堆叠数据进行第二处理得到订正后的数值天气预报数据,所述数值天气预报订正模型输出所述订正后的数值天气预报数据。
可选地,所述第一数据是四维数据,所述第二数据是三维数据,所述第一数据的最后两个维度与所述第二数据的最后两个维度相同;所述第一处理包括特征提取和维度压缩,所述维度压缩包括在所述第一数据的第一维度或第二维度上进行压缩,以使所述中间数据为三维数据。
可选地,所述第一数据包括等压层数、第一物理要素、经度和纬度四个维度;所述第二数据包括第二物理要素、经度和纬度三个维度;所述订正后的数值天气预报数据包括目标物理要素、经度和纬度三个维度,所述目标物理要素包括所述第二物理要素中的至少一个。
可选地,所述第一数据包括顺序排列的多个日期的第一数据,所述第二数据包括顺序排列的所述多个日期的第二数据;所述多个日期包括启报日期之前的至少一日、所述启报日期和所述启报日期之后的至少一日。
可选地,所述第一网络为三维卷积门循环单元3DConvGRU,所述3DConvGRU包括串联的多个第一时间步单元,所述第二网络为卷积门循环单元ConvGRU,所述ConvGRU包括串联的多个第二时间步单元;针对每个第一时间步单元,当前第一时间步单元的输入包括当前第一时间步单元对应日期的第一数据,当前第一时间步单元的输出包括当前第一时间步单元对应日期的中间数据;针对每个第二时间步单元,当前第二时间步单元的输入包括当前第二时间步单元对应日期的堆叠数据,当前第二时间步单元的输出包括当前第二时间步单元对应日期的订正后的数值天气预报数据;所述当前第二时间步单元对应日期的堆叠数据由当前第二时间步单元对应日期的中间数据与当前第二时间步单元对应日期的第二数据堆叠得到的。
可选地,所述数值天气预报订正模型通过如下模块训练得到:
第二获取模块,用于获取第一训练样本和待训练数值天气预报订正模型;所述第一训练样本包括第一样本数值天气预报数据对应的第一样本预报关联数据,以及所述第一样本数值天气预报数据对应的第一实际天气数据,所述第一样本预报关联数据包括第一样本数据和第二样本数据,所述待训练数值天气预报订正模型包括第一待训练网络和第二待训练网络;
第一训练模块,用于将所述第一样本预报关联数据输入所述待训练数值天气预报订正模型,在所述第一待训练网络对所述第一样本数据进行第一处理得到第一样本中间数据,对所述第一样本中间数据和所述第二样本数据进行堆叠得到第一样本堆叠数据,在所述第二待训练网络对所述第一样本堆叠数据进行第二处理得到订正后的第一样本数值天气预报数据,所述待训练数值天气预报订正模型输出所述订正后的第一样本数值天气预报数据;
在基于所述订正后的第一样本数值天气预报数据和所述第一实际天气数据确定训练完成后,得到所述数值天气预报订正模型。
可选地,所述装置还包括:第三获取模块,用于按照预设规则获取第二训练样本和所述数值天气预报订正模型;所述第二训练样本基于当前日期的历史同一日期对应的历史数据获取;第二训练模块,用于利用所述第二训练样本对所述数值天气预报订正模型进行增量训练。
本申请实施例中,能够预先训练数值天气预报订正模型,并利用该数值天气预报订正模型对NWP系统的数值天气预报数据进行进一步地订正,从而降低NWP系统数值天气预报数据的误差,提高数值天气预报数据的准确性。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在本申请的实施例中,还提供了一种电子设备。该电子设备可以包括一个或多个处理器,以及其上存储有指令的一个或多个计算机可读存储介质,指令例如应用程序。当所述指令由所述一个或多个处理器执行时,使得所述处理器执行上述任一实施例的数值天气预报订正方法。
参照图7,示出了本申请实施例的一种电子设备结构的示意图。如图7所示,电子设备包括处理器701、通信接口702、存储器703和通信总线704。其中,处理器701,通信接口702,存储器703通过通信总线704完成相互间的通信。
存储器703,用于存放计算机程序。
处理器701,用于执行存储器703上所存放的程序时,实现上述任一实施例的数值天气预报订正方法。
通信接口702用于上述电子设备与其他设备之间的通信。
上述提到的通信总线704可以是外设部件互连标准(PeripheralComponentInterconnect,简称PCI)总线或扩展工业标准结构(ExtendedIndustry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
上述提到的处理器701可以包括但不限于:中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)、数字信号处理器(DigitalSignal Processing,简称DSP)、专用集成电路(Application SpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-ProgrammableGate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,等等。
上述提到的存储器703可以包括但不限于:只读存储器(ReadOnly Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、光盘只读储存器(CompactDiscRead Only Memory,简称CD-ROM)、电可擦可编程只读存储器(ElectronicErasableProgrammable Read Only Memory,简称EEPROM)、硬盘、软盘、闪存,等等。
在本申请的实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序可由电子设备的处理器执行,当所述计算机程序被处理器执行时,使得所述处理器执行如上任一实施例所述的数值天气预报订正方法。
本说明书中的各个实施例是相互关联的,各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM、RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
本领域普通技术人员可以意识到,结合本申请实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。综上所述,本说明书内容不应理解为对本申请的限制。
Claims (15)
1.一种数值天气预报订正方法,其特征在于,所述方法包括:
获取待订正数值天气预报数据对应的预报关联数据和预先训练的数值天气预报订正模型;所述预报关联数据包括第一数据和第二数据,所述数值天气预报订正模型包括第一网络和第二网络;
将所述预报关联数据输入所述数值天气预报订正模型,在所述第一网络对所述第一数据进行第一处理得到中间数据,对所述中间数据和所述第二数据进行堆叠得到堆叠数据,在所述第二网络对所述堆叠数据进行第二处理得到订正后的数值天气预报数据,所述数值天气预报订正模型输出所述订正后的数值天气预报数据。
2.根据权利要求1所述的方法,其特征在于,
所述第一数据是四维数据,所述第二数据是三维数据,所述第一数据的最后两个维度与所述第二数据的最后两个维度相同;
所述第一处理包括特征提取和维度压缩,所述维度压缩包括在所述第一数据的第一维度或第二维度上进行压缩,以使所述中间数据为三维数据。
3.根据权利要求1所述的方法,其特征在于,
所述第一数据包括等压层数、第一物理要素、经度和纬度四个维度;
所述第二数据包括第二物理要素、经度和纬度三个维度;
所述订正后的数值天气预报数据包括目标物理要素、经度和纬度三个维度,所述目标物理要素包括所述第二物理要素中的至少一个。
4.根据权利要求1所述的方法,其特征在于,
所述第一数据包括顺序排列的多个日期的第一数据,所述第二数据包括顺序排列的所述多个日期的第二数据;
所述多个日期包括启报日期之前的至少一日、所述启报日期和所述启报日期之后的至少一日。
5.根据权利要求4所述的方法,其特征在于,
所述第一网络为三维卷积门循环单元3DConvGRU,所述3DConvGRU包括串联的多个第一时间步单元,所述第二网络为卷积门循环单元ConvGRU,所述ConvGRU包括串联的多个第二时间步单元;
针对每个第一时间步单元,当前第一时间步单元的输入包括当前第一时间步单元对应日期的第一数据,当前第一时间步单元的输出包括当前第一时间步单元对应日期的中间数据;
针对每个第二时间步单元,当前第二时间步单元的输入包括当前第二时间步单元对应日期的堆叠数据,当前第二时间步单元的输出包括当前第二时间步单元对应日期的订正后的数值天气预报数据;所述当前第二时间步单元对应日期的堆叠数据由当前第二时间步单元对应日期的中间数据与当前第二时间步单元对应日期的第二数据堆叠得到的。
6.根据权利要求1所述的方法,其特征在于,所述数值天气预报订正模型通过如下方式训练得到:
获取第一训练样本和待训练数值天气预报订正模型;所述第一训练样本包括第一样本数值天气预报数据对应的第一样本预报关联数据,以及所述第一样本数值天气预报数据对应的第一实际天气数据,所述第一样本预报关联数据包括第一样本数据和第二样本数据,所述待训练数值天气预报订正模型包括第一待训练网络和第二待训练网络;
将所述第一样本预报关联数据输入所述待训练数值天气预报订正模型,在所述第一待训练网络对所述第一样本数据进行第一处理得到第一样本中间数据,对所述第一样本中间数据和所述第二样本数据进行堆叠得到第一样本堆叠数据,在所述第二待训练网络对所述第一样本堆叠数据进行第二处理得到订正后的第一样本数值天气预报数据,所述待训练数值天气预报订正模型输出所述订正后的第一样本数值天气预报数据;
在基于所述订正后的第一样本数值天气预报数据和所述第一实际天气数据确定训练完成后,得到所述数值天气预报订正模型。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
按照预设规则获取第二训练样本和所述数值天气预报订正模型;所述第二训练样本基于当前日期的历史同一日期对应的历史数据获取;
利用所述第二训练样本对所述数值天气预报订正模型进行增量训练。
8.一种数值天气预报订正装置,其特征在于,所述装置包括:
第一获取模块,用于获取待订正数值天气预报数据对应的预报关联数据和预先训练的数值天气预报订正模型;所述预报关联数据包括第一数据和第二数据,所述数值天气预报订正模型包括第一网络和第二网络;
订正模块,用于将所述预报关联数据输入所述数值天气预报订正模型,在所述第一网络对所述第一数据进行第一处理得到中间数据,对所述中间数据和所述第二数据进行堆叠得到堆叠数据,在所述第二网络对所述堆叠数据进行第二处理得到订正后的数值天气预报数据,所述数值天气预报订正模型输出所述订正后的数值天气预报数据。
9.根据权利要求8所述的装置,其特征在于,
所述第一数据是四维数据,所述第二数据是三维数据,所述第一数据的最后两个维度与所述第二数据的最后两个维度相同;
所述第一处理包括特征提取和维度压缩,所述维度压缩包括在所述第一数据的第一维度或第二维度上进行压缩,以使所述中间数据为三维数据。
10.根据权利要求8所述的装置,其特征在于,
所述第一数据包括等压层数、第一物理要素、经度和纬度四个维度;
所述第二数据包括第二物理要素、经度和纬度三个维度;
所述订正后的数值天气预报数据包括目标物理要素、经度和纬度三个维度,所述目标物理要素包括所述第二物理要素中的至少一个。
11.根据权利要求8所述的装置,其特征在于,
所述第一数据包括顺序排列的多个日期的第一数据,所述第二数据包括顺序排列的所述多个日期的第二数据;
所述多个日期包括启报日期之前的至少一日、所述启报日期和所述启报日期之后的至少一日。
12.根据权利要求11所述的装置,其特征在于,
所述第一网络为三维卷积门循环单元3DConvGRU,所述3DConvGRU包括串联的多个第一时间步单元,所述第二网络为卷积门循环单元ConvGRU,所述ConvGRU包括串联的多个第二时间步单元;
针对每个第一时间步单元,当前第一时间步单元的输入包括当前第一时间步单元对应日期的第一数据,当前第一时间步单元的输出包括当前第一时间步单元对应日期的中间数据;
针对每个第二时间步单元,当前第二时间步单元的输入包括当前第二时间步单元对应日期的堆叠数据,当前第二时间步单元的输出包括当前第二时间步单元对应日期的订正后的数值天气预报数据;所述当前第二时间步单元对应日期的堆叠数据由当前第二时间步单元对应日期的中间数据与当前第二时间步单元对应日期的第二数据堆叠得到的。
13.根据权利要求8所述的装置,其特征在于,所述数值天气预报订正模型通过如下模块训练得到:
第二获取模块,用于获取第一训练样本和待训练数值天气预报订正模型;所述第一训练样本包括第一样本数值天气预报数据对应的第一样本预报关联数据,以及所述第一样本数值天气预报数据对应的第一实际天气数据,所述第一样本预报关联数据包括第一样本数据和第二样本数据,所述待训练数值天气预报订正模型包括第一待训练网络和第二待训练网络;
第一训练模块,用于将所述第一样本预报关联数据输入所述待训练数值天气预报订正模型,在所述第一待训练网络对所述第一样本数据进行第一处理得到第一样本中间数据,对所述第一样本中间数据和所述第二样本数据进行堆叠得到第一样本堆叠数据,在所述第二待训练网络对所述第一样本堆叠数据进行第二处理得到订正后的第一样本数值天气预报数据,所述待训练数值天气预报订正模型输出所述订正后的第一样本数值天气预报数据;
在基于所述订正后的第一样本数值天气预报数据和所述第一实际天气数据确定训练完成后,得到所述数值天气预报订正模型。
14.一种电子设备,其特征在于,包括:
一个或多个处理器;和
其上存储有指令的一个或多个计算机可读存储介质;
当所述指令由所述一个或多个处理器执行时,使得所述处理器执行如权利要求1至7任一项所述的数值天气预报订正方法。
15.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7任一项所述的数值天气预报订正方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310050244.XA CN115796394B (zh) | 2023-02-01 | 2023-02-01 | 数值天气预报订正方法、装置、电子设备及存储介质 |
PCT/CN2023/140380 WO2024159966A1 (zh) | 2023-02-01 | 2023-12-20 | 数值天气预报订正方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310050244.XA CN115796394B (zh) | 2023-02-01 | 2023-02-01 | 数值天气预报订正方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115796394A true CN115796394A (zh) | 2023-03-14 |
CN115796394B CN115796394B (zh) | 2023-06-23 |
Family
ID=85429441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310050244.XA Active CN115796394B (zh) | 2023-02-01 | 2023-02-01 | 数值天气预报订正方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115796394B (zh) |
WO (1) | WO2024159966A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024159966A1 (zh) * | 2023-02-01 | 2024-08-08 | 天翼云科技有限公司 | 数值天气预报订正方法、装置、电子设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180038994A1 (en) * | 2016-08-02 | 2018-02-08 | International Business Machines Corporation | Techniques to Improve Global Weather Forecasting Using Model Blending and Historical GPS-RO Dataset |
CN109447260A (zh) * | 2018-10-08 | 2019-03-08 | 中国人民解放军空军研究院战场环境研究所 | 一种基于深度学习的局地数值天气预报产品订正方法 |
CN111708030A (zh) * | 2020-05-28 | 2020-09-25 | 深圳市气象局(深圳市气象台) | 基于能量生成对抗性预测器的灾害天气预报方法 |
CN111723929A (zh) * | 2020-05-08 | 2020-09-29 | 广州华工中云信息技术有限公司 | 一种基于神经网络的数值预报产品订正方法、装置和系统 |
US20210103051A1 (en) * | 2019-10-04 | 2021-04-08 | International Business Machines Corporation | Predicting weather radar images |
CN112684520A (zh) * | 2020-12-30 | 2021-04-20 | 北京墨迹风云科技股份有限公司 | 一种气象预报的订正方法、装置、计算机设备及存储介质 |
CN113962433A (zh) * | 2021-09-10 | 2022-01-21 | 国网江苏省电力有限公司电力科学研究院 | 一种融合因果卷积与可分离时间卷积的风电预测方法及系统 |
CN114091764A (zh) * | 2021-11-24 | 2022-02-25 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 气象预报要素订正方法、装置、计算机设备和存储介质 |
WO2022165602A1 (en) * | 2021-02-04 | 2022-08-11 | Huawei Technologies Co., Ltd. | Method, system and computer readable medium for probabilistic spatiotemporal forecasting |
WO2022175337A1 (en) * | 2021-02-17 | 2022-08-25 | Deepmind Technologies Limited | Nowcasting using generative neural networks |
CN115358151A (zh) * | 2022-08-25 | 2022-11-18 | 兰州大学 | 一种数值天气预报近地层风速产品的订正方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115796394B (zh) * | 2023-02-01 | 2023-06-23 | 天翼云科技有限公司 | 数值天气预报订正方法、装置、电子设备及存储介质 |
-
2023
- 2023-02-01 CN CN202310050244.XA patent/CN115796394B/zh active Active
- 2023-12-20 WO PCT/CN2023/140380 patent/WO2024159966A1/zh unknown
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180038994A1 (en) * | 2016-08-02 | 2018-02-08 | International Business Machines Corporation | Techniques to Improve Global Weather Forecasting Using Model Blending and Historical GPS-RO Dataset |
CN109447260A (zh) * | 2018-10-08 | 2019-03-08 | 中国人民解放军空军研究院战场环境研究所 | 一种基于深度学习的局地数值天气预报产品订正方法 |
US20210103051A1 (en) * | 2019-10-04 | 2021-04-08 | International Business Machines Corporation | Predicting weather radar images |
CN111723929A (zh) * | 2020-05-08 | 2020-09-29 | 广州华工中云信息技术有限公司 | 一种基于神经网络的数值预报产品订正方法、装置和系统 |
CN111708030A (zh) * | 2020-05-28 | 2020-09-25 | 深圳市气象局(深圳市气象台) | 基于能量生成对抗性预测器的灾害天气预报方法 |
CN112684520A (zh) * | 2020-12-30 | 2021-04-20 | 北京墨迹风云科技股份有限公司 | 一种气象预报的订正方法、装置、计算机设备及存储介质 |
WO2022165602A1 (en) * | 2021-02-04 | 2022-08-11 | Huawei Technologies Co., Ltd. | Method, system and computer readable medium for probabilistic spatiotemporal forecasting |
WO2022175337A1 (en) * | 2021-02-17 | 2022-08-25 | Deepmind Technologies Limited | Nowcasting using generative neural networks |
CN113962433A (zh) * | 2021-09-10 | 2022-01-21 | 国网江苏省电力有限公司电力科学研究院 | 一种融合因果卷积与可分离时间卷积的风电预测方法及系统 |
CN114091764A (zh) * | 2021-11-24 | 2022-02-25 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 气象预报要素订正方法、装置、计算机设备和存储介质 |
CN115358151A (zh) * | 2022-08-25 | 2022-11-18 | 兰州大学 | 一种数值天气预报近地层风速产品的订正方法 |
Non-Patent Citations (3)
Title |
---|
张雪薇 等: "基于ConvGRU深度学习网络模型的海表面温度预测" * |
王婷 等: "短临降水预报方法及其应用研究综述" * |
陈昱文 等: "基于ECMWF产品的站点气温预报集成学习误差订正" * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024159966A1 (zh) * | 2023-02-01 | 2024-08-08 | 天翼云科技有限公司 | 数值天气预报订正方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2024159966A1 (zh) | 2024-08-08 |
CN115796394B (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112380098B (zh) | 一种时序异常检测方法、装置、计算机设备及存储介质 | |
Lam et al. | GraphCast: Learning skillful medium-range global weather forecasting | |
Hou et al. | Prediction of hourly air temperature based on CNN–LSTM | |
CN111784041B (zh) | 一种基于图卷积神经网络的风电功率预测方法及系统 | |
CN110874550A (zh) | 数据处理方法、装置、设备和系统 | |
CN113011106B (zh) | 一种多数值模式集成预报方法及装置 | |
CN112748483B (zh) | 一种基于深度学习的气温预报偏差订正方法及装置 | |
CN111639607A (zh) | 模型训练、图像识别方法和装置、电子设备及存储介质 | |
CN115936180A (zh) | 光伏发电功率预测方法、装置和计算机设备 | |
Park et al. | Missing-insensitive short-term load forecasting leveraging autoencoder and LSTM | |
WO2024159966A1 (zh) | 数值天气预报订正方法、装置、电子设备及存储介质 | |
CN116993537A (zh) | 一种基于串行gru自编码器的电力负荷异常检测方法及系统 | |
CN114169649A (zh) | 一种基于时空数据嵌入的交通流量预测方法 | |
CN114819289A (zh) | 预测方法、训练方法、装置、电子设备及存储介质 | |
CN116844041A (zh) | 一种基于双向卷积时间自注意力机制的耕地提取方法 | |
CN112561133A (zh) | 一种基于神经网络的水流量预测系统和方法 | |
CN115016965A (zh) | 计量自动化主站的故障检测方法、装置、设备及存储介质 | |
CN112990354B (zh) | 一种构建用于风速预测的深度卷积回归网络的方法及装置 | |
CN117233869B (zh) | 一种基于GRU-BiTCN的站点短期风速预测方法 | |
CN116523145B (zh) | 光伏功率超短期预测方法、装置、计算机设备及存储介质 | |
CN116826734A (zh) | 一种基于多输入模型的光伏发电功率预测方法及装置 | |
CN116706907A (zh) | 基于模糊推理的光伏发电预测方法和相关设备 | |
CN116565851A (zh) | 基于聚类算法的风电场功率预测方法、装置、设备和介质 | |
CN117154680A (zh) | 一种基于非平稳Transformer模型的风电功率预测方法 | |
Bosma et al. | Estimating solar and wind power production using computer vision deep learning techniques on weather maps |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder | ||
CP02 | Change in the address of a patent holder |
Address after: 100007 room 205-32, floor 2, building 2, No. 1 and No. 3, qinglonghutong a, Dongcheng District, Beijing Patentee after: Tianyiyun Technology Co.,Ltd. Address before: 100093 Floor 4, Block E, Xishan Yingfu Business Center, Haidian District, Beijing Patentee before: Tianyiyun Technology Co.,Ltd. |