CN111931991A - 气象临近预报方法、装置、计算机设备和存储介质 - Google Patents
气象临近预报方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111931991A CN111931991A CN202010674180.7A CN202010674180A CN111931991A CN 111931991 A CN111931991 A CN 111931991A CN 202010674180 A CN202010674180 A CN 202010674180A CN 111931991 A CN111931991 A CN 111931991A
- Authority
- CN
- China
- Prior art keywords
- model
- nowcasting
- sample set
- radar echo
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 99
- 230000007246 mechanism Effects 0.000 claims abstract description 31
- 230000006870 function Effects 0.000 claims description 78
- 238000013136 deep learning model Methods 0.000 claims description 45
- 238000004590 computer program Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 22
- 238000012546 transfer Methods 0.000 claims description 11
- 238000013508 migration Methods 0.000 abstract description 18
- 230000005012 migration Effects 0.000 abstract description 18
- 238000013459 approach Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Abstract
本申请涉及一种气象临近预报方法、装置、计算机设备和存储介质，计算机设备获取目标区域的雷达回波图；然后，将雷达回波图输入临近预报模型，获得目标区域的气象临近预报数据；其中，上述临近预报模型为根据目标区域的区域样本集对基模型进行迁移训练获得的；上述基模型为采用元学习机制和通用样本集训练获得的；上述区域样本集以及通用样本集中均包括历史雷达回波图以及历史雷达回波图对应的临近预报结果。采用上述方法可以提升气象临近预报的准确度，以及提升临近预报模型的快速学习能力。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种气象临近预报方法、装置、计算机设备和存储介质。
背景技术
随着深度学习技术的发展，人工智能(Artificial Intelligence，简称AI)气象临近预报成为人们研究的热点，但不同地区的气象观测数据主要通过各地区分散的雷达进行采集，由于各地区气候差异巨大，使得不同地区的雷达回波图分布截然不同，对于采用人工智能进行气象临近预报来说仍然极具挑战。
传统方法中，计算机设备针对不同地区的历史雷达回波图进行模型训练，获得该地区的临近预报模型，并根据该模型对该地区进行气象临近预报。
但是，由于部分地区的雷达回波数据较少或者数据质量不高，导致获得的临近预报模型不够准确。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升气象临近预报准确度的气象临近预报方法、装置、计算机设备和存储介质。
一种气象临近预报方法，上述方法包括：
获取目标区域的雷达回波图；
将雷达回波图输入临近预报模型，获得目标区域的气象临近预报数据；临近预报模型为根据目标区域的区域样本集对基模型进行迁移训练获得的；基模型为采用元学习机制和通用样本集训练获得的；区域样本集以及通用样本集中均包括历史雷达回波图以及历史雷达回波图对应的临近预报结果。
在其中一个实施例中，上述方法还包括：
获取通用样本集以及区域样本集；
将通用样本集中的历史雷达回波图作为初始深度学习模型的输入，将通用样本集中的历史雷达回波图对应的临近预报结果作为初始模型的参考输出，采用元学习机制对初始深度学习模型进行训练，获得基模型；
将区域样本集中的历史雷达回波图作为基模型的输入，将区域样本集中的历史雷达回波图对应的临近预报结果作为基模型的参考输出，对基模型进行训练，获得临近预报模型。
在其中一个实施例中，上述对初始深度学习模型进行训练，获得基模型，包括：
基于第一损失函数对初始深度学习模型进行训练，获得基模型；第一损失函数包含模型参数的二阶导数。
在其中一个实施例中，上述基于第一损失函数对初始深度学习模型进行训练，获得基模型，包括：
将通用样本集分为第一数据集和第二数据集；
基于第一数据集和第一损失函数，训练初始深度学习模型，获得初始基模型；
基于第二数据集和第一损失函数，对初始基模型进行第一预设次数的参数迭代，获得基模型。
在其中一个实施例中，上述第一预设次数为5次。
在其中一个实施例中，上述第一损失函数为：
其中，θ为模型参数，DT为第T个样本数据，η为学习率。
在其中一个实施例中，上述对基模型进行训练，获得临近预报模型，包括：
基于第二损失函数对基模型进行训练，获得临近预报模型；第二损失函数包含模型参数的一阶导数。
在其中一个实施例中，上述基于第二损失函数对基模型进行训练，获得临近预报模型，包括：
基于第二损失函数，对基模型进行第二预设次数的参数迭代，获得临近预报模型。
在其中一个实施例中，上述第二预设次数大于等于5，且小于等于10。
在其中一个实施例中，上述第二损失函数为：
其中，θ*为基模型的参数，
为第T个区域样本基的样本数据，η为学习率。
在其中一个实施例中，上述临近预报模型为长短期记忆LSTM网络模型。
一种气象临近预报装置，上述装置包括：
获取模块，用于获取目标区域的雷达回波图；
输入模块，用于将雷达回波图输入临近预报模型，获得目标区域的气象临近预报数据；临近预报模型为根据目标区域的区域样本集对基模型进行迁移训练获得的；基模型为采用元学习机制和通用样本集训练获得的；区域样本集以及通用样本集中均包括历史雷达回波图以及历史雷达回波图对应的临近预报结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取目标区域的雷达回波图；
将雷达回波图输入临近预报模型，获得目标区域的气象临近预报数据；临近预报模型为根据目标区域的区域样本集对基模型进行迁移训练获得的；基模型为采用元学习机制和通用样本集训练获得的；区域样本集以及通用样本集中均包括历史雷达回波图以及历史雷达回波图对应的临近预报结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取目标区域的雷达回波图；
将雷达回波图输入临近预报模型，获得目标区域的气象临近预报数据；临近预报模型为根据目标区域的区域样本集对基模型进行迁移训练获得的；基模型为采用元学习机制和通用样本集训练获得的；区域样本集以及通用样本集中均包括历史雷达回波图以及历史雷达回波图对应的临近预报结果。
上述气象临近预报方法、装置、计算机设备和存储介质，计算机设备获取目标区域的雷达回波图；然后，将雷达回波图输入临近预报模型，获得目标区域的气象临近预报数据；其中，上述临近预报模型为根据目标区域的区域样本集对基模型进行迁移训练获得的；上述基模型为采用元学习机制和通用样本集训练获得的；上述区域样本集以及通用样本集中均包括历史雷达回波图以及历史雷达回波图对应的临近预报结果。由于上述临近预报模型为通过基模型快速迁移训练获得的，在迁移训练中需要的区域样本集的样本数量较少，对于样本数量较少或者样本数据质量不高的地区，可以提升临近预报模型的准确度；进一步地，由于上述基模型是采用元学习机制获得的，因此可以通过上述基模型快速迁移训练获得目标地区的临近预报模型，提升了临近预报模型的快速学习能力。
附图说明
图1为一个实施例中气象临近预报方法的应用环境图；
图2为一个实施例中气象临近预报方法的流程示意图；
图3为一个实施例中气象临近预报方法的示意图；
图4为另一个实施例中气象临近预报方法的流程示意图；
图5为另一个实施例中气象临近预报方法的流程示意图；
图6为一个实施例中气象临近预报装置的结构框图；
图7为另一个实施例中气象临近预报装置的结构框图；
图8为另一个实施例中气象临近预报装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的气象临近预报方法，可以应用于如图1所示的应用环境中。其中，计算机设备100与天气雷达200连接，根据天气雷达200采集的雷达回波图获取临近预报结果。其中，计算机设备100可以用独立的服务器或者是多个服务器组成的服务器集群来实现，天气雷达200可以是常规的脉冲雷达，也可以是多普勒雷达，在此不作限定。
在一个实施例中，如图2所示，提供了一种气象临近预报方法，以该方法应用于图1中的计算机设备100为例进行说明，包括：
S101、获取目标区域的雷达回波图。
其中，上述雷达回波图可以是目标区域的气象雷达对气象进行监测所采集的数据。气象雷达发射脉冲电磁波之后，上述脉冲电磁波可以被目标物(例如云雾、雨、需等降水粒子)散射或吸收；然后，气象雷达可以对回波脉冲进行监测获得雷达回波图，使得计算机设备可以根据雷达回波图进行气象临近预报。上述气象雷达可以是常规的脉冲雷达，也可以是多普勒雷达，在此不做限定。上述雷达回波图可以是由目标区域的地图与气象雷达的回波强度结合的雷达回波综合图，也可以是气象雷达的坐标系下的回波强度图，对于上述雷达回波图的类型在此不做限定。
上述目标区域可以是根据气象雷达分布特征划分的区域，还可以根据经纬度划分的区域，也可以是根据城市划分的区域，例如上述目标区域可以是城市A；对于上述目标区域的划分方式在此不做限定。
具体地，计算机设备可以通过与气象雷达的连接，获得气象雷达发送的雷达回波图；也可以是在雷达回拨图数据库调用目标区域的雷达回波图，对于上述雷达回波图的获取方式在此不做限定。
S102、将雷达回波图输入临近预报模型，获得目标区域的气象临近预报数据；临近预报模型为根据目标区域的区域样本集对基模型进行迁移训练获得的；基模型为采用元学习机制和通用样本集训练获得的；区域样本集以及通用样本集中均包括历史雷达回波图以及历史雷达回波图对应的临近预报结果。
其中，上述临近预报模型为根据目标区域的区域样本集对基模型进行迁移训练获得的。上述区域样本集可以包括上述目标区域中已采集到的历史雷达回波图，以及基于该历史雷达回波图获得的临近预报结果。上述区域样本集中的历史雷达回波图可以是该目标区域中一个时间段内采集的雷达回波图，例如城市A在4月至6月采集的雷达回波图；另外上述区域样本集中的历史雷达回波图也可以是该目标区域中部分天气类型对应的雷达回波图，例如气象临近预报结果为多云或少云天气对应的雷达回波图；另外还可以是对该目标区域中已采集的雷达回波图进行过滤筛选后获得了历史雷达回波图；在此不做限定。
上述基模型为采用元学习机制和通用样本集训练获得的。其中，元学习(MetaLearning)机制是指通过训练使得初始深度学习模型拥有学习的能力，可以达到快速学习的效果。计算机设备可以通过元学习机制将初始深度学习模型训练得到一个基模型，实现参数共享；然后可以在基模型的基础上迁移训练获得目标地区对应的临近预报模型，大大节约了模型训练时间，也就是说基模型是用于更快地逼近各个区域的临近预报模型的。上述元学习机制的实现方式有多种方式，可以采用预测梯度的方法，使得初始深度学习模型中神经网络的梯度下降更准确，以提升学习速度；还可以通过构造一个参数更新机制，使得初始深度学习模型中可以根据当前网络参数直接输出新的网络参数，实现快速学习；对于上述元学习机制的实现方式在此不做限定。
上述通用样本集中可以包含多个区域的历史雷达回波图，也可以为其中一个样本数量较多的区域的历史雷达回波图，还可以是样本质量较高的区域的历史雷达回波图，对于上述通用样本集的范围在此不做限定。例如，上述通用样本集可以包括城市B等10个城市的多个历史雷达回波图，计算机设备可以通过多个区域的历史雷达回波图获得基模型；或者，城市B的气象雷达建站时间较长，对应大量的历史雷达回波图，计算机设备也可以根据城市B的历史雷达回波图进行训练获得基模型；或者，城市C的气象雷达采集的数据质量较高，例如雷达噪声较小，数据完整性高等，计算机设备可以采用元学习机制和城市C的历史雷达回波图获得基模型。
计算机设备获得基模型之后，可以根据目标区域的区域样本集对基模型进行迁移训练获得目标区域的临近预报模型。具体地，计算机设备可以以基模型的参数为基础，根据目标区域的区域样本集对基模型进行训练，获得该目标区域的临近预报模型。以图3为例对上述迁移训练过程进行说明，可以用曲线函数简单标识一个临近预报模型，以区域A的区域样本集为训练样本，获得模型参数θ1对应的曲线A，以区域B的区域样本集为训练样本，获得模型参数θ2对应的曲线B，以区域3的区域样本集为训练样本，获得模型参数θ3对应的曲线C；对于模型参数θ1，可以基于区域1的历史雷达回波图获得该雷达回波图对应的临近预报结果，但是上述方法需要分别采用不同的区域样本集对模型训练，需要的样本数量较大，训练时间长。采用元学习机制，可以根据通用样本集获得基模型的模型参数θ，对应曲线M，上述曲线M可以是曲线A、曲线B等多个曲线对应的泛化函数曲线，可以快速逼近至各个区域对应的函数曲线。计算机设备可以在曲线M对应的基模型的基础上，采用区域A的区域样本集对基函数进行迁移训练，快速得到区域A的临近预报模型的模型参数θ1，类似地得到其它区域对应的临近预报模型的模型参数。
上述区域样本集以及通用样本集中，均包含历史雷达回波图对应的临近预报结果，上述临近预报结果，可以是多云天气、少云天气或者无云天气，还可以是降水量以及空气湿度等，对于上述临近预报结果的类型在此不做限定。相应地，计算机设备可以基于临近预报结果确定历史雷达回波图的标签，训练获得临近预报模型，使得临近预报模型可以根据目标区域的雷达回波图获得目标区域的临近预报数据。上述临近预报数据与历史雷达回波图的标签相关，可以是多云、少云或者无云等。
上述临近预报模型可以由三层网络构成，也可以由其它层数的网络构成，对于临近预报模型的网络结构在此不做限定。以一个具体的模型网络为例，临近预报模型可以包括4个下采样层，每个下采样层可以由步长为2的卷积层、批处理规范化层和ReLU层组成；在4个下采样层之后还可以包括1×1卷积层、全局平均池层和5个上采样层，每个上采样层可以由反褶积、BN层和ReLU层组成。上述卷积层可以用于对特征图进行降维和信道融合，上述卷积层的信道维数可以为128。可选地，上述临近预报模型可以是长短期记忆(Long Short-Term Memory,简称LSTM)网络模型。上述LSTM网络模型可以学习长期依赖信息，LSTM网络模型的模型参数更新方式类似于梯度下降的更新方式，可以使得该模型具备快速学习的能力。
具体地，计算机设备将雷达回波图输入临近预报模型时，可以将雷达回波图直接输入临近预报模型，也可以对雷达回波图先进行处理后再输入临近预报模型，对于上述输入方式在此不做限定。计算机设别对雷达回波图进行处理时，可以对雷达回波图进行降噪处理，也可以对相邻雷达回波图进行插帧处理，以获得更多雷达回波特征，对于上述处理方式在此不做限定。
上述气象临近预报方法，计算机设备获取目标区域的雷达回波图；然后，将雷达回波图输入临近预报模型，获得目标区域的气象临近预报数据；其中，上述临近预报模型为根据目标区域的区域样本集对基模型进行迁移训练获得的；上述基模型为采用元学习机制和通用样本集训练获得的；上述区域样本集以及通用样本集中均包括历史雷达回波图以及历史雷达回波图对应的临近预报结果。由于上述临近预报模型为通过基模型快速迁移训练获得的，在迁移训练中需要的区域样本集的样本数量较少，对于样本数量较少或者样本数据质量不高的地区，可以提升临近预报模型的准确度；进一步地，由于上述基模型是采用元学习机制获得的，因此可以通过上述基模型快速迁移训练获得目标地区的临近预报模型，提升了临近预报模型的快速学习能力。
图4为一个实施例中气象临近预报方法的流程示意图，本实施例涉及计算机设备获取临近预报模型的过程，在上述实施例的基础上，如图4所示，上述方法包括：
S201、获取通用样本集以及区域样本集。
S202、将通用样本集中的历史雷达回波图作为初始深度学习模型的输入，将通用样本集中的历史雷达回波图对应的临近预报结果作为初始深度学习模型的参考输出，采用元学习机制对初始深度学习模型进行训练，获得基模型。
计算机设备可以将通用样本集中的历史雷达回波图作为初始深度学习模型的输入，基于预设的损失函数采用元学习机制对初始深度学习模型进行训练，获得基模型。计算机设备在对初始深度学习模型进行训练时，可以以通用样本集中的历史雷达回波图对应的临近预报结果为参考，通过预设的损失函数，使得基模型输出的临近预报参考结果不是该历史雷达回波图对应的临近预报结果，而是与该临近预报结果相似的值；通过通用样本集中大量样本的训练，可以获得用于逼近各个地区的临近预报模型的基模型。
上述预设的损失函数可以为不同的函数形式，能得到用于逼近各地区的临近预报模型的基模型即可。可选地，上述预设的损失函数可以是第一损失函数，上述第一损失函数包含模型参数的二阶导数，计算机设备可以基于第一损失函数对初始深度学习模型进行训练，获得基模型。例如，上述第一损失函数可以是：
其中，θ为模型参数，DT为第T个样本数据，η为学习率。
具体地，计算机设备可以对通用样本集中的所有样本采用相同的训练方式获得基模型，也可以将通用样本集分成不同的集合，分阶段对初始深度学习模型进行训练，对于上述训练方式在此不做限定。
S203、将区域样本集中的历史雷达回波图作为基模型的输入，将区域样本集中的历史雷达回波图对应的临近预报结果作为基模型的参考输出，对基模型进行训练，获得临近预报模型。
进一步地，计算机设备在获得上述基模型的基础上，可以基于区域样本集对基模型进行迁移训练。计算机设别可以将区域样本集中的历史雷达回波图作为基模型的输入，将区域样本集中的历史雷达回波图对应的临近预报结果作为基模型的参考输出，对基模型进行训练，获得临近预报模型。
与S102中对目标区域的雷达回波图的输入方式类似，计算机设备将通用样本集中的历史雷达回波图输入初始深度学习模型之前，以及将区域样本集中的历史雷达回波图输入基模型之前，还可以对上述历史雷达回波图进行降噪或者插帧等处理。
上述气象临近预报方法，计算机设备采用元学习机制，基于通用样本集对初始深度学习模型进行训练获得基模型，从而可以以基模型中的模型参数为基础，采用区域样本集对基模型进行快速迁移训练，提升临近预报模型的快速学习能力。
图5为一个实施例中气象临近预报方法的流程示意图，本实施例涉及计算机设备获得基模型的一种方式，在上述实施例的基础上，如图5所示，上述S202包括：
S301、将通用样本集分为第一数据集和第二数据集。
计算机设备可以将通用样本集分为第一数据集和第二数据集，对初始深度学习模型分阶段训练。具体地，计算机设备可以对通用样本集中的历史雷达回波图进行随机分类，获得第一数据集和第二数据集；也可以根据训练需求，在通用样本集中选择部分样本组成第二数据集，对于上述分类方式在此不做限定。
计算机设备在获得目标区域的临近预报模型时，可以将通用样本集中与目标区域的天气状况类似的历史雷达回波图及其对应的临近预报结果作为第二数据集。例如，通用样本集为区域A的历史雷达回波图及其对应的临近预报结果，目标区域B的天气状况与区域A在4月至6月的天气状况类似，均为多云多雨天气；那么计算机设备可以将区域A在4月至6月的历史雷达回波图及其对应的临近预报结果作为第二数据集，然后将区域A的其它历史雷达回波图及其对应的临近预报结果作为第一数据集。上述第一数据集可以为support数据集，上述第二数据集可以为query数据集。
S302、基于第一数据集和第一损失函数，训练初始深度学习模型，获得初始基模型。
进一步地，计算机设备可以基于第一数据及以及上述第一损失函数，对初始深度学习模型进行训练，获得初始基模型。
S303、基于第二数据集和第一损失函数，对初始基模型进行第一预设次数的参数迭代，获得基模型。
在获得初始基模型的基础上，计算机设备将第二数据集中的历史雷达回波图作为初始基模型的输入，将上述第二数据集中的历史雷达回波图对应的临近预报结果作为参考输出，采用第一损失函数对初始基模型进行第一预设次数的参数迭代，获得基模型。可选地，上述第一预设次数为5次。
上述气象临近预报方法，计算机设备通过将通用样本集分为第一数据集和第二数据集，并基于第一数据集获得初始基模型，从而可以在初始基模型的基础上，采用第二数据集和第一损失函数对初始基模型进行第一预设次数的参数迭代，通过限定参数迭代次数可以避免迭代次数过多导致的训练时间过程，提升了基模型的训练速度。
在一个实施例中，计算机设备在基模型的基础上获得临近预报模型时，可以基于第二损失函数对基模型进行训练，获得目标区域的临近预报模型；其中，上述第二损失函数包含模型参数的一阶导数。上述第二损失函数可以是包含一阶导数的对数损失函数，也可以是包含一阶导数的绝对值损失函数，在此不做限定。可选地，上述第二损失函数为：
其中，θ*为基模型的参数，
为第T个区域样本基的样本数据，η为学习率。
上述第二损失函数中的学习率可以与第一损失函数的学习率相同，也可以不同，在此不做限定。
计算机设备基于第二损失函数和区域样本集对基模型进行迁移训练，可以将基模型的参数快速迁移至目标区域对应的临近预报模型的参数，使得临近预报模型可以更准确地获得雷达回波图对应的临近预报数据。
计算机设备可以基于第二损失函数，对基模型进行第二预设次数的参数迭代，获得临近预报模型。上述第二预设次数可以与第一预设次数相同，也可以不同，在此不做限定。可选地，上述第二预设次数可以大于等于5，且小于等于10。
上述气象临近预报方法，计算机设备采用第二损失函数对基模型进行迁移训练，可以提升临近预报模型的准确度；进一步地，计算机设备基于第二损失函数，对基模型进行第二预设次数的参数迭代，可以通过限定参数迭代次数避免迭代次数过多导致的训练时间过程，提升了临近预报模型的迁移训练速度。
应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种气象临近预报装置，包括：获取模块10和输入模块20，其中：
获取模块10，用于获取目标区域的雷达回波图；
输入模块20，用于将雷达回波图输入临近预报模型，获得目标区域的气象临近预报数据；临近预报模型为根据目标区域的区域样本集对基模型进行迁移训练获得的；基模型为采用元学习机制和通用样本集训练获得的；区域样本集以及通用样本集中均包括历史雷达回波图以及历史雷达回波图对应的临近预报结果。
在一个实施例中，在上述实施例的基础上，如图7所示，上述装置还包括训练模块30，训练模块30包括：
获取单元301，用于获取通用样本集以及区域样本集；
第一训练单元302，用于将通用样本集中的历史雷达回波图作为初始深度学习模型的输入，将通用样本集中的历史雷达回波图对应的临近预报结果作为初始深度学习模型的参考输出，采用元学习机制对初始深度学习模型进行训练，获得基模型；
第二训练单元303，用于将区域样本集中的历史雷达回波图作为基模型的输入，将区域样本集中的历史雷达回波图对应的临近预报结果作为基模型的参考输出，对基模型进行训练，获得临近预报模型。
在一个实施例中，在上述实施例的基础上，上述第一训练单元302具体用于：基于第一损失函数对初始深度学习模型进行训练，获得基模型；第一损失函数包含模型参数的二阶导数。
在一个实施例中，在上述实施例的基础上，如图8所示，上述第一训练单元302包括：
分类子单元3021，用于将通用样本集分为第一数据集和第二数据集；
训练子单元3022，用于基于第一数据集和第一损失函数，训练初始深度学习模型，获得初始基模型；
迭代子单元3023，用于基于第二数据集和第一损失函数，对初始基模型进行第一预设次数的参数迭代，获得基模型。
在一个实施例中，在上述实施例的基础上，第一预设次数为5次。
在一个实施例中，在上述实施例的基础上，第一损失函数为：
其中，θ为模型参数，DT为第T个样本数据，η为学习率。
在一个实施例中，在上述实施例的基础上，上述第二训练单元303具体用于：基于第二损失函数对基模型进行训练，获得临近预报模型；第二损失函数包含模型参数的一阶导数。
在一个实施例中，在上述实施例的基础上，上述第二训练单元303具体用于：基于第二损失函数，对基模型进行第二预设次数的参数迭代，获得临近预报模型。
在一个实施例中，在上述实施例的基础上，第二预设次数大于等于5，且小于等于10。
在一个实施例中，在上述实施例的基础上，第二损失函数为：
其中，θ*为基模型的参数，
为第T个区域样本基的样本数据，η为学习率。
在一个实施例中，在上述实施例的基础上，临近预报模型为长短期记忆LSTM网络模型。
上述提供的气象临近预报装置，可以执行上述气象临近预报方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于气象临近预报装置的具体限定可以参见上文中对于气象临近预报方法的限定，在此不再赘述。上述气象临近预报装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储气象临近预报数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种气象临近预报方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取目标区域的雷达回波图；
将雷达回波图输入临近预报模型，获得目标区域的气象临近预报数据；临近预报模型为根据目标区域的区域样本集对基模型进行迁移训练获得的；基模型为采用元学习机制和通用样本集训练获得的；区域样本集以及通用样本集中均包括历史雷达回波图以及历史雷达回波图对应的临近预报结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取通用样本集以及区域样本集；将通用样本集中的历史雷达回波图作为初始深度学习模型的输入，将通用样本集中的历史雷达回波图对应的临近预报结果作为初始深度学习模型的参考输出，采用元学习机制对初始深度学习模型进行训练，获得基模型；将区域样本集中的历史雷达回波图作为基模型的输入，将区域样本集中的历史雷达回波图对应的临近预报结果作为基模型的参考输出，对基模型进行训练，获得临近预报模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于第一损失函数对初始深度学习模型进行训练，获得基模型；第一损失函数包含模型参数的二阶导数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将通用样本集分为第一数据集和第二数据集；基于第一数据集和第一损失函数，训练初始深度学习模型，获得初始基模型；基于第二数据集和第一损失函数，对初始基模型进行第一预设次数的参数迭代，获得基模型。
在一个实施例中，第一预设次数为5次。
在一个实施例中，第一损失函数为：
其中，θ为模型参数，DT为第T个样本数据，η为学习率。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于第二损失函数对基模型进行训练，获得临近预报模型；第二损失函数包含模型参数的一阶导数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于第二损失函数，对基模型进行第二预设次数的参数迭代，获得临近预报模型。
在一个实施例中，第二预设次数大于等于5，且小于等于10。
在一个实施例中，第二损失函数为：
其中，θ*为基模型的参数，
为第T个区域样本基的样本数据，η为学习率。
在一个实施例中，临近预报模型为长短期记忆LSTM网络模型。
本实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取目标区域的雷达回波图；
将雷达回波图输入临近预报模型，获得目标区域的气象临近预报数据；临近预报模型为根据目标区域的区域样本集对基模型进行迁移训练获得的；基模型为采用元学习机制和通用样本集训练获得的；区域样本集以及通用样本集中均包括历史雷达回波图以及历史雷达回波图对应的临近预报结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取通用样本集以及区域样本集；将通用样本集中的历史雷达回波图作为初始深度学习模型的输入，将通用样本集中的历史雷达回波图对应的临近预报结果作为初始深度学习模型的参考输出，采用元学习机制对初始深度学习模型进行训练，获得基模型；将区域样本集中的历史雷达回波图作为基模型的输入，将区域样本集中的历史雷达回波图对应的临近预报结果作为基模型的参考输出，对基模型进行训练，获得临近预报模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于第一损失函数对初始深度学习模型进行训练，获得基模型；第一损失函数包含模型参数的二阶导数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将通用样本集分为第一数据集和第二数据集；基于第一数据集和第一损失函数，训练初始深度学习模型，获得初始基模型；基于第二数据集和第一损失函数，对初始基模型进行第一预设次数的参数迭代，获得基模型。
在一个实施例中，第一预设次数为5次。
在一个实施例中，第一损失函数为：
其中，θ为模型参数，DT为第T个样本数据，η为学习率。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于第二损失函数对基模型进行训练，获得临近预报模型；第二损失函数包含模型参数的一阶导数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于第二损失函数，对基模型进行第二预设次数的参数迭代，获得临近预报模型。
在一个实施例中，第二预设次数大于等于5，且小于等于10。
在一个实施例中，第二损失函数为：
其中，θ*为基模型的参数，
为第T个区域样本基的样本数据，η为学习率。
在一个实施例中，临近预报模型为长短期记忆LSTM网络模型。
本实施例提供的计算机存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种气象临近预报方法，其特征在于，所述方法包括：
获取目标区域的雷达回波图；
将所述雷达回波图输入临近预报模型，获得所述目标区域的气象临近预报数据；所述临近预报模型为根据所述目标区域的区域样本集对基模型进行迁移训练获得的；所述基模型为采用元学习机制和通用样本集训练获得的；所述区域样本集以及通用样本集中均包括历史雷达回波图以及所述历史雷达回波图对应的临近预报结果。
2.根据权利要求1所述的气象临近预报方法，其特征在于，所述方法还包括：
获取通用样本集以及区域样本集；
将所述通用样本集中的历史雷达回波图作为初始深度学习模型的输入，将所述通用样本集中的历史雷达回波图对应的临近预报结果作为所述初始深度学习模型的参考输出，采用元学习机制对所述初始深度学习模型进行训练，获得所述基模型；
将所述区域样本集中的历史雷达回波图作为所述基模型的输入，将所述区域样本集中的历史雷达回波图对应的临近预报结果作为所述基模型的参考输出，对所述基模型进行训练，获得所述临近预报模型。
3.根据权利要求2所述的气象临近预报方法，其特征在于，所述对所述初始深度学习模型进行训练，获得所述基模型，包括：
基于第一损失函数对所述初始深度学习模型进行训练，获得所述基模型；所述第一损失函数包含模型参数的二阶导数。
4.根据权利要求3所述的气象临近预报方法，其特征在于，所述基于第一损失函数对所述初始深度学习模型进行训练，获得所述基模型，包括：
将所述通用样本集分为第一数据集和第二数据集；
基于所述第一数据集和所述第一损失函数，训练所述初始深度学习模型，获得初始基模型；
基于所述第二数据集和所述第一损失函数，对所述初始基模型进行第一预设次数的参数迭代，获得所述基模型。
5.根据权利要求3或4所述的气象临近预报方法，其特征在于，所述第一损失函数为：
其中，θ为模型参数，DT为第T个样本数据，η为学习率。
6.根据权利要求2所述的气象临近预报方法，其特征在于，所述对所述基模型进行训练，获得所述临近预报模型，包括：
基于第二损失函数对所述基模型进行训练，获得所述临近预报模型；所述第二损失函数包含模型参数的一阶导数。
7.根据权利要求6所述的气象临近预报方法，其特征在于，所述基于第二损失函数对所述基模型进行训练，获得所述临近预报模型，包括：
基于所述第二损失函数，对所述基模型进行第二预设次数的参数迭代，获得所述临近预报模型。
8.根据权利要求6或7所述的气象临近预报方法，其特征在于，所述第二损失函数为：
其中，θ*为所述基模型的参数，
为第T个区域样本基的样本数据，η为学习率。
9.一种气象临近预报装置，其特征在于，所述装置包括：
获取模块，用于获取目标区域的雷达回波图；
输入模块，用于将所述雷达回波图输入临近预报模型，获得所述目标区域的气象临近预报数据；所述临近预报模型为根据所述目标区域的区域样本集对基模型进行迁移训练获得的；所述基模型为采用元学习机制和通用样本集训练获得的；所述区域样本集以及通用样本集中均包括历史雷达回波图以及所述历史雷达回波图对应的临近预报结果。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010674180.7A CN111931991A (zh) | 2020-07-14 | 2020-07-14 | 气象临近预报方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010674180.7A CN111931991A (zh) | 2020-07-14 | 2020-07-14 | 气象临近预报方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111931991A true CN111931991A (zh) | 2020-11-13 |
Family
ID=73314030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010674180.7A Pending CN111931991A (zh) | 2020-07-14 | 2020-07-14 | 气象临近预报方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111931991A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112992174A (zh) * | 2021-02-03 | 2021-06-18 | 深圳壹秘科技有限公司 | 一种语音分析方法及其语音记录装置 |
| CN113283972A (zh) * | 2021-05-06 | 2021-08-20 | 胡立禄 | 一种税务大数据模型的构建系统及方法 |
| CN114691918A (zh) * | 2022-04-01 | 2022-07-01 | 北京百度网讯科技有限公司 | 基于人工智能的雷达图像检索方法、装置以及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830385A (zh) * | 2018-07-10 | 2018-11-16 | 北京京东金融科技控股有限公司 | 深度学习模型训练方法和装置及计算机可读存储介质 |
| US20190012576A1 (en) * | 2017-07-04 | 2019-01-10 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for updating deep learning model |
| US20200160212A1 (en) * | 2018-11-21 | 2020-05-21 | Korea Advanced Institute Of Science And Technology | Method and system for transfer learning to random target dataset and model structure based on meta learning |
| CN111191791A (zh) * | 2019-12-02 | 2020-05-22 | 腾讯云计算（北京）有限责任公司 | 机器学习模型的应用方法、训练方法、装置、设备及介质 |
-
2020
- 2020-07-14 CN CN202010674180.7A patent/CN111931991A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190012576A1 (en) * | 2017-07-04 | 2019-01-10 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for updating deep learning model |
| CN108830385A (zh) * | 2018-07-10 | 2018-11-16 | 北京京东金融科技控股有限公司 | 深度学习模型训练方法和装置及计算机可读存储介质 |
| US20200160212A1 (en) * | 2018-11-21 | 2020-05-21 | Korea Advanced Institute Of Science And Technology | Method and system for transfer learning to random target dataset and model structure based on meta learning |
| CN111191791A (zh) * | 2019-12-02 | 2020-05-22 | 腾讯云计算（北京）有限责任公司 | 机器学习模型的应用方法、训练方法、装置、设备及介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112992174A (zh) * | 2021-02-03 | 2021-06-18 | 深圳壹秘科技有限公司 | 一种语音分析方法及其语音记录装置 |
| CN113283972A (zh) * | 2021-05-06 | 2021-08-20 | 胡立禄 | 一种税务大数据模型的构建系统及方法 |
| CN114691918A (zh) * | 2022-04-01 | 2022-07-01 | 北京百度网讯科技有限公司 | 基于人工智能的雷达图像检索方法、装置以及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107103754B (zh) | 一种道路交通状况预测方法及系统 | |
| CN111931991A (zh) | 气象临近预报方法、装置、计算机设备和存储介质 | |
| CN109798903B (zh) | 一种从地图数据中获取道路信息的方法及装置 | |
| US10795056B2 (en) | Local weather forecast | |
| WO2017215622A1 (zh) | 物体分割方法及装置、计算设备 | |
| US10725008B2 (en) | Automatic siting for air quality monitoring stations | |
| CN109241846B (zh) | 遥感影像的时空变化估测方法、装置与存储介质 | |
| CN110874550A (zh) | 数据处理方法、装置、设备和系统 | |
| CN110096979B (zh) | 模型的构建方法、人群密度估计方法、装置、设备和介质 | |
| US20180218254A1 (en) | Solar power forecasting with volumetric convolutional neural network | |
| WO2022039675A1 (en) | Method and apparatus for forecasting weather, electronic device and storage medium thereof | |
| CN114067019A (zh) | 一种耦合深度学习-数值模拟的城市内涝风险图快速预制方法 | |
| CN110738687A (zh) | 对象跟踪方法、装置、设备及存储介质 | |
| Gauch et al. | Data-driven vs. physically-based streamflow prediction models | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| Pathan et al. | Analyzing the impact of meteorological parameters on rainfall prediction | |
| CN113222209B (zh) | 基于域适应的区域尾气迁移预测方法、系统及存储介质 | |
| CN116861262B (zh) | 一种感知模型训练方法、装置及电子设备和存储介质 | |
| CN111079634B (zh) | 车辆行驶中检测障碍物的方法、装置、系统及车辆 | |
| CN110097077B (zh) | 点云数据分类方法、装置、计算机设备和存储介质 | |
| CN116894383A (zh) | 全年天气场景的随机模拟方法及装置 | |
| CN115905997B (zh) | 基于预测偏差优化的风电机组气象灾害预警方法及系统 | |
| US11333519B2 (en) | Dynamic map generation with focus on construction and localization field of technology | |
| CN116050554A (zh) | 一种景区客流量预测方法、装置、计算设备和存储介质 | |
| CN113240219A (zh) | 一种土地利用模拟及预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |