CN117008217A - 一种融合自注意力模块与Unet模型的短时强降水预报方法 - Google Patents
一种融合自注意力模块与Unet模型的短时强降水预报方法 Download PDFInfo
- Publication number
- CN117008217A CN117008217A CN202310848720.2A CN202310848720A CN117008217A CN 117008217 A CN117008217 A CN 117008217A CN 202310848720 A CN202310848720 A CN 202310848720A CN 117008217 A CN117008217 A CN 117008217A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- precipitation
- training
- fusion model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001556 precipitation Methods 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 62
- 230000004927 fusion Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 abstract description 5
- 238000013277 forecasting method Methods 0.000 abstract description 3
- 230000003935 attention Effects 0.000 description 19
- 238000013135 deep learning Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 230000010332 selective attention Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种融合自注意力模块与Unet模型的短时强降水预报方法，属于气象卫星领域；具体包括：首先，收集GFS预报数据和GPM‑IMERG逐半小时降水数据，将二者进行时间分辨率与空间分辨率匹配，并进行初步处理之后构建训练数据集；然后，将自注意力模块嵌入Unet模型，构建能够预报短时强降水的融合模型；并基于融合模型对训练数据集进行训练并调参，得到最优融合模型。最后，针对待测时刻的GFS气象预报数据，将其处理为与训练数据相同形状和经纬度范围，经过插值和翻转处理后得到区域数据；将区域数据输入训练好的最优融合模型中，计算出强降水预报结果。本发明通过使用GFS预报数据和降水数据训练深度学习模型，并将目标区域的强降水情况可视化。
Description
技术领域
本发明属于气象卫星领域，尤其涉及一种融合自注意力模块与Unet模型的短时强降水预报方法。
背景技术
强降水是一种作用时间短暂、爆发强烈、灾害严重的区域性天气，而短时强降水是指每小时降水量不低于20mm的降水，是一种极端天气，主要由超级单体和中尺度对流系统(MCS)造成，具有局地性强，发展快，历时短和破坏性大等特点，由于在短时间内形成大量降水，会危害军事安全和人民生活财产安全。因此，以精细的空间和时间分辨率对降水量，尤其是强降水量进行可靠的估计，对于许多水文应用至关重要，包括制定水资源管理和规划战略、开发预警系统以及气候研究。短时强降水的准确预报可以避免重大经济损失，减少不必要的麻烦。此外，强降水天气的有效预报也可以为其他恶劣天气的估计与预报提供参考。
GFS(全球预报系统)是美国国家海洋和大气管理局(NOAA)开发的一种先进的数值天气预报系统，可以提供全球范围内的天气预报和气象数据。GFS预报系统使用大量的气象观测数据和计算机模型，进行高精度的天气预报和气象数据分析。它可以提供从几小时到数天的天气预报和气象数据，并在很大程度上影响着全球各个领域的决策和规划。
卫星遥感是目前能够实现全球范围降水观测的唯一手段，气象卫星在地球的上空观测，不受地理和自然条件限制，各国气象部门积极研发属于自己的定量降水产品，具有代表性的基于卫星观测的全球降水产品包括：PERSIANN、PERSIANN-CCS、CHIRPS、TRMM、CMORPHGPM-IMERG以及中国气象卫星的定量降水估计产品，
其中，GPM-IMERG降水数据，即经过处理和校正后的GPM卫星的最终降水产品，具有较高的时间分辨率和空间分辨率，IMERG随季节以及降水类型、结构和强度而变化，适用于科学研究和应用。
动态天气模型的输出是强降水潜势预报的主要数据来源，利用GFS预报数据与GPM降水真值构建强降水数据训练集，进行短时强降水预报训练可以获得高校且准确的深度学习模型。
发明内容
本发明针对短时强降水预报不准确的现象，提供了一种融合自注意力模块与Unet模型的短时强降水预报方法，通过使用GFS预报数据和GPM-IMER降水数据训练深度学习模型，并将目标区域的强降水情况可视化。
所述的融合自注意力模块与Unet模型的短时强降水预报方法，具体步骤如下：
步骤一，收集GFS预报数据和GPM-IMERG逐半小时降水数据，将二者进行时间分辨率与空间分辨率匹配，并进行初步处理之后构建训练数据集。
具体过程如下：
首先，根据GFS预报数据的时间分辨率三小时，将GPM-IMERG半小时的降水数据进行三小时降水累积计算，并将累积降水结果进行二值化处理，保存在标签数据集中。
然后，对GFS预报数据进行双线性插值处理，使其分辨率与GPM-IMERG降水数据的空间分辨率保持一致；并对空间分辨率保持一致的GFS预报数据，使用GBDT算法进行初步降维处理，获得筛选后的气象因子，保存在特征数据集中。
最后，将特征数据集与标签数据集共同构成训练数据集。
步骤二，将自注意力模块嵌入Unet模型，构建能够预报短时强降水的融合模型；
Unet模型为Encoder-Decoder网络结构，Encoder是由卷积层、残差单元和下采样模块组成的模块，Decoder是由反卷积层和上采样操作组成的模块；下采样模块包含双层卷积模块和下采样操作，下采样操作通常使用池化操作，缩小图像尺寸的同时保留特征信息。上采样操作通过反卷积操作将特征图的尺寸增加，同时将特征表示的分辨率提高。
融合模型具体为：
首先，将特征数据集的输入通道数降维至指定维度，并通过四个下采样模块提取更高层次的特征图A；
接着，在四个下采样模块之后融合自注意力模块，自注意力模块将输入的特征图A分为若干个类别，对每个类别内的特征通道进行注意力机制计算，得到每个类别的注意力权重。
其中，注意力模块的输入特征图A的通道数，取决于上一个下采样模块的输出通道数，注意力模块的输出通道数会被传递到下一个上采样模块中进行处理，所以输出通道数与上一个下采样模块的输出通道数相同。
然后，将注意力加权的特征图B与未加权的特征图A进行融合，输入四个上采样模块进行上采样操作，得到增大尺寸的特征图C，并将其与下采样操作中得到的特征图B进行合并。
最后，通过卷积操作将合并特征图D的通道数减少到指定维度，并使用归一化指数函数将其映射到概率空间中，得到了每个像素点属于不同类别的概率分布，并得到最终的分割结果。
步骤三，基于融合模型对训练数据集进行训练并调参，得到最优融合模型。
训练过程中选用的损失函数为交叉熵损失函数，公式如下：
L＝-[y*log(p)+(1-y)*log(1-p)
其中，y是训练数据集中的标签数据，p是融合模型中预测的强降水概率。
具体训练过程为：
将训练数据集的特征数据输入融合模型之后，损失函数不断计算融合模型的预测结果与标签数据之间的差异，并反向传播给融合模型；同时使用可变步长学习率的方式对融合模型中的参数进行训练，训练过程中的优化器采用Adam梯度下降法，设置初始学习率为0.01，不断调整参数并训练之后得到具有不同参数的融合模型；
得到上述融合模型之后，本发明使用CSI，POD，FAR，TS评估函数对具有不同参数的融合模型的效果进行评估，根据评估效果将具有最优参数的融合模型保存下来，作为最终预报短时强降水潜势预报的融合模型。
其中，CSI,POD,FAR,TS函数的计算公式分别如下：
CSI＝TP/(TP+FN+FP)
POD＝TP/(TP+FP)
FAR＝FP/(FP+TN)
TS＝(TP+TN)/(TP+TN+FP+FN)
其中，TP表示真正例数，FP表示假正例数，TN表示真负例数，FN表示假负例数。
步骤四，针对待测时刻的GFS气象预报数据，将其处理为与训练数据相同形状和经纬度范围，经过插值和翻转处理后得到区域数据；
步骤五，将区域数据输入训练好的最优融合模型中，计算出强降水预报结果。
本发明的优点及其有益效果在于：
(1)本发明一种融合自注意力模块与Unet模型的短时强降水预报方法，使用气象预报数据，利用深度学习的非线性映射能力，以目前世界上使用最广泛的GPM-IMERG降水产品为标签，构建反映气象预报数据与降水之间内在联系的模型，实现了只需指定时刻的气象预报数据，即可得到所求区域的短时强降水的预报结果。
(2)本发明一种融合自注意力模块与Unet模型的短时强降水预报方法，基于气象预报数据与降水真值数据，利用机器学习算法与深度学习算法，利用自注意力模块与Unet模型对数据特征信息的读取与学习，更好地学习了强降水数据的预报特征，提高了强降水预报的准确性。
(3)本发明一种融合自注意力模块与Unet模型的短时强降水预报方法，在Unet模型中嵌入自注意力模块，有利于让模型更加关注重要的特征，从而减少噪音的影响，提高模型的准确性的同时提高模型的泛化能力，使其能够更好地处理强降水数据，提高预报准确度。
附图说明
图1为本发明一种融合自注意力模块与Unet模型的短时强降水预报方法流程图；
图2为本发明采用的自注意力模块示意图；
图3为本发明实施例中融合自注意力机制与Unet模型的网络结构示意图。
具体实施方式
为了清晰、完整地呈现本发明的优势，技术特征及发明目的，以下将结合附图和实施例对本发明的技术细节进行详细、完整地描述。需要说明的是，所列举的实施例属于本发明的一部分，而不是发明的全部内容，本领域其他人员在没有做出创新突破的前提下所获得的其他实施例，都属于本发明保护的范围。
本发明一种融合自注意力模块与Unet模型的短时强降水预报方法，使用强降水待预报区域的三小时预报数据(GFS预报数据)作为特征数据集，使用GPM-IMERG逐半小时测量的历史区域降水数据进行累积三小时降水值作为标签数据集，从而构建训练数据集。基于数据特点融合深度学习网络中的自注意力机制与Unet模型，并使用训练数据集对深度学习网络模型进行训练，得到短时强降水预报模型。不断调整模型结构获得最优模型之后，将某一时刻的新的预报数据进行处理后得到一份区域数据，并将此区域数据作为强降水预报模型的输入数据，经过深度学习模型输出强降水结果，并将该结果可视化为一张强降水分布图，直观表达预报区域三小时后是否有强降水出现。本发明利用了Unet模型作为深度学习的非线性映射能力，与模型本身能够有效处理高分辨率图像的优点，能够有效提高强降水预报的准确性。
如图1所示，具体步骤如下：
步骤一，收集GFS(全球预报系统)预报数据和GPM-IMERG逐半小时降水数据，将二者进行时间分辨率与空间分辨率匹配，并进行初步处理之后构建训练数据集。
实施例中使用的数据为GFS模型预报数据，简称为GFS数据，GPM-IMERG三小时累积降水数据简称为GPM数据。
具体过程如下：
首先，下载指定区域的GFS(全球预报系统)模型集合重新预测模拟的大气变量数据(GFS预报数据的时间分辨率为3h，空间分辨率为0.25°×0.25°)作为特征数据；下载GPM使用最广泛综合反演产品(IMERG)中逐半小时降水产品数据(空间分辨率为0.1°×0.1°)作为降水真值。
根据GFS数据的时间分辨率三小时，将GPM半小时的降水数据进行三小时降水累积计算，并将累积降水结果进行二值化处理，即将连续的数值型降水数据转换为只有0或1两个取值，以表示格点是否有强降水发生的数据。对GPM降水数据根据国家气象局对暴雨橙色预警的标准将三小时内累积降水超过50mm的降水认定为强降水，根据强降水定义将GPM数据处理为0-1矩阵，并将二值化后的结果保存在标签数据集中。
然后，对GFS数据进行插值和翻转处理，得到与GPM降水数据等经纬度网格的数据；本实施例选择三次样条插值处理，使其分辨率与GPM数据的空间分辨率保持一致；并对空间分辨率保持一致的GFS数据，使用GBDT算法进行初步降维处理，获得筛选后的气象因子，保存在特征数据集中。
通过采用机器学习的GBDT(Gradient Boosting Decision Tree)降维方式，根据因子重要性以及降维结果的可解释性将GFS所有的气象要素数据降维，筛选出与降水数据关系最大的气象要素要素集，与已经得到GPM数据集结合构建出最终的训练数据集；
其中，GBDT的主要思想如下：
特征j的全局重要度通过特征j在单颗树中的重要度的平均值来衡量：
式中，M是树的数量。
特征j在单颗树中的重要度的如下:
式中，L为树的叶子节点数量，L-1即为树的非叶子节点数量(构建的树都是具有左右子树的二叉树)，vt是和节点t相关联的特征，是节点t分裂之后平方损失的减少值。
最后，将特征数据集与标签数据集共同构成训练数据集。
步骤二，将自注意力模块嵌入Unet模型，构建能够预报短时强降水的融合模型；
构建的深度学习网络模型为集合注意力机制和U-Net模型的方法，U-Net模型结构中的跳跃连接可以帮助模型在解码器部分恢复原始图像大小的同时，保留更多的低级别特征信息。使用注意力机制来对编码器和解码器中的特征图进行加权，以便更好地控制哪些特征对于解码器是有用的。具体来说，可以在每个解码器层中引入注意力机制，将编码器中的特征图与解码器中的特征图进行加权相加，以便更好地控制信息的传递和过滤。
自注意力机制(Self-Attention Mechanism)是深度学习中一种用于建模序列数据的机制，它可以在不损失位置信息的情况下，对序列中不同位置的元素进行加权整合，从而得到一个综合表示。自注意力机制通常用于自然语言处理和计算机视觉中的任务，如机器翻译、语言模型、图像描述等。
Unet模型为Encoder-Decoder网络结构，Encoder是由卷积层、残差单元和下采样模块组成的模块，Decoder是由反卷积层和上采样操作组成的模块；下采样模块包含双层卷积模块和下采样操作，用于提取特征并减少特征通道的数量。下采样操作通常使用池化操作，缩小图像尺寸的同时保留特征信息。上采样操作通过反卷积操作将特征图的尺寸增加，同时将特征表示的分辨率提高。
本发明将自注意力模块融合在Unet模型的上采样与下采样中间，以加强模型特征表征能力。如图2所示，自注意力模块对输入特征通过三个1×1卷积运算进行线性投影，并重塑为N个特征，最终得到含有3×N的特征映射的中间特征集。在图右侧的上半部分，投影的特征图根据内核位置进行移位，然后进行聚合，对输入特征进行卷积处理，收集特征信息。图3右侧的下半部分，将图左侧得到的中间特征分为N组，每组包含三个特征。然后进行注意力权重的计算和聚合，这部分代表了局部特征的聚集。最终将两条路径的输出按一定权重加在一起，权重由两个可学习标量控制。
本发明中的融合模型使用了四个下采样模块，首先，将特征数据集的输入通道数降维至指定维度，并通过四个下采样模块提取更高层次的特征图A，并减小特征图A的大小；
接着，在四个下采样模块之后融合自注意力模块，用于提取不同尺度特征之间的关系。
自注意力模块将输入的特征图A分为若干个类别，对每个类别内的特征通道进行注意力机制计算，得到每个类别的注意力权重。
其中，注意力模块的输入特征图A的通道数，取决于上一个下采样模块的输出通道数，注意力模块的输出通道数会被传递到下一个上采样模块中进行处理，所以输出通道数与上一个下采样模块的输出通道数相同。
然后，将注意力加权的特征图B与未加权的特征图A进行融合，得到更具有区分性的特征表示。
输入四个上采样模块进行上采样操作，得到增大尺寸的特征图C，并将其与对应的下采样操作中得到的特征图B进行合并。
最后，通过卷积操作将合并特征图D的通道数减少到指定维度，并使用归一化指数函数(softmax)将其映射到概率空间中，得到了每个像素点属于不同类别的概率分布，并得到最终的分割结果。
步骤三，基于融合模型对训练数据集进行训练并调参，得到最优融合模型。
上述的分割结果可能存在一定的误差，为了减少这种误差，利用标签数据对模型的预测结果进行修正。具体来说，可以将标签数据和模型的预测结果进行比较，计算它们之间的差异，然后根据差异的大小对模型的预测结果进行调整。
模型的修正过程通常被称为损失函数的计算和反向传播更新。本融合模型使用交叉熵作为损失函数来计算模型的误差。交叉熵损失函数可以度量模型预测结果与标签数据之间的差异，通过最小化交叉熵损失函数，可以使模型的预测结果更加接近标签数据。同时，在训练过程中，通过反向传播算法更新模型的参数，使得融合模型能够更好地适应训练数据，从而提高模型的泛化能力和准确率。
交叉熵损失函数，公式如下：
L＝-[y*log(p)+(1-y)*log(1-p)
其中，y是训练数据集中的标签数据，p是融合模型中预测的强降水概率。
具体训练过程为：
将训练数据集中的训练数据和标签数据作为深度学习网络模型的输入，以精确率，虚警率和准确率作为格点数据的评估标准。使用可变步长学习率的方式对深度学习网络的参数进行训练，训练过程中的优化器采用Adam梯度下降法，设置初始学习率，并设置参数表示学习率衰减的程度；经过循环迭代后得到最优参数模型；将应用最优参数的深度学习网络模型保存下来，作为短时强降水预报模型。
精确率是指预测结果为正例的样本中，实际为正例的比例。精确率越高，说明预测结果为正例的样本中，实际为正例的比例越高，模型的准确性越高。
虚警率是指预测结果为正例的样本中，实际为负例的比例。虚警率越低，说明预测结果为正例的样本中，实际为负例的比例越低，模型的可靠性越高。
准确率(Accuracy)：准确率是指预测结果正确的样本占总样本数的比例。准确率越高，说明模型的预测结果越准确。公式如下：
CSI＝TP/(TP+FN+FP)
POD＝TP/(TP+FP)
FAR＝FP/(FP+TN)
TS＝(TP+TN)/(TP+TN+FP+FN)
其中，TP表示真正例数，FP表示假正例数，TN表示真负例数，FN表示假负例数。
步骤四，针对待测时刻的GFS气象预报数据，将其处理为与训练数据相同形状和经纬度范围，经过插值和翻转处理后得到区域数据；
步骤五，将区域数据输入训练好的最优融合模型中，计算出强降水预报结果，并将该结果可视化为一张强降水预报结果图。
实施例
本实施例采用的GFS气象预报数据以及GPM-IMERGE降水数据。GFS气象数据的分辨率是0.25°，其模型的数据特征变量包括温度、湿度、风速、气压等多个方面，GFS模型使用的物理参数和数值方法会随着时间的推移而不断改进。这些改进可能会导致每年的模型输出数据具有不同的特征变量，因此在初步的特征筛选过程中，要注意不同时间点的变量个数，保证特征变量与输入维度的一致性。
标签数据采用美国宇航局NASA的卫星降水产品，GPM-IMERG逐半小时降水产品，经累积降水计算得到与待估计区域相同经纬度范围和数据格式的区域三小时降水数据。实施例所采用的待估计经纬度范围为东经109°～125°，北纬20°～36°。
具体实施步骤如下：
步骤一，收集GFS模型预报数据资料和GPM-IMERG逐半小时降水产品，将二者进行时间分辨率与空间分辨率匹配，并进行初步处理之后构建训练数据集。
步骤二，构建融合自注意力机制与Unet模型的短时强降水预报方法
本发明构建的模型是在自注意力机制和UNet模型的基础上进行构建的。其中，将这些相关性作为权重来计算加权和，得到该元素的表示。自注意力机制的优点是可以自适应地学习输入序列中元素之间的相关性，从而能够更好地捕捉序列中的依赖关系。在自然语言处理中，自注意力机制常被用于编码器-解码器模型中的编码器部分，用于将输入序列映射成一个固定长度的向量表示。
Unet网络结构为Encoder-Decoder网络结构，Encoder是由卷积层、残差单元和下采样操作组成的模块，Decoder是由反卷积层和上采样操作组成的模块。其中，卷积层包括卷积、批标准化和激活函数三部分操作内容，下采样操作包含卷积、批标准化和激活函数三部分操作内容，上采样包括反卷积、批标准化和激活函数三部分内容，残差单元包括两个卷积层及一个短跳跃连接将输入内容和输出内容进行加和；同时，模型中的Encoder-Decoder网络结构通过skip-connection使得网络在解码器每一级的上采样过程中，将编码器对应位置的特征图在通道上进行融合，实现参数共享，具体的网络结构图以及参数训练过程中数据维度变化如附图3所示。
步骤三，使用深度学习网络模型对训练数据集进行训练，得到短时强降水预报模型；
具体为：
将训练数据集中的训练数据和标签数据作为深度学习网络模型的输入，CSI，POD，FAR，TS函数作为模型的评估函数，使用可变步长学习率的方式对深度学习网络的参数进行训练，训练过程中的优化器采用Adam梯度下降法，设置初始学习率，并设置参数表示学习率衰减的程度。经过循环迭代后得到最优参数模型。将应用最优参数的深度学习网络模型保存下来，作为短时强降水潜势预报模型。
将训练数据集中的训练数据和标签数据作为深度学习网络模型的输入，均方损失函数作为模型的损失函数，模型训练过程中的优化器采用Adam梯度下降法，深度学习网络中的参数训练使用可变步长学习率的方式，设置初始学习率，并设置参数表示学习率衰减的程度。经过循环迭代后得到最优参数模型，将此参数的深度学习模型保存下来，作为强降水预报模型。
步骤四，将所需时刻的GFS气象预报数据进行处理，得到与训练数据相同形状和经纬度范围的数据，将得到的区域数据作为强降水预报模型的输入数据，模型根据输入数据计算出强降水预报结果。经过步骤102-104之后插值和翻转处理后得到一份网格为160×160的格点数据，将输出格点数据可视化即可得到一张强降水预报结果图。
本发明将GFS气象预报数据进行了与卫星观测数据相同空间分辨率上的插值，充分利用了观测卫星的高分辨率数据，提高了定量降水估计的精细程度。将整合后的卫星观测数据和降水标签数据进行训练，提高降水估计的可靠性并在保证快速性的基础上节约计算资源。对于卫星观测数据的多通道特性，设计了可根据输入通道数量进行灵活对接的深度神经网络，可有效挖掘出卫星观测数据与降水量之间的非线性关系，提高降水估计的准确性。
本发明以GFS的预报数据中的气象要素(如风，位势高度等)数据作为特征数据，以GPM-IMERG历史降水数据作为模型训练的标签数据，训练数据与标签数据都是大型气象系统的数据，具有极大的可信性。2)模型融合注意力机制与Unet模型，Unet模型本身编码器-解码器结构，同时还有跳跃连接，可以有效处理高分辨率图像上的分割任务，注意力机制可以通过对不同部分的输入分配不同的权重来实现对输入数据的选择性关注和处理，二者的有效结合可以更好地处理大规模格点数据，帮助模型更加灵活地处理输入数据，提高模型性能。
Claims (4)
1.一种融合自注意力模块与Unet模型的短时强降水预报方法，其特征在于，具体步骤如下：
步骤一，收集GFS预报数据和GPM-IMERG逐半小时降水数据，将二者进行时间分辨率与空间分辨率匹配，并进行初步处理之后构建训练数据集；
步骤二，将自注意力模块嵌入Unet模型，构建能够预报短时强降水的融合模型；
Unet模型为Encoder-Decoder网络结构，Encoder是由卷积层、残差单元和下采样模块组成的模块，Decoder是由反卷积层和上采样操作组成的模块；下采样模块包含双层卷积模块和下采样操作，下采样操作通常使用池化操作，缩小图像尺寸的同时保留特征信息；上采样操作通过反卷积操作将特征图的尺寸增加，同时将特征表示的分辨率提高；
融合模型具体为：
首先，将特征数据集的输入通道数降维至指定维度，并通过四个下采样模块提取更高层次的特征图A；
接着，在四个下采样模块之后融合自注意力模块，自注意力模块将输入的特征图A分为若干个类别，对每个类别内的特征通道进行注意力机制计算，得到每个类别的注意力权重；
然后，将注意力加权的特征图B与未加权的特征图A进行融合，输入四个上采样模块进行上采样操作，得到增大尺寸的特征图C，并将其与下采样操作中得到的特征图B进行合并；
最后，通过卷积操作将合并特征图D的通道数减少到指定维度，并使用归一化指数函数将其映射到概率空间中，得到了每个像素点属于不同类别的概率分布，并得到最终的分割结果；
步骤三，基于融合模型对训练数据集进行训练并调参，得到最优融合模型；
训练过程中选用的损失函数为交叉熵损失函数，公式如下：
L＝-[y*log(p)+(1-y)*log(1-p)
其中，y是训练数据集中的标签数据，p是融合模型中预测的强降水概率；
具体训练过程为：
将训练数据集的特征数据输入融合模型之后，损失函数不断计算融合模型的预测结果与标签数据之间的差异，并反向传播给融合模型；同时使用可变步长学习率的方式对融合模型中的参数进行训练，训练过程中的优化器采用Adam梯度下降法，设置初始学习率为0.01，不断调整参数并训练之后得到具有不同参数的融合模型；
步骤四，针对待测时刻的GFS气象预报数据，将其处理为与训练数据相同形状和经纬度范围，经过插值和翻转处理后得到区域数据；
步骤五，将区域数据输入训练好的最优融合模型中，计算出强降水预报结果。
2.如权利要求1所述的一种融合自注意力模块与Unet模型的短时强降水预报方法，其特征在于，所述步骤一具体过程如下：
首先，根据GFS预报数据的时间分辨率三小时，将GPM-IMERG半小时的降水数据进行三小时降水累积计算，并将累积降水结果进行二值化处理，保存在标签数据集中；
然后，对GFS预报数据进行双线性插值处理，使其分辨率与GPM-IMERG降水数据的空间分辨率保持一致；并对空间分辨率保持一致的GFS预报数据，使用GBDT算法进行初步降维处理，获得筛选后的气象因子，保存在特征数据集中；
最后，将特征数据集与标签数据集共同构成训练数据集。
3.如权利要求1所述的一种融合自注意力模块与Unet模型的短时强降水预报方法，其特征在于，所述步骤二中注意力模块的输入特征图A的通道数，取决于上一个下采样模块的输出通道数，注意力模块的输出通道数会被传递到下一个上采样模块中进行处理，所以输出通道数与上一个下采样模块的输出通道数相同。
4.如权利要求1所述的一种融合自注意力模块与Unet模型的短时强降水预报方法，其特征在于，所述步骤三，得到融合模型之后，使用CSI，POD，FAR，TS评估函数对具有不同参数的融合模型的效果进行评估，根据评估效果将具有最优参数的融合模型保存下来，作为最终预报短时强降水潜势预报的融合模型；
其中，CSI,POD,FAR,TS函数的计算公式分别如下：
CSI＝TP/(TP+FN+FP)
POD＝TP/(TP+FP)
FAR＝FP/(FP+TN)
TS＝(TP+TN)/(TP+TN+FP+FN)
其中，TP表示真正例数，FP表示假正例数，TN表示真负例数，FN表示假负例数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310848720.2A CN117008217A (zh) | 2023-07-11 | 2023-07-11 | 一种融合自注意力模块与Unet模型的短时强降水预报方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310848720.2A CN117008217A (zh) | 2023-07-11 | 2023-07-11 | 一种融合自注意力模块与Unet模型的短时强降水预报方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117008217A true CN117008217A (zh) | 2023-11-07 |
Family
ID=88570234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310848720.2A Pending CN117008217A (zh) | 2023-07-11 | 2023-07-11 | 一种融合自注意力模块与Unet模型的短时强降水预报方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117008217A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117290810A (zh) * | 2023-11-27 | 2023-12-26 | 南京气象科技创新研究院 | 基于循环卷积神经网络的短时强降水概率预报融合方法 |
| CN117909927A (zh) * | 2024-03-19 | 2024-04-19 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 基于多源数据融合模型的降水定量估计方法和装置 |
| CN117908166A (zh) * | 2024-03-18 | 2024-04-19 | 南京气象科技创新研究院 | 基于机器学习的强降水超级单体识别预警方法 |
| CN117909927B (zh) * | 2024-03-19 | 2024-06-04 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 基于多源数据融合模型的降水定量估计方法和装置 |
-
2023
- 2023-07-11 CN CN202310848720.2A patent/CN117008217A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117290810A (zh) * | 2023-11-27 | 2023-12-26 | 南京气象科技创新研究院 | 基于循环卷积神经网络的短时强降水概率预报融合方法 |
| CN117290810B (zh) * | 2023-11-27 | 2024-02-02 | 南京气象科技创新研究院 | 基于循环卷积神经网络的短时强降水概率预报融合方法 |
| CN117908166A (zh) * | 2024-03-18 | 2024-04-19 | 南京气象科技创新研究院 | 基于机器学习的强降水超级单体识别预警方法 |
| CN117908166B (zh) * | 2024-03-18 | 2024-05-24 | 南京气象科技创新研究院 | 基于机器学习的强降水超级单体识别预警方法 |
| CN117909927A (zh) * | 2024-03-19 | 2024-04-19 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 基于多源数据融合模型的降水定量估计方法和装置 |
| CN117909927B (zh) * | 2024-03-19 | 2024-06-04 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 基于多源数据融合模型的降水定量估计方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fung et al. | Drought forecasting: A review of modelling approaches 2007–2017 | |
| Ghimire et al. | Self-adaptive differential evolutionary extreme learning machines for long-term solar radiation prediction with remotely-sensed MODIS satellite and Reanalysis atmospheric products in solar-rich cities | |
| CN117008217A (zh) | 一种融合自注意力模块与Unet模型的短时强降水预报方法 | |
| Sundararajan et al. | A contemporary review on drought modeling using machine learning approaches | |
| CN111428862B (zh) | 一种极类不平衡时空联合对流初生短临预报方法 | |
| CN114742179B (zh) | 基于ecmwf的格点预报偏差修正方法 | |
| Das | Extreme rainfall estimation at ungauged locations: information that needs to be included in low-lying monsoon climate regions like Bangladesh | |
| CN115113301B (zh) | 一种基于多源数据融合的应急短临预报方法及系统 | |
| Yu et al. | Deep learning-based downscaling of tropospheric nitrogen dioxide using ground-level and satellite observations | |
| Wen et al. | Applying an artificial neural network to simulate and predict Chinese fir (Cunninghamia lanceolata) plantation carbon flux in subtropical China | |
| US11880767B2 (en) | Increasing accuracy and resolution of weather forecasts using deep generative models | |
| Fan et al. | A comparative study of four merging approaches for regional precipitation estimation | |
| Wang et al. | Customized deep learning for precipitation bias correction and downscaling | |
| CN114548595A (zh) | 基于注意力机制的强对流天气物理特征量预测方法及系统 | |
| Kheir et al. | An improved deep learning procedure for statistical downscaling of climate data | |
| Zhang et al. | Merging multisatellite precipitation products using stacking method and the censored-shifted gamma ensemble model output statistics in china's Beimiaoji basin | |
| Kim et al. | Multi-source deep data fusion and super-resolution for downscaling sea surface temperature guided by Generative Adversarial Network-based spatiotemporal dependency learning | |
| CN112200355B (zh) | 一种滑坡的预测方法、装置、设备和存储介质 | |
| Rumapea et al. | Improving Convective Cloud Classification with Deep Learning: The CC-Unet Model. | |
| Harpham et al. | A Bayesian method for improving probabilistic wave forecasts by weighting ensemble members | |
| CN112767244A (zh) | 一种高分辨率地表要素无缝感知方法与系统 | |
| Verma et al. | Deep learning techniques in extreme weather events: A review | |
| CN115859797A (zh) | 一种基于深度学习的卫星定量降水估计方法 | |
| Sun et al. | Deep learning in statistical downscaling for deriving high spatial resolution gridded meteorological data: A systematic review | |
| Tran et al. | Creating a spatially continuous air temperature dataset for Taiwan using thermal remote-sensing data and machine learning algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |