CN113936142A - 一种基于深度学习的降水临近预报方法及装置 - Google Patents
一种基于深度学习的降水临近预报方法及装置 Download PDFInfo
- Publication number
- CN113936142A CN113936142A CN202111195256.9A CN202111195256A CN113936142A CN 113936142 A CN113936142 A CN 113936142A CN 202111195256 A CN202111195256 A CN 202111195256A CN 113936142 A CN113936142 A CN 113936142A
- Authority
- CN
- China
- Prior art keywords
- data
- radar
- training
- reflectivity
- echo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 238000013459 approach Methods 0.000 title description 4
- 238000013277 forecasting method Methods 0.000 title description 4
- 238000012549 training Methods 0.000 claims abstract description 64
- 238000001556 precipitation Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000013213 extrapolation Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000012795 verification Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 238000002310 reflectometry Methods 0.000 claims description 71
- 230000006870 function Effects 0.000 claims description 32
- 230000004580 weight loss Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000002592 echocardiography Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/95—Radar or analogous systems specially adapted for specific applications for meteorological use
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/418—Theoretical aspects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Environmental & Geological Engineering (AREA)
- Computational Linguistics (AREA)
- Atmospheric Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Electromagnetism (AREA)
- Signal Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及信息技术领域，提供了一种基于深度学习的降水临近预报方法及装置。目的在于解决传统模型训练对强回波预测上的关注不够以及解决雷达回波时空序列预测难的问题。主要方案包括以下步骤：步骤S1、首先对天气雷达基数据作预处理；步骤S2、将预处理后的雷达回波数据分为深度学习网络训练所用的训练集、验证集与测试集；步骤S3、使用训练集、验证集与测试集进行时空编码预测网络模型训练，利用训练好的时空编码预测网络模型进行雷达回波外推，得到预测回波数据，并对预测回波数据与实际观测数据进行对比；步骤S4、最后将预测后的雷达回波进行雷达定量降水估测，并和地面真实降水数据对比进行降水预报检测。
Description
技术领域
本发明涉及信息技术领域，提供了一种基于深度学习的降水临近预报方法及装置。
背景技术
目前降水临近预报的研究方法主要基于天气雷达数据的雷达回波外推技术以及基于数值天气预报(Numerical Weather Prediction，NWP)技术，传统的雷达回波外推技术是根据前几个时刻的雷达观测回波数据来推断雷达回波未来所移动的位置和强度变化，以实现对强对流天气的跟踪预报，现阶段国内外普遍使用的雷达回波外推方法为雷达回波单体质心跟踪算法和雷达回波区域跟踪算法。雷达回波单体质心跟踪算法首先识别风暴单体，通过拟合识别到的雷达回波的质心的路径去线性推断后一时刻的回波位置，但该方法依赖反射率阈值来识别风暴单体所以只对强回波信息的利用较为充分，仅适合应用于对风暴的追踪，在预测大范围降水的回波变化上效果很差，雷达回波单体质心跟踪算法主要基于单个雷达反射率因子，可识别单个的3D雷暴单体并跟踪单体质心路径，它适用于跟踪和临近预报强雷暴单体，但并没有考虑大气动力和热力学等因素对回波强度变化的影响，所以在天气现象较弱或一般降水天气的临近预报方面应用很差。尽管雷达回波区域跟踪算法可以处理平缓变化的层状降水系统，但是由于运动矢量的错误使得计算量增加，因此雷达回波区域跟踪算法难以预测快速运动和快速发展的强对流天气。NWP技术是指使用大气与海洋的数学模型来预测大气状态的变化，它能够很好地考虑到大气运动中发生的物理过程，包括热力学过程和云内微物理发展等，从而能够模拟对流系统的生成、发展与消亡。NWP方法确实可以模拟潜在的大气物理学，并且可以提供可靠的预测，但是通常需要花费数小时来进行模拟，这限制了其在临近预报中的使用能力，尽管NWP模型已经取得了很大的进步，但仍然面临一些困难和挑战，例如对流尺度的模型误差快速增长，该方法仍不足以进行短临预报。因此，这些传统的临近预报技术几乎无法及时、准确预测回波的发生、消失和强度变化，所以需要开发新的临近预报技术。
发明内容
本发明的目的在于解决传统模型训练对强回波预测上的关注不够以及解决雷达回波时空序列预测难的问题。
本发明为了解决上述技术问题，因此采用以下技术手段：
一种基于深度学习的降水临近预报方法，包括以下步骤：
步骤S1、首先对天气雷达基数据作预处理；
步骤S2、将预处理后的雷达回波数据分为深度学习网络训练所用的训练集、验证集与测试集；
步骤S3、使用训练集、验证集与测试集进行时空编码预测网络模型训练，利用训练好的时空编码预测网络模型进行雷达回波外推，得到预测回波数据，并对预测回波数据与实际观测数据进行对比；
步骤S4、最后将预测后的雷达回波进行雷达定量降水估测，并和地面真实降水数据对比进行降水预报检测。
上述技术方案中，步骤S1包括以下步骤：
S1.1、取雷达反射率数据，通过比较雷达位置所在经纬度的相同方位角相同距离处不同高度处的反射率数值，取最大值保留为组合反射率数组内数值，将极坐标数据转换成笛卡尔坐标格点上，实现数据网格化，最终获得组合反射率数据；
S1.2、利用组合反射率数据中的最大值和最小值将原始的反射率因子Z通过线性变换为像素值P将反射率因子归一化映射在[0,1]之间：
基于组合反射率数据上，将设置为n×n大小的滤波窗口，如果该窗口中心点周围的有值点个数与窗口总个数的比值小于阈值Pij时，则该中心点被认为不被保留，作为孤立点回波删除。
公式中Zi,j为此格点的反射率因子，spval为无效值，Nz为有效点个数，Pij为窗口中有效点个数与窗口总个数的比值；
裁剪调雷达回波图像四周边缘，得到与处理后的雷达回波数据。
上述技术方案中，时空编码预测网络模型包括编码网络结构和预测网络结构，编码网络结构通过ConvLSTM网络堆叠组成，预测网络结构通过ConvLSTM网络堆叠组成，
将输入数据送进时空编码预测网络后数据的变化过程：
输入数据进过编码网络结构的三层下采样层时进行x、y、z倍的缩小，从n×n的数据大小变成(n/x)×(n/x)再到(n/y)×(n/y)最后缩小到(n/z)×(n/z)；同时穿插了三层ConvLSTM网络，拥有了64、192、192的隐藏状态(Hidden state)并且把隐藏状态传给预测网络结构中对应的三层ConvLSTM网络，之后输入数据传入预测网络结构的三层上采样层进行了z、x、y倍的同比例放大，(n/z)×(n/z)数据恢复成n×n的大小，输出未来时刻的预测数据；
上述技术方案中，时空编码预测网络模型的训练包括如下步骤：
将前0.5-1h的数据图像输入到时空编码预测网络模型中，输出的图像为未来1-2h内的雷达反射率预测数据，使用W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数计算模型输出结果与实际数据的差异度，并利用随机梯度下降等方法，对模型进行优化，更新权重与偏置，使差异值降到最低值。
上述技术方案中，W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数为：
Loss＝10000×(W-MSE+W-MAE)
其中每个格点的反射率因子dBZ分配权重W(dBZ)，其中N是图像帧的总数，Wn,w,h是与第n帧中的第(w，h)个格点相对应的权重，Xn,w,h代表实际的第n帧中的第(w，h)个格点相对应的数据，xn,w,h表示预测输出的第n帧中的第(w，h)个格点相对应的数据。
本发明还提过了一种基于深度学习的降水临近预报装置，包括：
预处理模块：首先对天气雷达基数据作预处理；
数据准备模块：将预处理后的雷达回波数据分为深度学习网络训练所用的训练集、验证集与测试集；
训练模块：使用训练集、验证集与测试集进行时空编码预测网络模型训练，利用训练好的时空编码预测网络模型进行雷达回波外推，得到预测回波数据，并对预测回波数据与实际观测数据进行对比；
预测模块：最后将预测后的雷达回波进行雷达定量降水估测，并和地面真实降水数据对比进行降水预报检测。
上述技术方案中，预处理模块包括：
S1.1、取雷达反射率数据，通过比较雷达位置所在经纬度的相同方位角相同距离处不同高度处的反射率数值，取最大值保留为组合反射率数组内数值，将极坐标数据转换成笛卡尔坐标格点上，实现数据网格化，最终获得组合反射率数据；
S1.2、利用组合反射率数据中的最大值和最小值将原始的反射率因子Z通过线性变换为像素值P将反射率因子归一化映射在[0,1]之间：
基于组合反射率数据上，将设置为n×n大小的滤波窗口，如果该窗口中心点周围的有值点个数与窗口总个数的比值小于阈值Pij时，则该中心点被认为不被保留，作为孤立点回波删除。
公式中Zi,j为此格点的反射率因子，spval为无效值，Nz为有效点个数，Pij为窗口中有效点个数与窗口总个数的比值；
裁剪调雷达回波图像四周边缘，得到与处理后的雷达回波数据。
上述技术方案中，时空编码预测网络模型包括编码网络结构和预测网络结构，编码网络结构通过ConvLSTM网络堆叠组成，预测网络结构通过ConvLSTM网络堆叠组成，
将输入数据送进时空编码预测网络后数据的变化过程：
输入数据进过编码网络结构的三层下采样层时进行x、y、z倍的缩小，从n×n的数据大小变成(n/x)×(n/x)再到(n/y)×(n/y)最后缩小到(n/z)×(n/z)；同时穿插了三层ConvLSTM网络，拥有了64、192、192的隐藏状态(Hidden state)并且把隐藏状态传给预测网络结构中对应的三层ConvLSTM网络，之后输入数据传入预测网络结构的三层上采样层进行了z、x、y倍的同比例放大，(n/z)×(n/z)数据恢复成n×n的大小，输出未来时刻的预测数据；
上述技术方案中，时空编码预测网络模型的训练包括如下步骤：
将前0.5-1h的数据图像输入到时空编码预测网络模型中，输出的图像为未来1-2h内的雷达反射率预测数据，使用W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数计算模型输出结果与实际数据的差异度，并利用随机梯度下降等方法，对模型进行优化，更新权重与偏置，使差异值降到最低值。
上市技术方案中，W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数为：
Loss＝10000×(W-MSE+W-MAE)
其中每个格点的反射率因子dBZ分配权重W(dBZ)，计算出的W-MSE和W-MAE为以上公式，其中N是图像帧的总数，Wn,w,h是与第n帧中的第(w，h)个格点相对应的权重，Xn,w,h代表实际的第n帧中的第(w，h)个格点相对应的数据，xn,w,h表示预测输出的第n帧中的第(w，h)个格点相对应的数据。
因为本发明采用上述技术方案，因此具备以下有益效果：
一、由于现实业务中我们更加关注强降水也就是强回波的预测，但是大多数情况强回波相比于总体回波来说占比较小，所以本文的神经网络采用改进优化后的W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数。目的是为了增强模型对大雨的预测能力，从而希望能够预测短时强降水目标相吻合。
二、本发明将结合卷积神经网络与长短期记忆网络优点的ConvLSTM网络结构与时空编码预测网络模型(Encoder-Forecast模型)相结合来解决雷达回波时空序列预测问题，同时本文的深度学习网络将MSE及MAE传统损失函数优化后的W-MSE和W-MAE相结合得到权重损失函数，并作为模型训练的损失函数，W-MSE和W-MAE可将更多的权重分配给较强的回波，使得模型训练更加关注到强回波预测上。
附图说明
图1为本发明框架结构示意图：
具体实施方式
为方便本领域技术人员更好的理解本发明的技术方案，先对本发明做如下具体说明：
本申请首先利用北京雷达2015～2016年6月～9月、以及海南海口和东方雷达2018～2019年9月～12月收集的降水数据进行数据预处理，包括组合反射率生成、归一化处理、孤立点滤波、裁剪等转换成模型训练可用的标准数据格式，建立雷达回波数据集。之后将结合卷积神经网络与长短期记忆网络优点的ConvLSTM网络结构与Encoder-Forecast模型相结合来解决雷达回波时空序列预测问题，同时本文的深度学习网络将MSE及MAE传统损失函数优化后的W-MSE和W-MAE相结合得到权重损失函数，并作为模型训练的损失函数，W-MSE和W-MAE可将更多的权重分配给较强的回波，使得模型训练更加关注到强回波预测上。模型训练将前半小时的雷达回波数据作为历史数据训练神经网络，并预测未来一小时内逐6分钟的雷达回波，最终得到6分钟时间分辨率和0.01度空间分辨率预报结果，通过计算雷达回波预报的命中率(POD)、误报率(FAR)、临界成功指数(CSI)检验参数来对比深度学习外推方法与传统雷达回波外推方法，结果表明在20dBZ、30dBZ、40dBZ反射率阈值内，半小时及一小时的雷达回波外推结果CSI可以提高0.11～0.24，POD可以提高0.10～0.29，一小时的雷达回波外推结果FAR可以降低0.15～0.21。最后将雷达回波预报结果利用Z/R关系进行雷达定量降水估测并与地面自动气象站观测降水数据作对比。计算出降水预报的POD、FAR、CSI，结果表明在0.5mm/h、2mm/h、5mm/h、10mm/h、20mm/h雨强阈值内，半小时降水结果CSI平均为0.512，POD平均为0.896，FAR平均为0.472，一小时降水结果CSI平均为0.406，POD为0.890，FAR为0.570。
研究证明本申请所用方法对反射率因子位置及强度预测更加准确，并且对降水临近预报上有一定的预报能力。开展基于深度学习的降水临近预报研究，可以提高短时临近灾害天气监测预警准确率和精细化水平。
一种基于深度学习的降水临近预报方法，包括以下步骤：
步骤S1、首先对天气雷达基数据作预处理；
步骤S2、将预处理后的雷达回波数据分为深度学习网络训练所用的训练集、验证集与测试集；
步骤S3、使用训练集、验证集与测试集进行时空编码预测网络模型训练，利用训练好的时空编码预测网络模型进行雷达回波外推，得到预测回波数据，并对预测回波数据与实际观测数据进行对比；
步骤S4、最后将预测后的雷达回波进行雷达定量降水估测，并和地面真实降水数据对比进行降水预报检测。
上述技术方案中，步骤S1包括以下步骤：
S1.1、取雷达反射率数据，通过比较雷达位置所在经纬度的相同方位角相同距离处不同高度处的反射率数值，取最大值保留为组合反射率数组内数值，将极坐标数据转换成笛卡尔坐标格点上，实现数据网格化，最终获得组合反射率数据；
S1.2、利用组合反射率数据中的最大值和最小值将原始的反射率因子Z通过线性变换为像素值P将反射率因子归一化映射在[0,1]之间：
基于组合反射率数据上，将设置为n×n大小的滤波窗口，如果该窗口中心点周围的有值点个数与窗口总个数的比值小于阈值Pij时，则该中心点被认为不被保留，作为孤立点回波删除。
公式中Zi,j为此格点的反射率因子，spval为无效值，Nz为有效点个数，Pij为窗口中有效点个数与窗口总个数的比值；
裁剪调雷达回波图像四周边缘，得到与处理后的雷达回波数据。
上述技术方案中，时空编码预测网络模型包括编码网络结构和预测网络结构，编码网络结构通过ConvLSTM网络堆叠组成，预测网络结构通过ConvLSTM网络堆叠组成，
将输入数据送进时空编码预测网络后数据的变化过程：
输入数据进过编码网络结构的三层下采样层时进行x、y、z倍的缩小，从n×n的数据大小变成(n/x)×(n/x)再到(n/y)×(n/y)最后缩小到(n/z)×(n/z)；同时穿插了三层ConvLSTM网络，拥有了64、192、192的隐藏状态(Hidden state)并且把隐藏状态传给预测网络结构中对应的三层ConvLSTM网络，之后输入数据传入预测网络结构的三层上采样层进行了z、x、y倍的同比例放大，(n/z)×(n/z)数据恢复成n×n的大小，输出未来时刻的预测数据；
上述技术方案中，时空编码预测网络模型的训练包括如下步骤：
将前0.5-1h的数据图像输入到时空编码预测网络模型中，输出的图像为未来1-2h内的雷达反射率预测数据，使用W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数计算模型输出结果与实际数据的差异度，并利用随机梯度下降等方法，对模型进行优化，更新权重与偏置，使差异值降到最低值。
上述技术方案中，W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数为：
Loss＝10000×(W-MSE+W-MAE)
其中每个格点的反射率因子dBZ分配权重W(dBZ)，其中N是图像帧的总数，Wn,w,h是与第n帧中的第(w，h)个格点相对应的权重，Xn,w,h代表实际的第n帧中的第(w，h)个格点相对应的数据，xn,w,h表示预测输出的第n帧中的第(w，h)个格点相对应的数据。
本发明还提过了一种基于深度学习的降水临近预报装置，包括：
预处理模块：首先对天气雷达基数据作预处理；
数据准备模块：将预处理后的雷达回波数据分为深度学习网络训练所用的训练集、验证集与测试集；
训练模块：使用训练集、验证集与测试集进行时空编码预测网络模型训练，利用训练好的时空编码预测网络模型进行雷达回波外推，得到预测回波数据，并对预测回波数据与实际观测数据进行对比；
预测模块：最后将预测后的雷达回波进行雷达定量降水估测，并和地面真实降水数据对比进行降水预报检测。
上述技术方案中，预处理模块包括：
S1.1、取雷达反射率数据，通过比较雷达位置所在经纬度的相同方位角相同距离处不同高度处的反射率数值，取最大值保留为组合反射率数组内数值，将极坐标数据转换成笛卡尔坐标格点上，实现数据网格化，最终获得组合反射率数据；
S1.2、利用组合反射率数据中的最大值和最小值将原始的反射率因子Z通过线性变换为像素值P将反射率因子归一化映射在[0,1]之间：
基于组合反射率数据上，将设置为n×n大小的滤波窗口，如果该窗口中心点周围的有值点个数与窗口总个数的比值小于阈值Pij时，则该中心点被认为不被保留，作为孤立点回波删除。
公式中Zi,j为此格点的反射率因子，spval为无效值，Nz为有效点个数，Pij为窗口中有效点个数与窗口总个数的比值；
裁剪调雷达回波图像四周边缘，得到与处理后的雷达回波数据。
上述技术方案中，时空编码预测网络模型包括编码网络结构和预测网络结构，编码网络结构通过ConvLSTM网络堆叠组成，预测网络结构通过ConvLSTM网络堆叠组成，
将输入数据送进时空编码预测网络后数据的变化过程：
输入数据进过编码网络结构的三层下采样层时进行x、y、z倍的缩小，从n×n的数据大小变成(n/x)×(n/x)再到(n/y)×(n/y)最后缩小到(n/z)×(n/z)；同时穿插了三层ConvLSTM网络，拥有了64、192、192的隐藏状态(Hidden state)并且把隐藏状态传给预测网络结构中对应的三层ConvLSTM网络，之后输入数据传入预测网络结构的三层上采样层进行了z、x、y倍的同比例放大，(n/z)×(n/z)数据恢复成n×n的大小，输出未来时刻的预测数据；
例子：
输入数据进过编码网络结构的三层下采样层时进行5、4、2倍的缩小，从400×400的数据大小变成80×80再到20×20最后缩小到10×10；此目的是为了在编码网络结构中数据缩小的时候卷积层能捕捉到周围更多的空间信息，同时穿插了三层ConvLSTM网络，拥有了64、192、192的隐藏状态(Hidden state)并且把隐藏状态传给预测网络结构(下层)中对应的三层ConvLSTM网络，之后输入数据传入预测网络的三层上采样层进行了2、4、5倍的同比例放大，10×10数据恢复成400×400的大小，输出未来时刻的预测数据。
上述技术方案中，时空编码预测网络模型的训练包括如下步骤：
将前0.5-1h的数据图像输入到时空编码预测网络模型中，输出的图像为未来1-2h内的雷达反射率预测数据，使用W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数计算模型输出结果与实际数据的差异度，并利用随机梯度下降等方法，对模型进行优化，更新权重与偏置，使差异值降到最低值。
上市技术方案中，W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数为：
Loss＝10000×(W-MSE+W-MAE)
其中每个格点的反射率因子dBZ分配权重W(dBZ)，计算出的W-MSE和W-MAE为以上公式，其中N是图像帧的总数，Wn,w,h是与第n帧中的第(w，h)个格点相对应的权重，Xn,w,h代表实际的第n帧中的第(w，h)个格点相对应的数据，xn,w,h表示预测输出的第n帧中的第(w，h)个格点相对应的数据。
在进行深度学习神经网络训练之前，首先要保障数据质量，数据质量可以直接影响神经网络的训练效果，所以数据质量对于网络训练来说至关重要，于是数据预处理在深度学习领域是不能缺少的一个环节。首先不同的雷达几乎由不同的公司设计和生产，并且基数据是二进制文件不能直接使用，因此在实验前需要根据雷达型号所对应的数据结构对基数据先进行解码，解码过后的数据密度不均匀，为方便后续的数据处理分析，需将极坐标数据转化为笛卡尔坐标形式，实现数据网格化，网格化后的数据还可能伴随杂质过多、无效信息过多等问题。如果将这些未处理的数据直接输入网络训练，可能会得到效果较差的神经网络训练结果，可能会出现网络学习到的特征价值不高、网络运算量较大、效率低等问题。所以对多普勒雷达数据进行预处理，能够更好的利用雷达基数据也能得到更高质量的训练结果。本申请使用的预处理方法包括雷达二次产品生成、数据归一化处理、孤立点回波滤除、裁剪处理。
Claims (10)
1.一种基于深度学习的降水临近预报方法，其特征在于，包括以下步骤：
步骤S1、首先对天气雷达基数据作预处理；
步骤S2、将预处理后的雷达回波数据分为深度学习网络训练所用的训练集、验证集与测试集；
步骤S3、使用训练集、验证集与测试集进行时空编码预测网络模型训练，利用训练好的时空编码预测网络模型进行雷达回波外推，得到预测回波数据，并对预测回波数据与实际观测数据进行对比；
步骤S4、最后将预测后的雷达回波进行雷达定量降水估测，并和地面真实降水数据对比进行降水预报检测。
2.根据权利要求1所述的一种基于深度学习的降水临近预报方法，其特征在于，
步骤S1包括以下步骤：
S1.1、取雷达反射率数据，通过比较雷达位置所在经纬度的相同方位角相同距离处不同高度处的反射率数值，取最大值保留为组合反射率数组内数值，将极坐标数据转换成笛卡尔坐标格点上，实现数据网格化，最终获得组合反射率数据；
S1.2、利用组合反射率数据中的最大值和最小值将原始的反射率因子Z通过线性变换为像素值P将反射率因子归一化映射在[0,1]之间：
基于组合反射率数据上，将设置为n×n大小的滤波窗口，如果该窗口中心点周围的有值点个数与窗口总个数的比值小于阈值Pij时，则该中心点被认为不被保留，作为孤立点回波删除。
公式中Zi,j为此格点的反射率因子，spval为无效值，Nz为有效点个数，Pij为窗口中有效点个数与窗口总个数的比值；
裁剪调雷达回波图像四周边缘，得到与处理后的雷达回波数据。
3.根据权利要求1所述的一种基于深度学习的降水临近预报方法，其特征在于，时空编码预测网络模型包括编码网络结构和预测网络结构，编码网络结构通过ConvLSTM网络堆叠组成，预测网络结构通过ConvLSTM网络堆叠组成，
将输入数据送进时空编码预测网络后数据的变化过程：
输入数据进过编码网络结构的三层下采样层时进行x、y、z倍的缩小，从n×n的数据大小变成(n/x)×(n/x)再到(n/y)×(n/y)最后缩小到(n/z)×(n/z)；同时穿插了三层ConvLSTM网络，拥有了64、192、192的隐藏状态(Hidden state)并且把隐藏状态传给预测网络结构中对应的三层ConvLSTM网络，之后输入数据传入预测网络结构的三层上采样层进行了z、x、y倍的同比例放大，(n/z)×(n/z)数据恢复成n×n的大小，输出未来时刻的预测数据。
4.根据权利要求1所述的一种基于深度学习的降水临近预报方法，其特征在于，时空编码预测网络模型的训练包括如下步骤：
将前0.5-1h的数据图像输入到时空编码预测网络模型中，输出的图像为未来1-2h内的雷达反射率预测数据，使用W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数计算模型输出结果与实际数据的差异度，并利用随机梯度下降等方法，对模型进行优化，更新权重与偏置，使差异值降到最低值。
5.根据权利要求2所述的一种基于深度学习的降水临近预报方法，其特征在于，W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数为：
Loss＝10000×(W-MSE+W-MAE)
其中每个格点的反射率因子dBZ分配权重W(dBZ)，其中N是图像帧的总数，Wn,w,h是与第n帧中的第(w，h)个格点相对应的权重，Xn,w,h代表实际的第n帧中的第(w，h)个格点相对应的数据，xn,w,h表示预测输出的第n帧中的第(w，h)个格点相对应的数据。
6.一种基于深度学习的降水临近预报装置，其特征在于，包括：
预处理模块：首先对天气雷达基数据作预处理；
数据准备模块：将预处理后的雷达回波数据分为深度学习网络训练所用的训练集、验证集与测试集；
训练模块：使用训练集、验证集与测试集进行时空编码预测网络模型训练，利用训练好的时空编码预测网络模型进行雷达回波外推，得到预测回波数据，并对预测回波数据与实际观测数据进行对比；
预测模块：最后将预测后的雷达回波进行雷达定量降水估测，并和地面真实降水数据对比进行降水预报检测。
7.根据权利要求1所述的一种基于深度学习的降水临近预报装置，其特征在于，
预处理模块包括：
S1.1、取雷达反射率数据，通过比较雷达位置所在经纬度的相同方位角相同距离处不同高度处的反射率数值，取最大值保留为组合反射率数组内数值，将极坐标数据转换成笛卡尔坐标格点上，实现数据网格化，最终获得组合反射率数据；
S1.2、利用组合反射率数据中的最大值和最小值将原始的反射率因子Z通过线性变换为像素值P将反射率因子归一化映射在[0,1]之间：
基于组合反射率数据上，将设置为n×n大小的滤波窗口，如果该窗口中心点周围的有值点个数与窗口总个数的比值小于阈值Pij时，则该中心点被认为不被保留，作为孤立点回波删除。
公式中Zi,j为此格点的反射率因子，spval为无效值，Nz为有效点个数，Pij为窗口中有效点个数与窗口总个数的比值；
裁剪调雷达回波图像四周边缘，得到与处理后的雷达回波数据。
8.根据权利要求6所述的一种基于深度学习的降水临近预报方法，其特征在于，时空编码预测网络模型包括编码网络结构和预测网络结构，编码网络结构通过ConvLSTM网络堆叠组成，预测网络结构通过ConvLSTM网络堆叠组成，
将输入数据送进时空编码预测网络后数据的变化过程：
输入数据进过编码网络结构的三层下采样层时进行x、y、z倍的缩小，从n×n的数据大小变成(n/x)×(n/x)再到(n/y)×(n/y)最后缩小到(n/z)×(n/z)；同时穿插了三层ConvLSTM网络，拥有了64、192、192的隐藏状态(Hidden state)并且把隐藏状态传给预测网络结构中对应的三层ConvLSTM网络，之后输入数据传入预测网络结构的三层上采样层进行了z、x、y倍的同比例放大，(n/z)×(n/z)数据恢复成n×n的大小，输出未来时刻的预测数据。
9.根据权利要求6所述的一种基于深度学习的降水临近预报方法，其特征在于，时空编码预测网络模型的训练包括如下步骤：
将前0.5-1h的数据图像输入到时空编码预测网络模型中，输出的图像为未来1-2h内的雷达反射率预测数据，使用W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数计算模型输出结果与实际数据的差异度，并利用随机梯度下降等方法，对模型进行优化，更新权重与偏置，使差异值降到最低值。
10.根据权利要求7所述的一种基于深度学习的降水临近预报方法，其特征在于，W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数为：
Loss＝10000×(W-MSE+W-MAE)
其中每个格点的反射率因子dBZ分配权重W(dBZ)，计算出的W-MSE和W-MAE为以上公式，其中N是图像帧的总数，Wn,w,h是与第n帧中的第(w，h)个格点相对应的权重，Xn,w,h代表实际的第n帧中的第(w，h)个格点相对应的数据，xn,w,h表示预测输出的第n帧中的第(w，h)个格点相对应的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111195256.9A CN113936142B (zh) | 2021-10-13 | 2021-10-13 | 一种基于深度学习的降水临近预报方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111195256.9A CN113936142B (zh) | 2021-10-13 | 2021-10-13 | 一种基于深度学习的降水临近预报方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113936142A true CN113936142A (zh) | 2022-01-14 |
| CN113936142B CN113936142B (zh) | 2024-06-18 |
Family
ID=79279242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111195256.9A Active CN113936142B (zh) | 2021-10-13 | 2021-10-13 | 一种基于深度学习的降水临近预报方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113936142B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114325880A (zh) * | 2022-03-08 | 2022-04-12 | 浙江工业大学 | 一种基于雷达回波图的降雨预测方法及装置 |
| CN114488070A (zh) * | 2022-04-08 | 2022-05-13 | 北京弘象科技有限公司 | 一种基于深度学习模型的雷达回波外推方法和装置 |
| CN114636981A (zh) * | 2022-02-28 | 2022-06-17 | 广东省气象台(南海海洋气象预报中心) | 基于雷达回波的在线深度学习台风中心定位系统 |
| CN114742206A (zh) * | 2022-04-20 | 2022-07-12 | 南京信息工程大学 | 综合多时空尺度多普勒雷达数据的降雨强度估计方法 |
| CN115016042A (zh) * | 2022-06-06 | 2022-09-06 | 湖南师范大学 | 基于多编码器融合雷达和降水信息的降水预测方法及系统 |
| CN115113303A (zh) * | 2022-06-21 | 2022-09-27 | 天津大学 | 基于元学习的厄尔尼诺极端天气预警方法及装置 |
| CN115236770A (zh) * | 2022-06-29 | 2022-10-25 | 广西壮族自治区气象科学研究所 | 基于时空堆叠和样本重构的非线性短时临近降水预报方法 |
| CN115755227A (zh) * | 2023-01-10 | 2023-03-07 | 南京信大气象科学技术研究院有限公司 | 一种基于深度神经网络模型的三维雷达外推方法 |
| CN115792847A (zh) * | 2022-11-08 | 2023-03-14 | 江西师范大学 | 一种基于神经网络和回波垂直信息的定量降水估测方法 |
| CN116719002A (zh) * | 2023-08-08 | 2023-09-08 | 北京弘象科技有限公司 | 定量降水估计方法、装置、电子设备及计算机存储介质 |
| CN116953653A (zh) * | 2023-09-19 | 2023-10-27 | 成都远望科技有限责任公司 | 一种基于多波段天气雷达组网回波外推方法 |
| CN117129963A (zh) * | 2023-10-09 | 2023-11-28 | 北京大学重庆大数据研究院 | 基于迁移预测的雷达回波外推方法及其可读存储介质 |
| CN117907965A (zh) * | 2024-03-19 | 2024-04-19 | 江苏省气象台 | 面向对流风暴精细结构的三维雷达回波临近预报方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170357029A1 (en) * | 2016-06-14 | 2017-12-14 | The Climate Corporation | Supervised neural network to predict unlabeled rain rates |
| CN112180375A (zh) * | 2020-09-14 | 2021-01-05 | 成都信息工程大学 | 一种基于改进的TrajGRU网络的气象雷达回波外推方法 |
| CN112415521A (zh) * | 2020-12-17 | 2021-02-26 | 南京信息工程大学 | 基于cgru的强时空特性雷达回波临近预报方法 |
| US20210103051A1 (en) * | 2019-10-04 | 2021-04-08 | International Business Machines Corporation | Predicting weather radar images |
| CN113064222A (zh) * | 2021-03-09 | 2021-07-02 | 中国气象科学研究院 | 雷电预警预报方法和系统 |
-
2021
- 2021-10-13 CN CN202111195256.9A patent/CN113936142B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170357029A1 (en) * | 2016-06-14 | 2017-12-14 | The Climate Corporation | Supervised neural network to predict unlabeled rain rates |
| US20210103051A1 (en) * | 2019-10-04 | 2021-04-08 | International Business Machines Corporation | Predicting weather radar images |
| CN112180375A (zh) * | 2020-09-14 | 2021-01-05 | 成都信息工程大学 | 一种基于改进的TrajGRU网络的气象雷达回波外推方法 |
| CN112415521A (zh) * | 2020-12-17 | 2021-02-26 | 南京信息工程大学 | 基于cgru的强时空特性雷达回波临近预报方法 |
| CN113064222A (zh) * | 2021-03-09 | 2021-07-02 | 中国气象科学研究院 | 雷电预警预报方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 方巍等: "对抗型长短期记忆网络的雷达回波外推算法", 《中国图像图形学报》, 16 May 2021 (2021-05-16) * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114636981A (zh) * | 2022-02-28 | 2022-06-17 | 广东省气象台(南海海洋气象预报中心) | 基于雷达回波的在线深度学习台风中心定位系统 |
| CN114325880A (zh) * | 2022-03-08 | 2022-04-12 | 浙江工业大学 | 一种基于雷达回波图的降雨预测方法及装置 |
| CN114488070A (zh) * | 2022-04-08 | 2022-05-13 | 北京弘象科技有限公司 | 一种基于深度学习模型的雷达回波外推方法和装置 |
| CN114488070B (zh) * | 2022-04-08 | 2022-07-19 | 北京弘象科技有限公司 | 一种基于深度学习模型的雷达回波外推方法和装置 |
| CN114742206A (zh) * | 2022-04-20 | 2022-07-12 | 南京信息工程大学 | 综合多时空尺度多普勒雷达数据的降雨强度估计方法 |
| CN115016042A (zh) * | 2022-06-06 | 2022-09-06 | 湖南师范大学 | 基于多编码器融合雷达和降水信息的降水预测方法及系统 |
| CN115113303B (zh) * | 2022-06-21 | 2023-10-31 | 天津大学 | 基于元学习的厄尔尼诺极端天气预警方法及装置 |
| CN115113303A (zh) * | 2022-06-21 | 2022-09-27 | 天津大学 | 基于元学习的厄尔尼诺极端天气预警方法及装置 |
| CN115236770A (zh) * | 2022-06-29 | 2022-10-25 | 广西壮族自治区气象科学研究所 | 基于时空堆叠和样本重构的非线性短时临近降水预报方法 |
| CN115236770B (zh) * | 2022-06-29 | 2024-05-28 | 广西壮族自治区气象科学研究所 | 基于时空堆叠和样本重构的非线性短时临近降水预报方法 |
| CN115792847A (zh) * | 2022-11-08 | 2023-03-14 | 江西师范大学 | 一种基于神经网络和回波垂直信息的定量降水估测方法 |
| CN115755227A (zh) * | 2023-01-10 | 2023-03-07 | 南京信大气象科学技术研究院有限公司 | 一种基于深度神经网络模型的三维雷达外推方法 |
| CN116719002B (zh) * | 2023-08-08 | 2023-10-27 | 北京弘象科技有限公司 | 定量降水估计方法、装置、电子设备及计算机存储介质 |
| CN116719002A (zh) * | 2023-08-08 | 2023-09-08 | 北京弘象科技有限公司 | 定量降水估计方法、装置、电子设备及计算机存储介质 |
| CN116953653A (zh) * | 2023-09-19 | 2023-10-27 | 成都远望科技有限责任公司 | 一种基于多波段天气雷达组网回波外推方法 |
| CN116953653B (zh) * | 2023-09-19 | 2023-12-26 | 成都远望科技有限责任公司 | 一种基于多波段天气雷达组网回波外推方法 |
| CN117129963A (zh) * | 2023-10-09 | 2023-11-28 | 北京大学重庆大数据研究院 | 基于迁移预测的雷达回波外推方法及其可读存储介质 |
| CN117907965A (zh) * | 2024-03-19 | 2024-04-19 | 江苏省气象台 | 面向对流风暴精细结构的三维雷达回波临近预报方法 |
| CN117907965B (zh) * | 2024-03-19 | 2024-05-24 | 江苏省气象台 | 面向对流风暴精细结构的三维雷达回波临近预报方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113936142B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113936142B (zh) | 一种基于深度学习的降水临近预报方法及装置 | |
| Zhou et al. | Forecasting different types of convective weather: A deep learning approach | |
| CN108761574B (zh) | 基于多源信息融合的降雨量估算方法 | |
| CN110363327B (zh) | 基于ConvLSTM和3D-CNN的短临降水预测方法 | |
| Cyriac et al. | Variability in Coastal Flooding predictions due to forecast errors during Hurricane Arthur | |
| CN109946762B (zh) | 一种基于概率分布短时预报降水的方法及系统 | |
| Saxena et al. | A review study of weather forecasting using artificial neural network approach | |
| CN111428862B (zh) | 一种极类不平衡时空联合对流初生短临预报方法 | |
| CN112946784B (zh) | 一种基于深度学习的SuperDARN雷达对流图短期预报方法 | |
| CN117556197B (zh) | 一种基于人工智能的台风涡旋初始化方法 | |
| CN114048944A (zh) | 一种暴雨诱发地质灾害下应撤离人口及损毁房屋的预估方法 | |
| CN114511061A (zh) | 基于深度神经网络的岸滨地区海雾能见度预报方法 | |
| CN112668615B (zh) | 一种基于深度跨尺度外推融合的卫星云图预测方法 | |
| CN117710508A (zh) | 基于改进条件生成对抗网络的近地表温度反演方法和装置 | |
| Wang et al. | A rapid identification and warning method for severe weather via Doppler radar based on an improved TITAN algorithm | |
| CN116822716A (zh) | 一种基于时空注意力的台风预测方法、系统、设备及介质 | |
| Xiong et al. | QpefBD: a benchmark dataset applied to machine learning for minute-scale quantitative precipitation estimation and forecasting | |
| Zhang et al. | Pixel-CRN: A new machine learning approach for convective storm nowcasting | |
| Kaparakis et al. | WF-UNet: Weather data fusion using 3d-unet for precipitation nowcasting | |
| Li et al. | Recognition algorithm for deep convective clouds based on FY4A | |
| Ma et al. | Modelling the ZR Relationship of Precipitation Nowcasting Based on Deep Learning | |
| CN110727719A (zh) | 一种基于动力松弛逼近的闪电定位资料同化方法 | |
| Zhou et al. | Forecasting the western Pacific subtropical high index during typhoon activity using a hybrid deep learning model | |
| Qing-Dao-Er-Ji et al. | Application of Convolution Neural Network Based on Transfer Learning in Sandstorm Prediction in Inner Mongolia | |
| Amjad et al. | Thunderstorms Prediction Using Satellite Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |