CN110363327A

CN110363327A - 基于ConvLSTM和3D-CNN的短临降水预测方法

Info

Publication number: CN110363327A
Application number: CN201910480042.2A
Authority: CN
Inventors: 牛丹; 刁丽; 臧增亮; 傅琪; 黄俊豪
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2019-06-04
Filing date: 2019-06-04
Publication date: 2019-10-22
Anticipated expiration: 2039-06-04
Also published as: CN110363327B

Abstract

本发明公开了基于ConvLSTM和3D‑CNN的短临降水预测方法，属于天气预报技术领域，其包括以下步骤：首先输入t时刻的历史雷达回波图与网格化温度、总降水，对其进行数据清洗与去噪；接着对降水数据不均衡问题进行统计分析，建立不同降水率等级使用不同权重的新的损失函数；然后，对网格化温度、总降水使用基于幂次与对数变换的气象数据映射方法进行标准化；最后，将经过之前步骤的t时刻输入数据融合为数据块，并进行基于卷积长短期记忆神经网络和三维卷积神经网络的模型搭建与测试，输出短临降水预测结果；本发明能够提升暴雨预测精度、合理地对气象数据进行图像化与标准化、融合多种气象数据的图像特征并降低噪声干扰。

Description

基于ConvLSTM和3D-CNN的短临降水预测方法

技术领域

本发明属于天气预报技术领域，具体涉及基于ConvLSTM和3D-CNN的短临降水预测方法。

背景技术

气象因素的变化(如风速、温度、湿度、降水等)都深刻地影响着人类的生活。准确预报未来气象要素，可广泛服务于人们日常生活，交通运输，农林畜牧业，致灾天气避险等领域。随着地球观测卫星数量增长与气候模型日益增强，气象研究者们面临着更大规模的数据。

目前，数值预报与基于数值预报数据的人工智能预报是天气预报的主要方法。对于数值天气预报方法而言，短期预报需要复杂的物理大气模型仿真。近年来，机器学习与深度学习已开始被应用于天气预报。

然而，目前的短临降水预测方法，很少考虑到多种网格化特征的融合与气象数据图像化、标准化的策略，且很少提出对提升暴雨预测精度有益的措施。

发明内容

发明目的：本发明的目的是提供基于ConvLSTM和3D-CNN的短临降水预测方法，不仅利于模型的训练与提高短临降水预测精度特别是暴雨的预测精度，而且能够解决现有技术中存在的降水数据不均衡、暴雨预测精度低、气象数据图像化及标准化的不适当策略、模型融合特征较少的技术问题。

技术方案：为了实现上述发明目的，本发明采用如下技术方案：

基于ConvLSTM(Convolutional Long Short-Term Memory Network，卷积长短期记忆神经网络)和3D-CNN(3D Convolutional Neural Network，三维卷积神经网络)的短临降水预测方法，包括以下步骤：

S1：输入t时刻的历史雷达回波图、网格化温度与总降水，对输入数据进行数据清洗与去噪，得到处理后的输入数据；

S2：对所有历史雷达回波图的数据进行降水率分级统计，再对降水数据不均衡问题进行分析，建立不同降水率等级使用不同权重的新的损失函数；

S3：对网格化温度、总降水使用基于幂次与对数变换的气象数据映射方法进行标准化，再转换为二维图像形式的数据；

S4：将步骤S1和S3处理后的数据融合为数据块，并进行基于卷积长短期记忆神经网络和三维卷积神经网络的模型搭建与测试，输出短临降水预测结果Y_t,Y_t+1,...,Y_t+p，其中，Y_t+q表示预测的t+q时刻的雷达回波图转换为降水图后的结果，1≤q≤p，p表示短临降水预测时刻的总数。

进一步地，步骤S1中，对输入t时刻的历史雷达回波图序列的去噪过程包括以下步骤：

S11：对未去噪的历史雷达回波图引入平滑因子以进行地物剔除；

S12：对经过S11处理后的历史雷达回波图使用二维小波变换进行去噪。

进一步地，步骤S2中，根据降水数据不均衡分布的情况以及提升暴雨预测精度的需求，建立不同降水率等级使用不同权重的新的损失函数如下式所示：

其中，C,H,W表示预测序列总长度、高度、宽度，ω_c,h,w表示真实序列中第c张图片中高为h宽为w的像素点对应降水率的对应权重，e_chw,分别表示真实序列、预测序列中第c张图片中高为h宽为w的像素点对应降水率数据，得到的损失函数称为均衡均方差，由于暴雨占总降水数据比重较小且需要提高暴雨预测精度，故较高的降水率等级的像素点应分配较高的权重。

进一步地，步骤S3中，对网格化温度、总降水使用基于幂次与对数变换的气象数据映射方法进行标准化，其中对网格化温度与总降水的映射方式分别如下所示：

其中，t2m,rain表示原本网格化温度、总降水，t2m_min，t2m_max表示所有网格化温度的最小值、最大值，rain_max表示所有网格化总降水的最大值，1表示全1矩阵，Mat_t2m,Mat_rain表示经过基于幂次或对数变换的气象数据映射方法后的网格化温度、总降水，由于气象数据在较小或较大值区间分布较广而影响训练过程，该方法使气象数据在图像上更均衡地分布。

进一步地，步骤S4中，将S1和S3处理后的数据融合为数据块，并输入基于卷积长短期记忆神经网络和三维卷积神经网络的模型，输出短临降水预测结果Y_t,Y_t+1,...,Y_t+p，其中基于卷积长短期记忆神经网络和三维卷积神经网络的模型结构为编码器-预测器，编码器结构为：三维卷积、卷积长短期记忆、三维卷积、卷积长短期记忆、三维卷积、卷积长短期记忆，预测器结构为：三维反卷积、卷积长短期记忆、三维反卷积、卷积长短期记忆、三维反卷积、卷积长短期记忆。

有益效果：与现有技术相比，本发明的基于ConvLSTM和3D-CNN的短临降水预测方法是基于幂次或对数变换的气象数据映射方法，不仅使气象数据在图像上更均衡地分布，根据降水数据不均衡分布的情况以及提升暴雨预测精度的需求，建立不同降水率等级使用不同权重的新的损失函数；而且，由于气象数据在较小或较大值区间分布较广而转换为图像后会影响卷积递归神经网络模型的训练，利于模型的训练与提高短临降水预测精度特别是暴雨的预测精度；同时，合理对气象数据进行图像化与标准化、融合多种气象数据的图像特征、降低噪声干扰。

附图说明

图1为步骤S12的示意图；

图2为步骤S3的示意图；

图3为步骤S4的示意图；

图4为基于ConvLSTM和3D-CNN的短临降水预测方法的流程图。

具体实施方式

下面结合附图和具体实施实例对本发明进一步说明。

如图4所示，基于ConvLSTM(Convolutional Long Short-Term Memory Network，卷积长短期记忆神经网络)和3D-CNN(3D Convolutional Neural Network，三维卷积神经网络)的短临降水预测方法，包括以下步骤：

步骤S1中，对输入t时刻的历史雷达回波图序列的去噪过程包括以下步骤：

S12：对经过S11处理后的历史雷达回波图使用二维小波变换进行去噪(如图1所示)。

步骤S2中，根据降水数据不均衡分布的情况以及提升暴雨预测精度的需求，建立不同降水率等级使用不同权重的新的损失函数如下式所示：

如图2所示，步骤S3中，对网格化温度、总降水使用基于幂次与对数变换的气象数据映射方法进行标准化，其中对网格化温度与总降水的映射方式分别如下所示：

如图3所示，步骤S4中，将步骤S1和S3处理后的数据融合为数据块，并输入基于卷积长短期记忆神经网络和三维卷积神经网络的模型，输出短临降水预测结果Y_t,Y_t+1,...,Y_t+p，其中基于卷积长短期记忆神经网络和三维卷积神经网络的模型结构为编码器-预测器，编码器结构为：三维卷积、卷积长短期记忆、三维卷积、卷积长短期记忆、三维卷积、卷积长短期记忆，预测器结构为：三维反卷积、卷积长短期记忆、三维反卷积、卷积长短期记忆、三维反卷积、卷积长短期记忆。

下面以一个实施例为例，对本具体实施方式进行进一步的阐述。

实施例1

本方法验证数据集为广东省气象局提供的雷达回波图及网格化温度、总降水。其中，雷达回波图的地域范围为华南地区，数据单位dBZ表示雷达回波强度，一般情况下取值在0-80dBZ范围内。经度跨度为107°E-119°E。纬度跨度18°N-27°N。时间跨度为2017年3月至2018年12月。分辨率为1千米。数据间隔时间为12分钟。Z-R关系表示反射率Z和降水强度R(mm/h)之间的关系，其中，dBZ＝10log₁₀a+10blog₁₀R，a，b为雷达自身参数，本实验中取值：a＝58.53,b＝1.56。常用dBZ描述降水情况，一般情况下该值越大，反应降水越大。本实验截取的空间范围：108.6°E-117.6°E，18.0°N-27.0°N，分辨率为3千米。此处0.01°≈1千米。此外，网格化温度、总降水为华南地区GRAPES(Global/Regional Assimilation PredictionSystem,我国自主研发的全球数值预报系统)提供，分辨率为3千米和1小时。时间跨度为2017年4月-2018年12月。经度跨度为96.6°E-122.76°E，纬度跨度为16.6°N-30.76°N。结合实验经验，本实验使用前5个时刻的雷达回波图与网格化温度总降水以预测后5个时刻的雷达回波图。

二维降水序列I＝{I₁,I₂,...,I_M}的预测评价指标为：

其中M代表二维降水序列I的长度，H,W代表二维降水序列中图像的高度、宽度，代表观测图像序列I^obs的第m张图像中高度为j、宽度为k位置处的元素，代表预测图像序列I^pred的第m张图像中高度为j、宽度为k位置处的元素。本实验中也会使用MSE₂＝MSE/(H*W)和作为评价指标。

气象领域中降水预测评价指标也包含了TS评分，即CSI评分：

其中a为正确预报格点数，b为漏报格点数，c为误报格点数。本实验旨在降低降水预测序列的MSE和RMSE指标，提高降水预测的网格序列的CSI评分。

本方法首先输入t时刻的历史雷达回波图与网格化温度、总降水，对其进行数据清洗与去噪；接着对降水数据不均衡问题进行统计分析，建立不同降水率等级使用不同权重的新的损失函数；然后，对网格化温度、总降水使用基于幂次与对数变换的气象数据映射方法进行标准化；最后，将经过之前步骤的t时刻输入数据融合为数据块，并进行基于卷积长短期记忆神经网络和三维卷积神经网络的模型搭建与测试，输出短临降水预测结果。

下表1为基于卷积长短期记忆神经网络和三维卷积神经网络的模型参数表。结合实验经验，本实验使用前5个时刻的雷达回波图与网格化温度、总降水以预测后5个时刻的雷达回波图。

表1基于卷积长短期记忆神经网络和三维卷积神经网络的模型参数列表

注：1)名称中e开头的是编码器结构，f开头的是预测器结构；

2)深度I/O指输入深度至输出深度；

3)输入大小为5*300*300*3，输入3D-CNN需将深度设为3，输出大小为5*300*300*1。

步骤S2中，损失函数中不同降水率等级对应的权重设置如下表2。

表2不同降水率等级对应权重设置

注：第二行数字代表降水率等级对应的权重。

下表3显示了几种模型对华南地区或广东省各城市的降水预测结果转换后的反射率的均方根误差。Sift+CNN表示使用尺度不变特征变换方法和卷积神经网络的模型，CatBoost是一种近年来十分优秀的梯度提升树模型，3D-CNN表示三维卷积神经网络，ConvLSTM+3D-CNN表示本发明的方法即基于ConvLSTM和3D-CNN的短临降水预测方法。反射率的均方根误差越小，表明降水预测精度越高。

表3几种机器学习模型预测结果对比

Sift+CNN	CatBoost	3D-CNN	ConvLSTM+3D-CNN
				12.36	10.53	8.56	7.18

注：第二行数字代表对应模型测试所得的反射率的均方根误差。

Claims

1.基于ConvLSTM和3D-CNN的短临降水预测方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于ConvLSTM和3D-CNN的短临降水预测方法，其特征在于：所述的步骤S1中，对输入t时刻的历史雷达回波图序列的去噪过程包括以下步骤：

3.根据权利要求1所述的基于ConvLSTM和3D-CNN的短临降水预测方法，其特征在于：所述的步骤S2中，根据降水数据不均衡分布的情况以及提升暴雨预测精度的需求，建立不同降水率等级使用不同权重的新的损失函数如下式所示：

其中，C,H,W表示预测序列总长度、高度、宽度，ω_c,h,w表示真实序列中第c张图片中高为h宽为w的像素点对应降水率的对应权重，e_c,h,w,分别表示真实序列、预测序列中第c张图片中高为h宽为w的像素点对应降水率数据，得到的损失函数称为均衡均方差。

4.根据权利要求1所述的基于ConvLSTM和3D-CNN的短临降水预测方法，其特征在于：所述的步骤S3中，对网格化温度、总降水使用基于幂次与对数变换的气象数据映射方法进行标准化，其中对网格化温度与总降水的映射方式分别如下所示：

其中，t2m,rain表示原本网格化温度、总降水，t2m_min，t2m_max表示所有网格化温度的最小值、最大值，rain_max表示所有网格化总降水的最大值，1表示全1矩阵，Mat_t2m,Mat_rain表示经过基于幂次或对数变换的气象数据映射方法后的网格化温度、总降水。

5.根据权利要求1所述的基于ConvLSTM和3D-CNN的短临降水预测方法，其特征在于：所述的步骤S4中，将步骤S1和S3处理后的数据融合为数据块，并输入基于卷积长短期记忆神经网络和三维卷积神经网络的模型，输出短临降水预测结果Y_t,Y_t+1,...,Y_t+p，其中基于卷积长短期记忆神经网络和三维卷积神经网络的模型结构为编码器-预测器，编码器结构为：三维卷积、卷积长短期记忆、三维卷积、卷积长短期记忆、三维卷积、卷积长短期记忆，预测器结构为：三维反卷积、卷积长短期记忆、三维反卷积、卷积长短期记忆、三维反卷积、卷积长短期记忆。