CN113255972A - 基于Attention机制的短临降水预测方法 - Google Patents

Abstract

本发明公开了基于Attention机制的短临降水预测方法，属于天气预报技术领域，其包括以下步骤：首先输入前t时刻的雷达回波图序列(V₁,V₂,…,V_t)和模式数据Key(K)，对输入数据进行数据清洗与去噪，得到处理后的输入数据；然后将雷达回波图的灰度图像输入包含4层卷积和最大池化的神经网络，然后经过线性全连接层得到n维数组；接着将雷达回波图序列、模式数据和S2中的Query输入包括4个Attention单元和Norm层的编码器，将结果输入包括4个Attention单元、Norm层和全连接层的解码器，得到预测雷达回波图序列；最后对预测的雷达回波图像，通过Z‑R变换得到未来的区域降水预测，输出短临降水预测结果。本发明能够融合多种气象数据的特征、降低噪声干扰、提升降水预测的精度。

Description

基于Attention机制的短临降水预测方法

技术领域

本发明属于天气预报技术领域，具体涉及基于Attention机制的短临降水预测方法。

背景技术

气象因素的变化(如风速、温度、湿度、降水等)都深刻地影响着人类的生活。准确预报未来气象要素，可广泛服务于人们日常生活，交通运输，农林畜牧业，致灾天气避险等领域。随着地球观测卫星数量增长与气候模型日益增强，气象研究者们面临着更大规模的数据。

目前，数值预报与基于数值预报数据的人工智能预报是天气预报的主要方法。对于数值天气预报方法而言，短期预报需要复杂的物理大气模型仿真。近年来，深度学习方法已开始被应用于天气预报。

然而，目前传统方法以使用2D-CNN或3D-CNN为主，精度(主要采用CSI指数衡量)不高；本发明提出的短临降水预测方法，通过Attention机制实现Seq2Seq，使得模型输出更接近真实值，同时融合了13个特征通道(包含9种海拔下的湿度，12种海拔下的风速和2种降雨强度)的模式数据，能够较大程度地提升精度。

发明内容

本发明的目的是提供基于Attention机制的短临降水预测方法，不仅利于模型的训练与提高短临降水预测精度特别是暴雨的预测精度，而且能够解决现有技术中存在的降水数据不均衡、暴雨预测精度低、气象数据图像化及标准化的不适当策略、模型融合特征较少的技术问题。

为了实现上述发明目的，本发明采用如下技术方案：基于Attention机制的短临降水预测方法，包括以下步骤：

S1：首先输入前t时刻的雷达回波图序列(V₁，V₂，...，V_t)和模式数据Key(K)，对输入数据进行数据清洗与去噪，得到处理后的输入数据；S2：然后将雷达回波图的灰度图像输入包含4层卷积和最大池化的卷积神经网络(CNN)，然后经过线性全连接层得到n维数组，这n维数组作为Query(Q)；S3：接着将雷达回波图序列、模式数据和S2中的Query输入包括4个Attention单元和Norm层的编码器，然后将结果输入包括4个Attention单元、Norm层和全连接层的解码器，得到预测雷达回波图序列V_t+1，V_t+2，...，V_t+p；S4：最后对预测的雷达回波图像，通过Z-R变换得到未来的区域降水预测，输出短临降水预测结果Y_t+1，Y_t+2，...，Y_t+p，其中，Y_t+q表示预测的t+q时刻的雷达回波图转换为降水图后的结果，1≤q≤p，p表示短临降水预测时刻的总数。

进一步地，对输入t时刻的历史雷达回波图序列的去噪过程包括以下步骤：S11.对未去噪的历史雷达回波图引入平滑因子以进行地物剔除；S12.对经过S11处理后的历史雷达回波图使用二维小波变换进行去噪。对输入的图像使用3×3的卷积核对图像进行卷积操作，卷积计算公式为

其中F为卷积核，G为原图像，H为卷积变换后的图像；

线性全连接层的输出可以表示为

Q＝W^TV

其中V表示线性全连接层的输入，Q表示线性全连接层的输出，W为待训练权重参数。

进一步地，所述的步骤S3中，需要将原始雷达回波图V，模式数据K和S2中线性层输出结果Q_encoder输入到Attention单元中，Attention单元的输出表示为

假设序列中每个样本x第i维的均值为μ_i，方差为σ_i，则经过Norm层后的结果为

一个Attention和一个Norm构成一个子层Sublayer，则

Sublayer(V)＝Norm(V+Attention(Q_encoder，K，V))

编码器由4个这样的子层构成，每个子层的输出Sublayer(V_i′)被作为输入V_i+1输入到下一子层中(i＝0，1,2,3)，编码器的输出为每个子层的输出的连接(V₁′，V₂′，V₃′，V₄′)；

解码器的输入为：编码器的输出(V₁′，V₂′，V₃′，V₄′)，模式数据K和解码器前一时间步的输出O_t+q-1，在时间步t+q，对O_t+q-1进行S2中的卷积和全连接操作，即

Q_{decoder，t+q}＝FFNN(CNN(O_t+q-1))

则第j个Attention单元的输出表示为

假设序列中每个样本x第i维的均值为μ_i，方差为σ_i，则经过Norm层后的结果为

一个Attention和一个Norm构成一个子层，则

Sublayer(V’)＝Norm(V+Attention(Q_{decoder，t+q}，K，V’))

在时间步t+q，解码器的输出为各子层输出的均值，即

O_t+q＝mean(Sublayer(V₁′)，Sublayer(V₂′)，...，Sublayer(V₄′))，1≤q≤p。

根据预测图像序列计算出反射率因子Z，然后根据关系式

Z＝70R^1.38

推算出降水率R，至此已完成对短临降水的预测。

与现有技术相比，该发明的有益效果如下：本发明的基于Attention机制的短临降水预测方法是基于Seq2Seq思想的视频预测方法，在对未来的云层空间分布进行预测时，借助Attention机制的优势，充分考虑到了历史变化的趋势并融入了标准的模式数据，使得预测更加准确；同时网络参数相比3DCNN减少了60％，降低了训练所需的时间和硬件成本。

附图说明

图1为基于Attention机制的短临降水预测方法的网络架构图。

图2为基于Attention机制的短临降水预测方法的流程图。

具体实施方式

为了加深对本发明的认识和理解，下面结合附图和具体实施例对本发明进一步说明。

实施例1：参见图1，基于Attention机制的短临降水预测方法，包括以下步骤：

首先输入前t时刻的雷达回波图序列(V₁，V₂，...，V_t)和模式数据Key(K)，对输入数据进行数据清洗与去噪，得到处理后的输入数据；然后将雷达回波图的灰度图像输入包含4层卷积和最大池化的CNN网络，然后经过线性全连接层得到n维数组，这n维数组作为Query(Q)；接着将雷达回波图序列、模式数据和S2中的Query输入包括4个Attention单元和Norm层的编码器，然后将结果输入包括4个Attention单元、Norm层和全连接层的解码器，得到预测雷达回波图序列V_t+1，V_t+2，...，V_t+p；最后对预测的雷达回波图像，通过Z-R变换得到未来的区域降水预测，输出短临降水预测结果Y_t+1，Y_t+2，...，Y_t+p，其中，Y_t+q表示预测的t+q时刻的雷达回波图转换为降水图后的结果，1≤q≤p，p表示短临降水预测时刻的总数。

进一步地，对输入t时刻的历史雷达回波图序列的去噪过程包括以下步骤：1.对未去噪的历史雷达回波图引入平滑因子以进行地物剔除；2.对经过S11处理后的历史雷达回波图使用二维小波变换进行去噪。对输入的图像使用3×3的卷积核对图像进行卷积操作，卷积计算公式为

其中F为卷积核，G为原图像，H为卷积变换后的图像；

线性全连接层(FFNN)的输出可以表示为

Q＝W^TV

将原始雷达回波图V，模式数据K和S2中线性层输出结果Q_encoder输入到Attention单元中，Attention单元的输出表示为

假设序列中每个样本x第i维的均值为μ_i，方差为σ_i，则经过Norm层后的结果为

一个Attention和一个Norm构成一个子层，则

Sublayer(V)＝Norm(V+Attention(Q_encoder，K，V))

编码器由4个这样的子层构成，每个子层的输出Sublayer(V_i′)被作为输入V_i+1输入到下一子层中(i＝0，1,2,3)，编码器的输出为每个子层的输出的连接(V₁′，V₂′，V₃′，V₄′)；

解码器的输入为：编码器的输出(V₁′，V₂′，V₃′，V₄′)，模式数据K和解码器前一时间步的输出O_t+q-1，在时间步t+q，对O_t+q-1进行S2中的卷积(CNN)和全连接(FFNN)操作，即

Q_{decoder，t+q}＝FFNN(CNN(O_t+q-1))

则第j个Attention单元的输出表示为

假设序列中每个样本x第i维的均值为μ_i，方差为σ_i，则经过Norm层后的结果为

一个Attention和一个Norm构成一个子层，则

Sublayer(V’)＝Norm(V+Attention(Q_{decoder，t+q}，K，V’))

在时间步t+q，解码器的输出为各子层输出的均值(mean)，即

O_t+q＝mean(Sublayer(V₁′)，Sublayer(V₂′)，...，Sublayer(V₄′))，1≤q≤p

根据预测图像序列计算出反射率因子Z，然后根据关系式

Z＝70R^1.38

推算出降水率R，至此已完成对短临降水的预测。

下面以一个实施例为例，对本具体实施方式进行进一步的阐述。

具体实施例：

本方法验证数据集为广东省气象局提供的雷达回波图及网格化温度、总降水。其中，雷达回波图的地域范围为华南地区，数据单位dBZ表示雷达回波强度，一般情况下取值在0-80dBZ范围内。经度跨度为107°E-119°E。纬度跨度18°N-27°N。时间跨度为2017年3月至2018年12月。分辨率为1千米。数据间隔时间为12分钟。Z-R关系表示反射率Z和降水强度R(mm/h)之间的关系，其中，dB Z＝10log₁₀a+10b log₁₀R，a，b为雷达自身参数，本实验中取值：a＝58.53，b＝1.56。常用dBZ描述降水情况，一般情况下该值越大，反应降水越大。本实验截取的空间范围：108.6°E-117.6°E，18.0°N-27.0°N，分辨率为3千米。此处0.01°≈1千米。此外，网格化温度、总降水为华南地区GRAPES(Global/Regional AssimilationPrediction System，我国自主研发的全球数值预报系统)提供，分辨率为3千米和1小时。时间跨度为2017年4月-2018年12月。经度跨度为96.6°E-122.76°E，纬度跨度为16.6°N-30.76°N。结合实验经验，本实验使用前5个时刻的雷达回波图与网格化温度总降水以预测后5个时刻的雷达回波图。

二维降水序列I＝{I₁，I₂，...，I_M}的预测评价指标为：

其中M代表二维降水序列I的长度，H，W代表二维降水序列中图像的高度、宽度，

代表观测图像序列I^obs的第m张图像中高度为j、宽度为k位置处的元素，

代表预测图像序列I^pred的第m张图像中高度为j、宽度为k位置处的元素。本实验中也会使用MSE₂＝MSE/(H*W)和

作为评价指标。

本方法首先输入t时刻的历史雷达回波图与网格化温度、总降水，对其进行数据清洗与去噪；接着对降水数据不均衡问题进行统计分析，建立不同降水率等级使用不同权重的新的损失函数；然后，对网格化温度、总降水使用基于幂次与对数变换的气象数据映射方法进行标准化；最后，将经过之前步骤的t时刻输入数据融合为数据块，并进行基于卷积长短期记忆神经网络和三维卷积神经网络的模型搭建与测试，输出短临降水预测结果。

损失函数中不同降水率等级对应的权重设置如表1。

表1不同降水率等级对应权重设置

0-0.5(mm/h)	0.5-2(mm/h)	2-5(mm/h)	5-10(mm/h)	10-30(mm/h)	大于30(mm/h)
						1	2	5	10	30	50

注：数字代表降水率等级对应的权重。

表2显示了几种模型对华南地区或广东省各城市的降水预测结果转换后的反射率的均方根误差。Sift+CNN表示使用尺度不变特征变换方法和卷积神经网络的模型，CatBoost是一种近年来十分优秀的梯度提升树模型，3D-CNN表示三维卷积神经网络，Attention表示本发明的方法即基于Attention机制的短临降水预测方法。反射率的均方根误差越小，表明降水预测精度越高。

表2几种机器学习模型预测结果对比

Sift+CNN	CatBoost	3D-CNN	Attention
				12.36	10.53	8.56	7.46

注：数字代表对应模型测试所得的反射率的均方根误差。

需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代，均属于本发明的保护范围。

Claims (5)

1.基于Attention机制的短临降水预测方法，其特征在于：包括以下步骤：

S1：输入前t时刻的雷达回波图序列(V₁,V₂,…，V_t)和预处理后的模式数据Key(K)，对输入数据进行数据清洗与去噪，得到处理后的输入数据；

S2：将雷达回波图的灰度图像输入包含4层卷积和最大池化的CNN网络，然后经过线性全连接层得到n维数组，这n维数组作为Query(Q)；

S3：将雷达回波图序列、模式数据和S2中的Query输入包括4个Attention单元和Norm层的编码器，然后将结果输入包括4个Attention单元、Norm层和全连接层的解码器，得到预测雷达回波图序列V_t+1,V_t+2,…,V_t+p；

S4：对预测的雷达回波图像，通过Z-R变换得到未来的区域降水预测，输出短临降水预测结果Y_t+1,Y_t+2,…,Y_t+p，其中，Y_t+q表示预测的t+q时刻的雷达回波图转换为降水图后的结果，1≤q≤p，p表示短临降水预测时刻的总数。

2.根据权利要求1所述的基于Attention机制的短临降水预测方法，其特征在于：所述步骤S1中，对输入t时刻的历史雷达回波图序列的去噪过程包括以下步骤：

S11：对未去噪的历史雷达回波图引入平滑因子以进行地物剔除；

S12：对经过S11处理后的历史雷达回波图使用二维小波变换进行去噪。

3.根据权利要求1所述的基于Attention机制的短临降水预测方法，其特征在于：所述的步骤S2中，使用3×3的卷积核对图像进行卷积(Convolution)操作，卷积计算公式为

其中F为卷积核，G为原图像，H为卷积变换后的图像；

线性全连接网络(Feed Forward Neural Network,FFNN)的输出可以表示为

Q＝FFNN(V)＝W^TV

其中V表示线性全连接层的输入，Q表示线性全连接层的输出，W为待训练权重参数。

4.根据权利要求1所述的基于Attention机制的短临降水预测方法，其特征在于：所述的步骤S3中，需要将原始雷达回波图V，模式数据K和S2中线性层输出结果Q_encoder输入到Attention单元中，Attention单元的输出表示为

其中d_k表示Q_encoder的维度，softmax为归一化指数函数。

假设序列中每个样本x第i维的均值为μ_i，方差为σ_i，则经过Norm层后的结果为

一个Attention和一个Norm构成一个子层Sublayer，则

Sublayer(V)＝Norm(V+Attention(Q_encoder,K，V))

编码器由4个这样的子层构成，每个子层的输出Sublayer(V_i′)被作为输入V_i+1输入到下一子层中(i＝0，1，2，3)，编码器的输出为每个子层的输出的连接(V₁′,V₂′，V₃′，V₄′)；

解码器的输入为：编码器的输出(V₁′,V₂′，V₃′，V₄′)，模式数据K和解码器前一时间步的输出O_t+q-1,在时间步t+q，对O_t+q-1进行S2中的卷积和全连接操作，即

Q_decoder,t+q＝FFNN(CNN(O_t+q-1))

则第j个Attention单元的输出表示为

假设序列中每个样本x第i维的均值为μ_i，方差为σ_i，则经过Norm层后的结果为

一个Attention和一个Norm构成一个子层，则

Sublayer(V’)＝Norm(V+Attention(Q_decoder,t+q,K,V’))

在时间步t+q，解码器的输出为各子层输出的均值，即

O_t+q＝mean(Sublayer(V₁′),Sublayer(V₂′),…，Sublayer(V₄′)),1≤q≤p。

5.根据权利要求1所述的基于Attention机制的短临降水预测方法，其特征在于：所述的步骤S4中，根据预测图像序列O_t+q(1≤q≤p)计算出反射率因子Z，然后根据关系式

Z＝70R^1.38

推算出降水率R，至此已完成对短临降水的预测。

Images