CN111983732A - 一种基于深度学习的降水强度估计方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的降水强度估计方法，包括：分别获取气象卫星数据和降水数据；根据获取的气象卫星数据，将所需要的估计地区从中裁剪出来，并校正且将其保存为数组的形式；根据获取的降水数据，重采样至所需的空间分辨率下，并对其进行分类获得不同等级的降水强度标签；将降水强度标签转换成只背景及不同等级降水强度的单通道图像，并切割为大小，分别作为降水强度估计模型的输入与标签；建立基于深度学习的降水强度估计模型；训练得到最佳模型；测试新的气象卫星数据，生成一张完整的降水强度估计结果；将生成的降水强度估计结果，叠加到带有shp地形文件上。本发明可以较为准确地估算出相应的降水强度，实现高精度的降水强度估计。

Description

一种基于深度学习的降水强度估计方法

技术领域

本发明涉及一种基于深度学习的降水强度估计方法，属于遥感图像处理的技术领域。

背景技术

近年来随着计算机视觉技术不断发展，机器学习技术开始应用于传统的遥感气象预报、天气监测行业，以提高预报监测准确率。其中，目标检测与分割技术能够将图片中各像素分别划分到各自所属的类别中，利用这些技术帮助气象预报员提高预报效率与预报准确率，解决现有的降水估计算法时间分辨率不高，降水估计产品非实时发布的问题，加强灾害天气的监测，从而具有广泛的应用前景和较高的使用价值。

雷达作为目前地面估测区域降水的高精度工具，地面降水率与雷达观测值之间的函数关系可以通过实际观测得到。然而，由于复杂的时空变异性，难以用简单的形式表达其Z-R关系。使用雷达估计降水受多种因素的影响，例如雷达校准，反射率的垂直剖面，光束阻塞，亮带和异常传播。

雨量计是测量到达土壤表层的大气降水量最简单的仪器。其分布密度直接影响了降水估计的准确率，地面雨量计网络分布稀疏和不足会严重影响其准确性与适用性，尤其对于偏远、高海拔地区和海洋无法利用雨量计估算降水，并且其只提供逐点测量。

人工神经网络为降水强度估计提供了更加高效、精确的方法。Precipitationestimation from remotely sensed information using artificial neural networks(PERSIANN)作为其中著名的算法和产品，从红外云图中获得云顶亮温并建立与降水建立联系。PERSIANN-cloud classification system(PERSIANN-CCS)通过识别云团特征提高了降水估计的准确率，但以上两种方法都是基于手动设定云团和温度、几何纹理等特征提取降水信息，因此大量的漏测和误测是无法避免的，这种手动提取特征的方法会影响降水估计的准确率，主要是由于人总是通过最直观的表层现象来判定与降水有关的信息，从而忽略了一些内在的隐藏特征。

深度神经网络的快速发展为快速、精确的特征提取提供了重要的方法，并且最重要的是无需人工干预就能从海量数据中自动地捕捉到最有效地特征信息。PERSIAN-SDAE利用红外和水汽通道作为输入数据，构建了多层自动降噪编码器通过自动特征提取检测了是否发生了降水以及降水量，但是由于PERSIAN-SDAE网络结构的限制，无法从每个相邻像素之间得到有利于降水估计的信息。PERSIANN-CNN使用卷积神经网络建立了降水估计模型，使用红外和微波数据作为输入，尽管相比PERSIANN-CCS和PERSIANN-SDAE有更加真实可靠的检测和降水估计结果，但是并没有充分的利用红外与水汽波段高维度的特征信息，并且多层的池化会损失相应的特征信息，将红外和水汽波段分别作为输入再进行特征融合是非必要的。

目前大多数的降水估计研究的最高时间分辨率为1小时并以雷达数据作为真值，对于短时变化剧烈的降水监测是不够的，由于卫星和雷达对于云团拍摄角度的差异，也会存在一定的误差，只要估算出每个像素点的降水强度等级是大雨中雨还是小雨，并且具备高时相，依然能够高效的监测与跟踪降水的变化情况，并有效减少估算误差。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于深度学习的降水强度估计方法，通过设计一种深度学习语义分割模型估计降水强度，在卫星拍摄到的云图中，确定图中所有的降水云团的位置、大小、边界信息，并且得到各个云团的降水强度信息。

本发明具体采用以下技术方案解决上述技术问题：

一种基于深度学习的降水强度估计方法，包括以下步骤：

步骤1：根据历史降水资料，分别获取气象卫星数据和降水数据；

步骤2：根据获取的气象卫星数据，将所需要的估计地区从中裁剪出来；并校正气象卫星数据且将其保存为数组的形式；

步骤3：根据获取的降水数据，利用重采样函数重采样至所需的空间分辨率下，并对其进行分类，根据不同时间的降水量的比例关系计算得到不同等级的降水强度关系，获得不同等级的降水强度标签；

步骤4：将降水强度标签转换成只有背景及不同等级降水强度的单通道图像，并切割大小，分别作为降水强度估计模型的输入与标签；

步骤5：建立基于深度学习的降水强度估计模型；

步骤6：设置模型的超参数、总训练次数、学习率、动量参数、权重衰减参数，经过反复调整和对比试验得到最佳参数，以得到最佳降水强度估计模型；

步骤7：将训练好的最佳降水强度估计模型应用测试新的气象卫星数据，对于新的气象卫星数据先切割大小并分别预测，预测完成后得到各自的降水强度估计结果再拼接生成一张完整的降水强度估计结果；

步骤8：将生成的降水强度估计结果，叠加到带有shp地形的文件上。

进一步地，作为本发明的一种优选技术方案：所述步骤1中分别在风云卫星遥感数据服务网获取气象卫星数据，和在NASA官网获取降水数据。

进一步地，作为本发明的一种优选技术方案：所述步骤5中，建立基于深度学习的降水强度估计模型由编码层、中间层、解码层组成，其中编码层由一个5*5的卷积层、一个3*3的卷积层、四个残差模块和深度可分离卷积模块组成；中间层由空间金字塔卷积和注意力机制模块组成；解码层由一个降维的1*1的卷积层、四个反卷积层和一个具有分类作用的1*1的卷积层组成。

进一步地，作为本发明的一种优选技术方案：所述空间金字塔卷积由一个1*1的卷积层和三个3*3的空洞卷积层组成；所述注意力机制模块：由特征矩阵经过一个2*2的卷积层、归一化和激活函数，再与初始特征矩阵相乘组成。

本发明采用上述技术方案，能产生如下技术效果：

本发明提出一种基于深度学习的降水强度估计方法，能够完整的分割降水云团并估计降水强度。本发明通过对原始卫星数据进行预处理、切割剪裁、重叠采样、数据增强后建立深度估计模型，通过不断训练模型得到最佳模型参数，最后可应用于卫星云图估算降水强度。在对模型训练前，可以归一化预处理数据，首先计算所有数据各个通道的平均值，然后使每个数据减去平均值，更有利于提升模型的收敛速度。该方法对降水云团分割及强度估计有较好的效果且应用简便，模型训练完毕后单张卫星云图降水强度时间只需一至两秒，避免手工提取降水云团特征的不确定性，具有很好的应用前景。

本发明的优势所在是：

1.不用额外增加硬件设备；

2.几乎实时的降水强度估计结果。

3.只需要在实验阶段调整少量深度学习模型的超参数，提供一种基于深度学习的降水强度估计方法，根据输入数据与标签，深度学习模型自动学习降水云团的特征，并自动保存最佳的模型参数，最佳模型保存后，只需要调用模型便可实现降水强度估计，便于用户操作。

因此，本发明可以较为准确地对降水云团进行分割，并且估算出相应的降水强度，避免了传统分割的人工特征设计及提取方法的缺点，有效解决了雨量计分布不均匀，统计有效面积少，传统的雷达观测精度易受自然条件影响的问题。克服了复杂自然条件下、不平衡样本对降水强度估计结果的影响，最终成功分割小目标的降水云团，得到了有价值并可以定量描述的降水云团检测预警信息。可达到“精益求精”的效果。随着时间的推移，越来越多的风云卫星数据和GPM-IMERG数据发布，因此日后扩充更多的数据，可以提升模型的泛化能力和估计精度。方法可在实时的风云卫星发布数据后快速得到降水强度估计结果，因此具有更高实时性和较高的可靠性。

附图说明

图1为本发明方法的流程示意图。

图2为本实施例中FY-4A全圆盘影像示意图。

图3为本实施例中GPM-IMERG产品数据示意图。

图4为本实施例中分类好的标签示意图。

图5为本实施例中单通道图像标签示意图。

图6为本实施例中降水强度估计模型的结构示意图。

图7为本实施例中注意力机制模块的结构示意图。

图8为本实施例中残差模块的结构示意图。

图9为本实施例中深度可分离卷积模块的结构示意图。

图10为本实施例中空间金字塔的结构示意图。

图11为本实施例中降水强度估计结果示意图。

图12为本实施例中最终完整的估计结果示意图。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

如图1所示，本发明设计了一种基于深度学习的降水强度估计方法，该方法具体包括以下步骤：

步骤1：根据历史降水资料，分别在风云卫星遥感数据服务网获取全圆盘风云四号的气象卫星数据，得到如图2所示的FY-4A全圆盘数据，和NASA官网获取降水产品GPM-IMERG的降水数据，如图3所示；执行步骤2；

步骤2：根据获取的气象卫星数据，首先将所需要的估计地区从中裁剪出来；然后，利用python中的函数gdal.Warp校正气象卫星数据，且将其保存为数组的形式，执行步骤3；

步骤3：根据获取的降水数据，利用python重采样函数arcpy.Resample_management重采样至所需的空间分辨率下，本实施例中重采样至气象卫星数据FY-4A全圆盘数据同样的空间分辨率4KM下，然后对其进行分类，根据不同时间的降水量的比例关系计算得到不同等级的降水强度关系，获得不同等级的降水强度标签，包括弱降水标签、中降水标签、强降水标签，如图4所示；对于降水强度的分类大多以1小时，12小时，24小时的降水量划分，然而为了提高降水估计算法的时间分辨率至半小时，因此，本实施例根据不同时间的降水量的比例关系计算得到表1中不同等级的降水强度关系。

表1降水强度划分表

步骤4：将降水强度标签转换成只有背景及不同等级降水强度的单通道图像，并切割大小，分别作为降水强度估计模型的输入与标签；本实施例将标签转换成只包含0背景、1、2、3分别表示弱、中、强降水的单通道图像，并切割为64*64大小，分别作为降水强度估计网络的输入与标签，而这一一对应，如图5所示，然后执行步骤5。

步骤5：利用Tensorflow深度学习框架和python编程语言建立基于深度学习的降水强度估计模型，执行步骤6；

所述降水强度估计模型构建：如图6所示，模型主要由三部分组成，编码层、中间层、解码层，编码层由一个5*5的卷积层conv1、一个3*3的卷积层conv2、四个残差模块和深度可分离卷积模块组成；其中残差模块的结构如图8所示，包括两个卷积层和加法函数，初始的特征图通过两个卷积层后再与初始的特征图叠加；深度可分离卷积模块的结构如图9所示，包括深度可分离卷积、归一化特征图、relu函数、一个卷积层、归一化特征图和relu函数，用于多尺度提取特征。

所述中间层由空间金字塔卷积和注意力机制模块组成。其中空间金字塔卷积的结构如图10所示，由一个1*1的卷积层conv3和三个3*3的空洞卷积层conv4、conv 5、conv 6组成，注意力机制模块，其结构如图7所示：由特征矩阵经过一个2*2的卷积层conv7、归一化和激活函数Sigmoid，再与初始特征矩阵相乘组成，解码层由一个降维的1*1的卷积层conv8、四个反卷积层deconv和一个具有分类作用的1*1的卷积层conv9组成，卷积层具体参数如表2所示：

表2各卷积层详细参数

步骤6：设置模型的超参数、总训练次数、学习率、动量参数、权重衰减参数，AtrousSpatial Pyramid Pooling中空洞率Rate，经过反复调整和对比试验得到最佳参数，以得到最佳降水强度估计模型；

本实施例中，模型具体参数设置：总训练次数iteration为180000次，学习率learning rate初始值设为0.0002，并且当迭代次数为50000次和90000次，学习率为之前的十分之一，在保持模型收敛速度的同时，又不会导致发散。动量参数momentum设置为0.9，加快模型收敛速度，权重衰减参数weight decay设为1e-5，调整模型复杂度对损失函数的影响，空间金字塔中空洞率Rate设置为[1，2，3]，经反复试验及对比，以上参数值为最佳参数。

在对模型训练前，本发明可以归一化预处理数据，首先计算所有数据各个通道的平均值，然后使每个数据减去平均值，更有利于提升模型的收敛速度。

步骤7：将训练好的最佳降水强度估计模型应用测试新的气象卫星数据，对于新的气象卫星数据先切割为64*64大小并分别预测，预测完成后得到各自的降水强度估计结果再拼接生成一张完整的降水强度估计结果，如图11所示；并根据不同的强度设定不同的颜色，其中白色为背景，不同的灰度值分别代表强、中、弱降水如图4所示，执行步骤8。

最佳降水强度估计模型的处理流程为：输入数据是64*64*2的矩阵，通过第一层卷积计算，输入的数据A转换为32*32*64的特征图，再通过深度可分离模块在保持特征图宽和高，并增加通道数为原来的两倍，再通过第二层卷积，将宽和高缩短至原来的一半，并保持通道数不变，然后再利用深度可分离模块多尺度提取特征的同时保持数据维度不变，然后利用四个残差模块提取深层特征，其中第一个和第四个残差模块步长为1只提升通道数量，第二个和第三个残差模块缩小特征图尺寸的同时也提升通道数，至此下采样过程结束。

然后分别将特征图输入注意力机制模块和空间金字塔卷积中，注意力机制模块中：特征图经过一个卷积层并归一化再通过sigmoid函数，最后与原特征图相乘，在空间金字塔卷积中，特征图分别经过一个1*1的卷积层和三个空洞卷积层，空洞率为1、2、3，再将其按通道融合叠加，然后特征图经过一个1*1的卷积层降低通道数量，上采样的过程由四个反卷积层组成，每经过反卷积层特征图的的宽和高变为原来的两倍，通道数变为原来的一半，当特征图的宽和高为16和32时，将下采样时的特征图按通道融合作为下一反卷积层的输入，在最后一层反卷积后利用一个1*1的卷积层保持特征图的宽和高不变，通道数下降到4，保持与背景与强中弱降水共计四类的类别数一致。

本发明提出的降水强度估计的方法中空间金字塔结构可以多尺度的分割不同大小的降水云团，注意力机制模块细化了降水云团的边界特征提取，解码网络与编码网络相对应，在下采样后经过多尺度的特征采样，恢复编码网络输出特征图的分辨率，在测试集的实验中准确率POD达到94.84％。

步骤8：将生成的降水强度估计结果，叠加到带有shp地形的文件上，如图12所示。

因此，本发明可以较为准确地对降水云团进行分割，并且估算出相应的降水强度，避免了传统分割的人工特征设计及提取方法的缺点，有效解决了雨量计分布不均匀，统计有效面积少，传统的雷达观测精度易受自然条件影响的问题。克服了复杂自然条件下、不平衡样本对降水强度估计结果的影响，最终成功分割小目标的降水云团，得到了有价值并可以定量描述的降水云团检测预警信息。随着时间的推移，越来越多的风云卫星数据和GPM-IMERG数据发布，因此日后扩充更多的数据，可以提升模型的泛化能力和估计精度。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (4)

1.一种基于深度学习的降水强度估计方法，其特征在于，包括以下步骤：

步骤1：根据历史降水资料，分别获取气象卫星数据和降水数据；

步骤2：根据获取的气象卫星数据，将所需要的估计地区从中裁剪出来；并校正气象卫星数据且将其保存为数组的形式；

步骤3：根据获取的降水数据，利用重采样函数重采样至所需的空间分辨率下，并对其进行分类，根据不同时间的降水量的比例关系计算得到不同等级的降水强度关系，获得不同等级的降水强度标签；

步骤4：将降水强度标签转换成只有背景及不同等级降水强度的单通道图像，并切割大小，分别作为降水强度估计模型的输入与标签；

步骤5：建立基于深度学习的降水强度估计模型；

步骤6：设置模型的超参数、总训练次数、学习率、动量参数、权重衰减参数，经过反复调整和对比试验得到最佳参数，以得到最佳降水强度估计模型；

步骤7：将训练好的最佳降水强度估计模型应用测试新的气象卫星数据，对于新的气象卫星数据先切割大小并分别预测，预测完成后得到各自的降水强度估计结果再拼接生成一张完整的降水强度估计结果；

步骤8：将生成的降水强度估计结果，叠加到带有shp地形的文件上。

2.根据权利要求1所述基于深度学习的降水强度估计方法，其特征在于：所述步骤1中分别在风云卫星遥感数据服务网获取气象卫星数据，及在NASA官网获取降水数据。

3.根据权利要求1所述基于深度学习的降水强度估计方法，其特征在于：所述步骤5中，建立基于深度学习的降水强度估计模型由编码层、中间层、解码层组成，其中编码层由一个5*5的卷积层、一个3*3的卷积层、四个残差模块和深度可分离卷积模块组成；中间层由空间金字塔卷积和注意力机制模块组成；解码层由一个降维的1*1的卷积层、四个反卷积层和一个具有分类作用的1*1的卷积层组成。

4.根据权利要求3所述基于深度学习的降水强度估计方法，其特征在于：所述空间金字塔卷积由一个1*1的卷积层和三个3*3的空洞卷积层组成；所述注意力机制模块：由特征矩阵经过一个2*2的卷积层、归一化和激活函数，再与初始特征矩阵相乘组成。

Images