CN117805826B - 基于mim网络和雷达拼图的分钟降水估测方法及系统 - Google Patents

基于mim网络和雷达拼图的分钟降水估测方法及系统 Download PDF

Info

Publication number
CN117805826B
CN117805826B CN202311701465.5A CN202311701465A CN117805826B CN 117805826 B CN117805826 B CN 117805826B CN 202311701465 A CN202311701465 A CN 202311701465A CN 117805826 B CN117805826 B CN 117805826B
Authority
CN
China
Prior art keywords
radar
data
model
precipitation
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311701465.5A
Other languages
English (en)
Other versions
CN117805826A (zh
Inventor
李文娟
郦敏杰
吴彬
彭霞云
王丽颖
沈文强
罗玲
赵璐
俞佩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Meteorological Observatory
Original Assignee
Zhejiang Meteorological Observatory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Meteorological Observatory filed Critical Zhejiang Meteorological Observatory
Priority to CN202311701465.5A priority Critical patent/CN117805826B/zh
Publication of CN117805826A publication Critical patent/CN117805826A/zh
Application granted granted Critical
Publication of CN117805826B publication Critical patent/CN117805826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/95—Radar or analogous systems specially adapted for specific applications for meteorological use
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/14—Rainfall or precipitation gauges
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Hydrology & Water Resources (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明属于降水估测技术领域，公开了一种基于MIM网络和雷达拼图的分钟降水估测方法及系统，在时序模型Spatiotemporal LSTM的基础上引入MIM‑S和MIM‑N模块，能够提取雷达图像中的非平稳特征，有机会使时空过程逐渐平稳化，使其更具可预测性，通过雷达拼图大数据样本的训练，可以得到更加精细、覆盖范围更广、普适性更高、推广应用价值更高的模型，同时可以弥补海上无降水观测的短板，改进传统方法估测精度低、计算复杂且普适性不高的缺点。基于双偏振雷达拼图的反演模型可移植性强，相对于单部雷达的反演模型能够发挥更大的业务应用价值。因此，本发明对于进一步提升降水估测以及降水短临预报能力，具有十分重要的意义。

Description

基于MIM网络和雷达拼图的分钟降水估测方法及系统
技术领域
本发明属于降水估测技术领域，尤其涉及一种基于MIM网络和雷达拼图的分钟降水估测方法及系统。
背景技术
天气雷达作为大气、云降水物理研究和探测的重要手段，不仅可以为中小尺度天气过程提供高时空分辨率的观测资料，还能够很好的反映降水的空间不均匀性。随着双偏振多普勒天气雷达的快速发展及在云降水领域的广泛应用，双偏振雷达的多偏振量极大地提高了降水估测及水凝物分类识别的能力。基于不同偏振量与降水率关系的统计降水估测算法被不断地提出，但是不同定量降水估测算法在不同降水类型区域的表现各异，因此，常规的基于经验公式的雷达定量降水估测模型对于地域、天气类型及雷达数据质量的依赖性较高，普适性较低。随着人工智能技术在各个领域的蓬勃发展，将人工智能方法应用于定量降水估测模型构建，探索基于双偏振雷达拼图的分钟降水定量估测新技术，通过大数据的训练，得到双偏振雷达特征量与地面分钟降水之间高维的非线性模型，模型普适性强，准确率高，适用于多种类型的降水天气，能够弥补常规统计模型普适性不高的缺点，并且基于雷达拼图的反演模型相对单部雷达模型的覆盖面广，可移植性强，有效弥补沿海无降水观测区域的雨量估计不足，能够在实际业务中发挥更大的应用价值。
雷达定量降水估测的基本原理是将反射率转换成降水率，即Z-R关系模型，这是在一系列假设的条件下间接的获取降水量，而这些假设条件往往会对降水估测带来不确定性。一般来说估测降水误差来源可以分为两类：一类是由于用于降水估测的雷达反射率观测结果不能或不能完全代表产生地面降水的云体信息，针对这一问题国内外许多研究提出了较好的解决方法，如利用雷达最低仰角观测数据、按照不同距离选择雷达最低3层仰角观测数据组成混合扫描平面、基于DEM确定雷达观测区域内扫描波束未被遮挡的最低仰角组成混合扫描平面等；而另一类则更重要，即受观测区域附近环境的影响使得反射率转换为降水率时会产生误差，如地物杂波、波束遮挡、异常回波、波束充塞以及零度层亮带等对回波造成的污染往往会导致降水率高估或低估。
现有的单偏振定量降水估测技术主要有Z-R关系法，概率配对法、卡尔曼滤波校准法和变分校准法等方法。比起传统的单偏振雷达，双偏振雷达可以测量更多的回波参量ZH(反射率)、ZDR(差分反射率)、KDP(差分相移率)、φDP(差分相位)、ρhv(相关系数)、LDR(退极化比)，它能提供更多的关于水凝物类别的信息，并且偏振量KDP不受雷达标定、衰减以及部分波束遮挡的影响，有利于提高降水估计的质量。双偏振雷达偏振量ZH、ZDR、KDP的不同组合关系反演降水更有优势，于是出现了根据观测到的雷达参量的特征选择组合关系法，如CSU-ICE算法、CSU-HIDRO算法。JPOLE算法是根据R(ZH)(R表示降水率)计算出的降水率强度来选择不同的降水估测关系，而CSU-ICE算法则是根据ZH、ZDR和KDP的阈值来选择。目前较广泛应用的是CSU-HDIRO优化算法，是由美国科罗拉多州立大学的Cifelli et al.(2011)提出，该算法主要是在模糊逻辑法水凝物分类的基础上，根据不同的降水类型，将降水类型大致分为液态降水、固态降水、混合型降水3种类型，然后再根据KDP、ZH、ZDR的阈值选择不同的降水率计算公式，而降水率计算公式中R(ZH,ZDR)、R(ZDR,KDP)、R(KDP)的各个参数是通过当地观测到的雨滴谱DSD进行拟合得到，每个表达式的参数估计中都包含了所有的滴谱的信息。比如在R(ZH,ZDR)的参数拟合中，加入了弱降水的滴谱信息，会因为ZDR在低信噪比(SNR)下的显著测量偏差而导致较大的拟合参数的偏差。同样，R(ZDR,KDP)表达式参数的拟合中也存在类似的问题，弱降水期间表现出的高噪声会使ZDR、KDP的估计不可信，造成拟合参数的偏差。同时，在强降水情况下，会因为ZH和ZDR存在较大的衰减而产生较大的偏差。最后估测结果往往需要利用雨量站点对雷达估测降水进行校准，会产生一致性较差的偏差分布，同时对雨量站的过分依赖会导致错误的站点观测带来错误估值。
通过上述分析，现有技术存在的问题及缺陷为：
(1)传统算法采用Z-R关系进行拟合，参数难以确定，精度低。通常基于一定的物理假设、对雷达等输入数据的质量要求较高，地物杂波、波束遮挡等对回波造成的污染往往会导致降水率高估或低估。
(2)模型的普适性较差，计算较复杂，拟合参数取决于降水系统的类型，如稳定型降水和对流性降水的区别，海洋性降水和大陆性降水的区别，以及液体降水、固态降水、混合型降水的区别，复杂地形对降水的贡献等因素。
解决上述技术问题的难度：
如何建立人工智能模型可用的高质量训练数据集，本发明需要解决的一个技术难点是通过构建模糊逻辑算法实现非气象回波识别，其次是如何得到多部雷达组网质量更好的拼图数据，通过多方法如CRESSMAN和指数权重函数的效果对比检验，择优选择技术方案。此外，训练数据的序列长度以及数据集对各种天气类型的代表性都会影响模型的普适性，建立长时间序列的训练数据集是基础也是关键。
如何训练具有普适性的深度学习降水估测模型是一个难点，深度学习方法可以自动学习输入数据的特征，但是在训练过程中对数据前处理和模型优化是关键，如何设计输入因子和目标变量之间的时空匹配关系，需要依据目标变量的损失loss输出结果不断调整模型参数来优化，因此，数据前处理、模型参数调整、网络归一化处理和采样策略都是需要考虑的关键技术，才有得到相对较优的训练模型。
解决上述技术问题的意义：
地面降水观测站点的空间分布是不均匀的，华东地区的自动观测站相对稠密，布网间距最高可以达到3km，而基于雷达观测网建立降水估测模型一直是双偏振雷达改造升级的重点和焦点，雷达分辨率不断提升，雷达探测组网分辨率目前最高可以达到250米。传统方法通过建立Z-R关系模型实现雷达定量降水估测，但计算较复杂，取决于降水系统的类型和地域特征，普适性较差。因此，本技术提出了一种基于MIM深度学习网络和双偏振雷达组网拼图的分钟定量降水估测算法，在时序模型Spatiotemporal LSTM的基础上引入MIM-S和MIM-N模块，能够提取雷达图像中的非平稳特征，有机会使时空过程逐渐平稳化，使其更具可预测性，通过雷达拼图大数据样本的训练，可以得到更加精细、覆盖范围更广、普适性更高、推广应用价值更高的分钟降水估测模型，同时可以弥补沿海区域无降水观测的不足，提供更加可靠的估测雨量。
发明内容
针对现有技术存在的问题，本发明提供了一种基于MIM网络和雷达拼图的分钟降水估测方法及系统。
本技术方案提出了一种基于MIM网络和雷达拼图的分钟降水估测方法，其核心技术特征包括四个关键环节：首先，实施双偏振雷达数据的质量控制，使用MetEcho算法进行非气象回波的识别和抑制；其次，通过将多部雷达的数据插值到统一的笛卡尔网格上，实现多部双偏振雷达的组网拼图，形成雷达网的三维拼图格点场；接着，生成具有高时空分辨率的雷达拼图训练数据集，并采用CMPAS融合数据作为模型训练的目标变量，同时对数据进行标准化处理以提高模型的性能和训练速度；最后，构建基于MIM网络的深度学习模型，该模型结合Spatiotemporal LSTM和多个MIM block，能够有效地从时空动态中学习和捕捉高阶非平稳性特征，用于精准的分钟级降水估测。此技术方案显著提升了降水估测的准确性和效率，对于气象预报和灾害预警具有重要应用价值。
本发明是这样实现的，一种基于MIM网络和雷达拼图的分钟降水估测方法，包括：
S1，雷达偏振量(ZH、ZDR、KDP、φDP、ρhv)的质量控制：双偏振雷达数据质量控制采用MetEcho算法实现非气象回波识别，首先计算雷达变量ZDR、φDP、ρhv的标准差，其次对ZH、ρhv做窗口平滑处理；
S2，多部双偏振雷达的组网拼图：首先把球坐标系下的雷达反射率因子值插值到统一的笛卡尔网格(经度、纬度和高度坐标)，然后把来自多个雷达的格点反射率场拼接起来就可形成雷达网三维拼图格点场；
S3，生成逐6分钟间隔的雷达拼图训练数据集，包括三个特征量(ZH、ZDR、KDP)，裁剪到一定的经纬度范围，构建的雷达训练集样本量约50000个，时空分辨率1公里，逐6分钟间隔；目标变量采用国家气象信息中心研发的CMPAS地面+卫星+雷达三源融合降水实况分析数据，为深度学习模型的训练提供可靠的目标数据；深度学习模型的输入数据需要经过标准化处理，利用数据标准化Min-Max(x-min)/(max-min)方法通过对特征进行线性变换，将数据缩放到一个指定的最小值和最大值之间，有助于提高模型的性能和训练速度；
S4，深度学习网络的构造和参数优化：采用MIM网络，网络一共四层，第一层是Spatiotemporal LSTM(ST-LSTM)作为基础网络，其余三层为MIM block块，通过对角线状态连接将多个MIM块相互链接起来，用于建模时空预测中的差异信息；通过堆叠多个MIM块，可以潜在地从时空动态中学习高阶非平稳性特征。
进一步，S1中偏振量质量控制算法包括5个步骤：
(1)沿着雷达波束发射的径向方向，ZDR以5个雷达库为一个移动窗口，对ZDR进行窗口平滑处理，并计算每个雷达库的标准差std dev(ZDR)；
(2)相同原理计算std dev以8个雷达库为一个移动窗口对进行平滑处理，并计算标准差。
(3)std dev(ρhv)是ρhv以5个雷达库为一个移动窗口对ρhv进行平滑处理，并计算标准差；
(4)ρhv以5个雷达库作为一个移动窗口进行平滑处理，ZH以10个雷达库作为一个移动窗口进行平滑处理；
(5)完成六个输入的雷达变量的计算后，开始对隶属函数进行计算，将雷达变量代入模糊算法中，利用数学运算整合6个参量的信息，计算不同每个雷达库的气象和非气象回波中的隶属度，用下面的公式进行计算：
在上式中，Pi(Vj)表示每个变量的隶属函数，j表示输入的变量，i表示水凝物的分类值；Ai表示第j个变量与第i个水凝物的匹配程度，每个变量的隶属函数范围在0～1之间；Wij表示每个变量给定的权重值；
若对论域(研究的范围)U中的任一元素x，都有一个数A(x)∈[0，1]与之对应，则称A为U上的模糊集，A(x)称为x对A的隶属度；当x在U中变动时，A(x)就是一个函数，称为A的隶属函数；隶属度A(x)越接近于1，表示x属于A的程度越高，A(x)越接近于0表示x属于A的程度越低。
进一步，S2中，三维雷达组网拼图技术采用了指数权重算法：用多部雷达距离权重对重叠区域回波做平均处理，采用指数权重函数法进行拼图处理，可以较好地保证拼图中回波空间位置和强度的一致性，以及数据的连续性；在拼图网格中的每个网络单元i的反射率因子值可以通过下面公式得到：
其中fm(i)是网格单元i的合成反射率，是在网络单元i处来自第n个雷达的分析值，wn是给分析值的权重，Nrad是在网格单元i处有分析值的总的雷达个数；Nrad＝0表示没有雷达在此网格点有值，Nrad＝1表示网格单元的值等于那个雷达在该网格单元的值，如果Nrad>1，就需要对多个雷达分析值的权重平均，公式中的权重采用指数权重函数：
其中，R为影响半径，r为网格点到雷达的距离。
进一步，S3中，输入网络训练数据分别是3km高度的ZH、ZDR、KDP及前一个时次的实况降水，训练目标为当前时次地面实况降水；将裁剪到一定范围的网格数据512×512，经过缩放变换由处理为4个通道128×128的数据输入网络，有利于模型的加速训练；小时估测模型和分钟估测模型的区别在于小时估测模型由6分钟间隔对应10个序列的雷达数据与地面小时降水形成匹配关系，而分钟估测模型采用当前地面6分钟累积降水Pt0与当前时刻的雷达Rt0和前一时刻的雷达Rt0-6数据形成序列(Rt0，Rt0-6，Rt0，Rt0-6，Rt0，Rt0-6，Rt0，Rt0-6，Rt0，Rt0-6)建立空间匹配关系，因此，输入模型的数据维度为(4×10×128×128)。
进一步，S4中，分钟级降水估测模型的训练是通过双偏振雷达数据集和地面6分钟累积降水建立匹配关系，采取增大采样频率的策略，30分钟采样一次，每个数据样本选择00分、36分的雷达数据作为输入数据集，减少缺测带来的影响。取相邻时刻雷达回波，基于深度学习MIM网络进行6分钟降水反演；训练模型时采用了三个技巧来优化模型：
(1)为了解决模型对异常值敏感问题，采用smoothL1Loss的损失函数进行优化：
smoothL1Loss(x,y)＝0.5×(x-y)^2,if|x-y|<1
|x-y|-0.5,otherwise
其中，x是预测值，y是目标值。如果预测值和目标值之间的差异小于1，损失函数采用平方差的一半作为损失值；否则，损失函数采用绝对差减去0.5作为损失值；SmoothL1Loss是一种平滑的损失函数，可以在训练过程中平衡对异常值的敏感性，并提供更稳定的训练效果；
(2)MIM网络加入了层归一化方法(Layer Normalization)，作用是在MIM网络的每个隐藏层中对输入进行归一化处理，以减少内部协变量偏移(Internal Covariate Shift)的影响，有助于提高模型的训练速度、稳定性和泛化能力，改善梯度传播；
(3)采用Scheduled sampling函数的采样策略，根据预定的策略在训练过程中对输入数据进行采样，通过在训练过程中逐渐过渡从模型生成的输出到真实的目标输出，可以更好地平衡自身生成的输出和真实目标输出之间的权衡，从而提高生成模型的性能和生成质量；它接受两个参数：eta和itr，eta表示采样概率，itr表示当前的训练迭代次数；函数会根据itr的值来调整eta的大小；在训练的早期阶段，eta会逐渐减小，从而增加模型对真实数据的依赖性；随着训练的进行，eta会逐渐趋近于0，使得模型更多地依赖于自身生成的数据；最后，函数根据采样结果生成一个与输入数据形状相同的数组，其中的元素根据采样结果选择为全1或全0，这个数组用于在训练过程中控制模型的输入数据。
本发明的另一目的在于提供一种应用所述基于MIM网络和雷达拼图的分钟降水估测方法的基于MIM网络和雷达拼图的分钟降水估测系统，包括：
数据预处理模块，用于双偏振雷达基数据的偏振量质控和组网拼图，经过MetEcho算法实现非气象回波识别，利用指数权重函数方法处理多雷达重叠区域数据，生成高质量的雷达三维拼图数据；
模型训练模块，用于分钟级降水定量估测模型的训练，基于MIM网络训练，建立分钟级雷达数据和分钟级地面降水数据建立复杂的非线性关系，引入多个技巧包括层归一化方法、Scheduled sampling采样函数，掩码处理技术，提高生成模型的性能和生成质量，提供更稳定的训练效果；
模型预测模块，用于生成分钟定量降水的估测结果，实时处理的3km高度ZH、ZDR、KDP的雷达偏振量拼图及前一个时次的实况降水数据输入训练好的模型中，输出6分钟定量降水估测结果，逐6分钟累加得到1小时降水估测结果；
模型检验模块，用于批量计算模型的检验结果，检验实况数据采用1小时的CMPAS格点降水实况，计算点对点的定量和定性评分指标。
本发明的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的基于MIM网络和雷达拼图的分钟降水估测方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的基于MIM网络和雷达拼图的分钟降水估测方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述的基于MIM网络和雷达拼图的分钟降水估测系统。
结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
第一，本发明通过检验2022年6—8月49个短时强降水(最大小时雨强达到20mm以上)的过程，共318个时次的反演数据，通过三个模型(分钟估测模型、小时估测模型、Z-R关系模型)的对比检验，说明本发明的技术优势，结果见图9。长时间序列的评分指标可见，分钟估测模型明显优于其他模型，相对传统Z-R关系模型的改进显著。对弱降水量级0.1-5mm/h，分钟估测模型的TS最高达到0.45，相比Z-R关系法的改进率为33％。对20mm/h以上短时强降水，TS达到0.21，Z-R关系法为0.18，改进率为17％。分钟估测模型的RMSE均方根误差约3.5，相比Z-R关系法的改进率为28％，平均绝对误差MAE和平均相对误差MRE约0.64，相比Z-R关系法的改进率为45％。
第二，本发明提出了一种基于MIM深度学习网络和双偏振雷达组网拼图的分钟降水定量估测算法，在时序模型Spatiotemporal LSTM的基础上引入MIM-S和MIM-N模块，能够提取雷达图像中的非平稳特征，有机会使时空过程逐渐平稳化，使其更具可预测性，通过雷达拼图大数据样本的训练，可以得到更加精细、覆盖范围更广、普适性更高、推广应用价值更高的模型，同时可以修正国家级三源融合降水CMPAS的错误数据，弥补近海无降水观测的雨量估计不足，改进传统方法估测精度低、计算复杂且普适性不高的缺点。因此，本发明对于进一步提升降水估测以及降水短临预报能力，具有十分重要的意义。
第三，本发明的技术方案转化后的预期收益和商业价值为：本发明公开一种基于高时空分辨率的雷达组网和深度学习融合的分钟定量降水估测方法，利用深度学习大数据训练建立分钟地面降水观测和分钟雷达探测数据之间复杂的空间关系，得到高准率的预测，在实际应用中，可以提供精细化百米级的降水估算结果，实现无降水观测区域降水量的快速准确估算，减少自动观测站错误数值带来的不确定影响，同时为降水的临近预报提供可靠的外推数据，提高短临预报的准确性，能在很大程度上规避掉人员的伤亡等带来的经济损失。
本发明的技术方案填补了国内外业内技术空白：本发明应用双偏振雷达组网拼图数据实现定量降水估测，最大限度地利用双偏振雷达的优势，通过长时间序列的大样本训练和模型调优，得到了适用于多种天气类型的分钟降水估测方法。国内相关技术仍然主要依靠双偏振雷达的物理模型估测降水，计算复杂且可移植性差，通常基于单部雷达的反演，覆盖面有限，该技术方案通过构建双偏振雷达拼图拓展了应用范围，分钟级雷达估测降水模型可以得到更精确的估算结果，相对小时模型能够减小累积误差，可以有效提升模型的预报准确率，在实际业务中的推广应用价值高，能够发挥较好的防灾减灾作用。
本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：本发明提供了一种基于定量降水的估测方法及其应用，人们一直在探索一种通用的定量降水估算方法，不同偏振量与降水率关系的统计降水估测算法被不断地提出，但是不同定量降水估测算法在不同降水类型区域的表现各异，因此基于物理反演的雷达定量降水估测模型对于地域、天气类型及雷达数据质量的依赖性较高，方法繁琐、拟合参数不确定性大、普适性低，预测准确率较低，难以大范围推广应用。本发明的模型可以弥补上述物理模型的缺点，基于人工智能的训练模型具有较好的通用性和可移植性，训练好的模型还可以加入新的观测进行迁移学习不断完善，推广应用价值高。
第四，本发明技术方案提出了一种基于MIM网络和雷达拼图的分钟降水估测方法，其核心技术特征包括：
1)雷达偏振量的质量控制：使用MetEcho算法对双偏振雷达数据进行质量控制，主要包括非气象回波识别抑制。通过计算雷达变量的标准差和对ZH、ρhv进行窗口平滑处理，以提高数据质量。
2)多部双偏振雷达的组网拼图：将不同雷达的球坐标系下的反射率因子值插值到统一的笛卡尔网格上，再将来自多个雷达的格点反射率场拼接，形成雷达网三维拼图格点场。
3)雷达拼图训练数据集的生成：生成逐6分钟间隔的雷达拼图训练数据集，包括三个特征量，并将其裁剪到特定经纬度范围内。使用CMPAS地面+卫星+雷达三源融合降水实况分析数据作为目标变量，为深度学习模型的训练提供可靠的目标数据。
4)深度学习网络的构造和参数优化：采用MIM网络构建深度学习模型，网络包含一层Spatiotemporal LSTM和三层MIM block，通过对角线状态连接将MIM块相互链接，用于建模时空预测中的差异信息。通过堆叠多个MIM块，模型能够学习时空动态中的高阶非平稳性特征。
本技术方案在提高分钟降水估测精度、提升数据处理效率以及增强降水预测模型的性能方面具有显著的技术优势。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于MIM网络和雷达拼图的分钟降水估测方法流程图；
图2是本发明实施例提供的基于MIM网络和雷达拼图的分钟降水估测系统结构图；
图3是本发明实施例提供的MetEcho算法流程图；
图4是本发明实施例提供的雷达基数据三维格点化流程图；
图5是本发明实施例提供的单部S波段雷达的质控效果对比图；其中，(a)质控前，(b)S波段质控之后；
图6是本发明实施例提供的雷达组网拼图的质控效果对比图；其中，(a)质控前，(b)S波段质控之后；
图7是本发明实施例提供的MIM深度学习网络结构和算法图；
图8是本发明实施例提供的分钟降水估测模型的建模和检验流程图；
图9是本发明实施例提供的2022年6-8月分钟降水估测模型、小时降水估测模型和Z-R关系模型对比检验图；其中，(a)RMSE-均方根误差，(b)平均绝对误差MAE和平均相对误差MRE，(c)TS评分，(d)Bias-偏差；
图10是本发明实施例提供的2022年6月19日08时三种模型的反演效果对比图；其中，(a)CMPAS三源融合降水，(b)分钟降水估测模型，(c)Z-R关系模型，(d)小时降水估测模型；
图11是本发明实施例提供的2022年8月26日16时三种模型的反演效果对比图；其中，(a)CMPAS三源融合降水，(b)分钟降水估测模型，(c)Z-R关系模型，(d)小时降水估测模型；
图12是本发明实施例提供的2023年8月28日16时分钟降水估测模型与CMPAS三源融合降水的对比图；其中，(a)CMPAS三源融合小时降水，(b)深度学习分钟降水估测模型。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于MIM网络和雷达拼图的分钟降水估测方法及系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于MIM网络和雷达拼图的分钟降水估测方法，包括：
S1，雷达偏振量(ZH、ZDR、KDP、φDP、ρhv)的质量控制：双偏振雷达数据质量控制采用MetEcho算法实现非气象回波识别，首先计算雷达变量ZDR、ρhv的标准差，其次对ZH、ρhv做窗口平滑处理；
S2，多部双偏振雷达的组网拼图：首先把球坐标系下的雷达反射率因子值插值到统一的笛卡尔网格(经度、纬度和高度坐标)，然后把来自多个雷达的格点反射率场拼接起来就可形成雷达网三维拼图格点场；
S3，生成逐6分钟间隔的雷达拼图训练数据集，包括三个特征量(ZH、ZDR、KDP)，裁剪到一定的经纬度范围，构建的雷达训练集样本量约50000个，时空分辨率1公里，逐6分钟间隔；目标变量采用国家气象信息中心研发的CMPAS地面+卫星+雷达三源融合降水实况分析数据，为深度学习模型的训练提供可靠的目标数据；深度学习模型的输入数据需要经过标准化处理，利用数据标准化Min-Max(x-min)/(max-min)方法通过对特征进行线性变换，将数据缩放到一个指定的最小值和最大值之间，有助于提高模型的性能和训练速度；
S4，深度学习网络的构造和参数优化：采用MIM网络，网络一共四层，第一层是Spatiotemporal LSTM(ST-LSTM)作为基础网络，其余三层为MIM block块，通过对角线状态连接将多个MIM块相互链接起来，用于建模时空预测中的差异信息；通过堆叠多个MIM块，可以潜在地从时空动态中学习高阶非平稳性特征。
如图2所示，本发明实施例提供的的基于MIM网络和雷达拼图的分钟降水估测系统，包括：
数据预处理模块，用于双偏振雷达基数据的偏振量质控和组网拼图，经过MetEcho算法实现非气象回波识别，利用指数权重函数方法处理多雷达重叠区域数据，生成高质量的雷达三维拼图数据；
模型训练模块，用于分钟级降水定量估测模型的训练，基于MIM网络训练，建立分钟级雷达数据和分钟级地面降水数据建立复杂的非线性关系，引入多个技巧包括层归一化方法、Scheduled sampling采样函数，掩码处理技术，提高生成模型的性能和生成质量，提供更稳定的训练效果；
模型预测模块，用于生成分钟定量降水的估测结果，实时处理的3km高度ZH、ZDR、KDP的雷达偏振量拼图及前一个时次的实况降水数据输入训练好的模型中，输出6分钟定量降水估测结果，逐6分钟累加得到1小时降水估测结果；
模型检验模块，用于批量计算模型的检验结果，检验实况数据采用1小时的CMPAS格点降水实况，计算点对点的定量和定性评分指标。
作为优选，本发明实施例提供的基于MIM深度学习网络和双偏振雷达拼图融合的分钟级降水定量估测方法，包括：
步骤一，雷达偏振量(ZH、ZDR、KDP、φDP、ρhv)的质量控制技术。双偏振雷达数据质量控制主要分为三个方面：非气象回波识别抑制、雷达系统误差标定、双通道一致性和双通道极化隔离度。双偏振雷达在识别非气象回波能力上比单偏振更强；由于测量的偏振量都是小值量，对同一目标，双偏振参量比单偏振的反射率因子、径向速度值要小1～2个量级，所以对双偏振雷达的系统误差标定、双通道一致性和双通道极化隔离度有更高的要求，对雷达硬件的标定不在本技术讨论范围。因此对双偏振雷达数据的预处理主要集中在非气象回波的识别抑制上。本发明采用MetEcho算法实现非气象回波识别，首先计算雷达变量ZDR、ρhv的标准差，其次对ZH、ρhv做窗口平滑处理，具体流程图见图3。
步骤二，多部双偏振雷达的组网拼图技术，首先把球坐标系下的雷达反射率因子值插值到统一的笛卡尔网格(经度、纬度和高度坐标)，然后把来自多个雷达的格点反射率场拼接起来就可形成雷达网三维拼图格点场，具体流程图见图4，质控效果图见图5、图6。本发明采用最优的径向和方位上的最近邻居和垂直线性内插法，该插值方法在反射率场保持了云系的连续性，同时内插过程中最小限度的平滑，保留了雷达资料中存在的原始回波结构特征。笛卡尔坐标网格点垂直层次设置为31层，0.5～18.0km，0.5km～3km的垂直分辨率为0.25km，3km～9km为0.5km的垂直分辨率，10km～18km为1km的垂直分辨率，网格在水平方向的经纬度分辨率为0.01°×0.01°(约1×1km)。
步骤三，生成逐6分钟间隔的雷达拼图训练数据集，包括三个特征量(ZH、ZDR、KDP)，裁剪到一定的经纬度范围，构建的雷达训练集样本量约50000个，时空分辨率1公里，逐6分钟间隔；目标变量采用国家气象信息中心研发的CMPAS地面+卫星+雷达三源融合降水实况分析数据，空间分辨率1公里，时间分辨率为1小时和10分钟，其陆地区域的产品质量较高，为深度学习模型的训练提供可靠的目标数据，但是沿海区域的数据精度较低。深度学习模型的输入数据需要经过标准化处理。利用数据标准化Min-Max(x-min)/(max-min)方法通过对特征进行线性变换，将数据缩放到一个指定的最小值和最大值之间，有助于提高模型的性能和训练速度。
步骤四，深度学习网络的构造和参数优化。本技术采用的网络结构为MIM网络，网络一共四层，第一层是Spatiotemporal LSTM(ST-LSTM)作为基础网络，其余三层为MIMblock块，它通过对角线状态连接将多个MIM块相互链接起来，用于建模时空预测中的差异信息。通过堆叠多个MIM块，可以潜在地从时空动态中学习高阶非平稳性特征。示意图如7所示。MIM具有一个存储器单元采自LSTM，以及两个附加的复现模块MIM-N(非平稳模块)和MIM-S(平稳模块)来替代ST-LSTM中的遗忘门，使用这些模块分别模拟时空动态的高阶非平稳和近似静止的分量。因此，MIM网络可以从雷达图像中自主学习空间相关性和局部像素值的时间依赖性，对雷达回波的累积、变形或耗散等有更好的预测。MIM网络中的时间差异是通过从隐藏状态Ht减去Ht-1来实现的。与直接对相邻原始图像进行差分相比，通过底层ST-LSTM层将局部区域的时空变化编码到隐藏表示中，对时间上相邻的隐藏状态进行差分可以更明显地揭示出非平稳性。MIM网络的另一个显著特征是水平状态转换路径。由于MIM块具有两个级联的时间记忆模块，分别捕获非平稳和平稳动态，进一步沿着图7中的蓝色箭头传递两个时间记忆(非平稳记忆用N表示，平稳记忆用S表示)。MIM网络参数通过超参数学习的方法选择最优的参数，选择featurechannel为16(隐藏层为4层)，采用损失函数为SmoothL1loss，优化器为随机梯度SGD下降方法，对模型进行优化，更新权重与偏置，使差异值降到最低值。学习率lr为0.001，采用了两个技巧，为layer nomalization(层归一化)和scheduled sampling(采样策略)。
步骤一中所述偏振量质量控制算法包括5个步骤：
(1)沿着雷达波束发射的径向方向，ZDR以5个雷达库为一个移动窗口，对ZDR进行窗口平滑处理，并计算每个雷达库的标准差std dev(ZDR)；
(2)相同原理计算std dev以8个雷达库为一个移动窗口对进行平滑处理，并计算标准差。
(3)std dev(ρhv)是ρhv以5个雷达库为一个移动窗口对ρhv进行平滑处理，并计算标准差。
(4)ρhv以5个雷达库作为一个移动窗口进行平滑处理，ZH以10个雷达库作为一个移动窗口进行平滑处理。
(5)完成六个输入的雷达变量的计算后，开始对隶属函数进行计算，将雷达变量代入模糊算法中，利用数学运算整合6个参量的信息。计算不同每个雷达库的气象和非气象回波中的隶属度，用下面的公式进行计算：
在上式中，Pi(Vj)表示每个变量的隶属函数，j表示输入的变量，i表示水凝物的分类值；Ai表示第j个变量与第i个水凝物的匹配程度，每个变量的隶属函数范围在0～1之间；Wij表示每个变量给定的权重值。
若对论域(研究的范围)U中的任一元素x，都有一个数A(x)∈[0，1]与之对应，则称A为U上的模糊集，A(x)称为x对A的隶属度。当x在U中变动时，A(x)就是一个函数，称为A的隶属函数。隶属度A(x)越接近于1，表示x属于A的程度越高，A(x)越接近于0表示x属于A的程度越低。具体流程见图1：
步骤二中，三维雷达组网拼图技术采用了指数权重算法：
由于在拼图网格的很多区域，特别是在对流层中高层，对于多个雷达的资料重叠区进行处理，使得拼图反射率场尽地保留其原有的细尺度结构和空间连续性。通常用多部雷达距离权重对重叠区域回波做平均处理，常用的平均方法有最近邻居法、最大值法和权重函数法，本技术采用指数权重函数法进行拼图处理，可以较好地保证拼图中回波空间位置和强度的一致性，以及数据的连续性。在拼图网格中的每个网络单元i的反射率因子值可以通过下面公式(1)得到：
其中fm(i)是网格单元i的合成反射率，是在网络单元i处来自第n个雷达的分析值，wn是给分析值的权重，Nrad是在网格单元i处有分析值的总的雷达个数。Nrad＝0表示没有雷达在此网格点有值，Nrad＝1表示网格单元的值等于那个雷达在该网格单元的值，如果Nrad>1，就需要对多个雷达分析值的权重平均。公式(1)中的权重采用指数权重函数(2)
其中，R为影响半径，本技术选取的雷达有效观测半径为230km，所以R＝230，r为网格点到雷达的距离。指数权重函数使得权重随距离快速下降，有效保留了原始雷达资料中近距离处的高分辨率特征，同时权重值是一个正值，确保雷达能影响到它所覆盖的区域。指数权重法可以明显改善拼图中的回波不连续现象。
步骤三中，输入网络训练数据分别是3km高度的ZH、ZDR、KDP及前一个时次的实况降水，训练目标为当前时次地面实况降水，由于降水具有一定连续性，后时次的降水量与前时次的降水密切相关，加上雷达观测与地面降水也具有一定的滞后性，因此，充分利用天气雷达和地面雨量站观测是提高强降水估测精度的关键点。将裁剪到一定范围的网格数据512×512，经过缩放变换由处理为4个通道128×128的数据输入网络，有利于模型的加速训练，由于沿海CMP AS格点降水数据的质量较低，在实际训练时利用掩码技术进行了mask处理。小时估测模型和分钟估测模型的区别在于小时估测模型由6分钟间隔对应10个序列的雷达数据与地面小时降水形成匹配关系，而分钟估测模型采用当前地面6分钟累积降水Pt0与当前时刻的雷达Rt0和前一时刻的雷达Rt0-6数据形成序列(Rt0，Rt0-6，Rt0，Rt0-6，Rt0，Rt0-6，Rt0，Rt0-6，Rt0，Rt0-6)建立空间匹配关系，因此，输入模型的数据维度为(4×10×128×128)。
步骤四中，分钟级降水估测模型的训练是通过双偏振雷达数据集和地面6分钟累积降水建立匹配关系，采取增大采样频率的策略，30分钟采样一次，每个数据样本选择00分、36分的雷达数据作为输入数据集，减少缺测带来的影响。取相邻时刻雷达回波，基于深度学习MIM网络进行6分钟降水反演。流程图如图8所示。训练模型时采用了三个技巧来优化模型：
(1)为了解决模型对异常值敏感问题，采用smoothL1Loss的损失函数进行优化。
smoothL1Loss(x,y)＝0.5×(x-y)^2,if|x-y|<1
|x-y|-0.5,otherwise
其中，x是预测值，y是目标值。如果预测值和目标值之间的差异小于1，损失函数采用平方差的一半作为损失值；否则，损失函数采用绝对差减去0.5作为损失值。SmoothL1Loss是一种平滑的损失函数，可以在训练过程中平衡对异常值的敏感性，并提供更稳定的训练效果。
(2)MIM网络加入了层归一化方法(Layer Normalization)，它的作用是在MIM网络的每个隐藏层中对输入进行归一化处理，以减少内部协变量偏移(Internal CovariateShift)的影响，有助于提高模型的训练速度、稳定性和泛化能力，改善梯度传播。
(3)采用Scheduled sampling函数的采样策略，根据预定的策略在训练过程中对输入数据进行采样，通过在训练过程中逐渐过渡从模型生成的输出到真实的目标输出，可以更好地平衡自身生成的输出和真实目标输出之间的权衡，从而提高生成模型的性能和生成质量。它接受两个参数：eta和itr。eta表示采样概率，itr表示当前的训练迭代次数。函数会根据itr的值来调整eta的大小。在训练的早期阶段，eta会逐渐减小，从而增加模型对真实数据的依赖性。随着训练的进行，eta会逐渐趋近于0，使得模型更多地依赖于自身生成的数据。最后，函数根据采样结果生成一个与输入数据形状相同的数组，其中的元素根据采样结果选择为全1或全0。这个数组用于在训练过程中控制模型的输入数据。
本发明的应用实施例提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行基于MIM网络和雷达拼图的分钟降水估测方法的步骤。
本发明的应用实施例提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行基于MIM网络和雷达拼图的分钟降水估测方法的步骤。
本发明的应用实施例提供了一种信息数据处理终端，信息数据处理终端用于实现基于MIM网络和雷达拼图的分钟降水估测系统。
为了说明分钟级估测模型的优势，通过对比小时估测模型和Z-R关系模型，应用以下检验指标，评估三个模型的性能。
检验指标主要有：TS、POD(命中率)、FAR(虚报率)、均方根误差(RMSE)、平均绝对误差(MAE)、平均相对误差(MRE)、比率偏差(BIAS)
RMSE均方根误差能够很好地反映雷达估测值和雨量计实测值之间的离散程度，其反映了估测值偏离实测值的程度，其值越小离散程度越低，表明数据越集中，算法的稳定性越好。
相对误差MAE能够较好地反映数据的可信度，相对误差越小，可信度越高。
比率偏差BIAS反映的是雷达估测值和雨量计观测值之间的平均偏差比率，比率偏差越接近1则表明估测值和观测值越接近。
实施例1：
2022年6月19日是一次稳定性降水个例，三种反演模型(分钟降水估测模型、小时降水估测模型、Z-R关系模型)的对比检验结果如图10所示，在雷达反射率因子相同的情况下，分钟估测模型能够修正小时估测模型的累积误差，反演的降水预报更接近于实况观测，同时对于海上的CMPAS三源融合的错误数据起到了修正作用。评分如下表1所示，分钟模型结果最优，相对于Z-R关系模型，弱降水和强降水的POD改进率分别为40％和650％，均方根误差的改进率16％，平均绝对误差和相对误差的改进率为30％和54％。
表1 2022年6月19日08-20时的评分结果
实施例2：
2022年8月26日是一次局地对流性降水个例，三种反演模型(分钟降水估测模型、小时降水估测模型、Z-R关系模型)的对比检验图如图11所示，由于Z-R关系模型对不同类型降水系统采用不同的经验公式，导致稳定型降水估测偏弱而对流型降水估测偏强的情况，而本发明的分钟估测模型的降水量级均明显优于小时估测模型(量级偏低)和Z-R关系模型(量级偏强)。这次过程的评分如下表所示，分钟模型结果最优，相对于Z-R关系模型，弱降水和强降水的POD改进率分别为32％和32％，均方根误差的改进率34％，平均绝对误差和相对误差的改进率为48％和56％。
表2 2022年8月26日08-20时的评分结果
实施例3：
2023年8月28日16时分钟降水估测模型与CMPAS三源融合降水的对比图，分钟降水估测模型对CMPAS三源融合降水起到修正作用。如图12所示，三源融合降水格点分析数据的弊端在于沿海无观测降水区域存在数据错误的情况，而通过本发明的分钟降水雷达估测结果能够较好的估测出沿海区域的降水量，较好地修正当前国家级格点分析数据的错误，得到更加精细的估算结果。
通过上述三个不同天气类型(稳定性降水、局地对流性降水、沿海无观测降水区)的降水实施例的应用及检验，可以得出，本发明的分钟估测模型对于稳定型降水和对流型降水均有较好的适用性，反演结果接近自动站实况观测，相对自动站观测的分辨率更高，精细刻画能力更强，并且基于雷达拼图的降水反演结果覆盖范围广，能够对国家级三源融合格点分析降水起到修正作用，具有更高的业务应用价值。
除了不同类型天气个例验证以外，采用长时间序列的数据回算来验证模型的整体性能。通过检验2022年6—8月49个短时强降水(最大小时雨强达到20mm以上)的过程，共318个时次的反演数据，通过三个模型(分钟估测模型、小时估测模型、Z-R关系模型)的对比检验，说明本发明的技术优势，结果见表3。长时间序列的评分指标可见，分钟估测模型明显优于其他模型，相对传统Z-R关系模型的改进显著。对弱降水量级0.1-5mm/h，分钟估测模型的TS最高达到0.45，相比Z-R关系法的改进率为33％。对20mm/h以上短时强降水，TS达到0.21，Z-R关系法为0.18，改进率为17％。分钟估测模型的RMSE均方根误差约3.5，相比Z-R关系法的改进率为28％，平均绝对误差MAE和平均相对误差MRE约0.64，相比Z-R关系法的改进率约为45％。长时间序列的验证表明该技术显著优于传统方法，改进显著，可以应用于实际业务。
表3 2022年6-8月08-20时的评分结果
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于MIM网络和雷达拼图的分钟降水估测方法，其特征在于，首先，实施双偏振雷达数据的质量控制，使用MetEcho算法进行非气象回波的识别和抑制，并对雷达数据进行系统误差标定及双通道检查；其次，通过将多部雷达的数据插值到统一的笛卡尔网格上，实现多部双偏振雷达的组网拼图，形成雷达网的三维拼图格点场；接着，生成具有高时空分辨率的雷达拼图训练数据集，并采用CMPAS融合数据作为模型训练的目标变量，同时对数据进行标准化处理以提高模型的性能和训练速度；最后，构建基于MIM网络的深度学习模型，该模型结合Spatiotemporal LSTM和多个MIM block，能够有效地从时空动态中学习和捕捉高阶非平稳性特征，用于精准的分钟级降水估测；
基于MIM网络和雷达拼图的分钟降水估测方法包括：
S1，雷达偏振量的质量控制：双偏振雷达数据质量控制采用MetEcho算法实现非气象回波识别，首先计算雷达变量ZDR、Φdp、ρhv的标准差，其次对ZH、ρhv做窗口平滑处理；
S2，多部双偏振雷达的组网拼图：首先把球坐标系下的雷达反射率因子值插值到统一的笛卡尔网格，然后把来自多个雷达的格点反射率场拼接起来就可形成雷达网三维拼图格点场；
S3，生成逐6分钟间隔的雷达拼图训练数据集，包括三个特征量，裁剪到一定的经纬度范围，构建的雷达训练集样本量约50000个，时空分辨率1公里，逐6分钟间隔；目标变量采用国家气象信息中心研发的CMPAS地面+卫星+雷达三源融合降水实况分析数据，为深度学习模型的训练提供可靠的目标数据；深度学习模型的输入数据需要经过标准化处理，利用数据标准化X_normalized＝(X-X_min)/(X_max-X_min)方法通过对特征进行线性变换，将数据缩放到一个指定的最小值和最大值之间，有助于提高模型的性能和训练速度；
S4，深度学习网络的构造和参数优化：采用MIM网络，网络一共四层，第一层是Spatiotemporal LSTM作为基础网络，其余三层为MIMblock块，通过对角线状态连接将多个MIM块相互链接起来，用于建模时空预测中的差异信息；通过堆叠多个MIM块，可以潜在地从时空动态中学习高阶非平稳性特征；
S1中偏振量质量控制算法包括5个步骤：
(1)沿着雷达波束发射的径向方向，ZDR以5个雷达库为一个移动窗口，对ZDR进行窗口平滑处理，并计算每个雷达库的标准差std dev(ZDR)；
(2)相同原理计算std dev(Φdp)，以8个雷达库为一个移动窗口对Φdp进行平滑处理，并计算标准差；
(3)std dev(ρhv)是ρhv以5个雷达库为一个移动窗口对ρhv进行平滑处理，并计算标准差；
(4)ρhv以5个雷达库作为一个移动窗口进行平滑处理，ZH以10个雷达库作为一个移动窗口进行平滑处理；
(5)完成六个输入的雷达变量的计算后，开始对隶属函数进行计算，将雷达变量代入模糊算法中，利用数学运算整合6个参量的信息，计算不同每个雷达库的气象和非气象回波中的隶属度，用下面的公式进行计算：
在上式中，Pi(Vj)表示每个变量的隶属函数，j表示输入的变量，i表示水凝物的分类值；Ai表示第j个变量与第i个水凝物的匹配程度，每个变量的隶属函数范围在0～1之间；Wij表示每个变量给定的权重值；
若对论域U中的任一元素x，都有一个数A(x)∈[0，1]与之对应，则称A为U上的模糊集，A(x)称为x对A的隶属度；当x在U中变动时，A(x)就是一个函数，称为A的隶属函数；隶属度A(x)越接近于1，表示x属于A的程度越高，A(x)越接近于0表示x属于A的程度越低。
2.如权利要求1所述的基于MIM网络和雷达拼图的分钟降水估测方法，其特征在于，S2中，三维雷达组网拼图技术采用了指数权重算法：用多部雷达距离权重对重叠区域回波做平均处理，采用指数权重函数法进行拼图处理，可以较好地保证拼图中回波空间位置和强度的一致性，以及数据的连续性；在拼图网格中的每个网络单元i的反射率因子值可以通过下面公式得到：
其中fm(i)是网格单元i的合成反射率，是在网络单元i处来自第n个雷达的分析值，wn是给分析值的权重，Nrad是在网格单元i处有分析值的总的雷达个数；Nrad＝0表示没有雷达在此网格点有值，Nrad＝1表示网格单元的值等于那个雷达在该网格单元的值，如果Nrad>1，就需要对多个雷达分析值的权重平均，公式中的权重采用指数权重函数：
其中，R为影响半径，r为网格点到雷达的距离。
3.如权利要求1所述的基于MIM网络和雷达拼图的分钟降水估测方法，其特征在于，S3中，输入网络训练数据分别是3km高度的ZH、ZDR、KDP及前一个时次的实况降水，训练目标为当前时次地面实况降水；将裁剪到一定范围的网格数据512×512，经过缩放变换由处理为4个通道128×128的数据输入网络，有利于模型的加速训练；小时估测模型和分钟估测模型的区别在于小时估测模型由6分钟间隔对应10个序列的雷达数据与地面小时降水形成匹配关系，而分钟估测模型采用当前地面6分钟累积降水Pt0与当前时刻的雷达Rt0和前一时刻的雷达Rt0-6数据形成序列Rt0，Rt0-6，Rt0，Rt0-6，Rt0，Rt0-6，Rt0，Rt0-6，Rt0，Rt0-6，建立空间匹配关系，因此，输入模型的数据维度为4×10×128×128。
4.如权利要求1所述的基于MIM网络和雷达拼图的分钟降水估测方法，其特征在于，S4中，分钟级降水估测模型的训练是通过双偏振雷达数据集和地面6分钟累积降水建立匹配关系，采取增大采样频率的策略，30分钟采样一次，每个数据样本选择00分、36分的雷达数据作为输入数据集，减少缺测带来的影响；取相邻时刻雷达回波，基于深度学习MIM网络进行6分钟降水反演；训练模型时采用了三个技巧来优化模型：
(1)为了解决模型对异常值敏感问题，采用smoothL1Loss的损失函数进行优化：
smoothL1Loss(x,y)＝0.5×(x-y)^2,if|x-y|<1
|x-y|-0.5,otherwise
其中，x是预测值，y是目标值；如果预测值和目标值之间的差异小于1，损失函数采用平方差的一半作为损失值；否则，损失函数采用绝对差减去0.5作为损失值；SmoothL1Loss是一种平滑的损失函数，可以在训练过程中平衡对异常值的敏感性，并提供更稳定的训练效果；
(2)MIM网络加入了层归一化方法，作用是在MIM网络的每个隐藏层中对输入进行归一化处理，以减少内部协变量偏移的影响，有助于提高模型的训练速度、稳定性和泛化能力，改善梯度传播；
(3)采用Scheduled sampling函数的采样策略，根据预定的策略在训练过程中对输入数据进行采样，通过在训练过程中逐渐过渡从模型生成的输出到真实的目标输出，可以更好地平衡自身生成的输出和真实目标输出之间的权衡，从而提高生成模型的性能和生成质量；它接受两个参数：eta和itr，eta表示采样概率，itr表示当前的训练迭代次数；函数会根据itr的值来调整eta的大小；在训练的早期阶段，eta会逐渐减小，从而增加模型对真实数据的依赖性；随着训练的进行，eta会逐渐趋近于0，使得模型更多地依赖于自身生成的数据；最后，函数根据采样结果生成一个与输入数据形状相同的数组，其中的元素根据采样结果选择为全1或全0，这个数组用于在训练过程中控制模型的输入数据。
5.一种应用如权利要求1～4任意一项所述基于MIM网络和雷达拼图的分钟降水估测方法的基于MIM网络和雷达拼图的分钟降水估测系统，其特征在于，包括：
数据预处理模块，用于双偏振雷达基数据的偏振量质控和组网拼图，经过MetEcho算法实现非气象回波识别，利用指数权重函数方法处理多雷达重叠区域数据，生成高质量的雷达三维拼图数据；
模型训练模块，用于分钟级降水定量估测模型的训练，基于MIM网络训练，建立分钟级雷达数据和分钟级地面降水数据建立复杂的非线性关系，引入多个技巧包括层归一化方法、Scheduled sampling采样函数，掩码处理技术，提高生成模型的性能和生成质量，提供更稳定的训练效果；
模型预测模块，用于生成分钟定量降水的估测结果，实时处理的3km高度ZH、ZDR、KDP的雷达偏振量拼图及前一个时次的实况降水数据输入训练好的模型中，输出6分钟定量降水估测结果，逐6分钟累加得到1小时降水估测结果；
模型检验模块，用于批量计算模型的检验结果，检验实况数据采用1小时的CMPAS格点降水实况，计算点对点的定量和定性评分指标。
6.一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～4任意一项所述的基于MIM网络和雷达拼图的分钟降水估测方法的步骤。
7.一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～4任意一项所述的基于MIM网络和雷达拼图的分钟降水估测方法的步骤。
8.一种信息数据处理终端，信息数据处理终端用于实现如权利要求5所述的基于MIM网络和雷达拼图的分钟降水估测系统。
CN202311701465.5A 2023-12-12 2023-12-12 基于mim网络和雷达拼图的分钟降水估测方法及系统 Active CN117805826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311701465.5A CN117805826B (zh) 2023-12-12 2023-12-12 基于mim网络和雷达拼图的分钟降水估测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311701465.5A CN117805826B (zh) 2023-12-12 2023-12-12 基于mim网络和雷达拼图的分钟降水估测方法及系统

Publications (2)

Publication Number Publication Date
CN117805826A CN117805826A (zh) 2024-04-02
CN117805826B true CN117805826B (zh) 2024-06-04

Family

ID=90420989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311701465.5A Active CN117805826B (zh) 2023-12-12 2023-12-12 基于mim网络和雷达拼图的分钟降水估测方法及系统

Country Status (1)

Country Link
CN (1) CN117805826B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104614726A (zh) * 2015-03-05 2015-05-13 北京航空航天大学 一种阵列可伸缩式便携mimo-sar测量雷达系统及其成像方法
CN110346844A (zh) * 2019-07-15 2019-10-18 南京恩瑞特实业有限公司 Nriet基于云分类和机器学习的定量降水估测方法
CN116719002A (zh) * 2023-08-08 2023-09-08 北京弘象科技有限公司 定量降水估计方法、装置、电子设备及计算机存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104614726A (zh) * 2015-03-05 2015-05-13 北京航空航天大学 一种阵列可伸缩式便携mimo-sar测量雷达系统及其成像方法
CN110346844A (zh) * 2019-07-15 2019-10-18 南京恩瑞特实业有限公司 Nriet基于云分类和机器学习的定量降水估测方法
CN116719002A (zh) * 2023-08-08 2023-09-08 北京弘象科技有限公司 定量降水估计方法、装置、电子设备及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
核密度估计在短时强降水统计分析中的应用;李文娟等;第33届中国气象学会年会 S1 灾害天气监测、分析与预报;20161101;全文 *

Also Published As

Publication number Publication date
CN117805826A (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN112213727B (zh) 一种基于主被动微波联合探测的星载雷达的降水订正方法
US20220043182A1 (en) Spatial autocorrelation machine learning-based downscaling method and system of satellite precipitation data
CN111308581B (zh) 一种基于时空局部模型的雷达-雨量计联合降水估测方法
Goudenhoofdt et al. Evaluation of radar-gauge merging methods for quantitative precipitation estimates
Anagnostou A convective/stratiform precipitation classification algorithm for volume scanning weather radar observations
CN110346844A (zh) Nriet基于云分类和机器学习的定量降水估测方法
Goudenhoofdt et al. Generation and verification of rainfall estimates from 10-yr volumetric weather radar measurements
CN111401602B (zh) 基于神经网络的卫星以及地面降水测量值同化方法
CN113901384B (zh) 顾及全局空间自相关性和局部异质性的地面pm2.5浓度建模方法
CN110263838B (zh) 一种多传感器降水估计融合方法
CN113311416B (zh) 山地小流域雷达定量降水估计方法
CN113267834A (zh) 一种基于多模型集成的融合降水预报方法
CN111474529A (zh) 卫星反演雷达回波的方法、反演雷达回波系统及导航雷达
CN111650572A (zh) 一种减小短时降水估测偏差的方法及系统
CN116953653A (zh) 一种基于多波段天气雷达组网回波外推方法
CN116794652A (zh) 一种基于CNN-ConvLSTM模型的星载GNSS-R全球海洋涌浪高反演方法
CN113704693A (zh) 一种高精度的有效波高数据估计方法
CN115049013A (zh) 一种联合线性和svm的短时降雨预警模型融合方法
Tang et al. CYGNSS soil moisture estimations based on quality control
Wardah et al. Radar rainfall estimates comparison with kriging interpolation of gauged rain
CN117805826B (zh) 基于mim网络和雷达拼图的分钟降水估测方法及系统
Costa et al. Adjustment of state space models in view of area rainfall estimation
CN116299247A (zh) 一种基于稀疏卷积神经网络的InSAR大气校正方法
CN114252871B (zh) 一种基于机器学习的雷达测量精度补偿方法
Kim et al. An Effective Algorithm of Outlier Correction in Space–Time Radar Rainfall Data Based on the Iterative Localized Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant