CN113608223B - 基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法 - Google Patents
基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法 Download PDFInfo
- Publication number
- CN113608223B CN113608223B CN202110931255.XA CN202110931255A CN113608223B CN 113608223 B CN113608223 B CN 113608223B CN 202110931255 A CN202110931255 A CN 202110931255A CN 113608223 B CN113608223 B CN 113608223B
- Authority
- CN
- China
- Prior art keywords
- branch
- double
- precipitation
- bbdm
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001556 precipitation Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000010606 normalization Methods 0.000 claims description 44
- 238000002310 reflectometry Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 3
- 239000007788 liquid Substances 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/95—Radar or analogous systems specially adapted for specific applications for meteorological use
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法,包括搭建双分支双阶段深度模型BBDM框架,BBDM框架具有双分支网络结构;对单站多普勒雷达特征数据进行预处理;在训练BBDM过程中采用双分支训练策略;在训练BBDM过程中采用双阶段训练策略;对训练得到的模型进行存储,用于后续的测试;在测试阶段,对雷达特征数据进行预处理,再输入到之前存储的模型中,仅使用回归分支作为最终的输出,得到最终的降水量的估算结果。通过本发明的模型可以利用单站多普勒天气雷达观测数据,快速、准确的对各种不同强度的降水量进行估算,同时,这也是一种通用的用于处理有明显样本不平衡的回归问题的方法。
Description
技术领域
本发明涉及图像识别和天气智能识别技术领域。具体地说是基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法。
背景技术
传统的利用多普勒天气雷达定量估算降水(QPE)技术是利用雷达回波强度(Z)与地面降水量(R)之间的经验关系(通常成为Z-R关系),Z-R关系式可描述为:
Z=aRb
其中,a,b是参数,参数大小与降水天气类型、季节、区域均有密切关系,通常利用经验关系确定。参数设置的不确定性是利用传统技术估算地面降水精度不高的主要原因。
近年来使用机器学习方法来识别强降水仍处于尝试阶段,SVM、AdaBoost等经典的机器学习方法开始用于雷达定量估测降水,这类方法计算高效,但仍需人工尝试不同的雷达参数组合对于模型的影响,对于非线性表达,蕴含语义信息的数据源的分类效果会变差。
端到端的深度学习的方法不需要事先确定输入的特征值,具有高效性,人力成本低,且规则统一易推广等多种优势。利用深度学习模型进行雷达估算降水存在的主要问题是多普勒天气雷达产品数据的长尾分布,产生较强降水的回波强度出现概率非常低,亦即样本的不平衡问题。利用传统的深度学习框架,常常导致对出现概率高的小降水的学习效果好,但对更有实用价值的较强降水的学习效果差。
发明内容
为此,本发明所要解决的技术问题在于提供一种能够准确地从单站多普勒天气雷达特征中估算不同强度的降水的基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法。
为解决上述技术问题,本发明提供如下技术方案:
基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法,包括如下步骤:
步骤(1),搭建双分支双阶段深度模型BBDM框架,所述双分支双阶段深度模型BBDM框架具有双分支网络结构;
步骤(2),对单站多普勒雷达特征数据进行预处理,使各个雷达特征之间分布统一,并将雷达特征输入到BBDM中进行训练;
步骤(3),在训练BBDM的过程中采用双分支训练策略;
步骤(4),在训练BBDM的过程中采用双阶段训练策略;
步骤(5),对训练得到的模型进行存储,用于后续的测试;
步骤(6),在测试阶段,对雷达特征数据进行如步骤(2)中同样的预处理过程,再输入到之前存储的模型中;
步骤(7),在测试阶段,仅使用回归分支作为最终的输出,得到最终的降水量的估算结果。
上述基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法,在步骤(1)中,所述双分支网络结构包括回归分支和分类分支,其中,回归分支用于输出降水量的实值,分类分支是用来在训练阶段缓解长尾分布的影响。
上述基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法,在步骤(2)中,采用了4个单站多普勒雷达特征,分别是垂直累积液态水含量VIL、混合扫描反射率HBR、组合反射率CR和3km等高面反射率CAP30,需要对着4个单站多普勒雷达特征进行特征规范化处理,使得各个数据特征处于统一的尺度下,以便于进行分析比较,具体方法如下:
(2-1)对HBR、CR、CAP30特征进行数据预处理:直接通过归一化和标准化的方式来进行预处理;
先统计各个特征分布中的最大值和最小值,分别记为xmax和xmin;然后再进行归一化的操作,假设原有的特征为x,归一化之后的特征为则归一化公式如下所示:
最后再统计归一化之后特征的均值和标准差,分别记为μ和σ,假设标准化之后的数据为/>则标准化的公式如下;
得到的即是预处理完成的HBR、CR、CAP30特征,可以输入到BBDM中;
(2-2)对VIL特征进行数据预处理;
首先进行三次根号的处理:
其中是三次根号处理后的数据;
然后统计特征分布中的最大值和最小值,分别记为/>和/>
再进行归一化的操作,假设经过三次根号处理后的特征为归一化之后的特征为则归一化公式如下所示:
然后再统计归一化之后特征的均值和标准差,分别记为μ和σ,假设标准化之后的数据为/>则标准化的公式如下:
得到的即是预处理完成的VIL特征,可以输入到BBDM中;
(2-3)对标签降水量进行规范化;
先进行三次根号的处理,假设y是原有的标签降水量数据,是经过三次根号处理过后的标签数据,则三次根号处理的公式如下;
然后再统计特征分布的最大值和最小值,分别记为/>和/>如归一化公式如下:
得到的即是BBDM模型需要使用的标签降水量。
上述基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法,在步骤(3)中,所述双分支训练策略包括回归分支策略和分类分支策略,其中回归分支策略具体为:
回归分支中,假设深度模型BBDM的回归分支的输出结果为其中/>是[0,1]之间的数,真实降水标签在步骤(2-3)处理之后,得到归一化之后的标签值/>则回归分支的损失函数Lreg如下所示,其中MSE表示均方根误差,
上述基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法,分类分支策略具体为:
(3-1)将6分钟降水分为5个区间,分为0、0.1-1mm、1-2mm、2-3mm以及3mm以上的降水;
(3-2)将这5个区间作为5个类别进行分类的判别,假设分类分支预测的类别概率为真实标签按照同样的区间划分得到的类别概率为p,则分类分支的损失函数Lcla如下所示,其中CE表示交叉熵损失函数,
(3-3)使用重加权的策略解决样本不平衡的问题,根据降水标签在各个区间的数量的反比进行重加权,各个区间的重加权系数依据真实降水概率分布确定,将其损失更改为带有权重的交叉熵损失,
其中,N表示总的样本个数,C表示总的类别个数,wc表示对应类别的重加权系数,为第n个样本属于类别c的真实标签的概率,/>表示第n个样本在分类分支中属于类别c的预测概率;
(3-4)将Lreg和Lcla进行结合,得到整个模型的训练损失函数,如下所示,其中的α为超参数,为了平滑两个损失,使两个损失处于同一数量级下,将α设置为0.0004,
L=Lreg+α×Lcla。
上述基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法,在步骤(4)中,所述双阶段训练策略包括:
(4-1)第一阶段,重新设置回归分支的标签值,着重训练分类分支;将0mm的标签设置为0mm,将0.1-1mm的降水标签统一设置为0.5mm,将1-2mm的降水标签统一设置为1.5mm,将2-3mm的降水标签统一设置为2.5mm,将3mm以上的降水标签统一设置为4mm;
(4-2)第二阶段,使用真实的标签值训练回归分支,平衡训练回归分支和分类分支;
综合的损失函数L为:
其中N为样本数量,C为分类区间数量,xi表示第i个样本,yi表示第i个样本对应的真实标签,表示第i个样本重新设置的新的标签值,α为超参数,/>表示第i个样本在第c类上网络模型输出的概率,/>表示当/>的时候,其为1,否则为0。
上述基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法,在步骤(7)中,所述在测试阶段,仅使用回归分支作为最终的输出,具体包括:在测试阶段,将经过同样预处理的雷达特征输入到BBDM中,仅使用回归分支作为其对应的降水量识别的最终输出,用于最后的数值指标检验,忽略分类分支的输出结果。
本发明的技术方案取得了如下有益的技术效果:
通过本发明的模型可以利用单站多普勒天气雷达观测数据,快速、准确的对各种不同强度的降水量进行估算,同时,这也是一种通用的用于处理有明显样本不平衡的回归问题的方法。
1、提出了基于双分支双阶段深度模型(Bi-branch Bi-stage Deep Model,BBDM)的单站多普勒天气雷达强降水估算方法,完成了通过单站多普勒雷达特征来识别强降水的过程。单站多普勒天气雷达特征具有指示不同降水量的丰富特征信息,通过BBDM提取其中的特征信息,用于强降水天气的智能识别;能够较为精准地从单站多普勒天气雷达特征中估算不同强度的降水。本发明估算的降水量可较使用常规业务方法估算降水的均方根误差减少约10%-20%。
2、本发明提出的基于双分支双阶段深度模型(BBDM)的单站多普勒雷达降水估算方法能够较为精准地从单站多普勒天气雷达特征中识别不同强度的降水区域。搭建双分支双阶段深度模型(BBDM)框架,通过双分支结构,可以有效的解决识别降水估算模型学习中的样本不平衡的问题;通过双阶段的训练策略,在第一阶段可以有效的为网络模型提供一个较好的初始化,进而提升网络模型对强降水的估算效果。
3、回归分支在训练和测试的过程中都起作用,在训练的时候,回归分支会学习从特征到预测降水实值的映射关系;在测试的过程中,回归分支被用来识别当前特征的降水实值。而分类分支只在训练的过程中被使用,在测试的过程中则被丢弃。在训练的过程中,分类分支被用来使用重加权策略,从而解决长尾分布的问题,增强网络对尾部样本的特征提取能力。
附图说明
图1本发明基于双分支双阶段深度模型(BBDM)的单站多普勒雷达特征的强降水识别方法的流程图。
图2本发明的原始输入的四个雷达特征数据样例。
图3本发明双分支双阶段深度模型(BBDM)回归分支的降水输出结果和真实值的样例。
具体实施方式
如图1所示,是基于双分支双阶段深度模型的单站多普勒雷达强降水识别方法的流程示意图。
S1,搭建双分支双阶段深度模型(BBDM)框架,框架具有双分支网络结构。
BBDM具有两个分支,分别是回归分支和分类分支。其中回归分支是用于输出降水量的实值,分类分支是用来在训练阶段缓解长尾分布的影响,增强网络的特征提取能力。
S2,对原始单站多普勒雷达特征数据进行预处理,使各个雷达特征之间分布统一,并将雷达特征输入到BBDM中进行训练。如图2所示,是模型的原始输入雷达数据。
具体地,采用了4个单站多普勒雷达特征,分别是垂直累积液态水含量VIL、混合扫描反射率HBR、组合反射率CR和3km等高面反射率CAP30,由于输入的4个特征之间具有不同的尺度范围,而神经网络往往会倾向于特征尺度比较大的数据特征,因此不同尺度的特征之间,往往不具备可比性,需要进行特征规范化处理,使得各个数据特征处于统一的尺度下,以便于进行分析比较。具体方法如下:
S2-1,对HBR、CR、CAP30特征进行数据预处理。
由于这三个特征都具有准正态分布的特性,因此可以直接通过归一化和标准化的方式来进行预处理。具体来说,先统计各个特征分布中的最大值和最小值,分别记为xmax和xmin。然后再进行归一化的操作,假设原有的特征为x,归一化之后的特征为则归一化公式如下所示。
最后再统计归一化之后特征的均值和标准差,分别记为μ和σ,假设标准化之后的数据为/>则标准化的公式如下。
得到的即是预处理完成的特征,可以输入到BBDM中。
S2-2,对VIL特征进行数据预处理。由于VIL特征分布不满足准正态分布,而是长尾分布形态,因此无法直接通过归一化和标准化的过程得到预处理结果,因此这里需要额外进行三次根号的处理。
其中是三次根号处理后的数据,然后统计/>特征分布中的最大值和最小值,分别记为/>和/>然后再进行归一化的操作,假设经过三次根号处理后的特征为/>归一化之后的特征为/>则归一化公式如下所示。
最后再统计归一化之后特征的均值和标准差,分别记为μ和σ,假设标准化之后的数据为/>则标准化的公式如下。
得到的即是预处理完成的特征。
S2-3,对标签降水量进行规范化。
标签降水量与VIL特征类似,具有严重的长尾分布的特性,因此对其进行与S2-2中类似的操作。先进行三次根号的处理。假设y是原有的标签数据,是经过三次根号处理过后的标签数据,则三次根号处理的公式如下。
然后再统计特征分布的最大值和最小值,分别记为/>和/>如归一化公式如下。
得到的即是BBDM模型需要使用的标签。
S3,采用双分支策略训练BBDM,所述双分支训练策略包括回归分支策略和分类分支策略,具体过程如下:
回归分支中,假设深度模型BBDM的回归分支的输出结果为其中/>是[0,1]之间的数,真实降水标签在S2-3处理之后,得到归一化之后的标签值/>则回归分支的损失函数如下所示,其中MSE表示均方根误差。
分类分支中,
S3-1、将6分钟降水分为5个区间,分为0mm、0.1-1mm、1-2mm、2-3mm以及3mm以上的降水。
S3-2、将这5个区间作为5个类别进行分类的判别。假设分类分支预测的类别概率为真实标签按照同样的区间划分得到的类别概率为p,则分类分支的损失函数如下所示,其中CE表示交叉熵损失函数。
S3-3、由于降水的标签在各个区间的降水分布不平衡,因此使用重加权的策略来解决样本不平衡的问题。根据降水标签在各个区间的数量的反比进行重加权,各个区间的重加权系数依据真实降水概率分布确定。因此将其损失更改为带有权重的交叉熵损失。
其中N表示总的样本个数,C表示总的类别个数,wc表示对应类别的重加权系数,为第n个样本属于类别c的真实标签的概率,/>表示第n个样本在分类分支中属于类别c的预测概率。
S3-4、将两个损失Lreg和Lcla进行结合,得到整个模型的训练损失函数,如下所示,其中的α为超参数,为了平滑两个损失,使两个损失处于同一数量级下,将α设置为0.0004,
L=Lreg+α×Lcla。
回归分支在训练和测试的过程中都起作用,在训练的时候,回归分支会学习从特征到预测降水实值的映射关系;在测试的过程中,回归分支被用来识别当前特征的降水实值。而分类分支只在训练的过程中被使用,在测试的过程中则被丢弃。在训练的过程中,分类分支被用来使用重加权策略,从而解决长尾分布的问题,增强网络对尾部样本的特征提取能力。
S4、采用双阶段策略训练BBDM,具体过程如下:
第一阶段中,将标签值重新设置为回归分支所用的分段标签值,着重训练分类分支,这里将0mm的标签仍然设置为0mm,将0.1-1mm的降水标签统一设置为0.5mm,将1-2mm的降水标签统一设置为1.5mm,将2-3mm的降水标签统一设置为2.5mm,将3mm以上的降水标签统一设置为4mm;
第二阶段中,使用真实的标签值训练回归分支,平衡训练回归分支和分类分支。
其综合的损失函数为:
其中N为样本数量,C为分类区间数量,xi表示第i个样本,yi表示第i个样本对应的真实标签,表示第i个样本重新设置的新的标签值,α为超参数,/>表示第i个样本在第c类上网络模型输出的概率,/>表示当/>的时候,其为1,否则为0。
S5、对训练得到的模型进行存储,用于后续的测试。
S6、在测试阶段,对雷达特征数据进行如S2中同样的预处理过程,再输入到之前存储的模型中。
S7、仅使用回归分支作为最终的输出,忽略分类分支的输出结果,得到最终的降水量的识别结果。
使用2016-2018年安徽全省的多普勒天气雷达数据进行训练,训练集包含了2016年的4-10月、2017年的4-10月和2018年的4月、6月、8月,总计370个强降水天气过程,共27063个样本;测试集包含了2018年的5月、7月、9月,总计95个强降水天气过程,共6929个样本。
模型推理获得的降水估算利用业务上使用的雷达估算降水技术得到的小时降水估算值(称为业务QPE)作为对比数据,表1给出了本发明的降水估算结果和业务QPE结果的均方根误差(RMSE)在整个测试集上的对比,表明本发明估算的降水量较业务QPE的均方根误差减少17.8%。
如表1所示,是本模型的输出结果与业务QPE在整个测试集上的结果对比。
表1
RMSE(mm/hour) | |
BBDM模型 | 2.469 |
业务QPE | 3.005 |
图2给出了模型输入的雷达数据样例,图3给出了BBDM模型估算的降水量和真实降水量的样例。
本发明的主要创新性如下:提出了基于双分支双阶段深度模型(Bi-branch Bi-stage Deep Model,BBDM)的单站多普勒天气雷达降水估算方法,完成了通过单站多普勒雷达特征来识别强降水的过程。单站多普勒天气雷达特征具有指示不同降水量的丰富特征信息,通过BBDM提取其中的特征信息,用于强降水天气的智能识别。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本专利申请权利要求的保护范围之中。
Claims (5)
1.基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法,其特征在于,包括如下步骤:
步骤(1),搭建双分支双阶段深度模型BBDM框架,所述双分支双阶段深度模型BBDM框架具有双分支网络结构;所述双分支网络结构包括回归分支和分类分支,其中,回归分支用于输出降水量的实值,分类分支是用来在训练阶段缓解长尾分布的影响;
步骤(2),对单站多普勒雷达特征数据进行预处理,使各个雷达特征之间分布统一,并将雷达特征输入到BBDM中进行训练;
采用了4个单站多普勒雷达特征,分别是垂直累积液态水含量VIL、混合扫描反射率HBR、组合反射率CR和3km等高面反射率CAP30,需要对着4个单站多普勒雷达特征进行特征规范化处理,使得各个数据特征处于统一的尺度下,以便于进行分析比较,具体方法如下:
(2-1)对HBR、CR、CAP30特征进行数据预处理:直接通过归一化和标准化的方式来进行预处理;
先统计各个特征分布中的最大值和最小值,分别记为和/>;然后再进行归一化的操作,假设原有的特征为/>,归一化之后的特征为/>,则归一化公式如下所示:
;
最后再统计归一化之后特征的均值和标准差,分别记为/>和/>,假设标准化之后的数据为/>,则标准化的公式如下;
;
得到的即是预处理完成的HBR、CR、CAP30特征,可以输入到BBDM中;
(2-2)对VIL特征进行数据预处理;
首先进行三次根号的处理:
;
其中是三次根号处理后的数据;
然后统计特征分布中的最大值和最小值,分别记为/>和/>;
再进行归一化的操作,假设经过三次根号处理后的特征为,归一化之后的特征为/>,则归一化公式如下所示:
然后再统计归一化之后特征的均值和标准差,分别记为/>和/>,假设标准化之后的数据为/>,则标准化的公式如下:
得到的即是预处理完成的VIL特征, 可以输入到BBDM中;
(2-3)对标签降水量进行规范化;
先进行三次根号的处理,假设是原有的标签降水量数据,/>是经过三次根号处理过后的标签数据,则三次根号处理的公式如下;
然后再统计特征分布的最大值和最小值,分别记为/>和/>,如归一化公式如下:
得到的即是BBDM模型需要使用的标签降水量;
步骤(3),在训练BBDM的过程中采用双分支训练策略;
步骤(4),在训练BBDM的过程中采用双阶段训练策略;
步骤(5),对训练得到的模型进行存储,用于后续的测试;
步骤(6),在测试阶段,对雷达特征数据进行如步骤(2)中同样的预处理过程,再输入到之前存储的模型中;
步骤(7),在测试阶段,仅使用回归分支作为最终的输出,得到最终的降水量的估算结果。
2.根据权利要求1所述的基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法,其特征在于,在步骤(3)中,所述双分支训练策略包括回归分支策略和分类分支策略,其中回归分支策略具体为:
回归分支中,假设深度模型BBDM的回归分支的输出结果为,其中/>是[0,1]之间的数,真实降水标签在步骤(2-3)处理之后,得到归一化之后的标签值/>,则回归分支的损失函数如下所示,其中MSE表示均方根误差,
。
3.根据权利要求2所述的基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法,其特征在于,分类分支策略具体为:
(3-1)将6分钟降水分为5个区间,分为0、0.1-1mm、1-2mm、2-3mm以及3mm以上的降水;
(3-2)将这5个区间作为5个类别进行分类的判别,假设分类分支预测的类别概率为,真实标签按照同样的区间划分得到的类别概率为/>,则分类分支的损失函数/>如下所示,其中CE表示交叉熵损失函数,
;
(3-3)使用重加权的策略解决样本不平衡的问题,根据降水标签在各个区间的数量的反比进行重加权,各个区间的重加权系数依据真实降水概率分布确定,将其损失更改为带有权重的交叉熵损失,
;
其中,表示总的样本个数,/>表示总的类别个数,/>表示对应类别的重加权系数,/>为第n个样本属于类别c的真实标签的概率,/>表示第n个样本在分类分支中属于类别c的预测概率;
(3-4)将和/>进行结合,得到整个模型的训练损失函数,如下所示,其中的/>为超参数,为了平滑两个损失,使两个损失处于同一数量级下,将/>设置为0.0004,
。
4.据权利要求3所述的基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法,其特征在于,在步骤(4)中,所述双阶段训练策略包括:
(4-1)第一阶段,重新设置回归分支的标签值,着重训练分类分支;将0mm的标签设置为0mm,将0.1-1mm的降水标签统一设置为0.5mm,将1-2mm的降水标签统一设置为1.5mm,将2-3mm的降水标签统一设置为2.5mm,将3mm以上的降水标签统一设置为4mm;
(4-2)第二阶段,使用真实的标签值训练回归分支,平衡训练回归分支和分类分支;综合的损失函数L为:
其中表示第i个样本,/>表示第i个样本对应的真实标签,/>表示第i个样本重新设置的新的标签值,/>表示第i个样本在第c类上网络模型输出的概率,/>表示当的时候,其为1,否则为0。
5.根据权利要求1所述的基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法,其特征在于,在步骤(7)中,所述在测试阶段,仅使用回归分支作为最终的输出,具体包括:在测试阶段,将经过同样预处理的雷达特征输入到BBDM中,仅使用回归分支作为其对应的降水量识别的最终输出,用于最后的数值指标检验,忽略分类分支的输出结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110931255.XA CN113608223B (zh) | 2021-08-13 | 2021-08-13 | 基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110931255.XA CN113608223B (zh) | 2021-08-13 | 2021-08-13 | 基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113608223A CN113608223A (zh) | 2021-11-05 |
CN113608223B true CN113608223B (zh) | 2024-01-05 |
Family
ID=78308537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110931255.XA Active CN113608223B (zh) | 2021-08-13 | 2021-08-13 | 基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113608223B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114863193B (zh) * | 2022-07-07 | 2022-12-02 | 之江实验室 | 基于混合批归一化的长尾学习图像分类、训练方法及装置 |
CN116610959B (zh) * | 2023-07-19 | 2023-09-15 | 湖北省气象服务中心(湖北省专业气象服务台) | 基于unet-gru深度学习检验播云作业效果的方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108256488A (zh) * | 2018-01-19 | 2018-07-06 | 中国人民解放军陆军装甲兵学院 | 一种基于微多普勒特征提取和深度学习的雷达目标识别方法 |
CN110346844A (zh) * | 2019-07-15 | 2019-10-18 | 南京恩瑞特实业有限公司 | Nriet基于云分类和机器学习的定量降水估测方法 |
CN111796343A (zh) * | 2020-06-15 | 2020-10-20 | 兰州中心气象台(兰州干旱生态环境监测预测中心) | 一种基于人工智能算法的强对流天气短时临近识别方法 |
WO2020248471A1 (zh) * | 2019-06-14 | 2020-12-17 | 华南理工大学 | 一种基于集聚交叉熵损失函数的序列识别方法 |
CN112396607A (zh) * | 2020-11-18 | 2021-02-23 | 北京工商大学 | 一种可变形卷积融合增强的街景图像语义分割方法 |
-
2021
- 2021-08-13 CN CN202110931255.XA patent/CN113608223B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108256488A (zh) * | 2018-01-19 | 2018-07-06 | 中国人民解放军陆军装甲兵学院 | 一种基于微多普勒特征提取和深度学习的雷达目标识别方法 |
WO2020248471A1 (zh) * | 2019-06-14 | 2020-12-17 | 华南理工大学 | 一种基于集聚交叉熵损失函数的序列识别方法 |
CN110346844A (zh) * | 2019-07-15 | 2019-10-18 | 南京恩瑞特实业有限公司 | Nriet基于云分类和机器学习的定量降水估测方法 |
CN111796343A (zh) * | 2020-06-15 | 2020-10-20 | 兰州中心气象台(兰州干旱生态环境监测预测中心) | 一种基于人工智能算法的强对流天气短时临近识别方法 |
CN112396607A (zh) * | 2020-11-18 | 2021-02-23 | 北京工商大学 | 一种可变形卷积融合增强的街景图像语义分割方法 |
Non-Patent Citations (1)
Title |
---|
双线偏振多普勒雷达估算降水方法的比较研究;王建林, 刘黎平, 曹俊武;气象(08);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113608223A (zh) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113608223B (zh) | 基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法 | |
CN106909933B (zh) | 一种三阶段多视角特征融合的窃电分类预测方法 | |
CN109086799A (zh) | 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法 | |
CN105373606A (zh) | 一种改进c4.5决策树算法下的不平衡数据抽样方法 | |
CN102521656A (zh) | 非平衡样本分类的集成迁移学习方法 | |
CN105224960A (zh) | 基于聚类算法的玉米种子高光谱图像分类识别模型更新方法 | |
CN110046792B (zh) | 基于雷达图综合评价法的零电量用户排查方法 | |
CN104850868A (zh) | 一种基于k-means和神经网络聚类的客户细分方法 | |
CN113869463B (zh) | 一种基于交叉增强匹配的长尾噪声学习方法 | |
CN116612098A (zh) | 一种基于图像处理的绝缘子rtv喷涂质量评价方法和装置 | |
CN111598854A (zh) | 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法 | |
CN108830405B (zh) | 基于多指标动态匹配的实时电力负荷预测系统及其方法 | |
CN108428234B (zh) | 基于图像分割结果评价的交互式分割性能优化方法 | |
CN107609700A (zh) | 一种基于机器学习的客户价值模型优化方法 | |
CN117056678A (zh) | 一种基于小样本的机泵设备运行故障诊断方法及装置 | |
CN117252459A (zh) | 一种基于深度学习的水果质量评估系统 | |
CN109886288A (zh) | 一种用于电力变压器的状态评价方法及装置 | |
CN112149536B (zh) | 一种飑线风风速预测方法 | |
CN111382147A (zh) | 一种气象数据缺失插补方法和系统 | |
CN110598973A (zh) | 一种基于iap的绿色家具产品认证过程风险评价方法 | |
CN116843368B (zh) | 基于arma模型的营销数据处理方法 | |
CN112581036B (zh) | 一种大数据案件评价模型的设计方法、人才评价方法、人才库构建及推荐方法 | |
CN117173494B (zh) | 基于类别平衡样本选择的含噪声标签图像识别方法及系统 | |
CN118072115B (zh) | 一种医学细胞检测方法及系统 | |
Yanyan et al. | Study on sorting technology of fresh tea leaves based on convolutional neural network model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |