CN116628626A - 基于特征交叉融合的短时强降水分型方法 - Google Patents
基于特征交叉融合的短时强降水分型方法 Download PDFInfo
- Publication number
- CN116628626A CN116628626A CN202310726072.3A CN202310726072A CN116628626A CN 116628626 A CN116628626 A CN 116628626A CN 202310726072 A CN202310726072 A CN 202310726072A CN 116628626 A CN116628626 A CN 116628626A
- Authority
- CN
- China
- Prior art keywords
- feature
- convnext
- network
- fusion
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000004927 fusion Effects 0.000 title claims abstract description 61
- 238000001556 precipitation Methods 0.000 title claims description 59
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 56
- 238000012360 testing method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000003064 k means clustering Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 230000007547 defect Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241001365789 Oenanthe crocata Species 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010010219 Compulsions Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于特征交叉融合网络的短时降水分型方法,在降水分型任务中,设计了一个特征交叉融合ConvNeXT网络,用欧洲中期天气预报中心再分析数据ERA5的500百帕位势高度的气象数据作为训练集进行学习,学习不同天气类型的环流特征,通过交叉融合学习不同天气类型的环流特征,保存更多的细节特征,将不同类型的天气系统的差异尽可能的区分,最后根据分类结果绘制降水平面图,该方法解决了以往的方法不适用小尺度天气系统的缺点。本发明解决了主观分型带来的耗时耗力和标准不统一的问题以及以往客观分型的低准确率问题。
Description
技术领域
本发明涉及地球科学大气环流模式计算与计算机科学交叉领域,尤其涉及一种基于特征交叉融合的短时强降水分型方法。
背景技术
在降水订正的过程中,每次都需要对降水进行分型,这样太费时费力,人工主观分类,由于每次的标准不同也会带来诸多误差,导致结果不够客观性。在现有的降水分型的方法中,大多以传统的人工主观分类为主,主观分型带来的缺点是不具有客观性,与以往的主观人工分类不同的是,采用的深度学习方法是一种客观性分类,有统一的分类标准,使得分类具有更加客观性。一方面降低人工分类的工作量,另一方面解决分类过程中存在的人工主观因素影响问题。
现在的方法是在孙继松等人的研究中,有一类聚类研究是分级聚类,该方法不指定最终的类数,结论将在聚类过程中寻求。使用的诊断量是500 hPa位势高度场和850 hPa温度场,目的是将区域持续性极端暴雨过程按照基本环流特征和斜压性特征做归类分型。
近年来,在人工主观分类中,早年期间有学者做过环流场分型实验,其较早的将环流场和降水场联系起来。然而由于使用主观分类的方法,导致分类结果缺乏客观性,但是该实验为后面的降水分型研究提供了新思路。之后有学者利用环流场数据对四川盆地进行降水分型分析,通过人工的方式对环流场进行分型,与早年期间的成果相比,在研究范围上进一步缩小,从大尺度天气系统过度到了中尺度天气系统,由于依旧采用人工分类的方法,分类结果仍然缺乏客观性。在暴雨的环流背景下,通过多个降水例子分析出各种降水的环流特征。分析发现不同降水类型环流场特征往往都是互相夹杂,是导致主观分类会出现诸多误差主要原因,使得分类变得不仅复杂还耗时。
现有技术方案存在的不足:
1、现有的聚类算法准确率低。
采用分级聚类的方法中,主要是在聚类的准确率上偏低,而且在于主观分型的对比中发现,难以将主观分型的结果与分级聚类的结果一一对应,能对应上的分型的结果中准确率也偏低,且该方法不适用与小尺度天气系统。需要设计模型提高类别的匹配以及准确率。
2、 现有的神经网络方法不适用小区域系统的分型研究。
基于CNN的降水分型,其缺点在于对小区域上的分类效果差,在低涡型降水中的准确率低,且该方法不适用与小尺度天气系统。需要设计提取特征的模型,并且提高低涡降水的准确率。
3、现有的客观分型方法未能与人工分型的结果对应起来。
以往的研究成果分析发现,大多数研究中的结果被分为Ⅰ型,Ⅱ型,Ⅲ型等,其分类结果与人工分类结果差距较大,难以将客观分型结果与人工分型结果一一对应。
发明内容
针对现有技术的不足,本发明提出了一种基于特征交叉融合的短时强降水分型方法,所述方法构建了一个基于特征交叉融合的网络模型,采用欧洲中期天气预报中心再分析数据ERA5的500百帕位势高度的气象数据作为训练集进行学习,学习不同天气类型的环流特征,通过交叉融合学习到的特征来进行分类预测,根据分类结果绘制降水平面图,具体包括:
步骤1:获取欧洲中期天气预报中心再分析数据ERA5的位势高度的数据集,将数据预处理成环流场图像,具体包括:
步骤11:将获取到的ERA5的数据集按照6:4的比例分为训练集和测试集,同时,提取ERA5数据集中500百帕位势高度的数据,构成位势高度数据集;
步骤12:对所述位势高度数据集中的数据进行处理,500百帕的位势高度数据集,是以每小时为单位的数据集,将其处理为以每天为单位的数据集,将24小时数据相加再除以24得到一天的平均值;
步骤13:将步骤12得到的数据集按照区域范围取(112°-122°E,35°-45°N),分辨率为0.05°的要求进行截取,再将数据集转换成环流场图像;
步骤2:构建特征交叉融合ConvNeXt网络,下载预训练模型,将所述环流场图像处理为RGB通道格式;
步骤3:将步骤2的RGB通道格式的环流场图像送入所述特征交叉融合ConvNeXt网络进行训练,所述特征交叉融合ConvNeXt网络包括ConvNeXt网络和特征交叉融合网络,具体包括:
步骤31:所述环流场图像输入所述ConvNeXt网络,在所述ConvNeXt网络中的操作主要包括五个阶段,第一阶段,环流场图像经过卷积神经网络和层归一化后得到第一向量v1,第二阶段和第五阶段为第一向量v1依次进入四个串联的ConvNeXt模块组,除第一个ConvNeXt模块组外,其余三个ConvNeXt模块组均会首先进行下采样处理,四个ConvNeXt模块组分别由3个、3个、9个、3个ConvNeXt模块构成,第一向量v1经过4个ConvNeXt模块组的处理后得到第五向量v5;
步骤32:所述环流场图像输入特征交叉融合网络模块,所述特征交叉融合网络模块由特征交叉融合模块和卷积神经网络组成;
步骤321:环流场图像输入第一卷积模块、第二卷积模块和第三卷积模块,分别提取出第一特征向量F1、第二特征向量F2和第三特征向量F3,并将这三个特征向量两两进行交叉特征融合得到三个融合特征;
具体的,第一特征向量F1和第二特征向量F2融合得到第一融合特征F4,第一特征向量F1和第三特征向量F3融合得到第二融合特征F5,第二特征向量F2和第三特征向量F3融合得到第三融合特征F6,三个融合特征进行二次融合得到第四融合特征F7;
步骤322:第四融合特征F7输入所述卷积神经网络,经过卷积核池化操作得到第五融合特征;
步骤34:所述第五融合特征和所述第五向量v5进行特征融合,然后进行一个平均池化和归一化的操作,最后经过线性层进行分类,得到分类结果,根据分类结果绘制降水平面图;
步骤4:取出验证过程中表现最佳的模型,然后将测试集依次送入该网络进行测试,得到最终分类结果。
与现有技术相比,本发明的有益效果在于:
1、本发明模型的优点在于通过特征交叉融合模块增加了对特征的细节保存,提高了准确性,能更加准确的提取各类环流模式图的特征,包括显著提高了低涡降水分类的准确率。
2、本发明发展了特征交叉融合模块与ConvNeXT网络结合,构建了FConvNeXT模型,在统计测试中较好地辨识出以下三种类型:(1)没有显著影响系统的弱强迫型降水WSf(如图5所示),(2)受区域限制没有完整显示出来的低涡型降水LVT(如图6所示),(3)副热带高压流型SPT(如图7所示),这是现有技术方法难以识别的。
3、本发明通过特征交叉融合模块保存更多的细节特征,将不同类型的天气系统的差异尽可能的区分,该方法解决了以往的方法不适用小尺度天气系统的缺点。
附图说明
图1是本发明分型方法的处理流程图;
图2是本发明特征交叉融合ConvNeXt网络的结构示意图;
图3是本发明ConvNeXt网络模型的结构示意图;
图4是本发明特征交叉融合网络的结构示意图;
图5是弱强迫降水类型的位势高度环流图;
图6是低涡降水类型的位势高度环流图;
图7是副热带高压降水类型的位势高度环流图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
本发明的FConvNeXt是指:Feature cross fusionConvNeXt,特征交叉融合ConvNeXt网络。
本发明的ConvNeXt是指:新一代卷积网络模块。
本发明涉及地球科学气候模式计算与计算机科学交叉领域,尤其涉及一种基于特征交叉融合的短时强降水流型客观分型方法,它主要解决主观分型带来的耗时耗力和标准不统一的问题以及以往客观分型的低准确率问题,当前的降水分型的方法中都存在着准确率低或者耗时的问题。
FConvNeXT网络可以识别低涡型、副热带高压型,甚至弱天气强迫型。此外,严格独立2021测试。研究发现,2021年样本分布变化较大,导致分类精度下降。对低涡弱天气强迫降水的识别效果较好。然而,FConvNeXT倾向于混淆浅槽和涡型,因为在有限的区域东北涡旋看起来类似于低压槽。这项研究显示了FConvNeXt方法识别与局地强降雨相对应的中小尺度系统的潜力,这对提高强降雨的精细化预报很有帮助。主要解决主观分型带来的耗时耗力和标准不统一的问题以及以往客观分型的低准确率问题。
针对现有技术存在的不足,本发明提出了新的一种基于特征交叉融合的短时强降水流型分型方法,图1是本发明分型方法的处理流程图,图2为本发明所提出的特征交叉融合网络结构示意图,包括ConvNeXt网络和特征交叉融合网络,图3是本发明ConvNeXt网络模型的结构示意图。
基于特征交叉融合ConvNeXt网络对短时强降水客观分型的方法,所述方法构建了一个特征交叉融合的网络模型,用ERA5的500百帕数据作为训练集进行学习,学习不同天气类型的环流特征,通过融合学习到的特征预测不同的天气类型,同时在训练过程引入预训练模型以提高训练速度。本发明的方法具体包括:
步骤1:获取2013年到2020年欧洲中期天气预报中心再分析数据ERA5的位势高度的数据集,将数据预处理成图片格式,具体包括:
步骤11:将获取到的所述数据集按照6:4的比例分为训练集和测试集,提取ERA5数据集中500百帕位势高度的数据,构成位势高度数据集;
步骤12:对所述位势高度数据集中的数据进行处理,所述位势高度数据集中的数据,是以每小时为单位的数据集,需要将其处理为以每天为单位的数据集,具体的:将24小时数据相加再除以24得到一天的平均值。
为了让数据集量级在一个合适的范围,所有数据均缩小50倍;
步骤13:将步骤12得到的以天为单位的位势高度数据集按照区域范围取东经112°到122°,北纬35°到45°(112°-122°E,35°-45°N),分辨率为0.05°的要求进行截取,再将数据集转换成环流场图像。
步骤2:构建特征交叉融合ConvNeXt网络,下载预训练模型用于提高训练准确率和减少训练时间,将图片处理为RGB通道格式,对降水进行主观分型,具体步骤如下:
步骤21:确定短时强降水的界限,设置标准对强降水进行区分,具体标准为:强度阈值设置为20mm/h,统计一年内京津冀地区各站点的强降雨次数,然后计算一天内站点和次数的总和,如果日次数大于75%;或降水强度大于50 mm/h,且站次数大于50%,判定为强降水日;
步骤22:定义好短时强降水事件后,通过预报员经验,将其对应的环流主观分为5种类型,包括低涡型、副热带高压型、高空槽型、台风降水和弱强迫型强降水,通过经验丰富的预报员依据分类规则对2013年至2022年的强降水日进行分类,得到短时强降水日共336天其中,弱强迫型强降水100天,低涡型降水89天,副热带高压型降水72天,高空槽型降水57天,台风降水16天。
步骤3:步骤2的RGB通道格式的环流场图像送入所述特征交叉融合ConvNeXt网络进行训练,所述特征交叉融合ConvNeXt网络包括ConvNeXt网络模块和特征交叉融合网络模块,两个模块的输入数据均为224*224*3,具体地,它表示图片的高度为224像素,宽度为224像素,颜色通道数为3个。特征交叉融合网络的主要作用是提高局部环流场的分类准确率。
步骤31:所述环流场图像输入所述ConvNeXt网络,在所述ConvNeXt网络中的操作主要包括五部分,第一阶段,环流场图像经过卷积神经网络和层归一化后得到第一向量v1,第二阶段和第五阶段为第一向量v1依次进入四个串联的ConvNeXt模块组,除第一ConvNeXt模块组外,其余三个ConvNeXt模块组均会首先进行下采样处理,四个ConvNeXt模块组分别由3个、3个、9个、3个ConvNeXt模块构成,第一向量v1经过4个ConvNeXt模块组的处理后得到第五向量v5,具体操作包括:
第一阶段,大小为224*224*3的环流场图像被送入4*4卷积层,经过层的归一化处理,得到大小为56*56*96的第一向量v1。
第二阶段,第一向量v1输入一个由3个ConvNeXt模块堆叠成的第一ConvNeXt模块组得到第二向量v2;
第三阶段,第二向量v2输入一个由3个ConvNeXt模块堆叠成的第二ConvNeXt模块组得到第三向量v3;
第四阶段,将第三向量v3输入一个由9个ConvNeXt模块堆叠成的第三ConvNeXt模块组。其过程与第三阶段相同。其中不同之处在于通道数从192增加到384。输出是一个大小为14*14*384的第四向量v4。
第五阶段,将第四向量v4输入一个由3个ConvNeXt模块堆叠成的第四ConvNeXt模块组得到第五向量v5。其过程与第四阶段相同。其中不同之处在于通道数从384增加到768。
具体的,每个ConvNeXt模块都先后经过以下操作:卷积、曾归一化、卷积、gelu激活函数、卷积、层归一化操作,得到的向量与输入向量进行残差处理,作为输出。
步骤32:所述环流场图像输入特征交叉融合网络,所述特征交叉融合网络由特征交叉融合模块和卷积神经网络组成。所述特征交叉网络模块的网络结构示意图如图4所示。
步骤321:环流场图像输入第一卷积模块、第二卷积模块和第三卷积模块,分别提取出第一特征向量F1、第二特征向量F2和第三特征向量F3,并将这三个特征向量两两进行交叉融合得到三个融合特征;具体的,第一特征向量F1和第二特征向量F2融合得到第一融合特征,第一特征向量F1和第三特征向量F3融合得到第二融合特征,第二特征向量F2和第三特征向量F3融合得到第三融合特征,三个融合特征进行二次融合得到第四融合特征。具体操作包括:
将环流场图像输入第一个卷积模块中,经过卷积核为3,步长为2,通道数为768的卷积网络,输出为112*112*768,再经过层归一化和relu激活函数激活,得到大小为112*112*768的第一特征向量F1。
第二个卷积模块与第一个卷积模块相同,输出为112*112*768的第二特征向量F2。
将环流场图像输入第三个卷积模块中,先经过卷积核为2,步长为2的最大池化层,输出为112*112*3,再经过卷积核为3,步长为1,通道数为768的卷积网络,得到大小为112*112*768的第三特征向量F3。
其中,最开始的两个卷积操作是为了提取原始图片中的初始信息,保留更多的边缘特征,最大池化操作是提取原始图片的最大特征,只保留图片最突出的特征。
这里使用了两个卷积操作提取特征,目的是最大池化操作所得到的特征是全局最突出的特征,特征值很大,卷积操作得到的特征值相对较小,为了将卷积操作的特征值与最大池化操作后的特征值差距缩小,这里使用了两个卷积操作来增加其特征值,这里也是提高弱特征的准确率的关键操作,
步骤322:将第四融合特征输入所述卷积神经网络,通过最大池化、层归一化、卷积操作输出第五融合特征。
步骤34:将ConvNeXt模块的输出的第五向量v5与特征交叉融合模块输出的第五融合特征进行融合,得到一个为7*7*768的特征向量,将该数据进行一个全局平均池化操作和层归一操作,最后经过线性层,做一个分类处理,输出分类结果。该linear设为1000分类,最后的输出结果为1*1*1000。
步骤4:将训练好的模型保存到本地,编写测试代码,将测试集的数据输入,得到测试集的分类结果。
为了验证本发明方法的有效性,将所提出方法与其他几种现有的方法进行比较。将本发明方法进行了一个横向与纵向的比较,前6种为聚类方法包括:方法1:小批量K均值聚类算法,方法2:模糊聚类算法,方法3:K均值聚类算法,方法4:凝聚层次聚类算法,方法5:平衡迭代规约和聚类算法,方法6:高斯聚类算法。后三种为分类方法包括:方法7:残差网络ResNet,方法8:ConvNeXt方法,本发明方法。表1为本发明方法和对比的8中方法在相同的数据集上多重聚类和深度学习分类的测试结果。
降水类型有:弱强迫降水WSF,低涡降水LVT,副高降水SPT,高空槽降水UTP,台风降水TPT。
表1多重聚类和深度学习分类测试结果
从表1中数据分析发现,在方法3K均值聚类算法中,WSF,LVT和UTP主要被聚在第三个簇中,簇表示类别,在该簇中三种降水的准确率分别为:31.3%,37%,38.6%,TPT和SPT主要被聚在第四个簇中,准确率分别为:50%,55.5%。可以发现,五类降水通过方法3后,被聚为两大类,这与我们所需要的五类降水难以对应,不能作为我们实验的最终选择。
反观优化过的方法1小批量K均值聚类算法,从表1中可以看到最终结果是WSF被聚在第五个簇,准确率在24.5%。LVT和UTP在第二个簇中,准确率分别为:35.9%,31%。TPT在第一个簇中,准确率为43.75%,SPT在第三个簇中,准确率为48.6%。可以发现小批量K均值聚类算法将样本聚为四大类,其中LVT和UTP被同时聚在第二个簇,与K均值聚类算法相比,准确率有所下降,但是在类别区分度上面提高了一倍的准确率。
在方法2模糊聚类算法结果中,WSF,LVT和UTP被聚在第五个簇中,准确率分别为:39.2%,37%,40.35%。TPT被聚在第四个簇中,准确率为50%。SPT被聚在第二个簇中,准确率为47.2%。通过以上数据可以得出,在准确率和类别区分度上都是优于K均值聚类,整体效果较优。在类别区分度上差于小批量K均值聚类。从聚类效果可以看出,模糊聚类算法能区分TPT和SPT,与小批量K均值聚类的实验结果相同。
从方法5平衡迭代规约和聚类的结果中可以发现,五类降水均在同一个簇中,在类别区分度上表现极差。在方法6高斯聚类中,WSF被聚在第四个簇中,准确率在27.5%。LVT和UTP在第一个簇中,准确率分别为:32.5%,31.6%。TPT在第三个簇中,准确率为43.75%,SPT在第二个簇中,准确率为50%。与小批量K均值聚类相比发现,类别区分度是完全相同的,准确率也大致相同。在方法4凝聚层次聚类中,WSF被聚在第二个簇中,准确率为35%,LVT被聚在第三个簇中,准确率为31.5%,TPT与SPT被聚在第一个簇中,准确率分别为:50%和62.5%,UTP被聚在第四个簇中,准确率为33.3%。从上诉数据可以发现,方法4凝聚层次聚类在类别区分度上与小批量K均值聚类相同,准确率上较优于小批量K均值聚类。但是以上聚类方法的结果均有共同的缺点:一是在除了TPT和SPT的其他3类天气类型分类的效果差,二是小差异的环流模式特征上表现也很差。
由于上述聚类方法的缺陷,研究又测试了深度学习分类方法,包括ConvNeXt方法,残差网络ResNet和FConvNeXt。
与聚类不同的是,分类只有对应类别的准确率。此处训练集和测试集的划分采用6:4的比例随机划分。在方法7残差网络ResNet中,WSF,LVT,SPT,UTP,TPT的准确率分别为:37.5%,40%,28.5%,13.6%,0%。在方法8ConvNeXt网络,五类降水的准确率分别为:62.5%,25.7%,64.3%,14%,16.7%。从以上数据对比中可以发现,ConvNeXt网络的准确率明显高于ResNet。在WSF中,环流模式特征表现弱,但是ConvNeXt仍然可以达到62.5%的准确率,这个结果是聚类不能达到的。本发明FConvNeXt准确率分别为:62.5%,40%,61%,14%,0%。与原始的ConvNeXt相比,不仅保留了其在WSF和SPT上分类准确性高的优点,还增加了LVT的准确率。特征交叉融合模块的作用在本实验中体现出来的效果便是提高了LVT的准确性。这里考虑到TPT的样本过小,训练集样本只有10个,测试集样本6个,一两天的差距会使得准确率相差很大,且小样本训练也不具有科学性,这里不将TPT考虑到对比分析当中。
以上的分析可以看出深度学习分类的效果明显优于机器学习聚类的效果,由于TPT降水的特征明显,数量极少,以下的分析将不会将TPT作为分析重点。下面对分类方法在ACC(准确率)和RMSE(均方根误差)上进行一个分析比较。
弱强迫降水WSF,低涡降水LVT,副高降水SPT,高空槽降水UTP,
表2为本发明方法对2013--2020年测试集的预测结果,包括真阳性(TP)案例(正确预测为阳性)、真阴性(TN)案例(正确预测为阴性)、假阳性(FP)案例(错误预测为阳性)和假阴性(FN)案例(错误预测为阴性),
表2本发明方法对2013--2020年测试集的预测结果
表3 ConvNeXt对2013--2020年测试集的预测结果
表4残差网络对2013--2020年测试集的预测结果
为了进一步加强研究,FConvNeXt、ConvNeXt和ResNet在ACC上的结果见表2、表3和表4。得到了三种分类方法的ACC。根据实验数据,FConvNeXt在WSF上的ACC远高于ConvNeXt和ResNet,比ConvNeXt增加了7.2%,比ResNet增加了6.4%,说明ConvNeXt在ACC方面表现最差。除了WSF上的巨大差距外,三个模型之间的LVT/ACC也有明显差异,ConvNeXt的LVT_ACC最高,FConvNeXt排名第二,ResNet与ConvNeXt相差9.6%。有趣的是,FConvNeXt在LVT上与ResNet有同样高的分类准确率(40%),但在ACC方面似乎更稳定,这表明FConvNeXt在不同的指标上表现良好。对于SPT,FConvNeXt与ConvNeXt相似,只有0.8%的差异,但ResNet与表现最好的ConvNeXt相差9.6%。在UTP上,三个模型的性能相似,FConvNeXt的ACC最高。总的来说,数据分析显示,FConvNeXt的总ACC为73.8%;ConvNeXt的总ACC为72.4%,而ResNet的总ACC为67.4%。这表明FConvNeXt总体上仍是最佳选择。
图5是弱强迫降水类型的位势高度环流图;主要呈现弱强迫降水的环流场特征,等高线平缓。
图6是低涡降水类型的位势高度环流图;主要呈现低涡降水的环流场特征,等高线呈现出涡的特征。
图7是副热带高压降水类型的位势高度环流图;主要呈现副热带高压降水的环流场特征,主要在副热带区域呈现高气压特征。
本发明的FConvNeXt可以识别低涡型、副热带高压型,甚至弱天气强迫型。此外,严格独立2021测试。研究发现,2021年样本分布变化较大,导致分类精度下降。对低涡弱天气强迫降水的识别效果较好。然而,FConvNeXt倾向于混淆浅槽和涡型,因为在有限的区域东北涡旋看起来类似于低压槽。这项研究显示了FConvNeXt方法识别与局地强降雨相对应的中小尺度系统的潜力,这对提高强降雨的精细化预报很有帮助。
需要注意的是,上述具体实施例是示例性的,本领域技术人员可以在本发明公开内容的启发下想出各种解决方案,而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白,本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。
Claims (1)
1.基于特征交叉融合的短时强降水分型方法,其特征在于,所述方法构建了一个基于特征交叉融合的网络模型,采用欧洲中期天气预报中心再分析数据ERA5的500百帕位势高度的气象数据作为训练集进行学习,学习不同天气类型的环流特征,通过交叉融合学习到的特征来进行分类预测,根据分类结果绘制降水平面图,具体包括:
步骤1:获取欧洲中期天气预报中心再分析数据ERA5的位势高度的数据集,将数据预处理成环流场图像,具体包括:
步骤11:将获取到的ERA5的数据集按照6:4的比例分为训练集和测试集,同时,提取ERA5数据集中500百帕位势高度的数据,构成位势高度数据集;
步骤12:对所述位势高度数据集中的数据进行处理,500百帕的位势高度数据集,是以每小时为单位的数据集,将其处理为以每天为单位的数据集,将24小时数据相加再除以24得到一天的平均值;
步骤13:将步骤12得到的数据集按照区域范围取(112°-122°E,35°-45°N),分辨率为0.05°的要求进行截取,再将数据集转换成环流场图像;
步骤2:构建特征交叉融合ConvNeXt网络,下载预训练模型,将所述环流场图像处理为RGB通道格式;
步骤3:将步骤2的RGB通道格式的环流场图像送入所述特征交叉融合ConvNeXt网络进行训练,所述特征交叉融合ConvNeXt网络包括ConvNeXt网络和特征交叉融合网络,具体包括:
步骤31:所述环流场图像输入所述ConvNeXt网络,在所述ConvNeXt网络中的操作主要包括五个阶段,第一阶段,环流场图像经过卷积神经网络和层归一化后得到第一向量v1,第二阶段和第五阶段为第一向量v1依次进入四个串联的ConvNeXt模块组,除第一个ConvNeXt模块组外,其余三个ConvNeXt模块组均会首先进行下采样处理,四个ConvNeXt模块组分别由3个、3个、9个、3个ConvNeXt模块构成,第一向量v1经过4个ConvNeXt模块组的处理后得到第五向量v5;
步骤32:所述环流场图像输入特征交叉融合网络模块,所述特征交叉融合网络模块由特征交叉融合模块和卷积神经网络组成;
步骤321:环流场图像输入第一卷积模块、第二卷积模块和第三卷积模块,分别提取出第一特征向量F1、第二特征向量F2和第三特征向量F3,并将这三个特征向量两两进行交叉特征融合得到三个融合特征;
具体的,第一特征向量F1和第二特征向量F2融合得到第一融合特征F4,第一特征向量F1和第三特征向量F3融合得到第二融合特征F5,第二特征向量F2和第三特征向量F3融合得到第三融合特征F6,三个融合特征进行二次融合得到第四融合特征F7;
步骤322:第四融合特征F7输入所述卷积神经网络,经过卷积核池化操作得到第五融合特征;
步骤34:所述第五融合特征和所述第五向量v5进行特征融合,然后进行一个平均池化和归一化的操作,最后经过线性层进行分类,得到分类结果,根据分类结果绘制降水平面图;
步骤4:取出验证过程中表现最佳的模型,然后将测试集依次送入该网络进行测试,得到最终分类结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310726072.3A CN116628626A (zh) | 2023-06-19 | 2023-06-19 | 基于特征交叉融合的短时强降水分型方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310726072.3A CN116628626A (zh) | 2023-06-19 | 2023-06-19 | 基于特征交叉融合的短时强降水分型方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116628626A true CN116628626A (zh) | 2023-08-22 |
Family
ID=87602619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310726072.3A Pending CN116628626A (zh) | 2023-06-19 | 2023-06-19 | 基于特征交叉融合的短时强降水分型方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116628626A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117290810A (zh) * | 2023-11-27 | 2023-12-26 | 南京气象科技创新研究院 | 基于循环卷积神经网络的短时强降水概率预报融合方法 |
-
2023
- 2023-06-19 CN CN202310726072.3A patent/CN116628626A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117290810A (zh) * | 2023-11-27 | 2023-12-26 | 南京气象科技创新研究院 | 基于循环卷积神经网络的短时强降水概率预报融合方法 |
CN117290810B (zh) * | 2023-11-27 | 2024-02-02 | 南京气象科技创新研究院 | 基于循环卷积神经网络的短时强降水概率预报融合方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263705B (zh) | 面向遥感技术领域两期高分辨率遥感影像变化检测系统 | |
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
CN108229550B (zh) | 一种基于多粒度级联森林网络的云图分类方法 | |
CN113379699A (zh) | 基于深度学习的输电线路绝缘子缺陷检测方法 | |
CN112508090B (zh) | 一种外包装缺陷检测方法 | |
CN113837193B (zh) | 一种基于改进U-Net网络的锌浮选泡沫图像分割方法 | |
CN112101430A (zh) | 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法 | |
CN112633382A (zh) | 一种基于互近邻的少样本图像分类方法及系统 | |
CN113313164A (zh) | 一种基于超像素分割与图卷积的数字病理图像分类方法及系统 | |
CN114694038A (zh) | 基于深度学习的高分辨率遥感影像分类方法及系统 | |
CN114898327B (zh) | 一种基于轻量化深度学习网络的车辆检测方法 | |
CN112488229A (zh) | 一种基于特征分离和对齐的域自适应无监督目标检测方法 | |
CN113378796A (zh) | 一种基于上下文建模的宫颈细胞全切片分类方法 | |
CN111161244B (zh) | 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法 | |
CN111178438A (zh) | 一种基于ResNet101的天气类型识别方法 | |
CN116628626A (zh) | 基于特征交叉融合的短时强降水分型方法 | |
CN106780639A (zh) | 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法 | |
CN116091946A (zh) | 一种基于YOLOv5的无人机航拍图像目标检测方法 | |
CN111709443B (zh) | 一种基于旋转不变卷积神经网络的书法字风格分类方法 | |
CN108154158A (zh) | 一种面向增强现实应用的建筑物图像分割方法 | |
CN111461006A (zh) | 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法 | |
CN114092467A (zh) | 一种基于轻量化卷积神经网络的划痕检测方法及系统 | |
CN113657196B (zh) | Sar图像目标检测方法、装置、电子设备和存储介质 | |
CN114821350A (zh) | 多阶段信息融合的高分辨率遥感图像建筑物变化检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |