CN116704366A - 基于transformer深度学习模型的暴雨落区识别预警方法和装置 - Google Patents
基于transformer深度学习模型的暴雨落区识别预警方法和装置 Download PDFInfo
- Publication number
- CN116704366A CN116704366A CN202310628014.7A CN202310628014A CN116704366A CN 116704366 A CN116704366 A CN 116704366A CN 202310628014 A CN202310628014 A CN 202310628014A CN 116704366 A CN116704366 A CN 116704366A
- Authority
- CN
- China
- Prior art keywords
- data
- target data
- processed
- target
- observation data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001556 precipitation Methods 0.000 claims abstract description 96
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 238000000556 factor analysis Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims description 18
- 230000006855 networking Effects 0.000 claims description 12
- 230000035945 sensitivity Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 239000000758 substrate Substances 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Astronomy & Astrophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Remote Sensing (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明提供了基于transformer深度学习模型的暴雨落区识别预警方法和装置,涉及气象监测的技术领域,包括:获取样本气象降水观测数据,并基于样本气象降水观测数据的标签确定出本气象降水观测数据对应的目标数据;基于因子分析算法和目标数据,确定出特征因子;基于样本气象降水观测数据和特征因子,对Swin_Transformer暴雨识别深度学习模型进行训练,得到目标深度学习模型;在获取到待处理目标数据之后,利用目标深度学习模型和待处理目标数据,预测待处理目标数据对应的暴雨落区,解决了现有的暴雨落区识别预警方法的准确性较差的技术问题。
Description
技术领域
本发明涉及气象监测的技术领域,尤其是涉及基于transformer深度学习模型的暴雨落区识别预警方法和装置。
背景技术
暴雨既包括长时间的持续降水累积效应,也包括短时强降水造成的短时雨量增大现象,尤其是后者,具有突发性强、持续时间短、局地性强等特点。
短时强降水多是在有利的大尺度环境条件下由中小尺度天气系统直接产生。以往短时强降水业务预报中,按整点时刻划分,小时降水量不低于20mm即认为是一次短时强降水过程。短时强降水业务预报一般采用“配料法”进行监测预警或预报,即预报员根据大尺度环境条件,分析不同地区的水汽、热力与可能的触发抬升机制等环境特征,并综合预报经验,给出预报落区。这对筛选表征环境特征的物理量和确定客观阈值具有很高的要求,也很容易存在输入信息不足、模型结构简单等问题,难以识别和预报强对流复杂演变过程。
针对上述问题,还未提出有效的解决方案。
发明内容
有鉴于此,本发明的目的在于提供基于transformer深度学习模型的暴雨落区识别预警方法和装置,以缓解了现有的暴雨落区识别预警方法的准确性较差的技术问题。
第一方面,本发明实施例提供了基于transformer深度学习模型的暴雨落区识别预警方法,包括:获取样本气象降水观测数据,并基于所述样本气象降水观测数据的标签确定出所述本气象降水观测数据对应的目标数据,其中,所述标签用于表征所述样本气象降水观测数据对应的气象站点和观测时次,所述目标数据至少包括:所述观测时次前预设时长的雷达组网数据和所述观测时次前预设时长的卫星云图数据;基于因子分析算法和所述目标数据,确定出特征因子;利用所述样本气象降水观测数据和所述特征因子,对Swin_Transformer暴雨识别深度学习模型进行训练,得到目标深度学习模型;在获取到待处理目标数据之后,利用所述目标深度学习模型和所述待处理目标数据,预测所述待处理目标数据对应的暴雨落区。
进一步地,所述样本气象降水观测数据包括正样本气象降水观测数据和负样本气象降水观测数据,其中,所述正样本气象降水观测数据为小时雨量大于预设雨量的样本气象降水观测数据,所述负样本气象降水观测数据为小时雨量小于或等于所述预设雨量的样本气象降水观测数据。
进一步地,基于因子分析算法和所述目标数据,确定出特征因子,包括:基于显著性指标和敏感性指标,确定出所述目标数据对应的初始特征因子;基于Battlett’s球状检验算法和/或KMO检验算法,对所述初始特征因子进行必要性检验,得到所述特征因子。
进一步地,利用所述目标深度学习模型和所述待处理目标数据,预测所述待处理目标数据对应的暴雨落区,包括:基于因子分析算法和所述待处理目标数据,确定出所述待处理目标数据对应的特征因子;将所述待处理目标数据对应的特征因子输入所述目标深度学习模型,确定出所述待处理目标数据对应的概率识别结果;将所述概率识别结果大于预设阈值的区域确定为所述暴雨落区。
第二方面,本发明实施例还提供了基于transformer深度学习模型的暴雨落区识别预警装置,包括:获取单元,获取样本气象降水观测数据,并基于所述样本气象降水观测数据的标签确定出所述本气象降水观测数据对应的目标数据,其中,所述标签用于表征所述样本气象降水观测数据对应的气象站点和观测时次,所述目标数据至少包括:所述观测时次前预设时长的雷达组网数据和所述观测时次前预设时长的卫星云图数据;确定单元,用于基于因子分析算法和所述目标数据,确定出特征因子;训练单元,用于利用所述样本气象降水观测数据和所述特征因子,对Swin_Transformer暴雨识别深度学习模型进行训练,得到目标深度学习模型;预测单元,用于在获取到待处理目标数据之后,利用所述目标深度学习模型和所述待处理目标数据,预测所述待处理目标数据对应的暴雨落区。
进一步地,所述样本气象降水观测数据包括正样本气象降水观测数据和负样本气象降水观测数据,其中,所述正样本气象降水观测数据为小时雨量大于预设雨量的样本气象降水观测数据,所述负样本气象降水观测数据为小时雨量小于或等于所述预设雨量的样本气象降水观测数据。
进一步地,所述确定单元,用于:基于显著性指标和敏感性指标,确定出所述目标数据对应的初始特征因子;基于Battlett’s球状检验算法和/或KMO检验算法,对所述初始特征因子进行必要性检验,得到所述特征因子。
进一步地,所述预测单元,用于:基于因子分析算法和所述待处理目标数据,确定出所述待处理目标数据对应的特征因子;将所述待处理目标数据对应的特征因子输入所述目标深度学习模型,确定出所述待处理目标数据对应的概率识别结果;将所述概率识别结果大于预设阈值的区域确定为所述暴雨落区。
第三方面,本发明实施例还提供了一种电子设备,包括存储器以及处理器,所述存储器用于存储支持处理器执行上述第一方面中所述方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
第四方面,本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序。
在本发明实施例中,通过获取样本气象降水观测数据,并基于所述样本气象降水观测数据的标签确定出所述本气象降水观测数据对应的目标数据,其中,所述标签用于表征所述样本气象降水观测数据对应的气象站点和观测时次,所述目标数据至少包括:所述观测时次前预设时长的雷达组网数据和所述观测时次前预设时长的卫星云图数据;基于因子分析算法和所述目标数据,确定出特征因子;利用所述样本气象降水观测数据和所述特征因子,对Swin_Transformer暴雨识别深度学习模型进行训练,得到目标深度学习模型;在获取到待处理目标数据之后,利用所述目标深度学习模型和所述待处理目标数据,预测所述待处理目标数据对应的暴雨落区,达到了对暴雨落区进行精准预测的目的,进而解决了现有的暴雨落区识别预警方法的准确性较差的技术问题,从而实现了提高暴雨落区预测准确性的技术效果。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于transformer深度学习模型的暴雨落区识别预警方法的流程图;
图2为本发明实施例提供的Swin_Transformer暴雨识别深度学习模型的结构示意图;
图3为本发明实施例提供的Swin_Transformer暴雨识别深度学习模型的block的工作流程图;
图4为本发明实施例提供的基于transformer深度学习模型的暴雨落区识别预警装置的示意图;
图5为本发明实施例提供的一种电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
根据本发明实施例,提供了一种transformer深度学习模型的暴雨落区识别预警的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的基于transformer深度学习模型的暴雨落区识别预警的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取样本气象降水观测数据,并基于所述样本气象降水观测数据的标签确定出所述本气象降水观测数据对应的目标数据,其中,所述标签用于表征所述样本气象降水观测数据对应的气象站点和观测时次,所述目标数据至少包括:所述观测时次前预设时长的雷达组网数据和所述观测时次前预设时长的卫星云图数据;
所述样本气象降水观测数据包括正样本气象降水观测数据和负样本气象降水观测数据,其中,所述正样本气象降水观测数据为小时雨量大于预设雨量的样本气象降水观测数据,所述负样本气象降水观测数据为小时雨量小于或等于所述预设雨量的样本气象降水观测数据。
优选的,本气象降水观测数据为近三年的气象站点降水观测数据,挑选小时雨量超过20mm的站点、时次作为正样本信息,同时随机匹配负样本信息,即小时雨量未超过20mm的站点、时次,平衡正负样本比例为1:50,构建标签集。
根据标签中的站点信息选取站点为中心一定范围的空间区域的目标数据,优选的,上述的空间区域为128km×128km,基本能够覆盖强对流发生发展的空间范围。
步骤S104,基于因子分析算法和所述目标数据,确定出特征因子;
步骤S106,利用所述样本气象降水观测数据和所述特征因子,对Swin_Transformer暴雨识别深度学习模型进行训练,得到目标深度学习模型;
步骤S108,在获取到待处理目标数据之后,利用所述目标深度学习模型和所述待处理目标数据,预测所述待处理目标数据对应的暴雨落区。
在本发明实施例中,通过获取样本气象降水观测数据,并基于所述样本气象降水观测数据的标签确定出所述本气象降水观测数据对应的目标数据,其中,所述标签用于表征所述样本气象降水观测数据对应的气象站点和观测时次,所述目标数据至少包括:所述观测时次前预设时长的雷达组网数据和所述观测时次前预设时长的卫星云图数据;基于因子分析算法和所述目标数据,确定出特征因子;利用所述样本气象降水观测数据和所述特征因子,对Swin_Transformer暴雨识别深度学习模型进行训练,得到目标深度学习模型;在获取到待处理目标数据之后,利用所述目标深度学习模型和所述待处理目标数据,预测所述待处理目标数据对应的暴雨落区,达到了对暴雨落区进行精准预测的目的,进而解决了现有的暴雨落区识别预警方法的准确性较差的技术问题,从而实现了提高暴雨落区预测准确性的技术效果。
在本发明实施例中,步骤S104包括如下步骤:
基于显著性指标和敏感性指标,确定出所述目标数据对应的初始特征因子;
基于Battlett’s球状检验算法和/或KMO检验算法,对所述初始特征因子进行必要性检验,得到所述特征因子。
在本发明实施例中,首先大致选定一部分物理量及二次计算的变量,考虑删除平均态、计算某一时刻前后时段平均值;
以显著性指标(暴雨发生时物理量与多年平均态差异的显著性)和敏感性指标(衡量物理量作为预报因子识别暴雨发生的能力,值越大,预报技巧越高,对事件预报的敏感性越优)指标筛选物理量,公式如下:
显著性指标:
其中,样本平均值和标准差: T越大,对应的物理量显著性越高。
敏感性指标:计算特征曲线面积(AUC指标),首先绘制ROC曲线:
选取标签阈值20mm/h,将降水真值转换为0和1的标签;
选取某一物理量x样本进行归一化,统计其选取不同阈值(0~1)时,对应的降水预报结果的h和f;
将物理量x的(f,h)点标记在h-f图上并连线,即得到物理量x的ROC曲线,该区域线与直线y=x所包含的区域面积即为物理量x的AUC指标。
因子分析和因子组合
通过Battlett’s球状检验、KMO检验确认因子分析的必要性;
对物理量特征值和方差贡献进行计算;选取方差贡献最大,且累计方差贡献率至少达到80%的前几个因子,这里选取前2个。对两个因子通过方差最大正交旋转法获取新的因子,每个因子对应一组物理量组合;统计不同因子中,各物理量所占的方差贡献;
认为两个最终因子的方差贡献在其累计方差贡献中的占比,为因子权重,将原来的物理量样本,按照不同因子中的物理量方差贡献率,重构成因子样本:
fi为第i个因子样本,vj为其中第j个物理量的方差贡献,xj为其中第j个物理量样本。
通过以上方法获取的特征因子包括卫星云图数据对应的卫星因子和雷达组网数据对应的雷达因子。
卫星因子包括:水汽通道8.6μm,红外通道10.8μm和11.2μm,11.2μm与12.3μm通道差,7.3μm与12.3μm通道差,3.9μm与7.3μm通道差,6.2μm和11.2μm通道差。
雷达因子包括:最大回波强度MCR,最高回波顶高度ET,风暴质心高度HM。风暴最大垂直积分液态水含量VIL,VIL密度。
在获取到上述特征因子之后,利用特征因子构建样本集,其中。前两年的特征因子随机打乱作为训练集,后1年的特征因子作为测试集。数据样本集进行归一化处理。
下面对Swin_Transformer暴雨识别深度学习模型进行详细说明。
本发明实施例中的Swin_Transformer暴雨识别深度学习模型如图2所示,采取层次化的设计,一共包含4个Stage,每个Stage都会缩小输入特征图的分辨率,像CNN一样逐层扩大感受野。在输入开始的时候,做了一个Patch Embedding,将图片切成一个个图块,并嵌入到Embedding。在每个Stage里,由Patch Merging和多个Block组成。其中Patch Merging模块主要在每个Stage一开始降低图片分辨率。如图3所示,Block结构由LayerNorm,MLP,Window Attention和Shifted Window Attention组成。
Patch Embedding:在输入进Block前,我们需要将图片切成一个个patch,然后嵌入向量。具体做法是对原始图片裁成一个个128×128的窗口大小,然后进行嵌入。这里可以通过二维卷积层,将stride,kernelsize设置为128大小。设定输出通道来确定嵌入向量的大小。最后将H,W维度展开,并移动到第一维度。
Patch Merging:该模块的作用是在每个Stage开始前做降采样,用于缩小分辨率,调整通道数进而形成层次化的设计,同时也能节省一定运算量。每次降采样是两倍,因此在行方向和列方向上,间隔2选取元素。然后拼接在一起作为一整个张量,最后展开。此时通道维度会变成原先的4倍(因为H,W各缩小2倍),此时再通过一个全连接层再调整通道维度为原来的两倍。
Block整体流程如下:
1)先对特征图进行LayerNorm;
2)通过self.shift_size决定是否需要对特征图进行shift;
3)然后将特征图切成一个个窗口;
4)计算Attention,通过self.attn_mask来区分Window Attention还是ShiftWindow Attention;
5)将各个窗口合并回来;
6)如果之前有做shift操作,此时进行reverse shift,把之前的shift操作恢复;
7)做dropout和残差连接;
8)再通过一层LayerNorm+全连接层,以及dropout和残差连接。
在本发明实施例中,步骤S108包括如下步骤:
基于因子分析算法和所述待处理目标数据,确定出所述待处理目标数据对应的特征因子;
将所述待处理目标数据对应的特征因子输入所述目标深度学习模型,确定出所述待处理目标数据对应的概率识别结果;
将所述概率识别结果大于预设阈值的区域确定为所述暴雨落区。
在本发明实施例中,自起报时刻起,选取前1h内的雷达组网数据和卫星云图数据(即,待处理目标数据)根据研究区域格点坐标(格点坐标与雷达数据格点保持一致)取特征因子数据,提取方法如步骤2,进行数据预处理和归一化,确保每个格点匹配128km*128km的数据集;使用训练好的识别模型,得到研究区域每个格点的概率识别结果;通过大量个例和实测数据资料,确定预设阈值,达到预设阈值的区域认为是暴雨落区位置。
预设阈值的选取需要对大量的概率产品,进行不同阈值的进行TS评分检验,选取TS评分最高的阈值。TS评分方法如下:
其中,当识别对流区域内有站点发生降水时,评为“击中”,记为H(H);当识别对流区域内无站点发生降水时,评为“误警”,记为F(False Alarm);当发生降水的站点位于未被识别成对流的区域时,评为“漏识”,记为M(Miss),N为未识别且实际无对流。
本发明实施例结合因子分析技术构建特征因子库,建立起暴雨与雷达卫星资料之间的诊断关系。挑选与暴雨相关性强的雷达卫星要素或因子,发挥气象卫星FY4系列资料和多普勒雷达的组网覆盖能力。再结合先进的人工智能技术建立外推演变模型,通过多源信息进行深度挖掘和融合,提升暴雨的识别和预报精度,既能够提升识别产品的可靠性,又能够实现对暴雨分钟级和公里级的产品发布,为暴雨识别预警的智能决策服务提供更有力的支撑。
本发明实施例采用Transformer的改进模型Swin_Transformer进行研发,主要是解决目前Transformer在图像领域应用的两大难点:视觉实体变化大,在不同场景下视觉Transformer性能未必很好;图像分辨率高,像素点多,Transformer基于全局自注意力的计算导致计算量较大。Swin_Transformer模型针对以上两个问题,设计了滑窗操作和层级设计。其中滑窗操作包括不重叠的local window,和重叠的cross-window。将注意力计算限制在一个窗口中,一方面能引入CNN卷积操作的局部性,另一方面能节省计算量。在各大图像任务上,Swin_Transformer都具有很好的性能。
实施例二:
本发明实施例还提供了一种基于transformer深度学习模型的暴雨落区识别预警装置,该基于transformer深度学习模型的暴雨落区识别预警装置用于执行本发明实施例上述内容所提供的基于transformer深度学习模型的暴雨落区识别预警方法,以下是本发明实施例提供的装置的具体介绍。
如图4所示,图4为上述基于transformer深度学习模型的暴雨落区识别预警装置的示意图,该基于transformer深度学习模型的暴雨落区识别预警装置包括:
获取单元10,用于获取样本气象降水观测数据,并基于所述样本气象降水观测数据的标签确定出所述本气象降水观测数据对应的目标数据,其中,所述标签用于表征所述样本气象降水观测数据对应的气象站点和观测时次,所述目标数据至少包括:所述观测时次前预设时长的雷达组网数据和所述观测时次前预设时长的卫星云图数据;
确定单元20,用于基于因子分析算法和所述目标数据,确定出特征因子;
训练单元30,用于利用所述样本气象降水观测数据和所述特征因子,对Swin_Transformer暴雨识别深度学习模型进行训练,得到目标深度学习模型;
预测单元40,用于在获取到待处理目标数据之后,利用所述目标深度学习模型和所述待处理目标数据,预测所述待处理目标数据对应的暴雨落区。
在本发明实施例中,通过获取样本气象降水观测数据,并基于所述样本气象降水观测数据的标签确定出所述本气象降水观测数据对应的目标数据,其中,所述标签用于表征所述样本气象降水观测数据对应的气象站点和观测时次,所述目标数据至少包括:所述观测时次前预设时长的雷达组网数据和所述观测时次前预设时长的卫星云图数据;基于因子分析算法和所述目标数据,确定出特征因子;利用所述样本气象降水观测数据和所述特征因子,对Swin_Transformer暴雨识别深度学习模型进行训练,得到目标深度学习模型;在获取到待处理目标数据之后,利用所述目标深度学习模型和所述待处理目标数据,预测所述待处理目标数据对应的暴雨落区,达到了对暴雨落区进行精准预测的目的,进而解决了现有的暴雨落区识别预警方法的准确性较差的技术问题,从而实现了提高暴雨落区预测准确性的技术效果。
实施例三:
本发明实施例还提供了一种电子设备,包括存储器以及处理器,所述存储器用于存储支持处理器执行上述实施例一中所述方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
参见图5,本发明实施例还提供一种电子设备100,包括:处理器50,存储器51,总线52和通信接口53,所述处理器50、通信接口53和存储器51通过总线52连接;处理器50用于执行存储器51中存储的可执行模块,例如计算机程序。
其中,存储器51可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线52可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器51用于存储程序,所述处理器50在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中,或者由处理器50实现。
处理器50可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51,处理器50读取存储器51中的信息,结合其硬件完成上述方法的步骤。
实施例四:
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述实施例一中所述方法的步骤。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于transformer深度学习模型的暴雨落区识别预警方法,其特征在于,包括:
获取样本气象降水观测数据,并基于所述样本气象降水观测数据的标签确定出所述本气象降水观测数据对应的目标数据,其中,所述标签用于表征所述样本气象降水观测数据对应的气象站点和观测时次,所述目标数据至少包括:所述观测时次前预设时长的雷达组网数据和所述观测时次前预设时长的卫星云图数据;
基于因子分析算法和所述目标数据,确定出特征因子;
利用所述样本气象降水观测数据和所述特征因子,对Swin_Transformer暴雨识别深度学习模型进行训练,得到目标深度学习模型;
在获取到待处理目标数据之后,利用所述目标深度学习模型和所述待处理目标数据,预测所述待处理目标数据对应的暴雨落区。
2.根据权利要求1所述的方法,其特征在于,
所述样本气象降水观测数据包括正样本气象降水观测数据和负样本气象降水观测数据,其中,所述正样本气象降水观测数据为小时雨量大于预设雨量的样本气象降水观测数据,所述负样本气象降水观测数据为小时雨量小于或等于所述预设雨量的样本气象降水观测数据。
3.根据权利要求1所述的方法,其特征在于,基于因子分析算法和所述目标数据,确定出特征因子,包括:
基于显著性指标和敏感性指标,确定出所述目标数据对应的初始特征因子;
基于Battlett’s球状检验算法和/或KMO检验算法,对所述初始特征因子进行必要性检验,得到所述特征因子。
4.根据权利要求1所述的方法,其特征在于,利用所述目标深度学习模型和所述待处理目标数据,预测所述待处理目标数据对应的暴雨落区,包括:
基于因子分析算法和所述待处理目标数据,确定出所述待处理目标数据对应的特征因子;
将所述待处理目标数据对应的特征因子输入所述目标深度学习模型,确定出所述待处理目标数据对应的概率识别结果;
将所述概率识别结果大于预设阈值的区域确定为所述暴雨落区。
5.一种基于transformer深度学习模型的暴雨落区识别预警装置,其特征在于,包括:
获取单元,获取样本气象降水观测数据,并基于所述样本气象降水观测数据的标签确定出所述本气象降水观测数据对应的目标数据,其中,所述标签用于表征所述样本气象降水观测数据对应的气象站点和观测时次,所述目标数据至少包括:所述观测时次前预设时长的雷达组网数据和所述观测时次前预设时长的卫星云图数据;
确定单元,用于基于因子分析算法和所述目标数据,确定出特征因子;
训练单元,用于利用所述样本气象降水观测数据和所述特征因子,对Swin_Transformer暴雨识别深度学习模型进行训练,得到目标深度学习模型;
预测单元,用于在获取到待处理目标数据之后,利用所述目标深度学习模型和所述待处理目标数据,预测所述待处理目标数据对应的暴雨落区。
6.根据权利要求5所述的装置,其特征在于,
所述样本气象降水观测数据包括正样本气象降水观测数据和负样本气象降水观测数据,其中,所述正样本气象降水观测数据为小时雨量大于预设雨量的样本气象降水观测数据,所述负样本气象降水观测数据为小时雨量小于或等于所述预设雨量的样本气象降水观测数据。
7.根据权利要求5所述的装置,其特征在于,所述确定单元,用于:
基于显著性指标和敏感性指标,确定出所述目标数据对应的初始特征因子;
基于Battlett’s球状检验算法和/或KMO检验算法,对所述初始特征因子进行必要性检验,得到所述特征因子。
8.根据权利要求5所述的装置,其特征在于,所述预测单元,用于:
基于因子分析算法和所述待处理目标数据,确定出所述待处理目标数据对应的特征因子;
将所述待处理目标数据对应的特征因子输入所述目标深度学习模型,确定出所述待处理目标数据对应的概率识别结果;
将所述概率识别结果大于预设阈值的区域确定为所述暴雨落区。
9.一种电子设备,其特征在于,包括存储器以及处理器,所述存储器用于存储支持处理器执行权利要求1至4任一项所述方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
10.一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,其特征在于,计算机程序被处理器运行时执行上述权利要求1至4任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310628014.7A CN116704366A (zh) | 2023-05-30 | 2023-05-30 | 基于transformer深度学习模型的暴雨落区识别预警方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310628014.7A CN116704366A (zh) | 2023-05-30 | 2023-05-30 | 基于transformer深度学习模型的暴雨落区识别预警方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116704366A true CN116704366A (zh) | 2023-09-05 |
Family
ID=87828620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310628014.7A Pending CN116704366A (zh) | 2023-05-30 | 2023-05-30 | 基于transformer深度学习模型的暴雨落区识别预警方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116704366A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117608005A (zh) * | 2024-01-23 | 2024-02-27 | 南京信息工程大学 | 一种对区域暴雨频次的研判方法及系统 |
-
2023
- 2023-05-30 CN CN202310628014.7A patent/CN116704366A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117608005A (zh) * | 2024-01-23 | 2024-02-27 | 南京信息工程大学 | 一种对区域暴雨频次的研判方法及系统 |
CN117608005B (zh) * | 2024-01-23 | 2024-03-29 | 南京信息工程大学 | 一种对区域暴雨频次的研判方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhou et al. | Forecasting different types of convective weather: A deep learning approach | |
CN112183432B (zh) | 一种基于中分辨率sar图像的建筑区提取方法以及系统 | |
CN113496104B (zh) | 基于深度学习的降水预报订正方法及系统 | |
Zhang et al. | Weather visibility prediction based on multimodal fusion | |
CN113469278B (zh) | 一种基于深度卷积神经网络的强天气目标识别方法 | |
Peng et al. | CNGAT: A graph neural network model for radar quantitative precipitation estimation | |
Li et al. | An object-based approach for verification of precipitation estimation | |
CN111766641B (zh) | 一种基于深度神经网络的强对流天气识别方法 | |
WO2020111934A1 (en) | A method and system for detection of natural disaster occurrence | |
CN116704366A (zh) | 基于transformer深度学习模型的暴雨落区识别预警方法和装置 | |
CN104237890A (zh) | 一种由“列车效应”引起的暴雨识别及预报方法 | |
KR101274200B1 (ko) | 태풍을 포함하는 저기압 접근 시 재해기상의 시공간적 분포 검색 시스템 | |
CN115272656A (zh) | 环境检测报警方法、装置、计算机设备及存储介质 | |
CN114386654A (zh) | 一种多尺度数值天气预报模式融合的天气预报方法及装置 | |
Hu | An algorithm for converting weather radar data into GIS polygons and its application in severe weather warning systems | |
Wang et al. | An approach for radar quantitative precipitation estimation based on spatiotemporal network | |
CN116879900A (zh) | 一种基于灰度处理的雷暴质心定位以及追踪预测方法 | |
CN116680604A (zh) | 强对流特征分类识别方法、电子设备及介质 | |
Sadouki et al. | Classification of radar echoes with a textural–fuzzy approach: an application for the removal of ground clutter observed in Sétif (Algeria) and Bordeaux (France) sites | |
CN115877345A (zh) | 一种风廓线雷达缺测数据的补齐方法和装置 | |
CN113870224A (zh) | 一种洪水监测方法、系统、设备和介质 | |
Schvartzman et al. | Weather radar spatiotemporal saliency: A first look at an information theory–based human attention model adapted to reflectivity images | |
CN117725523B (zh) | 基于物理约束的雷暴天气预警方法及预警系统 | |
CN115236676B (zh) | 一种基于滑动时空匹配的冰雹数据集生成方法和装置 | |
CN116469013B (zh) | 道路积水预测方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |