CN117434624B - 一种基于语义分割的强对流天气识别和发展预判方法 - Google Patents
一种基于语义分割的强对流天气识别和发展预判方法 Download PDFInfo
- Publication number
- CN117434624B CN117434624B CN202311273848.7A CN202311273848A CN117434624B CN 117434624 B CN117434624 B CN 117434624B CN 202311273848 A CN202311273848 A CN 202311273848A CN 117434624 B CN117434624 B CN 117434624B
- Authority
- CN
- China
- Prior art keywords
- data
- strong convection
- convection weather
- semantic segmentation
- basic unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000011161 development Methods 0.000 title claims abstract description 12
- 230000018109 developmental process Effects 0.000 title claims abstract description 12
- 239000010410 layer Substances 0.000 claims description 71
- 230000006870 function Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 33
- 238000010606 normalization Methods 0.000 claims description 21
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- WWVKQTNONPWVEL-UHFFFAOYSA-N caffeic acid phenethyl ester Natural products C1=C(O)C(O)=CC=C1C=CC(=O)OCC1=CC=CC=C1 WWVKQTNONPWVEL-UHFFFAOYSA-N 0.000 claims description 6
- SWUARLUWKZWEBQ-UHFFFAOYSA-N phenylethyl ester of caffeic acid Natural products C1=C(O)C(O)=CC=C1C=CC(=O)OCCC1=CC=CC=C1 SWUARLUWKZWEBQ-UHFFFAOYSA-N 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000002779 inactivation Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000005381 potential energy Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 11
- 238000001556 precipitation Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Environmental & Geological Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Atmospheric Sciences (AREA)
- Environmental Sciences (AREA)
- Ecology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于语义分割的强对流天气识别和发展预判方法,方法包括数据采集、建立训练标签、数据预处理、数据划分、模型训练、模型评估和强对流天气发展预测。本发明属于自然灾害预测技术领域,具体是指一种基于语义分割的强对流天气识别和发展预判方法,本方案采用FCN语义分割模型,从强对流天气观测数据中提取特征,增强特征提取的能力,在FCN语义分割模型中引入自注意力机制,对提取的特征进行增强,提高强对流天气分类问题的准确率。
Description
技术领域
本发明涉及自然灾害预测技术领域,具体是指一种基于语义分割的强对流天气识别和发展预判方法。
背景技术
强对流天气是指具有短时强降水、雷雨大风、龙卷风和冰雹等灾害性现象的一类天气。这种天气具有突发性、短暂性和破坏性强的特点,对社会经济和人民生活造成严重影响。而传统的机器学习特征提取方法存在特征提取效果不佳,导致无法准确识别不同类别的强对流天气,进而导致模型识别精度不高的问题;传统的强对流天气识别方法通常依靠静态的阈值或一些固定的特征来进行强对流天气的判断条件,往往无法捕捉到空间上的细微差异和复杂关系,导致模型性能下降的问题。
发明内容
针对上述情况,为克服现有技术的缺陷,本发明提供了一种基于语义分割的强对流天气识别和发展预判方法,针对传统的机器学习特征提取方法存在特征提取效果不佳,导致无法准确识别不同类别的强对流天气,进而导致模型识别精度不高的问题,本方案采用FCN语义分割模型,从强对流天气观测数据中提取特征,提高特征提取的能力,从而提高强对流天气的预测准确率;针对传统的强对流天气识别方法通常依靠静态的阈值或一些固定的特征来进行强对流天气的判断条件,往往无法捕捉到空间上的细微差异和复杂关系,导致模型性能下降的问题,本方案通过在FCN语义分割模型中引入自注意力机制,对提取的特征进行特征增强,提高强对流天气分类问题的准确率,进而提高模型性能。
本发明采取的技术方案如下:本发明提供的一种基于语义分割的强对流天气识别和发展预判方法,该方法包括以下步骤:
步骤S1:数据采集,采集强对流天气的实况数据,包括强对流天气发生的时间、站点和强度信息,强对流天气的实况数据为强对流天气的文字描述,存储在excel文件中;
步骤S2:建立训练标签,利用百度地图API接口从强对流天气发生的站点信息中提取强对流天气的经度、纬度、海拔高度,根据强对流天气发生的站点信息,生成训练标签;
步骤S3:数据预处理,将强对流天气的实况数据、经度、纬度、海拔高度转换为EC模式数据,将EC模式数据转换为图片,获得强对流天气数据集;
步骤S4:数据划分,将强对流天气数据集划分为训练集和测试集;
步骤S5:模型训练,搭建FCN语义分割模型,利用FCN语义分割模型,加载训练集和训练标签进行模型训练;
步骤S6:模型评估,利用测试集评估FCN语义分割模型,得到最终的FCN语义分割模型;
步骤S7:强对流天气发展预测,将实时采集的强对流天气的实况数据输入到最终的FCN语义分割模型,得到强对流天气可能的发生概率。
进一步地,在步骤S1中,所述数据采集,具体为基于雷达收集的观测资料获取强对流天气的实况数据,包括短时强降水、冰雹、雷暴大风发生的时间、站点和强度信息,存储在excel文件中。
进一步地,在步骤S2中,所述建立训练标签,包括以下步骤:
步骤S21:利用百度地图API接口从强对流天气发生的站点信息中提取强对流天气的经度、纬度、海拔高度,;
步骤S22:根据强对流天气发生的时间、站点和强度信息生成5km分辨率目标区域地形掩模数据;
步骤S23:将强对流天气发生的时间、站点信息转换为网格数据,具体包括以下步骤:
步骤S231:建立5km分辨率网格,所有网格赋值为0,空间范围从东经92至东经109度,北纬32度至北纬43度,共341×221个网格格点;
步骤S232:定义1表示发生强对流天气区域,0表示未发生强对流天气区域,-1表示没有观测的区域;
步骤S233:标记每个强对流天气发生站点30km半径范围,将30km半径范围内网格均设置为1;
步骤S234:读取5km分辨率目标区域地形掩模数据,对非目标区域,网格赋值为-1;
步骤S235:采用动态权重的方式建立训练标签,为非目标区域、目标区域内发生强对流天气、未发生强对流天气区域设置权重。
进一步地,在步骤S3中,所述数据预处理,包括以下步骤:
步骤S31:将强对流天气的实况数据、经度、纬度、海拔高度转换为EC模式数据,EC模式数据至少包括强对流天气发生发展的能量、温度、湿度、风向风速、对流有效位能CAPE、2米露点温度DPT_2M、散度 DIV,设置EC模式数据空间分辨率、时间分辨率;
步骤S32:将EC模式数据3次样条插值至数据空间分辨率网格上,其中对流有效位能CAPE和2米露点温度DPT_2M为单层数据,其余EC模式数据均包含不同高度层,将不同高度层的EC模式数据合并,共30个变量;
步骤S33:统计EC模式数据所有30个变量的最大和最小值,并分别向上和向下取整,作为全局的最大最小值,进行数据归一化。
进一步地,在步骤S5中,所述模型训练,包括以下步骤:
步骤S51:模型搭建,FCN语义分割模型由第一基本单元、第二基本单元、第三基本单元构成,第一基本单元、第二基本单元、第三基本单元分别由卷积层、批处理归一化层和ReLU函数组成,在第二基本单元和第三个基本单元之间应用maxpooling层;
步骤S52:特征提取,利用每个基本单元中的卷积层提取局部特征,再利用批处理
归一化层对提取的局部特征进行泛化,得到批处理归一化的结果,最后利用ReLU函数对批
处理归一化的结果进行非线性激活,第个基本单元提取局部特征的公式如下:
;
;
;
式中,为基本单元中卷积层的核,为FCN语义分割模型第个基本单元的输
入数据,为第层卷积层的偏置参数,为卷积算子,为经过卷积层后的输出结果,为经过批处理归一化层后的输出结果,为进行非线性激活的ReLU函数,为经
过ReLU函数后的输出结果;
步骤S53:降维,在保持特征不变性的同时利用maxpooling层减小特征数据的大小,计算公式如下:
;
式中,为maxpooling层的内核大小,为通过maxpooling层的计算函数,
stride是两个maxpooling层之间的距离;
步骤S54:特征增强,利用自注意机制增强特征之间的相互作用,计算公式如下:
;
式中,、、为三个卷积函数,这三个卷积函数的参数相互独立,在
训练过程中自适应学习,为输入数据,表示输入数据中的每一个元
素、表示当前元素的上下文信息、表示当前元素与上下文信息的相似度;
softmax函数的计算公式为:
;
式中,为输入向量,e为自然对数的底数;
通过自注意力机制后的输出值为:
;
式中,为的通道号,softmax函数将输入向量转化为0到1之间的对应值;
通过自注意力机制特征增强后的最终输出为:
;
式中,γ是一个可学习的参数;
步骤S55:模型输出,将自注意力机制特征增强后的最终输出发送到全连接层生成标签,全连接层包括一个flatten层、两个Linear层、一个dropout层、一个批处理归一化层,得到最终的FCN语义分割模型,全连接层输出标签的计算公式为:
;
式中,为输入数据,和是两个独立的具有可学习权值和偏置的线性
变换函数,是随机失活函数,函数输出softmax函数输出的最大元素
对应的标签。
进一步地,在步骤S6中,所述模型评估,具体为利用风险评估、命中率/>、空报率/>评价指标在测试集上评估最终的FCN语义分割模型,计算公式如下:
;
;
;
式中,表示被模型预测为正类的正样本,表示被模型预测为负类的负样本,表示被模型预测为正类的负样本,表示被模型预测为负类的正样本;
采用上述方案本发明取得的有益成果如下:
(1)针对传统的机器学习特征提取方法存在特征提取效果不佳,导致无法准确识别不同类别的强对流天气,进而导致模型识别精度不高的问题,本方案采用FCN语义分割模型,从强对流天气观测数据中提取特征,增强特征提取的能力,从而提高强对流天气的预测准确率;
(2)针对传统的强对流天气识别方法通常依靠静态的阈值或一些固定的特征来进行强对流天气的判断条件,往往无法捕捉到空间上的细微差异和复杂关系,导致模型性能下降的问题,本方案通过在FCN语义分割模型中引入自注意力机制,对提取的特征进行特征增强,提高强对流天气分类问题的准确率,进而提高模型性能。
附图说明
图1为本发明提供的一种基于语义分割的强对流天气识别和发展预判方法的流程示意图;
图2为2020年甘肃省短时强降水的结果分布图;
图3为2020年甘肃省冰雹的结果分布图;
图4为2020年甘肃省雷暴大风的结果分布图;
图5为EC模式数据填色示意图;
图6为步骤S5的流程示意图;
图7为FCN语义分割模型的卷积层结构示意图;
图8为测试集短时强降水的分布图;
图9为测试集冰雹的分布图;
图10为测试集雷暴大风的分布图;
图11为最终的FCN语义分割模型输出短时强降水发生的概率图;
图12为最终的FCN语义分割模型输出冰雹发生的概率图;
图13为最终的FCN语义分割模型输出雷电大风发生的概率图。
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例;基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
实施例一,参阅图1,本发明提供的一种基于语义分割的强对流天气识别和发展预判方法,该方法包括以下步骤:
步骤S1:数据采集,采集强对流天气的实况数据,包括强对流天气发生的时间、站点和强度信息,强对流天气的实况数据为强对流天气的文字描述,存储在excel文件中;
步骤S2:建立训练标签,利用百度地图API接口从强对流天气发生的站点信息中提取强对流天气的经度、纬度、海拔高度,根据强对流天气发生的站点信息,生成训练标签;
步骤S3:数据预处理,将强对流天气的实况数据、经度、纬度、海拔高度转换为EC模式数据,将EC模式数据转换为图片,获得强对流天气数据集;
步骤S4:数据划分,将强对流天气数据集划分为训练集和测试集;
步骤S5:模型训练,搭建FCN语义分割模型,利用FCN语义分割模型,加载训练集和训练标签进行模型训练;
步骤S6:模型评估,利用测试集评估FCN语义分割模型,得到最终的FCN语义分割模型;
步骤S7:强对流天气发展预测,将实时采集的强对流天气的实况数据输入到最终的FCN语义分割模型,得到强对流天气可能的发生概率。
实施例二,该实施例基于上述实施例,在步骤S2中,建立训练标签,具体包括以下步骤;
步骤S21:利用百度地图API接口从强对流天气发生的站点信息中提取强对流天气的经度、纬度、海拔高度;
步骤S22:根据强对流天气发生的时间、站点和强度信息生成5km分辨率目标区域地形掩模数据,目标区域选定甘肃省;
步骤S23:将强对流天气发生的时间、站点信息转换为网格数据,具体包括以下步骤:
步骤S231:建立5km分辨率网格,所有网格赋值为0,空间范围从东经92至东经109度,北纬32度至北纬43度,共341×221个网格格点;
步骤S232:定义1表示发生强对流天气区域,0表示未发生强对流天气区域,-1表示没有观测的区域;
步骤S233:标记每个强对流天气发生站点30km半径范围,将30km半径范围内网格均设置为1;
步骤S234:读取5km分辨率甘肃省地形掩模数据,对非甘肃省区域,网格赋值为-1;
步骤S235:采用动态权重的方式建立训练标签,为非甘肃省区域、甘肃省内发生强对流天气、未发生强对流天气区域设置权重;
通过执行上述操作,利用百度地图API接口提取的强对流天气的经度、纬度、海拔高度绘制地图,图2、图3、图4分别展示了2020年甘肃省短时强降水、冰雹、雷暴大风的结果分布图。
实施例三,该实施例基于上述实施例,在步骤S3中,数据预处理,具体包括以下步骤:
步骤S31:将强对流天气的实况数据、经度、纬度、海拔高度转换为EC模式数据,EC模式数据至少包括强对流天气发生发展的能量、温度、湿度、风向风速、对流有效位能CAPE、2米露点温度DPT_2M、散度 DIV,设置EC模式数据空间分辨率、时间分辨率;
步骤S32:将EC模式数据3次样条插值至数据空间分辨率网格上,其中对流有效位能CAPE和2米露点温度DPT_2M为单层数据,其余EC模式数据均包含不同高度层,将不同高度层的EC模式数据合并,共30个变量,EC模式数据填色示意图如图5所示;
步骤S33:统计EC模式数据所有30个变量的最大和最小值,并分别向上和向下取整,作为全局的最大最小值,进行数据归一化。
实施例四,参阅图6,该实施例基于上述实施例,在步骤S5中,模型训练,具体包括以下步骤:
步骤S51:模型搭建,FCN语义分割模型由第一基本单元、第二基本单元、第三基本单元构成,第一基本单元、第二基本单元、第三基本单元分别由卷积层、批处理归一化层和ReLU函数组成,在第二基本单元和第三个基本单元之间应用maxpooling层,FCN语义分割模型的卷积层结构如图7所示;
步骤S52:特征提取,利用每个基本单元中的卷积层提取局部特征,再利用批处理
归一化层对提取的局部特征进行泛化,得到批处理归一化的结果,最后利用ReLU函数对批
处理归一化的结果进行非线性激活,第个基本单元提取局部特征的公式如下:
;
;
;
式中,为基本单元中卷积层的核,为FCN语义分割模型第个基本单元的输
入数据,为第层卷积层的偏置参数,为卷积算子,为经过卷积层后的输出结果,为经过批处理归一化层后的输出结果,为进行非线性激活的ReLU函数,为经
过ReLU函数后的输出结果;
步骤S53:降维,在保持特征不变性的同时利用maxpooling层减小特征数据的大小,计算公式如下:
;
式中,为maxpooling层的内核大小,为通过maxpooling层的计算函数,
stride是两个maxpooling层之间的距离;
步骤S54:特征增强,利用自注意机制增强特征之间的相互作用,计算公式如下:
;
式中,、、为三个卷积函数,这三个卷积函数的参数相互独立,在
训练过程中自适应学习,为输入数据,表示输入数据中的每一个元
素、表示当前元素的上下文信息、表示当前元素与上下文信息的相似度;
softmax函数的计算公式为:
;
式中,为输入向量,e为自然对数的底数;
通过自注意力机制后的输出值为:
;
式中,为的通道号,softmax函数将输入向量转化为0到1之间的对应值;
通过自注意力机制特征增强后的最终输出为:
;
式中,γ是一个可学习的参数;
步骤S55:模型输出,将自注意力机制特征增强后的最终输出发送到全连接层生成标签,全连接层包括一个flatten层、两个Linear层、一个dropout层、一个批处理归一化层,得到最终的FCN语义分割模型,全连接层输出标签的计算公式为:
;
式中,为输入数据,和是两个独立的具有可学习权值和偏置的线性
变换函数,是随机失活函数,函数输出softmax函数输出的最大元素
对应的标签;
通过执行上述操作,针对传统的机器学习特征提取方法存在特征提取效果不佳,导致无法准确识别不同类别的强对流天气,进而导致模型识别精度不高的问题,本方案采用FCN语义分割模型,从强对流天气观测数据中提取特征,增强特征提取的能力,从而提高强对流天气的预测准确率;针对传统的强对流天气识别方法通常依靠静态的阈值或一些固定的特征来进行强对流天气的判断条件,往往无法捕捉到空间上的细微差异和复杂关系,导致模型性能下降的问题,本方案通过在FCN语义分割模型中引入自注意力机制,对提取的特征进行特征增强,提高强对流天气分类问题的准确率,进而提高模型性能。
实施例五,该实施例基于上述实施例,在步骤S6中,所述模型评估,具体为利用风险评估、命中率/>、空报率/>评价指标在测试集上评估最终的FCN语义分割模型,计算公式如下:
;
;
;
式中,表示被模型预测为正类的正样本,表示被模型预测为负类的负样本,表示被模型预测为正类的负样本,表示被模型预测为负类的正样本;
图8、9、10为测试集短时强降水、冰雹、雷暴大风的分布图,通过执行上述操作,最终的FCN语义分割模型输出短时强降水、冰雹、雷电大风发生的概率如图11、12、13所示。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
以上对本发明及其实施方式进行了描述,这种描述没有限制性,附图中所示的也只是本发明的实施方式之一,实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示,在不脱离本发明创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均应属于本发明的保护范围。
Claims (1)
1.一种基于语义分割的强对流天气识别和发展预判方法,其特征在于:该方法包括以下步骤:
步骤S1:数据采集,采集强对流天气的实况数据,包括强对流天气发生的时间、站点和强度信息,强对流天气的实况数据为强对流天气的文字描述,存储在excel文件中;
步骤S2:建立训练标签,利用百度地图API接口从强对流天气发生的站点信息中提取强对流天气的经度、纬度、海拔高度,根据强对流天气发生的站点信息,生成训练标签;
步骤S3:数据预处理,将强对流天气的实况数据、经度、纬度、海拔高度转换为EC模式数据,将EC模式数据转换为图片,获得强对流天气数据集;
步骤S4:数据划分,将强对流天气数据集划分为训练集和测试集;
步骤S5:模型训练,搭建FCN语义分割模型,利用FCN语义分割模型,加载训练集和训练标签进行模型训练;
步骤S6:模型评估,利用测试集评估FCN语义分割模型,得到最终的FCN语义分割模型;
步骤S7:强对流天气发展预测,将实时采集的强对流天气的实况数据输入到最终的FCN语义分割模型,得到强对流天气可能的发生概率;
在步骤S5中,所述模型训练,包括以下步骤:
步骤S51:模型搭建,FCN语义分割模型由第一基本单元、第二基本单元、第三基本单元构成,第一基本单元、第二基本单元、第三基本单元分别由卷积层、批处理归一化层和ReLU函数组成,在第二基本单元和第三个基本单元之间应用maxpooling层;
步骤S52:特征提取,利用每个基本单元中的卷积层提取局部特征,再利用批处理归一化层对提取的局部特征进行泛化,得到批处理归一化的结果,最后利用ReLU函数对批处理归一化的结果进行非线性激活,第个基本单元提取局部特征的公式如下:
;
;
;
式中,为基本单元中卷积层的核,/>为FCN语义分割模型第/>个基本单元的输入数据,/>为第/>层卷积层的偏置参数,/>为卷积算子,/>为经过卷积层后的输出结果,/>为经过批处理归一化层后的输出结果,/>为进行非线性激活的ReLU函数,/>为经过ReLU函数后的输出结果;
步骤S53:降维,在保持特征不变性的同时利用maxpooling层减小特征数据的大小,计算公式如下:
;
式中,为maxpooling层的内核大小,/>为通过maxpooling层的计算函数,stride是两个maxpooling层之间的距离;
步骤S54:特征增强,利用自注意机制增强特征之间的相互作用,计算公式如下:
;
式中,、/>、/>为三个卷积函数,这三个卷积函数的参数相互独立,在训练过程中自适应学习,/>为输入数据,/>表示输入数据中的每一个元素、/>表示当前元素的上下文信息、/>表示当前元素与上下文信息的相似度;
softmax函数的计算公式为:
;
式中,为输入向量,e为自然对数的底数;
通过自注意力机制后的输出值为:
;
式中,为/>的通道号,softmax函数将输入向量转化为0到1之间的对应值;
通过自注意力机制特征增强后的最终输出为:
;
式中,γ是一个可学习的参数;
步骤S55:模型输出,将自注意力机制特征增强后的最终输出发送到全连接层生成标签,全连接层包括一个flatten层、两个Linear层、一个dropout层、一个批处理归一化层,得到最终的FCN语义分割模型,全连接层输出标签的计算公式为:
;
式中,为输入数据,/>和/>是两个独立的具有可学习权值和偏置的线性变换函数,/>是随机失活函数,/>函数输出softmax函数输出的最大元素对应的标签;
在步骤S2中,所述建立训练标签,包括以下步骤:
步骤S21:利用百度地图API接口从强对流天气发生的站点信息中提取强对流天气的经度、纬度、海拔高度;
步骤S22:根据强对流天气发生的时间、站点和强度信息生成5km分辨率目标区域地形掩模数据;
步骤S23:将强对流天气发生的时间、站点信息转换为网格数据,具体包括以下步骤:
步骤S231:建立5km分辨率网格,所有网格赋值为0,空间范围从东经92至东经109度,北纬32度至北纬43度,共341×221个网格格点;
步骤S232:定义1表示发生强对流天气区域,0表示未发生强对流天气区域,-1表示没有观测的区域;
步骤S233:标记每个强对流天气发生站点30km半径范围,将30km半径范围内网格均设置为1;
步骤S234:读取5km分辨率目标区域地形掩模数据,对非目标区域,网格赋值为-1;
步骤S235:采用动态权重的方式建立训练标签,为非目标区域、目标区域内发生强对流天气、未发生强对流天气区域设置权重;
在步骤S3中,所述数据预处理,包括以下步骤:
步骤S31:将强对流天气的实况数据、经度、纬度、海拔高度转换为EC模式数据,EC模式数据至少包括强对流天气发生发展的能量、温度、湿度、风向风速、对流有效位能CAPE、2米露点温度DPT_2M、散度 DIV,设置EC模式数据空间分辨率、时间分辨率;
步骤S32:将EC模式数据3次样条插值至数据空间分辨率网格上,其中对流有效位能CAPE和2米露点温度DPT_2M为单层数据,其余EC模式数据均包含不同高度层,将不同高度层的EC模式数据合并,共30个变量;
步骤S33:统计EC模式数据所有30个变量的最大和最小值,并分别向上和向下取整,作为全局的最大最小值,进行数据归一化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311273848.7A CN117434624B (zh) | 2023-09-28 | 2023-09-28 | 一种基于语义分割的强对流天气识别和发展预判方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311273848.7A CN117434624B (zh) | 2023-09-28 | 2023-09-28 | 一种基于语义分割的强对流天气识别和发展预判方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117434624A CN117434624A (zh) | 2024-01-23 |
CN117434624B true CN117434624B (zh) | 2024-04-16 |
Family
ID=89548908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311273848.7A Active CN117434624B (zh) | 2023-09-28 | 2023-09-28 | 一种基于语义分割的强对流天气识别和发展预判方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117434624B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107703564A (zh) * | 2017-10-13 | 2018-02-16 | 中国科学院深圳先进技术研究院 | 一种降雨预测方法、系统及电子设备 |
KR20190051621A (ko) * | 2017-11-07 | 2019-05-15 | 재단법인대구경북과학기술원 | 시맨틱 분할 맵을 이용한 영상 데이터 처리 장치 및 제어 방법 |
CN111796343A (zh) * | 2020-06-15 | 2020-10-20 | 兰州中心气象台(兰州干旱生态环境监测预测中心) | 一种基于人工智能算法的强对流天气短时临近识别方法 |
CN113033957A (zh) * | 2021-02-26 | 2021-06-25 | 兰州中心气象台(兰州干旱生态环境监测预测中心) | 一种多模式降水预报及实时动态检验评估系统 |
CN113850234A (zh) * | 2021-11-10 | 2021-12-28 | 湖南省气象台 | 一种基于要素的强对流短时强降水的识别方法 |
CN114742179A (zh) * | 2022-06-13 | 2022-07-12 | 南京信息工程大学 | 基于ecmwf的格点预报偏差修正方法 |
CN116432702A (zh) * | 2023-06-09 | 2023-07-14 | 南京信息工程大学 | 一种用于ECMWF预报产品订正的深度学习NFC-Net网络模型 |
WO2023240087A1 (en) * | 2022-06-06 | 2023-12-14 | Ademco Inc. | Systems for application enhanced data labeling for ai training and methods thereof |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230237316A1 (en) * | 2022-01-21 | 2023-07-27 | Shenzhen Technology University | Forecast method and system of wind power probability density |
-
2023
- 2023-09-28 CN CN202311273848.7A patent/CN117434624B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107703564A (zh) * | 2017-10-13 | 2018-02-16 | 中国科学院深圳先进技术研究院 | 一种降雨预测方法、系统及电子设备 |
KR20190051621A (ko) * | 2017-11-07 | 2019-05-15 | 재단법인대구경북과학기술원 | 시맨틱 분할 맵을 이용한 영상 데이터 처리 장치 및 제어 방법 |
CN111796343A (zh) * | 2020-06-15 | 2020-10-20 | 兰州中心气象台(兰州干旱生态环境监测预测中心) | 一种基于人工智能算法的强对流天气短时临近识别方法 |
CN113033957A (zh) * | 2021-02-26 | 2021-06-25 | 兰州中心气象台(兰州干旱生态环境监测预测中心) | 一种多模式降水预报及实时动态检验评估系统 |
CN113850234A (zh) * | 2021-11-10 | 2021-12-28 | 湖南省气象台 | 一种基于要素的强对流短时强降水的识别方法 |
WO2023240087A1 (en) * | 2022-06-06 | 2023-12-14 | Ademco Inc. | Systems for application enhanced data labeling for ai training and methods thereof |
CN114742179A (zh) * | 2022-06-13 | 2022-07-12 | 南京信息工程大学 | 基于ecmwf的格点预报偏差修正方法 |
CN116432702A (zh) * | 2023-06-09 | 2023-07-14 | 南京信息工程大学 | 一种用于ECMWF预报产品订正的深度学习NFC-Net网络模型 |
Non-Patent Citations (9)
Title |
---|
Convective Clouds Extraction From Himawari-8 Satellite Images Based on Double-Stream Fully Convolutional Networks;Zhang X等;IEEE Geoscience and Remote Sensing Letters;20190719;553 - 557 * |
FCN-Attention: A deep learning UWB NLOS/LOS classification algorithm using fully convolution neural network with self-attention mechanism;Yu Pei 等;Geo-spatial Information Science;20230302;1-20 * |
Fully Convolutional Networks for Semantic Segmentation;Jonathan Long等;2015 IEEE conference on computer vision and pattern recognition;20151015;3431-3440 * |
The Application Research of FCN Algorithm in the Classification of Strong Convective Short-time Nowcasting Technology on the Northeastern Side of the Qinghai-Tibet Plateau—Gansu Province;Wubin Huang等;Preprints;20231227;1-17 * |
Zhang Xiaodongi等.Convective Clouds Extraction From Himawari-8 Satellite Images Based on Double-Stream Fully Convolutional Networks.IEEE Geoscience and Remote Sensing Letters.2019,(第5期),553-557. * |
基于全卷积网络的图像语义分割算法;李英杰;张惊雷;;计算机应用与软件;20200812;37(第08期);213-218 * |
基于深度卷积神经网络的强对流天气预报方法研究;周康辉;中国博士学位论文全文数据库 基础科学辑;20220205(第2期);A009-18 * |
微博数据位置信息反映台风灾情的有效性分析;邬群勇;裘钰娇;;测绘科学技术学报;20191231;36(第04期);406-411 * |
邬群勇 ; 裘钰娇 ; .微博数据位置信息反映台风灾情的有效性分析.测绘科学技术学报.2019,36(第04期),406-411. * |
Also Published As
Publication number | Publication date |
---|---|
CN117434624A (zh) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Feng et al. | Modeling urban growth with GIS based cellular automata and least squares SVM rules: a case study in Qingpu–Songjiang area of Shanghai, China | |
Chen et al. | Mapping global urban areas from 2000 to 2012 using time-series nighttime light data and MODIS products | |
CN111079999A (zh) | 一种基于cnn和svm的洪水灾害易发性预测方法 | |
CN110956412B (zh) | 基于实景模型的洪灾动态评估方法、装置、介质和设备 | |
CN110134907B (zh) | 一种降雨缺失数据填补方法、系统及电子设备 | |
Xu et al. | Extraction of urban built-up areas from nighttime lights using artificial neural network | |
Bera et al. | Mapping and monitoring of land use dynamics with their change hotspot in North 24-Parganas district, India: a geospatial-and statistical-based approach | |
Feng et al. | A cellular automata model based on nonlinear kernel principal component analysis for urban growth simulation | |
CN114139760B (zh) | 一种预测台风路径的方法、系统、存储介质及设备 | |
CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
CN111766641B (zh) | 一种基于深度神经网络的强对流天气识别方法 | |
CN105678047A (zh) | 融合经验模态分解降噪和复杂网络分析的风场表征方法 | |
Hu | Rainstorm flash flood risk assessment using genetic programming: a case study of risk zoning in Beijing | |
Han et al. | Seasonal effects of urban morphology on land surface temperature in a three-dimensional perspective: A case study in Hangzhou, China | |
CN107967454B (zh) | 顾及空间邻域关系的双路卷积神经网络遥感分类方法 | |
Khalil et al. | Time series analysis of land surface temperature and drivers of urban heat island effect based on remotely sensed data to develop a prediction model | |
CN115205481A (zh) | 一种基于图神经网络的频谱地图构建方法及系统 | |
Larraondo et al. | Automating weather forecasts based on convolutional networks | |
CN117556197B (zh) | 一种基于人工智能的台风涡旋初始化方法 | |
Hashemi | Forecasting El Niño and La Niña using spatially and temporally structured predictors and a convolutional neural network | |
CN114882373A (zh) | 基于深度神经网络的多特征融合沙尘暴预测方法 | |
Pegion et al. | Understanding predictability of daily southeast US precipitation using explainable machine learning | |
CN112836590B (zh) | 洪涝灾害监测方法、装置、电子设备及存储介质 | |
CN112509285B (zh) | 基于卷积神经网络cnn的全球台风报文收集方法及收集系统 | |
CN104700427A (zh) | 一种基于sar图像的道路损毁信息提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |