CN115661277A - 基于变分自编码的台风云图外推方法、系统、设备和介质 - Google Patents
基于变分自编码的台风云图外推方法、系统、设备和介质 Download PDFInfo
- Publication number
- CN115661277A CN115661277A CN202211298906.7A CN202211298906A CN115661277A CN 115661277 A CN115661277 A CN 115661277A CN 202211298906 A CN202211298906 A CN 202211298906A CN 115661277 A CN115661277 A CN 115661277A
- Authority
- CN
- China
- Prior art keywords
- typhoon
- cloud picture
- extrapolation
- cloud
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013213 extrapolation Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012952 Resampling Methods 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 31
- 230000000875 corresponding effect Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 230000009467 reduction Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000002265 prevention Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241001669696 Butis Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了基于变分自编码的台风云图外推方法、系统、设备及介质,所述方法包括:获取卫星云图数据和历史台风最佳路径数据,并根据卫星云图数据和历史台风最佳路径数据,构建台风云图外推数据集;根据台风云图外推数据集,构建得到台风云图外推预测模型;所述台风云图外推预测模型包括依次连接的变分自编码器、解码器和三维点云重采样器;获取待预测台风的初始卫星云图数据,并将初始卫星云图数据输入台风云图外推预测模型,得到对应的云图预测结果。本发明从“数据驱动”的角度出发,挖掘出卫星云图的多种潜在特征,不仅操作过程方便简单,而且能实现更高效、更精准地台风云图外推预测。
Description
技术领域
本发明涉及台风预测技术领域,特别是涉及一种基于变分自编码的台风云图外推方法、系统、计算机设备和存储介质。
背景技术
台风在是热带海洋或亚热带洋上生成的具有气旋性漩涡结构的天气过程,其破坏力非常大,是造成沿海地区人员伤亡和财产损失的直接因素,对台风路径的有效预测是开展防台减灾工作,到达防灾减灾目的的重要基础。
目前,台风路径预报的主要是采用数值天气预报模式,即动力预报。该技术基于数学和物理方法,通过动力学和热力学的微分方程组定量描述天气流体的演变过程,并借助于超级计算机模拟和预测大气运动状态,预测各天气形势和各气象要素,从而实现台风路径预报。随着对台风中尺度系统的不断认识、对台风精细化结构演变特征及其机理的持续研究、以及对台风综合探测手段和计算机性能的进一步完善等,台风数值预报技术也取得较快的发展,台风路径预报误差也有所下降。
然而,现有基于数值天气预报技术在实际应用中仍存在以下不足:1)在硬件上依赖于高性能计算机,且消耗较长的计算时间;2)预报结果容易受到初始场的质量的影响;3)单个数值预报模式仍具有不确定性及系统误差;4)对于台风的微物理过程、各参数化方案的研究仍有一定的局限性,且根据最新的台风路径预报精度评定结果可知,基于数值天气预报技术的台风路径预报精度仍有一定的提升空间。
发明内容
本发明的目的是提供一种基于变分自编码的台风云图外推方法,通过采用“变分自编码”对原始卫星云图进行特征学习输出具有隐含特征分布,在解码结构中对隐含特征分布进行重采样和解码重构实现对原始云图的重构得到重构特征后,再采用“三维点云重采样”对重构后的云图进行点云采样得到台风云图云图预测结果,有效解决现有数值天气预报技术应用缺陷,从“数据驱动”的角度出发,挖掘和研究卫星云图的多种潜在特征,实现更简单、高效且精准地台风路径预报。
为了实现上述目的,有必要针对上述技术问题,提供了一种基于变分自编码的台风云图外推方法、系统、计算机设备和存储介质。
第一方面,本发明实施例提供了一种基于变分自编码的台风云图外推方法,所述方法包括以下步骤:
获取卫星云图数据和历史台风最佳路径数据,并根据所述卫星云图数据和历史台风最佳路径数据,构建台风云图外推数据集;
根据所述台风云图外推数据集,构建得到台风云图外推预测模型;所述台风云图外推预测模型包括依次连接的变分自编码器、解码器和三维点云重采样器;
获取待预测台风的初始卫星云图数据,并将所述初始卫星云图数据输入所述台风云图外推预测模型进行云图外推预测,得到对应的云图预测结果。
进一步地,所述根据所述卫星云图数据和历史台风最佳路径数据,构建台风云图外推数据集的步骤包括:
将所述卫星云图数据添加对应的经纬度信息,得到预处理卫星云图数据;
根据所述历史台风最佳路径数据,得到对应的台风记录;所述台风记录包括台风最大风速、台风中心经纬度、台风最低中心气压、台风登陆位置、台风转向和台风移速;
将所述台风记录与所述预处理卫星云图数据按照预设规则进行匹配,得到各个台风记录的匹配卫星云图信息;所述预设规则为经纬度信息和时间信息一一对应;所述匹配卫星云图信息包括经纬度信息和时间信息;
根据各个台风记录和对应的匹配卫星云图信息,构建得到所述台风云图外推数据集。
进一步地,所述根据各个台风记录和对应的匹配卫星云图信息,构建得到所述台风云图外推数据集的步骤包括:
根据各个台风记录时间,确定各个台风的发生时间;
分别以各个台风的发生时间为起点,按照预设时间间隔倒序选取预设数目个卫星云图样本;
将所述卫星云图样本按照预设时序比例划分,得到训练样本和对应的样本标签;
根据各个训练样本和对应的样本标签,构建得到所述台风云图外推数据集。
进一步地,所述变分自编码器包括依次连接的第一二维卷积层、第二二维卷积层、第三二维卷积层、第一全连接层和分布隐变量拟合层;所述第一二维卷积层、第二二维卷积层、第三二维卷积层的卷积核大小均为3*3,卷积步长均为2*2;第一二维卷积层的输入通道数和输出通道数分别为6和12;所述第二二维卷积层的输入通道数和输出通道数分别为12和18;所述第三二维卷积层的输入通道数和输出通道数分别为18和24;
所述解码器包括依次连接的特征重采样层、第一维度转换层、第一二维反卷积层、第二二维反卷积层和第三二维反卷积层;所述第一二维反卷积层、第二二维反卷积层、第三二维反卷积层的卷积核大小均为2*2,卷积步长均为2*2;第一二维反卷积层的输入通道数和输出通道数分别为24和18;所述第二二维反卷积层的输入通道数和输出通道数分别为18和12;所述第三二维反卷积层的输入通道数和输出通道数分别为12和6。
进一步地,所述三维点云重采样器包括依次连接的坐标参数矩阵优化模块、坐标重采样模块和双线性差值模块;所述坐标参数矩阵优化模块包括线性展平层、第二全连接层、第三全连接层、第四全连接层和第二维度转换层;所述第二全连接层的输入通道数和输出通道数分别为6291456和25084;所述第三全连接层的输入通道数和输出通道数分别为25084和158;所述第四全连接层的输入通道数和输出通道数分别为158和16。
进一步地,所述将所述初始卫星云图数据输入所述台风云图外推预测模型进行云图外推预测,得到对应的云图预测结果的步骤包括:
将所述初始卫星云图数据输入变分自编码器进行特征提取,得到隐含特征分布;
将所述隐含特征分布输入所述解码器依次进行特征重采样、维度转换和解码处理,得到重构特征;
将所述重构特征输入所述三维点云重采样器进行点云重采样,得到所述云图预测结果。
进一步地,所述将所述重构特征输入所述三维点云重采样器进行点云重采样,得到所述云图预测结果的步骤包括:
将所述重构特征输入至所述坐标参数矩阵优化模块依次进行线性展平、全连接线性变换和维度变化处理,得到坐标参数矩阵;所述坐标参数矩阵包括平移特征参数、旋转特征参数和缩放特征参数;
将所述重构特征输入所述坐标重采样模块,根据所述坐标参数矩阵进行坐标重采样,得到重采样特征;
将所述重采样特征输入所述双线性差值模块,将所述重构特征按照预设插值公式插值到所述重采样特征,得到所述云图预测结果;所述预设插值公式表示为:
第二方面,本发明实施例提供了一种基于变分自编码的台风云图外推系统,所述系统包括:
数据集构建模块,用于获取卫星云图数据和历史台风最佳路径数据,并根据所述卫星云图数据和历史台风最佳路径数据,构建台风云图外推数据集;
模型构建模块,用于根据所述台风云图外推数据集,构建得到台风云图外推预测模型;所述台风云图外推预测模型包括依次连接的变分自编码器、解码器和三维点云重采样器;
外推预测模块,用于获取待预测台风的初始卫星云图数据,并将所述初始卫星云图数据输入所述台风云图外推预测模型进行云图外推预测,得到对应的云图预测结果。
第三方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
上述本申请提供了一种基于变分自编码的台风云图外推方法、系统、计算机设备及存储介质,通过所述方法,实现了根据获取的卫星云图数据和历史台风最佳路径数据构建台风云图外推数据集后,根据台风云图外推数据集构建得到包括包括依次连接的变分自编码器、解码器和三维点云重采样器的台风云图外推预测模型,并将获取的待预测台风的初始卫星云图数据输入台风云图外推预测模型进行云图外推预测,得到对应的云图预测结果的技术方案。与现有技术相比,该基于变分自编码的台风云图外推方法,从“数据驱动”的角度出发,挖掘出卫星云图的多种潜在特征,不仅操作过程方便简单,而且能实现更高效、更精准地台风云图外推预测,进而为防台减灾工作的开展提高可靠依据,助力防灾减灾目的的达成。
附图说明
图1是本发明实施例中基于变分自编码的台风云图外推方法的应用场景示意图;
图2是本发明实施例中基于变分自编码的台风云图外推方法的流程示意图;
图3是本发明实施例中变分自编码器的训练过程示意图;
图4中本发明实施例中三维点云重采样器的训练过程示意图;
图5中a、b、c、d和e分别表示是本发明实施例中三维点云重采样器输入的原始点云图、重采样平移效果示意图、重采样旋转示意图、重采样放大示意图和重采样缩小示意图;
图6是本发明实施例中基于变分自编码的台风云图外推系统的结构示意图;
图7是本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案和有益效果更加清楚明白,下面结合附图及实施例,对本发明作进一步详细说明,显然,以下所描述的实施例是本发明实施例的一部分,仅用于说明本发明,但不用来限制本发明的范围。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供的基于变分自编码的台风云图外推方法可应用于图1所示的并发处理多个终端应用数据的服务器上。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器可根据本发明基于历史台风数据和卫星云图数据构建基于变分自编码的台风云图外推预测模型对待预测台风的卫星云图进行外推预测,得到精准有效的云图预测结果,并将对应的云图预测结果用于服务器后续的研究使用或发送至终端,供终端的使用者查看分析;下述实施例将对本发明的基于变分自编码的台风云图外推方法进行详细说明。
在一个实施例中,如图2所示,提供了一种基于变分自编码的台风云图外推方法,包括以下步骤:
S11、获取卫星云图数据和历史台风最佳路径数据,并根据所述卫星云图数据和历史台风最佳路径数据,构建台风云图外推数据集;其中,卫星云图数据可以为根据风云卫星云图数据服务网下载得到的风云2号卫星的二级图像产品大海区云图数据文件,该系列卫星主要的有效载荷为红外和可见光自旋扫描辐射器VISSR,卫星云图数据文件的后缀名为AWX(即Advanced Weather-satellite eXchange format);历史台风最佳路径数据可根据中国气象局上海台风研究所发布的台风最佳路径数据获取得到;需要说明的是,卫星云图数据和历史台风最佳路径数据的获取方式不排除可采用上述示例以外的其他可靠方式获取,此处不作赘述;
上述获取得到的原始卫星云图数据和历史台风最佳路径数据并不能直接用于对台风云图外推预测模型的训练构建,本实施例优选地先对卫星云图数据和历史台风最佳路径数据进行相应的预处理后,构建得到有效的台风云图外推数据集;具体地,所述根据所述卫星云图数据和历史台风最佳路径数据,构建台风云图外推数据集的步骤包括:
将所述卫星云图数据添加对应的经纬度信息,得到预处理卫星云图数据;其中,预处理卫星云图数据的获取过程可以理解为,先采用Python语言中相应的struct函数库读取获取的原始卫星云图数据文件,得到大小为1024×1024的Numpy数组,再将该数组数据添加对应的经纬度范围,得到范围为100.57oE~169.41oE,10.38oS~50.31oN的预处理卫星云图数据;
根据所述历史台风最佳路径数据,得到对应的台风记录;所述台风记录包括台风最大风速、台风中心经纬度、台风最低中心气压、台风登陆位置、台风转向和台风移速;其中,历史台风最佳路径数据的年份数量可根据实际应用需求选取,对应得到所需年份的台风记录,比如,获取的是2010至2021共12年的台风最佳路径数据,而每年平均约有17个台风影响或登陆我国,且每个完整的台风在近海和远海分别为逐1小时和逐3小时的记录信息,因此最终得到约1.6万条台风记录(样本);
将所述台风记录与所述预处理卫星云图数据按照预设规则进行匹配,得到各个台风记录的匹配卫星云图信息;所述预设规则为经纬度信息和时间信息一一对应;所述匹配卫星云图信息包括经纬度信息和时间信息,可理解为将找出与各个台风记录的经纬度和时间后,与预处理卫星云图数据的经纬度、时间信息进行一一对应匹配得到的每个台风记录样本所对应的卫星云图的位置信息和时间信息;
根据各个台风记录和对应的匹配卫星云图信息,构建得到所述台风云图外推数据集;其中,台风云图外推数据集可理解为既包括台风记录又包括对应匹配卫星云图信息的数据集,考虑到对台风云图进行短临外推预测的需求,本实施例优选地,对台风记录和对应的匹配卫星云图信息进行筛选,以构建可靠有效的训练集;具体地,所述根据各个台风记录和对应的匹配卫星云图信息,构建得到所述台风云图外推数据集的步骤包括:
根据各个台风记录时间,确定各个台风的发生时间;其中,发生时间可理解为台风记录信息最早时间,比如某条台风记录信息的时间为当天16:00时,则确定16:00为该台风的发生时间;
分别以各个台风的发生时间为起点,按照预设时间间隔倒序选取预设数目个卫星云图样本;其中,预设数目可根据实际各个台风记录的数量以及外推时限的需求进行确定,本实施例基于短临外推预测的考虑,优选地只选取每个台风发生前12个小时的云图(每小时选1张),比如,某条台风的发生时间为16:00时,则以16:00为起点倒推选取当天04:00时至15:00时共12张云图;
将所述卫星云图样本按照预设时序比例划分,得到训练样本和对应的样本标签;其中,预设时序比例可理解为按照云图的时间先后顺序将预设数目的台风记录分为训练样本和对应样本标签的比例,原则上可根据实际应用需求设定,比如,台风发生时间为16:00时的记录,总共获取当天04:00时至15:00的12张云图,则将前6张图(04:00时至09:00)作为模型训练的输入样本(即自变量),后6张(10:00时至15:00)作为训练的样本标签(即因变量);基于此,可确定模型输入样本数据的维度为(B×6×1024×1024),对应的样本标签的维度同样为(B×6×1024×1024),其中,B代表批处理样本量(B的大小一般为2的次方),6代表通道数(即6个小时);需要说明的是,若预设时序比例可根据实际需求调整,也可以不设为样本和标签的等比例方式;
根据各个训练样本和对应的样本标签,构建得到所述台风云图外推数据集。
S12、根据所述台风云图外推数据集,构建得到台风云图外推预测模型;所述台风云图外推预测模型包括依次连接的变分自编码器、解码器和三维点云重采样器;
具体地,所述变分自编码器包括依次连接的第一二维卷积层、第二二维卷积层、第三二维卷积层、第一全连接层和分布隐变量拟合层;其中,第一二维卷积层、第二二维卷积层和第三二维卷积层均采用Pytorch框架下的Conv2d函数进行卷积计算,卷积核大小均为3*3,卷积步长均为2*2,且第一二维卷积层的输入通道数和输出通道数分别为6和12,使用0值填补策略以保证卷积输出特征的尺寸减小至原来的一半,输出的特征维度为(B×12×512×512);所述第二二维卷积层的输入通道数和输出通道数分别为12和18,输出的特征维度为(B×18×256×256);所述第三二维卷积层的输入通道数和输出通道数分别为18和24,输出的特征维度为(B×24×128×128);需要说明的是,上述的二维卷积计算实质是对特征进行下采样,起到降低特征的维度的效果,对应二维卷积计算输出特征的维度计算公式如下所示:
其中,Sout代表输出特征的大小(即二维数组的行数或列数),Sin代表输出数据的大小(即矩阵的行数或列数),Sk代表卷积核的尺寸大小(行或列),P代表填补策略的行数或列数,S代表卷积步长。
此外,第一全连接层用于对前述三个二维卷积层处理输出的特征进行线性展平(即24×128×128=393216),得到维度为(B×393216)的特征,将特征记为X=(X1,X2,...,XK),其中,K=393216,并假设该特征服从K维正态分布Z,则将其称为X的后验分布p(Z|X)。
分布隐变量拟合层用于将第一全连接层输出的K维特征映射到一组神经元上(共K个),记神经元的输出为(μ1,μ2,...,μK),即理解为对K维正态分布的均值向量的学习、拟合、训练过程,记该训练过程为Fμ;同理,将第一全连接层输出的K维特征映射到另一组神经元上(共K个),记神经元的输出为即理解为对K维正态分布的方差向量的学习、拟合过程,记该训练过程为Fσ;上述提到的均值向量和方差向量,称为模型的“隐变量”,通过构建上述两个神经网络对Z进行拟合得到,有:
经过上述分布隐变量拟合层处理得到隐含特征分布,至此就完成了图3所示的变分自编码过程,将原始的卫星云图进行特征提取、下采样以及映射到“隐变量”上降低特征维度,实现特征压缩的效果。
所述解码器包括依次连接的特征重采样层、第一维度转换层、第一二维反卷积层、第二二维反卷积层和第三二维反卷积层;其中,特征重采样层可理解为对自变分编码器输出的隐含特征分布(均值向量和方差向量对应着一个正态分布)进行采样,得到维度为(B×393216)的采样特征,即Z=(Z1,Z2,...,ZK);第一维度转换层可理解为将得到的采样特征的维度进行转换,得到可采用二维反卷积计算解码的维度为(B×24×128×128)的特征;第一二维反卷积层、第二二维反卷积层和第三二维反卷积层均采用Pytorch框架下的ConvTranspose2d函数进行反卷积计算,卷积核大小均为2*2,卷积步长均为2*2;第一二维反卷积层的输入通道数和输出通道数分别为24和18,使用0填补策略,输出特征维度为(B×18×256×256);所述第二二维反卷积层的输入通道数和输出通道数分别为18和12,输出特征维度为(B×12×512×512);所述第三二维反卷积层的输入通道数和输出通道数分别为12和6,输出特征的维度是(B×6×1024×1024);上述的二维反卷积计算实质是对特征进行上采样,可对特征的维度进行升维,实现采用更少的特征“生成”更多的特征,记该“生成”过程为如图3所示,经过上述解码器处理的过程可理解为对原始云图进行重建的过程,虽然重建得到的与原始云图有相同的维度,但是经过高度的特征压缩而得到的。
其中,表示“重建损失”;表示“KL散度”,用来衡量学习拟合的分布与高斯正态分布之间的相似性;其中“重建损失”是希望模型在编码过程中受到的噪声影响较小,而“KL散度”则希望给模型编码过程增加一定的噪声,以保证模型更强的鲁棒性和生成能力;
如图3所示,模型的一次训练迭代过程具体为:通过计算一次迭代损失将其反向传播,更新卷积层模块、均值学习模块Fμ、方差学习模块Fσ、采样过程、解码过程、生成过程等各阶段的参数,完成一次训练。即,模型训练的实质是“重建损失”和“KL散度”的不断对抗过程,这使得模型具有较强的鲁棒性和生成能力,也有较好的特征重构能力。
式(1)中,KL散度描述了两个隐变量(均值向量和方差向量)的学习过程带来的损失,可以分解为:
如图4所示,所述三维点云重采样器包括依次连接的坐标参数矩阵优化模块、坐标重采样模块和双线性差值模块;所述坐标参数矩阵优化模块包括线性展平层、第二全连接层、第三全连接层、第四全连接层和第二维度转换层;所述第二全连接层的输入通道数和输出通道数分别为6291456和25084;所述第三全连接层的输入通道数和输出通道数分别为25084和158;所述第四全连接层的输入通道数和输出通道数分别为158和16:
台风云图外推预测模型的输入数据和标签都可以看作是三维点云,三维点云的尺寸为(B×6×1024×1024),即在即z,x,y轴的大小分别为6,1024和1024;基于本实施例中的坐标参数矩阵优化模块进行处理的过程为:先通过线性展平层将重构特征进行线性展平,得到特征尺寸为(B×6291456);然后,采用第二全连接层进行线性变换操作得到的特征尺寸为(B×25084);再进一步采用第三全连接层进行线性变换操作,得到的特征尺寸为(B×25084);再采用第四全连接层进行线性变换操作,得到的特征尺寸为(B×16)后,将该特征通过第二维度转换层进行维度变换(将一维向量转换为二维矩阵),其输出记为Aθ,称该矩阵为“坐标参数矩阵”,其尺寸为(B×4×4);
坐标参数矩阵优化模块可理解为基于解码器得到的重构特征,通过模型的迭代训练求解最优坐标参数矩阵Aθ(由θ11,θ12,...,θ44共16个参数组成的4×4维矩阵)的过程;
假设重构特征为图5a所示的原始三维点云,其第i个像元对应的三维坐标为对应的标签三维点云Xlabel的第i个像元对应的三维坐标为Gi=(xi,yi,zi),且存在某一“坐标采样器Γθ”使成立,使得的坐标接近于Xlabel的坐标,则有:
式(5)-(7)中,分别表示三维坐标分别沿x,y,z轴进行旋转对应的参数矩阵,cosθ和sinθ为旋转角度θ的余弦值和正弦值,此操作使得模型在x,y,z方向上的感知域得到旋转,方便模型描述台风云系的在不同时刻的“旋转”状态,对应效果图如图5c所示。
式(8)中,θ11,θ22,θ33(一般取整数)表示三维坐标沿x,y,z轴分别缩放θ11,θ22,θ33倍,此操作使得模型在x,y,z方向上的感知域得到缩放,有利于模型描述不同大小的台风云系信息,即台风个头的大小,效果图如图5d和5e所示。
坐标重采样模块可理解为将坐标参数矩阵Aθ与做矩阵相乘,得到新的坐标的处理过程;双线性差值模块可理解为将三维点云中的每个像元值,采用双线性插值方法插值到通过坐标重采样模块得到新的坐标中,最终得到三维点云(云图预测结果)的处理过程;
需要说明的是,坐标重采样模块的插值计算公式优选为:
其中,Unml代表原始点云在x,y,z方向下标为n,m,l的像元值,xi,yi,zi是其对应的坐标;是点云重采样后的第i个像元值;H,W,L分别为三个坐标的尺寸,本实施例中,H,W,L的取值分别为1024,1024,6;
此外,坐标重采样模块采用MSE均方误差损失函数计算点云重采样结果与训练样本标签的误差,如式(9)所示:
具体地,坐标重采样模块可以理解在一定的坐标下,将三维点云中的每个像元值进行重采样,使之更接近于目标点云,而重采样后的点云的尺寸保持不变,即(B×6×1024×1024);该坐标重采样模块的训练过程如图4所示:采用MSE均方误差损失函数计算插值后的三维点云的误差(相较于标签Xlabel),并通过误差反向传播,运用梯度下降法更新全连接层的参数,进而更新Aθ,继续进行坐标重采样、双线性插值操作,从而完成一次点云重采样的训练迭代;本实施例点云重采样的目的在于,使得模型能更全面的描述台风云系的移动情况、描述台风云系的在不同时刻的“旋转”状态、描述不同大小的台风云系大小信息(即台风‘个头’的大小),有利于对台风云图做得更合理的外推预测。
S13、获取待预测台风的初始卫星云图数据,并将所述初始卫星云图数据输入所述台风云图外推预测模型进行云图外推预测,得到对应的云图预测结果;其中,待预测台风的初始卫星云图数据可理解为提取当前时刻至前6小时的卫星云图,对应通过台风云图外推预测模型得到的云图预测结果为当前时刻之后的6小时的台风卫星云图;具体地,所述将所述初始卫星云图数据输入所述台风云图外推预测模型进行云图外推预测,得到对应的云图预测结果的步骤包括:
将所述初始卫星云图数据输入变分自编码器进行特征提取,得到隐含特征分布;
将所述隐含特征分布输入所述解码器依次进行特征重采样、维度转换和解码处理,得到重构特征;
将所述重构特征输入所述三维点云重采样器进行点云重采样,得到所述云图预测结果;
所述将所述重构特征输入所述三维点云重采样器进行点云重采样,得到所述云图预测结果的步骤包括:
将所述重构特征输入至所述坐标参数矩阵优化模块依次进行线性展平、全连接线性变换和维度变化处理,得到坐标参数矩阵;所述坐标参数矩阵包括平移特征参数、旋转特征参数和缩放特征参数;
将所述重构特征输入所述坐标重采样模块,根据所述坐标参数矩阵进行坐标重采样,得到重采样特征;
将所述重采样特征输入所述双线性差值模块,将所述重构特征按照预设插值公式插值到所述重采样特征,得到所述云图预测结果。
需要说明的是,上述采用台风云图外推预测模型对待预测台风的初始卫星云图数据进行云图外推预测得到云图预测结果的具体过程可参见前述台风云图外推预测模型构建过程的详细描述,此处不再赘述。
本申请实施例提供了一种根据获取的卫星云图数据和历史台风最佳路径数据构建台风云图外推数据集后,根据台风云图外推数据集构建得到包括包括依次连接的变分自编码器、解码器和三维点云重采样器的台风云图外推预测模型,并将获取的待预测台风的初始卫星云图数据输入台风云图外推预测模型进行云图外推预测,得到对应的云图预测结果的技术方案,不仅通过采用变分自编码技术对原始特征映射到一个分布函数上而非一个特定的向量上,再根据对应的分布函数进行重采样,以及对采样的特征还原和重建,实现高度的特征压缩和提取效果的同时,有效过滤冗余信息为台风路径预测提供更准确的预报因子,而且通过采用三维点云重采样技术,从数学形式上使得模型能更立体地挖掘台风运动的三维时空特征的同时,便于了解台风的移动信息、台风云系的旋转信息、台风云系的分布等信息,进而为台风路径预报提供可靠参考,还通过采用有较好移值性的计算机视觉深度学习模型,实现快速、高效、便捷地的台风云图外推预测,节省计算成本且提高预测效率。即,本发明从“数据驱动”的角度出发,挖掘出卫星云图的多种潜在特征,不仅操作过程方便简单,而且能实现更高效、更精准地台风云图外推预测,进而为防台减灾工作的开展提高可靠依据,助力防灾减灾目的的达成。
在一个实施例中,如图6所示,提供了一种基于变分自编码的台风云图外推系统,所述系统包括:
数据集构建模块1,用于获取卫星云图数据和历史台风最佳路径数据,并根据所述卫星云图数据和历史台风最佳路径数据,构建台风云图外推数据集;
模型构建模块2,用于根据所述台风云图外推数据集,构建得到台风云图外推预测模型;所述台风云图外推预测模型包括依次连接的变分自编码器、解码器和三维点云重采样器;
外推预测模块3,用于获取待预测台风的初始卫星云图数据,并将所述初始卫星云图数据输入所述台风云图外推预测模型进行云图外推预测,得到对应的云图预测结果。
关于基于变分自编码的台风云图外推系统的具体限定可以参见上文中对于基于变分自编码的台风云图外推方法的限定,在此不再赘述。上述基于变分自编码的台风云图外推系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图7示出一个实施例中计算机设备的内部结构图,该计算机设备具体可以是终端或服务器。如图7所示,该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于变分自编码的台风云图外推方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法的步骤。
综上,本发明实施例提供的一种基于变分自编码的台风云图外推方法、系统、计算机设备及存储介质,其基于变分自编码的台风云图外推方法实现了根据获取的卫星云图数据和历史台风最佳路径数据构建台风云图外推数据集后,根据台风云图外推数据集构建得到包括包括依次连接的变分自编码器、解码器和三维点云重采样器的台风云图外推预测模型,并将获取的待预测台风的初始卫星云图数据输入台风云图外推预测模型进行云图外推预测,得到对应的云图预测结果的技术方案,该方法采用变分自编码技术实现高度的特征压缩和提取效果的同时,有效过滤冗余信息为台风路径预测提供更准确的预报因子,而且通过采用三维点云重采样技术,从数学形式上使得模型能更立体地挖掘台风运动的三维时空特征的同时,便于了解台风的移动信息、台风云系的旋转信息、台风云系的分布等信息,进而为台风路径预报提供可靠参考,还通过采用有较好移值性的计算机视觉深度学习模型,实现快速、高效、便捷地的台风云图外推预测,有效节省计算成本且提高预测效率,即,从“数据驱动”的角度出发,挖掘出卫星云图的多种潜在特征,不仅操作过程方便简单,而且能实现更高效、更精准地台风云图外推预测,进而为防台减灾工作的开展提高可靠依据,助力防灾减灾目的的达成。
本说明书中的各个实施例均采用递进的方式描述,各个实施例直接相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。需要说明的是,上述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和替换,这些改进和替换也应视为本申请的保护范围。因此,本申请专利的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于变分自编码的台风云图外推方法,其特征在于,所述方法包括以下步骤:
获取卫星云图数据和历史台风最佳路径数据,并根据所述卫星云图数据和历史台风最佳路径数据,构建台风云图外推数据集;
根据所述台风云图外推数据集,构建得到台风云图外推预测模型;所述台风云图外推预测模型包括依次连接的变分自编码器、解码器和三维点云重采样器;
获取待预测台风的初始卫星云图数据,并将所述初始卫星云图数据输入所述台风云图外推预测模型进行云图外推预测,得到对应的云图预测结果。
2.如权利要求1所述的基于变分自编码的台风云图外推方法,其特征在于,所述根据所述卫星云图数据和历史台风最佳路径数据,构建台风云图外推数据集的步骤包括:
将所述卫星云图数据添加对应的经纬度信息,得到预处理卫星云图数据;
根据所述历史台风最佳路径数据,得到对应的台风记录;所述台风记录包括台风最大风速、台风中心经纬度、台风最低中心气压、台风登陆位置、台风转向和台风移速;
将所述台风记录与所述预处理卫星云图数据按照预设规则进行匹配,得到各个台风记录的匹配卫星云图信息;所述预设规则为经纬度信息和时间信息一一对应;所述匹配卫星云图信息包括经纬度信息和时间信息;
根据各个台风记录和对应的匹配卫星云图信息,构建得到所述台风云图外推数据集。
3.如权利要求2所述的基于变分自编码的台风云图外推方法,其特征在于,所述根据各个台风记录和对应的匹配卫星云图信息,构建得到所述台风云图外推数据集的步骤包括:
根据各个台风记录时间,确定各个台风的发生时间;
分别以各个台风的发生时间为起点,按照预设时间间隔倒序选取预设数目个卫星云图样本;
将所述卫星云图样本按照预设时序比例划分,得到训练样本和对应的样本标签;
根据各个训练样本和对应的样本标签,构建得到所述台风云图外推数据集。
4.如权利要求1所述的基于变分自编码的台风云图外推方法,其特征在于,所述变分自编码器包括依次连接的第一二维卷积层、第二二维卷积层、第三二维卷积层、第一全连接层和分布隐变量拟合层;所述第一二维卷积层、第二二维卷积层、第三二维卷积层的卷积核大小均为3*3,卷积步长均为2*2;第一二维卷积层的输入通道数和输出通道数分别为6和12;所述第二二维卷积层的输入通道数和输出通道数分别为12和18;所述第三二维卷积层的输入通道数和输出通道数分别为18和24;
所述解码器包括依次连接的特征重采样层、第一维度转换层、第一二维反卷积层、第二二维反卷积层和第三二维反卷积层;所述第一二维反卷积层、第二二维反卷积层、第三二维反卷积层的卷积核大小均为2*2,卷积步长均为2*2;第一二维反卷积层的输入通道数和输出通道数分别为24和18;所述第二二维反卷积层的输入通道数和输出通道数分别为18和12;所述第三二维反卷积层的输入通道数和输出通道数分别为12和6。
5.如权利要求4所述的基于变分自编码的台风云图外推方法,其特征在于,所述三维点云重采样器包括依次连接的坐标参数矩阵优化模块、坐标重采样模块和双线性差值模块;所述坐标参数矩阵优化模块包括线性展平层、第二全连接层、第三全连接层、第四全连接层和第二维度转换层;所述第二全连接层的输入通道数和输出通道数分别为6291456和25084;所述第三全连接层的输入通道数和输出通道数分别为25084和158;所述第四全连接层的输入通道数和输出通道数分别为158和16。
6.如权利要求5所述的基于变分自编码的台风云图外推方法,其特征在于,所述将所述初始卫星云图数据输入所述台风云图外推预测模型进行云图外推预测,得到对应的云图预测结果的步骤包括:
将所述初始卫星云图数据输入变分自编码器进行特征提取,得到隐含特征分布;
将所述隐含特征分布输入所述解码器依次进行特征重采样、维度转换和解码处理,得到重构特征;
将所述重构特征输入所述三维点云重采样器进行点云重采样,得到所述云图预测结果。
7.如权利要求6所述的基于变分自编码的台风云图外推方法,其特征在于,所述将所述重构特征输入所述三维点云重采样器进行点云重采样,得到所述云图预测结果的步骤包括:
将所述重构特征输入至所述坐标参数矩阵优化模块依次进行线性展平、全连接线性变换和维度变化处理,得到坐标参数矩阵;所述坐标参数矩阵包括平移特征参数、旋转特征参数和缩放特征参数;
将所述重构特征输入所述坐标重采样模块,根据所述坐标参数矩阵进行坐标重采样,得到重采样特征;
将所述重采样特征输入所述双线性差值模块,将所述重构特征按照预设插值公式插值到所述重采样特征,得到所述云图预测结果;所述预设插值公式表示为:
8.一种基于变分自编码的台风云图外推系统,其特征在于,所述系统包括:
数据集构建模块,用于获取卫星云图数据和历史台风最佳路径数据,并根据所述卫星云图数据和历史台风最佳路径数据,构建台风云图外推数据集;
模型构建模块,用于根据所述台风云图外推数据集,构建得到台风云图外推预测模型;所述台风云图外推预测模型包括依次连接的变分自编码器、解码器和三维点云重采样器;
外推预测模块,用于获取待预测台风的初始卫星云图数据,并将所述初始卫星云图数据输入所述台风云图外推预测模型进行云图外推预测,得到对应的云图预测结果。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211298906.7A CN115661277B (zh) | 2022-10-20 | 2022-10-20 | 基于变分自编码的台风云图外推方法、系统、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211298906.7A CN115661277B (zh) | 2022-10-20 | 2022-10-20 | 基于变分自编码的台风云图外推方法、系统、设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115661277A true CN115661277A (zh) | 2023-01-31 |
CN115661277B CN115661277B (zh) | 2023-06-02 |
Family
ID=84989343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211298906.7A Active CN115661277B (zh) | 2022-10-20 | 2022-10-20 | 基于变分自编码的台风云图外推方法、系统、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115661277B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111353217A (zh) * | 2020-02-19 | 2020-06-30 | 中山大学 | 台风路径预测的方法、设备、计算机设备和存储介质 |
CN112668615A (zh) * | 2020-12-15 | 2021-04-16 | 中国人民解放军93213部队 | 一种基于深度跨尺度外推融合的卫星云图预测方法 |
CN112802063A (zh) * | 2021-02-03 | 2021-05-14 | 阳光电源股份有限公司 | 卫星云图的预测方法、装置以及计算机可读存储介质 |
CN113593007A (zh) * | 2021-07-07 | 2021-11-02 | 华中科技大学 | 一种基于变分自编码的单视图三维点云重建方法及系统 |
CN114022408A (zh) * | 2021-09-22 | 2022-02-08 | 中国空间技术研究院 | 基于多尺度卷积神经网络的遥感图像云检测方法 |
CN114049545A (zh) * | 2021-11-05 | 2022-02-15 | 中山大学 | 一种基于点云体素的台风定强方法、系统、设备及介质 |
CN114139760A (zh) * | 2021-09-29 | 2022-03-04 | 苏州浪潮智能科技有限公司 | 一种预测台风路径的方法、系统、存储介质及设备 |
CN114363633A (zh) * | 2021-12-30 | 2022-04-15 | 中山大学 | 基于全自注意力网络的深度点云压缩编码方法 |
CN114882373A (zh) * | 2022-03-29 | 2022-08-09 | 内蒙古工业大学 | 基于深度神经网络的多特征融合沙尘暴预测方法 |
-
2022
- 2022-10-20 CN CN202211298906.7A patent/CN115661277B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111353217A (zh) * | 2020-02-19 | 2020-06-30 | 中山大学 | 台风路径预测的方法、设备、计算机设备和存储介质 |
CN112668615A (zh) * | 2020-12-15 | 2021-04-16 | 中国人民解放军93213部队 | 一种基于深度跨尺度外推融合的卫星云图预测方法 |
CN112802063A (zh) * | 2021-02-03 | 2021-05-14 | 阳光电源股份有限公司 | 卫星云图的预测方法、装置以及计算机可读存储介质 |
CN113593007A (zh) * | 2021-07-07 | 2021-11-02 | 华中科技大学 | 一种基于变分自编码的单视图三维点云重建方法及系统 |
CN114022408A (zh) * | 2021-09-22 | 2022-02-08 | 中国空间技术研究院 | 基于多尺度卷积神经网络的遥感图像云检测方法 |
CN114139760A (zh) * | 2021-09-29 | 2022-03-04 | 苏州浪潮智能科技有限公司 | 一种预测台风路径的方法、系统、存储介质及设备 |
CN114049545A (zh) * | 2021-11-05 | 2022-02-15 | 中山大学 | 一种基于点云体素的台风定强方法、系统、设备及介质 |
CN114363633A (zh) * | 2021-12-30 | 2022-04-15 | 中山大学 | 基于全自注意力网络的深度点云压缩编码方法 |
CN114882373A (zh) * | 2022-03-29 | 2022-08-09 | 内蒙古工业大学 | 基于深度神经网络的多特征融合沙尘暴预测方法 |
Non-Patent Citations (1)
Title |
---|
王枭轩等: ""遥感影像重采样方法实现与应用研究"", 《软件》, vol. 40, no. 7 * |
Also Published As
Publication number | Publication date |
---|---|
CN115661277B (zh) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Grönquist et al. | Deep learning for post-processing ensemble weather forecasts | |
Castro et al. | Stconvs2s: Spatiotemporal convolutional sequence to sequence network for weather forecasting | |
CN113706686B (zh) | 一种三维点云重建结果补全方法及相关组件 | |
Shi et al. | Gnn-surrogate: A hierarchical and adaptive graph neural network for parameter space exploration of unstructured-mesh ocean simulations | |
Okwuashi et al. | Tide modelling using support vector machine regression | |
CN114460555B (zh) | 一种雷达回波外推方法、装置及存储介质 | |
Zhang et al. | A multi-degradation aided method for unsupervised remote sensing image super resolution with convolution neural networks | |
Besombes et al. | Producing realistic climate data with generative adversarial networks | |
CN116306318A (zh) | 基于深度学习的三维海洋温盐场预报方法、系统及设备 | |
CN115983370A (zh) | 散乱数据插值模型训练方法、插值方法及装置 | |
Rice et al. | Analyzing Koopman approaches to physics-informed machine learning for long-term sea-surface temperature forecasting | |
CN115660041A (zh) | 海浪高度预测及模型训练方法、电子设备及存储介质 | |
Ramos et al. | Approximate Bayesian neural Doppler imaging | |
CN115099318A (zh) | 一种风速时空预测网络的训练方法、应用方法及电子设备 | |
Jing et al. | Missing wind speed data reconstruction with improved context encoder network | |
Yu et al. | Terrain-guided flatten memory network for deep spatial wind downscaling | |
CN117788296A (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
Doherty et al. | QuadConv: Quadrature-based convolutions with applications to non-uniform PDE data compression | |
Gonzalez | DL4DS—Deep learning for empirical downscaling | |
CN115661277B (zh) | 基于变分自编码的台风云图外推方法、系统、设备和介质 | |
CN115222947A (zh) | 基于全局自注意力变换网络的岩石节理分割方法和装置 | |
Bosma et al. | Estimating solar and wind power production using computer vision deep learning techniques on weather maps | |
Li et al. | ASTMEN: an adaptive spatiotemporal and multi-element fusion network for ocean surface currents forecasting | |
Di et al. | Data-driven mapping with prediction neural network for the future wide-swath satellite altimetry | |
Yang et al. | High-resolution reconstruction of sparse data from dense low-resolution spatio-temporal data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |