CN115267948A - 大洲级别的气象卫星云图预测方法 - Google Patents

Abstract

本申请公开了一种大洲级别的气象卫星云图预测方法，过去还不存在大洲级的气象卫星云图多天预报。本申请包括：获取气象卫星数年历史云图数据及数值模式预报场数据；将所述数据切小片，将地理经纬度网格矩阵信息编码进切片数据；改造视频ViT技术发展出的预测技术。自注意力机制可以建立长距离依赖关系，使模型做到大面积多天的预报。本技术无需超级计算机，只需数千元的显卡，几分钟即可完成预测。因此，本申请快速、精细、准确的预测结果，使得气象工作者直观的看到未来云图在各大洲上空的分布和运动趋势，便于直观的做出各地气象预报。

Description

大洲级别的气象卫星云图预测方法

技术领域

本申请涉及气象技术领域，具体涉及一种大洲级别的气象卫星云图预测方法。

背景技术

气象卫星上面安装的遥感仪器，接收来自“地球—大气系统”的各种辐射，并将所获取的资料转变为电信号，通过发射机传递到地面接收站，经计算机处理后，得到大气温度、湿度的垂直分布，大气中高层水汽分布，臭氧的分布与含量等参数，并且可以获取可见光云图、红外云图、以及水汽图像等资料。

从气象卫星获取的大气和地表信息，已广泛应用于天气预报、气候预测、环境和自然灾害监测、农业等多个国民经济领域。例如，在海洋、沙漠、高原等缺少气象观测台站的地区，从气象卫星上获取的气象卫星云图弥补了常规探测资料的不足，为国家经济发展和社会进步做出了贡献。

数值天气预报(numerical weather prediction)是指在大气的初值和边值条件下，通过大型计算机作数值计算，求解描写天气演变过程的流体力学和热力学的方程组，预测未来一定时段的大气运动状态和天气现象的方法；传统的数值预报模式具有很好地解释性，但是模式推演会耗费大量计算资源，并且预测结果粒度较粗，其中粒度是指时间、空间分辨率，一般来说只有气象卫星影像分辨率的十分之一甚至更粗。

发明内容

本申请实施例提供了一种气象卫星云图预测方法，所述方法包括：

获取气象卫星过去数年历史云图数据及同时段的未来数值模式预报场数据，叠加整理并切小片，将经纬度网格矩阵信息编码进切片数据，分批输入GPU用在深度学习上；使用改造过后的视频ViT技术，基于上述输入数据，预测未来1到7天的气象卫星云图；过去还没有对气象卫星云图的未来预测这一用途，我们定义了一项新的工作，并且给出了其可行的做法；

其中，所述的视频ViT(Vision Transformer)技术，是指将Transformer技术运用在计算机视觉领域的方法，Transformer主要利用自我注意机制提取内在特征，原用途是对相机拍摄的照片和视频进行主题分类的深度学习技术，我们首次将其用于气象卫星云图时间序列的回归预测经过深度学习训练之后的模型，可以源源不断的输入新获取的卫星云图和数值模式预报场数据，推理输出未来1到7天的气象卫星云图，供气象工作使用。

本申请一些实施例提供的技术方案带来的有益效果至少包括：

在本申请实施例中，本申请通过获取气象卫星数年历史云图数据及数值模式预报场数据；将数据切小片，将地理经纬度网格矩阵信息编码进切片数据；改造视频ViT技术发展出的预测技术。自注意力机制可以建立长距离依赖关系，使模型做到大面积多天的预报。本技术无需超级计算机，只需数千元的显卡，几分钟即可完成预测。因此，本申请快速、精细、准确的预测结果，使得气象工作者直观的看到未来云图在各大洲上空的分布和运动趋势，便于直观的做出各地气象预报。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为本申请实施例提供的一帧气象卫星历史云图；

图1b为本申请实施例提供的一种相关技术中的气象卫星云图预测模型的应用场景图；

图1c为本申请实施例提供的一种气象卫星云图预测方法的流程示意图；

图2a为本申请实施例提供的另一种气象卫星云图预测方法的流程示意图；

图2b为本申请实施例提供的一种气象卫星云图预测方法的应用场景图；

图2c为本申请实施例提供的一种气象卫星云图预测方法的中经度网格矩阵的示意图；

图3为本申请实施例提供的建立气象卫星云图预测模型的流程示意图；

图4为本申请实施例提供的气象卫星历史云图的切分过程示意图；

图5为本申请实施例提供的一种气象卫星云图预测方法的数据处理流程图。

具体实施方式

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

在传统的天气预报中经常需要用到温度、气压、湿度和风等气象要素，以表明一定地点和特定时刻天气状况的大气变量或现象。传统的模式预报的方法可以通过超级计算机进行气象要素的预测，公众可以通过免费发放的平台获得(例如，美国国家环境预报中心的全球预测系统(Global Forecasting System，GFS))，这种天气预报中图像的分辨率为0.25°(即在经线上，纬度每差1度，实地距离大约为111公里)，是一个比较粗粒度的数据。

气象卫星云图是以气象卫星之仪器拍摄大气中的云层分布，来寻找天气系统并验证地面天气图绘制的正确性。除此之外，气象卫星云图还可以用来观测海冰分布、确定海面温度等与中长期天气预报相关的海洋资料。

图1a示例性示出了一个气象卫星历史云图。如图1a所示，该气象卫星历史云图是根据风云二号气象卫星采集到的数据生成的2022年04月18日12:15的某区域的云图信息。图1b示例性示出了一个气象卫星云图的预测过程。可能地，可以将风云二号气象卫星采集到2022年04月18日12:15的某区域的气象卫星云图输入相关深度学习模型以输出未来时段，例如2022年04月18日13:15的气象卫星预测云图。然而在现阶段，相关的气象卫星云图预测模型得到的未来时段的气象卫星云图需要大量的计算集群运行很久的时间，每年需要百万级电费，巨大的成本使很多地方单位机构无法负担。

因此，需要寻求一种有效提高卫星预测云图精度并可以大幅减少生成卫星预测云图时间的方法，从而推动与气象卫星云图相关的产品的应用。

由此，参见图1c，本申请提供了一种大洲级别的气象卫星云图预测方法，过去还不存在大洲级的气象卫星云图多天预报。其具体可以包括：S101，获取气象卫星数年历史云图数据及数值模式预报场数据；S102，将数据切小片，将地理经纬度网格矩阵信息编码进切片数据；S103，改造视频ViT技术发展出的预测技术。由于，自注意力机制可以建立长距离依赖关系，使模型做到大面积多天的预报。因此，本申请无需超级计算机，只需数千元的显卡，几分钟即可完成预测。因此，本申请快速、精细、准确的预测结果，使得气象工作者直观的看到未来云图在各大洲上空的分布和运动趋势，便于直观的做出各地气象预报。

接下来结合图1a示出的气象卫星历史云图、图1b介绍的气象卫星云图的预测过程图、以及图1c示出的本申请实施例的气象卫星云图预测方法的流程示意图，来介绍本申请实施例提供的具体的气象卫星云图预测方法。

在一个实施例中，图2a所示，提供了一种气象卫星云图预测方法的流程示意图。如图2a所示，该气象卫星云图预测方法可以包括如下步骤：

S201，获取气象卫星过去数年历史云图数据及同时段的未来数值模式预报场数据，叠加整理并切小片，将经纬度网格矩阵信息编码进切片数据，分批输入GPU用在深度学习上。

其中，气象卫星过去数年历史云图数据表示过去预设时段内的气象卫星云图。例如，获取区域A过去的5年的气象卫星历史云图数据。

具体地，本申请实施例中气象卫星过去数年历史云图数据可以包括多个波段的历史云图数据。其中，每个波段的历史云图数据可以包含不同的大气数据。

具体地，本申请实施例中用于深度学习上的GPU可以采用气象卫星云图预测模型，该气象卫星云图预测模型的输入为过去3天的气象卫星云图、未来1到7天数值预报模式的物理量的网格矩阵、地理经纬度网格矩阵、地表高程网格矩阵，输出为未来1到7天的气象卫星云图。

其中的气象卫星云图，我们一般使用中国风云气象卫星和日本葵花气象卫星，云图面积为地球表面积的1/3，覆盖亚洲、西太平洋和澳洲；未来数值预报场的网格矩阵，其时间对应在气象卫星云图时间点之后的1～7天；我们一般使用中国气象局、欧洲气象中心、以及美国大气海洋署公开免费的全球数值预报数据；数值预报数据项具体包括温度、气压、湿度、风速。

例如，本申请实施例可以利用风云四号(FY－4)、葵花8(Himawari-8)等气象卫星采集各波段云图得到气象卫星历史云图数据，并对该气象卫星历史云图数据进行整理选取数据清晰的时间点作为模型输入的气象卫星历史云图数据。其中，FY－4卫星是第二代地球静止轨道(GEO)定量遥感气象卫星，采用三轴稳定控制方案，将接替自旋稳定的风云二号(FY－2)卫星，其连续、稳定运行有效大幅提升静止轨道气象卫星探测水平。Himawari-8气象卫星将观测通道由5个增加到16个以获取不同的大气信息，上述观测通道具体可以包括：3个可见光、3个近红外、以及10个红外通道。

S202，使用改造过后的视频ViT技术，基于上述输入数据，预测未来1到7天的气象卫星云图；过去还没有对气象卫星云图的未来预测这一用途，我们定义了一项新的工作，并且给出了其可行的做法。

其中，视频ViT(Vision Transformer)技术，是指将Transformer技术运用在计算机视觉领域的方法，Transformer主要利用自我注意机制提取内在特征，原用途是对相机拍摄的照片和视频进行主题分类的深度学习技术，我们首次将其用于气象卫星云图时间序列的回归预测经过深度学习训练之后的模型，可以源源不断的输入新获取的卫星云图和数值模式预报场数据，推理输出未来1到7天的气象卫星云图，供气象工作使用。

具体地，上述气象卫星云图预测模型可以基于多组预设时间点之前3天已知结果的目标区域的气象卫星历史云图和多组未来1到7天数值预报模式的物理量训练得到的。

进一步地，本申请实施例中输入气象卫星云图预测模型的数据具体是指：每组预设的过去时间点目标区域的气象卫星历史云图、数值预报模式的物理量的网格矩阵、地理经纬度网格矩阵和地表高程网格矩阵。其中，气象卫星历史云图包括：多帧目标区域的预设时间点之前3天的气象卫星历史云图；数值预报模式的物理量的网格矩阵包括：多帧目标区域的预设的过去时间点之后1-7天的数值预报模式的物理量的网格矩阵，数值预报模式的物理量的网格矩阵可以包括：气压、温度、湿度和风速。训练集中的输出数据是指：每组预设的过去时间点目标区域的气象卫星历史云图，其具体包括：多帧目标区域的预设的过去时间点之后1到7天的气象卫星历史云图。

其中，多帧目标区域的预设时间点之前3天的气象卫星历史云图逐帧间时间间隔为1小时至6小时，由于距离起报时间更近的时间点对之后的影响更有意义，所以距离起报时间越近时间间隔越密集，距离起报时间越远的时间间隔越稀疏，在预设的过去时间点有S帧；其中，每帧气象卫星云图含有K个波段；其中，S、K为正整数；多帧预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵逐帧间隔为4小时，在预设的过去时间点有P帧。

进一步地，本申请实施例中的数值预报模式的物理量的网格矩阵可以包括：气压、温度、湿度和风速。其中，风速有U、V两个分量，即多帧预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵有5*P帧。其中，P为正整数；输入帧数为(S*K+5*P+3)帧；多帧目标区域的预设的过去时间点之后1到7天的气象卫星历史云图逐帧间时间间隔为1小时，在预设的过去时间点之后1到7天有T帧；其中每帧气象卫星云图含有K个波段；其中，T、K为正整数；输出帧数为T*K帧。

例如，组成本申请实施例中气象卫星云图预测模型的训练集可以是获取的近3-5年的目标区域的气象卫星历史云图，每10天(预设时段)为一组。进一步地，将区域A的过去3天的气象卫星历史云图和区域A的未来连续1-7天数值预报模式的物理量的网格矩阵、地理经纬度网格矩阵、地表高程网格矩阵输入预先建立的气象卫星云图预测模型以输出区域A的未来1-7天的气象卫星预测云图。

可以理解的是，在实际中气象卫星传输的数据每隔10-20分钟更新一次，由于数据更新的时间密度过高，因此，在相关气象卫星云图预测方案中只取整点数据，也就是时间间隔为1小时的气象卫星云图。进一步地，可以理解的是，距离‘当前’更近的数据会对未来数据更有参考价值。因此，本申请实施例可以获取过去连续3天的静止气象卫星云图，其中，前2.75天每间隔6小时获取1帧气象卫星历史云图，后0.25天每间隔1小时获取1帧气象卫星历史云图，共17帧(2.75*24/6+0.25*24/1＝17)；从GFS中获取未来1到7天数值预报模式的物理量的网格矩阵、地理经纬度网格矩阵、地表高程网格矩阵，每间隔8小时获取1帧数值预报模式的物理量的网格矩阵、地理经纬度网格矩阵、地表高程网格矩阵，由于数值预报模式的物理量的网格矩阵中的风速存在经度方向上的风U和纬度方向上的风V共2个分量，因此，未来连续7天的预报风速的网格矩阵共42帧(7*24/8*2＝42)；从GFS中获取未来连续7天的预报温度的网格矩阵，每间隔8小时获取1帧温度的网格矩阵，共21帧(7*24/8＝21)；经纬度的网格矩阵共2帧(其中经度1帧、纬度1帧)；地形高度1帧，共计83帧作为气象卫星云图预测模型的输入数据，进一步地，气象卫星云图预测模型可以输出未来连续7天逐小时静止气象卫星云图共168帧(7*24＝168)。

因此，参见图2b，本申请实施例可以理解为：将获取到的过去连续3天的17帧卫星云图数据、2帧经纬度数据、1帧陆地高度数据、未来连续7天的42帧GFS风场数据、未来连续7天的21帧GFS温度数据，共计83帧图像数据输入深度学习模型(气象卫星云图预测模型)输出未来连续7天逐小时共168帧卫星云图数据(静止气象卫星云图)。

可以理解的是，数字图像数据可以用矩阵来表示。由于数字图像可以表示为矩阵的形式，所以在计算机数字图像处理程序中，通常用二维数组来存放图像数据。如图2c所示，以经度网格矩阵为例(左图)其中的一个小块(右图)所示，灰度图像是由一个个像素组成的，而这些像素组成了二维网格矩阵。

由此，本申请实施例通过获取气象卫星数年历史云图数据及数值模式预报场数据；将数据切小片，将地理经纬度网格矩阵信息编码进切片数据；改造视频ViT技术发展出的预测技术。自注意力机制可以建立长距离依赖关系，使模型做到大面积多天的预报。本技术无需超级计算机，只需数千元的显卡，几分钟即可完成预测。因此，本申请快速、精细、准确的预测结果，使得气象工作者直观的看到未来云图在各大洲上空的分布和运动趋势，便于直观的做出各地气象预报。

具体地，图3示例性示出了本申请实施例提供的预先建立的气象卫星云图预测模型，建立该气象卫星云图预测模型的过程可以包括以下步骤：

S301，搭建气象卫星云图初始预测模型。

S302，获取多组预设的过去时间点、预设时间点之前3天的气象卫星历史云图、预设时间点之后1到7天的气象卫星历史云图、以及多组预设时间点之后1到7天的数值预报模式的物理量的网格矩阵、整个区域的地理经纬度网格矩阵和地表高程网格矩阵。

S303，将目标区域的第N组预设的过去时间点之前3天的气象卫星历史云图、目标区域的第N组预设时间点之后1到7天的数值预报模式的物理量的网格矩阵、整个区域的地理经纬度网格矩阵和地表高程网格矩阵输入气象卫星云图初始模型，输出目标区域的第N组预设的过去时间点之后1到7天的气象卫星预测云图。其中，N为大于或等于1的整数。

S304，将目标区域的第N组预设的过去时间点之后1到7天的气象卫星预测云图与目标区域的第N组预设的过去时间点之后1到7天的气象卫星历史云图进行比对，得到目标区域的第N组预设时段对应的损失值，其中损失值得取值范围为0到正无穷的开区间。

S305，气象卫星云图预测模型通过损失值进行模型参数的梯度更新，通过不断的迭代优化使得模型的损失值逐渐变小，直到损失不再变小，得到可用的气象卫星云图预测模型。

可以理解的是，本申请实施例的输入数据在输入气象卫星云图模型之前，还包括：

基于预设的图片切分规则对每帧目标区域的气象卫星预设的过去时间点之前3天气象卫星历史云图、每帧目标区域的预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵、每帧目标区域的地理经纬度网格矩阵和地表高程网格矩阵进行切分，得到上述每帧目标区域的过去预设时间点之前3天的气象卫星云图、预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵、地理经纬度网格矩阵和地表高程网格矩阵的切片，上述所有切片均包含多个预设边长的正方形区域；在深度学习计算过程中，限于目前硬件条件，无法一次性计算整张气象卫星云图区域的数据，而切成小片则可以逐片计算。

具体地，将目标区域的第N组预设的过去时间点之前3天的气象卫星历史云图和目标区域的第N组预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵、目标区域的地理经纬度网格矩阵和地表高程网格矩阵输入气象卫星云图初始模型，输出目标区域的第N组预设的过去时间点之后1到7天的气象卫星预测云图，包括：将目标区域的第N组预设的过去时间点之前3天的多帧气象卫星历史云图切片、目标区域的预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵切片、目标区域的地理经纬度网格矩阵、地表高程网格矩阵切片输入气象卫星云图初始模型，输出所述目标区域的第N组预设的过去时间点之后1到7天的多帧气象卫星预测云图切片，而后，基于图片切分规则将目标区域的第N组预设的过去时间点之后1到7天的多帧气象卫星预测云图切片拼接为目标区域的第N组预设的过去时间点之后1到7天的多帧气象卫星预测云图。

例如，可以将切片后得到的区域A的多组气象卫星历史云图中每组10天内前3天的17帧图像、区域A的多组历史风速图每组10天内后7天的42帧图像、区域A的多组历史温度图每组10天内后7天的21帧图像、区域A的多组经纬度图中每组10天内后7天的2帧图像、以及区域A的多组陆地高度图每组10天内后7天的1帧图像输入气象卫星云图初始模型，输出区域A的多组气象卫星历史云图中每组10天内后7天逐小时静止的气象卫星预测云图，共168帧。

可以理解的是，本申请实施例可以通过对图像进行切片的方式，有效解决了输入到预测模型中的图像分辨率较高时，预测未来时段的气象卫星云图需要大量的计算时间以及图形处理器(Graphics Processing Unit，GPU)显存消耗等问题。

参见图4。其中，图4中的a图示出了一张静止气象卫星历史云图，按照图4中的b图所示的切分规则，对静止气象卫星历史云图的横向和纵向分别等距离切分3次，得到图4中的c图所示的16个小区域。

可以理解的是，由于a图为一张2748像素×2748像素的静止气象卫星历史云图，如果直接使用输入a图中的图像会占用大量的计算资源。因此，本申请实施例对其进行b图所示的切分。

可以理解的是，在对2748像素×2748像素的整个静止气象卫星历史云图进行切分得到每块768像素*768像素的小区域时，会不可避免的存在部分区域重叠。具体地，可以设每小块的非重叠区域为X，每小块的重叠区域为Y。以b图的左上角的小区域为例，由于每小块的边长为768像素，左上角的小区域存在1个非重叠区域和2个重叠区域，因此X+2Y＝768。由于b图的边长为2748像素，其中，b图中最上方一排的中包含4个非重叠区域X，其中，每个非重叠区域X所在的小区域存在2个重叠区域Y，4个非重叠区域之间又存在3个重叠区域Y，因此4X+5Y＝2748。由此可以确定，非重叠区域X＝552像素；重叠区域Y＝108像素。因此，本申请实施例可以以边长为768像素的正方形，步长为660像素在静止气象卫星云图像进行移动。具体地，本申请书实施例中的气象卫星云图初始模型包括：骨干网络和预测头。

其中，骨干网络采用了基于视觉transformer技术的swin transformer，这是一项开源的用于图片分类的计算机视觉技术，并不是我们原创，预测头为自研的用于预测任务的预测头，将上述技术巧妙地改造用于二维数据的时间序列预测，是我们的创新。

将目标区域的第N组预设的过去时间点之前3天的多帧气象卫星云图切片、目标区域的预设的过去时间点之后3到7天的数值预报模式的物理量的网格矩阵切片、目标区域的地理经纬度网格矩阵切片、以及目标区域的地表高程网格矩阵切片，使得预设的过去时间点之后1到7天数值预报物理量切片融合了整个区域的地理经纬度网格矩阵和地表高程网格矩阵的特征信息。

将上述特征信息输入气象卫星云图初始模型中的预测头，输出目标区域的第N组预设的过去时间点之后1到7天每帧气象卫星预测云图。其中，每帧气象卫星预测云图包含多个预设边长的方形区域。

具体地，本申请实施例中的骨干网络可以采用深度学习的Swin Transformer方法。具体地，transformer结构是谷歌google在2017年的《注意力就是你所需要的》(Attention Is All You Need)论文中提出，transformer结构最大特点是抛弃了传统的卷积神经网络(CNN)、循环神经网络(RNN)，其网络结构是由注意力Attention机制组成。本申请实施例采用的Swin Transformer方法是由微软亚洲研究院MSRA提出。Swin TransformerV1模型的骨干结构，相比现有技术中的视觉转换器(Vision Transformer，ViT)模型。

进一步地，本申请实施例采用的是Swin Transformer V2模型，即对SwinTransformer V1经过微调改良的模型。具体地，Swin Transformer方法做出了以下两点改进：其一、引入CNN中常用的层次化构建方式构建分层Transformer；其二、引入局部性(locality)思想，对无重合的窗口区域内进行自注意力计算。具体地，Swin TransformerV2模型采用后归一化(post normalization)技术和缩放余弦注意力(scaled cosineattention)技术，来提高大型视觉模型的稳定性，此外Swin Transformer V2模型还采用了对数间隔(log-spaced)连续位置偏差技术，其可以有效将低分辨率图像和窗口中预训练的模型迁移到更高分辨率对应模型。

具体地，Swin Transformer V2模型采用的后归一化技术是指将标准化(layernormalization，LN)层从每个残差单元的开始移动到后端，即在自注意力层(self-attention layer)和多层感知机模块(MLP block)后进行标准化，这种配置在网络层上产生了更温和的激活值。进一步地，Swin Transformer V2模型提出的缩放余弦注意力来取代以前的点积注意(dot product attention)，即将内积相似度替换为余弦相似度，因为余弦函数本身的取值范围本身就相当于是被归一化后的结果，这样就可以改善因为一些特征对内积过大，主导了注意力的情况。Swin Transformer V2模型采用的对数间隔连续位置偏差技术通过在对数间隔坐标输入上应用一个小型元网络，为任意坐标范围生成任意相对坐标的偏差值，即重新定义相对位置编码(log-spaced continuous position bias)，这样就可以自然地转换为具有任意不同窗口大小的微调任务。

可以理解的是，本申请实施例中的预测头是用于设置深度学习网络的目标，可以认为是对基于骨干网络提取到的各帧图像中的特征信息设置训练目标，例如，将各帧图像中的特征信息进行像素级预测。也就是说，Swin Transformer V2模型通常是用来做图像分类、目标检测以及语义分割等任务的。本申请实施例通过改变预测头将分类任务改变为预测任务，即使用骨干网络结构作为特征提取器，并改变任务头部模块即，使用骨干结构提取的特征信息做出像素级预测。

参见图5，在一些实施方案中，本申请实施例在对气象卫星历史云图进行切分之前要进行重采样操作，具体在基于预设的图片切分规则对每帧目标区域的气象卫星预设的过去时间点之前3天历史气象卫星云图、每帧目标区域的预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵、每帧所述目标区域的地理经纬度网格矩阵和地表高程网格矩阵进行切分之前，可以包括：

根据每帧所述目标区域的预设的过去时间点之前3天的气象卫星云图为基准将各帧目标区域预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵和地表高程网格矩阵对齐后，基于预设的采样频率进行采样处理，得到分辨率相同的多帧目标区域的预设的过去时间点之前3天的气象卫星历史云图、目标区域预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵、目标区域整个区域的地理经纬度网格矩阵、地表高程网格矩阵。

进一步地，由于本申请实施例中头预测输出的每帧气象卫星第一预测云图包含16个正方形小区域，即768像素×768像素的小块。因此，需要将这16个正方形小区域拼接成一帧整体图像，即2748像素×2748像素的图像，这样就得到了一帧完整的气象卫星预测云图。

进一步地，本申请实施例可以通过梯度更新的方式将目标区域的第N组预设时段对应的损失值反馈给骨干网络以进行后续处理。

例如，在目标区域的第M组预设时段对应的损失值为0.5，对气象卫星云图初始模型的模型参数，若M+1组预设时段对应的损失值为0.45，继续对骨干网络和/或预测头中的内部结构参数进行调节，直到气象卫星云图初始模型输出的第M+N组(N>1)预设时段对应的损失值不再变小。

可以理解的是，当目标区域的第M+N组预设时段对应的损失值不再变小，可以认为完成了对气象卫星云图初始模型的训练过程，得到了气象卫星云图预测模型。

由此，本申请实施例可以通过对图像进行切分的方式将输入的尺寸较大的图像切分为小区域，以避免大图像会占用很多的计算资源的问题。通过改进的Swin TransformerV2模型，提高大型视觉模型的稳定性和输出图像的分辨率。进一步地，本申请实施例还通过改变下游预测头任务的方式将Swin Transformer V2模型通常输出的分类任务改变为预测任务，以利用其提取图像中的特征信息，使本申请实施例中的气象卫星云图预测模型做出像素级预测，有效提高了预测模型的准确性和输出图像的清晰度。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述的实施例仅仅是本申请的优选实施例方式进行描述，并非对本申请的范围进行限定，在不脱离本申请的设计精神的前提下，本领域普通技术人员对本申请的技术方案作出的各种变形及改进，均应落入本申请的权利要求书确定的保护范围内。

Claims (6)

1.一种大洲级别的气象卫星云图预测方法，其特征在于：

获取气象卫星过去数年历史云图数据及同时段的未来数值模式预报场数据，叠加整理并切小片，将经纬度网格矩阵信息编码进切片数据，分批输入GPU用在深度学习上；使用改造过后的视频ViT技术，基于上述输入数据，预测未来1到7天的气象卫星云图；过去还没有对气象卫星云图的未来预测这一用途，我们定义了一项新的工作，并且给出了其可行的做法；

其中，所述的视频ViT(Vision Transformer)技术，是指将Transformer技术运用在计算机视觉领域的方法，Transformer主要利用自我注意机制提取内在特征，原用途是对相机拍摄的照片和视频进行主题分类的深度学习技术，我们首次将其用于气象卫星云图时间序列的回归预测经过深度学习训练之后的模型，可以源源不断的输入新获取的卫星云图和数值模式预报场数据，推理输出未来1到7天的气象卫星云图，供气象工作使用。

2.根据权利要求1所述的大洲级别的气象卫星云图预测方法，其特征在于，深度神经网络需要用权利要求1所述的输入输出进行学习，此过程称为训练，所述方法还包括：

搭建气象卫星云图初始预测模型、获取多组预设的过去时间点、预设时间点之前3天的气象卫星历史云图、预设时间点之后1到7天的气象卫星历史云图、以及多组所述预设时间点之后1到7天的数值预报模式的物理量的网格矩阵、整个区域的地理经纬度网格矩阵和地表高程网格矩阵；

将所述目标区域的第N组预设的过去时间点之前3天的气象卫星历史云图、所述目标区域的第N组预设时间点之后1到7天的数值预报模式的物理量的网格矩阵、整个区域的地理经纬度网格矩阵和地表高程网格矩阵输入所述气象卫星云图初始模型，输出所述目标区域的第N组预设的过去时间点之后1到7天的气象卫星预测云图；其中，N为大于或等于1的整数；

将所述目标区域的第N组预设的过去时间点之后1到7天的气象卫星预测云图与所述目标区域的第N组预设的过去时间点之后1到7天的气象卫星历史云图进行比对，得到所述目标区域的第N组预设时段对应的损失值，其中损失值得取值范围为0到正无穷的开区间；

所述气象卫星云图预测模型通过损失值进行模型参数的梯度更新，通过不断的迭代优化使得模型的损失值逐渐变小，直到损失不再变小，得到所述可用气象卫星云图预测模型。

3.根据权利要求2所述的大洲级别的气象卫星云图预测方法，其输入输出数据数量特征在于，输入：每组预设的过去时间点目标区域的气象卫星历史云图、数值预报模式的物理量的网格矩阵、地理经纬度网格矩阵和地表高程网格矩阵，其中所述气象卫星历史云图包括多帧所述目标区域的预设时间点之前3天的气象卫星历史云图；数值预报模式的物理量的网格矩阵包括多帧所述目标区域的预设的过去时间点之后1-7天的数值预报模式的物理量的网格矩阵，数值预报模式的物理量的网格矩阵包括：气压、温度、湿度和风速；输出：每组预设的过去时间点目标区域的气象卫星历史云图包括多帧所述目标区域的预设的过去时间点之后1到7天的气象卫星历史云图；

所述多帧目标区域的预设时间点之前3天的气象卫星历史云图逐帧间时间间隔为1小时至6小时，由于距离起报时间更近的时间点对之后的影响更有意义，所以距离起报时间越近时间间隔越密集，距离起报时间越远的时间间隔越稀疏，在所述预设的过去时间点有S帧；其中所述每帧气象卫星云图含有K个波段；其中，S、K为正整数；所述多帧预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵逐帧间隔为4小时，在所述预设的过去时间点有P帧；所述数值预报模式的物理量的网格矩阵包括：气压、温度、湿度和风速，而风速有U、V两个分量，即所述多帧预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵有5*P帧；其中，P为正整数；输入帧数为S*K+5*P+3帧；

所述多帧目标区域的预设的过去时间点之后1到7天的气象卫星历史云图逐帧间时间间隔为1小时，在所述预设的过去时间点之后1到7天有T帧；其中所述每帧气象卫星云图含有K个波段；其中，T、K为正整数；输出帧数为T*K帧。

4.根据权利要求2所述的大洲级别的气象卫星云图预测方法，其特征在于，所述输入数据在输入所述气象卫星云图模型之前，所述方法还包括：

基于预设的图片切分规则对每帧所述目标区域的气象卫星预设的过去时间点之前3天气象卫星历史云图、每帧所述目标区域的预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵、每帧所述目标区域的地理经纬度网格矩阵和地表高程网格矩阵

进行切分，得到上述每帧所述目标区域的过去预设时间点之前3天的气象卫星云图、预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵、地理经纬度网格矩阵和地表高程网格矩阵的切片，上述所有切片均包含多个预设边长的正方形区域；在深度学习计算过程中，限于目前硬件条件，无法一次性计算整张气象卫星云图区域的数据，而切成小片则可以逐片计算；

将所述目标区域的第N组预设的过去时间点之前3天的气象卫星历史云图和所述目标区域的第N组预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵、所述目标区域的地理经纬度网格矩阵和地表高程网格矩阵输入所述气象卫星云图初始模型，输出所述目标区域的第N组预设的过去时间点之后1到7天的气象卫星预测云图，包括：将所述目标区域的第N组预设的过去时间点之前3天的多帧气象卫星历史云图切片、所述目标区域的预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵切片、所述目标区域的地理经纬度网格矩阵、地表高程网格矩阵切片输入所述气象卫星云图初始模型，输出所述目标区域的第N组预设的过去时间点之后1到7天的多帧气象卫星预测云图切片，而后，基于图片切分规则将所述目标区域的第N组预设的过去时间点之后1到7天的多帧气象卫星预测云图切片拼接为目标区域的第N组预设的过去时间点之后1到7天的多帧气象卫星预测云图。

5.根据权利要求4所述的气象卫星云图预测方法，其特征在于，所述气象卫星云图初始模型包括：骨干网络和预测头；

其中骨干网络采用了基于视觉transformer技术的swin transformer，这是一项开源的用于图片分类的计算机视觉技术，并不是我们原创，预测头为自研的用于预测任务的预测头，将上述技术巧妙地改造用于二维数据的时间序列预测，是我们的创新；

将所述目标区域的第N组预设的过去时间点之前3天的多帧气象卫星云图切片、所述目标区域的预设的过去时间点之后3到7天的数值预报模式的物理量的网格矩阵切片、所述目标区域的地理经纬度网格矩阵切片、以及所述目标区域的地表高程网格矩阵切片，使得预设的过去时间点之后1到7天数值预报物理量切片融合了整个区域的地理经纬度网格矩阵和地表高程网格矩阵的特征信息；

将上述特征信息输入所述气象卫星云图初始模型中的预测头，输出所述目标区域的第N组预设的过去时间点之后1到7天每帧气象卫星预测云图；其中，所述每帧气象卫星预测云图包含所述多个预设边长的方形区域。

6.根据权利要求4所述的气象卫星云图预测方法，其特征在于，切分之前要进行重采样操作；

所述基于预设的图片切分规则对每帧所述目标区域的气象卫星预设的过去时间点之前3天历史气象卫星云图、每帧所述目标区域的预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵、每帧所述目标区域的地理经纬度网格矩阵和地表高程网格矩阵进行切分之前，所述方法还包括：

根据所述每帧所述目标区域的预设的过去时间点之前3天的气象卫星云图为基准将各帧所述目标区域预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵和地表高程网格矩阵对齐后，基于预设的采样频率进行采样处理，得到分辨率相同的多帧所述目标区域的预设的过去时间点之前3天的气象卫星历史云图、所述目标区域预设的过去时间点之后1到7天的数值预报模式的物理量的网格矩阵、所述目标区域整个区域的地理经纬度网格矩阵、地表高程网格矩阵。

Images