CN116720156A - 基于图神经网络多模态气象数据融合的气象要素预报方法 - Google Patents
基于图神经网络多模态气象数据融合的气象要素预报方法 Download PDFInfo
- Publication number
- CN116720156A CN116720156A CN202310751074.8A CN202310751074A CN116720156A CN 116720156 A CN116720156 A CN 116720156A CN 202310751074 A CN202310751074 A CN 202310751074A CN 116720156 A CN116720156 A CN 116720156A
- Authority
- CN
- China
- Prior art keywords
- graph
- mode
- weather
- data
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 54
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 45
- 238000013277 forecasting method Methods 0.000 title claims abstract description 17
- 230000003068 static effect Effects 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 36
- 230000007246 mechanism Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 241000213006 Angelica dahurica Species 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000007547 defect Effects 0.000 abstract description 4
- 230000000295 complement effect Effects 0.000 abstract description 3
- 238000005065 mining Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 8
- 238000005096 rolling process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 241000208818 Helianthus Species 0.000 description 2
- 235000003222 Helianthus annuus Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Environmental & Geological Engineering (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于图神经网络多模态气象数据融合的气象要素预报方法，属于数值天气预报技术领域。本发明利用多模态气象数据(静止气象卫星数据和地面气象站观测数据)的互补优势(自上而下的遥感观测+自下而上的地面观测)完成气象预报任务，弥补单一来源数据的不足；通过构建卫星‑观测站多模态数据融合框架进行多模态特征融合，并提出基于多图融合的图卷积神经网络框架，从多角度挖掘站点地理位置之间的关系、不同气象要素之间的内在联系，构建多种静态图和动态图，并通过自适应学习融合时序多图特征，实现全天候、高精度的地面观测站气象要素预报。
Description
技术领域
本发明涉及数值天气预报技术领域，尤其涉及一种基于图神经网络多模态气象数据融合的地面观测站气象要素预报方法。
背景技术
气象预报是指对指定空间范围内未来时间的气象特征变化趋势做出的估计和预测，包括对多种气象要素的预报，可视为复杂的多变量时空序列预测问题。在过去的几十年里，数值天气预报(Numerical Weather Prediction,NWP)是一种国际气象预报领域广泛使用的方法。NWP根据大气实际情况，在一定初值和边值条件下，通过将大气状态量化进行数值计算，求解天气演变过程的流体力学和热力学方程组，对未来一段时间内的大气运动状态和天气现象进行预测，通常使用超级计算机或分布式计算集群来完成计算。
NWP是一种定量的客观的预报，但仍存在许多未解决的问题，例如网格化过程参数化问题，初始场的不确定性，数值模式描述大气运动物理过程的有限性，非线性方程的数值解的不准确性，对计算机资源和能力要求高等等。
近年来，气象研究人员将数据驱动方法(Data-driven Approach)引入气象预报任务，取得了相当大的突破和成功。数据驱动的方法利用多年累积的历史气象观测数据作为输入，学习输入输出之间的映射关系。
CN115271062A公开了一种基于深度卷积神经网络模型的海雾能见度预报方法与系统。通过将一天等分为预设个时段得到预测时段，在每个预测时段分别建立预设数量的深度卷积神经网络模型，并通过样本数据集训练深度卷积神经网络模型，以获取各预测时段下各预报时效对应的海雾能见度预报模型，其在每一天的各个预测时段中构建各预报时效对应的海雾能见度预报模型，以在实际进行预测时，可根据当前时间所对应的预测时段，以及所需要的预报时效选择对应的海雾能见度预报模型进行预测，其有效的提高了模型预测的精准度，解决了目前常规的预报产品其准确性较低，不能很好的满足港口的船舶调度与泊位作业的气象保障服务需求的问题。然而，该方法从海雾能见度预报出发，采用的模型是较为基础的深度卷积神经网络，对于单点的预测有一定效果，对于多观测站点整体的时空预报，以及除能见度以外的其余气象要素预报，将无法完成。
近些年来，随着深度学习技术的飞速发展，图神经网络(Graph Neural Network，GNN)使用神经网络来学习图结构数据，提取和发掘图结构数据中的特征和模式，通过对非欧氏空间的数据进行建模，捕获数据的内部依赖关系，其处理非结构化数据的出色能力在交通流预测的应用中得到充分展现，而关于其在气象预报领域的应用的研究还相对较少。
CN112232543A公开了一种基于图卷积网络的多站点预测方法，基于图卷积网络进行改进，利用图卷积处理非欧数据的优势，提出了在空间和时间维度的特征提取工作，之后引入注意力机制来提升模型效果，在多站点大气能见度预测上相较于其他模型有一定的提升。然而，该方法仅使用大气能见度数据，数据层次单一，使用单一来源的气象数据，很难获得精确的气象预报。例如仅使用地面气象站观测数据，有地理位置分布不均匀、传感器性能差异大、观测数据缺失、异常等情况，其观测环境容易受到周围障碍物、建筑物、人为干扰等因素的影响，导致气象预报的精度和范围受到限制。此外，该方法使用了图卷积网络对多站点进行预测，采用的较为基础的图卷积网络架构，没有从图结构角度进行深入挖掘，在时空预报中存在图结构单一的缺陷。
在极易受到多种因素干扰的气象预报任务中，单个模态数据通常不能包含产生精确气象预报结果所需的全部有效信息。CN113919231A公开了基于时空图神经网络的PM2.5浓度时空变化预测方法及系统，以全国约1500个大气监测站点观测数据为训练集，结合气象、高程等多种数据源，使用基于时空图神经网络，构建一个统一的预测框架，可以同时预测大区域内的PM2.5浓度变化，并且提高预测精度。该方法虽然使用了多种来源的气象数据，但在构建样本时，仅仅采用直接拼接的方法构造特征矩阵，将不同模态的特征进行串联融合，这样会导致数据的冗余、依赖和高维性，忽略了模态特有的统计属性和模态间的交互关系，泛化能力和具体任务适应性有待提高。
因此，为弥补地面气象站观测数据层次单一问题，以及现有图神经网络技术在时空预报中存在的图结构单一、多图融合方式存在缺陷的问题，有必要提出一种应用于地面观测站气象要素预报的多模态气象数据融合方法。
发明内容
本发明的目的是提出一种基于图神经网络多模态气象数据融合的气象要素预报方法，利用多模态气象数据(静止气象卫星数据和地面气象站观测数据)的互补优势(自上而下的遥感观测+自下而上的地面观测)完成气象预报任务，弥补单一来源数据的不足；通过构建卫星-观测站多模态数据融合框架进行多模态特征融合，并提出基于多图融合的图卷积神经网络框架，从多角度挖掘站点地理位置之间的关系、不同气象要素之间的内在联系，构建多种静态图和动态图，并通过自适应学习融合时序多图特征，实现全天候、高精度的地面观测站气象要素预报。
为了实现上述目的，本发明提供如下技术方案：
本发明提出一种基于图神经网络多模态气象数据融合的气象要素预报方法，包括静止气象卫星数据的预处理、地面气象站观测数据的预处理、卫星图像特征提取、卫星-观测站多模态数据融合、图结构构建、多图融合的图卷积神经网络构建的步骤；其中：
卫星-观测站多模态数据融合的步骤包括：
S11、将地面观测数据和卫星图像特征的序列分别输入一维时间卷积层，并加入位置编码，分别得到地面观测数据和卫星图像数据的低级别位置感知特征；
S12、针对两种模态的数据，使用跨模态Transformer多头注意力机制进行模态交互，使一种模态能够从另一种模态接收信息；
S13、每个模态通过各自跨模态Transformer多头注意机制的外部信息不断更新自己的序列，再通过Transformer自注意力层，将两个模态支路的自注意力层输出进行通道维度的拼接，得到卫星-观测站多模态融合特征；
多图融合的图卷积神经网络构建的步骤包括：
S21、使用可学习权重来描述图结构对每个地面观测站的重要性，得到的融合后的图结构；
S22、将卫星-观测站多模态融合特征时空序列和融合后的图结构分别作为多图卷积神经网络的输入，来预测指定气象要素未来时间的时空序列；
所述的多图卷积神经网络采用堆叠空间卷积-时间卷积块所述，空间卷积-时间卷积块使用残差连接方式，在空间维度使用图卷积，在时间维度使用多分支卷积层，多分支卷积层中不同分支的卷积层具有不同的感受野，用于提取不同尺度的信息，然后通过合并操作以及卷积层融合不同尺度的信息。
进一步地，步骤S11中，地面观测数据的低级别位置感知特征表示为：
卫星图像数据的低级别位置感知特征表示为：
其中，X为输入序列，Conv1D代表一维时间卷积层，PE代表位置编码。
进一步地，步骤S12使用跨模态Transformer多头注意力机制进行模态交互时，一种模态β向另一种模态α的单头跨模态注意力机制的过程为：将模态α与其权重矩阵通过矩阵乘法得到Qα，将模态β分别与其权重矩阵/>和/>通过矩阵相乘得到Kβ和Vβ，跨模态注意力机制的输出为：
其中，dk为特征通道数，为Kβ的转置。
进一步地，步骤S13中，每个跨模态Transformer多头注意机制都包含D层跨模态多头注意力模块，每一层跨模态多头注意力模块的前馈计算如下：
其中，分别表示模态α、β低级别位置感知特征，/>代表在第i层的跨模态多头注意力模块，LN代表层归一化，fθ是由θ参数化的前馈层，/>表示第i层模块跨模态多头注意力的计算结果，/>表示第i层模块的最终输出。
进一步地，图结构构建的步骤包括：
图结构G表示为G＝(V，E，A)，其中V、E、A分别代表地面观测站的位置集合、站点之间相连接的边的集合和邻接矩阵；构建的图结构包括距离图GD、模式相似性图GP和动态图GK；
基于距离构建的图结构GD＝(V，E，AD)使用高斯核计算的基于地面观测站位置间的球面距离，并通过设置阈值进行过滤后构建，AD的元素定义如下：
其中，dij表示地面观测站vi和vj之间的球面距离，ε和用于控制AD的稀疏性和分布；
基于皮尔逊相关系数构建模式相似性图GP＝(V，E，AP)，AP的元素定义如下：
其中，f是地面观测站数据中特定的气象要素或提取的卫星图像特征，是地面观测站vi的长度为P的时间序列/> 是vi在时间步p的f值；
构造动态图GK＝(V，E，AK)对输入数据的非线性时空相关性进行建模，地面观测站vi在t时刻的输入时间序列Xt，i＝{xt-w+1，i，…，xt-1，i，…，xt，i}∈RW×D，其中W是序列长度，D是特征总维数，将Xt，i展平为向量Zi∈RWD，AK的元素定义如下：
Di＝tanh(λZiW1)
Dj＝tanh(λZjW2)
AK，ij＝ReLU(tanh(λ(Di·Dj-Dj·Di)))
其中，W1和W2是线性层，λ是用于控制激活函数的饱和性的超参数，Di和Dj分别表示计算后的隐藏特征。
进一步地，步骤S21的具体过程为：
使用可学习权重Ws∈RN×N来描述图结构s对每个地面观测站的重要性，其中N表示地面观测站数目，s是S＝{GD，GP，GK}中某个图结构，GD为距离图，GP为模式相似性图，GK为动态图，多图融合的策略如下：
其中⊙是矩阵对应元素相乘操作，As为对应图结构的邻接矩阵；
最终得到的融合后的图结构为：
Gfused＝(V，E，Afused)
其中，其中V、E、Afused分别代表地面观测站的位置集合、站点之间相连接的边的集合和多图融合的邻接矩阵。
进一步地，步骤S22的具体过程为：
在t时刻，时间长度为W′的多模态融合特征时空序列{X′(t-W′+1)，...，X′(t)}和融合后的图结构Gfused分别作为多图卷积神经网络的输入，目标是学习一个函数P，预测指定气象要素F未来W″时间的时空序列即：
气象要素f在t时刻的图结构上的信息表示为N是是地面观测站的数目，通过核函数gθ过滤图结构G上的信息，即分别对gθ和x进行谱域傅里叶变换，将变换后的结果相乘，进行傅里叶反变换得到图卷积的输出，表示为：
gg*Gx＝gg(L)x＝gg(UAUT)x＝Ugθ(Λ)UTx
图的傅立叶基U∈RN×N是归一化拉普拉斯矩阵 的特征向量矩阵，IN是单位矩阵，D是度矩阵，Λ是L的特征值的对角矩阵，gθ(Λ)是对角矩阵。
进一步地，采用切比雪夫多项式处理特征值分解过程，表示为：
其中，是在缩放的拉普拉斯矩阵/>处得到的k阶切比雪夫多项式，λmax是归一化拉普拉斯矩阵L的最大特征值，K是图卷积的核大小，决定了从中心节点开始的卷积的最大半径。
与现有技术相比，本发明的有益效果为：
1、本发明采用数据驱动方法，提出一种基于图神经网络多模态气象数据融合的气象要素预报方法，采用静止气象卫星数据和地面气象站观测数据作为输入，分别代表自上而下的遥感观测和自下而上的地面观测两大层次，提取图像语义特征、气象站传感器观测特征后，使用基于Transformer的注意力机制的卫星-观测站多模态数据融合框架，充分利用多模态信息交互提取融合特征，进行多模态特征融合，这是一种端到端模型，注重模态之间的相互影响，得到更好的多模态数据表征，更加充分利用气象数据，解决了地面气象站观测数据层次单一问题，同时，能够大幅提升预测结果的精度，提高预测模型的鲁棒性。
2、本发明针对现有图神经网络技术在时空预报中存在的图结构单一、多图融合方式存在缺陷的问题，构建基于多图融合的图卷积神经网络框架，通过多角度挖掘站点地理位置之间的关系、不同气象要素之间的内在联系，分别构建多种静态图和动态图的图结构关系，并通过自适应学习多种图之间的关系，进一步融合时序多图特征，利用图卷积神经网络框架来建模空间信息与拓扑关系，实现全天候、高精度的地面观测站气象要素预报。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于图神经网络的多模态气象数据融合的地面观测站预报方法流程图。
图2为本发明提供的卫星-观测站多模态数据融合框架图。
图3为本发明提供的多图融合的图卷积神经网络框架图。
具体实施方式
为了更好地理解本技术方案，下面结合附图对本发明的方法做详细的说明。
本发明提出一种基于图神经网络多模态气象数据融合的气象要素预报方法，流程如图1所示，包括静止气象卫星数据的预处理、地面气象站观测数据的预处理、卫星图像特征提取、卫星-观测站多模态数据融合、图结构构建、多图融合的图卷积神经网络构建的步骤。下面对各个步骤进行详细说明。
1、本发明所使用的数据来源介绍
1)静止气象卫星数据
静止气象卫星在地球赤道上空约35800公里，与地球自转同步运行，相对地球静止，可以对地球近三分之一的区域(约1亿平方千米)连续进行气象观测。卫星携带有各种气象遥感仪器，能够接收和测量地球及其大气层的可见光、红外与微波辐射，并将它们转换成电信号实时传送到地面，电信号可被复原绘制成各种云层、地表和洋面图片，再经进一步的处理和计算，即可得出各种气象资料。本发明将使用的卫星数据来源于装载先进向日葵成像仪AHI的日本新一代地球静止气象卫星—葵花8/9号。
2)地面气象站观测数据
地面气象站是天气、气候及气候变化观测网的主要组成部分，它能及时、可靠地收集和分析各种气象资料。CMA(中国气象局)提供了2000余个国家级地面气象站的逐小时观测资料，记录温度、湿度、气压、降水等气象要素观测值。
2、气象数据预处理
1)静止气象卫星数据的预处理
为保证日间、夜间观测数据的连续性，选择葵花8/9号气象卫星的红外通道(第7-16通道)进行处理。通过查找日本气象厅提供的数据校准表，将卫星原始观测数据转化为具有实际意义的物理变量数据。使用数字图像处理中的常用方法，将物理变量数据进行归一化处理，映射至0-255区间，并裁剪特定的区域范围，保存每个通道的灰度图像，时间分辨率为1小时，空间分辨率为0.02度。
2)地面气象站观测数据的预处理
对中国气象局提供的国家级地面气象站的逐小时观测资料，进行站点情况统计，气象要素筛选，缺失值、异常值处理等操作。最终得到气压、水汽压、气温、1小时最高温度、1小时最低温度、露点温度、地表温度、相对湿度、风速、风向、1小时最大风速、1小时最大风向、垂直能见度、1分钟水平能见度、10分钟水平能见度、1/3/6/12/24小时累计降水量共计20个气象要素及经度、纬度、海拔高度共3个地理位置信息。
3、卫星图像特征提取
图像特征提取是指从图像中提取出代表图像内容的一组特征向量或特征描述符的过程，通常是为了实现图像分类、检索、匹配等应用。常用的图像特征包括颜色、形状、纹理、边缘等。本发明采用在ImageNet上预训练的ResNet101网络提取卫星图像的高级语义信息。仅对与地面观测站地理位置相对齐的网格的图像特征进行保存。同时，考虑到卫星图像的多光谱特性，本发明将分别提取卫星每一个通道数据的图像特征，在通道维度进行拼接，供后续流程使用。
4、卫星-观测站多模态数据融合
本发明采用的卫星-观测站多模态数据融合框架如图2所示。
为了确保输入序列X的每个元素都对其相邻元素有足够的认识，本发明将输入序列通过1D(一维)时间卷积层。为了使序列携带时间信息，加入了位置编码(PE)，分别得到了不同模态低级别位置感知特征Z[0]，Conv1D代表一维时间卷积层。
卫星图像数据的低级别位置感知特征表示为：
其中，X为输入序列，Conv1D代表一维时间卷积层，PE代表位置编码。
针对两种模态α、β的数据，对跨模态Transformer自注意力机制进行调整，使用跨模态注意力机制进行模态交互，使一种模态能够从另一种模态接收信息。以β→α的单头跨模态注意力为例，将模态α与其权重矩阵通过矩阵乘法得到Qα，将模态β分别与其权重矩阵/>和/>通过矩阵相乘得到Kβ和Vβ，跨模态注意力机制的输出为：
在每一个跨模态Transformer自注意力机制中，都包含D层跨模态注意力模块，每一层的前馈计算如下：
其中，分别表示模态α、β低级别位置感知特征，/>代表在第i层的跨模态多头注意力模块，LN代表层归一化，fθ是由θ参数化的前馈层，/>表示第i层模块跨模态多头注意力的计算结果，/>表示第i层模块的最终输出。
在这个过程中，每个模态通过来自跨模态多头注意模块的外部信息不断更新自己的序列。通过跨模态注意力层后，还将通过一个基于原始Transformer架构的自注意力层。最后，将两个支路的自注意力层输出进行通道维度的拼接，得到卫星-观测站多模态融合特征X′。
5、图结构构建
图结构G表示为G＝(V，E，A)，其中V、E、A分别代表地面观测站的位置集合、站点之间相连接的边的集合和邻接矩阵。构建的图结构包括距离图GD、模式相似性图GP和动态图GK。
1)距离图GD
基于距离构建的图结构GD＝(V，E，AD)能够描述地面观测站地理位置的拓扑结构。本发明中距离图GD是使用高斯核计算的基于地面观测站位置间的球面距离，并通过设置阈值进行过滤后构建的，AD的元素定义如下：
其中，dij表示地面观测站vi和vj之间的球面距离，ε和用于控制AD的稀疏性和分布。
2)模式相似性图GP
地理位置距离相对较远的地面观测站的气象要素也可能具有高度一致的特征，因此本发明基于皮尔逊相关系数构建模式相似性图GP＝(V，E，AP)，来挖掘这种相似关系。AP的元素定义如下：
其中，f是地面观测站数据中特定的气象要素或提取的卫星图像特征，是地面观测站vi的长度为P的时间序列/> 是vi在时间步p的f值。
3)动态图GK
本发明构造动态图GK＝(V，E，AK)对输入数据的非线性时空相关性进行建模。地面观测站vi在t时刻的输入时间序列Xt，i＝{xt-W+1，i，…，xt-1，i，…，xt，i}∈RW×D，其中W是序列长度，D是特征总维数，将Xt，i展平为向量Zi∈RWD，类似于可学习图的构建，AK的元素定义如下：
Dj＝tanh(λZiW1)
Dj＝tanh(λZjW2)
AK，ij＝ReLU(tanh(λ(Di·Dj-Dj·Di)))
其中，W1和W2是线性层，λ是用于控制激活函数的饱和性的超参数，Di和Dj分别表示计算后的隐藏特征。GK在训练和推理阶段都是动态生成的。
6、多图融合的图卷积神经网络
使用可学习权重Ws∈RN×N来描述图结构s对每个地面观测站的重要性，其中N表示地面观测站数目，s是S＝{GD，GP，GK}中某个图结构。多图融合的策略如下：
其中⊙是矩阵对应元素相乘操作，As为对应图结构的邻接矩阵；
最终得到的融合后的图结构为：
Gfused＝(V，E，Afused)
其中，其中V、E、Afused分别代表地面观测站的位置集合、站点之间相连接的边的集合和多图融合的邻接矩阵。
本发明使用的多图融合的图卷积神经网络框架如图3所示。
在t时刻，时间长度为W′的多模态融合特征时空序列{X′(t-W′+1)，...，X′(t)}和融合后的图结构Gfused分别作为多图卷积神经网络的输入，目标是学习一个函数P，预测指定气象要素θ未来W″时间的时空序列即：
考虑到时空一致性在气象预报中的重要性，多图卷积神经网络框架按堆叠空间卷积-时间卷积块(ST-Block)。ST-Block使用残差连接方式，在空间维度使用图卷积。气象要素f在t时刻的图结构上的信息表示为N是是地面观测站的数目，通过核函数gθ过滤图结构G上的信息，即分别对gθ和x进行谱域傅里叶变换，将变换后的结果相乘，进行傅里叶反变换得到图卷积的输出，表示为：
gθ*Gx＝gθ(L)x＝gθ(UΛUT)x＝Ugθ(Λ)UTx
图的傅立叶基U∈RN×N是归一化拉普拉斯矩阵 的特征向量矩阵，IN是单位矩阵，D是度矩阵，Λ是L的特征值的对角矩阵，gθ(Λ)是对角矩阵。上述公式可以理解为分别对gθ和x进行谱域傅里叶变换，将变换后的结果相乘，进行傅里叶反变换得到图卷积的输出。
由于图结构的规模较大，采用切比雪夫多项式解决特征值分解时的效率问题：
是在缩放的拉普拉斯矩阵/>处得到的k阶切比雪夫多项式，λmax是归一化拉普拉斯矩阵L的最大特征值，K是图卷积的核大小，决定了从中心节点开始的卷积的最大半径。
ST-Block在时间维度使用多分支卷积层，不同分支的卷积层具有不同的感受野(如1×1，1×3，1×5)，用于提取不同尺度的信息，然后通过合并操作以及1×1卷积层融合不同尺度的信息。考虑到气象预报中时空一致性的重要性，通过设置ST-Block中的参数来平衡空间和时间的跨度。图卷积的核大小K和时间卷积的感受野随着模块的叠加而线性增加。
最后一个ST-Block的输出通过一个全连接层生成指定气象要素F的预报结果在训练阶段与F的地面气象站观测真值YF计算MAE损失，在推理阶段直接输出预报结果并保存。
与现有技术相比，本发明的优势在于：
1、本发明具有多模态数据的互补优势：使用自上而下的静止气象卫星数据和自下而上的地面气象站观测数据完成气象预报任务，且原始数据获取便捷。
2、本发明气象要素预报准确率高：基于Transformer的多模态数据融合方法和多图融合的图卷积神经网络框架，有效提高时空气象预报的MAE、RMSE等评估指标。
3、本发明框架在气象预报领域的普适性：适用于各种气象要素的预测，而无需对整体算法有过多的修改。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种基于图神经网络多模态气象数据融合的气象要素预报方法，其特征在于，包括静止气象卫星数据的预处理、地面气象站观测数据的预处理、卫星图像特征提取、卫星-观测站多模态数据融合、图结构构建、多图融合的图卷积神经网络构建的步骤；其中：
卫星-观测站多模态数据融合的步骤包括：
S11、将地面观测数据和卫星图像特征的序列分别输入一维时间卷积层，并加入位置编码，分别得到地面观测数据和卫星图像数据的低级别位置感知特征；
S12、针对两种模态的数据，使用跨模态Transformer多头注意力机制进行模态交互，使一种模态能够从另一种模态接收信息；
S13、每个模态通过各自跨模态Transformer多头注意机制的外部信息不断更新自己的序列，再通过Transformer自注意力层，将两个模态支路的自注意力层输出进行通道维度的拼接，得到卫星-观测站多模态融合特征；
多图融合的图卷积神经网络构建的步骤包括：
S21、使用可学习权重来描述图结构对每个地面观测站的重要性，得到的融合后的图结构；
S22、将卫星-观测站多模态融合特征时空序列和融合后的图结构分别作为多图卷积神经网络的输入，来预测指定气象要素未来时间的时空序列；
所述的多图卷积神经网络采用堆叠空间卷积-时间卷积块所述，空间卷积-时间卷积块使用残差连接方式，在空间维度使用图卷积，在时间维度使用多分支卷积层，多分支卷积层中不同分支的卷积层具有不同的感受野，用于提取不同尺度的信息，然后通过合并操作以及卷积层融合不同尺度的信息。
2.根据权利要求1所述的基于图神经网络多模态气象数据融合的气象要素预报方法，其特征在于，步骤S11中，地面观测数据的低级别位置感知特征表示为：
卫星图像数据的低级别位置感知特征表示为：
其中，X为输入序列，Conv1D代表一维时间卷积层，PE代表位置编码。
3.根据权利要求1所述的基于图神经网络多模态气象数据融合的气象要素预报方法，其特征在于，步骤S12使用跨模态Transformer多头注意力机制进行模态交互时，一种模态β向另一种模态α的单头跨模态注意力机制的过程为：将模态α与其权重矩阵通过矩阵乘法得到Qα，将模态β分别与其权重矩阵/>和/>通过矩阵相乘得到Kβ和Vβ，跨模态注意力机制的输出为：
其中，dk为特征通道数，为Kβ的转置。
4.根据权利要求1所述的基于图神经网络多模态气象数据融合的气象要素预报方法，其特征在于，步骤S13中，每个跨模态Transformer多头注意机制都包含D层跨模态多头注意力模块，每一层跨模态多头注意力模块的前馈计算如下：
其中，分别表示模态α、β低级别位置感知特征，/>代表在第i层的跨模态多头注意力模块，LN代表层归一化，fθ是由θ参数化的前馈层，/>表示第i层模块跨模态多头注意力的计算结果，/>表示第i层模块的最终输出。
5.根据权利要求1所述的基于图神经网络多模态气象数据融合的气象要素预报方法，其特征在于，图结构构建的步骤包括：
图结构G表示为G＝(V,E,A)，其中V、E、A分别代表地面观测站的位置集合、站点之间相连接的边的集合和邻接矩阵；构建的图结构包括距离图GD、模式相似性图GP和动态图GK；
基于距离构建的图结构GD＝(V,E,AD)使用高斯核计算的基于地面观测站位置间的球面距离，并通过设置阈值进行过滤后构建，AD的元素定义如下：
其中，dij表示地面观测站vi和vj之间的球面距离，ε和用于控制AD的稀疏性和分布；
基于皮尔逊相关系数构建模式相似性图GP＝(V,E,AP)，AP的元素定义如下：
其中，f是地面观测站数据中特定的气象要素或提取的卫星图像特征，是地面观测站vi的长度为P的时间序列/> 是vi在时间步p的f值；
构造动态图GK＝(V,E,AK)对输入数据的非线性时空相关性进行建模，地面观测站vi在t时刻的输入时间序列Xt,i＝{xt-W+1,i,…,xt-1,i,…,xt,i}∈RW×D，其中W是序列长度，D是特征总维数，将Xt,i展平为向量Zi∈RWD，AK的元素定义如下：
Di＝tanh(λZiW1)
Dj＝tanh(λZjW2)
AK,ij＝ReLU(tanh(λ(Di·Dj-Dj·Di)))
其中，W1和W2是线性层，λ是用于控制激活函数的饱和性的超参数，Di和Dj分别表示计算后的隐藏特征。
6.根据权利要求1所述的基于图神经网络多模态气象数据融合的气象要素预报方法，其特征在于，步骤S21的具体过程为：
使用可学习权重Ws∈RN×N来描述图结构s对每个地面观测站的重要性，其中N表示地面观测站数目，s是S＝{GD,GP,GK}中某个图结构，GD为距离图，GP为模式相似性图，GK为动态图，多图融合的策略如下：
其中⊙是矩阵对应元素相乘操作，As为对应图结构的邻接矩阵；
最终得到的融合后的图结构为：
Gfused＝(V,E,Afused)
其中，其中V、E、Afused分别代表地面观测站的位置集合、站点之间相连接的边的集合和多图融合的邻接矩阵。
7.根据权利要求1所述的基于图神经网络多模态气象数据融合的气象要素预报方法，其特征在于，步骤S22的具体过程为：
在t时刻，时间长度为W'的多模态融合特征时空序列{X'(t-W′+1),…,X'(t)}和融合后的图结构Gfused分别作为多图卷积神经网络的输入，目标是学习一个函数P，预测指定气象要素F未来W”时间的时空序列即：
气象要素f在t时刻的图结构上的信息表示为N是地面观测站的数目，通过核函数gθ过滤图结构G上的信息，即分别对gθ和x进行谱域傅里叶变换，将变换后的结果相乘，进行傅里叶反变换得到图卷积的输出，表示为：
gθ*Gx＝gθ(L)x＝gθ(UΛU)Tx＝Ugθ(Λ)UTx
图的傅立叶基U∈RN×N是归一化拉普拉斯矩阵 的特征向量矩阵，IN是单位矩阵，D是度矩阵，Λ是L的特征值的对角矩阵，gθ(Λ)是对角矩阵。
8.根据权利要求7所述的基于图神经网络多模态气象数据融合的气象要素预报方法，其特征在于，采用切比雪夫多项式处理特征值分解过程，表示为：
其中，是在缩放的拉普拉斯矩阵/>处得到的k阶切比雪夫多项式，λmax是归一化拉普拉斯矩阵L的最大特征值，K是图卷积的核大小，决定了从中心节点开始的卷积的最大半径。/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310751074.8A CN116720156A (zh) | 2023-06-25 | 2023-06-25 | 基于图神经网络多模态气象数据融合的气象要素预报方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310751074.8A CN116720156A (zh) | 2023-06-25 | 2023-06-25 | 基于图神经网络多模态气象数据融合的气象要素预报方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116720156A true CN116720156A (zh) | 2023-09-08 |
Family
ID=87865868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310751074.8A Pending CN116720156A (zh) | 2023-06-25 | 2023-06-25 | 基于图神经网络多模态气象数据融合的气象要素预报方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116720156A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117290684A (zh) * | 2023-09-27 | 2023-12-26 | 南京拓恒航空科技有限公司 | 基于Transformer的高温干旱天气预警方法、电子设备 |
| CN117368881A (zh) * | 2023-12-08 | 2024-01-09 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种融合多源数据的长序列雷达图像预测方法及系统 |
| CN118070843A (zh) * | 2024-04-18 | 2024-05-24 | 成都信息工程大学 | 一种基于图递归神经网络的多站点低能见度预测方法 |
-
2023
- 2023-06-25 CN CN202310751074.8A patent/CN116720156A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117290684A (zh) * | 2023-09-27 | 2023-12-26 | 南京拓恒航空科技有限公司 | 基于Transformer的高温干旱天气预警方法、电子设备 |
| CN117368881A (zh) * | 2023-12-08 | 2024-01-09 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种融合多源数据的长序列雷达图像预测方法及系统 |
| CN117368881B (zh) * | 2023-12-08 | 2024-03-26 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种融合多源数据的长序列雷达图像预测方法及系统 |
| CN118070843A (zh) * | 2024-04-18 | 2024-05-24 | 成都信息工程大学 | 一种基于图递归神经网络的多站点低能见度预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116720156A (zh) | 基于图神经网络多模态气象数据融合的气象要素预报方法 | |
| Yang et al. | Solar irradiance forecasting using spatio-temporal empirical kriging and vector autoregressive models with parameter shrinkage | |
| CN112507793A (zh) | 一种超短期光伏功率预测方法 | |
| CN111033318A (zh) | 当地气象预测 | |
| CN115393540A (zh) | 基于深度学习的三维海洋环境场的智能融合方法及系统 | |
| CN112946784B (zh) | 一种基于深度学习的SuperDARN雷达对流图短期预报方法 | |
| CN114707688A (zh) | 基于卫星云图和时空神经网络的光伏功率超短期预测方法 | |
| CN114240000A (zh) | 一种基于时空图卷积网络的空气质量预测方法 | |
| CN114510513A (zh) | 用于光伏功率超短期预测的短临气象预报数据处理方法 | |
| CN112232543A (zh) | 一种基于图卷积网络的多站点预测方法 | |
| CN117233870B (zh) | 一种基于多气象要素的短临降水集合预报及降尺度方法 | |
| CN114943365A (zh) | 融合多源数据的降水估测模型建立方法及降水估测方法 | |
| CN115629160A (zh) | 一种基于时空图的空气污染物浓度预测方法及系统 | |
| CN114444757A (zh) | 一种高原山地多模型多尺度新能源电站出力联合预测方法 | |
| CN114460555A (zh) | 一种雷达回波外推方法、装置及存储介质 | |
| CN115032719A (zh) | 一种基于机器学习LightGBM算法的空气质量预测方法 | |
| CN114882373A (zh) | 基于深度神经网络的多特征融合沙尘暴预测方法 | |
| Rumapea et al. | Improving Convective Cloud Classification with Deep Learning: The CC-Unet Model. | |
| CN113590971A (zh) | 一种基于类脑时空感知表征的兴趣点推荐方法及系统 | |
| Parashar et al. | Short-Term Temperature and Rainfall Prediction at Local and Global Spatial Scale: A Review | |
| CN115080629B (zh) | 一种基于遥感技术的气象要素预报系统及方法 | |
| CN113642676B (zh) | 基于异构气象数据融合的区域电网负荷预测方法和装置 | |
| CN114970743A (zh) | 一种基于多模态深度学习的多源遥感降雨数据融合方法 | |
| CN115238967A (zh) | 一种结合云图和相邻电站集群的光伏功率预测方法及装置 | |
| Li et al. | Deepphysinet: Bridging deep learning and atmospheric physics for accurate and continuous weather modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |