CN114547017A - 一种基于深度学习的气象大数据融合方法 - Google Patents

一种基于深度学习的气象大数据融合方法 Download PDF

Info

Publication number
CN114547017A
CN114547017A CN202210450508.6A CN202210450508A CN114547017A CN 114547017 A CN114547017 A CN 114547017A CN 202210450508 A CN202210450508 A CN 202210450508A CN 114547017 A CN114547017 A CN 114547017A
Authority
CN
China
Prior art keywords
data
meteorological data
attention
meteorological
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210450508.6A
Other languages
English (en)
Other versions
CN114547017B (zh
Inventor
王国杰
魏锡坤
姜彤
王艳君
路明月
王国复
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210450508.6A priority Critical patent/CN114547017B/zh
Publication of CN114547017A publication Critical patent/CN114547017A/zh
Application granted granted Critical
Publication of CN114547017B publication Critical patent/CN114547017B/zh
Priority to US17/932,860 priority patent/US11836605B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W2201/00—Weather detection, monitoring or forecasting for establishing the amount of global warming
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度学习的气象大数据融合方法，包括：构建得到多源气象数据样本；根据不同气候变量的原始分辨率，以最大化信息保留效率为约束，选取相应的超分倍数，得到优化后的超分辨率模块；采用聚焦式注意力机制构建时空注意力模块，根据不同气候变量的周期性特点，选择相应的时间步长；结合优化后的超分模型和时空注意力模块，构建得到气象数据融合模型；以气候变量的分辨率最小为损失函数，采用多源气象数据样本对气象数据融合模型进行训练；将采集到的多个数据源的实时气象数据导入训练完成的气象数据融合模型，得到高分辨率的融合气象数据。本发明能够解决多源气象数据分辨率差异的问题。

Description

一种基于深度学习的气象大数据融合方法
技术领域
本发明属于气象数据融合处理技术领域，具体涉及一种基于深度学习的气象大数据融合方法。
背景技术
目前，全球气候变暖对生态环境带来了严重影响，如极端灾害频发，沙漠化极速加剧等。为了预防生态环境的恶化，减少灾害带来的损失，必须深入研究引起气候变化的原因和机制。精准的气象数据是深入研究气象问题的基础。除了传统的气象观测站点以外，随着遥感技术的发展，专门用于气象观测的卫星的数量也与日俱增，随之也带来了大量的气象卫星观测数据。此外，耦合了地表各圈层且充分考虑了物理和生物过程的气候模式和地球系统模式也是研究气候变化的工具之一。为了解决更多的科学问题，这些模式一直处于持续更新中；与此同时，新的地球系统模式也在持续开发。气象观测数据（站点观测、遥感观测）和气象模式数据一起形成了包括如气温、降水、土壤湿度等多种气象要素的海量气象数据集，预计仅地球系统模式中的CMIP6数据量就将达到30PB。气象站点观测只能提供单一的点状数据，并不能提供空间面状数据；此外遥感气象观测资料由于受卫星重返周期和天气条件的影响，在时间上并不连续且在空间上也存在不少缺失值。
所以在进行研究时，往往使用多源气象数据进行研究，在使用这些数据的过程中主要存在以下几方面的问题1）多源气象数据空间分辨率不一致且粗糙。不同来源的气象数据分辨率不一致，以气候模式数据为例，除了高精度的区域气候模式之外，大多数模式数据高于2°。2）多源气象数据的不一致性，由于使用不同来源的气象数据，数据本身的系统误差都不相同，这会对最终结果产生不良的影响。 3）传统方法并不能有效利用多源气象数据包含的时空信息。以地球系统模式数据为例，我们在利用其进行研究时，多采取平均方法，这种方法的整体结果一般会优于单个模式的结果，不过在一些局地区域效果并不好。同时由于地球系统模式分辨率差异较大，在差值过程中也会造成信息的损失。
发明内容
解决的技术问题：本发明结合气象数据的大数据属性，提出了基于深度学习方法的气象大数据融合方法，能够解决多源气象数据分辨率差异的问题。
技术方案：
一种基于深度学习的气象大数据融合方法，所述气象大数据融合方法包括以下步骤：
S1，从多个数据源获取气象数据，对多个数据源的气象数据进行预处理，构建得到多源气象数据样本；
S2，以RDN网络作为原始超分模型，结合数据源的特性和数据融合需求，对原始超分模型的输入输出部分进行优化；结合所有数据源的气象数据特征，气象数据存在大量的遥相关关系，在优化后的原始超分模型中改进相应的第一特征提取模块，一般特征提取采用的是卷积神经网络，其感受野有限，并不能充分提取气象数据的遥相关特征，在第一特征提取模块中并行加入可形变卷积，来增加网络的感受野，来增强网络对这方面特征提取的能力；根据不同气候变量的原始分辨率，以最大化信息保留效率为约束，选取相应的超分倍数，得到优化后的超分辨率模块；
S3，采用聚焦式注意力机制构建时空注意力模块，根据不同气候变量的周期性特点，选择相应的时间步长；所述时空注意力模块用于计算多源气象数据的注意力分布，根据注意力分布计算注意力加权平均值，再根据注意力加权平均值得到气象数据的局部特征；
S4，结合优化后的超分模型和时空注意力模块，构建得到气象数据融合模型；超分模型主要由第二特征提取模块和超分变率模块组成，原始超分模型中的特征提取模块并不能学习气象数据的非局地特征和时间维度的特征，为了提取气象数据的这方面特征，将时空注意力模块加入到超分模型的特征提取模块之后，生成第二特征提取模块，采用第二特征提取模块来提取气象数据的非局地特征和时间特征。以气候变量的分辨率最小为损失函数，采用多源气象数据样本对气象数据融合模型进行训练；所述气象数据融合模型包括依次连接的输入模块、特征提取模块、时空注意力模块、超分辨率模块、加法模块和输出模块；所述输入模块用于将t时刻前后指定时间范围内的气象数据样本按时序排列后，一方面导入特征提取模块进行局地特征提取，再通过时空注意力模块来提取气象数据的非局地和时间特征、将这些特征经过超分辨率模块和加法模块处理后发送至输出模块，由输出模块统一融合成第t时刻的融合气象数据；
S5，将采集到的多个数据源的实时气象数据导入训练完成的气象数据融合模型，得到高分辨率的融合气象数据。
进一步地，步骤S1中，从多个数据源获取气象数据，对多个数据源的气象数据进行预处理，构建得到多源气象数据样本的过程包括以下子步骤：
S11，针对不同气候参数，对所有数据源的气象数据进行单位统一处理；
S12，对统一单位后的气象数据进行归一化处理；
S13，利用归一化后的气象数据构建训练样本，将其按照一定比例划分为训练集、测试集、验证集，生成多源气象数据样本数据集。
进一步地，步骤S12中，采用最大最小值归一化或者Z值归一化对统一单位后的气象数据进行归一化处理。
进一步地，步骤S2中，结合数据源的特性和数据融合需求，对原始超分模型的输入输出部分进行优化的过程包括以下子步骤：
以RDN网络作为原始超分模型，对原始超分模型的输入输出部分进行优化，将输入通道扩充为N个，将输出通道缩减为1个；N为数据源的个数。
进一步地，步骤S2中，所述特征提取模块包括8个重复残差结构的卷积网络和并列的8个重复残差结构的可形变卷积网络。
进一步地，步骤S3中，采用聚焦式注意力机制构建时空注意力模块的过程包括以下步骤：
S31，用
Figure 837824DEST_PATH_IMAGE001
来表示K组输入信息，引入查询向量q来表示对
Figure 985777DEST_PATH_IMAGE002
个输入气象 数据
Figure 430665DEST_PATH_IMAGE003
的融合过程更加重要的信息；通过打分函数计算每一个气象数据和查询向量 之间的相关关系；使用注意力变量
Figure 174630DEST_PATH_IMAGE004
来表示所选信息的索引位置；
S32，计算给定q和X，计算第k个气象数据的注意力分布概率
Figure 286943DEST_PATH_IMAGE005
：
Figure 346078DEST_PATH_IMAGE006
其中
Figure 543841DEST_PATH_IMAGE007
为注意力打分函数：
Figure 91497DEST_PATH_IMAGE008
，D为输入向量的数据纬度；注意力分 布
Figure 58316DEST_PATH_IMAGE005
为第k个输入的气象数据受关注的程度；
S33，根据下述注意力函数公式计算得到气象数据注意力分布加权平均：
Figure 95542DEST_PATH_IMAGE009
；
S34，根据
Figure 764289DEST_PATH_IMAGE010
返回的特征图结果得到局部关注特征，
Figure 115636DEST_PATH_IMAGE010
返回的特征图 结果在0-1之间，越接近于1的代表该区域对最终数据融合结果影响越大。
进一步地，所述时空注意力模型首先在每个时刻都计算与参考帧之间的相似度，得到每个时刻特征图的注意力特征图，其次在空间上与参考帧进行乘积操作，调整不同时刻影响在数据融合任务中的所占权重比重，再次将所提取到的特征图进行融合，最后通过金字塔结构在不同尺度获取空间注意力特征图，经过上采样得到经过时空注意力机制的特征图。
有益效果：
第一，本发明的基于深度学习的气象大数据融合方法，引入深度学习超分技术实现高分辨率融合，能够解决多源气象数据分辨率差异的问题，在进行融合时，可以直接输入粗分辨率的数据，直接得到高分辨率的融合数据，尽量避免了由于向下插值而造成的信息损失。
第二，本发明的基于深度学习的气象大数据融合方法，引入局地注意力机制（local Attention）突出局地特征。与深度学习中图像相比，气象数据在空间上不仅存在全局特征，也存在更多的局地特征，融合过程中，局地特征比全局特征突出了对气象极端事件响应，所以本发明引入了深度学习中的注意力机制来解决这一问题。
第三，由于气象数据在时间维度上也存在很强的关系，所以本发明的基于深度学习的气象大数据融合方法在时间维度上也加入了注意力机制来加强时间纬度信息的挖掘。
第四，本发明是一个端到端的方法，输入多套气象数据即可得到高分辨率的融合数据。本发明不仅可以结合多源气象数据的优点，而且能充分挖掘气象大数据中的时空信息，生成一套分辨率更高，更精准的融合数据产品，降低数据不确定性，并且突出气象大数据中的极端事件。一方面，能为精准分析气候变化提供数据支撑，为制定合理的发展政策制定提供决策支持；另一方面，为气象灾害风险精准评估和合理管理提供了数据支撑。
附图说明
图1为基于深度学习的气象大数据融合方法流程图；
图2为气象融合模型整体示意图；
图3为超分辨率模块的主要结构示意图；
图4为时空注意力模块结构示意图。
具体实施方式
下面的实施例可使本专业技术人员更全面地理解本发明，但不以任何方式限制本发明。
图1为基于深度学习的气象大数据融合方法流程图。参见图1，该融合方法包括以下步骤：
S1，从多个数据源获取气象数据，对多个数据源的气象数据进行预处理，构建得到多源气象数据样本；
S2，以RDN网络作为原始超分模型，结合数据源的特性和数据融合需求，对原始超分模型的输入输出部分进行优化；结合所有数据源的气象数据特征，在优化后的原始超分模型中增加相应的特征提取模块；根据不同气候变量的原始分辨率，以最大化信息保留效率为约束，选取相应的超分倍数，得到优化后的超分辨率模块；
S3，采用聚焦式注意力机制构建时空注意力模块，根据不同气候变量的周期性特点，选择相应的时间步长；所述时空注意力模块用于计算多源气象数据的注意力分布，根据注意力分布计算注意力加权平均值，再根据注意力加权平均值得到气象数据的局部特征；
S4，结合优化后的超分模型和时空注意力模块，构建得到气象数据融合模型；以气候变量的分辨率最小为损失函数，采用多源气象数据样本对气象数据融合模型进行训练；所述气象数据融合模型包括依次连接的输入模块、特征提取模块、时空注意力模块、超分辨率模块、加法模块、降尺度模块和输出模块；所述输入模块用于将t时刻前后指定时间范围内的气象数据样本按时序排列后，一方面导入特征提取模块进行特征提取，提取得到的特征再依次经过时空注意力模块、超分辨率模块和加法模块处理后发送至输出模块，另一方面经降尺度模块进行尺度调整后发送至输出模块，由输出模块统一融合成第t时刻的融合气象数据；
S5，将采集到的多个数据源的实时气象数据导入训练完成的气象数据融合模型，得到高分辨率的融合气象数据。
具体内容如下:
1、气象数据预处理
（1）统一单位
由于气象数据的来源不一致，所以经常会出现单位不一致的现象，所以第一步数据处理就是统一不同来源数据的单位。以气温为例，有的数据保存为开尔文温度K和有的数据保存为摄氏度C，俩者之间存在一定关系，C=K-273.15。
（2）数据归一化
数据归一化泛指将数据特征转换为相同尺度的方法，例如把数据映射到[0,1]或 [-1,1]的区间内，这一步骤会提高模型训练的效率。常用的归一化方法有最大最小值归一 化和Z值归一化。最大最小值归一化是一个比较简单的归一化方法。假设有K个样本
Figure 936962DEST_PATH_IMAGE011
,对于归一化后的特征结果如下：
Figure 348352DEST_PATH_IMAGE012
(1)；
Z值归一化是来源于统计学上的标准分数，其将所有特征都调整为均值为0，方差 为1。假设有K个样本
Figure 238816DEST_PATH_IMAGE011
，先计算出它的均值与方差：
Figure 128275DEST_PATH_IMAGE013
（2）；
Figure 69686DEST_PATH_IMAGE014
(3)；
然后再计算新的特征：
Figure 651977DEST_PATH_IMAGE015
(4)。
（3）划分数据集
利用归一化后的数据构建模型训练数据，将其按照一定比例（一般设置为6：2：2）划分为训练集、测试集、验证集，为后续的训练做好准备。
2、超分模型的构建及超分系数选取
（1）超分模型构建
超分即超分辨率技术，即指从低分辨率影像重建出来高分辨率图像，这项技术已经在计算机视觉领域有了广泛的发展和应用，有大量成熟的算法可以借鉴参考。参见图3，本发明采用的原始超分模型是RDN(Residual Dense Network，RDN)，其结合了Resnet和Densenet的特点，每一层都和最终结果之间有联系，可以充分利用初始低分辨率图像的层次特征。在此基础上根据多源气象数据的融合的需求进行了修改,从输入输出来看，计算机视觉中的输出的图像只拥有R,G,B三个低分辨率通道，而需要融合多源气象数据可能多达数十套，最终我们的输出只需要一套高分变率数据，所以对模型的输入输出部分进行了修改。此外，由于多源气象数据量更庞大，为了更好的提取特征，在模型中增加了特征提取模块来提取气象数据的特征；特征提取模块由8个重复残差结构的卷积网络构成。
（2）超分系数选取
多源气象数据的分辨率存在较大差异，同时不同气候变量对应的数据数量也有区别。为了满足不同变量的需求，我们发明的融合算法具有2倍，4倍和8倍的超分效果。在考虑不同气候变量时，需要根据这一变量的原始分辨率来决定超分倍数的选取，最大程度上保留了原始数据中的信息。
3、时空注意力模型构建以及时间注意力步长
（1）选取时空注意力模型搭建
人类在学习的过程中，可以从外界大量的信息中有选择性的吸取小部分自己所需要的信息来重点学习，这种能力就叫注意力。参见图4，本发明采用聚焦式注意力机制进行构建模型，聚焦式注意力又可理解为自上而下有意识的注意力，指有预期目标，主动有计划，有意识的聚焦于具体对象目标的。在时空维度上，根据时空注意力机制得到关注气象数据的局地特征。
注意力机制的计算主要分为三步:首先计算气象数据的注意力分布，然后根据气象数据注意力分布来计算注意力加权平均，最后根据加权注意力分布来得到气象数据的局部特征。
1）气象数据注意力分布计算
用
Figure 295317DEST_PATH_IMAGE001
来表示
Figure 785204DEST_PATH_IMAGE016
组输入信息，为了从
Figure 315542DEST_PATH_IMAGE016
个输入气象数据
Figure 68735DEST_PATH_IMAGE003
中选择 对数据融合更加重要的信息，需要引入一个和数据融合相关的向量来表示，称为查询向量， 并通过一个打分函数来计算每一个气象数据和查询向量之间的相关关系。假定数据融合相 关的查询变量为
Figure 684524DEST_PATH_IMAGE017
,使用注意力变量
Figure 430632DEST_PATH_IMAGE018
来表示所选信息的索引位置。再计算给定
Figure 81056DEST_PATH_IMAGE017
和
Figure 739570DEST_PATH_IMAGE019
，计算第
Figure 108235DEST_PATH_IMAGE020
个气象数据的注意力分布概率
Figure 939925DEST_PATH_IMAGE005
，
Figure 959702DEST_PATH_IMAGE006
（5）；
其中
Figure 789118DEST_PATH_IMAGE021
为注意力打分函数，比较常用的方法为使用缩放点积模型来进行计算：
Figure 645078DEST_PATH_IMAGE022
（6）；
其中
Figure 218142DEST_PATH_IMAGE023
为输入向量的数据纬度。
2）计算气象数据注意力分布加权平均
注意力分布
Figure 826847DEST_PATH_IMAGE005
可以解释为在数据融合的查询向量
Figure 92743DEST_PATH_IMAGE024
,第
Figure 967158DEST_PATH_IMAGE016
个输入的气象数据受关 注的程度。注意力函数公式如下：
Figure 609492DEST_PATH_IMAGE009
（7）。
3）得到气象数据的局部特征
Figure 89015DEST_PATH_IMAGE025
返回一张特征图结果，在0-1之间，越接近于1的代表该区域对最终数据融 合结果影响越大，基于此得到局部关注特征。
（2）时间注意力时间步长选取
由于不同的气候变量存在不同的周期性的特点，以月气温数据为例，其以年为周期。为了充分挖掘时间序列的信息，我们需要针对不同气候变量的周期性变化来选取合适的时间步长。
时空注意力模型，首先在每个时刻都计算与参考帧之间的相似度，得到每个时刻特征图的注意力特征图，随后在空间上与参考帧进行乘积操作，相当于调整了不同时刻影响在数据融合任务中的所占权重比重。接下来，将所提取到的特征图进行融合，最后通过金字塔结构在不同尺度获取空间注意力特征图，经过上采样得到经过时空注意力机制的特征图。
4、基于深度学习进行数据融合
（1）模型训练
在准备好数据集和模型，确定了超分系数和时间注意力步长之后，即可利用构建好的深度学习模型进行训练。图2为气象融合模型整体示意图。所采用的训练参考数据选取对应气象变量观测数据。使用训练集进行训练，测试集进行测试，验证集对模型进行验证。在模型训练过程中，需要根据训练集和测试集的结果，对模型参数进行微调，神经网络的主要调整方式有提高、降低学习率、在网络中加入正则化、权重衰减、损失函数的调整以及训练提前停止等技巧，一直到验证集的结果与训练集的结果效果都达到不错的效果，保存下精度最好的模型。
（2）数据生成
利用步骤（1）训练得到的最佳模型，将多源气象数据输入模型，即可得到高分辨率的融合数据。
在利用多源气象数据研究气候变化的研究中，传统的线性平均方法并不能充分利用多源气象数据的优点。数据融合可以充分利用不同来源数据的优点，同时考虑目前多源气象数据的海量数据性，传统的数据融合方法很难充分发掘其包含的大量时空信息，深度学习方法已经被证明了其在处理大数据方面的优越性，所以提出了以深度学习超分算法为主体，在此基础上结合气象数据自身特点增加了时空注意力（spatial-temporal）机制的融合方法。此方法可以实现多源气象大数据融合，生成高分辨率的融合数据产品，降低数据不确定性，并且突出气象大数据中的极端事件，为研究气候变化的原因和机制和气象灾害风险评估，管理提供数据支撑。

Claims (7)

1.一种基于深度学习的气象大数据融合方法，其特征在于，所述气象大数据融合方法包括以下步骤：
S1，从多个数据源获取气象数据，对多个数据源的气象数据进行预处理，构建得到多源气象数据样本；
S2，以RDN网络作为原始超分模型，结合数据源的特性和数据融合需求，对原始超分模型的输入输出部分进行优化；结合所有数据源的气象数据特征，在优化后的原始超分模型中增加相应的第一特征提取模块，增加的第一特征提取模块中并行加入有可形变卷积，用于充分提取气象数据的遥相关特征；根据不同气候变量的原始分辨率，以最大化信息保留效率为约束，选取相应的超分倍数，得到优化后的超分辨率模块；
S3，采用聚焦式注意力机制构建时空注意力模块，根据不同气候变量的周期性特点，选择相应的时间步长；所述时空注意力模块用于计算多源气象数据的注意力分布，根据注意力分布计算注意力加权平均值，再根据注意力加权平均值得到气象数据的局部特征；
S4，结合优化后的超分模型和时空注意力模块，构建得到气象数据融合模型；超分模型包括第二特征提取模块和超分变率模块，通过在第二特征提取模块中引入时空注意力模块，来提取气象数据的非局地特征和时间特征；以气候变量的分辨率最小为损失函数，采用多源气象数据样本对气象数据融合模型进行训练；所述气象数据融合模型包括依次连接的输入模块、特征提取模块、时空注意力模块、超分辨率模块、加法模块和输出模块；所述输入模块用于将t时刻前后指定时间范围内的气象数据样本按时序排列后，一方面导入特征提取模块进行局地特征提取，再通过时空注意力模块来提取气象数据的非局地和时间特征、将这些特征经过超分辨率模块和加法模块处理后发送至输出模块，由输出模块统一融合成第t时刻的融合气象数据；
S5，将采集到的多个数据源的实时气象数据导入训练完成的气象数据融合模型，得到高分辨率的融合气象数据。
2.根据权利要求1所述的基于深度学习的气象大数据融合方法，其特征在于，步骤S1中，从多个数据源获取气象数据，对多个数据源的气象数据进行预处理，构建得到多源气象数据样本的过程包括以下子步骤：
S11，针对不同气候参数，对所有数据源的气象数据进行单位统一处理；
S12，对统一单位后的气象数据进行归一化处理；
S13，利用归一化后的气象数据构建训练样本，将其按照一定比例划分为训练集、测试集、验证集，生成多源气象数据样本数据集。
3.根据权利要求2所述的基于深度学习的气象大数据融合方法，其特征在于，步骤S12中，采用最大最小值归一化或者Z值归一化对统一单位后的气象数据进行归一化处理。
4.根据权利要求1所述的基于深度学习的气象大数据融合方法，其特征在于，步骤S2中，结合数据源的特性和数据融合需求，对原始超分模型的输入输出部分进行优化的过程包括以下子步骤：
以RDN网络作为原始超分模型，对原始超分模型的输入输出部分进行优化，将输入通道扩充为N个，将输出通道缩减为1个；N为数据源的个数。
5.根据权利要求1所述的基于深度学习的气象大数据融合方法，其特征在于，步骤S2中，所述特征提取模块包括8个重复残差结构的卷积网络和并列的8个重复残差结构的可形变卷积网络。
6.根据权利要求1所述的基于深度学习的气象大数据融合方法，其特征在于，步骤S3中，采用聚焦式注意力机制构建时空注意力模块的过程包括以下步骤：
S31，用
Figure 825878DEST_PATH_IMAGE001
来表示K组输入信息，引入查询向量q来表示对
Figure 149543DEST_PATH_IMAGE002
个输入气象数据
Figure 381810DEST_PATH_IMAGE003
的融合过程更加重要的信息；通过打分函数计算每一个气象数据和查询向量之间 的相关关系；使用注意力变量
Figure 308178DEST_PATH_IMAGE004
来表示所选信息的索引位置；
S32，计算给定q和X，计算第k个气象数据的注意力分布概率
Figure 529075DEST_PATH_IMAGE005
：
Figure 85958DEST_PATH_IMAGE006
其中
Figure 884150DEST_PATH_IMAGE007
为注意力打分函数：
Figure 738842DEST_PATH_IMAGE008
，D为输入向量的数据纬度；注意力分布
Figure 204459DEST_PATH_IMAGE005
为第k个输入的气象数据受关注的程度；
S33，根据下述注意力函数公式计算得到气象数据注意力分布加权平均：
Figure 604347DEST_PATH_IMAGE009
；
S34，根据
Figure 889835DEST_PATH_IMAGE010
返回的特征图结果得到局部关注特征，
Figure 282639DEST_PATH_IMAGE010
返回的特征图结果 在0-1之间，越接近于1的代表该区域对最终数据融合结果影响越大。
7.根据权利要求1所述的基于深度学习的气象大数据融合方法，其特征在于，所述时空注意力模型首先在每个时刻都计算与参考帧之间的相似度，得到每个时刻特征图的注意力特征图，其次在空间上与参考帧进行乘积操作，调整不同时刻影响在数据融合任务中的所占权重比重，再次将所提取到的特征图进行融合，最后通过金字塔结构在不同尺度获取空间注意力特征图，经过上采样得到经过时空注意力机制的特征图。
CN202210450508.6A 2022-04-27 2022-04-27 一种基于深度学习的气象大数据融合方法 Active CN114547017B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210450508.6A CN114547017B (zh) 2022-04-27 2022-04-27 一种基于深度学习的气象大数据融合方法
US17/932,860 US11836605B2 (en) 2022-04-27 2022-09-16 Meteorological big data fusion method based on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210450508.6A CN114547017B (zh) 2022-04-27 2022-04-27 一种基于深度学习的气象大数据融合方法

Publications (2)

Publication Number Publication Date
CN114547017A true CN114547017A (zh) 2022-05-27
CN114547017B CN114547017B (zh) 2022-08-05

Family

ID=81667306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210450508.6A Active CN114547017B (zh) 2022-04-27 2022-04-27 一种基于深度学习的气象大数据融合方法

Country Status (2)

Country Link
US (1) US11836605B2 (zh)
CN (1) CN114547017B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238836A (zh) * 2022-09-23 2022-10-25 中国空气动力研究与发展中心计算空气动力研究所 一种基于气动数据和物理模型相关度的融合方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117390592B (zh) * 2023-12-11 2024-03-22 江西省气象服务中心(江西省专业气象台、江西省气象宣传与科普中心) 一种特色景观预报模型构建方法及系统
CN117556197B (zh) * 2024-01-11 2024-03-22 中国气象科学研究院 一种基于人工智能的台风涡旋初始化方法
CN117589646B (zh) * 2024-01-19 2024-04-26 中国科学院空天信息创新研究院 大气细颗粒物浓度监测方法、装置、设备及介质
CN117688975B (zh) * 2024-02-02 2024-05-14 南京信息工程大学 一种基于演化规律挖掘的气象事件预测方法及系统
CN117874527A (zh) * 2024-03-11 2024-04-12 陕西省气候中心 一种多模式数据融合的深度学习预测方法
CN117892064B (zh) * 2024-03-13 2024-05-14 南京信息工程大学 一种全球气候模型日平均气温降尺度方法、装置及存储器

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004111931A2 (en) * 2003-06-10 2004-12-23 California Institute Of Technology A system and method for attentional selection
US20150127650A1 (en) * 2013-11-04 2015-05-07 Ayasdi, Inc. Systems and methods for metric data smoothing
CN108092768A (zh) * 2017-12-21 2018-05-29 中国联合网络通信集团有限公司 数据融合方法与系统
CN108881873A (zh) * 2018-07-31 2018-11-23 杭州隅千象科技有限公司 高分辨率图像融合的方法、装置和系统
CN109214592A (zh) * 2018-10-17 2019-01-15 北京工商大学 一种多模型融合的深度学习的空气质量预测方法
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN109859106A (zh) * 2019-01-28 2019-06-07 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法
CN109886871A (zh) * 2019-01-07 2019-06-14 国家新闻出版广电总局广播科学研究院 基于通道注意力机制和多层特征融合的图像超分辨率方法
CN110148091A (zh) * 2019-04-10 2019-08-20 深圳市未来媒体技术研究院 基于非局部注意力机制的神经网络模型及图像超分辨方法
CN111126258A (zh) * 2019-12-23 2020-05-08 深圳市华尊科技股份有限公司 图像识别方法及相关装置
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution
CN111461973A (zh) * 2020-01-17 2020-07-28 华中科技大学 一种图像的超分辨率重建方法及系统
CN111666275A (zh) * 2020-06-10 2020-09-15 创新奇智(广州)科技有限公司 一种数据处理方法、装置、电子设备及存储介质
CN112215755A (zh) * 2020-10-28 2021-01-12 南京信息工程大学 一种基于反投影注意力网络的图像超分辨率重建方法
CN112712117A (zh) * 2020-12-30 2021-04-27 银江股份有限公司 一种基于全卷积注意力的多元时间序列分类方法及系统
US20210133925A1 (en) * 2019-11-05 2021-05-06 Moxa Inc. Device and Method of Handling Image Super-Resolution
CN113034380A (zh) * 2021-02-09 2021-06-25 浙江大学 一种基于改进可变形卷积校正的视频时空超分辨率方法和装置
CN113051249A (zh) * 2021-03-22 2021-06-29 江苏杰瑞信息科技有限公司 一种基于多源异构大数据融合的云服务平台设计方法
CN113781311A (zh) * 2021-10-10 2021-12-10 北京工业大学 一种基于生成对抗网络的图像超分辨率重建方法
CN113888550A (zh) * 2021-09-27 2022-01-04 太原理工大学 一种结合超分辨率和注意力机制的遥感图像道路分割方法
CN113887472A (zh) * 2021-10-15 2022-01-04 西安电子科技大学 基于级联颜色及纹理特征注意力的遥感图像云检测方法
EP3932318A1 (en) * 2019-02-28 2022-01-05 FUJIFILM Corporation Learning method, learning system, learned model, program, and super-resolution image generation device
CN113920043A (zh) * 2021-09-30 2022-01-11 海南大学 基于残差通道注意力机制的双流遥感图像融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537889B2 (en) * 2019-05-20 2022-12-27 ClimateAI, Inc. Systems and methods of data preprocessing and augmentation for neural network climate forecasting models

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004111931A2 (en) * 2003-06-10 2004-12-23 California Institute Of Technology A system and method for attentional selection
US20150127650A1 (en) * 2013-11-04 2015-05-07 Ayasdi, Inc. Systems and methods for metric data smoothing
CN108092768A (zh) * 2017-12-21 2018-05-29 中国联合网络通信集团有限公司 数据融合方法与系统
CN108881873A (zh) * 2018-07-31 2018-11-23 杭州隅千象科技有限公司 高分辨率图像融合的方法、装置和系统
CN109214592A (zh) * 2018-10-17 2019-01-15 北京工商大学 一种多模型融合的深度学习的空气质量预测方法
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN109886871A (zh) * 2019-01-07 2019-06-14 国家新闻出版广电总局广播科学研究院 基于通道注意力机制和多层特征融合的图像超分辨率方法
CN109859106A (zh) * 2019-01-28 2019-06-07 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法
EP3932318A1 (en) * 2019-02-28 2022-01-05 FUJIFILM Corporation Learning method, learning system, learned model, program, and super-resolution image generation device
CN110148091A (zh) * 2019-04-10 2019-08-20 深圳市未来媒体技术研究院 基于非局部注意力机制的神经网络模型及图像超分辨方法
US20210133925A1 (en) * 2019-11-05 2021-05-06 Moxa Inc. Device and Method of Handling Image Super-Resolution
CN111126258A (zh) * 2019-12-23 2020-05-08 深圳市华尊科技股份有限公司 图像识别方法及相关装置
CN111461973A (zh) * 2020-01-17 2020-07-28 华中科技大学 一种图像的超分辨率重建方法及系统
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution
CN111666275A (zh) * 2020-06-10 2020-09-15 创新奇智(广州)科技有限公司 一种数据处理方法、装置、电子设备及存储介质
CN112215755A (zh) * 2020-10-28 2021-01-12 南京信息工程大学 一种基于反投影注意力网络的图像超分辨率重建方法
CN112712117A (zh) * 2020-12-30 2021-04-27 银江股份有限公司 一种基于全卷积注意力的多元时间序列分类方法及系统
CN113034380A (zh) * 2021-02-09 2021-06-25 浙江大学 一种基于改进可变形卷积校正的视频时空超分辨率方法和装置
CN113051249A (zh) * 2021-03-22 2021-06-29 江苏杰瑞信息科技有限公司 一种基于多源异构大数据融合的云服务平台设计方法
CN113888550A (zh) * 2021-09-27 2022-01-04 太原理工大学 一种结合超分辨率和注意力机制的遥感图像道路分割方法
CN113920043A (zh) * 2021-09-30 2022-01-11 海南大学 基于残差通道注意力机制的双流遥感图像融合方法
CN113781311A (zh) * 2021-10-10 2021-12-10 北京工业大学 一种基于生成对抗网络的图像超分辨率重建方法
CN113887472A (zh) * 2021-10-15 2022-01-04 西安电子科技大学 基于级联颜色及纹理特征注意力的遥感图像云检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHIYONGHUANG: "Dual-path attention network for single image super-resolution", 《SCIENCEDIRECT》 *
张剑飞: "基于深度学习的图像超分辨率研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238836A (zh) * 2022-09-23 2022-10-25 中国空气动力研究与发展中心计算空气动力研究所 一种基于气动数据和物理模型相关度的融合方法
CN115238836B (zh) * 2022-09-23 2023-04-28 中国空气动力研究与发展中心计算空气动力研究所 一种基于气动数据和物理模型相关度的融合方法

Also Published As

Publication number Publication date
US11836605B2 (en) 2023-12-05
US20230351164A1 (en) 2023-11-02
CN114547017B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN114547017B (zh) 一种基于深度学习的气象大数据融合方法
US11333796B2 (en) Spatial autocorrelation machine learning-based downscaling method and system of satellite precipitation data
Dinda et al. An integrated simulation approach to the assessment of urban growth pattern and loss in urban green space in Kolkata, India: A GIS-based analysis
CN110503137B (zh) 基于交叉融合的遥感影像时空融合基础图像对的确定方法
CN114331842B (zh) 结合地形特征的dem超分辨率重建方法
Cheng et al. Observation data compression for variational assimilation of dynamical systems
CN114417646B (zh) 一种高维异构降水数据融合方法及系统
CN105974495A (zh) 利用分类拟合法预判目标区域未来平均云量的方法
CN114117886A (zh) 一种用于多光谱遥感水深反演方法
CN112131731B (zh) 一种基于空间特征向量滤波的城市生长元胞模拟方法
CN114120101A (zh) 一种土壤水分多尺度综合感知方法
Yang et al. Probabilistic post-processing of gridded atmospheric variables and its application to site adaptation of shortwave solar radiation
CN116310852A (zh) 双时相遥感影像无监督分类与变化检测方法及系统
Kajbaf et al. Temporal downscaling of precipitation from climate model projections using machine learning
CN110851627A (zh) 一种用于描述全日面图像中太阳黑子群的方法
Meng et al. Tropical cyclone intensity probabilistic forecasting system based on deep learning
CN112488413A (zh) 基于awa-drcn的人口空间化方法
TW202107306A (zh) 以人工智慧估測地理位置日照量之系統、方法及儲存媒體
CN114037797A (zh) 一种电力设备异构数据三维空间自动更新方法
Sun et al. Deep learning in statistical downscaling for deriving high spatial resolution gridded meteorological data: A systematic review
CN114324410A (zh) 一种多地形的微波遥感土壤湿度降尺度方法
Zhou et al. A station-data-based model residual machine learning method for fine-grained meteorological grid prediction
Zhang et al. Stochastic solar irradiance from deep generative networks and their application in BIPV design
Amendola et al. A neural network ensemble downscaling system (SIBILLA) for seasonal forecasts over Italy: winter case studies
Pedder et al. The semi‐geostrophic diagnosis of vertical motion. I: Formulation and coordinate transformations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant