CN116108761B - 一种耦合深度学习和hasm的区域气候模拟方法和系统 - Google Patents

一种耦合深度学习和hasm的区域气候模拟方法和系统 Download PDF

Info

Publication number
CN116108761B
CN116108761B CN202310383543.5A CN202310383543A CN116108761B CN 116108761 B CN116108761 B CN 116108761B CN 202310383543 A CN202310383543 A CN 202310383543A CN 116108761 B CN116108761 B CN 116108761B
Authority
CN
China
Prior art keywords
model
deep learning
simulation
data
regional climate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310383543.5A
Other languages
English (en)
Other versions
CN116108761A (zh
Inventor
焦毅蒙
岳天祥
赵娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Geographic Sciences and Natural Resources of CAS
Original Assignee
Institute of Geographic Sciences and Natural Resources of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Geographic Sciences and Natural Resources of CAS filed Critical Institute of Geographic Sciences and Natural Resources of CAS
Priority to CN202310383543.5A priority Critical patent/CN116108761B/zh
Publication of CN116108761A publication Critical patent/CN116108761A/zh
Application granted granted Critical
Publication of CN116108761B publication Critical patent/CN116108761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Medical Informatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及电数字数据处理技术领域,提供了一种耦合深度学习和HASM的区域气候模拟方法和系统。该方法包括:获取目标区域的气象站点观测数据;确定目标区域的模拟参数;将气象站点观测数据和模拟参数输入区域气候耦合模型,得到区域气候模拟结果;区域气候耦合模型包括第一深度学习子模型、第二深度学习子模型和第一高精度曲面建模模型;其中,第一高精度曲面建模模型用于根据第一深度学习子模型的第一模拟结果生成标签数据,标签数据用于训练第二深度学习子模型。这样,在模型训练的过程中,通过第一深度学习子模型和第一高精度曲面建模模型相互配合,无需手工操作制作训练数据中的标签数据,即可快速、自动生成标签数据,提高了模型训练的效率。

Description

一种耦合深度学习和HASM的区域气候模拟方法和系统
技术领域
本申请涉及电数字数据处理技术领域,特别涉及一种耦合深度学习和HASM的区域气候模拟方法和系统。
背景技术
随着全球变暖,极端气候事件频发,对人类社会的生产和生活带来了巨大的影响,为迅速、科学地制定应对极端气候的措施,人们迫切需要快速获取区域尺度上高精度的、时空连续的气候数据。
目前,获取区域气候数据的方式有多种,从科学范式的角度来划分,常见方法如下:
第一种方法是基于气象站点观测法,即在气象站点部署观测仪器获取和记录气象数据,这种方法能够获得气象站点所在位置的较为准确的观测数据,然而,由于气象站点数量有限,往往只能进行稀疏观测,无法获得空间上连续的数据。
第二种方法是基于数学模型对区域气候进行模拟,即通过计算机进行数学计算进行实现气候系统的模拟,能够得到时空上连续的区域气候数据。但是,随着模拟区域的目标分辨率的提升,数学模型对区域气候进行模拟需要的算力也急剧增加,即便采用大型计算机进行模拟,仍难以快速得到结果。
第三种方法是基于数据驱动模型的模拟方法,例如深度学习模型,其通过数据驱动的方法驱动模型学习“输入数据”到“输出数据”之间的映射关系,并基于该映射关系,对新的数据进行模拟和预测。应用训练完成的深度学习模型进行区域气候模拟所需的算力较小,能够快速得到模拟结果。
然而,由于模型训练需要制作大量的训练数据,而训练数据中的标签数据通常由手工制作,导致训练周期长,工作量大,训练效率低,面对新的模拟区域时,模型无法快速迁移,且,现有的训练数据质量不高,导致模型的精度和泛化能力不足。
因此,需要提供一种针对上述现有技术不足的改进技术方案。
发明内容
本申请的目的在于提供一种耦合深度学习和HASM的区域气候模拟方法和系统,以解决或缓解上述现有技术中存在的问题。
为了实现上述目的,本申请提供如下技术方案:
本申请提供了一种耦合深度学习和HASM的区域气候模拟方法,包括:
获取目标区域的气象站点观测数据;
确定目标区域的模拟参数;
将所述气象站点观测数据和所述模拟参数输入区域气候耦合模型,得到区域气候模拟结果;
其中,所述区域气候耦合模型包括第一深度学习子模型、第二深度学习子模型和第一高精度曲面建模模型;其中,所述第一高精度曲面建模模型用于根据第一深度学习子模型的第一模拟结果生成标签数据,所述标签数据用于训练所述第二深度学习子模型。
优选地,在将所述气象站点观测数据和所述模拟参数输入区域气候耦合模型,得到区域气候模拟结果之前,所述方法还包括:
获取所述目标区域的气象站点历史数据;
迭代执行如下步骤,以基于所述目标区域的气象站点历史数据对所述区域气候耦合模型进行训练:
所述第一深度学习子模型对所述气象站点历史数据进行处理,得到第一模拟结果;
基于所述第一高精度曲面建模模型对所述气象站点历史数据和所述第一模拟结果进行曲面建模,得到曲面建模结果;
所述第二深度学习子模型对所述第一模拟结果进行特征学习,得到第二模拟结果;
以所述曲面建模结果作为标签数据、以所述第二模拟结果作为模拟值,计算模型损失值;
若所述模型损失值不满足预设的收敛条件,继续迭代执行基于所述目标区域的气象站点历史数据对所述区域气候耦合模型进行训练的步骤,直至所述模型损失值满足收敛条件,得到所述区域气候耦合模型。
优选地,所述第一深度学习子模型包括第一全连接网络和第二全连接网络;
所述第一深度学习子模型对所述气象站点历史数据进行处理,得到第一模拟结果,具体为:
所述第一全连接网络对所述气象站点历史数据通过第一映射处理对所述气象站点历史数据进行缺失值补齐,得到补齐后的气象站点历史数据;
所述第二全连接网络对所述补齐后的气象站点历史数据进行第二映射处理,得到所述第一模拟结果。
优选地,所述第二深度学习子模型包括特征提取模块和特征融合模块;
所述第二深度学习子模型对所述第一模拟结果进行特征学习,得到第二模拟结果,具体为:
所述特征提取模块对所述第一模拟结果进行特征提取,并将特征提取的结果输入至所述特征融合模块进行特征融合,得到特征融合结果;
将所述第一模拟结果与所述特征融合结果进行短连接,并将短连接的结果与所述特征融合结果进行卷积,得到所述第二模拟结果。
优选地,在所述第一深度学习子模型对所述气象站点历史数据进行处理,得到第一模拟结果之前,所述方法还包括:
对所述第一深度学习子模型进行预训练处理,并在所述第一深度学习子模型训练完成后,对所述第一深度学习子模型的参数进行冻结处理,以使所述第一深度学习子模型的参数在所述区域气候耦合模型的训练过程中保持不变。
优选地,对所述第一深度学习子模型进行预训练处理,具体为:
从所述气象站点历史数据获取目标数据子集;
基于所述目标区域的模拟参数,通过第二高精度曲面建模模型对所述目标数据子集进行模拟,得到第三模拟结果;
根据所述第三模拟结果和所述目标数据子集,训练得到所述第一深度学习子模型。
优选地,所述方法还包括:
基于所述目标区域的气象站点观测数据,确定所述目标区域的气象站点观测数据相对于训练所述区域气候耦合模型时使用的气象站点历史数据的数据增量;
响应于所述数据增量超过预设阈值,基于所述目标区域的气象站点观测数据对所述区域气候耦合模型进行增量训练,以更新所述区域气候耦合模型。
本申请实施例提供一种耦合深度学习和HASM的区域气候模拟系统,包括:
获取单元,配置为获取目标区域的气象站点观测数据;
确定单元,配置为确定目标区域的模拟参数;
模拟单元,配置为将所述气象站点观测数据和所述模拟参数输入区域气候耦合模型,得到区域气候模拟结果;
其中,所述区域气候耦合模型包括第一深度学习子模型、第二深度学习子模型和第一高精度曲面建模模型;其中,所述第一高精度曲面建模模型用于基于第一深度学习子模型的第一模拟结果生成标签数据,所述标签数据用于训练所述第二深度学习子模型。
优选地,该耦合深度学习和HASM的区域气候模拟系统还包括模型训练单元,所述模型训练单元配置为:
获取所述目标区域的气象站点历史数据;
迭代执行如下步骤,以基于所述目标区域的气象站点历史数据对所述区域气候耦合模型进行训练:
所述第一深度学习子模型对所述气象站点历史数据进行处理,得到第一模拟结果;
基于所述第一高精度曲面建模模型对所述气象站点历史数据和所述第一模拟结果进行曲面建模,得到曲面建模结果;
所述第二深度学习子模型对所述第一模拟结果进行特征学习,得到第二模拟结果;
以所述曲面建模结果作为标签数据、以所述第二模拟结果作为模拟值,计算模型损失值;
若所述模型损失值不满足预设的收敛条件,继续迭代执行基于所述目标区域的气象站点历史数据对所述区域气候耦合模型进行训练的步骤,直至所述模型损失值满足收敛条件,得到所述区域气候耦合模型。
有益效果:
本申请上述技术方案中,先获取目标区域的气象站点观测数据;确定目标区域的模拟参数;然后将所述气象站点观测数据和所述模拟参数输入区域气候耦合模型,得到区域气候模拟结果;其中,所述区域气候耦合模型包括第一深度学习子模型、第二深度学习子模型和第一高精度曲面建模模型;其中,所述第一高精度曲面建模模型用于根据第一深度学习子模型的第一模拟结果生成标签数据,所述标签数据用于训练所述第二深度学习子模型。由于区域气候耦合模型训练完成后,应用模型对目标区域的区域气候进行模拟所需算力非常小,能够快速得到区域模拟结果,并且,在模型训练的过程中,通过第一深度学习子模型和第一高精度曲面建模模型相互配合,无需手工操作制作训练数据中的标签数据,就能够快速、自动基于第一模拟结果生成标签数据,大大提高了模型训练的效率,此外,通过高精度曲面建模(High Accuracy Surface Modeling,简称HASM)方法可以为第二深度学习子模型提供高精度的训练数据,提升深度学习模型的学习效果,如此将两者结合对区域气候耦合模型进行训练,当切换目标区域时,原有参数不再适于用来预测新的目标区域气候,通过该技术方案能够快速为区域气候耦合模型训练出新的参数,可以大大提升对区域气候预估的效率和准确性。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。其中:
图1为根据本申请的一些实施例提供的耦合深度学习和HASM的区域气候模拟方法的逻辑示意图;
图2为根据本申请的一些实施例提供的耦合深度学习和HASM的区域气候模拟方法的流程示意图;
图3为根据本申请的一些实施例提供的区域气候耦合模型的结构示意图;
图4为根据本申请的一些实施例提供的第一深度学习子模型的结构示意图;
图5为根据本申请的一些实施例提供的第二深度学习子模型的结构示意图;
图6为根据本申请的一些实施例提供的第一高精度曲面建模模型的结构示意图;
图7为根据本申请的一些实施例提供的耦合深度学习和HASM的区域气候模拟系统的结构示意图。
具体实施方式
下面将参考附图并结合实施例来详细说明本申请。各个示例通过本申请的解释的方式提供而非限制本申请。实际上,本领域的技术人员将清楚,在不脱离本申请的范围或精神的情况下,可在本申请中进行修改和变型。例如,示为或描述为一个实施例的一部分的特征可用于另一个实施例,以产生又一个实施例。因此,所期望的是,本申请包含归入所附权利要求及其等同物的范围内的此类修改和变型。
在以下描述中,所涉及的术语“第一/第二/第三”仅仅是区别类似的对象,不代表对对象的特定排序,可以理解地,“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
示例性方法
本申请实施例提供一种耦合深度学习和HASM的区域气候模拟方法,如图1至图6所示,该方法包括:
步骤S101、获取目标区域的气象站点观测数据。
本申请实施例中,目标区域可以是具有确切地理空间范围的任意区域。目标区域可以通过指定经纬度进行确定,也可以通过相关软件进行操作确定,比如在软件操作界面中绘制方框、圆形或者任意图形确定目标区域的范围。本申请实施例以目标区域为鄱阳湖流域为例进行技术方案的说明。
本申请实施例中,气象站为实时监测气象数据和环境数据的区域,通常,气象站在地图上通常用点数据表示,因而也称为气象站点。通过在气象站点布设数据采集设备,可以观测到诸如:气温、湿度、风向、风速、大气压力、降水量、太阳辐射等气象数据,本申请实施例中,以气象站点观测数据为目标区域的日平均气温为例进行说明。
示例性地,当目标区域为鄱阳湖流域时,获取鄱阳湖流域的气象站点观测数据,基于采用本申请提供的方法,能够快速得到整个鄱阳湖流域高精度的区域气候模拟结果。
步骤S102、确定目标区域的模拟参数。
需要说明的是,在对目标区域的区域气候进行建模时,首先需要确定目标区域的模拟参数,这些模拟参数可以包括但不限于:区域气候模拟结果的目标分辨率、模拟网格的大小、模拟网格的行列数等。其中,区域气候模拟结果的目标分辨率指的是区域气候模拟结果的空间分辨率。本申请实施例中,区域气候模拟结果为栅格数据,其空间分辨率可以是栅格数据中每个像元表示的地面单元的长度。模拟网格指的是对目标区域进行格网化得到的结果,可以理解,在目标分辨率确定后,模拟网格的大小、模拟网格的行列数均可以根据目标区域的范围、目标分辨率计算得到。也就是说,根据目标分辨率对目标区域进行格网划分,即可得到模拟网格的行列数,每个网格的边长即为模拟网格的大小。
以鄱阳湖流域为例,可以根据模拟目标精度确定目标空间分辨率,比如30米、40米、50米等,根据目标空间分辨率对鄱阳湖流域进行网格划分,比如将该流域的空间范围划分为m×n的模拟网格,其中,m为模拟网格的行数、n为模拟网格的列数。
步骤S103、将气象站点观测数据和模拟参数输入区域气候耦合模型,得到区域气候模拟结果。
其中,区域气候耦合模型基于深度学习模型和HASM构建,包括第一深度学习子模型、第二深度学习子模型和第一高精度曲面建模模型;其中,第一高精度曲面建模模型用于根据第一深度学习子模型的第一模拟结果生成标签数据,标签数据用于训练第二深度学习子模型。
需要说明的是,深度学习模型是一个端到端的模型,其需要一个固定大小的输入数据且模型中的每一层中数据的大小也是固定的。从步骤S102确定目标区域的模拟参数后,结合目标区域的气象站点数据,就可以确定深度学习模型中神经网络模型的输入数据尺寸以及输出数据尺寸,然后结合上述子模型构建出整个区域气候耦合模型的架构。
本申请实施例中,参见图3,区域气候耦合模型由多个子模型构成,每一个子模型又可以称为神经网络模块,其中,第一深度学习子模型(即神经网络模块A)用于对气象站点观测数据进行处理,生成第一模拟结果;第一高精度曲面建模模型(即HASM模块C)用于根据第一深度学习子模型的第一模拟结果生成标签数据,标签数据用于训练第二深度学习子模型(即神经网络模块B);也就是说,第一高精度曲面建模模型根据第一模拟结果,能够生成第二深度学习子模型的训练数据中的标签数据。由于高精度曲面建模模型能够基于气象站点观测数据自动生成高精度的曲面模拟结果,从而免除了模型训练过程中需要手工制作训练数据中的标签,只需要输入气象站点观测数据,就可以快速得到目标区域的标签数据。由于无需预先制作标签数据,使得模型在迁移到其他区域时,能够快速训练得到新的模型参数,大大提高了模型的适用性和快速迁移能力。
为了对区域气候耦合模型进行训练,在将气象站点观测数据和模拟参数输入区域气候耦合模型,得到区域气候模拟结果之前,该方法还包括:
获取目标区域的气象站点历史数据;迭代执行如下步骤,以基于目标区域的气象站点历史数据对区域气候耦合模型进行训练:第一深度学习子模型对气象站点历史数据进行处理,得到第一模拟结果;基于第一高精度曲面建模模型对气象站点历史数据和第一模拟结果进行曲面建模,得到曲面建模结果;第二深度学习子模型对第一模拟结果进行特征学习,得到第二模拟结果;以曲面建模结果作为标签数据、以第二模拟结果作为模拟值,计算模型损失值;若模型损失值不满足预设的收敛条件,继续迭代执行基于目标区域的气象站点历史数据对区域气候耦合模型进行训练的步骤,直至模型损失值满足收敛条件,得到区域气候耦合模型。
本申请实施例中,为了提高模型的泛化能力,需要获取目标区域大量的气象站点历史数据作为模型的输入数据。比如,要对某个区域的日平均气温进行预测,则需要收集该地区的气候基本特征。本申请实施例中,通过获取30年或者更长时间的气象站点历史观测数据,以反映模拟区域的气候基本特征,提高模型预测的精度。
以鄱阳湖流域为例,若要对鄱阳湖流域1980到2020年的日平均气温进行模拟,则可以收集1980-2020年期间该地区气象站点的日平均气温观测数据。
在获取气象站点历史数据后,还需要对收集到的气象站点历史数据进行预处理。本申请实施例中,为了减少手动操作,针对气象站点历史数据的特点,设计了第一深度学习子模型对其进行预处理,以生成预处理结果——即第一模拟结果。
参见图4,第一深度学习子模型包括第一全连接网络和第二全连接网络;第一深度学习子模型对气象站点历史数据进行处理,得到第一模拟结果,具体为:第一全连接网络对气象站点历史数据通过第一映射处理对气象站点历史数据进行缺失值补齐,得到补齐后的气象站点历史数据;第二全连接网络对补齐后的气象站点历史数据进行第二映射处理,得到第一模拟结果。
需要说明的是,气象站点因为恶劣天气、电源等问题,经常会导致气象站点历史数据的缺失,也就是说,气象站点历史数据中存在缺失值。针对该特点,本申请实施例设计了两层全连接网络,即第一全连接网络和第二全连接网络,由它们组成第一深度学习子模型对气象站点历史数据进行预处理,以得到与模拟网格的空间分辨率一致的第一模拟结果。
其中,第一全连接网络用于对气象站点历史数据进行缺失值补齐。这里,第一映射处理即使用全连接函数对气象站点历史数据进行处理,全连接函数可以是固定值映射,比如,将缺失值固定映射成0值,也就是将缺失值用0进行补齐。当然,全连接函数也可以是插值函数,比如通过线性插值、非线性插值,利用已知的气象站点数据插值得到缺失值。
优选地,本申请实施例采用将缺失值固定映射成0值,以提高处理速度。这样,通过第一深度学习子模型对气象站点历史数据进行插补和预处理,无需另行进行预处理操作,使得模型的使用更加方便简捷,提高了区域气候预估的效率。
在对气象站点历史数据进行预处理之后,为了完成从点到面的映射,第一深度学习子模型还包括第二全连接网络,用于对补齐后的气象站点历史数据进行第二映射处理,以生成与模拟网格具有相同空间分辨率相同的初始趋势面。
具体地,参见图4,第二映射处理实际上是一个对补齐后的气象站点历史数据进行重塑的过程,即将补齐后的长度为l,即尺寸为(l1)的一维气象站点历史数据重塑成(1,m, n)形式的二维数据,也就是输出为1×m×n大小的矩阵,并以该二维数据作为初始趋势面,分别输入到第一高精度曲面建模模型和第二深度学习子模型进行下一步的运算。其中,l为目标区域内气象站点的数量。
在完成对气象站点历史数据的预处理之后,区域气候耦合模型分成上下两个分支。参见图3,上面分支为第一高精度曲面建模模型,即HASM模块C,用于对气象站点历史数据和第一模拟结果进行曲面建模,得到曲面建模结果,下面分支为第二深度学习子模型,即神经网络模块B,用于对第一模拟结果进行特征学习,得到第二模拟结果。
其中,高精度曲面建模方法是我国学者岳天祥团队将系统论、曲面论和优化控制论进行有机结合而构建的一种数学模型,其能够更精准的对生态环境要素进行表达和分析,得到空间上连续的生态环境要素曲面。其基本原理是将生态环境要素的格网化表达抽象为数学“曲面”,进而通过曲面建模技术对其进行模拟,从而得到高精度的模拟结果。HASM将宏观信息和细节结合,进行高精度的生态环境要素曲面建模,解决了在建模过程中的误差问题。
如图6所示,本申请实施例中,将补齐后的气象站点历史数据作为输入数据,并将其作为HASM的优化控制条件,以第一模拟结果作为初始趋势面,基于HASM对区域气候进行曲面建模,得到曲面建模结果,并将曲面建模结果作为标签数据对第二深度学习子模型进行训练,进而得到训练完成的区域气候耦合模型。
比如,对鄱阳湖流域的日平均气温进行预估时,将前述步骤获取的1980-2020年期间气象站点历史数据通过第一全连接网络进行缺失值补齐得到的点数据作为优化控制条件,将第二全连接网络生成的初始趋势面输入到HASM中,生成曲面模拟结果,并将其作为标签数据计算与第二深度学习子模型的模拟结果进行计算整个模型的损失(Loss)。
第二深度学习子模型作为区域气候耦合模型的下面分支,其能够对第一模拟结果进行特征学习,并基于曲面模拟结果将特征学习的结果进行反向传播,从而优化其参数。具体地,第二深度学习子模型包括特征提取模块和特征融合模块;第二深度学习子模型对第一模拟结果进行特征学习,得到第二模拟结果,具体为:特征提取模块对第一模拟结果进行特征提取,并将特征提取的结果输入至特征融合模块进行特征融合,得到特征融合结果;将第一模拟结果与特征融合结果进行短连接(shortcut,即维度拼接),并将短连接的结果与特征融合结果进行卷积,得到第二模拟结果。
图5示出了第二深度学习子模型的详细结构,如图5所示,第二深度学习子模型以1 ×m×n大小的矩阵(第一模拟结果)作为输入,然后经过卷积进行特征提取,得到特征提取的结果。其中,卷积核的大小和卷积通道的数量可根据具体需求确定。比如,卷积通道的数量为c,则经过卷积后,矩阵的尺寸为c×m×n
随后,将特征提取的结果输入到特征融合模块进行特征融合,得到1×m×n尺寸的特征融合结果。接着将第一模拟结果与特征融合结果进行短连接,以充分利用补齐后的气象站点历史数据的特征,并在维度上进行拼接,得到2×m×n的矩阵,即短连接的结果与特征融合结果,最后对2×m×n的矩阵进行再次卷积,得到第二深度学习子模型的第二模拟结果,也就是本次迭代生成的区域气候模拟结果,该结果是大小为1×m×n的矩阵。
之后,将上面分支得到的曲面模拟结果作为标签数据与第二深度学习子模型的模拟结果进行计算,得到模型损失值(Loss)。并判断模型损失值是否满足预设的收敛条件,如果满足收敛条件,则输出模型参数,得到训练完成的区域气候耦合模型,并结束训练;如果不满足收敛条件,则进行反向传播,继续迭代执行上述基于气象站点历史数据对区域气候耦合模型进行训练的步骤,直到模型损失值满足收敛条件。
以鄱阳湖流域为例,以每一天的气象站点历史数据为输入数据,无需提供气象站点数据对应的标签数据,直接输入到模型进行训练。在对区域气候耦合模型训练时,将输入数据的80%作为训练集,用来训练模型,当模型损失值满足收敛条件后,用另外20%的输入数据对模型进行测试,也就是作为验证集。
本申请实施例中,模型训练的收敛条件采用均方根误差RMSE(Root Mean SquareError)作为评估指标,当基于验证集计算得到的RMSE达到预设的阈值或者RMSE不再发生变化,则认为满足收敛条件,结束模型训练,得到训练完成的区域气候耦合模型。
其中,RMSE的计算公式如下:
Figure SMS_1
式中,N表示气象站点数量,P i 表示第i个气象站点处的气候要素预测值,o i 表示第i个气象站点处气候要素的标签值,即曲面模拟结果中与第i个气象站点位置对应的曲面模拟值。
为了进一步提高模型训练的效率,一些实施例中,第一深度学习子模型对气象站点历史数据进行处理,得到第一模拟结果之前,方法还包括:
对第一深度学习子模型进行预训练处理,并在第一深度学习子模型训练完成后,对第一深度学习子模型的参数进行冻结处理,以使第一深度学习子模型的参数在区域气候耦合模型的训练过程中保持不变。
本申请实施例中,通过对第一深度学习子模型进行预训练处理(也称为预调参),并其训练收敛后,在整个区域气候耦合模型训练过程中冻结其参数,使其在区域气候耦合模型训练过程中参数不变,从而减少区域气候耦合模型训练时参数,进一步提高了区域气候耦合模型训练的速度。
在一些实施例中,对第一深度学习子模型进行预训练处理,具体为:从气象站点历史数据获取目标数据子集;基于目标区域的模拟参数,通过第二高精度曲面建模模型对目标数据子集进行模拟,得到第三模拟结果;根据第三模拟结果和目标数据子集,训练得到第一深度学习子模型。
具体的,先从收集到的气象站点历史数据中选择目标数据子集,比如,可以选择多个时间段数据中数据质量较好的时间段对应的子集作为目标数据子集,或者,任意选择其中一个时间段的数据作为目标数据子集。
示例性的,以鄱阳湖流域为例,从收集到的1980-2020年期间气象站点历史数据中任意选取一年的日尺度数据,例如研究对象为气温,则选取鄱阳湖流域内任意一年气象站点观测到的历史气温数据,然后基于目标区域的模拟参数,使用HASM方法(即第二高精度曲面建模模型)对该年份的气象站点历史数据进行空间插值和模拟,得到该年份每一天的气温栅格数据(即第三模拟结果)。
然后将上述气温栅格数据作为标签数据,该年度的气象站点历史数据(目标数据子集)作为训练样本,形成匹配的训练数据集,输入到第一深度学习子模型进行训练,得到预训练完成的第一深度子模型,并将预训练完成的第一深度子模型对应的参数进行冻结处理,以使其在区域气候耦合模型的训练过程中保持不变。
在得到训练完成的区域气候耦合模型之后,即可在新数据上使用该模型进行预测,或者,当新数据的增量较大时对模型进行增量训练,为此,在一些实施例中,该方法还包括:基于目标区域的气象站点观测数据,确定目标区域的气象站点观测数据相对于训练区域气候耦合模型时使用的气象站点历史数据的数据增量;响应于数据增量超过预设阈值,基于目标区域的气象站点观测数据对区域气候耦合模型进行增量训练,以更新区域气候耦合模型。
应理解,区域气候耦合模型一旦训练完成,当有新的气象站点观测数据时,即可直接应用区域气候耦合模型对其进行模拟,从而预测未来气候取值,且应用该模型所需的算力非常小,远远小于基于数学模型对区域气候进行模拟所需的算力,从而大大提高了区域气候模拟的效率。
然而,实际应用中,当用于训练区域气候耦合模型的训练数据与待模拟的目标区域数据差异较大时,往往模型的泛化能力不足,直接使用原有的参数对目标区域进行预测将会使得到的模拟结果精度不佳。因此,本申请实施例中,首先将目标区域的气象站点观测数据与训练区域气候耦合模型使用的气象站点历史数据进行比对,确定其数据增量,也就是二者数据的差异,当数据增量超过预设阈值,比如新增超过10年的数据,则可以在原有区域气候耦合模型的基础上进行增量训练。应理解,其训练步骤与前述对区域气候耦合模型的训练步骤一致,在此不做一一赘述。由于本申请实施例所提供的区域气候耦合模型能够直接对气象站点所获取的原始观测数据进行自动预处理、自动生成气象站点观测数据相匹配的高精度的标签数据,使得在进行增量训练时,只需输入新增的气象站点观测数据,即可快速得到新的参数,从而提高区域气候耦合模型对该区域的模拟精度。
综上,本申请实施例提供的技术方案中,先获取目标区域的气象站点观测数据;确定目标区域的模拟参数;然后将气象站点观测数据和模拟参数输入区域气候耦合模型,得到区域气候模拟结果;其中,区域气候耦合模型包括第一深度学习子模型、第二深度学习子模型和第一高精度曲面建模模型;其中,第一高精度曲面建模模型用于根据第一深度学习子模型的第一模拟结果生成标签数据,标签数据用于训练第二深度学习子模型。由于区域气候耦合模型训练完成后,应用模型对目标区域的区域气候进行模拟所需算力非常小,能够快速得到区域模拟结果,并且,在模型训练的过程中,通过第一深度学习子模型和第一高精度曲面建模模型相互配合,无需手工操作制作训练数据中的标签数据,就能够快速、自动基于第一模拟结果生成标签数据,大大提高了模型训练的效率,此外,通过高精度曲面建模(HASM)方法可以为深度学习提供高精度的训练数据,提升深度学习模型的学习效果,如此将两者结合对区域气候耦合模型进行训练,当切换目标区域时,当原有参数不再适于用来预测新的目标区域气候,能够快速为区域气候耦合模型训练出新的参数,可以大大提升对区域气候预估的效率和准确性。
本申请实施例提供的方法,将高精度曲面建模方法(属于数学模型)和深度学习模型耦合,从而改善深度学习模型的输入数据质量,提高了训练数据的精度。
针对当前区域气候模拟精度不足、速度较慢的缺陷,本申请实施例提供的方法将HASM与深度学习进行耦合,有效解决了模拟的精度和速度问题。利用本申请实施例提供的方法,可以对目标区域的气候要素进行高精度模拟,从而获取对应的气候栅格数据。并且,在区域气候耦合模型完成训练之后,无需预先制作与输入数据(X)匹配的标签数据(Y),只需要输入气象站点的观测数据,就可以将模型应用实时应用到当前观测数据之上,提升了气候模拟精度的同时,降低了所需要的算力。
此外,需要特别说明的是,本申请提供的区域气候耦合模型其本质是回归模型,将HASM与深度学习模型耦合,不仅提高了标签数据的质量,而且通过第一深度学习子模型提升了气象站点历史数据的质量,二者结合,使得模型的精度进一步得到提高。
示例性系统
本申请实施例提供一种耦合深度学习和HASM的区域气候模拟系统,如图7所示,该系统包括:获取单元701、确定单元702、模拟单元703、模型训练单元704。其中:
获取单元701,配置为获取目标区域的气象站点观测数据;
确定单元702,配置为确定目标区域的模拟参数;
模拟单元703,配置为将气象站点观测数据和模拟参数输入区域气候耦合模型,得到区域气候模拟结果;
其中,区域气候耦合模型包括第一深度学习子模型、第二深度学习子模型和第一高精度曲面建模模型;其中,第一高精度曲面建模模型用于基于第一深度学习子模型的第一模拟结果生成标签数据,标签数据用于训练第二深度学习子模型。
在一些实施例中,该系统还包括模型训练单元704,模型训练单元704配置为:获取目标区域的气象站点历史数据;
迭代执行如下步骤,以基于目标区域的气象站点历史数据对区域气候耦合模型进行训练:
第一深度学习子模型对气象站点历史数据进行处理,得到第一模拟结果;
基于第一高精度曲面建模模型对气象站点历史数据和第一模拟结果进行曲面建模,得到曲面建模结果;
第二深度学习子模型对第一模拟结果进行特征学习,得到第二模拟结果;
以曲面建模结果作为标签数据、以第二模拟结果作为模拟值,计算模型损失值;
若模型损失值不满足预设的收敛条件,继续迭代执行基于目标区域的气象站点历史数据对区域气候耦合模型进行训练的步骤,直至模型损失值满足收敛条件,得到区域气候耦合模型。
本申请实施例提供的一种耦合深度学习和HASM的区域气候模拟系统能够实现上述任一实施例提供的耦合深度学习和HASM的区域气候模拟方法的步骤、流程,并达到相同的技术效果,在此不再一一赘述。
以上仅为本申请的优选实施例,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (7)

1.一种耦合深度学习和HASM的区域气候模拟方法,其特征在于,包括:
获取目标区域的气象站点观测数据;
确定目标区域的模拟参数;所述模拟参数包括:区域气候模拟结果的目标分辨率、模拟网格的大小、模拟网格的行列数;
将所述气象站点观测数据和所述模拟参数输入区域气候耦合模型,得到区域气候模拟结果;
其中,所述区域气候耦合模型包括第一深度学习子模型、第二深度学习子模型和第一高精度曲面建模模型;其中,所述第一高精度曲面建模模型用于根据第一深度学习子模型的第一模拟结果生成标签数据,所述标签数据用于训练所述第二深度学习子模型;
在将所述气象站点观测数据和所述模拟参数输入区域气候耦合模型,得到区域气候模拟结果之前,所述方法还包括:
获取所述目标区域的气象站点历史数据;
迭代执行如下步骤,以基于所述目标区域的气象站点历史数据对所述区域气候耦合模型进行训练:
所述第一深度学习子模型对所述气象站点历史数据进行处理,得到第一模拟结果;
基于所述第一高精度曲面建模模型对所述气象站点历史数据和所述第一模拟结果进行曲面建模,得到曲面建模结果;
所述第二深度学习子模型对所述第一模拟结果进行特征学习,得到第二模拟结果;
以所述曲面建模结果作为标签数据、以所述第二模拟结果作为模拟值,计算模型损失值;
若所述模型损失值不满足预设的收敛条件,继续迭代执行基于所述目标区域的气象站点历史数据对所述区域气候耦合模型进行训练的步骤,直至所述模型损失值满足收敛条件,得到所述区域气候耦合模型。
2.根据权利要求1所述的耦合深度学习和HASM的区域气候模拟方法,其特征在于,所述第一深度学习子模型包括第一全连接网络和第二全连接网络;
所述第一深度学习子模型对所述气象站点历史数据进行处理,得到第一模拟结果,具体为:
所述第一全连接网络对所述气象站点历史数据通过第一映射处理对所述气象站点历史数据进行缺失值补齐,得到补齐后的气象站点历史数据;
所述第二全连接网络对所述补齐后的气象站点历史数据进行第二映射处理,得到所述第一模拟结果。
3.根据权利要求1所述的耦合深度学习和HASM的区域气候模拟方法,其特征在于,所述第二深度学习子模型包括特征提取模块和特征融合模块;
所述第二深度学习子模型对所述第一模拟结果进行特征学习,得到第二模拟结果,具体为:
所述特征提取模块对所述第一模拟结果进行特征提取,并将特征提取的结果输入至所述特征融合模块进行特征融合,得到特征融合结果;
将所述第一模拟结果与所述特征融合结果进行短连接,并将短连接的结果与所述特征融合结果进行卷积,得到所述第二模拟结果。
4.根据权利要求1所述的耦合深度学习和HASM的区域气候模拟方法,其特征在于,在所述第一深度学习子模型对所述气象站点历史数据进行处理,得到第一模拟结果之前,所述方法还包括:
对所述第一深度学习子模型进行预训练处理,并在所述第一深度学习子模型训练完成后,对所述第一深度学习子模型的参数进行冻结处理,以使所述第一深度学习子模型的参数在所述区域气候耦合模型的训练过程中保持不变。
5.根据权利要求4所述的耦合深度学习和HASM的区域气候模拟方法,其特征在于,对所述第一深度学习子模型进行预训练处理,具体为:
从所述气象站点历史数据获取目标数据子集;
基于所述目标区域的模拟参数,通过第二高精度曲面建模模型对所述目标数据子集进行模拟,得到第三模拟结果;
根据所述第三模拟结果和所述目标数据子集,训练得到所述第一深度学习子模型。
6.根据权利要求1所述的耦合深度学习和HASM的区域气候模拟方法,其特征在于,所述方法还包括:
基于所述目标区域的气象站点观测数据,确定所述目标区域的气象站点观测数据相对于训练所述区域气候耦合模型时使用的气象站点历史数据的数据增量;
响应于所述数据增量超过预设阈值,基于所述目标区域的气象站点观测数据对所述区域气候耦合模型进行增量训练,以更新所述区域气候耦合模型。
7.一种耦合深度学习和HASM的区域气候模拟系统,其特征在于,包括:
获取单元,配置为获取目标区域的气象站点观测数据;
确定单元,配置为确定目标区域的模拟参数;所述模拟参数包括:区域气候模拟结果的目标分辨率、模拟网格的大小、模拟网格的行列数;
模拟单元,配置为将所述气象站点观测数据和所述模拟参数输入区域气候耦合模型,得到区域气候模拟结果;
其中,所述区域气候耦合模型包括第一深度学习子模型、第二深度学习子模型和第一高精度曲面建模模型;其中,所述第一高精度曲面建模模型用于基于第一深度学习子模型的第一模拟结果生成标签数据,所述标签数据用于训练所述第二深度学习子模型;
还包括模型训练单元,所述模型训练单元配置为:
获取所述目标区域的气象站点历史数据;
迭代执行如下步骤,以基于所述目标区域的气象站点历史数据对所述区域气候耦合模型进行训练:
所述第一深度学习子模型对所述气象站点历史数据进行处理,得到第一模拟结果;
基于所述第一高精度曲面建模模型对所述气象站点历史数据和所述第一模拟结果进行曲面建模,得到曲面建模结果;
所述第二深度学习子模型对所述第一模拟结果进行特征学习,得到第二模拟结果;
以所述曲面建模结果作为标签数据、以所述第二模拟结果作为模拟值,计算模型损失值;
若所述模型损失值不满足预设的收敛条件,继续迭代执行基于所述目标区域的气象站点历史数据对所述区域气候耦合模型进行训练的步骤,直至所述模型损失值满足收敛条件,得到所述区域气候耦合模型。
CN202310383543.5A 2023-04-12 2023-04-12 一种耦合深度学习和hasm的区域气候模拟方法和系统 Active CN116108761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310383543.5A CN116108761B (zh) 2023-04-12 2023-04-12 一种耦合深度学习和hasm的区域气候模拟方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310383543.5A CN116108761B (zh) 2023-04-12 2023-04-12 一种耦合深度学习和hasm的区域气候模拟方法和系统

Publications (2)

Publication Number Publication Date
CN116108761A CN116108761A (zh) 2023-05-12
CN116108761B true CN116108761B (zh) 2023-06-27

Family

ID=86265878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310383543.5A Active CN116108761B (zh) 2023-04-12 2023-04-12 一种耦合深度学习和hasm的区域气候模拟方法和系统

Country Status (1)

Country Link
CN (1) CN116108761B (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683185B (zh) * 2017-01-09 2020-04-03 中国科学院地理科学与资源研究所 一种基于大数据的高精度曲面建模方法
US10909446B2 (en) * 2019-05-09 2021-02-02 ClimateAI, Inc. Systems and methods for selecting global climate simulation models for training neural network climate forecasting models
KR102063358B1 (ko) * 2019-10-22 2020-03-02 (주)한국해양기상기술 고해상도 기상기후데이터를 생성하기 위한 학습 방법 및 테스트 방법, 이를 이용한 테스트 방법 및 테스트 장치
CN112016633A (zh) * 2020-09-25 2020-12-01 北京百度网讯科技有限公司 一种模型训练方法、装置、电子设备及存储介质
CN112990558B (zh) * 2021-02-26 2023-08-29 重庆大学 一种基于深度迁移学习的气象温度、光照的预测方法
CN114880958B (zh) * 2022-07-12 2022-10-11 南京气象科技创新研究院 一种基于多气象因子智能深度学习的能见度预报方法
CN114970222B (zh) * 2022-08-02 2022-11-11 中国科学院地理科学与资源研究所 基于hasm的区域气候模式日平均气温偏差订正方法和系统
CN115374682B (zh) * 2022-10-25 2023-01-03 中国科学院地理科学与资源研究所 一种时空协同的高精度曲面建模方法和系统
CN115795399B (zh) * 2023-01-31 2023-04-28 中国科学院地理科学与资源研究所 一种多源遥感降水数据自适应融合方法和系统
CN115795402B (zh) * 2023-02-10 2023-04-07 中国科学院地理科学与资源研究所 一种基于变分法的多源降水数据融合方法和系统
CN115952743B (zh) * 2023-03-14 2023-05-05 中国科学院地理科学与资源研究所 耦合随机森林和hasm的多源降水数据协同降尺度方法和系统

Also Published As

Publication number Publication date
CN116108761A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
US11966670B2 (en) Method and system for predicting wildfire hazard and spread at multiple time scales
US11333796B2 (en) Spatial autocorrelation machine learning-based downscaling method and system of satellite precipitation data
US11205028B2 (en) Estimating physical parameters of a physical system based on a spatial-temporal emulator
CN110363327B (zh) 基于ConvLSTM和3D-CNN的短临降水预测方法
CN105243435B (zh) 一种基于深度学习元胞自动机模型的土壤含水量预测方法
US11720727B2 (en) Method and system for increasing the resolution of physical gridded data
KR20160060793A (ko) 능동형 정보수집 스크립트 및 수치모형을 이용한 태풍해일 자동 예측 방법
CN112785035A (zh) 融合多元信息的中短期水文预报方法及系统
CN112100922A (zh) 一种基于wrf和cnn卷积神经网络的风资源预测方法
CN113627093A (zh) 一种基于改进Unet网络的水下机构跨尺度流场特征预测方法
CN116720156A (zh) 基于图神经网络多模态气象数据融合的气象要素预报方法
Zhang et al. SolarGAN: Synthetic annual solar irradiance time series on urban building facades via Deep Generative Networks
CN114895380A (zh) 一种太阳辐射预测方法、装置、设备和介质
Asanza et al. Fpga based meteorological monitoring station
Han et al. CoolVox: Advanced 3D convolutional neural network models for predicting solar radiation on building facades
Kaparakis et al. Wf-unet: Weather fusion unet for precipitation nowcasting
TWI717796B (zh) 以人工智慧估測地理位置日照量之系統、方法及儲存媒體
CN116108761B (zh) 一种耦合深度学习和hasm的区域气候模拟方法和系统
Gao et al. Upscaling of sparse in situ soil moisture observations by integrating auxiliary information from remote sensing
CN115510732B (zh) 一种基于深度学习的方舱红外特性仿真快速算法
CN115952743A (zh) 耦合随机森林和hasm的多源降水数据协同降尺度方法和系统
CN116188993A (zh) 一种基于多任务学习的遥感图像耕地地块分割方法
Kaparakis et al. WF-UNet: Weather data fusion using 3d-unet for precipitation nowcasting
CN114418243A (zh) 分布式新能源云端网格预测方法与系统
Li et al. Deepphysinet: Bridging deep learning and atmospheric physics for accurate and continuous weather modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant