CN112488382A - 基于深度学习的enso预报方法 - Google Patents
基于深度学习的enso预报方法 Download PDFInfo
- Publication number
- CN112488382A CN112488382A CN202011357905.6A CN202011357905A CN112488382A CN 112488382 A CN112488382 A CN 112488382A CN 202011357905 A CN202011357905 A CN 202011357905A CN 112488382 A CN112488382 A CN 112488382A
- Authority
- CN
- China
- Prior art keywords
- forecasting
- training
- model
- deep learning
- physical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Resources & Organizations (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供的一种基于深度学习的ENSO预报方法,包括:从不同途径获取若干物理要素数据观测集;对物理要素数据观测集进行处理,使得全部的物理要素数据观测集的数据格式相同;对物理要素数据观测集中的若干种物理要素场进行预提取得到训练特征;通过深度学习算法,将训练特征中的各个要素物理量导入模型中进行训练得到预报模型;将实时观测数据导入预报模型中得到预报结果。本发明提供的基于深度学习的ENSO预报方法结合深度学习的方式最大程度上挖掘潜藏在大量数据中的有效信息,有效解决了现有技术中ENSO预报偏差较大的问题,从而实现更加准确的预报,提升预报精度。
Description
技术领域
本发明涉及数据处理技术和机器学习技术领域,尤其涉及基于深度学习的ENSO预报方法。
背景技术
发明内容
本发明提供的一种基于深度学习的ENSO预报方法,以解决现有技术中ENSO预报偏差较大的问题,从而实现更加准确的预报,提升预报精度。
为解决上述技术问题,本发明提供的技术方案为:
本发明提供的一种基于深度学习的ENSO预报方法,其特征在于,包括:
从不同途径获取若干物理要素数据观测集;
对物理要素数据观测集进行处理,使得全部的物理要素数据观测集的数据格式相同;
对物理要素数据观测集中的若干种物理要素场进行预提取得到训练特征;
通过深度学习算法,将训练特征中的各个要素物理量导入模型中进行训练得到预报模型;
将实时观测数据导入预报模型中得到预报结果。
本发明提供的基于深度学习的ENSO预报方法,其特征在于,所述“对物理要素数据观测集进行处理”还包括:对物理要素数据观测集进行插值处理;空间插值部分利用气象数据处理系统CDO进行双线性插值处理,最终处理成1°分辨率;时间插值部分采用一阶线性插值方法,插值到逐日。
本发明提供的基于深度学习的ENSO预报方法,其特征在于,所述“对物理要素数据观测集进行处理,使得全部的物理要素数据观测集的数据格式相同”还包括:对每个物理要素场中的缺失值进行填充,将全场全时次平均后的数值填充在缺失位置。
本发明提供的基于深度学习的ENSO预报方法,其特征在于,所述“深度学习算法”为残差神经网络算法;所述“物理要素数据观测集”的时间范围为当前年份之前所有年份;
其中,前80%年份的训练特征作为模型的训练集,后20%年份的训练特征作为模型的测试集。
本发明提供的基于深度学习的ENSO预报方法,其特征在于,所述“物理要素数据观测集中的若干种物理要素场进行预提取”具体为:采用最大信息系数来对物理要素数据观测集中的若干种物理要素场进行时空信息的特征预提取;采用全场均值作为阈值,大于阈值保留作为训练特征。
本发明提供的基于深度学习的ENSO预报方法,其特征在于,所述“将训练特征中的各个要素物理量导入到模型中进行训练得到预报模型”具体为:单独将训练特征中的各个要素物理量导入模型进行训练得到若干单要素预测模型,通过测试集对单要素物理量的预测结果进行评估,按照Taylor图模式评估的方式,在逐个超前预报时效上选出最优训练因子的组合;将选出的各个要素物理量中的最优训练因子导入到模型中进行训练得到预报模型。
本发明提供的基于深度学习的ENSO预报方法,其特征在于,所述模式评估的方式结合Pearson相关系数、均方根误差、标准差偏差三种指标,按照如下公式择优进行选择:
本发明提供的基于深度学习的ENSO预报方法,其特征在于,所述“将选出的各个要素物理量中的最优训练因子导入到模型中进行训练得到预报模型”具体为,将选出的各个要素物理量中的最优训练因子导入到模型中进行训练,分别在1~12个月的超前时效上单独训练模型,得到预报模型。
本发明具有如下优点:
本发明提供的一种基于深度学习的ENSO预报方法,包括:从不同途径获取若干物理要素数据观测集;对物理要素数据观测集进行处理,使得全部的物理要素数据观测集的数据格式相同;对物理要素数据观测集中的若干种物理要素场进行预提取得到训练特征;通过深度学习算法,将训练特征中的各个要素物理量导入模型中进行训练得到预报模型;将实时观测数据导入预报模型中得到预报结果。本发明提供的基于深度学习的ENSO预报方法结合深度学习的方式最大程度上挖掘潜藏在大量数据中的有效信息,有效解决了现有技术中ENSO预报偏差较大的问题,从而实现更加准确的预报,提升预报精度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明及其特征、外形和优点将会变得更加明显。在全部附图中相同的标记指示相同的部分。并未刻意按照比例绘制附图,重点在于示出本发明的主旨。
图1是本发明实施例1提供的基于深度学习的ENSO预报系统的流程示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。需要注意的是,本发明所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。
如图1所示,本发明实施例1提供的一种基于深度学习的ENSO预报方法,包括:
S101:从不同途径获取若干物理要素数据观测集;
S102:对物理要素数据观测集进行处理,使得全部的物理要素数据观测集的数据格式相同;
S103:对物理要素数据观测集中的若干种物理要素场进行预提取得到训练特征;
S104:通过深度学习算法,将训练特征中的各个要素物理量导入模型中进行训练得到预报模型;
S105:将实时观测数据导入预报模型中得到预报结果。
步骤S101中可以从美国地球系统研究实验室、美国环境预测中心等地方,获取物理要素数据观测集,同时可以定期实时获取到更新各类再分析数据,种类涉及包括海表温度、海平面气压、近地面风场、海洋深层热含量等在内的13种物理要素场。针对数据集来源广,数据形式多样,时空分辨率不一致的问题,在数据集进入模型统一进行训练之前,需将通过步骤S102将所有数据形式进行统一,处理成相同的数据格式。同时,为了减少冗余信息量,降低模型训练的复杂程度,通过步骤S103对数据进行预提取。步骤S104利用训练特征训练得到预报模型,从而利用预报模型来进行实时预报。本发明实施例1提供的基于深度学习的ENSO预报方法结合深度学习的方式最大程度上挖掘潜藏在大量数据中的有效信息,有效解决了现有技术中ENSO预报偏差较大的问题,预报结果准确度大幅提升,例如在超前6个月时效上,预报精度上相关系数可达0.83,均方根误差可减少至0.5℃,相比现有预报模式可获得10%的精度提升。
在对数据进行处理的过程中,需要对缺失值进行处理,以防止后期缺失数据在物理场归一化过程中的影响“对物理要素数据观测集进行处理”还包括:对物理要素数据观测集进行插值处理;空间插值部分利用气象数据处理系统CDO进行双线性插值处理,最终处理成1°分辨率;时间插值部分采用一阶线性插值方法,插值到逐日。“对物理要素数据观测集进行处理,使得全部的物理要素数据观测集的数据格式相同”还包括:对每个物理要素场中的缺失值进行填充,将全场全时次平均后的数值填充在缺失位置。
为了提供最终预测模型的准确度,“深度学习算法”为残差神经网络算法;“物理要素数据观测集”的时间范围为当前年份之前所有年份;同时为了能够保证训练模型的准确性,前80%年份的训练特征作为模型的训练集,后20%年份的训练特征作为模型的测试集。
为了减少冗余信息量,降低模型训练的复杂程度,同时受限于训练数据的样本限制,“物理要素数据观测集中的若干种物理要素场进行预提取”具体为:采用最大信息系数来对物理要素数据观测集中的若干种物理要素场进行时空信息的特征预提取;采用全场均值作为阈值,大于阈值保留作为训练特征。
通过将预提取出的物理要素单独导入到深度学习网络进行训练以获取最终的最优预测因子(即下文最优训练因子),通过最优预测因子来对模型训练,进一步提升模型预报的准确性,降低模型训练成本,因此,在实施例中“将训练特征中的各个要素物理量导入到模型中进行训练得到预报模型”具体为:单独将训练特征中的各个要素物理量导入模型进行训练得到若干单要素预测模型,通过测试集对单要素物理量的预测结果进行评估,按照Taylor图模式评估的方式,在逐个超前预报时效上选出最优训练因子的组合;将选出的各个要素物理量中的最优训练因子导入到模型中进行训练得到预报模型。
在实施例中所述模式评估的方式结合Pearson相关系数、均方根误差、标准差偏差三种指标,按照如下公式择优进行选择:
本实施例中“将选出的各个要素物理量中的最优训练因子导入到模型中进行训练得到预报模型”具体为,将选出的各个要素物理量中的最优训练因子导入到模型中进行训练,分别在1~12个月的超前时效上单独训练模型,得到预报模型。通过对不同的超前时效进行单独训练,可以确保预报模型对不同超前时效进行预报的准确性。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种基于深度学习的ENSO预报方法,其特征在于,包括:
从不同途径获取若干物理要素数据观测集;
对物理要素数据观测集进行处理,使得全部的物理要素数据观测集的数据格式相同;
对物理要素数据观测集中的若干种物理要素场进行预提取得到训练特征;
通过深度学习算法,将训练特征中的各个要素物理量导入模型中进行训练得到预报模型;
将实时观测数据导入预报模型中得到预报结果。
2.如权利要求1所述的基于深度学习的ENSO预报方法,其特征在于,所述“对物理要素数据观测集进行处理”还包括:对物理要素数据观测集进行插值处理;空间插值部分利用气象数据处理系统CDO进行双线性插值处理,最终处理成1°分辨率;时间插值部分采用一阶线性插值方法,插值到逐日。
3.如权利要求2所述的基于深度学习的ENSO预报方法,其特征在于,所述“对物理要素数据观测集进行处理,使得全部的物理要素数据观测集的数据格式相同”还包括:对每个物理要素场中的缺失值进行填充,将全场全时次平均后的数值填充在缺失位置。
4.如权利要求1所述的基于深度学习的ENSO预报方法,其特征在于,所述“深度学习算法”为残差神经网络算法;所述“物理要素数据观测集”的时间范围为当前年份之前所有年份;
其中,前80%年份的训练特征作为模型的训练集,后20%年份的训练特征作为模型的测试集。
5.如权利要求4所述的基于深度学习的ENSO预报方法,其特征在于,所述“物理要素数据观测集中的若干种物理要素场进行预提取”具体为:采用最大信息系数来对物理要素数据观测集中的若干种物理要素场进行时空信息的特征预提取;采用全场均值作为阈值,大于阈值保留作为训练特征。
6.如权利要求5所述的基于深度学习的ENSO预报方法,其特征在于,所述“将训练特征中的各个要素物理量导入到模型中进行训练得到预报模型”具体为:单独将训练特征中的各个要素物理量导入模型进行训练得到若干单要素预测模型,通过测试集对单要素物理量的预测结果进行评估,按照Taylor图模式评估的方式,在逐个超前预报时效上选出最优训练因子的组合;将选出的各个要素物理量中的最优训练因子导入到模型中进行训练得到预报模型。
8.如权利要求6所述的基于深度学习的ENSO预报方法,其特征在于,所述“将选出的各个要素物理量中的最优训练因子导入到模型中进行训练得到预报模型”具体为,将选出的各个要素物理量中的最优训练因子导入到模型中进行训练,分别在1~12个月的超前时效上单独训练模型,得到预报模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011357905.6A CN112488382A (zh) | 2020-11-27 | 2020-11-27 | 基于深度学习的enso预报方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011357905.6A CN112488382A (zh) | 2020-11-27 | 2020-11-27 | 基于深度学习的enso预报方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112488382A true CN112488382A (zh) | 2021-03-12 |
Family
ID=74935899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011357905.6A Pending CN112488382A (zh) | 2020-11-27 | 2020-11-27 | 基于深度学习的enso预报方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112488382A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113063737A (zh) * | 2021-03-26 | 2021-07-02 | 福州大学 | 结合遥感与浮标数据的海洋热含量遥感反演方法 |
CN113434576A (zh) * | 2021-06-30 | 2021-09-24 | 中国电子科技集团公司第五十四研究所 | 一种enso事件类型划分方法 |
CN114330132A (zh) * | 2021-12-30 | 2022-04-12 | 中国科学院大气物理研究所 | 一种基于人工智能的enso多样性预报方法 |
CN116881839A (zh) * | 2023-07-05 | 2023-10-13 | 江苏省气象台 | 一种区分enso事件衰减型的判定方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101655568A (zh) * | 2009-07-06 | 2010-02-24 | 民航数据通信有限责任公司 | 高空格点气象数据的四维插值方法 |
US20140025354A1 (en) * | 2012-07-20 | 2014-01-23 | Tata Consultancy Services Limited | Method and system for adaptive forecast of wind resources |
CN107341134A (zh) * | 2017-06-27 | 2017-11-10 | 洛阳市气象局 | 一种对数值预报格点温度预报数据精细化处理的方法 |
-
2020
- 2020-11-27 CN CN202011357905.6A patent/CN112488382A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101655568A (zh) * | 2009-07-06 | 2010-02-24 | 民航数据通信有限责任公司 | 高空格点气象数据的四维插值方法 |
US20140025354A1 (en) * | 2012-07-20 | 2014-01-23 | Tata Consultancy Services Limited | Method and system for adaptive forecast of wind resources |
CN107341134A (zh) * | 2017-06-27 | 2017-11-10 | 洛阳市气象局 | 一种对数值预报格点温度预报数据精细化处理的方法 |
Non-Patent Citations (9)
Title |
---|
YOO-GEUN HAM: "Deep learning for multi-year ENSO forecasts", 《NATURE》 * |
乘风沧海: "https://zhuanlan.zhihu.com/p/158071643", 《[检测厄尔尼诺]基于深度学习的厄尔尼诺预测方法》 * |
张雪雪等: "作物病虫害预测机理与方法研究进展", 《中国农业科技导报》 * |
思羽等: "如何预测极端天气", 《世界科学》 * |
段春锋等: "DERF2.0模式对月尺度西太平洋副热带高压预测能力评估", 《气象》 * |
满腹的小不甘_静静: "https://blog.csdn.net/qq_27586341/article/details/90603140", 《MIC:最大信息系数》 * |
王利民等: "气固两相流介尺度LBM-DEM模型", 《计算力学学报》 * |
许柏宁等: "一种基于区域海表面温度异常预测的ENSO预报深度学习模型", 《科研信息化技术与应用》 * |
陈焕盛等: "空气质量多模式系统在广州应用及对PM10预报效果评估", 《气候与环境研究》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113063737A (zh) * | 2021-03-26 | 2021-07-02 | 福州大学 | 结合遥感与浮标数据的海洋热含量遥感反演方法 |
CN113434576A (zh) * | 2021-06-30 | 2021-09-24 | 中国电子科技集团公司第五十四研究所 | 一种enso事件类型划分方法 |
CN114330132A (zh) * | 2021-12-30 | 2022-04-12 | 中国科学院大气物理研究所 | 一种基于人工智能的enso多样性预报方法 |
CN114330132B (zh) * | 2021-12-30 | 2022-07-01 | 中国科学院大气物理研究所 | 一种基于人工智能的enso多样性预报方法 |
CN116881839A (zh) * | 2023-07-05 | 2023-10-13 | 江苏省气象台 | 一种区分enso事件衰减型的判定方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112488382A (zh) | 基于深度学习的enso预报方法 | |
Zhang et al. | Holocene high-resolution quantitative summer temperature reconstruction based on subfossil chironomids from the southeast margin of the Qinghai-Tibetan Plateau | |
CN111723482B (zh) | 一种基于卫星co2柱浓度观测反演地表碳通量的方法 | |
CN110824586B (zh) | 基于改进决策树算法的降水预测方法 | |
US12013900B2 (en) | Teleconnection pattern-oriented spatial association clustering method | |
CN106897957B (zh) | 一种基于pca和pso-elm的自动气象站实时数据质量控制方法 | |
CN113063737B (zh) | 结合遥感与浮标数据的海洋热含量遥感反演方法 | |
CN114942481B (zh) | 热带气旋过程极值风速概率预报方法、装置和计算机设备 | |
CN109800921A (zh) | 一种基于遥感物候同化和粒子群优化算法的区域冬小麦估产方法 | |
CN115936177A (zh) | 一种基于神经网络的光伏输出功率预测方法及系统 | |
CN113240169A (zh) | 基于多模态数据和上下采样的gru网络的短临降水预测方法 | |
CN115688864A (zh) | 一种盾构机刀盘健康评估方法、系统、介质、设备及终端 | |
CN110619291B (zh) | 一种植被覆盖度与气候因子非线性响应关系的识别方法 | |
CN112883577B (zh) | 一种海上风电场出力典型场景生成方法及存储介质 | |
CN116388184B (zh) | 一种基于风速日波动特征的超短期风速修订方法、系统 | |
Van Huissteden et al. | Sensitivity analysis of a wetland methane emission model based on temperate and arctic wetland sites | |
Franke et al. | Effects of recent climate trends on the distribution of potential natural vegetation in Central Germany | |
CN113610436B (zh) | 一种承灾体动态脆弱性评估方法及系统 | |
Czernecki et al. | Reconstruction of late spring phenophases in Poland and their response to climate change, 1951–2014 | |
CN112348700B (zh) | 一种结合som聚类与ifou方程的线路容量预测方法 | |
CN116992781B (zh) | 基于深度学习的多步多要素风浪预报方法 | |
Basterretxea et al. | Global variability of high nutrient low chlorophyll regions using neural networks and wavelet coherence analysis | |
CN113761756B (zh) | 一种表面温度高温和低温数据集重构方法 | |
CN117290792A (zh) | 一种基于机器学习的气压预报系统及方法 | |
CN113361129B (zh) | 一种考虑时间和空间尺度的新能源出力仿真方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210312 |
|
RJ01 | Rejection of invention patent application after publication |