CN114742179A - 基于ecmwf的格点预报偏差修正方法 - Google Patents
基于ecmwf的格点预报偏差修正方法 Download PDFInfo
- Publication number
- CN114742179A CN114742179A CN202210658920.7A CN202210658920A CN114742179A CN 114742179 A CN114742179 A CN 114742179A CN 202210658920 A CN202210658920 A CN 202210658920A CN 114742179 A CN114742179 A CN 114742179A
- Authority
- CN
- China
- Prior art keywords
- data
- ecmwf
- input
- layer
- grid point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012950 reanalysis Methods 0.000 claims abstract description 27
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000013307 optical fiber Substances 0.000 claims description 3
- 238000001556 precipitation Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 210000001503 joint Anatomy 0.000 claims description 2
- 230000007774 longterm Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 10
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 abstract 1
- 238000013507 mapping Methods 0.000 abstract 1
- 238000003786 synthesis reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Economics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Strategic Management (AREA)
- Software Systems (AREA)
- Human Resources & Organizations (AREA)
- Environmental & Geological Engineering (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Educational Administration (AREA)
Abstract
本发明涉及基于ECMWF的格点预报偏差修正方法,首先获取卫星数据、雷达数据、ECMWF格点预报数据、以及ECMWF再分析数据,以切片方式获得不同高度不同时刻一定范围内数据;在数据预处理阶段,使卫星数据、雷达数据插值到和ECMWF的格点预报数据相同的分辨率上;随后针对ECMWF再分析数据的各数据类型进行特征选择,综合得到各目标气象因子,并归一化处理;在构建深度学习网络结构阶段,利用深度学习的非线性映射能力和信息提取能力,构建Encoder‑Decoder网络提取时间和空间特征进行预测修正;整个设计方案充分考虑与相关的其他不同高度的气象因素和时间特征,根据历史气象数据,对气象预报数据进行有效修正。
Description
技术领域
本发明涉及基于ECMWF的格点预报偏差修正方法,属于气象预报技术领域。
背景技术
近年来,深度学习算法在各行各业效果显著,突破了传统算法的壁垒,其非线性拟合能力已成为事实。而气象数据的多维度、以及强时空耦合性,正是这些算法擅长之处。再者,随着我国自动观测系统的广泛应用,气象数据以日剧增。地面观测由最初涨浮几百兆每月到现在的2TB每月,气象卫星、数值预报产品等日增量皆在TB级别。如此量级的数据,为气象与人工智能结合研究提供了坚实的基础。
因此,将深度学习模型应用到预测订正中来,将对预测的模型结构产生非常重大的影响,不仅可以为模型增加更多维度的信息,也可以用更长时间的数据来训练包含更多模型参数的深层模型,模型的学习能力将会大幅提升,所以现有关于气象预测方面,还可以进一步改进设计,提升预测进度。
发明内容
本发明所要解决的技术问题是提供基于ECMWF的格点预报偏差修正方法,充分考虑与相关的其他不同高度的气象因素、卫星数据,能够根据历史气象数据,对气象预报数据进行有效修正,提高气象预测精度。
本发明为了解决上述技术问题采用以下技术方案:本发明设计了基于ECMWF的格点预报偏差修正方法,通过步骤A至步骤G,获得目标区域所对应的预报数据修正模型,用于针对目标区域的预报数据进行修正;
步骤A. 获得目标区域对应预设历史范围内各历史时间点的雷达数据、ECMWF格点预报数据、以及包含预设各数据类型的卫星数据、包含预设各高度下预设各数据类型的ECMWF再分析数据,然后进入步骤B;
步骤B. 针对各历史时间点的卫星数据与雷达数据进行预处理,使得卫星数据的分辨率、雷达数据的分辨率与ECMWF格点预报数据的分辨率相一致,然后进入步骤C;
步骤C. 按预设比例,针对目标区域进行格点划分,即获得各历史时间点下目标区域中各格点对应的雷达数据、卫星数据、ECMWF格点预报数据、ECMWF再分析数据,然后进入步骤D;
步骤D. 基于各历史时间点下各格点所对应ECMWF再分析数据中的各高度下各数据类型的数据,应用特征选择模块,获得ECMWF再分析数据中各高度下各数据类型中的各个目标气象因子,并针对各历史时间点下各格点对应ECMWF再分析数据中各个目标气象因子的数据、与各历史时间点下目标区域中各格点对应的雷达数据、卫星数据进行通道融合,获得各历史时间点下各格点对应的融合通道数据,然后进入步骤E;
步骤E. 分别针对各历史时间点中的预设各个待分析历史时间点,针对
历史时间点至历史时间点下各格点对应的融合通道数据,执行时间点维度下的数据
融合,构成各格点对应第k个待分析历史时间点的(T,C,W,H)的4维历史气象要素数据向
量,进而组合构成历史气象数据集,其中,T表示预
设融合历史时间点的长度,C表示融合通道数据中数据类型的数量,W*H表示目标区域的网
格点比例,表示待分析历史时间点的数量,然后进入步骤F;
步骤F. 基于各待分析历史时间点下各格点对应的ECMWF格点预报数据构成数据
集,以及基于各待分析历史时间点下各格点对应ECMWF再分析数据中对应ECMWF格点
预报数据类型的数据,构成标签集,然后进入步骤G;
作为本发明的一种优选技术方案:所述步骤B中,针对各历史时间点的卫星数据与雷达数据进行克里金插值处理的预处理操作,使得卫星数据的分辨率、雷达数据的分辨率与ECMWF格点预报数据的分辨率相一致。
作为本发明的一种优选技术方案:所述步骤C中还包括:分别针对各历史时间点下的雷达数据、卫星数据、ECMWF格点预报数据、ECMWF再分析数据,针对各格点分别对应的数据进行数据归一化,更新各历史时间点下各格点的雷达数据、卫星数据、ECMWF格点预报数据、ECMWF再分析数据,然后进入步骤D。
作为本发明的一种优选技术方案:所述步骤D中,基于各历史时间点下各格点所对
应ECMWF再分析数据中的各高度下各数据类型的数据,应用特征选择模块,获得各高度下各
数据类型分别对应权重,并按权重由大至小顺序,针对各高度下各数据类型进行排序,顺序
选择前个对象,构成各个目标气象因子,其中,表示ECMWF再分析数据中各高度
下各数据类型的总数,表示预设百分比,表示向上取整。
作为本发明的一种优选技术方案:所述步骤D中的特征选择模块为LASSO回归算法模块,LASSO回归算法模块的损失函数公式为:
作为本发明的一种优选技术方案:所述目标深度学习网络模型包括Encoder模块和Decoder模块,其中,Encoder模块包括E3D-Lstm模型、CNN网络、融合模块;
其中,E3D-Lstm模型的输入端与融合模块的其中一输入端构成Encoder模块的各
输入端,由E3D-Lstm模型的输入端用于接收历史气象数据集,融合模块的其中一输入
端用于接收数据集,融合模块的输出端对接CNN网络的输入端,CNN网络自其输入至其
输出方向包括依次串联的5级下采样层,各下采样层自其输入至其输出方向分别包括卷积
层和池化层;
Decoder模块自其输入至其输出方向依次包括5级上采样层,其中,Decoder模块中第一个上采样层的输入接收CNN网络中第四个下采样层输出和第五个下采样层输出的拼接,Decoder模块中第二个上采样层的输入接收其第一个上采样层输出与CNN网络中第三个下采样层输出的拼接,Decoder模块中第三个上采样层的输入接收其第二个上采样层输出与CNN网络中第二个下采样层输出的拼接,Decoder模块中第四个上采样层的输入接收其第三个上采样层输出与CNN网络中第一个下采样层输出的拼接,Decoder模块中第五个上采样层的输入其第四个上采样层输出;
Encoder模块的各输入端构成目标深度学习网络模型的各输入端,Decoder模块中第五个上采样层的输出构成目标深度学习网络模型的输出端。
作为本发明的一种优选技术方案:所述CNN网络中第一个下采样层中的卷积层卷积核尺寸为3×3,数量为64,池化层滤波器的尺寸为2×2,步长为2;第二个下采样层中的卷积核尺寸为3×3,数量为128,池化层滤波器的尺寸为2×2,步长为2;第三个下采样层中的卷积核尺寸为3×3,数量为256,池化层滤波器的尺寸为2×2,步长为2;第四个下采样层中的卷积核尺寸为3×3,数量为512,池化层滤波器的尺寸为2×2,步长为2;第五个下采样层中的卷积核尺寸为3×3,数量为512,池化层滤波器的尺寸为2×2,步长为2;
所述Decoder模块中第一个上采样层中的卷积核尺寸为3×3,数量为512,步长为2;第二个上采样层中的卷积核尺寸为3×3,数量为256,步长为2;第三个上采样层中的卷积核尺寸为3×3,数量为128,步长为2;第四个上采样层中的卷积核尺寸为3×3,数量为64,步长为2;第五个上采样层中的卷积核尺寸为3×3,数量为1,步长为2。
作为本发明的一种优选技术方案:所述E3D-Lstm模型针对序列数据额外添加了一个召回门、以及相关结构,用于实现长时依赖学习,其中额外添加了召回门更新公式为:
其中,是sigmoid函数,是上一时刻状态信息的输出,是为当前时刻的输
入,为遗忘门,、为输入门,RECALL为召回门,、分别表示可学习的权重和偏置,
、分别表示X输入信息、H输入信息,、、分别代表遗忘门R、输入门I、输入门G,表示
X输入信息在遗忘门R处的可学习权重,表示X输入信息在输入门I处的可学习权重,
表示H输入信息在遗忘门R处的可学习权重,表示H输入信息在输入门I处的可学习权重,表示X输入信息在输入门G处的可学习权重,表示H输入信息在输入门G处的可学习
权重,表示在遗忘门R处的可学习偏置,表示在输入门I处的可学习偏置,表示在输入
门G处的可学习偏置,是、 、 、召回门的输出,为前时刻的记忆细胞信
息,为输入门之间矩阵的点乘,用于对视频局部表象特征和运动特征的抽取,
为上一时刻的记忆细胞信息,用于刻画短时依赖信息,最后召回门输出则从过去的所有历
史记忆中选择有用的部分。
作为本发明的一种优选技术方案:所述卫星数据包括云检测、云相态、云类型、云顶高、云顶气压、云顶温度、高层水汽云导风、低层水汽云导风、大气水汽总量、地表比辐射率、以及及卫星云图;所述ECMWF再分析数据包括0m、300m、500m、700m、1000m各高度下的温度、相对湿度、比湿、u型风量、v型风量、降水、露点温度。
本发明所述基于ECMWF的格点预报偏差修正方法,采用以上技术方案与现有技术相比,具有以下技术效果:
(1)本发明所设计基于ECMWF的格点预报偏差修正方法,在数据方面充分考虑与相关的其他不同高度的气象因素、卫星数据,雷达数据的多源数据特征和时间特征,可以有效的从历史气象数据对气象预报数据进行订正;
(2)本发明所设计基于ECMWF的格点预报偏差修正方法,在数据预处理方面,使用克里金插值将卫星、雷达数据和气象预报数据插值到相同分辨率的格点数据上,提高了空间分辨率,同时由于不同气象要素之间的各个维度量纲不同的情况,这样各个因素就会因为量纲的问题对模型有着大小不同的影响,但是这种大小不同的影响并非订正的本质,故对数据进行了归一化处理;
(3)本发明所设计基于ECMWF的格点预报偏差修正方法,在特征融合方面,对所有不同高度的不同气象因素进行了特征选择,选取出影响较大的因子,可以很好的对高维数据进行降维,减少无关数据干扰,提升算法的性能;
(4)本发明所设计基于ECMWF的格点预报偏差修正方法,在模型的构建上,使用Encoder-Decoder模型,在Encoder端使用E3D-lstm网络可以更好的提取时空特征,提取出气象的变化情况,在Decoder端使用反卷积对提取到的特征进行订正,其中反卷积采用拼接卷积层的方法,使网络模型变得更宽,可以提取到更多的不同尺度下的气象信息。
附图说明
图1是本发明设计基于ECMWF的格点预报偏差修正方法的流程图;
图2是本发明设计中数据采集示意图;
图3是本发明设计中特征选择示意图;
图4是本发明设计中数据融合示意图;
图5是本发明设计中E3D-Lstm网络模型结构图;
图6是本发明设计中Encoder-Decoder模型结构图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了基于ECMWF的格点预报偏差修正方法,如图1所示,通过步骤A至步骤G,获得目标区域所对应的预报数据修正模型,用于针对目标区域的预报数据进行修正。
步骤A. 获得目标区域对应预设历史范围内各历史时间点的雷达数据、ECMWF格点预报数据、以及包含预设各数据类型的卫星数据、包含预设各高度下预设各数据类型的ECMWF再分析数据,然后进入步骤B。
实际应用中,卫星数据包括云检测、云相态、云类型、云顶高、云顶气压、云顶温度、高层水汽云导风、低层水汽云导风、大气水汽总量、地表比辐射率、以及及卫星云图;关于ECMWF再分析数据,具体选择ECMWF第5代全球再分析数据,如下表1所示,ECMWF再分析数据包括0m、300m、500m、700m、1000m各高度下的温度、相对湿度、比湿、u型风量、v型风量、降水、露点温度。
表1
步骤B. 针对各历史时间点的卫星数据与雷达数据进行克里金插值处理的预处理操作,使得卫星数据的分辨率、雷达数据的分辨率与ECMWF格点预报数据的分辨率相一致,然后进入步骤C。
步骤C. 如图2所示,首先按预设比例诸如128*128,针对目标区域进行格点划分,即获得各历史时间点下目标区域中各格点对应的雷达数据、卫星数据、ECMWF格点预报数据、ECMWF再分析数据,诸如关于ECMWF再分析数据,即获得T*S*N个128*128的2维数组,T代表时间,S代表该区域切片的数量,N代表各高度下各数据类型的个数,ECMWF再分析数据下,则N=35。
然后分别针对各历史时间点下的雷达数据、卫星数据、ECMWF格点预报数据、ECMWF再分析数据,按如下公式:
其中,X代表归一化模块输入的特征单元值;M代表目标区域的均值,std代表对目标区域标准化处理;针对各格点分别对应的数据进行数据归一化,更新各历史时间点下各格点的雷达数据、卫星数据、ECMWF格点预报数据、ECMWF再分析数据,然后进入步骤D。
通过上述操作,不仅引入了不同高度下的气象数据,还使用数据网格化节省了存储单元和计算时间,减少了参数量。此外,数据归一化操作可用于提升模型的收敛速度,并防止模型梯度爆炸,由于不同气象要素之间的各个维度量纲不同的情况,这样各个因素就会因为量纲的问题对模型有着大小不同的影响,但是这种大小不同的影响并非影响气象订正的本质。
步骤D. 如图3所示,首先基于各历史时间点下各格点所对应ECMWF再分析数据中
的各高度下各数据类型的数据,应用特征选择模块,获得各高度下各数据类型分别对应权
重,并按权重由大至小顺序,针对各高度下各数据类型进行排序,顺序选择前个
对象,构成各个目标气象因子,其中,表示ECMWF再分析数据中各高度下各数据类型的总
数,表示预设百分比,表示向上取整。
其中,特征选择模块为LASSO回归算法模块,LASSO回归算法模块的损失函数公式为:
然后如图4所示,针对各历史时间点下各格点对应ECMWF再分析数据中各个目标气象因子的数据、与各历史时间点下目标区域中各格点对应的雷达数据、卫星数据进行通道融合,获得各历史时间点下各格点对应的融合通道数据,然后进入步骤E。
实际应用当中,诸如按上述方式,获得10个目标气象因子,则其与各历史时间点下目标区域中各格点对应的雷达数据、卫星数据进行通道融合,获得22*128*128的融合通道数据。
上述步骤引入了特征选择方法,即从原始特征中选择出一些最有效特征,以降低数据集维度的过程,减少特征数量,使模型泛化能力更强,并减少过拟合可能性,增强对特征和特征值之间的理解,以此来提高学习算法性能。
步骤E. 分别针对各历史时间点中的预设各个待分析历史时间点,针对
历史时间点至历史时间点下各格点对应的融合通道数据,执行时间点维度下的数据
融合,构成各格点对应第k个待分析历史时间点的(T,C,W,H)的4维历史气象要素数据向
量,进而组合构成历史气象数据集,其中,T表示预
设融合历史时间点的长度,C表示融合通道数据中数据类型的数量,按上述实施例,即C=22,
W*H表示目标区域的网格点比例,按上述实施例,即128*128,表示待分析历史时间点的
数量,然后进入步骤F。
步骤F. 基于各待分析历史时间点下各格点对应的ECMWF格点预报数据构成数据
集,是一个(C,W,H)的二维向量,这里的C表示
ECMWF格点预报数据的数据类型个数;以及基于各待分析历史时间点下各格点对应ECMWF
再分析数据中对应ECMWF格点预报数据类型的数据,构成标签集,然后进入步骤G。
实际应用当中,目标深度学习网络模型包括Encoder模块和Decoder模块,其中,
Encoder模块包括E3D-Lstm模型、CNN网络、融合模块concat;其中,E3D-Lstm模型的输入端
与融合模块concat的其中一输入端构成Encoder模块的各输入端,由E3D-Lstm模型的输入
端用于接收历史气象数据集,融合模块concat的其中一输入端用于接收数据集,融
合模块concat的输出端对接CNN网络的输入端,CNN网络自其输入至其输出方向包括依次串
联的5级下采样层,各下采样层自其输入至其输出方向分别包括卷积层和池化层;Decoder
模块自其输入至其输出方向依次包括5级上采样层,其中,Decoder模块中第一个上采样层
的输入接收CNN网络中第四个下采样层输出和第五个下采样层输出的拼接,Decoder模块中
第二个上采样层的输入接收其第一个上采样层输出与CNN网络中第三个下采样层输出的拼
接,Decoder模块中第三个上采样层的输入接收其第二个上采样层输出与CNN网络中第二个
下采样层输出的拼接,Decoder模块中第四个上采样层的输入接收其第三个上采样层输出
与CNN网络中第一个下采样层输出的拼接,Decoder模块中第五个上采样层的输入其第四个
上采样层输出;Encoder模块的各输入端构成目标深度学习网络模型的各输入端,Decoder
模块中第五个上采样层的输出构成目标深度学习网络模型的输出端。
上述目标深度学习网络模型实际应用当中,如图5所示,E3D-Lstm模型针对序列数据额外添加了一个召回门(recall gate)、以及相关结构,用于实现长时依赖学习,其中额外添加了召回门更新公式为:
其中,是sigmoid函数,是上一时刻状态信息的输出,是为当前时刻的输
入,为遗忘门,、为输入门,RECALL为召回门,、分别表示可学习的权重和偏置,
、分别表示X输入信息、H输入信息,、、分别代表遗忘门R、输入门I、输入门G,表示
X输入信息在遗忘门R处的可学习权重,表示X输入信息在输入门I处的可学习权重,
表示H输入信息在遗忘门R处的可学习权重,表示H输入信息在输入门I处的可学习权重,表示X输入信息在输入门G处的可学习权重,表示H输入信息在输入门G处的可学习
权重,表示在遗忘门R处的可学习偏置,表示在输入门I处的可学习偏置,表示在输入
门G处的可学习偏置,是、 、 、召回门的输出,为前时刻的记忆细胞信
息,为输入门之间矩阵的点乘,用于对视频局部表象特征和运动特征的抽取,
为上一时刻的记忆细胞信息,用于刻画短时依赖信息,最后召回门输出则从过去的所有历
史记忆中选择有用的部分。
并且实际应用中,CNN网络中第一个下采样层中的卷积层卷积核尺寸为3×3,数量为64,池化层滤波器的尺寸为2×2,步长为2;第二个下采样层中的卷积核尺寸为3×3,数量为128,池化层滤波器的尺寸为2×2,步长为2;第三个下采样层中的卷积核尺寸为3×3,数量为256,池化层滤波器的尺寸为2×2,步长为2;第四个下采样层中的卷积核尺寸为3×3,数量为512,池化层滤波器的尺寸为2×2,步长为2;第五个下采样层中的卷积核尺寸为3×3,数量为512,池化层滤波器的尺寸为2×2,步长为2。
所述Decoder模块中第一个上采样层中的卷积核尺寸为3×3,数量为512,步长为2;第二个上采样层中的卷积核尺寸为3×3,数量为256,步长为2;第三个上采样层中的卷积核尺寸为3×3,数量为128,步长为2;第四个上采样层中的卷积核尺寸为3×3,数量为64,步长为2;第五个上采样层中的卷积核尺寸为3×3,数量为1,步长为2。
Encoder-Decoder模型的设计,在Encoder端使用E3D-Lstm提前掌握了气象的变化情况,其中注意力机制解决在气象不同因子之间关注度不同的问题,且在Decoder端使用反卷积对提取到的特征进行订正,其中反卷积采用拼接卷积层的方法,使网络模型变得更宽,可以提取到更多的不同尺度下的气象信息。
上述技术方案所设计基于ECMWF的格点预报偏差修正方法,在数据方面充分考虑与相关的其他不同高度的气象因素、卫星数据,雷达数据的多源数据特征和时间特征,可以有效的从历史气象数据对气象预报数据进行订正;在数据预处理方面,使用克里金插值将卫星、雷达数据和气象预报数据插值到相同分辨率的格点数据上,提高了空间分辨率,同时由于不同气象要素之间的各个维度量纲不同的情况,这样各个因素就会因为量纲的问题对模型有着大小不同的影响,但是这种大小不同的影响并非订正的本质,故对数据进行了归一化处理;在特征融合方面,对所有不同高度的不同气象因素进行了特征选择,选取出影响较大的因子,可以很好的对高维数据进行降维,减少无关数据干扰,提升算法的性能;在模型的构建上,使用Encoder-Decoder模型,在Encoder端使用E3D-lstm网络可以更好的提取时空特征,提取出气象的变化情况,在Decoder端使用反卷积对提取到的特征进行订正,其中反卷积采用拼接卷积层的方法,使网络模型变得更宽,可以提取到更多的不同尺度下的气象信息。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (9)
1.基于ECMWF的格点预报偏差修正方法,其特征在于:通过步骤A至步骤G,获得目标区域所对应的预报数据修正模型,用于针对目标区域的预报数据进行修正;
步骤A. 获得目标区域对应预设历史范围内各历史时间点的雷达数据、ECMWF格点预报数据、以及包含预设各数据类型的卫星数据、包含预设各高度下预设各数据类型的ECMWF再分析数据,然后进入步骤B;
步骤B. 针对各历史时间点的卫星数据与雷达数据进行预处理,使得卫星数据的分辨率、雷达数据的分辨率与ECMWF格点预报数据的分辨率相一致,然后进入步骤C;
步骤C. 按预设比例,针对目标区域进行格点划分,即获得各历史时间点下目标区域中各格点对应的雷达数据、卫星数据、ECMWF格点预报数据、ECMWF再分析数据,然后进入步骤D;
步骤D. 基于各历史时间点下各格点所对应ECMWF再分析数据中的各高度下各数据类型的数据,应用特征选择模块,获得ECMWF再分析数据中各高度下各数据类型中的各个目标气象因子,并针对各历史时间点下各格点对应ECMWF再分析数据中各个目标气象因子的数据、与各历史时间点下目标区域中各格点对应的雷达数据、卫星数据进行通道融合,获得各历史时间点下各格点对应的融合通道数据,然后进入步骤E;
步骤E. 分别针对各历史时间点中的预设各个待分析历史时间点,针对历史
时间点至历史时间点下各格点对应的融合通道数据,执行时间点维度下的数据融
合,构成各格点对应第k个待分析历史时间点的(T,C,W,H)的4维历史气象要素数据向量,进而组合构成历史气象数据集,其中,T表示预设
融合历史时间点的长度,C表示融合通道数据中数据类型的数量,W*H表示目标区域的网格
点比例,表示待分析历史时间点的数量,然后进入步骤F;
步骤F. 基于各待分析历史时间点下各格点对应的ECMWF格点预报数据构成数据集,以及基于各待分析历史时间点下各格点对应ECMWF再分析数据中对应ECMWF格点预
报数据类型的数据,构成标签集,然后进入步骤G;
2.根据权利要求1所述基于ECMWF的格点预报偏差修正方法,其特征在于:所述步骤B中,针对各历史时间点的卫星数据与雷达数据进行克里金插值处理的预处理操作,使得卫星数据的分辨率、雷达数据的分辨率与ECMWF格点预报数据的分辨率相一致。
3.根据权利要求1所述基于ECMWF的格点预报偏差修正方法,其特征在于:所述步骤C中还包括:分别针对各历史时间点下的雷达数据、卫星数据、ECMWF格点预报数据、ECMWF再分析数据,针对各格点分别对应的数据进行数据归一化,更新各历史时间点下各格点的雷达数据、卫星数据、ECMWF格点预报数据、ECMWF再分析数据,然后进入步骤D。
6.根据权利要求1所述基于ECMWF的格点预报偏差修正方法,其特征在于:所述目标深度学习网络模型包括Encoder模块和Decoder模块,其中,Encoder模块包括E3D-Lstm模型、CNN网络、融合模块;
其中,E3D-Lstm模型的输入端与融合模块的其中一输入端构成Encoder模块的各输入
端,由E3D-Lstm模型的输入端用于接收历史气象数据集,融合模块的其中一输入端用
于接收数据集,融合模块的输出端对接CNN网络的输入端,CNN网络自其输入至其输出
方向包括依次串联的5级下采样层,各下采样层自其输入至其输出方向分别包括卷积层和
池化层;
Decoder模块自其输入至其输出方向依次包括5级上采样层,其中,Decoder模块中第一个上采样层的输入接收CNN网络中第四个下采样层输出和第五个下采样层输出的拼接,Decoder模块中第二个上采样层的输入接收其第一个上采样层输出与CNN网络中第三个下采样层输出的拼接,Decoder模块中第三个上采样层的输入接收其第二个上采样层输出与CNN网络中第二个下采样层输出的拼接,Decoder模块中第四个上采样层的输入接收其第三个上采样层输出与CNN网络中第一个下采样层输出的拼接,Decoder模块中第五个上采样层的输入其第四个上采样层输出;
Encoder模块的各输入端构成目标深度学习网络模型的各输入端,Decoder模块中第五个上采样层的输出构成目标深度学习网络模型的输出端。
7.根据权利要求6所述基于ECMWF的格点预报偏差修正方法,其特征在于:所述CNN网络中第一个下采样层中的卷积层卷积核尺寸为3×3,数量为64,池化层滤波器的尺寸为2×2,步长为2;第二个下采样层中的卷积核尺寸为3×3,数量为128,池化层滤波器的尺寸为2×2,步长为2;第三个下采样层中的卷积核尺寸为3×3,数量为256,池化层滤波器的尺寸为2×2,步长为2;第四个下采样层中的卷积核尺寸为3×3,数量为512,池化层滤波器的尺寸为2×2,步长为2;第五个下采样层中的卷积核尺寸为3×3,数量为512,池化层滤波器的尺寸为2×2,步长为2;
所述Decoder模块中第一个上采样层中的卷积核尺寸为3×3,数量为512,步长为2;第二个上采样层中的卷积核尺寸为3×3,数量为256,步长为2;第三个上采样层中的卷积核尺寸为3×3,数量为128,步长为2;第四个上采样层中的卷积核尺寸为3×3,数量为64,步长为2;第五个上采样层中的卷积核尺寸为3×3,数量为1,步长为2。
8.根据权利要求6所述基于ECMWF的格点预报偏差修正方法,其特征在于:所述E3D-Lstm模型针对序列数据额外添加了一个召回门、以及相关结构,用于实现长时依赖学习,其中额外添加了召回门更新公式为:
其中,是sigmoid函数,是上一时刻状态信息的输出,是为当前时刻的输入,
为遗忘门,、为输入门,RECALL为召回门,、分别表示可学习的权重和偏置,、分
别表示X输入信息、H输入信息,、、分别代表遗忘门R、输入门I、输入门G,表示X输
入信息在遗忘门R处的可学习权重,表示X输入信息在输入门I处的可学习权重,表
示H输入信息在遗忘门R处的可学习权重,表示H输入信息在输入门I处的可学习权重,表示X输入信息在输入门G处的可学习权重,表示H输入信息在输入门G处的可学习
权重,表示在遗忘门R处的可学习偏置,表示在输入门I处的可学习偏置,表示在输
入门G处的可学习偏置,是、 、 、召回门的输出,为前时刻的记忆细胞
信息,为输入门之间矩阵的点乘,用于对视频局部表象特征和运动特征的抽取,为上一时刻的记忆细胞信息,用于刻画短时依赖信息,最后召回门输出则从过去的所
有历史记忆中选择有用的部分。
9.根据权利要求1所述基于ECMWF的格点预报偏差修正方法,其特征在于:所述卫星数据包括云检测、云相态、云类型、云顶高、云顶气压、云顶温度、高层水汽云导风、低层水汽云导风、大气水汽总量、地表比辐射率、以及及卫星云图;所述ECMWF再分析数据包括0m、300m、500m、700m、1000m各高度下的温度、相对湿度、比湿、u型风量、v型风量、降水、露点温度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210658920.7A CN114742179B (zh) | 2022-06-13 | 2022-06-13 | 基于ecmwf的格点预报偏差修正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210658920.7A CN114742179B (zh) | 2022-06-13 | 2022-06-13 | 基于ecmwf的格点预报偏差修正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114742179A true CN114742179A (zh) | 2022-07-12 |
CN114742179B CN114742179B (zh) | 2022-09-02 |
Family
ID=82287606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210658920.7A Active CN114742179B (zh) | 2022-06-13 | 2022-06-13 | 基于ecmwf的格点预报偏差修正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114742179B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116432702A (zh) * | 2023-06-09 | 2023-07-14 | 南京信息工程大学 | 一种用于ECMWF预报产品订正的深度学习NFC-Net网络模型 |
CN116992249A (zh) * | 2023-09-28 | 2023-11-03 | 南京信息工程大学 | 基于fmcnn-lstm的格点预报偏差订正方法 |
CN117434624A (zh) * | 2023-09-28 | 2024-01-23 | 兰州中心气象台(兰州干旱生态环境监测预测中心) | 一种基于语义分割的强对流天气识别和发展预判方法 |
CN117910658A (zh) * | 2024-03-15 | 2024-04-19 | 北京和利时系统工程有限公司 | 一种降水量预测方法、模型的训练与修正方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014197273A1 (en) * | 2013-06-06 | 2014-12-11 | Massachusetts Institute Of Technology | Graphical display of radar and radar-like meteorological data |
CN112748483A (zh) * | 2020-12-24 | 2021-05-04 | 北京思湃德信息技术有限公司 | 一种基于深度学习的气温预报偏差订正方法及装置 |
CN113255239A (zh) * | 2021-07-12 | 2021-08-13 | 南京信息工程大学 | 用于预测超高压输电线路杆塔覆冰厚度的深度学习方法 |
CN113807432A (zh) * | 2021-09-16 | 2021-12-17 | 成都卡普数据服务有限责任公司 | 一种基于深度学习的气温预报数据订正方法 |
-
2022
- 2022-06-13 CN CN202210658920.7A patent/CN114742179B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014197273A1 (en) * | 2013-06-06 | 2014-12-11 | Massachusetts Institute Of Technology | Graphical display of radar and radar-like meteorological data |
CN112748483A (zh) * | 2020-12-24 | 2021-05-04 | 北京思湃德信息技术有限公司 | 一种基于深度学习的气温预报偏差订正方法及装置 |
CN113255239A (zh) * | 2021-07-12 | 2021-08-13 | 南京信息工程大学 | 用于预测超高压输电线路杆塔覆冰厚度的深度学习方法 |
CN113807432A (zh) * | 2021-09-16 | 2021-12-17 | 成都卡普数据服务有限责任公司 | 一种基于深度学习的气温预报数据订正方法 |
Non-Patent Citations (1)
Title |
---|
陈昱文等: "基于ECMWF产品的站点气温预报集成学习误差订正", 《应用气象学报》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116432702A (zh) * | 2023-06-09 | 2023-07-14 | 南京信息工程大学 | 一种用于ECMWF预报产品订正的深度学习NFC-Net网络模型 |
CN116432702B (zh) * | 2023-06-09 | 2023-08-29 | 南京信息工程大学 | 一种用于ECMWF预报产品订正的深度学习NFC-Net网络模型 |
CN116992249A (zh) * | 2023-09-28 | 2023-11-03 | 南京信息工程大学 | 基于fmcnn-lstm的格点预报偏差订正方法 |
CN117434624A (zh) * | 2023-09-28 | 2024-01-23 | 兰州中心气象台(兰州干旱生态环境监测预测中心) | 一种基于语义分割的强对流天气识别和发展预判方法 |
CN116992249B (zh) * | 2023-09-28 | 2024-01-23 | 南京信息工程大学 | 基于fmcnn-lstm的格点预报偏差订正方法 |
CN117434624B (zh) * | 2023-09-28 | 2024-04-16 | 兰州中心气象台(兰州干旱生态环境监测预测中心) | 一种基于语义分割的强对流天气识别和发展预判方法 |
CN117910658A (zh) * | 2024-03-15 | 2024-04-19 | 北京和利时系统工程有限公司 | 一种降水量预测方法、模型的训练与修正方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114742179B (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114742179B (zh) | 基于ecmwf的格点预报偏差修正方法 | |
US10831949B2 (en) | Nonlinear method for area-wide near surface air temperature precision retrieval | |
Ghimire et al. | Efficient daily solar radiation prediction with deep learning 4-phase convolutional neural network, dual stage stacked regression and support vector machine CNN-REGST hybrid model | |
CN111738329A (zh) | 一种面向时间序列遥感影像的土地利用分类方法 | |
CN115113301A (zh) | 一种基于多源数据融合的应急短临预报方法及系统 | |
CN109508476B (zh) | 基于深度网络学习的山火预测建模方法 | |
CN111428862B (zh) | 一种极类不平衡时空联合对流初生短临预报方法 | |
CN116432702B (zh) | 一种用于ECMWF预报产品订正的深度学习NFC-Net网络模型 | |
Xiong et al. | Comparison of artificial neural network and support vector machine methods for urban land use/cover classifications from remote sensing images a case study of Guangzhou, South China | |
CN115062527B (zh) | 一种基于深度学习的静止卫星海温反演方法及系统 | |
CN117008217A (zh) | 一种融合自注意力模块与Unet模型的短时强降水预报方法 | |
CN114120101A (zh) | 一种土壤水分多尺度综合感知方法 | |
CN114611608A (zh) | 基于深度学习模型的海表面高度数值预报偏差订正方法 | |
CN111798132B (zh) | 基于多源时序遥感深度协同下的耕地动态监测方法及系统 | |
CN114463616B (zh) | 一种基于Stacking与EMOS-CSG的多源卫星降水融合方法 | |
Liu et al. | An algorithm for early rice area mapping from satellite remote sensing data in southwestern Guangdong in China based on feature optimization and random Forest | |
CN117233869B (zh) | 一种基于GRU-BiTCN的站点短期风速预测方法 | |
Tan et al. | A new downscaling-calibration procedure for TRMM precipitation data over Yangtze River economic belt region based on a multivariate adaptive regression spline model | |
Sun et al. | Deep learning in statistical downscaling for deriving high spatial resolution gridded meteorological data: A systematic review | |
CN115062770B (zh) | 基于广义仿生偏振光导航模型及求解的导航方法 | |
CN113642676B (zh) | 基于异构气象数据融合的区域电网负荷预测方法和装置 | |
Li et al. | Recognition algorithm for deep convective clouds based on FY4A | |
CN115222837A (zh) | 真彩云图生成方法、装置、电子设备及存储介质 | |
Sit et al. | A Systematic Review of Deep Learning Applications in Interpolation and Extrapolation of Precipitation Data | |
Khandelwal et al. | Cloudnet: A deep learning approach for mitigating occlusions in landsat-8 imagery using data coalescence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231101 Address after: Room 91018, 10th Floor, Building B, Guobin Hotel, No. A9 Fuwai Street, Xicheng District, Beijing, 100000 Patentee after: Xinfeng Chenguang (Beijing) Technology Co.,Ltd. Address before: 210000 No. 219 Ningliu Road, Pukou District, Nanjing City, Jiangsu Province Patentee before: Nanjing University of Information Science and Technology |
|
TR01 | Transfer of patent right |