CN111401602A - 基于神经网络的卫星以及地面降水测量值同化方法 - Google Patents
基于神经网络的卫星以及地面降水测量值同化方法 Download PDFInfo
- Publication number
- CN111401602A CN111401602A CN201911405440.4A CN201911405440A CN111401602A CN 111401602 A CN111401602 A CN 111401602A CN 201911405440 A CN201911405440 A CN 201911405440A CN 111401602 A CN111401602 A CN 111401602A
- Authority
- CN
- China
- Prior art keywords
- data
- rainfall
- satellite
- neural network
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000011160 research Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012952 Resampling Methods 0.000 claims abstract description 5
- 238000003062 neural network model Methods 0.000 claims abstract description 5
- 238000009826 distribution Methods 0.000 claims description 13
- 238000001556 precipitation Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000013316 zoning Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 9
- 230000002354 daily effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/95—Radar or analogous systems specially adapted for specific applications for meteorological use
- G01S13/955—Radar or analogous systems specially adapted for specific applications for meteorological use mounted on satellite
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/14—Rainfall or precipitation gauges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Strategic Management (AREA)
- Biomedical Technology (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Environmental & Geological Engineering (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Primary Health Care (AREA)
- Atmospheric Sciences (AREA)
- Ecology (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- Biodiversity & Conservation Biology (AREA)
- Quality & Reliability (AREA)
- Electromagnetism (AREA)
- Environmental Sciences (AREA)
Abstract
本发明提出一种基于神经网络方法的卫星及地面降水测量值同化方法，步骤包括1)获得相互独立的卫星测量数据和地面雨量计数据，进行数据格式网格化、预处理操作；2)对于长时间序列降雨数据，基于时间层面进行处理研究；3)对于短时间序列降雨研究，利用高程数据和降雨数据采用k‑means++处理无类标数据；4)将短时降雨数据和长时间序列降雨数据集分类，重采样成适于机器学习的数据集；5)采用改进型LSTM神经网络模型，通过利用纯卫星数据和站点数据做标签进行神经网络训练得到训练模型，之后再利用待测纯卫星数据带入训练模型得到同化结果。本发明优化降雨卫星数据的系统误差，对降雨量估计值的可靠性进行了进一步的提升，使时空特性具有更高的一致性。
Description
技术领域
本发明涉及降雨量同化，具体涉及一种基于LSTM神经网络方法的卫星以及地面降水测量值同化方法。
背景技术
测量降水有很多广泛应用的方法。其中比较直观的一种是地面雨量计，对降水数据进行直接测量，它的优点就是对于某一特定观测点而言，雨量计所测量的降雨数据具有较高的准确性。但同时这种方法也有着不可忽视的缺点：由于降水过程无论是在时间上还是在空间上都具有很大的不均匀性，而地面雨量计的分布密度又是有限的，因此这种方法不能有效的反映某一较大面积区域的降水分布，对于那些偏远地区，山谷盆地，以及地形较为复杂的区域，用地面雨量计直接进行测量就更加显得不切实际。另一种常用的测量降水数据的方法是利用遥感卫星进行探测。用遥感卫星进行探测的优点是因为卫星具有更广泛的空间覆盖性，能够通过主动探测和被动探测来反演降水的方法，此时，通过卫星探测所获得的全球降水分布就能够较好的满足时空连续性。
早期的降水遥感技术利用红外或是可见光进行探测，这种探测方式通过云层探测来对降水过程进行间接的反演。整个过程的基本原理是，云层顶部的温度越低，那么所估计的降雨强度就会越大，随之降雨量就会越多。这种方法存在的主要缺点是，可见光和红外波对云层的穿透性相对来说都比较差，而反演过程中所获得的主要信息来自于降水云层的顶部，这种物理特性引起的误差在一定程度上降低了遥感信息与地面观测资料之间的可比性。对目前普遍使用的几种降雨数据测量技术进行对比，可以发现，地面雨量计所获得的降雨数据在某一特定测量空间上的数据是精确的，但是受它本身的分布密度限制，雨量计所获得的降雨数据在空间上缺少连续性；而采用雷达和卫星进行测量的方法在空间上具备良好的连续性，但所测得降雨数据的精准度则更需要进一步的考量。目前，通过遥感技术监测降雨数据已经有许多研究，然而依然存在地理因素限制、费时费力、工作量大、准确度不足、实效性不好等各种问题。因此，本文基于LSTM神经网络模型，提出一种准确度较好的降雨量同化技术。
发明内容
发明目的：为了克服现有技术的不足，本发明提供一种基于神经网络的卫星及地面降水测量值同化方法，通过神经网络对地面雨量计和GSMaP星载降水雷达的实时降雨测量数据进行数据模拟训练，从而更精确的同化出降雨量。
技术方案：本发明提出的基于神经网络的卫星以及地面降水测量值同化方法，包括以下步骤：
(1)获得相互独立的卫星测量数据和地面雨量计数据，对数据格式网格化、等预处理操作，根据区域确定短时间序列与长时间序列两类；
(2)对于长时间序列降雨数据，基于时间层面进行处理研究；
(3)对于短时间序列降雨研究，利用高程数据和降雨数据采用k-means++处理无类标数据，先进行空间层面分区再分类处理；
(4)将步骤(2)、(3)处理过的长时间序列降雨数据和短时降雨数据集分类，重采样成适于深度神经网络学习的数据集；
(5)采用LSTM神经网络模型，通过利用纯卫星数据和站点数据做标签进行神经网络训练得到预测同化结果，并进行性能分析。
进一步地，步骤(1)所述的卫星测量数据和地面雨量计数据进行预处理，主要包括获取经纬度，数据网格化；步骤(1)获得相互独立的卫星测量数据和地面雨量计数据，同时对测量值比较分析得出测量偏差，具体流程为：
(1.1)通过星载降雨雷达为数据通话提供实时的遥感测量数据，并将其作为St，将网格化之后的地面雨量计测量的数据记为Gt；
(1.2)将星载降雨雷达提供的实时遥感测量数据与地面雨量计的测量值之间的测量偏差记作Zt，t其中表示时间，将Zt表示为一个自回归模型如下式：
Zt＝Gt/St (公式1)
进一步地，步骤(2)所述的对于长时间序列降雨数据，基于时间层面进行处理研究，即对数据进行时间序列提取、排序及存储。
进一步地，步骤(3)所述的对于短时序列降雨研究，将数据在一个基于空间层次的分析，利用研究区域DEM高程数据和降雨数据，采用k-means++方法进行加权概率分布公式聚类，加权概率分布公式如下：
其中，d(μ(p),M)2为样本点与中心点的平方距离。之后，再对每一类数据进行空间序列提取、存储。DEM高程数据是通过TERRA卫星获取数据并进行处理操作得到。
进一步地，步骤(4)通过对处理过的长时间序列降雨数据和短时降雨数据集分类，重采样成适于深度神经网络学习的数据集。对于长时间降雨数据网格，根据采样规则，按顺序提取前80％网格数据制作训练集，后20％网格数据进行验证。对于短时间降雨数据网格，根据采样规则，随机提取80％网格数据制作训练集，剩余20％网格数据进行验证。
进一步地，步骤(5)通过利用纯数据卫星和站点数据做标签进行LSTM模型神经网络训练，将待测数据放入得到的训练模型进行结果训练，与原始卫星结果进行；步骤(5)中同化性能指标包括：均方根误差、平均绝对误差、相关系数、偏差。
有益效果：本发明与现有技术相比，其显著优点是：(1)获得更可靠的降雨数据，同时减少系统误差；(2)在雨量计分布密度小的复杂地形区域有较强的适应性。
附图说明
图1本发明基于神经网络的数据同化方法的处理过程流程图；
图2(a)神经网络主要技术流程图；(b)循环神经网络LSTM算法流程图；
图3(a)在整个泾河流域卫星测量数据与地面站点的长时间序列数据(日尺度)比较图；
(b)在整个泾河流域LSTM同化数据与地面站点的长时间序列数据 (日尺度)比较图；
(c)在整个泾河流域卫星测量数据与地面站点的长时间序列数据(月尺度)比较图；
(d)在整个泾河流域神经网络同化数据与地面站点的长时间序列数据 (月尺度)比较图；
图4泾河流域2008年基于长时间序列训练的同化、校正卫星及标准雨量站所得月平均降水量变化图；
图5(a)泾河流域中A区域卫星测量数据与地面站点的短时暴雨序列数据(时尺度)比较图；
(b)泾河流域中A区域LSTM同化数据与地面站点的短时暴雨序列数据(时尺度)比较图；
(c)泾河流域中B区域卫星测量数据与地面站点的短时暴雨序列数据(时尺度)比较图；
(d)泾河流域中B区域LSTM同化数据与地面站点的短时暴雨序列数据(时尺度)比较图；
(e)泾河流域中C区域卫星测量数据与地面站点的短时暴雨序列数据(时尺度)比较图；
(f)泾河流域中C区域LSTM同化数据与地面站点的短时暴雨序列数据(时尺度)比较图；
图6(a)泾河流域A区域2010年7月22日06:00至7月24日11:00的基于短时暴雨训练的同化、校正卫星及标准雨量站所得小时平均降水量变化图；
(b)泾河流域B区域2010年7月22日06:00至7月24日11:00的基于短时暴雨训练的同化、校正卫星及标准雨量站所得小时平均降水量变化图；
(c)泾河流域C区域2010年7月22日06:00至7月24日11:00的基于短时暴雨训练的同化、校正卫星及标准雨量站所得小时平均降水量变化图。
具体实施方式
下面结合附图对本发明的优选实施列进行进一步详细阐述。
如图1至图5所示，基于深度神经网络的卫星及地面降水测量值同化方法，包括以下步骤：
第一步，利用卫星降雨产品数据、地面雨量计数据，对数据进行数据校准，格式网格化等预处理操作：
星载降雨卫星(GSMaP)为数据同化提供实时的遥感测量数据。数据同化的另一来源为地面雨量计，雨量计的数据来源于中国气象机构管辖的国家标准站。因此可确保两个数据来源相互独立。
GSMaP_MVK的数据不需经过地面站点降雨数据校准，它是对全球范围内的地表降雨速率进行0.1度和小时分辨率的估计。本研究采用的原始数据是以世界标准时间(UTC)为基准的日(00:00—23:00)逐小时降雨强度的平均值，降水栅格空间分辨率为0.1°×0.1°。将原始数据乘以24h得到本地时间的当日8时至次日8时的逐日降水观测数据。
第二步，对于长时间序列，基于时间层面进行研究：
由于泾河流域2006-2008年的降雨事件具有较长的时间跨度，时间跨度越大，通过神经网络模型训练的规律效果越好。在此次算法中，该长时间序列降雨的卫星输入数据将采用水平分辨率0.25°×0.25°，时间分辨率为3小时的3B42RT数据。
第三步，利用高程数据和降雨数据，采用k-means++处理无类标数据，先进性空间层面分区在进行分类讨论：
由于短时暴雨具有很强的地理因素的影响，所以时间特性并不能起到很强的训练作用，因此采用先分类后训练的方法。k-means++算法选择出是聚类中心的基本原则是出是聚类中心之间的相互距离要尽可能的远，其算法思路如下：
(1)从样本X中随机选取一个中心点c1；
(2)计算X中的每一个样本点与c1之间的距离，用过计算概率
选出概率最大的值对应的点作为下一个中心ci＝x'∈X。其中，D(x)表示每个样本点到中心的距离。
(3)重复步骤(2)，知道我们选择了所有k个中心。
(4)对k个初始化的中心，对于每一个i∈1......k，将Ci设置为X中比所有j≠i都靠近的点c1的集合。
(5)对于每一个i∈1......k，将ci设置为Ci中所有点的质心：
(6)重复(4)(5)，直到所有C值的变化小于给定阈值或达最大迭代次数。
第四步，将短时降雨数据和长时间降雨数据集分类，重采样成适用于机器学习的数据集：
利用k-means++方法训练高程差与降雨之间的关系，为后续机器学习训练做准备，是模型训练的效果更好。
第五步，采用LSTM深度学习模型，通过利用纯卫星数据和站点数据做标签进行神经网络训练得到训练模型，之后再利用待测纯卫星数据代入训练模型得到同化结果：
LSMT算法是一种特定形式的循环神经网络(RNN)。LSTM相比于传统的循环神经网络增加遗忘机制，保存机制和聚焦机制，因此对长期信息进行有效记忆是该网络的默认行为，并会应用专门的学习机制来记住、更新、聚焦于信息，这有助于在更长的时期内跟踪信息。
根据LSTM网络结构，每个LSTM单元的计算公式如下：
ft＝σ(Wf·[ht-1,xt]+bf) (3)
it＝σ(Wi·[ht-1,xt]+bi) (4)
ot＝σ(Wo[ht-1,xt]+bo) (7)
ht＝ot*tanh(Ct) (8)
其中ft表示遗忘门限，it表示输入门限，
表示前一时刻cell状态，Ct表示 cell状态(此处即为循环发生的地方)，ot表示输出门限，ht表示当前单元的输出，ht-1表示前一时刻单元的输出。
在训练LSTM网络时，与前馈神经网络类似，LSTM网络的训练同样采用的是误差的反向传播算法(BP)，不过因为LSTM处理的是序列数据，所以在使用 BP的时候需要将整个时间序列上的误差传播回来。LSTM本身又可以表示为带有循环的图结构，也就是说在这个带有循环的图上使用反向传播时我们称之为 BPTT(back-propagation through time)。ht-1的误差由ht决定，且要对所有的gate layer传播回来的梯度求和，Ct-1由Ct决定，而Ct的误差由两部分，一部分是ht，另一部分是Ct+1。所以在计算Ct反向传播误差的时候，需要传入ht和Ct+1，而h(t) 在更新的时候需要加上ht+1。这样就可以从时刻T向后计算任一时刻的梯度，利用随机梯度下降完成权重系数的更新。
下面通过几个方面来对本方法的可靠性进行验证。
在泾河流域进行试验，如图1(b)为泾河流域图及流域内地面雨量计分布图。泾河流域是典型的半干旱气候，位于南纬34°46'～37°19'，东经106°14'～108°42'。每年平均温度8℃，平均降雨量539.1mm,，平均地表径流18.32mm。该流域的地表雨量计分布相互独立且共有200个地面雨量计每天记录降雨数据。
为了对比分析卫星降雨测量数据的空间误差和经过同化后的结果，特选定几个典型的指标：CC(相关系数),RMSE(均方根误差),MAE(平均误差),和 BIAS(偏差)。
长时间序列的分布特征散点图如图3所示，可以看出经由神经网络训练得到的日尺度下降雨同化数据效果比卫星自带效果好，基于神经网络的RMSE值、 MAE值、BIAS值均低于卫星数据的值，CC值高于卫星数据的值，相关性较高。在月尺度下，降雨同化数据效果同样相对于卫星自带数据效果好，基于神经网络的RMSE值、MAE值值均低于卫星数据的值，CC值高于卫星数据的值，但偏差BIAS较卫星数据值高。
通过对泾河流域结合海拔和降雨量的三类同化结果分析如图5所示。由图中数据可以得出，卫星自带校正算法处理的数据的精确度比泾神经网络训练得到的精确度低，误差大。对于短时序列而言，通常以“小时”为单位。通过泾河流域 2010年7月22日上午06:00至2010年7月24日上午11:00的一次短时间序列暴雨事件为例进行算法验证。由于短时序列相比于长时间序列，在时间层面跨度较小，规律性难以探寻，因此通过结合DEM高程信息进行更细致的划分，进而更好的探寻规律。DEM高程数据是通过TERRA卫星获取数据并进行处理操作得到。
对于短时暴雨数据而言直接利用神经网络训练可能会存在数据集少而导致训练效果不好的问题，那采用分块处理，对数据利用海拔和降雨量的处理进行分类，通过相关性的提高来使训练效果得以提升，进而对利用短时降雨在神经网络训练中的情况得到优化处理。
在长时间序列降雨过程中，3年降水数据为神经网络提供训练样本数据，利用神经网络的反向传递，逐步减少误差。因此，在训练前后数据的对比分析中，神经网络训练后的数据和泾河流域的时空特性具有更高的一致性，进而对长时间降雨情况得到了优化。
综上所述，我们可以利用卫星遥感数据来进行降雨量的判断，这样对于一些对于那些偏远地区，山谷盆地，以及地形较为复杂的区域，可以进行一些准确的测量与研究，并且使其精度得以提高且得以使用。这样对于地面雨量计的依赖程度降低，削弱大量依靠雨量站的作用，进而获得更为可靠的降雨数据，同时减小系统误差。
Claims (6)
1.一种基于神经网络方法的卫星以及地面降水测量值同化方法，其特征在于，包括以下步骤：
(1)获得相互独立的卫星测量数据和地面雨量计数据，对数据格式网格化、等预处理操作，根据区域确定短时间序列与长时间序列两类；
(2)对于长时间序列降雨数据，基于时间层面进行处理研究；
(3)对于短时间序列降雨研究，利用高程数据和降雨数据采用k-means++处理无类标数据，先进行空间层面分区再分类处理；
(4)将步骤(2)、(3)处理过的长时间序列降雨数据和短时降雨数据集分类，重采样成适于深度神经网络学习的数据集；
(5)采用LSTM神经网络模型，通过利用纯卫星数据和站点数据做标签进行神经网络训练得到预测同化结果，并进行性能分析。
2.根据权利要求1所述的基于神经网络方法的卫星以及地面降水测量值同化方法，其特征在于，步骤(1)所述的卫星测量数据和地面雨量计数据进行预处理，主要包括获取经纬度，数据网格化；步骤(1)获得相互独立的卫星测量数据和地面雨量计数据，同时对测量值比较分析得出测量偏差，具体流程为：
(1.1)通过星载降雨雷达为数据通话提供实时的遥感测量数据，并将其作为St，将网格化之后的地面雨量计测量的数据记为Gt；
(1.2)将星载降雨雷达提供的实时遥感测量数据与地面雨量计的测量值之间的测量偏差记作Zt，t其中表示时间，将Zt表示为一个自回归模型如下式：
Zt＝Gt/S (公式1)。
3.根据权利要求1所述的基于神经网络方法的卫星以及地面降水测量值同化方法，其特征在于，步骤(2)所述的对于长时间序列降雨数据，基于时间单位以年份进行处理研究，即对数据进行时间序列提取、排序及存储。
4.根据权利要求1所述的基于神经网络方法的卫星以及地面降水测量值同化方法，其特征在于，步骤(3)所述的对于短时序列降雨研究，时间单位以小时计算，将数据在一个基于空间层次的分析，利用研究区域DEM高程数据和降雨数据，采用k-means++方法进行加权概率分布公式聚类，加权概率分布公式如下：
其中，d(μ(p),M)2为样本点与中心点的平方距离。之后，再对每一类数据进行空间序列提取、存储。DEM高程数据是通过TERRA卫星获取数据并进行处理操作得到。
5.根据权利要求1所述的基于神经网络方法的卫星以及地面降水测量值同化方法，其特征在于，步骤(4)通过对处理过的长时间序列降雨数据和短时降雨数据集分类，重采样成适于深度神经网络学习的数据集。对于长时间降雨数据网格，根据采样规则，按顺序提取前80％网格数据制作训练集，后20％网格数据进行验证。对于短时间降雨数据网格，根据采样规则，随机提取80％网格数据制作训练集，剩余20％网格数据进行验证。
6.根据权利要求1所述的基于神经网络方法的卫星以及地面降水测量值同化方法，其特征在于，步骤(5)通过利用纯数据卫星和站点数据做标签进行LSTM模型神经网络训练，将待测数据放入得到的训练模型进行结果训练，与原始卫星结果进行；步骤(5)中同化性能指标包括：均方根误差、平均绝对误差、相关系数、偏差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911405440.4A CN111401602B (zh) | 2019-12-31 | 2019-12-31 | 基于神经网络的卫星以及地面降水测量值同化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911405440.4A CN111401602B (zh) | 2019-12-31 | 2019-12-31 | 基于神经网络的卫星以及地面降水测量值同化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111401602A true CN111401602A (zh) | 2020-07-10 |
| CN111401602B CN111401602B (zh) | 2022-08-26 |
Family
ID=71428389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911405440.4A Active CN111401602B (zh) | 2019-12-31 | 2019-12-31 | 基于神经网络的卫星以及地面降水测量值同化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111401602B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308029A (zh) * | 2020-11-24 | 2021-02-02 | 国网湖南省电力有限公司 | 雨量站与卫星的降水数据融合方法及系统 |
| CN113253275A (zh) * | 2021-04-22 | 2021-08-13 | 南京航空航天大学 | 一种基于改进rbf神经网络的降雨量估计方法 |
| CN113923594A (zh) * | 2021-10-12 | 2022-01-11 | 中国人民解放军国防科技大学 | 一种基于时分长期演进网络的晴雨区分方法 |
| CN113933809A (zh) * | 2021-09-30 | 2022-01-14 | 中山大学 | 一种基于Kmeans聚类的降水粒子识别方法及装置 |
| CN114966902A (zh) * | 2022-05-16 | 2022-08-30 | 哈尔滨工业大学 | 一种基于神经网络的降雨量自动估测方法及系统 |
| CN114970743A (zh) * | 2022-06-17 | 2022-08-30 | 中国科学院地理科学与资源研究所 | 一种基于多模态深度学习的多源遥感降雨数据融合方法 |
| CN116384127A (zh) * | 2023-04-10 | 2023-07-04 | 中国科学院青藏高原研究所 | 用于气象生态环境的数值模拟预报方法及装置 |
| CN118013411A (zh) * | 2024-04-09 | 2024-05-10 | 中山大学 | 缺资料地区的降水数据优化方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069295A (zh) * | 2015-08-10 | 2015-11-18 | 河海大学 | 基于卡尔曼滤波的卫星以及地面降水测量值同化方法 |
| CN105425319A (zh) * | 2015-09-16 | 2016-03-23 | 河海大学 | 基于地面测量数据校正的降雨卫星暴雨同化方法 |
-
2019
- 2019-12-31 CN CN201911405440.4A patent/CN111401602B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069295A (zh) * | 2015-08-10 | 2015-11-18 | 河海大学 | 基于卡尔曼滤波的卫星以及地面降水测量值同化方法 |
| CN105425319A (zh) * | 2015-09-16 | 2016-03-23 | 河海大学 | 基于地面测量数据校正的降雨卫星暴雨同化方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308029A (zh) * | 2020-11-24 | 2021-02-02 | 国网湖南省电力有限公司 | 雨量站与卫星的降水数据融合方法及系统 |
| CN113253275A (zh) * | 2021-04-22 | 2021-08-13 | 南京航空航天大学 | 一种基于改进rbf神经网络的降雨量估计方法 |
| CN113933809A (zh) * | 2021-09-30 | 2022-01-14 | 中山大学 | 一种基于Kmeans聚类的降水粒子识别方法及装置 |
| CN113933809B (zh) * | 2021-09-30 | 2022-07-29 | 中山大学 | 一种基于Kmeans聚类的降水粒子识别方法及装置 |
| CN113923594A (zh) * | 2021-10-12 | 2022-01-11 | 中国人民解放军国防科技大学 | 一种基于时分长期演进网络的晴雨区分方法 |
| CN113923594B (zh) * | 2021-10-12 | 2023-10-03 | 中国人民解放军国防科技大学 | 一种基于时分长期演进网络的晴雨区分方法 |
| CN114966902A (zh) * | 2022-05-16 | 2022-08-30 | 哈尔滨工业大学 | 一种基于神经网络的降雨量自动估测方法及系统 |
| CN114970743A (zh) * | 2022-06-17 | 2022-08-30 | 中国科学院地理科学与资源研究所 | 一种基于多模态深度学习的多源遥感降雨数据融合方法 |
| CN114970743B (zh) * | 2022-06-17 | 2022-11-08 | 中国科学院地理科学与资源研究所 | 一种基于多模态深度学习的多源遥感降雨数据融合方法 |
| CN116384127A (zh) * | 2023-04-10 | 2023-07-04 | 中国科学院青藏高原研究所 | 用于气象生态环境的数值模拟预报方法及装置 |
| CN116384127B (zh) * | 2023-04-10 | 2024-01-02 | 中国科学院青藏高原研究所 | 用于气象生态环境的数值模拟预报方法及装置 |
| CN118013411A (zh) * | 2024-04-09 | 2024-05-10 | 中山大学 | 缺资料地区的降水数据优化方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111401602B (zh) | 2022-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111401602B (zh) | 基于神经网络的卫星以及地面降水测量值同化方法 | |
| Xu et al. | Do ERA5 and ERA5-land precipitation estimates outperform satellite-based precipitation products? A comprehensive comparison between state-of-the-art model-based and satellite-based precipitation products over mainland China | |
| Ruwali et al. | Implementation of hybrid deep learning model (LSTM-CNN) for ionospheric TEC forecasting using GPS data | |
| Babar et al. | Random forest regression for improved mapping of solar irradiance at high latitudes | |
| Zhang et al. | Assessment of the GPM and TRMM precipitation products using the rain gauge network over the Tibetan Plateau | |
| Reuter et al. | A joint effort to deliver satellite retrieved atmospheric CO 2 concentrations for surface flux inversions: the ensemble median algorithm EMMA | |
| CN103810376A (zh) | 基于卫星遥感与回归克里格的地面日降雨量预测方法 | |
| Behrangi et al. | REFAME: Rain estimation using forward-adjusted advection of microwave estimates | |
| CN111797131B (zh) | 一种基于遥感降水产品的极端降水区域频率分析方法 | |
| CN112232554A (zh) | 一种基于bp神经网络的局域短临降水预报模型的构建方法 | |
| CN112861072B (zh) | 一种星地多源降水自适应动态融合方法 | |
| CN108961402B (zh) | 多卫星遥感降水反演在大尺度复杂流域的时空精度标定方法 | |
| CN110990505A (zh) | 一种基于神经网络的Loran-C ASF修正方法 | |
| Li et al. | An improved model for detecting heavy precipitation using GNSS-derived zenith total delay measurements | |
| CN105069295A (zh) | 基于卡尔曼滤波的卫星以及地面降水测量值同化方法 | |
| Kim et al. | Analysis of the relationship among flood severity, precipitation, and deforestation in the Tonle Sap Lake Area, Cambodia Using Multi-Sensor approach | |
| CN114186484B (zh) | 一种适用于高海拔地区的地表土壤湿度遥感反演方法 | |
| Kim et al. | Preliminary study of deep learning-based precipitation prediction | |
| CN116910041B (zh) | 一种基于尺度分析的遥感降水产品的逐日订正方法 | |
| CN114936201A (zh) | 基于自适应分块神经网络模型的卫星降水数据校正方法 | |
| CN113139327A (zh) | 一种基于gru网络模型的电离层tec单点预测方法及系统 | |
| Fan et al. | A comparative study of four merging approaches for regional precipitation estimation | |
| Zhang et al. | QRF4P‐NRT: Probabilistic Post‐Processing of Near‐Real‐Time Satellite Precipitation Estimates Using Quantile Regression Forests | |
| CN114840616A (zh) | 一种基于时空插值的动态大气自然环境建模方法 | |
| Semane et al. | Comparison of Desroziers and three-cornered hat methods for estimating COSMIC-2 bending angle uncertainties |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |