CN116542132B - 结合球冠谐模型和神经网络的水汽数据校准与优化方法 - Google Patents
结合球冠谐模型和神经网络的水汽数据校准与优化方法 Download PDFInfo
- Publication number
- CN116542132B CN116542132B CN202310367431.0A CN202310367431A CN116542132B CN 116542132 B CN116542132 B CN 116542132B CN 202310367431 A CN202310367431 A CN 202310367431A CN 116542132 B CN116542132 B CN 116542132B
- Authority
- CN
- China
- Prior art keywords
- pwv
- neural network
- data
- model
- spherical crown
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000005457 optimization Methods 0.000 title claims abstract description 46
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 35
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 46
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 241001429221 Passion fruit woodiness virus Species 0.000 claims description 212
- 239000005442 atmospheric precipitation Substances 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 8
- 238000002790 cross-validation Methods 0.000 claims description 4
- 230000009897 systematic effect Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000007500 overflow downdraw method Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/10—Numerical modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/08—Fluids
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种结合球冠谐模型和神经网络的水汽数据校准与优化方法。它包括如下步骤：步骤一：使不同来源的PWV数据时间上保持一致；步骤二：利用球冠谐模型对PWV数据进行初步校准与优化；步骤三：利用球冠谐模型输出初步校准的中间PWV，并与经纬度、高程、时间形成样本；步骤四：构建深度校准的神经网络模型架构；步骤五：训练和测试神经网络模型及其精度评价信息；步骤六：利用训练好的球冠谐模型和神经网络模型对低精度PWV进行校准和优化，输出优化后的PWV。本发明解决了传统拟合法局部偏差难改正以及神经网络模型结果不可控的问题；具有校准PWV系统偏差和改善PWV精度，有效提升PWV数据的精度和可靠性的优点。
Description
技术领域
本发明涉及地球科学和测绘科学与技术领域，具体地说它是一种地学数据校准与优化的处理方法，具体地说它是一种结合球冠谐模型和神经网络的水汽数据优化方法。更具体地说它是一种将球冠谐模型与人工神经网络模型相结合的地学数据校准与优化方法。
背景技术
水汽在天气和气候过程以及能量传输中发挥着重要作用，同时也会对对地观测技术产生不利影响，因此，精准监测水汽对于提升天气预报水平和改善对地观测精度等都具有重要意义。然而，由于水汽的高度动态性和当下有限的观测技术，监测水汽状态并预测其变化仍然存在很多不足。大气可降水量(Precipitable Water Vapor,PWV)是最常用的衡量大气中水汽总量的物理量，它被定义为单位横截面积的垂直柱体中所含的水汽全部凝结为液体时的高度，传统的水汽监测手段包括无线电探空仪(Radiosonde,RS)、水汽辐射计(Water vapor radiometer,WVR)、微波遥感等，但它们存在着时空分辨率低、运行成本高、易受天气影响等缺点。近20年以来，现代对地观测技术的蓬勃发展使得水汽观测技术空前丰富，如GNSS和合成孔径雷达技术等，尤其是GNSS技术不仅具有与无线电探空同等的高精度，而且具有连续运行、时间分辨率高和不受天气影响等优点，在很大程度上弥补了传统观测手段的不足，也使得水汽观测数据海量激增。此外，国际上多个机构的数值天气预报模型,如ECMWF、NCEP等，亦可提供大气可降水量数据。对地观测数据和模型数据的空前丰富为地球科学的发展提供了巨大契机，但也提出了新的挑战，包括不同技术得到的水汽观测值之间普遍存在多源异构(点状、面状和网状分布)、精度不等、分辨率不一致以及严重的系统偏差等问题，这严重妨碍了多源数据的联合利用，数据较准与优化因而变得十分必要。传统技术中校准并融合GNSS PWV的方法都是基于插值法进行校准，插值精度受数据密度受数据时空分布影响很大，属于简易且受限的方法。新兴的基于神经网络模型的数据校准融合方法数学架构不透明，因而容易产生一些异常结果，即结果可能不受控或稳定性不足。
因此，开发一种精度高且稳定的水汽数据校准方法很有必要。
发明内容
本发明的目的是为了提供一种结合球冠谐模型和神经网络的水汽数据校准与优化方法，为一种兼顾稳定性和高精度的大气可降水量数据较准与优化方法，具有校准PWV系统偏差和改善PWV精度的作用，可生成高精度的PWV数据产品，且兼顾稳定性和可靠性，能提升数据的利用率；解决了现有的PWV较准方法中稳定性和精度难以兼顾，传统拟合法局部偏差难改正以及神经网络模型结果不可控的问题。
为了实现上述目的，本发明的技术方案为：一种结合球冠谐模型和神经网络的水汽数据校准与优化方法，其特征在于：本发明利用球冠谐模型和人工神经网络模型实现低精度地学数据的两步较准与优化，最终获得高精度的地学数据，为：先构建一个球冠谐模型实现地学数据的粗校准，然后构建一个人工神经网络实现地学数据的精校准，最终通过球冠谐+神经网络的两步校准法实现地学数据的较准与优化；
具体方法，包括如下步骤：
步骤一：使不同来源的PWV数据时间上保持一致；
步骤二：利用球冠谐模型(即式(1))对PWV数据进行初步校准与优化；
将两类PWV数据中的高精度PWV数据作为参考大气可降水量PWVr，然后用式(1)中的第一式，即经典的球冠谐模型来表达PWVr；用式(1)中的第二式，即附加了一个系统偏差参数B的球冠谐模型来表达待较准的大气可降水量PWVc；通过式(1)对PWV数据进行初步校准与优化；
(1)
需要注意的是，式(1)两个公式中的球冠谐模型系数完全相同，式(1)中的第一式和第二式联立确定球冠谐模型系数(代表全局无偏的PWV场)以及PWVc相对于PWVr的全局系统偏差B；
使用三维空间插值方法将步骤一中不同来源的PWV数据内插到相同的采样点上，使不同来源的PWV数据在空间上保持一致；
在步骤二中，利用一个经典的球冠谐模型来表达高精度PWV数据，利用一个附加系统差参数的球冠谐模型来表达低精度PWV数据，二者联立可求解球冠谐模型系数以及低精度PWV的系统偏差，并可利用求解的球冠谐模型系数计算出初步较准的中间PWV(即PWVm)；
步骤三：利用步骤二中求得的球冠谐模型输出初步校准的中间PWV，并与经纬度、高程、时间形成样本；
步骤四：构建深度校准的神经网络模型架构；
步骤五：训练和测试神经网络模型及其精度评价信息；
利用10倍交叉验证法进行神经网络模型的训练和测试，以测试结果的均方根误差最小为依据确定最优的人工神经网络模型参数，并得到最终的神经网络模型及其精度评价信息；
步骤六：利用训练好的球冠谐模型和神经网络模型对低精度PWV进行校准和优化，输出优化后的PWV。
本发明在步骤二-六中，构建了一个球冠谐模型+人工神经网络的方法体系用于校准PWV数据的系统偏差和改善PWV精度，生成高精度的PWV数据产品。
在上述技术方案中，在步骤一中，采用一维插值方法将两类不同来源的PWV数据内插到相同的时间，使两类PWV数据在时间上保持一致；
时间上的一维插值方法至少包括线性插值、最邻近插值、样条曲线插值法。
在上述技术方案中，在步骤三中，利用步骤二中求得的球冠谐模型系数和系统偏差B计算初步校准的中间PWV，并与经纬度、高程、时间形成样本，具体方法为：
利用步骤二中确定的球冠谐模型系数和全局系统偏差B计算高精度PWV数据(为步骤二中选用的两类PWV数据中的精度较高的PWV数据，即PWVr)采样点上的PWV，作为中间大气可降水量PWVm，将并址的PWVm与PWVr连同它们的经纬度、高程、时间高程作为下一步神经网络模型的训练样本(也即构成下一步精校准的样本数据)。
在上述技术方案中，在步骤四中，神经网络模型选用GRNN模型或BPNN模型或XGBoost模型来建立PWVr和PWVm之间的非线性关系，进而实现PWVm的校准；神经网络模型的输入层为经纬度、高程、时间和PWVm，输出层为PWVr；
本发明利用人工神经网络模型建立高精度PWV(即PWVr)与中间PWV(即PWVm)间的非线性回归关系，利用神经网络深度较准和优化中间PWV，产出深度优化后的PWV。
在上述技术方案中，在步骤六中，利用训练好的球冠谐模型和神经网络模型对低精度PWV进行校准和优化，具体方法为：
首先利用拟合好的球冠谐模型计算出所有低精度PWV数据采样点上的PWVm，然后将所有PWVm及其经纬度、高程、时间带入步骤五中训练好的神经网络模型，输出即为深度较准和优化后的PWV。
本发明具有如下优点：
(1)本发明提出了一种结合球冠谐模型和人工神经网络模型的PWV数据较准与优化方法，与已有方法相比，本发明方法不仅具有高精度，而且具有优异的稳定性(从表1、图2和图3可以看出，本发明的RMS较小且波动较小，可见本发明精度高且稳定，本发明对水汽数据优化改进的效果明显)，兼具球冠谐拟合法和神经网络方法的优点，且规避了其缺点；本发明方法可空间差异化地校准低精度PWV的系统偏差，提升低精度PWV的精度，不会人为引入系统性偏差；此外，本发明方法既可保持原始数据的分辨率并纠正局部偏差，也可生成任意分辨率的PWV数据；
(2)本发明适用性强，本发明所述方法作为一种新型地学数据融合方法，所使用的人工神经网络模型架构还可以拓展到其他地学数据(包含时间、地理和属性信息的数据)，适合多种地学数据的系统偏差校准、精度优化和数据融合等。
附图说明
图1为本发明中的PWV较准与优化方法的流程图；
图2为本发明实施例优化前后MODIS PWV的偏差(Bias)分布图；
图3为本发明实施例优化前后MODIS PWV的均方根误差(RMSE)分布图。
图4为本发明实施例利用某欧洲地区2,794个GNSS测站的GNSS PWV对两种方法的检验结果统计图(为本发明、现有单纯的神经网络模型(XGBoost)进行校准的效果图)。
具体实施方式
下面结合附图详细说明本发明的实施情况，但它们并不构成对本发明的限定，仅作举例而已。同时通过说明使本发明的优点更加清楚和容易理解。
本发明通过依次执行的步骤(在步骤二-步骤五中，先构建了基于球冠谐模型的初步校准方法，然后构建了基于人工神经网络的深度校准模型，二者结合实现低精度PWV的两步校准与优化，并通过步骤六对所有低精度PWV进行校准)生成高精度的PWV数据产品，且兼顾稳定性和可靠性，提升数据的利用率；解决传统拟合法局部偏差难改正以及神经网络模型结果不可控的问题。
参阅附图可知：一种结合球冠谐模型和神经网络的水汽数据校准与优化方法，先构建一个球冠谐模型来实现低精度大气可降水量数据的粗校准，得到具有较高精度和稳定性的中间数据，此时系统偏差尚未较准；然后利用一个人工神经网络模型对中间数据进行深度较准与优化，消除局部系统偏差，同时进一步提升精度，最终产生高精度的PWV数据；
具体融合方法，包括如下步骤，
步骤一：采用一维插值方法将任意两个来源的PWV数据(不同来源的PWV数据是指PWV数据间存在精度不等和/或系统偏差和/或时空分辨率不一致)内插到相同的时间，使不同来源的PWV数据时间上保持一致；
步骤二：将两类PWV数据中的高精度PWV数据作为参考PWV(PWVr)，然后用式(1)中的第一式，即经典的球冠谐模型来表达PWVr；式(1)中的第二式，即附加了一个全局系统偏差参数B的球冠谐模型来表达待较准的PWV数据(PWVc)。需要注意的是，式(1)两个公式中的球冠谐模型系数完全相同，两式联立确定球冠谐模型系数(代表全局无偏的PWV场)以及PWVc相对于PWVr的全局系统偏差。
(1)
其中：其中：a是地球半径，其数值根据参考椭球确定，当使用WGS84椭球时a的值为6,378,137米；r、θ、λ是兴趣点在球坐标系下的向径、余纬和经度，其中，r1、θ1、λ1为式(1)中的第一式中的兴趣点在球坐标系下的向径、余纬和经度，r2、θ2、λ2为式(1)中的第二式中的兴趣点在球坐标系下的向径、余纬和经度；是第一类缔合勒让德函数；nk(m)和m是球冠谐模型的阶数和次数，其中m是实整数，nk(m)是实数，k是阶数nk(m)的整数下标，k≥m≥0；N是球冠谐模型的最高展开阶数；/>和/>是待确定的球冠谐模型系数；
步骤三：利用步骤二中确定的球冠谐模型系数和全局系统偏差B计算高精度PWV数据采样点上的PWV，称为中间PWV(PWVm)，将并址的PWVm与PWVr连同它们的经纬度、高程、时间高程作为下一步神经网络模型的训练样本。
步骤四：构建神经网络模型架构，可采用GRNN、BPNN、XGBoost等模型来建立PWVr和PWVm之间的非线性关系，进而实现PWVm的校准；神经网络模型的输入层为经纬度、高程、时间和PWVm，输出层为PWVr；
步骤五：利用10倍交叉验证法进行模型的训练和测试，以测试结果的均方根误差最小为依据确定最优的人工神经网络模型参数，并得到最终的神经网络模型及其精度评价信息；
步骤六：在利用拟合的球冠谐模型和训练好的神经网络模型去较准和优化低精度PWV时，首先利用拟合好的球冠谐模型计算出所有低精度PWV数据点上的PWVm，然后将所有PWVm及其经纬度、高程、时间带入训练好的神经网络模型，输出即为深度较准和优化后的PWV。本发明在步骤二-六中，构建了一个球冠谐模型+人工神经网络的方法体系用于校准PWV数据的系统偏差和改善PWV精度，且通过对应的检验和评价方法，生成高精度的PWV数据产品。
本发明在步骤二中，提出了一种基于球冠谐模型的PWV数据较准方法，用经典球冠谐模型表达参考PWV(高精度无偏PWV数据)，用一个附带系统偏差参数的球冠谐模型表达低精度有偏PWV数据，通过解算式(1)可实现低精度PWV数据的粗校准；
进一步地，在步骤三中，利用式(1)生成了中间PWV(PWVm)，即粗校准PWV，该数据具有较高的稳定性和精度，但可能包含局部系统偏差；
更进一步地，在步骤四和步骤五中，构建了高精度PWV与中间PWV之间的神经网络模型，该神经网络实现了对中间PWV的深度较准与优化，可进一步提升PWV的精度，并可较准潜在的局部系统偏差。
本发明结合球冠谐模型和人工神经网络模型实现低精度PWV的深度较准与优化：在步骤二-步骤六中，首先提出了一个基于球冠谐模型的PWV数据初较准方法，可产出中间具有较高精度和稳定性的中间PWV。该方法具有数学框架清晰、稳定可控、结果精度较高的优点，但无法消除可能存在的局部系统偏差；为了解决上述问题，又在中间PWV与高精度PWV之间构建了一个人工神经网络模型，利用神经网络对中间PWV进行深度的精细化较准与优化，消除局部系统偏差，生成高精度高可靠性的PWV数据产品。
申请人在本发明之前申请了公开号为CN115292968A、专利名称为《一种基于球冠谐模型的多源大气可降水量数据融合方法》以及公开号为CN115392401A、专利名称为《一种基于人工神经网络的大气可降水量数据融合方法》的专利，通过这两件专利的技术方案解决提高PWV数据与融合精度的问题；但在后续的研究中发现，CN115292968A无法实现局部系统偏差的较准、精度较差；而CN115392401A由于广义回归神经网络模型数学架构不透明，因而容易产生一些异常结果，即结果可能不受控或稳定性不足；因而开发了本发明方法；
本发明是一种一对一的数据优化方法，这与CN115292968A的数据融合方法存在本质不同，本发明方法提出了基于包含系统差参数的球冠谐纠正模型，基于公式(1)中的两式联立进行解算、获取中间PWV，实现PWV数据的初步校准，这与现有技术采用先人工去系统差再拟合的方法也存在显著差异；
由于本发明是一种数据优化方法，采用的神经网络模型可以是多种模型，例子中给出了XGBoost模型，输入数据是经球冠谐模型初步优化后的中间PWV，这种输入设置可保证结果的稳定性，减少异常结果的产生；解决了CN115392401A的数据融合方法采用GRNN模型，输入数据是待优化的PWV，这种设置会导致结果不可控，可能出现异常结果，导致稳定性差的问题；本发明经过球冠谐+神经网络的两步优化后，PWV的精度和稳定性明显提高，明显优于现有技术。
本发明提出了一种结合球冠谐模型和神经网络模型的PWV数据校准和优化方法。现有球冠谐模型具有清晰的数学框架，因而其结果可控，但该方法无法解决局部系统偏差。现有神经网络模型数学框架隐藏，虽然简单高效，但结果不可控，容易产生异常结果。本发明将两种方法结合起来，发挥二者的优势，规避了缺点，在实践中取得了良好的效果。
实施例：现以本发明试用于欧洲某地区进行大气可降水量数据较准为实施例对本发明进行详细说明，对本发明应用于其他地区进行大气可降水量数据融合同样具有指导作用。
本实施例在欧洲某地区采用本发明方法开展了利用GNSS PWV(全球导航卫星系统测量的大气可降水量)校准和优化MODIS PWV(中分辨率成像光谱仪测量的大气可降水量)的实验，具体实施方式如下：
步骤A.将高时间分辨率的GNSS PWV(全球导航卫星系统测量的大气可降水量)数据内插到低分辨率的MODIS PWV(中分辨率成像光谱仪测量的大气可降水量)的采样时刻，实现不同数据的时间配准；
步骤B.将时间配准后的GNSS PWV代入式(1)的第一式，将配准后的MODIS PWV带入到式(1)的第二式，联立两式解算球冠谐模型系数和MODIS PWV相对于GNSS PWV的全局系统偏差；
(1)
步骤C.利用步骤B中拟合的球冠谐模型计算中间PWV，并与对应的经纬度、高程、时间构成后续使用的训练样本；
步骤D.构建输入为(经度、纬度、高程、时间、中间PWV)，输出为(GNSS PWV)的样本对，并对所有变量进行归一化处理，该例的神经网络采用了XGBoost(极度梯度提升树)模型；
步骤E.利用十倍交叉验证法确定模型参数，训练和测试XGBoost模型，得到最优模型及其精度信息；
步骤F.利用解算的球冠谐模型和训练好的XGBoost模型分别对MODIS PWV进行初校准和深度较准，得到最终的优化后的MODIS PWV；
其中，GNSS为全球导航卫星系统；
GNSS PWV为全球导航卫星系统测量的大气可降水量；
MODIS为中分辨率成像光谱仪；
MODIS PWV为中分辨率成像光谱仪测量的大气可降水量；
XGBoost极度梯度提升树。
本实施例利用均方根误差(Root Mean Square Error,RMSE)、标准偏差(StandardDeviation，STD)、偏差(Bias)和相关系数(R)来评价本发明在数据融合方面的表现，在某地区开展了利用GNSS PWV校准和优化MODIS PWV和ERA5 PWV的实验，进而评估本发明方法的表现，利用GNSS PWV校准和优化的具体精度信息如下表1所示；
表1本实施例原始与采用本发明方法优化后的MODIS PWV精度信息(单位：毫米)
| MODIS PWV | 相关系数(R) | 系统偏差(Bias) | 标准差(STD) | 均方根误差(RMS) |
| 原始PWV | 0.88 | -0.7 | 4.4 | 4.5 |
| 中间PWV | 0.94 | -0.1 | 2.8 | 2.8 |
| 优化PWV | 0.97 | 0.0 | 2.0 | 2.0 |
上表1显示：MODIS PWV(中分辨率成像光谱仪测量的大气可降水量)原始PWV的偏差Bias为-0.7mm，标准差STD为4.4mm，均方根误差RMS为4.5mm。经本发明方法中的球冠谐模型初步优化(得到中间PWV)，将原始PWV的上述偏差Bias、标准差STD、均方根误差RMS指标分别降到了-0.1mm,2.8mm和2.8mm，相关系数也从原始PWV的0.88增大到了0.94。说明本发明通过球冠谐模型明显提升了PWV数据的精度和抑制了总体系统偏差；经过本发明方法中的XGBoost模型深度校准和优化之后(得到优化PWV)，将中间PWV的Bias、STD和RMS进一步降低到了0mm，2.0mm和2.0mm，相关系数也由中间PWV的0.94提升到了0.97，这说明本发明中的XGBoost模型明显进一步提升了中间PWV的精度。
将现有技术CN115292968A应用于上述实施例中的某欧洲地区进行大气可降水量数据较准，在同样的条件下，采用现有技术CN115292968A优化后的MODIS PWV精度信息为：相关系数(R)为0.92、系统偏差(Bias)为-0.2、标准差(STD)为2.8、均方根误差(RMS)为2.8。可见，本发明的优化效果明显优于相对于现有技术CN115292968A的优化效果，相对于现有技术CN115292968A，采用本发明优化后能明显提升中间PWV的精度。
现将现有的神经网络模型(XGBoost)应用于上述实施例中的某欧洲地区进行大气可降水量数据较准，在同样的条件下，现有的神经网络模型(XGBoost)与本发明方法的较准效果如下表2所示：
表2本发明与XGBoosts神经网络模型在校准和优化MODIS PWV效果上的比较
上述表2比较了本实施例分别采用本发明、现有单纯的神经网络模型(XGBoost)进行校准的效果，可以看到本发明的相关系数、标准差和均方根误差均优于现有XGBoost方法。而且从图4可以看出本发明方法的标准差和均方根误差更多地集中在0附近，大标准差和均方根误差均少于XGBoost方法，这也表明了本发明在抑制异常值和控制粗差上具有相对神经网络模型的优越性。
图2和图3分别展示的是本实施例采用本发明方法优化前后MODIS PWV的偏差Bias和均方根误差RMSE的分布图；
图2中的(a)、(b)、(c)三图分别表示优化前、中间PWV和优化后的MODIS PWV的Bias分布图；在图2中，较准前的MODIS PWV的Bias表示为Original MODIS，即原始MODIS PWV的Bias；中间MODIS PWV的Bias表示为Medium MODIS，即球冠谐模型初步优化后的MODIS PWV的Bias；最终优化后MODIS PWV的Bias表示为Modified PWV，即经过本发明两步优化后的MODIS PWV的Bias，单位为：mm；图2中的纵坐标表示纬度，单位为：度；横坐标表示经度，单位为：度；
图3中的(a)、(b)、(c)三图分别表示优化前、中间PWV和优化后的MODIS PWV的RMS分布图；在图3中，较准前的MODIS PWV的RMS表示为Original MODIS，即原始MODIS PWV的RMS；中间MODIS PWV的RMS表示为Medium MODIS，即球冠谐模型初步优化后的MODIS PWV的RMS；最终优化后MODIS PWV的RMS表示为Modified PWV，即经过本发明两步优化后的MODISPWV的RMS，单位为：mm；图3中的纵坐标表示纬度，单位为：度；横坐标表示经度，单位为：度；
对比图2和图3中的三个子图很容易观察出，本发明中的球冠谐模型的初步校准提升了PWV数据精度，但局部系统偏差未完全校正，经过神经网络模型的深度较准与优化，局部系统偏差得到大幅度较准，精度也得到进一步提升；最终结果表明，经过本发明的两步较准与优化后，水汽数据结果的精度得到显著提升，系统偏差得到充分消除，获得了空间均一且稳定的高精度PWV数据，充分证明了本发明所提方法具有校准PWV系统偏差和改善PWV精度作用，能有效提升PWV数据的精度和可靠性的优势。
其它未说明的部分均属于现有技术。
Claims (4)
1.一种结合球冠谐模型和神经网络的水汽数据校准与优化方法，其特征在于：先构建一个球冠谐模型实现地学数据的粗校准，然后构建一个人工神经网络实现地学数据的精校准，最终通过球冠谐+神经网络的两步校准法实现地学数据的较准与优化；
具体方法，包括如下步骤：
步骤一：使不同来源的PWV数据时间上保持一致；
在步骤一中，采用一维插值方法将两类不同来源的PWV数据内插到相同的时间，使两类PWV数据在时间上保持一致；
步骤二：对PWV数据进行初步校准与优化；
将两类PWV数据中的高精度PWV数据作为参考大气可降水量PWVr，用式(1)中的第一式表达PWVr；用式(1)中的第二式表达待较准的大气可降水量PWVc；通过式(1)对PWV数据进行初步校准与优化；
其中，式(1)中的第一式和第二式联立确定球冠谐模型系数以及PWVc相对于PWVr的全局系统偏差B；
使用三维空间插值方法将步骤一中不同来源的PWV数据内插到相同的采样点上，使不同来源的PWV数据在空间上保持一致；
步骤三：利用步骤二中求得的球冠谐模型输出初步校准的中间PWV，并与经纬度、高程、时间形成样本；
步骤四：构建深度校准的神经网络模型架构；
步骤五：训练和测试神经网络模型及其精度评价信息；
利用10倍交叉验证法进行神经网络模型的训练和测试，以测试结果的均方根误差最小为依据确定最优的人工神经网络模型参数，并得到最终的神经网络模型及其精度评价信息；
步骤六：利用训练好的球冠谐模型和神经网络模型对低精度PWV进行校准和优化，输出优化后的PWV。
2.根据权利要求1所述的结合球冠谐模型和神经网络的水汽数据校准与优化方法，其特征在于：在步骤三中，利用步骤二中求得的球冠谐模型系数和系统偏差B计算初步校准的中间PWV，并与经纬度、高程、时间形成样本，具体方法为：
利用步骤二中确定的球冠谐模型系数和全局系统偏差B计算高精度PWV数据采样点上的中间大气可降水量，记为PWVm；将并址的PWVm与PWVr连同它们的经纬度、高程、时间高程作为下一步神经网络模型的训练样本。
3.根据权利要求2所述的结合球冠谐模型和神经网络的水汽数据校准与优化方法，其特征在于：在步骤四中，神经网络模型选用GRNN模型或BPNN模型或XGBoost模型来建立PWVr和PWVm之间的非线性关系，进而实现PWVm的校准；神经网络模型的输入层为经纬度、高程、时间和PWVm，输出层为PWVr。
4.根据权利要求3所述的结合球冠谐模型和神经网络的水汽数据校准与优化方法，其特征在于：在步骤六中，利用训练好的球冠谐模型和神经网络模型对低精度PWV进行校准和优化，具体方法为：
首先利用拟合好的球冠谐模型计算出所有低精度PWV数据采样点上的PWVm，然后将所有PWVm及其经纬度、高程、时间带入步骤五中训练好的神经网络模型，输出为深度较准和优化后的PWV。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310367431.0A CN116542132B (zh) | 2023-04-07 | 2023-04-07 | 结合球冠谐模型和神经网络的水汽数据校准与优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310367431.0A CN116542132B (zh) | 2023-04-07 | 2023-04-07 | 结合球冠谐模型和神经网络的水汽数据校准与优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116542132A CN116542132A (zh) | 2023-08-04 |
| CN116542132B true CN116542132B (zh) | 2024-04-16 |
Family
ID=87444392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310367431.0A Active CN116542132B (zh) | 2023-04-07 | 2023-04-07 | 结合球冠谐模型和神经网络的水汽数据校准与优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116542132B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107290762A (zh) * | 2016-09-22 | 2017-10-24 | 武汉大学 | 基于载波三次差分的室外gnss绝对天线相位中心标校方法 |
| CN109883313A (zh) * | 2019-01-31 | 2019-06-14 | 中国矿业大学 | 一种基于单频gnss定位技术监测高铁大桥动态挠度的方法 |
| CN110441795A (zh) * | 2019-08-13 | 2019-11-12 | 苏州时空复弦网络科技有限公司 | 一种基于时空结构信息的中国区域电离层vtec精确建模方法 |
| CN115292968A (zh) * | 2022-09-29 | 2022-11-04 | 武汉大学 | 一种基于球冠谐模型的多源大气可降水量数据融合方法 |
| CN115392401A (zh) * | 2022-10-25 | 2022-11-25 | 武汉大学 | 一种基于人工神经网络的大气可降水量数据融合方法 |
-
2023
- 2023-04-07 CN CN202310367431.0A patent/CN116542132B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107290762A (zh) * | 2016-09-22 | 2017-10-24 | 武汉大学 | 基于载波三次差分的室外gnss绝对天线相位中心标校方法 |
| CN109883313A (zh) * | 2019-01-31 | 2019-06-14 | 中国矿业大学 | 一种基于单频gnss定位技术监测高铁大桥动态挠度的方法 |
| CN110441795A (zh) * | 2019-08-13 | 2019-11-12 | 苏州时空复弦网络科技有限公司 | 一种基于时空结构信息的中国区域电离层vtec精确建模方法 |
| CN115292968A (zh) * | 2022-09-29 | 2022-11-04 | 武汉大学 | 一种基于球冠谐模型的多源大气可降水量数据融合方法 |
| CN115392401A (zh) * | 2022-10-25 | 2022-11-25 | 武汉大学 | 一种基于人工神经网络的大气可降水量数据融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| Modeling australian TEC maps using long-term observations of australian regional GPS network by artificial neural network-aided spherical cap harmonic analysis approach;wang li et al;《remote sens》;20201224;1-20 * |
| Precipitable water vapor fusion based on a generalized regression neural network;Bao Zhang，Yibin Yao;《Journal of Geodesy 》;20210301;1-14 * |
| Precipitable water vapor fusion: an approach based on spherical cap harmonic analysis and Helmert variance component estimation;Bao Zhang等;《Journal of Geodesy》;20191231;1-17 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116542132A (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109580003B (zh) | 一种静止气象卫星热红外数据估算近地面大气温度方法 | |
| CN111007021A (zh) | 基于一维卷积神经网络的高光谱水质参数反演系统及方法 | |
| CN110287457B (zh) | 基于卫星雷达遥感数据的玉米生物量反演测算方法 | |
| CN106483147B (zh) | 基于多源数据的长时间序列被动微波土壤水分精度改进研究方法 | |
| CN111859695B (zh) | 基于高分五号卫星紫外可见高光谱的大气污染成分反演方法 | |
| CN112906300B (zh) | 基于双通道卷积神经网络的极化sar土壤湿度反演方法 | |
| CN110389087B (zh) | 一种污染天气下的pm2.5浓度卫星遥感估算方法 | |
| CN110650436A (zh) | 基于WiFi数据的位置指纹库建立与拟合方法 | |
| CN116297068B (zh) | 基于地表反射率优化的气溶胶光学厚度反演方法及系统 | |
| CN113344149B (zh) | 一种基于神经网络的pm2.5逐小时预测方法 | |
| CN110595968A (zh) | 一种基于静止轨道卫星的pm2.5浓度估算方法 | |
| CN113468799A (zh) | 一种静止气象卫星观测中获取近地面pm2.5浓度的方法及系统 | |
| CN116027010A (zh) | 一种多源卫星测量土壤水分的数据校正方法 | |
| CN115859789A (zh) | 一种提高极地大气温度廓线反演精度的方法 | |
| CN113111529B (zh) | 融合数值模式和卫星微波云反演数据的红外亮温模拟方法 | |
| CN113408111B (zh) | 大气可降水量反演方法及系统、电子设备和存储介质 | |
| CN116542132B (zh) | 结合球冠谐模型和神经网络的水汽数据校准与优化方法 | |
| CN116299247B (zh) | 一种基于稀疏卷积神经网络的InSAR大气校正方法 | |
| CN111126466B (zh) | 一种多源pwv数据融合方法 | |
| CN117592005A (zh) | Pm2.5浓度卫星遥感估算方法、装置、设备及介质 | |
| CN115392401A (zh) | 一种基于人工神经网络的大气可降水量数据融合方法 | |
| CN114065931B (zh) | 基于物理模型和神经网络融合的陆地水汽反演方法及系统 | |
| CN115292968A (zh) | 一种基于球冠谐模型的多源大气可降水量数据融合方法 | |
| CN115049026A (zh) | 基于gsnnr的空间非平稳性关系的回归分析方法 | |
| Xie et al. | Spatial downscaling of TRMM precipitation using an optimal regression model with NDVI in inner Mongolia, China |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |