CN106933776B - 一种modis aod产品缺失数据修复的方法 - Google Patents
一种modis aod产品缺失数据修复的方法 Download PDFInfo
- Publication number
- CN106933776B CN106933776B CN201710119808.5A CN201710119808A CN106933776B CN 106933776 B CN106933776 B CN 106933776B CN 201710119808 A CN201710119808 A CN 201710119808A CN 106933776 B CN106933776 B CN 106933776B
- Authority
- CN
- China
- Prior art keywords
- aod
- data
- time
- space
- modis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Image Processing (AREA)
Abstract
本发明涉及MODIS AOD产品缺失数据的修复技术,包括以下步骤:步骤1,针对MODIS AOD数据的几何校正和重投影等遥感数据的预处理;步骤2,验证不同级别DT\DB AOD数据的适用性;步骤3,通过DT和DB AOD的线性回归方程分别扩大两种算法产品的空间覆盖度的基础上,进行AERONET精度加权融合;步骤4,采用线性回归进一步融合Terra和Aqua两卫星数据;步骤5,采用时空克里金插值方法初步修复剩余缺失AOD数据。利用得到的残差,采用地理加权回归模型(Geographically Weighted Regression,GWR)模型进一步校正,最终得到完全修复的AOD数据结果。本发明的有益效果是:在保障AOD数据精度的前提下逐步提高AOD数据的空间覆盖率,最终完全修复缺失数据,为后续应用提供可靠的支持。
Description
技术领域
本发明涉及光学遥感图像处理技术领域,具体涉及MODIS AOD产品缺失数据修复的方法。
背景技术
大气气溶胶是全球气候变化中的重要不确定因素和大气污染的重要组成成分。气溶胶光学厚度(AOD,Aerosol Optical Depth),作为描述气溶胶光学特性的重要参数之一,代表无云大气垂直气柱中气溶胶散射造成的消光程度,是大气遥感的重要指标,也是衡量大气污染的重要指标。
卫星遥感在进行AOD监测上具有地基测量不可替代的时空优势,目前全球许多卫星能够提供AOD数据,其中MODIS卫星的AOD产品是目前研究和应用最为广泛的数据。但由于MODIS 卫星轨道间隔、云覆盖问题以及不同反演算法本身的局限性等,造成其气溶胶产品数据缺失、空间覆盖率较低,一定程度上限制了其在空气质量监测与预报等领域的应用。
目前,针对MODIS AOD的缺失数据的修复方法主要有三种:基于不同算法的融合、基于多源传感器数据的融合和基于影像数据本身时空信息的数据插值。基于不同算法的AOD数据融合是基于不同算法的空间互补性,但现有的方法往往采用简单的线性融合,没有考虑算法在特定区域的适用度;基于多源传感器数据的融合包括不同卫星传感器之间以及卫星与地面观测等数据的融合。由于该方法的数据来源不同,所以存在数据的时空信息匹配的问题;基于影像数据本身的时空信息融合往往采用简单的空间插值方法,对时间信息的利用不充分。且没有进行后续进一步校正。目前对MODIS AOD数据的修复方案大都仅利用了其中一两方面的信息,没有充分利用MODIS AOD数据本身特点,设计针对性地全面改进方案,修复结果不够全面,精度不够高,时空推广性不强。
发明内容
本次发明针对现有MODIS AOD产品缺失数据的修复技术的缺陷,提出一种具有高精度和高空间覆盖度的缺失AOD修复方案。充分利用暗像元法(Dark Target,DT)和深蓝算法(Deep Blue,DB)的AOD数据的空间互补性、Terra和Aqua过境的时间互补和数据本身的时空信息三个步骤修复缺失AOD。
为实现上述技术目的,本发明采用了以下技术方案:
一种MODIS AOD产品缺失数据的修复技术,包括以下步骤:
步骤1,针对MODIS AOD数据的几何校正和重投影等遥感数据的预处理;
步骤2,验证不同级别暗像元法和深蓝算法AOD数据的适用性;
步骤3,通过暗像元法和深蓝算法AOD的线性回归方程分别扩大两种算法产品的空间覆盖度的基础上,进行AERONET精度加权融合;
步骤4,采用线性回归进一步融合Terra和Aqua两卫星数据;
步骤5,采用时空克里金插值方法初步修复剩余缺失AOD数据。利用得到的残差,采用地理加权回归模型(Geographically Weighted Regression,GWR)模型进一步校正,最终得到完全修复的AOD数据结果。
作为优选,步骤3中深蓝算法和暗像元法AOD的精度加权融合实现方式为:将线性填补后,具有相同空间覆盖范围的DB、DT AOD分别和AERONET站点进行匹配,计算DB\DT AOD的总体相对精度。并以此作为权重对两种算法进行加权融合。
τAOD′=τDB×λ1+τDT×λ2 (1)
式(1)即为精度加权融合公式,其中:τAOD′:相对精度加权融合后的AOD;τDB,τDT为线性填补后的DB AOD和DT AOD;θ1和θ2分别为τDT,τDT的相对精度权重。λ1和λ2的计算公式为(2)(3)。
其中:τAERONET为与线性互补后的DB/DT相匹配的AERONET站点AOD数据;n为匹配的数据数;
作为优选,步骤5的实现方式为:首先,将剩余缺失AOD数据采用时空克里金插值方法初步修复,并计算插值结果残差Δτij。
Δτij=τAOD″′_krig,ij-τAOD″′,ij (4)
τAOD″′,ij为空间位置i,时间j的AOD数据,τAOD″′_krig,ij为相应时空位置的时空克里金预测值。
然后,采用GWR模型进一步校正,最终得到完全修复的AOD数据结果。其原理是根据已知点的残差和AOD数据,采用GWR模型预测时空克里金预测点插值的残差,预测点的残差和克里金插值预测值相加即为最终的AOD数据。
Δτij=β0,ij+β1,ij×τAOD″′_krig,ij+ε (5)
τAOD″″,ij=τAOD″′_krig,ij+Δτij (6)
i是匹配数据的空间位置,j是匹配数据的时间,以天为单位,τ AOD ″″ ,ij 数据经过时空克里金插值之后的AOD;β0,ij是j天在位置i上的截距,β1,ij是变量系数。
本发明的有益效果是:本发明提出的MODIS AOD产品缺失数据修复方法,充分利用现有 MODIS AOD数据的特点,首先通过精度加权融合具有空间互补性的DB和DT算法的AOD数据,然后采用线性拟合Terra和Aqua两星的AOD数据,最后采用时空克里金插值初步修复剩余的无原始数据的象元,结果采用GWR模型进一步校正后得到最终完全修复的AOD数据。总之,本发明提出的方法在保障AOD数据精度的前提下逐步提高AOD数据的空间覆盖率,最终完全修复缺失数据,为后续应用提供可靠的支持。因此,本发明提出的方法具有重要的实际应用意义。
附图说明
图1为本发明的实施例流程图;
图2为MODIS AOD数据修复前后对比图;
图3为MODIS AOD修复后数据验证图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
本发明技术方案可采用计算机软件实现自动运行流程。以下结合图1详述MODISAOD缺失数据修复的步骤。
步骤1,本发明修复的MODIS AOD数据是标准的MODIS level2产品,需要几何校正,具体几何校正为现有技术。
步骤2,验证不同质量等级的DT和DB AOD数据在区域的适用性,具体操作为已有技术。
步骤3,通过DT和DB AOD的线性关系分别扩大两种算法产品的空间覆盖度的基础上,进行AERONET精度加权融合,具体操作为:
1)通过线性回归分别扩大DT和DB AOD的空间覆盖度,此技术已有。
2)将线性互补后的DB或DT AOD分别和AERONET站点进行匹配,具体的匹配方式为现有技术。计算DB、DT数据的相对精度。并以此作为权重进行加权融合。
τAOD′=τDB×λ1+τDT×λ2 (1)
式(1)即为精度加权融合公式,其中:τAOD′为相对精度加权融合后的AOD,τDB,τDT为线性填补后的DB AOD和DT AOD,λ1和λ2分别为DB AOD和DT AOD融合的权重。
λ1和λ2的计算公式为(2)(3),其中:τAERONET为与相应DB/DT象元匹配的AERONET AOD数据;n所有实验数据能够匹配的AOD数据;
步骤4,对分别经过上一步DT和DB融合后的Terra和Aqua卫星采用线性回归进一步融合,利用不同的过境时间进一步扩大空间覆盖度。具体的线性回归融合技术已有;
步骤5,采用时空克里金插值方法初步修复上一步融合得到的AOD数据。得到的残差与采用GWR模型进一步校正,得到最终修复的AOD数据结果。
1)对上一步融合得到的AOD数据进行时空特征分析,确定时空半方差变异函数和移动窗口的大小后采用时空克里金插值修复剩余缺失AOD数据,得到初步结果。具体的时空克里金插值技术已有。
2)采用留一交叉验证计算时空克里金插值预测值与真实值之间的残差Δτ,留一交叉验证为已有技术。
Δτij=τAOD″′_krig,ij-τAOD″′,ij (4)
τAOD″′,ij为空间位置i,时间j的AOD数据,τAOD″′_krig,ij为相应时空位置的时空克里金预测值。
3)将得到的残差作为因变量,时空克里金留一交叉验证得到的预测τAOD″′_krig作为自变量,建立GWR模型,通过(5)预测插值处的残差Δτij。将这一步得到的残差和上一步插值预测τAOD″′_krig,ij代入(6)式相加,即为最终的AOD数据。
Δτij=β0,ij+β1,ij×τAOD″′_krig,ij+ε (5)
τAOD″″,ij=τAOD″′_krig,ij+Δτij (6)
i是匹配数据的空间位置,j是匹配数据的时间,以天为单位;τ AOD ″″ ,ij 数据经过时空克里金插值之后的AOD,β0,ij是j天在位置i上的截距,β1,ij是变量系数。
本实例试验数据研究选取2013年11月15日-20日长三角地区(包括浙江省、江苏省、安徽省和上海市)为例。数据包括MODIS Terra和Aqua两星的DB/DT AOD数据,和本地区7个AERONET站点的level2.0AOD数据。Level2.0AOD是经过云处理和数据校正的,具有较高的数据精度。
如图2所示,经过上述修复后步骤的AOD数据实现了缺失数据的完全修复。且如图3所示,决定系数R2=0.7442,相比于原始数据精度R2=0.9253虽然有所降低,但仍能够保证实际应用。
Claims (3)
1.一种MODIS AOD产品缺失数据修复的方法,其特征在于,包括以下步骤:
步骤1,针对MODIS AOD数据的几何校正和重投影等遥感数据的预处理;
步骤2,验证不同级别暗像元法和深蓝算法AOD数据的适用性;
步骤3,通过暗像元法和深蓝算法AOD的线性关系分别扩大两种算法产品的空间覆盖度的基础上,进行AERONET精度加权融合;
步骤4,采用线性回归进一步融合Terra和Aqua两卫星数据;
步骤5,采用时空克里金插值方法初步修复剩余缺失AOD数据;利用得到的残差,采用地理加权回归模型进一步校正,最终得到完全修复的AOD数据结果。
2.根据权利要求1所述的MODIS AOD产品缺失数据修复的方法,其特征在于:步骤3中在深蓝算法和暗像元法AOD线性修复的基础上,利用AERONET AOD验证数据精度进行加权融合;
τAOD′=τDB×λ1+τDT×λ2 (1)
式(1)即为精度加权融合公式,其中:τAOD′:相对精度加权融合后的AOD;τDB,τDT为线性填补后的深蓝算法AOD和暗像元法AOD;λ1和λ2分别为τDB,τDT的相对精度权重;λ1和λ2的计算公式为(2)(3);
其中:τAERONET为与线性互补后的深蓝算法、暗像元法AOD相匹配的AERONET站点数据;n为匹配的数据数。
3.根据权利要求2所述的MODIS AOD产品缺失数据修复的方法,其特征在于:在步骤5中对时空克里金插值结果,采用地理加权回归模型进一步校正,得到最终修复的AOD数据结果;
1)采用留一交叉验证计算时空克里金插值预测值与真实值之间的残差Δτ;
Δτij=τAOD″′_krig,ij-τAOD″′,ij (4)
τAOD″′,ij为空间位置i,时间j的AOD数据,τAOD″′_krig,ij为相应时空位置的时空克里金预测值;
2)将得到的残差作为因变量,时空克里金留一交叉验证得到的预测τAOD″′_krig作为自变量,建立地理加权回归模型,通过(5)预测插值处的残差Δτij;将这一步得到的残差和上一步插值预测τAOD″′_krig,ij代入(6)式相加,即为最终的AOD数据;
Δτij=β0,ij+β1,ij×τAOD″′_krig,ij+ε (5)
τAOD″″,ij=τAOD″′_krig,ij+Δτij (6)
i是匹配数据的空间位置,j是匹配数据的时间,以天为单位;τ AOD ″″, ij 数据经过时空克里金插值之后的AOD,β0,ij是j天在位置i上的截距,β1,ij是变量系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710119808.5A CN106933776B (zh) | 2017-03-02 | 2017-03-02 | 一种modis aod产品缺失数据修复的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710119808.5A CN106933776B (zh) | 2017-03-02 | 2017-03-02 | 一种modis aod产品缺失数据修复的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106933776A CN106933776A (zh) | 2017-07-07 |
CN106933776B true CN106933776B (zh) | 2019-07-26 |
Family
ID=59424719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710119808.5A Active CN106933776B (zh) | 2017-03-02 | 2017-03-02 | 一种modis aod产品缺失数据修复的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106933776B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109213964B (zh) * | 2018-07-13 | 2021-08-17 | 中南大学 | 一种融合多源特征地理参数的卫星aod产品校正方法 |
CN109001091B (zh) * | 2018-07-18 | 2019-06-04 | 北京航天宏图信息技术股份有限公司 | 大气污染的卫星遥感监测方法、装置和计算机可读介质 |
CN109186774B (zh) * | 2018-08-30 | 2019-11-22 | 清华大学 | 地表温度信息获取方法、装置、计算机设备和存储介质 |
CN109961418A (zh) * | 2019-03-19 | 2019-07-02 | 中国林业科学研究院资源信息研究所 | 一种基于多时相光学遥感数据的无云影像合成算法 |
CN110030934B (zh) * | 2019-04-30 | 2020-04-28 | 中南大学 | 基于modis卫星传感器的气溶胶光学厚度的获取方法 |
CN110647725A (zh) * | 2019-09-20 | 2020-01-03 | 武汉轻工大学 | 基于多元逐步回归的工程测试缺失数据修复方法及系统 |
CN111859304B (zh) * | 2020-07-28 | 2023-11-21 | 行星数据科技(苏州)有限公司 | 一种基于时空自相关性的卫星气溶胶缺失预测方法及系统 |
CN113935956B (zh) * | 2021-09-23 | 2022-03-25 | 中国矿业大学(北京) | 一种二向混合建模矿区土壤含水量数据缺失修复方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102103204A (zh) * | 2011-01-26 | 2011-06-22 | 环境保护部卫星环境应用中心 | 基于环境一号卫星的陆地气溶胶光学厚度反演方法 |
CN103018736A (zh) * | 2012-12-03 | 2013-04-03 | 北京航空航天大学 | 一种基于大气参数遥感反演的星载遥感器辐射定标方法 |
CN104019753A (zh) * | 2014-06-17 | 2014-09-03 | 杭州电子科技大学 | 一种基于modis数据反演城市大气气溶胶光学厚度的方法 |
-
2017
- 2017-03-02 CN CN201710119808.5A patent/CN106933776B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102103204A (zh) * | 2011-01-26 | 2011-06-22 | 环境保护部卫星环境应用中心 | 基于环境一号卫星的陆地气溶胶光学厚度反演方法 |
CN103018736A (zh) * | 2012-12-03 | 2013-04-03 | 北京航空航天大学 | 一种基于大气参数遥感反演的星载遥感器辐射定标方法 |
CN104019753A (zh) * | 2014-06-17 | 2014-09-03 | 杭州电子科技大学 | 一种基于modis数据反演城市大气气溶胶光学厚度的方法 |
Non-Patent Citations (4)
Title |
---|
High-Resolution Satellite Mapping of Fine Particulates Based on Geographically Weighted Regression;Bin Zou, Qiang Pu,;《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》;20161231;1-5 |
MODIS 陆地气溶胶遥感反演——利用TERRA 和AQUA 双星MODIS 数据协同反演算法;唐家奎;《中国科学 D 辑 地球科学》;20051231;第35卷(第5期);474-481 |
National-Scale Estimates of Ground-Level PM2.5 Concentration in China Using Geographically Weighted Regression Based on 3 km Resolution MODIS AOD;Wei You;《remote sensing》;20161231;1-13 |
基于克里金插值法的气溶胶光学厚度研究—以江苏省区域为例;成斌;《产业与科技论坛》;20161231;38-39 |
Also Published As
Publication number | Publication date |
---|---|
CN106933776A (zh) | 2017-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106933776B (zh) | 一种modis aod产品缺失数据修复的方法 | |
US10621696B2 (en) | Deep convolutional image up-sampling | |
US11333796B2 (en) | Spatial autocorrelation machine learning-based downscaling method and system of satellite precipitation data | |
Bhatla et al. | Evaluation of accuracy of as-built 3D modeling from photos taken by handheld digital cameras | |
Akca et al. | Quality assessment of 3D building data | |
KR102006847B1 (ko) | 다중규모 광학 흐름을 이용한 레이더 초단기 강수 예측을 위한 장치 및 방법 | |
Charron et al. | Automated bridge inspection using mobile ground robotics | |
CN111103595B (zh) | 一种数字线划图的生成方法和装置 | |
WO2021082745A1 (zh) | 信息补全方法、车道线识别方法、智能行驶方法及相关产品 | |
CN110632680B (zh) | 一种输电线路微区域风速估算方法及系统 | |
CN106919567A (zh) | 一种兴趣点poi地址的处理方法及装置 | |
US11543080B2 (en) | Automated pipeline construction modelling | |
CN114459471B (zh) | 定位信息确定方法、装置、电子设备及存储介质 | |
EP3469516B1 (en) | Method and system for improving the resolution of sensor data | |
CN109165553B (zh) | 基于深度学习的石油设施遥感自动识别方法及装置 | |
CN114333243A (zh) | 一种滑坡监测预警方法、装置、介质、电子设备及终端 | |
CN107391794B (zh) | 一种台风连续立体风场反演方法 | |
KR102300713B1 (ko) | 고정밀 벡터지도 제공 방법 | |
JP2018017101A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR101870263B1 (ko) | 기후변화시나리오의 역학적 상세화 방법을 이용한 기후변화 고해상도 자료생상 및 표출시스템 | |
Nex et al. | 3D Solarweb: A solar cadaster in the Italian Alpine landscape | |
Krooks et al. | WebGL visualisation of 3D environmental models based on finnish open geospatial data sets | |
Van Niekerk | Developing a very high resolution DEM of South Africa | |
CN110046430B (zh) | 基于椭球分层大气折射的光学卫星影像精确对地定位方法 | |
CN107632327A (zh) | 地表太阳短波辐射的确定方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20170707 Assignee: Ningbo Science and Technology Innovation Association Assignor: Ningbo University Contract record no.: X2023980033633 Denomination of invention: A Method for Repairing Missing Data of MODIS AOD Products Granted publication date: 20190726 License type: Common License Record date: 20230317 |