CN105512616B - 去除大气噪声影响重建遥感监测数据集的方法 - Google Patents
去除大气噪声影响重建遥感监测数据集的方法 Download PDFInfo
- Publication number
- CN105512616B CN105512616B CN201510846266.2A CN201510846266A CN105512616B CN 105512616 B CN105512616 B CN 105512616B CN 201510846266 A CN201510846266 A CN 201510846266A CN 105512616 B CN105512616 B CN 105512616B
- Authority
- CN
- China
- Prior art keywords
- data
- value
- digital signal
- remote sensing
- ndv
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明涉及一种去除大气噪声影响重建遥感监测数据集的方法，首次利用移动窗口来降低噪声点极值对数字信号波形的影响；通过移动窗口对已经降低了极值影响的时序数据进行多项式拟合；选择迭代运算实现最好拟合效果；整体上，遥感数据重建原理简单，很好的保留了原有数字信号的波形特点，突出了数字信号连续变化地趋势。有效的解决了数字信号处理时平滑过度的问题。首次采用先降低数字信号中噪声点对函数拟合效果的影响；二次多项式函数更好地贴合原数据的变化趋势和曲线走向，函数拟合参数动完成，解决了需要试验确定最优运算参数的问题，现实了全程自动化处理。经试验，结果数据与研究区地表实际NDVI信息的相关性强，具有指示性和代表性。
Description
技术领域：
本发明涉及一种去除大气噪声影响重建遥感监测数据集的方法，尤其是利用移动窗口进行多项式拟合迭代运算滤除噪声来重建时间序列数据集。
背景技术：
现有常用于地表遥感监测的卫星序列数据产品有几十种，时间序列较长的数字信号数据主要为NOAA/AVHRR、SPOT/VEGETATION、TERRA(AQUA)/MODIS等卫星传感器获得的NDVI数据集。由于受大气状况、太阳高度角和地表的复杂状况等方面的影响，这些数据集本身存在着很多噪声，信号源出现较多、较大的异常值，这破坏了原有地表信号连续性的特点，对地表遥感监测的进一步研究造成了很大困难。
时间序列数据的滤波重建目的在于利用多元统计和数值分析方法，参照地表植被的季节/年度变化趋势，来插值补充受噪声影响发生异常的数值，优化数字信号数据。Cihlar J(Cihlar J，Ly H，Li Z，1997，Multitemporal AVHRR Data Sets for LandBiosphere Studies，Remote Sensing of Environment，60(1):35-57)、Kobayashi H(Kobayashi H，Dye D G，2005，Atmospheric conditions for monitoring the Long-termDynamics in the Amazon Using Normalized Difference Vegetation Index，RemoteSensing of Environment，97(4):519-525)等提出的数据序列重建方法使用广泛。江东等(江东，付晶莹，黄耀欢，庄大方，2011，地表环境参数时间序列重构的方法与应用分析，地球信息科学学报，13(4):439-446)提出的地表环境参数时间序列重构的方法，为有关研究提供进一步可以分析计算的基础数据。
目前，依据核心算法原理，时间序列数据的重建方法可以分为以下几大类：阈值法、滤波法、函数拟合法、综合方法等。
耿丽英等(耿丽英，马明国，2014，长时间序列NDVI数据重建方法比较研究进展，遥感技术与应用，29(2):362-368)公开了长时间序列NDVI数据重建方法，并总结归纳了现有数字信号滤波重建方法，指出数字信号滤波效果主要受噪声点的影响，不同的噪声点对重建效果也有着不同影响。所有重建方法的去噪效果是不同的，并指出FFT(傅里叶变换)和HANTS的保真性较弱。
梁守真等(梁守真，施平，邢前国，2011，MODIS NDVI时间序列数据的去云算法比较，国土资源遥感，88(1):33-36)公开了MODIS NDVI时间序列数据的去云方法，以山东省MODIS NDVI时间序列数据作为试验数据，从不同角度比较了3种数字信号滤波重建能力，指出HANTS算法和S-G算法会改变几乎所有像元数值，得到的一个比较平滑的时间序列曲线，滤波算法的计算参数没有统一标准，需要多次试验才能确定最优参数。
综上，现有重建方法存在问题有以下几个方面：一是数字信号重建过程中，平滑过度，失真明显；二是噪声点降低了最终数字信号滤波处理的效果，噪声点影响不可忽略。
发明内容：
本发明的目的就在于针对上述现有技术的不足，为解决数字信息滤波去噪过程中出现的诸如计算过程复杂，平滑过度和存在人工设定运算参数等问题而提供一种利用移动窗口进行多项式拟合去除大气噪声影响重建遥感监测数据集的方法。
本发明的目的是通过以下技术方案实现的：
去除大气噪声影响重建遥感监测数据集的方法，包括以下步骤：
A、选用Spot Vegetation提供的NDVI数据集；
B、将影像DN值转化成NDVI数据，根据研究区范围和空间分辨率对图像进行裁剪；
C、重复上述A-B步骤，得到NDVI遥感图像数据集；
D、在R语言平台上编写算法，设定移动窗口大小为5；
5为某待确定点的前2期与后2期为窗口内统计数据的实际范围，统计仅限窗口内数值的平均值与标准差；
E、根据窗口内的实际统计值，划定信号源数据的判定范围-S≤Ndvi≤+S；
F、在NDVI序列数据集上移动窗口完成整个信号源数据的极值判定与处理；
G、选择多项式拟合函数为二次多项式，设定移动窗口大小为5对窗口内极值处理后的信号源数值进行二次多项式拟合；
H、设定迭代次数，对上一步拟合后的序列数据进行2次拟合，得到函数拟合的最终结果；
I、根据计算初始设定的循环次数，判定是否结束本次计算；
J、对结果数据赋投影信息，投影参数与原数据地图参数一致；
K、完成时间序列遥感数据集的重建，保存数据。
步骤E所述的判定范围为：-S≤Ndvi≤+S；
正常值-S≤Ndvi≤+S；偏高+S<Ndvi<+1.5S；显著偏高+1.5S≤Ndvi<+2S；异常偏高+2S≤Ndvi<+∞；偏低-S<Ndvi<-1.5S；显著偏低-1.5S≤Ndvi<-2S；异常偏低-2S≤Ndvi<-∞。
设定信号源数据大于+1.5S或小于-1.5S为噪声点异常值，将噪声点异常值以窗口内数字信号点的均值±1.5S代替。
有益效果：首次利用移动窗口来消除极大值与极小值对整体波形拟合的影响；对窗口内消除极值影响的时序数据进行多项式拟合；选择迭代运算实现最好拟合效果。有效的解决了有关算法对数字信号处理时平滑过度的问题，首次采用先降低数字信号中噪声点对函数拟合效果的影响，二次多项式函数更好地贴合原数据的变化趋势和曲线走向，函数拟合参数由算法自动完成，解决了需要试验确定最优运算参数的问题，现实了全程自动化运算处理。经试验，结果数据与研究区地表实际NDVI信息的相关性强，具有指示性和代表性。
附图说明：
图1为去除大气噪声影响重建遥感监测数据集的方法流程图；
图2为遥感卫星数据头文件编辑图；
图3为不同植被类型的NDVI时序曲线重建图；
图4为长时间序列的数字信号重建图；
具体实施方式
下面结合附图和实施例作进一步的详细说明：
(1)地表植被生长有着明显的季节性、连续性特点，进行数字信号滤波处理时，数据的拟合效果受噪声影响明显。由于噪声的存在，这种连续性时常被异常值打断，所以本发明首先对数字信号中的噪声点进行了分析处理。
(2)二次多项式函数对有着明显变化趋势的数据序列有着很好的拟合效果。经过降低噪声点异常值影响后的数字信号序列采用二次多项式拟合，通过2-3次迭代算法对原始数据序列集进行拟合。
(3)综合以上，构建利用移动窗口进行多项式拟合迭代运算的滤波算法以重建数字信号序列。本模型建设过程主要包括噪声极值处理、多项式拟合、迭代算法等步骤。
去除大气噪声影响重建遥感监测数据集的方法，包括以下步骤：
A、选用Spot Vegetation提供的NDVI数据集；
B、将影像DN值转化成NDVI数据，根据研究区范围和空间分辨率对图像进行裁剪；
C、重复上述A-B步骤，得到NDVI遥感图像数据集；
D、在R语言平台上编写算法，设定移动窗口大小为5；
5为某待确定点的前2期与后2期为窗口内统计数据的实际范围，统计仅限窗口内数值的平均值与标准差；
E、根据窗口内的实际统计值，划定信号源数据的判定范围-S≤N dvi≤+S；
F、在NDVI序列数据集上移动窗口完成整个信号源数据的极值判定与处理；
G、选择多项式拟合函数为二次多项式，设定移动窗口大小为5
对窗口内极值处理后的信号源数值进行二次多项式拟合；
H、设定迭代次数，对上一步拟合后的序列数据进行2次拟合，得到函数拟合的最终结果；
I、根据计算初始设定的循环次数，判定是否结束本次计算；
J、对结果数据赋投影信息，投影参数与原数据地图参数一致；
K、完成时间序列遥感数据集的重建，保存数据。
步骤E所述的判定范围为：-S≤Ndvi≤+S；
正常值-S≤Ndvi≤+S；偏高+S<Ndvi<+1.5S；显著偏高+1.5S≤Ndvi<+2S；异常偏高+2S≤Ndvi<+∞；偏低-S<Ndvi<-1.5S；显著偏低-1.5S≤Ndvi<-2S；异常偏低-2S≤Ndvi<-∞。
设定信号源数据大于+1.5S或小于-1.5S为噪声点异常值，将噪声点异常值以窗口内数字信号点的均值±1.5S代替。
实施例
去除大气噪声影响重建遥感监测数据集的方法，包括以下步骤：
A、试验选用的NDVI数据集由Spot Vegetation数据免费分发网站提供。该产品经过了系统误差纠正、大气校正、辐射校正和几何校正等相关处理。数据产品需要在遥感处理软件ENVI下进行设置相关参数重建数据的坐标信息，卫星数据头文件HDF的编辑如图2所示；
B、产品数据将影像DN值转化成NDVI数据。空间分辨率为1km，时间覆盖2013年1月～12月(10d最大值合成)。根据研究区范围对完成计算的结果图像进行裁剪，DN数值转换公式如下；
NDVI＝0.004×DN－0.1
C、重复上述A-B步骤，得到1年12个月36旬的NDVI遥感图像数据集；
D、在R语言软件平台上编写算法，设定移动窗口大小；
窗口大小设定的5为某待确定点的前2期与后2期，也是数据统计的实际范围，统计仅限窗口内数值的平均值与标准差；
E、根据窗口内的实际统计值，信号源数据正常值的判定范围被划定为-S≤Ndvi≤+S；
数字信号变化等级的判定依据(见表1)：数字信号正常值的值域范围为-S≤Ndvi≤+S；偏高的值域范围为+S<Ndvi<+1.5S；显著偏高的值域范围为+1.5S≤Ndvi<+2S；异常偏高的值域范围为+2S≤Ndvi<+∞；偏低的值域范围为-S<Ndvi<-1.5S；显著偏低的值域范围为-1.5S≤Ndvi<-2S；异常偏低的值域范围为-2S≤Ndvi<-∞。
表1距平级别表
Tab.1 Grades of the anomalies of mean data
F、在NDVI序列数据集上移动窗口完成整个信号源数据的极值判定与处理；
设定信号源数据大于+1.5S或小于-1.5S为噪声点异常值，将其以窗口内数字信号点的均值±1.5S代替，噪声点异常判定级别见表1(说明：S为移动窗口内NDVI序列数据点的标准差)；
G、选择多项式拟合函数为二次多项式；
H、设定迭代次数，对上一步拟合后的序列数据进行2次拟合，得到函数拟合数列的重建完成。效果见图3，4；
由图3、4看出，本算法滤波效果表现在以下几个方面：1)消除了FFT算法的过度平滑问题，对于连续性较好时段的数字信号保持了很好的保真；2)消除了SG滤波算法受极值影响的问题，合理抑制了异常值。
I、根据计算初始设定的循环次数，判定是否结束本次计算；
J、对结果数据赋投影信息，投影参数与原数据地图参数一致；
K、最后保存数据，完成数字信号的时序重建。
Claims (3)
1.一种去除大气噪声影响重建遥感监测数据集的方法，其特征在于：包括以下步骤：
A、选用Spot Vegetation提供的NDVI数据集；
B、将影像DN值转化成NDVI数据，根据研究区范围和空间分辨率对图像进行裁剪；
C、重复上述A-B步骤，得到NDVI遥感图像数据集；
D、在R语言平台上编写算法，设定移动窗口大小为5，5为某待确定点的前2期与后2期为窗口内统计数据的实际范围，统计仅限窗口内数值的平均值与标准差；
E、根据窗口内的实际统计值，划定信号源数据的判定范围-S≤NDVi≤+S，S为移动窗口内5期时间连续的NDVI数据标准差；
F、在NDVI序列数据集上移动窗口完成整个信号源数据的极值判定与处理；
G、选择多项式拟合函数为二次多项式，设定移动窗口大小为5，对窗口内极值处理后的信号源数值进行二次多项式拟合；
H、设定迭代次数，对上一步拟合后的序列数据进行2次拟合，得到函数拟合的最终结果；
I、根据计算初始设定的循环次数，判定是否结束本次计算；
J、对结果数据赋投影信息，投影参数与原数据地图参数一致；
K、完成时间序列遥感数据集的重建，保存数据。
2.按照权利要求1所述的一种去除大气噪声影响重建遥感监测数据集的方法，其特征在于：步骤E所述的判定范围为：-S～+S；
正常值-S≤NDVi≤+S；偏高+S<NDVi<+1.5S；显著偏高+1.5S≤NDVi<+2S；异常偏高+2S≤NDVi<+∞；偏低-S<NDVi<-1.5S；显著偏低-1.5S≤NDVi<-2S；异常偏低-2S≤NDVi<-∞。
3.按照权利要求2所述的一种去除大气噪声影响重建遥感监测数据集的方法，其特征在于：设定信号源数据大于+1.5S或小于-1.5S为噪声点异常值，将噪声点异常值以窗口内数字信号点的均值±1.5S代替。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510846266.2A CN105512616B (zh) | 2015-11-27 | 2015-11-27 | 去除大气噪声影响重建遥感监测数据集的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510846266.2A CN105512616B (zh) | 2015-11-27 | 2015-11-27 | 去除大气噪声影响重建遥感监测数据集的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105512616A CN105512616A (zh) | 2016-04-20 |
| CN105512616B true CN105512616B (zh) | 2019-01-22 |
Family
ID=55720583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510846266.2A Expired - Fee Related CN105512616B (zh) | 2015-11-27 | 2015-11-27 | 去除大气噪声影响重建遥感监测数据集的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105512616B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021653A (zh) * | 2016-05-06 | 2016-10-12 | 华南农业大学 | 一种ndvi时间序列重构的方法及系统 |
| CN109446962B (zh) * | 2018-10-19 | 2020-12-01 | 中国科学院地理科学与资源研究所 | 土地覆盖年际变化检测方法及系统 |
| CN109765338A (zh) * | 2018-12-29 | 2019-05-17 | 北京英视睿达科技有限公司 | 扩散性环境污染物监测设备的校正方法和系统及更换方法 |
| CN110412215A (zh) * | 2019-07-08 | 2019-11-05 | 东华大学 | 基于tstks算法的废气污染物排放异常的快速检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102012528A (zh) * | 2010-11-23 | 2011-04-13 | 北京理工大学 | 一种稀疏植被地区的高光谱遥感油气勘探方法 |
| CN102073869A (zh) * | 2010-12-27 | 2011-05-25 | 中国农业大学 | 基于点位数据和遥感影像数据的区域耕地质量监测方法 |
| WO2011160159A1 (en) * | 2010-06-25 | 2011-12-29 | Cambium Land & Water Management Pty. Ltd. | A system and a method for generating a spectral image for a plot of land |
| CN102663394A (zh) * | 2012-03-02 | 2012-09-12 | 北京航空航天大学 | 基于多源遥感图像融合的大中型目标识别方法 |
| CN102982486A (zh) * | 2012-11-14 | 2013-03-20 | 北京农业信息技术研究中心 | 一种基于作物长势遥感监测信息的施肥决策方法 |
-
2015
- 2015-11-27 CN CN201510846266.2A patent/CN105512616B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011160159A1 (en) * | 2010-06-25 | 2011-12-29 | Cambium Land & Water Management Pty. Ltd. | A system and a method for generating a spectral image for a plot of land |
| CN102012528A (zh) * | 2010-11-23 | 2011-04-13 | 北京理工大学 | 一种稀疏植被地区的高光谱遥感油气勘探方法 |
| CN102073869A (zh) * | 2010-12-27 | 2011-05-25 | 中国农业大学 | 基于点位数据和遥感影像数据的区域耕地质量监测方法 |
| CN102663394A (zh) * | 2012-03-02 | 2012-09-12 | 北京航空航天大学 | 基于多源遥感图像融合的大中型目标识别方法 |
| CN102982486A (zh) * | 2012-11-14 | 2013-03-20 | 北京农业信息技术研究中心 | 一种基于作物长势遥感监测信息的施肥决策方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105512616A (zh) | 2016-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105512616B (zh) | 去除大气噪声影响重建遥感监测数据集的方法 | |
| CN110097519B (zh) | 基于深度学习的双监督图像去雾方法、系统、介质和设备 | |
| Hauser et al. | Methods and model dependency of extreme event attribution: the 2015 European drought | |
| WO2020191980A1 (zh) | 一种无线传感网络数据漂移盲校准方法 | |
| CN103279931B (zh) | 基于透射率的去雾图像去噪方法 | |
| AU2017211495A1 (en) | System and method for earth observation and analysis | |
| CN106897707A (zh) | 基于多源中分的特征影像时间序列合成方法及装置 | |
| CN102609904A (zh) | 双变量非局部平均滤波x射线图像消噪方法 | |
| CN103870845A (zh) | 点云聚类去噪过程中新的k值优化方法 | |
| Hu et al. | Changes in multiple ecosystem services and their influencing factors in Nordic countries | |
| CN103927737A (zh) | 基于非局部均值的sar图像变化检测方法 | |
| Ivits et al. | Land-Productivity Dynamics: Towards integrated assessment of land degradation at global scales | |
| Steiger et al. | A pseudoproxy assessment of data assimilation for reconstructing the atmosphere–ocean dynamics of hydroclimate extremes | |
| CN106556614A (zh) | 一种基于ct扫描技术量化根系空间网络结构的方法 | |
| CN103278867A (zh) | 一种基于经验模态分解的自动气象站数据质量控制方法 | |
| Huang et al. | A methodology to reconstruct LAI time series data based on generative adversarial network and improved Savitzky-Golay filter | |
| KR101547682B1 (ko) | 고해상도기온진단모형을 이용한 과거 사상 상세기온자료복원시스템 및 그 방법 | |
| CN104484554B (zh) | 一种获取课程关联度的方法及系统 | |
| CN109992748A (zh) | 一种河口潮位调和分析方法 | |
| CN106295096B (zh) | 一种对遥感数据进行观测质量分级的方法 | |
| CN110569966B (zh) | 一种数据处理方法、装置及电子设备 | |
| CN102314687B (zh) | 一种红外序列图像中的小目标检测方法 | |
| Yu et al. | Crop condition assessment using high temporal resolution satellite images | |
| CN107103491A (zh) | 一种房价数字估计模型的构建方法 | |
| Bayarsaikhan et al. | Variations of vegetation net primary productivity and its responses to climate change from 1982 to 2015 in Mongolia |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190122 Termination date: 20191127 |