CN105512616A - 去除大气噪声影响重建遥感监测数据集的方法 - Google Patents

去除大气噪声影响重建遥感监测数据集的方法 Download PDF

Info

Publication number
CN105512616A
CN105512616A CN201510846266.2A CN201510846266A CN105512616A CN 105512616 A CN105512616 A CN 105512616A CN 201510846266 A CN201510846266 A CN 201510846266A CN 105512616 A CN105512616 A CN 105512616A
Authority
CN
China
Prior art keywords
data
dvi
value
remote sensing
digital signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510846266.2A
Other languages
English (en)
Other versions
CN105512616B (zh
Inventor
李晓东
曾发梁
姜琦刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201510846266.2A priority Critical patent/CN105512616B/zh
Publication of CN105512616A publication Critical patent/CN105512616A/zh
Application granted granted Critical
Publication of CN105512616B publication Critical patent/CN105512616B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • G06F2218/04Denoising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种去除大气噪声影响重建遥感监测数据集的方法,首次利用移动窗口来降低噪声点极值对数字信号波形的影响;通过移动窗口对已经降低了极值影响的时序数据进行多项式拟合;选择迭代运算实现最好拟合效果;整体上,遥感数据重建原理简单,很好的保留了原有数字信号的波形特点,突出了数字信号连续变化地趋势。有效的解决了数字信号处理时平滑过度的问题。首次采用先降低数字信号中噪声点对函数拟合效果的影响;二次多项式函数更好地贴合原数据的变化趋势和曲线走向,函数拟合参数动完成,解决了需要试验确定最优运算参数的问题,现实了全程自动化处理。经试验,结果数据与研究区地表实际NDVI信息的相关性强,具有指示性和代表性。

Description

去除大气噪声影响重建遥感监测数据集的方法
技术领域:
本发明涉及一种去除大气噪声影响重建遥感监测数据集的方法,尤其是利用移动窗口进行多项式拟合迭代运算滤除噪声来重建时间序列数据集。
背景技术:
现有常用于地表遥感监测的卫星序列数据产品有几十种,时间序列较长的数字信号数据主要为NOAA/AVHRR、SPOT/VEGETATION、TERRA(AQUA)/MODIS等卫星传感器获得的NDVI数据集。由于受大气状况、太阳高度角和地表的复杂状况等方面的影响,这些数据集本身存在着很多噪声,信号源出现较多、较大的异常值,这破坏了原有地表信号连续性的特点,对地表遥感监测的进一步研究造成了很大困难。
时间序列数据的滤波重建目的在于利用多元统计和数值分析方法,参照地表植被的季节/年度变化趋势,来插值补充受噪声影响发生异常的数值,优化数字信号数据。CihlarJ(CihlarJ,LyH,LiZ,1997,MultitemporalAVHRRDataSetsforLandBiosphereStudies,RemoteSensingofEnvironment,60(1):35-57)、KobayashiH(KobayashiH,DyeDG,2005,AtmosphericconditionsformonitoringtheLong-termDynamicsintheAmazonUsingNormalizedDifferenceVegetationIndex,RemoteSensingofEnvironment,97(4):519-525)等提出的数据序列重建方法使用广泛。江东等(江东,付晶莹,黄耀欢,庄大方,2011,地表环境参数时间序列重构的方法与应用分析,地球信息科学学报,13(4):439-446)提出的地表环境参数时间序列重构的方法,为有关研究提供进一步可以分析计算的基础数据。
目前,依据核心算法原理,时间序列数据的重建方法可以分为以下几大类:阈值法、滤波法、函数拟合法、综合方法等。
耿丽英等(耿丽英,马明国,2014,长时间序列NDVI数据重建方法比较研究进展,遥感技术与应用,29(2):362-368)公开了长时间序列NDVI数据重建方法,并总结归纳了现有数字信号滤波重建方法,指出数字信号滤波效果主要受噪声点的影响,不同的噪声点对重建效果也有着不同影响。所有重建方法的去噪效果是不同的,并指出FFT(傅里叶变换)和HANTS的保真性较弱。
梁守真等(梁守真,施平,邢前国,2011,MODISNDVI时间序列数据的去云算法比较,国土资源遥感,88(1):33-36)公开了MODISNDVI时间序列数据的去云方法,以山东省MODISNDVI时间序列数据作为试验数据,从不同角度比较了3种数字信号滤波重建能力,指出HANTS算法和S-G算法会改变几乎所有像元数值,得到的一个比较平滑的时间序列曲线,滤波算法的计算参数没有统一标准,需要多次试验才能确定最优参数。
综上,现有重建方法存在问题有以下几个方面:一是数字信号重建过程中,平滑过度,失真明显;二是噪声点降低了最终数字信号滤波处理的效果,噪声点影响不可忽略。
发明内容:
本发明的目的就在于针对上述现有技术的不足,为解决数字信息滤波去噪过程中出现的诸如计算过程复杂,平滑过度和存在人工设定运算参数等问题而提供一种利用移动窗口进行多项式拟合去除大气噪声影响重建遥感监测数据集的方法。
本发明的目的是通过以下技术方案实现的:
去除大气噪声影响重建遥感监测数据集的方法,包括以下步骤:
A、选用SpotVegetation提供的NDVI数据集;
B、将影像DN值转化成NDVI数据,根据研究区范围和空间分辨率对图像进行裁剪;
C、重复上述A-B步骤,得到NDVI遥感图像数据集;
D、在R语言平台上编写算法,设定移动窗口大小为5;
5为某待确定点的前2期与后2期为窗口内统计数据的实际范围,统计仅限窗口内数值的平均值与标准差;
E、根据窗口内的实际统计值,划定信号源数据的判定范围-S≤Ndvi≤+S;
F、在NDVI序列数据集上移动窗口完成整个信号源数据的极值判定与处理;
G、选择多项式拟合函数为二次多项式,设定移动窗口大小为5
对窗口内极值处理后的信号源数值进行二次多项式拟合;
H、设定迭代次数,对上一步拟合后的序列数据进行2次拟合,得到函数拟合的最终结果;
I、根据计算初始设定的循环次数,判定是否结束本次计算;
J、对结果数据赋投影信息,投影参数与原数据地图参数一致;
K、完成时间序列遥感数据集的重建,保存数据。
步骤E所述的判定范围为:-S≤Ndvi≤+S;
正常值-S≤Ndvi≤+S;偏高+S<Ndvi<+1.5S;显著偏高+1.5S≤Ndvi<+2S;异常偏高+2S≤Ndvi<+∞;偏低-S<Ndvi<-1.5S;显著偏低-1.5S≤Ndvi<-2S;异常偏低-2S≤Ndvi<-∞。
设定信号源数据大于+1.5S或小于-1.5S为噪声点异常值,将噪声点异常值以窗口内数字信号点的均值±1.5S代替。
有益效果:首次利用移动窗口来消除极大值与极小值对整体波形拟合的影响;对窗口内消除极值影响的时序数据进行多项式拟合;选择迭代运算实现最好拟合效果。有效的解决了有关算法对数字信号处理时平滑过度的问题,首次采用先降低数字信号中噪声点对函数拟合效果的影响,二次多项式函数更好地贴合原数据的变化趋势和曲线走向,函数拟合参数由算法自动完成,解决了需要试验确定最优运算参数的问题,现实了全程自动化运算处理。经试验,结果数据与研究区地表实际NDVI信息的相关性强,具有指示性和代表性。
附图说明:
图1为去除大气噪声影响重建遥感监测数据集的方法流程图;
图2为遥感卫星数据头文件编辑图;
图3为不同植被类型的NDVI时序曲线重建图;
图4为长时间序列的数字信号重建图;
具体实施方式
下面结合附图和实施例作进一步的详细说明:
(1)地表植被生长有着明显的季节性、连续性特点,进行数字信号滤波处理时,数据的拟合效果受噪声影响明显。由于噪声的存在,这种连续性时常被异常值打断,所以本发明首先对数字信号中的噪声点进行了分析处理。
(2)二次多项式函数对有着明显变化趋势的数据序列有着很好的拟合效果。经过降低噪声点异常值影响后的数字信号序列采用二次多项式拟合,通过2-3次迭代算法对原始数据序列集进行拟合。
(3)综合以上,构建利用移动窗口进行多项式拟合迭代运算的滤波算法以重建数字信号序列。本模型建设过程主要包括噪声极值处理、多项式拟合、迭代算法等步骤。
去除大气噪声影响重建遥感监测数据集的方法,包括以下步骤:
A、选用SpotVegetation提供的NDVI数据集;
B、将影像DN值转化成NDVI数据,根据研究区范围和空间分辨率对图像进行裁剪;
C、重复上述A-B步骤,得到NDVI遥感图像数据集;
D、在R语言平台上编写算法,设定移动窗口大小为5;
5为某待确定点的前2期与后2期为窗口内统计数据的实际范围,统计仅限窗口内数值的平均值与标准差;
E、根据窗口内的实际统计值,划定信号源数据的判定范围-S≤Ndvi≤+S;
F、在NDVI序列数据集上移动窗口完成整个信号源数据的极值判定与处理;
G、选择多项式拟合函数为二次多项式,设定移动窗口大小为5
对窗口内极值处理后的信号源数值进行二次多项式拟合;
H、设定迭代次数,对上一步拟合后的序列数据进行2次拟合,得到函数拟合的最终结果;
I、根据计算初始设定的循环次数,判定是否结束本次计算;
J、对结果数据赋投影信息,投影参数与原数据地图参数一致;
K、完成时间序列遥感数据集的重建,保存数据。
步骤E所述的判定范围为:-S≤Ndvi≤+S;
正常值-S≤Ndvi≤+S;偏高+S<Ndvi<+1.5S;显著偏高+1.5S≤Ndvi<+2S;异常偏高+2S≤Ndvi<+∞;偏低-S<Ndvi<-1.5S;显著偏低-1.5S≤Ndvi<-2S;异常偏低-2S≤Ndvi<-∞。
设定信号源数据大于+1.5S或小于-1.5S为噪声点异常值,将噪声点异常值以窗口内数字信号点的均值±1.5S代替。
实施例
去除大气噪声影响重建遥感监测数据集的方法,包括以下步骤:
A、试验选用的NDVI数据集由SpotVegetation数据免费分发网站提供。该产品经过了系统误差纠正、大气校正、辐射校正和几何校正等相关处理。数据产品需要在遥感处理软件ENVI下进行设置相关参数重建数据的坐标信息,卫星数据头文件HDF的编辑如图2所示;
B、产品数据将影像DN值转化成NDVI数据。空间分辨率为1km,时间覆盖2013年1月~12月(10d最大值合成)。根据研究区范围对完成计算的结果图像进行裁剪,DN数值转换公式如下;
NDVI=0.004×DN-0.1
C、重复上述A-B步骤,得到1年12个月36旬的NDVI遥感图像数据集;
D、在R语言软件平台上编写算法,设定移动窗口大小;
窗口大小设定的5为某待确定点的前2期与后2期,也是数据统计的实际范围,统计仅限窗口内数值的平均值与标准差;
E、根据窗口内的实际统计值,信号源数据正常值的判定范围被划定为-S≤Ndvi≤+S;
数字信号变化等级的判定依据(见表1):数字信号正常值的值域范围为-S≤Ndvi≤+S;偏高的值域范围为+S<Ndvi<+1.5S;显著偏高的值域范围为+1.5S≤Ndvi<+2S;异常偏高的值域范围为+2S≤Ndvi<+∞;偏低的值域范围为-S<Ndvi<-1.5S;显著偏低的值域范围为-1.5S≤Ndvi<-2S;异常偏低的值域范围为-2S≤Ndvi<-∞。
表1距平级别表
Tab.1Gradesoftheanomaliesofmeandata
F、在NDVI序列数据集上移动窗口完成整个信号源数据的极值判定与处理;
设定信号源数据大于+1.5S或小于-1.5S为噪声点异常值,将其以窗口内数字信号点的均值±1.5S代替,噪声点异常判定级别见表1(说明:S为移动窗口内NDVI序列数据点的标准差);
G、选择多项式拟合函数为二次多项式;
H、设定迭代次数,对上一步拟合后的序列数据进行2次拟合,得到函数拟合数列的重建完成。效果见图3,4;
由图3、4看出,本算法滤波效果表现在以下几个方面:1)消除了FFT算法的过度平滑问题,对于连续性较好时段的数字信号保持了很好的保真;2)消除了SG滤波算法受极值影响的问题,合理抑制了异常值。
I、根据计算初始设定的循环次数,判定是否结束本次计算;
J、对结果数据赋投影信息,投影参数与原数据地图参数一致;
K、最后保存数据,完成数字信号的时序重建。

Claims (3)

1.一种去除大气噪声影响重建遥感监测数据集的方法,其特征在于:包括以下步骤:
A、选用SpotVegetation提供的NDVI数据集;
B、将影像DN值转化成NDVI数据,根据研究区范围和空间分辨率对图像进行裁剪;
C、重复上述A-B步骤,得到NDVI遥感图像数据集;
D、在R语言平台上编写算法,设定移动窗口大小为5;
5为某待确定点的前2期与后2期为窗口内统计数据的实际范围,统计仅限窗口内数值的平均值与标准差;
E、根据窗口内的实际统计值,划定信号源数据的判定范围-S≤Ndvi≤+S;
F、在NDVI序列数据集上移动窗口完成整个信号源数据的极值判定与处理;
G、选择多项式拟合函数为二次多项式,设定移动窗口大小为5
对窗口内极值处理后的信号源数值进行二次多项式拟合;
H、设定迭代次数,对上一步拟合后的序列数据进行2次拟合,得到函数拟合的最终结果;
I、根据计算初始设定的循环次数,判定是否结束本次计算;
J、对结果数据赋投影信息,投影参数与原数据地图参数一致;
K、完成时间序列遥感数据集的重建,保存数据。
2.按照权利要求1所述的一种去除大气噪声影响重建遥感监测数据集的方法,其特征在于:步骤E所述的判定范围为:-S≤Ndvi≤+S;
正常值-S≤Ndvi≤+S;偏高+S<Ndvi<+1.5S;显著偏高+1.5S≤Ndvi<+2S;异常偏高+2S≤Ndvi<+∞;偏低-S<Ndvi<-1.5S;显著偏低-1.5S≤Ndvi<-2S;异常偏低-2S≤Ndvi<-∞。
3.按照权利要求2所述的一种去除大气噪声影响重建遥感监测数据集的方法,其特征在于:设定信号源数据大于+1.5S或小于-1.5S为噪声点异常值,将噪声点异常值以窗口内数字信号点的均值±1.5S代替。
CN201510846266.2A 2015-11-27 2015-11-27 去除大气噪声影响重建遥感监测数据集的方法 Expired - Fee Related CN105512616B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510846266.2A CN105512616B (zh) 2015-11-27 2015-11-27 去除大气噪声影响重建遥感监测数据集的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510846266.2A CN105512616B (zh) 2015-11-27 2015-11-27 去除大气噪声影响重建遥感监测数据集的方法

Publications (2)

Publication Number Publication Date
CN105512616A true CN105512616A (zh) 2016-04-20
CN105512616B CN105512616B (zh) 2019-01-22

Family

ID=55720583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510846266.2A Expired - Fee Related CN105512616B (zh) 2015-11-27 2015-11-27 去除大气噪声影响重建遥感监测数据集的方法

Country Status (1)

Country Link
CN (1) CN105512616B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106021653A (zh) * 2016-05-06 2016-10-12 华南农业大学 一种ndvi时间序列重构的方法及系统
CN109446962A (zh) * 2018-10-19 2019-03-08 中国科学院地理科学与资源研究所 土地覆盖年际变化检测方法及系统
CN109765338A (zh) * 2018-12-29 2019-05-17 北京英视睿达科技有限公司 扩散性环境污染物监测设备的校正方法和系统及更换方法
CN110412215A (zh) * 2019-07-08 2019-11-05 东华大学 基于tstks算法的废气污染物排放异常的快速检测方法
CN118366026A (zh) * 2024-04-05 2024-07-19 河海大学 作物生长周期和种类的识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012528A (zh) * 2010-11-23 2011-04-13 北京理工大学 一种稀疏植被地区的高光谱遥感油气勘探方法
CN102073869A (zh) * 2010-12-27 2011-05-25 中国农业大学 基于点位数据和遥感影像数据的区域耕地质量监测方法
WO2011160159A1 (en) * 2010-06-25 2011-12-29 Cambium Land & Water Management Pty. Ltd. A system and a method for generating a spectral image for a plot of land
CN102663394A (zh) * 2012-03-02 2012-09-12 北京航空航天大学 基于多源遥感图像融合的大中型目标识别方法
CN102982486A (zh) * 2012-11-14 2013-03-20 北京农业信息技术研究中心 一种基于作物长势遥感监测信息的施肥决策方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011160159A1 (en) * 2010-06-25 2011-12-29 Cambium Land & Water Management Pty. Ltd. A system and a method for generating a spectral image for a plot of land
CN102012528A (zh) * 2010-11-23 2011-04-13 北京理工大学 一种稀疏植被地区的高光谱遥感油气勘探方法
CN102073869A (zh) * 2010-12-27 2011-05-25 中国农业大学 基于点位数据和遥感影像数据的区域耕地质量监测方法
CN102663394A (zh) * 2012-03-02 2012-09-12 北京航空航天大学 基于多源遥感图像融合的大中型目标识别方法
CN102982486A (zh) * 2012-11-14 2013-03-20 北京农业信息技术研究中心 一种基于作物长势遥感监测信息的施肥决策方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106021653A (zh) * 2016-05-06 2016-10-12 华南农业大学 一种ndvi时间序列重构的方法及系统
CN109446962A (zh) * 2018-10-19 2019-03-08 中国科学院地理科学与资源研究所 土地覆盖年际变化检测方法及系统
CN109446962B (zh) * 2018-10-19 2020-12-01 中国科学院地理科学与资源研究所 土地覆盖年际变化检测方法及系统
CN109765338A (zh) * 2018-12-29 2019-05-17 北京英视睿达科技有限公司 扩散性环境污染物监测设备的校正方法和系统及更换方法
CN110412215A (zh) * 2019-07-08 2019-11-05 东华大学 基于tstks算法的废气污染物排放异常的快速检测方法
CN118366026A (zh) * 2024-04-05 2024-07-19 河海大学 作物生长周期和种类的识别方法及系统

Also Published As

Publication number Publication date
CN105512616B (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN105512616A (zh) 去除大气噪声影响重建遥感监测数据集的方法
CN109146948B (zh) 基于视觉的作物长势表型参数量化与产量相关性分析方法
CN101650422B (zh) 遥感植被指数时间序列数据去噪方法
CN102201037B (zh) 农业灾害预测方法
CN106897707B (zh) 基于多源中分的特征影像时间序列合成方法及装置
CN103914860B (zh) 晶体条位置查找表生成方法及装置
CN104537034A (zh) 基于时间序列分析的输变电设备的状态监测数据清洗方法
CN102881047B (zh) 一种自动的非封闭隐式曲面重建方法
CN112435239A (zh) 基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法
CN104331869B (zh) 梯度与曲率相结合的图像平滑方法
CN108009122B (zh) 一种改进的hht方法
CN105022044B (zh) 基于去噪处理的实测海杂波建模方法
CN108388866B (zh) 一种植被单调变化趋势检测方法及相关装置
CN105631939B (zh) 一种基于曲率滤波的三维点云畸变校正方法及其系统
CN104899830A (zh) 一种图像超分辨方法
CN118135213B (zh) 基于时序遥感迭代的实时外推去云方法和系统
CN111611541A (zh) 基于Copula函数的无资料地区降水数据推求方法及系统
Rahman et al. Comparison of selected noise reduction techniques for MODIS daily NDVI: An empirical analysis on corn and soybean
CN105913426B (zh) 一种基于zy-3影像的浅水湖泊围网区提取方法
CN104732480B (zh) 一种基于非局部正则化模型的遥感图像超分辨方法
CN115937151A (zh) 一种作物叶片卷曲程度的判定方法
CN104881850B (zh) 一种多时相遥感影像的厚云自动去除方法
CN102682200B (zh) 一种实时焊缝跟踪信号的小波降噪方法
CN107782700A (zh) 一种avhrr地表反射率重建方法、系统与装置
CN114330850B (zh) 一种用于气候预测的异常相对倾向生成方法与系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190122

Termination date: 20191127