CN116952857A - 一种基于光谱吸收深度分类的原位光谱水分去除方法 - Google Patents

一种基于光谱吸收深度分类的原位光谱水分去除方法 Download PDF

Info

Publication number
CN116952857A
CN116952857A CN202310930961.1A CN202310930961A CN116952857A CN 116952857 A CN116952857 A CN 116952857A CN 202310930961 A CN202310930961 A CN 202310930961A CN 116952857 A CN116952857 A CN 116952857A
Authority
CN
China
Prior art keywords
spectrum
situ
sample
soil
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310930961.1A
Other languages
English (en)
Inventor
杨梅花
寇海群
陈颂超
徐强
张智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yu Zhang Teachers College
Original Assignee
Yu Zhang Teachers College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yu Zhang Teachers College filed Critical Yu Zhang Teachers College
Priority to CN202310930961.1A priority Critical patent/CN116952857A/zh
Publication of CN116952857A publication Critical patent/CN116952857A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于光谱吸收深度分类的原位光谱水分去除方法，包括采用聚类方法基于原位光谱中的能够估测水分含量且能够识别黏土矿物含量的光谱吸收深度的波段范围的最大值和最小值的差值对野外原位湿样土壤进行分类；对总体样本随机选择分为选择样本和验证样本，利用K‑S方法从选择样本中获得多个子集样本；将选择样本室内风干、光谱测定得室内光谱；对每个样本子集的每类室内光谱与原位光谱进行外部参数正交化法得到每个子集的对应类的矫正矩阵，通过每个子集的每类的矫正矩阵对验证样本中的对应类的原位光谱进行水分去除。该方法有效的去除水分对不同土壤类型的原位光谱的影响。

Description

一种基于光谱吸收深度分类的原位光谱水分去除方法
技术领域
本发明属于土壤属性含量定量估测方法，具体涉及一种基于光谱吸收深度分类的原位光谱水分去除方法。
背景技术
室内土壤vis-NIR技术是一种利用可见-近红外波段范围的光谱反射或吸收特征对土壤属性进行反演的一种技术。这种技术可以利用一次光谱测量就能对多种土壤属性进行定量估算。且其要求土壤烘干、研磨和过筛，因此规避了外界环境因素的干扰，预测精度高。与传统分析方法相比，室内vis-NIR技术对环境无污染，在效率和成本节约方面至少是前者的10倍以上，尤其是在区域大面积监测上。
因此，区域、国家乃至全球光谱库已建立，光谱库样本数量多，土壤类型齐全，信息含量丰富。野外原位vis-NIR光谱不需要室内光谱的烘干、研磨和过筛等这些预处理过程，且更接近于航空或航天高光谱遥感数据的场景，是土壤遥感从室内走向实际应用的基础。因此，基于土壤光谱库的野外原位估算技术在大面积监测上发挥重要的作用。
土壤光谱库的光谱是室内光谱，基于光谱库的原位监测，水分对光谱有极显著影响，土壤水分和不同类型土壤的复杂交互作用是野外原位测量中影响土壤属性预测精度的主要影响因素，具体的影响包括以下几方面：
1、反射率变化：水分含量的增加，土壤的反射率会逐渐降低。这是由于水分含量增加，光线在土壤中的折射增加，使得反射率的降低。尤其是在1400nm，1900nm和2200nm左右，水分对光谱的影响及其显著。
2、不同水分含量和不同土壤类型对土壤光谱反射率的交互影响：水分含量相同，不同土壤类型的光谱吸收大小差异明显，在1300-1440nm范围左右，1840-1940nm和2100-2240nmz区域光谱吸收深度和吸收曲线形状差异明显，但相同粘土矿物形成的土壤其原位光谱在此区域有相似的吸收特征。
因此，利用室内已建好的光谱库原位条件下对土壤属性进行预测需要对原位光谱进行水分去除。
目前水分去除方法仅仅只考虑水分含量，用其作用于不同来源不同土壤类型原位土壤样本时，水分去除效果不佳，难以满足田间监测所需精度要求。因此开展复杂区域不同土壤类型原位条件下的光谱水分有效的去除方法，利用已有的光谱库数据，建立光谱预测模型高精度野外原位预测土壤属性含量对目前耕地质量监测、耕地质量快速评价研究具有非常重要的意义。
发明内容
本发明提供了一种基于光谱吸收深度分类的原位光谱水分去除方法，该方法对不同土壤类型的原位光谱的水分影响去除效果较好。
本发明具体实施例提供了一种基于光谱吸收深度分类的原位光谱水分去除方法，包括：
获得原始野外湿样土壤及其原位光谱，采用聚类方法基于原位光谱中的能够估测水分含量且能够识别黏土矿物含量的光谱波段范围的最大值和最小值的差值将原始野外湿样土壤分为n类；
对分类后的原始野外湿样土壤分为选择样本和验证样本，基于选择样本利用K-S方法得到多个子集样本，其中，每个子集样本和验证样本均有n类；
将选择样本室内风干磨碎后进行光谱测定得室内光谱；
基于选择的子集样本的每类的室内光谱与对应类的原位光谱通过外部参数正交化法得到对应类的矫正矩阵，通过每类的矫正矩阵对验证样本中的对应类的原位光谱进行水分去除，得到各选择的子集样本对应的n类校正矩阵，即n类校正光谱。
进一步的，本发明具体实施例提供的基于光谱吸收深度分类的原位光谱水分去除方法，还包括：
通过选择的子集样本的每类的矫正矩阵对土壤光谱库数据进行校正，基于校正的土壤光谱库数据通过留一交叉验证法得到各子集样本的各类的偏最小二乘回归模型；
将基于各类子集样本的验证样本中的水分去除后的校正光谱输入各类的偏最小二乘回归模型得到基于各类子集样本的预测的土壤属性含量。
进一步的，采用聚类方法基于原位光谱中的能够作为估测水分含量且能够识别黏土矿物含量的光谱吸收深度的波段范围的最大值和最小值的差值对原始野外湿样土壤进行分类，包括：
通过Savitzky-Golay方法将原位光谱进行去噪，并将光谱反射率转化为光谱吸光度，基于光谱吸光度的原位光谱中的能够测量水分含量且能够识别黏土矿物的波段的范围最大值和最小值的差值通过聚类的方法分别对原始野外湿样土壤进行聚类分类。
进一步的，所述聚类方法为模糊聚类，通过模糊聚类的模糊性能指数、改进分类熵和聚类独立性指数来确定聚类数，从而实现对原始野外湿样土壤的分类。
进一步的，所述的光谱吸收深度的波段范围为1300-1440nm或者1840-1940nm。
进一步的，基于每类的室内光谱与原位光谱通过外部参数正交化法算法得到每类的矫正矩阵，其中外部参数正交化法的计算公式为：
X＝XP(p×p)+XQ(p×p)+R(n×p)
其中，X为原位光谱，XP(p×p)为原位光谱中对土壤属性预测有用的光谱信息，P为矫正矩阵，Q(p×p)为原位光谱中受土壤含水量影响的无用信息，R(p×p)为残差矩阵，p为光谱波段数，n为土壤样本数。
进一步的，通过每类的矫正矩阵对验证样本中的对应类的原位光谱进行水分去除，水分去除后的第i类别的校正光谱Vi为：
Vi＝Si×Pi
其中，Si为验证样本中的第i类的原位光谱，Pi为第i类的矫正矩阵。
进一步的，利用高密度接触式反射探头对原始野外湿样土壤进行原位可见-近红外漫反射光谱数据采集得到原始野外湿样土壤的原位光谱。
与现有技术相比，本发明的有益效果为：
本发明通过利用原位光谱中的能够反应水分含量和黏土矿物的波段的反射率的差值来对各个样本进行分类，然后再通过外部参数正交化法(EPO)算法得到每类的原位光谱的矫正矩阵，通过矫正矩阵去除每类原位土壤光谱中的水分，从而实现了原位条件下因水分和粘土矿物的交互作用导致常规水分去除方法对水分去除的效果较差的问题。而且该水分去除方法只考虑原位土壤光谱，使用简单，方便。
本发明提供的原位光谱水分去除方法校正土壤光谱库数据，基于校正后的土壤光谱库数据构建偏最小二乘回归模型，把验证集样本中的水分去除方法得到的原位光谱的校正光谱输入到偏最小二乘回归模型得到预测土壤属性含量，从而能够解决利用现有光谱库大面积原位监测土壤属性的因水分去除效果不好而导致的精度低问题，为精准农业土壤数字制图、土壤属性快速监测提供了技术支持。
附图说明
图1为本发明具体实施例提供的基于光谱吸收深度分类的原位光谱水分去除方法的流程图；
图2为本发明具体实施例提供的基于不同校正样本数量分类后建立的PLSR模型对验证样本的预测均方根误差(RMSE)曲线图。
具体实施方式
以下结合附图和实施例对本发明做进一步的说明。
为了达到能够有效去除原位光谱中的水分的目的，本发明利用原位光谱中的能够测量水分含量且能够识别黏土矿物的光谱吸收波段范围的最大值和最小值的差值通过聚类方法先对原始野外湿样土壤进行分类，然后通过EPO算法得到矫正矩阵，通过矫正矩阵对原位光谱进行有效的水分去除。由此本发明提供了一种基于光谱吸收深度分类的原位光谱水分去除方法，具体步骤如下：
(1)获得原始野外湿样土壤光谱，并对原始野外湿样土壤光谱进行分类：
获得原始野外湿样土壤及其原位光谱，采用聚类方法基于原位光谱中的能够作为估测水分含量且能够识别黏土矿物含量的光谱吸收波段范围的最大值和最小值的差值对原始野外湿样土壤进行分类。
在一具体实施例中，本实施例利用高密度接触式反射探头对原始野外湿样土壤进行原位可见-近红外漫反射光谱数据采集得到原始野外湿样土壤，包括：
采集来自江西省各县域土壤原位土壤样本298个。本实施采用美国ASD公司FieldSpec ProFR便携式野外光谱仪，为了在野外进行测量，该仪器前面匹配了一个高密度接触式探头，测量时避开作物根系，土壤空隙和石块等不利于光谱测量的表面状况。
用方形土壤采样器进行土壤样本的采集，使用该采样器采集的土壤样本为一个20cm深，横截面积为10×10cm的土样立方体，在该土样的垂直剖面的上中下部随机选择3个位置进行野外原位土壤光谱的采集，每个位置采集10条光谱，30条光谱算数平均后作为该采样点耕层土样的原始野外湿样土壤。
在一具体实施例中，本实施例对原始野外湿样土壤进行分类，包括：
通过Savitzky-Golay方法将原位光谱进行去噪，并且将光谱反射率转化为光谱吸光度，基于光谱吸光度的原位光谱中的能够测量水分含量且能够识别黏土矿物的波段的范围最大值和最小值的差值通过聚类的方法分别对原始野外湿样土壤分成n类。
在一具体实施例中，本发明具体实施例提供的聚类方法为模糊聚类，通过模糊聚类的模糊性能指数、改进分类熵和聚类独立性指数来确定聚类数，本实施例的聚类数为2，即实现将原始野外湿样土壤分为2类。
在一具体实施例中，本实施例提供的能够估测水分含量且能够识别黏土矿物含量的光谱吸收深度的波段范围为1300-1440nm，或者1800-1940nm。
(2)本发明具体实施例将聚类分类后的原始野外湿样土壤随机分为选择样本和验证样本，其中，选择样本和验证样本均包括n个聚类类别的样本，基于选择样本利用K-S算法得到一系列子集样本：20,30,40…N，N为总选择样本数。
(3)本发明具体实施例将选择样本送实验室测量室内光谱，包括：
将选择样本中的土样立方体上野外原位测量的3个位置点处用小铝盒取2cm厚度土壤样品，3个土壤样品混合装入一个取样袋，作为该采样点处的土壤样品，标记，带回实验室光谱测量。每个土壤样品磨碎过筛后进行室内光谱测量得到室内光谱，室内光谱测量的方式同原位光谱测量。
可以理解的是，利用本发明提供的先进分类的方法，本发明具体实施例提供的任选子集样本均能够较好的用于去除验证样本原位光谱的水分影响。
(4)基于各子集样本每类的原位光谱与其室内光谱通过外部参数正交化法得到各子集每类的EPO矫正矩阵，外部参数正交化法的计算公式为：
X＝XP(p×p)+XQ(p×p)+R(n×p)
其中，X为原位光谱，P(p×p)为原位光谱中对土壤属性预测有用信息的光谱信息，P为矫正矩阵，Q(p×p)为原位光谱受土壤含水量影响的无用信息，R(p×p)为残差矩阵，p为光谱波段数，n为土壤样本数。
(5)通过各子集样本每类的矫正矩阵对验证样本中的对应类的原位光谱进行水分去除得到各子集的n个矫正验证样本，即各选择的子集样本对应的n类校正矩阵。水分去除后的第i类别的校正光谱Vi为：
Vi＝Si×Pi
其中，Si为验证样本中的第i类的原位光谱，Pi为第i类的矫正矩阵。
(6)通过每类的EPO矫正矩阵对土壤光谱库数据，即光谱库样本进行校正，基于校正的土壤光谱库数据通过留一交叉验证法得到自己样本的各类别的偏最小二乘回归(PLSR)模型；将验证样本水分去除后的校正光谱输入各类的偏最小二乘回归模型得到预测土壤属性含量。
在一具体实施例中，每类模型的参数由留一交叉验证法来确定，留一交叉验证得出的均方根误差(RMSEcv)最小的参数选为验证模型参数，用此参数建立PLSR模型。
本发明具体实施例提供的精度评定方法采用评价指标均方根误差(RMSE)和相关性系数R2。验证样本的RMSE越小R越大模型效果越好。
在一具体实施例中，本实施例通过对比采用1300nm和1440nm吸收值的差值分类，即对应着图2的1440nm分类，以及1800和1940nm吸收差值分类，即对应着图2的1940nm分类，建立基于分类校正后的原位光谱建立的PLSR模型对验证样本所得到的预测土壤属性含量进行RMSE评价，如图2所示，本实施例分别对17个子集样本进行评价，即样本量分别为20,30…，170的子集样本，每个子集样本的经过分类校正后构建的PLSR模型输出的预测土壤属性含量对应的RMSE值均低于未经过分类校正后构建的PLSR模型输出的预测土壤属性含量对应的RMSE值，因此，无论采用多少样本数量用于原位光谱校正，采用本发明提供基于光谱吸收深度分类的方法构建的PLSR模型均能够更为准确的预测土壤属性含量。

Claims (8)

1.一种基于光谱吸收深度分类的原位光谱水分去除方法，其特征在于，包括：
获得原始野外湿样土壤及其原位光谱，采用聚类方法基于原位光谱中的能够估测水分含量且能够识别黏土矿物含量的光谱波段范围的最大值和最小值的差值将原始野外湿样土壤分为n类；
对分类后的原始野外湿样土壤分为选择样本和验证样本，基于选择样本利用K-S方法得到多个子集样本，其中，每个子集样本和验证样本均有n类；
将选择样本室内风干磨碎后进行光谱测定得室内光谱；
基于各选择的子集样本的每类的室内光谱与其原位光谱通过外部参数正交化法得到对应类的矫正矩阵，通过每类的矫正矩阵对验证样本中的对应类的原位光谱进行水分去除，得到各选择的子集样本对应的n类校正矩阵。
2.根据权利要求1所述的基于光谱吸收深度分类的原位光谱水分去除方法，其特征在于，还包括：
通过选择的各子集样本的每类的矫正矩阵对土壤光谱库数据进行校正，基于校正的土壤光谱库数据通过留一交叉验证法得到各子集样本的各类的偏最小二乘回归模型；
将基于各子集样本的验证样本中的水分去除后的校正光谱输入各类的偏最小二乘回归模型得到基于各子集样本预测的土壤属性含量。
3.根据权利要求1所述的基于光谱吸收深度分类的原位光谱水分去除方法，其特征在于，采用聚类方法基于原位光谱中的能够作为估测水分含量且能够识别黏土矿物含量的光谱吸收深度的波段范围的最大值和最小值的差值对原始野外湿样土壤进行分类，包括：
通过Savitzky-Golay方法将原位光谱进行去噪，并将光谱反射率转化为光谱吸光度，基于光谱吸光度的原位光谱中的能够测量水分含量且能够识别黏土矿物的波段的范围最大值和最小值的差值通过聚类的方法分别对原始野外湿样土壤进行聚类分类。
4.根据权利要求3所述的基于光谱吸收深度分类的原位光谱水分去除方法，其特征在于，所述聚类方法为模糊聚类，通过模糊聚类的模糊性能指数、改进分类熵和聚类独立性指数来确定聚类数，从而实现对原始野外湿样土壤的分类。
5.根据权利要求1所述的基于光谱吸收深度分类的原位光谱水分去除方法，其特征在于，光谱吸收深度的波段范围为1300-1440nm或者1840-1940nm。
6.根据权利要求1所述的基于光谱吸收深度分类的原位光谱水分去除方法，其特征在于，基于每子集样本每类的室内光谱与原位光谱通过外部参数正交化法算法得到每子集样本每类的矫正矩阵，其中外部参数正交化法的计算公式为：
X＝XP(p×p)+XQ(p×p)+R(n×p)
其中，X为原位光谱，XP(p×p)为原位光谱中对土壤属性预测有用的光谱信息，P为矫正矩阵，Q(p×p)为原位光谱受土壤含水量影响的无用信息，R(p×p)为残差矩阵，p为光谱波段数，n为土壤样本数。
7.根据权利要求1所述的基于光谱吸收深度分类的原位光谱水分去除方法，其特征在于，通过每类的矫正矩阵对验证样本中的对应类的原位光谱进行水分去除，水分去除后的第i类别的校正光谱Vi为：
Vi＝Si×Pi
其中，Si为验证样本中的第i类的原位光谱，Pi为第i类的矫正矩阵。
8.根据权利要求1所述的基于光谱吸收深度分类的原位光谱水分去除方法，其特征在于，利用高密度接触式反射探头对原始野外湿样土壤进行原位可见-近红外漫反射光谱数据采集得到原始野外湿样土壤的原位光谱。
CN202310930961.1A 2023-07-27 2023-07-27 一种基于光谱吸收深度分类的原位光谱水分去除方法 Pending CN116952857A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310930961.1A CN116952857A (zh) 2023-07-27 2023-07-27 一种基于光谱吸收深度分类的原位光谱水分去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310930961.1A CN116952857A (zh) 2023-07-27 2023-07-27 一种基于光谱吸收深度分类的原位光谱水分去除方法

Publications (1)

Publication Number Publication Date
CN116952857A true CN116952857A (zh) 2023-10-27

Family

ID=88444222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310930961.1A Pending CN116952857A (zh) 2023-07-27 2023-07-27 一种基于光谱吸收深度分类的原位光谱水分去除方法

Country Status (1)

Country Link
CN (1) CN116952857A (zh)

Similar Documents

Publication Publication Date Title
CN107796764B (zh) 一种基于三波段植被指数的小麦叶面积指数估算模型的构建方法
CN108801934A (zh) 一种土壤有机碳含量高光谱预测模型的建模方法
CN103196838B (zh) 一种海岸河口富营养化高光谱遥感监测方法
Zhang et al. Allocate soil individuals to soil classes with topsoil spectral characteristics and decision trees
CN110531054B (zh) 基于Bootstrap抽样的土壤有机碳预测不确定性估测方法
CN111855589A (zh) 水稻叶片氮积累量遥感反演模型和方法
CN107271382A (zh) 一种不同生育期油菜叶片spad值遥感估算方法
CN105486655A (zh) 基于红外光谱智能鉴定模型的土壤有机质快速检测方法
CN111044516A (zh) 一种水稻叶绿素含量遥感估测方法
CN115235997A (zh) 一种基于卫星高光谱影像的土壤质地反演方法
CN113436153A (zh) 一种基于高光谱成像和支持向量机技术的原状土壤剖面碳组分预测方法
CN103278467A (zh) 一种植物叶片氮素丰缺快速无损高准确率的鉴别方法
CN113514410A (zh) 一种基于冠层高光谱技术的夏玉米全生育期氮素利用率垂向分布的实时定量监测方法
CN106990056A (zh) 一种土壤全氮光谱估算模型校正样本集构建方法
CN115221927A (zh) 一种紫外-可见光谱的溶解有机碳检测方法
CN113049499A (zh) 水体总氮浓度间接遥感反演方法、存储介质和终端设备
Wu et al. Effects of different particle sizes on the spectral prediction of soil organic matter
CN112270131A (zh) 基于ard回归算法的水稻叶面积指数遥感反演模型和方法
CN114486786A (zh) 土壤有机质测定方法及测定系统
CN112630180B (zh) 水体中有机磷农药浓度检测的紫外/可见光吸收光谱模型
CN112113930B (zh) 一种杏果实品质多尺度表型方法
CN113686811A (zh) 一种基于双传感器的光谱数据处理方法
CN111595806A (zh) 一种利用中红外漫反射光谱监测土壤碳组分的方法
CN116578851A (zh) 一种高光谱土壤有效硼含量预测方法
CN116952857A (zh) 一种基于光谱吸收深度分类的原位光谱水分去除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination