CN103884661A - 基于土壤可见-近红外光谱库的土壤全氮实时检测方法 - Google Patents

Abstract

本发明公开了一种基于土壤可见-近红外光谱库的土壤全氮实时检测方法，包括以下步骤：测量全国各地土壤样本的可见-近红外光谱数据和全氮含量数据，构建土壤可见近红外光谱-全氮数据库；采集多个待检测土壤样本的可见-近红外光谱数据；采用局部加权回归算法，对每一待检测样本从光谱库中挑选建模样本构成定标子集，从而构建基于土壤可见-近红外光谱数据库的全氮线性回归模型，得出待检测样本的全氮含量，并对预测模型进行精度评定。本发明方法与以往单纯采用区域全部土壤样本光谱建模预测方法相比，预测模型具有很好的稳定性和普适性，预测能力显著提高，解决了土壤光谱重复采集、数据格式不统一无法共享、各建模模型无法通用的弊端。

Description

基于土壤可见-近红外光谱库的土壤全氮实时检测方法

技术领域

本发明涉及土壤全氮快速检测方法，具体地说是涉及一种基于土壤可见-近红外光谱库的土壤全氮实时检测方法。

背景技术

土壤全氮是土壤肥力三要素的重要组成部分，是影响作物生长发育的重要营养元素，其浓度含量将影响农作物的产量和品质。传统化学分析方法测定土壤全氮含量存在速度慢、费用高、污染环境等不足，无法满足精准农业对田间土壤全氮含量快速检测和数字制图的要求。光谱分析技术能够快速简便地检测土壤属性信息，并且具有环保、不破坏、田间实地分析、多种属性同时检测等优点。快速检测土壤全氮含量，对精准农业的实施、高效利用化肥资源等工作具有指导性意义。

然而目前已建立的局部区域土壤全氮光谱检测模型由于各区域土类及成土母质存在较大差异，难以外推至其他区域。同一地区不同单位重复采样浪费资源且共享性差，各自建立的预测模型稳定性和普适性较差。因此，大样本土壤光谱库的构建以及研究基于库的土壤全氮快速检测普适性强的方法非常必要。

近年来国际上对基于大尺度土壤光谱库土壤关键属性的预测研究有一些探索。PengYi等(2013)利用来自丹麦全国2688个土壤样品建立的光谱库，采用Spiking方法对局部地区35个样本的有机碳含量进行了建模预测；Stevens等(2013)利用来自于23个国家约20000个样本的欧洲尺度光谱库信息，采用偏最小二乘回归、BRT（Boosted regressiontrees）、Cubist、随机森林和支持向量机等对土壤氮、有机碳、CEC、pH和粘土矿物等多种属性进行预测。目前国际上基于光谱库对土壤氮属性研究的只有Stevens研究团队，但预测方法中没有应用局部加权回归算法。

国内虽然陆续开展了利用土壤光谱预测氮含量的研究，但大部分是小尺度范围的探索及应用。基于大尺度光谱库的土壤属性预测研究最新进展是史舟等（2013）基于1581个样本的光谱数据采用模糊k均值聚类结合偏最小二乘方法建立有机质预测模型。然而，还没有人将局部加权回归算法应用于大尺度土壤光谱库的土壤全氮含量预测研究。

发明内容

本发明的目的在于提供一种基于土壤可见-近红外光谱库的土壤全氮实时检测方法，是利用局部加权回归模型，对待检测土壤样本的可见近红外光谱数据进行分析，得出全氮含量的方法。

本发明采用的技术方案的步骤如下：

步骤1)测量全国各地土壤样本的可见-近红外光谱数据和全氮含量数据，构建土壤可见近红外光谱-全氮数据库；

步骤2)采集多个待检测土壤样本的可见-近红外光谱数据；

步骤3)采用局部加权回归算法，对每一待检测样本从光谱库中挑选建模样本构成定标子集，从而构建基于土壤可见-近红外光谱数据库的全氮线性回归模型，得出待检测样本的全氮含量，并对预测模型进行精度评定。

步骤1)中，所述的测量全国各地土壤样本的可见-近红外光谱数据和全氮含量数据，构建土壤可见近红外光谱-全氮数据库的具体步骤如下：

步骤(1.1)采集全国各地土壤样本的光谱数据；

步骤(1.2)用化学方法分析全国各地土壤样本的全氮含量；

步骤(1.3)对所述光谱数据进行预处理，构建土壤可见近红外光谱-全氮数据库。

步骤(1.2)中，所述用化学方法分析是用半微量开氏法测定。

步骤(1.3)中，所述光谱数据进行预处理的方法为基于最小二乘的Savitzky-Golay经典平滑滤波与一阶微分变换相结合的方法。

步骤2)中，所述采集多个待检测土壤样本的可见-近红外光谱数据，采集方法及光谱预处理方法和构建光谱库所述方法一致。

步骤3)中，所述采用局部加权回归算法，对每一待检测样本从光谱库中挑选建模样本构成定标子集，从而构建基于土壤可见-近红外光谱数据库的全氮线性回归模型，得出待检测样本的全氮含量的具体步骤如下：

①对光谱库中所有样本的预处理后光谱数据进行主成分分析(PCA)，

定义为得分矩阵，

定义为载荷矩阵；

②确定用于每个局部建模集的主成分数(A)和样本数(C)；

对每一个待检测样本：

③计算得分

${\hat{t}}^t=x^t\hat{P}---\left(1\right)$

其中x是通过与建模矩阵X相同的常数中心化得到的预测光谱；

④从光谱库中找到最接近待检测样本的C个样本用来建模，接近程度通过A个尺度中主成分得分的空间距离测量来定义，计算A个尺度得分向量和

所在的所有行之间的距离，并从小到大排序，然后依次选取待检测样本与库中距离最小的C个样本作为建模集；

⑤用最小二乘准则来评估线性回归模型中的未知参数

$y_c={\mathrm{lq}}_0+{\hat{T}}_{C}q---\left(2\right)$

在式中，y_c是C个局部样本中y值的矢量，q是A得分回归系数的对应矢量，

表示光谱库中最接近待检测样本的C个建模样本得分矩阵，l是最小二乘的矢量，q₀是截距，如果预定义的加权函数是有效的，那么加权最小二乘可以取代常规最小二乘；

⑥使用估算好的回归系数来预估待检测样本的全氮含量，即

值，

$\hat{y}={\hat{q}}_0+{\hat{t}}^t\hat{q}---\left(3\right)$

其中

是截距q₀的估测值，是A得分回归系数的对应矢量q的估测值。

步骤3)中，所述预测模型精度评定，其具体过程如下：

预测模型精度统一选用决定系数R²、均方根误差RMSE以及测定值标准偏差与标准预测误差的比值RPD作为评价参数，其具体公式如下：

$\mathrm{RMSE}=\sqrt{\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_i-{\hat{y}}_i)}^2}---\left(5\right)$

RPD=SD/RMSE        (6)

其中，y_i是观测值，

是yi的预测值，

是y_i的平均值，SD是观测值标准偏差，n为样本数，i为从第一个土壤样本到第n个的计数。

本发明具有的有益效果是：

本发明提出了基于土壤光谱可见近红外-全氮数据库局部加权回归建模检测局部地区土壤全氮含量的方法，该方法与以往单纯采用区域全部土壤样本光谱建模预测方法相比，预测模型具有显著的稳定性和普适性，预测能力显著提高，解决了土壤光谱重复采集、数据格式不统一无法共享、各建模型无法通用的弊端。为充分挖掘土壤光谱-全氮数据库有效信息预测局部地区土壤全氮含量提供了方法和思路，并为精准农业中土壤全氮信息快速检测设备的研制提供技术支持。

附图说明

图1是本发明的流程图。

图2是局部加权回归方法主成分个数的设置与预测精度指标R²的关系图。

图3是局部加权回归方法相似点搜索个数的设置与预测精度指标R²的关系图。

图4是土壤光谱库中样本直接偏最小二乘回归方法得到的土壤全氮光谱检测结果图。

图5是基于光谱-全氮数据库利用局部加权回归方法得到的土壤全氮光谱检测结果图。

图6是某待检测样本在光谱库中挑选50个相似样本的前两个主成分得分值的分布图。

具体实施方式

以下结合附图和实施例对本发明作进一步的说明。

如图1所示，本发明包括以下步骤：

步骤1)测量全国各地土壤样本的可见-近红外光谱数据和全氮含量数据，构建土壤可见近红外光谱-全氮数据库；

步骤2)采集多个待检测土壤样本的可见-近红外光谱数据；

步骤3)采用局部加权回归算法，对每一待检测样本从光谱库中挑选建模样本若干构成定标子集，从而构建基于土壤可见-近红外光谱数据库的全氮线性回归模型，得出待检测样本的全氮含量，并对预测模型进行精度评定。

步骤1)中，所述的测量全国各地土壤样本的可见-近红外光谱数据和全氮含量数据，构建土壤可见近红外光谱-全氮数据库的具体步骤如下：

步骤(1.1)采集全国各地土壤样本的光谱数据；

采集来自浙江、四川、河南、山西、云南等13个省份共计17种土类，主要有黑土、水稻土、紫色土、潮土和褐土等1661个土壤样本；待检测土样为浙江省富阳上虞龙游地区的104个水稻土。所有土样采集深度为表层0-20cm，风干、研磨后过直径2mm筛。本实施方式采用美国ASD公司FieldSpec4型光谱仪，配备一个50W卤素灯作光源，一根25°视场角的光纤探头。该仪器由3个传感器组成，分别为UV-VNIR(350-1100nm)，SWIR1(1000-1800nm)和SWIR2(1700-2500nm)。其波长范围涵盖350-2500nm，采样间隔为1.4nm(350-1000nm)和2nm(1000-2500nm)，重采样间隔至1nm，共2150个波段。光谱测量在一个能控制光照条件的暗室内进行。光源是功率为50w的卤素灯，距土壤样品表面70cm，天顶角30°。待测土壤样本分别放置在直径10cm、深1.5cm的盛样器皿内，土样表面刮平。传感器探头位于土壤样本表面垂直上方15cm处。采用25°视场角探头，探头接受土壤光谱的区域为直径6.7cm的圆，远小于盛样器皿面积，保证探头接收的均为土壤的反射光谱。测试之前先进行白板校正。每个土样采集10条光谱曲线，将采集到10条光谱曲线进行算术平均计算后得到该土样的实际反射光谱数据。

将采集到的可见-近红外光谱数据按照不同土类不同省份分类存储，每个土样的光谱曲线去除噪声较大的边缘波段350～399nm和2401～2500nm波段。

步骤(1.2)用化学方法分析全国各地土壤样本的全氮含量；

本实施方式采用半微量开氏法测得全国各地土壤样本的全氮含量，记录各个样本的全氮含量的观测值。库中17种土类1661个土壤样品的全氮含量变幅较大，从0.016%到0.461%，这为建立土壤全氮反射光谱预测模型提供了较完整的样本。

步骤(1.3)对所述光谱数据进行预处理，构建土壤可见近红外光谱-全氮数据库；

步骤(1.3.1)用基于最小二乘的Savitzky-Golay经典平滑滤波去除光谱噪声；

基于最小二乘的Savitzky-Golay经典平滑滤波方法使用简化的最小二乘拟合卷积方法。假设光谱曲线为t次多项式，其中t为自然数，其公式为：

Y=a₀+a₁i+a₂i²+a₃i³+...+a_ti^t         (7)

其中Y表示原始光谱数据值，a₀、a₁、a₂、a₃、a_i为多项式系数，i表示光谱波长，t为自然数。

基于最小二乘的Savitzky-Golay经典平滑滤波方法的推导过程中，最后简化的一般最小二乘卷积方程为：

$Y_j=\frac{\underset{i=-m}{\overset{m}{\mathrm{\Σ}}}{C}_i{y}_{i+j}}{N}---\left(8\right)$

其中，C_i是窗口平滑时第i个光谱值系数，N是卷积中点值个数，y是原始光谱数据值，Y是平滑后的光谱数据值，N=2m+1为平滑窗口大小，对处于光谱两端的2m个(开始m个和最后m个)点，利用公式计算其平滑值。(i，j)为平滑窗口坐标值。

步骤(1.3.2)用一阶微分变换突出光谱反射率和土壤全氮之间的相关性；

一阶微分变换的方程式为：

${\mathrm{\ρ}}^{\′}\left({\mathrm{\λ}}_i\right)=\frac{\mathrm{d\ρ}\left(\mathrm{\λ}\right)}{\mathrm{d\λ}}=\frac{\mathrm{\ρ}\left({\mathrm{\λ}}_{i+1}\right)-\mathrm{\ρ}\left({\mathrm{\λ}}_{i-1}\right)}{2\mathrm{\Δ\λ}}---\left(9\right)$

式中，λ_i是波长值，ρ′(λ_i)是λ_i处的一阶微分光谱数据，ρ(λ)是λ_i处的原始光谱数据，λ是范围内的所有波长值，λ_i＝(λ_i-1+λ_i+1)/2，Δλ=λ_i+1-λ_i-1。

步骤2)中，所述的采集待检测土壤样本的可见-近红外光谱数据，采集方法及光谱预处理方法和构建光谱库所述方法一致。

步骤3)中，所述的采用局部加权回归算法，对每一待检测样本从光谱库中挑选建模样本若干构成定标子集，从而构建基于土壤可见-近红外光谱数据库的全氮线性回归模型，得出待检测样本的全氮含量的具体步骤如下：

①对光谱库中所有样本的预处理后光谱数据进行主成分分析(PCA)，

定义为得分矩阵，

定义为载荷矩阵；

对土壤光谱-全氮数据库和待检测样本光谱数据进行SG平滑一阶微分预处理后，采用主成份分析方法进行数据降维处理，并得到得分矩阵

和载荷矩阵

②确定用于每个局部建模集的主成分数(A)和库中挑选的相似样本数(C)；

对于主成分数(A)和库中挑选相似样本数(C)这两个参数，通过逐步单因子变量的数值变化，分别建立局部加权回归模型，来计算预测精度指标R²。可以看出，对于参数主成分个数的设定，如图2所示，当其为5时，R²达到最大值0.764，明显高于主分数为4或6时的数值。对于相似点搜索个数的设定，如图3所示，当数值逐级以10为单位递增时，R²迅速增大，在达到50及以后，R²趋于稳定。因此本实施方式中主成分数(A)和库中挑选相似样本数(C)两个参数的最佳设定为5和50。

对每一个待检测样本：

③计算得分

${\hat{t}}^t=x^t\hat{P}---\left(1\right)$

其中x是通过与建模矩阵X相同的常数中心化得到的预测光谱；

④从光谱库中找到最接近待检测样本的50个样本用来建模，选取第一组分(PCA1，48%)、第二组分(PCA2，23%)、第三组分(PCA3，7%)、第四组分(PCA4，3%)和第五组分(PCA5，3%)得分数据作为局部加权回归方法的输入数据，接近程度通过5个尺度中主成分得分的空间距离测量来定义，计算5个尺度得分向量

和

所在的所有行之间的距离，并从小到大排序，然后依次选取待检测样本与库中距离最小的50个相似样本作为建模集；

⑤用最小二乘准则来评估线性回归模型中的未知参数

$y_c={\mathrm{lq}}_0+{\hat{T}}_{C}q---\left(2\right)$

在式中，y_c是50个局部样本中全氮值的矢量，q是5个得分回归系数的对应矢量，

表示光谱库中最接近待检测样本的50个建模样本得分矩阵，l是最小二乘的矢量，q₀是截距，如果预定义的加权函数是有效的，那么加权最小二乘可以取代常规最小二乘；

⑥使用估算好的回归系数来预估待检测样本的全氮含量，即

值，

$\hat{y}={\hat{q}}_0+{\hat{t}}^t\hat{q}---\left(3\right)$

其中

是截距q₀的估测值，

是5个得分回归系数的对应矢量q的估测值。

同样的方法应用于所有待检测样本。

同时将土壤光谱-全氮数据库经预处理和一阶微分变换后，直接进行全局片最小二乘回归建模，预测待检测样本土壤全氮含量，与上述局部加权回归方法加以对比。

将土壤光谱-全氮数据库直接进行偏最小二乘回归建模，检测结果如图4所示；基于土壤光谱-全氮数据库利用局部加权回归建模，检测结果如图5所示。

图6显示了某待检测样本从光谱库中搜索临近样点的样本空间分布情况，PC1和PC2占解释变量信息的71%。由图6中可以清楚看出，依据未知样本与库中样本空间马氏距离的远近，挑选出的建模样本集中紧密分布在未知样本周围。这样，在建立回归模型时，剔除了库中的无关信息，选取具有有效信息的相似样本构成建模集，能更好检测未知样本全氮含量。

局部加权回归算法对于每个待检测样本需要新的建模，看似繁琐，但在实际运用中，一个预测样本在每个局部集中只需要少量的样本和主成分，所以从计算的角度来看局部加权回归方法是简便的。

步骤3)中，所述预测模型精度评价，其具体过程如下：

预测模型精度统一选用决定系数R2、均方根误差RMSE以及测定值标准偏差与标准预测误差的比值RPD作为评价参数，其具体公式如下：

$\mathrm{RMSE}=\sqrt{\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_i-{\hat{y}}_i)}^2}---\left(5\right)$

RPD=SD/RMSE        (6)

其中，y_i是观测值，是y_i的预测值，

是y_i的平均值，SD是观测值标准偏差，n为样本数，i为从第一个土壤样本到第n个的计数。所得结果如表1所示。

表1偏最小二乘回归建模与局部加权回归建模的土壤全氮光谱检测精度比较

由表1、图4和图5中两种建模方法的对比发现，局部加权回归方法比偏最小二乘回归方法的预测精度显著提高，R²由0.64迅速提升到0.76，提升幅度高达18.75%，RPD值超过2，说明预测模型稳定可靠。因此，将来对新采集土样的全氮光谱检测，可以先基于土壤光谱-全氮数据库采用局部加权回归方法从库中挑选出相似样本，然后建立线性回归模型，预测其全氮含量。这样充分挖掘光谱库中有效信息，预测模型的稳定性和普适性较好。

本实施方式基于土壤光谱-全氮数据库，采用局部加权回归方法，对每一待检测样本从库中挑选具有相似光谱的样本，然后构成建模子集建立线性回归模型得出全氮预测结果，比传统偏最小二乘方法的检测精度有了显著提高，其检测结果的R²和RPD两个指数分别从0.64和1.4提高到0.76和2.1。本发明为充分挖掘大样本土壤光谱-全氮数据库有效信息预测局部地区土壤全氮含量提供了方法和思路，并为精准农业中土壤全氮信息快速检测设备的研制提供技术支持。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (7)

1.一种基于土壤可见-近红外光谱库的土壤全氮实时检测方法，其特征在于，该方法的步骤如下：

步骤1)测量全国各地土壤样本的可见-近红外光谱数据和全氮含量数据，构建土壤可见近红外光谱-全氮数据库；

步骤2)采集多个待检测土壤样本的可见-近红外光谱数据；

步骤3)采用局部加权回归算法，对每一待检测样本从光谱库中挑选建模样本构成定标子集，从而构建基于土壤可见-近红外光谱数据库的全氮线性回归模型，得出待检测样本的全氮含量，并对预测模型进行精度评定。

2.根据权利要求1所述的一种基于土壤可见-近红外光谱库的土壤全氮实时检测方法，其特征在于，步骤1)中，所述的测量全国各地土壤样本的可见-近红外光谱数据和全氮含量数据，构建土壤可见近红外光谱-全氮数据库的具体步骤如下：

步骤(1.1)采集全国各地土壤样本的光谱数据；

步骤(1.2)用化学方法分析全国各地土壤样本的全氮含量；

步骤(1.3)对所述光谱数据进行预处理，构建土壤可见近红外光谱-全氮数据库。

3.根据权利要求2所述的一种基于土壤可见-近红外光谱库的土壤全氮实时检测方法，其特征在于，所述步骤(1.2)中，所述用化学方法分析是用半微量开氏法测定。

4.根据权利要求2所述的一种基于土壤可见-近红外光谱库的土壤全氮实时检测方法，其特征在于，步骤(1.3)中，所述光谱数据进行预处理的方法为基于最小二乘的Savitzky-Golay经典平滑滤波与一阶微分变换相结合的方法。

5.根据权利要求1所述的基于土壤可见-近红外光谱库的土壤全氮实时检测方法，其特征在于，步骤2)中，所述采集多个待检测土壤样本的可见-近红外光谱数据，采集方法及光谱预处理方法和构建光谱库所述方法一致。

6.根据权利要求1所述的一种基于土壤可见-近红外光谱库的土壤全氮实时检测方法，其特征在于，步骤3)中，所述采用局部加权回归算法，对每一待检测样本从光谱库中挑选建模样本构成定标子集，从而构建基于土壤可见-近红外光谱数据库的全氮线性回归模型，得出待检测样本的全氮含量的具体步骤如下：

①对光谱库所有样本的预处理后光谱数据进行主成分分析(PCA)，

定义为得分矩阵，

定义为载荷矩阵；

②确定用于每个局部建模集的主成分数(A)和样本数(C)；

对每一个待检测样本：

③计算得分

${\hat{t}}^t=x^t\hat{P}---\left(1\right)$

其中x是通过与建模矩阵X相同的常数中心化得到的预测光谱；

④从光谱库中找到最接近待检测样本的C个样本用来建模，接近程度通过A个尺度中主成分得分的空间距离测量来定义，计算A个尺度得分向量

和

所在的所有行之间的距离，并从小到大排序，然后依次选取待检测样本与库中距离最小的C个样本作为建模集；

⑤用最小二乘准则来评估线性回归模型中的未知参数

$y_c={\mathrm{lq}}_0+{\hat{T}}_{C}q---\left(2\right)$

在式中，y_c是C个局部样本中y值的矢量，q是A得分回归系数的对应矢量，

表示光谱库中最接近待检测样本的C个建模样本得分矩阵，l是最小二乘的矢量，q₀是截距，如果预定义的加权函数是有效的，那么加权最小二乘可以取代常规最小二乘；

⑥使用估算好的回归系数来预估待检测样本的全氮含量，即

值，

$\hat{y}={\hat{q}}_0+{\hat{t}}^t\hat{q}---\left(3\right)$

其中

是截距q₀的估测值，

是A得分回归系数的对应矢量q的估测值。

7.根据权利要求1所述的一种基于土壤可见-近红外光谱库的土壤全氮实时检测方法，其特征在于，所述步骤3)中，所述预测模型精度评定，其具体过程如下：

预测模型精度统一选用决定系数R²、均方根误差RMSE以及测定值标准偏差与标准预测误差的比值RPD作为评价参数，其具体公式如下：

$\mathrm{RMSE}=\sqrt{\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_i-{\hat{y}}_i)}^2}---\left(5\right)$

RPD=SD/RMSE        (6)

其中，y_i是观测值，是yi的预测值，

是y_i的平均值，SD是观测值标准偏差，n为样本数，i为从第一个土壤样本到第n个的计数。

Images