CN102798607A - 一种利用中红外光谱技术估测土壤有机碳含量的方法 - Google Patents

Abstract

本发明公开了一种利用中红外光谱技术估测土壤有机碳含量的方法，包括如下步骤：(1)采集若干个土壤样本，测量土壤样本的有机碳含量；(2)采集所述土壤样本的中红外光谱数据，将所述中红外光谱数据划分为建模样本集T_N和检验样本集P_M；(3)以建模样本集T_N中各土壤样本的中红外光谱数据为输入，以土壤样本的有机碳含量为输出建立模型，用所述检验样本集P_M对所建模型进行检验；(4)采集待测土壤的中红外光谱，代入步骤(3)中所得模型中，计算待测土壤中的有机碳含量。本发明的方法分析效率和精准度高，为大面积数字农业信息获取和精确化作业提供了一种可行的方法。

Description

一种利用中红外光谱技术估测土壤有机碳含量的方法

技术领域

本发明涉及光学技术与资源环境技术领域，具体涉及一种利用中红外光谱技术估测土壤有机碳含量的方法。

背景技术

精准农业作为可持续农业的基础，是当今农业发展的主要趋势。作为农业生产的基础，土壤却是一个复杂的空间变异体，因此，获取农田土壤属性实时信息及其空间分布信息对指导实施农田精准管理、农田土壤肥力评价等工作具有重要意义。

目前，常规测定土壤有机质和有机碳的化学分析方法通常周期长、成本高，并且很难在田间直接测定，不能满足快速有效监测土壤各种属性空间分布和制图的需要。地面高光谱技术监测土壤属性信息具有快速、简便、非接触、不破坏等优点，还可以仅仅用一条光谱进行多种土壤属性的预测，因此获得广泛关注。

近红外光谱已经获得了广泛的研究与应用，国内外发展皆较为成熟。Krishnan等（Krishnan P，Alexander J D,Butler B J,et al.Reflectancetechnique for predicting soil organic matter.Soil Sci.Soc.Am.J.,1980,44:1282~1285）发现可见光波段的623nm和564nm是有机质的敏感波段，用这两处原始反射率倒数之对数的微分值能很好的预测土壤有机质含量。Gunsaulis等（Gunsaulis F R,Kocher M F,Griffis C L.Surface structure effectson close-range reflectance as a function of soil organic matter content.American Society of Agricultural Engineer,1991,34:641-649）对东阿肯色州三角洲地区的土样进行研究，发现土壤有机质含量与红光波段的反射率具有较强的相关性，决定系数R²达0.609。彭玉奎等（彭玉奎，张建新，何绪生,等.土壤水分、有机质和总氮量的近红外光谱分析研究.土壤学报，1998，35（4）：554-559）用近红外光谱波段预测黄土的有机质含量，预测相关系数达到了0.938。何挺等（何挺，王静，林宗坚，等.土壤有机质光谱特性研究.武汉大学学报，2006,31（11）：975-979）研究发现2187nm处的反射率对数的一阶微分与土壤有机质的相关性最大。

然而，强烈的分子振动却发生在中红外的2500-25000nm波段，而近红外的750-2500nm处只存在相对来说较为微弱的倍频峰和合频峰，这就导致了中红外波段土壤物理化学属性的光谱特征较近红外波段更加明显，更易识别，用中红外波段进行土壤理化属性的预测所建立的模型更为稳健。国外已经开始了这一方向的研究，McCarty和Reeves（McCarty G W，Reeves J B III.Comparison of near infrared and mid infrared diffusereflectance spectroscopy for field-scale measurement of soil fertilityparameters.Soil Science,2006,171(2):94-102）指出，对于一系列土壤肥力指标的预测，利用中红外比近红外能建立更为稳健的模型。而对于土壤碳（McCarty G W，Reeves J B III,Reeves V B,et al.Mid-infrared andnear-infrared diffuse reflectance spectroscopy for soil carbon measurement.Soil Sci.Soc.Am.J.,2002,66:640-646）来说，中红外由优于近红外是因为土壤碳的光谱信息更多的出现在中红外波段，而国内基于中红外技术的土壤有机质或有机碳的预测研究尚未见报道。

发明内容

本发明提供了一种利用中红外光谱技术估测土壤有机碳含量的方法，分析效率和精准度均大大提高，为大面积数字农业信息获取和精确化作业提供了一种可行的方法。

一种利用中红外光谱技术估测土壤有机碳含量的方法，包括如下步骤：

（1）采集若干个土壤样本，测量土壤样本的有机碳含量；

对采集的土壤样本进行风干研磨，采用传统的测量方法测量所有土壤样本的有机碳含量，优选地，土壤样本的有机碳含量采用重铬酸钾氧化-分光光度法方法测量。

（2）采集所述土壤样本的中红外光谱数据，将所述中红外光谱数据划分为建模样本集T_N和检验样本集P_M；

对所有土壤样本采集光谱范围为30000cm^-1～10cm^-1的中红外光谱数据，按有机碳含量升序排列，每取若干个土壤样本选入建模样本集T_N后，取1个样本选入检验样本集P_M；优选地，每取3个土壤样本选入建模样本集T_N后，取1个样本选入检验样本集P_M，建模样本集T_N和检验样本集P_M的比例大致为3:1。

假设共有（n+m）个土壤样本，建模样本集是由N个样本组成的，用T_N来表示，

T_N={S₁，S₂，S₃，……，S_n}(N=n)    （1）

检验样本集是由M个样本组成的，用P_M来表示，

P_M={S_n+1，S_n+2，S_n+3，……，S_n+m}（M=m）   （2）

（3）以建模样本集T_N中各土壤样本的中红外光谱数据为输入，以土壤样本的有机碳含量为输出建立模型，用所述检验样本集P_M对所建模型进行检验；

一种优选的技术方案，步骤（3）中用交叉验证法确定最优因子数，用确定的最优因子数对所述建模样本集T_N建立偏最小二乘回归模型(Partial least squares regression,PLSR)。

在进行PLSR建模时，最重要的便是确定最优的因子数，使得模型不致出现过度拟合或低度拟合。

用交叉验证目的是就是为了得到更可靠稳固的模型，假定PLSR的因子数为1时，首先将n个建模样本集中的第一个样本去除，用余下的n-1个样本进行模型的拟合，用该模型估测第一个样本的预测值与第一个样本的观察值y₁进行比较。然后将第一个样本移回建模样本集中，用同样的过程处理第二个建模样本，如此循环往复，直到所有的建模样本都被移除过一次并且仅被移除过一次。

因此，在PLSR的因子数为1时，便得到了n个预测值

计算此时的均方根误差（RMSECV：建模样本交叉验证的均方根误差）

$\mathrm{RMSECV}=\sqrt{{\mathrm{\Σ}}_{i=1}^n{({\hat{y}}_i-y_i)}^2/n}---\left(3\right)$

进而可计算出Akaike信息准则(AIC):

AIC=nln RMSE+2p    （4）

其中，n为建模样本集的样本数量，p为因子数。

如此，在PLSR的因子数为N=1,2,3，……，n时，便可得到相应的RMSECV与AIC，结合这两者随因子数的变化曲线，权衡挑选RMSECV和AIC值最小或不再变小时所对应的因子数作为PLSR的最优因子数，小于此最优因子数时，PLSR模型未充分拟合，而大于此最优因子数时，模型为过度拟合状态。同时也要结合尽量选择最小的因子数的原则，来确定最优因子数。

用确定的最优因子数进行建模样本集T_N的PLSR模型的建立，用所建模型对检验样本集P_M进行预测，将预测值与观测值比较，检验所建模型的预测精度，稳定性好，预测精度高的模型即为本发明所需模型。

另一种优选的技术方案，采用辅助偏最小二乘法，该法是在前面crossvalidation-PLSR（交叉验证-PLSR）的基础上，通过构建更多的平行建模样本集，来进一步增强模型的稳定性，防止过拟合现象的发生。即：步骤（3）中从所述建模样本集T_N中重新随机选取样本组成若干个不同的辅助建模样本集，使每个辅助建模样本集的样本数与原建模样本集T_N的样本数相同，对每一个辅助建模样本集进行交叉验证-偏最小二乘回归建模，得一系列辅助偏最小二乘回归模型。

采用交叉验证目的是就是为了得到更可靠稳固的模型，作为另一种实现方案，PLSR模型的稳定性还可以通过将PLSR建模与辅助聚合相结合的方式来进一步增强，具体过程如下：

首先从建模样本集T_N中重新随机选取样本组成若干个不同的辅助建模样本集，使得每个辅助建模样本集的样本数与原建模样本集的样本数相同。

对于建模样本集T_N，随机选取建模样本组成的若干个（设为B个）辅助建模样本集可分别表示为

$t_N^1,t_N^2,t_N^3,\·\·\·\·\·\·,t_N^b,(B=b)---\left(5\right)$

每个辅助建模样本集都是由N个随机选取的建模样本组成的，每个样本可重复选取。

分别用这B个辅助建模样本集进行cross validation-PLSR建模，就得到了一系列的预测模型，即B个辅助偏最小二乘回归模型，分别用这些预测模型对检验样本集P_M进行预测，对于检验样本集P_M中的每个样本，都会得到B个预测值：

$\widehat{Y_i^B}=\{\widehat{y_i^1},\widehat{y_i^2},\widehat{y_i^3},......,\widehat{y_i^b}\},(i=\mathrm{1,2,3},......,m)---\left(6\right)$

那么，每个样本的最终预测值为：

$\frac{1}{b}{\mathrm{\Σ}}_{i=1}^m{\mathrm{\Σ}}_{B=1}^b\widehat{y_i^B}---\left(7\right)$

用每个样本的最终预测值与观测值进行比较，检验所建预测模型的预测精度。

辅助偏最小二乘回归正是通过构建若干个与原建模样本集相似的辅助建模样本集，对检验样本的预测值进行不确定性分析，以达到减小预测误差和增强模型稳定性的目的。

（4）采集待测土壤的中红外光谱，代入步骤（3）中所得偏最小二乘回归模型中，计算待测土壤中的有机碳含量。

（5）对所建模型预测结果的精度评价

对步骤（3）中两种不同建模方法的预测精度统一选用决定系数(R²)、均方根误差（RMSE：利用所建模型对检验样本预测后计算出的均方根误差）以及测定值标准偏差与标准预测误差的比值RPD作为评价参数，具体计算分别见公式（8）、（9、（10）：

$R^2=\frac{{\left[{\mathrm{\Σ}}_{i=1}^n(Y_i-\stackrel{\‾}{Y})({\hat{Y}}_i-\stackrel{\‾}{\hat{Y}})\right]}^2}{{\mathrm{\Σ}}_{i=1}^n{(Y_i-\stackrel{\‾}{Y})}^2{\mathrm{\Σ}}_{i=1}^n{({\hat{Y}}_i-\stackrel{\‾}{\hat{Y}})}^2}---\left(8\right)$

$\mathrm{RMSE}=\sqrt{\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_i-{\hat{y}}_i)}^2}---\left(9\right)$

RPD=SD/RMSE    （10）

其中，y_i是观测值，

是y_i的预测值，

是y_i的平均值，SD是观测值标准偏差，n为样本数。

整个计算过程在R2.14.0软件中完成

本发明的有益效果：

偏最小二乘回归(Partial least squares regression,PLSR)是目前光谱分析中最常用并且最稳健的建模方法，该法吸收了主成分分析中提取主成分的思想，实现了数据结构的简化，解决了自变量之间多重相关的问题，同时又克服了主成分分析对自变量有较强解释能力，但是对因变量解释能力不够的缺点，适合用于光谱分析这种自变量较多的情况。

本专利采用中红外光谱技术结合偏最小二乘回归法（PLSR）进行土壤有机碳含量的估测，利用交叉验证（cross validation）来确定PLSR中的最佳因子数，并引入辅助建模样本集，建立预测精度和模型稳定性更好的辅助偏最小二乘回归法（bagging-PLSR），实现土壤有机碳含量的快速预测。

土壤有机碳含量是农田土壤肥力评价和土壤碳库计算的重要指标，采用传统的实验室室内化学分析方法，比较耗时费力。而本专利利用中红外光谱技术，来快速便捷的测量和估测土壤有机碳含量，其分析效率大大优于传统方法，为大面积数字农业信息获取和精确化作业提供了一种可行的方法。

附图说明

图1是50个土壤样本的中红外光谱曲线；

图2a是对土壤有机碳建模样本采用leave-one-out交叉验证的方法计算得到的RMSECV随PLSR因子数变化的曲线图；

图2b是对土壤有机碳建模样本采用leave-one-out交叉验证的方法计算得图2b图2a到的AIC随PLSR因子数变化的曲线图；

图2c是用cross validation-PLSR进行建模样本交叉验证的预测结果；

图2d是用cross validation-PLSR进行检验样本预测的结果；

图2e是cross validation-PLSR结合辅助方法（bagging）进行检验样本预测的结果。

具体实施方式

实施例1

（1）采集到50个土壤样本，实验室采用重铬酸钾氧化-分光光度法方法测得这些样本的有机碳含量，记录各个样本的有机碳含量的观测值。

（2）采集样本的中红外光谱

对这50个土壤样本采用Bruker Optics公司生产的VERTEX 70中红外光谱仪（光谱范围30000cm^-1～10cm^-1）采集光谱数据，得到如图1所示的中红外光谱曲线图。

（3）建模样本集T_N与检验样本集P_M的划分

将土壤样本按照实测有机碳含量分别列表，按数值从小到大排列，然后每三个样本选入建模样本集T_N后，取一个样本选入检验样本集P_M。建模样本为35个，检验样本为15个。

（4）对建模样本集建立模型，预测检验样本集

第一种方法：采用建模样本集T_N的建模样本建立crossvalidation-PLSR（交叉验证-PLSR）模型，结合leave-one-out cross validation确定PLSR的最佳因子数

分别计算在PLSR的因子数为N=1,2,3，……，n时相应的RMSECV和AIC，以阳离子交换量为例，如图2a、图2b所示，结合这两者随因子数的变化曲线，权衡挑选RMSECV和AIC值最小或不再变小时所对应的因子数作为PLSR的最优因子数，小于此最优因子数时，PLSR模型未充分拟合，而大于此最优因子数时，模型为过度拟合状态。同时也要结合尽量选择最少的因子数的原则，来确定最优因子数。从图2a和图2b判断，RMSE曲线一直平缓下降，因子数大于10以后变化不大，而AIC最小在10处，此处选择最佳因子数为10。

用确定的最优因子数进行建模样本集T_N的PLSR模型的建立，用所建模型对检验样本集P_M进行预测，所得结果见图2c、图2d。其中图2c是采用leave-one-out cross validation方法建立建模样本（n=35）的PLSR模型所得的结果，图2d是利用所建立的模型对检验样本(n=15)进行验证的结果，从图2c和2d可以看出，数据点都较为均匀的分布在1:1线的两侧，所建模型预测精度很高，RPD远远大于1.4。这说明用交叉验证结合偏最小二乘回归可以很好的预测土壤有机碳的含量。

第二种方法：建立辅助偏最小二乘回归（bagging-PLSR，辅助-PLSR）

该法是在前面cross validation-PLSR的基础上，通过构建更多的平行建模样本集，来进一步增强模型的稳定性，防止过拟合现象的发生。对建模样本集T_N的35个土壤样本进行辅助偏最小二乘回归，随机选取建模样本集中的建模样本，组成100个新的辅助建模样本集（即B=100）,用检验样本集的15个土壤样本进行验证。

辅助建模样本集可分别表示为

$t_N^1,t_N^2,t_N^3,\·\·\·\·\·\·,t_N^b,(b=100)---\left(5\right)$

每个辅助建模样本集都是由N=35个随机选取的建模样本组成的，每个样本可重复选取。

分别用这100个辅助建模样本集进行cross validation-PLSR建模，就得到了一系列的预测模型。分别用这些预测模型对检验样本集P_M的15个样本进行预测，那么，对于检验样本集P_M中的每个样本，都会得到100个预测值：

$\widehat{Y_i^B}=\{\widehat{y_i^1},\widehat{y_i^2},\widehat{y_i^3},......,\widehat{y_i^{100}}\},(i=\mathrm{1,2,3},......,15)---\left(6\right)$

那么，每个样本的最终预测值为：

$\frac{1}{100}{\mathrm{\Σ}}_{i=1}^{15}{\mathrm{\Σ}}_{B=1}^{100}\widehat{y_i^B}---\left(7\right)$

用每个样本的最终预测值与步骤（1）记录的观测值进行比较（表1），检验所建预测模型的预测精度，结果见图2e所示，从图2e中可以看出，数据点均匀的分布在1:1线的两侧，但是与图2d相比，分布距离较远，预测精度有所下降，但仍然远远高于1.4。这表明，辅助偏最小二成回归在交叉验证-偏最小二乘回归的基础上，模型更加稳定，可以成功的进行土壤有机碳的预测。

表1检验样本集土壤有机碳含量观测值与预测值的比较

编号	观测值	交叉验证-PLSR预测值	辅助-PLSR预测值
				1	1.2	1.406	1.248
2	1.3	0.062	0.383
				3	1.5	2.777	5.078
4	1.6	2.713	2.372
				5	1.9	2.150	2.341
6	2	3.178	2.406
				7	2.4	3.051	2.851
8	2.6	3.454	3.457
				9	3.1	3.967	3.753
10	3.8	4.392	4.597
				11	4	2.658	2.933
12	4.6	3.271	3.001
				13	5.7	4.983	5.000
14	6.4	5.330	5.479
				15	11.7	13.802	9.839

（5）模型预测结果精度评价：

不同的建模方法预测精度统一选用决定系数(R²)、均方根误差（RMSE）以及测定值标准偏差与标准预测误差的比值RPD作为评价参数，具体计算分别见公式（8）、（9）、（10）：

$R^2=\frac{{\left[{\mathrm{\Σ}}_{i=1}^n(Y_i-\stackrel{\‾}{Y})({\hat{Y}}_i-\stackrel{\‾}{\hat{Y}})\right]}^2}{{\mathrm{\Σ}}_{i=1}^n{(Y_i-\stackrel{\‾}{Y})}^2{\mathrm{\Σ}}_{i=1}^n{({\hat{Y}}_i-\stackrel{\‾}{\hat{Y}})}^2}---\left(8\right)$

$\mathrm{RMSE}=\sqrt{\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_i-{\hat{y}}_i)}^2}---\left(9\right)$

RPD＝SD/RMSE    （10）

其中，y_i是观测值，

是y_i的预测值，

是y_i的平均值，SD是观测值标准偏差，n为样本数。

模型预测结果精度评价见表2：

表1土壤有机碳三种PLSR光谱建模方法的预测精度比较

通过表2预测结果，交叉验证-PLSR与辅助-PLSR预测精度RPD皆大于2.0，说明两种方法均可进行土壤有机碳含量的预测，辅助-PLSR的预测精度虽不及交叉验证-PLSR，但模型更加稳定可信。

整个计算过程皆在R2.14.0软件中完成。

Claims (7)

1.一种利用中红外光谱技术估测土壤有机碳含量的方法，其特征在于，包括如下步骤：

(1)采集若干个土壤样本，测量土壤样本的有机碳含量；

(2)采集所述土壤样本的中红外光谱数据，将所述中红外光谱数据划分为建模样本集T_N和检验样本集P_M；

(3)以建模样本集T_N中各土壤样本的中红外光谱数据为输入，以土壤样本的有机碳含量为输出建立模型，用所述检验样本集P_M对所建模型进行检验；

(4)采集待测土壤的中红外光谱，代入步骤(3)中所得模型中，计算待测土壤中的有机碳含量。

2.根据权利要求1所述的方法，其特征在于，步骤(3)中用交叉验证法确定最优因子数，用确定的最优因子数对所述建模样本集T_N建立偏最小二乘回归模型。

3.根据权利要求1所述的方法，其特征在于，步骤(3)中从所述建模样本集T_N中重新随机选取样本组成若干个不同的辅助建模样本集，使每个辅助建模样本集的样本数与原建模样本集T_N的样本数相同，对每一个辅助建模样本集进行交叉验证-偏最小二乘回归建模，得一系列辅助偏最小二乘回归模型。

4.根据权利要求1所述的方法，其特征在于，步骤(1)中所述土壤样本的有机碳含量采用重铬酸钾氧化-分光光度法方法测量。

5.根据权利要求1所述的方法，其特征在于，步骤(2)中所述中红外光谱的光谱范围为30000cm^-1～10cm^-1。

6.根据权利要求1所述的方法，其特征在于，步骤(2)中按有机碳含量升序排列，每取若干个土壤样本选入建模样本集T_N后，取1个样本选入检验样本集P_M。

7.根据权利要求6所述的方法，其特征在于，步骤(2)中按有机碳含量升序排列，每取3个土壤样本选入建模样本集T_N后，取1个样本选入检验样本集P_M。

Images