CN106126879B - 一种基于稀疏表示技术的土壤近红外光谱分析预测方法 - Google Patents

Abstract

本发明涉及一种基于稀疏表示技术的土壤近红外光谱分析预测方法，与现有技术相比解决了无法对土壤成分进行大批量综合分析的缺陷。本发明包括以下步骤：训练样本土壤集的获取和预处理；构造基于稀疏表示的分类预测模型；测试样本的获取和预处理；将测试土壤样本的光谱数据特征向量输入构造的分类预测模型，完成对测试样本土壤成分的分类预测。本发明基于稀疏表示框架来进行土壤近红外光谱分析预测，提高了近红外光谱土壤主要成分预测的精度和模型的鲁棒性。

Description

一种基于稀疏表示技术的土壤近红外光谱分析预测方法

技术领域

本发明涉及数据分析处理技术领域，具体来说是一种基于稀疏表示技术的土壤近红外光谱分析预测方法。

背景技术

我国大部分农田面临成分不足、土壤退化严重的问题，需要改造的中低产田面积大、分布广，了解并掌握农田土壤成分信息有着十分现实和迫切的需求，但想要完全掌握农田成分信息又十分困难，其存在多方面的原因。由于农田成分含量是变化的，从长期看，土壤成分分布是一个动态过程，导致土壤成分的丰缺和分布不均匀。如何利用现代科技手段及时准确获取土壤成分含量信息，制定合理的施肥策略，保证农业正常生产以及保护环境和提高作物产量具有特别重要的现实意义。可见近红外光谱(350-2500nm)检测技术具有检测速度快、多指标同时测定、无污染、成本低和操作简单等优点。可见近红外光谱分析技术能在几分钟内就能获取待测样品中多种成分含量信息，这一点是传统化学方法检测所达不到的，多种组分同时测量，检测过程中也不需要添加任何试剂，不会对环境造成二次污染，是一种检测速度快、无损、无污染和实时的检测分析技术，将近红外光谱分析技术应用于土壤成分检测领域具有十分重要的现实意义。因此利用近红外光谱分析技术实现对土壤成分的综合数据分析已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中无法对土壤成分进行大批量综合分析的缺陷，提供一种基于稀疏表示技术的土壤近红外光谱分析预测方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于稀疏表示技术的土壤近红外光谱分析预测方法，包括以下步骤：

训练样本土壤集的获取和预处理；使用光谱仪在密封暗室内采集不同训练土壤样本集的光谱数据，并对其进行预处理，形成训练样本土壤集的光谱特征矩阵；

构造基于稀疏表示的分类预测模型；

测试样本的获取和预处理；使用光谱仪获取测试土壤样本的光谱数据，对测试样本土壤扫描40次取平均值；对测试样本土壤采用与训练样本相同的光谱数据预处理方法，得到测试土壤样本的光谱数据特征向量；

将测试土壤样本的光谱数据特征向量输入构造的分类预测模型，完成对测试样本土壤成分的分类预测。

所述的训练样本土壤集的获取和预处理包括以下步骤：

在密封暗室内使用光谱仪采集不同训练土壤样本集的光谱数据，对各训练样本土壤分别扫描40次取平均值；

对光谱数据进行基线校正处理；

采样正交信号校正法对光谱数据进行预处理操作；

采用卷积平滑法进行滤波消除噪声，构成训练样本集的光谱特征矩阵。

所述的构造基于稀疏表示的分类预测模型包括以下步骤：

使用降维方法将训练样本土壤集的光谱数据特征矩阵和测试样本土壤的光谱数据特征向量投影到低维特征空间，得到A∈R^D×c和y∈R^D，

其中光谱特征矩阵A＝[A₁,A₂,…A_n]，n表示土壤训练样本集的类别数，表示训练样本中的第i类的土壤光谱数据矩阵，n_i表示此类训练样本的个数；c＝n₁+n₂+...+n_n，c表示所有训练样本的数目，a_i,j∈R^D×1表示第i类别中的第j(j＝1,2,...,n_i)个训练样本的D维光谱数据特征向量；

分别对A的列和y进行归一化处理；

通过稀疏表示框架解l₁模最小化问题，获得识别结果：

满足y＝Ax或||y-Ax||₂＜ε

其中ε是与有界能量的噪声项相关的参数，x是稀疏系数向量，λ是分组稀疏对目标函数重要性的调节参数，x_i包含了与第i类所有训练样本有关的系数；

计算残差，可得预测结果：

最优解表示为测试土壤的成分可根据所属类别的训练样本土壤成分进行预测。

有益效果

本发明的一种基于稀疏表示技术的土壤近红外光谱分析预测方法，与现有技术相比基于稀疏表示框架来进行土壤近红外光谱分析预测，提高了近红外光谱土壤主要成分预测的精度和模型的鲁棒性。

附图说明

图1为本发明的方法流程图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于稀疏表示技术的土壤近红外光谱分析预测方法，包括以下步骤：

第一步，训练样本土壤集的获取和预处理。使用光谱仪在密封暗室内采集不同训练土壤样本集的光谱数据，并对其进行预处理，形成训练样本土壤集的光谱特征矩阵。其包括以下步骤：

(1)在密封暗室内使用光谱仪采集不同训练土壤样本集的光谱数据，对各训练样本土壤分别扫描40次取平均值。采用ASD公司的FieldSpec Pro FR光谱仪获取不同训练土壤样本集的光谱数据，波长范围350～2500nm，采样间隔2nm，为了避免在测量过程中由于自然光造成的影响，整个光谱检测是在密封的暗室内进行的，对各训练样本土壤分别扫描40次取平均值。

(2)对光谱数据进行基线校正处理。由于仪器、样品背景或其它因素影响,在光谱分析中会经常出现谱图的偏移或漂移现象,将光谱数据进行基线校正的目的就是扣除仪器背景或飘移对信号的影响，基线校正最常用的解决办法就是一阶或者二阶导数处理，一阶主要解决基线的偏移，二阶主要解决基线的漂移。

(3)采样正交信号校正法对光谱数据进行预处理操作。考虑浓度阵的影响，可进一步采用正交信号校正方法对光谱数据做预处理操作，采用Direct Orthogonalization算法，即直接将光谱阵与正交阵正交来滤除无关的信号，步骤如下：

A、将原始校正集光谱阵X(n×m)和浓度阵Y(n×1)进行均值化或者标准化处理；

B、计算M＝X'Y(Y'Y)^-1；

C、计算Z＝X-YM'；

D、对Z进行主成分分析，取前f个需正交处理的得分矩阵T_f和载荷矩阵P_f；

E、计算新的

F、

G、对于预测向量x_new，由载荷P_f求出校正后的光谱T＝x_newP_f，x'_OD＝x_new-TP′_f。

(4)采用卷积平滑法进行滤波消除噪声，构成训练样本集的光谱特征矩阵。使用Savitzky-Golay卷积平滑法进行滤波，Savitzky-Golay卷积平滑法和移动平均平滑法的基本思想是类似的，不使用简单的平均，而是通过多项式来对移动窗口内的数据进行多项式最小二乘拟合，其实质就是一种加权平均法，更强调中心点的作用。

经过上述预处理最终构成训练样本土壤集的光谱特征矩阵。

第二步，构造基于稀疏表示的分类预测模型。其具体步骤如下：

(1)使用降维方法将训练样本土壤集的光谱数据特征矩阵和测试样本土壤的光谱数据特征向量投影到低维特征空间，降维方法可以是测量矩阵或者主成分分析(PCA)，得到A∈R^D×c和y∈R^D。

其中光谱特征矩阵A＝[A₁,A₂,…A_n]，n表示土壤训练样本集的类别数，表示训练样本中的第i类的土壤光谱数据矩阵，n_i表示此类训练样本的个数；c＝n₁+n₂+...+n_n，c表示所有训练样本的数目，a_i,j∈R^D×1表示第i类别中的第j(j＝1,2,...,n_i)个训练样本的D维光谱数据特征向量。

(2)分别对A的列和y进行归一化处理。

(3)在预测分类中，训练数据的特征字典矩阵有一种结构性，即每一类土壤的所有训练光谱数据集形成这个字典不同的分组，把分类预测问题转换成一个结构性的稀疏恢复问题-寻找测试样本土壤在字典中最小数量分组的表示，因为理想情况下，希望测试样本的非零重建系数能够限制在特定分类对应的字典原子子集上。把整体稀疏表示的模型和最小化非零重构向量个数的分组稀疏模型相结合，通过稀疏表示框架解最小化问题。

因为l₀优化问题是个NP-hard问题，所以转化为解决下面这个凸优化问题：

通过稀疏表示框架解l₁模最小化问题，获得识别结果：

满足y＝Ax或||y-Ax||₂＜ε

其中ε是与有界能量的噪声项相关的参数，x是稀疏系数向量，λ是分组稀疏对目标函数重要性的调节参数，x_i包含了与第i类所有训练样本有关的系数。把整体稀疏和分组稀疏同时考虑在内不仅在整体上即分组内部产生稀疏性，在分组间同样会产生稀疏性。

(4)计算残差，可得预测结果：

最优解表示为测试土壤的成分可根据所属类别的训练样本土壤成分进行预测。

第三步，测试样本的获取和预处理。使用光谱仪获取测试土壤样本的光谱数据，对测试样本土壤扫描40次取平均值；同样对测试样本土壤采用与训练样本相同的光谱数据预处理方法，得到测试土壤样本的光谱数据特征向量。

第四步，将测试土壤样本的光谱数据特征向量输入构造的分类预测模型，完成对测试样本土壤成分的分类预测。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (3)

1.一种基于稀疏表示技术的土壤近红外光谱分析预测方法，其特征在于，包括以下步骤：

11)训练样本土壤集的获取和预处理；使用光谱仪在密封暗室内采集不同训练土壤样本集的光谱数据，并对其进行预处理，形成训练样本土壤集的光谱特征矩阵；

12)构造基于稀疏表示的分类预测模型；

13)测试样本的获取和预处理；使用光谱仪获取测试土壤样本的光谱数据，对测试样本土壤扫描40次取平均值；对测试样本土壤采用与训练样本相同的光谱数据预处理方法，得到测试土壤样本的光谱数据特征向量；

14)将测试土壤样本的光谱数据特征向量输入构造的分类预测模型，完成对测试样本土壤成分的分类预测。

2.根据权利要求1所述的一种基于稀疏表示技术的土壤近红外光谱分析预测方法，其特征在于，所述的训练样本土壤集的获取和预处理包括以下步骤：

21)在密封暗室内使用光谱仪采集不同训练土壤样本集的光谱数据，对各训练样本土壤分别扫描40次取平均值；

22)对光谱数据进行基线校正处理；

23)采样正交信号校正法对光谱数据进行预处理操作；

24)采用卷积平滑法进行滤波消除噪声，构成训练样本集的光谱特征矩阵。

3.根据权利要求1所述的一种基于稀疏表示技术的土壤近红外光谱分析预测方法，其特征在于，所述的构造基于稀疏表示的分类预测模型包括以下步骤：

31)使用降维方法将训练样本土壤集的光谱数据特征矩阵和测试样本土壤的光谱数据特征向量投影到低维特征空间，得到A∈R^D×c和y∈R^D，

其中光谱特征矩阵A＝[A₁,A₂,…A_n]，n表示土壤训练样本集的类别数，表示训练样本中的第i类的土壤光谱数据矩阵，n_i表示此类训练样本的个数；c＝n₁+n₂+...+n_n，c表示所有训练样本的数目，a_i,j∈R^D×1表示第i类别中的第j(j＝1,2,...,n_i)个训练样本的D维光谱数据特征向量；

32)分别对A的列和y进行归一化处理；

33)通过稀疏表示框架解l₁模最小化问题，获得识别结果：

满足y＝Ax或||y-Ax||₂＜ε

其中ε是与有界能量的噪声项相关的参数，x是稀疏系数向量，λ是分组稀疏对目标函数重要性的调节参数，x_i包含了与第i类所有训练样本有关的系数；

34)计算残差，可得预测结果：

最优解表示为测试土壤的成分可根据所属类别的训练样本土壤成分进行预测。