CN106096656A - 一种基于稀疏表示及bp神经网络技术的土壤近红外光谱分析方法 - Google Patents

Abstract

本发明涉及一种基于稀疏表示及BP神经网络技术的土壤近红外光谱分析方法，与现有技术相比解决了土壤分析方法无法满足实际需要的缺陷。本发明包括以下步骤：训练样本土壤集的获取和预处理；构造训练样本土壤数据的稀疏字典并获取训练样本的特征向量；将训练样本的特征向量作为BP神经网络的输入，训练网络参数，构建BP神经网络分类模型；测试样本土壤集的获取和预处理；利用训练样本土壤数据的稀疏字典构造测试样本的特征向量，利用训练好的BP神经网络分类模型完成对测试样本土壤成分的分类预测。本发明基于稀疏表示及BP神经网络框架来进行土壤近红外光谱分析预测，提高了近红外光谱土壤主要成分预测的精度和模型的鲁棒性。

Description

一种基于稀疏表示及BP神经网络技术的土壤近红外光谱分析 方法

技术领域

本发明涉及数据分析技术领域，具体来说是一种基于稀疏表示及BP神经网络技术的土壤近红外光谱分析方法。

背景技术

我国传统农业数千年来以精耕细作为核心，农田信息的获取与解析是现代数字农业的基础，而土壤信息又是农田信息的最重要组成部分。可见无论是传统农业还是现代农业，都非常重视农田土壤信息的采集。为了合理施肥，近年来我国政府每年投入百亿元左右资金在全国范围内实施测土配方施肥项目。

该项目以土壤测试和肥料田间试验为基础，根据作物需肥规律、土壤供肥性能和肥料效应，在合理施用有机肥料的基础上，提出氮、隣、钾及中、微量元素等肥料的施用数量、施肥时期和施用方法。实施测土配方施肥可实现各种养分平衡供应，满足作物的需要，达到提高肥料利用率和减少用量，减少面源污染，减少对地下水的污染，提高作物产量，改善农产品品质，节省劳力，节支增收的目的。据有关方面研究统计，测土配方施肥项目的实施在增加产量、减少环境破坏、降低成本等方面都获得了良好的经济效益。

但是目前该项目存在明显的缺陷：一，样本量太少，样本的代表性令人怀疑；二,采用传统化学测试方法获取土壤信息，费时且费力，检测速度慢，检测成本较高，也大大限制了测土配方项目的推广和测土配方项目的社会经济效益。因此，如何能够快速、实时、准确获取与解析农田土壤养分信息这个难题已是数字农业研究中首先要解决的问题。

发明内容

本发明的目的是为了解决现有技术中土壤分析方法无法满足实际需要的缺陷，提供一种基于稀疏表示及BP神经网络技术的土壤近红外光谱分析方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于稀疏表示及BP神经网络技术的土壤近红外光谱分析方法，包括以下步骤：

训练样本土壤集的获取和预处理；使用光谱仪采集不同训练土壤样本集的光谱数据，对其进行预处理，形成训练样本土壤集的光谱特征矩阵；

构造训练样本土壤数据的稀疏字典并获取训练样本的特征向量；

将训练样本的特征向量作为BP神经网络的输入，训练网络参数，构建BP神经网络分类模型；

测试样本土壤集的获取和预处理；使用光谱仪采集测试土壤样本的光谱数据，对测试样本土壤扫描40次取平均值；对测试样本土壤采用与训练样本相同的光谱数据预处理方法，得到测试土壤样本的光谱数据；

利用训练样本土壤数据的稀疏字典构造测试样本的特征向量，利用训练好的BP神经网络分类模型完成对测试样本土壤成分的分类预测。

所述的训练样本土壤集的获取和预处理包括以下步骤：

使用光谱仪采集不同训练土壤样本集的光谱数据，对各训练样本土壤分别扫描40次取平均值；

对光谱数据进行平滑处理；

对光谱数据进行多元散射校正处理；

对光谱数据进行归一化处理，构成训练样本集的光谱特征矩阵。

所述的构造训练样本土壤数据的稀疏字典包括以下步骤：

采用K均值奇异值分解算法利用训练样本土壤数据训练出适应其稀疏分解的稀疏字典D＝[d₁d₂…d_k]；

设Y为光谱数据矩阵，其每一列代表一个光谱样本，共计N个样本，利用K-SVD算法在已知Y的前提下使目标函数最小：

$\underset{D,X}{min}{\left\{\right||Y-DX|{|}_2^2\}}_{s,t}\&ForAll;i,\left|\right|x_i|{|}_0<T_0,i=1,2,3...,N;$

稀疏分解过程使用OMP算法将每个样本光谱按下式逐一求解其稀疏表示系数，

$\underset{x_i}{\min }{\left\{\right||y_i-{\mathrm{Dx}}_i|{|}_2^2\}}_{s,t}\&ForAll;i,\left|\right|x_i|{|}_0<T_0,i=1,2,3...,N;$

字典更新过程每次只更新字典中的一个原子，其他原子及对应稀疏表示系数固定，此时目标函数的惩罚项变成下式所示：

$\left|\right|Y-DX|{|}_2^2=||Y-\underset{j=1}{\overset{K}{\&Sigma;}}{d}_j{x}_T^j|{|}_2^2=\left|\right|(Y-\underset{j\&NotEqual;k}{\&Sigma;}{d}_j{x}_T^j)-d_k{x}_T^k|{|}_2^2=||E_k-d_k{x}_T^k|{|}_2^2$

其中表示去掉第k个原子d_k后系数表示的误差；

定义为所有光谱样本{y_i}在稀疏分解时用到原子d_k的索引群，定义Ω_k为N×|ω_k|矩阵，在(ω_k(i),i)处值为1，其他都为0；

定义三者分别为去零收缩后结果，进一步转化为：

$\left|\right|E_k{\mathrm{\&Omega;}}_k-d_k{x}_T^k{\mathrm{\&Omega;}}_k|{|}_2^2=||E_R^k-d_k{x}_R^k|{|}_2^2$

将进行奇异值分解，则取U的第一列作为新的原子d'_k，取V的第一列和Δ(1,1)乘积作为新的系数矢量

不断重复稀疏分解和字典更新两个步骤，直到满足迭代次数或稀疏表示误差达到停止条件。

所述的构建BP神经网络分类模型包括以下步骤：

根据训练样本土壤数据的稀疏字典及训练样本集数据获取样本的稀疏表示特征；

确定BP神经网络的输入层、隐含层及输出层节点的数目；

激活函数采用Sigmoid函数，初始化网络权重参数；

根据输入特征不断修正网络参数，直至达到结束条件，获得分类模型。

有益效果

本发明的一种基于稀疏表示及BP神经网络技术的土壤近红外光谱分析方法，与现有技术相比基于稀疏表示及BP神经网络框架来进行土壤近红外光谱分析预测，提高了近红外光谱土壤主要成分预测的精度和模型的鲁棒性。

附图说明

图1为本发明的顺序流程图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于稀疏表示及BP神经网络技术的土壤近红外光谱分析方法，包括以下步骤：

第一步，训练样本土壤集的获取和预处理。使用光谱仪采集不同训练土壤样本集的光谱数据，对其进行预处理，形成训练样本土壤集的光谱特征矩阵。其具体包括以下步骤：

(1)使用光谱仪采集不同训练土壤样本集的光谱数据，对各训练样本土壤分别扫描40次取平均值。可以采用ASD公司的FieldSpec Pro FR光谱仪获取不同训练土壤样本集的光谱数据，波长范围350～2500nm，采样间隔2nm，为了避免在测量过程中由于自然光造成的影响，整个光谱检测是在密封的暗室内进行的，对各训练样本土壤分别扫描40次取平均值。

(2)对光谱数据进行平滑处理。分析土壤反射光谱发现，光谱曲线并不是光滑的，这说明光谱数据带有噪声，引起的原因有样品不均匀，暗电流和外界环境引影响等，因而需对光谱数据进行平滑处理。数据平滑的基本思路是在平滑点的前后各取若干点来进行“平均”或“拟合”以求得平滑点的最佳估计值。移动平均(Moving average)是一种经典的平滑方法，替换每个相邻的观测对象(包括其本身)作为一个平均值，观测的数量大小是用户选择的“段大小”为参数。

(3)对光谱数据进行多元散射校正处理。多元散射校正(Multiplicative ScatterCorrection,MSC)提供了一种减弱由光在不均勾性样本表面散射引起较大光谱变化差异的特殊光谱变换方法。MSC是一种常用的光谱数据变换方法,用于补偿光谱数据的分散效果，减少基线漂移情况的发生。在多元散射校正对话框中选择样本和变量集矩阵大小以确定校正的数据范围领域。

多元散射校正方法目的是为了补偿或者消除光谱数据的分散效果,校正光谱基线漂移，校正过程如下：

A、平均光谱

${\stackrel{\&OverBar;}{A}}_j=\frac{1}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{A}_{ij}$

其中j为波长位置，n为样本数；

B、线性回归

$A_i=a_i\stackrel{\&OverBar;}{A}+b_i,i=1,2,...,n;$

C、MSC校正

${\hat{A}}_i=\frac{A_i-b_i}{a_i},i=1,2,\mathrm{...},n;$

式中，A是校正集的光谱矩阵，是第j个波长处的光谱平均值，为第i个样本散射校正后得到的光谱，a_i和b_i是第i个光谱A_i与平均光谱的线性问归参数。光谱矩阵A应该为原始光谱反射率或透射率经过log(I/R)或Kubelka-Munk变换后得到的光谱数据。

(4)对光谱数据进行归一化处理，构成训练样本集的光谱特征矩阵。标准正态变量(Standard Normal Variate，SNV)是一种面向行的数学转换函数，在原始光谱数据基础上被变换的新值根据以下公式计算：

新值(New value)＝(现值(Old value)-均值(mean value))/标准方差(STDEV)。由于土壤颗粒大小不一，投射到土壤表面的光发生散射，引起光谱误差，SNV可以消除因土壤颗粒大小引起的光程变化和校正土壤基线漂移。

经过上述预处理最终构成训练样本土壤集的光谱特征矩阵。

第二步，构造训练样本土壤数据的稀疏字典并获取训练样本的特征向量，构造出训练样本土壤数据的稀疏字典后，输入训练样本土壤集的光谱特征矩阵即可获得训练样本的特征向量。在此构造训练样本土壤数据的稀疏字典采用以下步骤进行：

(1)采用K均值奇异值分解算法利用训练样本土壤数据训练出适应其稀疏分解的稀疏字典D＝[d₁d₂…d_k]；

设Y为光谱数据矩阵，其每一列代表一个光谱样本，共计N个样本，利用K-SVD算法在已知Y的前提下使目标函数最小：

$\underset{D,X}{min}{\left\{\right||Y-DX|{|}_2^2\}}_{s,t}\&ForAll;i,\left|\right|x_i|{|}_0<T_0,i=1,2,3...,N.$

在此K-SVD算法的每一次训练过程包括稀疏分解和字典更新两个过程。

(2)稀疏分解过程使用OMP算法将每个样本光谱按下式逐一求解其稀疏表示系数，

$\underset{x_i}{\min }{\left\{\right||y_i-{\mathrm{Dx}}_i|{|}_2^2\}}_{s,t}\&ForAll;i,\left|\right|x_i|{|}_0<T_0,i=1,2,3...,N.$

(3)字典更新过程每次只更新字典中的一个原子，其他原子及对应稀疏表示系数固定，此时目标函数的惩罚项变成下式所示：

$\left|\right|Y-DX|{|}_2^2=||Y-\underset{j=1}{\overset{K}{\&Sigma;}}{d}_j{x}_T^j|{|}_2^2=\left|\right|(Y-\underset{j\&NotEqual;k}{\&Sigma;}{d}_j{x}_T^j)-d_k{x}_T^k|{|}_2^2=||E_k-d_k{x}_T^k|{|}_2^2$

其中表示去掉第k个原子d_k后系数表示的误差。

(4)定义为所有光谱样本{y_i}在稀疏分解时用到原子d_k的索引群，定义Ω_k为N×|ω_k|矩阵，在(ω_k(i),i)处值为1，其他都为0。

定义三者分别为去零收缩后结果，进一步转化为：

$\left|\right|E_k{\mathrm{\&Omega;}}_k-d_k{x}_T^k{\mathrm{\&Omega;}}_k|{|}_2^2=||E_R^k-d_k{x}_R^k|{|}_2^2$

将进行奇异值分解，则取U的第一列作为新的原子d'_k，取V的第一列和Δ(1,1)乘积作为新的系数矢量

(5)不断重复稀疏分解和字典更新两个步骤，直到满足迭代次数或稀疏表示误差达到停止条件。

第三步，将训练样本的特征向量作为BP神经网络的输入，训练网络参数，构建BP神经网络分类模型。其中，构建BP神经网络分类模型包括以下步骤：

(1)根据训练样本土壤数据的稀疏字典及训练样本集数据获取样本的稀疏表示特征。

(2)确定BP神经网络的输入层、隐含层及输出层节点的数目。

(3)激活函数采用Sigmoid函数，初始化网络权重参数。

(4)根据输入特征不断修正网络参数，直至达到结束条件，获得分类模型。

第四步，测试样本土壤集的获取和预处理。前步骤中已通过训练样本对相关参数、环境进行分类、分析和学习，使用光谱仪采集测试土壤样本的光谱数据，对测试样本土壤扫描40次取平均值。对测试样本土壤采用与训练样本相同的光谱数据预处理方法，得到测试土壤样本的光谱数据。

第五步，利用训练样本土壤数据的稀疏字典构造测试样本的特征向量，利用训练好的BP神经网络分类模型完成对测试样本土壤成分的分类预测。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (4)

1.一种基于稀疏表示及BP神经网络技术的土壤近红外光谱分析方法，其特征在于，包括以下步骤：

11)训练样本土壤集的获取和预处理；使用光谱仪采集不同训练土壤样本集的光谱数据，对其进行预处理，形成训练样本土壤集的光谱特征矩阵；

12)构造训练样本土壤数据的稀疏字典并获取训练样本的特征向量；

13)将训练样本的特征向量作为BP神经网络的输入，训练网络参数，构建BP神经网络分类模型；

14)测试样本土壤集的获取和预处理；使用光谱仪采集测试土壤样本的光谱数据，对测试样本土壤扫描40次取平均值；对测试样本土壤采用与训练样本相同的光谱数据预处理方法，得到测试土壤样本的光谱数据；

15)利用训练样本土壤数据的稀疏字典构造测试样本的特征向量，利用训练好的BP神经网络分类模型完成对测试样本土壤成分的分类预测。

2.根据权利要求1所述的一种基于稀疏表示及BP神经网络技术的土壤近红外光谱分析方法，其特征在于，所述的训练样本土壤集的获取和预处理包括以下步骤：

21)使用光谱仪采集不同训练土壤样本集的光谱数据，对各训练样本土壤分别扫描40次取平均值；

22)对光谱数据进行平滑处理；

23)对光谱数据进行多元散射校正处理；

24)对光谱数据进行归一化处理，构成训练样本集的光谱特征矩阵。

3.根据权利要求1所述的一种基于稀疏表示及BP神经网络技术的土壤近红外光谱分析方法，其特征在于，所述的构造训练样本土壤数据的稀疏字典包括以下步骤：

31)采用K均值奇异值分解算法利用训练样本土壤数据训练出适应其稀疏分解的稀疏字典D＝[d₁d₂…d_k]；

设Y为光谱数据矩阵，其每一列代表一个光谱样本，共计N个样本，利用K-SVD算法在已知Y的前提下使目标函数最小：

$\underset{D,X}{\min }{\left\{\right||Y-DX|{|}_2^2\}}_{s,t}\&ForAll;i,\left|\right|x_i|{|}_0<T_0,i=1,2,\mathrm{3...},N;$

32)稀疏分解过程使用OMP算法将每个样本光谱按下式逐一求解其稀疏表示系数，

$\underset{x_i}{\min }{\left\{\right||y_i-{\mathrm{Dx}}_i|{|}_2^2\}}_{s,t}\&ForAll;i,\left|\right|x_i|{|}_0<T_0,i=1,2,\mathrm{3...},N;$

33)字典更新过程每次只更新字典中的一个原子，其他原子及对应稀疏表示系数固定，此时目标函数的惩罚项变成下式所示：

$\left|\right|Y-DX|{|}_2^2=||Y-\underset{j=1}{\overset{K}{\&Sigma;}}{d}_j{x}_T^j|{|}_2^2=\left|\right|(Y-\underset{j\&NotEqual;k}{\&Sigma;}{d}_j{x}_T^j)-d_k{x}_T^k|{|}_2^2=||E_k-d_k{x}_T^k|{|}_2^2$

其中表示去掉第k个原子d_k后系数表示的误差；

34)定义为所有光谱样本{y_i}在稀疏分解时用到原子d_k的索引群，定义Ω_k为N×|ω_k|矩阵，在(ω_k(i),i)处值为1，其他都为0；

定义三者分别为去零收缩后结果，进一步转化为：

$\left|\right|E_k{\mathrm{\&Omega;}}_k-d_k{x}_T^k{\mathrm{\&Omega;}}_k|{|}_2^2=||E_R^k-d_k{x}_R^k|{|}_2^2$

将进行奇异值分解，则取U的第一列作为新的原子d'_k，取V的第一列和Δ(1,1)乘积作为新的系数矢量

35)不断重复稀疏分解和字典更新两个步骤，直到满足迭代次数或稀疏表示误差达到停止条件。

4.根据权利要求1所述的一种基于稀疏表示及BP神经网络技术的土壤近红外光谱分析方法，其特征在于，所述的构建BP神经网络分类模型包括以下步骤：

41)根据训练样本土壤数据的稀疏字典及训练样本集数据获取样本的稀疏表示特征；

42)确定BP神经网络的输入层、隐含层及输出层节点的数目；

43)激活函数采用Sigmoid函数，初始化网络权重参数；

44)根据输入特征不断修正网络参数，直至达到结束条件，获得分类模型。