CN109946241A

CN109946241A - 一种基于高光谱计算成像系统的土壤分类方法

Info

Publication number: CN109946241A
Application number: CN201910184983.1A
Authority: CN
Inventors: 许廷发; 余越; 申子宜; 张宇寒; 王茜; 徐畅; 樊阿馨
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2019-03-12
Filing date: 2019-03-12
Publication date: 2019-06-28

Abstract

本发明公开了一种基于高光谱计算成像系统的土壤分类方法。使用本发明能够实现不同类型土壤的快速精确分类。本发明基于LCTF的高光谱计算成像系统进行土壤分类，通过测量土壤图像的压缩测量值并利用压缩感知理论进行原始光谱图像的重构，提升土壤光谱图像的光谱分辨率；然后，利用光谱差异理论，以每个土壤样本与所有土壤类型之间的光谱差异作为输入特征，增强不同土壤类型之间的差异性；最后采用3D‑CNN进行分类，同时利用土壤光谱图像空间和光谱信息，发挥光谱图像的优势；并利用特征降维算法在最大程度保留原始光谱信息的同时降低光谱维度，提升训练效率，突出土壤的类型特征，提升分类精度。

Description

一种基于高光谱计算成像系统的土壤分类方法

技术领域

本发明涉及土壤分类技术领域，具体涉及一种基于高光谱计算成像系统的土壤分类方法，利用深度学习方法对基于液晶可调谐滤波器(Liquid Crystal Tunable Filter，LCTF)高光谱计算成像系统采集的土壤样本进行分类。

背景技术

土壤分类可以根据土壤性质和特征来区分土壤类型，土壤分类在土壤资源评价中起着重要作用，为提高土壤肥力和促进农业技术提供了科学依据。因为不同类型的土壤具有不同的反射光谱特征，利用光谱技术可以进行土壤分类。可见光-近红外光谱仪具有快速有效的优点，因此广泛应用于土壤分类中。然而，光谱仪只能提供土壤的光谱信息，高光谱成像技术由于可以在提供连续光谱信息的同时提供空间纹理信息，在土壤分类中比光谱具有更大的优势。压缩感知(Compressive Sensing，CS)理论的出现为高维信号采集带来新的方法，它可以以远低于奈奎斯特(Nyquist)采样速率采样信号，并通过重构算法对信号进行重构。高光谱计算成像系统可以同时提升光谱图像的空间和光谱分辨率，基于压缩感知的高光谱计算成像系统为土壤分类提供了新思路。

传统的土壤分类方法包括支持向量机(Support Vector Machine，SVM)，光谱角度制图法(Spectral Angle Mapping，SAM)，多元逻辑回归(Multinomial LogisticRegression，MLR)，决策树(Decision Tree，DT)。此外，灰度共生矩阵(Gray-Level Co-occurrence Matrix，GLCM)方法可以在空间维度中提取土壤的纹理信息。近年来，随着卷积神经网络(Convolutional Neural Networks，CNN)的发展，基于CNN的高光谱图像分类在分类性能上取得了突破。CNN方法主要应用于利用高光谱遥感技术对土地覆盖类型进行分类。CNN高光谱图像分类方法可以基于CNN结构分为三种类型：一维CNN(1D-CNN)分类方法，二维CNN(2D-CNN)分类方法和三维CNN(3D-CNN)分类方法。1D-CNN分类方法仅使用光谱图像的光谱信息；2D-CNN分类方法用于提取高光谱图像的空间特征。由于高光谱图像具有许多连续光谱带，因此通常在2D-CNN特征提取之前降低光谱维度，这样可以在保留原始光谱信息的同时提高分类效率；3D-CNN分类方法充分利用了高光谱图像的空间特征和光谱特征，有利于提高分类精度。然而，不同土壤类型之间光谱差异较小，如何突出不同土壤类型之间的特征差异性同时提升分类精度是急需要解决的问题。

发明内容

有鉴于此，本发明提供了一种基于高光谱计算成像系统的土壤分类方法，能够体现不同类型土壤的特征差异性，实现不同类型土壤的快速精确分类。

本发明的基于高光谱计算成像系统的土壤分类方法，包括如下步骤：

步骤1，利用基于LCTF的高光谱计算系统采集不同类型土壤样本的光谱图像；其中，基于LCTF的高光谱计算系统包括一个光源、一个LCTF、一个成像透镜和一个CMOS面阵探测器；针对各类型土壤样本，从土壤样本发射的光通过LCTF和成像透镜会聚在CMOS面阵探测器上，采集土壤样本在不同波长下的光谱图像；

步骤2，利用压缩感知理论重构对应土壤样本的高光谱图像；

步骤3，将重构后的所有类型土壤样本的高光谱图像的数据表示为一个两维矩阵A，其中一维为土壤样本，另一维为波段；

步骤4，将矩阵A中的每一个像素的光谱向量与每种类型土壤所有训练集像素的平均光谱向量进行差运算，得到光谱差异矩阵D；

步骤5，利用线性降维方法对光谱差异矩阵D进行降维；其中，线性降维在降维前不进行去均值操作，直接对D的数据进行降维；

步骤6，构建3D-CNN网络，利用步骤5获得的降维后的数据对3D-CNN网络进行训练，得到训练好的3D-CNN网络；

步骤7，采用步骤1～5同样的方法，获得待分类土壤的光谱差异矩阵并进行降维，将降维后的数据输入步骤6训练好的3D-CNN网络，实现土壤分类。

进一步的，所述基于LCTF的高光谱计算系统还包括一个DMD和一个成像透镜；从土壤发射的光通过LCTF和成像透镜，成像到DMD上；经过DMD空间编码后的光谱图像通过另一个成像透镜会聚在CMOS面阵探测器上；高光谱计算系统的传递矩阵为DMD编码孔径的空间传递矩阵和LCTF透过率矩阵的克罗内克积。

进一步的，所述步骤5中，所述线性降维方法选用改进PCA法，在降维前不进行去均值操作，具体降维过程如下：

a)计算矩阵D的Σ矩阵，其中h_i＝(h_i1,h_i2,...,h_in)代表第i个样本的n个特征，一共有m个样本，提取Σ矩阵的特征值和特征向量；

b)将特征值按照从大到小排序，选择前S个最大特征值对应的特征向量构成投影矩阵；

c)将矩阵D投影到b)的投影矩阵上，实现降维。

进一步的，所述3D-CNN包含三个卷积层、三个激活层、两个池化层、一个全连接层和一个Softmax分类层。

进一步的，所述步骤6中，使用反向传播算法训练所有层，利用随机梯度下降算法来最小化损失函数。

有益效果：

本发明基于LCTF的高光谱计算成像系统进行土壤分类，通过测量土壤图像的压缩测量值并利用压缩感知理论进行原始光谱图像的重构，提升土壤光谱图像的光谱分辨率；同时，本发明考虑到不同土壤类型之间存在共性和差异性，在分类时利用光谱差异理论，使用每个土壤样本与所有土壤类型之间的光谱差异作为输入特征，增加了样本的特征维度；最后将3D-CNN与特征降维相结合，实现快速精确分类。3D-CNN可以同时利用土壤光谱图像空间和光谱信息，发挥光谱图像的优势。由于高光谱图像具有光谱维度多的特点，特征降维算法可以在最大程度保留原始光谱信息的同时降低光谱维度，提升训练效率，突出土壤的类型特征，提升分类精度。因此，本发明的分类方法具有分类精度高，训练速度快的优点。

附图说明

图1为基于LCTF的土壤分类高光谱计算成像系统图。

图2为基于光谱差异性和主成分分析降维方法的土壤分类流程图。

图3为3D-CNN网络结构图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于高光谱计算成像系统的土壤分类方法，利用基于LCTF的高光谱计算成像系统采集不同土壤类型的压缩测量值。LCTF用于调制光谱图像的光谱维度，通过调节LCTF的中心波长得到不同通道下的光谱图像。经过LCTF滤波的光谱图像是在中心波长附近窄带范围内的多光谱图像。利用压缩感知理论可以重构土壤高光谱图像，提高土壤光谱图像的光谱分辨率。然后利用3D-CNN方法对重构高光谱图像中土壤类型进行分类，充分体现土壤空间维度和光谱维度的特征。同时，本发明考虑到不同土壤类型之间存在共性和差异性光谱差异，利用光谱差异理论，以土壤训练样本与所有土壤类型之间的光谱差异作为输入特征，避免传统高光谱分类只考虑单一类型的特征，无法体现不同类型土壤的特征差异性的问题。

本发明的技术方案如下：

步骤1，利用基于LCTF的高光谱计算系统采集不同土壤类型的压缩测量值：

所述基于LCTF的高光谱计算系统包括一个光源、一个LCTF、一个成像透镜和一个CMOS(Complementary Metal Oxide Semiconductor)面阵探测器，土壤样本置于固定平台上。从土壤样本发射的光通过LCTF，第一成像透镜会聚在CMOS面阵探测器上。LCTF用于调制光谱图像的光谱维度，通过调节LCTF的中心波长得到不同通道下的光谱图像，经过LCTF滤波的光谱图像是在中心波长附近窄带范围内的多光谱图像。

利用基于LCTF的高光谱计算成像系统分别采集不同类型土壤的压缩测量值，利用压缩感知理论重构土壤高光谱图像。

以区分红壤、砖红壤、水稻土、紫色土和黑钙土五种类型的土壤为例，在采集阶段，每种类型的土壤被分为两组，一组用于训练数据集，一组用于测试数据集，每种土壤类型独立成像。利用基于LCTF的高光谱计算成像系统采集LCTF在不同光谱通道下光谱图像，通过光谱序列扫描得到每种土壤的在一定波长范围内的压缩测量值。本实施例中，LCTF的波长范围为500nm～710nm，扫描步长为10nm。

为了在提升光谱图像光谱分辨率的同时提升图像空间分辨率，还可以在上述计算成像系统中增加一个数字微镜阵列(Digital Micromirror Device，DMD)，通过在DMD上加载编码孔径图案实现空间调制。DMD由一系列可驱动的微小镜面组成，通过控制微镜片的角度可以实现0/1编码调制。如图1所示，从土壤样本发射的光通过LCTF和第一成像透镜，成像到DMD上；经过DMD空间编码后的光谱图像通过第二成像透镜会聚在CMOS面阵探测器上。利用DMD可以以多次的低分辨率图像重构出高分辨率图像，降低成本。本实施例中，DMD上编码孔径图案的尺寸为280×280，通过将8×8的像素压缩为一个像素可以在CMOS上可以得到35×35大小的压缩测量值。将DMD上编码孔径图案变换25次，LCTF在每个编码孔径图案处变换22次波长以完成光谱序列的采集，从而得到高光谱分辨率、高空间分辨率的光谱图像。

步骤2，利用压缩感知理论重构光谱图像：

在重构部分，基于压缩感知理论在稀疏假设下重构土壤高光谱图像。g表示压缩测量值的向量形式，f表示原始高光谱数据的向量形式，Φ表示成像系统的传递矩阵，本发明的系统可以用数学表示为g＝Φf

其中，Φ包含LCTF和DMD的共同影响，可以表示为

其中表示克罗内克积，Φ_xy表示DMD编码孔径的空间传递矩阵，Φ_λ表示LCTF透过率矩阵。若系统仅包含LCTF，则Φ_xy＝[1]。

利用稀疏假设从少量的压缩测量中重构原始高光谱数据，高光谱数据在特定的一些基上可以稀疏表示为f＝Ψθ

其中Ψ表示稀疏基，θ表示对应的系数稀疏向量。考虑到探测器上测量噪声，因此可以得到

g＝ΦΨθ+ω＝Aθ+ω

其中ω表示噪声向量。通过求解下式l₁范数最小化问题可以重构原始光谱图像。

其中ε表示噪声最大量级，重构后土壤高光谱图像的波段数表示为n。本实施例中，由于LCTF的透射率函数的离散精度为1.24nm，重构后光谱分辨率为1.24nm。因此，重构的高光谱图像包括在500nm～710nm波长范围内170个波段的光谱数据，重构图像的空间大小为280×280。

步骤3，将重构后高光谱土壤训练集数据表示为两维矩阵形式：

假设所有训练集像素的光谱矩阵为A∈R^m×n，其中m表示所有土壤类型像素的数目，n表示波段的数量，其中第i个像素的光谱向量为a_i＝(a_i1,a_i2,...,a_in)。

步骤4，基于光谱差异性理论增加每个像素的光谱特征数目：

光谱差异性是将每个像素点的光谱向量与每种类型土壤的平均光谱向量进行差运算。假设一共有p种土壤类型，根据土壤类型划分A为p个矩阵，表示为A＝[C₁,C₂,...,C_p]^T，其中C_k表示第k种土壤的光谱矩阵。不同类型土壤训练数据集像素的平均光谱矩阵是其中表示第k种土壤类型训练数据集像素的平均光谱向量。

第i个像素点光谱向量减去第k种土壤平均光谱向量后的光谱差向量为每个像素分别与每种类型土壤进行光谱差运算，因此每个像素有n×p个光谱差异特征，增加了特征数量。第i个像素光谱差异向量为d_i＝(d_i1,d_i2,...,d_ip)，所有像素光谱差异矩阵为D＝[D₁,D₂,...,D_p]，其中D_k表示所有像素点减去第k种土壤平均光谱向量后的光谱差异矩阵。

本实施例中p＝5，n＝170，则A＝[C₁,C₂,C₃.C₄,C₅]^T，不同类型土壤训练数据集像素的平均光谱向量是其中

第i个像素点光谱向量减去第k种土壤平均光谱向量后的光谱差向量d_ik为：

每个像素分别与五种类型土壤进行光谱差运算，因此每个像素有850个光谱差异特征。第i个像素光谱差异向量为d_i＝(d_i1,d_i2,d_i3,d_i4,d_i5)，所有像素光谱差异矩阵为D＝[D₁,D₂,D₃,D₄,D₅]。

步骤5，利用线性降维方法对各像素光谱差异特征进行数据降维：

利用光谱差异性的方法可以增加特征数量，然而特征数量的增加降低了训练效率。高光谱图像有许多连续的光谱波段，在光谱维度进行降维可以在保留原始光谱信息的同时减少光谱特征的数量。降维方法可分为线性方法和非线性方法。本发明选择线性降维方法来减小D_k(k＝1,2,...p)的维数，因为线性降维方法可以更好地保留土壤的空间特征。但在现有一些线性降维方法中，如PCA(Principal Components Analysis，主成分分析)理论、ICA(Independent Component Analysis，独立成分分析)理论等，其在降维前会有一个对各个特征进行特征去均值的操作，即先对各特征进行去均值操作，然后再进行降维；由于本发明的光谱差异矩阵D进行特征去均值操作后得到的p个矩阵是完全相同的，在低维空间中降维后的p个矩阵也完全相同，因此本步骤中，不进行降维前的去均值操作，改为对原始数据直接进行降维。d表示每个矩阵降维后的特征数目，因此降维后每个像素点一共有p×d个特征，用矩阵E表示降维后所有训练集像素的p×d个特征。第i个样本的输入层为e_i，表示第i个像素l×l空间邻域内p×d个降维后的光谱特征。本实施例中，l选取3～7。

PCA是一种典型的非监督线性降维方法，它的理论基础为低维空间中样本之间的方差最大，本实施例采用PCA线性降维方法，但本发明并不限于PCA降维方法，只要是线性降维方法均可。

假设PCA降维的输入数据是二维的，一维表示样本，一维表示样本特征。PCA方法首先对每个特征进行去均值处理，然后计算协方差矩阵并得到矩阵的特征值和特征向量。将特征值按照从大到小排序，选择S个最大特征值对应的特征向量构成投影矩阵，通过将去均值处理后的数据投影到选定的特征向量上可以实现特征降维。其中S的大小根据需要保留的主成分信息占原始信息的比例确定。

D₁，D₂，D₃，D₄和D₅矩阵分别是PCA降维的输入数据。如果对每个特征进行去均值操作，去均值后五个矩阵是完全相同的，在低维空间中五个降维后的矩阵也完全相同。因此，本发明在降维操作中对PCA方法进行改进。PCA方法仅考虑特征的方差特征，而不考虑平均特征。然而，在本发明中特征的大小代表不同土壤类型的光谱反射差异性。因此我们的目标是在不进行去均值过程的情况下找到最佳投影方向，从而使样本之间的方差在低维空间中最大。

假设h_i＝(h_i1,h_i2,...,h_in)代表第i个样本的n个特征，一共有m个样本。u＝(u₁,u₂,...,u_n)表示投影方向向量的单位向量。h_i投影后的数据为h_iu^T，因此投影后样本之间的方差可以用下式表示：

其中，上标T表示转置。

由于u是单位行向量，因此下式成立：

uu^T＝1

假设则构造拉格朗日函数：

f(μ)＝μ∑μ^T+λ(1-μμ^T)

从上面的公式推导可知，当导数为零时可以得到最优解，可以表示为：

Σμ^T＝λμ^T

在最优解的情况下，求得样本之间最大方差为λ。对于矩阵Σ，对应于最大特征值的特征向量是最佳投影方向。

改进的PCA方法在不进行去均值操作的情况下计算矩阵Σ并求得矩阵的特征值和特征向量，将特征值按照从大到小排序，选择S个最大特征值对应的特征向量构成投影矩阵。通过将输入数据投影到选定的特征向量上来实现降维。

本发明使用改进的PCA方法来减小D₁,D₂,D₃,D₄和D₅的维数。为了保留至少99.9％的原始光谱信息，本发明分别保留了五个矩阵前14个主成分分量，因此降维后每个像素点一共有70个特征，用矩阵E表示降维后所有训练集像素的70个特征。本实施例的土壤分类考虑每一个像素5×5空间领域内的光谱向量。第i个样本的输入层为e_i∈R^5×5×70，表示第i个像素5×5空间邻域内的70个光谱主成分分量。

步骤6，将经过光谱差异理论和特征降维理论后的数据送入3D-CNN中进行训练：

本实施例中每一个训练样本的输入层维度为5×5×70，用于分类的卷积神经网络一般由卷积层，激活层，池化层，全连接层和归一化指数(Softmax)分类层组成。本实施例中3D-CNN包含三个卷积层，三个激活层，两个池化层，一个全连接层和一个Softmax分类层，3D-CNN结构图如图3所示。

卷积层用于提取土壤的特征，为了增加卷积神经网络的非线性表达，在卷积层后增加线性整流函数(Rectified Liner Units，Relu)激活层，池化层用于减少前面层输出特征的尺寸，全连接层对前面层得到的特征进行整合。全连接层的输出连接到Softmax分类器以获得不同类型土壤的概率。在Softmax分类器之后选择对数损失函数，该函数计算土壤预测标签和土壤真实标签之间的误差，网络训练的目标是尽量减少损失函数。本发明使用反向传播算法训练所有层，利用随机梯度下降(SGD)算法来最小化损失函数。当经过一定的训练周期后，损失函数收敛，此时可以停止网络的训练。

本实施例中第一卷积层的卷积核大小为3×3×27，步长设置为1，并在空间维度进行零填充操作，输出特征图数目为20；第一池化层为最大池化层，下采样区域的大小为2×2×2，空间维度步长设置为1，光谱维度步长设置为2；第二卷积层卷积核大小为3×3×13,步长设置为1，并在空间维度进行零填充操作，输出特征图数目为50；第二池化层为最大池化层，下采样区域的大小为2×2×2，步长设置为2；第三卷积层卷积核大小为2×2×5，步长设置为1，输出特征数目为500。网络训练的学习率设定为0.0001，批处理大小设定为100。五种土壤一共用32000个训练集，12500个测试集。

步骤7，将测试数据集输入到训练好的网络中进行土壤的分类。

将测试数据集采用同样的方法获得光谱差异矩阵并进行降维处理，其中，在光谱差异矩阵计算时采用测试集各像素点光谱向量减去训练集中每种类型土壤的平均光谱向量，降维时直接利用训练集的降维矩阵进行降维；最后将降维处理后的数据输入到训练好的3D-CNN网络中进行土壤的分类，测试土壤分类的正确性并与其它方法进行对比。

利用测试数据集对于土壤分类正确性进行测试，并将本发明的正确性和1D-CNN，3D-CNN方法进行对比。1D-CNN方法不考虑土壤的空间特征，对于训练集每一个像素减去训练集所有像素的平均光谱向量，网络输入层为每一个像素170个光谱向量，输入层维度为1×170，之后利用1D-CNN网络进行训练；3D-CNN方法对于训练集每一个像素减去训练集所有像素的平均光谱向量，输入层为每一个像素5×5空间邻域内170个光谱向量，输入层维度为5×5×170，之后利用3D-CNN网络进行训练。本实施例采用正确性，AUC(Area UnderCurve)，对数损失函数作为评价指标，表1为三种分类方法分类性能的对比。其中本发明方法简写为3D-CNN-SD-PCA，从中可以看出使用3D-CNN-SD-PCA方法可以获得最高的正确性，最高的AUC数值和最低的对数损失函数，因此本发明方法可以获得最好的分类性能。

表1不同方法分类性能对比

方法	1D-CNN	3D-CNN	3D-CNN-SD-PCA
				正确性(％)	93.152	97.368	99.592
AUC	0.9954	0.9990	0.9999
				对数损失函数	0.2117	0.075	0.0215

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于高光谱计算成像系统的土壤分类方法，其特征在于，包括如下步骤：

步骤2，利用压缩感知理论重构对应土壤样本的高光谱图像；

2.如权利要求1所述的基于高光谱计算成像系统的土壤分类方法，其特征在于，所述基于LCTF的高光谱计算系统还包括一个DMD和一个成像透镜；从土壤发射的光通过LCTF和成像透镜，成像到DMD上；经过DMD空间编码后的光谱图像通过另一个成像透镜会聚在CMOS面阵探测器上；高光谱计算系统的传递矩阵为DMD编码孔径的空间传递矩阵和LCTF透过率矩阵的克罗内克积。

3.如权利要求1所述的基于高光谱计算成像系统的土壤分类方法，其特征在于，所述步骤5中，所述线性降维方法选用改进PCA法，在降维前不进行去均值操作，具体降维过程如下：

c)将矩阵D投影到b)的投影矩阵上，实现降维。

4.如权利要求1所述的基于高光谱计算成像系统的土壤分类方法，其特征在于，所述3D-CNN包含三个卷积层、三个激活层、两个池化层、一个全连接层和一个Softmax分类层。

5.如权利要求1或4所述的基于高光谱计算成像系统的土壤分类方法，其特征在于，所述步骤6中，使用反向传播算法训练所有层，利用随机梯度下降算法来最小化损失函数。