CN106023065A - 一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络的张量型高光谱图像光谱‑空间降维方法，首先，鉴于直接使用高波段的张量数据会使得深度卷积神经网络的参数空间大幅度增加，引入最大似然本征维估计算法和主成分分析对归一化高光谱图像的波段维进行降维，得到低波段的高光谱图像；然后，通过窗口领域，将低波段高光谱图像转化为张量型低波段高光谱图像，保持每个像素点的光谱和空间信息；最后，利用深度卷积神经网络对张量型低波段高光谱图像进行光谱‑空间降维，使得降维后的特征同时包括光谱信息和空间信息。本发明能有效地利用高光谱数据的光谱特征和空间领域特征获得较高的整体分类精度和Kappa系数。

Description

一种基于深度卷积神经网络的张量型高光谱图像光谱-空间 降维方法

技术领域

本发明属于高光谱遥感图像处理技术领域，具体涉及一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法。

背景技术

近年来，随着遥感技术的快速发展，获取高精度、高分辨率的遥感影像已经变得非常容易，高光谱影像传感器收集到的高光谱图像能够提供丰富的波段信息和空间信息，具有较强的地物判别能力，因此被广泛应用于环境监测、植被分类、农作物长势监测等领域。对高光谱遥感影像中的每个像素点进行分类是这些应用中常见的方法之一。近年来，机器学习领域中一些基于判别的方法由于其具有较强的处理高维、小样本数据的能力，而被成功应用到高光谱图像分类中，如多项式逻辑回归、支持向量机(Support Vector Machines，SVM)等。然而，丰富的波段信息存在大量的冗余，有研究表明，直接使用原始高维数据，不仅计算量极大，而且会降低分类精度。因此，如何有效降低高光谱图像的维数成为分类工作中的一个重要问题。常见的高光谱降维算法包括波段提取和波段选择。

直接由传感器获取的原始高光谱图像是以三维形式存储，包括两维的空间信息(宽度和高度)和一维的波段信息，在对这些原始高光谱图像进行降维和分类之前，一般先将其转化为向量型数据和张量型数据两种形式。早期的降维算法主要使用的是向量型数据，以高光谱图像为例，需要首先把三维的高光谱图像转化为一维的向量形式，再进行降维、分类，这种思路仅使用了高光谱图像的波段特征，而忽略了空间信息。典型的向量型降维算法包括主成分分析(PCA)、线性判别分析、局部保持投影等，尽管高光谱图像具有丰富的波段信息，能够在一定程度上对高光谱图像进行表示，但这种思路仍存在着固有的缺陷：1)这种思路是基于“相邻像素点相互独立”这一假设，而高光谱图像相邻像素点之间具有较强的相关性，故这一假设不成立；2)将三维的高光谱图像转化为一维的向量型数据会破坏图像内部的结构，从而导致信息的丢失；3)将高光谱图像向量化之后会导致“维数灾难”的问题等。针对这些问题，近年来，一些基于张量型数据的降维算法被相继提出，如多线性主成分分析，多线性判别分析等。

深度学习是目前机器学习领域最流行的研究方向之一，能够学习到数据的深层高级特征，具有比浅层算法更强大的非线性表示能力。如，栈式自动编码器凭借其多隐层的结构来挖掘数据的深层最优特征，深度卷积神经网络(DCNN)通过对局部区域进行多种滤波方式来学习强鲁棒性的特征等。使用深度学习方法提取到的特征，能够较大程度提高分类精度。近年来，已有一些学者将深度学习方法应用到高光谱图像分类中。如，Chen等分别使用深度信念网络和栈式自动编码器对高光谱图像进行特征提取并通过分类器进行分类，实验结果表明，相比浅层算法提取的特征，深度学习方法提取到的特征能够获得更高的分类精度。但这些思路使用的都是向量型数据。

DCNN作为深度学习方法中最典型的模型之一，具有：1)权值共享，所需训练的参数较少；2)相邻两层间的神经元局部连接，能够挖掘像素间的近邻关系；3)学习到的特征具有位移不变性等特点。被广泛应用于图像分类、行人检测、目标识别等领域。LeNet5为历史上首个成功训练的DCNN，并被成功应用到手写体数字识别中，并取得了较高的识别精度。Krizhevsky等沿用LeNet5的结构模式，并在其基础上对模型的层数及参数进行大规模增加，并通过引入新的激活函数和Dropout等技巧，利用ImageNet LSVRC-2010数据集成功训练了首个大规模DCNN。如何合理利用DCNN来对高光谱图像进行复杂的非线性映射，从而提取到深度特征，成为高光谱降维研究领域的一个重要问题。Hu等首次将DCNN引入高光谱图像分类任务中，但其工作是在向量型数据的基础上，采用1D的卷积模式，这种思路不仅没有考虑高光谱图像的空间信息，而且不能充分发挥DCNN的特征提取能力。Yue等使用2D-DCNN，同时考虑高光谱图像的空间信息和波段信息，提出一种基于DCNN的高光谱降维思路：分别计算高光谱图像的空间特征图和波段特征图，然后将两种特征图同时作为DCNN的输入数据，进行特征提取和分类，但是这种思路是将空间特征和波段特征分开处理。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于深度卷积神经网络的张量型高光谱图像降维算法，使得降维后的特征同时包括光谱信息和空间信息。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法，包括如下步骤：

步骤1，对原始高光谱图像进行归一化；

步骤2，用最大似然本征维估计算法计算归一化高光谱图像的波段本征维n；

步骤3，用主成分分析将归一化高光谱图像的波段数降至n，得到低波段高光谱图像；

步骤4，通过窗口领域，将低波段高光谱图像转化为张量型低波段高光谱图像Z；

步骤5，将Z划分成训练集Z_train与测试集Z_test；

步骤6，用训练集Z_train训练深度卷积神经网络，得到最优深度卷积神经网络模型DCNN_optimal；

步骤7，用最优深度卷积神经网络模型DCNN_optimal对训练集Z_train和测试集Z_test进行特征提取，得到原始高光谱图像的低维光谱-空间训练集特征z_train和测试集特征z_test；

步骤8，用训练集特征z_train及训练集标签Y_train训练支持向量机，得到分类器SVM_optimal；

步骤9，用分类器SVM_optimal对测试集特征z_test进行预测，得到预测标签Y_preidict。

进一步的，所述步骤1中，给定原始高光谱图像i＝1,2,…N，x_i表示第i个高光谱图像，其中m为原始高光谱图像的维数，N为原始高光谱图像的个数，归一化采用的计算方法为：

${x_i}^{\′}=\frac{x_i-\min (x_{i1},...,x_{ij},...,x_{im})}{\max (x_{i1},...,x_{ij},...,x_{im})-\min (x_{i1},...,x_{ij},...,x_{im})}$

式中，x_i′表示第i个归一化高光谱图像，x_ij表示第i个归一化高光谱图像中第j维的值，min(·)表示取最小值计算，max(·)表示取最大值计算；得到归一化高光谱图像

进一步的，所述步骤3中，给定归一化高光谱图像首先计算给定归一化高光谱图像的总体协方差矩阵S_cov：

$S_{\mathrm{cov}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}({x_i}^{\′}-{\stackrel{\‾}{x}}^{\′}){({x_i}^{\′}-{\stackrel{\‾}{x}}^{\′})}^T$

式中，表示归一化高光谱图像的均值；

主成分分析的目的是使得投影后的协方差最大化，则其目标函数为：

$\begin{array}{cc}\underset{W_{PCA}}{max}& {W_{PCA}}^T{S}_{\mathrm{cov}}{W}_{PCA}\end{array}$

s.t.W_PCA ^TW_PCA＝I

式中，W_PCA为特征投影矩阵，I为单位矩阵；假设λ为S_cov的秩，则：

S_cov＝λW_PCA；

设λ₁,λ₂,…,λ_n为上式中前n个最大特征值，对应的特征向量为w_PCA1,w_PCA2,…,w_PCAn，则采用主成分分析对归一化高光谱图像X′进行主成分特征提取，得到：

X″＝(w_PCA1,w_PCA2,…,w_PCAn)^TX′＝W_PCA ^TX′

式中，表示经过主成分分析后的低波段高光谱图像。

进一步的，所述步骤4中，张量型低波段高光谱图像采用以下三阶张量表示：

式中，F₁和F₂分别表示单一波段的高光谱图像的高度和宽度；针对高光谱图像的特点，选取目标像素四周近邻8个像素组成张量表示形式，张量型数据的标签为目标像素对应的标签，张量型低波段高光谱图像为：

式中，F₁＝F₂＝2b+1＝17，b＝8，1≤f₁≤F₁，1≤f₂≤F₂，f₁、f₂分别为F₁和F₂的序号索引。

进一步的，所述步骤5中，划分训练集Z_train与测试集Z_test，设人工给定的训练集样本个数占样本总数的比例为τ，在所有张量型低波段高光谱图像中，随机选取τN个张量型低波段高光谱图像作为训练集Z_train，(1-τ)N个张量型低波段高光谱图像作为测试集Z_test；N为原始高光谱图像的个数。

进一步的，所述步骤6中，利用训练集Z_train训练七层深度卷积神经网络，其中七层结构分别为：

第一层：输入层I1，深度卷积神经网络的输入数据为训练集Z_train和训练集标签Y_train；

第二层：卷积层C2，设定30个特征图，卷积核大小为4×4；

第三层：最大降采样层P3，设定降采样窗口大小为2×2，步长为2；

第四层：卷积层C4，设定30个特征图，卷积核大小为4×4；

第五层：最大降采样层P5，设定降采样窗口大小为2×2，步长为2；

第六层：卷积层C6，设定30个特征图，卷积核大小为2×2；

第七层：Soft-max层；

训练过程为：

步骤6.1，随机初始化卷积核W和偏置b，前向计算，得到实际输出值

步骤6.2，计算训练集输出标签与训练集标签Y_train的均方误差

步骤6.3，计算均方误差对卷积核W的梯度和均方误差对偏置b的梯度

步骤6.4，通过梯度下降算法调整卷积核和偏置，公式为：

$W^{*}=W-\mathrm{\α}\frac{\∂E}{\∂W}$

$b^{*}=b-\mathrm{\α}\frac{\∂E}{\∂b}$

式中，W^*和b^*分别表示调整更新后的卷积核和偏置，α为学习率；

步骤6.5，循环执行步骤6.2、6.3和6.4三个步骤10000次，得到最优深度卷积神经网络模型DCNN_optimal。

有益效果：本发明的一种基于深度卷积神经网络的张量型高光谱图像降维算法，鉴于直接使用高波段的张量数据会使卷积神经网络的参数空间大幅度增加，引入最大似然本征维估计(MLE)算法和主成分分析(PCA)对高光谱图像的波段维进行降维；然后，通过窗口领域将高光谱图像转化为张量形式，保持每个像素点的光谱和空间信息；最后，利用DCNN对张量型高光谱图像进行光谱-空间降维，使得降维后的特征同时包括光谱信息和空间信息。

本方法结合高光谱图像的张量表示和DCNN的优势，具有如下优点：(1)保持像素点光谱-空间领域信息。通过窗口领域能够很好的保持每个像素的原始空间位置及结构。(2)通过综合使用MLE和PCA降低高光谱图像的波段，从而减少原始高光谱图像中存在的波段冗余。(3)通过DCNN提取张量型高光谱图像的深层、高级、低维特征，使得到的特征具有更强的判别能力。(4)所提算法能有效地利用高光谱图像的空间领域特征和光谱特征获得较高的整体分类精度和Kappa系数。

附图说明

图1为基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法的流程图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1所示，一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法，首先，鉴于直接使用高波段的张量数据会使深度卷积神经网络的参数空间大幅度增加，引入最大似然本征维估计算法和主成分分析对高光谱图像的波段进行降维；然后，通过窗口领域将高光谱图像转化为张量形式，保持每个像素点的光谱和空间信息；最后，利用深度卷积神经网络对张量型高光谱图像进行光谱-空间降维，使得降维后的特征同时包括光谱信息和空间信息。具体步骤如下：

步骤1，对原始高光谱图像进行归一化：

给定原始高光谱图像i＝1,2,…N，x_i表示第i个高光谱图像，其中m为原始高光谱图像的维数，N为原始高光谱图像的个数，归一化采用的计算方法为：

${x_i}^{\′}=\frac{x_i-\min (x_{i1},...,x_{ij},...,x_{im})}{\max (x_{i1},...,x_{ij},...,x_{im})-\min (x_{i1},...,x_{ij},...,x_{im})}$

式中，x_i′表示第i个归一化高光谱图像，x_ij表示第i个归一化高光谱图像中第j维的值，min(·)表示取最小值计算，max(·)表示取最大值计算；得到归一化高光谱图像

步骤2，用最大似然本征维估计算法计算归一化高光谱图像X′的波段本征维n。

步骤3，用主成分分析将归一化高光谱图像X′的波段数降至n，得到低波段高光谱图像X″：

首先计算归一化高光谱图像X′的总体协方差矩阵S_cov：

$S_{\mathrm{cov}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}({x_i}^{\′}-{\stackrel{\‾}{x}}^{\′}){({x_i}^{\′}-{\stackrel{\‾}{x}}^{\′})}^T$

式中，表示归一化高光谱图像的均值；

主成分分析的目的是使得投影后的协方差最大化，则其目标函数为：

$\begin{array}{cc}\underset{W_{PCA}}{max}& {W_{PCA}}^T{S}_{\mathrm{cov}}{W}_{PCA}\end{array}$

s.t.W_PCA ^TW_PCA＝I

式中，W_PCA为特征投影矩阵，I为单位矩阵；约束条件W_PCA ^TW_PCA＝I的目的是防止协方差的无限增大；由于S_cov为非负定对称矩阵，由非负定矩阵的谱分解定理可知，假设λ为S_cov的秩，则：

S_cov＝λW_PCA；

设λ₁,λ₂,…,λ_n为上式中前n个最大特征值，对应的特征向量为w_PCA1,w_PCA2,…,w_PCAn，则采用主成分分析对归一化高光谱图像X′进行主成分特征提取得到：

X″＝(w_PCA1,w_PCA2,…,w_PCAn)^TX′＝W_PCA ^TX′

式中，表示经过主成分分析后的低波段高光谱图像。

步骤4，通过窗口领域，将低波段高光谱图像X″转化为张量型低波段高光谱图像Z：

张量型低波段高光谱图像采用以下三阶张量表示：

式中，F₁和F₂分别表示单一波段的高光谱图像的高度和宽度；针对高光谱图像的特点，选取目标像素四周近邻8个像素组成张量表示形式，张量型数据的标签为目标像素对应的标签，包括训练集标签和测试集标签；可以看出，这种表示方法可以同时包含高光谱图像的空间信息和光谱波段信息；张量型低波段高光谱图像为：

式中，F₁＝F₂＝2b+1＝17，b＝8，1≤f₁≤F₁，1≤f₂≤F₂，f₁、f₂分别为F₁和F₂的序号索引。

步骤5，将Z划分成训练集Z_train与测试集Z_test：

设人工给定的训练集样本个数占样本总数的比例为τ，在所有张量型低波段高光谱图像中，随机选取τN个张量型低波段高光谱图像作为训练集Z_train，(1-τ)N个张量型低波段高光谱图像作为测试集Z_test；N为原始高光谱图像的个数。

步骤6，用训练集Z_train训练深度卷积神经网络，得到最优深度卷积神经网络模型DCNN_optimal：

利用训练集Z_train训练七层深度卷积神经网络，其中七层结构分别为：

第一层：输入层I1，深度卷积神经网络的输入数据为训练集Z_train和训练集标签Y_train；

第二层：卷积层C2，设定30个特征图，卷积核大小为4×4；

第三层：最大降采样层P3，设定降采样窗口大小为2×2，步长为2；

第四层：卷积层C4，设定30个特征图，卷积核大小为4×4；

第五层：最大降采样层P5，设定降采样窗口大小为2×2，步长为2；

第六层：卷积层C6，设定30个特征图，卷积核大小为2×2；

第七层：Soft-max层；

训练过程为：

步骤6.1，随机初始化卷积核W和偏置b，前向计算，得到实际输出值

步骤6.2，计算训练集输出标签与训练集标签Y_train的均方误差

步骤6.3，计算均方误差对卷积核W的梯度和均方误差对偏置b的梯度

步骤6.4，通过梯度下降算法调整卷积核和偏置，公式为：

$W^{*}=W-\mathrm{\α}\frac{\∂E}{\∂W}$

$b^{*}=b-\mathrm{\α}\frac{\∂E}{\∂b}$

式中，W^*和b^*分别表示调整更新后的卷积核和偏置，α为学习率；

步骤6.5，循环执行步骤6.2、6.3和6.4三个步骤10000次，，即对深度卷积神经网络中的卷积核和偏置更新10000次，得到最优深度卷积神经网络模型DCNN_optimal。

步骤7，用最优深度卷积神经网络模型DCNN_optimal对训练集Z_train和测试集Z_test进行特征提取，得到原始高光谱图像的低维光谱-空间训练集特征z_train和测试集特征z_test。

步骤8，用训练集特征z_train及训练集标签Y_train训练支持向量机，得到分类器SVM_optimal。

步骤9，用分类器SVM_optimal对测试集特征z_test进行预测，得到预测标签Y_preidict。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法，其特征在于，包括如下步骤：

步骤1，对原始高光谱图像进行归一化；

步骤2，用最大似然本征维估计算法计算归一化高光谱图像的波段本征维n；

步骤3，用主成分分析将归一化高光谱图像的波段数降至n，得到低波段高光谱图像；

步骤4，通过窗口领域，将低波段高光谱图像转化为张量型低波段高光谱图像Z；

步骤5，将Z划分成训练集Z_train与测试集Z_test；

步骤6，用训练集Z_train训练深度卷积神经网络，得到最优深度卷积神经网络模型DCNN_optimal；

步骤7，用最优深度卷积神经网络模型DCNN_optimal对训练集Z_train和测试集Z_test进行特征提取，得到原始高光谱图像的低维光谱-空间训练集特征z_train和测试集特征z_test；

步骤8，用训练集特征z_train及训练集标签Y_train训练支持向量机，得到分类器SVM_optimal；

步骤9，用分类器SVM_optimal对测试集特征z_test进行预测，得到预测标签Y_preidict。

2.根据权利要求1所述一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法，其特征在于：所述步骤1中，给定原始高光谱图像i＝1,2,…N，x_i表示第i个高光谱图像，其中m为原始高光谱图像的维数，N为原始高光谱图像的个数，归一化采用的计算方法为：

${x_i}^{\′}=\frac{x_i-min(x_{i1},...,x_{ij},...,x_{im})}{max(x_{i1},...,x_{ij},...,x_{im})-min(x_{i1},...,x_{ij},...,x_{im})}$

式中，x_i′表示第i个归一化高光谱图像，x_ij表示第i个归一化高光谱图像中第j维的值，min(·)表示取最小值计算，max(·)表示取最大值计算；得到归一化高光谱图像

3.根据权利要求1或2所述一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法，其特征在于：所述步骤3中，给定归一化高光谱图像首先计算给定归一化高光谱图像的总体协方差矩阵S_cov：

$S_{\mathrm{cov}}=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}({x_i}^{\′}-{\stackrel{\‾}{x}}^{\′}){({x_i}^{\′}-{\stackrel{\‾}{x}}^{\′})}^T$

式中，表示归一化高光谱图像的均值；

主成分分析的目的是使得投影后的协方差最大化，则其目标函数为：

$\underset{W_{PCA}}{max}{W_{PCA}}^T{S}_{\mathrm{cov}}{W}_{PCA}$

s.t.W_PCA ^TW_PCA＝I

式中，W_PCA为特征投影矩阵，I为单位矩阵；假设λ为S_cov的秩，则：

S_cov＝λW_PCA；

设λ₁,λ₂,…,λ_n为上式中前n个最大特征值，对应的特征向量为w_PCA1,w_PCA2,…,w_PCAn，则采用主成分分析对归一化高光谱图像X′进行主成分特征提取，得到：

X″＝(w_PCA1,w_PCA2,…,w_PCAn)^TX′＝W_PCA ^TX′

式中，表示经过主成分分析后的低波段高光谱图像。

4.根据权利要求3所述一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法，其特征在于：所述步骤4中，张量型低波段高光谱图像采用以下三阶张量表示：

式中，F₁和F₂分别表示单一波段的高光谱图像的高度和宽度；针对高光谱图像的特点，选取目标像素四周近邻8个像素组成张量表示形式，张量型数据的标签为目标像素对应的标签，张量型低波段高光谱图像为：

式中，F₁＝F₂＝2b+1＝17，b＝8，1≤f₁≤F₁，1≤f₂≤F₂，f₁、f₂分别为F₁和F₂的序号索引。

5.根据权利要求1或2或4所述一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法，其特征在于：所述步骤5中，划分训练集Z_train与测试集Z_test，设人工给定的训练集样本个数占样本总数的比例为τ，在所有张量型低波段高光谱图像中，随机选取τN个张量型低波段高光谱图像作为训练集Z_train，(1-τ)N个张量型低波段高光谱图像作为测试集Z_test；N为原始高光谱图像的个数。

6.根据权利要求5所述一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法，其特征在于：所述步骤6中，利用训练集Z_train训练七层深度卷积神经网络，其中七层结构分别为：

第一层：输入层I1，深度卷积神经网络的输入数据为训练集Z_train和训练集标签Y_train；

第二层：卷积层C2，设定30个特征图，卷积核大小为4×4；

第三层：最大降采样层P3，设定降采样窗口大小为2×2，步长为2；

第四层：卷积层C4，设定30个特征图，卷积核大小为4×4；

第五层：最大降采样层P5，设定降采样窗口大小为2×2，步长为2；

第六层：卷积层C6，设定30个特征图，卷积核大小为2×2；

第七层：Soft-max层；

训练过程为：

步骤6.1，随机初始化卷积核W和偏置b，前向计算，得到实际输出值

步骤6.2，计算训练集输出标签与训练集标签Y_train的均方误差

步骤6.3，计算均方误差对卷积核W的梯度和均方误差对偏置b的梯度

步骤6.4，通过梯度下降算法调整卷积核和偏置，公式为：

$W^{*}=W-\mathrm{\α}\frac{\∂E}{\∂W}$

$b^{*}=b-\mathrm{\α}\frac{\∂E}{\∂b}$

式中，W^*和b^*分别表示调整更新后的卷积核和偏置，α为学习率；

步骤6.5，循环执行步骤6.2、6.3和6.4三个步骤10000次，得到最优深度卷积神经网络模型DCNN_optimal。