CN106529458A - 一种面向高光谱图像的深度神经网络空间谱分类方法 - Google Patents

Abstract

本发明涉及一种面向高光谱图像的深度神经网络空间谱分类方法，属于深度学习及高光谱遥感图像分类技术领域。在该方法中，使用分组的空间谱特征作为输入，根据输入的分组特性，在深度神经网络的第一层的优化目标中加入正则化项，实现对空间谱特征的提取与波段选择。该方法兼顾了深度置信网络的算法特性，也考虑了空间信息的特点，对每个波段的空间分组单独处理，不同于深度卷积网络的卷积核中参数是相同的；该算法能够自动衰减那些对分类作用较小的波段的权值，做到自适应特征提取与波段选择，能够取得比经典深度置信网络更好的分类准确率，具有广阔的应用前景。

Description

一种面向高光谱图像的深度神经网络空间谱分类方法

技术领域

本发明属于深度学习及高光谱遥感图像分类技术领域，涉及一种面向高光谱图像的深度神经网络空间谱分类方法。

背景技术

随着高光谱遥感图像传感器技术的不断提升，无论是在星载还是机载上，高光谱遥感图像的空间分辨率与光谱分辨率都有极大的提升，这使得高光谱遥感图像的应用越发广泛。同时，随着空间分辨率和光谱分辨率的提高，也带来了数据维度的剧增，可以达到数百维；同时现在广泛采用的空间特征方法，将会使得数据的维度再增长10倍达到数千维。这就使得以前在低维空间中有不错性能的算法，在高维空间里受到巨大挑战。

目前解决高光谱数据维度的问题的主要方法是特征提取和特征选择，其中特征选择还不够成熟，信息损失较大，分类效果有限；而特征提取是用的比较多的方式，但是特征提取方式的选择对于高光谱数据中非线性特征是否有效并没有可靠的解释，普遍认为特征提取的过程会导致信息损失，分类精度下降。而基于深度置信网络的高光谱遥感图像识别与分类：虽然也是采用空间谱形式的特征，但是通常都会先做主成分分析，以实现数据降维。这样处理虽然可以一定程度避免维度灾难和计算复杂度，但同时也丢失了部分信息，导致分类精度会有下降。

基于深度卷积网络的高光谱遥感图像识别与分类：局部的卷积核系数是相同的，这可能带来精度的下降。

其他浅层分类器如支持向量机、多分类的逻辑斯蒂等，虽然在模型上更为简洁，但是分类精度却不够高。

现有的深度学习算法如深度置信网络没有考虑目标像素周围的空间信息，而2-D深度卷积网络虽然考虑了空间信息，但是其卷积核参数却是一样的，这无疑会无形中带来一定信息损失。

发明内容

有鉴于此，本发明的目的在于提供一种面向高光谱图像的深度神经网络空间谱分类方法(Group Deep Belief Networks,GBN)，该方法兼顾了深度置信网络的算法特性，也考虑了空间信息的高相关性特点，对每个波段的空间分组特征单独处理，不同于深度卷积网络的卷积核中参数是相同的；该算法能够自动衰减那些对分类作用较小的波段的权值，做到自适应特征提取与波段选择。

为达到上述目的，本发明提供如下技术方案：

一种面向高光谱图像的深度神经网络空间谱分类方法，在该方法中使用分组的空间谱特征作为输入，根据输入的分组特性，在第一层受限制玻尔兹曼机的优化目标中加上处理分组特征的正则化项(该层结构也被称为Group RBM)，以实现对空间谱特征的提取与波段选择；Group RBM后面至少有一层受限制玻尔兹曼机。

进一步，本方法具体包括以下步骤：

步骤一：读取高光谱遥感图像数据，并对原数据做归一化；

步骤二：提取目标像素点特征值和与目标像素点在同一波段的领域像素特征值组成分组特征；

步骤三：将目标像素点的各个波段分组特征整合，得到高光谱的分组空间谱特征；

步骤四：根据目标像素点类别确定样本类别，并把标记的样本随机分为训练样本和测试样本；

步骤五：根据高光谱的分组特性，在深度学习方法中对第一层的受限制玻尔兹曼机优化目标中加一个正则化项，该正则化项是针对每一个分组特征对应的权值求取绝对值的和，再对该值取平方根；

步骤六：使用训练样本对构成的多层受限制玻尔兹曼机进行预训练，每一层单独训练，并且上一层的训练完成后得到的输出作为下一层的输入；

步骤七：得到预训练的深度网络作为深度神经网络的初始值，然后使用训练样本对深度神经网络进行有监督的反向微调；

步骤八：将测试样本输入深度神经网络进行高光谱遥感数据的分类。

进一步，在步骤五中，基于空间谱分组特征的深度神经网络是通过向第一层RBM优化目标中加入一个正则化项λ||W||_G来计算参数：

其中λ是一个正则化常数；

其中m表示第m组分组特征，M表示分组特征的组数(也即波段数)，i表示第m组特征中第i个特征值，j表示隐藏层第j个输出单元，D表示隐藏层的单元数，w_ij表示第m组特征中第i个特征值与第j个输出单元之间连接权值。

本发明的有益效果在于：本发明使用分组的空间谱特征作为输入，根据输入的分组特性，在算法中第一层受限制玻尔兹曼机优化目标中加入正则化项，以实现对空间谱特征的提取与波段选择，能够取得比经典深度置信网络更好的分类准确率。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为算法示意图；

图2为本发明所述方法的流程示意图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图2为本发明所述方法的流程示意图，如图所示，本发明提供的面向高光谱图像的深度神经网络空间谱分类方法具体包括以下步骤：

步骤一：读取高光谱遥感图像数据，并对原数据做归一化；

步骤二：提取目标像素点特征值和与目标像素点在同一波段的领域像素特征值组成分组特征；

步骤三：将目标像素点的各个波段分组特征整合，得到高光谱的分组空间谱特征；

步骤四：根据目标像素点类别确定样本类别，并把标记的样本随机分为训练样本和测试样本；

步骤五：根据高光谱的分组特性，在深度学习方法中对第一层的受限制玻尔兹曼机(RBM)加一个正则化项，该正则化项是针对每一个分组特征对应的权值求取绝对值的和，再对该值取平方根；

步骤六：使用训练样本对构成的多层受限制玻尔兹曼机进行预训练，每一层单独训练，并且上一层的训练完成后得到的输出作为下一层的输入；

步骤七：得到预训练的深度网络作为深度神经网络的初始值，然后使用训练样本对深度神经网络进行有监督的反向微调；

步骤八：将测试样本输入深度神经网络进行高光谱遥感数据的分类。

具体来说：

标准的受限制玻尔兹曼机(RBM)是二进制的隐藏单元和可见单元，并且由一个权重矩阵W＝(w_ij)组成，它与隐藏单元向量h和可见单元向量v的联系有关，也与可见单元的偏差向量b和隐藏单元的偏差向量c有关。基于此，一个状态(v,h)的能量函数定义为：

E(v,h)＝-b′v-c′h-h′Wv

在一般的受限制玻尔兹曼机上，隐藏向量和可见向量的联合概率分布以能量函数定义为：

其中Z是一个配分函数。那么可见单元的边缘概率可以表示为：

假设θ＝{W,b,c}，包含RBM的所有参数。为了计算这些参数，可以对训练样本v^(l)的概率取负对数，然后使用随机梯度下降方法来求解，而训练样本的概率可以通过对所有的隐藏单元求和即可获得训练样本的边缘概率(如上式p(v))，所以优化的目标可以表示为：

其中l表示第l个样本。

类似的，基于空间谱分组特征的深度神经网络是通过向第一层RBM优化目标中加入一个正则化项λ||W||_G来计算参数：

其中λ是一个正则化常数。

其中m表示第m组分组特征，M表示分组特征的组数(也即波段数)，i表示第m组特征中第i个特征值，j表示隐藏层第j个输出单元，D表示隐藏层的单元数，w_ij表示第m组特征中第i个特征值与第j个输出单元之间连接权值。

用传统的梯度下降法计算最优参数是非常困难的，本发明采用一种反复运用吉布斯采样的对比分歧法去逼近最优化参数的方法。用<·>_p表示p分布的期望值，对于每一次迭代过程，在常规项的梯度下降步骤之后应用contrastive divergence规则：

1、用contrastive divergence规则更新为：

2、不断重复这一过程直到它收敛。一旦一层网络训练完成，参数w_ij，b_j，c_i的值就会固定，而隐藏单元的值就可以推测出来。这些估测值就作为训练该深度信念网络(GBN)下一层的输入数据。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (3)

1.一种面向高光谱图像的深度神经网络空间谱分类方法，其特征在于：在该方法中，使用分组的空间谱特征作为输入，根据输入的分组特性，在算法中第一层受限制玻尔兹曼机的优化目标中加入正则化，项实现对空间谱特征的提取与波段选择。

2.根据权利要求1所述的一种面向高光谱图像的深度神经网络空间谱分类方法，其特征在于：本方法具体包括以下步骤：

步骤一：读取高光谱遥感图像数据，并对原数据做归一化；

步骤二：提取目标像素点特征值和与目标像素点在同一波段的领域像素特征值组成分组特征；

步骤三：将目标像素点的各个波段分组特征整合，得到高光谱的分组空间谱特征；

步骤四：根据目标像素点类别确定样本类别，并把标记的样本随机分为训练样本和测试样本；

步骤五：根据高光谱的分组特性，在深度学习方法中对第一层的受限制玻尔兹曼机的优化目标加一个正则化项，该正则化项是针对每一个分组特征对应的权值求取绝对值的和，再对该值取平方根；

步骤六：使用训练样本对构成的多层受限制玻尔兹曼机进行预训练，每一层单独训练，并且上一层的训练完成后得到的输出作为下一层的输入；

步骤七：得到预训练的深度网络作为深度神经网络的初始值，然后使用训练样本对深度神经网络进行有监督的反向微调；

步骤八：将测试样本输入深度神经网络进行高光谱遥感数据的分类。

3.根据权利要求2所述的一种面向高光谱图像的深度神经网络空间谱分类方法，其特征在于：在步骤五中，基于空间谱分组特征的深度神经网络是通过向第一层RBM优化目标中加入一个正则化项λ||W||_G来计算参数：

$\arg \underset{\mathrm{\&theta;}}{\min }-\underset{i}{\&Sigma;}\log \left(\underset{h}{\&Sigma;}{e}^{-E(v^{\left(l\right)},h^{\left(l\right)})}\right)+\mathrm{\&lambda;}\left|\right|W|{|}_G$

其中λ是一个正则化常数；

$\left|\right|W|{|}_G=\underset{m=1}{\overset{M}{\&Sigma;}}{\left(\underset{i\&Element;G_m}{\&Sigma;}\underset{j=1}{\overset{D}{\&Sigma;}}\right|w_{ij}\left|\right)}^{\frac{1}{2}}$

其中m表示第m组分组特征，M表示分组特征的组数(也即波段数)，i表示第m组特征中第i个特征值，j表示隐藏层第j个输出单元，D表示隐藏层的单元数，w_ij表示第m组特征中第i个特征值与第j个输出单元之间连接权值。