CN110309811A

CN110309811A - 一种基于胶囊网络的高光谱图像分类方法

Info

Publication number: CN110309811A
Application number: CN201910618360.0A
Authority: CN
Inventors: 孙崐; 杨明鑫
Original assignee: Harbin University of Science and Technology
Current assignee: Harbin University of Science and Technology
Priority date: 2019-07-10
Filing date: 2019-07-10
Publication date: 2019-10-08

Abstract

本发明公开了一种基于胶囊网络的高光谱图像分类方法，本方法用核主成分分析法对样本集进行降维并提取主成分，将所得主成分输入到胶囊网络，训练胶囊网络后，对测试集进行分类。在与支持向量机和卷积神经网络进行对比实验后，证实本方法在分类精度上优于其他传统分类方法。本发明通过降维，在最大化保持信息完整的前提下，降低特征提取的计算复杂度。相比于卷积神经网络等传统深度学习方法，胶囊网络利用向量为输入，更充分地利用了高光谱图像中丰富的空间及光谱信息，尤其是更有效地利用姿态信息。本方法实验结果中分类精度值较优，分类效果良好。

Description

一种基于胶囊网络的高光谱图像分类方法

技术领域

本发明涉及高光谱图像及深度学习领域，尤其涉及一种基于胶囊网络的高光谱图像分类方法。

背景技术

在遥感技术领域中，高光谱图像技术可以在在获取目标空间信息(图像信息)的同时，获得目标的光谱域上的信息(光谱信息)，做到了空间信息与光谱信息的融合，因此，高光谱图像数据也可视为三维数据。但在高光谱图像的处理上，存在以下问题：波段多、波段间的相关性高，因此分类需要的训练样本数目大大增多，训练样本不足会导致训练参数不可靠(维数灾难)；数据量大，图像包含几十个到上百个波段，存在着冗余现象。

随着深度神经网络在自然图像上取得的成功，人们也尝试将深度神经网络应用到高光谱图像分类上来，并取得了比大多数分类算法更好的分类效果。深度神经网络能取得如此好的效果，原因在于无论输入数据的潜在模式是什么样的，只要训练数据充足、网络参数设置、训练得当，网络就可以抽象出比领域专家精心设计的特征还要复杂、抽象和更具判别性的特征。传统特征提取算法与深度神经网络结合可以充分利用传统特征提取算法在提取某一类特征上的优势以及深度神经网络强大的特征提取和整合能力，这类方法能取得了更好的分类效果。针对卷积神经网络(Convolutional Neural Network,CNN)的不足，Hinton提出了胶囊网络。胶囊网络的特点在于“vectorin，vectorout”，将向量作为网络的输入，与传统卷积神经网络中的标量相比，向量能更完整地表示图像特征，达到提高识别率的目的；所有胶囊检测中的特征的状态的重要信息，都将以向量的形式被胶囊封装，输出的标量值为(0，1)之间的数字，作为胶囊检测的给定特征的概率，因此结论更加直观。采用动态路由算法(dynamic routing algorithm)，与CNN中的池化(pooling)相比，胶囊网络针对图像具有平移和旋转的同变性，因此，此方法在空间信息提取上也有进步。通过进一步与SVM和CNN的对比研究，发现本方法在分类效果上更优，计算时间更短，所需样本数更少。

发明内容

本发明针对目前的高光谱图像分类方法，提出一种基于胶囊网络的分类方法，具有很好的识别效果。

本发明为解决上述问题提出了一种基于胶囊网络(capsule network)的高光谱图像分类方法，采用的具体方案步骤如下。

S1、获取高光谱图像：下载高光谱图像集；

S2、利用核主成分分析法(Kernel Principal Component Analysis KPCA)，对归一化后的数据进行降维，降维后所保留的主成分数用m表示，过程如下。

S3、计算核矩阵：使用核函数，将原始数据由数据空间映射到特征空间，

k(x_i,x_i)＝Φ^T(x_i)Φ(x_i) (1)

本发明采用的核函数为径向基核函数(Radial Basis Function，RBF)，公式为：

公式(2)中，γ调整模型的复杂度：γ越小，高斯分布越宽，模型复杂度越低；γ越大，高斯分布越窄，模型复杂度越高。

中心化核矩阵：用于修正核矩阵。公式为：

K_c＝K-l_nK-Kl_n+l_NKl_N (3)

计算矩阵的特征值，并得到其对应的特征向量。特征值决定方差的大小，即特征值越大所蕴含的有用信息越多，因此特征值按降序排序。通过施密特正交化法，正交化并单位化特征向量，得到：

α₁,α₂,α₃……α_n (4)

选取前m个主分量(m<n)，作为降维后所得到的数据。

S4、胶囊网络的运算步骤：

公式(5)中，i为最后一层胶囊网络中胶囊的频道数，p为当前胶囊网络的核尺寸，为最后一个胶囊层中位于(x+p)位置的第i个频道的输出，为与之间的变换矩阵；

S5、的输入是来自胶囊的所有通道中的“预测矢量”的加权和，其中在最后胶囊层中的接收场内；

公式(6)中，是通过将最后一层中的胶囊的乘以在最后一个胶囊层上共享的相应变换矩阵而获得的；

公式(6)中，胶囊网络在两个连续的层中，采用动态路由算法(dynamic routingalgorithm)来迭代更新耦合系数c，从当前一维胶囊层中的每个胶囊接收“预测矢量”来自最后一个胶囊层中其接收场内的胶囊，每个“预测矢量”的权重由耦合系数表示，最后一个胶囊层中的胶囊与一维胶囊网络层中相同位置的所有通道胶囊之间的耦合系数总和为1，并且可以通过softmax函数获得：

利用动态路由算法确定耦合系数优化，得到的最优训练网络，迭代次数为3，损失函数如下：

公式(8)中如果T_j＝1，则该像素属于j类；m⁺表示如果向量的长度输出||v_j||大于m⁺，则像素属于j类；m^-表示当||v_j||小于m^-时，则像素不属于j类；像素不属于的类的损失可能会阻止初始学习缩小所有胶囊的矢量输出长度，因此λ用于降低它的权重。

S6、压缩函数：

公式(9)中，为当前胶囊网络中位于x位置的第j个频道的输入，为对应的输出，为胶囊检测的给定特征的概率。

本发明的一种基于胶囊网络的高光谱图像分类方法，与现有技术相比具有以下优点。

本发明采用胶囊网络这一深度学习中的新方法，在特征提取上，通过用向量来表示特征。与其他传统方法即用标量来表示特征相比，更好地利用了高光谱图像中丰富的光谱信息和空间信息；在网络的学习能力上，相比于卷积神经网络等传统深度学习方法，胶囊网络仅需要学习一小部分数据。

本发明能够降低特征提取的计算复杂度。由核主成分分析法的原理可知，基于核函数的原理，通过非线性映射将输入空间，然后在高维空间中对映射数据做主成分分析，这不仅实现了数据的降维，而且可以在合适的高维线性分类平面上对在通常线性空间难以线性分类的数据点进行分类。

本发明针对以卷积神经网络所代表的传统方法中的空间信息平移不变性进行了改善。由于传统神经网络中采取池化层(pooling)，而且无论是最大池化(max-pooling)或是平均池化(average-pooling)，都损失了大量的信息。而胶囊网络采取动态路由算法(dynamic routing algorithm)，模仿人脑的逆图形过程，在迭代路由过程中，每个活动胶囊将选择上层中的胶囊作为树种的父组件，因此实现了平移同变性，针对空间信息中的平移旋转等位置关系有更好的效果。

附图说明

图1为本发明实施例的流程框图。

图2为高光谱图像立体结构。

图3为动态路由算法(Dynamic Routing Algorithm)。

图4为胶囊网络图。

图5为Indian Pines数据集的地面参考图及各类别和样本数量。

图6为Salinas数据集的地面参考图及各类别和样本数量。

图7为Pavia数据集的地面参考图及各类别和样本数量。

图8为不同主成分数下Indian Pines、Salinas和Pavia三个数据集的OA值。

图9为利用支持向量机(SVM)、卷积神经网络(CNN)和胶囊网络(Capsule network)分别在Indian Pines、Salinas和Pavia三个数据集上的对比实验结果。

图10(a)为Indian Pines数据集的伪色彩图及分别应用SVM、CNN及CapsuleNetwork后的分类结果图；图10(b)为Indian Pines数据集的伪色彩图分及别应用SVM、CNN及Capsule Network后的分类结果图；图10(c)为Indian Pines数据集的伪色彩图及应用SVM、CNN及Capsule Network后的分类结果图。

具体实施方式

为使本发明的技术方案、特征及技术效果更加清楚明白，以下将参考附图详细结合示例性的实施例对本发明的技术方案进行更加清楚、具体的描述，本发明的技术方案步骤如图1所示。

实施例。

步骤一：获取高光谱图像；本发明所采用的的高光谱数据集分别为Indian Pines、Salinas和Pavia。Indian Pines数据集是在印第安纳州西北部的印度松树测试场地由AVIRIS传感器获取，包括224个光谱带，波长范围为400-2500nm，去除覆盖吸水区域的频带后剩余200个光谱带，地面参考地图包括16种类别。图5展示了Indian Pines数据集地面参考图及每个类别的样本数量。Salinas数据集是由位于加利福尼亚州萨利纳斯山谷的224-波段AVIRIS传感器采集的，在去除低信噪比(SNR)频带之后，包括224个光谱带，像素分辨率为512×217，地面参考地图包括16种类别，高光谱图像具有高空间分辨率(3.7米像素)。图6展示了Salinas数据集地面参考图及每个类别的样本数量。Pavia数据集是在意大利Pavia大学及其附近区域由ROSIS传感器收集。Pavia数据集的空间分辨率为1.3米，像素分辨率为610×340，波长范围为430-860nm，去除受噪声影响的频段后剩余103个光谱带。地面参考地图包括9种类别，图7展示了Pavia数据集地面参考图及每个类别的样本数量。

步骤二：将所有的高光谱图像分为训练集测试集，训练集样本数均为200个，剩余样本用于测试，选取方式均为随机选取；对输入的高光谱图像用核主成分分析法进行降维处理，对于Indian Pines，Salinas和Pavia数据集，经过选取不同主成分数进行实验，定为选取每个像素的前20个成分，单个像素大小为25×25×1。

步骤三：设定胶囊网络的体系结构，由两部分组成：编码器和解码器。前3层是编码器，后3层是解码器：第一层为卷积层，有256个步长为1的4×4×1的核；第二层为PrimaryCaps(主胶囊)层，有32个步长为1的4×4×1的核；第三层为DigitCaps(数字胶囊)层，第四层为第一全连接层，第五层为第二全连接层，第六层为第三全连接层。

步骤四：将训练样本输入到胶囊网络中，提取特征后输入分类器中进行分类，训练网络完毕后，对测试数据集进行分类，得到实验结果。

综上所述，本发明实施例通过提供了一种基于胶囊网络的高光谱图像分类方法，包括：将高光谱图像分成训练集和测试集；利用核主成分分析(KPCA)对训练集降维；将降维后的特征输入到胶囊网络的输入层，提取特征后输入分类器中进行分类，得到分类结果，训练网络完毕后，对测试数据集进行分类，得到实验结果。另外与传统分类方法中的支持向量机(SVM)和卷积神经网络(CNN)进行对比，经过实验可得出胶囊网络针对姿态信息(平移或位移)有更好的识别性，分类精度更高的优势。以上应用具体的实施例对本发明的原理及实施方式进行了详细阐述，本发明的技术方案不限制于上述具体实施方式内。

Claims

1.一种基于胶囊网络的高光谱图像识别方法，该方法包括以下步骤：

S1、获取高光谱图像，选取Indian Pines，Salinas和Pavia数据集，分为训练集测试集，训练集样本数均为200个，剩余样本用于测试，选取方式均为随机选取；对高光谱图像用核主成分分析法进行降维处理，对于Indian Pines，Salinas和Pavia数据集，经过选取不同主成分数进行实验，定为选取每个像素的前20个成分，单个像素大小为25×25×1；

S2、利用核主成分分析法(Kernel Principal Component Analysis KPCA)，对归一化后的数据进行降维，降维后所保留的主成分数用m表示，过程如下：

计算核矩阵，使用核函数来实现将原始数据由数据空间映射到特征空间，

k(x_i，x_i)＝Φ^T(x_i)Φ(x_i) (1)

本发明采用的核函数为径向基核函数(RadialBasis Function，RBF)，公式为：

k(x，y)＝e(-γ|x-y|²) (2)

中心化核矩阵，用于修正核矩阵，公式为：

K_c＝K-l_nK-Kl_n+l_NKl_N (3)

计算矩阵的特征值，并得到其对应的特征向量，特征值决定方差的大小，即特征值越大所蕴含的有用信息越多，因此特征值按降序排序；通过施密特正交化法，正交化并单位化特征向量，得到：

α₁，α₂，α₃......α_n (4)

对于Indian Pines，Salinas和Pavia数据集，经过选取不同主成分数进行实验，定为选取前20个成分；

S3、构建胶囊网络，

公式(6)中，的输入是来自胶囊的所有通道中的“预测矢量”的加权和，其中在最后胶囊层中的接收场内；是通过将最后一层中的胶囊的乘以在最后一个胶囊层上共享的相应变换矩阵而获得的；

公式(8)中如果T_j＝1，则该像素属于j类；m⁺表示如果向量的长度输出||v_j||大于m⁺，则像素属于j类；m^-表示当||v_j||小于m^-时，则像素不属于j类；像素不属于的类的损失可能会阻止初始学习缩小所有胶囊的矢量输出长度，因此λ用于降低它的权重；

S4、压缩函数：

公式(9)中，为当前胶囊网络中位于x位置的第j个频道的输入，为对应的输出，为胶囊检测的给定特征的概率；

S5、设定胶囊网络的体系结构，由两部分组成：编码器和解码器；前3层是编码器，后3层是解码器：第一层为卷积层，有256个步长为1的4×4×1的核；第二层为PrimaryCaps(主胶囊)层，有32个步长为1的4×4×1的核；第三层为DigitCaps(数字胶囊)层，第四层为第一全连接层，第五层为第二全连接层，第六层为第三全连接层；

S6、将训练样本输入到胶囊网络中，提取特征后输入分类器中进行分类，训练网络完毕后，对测试数据集进行分类，得到实验结果。

2.根据权利要求1所述的一种基于胶囊网络的高光谱图像分类方法，其特征在于：步骤S3中所采用的核主成分分析法对高光谱图像进行降维处理，主成分分析认为，沿某特征分布的数据的方差越大，则该特征所包含的信息越多，也就是所谓的主成分，而我们通常只针对信息量大的成分进行分析处理；主成分分析无法应用于线性不可分的数据，因此引入核函数，将数据射到高纬度而达到线性可分的目的。

3.根据权利要求1所述的一种基于胶囊网络的高光谱图像分类方法，其特征在于：步骤S4中胶囊网络中采用的激活函数为LeakyReLU：

f(y)＝max(εy，y) (10)

公式(10)中ε是很小的负数梯度值，本方法中ε定为0.1；传统激活函数如ReLU其训练过程该函数不适应较大梯度输入，因为在参数更新以后，ReLU的神经元不会再有激活的功能，导致梯度永远都是零，LeakyReLU修正了数据分布，又保留了一些负轴的值，使得负轴信息不会全部丢失。