CN108171122A

CN108171122A - 基于全卷积网络的高光谱遥感图像的分类方法

Info

Publication number: CN108171122A
Application number: CN201711309106.XA
Authority: CN
Inventors: 宋春燕; 刘亚洲; 孙权森
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2017-12-11
Filing date: 2017-12-11
Publication date: 2018-06-15

Abstract

本发明公开了一种基于全卷积网络的高光谱遥感图像的分类方法，包括数据预处理、特征提取、分类三个过程，将高光谱遥感图像输入全卷积网络模型中处理，利用全卷积网络的特性，提取高光谱遥感图像的特征，并对其进行分类。首先将高光谱遥感数据降到低维空间，然后将低维高光谱图像输入全卷积网络模型中进行处理，取处理过程中得到的卷积层作为特征；再将得到的特征图像分为训练集和测试集，训练稀疏表示字典；最后对测试集进行稀疏重构，得到分类结果。本发明充分结合了高光谱数据的光谱和空间特征，利用全卷积网络不限制输入大小的优势，对不同大小、不同样本分布情况的高光谱遥感图像数据，都可以充分提取特征信息，得到非常精确的分类结果。

Description

基于全卷积网络的高光谱遥感图像的分类方法

技术领域

本发明涉及高光谱遥感图像处理技术领域，尤其是有关高光谱遥感图像分类，具体地说，是一种基于全卷积网络的高光谱遥感图像的分类方法。

背景技术

遥感图像是指记录各种地表物体电磁波大小的胶片，是通过遥感探测所获得的遥感信息的一种表现形式。由于许多地表物质的吸收特性仅表现在20～40nm 的光谱分辨率范围内，故高光谱图像可以识别在宽波段遥感中不可探测的物质。

相比于传统的可见光与多光谱数据，高光谱遥感数据在光谱分辨率和光谱范围上的提升，使针地物的光谱探测能力有所增强，与此同时，也带来了一些图像处理与模式识别上的新问题。由于高光谱数据的高维特性，在增加识别难度的同时也增加了分类器的运算负担，显然直接将高光谱数据进行分类不是一个好办法，因此，找到快速高效得高光谱遥感数据降维和特征提取的算法也成为了高光谱遥感研究的重点。

如何提取有效的反映不同模式的特征是高光谱图像处理和分析的关键技术。利用未标记样本的半监督学习和主动构建新样本的主动学习方法可以有效的解决数据训练样本不足的问题。将高光谱图像数据从高维特征空间降维至地位空间也被用来解决高光谱图像分类问题。但是，单一的光谱特征提取无法有效描述图像的空间信息，也无法实现对地物光谱属性与地物空间结构特征的统一认知，所以识别精度有限。近年来，随着高光谱遥感的研究不断深入，在降低数据维度的同时，利用图像的空间上下文信息，进一步增加高光谱图像的模式可分性，空间特征提取也成为高光谱图像特征提取领域的重要研究分支。但是单一的光谱信息或者空间信息都无法全面的表示高光谱遥感图像的特征。想要得到充分表示高光谱遥感图像特征就需要结合光谱信息和空间信息，做到空谱结合。

近年，神经网络这种深层的结构已经被用于很多领域包括图像的分类和识别。深度学习是机器学习中的一个重要领域，其核心思想就是通过多层次的网状结构来实现低层特征形成更加抽象的高层特征，从而实现自动学习特征的过程。2014年有学者针对高光谱数据的特性，第一次提出了深度学习的方法来进行遥感数据的分类。研究表明，深度学习模型一般擅长在海量数据并且监督的方法下进行模型训练。

发明内容

本发明的目的在于提出一种基于全卷积网络的高光谱遥感图像分类方法，将高光谱遥感图像输入全卷积网络模型中处理，利用全卷积网络的特性，提取高光谱遥感图像的特征，并对其进行分类。

实现本发明目的的技术解决方案为：一种基于全卷积网络的高光谱遥感图像分类方法，包括数据预处理、特征提取、分类三个过程：

数据预处理过程包括以下步骤：

步骤1)、使用主成分分析法将原始高光谱图像降维至低维空间，得到低维的高光谱图像；

特征提取过程包括以下步骤：

步骤2)、将步骤1)中得到的低维高光谱图像输入全卷积网络模型中进行处理，取处理过程中得到的最后一个卷积层作为特征；

分类过程包括以下步骤：

步骤3)、将步骤2)中得到的特征图像分为训练集和测试集；

步骤4)、用步骤3)中的训练集训练稀疏表示字典；

步骤5)、对测试集进行稀疏重构，得到分类结果。

本发明与现有技术相比，其显著优点为：其一，相对于早期的基于光谱信息的高光谱特征提取算法，本发明利用全卷积网络，对高光谱遥感图像进行像素级别的密集预测，充分结合了高光谱数据的光谱和空间特征。其二，利用全卷积网络不限制输入大小的优势，本发明中的特征提取算法适用于不同大小的高光谱遥感图像数据。尤其是原始大小比较大的高光谱图遥感图像，本发明的方法可以得到非常精确的分类结果。其三，由于卷积全卷积网络的特性，本发明的方法对于不同尺寸，不同样本分布情况的高光谱遥感数据，都可以充分提取特征信息，能够得到比较好的分类结果。

附图说明

图1为高光谱图像分类技术的基本框架。

图2为全卷积网络反卷积示意图。

图3为卷积层融合示意图，三行图像分别表示全卷积网络中最后一层、最后一层与池化层4融合、最后一层与池化层4和池化层3融合得到的上采样结果。

图4稀疏字典学习的基本流程图。

具体实施方式

下面结合附图对本发明进行进一步说明。

本发明将高光谱遥感图像输入全卷积网络模型中处理，利用全卷积网络的特性，提取高光谱遥感图像的特征，并对其进行分类,包括数据预处理、特征提取、分类三个过程。高光谱图像分类技术的基本框架如图1所示，本发明是按照这个基本框架进行的。

数据预处理过程有以下步骤：

步骤1)、使用主成分分析法通过将高维特征向量的多维变量进行线性变换，从中选出少数几个或几十个方差最大的特征向量，将原始高光谱图像降维至低维空间，得到低维的高光谱图像。

特征提取过程包括以下步骤：

步骤2)、将步骤1)中得到的低维高光谱图像输入全卷积网络模型中进行处理，输出处理过程中得到的最后一个卷积层作为特征。具体有以下步骤：

步骤21)、读取步骤1)中得到的低维高光谱遥感图像；

步骤22)、引入全卷积网络的caffe模型以及模型配置文件，全卷积网络的提出者在研究过程中探究了多个全卷积网络模型的像素预测效果，其中融合了卷积层7、池化层3、池化层4这三层再进行步长为8的上采样操作的模型FCN-8s 的像素预测效果最佳，所以本步骤使用的全卷积网络模型就是这一模型；

步骤23)、低维高光谱遥感数据进入前馈卷积神经网络进行处理；

步骤24)、将全卷积网络模型中的最后一个卷积层upscore8以三维矩阵形式输出，作为高光谱遥感图像的特征，该矩阵的通道数为21。

本发明中的基于全卷积网络的高光谱遥感图像特征提取算法中主要应用到的卷积网络是在传统的卷积神经网络(CNN)上改进的全卷积网络(FCN)。FCN网络中，在CNN的基础上把n个结点的全连接层改为含有n个1×1卷积核的卷积层，即把全连接网络看成是对整张输入图做卷积。经过这一层，即可得到初步的特征图。

FCN网络中的层全部都是卷积层，因为输入大小和输出大小之间存在线性关系，所以卷积层不需要关心输入的大小，一定大小的输入对应相应大小的输出。图像数据在经过卷积网络中的层层处理后，得到的全连接层与原始输入图像的大小有差别。通过反卷积的操作，即可得到与输入大小一致的输出，如图2反卷积示意图。假设图片输入大小为n×n，第一个卷积层输出的特征图就为

conv1_out.size＝(n-kernelsize)/stride+1 (1)

其中kernelsize为卷积核大小，stride为卷积步长。

记做conv1_out.size＝f(n) (2)

依次类推，

conv5_out.size＝f(conv5_in.size)＝f(...f(n)) (3)

反卷积时需要使下式成立

n＝f'(conv5_out.size) (4)

设置反卷积层的卷积核大小，步长，填补即可确定f'。

但是在卷积过程中，由于下采样等降低维度的操作，再进行上采样来还原为原始输入大小，使得得到的处理结果比较粗糙。所以对卷积层进行了融合，即将最后一层与前层的结果叠加，再进行相应步长的上采样，以得到更加精细的预测。融合示意图如图3。通过实施例的研究，发现融合全卷积网络中的最后一层以及池化层3和池化层4，进行步长为8的上采样之后，可以得到目前效果最为精细的预测结果。输出这一三维数据，作为高光谱遥感图像的特征。

分类过程包括以下步骤：

步骤3)、将步骤2)中得到的特征图像分为训练集和测试集。具体有以下步骤：

步骤31)、将步骤2)中得到的特征数据调整到原始高光谱遥感图像的大小；

步骤32)、随机取步骤31)中调整大小后特征数据中每一类样本总数的一定百分比作为训练集，剩余的作为测试集。

步骤4)、用步骤3)中的训练集训练稀疏表示字典；

如图4所示描述了稀疏字典学习的基本流程图。构建训练字典的方法有两种：基于分析的方法构建字典以及通过学习的方法构建字典。后者通常是利用机器学习的方法来构建得到训练字典，本发明就是采用学习字典的方法来构建过完备字典的K-SVD学习算法。在K-SVD学习算法的具体描述如下：

步骤41)、字典初始化，D＝D₀，初始迭代次数k＝1；

步骤42)、在第k次循环时，采用贪婪算法进行求解下式：

其中D是字典，Y为训练信号，X为训练信号Y的稀疏表示向量，T₀为稀疏度。逐列对字典进行迭代更新的过程并且字典和稀疏向量将被同时进行更新。需要更新的字典为第k列的d_k，令X和D固定，那么

其中表示X的第k行，E_k表示去除第k个原子得到的样本误差矩阵。定义集合为支撑集，更新字典中每个原子；

步骤43)、计算误差矩阵：

步骤44)、由等式其中Ω_k为N×|ω_K|求得E^k去掉零输入后的收缩结果

步骤45)、使用SVD方法分解矩阵得到更新字典，选择为 U的第一列，同时更新稀疏向量选择V的第一列与Δ(1,1)的乘积；

步骤46)、得到字典后，重复步骤42)到步骤45)的过程，对字典各列进行更新。直到更新完所有列，满足迭代终止条件；

步骤47)：输出过完备字典D。

步骤5)、对测试集进行稀疏重构，得到分类结果。

稀疏表示方法中，稀疏表示模型的基础和核心问题是解决稀疏重构问题。所谓稀疏重构是指在字典已知的条件下，对输入信号进行稀疏表示，从而得到稀疏系数。对于一个测试样本，由稀疏系数可以得到字典中与该样本最为匹配的列，即该样本所属的类。在本发明中使用的方法是的正交匹配追踪算法。具体步骤如下：

步骤51)、输入字典D＝[d₁,d₂...d_N]，测量信号x，稀疏度K，初始化冗余 r₀＝x，支撑索引集初始迭代k＝1；

步骤52)、在第k次循环，寻找支撑索引：

步骤53)、将寻找到的支撑索引加入信号支撑集：Λ_k＝Λ_k-1∪(λ_k)；

步骤54)、更新残差：

步骤55)、k＝k+1，返回步骤52)，直到满足迭代终止条件：k＝K；

步骤56)、输出支撑索引集Λ_k＝Λ_k-1，稀疏系数

步骤57)、经过重构找到字典中最匹配的类，输出分类结果。

这一步得到最终的分类结果。分类结果为一个二维矩阵。该矩阵中，原始高光谱遥感图像中的每一个像素所对应的位置上的数值代表该像素所属的类别。

Claims

1.一种基于全卷积网络的高光谱遥感图像分类方法，其特征在于：包括数据预处理、特征提取、分类三个过程；

数据预处理过程包括以下步骤：

步骤1)、使用主成分分析法将原始高光谱遥感图像降维至低维空间，得到低维的高光谱图像；

特征提取过程包括以下步骤：

步骤2)、将步骤1)中得到的低维高光谱图像输入全卷积网络模型中进行处理，取处理过程中得到的卷积层作为特征；

分类过程包括以下步骤：

步骤3)、将步骤2)中得到的特征图像分为训练集和测试集；

步骤4)、使用步骤3)中的训练集训练稀疏表示字典；

步骤5)、对测试集进行稀疏重构，得到分类结果。

2.根据权利要求1所述的高光谱遥感图像分类方法，其特征在于：步骤1)中对原始高光谱遥感图像采用主成分分析法进行降维，将高光谱遥感图像降至3维，得到一个通道数为3的三维数据，即低维高光谱遥感图像数据。

3.根据权利要求1所述的高光谱遥感图像分类方法，其特征在于：步骤2)中所述将步骤1)中得到的低维高光谱图像输入全卷积网络模型中进行处理，输出处理过程中得到的最后一个卷积层作为特征，具体步骤如下：

步骤21)、读取步骤1)中得到的低维高光谱遥感图像；

步骤22)、引入全卷积网络模型以及模型配置文件，使用的全卷积网络模型为FCN-8s模型，该模型为融合了卷积层7、池化层3、池化层4这三层再进行步长为8的上采样操作所得；

4.根据权利要求1所述的高光谱遥感图像分类方法，其特征在于：所述步骤3)中将步骤2)中得到的特征分为训练集和测试集，具体步骤如下：

5.根据权利要求1所述的高光谱遥感图像分类方法，其特征在于：所述步骤4)用步骤3)中的训练集训练稀疏表示字典，用于构建稀疏字典的方法是K-SVD学习算法，具体步骤如下：

步骤41)、字典初始化，D＝D₀，初始迭代次数k＝1，其中D为字典；

步骤42)、在第k次循环时，采用贪婪算法求解下式：

其中，Y为训练信号，X为训练信号Y的稀疏表示向量，T₀为稀疏度；逐列对字典进行迭代更新的过程并且字典和稀疏向量将被同时进行更新；需要更新的字典为第k列的d_k，令X和D固定，则

其中，表示X的第k行，E_k表示去除第k个原子得到的样本误差矩阵；定义集合为支撑集，更新字典中每个原子；

步骤43)、计算误差矩阵：

步骤44)、由等式其中Ω_k为N×|ω_K|，求得E^k去掉零输入后的收缩结果

步骤45)、使用SVD方法分解矩阵得到更新字典，选择为U的第一列，同时更新稀疏向量选择V的第一列与Δ(1,1)的乘积；

步骤46)、得到字典后，重复步骤42)到步骤45)，对字典各列进行更新，直到更新完所有列，满足迭代终止条件；

步骤47)：输出过完备字典D。

6.根据权利要求1所述的高光谱遥感图像分类方法，其特征在于：所述步骤5)对测试集进行稀疏重构并得到分类结果；在字典已知的条件下，对输入信号进行稀疏表示，从而得到稀疏系数；对于一个测试样本，由稀疏系数得到字典中与该样本最为匹配的列，即该样本所属的类；使用的重构方法是正交匹配追踪算法，具体步骤如下：

步骤51)、输入字典D＝[d₁,d₂...d_N]，测量信号x，稀疏度K，初始化冗余r₀＝x，支撑索引集初始迭代k＝1；

步骤52)、在第k次循环，寻找支撑索引：

步骤54)、更新残差：

步骤56)、输出支撑索引集Λ_k＝Λ_k-1，稀疏系数

步骤57)、经过重构找到字典中最匹配的类，输出分类结果。

分类结果为一个二维矩阵；该矩阵中，原始高光谱遥感图像中的每一个像素所对应的位置上的数值代表该像素所属的类别。