CN111626267A - 一种利用空洞卷积的高光谱遥感图像分类方法 - Google Patents

Abstract

本发明涉及人工智能的深度学习与图像分类处理领域，尤其涉及利用深度卷积神经网络对高光谱图像的地物分类。在模型训练阶段，首先将待分类高光谱图像转换为带标签的单像素的多维图像，通过利用基于空洞卷积组合模型提取单像素的特征图谱，再构建一个具有三个卷积层、三个激活层的卷积神经网络提取主要特征，最后利用一层全连接和Softmax函数做分类器，完成单像素分类。本发明充分利用了高光谱遥感图像的光谱信息，解决了空洞卷积中的网格化问题，扩大了卷积感受野，提高了卷积效率，在减少参数量同时，提高了分类精度，是一种精确到像素的高效且轻量级的深度空洞卷积神经网络的高光谱遥感图像分类方法。

Description

一种利用空洞卷积的高光谱遥感图像分类方法

针对应用深度卷积网络(DCNN)对高光谱遥感图像分类出现维度“灾难”及光谱特征信息利用不足的问题，将深度卷积神经网络的空洞卷积结构应用到高光谱遥感图像无损谱域特征的学习中，发明了一种利用空洞卷积的轻量级网络模型对高光谱遥感图像进行像素级分类的方法，解决了空洞卷积中的Gridding问题，扩大了深度卷积网络感受野，提高了卷积效率，减少参数量，保持较高的分类精度。

技术领域

本发明涉及人工智能的深度学习与图像分类处理领域，尤其涉及利用深度卷积神经网络对高光谱图像的地物分类。

背景技术

高光谱遥感技术有着以往宽波段遥感技术不可比拟的优势，能同时获取光谱信息和空间信息，光谱分辨率为纳米级，光谱波段多达数百个，可以覆盖紫外、可见光、近红外、远红外波段范围，可实现图谱合一，因此高光谱图像常用于地物的精细分类。近年来高光谱图像传感器的空间分辨率大有提高，从最早的由AVIRIS传感器获取1992年Indian pines数据集空间分辨率为20米到同样是AVIRIS传感器获取的Salinas数据集，空间分辨到3.7米，机载反射光学光谱成像仪(Reflective Optics Spectrographic Imaging System，ROSIS-03)获取Pavia University数据集空间分辨率为1.3米，随着空间分辨率的提高，光谱特征的丰富，混合像素数量大幅降低，高光谱图像的分辨率可高达5～10纳米，单像素的材质属性更为显著，对微小目标的定性探测更为可行。

卷积神经网络CNN(Convolutional Neural Networks)即通过卷积、下采样等级联操作，学习到样本的特征图，通过多次的反馈优化，自动学习，最终得到层次化的特征表示。目前，CNN朝着深度方向发展，产生了很多DCNN的经典框架，例如：含有多隐含层的AlexNet架构、仅用小核卷积且普适性强的VGG16架构、精细构造的GoogleNet架构以及引入残差更容易训练的ResNet架构等，这些架构在ImageNet、PASCAL VOC等数据集上取得了优异的目标识别和分类结果，证明了深度学习方法是图像分类和目标识别的有效工具。但是在常见的目标识别与分类场景中，其输入数据为彩色图像，光谱维度只有RGB三维，但高光谱有上百维，若直接将其放入深度学习模型中会产生维度灾难，实现困难。

目前，高光谱遥感图像分类算法主要分为两大类，基于光谱信息匹配的分类算法和基于统计学习的分类算法：

(1)基于光谱信息匹配的分类方法，例如：最小距离测度、二进制编码匹配、光谱角填图及光谱信息散度等等直接借助于光谱库中已知的光谱信息，采用匹配算法直接鉴别并识别图像中的地物类型，这种方法既可用全波段的光谱信息比较和匹配，也可选取部分感兴趣的光谱波段信息进行匹配，以达到分类的目的。目前，这类算法主要在一些高光谱图像处理软件中用到，适用范围和分类精度都有限。

(2)基于统计学的分类方法，例如：基于支持向量机、基于PCA的分类方法、基于稀疏矩阵的分类方法等。这类算法首先将图像信息转换为离散的数字矩阵，利用严密的数学推导算法区分不同的地物信息，但这种方法要求处理的数据满足一定的条件，例如：符合正态分布或做归一化处理，对数字矩阵要求较高，而且前期的数据处理难免会降低分类的精度。因此，利用卷积神经网络对高光谱遥感图像目前仍存在如下的问题：

1)图像目标分类的模型通过卷积和池化级联，主要学习的是不同尺度下的空间特征，高光谱图像数据集往往空间尺寸较小，直接使用深度学习模型对高光谱图像分类，因其空间特征不足，学习过程会存在Hughes现象，即小样本数目与高光谱维数之间的矛盾。

2)现有的深度学习方法对高光谱图像一般先采用降维，选取能表示物体主要特征的部分维度，再将其送入经典的深度学习模型中训练，然后得到分类结果，但降维过程会造成一定的光谱信息损失，不利于精细分类。

3)顾及高光谱图像空间信息以及波谱信息的深度学习分类方法，由于模型参数数量的增加，对计算机算力的需求也随之变大，训练难度和训练时间都随之增加。因此如何构造轻量级模型，特别是代替全连接层的等思想，使得模型变得轻量级并且有效，成为研究的热点之一。

发明内容

本发明针对多维高光谱遥感图像的单个像素，利用优化组合的轻量级深度卷积神经网络的空洞卷积结构——NG-APC模块，创建了一种对高光谱遥感图像进行像素级分类方法，本发明的方法扩大了特征图的感受野，解决了空洞卷积中的网格化问题，提高了卷积效率，在减少参数量同时，取得了很高的分类精度。在Pavia University公开高光谱数据集进行了试验验证。

具体方案流程为：

一种利用空洞卷积的高光谱遥感图像分类方法，其特征在于，包括以下步骤：

(1)读取一幅带分类标签的高光谱遥感图像，将每个像素与标注好的标签，一起送入模型进行训练；

(2)对步骤(1)中，高光谱遥感图像的单像素，送入NG-APC模块进行基于分支组合的空洞卷积处理，获取特征图谱，其中NG-APC模块为：无网格化(Non-Gridding)的多层级联的空洞卷积轻量级深度学习模块(Non-Gridding Atrous Pyramid Convolution)，称为NG-APC模块；

其中，送入NG-APC模块进行基于分支组合的空洞卷积处理，见附图3，按照如下步骤进行：

(2a)计算NG-APC模块的串行空洞卷积，NG-APC模块的空洞扩展率rate和感受野F，通过为公式(1)、(2)计算得到：

F_d＝F_d-1+2r_d (1)

其中，F表示感受野；r表示空洞扩展率；下标d表示串行卷积中所在的层数；r_d和F_d表示d层卷积的空洞扩展率和感受野；r_dmax和F_dmax表示在保证Non-gridding时，d层卷积的空洞扩展率和感受野可取到的最大值；设F₁表示第一层卷积的感受野，那么：F₁＝(k-1)×r+1，其中k＝3表示卷积核的尺寸，初始设置为r_1max＝1,F_1max＝3,F₁＝3；

(2b)设置NG-APC模块的分支空洞卷积部分，其中分支数可根据实际应用中对感受野的要求设定，默认值为2；设置NG-APC模块的不同分支下达到Non-gridding的空洞卷积级联最大化的空洞扩展率r和感受野F的值：

其中，上标i表示NG-APC模块的第i个分支；

和

为第i个分支、第d层卷积的空洞扩展率和感受野在保证Non-gridding时可取到的最大值；初始值设置为

根据公式(2)、(3)，在已知卷积级联深度为n的前提下，先计算1～n-1层的空洞扩展率和感受野，取值可根据实际情况在保证Non-gridding的情况下适当缩小；

(2c)根据公式(3)计算第n层卷积的第i个分支的r和F；

(2d)根据NG-APC模块中空洞扩展率和感受野的设置值要求，输入数据的光谱维度的大小，调整选择每个分支中r和F的取值，并计算出输入像素的特征图谱；

(3)使用激活函数Relu对步骤(2)的结果进行特征筛选，其中Relu为激活函数，公式为：f(x)＝max(0,x)，表示取0和x值两者中的最大值；

(4)使用Concat对步骤(3)的结果进行特征组合，其中Concat的作用就是将两个及以上的特征图按照在Channel维度上进行拼接；

(5)对步骤(4)的结果构造一个具有三个卷积层，三个激活层卷积神经网络，提取主要特征；

(6)利用一个全连接层和Softmax函数做分类器，其中Softmax表示输出分类对应的所有分类概率中最大的类别，即属于该类别的可能性概率，公式为：

j为图像中某类别的指数e^j占所有类别数的指数和的比值S_j，T为总的类别数；

(7)对步骤6的分类结果，设定学习率为0.005，优化策略使用随机梯度下降法(SGD)，进行迭代训练得到训练好的深度卷积神经网络；

(8)将测试样本输入到训练好的网络中，得到预测的分类标签，通过与实际标签比对，可测试分类准确率；将待分类高光谱单像素与测试样本的参考标签进行对比，完成高光谱图像的地物分类。

本发明技术方案带来的有益效果

(1)利用串联的且具有分支结构的空洞卷积模型，在使用小卷积核与卷积层数较小的前提下扩大了特征图的感受野，NG-APC模块对空洞卷积合理组合解决了空洞卷积中的网格化(Gridding)问题。提高了卷积效率，对高光谱图像的光谱信息进行了无损的全学习；

(2)模型中使用三个卷积层加一个全连接层取代两个全连接层，减少了学习参数量；

(3)高光谱图像的分类结果是精准到像素的，在较少计算力的情况下获取较高的分类准确率，最终得到单个高光谱像素的分类标签；

(4)模型虽然使用了15层的深度学习，但仍属于轻量级模型，由于模型训练所需的数据量要求小，对单幅的高光谱遥感图像可得到较高精确度的结果，可满足小型移动设备中的应用。

附图说明

图1a.Kernel大小为1×3的1维空洞卷积，Rate＝1、2、4；

b.Kernel大小为3×3的2维空洞卷积，Rate＝1、2、4；

图2空洞卷积网格化与无网格化问题示意图；

a.三层同样大小Rate的空洞卷积级联；

b.Rate分别为1、3、9和1、3、18的三层空洞卷积级联后拼接；

图3NG-APC 1-D的深度卷积模块流程图；

图4NG-APC模块进行高光谱图像分类模型图；

具体实施方式

下面结合附图对本发明技术方案进一步说明。

为了方便本发明中技术描述，首先进行了以下定义：

(1)网格化(Gridding)与无网格化(Non-gridding)问题：通过卷积核获取高光谱遥感图像的特征时，空洞卷积得到的某一层的结果中，某个像素临近的像素特征是由相互独立的子集中得到的，结果会出现上一层像素特征取不到的情况，称之为网格化问题。而无网格化问题是指消除了网格化问题后的情况。详见说明书附图2。

(2)远距离获取的信息没有相关性：由于空洞卷积稀疏的采样输入信号，使得远距离卷积得到的信息之间没有相关性，影响分类结果。

(3)Rate：空洞扩展率(两个采样点之间的距离)取值为大于零的整数，Rate缺省值为1，表示两个采样点之间没有空洞，Rate大于1时为空洞卷积。

(4)F：感受野(Receptive field)，是一个特定的CNN特征(特征图上的某个点)在输入空间所受影响的区域。

本方法利用深度空洞卷积神经网络对高光谱图像单像素进行精确分类。具体步骤如下：

(一)高光谱图像预处理，读取高光谱图像的数据；

利用Matlab软件的图像读取模块，或Python开源的Spectral模块，读取一幅带人工标记的分类标签的高光谱遥感图像，将多维高光谱图像处理成1×1×band numbers维度的数据图像，并且将每个像素跟标注好的标签，一起送入模型进行训练；

(二)对高光谱图像的单像素通过NG-APC模块进行基于分支组合的空洞卷积处理，获取特征图谱；

根据说明书附图1，图1中黑色表示中心像素，与卷积的中心像素对应；深灰色表示通过空洞卷积覆盖到的像素，即可以采样到该位置的特征，与中心像素关联。浅灰色表示空洞，即该卷积操作采不到该位置的特征，那么在一维情况下，感受野受空洞扩展率与卷积核大小的影响关系式为：

F＝(k-1)×r+1 (4)

其中，F为一维感受野，k为卷积核的尺寸，r为空洞扩展率(dilated rate)。由公式(4)可得，空洞的大小为r-1。以一维的空洞卷积为例，在kernel＝3，rate＝4情况下F＝9。由此可见，通过一层空洞卷积，可以将距离较远的特征关联到一起，即获取较远距离维度的组合特征。如果要得到同样的感受野，借助标准的卷积实现，可以有三种办法：一是使用大核，kernel＝7，但是参数量扩大了7/3倍；二是通过4层kernel＝3卷积级联实现，参数量扩大了4倍；三是由两层kernel＝3卷积层级联，中间通过最大池化层或者平均池化层连接，参数量扩大了2倍，但在池化时会模糊边界，丢失细节、引入误差。由此可见，空洞卷积在扩大感受野方面有很大的优势。但空洞卷积也出现特征漏采的问题。

解决方案见说明书附图2，图中选用了不同Rate的空洞卷积自上向下进行卷积，图中黑色像素为卷积核的中心像素，其通过不同尺寸空洞卷积与其他位置的特征组合，构造特征图谱，不论空洞的大小和卷积经过的层数，通过卷积的原理可知，卷积后虽然会引入的其他位置的数据，但中心位置的数据会一直存在，图中灰色的部分为通过卷积后与中心像素有关联的位置，即能获取原图中该位置的像素与黑像素的特征组合，组合次数越多，即冗余度越高，则灰色越深。

由说明书附图2.a可见，通过三层Rate＝3的卷积，视域扩大到12，但有效地连接点为5个，黑色像素的临近点均连接不到，那么感受野的有效率(感受野内有效的卷积连接与感受野的尺寸的比值)EF＝5/12，网格化问题明显。由于卷积核有孔洞，所以在连续使用空洞卷积后，会出现数据在感受野内的特征表示不全的问题，也是网格化问题存在的本质原因。

针对网格化问题，本发明中Non-gridding的多层级联的空洞卷积轻量级深度学习模块(Non-Gridding Atrous Pyramid Convolution)，称为NG-APC模块，模块中分成几个分支，先使用不同Rate卷积级联，再分成几个分支分别进行卷积，按照公式(7)设置，可以达到Non-gridding的空洞卷积级联的最大化感受野。

F_d＝F_d-1+2r_d (5)

其中，初始值为r_1max＝1,F_1max＝3,F₁＝3，下标d表示串行卷积中所在的层数，为大于0的整数；r_d和F_d表示d层卷积的空洞扩展率和感受野；r_dmax和F_dmax表示在保证Non-gridding时，d层卷积的空洞扩展率和感受野可取到的最大值；在一维情况下kernel＝3，第一层卷积的感受野F₁计算可见公式(4)。

其中，上标i表示NG-APC模块的第i个分支；

和

为第i个分支、第d层卷积的空洞扩展率和感受野在保证Non-gridding时可取到的最大值；初始值设置为

由公式(6)，(7)可知，在已知卷积级联深度为n的前提下，先计算1～n-1层的rate和可视域，公式(6)给出了满足Non-gridding条件下r和F可取到的最大值，取值可根据实际情况适当缩小，然后再根据公式(6)计算第N层卷积的i个分支的r和F，i可以根据实际应用中，对感受野的要求设定。

如说明书附图2.b所示，模块的分支数为i(默认为2)，也可根据输入维度的大小进行调整。默认情况下，将卷积的最后一层分成两个分支，每个分支用rate不同的空洞卷积，并将卷积后的结果通过激活层后用Concat合并，分支1的r＝9，可达到Non-gridding的最大的F＝27，分支2的r＝18。由公式(6)计算得到，F＝45，漏采的部分正好可以由分支1补齐，因此整体为无网格化的空洞卷积模块(Non-gridding Atrous pyramid convolution)；N为串行卷积层数，默认值为3，可修改；

为每层卷积的rate的大小，根据公式(6)、(7)计算得出，取值不大于

与输入维度m相当，可获取全局最远距离特征。具体流程见说明书附图3；

根据模块中rate和F，获取每个分支下的特征图谱；

(三)使用激活函数Relu对步骤(2)的结果进行特征筛选，其中Relu函数公式为：f(x)＝max(0,x)，表示取0和x值两者中的最大值；

(四)使用Concat对步骤3的结果进行特征组合，其中Concat的作用就是将两个及以上的特征图按照在Channel维度上进行拼接；

(五)对步骤(四)的结果构造一个具有三个卷积层，三个激活层的深度卷积神经网络，提取特征；对特征图谱进行三层1D卷积，stride＝2，最终形成(m/8)×(n/4)的特征图谱。n为卷积核的数量，NG-APC模块中每层卷积核的数量为n，后三层卷积核的数量逐层递减，分别为n/2、n/4、n/8。

(六)通过一个全连接层与Softmax函数做分类器，其中Softmax表示输出输入图片对应概率最大的类别，以及属于该类别的可能性概率，公式为：

j为图片中某类别的指数e^j占所有类别数的指数和的比值S_j，T为总的类别数；

(七)对步骤6的分类结果，设定学习率为0.005，优化策略使用SGD，进行迭代训练得到训练好的深度卷积神经网络；

(八)将测试样本输入到训练好的网络中，得到实际的分类标签，然后将待分类高光谱单像素与测试样本的参考标签进行对比，完成高光谱图像的地物分类。

试验将利用空洞卷积的轻量级网络模型与多种不同的卷积神经网络模型进行了对比，包括：SVM、CNN、基于自编码方法的深度卷积(DCA)、循环神经网络(RNN)、SVM+CNN(SCNN)、空谱联合的深度卷积神经网络(DLCNN)、快速密集谱空间卷积网络(DSSCNN)、基于背景因素的CNN(FCN)、基于光谱空间分类的卷积神经网络(SSCNN)、半监督的卷积神经网络(S2DCNN)、多尺度三维卷积神经网络(MSDCNN)、PCA+CNN(PCA CNN)、深度特征提取的卷积神经网络(DFECNN)。实验的分类效果评价指标采用表示被正确分类的样本数与所有样本数量的比率的总体分类精度(OA)、表示所有类的平均分类准确率平均分类精度(AA)、表示评价分类结果与实际结果一致性程度的指标Kappa系数、算法参数量的大小(Params)、算法运行内存需求(Memory)以及算法运行时间(Time)六个指标。表1表示了十四种模型在PaviaUniversity数据集上获得的分类性能。

表1十四种模型在Pavia University数据集上获得的分类性能

综上可知，本发明充分利用了高光谱遥感图像的光谱信息，解决了空洞卷积中的网格化问题，扩大了卷积感受野，提高了卷积效率，在减少参数量同时，保持较高的分类精度，是一种精确到像素的高效且轻量级的深度空洞卷积神经网络的高光谱遥感图像分类方法。本发明从分类性能的六种指标上来看，呈现出了一定的优势。

Claims (1)

1.一种利用空洞卷积的高光谱遥感图像分类方法，其特征在于，包括以下步骤：

(1)读取一幅带分类标签的高光谱遥感图像，将每个像素与标注好的标签，一起送入模型进行训练；

(2)对步骤(1)中，高光谱遥感图像的单像素，送入NG-APC模块进行基于分支组合的空洞卷积处理，获取特征图谱，其中NG-APC模块为：无网格化(Non-Gridding)多层级联的空洞卷积轻量级深度学习模块(Non-Gridding Atrous Pyramid Convolution)，简称为NG-APC模块；

其中，所述的送入NG-APC模块进行基于分支组合的空洞卷积处理，按照如下步骤进行：

(2a)计算NG-APC模块的串行空洞卷积，NG-APC模块的空洞扩展率rate和感受野F，通过公式(1)、(2)计算得到：

其中，F表示感受野；r表示空洞扩展率；下标d表示串行卷积中所在的层数；r_d和F_d表示d层卷积的空洞扩展率和感受野；r_dmax和F_dmax表示在保证Non-gridding时，d层卷积的空洞扩展率和感受野可取到的最大值；设F₁表示第一层卷积的感受野，F₁＝(k-1)×r+1，其中k＝3表示卷积核的尺寸，初始设置为r_1max＝1,F_1max＝3,F₁＝3；

(2b)设置NG-APC模块的分支空洞卷积部分，其中分支数可根据实际应用中对感受野的要求设定，默认值为2；设置NG-APC模块的不同分支下达到Non-gridding的空洞卷积级联最大化的空洞扩展率r和感受野F的值：

其中，上标i表示NG-APC模块的第i个分支；

和

为第i个分支、第d层卷积的空洞扩展率和感受野在保证Non-gridding时可取到的最大值；初始值设置为

根据公式(2)、(3)，在已知卷积级联深度为n的前提下，先计算1～n-1层的空洞扩展率和感受野，取值可根据实际情况在保证Non-gridding的情况下适当缩小；

(2c)根据公式(3)计算第n层卷积的第i个分支的r和F；

(2d)根据NG-APC模块中空洞扩展率和感受野的设置值要求，输入数据的光谱维度的大小，调整选择每个分支中r和F的取值，并计算出输入像素的特征图谱；

(3)使用激活函数Relu对步骤(2)的结果进行特征筛选，其中Relu为激活函数，公式为：f(x)＝max(0,x)，表示取0和x值两者中的最大值；

(4)使用Concat对步骤(3)的结果进行特征组合，其中Concat的作用就是将两个及以上的特征图按照在通道(Channel)维度上进行拼接；

(5)对步骤(4)的结果构造一个具有三个卷积层，三个激活层卷积神经网络，提取主要特征；

(6)利用一个全连接层和Softmax函数做分类器，其中Softmax表示输出此分类对应的所有分类概率中最大的类别，即属于该类别的可能性概率，公式为：

j＝1…T，j为图像中某类别的指数e^j占所有类别数的指数和的比值S_j，T为总的类别数；

(7)对步骤(6)的分类结果，设定学习率为0.005，优化策略使用随机梯度下降法(SGD)，进行迭代训练，得到训练好的深度卷积神经网络；

(8)将测试样本输入到训练好的网络中，得到预测的分类标签，通过与实际标签比对，可测试分类准确率；将待分类高光谱单像素与测试样本的参考标签进行对比，完成高光谱图像的地物分类。

Images