CN109753996B

CN109753996B - 基于三维轻量化深度网络的高光谱图像分类方法

Info

Publication number: CN109753996B
Application number: CN201811542534.1A
Authority: CN
Inventors: 李映; 张号逵; 白宗文; 王婷
Original assignee: Northwestern Polytechnical University
Current assignee: Northwestern Polytechnical University
Priority date: 2018-12-17
Filing date: 2018-12-17
Publication date: 2022-05-10
Anticipated expiration: 2038-12-17
Also published as: CN109753996A

Abstract

本发明提出的一种基于三维轻量化深度网络的高光谱图像分类方法，通过构建三位轻量化深度网络，实现了有限样本条件下，高光谱图像深度特征的自主提取，高精度的分类。本发明与现有的基于深度学习的高光谱图像分类方法相比，网络模型更深，精度更高，且参数量更少。

Description

基于三维轻量化深度网络的高光谱图像分类方法

技术领域

本发明涉及一种基于三维轻量化深度网络的高光谱图像分类方法，属遥感图像处理领域。

背景技术

高光谱图像同时包含光谱信息和空间信息，在军事及民用领域都有着重要的应用。然而，高光谱图像的高维特性、波段间高度相关性、光谱混合等使得高光谱图像分类面临巨大挑战。近年来，随着深度学习新技术的出现，基于深度学习的高光谱图像分类在方法和性能上得到了突破性的进展。但是，深度学习的模型参数较多，需要大量的训练样本。在深度学习相关技术中，一般来说，有效的增加网络深度对于提升网络的性能非常重要。然而高光谱图像有标注的样本相对较少，难以完全满足深层次深度学习模型的训练，容易出现过拟合问题。因此，研究适于高光谱图像高精度分类的深度模型一直是一项具有挑战性的任务，迫切需要一种算法能够在有限样本条件下，实现高精度的高光谱图像分类。

高光谱图像分类问题旨在给定一副具有部分标注像素的图像，通过相关算法，预测出图像中所有像素对应的具体地物类别。传统的高光谱图像分类方法一般利用人工预设特征，例如SIFT，HOG，PHOG等，从高光谱图像中提取特征，然后借由多层感知器，支持向量机等模型来分类。但是这些人工预设特征的设计及选取依赖专业性知识，且很难选取一种有通用性的特征。

近年来，随着深度学习的兴起，完全数据驱动和不需要先验知识的深度神经网络在图像处理和计算机视觉等领域展现出了突出的优势，其应用范围涵盖了高级图像识别、中低级图像处理等诸多方面，例如目标识别、检测、分类和图像去噪、动态去模糊、重建等等。高光谱图像分类领域也引入了深度学习的相关技术，且取得了明显优于传统方法的分类效果。但是，受高光谱图像训练样本数量的限制，应用在高光谱图像分类中的深度学习模型相对较浅，尽管计算机视觉方面大量实验已经表明有效的增加深度对于提升分类表现非常有益。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，针对高光谱图像分类问题，结合深度学习相关技术，设计一种在有限样本条件下能够实现高精度分类的算法。

技术方案

一种基于三维轻量化深度网络的高光谱图像分类方法，其特征在于步骤如下：

步骤1：数据预处理：将待处理的高光谱图像数据进行最大最小归一化，归一化公式如下：

其中，x_min、x_max分别表示整个高光谱图像数据集中的最小值和最大值，x_ij表示位于图像中(i,j)位置的原始数据值，

表示经过归一化之后的结果；

步骤2：数据划分：统计待处理的高光谱图像中，各个类别标注样本的个数，然后按照比例，从每个类别中，抽取5％-10％的标注样本作为训练数据，剩余的部分作为测试数据；具体做法如下，对于一个尺寸为M×N×L的三维高光谱图像数据，M，N分别表示高光谱图像的高和宽，L表示数据的波段数；抽取样本时，以待处理像素为中心，抽取S×S×L的数据块作为中心像素的样本数据，S表示邻域大小；

步骤3：构建三维轻量化深度网络模型：设计网络依次包含了两部分结构：1)特征提取部分，该部分包含了基于不对称三维卷积网络的数据处理模块及多组轻量化模块构成的特征提取模块，所述的数据处理模块包含一个不对称的三维卷积层，归一化层，激励函数及池化层，其中不对称三维卷积层采用结构不对称的三维卷积核，归一化采用了batchnormalization，激励函数采用了ReLU，池化层采用了三维最大池化操作；数据经不对称卷积层处理之后，再利用轻量化模块构成的结构进一步进行特征提取；

2)分类部分，该部分由一个三维的自适应平均池化层和宽度为256的全连接层构成，三维自适应评价池化层会根据输入数据调整池化操作的核的尺寸及步长，能够将任何维度的输入数据处理成固定尺寸的输出数据；因此，在处理光谱维度不同的高光谱图像数据时，全连接层的宽度无需针对数据进行调整变化；

步骤4：训练网络模型：将训练数据批量地输入到构建好的三维轻量化深度网络中，以标注的类别为指导信息，利用梯度下降算法对网络参数进行训练，直至网络收敛；训练过程中，每次随机不重复的从训练集里抽取10-20个样本为一批训练数据，将该数据输入到网络，抽取特征并计算预测结果，以预测结果与实际结果之间的交叉熵为损失函数，计算网络权值的偏导数，并利用梯度下降算法，更新网络参数；训练过程遍历整个训练集一次为一轮训练；

步骤5：生成分类结果：基于训练过的模型，对高光谱图像中所有像素进行类别预测，然后将预测的类别放到对应的位置，得到分类结果图。

步骤2中的S取27。

步骤3中的多组轻量化模块为四组轻量化模块，依次包含1个宽度为32的轻量化模块2，2个宽度均为64的轻量化模块1和轻量化模块2，两个宽度均为128的轻量化模块1和轻量化模块2，一个宽度为256的轻量化模块1；所述的轻量化模块1的结构：从输入端到输出端，轻量化模块1右侧主干部分依次包含一个point-wise卷积层，三维的depth-wise卷积层，还有另一个point-wise卷积层；第一个point-wise卷积层及三维depth-wise卷积层后均接着一个batch normaliaztion层和ReLU激励层；第二个point-wise卷积层后边仅有一个batch normalization层，左侧分枝结构依次包含一个窗口宽度为3，步长为2的平均池化层和一个point-wise卷积层，在右侧主干和左侧分枝结构通过按元素逐元素相加合并后会经过一个ReLU激励层得到模块的输出；所述的轻量化模块2的结构：右侧主干部分与轻量化模块1结构类似，左侧分枝部分不包含任何参数，是一个恒等映射。

步骤4中整个训练过程进行60轮，前50轮学习率设为0.01，最后10轮，学习率衰减到0.001，整个训练过程中，动量项设为0.9。

有益效果

附图说明

图1基于三维轻量化深度网络的高光谱图像分类方法流程图

图2轻量化模块1，有特征尺度压缩功能的轻量化模块

图3轻量化模块2，特征提取轻量化模块

图4三维轻量化深度网络结构示意图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明的技术方案是基于三维轻量化深度网络的高光谱图像分类方法。该方法从待处理的高光谱图像中，提取少量有标注的样本对本技术方案中所提出的三维轻量化深度网络进行训练，然后利用训练好的网络模型对整副图像进行分类。

本技术方案的具体措施如下：

步骤1：数据预处理。待处理的高光谱图像数据进行最大最小归一化。

步骤2：数据划分。统计待处理的高光谱图像中，各个类别标注样本的个数，然后按照比例，从每个类别中，抽取5％-10％的标注样本作为训练数据，剩余的部分作为测试数据。

步骤3：构建网络模型。本发明所构建的网络结构依次包含两部分，1)特征提取部分，由不对称的三维卷积层，可学习的归一化层(batch normalization)，激励函数(ReLU)及三维的最大池化层(max pooling)及四组不同宽度的轻量化模块构成。2)三维自适应平均池化层及全连接层构成的分类部分。

步骤4：训练网络模型。将训练数据批量的输入到构建好的三维轻量化深度网络中，以标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛。在测试数据上评估网络精度。

步骤5：生成分类结果。基于训练过的模型，对高光谱图像中所有像素进行类别预测，然后将预测的类别放到对应的位置，得到分类结果图。

下面结合附图对本发明进一步说明：

基于三维轻量化网络的高光谱图像分类方法

步骤1：数据预处理。待处理的高光谱图像数据进行最大最小归一化，归一化公式如下：

表示经过归一化之后的结果；

步骤2：数据划分。统计待处理的高光谱图像中，各个类别标注样本的个数，然后按照比例，从每个类别中，抽取5％-10％的标注样本作为训练数据，剩余的部分作为测试数据。具体做法如下，对于一个尺寸为M×N×L的三维高光谱图像数据，M，N分别表示高光谱图像的高和宽，L表示数据的波段数。抽取样本时，以待处理像素为中心，抽取S×S×L的数据块作为中心像素的样本数据，S表示邻域大小，一般取27。

步骤3：构建网络模型。本发明设计的网络依次包含了两部分结构：1)特征提取部分，该部分包含了基于不对称三维卷积网络的数据处理模块及多组轻量化模块构成的特征提取模块。数据处理模块主要包含了一个不对称的三维卷积层，归一化层，激励函数及池化层。其中不对称三维卷积层采用结构不对称的三维卷积核，该卷积核在光谱维尺寸大于空间维尺寸，从而起到在该处理模块处理数据过程中更注重光谱维信息的作用，例如，卷积层可采用光谱维尺度为8，空间维尺度为3×3的卷积核，并将卷积层宽度设为32。该模块中，归一化采用了batch normalization，激励函数采用了ReLU，池化层采用了三维最大池化操作。数据经不对称卷积层处理之后，再利用轻量化模块构成的结构进一步进行特征提取。四组轻量化模块依次包含1个宽度为32的轻量化模块，2个宽度为64的轻量化模块，两个宽度为128的轻量化模块，一个宽度为256的轻量化模块。根据具体数据的不同，该结构也可以适当的进行增减。轻量化模块包含两种不同的结构，有特征尺度压缩功能的轻量化模块1。从输入端到输出端，轻量化模块1右侧主干部分依次包含一个point-wise卷积层，三维的depth-wise卷积层，还有另一个point-wise卷积层。第一个point-wise卷积层及三维depth-wise卷积层后均接着一个batch normaliaztion层和ReLU激励层。第二个point-wise卷积层后边仅有一个batch normalization层，在主干和左侧的分枝结构通过按元素逐元素相加合并后会经过一个ReLU激励层得到模块的输出。左侧分枝结构依次包含一个窗口宽度为3，步长为2的平均池化层和一个point-wise卷积层，具体结构如图2所示。轻量化模块2，右侧主干部分与轻量化模块1结构类似，左侧分枝部分不包含任何参数，是一个恒等映射，具体结构如图3所示。模型整体结构参照图4。

2)分类部分。该部分由一个三维的自适应平均池化层和宽度为256的全连接层构成。三维自适应评价池化层会根据输入数据调整池化操作的核的尺寸及步长，能够将任何纬度的输入数据处理成固定尺寸的输出数据。因此，在处理光谱纬度不同的高光谱图像数据时，全连接层的宽度无需针对数据进行调整变化。网络整体结构请参照图4。

步骤4：训练网络模型。将训练数据批量地输入到构建好的三维轻量化深度网络中，以标注的类别为指导信息，利用梯度下降算法对网络参数进行训练，直至网络收敛。训练过程中，每次随机不重复的从训练集里抽取10-20样本为一批训练数据，将该数据输入到网络，抽取特征并计算预测结果，以预测结果与实际结果之间的交叉熵为损失函数，计算网络权值的偏导数，并利用梯度下降算法，更新网络参数。训练过程便利整个训练集一次为一轮训练。整个训练过程进行60轮，前50轮学习率设为0.01，最后10轮，学习率衰减到0.001。整个训练过程中，动量项设为0.9。

Claims

1.一种基于三维轻量化深度网络的高光谱图像分类方法，其特征在于步骤如下：

表示经过归一化之后的结果；

步骤3中的多组轻量化模块为四组轻量化模块，依次包含1个宽度为32的轻量化模块2，2个宽度均为64的轻量化模块1和轻量化模块2，两个宽度均为128的轻量化模块1和轻量化模块2，一个宽度为256的轻量化模块1；所述的轻量化模块1的结构：从输入端到输出端，轻量化模块1右侧主干部分依次包含一个point-wise卷积层，三维的depth-wise卷积层，还有另一个point-wise卷积层；第一个point-wise卷积层及三维depth-wise卷积层后均接着一个batch normaliaztion层和ReLU激励层；第二个point-wise卷积层后边仅有一个batchnormalization层，左侧分枝结构依次包含一个窗口宽度为3，步长为2的平均池化层和一个point-wise卷积层，在右侧主干和左侧分枝结构通过按元素逐元素相加合并后会经过一个ReLU激励层得到模块的输出；所述的轻量化模块2的结构：右侧主干部分与轻量化模块1结构类似，左侧分枝部分不包含任何参数，是一个恒等映射；

2.据权利要求1所述的一种基于三维轻量化深度网络的高光谱图像分类方法，其特征在于步骤2中的S取27。

3.根据权利要求1所述的一种基于三维轻量化深度网络的高光谱图像分类方法，其特征在于步骤4中整个训练过程进行60轮，前50轮学习率设为0.01，最后10轮，学习率衰减到0.001，整个训练过程中，动量项设为0.9。