CN110222773B - 基于不对称分解卷积网络的高光谱图像小样本分类方法 - Google Patents

Abstract

本发明涉及一种基于不对称分解卷积网络的高光谱图像小样本分类方法，首先，构建不对称分解三维卷机网络模型，从多个不同传感器采集的预训练高光谱图像数据中提取所有有标注的样本构建混合了多个高光谱图像样本的预训练数据，并利用预训练数据对构建的网络模型进行预训练。之后，将经过预训练的模型迁移到目标高光谱图像数据上来，从目标高光谱图像数据中提取少量有标注的样本作为训练数据，并对迁移后的模型进行微调。最后，利用经过微调的网络模型对整个目标高光谱图像数据集进行分类。与现有的基于深度学习的高光谱图像分类方法相比，网络模型更深，精度更高，且参数量更少。

Description

基于不对称分解卷积网络的高光谱图像小样本分类方法

技术领域

本发明涉及一种结合三维卷积网络模型和迁移学习方法，在小样本条件下进行高光谱图像高精度分类的方法，属于遥感图像处理领域。

背景技术

高光谱图像同时含有较低分辨率的空间信息和高分辨率的光谱信息，是对地观测的重要数据，在军事及民用领域都有着重要的应用。高光谱图像分类技术，是高光谱图像各项应用技术中非常重要的基础技术。高光谱图像分类问题旨在给定一副具有部分标注像素的图像，通过相关算法，预测出图像中所有像素对应的具体地物类别。

高光谱图像存在数据维度高、相邻波段存在相关性、混合像元及可获取的样本数据少等问题，使得高光谱图像分类技术的发展面临巨大挑战。传统的高光谱图像分类方法一般利用人工预设特征，例如SIFT，HOG，PHOG等，从高光谱图像中提取特征，然后借由多层感知器，支持向量机等模型来分类。但是这些人工预设特征的设计及选取依赖专业性知识，且很难选取一种有通用性的特征。近年来，随着深度学习的兴起，完全数据驱动和不需要先验知识的深度神经网络在图像处理和计算机视觉等领域展现出了突出的优势，其应用范围涵盖了高级图像识别、中低级图像处理等诸多方面，例如目标识别、检测、分类和图像去噪、动态去模糊、重建等等。基于深度学习的高光谱图像分类在方法和性能上得到了突破性的进展，取得了明显优于传统方法的分类效果。

但是，现有的基于深度学习的高光谱图像分类方法主要是将应用在计算机视觉问题上的深度网络模型应用在高光谱图像分类问题上，而不是根据高光谱图像的特点，针对性的构建适用的网络结构。此外，性能强大的深度网络模型通常含有大量的参数，需要大量的训练样本。高光谱图像的小样本问题严重阻碍着性能更强的深度模型在高光谱图像分类方面的应用，也阻碍着分类精度进一步的提升。因此，针对高光谱图像的特点，搭建适用的深度网络模型，设计在小样本条件下，实现高光谱图像高精度分类的方法是一项具有挑战性的任务，但同时也是高光谱图像分类领域迫切需要的。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，针对高光谱图像分类问题，结合深度学习相关技术及迁移学习算法，本发明提出一种在小样本条件下能够实现高精度分类的算法。

技术方案

一种基于不对称分解卷积网络的高光谱图像小样本分类方法，其特征在于步骤如下：

步骤1：数据预处理

按照最大最小归一化方法对预训练高光谱图像数据集和目标图像数据集进行归一化操作；

步骤2：划分预训练集

提取预训所有高光谱图像数据集中的所有标注样本，生成融合多个高光谱图像数据的混合数据集，从每个类别中选取少量样本，保留作为验证集，其余样本作为预训练集；

步骤3：划分训练集

提取目标高光谱图像数据集中所有样本，从每类中选取少量样本作为训练集，剩余部分作为测试集；

步骤4：构建高光谱图像分类网络模型

所述的高光谱图像分类网络模型依次包含两部分：1)特征提取部分，该部分依次包含了一个卷积层，一个分解结构体1，两个分解结构体2，一个分解结构体1；第一个卷积层后边，及前三个分解结构体后边均有一个窗口大小均为3、步长均为2的池化层；卷积层由尺寸为3*3*8的卷积核构成，宽度为32；四个分解结构体的宽度依次是32、64、128、256；2)分类部分，该部分包含一个自适应全局池化层及一个全连接分类层；

所述的分解结构体1依次包含一个空间集成模块、光谱集成模块；分解结构体2包含了一个空间集成模块和两个光谱集成模块；空间集成模块包含三条分支通道，第一条通道由一个pointwise卷积层构成，第二条通道由一个pointwise卷积层和一个卷积核尺寸为3*3*1的卷积层构成，第三条通道由一个pointwise卷积层和两个卷积核尺寸为3*3*1的卷积层构成；每个分支通道内，各个卷积层的宽度保持一致；三条分支通道的宽度比例为1:2:1；将空间集成模块中，所有卷积核尺寸为3*3*1的卷积层替换为卷积核尺寸为1*1*3的卷积层即得到光谱集成模块；

步骤5：预训练

预训练集包含多个不同的高光谱图像数据集，依照样本来源，按数据集将样本分为多组，依次用这些组的样本对构建好的网络模型进行预训练；

步骤6：生成迁移模型

得到经过多个高光谱图像数据集预训练的模型之后，对模型中的分类部分重新进行随机初始化；其余部分保留预训练得到的结果；得到新的针对目标高光谱图像数据集的迁移模型；

步骤7：训练迁移模型

将训练数据批量的输入到迁移模型中，以标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛；在测试数据上评估网络精度；

步骤8：生成分类结果

基于训练过的模型，对高光谱图像中所有像素进行类别预测，然后将预测的类别放到对应的位置，得到分类结果图。

有益效果

本发明通结合不对称分解三维卷机网络和数据融合迁移学习，实现了有限样本条件下，高光谱图像深度特征的自主提取，高精度的分类。本发明与现有的基于深度学习的高光谱图像分类方法相比，网络模型更深，精度更高，且参数量更少。

附图说明

图1模块1

图2模块2

图3网络结构示意图

图4算法流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明的技术方案是基于不对称分解三维卷积网络和数据融合迁移学习的高光谱图像分类方法。首先，构建不对称分解三维卷机网络模型，从多个不同传感器采集的预训练高光谱图像数据中提取所有有标注的样本构建混合了多个高光谱图像样本的预训练数据，并利用预训练数据对构建的网络模型进行预训练。之后，将经过预训练的模型迁移到目标高光谱图像数据上来，从目标高光谱图像数据中提取少量有标注的样本作为训练数据，并对迁移后的模型进行微调。最后，利用经过微调的网络模型对整个目标高光谱图像数据集进行分类。

注意，本发明中所设计的不对称分解三维卷积网络也可以舍弃预训练及模型迁移过程，直接采用随机初始化，并利用从目标高光谱图像数据集上提取的少量样本进行训练。之后利用经过训练的模型对整个目标高光谱图像数据集进行分类。

本技术方案的具体措施如下：

步骤1：数据预处理。按照最大最小归一化方法对预训练高光谱图像数据集和目标图像数据集进行归一化操作。

步骤2：划分预训练集。提取预训所有高光谱图像数据集中的所有标注样本，生成融合多个高光谱图像数据的混合数据集，从每个类别中选取少量样本，保留作为验证集，其余样本作为预训练集。

步骤3：划分训练集。提取目标高光谱图像数据集中所有样本，从每类中选取少量样本作为训练集，剩余部分作为测试集。

步骤4：构建网络模型。利用本发明中提出的不对称三维卷机模块构建高效的高光谱图像分类网络。

步骤5：预训练。预训练集包含多个不同的高光谱图像数据集，依照样本来源，按数据集将样本分为多组，依次用这些组的样本对构建好的网络模型进行预训练。

步骤6：生成迁移模型。得到经过多个高光谱图像数据集预训练的模型之后，对模型中的分类部分重新进行随机初始化。其余部分保留预训练得到的结果。得到新的，针对目标高光谱图像数据集的迁移模型。

步骤7：训练迁移模型。将训练数据批量的输入到构建好的三维轻量化深度网络中，以标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛。在测试数据上评估网络精度。

步骤8：生成分类结果。基于训练过的模型，对高光谱图像中所有像素进行类别预测，然后将预测的类别放到对应的位置，得到分类结果图。

具体如下：

步骤1：数据预处理。按照最大最小归一化方法对预训练高光谱图像数据集和目标图像数据集进行归一化操作。

步骤2：划分预训练集。提取预训所有高光谱图像数据集中的所有标注样本，生成融合多个高光谱图像数据的混合数据集，从每个类别中选取约50-200个样本，保留作为验证集，其余样本作为预训练集。具体做法如下，对于一个尺寸为M*N*L的三维高光谱图像数据，M，N分别表示高光谱图像的高和宽，L表示数据的波段数。抽取样本时，以待处理像素为中心，抽取S*S*L的数据块作为中心像素的样本数据，S表示邻域大小，一般取27。

步骤3：划分训练集。提取目标高光谱图像数据集中所有样本，各个类别标注样本的个数，然后按照比例，从每个类别中，抽取5％-10％的标注样本作为训练数据，剩余的部分作为测试数据。

步骤4：构建网络模型。利用本发明中提出的不对称三维卷积模块构建高效的高光谱图像分类网络。本发明中提出了两种不对称分解三维卷积网络结构体，为方便区分期间，将其称为分解结构体1，分解结构体2。分解结构体1依次包含一个空间集成模块(参照图1)，光谱集成模块(参照图2)。空间集成模块包含三条分支通道，第一条通道由一个pointwise卷积层构成，第二条通道由一个pointwise卷积层和一个卷积核尺寸为3*3*1的卷积层构成，第三条通道由一个pointwise卷积层和两个卷积核尺寸为3*3*1的卷积层构成。每个分支通道内，各个卷积层的宽度保持一致。三条分支通道的宽度比例为1:2:1。将空间集成模块中，所有卷积核尺寸为3*3*1的卷积层替换为卷积核尺寸为1*1*3的卷积层即得到光谱集成模块。分解结构体2包含了一个空间集成模块和两个光谱集成模块。本发明中所提出的网络模型依次包含两部分：1)特征提取部分，该部分依次包含了一个卷积层，一个分解结构体1，两个分解结构体2，一个分解结构体1。第一个卷积层后边，及前三个分解结构体后边均有一个池化层。池化层的窗口大小均为3，步长均为2。第一个卷积层由尺寸为3*3*8的卷积核构成，宽度为32.四个分解结构体的宽度依次是32，64，128，256。2)分类部分，该部分包含一个自适应全局池化层及一个全连接分类层。自适应全局池化层能将任何尺寸的输入数据转化成256维的特征向量。网络的具体结构参照图3。根据具体数据的不同，该结构中特征提取部分的模块数量及宽度也可以适当的进行调整。

步骤5：预训练。预训练集包含多个不同的高光谱图像数据集(一般为1-3个数据集)，将从同一个数据集中提取得到的样本分为一组，依次用这些组的样本对构建好的网络模型进行预训练。训练过程为：首先，在第一组预训练数据上，每次随机不重复的从改组预训练集里抽取10-20个样本为一批训练数据，将该数据输入到网络，抽取特征并计算预测结果，以预测结果与实际结果之间的交叉熵为损失函数，计算网络权值的偏导数，并利用梯度下降算法，更新网络参数。训练过程便利整个训练集一次为一轮训练。整个训练过程进行20轮，整个网络的学习率设为0.01，动量项设为0.9。第一组预训练数据上训练完成之后，根据第二组数据的样本类别数，重新随机初始化网络中的分类部分。然后开始新的训练，整个训练过程进行20轮，特征提取部分的学习率设为0.001，分类器部分的学习率设为0.01，整个网络的动量项设为0.9。需要在新的一组预训练数据集上再次进行训练的时候，重新随机初始化分类部分，按照第二组数据上的设置，重新训练。依次类推，直到在所有的预训练数据集上都完成了训练，则预训练过程结束。在预训练的过程中，需要观测模型在验证集上的表现，防止模型过拟合和提前结束训练。

步骤6：生成迁移模型。得到经过多个高光谱图像数据集预训练的模型之后，对模型中的分类部分重新进行随机初始化。其余部分保留预训练得到的结果。得到新的，针对目标高光谱图像数据集的迁移模型。

步骤7：训练迁移模型。将训练数据批量的输入到步骤6中生成的迁移模块中，以标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛。整个训练过程进行60轮，前50轮学习率设为0.01，最后10轮，学习率衰减到0.001。整个训练过程中，动量项设为0.9。在测试数据上评估网络精度。

步骤8：生成分类结果。基于训练过的模型，对高光谱图像中所有像素进行类别预测，然后将预测的类别放到对应的位置，得到分类结果图。

Claims (1)

1.一种基于不对称分解卷积网络的高光谱图像小样本分类方法，其特征在于步骤如下：

步骤1：数据预处理

按照最大最小归一化方法对预训练高光谱图像数据集和目标图像数据集进行归一化操作；

步骤2：划分预训练集

提取预训所有高光谱图像数据集中的所有标注样本，生成融合多个高光谱图像数据的混合数据集，从每个类别中选取少量样本，保留作为验证集，其余样本作为预训练集；

步骤3：划分训练集

提取目标高光谱图像数据集中所有样本，从每类中选取少量样本作为训练集，剩余部分作为测试集；

步骤4：构建高光谱图像分类网络模型

所述的高光谱图像分类网络模型依次包含两部分：1)特征提取部分，该部分依次包含了一个卷积层，一个分解结构体1，两个分解结构体2，一个分解结构体1；第一个卷积层后边，及前三个分解结构体后边均有一个窗口大小均为3、步长均为2的池化层；卷积层由尺寸为3*3*8的卷积核构成，宽度为32；四个分解结构体的宽度依次是32、64、128、256；2)分类部分，该部分包含一个自适应全局池化层及一个全连接分类层；

所述的分解结构体1依次包含一个空间集成模块、光谱集成模块；分解结构体2包含了一个空间集成模块和两个光谱集成模块；空间集成模块包含三条分支通道，第一条通道由一个pointwise卷积层构成，第二条通道由一个pointwise卷积层和一个卷积核尺寸为3*3*1的卷积层构成，第三条通道由一个pointwise卷积层和两个卷积核尺寸为3*3*1的卷积层构成；每个分支通道内，各个卷积层的宽度保持一致；三条分支通道的宽度比例为1:2:1；将空间集成模块中，所有卷积核尺寸为3*3*1的卷积层替换为卷积核尺寸为1*1*3的卷积层即得到光谱集成模块；

步骤5：预训练

预训练集包含多个不同的高光谱图像数据集，依照样本来源，按数据集将样本分为多组，依次用这些组的样本对构建好的网络模型进行预训练；

步骤6：生成迁移模型

得到经过多个高光谱图像数据集预训练的模型之后，对模型中的分类部分重新进行随机初始化；其余部分保留预训练得到的结果；得到新的针对目标高光谱图像数据集的迁移模型；

步骤7：训练迁移模型

将训练数据批量的输入到迁移模型中，以标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛；在测试数据上评估网络精度；

步骤8：生成分类结果

基于训练过的模型，对高光谱图像中所有像素进行类别预测，然后将预测的类别放到对应的位置，得到分类结果图。

Images