CN110866552B - 基于全卷积空间传播网络的高光谱图像分类方法 - Google Patents

Abstract

本发明涉及一种基于全卷积空间传播网络的高光谱图像分类方法，针对高光谱图像分类问题，结合深度学习相关技术，首次将基于全卷积空间传播网络应用于高光谱图像分类中。传统的基于卷积神经网络的高光谱图像分类方法都是对图像进行逐像素分类，存在着大量的重复运算，且输入图像的大小对于分类结果有着很大的影响。而全卷积空间传播网络减少了重复运算的同时还可以接受任何尺寸的输入图像，并且充分利用了高光谱图像的空间信息，从而实现一定条件下高光谱图像的高精度分类。

Description

基于全卷积空间传播网络的高光谱图像分类方法

技术领域

本发明涉及一种全卷积空间传播网络高光谱图像分类方法，属遥感图像处理领域。

背景技术

高光谱图像同时包含光谱信息和空间信息，在军事及民用领域都有着重要的应用。 然而，高光谱图像的高维特性、波段间高度相关性、光谱混合等使得高光谱图像分类面临巨大挑战。近年来，随着深度学习新技术的出现，基于深度学习的高光谱图像分 类方法得到了突破性的进展。但是，深度学习模型通常含有大量参数，需要大量的训练样本。而高光谱图像有标注的样本相对较少，难以完全满足深层次深度学习模型的 训练，容易出现过拟合问题。

高光谱图像分类问题旨在给定一副具有部分标注像素的图像，通过相关算法，预测出图像中所有像素对应的具体地物类别。传统的高光谱图像分类方法一般利用人工 预设特征，例如SIFT，HOG，PHOG等，从高光谱图像中提取特征，然后借由多层感 知器，支持向量机等模型来分类。但是这些人工预设特征的设计及选取依赖专业性知识，且很难选取一种有通用性的特征。

近年来，随着深度学习的兴起，完全数据驱动和不需要先验知识的深度神经网络在图像处理和计算机视觉等领域展现出了突出的优势，其应用范围涵盖了高级图像识 别、中低级图像处理等诸多方面，例如目标识别、检测、分类和图像去噪、动态去模 糊、重建等等。高光谱图像分类领域也引入了深度学习的相关技术，且取得了明显优于传统方法的分类效果。但是，受高光谱图像训练样本数量的限制，应用在高光谱图 像分类中的深度学习模型相对较浅，尽管计算机视觉方面大量实验已经表明有效的增 加深度对于提升分类表现非常有益。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于全卷积空间传播网络的高光谱图像分类方法。

技术方案

一种基于全卷积空间传播网络的高光谱图像分类方法，其特征在于步骤如下：

步骤1：数据预处理

首先，对待处理的高光谱图像数据进行数据扩充，分别进行上下、左右、90°、 180°和270°旋转变换，可以由原本的一张高光谱图像得到六张高光谱图像；再对得 到的高光谱图像进行最大最小归一化：

其中，x_ij为原始数据，x_max、x_min分别为原始数据中的最大值和最小值；

归一化后的高光谱图像按照一定步长进行分割；

步骤2：数据划分

从预处理完的高光谱图像中，统计出标注样本的总个数，然后从中选取5％的标注样本作为训练数据；

步骤3：构建网络模型

依次包含了两部分结构：

1)特征提取部分：输入数据先依次通过一个不对称的三维卷积层，激励函数和归一化层；其中不对称三维卷积层采用结构不对称的三维卷积核，该卷积核在光谱维尺 寸大于空间维尺寸，激励函数采用了ReLU，归一化采用BN；数据经BN处理之后， 再依次经过宽度为32，64，128三个下采样模块进一步提取深度特征，所述的下采样模块：从输入端到输出端，左侧主干部分依次包含卷积核大小分别为1×3×3和3×1×1 的卷积层，这两层卷积层后均接着一个ReLU激励层和BN层，左侧主干部分先考虑 高光谱图像中的空间方向信息再考虑谱方向信息；与之相对应的，右侧主干部分依次 包含卷积核大小分别为3×1×1和1×3×3的卷积层，两层卷积层后均接着一个ReLU 激励层和BN层，右侧主干部分先考虑高光谱图像中的谱方向信息再考虑空间方向信息；

2)分类部分：该部分由四个宽度分别为128、64、32和32的卷积层构成；前三 层卷积层对特征图进行卷积，使它恢复到与输入图像相同的尺寸；其中最后一层卷积 层是利用高光谱图像的空间信息，对每个像素之间进行联系，在一个2D的图上进行 线性传播操作进而构建一个可学习的图，最终得到包含所有类别的概率分类的结果图； 所述的线性传播公式：

其中，h_ij代表在像素点(i,j)处的周围的像素点，代表一系列(i,j)处 的权重，K是(i,j)的相邻坐标，由表示，h_K表示相邻像素；

步骤4：训练网络模型

将训练数据批量地输入到构建好的全卷积空间传播网络中，以标注的类别为指导信息，利用梯度下降算法对网络参数进行训练，直至网络收敛；训练过程中，每次随 机不重复的从训练集里抽取5％的样本为一批训练数据，将该数据输入到网络，抽取特征并计算预测结果，以预测结果与实际结果之间的交叉熵为损失函数，计算网络权 值的偏导数，并利用梯度下降算法，更新网络参数；训练过程便利整个训练集一次为 一轮训练；整个训练过程进行80轮，前70轮学习率设为0.01，最后10轮，学习率衰 减到0.001；整个训练过程中，动量项设为0.9；

步骤5：生成分类结果

基于训练完的网络模型，对目标高光谱图像数据进行类别预测，得到分类结果图。

有益效果

本发明提出的一种基于全卷积空间传播网络的高光谱图像分类方法，针对高光谱图像分类问题，结合深度学习相关技术，首次将基于全卷积空间传播网络应用于高光 谱图像分类中。传统的基于卷积神经网络的高光谱图像分类方法都是对图像进行逐像 素分类，存在着大量的重复运算，且输入图像的大小对于分类结果有着很大的影响。而全卷积空间传播网络减少了重复运算的同时还可以接受任何尺寸的输入图像，并且 充分利用了高光谱图像的空间信息，从而实现一定条件下高光谱图像的高精度分类。

附图说明

图1基于全卷积空间传播网络的高光谱图像分类方法流程图

图2下采样模块图

图3全卷积空间传播网络结构图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

该方法主要是基于全卷积空间传播网络的高光谱图像分类方法。该方法从待分类的高光谱图像中，提取适量有标注的样本对本技术方案中所提出的全卷积空间传播网 络进行训练，然后利用训练好的网络模型对整幅高光谱图像进行分类。

本技术方案的具体措施如下：

步骤1：数据预处理；对待处理的高光谱数据集进行数据扩充和最大最小归一化。

步骤2：数据划分；从预处理完的高光谱图像中，统计出标注样本的总个数，然后从中选取5％的标注样本作为训练数据。

步骤3：构建网络模型；本发明所构建的网络结构由基于全卷积空间传播网络构成。

步骤4：训练网络模型；利用训练集对构建的网络模型进行训练，然后将经过训练的 网络模型进行特征提取；训练过程中，以标注的类别为指导信息，利用梯度下降算法 对网络参数进行训练，直至网络收敛。

步骤5：得到测试结果；基于训练完的网络模型，对目标高光谱图像数据集中所有像 素进行类别预测，得到分类结果图。

实施例：

步骤1：数据预处理；首先，对待处理的高光谱图像数据进行数据扩充，分别进 行上下、左右、90°、180°和270°旋转变换，可以由原本的一张高光谱图像得到六 张高光谱图像。再对得到的高光谱图像进行最大最小归一化，归一化公式如公式(1) 所示。归一化后的高光谱图像按照一定步长进行分割，一般取20。

步骤2：数据划分；从预处理完的高光谱图像中，统计出标注样本的总个数，然 后从中选取5％的标注样本作为训练数据。

步骤3：构建网络模型；本发明设计的网络依次包含了两部分结构：

1)特征提取部分；输入数据先依次通过一个不对称的三维卷积层，激励函数和归一化层。其中不对称三维卷积层采用结构不对称的三维卷积核，该卷积核在光谱维尺 寸大于空间维尺寸，从而起到在该处理模块处理数据过程中更注重光谱维信息的作用， 例如，卷积层可采用光谱维尺度为5，空间维尺度为1×1的卷积核，并将卷积层宽度设为32。该模块中，激励函数采用了ReLU，归一化采用了batch normalization(BN)； 数据经BN处理之后，再依次经过宽度为32，64，128三个下采样模块进一步提取深 度特征，具体结构如图3所示。下采样模块具体结构如图2所示，从输入端到输出端，左侧主干部分依次包含卷积核大小分别为1×3×3和3×1×1的卷积层，这两层卷积层 后均接着一个ReLU激励层和BN层，左侧主干部分先考虑高光谱图像中的空间方向 信息再考虑谱方向信息；与之相对应的，右侧主干部分依次包含卷积核大小分别为 3×1×1和1×3×3的卷积层，两层卷积层后均接着一个ReLU激励层和BN层，右侧主 干部分先考虑高光谱图像中的谱方向信息再考虑空间方向信息。

2)分类部分；该部分由四个宽度分别为128、64、32和32的卷积层构成；前三 层卷积层对特征图进行卷积，使它恢复到与输入图像相同的尺寸。其中最后一层卷积 层是利用高光谱图像的空间信息，对每个像素之间进行联系，在一个2D的图上进行 线性传播操作进而构建一个可学习的图，最终得到包含所有类别的概率分类的结果图。 线性传播公式如公式(2)所示，其中h_ij代表在像素点(i,j)处的周围的像素点，代表一系列(i,j)处的权重，K是(i,j)的相邻坐标，由表示，h_K表示 相邻像素。

步骤4：训练网络模型；将训练数据批量地输入到构建好的全卷积空间传播网络中，以标注的类别为指导信息，利用梯度下降算法对网络参数进行训练，直至网络收 敛；训练过程中，每次随机不重复的从训练集里抽取5％的样本为一批训练数据，将该数据输入到网络，抽取特征并计算预测结果，以预测结果与实际结果之间的交叉熵 为损失函数，计算网络权值的偏导数，并利用梯度下降算法，更新网络参数。训练过 程便利整个训练集一次为一轮训练。整个训练过程进行80轮，前70轮学习率设为0.01， 最后10轮，学习率衰减到0.001；整个训练过程中，动量项设为0.9。

步骤5：生成分类结果；基于训练完的网络模型，对目标高光谱图像数据进行类别预 测，得到分类结果图。

本发明针对高光谱图像数据特点，通过构建全卷积空间传播网络，实现了有限训练样本条件下，高光谱图像深度特征的自主提取，高精度的分类。本发明与现有的基 于卷积神经网络学习的高光谱图像分类方法相比，分类精度更高，且参数量和运算量 更少。

Claims (1)

1.一种基于全卷积空间传播网络的高光谱图像分类方法，其特征在于步骤如下：

步骤1：数据预处理

首先，对待处理的高光谱图像数据进行数据扩充，分别进行上下、左右、90°、180°和270°旋转变换，可以由原本的一张高光谱图像得到六张高光谱图像；再对得到的高光谱图像进行最大最小归一化：

其中，x_ij为原始数据，_max、x_min分别为原始数据中的最大值和最小值；

归一化后的高光谱图像按照一定步长进行分割；

步骤2：数据划分

从预处理完的高光谱图像中，统计出标注样本的总个数，然后从中选取5％的标注样本作为训练数据；

步骤3：构建网络模型

依次包含了两部分结构：

1)特征提取部分：输入数据先依次通过一个不对称的三维卷积层，激励函数和归一化层；其中不对称三维卷积层采用结构不对称的三维卷积核，该卷积核在光谱维尺寸大于空间维尺寸，激励函数采用了ReLU，归一化采用BN；数据经BN处理之后，再依次经过宽度为32，64，128三个下采样模块进一步提取深度特征，所述的下采样模块：从输入端到输出端，左侧主干部分依次包含卷积核大小分别为1×3×3和3×1×1的卷积层，这两层卷积层后均接着一个ReLU激励层和BN层，左侧主干部分先考虑高光谱图像中的空间方向信息再考虑谱方向信息；与之相对应的，右侧主干部分依次包含卷积核大小分别为3×1×1和1×3×3的卷积层，两层卷积层后均接着一个ReLU激励层和BN层，右侧主干部分先考虑高光谱图像中的谱方向信息再考虑空间方向信息；

2)分类部分：该部分由四个宽度分别为128、64、32和32的卷积层构成；前三层卷积层对特征图进行卷积，使它恢复到与输入图像相同的尺寸；其中最后一层卷积层是利用高光谱图像的空间信息，对每个像素之间进行联系，在一个2D的图上进行线性传播操作进而构建一个可学习的图，最终得到包含所有类别的概率分类的结果图；所述的线性传播公式：

其中，h_ij代表在像素点(i,j)处的周围的像素点，

代表一系列(i,j)处的权重，K是(i,j)的相邻坐标，由

表示，h_K表示相邻像素；

步骤4：训练网络模型

将训练数据批量地输入到构建好的全卷积空间传播网络中，以标注的类别为指导信息，利用梯度下降算法对网络参数进行训练，直至网络收敛；训练过程中，每次随机不重复的从训练集里抽取5％的样本为一批训练数据，将该数据输入到网络，抽取特征并计算预测结果，以预测结果与实际结果之间的交叉熵为损失函数，计算网络权值的偏导数，并利用梯度下降算法，更新网络参数；训练过程便利整个训练集一次为一轮训练；整个训练过程进行80轮，前70轮学习率设为0.01，最后10轮，学习率衰减到0.001；整个训练过程中，动量项设为0.9；

步骤5：生成分类结果

基于训练完的网络模型，对目标高光谱图像数据进行类别预测，得到分类结果图。

Images