CN115496935A - 一种基于可形变卷积的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种基于可形变卷积的高光谱图像分类方法，所提出的空间‑光谱联合特征提取模型中，首先采用多层1×1卷积进行光谱特征聚合与提取，然后使用三维卷积层同时提取空间‑光谱联合特征，最后使用全局平均池化在减少参数的同时，整合全局信息，再输入全连接层实现分类；本方法将可形变卷积扩展到了光谱维中，通过在光谱维上的偏移为每个地物选择合适的分类波段，使光谱特征的提取集中于有效波段，提升相应波段值的权重，进而提取出更具鉴别性的特征，且只需学习光谱维上的偏移，计算复杂度只有空间可形变卷积的一半。本发明设计方法在分类准确性、模型复杂度以及样本泛化性等方面都有非常突出的表现。

Description

一种基于可形变卷积的高光谱图像分类方法

技术领域

本发明涉及遥感影像分类技术领域，具体涉及一种基于可形变卷积的高光谱图像分类方法。

背景技术

高光谱遥感影像(Hyperspectral Remote Sensing Image,HSI)由数百个连续的波段组成，光谱分辨率可达纳米级，包含了丰富的光谱信息。此外，HSI还具有图谱合一的特性，可以同时利用丰富的光谱特征和空间特征，进而实现对地物的精细分类。目前HSI已广泛应用于植被分析、矿产资源开发以及精准农业等领域。

HSI存在数据量大、波段相关性强、光谱特征冗余以及标记样本缺乏等问题，使得HSI在分类与目标识别应用中面临诸多挑战。传统的HSI分类方法主要包括：支持向量机、多项式逻辑回归以及随机森林等。然而，这些方法都依赖于人工设计的特征，需要设计严密的模型，进行复杂的数学推导，不能依据数据进行自主特征学习，模型的鲁棒性与适用性都有待提高。

近年来，深度学习方法极大地促进了HSI分类的发展。深度学习是机器学习中具有深层结构的神经网络算法，其动机在于建立模拟人脑进行分析学习的神经网络，通过分层方式组合低层特征，自主学习图像的深层特征。其中，卷积神经网络(Convolutionalneural networks，CNN)基于其独特的卷积操作，对空间特征有着更强的特征提取能力，在HSI分类任务中的应用十分广泛，发展了1D-CNN、2D-CNN以及3D-CNN等方法，1D-CNN将图像压缩为一维向量提取光谱特征；2D-CNN利用二维卷积核在图像空间维上进行特征提取，能够对图像的空间信息进行建模，但忽略了对光谱特征的提取；3D-CNN同时提取光谱维和空间维的特征信息，充分发挥了HSI图谱合一的特性，可以取得更好的分类效果。如何使用卷积神经网络充分提取HSI丰富的空间-光谱特征仍需要进一步的研究。

其次，在图像分类任务中，感受野是一个关键问题，模型通常需要多尺度感受野，以获得不同尺度特征。为获取全局特征，需要较大的感受野以确保重要信息不被遗漏。一方面，通过增大卷积核尺寸可以直观地增大感受野；另一方面，堆叠更多的卷积层，使网络结构更深，理论上会线性增加模型的感受野。

针对感受野问题，先后发展了空洞卷积以及可形变卷积等方法。空洞卷积通过扩大采样间隔的方式，在保持参数量不变的情况下，扩大感受野。但当叠加的卷积层使用同一采样间隔时，会产生网格效应，导致信息丢失。可形变卷积通过卷积层为每个采样点学习偏移量，利用偏移后的采样点，实现自适应感受野采样。相较于空洞卷积固定间隔采样的方法，可形变卷积的偏移量是可学习的。然而，HSI通常切块进行分类，导致可形变卷积在空间维上的偏移范围受限。若扩大窗口尺寸，则会引入干扰像元，导致边界模糊，细节信息丢失。可形变卷积在HSI分类中的应用还需要进一步研究。

发明内容

本发明目的在于提供一种基于可形变卷积的高光谱图像分类方法，用于增强模型的特征提取能力以及视觉感受野，该方法所要解决的技术问题如下：

1.如何利用CNN充分提取HSI的空谱联合特征；

2.如何在只增加少量参数的情况下，使模型学习自适应感受野；

3.如何突破空间可形变卷积存在的窗口尺寸过大以及偏移范围受限等问题。

本发明为了解决上述技术问题采用以下技术方案：首先，设计了一种新的空间-光谱特征提取模型，在只使用少量卷积层的情况下，获得了较高的分类精度；其次，将可形变卷积应用到了光谱特征提取中，提出了光谱可形变卷积模块，通过偏移采样实现自适应感受野，使得光谱特征集中于有效波段；最后，将提出的模型与光谱可形变卷积模块相结合，设计了光谱可形变卷积网络(Spectral deformable convolutional neural network，SDCNN)。

为实现以上功能，本发明设计一种基于可形变卷积的高光谱图像分类方法，针对目标区域，采集目标区域的包含各预设类别的地物的高光谱图像，执行步骤A对高光谱图像进行预处理，构建并训练步骤B-步骤I所描述的光谱可形变卷积网络，并应用光谱可形变卷积网络，完成高光谱图像中各像素的分类，进而实现目标区域的地物分类：

步骤A.针对所采集的目标区域的高光谱图像，提取张量形式的高光谱数据，以9×9的窗口对高光谱数据进行切块,获得各切块后的特征图，分别针对各切块后的特征图，进行如下步骤B-步骤I:

步骤B.针对步骤A所获得的特征图，采用1×1×9的三维卷积模块对特征图的各像素点进行采样，对采样点进行光谱特征提取，同时对特征图进行光谱维的降维，其中三维卷积模块为Valid形式；

步骤C.针对步骤B所获得的特征图，采用1×1×9的三维卷积模块对特征图的各像素点进行采样，对采样点进行光谱特征提取，其中三维卷积模块为same形式，该三维卷积模块不改变特征图的尺寸；

步骤D.构建光谱维膨胀模块，用于增加特征图的光谱维，光谱维膨胀模块以步骤C所获得的特征图为输入，以光谱维增加后的特征图为输出；

其中，定义步骤C所获得的特征图的光谱维为M，基于1×1×M，Valid形式的三维卷积模块，对特征图进行卷积并进行张量形状转化，且该三维卷积模块的通道维大于特征图的光谱维M，交换通道维和光谱维，获得光谱维增加后的特征图；

步骤E.构建光谱维压缩模块，用于压缩特征图的光谱维，光谱维压缩模块以步骤D所获得的特征图为输入，以光谱维压缩后的特征图为输出；

其中，定义步骤D所获得的特征图的光谱维为N，基于1×1×N，Valid形式的三维卷积模块，对特征图进行卷积并进行张量形状转化，且该三维卷积模块的通道维小于特征图的光谱维N，交换通道维和光谱维，获得光谱维压缩后的特征图；

步骤F.针对步骤E所获得的特征图，基于5×5×12的三维卷积模块对特征图进行空间-光谱联合特征提取，获得特征图的空间-光谱联合特征；

步骤G.针对步骤F所获得的特征图的空间-光谱联合特征，基于空间全局平均池化方法，将空间-光谱联合特征整合为全局空间特征，其中空间全局平均池化方法的池化窗口尺寸与特征图的空间维度尺寸一致；

步骤H.针对步骤G所获得的全局空间特征，通过引入Flatten层，将全局空间特征展平为一维张量；

步骤I.针对步骤H所获得的一维张量，引入全连接层，以一维张量作为全连接层的输入，以各像素点属于各预设类别的概率为输出，根据全连接层所输出的各预设类别的概率，完成高光谱图像中各像素的分类，进而实现目标区域的地物分类。

作为本发明的一种优选技术方案：步骤B中所述的三维卷积模块为光谱可形变卷积模块，其卷积过程包括如下步骤：

步骤B1.针对所输入的特征图，采用规则立方体R进行采样，定义特征图维度为(B，H，W，S，C)，引入一个全连接层模拟偏移量学习函数，偏移量学习的偏移量为(B，H，W，S，C)，对应每个采样点在一个光谱维上的偏移量，其中，B表示模型训练的Batch Size大小，H为特征图高度，W为特征图宽度，S为光谱维大小，C为三维卷积的通道数；

步骤B2.将特征图与偏移量的形状转化为(B×C,H,W,C)形式；

步骤B3.生成重采样坐标，根据特征图的形状，生成三维坐标点，三维坐标点形式为(B×C,H×W×C,3)，其中最后一个维度3表示三维坐标点在三个方向上的坐标；

步骤B4.将偏移量转化为(B×C,H×W×C,1)形式，对应每个采样点在光谱维上的坐标偏移量；

步骤B5.将偏移量与采样点初始坐标相加，生成采样点偏移后的坐标值，对偏移后的坐标值进行预设限制；

步骤B6.对偏移后的坐标值进行向上或向下取整数，对特征图进行重采样，再采用线性插值方法获得偏移后采样点的特征值；

步骤B7.将步骤B6所获得的特征图形状转换为(B，H，W，S，C)形式，获得偏移后的特征图；

步骤B8.将步骤B7所获得的特征图进行1×1卷积，完成光谱可形变卷积模块的卷积过程。

作为本发明的一种优选技术方案：所述光谱可形变卷积模块输出特征图中各采样点特征值y(p₀)如下式：

式中，w(p_n)为每个采样点对应的权重，p₀+p_n为除中心点以外其余采样点坐标，Δp_n为通过全连接层学习的偏移量，为(0，0，offset)形式，offset为采样点在光谱维上的偏移量，p_n为采样点的坐标，p₀为卷积中心位置的坐标。

作为本发明的一种优选技术方案：步骤B5中所述预设限制为将低于0的坐标值设置为0，将超过预设范围的坐标值设置为在该维度上最大的坐标值。

作为本发明的一种优选技术方案：步骤H中的Flatten层采用TensorFlow框架中的tf.layers.flatten方法。

有益效果：相对于现有技术，本发明的优点包括：

设计了一种新的空间-光谱特征提取模型，在只使用少量卷积层的情况下，获得了较高的分类精度；

其次，将可形变卷积应用到了光谱特征提取中，提出了光谱可形变卷积模块，通过偏移采样实现自适应感受野，使得光谱特征集中于有效波段，获取更全局的光谱特征用于分类，充分发挥HSI光谱分辨率高的优势；

最后，将提出的模型与光谱可形变卷积模块相结合，针对空间可形变卷积在高光谱图像分类领域中存在的局限性，将可形变卷积扩展到了光谱维中。

附图说明

图1是根据本发明实施例提供的光谱可形变卷积网络示意图；

图2是根据本发明实施例提供的光谱可形变卷积模块示意图；

图3是根据本发明实施例提供的基于窗口大小的SDCNN参数敏感性分析图；

图4是根据本发明实施例提供的基于批大小的SDCNN参数敏感性分析图；

图5是根据本发明实施例提供的各方法在三个数据集上的样本泛化性分析图；

图6是根据本发明实施例提供的不同方法在Indian Pines数据集上的分类图；

图7是根据本发明实施例提供的不同方法在University of Pavia数据集上的分类图；

图8是根据本发明实施例提供的不同方法在University of Houston数据集上的分类图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

相比现有的扩大感受野的方法，可形变卷积通过卷积层为每个采样点学习偏移量，利用偏移后的采样点，实现自适应感受野采样。相较于空洞卷积固定采样间隔的方法，可形变卷积的偏移量是可学习的，根据不同的输入特征图学习不同的偏移量。空间可形变卷积利用可形变采样点将每个像素的相邻结构信息压缩到固定网格中，进一步在可形变特征图上应用规则卷积可以有效地反映复杂结构，从而提升特征表达能力。

针对空间可形变卷积在HSI分类应用中存在的问题，本发明所设计的一种基于可形变卷积的高光谱图像分类方法，将可形变卷积扩展到了光谱维中，提出了光谱可形变卷积。不同地物类别在不同波段中的分类效果不同，通过在光谱维上的偏移可以为每个地物选择合适的分类波段，使光谱特征的提取集中于有效波段，提升相应波段特征值的权重，进而提取出更具鉴别性的特征；且只需要学习光谱维方向上的偏移量，计算复杂度只有空间可形变卷积的一半。

参照图1，本发明实施例提供的一种基于可形变卷积的高光谱图像分类方法，其特征在于，采集目标区域的包含各预设类别的地物的高光谱图像，执行步骤A对高光谱图像进行预处理，构建并训练步骤B-步骤I所描述的光谱可形变卷积网络，并应用光谱可形变卷积网络，完成高光谱图像中各像素的分类，进而实现目标区域的地物分类：

步骤A.针对所采集的目标区域的高光谱图像，提取张量形式的高光谱数据，以9×9的窗口对高光谱数据进行切块,获得各切块后的特征图，分别针对各切块后的特征图，进行如下步骤B-步骤I:

步骤B.针对步骤A所获得的特征图，采用1×1×9的三维卷积模块对特征图的各像素点进行采样，对采样点进行光谱特征提取，同时对特征图进行光谱维的降维，其中三维卷积模块为Valid形式；

步骤B中所述的三维卷积模块为光谱可形变卷积模块，参照图2，其卷积过程包括如下步骤：

步骤B1.针对所输入的特征图，采用规则立方体R进行采样，定义特征图维度为(B，H，W，S，C)，引入一个全连接层模拟偏移量学习函数，偏移量学习的偏移量为(B，H，W，S，C)，对应每个采样点在一个光谱维上的偏移量，偏移量学习的偏移量形状与所输入的特征图形状一致，偏移量对应所输入的特征图中每个采样点在光谱维上的偏移坐标；其中，B表示模型训练的Batch Size大小，H为特征图高度，W为特征图宽度，S为光谱维大小，C为三维卷积的通道数；

步骤B2.将特征图与偏移量的形状转化为(B×C,H,W,C)形式；

步骤B3.生成重采样坐标，根据特征图的形状，生成三维坐标点，三维坐标点形式为(B×C,H×W×C,3)，其中最后一个维度3表示三维坐标点在三个方向上的坐标；

步骤B4.将偏移量转化为(B×C,H×W×C,1)形式，对应每个采样点在光谱维上的坐标偏移量；

步骤B5.将偏移量与采样点初始坐标相加，生成采样点偏移后的坐标值，对偏移后的坐标值进行预设限制；

在一个实施例中，所述预设限制通过TensorFlow中的tf.clip by value实现，预设限制为将低于0的坐标值设置为0，将超过预设范围的坐标值设置为在该维度上最大的坐标值，以确保只在特征立方体中进行偏移。

步骤B6.对偏移后的坐标值进行向上或向下取整数，对特征图进行重采样，再采用线性插值方法获得偏移后采样点的特征值；

步骤B7.将步骤B6所获得的特征图形状转换为(B，H，W，S，C)形式，获得偏移后的特征图；

步骤B8.将步骤B7所获得的特征图进行1×1卷积，完成光谱可形变卷积模块的卷积过程。

其中，三维卷积模块主要包括两个步骤：

1.在输入特征图X上利用规则立方体R进行采样。

2.对采样值进行加权求和。其中规则立方体R定义了三维卷积的感受野和采样间隔大小，例如R＝{(-1，-1，-1)，(-1，-1，0)，…，(1，1，1)}定义了采样间隔为0的3×3×3卷积，则输出特征图y每个采样点的特征值y(p₀)为：

在三维卷积的基础上，光谱可形变卷积模块增加了在光谱维上的偏移量，所述光谱可形变卷积模块输出特征图中各采样点特征值y(p₀)如下式：

式中，w(p_n)为每个采样点对应的权重，p₀+p_n为除中心点以外其余采样点坐标，Δp_n为通过全连接层学习的偏移量，为(0，0，offset)形式，offset为采样点在光谱维上的偏移量，p_n为采样点的坐标，p₀为卷积中心位置的坐标。

步骤C.针对步骤B所获得的特征图，采用1×1×9的三维卷积模块对特征图的各像素点进行采样，对采样点进行光谱特征提取，其中三维卷积模块为same形式，该三维卷积模块不改变特征图的尺寸；

步骤D.构建光谱维膨胀模块，用于增加特征图的光谱维，光谱维膨胀模块以步骤C所获得的特征图为输入，以光谱维增加后的特征图为输出；

其中，定义步骤C所获得的特征图的光谱维为M，基于1×1×M，Valid形式的三维卷积模块，对特征图进行卷积并进行张量形状转化，且该三维卷积模块的通道维大于特征图的光谱维M，交换通道维和光谱维，获得光谱维增加后的特征图；

步骤E.构建光谱维压缩模块，用于压缩特征图的光谱维，光谱维压缩模块以步骤D所获得的特征图为输入，以光谱维压缩后的特征图为输出；

其中，定义步骤D所获得的特征图的光谱维为N，基于1×1×N，Valid形式的三维卷积模块，对特征图进行卷积并进行张量形状转化，且该三维卷积模块的通道维小于特征图的光谱维N，交换通道维和光谱维，获得光谱维压缩后的特征图；

步骤F.针对步骤E所获得的特征图，基于5×5×12的三维卷积模块对特征图进行空间-光谱联合特征提取，获得特征图的空间-光谱联合特征；

步骤G.针对步骤F所获得的特征图的空间-光谱联合特征，基于空间全局平均池化方法，将空间-光谱联合特征整合为全局空间特征，其中空间全局平均池化方法的池化窗口尺寸与特征图的空间维度尺寸一致；

步骤H.针对步骤G所获得的全局空间特征，通过引入Flatten层，将全局空间特征展平为一维张量；

所述Flatten层采用TensorFlow框架中的tf.layers.flatten方法。

步骤I.针对步骤H所获得的一维张量，引入全连接层，以一维张量作为全连接层的输入，以各像素点属于各预设类别的概率为输出，根据全连接层所输出的各预设类别的概率，完成高光谱图像中各像素的分类，进而实现目标区域的地物分类。

将本发明所设计一种基于可形变卷积的高光谱图像分类方法，在实际当中，使用Indian Pines、University of Pavia以及University of Houston三种组国际通用的高光谱遥感数据集对提出的SDCNN分类模型及其扩展进行有效性验证。

有效性验证过程如下：

1.实验设置

(1)训练样本设置

在IP数据集上随机选择每个类样本的10％作为训练集，剩余样本作为测试集；在PU数据集上随机选择每个类样本的5％作为训练集，剩余样本作为测试集；在HU数据集上从每个类中选择50个样本作为训练集，剩余的样本作为测试集。

样本泛化性实验中，在IP数据集上依次随机选择每个类的[1％,2％,...,10％]作为训练样本；在PU数据集上随机选择每个类样本的[0.5％,1.0％,...,5.0％]作为训练样本；在HU数据集上从每个类中选择[5,10,...,50]样本作为训练样本，剩余样本作为测试样本。

(2)对比方法选取

为了验证所提出算法的优越性，对比了2D CNN和3D CNN方法；并选取了DCNNs(Deformable convolutional neural networks)和DHCNet(Deformable HSIclassification networks)两种基于空间可形变卷积的分类方法以及多尺度空洞卷积方法MDR-CNN(Multi-scale Dilated Residual CNN)进行对比；最后，对比了DR-CNN(DiverseRegion-based CNN)、SSRN(Spectral-Spatial Residual Network)以及SSUN(Spectral-Spatial Unified Networks)三个比较先进的深度学习分类方法。

(3)评价指标

分类结果通过统计和对比总体精度(OA)、类别精度(CA)、平均精度(AA)以及Kappa系数(κ)来定量评估。对于所有用到的分类算法，所有评价指标为10次随机初始化训练样本独立运行的实验结果的平均值。

2.实验结果

(1)正则化参数影响

为分析窗口大小对本文方法分类精度的影响，实验测试了在[3×3,5×5,7×7,9×9,11×11,13×13,15×15]窗口大小条件下的分类效果。如图3所示，随着窗口大小的增加，模型在三个数据集上的分类精度均呈现先上升后下降的趋势。当窗口大小增加时，特征图中包含的特征也随之增加，所以分类精度前期呈现上升的趋势；当窗口大小增加到一定程度后，特征图尺寸过大增加了模型的计算复杂度，影响了偏移量的学习以及偏移效果；并且引入了干扰像元，使得类与类之间的边界模糊，导致分类精度降低。综合模型在三个数据集上的分类表现，将窗口大小设置为9×9。

(2)批大小影响

为分析批大小对本文方法分类精度的影响，实验测试了在[16,32,48,64,80,96]批大小条件下的分类效果。如图4所示，在IP数据集和PU数据集上，批大小对模型分类精度的影响较小，精度变化曲线较为平缓。在HU数据集上，随着批大小的增大，分类精度有明显的上升趋势。可以看出，当批大小为64时，模型在三个数据集上均取得了最好的分类结果。因此，将模型的批大小设置为64。

(3)不同方法的样本泛化性分析

为验证模型在不同样本条件下的泛化性，分别在三个数据集上选择不同数量的训练样本进行实验。图5绘制了各方法在三组数据不同样本条件下的分类结果，其中横坐标为每类选取的训练样本数量，纵坐标为总体分类精度。对于IP数据，除DCNN和DHCNet方法，所有方法的分类精度都随着分类样本的增加而平稳上升，SDCNN也始终保持最高的分类精度。对于PU数据，精度上升趋势较为平缓，SDCNN在每类1.0％样本时分类精度即可达到99％。对于HU数据，只有MDR-CNN方法波动较为明显。本文方法在大多数情况下都取得了最高的分类精度，尤其是在样本较少的情况下精度提升更为明显。

(4)不同算法在IP数据集的分类表现分析

表1列出了各方法在IP数据集上的分类精度，提出的方法(SDCNN)取得了最高的分类精度，其中OA达到了98.86％，相较于其它方法高出0.22％-21.15％。并且10次结果标准差明显小于其它对比方法，这说明SDCNN受样本选择的影响更小。同时，SDCNN也取得了最高的Kappa。对于单个类别而言，SDCNN在16个类别中有6个类都取得了最高的分类精度。

图6为各方法对IP数据得到的分类图，可以看到，SDCNN分类图中的斑点噪声现象明显减少，类内平滑度更高，类别边界更清晰，分类结果更准确。DCNN与DHCNet方法使用了大窗口，导致类别边界模糊，细节提取能力减弱。与地面验证数据对比，SDCNN对Hay-windrowed和Woods等类别的分类十分准确，这与表中该类别的高分类精度相对应。

表1

(5)不同算法在PU数据集的分类表现分析

表2列出了各方法在PU数据集上的分类精度，SDCNN的OA为99.81±0.06％，相较于其它方法高出0.28％-9.64％，同时也取得了最高的Kappa和AA。对于单个类别而言，SDCNN在该数据集9个类别中的6个类别上都取得了最高的分类精度。

图7为PU数据分类图和各模型得到的分类结果图，SDCNN取得了更为平滑和准确的效果。与地面验证数据对比，SDCNN分类结果图在Meadows以及Bitumen等类别的对应位置非常准确，这与表2中特定类别的高分类精度对应。

表2

(6)不同算法在HU数据集的分类表现分析

表3列出了各方法在HU数据集上的分类精度，SDCNN取得最高的OA、Kappa和AA，其中OA为97.41±0.59％，相较于其它模型提升了0.68％-12.05％。对于特定的类别，SDCNN在15个类别中有10个类取得了最高的分类精度。

图8为HU数据分类图和各方法得到的分类结果图，从分类结果图来看，SDCNN的分类结果更为连续和平滑，噪声点明显少于其它方法，这也与表2中模型的分类精度相对应。

(7)不同算法的复杂度分析

为了检验不同方法的复杂度，使用运行时间以及参数量大小对各方法的复杂度进行分析，如表3所示。在所有对比方法中，SDCNN所使用的参数量最少，这是因为SDCNN只使用了少量的卷积层进行特征提取，且通道数较少。DR-CNN分别训练了六个模型，使得该模型的参数量较多，仅次于3D-CNN方法。从运行时间来看，SDCNN的训练时间与测试时间较长，是因为可形变卷积涉及特征插值运算，所以导致整体的运行时间增加。而DR-CNN模型由于要训练六个模型，所以整体的运算时间远远高于其它方法。

表3

由上述实施例可见本发明所设计的一种基于可形变卷积的高光谱图像分类方法，在基础模型中，先使用1×1卷积对光谱特征进行提取并降维，再输入光谱维膨胀与挤压模块，实现光谱特征聚合。使用三维卷积层同时提取空谱联合特征，最后使用全局平均池化整合全局信息；在光谱可形变卷积模块中，首先，通过一个额外的全连接层模拟偏移量学习函数，为每个采样点学习在光谱维上的偏移量，该偏移量根据不同的特征图自适应调整，进而实现自适应感受野的目的。其次，由于学习到的偏移量offset通常不是整数，所以要对偏移后的坐标进行向上、向下取整，利用取整后坐标的特征值，通过线性插值获取偏移后的特征值，生成偏移后的特征图。最后，对偏移后的特征图进行1×1卷积实现光谱可形变卷积。本发明设计方法在模型参数量、分类准确性以及样本泛化性等方面，都有非常突出的表现，证明了所提方法的有效性。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (5)

1.一种基于可形变卷积的高光谱图像分类方法，其特征在于，针对目标区域，采集目标区域的包含各预设类别的地物的高光谱图像，执行步骤A对高光谱图像进行预处理，构建并训练步骤B-步骤I所描述的光谱可形变卷积网络，并应用光谱可形变卷积网络，完成高光谱图像中各像素的分类，进而实现目标区域的地物分类：

步骤A.针对所采集的目标区域的高光谱图像，提取张量形式的高光谱数据，以9×9的窗口对高光谱数据进行切块,获得各切块后的特征图，分别针对各切块后的特征图，进行如下步骤B-步骤I:

步骤B.针对步骤A所获得的特征图，采用1×1×9的三维卷积模块对特征图的各像素点进行采样，对采样点进行光谱特征提取，同时对特征图进行光谱维的降维，其中三维卷积模块为Valid形式；

步骤C.针对步骤B所获得的特征图，采用1×1×9的三维卷积模块对特征图的各像素点进行采样，对采样点进行光谱特征提取，其中三维卷积模块为same形式，该三维卷积模块不改变特征图的尺寸；

步骤D.构建光谱维膨胀模块，用于增加特征图的光谱维，光谱维膨胀模块以步骤C所获得的特征图为输入，以光谱维增加后的特征图为输出；

其中，定义步骤C所获得的特征图的光谱维为M，基于1×1×M，Valid形式的三维卷积模块，对特征图进行卷积并进行张量形状转化，且该三维卷积模块的通道维大于特征图的光谱维M，交换通道维和光谱维，获得光谱维增加后的特征图；

步骤E.构建光谱维压缩模块，用于压缩特征图的光谱维，光谱维压缩模块以步骤D所获得的特征图为输入，以光谱维压缩后的特征图为输出；

其中，定义步骤D所获得的特征图的光谱维为N，基于1×1×N，Valid形式的三维卷积模块，对特征图进行卷积并进行张量形状转化，且该三维卷积模块的通道维小于特征图的光谱维N，交换通道维和光谱维，获得光谱维压缩后的特征图；

步骤F.针对步骤E所获得的特征图，基于5×5×12的三维卷积模块对特征图进行空间-光谱联合特征提取，获得特征图的空间-光谱联合特征；

步骤G.针对步骤F所获得的特征图的空间-光谱联合特征，基于空间全局平均池化方法，将空间-光谱联合特征整合为全局空间特征，其中空间全局平均池化方法的池化窗口尺寸与特征图的空间维度尺寸一致；

步骤H.针对步骤G所获得的全局空间特征，通过引入Flatten层，将全局空间特征展平为一维张量；

步骤I.针对步骤H所获得的一维张量，引入全连接层，以一维张量作为全连接层的输入，以各像素点属于各预设类别的概率为输出，根据全连接层所输出的各预设类别的概率，完成高光谱图像中各像素的分类，进而实现目标区域的地物分类。

2.根据权利要求1所述的一种基于可形变卷积的高光谱图像分类方法，其特征在于，步骤B中所述的三维卷积模块为光谱可形变卷积模块，其卷积过程包括如下步骤：

步骤B1.针对所输入的特征图，采用规则立方体R进行采样，定义特征图维度为(B，H，W，S，C)，引入一个全连接层模拟偏移量学习函数，偏移量学习的偏移量为(B，H，W，S，C)，对应每个采样点在一个光谱维上的偏移量，其中，B表示模型训练的Batch Size大小，H为特征图高度，W为特征图宽度，S为光谱维大小，C为三维卷积的通道数；

步骤B2.将特征图与偏移量的形状转化为(B×C,H,W,C)形式；

步骤B3.生成重采样坐标，根据特征图的形状，生成三维坐标点，三维坐标点形式为(B×C,H×W×C,3)，其中最后一个维度3表示三维坐标点在三个方向上的坐标；

步骤B4.将偏移量转化为(B×C,H×W×C,1)形式，对应每个采样点在光谱维上的坐标偏移量；

步骤B5.将偏移量与采样点初始坐标相加，生成采样点偏移后的坐标值，对偏移后的坐标值进行预设限制；

步骤B6.对偏移后的坐标值进行向上或向下取整数，对特征图进行重采样，再采用线性插值方法获得偏移后采样点的特征值；

步骤B7.将步骤B6所获得的特征图形状转换为(B，H，W，S，C)形式，获得偏移后的特征图；

步骤B8.将步骤B7所获得的特征图进行1×1卷积，完成光谱可形变卷积模块的卷积过程。

3.根据权利要求2所述的一种基于可形变卷积的高光谱图像分类方法，其特征在于，所述光谱可形变卷积模块输出特征图中各采样点特征值y(p₀)如下式：

式中，w(p_n)为每个采样点对应的权重，p₀+p_n为除中心点以外其余采样点坐标，Δp_n为通过全连接层学习的偏移量，为(0，0，offset)形式，offset为采样点在光谱维上的偏移量，p_n为采样点的坐标，p₀为卷积中心位置的坐标。

4.根据权利要求2所述的一种基于可形变卷积的高光谱图像分类方法，其特征在于，步骤B5中所述预设限制为将低于0的坐标值设置为0，将超过预设范围的坐标值设置为在该维度上最大的坐标值。

5.根据权利要求1所述的一种基于可形变卷积的高光谱图像分类方法，其特征在于，步骤H中的Flatten层采用TensorFlow框架中的tf.layers.flatten方法。

Images