CN113673599B - 一种基于校正原型学习的高光谱影像分类方法 - Google Patents

Abstract

本发明公开了一种基于校正原型学习的高光谱影像分类方法，包括选取高光谱场景图像，随机提取部分样本作为训练集；随机选出支持集和查询集；搭建深度网络模型，并计算学习度量空间中的初始类原型；搭建带有残差块的卷积神经网络；S4：训练所述深度网络模型；S5：选取测试数据集，从中随机选取监督样本，并对所述监督样本的分布做校正标准化处理；S6：计算测试集样本与所述测试类原型的欧式距离。本发明利用基于校正原型学习的高光谱分类方法对高光谱图像进行分类，通过选取支持集和查询集，避免使用大量的标记样本，节省样本标记成本。与传统原型网络相比，得到了更好的分类精度，在高光谱图像地表精细分类等方面具有重要的应用价值。

Description

一种基于校正原型学习的高光谱影像分类方法

技术领域

本发明属于高光谱影像分类技术领域，具体涉及一种基于校正原型学习的高光谱影像分类方法。

背景技术

高光谱遥感实现了图谱合一，包含丰富的光谱信息和空间信息，在精准农业、军事侦察、地质勘探等领域具有广泛应用。高光谱图像分类是高光谱图像研究的热点，并且随着深度学习的深入探索和应用，高光谱图像分类技术取得了很大的进展。然而，有限的有标签样本是制约高光谱图像分类发展的一个重要原因。现有的网络模型和方法大多是基于人工标注的样本数据，但这种方法费时费力且效率低下。

发明内容

本发明提供一种基于校正原型学习的高光谱影像分类方法，以克服现有的网络模型和方法大多是基于人工标注的样本数据，费时费力且效率低下，且有限的有标签样本制约高光谱图像分类发展的技术问题。

为了实现上述目的，本发明的技术方案是：

一种基于校正原型学习的高光谱影像分类方法，包括：如下步骤：

S1：选取高光谱场景图像，从中随机提取部分样本作为训练集；并从所述训练集中随机选出支持集和查询集，以作为为后续获取校正的类原型和学习度量空间的训练集；

S2：搭建深度网络模型以提取所述样本的空间-光谱特征和学习度量空间，并计算学习度量空间中的初始类原型；

S3：搭建带有残差块的卷积神经网络对所述初始类原型进行校正，以获取校正的类原型；

S4：采用校正的学习度量方法训练所述深度网络模型，得到校正的深度网络模型，以使得所述校正的类原型更加稳健；

S5：在所述高光谱场景图像中选取测试数据集，从中随机选取监督样本，并对所述监督样本的分布做校正标准化处理，以采用所述校正的深度网络模型获取测试数据集中每一类的测试类原型；

S6：计算测试集样本与所述测试类原型的欧式距离，以获得对所述高光谱图像的分类结果。

进一步的，所述深度网络模型是基于二维卷积操作的深度网络而搭建，包括归一化层、最大池化层、非线性激活函数层和全连接层。

进一步的，所述残差块包括第1层、第1+1层和第1+2层；

所述残差块的第1层和第1+2层均包括第一卷积层和ReLU层；

所述残差块的第1+1层包括第二卷积层、ReLU层和第三卷积层。

进一步的，所述卷积神经网络包括一个残差块和一个softmax层。

进一步的，所述支持集和查询集的选取方法采用的是元学习策略；所述支持集为包含有标签样本的集合，所述查询集为不包含标签样本的集合。

进一步的，获取校正的类原型的步骤如下：

S31：建立所述初始类原型为：

其中，k代表高光谱影响数据集中的类别；S_k表示高光谱影像数据集中类别k的支持集，S_k＝{(x₁,y₁),...,(x_i,y_i),...,(x_N,y_N)}；x_i表示组成支持集的样本，y_i表示x_i对应的类别，N代表支持集样本个数，f_θ(·)表示嵌入函数；

S32：建立支持集样本聚合的参数为：

w_i＝g_φ(C_k-f_θ(x_i)) (2)

其中，g_φ(·)表示计算聚合参数w_i的函数；

S33：建立校正的类原型表示为：

进一步的，所述校正的学习度量方法采用交叉熵损失、判别损失和对比损失相结合的方法，具体为：

S41：建立交叉熵损失函数：

J_θ＝-log(p_θ(y＝k|x)) (4)

其中，

其中，x表示查询集样本；Nc表示所选类别的数量；p_θ(y＝k|x)表示x属于第k类的概率；d(·)表示欧氏距离；exp(·)表示指数函数；log(·)表示对数函数；

S42：建立判别损失函数：

其中，C_l'表示除C_k'之外距离x最近的类别l的类原型；

S43：建立对比损失函数：

其中，α代表两个欧氏距离之间的最小间距；

S44：建立校正的学习度量空间损失函数如下：

L＝J_θ+γJ_DL+J_C (8)

其中，γ代表影响判别损失的权重系数。

进一步的，对所述监督样本的分布做校正标准化处理如下：

S51、对测试数据集中的每一类的测试数据集样本进行统计量的运算：

其中，μ_i表示第i类所有样本的均值，Σ_i表示第i类所有样本的协方差，n_i表示第i类所有样本的数量，x_j表示类别i中的第j个样本；i表示测试数据集中的类别；

S52：对监督样本的分布进行校正标准化处理：

∑'＝∑_i+ε (12)

其中，x表示类别i的监督样本，ε表示决定校准分布特征的分散程度的参数；μ'表示监督样本x校正之后的均值；∑'表示监督样本x校正之后的协方差；

S53、建立所述监督样本的分布校正特征函数为：

有益效果：本发明利用基于校正原型学习的高光谱分类方法对高光谱图像进行分类，通过选取支持集和查询集，避免使用大量的标记样本，节省样本标记成本。采用元学习训练策略反复利用有限的标记样本，与传统原型网络相比，学习到更具代表性的类原型和更具区分性的嵌入特征，得到了更好的分类精度，在高光谱图像地表精细分类等方面具有重要的应用价值。利用校正的原型学习的技术对高光谱图像进行分类有重要的理论意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于校正原型学习的高光谱影像分类方法流程图；

图2为本发明深度网络模型的网络结构图；

图3a为本发明实施例中测试数据集的伪彩图；

图3b为本发明实施例中测试数据集的分类结果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供了一种基于校正原型学习的高光谱影像分类方法，包括如下步骤,如附图1所示：

S1：选取高光谱场景图像，从中取部分样本作为训练集；并采用元学习策略从所述训练集中随机选出支持集和查询集；所述支持集表示包含有标签样本的集合，所述查询集表示不包含标签样本的集合；

具体的，本实施例中的高光谱场景图像来源于EO-1卫星上的传感器获取的Botswana数据集，经过处理后Botswana数据集有145个波段，为了减少计算量并且保留最大的空间-光谱特征，将数据集的光谱通道缩减为20个主波段。Botswana数据集共包含14个确定的地物类别。如表1所示：

表1Botswana数据集中目标地物类别的样本数目：

采用元学习训练策略，从所述高光谱场景图像中选择数据集中目标地物类别样本的10％组成训练集。每次训练随机选择5个类别，每个类别随机选取5个样本组成支持集，在剩余样本中随机选择5个组成查询集。

S2：搭建深度网络模型以提取所述样本的空间-光谱特征和学习度量空间，并计算学习度量空间中的初始类原型；所述深度网络模型是基于二维卷积操作的深度网络，包括归一化层、最大池化层、非线性激活函数层和全连接层。

具体的，在本实施例中，所述深度网络模型采用的网络结构由四个Block组成。其中Block 1、Block 2和Block 3都包括一个3×3二维卷积层、一个归一化层、一个3×3最大池化层(Block 3除外)和一个非线性激活函数层；Block 4由两个全连接层组装而成。表2显示了具体的网络结构，网络结构模型如图附图2所示。

表2深度网络网络结构

S3：搭建带有残差块的卷积神经网络对所述初始类原型进行校正，以获取校正的类原型；

优选地，所述残差块包括第1层、第1+1层和第1+2层，a[1]为第1层的输出，a[1+1]为第1+1层的输出，a[1+2]为第1+2层的输出；所述残差块的第1层和第1+2层均包括一个第一卷积层和一个ReLU层；所述残差块的第1+1层包括一个第一卷积层、一个ReLU层和第二卷积层。

所述卷积神经网络包括一个残差块和一个softmax层；所述第1+2层的输入包括所述a[1]和a[1+1]；所述第1+2层的输出a[1+2]经过所述softmax层，获得聚合参数w_i。

具体的，所述获取校正的类原型的步骤如下：

S31：建立所述初始类原型为：

其中，k代表高光谱影响数据集中的类别；S_k表示高光谱影像数据集中类别k的支持集，S_k＝{(x₁,y₁),...,(x_i,y_i),...,(x_N,y_N)}；x_i表示组成支持集的样本，y_i表示x_i对应的类别，N代表支持集样本个数，f_θ(·)表示嵌入函数；

S32：建立支持集样本聚合的参数为：

w_i＝g_φ(C_k-f_θ(x_i)) (2)

其中，g_φ(·)表示计算聚合参数w_i的函数；

S33：建立校正的类原型表示为：

S4：采用校正的学习度量方法训练所述深度网络模型，得到校正的深度网络模型，以使得经过校正的深度网络模型中获取的校正的类原型更加稳健；

所述校正的学习度量方法采用交叉熵损失、判别损失和对比损失相结合的方法，具体为：

S41：建立交叉熵损失函数：

J_θ＝-log(p_θ(y＝k|x)) (4)

其中，

其中，x表示查询集样本；Nc表示所选类别的数量；p_θ(y＝k|x)表示x属于第k类的概率；d(·)表示欧氏距离；exp(·)表示指数函数；log(·)表示对数函数；

S42：建立判别损失函数：

其中，C_l'表示除C_k'之外距离x最近的类别l的类原型；

S43：建立对比损失函数：

其中，α代表两个欧氏距离之间的最小间距；

S44：建立校正的学习度量空间损失函数如下：

L＝J_θ+γJ_DL+J_C (8)

其中，γ代表影响判别损失的权重系数。

S5：在所述高光谱场景图像中选取测试数据集，从中随机选取监督样本，并对所述监督样本的分布做校正标准化处理，以采用所述校正的深度网络模型获取测试数据集中每一类的测试类原型；

对所述监督样本的分布做校正标准化处理如下：

S51、对测试数据集中的每一类的测试数据集样本进行统计量的运算：

其中，μ_i表示第i类所有样本的均值，Σ_i表示第i类所有样本的协方差，n_i表示第i类所有样本的数量，x_j表示类别i中的第j个样本；i表示测试数据集中的类别；

S52：对监督样本的分布进行校正标准化处理：

∑'＝∑_i+ε (12)

其中，x表示类别i的监督样本，ε表示决定校准分布特征的分散程度的参数；μ'表示监督样本x校正之后的均值；∑'表示监督样本x校正之后的协方差。

S53、建立所述监督样本的分布校正特征函数为：

S6：计算所述测试集样本与所述测试类原型的欧式距离，以获得分类结果图。优选地，本实施例采用最近邻分类器进行分类。

具体的，本实施例中对Botswana数据集利用本发明的一种基于校正原型学习的高光谱影像分类方法进行了实验，实验的结果如表3所示：

表3Botswana分类精度(％)

	分类精度
		类别1	100±0.0
类别2	100±0.0
		类别3	100±0.0
类别4	100±0.0
		类别5	98.44±1.58
类别6	98.89±0.47
		类别7	100±0.0
类别8	98.80±0.24
		类别9	99.87±0.26
类别10	99.92±0.16
		类别11	100±0.0
类别12	99.78±0.27
		类别13	100±0.0
类别14	99.37±0.26
		OA	99.72±0.19
AA	99.72±0.20
		Kappa	99.69±0.20

其中的OA(Overall Accuracy)表示总体的分类精度、AA(Average accuracy)表示平均分类精度、Kappa表示Kappa系数，所述Kappa系数是指对遥感图像的分类精度和误差矩阵进行评价的多元离散方法，其同时考虑了对角线以外的各种漏分和错分像元，能够惩罚模型的偏向性，从而更加全面的评价分类的效果。附图3展示了测试数据集的伪彩图和分类结果图。

为了更加客观评价本发明中一种基于校正原型学习的高光谱影像分类方法模型中每一个步骤的作用，增加了现有的消融实验来进行说明，在普通原型网络的基础上加入单个模块或不同模块的组合来比较实验结果，具体实验结果如表4所示：

表4不同模块的分类精度(％)

通过上述实验可以得到如下结论：

(1)通过表3中的实验结果表明，提出的基于校正的原型学习的高光谱影像分类方法分类效果较好，证明了本方法在小样本分类方面展现出了优越的性能。

(2)通过表4中的消融实验数据显示表明，加入对初始类原型进行校正(Calibrated-Prototype)的分类结果明显优于只用普通原型网络(CNN)的结果，证明了增加对初始类原型进行校正(Calibrated-Prototype)在类原型的表示上展现出更稳健的性能。

(3)通过表4中的消融实验数据显示表明，加入对所述监督样本的分布做校正标准化处理(Calibrated-Distribution)的分类结果明显优于只用普通CNN的结果，略优于只用对初始类原型进行校正(Calibrated-Prototype)的结果，同时采用两个模块的分类结果明显优于只采用其中一个，证明了对所述监督样本的分布做校正标准化处理(Calibrated-Distribution)在对监督样本的分布校正上发挥了重要作用，更加有利于提高校正的原型学习模型的分类效果。

(4)通过表4中的消融实验数据显示表明，J_DL模块对实验结果产生较大影响，单独使用该模块的分类结果明显好于普通原型网络的结果，并且在对初始类原型进行校正(Calibrated-Prototype)和对所述监督样本的分布做校正标准化处理(Calibrated-Distribution)的基础上上分别添加J_DL模块之后，Botswana数据集的分类效果均有一定提高，证明J_DL模块的加入使得学习度量空间更加合理，对于提高分类精度具有重要作用。

(5)通过表4中的消融实验数据显示表明，加入J_C模块的实验结果明显优于普通原型网络的结果，并且在Calibrated-Prototype模块和Calibrated-Distribution模块上分别添加J_C模块之后，分类精度均好于使用单一模块，证明J_C模块的加入使得学习度量空间更加有效，更有利于提高分类效果。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于校正原型学习的高光谱影像分类方法，其特征在于，包括：如下步骤：

S1：选取高光谱场景图像，从中随机提取部分样本作为训练集；并从所述训练集中随机选出支持集和查询集，以作为为后续获取校正的类原型和学习度量空间的训练集；

S2：搭建深度网络模型以提取所述样本的空间-光谱特征和学习度量空间，并计算学习度量空间中的初始类原型；

S3：搭建带有残差块的卷积神经网络对所述初始类原型进行校正，以获取校正的类原型；

获取校正的类原型的步骤如下：

S31：建立所述初始类原型为：

其中，k代表高光谱影响数据集中的类别；S_k表示高光谱影像数据集中类别k的支持集，S_k＝{(x₁,y₁),...,(x_i,y_i),...,(x_N,y_N)}；x_i表示组成支持集的样本，y_i表示x_i对应的类别，N代表支持集样本个数，f_θ(·)表示嵌入函数；

S32：建立支持集样本聚合的参数为：

w_i＝g_φ(C_k-f_θ(x_i)) (2)

其中，g_φ(·)表示计算聚合参数w_i的函数；

S33：建立校正的类原型表示为：

S4：采用校正的学习度量方法训练所述深度网络模型，得到校正的深度网络模型，以使得所述校正的类原型更加稳健；

所述校正的学习度量方法采用交叉熵损失、判别损失和对比损失相结合的方法，具体为：

S41：建立交叉熵损失函数：

J_θ＝-log(p_θ(y＝k|x)) (4)

其中，

其中，x表示查询集样本；Nc表示所选类别的数量；p_θ(y＝k|x)表示x属于第k类的概率；d(·)表示欧氏距离；exp(·)表示指数函数；log(·)表示对数函数；

S42：建立判别损失函数：

其中，C_l'表示除C_k'之外距离x最近的类别l的类原型；

S43：建立对比损失函数：

其中，α代表两个欧氏距离之间的最小间距；

S44：建立校正的学习度量空间损失函数如下：

L＝J_θ+γJ_DL+J_C (8)

其中，γ代表影响判别损失的权重系数；

S5：在所述高光谱场景图像中选取测试数据集，从中随机选取监督样本，并对所述监督样本的分布做校正标准化处理，以采用所述校正的深度网络模型获取测试数据集中每一类的测试类原型；

对所述监督样本的分布做校正标准化处理如下：

S51、对所述测试数据集中的每一类的测试数据集样本进行统计量的运算：

其中，μ_i表示第i类所有样本的均值，Σ_i表示第i类所有样本的协方差，n_i表示第i类所有样本的数量，x_j表示类别i中的第j个样本；i表示测试数据集中的类别；

S52：对监督样本的分布进行校正标准化处理：

∑'＝∑_i+ε (12)

其中，x表示类别i的监督样本，ε表示决定校准分布特征的分散程度的参数；μ'表示监督样本x校正之后的均值；∑'表示监督样本x校正之后的协方差；

S53、建立所述监督样本的分布校正特征函数为：

S6：计算所述测试数据集样本与所述测试类原型的欧式距离，以获得对高光谱图像的分类结果。

2.根据权利要求1所述的一种基于校正原型学习的高光谱影像分类方法，其特征在于，所述深度网络模型是基于二维卷积操作的深度网络而搭建，包括归一化层、最大池化层、非线性激活函数层和全连接层。

3.根据权利要求1所述的一种基于校正原型学习的高光谱影像分类方法，其特征在于，所述残差块包括第1层、第1+1层和第1+2层；

所述残差块的第1层和第1+2层均包括第一卷积层和ReLU层；

所述残差块的第1+1层包括第二卷积层、ReLU层和第三卷积层。

4.根据权利要求3所述的一种基于校正原型学习的高光谱影像分类方法，其特征在于，所述卷积神经网络包括一个残差块和一个softmax层。

5.根据权利要求1所述的一种基于校正原型学习的高光谱影像分类方法，其特征在于，所述支持集和查询集的选取方法采用的是元学习策略；所述支持集为包含有标签样本的集合，所述查询集为不包含标签样本的集合。