CN113505856A - 一种高光谱影像无监督自适应分类方法 - Google Patents

Abstract

本发明公开了一种高光谱影像无监督自适应分类方法，包括：S1、选择两个地物类别相同但分布不同的高光谱场景图像；S2、根据高光谱影像的特点构建以卷积神经网络为基础的深度学习网络模型作为特征提取器、分类器、域判别器；S3、交替训练分类器和特征提取器，直到域判别器不能正确区分两个域，判别过程通过采用深层特征和风格特征两部分的内容将源域和目标域进行对齐；S4、用训练好的特征提取器和分类器对目标域分类，得到分类结果图。本发明采用深度神经网络搭建特征提取器用于提取特征，并且同时构建分类器和域判别器；利用深层特征对齐和风格特征对齐两方面的内容减小两个域的差异，一定程度上缓解了跨域分类中的特征对齐难题。

Description

一种高光谱影像无监督自适应分类方法

技术领域

本发明属于高光谱影像分类技术领域，具体涉及一种高光谱影像无监督自适应分类方法。

背景技术

高光谱影像由于具有光谱分辨率高、波段众多等显著特点，较于常规遥感影像，有更广泛的应用，如在实际应用中，常常被用来对目标范围内各地物进行分类识别。现有高光谱分类方法多采用监督方式通过对目标范围图像的空间和光谱信息进行分析和处理，往往可以得到较高的分类精度。然而，大规模无标注样本数据的现状对于无监督高光谱分类提出了广泛去修。根据高光谱图像的特点，一幅图像中常常包含多种地貌特征，其中如植被、建筑等地貌在其他图像中也常常出现，这一特征使得高光谱图像数据可以进行重复利用。在无标注数据的情况下，利用深度迁移学习算法在多个高光谱图像中进行跨域分类可以避免使用大量的标记样本，节省标记样本的成本。

针对迁移学习的影像分类问题，研究者已经做了大量的工作，但是面对复杂的高光谱影像，仍然面临着巨大的挑战。利用域自适应的技术对高光谱图像进行分类有重要的理论意义，首先域自适应可以对有地物标记的图像反复利用，而采用深度的方式可以更有效地从领域样本空间提取深层特征，与传统的提取特征方式相比，实现了更好的分类精度。同时，从一定程度上可以解决高光谱图像缺少带标记的训练样本而导致分类精度不高的问题，在高光谱图像地表精细分类等方面具有重要的应用价值。

发明内容

本发明提供一种高光谱影像分类方法，以克服以上问题。

本发明包括：

S1、选择两组地物类别相同但分布不同的高光谱场景图像，一个作为源数据集，即源域，另一个作为目标数据集，即目标域；

S2、构建以卷积神经网络为基础的深度学习网络模型作为特征提取器，用于提取地物的分类特征；

分别构建两个网络模型作为分类器、判别器；分类器用于对样本进行具体类别的划分；判别器用于区分样本的来源以及样本的内容是否对齐；

S3、交替训练特征提取器、分类器和判别器，直至训练特征提取器、分类器和判别器的损失函数都达到最小值；

S4、用训练好的特征提取器和分类器对目标域分类，得到分类结果图。

进一步地，分类器参数的训练包括：

S311、建立源域的样本(X_S,Y_S)的分类损失函数：

其中，

为源域的样本(X_S,Y_S)的分类损失，源域的样本为{(X_S,Y_S)}＝{(x₁,y₁),(x₂,y₂),......,(x_i,y_i)}，k为类别，K代表类别总数，H(*)为交叉熵损失函数，M为特征提取器；

S312、建立目标域的样本X_T的分类损失函数：

其中，

为目标域的样本X_T的分类损失，C表示分类器，目标域的样本为X_T＝{x₁,x₂,......,x_j}，

为条件交叉熵，p_j(k)为样本x_j属于第k类的概率。

S313、建立分类器的损失函数：

其中，L_cls表示分类器的训练结果。

进一步地，判别器的训练过程中采用了域对齐和类别对齐两个模块；判别器的训练包括：

S321、建立域对齐模块的损失函数：

其中，

表示域对齐模块的损失，D表示域判别器，d_k表示域，将源域的样本标记为1，目标域的样本标记为0，用于训练的不带标记的样本集为：

S322、建立类别对齐模块的损失函数：

其中，

表示类别对齐模块的损失，p_i(k)代表样本x_i属于第k类的概率，计算公式为：

p_i(k)＝C(M(x_i)) (6)

S323、建立判别器的训练函数：

其中，L_D表示判别器的训练结果。

进一步地，特征提取器的训练函数包括：

S331、对中间两层卷积神经网络的输出特征进行格拉姆矩阵运算：

其中，Gr表示格拉姆矩阵运算结果，A表示神经网络中的输出特征图，A^T表示矩阵的转置，a_i表示网络中得到的转换之后在通道方向上的特征，n表示通道数；

S332、建立风格损失函数：

其中，S_i表示源域的训练样本在特征网络中第i层的特征图，T_i表示目标域的训练样本在特征网络中第i层的特征图，n表示取n层的网络特征，L_S表示风格损失；

S333、建立对抗损失函数：

其中，将目标域的标记表示为1，L_adv表示对抗损失；

S334、建立特征提取器的训练函数：

L_M＝L_adv+L_S (11)

其中，L_M表示特征提取器的训练结果。

进一步地，S2中分类器、判别器的网络模型以连接层为基础，由卷积层、池化层、线性层和激活层组成。

本发明采用深度神经网络搭建特征提取器用于提取特征，并且同时构建分类器和域判别器利用深层特征对齐和风格特征对齐两方面的内容减小两个域的差异，解决了传统的跨域分类问题中两个域的对齐困难。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图；

图2为本发明特征提取器的网络结构模型；

图3为实施例中采用的Pavia University数据集的真实地物分布图；

图4为实施例中采用ADDA模型在Pavia University数据集上的分类结果图；

图5为实施例中采用本发明方法在Pavia University数据集上的分类结果图；

图6为实施例中采用的Pavia Center数据集的真实地物分布图；

图7为实施例中采用ADDA模型在Pavia Center数据集上的分类结果图；

图8为实施例中采用本发明方法在Pavia Center数据集上的分类结果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1、图2所示，本发明包括：

S1、选择两组地物类别相同但分布不同的高光谱场景图像，一个作为源数据集，也叫源域，另一个作为目标数据集，也叫目标域；

S2、构建以卷积神经网络为基础的深度学习网络模型作为特征提取器，用于提取地物的分类特征；

分别构建两个以连接层为基础，由卷积层、池化层、线性层和激活层组成的网络模型作为分类器、判别器；分类器用于对样本进行具体类别的划分；判别器用于区分样本的来源以及内容是否对齐；

S3、交替训练分类器、特征提取器和判别器；

S4、用训练好的特征提取器和分类器对目标域分类，得到分类结果图。具体而言，训练分类器的目的是使特征提取器提取的样本特征在分类器中达到类别概率的最大化；训练特征提取器的目的一方面在于目标域样本的域标签是否正确，另一方面在于使两个域的风格差异性最小；训练判别器时使用对抗网络的思想用于判别两个域的内容是否一致。

优选地，分类器参数的训练包括：

S311、建立源域的样本(X_S,Y_S)的分类损失函数：

其中，

为源域的样本(X_S,Y_S)的分类损失，源域的样本为{(X_S,Y_S)}＝{(x₁,y₁),(x₂,y₂),......,(x_i,y_i)}，k为类别，K代表类别总数，H(*)为交叉熵损失函数，M为特征提取器。

S312、建立目标域的样本X_T的分类损失函数：

其中，

为目标域的样本X_T的分类损失，C表示分类器，目标域的样本为X_T＝{x₁,x₂,......,x_j}，

为条件交叉熵，p_j(k)为样本x_j属于第k类的概率。

S313、建立分类器的损失函数：

其中，L_cls表示分类器的损失。

优选地，判别器的训练过程中采用了域对齐和类别对齐两个模块；判别器的训练过程为：

S321、建立域对齐模块的损失函数：

其中，

表示域对齐模块的损失，D表示域判别器，d_k表示域，将源域的样本标记为1，目标域的样本标记为0，用于训练的不带标记的样本集为：

S322、建立类别对齐模块的损失函数：

其中，

表示类别对齐模块的损失，p_i(k)代表样本x_i属于第k类的概率，计算公式为：

p_i(k)＝C(M(x_i)) (6)

S323、建立判别器的训练函数：

其中，L_D表示判别器的训练结果。

优选地，特征提取器的训练函数包括：

S331、对中间两层卷积神经网络的输出特征进行格拉姆矩阵运算：

其中，Gr表示格拉姆矩阵运算结果，A表示神经网络中的输出特征图，A^T表示矩阵的转置，a_i表示网络中得到的转换之后在通道方向上的特征，n表示通道数；

S332、建立风格损失函数：

其中，S_i表示源域的训练样本在特征网络中第i层的特征图，T_i表示目标域的训练样本在特征网络中第i层的特征图，n表示取n层的网络特征，L_S表示风格损失；

S333、建立对抗损失函数：

其中，将目标域的标记表示为1，L_adv表示对抗损失；

S334、建立特征提取器的训练函数：

L_M＝L_adv+L_S(11)

其中，L_M表示特征提取器的训练结果。

实施例2

样本数据来源：高光谱数据来源于ROSIS传感器获取的Pavia University和PaviaCenter数据，经过处理后Pavia University有103个波段，Pavia Center有102个波段，为了实现跨域分类的目的，将Pavia University数据的最后一个波段去除。两幅影像都有9个类别的地物，由于类别并不完全一致，选择其中相同的7类进行实验。

图3和图6所示为Pavia University和Pavia Center的真实地物分布，表1显示了Pavia University和Pavia Center数据集每类目标地物的样本数目：

表1

对于源域和目标域的样本，每类选择100个样本作为训练集进行训练。

搭建网络结构，对于特征提取器M，在实例中选择稠密网络(Dense Net)来提取网络，表2显示了具体的网络结构，网络结构模型图，如图2所示。

Dense Net增加了特征的重复利用率，实验中采用的Dense Net结构由两个Block组成，其中Block 1由4层卷积块组成，Block 2由6层卷积块组成，每一个卷积块由两层卷积层，卷积核的大小分别是3*3和1*1。由于在Dense Net中每一个卷积层的输入都是前面所有层的特征叠加，这无疑会给网络带来较大的负担，因此在两个Block中增加了1*1的卷积和一个池化层来起到降维的作用，减小开销。

对于分类器C和域判别器D均采用两层线性层(Linear)和激活进行分类，C输出的类别数为7，表示7种地物类别，D的输出类别数为2，表示源域和目标域。

表2

进行了两个实验，第一个实验把Pavia University当作源域，Pavia Center当作目标域，并选择提出的Adversarial Discriminative Domain Adaptation(ADDA)的模型用作参考，实验的结果如表3所示，得到的结果图像如图7和图8所示：

表3

第二个实验中，把Pavia Center当作源域，Pavia University当作目标域，同样地，使用ADDA的模型用作对比，表4中是该实验的结果，得到的结果图像如图4和图5所示：

表4

	ADDA	Ours
			类别1	97.73±2.91	82.85±6.42
类别2	57.64±5.17	79.91±7.36
			类别3	83.98±7.21	77.56±14.78
类别4	59.90±13.70	50.23±4.51
			类别5	7.75±5.96	90.16±12.03
类别6	6.76±6.44	86.91±11.38
			类别7	75.21±7.25	97.69±1.20
OA	60.78±1.56	78.04±1.54
			AA	55.71±1.49	80.76±4.13
Kappa	48.83±1.18	69.84±1.76

其中的OA(Overall Accuracy)、AA(Average accuracy)、Kappa分别表示总体的分类精度、平均分类精度和Kappa系数。

通过表3、表4中的实验结果表明，提出的基于内容对齐的高光谱影像无监督域自适应分类方法分类效果比ADDA的效果更好，在基于内容的对齐中包含两个域样本的深层特征对齐和风格特征对齐，证明了基于内容对齐策略在减小两个域的差异性方面展现出了优越的性能。通过图5中实验得到的Pavia University图像分布图和真实的分布图3相比，以及图8中实验得到的Pavia Center图像分布图和真实的分布图6相比，可以明显看出提出的基于内容对齐的高光谱影像无监督域自适应分类方法得到的分布图更加接近于真实图像，分类效果更好，而通过ADDA得到的图4和图7与真实分布图3和图6相比，差异性较大。这也表明了本方法中采用的基于内容的对齐方式能更大程度上减小两个域的差异性，使得对目标域得分类效果更好。

为了更加客观评价模型中每一个模块的作用，增加了消融实验来进行说明，实验结果如表5所示：

表5

其中PU表示Pavia University数据集，PC表示Pavia Center数据集。

通过表5中的消融实验数据显示表明，只用Domain-level模块的分类结果明显优于只用Class-wise模块的结果，证明了Domain-level模块在进行深层特征对齐中表现出优越的性能，使基于内容对齐策略更具有表现力。只用Class-wise模块的分类结果较差于只用Domain-level模块的结果，同时采用两个模块的分类结果明显优于只采用其中一个，证明了Class-wise模块在进行深层特征对齐中发挥了重要作用，更加有利于提高内容对齐网络模型的分类效果。SPA模块对实验结果产生很大影响，可以看出采用Domain-level的结果较好于采用Class-wise的结果，但是在两个模块上分别添加SPA模块之后，PaviaUniversity数据集使用Domain-level和SPA模块的分类结果较好于使用Class-wise和SPA模块，但是Pavia Center数据集上Class-wise和SPA模块的分类结果略高于Domain-level和SPA模块。并且通过采用Domain-level和Class-wise模块的实验结果与采用三个模块的实验相比，可以更加明显的看出增加了SPA模块进行风格特征对齐之后，分类效果更好，证明了风格特征的对齐对于缩小两个域的差异具有重要作用。

有益效果：

本发明采用深度神经网络搭建特征提取器用于提取特征，并且同时构建分类器和域判别器利用深层特征对齐和风格特征对齐两方面的内容减小两个域的差异，解决了传统的跨域分类问题中两个域的对齐困难。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种高光谱影像无监督自适应分类方法，其特征在于，包括：

S1、选择两组地物类别相同但分布不同的高光谱场景图像，一个作为源数据集，即源域；另一个作为目标数据集，即目标域；

S2、构建以卷积神经网络为基础的深度学习网络模型作为特征提取器，特征提取器用于提取地物的分类特征；

分别构建两个网络模型作为分类器、判别器；分类器用于对样本进行具体类别的划分；判别器用于区分样本的来源以及样本的内容是否对齐；

S3、交替训练特征提取器、分类器和判别器，直至训练特征提取器、分类器和判别器的损失函数都达到最小值；

S4、用训练好的特征提取器和分类器对目标域分类，得到分类结果图。

2.根据权利要求1中所述的一种高光谱影像无监督自适应分类方法，其特征还在于，S3中所述分类器的训练包括：

S311、建立源域的样本(X_S,Y_S)的分类损失函数：

其中，

为源域的样本(X_S,Y_S)的分类损失，源域的样本为{(X_S,Y_S)}＝{(x₁,y₁),(x₂,y₂),......,(x_i,y_i)}，k为类别，K代表类别总数，H(*)为交叉熵损失函数，M为特征提取器；

S312、建立目标域的样本X_T的分类损失函数：

其中，

为目标域的样本X_T的分类损失，C为分类器，目标域的样本为X_T＝{x₁,x₂,......,x_j}，

为条件交叉熵，p_j(k)为样本x_j属于第k类的概率；

S313、建立分类器的损失函数：

其中，L_cls表示分类器的训练结果。

3.根据权利要求1中所述的一种高光谱影像无监督自适应分类方法，其特征还在于，判别器的训练过程中采用了内容对齐，所述内容对齐包括：域对齐和类别对齐；S3中所述判别器的训练包括：

S321、建立域对齐模块的损失函数：

其中，

表示域对齐模块的损失，D表示域判别器，d_k表示域，将源域的样本标记为1，目标域的样本标记为0，用于训练的不带标记的样本集为

S322、建立类别对齐模块的损失函数：

其中，

表示类别对齐模块的损失，p_i(k)表示样本x_i属于第k类的概率，计算公式为：

p_i(k)＝C(M(x_i)) (6)

S323、建立判别器的训练函数：

其中，L_D表示判别器的训练结果。

4.根据权利要求1中所述的一种高光谱影像无监督自适应分类方法，其特征还在于，S3中所述特征提取器的训练函数包括：

S331、对中间两层卷积神经网络的输出特征进行格拉姆矩阵运算：

其中，Gr表示格拉姆矩阵运算结果，A表示神经网络中的输出特征图，A^T表示矩阵的转置，a_i表示网络中得到的转换之后在通道方向上的特征，n表示通道数；

S332、建立风格损失函数：

其中，S_i表示源域的训练样本在特征网络中第i层的特征图，T_i表示目标域的训练样本在特征网络中第i层的特征图，n表示取n层的网络特征，L_S表示风格损失；

S333、建立对抗损失函数：

其中，将目标域的标记表示为1，L_adv表示对抗损失；

S334、建立特征提取器的训练函数：

L_M＝L_adv+L_S (11)

其中，L_M表示特征提取器的训练结果。

5.根据权利要求1中所述的一种高光谱影像无监督自适应分类方法，其特征还在于，S2中所述分类器、判别器的网络模型以连接层为基础，由卷积层、池化层、线性层和激活层组成。

Images