CN115115878A - 一种结合随机遮挡和byol结构的高光谱图像分类方法及其装置 - Google Patents

Abstract

本发明提供一种结合随机遮挡和BYOL结构的高光谱图像分类方法及其装置。首先采集高光谱数据；对高光谱数据进行预处理，包括PCA降维、切割补丁；对每一个补丁进行两次随机遮挡，并使用其他数据增强方法作为辅助，得到正样本对；设置超参数，将所有正样本对输入到BYOL网络训练，保存训练完成后的特征；将提取到的特征用于训练SVM模型并评价分类效果。装置包含采集单元和处理单元两部分。本发明解决了有监督学习高光谱分类依赖于标签数据和无监督学习分类精度不佳的问题，提出了结合随机遮挡和BYOL结构的高光谱图像分类方法，实现了一种基于光谱预处理、随机遮挡、BYOL光谱特征提取和SVM分类器的高光谱图像分类方法，精度可以超过大多现有方法。

Description

一种结合随机遮挡和BYOL结构的高光谱图像分类方法及其 装置

技术领域

本发明属于深度学习领域，更具体地，涉及一种结合随机遮挡和BYOL结构的高光谱图像分类方法及其装置。

背景技术

高光谱图像由于蕴含着丰富的光谱和空间信息，在地物分类、材质分析等领域得到了越来越广泛的应用。相比于RGB图像，高光谱图像的优势在于光谱波段数众多，达到数百乃至上千个，具有较高的光谱分辨率，赋予了它诊断光谱特征、识别地物及材质的能力。由于高光谱图像波段数众多，数据量也很大，对于传统的分类方法来说是不小的挑战。特征提取是图像处理中降低数据维度的步骤，可以解决数据冗余、不便处理的问题。传统的特征提取方法有PCA、ICA，目前仍然在高光谱图像的预处理步骤中被广泛使用。近年来随着深度学习的发展，很多用于高光谱图像分类的深度学习特征提取方法被提出来，这些方法可以分为监督学习方法和无监督学习方法。

监督学习的优点是在标注样本数量充足的情况下可以达到更高的精度，但是其依赖于大量标注数据的缺点是相当致命的，尤其是对于获取和标注难度更大的高光谱图像。没有足够的标注数据，监督深度学习算法往往不会有好的效果。近年来无监督学习算法越来越受到关注，因为它弥补了监督学习算法依赖于数据的不足。与监督学习不同的是，无监督学习没有训练集和标签，而是根据样本间的相似性对样本集进行分类，使得类内差距最小化，类间差距最大化。由于没有人工标注，无监督学习也往往有更好的泛化性能。

无监督学习可以分为表征学习和判别学习。判别学习是根据训练样本学习得到模型，然后通过提取样本的特征来预测样本属于每一类的概率。判别学习寻找不同类别之间的最优分裂面，能反映不同类数据间的差异，预测具有较好的性能。对比学习是典型的判别学习算法，它将正例样本和负例样本在特征空间进行对比，来学习样本的特征表示。对比学习的关键是要防止模型坍塌，即所有数据经过特征表示后收敛到同一个常数解。根据防止坍缩的方法不同，可以将对比学习分为基于负例的对比学习方法、基于对比聚类的对比学习方法、基于不对称网络结构的方法，以及基于冗余消除损失函数的方法。

BYOL是典型的基于不对称网络结构的对比学习方法，它的结构包括在线网络(online network)和目标网络(target network)，其中在线网络比目标网络多了预测部分，在线网络通过缓慢滑动平均的方式将更新传递给目标网络。BYOL算法的另一重要特点是不需要负对，只用正对进行训练，这使得该算法具有较好的鲁棒性。正对的构建是对比学习的关键，即由一张原图经过图像增强生成两张相似的样本，合适的构建方法能够有效提高特征提取的效果。常见的图像增强方法包括随机裁剪、色彩畸变、随机翻转等。随机擦除是一种新的数据增强技术，指随机选择图像中的矩形区域并使用随机值擦除其原像素，使用随机擦除后的图像进行训练能够降低过拟合风险并使得模型具有更好的鲁棒性。

发明内容

针对现有深度学习方法在高光谱图像分类存在依赖于标签数据、分类效果欠佳等问题，本发明提出一种结合随机遮挡和BYOL结构的高光谱图像分类方法来解决这些问题。本发明将随机遮挡取代BYOL结构的数据增强部分，改善提取到的高光谱图像的光谱和空间特征性能。本发明将提取到的特征输入到SVM分类器进行训练，实现较高精度的高光谱分类。

本发明首先提供了一种结合随机遮挡和BYOL结构的高光谱图像分类方法，其包括以下步骤：

步骤1，采集高光谱数据

选择合适的波长范围和分辨率，使用高光谱成像仪，对目标区域进行拍摄，并根据实地情况标注类别，将数据发送至处理单元；

步骤2，图像预处理

对原始高光谱数据用主成分分析(PCA)降维，并用滑窗分割图像补丁(patch)；

步骤3，数据增强

对每一个补丁进行两次随机遮挡，然后再采用辅助的数据增强方法进行数据增强，得到正样本对；

所述的随机遮挡步骤如下：

3.1)设定遮挡矩形的面积；

3.2)设定长宽比，取在r到1/r的随机值，r为用于设定长宽比阈值的参数，取0～1；

3.3)计算遮挡矩形长宽；

3.4)在补丁中随机选择矩形的起始点，用遮挡值替换原来像素上的值；

所述遮挡值为取固定值或者在0～1之间变化的随机值，遮挡时需要保留补丁中心的像素以防遮挡关键信息；遮挡是对补丁的每一层同时进行的；

步骤4，特征提取

设置超参数，将所有正样本对输入到BYOL网络，训练BYOL网络，保存训练完成后的特征；

其中，所述的超参数包括对比学习网络结构、分类网络结构、训练集与测试集划分比例、学习速率α、迭代次数epoch、批量大小batch-size；

步骤5，训练分类器

将提取到的特征与标注的类别划分为训练集和测试集，训练集放入SVM模型训练，测试集评价分类效果；

步骤6，采用训练好的SVM模型对待分类高光谱图像进行分类。

作为本发明的优选方案，3.1)中所述的设定遮挡矩形的面积可以设定固定值或者一定范围内的随机值。

作为本发明的优选方案，步骤3所述的辅助的数据增强方式包括随机裁剪、色彩畸变、随机翻转、随机灰度、加高斯噪声中的一种或多种。一方面可以弥补两个样本的遮挡相同带来的负面影响，另一方面可以增强算法的鲁棒性。

作为本发明的优选方案，所述训练BYOL网络的具体实现方式为：

BYOL网络由在线网络和目标网络组成，在线网络包括编码层、映射层、预测层三部分，目标网络包括编码层、映射层两部分；

假设vi和vi’是补丁p_i经过随机遮挡得到的正样本对，首先把v_i输入到在线网络，v_i’输入到目标网络；其中，v_i经过在线网络编码层得到特征表征y_θ，经映射层得到特征映射z_θ，经预测层得到q_θ(z_θ)；v_i’经过目标网络编码层得到特征表征y_ξ’，经映射层得到特征映射z_ξ’；对q_θ(z_θ)和z_ξ’进行L2正则化，含义为取出这两个隐含变量的绝对大小，而保留其方向性，为后面要做的向量点乘做铺垫；损失函数计算公式为：

其中，

表示在线网络平均预测结果，

表示目标网络平均映射特征，L_θ,ξ表示损失值，<.>表示点乘，||.||表示1范数；

BYOL模型的目标是由上分支在线网络预测下分支目标网络的结果，其结果相似性由损失函数评估，并根据损失函数结果更新上分支在线网络的参数，让在线网络逐渐拥有目标网络的性能，目标网络由滑动平均的方式进行更新。

由于L_θ,ξ是不对称网络得到的，为了充分利用样本信息，我们将样本对调后输入再求一个损失函数

两者相加后即为对称损失，得到对称损失计算公式为：

其中，

表示将vi和vi’替换位置输入到BYOL网络后得到的损失，即vi输入到目标网络，vi’输入到在线网络。

BYOL模型的训练过程概括为：

上分支参数：

下分支参数：ξ←τξ+(1-τ)θ

其中，τ表示更新权重，η表示学习率，

表示梯度；

训练完成后，取上分支在线网络生成的特征表征y_θ作为从该补丁p_i中提取到的最终特征。

作为本发明的优选方案，所述步骤2具体实现方式为：

2.1)PCA降维

对于h*w*c的高光谱图像，使用PCA降维使其变成h*w*d的主成分图，其中h，w，c分别表示高光谱图像的长、宽、波段数，d表示PCA降维后的通道数；

2.2)分割补丁

使用q*q尺寸的滑窗在降维后的图像上逐像素移动，切割出q*q*d尺寸的补丁，对图像边缘做填充得到h*w*d个补丁P＝{p₁,p₂,p₃,……,p_n}，n＝h*w*d；得到的补丁包含有中心光谱的光谱信息和与周围像素的空间信息。

作为本发明的优选方案，所述高光谱数据为金属高光谱数据。

本发明还提供了一种基于结合随机遮挡和BYOL结构的高光谱图像分类装置，所述装置用于实施上述的方法，其包括采集单元和处理单元：

——采集单元，用于响应于来自所述处理单元的成像指令，采集高光谱图像数据，并将所述高光谱图像数据发送给所述处理单元；采集单元包括成像模块、电源模块、传输模块。

——处理单元，用于向所述采集单元发送所述成像指令；以及，接收并处理所述高光谱图像数据，处理和展示所述高光谱图像数据和材质分析结果。

作为本发明的优选方案，所述的处理单元具体实现方式为包括：

——预处理模块，用于对高光谱图像PCA降维和分割补丁；

——特征提取模块，用于对预处理后的高光谱数据进行数据增强，并通过对比学习提取光谱特征；

——分类模块，用于根据提取的光谱特征对分类器进行训练，得到分类模型对输入样本进行分类。

总而言之，通过本发明构思的技术方案与现有技术相比，具有下列优点：

(1)本发明将基于不对称网络结构的对比学习方法引入到高光谱分类领域，具体来说，将BYOL算法用于高光谱分类的自监督特征提取。

(2)本发明将随机遮挡方法与BYOL算法结合，改进了高光谱特征提取的效果。具体地，我们用随机遮挡算法生成用于BYOL算法的正样本对，并尝试了用不同的遮挡策略来观察效果。

(3)在随机遮挡的基础上，使用各种常规的数据增强方法作为辅助手段，一方面可以弥补两个样本的遮挡相同带来的负面影响，另一方面可以增强算法的鲁棒性。

(4)仅需要少量样本即可完成训练，对于标签数据的依赖性较低。

附图说明

图1是本发明实施例提供的结合随机遮挡和BYOL结构的高光谱图像分类方法流程图。

图2是本发明实施例提供的结合随机遮挡和BYOL结构的高光谱图像分类装置框图。

图3是本发明实施例提供的本方法和其他对比方法在IP数据集上的分类结果。

图4是本发明实施例提供的本方法和其他对比方法在PU数据集上的分类结果。

具体实施方式

下面结合具体实施方式对本发明做进一步阐述和说明。所述实施例仅是本公开内容的示范且不圈定限制范围。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

如图1所示，本发明实施例主要包括以下步骤：

步骤1，采集金属高光谱数据。选择合适的波长范围和分辨率，使用高光谱成像仪，对目标区域进行拍摄，并根据实地情况标注类别，将数据发送至处理单元。在本实施例中使用公开的Indian Pines(IP)和Pavia University(PU)数据集。

步骤2，图像预处理。对原始高光谱数据用主成分分析(PCA)降维，并用滑窗分割图像补丁(patch)。

步骤3，数据增强。对每一个补丁进行两次随机遮挡，并使用其他数据增强方法作为辅助，得到正样本对。

步骤4，特征提取。设置超参数，将所有正样本对输入到BYOL网络，训练BYOL网络，保存训练完成后的特征。

步骤5，训练分类器。将提取到的特征与标注的类别划分为训练集和测试集，训练集放入SVM模型训练，测试集评价分类效果。

进一步地，步骤2包括：

2-1PCA降维。对于h*w*c的高光谱图像，使用PCA降维使其变成h*w*d的主成分图，对于IP数据集，通道数d选择30；对于PU数据集，通道数选择15。

2-2分割补丁。使用q*q尺寸的滑窗在降维后的图像上逐像素移动，切割出q*q*d尺寸的补丁，对图像边缘做填充可得到h*w*d个补丁P＝{p₁,p₂,p₃,……,p_n}，n＝h*w*d。得到的补丁包含有中心光谱的光谱信息和与周围像素的空间信息。

所述步骤3，随机遮挡的具体实现方式为：

随机遮挡步骤可总结如下：

(1)设定遮挡矩形的面积，为补丁面积的10％；

(2)设定长宽比，取在r到1/r的随机值，r取0.3；

(3)根据面积和长宽比计算矩形长和宽；

(4)在补丁中随机选择矩形的起始点，用遮挡值替换原来像素上的值。

所述遮挡值，可以取固定值，比如0,0.5,1，或者在0～1之间变化的随机值，在本实施例中遮挡值取1。需要注意的是，遮挡时需要保留补丁中心的像素以防遮挡关键信息。遮挡是对补丁的每一层同时进行的。

对同一个补丁分别随机遮挡两次后，得到两块不同的补丁，为了防止两次擦除区域重叠或者相似度过高，网络过快收敛效果较差，须使用其他数据增强方法作为辅助，使得两块补丁不相同。

进一步地，所述的其他数据增强方法具体实现方式为：

包括随机裁剪、色彩畸变、随机翻转、随机灰度、加高斯噪声等。

增强之后由补丁p_i生成正样本对(v_i,v_i’)。

所述步骤4，所述训练BYOL网络的具体实现方式为：

在本实施例中设置超参数为：

学习速率为0.001；迭代次数为50代；批量大小(Batchsize)为128。BYOL的主干网络从输入到输出依次为：三维卷积层、三维卷积层、三维卷积层、二维卷积层、线性层、线性层、线性层，每一层卷积层后都进行批量正则化。上分支在线网络和下分支目标网络使用同一个主干网络但目标网络不使用最后一层线性层，激活函数为Relu函数。

BYOL由在线网络和目标网络组成，在线网络包括编码层、映射层、预测层三部分，目标网络包括编码层、映射层两部分。首先我们把v_i输入到在线网络，v_i’输入到目标网络。在线网络经过编码层得到特征表征y_θ，经映射层得到特征映射z_θ，经预测层得到q_θ(z_θ)；目标网络经过编码层得到特征表征y_ξ’，经映射层得到特征映射z_ξ’；对q_θ(z_θ)和z_ξ’进行L2正则化，含义为取出这两个隐含变量的绝对大小，而保留其方向性，为后面要做的向量点乘做铺垫。损失函数计算公式为：

其中，

表示在线网络平均预测结果，

表示目标网络平均映射特征，L_θ,ξ表示损失值，<.>表示点乘，||.||表示1范数。

对比学习模型的目标是由上分支在线网络预测下分支目标网络的结果，其结果相似性由损失函数评估，并根据损失函数结果更新上分支在线网络的参数，让在线网络逐渐拥有目标网络的性能，目标网络由滑动平均的方式进行更新。

对称损失计算公式为：

其中，

表示将vi和vi’替换位置输入到BYOL网络后得到的损失，即vi输入到目标网络，vi’输入到在线网络。

对比学习模型的训练过程可以概括为：

上分支参数：

下分支参数：ξ←τξ+(1-τ)θ

其中，τ表示更新权重，η表示学习率，

表示梯度。

训练完成后，取上分支在线网络生成的特征表征y_θ作为该补丁提取到的最终特征。

所述步骤5，划分为训练集和验证集的具体实现方式为：

在每一类样本数比较充足且均匀的情况下，可以将每一类光谱样本按比例随机划分为训练集和测试集，比如可以选取训练集占总样本数的10％，测试集占总样本数的90％；在数据量较大时，可以降低训练样本占比，提高测试样本占比，比如选择训练集占总样本数的5％，测试集占总样本数的95％。在本实施例中，IP数据集和PU数据集都选用10％作为训练集，90％作为测试集。

进一步地，评价分类效果的具体实现方式为：

将验证集输入训练好的分类模型，将分类结果与标注对比，得到真正例(TP)、假正例(FN)、假反例(FP)、真反例(TN)，计算效果评价指标，包括但不限于总体精度(overallaccuracy，OA)、平均精度(average accuracy，AA)、Kappa系数、F1值等。评价指标达到要求时，训练后的模型即可投入应用。

所述计算总体精度与平均精度的具体实现方式为：

其中召回率

i为类别数。

为了测试本方法的效果，我们与10种有监督和无监督的方法效果进行了对比，对比的方法包括LDA、LFDA、SGDA、SLGDA、1D-CNN、S-CNN、PCA、TPCA、SSAE、EPLS、3DCAE，比较了在IP和PU数据集中每一类的准确度和OA、AA，如图3、4所示。

由图3可知，对于IP数据集，相比于其他有监督和无监督对比方法，本方法提出的结构在OA和AA方面表现最好，在IP数据集的10个类别(共16类)中获得最高准确度。

由图4可知，对于PU数据集，相比于其他有监督和无监督对比方法，本方法提出的结构在OA和AA方面表现最好，在PU数据集的5类(共9类)中获得最高准确度。

本发明实施例的方法，对比现有技术，实现了一种结合随机遮挡和BYOL结构的高光谱图像分类方法，简单高效，低成本且能够达到较高的分类精度。针对高光谱图像数据稀少、标注困难的问题，将BYOL算法用于高光谱分类的自监督特征提取，仅需要少量样本即可完成训练，对于标签数据的依赖性较低；针对无监督学习对于高光谱分类效果欠佳的问题，设计了用随机遮挡作为主要手段、其他数据增强作为辅助手段来生成BYOL算法的正样本对，能够促使模型更加关注关键位置的信息，提取更有代表性的特征，有效实现了对分类效果的提高。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (7)

1.一种结合随机遮挡和BYOL结构的高光谱图像分类方法，其特征在于，包括以下步骤：

步骤1，采集高光谱数据

选择合适的波长范围和分辨率，使用高光谱成像仪，对目标区域进行拍摄，并根据实地情况标注类别，将数据发送至处理单元；

步骤2，图像预处理

对原始高光谱数据用主成分分析(PCA)降维，并用滑窗分割图像补丁(patch)；

步骤3，数据增强

对每一个补丁进行两次随机遮挡，然后再采用辅助的数据增强方法进行数据增强，得到正样本对；

所述的随机遮挡步骤如下：

3.1)设定遮挡矩形的面积；

3.2)设定长宽比，取在r到1/r的随机值，r为用于设定长宽比阈值的参数，取0～1；

3.3)计算遮挡矩形长宽；

3.4)在补丁中随机选择矩形的起始点，用遮挡值替换原来像素上的值；

所述遮挡值为取固定值或者在0～1之间变化的随机值，遮挡时需要保留补丁中心的像素以防遮挡关键信息；遮挡是对补丁的每一层同时进行的；

步骤4，特征提取

设置超参数，将所有正样本对输入到BYOL网络，训练BYOL网络，保存训练完成后的特征；

其中，所述的超参数包括对比学习网络结构、分类网络结构、训练集与测试集划分比例、学习速率α、迭代次数epoch、批量大小batch-size；

步骤5，训练分类器

将提取到的特征与标注的类别划分为训练集和测试集，训练集放入SVM模型训练，测试集评价分类效果；

步骤6，采用训练好的SVM模型对待分类高光谱图像进行分类。

2.根据权利要求1所述结合随机遮挡和BYOL结构的高光谱图像分类方法，其特征在于，3.1)中所述的设定遮挡矩形的面积可以设定固定值或者一定范围内的随机值。

3.根据权利要求1所述结合随机遮挡和BYOL结构的高光谱图像分类方法，其特征在于，步骤3所述的辅助的数据增强方式包括随机裁剪、色彩畸变、随机翻转、随机灰度、加高斯噪声中的一种或多种。

4.根据权利要求1所述结合随机遮挡和BYOL结构的高光谱图像分类方法，其特征在于，所述训练BYOL网络的具体实现方式为：

BYOL网络由在线网络和目标网络组成，在线网络包括编码层、映射层、预测层三部分，目标网络包括编码层、映射层两部分；

假设vi和vi’是补丁p_i经过随机遮挡得到的正样本对，首先把v_i输入到在线网络，v_i’输入到目标网络；其中，v_i经过在线网络编码层得到特征表征y_θ，经映射层得到特征映射z_θ，经预测层得到q_θ(z_θ)；v_i’经过目标网络编码层得到特征表征y_ξ’，经映射层得到特征映射z_ξ’；对q_θ(z_θ)和z_ξ’进行L2正则化，含义为取出这两个隐含变量的绝对大小，而保留其方向性，为后面要做的向量点乘做铺垫；损失函数计算公式为：

其中，

表示在线网络平均预测结果，

表示目标网络平均映射特征，L_θ,ξ表示损失值，<.>表示点乘，||.||表示1范数；

BYOL模型的目标是由上分支在线网络预测下分支目标网络的结果，其结果相似性由损失函数评估，并根据损失函数结果更新上分支在线网络的参数，让在线网络逐渐拥有目标网络的性能，目标网络由滑动平均的方式进行更新。

由于L_θ,ξ是不对称网络得到的，为了充分利用样本信息，我们将样本对调后输入再求一个损失函数

两者相加后即为对称损失，得到对称损失计算公式为：

其中，

表示将vi和vi’替换位置输入到BYOL网络后得到的损失，即vi输入到目标网络，vi’输入到在线网络。

BYOL模型的训练过程概括为：

上分支参数：

下分支参数：ξ←τξ+(1-τ)θ

其中，τ表示更新权重，η表示学习率，▽_θ表示梯度；

训练完成后，取上分支在线网络生成的特征表征y_θ作为从该补丁p_i中提取到的最终特征。

5.根据权利要求1所述的一种结合随机遮挡和BYOL结构的高光谱图像分类方法，其特征在于，所述步骤2具体实现方式为：

2.1)PCA降维

对于h*w*c的高光谱图像，使用PCA降维使其变成h*w*d的主成分图，其中h，w，c分别表示高光谱图像的长、宽、波段数，d表示PCA降维后的通道数；

2.2)分割补丁

使用q*q尺寸的滑窗在降维后的图像上逐像素移动，切割出q*q*d尺寸的补丁，对图像边缘做填充得到h*w*d个补丁P＝{p₁,p₂,p₃,……,p_n}，n＝h*w*d；得到的补丁包含有中心光谱的光谱信息和与周围像素的空间信息。

6.一种基于结合随机遮挡和BYOL结构的高光谱图像分类装置，所述装置用于实施权利要求1～5任一项所述的方法，其特征在于，包括采集单元和处理单元：

——采集单元，用于响应于来自所述处理单元的成像指令，采集高光谱图像数据，并将所述高光谱图像数据发送给所述处理单元；采集单元包括成像模块、电源模块、传输模块。

——处理单元，用于向所述采集单元发送所述成像指令；以及，接收并处理所述高光谱图像数据，处理和展示所述高光谱图像数据和材质分析结果。

7.根据权利要求6所述的一种基于结合随机遮挡和BYOL结构的高光谱图像分类装置，其特征在于，所述的处理单元具体实现方式为包括：

——预处理模块，用于对高光谱图像PCA降维和分割补丁；

——特征提取模块，用于对预处理后的高光谱数据进行数据增强，并通过对比学习提取光谱特征；

——分类模块，用于根据提取的光谱特征对分类器进行训练，得到分类模型对输入样本进行分类。

Images