CN114861865B - 高光谱图像分类模型的自监督学习方法、系统、介质和电子设备 - Google Patents

高光谱图像分类模型的自监督学习方法、系统、介质和电子设备 Download PDF

Info

Publication number
CN114861865B
CN114861865B CN202210228499.6A CN202210228499A CN114861865B CN 114861865 B CN114861865 B CN 114861865B CN 202210228499 A CN202210228499 A CN 202210228499A CN 114861865 B CN114861865 B CN 114861865B
Authority
CN
China
Prior art keywords
image
training
self
hyperspectral
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210228499.6A
Other languages
English (en)
Other versions
CN114861865A (zh
Inventor
曹维佳
杨小飞
卢瑶
周怡聪
米晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Yangtze Three Gorges Technology and Economy Development Co Ltd
Original Assignee
Aerospace Information Research Institute of CAS
Yangtze Three Gorges Technology and Economy Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS, Yangtze Three Gorges Technology and Economy Development Co Ltd filed Critical Aerospace Information Research Institute of CAS
Priority to CN202210228499.6A priority Critical patent/CN114861865B/zh
Publication of CN114861865A publication Critical patent/CN114861865A/zh
Application granted granted Critical
Publication of CN114861865B publication Critical patent/CN114861865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种高光谱图像分类模型的自监督学习方法、系统、计算机可读存储介质和电子设备。该方法包括：对未标记的第一样本图像进行处理，获取预训练图像；其中，第一样本图像为高光谱图像；根据预训练图像对预先建立的基网络进行自监督学习；在自监督学习完成的基网络上添加自定义网络，构建高光谱图像分类模型；其中，自定义网络的全连接层用于对高光谱图像进行分类；根据第二样本图像，对高光谱图像分类模型进行微调；第二样本图像通过对第一样本图像进行标注得到。籍此，在基网络的训练过程中，不再需要对第一样本图像进行人工标注，有效解决了深度学习在高光谱图像分类中应用时手动标记数据不足的问题，提高了高光谱图像分类的精度。

Description

高光谱图像分类模型的自监督学习方法、系统、介质和电子 设备
技术领域
本申请涉及遥感图像技术领域，特别涉及一种高光谱图像分类模型的自监督学习方法、系统、计算机可读存储介质和电子设备。
背景技术
图像分类是根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法；对于光谱分辨率在10-2λ数量级范围内的光谱图像称为高光谱图像(Hyperspectral Image，简称HSI)，对高光谱图像分类是遥感领域重要的研究方向之一。
在过去的几年，深度卷积神经网络在高光谱图像分类方面取得了巨大的成功，但是，深度卷积神经网络模型在训练过程中需要大量的人工标注数据，然而，高光谱图像在分类过程中可用的标记数据较少，成本高昂，严重阻碍了深度学习在高光谱图像分类中应用，影像了高光谱图像分类的精度。
因此，需要提供一种针对上述现有技术不足的改进技术方案。
发明内容
本申请的目的在于提供一种高光谱图像分类模型的自监督学习方法、系统、计算机可读存储介质和电子设备，以解决或缓解上述现有技术中存在的问题。
为了实现上述目的，本申请提供如下技术方案：
本申请提供了一种高光谱图像分类模型的自监督学习方法，包括：对未标记的第一样本图像进行处理，获取预训练图像；其中，所述第一样本图像为高光谱图像；根据所述预训练图像对预先建立的基网络进行自监督学习；在自监督学习完成的所述基网络上添加自定义网络，构建所述高光谱图像分类模型；其中，所述自定义网络的全连接层用于对高光谱图像进行分类；根据第二样本图像，对所述高光谱图像分类模型进行微调；其中，所述第二样本图像通过对所述第一样本图像进行标注得到。
优选的，所述对未标记的第一样本图像进行处理，获取预训练图像，包括：反转所述第一样本图像的光谱顺序，生成第一标签图像；其中，每张所述第一样本图像对应生成两张频谱顺序不同的所述第一标签图像；基于预先构建的几何变换集，对所述第一标签图像进行几何变换，以得到所述预训练图像。
优选的，所述基于预先构建的几何变换集，对所述第一标签图像进行几何变换，得到所述预训练图像，包括：对不同尺度的所述第一标签图像使用不同奇数倍大小的所述几何变换集，得到同一尺度的第二标签图像；对所述第二标签图像进行图像裁剪，获得不同尺度的所述预训练图像。
优选的，所述根据所述预训练图像对预先建立的基网络进行自监督学习，包括：基于预先建立的所述基网络，根据所述预训练图像，得到所述预训练图像的概率组；确定所述预训练图像和所述概率组之间的向量距离；根据所述向量距离和所述基网络的损失函数，对所述基网络的模型参数进行循环调整，直至调整次数达到预设训练次数，所述基网络的自监督学习结束。
优选的，所述根据第二样本图像，对所述高光谱图像分类模型进行微调，包括：冻结所述基网络，根据所述第二样本图像，对所述自定义网络进行训练；响应于所述自定义网络训练完成，解冻所述图像分类模型中的基网络，并根据所述第二样本图像，对所述基网络和所述自定义网络进行联合训练。
本申请实施例还提供一种高光谱图像分类模型的自监督学习系统，包括：图像处理单元，配置为对未标记的第一样本图像进行处理，获取预训练图像；其中，未标记所述的第一样本图像为高光谱图像；预训练单元，配置为根据所述预训练图像对预先建立的基网络进行自监督学习；模型构建单元，配置为在自监督学习完成的所述基网络上添加自定义网络，构建所述高光谱图像分类模型；其中，所述自定义网络的全连接层用于对高光谱图像进行分类；模型微调单元，配置为根据第二样本图像，对所述高光谱图像分类模型进行微调；其中，所述第二样本图像通过对所述第一样本图像进行标注得到。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序为如上任一所述的高光谱图像分类模型的自监督学习方法
本申请实施例还提供一种电子设备，包括：存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如上任一所述的高光谱图像分类模型的自监督学习方法。
有益效果：
本申请提供的技术方案中，将大量未标记的高光谱图像作为第一样本图像，利用第一样本图像进行处理生成的预训练图像，对预先建立的基网络进行自监督学习，并在基网络自监督学习完成后，在基网络上添加用于对高光谱图像进行分类的自定义网络，形成高光谱图像分类模型；最后，通过对标记第一样本图像得到的第二样本图像对高光谱图像分类模型进行微调，获得稳定的高光谱图像分类模型，用于对高光谱图像进行识别分类。本技术方案在高光谱图像分类模型的基网络的训练中，不再需要对第一样本图像进行人工标注，有效解决了深度学习在高光谱图像分类中应用时手动标记数据不足的问题；通过基网络的自监督学习，为高光谱图像分类时的特征识别提供了强大的监督信号；通过添加自定义网络，将据网络的全连接层替换为目标任务(高光谱图像分类)需要的全连接层，输出特定的类别数目，有效提高了高光谱图像分类的精度；在自定义网络的训练过程和联合训练过程中，只需要对少量未标记的第一样本图像进行标记，得到少量标记的第二样本图像即可完全实现自定义网络的训练和联合训练，极大的减少了深度神经网络的图像分类模型在训练过程中标记样本数量。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：
图1为根据本申请的一些实施例提供的一种高光谱图像分类模型的自监督学习方法的流程示意图；
图2为根据本申请的一些实施例提供的获取预训练图像的流程示意图；
图3为根据本申请的一些实施例提供的获取预训练图像时几何变换的流程示意图；
图4为根据本申请的一些实施例提供的基网络自监督学习的流程示意图；
图5为根据本申请的一些实施例提供的一种高光谱图像分类模型的自监督学习系统的结构示意图；
图6为根据本申请的一些实施例提供的电子设备的结构示意图；
图7为根据本申请的一些实施例提供的电子设备的硬件结构。
具体实施方式
下面将参考附图并结合实施例来详细说明本申请。各个示例通过本申请的解释的方式提供而非限制本申请。实际上，本领域的技术人员将清楚，在不脱离本申请的范围或精神的情况下，可在本申请中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本申请包含归入所附权利要求及其等同物的范围内的此类修改和变型。
示例性方法
如图1所示，该高光谱图像分类模型的自监督学习方法包括：
步骤S101、对未标记的第一样本图像进行处理，获取预训练图像。
其中，所述第一样本图像为高光谱图像。
目前，对图像进行识别、分类的深度神经网络模型，在训练过程中需要大量的有标注的第一样本图像，但是，所获取的源数据(图像)却是未经标注的，不能直接对深度神经网络模型进行训练。而且，通过人工对源数据进行标注，需要花费大量的人力、物力、财力，而且也不现实。因而，在本申请实施例中，通过自监督学习方法训练基网络。在此，通过对第一样本图像进行处理，得到可以对基网络进行训练的预训练图像。需要说明的是，未标记的第一样本图像有多个，通过对每个第一样本图像进行处理，得到相对应的预训练图像。
如图2所示，所述对未标记的第一样本图像进行处理，获取预训练图像，包括：
步骤S111、反转所述第一样本图像的光谱顺序，生成第一标签图像。
其中，每张所述第一样本图像对应生成两张频谱顺序不同的所述第一标签图像。
在本申请实施中，多个未标记的第一样本图像的集合构成第一样本图像集，通过对每个第一样本图像进行处理，得到相对应的预训练图像，多个预训练图像的集合构成预训练图像集。具体的，每个第一样本图像进行处理后得到两张频谱顺序不同的第一标签图像，即预训练图像集中的图像数量是第一样本图像集中第一样本图像的数量的两倍。
在此，在反转所述第一样本图像的光谱顺序时，基于设定的反转函数，对第一样本图像的光谱顺序进行反转，得到带有光谱顺序标签的第一标签图像。籍此，可有效的增加对基网络进行训练的样本，提高基网络对光谱进行学习的精度。在此，反转函数可以采用Python机器学习库中PyTorch自带的flip函数，对第一样本图像的光谱维度进行反转。
步骤S121、基于预先构建的几何变换集，对所述第一标签图像进行几何变换，以得到所述预训练图像。
在本申请实施例中，几何变换集定义了所有不同大小的第一标签图像的图像尺度，通过几何变换，可以将不同大小的第一标签图像转变为同一尺度大小的图像，以便于进一步提高基网络自监督学习的样本数量。如图3所示，所述基于预先构建的几何变换集，对第一标签图像进行几何变换，得到预训练图像包括：
步骤S121A、对不同尺度的所述第一标签图像使用不同奇数倍大小的所述几何变换集，得到同一尺度的第二标签图像；
在本申请实施例中，在对第一样本图像进行反转得到带有标签的第一标签图像后，创建一组K几何变换G，对不同尺度大小的第一标签图像采用不同的K几何变换G，使所有的第一样本图像全部变换为同一尺度大小的图像，以便于进一步提高基网络自监督学习的样本数量。
需要说明的时，在图像反转以及图像的几何变换过程中，均是以图像的中心像素点为原点进行的，图像的中心像素始终保持不变，以便自监督学习后的模型能够更好的识别中心像素点，实现图像分类。
步骤S121B、对所述第二标签图像进行图像裁剪，获得不同尺度的所述预训练图像。
在本申请实施例中，按照不同尺度(比如，1×1、3×3、5×5、7×7等)对第二标签图像进行裁剪，对应得到多个不同尺度大小的图像，籍此，可以进一步有效的提高基网络自监督学习的样本数量，使基网络自监督学习后的精度更高。
在本申请实施例中，通过对第二标签图像进行裁剪后得到不同尺度大小的图像，然后再将不同尺度大小的图像尺度均调整为最大尺寸后作为预训练图像。
在本申请实施例中，第一样本图像的光谱顺序反转的角度作为第一标签，在第一标签图像几何变换时，进行几何变换的图像尺度作为第二标签图像的标签，即第二标签图像是带有尺度标签的图像；然后，再把第二标签图像以中心像素为中心进行图像裁剪。
在此，图像除了通过几何变换得到带有尺度标签的图像外，还可以通过图像旋转得到第二标签图像，此时，第二标签图像为带有角度标签(随机旋转的角度)的图像。
步骤S102、根据所述预训练图像对预先建立的基网络进行自监督学习。
在本申请实施例中，直接对未标记的第一样本图像进行图像反转、图像变换及图像裁剪，自动对第一样本图像产生标签，不再需要对第一样本图像进行人工标注，有效解决了深度学习在高光谱图像分类中应用时手动标记数据不足的问题；利用由未标记的第一样本图像生成的预训练图像使基网络完成自监督学习，有效提高了基网络的训练效率。
在本申请实施例中，对第一样本图像的光谱顺序进行反转得到的第一标签图像中带有第一标签(光谱顺序标签z)，使得基网络自监督学习的样本具有了光谱顺序标签；再通过几何变换、图像裁剪得到预训练图像，使得基网络自监督学习的样本具有了尺度标签；通过对图像的光谱顺序和尺度大小两个目标任务的预测，使得能够通过快速的学习得到一个稳定的基网络。相对于单任务学习，本申请实现了基网络的多任务学习，达到对基网络更好的训练效果。
具体的，如图4所示，所述根据所述预训练图像对预先建立的基网络进行自监督学习，包括：
步骤S112、基于预先建立的所示基网络，根据所述预训练图像，得到所述预训练图像的概率组。
在本申请实施例中，将带有标签(同时包含光谱顺序标签和图像尺度标签)的预训练图像输入基网络，基网络自动输出预训练图像的几何变换的预测概率。在此，需要说明的是，每一张未标记的第一样本图像进行光谱顺序反转后，得到两张带有第一标签的第一标签图像；每张第一标签图像通过几何变换后，分别对应得到8张带有尺度标签的第二标签图像，即两张第二标签图像对应得到16张带有尺度标签的第二标签图像；对16张第二标签图像进行裁剪，对应得到16张预训练图像，也就是说，每张未标记的第一样本图像对应得到16张带有标签的预训练图像，即16张图像对应16个不同的标签，将16张带有不同标签的预训练图像分别输入基网络，预测得到16个概率组。
步骤S122、确定所述预训练图像和所述概率组之间的向量距离；
在本申请实施例中，按照给定的目标函数确定预训练图像和对应的概率组之间的向量距离。其中，向量距离根据给定的目标函数可以如公式(1)所示，公式(1)如下：
式中，N表示预训练图像的数量，Xi表示第i个预训练图像，(W,b)为基网络的需要调整的模型参数；loss表示基网络的目标函数(基网络的自监督学习的目标)，其中，目标函数包括预测的光谱顺序和真实的光谱顺序之间的损失，以及预测的尺度大小和真实的图像尺度大小之间的损失。
步骤S132、根据所述向量距离和所述基网络的损失函数，对所述基网络的模型参数进行循环调整，直至调整次数达到预设训练次数，所述基网络的自监督学习结束。
在本申请实施例中，预训练图像中包含有第一标签(光谱顺序)和尺度标签，预训练图像的预测概率值与光谱顺序、尺度均相关，在此，用lossz表示与光谱顺序有关的预测概率值和地面实况(即目标任务——图像对应的地面上的实际植被、建筑、河流、地理等状况)之间的距离差(即向量距离)，用lossy表示与尺度有关的预测概率值和地面实况之间的距离差。
本申请实施例中，预测的光谱顺序和真实的光谱顺序之间的损失最小(lossz),以及，预测的尺度大小和真实的图像尺度大小之间的损失最小lossy)为基网络自监督学习的目标。也就是说，在基网络的损失函数losstotal最小时，满足基网络自监督学习的目标。损失函数losstotal如公式(2)所示，公式(2)如下：
losstotal＝lossz+lossy……………………(2)
其中，
式中，M表示高光谱图像分类的最大类别数(比如，光谱顺序的类别数为2，图像尺度的类别数为8)，zj、yj分别表示第j个类别的真实标签，pj、qj分别表示第j个类别的预测概率值。
在此，基网络的模型参数为随机初始化参数，通过预训练图像和对应的概率组之间的向量距离，计算基网络的损失函数；再对基网络的模型参数的权重进行调整，继续训练；直至模型参数的调整达到最大次数，即基网络的训练达到预设训练次数，将损失函数最小时对应的模型参数作为基网络的模型参数，基网络的自监督学习结束。
步骤S103、在自监督学习完成的所述基网络上添加自定义网络，构建所述高光谱图像分类模型。
其中，所述自定义网络的全连接层用于对高光谱图像进行分类。
在本申请实施例中，通过修改自监督学习完成的基网络的全连接层的输出数目，将自监督学习完成的基网络的全连接层更换为目标任务(高光谱图像分类)需要的全连接层，实现在基网络上添加自定义网络的目的，完成高光谱图像分类模型的构建。
步骤S104、根据第二样本图像，对所述高光谱图像分类模型进行微调。
其中，第二样本图像通过对所述第一样本图像进行标注得到。
在此，需要说明的是，第二样本图像的总数量远远小于第一样本图像的数量，籍此，只需要对少量的第一样本图像进行标记，得到少量标记过的第二样本图像，即可实现对高光谱图像分类模型的微调，完成高光谱图像分类模型的训练。
在本申请实施例中，对高光谱图像分类模型的微调即是对添加的自定义网络进行单独训练，以及，对训练完成的自定义网络和基网络的进行联合训练，最终得到训练完成的高光谱图像分类模型。
其中，在对添加的自定义网络进行单独训练时，冻结所述基网络，根据第二样本图像，对所述自定义网络进行训练。在此，通过冻结基网络，对自定义网络的参数进行调整，在训练中最大次数后，自定义网络训练结束。需要说明的是，自定义网络的训练可以采用与基网络的自监督学习相同的操作，在此不再一一赘述。
响应于自定义网络训练完成，对训练完成的自定义网络和基网络进行联合训练。具体的，响应于自定义网络训练完成，解冻图像分类模型中的基网络，根据所述第二样本图像，对基网络和所述自定义网络进行联合训练。在此，对基网络和自定义网络进行联合训练的数据与自定义网络进行训练的数据相同，在训练过程中，基于BP(Back Propagation)神经网络的反馈对高光谱图像分类模型的模型参数(即基网络、自定义网络的模型参数)进行调整，直至调整次数达到最大训练次数，高光谱图像分类模型训练完成。
在本申请实施例中，基于训练完成的高光谱图像分类模型，将待识别分类的高光谱图像输入高光谱图像分类模型，即可输出分类预测结果，实现高光谱图像的有效识别、分类。在高光谱图像分类模型的基网络的训练过程中，不再需要对第一样本图像进行人工标注，有效解决了深度学习在高光谱图像分类中应用时手动标记数据不足的问题；通过基网络的自监督学习，为高光谱图像分类时的特征识别提供了强大的监督信号；通过添加自定义网络，将自监督学习完成的基网络的全连接层替换为目标任务(高光谱图像分类)需要的全连接层，输出特定的类别数目，有效提高了高光谱图像分类的精度；在自定义网络的训练过程和联合训练过程中，只需要对少量未标记的第一样本图像进行标记，得到少量标记的第二样本图像即可完全实现自定义网络的训练和联合训练，极大的减少了深度神经网络的图像分类模型在训练过程中标记样本数量。
示例性系统
如图5所示，该高光谱图像分类模型的自监督学习系统包括：图像处理单元501、预训练单元502、模型构建单元503和模型微调单元504。图像处理单元501配置为对未标记的第一样本图像进行处理，获取预训练图像；其中，所述第一样本图像为高光谱图像；预训练单元502配置为根据所述预训练图像对预先建立的基网络进行自监督学习；模型构建单元503配置为在自监督学习完成的所述基网络上添加自定义网络，构建所述高光谱图像分类模型；其中，所述自定义网络的全连接层用于对高光谱图像进行分类；模型微调单元504，配置为根据第二样本图像，对所述高光谱图像分类模型进行微调；其中，所述第二样本图像通过对所述第一样本图像进行标记得到。
本申请实施例提供的高光谱图像分类模型的自监督学习系统能够实现上述任一高光谱图像分类模型的自监督学习方法的步骤、流程，并达到相同的技术效果，在此不再一一赘述。
示例性设备
图6为根据本申请的一些实施例提供的电子设备的结构示意图；如图6所示，该电子设备包括：
一个或多个处理器601；
计算机可读介质，可以配置为存储一个或多个程序602，一个或多个处理器601执行一个或多个程序602时，实现如下步骤：对未标记的第一样本图像进行处理，获取预训练图像；其中，所述第一样本图像为高光谱图像；根据所述预训练图像对预先建立的基网络进行自监督学习；在自监督学习完成的所述基网络上添加自定义网络，构建所述高光谱图像分类模型；其中，所述自定义网络的全连接层用于对高光谱图像进行分类；根据第二样本图像，对所述高光谱图像分类模型进行微调；其中，所述第二样本图像通过对所述第一样本图像进行标注得到。
图7为根据本申请的一些实施例提供的电子设备的硬件结构，如图7所示，该电子设备的硬件结构可以包括：处理器701、通信接口702、计算机可读介质703和通信总线704。
其中，处理器701、通信接口702、计算机可读介质703通过通信总线704完成相互间的通信。
可选地，通信接口702可以为通信模块的接口，如GSM模块的接口。
其中，处理器701具体可以配置为：对未标记的第一样本图像进行处理，获取预训练图像；其中，所述第一样本图像为高光谱图像；根据所述预训练图像对预先建立的基网络进行自监督学习；在自监督学习完成的所述基网络上添加自定义网络，构建所述高光谱图像分类模型；其中，所述自定义网络的全连接层用于对高光谱图像进行分类；根据第一样本图像，对所述高光谱图像分类模型进行微调；其中，所述第二样本图像通过对所述第一样本图像进行标注得到。
处理器可以是通用处理器，包括中央处理器(central processing unit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如：iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如：iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可以将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器存储介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的高光谱图像分类模型的自监督学习方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和涉及约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述得设备及系统实施例仅仅是示意性的，其中作为分离不见说明的单元可以使或者也可以不是物理上分开的，作为单元提示的不见可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种高光谱图像分类模型的自监督学习方法，其特征在于，包括：
基于设定的反转函数，反转未标记的第一样本图像的光谱顺序，生成带有光谱顺序标签的第一标签图像；其中，所述第一样本图像为高光谱图像；每张所述第一样本图像对应生成两张频谱顺序不同的所述第一标签图像；
基于预先构建的几何变换集，以所述第一标签图像的中心像素点为原点，对不同尺度的所述第一标签图像使用不同奇数倍大小的所述几何变换集，得到同一尺度的第二标签图像；
对所述第二标签图像进行图像裁剪，获得不同尺度的预训练图像；具体包括：按照不同尺度，对所述第二标签图像以中心像素为中心进行图像裁剪，对应得到多个不同尺度大小的图像，将所述第二标签图像裁剪后得到不同尺度大小的图像尺度均调整为最大尺寸后作为所述预训练图像；
根据所述预训练图像对预先建立的基网络进行自监督学习；
在自监督学习完成的所述基网络上添加自定义网络，构建所述高光谱图像分类模型；其中，所述自定义网络的全连接层用于对高光谱图像进行分类；
根据第二样本图像，对所述高光谱图像分类模型进行微调；其中，所述第二样本图像通过对所述第一样本图像进行标注得到。
2.根据权利要求1所述的高光谱图像分类模型的自监督学习方法，其特征在于，所述根据所述预训练图像对预先建立的基网络进行自监督学习，包括：
基于预先建立的所述基网络，根据所述预训练图像，得到所述预训练图像的概率组；
确定所述预训练图像和所述概率组之间的向量距离；
根据所述向量距离和所述基网络的损失函数，对所述基网络的模型参数进行循环调整，直至调整次数达到预设训练次数，所述基网络的自监督学习结束。
3.根据权利要求1所述的高光谱图像分类模型的自监督学习方法，其特征在于，所述根据第二样本图像，对所述高光谱图像分类模型进行微调，包括：
冻结所述基网络，根据所述第二样本图像，对所述自定义网络进行训练；
响应于所述自定义网络训练完成，解冻所述图像分类模型中的基网络，并根据所述第二样本图像，对所述基网络和所述自定义网络进行联合训练。
4.一种高光谱图像分类模型的自监督学习系统，其特征在于，包括：
图像处理单元，配置为反转未标记的第一样本图像的光谱顺序，生成第一标签图像；其中，所述第一样本图像为高光谱图像；每张所述第一样本图像对应生成两张频谱顺序不同的所述第一标签图像；并基于预先构建的几何变换集，对不同尺度的所述第一标签图像使用不同奇数倍大小的所述几何变换集，得到同一尺度的第二标签图像；
对所述第二标签图像进行图像裁剪，获得不同尺度的预训练图像；具体包括：按照不同尺度，对所述第二标签图像以中心像素为中心进行图像裁剪，对应得到多个不同尺度大小的图像，将所述第二标签图像裁剪后得到不同尺度大小的图像尺度均调整为最大尺寸后作为所述预训练图像；
预训练单元，配置为根据所述预训练图像对预先建立的基网络进行自监督学习；
模型构建单元，配置为在自监督学习完成的所述基网络上添加自定义网络，构建所述高光谱图像分类模型；其中，所述自定义网络的全连接层用于对高光谱图像进行分类；
模型微调单元，配置为根据第二样本图像，对所述高光谱图像分类模型进行微调；其中，所述第二样本图像通过对所述第一样本图像进行标注得到。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序为如权利要求1-3任一所述的高光谱图像分类模型的自监督学习方法。
6.一种电子设备，其特征在于，包括：存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1-3任一所述的高光谱图像分类模型的自监督学习方法。
CN202210228499.6A 2022-03-10 2022-03-10 高光谱图像分类模型的自监督学习方法、系统、介质和电子设备 Active CN114861865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210228499.6A CN114861865B (zh) 2022-03-10 2022-03-10 高光谱图像分类模型的自监督学习方法、系统、介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210228499.6A CN114861865B (zh) 2022-03-10 2022-03-10 高光谱图像分类模型的自监督学习方法、系统、介质和电子设备

Publications (2)

Publication Number Publication Date
CN114861865A CN114861865A (zh) 2022-08-05
CN114861865B true CN114861865B (zh) 2023-07-21

Family

ID=82627452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210228499.6A Active CN114861865B (zh) 2022-03-10 2022-03-10 高光谱图像分类模型的自监督学习方法、系统、介质和电子设备

Country Status (1)

Country Link
CN (1) CN114861865B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486160B (zh) * 2023-04-25 2023-12-19 北京卫星信息工程研究所 基于光谱重建的高光谱遥感图像分类方法、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200211A (zh) * 2020-07-17 2021-01-08 南京农业大学 一种基于残差网络和迁移学习的小样本鱼识别方法及系统
CN112633336A (zh) * 2020-12-10 2021-04-09 重庆大学 一种基于多尺度特征融合的肺结节识别分类方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886334A (zh) * 2014-04-08 2014-06-25 河海大学 一种多指标融合的高光谱遥感影像降维方法
US10956785B2 (en) * 2018-04-27 2021-03-23 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for selecting candidates for annotation for use in training classifiers
US20200117897A1 (en) * 2018-10-15 2020-04-16 Walt Froloff Adaptive Artificial Intelligence Training Data Acquisition and Plant Monitoring System
US11625557B2 (en) * 2018-10-29 2023-04-11 Hrl Laboratories, Llc Process to learn new image classes without labels
CN113011427B (zh) * 2021-03-17 2022-06-21 中南大学 基于自监督对比学习的遥感图像语义分割方法
CN113706487A (zh) * 2021-08-17 2021-11-26 西安电子科技大学 基于自监督特征小样本学习的多器官分割方法
CN113989662B (zh) * 2021-10-18 2023-02-03 中国电子科技集团公司第五十二研究所 一种基于自监督机制的遥感图像细粒度目标识别方法
CN114067177B (zh) * 2021-11-18 2022-09-20 中国人民解放军国防科技大学 一种基于自监督学习的遥感图像分类网络鲁棒性提升方法
CN114078237A (zh) * 2021-11-24 2022-02-22 贵州图智信息技术有限公司 一种遥感影像道路变化识别方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200211A (zh) * 2020-07-17 2021-01-08 南京农业大学 一种基于残差网络和迁移学习的小样本鱼识别方法及系统
CN112633336A (zh) * 2020-12-10 2021-04-09 重庆大学 一种基于多尺度特征融合的肺结节识别分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于语义分割的电镜图像处理及纳米团聚识别研究;白玉;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》(第第01期期);B020-1177 *

Also Published As

Publication number Publication date
CN114861865A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN109522942B (zh) 一种图像分类方法、装置、终端设备和存储介质
CN110366734B (zh) 优化神经网络架构
US9990558B2 (en) Generating image features based on robust feature-learning
KR102170199B1 (ko) 비교 세트를 사용한 입력 예시들 분류
CN110826567B (zh) 光学字符识别方法、装置、设备及存储介质
US20130114900A1 (en) Methods and apparatuses for mobile visual search
CN115630236B (zh) 无源遥感影像的全球快速检索定位方法、存储介质及设备
CN112584062B (zh) 背景音频构建方法及装置
CN114861865B (zh) 高光谱图像分类模型的自监督学习方法、系统、介质和电子设备
CN112966754A (zh) 样本筛选方法、样本筛选装置及终端设备
CN112819050A (zh) 知识蒸馏和图像处理方法、装置、电子设备和存储介质
CN114494709A (zh) 特征提取模型的生成方法、图像特征提取方法和装置
JP2020187734A (ja) 遺伝モデルに基づきディープニューラルネットワーク（ｄｎｎ）を訓練することにおけるデータ拡張
CN111291715A (zh) 基于多尺度卷积神经网络的车型识别方法、电子设备及存储介质
CN112307243A (zh) 用于检索图像的方法和装置
CN113361384A (zh) 人脸识别模型压缩方法、设备、介质及计算机程序产品
CN115984868A (zh) 文本处理方法、装置、介质及设备
CN115482415A (zh) 模型训练方法、图像分类方法和装置
CN112541542B (zh) 多分类样本数据的处理方法、装置及计算机可读存储介质
Ahmad et al. Toward cross‐domain object detection in artwork images using improved YoloV5 and XGBoosting
CN111506691A (zh) 一种基于深度匹配模型的轨迹匹配方法和系统
US11928185B2 (en) Interpretability analysis of image generated by generative adverserial network (GAN) model
CN115601550B (zh) 模型确定方法、装置、计算机设备及计算机可读存储介质
CN116361642A (zh) 全局模型的训练方法、装置及电子设备
CN114626551A (zh) 文本识别模型的训练方法、文本识别方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230627

Address after: Room 206-21, second floor, building 1, Gongyuan street, Tongzhou District, Beijing 100084

Applicant after: YANGTZE THREE GORGES TECHNOLOGY & ECONOMY DEVELOPMENT CO.,LTD.

Applicant after: Aerospace Information Research Institute,Chinese Academy of Sciences

Address before: Room 206-21, second floor, building 1, Gongyuan street, Tongzhou District, Beijing 100084

Applicant before: YANGTZE THREE GORGES TECHNOLOGY & ECONOMY DEVELOPMENT CO.,LTD.

GR01 Patent grant
GR01 Patent grant