CN117237823A - 一种基于零样本学习的遥感基础模型迁移方法及其装置 - Google Patents

Abstract

本发明提供了一种基于零样本学习的遥感基础模型迁移方法及其装置，该方法包括：对可见类别数据集和不可见类别数据集分别进行预处理，得到预处理后的可见类别数据集和预处理后的不可见类别数据集；将预处理后的可见类别数据集输入至遥感基础模型进行模型训练，得到训练后的遥感基础模型；将预处理后的不可见类别数据集输入至训练后的遥感基础模型，得到优化后的遥感基础模型；将零样本数据输入至优化后的遥感基础模型进行图像分类，得到分类结果。

Description

一种基于零样本学习的遥感基础模型迁移方法及其装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于零样本学习的遥感基础模型迁移方法及其装置。

背景技术

零样本学习是一种机器学习技术，旨在解决在目标类别中没有标记样本的情况下进行分类的问题。传统的监督学习方法依赖于已知类别的标记样本进行训练和分类，而零样本学习通过将新类别的属性信息与已知类别相关联，使模型能够推广到未见过的类别上。这种能力使得零样本学习在处理大规模和复杂的分类任务中具有潜在的优势和应用价值。在零样本学习中，通常使用以下两个关键组件：属性表示和联结学习。

相关技术中，零样本学习面临一些挑战和问题。首先，基于属性的标注是一个挑战。为每个类别定义准确的属性表示需要仔细的设计和准确的注释。属性的选择和定义需要准确地捕捉到类别的关键特征，并且在不同类别之间具有可区分性。其次，属性和视觉特征之间的不匹配可能导致学习的困难。有时属性表示可能无法准确捕捉到视觉特征中的微妙变化，或者属性和视觉特征之间的关联可能不明确。这种不匹配可能导致模型在分类未见过的类别时出现困难。第三，跨领域泛化是零样本学习面临的挑战之一。模型在一个领域中训练时，很难将知识泛化到另一个领域，因为属性和视觉特征的分布可能不同。例如，一个在自然图像数据集上训练的模型可能无法准确分类工业场景中的目标。第四，类别间相似性可能导致困难。在某些情况下，不同类别之间可能存在相似性或混淆性，使得模型难以区分它们。特别是当属性表示的差异无法准确区分类别时，模型容易出现混淆。最后，零样本学习在样本效率方面存在问题。由于需要属性和视觉特征的联结，通常需要更多的数据样本来进行训练，以获得良好的泛化能力。然而，获取大量标记样本可能是困难和昂贵的，尤其是在一些特定的领域和任务中。

发明内容

为解决现有技术中存在的问题，本发明实施例提供的一种基于零样本学习的遥感基础模型迁移方法、装置、电子设备及存储介质，该方法通过引入GAN网络生成的合成特征来增强迁移学习的能力，解决了遥感图像分类中缺乏标记样本的问题，并提供了更好的特征表示和领域适应性。

本发明的第一个方面提供了一种基于零样本学习的遥感基础模型迁移方法，包括：对可见类别数据集和不可见类别数据集分别进行预处理，得到预处理后的可见类别数据集和预处理后的不可见类别数据集；将预处理后的可见类别数据集输入至遥感基础模型进行模型训练，得到训练后的遥感基础模型；将预处理后的不可见类别数据集输入至训练后的遥感基础模型，得到优化后的遥感基础模型；将零样本数据输入至优化后的遥感基础模型进行图像分类，得到分类结果。

进一步地，遥感基础模型包括特征编码器和生成对抗网络；其中，将预处理后的可见类别数据集输入至遥感基础模型进行训练，得到训练后的遥感基础模型，包括：将预处理后的可见类别数据集输入至特征编码器，得到可见类别数据集的图像特征和训练后的特征编码器；将可见类别数据集的图像特征和可见类别数据集的语义信息输入至生成对抗网络进行融合处理，得到融合特征和训练后的生成对抗网络。

进一步地，将预处理后的不可见类别数据集输入至训练后的遥感基础模型，得到优化后的遥感基础模型，包括：将预处理后的不可见类别数据集输入至训练后的特征编码器，得到不可见类别数据集的图像特征；将不可见类别数据集的图像特征和不可见类别数据集的语义信息输入至训练后的生成对抗网络，得到不可见类别数据集的分类向量；利用不可见类别数据集的分类向量对不可见类别数据集的图像特征进行分类，得到不可见类别数据集的分类结果。

进一步地，将零样本数据输入至优化后的遥感基础模型进行图像分类，得到分类结果，包括：将零样本数据的语义信息输入至优化后的生成对抗网络，得到零样本数据的分类向量；将零样本数据的图像输入至优化后的特征编码器，得到零样本数据的图像特征；利用零样本数据的分类向量对零样本数据的图像特征进行图像分类，得到分类结果。

进一步地，对可见类别数据集和不可见类别数据集分别进行预处理，得到预处理后的可见类别数据集和预处理后的不可见类别数据集，包括：对可见类别数据集和不可见类别数据集分别依次进行数据清洗、图像归一化及属性标准化处理，得到预处理后的可见类别数据集和预处理后的不可见类别数据集。

进一步地，可见类别数据集包括建筑物、道路、水体和农田中的一种或多种。

本发明的第二个方面提供了一种基于零样本学习的遥感基础模型迁移装置，包括：数据预处理模块，配置为对可见类别数据集和不可见类别数据集分别进行预处理，得到预处理后的可见类别数据集和预处理后的不可见类别数据集；模型训练模块，配置为将预处理后的可见类别数据集输入至遥感基础模型进行训练，得到训练后的遥感基础模型；模型优化模块，配置为将预处理后的不可见类别数据集输入至训练后的遥感基础模型，得到优化后的遥感基础模型；数据分类模块，配置为将零样本数据输入至优化后的遥感基础模型进行进行图像分类，得到分类结果。

进一步地，遥感基础模型包括特征编码器和生成对抗网络；其中，模型训练模块还配置为：将预处理后的可见类别数据集输入至特征编码器，得到可见类别数据集的图像特征和训练后的特征编码器；将可见类别数据集的图像特征和可见类别数据集的语义信息输入至生成对抗网络进行融合处理，得到融合特征和训练后的生成对抗网络。

进一步地，模型优化模块还配置为：将预处理后的不可见类别数据集输入至训练后的特征编码器，得到不可见类别数据集的图像特征；将不可见类别数据集的图像特征和不可见类别数据集的语义信息输入至训练后的生成对抗网络，得到不可见类别数据集的分类向量；利用不可见类别数据集的分类向量对不可见类别数据集的图像特征进行分类，得到不可见类别数据集的分类结果。

进一步地，数据分类模块还配置为：将零样本数据的语义信息输入至优化后的生成对抗网络，得到零样本数据的分类向量；将零样本数据的图像输入至优化后的特征编码器，得到零样本数据的图像特征；利用零样本数据的分类向量对零样本数据的图像特征进行图像分类，得到分类结果。

本发明的第三个方面提供了一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现本发明的第一个方面提供的基于零样本学习的遥感基础模型迁移方法。

本发明的第四个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本发明的第一个方面提供的基于零样本学习的遥感基础模型迁移方法。

本发明相对于现有技术至少具备以下有益效果：

（1）、本发明提供的基于零样本学习的遥感基础模型迁移方法，该方法通过GAN网络可以合成不可见类别特征，从而扩充训练数据集并增加样本的多样性。在缺乏标记样本的情况下，数据量有限，GAN网络生成的样本可以提供额外的数据来辅助模型训练。生成的不可见类别特征可以模拟真实样本的分布，从而提高遥感基础模型的泛化能力。

（2）、GAN网络可以通过联结学习将语义表示与图像特征表示进行关联，这种联结学习可以帮助改善属性和视觉特征之间的匹配性，使遥感基础模型能够更好地理解属性表示与不可见类别数据之间的关系。

（3）、该方法可以帮助遥感基础模型从一个领域迁移到另一个领域，从而提高模型的泛化能力。通过生成器模块生成不可见类别特征，模型可以在可见类别训练上学习到的特征和知识在不可见类别上得到有效利用。

附图说明

为了更完整地理解本发明及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本发明一实施例的基于零样本学习的遥感基础模型迁移方法的流程图；

图2示意性示出了根据本发明一实施例的基础模型训练的流程图；

图3示意性示出了根据本发明一实施例的基础模型自训练的流程图；

图4示意性示出了根据本发明一实施例的零样本学习的流程图；

图5示意性示出了根据本发明一实施例的基于零样本学习的遥感基础模型迁移装置的方框图；以及

图6示意性示出了根据本发明一实施例的适于实现上文描述的方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本发明的技术可以硬件和/或软件（包括固件、微代码等）的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

属性表示是零样本学习的基础，每个类别都与一组属性相关联。这些属性描述了该类别的特征、属性或语义。属性可以是二进制标记、文本描述或连续值。例如，在动物分类任务中，属性可以是动物的体型、生活环境、饮食习惯等。属性的选择和定义需要准确地捕捉到类别的关键特征，这可能需要领域专家的知识。联结学习是将属性表示与视觉特征空间进行关联的过程，将类别表示为在共享的嵌入空间中的点。这种联结学习可以使用一些方法，如嵌入映射或基于映射的方法。嵌入映射将属性和视觉特征映射到低维空间，使它们可以进行直接比较和匹配。通过学习属性和视觉特征之间的关联，模型可以在嵌入空间中根据属性信息对新类别进行分类。

为克服现有技术存在的问题，相关技术中提出了许多改进的零样本学习方法。其中一些方法试图改进属性表示的质量和准确性，例如通过使用多模态属性或结合外部知识库的语义信息来增强属性表示。其他方法关注于改进联结学习的能力，通过使用更复杂的嵌入映射模型来提高视觉特征和属性之间的匹配性。另外，一些方法关注于跨领域泛化的问题，例如通过引入领域适应或迁移学习的技术，使模型能够适应不同的领域和任务。

下面将结合本发明具体的实施例中的基于零样本学习的遥感基础模型迁移方法的具体流程，对本发明的技术方案进行详细说明。应当理解，附图中示出的基于零样本学习的遥感基础模型迁移方法的流程及计算结构等仅是示例性的，以帮助本领域的技术人员理解本发明的技术方案，并非用以限制本发明的保护范围。

图1示意性示出了根据基于零样本学习的遥感基础模型迁移方法的流程图。

如图1所示，该方法包括：步骤S1~S4。

在操作S1，对可见类别数据集和不可见类别数据集分别进行预处理，得到预处理后的可见类别数据集和预处理后的不可见类别数据集。

在本发明实施例中，可见类别数据集指的是具有标记样本的数据集。不可见类数据指的是缺乏标记样本的数据集。

例如，可见类别数据包括一些常见的、已知的地物类别。

例如，可见类数据可以包括建筑物、道路、水体或农田等。这些类别在数据集中有大量的标记样本，用于训练模型。

例如，不可见类数据包括一些没有标记样本的、不常见或新的地物类别。这些类别可能包括垃圾堆、太阳能电池板、风力涡轮机等，在可见类数据中没有出现。不可见类数据通常没有标签，因此无法利用传统的监督学习方法来训练模型以识别这类数据。

在本发明实施例中，可见类别数据集和不可见类别数据集均包括图像、语义信息（即属性信息）等。语义信息用于描述每个地物类别的特征。这些语义信息可以包括颜色、形状、大小、材质或用途等。

例如，对于飞机这个类别，飞机的语义信息可以包括机翼边缘锐利、尾部短而圆滑、通常有发动机等。这些语义信息有助于区分飞机与其他地物类别。

在本发明的实施例中，可见类别数据集和不可见类别数据集分别进行预处理，可以包括数据清洗、图像归一化、属性标准化等过程，以得到标准化的数据集。

在操作S2，将预处理后的可见类别数据集输入至遥感基础模型进行模型训练，得到训练后的遥感基础模型。

在本发明实施例中，利用预处理后的可见类别数据集（包括图像和语音信息）对遥感基础模型进行训练，以得到训练后的遥感基础模型。

在本发明实施例中，遥感基础模型可以包括特征编码器和生成对抗网络（Generative Adversarial Network，GAN）。

例如，特征编码器可以是一个深度神经网络，用于将数据集中的图像转化为高维特征向量，通过在可见类数据上进行监督学习，以使特征编码器的特征提取能力得到提升。

例如，GAN网络旨在将图像特征和语义信息融合，得到融合特征。通过在遥感基础模型中设置GAN网络，以使模型可以根据语义信息生成相应类别的特征向量。

例如，GAN网络可以包括生成器和判别器。生成器用于生成合成特征。判别器用于通过比较生成的特征与真实特征来不断提升生成器的性能。其为后续的零样本学习阶段提供了一个重要的资源，使得能够在没有直接标记样本的情况下生成有关不可见类别的特征表示。

在操作S3，将预处理后的不可见类别数据集输入至训练后的遥感基础模型，得到优化后的遥感基础模型。

在本发明实施例中，以不可见类别数据集的图像作为输入，将这些样本经过使用可见类别训练得到的遥感基础模型进行自训练。

例如，将不可见类别数据集依次输入至特征编码器和GAN网络中进行特征提取、特征融合及特征分类，使得自训练后的遥感基础模型能够输出更准确的不可见类别的特征。

在操作S4，将零样本数据输入至优化后的遥感基础模型进行图像分类，得到分类结果。

在本发明实施例中，零样本数据指的是无分类的数据数据，其可以是与可见类别数据集不同领域的数据，以实现自训练后的遥感基础模型能够实现从一个领域迁移到另一个领域，从而提高模型的泛化能力。

根据本发明的实施例，通过在遥感基础模型中设置GAN网络，利用GAN生成的合成样本来增强模型在缺乏标记样本的情况下的分类能力，从而提高零样本学习的性能和应用范围。

具体地，如图2所示，S2中将预处理后的可见类别数据集输入至遥感基础模型进行模型训练，得到训练后的遥感基础模型，具体包括：步骤S21~S22。

在操作S21，将预处理后的可见类别数据集输入至特征编码器，得到可见类别数据集的图像特征和训练后的特征编码器。

在本发明实施例中，利用特征编码器对预处理后的可见类别数据集的图像进行特征提取，具体为将图像转化为高维特征向量，生成可见类别数据集的图像特征，并得到训练后的特征编码器。

在操作S22，将可见类别数据集的图像特征和可见类别数据集的语义信息输入至生成对抗网络进行融合处理，得到融合特征和训练后的生成对抗网络。

在本发明实施例中，通过GAN网络的生成器将图像特征和数据集的语义信息进行融合处理，得到融合特征。以及通过GAN网络的判别器比较生成的图像特征和真实特征，以不断提升生成器的性能，使能够在没有直接标记样本的情况下生成有关不可见类别的特征表示。

具体地，如图3所示，S3中将预处理后的不可见类别数据集输入至训练后的遥感基础模型，得到优化后的遥感基础模型，具体包括：步骤S31~S33。

在操作S31，将预处理后的不可见类别数据集输入至训练后的特征编码器，得到不可见类别数据集的图像特征。

在本发明实施例中，利用预处理后的不可见类别数据集的图像作为输入，具体将这些图像输入至训练后的特征编码器进行特征提取，得到高维的图像特征。

在操作S32，将不可见类别数据集的图像特征和不可见类别数据集的语义信息输入至训练后的生成对抗网络，得到不可见类别数据集的分类向量。

在本发明实施例中，将不可见类别数据集的语义信息输入至训练后的GAN网络，利用GAN网络的生成器得到相应的不可见类别数据的分类向量（即语义特征表示）。

在操作S33，利用不可见类别数据集的分类向量对不可见类别数据集的图像特征进行分类，得到不可见类别数据集的分类结果。

在本发明实施例中，利用语义特征对图像特征进行分类，得到不可见类别数据集的分类特征。以及通过自训练策略对GAN的生成器进行迭代优化（即参数更新），使得生成器能输出更准确的不可见类别的特征。

具体地，如图4所示，S4中将零样本数据输入至优化后的遥感基础模型进行图像分类，得到分类结果，具体包括：步骤S41~S43。

在操作S41，将零样本数据的语义信息输入至优化后的生成对抗网络，得到零样本数据的分类向量。

在操作S42，将零样本数据的图像输入至优化后的特征编码器，得到零样本数据的图像特征。

在操作S43，利用零样本数据的分类向量对零样本数据的图像特征进行图像分类，得到分类结果。

在本发明实施例中，利用优化后的生成对抗网络和特征编码器对零样本数据进行分类，首先将零样本数据的语义信息经过GAN网络生成相应的分类向量（即分类权重），以及将零样本数据的图像输入至特征编码器得到相应的图像特征，再利用分类向量对图像特征进行分类，得到零样本数据的分类结果，以实现零样本数据学习。

根据本发明的实施例，GAN网络可以通过联结学习将语义表示与图像特征表示进行关联，这种联结学习可以帮助改善属性和视觉特征之间的匹配性，使模型能够更好地理解属性表示与不可见类别数据之间的关系。另外，GAN网络可以帮助遥感基础模型从一个领域迁移到另一个领域，从而提高模型的泛化能力。通过生成器模块生成不可见类别特征，模型可以在可见类别训练上学习到的特征和知识在不可见类别上得到有效利用。

可以理解，在遥感图像分类的情境中，“一个领域”可以指的是已知的地物类别，如建筑、水体、道路等。“另一个领域”可以指的是新出现的或不常见的地物类别，如垃圾堆、太阳能电池板等。

图5示意性示出了根据本发明一实施例的基于零样本学习的遥感基础模型迁移装置的方框图。

如图5所示，该基于零样本学习的遥感基础模型迁移装置500，包括：数据预处理模块510、模型训练模块520、模型优化模块530以及数据分类模块540。该装置500可以用于实现参考图1所描述的基于零样本学习的遥感基础模型迁移方法。

数据预处理模块510，配置为对可见类别数据集和不可见类别数据集分别进行预处理，得到预处理后的可见类别数据集和预处理后的不可见类别数据集。该数据预处理模块510例如可以用于执行上文参考图1所描述的S1步骤，在此不再赘述。

模型训练模块520，配置为将预处理后的可见类别数据集输入至遥感基础模型进行训练，得到训练后的遥感基础模型。该模型训练模块520例如可以用于执行上文参考图1所描述的S2步骤，在此不再赘述。

模型优化模块530，配置为将预处理后的不可见类别数据集输入至训练后的遥感基础模型，得到优化后的遥感基础模型。该模型优化模块530例如可以用于执行上文参考图1所描述的S3步骤，在此不再赘述。

数据分类模块540，配置为将零样本数据输入至优化后的遥感基础模型进行进行图像分类，得到分类结果。该数据分类模块540例如可以用于执行上文参考图1所描述的S4步骤，在此不再赘述。

根据本发明的实施例，遥感基础模型包括特征编码器和生成对抗网络。模型训练模块520还配置为将预处理后的可见类别数据集输入至特征编码器，得到可见类别数据集的图像特征和训练后的特征编码器；将可见类别数据集的图像特征和可见类别数据集的语义信息输入至生成对抗网络进行融合处理，得到融合特征和训练后的生成对抗网络。

根据本发明的实施例，模型优化模块530还配置为将预处理后的不可见类别数据集输入至训练后的特征编码器，得到不可见类别数据集的图像特征；将不可见类别数据集的图像特征和不可见类别数据集的语义信息输入至训练后的生成对抗网络，得到不可见类别数据集的分类向量；利用不可见类别数据集的分类向量对不可见类别数据集的图像特征进行分类，得到不可见类别数据集的分类结果。

根据本发明的实施例，数据分类模块540还配置为将零样本数据的语义信息输入至优化后的生成对抗网络，得到零样本数据的分类向量；将零样本数据的图像输入至优化后的特征编码器，得到零样本数据的图像特征；利用零样本数据的分类向量对零样本数据的图像特征进行图像分类，得到分类结果。

根据本发明的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本发明实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本发明实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上装置、基板上的装置、封装上的装置、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本发明实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，数据预处理模块510、模型训练模块520、模型优化模块530以及数据分类模块540中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，数据预处理模块510、模型训练模块520、模型优化模块530以及数据分类模块540中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上装置、基板上的装置、封装上的装置、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，数据预处理模块510、模型训练模块520、模型优化模块530以及数据分类模块540中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图6示意性示出了根据本发明实施例的适于实现上文描述的方法的电子设备的方框图。图6示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，本实施例中所描述的电子设备600，包括：处理器601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储部分608加载到随机访问存储器（RAM）603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC）），等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 603中，存储有电子设备600操作所需的各种程序和数据。处理器 601、ROM602以及RAM 603通过总线604彼此相连。处理器601通过执行ROM 602和/或RAM 603中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 602和RAM 603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。

根据本发明的实施例，电子设备600还可以包括输入/输出（I/O）接口605，输入/输出（I/O）接口605也连接至总线604。电子设备600还可以包括连接至I/O接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

根据本发明的实施例，根据本发明实施例的方法流程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本发明实施例的装置中限定的上述功能。根据本发明的实施例，上文描述的装置、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/装置中所包含的；也可以是单独存在，而未装配入该设备/装置/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的基于零样本学习的遥感基础模型迁移方法。

根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 602和/或RAM 603和/或ROM 602和RAM 603以外的一个或多个存储器。

本发明的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机装置中运行时，该程序代码用于使计算机装置实现本发明实施例所提供的基于零样本学习的遥感基础模型迁移方法。

在该计算机程序被处理器601执行时执行本发明实施例的装置/装置中限定的上述功能。根据本发明的实施例，上文描述的装置、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分609被下载和安装，和/或从可拆卸介质611被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本发明实施例的装置中限定的上述功能。根据本发明的实施例，上文描述的装置、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。

需要说明的是，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来。

附图中的流程图和框图，图示了按照本发明各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本发明的各个实施例和/或保护范围中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或保护范围中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。

尽管已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域技术人员应该理解，在不背离所附保护范围及其等同物限定的本发明的精神和范围的情况下，可以对本发明进行形式和细节上的多种改变。因此，本发明的范围不应该限于上述实施例，而是应该不仅由所附保护范围来进行确定，还由所附保护范围的等同物来进行限定。

Claims (10)

1.一种基于零样本学习的遥感基础模型迁移方法，其特征在于，包括：

对可见类别数据集和不可见类别数据集分别进行预处理，得到预处理后的可见类别数据集和预处理后的不可见类别数据集；

将所述预处理后的可见类别数据集输入至遥感基础模型进行模型训练，得到训练后的遥感基础模型；

将所述预处理后的不可见类别数据集输入至所述训练后的遥感基础模型，得到优化后的遥感基础模型；

将零样本数据输入至所述优化后的遥感基础模型进行图像分类，得到分类结果。

2.根据权利要求1所述的基于零样本学习的遥感基础模型迁移方法，其特征在于，所述遥感基础模型包括特征编码器和生成对抗网络；其中，所述将所述预处理后的可见类别数据集输入至遥感基础模型进行训练，得到训练后的遥感基础模型，包括：

将所述预处理后的可见类别数据集输入至所述特征编码器，得到所述可见类别数据集的图像特征和训练后的特征编码器；

将所述可见类别数据集的图像特征和所述可见类别数据集的语义信息输入至所述生成对抗网络进行融合处理，得到融合特征和训练后的生成对抗网络。

3.根据权利要求2所述的基于零样本学习的遥感基础模型迁移方法，其特征在于，所述将所述预处理后的不可见类别数据集输入至所述训练后的遥感基础模型，得到优化后的遥感基础模型，包括：

将所述预处理后的不可见类别数据集输入至所述训练后的特征编码器，得到所述不可见类别数据集的图像特征；

将所述不可见类别数据集的图像特征和所述不可见类别数据集的语义信息输入至所述训练后的生成对抗网络，得到所述不可见类别数据集的分类向量；

利用所述不可见类别数据集的分类向量对所述不可见类别数据集的图像特征进行分类，得到所述不可见类别数据集的分类结果。

4.根据权利要求1所述的基于零样本学习的遥感基础模型迁移方法，其特征在于，所述将零样本数据输入至所述优化后的遥感基础模型进行图像分类，得到分类结果，包括：

将所述零样本数据的语义信息输入至优化后的生成对抗网络，得到所述零样本数据的分类向量；

将所述零样本数据的图像输入至优化后的特征编码器，得到所述零样本数据的图像特征；

利用所述零样本数据的分类向量对所述零样本数据的图像特征进行图像分类，得到所述分类结果。

5.根据权利要求1所述的基于零样本学习的遥感基础模型迁移方法，其特征在于，所述对可见类别数据集和不可见类别数据集分别进行预处理，得到预处理后的可见类别数据集和预处理后的不可见类别数据集，包括：

对可见类别数据集和不可见类别数据集分别依次进行数据清洗、图像归一化及属性标准化处理，得到所述预处理后的可见类别数据集和所述预处理后的不可见类别数据集。

6.根据权利要求1所述的基于零样本学习的遥感基础模型迁移方法，其特征在于，所述可见类别数据集包括建筑物、道路、水体和农田中的一种或多种。

7.一种基于零样本学习的遥感基础模型迁移装置，其特征在于，包括：

数据预处理模块，配置为对可见类别数据集和不可见类别数据集分别进行预处理，得到预处理后的可见类别数据集和预处理后的不可见类别数据集；

模型训练模块，配置为将所述预处理后的可见类别数据集输入至遥感基础模型进行训练，得到训练后的遥感基础模型；

模型优化模块，配置为将所述预处理后的不可见类别数据集输入至所述训练后的遥感基础模型，得到优化后的遥感基础模型；

数据分类模块，配置为将零样本数据输入至所述优化后的遥感基础模型进行进行图像分类，得到分类结果。

8.根据权利要求7所述的基于零样本学习的遥感基础模型迁移装置，其特征在于，所述遥感基础模型包括特征编码器和生成对抗网络；其中，所述模型训练模块还配置为：

将所述预处理后的可见类别数据集至所述特征编码器，得到所述可见类别数据集的图像特征和训练后的特征编码器；

将所述可见类别数据集的图像特征和所述可见类别数据集的语义信息输入至所述生成对抗网络进行融合处理，得到融合特征和训练后的生成对抗网络。

9.根据权利要求8所述的基于零样本学习的遥感基础模型迁移装置，其特征在于，所述模型优化模块还配置为：

将所述预处理后的不可见类别数据集输入至所述训练后的特征编码器，得到所述不可见类别数据集的图像特征；

将所述不可见类别数据集的图像特征和所述不可见类别数据集的语义信息输入至所述训练后的生成对抗网络，得到所述不可见类别数据集的分类向量；

利用所述不可见类别数据集的分类向量对所述不可见类别数据集的图像特征进行分类，得到所述不可见类别数据集的分类结果。

10.根据权利要求8所述的基于零样本学习的遥感基础模型迁移装置，其特征在于，所述数据分类模块还配置为：

将所述零样本数据的语义信息输入至优化后的生成对抗网络，得到所述零样本数据的分类向量；

将所述零样本数据的图像输入至优化后的特征编码器，得到所述零样本数据的图像特征；

利用所述零样本数据的分类向量对所述零样本数据的图像特征进行图像分类，得到所述分类结果。