CN115775340B - 一种基于特征调制的自适应小样本图像分类方法及装置 - Google Patents

Abstract

本发明涉及图像分类技术领域，特别是指一种基于特征调制的自适应小样本图像分类方法及装置，一种基于特征调制的自适应小样本图像分类方法及装置包括：采集基础图像数据，获得小样本数据集；根据公开数据集和所述小样本数据集进行划分操作，获得训练集；根据所述小样本数据集和所述训练集，建立特征提取神经网络；根据所述训练集，建立特征调制网络；根据所述特征提取神经网络和所述特征调制网络，对待查询图像进行分类操作，获得图片分类结果。本发明基于小样本任务的全部支撑集数据有效地提升了小样本图像分类方法的准确程度。

Description

一种基于特征调制的自适应小样本图像分类方法及装置

技术领域

本发明涉及图像分类技术领域，特别是指一种基于特征调制的自适应小样本图像分类方法及装置。

背景技术

深度学习是目前人工智能领域最重要的技术之一。近年来，深度学习技术取得了较大的进步，然而，与之相对应的还有模型深度不断加深，参数量不断扩大，对训练数据的需求越来越大以及优化、微调的困难。小样本学习的提出和研究，旨在降低深度学习算法对数据量的依赖，探究高效利用数据的方法。小样本图像分类技术旨在基于极少的训练数据，得到鲁棒可靠的图像分类神经网络，在诸多场景下具有广泛的实际意义。

例如在医学图像分类、雷达图像识别等领域，图像获取的难度大、成本高，标注需要专业的专家知识，这导致难以获得大量标注数据用来进行常规神经网络的训练，从而造成识别率不高、分类错误率高等问题。小样本图像分类技术通过一整套专门的数据处理、特征提取、神经网络设计和训练方法，充分挖掘少量数据的信息，进行更快速的知识迁移，从而在少量数据条件下取得更好的效果。

数据量小是小样本图像分类面临的最直接最突出的问题，因此现有的大多数方法会采用一些常规的图像数据增强方法来对数据进行扩充。另外，现有小样本图像分类技术在预训练过程中，小样本数据经过训练或者提取原型之后就被舍弃了，即“数据模型化”，这一过程导致了本就稀少的训练数据信息的丢失。在神经网络设计方面，目前的小样本图像分类神经网络往往采用单一结构，即预训练和后处理共用同一个网络，或没有显式地将它们二者解耦开，这类耦合度较高的模型导致一方面无法复用业界先进成熟的预训练模型，另一方面，预训练阶段与后处理阶段在数据量、执行功能上有较大的差异，单一模型难以既保证基于大规模数据预训练的泛化性，又保证基于极少数据后处理的鲁棒性。所以，在现有技术中，缺乏一种保留小样本任务的全部支撑集数据的前提下，从特征层面高效挖掘的解耦合小样本图像分类方法。

发明内容

本发明实施例提供了一种基于特征调制的自适应小样本图像分类方法及装置。所述技术方案如下：

一方面，提供了一种基于特征调制的自适应小样本图像分类方法，该方法由电子设备实现，该方法包括：

采集基础图像数据，获得小样本数据集；

根据公开数据集和所述小样本数据集进行划分操作，获得训练集；

根据所述小样本数据集和所述训练集，建立特征提取神经网络；

根据所述训练集，建立特征调制网络；

根据所述特征提取神经网络和所述特征调制网络，对待查询图像进行分类操作，获得图片分类结果。

其中，所述小样本数据集包括若干个小样本分类任务数据；所述小样本分类任务数据包含支撑集和查询集。

可选地，所述根据公开数据集和所述小样本数据集进行划分操作，获得训练集，包括：

根据小样本数据集的数据形式对公开数据集进行划分，获得训练集；所述训练集的数据类别与所述小样本数据集的数据类别不重叠。

可选地，所述根据所述小样本数据集和所述训练集，建立特征提取神经网络，包括：

所述特征提取网络的模型结构基于卷积神经网络或视觉Transformer网络进行设计；

当获取的训练集的数据量满足预设训练数据量阈值时，并且训练集的数据和小样本数据集的数据具备关联性时，根据所述小样本数据集和所述训练集进行训练，获得所述小样本数据集上的特征提取神经网络；

当获取的训练集的数据量不满足预设训练数据量阈值时，训练集的数据和小样本数据集的数据差异大，直接引入已经预训练好的神经网络模型作为特征提取神经网络。

可选地，所述根据所述训练集，建立特征调制网络，包括：

所述特征调制网络的模型结构基于公开神经网络结构进行设计；

根据所述训练集进行多目标训练，获得网络内部多层感知机参数；

根据所述网络内部多层感知机参数进行修正，获得特征调制网络；

根据所述训练集进行多目标训练时，对特征提取网络的参数进行冻结。

其中，所述特征调制网络包括任务自适应调制的负关系调制单元和查询自适应调制的正关系调制单元；

所述任务自适应调制的负关系调制单元，用于提高与其他类别图像数据的支撑集有明显区别的图像数据的权重，降低与其他类别图像数据的支撑集相似的图像数据的权重；所述其他类别图像数据为训练集数据中，除待调制图像数据以外的图像数据；

所述查询自适应调制的正关系调制单元，用于提高与待调制图像数据的支撑集相似的图像数据的权重，降低与待调制图像数据的支撑集有明显区别的图像数据的权重。

可选地，所述根据所述特征提取神经网络和所述特征调制网络，对待查询图像进行分类操作，获得图片分类结果，包括：

根据所述特征提取网络，对支撑集图像以及待查询图像进行特征提取，获得支撑集图像特征和待查询图像特征；

将所述支撑集图像特征和待查询图像特征输入所述特征调制网络，获得待查询图像的动态原型；

根据所述待查询图像特征和所述待查询图像的动态原型进行相似度计算，得到相似度计算结果，根据所述相似度计算结果选择相似度最高的动态原型对应的类别即为待查询图像的类别。

另一方面，提供了一种基于特征调制的自适应小样本图像分类装置，该装置应用于一种基于特征调制的自适应小样本图像分类方法，该装置包括：

样本采集模块，用于采集基础图像数据，获得小样本数据集；

数据划分模块，用于根据公开数据集和所述小样本数据集进行划分操作，获得训练集；

特征提取网络建立模块，用于根据所述小样本数据集和所述训练集，建立特征提取神经网络；

特征调制网络建立模块，用于根据所述训练集，建立特征调制网络；

图像分类模块，用于根据所述特征提取神经网络和所述特征调制网络，对待查询图像进行分类操作，获得图片分类结果。

其中，所述小样本数据集包括若干个小样本分类任务数据；所述小样本分类任务数据包含支撑集和查询集。

可选地，所述数据划分模块，进一步用于：

根据小样本数据集的数据形式对公开数据集进行划分，获得训练集；所述训练集的数据类别与所述小样本数据集的数据类别不重叠。

可选地，所述特征提取网络建立模块，进一步用于：

所述特征提取网络的模型结构基于卷积神经网络或视觉Transformer网络进行设计；

当获取的训练集的数据量满足预设训练数据量阈值时，并且训练集的数据和小样本数据集的数据具备关联性时，根据所述小样本数据集和所述训练集进行训练，获得所述小样本数据集上的特征提取神经网络；

当获取的训练集的数据量不满足预设训练数据量阈值时，训练集的数据和小样本数据集的数据差异大，直接引入已经预训练好的神经网络模型作为特征提取神经网络。

可选地，所述特征调制网络建立模块，进一步用于：

所述特征调制网络的模型结构基于公开神经网络结构进行设计；

根据所述训练集进行多目标训练，获得网络内部多层感知机参数；

根据所述网络内部多层感知机参数进行修正，获得特征调制网络；

根据所述训练集进行多目标训练时，对特征提取网络的参数进行冻结。

其中，所述特征调制网络包括任务自适应调制的负关系调制单元和查询自适应调制的正关系调制单元；

所述任务自适应调制的负关系调制单元，用于提高与其他类别图像数据的支撑集有明显区别的图像数据的权重，降低与其他类别图像数据的支撑集相似的图像数据的权重；所述其他类别图像数据为训练集数据中，除待调制图像数据以外的图像数据；

所述查询自适应调制的正关系调制单元，用于提高与待调制图像数据的支撑集相似的图像数据的权重，降低与待调制图像数据的支撑集有明显区别的图像数据的权重。

可选地，所述图像分类模块，进一步用于：

根据所述特征提取网络，对支撑集图像以及待查询图像进行特征提取，获得支撑集图像特征和待查询图像特征；

将所述支撑集图像特征和待查询图像特征输入所述特征调制网络，获得待查询图像的动态原型；

根据所述待查询图像特征和所述待查询图像的动态原型进行相似度计算，得到相似度计算结果，根据所述相似度计算结果选择相似度最高的动态原型对应的类别即为待查询图像的类别。

另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种基于特征调制的自适应小样本图像分类方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种基于特征调制的自适应小样本图像分类方法。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明提出一种基于特征调制的自适应小样本图像分类装置，在特征层面通过任务自适应调制和查询自适应调制，挖掘小样本数据信息；使用原始的小样本支撑集数据，避免训练或微调过后小样本数据信息的丢失；将特征提取网络与特征调制网络解耦开，从而便于引入和复用成熟的预训练模型。本发明基于小样本任务的全部支撑集数据有效地提升了小样本图像分类方法的准确程度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于特征调制的自适应小样本图像分类方法流程图；

图2是本发明实施例提供的一种特征调制神经网络模型图；

图3是本发明实施例提供的一种特征调制神经网络中带参数关系单元结构图；

图4是本发明实施例提供的一种基于特征调制的自适应小样本图像分类系统框图；

图5是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供了一种基于特征调制的自适应小样本图像分类方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的一种基于特征调制的自适应小样本图像分类方法流程图，该方法的处理流程可以包括如下的步骤：

S1、采集基础图像数据，获得小样本数据集。

其中，小样本数据集包括若干个小样本分类任务数据；小样本分类任务数据包含支撑集和查询集。

一种可行的实施方式中，本发明所提出的小样本图像分类方法从特征层面高效挖掘和利用少量图像数据信息，并且考虑到小样本数据在训练之后丢失的问题，设计了基于实例的学习方法，在不增加过多额外存储的前提下保留小样本任务的支撑集数据。

数据集主要包含两部分，一部分是小样本数据本身，它包含若干个小样本图像分类任务的数据，每个小样本分类任务数据又包含支撑集和查询集，其中支撑集数据每类只有极少的图像数据。另一部分是用于神经网络训练的训练集，这部分数据的规模较大，采用公开数据集组合而成，但是与上述小样本任务数据在类别上不重叠。

S2、根据公开数据集和小样本数据集进行划分操作，获得训练集。

可选地，根据公开数据集和小样本数据集进行划分操作，获得训练集，包括：

根据小样本数据集的数据形式对公开数据集进行划分，获得训练集；训练集的数据类别与小样本数据集的数据类别不重叠。

一种可行的实施方式中，为了后续对带参数的特征调制网络进行元训练，需要对训练集数据按照类似小样本任务的形式进行划分，每个任务同样包含支撑集和查询集。例如，如果小样本任务是五分类任务，支撑集中每类有五张图像数据，即5-way 5-shot，那么就将训练集数据随机划分成多个类似的任务。

S3、根据小样本数据集和训练集，建立特征提取神经网络。

可选地，根据小样本数据集和训练集，建立特征提取神经网络，包括：

特征提取网络的模型结构基于卷积神经网络或视觉Transformer网络进行设计；

当获取的训练集的数据量满足预设训练数据量阈值时，并且训练集的数据和小样本数据集的数据具备关联性时，根据小样本数据集和训练集进行训练，获得小样本数据集上的特征提取神经网络；

当获取的训练集的数据量不满足预设训练数据量阈值时，训练集的数据和小样本数据集的数据差异大，直接引入已经预训练好的神经网络模型作为特征提取神经网络。

一种可行的实施方式中，该网络的作用是作为图像的特征提取器，提取图像特征，将图像映射到嵌入（Embedding）空间。特征提取网络的结构可采用卷积神经网络或视觉Transformer（Vision Transformer，VIT）网络。得到该网络的内部参数可采用两种方式，按需使用。

当获取的训练数据充足，训练集数据量满足预设训练数据量阈值，并且与小样本任务数据关联性强时，可采用常规的预训练方法，获得更容易泛化到小样本任务上的特征提取网络。根据上述步骤采集的训练数据，先对图像进行统一尺寸缩放、随机水平翻转，后经多轮表征学习以及元学习训练学习得到其内部参数。

另一种则是当训练数据量较少，不满足预设训练数据量阈值，小样本任务与训练数据差异大或者计算资源不充分，无法进行大规模预训练时，由于本发明的特征提取网络与其他部分完全解耦开，因此可直接引入已经预训练好的网络参数，避免繁琐耗时的预训练过程，无需额外微调。例如可采用使用ImageNet数据集预训练好的残差网络（ResidualNetworks，ResNet），或采用对比文本-图像预训练网络（Contrastive Language-ImagePretraining，CLIP）的图像编码器作为特征提取神经网络。值得一提的是，CLIP等业界成熟的预训练模型，往往具备较好的泛化性，使用这类模型在大多数实际场景下往往能取得良好的效果。而与这些模型不兼容的其他小样本图像分类技术则无法将他们的作用发挥到极致。

S4、根据训练集，建立特征调制网络。

可选地，根据训练集，建立特征调制网络，包括：

特征调制网络的模型结构基于公开神经网络结构进行设计；

根据训练集进行多目标训练，获得网络内部多层感知机参数；

根据网络内部多层感知机参数进行修正，获得特征调制网络；

根据训练集进行多目标训练时，对特征提取网络的参数进行冻结。

一种可行的实施方式中，常规神经网络一般只有单一输入，单一输出。而本发明提出的特征调制网络则支持将待查询图像以及支撑集图像一起输入，这样在进行每一次推理时，都可以充分挖掘支撑集图像数据本身的特点以及数据之间的关系，避免常规方法随着“数据模型化”之后信息的丢失。

特征调制神经网络模型图如图2所示，特征调制网络中的任务自适应调制提高与其他类别支撑集区别明显的图像的权重，降低与其他类别支撑集相似图像的权重。基于其他类别的支撑集图像特征，对待调制支撑集图像特征进行调制需要首先将其他类别支撑集特征取均值，其他类别支撑集特征均值计算公式如下式（1）所示。

……(1)

其中，N表示支撑集中每类的图像数目，表示第j类的第n张图像的特征。

其中，特征调制网络包括任务自适应调制的负关系调制单元和查询自适应调制的正关系调制单元；

任务自适应调制的负关系调制单元，用于提高与其他类别图像数据的支撑集有明显区别的图像数据的权重，降低与其他类别图像数据的支撑集相似的图像数据的权重；其他类别图像数据为训练集数据中，除待调制图像数据以外的图像数据；

查询自适应调制的正关系调制单元，用于提高与待调制图像数据的支撑集相似的图像数据的权重，降低与待调制图像数据的支撑集有明显区别的图像数据的权重。

一种可行的实施方式中，图像首先经特征提取网络得到对应的特征，之后输入特征调制网络。其主要由任务自适应的负关系调制和查询图像自适应的正关系调制构成。

对于待调制支撑集中的每一个特征，将其与上述均值特征一起输入负关系单元。关系单元旨在基于两输入的关系，得到与特征维度一致的调制权重，负关系调制权重数学表达式如下式（2）所示。

 ……(2)

其中，表示待调制的i类第k个支撑集特征与j类特征均值经负关系单元后得到的调制权重，表示负关系单元。

在任务自适应调制中，两输入越相似，输出的权重越小，用于削弱特征；两输入越不同，输出的权重越大，用于增强特征。关系单元设计成无参数和带参数两种，可按需使用。无参数模型相对简单，无需基于大量数据对其进行额外的训练。可采用两输入的余弦相似度负值进行归一化之后，作为无参数模型的输出结果，无参数负关系单元数学表达式如下式（3）所示。

……(3)

特征调制神经网络中带参数关系单元结构如图3所示，相比无参数的关系单元，带参数的结构更为复杂，需要通过训练来确定其内部参数，但是效果更好。

关系单元的输入有两个，一是待调制的支撑集特征，另一个是信号特征。不同的关系单元，信号特征不同。负关系单元中，信号特征是其他支撑集特征；正关系单元中，信号特征是待查询图像特征。在关系单元中，首先将两输入进行逐元素相减，再将其与两输入拼接在一起，经由多层由修正线性单元（Rectified Linear Unit，ReLU）激活的线性神经网络，最后经过Sigmoid激活函数并乘以超参数τ，得到输出权重。超参数τ负责调制力度的控制，取大于0.0小于等于5.0的实数值。关系单元输出的权重与待调制支撑集特征进行哈达玛积，便得到调制后的支撑集特征，负关系单元调制后支撑集特征计算公式如下式（4）所示。

……(4)

对于K-way ，N-shot的小样本任务来说，每个类别的待调制支撑集中每一个特征都进行K-1次上述任务自适应调制之后，便得到了N个新的任务自适应特征。

查询图像自适应的正关系调制单元旨在增强支撑集中与待查询图像相似的图像的权重，削弱与待查询图像区别明显的图像的权重。经过前面的任务自适应调制，已经获得了支撑集中N个新的任务自适应特征。查询图像自适应基于这些特征再次进行调制。正关系单元的输入变成了待查询图像的特征以及前面得到的任务自适应支撑集特征，正关系单元调制后支撑集特征计算公式如下式（5）所示。

……(5)

在查询图像自适应调制的关系单元中，两输入越相似，输出的权重越大，用于强化特征；两输入越不同，输出的权重越小，用于削弱特征，这与任务自适应中的关系单元效果是相反的。

不过相同的是，查询图像自适应调制的关系单元同样设计成了无参数的和带参数的两种。对于支撑集中每一个任务自适应特征都进行1次针对当前待查询图像的自适应调制之后，便得到了N个新的任务自适应且查询图像自适应的特征，这些特征进行池化之后，便得到该支撑集对应这一特定待查询图像的动态原型。

S5、根据特征提取神经网络和特征调制网络，对待查询图像进行分类操作，获得图片分类结果。

可选地，根据特征提取神经网络和特征调制网络，对待查询图像进行分类操作，获得图片分类结果，包括：

根据特征提取网络，对支撑集图像以及待查询图像进行特征提取，获得支撑集图像特征和待查询图像特征；

将支撑集图像特征和待查询图像特征输入特征调制网络，获得待查询图像的动态原型；

根据待查询图像特征和待查询图像的动态原型进行相似度计算，得到相似度计算结果，根据相似度计算结果选择相似度最高的动态原型对应的类别即为待查询图像的类别。

一种可行的实施方式中，本发明充分保留和挖掘了小样本数据的信息，采用基于实例的学习方式，从特征层面对小样本数据进行了自适应地强化与弱化。实验表明，不论是任务自适应调制还是查询自适应调制，均给小样本图像分类任务的准确率带来了提升。

基于国际公开数据集miniImageNet，本发明提出的基于特征调制的数据自适应神经网络给基线算法在5-way 1-shot、5-way 5-shot、5-way 10-shot小样本任务上的具体消融实验见表1（特征调制网络在三种小样本任务上的分类准确率（%））所示，根据表1中最后一行准确率减去基线算法准确率，本发明提出的基于特征调制的数据自适应神经网络在小样本任务上的准确率提升均超过1% ，尤其是对于难度大5-way 1-shot任务提升超过2% 。值得一提的是，无参数特征调制网络（指的是在特征调制网络中无任何可学习参数，即关系单元采用最简单的余弦相似度来得到调制权重）在不引入额外参数，无需额外训练过程的情况下，同样能够带来平均0.5%以上的提升，即表1中第四行准确率减去基线算法准确率取均值，（0.66%+0.33%+0.72%）/3=0.57%。

表1

本发明提出的特征调制网络独立于常规预训练得到的特征提取网络，可充分与其他泛化性强的预训练模型结合。在实际应用中，往往不严格限制训练数据与小样本数据的类别不重叠性，整个小样本图像分类系统的分类准确率是首要考虑的因素。直接使用成熟的预训练模型，可以省去复杂的预训练过程，从而减少训练资源的消耗，节省人力物力，并且借助优秀预训练模型的泛化性能，能够取得优异的分类准确率表现。

利用预训练好的CLIP图像编码器作为特征提取网络，结合本发明提出的特征调制网络，在miniImageNet数据集的5-way 1-shot小样本分类任务上可以取得89.87%的分类准确率。使用常规ResNet12作为特征提取网络以及使用CLIP图像编码器作为特征提取网络的两种特征调制网络与业界常用其他技术在miniImageNet数据集上的分类准确率对比见表2（两种特征调制网络与业界常用其他技术的分类准确率对比（%）），在实际应用场景设置下，本发明效果优异。

表2

本发明提出一种基于特征调制的自适应小样本图像分类装置，在特征层面通过任务自适应调制和查询自适应调制，挖掘小样本数据信息；使用原始的小样本支撑集数据，避免训练或微调过后小样本数据信息的丢失；将特征提取网络与特征调制网络解耦开，从而便于引入和复用成熟的预训练模型。本发明基于小样本任务的全部支撑集数据有效地提升了小样本图像分类方法的准确程度。

图4是根据一示例性实施例示出的一种基于特征调制的自适应小样本图像分类装置框图。参照图4，该装置包括：

样本采集模块410，用于采集基础图像数据，获得小样本数据集；

数据划分模块420，用于根据公开数据集和小样本数据集进行划分操作，获得训练集；

特征提取网络建立模块430，用于根据小样本数据集和训练集，建立特征提取神经网络；

特征调制网络建立模块440，用于根据训练集，建立特征调制网络；

图像分类模块450，用于根据特征提取神经网络和特征调制网络，对待查询图像进行分类操作，获得图片分类结果。

其中，小样本数据集包括若干个小样本分类任务数据；小样本分类任务数据包含支撑集和查询集。

可选地，数据划分模块420，进一步用于：

根据小样本数据集的数据形式对公开数据集进行划分，获得训练集；训练集的数据类别与小样本数据集的数据类别不重叠。

可选地，特征提取网络建立模块430，进一步用于：

特征提取网络的模型结构基于卷积神经网络或视觉Transformer网络进行设计；

当获取的训练集的数据量满足预设训练数据量阈值时，并且训练集的数据和小样本数据集的数据具备关联性时，根据小样本数据集和训练集进行训练，获得小样本数据集上的特征提取神经网络；

当获取的训练集的数据量不满足预设训练数据量阈值时，训练集的数据和小样本数据集的数据差异大，直接引入已经预训练好的神经网络模型作为特征提取神经网络。

可选地，特征调制网络建立模块440，进一步用于：

特征调制网络的模型结构基于公开神经网络结构进行设计；

根据训练集进行多目标训练，获得网络内部多层感知机参数；

根据网络内部多层感知机参数进行修正，获得特征调制网络；

根据训练集进行多目标训练时，对特征提取网络的参数进行冻结。

其中，特征调制网络包括任务自适应调制的负关系调制单元和查询自适应调制的正关系调制单元；

任务自适应调制的负关系调制单元，用于提高与其他类别图像数据的支撑集有明显区别的图像数据的权重，降低与其他类别图像数据的支撑集相似的图像数据的权重；其他类别图像数据为训练集数据中，除待调制图像数据以外的图像数据；

查询自适应调制的正关系调制单元，用于提高与待调制图像数据的支撑集相似的图像数据的权重，降低与待调制图像数据的支撑集有明显区别的图像数据的权重。

可选地，图像分类模块450，进一步用于：

根据特征提取网络，对支撑集图像以及待查询图像进行特征提取，获得支撑集图像特征和待查询图像特征；

将支撑集图像特征和待查询图像特征输入特征调制网络，获得待查询图像的动态原型；

根据待查询图像特征和待查询图像的动态原型进行相似度计算，得到相似度计算结果，根据相似度计算结果选择相似度最高的动态原型对应的类别即为待查询图像的类别。

本发明提出一种基于特征调制的自适应小样本图像分类装置，在特征层面通过任务自适应调制和查询自适应调制，挖掘小样本数据信息；使用原始的小样本支撑集数据，避免训练或微调过后小样本数据信息的丢失；将特征提取网络与特征调制网络解耦开，从而便于引入和复用成熟的预训练模型。本发明基于小样本任务的全部支撑集数据有效地提升了小样本图像分类方法的准确程度。

图5是本发明实施例提供的一种电子设备500的结构示意图，该电子设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）501和一个或一个以上的存储器502，其中，所述存储器502中存储有至少一条指令，所述至少一条指令由所述处理器501加载并执行以实现上述一种基于特征调制的自适应小样本图像分类方法的步骤。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述一种基于特征调制的自适应小样本图像分类方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于特征调制的自适应小样本图像分类方法，其特征在于，所述方法包括：

采集基础图像数据，获得小样本数据集；

根据公开数据集和所述小样本数据集进行划分操作，获得训练集；

根据所述小样本数据集和所述训练集，建立特征提取神经网络；

根据所述训练集，建立特征调制网络；

其中，所述根据所述训练集，建立特征调制网络，包括：

所述特征调制网络的模型结构基于公开神经网络结构进行设计；

根据所述训练集进行多目标训练，获得网络内部多层感知机参数；

根据所述网络内部多层感知机参数进行修正，获得特征调制网络；

根据所述训练集进行多目标训练时，对特征提取网络的参数进行冻结；

其中，所述特征调制网络包括任务自适应调制的负关系调制单元和查询自适应调制的正关系调制单元；

所述任务自适应调制的负关系调制单元，用于提高与其他类别图像数据的支撑集有明显区别的图像数据的权重，降低与其他类别图像数据的支撑集相似的图像数据的权重；所述其他类别图像数据为训练集数据中，除待调制图像数据以外的图像数据；

所述查询自适应调制的正关系调制单元，用于提高与待调制图像数据的支撑集相似的图像数据的权重，降低与待调制图像数据的支撑集有明显区别的图像数据的权重；

根据所述特征提取神经网络和所述特征调制网络，对待查询图像进行分类操作，获得图片分类结果；

其中，所述根据所述特征提取神经网络和所述特征调制网络，对待查询图像进行分类操作，获得图片分类结果，包括：

根据所述特征提取网络，对支撑集图像以及待查询图像进行特征提取，获得支撑集图像特征和待查询图像特征；

将所述支撑集图像特征和待查询图像特征输入所述特征调制网络，获得待查询图像的动态原型；

根据所述待查询图像特征和所述待查询图像的动态原型进行相似度计算，得到相似度计算结果，根据所述相似度计算结果选择相似度最高的动态原型对应的类别即为待查询图像的类别。

2.根据权利要求1所述的一种基于特征调制的自适应小样本图像分类方法，其特征在于，所述小样本数据集包括若干个小样本分类任务数据；所述小样本分类任务数据包含支撑集和查询集。

3.根据权利要求1所述的一种基于特征调制的自适应小样本图像分类方法，其特征在于，所述根据公开数据集和所述小样本数据集进行划分操作，获得训练集，包括：

根据小样本数据集的数据形式对公开数据集进行划分，获得训练集；所述训练集的数据类别与所述小样本数据集的数据类别不重叠。

4.根据权利要求1所述的一种基于特征调制的自适应小样本图像分类方法，其特征在于，所述根据所述小样本数据集和所述训练集，建立特征提取神经网络，包括：

所述特征提取网络的模型结构基于卷积神经网络或视觉Transformer网络进行设计；

当获取的训练集的数据量满足预设训练数据量阈值时，并且训练集的数据和小样本数据集的数据具备关联性时，根据所述小样本数据集和所述训练集进行训练，获得所述小样本数据集上的特征提取神经网络；

当获取的训练集的数据量不满足预设训练数据量阈值时，训练集的数据和小样本数据集的数据差异大，直接引入已经预训练好的神经网络模型作为特征提取神经网络。

5.一种基于特征调制的自适应小样本图像分类装置，其特征在于，所述装置包括：

数据采集模块，用于采集基础图像数据，获得小样本数据集；

数据划分模块，用于根据公开数据集和所述小样本数据集进行划分操作，获得训练集；

特征提取网络建立模块，用于根据所述小样本数据集和所述训练集，建立特征提取神经网络；

特征调制网络建立模块，用于根据所述训练集，建立特征调制网络；

其中，所述根据所述训练集，建立特征调制网络，包括：

所述特征调制网络的模型结构基于公开神经网络结构进行设计；

根据所述训练集进行多目标训练，获得网络内部多层感知机参数；

根据所述网络内部多层感知机参数进行修正，获得特征调制网络；

根据所述训练集进行多目标训练时，对特征提取网络的参数进行冻结；

其中，所述特征调制网络包括任务自适应调制的负关系调制单元和查询自适应调制的正关系调制单元；

所述任务自适应调制的负关系调制单元，用于提高与其他类别图像数据的支撑集有明显区别的图像数据的权重，降低与其他类别图像数据的支撑集相似的图像数据的权重；所述其他类别图像数据为训练集数据中，除待调制图像数据以外的图像数据；

所述查询自适应调制的正关系调制单元，用于提高与待调制图像数据的支撑集相似的图像数据的权重，降低与待调制图像数据的支撑集有明显区别的图像数据的权重；

待查询图像分类模块，用于根据所述特征提取神经网络和所述特征调制网络，对待查询图像进行分类操作，获得图片分类结果；

其中，所述根据所述特征提取神经网络和所述特征调制网络，对待查询图像进行分类操作，获得图片分类结果，包括：

根据所述特征提取网络，对支撑集图像以及待查询图像进行特征提取，获得支撑集图像特征和待查询图像特征；

将所述支撑集图像特征和待查询图像特征输入所述特征调制网络，获得待查询图像的动态原型；

根据所述待查询图像特征和所述待查询图像的动态原型进行相似度计算，得到相似度计算结果，根据所述相似度计算结果选择相似度最高的动态原型对应的类别即为待查询图像的类别。

6.根据权利要求5所述的一种基于特征调制的自适应小样本图像分类装置，其特征在于，所述特征提取网络建立模块，进一步用于：

所述特征提取网络的模型结构基于卷积神经网络或视觉Transformer网络进行设计；

当获取的训练集的数据量满足预设训练数据量阈值时，并且训练集的数据和小样本数据集的数据具备关联性时，根据所述小样本数据集和所述训练集进行训练，获得所述小样本数据集上的特征提取神经网络；

当获取的训练集的数据量不满足预设训练数据量阈值时，训练集的数据和小样本数据集的数据差异大，直接引入已经预训练好的神经网络模型作为特征提取神经网络。

Images