CN116152582A - 图像分类方法及装置、存储介质及电子设备 - Google Patents

Abstract

本公开提供了一种图像分类方法及装置、存储介质及电子设备，涉及计算机技术领域。该方法包括获取目标图像和模糊池化原型网络以及每个图像类别的原型表示；基于模糊池化原型网络对目标图像进行特征提取得到目标图像的嵌入表示；以及根据目标图像的嵌入表示和每个图像类别的原型表示得到目标图像的类别。该方法可以缓解原始最大池化过程中的信息混叠现象，使用模糊池化后能在网络的稳定性上达到更好的效果，从而提高了分类结果的一致性，进而提高了分类的准确性，相比于传统图像分类方法的分类精度更高。进一步地，通过模糊池化可以对图像的高频噪声信息产生滤波的作用，使得本网络能够尽可能的提取到目标图像的泛化信息，增加了模型的泛化能力。

Description

图像分类方法及装置、存储介质及电子设备

技术领域

本公开涉及计算机技术领域，尤其涉及一种图像分类方法及装置、存储介质及电子设备。

背景技术

在船舶、航空航天、工业制造等领域中,需要对图像进行严格的分类检测,因为一些关键图像中的信息会造成一些工业环节的可靠性降低,对系统安全性带来巨大的隐患。在常规的依赖人工经验的图像检测分类中,存在检测稳定性、一致性差以及检测准确性低的问题。因此，需要一种可靠的检测技术对图像进行准确的检测分类。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种图像分类方法及装置、存储介质及电子设备，至少在一定程度上克服由于相关技术中图像分类检测方法的准确性和一致性差的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种图像分类方法，包括：获取目标图像和模糊池化原型网络以及每个图像类别的原型表示；基于模糊池化原型网络对目标图像进行特征提取得到目标图像的嵌入表示；以及根据目标图像的嵌入表示和每个图像类别的原型表示得到目标图像的类别。

在本公开一个实施例中，在获取目标图像和模糊池化原型网络以及每个图像类别的原型表示之前，该方法还包括：获取图像集；根据图像集中的每个图像类别的特征，从图像集中生成小样本训练集；以及对小样本训练集进行嵌入学习得到模糊池化原型网络。

在本公开一个实施例中，对小样本训练集进行嵌入学习得到模糊池化原型网络，包括：基于特征提取器构建模糊池化原型网络，其中模糊池化原型网络包括模糊池化层；将小样本训练集输入至模糊池化原型网络进行阶段式嵌入学习得到每个图像类别的原型表示。

在本公开一个实施例中，根据嵌入表示和每个图像类别的原型表示得到目标图像的类别包括：根据图像集获取距离函数；根据距离函数计算目标图像的嵌入表示和每个图像类别的原型表示之间的距离；通过归一化函数，基于目标图像的嵌入表示和每个图像类别的原型表示之间的距离得到目标图像的类别。

在本公开一个实施例中，将小样本训练集输入至模糊池化原型网络进行阶段式嵌入学习得到每个图像类别的原型表示包括：从小样本训练集中随机确定支撑集和查询集；使用模糊池化原型网络对支撑集和查询集进行嵌入学习；根据损失函数计算出的损失值，通过随机梯度下降更新网络参数得到更新后的模糊池化原型网络；以及根据更新后的模糊池化原型网络得到每个图像类别的原型表示。

在本公开一个实施例中，根据损失函数计算出的损失值，通过随机梯度下降更新网络参数得到更新后的模糊池化原型网络之后，还包括：待使用更新后的模糊池化原型网络对查询集中的每个数据进行嵌入学习后，判断损失值是否低于预设损失值；若损失值低于预设损失值，则根据更新后的模糊池化原型网络得到每个图像类别的原型表示；若损失值不低于预设损失值，则重新随机确定支撑集和查询集以继续训练更新后的模糊池化原型网络。

在本公开一个实施例中，其中，每个图像类别的原型表示为小样本训练集中的每个图像类别的每个数据的嵌入表示的平均值。

根据本公开的又一个方面，提供一种图像分类装置，包括：获取模块，用于获取目标图像和模糊池化原型网络以及每个图像类别的原型表示；特征提取模块，用于基于模糊池化原型网络对目标图像进行特征提取得到待目标图像的嵌入表示；和分类模块，用于根据目标图像的嵌入表示和每个图像类别的原型表示得到目标图像的类别。

根据本公开的又一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的图像分类方法。

根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像分类方法。

本公开的实施例所提供的图像分类方法，通过带模糊池化的网络学习原始数据到嵌入空间的映射表示，使得下采样的映射操作符合了奈奎斯特Nyquist采样定理,从而缓解映射过程中的信息混叠现象，使用模糊池化后能在网络的稳定性上达到更好的效果，从而提高了分类结果的一致性，进而提高了分类的准确性，相比于传统图像分类方法的分类精度更高。

进一步地，通过模糊池化可以对图像的高频噪声信息产生滤波的作用，使得本网络能够尽可能的提取到目标图像的泛化信息，增加了模型的泛化能力。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开实施例中一种图像分类方法的流程图。

图2A示出本公开实施例中一种基于小样本训练集获取模糊池化原型网络以及每个图像类别的原型表示的方法流程图。

图2B示出本公开实施例中一种图像分类方法的模糊池化原型网络的结构示意图。

图2C示出本公开实施例中一种图像分类方法的特征提取流程示意图图。

图2D示出一种传统池化层与本公开实施例中一种图像分类方法使用的改进后的模糊池化层的对比示意图。

图3示出本公开实施例中一种图像分类方法中根据目标图像的嵌入表示和每个图像类别的原型表示得到目标图像的类别的方法流程图。

图4A和图4B分别示出本公开实施例中一种图像分类方法中将小样本训练集输入至模糊池化原型网络进行阶段式嵌入学习得到每个图像类别的原型表示的方法流程图和示意图。

图5A示出本公开实施例中基于本申请实施例中一种方法获取的模糊池化原型网络与其他模型在NEU数据中的训练集(左)和验证集(右)上损失值Loss值与预测精度Acc值变化趋势。

图5B示出本公开实施例中基于本申请实施例中一种方法获取的模糊池化原型网络ProtoNet-Blur与其他模型在DAGM2007数据中的训练集(左)和验证集(右)上损失值Loss值与预测精度Acc值变化趋势。

图6示出本公开实施例中一种图像分类装置示意图。

图7示出本公开实施例中一种图像分类计算机设备的结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

下面，将结合附图及实施例对本示例实施方式中的图像分类方法的各个步骤进行更详细的说明。

图1示出本公开实施例中一种图像分类方法流程图。本公开实施例提供的方法可以由任意具备计算处理能力的电子设备执行。

如图1所示，本公开实施例提供的图像分类方法可以包括以下步骤：

步骤S101，获取目标图像和模糊池化原型网络以及每个图像类别的原型表示。

在本公开的一些实施例中，每个图像类别的原型表示可以是通过找到图像集X_i对应的代表性子集

X_i中的任意一点都可以由代表点的线性组合表示得到，最终获得的图库集中每个图像类别集合的紧凑表示。在一些实施例中，可以通过模糊池化原型网络找到图像集X_i对应的代表性子集/>

步骤S102，基于模糊池化原型网络对目标图像进行特征提取得到目标图像的嵌入表示。

在本公开的一些实施例中，目标图像的嵌入表示可以是通过模糊池化原型网络将目标图像映射到嵌入空间的映射表示，在一些实施例中，嵌入表示是目标图像被执行下采样后得到的代表性特征

例如将原始D维数据R^D图像映射为新的M维数据R^M嵌入表示/>

步骤S103，根据目标图像的嵌入表示和每个图像类别的原型表示得到目标图像的类别。

在本公开的一些实施例中，可以计算目标图像的嵌入表示与每个图像类别的原型表示之间的距离，然后再通过计算得到最接近的原型表示距离，该距离用于图像分类。

本申请通过带模糊池化的网络学习原始数据到嵌入空间的映射表示(即嵌入表示)，使得下采样的映射操作符合了奈奎斯特Nyquist采样定理,从而缓解映射过程中的信息混叠现象，使用模糊池化后能在网络的稳定性上达到更好的效果，进而提高了分类的准确性，从而提高了分类结果的一致性，相比于传统图像分类方法的分类精度更高。

进一步地，通过模糊池化可以对图像的高频噪声信息产生滤波的作用，使得本网络能够尽可能的提取到目标图像的泛化信息，增加了模型的泛化能力。

图2A示出本公开实施例中一种训练模糊池化原型网络的方法流程图。如图2A所示，该方法200包括：

步骤S210，获取图像集。

在本公开的一些对工件表面缺陷分类的实施例中，使用东北大学(NEU)收集的工件表面缺陷数据集，在NEU数据集中含有6种不同的表面缺陷类型，每个类型包括300张图像。在一些实施例中，使用DAGM2007数据集，该数据集包括了10种表面类型图像。

步骤S220，根据图像集中的每个图像类别的特征，从图像集中生成小样本训练集。

在本公开的一些使用NEU数据集的实施例中，为了满足小样本和样本间不平衡的实际情况，使用自定制的方法设计训练集。如表1所示，描述了数据集的具体分布情况,其中开裂(cr)缺陷训练集集中含有15张图像,内含物(In)缺陷训练集含有10张图像,斑块(Pa)缺陷训练集含有50张图像,点蚀(Ps)缺陷训练集含有5张图像,斑块(Rs)缺陷训练集含有50张图像,划痕(Sc)缺陷的训练集含有30张图像。

表1：NEU数据集

缺陷类型	训练样本数	验证样本数	测试样本数
				Cr	15	50	235
In	10	50	240
				Pa	50	50	200
Ps	5	50	245
				Rs	50	50	200
Sc	30	50	220

在本公开的一些实施例中，也可以基于上述训练数据集在各类图像的数量上进行上下浮动不超过20％的数量，取得的效果跟本实施例中的效果是一致的。

在本公开的另一些实施例中，也可以基于上述思路对各种数据集包括DAGM2007等数据集进行自定制设计，各类样本的选取方式可以如表2所示：

表2：DAGM2007数据集

缺陷类型	训练样本数	验证样本数	测试样本数
				类型1	10	50	200
类型2	5	50	200
				类型3	5	50	200
类型4	40	50	200
				类型5	20	50	200
类型6	30	50	200
				类型7	5	50	200
类型8	10	50	200
				类型9	5	50	200
类型10	5	50	200

使用小样本训练方法可以提高网络的训练速度，同时根据图像集中每个图像类别的特征，自定义生成小样本训练集从而避免了小样本和样本间不平衡的问题，使得该数据集更加符合实际情况，从而提高网络分类的准确度。尤其是在样本数据收集难度较大的情况下，简化了数据收集难度，提高了分类网络训练的效率。

步骤S230，对小样本训练集进行嵌入学习得到模糊池化原型网络。

在本公开的一些实施例中，步骤S230可以包括步骤S232，基于特征提取器构建模糊池化原型网络，其中模糊池化原型网络包括：模糊池化层。

在本公开的一些实施例中，特征提取器是卷积神经网络CNN。那么基于CNN构建的模糊池化原型网络，如图2B所示的模糊池化原型网络结构可以包括5个串联的卷积网络块，其中每个卷积网络块依次包括：卷积层conv、BatchNorm批次参数标准化层、ReLU激活层和模糊池化层。

图2C示出了基于上述模糊池化原型网络的特征提取流程示意图。如图2C所示，以一个尺寸大小为n*n＝224*224的原始图像作为输入为例，通过5个串联的卷积网络块逐层结合进行下采样提取最后得到的嵌入表示，其中卷积网络块使用通道为channels＝64的f*f＝3*3卷积层，填充的幅度p设为1，下采样的步长s设置为2,逐层输出尺寸为o*o*channels的图像，其中，o可以通过如下公式(1)得到：

其中

是向下取整符号，用于结果不是整数时进行向下(更小方向)取整。

在本公开实施例中，通过上述模糊池化原型网络得到一个16384维的嵌入表示。使用本实施例中的模糊池化原型网络，能够对输入的图像进行较好的图像中特征信息的提取，且使得该网络架构整体是符合Nyquist采样定理的。

图2D示出了传统最大池化层(上)与本公开实施例中改进的模糊池化层(下)的对比示意图。如图2D所示，虚线上方的传统池化层为最大池化层采用步幅为2、卷积核2*2来完成取局部最大极值和下采样的过程，而虚线下方改进后的模糊池化层可以采用将最大池化层的步幅设置为1并在其后增加模糊核以将模糊池化的步幅设置为2的复合操作。通过上述融合模糊核对输入图像进行模糊操作的池化方法保持了网络模型可以进行下采样而不引起采样后数据的混叠失真，提高了网络模型的下采样性能。

步骤S234，将小样本训练集输入至模糊池化原型网络进行阶段式嵌入学习得到每个图像类别的原型表示。

在本公开的一些实施例中，对于每个阶段，随机抽取数据集中每个类的几个数据点作为样本，并且只使用这几个数据点而不是整个小样本训练集来训练网络。类似地，从数据集中随机抽取一个点并尝试预测它的类。通过这种方式，网络将学会如何从一组较少的数据点中学习，进一步地，提高了分类网络训练的效率。

在本公开的一些实施例中，步骤S234还包括步骤S234a,每个图像类别的原型表示为小样本训练集中的每个图像类别的每个数据的嵌入表示的平均值。

在本公开的一些实施例中，以将原始D维数据图像映射为新的M维数据嵌入表示

为例，则每个图像类别的原型表示c_k为：

其中，S_k为对应的第k个类别的数量。(x_i,y_i)为S_k中第i个图像数据,

为第i个图像的嵌入表示。

使用本申请实施例中求平均值得到每个图像类别的原型表示的方法，通过简单的平均归纳思想可以避免小样本训练导致的过拟合的问题。

图3示出本公开实施例中一种图像分类方法中根据目标图像的嵌入表示和每个图像类别的原型表示得到目标图像的类别的方法流程图。如图3所示，该方法300包括：

步骤S310，根据图像集获取距离函数。

在本公开的一些实施例中，距离函数d(x)是指距离度量可以包括但不限于欧氏距离、余弦相似度、汉明距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离以及其他方法。由于上述方法均为本领域技术人员已知算法，在此不将公式一一列出。

步骤S320，根据距离函数计算目标图像的嵌入表示和每个图像类别的原型表示之间的距离。

在本公开的一些实施例中，根据距离函数d(x),目标图像的嵌入表示

和每个图像类别的原型表示c之间的距离D₁可以表示如公式(3)所示：

步骤S330，通过归一化函数，基于目标图像的嵌入表示和每个图像类别的原型表示之间的距离得到目标图像的类别。

在本公开的一些实施例中，可以使用softmax函数对上述距离进行归一化得到目标图像的预测类别k的概率

如公式(4)所示：

然后根据每个类别的概率找出相应的图像类别。

通过使用基于距离度量的方式替代全连接的分类方式，减少了参数，降低模型对于数据的依赖性。

进一步地，可以根据图像集的场景不同从而使用不同的距离度量,使模型更加灵活、又提高了模型的泛化能力。

图4A和图4B示出本公开实施例中一种图像分类方法中将小样本训练集输入至模糊池化原型网络进行阶段式嵌入学习得到每个图像类别的原型表示的方法流程图和示意图。如图4A所示，该方法400包括：

步骤S410，从小样本训练集中随机确定支撑集和查询集。

在本公开的一些实施例中，如图4B所示，每个阶段都从训练集中抽取部分数据作为支撑数据集4104，其余部分作为查询数据集4102，不断的进行迭代以进行阶段式训练，使得每个阶段的迭代过程中都有不同的支撑集和查询集出现，最大程度的挖掘数据的可能性，提高模型的泛化能力。

步骤S420，使用模糊池化原型网络对支撑集和查询集进行嵌入学习。

在本公开的一些实施例中，如图4B所示，使用模糊池化原型网络4202对查询集4102进行嵌入学习得到目标图像的嵌入表示4204。使用模糊池化原型网络4202对支撑集4104进行嵌入学习得到每个图像类别的原型表示4206。进一步地，根据类别表示和嵌入表示计算距离4208根据归一化4210的概率得到正确类别的概率4212。

步骤S430，根据损失函数计算出的损失值，通过随机梯度下降更新网络参数得到更新后的模糊池化原型网络。

在本公开的一些实施例中，如图4B所示，可以将上述步骤得到的正确类别概率4212输入至损失函数4302，根据损失函数4302计算损失值并使用随机梯度下降的方法找到最优的模糊池化原型网络4202。在一些实施例中，损失函数

可以是计算目标图像为正确类型k的概率的负对数概率，如公式(5)所示：

其中，

为目标图像为正确类型k的概率。

在本公开的一些实施例中，还可以包括步骤S432，待使用更新后的模糊池化原型网络对查询集中的每个数据进行嵌入学习后，判断损失值是否低于预设损失值。若损失值低于预设损失值，则根据更新后的模糊池化原型网络得到每个图像类别的原型表示。若损失值不低于预设损失值，则重新随机确定支撑集和查询集以继续训练更新后的模糊池化原型网络。该方法可以在不损失网络稳定性的前提下，能够以较快速度收敛。

步骤S440，根据更新后的模糊池化原型网络得到每个图像类别的原型表示。

使用本申请的上述方法，通过阶段式学习每次从训练数据集中随机抽取部分数据作为支撑数据集，其余部分作为查询数据集，使得每个阶段中都有不同的支撑集和查询集出现，最大程度的挖掘数据的可能性，提高模型的泛化能力。

图5A示出本公开实施例中基于本申请实施例中一种方法获取的模糊池化原型网络ProtoNet-Blur与其他模型在NEU数据中的训练集(左)和验证集(右)上损失值Loss值与预测精度Acc值变化趋势。其中Loss在本申请中反映模型在训练过程中的稳定性，而Acc用于对模型检测性能的评估。其他模型包括CNN-5、DCNN-11以及DALS，均为本领域技术人员常用模型，在此不一一进行解释。

由图5A可知，在训练过程中,ProtoNet-Blur的损失能够在验证集上的震荡幅度频率小于其他三种模型,并没有出现像CNN-5和DCNN-11那样剧烈震荡的现象,且整体的震荡稳定性相比于DALS更好，由此证实了ProtoNet-Blur在基于小样本的工件表面缺陷检测中,具有更强的模型稳定性。

图5B示出本公开实施例中基于本申请实施例中一种方法获取的模糊池化原型网络ProtoNet-Blur与其他模型在DAGM2007数据中的训练集(左)和验证集(右)上损失值Loss值与预测精度Acc值变化趋势。图5B中各个模型的表现,可以得出ProtoNet-Blur整体上具有更好的稳定性和预测精度,且收敛速度也更快。

需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

图6示出本公开实施例中一种图像分类装置示意图。如图6所示，该图像分类装置600包括：

获取模块610，用于获取目标图像和模糊池化原型网络以及每个图像类别的原型表示；特征提取模块620，用于基于模糊池化原型网络对目标图像进行特征提取得到待目标图像的嵌入表示；分类模块630，用于根据目标图像的嵌入表示和每个图像类别的原型表示得到目标图像的类别。

在本公开的一些实施中，该图像分类装置600还包括网络训练模块，用于获取图像集；根据图像集中的每个图像类别的特征，从所述图像集中生成小样本训练集；以及对小样本训练集进行嵌入学习得到模糊池化原型网络。

在本公开的一些实施中，网络训练模块还用于基于特征提取器构建模糊池化原型网络，其中模糊池化原型网络包括模糊池化层；将小样本训练集输入至模糊池化原型网络进行阶段式嵌入学习得到每个图像类别的原型表示。

在本公开的一些实施中，分类模块630还用于根据图像集获取距离函数；根据距离函数计算目标图像的嵌入表示和每个图像类别的原型表示之间的距离；通过归一化函数，基于目标图像的嵌入表示和每个图像类别的原型表示之间的距离得到目标图像的类别。

在本公开的一些实施中，网络训练模块还用于从小样本训练集中随机确定支撑集和查询集；使用模糊池化原型网络对支撑集和查询集进行嵌入学习；根据损失函数计算出的损失值，通过随机梯度下降更新网络参数得到更新后的模糊池化原型网络；以及根据更新后的模糊池化原型网络得到每个图像类别的原型表示。

在本公开的一些实施中，网络训练模块还用于待使用更新后的模糊池化原型网络对查询集中的每个数据进行嵌入学习后，判断损失值是否低于预设损失值；若损失值低于预设损失值，则根据更新后的模糊池化原型网络得到每个图像类别的原型表示；若损失值不低于预设损失值，则重新随机确定支撑集和查询集以继续训练更新后的模糊池化原型网络。

在本公开的一些实施中，其中每个图像类别的原型表示为小样本训练集中的每个图像类别的每个数据的嵌入表示的平均值。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图7来描述根据本发明的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元710执行，使得所述处理单元710执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元710可以执行如图1中所示的S110，获取目标图像和模糊池化原型网络以及每个图像类别的原型表示；S120，基于模糊池化原型网络对目标图像进行特征提取得到目标图像的嵌入表示；S130，根据目标图像的嵌入表示和每个图像类别的原型表示得到目标图像的类别。

存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元(ROM)7203。

存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备700也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器760通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种图像分类方法，其特征在于，包括：

获取目标图像和模糊池化原型网络以及每个图像类别的原型表示；

基于所述模糊池化原型网络对所述目标图像进行特征提取得到所述目标图像的嵌入表示；以及

根据所述目标图像的嵌入表示和所述每个图像类别的原型表示得到所述目标图像的类别。

2.根据权利要求1所述的图像分类方法，其特征在于，在获取目标图像和模糊池化原型网络以及每个图像类别的原型表示之前，所述方法还包括：

获取图像集；

根据所述图像集中的每个图像类别的特征，从所述图像集中生成小样本训练集；以及

对所述小样本训练集进行嵌入学习得到模糊池化原型网络。

3.根据权利要求2所述的图像分类方法，其特征在于，对所述小样本训练集进行嵌入学习得到模糊池化原型网络，包括：

基于特征提取器构建模糊池化原型网络，其中所述模糊池化原型网络包括模糊池化层；

将所述小样本训练集输入至所述模糊池化原型网络进行阶段式嵌入学习得到所述每个图像类别的原型表示。

4.根据权利要求3所述的图像分类方法，根据所述嵌入表示和所述每个图像类别的原型表示得到所述目标图像的类别包括：

根据所述图像集获取距离函数；

根据所述距离函数计算所述目标图像的嵌入表示和所述每个图像类别的原型表示之间的距离；

通过归一化函数，基于所述目标图像的嵌入表示和所述每个图像类别的原型表示之间的距离得到所述目标图像的类别。

5.根据权利要求4所述的图像分类方法，其特征在于，将所述小样本训练集输入至所述模糊池化原型网络进行阶段式嵌入学习得到所述每个图像类别的原型表示包括：

从所述小样本训练集中随机确定支撑集和查询集；

使用所述模糊池化原型网络对所述支撑集和查询集进行嵌入学习；

根据损失函数计算出的损失值，通过随机梯度下降更新网络参数得到更新后的模糊池化原型网络；以及

根据所述更新后的模糊池化原型网络得到每个图像类别的原型表示。

6.根据权利要求4所述的图像分类方法，其特征在于，根据损失函数计算出的损失值，通过随机梯度下降更新网络参数得到更新后的模糊池化原型网络之后，还包括：

待使用所述更新后的模糊池化原型网络对所述查询集中的每个数据进行嵌入学习后，判断所述损失值是否低于预设损失值；

若所述损失值低于预设损失值，则根据所述更新后的模糊池化原型网络得到每个图像类别的原型表示；

若所述损失值不低于预设损失值，则重新随机确定支撑集和查询集以继续训练所述更新后的模糊池化原型网络。

7.根据权利要求1至6中任一项所述的图像分类方法，其中，所述每个图像类别的原型表示为所述小样本训练集中的每个图像类别的每个数据的嵌入表示的平均值。

8.一种图像分类装置，其特征在于，包括：

获取模块，用于获取目标图像和模糊池化原型网络以及每个图像类别的原型表示；

特征提取模块，用于基于所述模糊池化原型网络对所述目标图像进行特征提取得到所述待目标图像的嵌入表示；和

分类模块，用于根据所述目标图像的嵌入表示和所述每个图像类别的原型表示得到所述目标图像的类别。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所述图像分类方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任意一项所述的图像分类方法。

Images