CN115690443B - 特征提取模型训练方法、图像分类方法及相关装置 - Google Patents

Abstract

本公开提供了一种特征提取模型训练方法、图像分类方法及相关装置，涉及深度学习、图像识别等人工智能技术领域。该方案包括：利用初始特征提取模型的基础特征提取模块，提取样本图像集中各样本图像的图像特征，得到初始特征向量集；利用初始特征提取模型的归一化处理模块，对初始特征向量集中的各初始特征向量进行归一化处理，得到各归一化特征向量；通过预设的高区分性损失函数指导训练初始特征提取模型，得到作为训练结果的目标特征提取模型，该高区分性损失函数基于为任意两种图像类别的样本图像根据是否具有相似性所分别预先设定有的向量相似度的预设上限和预设下限抽象得到。该方案提供的目标特征提取模型能够提供更好的图像分类效果。

Description

特征提取模型训练方法、图像分类方法及相关装置

技术领域

本公开涉及图像处理技术领域，具体涉及深度学习、图像识别等人工智能技术领域，尤其涉及一种特征提取模型训练方法和图像分类方法，以及以对应的装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

为提升图像所属类别的识别效果，逐渐开始大规模的使用基于机器学习、深度学习技术构建的图像识别模型或图像分类模型。

作为图像识别模型或图像分类模型的关键部分，如何从待分类或待识别图像中提取出有效的图像特征，以用于与已知图像类别的图像特征进行比对，从而完成图像类别的识别，是本领域技术人员研究的重点。

发明内容

本公开实施例提出了一种特征提取模型训练、图像分类方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

第一方面，本公开实施例提出了一种特征提取模型训练方法，包括：利用初始特征提取模型的基础特征提取模块，提取样本图像集中各样本图像的图像特征，得到初始特征向量集；其中，样本图像集包含多种图像类别的样本图像，每张样本图像均标注有所属的图像类别；利用初始特征提取模型的归一化处理模块，对初始特征向量集中的各初始特征向量进行归一化处理，得到各归一化特征向量；通过预设的高区分性损失函数指导训练初始特征提取模型，得到作为训练结果的目标特征提取模型；其中，高区分性损失函数基于为任意两种图像类别的样本图像根据是否具有相似性所分别预先设定有的向量相似度的预设上限和预设下限抽象得到，不具有相似性的两张图像的归一化特征向量之间的向量相似度不大于预设下限，具有相似性的两张图像的归一化特征向量之间的向量相似度不小于预设上限，预设上限大于预设下限。

第二方面，本公开实施例提出了一种特征提取模型训练装置，包括：图像特征提取单元，被配置成利用初始特征提取模型的基础特征提取模块，提取样本图像集中各样本图像的图像特征，得到初始特征向量集；其中，样本图像集包含多种图像类别的样本图像，每张样本图像均标注有所属的图像类别；归一化处理单元，被配置成利用初始特征提取模型的归一化处理模块，对初始特征向量集中的各初始特征向量进行归一化处理，得到各归一化特征向量；高区分性损失函数训练单元，被配置成通过预设的高区分性损失函数指导训练初始特征提取模型，得到作为训练结果的目标特征提取模型；其中，高区分性损失函数基于为任意两种图像类别的样本图像根据是否具有相似性所分别预先设定有的向量相似度的预设上限和预设下限抽象得到，不具有相似性的两张图像的归一化特征向量之间的向量相似度不大于预设下限，具有相似性的两张图像的归一化特征向量之间的向量相似度不小于预设上限，预设上限大于预设下限。

第三方面，本公开实施例提出了一种图像分类方法，包括：获取待分类图像；通过将待分类图像输入预设的目标特征提取模型，得到输出的实际归一化特征向量；其中，目标特征提取模型根据如第一方面描述的特征提取模型训练方法得到；分别计算实际归一化特征向量与特征向量库中每种图像类别的标准归一化特征向量之间的向量相似度；根据向量相似度的大小，确定待分类图像所属的图像类别，。

第四方面，本公开实施例提出了一种图像分类装置，包括：待分类图像获取单元，被配置成获取待分类图像；实际特征向量获取单元，被配置成通过将待分类图像输入预设的目标特征提取模型，得到输出的实际归一化特征向量；其中，目标特征提取模型根据如第二方面描述的特征提取模型训练装置得到；向量相似度计算单元，别配置成分别计算实际归一化特征向量与特征向量库中每种图像类别的标准归一化特征向量之间的向量相似度；图像类别确定单元，被配置成根据向量相似度的大小，确定待分类图像所属的图像类别。

第五方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面描述的特征提取模型训练方法或如第三方面描述的图像分类方法。

第六方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面描述的特征提取模型训练方法或如第三方面描述的图像分类方法。

第七方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面描述的特征提取模型训练方法或如第三方面描述的图像分类方法。

本公开实施例提供的特征提取模型训练、图像分类方法，在通过加入归一化处理模块对基础特征提取模块输出的初始特征向量进行归一化处理的基础上，还额外引入了预设的高区分性损失函数，由于该高区分性损失函数基于为任意两种图像类别的样本图像根据是否具有相似性所分别预先设定有的向量相似度的预设上限和预设下限抽象得到，且预设上限大于预设下限，因此可指导特征提取模型生成在计算向量相似度时具有较明显区分度的图像特征向量，进而有利于得到更准确的图像所属类别的图像分类结果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开可以应用于其中的示例性系统架构；

图2为本公开实施例提供的一种特征提取模型训练方法的流程图；

图3为本公开实施例提供的一种使用高区分性损失函数指导训练特征提取模型的方法的流程图；

图4A为本公开实施例提供的一种与图3方案对应的模型结构示意图；

图4B为本公开实施例提供的一种区别于图4A的模型结构示意图；

图5为本公开实施例提供的一种图像分类方法的流程图；

图6为本公开实施例提供的一种根据向量相似度确定图像类别的方法的流程图；

图7为本公开实施例提供的一种特征提取模型训练装置的结构框图；

图8为本公开实施例提供的一种图像分类装置的结构框图；

图9为本公开实施例提供的一种适用于执行特征提取模型训练方法和/或图像分类方法的电子设备的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

图1示出了可以应用本申请的特征提取模型训练方法、图像分类方法，以及配套的装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如模型训练类应用、图像识别类应用、数据传输类应用等。

终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。

服务器105通过内置的各种应用可以提供各种服务，以可以为用户待分类图像的图像类别确定服务的图像识别类应用为例，服务器105在运行该图像识别类应用时可实现如下效果：首先，通过网络104接收终端设备101、102、103传入的待分类图像；然后，通过将该待分类图像输入预设的目标特征提取模型，得到输出的实际归一化特征向量；接着，分别计算实际归一化特征向量与特征向量库中每种图像类别的标准归一化特征向量之间的向量相似度；最后，根据向量相似度的大小，确定待分类图像所属的图像类别。即可以将确定出的图像类别通过网络104返回给终端设备101、102、103。

其中，目标特征提取模型可由服务器105上内置的模型训练类应用按如下步骤训练得到：利用初始特征提取模型的基础特征提取模块，提取样本图像集中各样本图像的图像特征，得到初始特征向量集，该样本图像集包含多种图像类别的样本图像，每张样本图像均标注有所属的图像类别；利用该初始特征提取模型的归一化处理模块，对初始特征向量集中的各初始特征向量进行归一化处理，得到各归一化特征向量；通过预设的高区分性损失函数指导训练初始特征提取模型，得到作为训练结果的目标特征提取模型；其中，该高区分性损失函数基于为任意两种图像类别的样本图像根据是否具有相似性所分别预先设定有的向量相似度的预设上限和预设下限抽象得到，不具有相似性的两张图像的归一化特征向量之间的向量相似度不大于该预设下限，具有相似性的两张图像的归一化特征向量之间的向量相似度不小于该预设上限，且该预设上限大于该预设下限。

由于为训练得到目标特征提取模型需要占用较多的运算资源和较强的运算能力，因此本申请后续各实施例所提供的特征提取模型训练方法一般由拥有较强运算能力、较多运算资源的服务器105来执行，相应地，特征提取模型训练装置一般也设置于服务器105中。但同时也需要指出的是，在终端设备101、102、103也具有满足要求的运算能力和运算资源时，终端设备101、102、103也可以通过其上安装的模型训练类应用完成上述本交由服务器105做的各项运算，进而输出与服务器105同样的结果。相应的，模型训练装置也可以设置于终端设备101、102、103中。在此种情况下，示例性系统架构100也可以不包括服务器105和网络104。

当然，用于训练得到目标特征提取模型的服务器可以不同于调用训练好的目标特征提取模型来使用的服务器。特殊的，经由服务器105训练得到的目标特征提取模型也可以通过模型蒸馏的方式得到适合置入终端设备101、102、103的轻量级的目标特征提取模型，即可以根据实际需求的识别准确度灵活选择使用终端设备101、102、103中的轻量级的目标特征提取模型，还是选择使用服务器105中的较复杂的目标特征提取模型。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

请参考图2，图2为本公开实施例提供的一种特征提取模型训练方法的流程图，其中流程200包括以下步骤：

步骤201：利用初始特征提取模型的基础特征提取模块，提取样本图像集中各样本图像的图像特征，得到初始特征向量集；

本步骤旨在由特征提取模型训练方法的执行主体(例如图1所示的服务器105)将包含多个样本图像的样本图像集输入初始特征提取模型(即未经过训练样本训练的原始模型)中的基础特征提取模块，以得到该基础特征提取模块为每个样本图像输出的初始特征向量，汇总得到初始特征向量集。

其中，该样本图像集包含多种图像类别的样本图像，每张样本图像均标注有所属的图像类别，标注可以以附加在该张样本图像上的标签或其它形式表现；该基础特征提取模块是现有的用于从图像中提取图像特征的功能模块，其中通常包含有卷积层、池化层以及可能存在的上采样、下采样层等，其所进行的特征提取操作的结果除可以表现为向量形式，还可以表现为矩阵或特征图的方式，此处仅以特征向量作为具体示例，在实践中也可以换用其它表现形式，且不影响通过后续步骤得到最终的结果。

步骤202：利用初始特征提取模型的归一化处理模块，对初始特征向量集中的各初始特征向量进行归一化处理，得到各归一化特征向量；

在步骤201的基础上，本步骤旨在由上述执行主体将基础特征提取模块输出的初始特征向量集输入该初始特征提取模型的归一化处理模块(即该归一化处理模块的输入端连接于基础特征处理模块的输出端)，以通过该归一化处理模块对初始特征向量集中的各初始特征向量进行归一化处理，从而得到该归一化处理模块输出的各归一化特征向量。

其中，进行归一化处理旨在消除来源不同的样本图像在经过基础特征提取模块的特征提取操作之后的表现差异，以将初始特征向量集中各初始特征向量修正在较小的表现范围，从而便于后续处理。

步骤203：通过预设的高区分性损失函数指导训练初始特征提取模型，得到作为训练结果的目标特征提取模型。

在步骤202的基础上，本步骤旨在由上述执行主体通过预设的高区分性损失函数指导训练初始特征提取模型，得到作为训练结果的目标特征提取模型。其中，该高区分性损失函数基于为任意两种图像类别的样本图像根据是否具有相似性所分别预先设定有的向量相似度的预设上限和预设下限抽象得到，即不具有相似性的两张图像的归一化特征向量之间的向量相似度不大于预设下限，具有相似性的两张图像的归一化特征向量之间的向量相似度不小于预设上限，预设上限大于预设下限。

例如针对A、B、C三类图像，其中，A类图像与B类图像可认为具有相似性，而C类图像则可认为与B类图像不具有相似性，则可以预先为A类与B类图像之间设定两者在具有相似性时其图像的归一化特征向量之间的向量相似度应当大于80％(即该预设上限)，同理，预先为C类与B类之间设定两者在不具有相似性时其图像的归一化特征向量之间的向量相似度应该小于30％(即该预设下限)，从而得到较为明显的相似或不相似的判断结果，而不是在进行两种图像的归一化特征向量的相似性判定时，会得到平均分布在0％至100％之间的任何一种情况，这样很难界定两者之间是否具有相似性。总的来说，设定该高区分性损失函数的目的是为了让应当相似的两类图像所对应的图像特征尽可能的具有较高的向量相似度，反之则应当让不相似的两类图像所对应的图像特征尽可能的具有较低的向量相似度，从而让图像类别的归属判定结果更直白，而不是似是而非。需要说明的是，两张图像所对应的特征向量具有相似性，在后续实际应用中就可以认为待处理图像属于该类图像，反之则可认为无法判定属于该图像类别。

具体的，两类图像是否具有相似性，在本公开中可被定义为两类图像所描述的图像对象是否在至少一个维度上具有较小的差异，其中维度可以包括：图像对象的大小、形状、颜色、用途、使用方式等，以及在实际应用场景下用户自行定义的相似性影响因素(例如颜色分布、产生来源等)，例如一张青苹果图像与一张红苹果图像，可因两者仅有颜色上的差异，其余维度下几乎没有差异而被认定为属于具有相似性的两类图像，反之，一张粉红的桃子图像与一张青苹果图像，则可仅因在使用方式这一维度上均为食用类水果，而其它维度则均存在明显差异而被认定为不具有相似性的两类图像。

优选的，该预设上限与该预设下限之间的相似度差距不小于相似度完整区间的一半。例如该预设上限可以为83％、该预设下限可以为31％，其两者的相似度差距为52％，大于相似度完整区间(100％)的一半(50％)，从而使得具有足够大的区分性。

本公开实施例提供的特征提取模型训练方法，在通过加入归一化处理模块对基础特征提取模块输出的初始特征向量进行归一化处理的基础上，还额外引入了预设的高区分性损失函数，由于该高区分性损失函数基于为任意两种图像类别的样本图像根据是否具有相似性所分别预先设定有的向量相似度的预设上限和预设下限抽象得到，且预设上限大于预设下限，因此可指导特征提取模型生成在计算向量相似度时具有较明显区分度的图像特征向量。

为了加深对具体如何通过该预设的高区分性损失函数指导训练该初始特征提取模型过程的理解，本公开还通过图3提供了一种具体的实现方式，其流程300包括以下步骤：

步骤301：通过将高区分性损失函数作用于指导归一化处理模块对初始特征向量的归一化处理过程，得到指导信息；

如图4A所示，该高区分性损失函数的作用对象为经过归一化处理模块输出的归一化特征向量，因此损失函数所提供的训练指导方向则是直接针对归一化特征向量，即通过直接对归一化处理模块的输出结果给出指导信息，以使该归一化处理模块可根据指导信息给出的修正方向调整模块参数。

步骤302：控制归一化处理模块将指导信息反向指导基础特征提取模块的图像特征提取过程。

在步骤301的基础上，本步骤旨在由上述执行主体控制归一化处理模块将指导信息反向指导基础特征提取模块的图像特征提取过程。即在高区分性损失函数直接作用与归一化处理模块的情况下，归一化处理模块还需要将该指导信息反向传递给上层的基础特征提取模块，以便于该基础特征提取模块也根据该指导信息来修正自身的模块参数，从而输出给归一化处理模块更符合指导需求的初始特征向量。

在图3和图4A所提供方案的基础上，考虑到在该高区分性损失函数仅直接作用于归一化处理模块输出的归一化特征向量的情况下，返回给归一化处理模块的指导信息，可能并不能够被上层的基础特征提取模块很好的理解，导致基础特征提取模块在训练迭代过程中每次更新的效果不佳，可能导致需要更多的迭代次数和训练耗时。

针对这一问题，还可以在基础特征提取模块包含有依次连接的多个特征提取子模块时，通过将高区分性损失函数额外作用于指导至少一个特征提取子模块的特征提取过程，即如图4B所示，除保留图4A的损失函数指导连接之外，还额外的增设了该高区分性损失函数与第二个BLOCK(功能模块)之间的信息反馈连接，相当于新增了通过将高区分性损失函数作用于指导基础特征提取模块的图像特征提取过程，相比于间接的指导，很明显直接的指导将拥有更好的效果，从而缩短训练耗时、提升训练效率。

上述各实施例从各个方面阐述了如何训练得到目标特征提取模型，为了尽可能的从实际使用场景突出训练出的目标特征提取模型所起到的效果，本公开还具体提供了一种使用训练好的目标特征提取模型来解决实际问题的方案，一种图像分类方法请参见图5所示的流程500，包括如下步骤：

步骤501：获取待分类图像；

本步骤旨在由负责执行图像分类方法的执行主体(例如图1所示的服务器105或区别于服务器105的其它服务器)获取待分类图像。例如通过网络接收到用户传入的待分类图像，该待分类图像可以包含于用户发起的图像类别确定请求中。

步骤502：通过将待分类图像输入预设的目标特征提取模型，得到输出的实际归一化特征向量；

本步骤所调用或使用的目标特征提取模型即为上述实施例所训练得到的目标特征提取模型，即最终通过归一化处理模块输出与该待分类图像对应的实际归一化特征向量。

步骤503：分别计算实际归一化特征向量与特征向量库中每种图像类别的标准归一化特征向量之间的向量相似度；

在步骤502的基础上，本步骤旨在由上述执行主体分别计算实际归一化特征向量与特征向量库中每种图像类别的标准归一化特征向量之间的向量相似度。

即预先构建有该特征向量库，该特征向量库中包含有多种图像类别的标准归一化特征向量，以用于代表该图像类别的特征向量，该标准归一化特征向量可以是该图像类别的标准图像通过上述的目标特征提取模型输出得到的，也可以是该图像类别下的多种普通图像分别通过上述的目标特征提取模型输出的特征经综合后得到的，此处不做具体限定。

步骤504：根据向量相似度的大小，确定待分类图像所属的图像类别。

在步骤503的基础上，本步骤旨在由上述执行主体根据向量相似度的大小，确定待分类图像所属的图像类别。

在实践中，通常可以将向量相似度最大的目标标准归一化特征向量所属的图像类别，确定为该待分类图像所属的图像类别，也可以保险起见，一通输出向量相似度排名靠前的几个图像类别，以后续通过用户的直接选择来最终确定出用户认可的图像类别。

本实施例所提供的图像分类方法，在通过加入归一化处理模块对基础特征提取模块输出的初始特征向量进行归一化处理的基础上，还额外引入了预设的高区分性损失函数，由于该高区分性损失函数基于为任意两种图像类别的样本图像根据是否具有相似性所分别预先设定有的向量相似度的预设上限和预设下限抽象得到，且预设上限大于预设下限，因此可指导特征提取模型生成在计算向量相似度时具有较明显区分度的图像特征向量，进而有利于得到更准确的图像所属类别的图像分类结果。

请参考图6，图6示出了一种根据向量相似度确定图像类别的方法的流程图，即针对图5所示的流程500中的步骤504提供了一种具体的实现方式，流程500中的其它步骤并不做调整，也将本实施例所提供的具体实现方式以替换步骤504的方式得到一个新的完整实施例。其中流程600包括以下步骤：

步骤601：确定与实际归一化特征向量具有最大的向量相似度的目标标准归一化特征向量；

即本实施例采用了将向量相似度最大的目标标准归一化特征向量所属的图像类别，确定为该待分类图像所属的图像类别的方案。

步骤602：判断最大的向量相似度是否小于预设上限，若是，执行步骤604，否则执行步骤506；

在步骤601的基础上，在确定目标标准归一化特征向量之后、在确定待分类图像所属图像类别之前，本步骤旨在由上述执行主体判断最大的向量相似度是否小于预设上限，以根据判断结果选择不同的后续处理分支。

步骤603：将目标标准归一化特征向量所属的图像类别确定为待分类图像所属的图像类别；

本步骤建立在步骤602的判断结果为最大的向量相似度不小于预设上限的基础上，说明最大的向量相似度也超过了该预设上限，而该预设上限是用于能够表征两张图像属于一类图像的最低值，那么在超过该最低值的情况下，当然可以将目标标准归一化特征向量所属的图像类别确定为待分类图像所属的图像类别。

步骤604：返回未能确定待分类图像所属图像类别的图像分类异常通知；

区别于步骤603，本步骤建立在步骤602的判断结果为最大的向量相似度小于预设上限的基础上，说明最大的向量相似度也未超过该预设上限，而该预设上限是用于能够表征两张图像属于一类图像的最低值，那么在未超过该最低值的情况下，当然无法将目标标准归一化特征向量所属的图像类别确定为待分类图像所属的图像类别，因此只能返回未能确定待分类图像所属图像类别的图像分类异常通知，以便于通过该通常告知这一情况。

步骤605：将与返回图像分类异常通知对应的待分类图像，作为新增图像类别；

在步骤604的基础上，本步骤旨在由上述执行主体进一步的将与返回图像分类异常通知对应的待分类图像，作为新增图像类别。保险起见，还可以再判断一下该最大的向量相似度是否也低于该预设下限，如果也低于该预设下限，就可以更保险的认为特征向量库中没有与该待分类图像相同的图像类别，因此就可以更有力的将其作为新增图像类别。

步骤606：将实际归一化特征向量作为新增图像类别下的标准归一化特征向量补充进特征向量库。

在步骤605的基础上，本步骤旨在由上述执行主体将实际归一化特征向量作为新增图像类别下的标准归一化特征向量补充进特征向量库。即在仅有一张图像的情况下，只能由该待分类图像的实际归一化特征向量作为该类图像的标准归一化特征向量，若后续接收到更多的该类图像，可以根据后续图像的实际归一化特征向量对原标准归一化特征向量进行综合、更新，以得到更具有代表性的标准归一化特征向量。

进一步参考图7和图8，作为对上述各图所示方法的实现，本公开分别提供了一种特征提取模型训练装置实施例和一种图像分类装置的实施例，特征提取模型训练装置实施例与图2所示的特征提取模型训练方法实施例相对应，图像分类装置实施例与图像分类方法实施例相对应。上述装置具体可以应用于各种电子设备中。

如图7所示，本实施例的特征提取模型训练装置700可以包括：图像特征提取单元701、归一化处理单元702、高区分性损失函数训练单元703。其中，图像特征提取单元701，被配置成利用初始特征提取模型的基础特征提取模块，提取样本图像集中各样本图像的图像特征，得到初始特征向量集；其中，样本图像集包含多种图像类别的样本图像，每张样本图像均标注有所属的图像类别；归一化处理单元702，被配置成利用初始特征提取模型的归一化处理模块，对初始特征向量集中的各初始特征向量进行归一化处理，得到各归一化特征向量；高区分性损失函数训练单元703，被配置成通过预设的高区分性损失函数指导训练初始特征提取模型，得到作为训练结果的目标特征提取模型；其中，高区分性损失函数基于为任意两种图像类别的样本图像根据是否具有相似性所分别预先设定有的向量相似度的预设上限和预设下限抽象得到，不具有相似性的两张图像的归一化特征向量之间的向量相似度不大于预设下限，具有相似性的两张图像的归一化特征向量之间的向量相似度不小于预设上限，预设上限大于预设下限。

在本实施例中，特征提取模型训练装置700中：图像特征提取单元701、归一化处理单元702、高区分性损失函数训练单元703的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-203的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，高区分性损失函数训练单元703可以被进一步配置成：

通过将高区分性损失函数作用于指导归一化处理模块对初始特征向量的归一化处理过程，得到指导信息；

控制归一化处理模块将指导信息反向指导基础特征提取模块的图像特征提取过程。

在本实施例的一些可选的实现方式中，特征提取模型训练装置700还可以包括：

额外指导单元，被配置成响应于基础特征提取模块包含有依次连接的多个特征提取子模块，通过将高区分性损失函数额外作用于指导至少一个特征提取子模块的特征提取过程。

在本实施例的一些可选的实现方式中，预设上限与预设下限之间的相似度差距不小于相似度完整区间的一半。

如图8所示，本实施例的图像分类装置800可以包括：待分类图像获取单元801、实际特征向量获取单元802、向量相似度计算单元803、图像类别确定单元804。其中，待分类图像获取单元801，被配置成获取待分类图像；实际特征向量获取单元802，被配置成通过将待分类图像输入预设的目标特征提取模型，得到输出的实际归一化特征向量；其中，目标特征提取模型为根据特征提取模型训练装置700得到；向量相似度计算单元803，别配置成分别计算实际归一化特征向量与特征向量库中每种图像类别的标准归一化特征向量之间的向量相似度；图像类别确定单元804，被配置成根据向量相似度的大小，确定待分类图像所属的图像类别。

在本实施例中，图像分类装置800中：待分类图像获取单元801、实际特征向量获取单元802、向量相似度计算单元803、图像类别确定单元804的具体处理及其所带来的技术效果可分别对应方法实施例中的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，图像类别确定单元804可以被进一步配置成：

确定与实际归一化特征向量具有最大的向量相似度的目标标准归一化特征向量；

响应于最大的向量相似度不小于预设上限，将目标标准归一化特征向量所属的图像类别确定为待分类图像所属的图像类别。

在本实施例的一些可选的实现方式中，图像分类装置800还可以包括：

图像分类异常通知返回单元，被配置成响应于最大的向量相似度小于预设上限，返回未能确定待分类图像所属图像类别的图像分类异常通知。

在本实施例的一些可选的实现方式中，图像分类装置800还可以包括：

新增图像类别确定单元，被配置成将与返回图像分类异常通知对应的待分类图像，作为新增图像类别；

特征向量库补充单元，被配置成将实际归一化特征向量作为新增图像类别下的标准归一化特征向量补充进特征向量库。

本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的特征提取模型训练装置以及图像分类装置，在通过加入归一化处理模块对基础特征提取模块输出的初始特征向量进行归一化处理的基础上，还额外引入了预设的高区分性损失函数，由于该高区分性损失函数基于为任意两种图像类别的样本图像根据是否具有相似性所分别预先设定有的向量相似度的预设上限和预设下限抽象得到，且预设上限大于预设下限，因此可指导特征提取模型生成在计算向量相似度时具有较明显区分度的图像特征向量，进而有利于得到更准确的图像所属类别的图像分类结果。

根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任一实施例描述的特征提取模型训练方法和/或图像分类方法。

根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任一实施例描述的特征提取模型训练方法和/或图像分类方法。

本公开实施例提供了一种计算机程序产品，该计算机程序在被处理器执行时能够实现上述任一实施例描述的特征提取模型训练方法和/或图像分类方法。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如特征提取模型训练方法和/或图像分类方法。例如，在一些实施例中，特征提取模型训练方法和/或图像分类方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的特征提取模型训练方法和/或图像分类方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行特征提取模型训练方法和/或图像分类方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷。

本公开实施例的技术方案，在通过加入归一化处理模块对基础特征提取模块输出的初始特征向量进行归一化处理的基础上，还额外引入了预设的高区分性损失函数，由于该高区分性损失函数基于为任意两种图像类别的样本图像根据是否具有相似性所分别预先设定有的向量相似度的预设上限和预设下限抽象得到，且预设上限大于预设下限，因此可指导特征提取模型生成在计算向量相似度时具有较明显区分度的图像特征向量，进而有利于得到更准确的图像所属类别的图像分类结果。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种特征提取模型训练方法，包括：

利用初始特征提取模型的基础特征提取模块，提取样本图像集中各样本图像的图像特征，得到初始特征向量集；其中，所述样本图像集包含多种图像类别的样本图像，每张所述样本图像均标注有所属的图像类别；

利用所述初始特征提取模型的归一化处理模块，对所述初始特征向量集中的各初始特征向量进行归一化处理，得到各归一化特征向量；

通过将预设的高区分性损失函数作用于指导所述归一化处理模块对初始特征向量的归一化处理过程，得到指导信息；

控制所述归一化处理模块将所述指导信息反向指导所述基础特征提取模块的图像特征提取过程，得到目标特征提取模型；其中，所述高区分性损失函数基于为任意两种图像类别的样本图像根据是否具有相似性所分别预先设定有的向量相似度的预设上限和预设下限抽象得到，不具有相似性的两张图像的归一化特征向量之间的向量相似度不大于所述预设下限，具有相似性的两张图像的归一化特征向量之间的向量相似度不小于所述预设上限，所述预设上限大于所述预设下限。

2.根据权利要求1所述的方法，还包括：

响应于所述基础特征提取模块包含有依次连接的多个特征提取子模块，通过将所述高区分性损失函数额外作用于指导至少一个所述特征提取子模块的特征提取过程。

3.根据权利要求1或2所述的方法，其中，所述预设上限与所述预设下限之间的相似度差距不小于相似度完整区间的一半。

4.一种图像分类方法，包括：

获取待分类图像；

通过将所述待分类图像输入预设的目标特征提取模型，得到输出的实际归一化特征向量；其中，所述目标特征提取模型为根据权利要求1-3任一项所述的特征提取模型训练方法得到；

分别计算所述实际归一化特征向量与特征向量库中每种图像类别的标准归一化特征向量之间的向量相似度；

根据所述向量相似度的大小，确定所述待分类图像所属的图像类别。

5.根据权利要求4所述的方法，其中，所述根据所述向量相似度的大小，确定所述待分类图像所属的图像类别，包括：

确定与所述实际归一化特征向量具有最大的向量相似度的目标标准归一化特征向量；

响应于所述最大的向量相似度不小于预设上限，将所述目标标准归一化特征向量所属的图像类别确定为所述待分类图像所属的图像类别。

6.根据权利要求5所述的方法，还包括：

响应于所述最大的向量相似度小于所述预设上限，返回未能确定所述待分类图像所属图像类别的图像分类异常通知。

7.根据权利要求6所述的方法，还包括：

将与返回所述图像分类异常通知对应的待分类图像，作为新增图像类别；

将所述实际归一化特征向量作为所述新增图像类别下的标准归一化特征向量补充进所述特征向量库。

8.一种特征提取模型训练装置，包括：

图像特征提取单元，被配置成利用初始特征提取模型的基础特征提取模块，提取样本图像集中各样本图像的图像特征，得到初始特征向量集；其中，所述样本图像集包含多种图像类别的样本图像，每张所述样本图像均标注有所属的图像类别；

归一化处理单元，被配置成利用所述初始特征提取模型的归一化处理模块，对所述初始特征向量集中的各初始特征向量进行归一化处理，得到各归一化特征向量；

高区分性损失函数训练单元，被配置成通过将预设的高区分性损失函数作用于指导所述归一化处理模块对初始特征向量的归一化处理过程，得到指导信息；控制所述归一化处理模块将所述指导信息反向指导所述基础特征提取模块的图像特征提取过程，得到目标特征提取模型；其中，所述高区分性损失函数基于为任意两种图像类别的样本图像根据是否具有相似性所分别预先设定有的向量相似度的预设上限和预设下限抽象得到，不具有相似性的两张图像的归一化特征向量之间的向量相似度不大于所述预设下限，具有相似性的两张图像的归一化特征向量之间的向量相似度不小于所述预设上限，所述预设上限大于所述预设下限。

9.根据权利要求8所述的装置，还包括：

额外指导单元，被配置成响应于所述基础特征提取模块包含有依次连接的多个特征提取子模块，通过将所述高区分性损失函数额外作用于指导至少一个所述特征提取子模块的特征提取过程。

10.根据权利要求8或9所述的装置，其中，所述预设上限与所述预设下限之间的相似度差距不小于相似度完整区间的一半。

11.一种图像分类装置，包括：

待分类图像获取单元，被配置成获取待分类图像；

实际特征向量获取单元，被配置成通过将所述待分类图像输入预设的目标特征提取模型，得到输出的实际归一化特征向量；其中，所述目标特征提取模型为根据权利要求8-10任一项所述的特征提取模型训练装置得到；

向量相似度计算单元，被配置成分别计算所述实际归一化特征向量与特征向量库中每种图像类别的标准归一化特征向量之间的向量相似度；

图像类别确定单元，被配置成根据所述向量相似度的大小，确定所述待分类图像所属的图像类别。

12.根据权利要求11所述的装置，其中，所述图像类别确定单元被进一步配置成：

确定与所述实际归一化特征向量具有最大的向量相似度的目标标准归一化特征向量；

响应于所述最大的向量相似度不小于预设上限，将所述目标标准归一化特征向量所属的图像类别确定为所述待分类图像所属的图像类别。

13.根据权利要求12所述的装置，还包括：

图像分类异常通知返回单元，被配置成响应于所述最大的向量相似度小于所述预设上限，返回未能确定所述待分类图像所属图像类别的图像分类异常通知。

14.根据权利要求13所述的装置，还包括：

新增图像类别确定单元，被配置成将与返回所述图像分类异常通知对应的待分类图像，作为新增图像类别；

特征向量库补充单元，被配置成将所述实际归一化特征向量作为所述新增图像类别下的标准归一化特征向量补充进所述特征向量库。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的特征提取模型训练方法和/或权利要求4-7任一项所述的图像分类方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中存储的计算机指令用于使计算机执行权利要求1-3中任一项所述的特征提取模型训练方法和/或权利要求4-7任一项所述的图像分类方法。

Images