CN114581702A - 图像分类方法、装置、计算机设备及计算机可读存储介质 - Google Patents

图像分类方法、装置、计算机设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114581702A
CN114581702A CN202210189732.4A CN202210189732A CN114581702A CN 114581702 A CN114581702 A CN 114581702A CN 202210189732 A CN202210189732 A CN 202210189732A CN 114581702 A CN114581702 A CN 114581702A
Authority
CN
China
Prior art keywords
image
classification
target
classified
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210189732.4A
Other languages
English (en)
Inventor
赖锦祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210189732.4A priority Critical patent/CN114581702A/zh
Publication of CN114581702A publication Critical patent/CN114581702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像分类方法、装置、计算机设备及计算机可读存储介质，可以应用于云技术、人工智能、智慧交通、车联网等各种场景；本申请实施例获取待分类图像和模板图像集合；对待分类图像进行特征提取，得到待分类图像特征信息，以及对模板图像进行特征提取，得到模板图像的模板图像特征信息；根据待分类图像特征信息和模板图像特征信息，采用目标策略对待分类图像进行分类处理，得到待分类图像在每一目标策略下针对每一分类类别的分类信息；根据待分类图像在每一目标策略下针对每一分类类别的分类信息，确定待分类图像的分类类别；本申请实施例可以结合不同目标策略对应的分类信息，从而提高对待分类图像分类的准确性。

Description

图像分类方法、装置、计算机设备及计算机可读存储介质
技术领域
本申请涉及人工智能处理技术领域，具体涉及一种图像分类方法、装置、计算机设备及计算机可读存储介质。
背景技术
随着人工智能技术的发展，人们对神经网络模型的性能要求越来越高，例如，要求神经网络模型具有更高的分类准确性、更高的泛化能力等。
目前，由于数据隐私、数据安全性等因素的影响，导致神经网络模型无法在一些相应场景中获取到足够的带标签的训练样本，相应场景包括医学场景、金融场景，基于此，神经网络模型在训练过程中无法学习到更多的特征，导致训练后的神经网络模型存在对图像分类的准确性较低的问题。
为了解决上述由于神经网络模型在训练过程中无法学习到更多的特征，导致训练后的神经网络模型对图像分类的准确性较低，目前采用了神经网络模型进行小样本学习，但是，这种小样本学习也存在对图像分类的准确性较低的问题。
综上，现有的神经网络模型存在对图像分类的准确性较低的问题。
发明内容
本申请实施例提供一种图像分类方法、装置、计算机设备及计算机可读存储介质，能够提高对图像分类的准确性。
一种图像分类方法，包括：
获取待分类图像和模板图像集合，模板图像集合包括至少一个分类类别对应的模板图像；
对待分类图像进行特征提取，得到待分类图像特征信息，以及对模板图像进行特征提取，得到模板图像的模板图像特征信息；
根据待分类图像特征信息和模板图像特征信息，采用目标策略对待分类图像进行分类处理，得到待分类图像在每一目标策略下针对每一分类类别的分类信息；
根据待分类图像在每一目标策略下针对每一分类类别的分类信息，确定待分类图像的分类类别。
相应地，本申请实施例提供一种图像分类装置，包括：
获取单元，可以用于获取待分类图像和模板图像集合，模板图像集合包括至少一个分类类别对应的模板图像；
提取单元，可以用于对待分类图像进行特征提取，得到待分类图像特征信息，以及对模板图像进行特征提取，得到模板图像的模板图像特征信息；
分类单元，可以用于根据待分类图像特征信息和模板图像特征信息，采用目标策略对待分类图像进行分类处理，得到待分类图像在每一目标策略下针对每一分类类别的分类信息；
确定单元，可以用于根据待分类图像在每一目标策略下针对每一分类类别的分类信息，确定待分类图像的分类类别。
在一些实施例中，待分类图像特征信息和模板图像特征信息均为采用训练后图像分类模型进行特征提取得到的特征信息；图像分类装置还包括训练单元，训练单元具体可以用于获取图像样本集合，图像样本集合包括标注分类类别标签对应的待预测图像样本样本和至少一个分类类别对应的模板图像样本；采用待训练图像分类模型对待预测图像样本进行特征提取，得到待预测图像样本特征信息，以及采用待训练图像分类模型对模板图像样本进行特征提取，得到模板图像样本特征信息；根据待预测图像样本特征信息和模板图像样本特征信息，采用待训练图像分类模型按照目标策略对待预测图像样本进行预测，得到待预测图像样本的分类类别集合，分类类别集合包括每一目标策略对应的目标分类类别；根据每一目标策略对应的目标分类类别和分类类别标签，对待训练图像分类模型进行收敛，得到训练后图像分类模型。
在一些实施例中，训练单元，具体可以用于采用待训练图像分类模型，按照目标策略计算待预测图像样本特征信息和模板图像样本特征信息之间的相似度，得到每一目标策略下待预测图像样本和模板图像样本之间的候选相似度；根据候选相似度，确定每一目标策略下待预测图像样本的目标分类类别；根据每一目标策略下待预测图像样本的目标分类类别，生成待预测图像样本的分类类别集合。
在一些实施例中，训练单元，具体可以用于计算每一目标策略对应的目标分类类别和分类类别标签之间的第一损失值；对第一损失值进行融合处理，得到目标损失值；根据目标损失值，对待训练图像分类模型进行收敛，得到训练后图像分类模型。
在一些实施例中，训练单元，具体可以对待预测图像样本进行预处理，得到预处理后图像样本；根据预处理后图像样本，采用待训练图像分类模型的目标分类器对预处理后图像样本进行分类处理，得到预处理后图像样本的候选分类类别；获取预处理后图像样本对应的预处理后图像样本标签，并计算候选分类类别和预处理后图像样本标签之间的第二损失值；根据目标损失值和第二损失值，对待训练图像分类模型进行收敛，得到训练后图像分类模型。
在一些实施例中，预处理后图像样本包括针对待预测图像样本的若干不同旋转角度的预处理后图像样本，目标分类器包括第一目标分类器和第二目标分类器，候选分类类别包括第一候选分类类别和第二候选分类类别；训练单元，具体可以用于根据若干不同旋转角度的预处理后图像样本，采用待训练图像分类模型的第一目标分类器进行分类处理，得到目标预处理后图像样本的第一候选分类类别，第一候选分类类别表征目标预处理后图像样本针对待预测图像样本的分类类别，目标预处理后图像样本为预处后图像中与待预测图像样本匹配的图像；根据若干不同旋转角度的预处理后图像样本，采用待训练图像分类模型的第二目标分类器进行分类处理，得到预处理后图像样本的第二候选分类类别，第二候选分类类别表征预处理后图像样本针对旋转角度的分类类别。
在一些实施例中，训练单元，具体可以用于采用待训练图像分类模型的共享神经网络层对预处理后图像样本进行特征提取，得到预处理后图像样本特征信息；根据预处理后图像样本特征信息，采用待训练图像分类模型的目标分类器对预处理后图像样本进行分类处理，得到预处理后图像样本的候选分类类别；采用待训练图像分类模型的共享神经网络层对待预测图像样本进行特征提取，得到待预测图像样本特征信息。
在一些实施例中，确定单元，具体可以用于针对每一分类类别，将每一目标策略对应的分类信息进行融合处理，得到分类类别对应的目标分类信息；根据分类类别对应的目标分类信息，确定待分类图像的分类类别。
在一些实施例中，确定单元，具体可以用于获取每一目标策略对应的权重；根据权重，将每一目标策略对应的分类信息进行融合处理，得到分类类别对应的目标分类信息。
在一些实施例中，分类单元，具体可以用于采用目标策略计算待分类图像特征信息和模板图像特征信息之间的相似度，得到每一目标策略下待分类图像和每一分类类别对应的模板图像之间的目标相似度；将目标相似度作为分类信息。
此外，本申请实施例还提供一种计算机设备，包括存储器和处理器；存储器存储有计算机程序，处理器用于运行存储器内的计算机程序，以执行本申请实施例提供的任一种图像分类方法。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序适于处理器进行加载，以执行本申请实施例提供的任一种图像分类方法。
本申请实施例可以获取待分类图像和模板图像集合，模板图像集合包括至少一个分类类别对应的模板图像；对待分类图像进行特征提取，得到待分类图像特征信息，以及对模板图像进行特征提取，得到模板图像的模板图像特征信息；根据待分类图像特征信息和模板图像特征信息，采用目标策略对待分类图像进行分类处理，得到待分类图像在每一目标策略下针对每一分类类别的分类信息；根据待分类图像在每一目标策略下针对每一分类类别的分类信息，确定待分类图像的分类类别；由于本申请实施例可以根据分类处理得到的每一目标策略下针对每一分类类别的分类信息，确定出待分类图像的分类类别，如此可以结合不同目标策略对应的分类信息，从而提高对待分类图像分类的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像分类方法的场景示意图；
图2是本申请实施例提供的图像分类方法的流程示意一图；
图3是本申请实施例提供的对待训练图像分类模型进行训练的流程示意一图；
图4是本申请实施例提供的根据待分类图像在每一目标策略下针对每一分类类别的分类信息，确定待分类图像的分类类别的流程示意图；
图5是本申请实施例提供的图像分类方法的流程示意二图；
图6是本申请实施例提供的对待训练图像分类模型进行训练的流程示意二图；
图7是本申请实施例提供的对待训练图像分类模型进行训练的流程示意三图；
图8是本申请实施例提供的根据预处理后图像样本，采用待训练图像分类模型的目标分类器对预处理后图像样本进行分类处理，得到预处理后图像样本的候选分类类别的流程示意图；
图9是本申请实施例提供的图像分类装置的结构示意图；
图10是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种图像分类方法、装置、计算机设备和计算机可读存储介质。其中，该图像分类装置可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。
其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
其中，本申请实施例涉及人工智能(Artificial Intelligence，AI)，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
例如，参见图1，以图像分类装置集成在计算机设备中为例，计算机设备可以获取待分类图像和模板图像集合；对待分类图像进行特征提取，得到待分类图像特征信息，以及对模板图像进行特征提取，得到模板图像的模板图像特征信息；根据待分类图像特征信息和模板图像特征信息，采用目标策略对待分类图像进行分类处理，得到待分类图像在每一目标策略下针对每一分类类别的分类信息；根据待分类图像在每一目标策略下针对每一分类类别的分类信息，确定待分类图像的分类类别。
其中，待分类图像可以是物品的图像、也可以是人脸的图像等。
其中，模板图像集合包括至少一个分类类别对应的模板图像。模板图像可以是预先收集并按照分类类别进行存储的图像。
其中，目标策略可以有至少一个，目标策略是用于对待分类图像进行分类处理的策略。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从图像分类装置的角度进行描述，该图像分类装置具体可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备；其中，该终端可以包括平板电脑、笔记本电脑、以及个人计算机(PC，Personal Computer)、可穿戴设备、虚拟现实设备或其他可以获取数据的智能设备等设备。
如图2所示，该图像分类方法的具体流程如步骤S101至步骤S104所示：
S101、获取待分类图像和模板图像集合。
其中，模板图像集合包括至少一个分类类别对应的模板图像。
本申请实施例的模板图像可以是预先收集并按照分类类别进行存储的图像。
例如，计算机设备获取模板图像；根据模板图像的图像标识，对模板图像进行分类，得到每一分类类别对应的模板图像。
其中，本申请实施例的图像标识和分类类别进行关联，如此，本申请实施例可以根据图像标识对模板图像进行分类。
S102、对待分类图像进行特征提取，得到待分类图像特征信息，以及对模板图像进行特征提取，得到模板图像的模板图像特征信息。
其中，本申请实施例可以采用训练后图像分类模型对待分类图像进行特征提取，得到待分类图像特征信息；采用训练后图像分类模型对模板图像进行特征提取，得到模板图像的模板图像特征信息。训练后图像分类模型为神经网络模型。
由于本申请实施例可以采用训练后图像分类模型对待分类图像和模板图像进行处理，基于此，本申请实施例可以对待训练图像分类模型进行训练，以得到训练后图像分类模型。
基于上述，本申请实施例可以对待训练图像分类模型进行训练，如图3所示，对待训练图像分类模型进行训练的步骤详见下述步骤A1至步骤A4：
A1、获取图像样本集合。
其中，图像样本集合包括标注分类类别标签对应的待预测图像样本样本和至少一个分类类别对应的模板图像样本。
其中，待预测图像样本可以是物品图像。
本申请实施例中，计算机设备获取图像样本集合的方式可以有多种，本申请实施例可以预先对图像样本进行标注，如此可以得到分类类别标签对应的图像样本。
A2、采用待训练图像分类模型对待预测图像样本进行特征提取，得到待预测图像样本特征信息，以及采用待训练图像分类模型对模板图像样本进行特征提取，得到模板图像样本特征信息。
其中，待预测图像样本特征信息可以是采用WideResNet、SENet(即， Squeeze-and-Excitation Net)、HRNet(即，High-Resolution Net)等神经网络对待预测图像样本进行特征提取到的；模板图像样本特征信息可以是采用WideResNet、SENet(即，Squeeze-and-Excitation Net)、HRNet(即， High-Resolution Net)等神经网络对对图像样本进行特征提取的。
A3、根据待预测图像样本特征信息和模板图像样本特征信息，采用待训练图像分类模型按照目标策略对待预测图像样本进行预测，得到待预测图像样本的分类类别集合。
其中，分类类别集合包括每一目标策略对应的目标分类类别。
本申请实施例根据待预测图像样本特征信息和模板图像样本特征信息，采用待训练图像分类模型按照目标策略对待预测图像样本进行预测，得到待预测图像样本的分类类别集合的方式可以如下：
例如，计算机设备采用待训练图像分类模型，按照目标策略计算待预测图像样本特征信息和模板图像样本特征信息之间的相似度，得到每一目标策略下待预测图像样本和模板图像样本之间的候选相似度；根据候选相似度，确定每一目标策略下待预测图像样本的目标分类类别；根据每一目标策略下待预测图像样本的目标分类类别，生成待预测图像样本的分类类别集合。
其中，目标策略可以有多种，目标策略是用于对待分类图像进行分类处理的策略。
本申请实施例可以通过目标策略计算待预测图像样本特征信息和模板图像样本特征信息之间的相似度，如此得到每一目标策略下待预测图像样本和模板图像样本之间的候选相似度。
本申请实施例可以从候选相似度中筛选出相似度最高的候选相似度；根据相似度最高的候选相似度对应的模板图像样本特征信息，确定待预测图像样本的目标分类类别。待预测图像样本的目标分类类别为相似度最高的候选相似度对应的图像样本特征信息所对应的分类类别。
A4、根据每一目标策略对应的目标分类类别和分类类别标签，对待训练图像分类模型进行收敛，得到训练后图像分类模型。
其中，本申请实施例根据每一目标策略对应的目标分类类别和分类类别标签，对待训练图像分类模型进行收敛，得到训练后图像分类模型的方式可以如下：
例如，计算机设备计算每一目标策略对应的目标分类类别和分类类别标签之间的第一损失值；对第一损失值进行融合处理，得到目标损失值；根据目标损失值，对待训练图像分类模型进行收敛，得到训练后图像分类模型。
其中，本申请实施例可以将所有第一损失值进行相加，实现对第一损失值融合处理，从而得到目标损失值。
为了使训练后图像分类模型提高对待分类图像分类的准确性，本申请实施例可以通过辅助任务对待训练图像分类模型进行训练，本申请实施例通过辅助任务对待训练图像分类模型进行训练的过程可以如下：
例如，计算机设备对待预测图像样本进行预处理，得到预处理后图像样本；根据预处理后图像样本，采用待训练图像分类模型的目标分类器对预处理后图像样本进行分类处理，得到预处理后图像样本的候选分类类别；获取预处理后图像样本对应的预处理后图像样本标签，并计算候选分类类别和预处理后图像样本标签之间的第二损失值。
其中，本申请实施例对待预测图像样本进行预处理的方式可以是对待处理图像进行旋转，从而得到针对待预测图像样本的若干不同旋转角度的预处理后图像样本；还可以是对待处理图像进行镜像处理、修改处理等，从而得到预处理后图像样本。
其中，本申请实施例可以对预处理后图像样本进行标注，从而得到预处理后图像样本标签。
其中，本申请实施例的目标分类器具有至少一个。
基于上述，本申请实施例根据目标损失值，对待训练图像分类模型进行收敛，得到训练后图像分类模型的方式可以是：计算机设备根据目标损失值和第二损失值，对待训练图像分类模型进行收敛，得到训练后图像分类模型。
其中，本申请实施例根据目标损失值和第二损失值，对待训练图像分类模型进行收敛，得到训练后图像分类模型的方式可以是：将目标损失值和第二损失值进行相加，得到总损失值；根据总损失值对待训练图像分类模型进行收敛，得到训练后图像分类模型。
基于上述，当预处理后图像样本包括针对待预测图像样本的若干不同旋转角度的预处理后图像样本时，目标分类器包括第一目标分类器和第二目标分类器，候选分类类别包括第一候选分类类别和第二候选分类类别。基于此，本申请实施例根据预处理后图像样本，采用待训练图像分类模型的目标分类器对预处理后图像样本进行分类处理，得到预处理后图像样本的候选分类类别的方式可以如下：
例如，计算机设备根据若干不同旋转角度的预处理后图像样本，采用待训练图像分类模型的第一目标分类器进行分类处理，得到目标预处理后图像样本的第一候选分类类别；根据若干不同旋转角度的预处理后图像样本，采用待训练图像分类模型的第二目标分类器进行分类处理，得到预处理后图像样本的第二候选分类类别。
其中，第一候选分类类别表征目标预处理后图像样本针对待预测图像样本的分类类别，目标预处理后图像样本为预处后图像中与待预测图像样本匹配的图像。其中，目标预处理后图像样本可以是指预处理后图像样本中与待预测图像样本之间的相似度最高的图像，也即，当预处理后图像样本与待预测图像样本之间的相似度最高时，此种情况可以称预处理后图像样本与待预测图像样本匹配。
其中，本申请实施例通过第一目标分类器对预处理后图像样本进行分类，其中，第一目标分类器的一个分类类别可以是针对待预测图像样本的分类类别。基于此，本申请实施例可以从第一目标分类器分类后得到的多个分类类别中，提取到目标预处理后图像样本针对待预测图像样本的分类类别，也即提取到第一候选分类类别。
其中，第一目标分类器可以与第二目标分类器不同，第一目标分类器可以是可以分辨80个分类类别的分类器，第二分类器可以是分辨4个分类类别的分类器。
其中，第二候选分类类别表征预处理后图像样本针对旋转角度的分类类别。也即，本申请实施例可以通过第二目标分类器对预处理后图像样本进行分类，其中，第二目标分类器的分类类别可以图像的旋转角度。
S103、根据待分类图像特征信息和模板图像特征信息，采用目标策略对待分类图像进行分类处理，得到待分类图像在每一目标策略下针对每一分类类别的分类信息。
本申请实施例根据待分类图像特征信息和模板图像特征信息，采用目标策略对待分类图像进行分类处理，得到待分类图像在每一目标策略下针对每一分类类别的分类信息的方式可以如下：
例如，计算机设备采用目标策略计算待分类图像特征信息和模板图像特征信息之间的相似度，得到每一目标策略下待分类图像和每一分类类别对应的模板图像之间的目标相似度；将目标相似度作为分类信息。
比如，目标策略包括第一目标策略和第二目标策略，本申请实施例采用第一目标策略计算待分类图像特征信息和模板图像特征信息之间的相似度，得到第一目标策略下待分类图像和每一分类类别对应的模板图像之间的目标相似度；采用第二目标策略计算待分类图像特征信息和模板图像特征信息之间的相似度，得到第二目标策略下待分类图像和每一分类类别对应的模板图像之间的目标相似度。
S104、根据待分类图像在每一目标策略下针对每一分类类别的分类信息，确定待分类图像的分类类别。
如图4所示，本申请实施例根据待分类图像在每一目标策略下针对每一分类类别的分类信息，确定待分类图像的分类类别的方式可以如下步骤B1至B2：
B1、针对每一分类类别，将每一目标策略对应的分类信息进行融合处理，得到分类类别对应的目标分类信息。
其中，本申请实施例的分类信息可以是以数值的方式表示，基于此，本申请实施例可以将每一目标策略对应的分类信息进行加权处理，如此实现将每一目标策略对应的分类信息进行融合处理，具体可以如下：
例如，计算机设备获取每一目标策略对应的权重；根据权重，将每一目标策略对应的分类信息进行融合处理，得到分类类别对应的目标分类信息。
其中，权重可以是训练后图像分类模型经过迭代训练学习到的参数。
除了上述，本申请实施例还可以将每一目标策略对应的分类信息进行相加，如此实现将每一目标策略对应的分类信息进行融合处理。
B2、根据分类类别对应的目标分类信息，确定待分类图像的分类类别。
其中，目标分类信息可以以数值表示，且每一分类类别具有对应的目标分类信息，基于此，本申请实施例可以从目标分类信息中筛选出数值最大的目标分类信息，该数值最大的目标分类信息对应的分类类别即为待分类图像的分类类别。
本申请实施例可以获取待分类图像和模板图像集合，模板图像集合包括至少一个分类类别对应的模板图像；对待分类图像进行特征提取，得到待分类图像特征信息，以及对模板图像进行特征提取，得到模板图像的模板图像特征信息；根据待分类图像特征信息和模板图像特征信息，采用目标策略对待分类图像进行分类处理，得到待分类图像在每一目标策略下针对每一分类类别的分类信息；根据待分类图像在每一目标策略下针对每一分类类别的分类信息，确定待分类图像的分类类别；由于本申请实施例可以根据分类处理得到的每一目标策略下针对每一分类类别的分类信息，确定出待分类图像的分类类别，如此可以结合不同目标策略对应的分类信息，从而提高对待分类图像分类的准确性。
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该图像分类装置具体集成在计算机设备，计算机设备为服务器。
如图5所示，一种图像分类方法，具体流程如步骤S201至步骤S208所示：
S201、计算机设备获取图像样本集合。
其中，图像样本集合包括标注分类类别标签对应的待预测图像样本样本和至少一个分类类别对应的模板图像样本。
其中，待分类图像可以是物品的图像。物品可以蔬菜。
其中，本申请实施例的待训练图像分类模型的训练任务包括小样本分类任务和辅助任务。
其中，小样本分类任务是N-way K-shot的分类任务，N-way指N个分类类别，K-shot指每个分类类别提供的图像样本有K个。
本申请实施例可以采用数据集miniImageNet对待训练图像分类模型进行训练，该数据集共100个分类类别，其中，80个分类类别用于生成图像训练集合，以对待训练图像分类模型进行训练；20个分类类别用于生成图像验证数据集合，以对训练后图像分类模型验证。
其中，数据集还可以采用tiered ImageNet数据集、ImageNet数据集等。
基于上述，本申请实施例对待训练图像分类模型进行训练可以包括下述步骤：(a)从图像训练集合随机抽取N-way K-shot数据作为模板图像样本集合，图像样本集合中的模板图像样本的数据量有N*K张图像，再从N个分类类别的模板图像样本集合中的每个分类类别中抽取m张图像作为待预测图像样本，待预测图像样本具有N*m张；(b)重复上述步骤(a)的数据抽取过程t次，每次抽取完即对待训练图像分类模型进行一次模型迭代训练，则共迭代t次；(c)同步骤(a) 一样，对图像验证数据集合进行验证数据抽取，从图像验证数据集合随机抽取待验证图像样本和模板图像验证样本进行模型推理验证，选取性能最优的模型；(d)重复步骤(a)至步骤(c)共e次，得到分类性能最优的训练后图像分类模型。
S202、计算机设备采用待训练图像分类模型对待预测图像样本进行特征提取，得到待预测图像样本特征信息，以及采用待训练图像分类模型对模板图像样本进行特征提取，得到模板图像样本特征信息。
如图6所示，本申请实施例基于小样本分类任务，采用待训练图像分类模型对待预测图像样本进行特征提取，得到待预测图像样本特征信息，以及采用待训练图像分类模型对模板图像样本进行特征提取，得到模板图像样本特征信息。
本申请实施例的待训练图像分类模型通过骨干网络11对待预测图像样本进行深度特征提取，得到待预测图像样本特征信息fQ；待训练图像分类模型通过骨干网络11对模板图像样本进行深度特征提取，得到模板图像样本特征信息 [fS1，fS2，...，fSN]，fSN表示第N个模板图像样本对应的模板图像样本特征信息，N为正整数，其中，骨干网络11可以为ResNet网络。
S203、计算机设备根据待预测图像样本特征信息和模板图像样本特征信息，采用待训练图像分类模型按照目标策略对待预测图像样本进行预测，得到待预测图像样本的分类类别集合。
其中，分类类别集合包括每一目标策略对应的目标分类类别。
本申请实施例根据待预测图像样本特征信息和模板图像样本特征信息，采用待训练图像分类模型按照目标策略对待预测图像样本进行预测，得到待预测图像样本的分类类别集合的方式可以如下：
例如，计算机设备采用待训练图像分类模型，按照目标策略计算待预测图像样本特征信息和模板图像样本特征信息之间的相似度，得到每一目标策略下待预测图像样本和模板图像样本之间的候选相似度；根据候选相似度，确定每一目标策略下待预测图像样本的目标分类类别；根据每一目标策略下待预测图像样本的目标分类类别，生成待预测图像样本的分类类别集合。
其中，目标策略可以有多种，例如，目标策略可以是余弦相似度策略，可以是高斯核函数策略，可以是欧式距离策略，可以是可学习相似度策略、可以是曼哈顿距离策略、可以是明可夫斯基距离策略等。
其中，可学习相似度策略可以是将待预测图像样本特征信息和模板图像样本特征信息在维度通道进行拼接，得到拼接后特征信息；根据拼接后特征信息，计算得到可学习相似度策略下，待预测图像样本和模板图像样本之间的候选相似度。
本申请实施例可学习相似度策略计算待预测图像样本和模板图像样本之间的候选相似度的计算公式详见公式(1)：
S＝g(cat(fQ,fSN))＝c1(c2(cat(fQ,fSN))) 公式(1)
其中，fQ是指待预测图像样本特征信息；fSN是指模板图像样本特征信息； cat函数用于将待预测图像样本特征信息和模板图像样本特征信息在通道维度进行拼接；cn＝relu(bn(conv2d(*)))，其中，n为正整数，relu是指激活函数，bn 是指批归一化，conv2d是指卷积层。
如图6所示，本申请实施例的待训练图像分类模型可以通过自适应多度量模块12(AMM，Adaptive Multi-Metric))采用目标策略计算出候选相似度。
具体地，如图7所示，本申请实施例在自适应多度量模块中输入是N对特征对(N-pair features)，即{[fS1，fQ]，[fS2，fQ]，…[fSN，fQ]}，fSN是指模板图像样本特征信息，fQ是指待预测图像样本特征信息。自适应多度量模块12 集成了多个目标策略，如此可以计算出每个目标策略下，待预测图像样本和图像样本之间的候选相似度。
其中，本申请实施的自适应多度量模块12集成的目标策略可以采用不同目标神经网络中的目标策略，目标神经网络可以包括MatchingNet、ProtoNet和 RelationNet。例如，自适应多度量模块12集成的目标策略可以包括余弦相似度策略、欧式距离策略、可学习相似度策略，余弦相似度策略为MatchingNet中的策略，欧式距离策略为ProtoNet中的策略，可学习相似度策略为RelationNet 中的策略。
其中，当分类类别对应的模板图像样本有多张时，本申请实施例可以通过待训练图像分类模型对具有多张模板图像样本的分类类别对应的所有模板图像样本进行特征提取，得到该分类类别下，每一模板图像样本对应的候选模板图像样本特征信息，然后，对该分类类别下，每一模板图像样本的候选模板图像样本特征信息进行融合处理，得到该分类类别下模板图像样本的模板图像样本特征信息。
例如，A分类类别中的模板图像样本包括a1、a2、a3，通过待训练图像分类模型对A分类类别中的模板图像样本进行特征提取，得到a1对应的候选模板图像样本特征信息f(a1)，a2对应的候选模板图像样本特征信息f(a2)，a3对应的候选模板图像样本特征信息f(a3)，然后，计算该分类类别下所有的候选模板图像样本特征信息的均值，得到图像样本特征信息f(A)，即 f(A)＝1/3(f(a1)+f(a2)+f(a3))。
例如，目标策略包括余弦相似度策略、欧式距离策略和可学习相似度策略，以特征对[fS1，fQ]为例进行解释。本申请实施例可以通过余弦相似度策略计算得到fS1和fQ之间的候选相似度；通过欧式距离策略计算得到fS1和fQ之间的候选相似度；通过可学习相似度策略计算得到fS1和fQ之间的候选相似度。
每对特征对都可以按照上述的方式计算得到候选相似度。
基于上述，本申请实施例可以得到每一目标策略下待预测图像样本和模板图像样本之间的候选相似度，候选相似度可以采用数值表示，基于此，本申请得到的每一目标策略下，待预测图像样本针对每一分类类别的候选相似度，也即，本申请实施例通过自适应多度量模块计算得到待预测图像样本的分类结果 [Yr，Ye，Yc]，其中，Yr表示余弦相似度策略下待预测图像样本针对每一分类类别的候选相似度，Ye表示欧式距离策略下待预测图像样本针对每一分类类别的候选相似度，Yc表示可学习相似度策略下待预测图像样本针对每一分类类别的候选相似度。
以分类类别包括第一分类类别、第二分类类别和第三分类类别，且以余弦相似度策略为例进行解释，本申请实施例计算得到余弦相似度策略下待预测图像样本针对每一分类类别的候选相似度，Yr＝[0.3，0.5，0.7]，0.3表示待预测图像样本针对第一分类类别的候选相似度，0.5表示待预测图像样本针对第二分类类别的候选相似度，0.7表示待预测图像样本针对第三分类类别的候选相似度。
基于上述，本申请实施例针对每一目标策略，从目标策略下待预测图像样本针对每一分类类别的候选相似度中，筛选出数值最大的候选相似度，数值最大的候选相似度即为相似度最高的候选相似度，如此，数值最大的候选相似度对应的分类类别即为该目标策略下，该待预测图像样本的目标分类类别。以目标策略为余弦相似度策略为例进行解释，Yr＝[0.3，0.5，0.7]，0.7为数值最大的候选相似度，0.7是第三分类类别的候选相似度，如此，第三分类类别为余弦相似度策略下，待预测图像样本的目标分类类别。
S204、计算机设备根据每一目标策略对应的目标分类类别和分类类别标签，对待训练图像分类模型进行收敛，得到训练后图像分类模型。
本申请实施例根据每一目标策略对应的目标分类类别和分类类别标签，对待训练图像分类模型进行收敛，得到训练后图像分类模型的过程可以为：计算机设备可以计算每一目标策略对应的目标分类类别和分类类别标签之间的第一损失值；对第一损失值进行融合处理，得到目标损失值；根据目标损失值，对待训练图像分类模型进行收敛，得到训练后图像分类模型。
其中，如图7所示，本申请实施例每一目标策略具有对应的第一损失值，基于此，本申请实施例可以将所有的第一损失值进行融合。当目标策略包括余弦相似度策略、欧式距离策略和可学习相似度策略时，本申请实施例对第一损失值进行融合处理，得到目标损失值的计算公式可以详见公式(2)：
Lm＝(wrLr+br)+(weLe+be)+(wcLc+bc) 公式(2)
其中，Lm表示目标损失值；Lr表示余弦相似度策略对应的第一损失值；wr表示余弦相似度策略对应的第一损失值的损失权重；Le表示欧式距离策略对应的第一损失值；we表示欧式距离策略对应的第一损失值的损失权重；Lc表示可学习相似度策略对应的第一损失值；wc表示可学习相似度策略对应的第一损失值的损失权重；br表示余弦相似度策略对应的损失偏置量，
Figure BDA0003524836270000173
be表示欧式距离策略对应的损失偏置量，
Figure BDA0003524836270000172
bc表示可学习相似度策略对应的损失偏置量，
Figure BDA0003524836270000174
σr、σe、σc均表示待训练图像分类模型的网络参数。
其中，
Figure 1
为了使训练后图像分类模型提高对待分类图像分类的准确性，本申请实施例可以通过辅助任务对待训练图像分类模型进行训练，本申请实施例通过辅助任务对待训练图像分类模型进行训练的过程可以如下：
例如，计算机设备对待预测图像样本进行预处理，得到预处理后图像样本；根据预处理后图像样本，采用待训练图像分类模型的目标分类器对预处理后图像样本进行分类处理，得到预处理后图像样本的候选分类类别；获取预处理后图像样本对应的预处理后图像样本标签，并计算候选分类类别和预处理后图像样本标签之间的第二损失值。
其中，如图6所示，本申请实施例对待预测图像样本进行预处理可以是对待预测图像样本进行角度旋转，得到若干不同旋转角度的预处理后图像样本，预处理后图像样本包括旋转角度为0°预处理后图像样本、90°预处理后图像样本、180°预处理后图像样本和270°预处理后图像样本。
然后，如图6所示，本申请实施例的待训练分类模型采用骨干网络13对预处理后图像样本进行深度特征提取，得到预处理后图像样本对应的预处理后图像样本特征信息，0°预处理后图像样本对应的预处理后图像样本特征信息记为fQ0，90°预处理后图像样本对应的预处理后图像样本特征信息记为fQ90， 180°预处理后图像样本对应的预处理后图像样本特征信息记为fQ180，270°预处理后图像样本对应的预处理后图像样本特征信息记为fQ270。
其中，图6中应用在小样本分类任务的骨干网络11和应用在辅助任务的骨干网络13为共享神经网络层。在本申请实施例中，骨干网络11和骨干网络13 为共享神经网络层的这种设置，可以节省计算资源，提高模型运算速度。
基于上述，根据预处理后图像样本特征信息，采用待训练图像分类模型的目标分类器对预处理后图像样本进行分类处理，得到预处理后图像样本的候选分类类别。
具体地，如图6所示，本申请实施例将预处理后图像样本特征信息输入到待训练分类模型的线性层14后，由目标分类器对预处理后图像样本进行分类处理。
本申请实施例的目标分类器可以包括第一目标分类器和第二目标分类器，候选分类类别包括第一候选分类类别和第二候选分类类别，基于此，如图8所示，本申请实施例根据预处理后图像样本，采用待训练图像分类模型的目标分类器对预处理后图像样本进行分类处理，得到预处理后图像样本的候选分类类别的方式可以如下步骤C1至C2：
C1、根据若干不同旋转角度的预处理后图像样本，采用待训练图像分类模型的第一目标分类器进行分类处理，得到目标预处理后图像样本的第一候选分类类别。
其中，第一候选分类类别表征目标预处理后图像样本针对待预测图像样本的分类类别，目标预处理后图像样本为预处后图像中与待预测图像样本匹配的图像。
其中，第一目标分类器具有能够分辨80个分类类别的分类器，在本申请实施例中，可以将第一目标分类器称为全局分类器(global classification)。全局分类器对80个分类类别的预处理后图像样本进行分类，可以增大分类类别之间的间距，使不同分类类别之间的特征更具有区分性。而在相关技术中，采用目标分类器是对小于80个分类类别的数据进行分类，这样的分类类别和分类类别之间的间距不够大，导致不同分类类别之间的特征的区分性不够大。所以，本申请实施例通过全局分类器可以提升特征的区分性。
本申请实施例通过第一目标分类器对所有预处理后图像样本进行分类处理，从第一目标分类器的80个分类类别中提取到目标预处理后图像样本针对待预测图像样本的第一候选分类类别，目标预处理后图像样本可以是0°预处理后图像样本，也即提取到0°预处理后图像样本针对待预测图像样本的第一候选分类类别。本申请实施例中，0°预处理后图像样本针对待预测图像样本的第一候选分类类别可以记为Yglobal。
C2、根据若干不同旋转角度的预处理后图像样本，采用待训练图像分类模型的第二目标分类器进行分类处理，得到预处理后图像样本的第二候选分类类别。
其中，第二候选分类类别表征预处理后图像样本针对旋转角度的分类类别。
其中，第二目标分类器具有能够分辨4个分类类别的分类器，在本申请实施例中，可以将第二目标分类器称为旋转分类器。本申请实施例的旋转分类器用于提取预处理后图像样本具有更多信息的图像特征，如此增加图像特征的信息量，使训练后图像分类模型更具判别性和鲁棒性。
本申请实施例的第二目标分类器是采用自监督方式进行训练的，其标签生成的旋转角度，通过学习旋转角度来获取图像特征信息。
本申请实施例的第二目标分类器按照0°旋转角度、90°旋转角度、180°旋转角度、270°旋转角度进行对预处理后图像样本进行分类，得到第二候选分类类别。第二目标分类器的第二候选分类类别为旋转角度，第二候选分类类别包括0°旋转角度、90°旋转角度、180°旋转角度、270°旋转角度。本申请实施例中，第二候选分类类别可以记为Yrotation。
基于上述，本申请实施例可以将小样本分类任务得到的待预测图像样本的分类结果[Yr，Ye，Yc]，和辅助任务得到的第一候选分类类别Yglobal、第二候选分类类别Yrotation输入到待训练图像分类模型的全局自适应损失模块计算损失值。
基于待预测图像样本的分类结果[Yr，Ye，Yc]计算得到的损失值为前述得到的目标损失值Lm，详见公式(2)，此处不再赘述。
本申请实施例的第二损失值包括第一候选损失值和第二候选损失值，预处理后图像样本标签包括第一预处理后图像样本标签和第二预处理后图像样本标签。本申请实施例计算第一预处理后图像样本标签和第一候选分类类别之间的第一候选损失值Lg，计算第二预处理后图像样本标签和第二候选分类类别之间的第二候选损失值LR。
基于上述，本申请实施例可以根据目标损失值和第二损失值，对待训练图像分类模型进行收敛，得到训练后图像分类模型。
也即，本申请实施例可以对目标损失值、第一候选损失值和第二候选损失值进行融合，得到融合后损失值；根据融合后损失值对待训练图像分类模型进行收敛，得到训练后图像分类模型。
本申请实施例对目标损失值、第一候选损失值和第二候选损失值进行融合，得到融合后损失值可以详见公式(3)：
Figure BDA0003524836270000201
其中，Lloss表示融合后损失值；LG表示第一候选损失值；wG表示第一候选损失值的损失权重；LR表示第二候选损失值；wR表示第二候选损失值的损失权重；λ表示权重偏置参数，λ＝1.5；bG表示第一候选损失值的损失偏置量，
Figure BDA0003524836270000211
bR表示第二候选损失值的损失偏置量，
Figure BDA0003524836270000212
σG、σR均表示待训练图像分类模型的网络参数。
其中，
Figure BDA0003524836270000213
基于上述，本申请实施例可以平衡小样本分类任务和辅助任务，从而使训练后图像分类模型具有更好的深度特征表征能力，从而提高训练后图像分类模型对图像分类的准确性。
基于上述，本申请实施例得到的训练后图像分类模型可以应用在智能物品分拣系统，该智能物品分拣系统可以获取到待分类图像并对待分拣物品进行分类，该待分类图像为待分拣物品的图像。以下步骤进行详细阐述。
S205、计算机设备获取待分类图像和模板图像集合。
其中，模板图像集合包括至少一个分类类别对应的模板图像。模板图像可以是蔬菜的图像。分类类别可以包括菠菜分类类别、胡萝卜分类类别、西红柿分类类别。
S206、计算机设备采用训练后图像分类模型对待分类图像进行特征提取，得到待分类图像特征信息，以及采用训练后图像分类模型对模板图像进行特征提取，得到模板图像的模板图像特征信息。
S207、计算机设备根据待分类图像特征信息和模板图像特征信息，采用目标策略对待分类图像进行分类处理，得到待分类图像在每一目标策略下针对每一分类类别的分类信息。
本申请实施例根据待分类图像特征信息和模板图像特征信息，采用目标策略对待分类图像进行分类处理，得到待分类图像在每一目标策略下针对每一分类类别的分类信息的方式可以如下：
例如，计算机设备通过训练后图像分类模型采用目标策略计算待分类图像特征信息和模板图像特征信息之间的相似度，得到每一目标策略下待分类图像和每一分类类别对应的模板图像之间的目标相似度；将目标相似度作为分类信息。
S208、计算机设备根据待分类图像在每一目标策略下针对每一分类类别的分类信息，确定待分类图像的分类类别。
本申请实施例根据待分类图像在每一目标策略下针对每一分类类别的分类信息，确定待分类图像的分类类别的方式可以为：计算机设备针对每一分类类别，将每一目标策略对应的分类信息进行融合处理，得到分类类别对应的目标分类信息；根据分类类别对应的目标分类信息，确定待分类图像的分类类别。
其中，本申请实施例针对每一分类类别，将每一目标策略对应的分类信息进行融合处理，得到分类类别对应的目标分类信息的方式可以为：计算机设备获取每一目标策略对应的权重；根据权重，将每一目标策略对应的分类信息进行融合处理，得到分类类别对应的目标分类信息。
其中，权重可以是训练后图像分类模型经过迭代训练学习到的参数。
其中，如图7所示，本申请实施例可以将余弦相似度策略对应的第一损失值的损失权重wr、欧式距离策略对应的第一损失值的损失权重we、可学习相似度策略对应的第一损失值的损失权重wc经过归一化后得到wr对应的权重lr， we对应的权重le，以及wc对应的权重lc。
其中，本申请实施例分类信息可以是包括目标相似度，基于此，本申请实施例根据权重，将每一目标策略对应的分类信息进行融合处理，得到分类类别对应的目标分类信息可以详见公式(4)：
Y＝lrYr'+leYe'+lcYc' 公式(4)
其中，Y表示目标分类信息，Yr'表示余弦相似度策略下待分类图像针对每一分类类别的目标相似度，Ye'表示欧式距离策略下待分类图像针对每一分类类别的目标相似度，Yc'表示可学习相似度策略下待分类分类图像针对每一分类类别的目标相似度。其中，本申请实施例的目标相似度的具体解释可参见前述训练图像分类模型训练过程中对候选相似度的解释，此处不再赘述。
例如，以分类类别包括第一分类类别、第二分类类别和第三分类类别，且以余弦相似度策略为例进行解释，本申请实施例计算得到余弦相似度策略下待分类图像针对每一分类类别的目标相似度，Yr'＝[0.3，0.5，0.7]，0.3表示待分类图像针对第一分类类别的目标相似度，0.5表示待分类图像针对第二分类类别的目标相似度，0.7表示待分类图像针对第三分类类别的目标相似度。
同理，Ye＝[0.3，0.4，0.5]，Yc＝[0.3，0.4，0.5]。比如，将Yr、Ye、Yc进行融合后，得到Y＝[0.8，0.7，0.6]，其中，0.8的数值最大，0.8所对应的第一分类类别即为待分类图像的分类类别。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
本申请实施例可以获取待分类图像和模板图像集合，模板图像集合包括至少一个分类类别对应的模板图像；对待分类图像进行特征提取，得到待分类图像特征信息，以及对模板图像进行特征提取，得到模板图像的模板图像特征信息；根据待分类图像特征信息和模板图像特征信息，采用目标策略对待分类图像进行分类处理，得到待分类图像在每一目标策略下针对每一分类类别的分类信息；根据待分类图像在每一目标策略下针对每一分类类别的分类信息，确定待分类图像的分类类别；由于本申请实施例可以根据分类处理得到的每一目标策略下针对每一分类类别的分类信息，确定出待分类图像的分类类别，如此可以结合不同目标策略对应的分类信息，从而提高对待分类图像分类的准确性。
本申请实施例还可以在每个分类类别对应的模板图像少的情况下，具有对待分类图像较高的分类准确性。
为了更好地实施以上方法，本申请实施例还提供一种图像分类装置，该图像分类装置可以集成在计算机设备，比如服务器或终端等设备中，该终端可以包括平板电脑、笔记本电脑和/或个人计算机等。
例如，如图9所示，该图像分类装置可以包括获取单元301、提取单元302、分类单元303、确定单元304和训练单元305，如下：
(1)获取单元301；
获取单元301，可以用于获取待分类图像和模板图像集合，模板图像集合包括至少一个分类类别对应的模板图像。
(2)提取单元302；
提取单元302，可以用于对待分类图像进行特征提取，得到待分类图像特征信息，以及对模板图像进行特征提取，得到模板图像的模板图像特征信息。
(3)分类单元303；
分类单元303，可以用于根据待分类图像特征信息和模板图像特征信息，采用目标策略对待分类图像进行分类处理，得到待分类图像在每一目标策略下针对每一分类类别的分类信息。
分类单元303，具体可以用于采用目标策略计算待分类图像特征信息和模板图像特征信息之间的相似度，得到每一目标策略下待分类图像和每一分类类别对应的模板图像之间的目标相似度；将目标相似度作为分类信息。
(4)确定单元304；
确定单元304，可以用于根据待分类图像在每一目标策略下针对每一分类类别的分类信息，确定待分类图像的分类类别。
在一些实施例中，确定单元304，具体可以用于针对每一分类类别，将每一目标策略对应的分类信息进行融合处理，得到分类类别对应的目标分类信息；根据分类类别对应的目标分类信息，确定待分类图像的分类类别。
在一些实施例中，确定单元304，具体可以用于获取每一目标策略对应的权重；根据权重，将每一目标策略对应的分类信息进行融合处理，得到分类类别对应的目标分类信息。
(5)训练单元305；
待分类图像特征信息和模板图像特征信息均为采用训练后图像分类模型进行特征提取得到的特征信息；基于此，训练单元305，可以用于获取图像样本集合，图像样本集合包括标注分类类别标签对应的待预测图像样本样本和至少一个分类类别对应的模板图像样本；采用待训练图像分类模型对待预测图像样本进行特征提取，得到待预测图像样本特征信息，以及采用待训练图像分类模型对模板图像样本进行特征提取，得到模板图像样本特征信息；根据待预测图像样本特征信息和模板图像样本特征信息，采用待训练图像分类模型按照目标策略对待预测图像样本进行预测，得到待预测图像样本的分类类别集合，分类类别集合包括每一目标策略对应的目标分类类别；根据每一目标策略对应的目标分类类别和分类类别标签，对待训练图像分类模型进行收敛，得到训练后图像分类模型。
在一些实施例中，训练单元305，具体可以用于采用待训练图像分类模型，按照目标策略计算待预测图像样本特征信息和模板图像样本特征信息之间的相似度，得到每一目标策略下待预测图像样本和模板图像样本之间的候选相似度；根据候选相似度，确定每一目标策略下待预测图像样本的目标分类类别；根据每一目标策略下待预测图像样本的目标分类类别，生成待预测图像样本的分类类别集合。
在一些实施例中，训练单元305，具体可以用于计算每一目标策略对应的目标分类类别和分类类别标签之间的第一损失值；对第一损失值进行融合处理，得到目标损失值；根据目标损失值，对待训练图像分类模型进行收敛，得到训练后图像分类模型。
在一些实施例中，训练单元305，具体可以用于对待预测图像样本进行预处理，得到预处理后图像样本；根据预处理后图像样本，采用待训练图像分类模型的目标分类器对预处理后图像样本进行分类处理，得到预处理后图像样本的候选分类类别；获取预处理后图像样本对应的预处理后图像样本标签，并计算候选分类类别和预处理后图像样本标签之间的第二损失值；根据目标损失值，对待训练图像分类模型进行收敛，得到训练后图像分类模型，包括：根据目标损失值和第二损失值，对待训练图像分类模型进行收敛，得到训练后图像分类模型。
在一些实施例中，预处理后图像样本包括针对待预测图像样本的若干不同旋转角度的预处理后图像样本，目标分类器包括第一目标分类器和第二目标分类器，候选分类类别包括第一候选分类类别和第二候选分类类别；训练单元 305，具体可以用于根据若干不同旋转角度的预处理后图像样本，采用待训练图像分类模型的第一目标分类器进行分类处理，得到目标预处理后图像样本的第一候选分类类别，第一候选分类类别表征目标预处理后图像样本针对待预测图像样本的分类类别，目标预处理后图像样本为预处后图像中与待预测图像样本匹配的图像；根据若干不同旋转角度的预处理后图像样本，采用待训练图像分类模型的第二目标分类器进行分类处理，得到预处理后图像样本的第二候选分类类别，第二候选分类类别表征预处理后图像样本针对旋转角度的分类类别。
在一些实施例中，训练单元305具体可以用于采用待训练图像分类模型的共享神经网络层对预处理后图像样本进行特征提取，得到预处理后图像样本特征信息；根据预处理后图像样本特征信息，采用待训练图像分类模型的目标分类器对预处理后图像样本进行分类处理，得到预处理后图像样本的候选分类类别；采用待训练图像分类模型的共享神经网络层对待预测图像样本进行特征提取，得到待预测图像样本特征信息。
由上可知，本申请实施例的获取单元301可以用于获取待分类图像和模板图像集合，模板图像集合包括至少一个分类类别对应的模板图像；提取单元302 可以用于对待分类图像进行特征提取，得到待分类图像特征信息，以及对模板图像进行特征提取，得到模板图像的模板图像特征信息；分类单元303可以用于根据待分类图像特征信息和模板图像特征信息，采用目标策略对待分类图像进行分类处理，得到待分类图像在每一目标策略下针对每一分类类别的分类信息；确定单元304可以用于根据待分类图像在每一目标策略下针对每一分类类别的分类信息，确定待分类图像的分类类别；由于本申请实施例可以根据分类处理得到的每一目标策略下针对每一分类类别的分类信息，确定出待分类图像的分类类别，如此可以结合不同目标策略对应的分类信息，从而提高对待分类图像分类的准确性。
本申请实施例还提供一种计算机设备，如图10所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图10中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据。可选的，处理器401可包括一个或多个处理核心；优选的，处理器 401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和计算机程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器 402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402 可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402 还可以包括存储器控制器，以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息通讯，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器402中，并由处理器401 来运行存储在存储器402中的计算机程序，从而实现各种功能，如下：
获取待分类图像和模板图像集合，模板图像集合包括至少一个分类类别对应的模板图像；对待分类图像进行特征提取，得到待分类图像特征信息，以及对模板图像进行特征提取，得到模板图像的模板图像特征信息；根据待分类图像特征信息和模板图像特征信息，采用目标策略对待分类图像进行分类处理，得到待分类图像在每一目标策略下针对每一分类类别的分类信息；根据待分类图像在每一目标策略下针对每一分类类别的分类信息，确定待分类图像的分类类别。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种图像分类方法。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像分类方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像分类方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
其中，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例提供的各种可选实现方式中提供的方法。
以上对本申请实施例所提供的一种图像分类方法、装置、计算机设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种图像分类方法，其特征在于，包括：
获取待分类图像和模板图像集合，所述模板图像集合包括至少一个分类类别对应的模板图像；
对所述待分类图像进行特征提取，得到待分类图像特征信息，以及对所述模板图像进行特征提取，得到所述模板图像的模板图像特征信息；
根据所述待分类图像特征信息和所述模板图像特征信息，采用目标策略对所述待分类图像进行分类处理，得到所述待分类图像在每一目标策略下针对每一分类类别的分类信息；
根据所述待分类图像在每一目标策略下针对每一分类类别的分类信息，确定所述待分类图像的分类类别。
2.根据权利要求1所述的图像分类方法，其特征在于，所述待分类图像特征信息和所述模板图像特征信息均为采用训练后图像分类模型进行特征提取得到的特征信息；所述对所述待分类图像进行特征提取，得到待分类图像特征信息，以及对所述模板图像进行特征提取，得到所述模板图像的模板图像特征信息之前，所述方法还包括：
获取图像样本集合，所述图像样本集合包括标注分类类别标签对应的待预测图像样本和至少一个分类类别对应的模板图像样本；
采用待训练图像分类模型对所述待预测图像样本进行特征提取，得到待预测图像样本特征信息，以及采用待训练图像分类模型对所述模板图像样本进行特征提取，得到模板图像样本特征信息；
根据所述待预测图像样本特征信息和所述模板图像样本特征信息，采用所述待训练图像分类模型按照目标策略对所述待预测图像样本进行预测，得到所述待预测图像样本的分类类别集合，所述分类类别集合包括每一目标策略对应的目标分类类别；
根据所述每一目标策略对应的目标分类类别和所述分类类别标签，对所述待训练图像分类模型进行收敛，得到训练后图像分类模型。
3.根据权利要求2所述的图像分类方法，其特征在于，所述根据所述待预测图像样本特征信息和所述模板图像样本特征信息，采用所述待训练图像分类模型按照目标策略对所述待预测图像样本进行预测，得到所述待预测图像样本的分类类别集合，包括：
采用所述待训练图像分类模型，按照目标策略计算所述待预测图像样本特征信息和所述模板图像样本特征信息之间的相似度，得到每一目标策略下所述待预测图像样本和所述模板图像样本之间的候选相似度；
根据候选相似度，确定每一目标策略下所述待预测图像样本的目标分类类别；
根据所述每一目标策略下所述待预测图像样本的目标分类类别，生成所述待预测图像样本的分类类别集合。
4.根据权利要求2所述的图像分类方法，其特征在于，所述根据所述每一目标策略对应的目标分类类别和所述分类类别标签，对所述待训练图像分类模型进行收敛，得到训练后图像分类模型，包括：
计算所述每一目标策略对应的目标分类类别和所述分类类别标签之间的第一损失值；
对所述第一损失值进行融合处理，得到目标损失值；
根据所述目标损失值，对所述待训练图像分类模型进行收敛，得到训练后图像分类模型。
5.根据权利要求4所述的图像分类方法，其特征在于，所述根据所述目标损失值，对所述待训练图像分类模型进行收敛，得到训练后图像分类模型之前，所述方法还包括：
对所述待预测图像样本进行预处理，得到预处理后图像样本；
根据所述预处理后图像样本，采用所述待训练图像分类模型的目标分类器对所述预处理后图像样本进行分类处理，得到所述预处理后图像样本的候选分类类别；
获取所述预处理后图像样本对应的预处理后图像样本标签，并计算所述候选分类类别和所述预处理后图像样本标签之间的第二损失值；
所述根据所述目标损失值，对所述待训练图像分类模型进行收敛，得到训练后图像分类模型，包括：根据所述目标损失值和所述第二损失值，对所述待训练图像分类模型进行收敛，得到训练后图像分类模型。
6.根据权利要求5所述的图像分类方法，其特征在于，所述预处理后图像样本包括针对所述待预测图像样本的若干不同旋转角度的预处理后图像样本，所述目标分类器包括第一目标分类器和第二目标分类器，所述候选分类类别包括第一候选分类类别和第二候选分类类别；所述根据所述预处理后图像样本，采用所述待训练图像分类模型的目标分类器对所述预处理后图像样本进行分类处理，得到所述预处理后图像样本的候选分类类别，包括：
根据所述若干不同旋转角度的预处理后图像样本，采用待训练图像分类模型的第一目标分类器进行分类处理，得到目标预处理后图像样本的第一候选分类类别，所述第一候选分类类别表征目标预处理后图像样本针对所述待预测图像样本的分类类别，所述目标预处理后图像样本为所述预处后图像中与待预测图像样本匹配的图像；
根据所述若干不同旋转角度的预处理后图像样本，采用待训练图像分类模型的第二目标分类器进行分类处理，得到所述预处理后图像样本的第二候选分类类别，所述第二候选分类类别表征所述预处理后图像样本针对旋转角度的分类类别。
7.根据权利要求5所述的图像分类方法，其特征在于，所述根据所述预处理后图像样本，采用所述待训练图像分类模型的目标分类器对所述预处理后图像样本进行分类处理，得到所述预处理后图像样本的候选分类类别，包括：
采用所述待训练图像分类模型的共享神经网络层对所述预处理后图像样本进行特征提取，得到预处理后图像样本特征信息；
根据所述预处理后图像样本特征信息，采用所述待训练图像分类模型的目标分类器对所述预处理后图像样本进行分类处理，得到所述预处理后图像样本的候选分类类别；
所述采用待训练图像分类模型对所述待预测图像样本进行特征提取，得到待预测图像样本特征信息，包括：采用待训练图像分类模型的所述共享神经网络层对所述待预测图像样本进行特征提取，得到待预测图像样本特征信息。
8.根据权利要求1所述的图像分类方法，其特征在于，所述根据所述待分类图像在每一目标策略下针对每一分类类别的分类信息，确定所述待分类图像的分类类别，包括：
针对每一分类类别，将每一目标策略对应的分类信息进行融合处理，得到所述分类类别对应的目标分类信息；
根据所述分类类别对应的目标分类信息，确定所述待分类图像的分类类别。
9.根据权利要求8所述的图像分类方法，其特征在于，所述针对每一分类类别，将每一目标策略对应的分类信息进行融合处理，得到所述分类类别对应的目标分类信息，包括：
获取每一目标策略对应的权重；
根据所述权重，将每一目标策略对应的分类信息进行融合处理，得到所述分类类别对应的目标分类信息。
10.根据权利要求1所述的图像分类方法，其特征在于，所述根据所述待分类图像特征信息和所述模板图像特征信息，采用目标策略对所述待分类图像进行分类处理，得到所述待分类图像在每一目标策略下针对每一分类类别的分类信息，包括：
采用目标策略计算所述待分类图像特征信息和所述模板图像特征信息之间的相似度，得到每一目标策略下所述待分类图像和每一分类类别对应的所述模板图像之间的目标相似度；
将所述目标相似度作为所述分类信息。
11.一种图像分类装置，其特征在于，包括：
获取单元，用于获取待分类图像和模板图像集合，所述模板图像集合包括至少一个分类类别对应的模板图像；
提取单元，用于对所述待分类图像进行特征提取，得到待分类图像特征信息，以及对所述模板图像进行特征提取，得到所述模板图像的模板图像特征信息；
分类单元，用于根据所述待分类图像特征信息和所述模板图像特征信息，采用目标策略对所述待分类图像进行分类处理，得到所述待分类图像在每一目标策略下针对每一分类类别的分类信息；
确定单元，用于根据所述待分类图像在每一目标策略下针对每一分类类别的分类信息，确定所述待分类图像的分类类别。
12.一种计算机设备，其特征在于，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至10任一项所述的图像分类方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行权利要求1至10任一项所述的图像分类方法。
CN202210189732.4A 2022-02-28 2022-02-28 图像分类方法、装置、计算机设备及计算机可读存储介质 Pending CN114581702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210189732.4A CN114581702A (zh) 2022-02-28 2022-02-28 图像分类方法、装置、计算机设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210189732.4A CN114581702A (zh) 2022-02-28 2022-02-28 图像分类方法、装置、计算机设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114581702A true CN114581702A (zh) 2022-06-03

Family

ID=81777440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210189732.4A Pending CN114581702A (zh) 2022-02-28 2022-02-28 图像分类方法、装置、计算机设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114581702A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294396A (zh) * 2022-08-12 2022-11-04 北京百度网讯科技有限公司 骨干网络的训练方法以及图像分类方法
CN117456316A (zh) * 2023-12-26 2024-01-26 苏州镁伽科技有限公司 图像去重处理方法、装置、存储介质和电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294396A (zh) * 2022-08-12 2022-11-04 北京百度网讯科技有限公司 骨干网络的训练方法以及图像分类方法
CN115294396B (zh) * 2022-08-12 2024-04-23 北京百度网讯科技有限公司 骨干网络的训练方法以及图像分类方法
CN117456316A (zh) * 2023-12-26 2024-01-26 苏州镁伽科技有限公司 图像去重处理方法、装置、存储介质和电子设备
CN117456316B (zh) * 2023-12-26 2024-03-19 苏州镁伽科技有限公司 图像去重处理方法、装置、存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN112131978B (zh) 一种视频分类方法、装置、电子设备和存储介质
CN112734775B (zh) 图像标注、图像语义分割、模型训练方法及装置
CN111667022A (zh) 用户数据处理方法、装置、计算机设备和存储介质
CN110580500A (zh) 一种面向人物交互的网络权重生成少样本图像分类方法
CN113011889B (zh) 账号异常识别方法、系统、装置、设备及介质
CN114581702A (zh) 图像分类方法、装置、计算机设备及计算机可读存储介质
KR20190029083A (ko) 신경망 학습 방법 및 이를 적용한 장치
CN111340226B (zh) 一种量化神经网络模型的训练及测试方法、装置及设备
CN113052150B (zh) 活体检测方法、装置、电子设备和计算机可读存储介质
CN111831826A (zh) 跨领域的文本分类模型的训练方法、分类方法以及装置
CN111368926A (zh) 图像筛选方法、装置和计算机可读存储介质
CN111046655B (zh) 一种数据处理方法、装置及计算机可读存储介质
CN113515669A (zh) 基于人工智能的数据处理方法和相关设备
CN112206541A (zh) 游戏外挂识别方法、装置、存储介质及计算机设备
CN117726884B (zh) 对象类别识别模型的训练方法、对象类别识别方法及装置
CN113128526B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
CN116662817A (zh) 物联网设备的资产识别方法及系统
CN114372532A (zh) 标签标注质量的确定方法、装置、设备、介质及产品
CN108596068B (zh) 一种动作识别的方法和装置
CN113362852A (zh) 一种用户属性识别方法和装置
CN112818114A (zh) 信息的分类方法、检测方法、计算设备及存储介质
CN115713669A (zh) 一种基于类间关系的图像分类方法、装置、存储介质及终端
CN113076963B (zh) 一种图像识别方法、装置和计算机可读存储介质
De Bortoli et al. A fast face recognition CNN obtained by distillation
CN117115469B (zh) 图像特征提取网络的训练方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination