CN116503670A - 图像分类及模型训练方法、装置和设备、存储介质 - Google Patents

图像分类及模型训练方法、装置和设备、存储介质 Download PDF

Info

Publication number
CN116503670A
CN116503670A CN202310702689.1A CN202310702689A CN116503670A CN 116503670 A CN116503670 A CN 116503670A CN 202310702689 A CN202310702689 A CN 202310702689A CN 116503670 A CN116503670 A CN 116503670A
Authority
CN
China
Prior art keywords
image
feature
support
updated
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310702689.1A
Other languages
English (en)
Inventor
林少波
曾星宇
赵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shangtang Artificial Intelligence Research Center Shenzhen Co ltd
Original Assignee
Shangtang Artificial Intelligence Research Center Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shangtang Artificial Intelligence Research Center Shenzhen Co ltd filed Critical Shangtang Artificial Intelligence Research Center Shenzhen Co ltd
Priority to CN202310702689.1A priority Critical patent/CN116503670A/zh
Publication of CN116503670A publication Critical patent/CN116503670A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种图像分类和模型训练方法、装置和设备、存储介质，其中，所述图像分类方法包括：获取待分类的第一图像；对设定的支持图像集和所述第一图像分别进行特征提取，得到支持特征集和第一图像特征；其中，所述支持图像集包括多个分类类别分别对应的至少一张支持图像，所述支持特征集中包括每一所述分类类别分别对应的支持特征；基于每一所述支持特征和所述第一图像特征之间的相似度，对每一所述支持特征和所述第一图像特征进行更新，得到更新后的每一所述支持特征和更新后的所述第一图像特征；基于更新后的每一所述支持特征和更新后的所述第一图像特征之间的相似度，对所述第一图像进行分类，得到所述第一图像的分类类别。

Description

图像分类及模型训练方法、装置和设备、存储介质
技术领域
本申请涉及但不限于计算机的深度学习技术领域，尤其涉及一种图像分类和模型训练方法、装置和设备、存储介质。
背景技术
少样本学习旨在发展深度学习模型在少量样本场景下的学习能力，少样本图像分类是少样本学习的一个基础任务，目的是基于少量标注图像，得到图像的分类类别。但是，相关技术中，少样本图像分类的分类准确度不高。
发明内容
有鉴于此，本申请实施例至少提供一种图像分类方法和模型训练方法、装置和设备、存储介质及程序产品。
本申请实施例的技术方案是这样实现的：
一方面，本申请实施例提供一种图像分类方法，所述方法包括：
获取待分类的第一图像；
对设定的支持图像集和所述第一图像分别进行特征提取，得到支持特征集和第一图像特征；其中，所述支持图像集包括多个分类类别分别对应的至少一张支持图像，所述支持特征集中包括每一所述分类类别分别对应的支持特征；
基于每一所述支持特征和所述第一图像特征之间的相似度，对每一所述支持特征和所述第一图像特征进行更新，得到更新后的每一所述支持特征和更新后的所述第一图像特征；
基于更新后的每一所述支持特征和更新后的所述第一图像特征之间的相似度，对所述第一图像进行分类，得到所述第一图像的分类类别。
另一方面，本申请实施例提供一种模型训练方法，所述方法包括：
获取具有类别标签的第二图像；
利用所述第一特征提取网络，对设定的支持图像集进行特征提取，得到支持特征集；其中，所述支持图像集包括多个分类类别分别对应的至少一张支持图像，所述支持特征集中包括每一所述分类类别分别对应的支持特征；
利用所述第二特征提取网络，对所述第二图像进行特征提取，得到所述第二图像对应的第二图像特征；
基于每一所述支持特征和所述第二图像特征之间的相似度，对每一所述支持特征和所述第二图像特征进行更新，得到更新后的每一所述支持特征和更新后的所述第二图像特征；
基于更新后的每一所述支持特征、更新后的所述第二图像特征、以及所述类别标签，确定损失值；
基于所述损失值，对所述模型进行至少一次更新，得到训练后的所述模型。
再一方面，本申请实施例提供一种图像分类装置，所述装置包括：
获取模块，用于获取待分类的第一图像；
第一提取模块，用于对设定的支持图像集和所述第一图像分别进行特征提取，得到支持特征集和第一图像特征；其中，所述支持图像集包括多个分类类别分别对应的至少一张支持图像，所述支持特征集中包括每一所述分类类别分别对应的支持特征；
第一更新模块，用于基于每一所述支持特征和所述第一图像特征之间的相似度，对每一所述支持特征和所述第一图像特征进行更新，得到更新后的每一所述支持特征和更新后的所述第一图像特征；
第一分类模块，用于基于更新后的每一所述支持特征和更新后的所述第一图像特征之间的相似度，对所述第一图像进行分类，得到所述第一图像的分类类别。
又一方面，本申请实施例提供一种模型训练装置，所述装置包括：
第二获取模块，用于获取具有类别标签的第二图像；
第二提取模块，用于利用第一特征提取网络，对设定的支持图像集进行特征提取，得到支持特征集；其中，所述支持图像集包括多个分类类别分别对应的至少一张支持图像，所述支持特征集中包括每一所述分类类别分别对应的支持特征；
第三提取模块，用于利用第二特征提取网络，对所述第二图像进行特征提取，得到所述第二图像对应的第二图像特征；
第二更新模块，用于基于每一所述支持特征和所述第二图像特征之间的相似度，对每一所述支持特征和所述第二图像特征进行更新，得到更新后的每一所述支持特征和更新后的所述第二图像特征；
确定模块，用于基于更新后的每一所述支持特征、更新后的所述第二图像特征、以及所述类别标签，确定损失值；
第三更新模块，用于基于所述损失值，对所述模型进行至少一次更新，得到训练后的所述模型。
又一方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
又一方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。
又一方面，本申请实施例提供一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算机设备中运行时，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
又一方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。
本申请实施例中，通过获取待分类的第一图像；对设定的支持图像集和第一图像分别进行特征提取，得到支持特征集和第一图像特征；基于支持特征集中的每一支持特征和第一图像特征之间的相似度，对每一支持特征和第一图像特征进行更新，得到更新后的每一支持特征和更新后的第一图像特征；基于更新后的每一支持特征和更新后的第一图像特征之间的相似度，对第一图像进行分类，得到第一图像的分类类别。这样，通过基于每一支持特征和第一图像特征之间的相似度对每一支持特征和第一图像特征进行更新，可以强化各支持特征与第一图像特征之间的关联关系，加深对支持图像和第一图像的理解，从而基于更新后的支持特征和更新后的第一图像特征之间的相似度，对所述第一图像进行分类，可以提升第一图像的分类准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种图像分类方法的实现流程示意图；
图2为本申请实施例提供的一种图像分类方法的实现流程示意图；
图3为本申请实施例提供的一种模型训练方法的实现流程示意图；
图4A为本申请实施例提供的一种图像分类方法的实现流程示意图；
图4B为本申请实施例提供的一种图像分类系统的组成结构示意图；
图5A为本申请实施例提供的一种图像分类装置的组成结构示意图；
图5B为本申请实施例提供的一种模型训练装置的组成结构示意图；
图6为本申请实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本申请的技术方案进一步详细阐述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的，不是旨在限制本申请。
相关技术中，少样本图像分类的目的是基于少量标注图像，得到输入图像的分类类别，但是相关技术中少样本图像分类时对少样本数据之间的相关度挖掘不够，从而在少样本学习过程中对少样本数据的理解也不深入，因此少样本图像分类效果差强人意。
本申请实施例提供一种图像分类方法，该方法可以由计算机设备的处理器执行。其中，计算机设备指的可以是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、机顶盒、移动设备(例如移动电话、便携式视频播放器、个人数字助理、专用消息设备、便携式游戏设备)等具备数据处理能力的设备。图1为本申请实施例提供的一种图像分类方法的实现流程示意图，如图1所示，该方法包括如下步骤S101至步骤S104：
步骤S101，获取待分类的第一图像。
这里，待分类的第一图像可以是所要进行分类的任意合适的图像，可以包括但不限于人物图像、动物图像、车辆图像、特定的物品图像等中的至少一种。
在一些实施方式中，本领域技术人员可以根据实际应用场景获取合适的第一图像，本申请实施例并不限定。例如，可以从摄像头拍摄的图像、视频或者图像帧序列中的图像帧、医学影像、采用计算机技术生成的图像等中的至少一种中获取第一图像。
步骤S102，对设定的支持图像集和所述第一图像分别进行特征提取，得到支持特征集和第一图像特征；其中，所述支持图像集包括多个分类类别分别对应的至少一张支持图像，所述支持特征集中包括每一所述分类类别分别对应的支持特征。
这里，设定的支持图像集可以对应多个类别标签类别，每一分类类别可以对应至少一张属于该分类类别的支持图像。例如，支持图像集对应的多个类别标签类别包括金毛犬、萨摩耶犬、小鹿犬，支持图像集中可以包括至少一张分类类别为金毛犬的支持图像、至少一张分类类别为萨摩耶犬的支持图像、以及至少一种分类类别为小鹿犬的支持图像。这里，支持图像集中不同分类类别分别对应的支持图像可以作为分类参照标准，用于指导第一图像进行分类。
在一些实施方式中，可以利用深度神经网络或其他机器学习方法对设定的支持图像集和第一图像分别进行特征提取，得到支持特征集和第一图像特征。例如，可以通过卷积神经网络(Convolutional Neural Networks,CNN)对设定的支持图像集和第一图像分别进行特征提取，得到支持特征集和第一图像特征。
在一些实施方式中，支持特征和第一图像特征具有多种表示形式，本领域技术人员可以采用任意合适的特征表示方法对支持特征和第一图像特征进行特征表示，本申请实施例对此并不限定。例如，可以用支持向量对支持特征进行表示、用查询向量对第一图像特征进行特征表示。
步骤S103，基于每一所述支持特征和所述第一图像特征之间的相似度，对每一所述支持特征和所述第一图像特征进行更新，得到更新后的每一所述支持特征和更新后的所述第一图像特征。
这里，相似度是对支持图像和第一图像之间相似程度的一种度量。支持图像和第一图像越相似，支持图像特征和第一图像特征之间的相似度也就越大，而支持图像和第一图像越不相似，支持图像特征和第一图像特征之间的相似度也就越小。例如：若第一图像为金毛犬图像，则支持图像集中的分类类别为金毛犬的支持图像和第一图像更相似，分类类别为金毛犬的支持图像特征和金毛犬的第一图像特征之间的相似度也更大。在一些实施方式中，每一支持特征和第一图像特征之间的相似度计算方法可以包括但不限于余弦相似度、欧式距离、皮尔逊相关系数、基于注意力机制的得分、K近邻算法等中的至少之一。
步骤S104，基于更新后的每一所述支持特征和更新后的所述第一图像特征之间的相似度，对所述第一图像进行分类，得到所述第一图像的分类类别。
在实施时，本领域技术人员可以根据实际情况，采用任意合适的方式基于更新后的每一支持特征和更新后的第一图像特征之间的相似度，对第一图像进行分类，这里并不限定。
在一些实施方式中，可以对更新后的每一支持特征根据相似度大小排序，确定与更新后的第一图像特征相似度最高的第二目标支持特征；将该第二目标支持特征对应的分类类别，确定为第一图像的分类类别。
在一些实施方式中，可以设定一个相似度阈值，从与更新后的第一图像特征相似度之间的相似度大于该相似度阈值的至少一个支持特征中，选取一个第三目标支持特征，将该第三目标支持特征对应的分类类别，确定为第一图像的分类类别。
本申请实施例中，通过支持特征和第一图像特征之间的相似度对支持特征和第一图像特征进行更新后，再基于更新后的支持特征和更新后的第一图像特征之间的相似度，对第一图像进行分类。这样，可以强化各支持特征与第一图像特征之间的关联关系，加深对支持图像和第一图像的理解，进而可以提升第一图像的分类准确度。
在一些实施例中，上述步骤S102中所述的对设定的支持图像集和所述第一图像分别进行特征提取，得到支持特征集和第一图像特征，可以包括步骤S111至步骤S112：
步骤S111，针对每一所述分类类别，利用第一特征提取网络，对所述支持图像集中对应于所述分类类别的至少一张支持图像进行特征提取，得到所述分类类别对应的支持特征。
这里，该第一特征提取网络是已经训练好的特征提取网络，第一特征提取网络用来提取图像的特征。特征提取网络是目标分类任务的基本特征提取器，特征提取网络的主要任务是将图像作为输入并输出相应输入图像的特征图。
在一些实施方式中，在分类类别对应一张支持图像的情况下，可以将从该支持图像中提取的图像特征，作为该分类类别对应的支持特征。
在一些实施方式中，当某一分类类别对应多张支持图像的情况下，可以对多张支持图像先融合后再进行特征提取得到该分类类别对应的支持特征；在一些实施方式中，当某一分类类别对应多张支持图像的情况下，也可以分别提取每一支持图像的特征，然后将各个特征融合后得到该分类类别对应的支持特征。
步骤S112，利用第二特征提取网络，对所述第一图像进行特征提取，得到所述第一图像特征。
在一些实施方式中，该第二特征提取网络与第一特征提取网络为相同的特征提取网络，且二者共享权重。
在实施时，支持图像集和第一图像分别经过对应的特征提取网络之后，会各自得到支持特征集和第一图像特征。
本申请实施例中，针对每一分类类别，利用第一特征提取网络，对支持图像集中对应于分类类别的至少一张支持图像进行特征提取，得到分类类别对应的支持特征；利用第二特征提取网络，对第一图像进行特征提取，得到第一图像特征。这样，利用两个特征提取网络分别获取支持特征和第一图像特征，有利于分别学习支持特征和第一图像特征，从而可以加深分类过程中对支持图像和第一图像的理解，进而可以提高图像分类的准确度。
在一些实施例中，上述步骤S104中所述的基于更新后的每一所述支持特征和更新后的所述第一图像特征之间的相似度，对所述第一图像进行分类，得到所述第一图像的分类类别，可以包括步骤S121至步骤S122：
步骤S121，从更新后的每一所述支持特征中，确定与更新后的所述第一图像特征相似度最高的第二目标支持特征。
步骤S122，将所述第二目标支持特征对应的分类类别，确定为所述第一图像的分类类别。
这里，支持特征对应设置有的类别标签，类别标签用于确定支持特征对应的分类类别。在一些实施方式中，可以根据与第一图像特征相似度最高的更新后的支持特征的类别标签，得到第一图像的分类类别。
上述实施例中，通过选择与第一图像特征相似度最高的更新后的支持特征的分类类别，可以得到第一图像最有可能的分类类别，进而可以提高图像分类的准确度。
本申请实施例提供一种图像分类方法，该方法可以由计算机设备的处理器执行。如图2所示，该方法包括如下步骤S201至步骤S205：
步骤S201，获取待分类的第一图像。
步骤S202，对设定的支持图像集和所述第一图像分别进行特征提取，得到支持特征集和第一图像特征；其中，所述支持图像集包括多个分类类别分别对应的至少一张支持图像，所述支持特征集中包括每一所述分类类别分别对应的支持特征。
这里，步骤S201和步骤S202在实施时可以参照前述步骤S101和步骤S102的具体实施方式。
步骤S203，基于至少一个所述支持特征和所述第一图像特征之间的相似度，对所述第一图像特征进行更新，得到更新后的所述第一图像特征。
步骤S204，针对每一所述支持特征，基于所述支持特征和更新前的所述第一图像特征之间的相似度，对所述支持特征进行更新，得到更新后的所述支持特征。
步骤S205，基于更新后的每一所述支持特征和更新后的所述第一图像特征之间的相似度，对所述第一图像进行分类，得到所述第一图像的分类类别。
这里，步骤S205在实施时可以参照前述步骤S105的具体实施方式。
本申请实施例中，基于至少一个支持特征和第一图像特征之间的相似度，对第一图像特征进行更新，得到更新后的第一图像特征；针对每一支持特征，基于支持特征和更新前的第一图像特征之间的相似度，对支持特征进行更新，得到更新后的支持特征。这样，可以强化各支持特征与第一图像特征之间的关联关系，加深对支持图像和第一图像的理解，从而可以提高图像分类的准确度。
在一些实施例中，上述步骤S203中所述的基于至少一个所述支持特征和所述第一图像特征之间的相似度，对所述第一图像特征进行更新，得到更新后的所述第一图像特征，可以包括步骤S211至步骤S213：
步骤S211，基于每一所述支持特征和所述第一图像特征之间的相似度，从所述支持特征集中确定至少一个第一目标支持特征。
在一些实施方式中，本领域技术人员可以根据实际应用场景来基于相似度确定至少一个第一目标支持特征，本申请实施例并不限定。例如，可以取与第一图像特征相似度最大的至少一个第一目标支持特征，也可以是取相似度大于预设阈值的至少一个第一目标支持特征。
步骤S212，基于每一所述第一目标支持特征与所述第一图像特征之间的相似度，对每一所述第一目标支持特征进行加权求和，得到第一更新特征。
这里，对于每一第一目标支持特征，可以将该第一目标支持特征与第一图像特征之间的相似度，作为该第一目标支持特征的权重，从而基于每一第一目标支持特征的权重，对各第一目标支持特征进行加权求和，得到第一更新特征。可以理解的是，与第一图像特征之间的相似度越大的第一目标支持特征，在计算第一更新特征的过程中权重越大，与第一图像特征之间的相似度越小的第一目标支持特征，在计算第一更新特征的过程中权重越小。
在一些实施方式中，可以获取第一目标支持特征和第一图像特征之间的相似度；对于第一图像特征，将每一第一目标支持特征按照与第一图像特征的相似度大小进行排序；设置阈值M，选取相似度排序前M的M个第一目标支持特征，对该M个第一目标支持特征进行加权求和，得到第一更新特征。其中，M为正整数。
在实施时，可以获取与第一图像特征之间的相似度最大的M个第一目标支持特征L1、L2、......LM；该M个第一目标支持特征L1、L2、......LM与第一图像特征之间的相似度分别为B1、B2、.......BM；对该M个第一目标支持特征进行加权求和，可以得到第一更新特征Vn。例如，可以采用如下公式1所示的方式得到第一更新特征Vn：
Vn＝B1*L1+B2*L2+……+BM*LM (1)。
步骤S213，基于所述第一更新特征，对所述第一图像特征进行更新，得到更新后的所述第一图像特征。
在实施时，可以采用任意合适的方式，基于第一更新特征Vn，对第一图像特征Vc进行更新，得到更新后的第一图像特征Vcnew，本申请实施例对此并不限定。例如，可以采用如下公式2所示的方式得到更新后的第一图像特征Vcnew：
Vcnew＝Vc+Vn＝Vc+B1*L1+B2*L2+……+BM*LM (2)。
上述实施例中，基于每一支持特征和第一图像特征之间的相似度，从支持特征集中确定至少一个第一目标支持特征；基于每一第一目标支持特征与第一图像特征之间的相似度，对每一第一目标支持特征进行加权求和，得到第一更新特征；基于第一更新特征，对第一图像特征进行更新，得到更新后的第一图像特征。这样，在计算第一更新特征的过程中，与第一图像特征之间的相似度越大的第一目标支持特征权重越大，与第一图像特征之间的相似度越小的第一目标支持特征权重越小，从而在基于第一更新特征，对第一图像特征进行更新的过程中，与第一图像特征之间的相似度越大的第一目标支持特征的影响越大，与第一图像特征之间的相似度越小的第一目标支持特征的影响越小。如此，可以增强与更新前的第一图像特征之间的相似度较大的第一目标支持特征同更新后的第一图像特征之间的关联度、并减弱与更新前的第一图像特征之间的相似度较小的第一目标支持特征同更新后的第一图像特征之间的关联度，也即可以强化各支持特征与第一图像特征之间的关联关系，从而可以加深分类过程中对第一图像的理解，进而可以提高图像分类的准确度。
在一些实施例中，所述第一图像的数量为多张；上述步骤S204中所述的基于所述支持特征和更新前的所述第一图像特征之间的相似度，对所述支持特征进行更新，得到更新后的所述支持特征，可以包括步骤S221至步骤S223：
步骤S221，基于每一所述第一图像对应的第一图像特征与所述支持特征之间的相似度，确定至少一个目标图像特征。
在一些实施方式中，本领域技术人员可以根据实际应用场景来根据相似度确定至少一个第一目标图像特征，本申请实施例并不限定。例如，可以取与支持特征相似度最大的至少一个第一目标图像特征，也可以是取相似度大于预设阈值的至少一个第一目标图像特征。
步骤S222，基于每一所述目标图像特征与所述支持特征之间的相似度，对每一所述目标图像特征进行加权求和，得到第二更新特征。
这里，对于每一目标图像特征，可以将该目标图像特征与支持特征之间的相似度，作为该目标图像特征的权重，从而基于目标图像特征的权重，对各目标图像特征进行加权求和，得到第二更新特征。可以理解的是，与支持特征之间的相似度越大的目标图像特征，在计算第二更新特征的过程中权重越大，与支持特征之间的相似度越小的目标图像支持特征，在计算第二更新特征的过程中权重越小。
在一些实施方式中，可以获取每一目标图像特征和支持特征之间的相似度；对于支持特征，将每一目标图像特征按照与支持特征的相似度大小进行排序；设置阈值K，选取相似度排序前K的K个目标图像特征，对该K个目标图像特征进行加权求和，得到第二更新特征。其中，K为正整数。
在实施时，可以获取与支持特征之间的相似度最大的K个目标图像特征T1、T2、......TK；该K个目标图像特征T1、T2、......TK与支持特征之间的相似度分别为A1、A2、......AK；对该K个目标图像特征进行加权求和，可以得到第二更新特征Qn。例如，可以采用如下公式3所示的方式得到第二更新特征Qn：
Qn＝A1*T1+A2*T2+……+AK*TK (3)。
步骤S223，基于所述第二更新特征，对所述支持特征进行更新，得到更新后的所述支持特征。
在实施时，可以采用任意合适的方式，基于第二更新特征Qn，对支持特征Qc进行更新，得到更新后的支持特征Qcnew，本申请实施例对此并不限定。例如，可以采用如下公式4所示的方式得到更新后的支持特征Qcnew：
Qcnew＝Qc+Qn＝Qc+A1*T1+A2*T2+……+AK*TK (4)。
上述实施例中，基于每一第一图像对应的第一图像特征与支持特征之间的相似度，确定至少一个目标图像特征；基于每一目标图像特征与支持特征之间的相似度，对每一目标图像特征进行加权求和，得到第二更新特征。这样，在计算第二更新特征的过程中，与支持特征之间的相似度越大的目标图像特征权重越大，与支持特征之间的相似度越小的目标图像特征权重越小，从而在基于第二更新特征，对支持特征进行更新的过程中，与支持特征之间的相似度越大的目标图像特征的影响越大，与支持特征之间的相似度越小的目标图像特征的影响越小。如此，可以增强与更新前的目标特征之间的相似度较大的目标图像特征同更新后的支持特征之间的关联度、并减弱与更新前的支持特征之间的相似度较小的目标图像特征同更新后的支持特征之间的关联度，也即可以强化各支持特征与第一图像特征之间的关联关系，从而可以加深分类过程中对支持图像的理解也会更加深入，进而可以提高图像分类的准确度。
本申请实施例提供一种模型训练方法，所述模型包括第一特征提取网络和第二特征提取网络，该方法可以由计算机设备的处理器执行。如图3所示，该方法包括如下步骤S301至步骤S306：
步骤S301，获取具有类别标签的第二图像。
这里，具有类别标签的第二图像可以是从设定的样本图像库中读取的，也可以是从互联网下载的，还可以是通过人工或计算机设备对至少一个第二图像类别进行标注后得到的。类别标签包括多种类别标签。在实施时，本领域技术人员可以根据实际情况，采用合适的方式获取样本图像集，本申请实施例对此并不限定。
在一些实施方式中，每一第二图像对应的类别标签可以是人工标注的，也可以是计算机设备自动标注的。类别标签包括表征对象类别的标签。例如，一张金毛犬对应的第二图像，该第二图像类别标签为金毛犬。
步骤S302，利用所述第一特征提取网络，对设定的支持图像集进行特征提取，得到支持特征集；其中，所述支持图像集包括多个分类类别分别对应的至少一张支持图像，所述支持特征集中包括每一所述分类类别分别对应的支持特征。
在一些实施方式中，在分类类别对应一张支持图像的情况下，可以将从该支持图像中提取的图像特征，作为该分类类别对应的支持特征，例如：支持图像集中，当金毛犬这一分类类别只有一张对应的金毛犬图像，就将这一张金毛犬图像提取的图像特征作为金毛犬这一分类类别对应的支持特征。
在一些实施方式中，当某一分类类别对应多张支持图像的情况下，可以对多张支持图像先融合后再进行特征提取得到该分类类别对应的支持特征；在一些实施方式中，当某一分类类别对应多张支持图像的情况下，也可以分别提取每一支持图像的特征，然后将各个特征融合后得到该分类类别对应的支持特征。例如：支持图像集中，当金毛犬这一分类类别有多张对应的金毛犬图像，就将多张金毛犬图像先融合成一张金毛犬图像，再对这一张金毛犬图像进行特征提取得到该分类类别对应的支持特征；也可以分别提取多张金毛犬图像的图像特征，然后将多个特征融合得到金毛犬这一分类类别对应的支持特征。
在实施时，由模型训练方法的执行主体将支持图像集输入第一特征提取网络中进行特征提取。其中，该第一特征提取网络可以是未经过训练样本训练的原始模型，也可以是先进行过预训练的模型；该支持图像集包含多种图像类别的样本图像，每张样本图像均标注有所属的图像类别，标注可以以附加在该张样本图像上的标签或其它形式表现；这里，支持图像集输入到第一特征提取网络中的基础特征提取模块，以得到该基础特征提取模块为每个支持图像输出的初始特征向量，汇总得到初始特征向量集，该基础特征提取模块是用于从图像中提取图像特征的功能模块，其中通常包含有卷积层、池化层、上采样层、下采样层等中的至少之一，其所进行的特征提取操作的结果除可以表现为向量形式，还可以表现为矩阵或特征图的方式，此处仅以特征向量作为示例，在实践中也可以换用其它表现形式，且不影响通过后续步骤得到最终的结果。另外，由上述执行主体将基础特征提取模块输出的初始特征向量集输入该初始特征提取模型的归一化处理模块(即该归一化处理模块的输入端连接于基础特征处理模块的输出端)，以通过该归一化处理模块对初始特征向量集中的各初始特征向量进行归一化处理，从而得到该归一化处理模块输出的各归一化特征向量。其中，进行归一化处理旨在消除来源不同的样本图像在经过基础特征提取模块的特征提取操作之后的表现差异，以将初始特征向量集中各初始特征向量修正在较小的表现范围，从而便于后续处理。
步骤S303，利用所述第二特征提取网络，对所述第二图像进行特征提取，得到所述第二图像对应的第二图像特征。
这里，步骤S303在实施时可以参照前述步骤S112的具体实施方式。
在一些实施方式中，第二特征提取网络与第一特征提取网络可以共享权重，这样可以减少特征提取网络计算量，也便于后续进行特征比对，还能使得模型泛化。
步骤S304，基于每一所述支持特征和所述第二图像特征之间的相似度，对每一所述支持特征和所述第二图像特征进行更新，得到更新后的每一所述支持特征和更新后的所述第二图像特征。
这里，步骤S304对应于前述实施例中的步骤S103，在实施时可以参照前述步骤S103的具体实施方式。
步骤S305，基于更新后的每一所述支持特征、更新后的所述第二图像特征、以及所述类别标签，确定损失值。
这里，可以采用任意合适的损失函数确定损失值，本申请实施例对此并不限定。采用的损失函数可以包括但不限于绝对值损失函数、对数损失函数、平方损失函数、指数损失函数、交叉熵损失函数、距离损失函数等中的至少之一。
步骤S306，基于所述损失值，对所述模型进行至少一次更新，得到训练后的所述模型。
这里，可以在损失值不满足预设条件的情况下，采用任意合适的参数更新方式对第一特征提取网络和第二特征提取网络的网络参数进行更新，得到更新后的第一特征提取网络和第二特征提取网络；在损失值满足预设条件或对第一特征提取网络和第二特征提取网络的网络参数进行更新的次数达到设定的次数阈值的情况下，将当前的第一特征提取网络模型和第二特征提取网络模型确定为已训练的第一特征提取网络模型和第二特征提取网络模型。
在一些实施方式中，可以基于所述损失值，对所述第一特征提取网络的网络参数、所述第二特征提取网络的网络参数进行至少一次更新，得到训练后的所述模型。
在实施时，预设条件可以包括但不限于损失值小于设定的损失值阈值、损失值的变化收敛等中的至少之一；损失值阈值和次数阈值可以是本领域技术人员根据实际情况预先设定的，这里并不限定；参数更新方式也可以是根据实际情况确定的，可以包括但不限于梯度下降法、牛顿动量法等中的至少一种，这里并不限定。
本申请实施例中，待训练的模型包括第一特征提取网络和第二特征提取网络，通过获取具有类别标签的第二图像；利用第一特征提取网络，对设定的支持图像集进行特征提取，得到支持特征集；其中，支持图像集包括多个分类类别分别对应的至少一张支持图像，支持特征集中包括每一分类类别分别对应的支持特征；利用第二特征提取网络，对第二图像进行特征提取，得到第二图像对应的第二图像特征；基于每一支持特征和第二图像特征之间的相似度，对每一支持特征和第二图像特征进行更新，得到更新后的每一支持特征和更新后的第二图像特征；基于更新后的每一支持特征、更新后的第二图像特征、以及类别标签，确定损失值；基于损失值，对第一特征提取网络的网络参数和第二特征提取网络的网络参数进行至少一次更新，得到训练后的模型。这样，在对第一特征提取网络和第二特征提取网络进行训练的过程中，一方面，通过基于每一支持特征和第二图像特征之间的相似度对每一支持特征和第二图像特征进行更新，可以强化各支持特征与第二图像特征之间的关联关系，加深对支持图像和第二图像的理解，从而基于更新后的支持特征和更新后的第二图像特征之间的相似度，对第二图像进行分类，可以提升第二图像的分类准确度；另一方面，由于对第一特征提取网络的网络参数和第二特征提取网络的网络参数进行更新所基于的损失值，是基于更新后的支持特征、更新后的第二图像特征以及第二图像的类别标签确定的，可以提高训练后的第一特征提取网络对支持特征进行表征的能力、以及第二特征提取网络对图像特征进行表征的能力，从而可以提升训练后的模型对图像进行分类的准确度。
在一些实施例中，上述步骤S305中所述的基于更新后的每一所述支持特征、更新后的所述第二图像特征、以及所述类别标签，确定损失值，可以包括步骤S311至步骤S312：
步骤S311，基于更新后的每一所述支持特征和更新后的所述第二图像特征之间的相似度，对所述第二图像进行分类，得到所述第二图像的分类类别。
在一些实施方式中，获取和更新后的第二图像特征相似度最大的更新后的支持特征对应的类别标签，利用类别标签确定第二图像的分类类别。
在一些实施方式中，可以基于更新后的第二图像特征和更新后的支持特征，利用分类器确定第二图像的分类类别。
步骤S312，基于所述第二图像的分类类别和所述类别标签，确定损失值。
在实施时，基于预测的第二图像的分类类别，将该预测的分类类别与第二图像的类别标签进行对比，以计算损失值，本领域技术人员可以根据实际情况采用任意合适的损失函数确定该损失值，这里并不限定。
在一些实施方式中，将第二图像作为特征提取网络的输入，并构建全连接层以输出预测的第二图像的分类类别，基于该分类类别与第二图像的类别标签构建交叉熵损失并进行分类训练，其中，交叉熵作为损失函数，进行反向传播算法的特征提取网络的参数更新。
在一些实施方式中，可以基于损失值，对第一特征提取网络的网络参数、第二特征提取网络的网络参数和分类器的参数进行至少一次更新，得到训练后的模型。
在上述实施例中，基于更新后的每一支持特征和更新后的第二图像特征之间的相似度，对第二图像进行分类，得到第二图像的分类类别；基于第二图像的分类类别和第二图像的类别标签，确定损失值。这样，在对模型进行训练的过程中，基于该损失值对第一特征提取网络的网络参数和第二特征提取网络的网络参数进行更新，可以提升第一特征提取网络对支持特征进行表征的能力、以及第二特征提取网络对图像特征进行表征的能力，使得预测的分类类别与第二图像的类别标签趋近一致，从而能够提升训练后的模型进行图像分类的准确度。
在一些实施例中，上述步骤S305中所述基于更新后的每一所述支持特征、更新后的所述第二图像特征、以及所述类别标签，确定损失值，可以包括步骤S321至步骤S322：
步骤S321，确定对应的分类类别与所述类别标签相同的第一支持特征、以及对应的分类类别与所述类别标签不同的第二支持特征。
在一些实施方式中，当类别标签为小鹿犬时，确定对应的分类类别为小鹿犬的支持特征作为第一支持特征，确定对应的分类类别不为小鹿犬的支持特征作为第二支持特征。
步骤S322，基于更新后的所述第一支持特征与更新后的所述第二图像特征之间的第一距离、以及更新后的所述第二支持特征与更新后的所述第二图像特征之间的第二距离，确定损失值；其中，所述损失值与所述第一距离成正比、且与所述第二距离成反比。
这里，第一支持特征和第二图像特征具有多种表示形式，本领域技术人员可以采用任意合适的特征表示方法对第一支持特征和第二图像特征进行特征表示，本申请实施例对此并不限定。例如，可以用向量、矩阵或特征图等中的至少一种对第一支持特征和第二图像特征进行表示。
在一些实施方式中，第一支持特征可以包括第一支持向量，第二支持特征可以包括第二支持向量，第二图像特征可以包括查询向量，可以基于更新后的第一支持向量与更新后的查询向量，确定第一距离；同样的，可以基于更新后的第二支持向量与更新后的查询向量，确定第二距离。这里，第一距离和第二距离的计算方法包括但不限于欧氏距离、余弦相似度、标准化欧氏距离等中的至少一种。
在一些实施方式中，获取更新后的每一支持向量(包括第一支持向量和第二支持向量)和更新后的第二图像特征对应的查询向量后，可以直接计算更新后的支持向量和更新后的查询向量之间的损失值；基于损失值，后续对第一特征提取网络的网络参数和第二特征提取网络的网络参数进行至少一次更新，以调整更新后的各支持向量和更新后的查询向量之间的距离，对于对应的分类类别和第二图像的分类标签相同的第一支持向量，查询向量和该第一支持向量之间的距离更近，对于对应的分类类别和第二图像的分类标签不相同的第二支持向量，查询向量和该第二支持向量之间的距离更远。例如，在第二图像的数量为至少一个的情况下，可以采用如下公式5所示的方式得到损失值L：
其中，Nc表示各第二图像对应的全部分类类别的数量，NQ表示每个分类类别包含的第二图像的数目，x表示第二图像，表示骨干网络以及后续的查询向量更新，ck表示和第二图像类别一致的支持向量，ck’表示和第二图像类别不一致的支持向量，d表示余弦相似度计算公式，这里的骨干网络包括第二特征提取网络。
在上述实施例中，确定对应的分类类别与类别标签相同的第一支持特征、以及对应的分类类别与类别标签不同的第二支持特征；基于第一支持特征与更新后的第二图像特征之间的第一距离、以及第二支持特征与更新后的第二图像特征之间的第二距离，确定损失值，这样，可以根据对应的分类类别的不同结果，对每一支持特征与第二图像特征之间的距离进行调整更新，从而使得训练后的特征提取网络能够具有较高的模型精度，进而提高目标模型对于输出的图像识别结果的准确度。
下面说明本申请实施例提供的图像分类方法在实际场景中的应用，以少样本图像分类的场景为例进行说明。
相关技术中，少样本分类技术包括一种基于元学习的算法框架，该框架通过两个分支，分别接收支持图像和查询图像(对应于前述实施例中的第一图像或第二图像)，然后通过两者的特征相似度来得到最终的分类结果，支持图像作为少样本数据的代表，其目的是能够作为每个类别的中心表示，查询图像来源于每次迭代的采样，也同样是从少样本数据中获取。然而这样初始的框架，缺乏支持特征和查询特征的交互，因此效果上还差强人意。不过当前有部分少样本分类方法，尝试去对支持特征和查询特征进行交互，从而来优化支持特征，然而，各支持特征与查询特征之间的关联关系并不紧密。
本申请实施例提供一种图像分类模型的训练方法，该方法可以应用于计算机设备中。如图4A所示，该方法包括如下步骤S401至步骤S405：
步骤S401，获取输入图像数据，输入图像数据分为支持图像和查询图像集两类，支持图像集和查询图像集分别输入权重共享的第一特征提取网络和第二特征提取网络，确定对应的支持向量和查询向量；其中，每一个支持向量对应于支持图像集中每一类支持图像，每一个查询向量对应于查询图像集中每一张查询图像。
这里，支持图像集包括多个分类类别分别对应的至少一张支持图像，支持向量为表示每个分类类别的中心向量，查询图像集也是少样本数据，来源于每次迭代的采样。
步骤S402，基于所述支持向量和查询向量，确定每一所述支持向量和所述查询向量之间的相似度。
在实施时，计算每一支持向量和查询向量之间的相似度会得到一个矩阵，每个位置标示(x，y)的相似性，x就是一个支持向量，y是一个查询向量。
步骤S403，基于每一所述支持向量和所述查询向量之间的相似度，对每一所述支持向量和所述查询向量进行更新，得到更新后的每一所述支持向量和更新后的查询向量。
这里，假设类别c的支持向量为Qc。存在32个查询向量。首先设置一个阈值K，表示选择查询向量的个数，比如K＝10就表示按照相似度从大到小排序，选择前10个相似度最高的查询向量用于后续进行支持向量更新，假设选择的查询向量分别为T1，T2...到T10，Qc和这10个向量的相似度为A1到A10。例如，可以采用如下公式6所示的方式得到新的支持向量Qcnew：
Qcnew＝Qc+Qn＝Qc+A1*T1+A2*T2+……+A10*T10 (6)。
同理，假设类别c的查询向量为Vc，存在10个支持向量，支持向量数量等于支持图像集中的分类类别数。我们首先设置一个阈值M，M表示选择支持向量的个数，比如M＝3就表示我们按照相似度从大到小排序，选择前3个相似度最高的支持向量用于我们后续进行查询向量更新，假设选择的支持向量分别为L1，L2，L3。Vc和这3个向量的相似度为B1到B3。例如，可以采用如下公式7所示的方式得到新的查询向量Vcnew：
Vcnew＝Vc+Vn＝Vc+B1*L1+B2*L2+B3*L3 (7)。
步骤S404，基于更新后的每一所述支持向量和更新后的所述查询向量之间的相似度，对所述查询图像进行分类，得到所述查询图像的分类类别。
这里，在得到更新后的每一支持向量和更新后的查询向量后，通过计算所述更新后的每一支持向量和所述更新后的查询向量之间的相似度，来确定查询图像的分类类别。
步骤S405，基于更新后的每一所述支持向量和更新后的所述查询向量，确定损失值；基于所述损失值，对所述模型进行至少一次更新，得到训练后的所述模型。
这里，损失值可以是预测的查询图像的分类类别和查询图像的类别标签之间的损失值，也可以是更新后的每一支持向量和更新后的查询向量之间的损失值。
图4B为本申请实施例提供的一种图像分类系统的组成结构示意图，如图4B所示，该图像分类系统包括第一特征提取网络410、第二特征提取网络420、特征更新网络430、分类模块440，其中，第一特征提取网络410，用于根据支持图像I确定对应的支持向量a；第二特征提取网络420，用于根据查询图像H确定对应的查询向量b；特征更新网络430，用于基于每一支持向量a和查询向量b之间的相似度，对每一支持向量a和查询向量b进行更新，得到更新后的每一支持向量a和更新后的查询向量b；分类模块440，用于基于更新后的每一支持向量a和更新后的查询向量b之间的相似度，对查询图像进行分类，得到查询图像的分类类别。
需要说明的是，在实施时，本申请实施例可以运用于集成有少样本分类算法的智能相机、服务器、笔记本电脑、平板电脑、台式计算机、智能电视、机顶盒、移动电话、可穿戴设备、便携式游戏设备等计算机设备中。
本申请实施例中，基于每一支持向量和查询向量之间的相似度，对每一支持向量和查询向量进行更新，得到更新后的每一支持向量和更新后的查询向量，基于更新后的每一支持向量和更新后的查询向量之间的相似度，对查询图像进行分类，得到查询图像的分类类别，可以强化各支持向量与查询向量之间的关联关系，特别是在少样本图像识别的场景下，可以有效提升图像分类的准确度。
基于前述的实施例，本申请实施例提供一种图像分类装置，该装置包括所包括的各单元、以及各单元所包括的各模块，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(Central ProcessingUnit，CPU)、微处理器(Microprocessor Unit，MPU)、数字信号处理器(Digital SignalProcessor，DSP)或现场可编程门阵列(Field Programmable Gate Array，FPGA)等。
图5A为本申请实施例提供的一种图像分类装置的组成结构示意图，如图5A所示，图像分类装置510包括：获取模块511、第一确定模块512、第一更新模块513和分类模块514，其中：
获取模块511，用于获取待分类的第一图像；
第一提取模块512，用于对设定的支持图像集和所述第一图像分别进行特征提取，得到支持特征集和第一图像特征；其中，所述支持图像集包括多个分类类别分别对应的至少一张支持图像，所述支持特征集中包括每一所述分类类别分别对应的支持特征；
第一更新模块513，用于基于每一所述支持特征和所述第一图像特征之间的相似度，对每一所述支持特征和所述第一图像特征进行更新，得到更新后的每一所述支持特征和更新后的所述第一图像特征；
第一分类模块514，用于基于更新后的每一所述支持特征和更新后的所述第一图像特征之间的相似度，对所述第一图像进行分类，得到所述第一图像的分类类别。
在一些实施例中，所述第一提取模块还用于：针对每一所述分类类别，利用第一特征提取网络，对所述支持图像集中对应于所述分类类别的至少一张支持图像进行特征提取，得到所述分类类别对应的支持特征；利用第二特征提取网络，对所述第一图像进行特征提取，得到所述第一图像特征。
在一些实施例中，所述第一更新模块还用于：基于至少一个所述支持特征和所述第一图像特征之间的相似度，对所述第一图像特征进行更新，得到更新后的所述第一图像特征；针对每一所述支持特征，基于所述支持特征和更新前的所述第一图像特征之间的相似度，对所述支持特征进行更新，得到更新后的所述支持特征。
在一些实施例中，所述第一更新模块还用于：基于每一所述支持特征和所述第一图像特征之间的相似度，从所述支持特征集中确定至少一个第一目标支持特征；基于每一所述第一目标支持特征与所述第一图像特征之间的相似度，对每一所述第一目标支持特征进行加权求和，得到第一更新特征；基于所述第一更新特征，对所述第一图像特征进行更新，得到更新后的所述第一图像特征。
在一些实施例中，所述第一图像的数量为多张；所述第一更新模块还用于：所述基于所述支持特征和更新前的所述第一图像特征之间的相似度，对所述支持特征进行更新，得到更新后的所述支持特征，包括：基于每一所述第一图像对应的第一图像特征与所述支持特征之间的相似度，确定至少一个目标图像特征；基于每一所述目标图像特征与所述支持特征之间的相似度，对每一所述目标图像特征进行加权求和，得到第二更新特征；基于所述第二更新特征，对所述支持特征进行更新，得到更新后的所述支持特征。
在一些实施例中，所述分类模块还用于：基于更新后的所述第一图像特征，确定与所述第一图像特征相似度最高的更新后的所述支持特征的分类类别；基于与所述第一图像特征相似度最高的更新后的所述支持特征的分类类别，得到所述第一图像的分类类别。
基于前述的实施例，本申请实施例提供一种模型训练装置，该装置包括所包括的各单元、以及各单元所包括的各模块，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为CPU、MPU、DSP或FPGA等。
图5B为本申请实施例提供的一种模型训练装置的组成结构示意图，如图5B所示，模型训练装置520包括：第二获取模块521、第二提取模块522、第三提取模块523、第二更新模块524、确定模块525和第三更新模块526，其中：
第二获取模块521，用于获取具有类别标签的第二图像；
第二提取模块522，用于利用第一特征提取网络，对设定的支持图像集进行特征提取，得到支持特征集；其中，所述支持图像集包括多个分类类别分别对应的至少一张支持图像，所述支持特征集中包括每一所述分类类别分别对应的支持特征；
第三提取模块523，用于利用第二特征提取网络，对所述第二图像进行特征提取，得到所述第二图像对应的第二图像特征；
第二更新模块524，用于基于每一所述支持特征和所述第二图像特征之间的相似度，对每一所述支持特征和所述第二图像特征进行更新，得到更新后的每一所述支持特征和更新后的所述第二图像特征；
确定模块525，用于基于更新后的每一所述支持特征、更新后的所述第二图像特征、以及所述类别标签，确定损失值；
第三更新模块526，用于基于所述损失值，对所述第一特征提取网络的网络参数和所述第二特征提取网络的网络参数进行至少一次更新，得到训练后的所述模型。
在一些实施例中，所述确定模块还用于：基于更新后的每一所述支持特征和更新后的所述第二图像特征之间的相似度，对所述第二图像进行分类，得到所述第二图像的分类类别；基于所述第二图像的分类类别和所述类别标签，确定损失值。
在一些实施例中，所述确定模块还用于：确定对应的分类类别与所述类别标签相同的第一支持特征、以及对应的分类类别与所述类别标签不同的第二支持特征；基于更新后的所述第一支持特征与更新后的所述第二图像特征之间的第一距离、以及更新后的所述第二支持特征与更新后的所述第二图像特征之间的第二距离，确定损失值；其中，所述损失值与所述第一距离成正比、且与所述第二距离成反比。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法，对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式、处理的个人信息种类等信息。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的行为识别方法或模型训练方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件、软件或固件，或者硬件、软件、固件三者之间的任意结合。
本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。
本申请实施例提供一种计算机程序，包括计算机可读代码，在所述计算机可读代码在计算机设备中运行的情况下，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一些实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
这里需要指出的是：上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，图6为本申请实施例中计算机设备的一种硬件实体示意图，如图6所示，该计算机设备600的硬件实体包括：处理器601、通信接口602和存储器603，其中：处理器601通常控制计算机设备600的总体操作。通信接口602可以使计算机设备通过网络与其他终端或服务器通信。存储器603配置为存储由处理器601可执行的指令和应用，还可以缓存待处理器601以及计算机设备600中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(RandomAccess Memory，RAM)实现。处理器601、通信接口602和存储器603之间可以通过总线604进行数据传输。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各步骤/过程的序号的大小并不意味着执行顺序的先后，各步骤/过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (13)

1.一种图像分类方法，其特征在于，所述方法包括：
获取待分类的第一图像；
对设定的支持图像集和所述第一图像分别进行特征提取，得到支持特征集和第一图像特征；其中，所述支持图像集包括多个分类类别分别对应的至少一张支持图像，所述支持特征集中包括每一所述分类类别分别对应的支持特征；
基于每一所述支持特征和所述第一图像特征之间的相似度，对每一所述支持特征和所述第一图像特征进行更新，得到更新后的每一所述支持特征和更新后的所述第一图像特征；
基于更新后的每一所述支持特征和更新后的所述第一图像特征之间的相似度，对所述第一图像进行分类，得到所述第一图像的分类类别。
2.根据权利要求1所述的方法，其特征在于，所述对设定的支持图像集和所述第一图像分别进行特征提取，得到支持特征集和第一图像特征，包括：
针对每一所述分类类别，利用第一特征提取网络，对所述支持图像集中对应于所述分类类别的至少一张支持图像进行特征提取，得到所述分类类别对应的支持特征；
利用第二特征提取网络，对所述第一图像进行特征提取，得到所述第一图像特征。
3.根据权利要求1或2所述的方法，其特征在于，所述基于每一所述支持特征和所述第一图像特征之间的相似度，对每一所述支持特征和所述第一图像特征进行更新，得到更新后的每一所述支持特征和更新后的所述第一图像特征，包括：
基于至少一个所述支持特征和所述第一图像特征之间的相似度，对所述第一图像特征进行更新，得到更新后的所述第一图像特征；
针对每一所述支持特征，基于所述支持特征和更新前的所述第一图像特征之间的相似度，对所述支持特征进行更新，得到更新后的所述支持特征。
4.根据权利要求3所述的方法，其特征在于，所述基于至少一个所述支持特征和所述第一图像特征之间的相似度，对所述第一图像特征进行更新，得到更新后的所述第一图像特征，包括：
基于每一所述支持特征和所述第一图像特征之间的相似度，从所述支持特征集中确定至少一个第一目标支持特征；
基于每一所述第一目标支持特征与所述第一图像特征之间的相似度，对每一所述第一目标支持特征进行加权求和，得到第一更新特征；
基于所述第一更新特征，对所述第一图像特征进行更新，得到更新后的所述第一图像特征。
5.根据权利要求3或4所述的方法，其特征在于，所述第一图像的数量为多张；
所述基于所述支持特征和更新前的所述第一图像特征之间的相似度，对所述支持特征进行更新，得到更新后的所述支持特征，包括：
基于每一所述第一图像对应的第一图像特征与所述支持特征之间的相似度，确定至少一个目标图像特征；
基于每一所述目标图像特征与所述支持特征之间的相似度，对每一所述目标图像特征进行加权求和，得到第二更新特征；
基于所述第二更新特征，对所述支持特征进行更新，得到更新后的所述支持特征。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述基于更新后的每一所述支持特征和更新后的所述第一图像特征之间的相似度，对所述第一图像进行分类，得到所述第一图像的分类类别，包括：
从更新后的每一所述支持特征中，确定与更新后的所述第一图像特征相似度最高的第二目标支持特征；
将所述第二目标支持特征对应的分类类别，确定为所述第一图像的分类类别。
7.一种模型训练方法，其特征在于，所述模型包括第一特征提取网络和第二特征提取网络，所述方法包括：
获取具有类别标签的第二图像；
利用所述第一特征提取网络，对设定的支持图像集进行特征提取，得到支持特征集；其中，所述支持图像集包括多个分类类别分别对应的至少一张支持图像，所述支持特征集中包括每一所述分类类别分别对应的支持特征；
利用所述第二特征提取网络，对所述第二图像进行特征提取，得到所述第二图像对应的第二图像特征；
基于每一所述支持特征和所述第二图像特征之间的相似度，对每一所述支持特征和所述第二图像特征进行更新，得到更新后的每一所述支持特征和更新后的所述第二图像特征；
基于更新后的每一所述支持特征、更新后的所述第二图像特征、以及所述类别标签，确定损失值；
基于所述损失值，对所述模型进行至少一次更新，得到训练后的所述模型。
8.根据权利要求7所述的方法，其特征在于，所述基于更新后的每一所述支持特征、更新后的所述第二图像特征、以及所述类别标签，确定损失值，包括：
基于更新后的每一所述支持特征和更新后的所述第二图像特征之间的相似度，对所述第二图像进行分类，得到所述第二图像的分类类别；
基于所述第二图像的分类类别和所述类别标签，确定损失值。
9.根据权利要求7所述的方法，其特征在于，所述基于更新后的每一所述支持特征、更新后的所述第二图像特征、以及所述类别标签，确定损失值，包括：
确定对应的分类类别与所述类别标签相同的第一支持特征、以及对应的分类类别与所述类别标签不同的第二支持特征；
基于更新后的所述第一支持特征与更新后的所述第二图像特征之间的第一距离、以及更新后的所述第二支持特征与更新后的所述第二图像特征之间的第二距离，确定损失值；其中，所述损失值与所述第一距离成正比、且与所述第二距离成反比。
10.一种图像分类装置，其特征在于，包括：
获取模块，用于获取待分类的第一图像；
第一提取模块，用于对设定的支持图像集和所述第一图像分别进行特征提取，得到支持特征集和第一图像特征；其中，所述支持图像集包括多个分类类别分别对应的至少一张支持图像，所述支持特征集中包括每一所述分类类别分别对应的支持特征；
第一更新模块，用于基于每一所述支持特征和所述第一图像特征之间的相似度，对每一所述支持特征和所述第一图像特征进行更新，得到更新后的每一所述支持特征和更新后的所述第一图像特征；
第一分类模块，用于基于更新后的每一所述支持特征和更新后的所述第一图像特征之间的相似度，对所述第一图像进行分类，得到所述第一图像的分类类别。
11.一种模型训练装置，其特征在于，包括：
第二获取模块，用于获取具有类别标签的第二图像；
第二提取模块，用于利用第一特征提取网络，对设定的支持图像集进行特征提取，得到支持特征集；其中，所述支持图像集包括多个分类类别分别对应的至少一张支持图像，所述支持特征集中包括每一所述分类类别分别对应的支持特征；
第三提取模块，用于利用第二特征提取网络，对所述第二图像进行特征提取，得到所述第二图像对应的第二图像特征；
第二更新模块，用于基于每一所述支持特征和所述第二图像特征之间的相似度，对每一所述支持特征和所述第二图像特征进行更新，得到更新后的每一所述支持特征和更新后的所述第二图像特征；
确定模块，用于基于更新后的每一所述支持特征、更新后的所述第二图像特征、以及所述类别标签，确定损失值；
第三更新模块，用于基于所述损失值，对所述模型进行至少一次更新，得到训练后的所述模型。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至9任一项所述方法中的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9任一项所述方法中的步骤。
CN202310702689.1A 2023-06-13 2023-06-13 图像分类及模型训练方法、装置和设备、存储介质 Pending CN116503670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310702689.1A CN116503670A (zh) 2023-06-13 2023-06-13 图像分类及模型训练方法、装置和设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310702689.1A CN116503670A (zh) 2023-06-13 2023-06-13 图像分类及模型训练方法、装置和设备、存储介质

Publications (1)

Publication Number Publication Date
CN116503670A true CN116503670A (zh) 2023-07-28

Family

ID=87318584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310702689.1A Pending CN116503670A (zh) 2023-06-13 2023-06-13 图像分类及模型训练方法、装置和设备、存储介质

Country Status (1)

Country Link
CN (1) CN116503670A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863278A (zh) * 2023-08-25 2023-10-10 摩尔线程智能科技(北京)有限责任公司 模型训练方法、图像分类方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863278A (zh) * 2023-08-25 2023-10-10 摩尔线程智能科技(北京)有限责任公司 模型训练方法、图像分类方法、装置、设备及存储介质
CN116863278B (zh) * 2023-08-25 2024-01-26 摩尔线程智能科技(北京)有限责任公司 模型训练方法、图像分类方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110070067B (zh) 视频分类方法及其模型的训练方法、装置和电子设备
CN111523621B (zh) 图像识别方法、装置、计算机设备和存储介质
CN111209970B (zh) 视频分类方法、装置、存储介质及服务器
CN111814810A (zh) 图像识别方法、装置、电子设备及存储介质
CN116226785A (zh) 目标对象识别方法、多模态识别模型的训练方法和装置
CN111694954B (zh) 图像分类方法、装置和电子设备
CN113536003A (zh) 特征提取模型训练方法、图像检索方法、装置和设备
CN111340213B (zh) 神经网络的训练方法、电子设备、存储介质
CN116503670A (zh) 图像分类及模型训练方法、装置和设备、存储介质
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN112819011A (zh) 对象间关系的识别方法、装置和电子系统
CN116994021A (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN113435531B (zh) 零样本图像分类方法、系统、电子设备及存储介质
CN114359592A (zh) 模型训练及图像处理方法、装置、设备、存储介质
CN114299304A (zh) 一种图像处理方法及相关设备
CN113902944A (zh) 模型的训练及场景识别方法、装置、设备及介质
CN113011532A (zh) 分类模型训练方法、装置、计算设备及存储介质
CN114155388B (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN115546554A (zh) 敏感图像的识别方法、装置、设备和计算机可读存储介质
CN114565797A (zh) 一种用于分类的神经网络的训练、图像分类方法以及装置
CN116824233A (zh) 图像分类及模型训练方法、装置和设备、存储介质
CN112183283A (zh) 一种基于图像的年龄估计方法、装置、设备及存储介质
CN114550022A (zh) 模型训练方法及装置、电子设备和可读存储介质
CN115527070B (zh) 基于交通场景的目标检测方法、装置、设备及存储介质
CN116863278B (zh) 模型训练方法、图像分类方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination