CN111242162A - 图像分类模型的训练方法、装置、介质以及电子设备 - Google Patents

图像分类模型的训练方法、装置、介质以及电子设备 Download PDF

Info

Publication number
CN111242162A
CN111242162A CN201911378328.6A CN201911378328A CN111242162A CN 111242162 A CN111242162 A CN 111242162A CN 201911378328 A CN201911378328 A CN 201911378328A CN 111242162 A CN111242162 A CN 111242162A
Authority
CN
China
Prior art keywords
image
features
feature
categories
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911378328.6A
Other languages
English (en)
Other versions
CN111242162B (zh
Inventor
陈梦婷
罗恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Robotics Technology Research and Development Co Ltd
Original Assignee
Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Robotics Technology Research and Development Co Ltd filed Critical Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority to CN201911378328.6A priority Critical patent/CN111242162B/zh
Publication of CN111242162A publication Critical patent/CN111242162A/zh
Application granted granted Critical
Publication of CN111242162B publication Critical patent/CN111242162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种图像分类模型的训练方法、装置、介质以及设备，其中的方法包括：利用图像分类模型中的图像特征提取器对N个类别的支持图像样本分别进行图像特征提取处理；获取多个参考图像样本对中的各参考图像样本对的差异化特征，其中任一参考图像样本对中的两个参考图像样本的类别相同；根据N个类别各自对应的第一图像特征及多个差异化特征形成N个类别的生成特征；根据N个类别各自对应的第一图像特征及N个类别的生成特征设置图像分类模型中的元分类器的参数。本公开有利于使较少数量的支持图像样本呈现出图像样本多样性，从而有利于提高图像分类模型的训练效果，有利于提高图像分类模型的鲁棒性，进而有利于提高图像分类模型的分类处理准确性。

Description

图像分类模型的训练方法、装置、介质以及电子设备
技术领域
本公开涉及计算机视觉技术，尤其是涉及一种图像分类模型的训练方法、图 像分类模型的训练装置、存储介质以及电子设备。
背景技术
在一些计算机视觉应用中，需要使用图像分类模型对图像进行分类处理。在 对图像分类模型进行训练的过程中，往往需要使用大量的包含有多个类别的目标 对象的图像样本，且各类别的图像样本的数量通常应较为均衡。然而，在实际应 用中，由于一些场景下的图像样本的采集较为困难等因素，有时会存在部分类别 或者所有类别的图像样本的数量较少的现象。图像样本的数量较少会影响图像分 类模型的训练效果，从而会影响图像分类模型分类的准确性。
另外，对数量众多的图像样本分别进行标注，并利用标注后的图像样本对图 像分类模型进行训练，往往需要耗费大量的人力成本、时间成本以及计算资源。
如何在图像样本的数量较少的情况下，使图像分类模型获得较好的训练效 果，从而提高图像分类模型的分类处理准确性，是一个值得关注的技术问题。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种图像分 类模型的训练方法、装置、存储介质以及电子设备。
根据本公开实施例的一方面，提供了一种图像分类模型的训练方法，该方法 包括：利用图像分类模型中的图像特征提取器，对N个类别的支持图像样本分别 进行图像特征提取处理，获得N个类别各自对应的第一图像特征；其中，所述N 为大于1的整数；获取多个参考图像样本对中的每一个参考图像样本对的差异化 特征，获得多个差异化特征，其中，任一参考图像样本对中的两个参考图像样本 的类别相同；根据所述N个类别各自对应的第一图像特征以及所述多个差异化特 征，形成所述N个类别的生成特征；根据所述N个类别各自对应的第一图像特 征以及所述N个类别的生成特征，设置所述图像分类模型中的元分类器的参数。
根据本公开实施例的再一方面，提供一种图像分类模型的训练装置，该装置 包括：特征提取模块，用于利用图像分类模型中的图像特征提取器，对N个类别 的支持图像样本分别进行图像特征提取处理，获得N个类别各自对应的第一图像 特征；其中，所述N为大于1的整数；获取差异化特征模块，用于获取多个参考 图像样本对中的每一个参考图像样本对的差异化特征，获得多个差异化特征，其 中，任一参考图像样本对中的两个参考图像样本的类别相同；形成生成特征模块， 用于根据所述特征提取模块获得的N个类别各自对应的第一图像特征以及所述 获取差异化特征模块获得的多个差异化特征，形成所述N个类别的生成特征；设 置元分类器参数模块，用于根据所述特征提取模块获得的N个类别各自对应的第 一图像特征以及所述形成生成特征模块行车的N个类别的生成特征，设置所述图像分类模型中的元分类器的参数。
根据本公开实施例的再一方面，提供了一种计算机可读存储介质，所述存储 介质存储有计算机程序，所述计算机程序用于实现上述方法。
根据本公开实施例的又一方面，提供了一种电子设备，该电子设备包括：处 理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储 器中读取所述可执行指令，并执行所述指令以实现上述方法。
基于本公开上述实施例提供的一种图像分类模型的训练方法和装置，通过获 取各参考图像样本对的差异化特征，有利于从参考图像样本的图像特征中剥离出 与参考图像样本所属类别无关的特征，且从所有参考图像样本对中获得的差异化 特征通常会呈现出多样性，这样，通过利用多个差异化特征与支持图像样本的图 像特征分别形成生成特征，有利于使生成特征呈现多样化，而呈现多样化的生成 特征其实相当于多样化的支持图像样本的图像特征，从而相当于使较少数量的支 持图像样本呈现出多样化；通过利用生成特征和支持图像样本的第一图像特征设 置元分类器的参数，有利于避免相应类别的支持图像样本的数量较少且不具备多 样性这一特点，对元分类器的参数设置的影响；由于本公开中的差异化特征是通 过对真实的参考图像样本的图像特征进行挖掘获得的，因此，利用差异化特征和 支持图像样本的第一图像特征形成的生成特征，有利于使生成特征符合相应类别 的支持图像样本的真实特征分布。由此可知，本公开提供的技术方案有利于使较少数量的支持图像样本呈现出图像样本多样性，从而有利于提高图像分类模型的 训练效果，有利于提高图像分类模型的鲁棒性，进而有利于提高图像分类模型的 分类处理准确性。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目 的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理 解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成 对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开所适用的场景示意图；
图2为本公开的图像分类模型的训练方法一个实施例的流程图；
图3为本公开的获得各参考图像样本对的差异化特征一个实施例的流程图；
图4为本公开的获得生成特征的一个实施例的流程图；
图5为本公开的设置图像分类模型中的元分类器的参数一实施例的流程图；
图6为本公开的图像特征提取器和特征生成器的训练过程一实施例的流程图；
图7为本公开的图像特征提取器和神经网络的训练过程的另一个实施例的流 程图；
图8为本公开的图像分类模型的训练方法一个实施例的示意图；
图9为本公开的生成特征的过程一个实施例的示意图；
图10为本公开的图像分类模型的训练装置一个实施例的结构示意图；
图11是本申请一示例性实施例提供的电子设备的结构图。
具体实施方式
下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施 例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开 不受这里描述的示例实施例的限制。应注意到：除非另外具体说明，否则在这些 实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范 围。本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用 于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之 间的必然逻辑顺序。还应理解，在本公开实施例中，“多个”可以指两个或两个 以上，“至少一个”可以指一个、两个或两个以上。还应理解，对于本公开实施 例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可 以存在三种关系，如A和/或B，可以表示：单独存在A，同时存在A和B，单 独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种 “或”的关系。还应理解，本公开对各个实施例的描述着重强调各个实施例之间 的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按 照实际的比例关系绘制的。以下对至少一个示例性实施例的描述实际上仅仅是说 明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但 在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一 项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备，其 可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计 算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环 境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户 机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电 子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统 的分布式云计算技术环境等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算 机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包 括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或 者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实 施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执 行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计 算系统存储介质上。
本公开概述
在实现本公开的过程中，发明人发现，为了避免用于训练图像分类模型的部 分类别或者所有类别的图像样本数量较少对图像分类模型训练效果的影响，相关 技术利用已有的图像样本生成新的图像样本。例如，通过利用噪声生成新的图像 样本。再例如，通过利用人为制定的规则生成新的图像样本。然而，利用这些方 式生成的新的图像样本不但很难呈现出图像样本的多样性，而且，还往往会存在 新的图像样本的特征分布不符合真实样本的特征分布的问题。利用这些方式生成 的新的图像样本对图像分类模型进行训练，通常会降低图像分类模型的训练效 果，进而降低图像分类模型的分类处理准确性。
示例性概述
利用本公开提供的图像分类模型的训练技术训练获得的图像分类模型可以 适用于包含多分类任务的应用场景中，例如，训练获得的图像分类模型可以适用 于智能驾驶、避障导航、智能机械手臂、视频监控以及目标对象跟踪等多种应用 场景中。本公开训练图像分类模型的一个例子如图1所示。
图1中，假定当前对图像分类模型100的训练目标为：在少样本的情况下， 使图像分类模型100能够实现多分类任务。本公开中的多分类任务可以称为N分 类任务。其中的N为大于1的整数。
假定本公开的训练集合101中的所有图像样本的类别多于N种，例如，共有 n种类别的图像样本，其中的n可以为远大于大于N的整数。例如，在N为5 的情况下，n可以100。上述n种类别可以表示为：类别X1、类别X2、……、 类别XN、类别XN+1、类别XN+2、……以及类别Xn。
本公开在每次训练迭代过程中，都会从训练集合101中选取N种类别的图像 样本(如随机选取N种类别的图像样本)，并将其作为支持图像样本，并从训练 集合101选取多种类别的参考图像样本，每两个相同类别的参考图样本形成一个 参考图样本对，本公开可以从参考图像样本对中挖掘出与参考图像样本对的具体 类别相分离的特征。本公开可以将挖掘出的特征分别与N个支持图像样本的特征 相结合，并利用相结合形成的特征来设置图像分类模型100的参数(如图像分类 模型100中的元分类器的特征向量矩阵)。另外，本公开还可以在每次训练迭代 过程中，从训练集合101中选取多种类别的图像样本，并将其作为查询样本，并 利用查询样本设置图像分类模型100的参数(如设置图像分类模型100中的图像 特征提取器的参数和元分类器的温度参数)以及特征生成器的参数。
由于在每次迭代训练过程中，从训练集合101中选取的支持图像样本的类别 通常并不相同，如在一次迭代训练过程从n种类别中随机选取N种类别，往往会 与其他迭代训练过程中采用随机选取方式选取出的N种类别不相同，因此，本公 开对图像分类模型100的训练过程相当于基于少样本的训练过程。
在对图像分类模型100成功训练后，可以利用该图像分类模型100实现多分 类任务，且多分类任务的类别并不限于训练时的N，例如，可以实现N-1或N-2 分类任务，也可以实现N+1或N+2分类任务等。通常情况下，成功训练后的图 像分类模型100实现的多分类任务的类别最好不超过训练时的N。
一个例子，如果用户希望利用该图像分类模型100对类别Xn+1、类别Xn+2、…… 以及类别Xn+N的图像进行图像分类处理，则可以将一个类别Xn+1的图像样本、一 个类别Xn+2的图像样本、……、一个类别Xn+N的图像样本作为支持图像样本，并 将各支持图像样本以及多个被作为参考图像样本的图像样本(被作为参考图像样 的图像样本可以是训练集合101中的多种类型的图像样本，也可以是用户提供的 图像样本)，分别提供给图像分类模型100，图像分类模型100以及特征生成器在 对输入的支持图像样本和参考图像样本进行处理的过程中，会设置其元分类器的 参数(如特征向量矩阵)。在设置了元分类器的参数之后，该图像分类模型100 就可以实现对类别Xn+1、类别Xn+2、……以及类别Xn+N的图像进行图像分类处理 了。
示例性方法
图2为本公开的图像分类模型的训练方法一个实施例的流程图。如图2所示 的方法包括：S200、S201、S202以及S203。下面对各步骤分别进行说明。
S200、利用图像分类模型中的图像特征提取器，对N个类别的支持图像样本 分别进行图像特征提取处理，获得N个类别各自对应的第一图像特征。其中的N 为大于1的整数。
本公开中的图像分类模型可以称为多分类任务的图像分类模型。本公开成功 训练后的图像分类模型所能够识别的类别种类可以与每次训练迭代过程中所使 用的支持图像样本的类别数量(即N)无关。然而，建议成功训练后的图像分类 模型所能够识别的类别种类不大于每次训练迭代过程中所使用的支持图像样本 的类别数量(即N)。在训练图像分类模型的过程中，本公开是按照N分类任务 对图像分类模型进行训练的。本公开中的N分类任务可以是指识别出N个类别 的任务。例如，能够识别出猫和狗这两个类别的任务为二分类任务，此时N为2。 再例如，能够识别出树、行人、电线杆、车辆和交通标志这五个类别的任务为五 分类任务，此时N为5。
本公开中的图像分类模型包括：图像特征提取器以及元分类器。其中的图像 特征提取器用于提取图像分类模型的输入图像的图像特征。图像特征提取器可以 采用卷积神经网络的结构，图像特征提取器可以认为是一个编码器。其中的元分 类器可以认为是一个解码器。本公开训练图像分类模型的目的可以包括：使图像 特征提取器和元分类器均具有合适的参数。成功训练后的图像分类模型在实际使 用过程中，输入的待分类图像经由图像特征提取器进行特征提取，图像特征提取 器提取出的特征被提供给元分类器，经由元分类器对提取出的特征进行分类处 理，从而根据元分类器的输出信息，可以确定出当前输入的待分类图像的类别。
本公开对支持图像样本的类别不作限定，然而，在每次迭代训练过程中，选 取的支持图像样本的类别的数量必须相同，如均为N。本公开在一次迭代训练过 程中，所使用的N个类别的支持图像样本的数量通常为N，且在一次迭代训练过 程中，所使用的所有支持图像样本的类别可以与另一次迭代训练过程中所使用的 所有支持图像样本的类别完全不相同，也可以存在部分相同。在一次迭代训练过 程中，如果获得的支持图像样本的数量为N，则本公开获得的第一图像特征的数 量也为N。一第一图像特征的类别即为该第一图像特征所对应的支持图像样本的 类别。本公开不排除在一次迭代训练过程中，所使用的N个类别的支持图像样本 的数量大于N的情况。N个类别各自对应的第一图像特征可以称为N个类别的 第一图像特征。一类别对应的第一图像特征可以称为该类别的第一图像特征。
本公开可以将N个类别的支持图像样本依次提供给图像特征提取器，并根据 图像特征提取器的输出，获得N个类别的支持图像样本各自的图像特征。为了便 于描述，本公开将支持图像样本的图像特征称为第一图像特征。第一图像特征可 以为一维特征向量(Vector)的形式。
本公开中的所有支持图像样本可以是从训练集合中随机选取的，例如，训练 集合中包括100种类别的图像样本，在一次迭代训练过程中，本公开可以从训练 集合中的100种类别下的图像样本中分别随机选取N种类别，并从这N种类别 下分别选取一个图像样本，从而获得N个类别的支持图像样本。
S201、获取多个参考图像样本对中的每一个参考图像样本对的差异化特征， 获得多个差异化特征。
本公开中的参考图像样本对是指由两个类别相同的参考图像样本形成的一 对参考图像样本。也就是说，本公开中的每一个参考图像样本对均包括两个参考 图像样本，且这两个参考图像样本的类别相同。
本公开中的参考图像样本的类别的数量通常大于N。本公开对多个参考图像 样本对的数量以及类别数量不作限定。例如，在一次迭代训练过程中，所使用的 所有参考图像样本对的数量通常不小于N。
本公开可以从每一个参考图像样本对中分别获得一个差异化特征。本公开中 的差异化特征是指用于表征一个参考图像样本对中的两个参考图像样本中的相 同类别的目标对象的差别的特征，例如，参考图像样本A与参考图像样本B为 一个参考图像样本对，本公开可以根据参考图像样本A的图像特征和参考图像样 本B的图像特征，获得该参考图像样本对的差异化特征。本公开获得的差异化特 征可以认为是从两个参考图像样本的图像特征中剥离出的与参考图像样本所属 类别无关的特征。在多个参考图像样本对的类别与支持图像样本的N个类别均不 相同，且任意两个参考图像样本对的类别也不相同的情况下，本公开获得的多个 差异化特征往往可以呈现出尽可能多的多样性。例如，本公开中的差异化特征可 以通过一维特征向量的形式来表示。
本公开中的所有参考图像样本可以是从训练集合中随机选取的，例如，训练 集合包括多种类别的图像样本，在一次迭代训练过程中，本公开可以从训练集合 所包括的所有类别中随机选取多种类别，并从随机选取的每一种类别下的图像样 本中随机选取偶数个图像样本，从而每两个相同类型的图像样本形成一个参考图 像样本对。
需要特别说明的是，本公开不限定S200和S201的先后执行顺序。例如，可 以先执行S200，再执行S201。再例如，可以先执行S201，再执行S200。
S202、根据N个类别各自对应的第一图像特征以及多个差异化特征，形成N 个类别的生成特征。即每一个生成特征对应一个类别，每一个第一图像特征对应 一个类别。
本公开中的每一个生成特征均是利用一个第一图像特征和一个差异化特征 形成的。例如，对一个第一图像特征和一个差异化特征进行相应的运算处理，获 得一个生成特征。利用第i个类别的第一图像特征和任一个差异化特征形成的生 成特征即为第i个类别的生成特征。针对任一类别而言，本公开获得的该类别的 生成特征的数量通常与参考图像样本对的数量相同。本公开获得的所有生成特征 的数量通常与N以及参考图像样本对的数量相关。例如，本公开获得的所有生成 特征的数量通常为N与参考图像样本对的数量的乘积。本公开中的生成特征可以 通过一维特征向量的形式来表示。
S203、根据N个类别各自对应的第一图像特征以及N个类别的生成特征， 设置图像分类模型中的元分类器的参数。
本公开中的元分类器的参数通常为特征向量矩阵形式。例如，元分类器的参 数可以包括N×S的特征向量矩阵，其中的N表示一次迭代训练过程中所使用的 支持图像样本的类别的数量，其中的S表示图像特征向量的维度。例如，S可以 为1024等。在特征向量矩阵包括N行S列的情况下，特征向量矩阵中的第i行 图像特征向量可以是由第i个类别的第一图像特征和第i个类别的生成特征形成 的。例如，对第i个类别的第一图像特征和第i个类别的生成特征进行相应的运 算处理，获得第i行图像特征向量。
本公开通过获取各参考图像样本对的差异化特征，有利于从参考图像样本的 图像特征中剥离出与参考图像样本所属类别无关的特征，且从所有参考图像样本 对中获得的差异化特征通常会呈现出多样性，这样，通过利用多个差异化特征与 支持图像样本的图像特征分别形成生成特征，有利于使生成特征呈现多样化，而 呈现多样化的生成特征其实相当于多样化的支持图像样本的图像特征，从而相当 于使较少数量的支持图像样本呈现出多样化；通过利用生成特征和支持图像样本 的第一图像特征设置元分类器的参数，有利于避免相应类别的支持图像样本的数 量较少且不具备多样性这一特点，对元分类器的参数设置的影响；由于本公开中 的差异化特征是通过对真实的参考图像样本的图像特征进行挖掘获得的，因此， 利用差异化特征和支持图像样本的第一图像特征形成的生成特征，有利于使生成 特征符合相应类别的支持图像样本的真实特征分布。由此可知，本公开提供的技 术方案有利于使较少数量的支持图像样本呈现出图像样本多样性，从而有利于提 高图像分类模型的训练效果，有利于提高图像分类模型的鲁棒性，进而有利于提 高图像分类模型的分类处理准确性。
在一个可选示例中，本公开中的多个参考图像样本对中的至少两个参考图像 样本对的类别不相同，也就是说，本公开中的所有参考图像样本对的类别不是同 一类别。例如，在一次迭代训练过程中，本公开所使用的所有参考图像样本对的 类别的数量可以不小于N。在一次迭代训练过程中，本公开中的多个参考图像样 本对中的至少一个参考图像样本对的类别与支持图像样本的N个类别均不相同。 例如，在一次迭代训练过程中，所使用的所有参考图像样本对的类别最好均不属 于支持图像样本的N个类别，且所有参考图像样本对中的任意两个参考图像样本 对的类别最好均不相同。再例如，在一次迭代训练过程中，所使用的所有参考图 像样本的类别中的一部分类别可以属于支持图像样本的N个类别，而另一部分类 别应不属于支持图像样本N个类别。本公开不建议在一次迭代训练过程中，所使 用的所有参考图像样本的类别均属于支持图像样本的N个类别。
本公开通过使多个参考图像样本对中的至少两个参考图像样本对的类别不 相同，并使参考图像样本对中的至少一个参考图像样本对的类别与支持图像样本 的N个类别均不相同，在有利于避免利用较少数量的支持图像样本对图像分类模 型进行训练所带来影响的同时，有利于使从参考图像样本对中获得的差异化特征 具有多样化的特点，从而有利于使生成特征呈现多样化。
在一个可选示例中，本公开可以利用图像特征的差值运算方式，获得各参考 图像样本对的差异化特征。本公开获得各参考图像样本对的差异化特征的一个例 子如图3所示。
图3中，S300、利用图像特征提取器，对多个参考图像样本对中的各参考图 像样本分别进行图像特征提取处理，获得各参考图像样本的第二图像特征。
可选的，假定多个参考图像样本对的数量为M，则M个参考图像样本对包 括2M个参考图像样本，在通常情况下，2M个参考图像样本中不存在两个参考 图像样本相同的情况，而且，也不会存在一个参考图像样本对中的两个参考图像 样本相同的情况。
本公开可以将2M个参考图像样本依次提供给图像特征提取器，并根据图像 特征提取器的输出，获得2M个参考图像样本各自的图像特征。为便于描述，本 公开将参考图像样本的图像特征称为第二图像特征。本公开中的第二图像特征可 以为一维特征向量的形式。例如，第二图像特征为包含有1024个元素的一维特 征向量。另外，图像特征提取器所执行的图像特征提取处理通常包括特征的归一 化(Normalize)处理(也可以称为规范化处理)。
S301、对各参考图像样本的第二图像特征分别进行第一映射处理，获得各参 考图像样本的第一映射图像特征。
可选的，本公开可以利用预设映射函数对每一个第二图像特征分别进行映射 处理，从而获得每一个参考图像样本的映射图像特征。为了方便描述，本公开将 本步骤使用的预设映射函数称为第一预设映射函数，将使用第一预设映射函数实 现的映射处理称为第一映射处理，将参考图像样本的映射图像特征称为第一映射 图像特征。
本公开利用第一预设映射函数对第二图像特征进行第一映射处理，可以认为 是将第二图像特征映射到一个隐空间(Latent Space)中。本公开中的第一映射图 像特征可以为一维特征向量。例如，第一映射图像特征可以为包含有多于1024 个元素的图像特征向量。本公开中的第一映射处理可以认为是一个升维的映射处 理过程。即第一映射图像特征包含的元素数量多于第二图像特征包含的元素数 量。
S302、对各参考图像样本对中的两个参考图像样本的第一映射图像特征进行 差值运算，获得各参考图像样本对的差异化特征。
可选的，对任一参考图像样本对中的两个参考图像样本的第一映射图像特征 进行差值运算，可以认为是计算两个第一映射图像特征之间的偏移。例如，本公 开可以将一个参考图像样本对中的两个参考图像样本的第一映射图像特征进行 逐元素相减，获得该参考图像样本对的差异化特征。
本公开通过对参考图像样本对中的两个参考图像样本各自对应的第二图像 特征分别进行第一映射处理，有利于促使第二图像特征中的类别信息与偏移信息 (bias)解耦合，从而将第一映射处理后获得的两个第一映射图像特征进行差值 运算，有利于抑制两个第二图像特征中的类别信息，并获得与类别相脱离的差异 化特征。
在一个可选示例中，本公开的多个参考图像样本对可以被划分为N个组，每 一个组对应N个类别中的一个类别，且N个组中的至少两个组各自包含的参考 图像样本至少部分不相同。例如，本公开中的多个参考图像样本对的数量为m× N(m为大于1的整数，如m为32)，m×N(如32×5，其中的5表示5分类任 务)个参考图像样本对被划分为N个组，一个组包括m个参考图像样本对，且 任意两个组所包含的所有参考图像样本中不存在相同的参考图像样本。在上述情 况下，本公开在利用N个类别中的其中一个类别的第一图像特征和参考图像样本 对的差异化特征形成生成特征时，应利用该类别的第一图像特征与该类别对应的 组中的每一个参考图像样本对(如32个参考图像样本对)的差异化特征，分别 形成该类别的一个生成特征，且一个类别的生成特征的数量为该类别所对应的组 中的参考图像样本对的数量。
本公开通过将参考图像样本对划分为多个组，并使用第一图像特征和相应组 中的参考图像样本对的差异化特征，形成生成特征，有利于进一步促使生成特征 呈现多样化。
在一个可选示例中，本公开中的所有参考图像样本对(如32个参考图像样 本对)属于一个组，且N个类别中的每一个类别均对应该组。在该情况下，本公 开在利用N个类别中的其中任一个类别的第一图像特征和参考图像样本对的差 异化特征形成生成特征时，均是利用该类别的第一图像特征与所有参考图像样本 对(如32个参考图像样本对)的差异化特征，分别形成该类别的生成特征，如 每一个类别均有32个生成特征。
本公开通过使用任一第一图像特征和所有参考图像样本对的差异化特征，分 别形成生成特征，在能够使生成特征呈现多样化的同时，有利于简化图像分类模 型的训练过程。
在一个可选示例中，本公开可以利用图像特征的相加运算的方式，获得N个 类别的生成特征。无论是将所有参考图像样本对分成N个组，还是将所有参考图 像样本对作为一个组，本公开获得生成特征的一个例子如图4所示。
图4中，S400、对N个类别各自对应的第一图像特征分别进行第一映射处理， 获得N个类别的第二映射图像特征。
可选的，本公开可以利用上述第一预设映射函数对每一个第一图像特征进行 映射处理，从而获得每一个支持图像样本各自对应的映射图像特征。为方便描述， 本公开将支持图像样本的映射图像特征称为第二映射图像特征。
本公开利用第一预设映射函数对第一图像特征进行第一映射处理，可以认为 是将第一图像特征映射到一个隐空间(Latent Space)中。本公开中的第二映射图 像特征可以为一维特征向量。例如，第二映射图像特征可以为包含有多于1024 个元素的图像特征向量。本公开中的第一映射处理可以认为是一个升维的映射处 理过程。即第二映射图像特征包含的元素数量多于第一图像特征包含的元素数 量。
S401、针对N个类别中的任一类别，将该类别的第二映射图像特征与该类别 对应的组中的各参考图像样本对的差异化特征分别进行相加运算，获得该类别的 多个第三图像特征。
可选的，第二映射图像特征所包含的元素数量与差异化特征所包含的元素数 量相同。本公开对任一类别对应的第二映射图像特征与该类别对应的组中的各参 考图像样本对的差异化特征分别进行相加运算，可以认为是在第二映射图像特征 上分别叠加多个差异化特征。例如，假定一个组(如所有参考图像样本对被划分 为N个组中的其中一个组，再如所有参考图像样本对属于一个组)中包括32个 差异化特征，对于任一类别下的任一第二映射图像特征而言，本公开可以将该第 二映射图像特征与该组中的第一个差异化特征进行逐元素相加，从而获得该组中 的第一个第三图像特征；将该第二映射图像特征与该组中的第二个差异化特征进 行逐元素相加，从而获得该组中的第二个第三图像特征，……，以此类推，将该 第二映射图像特征与该组中的第32个差异化特征进行逐元素相加，从而获得该 组中的第32个第三图像特征。在将该类别下的每一个第二映射图像特征分别进 行上述处理后，本公开获得该类别的所有第三图像特征。在将每一个类别下的每 一个第二映射图像特征分别进行上述处理后，本公开获得N个类别的所有第三图 像特征。
S402、针对N个类别中的任一类别，对上述获得的多个第三图像特征分别进 行第二映射处理，获得相应类别的多个生成特征。
可选的，本公开可以利用预设映射函数对每一个第三图像特征分别进行映射 处理，从而获得每一个第三图像特征对应的映射图像特征。为了方便描述，本公 开将本步骤使用的预设映射函数称为第二预设映射函数，将使用第二预设映射函 数实现的映射处理称为第二映射处理，将第三图像特征对应的映射图像特征称为 生成特征。本公开中的第一预设映射函数与第二预设映射函数不相同。
本公开利用第二预设映射函数对第三图像特征进行第二映射处理，可以认为 是将第三图像特征从隐空间释放出来。本公开中的生成特征可以为一维特征向 量。本公开中的第二映射处理可以认为是一个降维的映射处理过程。即生成特征 包含的元素数量少于第三图像特征包含的元素数量。本公开中的生成特征所包含 的元素数量与第一图像特征所包含的元素数量相同。例如，生成特征为包含有 1024个元素的一维特征向量。
本公开通过对N个类别各自对应的第一图像特征进行第一映射处理，有利于 促使第一图像特征中的类别信息与偏移信息(bias)解耦合，从而通过将第一映 射处理后获得的第三图像特征与各参考图像样本对的差异化特征分别进行相加 运算，有利于促使差异化特征与第三图像特征充分融合。
在一个可选示例中，本公开设置图像分类模型中的元分类器的参数的一个例 子如图5所示。
图5中，S500、针对N个类别中的任一类别，对该类别的第一图像特征和该 类别的多个生成特征进行融合处理。
可选的，本公开可以通过对第i个类别的第一图像特征和第i个类别的所有 生成特征进行平均计算处理，实现第i个类别的第一图像特征和第i个类别的所 有生成特征(如32个生成特征)的融合处理。例如，本公开可以对第i个类别的 第一图像特征和第i个类别的多个生成特征进行平均池化处理(Avg.Pool)，平均 池化处理结果即为融合处理结果。第i个类别的融合处理结果可以为一维特征向 量的形式。该一维特征向量所包含的元素数量可以与第一图像特征和生成特征所 包含的元素数量相同。例如，融合处理结果可以为包含有1024个元素的一维特 征向量。本公开通过利用平均池化处理实现第i个类别的第一图像特征和第i个 类别的多个生成特征的融合，有利于便捷的实现融合处理。
S501、根据N个类别的融合处理结果，设置元分类器的参数。
可选的，本公开可以进一步对每一个类别的融合处理结果进行变换整合处 理，以便于使融合处理结果符合一定的要求(如元分类器对参数的要求等)。例 如，本公开可以对N个类别的平均池化处理结果分别进行归一化(Normalize) 处理，每一个类别的归一化处理结果均为一个一维特征向量，且归一化处理前的 一维特征向量和归一化处理后的一维特征向量所包含的元素数量通常相同。例 如，归一化处理前的一维特征向量和归一化处理后的一维特征向量均为包含有 1024个元素的一维特征向量。
可选的，本公开可以将N个类别的归一化处理结果拼接成特征向量矩阵，例 如，特征向量矩阵的行数为N，本公开可以将第1个类别的归一化处理结果作为 特征向量矩阵的第1行，将第2个类别的归一化处理结果作为特征向量矩阵的第 2行，……，以此类推，将第N个类别的归一化处理结果作为特征向量矩阵的第 N行，从而形成特征向量矩阵。该特征向量矩阵即为元分类器的矩阵W。
本公开通过将一个类别下的第一图像特征和该类别下的所有生成特征进行 融合处理，有利于融合处理结合表现出图像特征的多样化，从而有利于提高图像 分类模型的训练效果，并有利于提高图像分类模型的鲁棒性。
上述实施例主要用于描述在训练图像分类模型的过程中，对元分类器的参数 进行设置的过程。本公开在训练图像分类模型时，还应对图像分类模型中的图像 特征提取器的参数不断进行调整，最终使图像特征提取器提取出的图像特征能够 形成合适的生成特征，以便于为元分类器设置合适的参数。
在一个可选示例中，本公开在训练图像分类模型的过程中，对图像特征提取 器和特征生成器进行训练的一个例子如图6所示。
S600、获取多个查询图像样本。
可选的，在一次迭代训练过程中，本公开所获取的所有查询样本的类别均应 属于本次迭代训练过程所使用的支持图像样本的N个类别，且在一次迭代训练过 程中，本公开获取的所有查询图像样本的类别最好完全覆盖N个类别。本公开可 以通过随机选取的方式，从训练集合中选取多个查询图像样本。本公开中的每一 个查询图像样本均具有类别标注。
S601、利用图像特征提取器，对上述获取的多个查询图像样本分别进行图像 特征提取处理，获得各查询图像样本的第四图像特征。
可选的，本公开可以将获取到的所有查询图像样本依次提供给图像特征提取 器，并根据图像特征提取器的输出，获得各查询图像样本各自的图像特征。为便 于描述，本公开将查询图像样本的图像特征称为第四图像特征。本公开中的第四 图像特征可以为一维特征向量的形式。例如，第四图像特征可以为包含有1024 个元素的一维特征向量。
S602、利用元分类器，对多个查询图像样本的第四图像特征分别进行分类预 测处理。
可选的，本公开可以利用元分类器的参数与每一个查询图像样本的第四图像 特征进行相应的运算处理，从而获得分类预测处理结果。例如，本公开可以将每 一个查询图像样本的第四图像特征分别与元分类器的特征向量矩阵相乘，并将各 查询图像样本对应的相乘结果作为各查询图像样本的分类预测处理结果。
S603、根据分类预测处理的结果和多个查询图像样本的类别标注，调整元分 类器的温度参数、用于形成上述生成特征的特征生成器的参数以及图像特征提取 器的参数。
可选的，对于任一查询图像样本而言，该查询图像样本的分类预测处理结果 可以为该查询图像样本分别属于N个类别的置信度。本公开可以将一个查询图像 样本对应的N个置信度中的最大置信度对应的类别，作为本公开预测出的该查询 图像样本的类别。
可选的，本公开可以利用相应的损失函数对各查询图像样本的分类预测处理 的结果和各查询图像样本的类别标注之间的差异进行损失计算，并在特征生成器 和图像特征提取器中反向传播该损失计算结果，以便于调整元分类器的温度参数 (如α)、特征生成器的参数(例如，第一预设映射函数的参数和第二预设映射 函数的参数)以及图像特征提取器的参数。本公开中的特征生成器的参数和图像 特征提取器的参数通常会在多次迭代训练过程，逐渐收敛。
本公开通过利用查询图像样本对图像特征提取器和特征生成器进行训练，使 图像特征提取器提取出准确的图像特征，并使特征生成器能够形成合适的生成特 征，从而有利于为元分类器设置合适的参数。
本公开除了利用上述图6所示的流程对特征生成器和图像分类模型中的图像 特征提取器进行训练之外，还可以利用下述图7所示的流程对图像特征提取器和 用于分类的神经网络进行训练。
图7中，S700、获取多个图像样本。
可选的，本公开可以通过随机选取方式从训练集合中选取多个图像样本。本 公开中的每一个图像样本均具有类别标注。本公开对图像样本的类别可以不作限 制，即训练集合中的任一图像均可以被作为S700中的图像样本。另外，在一次 迭代过程中，本公开获取的所有图像样本的类别可以完全覆盖支持图像样本的N 个类别，也可以不包括N个类别中的任一个类别，还可以包括N个类别中的部 分类别。
S701、利用图像特征提取器，对多个图像样本分别进行图像特征提取处理， 获得多个图像样本的第五图像特征。
可选的，在一次迭代训练过程中，本公开可以将本次迭代训练过程中获取到 的所有图像样本依次提供给图像特征提取器，并根据图像特征提取器的输出，获 得各图像样本各自的图像特征。为便于描述，本公开将图像样本的图像特征称为 第五图像特征。本公开中的第五图像特征可以为一维特征向量的形式。例如，第 五图像特征可以为包含有1024个元素的一维特征向量。
S702、利用用于分类的神经网络，对多个图像样本的第五图像特征分别进行 分类预测处理。
可选的，本公开中的用于分类的神经网络可以包括全连接层和激活层。在一 次迭代训练过程中，本公开可以将本次迭代训练过程中获得的各图像样本的第五 图像特征依次提供给神经网络，并根据神经网络的输出，获得各图像样本各自的 分类预测处理结果。
S703、根据神经网络的分类预测处理结果和多个图像样本的类别，调整图像 特征提取器的参数和神经网络的网络参数。
可选的，对于任一图像样本而言，该图像样本的分类预测处理结果可以为该 图像样本分别属于训练集合中所包含的所有类别的置信度。本公开可以将一个图 像样本对应的所有置信度中的最大置信度对应的类别，作为本公开预测出的该图 像样本的类别。
可选的，本公开可以利用相应的损失函数对各图像样本的分类预测处理的结 果和各图像样本的类别标注进行损失计算，并在神经网络和图像特征提取器中反 向传播该损失计算结果，以便于调整神经网络的参数(例如，全连接层的参数) 以及图像特征提取器的参数。本公开中的神经网络的参数和图像特征提取器的参 数通常会在多次迭代训练过程，逐渐收敛。
在神经网络对图像样本的分类预测处理的结果的准确性以及元分类器对查 询图像样本的分类预测处理结果的准确性符合一定要求时，图像特征提取器、特 征生成器和神经网络成功训练完成。
上述图7所示的流程可以称为辅助训练流程，即图7所示的流程用于对图像 特征提取器进行辅助训练。该辅助训练流程有利于提高图像特征提取器的训练效 率。另外，本公开中的图6所示的流程和图7所示的流程，可以交替执行。更进 一步的，本公开中的图2所示的流程、图6所示的流程和图7所示的流程，可以 交替执行。
下面结合图8和图9对本公开的图像分类模型的训练方法的一个实施例进行 说明。
图8中，一次迭代训练过程可以包括如下步骤：
步骤a、从训练集合中随机获取N个类别的多个图像样本，并将其分别作为 支持图像样本800。从训练集合中随机获取任意类别的多个图像样本，并将其分 别作为参考图像样本801。
图8中仅示意性的示出了一个支持图像样本800，即
Figure BDA0002341607920000171
假定支持图像样本 的N个类别分别为第1个类别、第2个类别、……、以及第N个类别，则
Figure BDA0002341607920000172
表 示类别为第n个类别的支持图像样本800。其中的n为大于等于1，且小于等于 N的整数。在一个示例中，本公开可以从训练集合中随机获取N个类别，并从每 一个类别下随机选取一个图像样本，从而获得N个支持图像样本800。
图8中仅示意性的示出了六个参考图像样本801。这六个参考图像样本801 形成了3个参考图像样本对。在一个示例中，本公开可以从训练集合中随机获取 64个图像样本，且64个图像样本形成32个参考图像样本对。每一个参考图像样 本对中的两个参考图像样本的类别相同。图8中的
Figure BDA0002341607920000173
表示类别为h的第j个参 考图像样本801。其中j的取值为1或2。
步骤b、将所有支持图像样本800和所有参考图像样本801分别提供给图像 特征提取器804，并根据图像特征提取器804的输出，获得每一个支持图像样本 800的图像特征8001以及每一个参考图像样本801的图像特征8011。
图8中的
Figure BDA0002341607920000174
表示类别为第n个类别的支持图像样本800(即
Figure BDA0002341607920000175
)的图像特 征8001。图8中的
Figure BDA0002341607920000181
表示类别为h的参考图像样本对中的第j个参考图像样本 801(即
Figure BDA0002341607920000182
)的图像特征8011。
步骤c、将每一个支持图像样本800的图像特征8001以及每一个参考图像样 本801的图像特征8011分别提供给特征生成器805，并根据特征生成器805的输 出，获得多个生成特征8051(如N×32个生成特征8051)。特征生成器805形成 生成特征8051的一个具体过程可以如图9所示。
图9中，本公开可以将图8中的
Figure BDA0002341607920000183
和
Figure BDA0002341607920000184
分别提供给特征生成器805，在j 为1和2的情况下，
Figure BDA0002341607920000185
即为图9中的
Figure BDA0002341607920000186
和
Figure BDA0002341607920000187
特征生成器805可以利用第 一预设映射函数φ1对
Figure BDA0002341607920000188
和
Figure BDA0002341607920000189
分别进行映射处理，获得
Figure BDA00023416079200001810
的映射图像特征
Figure BDA00023416079200001811
的映射图像特征
Figure BDA00023416079200001812
和
Figure BDA00023416079200001813
的映射图像特征
Figure BDA00023416079200001814
特征生成器805将
Figure BDA00023416079200001815
和
Figure BDA00023416079200001816
进行相减运算，并将相减运算结果与
Figure BDA00023416079200001817
进行相加运算，之后，特征生成器 805利用第一预设映射函数φ2对相加运算的结果进行映射处理，获得一个生成特 征8051，即
Figure BDA00023416079200001818
该
Figure BDA00023416079200001819
对应第n个类别的支持图像样本800。如果存在32个 参考样本对，则一个支持图像样本可以和32个参考样本对形成32个生成特征。
特征生成器805所执行的操作可以使用下述公式(1)表示：
Figure BDA00023416079200001820
在上述公式(1)中，
Figure BDA00023416079200001821
表示第n个类别的支持图像样本对应的第h个生 成特征，即对应第n个类别的第h个生成特征；G(*)表示特征生成器针对*执行 的操作；φ2()表示第二预设映射函数；φ1()表示第一预设映射函数；
Figure BDA00023416079200001822
表示第n 个类别的支持图像样本的第一图像特征；
Figure BDA00023416079200001823
和
Figure BDA00023416079200001824
表示用于形成第n个类别的 第h个生成特征的一个参考图像样本对中的两个参考图像样本的图像特征。
步骤d、将所有支持图像样本800的图像特征8001和所有生成特征8051分 别进行融合处理，并对每一个融合处理结果分别进行归一化处理，从而形成N个 特征向量。将N个特征向量形成的特征向量矩阵作为元分类器806的参数W。
如果存在32个参考样本对，则本公开可以利用将一个第n个类别的支持图 像样本800的图像特征8001与32个生成特征一起进行平均池化处理，并对平均 池化处理结果进行归一化处理，从而形成一个特征向量。多个特征向量可以拼接 为特征向量矩阵，即W。本公开中的第n个类别对应的特征向量wn可以采用下述 公式(2)和公式(3)表示：
Figure BDA0002341607920000191
Figure BDA0002341607920000192
在上述公式(2)和公式(3)中，||*||表示对*取模；H表示对应第n个类别 的所有生成特征的数量或者对应第n个类别的参考图像样本对组中的所有参考图 像样本对的数量；
Figure BDA0002341607920000193
表示第n个类别的支持图像样本的第一图像特征；
Figure BDA0002341607920000194
表示 对应第n个类别的第h个生成特征。
步骤e、从训练集合中随机获取属于步骤a中的所有支持图像样本800的N 个类别的多个图像样本，并将其分别作为查询图像样本802。
本公开获取到的查询图像样本802的数量通常不小于N，且查询图像样本802 的类别应完全覆盖支持图像样本800的N个类别。属于不同类别的查询图像样本 802的数量可以相同，也可以不相同。图8中仅示意性的示出了一个查询图像样 本802，即图8中的Xq。
步骤f、将所有查询图像样本802分别提供给图像特征提取器804，并根据 图像特征提取器804的输出，获得每一个查询图像样本802的图像特征8021。图 8中的zq表示Xq的图像特征8021。
步骤g、将所有图像特征8021分别提供给元分类器806，利用元分类器806 对每一个图像特征8021进行分类预测处理，根据元分类器806的输出，获得预 测出的每一个查询图像样本802的类别。
步骤h、根据预测出的每一个查询图像样本802的类别以及每一个查询图像 样本的类别标注，利用损失函数进行损失计算，并将损失计算的结果在元分类器 806、特征生成器805以及图像特征提取器804中反向传播，以更新元分类器806 中的参数α、特征生成器805中的两个映射函数的参数以及图像特征提取器804 的参数。
Figure BDA0002341607920000201
在上述公式(4)中，α表示元分类器的温度参数；
Figure BDA0002341607920000202
表示利用元分类器 对查询图像样本进行类别预测所获得的查询图像样本的类别标注对应的置信度； zq表示查询图像样本的图像特征；
Figure BDA0002341607920000203
表示与查询图像样本的图像特征zq相乘 的元分类器的特征向量矩阵中的查询图像样本的类别标注所对应的特征向量的 转置；
Figure BDA0002341607920000204
表示利用元分类器对查询图像样本进行类别预测所获得的第n个类别 的置信度；
Figure BDA0002341607920000205
表示与查询图像样本的图像特征zq相乘的元分类器的特征向量矩 阵中的第n个类别的特征向量的转置；N表示元分类器所能预测出的所有类别的 数量。
步骤i、从训练集合中随机获取任意类别的多个图像样本，并将其分别作为 图像样本803。图8中仅示意性的示出了一个图像样本803，即Xi。Xi表示第i 个图像样本。多个图像样本的数量可以为预先设定的批处理数量。
步骤j、将所有图像样本803分别提供给图像特征提取器804，并根据图像特 征提取器804的输出，获得每一个图像样本803的图像特征8031。图8中的zi表 示Xi的图像特征8031。
步骤k、将所有图像特征8031分别提供给用于分类的神经网络807，利用神 经网络807对每一个图像特征8031分别进行分类预测处理，根据神经网络807 的输出，获得预测出的每一个图像样本803的类别。神经网络807可以称为辅助 的分类器。
步骤h、根据预测出的每一个图像样本803的类别以及每一个图像样本803 的类别标注，利用损失函数进行损失计算，并将损失计算的结果在神经网络807 以及图像特征提取器804中反向传播，以更新神经网络807中的参数(如W'和α') 以及图像特征提取器804的参数。
Figure BDA0002341607920000211
在上述公式(5)中，α'表示神经网络的温度参数；zi表示批处理数量个图 像样本中的第i个图像样本；
Figure BDA0002341607920000212
表示利用神经网络对第i个图像样本进行类别 预测所获得的第i个图像样本的类别标注对应的置信度；zi表示第i个图像样本 的图像特征；
Figure BDA0002341607920000213
表示与图像样本的图像特征zi相乘的神经网络的权值矩阵中的 第i个图像样本的类别标注所对应的权值的转置；
Figure BDA0002341607920000214
表示利用神经网络对第i 个图像样本进行类别预测所获得的第n个类别的置信度；
Figure BDA0002341607920000215
表示与第i个图像 样本的图像特征zi相乘的神经网络的权值矩阵中的第n列的权值的转置；N'表 示神经网络所能预测出的所有类别的数量。
上述步骤a至步骤h为一次迭代训练过程，本公开可以反复执行上述步骤a 至步骤h，直到神经网络807和元分类器806的预测准确度符合预定要求。
示例性装置
图10为本公开的图像分类模型的训练装置一实施例的结构示意图。该实施 例的装置可用于实现本公开相应的方法实施例。如图10所示的装置包括：特征 提取模块1000、获取差异化特征模块1001、形成生成特征模块1002以及设置元 分类器参数模块1003。其中的获取差异化特征模块1001和形成生成特征模块 1002可以形成特征生成器。可选的，该装置还包括：训练模块以及辅助训练模块 (图10中未示出)。本公开的图像分类模型包括：图像特征提取器和元分类器。
特征提取模块1000用于利用图像分类模型中的图像特征提取器，对N个类 别的支持图像样本分别进行图像特征提取处理，获得N个类别各自对应的第一图 像特征。其中的N为大于1的整数。可选的，特征提取模块1000还可以用于利 用图像特征提取器，对多个参考图像样本对中的各参考图像样本分别进行图像特 征提取处理，获得各参考图像样本的第二图像特征。
获取差异化特征模块1001用于获取多个参考图像样本对中的每一个参考图 像样本对的差异化特征，获得多个差异化特征。其中的任一参考图像样本对中的 两个参考图像样本的类别相同。可选的，多个参考图像样本对中的至少两个参考 图像样本对的类别不相同，且多个参考图像样本对中的至少一个参考图像样本对 的类别与N个类别均不相同。
可选的，获取差异化特征模块1001可以包括：第一映射子模块10011和差 值运算子模块10012。其中的第一映射子模块10011用于对特征提取模块1000 利用图像特征提取器提取并获得的各参考图像样本的第二图像特征，分别进行第 一映射处理，获得各参考图像样本的第一映射图像特征。其中的差值运算子模块 10012用于对第一映射子模块10011获得的各参考图像样本对中的两个参考图像 样本的第一映射图像特征进行差值运算，获得各参考图像样本对的差异化特征。
形成生成特征模块1002用于根据特征提取模块1000获得的N个类别各自对 应的第一图像特征以及获取差异化特征模块1001获得的多个差异化特征，形成 N个类别的生成特征。
可选的，第一映射子模块10011还可以用于对N个类别各自对应的第一图像 特征分别进行第一映射处理，获得N个类别的第二映射图像特征。形成生成特征 模块1002可以包括相加运算子模块10021和第二映射子模块10022。其中的相加 运算子模块10021用于针对N个类别中的任一类别，将该类别的第二映射图像特 征与该类别对应的组中的各参考图像样本对的差异化特征分别进行相加运算，获 得该类别的多个第三图像特征，第二映射子模块10022用于对多个第三图像特征 分别进行第二映射处理，获得该类别的多个生成特征。
设置元分类器参数模块1003用于根据特征提取模块1002获得的N个类别各 自对应的第一图像特征以及形成生成特征模块1002形成的N个类别的生成特征， 设置图像分类模型中的元分类器的参数。例如，针对N个类别中的任一类别，设 置元分类器参数模块1003可以对该类别的第一图像特征和该类别的多个生成特 征进行融合处理，并根据N个类别的融合处理结果，设置元分类器的参数。具体 的，针对N个类别中的任一类别，设置元分类器参数模块1003可以对该类别的 第一图像特征和该类别的多个生成特征进行平均池化处理；并对N个类别的平均 池化处理结果分别进行归一化处理；之后，设置元分类器参数模块1003可以将 N个类别的归一化处理结果拼接成的特征向量矩阵，作为元分类器的参数(即上 述W)。
训练模块用于获取多个查询图像样本，利用图像特征提取器，对多个查询图 像样本进行图像特征提取处理，获得多个查询图像样本的第四图像特征，训练模 块利用元分类器，对多个查询图像样本的第四图像特征分别进行分类预测处理， 之后，训练模块可以根据分类预测处理的结果和多个查询图像样本的类别标注， 调整元分类器的温度参数、用于形成生成特征的特征生成器的参数以及图像特征 提取器的参数。上述多个查询图像样本的类别为N个类别。
辅助训练模块用于获取多个图像样本，并利用图像特征提取器，对多个图像 样本分别进行图像特征提取处理，获得多个图像样本的第五图像特征，辅助训练 模块可以利用用于分类的神经网络，对多个图像样本的第五图像特征分别进行分 类预测处理，并根据神经网络的分类预测处理结果和多个图像样本的类别标注， 调整图像特征提取器的参数和神经网络的网络参数。
示例性电子设备
下面参考图11来描述根据本公开实施例的电子设备。图11示出了根据本公 开实施例的电子设备的框图。如图11所示，电子设备111包括一个或多个处理 器1111和存储器1112。处理器1111可以是中央处理单元(CPU)或者具有数据 处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备111 中的其他组件以执行期望的功能。
存储器1112可以包括一个或多个计算机程序产品，所述计算机程序产品可 以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储 器。所述易失性存储器，例如，可以包括：随机存取存储器(RAM)和/或高速 缓冲存储器(cache)等。所述非易失性存储器，例如，可以包括：只读存储器 (ROM)、硬盘以及闪存等。在所述计算机可读存储介质上可以存储一个或多个 计算机程序指令，处理器1111可以运行所述程序指令，以实现上文所述的本公 开的各个实施例的图像分类模型的训练方法以及/或者其他期望的功能。在所述计 算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备111还可以包括：输入装置1113以及输出装置1114 等，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外，该 输入设备1113还可以包括例如键盘、鼠标等等。该输出装置1114可以向外部输 出各种信息。该输出设备1114可以包括例如显示器、扬声器、打印机、以及通 信网络及其所连接的远程输出设备等等。
当然，为了简化，图11中仅示出了该电子设备111中与本公开有关的组件 中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应 用情况，电子设备111还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包 括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行 本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像分类模 型的训练方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用 于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设 计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语 言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地 在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在 远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程 序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上 述“示例性方法”部分中描述的根据本公开各种实施例的图像分类模型的训练方 法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介 质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于 电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组 合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多 个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、 可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本 公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势 以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是 为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须 采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是 与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对 于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关 之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且 不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域 技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备 以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括 但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/ 或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸 如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固 件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法 的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述 的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施 为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可 读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以 分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使 用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见 的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因 此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖 的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开 的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施 例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种图像分类模型的训练方法，包括：
利用图像分类模型中的图像特征提取器，对N个类别的支持图像样本分别进行图像特征提取处理，获得N个类别各自对应的第一图像特征；其中，所述N为大于1的整数；
获取多个参考图像样本对中的每一个参考图像样本对的差异化特征，获得多个差异化特征，其中，任一参考图像样本对中的两个参考图像样本的类别相同；
根据所述N个类别各自对应的第一图像特征以及所述多个差异化特征，形成所述N个类别的生成特征；
根据所述N个类别各自对应的第一图像特征以及所述N个类别的生成特征，设置所述图像分类模型中的元分类器的参数。
2.根据权利要求1所述的方法，其中，所述多个参考图像样本对中的至少两个参考图像样本对的类别不相同，且所述多个参考图像样本对中的至少一个参考图像样本对的类别与所述N个类别均不相同。
3.根据权利要求1或2所述的方法，其中，所述获取多个参考图像样本对中的每一个参考图像样本对的差异化特征，包括：
利用所述图像特征提取器，对所述多个参考图像样本对中的各参考图像样本分别进行图像特征提取处理，获得各参考图像样本的第二图像特征；
对各参考图像样本的第二图像特征分别进行第一映射处理，获得各参考图像样本的第一映射图像特征；
对各参考图像样本对中的两个参考图像样本的第一映射图像特征进行差值运算，获得各参考图像样本对的差异化特征。
4.根据权利要求1至3中任一项所述的方法，其中，所述方法包括：
所述多个参考图像样本对属于N个组，每一个组对应所述N个类别中的一个类别，且N个组中的至少两个组各自包含的参考图像样本至少部分不相同；或者
所述多个参考图像样本对属于一个组，且该一个组对应所述N个类别；
所述根据所述N个类别各自对应的第一图像特征以及所述多个差异化特征，形成所述N个类别的生成特征，包括：
根据所述N个类别各自对应的第一图像特征以及所述N个类别各自对应的组中的各参考图像样本对的差异化特征，形成N个类别的生成特征；
其中，一个类别的生成特征的数量为该类别所对应的组中的参考图像样本对的数量。
5.根据权利要求4所述的方法，其中，所述根据所述N个类别各自对应的第一图像特征以及所述N个类别各自对应的组中的各参考图像样本对的差异化特征，形成N个类别的生成特征，包括：
对所述N个类别各自对应的第一图像特征分别进行第一映射处理，获得所述N个类别的第二映射图像特征；
针对所述N个类别中的任一类别，将该类别的第二映射图像特征与该类别对应的组中的各参考图像样本对的差异化特征分别进行相加运算，获得该类别的多个第三图像特征，对所述多个第三图像特征分别进行第二映射处理，获得该类别的多个生成特征。
6.根据权利要求4或5所述的方法，其中，所述根据所述N个类别各自对应的第一图像特征以及所述N个类别的生成特征，设置所述图像分类模型中的元分类器的参数，包括：
针对所述N个类别中的任一类别，对该类别的第一图像特征和该类别的多个生成特征进行融合处理；
根据所述N个类别的融合处理结果，设置所述元分类器的参数。
7.根据权利要求6所述的方法，其中，所述对该类别的第一图像特征和该类别的多个生成特征进行融合处理，包括：
对该类别的第一图像特征和该类别的多个生成特征进行平均池化处理；
所述根据所述N个类别的融合处理结果，设置所述元分类器的参数，包括：
对所述N个类别的平均池化处理结果分别进行归一化处理；
将所述N个类别的归一化处理结果拼接成的特征向量矩阵，作为所述元分类器的参数。
8.根据权利要求1至7中任一项所述的方法，其中，所述方法还包括：
获取多个查询图像样本；所述多个查询图像样本的类别为所述N个类别；
利用所述图像特征提取器，对所述多个查询图像样本进行图像特征提取处理，获得所述多个查询图像样本的第四图像特征；
利用所述元分类器，对所述多个查询图像样本的第四图像特征分别进行分类预测处理；
根据所述分类预测处理的结果和所述多个查询图像样本的类别标注，调整所述元分类器的温度参数、用于形成所述生成特征的特征生成器的参数以及所述图像特征提取器的参数。
9.根据权利要求1至8中任一项所述的方法，其中，所述方法还包括：
获取多个图像样本；
利用所述图像特征提取器，对所述多个图像样本分别进行图像特征提取处理，获得所述多个图像样本的第五图像特征；
利用用于分类的神经网络，对所述多个图像样本的第五图像特征分别进行分类预测处理；
根据所述神经网络的分类预测处理结果和所述多个图像样本的类别标注，调整所述图像特征提取器的参数和所述神经网络的网络参数。
10.一种图像分类模型的训练装置，包括：
特征提取模块，用于利用图像分类模型中的图像特征提取器，对N个类别的支持图像样本分别进行图像特征提取处理，获得N个类别各自对应的第一图像特征；其中，所述N为大于1的整数；
获取差异化特征模块，用于获取多个参考图像样本对中的每一个参考图像样本对的差异化特征，获得多个差异化特征，其中，任一参考图像样本对中的两个参考图像样本的类别相同；
形成生成特征模块，用于根据所述特征提取模块获得的N个类别各自对应的第一图像特征以及所述获取差异化特征模块获得的多个差异化特征，形成所述N个类别的生成特征；
设置元分类器参数模块，用于根据所述特征提取模块获得的N个类别各自对应的第一图像特征以及所述形成生成特征模块形成的N个类别的生成特征，设置所述图像分类模型中的元分类器的参数。
11.根据权利要求10所述的装置，其中，所述特征提取模块还用于：
利用所述图像特征提取器，对所述多个参考图像样本对中的各参考图像样本分别进行图像特征提取处理，获得各参考图像样本的第二图像特征；
所述获取差异化特征模块包括：
第一映射子模块，用于对所述特征提取模块获得的各参考图像样本的第二图像特征分别进行第一映射处理，获得各参考图像样本的第一映射图像特征；
差值运算子模块，用于对所述第一映射子模块获得的各参考图像样本对中的两个参考图像样本的第一映射图像特征进行差值运算，获得各参考图像样本对的差异化特征。
12.根据权利要求11所述的装置，其中，第一映射子模块还用于：
对所述N个类别各自对应的第一图像特征分别进行第一映射处理，获得所述N个类别的第二映射图像特征；
所述形成生成特征模块包括：
相加运算子模块，用于针对所述N个类别中的任一类别，将该类别的第二映射图像特征与该类别对应的组中的各参考图像样本对的差异化特征分别进行相加运算，获得该类别的多个第三图像特征；
第二映射子模块，用于对所述多个第三图像特征分别进行第二映射处理，获得该类别的多个生成特征。
13.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-9中任一项所述的方法。
14.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-9中任一项所述的方法。
CN201911378328.6A 2019-12-27 2019-12-27 图像分类模型的训练方法、装置、介质以及电子设备 Active CN111242162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911378328.6A CN111242162B (zh) 2019-12-27 2019-12-27 图像分类模型的训练方法、装置、介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911378328.6A CN111242162B (zh) 2019-12-27 2019-12-27 图像分类模型的训练方法、装置、介质以及电子设备

Publications (2)

Publication Number Publication Date
CN111242162A true CN111242162A (zh) 2020-06-05
CN111242162B CN111242162B (zh) 2023-06-20

Family

ID=70864270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911378328.6A Active CN111242162B (zh) 2019-12-27 2019-12-27 图像分类模型的训练方法、装置、介质以及电子设备

Country Status (1)

Country Link
CN (1) CN111242162B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966851A (zh) * 2020-07-24 2020-11-20 北京航空航天大学 基于少量样本的图像识别方法和系统
CN113486202A (zh) * 2021-07-01 2021-10-08 南京大学 小样本图像分类的方法
WO2022032725A1 (zh) * 2020-08-13 2022-02-17 驭势科技（浙江）有限公司 用于图像检索的神经网络训练方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030059124A1 (en) * 1999-04-16 2003-03-27 Viisage Technology, Inc. Real-time facial recognition and verification system
US20050025357A1 (en) * 2003-06-13 2005-02-03 Landwehr Val R. Method and system for detecting and classifying objects in images, such as insects and other arthropods
US20060008151A1 (en) * 2004-06-30 2006-01-12 National Instruments Corporation Shape feature extraction and classification
CN109711358A (zh) * 2018-12-28 2019-05-03 四川远鉴科技有限公司 神经网络训练方法、人脸识别方法及系统和存储介质
CN109784415A (zh) * 2019-01-25 2019-05-21 北京地平线机器人技术研发有限公司 图像识别方法及装置、训练卷积神经网络的方法及装置
CN109919214A (zh) * 2019-02-27 2019-06-21 南京地平线机器人技术有限公司 一种神经网络模型的训练方法及训练装置
WO2019127451A1 (zh) * 2017-12-29 2019-07-04 深圳前海达闼云端智能科技有限公司 图像识别方法及云端系统
CN110458218A (zh) * 2019-07-31 2019-11-15 北京市商汤科技开发有限公司 图像分类方法及装置、分类网络训练方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030059124A1 (en) * 1999-04-16 2003-03-27 Viisage Technology, Inc. Real-time facial recognition and verification system
US20050025357A1 (en) * 2003-06-13 2005-02-03 Landwehr Val R. Method and system for detecting and classifying objects in images, such as insects and other arthropods
US20060008151A1 (en) * 2004-06-30 2006-01-12 National Instruments Corporation Shape feature extraction and classification
WO2019127451A1 (zh) * 2017-12-29 2019-07-04 深圳前海达闼云端智能科技有限公司 图像识别方法及云端系统
CN109711358A (zh) * 2018-12-28 2019-05-03 四川远鉴科技有限公司 神经网络训练方法、人脸识别方法及系统和存储介质
CN109784415A (zh) * 2019-01-25 2019-05-21 北京地平线机器人技术研发有限公司 图像识别方法及装置、训练卷积神经网络的方法及装置
CN109919214A (zh) * 2019-02-27 2019-06-21 南京地平线机器人技术有限公司 一种神经网络模型的训练方法及训练装置
CN110458218A (zh) * 2019-07-31 2019-11-15 北京市商汤科技开发有限公司 图像分类方法及装置、分类网络训练方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘陆洋１，贾振红１，杨 杰２，ＮＩＫＯＬＡ ＫＡＳＡＢＯＶ: "利用双差异图和PCA的SAR图像变化检测" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966851A (zh) * 2020-07-24 2020-11-20 北京航空航天大学 基于少量样本的图像识别方法和系统
WO2022032725A1 (zh) * 2020-08-13 2022-02-17 驭势科技（浙江）有限公司 用于图像检索的神经网络训练方法、装置及电子设备
JP7438591B2 (ja) 2020-08-13 2024-02-27 馭勢科技（浙江）有限公司 画像検索のためのニューラルネットワークのトレーニング方法、装置および電子装置
US12008803B2 (en) 2020-08-13 2024-06-11 Uisee Technologies (Zhejiang) Ltd. Neural network training method and apparatus for image retrieval, and electronic device
CN113486202A (zh) * 2021-07-01 2021-10-08 南京大学 小样本图像分类的方法
CN113486202B (zh) * 2021-07-01 2023-08-04 南京大学 小样本图像分类的方法

Also Published As

Publication number Publication date
CN111242162B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
AU2022221389B2 (en) Attention-based sequence transduction neural networks
US10402448B2 (en) Image retrieval with deep local feature descriptors and attention-based keypoint descriptors
CN111242162A (zh) 图像分类模型的训练方法、装置、介质以及电子设备
CN108984555B (zh) 用户状态挖掘和信息推荐方法、装置以及设备
WO2021206804A1 (en) Sequence-to-sequence speech recognition with latency threshold
CN112036954A (zh) 物品推荐方法和装置、计算机可读存储介质、电子设备
CN112070545A (zh) 用于优化信息触达的方法、装置、介质和电子设备
CN111325200A (zh) 图像标注方法、装置、设备及计算机可读存储介质
CN113449840A (zh) 神经网络训练方法及装置、图像分类的方法及装置
CN113869596A (zh) 任务预测处理方法、设备、产品和介质
CN110909768A (zh) 一种标注数据获取方法及装置
CN111523351A (zh) 神经网络的训练方法、装置和电子设备
CN110378486B (zh) 网络嵌入方法、装置、电子设备和存储介质
CN111340605A (zh) 训练用户行为预测模型、用户行为预测的方法和装置
CN111783431A (zh) 利用语言模型预测词出现概率及语言模型训练方法和装置
CN112000872A (zh) 基于用户向量的推荐方法、模型的训练方法及装置
CN110516717B (zh) 用于生成图像识别模型的方法和装置
CN112801226A (zh) 数据筛选方法和装置、计算机可读存储介质、电子设备
CN111127502A (zh) 生成实例掩码的方法、装置及电子设备
CN112199978A (zh) 视频物体检测方法和装置、存储介质和电子设备
CN112116393B (zh) 用于实现事件用户维护的方法、装置和设备
CN111949883A (zh) 房源推荐方法、装置、计算机可读存储介质及电子设备
CN115169558A (zh) 基于自网络知识蒸馏的模型训练方法、装置及电子设备
CN113886695A (zh) 一种资源推荐方法及装置
CN117909542A (zh) 一种视频推荐方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant