CN113536003B - 特征提取模型训练方法、图像检索方法、装置和设备 - Google Patents

特征提取模型训练方法、图像检索方法、装置和设备 Download PDF

Info

Publication number
CN113536003B
CN113536003B CN202110638262.0A CN202110638262A CN113536003B CN 113536003 B CN113536003 B CN 113536003B CN 202110638262 A CN202110638262 A CN 202110638262A CN 113536003 B CN113536003 B CN 113536003B
Authority
CN
China
Prior art keywords
type
sample
sample images
batch
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110638262.0A
Other languages
English (en)
Other versions
CN113536003A (zh
Inventor
徐富荣
王萌
张伟
程远
褚崴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110638262.0A priority Critical patent/CN113536003B/zh
Publication of CN113536003A publication Critical patent/CN113536003A/zh
Application granted granted Critical
Publication of CN113536003B publication Critical patent/CN113536003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例公开了一种特征提取模型训练方法、图像检索方法、装置和设备，所述方法可以将包含多种类别的样本图像的批量样本图像输入目标特征提取模型，得到该批样本图像的原始特征；并对该批样本图像的原始特征进行选择性掩码，以掩去该批样本图像的原始特征中具有区分性的特征元素，得到该批样本图像的掩码特征；然后基于该批样本图像的掩码特征计算损失；最后基于该损失最小的策略优化所述目标特征提取模型的参数。

Description

特征提取模型训练方法、图像检索方法、装置和设备
技术领域
本文件涉及计算机技术领域，尤其涉及一种特征提取模型训练方法、图像检索方法、 装置和设备。
背景技术
图像检索在计算机视觉识别领域中占有重要地位，例如，细粒度图像检索在人的身份 识别和宠物的身份识别等领域被广泛应用。其中，细粒度图像检索是指同一类别下不同个 体(或称对象)的图像检索，比如不同的人、猫、狗、花等的图像检索。
特征提取是图像检索中很重要的一环，特征提取结果的好坏直接影响检索的效果。当 前的特征提取方案仅能捕获图像中明显的视觉线索，而忽略细微的视觉线索，这使得提取 出的特征的检索效果不理想。
发明内容
本说明书实施例提供了一种特征提取模型训练方法、图像检索方法、装置和设备，以 捕获图像中更多的细微的视觉线索，从而提升图像检索效果。
为解决上述技术问题，本说明书实施例是这样实现的：
第一方面，提出了一种特征提取模型训练方法，包括：
将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征，其中， 所述批量样本图像中包含多种类别的样本图像；
对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特 征中具有区分性的特征元素，得到所述批量样本图像的掩码特征；
基于所述批量样本图像的掩码特征计算损失；
基于所述损失最小的策略优化所述目标特征提取模型的参数，以得到优化后的所述目 标特征提取模型。
第二方面，提出了一种图像检索方法，包括：
获取待检索图像；
将所述待检索图像输入目标特征提取模型，得到所述待检索图像的特征，其中，所述 目标特征提取模型由第一方面所述的方法训练得到；
基于所述特征从预设图像库中检索与所述待检索图像相似的图像。
第三方面，提出了一种特征提取模型训练装置，包括：
原始特征提取模块，用于将批量样本图像输入目标特征提取模型，得到所述批量样本 图像的原始特征，其中，所述批量样本图像中包含多种类别的样本图像；
特征选择掩码模块，对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批 量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征；
损失计算模块，基于所述批量样本图像的掩码特征计算损失；
参数优化模块，基于所述损失最小的策略优化所述目标特征提取模型的参数，以得到 优化后的所述目标特征提取模型。
第四方面，提出了一种图像检索装置，包括：
图像获取模块，获取待检索图像；
特征提取模块，将所述待检索图像输入目标特征提取模型，得到所述待检索图像的特 征，其中，所述目标特征提取模型由第一方面所述的方法训练得到；
图像检索模块，基于所述特征从预设图像库中检索与所述待检索图像相似的图像。
第五方面，提出了一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器 执行以下操作：
将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征，其中， 所述批量样本图像中包含多种类别的样本图像；
特征选择掩码模块，对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批 量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征；
损失计算模块，基于所述批量样本图像的掩码特征计算损失；
参数优化模块，基于所述损失最小的策略优化所述目标特征提取模型的参数，以得到 优化后的所述目标特征提取模型。
第六方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多 个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设 备执行以下操作：
将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征，其中， 所述批量样本图像中包含多种类别的样本图像；
特征选择掩码模块，对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批 量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征；
损失计算模块，基于所述批量样本图像的掩码特征计算损失；
参数优化模块，基于所述损失最小的策略优化所述目标特征提取模型的参数，以得到 优化后的所述目标特征提取模型。
第七方面，提出了一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器 执行以下操作：
获取待检索图像；
将所述待检索图像输入目标特征提取模型，得到所述待检索图像的特征，其中，所述 目标特征提取模型由第一方面所述的方法训练得到；
基于所述特征从预设图像库中检索与所述待检索图像相似的图像。
第八方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多 个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设 备执行以下操作：
获取待检索图像；
将所述待检索图像输入目标特征提取模型，得到所述待检索图像的特征，其中，所述 目标特征提取模型由第一方面所述的方法训练得到；
基于所述特征从预设图像库中检索与所述待检索图像相似的图像。
由以上本说明书实施例提供的至少一个技术方案，由于是基于掩去一批样本图像批量 样本图像的原始特征中具有区分性的特征元素得到的掩码特征计算损失，并根据该损失最 小的策略优化目标特征提取模型的参数，因此能够对区分性不好的特征元素不断进行迭代加强学习，最终增加利用目标特征提取模型提取的原始特征中区分性好的特征元素的数量， 从而提高利用目标特征提取模型提取的特征的鲁棒性，所以能捕获图像中更多的细微的视觉线索，提升图像检索效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的 示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本说明书一个实施例提供的一种特征提取模型训练方法的流程示意图。
图2是本说明书一个实施例提供的一种特征提取模型训练方法的原理示意图。
图3是本说明书一个实施例提供的对原始特征进行选择性掩码的原理示意图。
图4是本说明书一个实施例提供的一种特征提取模型训练方法的效果示意图。
图5是本说明书一个实施例提供的一种图像检索方法的流程示意图。
图6是本说明书一个实施例提供的一种电子设备的结构示意图。
图7是本说明书一个实施例提供的一种特征提取模型训练装置的结构示意图。
图8是本说明书另一实施例提供的一种图像检索装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应 的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部 分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文件保护的范围。
本说明书实施例提供一种特征提取模型训练方法和装置，以及一种图像检索方法和装 置。这些方法和装置可以由电子设备执行，或者由安装在电子设备中的软件或硬件设备执 行。这里的电子设备包括但不限于终端设备或服务器，其中，终端设备包括但不限于：智能手机、个人电脑(personalcomputer，PC)、笔记本电脑、平板电脑、电子阅读器、网络 电视、可穿戴设备等智能终端设备中的任一种；其中，服务器可以是保险公司的后台服 务端设备，该服务器包括但不限于：单台服务器、服务器集群、云端服务器或云端 服务器集群等。
在本说明书提供的实施例中，特征是原始数据的降维表示。例如，图像的特征 是指图像数据的降维表示。
下面先对本说明书实施例提供的一种特征提取模型训练方法进行说明。
如图1所示，本说明书的一个实施例提供了一种特征提取模型训练方法，可以包括：
步骤102、将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征， 其中，所述批量样本图像中包含多种类别的样本图像。
目标特征提取模型可以是任何能够进行图像特征提取的模型，例如，目标特征提取模 型可以包括但不限于卷积神经网络(Convolutional Neural Networks,CNN)和变换器模型 (transformer)中的一种。
批量(abatch)样本图像可以是从训练集中获取的N张样本图像，N为正整数。该批样 本图像中包含多种类别的样本图像，是指包含两种类别以上的样本图像，具体可以记为C 类，C为大于或等于2的整数，N＝C*K，其中，K为一种类别的样本图像的数量。在本说 明书提供的实施例中，不同类别的样本图像，既可以是指同一大类别下的不同细分类别， 比如“人”这一大类别下的不同个体，也可以是指不同的大类别，比如“人”与“动物”等。
样本图像的原始特征是指利用目标特征提取模型从样本图像中提取出的未经处理的特 征，例如未经后续的选择性掩码的特征。
步骤104、对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像 的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征。
一个样本图像的原始特征中的特征元素是否具有区分性，可以通过多种手段来判断， 例如通过比对不同类别的样本图像的原始特征中该特征元素的差异程度是否满足预设要求 (差异是否达到预设标准)来判断，一般来说，如果差异程度满足预设要求，则说明具有 区分性，反之，则没有区分性，下面举两个详细的例子来说明。
第一个例子，判断样本图像A的原始特征中某一特征元素是否具有区分性的方式可以 包括：判断样本图像A的原始特征中该特征元素的值，与样本图像B的原始特征中该特征元素的值的差值是否满足预设要求(例如，差值是否超过预设门限值)，如果满足，则说明书样本图像A的原始特征中的该特征元素具有区分性，反之，则没有区分性，其中，样本 图像A和样本图像B属于不同的类别。
第二个例子，判断样本图像A的原始特征中某一特征元素是否具有区分性的方式可以 包括：判断样本图像A的原始特征中该特征元素的值，与另外多个样本图像的原始特征中 该特征元素的值的差值的平均值是否满足预设要求(例如，平均值是否超过预设门限值)， 如果满足，则说明书样本图像A的原始特征中的该特征元素具有区分性，反之，则没有区 分性，其中，所述另外多个样本图像分别属于多种样本类别。
不难理解，掩去批量样本图像的原始特征中具有区分性的特征元素，意味着保留该批 样本图像的原始特征中没有区分性的特征元素，这一方面可以使训练的好(学习的比较充 分的)的特征元素停止训练，转而迭代加强训练不足的特征元素，从使训练的好的特征元 素的数量增加，最终使从样本图像中提取的原始特征中尽可能多的元素具有好的区分性，进而提升原始特征的鲁棒性；另一方面，可以使该批样本图像中异类样本图像间的相似性 增大，并使该批样本图像中同类样本图像间的相似性减小，从而使特征空间的学习变得更 难，进而使模型参数的优化更彻底，最终提升原始特征的鲁棒性。
下文会通过详细的例子，说明对所述批量样本图像的原始特征进行选择性掩码，得到 所述批量样本图像的掩码特征的具体过程，此处暂不赘述。
步骤106、基于所述批量样本图像的掩码特征计算损失。
步骤108、基于所述损失最小的策略优化所述目标特征提取模型的参数。
可以理解，步骤102至步骤108描述的过程代表一轮训练，在步骤108结束后继续返回执行步骤102以进行下一轮训练，如此反复迭代，直到目标特征提取模型收敛，即完成 目标特征提取模型训练。判断目标特征提取模型是否收敛的手段为步骤106计算得到的损 失是否达到预设的最小标准，若达到，则收敛，否则，未收敛，需要继续训练。
本说明书实施例提供的一种特征提取模型训练方法，由于是基于掩去批量样本图像的原始特征中具有区分性的特征元素得到的掩码特征计算损失，并根据该损失优化目标特征 提取模型的参数，因此能够对区分性不好的特征元素不断进行迭代加强学习，最终增加利 用目标特征提取模型提取的原始特征中区分性好的特征元素的数量，从而提高利用目标特 征提取模型提取的特征的鲁棒性，所以能够捕获图像中更多的细微的视觉线索，提升图像检索效果。
可选地，在上述步骤104中，所述对所述批量样本图像的原始特征进行选择性掩码， 得到所述批量样本图像的掩码特征，可以包括：先确定第一类样本图像的至少一个选择性 特征掩码矩阵；然后将所述第一类样本图像的原始特征分别与所述至少一个选择性特征掩码矩阵进行点乘，得到对应数量的所述第一类样本图像的掩码特征。
其中，第一类样本图像为上多种(C种)类别的样本图像中的任一种；选择性特征掩码 矩阵的维度与样本图像的原始特征的维度相同，且第一类样本图像的选择性特征掩码矩阵 中目标位置元素的值，是根据第一类样本图像与第二类样本图像的原始特征中相应位置特 征元素的值的差异程度确定的，所述差异程度越大，选择性特征掩码矩阵中目标位置元素的值越小，所述差异程度越小，选择性特征掩码矩阵中目标位置元素的值越大；第二类样 本图像包括所述多种类别的样本图像中除所述第一类样本图像外的至少一种样本图像。
可以理解，由于第一类样本图像可以是上多种(C种)类别的样本图像中的任一种，因 此，在对上述批量样本图像中各类别的样本图像分别执行一次上述确定掩码特征的步骤之 后，即可得到上述批量样本图像的掩码特征。
还可以理解，由于第一类样本图像的选择性特征掩码矩阵中目标位置元素的值，是根 据第一类样本图像与第二类样本图像的原始特征中相应位置特征元素的值的差异程度确定 的，且所述差异程度与选择性特征掩码矩阵中目标位置元素的值负相关，即差异程度越大，选择性特征掩码矩阵中目标位置元素的值越小(如等于0)，差异程度越小，选择性特征掩 码矩阵中目标位置元素的值越大(如等于1)，所以，将第一类样本图像的原始特征分别与所述至少一个选择性特征掩码矩阵进行点乘之后，便可以掩去第一类样本图像的原始特征 中具有区分性的特征元素，同时保留第一类样本图像的原始特征中没有区分性的特征元素， 从而得到第一类样本图像的掩码特征。
在上述基础上，进一步地，假设上述第二类型样本图像有多种，例如，假设上述批量 样本图像中包含10种类别(C＝10)的样本图像，其中，第一类样本图像为这10种类别中的任一种，第二类样本图像是剩余9种类别中的至少两种，则上述确定第一类样本图像的至少一个选择性特征掩码矩阵，可以包括：
步骤1、分别基于第一类样本图像与所述至少两种第二类样本图像的原始特征中目标位 置特征元素的值的差异程度，确定所述第一类样本图像的多个第一选择性特征掩码矩阵中 相应位置元素的值，得到多个第一选择性特征掩码矩阵，其中，一种第二类样本图像对应确定出一个第一选择性特征掩码矩阵。
具体的，基于第一类样本图像与一种第二类样本图像的原始特征中目标位置特征元素 的值的差异程度，确定所述第一类样本图像的一个第一选择性特征掩码矩阵中相应位置元 素的值，可以包括：确定第一类样本图像与该第二类样本图像的原始特征中目标位置特征元素的值的差异程度，并将该差异程度与目标门限值进行比较；在该差异程度小于所述目 标门限值时，确定所述第一类样本图像的该第一选择性特征掩码矩阵中相应位置元素的值 为第一值；在该差异程度大于或等于所述目标门限值时，确定所述第一类样本图像的该第 一选择性特征掩码矩阵中相应位置元素的值为第二值；其中，所述第二值远小于所述第一值。
举例来说，先将一张第一类样本图像xi输入目标特征提取模型，得到xi的原始特征fi， 将一张第二类样本图像xj输入目标特征提取模型，得到xj的原始特征fj，第一类样本图像xi的 第一选择性特征掩码矩阵用Ti，j表示，Ti，j的维度与fi和fj的维度相同；然后，确定fi与fj中相 应位置特征元素的差异程度，并在该差异程度小于目标门限值时，确定Ti，j中相应位置元素 的值为第一值(如1)；在该差异程度大于或等于所述目标门限值时，确定Ti，j中相应位置元 素的值为第二值(如0)。
其中，差异程度及目标门限值，可通过如下两种方式确定：
第一种，如果目标特征提取模型为CNN和变换器模型中的一种，则，可以用第一类样 本图像与第二类样本图像的原始特征中目标位置特征元素值之差的绝对值，表征第一类样 本图像与第二类样本图像的原始特征中目标位置特征元素的值的差异程度，并且，可以根据第一类样本图像与第二类样本图像的原始特征中全部或部分元素值之差的绝对值的平均 值确定所述目标门限值。
例如：
其中，表示fi与fi中第k个元素的差异程度。
其中，D表示fi、fj和Ti，j的维度，λ为预先定义的系数，M表示目标门限值。
第二种，如果目标特征提取模型为CNN，则，可以用CNN的全连接层(FullyConnected， FC)中第一类样本图像与第二类样本图像的权重中相应位置元素值之差的绝对值，表征第 一类样本图像与第二类样本图像的原始特征中目标位置特征元素的值的差异程度，并且， 可以根据所述全连接层中第一类样本图像与第二类样本图像的权重中全部或部分元素值之 差的绝对值的平均值确定所述目标门限值。
例如：
Wi，j＝|wi-wj|
其中，wi表示第一类样本图像xi在FC中的权重，wj表示第二类样本图像xj在FC中的权重，Wi，j表示第一类样本图像xi与第二类样本图像xj中的元素的差异程度。
其中，D表示fi、fj和Ti，j的维度，λ为预先定义的系数，M表示目标门限值。
步骤2、对所述多个第一选择性特征掩码矩阵进行求和，得到所述第一类样本图像的第 二选择性特征掩码矩阵。
例如，当第二类样本图像包括上述批量样本图像中的多种类别样本图像中除上述第一 类样本图像的剩余类别时，第一类样本图像的第二选择性特征掩码矩阵可表示为：
步骤3、对所述第二选择性特征掩码矩阵进行取反运算，得到所述第一类样本图像的第 三选择性特征掩码矩阵。
例如，第一类样本图像的第三选择性特征掩码矩阵可表示为
在上述基础上，进一步地，上述将所述第一类样本图像的原始特征分别与所述至少一 个选择性特征掩码矩阵进行点乘，得到对应数量的所述第一类样本图像的掩码特征，可包 括：
步骤1、将所述第一类样本图像的原始特征分别与所述多个第一选择性特征掩码矩阵进 行点乘，得到对应数量的所述第一类样本图像的多个第一掩码特征。
例如，第一类样本图像的一个第一掩码特征可表示为：
Fi，j＝fi×Ti，j
步骤2、将所述第一类样本图像的原始特征与所述第二选择性特征掩码矩阵进行点乘， 得到对应数量的所述第一类样本图像的第二掩码特征。
例如，第一类样本图像的第二掩码特征可表示为：
Fi，all＝fi×Ti，all
步骤3、将所述第一类样本图像的原始特征与所述第三选择性特征掩码矩阵进行点乘， 得到对应数量的所述第一类样本图像的第三掩码特征。
例如，第一类样本图像的第三掩码特征可表示为：
在上述基础上，进一步地，上述步骤108可以包括：基于三元组损失函数以及所述批 量样本图像的第一掩码特征、第二掩码特征和第三掩码特征，计算损失。
具体的，三元组损失函数可以包括基于代理的损失函数(如交叉熵损失函数)和基于 度量学习的损失函数。相应的，可以先利用基于代理的损失函数以及所述批量样本图像的 第一掩码特征和第二掩码特征，计算第一损失，其中，目标类别的样本图像的代理为所述 目标类别样本图像在所述全连接层中的权重，所述目标类别为所述多种类别(C种)中的任 一类别，例如，wi为xi这一类别样本图像的代理，wj为xj这一类别样本图像的代理。基于所 述基于度量学习的损失函数以及所述批量样本图像的第一掩码特征和第三掩码特征，计算 第二损失；基于所述第一损失和所述第二损失，确定总损失。具体的损失函数将在下文中 详细介绍，此处按下不表。
在上述基础上，进一步地，上述步骤110，可以包括：基于所述总损最小的策略失优化 所述目标特征提取模型的参数，其中，所述参数包括所述全连接层的权重。
下面结合图2、图3和图4，对目标特征提取模型为CNN时的训练原理进行说明。
图2示出了本说明书一个实施例提供的一种特征提取训模型的训练方法的一种原理示 意图。图3示出了图2中对原始特征进行选择性掩码的原理示意图。如图2所示，本说明书实施例提供的对样本图像的原始特征进行选择性掩码的机制可以称为判别性感知机制(AiscriminationAware Mechanism，DAM)。
如图2所示，本说明书一个实施例提供的一种特征提取训模型的训练方法，可包括：
首先，将批量样本图像21：xa、xp和xn输入目标特征提取模型22之后，可以得到该批样本图像的原始特征23：fa、fp和fn，其中，xa代表锚点样本(anchorsample)，xp代表xa的 同类样本，xn代表xa的异类样本。
其次，基于CNN中全连接层的权重26进行特征元素的区分性选择(Discriminationselection)，也即基于CNN的全连接层中的权重26确定样本图像的选择性特征掩码矩阵24：Ta，all、和Ta，n。
如上文所述，可以基于第一类样本图像与多种第二类样本图像的原始特征中目标位置 特征元素的值的差异程度，确定所述第一类样本图像的多个第一选择性特征掩码矩阵中相 应位置元素的值；对所述多个第一选择性特征掩码矩阵进行求和，得到所述第一类样本图像的第二选择性特征掩码矩阵；对所述第二选择性特征掩码矩阵进行取反运算，得到所述 第一类样本图像的第三选择性特征掩码矩阵。其中，第一类样本图像与第二类样本图像的 原始特征中目标位置特征元素的值的差异程度，可以用CNN的全连接层中第一类样本图像 与第二类样本图像的权重中相应位置元素值之差的绝对值；目标门限值，可以根据CNN的 全连接层中第一类样本图像与第二类样本图像的权重中全部或部分元素值之差的绝对值的 平均值确定；然后将该差异程度与目标门限值进行比较；在该差异程度小于目标门限值时，确定第一类样本图像的第一选择性特征掩码矩阵中相应位置元素的值为第一值；在该差异 程度大于或等于目标门限值时，确定第一类样本图像的第一选择性特征掩码矩阵中相应位 置元素的值为第二值，其中，所述第二值远小于所述第一值，例如，可以将第一值设置为1， 将第二值设置为0。
具体如图3所示，可以用wi表示第一类样本图像xi在FC中的权重，用wj表示第二类样 本图像xj在FC中的权重，通常情况下，在训练集中的样本图像种类为C类，样本图像的原始特征的维度为D维时，全连接层的权重为D*C维，一种类别的样本图像的权重为D维； 相应的，如果用Wi，j表示第一类样本图像xi与第二类样本图像xj中的元素的差异程度，用M 表示目标门限值，用Ti，j表示第一类样本图像xi的第一选择性特征掩码矩阵，用表示Ti，j中 第k个元素的值，那么：
Wi，j＝|wi-wj|
可以理解，在i＝a，j＝n时，即可利用上述公式计算得到Ta，all、和Ta，n。
再次，将原始特征23与选择性特征掩码矩阵24进行点乘，得到掩码特征25：Fa，all、和Fa，n。
例如，如图3所示：
Fi，j＝fi×Ti，j
Fi，all＝fi×Ti，all
同样可以理解，在i＝a，j＝n时，即可利用上述公式计算得到Fa，all、和Fa，n。
在图3中，被虚线框30圈起来的Fi，j以及Fj，i即为被掩去的特征元素。
然后，利用基于代理的损失函数(Proxy-basedloss)27、全连接层的权重26、Fa，all以及Fa，n， 计算第一损失。
基于代理的损失函数可以表示为：
其中，yi为样本图像xi的标签，yi是C维的独热向量，表 示样本图像为l，/>
接下来，利用基于度量学习的损失函数(Pair-basedloss)28、以及Fa，n，计算第二 损失。
基于度量学习的损失函数可以表示为：
其中，[·]+＝max(，0)，α为预先定义的值，d(·)表示欧氏距离。
最后，基于所述第一损失和所述第二损失，确定总损失。
总的损失函数可以表示为：
LDAM＝μLsCEDAM+vLTriHardDAM
其中，μ和v是两个可调参数，分别表示LSCEDAM和LTriHardDAM的权重。
可以理解，在确定出总损失以后，可以根据总损失最小的策略对目标特征提取模型的 参数进行优化，并进行下一轮训练，直到目标特征提取模型收敛。
图4示出了图2所示的特征提取模型训练方法的效果示意图。如图4所示，将三元组样本图像xa、xp和xn(其中，xa代表锚点样本(anchorsample)，xp代表xa的同类样本，xn代 表xa的异类样本)输入目标特征提取模型——CNN进行特征嵌入(FeatureEmbedding)后， 可以得到它们的原始特征fa、fp和fn及全连接层权重wa、wn构成的原始特征空间(OriginalFeatureSpace)；在利用DAM机制对原始特征进行选择性掩码之后，可以得到掩码特征Fa、Fp和Fn及全连接层权重wa、wn掩码特征空间(DAMFeatureSpace)；最后利用掩 码特征和三元组损失函数(基于代理的损失函数和基于度两学系的损失函数)计算损失可以优化目标特征提取模型——CNN的参数，然后转入下一轮训练。在图4所示的原始特征 空间和掩码特征空间中，wa代表同类样本xa和xp的类中心，wn代表异类样本xn的类中心， 虚线圆圈所限定的范围表示相应类的样本的分布。
对图4中的原始特征空间和掩码特征空间进行对比，不难发现，利用DAM机制对原始 特征空间中的原始特征进行选择性掩码之后，可以拉大同类样本间的欧式距离(Fa与Fp之间 的距离大于fa与fp之间的距离)，缩小异类样本间的欧式距离(Fa与Fn之间的距离小于fa与fn之间的距离)。也就是说，利用DAM机制对原始特征空间中的原始特征进行选择性掩码之 后，可以使批量样本图像中异类样本图像间的相似性增大，并使该批样本图像中同类样本 图像间的相似性减小，从而使特征空间的学习变得更难，进而使模型参数的优化更彻底， 取得更好的泛化性能，最终提升特征的鲁棒性。
在上述特征提取模型训练方法的基础上，本说明的另一实施例还提供了一种图像检索 方法，下面进行说明。
图5示出了本说明书另一实施例提供的一种图像检索方法，该方法可以包括：
步骤502、获取待检索图像。
在实际应用中获取待检索图像的方式由图5所示的方法的应用场景来定。例如，在宠 物身份识别这一场景下，待检索图像可以是用户上传的宠物照片。
步骤504、将所述待检索图像输入目标特征提取模型，得到所述待检索图像的特征。
其中，目标特征提取模型即上述任一实施例提供的特征提取模型训练方法训练得到的特征提取模型。
步骤506、基于所述特征从预设图像库中检索与所述待检索图像相似的图像。
以宠物医疗保险理赔场景中的宠物身份识别为例，用户在其投保的宠物发生就医事实 后，会向理赔平台上传该宠物的照片以获取理赔。相应的，理赔平台在获取到要求理赔的 宠物照片之后，将该照片输入上文训练出的目标特征提取模型，得到该宠物的照片的特征，然后利用该特征从宠物照片库中比对查询该照片是否来自同一宠物，从而确定是否给予赔 付。
本说明书实施例提供的一种图像检索方法，由于能够利用目标特征提取模型从待检索 图像中提取出鲁棒性好的特征，因此能够提升检索效果。
以上对本说明书提供的方法进行了说明，下面对本说明书提供的电子设备进行介绍。
图6是本说明书的一个实施例提供的电子设备的结构示意图。请参考图6，在硬件层面， 该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构) 总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用 一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作 指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上 形成特征提取模型训练装置。处理器，执行存储器所存放的程序，并具体用于执行以下操 作：
将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征，其中， 所述批量样本图像中包含多种类别的样本图像；
对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特 征中具有区分性的特征元素，得到所述批量样本图像的掩码特征；
基于所述批量样本图像的掩码特征计算损失；
基于所述损失最小的策略优化所述目标特征提取模型的参数，以得到优化后的所述目 标特征提取模型。
或者，处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑 层面上形成图像检索装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取待检索图像；
将所述待检索图像输入目标特征提取模型，得到所述待检索图像的特征，其中，所述 目标特征提取模型由上述特征提取模型训练方法训练得到；
基于所述特征从预设图像库中检索与所述待检索图像相似的图像。
上述如本说明书图1或图5所示实施例揭示的方法可以应用于处理器中，或者由处理 器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、 专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－ Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书一个或多个实施例中的公开的各方法、步骤及 逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合 本说明书一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成， 或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的 存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述 方法的步骤。
该电子设备还可执行图1或图5所示的实施例提供的方法，本说明书在此不再赘述。
当然，除了软件实现方式之外，本说明书的电子设备并不排除其他实现方式，比如逻 辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻 辑单元，也可以是硬件或逻辑器件。
本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个 或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设 备执行时，能够使该便携式电子设备执行图1所示实施例的方法，并具体用于执行以下操作：
将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征，其中， 所述批量样本图像中包含多种类别的样本图像；
对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特 征中具有区分性的特征元素，得到所述批量样本图像的掩码特征；
基于所述批量样本图像的掩码特征计算损失；
基于所述损失最小的策略优化所述目标特征提取模型的参数，以得到优化后的所述目 标特征提取模型。
本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个 或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设 备执行时，能够使该便携式电子设备执行图5所示实施例的方法，并具体用于执行以下操作：
获取待检索图像；
将所述待检索图像输入目标特征提取模型，得到所述待检索图像的特征，其中，所述 目标特征提取模型由上述特征提取模型训练方法训练得到；
基于所述特征从预设图像库中检索与所述待检索图像相似的图像。
下面对本说明书提供的装置进行说明。
如图7所示，本说明书的一个实施例提供了一种特征提取模型训练装置700，在一种软 件实施方式中，装置700可包括：原始特征提取模块701、特征选择掩码模块702、损失计 算模块703和参数优化模块704。
原始特征提取模块701，用于将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征，其中，所述批量样本图像中包含多种类别的样本图像。
特征选择掩码模块702，对所述批量样本图像的原始特征进行选择性掩码，以掩去所述 批量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征。
损失计算模块703，基于所述批量样本图像的掩码特征计算损失。
参数优化模块704，基于所述损失最小的策略优化所述目标特征提取模型的参数，以得 到优化后的所述目标特征提取模型。
需要说明的是，特征提取模型训练装置700能够实现图1的方法，并能取得相同的技 术效果，详细内容可参考图1所示的方法，不再赘述。
如图8所示，本说明书的一个实施例提供了一种图像检索装置800，在一种软件实施方 式中，装置800可包括：图像获取模块801、特征提取模块802和图像检索模块803。
图像获取模块801，获取待检索图像。
特征提取模块802，将所述待检索图像输入目标特征提取模型，得到所述待检索图像的 特征，其中，所述目标特征提取模型由上述特征提取模型训练方法训练得到。
图像检索模块803，基于所述特征从预设图像库中检索与所述待检索图像相似的图像。
需要说明的是，图像检索装置800能够实现图5的方法，并能取得相同的技术效果，详细内容可参考图5所示的方法，不再赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在 一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并 且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或 者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互 相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施 例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
总之，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。 凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等， 均应包含在本说明书一个或多个实施例的保护范围之内。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或 者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可 以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备 中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技 术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计 算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电 可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他 磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号 和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含， 从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没 有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制时，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、 方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互 相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施 例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (17)

1.一种特征提取模型训练方法，包括：
将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征，其中，所述批量样本图像中包含多种类别的样本图像；
对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征；
基于所述批量样本图像的掩码特征计算损失；
基于损失最小的策略优化所述目标特征提取模型的参数，以得到优化后的所述目标特征提取模型；
其中，所述对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征，包括：
确定第一类样本图像的至少一个选择性特征掩码矩阵，其中，所述第一类样本图像为所述多种类别的样本图像中的任一种，所述选择性特征掩码矩阵的维度与样本图像的原始特征的维度相同，且所述选择性特征掩码矩阵中目标位置元素的值是根据所述第一类样本图像与第二类样本图像的原始特征中相应位置特征元素的值的差异程度确定的，所述差异程度与所述目标位置元素的值负相关，所述第二类样本图像包括所述多种类别的样本图像中除所述第一类样本图像外的至少一种；
将所述第一类样本图像的原始特征分别与所述至少一个选择性特征掩码矩阵进行点乘，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到对应数量的所述第一类样本图像的掩码特征。
2.根据权利要求1所述的方法，所述第二类样本图像包括所述多种类别的样本图像中的至少两种，其中，所述确定第一类样本图像的至少一个选择性特征掩码矩阵，包括：
分别基于第一类样本图像与所述至少两种第二类样本图像的原始特征中目标位置特征元素的值的差异程度，确定所述第一类样本图像的多个第一选择性特征掩码矩阵中相应位置元素的值，得到多个第一选择性特征掩码矩阵，其中，一种第二类样本图像对应确定出一个第一选择性特征掩码矩阵；
对所述多个第一选择性特征掩码矩阵进行求和，得到所述第一类样本图像的第二选择性特征掩码矩阵；
对所述第二选择性特征掩码矩阵进行取反运算，得到所述第一类样本图像的第三选择性特征掩码矩阵。
3.根据权利要求2所述的方法，其中，基于第一类样本图像与一种第二类样本图像的原始特征中目标位置特征元素的值的差异程度，确定所述第一类样本图像的一个第一选择性特征掩码矩阵中相应位置元素的值，包括：
确定第一类样本图像与该第二类样本图像的原始特征中目标位置特征元素的值的差异程度；
在该差异程度小于目标门限值时，确定所述第一类样本图像的该第一选择性特征掩码矩阵中相应位置元素的值为第一值；
在该差异程度大于或等于目标门限值时，确定所述第一类样本图像的该第一选择性特征掩码矩阵中相应位置元素的值为第二值；
其中，所述第二值远小于所述第一值。
4.根据权利要求1-3任一项所述的方法，
所述目标特征提取模型包括卷积神经网络和变换器模型中的一种。
5.根据权利要求3所述的方法，
第一类样本图像与第二类样本图像的原始特征中目标位置特征元素的值的差异程度，用第一类样本图像与第二类样本图像的原始特征中目标位置特征元素值之差的绝对值表征；
所述目标门限值是根据第一类样本图像与第二类样本图像的原始特征中全部或部分元素值之差的绝对值的平均值确定的。
6.根据权利要求3所述的方法，所述目标特征提取模型为卷积神经网络，所述卷积神经网络包含全连接层；
第一类样本图像与第二类样本图像的原始特征中目标位置特征元素的值的差异程度，用所述全连接层中第一类样本图像与第二类样本图像的权重中相应位置元素值之差的绝对值表征；
所述目标门限值是根据所述全连接层中第一类样本图像与第二类样本图像的权重中全部或部分元素值之差的绝对值的平均值确定的。
7.根据权利要求6所述的方法，其中，所述将所述第一类样本图像的原始特征分别与所述至少一个选择性特征掩码矩阵进行点乘，得到对应数量的所述第一类样本图像的掩码特征，包括：
将所述第一类样本图像的原始特征与所述多个第一选择性特征掩码矩阵进行点乘，得到对应数量的所述第一类样本图像的多个第一掩码特征；
将所述第一类样本图像的原始特征与所述第二选择性特征掩码矩阵进行点乘，得到对应数量的所述第一类样本图像的第二掩码特征；
将所述第一类样本图像的原始特征与所述第三选择性特征掩码矩阵进行点乘，得到对应数量的所述第一类样本图像的第三掩码特征。
8.根据权利要求7所述的方法，其中，所述基于所述批量样本图像的掩码特征计算损失，包括：
基于三元组损失函数以及所述批量样本图像的第一掩码特征、第二掩码特征和第三掩码特征，计算损失。
9.根据权利要求8所述的方法，所述三元组损失函数包括基于代理的损失函数和基于度量学习的损失函数，其中，所述基于三元组损失函数以及所述批量样本图像的第一掩码特征、第二掩码特征和第三掩码特征，计算损失，包括：
基于所述基于代理的损失函数以及所述批量样本图像的第一掩码特征和第二掩码特征，计算第一损失，其中，目标类别的样本图像的代理为所述目标类别样本图像在所述全连接层中的权重，所述目标类别为所述多种类别中的任一类别；
基于所述基于度量学习的损失函数以及所述批量样本图像的第一掩码特征和第三掩码特征，计算第二损失；
基于所述第一损失和所述第二损失，确定总损失。
10.根据权利要求9所述的方法，其中，所述基于损失最小的策略优化所述目标特征提取模型的参数，包括：
基于总损失最小的策略优化所述目标特征提取模型的参数，其中，所述参数包括所述全连接层的权重。
11.一种图像检索方法，包括：
获取待检索图像；
将所述待检索图像输入目标特征提取模型，得到所述待检索图像的特征，其中，所述目标特征提取模型由权利要求1-10中任一项所述的方法训练得到；
基于所述特征从预设图像库中检索与所述待检索图像相似的图像。
12.一种特征提取模型训练装置，包括：
原始特征提取模块，用于将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征，其中，所述批量样本图像中包含多种类别的样本图像；
特征选择掩码模块，对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征；
损失计算模块，基于所述批量样本图像的掩码特征计算损失；
参数优化模块，基于损失最小的策略优化所述目标特征提取模型的参数，以得到优化后的所述目标特征提取模型；
其中，所述特征选择掩码模块具体用于：
确定第一类样本图像的至少一个选择性特征掩码矩阵，其中，所述第一类样本图像为所述多种类别的样本图像中的任一种，所述选择性特征掩码矩阵的维度与样本图像的原始特征的维度相同，且所述选择性特征掩码矩阵中目标位置元素的值是根据所述第一类样本图像与第二类样本图像的原始特征中相应位置特征元素的值的差异程度确定的，所述差异程度与所述目标位置元素的值负相关，所述第二类样本图像包括所述多种类别的样本图像中除所述第一类样本图像外的至少一种；
将所述第一类样本图像的原始特征分别与所述至少一个选择性特征掩码矩阵进行点乘，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到对应数量的所述第一类样本图像的掩码特征。
13.一种图像检索装置，包括：
图像获取模块，获取待检索图像；
特征提取模块，将所述待检索图像输入目标特征提取模型，得到所述待检索图像的特征，其中，所述目标特征提取模型由权利要求1-10中任一项所述的方法训练得到；
图像检索模块，基于所述特征从预设图像库中检索与所述待检索图像相似的图像。
14.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征，其中，所述批量样本图像中包含多种类别的样本图像；
对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征；
基于所述批量样本图像的掩码特征计算损失；
基于损失最小的策略优化所述目标特征提取模型的参数，以得到优化后的所述目标特征提取模型；
其中，所述对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征，包括：
确定第一类样本图像的至少一个选择性特征掩码矩阵，其中，所述第一类样本图像为所述多种类别的样本图像中的任一种，所述选择性特征掩码矩阵的维度与样本图像的原始特征的维度相同，且所述选择性特征掩码矩阵中目标位置元素的值是根据所述第一类样本图像与第二类样本图像的原始特征中相应位置特征元素的值的差异程度确定的，所述差异程度与所述目标位置元素的值负相关，所述第二类样本图像包括所述多种类别的样本图像中除所述第一类样本图像外的至少一种；
将所述第一类样本图像的原始特征分别与所述至少一个选择性特征掩码矩阵进行点乘，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到对应数量的所述第一类样本图像的掩码特征。
15.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征，其中，所述批量样本图像中包含多种类别的样本图像；
对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征；
基于所述批量样本图像的掩码特征计算损失；
基于损失最小的策略优化所述目标特征提取模型的参数，以得到优化后的所述目标特征提取模型；
其中，所述对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征，包括：
确定第一类样本图像的至少一个选择性特征掩码矩阵，其中，所述第一类样本图像为所述多种类别的样本图像中的任一种，所述选择性特征掩码矩阵的维度与样本图像的原始特征的维度相同，且所述选择性特征掩码矩阵中目标位置元素的值是根据所述第一类样本图像与第二类样本图像的原始特征中相应位置特征元素的值的差异程度确定的，所述差异程度与所述目标位置元素的值负相关，所述第二类样本图像包括所述多种类别的样本图像中除所述第一类样本图像外的至少一种；
将所述第一类样本图像的原始特征分别与所述至少一个选择性特征掩码矩阵进行点乘，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到对应数量的所述第一类样本图像的掩码特征。
16.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取待检索图像；
将所述待检索图像输入目标特征提取模型，得到所述待检索图像的特征，其中，所述目标特征提取模型由权利要求1-10中任一项所述的方法训练得到；
基于所述特征从预设图像库中检索与所述待检索图像相似的图像。
17.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取待检索图像；
将所述待检索图像输入目标特征提取模型，得到所述待检索图像的特征，其中，所述目标特征提取模型由权利要求1-10中任一项所述的方法训练得到；
基于所述特征从预设图像库中检索与所述待检索图像相似的图像。
CN202110638262.0A 2021-06-08 2021-06-08 特征提取模型训练方法、图像检索方法、装置和设备 Active CN113536003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110638262.0A CN113536003B (zh) 2021-06-08 2021-06-08 特征提取模型训练方法、图像检索方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110638262.0A CN113536003B (zh) 2021-06-08 2021-06-08 特征提取模型训练方法、图像检索方法、装置和设备

Publications (2)

Publication Number Publication Date
CN113536003A CN113536003A (zh) 2021-10-22
CN113536003B true CN113536003B (zh) 2024-03-12

Family

ID=78124709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110638262.0A Active CN113536003B (zh) 2021-06-08 2021-06-08 特征提取模型训练方法、图像检索方法、装置和设备

Country Status (1)

Country Link
CN (1) CN113536003B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494782B (zh) * 2022-01-26 2023-08-08 北京百度网讯科技有限公司 图像处理方法、模型训练方法、相关装置及电子设备
CN115187819B (zh) * 2022-08-23 2023-05-16 北京医准智能科技有限公司 图像分类模型的训练方法、装置、电子设备及存储介质
WO2024108472A1 (zh) * 2022-11-24 2024-05-30 北京京东方技术开发有限公司 模型训练方法及装置、文本图像处理方法、设备、介质
CN116955671B (zh) * 2023-09-20 2023-12-01 吉林大学 细粒度图像检索方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145827A (zh) * 2017-04-01 2017-09-08 浙江大学 基于自适应距离度量学习的跨摄像机行人再识别方法
CN111046962A (zh) * 2019-12-16 2020-04-21 中国人民解放军战略支援部队信息工程大学 基于稀疏注意力的卷积神经网络模型的特征可视化方法及系统
CN111340097A (zh) * 2020-02-24 2020-06-26 Oppo广东移动通信有限公司 图像细粒度分类方法、装置、存储介质及设备
CN111709891A (zh) * 2020-06-12 2020-09-25 北京小米松果电子有限公司 图像去噪模型的训练方法、图像去噪方法、装置及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245659B (zh) * 2019-05-21 2021-08-13 北京航空航天大学 基于前背景相互关系的图像显著对象分割方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145827A (zh) * 2017-04-01 2017-09-08 浙江大学 基于自适应距离度量学习的跨摄像机行人再识别方法
CN111046962A (zh) * 2019-12-16 2020-04-21 中国人民解放军战略支援部队信息工程大学 基于稀疏注意力的卷积神经网络模型的特征可视化方法及系统
CN111340097A (zh) * 2020-02-24 2020-06-26 Oppo广东移动通信有限公司 图像细粒度分类方法、装置、存储介质及设备
CN111709891A (zh) * 2020-06-12 2020-09-25 北京小米松果电子有限公司 图像去噪模型的训练方法、图像去噪方法、装置及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A-FPN算法及其在遥感图像船舶检测中的应用;于野;艾华;贺小军;于树海;钟兴;朱瑞飞;;遥感学报(02);全文 *
Optimizing neural-network supported acoustic beamforming by algorithmic differentiation;Christoph Boeddeker;《2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)》;全文 *
部件检测和语义网络的细粒度鞋类图像检索;陈前;刘骊;付晓东;刘利军;黄青松;;中国图象图形学报(08);全文 *

Also Published As

Publication number Publication date
CN113536003A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN113536003B (zh) 特征提取模型训练方法、图像检索方法、装置和设备
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN110909663B (zh) 一种人体关键点识别方法、装置及电子设备
US20220138252A1 (en) Image searches based on word vectors and image vectors
CN111754546A (zh) 一种基于多特征图融合的目标跟踪方法、系统及存储介质
CN111695673B (zh) 训练神经网络预测器的方法、图像处理方法及装置
CN111882031A (zh) 一种神经网络蒸馏方法及装置
CN110929638A (zh) 一种人体关键点识别方法、装置及电子设备
CN112434744B (zh) 一种多模态特征融合模型的训练方法及装置
CN111027412A (zh) 一种人体关键点识别方法、装置及电子设备
CN110717405B (zh) 人脸特征点定位方法、装置、介质及电子设备
CN114821823A (zh) 图像处理、人脸防伪模型的训练及活体检测方法和装置
CN113129298B (zh) 文本图像的清晰度识别方法
Khwildi et al. Query-by-example HDR image retrieval based on CNN
CN113837257A (zh) 一种目标检测方法及装置
CN117115557A (zh) 图像自动标注方法、系统、电子设备和存储介质
CN116503670A (zh) 图像分类及模型训练方法、装置和设备、存储介质
CN116258873A (zh) 一种位置信息确定方法、对象识别模型的训练方法及装置
CN114155388B (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN112699260A (zh) 物种识别方法及装置
CN116258906A (zh) 一种对象识别方法、特征提取模型的训练方法及装置
CN115841672A (zh) 文字检测识别方法、装置及设备
CN116071804A (zh) 人脸识别的方法、装置和电子设备
CN114860967A (zh) 一种模型训练的方法、信息推荐的方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant