CN115146092A - 特征模型的获取方法、图像处理方法、装置及计算机设备 - Google Patents

特征模型的获取方法、图像处理方法、装置及计算机设备 Download PDF

Info

Publication number
CN115146092A
CN115146092A CN202210397551.0A CN202210397551A CN115146092A CN 115146092 A CN115146092 A CN 115146092A CN 202210397551 A CN202210397551 A CN 202210397551A CN 115146092 A CN115146092 A CN 115146092A
Authority
CN
China
Prior art keywords
image
feature
model
sample
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210397551.0A
Other languages
English (en)
Inventor
苏树鹏
张斌杰
葛艺潇
徐敘遠
王烨鑫
单瀛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210397551.0A priority Critical patent/CN115146092A/zh
Publication of CN115146092A publication Critical patent/CN115146092A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种特征模型的获取方法、图像处理方法、装置、计算机设备及存储介质，属于计算机技术领域。本申请通过获取用于表征不同类别下样本图像的第一图像特征的差异程度的判别性参数，使得判别性参数能够控制训练得到的目标特征模型具有更优的特征提取能力，通过获取用于表征同一样本图像的第一图像特征和第二图像特征的相似程度的兼容性参数，使得兼容性参数能够控制该目标特征模型与原本的第一特征模型具有更好的兼容性能力，因此，在判别性参数和兼容性参数的共同约束下，对初始特征模型训练得到的目标特征模型，不但具有更优的特征提取能力，而且还具有很强的兼容性能力。

Description

特征模型的获取方法、图像处理方法、装置及计算机设备
技术领域
本申请涉及计算机技术领域，特别涉及一种特征模型的获取方法、图像处理方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的发展，图像检索系统得到了越来越广泛的应用。通常，图像检索系统使用特征模型提取各个原始图像的特征，形成由各个提取到的特征构成的特征库，接着，当用户提供一张查询图像，再次使用特征模型提取查询图像的特征，与特征库中各个原始图像的特征进行比较，返回与查询图像最相似的样本(可能是原始图像、原始图像对应的索引或者链接等)给用户。
为了提升图像检索系统的性能，通常在优化过程中会对特征模型进行升级，并使用升级后的特征模型提取各个原始图像的新特征，再整体使用提取到的新特征替换掉原本特征库中已有的旧特征，然而，这一方式在要求隐私保护的背景下无法适用，出于隐私保护的要求，服务器侧只能存储利用原始图像提取到的特征，而不能保留原始图像，这代表即使升级了特征模型也无法拿到原始图像，来提取对应的新特征，因此，亟需一种针对隐私保护的图像检索系统，获取性能更优的新特征模型的方式。
发明内容
本申请实施例提供了一种特征模型的获取方法、图像处理方法、装置、计算机设备及存储介质，能够在隐私保护要求下提升图像检索系统的检索性能。
该技术方案如下：
一方面，提供了一种特征模型的获取方法，所述方法包括：
基于初始特征模型对多个样本图像提取得到的第一图像特征，获取判别性参数，所述判别性参数表征不同类别下样本图像的第一图像特征的差异程度；
基于第一特征模型对所述多个样本图像提取得到的第二图像特征和所述第一图像特征，获取兼容性参数，所述兼容性参数表征同一样本图像的第一图像特征和第二图像特征的相似程度；
基于所述判别性参数和所述兼容性参数，迭代调整所述初始特征模型的参数，以得到目标特征模型。
一方面，提供了一种图像处理方法，所述方法包括：
响应于图像查询请求，获取所述图像查询请求中携带的查询图像；
基于目标特征模型提取得到所述查询图像的查询图像特征，所述目标特征模型基于判别性参数和兼容性参数，对初始特征模型迭代调整参数得到；
从特征库中的多个库存升级特征中，确定与所述查询图像特征的匹配程度最高的目标库存特征，所述库存升级特征由特征升级模型对所述第一特征模型所提取到的库存图像特征处理得到；
返回与所述目标库存特征关联的图像检索信息。
一方面，提供了一种特征模型的获取装置，所述装置包括：
第一获取模块，用于基于初始特征模型对多个样本图像提取得到的第一图像特征，获取判别性参数，所述判别性参数表征不同类别下样本图像的第一图像特征的差异程度；
第二获取模块，用于基于第一特征模型对所述多个样本图像提取得到的第二图像特征和所述第一图像特征，获取兼容性参数，所述兼容性参数表征同一样本图像的第一图像特征和第二图像特征的相似程度；
参数调整模块，用于基于所述判别性参数和所述兼容性参数，迭代调整所述初始特征模型的参数，以得到目标特征模型。
在一种可能实施方式中，所述第二获取模块用于：
对任一样本图像，获取所述样本图像的第一图像特征和第二图像特征之间的第一相似度；
基于所述多个样本图像各自对应的第一相似度，获取所述兼容性参数。
在一种可能实施方式中，所述第一获取模块包括：
确定单元，用于对任一样本图像，基于所述样本图像的第一图像特征，确定所述初始特征模型对所述样本图像分类得到的预测类别；
第一获取单元，用于基于所述预测类别和所述样本图像所属的参考类别，获取所述样本图像的判别性损失，所述判别性损失用于表征所述预测类别与所述参考类别之间的差异程度；
第二获取单元，用于基于所述多个样本图像各自对应的判别性损失，获取所述判别性参数。
在一种可能实施方式中，所述第一获取单元用于：
获取所述样本图像的第一图像特征和所述参考类别的类别特征之间的特征夹角；
将所述特征夹角与分类加性角度边距相加，得到特征修正夹角，所述分类加性角度边距用于增大不同类别的类别特征之间的类间差异程度；
基于所述特征修正夹角的余弦值和将所述样本图像的第一图像特征分类到多个候选类别各自的预测值，获取所述样本图像的判别性损失。
在一种可能实施方式中，所述参数调整模块用于：
基于所述判别性参数和所述兼容性参数，确定所述初始特征模型本次迭代的损失函数值；
在迭代次数和所述损失函数值均不符合第一停止条件的情况下，迭代调整所述初始特征模型的参数，基于调整参数后的初始特征模型，再次执行获取损失函数值的步骤；
在所述迭代次数或所述损失函数值中任一项符合所述第一停止条件的情况下，输出所述目标特征模型。
在一种可能实施方式中，所述装置还包括：
第一提取模块，用于将所述多个样本图像输入所述目标特征模型，得到所述多个样本图像的目标图像特征；
第二提取模块，用于将所述多个样本图像的第二图像特征输入初始升级模型，得到所述多个样本图像的第三图像特征；
第三获取模块，用于基于所述第三图像特征和所述目标图像特征，获取相似性参数，所述相似性参数表征同一样本图像的第三图像特征和目标图像特征的相似程度；
所述参数调整模块，还用于基于所述相似性参数，迭代调整所述初始升级模型的参数，以得到特征升级模型，所述特征升级模型用于对所述第一特征模型提取到的图像特征进行优化。
在一种可能实施方式中，所述第三获取模块用于：
对任一样本图像，获取所述样本图像的第三图像特征和目标图像特征之间的第二相似度；
基于所述多个样本图像各自对应的第二相似度，获取所述相似性参数。
在一种可能实施方式中，所述装置还包括：
第四获取模块，用于获取所述第一特征模型对应的特征库中的多个库存图像特征；
特征升级模块，用于将所述多个库存图像特征输入所述特征升级模型，得到多个库存升级特征；
特征替换模块，用于在所述特征库中，将所述多个库存图像特征替换为各自对应的库存升级特征。
一方面，提供了一种图像处理装置，所述装置包括：
获取模块，用于响应于图像查询请求，获取所述图像查询请求中携带的查询图像；
提取模块，用于基于目标特征模型提取得到所述查询图像的查询图像特征，所述目标特征模型基于判别性参数和兼容性参数，对初始特征模型迭代调整参数得到；
确定模块，用于从特征库中的多个库存升级特征中，确定与所述查询图像特征的匹配程度最高的目标库存特征，所述库存升级特征由特征升级模型对所述第一特征模型所提取到的库存图像特征处理得到；
返回模块，用于返回与所述目标库存特征关联的图像检索信息。
一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的特征模型的获取方法或图像处理方法。
一方面，提供了一种存储介质，该存储介质中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现如上述任一种可能实现方式的特征模型的获取方法或图像处理方法。
一方面，提供一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括一条或多条程序代码，所述一条或多条程序代码存储在计算机可读存储介质中。计算机设备的一个或多个处理器能够从计算机可读存储介质中读取所述一条或多条程序代码，所述一个或多个处理器执行所述一条或多条程序代码，使得计算机设备能够执行上述任一种可能实施方式的特征模型的获取方法或图像处理方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过获取用于表征不同类别下样本图像的第一图像特征的差异程度的判别性参数，使得判别性参数能够控制训练得到的目标特征模型具有更优的特征提取能力，通过获取用于表征同一样本图像的第一图像特征和第二图像特征的相似程度的兼容性参数，使得兼容性参数能够控制该目标特征模型与原本的第一特征模型具有更好的兼容性能力，因此，在判别性参数和兼容性参数的共同约束下，对初始特征模型训练得到的目标特征模型，不但具有更优的特征提取能力，而且还具有很强的兼容性能力。
进一步的，在目标特征模型上线了隐私保护的图像检索系统之后，在接收到新的查询图像时，目标特征模型通过对提取到的查询图像特征进行表达能力的优化和特征质量的提升，并保证目标特征模型提取到的查询图像特征，能够直接在原先第一特征模型提取到的旧特征库上进行相似度计算，从而在不影响正常图像检索功能的情况下，通过提升查询图像的特征质量来优化了整个图像检索系统的检索性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还能够根据这些附图获得其他的附图。
图1是本申请实施例提供的一种特征模型的获取方法的实施环境示意图；
图2是本申请实施例提供的一种特征模型的获取方法的流程图；
图3是本申请实施例提供的一种特征模型的获取方法的流程图；
图4是本申请实施例提供的一种特征升级模型的训练方法的流程图；
图5是本申请实施例提供的一种双向兼容模型升级方案的原理性流程图；
图6是本申请实施例提供的一种图像处理方法的流程图；
图7是本申请实施例提供的一种特征模型的获取装置的结构示意图；
图8是本申请实施例提供的一种图像处理装置的结构示意图；
图9是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上，例如，多个第一位置是指两个或两个以上的第一位置。
本申请中术语“包括A或B中至少一项”涉及如下几种情况：仅包括A，仅包括B，以及包括A和B两者。
本申请中涉及到的用户相关的信息(包括但不限于用户的设备信息、个人信息、行为信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，当以本申请实施例的方法运用到具体产品或技术中时，均为经过用户许可、同意、授权或者经过各方充分授权的，且相关信息、数据以及信号的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的用于模型训练的样本图像都是在充分授权的情况下获取的。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3-Dimension，三维)技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉等技术，尤其涉及计算机视觉技术下，基于特征模型来提取特征构建特征库、从而实现图像检索功能的图像检索系统，详细通过下述各个实施例进行说明。
以下，对本申请实施例涉及的术语进行解释说明。
图像检索系统：指用户给定一个查询图像，图像检索系统返回与查询图像最相似的样本(可能是一张相似图像、相似图像对应的索引、类别或者链接等)给用户。在图像检索系统中，通常，会预先使用特征模型提取数据库中各个原始图像的特征，形成由各个提取到的特征构成的特征库，当用户提供一个查询图像时，会再次使用该特征模型提取查询图像的特征，将查询图像的特征与特征库中各个原始图像的特征进行比较，找到与查询图像的特征最相似的库存图像特征(即找到一个特征库中最相似的原始图像的特征)，此时根据应用场合需求将对应的数据库中原始图像自身(如有保存)、原始图像对应的索引、类别或者链接等作为最相似的样本返回给用户。
特征模型升级：针对图像检索系统的一种十分有效的提升系统检索性能的途径，特征模型升级是指：训练一个特征提取能力更好的新的特征模型，使用新的特征模型重新提取数据库中各个原始图像的新特征，将这些提取到的新特征构成的新特征库替换掉旧特征库后，上线新的特征模型和新特征库到图像检索系统，从而能够使用新的特征模型来提取后续到达的查询图像的新特征，并从新特征库中查找与查询图像的新特征最相似的库存图像特征所对应的数据库中原始图像，从而实现对图像检索系统的性能优化。
隐私保护的图像检索系统：在要求隐私保护的背景下，服务器侧仅能够在特征库中存储原始图像的特征，而不能在数据库中保留原始图像自身，这代表着上述传统的特征模型升级方法不能适用于提升隐私保护的图像检索系统的性能，因为服务器侧不能在数据库中存储原始图像，从而无法利用新的特征模型来提取数据库中各个原始图像的新特征从而形成新特征库。
可选地，提供一种隐私保护的方式，服务器在利用特征模型提取了原始图像的特征之后，仅在服务器的特征库中保存各个原始图像的特征，而不会在数据库中保存原始图像本身(即使用特征模型提取得到特征之后会删除掉原始图像)。或者，还提供另一种隐私保护的方式，服务器将特征模型下发给终端，终端利用特征模型提取完毕原始图像的特征之后，仅将原始图像的特征上传到服务器，即服务器严格地不会接触到原始图像。
可以看出，由于在隐私保护的要求下，由于服务器不会在数据库中保存原始图像，导致传统特征模型升级的方式无法适用于隐私保护的图像检索系统，有鉴于此，本申请实施例提供一种特征模型的获取方法，能够训练得到一种后向兼容的新特征模型，即，使得训练得到的新特征模型(即目标特征模型)所提取到的新特征，在提升了自身质量的同时能够保持对旧特征模型(即第一特征模型)所提取到的旧特征的兼容性，意味着新特征能够直接与旧特征进行相似度的计算，以保证图像检索系统的查询性能。
进一步的，训练所得的后向兼容的新特征模型能够直接上线到图像检索系统中，使用新特征模型提取到的查询图像的特征，能够直接在旧特征库上进行检索，而无需重新提取原始图像的特征并更新特征库，能够满足隐私保护的图像检索系统的需求。后向兼容的新特征模型在上线图像检索系统之后，图像检索系统的检索性能的提升，来自于使用新特征模型提取的查询图像的特征的质量变高，即，查询图像的特征能够在保有对旧特征库的兼容性的情况下，改善了自身质量，从而能够改善系统检索精度。
进一步的，本申请实施例还提出了一种双向兼容的特征模型升级方案，不仅训练上述后向兼容的新特征模型，以保证新特征模型所输出的特征拥有后向兼容的特性，能够直接与旧特征库进行比较，从而能够实时上线图像检索系统，通过改善查询图像的特征质量来提升整个图像检索系统的检索性能；此外，还训练一个前向兼容的特征升级模型，这一特征升级模型用来对旧特征库进行特征上的升级，由于该特征升级模型的输入是原始图像的旧特征而非原始图像，因此能够满足隐私保护的需求，特征升级模型能够尽量将旧特征前向更新到上述新特征模型所对应的新特征空间，从而能够通过改善旧特征库的特征质量，来进一步提升整个图像检索系统的检索性能。
以下，对本申请实施例的系统架构进行说明。
图1是本申请实施例提供的一种特征模型的获取方法的实施环境示意图。参见图1，在该实施环境中包括终端101和服务器102。
终端101用于提供原始图像和/或查询图像，终端101上安装和运行有支持图像检索功能的应用程序，可选地，该应用程序包括：社交应用、内容分享应用、支付应用、短视频应用、拍照应用、音视频应用、直播应用或者浏览器应用中的至少一项。
本申请实施例涉及的“原始图像”是指提供给特征模型用来提取库存图像特征、构成特征库的图像，本申请实施例涉及的“查询图像”是指在特征库形成完毕后对外提供图像检索性能时所使用的用于查询最相似样本的图像，其中，在隐私保护场景下，服务器利用特征模型提取到原始图像的库存图像特征后，不会在数据库中保存原始图像，即会将原始图像从内存、数据库或磁盘等存储介质中彻底删除，此后仅在特征库中保存原始图像对应的库存图像特征。
在一种隐私保护场景下，用户在使用终端101拍摄得到一张(或多张)原始图像之后，将原始图像上传到服务器102，以供服务器102提取原始图像的特征构成特征库，服务器102在使用原始图像提取完特征之后会删除原始图像，即服务器102不会保留原始图像在任何数据库中。在此之后，假设用户再次使用终端101拍摄得到一张查询图像，将查询图像上传到服务器102，以请求服务器102返回与该查询图像最相似的样本(可能是一张相似图像、相似图像对应的索引、类别或者链接等)，或者服务器102直接返回基于最相似的样本产生的判断结果(比如查询图像中的对象与相似图像中的指定对象是否匹配)等。
在另一种隐私保护场景下，服务器102将特征模型下发到终端101，用户使用终端101拍摄得到一张(或多张)原始图像之后，在终端101上利用特征模型来提取该原始图像的特征，将提取完毕的特征上传到服务器102形成特征库，服务器102严格地不会接触到原始图像，也不可能保存原始图像。在此之后，假设用户再次使用终端101拍摄得到一张查询图像，利用特征模型抽取查询图像特征后将查询特征上传到服务器102，以请求服务器102返回与该查询图像最相似的样本，或者服务器102返回基于最相似的样本产生的判断结果等。其中，服务器102也可为区块链的节点。
终端101和服务器102之间能够通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
服务器102用于为上述应用程序提供后台服务，服务器102包括：一台服务器、多台服务器、云计算平台或者虚拟化中心中的至少一种。可选地，服务器102承担主要图像处理工作，终端101承担次要图像处理工作；或者，服务器102承担次要图像处理工作，终端101承担主要图像处理工作；或者，终端101和服务器102两者之间采用分布式计算架构协同执行图像处理工作。
可选地，服务器102是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
示意性地，服务器102上安装和运行有图像检索系统，图像检索系统用于对外提供图像检索功能，图像检索系统包括特征库、特征模型和检索模块，特征库用于存储从各个原始图像中提取得到的特征(也称为库存图像特征)，特征模型用于提取原始图像和/或查询图像的特征，检索模块用于根据任一查询图像找到最相似的样本。
可选地，终端101泛指多个终端中的一个，终端101的设备类型包括但不限于：车载终端、电视机、智能手机、智能音箱、智能手表、平板电脑、智能语音交互设备、智能家电、飞行器、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机或者台式计算机中的至少一种。以下实施例，以终端包括智能手机来进行举例说明。
本领域技术人员能够知晓，上述终端101的数量能够为更多或更少。比如上述终端101仅为一个，或者上述终端101为几十个或几百个，或者更多数量。本公开实施例对终端101的数量和设备类型不加以限定。
图2是本申请实施例提供的一种特征模型的获取方法的流程图。参见图2，该实施例由计算机设备执行，以计算机设备为服务器为例进行说明，该实施例包括下述步骤：
201、服务器基于初始特征模型对多个样本图像提取得到的第一图像特征，获取判别性参数，该判别性参数表征不同类别下样本图像的第一图像特征的差异程度。
本申请实施例涉及的初始特征模型，是指未经训练过的目标特征模型，换言之，初始特征模型和目标特征模型具有相同的模型架构，初始特征模型在经过迭代调整模型参数(即训练)之后，在符合第一停止条件时停止训练，得到目标特征模型。
本申请实施例涉及的样本图像，是指用于训练初始特征模型以得到目标特征模型的样本图像集中的图像，这一样本图像集是和原始图像构成的数据集类型相似但已获得充分授权和单独同意所使用的图像集合。
本申请实施例涉及的判别性参数，是指初始特征模型所提取到的第一图像特征是否能够区分开属于不同类别的样本图像的能力度量。比如，当判别性参数取值越高时，代表不同类别的样本图像经过初始特征模型所提取到的第一图像特征之间的差异程度越大，比如在特征空间的特征夹角越大，或者在特征空间的欧式距离越远等，这意味着通过第一图像特征将属于不同类别的样本图像所区分开来的能力越强；反之，当判别性参数取值越低时，代表不同类别的样本图像经过初始特征模型所提取到的第一图像特征之间的差异程度越小，比如在特征空间的特征夹角越小，或者在特征空间的欧式距离越近等，这意味着通过第一图像特征将属于不同类别的样本图像所区分开来的能力越弱。
在一些实施例中，服务器获取一个样本图像集，从样本图像集中确定本次训练所使用的多个样本图像，接着，将该多个样本图像输入到初始特征模型中，通过该初始特征模型对该多个样本图像进行特征提取，输出该多个样本图像各自的第一图像特征。
在一些实施例中，上述多个样本图像是该样本图像集中的全部图像，或者，将该样本图像集中第一目标比例的图像划分至训练样本集，将剩余的第二目标比例的图像划分至测试样本集，使用训练样本集中的多个样本图像作为训练阶段使用的该多个样本图像，使用测试样本集中的多个样本图像来测试训练完毕的目标特征模型的特征提取性能。
可选地，第一目标比例和第二目标比例均为大于或等于0且小于或等于100％的数值，且第一目标比例和第二目标比例的和值等于100％，例如，第一目标比例为80％、第二目标比例为20％，或者，第一目标比例为70％、第二目标比例为30％等，本申请实施例对此不进行具体限定。
在一些实施例中，该初始特征模型为任一能够提取图像特征的机器学习模型，该初始特征模型的模型架构包括：ResNet(残差网络)-18、ResNet-34、ResNet-50、ResNet-101、ResNet-152、CNN(Convolutional Neural Network，卷积神经网络)、DNN(Deep NeuralNetwork，深度神经网络)、MLP(Multi-Layer Perceptron，多层感知机)等，本申请实施例对初始特征模型的模型架构不进行具体限定。
示意性地，以初始特征模型为ResNet-50为例进行说明，ResNet-50模型包括多个串连的残差块，串连是指上一个残差块的输出作为当前残差块的输入，在每个残差块中都包括多个卷积层，这些卷积层中相邻的卷积层之间串连，不相邻的卷积层之间存在跳跃连接(Skip Connections)，从而能够构成一个具有残差结构的残差块。例如，ResNet-50模型中某个残差块中包含6个卷积层，其中除了6个卷积层互相串连之外，还存在由上一个残差块的输出(即第1个卷积层的输入)指向第4个卷积层的输入的跳跃连接，即，上一个残差块的输出在与第3个卷积层的输出融合之后，将融合所得的特征图输入到第4个卷积层，此外，还存在由第4个卷积层的输入指向第6个卷积层的输出的跳跃连接，即第4个卷积层的输入(指将第3个卷积层的输出与上一个残差块的输出融合所得的特征图)在与第6个卷积层的输出融合之后，将融合所得的特征图作为当前残差块的输出，输入到下一个残差块中，ResNet-50模型中其他残差块的内部结构与上述举例类似，这里不做赘述。
在初始特征模型是ResNet-50模型的情况下，对该多个样本图像中任一样本图像，服务器将该样本图像输入到ResNet-50模型中，通过该ResNet-50模型中的多个残差块，对该样本图像进行基于残差结构的卷积处理，将最后一个残差块所输出的特征图输入到一个池化层和一个全连接层之后，由全连接层输出最终提取得到的该样本图像的第一图像特征，对每个样本图像均执行上述操作，即可得到该多个样本图像各自的第一图像特征。
在一些实施例中，在获取到该多个样本图像各自的第一图像特征之后，可选地，对该多个样本图像中任一样本图像，将该样本图像的第一图像特征输入到指数归一化(Softmax)层中进行指数归一化处理，输出该样本图像属于各个候选类别的预测概率(即将该样本图像分类到对应候选类别的预测值)，将预测概率最高的候选类别作为该样本图像的预测类别，对每个样本图像均执行上述操作，即可得到该多个样本图像各自的预测类别。接着，利用该多个样本图像各自的预测类别，以及该多个样本图像各自的参考类别(即样本图像真实所属的类别)，获取本次迭代的交叉熵损失作为上述判别性参数。
在一些实施例中，通过对Softmax进一步引入一个分类加性角度边距，对每个样本图像都获取各自更严格的判别性损失(ArcFace Loss)，基于该多个样本图像各自对应的判别性损失加权求和得到该判别性参数，如何获取判别性损失将在这一实施例中进行详细说明，这里不做赘述。
202、服务器基于第一特征模型对该多个样本图像提取得到的第二图像特征和该第一图像特征，获取兼容性参数，该兼容性参数表征同一样本图像的第一图像特征和第二图像特征的相似程度。
本申请实施例涉及的第一特征模型，是指图像检索系统中原本未升级过的旧特征模型，而通过下述步骤203对初始特征模型训练所得的目标特征模型，则是指用于替换旧特征模型的新特征模型，换言之，本申请实施例的优化目标在于，通过训练得到目标特征模型，以在图像检索系统中使用目标特征模型来替换掉原本的第一特征模型，从而实现对图像检索系统的性能提升。
在一些实施例中，服务器将该多个样本图像输入到第一特征模型中，通过该第一特征模型对该多个样本图像进行特征提取，输出该多个样本图像各自对应的第二图像特征。
在一些实施例中，该第一特征模型为任一能够提取图像特征的机器学习模型，该第一特征模型的模型架构包括：ResNet-18、ResNet-34、ResNet-50、ResNet-101、ResNet-152、CNN、DNN、MLP等，本申请实施例对第一特征模型的模型架构不进行具体限定。
在一些实施例中，为了保证目标特征模型相较于第一特征模型具有更优的判别性参数，以便于达成特征模型升级的目标，示意性地，采取下述方式来优化特征模型：A)令初始特征模型训练所使用的训练样本集的样本容量大于第一特征模型对应的训练样本集的样本容量，由于样本容量进行了扩充，因此能够带来模型性能的提升；B)令初始特征模型的训练样本集的类别数量大于第一特征模型的训练样本集的类别数量，由于类别数量进行了扩充，因此能够带来模型性能的提升；C)令初始特征模型的模型结构比第一特征模型的模型结构复杂，比如，使得初始特征模型的神经网络的宽度、深度或者卷积核尺寸中至少一项大于第一特征模型，上述“宽度”是指神经网络每一层中所包含卷积核个数，“深度”是指神经网络包含的卷积层层数，“卷积核尺寸”是指神经网络中每一层中所使用的卷积核的尺寸；D)令初始特征模型的损失函数构造优于第一特征模型的损失函数构造，比如，初始特征模型利用ArcFace损失来作为判别性参数并结合另外的兼容性参数共同构造损失函数，而第一特征模型则仅利用交叉熵损失来作为损失函数等，需要说明的是，这里仅给出几种优化特征模型的方式作为示例性说明，但不应构成对优化特征模型的方式的局限。
在一些实施例中，以第一特征模型为ResNet-18模型为例进行说明，ResNet-18模型与上述步骤201介绍过的ResNet-50模型类似，只是ResNet-18模型包含的卷积层层数为18层，小于ResNet-50模型包含的卷积层层数50层，这里不做赘述。
可选地，对该多个样本图像中任一样本图像，服务器将该样本图像输入到ResNet-18模型中，通过该ResNet-18模型中的多个残差块，对该样本图像进行基于残差结构的卷积处理，将最后一个残差块所输出的特征图输入到一个池化层和一个全连接层之后，由全连接层输出最终提取得到的该样本图像的第二图像特征，对每个样本图像均执行上述操作，即可得到该多个样本图像各自的第二图像特征。
在一些实施例中，对任一样本图像，均能够利用初始特征模型提取到一个第一图像特征，并利用第一特征模型提取到一个第二图像特征，接着，能够获取该样本图像的第一图像特征和第二图像特征之间的第一相似度，换言之，这一第一相似度能够表征同一样本图像的第一图像特征和第二图像特征之间的特征相似度，接着，将该多个样本图像各自对应的第一相似度进行加权求和，即可得到最终的兼容性参数。
203、服务器基于该判别性参数和该相似性参数，迭代调整该初始特征模型的参数，以得到目标特征模型。
在一些实施例中，由于训练的目标特征模型其目标是为了替换掉图像检索模型中原本已有的第一特征模型，因此，对于目标特征模型来说，不仅要求其在上述步骤201中获取到的判别性参数优于第一特征模型，代表了目标特征模型对同一图像提取到的特征具有比第一特征模型更强的表达能力和更强的判别性，而且还要求其在上述步骤202获取到的兼容性参数也满足兼容条件，兼容条件是指目标特征模型所提取到的特征能够与第一特征模型原本提取完毕的特征直接进行相似度计算，这样才能够在不获取到隐私保护要求的原始图像的情况下，直接利用目标特征模型所提取到的查询图像的特征，来从原本第一特征模型对原始图像提取得到的库存图像特征所构成的特征库中实现特征相似度的计算，以正常提供对外的图像检索功能，因此，上述目标特征模型的判别性参数优于第一特征模型以及兼容性参数符合兼容条件可统称为对第一特征模型的优化条件。
在一些实施例中，服务器基于本次迭代的判别性参数和兼容性参数，获取本次迭代的损失函数值。接着，服务器判别是否符合第一停止条件，该第一停止条件是指对初始特征模型停止训练的条件，可选地，该第一停止条件包括下述至少一项：迭代次数大于第一次数阈值，第一次数阈值是任一大于0的整数，例如第一次数阈值为30、50、100等，本申请实施例第一次数阈值不进行具体限定；或，损失函数值小于第一损失阈值，第一损失阈值是任一大于或等于0且小于或等于1的数值，例如第一损失阈值是0.1、0.15、0.2等；或，本次迭代的损失函数值与上一次迭代的损失函数值之间的差值小于第一差值阈值，该第一差值阈值是任一大于或等于0且小于或等于1的数值，例如第一差值阈值是0.01、0.02、0.03等。
在一些实施例中，在迭代次数和损失函数值均不符合上述第一停止条件的情况下，服务器基于反向传播算法回传调整初始特征模型的模型参数，再次利用初始特征模型提取到各个样本图像的第一图像特征，再执行上述步骤201-202分别获取下一次迭代的判别性参数和兼容性参数，进而获取下一次迭代的损失函数值，迭代执行上述操作，直到迭代次数或损失函数值中任一项符合上述第一停止条件时，停止迭代，将最后一次迭代所使用的初始特征模型输出为目标特征模型。
在上述过程中，通过判别性参数来控制训练得到的目标特征模型拥有比第一特征模型更优的特征提取能力，通过兼容性参数来控制训练得到的目标特征模型所提取的新特征能够兼容原本第一特征模型已提取完毕的旧特征，这代表着，在隐私保护的图像检索系统下，目标特征模型不需要利用原始图像来提取新特征以替换掉特征库中原本的旧特征，而是通过对提取到的查询图像的特征进行表达能力的优化和质量的提升，并保证目标特征模型提取到的查询图像的新特征，能够直接在第一特征模型对各个原始图像提取到的旧特征所形成的特征库上进行相似度计算，从而在不影响正常图像检索功能的情况下，通过提升查询图像的特征质量来优化了整个图像检索系统的检索性能。
上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本申请实施例提供的方法，通过获取用于表征不同类别下样本图像的第一图像特征的差异程度的判别性参数，使得判别性参数能够控制训练得到的目标特征模型具有更优的特征提取能力，通过获取用于表征同一样本图像的第一图像特征和第二图像特征的相似程度的兼容性参数，使得兼容性参数能够控制该目标特征模型与原本的第一特征模型具有更好的兼容性能力，因此，在判别性参数和兼容性参数的共同约束下，对初始特征模型训练得到的目标特征模型，不但具有更优的特征提取能力，而且还具有很强的兼容性能力。
进一步的，在目标特征模型上线了隐私保护的图像检索系统之后，在接收到新的查询图像时，目标特征模型通过对提取到的查询图像特征进行表达能力的优化和特征质量的提升，并保证目标特征模型提取到的查询图像特征，能够直接在原先第一特征模型提取到的旧特征库上进行相似度计算，从而在不影响正常图像检索功能的情况下，通过提升查询图像的特征质量来优化了整个图像检索系统的检索性能。
在上述实施例中，简单介绍了目标特征模型的训练流程，而在本申请实施例中，将以判别性参数为各个样本图像的判别性损失(ArcFace Loss)的加权和的情况为例，详细介绍目标特征模型的训练流程，下面进行说明。
图3是本申请实施例提供的一种特征模型的获取方法的流程图。参见图3，该实施例由计算机设备执行，以计算机设备为服务器为例进行说明，该实施例包括下述步骤：
301、服务器将多个样本图像输入初始特征模型，通过初始特征模型提取得到该多个样本图像各自的第一图像特征。
在一些实施例中，服务器获取一个样本图像集，从样本图像集中确定本次训练所使用的多个样本图像，将该多个样本图像输入到初始特征模型中，通过该初始特征模型对该多个样本图像进行特征提取，输出该多个样本图像各自的第一图像特征。
在一些实施例中，上述多个样本图像是该样本图像集中的全部图像，或者，将该样本图像集中第一目标比例的图像划分至训练样本集，将剩余的第二目标比例的图像划分至测试样本集，使用训练样本集中的多个样本图像作为训练阶段使用的该多个样本图像，使用测试样本集中的多个样本图像来测试训练完毕的目标特征模型的特征提取性能。
可选地，第一目标比例和第二目标比例均为大于或等于0且小于或等于100％的数值，且第一目标比例和第二目标比例的和值等于100％，例如，第一目标比例为80％、第二目标比例为20％，或者，第一目标比例为70％、第二目标比例为30％等，本申请实施例对此不进行具体限定。
在一些实施例中，该初始特征模型为任一能够提取图像特征的机器学习模型，该初始特征模型的模型架构包括：ResNet-18、ResNet-34、ResNet-50、ResNet-101、ResNet-152、CNN、DNN、MLP等，本申请实施例对初始特征模型的模型架构不进行具体限定。
示意性地，以初始特征模型为ResNet-50模型为例进行说明，ResNet-50模型包括多个串连的残差块，串连是指上一个残差块的输出作为当前残差块的输入，在每个残差块中都包括多个卷积层，这些卷积层中相邻的卷积层之间串连，不相邻的卷积层之间存在跳跃连接，从而能够构成一个具有残差结构的残差块。例如，ResNet-50模型中某个残差块中包含6个卷积层，其中除了6个卷积层互相串连之外，还存在由上一个残差块的输出(即第1个卷积层的输入)指向第4个卷积层的输入的跳跃连接，即，上一个残差块的输出在与第3个卷积层的输出融合之后，将融合所得的特征图输入到第4个卷积层，此外，还存在由第4个卷积层的输入指向第6个卷积层的输出的跳跃连接，即第4个卷积层的输入(指将第3个卷积层的输出与上一个残差块的输出融合所得的特征图)在与第6个卷积层的输出融合之后，将融合所得的特征图作为当前残差块的输出，输入到下一个残差块中，ResNet-50模型中其他残差块的内部结构与上述举例类似，这里不做赘述。
在初始特征模型是ResNet-50模型的情况下，对该多个样本图像中任一样本图像，服务器将该样本图像输入到ResNet-50模型中，通过该ResNet-50模型中的多个残差块，对该样本图像进行基于残差结构的卷积处理，将最后一个残差块所输出的特征图输入到一个池化层和一个全连接层之后，由全连接层输出最终提取得到的该样本图像的第一图像特征，对每个样本图像均执行上述操作，即可得到该多个样本图像各自的第一图像特征。可选地，还可以指定ResNet-50模型所输出的第一图像特征的特征维度，例如设定输出的第一图像特征的特征维度为512。
302、服务器将该多个样本图像输入第一特征模型，通过第一特征模型提取得到该多个样本图像各自的第二图像特征。
在一些实施例中，服务器将该多个样本图像输入到第一特征模型中，通过该第一特征模型对该多个样本图像进行特征提取，输出该多个样本图像各自对应的第二图像特征。
在一些实施例中，该第一特征模型为任一能够提取图像特征的机器学习模型，该第一特征模型的模型架构包括：ResNet-18、ResNet-34、ResNet-50、ResNet-101、ResNet-152、CNN、DNN、MLP等，本申请实施例对第一特征模型的模型架构不进行具体限定。
在一些实施例中，以第一特征模型为ResNet-18模型为例进行说明，ResNet-18模型与上述步骤301介绍过的ResNet-50模型类似，只是ResNet-18模型包含的卷积层层数为18层，小于ResNet-50模型包含的卷积层层数50层，这里不做赘述。
可选地，对该多个样本图像中任一样本图像，服务器将该样本图像输入到ResNet-18模型中，通过该ResNet-18模型中的多个残差块，对该样本图像进行基于残差结构的卷积处理，将最后一个残差块所输出的特征图输入到一个池化层和一个全连接层之后，由全连接层输出最终提取得到的该样本图像的第二图像特征，对每个样本图像均执行上述操作，即可得到该多个样本图像各自的第二图像特征。
303、服务器基于该多个样本图像各自的第一图像特征，获取本次迭代的判别性参数，该判别性参数表征不同类别下样本图像的第一图像特征的差异程度。
在一些实施例中，对该多个样本图像中任一样本图像，将该样本图像的第一图像特征输入到初始特征模型的指数归一化(Softmax)层中进行指数归一化处理，输出该样本图像属于各个候选类别的预测概率(即将该样本图像分类到对应候选类别的预测值)，将预测概率最高的候选类别作为该初始特征模型对该样本图像分类得到的预测类别。接着，基于该样本图像的预测类别以及该样本图像真实所属的参考类别，获取该样本图像在本次迭代中的判别性损失，该判别性损失用于表征该样本图像的预测类别与参考类别之间的差异程度；接着，基于该多个样本图像各自对应的判别性损失，获取该判别性参数。
在一些实施例中，对每个样本图像，使用该样本图像的预测类别和参考类别之间的交叉熵作为该判别性损失，这种情况下的判别性损失也称为Softmax Loss，进而将各个样本图像的判别性损失的加权和作为最终的判别性参数，比如将各个样本图像的判别性损失的算术平均数作为该判别性参数，或者将各个样本图像的判别性损失的加权平均数作为该判别性参数等，本申请实施例对判别性参数不进行具体限定。
在另一些实施例中，对每个样本图像，还能够在Softmax基础上引入一个分类加性角度边距，从而获取该样本图像的ArcFace Loss(加性损失)作为判别性损失，进而将各个样本图像的判别性损失的加权和作为最终的判别性参数，比如将各个样本图像的判别性损失的算术平均数作为该判别性参数，或者将各个样本图像的判别性损失的加权平均数作为该判别性参数等，本申请实施例对判别性参数不进行具体限定。
在一些实施例中，服务器可以通过下述方式来获取每个样本图像的ArcFaceLoss：获取该样本图像的第一图像特征和该参考类别的类别特征之间的特征夹角，比如，先获取该第一图像特征和该参考类别的类别特征之间的余弦相似度，这一余弦相似度代表了上述特征夹角的余弦值，再对获取到的余弦相似度使用反余弦函数获取到该特征夹角；接着，将该特征夹角与分类加性角度边距相加，得到特征修正夹角，该分类加性角度边距用于增大不同类别的类别特征之间的类间差异程度，由于通过分类加性角度边距增大了第一图像特征和参考类别的类别特征之间的特征夹角，这样能够在迭代过程中通过调整参数来降低损失，使得特征夹角在优化过程中比不使用分类加性角度边距的情况下优化得更小，这促使同一类别下各个样本图像的第一图像特征的类内紧凑性更加显著，从而使得不同类别的各个样本图像的第一图像特征更加易于在特征空间区分开来，也即使得类间差异程度或称为类间判别性更加显著；接着，基于该特征修正夹角的余弦值和将该样本图像的第一图像特征分类到多个候选类别各自的预测值，获取该样本图像的判别性损失，该预测值表征将该第一图像特征分类到对应候选类别的预测概率，该预测概率也是指该第一图像特征到对应候选类别的类别特征之间的余弦相似度(代表该第一图像特征到对应候选类别的类别特征之间的特征夹角的余弦值)，因此，相当于获取该第一图像特征到对应候选类别的类别特征之间的特征夹角的余弦值，再获取该特征修正夹角的余弦值，利用这些类别各自对应的余弦值来计算Softmax Loss作为最终的判别性损失。
在上述过程中，相当于通过分类加性角度边距增大了第一图像特征与参考类别的类别特征之间的特征夹角，同时保持该第一图像特征到除了参考类别之外的其余候选类别的类别特征之间的特征夹角不变(即没有进行特征夹角增大)，这样相当于仅对与参考类别的类别特征之间的特征夹角施加了阻力，在迭代过程中这一特征夹角优化得更小(相当于比常规情况下优化停止时的特征夹角小了一个分类加性角度边距)，这促使同一类别下各个样本图像的第一图像特征的类内紧凑性更加显著，从而使得不同类别的各个样本图像的第一图像特征更加易于在特征空间区分开来，也即使得类间差异程度更加显著，从而使得第一图像特征的判别性更强、表达能力更强。
304、服务器基于该多个样本图像各自的第一图像特征和第二图像特征，获取本次迭代的兼容性参数，该兼容性参数表征同一样本图像的第一图像特征和第二图像特征的相似程度。
在一些实施例中，对任一样本图像，均能够利用初始特征模型提取到一个第一图像特征，并利用第一特征模型提取到一个第二图像特征，接着，能够获取该样本图像的第一图像特征和第二图像特征之间的第一相似度，换言之，这一第一相似度能够表征同一样本图像的第一图像特征和第二图像特征之间的特征相似度，接着，将该多个样本图像各自对应的第一相似度进行加权求和，即可得到最终的兼容性参数。
在一些实施例中，对每个样本图像，将该样本图像的第一图像特征和第二图像特征之间的余弦相似度作为该第一相似度，或者，将该样本图像的第一图像特征和第二图像特征之间的欧式距离的倒数作为该第一相似度，或者采取其他方式表征该第一相似度，使得当第一图像特征和第二图像特征越相似的时候，第一相似度取值越大，当第一图像特征和第二图像特征越不相似的时候，第一相似度取值越小。
在一些实施例中，对每个样本图像，均使用该样本图像的第一图像特征和第二图像特征之间的余弦相似度作为第一相似度的情况下，可以将1减去该样本图像的余弦相似度所得的差值作为该样本图像的余弦特征损失，再将各个样本图像的余弦特征损失相加得到兼容性参数，或者，将各个样本图像的余弦特征损失的算术平均数作为兼容性参数，或者，将各个样本图像的余弦特征损失的加权平均数作为兼容性参数等，本申请实施例对此不进行具体限定。
305、服务器基于本次迭代的判别性参数和兼容性参数，获取该初始特征模型本次迭代的损失函数值。
在一些实施例中，服务器基于本次迭代的判别性参数和兼容性参数，获取本次迭代的损失函数值，接着，在迭代次数和损失函数值均不符合第一停止条件的情况下，进入下述步骤306，在迭代次数或损失函数值中任一项符合第一停止条件的情况下，进入下述步骤307。
在一些实施例中，服务器确定一个预先设置的超参数作为平衡因子，将该平衡因子和兼容性参数相乘，得到一个平衡兼容性参数，将该平衡兼容性参数和该判别性参数相加，得到本次迭代的损失函数值。
示意性地，假设第一特征模型表示为Φold，初始特征模型表示为Φnew，初始特征模型的判别性参数表示为lbase(Φnew)，初始特征模型和第一特征模型之间的兼容性参数表示为lcompatible(Φnew，Φold)，超参数平衡因子表示为λ，那么初始特征模型在本次迭代的损失函数值LBCT(Φnew)可以表示为下述公式：
LBCT(Φnew)＝lbase(Φnew)+λlcompatible(Φnew，Φold)
其中，平衡因子λ是由技术人员预先设置的超参数，平衡因子λ可以是任一大于0的数值，比如，平衡因子λ＝2c
可以看出，在上述损失函数公式中，lbase负责约束初始特征模型Φnew的判别性参数，即约束初始特征模型Φnew提取到的第一图像特征拥有判别性(拥有区分开不同类别的样本图像的图像特征的能力)，比如，lbase可以使用传统Softmax Loss或者本申请实施例涉及的ArcFace Loss；此外，lcompatible则称为后向兼容损失函数，即保证特征模型在从第一特征模型Φold向初始特征模型Φnew训练所得的目标特征模型进行前向迭代的过程中，约束初始特征模型Φnew提取到的第一图像特征和第一特征模型Φold提取到的第二图像特征具有一定的兼容性(即相似性)，这样才能够保证第二图像特征(即新特征)可以直接在第一图像特征(即旧特征)上进行搜索，保证特征模型升级后仍然对外保持正常运转的图像检索性能。
示意性地，使用各个样本图像的余弦特征损失相加所得的和值来作为兼容性参数lcompatible，其中，余弦特征损失是指1减去第一图像特征和第二图像特征之间的余弦相似度即第一相似度所得的差值，那么上述兼容性参数lcompatible可以表示为下述公式：
Figure BDA0003598059850000221
其中，D是指初始特征模型Φnew的多个样本图像构成的训练样本集，i是指训练样本集D中的样本图像的序号(即第i个样本图像)，Φnew(i)是指初始特征模型Φnew对第i个样本图像提取到的第一图像特征，Φold(i)是指第一特征模型Φold对第i个样本图像提取到的第二图像特征，cos(Φnew(i)，Φold(i))是指第i个样本图像的第一图像特征Φnew(i)和第二图像特征Φold(i)之间的余弦相似度即第一相似度。
可以看出，上述对兼容性参数lcompatible的定义公式，约束了对每个样本图像i∈D，均保证样本图像的第一图像特征Φnew(i)和第二图像特征Φold(i)尽量相似，从而才能够保证在基于初始特征模型Φnew训练得到的目标特征模型上线到图像检索系统之后，针对任一查询图像使用目标特征模型Φnew所提取到的新特征，能够直接与第一特征模型Φold所提取到的旧特征直接进行相似度计算，以对外提供更优的检索性能。
306、服务器在迭代次数和损失函数值均不符合第一停止条件的情况下，调整该初始特征模型的参数，基于调整参数后的初始特征模型，迭代执行上述步骤301-305。
其中，该第一停止条件是指对初始特征模型停止训练的条件。
可选地，该第一停止条件包括下述至少一项：迭代次数大于第一次数阈值，第一次数阈值是任一大于0的整数，例如第一次数阈值为30、50、100等，本申请实施例第一次数阈值不进行具体限定；或，损失函数值小于第一损失阈值，第一损失阈值是任一大于或等于0且小于或等于1的数值，例如第一损失阈值是0.1、0.15、0.2等；或，本次迭代的损失函数值与上一次迭代的损失函数值之间的差值小于第一差值阈值，该第一差值阈值是任一大于或等于0且小于或等于1的数值，例如第一差值阈值是0.01、0.02、0.03等。
在一些实施例中，在迭代次数和损失函数值均不符合上述第一停止条件的情况下，服务器基于反向传播算法回传调整初始特征模型的模型参数，再次利用调整参数后的初始特征模型提取到各个样本图像的第一图像特征，再执行上述步骤301-305，分别获取下一次迭代的判别性参数和兼容性参数，进而获取下一次迭代的损失函数值，迭代执行上述操作，直到迭代次数或损失函数值中任一项符合上述第一停止条件时，进入下述步骤307。
307、服务器在迭代次数或损失函数值中任一项符合第一停止条件的情况下，将最后一次迭代的初始特征模型输出为目标特征模型。
在一些实施例中，在迭代次数或损失函数值中任一项符合上述第一停止条件时，服务器停止迭代，将最后一次迭代的初始特征模型输出为目标特征模型，其中，该目标特征模型的该判别性参数和该兼容性参数符合对该第一特征模型的优化条件。
在一些实施例中，由于训练的目标特征模型其目标是为了替换掉图像检索模型中原本已有的第一特征模型，因此，对于目标特征模型来说，不仅要求其在上述步骤303中获取到的判别性参数优于第一特征模型，代表了目标特征模型对同一图像提取到的特征具有比第一特征模型更强的表达能力和更强的判别性，而且还要求其在上述步骤304获取到的兼容性参数也满足兼容条件，兼容条件是指目标特征模型所提取到的特征能够与第一特征模型原本提取完毕的特征直接进行相似度计算，这样才能够在不获取到隐私保护要求的原始图像的情况下，直接利用目标特征模型所提取到的查询图像的特征，来从原本第一特征模型提取完毕的原始图像的特征所构成的特征库中实现特征相似度的计算，以正常提供对外的图像检索功能，因此，上述目标特征模型的判别性参数优于第一特征模型以及兼容性参数符合兼容条件可统称为对第一特征模型的优化条件，并且通过使用判别性参数和兼容性参数来共同构建损失函数值，使得损失函数值能够同时兼顾上述对第一特征模型的优化条件。
示意性地，在上述步骤305中提供的损失函数公式的约束下训练初始特征模型，一方面在兼容性参数lcompatible的约束下维持与第一特征模型Φold已提取完毕的旧特征(即原始图像的特征)的后向兼容性，从而当来到一个新的查询图像时，利用训练完毕的目标特征模型Φnew提取到的查询图像的新特征，能够直接在旧特征构成的特征库上进行检索，另一方面由于目标特征模型Φnew自身网络结构改善或者训练样本集扩容等优势，在判别性参数lbase的约束下能够生成相较于第一特征模型Φold更加具有判别性的新特征。
示意性地，在观测到损失函数值连续两次迭代之间的差值小于第一差值阈值，代表损失函数值不再明显下降时，即可停止训练，得到拥有后向兼容特性的目标特征模型Φnew(即新特征模型)，这一目标特征模型Φnew能够即时上线当前的图像检索系统替换掉第一特征模型Φold。当服务器接收到图像查询请求时，获取该图像查询请求携带的查询图像Q，使用训练得到的目标特征模型Φnew来提取查询图像Q的特征Φnew(Q)，并利用Φnew(Q)直接在由各个原始图像G的旧特征构成的旧特征库Φold(G)上进行相似样本检索，从而返回检索得到的最相似样本，由于使用目标特征模型Φnew改善了查询图像Q的特征Φnew(Q)质量，从而提升了图像检索系统的检索精度和检索性能。
在上述过程中，通过判别性参数来控制训练得到的目标特征模型拥有比第一特征模型更优的特征提取能力，通过兼容性参数来控制训练得到的目标特征模型所提取的新特征能够兼容原本第一特征模型已提取完毕的旧特征，这代表着，在隐私保护的图像检索系统下，目标特征模型不需要利用原始图像来提取新特征以替换掉特征库中原本的旧特征，而是通过对提取到的查询图像的特征进行表达能力的优化和质量的提升，并保证目标特征模型提取到的查询图像的新特征，能够直接在第一特征模型对各个原始图像提取到的旧特征所形成的特征库上进行相似度计算，从而在不影响正常图像检索功能的情况下，通过提升查询图像的特征质量来优化了整个图像检索系统的检索性能。
上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本申请实施例提供的方法，通过获取用于表征不同类别下样本图像的第一图像特征的差异程度的判别性参数，使得判别性参数能够控制训练得到的目标特征模型具有更优的特征提取能力，通过获取用于表征同一样本图像的第一图像特征和第二图像特征的相似程度的兼容性参数，使得兼容性参数能够控制该目标特征模型与原本的第一特征模型具有更好的兼容性能力，因此，在判别性参数和兼容性参数的共同约束下，对初始特征模型训练得到的目标特征模型，不但具有更优的特征提取能力，而且还具有很强的兼容性能力。
进一步的，在目标特征模型上线了隐私保护的图像检索系统之后，在接收到新的查询图像时，目标特征模型通过对提取到的查询图像特征进行表达能力的优化和特征质量的提升，并保证目标特征模型提取到的查询图像特征，能够直接在原先第一特征模型提取到的旧特征库上进行相似度计算，从而在不影响正常图像检索功能的情况下，通过提升查询图像的特征质量来优化了整个图像检索系统的检索性能。
在上述实施例中，详细介绍了如何训练出具有后向兼容特性的目标特征模型，以此来替换掉原本的第一特征模型，从而从改善查询图像的特征质量的层面来提升图像检索系统的检索性能。而在本申请实施例中，将介绍基于训练完毕的目标特征模型，再训练一个具有前向兼容特性的特征升级模型的流程，下面进行说明。
图4是本申请实施例提供的一种特征升级模型的训练方法的流程图。参见图4，该实施例由计算机设备执行，以计算机设备为服务器为例进行说明，该实施例包括下述步骤：
401、服务器将多个样本图像输入目标特征模型，通过目标特征模型提取得到该多个样本图像各自的目标图像特征。
上述步骤401与上述步骤301类似，只是将该多个样本图像再次输入到基于初始特征模型训练完毕的目标特征模型中，从而提取该多个样本图像各自的目标图像特征，由于目标特征模型和初始特征模型具有相同的模型结构，这里不做赘述。
402、服务器将该多个样本图像输入第一特征模型，通过第一特征模型提取得到该多个样本图像各自的第二图像特征。
上述步骤402与上述步骤302类似，这里不做赘述。
403、服务器将该多个样本图像各自的第二图像特征输入初始升级模型，得到该多个样本图像各自的第三图像特征。
在一些实施例中，该初始升级模型为任一能够在已有旧特征的基础上进一步提取更强表达能力的新特征的机器学习模型，该初始升级模型的模型架构包括：MLP、CNN、DNN、ResNet等，本申请实施例对初始升级模型的模型架构不进行具体限定。
示意性地，以初始升级模型为MLP模型为例进行说明，MLP模型包括至少一个基础模块，每个基础模块中包括依次串连的全连接(Full-Connection，FC)层、批量归一化(Batch Normalization，BN)层和非线性激活(ReLU)层，换言之，每个基础模块可以表示为：[FC→BN→ReLU]。在一个示例中，在MLP模型中设置三个串连的基础模块，将全连接层维度设置为4096，并在最后一个基础模块后添加一个输出FC层，构成最终的初始升级模型ψ。
进一步的，对该多个样本图像中任一样本图像，服务器将第一特征模型对该样本图像提取得到的第二图像特征输入到初始升级模型的至少一个基础模块中，对每个基础模块来说，先使用基础模块中的FC层对输入特征进行全连接处理，接着，使用基础模块中的BN层对FC层的输出特征进行批量归一化处理，接着，使用基础模块中的ReLU层对BN层的输出特征添加非线性映射，最终将当前基础模块中ReLU层的输出特征输入到下一个基础模块中，在最后一个基础模块处理完毕之后，将最后一个基础模块的输出特征再输入到输出FC层中进行全连接输出，由该输出FC层输出该样本图像最终提取到的第三图像特征。
在上述过程中，相当于仅利用样本图像的旧特征(第二图像特征)构造其升级后的新特征(第三图像特征)，而无需初始升级模型感知到样本图像自身，这样使得初始升级模型在训练完毕后，具有直接将旧特征升级为更强表达能力的新特征的功能，而这一升级过程完全无需利用原始图像本身，从而能够使用训练完毕的特征升级模型，向着上一实施例中训练好的目标特征模型Φnew的特征空间，来对原本第一特征模型Φold对各个原始图像提取到的旧特征构成的特征库进行前向更新，在满足隐私保护下不保存原始图像的条件下，改善仅训练后向兼容的目标特征模型时旧特征库固定不动从而系统检索性能提升有限的弊端。
404、服务器基于该多个样图像各自的第三图像特征和目标图像特征，获取相似性参数，该相似性参数表征同一样本图像的第三图像特征和目标图像特征的相似程度。
在一些实施例中，对任一样本图像，均能够利用目标特征模型提取到一个目标图像特征，同时利用初始升级模型对原本第一特征模型提取到的第二图像特征进行升级，得到对应的第三图像特征，接着，可以获取该样本图像的第三图像特征和目标图像特征之间的第二相似度，该第二相似度能够表征同一样本图像的第三图像特征和目标图像特征之间的特征相似度，再基于该多个样本图像各自对应的第二相似度，获取该初始升级模型在本次迭代的相似性参数，比如，对该多个样本图像各自对应的第二相似度进行加权求和，得到该相似性参数。
在一些实施例中，对每个样本图像，将该样本图像的第三图像特征和目标图像特征之间的余弦相似度作为该第二相似度，或者，将该样本图像的第三图像特征和目标图像特征之间的欧式距离的倒数作为该第二相似度，或者采取其他方式表征该第二相似度，使得当第三图像特征和目标图像特征越相似的时候，第二相似度取值越大，当第三图像特征和目标图像特征越不相似的时候，第二相似度取值越小。
在一些实施例中，对每个样本图像，均使用该样本图像的第三图像特征和，目标图像特征之间的余弦相似度作为第二相似度的情况下，可以将1减去该样本图像的余弦相似度所得的差值作为该样本图像的余弦特征损失，再将各个样本图像的余弦特征损失相加得到相似性参数，或者，将各个样本图像的余弦特征损失的算术平均数作为相似性参数，或者，将各个样本图像的余弦特征损失的加权平均数作为相似性参数等，本申请实施例对此不进行具体限定。
在一个示例中，假设初始升级模型表示为Ψ，初始升级模型的损失函数值表示为LFCT(Ψ)，第一特征模型表示为Φold，目标特征模型表示为Φnew，那么上述相似性参数可以表示为lcompatible(Ψ(Φold)，Φnew)，假设以相似性参数作为初始升级模型的损失函数值，那么初始升级模型的损失函数值LFCT(Ψ)可以表示为下述公式：
LFCT(Ψ)＝lcompatible(Ψ(Φold)，Φnew)
其中，Ψ(Φold)表示初始升级模型Ψ的输入是第一特征模型Φold的输出特征(即第二图像特征，亦称为旧特征)，lcompatible也正是代表了初始升级模型Ψ优化后的第三图像特征与目标特征模型Φnew提取的目标图像特征之间的相似性参数，通过相似性参数lcompatible来约束对同一个样本图像i∈D，初始升级模型Ψ输出的特征Ψ(Φold(i))要与目标特征模型Φnew提取的特征Φnew(i)尽量相似。
示意性地，使用各个样本图像的余弦特征损失相加所得的和值来作为相似性参数lcompatible，其中，余弦特征损失是指1减去第三图像特征和目标图像特征之间的余弦相似度即第二相似度所得的差值，那么上述相似性参数lcompatible可以表示为下述公式：
Figure BDA0003598059850000281
其中，D是指初始升级模型ψ的多个样本图像构成的训练样本集(例如与目标特征模型Φnew采用相同的训练样本集)，i是指训练样本集D中的样本图像的序号(即第i个样本图像)，Φnew(i)是指目标特征模型Φnew对第i个样本图像提取到的目标图像特征，Φold(i)是指第一特征模型Φold对第i个样本图像提取到的第二图像特征，Ψ(Φold(i))是指初始升级模型Ψ对第i个样本图像的第二图像特征Φold(i)升级所得的第三图像特征，cos(Ψ(Φold(i))，Φnew(i))是指第i个样本图像的第三图像特征Ψ(Φold(i))和目标图像特征Φnew(i)之间的余弦相似度即第二相似度。
405、服务器在迭代次数和相似性参数均不符合第二停止条件的情况下，调整该初始升级模型的参数，基于调整参数后的初始升级模型，迭代执行上述步骤401-404。
其中，第二停止条件是指对初始升级模型停止训练的条件。
在本申请实施例中，以相似性参数作为初始升级模型的损失函数值为例进行说明，此时在本次迭代中通过上述步骤404获取到相似性参数之后，在迭代次数和相似性参数均不符合第二停止条件的情况下，服务器基于反向传播算法回传调整初始升级模型的模型参数，基于调整参数后的初始升级模型再次执行上述步骤401-404以获取下一次迭代的相似性参数，迭代执行上述操作，直到迭代次数或相似性参数中任一项符合上述第二停止条件时，进入下述步骤406。
可选地，该第二停止条件包括下述至少一项：迭代次数大于第二次数阈值，第二次数阈值是任一大于0的整数，例如第二次数阈值为30、50、100等，本申请实施例第二次数阈值不进行具体限定；或，相似性参数小于第二损失阈值，第二损失阈值是任一大于或等于0且小于或等于1的数值，例如第二损失阈值是0.1、0.15、0.2等；或，本次迭代的相似性参数与上一次迭代的相似性参数之间的差值小于第二差值阈值，该第二差值阈值是任一大于或等于0且小于或等于1的数值，例如第二差值阈值是0.01、0.02、0.03等。
406、服务器在迭代次数或相似性参数中任一项符合第二停止条件的情况下，将最后一次迭代的初始升级模型输出为特征升级模型。
在一些实施例中，在迭代次数或相似性参数中任一项符合上述第二停止条件时，服务器停止迭代，将最后一次迭代的初始升级模型输出为特征升级模型，其中，该特征升级模型的该相似性参数符合对该第一特征模型提取到的图像特征的优化条件。
在上述过程中，相当于基于相似性参数，迭代调整初始升级模型的参数，以得到特征升级模型，该特征升级模型用于对第一特征模型提取到的图像特征进行优化。由于训练的特征升级模型其目标是为了对图像检索系统中原本第一特征模型对各个原始图像提取到的旧特征构成的特征库进行特征升级，使得旧特征能够从原本的特征空间逐步前向更新到目标特征模型所对应的新特征空间，但在隐私保护要求的情况下，由于原始图像是不可获取的，无法直接使用目标特征模型来重新提取一遍各个原始图像的新特征从而对整个特征库进行替换，因此，通过训练本申请实施例的特征升级模型，能够在不需要获取原始图像的基础上，直接以原始图像的旧特征(即第二图像特征)作为输入，通过特征升级模型提取到升级完毕的新特征(即第三图像特征)，并通过相似性参数施加约束，使得升级完毕的第三图像特征尽量与目标特征模型提取到的目标图像特征保持相似性，从而能够从优化原本特征库中的旧特征的角度来进一步提升图像检索系统的检索性能。
示意性地，在观测到相似性参数连续两次迭代之间的差值小于第二差值阈值，代表相似性参数不再明显下降时，即可停止训练，得到拥有前向兼容特性的特征升级模型Ψ，利用训练完毕的特征升级模型Ψ还能够对原本特征库中各个原始图像的特征进行更新，实现对整个特征库的前向兼容优化。
在一些实施例中，服务器获取该第一特征模型Φold对应的特征库中的多个库存图像特征Φold(G)，该库存图像特征Φold(G)是指特征库中已有的利用第一特征模型Φold对原始图像G提取到的库存旧特征，接着，将该多个库存图像特征Φold(G)输入该特征升级模型Ψ，得到多个库存升级特征Ψ(Φold(G))，库存升级特征Ψ(Φold(G))是指在库存图像特征Φold(G)基础上进行升级优化所得的新特征，接着，在该特征库中，将该多个库存图像特征Φold(G)(即旧特征)替换为各自对应的库存升级特征Ψ(Φold(G))(即升级得到的新特征)，能够实现对整个特征库的前向兼容优化：
Figure BDA0003598059850000301
在本申请实施例中涉及的第一特征模型Φold、目标特征模型Φnew和特征升级模型Ψ，三者的特征空间都是相互兼容的，相当于在训练样本集D上训练得到具有后向兼容特性的目标特征模型Φnew和具有前向兼容特性的特征升级模型Ψ，从而提供了一种双向兼容模型升级方案，由于训练样本集D与隐私保护要求的各个原始图像是同种类型但完全不重合的图像数据集(即虽然原始图像和样本图像是同种类型数据，但不存在任何具体数据上的交集)，且训练样本集D是经过对应用户的充分授权和单独同意的情况下才投入到训练流程中的，因此能够充分满足隐私保护要求。此外，通过特征升级模型Ψ对特征库中库存图像特征Φold(G)的升级过程能够实时线上进行，而且还能够分批次线上进行，而无需在线下对整个特征库更新完毕后再上传到图像检索系统进行覆盖，代表了特征升级时无需停机维护，这样极大降低了图像检索系统的特征升级的成本和损失，并且当整个特征库都线上实时升级完毕后，图像检索系统的检索精度也会实时逐步提升，最后所有库存图像特征Φold(G)都会在线升级完毕，此时双向兼容的模型升级方案流程结束。
可选地，上述分批次线上进行模型升级，是指：逐步使用特征升级模型Ψ对特征库中当前批次的部分库存图像特征Φold(G)进行升级，分多个批次执行上述升级操作后能够对整个特征库完成升级，从而逐步使用库存升级特征Ψ(Φold(G))替换掉原本的库存图像特征Φold(G)。
图5是本申请实施例提供的一种双向兼容模型升级方案的原理性流程图，如图5所示，在双向兼容模型升级方案中，对训练样本集D中的每个样本图像501，都会分别将该样本图像输入到旧特征模型502(即第一特征模型Φold)和新特征模型503(即目标特征模型Φnew)中，旧特征模型502输出样本图像501的旧特征5011(即第二图像特征)，新特征模型503输出样本图像501的新特征5012(即目标图像特征)。
一方面，通过后向兼容训练(Backward Compatible Training，BCT)来提供一个具有后向兼容特性的新特征模型503，从而使用新特征模型503来替换掉旧特征模型502，以供图像检索系统提取查询图像的特征，这样能够改善查询图像的特征质量。
另一方面，通过前向兼容训练(Forward Compatible Training，FCT)来提供一个具有前向兼容特性的特征升级模型504(即特征升级模型Ψ)，将旧特征模型502提取到的旧特征5011输入到特征升级模型504中，特征升级模型504输出对旧特征5012升级后的新特征5013，从而能够通过特征升级模型504来改善图像检索系统中的旧特征库，从而改善库存图像特征的特征质量。
上述结合后向兼容训练的新特征模型503和前向兼容训练的特征升级模型504，可统称为双向兼容训练(Bidirectional Compatible Training，BiCT)的特征模型升级方案，这一双向兼容模型升级方案能够充分满足隐私保护场景下，在不获取特征库中库存图像特征所对应原始图像的基础上就能够完成特征模型的升级以及库存图像特征的升级，从而有效提升整个图像检索系统的检索精度和检索性能。
上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本申请实施例提供的方法，通过提供一种具有前向兼容特性的特征升级模型，能够在不获取特征库中库存图像特征所对应原始图像的情况下，仅利用库存图像特征就实现特征升级，得到升级后的库存升级特征，由于在训练特征升级模型时通过相似性参数施加了约束，使得库存升级特征与目标特征模型提取到的目标图像特征属于同一特征空间，从而能够保证目标特征模型也能在库存升级特征构成的新特征库上进行相似样本检索，满足了隐私保护要求下即时更新特征库的优化需求。
进一步的，本申请实施例提供的具有前向兼容特性的特征升级模型，与上一实施例提供的具有后向兼容特性的目标特征模型相结合，相当于构成了一种双向兼容模型升级方案，不但能够通过目标特征模型来优化查询图像的特征质量，而且能够通过特征升级模型来更新旧特征库中的库存图像特征，使得升级后的库存升级特征尽量向目标特征模型对应的新特征空间相靠近(由于新特征空间下特征质量更好，因此这一过程称为特征升级)，由于特征升级模型仅将旧特征升级成新特征，而无需用到旧特征对应的原始图像，因此能够很好地解决在旧特征库升级时需要利用原始图像，但隐私保护要求下不会存储原始图像的两难困境。
进一步的，本申请实施例提供的双向兼容模型升级方案，能够适用于各种涉及到隐私保护的图像检索系统，比如对象认证(在对象特征库中寻找最相似对象并判断是否和查询对象是同一个)、侵权检测(在原创数据库中检测查询样本是否抄袭)等，在这些隐私保护的图像检索系统中，在没有存储原始图像的情况下能够实现特征模型升级和库存旧特征升级，从而有效提升图像检索系统的检索精度。
以提供对象认证功能的图像检索系统为例进行说明，由于大多数对象相关的图像数据通常是较为敏感的隐私数据，服务器在第一次收集完包含对象的原始图像并提取到库存图像特征、存储到特征库中之后，图像检索系统仅保留特征库中的库存图像特征以及对应的对象标识(如对象编号、对象标识码等)，而不会保留包含对象的原始图像，或者，服务器向用户提供特征模型(指旧特征模型)，以供用户在终端侧使用特征模型对库存图像特征提取完毕后，将库存图像特征上传到服务器侧的图像检索系统中，这样服务器侧始终接触的都是库存图像特征而并非包含对象的原始图像，这类情况对隐私数据的保护力度更大。此后，用户向图像检索系统提供一个查询图像，图像检索系统会提取到查询图像的特征(或由用户侧自行抽取查询图像的特征后上传到图像检索系统)，来与对象特征库中的各个库存图像特征进行比较，返回最相似样本对应的对象标识，并根据两特征之间的特征相似度是否大于设定阈值来验证查询图像与最相似样本是否对应同一个对象。
针对这类隐私保护的检索系统，本申请实施例能够在没有包含对象的原始图像的情况下，提供双向兼容的特征模型的升级方式以及库存图像特征的升级方式，从而高效提升图像检索系统的对象检索性能。首先，训练得到的新特征模型(即目标特征模型)具有后向兼容特性，能够直接与旧特征库进行比较，从而能够实时上线图像检索系统，通过改善查询图像的特征来提升整个检索系统的检索性能；其次，训练得到的特征升级模型，能够对旧特征库进行库存图像特征的升级，使其尽量更新到上述新特征模型对应的新特征空间，由于特征库得到了更新，虽然升级得到的库存升级特征和新特征模型提取到的目标图像特征并非完全相同，但是能够保持尽量靠近，因此特征库的特征质量也得到了一定提升和改善，从而进一步提升了整个图像检索系统的检索性能。
以下，将对本申请实施例提供的双向兼容模型升级方案的测试性能进行详细说明。在测试过程中，使用三个较为常用的检索数据集：GLDv2(Google Landmark Datasetv2，谷歌地标数据集v2)、ROxford(Revisited Oxford，重游牛津数据集)和RParis(Revisited Paris，重游巴黎数据集)作为测试样本集，同时针对四种可能的模型升级方式(以“旧特征模型训练设置→新特征模型设置”的形式表示)：训练样本集的数据量扩容(25％data→100％data，即数据量扩容4倍)、训练样本集的数据类别扩充(25％class→100％class，即数据类别扩充4倍)、特征模型结构升级(ResNet-18→ResNet-50，即模型层数加深)以及特征模型判别性损失改进(Softmax Loss→ArcFace Loss，将判别性参数从Softmax损失替换为ArcFace损失)来验证本方案的有效性。
需要说明的是，需要说明的是，测试采用mAP(mean Average Precision，平均精度均值)指标来衡量检索性能的好坏，该mAP值越大表示检索性能越好，该mAP值越小表示检索性能越差。针对上述四种模型升级方式分别在三个测试样本集上进行测试所得的测试结果如表1所示。
表1
Figure BDA0003598059850000331
Figure BDA0003598059850000341
其中，Mo2o是指旧特征模型(即第一特征模型)自身的检索性能，MBCT是指将后向兼容的新特征模型(即目标特征模型)上线图像检索系统后的检索性能，MFCT是指将后向兼容的新特征模型上线图像检索系统并使用前向兼容的特征升级模型对特征库中库存旧特征完成升级后的检索性能，Mn2n是指新特征模型自身的检索性能，但由于隐私保护要求下无法利用原始图像重新提取新特征，因此Mn2n的检索性能是无法达到的，这里仅列出作为参考。另外，符号“↑”代表相较于Mo2o的检索性能提升程度，符号“↓”代表相较于Mo2o的检索性能降低程度。
综合表1数据可以看出，除了在ROxford测试样本集上的数据类别扩充实验之外，在后向兼容的新特征模型上线图像检索系统后的检索性能MBCT相较于旧特征模型自身检索性能Mo2o均获得了普遍提升。进一步的，在后向兼容的新特征模型上线图像检索系统的基础上，利用前向兼容的特征升级模型完成对特征库中的库存旧特征升级后的检索性能MFCT，也相较于旧特征模型自身检索性能Mo2o在各种测试样本集和模型升级方式下都获得了一致性的显著提升，此外相较于仅上线后向兼容的新特征模型的检索性能MBCT也获得了普遍提升，这说明了在后向兼容训练后进行前向兼容特征升级的重要性，而这也佐证了双向兼容模型升级方案相比于只进行后向兼容模型升级方案具有更强的系统提升优势。
此外，还在测试样本集GLDv2进行了另外一组测试，针对同一旧特征模型进行连续两次模型升级(即两代模型升级)的测试实验，涉及三种可能的模型升级方式：训练样本集的数据量扩容(25％→50％→100％，即数据量每次扩容2倍)、训练样本集的数据类别扩充(25％→50％→100％，即数据类别每次扩充2倍)、特征模型结构升级(ResNet-18→ResNet-34→ResNet-101，即模型层数不断加深)，其测试结果如表2所示。
表2
Figure BDA0003598059850000342
Figure BDA0003598059850000351
BCT方式是指：仅进行后向兼容训练的情况下，连续升级两次后向兼容的新特征模型(即分两次改善查询图像特征质量，库存特征不更新)。表中的“n/a”是指不适用(NotApplicable)，由于BCT方式下没有结合前向兼容训练，因此结合了前向兼容训练来进行特征升级的检索性能MFCT自然不适用。
BiCT方式是指：在进行后向兼容训练的基础上，还进行前向兼容训练得到特征升级模型，以升级特征库中的库存旧特征(即分两次改善了查询图像特征和库存特征)。因此BiCT是指双向兼容模型升级方案，MBCT代表了后向兼容训练改善查询图像特征后的检索性能，MFCT代表了双向兼容训练改善库存特征后的检索性能。
综合表2数据可以看出，在仅进行后向兼容BCT方式训练时，连续多代进行特征模型升级时带来的提升具有一定局限性，而本申请实施例提出的双向兼容BiCT方式训练时，由于能够在后向兼容提升特征模型之后，还利用前向兼容的特征升级模型及时更新特征库中的库存旧特征，促使特征库也进行前向升级，从而不仅在同一代模型升级中能够取得更高的收益，即新特征模型既应用到查询图像特征质量的改善、也指引了库存旧特征的升级，因此在同一代模型升级中有MFCT＞MBCT，此外，由于在后续模型升级中减弱了新特征模型需要兼容最旧特征模型提取的库存旧特征的制约(在BiCT方式中库存旧特征也得到了前向升级，新特征模型只需要兼容升级后的新库存特征)，因此在后续第2代模型升级时也获得了更好的模型升级检索性能，即从第二代模型升级开始，BiCT方式下的检索性能MBCT和MFCT都会比BCT方式下的检索性能MBCT高。
在上述各个实施例中，分别详细介绍了目标特征模型的训练过程、特征升级模型的训练过程以及通过双向兼容训练方式来进行特征模型升级和库存旧特征升级的测试性能提升，而在本申请实施例中，将详细介绍图像检索系统如何利用已升级完毕的目标特征模型以及升级完毕的库存升级特征，实现图像检索功能，下面进行说明。
图6是本申请实施例提供的一种图像处理方法的流程图。参见图6，该实施例由计算机设备执行，以计算机设备为服务器为例进行说明，该实施例包括下述步骤：
601、服务器响应于图像查询请求，获取该图像查询请求中携带的查询图像。
在一些实施例中，服务器接收终端发送的任一请求，解析该请求的头字段，在该头字段中携带图像查询标识时，确定该请求为图像查询请求，进而解析该图像查询请求的数据字段，得到该图像查询请求中携带的查询图像。
602、服务器基于目标特征模型提取得到该查询图像的查询图像特征，该目标特征模型基于判别性参数和兼容性参数，对初始特征模型迭代调整参数得到。
在一些实施例中，服务器将该查询图像输入训练完毕的目标特征模型，通过该目标特征模型对该查询图像进行特征提取，输出该查询图像的查询图像特征，其中，该目标特征模型的训练方式参见上述各个实施例，这里不做赘述。
上述步骤602与上一实施例中步骤401类似，只是将样本图像换成了查询图像，这里不做赘述。
603、服务器从特征库中的多个库存升级特征中，确定与该查询图像特征的匹配程度最高的目标库存特征，该库存升级特征由特征升级模型对该第一特征模型所提取到的库存图像特征处理得到。
在一些实施例中，通过上一实施例中训练得到的特征升级模型，对特征库中的各个库存图像特征实现特征升级，并将升级所得的库存升级特征覆盖掉原本对应的库存图像特征，接着，从特征库的多个库存升级特征中，确定各个库存升级特征与该查询图像特征之间的特征相似度(例如余弦相似度)，接着，选取特征相似度最高的库存升级特征作为与该查询图像特征的匹配程度最高的目标库存特征。
604、服务器返回与该目标库存特征关联的图像检索信息。
在一些实施例中，服务器向终端返回与该目标库存特征关联的图像检索信息，比如，该图像检索信息包括但不限于：目标库存特征自身、目标库存特征关联的对象标识、目标库存特征关联的索引、目标库存特征关联的链接等，本申请实施例对此不进行具体限定。
上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本申请实施例提供的方法，通过利用训练完毕的目标特征模型来提取查询图像的查询图像特征，并直接在升级完毕的库存升级特征上进行相似样本检索，不但通过目标特征模型带来了查询图像特征的性能提升，并且由于库存升级特征也优于原本的库存图像特征，因此能够极大提升图像检索系统的检索性能，提高检索到的目标库存特征的检索精度，满足了隐私保护要求下提升图像检索系统的检索性能的需求。
图7是本申请实施例提供的一种特征模型的获取装置的结构示意图，如图7所示，该装置包括：
第一获取模块701，用于基于初始特征模型对多个样本图像提取得到的第一图像特征，获取判别性参数，该判别性参数表征不同类别下样本图像的第一图像特征的差异程度；
第二获取模块702，用于基于第一特征模型对该多个样本图像提取得到的第二图像特征和该第一图像特征，获取兼容性参数，该兼容性参数表征同一样本图像的第一图像特征和第二图像特征的相似程度；
参数调整模块703，用于基于该判别性参数和该兼容性参数，迭代调整该初始特征模型的参数，以得到目标特征模型。
本申请实施例提供的装置，通过获取用于表征不同类别下样本图像的第一图像特征的差异程度的判别性参数，使得判别性参数能够控制训练得到的目标特征模型具有更优的特征提取能力，通过获取用于表征同一样本图像的第一图像特征和第二图像特征的相似程度的兼容性参数，使得兼容性参数能够控制该目标特征模型与原本的第一特征模型具有更好的兼容性能力，因此，在判别性参数和兼容性参数的共同约束下，对初始特征模型训练得到的目标特征模型，不但具有更优的特征提取能力，而且还具有很强的兼容性能力。
进一步的，在目标特征模型上线了隐私保护的图像检索系统之后，在接收到新的查询图像时，目标特征模型通过对提取到的查询图像特征进行表达能力的优化和特征质量的提升，并保证目标特征模型提取到的查询图像特征，能够直接在原先第一特征模型提取到的旧特征库上进行相似度计算，从而在不影响正常图像检索功能的情况下，通过提升查询图像的特征质量来优化了整个图像检索系统的检索性能。
在一种可能实施方式中，该第二获取模块702用于：
对任一样本图像，获取该样本图像的第一图像特征和第二图像特征之间的第一相似度；
基于该多个样本图像各自对应的第一相似度，获取该兼容性参数。
在一种可能实施方式中，基于图7的装置组成，该第一获取模块701包括：
确定单元，用于对任一样本图像，基于该样本图像的第一图像特征，确定该初始特征模型将该样本图像分类到的预测类别；
第一获取单元，用于基于该预测类别和该样本图像所属的参考类别，获取该样本图像的判别性损失，该判别性损失用于表征该预测类别与该参考类别之间的差异程度；
第二获取单元，用于基于该多个样本图像各自对应的判别性损失，获取该判别性参数。
在一种可能实施方式中，该第一获取单元用于：
获取该样本图像的第一图像特征和该参考类别的类别特征之间的特征夹角；
将该特征夹角与分类加性角度边距相加，得到特征修正夹角，该分类加性角度边距用于增大不同类别的类别特征之间的类间差异程度；
基于该特征修正夹角的余弦值和将该样本图像的第一图像特征分类到多个候选类别各自的预测值，获取该样本图像的判别性损失。
在一种可能实施方式中，该参数调整模块703用于：
基于该判别性参数和该兼容性参数，确定该初始特征模型本次迭代的损失函数值；
在迭代次数和该损失函数值均不符合第一停止条件的情况下，迭代调整该初始特征模型的参数，基于调整参数后的初始特征模型，再次执行获取损失函数值的步骤；
在该迭代次数或该损失函数值中任一项符合该第一停止条件的情况下，输出该目标特征模型。
在一种可能实施方式中，基于图7的装置组成，该装置还包括：
第一提取模块，用于将该多个样本图像输入该目标特征模型，得到该多个样本图像的目标图像特征；
第二提取模块，用于将该多个样本图像的第二图像特征输入初始升级模型，得到该多个样本图像的第三图像特征；
第三获取模块，用于基于该第三图像特征和该目标图像特征，获取相似性参数，该相似性参数表征同一样本图像的第三图像特征和目标图像特征的相似程度；
该参数调整模块703，还用于基于该相似性参数，迭代调整该初始升级模型的参数，以得到特征升级模型，该特征升级模型用于对该第一特征模型提取到的图像特征进行优化。
在一种可能实施方式中，该第三获取模块用于：
对任一样本图像，获取该样本图像的第三图像特征和目标图像特征之间的第二相似度；
基于该多个样本图像各自对应的第二相似度，获取该相似性参数。
在一种可能实施方式中，基于图7的装置组成，该装置还包括：
第四获取模块，用于获取该第一特征模型对应的特征库中的多个库存图像特征；
特征升级模块，用于将该多个库存图像特征输入该特征升级模型，得到多个库存升级特征；
特征替换模块，用于在该特征库中，将该多个库存图像特征替换为各自对应的库存升级特征。
上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的特征模型的获取装置在获取目标特征模型时，仅以上述各功能模块的划分进行举例说明，实际应用中，能够根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的特征模型的获取装置与特征模型的获取方法实施例属于同一构思，其具体实现过程详见特征模型的获取方法实施例，这里不再赘述。
图8是本申请实施例提供的一种图像处理装置的结构示意图，如图8所示，该装置包括：
获取模块801，用于响应于图像查询请求，获取该图像查询请求中携带的查询图像；
提取模块802，用于基于目标特征模型提取得到该查询图像的查询图像特征，该目标特征模型基于判别性参数和兼容性参数，对初始特征模型迭代调整参数得到；
确定模块803，用于从特征库中的多个库存升级特征中，确定与该查询图像特征的匹配程度最高的目标库存特征，该库存升级特征由特征升级模型对该第一特征模型所提取到的库存图像特征处理得到；
返回模块804，用于返回与该目标库存特征关联的图像检索信息。
本申请实施例提供的装置，通过利用训练完毕的目标特征模型来提取查询图像的查询图像特征，并直接在升级完毕的库存升级特征上进行相似样本检索，不但通过目标特征模型带来了查询图像特征的性能提升，并且由于库存升级特征也优于原本的库存图像特征，因此能够极大提升图像检索系统的检索性能，提高检索到的目标库存特征的检索精度，满足了隐私保护要求下提升图像检索系统的检索性能的需求。
需要说明的是：上述实施例提供的图像处理装置在处理查询图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，能够根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见图像处理方法实施例，这里不再赘述。
图9是本申请实施例提供的一种计算机设备的结构示意图，该计算机设备900可因配置或性能不同而产生比较大的差异，该计算机设备900包括一个或一个以上处理器(Central Processing Units，CPU)901和一个或一个以上的存储器902，其中，该存储器902中存储有至少一条计算机程序，该至少一条计算机程序由该一个或一个以上处理器901加载并执行以实现上述各个实施例提供的特征模型的获取方法或图像处理方法。可选地，该计算机设备900还具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备900还包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条计算机程序的存储器，上述至少一条计算机程序可由终端中的处理器执行以完成上述各个实施例中的特征模型的获取方法或图像处理方法。例如，该计算机可读存储介质包括ROM(Read-Only Memory，只读存储器)、RAM(Random-Access Memory，随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory，只读光盘)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，包括一条或多条程序代码，该一条或多条程序代码存储在计算机可读存储介质中。计算机设备的一个或多个处理器能够从计算机可读存储介质中读取该一条或多条程序代码，该一个或多个处理器执行该一条或多条程序代码，使得计算机设备能够执行以完成上述实施例中的特征模型的获取方法或图像处理方法。
本领域普通技术人员能够理解实现上述实施例的全部或部分步骤能够通过硬件来完成，也能够通过程序来指令相关的硬件完成，可选地，该程序存储于一种计算机可读存储介质中，可选地，上述提到的存储介质是只读存储器、磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种特征模型的获取方法，其特征在于，所述方法包括：
基于初始特征模型对多个样本图像提取得到的第一图像特征，获取判别性参数，所述判别性参数表征不同类别下样本图像的第一图像特征的差异程度；
基于第一特征模型对所述多个样本图像提取得到的第二图像特征和所述第一图像特征，获取兼容性参数，所述兼容性参数表征同一样本图像的第一图像特征和第二图像特征的相似程度；
基于所述判别性参数和所述兼容性参数，迭代调整所述初始特征模型的参数，以得到目标特征模型。
2.根据权利要求1所述的方法，其特征在于，所述基于第一特征模型对所述多个样本图像提取得到的第二图像特征和所述第一图像特征，获取兼容性参数包括：
对任一样本图像，获取所述样本图像的第一图像特征和第二图像特征之间的第一相似度；
基于所述多个样本图像各自对应的第一相似度，获取所述兼容性参数。
3.根据权利要求1所述的方法，其特征在于，所述基于初始特征模型对多个样本图像提取得到的第一图像特征，获取判别性参数包括：
对任一样本图像，基于所述样本图像的第一图像特征，确定所述初始特征模型对所述样本图像分类得到的预测类别；
基于所述预测类别和所述样本图像所属的参考类别，获取所述样本图像的判别性损失，所述判别性损失用于表征所述预测类别与所述参考类别之间的差异程度；
基于所述多个样本图像各自对应的判别性损失，获取所述判别性参数。
4.根据权利要求3所述的方法，其特征在于，所述基于所述预测类别和所述样本图像所属的参考类别，获取所述样本图像的判别性损失包括：
获取所述样本图像的第一图像特征和所述参考类别的类别特征之间的特征夹角；
将所述特征夹角与分类加性角度边距相加，得到特征修正夹角，所述分类加性角度边距用于增大不同类别的类别特征之间的类间差异程度；
基于所述特征修正夹角的余弦值和将所述样本图像的第一图像特征分类到多个候选类别各自的预测值，获取所述样本图像的判别性损失。
5.根据权利要求1所述的方法，其特征在于，所述基于所述判别性参数和所述兼容性参数，迭代调整所述初始特征模型的参数，以得到目标特征模型包括：
基于所述判别性参数和所述兼容性参数，确定所述初始特征模型本次迭代的损失函数值；
在迭代次数和所述损失函数值均不符合第一停止条件的情况下，迭代调整所述初始特征模型的参数，基于调整参数后的初始特征模型，再次执行获取损失函数值的步骤；
在所述迭代次数或所述损失函数值中任一项符合所述第一停止条件的情况下，输出所述目标特征模型。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述多个样本图像输入所述目标特征模型，得到所述多个样本图像的目标图像特征；
将所述多个样本图像的第二图像特征输入初始升级模型，得到所述多个样本图像的第三图像特征；
基于所述第三图像特征和所述目标图像特征，获取相似性参数，所述相似性参数表征同一样本图像的第三图像特征和目标图像特征的相似程度；
基于所述相似性参数，迭代调整所述初始升级模型的参数，以得到特征升级模型，所述特征升级模型用于对所述第一特征模型提取到的图像特征进行优化。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第三图像特征和所述目标图像特征，获取相似性参数包括：
对任一样本图像，获取所述样本图像的第三图像特征和目标图像特征之间的第二相似度；
基于所述多个样本图像各自对应的第二相似度，获取所述相似性参数。
8.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：
获取所述第一特征模型对应的特征库中的多个库存图像特征；
将所述多个库存图像特征输入所述特征升级模型，得到多个库存升级特征；
在所述特征库中，将所述多个库存图像特征替换为各自对应的库存升级特征。
9.一种图像处理方法，其特征在于，所述方法包括：
响应于图像查询请求，获取所述图像查询请求中携带的查询图像；
基于目标特征模型提取得到所述查询图像的查询图像特征，所述目标特征模型基于判别性参数和兼容性参数，对初始特征模型迭代调整参数得到；
从特征库中的多个库存升级特征中，确定与所述查询图像特征的匹配程度最高的目标库存特征，所述库存升级特征由特征升级模型对所述第一特征模型所提取到的库存图像特征处理得到；
返回与所述目标库存特征关联的图像检索信息。
10.一种特征模型的获取装置，其特征在于，所述装置包括：
第一获取模块，用于基于初始特征模型对多个样本图像提取得到的第一图像特征，获取判别性参数，所述判别性参数表征不同类别下样本图像的第一图像特征的差异程度；
第二获取模块，用于基于第一特征模型对所述多个样本图像提取得到的第二图像特征和所述第一图像特征，获取兼容性参数，所述兼容性参数表征同一样本图像的第一图像特征和第二图像特征的相似程度；
参数调整模块，用于基于所述判别性参数和所述兼容性参数，迭代调整所述初始特征模型的参数，以得到目标特征模型。
11.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于响应于图像查询请求，获取所述图像查询请求中携带的查询图像；
提取模块，用于基于目标特征模型提取得到所述查询图像的查询图像特征，所述目标特征模型基于判别性参数和兼容性参数，对初始特征模型迭代调整参数得到；
确定模块，用于从特征库中的多个库存升级特征中，确定与所述查询图像特征的匹配程度最高的目标库存特征，所述库存升级特征由特征升级模型对所述第一特征模型所提取到的库存图像特征处理得到；
返回模块，用于返回与所述目标库存特征关联的图像检索信息。
12.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求8任一项所述的特征模型的获取方法或如权利要求9所述的图像处理方法。
13.一种存储介质，其特征在于，所述存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求8任一项所述的特征模型的获取方法或如权利要求9所述的图像处理方法。
14.一种计算机程序产品，其特征在于，所述计算机程序产品包括至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求8任一项所述的特征模型的获取方法或如权利要求9所述的图像处理方法。
CN202210397551.0A 2022-04-15 2022-04-15 特征模型的获取方法、图像处理方法、装置及计算机设备 Pending CN115146092A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210397551.0A CN115146092A (zh) 2022-04-15 2022-04-15 特征模型的获取方法、图像处理方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210397551.0A CN115146092A (zh) 2022-04-15 2022-04-15 特征模型的获取方法、图像处理方法、装置及计算机设备

Publications (1)

Publication Number Publication Date
CN115146092A true CN115146092A (zh) 2022-10-04

Family

ID=83407033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210397551.0A Pending CN115146092A (zh) 2022-04-15 2022-04-15 特征模型的获取方法、图像处理方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN115146092A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024078299A1 (zh) * 2022-10-11 2024-04-18 腾讯科技（深圳）有限公司 发明名称：特征提取模型处理及特征提取方法、装置和计算机设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024078299A1 (zh) * 2022-10-11 2024-04-18 腾讯科技（深圳）有限公司 发明名称：特征提取模型处理及特征提取方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
Moreira et al. Image provenance analysis at scale
Li et al. Hybrid shape descriptor and meta similarity generation for non-rigid and partial 3D model retrieval
KR20120053211A (ko) 멀티미디어 데이터 검색 방법, 장치 및 패턴인식 방법
CN111339343A (zh) 图像检索方法、装置、存储介质及设备
CN113298197B (zh) 数据聚类方法、装置、设备及可读存储介质
CN113761261A (zh) 图像检索方法、装置、计算机可读介质及电子设备
CN114329029B (zh) 对象检索方法、装置、设备及计算机存储介质
WO2022140900A1 (zh) 个人知识图谱构建方法、装置及相关设备
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN114565807A (zh) 训练目标图像检索模型的方法和装置
CN114238329A (zh) 向量相似度计算方法、装置、设备及存储介质
CN114330703A (zh) 搜索模型的更新方法、装置、设备及计算机可读存储介质
CN114298997B (zh) 一种伪造图片检测方法、装置及存储介质
CN117494051A (zh) 一种分类处理的方法、模型训练的方法以及相关装置
CN115879508A (zh) 一种数据处理方法及相关装置
CN113590854B (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN113761124B (zh) 文本编码模型的训练方法、信息检索方法及设备
CN113033507B (zh) 场景识别方法、装置、计算机设备和存储介质
CN115146092A (zh) 特征模型的获取方法、图像处理方法、装置及计算机设备
CN113761282B (zh) 视频查重方法、装置、电子设备以及存储介质
KR20200044644A (ko) Cnn 기반 이미지 검색 방법 및 장치
CN114329004A (zh) 数字指纹生成、数据推送方法、装置和存储介质
CN113821657A (zh) 基于人工智能的图像处理模型训练方法及图像处理方法
CN113254687A (zh) 图像检索、图像量化模型训练方法、装置和存储介质
CN114494809A (zh) 特征提取模型优化方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40077111

Country of ref document: HK