CN112395448A - 一种人脸检索方法及装置 - Google Patents

一种人脸检索方法及装置 Download PDF

Info

Publication number
CN112395448A
CN112395448A CN201910755742.8A CN201910755742A CN112395448A CN 112395448 A CN112395448 A CN 112395448A CN 201910755742 A CN201910755742 A CN 201910755742A CN 112395448 A CN112395448 A CN 112395448A
Authority
CN
China
Prior art keywords
feature
features
face
unstructured
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910755742.8A
Other languages
English (en)
Inventor
陈凯
申皓全
王铭学
赖昌材
胡翔宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910755742.8A priority Critical patent/CN112395448A/zh
Priority to PCT/CN2020/105160 priority patent/WO2021027555A1/zh
Publication of CN112395448A publication Critical patent/CN112395448A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供一种人脸检索方法及装置。该方法可以包括：获取待检索的人脸图像；获取人脸图像的结构化特征，结构化特征包括用于表征人脸属性的特征，结构化特征与多个预设特征维度对应；根据结构化特征，获取人脸图像中与多个预设特征维度一一对应的非结构化特征，非结构化特征包括用于表示人脸特征的向量；至少根据非结构化特征，获取多个预设特征维度对应的标准特征，标准特征包括非结构化特征经神经网络转换后的特征。在本申请中，由于先利用结构化模型将人脸图像划分到不同的特征维度，再利用多个非结构化特征提取模型来进行特征提取，如此以适合处理复杂场景的人脸检索，并降低计算复杂度。

Description

一种人脸检索方法及装置
技术领域
本申请涉及计算机视觉领域，特别涉及一种人脸检索方法及装置。
背景技术
随着科技的发展，人脸检索是一项融合了计算机图像处理知识以及生物统计学知识的新兴生物识别技术。目前人脸检索被广泛应用于身份识别、身份验证等相关场景(例如安防监控和门禁闸机等)。
在人脸检索技术中，通常是给定一张待检索的人脸图像，人脸检索设备将其与指定人脸库中的多个人脸图像进行比对，找出最相似的一张人脸图像或多张人脸图像。但是，人脸检索设备并不直接计算待检索的人脸图像与人脸库中的人脸图像之间的相似度，而是将所有图像都表示成特征，并利用这些特征来计算与彼此的相似度。在对人脸图像进行特征提取时，如果对所有图像采用单一特征提取模型进行特征提取，由于单一模型的特征提取能力有限，就会导致其难以处理所有场景的人脸检索；而如果对所有图像采用多个特征提取模型进行特征提取，由于每一张图像需要通过所有模型，导致计算复杂度高。
发明内容
本申请提供了一种人脸检索方法及装置，以适合处理复杂场景的人脸检索，并降低计算复杂度。
第一方面，本申请提供一种人脸检索方法，该方法可以应用于如身份识别、身份验证等相关场景中。上述人脸检索方法可以包括：获取待检索的人脸图像；获取人脸图像的结构化特征，结构化特征与多个预设特征维度对应；根据结构化特征，获取人脸图像中与多个预设特征维度一一对应的非结构化特征；至少根据非结构化特征，获取多个预设特征维度对应的标准特征，标准特征包括非结构化特征经神经网络转换后的特征；根据标准特征，对人脸图像进行人脸检索。
在本申请中，人脸图像中的人脸特征可以分为结构化特征和非结构化特征，其中，结构化特征可以包括用于表征人脸属性的特征，人脸属性可以指人脸图像的一些具体的物理含义，例如年龄、性别和/或角度等，是通过结构化特征提取模型从人脸图像中提取出的；而非结构化特征可以包括用于表示人脸特征的向量，该人脸特征可以指人脸图像中没有具体物理含义的特征，由一串数字组成，又可以被称为特征向量，是通过非结构化特征提取模型从人脸图像中提取出的，特征向量之间的相似度可以用来代表待检索的人脸图像与人脸模板图像之间的相似度。
在本申请中，由于利用多个特征提取模型来进行特征提取，使得特征提取能力强于单一模型，更适合处理复杂场景的人脸检索。进一步地的，由于先利用结构化模型将人脸图像划分到不同的特征维度，如此，一方面可以更有具针对性地处理人脸图像，另一方面人脸图像无需通过所有的非结构化特征提取模型，减少人脸图像需要通过的模型的个数，降低计算复杂度。
基于第一方面，在一些可能的实施方式中，获取人脸图像的结构化特征，包括：获取结构化特征提取模型，结构化模型是按照多个预设特征维度进行训练得到的；将人脸图像输入结构化特征提取模型，获得输出的结构化特征。
基于第一方面，在一些可能的实施方式中，根据结构化特征，获取人脸图像中与多个预设特征维度对应的非结构化特征，包括：根据结构化特征，确定多个预设特征维度中是否包含目标特征维度；若多个预设特征维度中包含目标特征维度，则获取目标特征维度对应的非结构化特征提取模型，非结构化特征提取模型是基于目标特征维度对应的数据进行训练得到的；将人脸图像输入非结构化特征提取模型，获得输出的非结构化特征。
在本申请中，上述结构化特征提取模型和非结构化特征提取模型均为机器学习模型(例如卷积神经网络)。卷积神经网络本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，在收集好训练样本后，对卷积神经网络加以训练，卷积神经网络就具有输入输出对之间的映射能力。当然，结构化特征提取模型和非结构化特征提取模型还可以为其他的机器学习模型，本申请实施例不做具体限定。
基于第一方面，在一些可能的实施方式中，对人脸图像进行人脸检索之前，上述方法还可以包括：若多个预设特征维度中不包含目标特征维度，则获取通用特征提取模型，通用特征提取模型是基于目标特征维度之外的数据训练得到的；将人脸图像输入通用特征提取模型，获得输出的通用特征；将通用特征确定为标准特征。
基于第一方面，在一些可能的实施方式中，至少获取非结构化特征对应的标准特征，包括：获取特征映射模型，特征映射模型与非结构化特征模型一一对应；将非结构化特征输入非结构化特征对应的特征映射模型，获得输出的标准特征。
基于第一方面，在一些可能的实施方式中，至少获取非结构化特征对应的标准特征，包括：获取特征映射模型，特征映射模型与非结构化特征模型一一对应；将结构化特征和非结构化特征输入与非结构化特征对应的特征映射模型，获得输出的标准特征。
在本申请中，将结构化特征和非结构化特征共同作为特征映射模型的输入，使得非结构化特征的映射可以利用结构化特征，从而提升特征映射的准确率。
基于第一方面，在一些可能的实施方式中，上述方法还可以包括：获取人脸样本图像，人脸样本图像具有对应的身份信息；获取人脸样本图像的结构化特征以及人脸样本图像的非结构化特征；基于人脸样本图像的结构化特征、人脸样本图像的非结构化特征以及身份信息，对特征映射模型进行训练，得到满足目标函数的特征映射模型。
基于第一方面，在一些可能的实施方式中，根据结构化特征，获取人脸图像中与多个预设特征维度对应的非结构化特征，包括：根据结构化特征，确定多个预设特征维度中是否包含目标特征维度；若多个预设特征维度中包含目标特征维度，则获取目标特征维度对应的多个非结构化特征提取模型；将人脸图像输入多个非结构化特征提取模型，获得输出的非结构化特征。
基于第一方面，在一些可能的实施方式中，根据标准特征，对人脸图像进行人脸检索，包括：将标准特征的平均值确定为人脸图像的输出特征；使用输出特征对人脸图像进行人脸检索。
第二方面，本申请提供一种人脸检索装置，包括：接口模块，用于获取待检索的人脸图像；特征提取模块，用于获取人脸图像的结构化特征，结构化特征包括用于表征人脸属性的特征，结构化特征与多个预设特征维度对应；根据结构化特征，获取人脸图像中与多个预设特征维度一一对应的非结构化特征，非结构化特征包括用于表示人脸特征的向量；至少根据非结构化特征，获取多个预设特征维度对应的标准特征，标准特征包括非结构化特征经神经网络转换后的特征；人脸检索模块，用于根据标准特征，对人脸图像进行人脸检索。
基于第二方面，在一些可能的实施方式中，特征提取模块，用于获取结构化特征提取模型，结构化模型是按照多个预设特征维度进行训练得到的；将人脸图像输入结构化特征提取模型，获得输出的结构化特征。
基于第二方面，在一些可能的实施方式中，特征提取模块，用于根据结构化特征，确定多个预设特征维度中是否包含目标特征维度；若多个预设特征维度中包含目标特征维度，则获取目标特征维度对应的非结构化特征提取模型，非结构化特征提取模型是基于目标特征维度对应的数据进行训练得到的；将人脸图像输入非结构化特征提取模型，获得输出的非结构化特征。
基于第二方面，在一些可能的实施方式中，特征提取模块，还用于若多个预设特征维度中不包含目标特征维度，则获取通用特征提取模型，通用特征提取模型是基于目标特征维度之外的数据训练得到的；将人脸图像输入通用特征提取模型，获得输出的通用特征；将通用特征确定为标准特征。
基于第二方面，在一些可能的实施方式中，特征提取模块，用于获取特征映射模型，特征映射模型与非结构化特征模型一一对应；将非结构化特征输入非结构化特征对应的特征映射模型，获得输出的标准特征。
基于第二方面，在一些可能的实施方式中，特征提取模块，用于获取特征映射模型，特征映射模型与非结构化特征模型一一对应；将结构化特征和非结构化特征输入与非结构化特征对应的特征映射模型，获得输出的标准特征。
基于第二方面，在一些可能的实施方式中，特征提取模块，还用于获取人脸样本图像，人脸样本图像具有对应的身份信息；获取人脸样本图像的结构化特征以及人脸样本图像的非结构化特征；基于人脸样本图像的结构化特征、人脸样本图像的非结构化特征以及身份信息，对特征映射模型进行训练，得到满足目标函数的特征映射模型。
基于第二方面，在一些可能的实施方式中，特征提取模块，用于根据结构化特征，确定多个预设特征维度中是否包含目标特征维度；若多个预设特征维度中包含目标特征维度，则获取目标特征维度对应的多个非结构化特征提取模型；将人脸图像输入多个非结构化特征提取模型，获得输出的非结构化特征。
基于第二方面，在一些可能的实施方式中，人脸检索模块，用于将标准特征的平均值确定为人脸图像的输出特征；使用输出特征对人脸图像进行人脸检索。
上述第二方面中提到的接口模块可以为接收接口、接收电路或者接收器等；特征提取模块和人脸检索模块可以为一个或者多个处理器。
第三方面，本申请提供一种人脸检索设备，可以包括：处理器和通信接口，处理器可以用于支持人脸检索设备实现上述第一方面或者第一方面的任一种可能的实施方式中所涉及的功能，例如：处理器可以通过通信接口获取待检索的人脸图像。
基于第三方面，在一些可能的实施方式中，人脸检索设备还可以包括存储器，存储器，用于保存人脸检索设备必要的计算机执行指令和数据。当该人脸检索设备运行时，该处理器执行该存储器存储的该计算机执行指令，以使该人脸检索设备执行如上述第一方面或者第一方面的任一种可能的实施方式所述的人脸检索方法。
第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有指令，当指令在计算机上运行时，用于执行上述第一方面中任一的人脸检索方法。
第五方面，本申请提供一种计算机程序或计算机程序产品，当计算机程序或计算机程序产品在计算机上被执行时，使得计算机实现上述第一方面中任一的人脸检索方法。
应当理解的是，本申请的第二至五方面与本申请的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1为本申请实施例中的人脸特征的示意图；
图2为本申请实施例中的人脸检索方法的流程示意图；
图3为本申请实施例中的结构化特征提取模型提取结构化特征的示意图；
图4为本申请实施例中的训练非结构化特征提取模型的示意图；
图5为本申请实施例中的非结构化特征映射至标准特征空间的示意图；
图6为本申请实施例中的人脸特征提取的过程示意图；
图7为本申请实施例中的人脸检索装置的结构示意图；
图8为本申请实施例中的人脸检索设备的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。以下描述中，参考形成本申请一部分并以说明之方式示出本申请实施例的具体方面或可使用本申请实施例的具体方面的附图。应理解，本申请实施例可在其它方面中使用，并可包括附图中未描绘的结构或逻辑变化。因此，以下详细描述不应以限制性的意义来理解。例如，应理解，结合所描述方法的揭示内容可以同样适用于用于执行所述方法的对应设备或系统，且反之亦然。例如，如果描述一个或多个具体方法步骤，则对应的设备可以包含如功能单元等一个或多个单元，来执行所描述的一个或多个方法步骤(例如，一个单元执行一个或多个步骤，或多个单元，其中每个都执行多个步骤中的一个或多个)，即使附图中未明确描述或说明这种一个或多个单元。另一方面，例如，如果基于如功能单元等一个或多个单元描述具体装置，则对应的方法可以包含一个步骤来执行一个或多个单元的功能性(例如，一个步骤执行一个或多个单元的功能性，或多个步骤，其中每个执行多个单元中一个或多个单元的功能性)，即使附图中未明确描述或说明这种一个或多个步骤。进一步，应理解的是，除非另外明确提出，本文中所描述的各示例性实施例和/或方面的特征可以相互组合。
人脸检索方法可以广泛的应用于身份识别、身份验证等相关场景中。人脸检索设备对待检索的人脸图像进行特征提取，将提取出的特征与人脸模板图像的特征进行比对，检索出与待检索的人脸图像匹配度较高的一张人脸模板图像或者多张人脸模板图像，以完成人脸检索。但是，人脸检索设备往往只训练单个特征提取模型来对所有的人脸图像进行特征提取，那么，就会存在对于较为复杂的场景，例如，侧脸、跨年龄、遮挡、化妆、暗光等来说，单个特征提取模型由于能力有限而无法处理。为此，进一步地，人脸检索设备采用多个特征提取模型来对人脸图像进行特征提取。由于不同特征提取模型提取到的特征不能直接比对，只有相同特征提取模型所提取出的特征才能直接进行比对，所以，所有人脸图像需要遍历所有的特征提取模型，这样大大提高了人脸检索设备的计算复杂度，尤其是特征提取模型的数量较大时。
为了解决上述问题，本申请实施例提供一种人脸检索方法，该人脸检索方法可以应用于上述人脸检索设备中，该人脸检索设备可以设置于如安防监控、门禁闸机等设备上。
需要说明的是，在本申请实施例中，图1为本申请实施例中的人脸特征的示意图，参见图1所示，人脸图像中的人脸特征可以分为结构化特征和非结构化特征，其中，结构化特征可以包括用于表征人脸属性的特征，人脸属性可以指人脸图像的一些具体的物理含义，例如年龄、性别、角度等，是通过结构化特征提取模型从人脸图像中提取出的；而非结构化特征可以包括用于表示人脸特征的向量，这些人脸特征可以指人脸图像中没有具体物理含义的特征，由一串数字组成，又可以被称为特征向量，是通过非结构化特征提取模型从人脸图像中提取出的，特征向量之间的相似度可以用来代表待检索的人脸图像与人脸模板图像之间的相似度。
上述结构化特征提取模型和非结构化特征提取模型均为机器学习模型(例如卷积神经网络(convolutional neural networks，CNN))。CNN本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，在收集好训练样本后，对CNN加以训练，CNN就具有输入输出对之间的映射能力。当然，结构化特征提取模型和非结构化特征提取模型还可以为其他的机器学习模型，本申请实施例不做具体限定。
图2为本申请实施例中的人脸检索方法的流程示意图，参见图2所示，该方法可以包括：
S201：获取待检索的人脸图像；
在本申请实施例中，人脸检索设备接收输入的待检索的人脸图像。当然，人脸检索设备还可以接收输入的底库图像(也就是人脸模板图像)。人脸模板图像可以用于与人脸图像进行比对，完成对人脸图像的人脸检索。
S202：获取人脸图像的结构化特征；
其中，所述结构化特征与多个预设特征维度对应。
在本申请实施例中，人脸检索设备可以根据不同应用场景的实际需求预先定义多个特征维度，这些特征维度可以为人脸检索设备对人脸图像进行结构化特征提取的多个特征维度，如角度、年龄、性别、种族、妆容、亮度等，然后，使用大量的训练样本图像对结构化特征提取模型进行训练，使得人脸检索设备将上述待检索的人脸图像输入结构化特征提取模型后，可以识别出人脸图像在这些特征维度下的结构化特征，这些特征维度可以认为是与结构化特征对应的多个预设特征维度。例如，预先定义的特征维度可以包括“角度”和“年龄”这两个特征维度，人脸图像输入结构化特征提取模型后，结构化特征提取模型能够识别出“角度”和“年龄”这两个特征维度下的结构化特征，“角度”对应的结构化特征可以为+10°、+30°、+45°等偏航角(yaw)的角度值，“年龄”对应的结构化特征可以为3岁、15岁、70岁等年龄数值。“角度”和“年龄”这两个特征维度可以为与结构化特征对应的预设特征维度。
在一些可能的实施方式中，图3为本申请实施例中的结构化特征提取模型提取结构化特征的示意图，参见图3所示，上述预先定义的特征维度还可以被进一步划分成多个维度，如“角度”可以进一步划分为“侧脸”和/或“其他”等特征维度，“年龄”可以进一步划分为“儿童”、“老年”和/或“其他”等特征维度，“妆容”可以分为“化妆”和/或“其他”等特征维度，“亮度”可以分为“高光”、“暗光”和/或“其他”等特征维度，其中，“侧脸”、“儿童”、“老年”、“化妆”、“高光”和/或“暗光”等特征维度属于预设场景，预设场景可以根据人脸检索的实际需求进行设定，本申请实施例不作具体限定。人脸检索设备可以通过结构化特征提取模型对人脸图像的结构化特征进行提取，根据得到的结构化特征，确定人脸图像可以与划分后的特征维度中的哪些特征维度对应。例如，预设特征维度为“年龄”，结构化特征提取模型提取到的“年龄”这一特征维度下的结构化特征为3岁，人脸检索系统可以认为人脸图像落入“儿童”这一特征维度(例如0～10岁)，则该人脸图像的结构化特征与“儿童”这一预设特征维度对应；或者，假设结构化特征提取模型提取到的“年龄”这一特征维度下的结构化特征为70岁，人脸检索系统可以认为人脸图像落入“老年人”这一特征维度(例如大于60岁)，则该人脸图像的结构化特征与“老年人”这一预设特征维度对应；再者，假设结构化特征提取模型提取到的“年龄”这一特征维度下的结构化特征为35岁，人脸检索系统可以认为人脸图像落入“其他”这一特征维度(例如大于10岁且小于60岁)，则该人脸图像的结构化特征与“其他”这一预设特征维度对应。再例如，预设特征维度为“角度”，结构化特征提取模型提取到的“角度”这一特征维度下的结构化特征为+60°，人脸检索系统可以认为人脸图像落入“侧脸”这一特征维度(例如位于区间-90°至-45°或者区间+45°至+90°)，则该人脸图像的结构化特征与“侧脸”这一预设特征维度对应；或者，假设结构化特征提取模型提取到的“角度”这一特征维度下的结构化特征为+30°，人脸检索系统可以认为人脸图像落入“其他”这一特征维度(例如位于区间-45°至+45°)，则该人脸图像的结构化特征与“其他”这一预设特征维度对应。可选的，如果输入的人脸图像的所有特征维度下的结构化特征均落入“其他”这一特征维度，则该人脸图像的结构化特征与“其他”这一预设特征维度对应。
S203：根据结构化特征对应，获取人脸图像中与多个预设特征维度一一对应的非结构化特征；
在本申请实施例中，人脸检索设备在通过S202获取到人脸图像的结构化特征后，可以根据结构化特征对应的多个预设特征维度，确定多个预设特征维度中是否包含目标特征维度，这里所说的目标特征维度可以指所述多个预设场景对应的特征维度中的一个或者多个特征维度，例如“侧脸”、“儿童”、“老年”、“化妆”、“高光”和/或“暗光”等特征维度，目标特征维度可以是根据不同应用场景的实际需求预先定义的。例如，若结构化特征与“儿童”这一预设特征维度对应，则目标特征维度可以为“儿童”这一预设特征维度，也就是说多个预设特征维度中包含目标特征维度；若结构化特征与“化妆”这一预设特征维度对应，则目标特征维度可以为“化妆”这一预设特征维度，也就是说多个预设特征维度中包含目标特征维度；若结构化特征不与任何目标特征维度对应，结构化特征与“其他”这一特征维度对应，也就是说多个预设特征维度中不包含目标特征维度。然后，若多个预设特征维度中包含目标特征维度，则人脸检索设备获取目标特征维度对应的非结构化特征提取模型，其中，一个目标特征维度与一个非结构化特征提取模型对应。最后，人脸检索设备将人脸图像分别输入非结构化特征提取模型，获得输出的非结构化特征。而若多个预设特征维度中不包含目标特征维度，则人脸检索设备可以获取“其他”这一特征维度对应的非结构化特征提取模型来对人脸图像进行非结构化特征提取，提取出的非结构化特征可以称为通用特征，“其他”这一特征维度对应的非结构化特征提取模型可以称为通用特征提取模型，通用特征提取模型是基于目标特征维度之外的数据训练得到的。
在一些可能的实施方式中，图4为本申请实施例中的训练非结构化特征提取模型的示意图，参见图4所示，人脸检索设备可以将训练样本集合中的各个样本按照多个预设特征维度划分成儿童样本、老年人样本、黑人样本、白人样本、化妆样本、暗光样本等多个类别，然后，再使用各个类别的样本对非结构化特征提取模型进行训练，得到对应的非结构化特征提取模型。需要注意的是，由于“其他”这一特征维度的样本不属于上述预设场景的特征，在进行对应的非结构化提取模型训练时，得到的是能够提取通用特征的非结构化特征提取模型，也就是上述通用特征提取模型。
S204：至少根据非结构化特征，获取多个预设特征维度对应的标准特征；
其中，标准特征为结构化特征经神经网络转换后的特征；
在本申请实施例中，由于不同特征维度对应的非结构化特征提取模型提取出的非结构化特征是无法直接对比的，所以，为了对这些非结构化特征进行对比，在通过S203获得各个预设特征维度对应的非结构化特征后，需要将这些非结构化特征映射至同一个特征空间，该特征空间可以被称为标准特征空间，当非结构化特征映射至标准特征空间后，就能够获得非结构化特征对应的标准特征。人脸检索系统可以将上述任一预设特征维度对应的特征空间确定为标准特征空间，如将“儿童”对应的特征空间确定为标准特征空间、将“侧脸”对应的特空间确定为标准特征空间等。标准特征空间中的非结构化特征无需进映射，可直接作为标准特征参与人脸图像的人脸检索。例如，将“儿童”对应的特征空间确定为标准特征空间，与“儿童”对应的非结构化特征就可以直接作为标准特征。
可选的，标准特征空间可以选择通用特征空间，即在训练特征映射模型时，通用特征不通过映射模型、直接视作标准特征。那么，在特征映射模型训练好后，其他非结构化特征通过对应的特征映射模型，即可映射至通用特征空间；而通用特征不需经过映射模型，直接作为标准特征输出。在非结构化特征映射至通用特征空间后，在通用特征空间中，非结构化特征经神经网络转换为通用特征，如此，能够有效地减少特征映射的次数。从概率上来说，“其他”这一特征维度的样本数目是最多的，将通用特征作为标准特征，可以最小化特征映射次数。
举例来说，图5为本申请实施例中的非结构化特征映射至标准特征空间的示意图，参见图5所示，以选取“其他”对应的特征空间(即通用特征空间)作为标准特征空间为例，假设人脸模板图像A的非结构化特征[0.24,0.32,…,0.35]与“其他”这一特征维度对应，则人脸模板图像A的非结构化特征[0.24,0.32,…,0.35]就是通用特征，对应的标准特征可以为[0.24,0.32,…,0.35]；人脸图像B的非结构化特征为[0.13,0.45,…,0.26]与“侧脸”这一特征维度对应，人脸检索设备将人脸图像B的非结构化特征[0.13,0.45,…,0.26]映射至标准特征空间(即“其他”对应的特征空间)，得到人脸图像B的标准特征[0.23,0.33,…,0.36]，人脸模板图像A的标准特征与人脸图像B的标准特征可以直接进行比对，如计算人脸模板图像A的标准特征与人脸图像B的标准特征的余弦相似度为0.9。
可选的，可以采用公式(1)计算人脸模板图像A的标准特征A与人脸图像B的标准特征B的余弦相似度：
Figure BDA0002168657280000071
上述Ai和Bi分别表示特征向量A和B的各个分量，n为A和B的分量数目，n为正整数。
在一些可能的实施方式中，人脸检索设备还可以通过如欧式距离、曼哈顿距离等相似度算法来计算标准特征之间的相似度，本申请实施例不做具体限定。
在一些可能的实施方式中，上述特征映射可以通过特征映射模型来实现，人脸检索设备可以为每一个预设特征维度训练一个特征映射模型。在进行特征映射模型的训练时，人脸检索设备将各个预设特征维度对应的非结构化特征映射至标准特征空间之后，在标准特征空间内，不管映射后的标准特征的来源是什么，都需要满足目标函数：同一身份信息对应的非结构化特征的相似度尽可能的大，不同身份信息对应的非结构化特征的相似度尽可能的小。由此可以得出特征映射模型的训练方法为：首先，人脸检索设备获取人脸样本图像，其中，人脸样本图像具有对应的身份信息；然后，可以执行上述S203获得人脸样本图像的非结构化特征，再基于人脸样本图像的非结构化特征，对特征映射模型进行训练，得到满足上述目标函数的特征映射模型。
进一步地，为了提升特征映射的准确率，在进行特征映射时，人脸检索设备还可以将结构化特征和非结构化特征共同作为特征映射模型的输入，使得非结构化特征的映射可以利用结构化特征信息。可选的，人脸检索设备在获取人脸样本图像后，可以分别执行S202获得人脸样本图像的结构化特征以及执行S203获得人脸样本图像的非结构化特征，然后，基于人脸样本图像的结构化特征以及人脸样本图像的非结构化特征。在一些可能的实施方式中，结构化特征可以转换为离散值，人脸检索设备可以将非结构化特征值和离散化后结构化特征值共同作为神经网络的输入(由于非结构化特征值已经是具体的数值，所以可以直接作为输入)，按照目标函数对特征映射模型进行训练。例如，“年龄”特征维度对应的结构化特征可以转换为具体的年龄数值，“妆容”特征维度的结构化特征可以将“素颜”和“化妆”离散化为0和1两个数值。当然，结构化特征还可以根据具体的特征维度转换成其他离散值，并不限于上述举例，本申请实施例对此不做具体限定。最后，人脸检索设备将离散后的结构化特征与非结构化特征拼接在一起输入神经网络，按照目标函数对特征映射模型进行训练，直至目标函数收敛，使得同一身份信息对应的非结构化特征的相似度尽可能的大，不同身份信息对应的非结构化特征的相似度尽可能的小。假设，离散后的结构化特征值为“1”(即“化妆”特征维度)，非结构化特征值为[0.04、…、0.08]，相应地，神经网络的输入特征可以为[1，0.04、…、0.08]。
相应的，S204可以包括：根据结构化特征以及非结构化特征，获取多个预设特征维度对应的标准特征。作为一种可能的实施方式，人脸检索设备在根据人脸样本图像的结构化特征和非结构化特征训练好特征映射模型之后，将待检索的人脸图像的结构化特征和非结构化特征共同输入训练好的特征映射模型，得到各个预设为特征维度对应的标准特征。
在一些可能的实施方式中，上述目标函数可以为三元组损失目标函数，参见以下公式(2)：
Figure BDA0002168657280000081
其中，N为训练样本的个数，
Figure BDA0002168657280000082
和
Figure BDA0002168657280000083
为人脸样本图像及其特征，
Figure BDA0002168657280000084
和
Figure BDA0002168657280000085
为与人脸样本图像的身份信息相同的人脸样本图像及其特征，
Figure BDA0002168657280000086
和
Figure BDA0002168657280000087
为与人脸样本的身份信息不同的人脸样本图像及其特征；α为期望的正样本对之间距离与负样本对之间距离的差值，当负样本对之间的距离比正样本对之间的距离大α时，则该三元组的目标函数值为0，否则大于0。
在本申请实施例中，通过最小化目标函数即可达到同一身份信息对应的非结构化特征的相似度尽可能的大，不同身份信息对应的非结构化特征的相似度尽可能的小的目的。需要注意的是，本申请实施例对目标函数的形式没有限制，可以用于训练单人脸识别模型的目标函数均可用于本申请实施例所述的技术方案。
S205：根据标准特征，对人脸图像进行人脸检索。
在本申请实施例中，人脸检索设备在非结构化特征映射至标准特征空间后，可以直接将这些标准特征与人脸模板图像的特征进行直接比对，找到最为相似的特征，进而获得一个或者多个人脸模板图像，完成人脸检索。
需要说明的是，上述人脸模板图像可以与待检索的人脸图像一同输入人脸检索设备，依次执行S201至S204，完成人脸特征的提取，并映射至标准特征空间，进而与人脸图像的标准特征进行比对；或者，人脸模板图像预先输入人脸检索设备，完成人脸特征的提取，并映射至标准特征空间得到各个人脸模板图像对应的标准特征，然后将人脸模板图像对应的标准特征进行存储，以供后续获取待检索的人脸图像的标准特征后，读取各个人脸模板图像对应的标准特征并进行比对，进而完成人脸检索。当然，待检索的人脸图像与人脸模板图像还可以以其他方式进行特征提取和特征比对，只要能够完成人脸检索即可，本申请实施例不做具体限定。
在一些可能的实施方式中，人脸图像经过的非结构化特征提取模型的个数可以反映针对该图像提取特征的难度(例如一幅人脸图像经过“侧脸”、“化妆”和“老年人”这三个特征维度对应的非结构化特征提取模型，则说明人脸图像拥有这三个特征维度的属性)，经过多个非结构化特征提取模型以及对应的特征映射模型，将平均后的特征值用来进行人脸检索，相当于进行了模型的集成，而且在人脸图像越难越复杂的情况下，集成的模型数目越多，越能够提升人脸检索的鲁棒性。上述S205还可以包括：将标准特征的平均值作为人脸图像的输出特征；使用输出特征对人脸图像进行人脸检索。
在本申请实施例中，人脸检索设备可以在通过S204将提取到的人脸图像的非结构化特征映射至标准特征空间并转换成标准特征之后，计算这些标准特征的平均值，并将该平均值作为人脸图像的输出特征，最后，使用输出特征与人脸模板图像的特征进行比对，完成人脸检索。需要注意的是，为了提高人脸检索的鲁棒性，人脸模板图像在获得相应的标准特征后，也需要求取标准特征的平均值，使用求取的平均值与人脸图像的输出特征，也就是标准特征的平均值进行比对，完成人脸检索。
举例来说，图6为本申请实施例中的人脸特征提取的过程示意图，参见图6所示，上述S201至S204可以包括：
第一步、人脸检索设备获取待检索的人脸图像；
第二步、人脸检索设备将上述人脸图像输入结构化特征提取模型，提取对应的结构化特征，如人脸图像被判断为包含“侧脸”和“化妆”两个特征维度；
第三步、人脸检索设备分别将人脸图像输入“侧脸”和“化妆”这两个特征维度对应的非结构化特征提取模型，如侧脸模型和化妆模型；
第四步、人脸检索设备获得由侧脸模型输出的非结构化特征[0.04、…、0.08]和由化妆模型输出的非结构化特征[0.06、…、0.03]；
第五步、人脸检索设备将非结构化特征[0.04、…、0.08]输入侧脸模型对应的特征映射模型，以获得对应的标准特征[0.02、…、0.06]，并将非结构化特征[0.06、…、0.03]输入化妆模型对应的特征映射模型，以获得对应的标准特征[0.021、…、0.059]；
第六步、人脸检索设备对标准特征[0.02、…、0.06]和[0.021、…、0.059]求取平均值，得到人脸图像的输出特征[0.0205、…、0.0595]。
至此，便完成了人脸图像的特征提取过程，接下来，人脸检索设备就可以使用输出特征[0.0205、…、0.0595]来对人脸图像进行人脸检索。
在本申请实施例中，同一个特征维度可以允许存在多个功能相同的非结构化特征提取模型，例如，针对“侧脸”特征维度，可以存在侧脸模型1和侧脸模型2共两个模型。那么，如果人脸图像的结构化特征表示人脸图像落入“侧脸”特征维度，则人脸检索设备可以将人脸图像分别输入侧脸模型1和侧脸模型2，获得对应的非结构化特征，然后，与上述实施例中的S204一致，分别对非结构化特征映射至标准特征空间，获得对应的标准特征，再对标准特征求取平均值，进而进行人脸检索。
在一些可能的实施方式中，上述多个功能相同的非结构化特征提取模型可以为不同版本的非结构化特征提取模型，在非结构化特征中还可以携带模型的版本号。例如，非结构化特征[001，0.06、…、0.03]中“001”就表示非结构化特征提取模型的版本号，后面[0.06、…、0.03]为特征向量。
那么，上述S203可以包括：根据结构化特征，确定多个预设特征维度中是否包含目标特征维度；若多个预设特征维度中包含目标特征维度，则获取目标特征维度对应的多个非结构化特征提取模型；将人脸图像输入多个非结构化特征提取模型，获得输出的非结构化特征。
在本申请实施例中，人脸检索设备在通过S202获取到人脸图像的结构化特征后，根据结构化特征对应的预设特征维度，选择相应的多个非结构化特征提取模型，这些非结构化特征提取模型可以为同一特征维度对应的多个功能相同的模型，然后，人脸检索设备将待检索的人脸图像分别输入各个非结构化特征提取模型，通过非结构化特征提取模型提取人脸图像该特征维度对应的多个非结构化特征。
在一些可能的实施方式中，不同版本的非结构化特征提取模型可以为同一人脸检索设备中更新前的模型和更新后的模型。当模型更新时，人脸图像可以使用新模型提取非结构化特征，将新模型提取的非结构化特征确定为标准特征，然后，将人脸模板图像的特征映射至新的标准特征空间，进而执行上述S205，以实现人脸检索。可选的，当有新的人脸图像作为人脸模板图像时，可以使用上述新模型对新的人脸图像进行特征提取。
可选的，不同版本的非结构化特征提取模型还可以为不同设备上的模型，不同设备均可以包括各个特征维度的非结构化特征提取模型以及通用特征提取模型，在选定好标准特征后(如选择某一设备上的通用特征提取模型提取的通用特征作为标准特征)，将其他设备上的模型所提取的非结构化特征均映射至标准特征空间，进而执行上述S205，以实现人脸检索。
可选的，不同版本的非结构化特征提取模型还可以为不同供应商提供的模型，不同供应商可以提供包括各个特征维度的非结构化特征提取模型以及通用特征提取模型，在选定好标准特征后(如选择某一供应商提供的通用特征提取模型)，将其他设备上的模型所提取的非结构化特征均映射至标准特征空间，进而执行上述S205，以实现人脸检索。
当然，不同版本的非结构化特征提取模型不仅限于上述几种情况，上述仅为不同版本的非结构化特征提取模型的一些举例，本申请实施例不做具体限定。
上述实施例所述的人脸图像均需要先提取结构化特征，再提取非结构化特征，在本申请实施例中，还可以直接提取人脸图像的非结构化特征，如此，人脸图像就无需经过结构化特征提取模型，而是直接输入非结构化特征提取模型进行特征提取，此时的非结构化特征提取模型可以为上述实施例中所述的通用特征提取模型，或者根据待提取特征的需求设计的非结构化特征提取模型，本申请实施例不做具体限定。
在本申请实施例中，由于利用多个特征提取模型来进行特征提取，使得特征提取能力强于单一模型，更适合处理复杂场景的人脸检索。进一步地的，由于先利用结构化模型将人脸图像划分到不同的特征维度，如此，一方面可以更有具针对性地处理人脸图像，另一方面人脸图像无需通过所有的非结构化特征提取模型，减少人脸图像需要通过的模型的个数，降低计算复杂度。
基于与上述方法相同的发明构思，本申请实施例提供一种人脸检索装置，该人脸检索装置可以为上述实施例所述人脸检索设备中的人脸检索装置或者人脸检索装置中的芯片或者片上系统，还可以为人脸检索设备中用于实现上述各实施例所述的方法的功能模块。该人脸检索装置可以实现上述各实施例中人脸检索设备所执行的功能，所述功能可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个上述功能相应的模块。举例来说，一种可能的实施方式中，图7为本申请实施例中的人脸检索装置的结构示意图，参见图7所示，该人脸检索装置700包括：包括：接口模块701，用于获取待检索的人脸图像；特征提取模块702，用用于获取人脸图像的结构化特征，结构化特征为人脸图像的具有具体物理含义的特征，结构化特征与多个预设特征维度对应；根据结构化特征，获取人脸图像中与多个预设特征维度一一对应的非结构化特征，非结构化特征包括用于表示人脸图像的特征向量；至少根据非结构化特征，获取多个预设特征维度对应的标准特征，标准特征包括非结构化特征经神经网络转换后的特征；人脸检索模块703，用于根据标准特征，对人脸图像进行人脸检索。
在一些可能的实施方式中，特征提取模块702，用于获取结构化特征提取模型，结构化模型是按照多个预设特征维度进行训练得到的；将人脸图像输入结构化特征提取模型，获得输出的结构化特征。
在一些可能的实施方式中，特征提取模块702，用于根据结构化特征，确定多个预设特征维度中是否包含目标特征维度；若多个预设特征维度中包含目标特征维度，则获取目标特征维度对应的非结构化特征提取模型，非结构化特征提取模型是基于目标特征维度对应的数据进行训练得到的；将人脸图像输入非结构化特征提取模型，获得输出的非结构化特征。
在一些可能的实施方式中，特征提取模块702，还用于若多个预设特征维度中不包含目标特征维度，则获取通用特征提取模型，通用特征提取模型是基于目标特征维度之外的数据训练得到的；将人脸图像输入通用特征提取模型，获得输出的通用特征；将通用特征确定为标准特征。
在一些可能的实施方式中，特征提取模块702，用于获取特征映射模型，特征映射模型与非结构化特征模型一一对应；将非结构化特征输入非结构化特征对应的特征映射模型，获得输出的标准特征。
在一些可能的实施方式中，特征提取模块702，用于获取特征映射模型，特征映射模型与非结构化特征模型一一对应；将结构化特征和非结构化特征输入与非结构化特征对应的特征映射模型，获得输出的标准特征。
在一些可能的实施方式中，特征提取模块702，还用于获取人脸样本图像，人脸样本图像具有对应的身份信息；获取人脸样本图像的结构化特征以及人脸样本图像的非结构化特征；基于人脸样本图像的结构化特征、人脸样本图像的非结构化特征以及身份信息，对特征映射模型进行训练，得到满足目标函数的特征映射模型。
在一些可能的实施方式中，特征提取模块702，用于根据结构化特征，确定多个预设特征维度中是否包含目标特征维度；若多个预设特征维度中包含目标特征维度，则获取目标特征维度对应的多个非结构化特征提取模型；将人脸图像输入多个非结构化特征提取模型，获得输出的非结构化特征。
在一些可能的实施方式中，人脸检索模块703，用于将标准特征的平均值确定为人脸图像的输出特征；使用输出特征对人脸图像进行人脸检索。
还需要说明的是，接口模块701、特征提取模块702以及人脸检索模块703的具体实现过程可参考图2至图6实施例的详细描述，为了说明书的简洁，这里不再赘述。在本申请实施例中，接口模块701可以用于执行上述实施例中的S201，特征提取模块702可以用于执行上述实施例中的S202至S204，人脸检索模块703可以用于执行上述实施例中的S205。
本申请实施例中提到的接口模块可以为接收接口、接收电路或者接收器等；特征提取模块和人脸检索模块可以为一个或者多个处理器。
基于与上述方法相同的发明构思，本申请实施例提供一种人脸检索设备，图8为本申请实施例中的人脸检索设备的结构示意图，参见图8中实线所示，该人脸检索设备800可以包括：处理器801和通信接口802，处理器801可以用于支持人脸检索设备800实现上述各个实施例中所涉及的功能，例如：处理器801可以通过通信接口802获取待检索的人脸图像。
在一些可能的实施方式中，参见图8中虚线所示，人脸检索设备800还可以包括存储器803，存储器803，用于保存人脸检索设备800必要的计算机执行指令和数据。当该人脸检索设备800运行时，该处理器801执行该存储器803存储的该计算机执行指令，以使该人脸检索设备800执行如上述各个实施例中所述的人脸检索方法。
基于与上述方法相同的发明构思，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有指令，当指令在计算机上运行时，用于执行上述各个实施例所述的人脸检索方法。
基于与上述方法相同的发明构思，本申请实施例提供一种计算机程序或计算机程序产品，当计算机程序或计算机程序产品在计算机上被执行时，使得计算机实现上述各个实施例所述的人脸检索方法。
本领域技术人员能够领会，结合本文公开描述的各种说明性逻辑框、模块和算法步骤所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么各种说明性逻辑框、模块、和步骤描述的功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本申请中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。并且，任何连接被恰当地称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是，应理解，所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的各种说明性逻辑框、模块、和步骤所描述的功能可以提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或者并入在组合编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本申请的技术可在各种各样的装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本申请中描述各种组件、模块或单元是为了强调用于执行所揭示的技术的装置的功能方面，但未必需要由不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件和/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元(包含如上文所描述的一或多个处理器)来提供。
在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上所述，仅为本申请示例性的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (20)

1.一种人脸检索方法，其特征在于，包括：
获取待检索的人脸图像；
获取所述人脸图像的结构化特征，所述结构化特征包括用于表征人脸属性的特征，所述结构化特征与多个预设特征维度对应；
根据所述结构化特征，获取所述人脸图像中与所述多个预设特征维度一一对应的非结构化特征，所述非结构化特征包括用于表示人脸特征的向量；
至少根据所述非结构化特征，获取所述多个预设特征维度对应的标准特征，所述标准特征包括所述非结构化特征经神经网络转换后的特征；
根据所述标准特征，对所述人脸图像进行人脸检索。
2.根据权利要求1所述的方法，其特征在于，所述获取所述人脸图像的结构化特征，包括：
获取结构化特征提取模型，所述结构化模型是按照所述多个预设特征维度进行训练得到的；
将所述人脸图像输入结构化特征提取模型，获得输出的所述结构化特征。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述结构化特征，获取所述人脸图像中与所述多个预设特征维度对应的非结构化特征，包括：
根据所述结构化特征，确定所述多个预设特征维度中是否包含目标特征维度；
若所述多个预设特征维度中包含所述目标特征维度，则获取所述目标特征维度对应的非结构化特征提取模型，所述非结构化特征提取模型是基于所述目标特征维度对应的数据进行训练得到的；
将所述人脸图像输入所述非结构化特征提取模型，获得输出的所述非结构化特征。
4.根据权利要求3所述的方法，其特征在于，在所述根据所述标准特征，对所述人脸图像进行人脸检索之前，所述方法还包括：
若所述多个预设特征维度中不包含所述目标特征维度，则获取通用特征提取模型，所述通用特征提取模型是基于所述目标特征维度之外的数据训练得到的；
将所述人脸图像输入所述通用特征提取模型，获得输出的通用特征；
将所述通用特征确定为所述标准特征。
5.根据权利要求3或4任一项所述的方法，其特征在于，所述至少获取所述非结构化特征对应的标准特征，包括：
获取特征映射模型，所述特征映射模型与所述非结构化特征模型一一对应；
将所述非结构化特征输入所述非结构化特征对应的所述特征映射模型，获得输出的所述标准特征。
6.根据权利要求3或4任一项所述的方法，其特征在于，所述至少获取所述非结构化特征对应的标准特征，包括：
获取特征映射模型，所述特征映射模型与所述非结构化特征模型一一对应；
将所述结构化特征和所述非结构化特征输入与所述非结构化特征对应的所述特征映射模型，获得输出的所述标准特征。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取人脸样本图像，所述人脸样本图像具有对应的身份信息；
获取所述人脸样本图像的结构化特征以及所述人脸样本图像的非结构化特征；
基于所述人脸样本图像的结构化特征、所述人脸样本图像的非结构化特征以及所述身份信息，对所述特征映射模型进行训练，得到满足目标函数的特征映射模型。
8.根据权利要求3至7任一项所述的方法，其特征在于，所述根据所述结构化特征，获取所述人脸图像中与所述多个预设特征维度对应的非结构化特征，包括：
根据所述结构化特征，确定所述多个预设特征维度中是否包含目标特征维度；
若所述多个预设特征维度中包含所述目标特征维度，则获取所述目标特征维度对应的多个非结构化特征提取模型；
将所述人脸图像输入所述多个非结构化特征提取模型，获得输出的所述非结构化特征。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述根据所述标准特征，对所述人脸图像进行人脸检索，包括：
将所述标准特征的平均值作为所述人脸图像的输出特征；
使用所述输出特征对所述人脸图像进行人脸检索。
10.一种人脸检索装置，其特征在于，包括：
接口模块，用于获取待检索的人脸图像；
特征提取模块，用于获取所述人脸图像的结构化特征，所述结构化特征包括用于表征人脸属性的特征，所述结构化特征与多个预设特征维度对应；根据所述结构化特征，获取所述人脸图像中与所述多个预设特征维度一一对应的非结构化特征，所述非结构化特征包括用于表示人脸特征的向量；至少根据所述非结构化特征，获取所述多个预设特征维度对应的标准特征，所述标准特征包括所述非结构化特征经神经网络转换后的特征；
人脸检索模块，用于根据所述标准特征，对所述人脸图像进行人脸检索。
11.根据权利要求10所述的装置，其特征在于，所述特征提取模块，用于获取结构化特征提取模型，所述结构化模型是按照所述多个预设特征维度进行训练得到的；将所述人脸图像输入结构化特征提取模型，获得输出的所述结构化特征。
12.根据权利要求10或11所述的装置，其特征在于，特征提取模块，用于根据所述结构化特征，确定所述多个预设特征维度中是否包含目标特征维度；若所述多个预设特征维度中包含所述目标特征维度，则获取所述目标特征维度对应的非结构化特征提取模型，所述非结构化特征提取模型是基于所述目标特征维度对应的数据进行训练得到的；将所述人脸图像输入所述非结构化特征提取模型，获得输出的所述非结构化特征。
13.根据权利要求12所述的装置，其特征在于，所述特征提取模块，还用于若所述多个预设特征维度中不包含所述目标特征维度，则获取通用特征提取模型，所述通用特征提取模型是基于所述目标特征维度之外的数据训练得到的；将所述人脸图像输入所述通用特征提取模型，获得输出的通用特征；将所述通用特征确定为所述标准特征。
14.根据权利要求12或13任一项所述的装置，其特征在于，所述特征提取模块，用于获取特征映射模型，所述特征映射模型与所述非结构化特征模型一一对应；将所述非结构化特征输入所述非结构化特征对应的所述特征映射模型，获得输出的所述标准特征。
15.根据权利要求12或13任一项所述的装置，其特征在于，所述特征提取模块，用于获取特征映射模型，所述特征映射模型与所述非结构化特征模型一一对应；将所述结构化特征和所述非结构化特征输入与所述非结构化特征对应的所述特征映射模型，获得输出的所述标准特征。
16.根据权利要求15所述的装置，其特征在于，所述特征提取模块，还用于获取人脸样本图像，所述人脸样本图像具有对应的身份信息；获取所述人脸样本图像的结构化特征以及所述人脸样本图像的非结构化特征；基于所述人脸样本图像的结构化特征、所述人脸样本图像的非结构化特征以及所述身份信息，对所述特征映射模型进行训练，得到满足目标函数的特征映射模型。
17.根据权利要求12至16任一项所述的装置，其特征在于，所述特征提取模块，用于根据所述结构化特征，确定所述多个预设特征维度中是否包含目标特征维度；若所述多个预设特征维度中包含所述目标特征维度，则获取所述目标特征维度对应的多个非结构化特征提取模型；将所述人脸图像输入所述多个非结构化特征提取模型，获得输出的所述非结构化特征。
18.根据权利要求10至17任一项所述的装置，其特征在于，所述人脸检索模块，用于将所述标准特征的平均值作为所述人脸图像的输出特征；使用所述输出特征对所述人脸图像进行人脸检索。
19.一种人脸检索设备，其特征在于，包括：处理器和通信接口；
所述通信接口，与所述处理器耦合，所述处理器通过所述通信接口获取待检索人脸图像；
所述处理器，用于支持所述人脸检索设备实现上述权利要求1至9任一项所述的人脸检索方法。
20.根据权利要求19所述的设备，其特征在于，所述人脸检索设备还包括：存储器，用于保存所述人脸检索设备必要的计算机执行指令和数据；当所述人脸检索设备运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述人脸检索设备执行如权利要求1至9任一项所述的人脸检索方法。
CN201910755742.8A 2019-08-15 2019-08-15 一种人脸检索方法及装置 Pending CN112395448A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910755742.8A CN112395448A (zh) 2019-08-15 2019-08-15 一种人脸检索方法及装置
PCT/CN2020/105160 WO2021027555A1 (zh) 2019-08-15 2020-07-28 一种人脸检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910755742.8A CN112395448A (zh) 2019-08-15 2019-08-15 一种人脸检索方法及装置

Publications (1)

Publication Number Publication Date
CN112395448A true CN112395448A (zh) 2021-02-23

Family

ID=74570498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910755742.8A Pending CN112395448A (zh) 2019-08-15 2019-08-15 一种人脸检索方法及装置

Country Status (2)

Country Link
CN (1) CN112395448A (zh)
WO (1) WO2021027555A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792168A (zh) * 2021-08-11 2021-12-14 同盾科技有限公司 人脸底库自维护的方法、系统、电子装置和存储介质
CN115661911B (zh) * 2022-12-23 2023-03-17 四川轻化工大学 一种人脸特征提取方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664914A (zh) * 2018-05-04 2018-10-16 腾讯科技（深圳）有限公司 人脸检索方法、装置及服务器
CN109241325A (zh) * 2018-09-11 2019-01-18 武汉魅瞳科技有限公司 一种基于深度特征的大规模人脸检索方法和设备
CN109710792A (zh) * 2018-12-24 2019-05-03 西安烽火软件科技有限公司 一种基于索引的快速人脸检索系统应用
WO2019119505A1 (zh) * 2017-12-18 2019-06-27 深圳云天励飞技术有限公司 人脸识别的方法和装置、计算机装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019119505A1 (zh) * 2017-12-18 2019-06-27 深圳云天励飞技术有限公司 人脸识别的方法和装置、计算机装置及存储介质
CN108664914A (zh) * 2018-05-04 2018-10-16 腾讯科技（深圳）有限公司 人脸检索方法、装置及服务器
CN109241325A (zh) * 2018-09-11 2019-01-18 武汉魅瞳科技有限公司 一种基于深度特征的大规模人脸检索方法和设备
CN109710792A (zh) * 2018-12-24 2019-05-03 西安烽火软件科技有限公司 一种基于索引的快速人脸检索系统应用

Also Published As

Publication number Publication date
WO2021027555A1 (zh) 2021-02-18

Similar Documents

Publication Publication Date Title
CN108491805B (zh) 身份认证方法和装置
CN110059465B (zh) 身份验证方法、装置及设备
CN111739539B (zh) 确定说话人数量的方法、装置及存储介质
WO2020019591A1 (zh) 用于生成信息的方法和装置
US11348364B2 (en) Method and system for neural fingerprint enhancement for fingerprint recognition
US20220122351A1 (en) Sequence recognition method and apparatus, electronic device, and storage medium
CN112801054B (zh) 人脸识别模型的处理方法、人脸识别方法及装置
CN110968734A (zh) 一种基于深度度量学习的行人重识别方法及装置
CN111597779A (zh) 文本生成方法、装置、设备以及存储介质
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
US11881052B2 (en) Face search method and apparatus
CN112395449A (zh) 一种人脸检索方法及装置
CN112395448A (zh) 一种人脸检索方法及装置
CN117453949A (zh) 一种视频定位方法以及装置
Zhang et al. Learning contextually fused audio-visual representations for audio-visual speech recognition
CN116721315B (zh) 活体检测模型的训练方法、装置、介质及电子设备
CN116152938A (zh) 身份识别模型训练和电子资源转移方法、装置及设备
CN117237757A (zh) 一种人脸识别模型训练方法、装置、电子设备及介质
CN116152573A (zh) 图像识别方法、装置、电子设备及计算机可读存储介质
CN116071804A (zh) 人脸识别的方法、装置和电子设备
CN114419514A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN115222966A (zh) 对抗数据生成方法、装置、计算机设备及存储介质
CN118247608B (zh) 一种概念学习方法、图像生成方法及相关装置
Sulavko et al. Biometric Authentication Using Face Thermal Images Based on Neural Fuzzy Extractor
Andrian et al. Serial Multimodal Biometrics Authentication and Liveness Detection Using Speech Recognition with Normalized Longest Word Subsequence Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination