CN109993102A - 相似人脸检索方法、装置及存储介质 - Google Patents
相似人脸检索方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109993102A CN109993102A CN201910245159.2A CN201910245159A CN109993102A CN 109993102 A CN109993102 A CN 109993102A CN 201910245159 A CN201910245159 A CN 201910245159A CN 109993102 A CN109993102 A CN 109993102A
- Authority
- CN
- China
- Prior art keywords
- face
- retrieved
- facial image
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Abstract
本公开是关于一种相似人脸检索方法、装置及存储介质，属于深度学习技术领域。所述方法包括：获取待检索人脸图像；对所述待检索人脸图像进行特征提取，得到所述待检索人脸图像的目标特征信息；基于所述目标特征信息在人脸数据库中进行检索，得到相似度排在前预设数目位的至少两个候选人脸图像；对所述待检索人脸图像进行人脸属性分析，得到第一人脸属性信息；对所述至少两个候选人脸图像进行人脸属性分析，得到第二人脸属性信息；基于所述第一人脸属性信息和所述第二人脸属性信息，在所述至少两个候选人脸图像中，检索与所述待检索人脸图像相似度最高的目标人脸图像。本公开在人脸识别的基础上，融合了人脸属性分析进行相似人脸检索，极大提升了相似人脸的检索精准度。
Description
技术领域
本公开涉及深度学习技术领域，尤其涉及一种相似人脸检索方法、装置及存储介质。
背景技术
人脸检索是一项融合了计算机图像处理知识以及生物统计学知识的新兴生物识别技术，目前具有广阔的应用前景。例如，基于人脸检索技术能够为每个用户寻找与其长相相似的其他用户，即寻找世界上另一个他/她，由于该项技术为用户带来了全新的体验，因此能够极大地提升用户的活跃度。
其中，检索到的相似人脸与查询用户的相似度越高，用户的满意度便越高，检索结果也就越符合用户的预期。为此，如何进行相似人脸检索，以提升相似人脸的检索精准度，成为了本领域技术人员亟待解决的一个问题。
发明内容
本公开提供一种相似人脸检索方法、装置及存储介质，提高了相似人脸检索精准度。
根据本公开实施例的第一方面，提供一种相似人脸检索方法，所述方法包括：
获取待检索人脸图像；
对所述待检索人脸图像进行特征提取，得到所述待检索人脸图像的目标特征信息；
基于所述目标特征信息在人脸数据库中进行检索，得到相似度排在前预设数目位的至少两个候选人脸图像；
对所述待检索人脸图像进行人脸属性分析，得到第一人脸属性信息；
对所述至少两个候选人脸图像进行人脸属性分析，得到第二人脸属性信息；
基于所述第一人脸属性信息和所述第二人脸属性信息，在所述至少两个候选人脸图像中，检索与所述待检索人脸图像相似度最高的目标人脸图像。
在一种可能的实现方式中，所述对所述待检索人脸图像进行人脸属性分析，得到第一人脸属性信息，包括：
对所述待检索人脸图像进行年龄分析，得到所述待检索人脸图像的年龄信息；
对所述待检索人脸图像进行表情分析，得到所述待检索人脸图像的表情信息；
对所述待检索人脸图像进行姿态分析，得到所述待检索人脸图像的姿态信息；
其中，所述第一人脸属性信息包括所述年龄信息、所述表情信息和所述姿态信息。
在一种可能的实现方式中，所述对所述待检索人脸图像进行年龄分析，得到所述待检索人脸图像的年龄信息，包括：
将所述待检索人脸图像输入第一人脸属性分析模型；
获取所述第一人脸属性分析模型输出的至少两个分类概率，每个所述分类概率代表所述待检索人脸图像归属于对应年龄范围的概率；
对于每个所述分类概率，确定所述分类概率对应的年龄范围的年龄基准值，获取所述分类概率与所述年龄基准值的乘积结果；
对获取到的至少两个乘积结果执行相加操作，得到所述待检索人脸图像的年龄信息。
在一种可能的实现方式中，所述方法还包括：
获取第一训练样本图像，所述第一训练样本图像包括至少两个年龄范围的人脸图像；
将所述第一训练样本图像输入第一初始模型，获取所述第一初始模型输出的对所述第一训练样本图像的预测分类结果；
确定所述第一训练样本图像的标注分类结果与预测分类结果是否一致；
当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述第一初始模型中的权重值，直至所述标注分类结果与所述模型分类结果一致，得到所述第一人脸属性分析模型。
在一种可能的实现方式中，所述对所述待检索人脸图像进行表情分析，得到所述待检索人脸图像的表情信息，包括：
将所述待检索人脸图像输入第二人脸属性分析模型进行特征提取，将所述第二人脸属性分析模型的倒数第二层的输出结果作为所述待检索人脸图像的表情信息。
在一种可能的实现方式中，所述方法还包括：
获取第二训练样本图像，所述第二训练样本图像包括至少两个表情类别的人脸图像；
将所述第二训练样本图像输入第二初始模型，获取所述第二初始模型输出的对所述第二训练样本图像的预测分类结果；
确定所述第二训练样本图像的标注分类结果与预测分类结果是否一致；
当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述第二初始模型中的权重值，直至所述标注分类结果与所述模型分类结果一致，得到所述第二人脸属性分析模型。
在一种可能的实现方式中，所述对所述待检索人脸图像进行姿态分析，得到所述待检索人脸图像的姿态信息，包括：
将所述待检索人脸图像输入所述第三人脸属性分析模型进行特征提取，获取所述第三人脸属性分析模型输出的至少两个方向上的人脸偏转角度，得到所述姿态信息。
在一种可能的实现方式中，所述方法还包括：
获取第三训练样本图像，将所述第三训练样本图像输入第三初始模型；
获取所述第三初始模型输出的对所述第三训练样本图像的预测人脸偏转角度；
确定所述第三训练样本图像的标注人脸偏转角度与预测人脸偏转角度是否一致；
当所述标注人脸偏转角度与所述预测人脸偏转角度不一致时，反复循环迭代的更新所述第三初始模型中的权重值，直至所述标注人脸偏转角度与所述预测人脸偏转角度一致，得到所述第三人脸属性分析模型。
在一种可能的实现方式中，所述对所述待检索人脸图像进行特征提取，得到所述待检索人脸图像的目标特征信息，包括：
将所述待检索人脸图像输入特征提取模型进行特征提取，将所述特征提取模型的倒数第二层的输出结果作为所述待检索人脸图像的目标特征信息。
在一种可能的实现方式中，所述特征提取模型的训练过程，包括：
获取已标注好分类信息的第四训练样本图像；
将所述第四训练样本图像输入第四初始模型，获取第四初始模型对所述第四训练样本图像的预测分类结果；
确定所述第四训练样本图像的标注分类结果与预测分类结果是否一致；
当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述第四初始模型中的权重值，直至所述标注分类结果与所述预测分类结果一致。
在一种可能的实现方式中，所述基于所述第一人脸属性信息和所述第二人脸属性信息，在所述至少两个候选人脸图像中，检索与所述待检索人脸图像相似度最高的目标人脸图像，包括：
基于所述第一人脸属性信息和所述第二人脸属性信息，获取所述待检索人脸图像与每个所述候选人脸图像之间的人脸属性相似度值；
基于所述人脸属性相似度值，按照相似度由大到小的顺序对所述至少两个候选人脸图像重新进行排序，将排在首位的候选人脸图像确定为所述目标人脸图像。
在一种可能的实现方式中，应用下述公式，获取所述待检索人脸图像与每个所述候选人脸图像之间的人脸属性相似度值：
其中，similar指代人脸属性相似度值，age1、angle1和emotion1分别指代所述待检索人脸图像的年龄信息、姿态信息以及表情信息，age2、angle2和emotion2分别指代所述候选人脸图像的年龄信息、姿态信息以及表情信息。
根据本公开实施例的第二方面，提供一种相似人脸检索装置，所述装置包括：
获取单元，被配置为获取待检索人脸图像；
提取单元，被配置为对所述待检索人脸图像进行特征提取，得到所述待检索人脸图像的目标特征信息；
检索单元，被配置为基于所述目标特征信息在人脸数据库中进行检索，得到相似度排在前预设数目位的至少两个候选人脸图像；
分析单元，被配置为对所述待检索人脸图像进行人脸属性分析，得到第一人脸属性信息；
所述分析单元，还被配置为对所述至少两个候选人脸图像进行人脸属性分析，得到第二人脸属性信息；
所述检索单元，还被配置为基于所述第一人脸属性信息和所述第二人脸属性信息，在所述至少两个候选人脸图像中，检索与所述待检索人脸图像相似度最高的目标人脸图像。
在一种可能的实现方式中，所述分析单元，包括：
第一分析子单元，被配置为对所述待检索人脸图像进行年龄分析，得到所述待检索人脸图像的年龄信息；
第二分析子单元，被配置为对所述待检索人脸图像进行表情分析，得到所述待检索人脸图像的表情信息；
第三分析子单元，被配置为对所述待检索人脸图像进行姿态分析，得到所述待检索人脸图像的姿态信息；
其中，所述第一人脸属性信息包括所述年龄信息、所述表情信息和所述姿态信息。
在一种可能的实现方式中，所述第一分析子单元，还被配置为将所述待检索人脸图像输入第一人脸属性分析模型；获取所述第一人脸属性分析模型输出的至少两个分类概率，每个所述分类概率代表所述待检索人脸图像归属于对应年龄范围的概率；对于每个所述分类概率，确定所述分类概率对应的年龄范围的年龄基准值，获取所述分类概率与所述年龄基准值的乘积结果；对获取到的至少两个乘积结果执行相加操作，得到所述待检索人脸图像的年龄信息。
在一种可能的实现方式中，所述装置还包括：
第一训练单元，被配置为获取第一训练样本图像，所述第一训练样本图像包括至少两个年龄范围的人脸图像；将所述第一训练样本图像输入第一初始模型，获取所述第一初始模型输出的对所述第一训练样本图像的预测分类结果；确定所述第一训练样本图像的标注分类结果与预测分类结果是否一致；当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述第一初始模型中的权重值，直至所述标注分类结果与所述模型分类结果一致，得到所述第一人脸属性分析模型。
在一种可能的实现方式中，所述第二分析子单元，还被配置为将所述待检索人脸图像输入第二人脸属性分析模型进行特征提取，将所述第二人脸属性分析模型的倒数第二层的输出结果作为所述待检索人脸图像的表情信息。
在一种可能的实现方式中，所述装置还包括：
第二训练单元，被配置为获取第二训练样本图像，所述第二训练样本图像包括至少两个表情类别的人脸图像；将所述第二训练样本图像输入第二初始模型，获取所述第二初始模型输出的对所述第二训练样本图像的预测分类结果；确定所述第二训练样本图像的标注分类结果与预测分类结果是否一致；当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述第二初始模型中的权重值，直至所述标注分类结果与所述模型分类结果一致，得到所述第二人脸属性分析模型。
在一种可能的实现方式中，所述第三分析子单元，还被配置为将所述待检索人脸图像输入所述第三人脸属性分析模型进行特征提取，获取所述第三人脸属性分析模型输出的至少两个方向上的人脸偏转角度，得到所述姿态信息。
在一种可能的实现方式中，所述装置还包括：
第三训练单元，被配置为获取第三训练样本图像，将所述第三训练样本图像输入第三初始模型；获取所述第三初始模型输出的对所述第三训练样本图像的预测人脸偏转角度；确定所述第三训练样本图像的标注人脸偏转角度与预测人脸偏转角度是否一致；当所述标注人脸偏转角度与所述预测人脸偏转角度不一致时，反复循环迭代的更新所述第三初始模型中的权重值，直至所述标注人脸偏转角度与所述预测人脸偏转角度一致，得到所述第三人脸属性分析模型。
在一种可能的实现方式中，所述提取单元，还被配置为将所述待检索人脸图像输入特征提取模型进行特征提取，将所述特征提取模型的倒数第二层的输出结果作为所述待检索人脸图像的目标特征信息。
在一种可能的实现方式中，所述装置还包括：
第四训练单元，被配置为获取已标注好分类信息的第四训练样本图像；将所述第四训练样本图像输入第四初始模型，获取第四初始模型对所述第四训练样本图像的预测分类结果；确定所述第四训练样本图像的标注分类结果与预测分类结果是否一致；当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述第四初始模型中的权重值，直至所述标注分类结果与所述预测分类结果一致。
在一种可能的实现方式中，所述检索单元，还被配置为基于所述第一人脸属性信息和所述第二人脸属性信息，获取所述待检索人脸图像与每个所述候选人脸图像之间的人脸属性相似度值；基于所述人脸属性相似度值，按照相似度由大到小的顺序对所述至少两个候选人脸图像重新进行排序，将排在首位的候选人脸图像确定为所述目标人脸图像。
在一种可能的实现方式中，所述检索单元，还被配置为应用下述公式，获取所述待检索人脸图像与每个所述候选人脸图像之间的人脸属性相似度值：
其中，similar指代人脸属性相似度值，age1、angle1和emotion1分别指代所述待检索人脸图像的年龄信息、姿态信息以及表情信息，age2、angle2和emotion2分别指代所述候选人脸图像的年龄信息、姿态信息以及表情信息。
根据本公开实施例的第三方面，提供一种相似人脸检索装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取待检索人脸图像；
对所述待检索人脸图像进行特征提取，得到所述待检索人脸图像的目标特征信息；
基于所述目标特征信息在人脸数据库中进行检索，得到相似度排在前预设数目位的至少两个候选人脸图像；
对所述待检索人脸图像进行人脸属性分析，得到第一人脸属性信息；
对所述至少两个候选人脸图像进行人脸属性分析，得到第二人脸属性信息；
基于所述第一人脸属性信息和所述第二人脸属性信息，在所述至少两个候选人脸图像中，检索与所述待检索人脸图像相似度最高的目标人脸图像。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由相似人脸检索装置的处理器执行时，使得相似人脸检索装置能够执行一种相似人脸检索方法，所述方法包括：
获取待检索人脸图像；
对所述待检索人脸图像进行特征提取，得到所述待检索人脸图像的目标特征信息；
基于所述目标特征信息在人脸数据库中进行检索，得到相似度排在前预设数目位的至少两个候选人脸图像；
对所述待检索人脸图像进行人脸属性分析，得到第一人脸属性信息；
对所述至少两个候选人脸图像进行人脸属性分析，得到第二人脸属性信息；
基于所述第一人脸属性信息和所述第二人脸属性信息，在所述至少两个候选人脸图像中，检索与所述待检索人脸图像相似度最高的目标人脸图像。
根据本公开实施例的第五方面，提供一种应用程序，当所述应用程序中的指令由相似人脸检索装置的处理器执行时，使得相似人脸检索装置能够执行一种相似人脸检索方法，所述方法包括：
获取待检索人脸图像；
对所述待检索人脸图像进行特征提取，得到所述待检索人脸图像的目标特征信息；
基于所述目标特征信息在人脸数据库中进行检索，得到相似度排在前预设数目位的至少两个候选人脸图像；
对所述待检索人脸图像进行人脸属性分析，得到第一人脸属性信息；
对所述至少两个候选人脸图像进行人脸属性分析，得到第二人脸属性信息；
基于所述第一人脸属性信息和所述第二人脸属性信息，在所述至少两个候选人脸图像中，检索与所述待检索人脸图像相似度最高的目标人脸图像。
本公开的实施例提供的技术方案可以包括以下有益效果：
人脸检索装置在获取到待检索图像后，会先基于人脸识别技术对待检索人脸图像进行特征提取，并基于提取到的特征信息，在人脸数据库初步检索与待检索人脸图像较为相似的多张候选人脸图像，之后，人脸检索装置还会对待检索人脸图像和候选人脸图像进行人脸属性分析，并基于得到的人脸属性分析结果，在多张候选人脸图像中筛选出与待检索人脸图像最相似的目标人脸图像，由于在人脸识别的基础上融合了人脸属性分析进行相似人脸检索，因此极大地提升了相似人脸的检索精准度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种相似人脸检索方法涉及的实施环境的示意图。
图2是根据一示例性实施例示出的一种相似人脸检索方法的整体流程示意图。
图3是根据一示例性实施例示出的一种相似人脸检索方法的流程图。
图4是根据一示例性实施例示出的一种相似人脸检索方法的流程图。
图5是根据一示例性实施例示出的一种卷积神经网络的网络结构示意图。
图6是根据一示例性实施例示出的一种残差块的示意图。
图7是根据一示例性实施例示出的一种相似人脸检索装置的框图。
图8是根据一示例性实施例示出的一种相似人脸检索装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在对本公开实施例进行详细地解释说明之前，先对本公开实施例提供的一种相似人脸检索方法涉及的实施环境进行介绍。
参见图1，该实施环境中包括终端101、人脸检索装置102以及人脸数据库103。
其中，人脸检索装置102具体形式为服务器，人脸检索装置102与人脸数据库103既可以配置在同一个服务器上，也可以在不同的服务器上，本公开实施例对此不进行具体限定。终端101的类型包括但不限于智能手机、台式电脑、笔记本电脑、平板电脑等。
作为一个示例，终端101中可安装有特定应用程序，通过该特定应用程序终端101向人脸检索装置102发送待检索人脸图像，而人脸检索装置102执行本公开实施例提供的相似人脸检索方法，在人脸数据库103中检索与终端101发送的待检索图像最为相似的目标人脸图像，并将目标人脸图像返回给终端101，终端101负责将目标人脸图像展示给终端用户。
在本公开实施例中，涉及的人工智能技术包括人脸识别技术和人脸属性分析技术。如图2所示，首先通过收集整理人脸图像，形成包括大量人脸图像的人脸数据库；然后，对人脸数据库中的各个人脸图像进行特征提取，得到人脸身份特征，形成结构化数据。其中，前述提取到的人脸身份特征在本文中也称之为目标特征信息。
在获取到待检索人脸图像后，对待检索人脸图像进行特征提取，通过比对待检索人脸图像的人脸身份特征与人脸数据库中各个人脸图像的人脸身份特征，得到同待检索人脸图像较为相似的候选人脸图像；作为一个示例，在图2中，对于每个待检索人脸图像，选取相似度top3的人脸图像作为候选人脸图像。
之后，对候选人脸图像进行人脸属性分析，进而检索到与待检索人脸图像相似度最高的目标人脸图像。其中，人脸属性分析包括但不限于年龄分析、表情分析和姿态分析，本公开实施例对此不进行具体限定。
基于以上描述可知，本公开实施例融合了人脸识别技术和人脸属性分析技术，完成了构建人脸数据库，提取人脸身份特征以及对人脸图像进行人脸属性分析，进而实现根据待检索人脸图像，查找到与其最相似的目标人脸图像。
图3是根据一示例性实施例示出的一种相似人脸检索方法的流程图，如图3所示，该方法用于相似人脸检索装置中，包括以下步骤。
在步骤301中，获取待检索人脸图像。
在步骤302中，对待检索人脸图像进行特征提取，得到待检索人脸图像的目标特征信息。
在步骤303中，基于目标特征信息在人脸数据库中进行检索，得到相似度排在前预设数目位的至少两个候选人脸图像。
在步骤304中，对待检索人脸图像进行人脸属性分析，得到第一人脸属性信息；对至少两个候选人脸图像进行人脸属性分析，得到第二人脸属性信息。
在步骤305中，基于第一人脸属性信息和第二人脸属性信息，在至少两个候选人脸图像中，检索与待检索人脸图像相似度最高的目标人脸图像。
本公开实施例提供的方法，人脸检索装置在获取到待检索图像后，会先基于人脸识别技术对待检索人脸图像进行特征提取，并基于提取到的特征信息，在人脸数据库初步检索与待检索人脸图像较为相似的多张候选人脸图像，之后，人脸检索装置还会对待检索人脸图像和候选人脸图像进行人脸属性分析，并基于得到的人脸属性分析结果，在多张候选人脸图像中筛选出与待检索人脸图像最相似的目标人脸图像，由于在人脸识别的基础上融合了人脸属性分析进行相似人脸检索，因此极大地提升了相似人脸的检索精准度。
在一种可能的实现方式中，所述对所述待检索人脸图像进行人脸属性分析，得到第一人脸属性信息，包括：
对所述待检索人脸图像进行年龄分析，得到所述待检索人脸图像的年龄信息；
对所述待检索人脸图像进行表情分析，得到所述待检索人脸图像的表情信息；
对所述待检索人脸图像进行姿态分析，得到所述待检索人脸图像的姿态信息；
其中，所述第一人脸属性信息包括所述年龄信息、所述表情信息和所述姿态信息。
在一种可能的实现方式中，所述对所述待检索人脸图像进行年龄分析，得到所述待检索人脸图像的年龄信息，包括：
将所述待检索人脸图像输入第一人脸属性分析模型；
获取所述第一人脸属性分析模型输出的至少两个分类概率，每个所述分类概率代表所述待检索人脸图像归属于对应年龄范围的概率；
对于每个所述分类概率，确定所述分类概率对应的年龄范围的年龄基准值，获取所述分类概率与所述年龄基准值的乘积结果；
对获取到的至少两个乘积结果执行相加操作，得到所述待检索人脸图像的年龄信息。
在一种可能的实现方式中，所述方法还包括：
获取第一训练样本图像，所述第一训练样本图像包括至少两个年龄范围的人脸图像；
将所述第一训练样本图像输入第一初始模型，获取所述第一初始模型输出的对所述第一训练样本图像的预测分类结果；
确定所述第一训练样本图像的标注分类结果与预测分类结果是否一致；
当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述第一初始模型中的权重值，直至所述标注分类结果与所述模型分类结果一致，得到所述第一人脸属性分析模型。
在一种可能的实现方式中，所述对所述待检索人脸图像进行表情分析，得到所述待检索人脸图像的表情信息，包括：
将所述待检索人脸图像输入第二人脸属性分析模型进行特征提取，将所述第二人脸属性分析模型的倒数第二层的输出结果作为所述待检索人脸图像的表情信息。
在一种可能的实现方式中，所述方法还包括：
获取第二训练样本图像，所述第二训练样本图像包括至少两个表情类别的人脸图像；
将所述第二训练样本图像输入第二初始模型，获取所述第二初始模型输出的对所述第二训练样本图像的预测分类结果；
确定所述第二训练样本图像的标注分类结果与预测分类结果是否一致；
当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述第二初始模型中的权重值，直至所述标注分类结果与所述模型分类结果一致，得到所述第二人脸属性分析模型。
在一种可能的实现方式中，所述对所述待检索人脸图像进行姿态分析，得到所述待检索人脸图像的姿态信息，包括：
将所述待检索人脸图像输入所述第三人脸属性分析模型进行特征提取，获取所述第三人脸属性分析模型输出的至少两个方向上的人脸偏转角度，得到所述姿态信息。
在一种可能的实现方式中，所述方法还包括：
获取第三训练样本图像，将所述第三训练样本图像输入第三初始模型；
获取所述第三初始模型输出的对所述第三训练样本图像的预测人脸偏转角度；
确定所述第三训练样本图像的标注人脸偏转角度与预测人脸偏转角度是否一致；
当所述标注人脸偏转角度与所述预测人脸偏转角度不一致时，反复循环迭代的更新所述第三初始模型中的权重值，直至所述标注人脸偏转角度与所述预测人脸偏转角度一致，得到所述第三人脸属性分析模型。
在一种可能的实现方式中，所述对所述待检索人脸图像进行特征提取，得到所述待检索人脸图像的目标特征信息，包括：
将所述待检索人脸图像输入特征提取模型进行特征提取，将所述特征提取模型的倒数第二层的输出结果作为所述待检索人脸图像的目标特征信息。
在一种可能的实现方式中，所述特征提取模型的训练过程，包括：
获取已标注好分类信息的第四训练样本图像；
将所述第四训练样本图像输入第四初始模型，获取第四初始模型对所述第四训练样本图像的预测分类结果；
确定所述第四训练样本图像的标注分类结果与预测分类结果是否一致；
当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述第四初始模型中的权重值，直至所述标注分类结果与所述预测分类结果一致。
在一种可能的实现方式中，所述基于所述第一人脸属性信息和所述第二人脸属性信息，在所述至少两个候选人脸图像中，检索与所述待检索人脸图像相似度最高的目标人脸图像，包括：
基于所述第一人脸属性信息和所述第二人脸属性信息，获取所述待检索人脸图像与每个所述候选人脸图像之间的人脸属性相似度值；
基于所述人脸属性相似度值，按照相似度由大到小的顺序对所述至少两个候选人脸图像重新进行排序，将排在首位的候选人脸图像确定为所述目标人脸图像。
在一种可能的实现方式中，应用下述公式，获取所述待检索人脸图像与每个所述候选人脸图像之间的人脸属性相似度值：
其中，similar指代人脸属性相似度值，age1、angle1和emotion1分别指代所述待检索人脸图像的年龄信息、姿态信息以及表情信息，age2、angle2和emotion2分别指代所述候选人脸图像的年龄信息、姿态信息以及表情信息。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
需要说明的是，下述实施例中出现的类似第一、第二、第三、第四等这种描述，仅是用于区分不同的对象，而不构成对各个对象的任何其他特殊限定。
图4是根据一示例性实施例示出的一种相似人脸检索方法的流程图，如图4所示，该方法的交互主体包括终端和人脸检索装置，包括以下步骤。
在步骤401中，终端向人脸检索装置发送待检索人脸图像。
终端在向人脸检索装置发送待检索人脸图像时，可以人脸检索请求的形式发送，而在发送人脸检索请求时，可采用POST方法，本公开实施例对此不进行具体限定。
在步骤402中，人脸检索装置在接收到待检索人脸图像后，对待检索人脸图像进行特征提取，得到待检索人脸图像的目标特征信息。
在进行人脸检索之前，会预先构建人脸数据库。作为一个示例，可在公开的数据集中进行人脸图像收集。比如，在公开的人脸数据集或公开的视频中收集大量可用的高清晰人脸图像，之后，对收集到的人脸图像进行筛选过滤，进而得到包括成千成万、甚至几十亿人脸图像的人脸数据库。
在本公开实施例中，会训练一个特征提取模型来提取人脸身份特征，该特征提取模型在本文中也称之为人脸身份特征提取器，人脸身份特征在本文中也称之为目标特征信息。
其中，本公开实施例基于深度学习技术，来训练不同人脸的分类网络，即特征提取模型；然后，将该特征提取模型的倒数第二层的输出结果作为人脸身份特征，这样每个人脸图像在经过特征提取模型后，均得到了一个固定长度的人脸身份特征，进而完成人脸图像的结构化。即，本公开实施例会采用上述特征提取模型对人脸数据库中的各个人脸图像进行体征提取，进而得到大量的人脸身份特征用于人脸检索过程。
在一种可能的实现方式中，特征提取模型的训练过程，可包括如下步骤：
4021、获取已标注好分类信息的训练样本图像，并将该训练样本图像输入初始模型。
为了进行区分，此处的训练样本图像在本文中也称之为第四训练样本图像，此处的初始模型在本文中也称之为第四初始模型。
作为一个示例，该初始模型为卷积神经网络，该卷积神经网络的网络结构可如图5和图6所示。其中，输入为128x128的rgb图像，即训练样本图像在经过预处理后为128x128大小的rgb图像；输出为1024维度的特征向量，即这个模型将人脸图像映射到1024维度的特征上。其中，预处理包括但不限于剪裁处理和对齐处理。
其中，图5中一个残差块(resblock)的结构具体如图6所示，一个残差块中均包括一个恒等映射和至少两个卷积层。其中，一个残差块的恒等映射由该残差块的输入端指向该残差块的输出端。即，增加一个恒等映射，将原始所需要学的函数H(x)转换成F(x)+x。虽然这两种表达效果相同，但是优化的难度却并不相同，通过一个reformulation(再形成)，将一个问题分解成多个尺度直接的残差问题，能够很好地起到优化训练的效果。
如图6所示，这个残差块通过Shortcut连接实现，通过Shortcut连接将这个残差块的输入和输出进行叠加，在不给网络增加额外的参数和计算量的前提下，大大增加了模型的训练速度、提高了训练效果，并且当模型的层数加深时，上述结构能够很好地解决退化问题。
即，H(x)是期望的复杂潜在映射，学习难度大，如果直接通过图6的Shortcut连接将输入x传到输出作为初始结果，那么此时需要学习的目标便是F(x)＝H(x)-x，相当于将学习目标改变，不再是学习一个完整的输出，而是需要学习最优解H(x)和全等映射x的差值，即残差映射F(x)。需要说明的是，Shortcut原意指捷径，在本文中表示越层连接，Shortcut连接没有权值，传递x后每个残差块仅学习残差映射F(x)。且由于网络稳定易于学习，随着网络深度的增加性能将逐渐变好，因此当网络层数够深时，优化残差映射F(x)＝H(x)-x，将易于优化一个复杂的非线性映射H(x)。
4022、获取初始模型对该训练样本图像的预测分类结果。
将该训练样本图像依次输入到上述卷积神经网络中，并获取该卷积神经网络的全连接层输出的模型分类信息，即预测分类结果。其中，预测分类结果是上述卷积神经网络根据输入的训练样本图像而输出的激励数据，在上述卷积神经网络未被训练至收敛之前，预测分类结果还不够精确，当上述卷积神经网络被训练至收敛之后，得到的预测分类结果具有较高的精确性。
4023、确定该训练样本图像的标注分类结果与预测分类结果是否一致；当标注分类结果与预测分类结果不一致时，反复循环的迭代更新初始模型中的权重值，直至标注分类结果与预测分类结果一致。
其中，通常采用损失函数来确定标注分类结果与预测分类结果是否一致。作为一个示例，可采用交叉熵损失函数来确定标注分类结果与预测分类结果是否一致，本公开实施例对此不进行具体限定。
换一种表达方式，损失函数是用于检测上述卷积神经网络输出的预测分类结果，与期望的标注分类结果是否具有一致性的检测函数。当上述卷积神经网络的输出结果与期望结果不一致时，需要对上述卷积神经网络中的权重值进行校正，以使上述卷积神经网络的输出结果与期望结果一致，比如准确率达到95％以上停止模型训练，模型收敛。
作为一个示例，可采用反向传播算法来反复循环的迭代更新上述卷积神经网络中的权重值，本公开实施例对此不进行具体限定。另外，还可采用随机梯度下降算法来优化训练好的模型。
在本公开实施例中，在对待检索人脸图像进行特征提取时，还是依据上述特征提取模型，即人脸身份特征提取器，步骤如下：将待检索人脸图像输入特征提取模型进行特征提取，将该特征提取模型的倒数第二层的输出结果作为待检索人脸图像的目标特征信息，即人脸身份特征。
在步骤403中，人脸检索装置基于待检索人脸图像的目标特征信息在人脸数据库中进行检索，得到相似度排在前预设数目位的至少两个候选人脸图像。
本公开实施例采用topN的方式在人脸数据库中进行大规模的人脸检索，其中，N的取值可为2、3、4等，本公开实施例对此不进行具体限定。
在本公开实施例中，计算待检索人脸图像的人脸身份特征与人脸数据库包括的人脸图像的人脸身份特征之间的cos距离，然后将cos距离进行由大到小的排序，cos距离越大，表明相似度越高；之后，选取cos距离排在前N位的N个人脸图像，即可得到相似度排在前N位的至少两个候选人脸图像。
另外，由于人类在判断人脸相似与否时一般均会考虑到一些表层信息，比如两个人脸之间的年龄、表情、姿态等信息，而这些人脸属性信息对于相似人脸检索会起到很重要的作用，所以在进行初步相似人脸检索后，本公开实施例还会进一步地对初步检索到的相似人脸进行人脸属性分析，并利用人脸属性分析结果对候选人脸图像重新排序，将相似度高的人脸图像排在前面，相似度低的人脸图像排在后面。即本公开实施例还包括下述步骤：
在步骤404中，人脸检索装置对待检索人脸图像进行人脸属性分析，得到第一人脸属性信息。
需要说明的是，本文将对待检索人脸图像进行人脸属性分析后，得到的人脸属性信息称之为第一人脸属性信息。其中，人脸属性信息包括但不限于年龄信息、表情信息和姿态信息。即，对待检索人脸图像进行人脸属性分析，包括如下步骤：
4041、对待检索人脸图像进行年龄分析，得到待检索人脸图像的年龄信息。
针对该步骤，在对待检索图像进行年龄分析时，基于深度学习的分类器实现，包括：
a、将待检索人脸图像输入第一人脸属性分析模型。
在本文中将进行年龄分析的分类器称之为第一人脸属性分析模型。作为一个示例，第一人脸属性分析模型为vgg16网络结构，本公开实施例对此不进行具体限定。
b、获取第一人脸属性分析模型输出的至少两个分类概率，每个分类概率代表待检索人脸图像归属于对应年龄范围的概率。
在本公开实施例中，将人脸年龄分为9个年龄范围，分别为0～2，3～7，8～12，13～18，19～25，26～30，31～40，41～50，51+。相应地，第一人脸属性分析模型为9分类模型。第一人脸属性分析模型输出的为待检索人脸图像分别归属于9个年龄范围的概率。
c、对于每个分类概率，确定该分类概率对应的年龄范围的年龄基准值，获取该分类概率与年龄基准值的乘积结果，对获取到的至少两个乘积结果执行相加操作，得到待检索人脸图像的年龄信息。
作为一个示例，9个年龄范围0～2，3～7，8～12，13～18，19～25，26～30，31～40，41～50，51+各自对应的年龄基准值分别为1，5，10，15，22，28，35，45，55。
其中，上述获取该分类概率与年龄基准值的乘积结果，对获取到的至少两个乘积结果执行相加操作，应用数字表达式进行表达即为：
其中，y指代得到的人脸年龄，pi指代待检索人脸图像归属于第i个年龄范围的概率，xi指代第i个年龄范围的年龄基准值。
在一种可能的实现方式中，第一人脸属性分析模型的训练过程，包括如下步骤：
(1)、获取训练样本图像，该训练样本图像包括至少两个年龄范围的人脸图像。
为了进行区分，此处的训练样本图像在本文中也称之为第一训练样本图像，此处的初始模型在本文中也称之为第一初始模型。
作为一个示例，由于将人脸年龄划分为了9个年龄范围，因此对于每个年龄范围整理2万的人脸图像用于进行分类器训练。
(2)、将该训练样本图像输入初始模型，获取初始模型输出的对该训练样本图像的预测分类结果。
(3)、确定该训练样本图像的标注分类结果与预测分类结果是否一致；当标注分类结果与预测分类结果不一致时，反复循环的迭代更新初始模型中的权重值，直至标注分类结果与模型分类结果一致。
作为一个示例，通过反向传播算法反复循环的迭代更新初始模型中的权重值，比如利用随机梯度下降算法来优化模型。其中，随机梯度下降算法的学习率可设置为0.01，动量因子可设置为0.09，权重衰减可设置为0.0005，本公开实施例对此不进行具体限定。
4042、对待检索人脸图像进行表情分析，得到待检索人脸图像的表情信息。
针对该步骤，对待检索人脸图像进行表情分析，包括：将待检索人脸图像输入第二人脸属性分析模型进行特征提取，将第二人脸属性分析模型的倒数第二层的输出结果作为待检索人脸图像的表情信息。
即，由于表情之间的相似度不能单纯通过分类结果判定，因此在本公开实施例中采用表情特征，其中，表情特征是第二人脸属性分析模型的倒数第二层的输出结果。即，每个人脸图像在通过第二人脸属性分析模型进行表情分析后得到的是一个特征向量。其中，表情越相近的特征之间相应的cos距离越大。
作为一个示例，第二人脸属性分析模型为vgg16网络结构，本公开实施例对此不进行具体限定。
在一种可能的实现方式中，第二人脸属性分析模型的训练过程，包括如下步骤：
(1)、获取训练样本图像，训练样本图像包括至少两个表情类别的人脸图像。
为了进行区分，此处的训练样本图像在本文中也称之为第二训练样本图像，此处的初始模型在本文中也称之为第二初始模型。
作为一个示例，本公开实施例将人脸表情分为7类，分别为高兴、吃惊、悲伤、愤怒、厌恶、恐惧和中立，对于每种表情整理2万的人脸图像用于进行模型训练。
(2)、将该训练样本图像输入初始模型，获取初始模型输出的对该训练样本图像的预测分类结果。
由于将人脸表情分为了7类，相应地，第二人脸属性分析模型为7分类模型。第二人脸属性分析模型输出的为待检索人脸图像分别归属于7种表情的概率。
(3)、确定该训练样本图像的标注分类结果与预测分类结果是否一致；当标注分类结果与预测分类结果不一致时，反复循环的迭代更新初始模型中的权重值，直至标注分类结果与模型分类结果一致，得到第二人脸属性分析模型。
作为一个示例，通过反向传播算法反复循环的迭代更新初始模型中的权重值，比如利用随机梯度下降算法来优化模型。其中，随机梯度下降算法的学习率可设置为0.01，动量因子可设置为0.09，权重衰减可设置为0.0005，本公开实施例对此不进行具体限定。
4043、对待检索人脸图像进行姿态分析，得到待检索人脸图像的姿态信息。
针对该步骤，对待检索人脸图像进行姿态分析，包括：将待检索人脸图像输入第三人脸属性分析模型进行特征提取，获取第三人脸属性分析模型输出的至少两个方向上的人脸偏转角度，得到姿态信息。其中，人脸姿态分为三个角度的信息，分别是yaw,pitch,roll，分别代表三个方向上人脸的偏转程度，其中，每个方向上的回归范围可为[-90,90]。
作为一个示例，第三人脸属性分析模型为vgg16网络结构，本公开实施例对此不进行具体限定。
在一种可能的实现方式中，第三人脸属性分析模型的训练过程，包括如下步骤：
(1)、获取训练样本图像，将训练样本图像输入初始模型。
为了进行区分，此处的训练样本图像在本文中也称之为第三训练样本图像，此处的初始模型在本文中也称之为第三初始模型。
作为一个示例，该训练样本图像为10万个包括各种角度人脸的人脸图像。
(2)、获取初始模型输出的对训练样本图像的预测人脸偏转角度。
即，模型输出的预测人脸偏转角度为3个实数值，对应3个角度信息。
(3)、确定训练样本图像的标注人脸偏转角度与预测人脸偏转角度是否一致；当标注人脸偏转角度与预测人脸偏转角度不一致时，反复循环迭代的更新初始模型中的权重值，直至标注人脸偏转角度与预测人脸偏转角度一致，得到第三人脸属性分析模型。
作为一个示例，可基于L2损失函数来确定标注人脸偏转角度与预测人脸偏转角度是否一致，本公开实施例对此不进行具体限定。另外，可通过反向传播算法反复循环的迭代更新初始模型中的权重值，比如利用随机梯度下降算法来优化模型。其中，随机梯度下降算法的学习率可设置为0.01，动量因子可设置为0.09，权重衰减可设置为0.0005，本公开实施例对此不进行具体限定。
在步骤405中，对至少两个候选人脸图像中的每个人脸图像均进行人脸属性分析，得到第二人脸属性信息。
该步骤同上述步骤404，此处不再赘述。
在步骤406中，人脸检索装置基于第一人脸属性信息和第二人脸属性信息，在至少两个候选人脸图像中，检索与待检索人脸图像相似度最高的目标人脸图像。
在本公开实施例中，基于第一人脸属性信息和第二人脸属性信息，在至少两个候选人脸图像中，检索与待检索人脸图像相似度最高的目标人脸图像，包括以下步骤：
4061、基于第一人脸属性信息和第二人脸属性信息，获取待检索人脸图像与每个候选人脸图像之间的人脸属性相似度值。
在一种可能的实现方式中，应用下述公式，获取待检索人脸图像与每个候选人脸图像之间的人脸属性相似度值：
其中，similar指代人脸属性相似度值，age1、angle1和emotion1分别指代待检索人脸图像的年龄信息、姿态信息以及表情信息，age2、angle2和emotion2分别指代候选人脸图像的年龄信息、姿态信息以及表情信息。
4062、基于人脸属性相似度值，按照相似度由大到小的顺序对至少两个候选人脸图像重新进行排序，将排在首位的候选人脸图像确定为目标人脸图像。
由于similar的数值越小表明相似度越大，因此按照similar数值由小到大的顺序进行排列，即为按照相似度进行由大到小的顺序排列。而排在首位的候选人脸图像即为与待检索人脸图像最为相似的目标人脸图像。
在步骤407中，人脸检索装置将目标人脸图像发送给终端。
其中，人脸检索装置可选择以JSON(JavaScript Object Notation,JS对象标记)形式将目标人脸图像发送给终端，本公开实施例对此不进行具体限定。
本公开实施例提供的方法，人脸检索装置在获取到待检索图像后，会先基于人脸识别技术对待检索人脸图像进行特征提取，并基于提取到的特征信息，在人脸数据库初步检索与待检索人脸图像较为相似的多张候选人脸图像，之后，人脸检索装置还会对待检索人脸图像和候选人脸图像进行人脸属性分析，并基于得到的人脸属性分析结果，在多张候选人脸图像中筛选出与待检索人脸图像最相似的目标人脸图像，由于在人脸识别的基础上融合了人脸属性分析进行相似人脸检索，因此极大地提升了相似人脸的检索精准度。
图7是根据一示例性实施例示出的一种相似人脸检索装置的框图。参照图7，该装置包括获取单元701、提取单元702、检索单元703、分析单元704。
获取单元701，被配置为获取待检索人脸图像；
提取单元702，被配置为对所述待检索人脸图像进行特征提取，得到所述待检索人脸图像的目标特征信息；
检索单元703，被配置为基于所述目标特征信息在人脸数据库中进行检索，得到相似度排在前预设数目位的至少两个候选人脸图像；
分析单元704，被配置为对所述待检索人脸图像进行人脸属性分析，得到第一人脸属性信息；
分析单元704，还被配置为对所述至少两个候选人脸图像进行人脸属性分析，得到第二人脸属性信息；
检索单元703，还被配置为基于所述第一人脸属性信息和所述第二人脸属性信息，在所述至少两个候选人脸图像中，检索与所述待检索人脸图像相似度最高的目标人脸图像。
本公开实施例提供的装置，在获取到待检索图像后，会先基于人脸识别技术对待检索人脸图像进行特征提取，并基于提取到的特征信息，在人脸数据库初步检索与待检索人脸图像较为相似的多张候选人脸图像，之后，还会对待检索人脸图像和候选人脸图像进行人脸属性分析，并基于得到的人脸属性分析结果，在多张候选人脸图像中筛选出与待检索人脸图像最相似的目标人脸图像，由于在人脸识别的基础上融合了人脸属性分析进行相似人脸检索，因此极大地提升了相似人脸的检索精准度。
在一种可能的实现方式中，分析单元704，包括：
第一分析子单元7041，被配置为对所述待检索人脸图像进行年龄分析，得到所述待检索人脸图像的年龄信息；
第二分析子单元7042，被配置为对所述待检索人脸图像进行表情分析，得到所述待检索人脸图像的表情信息；
第三分析子单元7043，被配置为对所述待检索人脸图像进行姿态分析，得到所述待检索人脸图像的姿态信息；
其中，所述第一人脸属性信息包括所述年龄信息、所述表情信息和所述姿态信息。
在一种可能的实现方式中，第一分析子单元7041，还被配置为将所述待检索人脸图像输入第一人脸属性分析模型；获取所述第一人脸属性分析模型输出的至少两个分类概率，每个所述分类概率代表所述待检索人脸图像归属于对应年龄范围的概率；对于每个所述分类概率，确定所述分类概率对应的年龄范围的年龄基准值，获取所述分类概率与所述年龄基准值的乘积结果；对获取到的至少两个乘积结果执行相加操作，得到所述待检索人脸图像的年龄信息。
在一种可能的实现方式中，该装置还包括：
第一训练单元705，被配置为获取第一训练样本图像，所述第一训练样本图像包括至少两个年龄范围的人脸图像；将所述第一训练样本图像输入第一初始模型，获取所述第一初始模型输出的对所述第一训练样本图像的预测分类结果；确定所述第一训练样本图像的标注分类结果与预测分类结果是否一致；当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述第一初始模型中的权重值，直至所述标注分类结果与所述模型分类结果一致，得到所述第一人脸属性分析模型。
在一种可能的实现方式中，第二分析子单元7042，还被配置为将所述待检索人脸图像输入第二人脸属性分析模型进行特征提取，将所述第二人脸属性分析模型的倒数第二层的输出结果作为所述待检索人脸图像的表情信息。
在一种可能的实现方式中，该装置还包括：
第二训练单元706，被配置为获取第二训练样本图像，所述第二训练样本图像包括至少两个表情类别的人脸图像；将所述第二训练样本图像输入第二初始模型，获取所述第二初始模型输出的对所述第二训练样本图像的预测分类结果；确定所述第二训练样本图像的标注分类结果与预测分类结果是否一致；当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述第二初始模型中的权重值，直至所述标注分类结果与所述模型分类结果一致，得到所述第二人脸属性分析模型。
在一种可能的实现方式中，第三分析子单元7043，还被配置为将所述待检索人脸图像输入所述第三人脸属性分析模型进行特征提取，获取所述第三人脸属性分析模型输出的至少两个方向上的人脸偏转角度，得到所述姿态信息。
在一种可能的实现方式中，该装置还包括：
第三训练单元707，被配置为获取第三训练样本图像，将所述第三训练样本图像输入第三初始模型；获取所述第三初始模型输出的对所述第三训练样本图像的预测人脸偏转角度；确定所述第三训练样本图像的标注人脸偏转角度与预测人脸偏转角度是否一致；当所述标注人脸偏转角度与所述预测人脸偏转角度不一致时，反复循环迭代的更新所述第三初始模型中的权重值，直至所述标注人脸偏转角度与所述预测人脸偏转角度一致，得到所述第三人脸属性分析模型。
在一种可能的实现方式中，提取单元702，还被配置为将所述待检索人脸图像输入特征提取模型进行特征提取，将所述特征提取模型的倒数第二层的输出结果作为所述待检索人脸图像的目标特征信息。
在一种可能的实现方式中，该装置还包括：
第四训练单元708，被配置为获取已标注好分类信息的第四训练样本图像；将所述第四训练样本图像输入第四初始模型，获取第四初始模型对所述第四训练样本图像的预测分类结果；确定所述第四训练样本图像的标注分类结果与预测分类结果是否一致；当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述第四初始模型中的权重值，直至所述标注分类结果与所述预测分类结果一致。
在一种可能的实现方式中，检索单元703，还被配置为基于所述第一人脸属性信息和所述第二人脸属性信息，获取所述待检索人脸图像与每个所述候选人脸图像之间的人脸属性相似度值；基于所述人脸属性相似度值，按照相似度由大到小的顺序对所述至少两个候选人脸图像重新进行排序，将排在首位的候选人脸图像确定为所述目标人脸图像。
在一种可能的实现方式中，检索单元703，还被配置为应用下述公式，获取所述待检索人脸图像与每个所述候选人脸图像之间的人脸属性相似度值：
其中，similar指代人脸属性相似度值，age1、angle1和emotion1分别指代所述待检索人脸图像的年龄信息、姿态信息以及表情信息，age2、angle2和emotion2分别指代所述候选人脸图像的年龄信息、姿态信息以及表情信息。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是本公开实施例提供的一种相似人脸检索装置的结构示意图，该装置800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)801和一个或一个以上的存储器802，其中，所述存储器802中存储有至少一条指令，所述至少一条指令由所述处理器801加载并执行以实现上述各个方法实施例提供的相似人脸检索方法。当然，该装置还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该装置还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中的相似人脸检索方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种相似人脸检索方法，其特征在于，所述方法包括：
获取待检索人脸图像；
对所述待检索人脸图像进行特征提取，得到所述待检索人脸图像的目标特征信息；
基于所述目标特征信息在人脸数据库中进行检索，得到相似度排在前预设数目位的至少两个候选人脸图像；
对所述待检索人脸图像进行人脸属性分析，得到第一人脸属性信息；
对所述至少两个候选人脸图像进行人脸属性分析，得到第二人脸属性信息；
基于所述第一人脸属性信息和所述第二人脸属性信息，在所述至少两个候选人脸图像中，检索与所述待检索人脸图像相似度最高的目标人脸图像。
2.根据权利要求1所述的相似人脸检索方法，其特征在于，所述对所述待检索人脸图像进行人脸属性分析，得到第一人脸属性信息，包括：
对所述待检索人脸图像进行年龄分析，得到所述待检索人脸图像的年龄信息；
对所述待检索人脸图像进行表情分析，得到所述待检索人脸图像的表情信息；
对所述待检索人脸图像进行姿态分析，得到所述待检索人脸图像的姿态信息；
其中，所述第一人脸属性信息包括所述年龄信息、所述表情信息和所述姿态信息。
3.根据权利要求2所述的相似人脸检索方法，其特征在于，所述对所述待检索人脸图像进行年龄分析，得到所述待检索人脸图像的年龄信息，包括：
将所述待检索人脸图像输入第一人脸属性分析模型；
获取所述第一人脸属性分析模型输出的至少两个分类概率，每个所述分类概率代表所述待检索人脸图像归属于对应年龄范围的概率；
对于每个所述分类概率，确定所述分类概率对应的年龄范围的年龄基准值，获取所述分类概率与所述年龄基准值的乘积结果；
对获取到的至少两个乘积结果执行相加操作，得到所述待检索人脸图像的年龄信息。
4.根据权利要求3所述的相似人脸检索方法，其特征在于，所述方法还包括：
获取第一训练样本图像，所述第一训练样本图像包括至少两个年龄范围的人脸图像；
将所述第一训练样本图像输入第一初始模型，获取所述第一初始模型输出的对所述第一训练样本图像的预测分类结果；
确定所述第一训练样本图像的标注分类结果与预测分类结果是否一致；
当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述第一初始模型中的权重值，直至所述标注分类结果与所述模型分类结果一致，得到所述第一人脸属性分析模型。
5.根据权利要求2所述的相似人脸检索方法，其特征在于，所述对所述待检索人脸图像进行表情分析，得到所述待检索人脸图像的表情信息，包括：
将所述待检索人脸图像输入第二人脸属性分析模型进行特征提取，将所述第二人脸属性分析模型的倒数第二层的输出结果作为所述待检索人脸图像的表情信息。
6.根据权利要求5所述的相似人脸检索方法，其特征在于，所述方法还包括：
获取第二训练样本图像，所述第二训练样本图像包括至少两个表情类别的人脸图像；
将所述第二训练样本图像输入第二初始模型，获取所述第二初始模型输出的对所述第二训练样本图像的预测分类结果；
确定所述第二训练样本图像的标注分类结果与预测分类结果是否一致；
当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述第二初始模型中的权重值，直至所述标注分类结果与所述模型分类结果一致，得到所述第二人脸属性分析模型。
7.根据权利要求2所述的相似人脸检索方法，其特征在于，所述对所述待检索人脸图像进行姿态分析，得到所述待检索人脸图像的姿态信息，包括：
将所述待检索人脸图像输入所述第三人脸属性分析模型进行特征提取，获取所述第三人脸属性分析模型输出的至少两个方向上的人脸偏转角度，得到所述姿态信息。
8.根据权利要求7所述的相似人脸检索方法，其特征在于，所述方法还包括：
获取第三训练样本图像，将所述第三训练样本图像输入第三初始模型；
获取所述第三初始模型输出的对所述第三训练样本图像的预测人脸偏转角度；
确定所述第三训练样本图像的标注人脸偏转角度与预测人脸偏转角度是否一致；
当所述标注人脸偏转角度与所述预测人脸偏转角度不一致时，反复循环迭代的更新所述第三初始模型中的权重值，直至所述标注人脸偏转角度与所述预测人脸偏转角度一致，得到所述第三人脸属性分析模型。
9.根据权利要求1所述的方法，其特征在于，所述基于所述第一人脸属性信息和所述第二人脸属性信息，在所述至少两个候选人脸图像中，检索与所述待检索人脸图像相似度最高的目标人脸图像，包括：
基于所述第一人脸属性信息和所述第二人脸属性信息，获取所述待检索人脸图像与每个所述候选人脸图像之间的人脸属性相似度值；
基于所述人脸属性相似度值，按照相似度由大到小的顺序对所述至少两个候选人脸图像重新进行排序，将排在首位的候选人脸图像确定为所述目标人脸图像。
10.一种相似人脸检索装置，其特征在于，所述装置包括：
获取单元，被配置为获取待检索人脸图像；
提取单元，被配置为对所述待检索人脸图像进行特征提取，得到所述待检索人脸图像的目标特征信息；
检索单元，被配置为基于所述目标特征信息在人脸数据库中进行检索，得到相似度排在前预设数目位的至少两个候选人脸图像；
分析单元，被配置为对所述待检索人脸图像进行人脸属性分析，得到第一人脸属性信息；
所述分析单元，还被配置为对所述至少两个候选人脸图像进行人脸属性分析，得到第二人脸属性信息；
所述检索单元，还被配置为基于所述第一人脸属性信息和所述第二人脸属性信息，在所述至少两个候选人脸图像中，检索与所述待检索人脸图像相似度最高的目标人脸图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910245159.2A CN109993102B (zh) | 2019-03-28 | 2019-03-28 | 相似人脸检索方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910245159.2A CN109993102B (zh) | 2019-03-28 | 2019-03-28 | 相似人脸检索方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109993102A true CN109993102A (zh) | 2019-07-09 |
| CN109993102B CN109993102B (zh) | 2021-09-17 |
Family
ID=67131682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910245159.2A Active CN109993102B (zh) | 2019-03-28 | 2019-03-28 | 相似人脸检索方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109993102B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569390A (zh) * | 2019-08-20 | 2019-12-13 | 武汉大千信息技术有限公司 | 基于区分存储介质的海量案件数据高效检索方法 |
| CN110825765A (zh) * | 2019-10-23 | 2020-02-21 | 中国建设银行股份有限公司 | 一种人脸识别的方法和装置 |
| CN111368772A (zh) * | 2020-03-11 | 2020-07-03 | 杭州海康威视系统技术有限公司 | 身份识别方法、装置、设备及存储介质 |
| CN111488936A (zh) * | 2020-04-14 | 2020-08-04 | 深圳力维智联技术有限公司 | 一种特征融合方法和装置、存储介质 |
| CN111538861A (zh) * | 2020-04-22 | 2020-08-14 | 浙江大华技术股份有限公司 | 基于监控视频进行图像检索的方法、装置、设备及介质 |
| CN112417197A (zh) * | 2020-12-02 | 2021-02-26 | 云从科技集团股份有限公司 | 一种排序方法、装置、机器可读介质及设备 |
| CN112488085A (zh) * | 2020-12-28 | 2021-03-12 | 深圳市慧鲤科技有限公司 | 人脸融合方法、装置、设备及存储介质 |
| CN112507158A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 图像处理方法和装置 |
| CN113420699A (zh) * | 2021-07-02 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 一种人脸匹配方法、装置及电子设备 |
| CN113536947A (zh) * | 2021-06-21 | 2021-10-22 | 中山市希道科技有限公司 | 一种人脸属性分析方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102254336A (zh) * | 2011-07-14 | 2011-11-23 | 清华大学 | 人脸视频合成方法及装置 |
| CN106022317A (zh) * | 2016-06-27 | 2016-10-12 | 北京小米移动软件有限公司 | 人脸识别方法及装置 |
| CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
| CN106815566A (zh) * | 2016-12-29 | 2017-06-09 | 天津中科智能识别产业技术研究院有限公司 | 一种基于多任务卷积神经网络的人脸检索方法 |
| CN106909870A (zh) * | 2015-12-22 | 2017-06-30 | 中兴通讯股份有限公司 | 人脸图像的检索方法及装置 |
| CN107818314A (zh) * | 2017-11-22 | 2018-03-20 | 北京达佳互联信息技术有限公司 | 脸部图像处理方法、装置及服务器 |
| CN108108499A (zh) * | 2018-02-07 | 2018-06-01 | 腾讯科技（深圳）有限公司 | 人脸检索方法、装置、存储介质及设备 |
| CN108182397A (zh) * | 2017-12-26 | 2018-06-19 | 王华锋 | 一种多姿态多尺度的人脸验证方法 |
| CN108304788A (zh) * | 2018-01-18 | 2018-07-20 | 陕西炬云信息科技有限公司 | 基于深度神经网络的人脸识别方法 |
| CN108829900A (zh) * | 2018-07-31 | 2018-11-16 | 成都视观天下科技有限公司 | 一种基于深度学习的人脸图像检索方法、装置及终端 |
-
2019
- 2019-03-28 CN CN201910245159.2A patent/CN109993102B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102254336A (zh) * | 2011-07-14 | 2011-11-23 | 清华大学 | 人脸视频合成方法及装置 |
| CN106909870A (zh) * | 2015-12-22 | 2017-06-30 | 中兴通讯股份有限公司 | 人脸图像的检索方法及装置 |
| CN106022317A (zh) * | 2016-06-27 | 2016-10-12 | 北京小米移动软件有限公司 | 人脸识别方法及装置 |
| CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
| CN106815566A (zh) * | 2016-12-29 | 2017-06-09 | 天津中科智能识别产业技术研究院有限公司 | 一种基于多任务卷积神经网络的人脸检索方法 |
| CN107818314A (zh) * | 2017-11-22 | 2018-03-20 | 北京达佳互联信息技术有限公司 | 脸部图像处理方法、装置及服务器 |
| CN108182397A (zh) * | 2017-12-26 | 2018-06-19 | 王华锋 | 一种多姿态多尺度的人脸验证方法 |
| CN108304788A (zh) * | 2018-01-18 | 2018-07-20 | 陕西炬云信息科技有限公司 | 基于深度神经网络的人脸识别方法 |
| CN108108499A (zh) * | 2018-02-07 | 2018-06-01 | 腾讯科技（深圳）有限公司 | 人脸检索方法、装置、存储介质及设备 |
| CN108829900A (zh) * | 2018-07-31 | 2018-11-16 | 成都视观天下科技有限公司 | 一种基于深度学习的人脸图像检索方法、装置及终端 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569390A (zh) * | 2019-08-20 | 2019-12-13 | 武汉大千信息技术有限公司 | 基于区分存储介质的海量案件数据高效检索方法 |
| CN110569390B (zh) * | 2019-08-20 | 2024-01-30 | 武汉大千信息技术有限公司 | 基于区分存储介质的海量案件数据高效检索方法 |
| CN110825765A (zh) * | 2019-10-23 | 2020-02-21 | 中国建设银行股份有限公司 | 一种人脸识别的方法和装置 |
| CN111368772A (zh) * | 2020-03-11 | 2020-07-03 | 杭州海康威视系统技术有限公司 | 身份识别方法、装置、设备及存储介质 |
| CN111368772B (zh) * | 2020-03-11 | 2023-08-22 | 杭州海康威视系统技术有限公司 | 身份识别方法、装置、设备及存储介质 |
| CN111488936A (zh) * | 2020-04-14 | 2020-08-04 | 深圳力维智联技术有限公司 | 一种特征融合方法和装置、存储介质 |
| CN111488936B (zh) * | 2020-04-14 | 2023-07-28 | 深圳力维智联技术有限公司 | 一种特征融合方法和装置、存储介质 |
| CN111538861B (zh) * | 2020-04-22 | 2023-08-15 | 浙江大华技术股份有限公司 | 基于监控视频进行图像检索的方法、装置、设备及介质 |
| CN111538861A (zh) * | 2020-04-22 | 2020-08-14 | 浙江大华技术股份有限公司 | 基于监控视频进行图像检索的方法、装置、设备及介质 |
| CN112417197A (zh) * | 2020-12-02 | 2021-02-26 | 云从科技集团股份有限公司 | 一种排序方法、装置、机器可读介质及设备 |
| CN112507158A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 图像处理方法和装置 |
| CN112488085A (zh) * | 2020-12-28 | 2021-03-12 | 深圳市慧鲤科技有限公司 | 人脸融合方法、装置、设备及存储介质 |
| CN113536947A (zh) * | 2021-06-21 | 2021-10-22 | 中山市希道科技有限公司 | 一种人脸属性分析方法及装置 |
| CN113420699A (zh) * | 2021-07-02 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 一种人脸匹配方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109993102B (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109993102A (zh) | 相似人脸检索方法、装置及存储介质 | |
| CN110609891B (zh) | 一种基于上下文感知图神经网络的视觉对话生成方法 | |
| CN109447140B (zh) | 一种基于神经网络深度学习的图像识别并推荐认知的方法 | |
| CN109902665A (zh) | 相似人脸检索方法、装置及存储介质 | |
| CN108229444B (zh) | 一种基于整体和局部深度特征融合的行人再识别方法 | |
| Kae et al. | Augmenting CRFs with Boltzmann machine shape priors for image labeling | |
| Várkonyi-Kóczy et al. | Human–computer interaction for smart environment applications using fuzzy hand posture and gesture models | |
| CN106845430A (zh) | 基于加速区域卷积神经网络的行人检测与跟踪方法 | |
| CN112949647B (zh) | 三维场景描述方法、装置、电子设备和存储介质 | |
| CN110647612A (zh) | 一种基于双视觉注意力网络的视觉对话生成方法 | |
| CN110555208B (zh) | 一种信息查询中的歧义消除方法、装置及电子设备 | |
| CN112464865A (zh) | 一种基于像素和几何混合特征的人脸表情识别方法 | |
| CN104517097A (zh) | 一种基于kinect的运动人体姿态识别方法 | |
| WO2023020005A1 (zh) | 神经网络模型的训练方法、图像检索方法、设备和介质 | |
| CN108062421A (zh) | 一种大规模图片多尺度语义检索方法 | |
| Lake et al. | Concept learning as motor program induction: A large-scale empirical study | |
| WO2021190433A1 (zh) | 更新物体识别模型的方法和装置 | |
| CN114693397A (zh) | 一种基于注意力神经网络的多视角多模态商品推荐方法 | |
| CN110826056A (zh) | 一种基于注意力卷积自编码器的推荐系统攻击检测方法 | |
| CN111325237A (zh) | 一种基于注意力交互机制的图像识别方法 | |
| US20210209350A1 (en) | Ml model arrangement and method for evaluating motion patterns | |
| CN113255543B (zh) | 基于图卷积网络的面部表情识别方法 | |
| Su et al. | Nesterov accelerated gradient descent-based convolution neural network with dropout for facial expression recognition | |
| de Souza et al. | Spatio-temporal pattern classification with kernelcanvas and wisard | |
| Wang et al. | Interpret neural networks by extracting critical subnetworks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |