CN109902665A - 相似人脸检索方法、装置及存储介质 - Google Patents

相似人脸检索方法、装置及存储介质 Download PDF

Info

Publication number
CN109902665A
CN109902665A CN201910243259.1A CN201910243259A CN109902665A CN 109902665 A CN109902665 A CN 109902665A CN 201910243259 A CN201910243259 A CN 201910243259A CN 109902665 A CN109902665 A CN 109902665A
Authority
CN
China
Prior art keywords
facial image
similar face
face characteristic
retrieved
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910243259.1A
Other languages
English (en)
Inventor
杨帆
李岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910243259.1A priority Critical patent/CN109902665A/zh
Publication of CN109902665A publication Critical patent/CN109902665A/zh
Priority to US16/832,050 priority patent/US11294953B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本公开是关于一种相似人脸检索方法、装置及存储介质，属于深度学习技术领域。所述方法包括：获取待检索人脸图像；基于特征提取模型对所述待检索人脸图像进行特征提取，将所述特征提取模型的倒数第三层的输出结果作为所述待检索人脸图像的第一相似人脸特征，所述特征提取模型是基于三元组损失函数对训练好的初始模型进行优化处理后得到的；对于人脸数据库中每个人脸图像，获取所述第一相似人脸特征与所述每个人脸图像的第二相似人脸特征在特征空间上的距离，所述第二相似人脸特征是基于所述特征提取模型对所述每个人脸图像进行特征提取后得到的；根据获取到的距离信息，在所述人脸数据库中检索与所述待检索人脸图像相似度最高的目标人脸图像。本公开提升了相似人脸的检索精准度。

Description

相似人脸检索方法、装置及存储介质
技术领域
本公开涉及深度学习技术领域，尤其涉及相似人脸检索方法、装置及存储介质。
背景技术
人脸检索是一项融合了计算机图像处理知识以及生物统计学知识的新兴生物识别技术，目前具有广阔的应用前景。例如，基于人脸检索技术能够为每个用户寻找与其长相相似的其他用户，即寻找世界上另一个他/她，由于该项技术为用户带来了全新的体验，因此能够极大地提升用户的活跃度。
其中，检索到的相似人脸与查询用户的相似度越高，用户的满意度便越高，检索结果也就越符合用户的预期。为此，如何进行相似人脸检索，以提升相似人脸的检索精准度，成为了本领域技术人员亟待解决的一个问题。
发明内容
本公开提供一种相似人脸检索方法、装置及存储介质，能够提高相似人脸的检索精准度。
根据本公开实施例的第一方面，提供一种相似人脸检索方法，所述方法包括：
获取待检索人脸图像；
基于特征提取模型对所述待检索人脸图像进行特征提取，将所述特征提取模型的倒数第三层的输出结果作为所述待检索人脸图像的第一相似人脸特征，所述特征提取模型是基于三元组损失函数对训练好的初始模型进行优化处理后得到的；
对于人脸数据库中每个人脸图像，获取所述第一相似人脸特征与所述每个人脸图像的第二相似人脸特征在特征空间上的距离，所述第二相似人脸特征是基于所述特征提取模型对所述每个人脸图像进行特征提取后得到的；
根据获取到的距离信息，在所述人脸数据库中检索与所述待检索人脸图像相似度最高的目标人脸图像。
在一种可能的实现方式中，所述特征提取模型的训练过程，包括：
获取已标注好分类信息的第一训练样本图像，对所述第一训练样本图像进行预处理；
根据经过预处理后的第一训练样本图像进行模型训练，直至模型收敛，得到初始模型；
采用随机梯度下降算法对所述初始模型进行优化处理，得到所述训练好的初始模型；
基于所述三元组损失函数对所述训练好的初始模型进行优化处理，得到所述特征提取模型。
在一种可能的实现方式中，所述基于所述三元组损失函数对所述训练好的初始模型进行优化处理，包括：
获取第二训练样本图像；
对于所述第二训练样本图像中的锚人脸图像，基于所述训练好的初始模型，在第三训练样本图像中进行相似人脸检索，得到相似度排在前两位的两张人脸图像，所述锚人脸图像为所述第二训练样本图像中的任意一个人脸图像；
在所述两张人脸图像中确定正例样本和负例样本，所述正例样本与所述锚人脸图像的相似度高于所述负例样本；
基于所述训练好的初始模型，获取全部样本三元组的相似人脸特征，每个所述样本三元组中均包括一个锚人脸图像、所述锚人脸图像的正例样本以及负例样本；
根据获取到的样本三元组的相似人脸特征，构建所述三元组损失函数，采用随机梯度下降算法优化所述三元组损失函数直至收敛。
在一种可能的实现方式中，所述三元组损失函数的收敛条件为：第一距离小于第二距离；
其中，第一距离指代同一个样本三元组中锚人脸图像的相似人脸特征与正例样本的相似人脸特征在特征空间上的距离，第二距离指代所述锚人脸图像的相似人脸特征与负例样本的相似人脸特征在特征空间上的距离。
在一种可能的实现方式中，所述三元组损失函数的表达式为：
其中，loss指代所述三元组损失函数，指代同一个样本三元组中锚人脸图像的相似人脸特征与正例样本的相似人脸特征的欧式距离，代同一个样本三元组中锚人脸图像的相似人脸特征与负例样本的相似人脸特征的欧式距离，margin指代固定最小间隔，i的取值为正整数。
在一种可能的实现方式中，所述根据经过预处理后的第一训练样本图像进行模型训练，直至模型收敛，得到初始模型，包括：
将经过预处理后的第一训练样本图像输入构建有交叉熵损失函数的卷积神经网络，获取所述卷积神经网络输出的对所述第一训练样本图像的预测分类结果；
基于所述交叉熵损失函数，确定所述第一训练样本图像的标注分类结果与预测分类结果是否一致；
当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述卷积神经网络中的权重值，直至所述标注分类结果与所述预测分类结果一致。
在一种可能的实现方式中，所述基于特征提取模型对所述待检索人脸图像进行特征提取，包括：
对所述待检索人脸图像进行预处理，其中，预处理至少包括剪裁处理和对齐处理；
基于所述特征提取模型对经过预处理后的待检索人脸图像进行特征提取。
根据本公开实施例的第二方面，提供一种一种相似人脸检索装置，所述装置包括：
第一获取单元，被配置为获取待检索人脸图像；
提取单元，被配置为基于特征提取模型对所述待检索人脸图像进行特征提取，将所述特征提取模型的倒数第三层的输出结果作为所述待检索人脸图像的第一相似人脸特征，所述特征提取模型是基于三元组损失函数对训练好的初始模型进行优化处理后得到的；
第二获取单元，被配置为对于人脸数据库中每个人脸图像，获取所述第一相似人脸特征与所述每个人脸图像的第二相似人脸特征在特征空间上的距离，所述第二相似人脸特征是基于所述特征提取模型对所述每个人脸图像进行特征提取后得到的；
检索单元，被配置为根据获取到的距离信息，在所述人脸数据库中检索与所述待检索人脸图像相似度最高的目标人脸图像。
在一种可能的实现方式中，所述装置还包括：
第三获取单元，被配置为获取已标注好分类信息的第一训练样本图像；
预处理单元，被配置为对所述第一训练样本图像进行预处理；
训练单元，被配置为根据经过预处理后的第一训练样本图像进行模型训练，直至模型收敛，得到初始模型；
第一优化单元，被配置为采用随机梯度下降算法对所述初始模型进行优化处理，得到所述训练好的初始模型；
第二优化单元，被配置为基于所述三元组损失函数对所述训练好的初始模型进行优化处理，得到所述特征提取模型。
在一种可能的实现方式中，所述第二优化单元，包括：
第一获取子单元，被配置为获取第二训练样本图像；
检索子单元，被配置为对于所述第二训练样本图像中的锚人脸图像，基于所述训练好的初始模型，在第三训练样本图像中进行相似人脸检索，得到相似度排在前两位的两张人脸图像，所述锚人脸图像为所述第二训练样本图像中的任意一个人脸图像；
确定子单元，被配置为在所述两张人脸图像中确定正例样本和负例样本，所述正例样本与所述锚人脸图像的相似度高于所述负例样本；
第二获取子单元，被配置为基于所述训练好的初始模型，获取全部样本三元组的相似人脸特征，每个所述样本三元组中均包括一个锚人脸图像、所述锚人脸图像的正例样本以及负例样本；
构建子单元，被配置为根据获取到的样本三元组的相似人脸特征，构建所述三元组损失函数，采用随机梯度下降算法优化所述三元组损失函数直至收敛。
在一种可能的实现方式中，所述三元组损失函数的收敛条件为：第一距离小于第二距离；
其中，第一距离指代同一个样本三元组中锚人脸图像的相似人脸特征与正例样本的相似人脸特征在特征空间上的距离，第二距离指代所述锚人脸图像的相似人脸特征与负例样本的相似人脸特征在特征空间上的距离。
在一种可能的实现方式中，所述三元组损失函数的表达式为：
其中，loss指代所述三元组损失函数，指代同一个样本三元组中锚人脸图像的相似人脸特征与正例样本的相似人脸特征的欧式距离，代同一个样本三元组中锚人脸图像的相似人脸特征与负例样本的相似人脸特征的欧式距离，margin指代固定最小间隔，i的取值为正整数。
在一种可能的实现方式中，所述训练单元，还被配置为将经过预处理后的第一训练样本图像输入构建有交叉熵损失函数的卷积神经网络，获取所述卷积神经网络输出的对所述第一训练样本图像的预测分类结果；基于所述交叉熵损失函数，确定所述第一训练样本图像的标注分类结果与预测分类结果是否一致；当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述卷积神经网络中的权重值，直至所述标注分类结果与所述预测分类结果一致。
在一种可能的实现方式中，所述提取单元，还被配置为对所述待检索人脸图像进行预处理，其中，预处理至少包括剪裁处理和对齐处理；基于所述特征提取模型对经过预处理后的待检索人脸图像进行特征提取。
根据本公开实施例的第三方面，提供一种相似人脸检索装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取待检索人脸图像；
基于特征提取模型对所述待检索人脸图像进行特征提取，将所述特征提取模型的倒数第三层的输出结果作为所述待检索人脸图像的第一相似人脸特征，所述特征提取模型是基于三元组损失函数对训练好的初始模型进行优化处理后得到的；
对于人脸数据库中每个人脸图像，获取所述第一相似人脸特征与所述每个人脸图像的第二相似人脸特征在特征空间上的距离，所述第二相似人脸特征是基于所述特征提取模型对所述每个人脸图像进行特征提取后得到的；
根据获取到的距离信息，在所述人脸数据库中检索与所述待检索人脸图像相似度最高的目标人脸图像。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由相似人脸检索装置的处理器执行时，使得相似人脸检索装置能够执行一种相似人脸检索方法，所述方法包括：
获取待检索人脸图像；
基于特征提取模型对所述待检索人脸图像进行特征提取，将所述特征提取模型的倒数第三层的输出结果作为所述待检索人脸图像的第一相似人脸特征，所述特征提取模型是基于三元组损失函数对训练好的初始模型进行优化处理后得到的；
对于人脸数据库中每个人脸图像，获取所述第一相似人脸特征与所述每个人脸图像的第二相似人脸特征在特征空间上的距离，所述第二相似人脸特征是基于所述特征提取模型对所述每个人脸图像进行特征提取后得到的；
根据获取到的距离信息，在所述人脸数据库中检索与所述待检索人脸图像相似度最高的目标人脸图像。
根据本公开实施例的第五方面，提供一种应用程序，当所述应用程序中的指令由相似人脸检索装置的处理器执行时，使得相似人脸检索装置能够执行一种相似人脸检索方法，所述方法包括：
获取待检索人脸图像；
基于特征提取模型对所述待检索人脸图像进行特征提取，将所述特征提取模型的倒数第三层的输出结果作为所述待检索人脸图像的第一相似人脸特征，所述特征提取模型是基于三元组损失函数对训练好的初始模型进行优化处理后得到的；
对于人脸数据库中每个人脸图像，获取所述第一相似人脸特征与所述每个人脸图像的第二相似人脸特征在特征空间上的距离，所述第二相似人脸特征是基于所述特征提取模型对所述每个人脸图像进行特征提取后得到的；
根据获取到的距离信息，在所述人脸数据库中检索与所述待检索人脸图像相似度最高的目标人脸图像。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例提供了一种新的人脸特征信息提取方式，实现了在人脸识别技术的基础上，基于三元组损失函数对训练好的神经网络模型进行优化，最终得到了一个优化好的用于提取相似人脸特征的特征提取模型。这样，每当人脸检索装置获取到待检索图像后，便会基于优化好的特征提取模型进行特征提取，即将模型倒数第三层的输出结果作为相似人脸特征，本公开实施例不但使得提取到的特征信息包含更多的底层特征，比如光照、姿态、表情等信息，而且使得特征空间分布更加符合人眼对相似人脸的判断，保证相似的人脸在特征空间上距离更近，不相似的人脸在特征空间上距离更远，因此极大地提升了相似人脸的检索精准度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种相似人脸检索方法涉及的实施环境的示意图。
图2是根据一示例性实施例示出的一种相似人脸检索方法的流程图。
图3是根据一示例性实施例示出的一种相似人脸检索方法的流程图。
图4是根据一示例性实施例示出的一种卷积神经网络的网络结构示意图。
图5是根据一示例性实施例示出的一种残差块的示意图。
图6是根据一示例性实施例示出的一种样本图像的分布关系示意图。
图7是根据一示例性实施例示出的一种相似人脸检索装置的框图。
图8是根据一示例性实施例示出的一种相似人脸检索装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在对本公开实施例进行详细地解释说明之前，先对本公开实施例提供的一种相似人脸检索方法涉及的实施环境进行介绍。
参见图1，该实施环境中包括终端101、人脸检索装置102以及人脸数据库103。
其中，人脸检索装置102具体形式为服务器，人脸检索装置102与人脸数据库103既可以配置在同一个服务器上，也可以在不同的服务器上，本公开实施例对此不进行具体限定。终端101的类型包括但不限于智能手机、台式电脑、笔记本电脑、平板电脑等。
作为一个示例，终端101中可安装有特定应用程序，通过该特定应用程序终端101向人脸检索装置102发送待检索人脸图像，而人脸检索装置102执行本公开实施例提供的相似人脸检索方法，在人脸数据库103中检索到与终端101发送的待检索图像最为相似的目标人脸图像，并将目标人脸图像返回给终端101，终端101负责将目标人脸图像展示给终端用户。
本公开实施例提供了一种新的人脸特征信息提取方式，实现了在人脸识别技术的基础上，基于三元组损失函数对训练好的神经网络模型进行优化，最终得到了一个优化好的用于提取相似人脸特征的特征提取模型。这样，每当人脸检索装置获取到待检索图像后，便会基于优化好的特征提取模型进行特征提取，即将模型倒数第三层的输出结果作为相似人脸特征，本公开实施例不但使得提取到的特征信息包含更多的底层特征，比如光照、姿态、表情等信息，而且使得特征空间分布更加符合人眼对相似人脸的判断，保证相似的人脸在特征空间上距离更近，不相似的人脸在特征空间上距离更远。
换一种表达方式，本公开实施例一是会基于深度学习技术训练人脸身份特征提取器，并获取倒数第三层的输出结果作为相似人脸特征，即在人脸识别的基础上，提取到的相似人脸特征相较于人脸身份特征包括更多的底层特征，比如光照、姿态、表情等；其中，人脸身份特征是倒数第二层的输出结果。
二是本公开实施例还会采用三元组损失函数来优化训练好的人脸身份特征提取器，最终得到一个优化好的相似人脸特征提取模型。其中，该模型可以将人脸图像映射到相似特征空间，保证相似的人脸在特征空间上距离更近。作为一个示例，三元组损失函数为tripletloss，采用tripletloss监督相似人脸特征的学习，使得特征空间分布更符合人眼的感觉。
图2是根据一示例性实施例示出的一种相似人脸检索方法的流程图，如图2所示，该方法用于相似人脸检索装置中，包括以下步骤。
在步骤201中，获取待检索人脸图像。
在步骤202中，基于特征提取模型对待检索人脸图像进行特征提取，将特征提取模型的倒数第三层的输出结果作为待检索人脸图像的第一相似人脸特征，特征提取模型是基于三元组损失函数对训练好的初始模型进行优化处理后得到的。
在步骤203中，对于人脸数据库中每个人脸图像，获取第一相似人脸特征与每个人脸图像的第二相似人脸特征在特征空间上的距离，第二相似人脸特征是基于特征提取模型对每个人脸图像进行特征提取后得到的。
在步骤204中，根据获取到的距离信息，在人脸数据库中检索与待检索人脸图像相似度最高的目标人脸图像。
本公开实施例提供的方法，本公开实施例提供了一种新的人脸特征信息提取方式，实现了在人脸识别技术的基础上，基于三元组损失函数对训练好的神经网络模型进行优化，最终得到了一个优化好的用于提取相似人脸特征的特征提取模型。这样，每当人脸检索装置获取到待检索图像后，便会基于优化好的特征提取模型进行特征提取，即将模型倒数第三层的输出结果作为相似人脸特征，本公开实施例不但使得提取到的特征信息包含更多的底层特征，比如光照、姿态、表情等信息，而且使得特征空间分布更加符合人眼对相似人脸的判断，保证相似的人脸在特征空间上距离更近，不相似的人脸在特征空间上距离更远，因此极大地提升了相似人脸的检索精准度。
在一种可能的实现方式中，所述特征提取模型的训练过程，包括：
获取已标注好分类信息的第一训练样本图像，对所述第一训练样本图像进行预处理；
根据经过预处理后的第一训练样本图像进行模型训练，直至模型收敛，得到初始模型；
采用随机梯度下降算法对所述初始模型进行优化处理，得到所述训练好的初始模型；
基于所述三元组损失函数对所述训练好的初始模型进行优化处理，得到所述特征提取模型。
在一种可能的实现方式中，所述基于所述三元组损失函数对所述训练好的初始模型进行优化处理，包括：
获取第二训练样本图像；
对于所述第二训练样本图像中的锚人脸图像，基于所述训练好的初始模型，在第三训练样本图像中进行相似人脸检索，得到相似度排在前两位的两张人脸图像，所述锚人脸图像为所述第二训练样本图像中的任意一个人脸图像；
在所述两张人脸图像中确定正例样本和负例样本，所述正例样本与所述锚人脸图像的相似度高于所述负例样本；
基于所述训练好的初始模型，获取全部样本三元组的相似人脸特征，每个所述样本三元组中均包括一个锚人脸图像、所述锚人脸图像的正例样本以及负例样本；
根据获取到的样本三元组的相似人脸特征，构建所述三元组损失函数，采用随机梯度下降算法优化所述三元组损失函数直至收敛。
在一种可能的实现方式中，所述三元组损失函数的收敛条件为：第一距离小于第二距离；
其中，第一距离指代同一个样本三元组中锚人脸图像的相似人脸特征与正例样本的相似人脸特征在特征空间上的距离，第二距离指代所述锚人脸图像的相似人脸特征与负例样本的相似人脸特征在特征空间上的距离。
在一种可能的实现方式中，所述三元组损失函数的表达式为：
其中，loss指代所述三元组损失函数，指代同一个样本三元组中锚人脸图像的相似人脸特征与正例样本的相似人脸特征的欧式距离，代同一个样本三元组中锚人脸图像的相似人脸特征与负例样本的相似人脸特征的欧式距离，margin指代固定最小间隔，i的取值为正整数。
在一种可能的实现方式中，所述根据经过预处理后的第一训练样本图像进行模型训练，直至模型收敛，得到初始模型，包括：
将经过预处理后的第一训练样本图像输入构建有交叉熵损失函数的卷积神经网络，获取所述卷积神经网络输出的对所述第一训练样本图像的预测分类结果；
基于所述交叉熵损失函数，确定所述第一训练样本图像的标注分类结果与预测分类结果是否一致；
当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述卷积神经网络中的权重值，直至所述标注分类结果与所述预测分类结果一致。
在一种可能的实现方式中，所述基于特征提取模型对所述待检索人脸图像进行特征提取，包括：
对所述待检索人脸图像进行预处理，其中，预处理至少包括剪裁处理和对齐处理；
基于所述特征提取模型对经过预处理后的待检索人脸图像进行特征提取。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
需要说明的点是，下述实施例中出现的类似第一、第二、第三、第四等这种描述，仅是用于区分不同的对象，而不构成对各个对象的任何其他特殊限定。
图3是根据一示例性实施例示出的一种相似人脸检索方法的流程图，如图3所示，该方法的交互主体包括终端和人脸检索装置，包括以下步骤。
在步骤301中，人脸检索装置训练特征提取模型。
在本公开实施例中，该特征提取模型指代优化好的用于提取相似人脸特征的相似人脸特征提取模型。其中，该模型的训练过程，包括如下步骤：
3011、获取已标注好分类信息的第一训练样本图像，对第一训练样本图像进行预处理。
作为一个示例，本公开实施例采用公开的webface数据集作为第一训练样本图像。其中，该数据集中包含1万个人脸id(即1万个人)、共50万张人脸图像。
其中，对第一训练样本图像进行预处理，包括但不限于对人脸图像进行裁剪和对齐处理。比如，在进行预处理后，得到128x128分辨率大小的rgb人脸图像。
3012、根据经过预处理后的第一训练样本图像进行模型训练，直至模型收敛，得到初始模型。
在一种可能的实现方式中，初始模型的训练过程包括：
(a)、将经过预处理的第一训练样本图像输入图4所示的卷积神经网络。
作为一个示例，该卷积神经网络的网络结构可如图4和图5所示。其中，输入为128x128的rgb图像，即第一训练样本图像在经过预处理后为128x128大小的rgb图像；输出为1024维度的特征向量，即该卷积神经网络将人脸图像映射到1024维度的特征上，需要说明的是，该特征实际上代表了人脸身份特征，一般用来作人脸识别。
其中，图4中一个残差块(resblock)的结构具体如图5所示，一个残差块中均包括一个恒等映射和至少两个卷积层。其中，一个残差块的恒等映射由该残差块的输入端指向该残差块的输出端。即，增加一个恒等映射，将原始所需要学的函数H(x)转换成F(x)+x。虽然这两种表达效果相同，但是优化的难度却并不相同，通过一个reformulation(再形成)，将一个问题分解成多个尺度直接的残差问题，能够很好地起到优化训练的效果。
如图5所示，这个残差块通过Shortcut连接实现，通过Shortcut连接将这个残差块的输入和输出进行叠加，在不给网络增加额外的参数和计算量的前提下，大大增加了模型的训练速度、提高了训练效果，并且当模型的层数加深时，上述结构能够很好地解决退化问题。
即，H(x)是期望的复杂潜在映射，学习难度大，如果直接通过图5的Shortcut连接将输入x传到输出作为初始结果，那么此时需要学习的目标便是F(x)＝H(x)-x，相当于将学习目标改变，不再是学习一个完整的输出，而是需要学习最优解H(x)和全等映射x的差值，即残差映射F(x)。需要说明的是，Shortcut原意指捷径，在本文中表示越层连接，Shortcut连接没有权值，传递x后每个残差块仅学习残差映射F(x)。且由于网络稳定易于学习，随着网络深度的增加性能将逐渐变好，因此当网络层数够深时，优化残差映射F(x)＝H(x)-x，将易于优化一个复杂的非线性映射H(x)。
(b)、获取该卷积神经网络输出的对第一训练样本图像的预测分类结果。
将第一训练样本图像依次输入到上述卷积神经网络中，并获取该卷积神经网络的全连接层输出的模型分类信息，即预测分类结果。其中，预测分类结果是上述卷积神经网络根据输入的第一训练样本图像而输出的激励数据，在上述卷积神经网络未被训练至收敛之前，预测分类结果还不够精确，当上述卷积神经网络被训练至收敛之后，得到的预测分类结果具有较高的精确性。
(c)、确定第一训练样本图像的标注分类结果与预测分类结果是否一致；当标注分类结果与预测分类结果不一致时，反复循环的迭代更新卷积神经网络中的权重值，直至标注分类结果与预测分类结果一致。
在本公开实施例中分类损失采用交叉熵损失函数，即基于交叉熵损失函数，确定第一训练样本图像的标注分类结果与预测分类结果是否一致。
换一种表达方式，损失函数是用于检测上述卷积神经网络输出的预测分类结果，与期望的标注分类结果是否具有一致性的检测函数。当上述卷积神经网络的输出结果与期望结果不一致时，需要对上述卷积神经网络中的权重值进行校正，以使上述卷积神经网络的输出结果与期望结果一致，比如准确率达到95％以上停止模型训练，模型收敛。
3013、采用随机梯度下降算法对初始模型进行优化处理，得到训练好的初始模型。
在本公开实施例中采用随机梯度下降算法对上述得到的初始模型进行优化。
作为一个示例，该随机梯度算法中的学习率可设置为0.05至0.5、动量因子可设置为0.01至0.1、权值衰减可设置为0.0001至0.001，本公开实施例对此不进行具体限定。在一种可能的实现方式中，学习率的取值可为0.01、动量因子的取值可为0.09、权值衰减的取值可为0.0005。
需要说明的第一点是，在训练好的初始模型中，本公开实施例采用模型的倒数第三层的输出结果作为相似人脸特征，即提取4x4x1024特征维度的相似人脸特征，以保证底层特征包含在提取到的相似人脸特征中。
需要说明的第二点是，在得到训练好的初始模型后，本公开实施例还会采用三元组损失函数tripletloss来优化模型，以使得特征空间分布更符合人眼的感觉，详见步骤3014。
3014、基于三元组损失函数对训练好的初始模型进行优化处理，得到该特征提取模型。
针对该步骤，基于三元组损失函数对训练好的初始模型进行优化处理，包括：
(1)、获取第二训练样本图像。
作为一个示例，第二训练样本图像为第一训练样本图像中的部分人脸图像。比如，第二训练样本图像为从第一训练样本图像包括的50万张人脸图像中随机选取的5万张人脸图像，本公开实施例对此不进行具体限定。
(2)、对于第二训练样本图像中的锚人脸图像，基于训练好的初始模型，在第三训练样本图像中进行相似人脸检索，得到相似度排在前两位的两张人脸图像。
作为一个示例，第三训练样本图像为第一训练样本图像中除了第二训练样本图像之外剩余的人脸图像。比如，第三训练样本图像为第一训练样本图像包括的50万张人脸图像中剩余的45万张人脸图像，本公开实施例对此不进行具体限定。
在本公开实施例中，对于第二训练样本图像中的每一张人脸图像，均会在第三训练样本图像中检索与其最为相似的两张人脸图像，组成一个样本三元组。
如图6所示，一个样本三元组中包括锚示例(Anchor)、正例样本(Positive)和负例样本(Negative)，即(Anchor，Positive，Negative)三元组。其中，锚示例在本文中也称之为锚人脸图像，而一个样本三元组中锚人脸图像来自于第二训练样本图像，正例样本和负例样本来自于第三训练样本图像。
在本公开实施例中，对于第二训练样本图像中的每一张人脸图像，基于训练好的初始模型提取该人脸图像的相似人脸特征，以及提取第三训练样本图像包括的人脸图像的相似人脸特征；之后，计算该人脸图像的相似人脸特征与第三训练样本图像包括的人脸图像的相似人脸特征之间的cos距离，然后将cos距离进行由大到小的排序，cos距离越大，表明相似度越高；之后，选取cos距离排在前两位的两张人脸图像，即可得到相似度排在前两位的两张人脸图像。
(3)、在两张人脸图像中确定正例样本和负例样本。
在本公开实施例中，对于第二训练样本图像中的每一张人脸图像，利用人工标注来确定选取到的两张人脸图像与该人脸图像的相似度，其中，与该人脸图像更相似的记为Positive，较不相似的记为Negative，即正例样本与锚人脸图像的相似度高于负例样本。
(4)、基于训练好的初始模型获取全部样本三元组的相似人脸特征。
由于每个样本三元组中均包括一个锚人脸图像、锚人脸图像的正例样本以及负例样本，因此一个样本三元组在通过训练好的初始模型映射后便可得到一个特征三元组：
(5)、根据获取到的全部样本三元组的相似人脸特征构建三元组损失函数，并采用随机梯度下降算法优化三元组损失函数直至收敛。
如图6所示，期望的相似人脸特征之间的关系是：Anchor的相似人脸特征与Positive的相似人脸特征在特征空间上的距离比Anchor的相似人脸特征与Negative的相似人脸特征在特征空间上的距离要近，即通过学习后应达到图6所示的分布关系。
在本公开实施例中，三元组损失函数的表达式为：
其中，loss指代三元组损失函数，指代同一个样本三元组中锚人脸图像的相似人脸特征与正例样本的相似人脸特征的欧式距离，代同一个样本三元组中锚人脸图像的相似人脸特征与负例样本的相似人脸特征的欧式距离，margin指代固定最小间隔，i的取值为正整数。
其中，优化模型的目标即是使得上述三元组损失函数收敛，也即使得同一个样本三元组中锚人脸图像与正例样本距离越接近越好，同时锚人脸图像与负例样本距离越远越好。
在一种可能的实现方式中，三元组损失函数的收敛条件为：第一距离小于第二距离；其中，第一距离指代同一个样本三元组中锚人脸图像的相似人脸特征与正例样本的相似人脸特征在特征空间上的距离，第二距离指代锚人脸图像的相似人脸特征与负例样本的相似人脸特征在特征空间上的距离。
作为一个示例，本公开实施例采用随机梯度下降算法来优化tripletloss，直至收敛，进而以使得到的特征提取模型可以更好的提取相似人脸特征。
需要说明的是，之所以设置固定最小间隔margin是因为：除了让锚人脸图像和正例样本的特征表达之间的距离尽可能小，而锚人脸图像和负例样本的特征表达之间的距离尽可能大之外，还要让锚人脸图像和负例样本之间的距离、同锚人脸图像和正例样本之间的距离之间有一个最小的间隔，以确保学习的准确性。
在步骤302中，终端向人脸检索装置发送待检索人脸图像。
终端在向人脸检索装置发送待检索人脸图像时，可以人脸检索请求的形式发送，而在发送人脸检索请求时，可采用POST方法，本公开实施例对此不进行具体限定。
在步骤303中，人脸检索装置在接收到待检索人脸图像后，基于特征提取模型对待检索人脸图像进行特征提取，并将特征提取模型的倒数第三层的输出结果作为待检索人脸图像的第一相似人脸特征。
由于已经根据上述步骤得到了优化好的特征提取模型，因此人脸检索装置在接收到待检索人脸图像后，便可直接基于该特征提取模型进行相似人脸特征提取。
在一种可能的实现方式中，基于特征提取模型对待检索人脸图像进行特征提取，包括：对待检索人脸图像进行预处理，其中，预处理至少包括剪裁处理和对齐处理；基于该特征提取模型对经过预处理后的待检索人脸图像进行特征提取，并将特征提取模型的倒数第三层的输出结果作为待检索人脸图像的第一相似人脸特征。
在步骤304中，对于人脸数据库中每个人脸图像，人脸检索装置获取第一相似人脸特征与每个人脸图像的第二相似人脸特征在特征空间上的距离。
其中，第二相似人脸特征同样是基于特征提取模型对每个人脸图像进行特征提取后得到的，且在本文中将人脸数据库中每个人脸图像的相似人脸特征均称之为第二相似人脸特征。在一种可能的实现方式中，在获取第一相似人脸特征与人脸数据库中每个人脸图像的第二相似人脸特征在特征空间上的距离时，可计算二者的cos距离，本公开实施例对此不进行具体限定。
在步骤305中，人脸检索装置根据获取到的距离信息，在人脸数据库中检索与待检索人脸图像相似度最高的目标人脸图像。
如上述步骤所示，与待检索人脸图像相似度最高的目标人脸图像，即为特征之间cos距离最大的人脸图像。比如，可将获取到的cos距离由大到小进行排序，然后将排在首位的cos距离对应的人脸图像作为与待检索人脸图像相似度最高的目标人脸图像。
在步骤306中，人脸检索装置将目标人脸图像发送给终端。
其中，人脸检索装置可选择以JSON(JavaScript Object Notation,JS对象标记)形式将目标人脸图像发送给终端，本公开实施例对此不进行具体限定。
本公开实施例提供的方法，本公开实施例提供了一种新的人脸特征信息提取方式，实现了在人脸识别技术的基础上，基于三元组损失函数对训练好的神经网络模型进行优化，最终得到了一个优化好的用于提取相似人脸特征的特征提取模型。这样，每当人脸检索装置获取到待检索图像后，便会基于优化好的特征提取模型进行特征提取，即将模型倒数第三层的输出结果作为相似人脸特征，本公开实施例不但使得提取到的特征信息包含更多的底层特征，比如光照、姿态、表情等信息，而且使得特征空间分布更加符合人眼对相似人脸的判断，保证相似的人脸在特征空间上距离更近，不相似的人脸在特征空间上距离更远，因此极大地提升了相似人脸的检索精准度。
图7是根据一示例性实施例示出的一种相似人脸检索装置框图。参照图7，该装置包括第一获取单元701、提取单元702、第二获取单元703、检索单元704。
第一获取单元701，被配置为获取待检索人脸图像；
提取单元702，被配置为基于特征提取模型对待检索人脸图像进行特征提取，将所述特征提取模型的倒数第三层的输出结果作为所述待检索人脸图像的第一相似人脸特征，所述特征提取模型是基于三元组损失函数对训练好的初始模型进行优化处理后得到的；
第二获取单元703，被配置为对于人脸数据库中每个人脸图像，获取所述第一相似人脸特征与所述每个人脸图像的第二相似人脸特征在特征空间上的距离，所述第二相似人脸特征是基于所述特征提取模型对所述每个人脸图像进行特征提取后得到的；
检索单元704，被配置为根据获取到的距离信息，在所述人脸数据库中检索与所述待检索人脸图像相似度最高的目标人脸图像。
本公开实施例提供的装置，本公开实施例提供了一种新的人脸特征信息提取方式，实现了在人脸识别技术的基础上，基于三元组损失函数对训练好的神经网络模型进行优化，最终得到了一个优化好的用于提取相似人脸特征的特征提取模型。这样，每当人脸检索装置获取到待检索图像后，便会基于优化好的特征提取模型进行特征提取，即将模型倒数第三层的输出结果作为相似人脸特征，本公开实施例不但使得提取到的特征信息包含更多的底层特征，比如光照、姿态、表情等信息，而且使得特征空间分布更加符合人眼对相似人脸的判断，保证相似的人脸在特征空间上距离更近，不相似的人脸在特征空间上距离更远，因此极大地提升了相似人脸的检索精准度。
在一种可能的实现方式中，该装置还包括：
第三获取单元705，被配置为获取已标注好分类信息的第一训练样本图像；
预处理单元706，被配置为对所述第一训练样本图像进行预处理；
训练单元707，被配置为根据经过预处理后的第一训练样本图像进行模型训练，直至模型收敛，得到初始模型；
第一优化单元708，被配置为采用随机梯度下降算法对所述初始模型进行优化处理，得到所述训练好的初始模型；
第二优化单元709，被配置为基于所述三元组损失函数对所述训练好的初始模型进行优化处理，得到所述特征提取模型。
在一种可能的实现方式中，第二优化单元709，包括：
第一获取子单元7091，被配置为获取第二训练样本图像；
检索子单元7092，被配置为对于所述第二训练样本图像中的锚人脸图像，基于所述训练好的初始模型，在第三训练样本图像中进行相似人脸检索，得到相似度排在前两位的两张人脸图像，所述锚人脸图像为所述第二训练样本图像中的任意一个人脸图像；
确定子单元7093，被配置为在所述两张人脸图像中确定正例样本和负例样本，所述正例样本与所述锚人脸图像的相似度高于所述负例样本；
第二获取子单元7094，被配置为基于所述训练好的初始模型，获取全部样本三元组的相似人脸特征，每个所述样本三元组中均包括一个锚人脸图像、所述锚人脸图像的正例样本以及负例样本；
构建子单元7095，被配置为根据获取到的样本三元组的相似人脸特征，构建所述三元组损失函数，采用随机梯度下降算法优化所述三元组损失函数直至收敛。
在一种可能的实现方式中，三元组损失函数的收敛条件为：第一距离小于第二距离；
其中，第一距离指代同一个样本三元组中锚人脸图像的相似人脸特征与正例样本的相似人脸特征在特征空间上的距离，第二距离指代所述锚人脸图像的相似人脸特征与负例样本的相似人脸特征在特征空间上的距离。
在一种可能的实现方式中，所述三元组损失函数的表达式为：
其中，loss指代所述三元组损失函数，指代同一个样本三元组中锚人脸图像的相似人脸特征与正例样本的相似人脸特征的欧式距离，代同一个样本三元组中锚人脸图像的相似人脸特征与负例样本的相似人脸特征的欧式距离，margin指代固定最小间隔，i的取值为正整数。
在一种可能的实现方式中，训练单元707，还被配置为将经过预处理后的第一训练样本图像输入构建有交叉熵损失函数的卷积神经网络，获取所述卷积神经网络输出的对所述第一训练样本图像的预测分类结果；基于所述交叉熵损失函数，确定所述第一训练样本图像的标注分类结果与预测分类结果是否一致；当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述卷积神经网络中的权重值，直至所述标注分类结果与所述预测分类结果一致。
在一种可能的实现方式中，提取单元702，还被配置为对所述待检索人脸图像进行预处理，其中，预处理至少包括剪裁处理和对齐处理；基于所述特征提取模型对经过预处理后的待检索人脸图像进行特征提取。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是本公开实施例提供的一种相似人脸检索装置的结构示意图，该装置800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)801和一个或一个以上的存储器802，其中，所述存储器802中存储有至少一条指令，所述至少一条指令由所述处理器801加载并执行以实现上述各个方法实施例提供的相似人脸检索方法。当然，该装置还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该装置还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中的相似人脸检索方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本公开旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种相似人脸检索方法，其特征在于，所述方法包括：
获取待检索人脸图像；
基于特征提取模型对所述待检索人脸图像进行特征提取，将所述特征提取模型的倒数第三层的输出结果作为所述待检索人脸图像的第一相似人脸特征，所述特征提取模型是基于三元组损失函数对训练好的初始模型进行优化处理后得到的；
对于人脸数据库中每个人脸图像，获取所述第一相似人脸特征与所述每个人脸图像的第二相似人脸特征在特征空间上的距离，所述第二相似人脸特征是基于所述特征提取模型对所述每个人脸图像进行特征提取后得到的；
根据获取到的距离信息，在所述人脸数据库中检索与所述待检索人脸图像相似度最高的目标人脸图像。
2.根据权利要求1所述的相似人脸检索方法，其特征在于，所述特征提取模型的训练过程，包括：
获取已标注好分类信息的第一训练样本图像，对所述第一训练样本图像进行预处理；
根据经过预处理后的第一训练样本图像进行模型训练，直至模型收敛，得到初始模型；
采用随机梯度下降算法对所述初始模型进行优化处理，得到所述训练好的初始模型；
基于所述三元组损失函数对所述训练好的初始模型进行优化处理，得到所述特征提取模型。
3.根据权利要求2所述的相似人脸检索方法，其特征在于，所述基于所述三元组损失函数对所述训练好的初始模型进行优化处理，包括：
获取第二训练样本图像；
对于所述第二训练样本图像中的锚人脸图像，基于所述训练好的初始模型，在第三训练样本图像中进行相似人脸检索，得到相似度排在前两位的两张人脸图像，所述锚人脸图像为所述第二训练样本图像中的任意一个人脸图像；
在所述两张人脸图像中确定正例样本和负例样本，所述正例样本与所述锚人脸图像的相似度高于所述负例样本；
基于所述训练好的初始模型，获取全部样本三元组的相似人脸特征，每个所述样本三元组中均包括一个锚人脸图像、所述锚人脸图像的正例样本以及负例样本；
根据获取到的样本三元组的相似人脸特征，构建所述三元组损失函数，采用随机梯度下降算法优化所述三元组损失函数直至收敛。
4.根据权利要求3所述的相似人脸检索方法，其特征在于，所述三元组损失函数的收敛条件为：第一距离小于第二距离；
其中，第一距离指代同一个样本三元组中锚人脸图像的相似人脸特征与正例样本的相似人脸特征在特征空间上的距离，第二距离指代所述锚人脸图像的相似人脸特征与负例样本的相似人脸特征在特征空间上的距离。
5.根据权利要求3所述的相似人脸检索方法，其特征在于，所述三元组损失函数的表达式为：
其中，loss指代所述三元组损失函数，指代同一个样本三元组中锚人脸图像的相似人脸特征与正例样本的相似人脸特征的欧式距离，代同一个样本三元组中锚人脸图像的相似人脸特征与负例样本的相似人脸特征的欧式距离，margin指代固定最小间隔，i的取值为正整数。
6.根据权利要求2所述的相似人脸检索方法，其特征在于，所述根据经过预处理后的第一训练样本图像进行模型训练，直至模型收敛，得到初始模型，包括：
将经过预处理后的第一训练样本图像输入构建有交叉熵损失函数的卷积神经网络，获取所述卷积神经网络输出的对所述第一训练样本图像的预测分类结果；
基于所述交叉熵损失函数，确定所述第一训练样本图像的标注分类结果与预测分类结果是否一致；
当所述标注分类结果与所述预测分类结果不一致时，反复循环的迭代更新所述卷积神经网络中的权重值，直至所述标注分类结果与所述预测分类结果一致。
7.根据权利要求1所述的相似人脸检索方法，其特征在于，所述基于特征提取模型对所述待检索人脸图像进行特征提取，包括：
对所述待检索人脸图像进行预处理，其中，预处理至少包括剪裁处理和对齐处理；
基于所述特征提取模型对经过预处理后的待检索人脸图像进行特征提取。
8.一种相似人脸检索装置，其特征在于，所述装置包括：
第一获取单元，被配置为获取待检索人脸图像；
提取单元，被配置为基于特征提取模型对所述待检索人脸图像进行特征提取，将所述特征提取模型的倒数第三层的输出结果作为所述待检索人脸图像的第一相似人脸特征，所述特征提取模型是基于三元组损失函数对训练好的初始模型进行优化处理后得到的；
第二获取单元，被配置为对于人脸数据库中每个人脸图像，获取所述第一相似人脸特征与所述每个人脸图像的第二相似人脸特征在特征空间上的距离，所述第二相似人脸特征是基于所述特征提取模型对所述每个人脸图像进行特征提取后得到的；
检索单元，被配置为根据获取到的距离信息，在所述人脸数据库中检索与所述待检索人脸图像相似度最高的目标人脸图像。
9.一种相似人脸检索装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取待检索人脸图像；
基于特征提取模型对所述待检索人脸图像进行特征提取，将所述特征提取模型的倒数第三层的输出结果作为所述待检索人脸图像的第一相似人脸特征，所述特征提取模型是基于三元组损失函数对训练好的初始模型进行优化处理后得到的；
对于人脸数据库中每个人脸图像，获取所述第一相似人脸特征与所述每个人脸图像的第二相似人脸特征在特征空间上的距离，所述第二相似人脸特征是基于所述特征提取模型对所述每个人脸图像进行特征提取后得到的；
根据获取到的距离信息，在所述人脸数据库中检索与所述待检索人脸图像相似度最高的目标人脸图像。
10.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由相似人脸检索装置的处理器执行时，使得相似人脸检索装置能够执行一种相似人脸检索方法，所述方法包括：
获取待检索人脸图像；
基于特征提取模型对所述待检索人脸图像进行特征提取，将所述特征提取模型的倒数第三层的输出结果作为所述待检索人脸图像的第一相似人脸特征，所述特征提取模型是基于三元组损失函数对训练好的初始模型进行优化处理后得到的；
对于人脸数据库中每个人脸图像，获取所述第一相似人脸特征与所述每个人脸图像的第二相似人脸特征在特征空间上的距离，所述第二相似人脸特征是基于所述特征提取模型对所述每个人脸图像进行特征提取后得到的；
根据获取到的距离信息，在所述人脸数据库中检索与所述待检索人脸图像相似度最高的目标人脸图像。
CN201910243259.1A 2019-03-28 2019-03-28 相似人脸检索方法、装置及存储介质 Pending CN109902665A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910243259.1A CN109902665A (zh) 2019-03-28 2019-03-28 相似人脸检索方法、装置及存储介质
US16/832,050 US11294953B2 (en) 2019-03-28 2020-03-27 Similar face retrieval method, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910243259.1A CN109902665A (zh) 2019-03-28 2019-03-28 相似人脸检索方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN109902665A true CN109902665A (zh) 2019-06-18

Family

ID=66953954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910243259.1A Pending CN109902665A (zh) 2019-03-28 2019-03-28 相似人脸检索方法、装置及存储介质

Country Status (2)

Country Link
US (1) US11294953B2 (zh)
CN (1) CN109902665A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263755A (zh) * 2019-06-28 2019-09-20 上海鹰瞳医疗科技有限公司 眼底图像识别模型训练方法、眼底图像识别方法和设备
CN110674688A (zh) * 2019-08-19 2020-01-10 深圳力维智联技术有限公司 用于视频监控场景的人脸识别模型获取方法、系统和介质
CN111368766A (zh) * 2020-03-09 2020-07-03 云南安华防灾减灾科技有限责任公司 一种基于深度学习的牛脸检测与识别方法
CN111489803A (zh) * 2020-03-31 2020-08-04 重庆金域医学检验所有限公司 基于自回归模型的报告单编码模型生成方法、系统和设备
CN111738157A (zh) * 2020-06-23 2020-10-02 平安科技（深圳）有限公司 面部动作单元数据集的构建方法、装置和计算机设备
CN111814857A (zh) * 2020-06-29 2020-10-23 浙江大华技术股份有限公司 目标重识别方法及其网络训练方法、相关装置
CN111832440A (zh) * 2020-06-28 2020-10-27 高新兴科技集团股份有限公司 人脸特征提取模型的构建方法、计算机存储介质及设备
CN111915021A (zh) * 2020-08-14 2020-11-10 北京达佳互联信息技术有限公司 图像处理模型的训练和使用方法、装置、服务器及介质
CN112232117A (zh) * 2020-09-08 2021-01-15 深圳微步信息股份有限公司 一种人脸识别方法、装置及存储介质
CN112329736A (zh) * 2020-11-30 2021-02-05 姜召英 人脸识别方法及金融系统
CN113807516A (zh) * 2021-09-13 2021-12-17 长城计算机软件与系统有限公司 神经网络模型的训练方法及图像检索方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10956778B2 (en) * 2019-03-05 2021-03-23 International Business Machines Corporation Multi-level deep feature and multi-matcher fusion for improved image recognition
CN112329797A (zh) * 2020-11-13 2021-02-05 杭州海康威视数字技术股份有限公司 目标对象的检索方法、装置、服务器和存储介质
CN112418078B (zh) * 2020-11-20 2021-11-09 北京云从科技有限公司 分数调制方法、人脸识别方法、装置及介质
CN112560635B (zh) * 2020-12-10 2024-03-26 深圳云天励飞技术股份有限公司 人脸匹配加速方法、装置、电子设备及存储介质
CN112733724B (zh) * 2021-01-12 2022-07-26 清华大学 基于判别样本元挖掘器的亲属关系验证方法和装置
TWI802906B (zh) * 2021-01-28 2023-05-21 旺宏電子股份有限公司 資料識別裝置及辨識方法
CN113221530B (zh) * 2021-04-19 2024-02-13 杭州火石数智科技有限公司 一种文本相似度匹配方法、装置、计算机设备和储存介质
CN113360697B (zh) * 2021-06-24 2022-07-05 广州华多网络科技有限公司 商品图像检索处理方法及其相应的装置、设备、介质
CN113239907B (zh) * 2021-07-12 2021-12-14 北京远鉴信息技术有限公司 一种人脸识别的检测方法、装置、电子设备及存储介质
CN113297411B (zh) * 2021-07-26 2021-11-09 深圳市信润富联数字科技有限公司 轮形图谱相似性的度量方法、装置、设备及存储介质
CN113722528A (zh) * 2021-08-03 2021-11-30 南京邮电大学 一种面向素描图进行照片快速检索的方法及系统
CN113326832B (zh) * 2021-08-04 2021-12-17 北京的卢深视科技有限公司 模型训练、图像处理方法、电子设备及存储介质
CN113780461B (zh) * 2021-09-23 2022-08-05 中国人民解放军国防科技大学 基于特征匹配的鲁棒神经网络训练方法
CN116244458B (zh) * 2022-12-16 2023-08-25 北京理工大学 生成器训练、样本对生成、检索模型训练及商标检索方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512638A (zh) * 2015-12-24 2016-04-20 黄江 一种基于融合特征的人脸检测与对齐方法
US20180082110A1 (en) * 2005-09-28 2018-03-22 Avigilon Patent Holding 1 Corporation Image classification and information retrieval over wireless digital networks and the internet
CN109344740A (zh) * 2018-09-12 2019-02-15 上海了物网络科技有限公司 人脸识别系统、方法及计算机可读存储介质
CN109522436A (zh) * 2018-11-29 2019-03-26 厦门美图之家科技有限公司 相似图像查找方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10678846B2 (en) * 2017-03-10 2020-06-09 Xerox Corporation Instance-level image retrieval with a region proposal network
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法
US10872258B2 (en) * 2019-03-15 2020-12-22 Huawei Technologies Co., Ltd. Adaptive image cropping for face recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082110A1 (en) * 2005-09-28 2018-03-22 Avigilon Patent Holding 1 Corporation Image classification and information retrieval over wireless digital networks and the internet
CN105512638A (zh) * 2015-12-24 2016-04-20 黄江 一种基于融合特征的人脸检测与对齐方法
CN109344740A (zh) * 2018-09-12 2019-02-15 上海了物网络科技有限公司 人脸识别系统、方法及计算机可读存储介质
CN109522436A (zh) * 2018-11-29 2019-03-26 厦门美图之家科技有限公司 相似图像查找方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
XU XIAO-MA ET AL.: "Multiview face retrieval in surveillance video by active training sample collection", 《2014 TENTH INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND SECURITY》 *
张俊: "基于Alexnet融合特征的图像检索研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张学森: "基于深度学习的图像检索系统研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
徐恒: "基于深度语义的哈希算法与相关反馈在图像检索中的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李振东等: "基于深度特征的快速人脸图像检索方法", 《光学学报》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263755B (zh) * 2019-06-28 2021-04-27 上海鹰瞳医疗科技有限公司 眼底图像识别模型训练方法、眼底图像识别方法和设备
US11893831B2 (en) 2019-06-28 2024-02-06 Shanghai Eaglevision Medical Technology Co., Ltd. Identity information processing method and device based on fundus image
CN110263755A (zh) * 2019-06-28 2019-09-20 上海鹰瞳医疗科技有限公司 眼底图像识别模型训练方法、眼底图像识别方法和设备
CN110674688A (zh) * 2019-08-19 2020-01-10 深圳力维智联技术有限公司 用于视频监控场景的人脸识别模型获取方法、系统和介质
CN110674688B (zh) * 2019-08-19 2023-10-31 深圳力维智联技术有限公司 用于视频监控场景的人脸识别模型获取方法、系统和介质
CN111368766A (zh) * 2020-03-09 2020-07-03 云南安华防灾减灾科技有限责任公司 一种基于深度学习的牛脸检测与识别方法
CN111368766B (zh) * 2020-03-09 2023-08-18 云南安华防灾减灾科技有限责任公司 一种基于深度学习的牛脸检测与识别方法
CN111489803A (zh) * 2020-03-31 2020-08-04 重庆金域医学检验所有限公司 基于自回归模型的报告单编码模型生成方法、系统和设备
CN111489803B (zh) * 2020-03-31 2023-07-21 重庆金域医学检验所有限公司 基于自回归模型的报告单编码模型生成方法、系统和设备
CN111738157B (zh) * 2020-06-23 2023-07-21 平安科技（深圳）有限公司 面部动作单元数据集的构建方法、装置和计算机设备
WO2021259012A1 (zh) * 2020-06-23 2021-12-30 平安科技（深圳）有限公司 面部动作单元数据集的构建方法、装置和计算机设备
CN111738157A (zh) * 2020-06-23 2020-10-02 平安科技（深圳）有限公司 面部动作单元数据集的构建方法、装置和计算机设备
CN111832440A (zh) * 2020-06-28 2020-10-27 高新兴科技集团股份有限公司 人脸特征提取模型的构建方法、计算机存储介质及设备
CN111832440B (zh) * 2020-06-28 2024-04-02 高新兴科技集团股份有限公司 人脸特征提取模型的构建方法、计算机存储介质及设备
CN111814857B (zh) * 2020-06-29 2021-07-06 浙江大华技术股份有限公司 目标重识别方法及其网络训练方法、相关装置
CN111814857A (zh) * 2020-06-29 2020-10-23 浙江大华技术股份有限公司 目标重识别方法及其网络训练方法、相关装置
CN111915021A (zh) * 2020-08-14 2020-11-10 北京达佳互联信息技术有限公司 图像处理模型的训练和使用方法、装置、服务器及介质
CN111915021B (zh) * 2020-08-14 2024-03-12 北京达佳互联信息技术有限公司 图像处理模型的训练和使用方法、装置、服务器及介质
CN112232117A (zh) * 2020-09-08 2021-01-15 深圳微步信息股份有限公司 一种人脸识别方法、装置及存储介质
CN112329736A (zh) * 2020-11-30 2021-02-05 姜召英 人脸识别方法及金融系统
CN113807516A (zh) * 2021-09-13 2021-12-17 长城计算机软件与系统有限公司 神经网络模型的训练方法及图像检索方法

Also Published As

Publication number Publication date
US20200250226A1 (en) 2020-08-06
US11294953B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
CN109902665A (zh) 相似人脸检索方法、装置及存储介质
CN111602147B (zh) 基于非局部神经网络的机器学习模型
CN110795542B (zh) 对话方法及相关装置、设备
CN109993102A (zh) 相似人脸检索方法、装置及存储介质
EP4002161A1 (en) Image retrieval method and apparatus, storage medium, and device
WO2018196718A1 (zh) 图像消歧方法、装置、存储介质和电子设备
CN106326857A (zh) 基于人脸图像的性别识别方法及装置
WO2023020005A1 (zh) 神经网络模型的训练方法、图像检索方法、设备和介质
CN108446404B (zh) 面向无约束视觉问答指向问题的检索方法及系统
CN108062421A (zh) 一种大规模图片多尺度语义检索方法
CN110503076A (zh) 基于人工智能的视频分类方法、装置、设备和介质
CN110941698A (zh) 一种基于bert下卷积神经网络的服务发现方法
CN115131698B (zh) 视频属性确定方法、装置、设备及存储介质
JP2018022496A (ja) 自然言語処理装置に用いられるトレーニングデータを作成する方法と機器
CN112084307A (zh) 一种数据处理方法、装置、服务器及计算机可读存储介质
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
CN117271818B (zh) 视觉问答方法、系统、电子设备及存储介质
CN109597906B (zh) 图像检索方法及装置
CN113449548A (zh) 更新物体识别模型的方法和装置
CN117058723B (zh) 掌纹识别方法、装置及存储介质
CN113569018A (zh) 问答对挖掘方法及装置
CN110516153B (zh) 视频的智能推送方法和装置、存储介质及电子装置
CN109033078B (zh) 语句类别识别方法及装置、存储介质、处理器
CN113032567B (zh) 位置嵌入解释方法、装置、计算机设备及存储介质
US20230144138A1 (en) Machine learning algorithm search with symbolic programming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190618