CN105224929A - 一种查找人脸照片的方法 - Google Patents

Abstract

本发明公开了一种查找人脸照片的方法，属于图像分析技术领域，以解决用户没有比对照片时，无法在人脸照片库中准确查找到对应的人脸照片的技术问题。该方法包括：从预设置的人脸照片库中随机提取多张备选照片并向用户展示；判断是否有用户选中的备选照片；接收用户选中的备选照片以及用户赋予备选照片的属性标注；若该用户选中的备选照片的属性标注是目标照片，则输出该目标照片；若该用户选中的备选照片的属性标注是相似照片，则基于该相似照片，从预设置的人脸照片库中提取多张与该相似照片相似的照片，将提取到的多张与该相似照片相似的照片作为再次向用户展示的备选照片。

Description

一种查找人脸照片的方法

技术领域

本发明涉及图像分析技术领域，具体地说，涉及一种查找人脸照片的方法。

背景技术

当前在一些图片搜索应用中进行照片搜索时，系统通常要求用户输入一张目标人物的照片。系统对输入的照片进行人脸检测、特征提取的相关处理后在图像数据库中按相似度计算结果从高到低排序，从而搜索到相似照片。

根据输入图像进行搜索只适用于拥有目标人物的照片的情况，在一些特定场景如执法机构只有目击证人的主观描述但没有犯罪嫌疑人的照片时，或者用户想查找记忆中的某人但没有该人的任何照片时，这种基于输入图像的搜索方式就不能满足用户需求。

针对执法机构只有目击证人的主观描述但没有犯罪嫌疑人的照片时，常用的技术手段是根据目击证人的印象与记忆，使用人脸合成画像软件提供的脸部组件如眉毛、眼睛、鼻型，嘴等，拼接合成出一个人脸，之后按照这个合成人脸在犯罪嫌疑人人脸照片库中搜索相似人物。在进行海量图像搜索时可以利用输入的器官特征先对图像库进行压缩，只取含有输入脸部组件的图片进行相似度比对，也可以依据合成人脸图片寻找图像库中与其相似的人脸图片。

目前的人脸合成画像软件提供的脸部组件比较生硬和单一，脸型、发型等种类有限，不易于复原目标人物的脸部特征，而且要求描述者对目标人物有清晰的印象，包括眉形、眼睛大小等，一般情况下这个要求较难实现。

发明内容

本发明的目的在于提供一种查找人脸照片的方法，以解决用户没有比对照片时，无法在人脸照片库中准确查找到对应的人脸照片的技术问题。

本发明提供了一种查找人脸照片的方法，该方法包括：

步骤S1：从预设置的人脸照片库中随机提取多张备选照片并向用户展示；

步骤S2：判断是否有用户选中的备选照片，若无，回到步骤S1，若有，进行步骤S3；

步骤S3：接收用户选中的备选照片以及用户赋予备选照片的属性标注；

步骤S4：若该用户选中的备选照片的属性标注是目标照片，则输出该目标照片；

步骤S5：若该用户选中的备选照片的属性标注是相似照片，则基于该相似照片，从预设置的人脸照片库中提取多张与该相似照片相似的照片，将提取到的多张与该相似照片相似的照片作为再次向用户展示的备选照片，回到步骤S2。

可选的，在所述步骤S1之前，还包括：

接收来自用户的输入信息，所述输入信息至少包括人种、性别、年龄范围、体型中的一项。

可选的，所述步骤S1包括：

基于所述输入信息，从预设置的人脸照片库中，随机提取多张与所述输入信息相符的备选照片并向用户展示。

可选的，在所述步骤S1之前，还包括：

建立人脸照片库。

可选的，所述建立人脸照片库包括：

对图片库中的图片进行人脸检测，提取出所述图片库中的所有人脸照片，形成人脸照片库；

对所述人脸照片库中的所有人脸照片进行特征提取；

根据所提取的特征建立特征向量；

基于所建立的特征向量，对任意两张人脸照片进行相似度计算，对任一人脸照片，按与该人脸照片的相似度由高至低排列其他人脸图片，并记录排列顺序。

可选的，所述步骤S5中的基于该相似照片，从预设置的人脸照片库中提取多张与该相似照片相似的照片包括：

基于该相似照片对应的记录的排列顺序，从预设置的人脸照片库中按序提取多张与该相似照片相似的照片。

可选的，所述建立人脸照片库还包括：

记录每张人脸照片的属性信息，所述属性信息至少包括人种、性别、年龄范围、体型中的一项。

可选的，基于所述输入信息，自预设置的人脸照片库中，随机提取多张与所述输入信息相符的备选照片并向用户展示包括：

将所述输入信息与各人脸照片的属性信息进行匹配，从预设置的人脸照片库中，随机提取多张属性信息与所述输入信息完全匹配的备选照片。

可选的，对所述人脸照片库中的所有人脸照片进行特征提取之前，还包括：

定位人脸照片中左右瞳孔和左右嘴角的位置；

利用所述左右嘴角的位置，确定嘴巴中心的位置；

基于所述嘴巴中心和左右瞳孔的位置，将人脸照片进行对齐。

可选的，所提取的特征包括方向梯度直方图特征和局部二值模式特征。

本发明带来了以下有益效果：本发明提供了一种查找人脸照片的方法，该方法通过筛选备选照片，并根据用户的反馈进行进一步的筛选或重新选择，能够解决用户没有比对照片时，无法在人脸照片库中准确查找到对应的人脸照片的技术问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要的附图做简单的介绍：

图1是本发明实施例提供的查找人脸照片的方法的流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

实施例一：

本实施例提供了一种查找人脸照片的方法，该方法是基于预先建立的人脸照片库实现的。

建立人脸照片库大致分为如下三个部分：人脸检测、特征提取和相似度计算。

对人脸照片库中所有图片进行人脸检测的过程中，本实施例采用Viola-Jones(V-J)检测器框架实现人脸检测，并结合肤色检测，从而提高人脸检测的精度。

V-J检测器通过建立大量检测框对输入的人脸照片进行扫描，提取哈尔(Haar)特征，再进行Adaboost分类快速滤掉非人脸的检测框。由于人脸照片一定包含相当大部分的肤色区域，本实施例中对每个人脸检测框先进行肤色检测，过滤掉不含有肤色区域的检测框，将含有大部分肤色区域的检测框输入传统V-J检测器实现人脸检测。

肤色检测作为人脸检测前一级操作，可以快速有效地判断检测框是否对应人脸，减少人脸检测计算量。本实施例中的肤色检测首先利用大量训练图片得到每个像素的肤色似然度，当检测框中计算得到的平均肤色似然度大于整幅图像的平均肤色似然度时，就将该检测框进行后续的处理，否则滤掉。

对于所检测到的人脸，先进行人脸对齐，确保将如脸部偏转、抬头低头、侧头等人脸图像，调整至正脸，然后提取特征向量。具体方法是利用SDM(SupervisedDescentMethod)算法进行特征点定位，定位出输入人脸照片中左右瞳孔和左右嘴角共四个特征点。通过左右嘴角的坐标可以计算出嘴巴中心的位置，利用嘴巴中心的位置和左右瞳孔三个点作为人脸对齐的标准。

另外，在定位、提取特征点时，可一并提取鼻尖位置，则共提取五个特征点。鼻尖位置可以辅助其他四个特征点进行计算，提高特征点计算的准确程度。

之后，通过仿射变换将此三点映射到大小为100*100的图像上的预先设定的位置，从而实现人脸的对齐。

之后对该100*100大小的人脸图像提取特征向量，先提取局部二值模式(LocalBinaryPattern，简称LBP)特征和方向梯度直方图(HistogramofOrientedGradient，简称HOG)特征，再分别利用预先训练好的主成分分析(PrincipalComponentAnalysis，简称PCA)和线性判别式分析(LinearDiscriminantAnalysis，简称LDA)降维矩阵，将LBP特征和HOG特征均降维到100维，并分别进行模归一化，最后串联成200维的特征向量。

最后，对各人脸照片进行相似度计算。具体的，使用任意两张人脸照片的200维向量进行余弦相似度计算，输出范围是0～1，越接近1，则两张人脸照片的相似度越高。

本实施例中，余弦相似度就是两个特征向量的夹角θ的余弦值，(X，Y为向量)。在特征向量模归一化的情况下，两个向量的余弦相似度和其内积成比例。

对每一张人脸照片，获得与其他所有人脸照片的相似度，按与该人脸照片的相似度从高到低的排序，将其他所有人脸照片进行排序，并记录排列顺序。进一步的，因本实施例每次最多提取20张备选照片向用户展示，因此可仅记录相似度排列顺序前20的人脸照片。即假设人脸照片库中有1万张人脸照片，则输出的记录为1万个记录文件，每个记录文件中存储20条记录描述与该人脸照片最相似的20幅人脸照片的信息。

建立完毕人脸照片库后，即可为用户开始查找人脸照片。

如图1所示，查找过程包括如下多个步骤：

步骤S1：从预设置的人脸照片库中随机提取多张备选照片并向用户展示。

步骤S2：判断是否有用户选中的备选照片，若无，回到步骤S1，若有，进行步骤S3。

步骤S3：接收用户选中的备选照片以及用户赋予备选照片的属性标注。

步骤S4：若该用户选中的备选照片的属性标注是目标照片，则输出该目标照片。

步骤S5：若该用户选中的备选照片的属性标注是相似照片，则基于该相似照片，从预设置的人脸照片库中提取多张与该相似照片相似的照片，将提取到的多张与该相似照片相似的照片作为再次向用户展示的备选照片，回到步骤S2。

需要说明的是，本发明实施例中，以20张备选照片为例进行具体说明，但不对备选照片的数目进行限定，备选照片的数目可以为任意大于1的整数。

具体的，开始查找时，随机从人脸照片库中选取20张备选照片进行显示。如果这20张备选照片中有用户需要的目标人物的照片，则将该备选照片挑出。用户将该备选照片的属性设定为目标照片，则结束查找人脸照片的流程，并将该备选照片输出。

若这20张备选照片中没有用户需要的目标人物的照片，则用户可在这20张备选照片中选取和目标人物最为相似的一张，将该被选中的备选照片的属性设置为相似照片。继而，可基于该相似照片，根据记录，提取与该相似照片相似的20张照片，将提取到的多张与该相似照片相似的照片作为再次向用户展示的备选照片。循环多次，直至为用户查找到目标人物的照片。

如果首次选取的20张人脸照片中没有相似照片或目标照片，则重新随机选取20张，直到用户能够选出相似照片或者目标照片。

显然，本实施例分成建立人脸照片库和查找图片两个部分。第一部分是预先建立人脸照片库，对库中所有人脸照片进行人脸检测、特征提取、相似度计算，计算人脸照片库中任意两张人脸照片的相似度，并为每个人脸记录与其相似度最高的20张人脸。第二部分是查找，随机选取20张备选的人脸照片进行显示，如果有目标人物的照片，则找到目标人物，结束；否则用户在这20张备选照片中选取和目标人物最为相似的一张。如果没有相似照片或目标照片，则重新随机选取20张，直到用户有可以选择的相似的人脸照片或者找到目标人物的照片。系统根据用户选中的相似照片，从该照片的记录文件中读取相似度最高的20张照片的信息，对这20张照片进行显示。用户再次选取和目标人物最为相似的一张，反复进行若干次，直到目标人物的人脸照片出现在显示结果中。

实施例二：

与实施例一类似的，本实施例同样包括建立人脸照片库和查找照片两个部分。

与实施例一不同的是，本实施例在建立人脸照片库时，除了对人脸照片库中所有照片进行人脸检测、特征提取、相似度计算之外，还记录人脸照片中人物的属性信息如性别、人种、年龄范围、体型等。

则在进行照片查找时，从预设置的人脸照片库中随机提取多张备选照片之前，需要接收用户的输入信息，将输入信息与各人脸照片的属性信息进行匹配，从预设置的人脸照片库中，随机提取多张属性信息与该输入信息完全匹配的备选照片。在输入信息中，用户可选择指定目标人物的性别(男\女\不限定)、人种(黄种人\白种人\黑种人\印第安人\不限定)、年龄范围(少年\青年\中年\老年\不限定)、体型(偏瘦\正常\偏胖\不限定)等。具体的，输入信息所包括的内容不限于本发明实施例列举出来的各项，只要是能够对确定目标人物的照片有帮助的，都属于本发明提出的输入信息的内容。

综上，本发明提供了一种查找人脸照片的方法，该方法通过筛选备选照片，并根据用户的反馈进行进一步的筛选或重新选择，能够解决用户没有比对照片时，无法在人脸照片库中准确查找到对应的人脸照片的技术问题。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种查找人脸照片的方法，其特征在于，包括：

步骤S1：从预设置的人脸照片库中随机提取多张备选照片并向用户展示；

步骤S2：判断是否有用户选中的备选照片，若无，回到步骤S1，若有，进行步骤S3；

步骤S3：接收用户选中的备选照片以及用户赋予备选照片的属性标注；

步骤S4：若该用户选中的备选照片的属性标注是目标照片，则输出该目标照片；

步骤S5：若该用户选中的备选照片的属性标注是相似照片，则基于该相似照片，从预设置的人脸照片库中提取多张与该相似照片相似的照片，将提取到的多张与该相似照片相似的照片作为再次向用户展示的备选照片，回到步骤S2。

2.根据权利要求1所述的方法，其特征在于，在所述步骤S1之前，还包括：

接收来自用户的输入信息，所述输入信息至少包括人种、性别、年龄范围、体型中的一项。

3.根据权利要求2所述的方法，其特征在于，所述步骤S1包括：

基于所述输入信息，从预设置的人脸照片库中，随机提取多张与所述输入信息相符的备选照片并向用户展示。

4.根据权利要求1或3所述的方法，其特征在于，在所述步骤S1之前，还包括：

建立人脸照片库。

5.根据权利要求4所述的方法，其特征在于，所述建立人脸照片库包括：

对图片库中的图片进行人脸检测，提取出所述图片库中的所有人脸照片，形成人脸照片库；

对所述人脸照片库中的所有人脸照片进行特征提取；

根据所提取的特征建立特征向量；

基于所建立的特征向量，对任意两张人脸照片进行相似度计算，对任一人脸照片，按与该人脸照片的相似度由高至低排列其他人脸图片，并记录排列顺序。

6.根据权利要求5所述的方法，其特征在于，所述步骤S5中的基于该相似照片，从预设置的人脸照片库中提取多张与该相似照片相似的照片包括：

基于该相似照片对应的记录的排列顺序，从预设置的人脸照片库中按序提取多张与该相似照片相似的照片。

7.根据权利要求5所述的方法，其特征在于，所述建立人脸照片库还包括：

记录每张人脸照片的属性信息，所述属性信息至少包括人种、性别、年龄范围、体型中的一项。

8.根据权利要求7所述的方法，其特征在于，基于所述输入信息，自预设置的人脸照片库中，随机提取多张与所述输入信息相符的备选照片并向用户展示包括：

将所述输入信息与各人脸照片的属性信息进行匹配，从预设置的人脸照片库中，随机提取多张属性信息与所述输入信息完全匹配的备选照片。

9.根据权利要求5所述的方法，其特征在于，对所述人脸照片库中的所有人脸照片进行特征提取之前，还包括：

定位人脸照片中左右瞳孔和左右嘴角的位置；

利用所述左右嘴角的位置，确定嘴巴中心的位置；

基于所述嘴巴中心和左右瞳孔的位置，将人脸照片进行对齐。

10.根据权利要求5所述的方法，其特征在于，所提取的特征包括方向梯度直方图特征和局部二值模式特征。