CN110069655A

CN110069655A - 一种私人相册的人脸搜索方法

Info

Publication number: CN110069655A
Application number: CN201910236603.4A
Authority: CN
Inventors: 曾坤; 卢建业; 周凡
Original assignee: Sun Yat Sen University
Current assignee: Sun Yat Sen University
Priority date: 2019-03-26
Filing date: 2019-03-26
Publication date: 2019-07-30
Anticipated expiration: 2039-03-26
Also published as: CN110069655B

Abstract

本发明公开了一种私人相册的人脸搜索方法。本发明通过迁移学习训练Pose‑Facenet，对训练数据中人脸标签根据人脸姿态进行再划分，结合改进的DREAM++姿态生成模块，只需要校正到相同的姿态区间进行人脸比对即可，无需跨越大姿态角变化将非正脸姿态人脸校正为正脸再进行比对，降低姿态调整带来的信息丢失负面影响。利用私人相册中相邻拍摄时间相片通常存在易于辨识的相同人体的特点，在搜索出相册中容易比对成功的正脸人脸后，采用行人重识别技术对相邻拍摄时间的相片搜索出与其所属人体为同一人体的人体图像，从而获得该人体中的搜索目标的新姿态人脸，丰富搜索目标各姿态的人脸信息，降低需要进行大角度姿态校正的概率，从而达到更好的人脸搜索效果。

Description

一种私人相册的人脸搜索方法

技术领域

本发明涉及图像识别技术领域，具体涉及一种私人相册的人脸搜索方法。

背景技术

随着智能手机的普及和存储设备的廉价化，越来越多的用户选择利用手机来拍摄照片，并将拍摄到的照片不做整理地直接存储在手机私人相册中，导致私人相册变得日益庞大而难以管理。通过人脸搜索技术，在庞大的私人相册中搜索包含指定人脸的相片，对于相册的管理具有很大实用意义。

现阶段的人脸识别技术中，人脸搜索的基本原理是通过神经网络将人脸检测得到的人脸图像抽象成一个高维向量，通过比对向量间的距离来判断人脸的相似性，从而将相似性高的图像作为搜索结果输出。深度学习系统很大程度上依靠数据驱动。一般而言，模型的泛化能力和数据量成正比。由于人脸识别模型训练中使用的数据集正脸和侧脸数据量不均衡，因此训练出的模型人脸识别的焦点倾向于以正脸附近为中心，更擅长分辨正面。而在不受限的环境中进行人脸识别，并不能保证其结果，实际实验中，从正面识别侧面的准确率与从正面识别正面的准确率相比会下降10％以上。由于目前还没有涵盖人脸所有姿态且分布均匀的数据集，因此姿势的变化仍旧是人脸识别应用在现实世界的重大挑战，研究人员要用其他方法解决侧脸识别问题。

在私人相册的人脸搜索问题上，由于私人相册拍摄角度不受约束，人脸姿态非常丰富，尤其存在大量侧脸相片。要想在私人相册中对不同姿态的人脸进行精确搜索，解决姿态变化带来的人脸比对困难是首要问题。

行人重识别技术旨在判断摄像头在不同时刻拍摄的行人目标是否为同一行人。私人相册中相邻拍摄时间相片有通常存在易于辨识的相同人体的特点，对行人重识别的使用场景非常适合，这为人脸搜索提供了新的思路。通过行人重识别技术，比对出相同人体，从而将相同人体中不同姿态的人脸关联起来，可以降低人脸比对在姿态变化较大时的判断难度。

现有的技术有深度残差等边映射(DREAM)模块方案，该方案可以在高层深度特征空间中将任意姿态的侧脸特征转换为正脸特征。该方案假设在深度特征空间中，侧脸区域与正脸区域存在转换关联，这种转换可以通过基于数据的映射函数学习到。对于任意姿态的人脸输入x，根据其姿态角 yaw作为系数软门y(x)，控制残差映射函数的添入量将原本人脸特征 f(x)映射到正脸的特征空间上，映射表达为从而将不同姿态人脸特征的比对问题都转到相对容易的正脸人脸特征之间的比对问题。

此方案的缺点在于：

该方案只利用了yaw一种姿态角来控制残差映射函数的添入量，也就是只考虑人脸的左右偏转情况。当左右与上下同时发生大角度偏转情况时，该模块便不能取得满意的姿态校正效果。

此外，由于该方案过于强调将任意姿态区域校正成正脸区域，在匹对姿态相似的非正脸姿态区域的人脸时，依然会将两者同时校正到正脸区域，校正过程中丢失的信息反而可能导致原本容易比对的人脸变得难以比对。

发明内容

本发明的目的是克服现有方法的不足，提出了一种私人相册的人脸搜索方法。本发明解决的问题主要有两个：一是通过行人重识别与人脸识别结合的策略识别同一人体不同姿态下的人脸，从而降低需要进行大角度姿态校正的概率的问题；二是只需转换到同一的姿态区间进行人脸比对而无需均校正到正脸区域再进行人脸比对的问题。

为了解决上述问题，本发明提出了一种私人相册的人脸搜索方法，所述方法包括：

步骤一，基于Facenet迁移学习训练Pose-Facenet模型，基于DREAM 模块改进训练DREAM++模块，前者用于根据姿态区间对人脸标签进行再划分，后者用于把姿态转换到同一的姿态区间；

步骤二，输入检索图像，进行人脸检测得到检索人脸图像，并对检索人脸图像进行人脸姿态估计和应用Pose-Facenet模型进行人脸特征提取，输出检索人脸的人脸姿态以及人脸编码，添加到检索信息中；

步骤三，对相册中每一相片得到相片中各人脸的位置信息、人脸姿态、人脸编码，并对相片进行人体检测，若人体检测的人体位置信息与人脸位置信息存在明确对应关系，则为人脸加上人体图像信息，组合成人脸信息添加入待搜索信息列表中；

步骤四，对于待搜索信息列表中人脸姿态与检索信息中的人脸姿态属于同一区间的人脸信息，计算其人脸编码与检索信息中的人脸编码之间的距离，若满足设定的距离阈值，则判断为满足搜索要求的人脸，也就是与检索人脸是同一张人脸；

步骤五，对于步骤四中满足搜索要求的人脸信息，若步骤三中检测到其有明确对应的人体图像，根据该人体图像对与所属相片拍摄时间邻近的相片应用行人重识别技术检索出与之相同的人体图像，得到该人体图像对应的人脸信息；

步骤六，应用DREAM++模块，整合步骤五搜索到的信息，得到具有全姿态区间的人脸检索信息；

步骤七，对待搜索信息列表中没有判别为满足搜索要求的人脸信息，依次进行扫描，根据其人脸姿态选择检索信息中同一姿态区间下的人脸编码进行匹对，若距离满足阈值，则判别为满足要求的人脸信息，否则不满足；

步骤八，对于所有满足要求的人脸信息，输出其所属相片，作为最终搜索结果。

优选地，所述基于Facenet迁移学习训练Pose-Facenet模型，具体为根据姿态区间对人脸标签进行再划分。

优选地，所述基于DREAM模块改进训练DREAM++模块，具体包括两个改进：一是在软门控制的参数中加入了pitch姿态角，使得模块能处理更为丰富的姿态变化；二是该模块通过增加姿态差参数配置网络Ω计算目标姿态与当前姿态转换的软门控制参数，从而将原本只能将姿态校正成正脸区域的模块改进成可以校正成任意姿态的姿态生成模块。

本发明提出的一种私人相册的人脸搜索方法，利用私人相册中相邻拍摄时间相片通常存在易于辨识的相同人体的特点，在搜索出相册中容易比对成功的正脸人脸后，采用行人重识别技术对相邻拍摄时间的相片搜索出与其所属人体为同一人体的人体图像，从而获得该人体中的搜索目标的新姿态人脸，丰富搜索目标各姿态的人脸信息，降低需要进行大角度姿态校正的概率，从而达到更好的人脸搜索效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例的人脸搜索流程图；

图2是本发明实施例的人脸与人体确定对应关系示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例的人脸搜索流程图，如图1所示，该方法包括：

S1，基于Facenet迁移学习训练Pose-Facenet模型，基于DREAM模块改进训练DREAM++模块，前者用于根据姿态区间对人脸标签进行再划分，后者用于把姿态转换到同一的姿态区间；

S2，输入检索图像，进行人脸检测得到检索人脸图像，并对检索人脸图像进行人脸姿态估计和应用Pose-Facenet模型进行人脸特征提取，输出检索人脸的人脸姿态以及人脸编码，添加到检索信息中；

S3，对相册中每一相片得到相片中各人脸的位置信息、人脸姿态、人脸编码，并对相片进行人体检测，若人体检测的人体位置信息与人脸位置信息存在明确对应关系，则为人脸加上人体图像信息，组合成人脸信息添加入待搜索信息列表中；

S4，对于待搜索信息列表中人脸姿态与检索信息中的人脸姿态属于同一区间的人脸信息，计算其人脸编码与检索信息中的人脸编码之间的距离，若满足设定的距离阈值，则判断为满足搜索要求的人脸，也就是与检索人脸是同一张人脸；

S5，对于S4中满足搜索要求的人脸信息，若S3中检测到其有明确对应的人体图像，根据该人体图像对与所属相片拍摄时间邻近的相片应用行人重识别技术检索出与之相同的人体图像，得到该人体图像对应的人脸信息；

S6，应用DREAM++模块，整合S5搜索到的信息，得到具有全姿态区间的人脸检索信息；

S7，对待搜索信息列表中没有判别为满足搜索要求的人脸信息，依次进行扫描，根据其人脸姿态选择检索信息中同一姿态区间下的人脸编码进行匹对，若距离满足阈值，则判别为满足要求的人脸信息，否则不满足；

S8，对于所有满足要求的人脸信息，输出其所属相片，作为最终搜索结果。

步骤S1，具体如下：

S1-1：Pose-Facenet训练：下载Facenet的开源源码以及预训练模型。准备训练数据集，和通常的数据集中根据是否为同一人的人脸设置相同标签不同的是，本发明中根据姿态区间对人脸标签进行再划分，通过对训练数据集的姿态预处理，可以提高相同姿态区间人脸的识别准确率。

S1-2：DREAM++训练：该模块基于DREAM模块进行改进。本发明对该模块进行了两个改进，一是在软门控制的参数中加入了pitch姿态角，使得模块能处理更为丰富的姿态变化；二是该模块通过增加姿态差参数配置网络Ω计算目标姿态与当前姿态转换的软门控制参数，从而将原本只能将姿态校正成正脸区域的模块改进成可以校正成任意姿态的姿态生成模块。

训练时Stem CNN模块直接采用S11中训练的得到的Pose-Facenet网络模型，对于训练数据中任意不同姿态的相同人脸x₁、x₂，通过姿态评估模块计算各自yaw、pitch姿态角y(x₁)、p(x₁)与y(x₂)、p(x₂)，并将姿态差 △_y＝y(x₁)-y(x₂)，△_p＝p(x₁)-p(x₂)输入姿态差参数配置网络中得到软门控制参数Ω(△_y,△_p)，将人脸x₁的特征编码φ(x₁)添加残差映射函数得到目标特征编码通过最小化其与φ(x₂)的距离训练模块。

步骤S2，具体如下：

人脸姿态由pitch、yaw、roll三种角度构成，分别代表上下翻转、左右翻转、平面内旋转的角度。人脸编码为128维的数字矢量R。检索信息可以表示为如下形式：

S＝{(x_s,σ_s)}

其中人脸编码x_s∈R¹²⁸，σ_s表示检索人脸所在的姿态区间，其根据欧拉角pitch_s∈[0,90]，yaw_s∈[0,90]划分得到，实际使用中，通常推荐检索人脸为正脸姿态人脸，也就是pitch_s＝0，yaw_s＝0。

步骤S3，具体如下：

人体位置信息与人脸位置信息存在明确对应关系的判断方式为：人体位置矩形框内只存在一张人脸，并完全包含该张人脸。如图2所示，其中实线框表示人体位置，虚线框表示人脸位置。

待搜索信息A可以表示为如下形式：

A＝{(img_i,x_ij,σ_ij,b_ij)|0<i≤N，0≤j≤M_i}

其中N为相片数目，M_i为第i张相片的人脸数目，img_i为第i张相片，x_ij、 σ_ij、b_ij分别代表第i张相片中第j张人脸的人脸编码、人脸姿态和人体图像，当x_ij不存在明确对应的人体图像时，b_ij为null空值。

步骤S4，具体如下：

该步骤的搜索结果C₁表示为：

其中t1为判断为同一人脸的距离阈值。

步骤S5，具体如下：

该步骤的搜索结果C₂表示为：

(img_i,x_ij,σ_ij,b_ij)∈C₁,(img_k,x_kj',σ_kj',b_kj')∈(A-C₁)}

其中near(img_k，img_i)表示img_k与img_j拍摄时间相近，re-id(b_kj'，b_ij)为计算人体图像b_kj'与b_ij为同一人体的置信度，采用的是AlignedReID行人重识别技术， t2为判断为同一人体的阈值。

步骤S6，具体如下：

S6-1：当姿态σ下存在多张人脸时，取人脸中与初始检索人脸距离最小的人脸的编码作为该姿态下的人脸编码：

设M_σ＝{(img_k,x_kj,σ_kj,b_kj)|σ_k＝σ，(img_k,x_kj,σ_kj,b_kj)∈C₂}，则：

其中表示M_σ中由x组成的集合。

S6-2：当姿态σ下不存在人脸时，选择经S6-1整合后的检索信息中与σ 姿态最近的人脸编码，通过S1中DREAM++模块生成对应的人脸编码：

其中δ为已知人脸编码的姿态中与σ最近的姿态，σ_y、δ_y、σ_p、δ_p分别表示姿态区间σ、δ对应的yaw与pitch角度。

结合初始的检索人脸信息(x_s,σ_s)，整合后的检索信息为：

S＝{(x_σ,σ),σ∈Ψ}

其中Ψ为全姿态区间集合。

步骤S7，具体如下：

该步骤的搜索结果C₃表示为：

C₃＝{(img_i，x_ij,σ_ij，b_ij)|σ_ij＝σ，||x_ij ²-x_σ ²||≤t1,(x_σ,σ)∈S，(img_i，x_ij,σ_ij，b_ij)∈(A-C₁-C₂)}

其中t1为判断同一人脸的距离阈值。

步骤S8，具体如下：

该步骤的搜索结果C表示为：

C＝C₁+C₂+C₃

images＝{img_i|(img_i，x_ij,σ_ij，b_ij)∈C}

images即为最终搜索结果，也就是相册中含有目标人脸的图像。

本发明实施例提出的一种私人相册的人脸搜索方法，利用私人相册中相邻拍摄时间相片通常存在易于辨识的相同人体的特点，在搜索出相册中容易比对成功的正脸人脸后，采用行人重识别技术对相邻拍摄时间的相片搜索出与其所属人体为同一人体的人体图像，从而获得该人体中的搜索目标的新姿态人脸，丰富搜索目标各姿态的人脸信息，降低需要进行大角度姿态校正的概率，从而达到更好的人脸搜索效果。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的一种私人相册的人脸搜索方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种私人相册的人脸搜索方法，其特征在于，所述方法包括：

步骤一，基于Facenet迁移学习训练Pose-Facenet模型，基于DREAM模块改进训练DREAM++模块，前者用于根据姿态区间对人脸标签进行再划分，后者用于把姿态转换到同一的姿态区间；

2.如权利要求1所述的一种私人相册的人脸搜索方法，其特征在于，所述基于Facenet迁移学习训练Pose-Facenet模型，具体为根据姿态区间对人脸标签进行再划分。

3.如权利要求1所述的一种私人相册的人脸搜索方法，其特征在于，所述基于DREAM模块改进训练DREAM++模块，具体包括两个改进：一是在软门控制的参数中加入了pitch姿态角，使得模块能处理更为丰富的姿态变化；二是该模块通过增加姿态差参数配置网络计算目标姿态与当前姿态转换的软门控制参数，从而将原本只能将姿态校正成正脸区域的模块改进成可以校正成任意姿态的姿态生成模块。