CN103207898B - 一种基于局部敏感哈希的相似人脸快速检索方法 - Google Patents

Abstract

本发明涉及一种基于局部敏感哈希的相似人脸快速检索方法。现有方法难于适应大规模图像库的快速检索。本发明首先对图像进行索引，通过人脸区域检测、眼睛和嘴巴特征检测和特征提取、肤色检测、人脸肤色分布特征提取等步骤将图像表示为人脸特征向量；然后利用局部敏感哈希方法对人脸特征向量构建索引。在查询相似人脸图像时，首先将输入的查询图像以索引阶段一样的方式提取人脸特征向量；并利用局部敏感哈希查询，得到候选相似人脸图像集合；最后根据查询图像和候选图像之间的欧式距离确认和排序最终的相似人脸图像。本发明方法基于局部敏感哈希索引方法提高了查询时的速度。

Description

一种基于局部敏感哈希的相似人脸快速检索方法

技术领域

本发明属于计算机图像检索领域，涉及一种从图像库中快速检测与查询图像具有相似人脸的方法。

背景技术

随着视觉监控设备的广泛使用以及数字图像拍摄设备的普及，数字图像已成为重要的信息存储方式。根据图像内容进行有效的图像检索具有重要的意义。本发明中涉及的相似人脸是指具有相似的脸型，其不同于人脸识别。人脸识别关注人脸的特殊性，提取与其它人脸具区别性的特征。

从图像库中检索具有相似人脸的图像具有广泛的应用前景。(1)在视觉监控中可通过人脸图像进行基于人脸内容的检索，以提高视觉监控中大量视频数据的查找问题。(2)在大量的人脸图像数据中检索相似人脸以提供用户在发型、美容、饰品等方面的指导。(3)各种需要进行人脸相似度匹配的各种互联网娱乐应用，比如：查找与你最像的名人，查找与你最具有夫妻相的明星。

当前人脸相似度研究方面的成果较少，当前中国专利局公开了两个人脸相似度方面的专利：2002年公开了“人脸元数据生成与人脸相似度计算”（申请号02817359.7）的专利申请文档，该专利主要采用人脸的反差指标和对称指标来描述人脸。2009年公开了“一种人脸相似度匹配方法及装置”（申请号：200910130506.3），该专利主要采用尺度不变特征变换SIFT来描述图像，并通过SIFT描述子的方向、位置、梯度直方图等计算人脸的相似性。

在人脸识别研究方面，当前在国内外有较多的文章发表。当前广泛使用的人脸特征主要分为：几何特征、PCA、不变特征。基于几何特征方法的基本思想是提取面部显著特征（例如眉毛，眼睛，鼻子，嘴巴等）的相对位置和相对大小作为特征参数，再辅以人脸轮廓的形状信息，形成特征向量，最后利用适当的距离度量和分类方法对特征向量加以分类。PCA方法主要将人脸图像通过主成份分析（PCA）提取出人脸的主要特征，降低特征维度，同时该方法需要进行学习。不变特征是指提取对各种外在变化不敏感的人脸特征。该类方法引入局部纹理特征，扩展空频变换特征，扩展灰度统计特征，扩展几何结构特征。

发明内容

本发明针对现有技术的不足，提供了一种基于局部敏感哈希的相似人脸快速检索方法。本发明方法的基本思想是从直观的角度出发来考察人脸的相似性。总体上，相似人脸主要体现在人脸脸型的相似上，因此，人脸脸型特征作为本发明方法的主要特征。同时人们在匹配相似人脸时，还考察眼睛的位置和大小，嘴巴位置。

本发明方法的具体步骤为：

步骤（1）通过人脸检测获取图像中的人脸区域。

步骤（2）在人脸区域进行眼睛和嘴巴的检测，并提取眼睛和嘴巴特征；提取眼睛和嘴巴特征包括:眼睛的大小特征、双眼的距离特征、眼睛的对比度特征、眼睛与嘴巴的距离特征。

步骤（3）通过肤色检测提取人脸区域的肤色像素。

步骤（4）提取肤色分布特征；该特征提取首先依据双眼的位置对人脸进行倾斜校正；然后依据眼睛和嘴巴的位置来划分人脸；最后提取每个划分中肤色像素的占有率作为肤色分布特征。

步骤（5）依据人脸肤色分布特征、眼睛和嘴巴特征构建人脸索引库；该索引过程采用局部敏感哈希方法来构建索引库。

步骤（6）对查询图像采用步骤（1）-步骤（4）的方法提取人脸特征，并通过局部敏感哈希方法在人脸索引库中检索得到具有相似人脸的候选图像。

步骤（7）对候选图像进行基于欧式距离的验证，并对候选图像进行排序。

本发明相对于现有技术具有以下有益效果：本发明检索图像的速度比较快,可应用于具有大规模图像库的情况下的人脸相似检索。

附图说明

图1表示本发明的流程图；

图2多个眼睛选择示意图；

图3人脸倾斜校正样例；

图4人脸划分示意图；

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅便于对本发明的理解，而对其不起任何限定作用。

本发明方法的具体步骤为：

步骤（1）通过人脸检测获取图像中的人脸区域。

步骤（2）在人脸区域进行眼睛和嘴巴的检测，并提取眼睛和嘴巴特征；提取眼睛和嘴巴特征包括:眼睛的大小特征、双眼的距离特征、眼睛的对比度特征、眼睛与嘴巴的距离特征。

步骤（3）通过肤色检测提取人脸区域的肤色像素。

步骤（4）提取肤色分布特征；该特征提取首先依据双眼的位置对人脸进行倾斜校正；然后依据眼睛和嘴巴的位置来划分人脸；最后提取每个划分中肤色像素的占有率作为肤色分布特征。

步骤（5）依据人脸肤色分布特征、眼睛和嘴巴特征构建人脸索引库；该索引过程采用局部敏感哈希方法来构建索引库。

步骤（6）对查询图像采用步骤（1）-步骤（4）的方法提取人脸特征，并通过局部敏感哈希方法在人脸索引库中检索得到具有相似人脸的图像。

在本发明中，其输入的图像为数字图像进行处理。本发明方法处理的图像可以针对各种图像编码格式。在此实施例中假定输入的图像已经是解码的位图图像。在以下的叙述中，图像就是指数字图像，不再具体指明。本实施例中主要介绍在图像库中检测具有相似人脸图像的方法，其可用于视觉监控数据的检索,美容指导，各种需要进行人脸相似度匹配的各种互联网娱乐应用。本发明方法同样可以适用其它需要进行人脸相似度检索的各种应用场合。

下面将参考附图进一步介绍本发明的实施例。

图1是一个流程框图，表示了本发明的流程图。整个相似人脸检索方法分为两个过程：索引过程和查询过程。索引过程用于对索引图像提取特征后以局部敏感哈希的方式进行索引，便于查询时快速的搜索到具有相似人脸的图像。查询过程是在局部敏感哈希构建的索引库的基础上，对输入的查询图像与索引图像进行基于局部敏感哈希的近似最近邻查找得到相似人脸图像，该查询过程通过使用局部敏感哈希来提高效率。

参考图1中提取人脸区域子单元，用于提取图像中的人脸区域。如果图像中没有人脸则不对该图像进行索引。人脸提取方法主要采用haar特征和Adaboost级联分类器，该方法可参考论文（PaulViola,MichaelJ.Jones，RobustReal-TimeFaceDetection，InternationalJournalofComputerVision，May2004,Volume57,Issue2,pp137-154）。由于图像中的人脸可能存在侧脸的问题，因此，当前已经有学习好的侧脸检测adaboost人脸模型。在本实施例中，不考虑侧脸的情况，主要检测正面人脸，因此在加载adaboost人脸模型时只加载整理adaboost人脸模型，具体的实现可参考opencv开源图像处理库。同时，为了提高人脸检测的效率，对图像的宽或者高大于800像素的图像进行尺度的缩放，缩放不改变图像宽和高的比。缩放到目标图像的宽和高都需要小于800即可。在本实施例中，为了应对图像中人脸的不同大小，采用的尺度因子为1.1，检测的最小窗口大小设定为32*32像素。如果在一幅图像中检测到多个人脸区域，则对每个人脸区域提取特征并进行索引；如果在图像中没有检测到人脸区域，则不对该图像进行索引。经过人脸区域检测后，得到若干个人脸区域图像，并将人脸图像缩放到固定尺度，在本实施例中，设定的固定人脸尺度为128*128像素。

参考图1中眼睛和嘴巴检测子单元，用于在人脸区域图像中检测眼睛和嘴巴。检测嘴巴和眼睛的方法采用人脸检测一样的方法，其区别在于学习好的adaboost模型不同,眼睛采用眼睛的adaboost模型，嘴巴采用嘴巴的adaboost模型。已经有学习好的adaboost模型可在网上下载（https://code.ros.org/trac/opencv/browser/trunk/opencv/data/haarcascades/haarcascade_eye.xml?rev=1125）。如果在人脸区域中没有检测到眼睛，则认为该人脸区域是一个错误的检测，因此不再对该人脸区域进行特征提取和索引。如果仅检测到一个眼睛，则通过已有眼睛的位置估计另外一个眼睛的位置。在估计另一眼睛位置时，假设两个眼睛在同一水平上，大小一致，并且以图像的中轴对称分布，因此可通过公式X2=W-X1；Y2=Y1；得到估计眼睛的坐标（X2，Y2），其中（X1，Y1）为检测得到的眼睛坐标位置。如果检测得到的眼睛数目大于2，则假设两眼基本水平分布，通过两眼构建的直线与X轴的夹角最小来选择最为准确的人眼匹配。以附图2多个眼睛选择示意图所示，图中存在三个检测得到的眼睛，用椭圆表示，分别为：T1、T2、T3。T1、T2连线与水平线的夹角为A3，T1、T3连线与水平线的夹角为A1，T2、T3连线与水平线的夹角为A2。由于A3是A1、A2、A3三个角度中最小的，因此选择T1和T2为准确检测的双眼，T3为误检测。由于嘴巴检测率不是很高，在没有检测到嘴巴的情况下，本发明方法通过预先设定位置和大小来确定。在本实施例中，眼睛检测设定的最小窗口大小为16*16像素，采用的尺度因子为1.1。嘴巴检测设定的最小窗口大小为25*15像素，采用的尺度因子为1.1。无法检测到嘴巴情况下，设定的位置为：（36，86）,宽高分别为：56，30。

参考图1中的眼睛和嘴巴特征提取子单元，用于在眼睛和嘴巴检测的基础上提取眼睛和嘴巴特征，包括:眼睛的大小特征、双眼的距离特征、眼睛的对比度特征、眼睛与嘴巴的距离特征。眼睛的大小特征用眼睛检测时得到的窗口大小来衡量。双眼的距离特征是指检测得到的双眼窗口的中心位置之间的欧式距离。眼睛的对比度特征是指：在眼睛区域进行均值二值化后，黑色像素数和白色像素数的比。眼睛与嘴巴的距离特征是指：双眼中心点的平均高度与嘴巴中心点高度的差值。

参考图1中的人脸肤色检测子单元，用于检测人脸区域中的肤色像素。肤色像素的分布反映了人脸的总体形状。肤色检测当前获得了广泛的研究，已经有很多比较方便实现的方法。在本实施例中，采用阈值法以提高肤色像素检测的效率。如果像素的r、g、b值满足以下条件（1-3），则认为是一个肤色像素。

（1）r>95且g>40,且b>20；

（2）r>g,且r>b；

（3）max-min>15,且|r-b|>15；其中max和min分别为r,g,b的最大值和最小值。

参考图1中的肤色分布特征提取子单元，用于对人脸肤色提取反映人脸形状的特征。该特征提取首先依据双眼的位置对人脸进行倾斜校正；然后依据眼睛和嘴巴的位置来划分人脸；最后提取每个划分中肤色像素的占有率作为肤色分布特征。人脸倾斜校正首先计算双眼之间连线与x轴的夹角（a），然后通过图像旋转操作，将图像旋转a角度，最后将肤色图像进行裁剪得到128*128像素大小的人脸肤色图。旋转方法采用近邻差值。人脸倾斜校正的的一个具体样例见参考图3所示，在该样例中旋转角度为10度。人脸的划分依据眼睛和嘴巴的位置，见参考图4.在本实施例中，将眼睛和嘴巴之间的距离划分5个等分，同时在嘴巴下面取同样大小的一个等分。通过统计等分中内的肤色像素数量与像素总数量的比作为人脸脸型的特征；这样可得到6个人脸脸型特征。

参考图1中的局部敏感哈希索引子单元，用于对提取的人脸特征向量进行索引，以便于在查询时快速查找到具有近邻的人脸特征向量。特征向量之间的是否近邻通过欧式距离进行表示，而局部敏感哈希通过哈希函数在欧式距离具有近似近邻的快速访问特性。敏感哈希的基木思想是:通过一组哈希函数，把相似的数据对象哈希到相同的冲突桶中，使得越相似的数据对象被哈希到相同冲突桶中的概率越高。在查询时，查询的对象经过相同的哈希函数哈希得到的冲突捅中的数据对象作为候选，接着在候选对象集合上，计算查询对象与候选集中数据对象之间的距离。LSH的具体描述可参考论文:MayurDataretc.,Locality-sensitivehashingschemebasedonp-stabledistributions,inProceedingsofthetwentiethannualsymposiumonComputationalgeometry,pp.253-262,2004。本实施例中采用MIT大学的E²LSH包进行实现，其网站地址：http://www.mit.edu/~andoni/LSH/。为了构建一个适合本人脸特征库的哈希表以及满足系统的内存需求，需要确定LSH的R,1-,n,d四个参数。本实施例首先通过E²LSH包中的computeOptimalParameters方法估计参数，其中参数设定为：半径R为10，成功概率1-为0.9，特征维数dimension为：10.以及对应的待索引的人脸特征列表，用于测试的样例人脸特征列表。通过该方法获得用于构建LSH数据索引表的参数结构RNNParametersT。然后调用initLSH_WidthDataSet方法，其参数为上述获得的LSH参数结构，以及待索引的人脸特征列表；返回的结果就是索引好的结构表PRNearNeighborStructT。该结构表即可用于进行快速近似近邻查询。为了便于下次的运行，本实施例对该结构表内容进行了序列化的操作。

在查询阶段，输入的查询图像以上述索引阶段一样的方式，提取人脸区域，检测眼睛与嘴巴，并提取眼睛和嘴巴的特征，再进行人脸肤色检测，提取肤色分布特征。从而，查询图像被表示为维度为10的人脸特征向量。

参考图1中的局部敏感哈希查询子单元根据查询图像的人脸特征向量去查询LSH的索引表，得到候选近似人脸图像集合；查询过程是首先通过E²LSH包中的getRNearNeighbors方法，其参数为索引阶段构建的结构表PRNearNeighborStructT。返回结果存储在一个数组中。

参考图1中的候选图像验证排序子单元，根据查询图像和候选图像的人脸特征向量欧式距离来进行排序。由于候选的图像已经远远小于图像库中的图像，因此，采用顺序方法计算查询图像人脸特征与候选图像人脸特征之间的欧式距离；然后根据得到的欧式距离，通过快速排序方法得到相似人脸的排序。最后通过一个数量阈值和欧式距离阈值选择相似人脸图像。在本实施例中，数量阈值设定为5.欧式距离阈值设定为6。欧式距离小于6的候选人脸图像的前5张图像作为本方法得到的相似人脸图像。

Claims (2)

1.一种基于局部敏感哈希的相似人脸快速检索方法，其特征在于该方法包括如下步骤：

步骤（1）通过人脸检测获取图像中的人脸区域；

步骤（2）在人脸区域进行眼睛和嘴巴的检测，并提取眼睛和嘴巴特征；

包括:眼睛的大小特征、双眼的距离特征、眼睛的对比度特征、眼睛与嘴巴的距离特征；

眼睛的大小特征用眼睛检测时得到的窗口大小来衡量；

双眼的距离特征是指检测得到的双眼窗口的中心位置之间的欧式距离；

眼睛的对比度特征是指：在眼睛区域进行均值二值化后，黑色像素数和白色像素数的比；

眼睛与嘴巴的距离特征是指：双眼中心点的平均高度与嘴巴中心点高度的差值；

步骤（3）通过肤色检测提取人脸区域的肤色像素；

步骤（4）提取肤色分布特征；

步骤（5）依据人脸肤色分布特征、眼睛和嘴巴特征构建人脸索引库；

步骤（6）对查询图像采用步骤（1）-步骤（4）的方法提取人脸特征，并通过局部敏感哈希方法在人脸索引库中检索得到具有相似人脸的候选图像；

步骤（7）对候选图像进行基于欧式距离的验证，并对候选图像进行排序；

步骤（4）中提取肤色分布特征是依据眼睛和嘴巴的位置来划分人脸，并提取每个划分中肤色像素的占有率作为肤色分布特征；

步骤（5）依据人脸特征构建人脸索引库采用的是局部敏感哈希方法。

2.如权利要求1所述的方法，其特征在于：依据眼睛和嘴巴的位置来划分人脸的方式，其首先依据双眼的位置对人脸进行倾斜校正。