CN105160295B - 一种面向大规模人脸数据库的快速高效人脸检索方法 - Google Patents

Abstract

一种面向大规模人脸数据库的快速高效人脸识别方法，针对人脸数据特征库，在相似最近邻检索技术基础上，结合Boosting算法，提出一种增强随机正交敏感哈希算法；在建立人脸库多个哈希表时，对每一维特征的哈希索引阈值进行寻优；建立不同哈希表时，采用Boosting算法，对每一个人的样本赋予权重，通过计算前一个哈希表的类内类间分类误差更新所有训练样本的权重，指导下一个哈希表哈希索引阈值的寻优。从而保证多个哈希表之间形成一种互补的作用效果，尽可能地实现对人脸样本的正确分类，减小人脸样本的错误分类，提高人脸哈希检索的效率和准确率。

Description

一种面向大规模人脸数据库的快速高效人脸检索方法

技术领域：

本发明涉及人脸识别领域的一种面向大规模人脸数据库的快速高效人脸检索方法。

背景技术：

随着高性能计算机的快速发展，图像采集和加工能力得到提高，人脸识别技术也因此有了突飞猛进的发展，逐渐步入了真正的自动人脸识别阶段。人脸特征匹配是人脸识别的关键环节，针对传统的人脸识别检索技术在面对海量人脸数据库匹配时，通常会面临“维数灾难”而导致匹配的速度慢，识别率低的问题。

上述问题属于海量数据检索问题。目前，KD树算法可以用来提高检索的速度。此外，如VP树，RP树，M树，Quad树，R树等树形结构的方法也相继被提出和应用到最近邻检索问题中。但是。这些算法的空间复杂度或时间复杂度，都是以数据的维度作为指数的指数级别的复杂度。当数据维度比较大的时候，这些方法的检索效率甚至于不如线性检索。为了解决上述算法的局限性，而且，考虑到高维数据的“维数灾难”，最近，越来越多的哈希算法被提出并用于解决相似最近邻搜索问题。

局部敏感哈希算法(LSH)是Pitor Indyk等人首次提出的哈希算法，它是一种基于随机投影的哈希算法，该算法基本思想就是利用哈希函数值保证相似的数据点以很高的概率发生碰撞，进而能够被检测到。为了增加相似的数据点哈希碰撞的可能性，即相似的数据点具有相同的哈希编码，LSH需要许多随机投影向量来建立多个哈希表，这样便会导致存储空间增加，除此之外，LSH哈希函数的随机映射也导致其在高维核数据中检索的效果并不好。

为了充分利用数据结构的信息，很多基于学习的哈希算法陆续被提出。例如，在2011 年的CVPR会议上，Yunchao Gong等人提出了基于主成分分析的随机正交哈希算法(缩写为PCA_RR)。PCA_RR首先用PCA对原始数据进行降维，然后用随机正交变换处理PCA 降维后得到的数据，可以很好地平衡不同PCA主成分方向的方差。因此，PCA_RR降低了量化误差，弥补了基于随机投影的哈希算法不足。当哈希码长度较短时，PCA_RR拥有比较不错的效果，但是，当哈希编码的维数足够高时，其检索的效果趋于未压缩时的效果。

上述提到的哈希算法为海量人脸识别检索问题提供了思路，郭晓光利用SimHash算法在ORL人脸库上进行了仿真实验，得到的人脸识别率与检索的效率不是很理想。我们认为，这主要是由于这些算法在高维数据索引的过程中，都是假设原始数据在高维空间中是以0 为中心均匀分布的，因此对高维数据建立哈希索引时均选取0作为阈值。但是，实际上阈值为0分类性能可能不是最优的。同时多个哈希表的哈希索引的建立是孤立的。

发明内容：

本发明就是针对上述问题，提供一种面向大规模人脸数据库的快速高效人脸检索方法。

为了实现上述目的，本发明采用如下技术方案，针对人脸数据特征库，在相似最近邻检索技术基础上，结合Boosting算法，提出一种增强随机正交敏感哈希算法。在建立人脸库多个哈希表时，对每一维特征的哈希索引阈值进行寻优。建立不同哈希表时，采用Boosting 算法，对每一个人的样本赋予权重，通过计算前一个哈希表的类内类间分类误差更新所有训练样本的权重，指导下一个哈希表哈希索引阈值的寻优。从而保证多个哈希表之间形成一种互补的作用效果，尽可能地实现对人脸样本的正确分类，减小人脸样本的错误分类，提高人脸哈希检索的效率和准确率。

对于给出N个高维人脸特征数据点X＝[x₁,x₂...x_N]^T∈N×D，寻找K个不同的哈希函数，将每个数据点x_n(n＝1…N)，哈希降维到一个K位的哈希编码中：

H(x)＝[h₁(x_n),h₂(x_n),…h_K(x_n)] (1)

其中h_k(x)∈(0,1)(k＝1,…K)表示第k个哈希函数。对于基于线性投影的敏感哈希算法，有

h_k(x)＝sgn((x_nw_k-θ_k)) (2)

上式中W＝[w₁w₂…w_k…w_K]经主成分分析计算得到，实现K维降维，K<D；θ_k， (k＝1…K)为阈值。

为平衡PCA降维处理的数据点不同维度的方差，使不同类的数据尽可能地被分开，同类数据尽可能分在一起，对PCA降维处理得到的数据V＝XW进行正交矩阵变换 R(R∈K×K)。于是哈希投影函数式(2)变成式(3)

h_k(x)＝sgn((xw_kR-θ_k)) (3)

sgn为符号函数，当xw_kR-θ_k≥0时结果为1，当xw_kR-θ_k<0时结果为0.对高维人脸特征建立哈希索引时，哈希映射矩阵每一维值阈值二值化时θ_k选取0作为阈值并不合适，实际上都有其对应的最优阈值。为寻找最优阈值，定义如下目标E_平均：

假设，从目标样本人脸特征选取N个人脸特征点来作为训练库中的样本。其中，训练库中的人脸特征包括M类样本，即训练库有M个人的人脸图像，并定义每类样本权重为In_Weight(m)，初始权重为

对于中的任意一维k＝1…K，对于给定阈值θ_k，训练样本总是被分为两类。当时为“1样本”，为“0样本”。如图1所示，定义，落在左侧的训练样本为“1样本”，落在右侧的训练样本为“0样本”。

定义训练样本的类内平均分类误差，如公式(5)所示：

其中，e_m为第m类加权分类误差，S_mp表示第m类训练样本落在“1样本”侧的个数，S_mq表示第m类训练样本落在“0样本”侧的个数，S_m＝S_mp+S_mq。

(1)、类间平均分类误差的定义

定义训练样本的类间平均分类误差，如公式(7)所示：

(2)、训练样本的类间平均分类误差的权重定义，如公式(8)所示：

其中，W_E_类内表示类内平均分类误差所占的比例，W_E_类间表示类间平均分类误差所占的比例，定义，W_E_类间+W_E_类内＝1。

(3)、训练样本的平均分类误差定义

定义训练样本的平均分类误差为类内平均分类误差与类间平均分类误差之和，得到如下公式(9)：

E_平均＝α×E_类内+(1-α)×E_类间 (9)

由式(3)可知，若θ_k依次取所有特征值x_nw_kR(n＝1…N)，则由式(9)得到E_平均 ⁿ，当n＝n^*时E_平均 ^n*最小，此时的最优阈值θ_k ^*即为

θ_k ^*＝x_n*w_kR (10)

随机正交哈希算法建立多个哈希表时，某一次哈希索引存在的错误分类的目标样本特征，再次建立的哈希表可能还不能实现对该错误分类的样本特征的正确分类。这样，便会造成所建立的多个哈希表对人脸特征的分类性能不具有互补的作用。为此本发明借鉴Boosting 算法思想，根据上一个建立的哈希表各类样本分类误差情况对各类样本加权，指导下一个哈希表索引阈值的寻优，权值为公式(6)中的In_Weight(m)。

对于K维特征，每一维都可以得到θ_k ^*时按照式(6)得到各个类的分类误差，如式(11) 所示。

于是得到第m类的最终分类误差为

E_m＝min{e_mk,k＝1…K} (12)

在建立下一个哈希表时，对训练样本的权重进行更新，此时，定义其对应的权重迭代因子为β，如公式(13)所示：

权值更新公式为

In_Weight(m)＝In_Weight(m)×β (14)

这样被错误分类的样本在下一次建表时将得到重视，最优阈值的确定将提高其正确分类可能性。

其原理如图2所示，当建立第一个哈希表时，可能会出现错误分类的情况，如▲类样本与★类样本分在一起，■类样本与类样本分在一起，■类样本被分开。建立第二个哈希表，增大错误分类的训练样本▲的权重，从而使▲得到正确分类，依次类推，直到建立L个哈希表为止。综合的看，所有的类▲■★●在各个哈希表中分别有自己最好的分类表，实现互补，提高待查库人脸特征与目标库人脸特征匹配的成功率。

本发明的具体步骤为：

步骤1：离线哈希训练

1、初始化训练样本的权重，如公式(4)所示；

2、对训练库人脸特征X进行PCA建模计算，得到投影向量P，进行人脸特征压缩计算V＝XP。

3、循环1：使循环变量l＝1:L，共建立L个哈希表，对于每个l，执行到循环1结束之间的内容，

(1)随机产生正交矩阵R_l，进行计算。

(2)内循环1：使循环变量k＝1:K，对于每个k，执行到内循环1结束之间的内容，

(a)、选取的第k列所有特征值作为阈值，并对映射矩阵的第k 列二值化，然后利用姓名标记的信息矩阵S，结合公式(5)(6)求训练样本的类内平均分类误差，公式(7)求类间平均分类误差，最终由公式(8)(9) 求得训练样本的平均分类误差；

(b)、由公式(10)求得第k维的最小分类误差阈值θ_lk*；

(c)、按照式(6)计算θ_lk*时各个类的分类误差；

内循环1结束

(3)得到式(11)所示的K维特征的各个类的分类误差矩阵；

(4)由公式(12)计算每一类的最终分类误差E_m(m＝1…M)；

(5)由公式(13)计算下一个哈希表的训练样本的权重迭代因子β；

(6)利用公式(14)对每类训练样本进行权重更新；

循环1结束

步骤2：目标库哈希建表

利用步骤一中得到的P，对目标库的人脸特征X'进行PCA计算，得到V'＝X'P。

循环2：使循环变量l＝1:L，对于每个l，执行到循环2结束之间的内容，

(7)利用正交矩阵R_l，进行计算。

(8)内循环2：使循环变量k＝1:K，对于每个k，执行到内循环2结束之间的内容，

对的第k列以θ_lk ^*作为阈值利用(3)式进行二值化，得到哈希码。

内循环2结束

循环2结束

步骤3：查询库哈希计算

利用步骤一中得到的P，对查询库的人脸特征X”进行PCA计算，得到V”＝X”P。

循环3：使循环变量l＝1:L，对于每个l，执行到循环3结束之间的内容，

(9)利用正交矩阵R_l，进行计算。

(10)内循环3：使循环变量k＝1:K，对于每个k，执行到内循环3结束之间的内容，

对的第k列以θ_lk ^*作为阈值利用(3)式进行二值化得到哈希码。

内循环3结束

循环3结束

步骤4：将与查询库得到哈希码相同的目标库样本特征提取出来，与查询库进行匹配。

本发明的有益效果：

经多次实验证明，本发明人脸匹配能力强，极大的提高了人脸匹配速度和识别率。在大规模人脸数据库FRGC2.0上该算法实现人脸首选识别率等于0.9512，查询时间等于280.7s。

本发明针对快速人脸识别问题，提出了一种基于boosting的优化哈希检索方法。对于哈希编码阈值选取0不是最佳值问题，提出了遍历寻优哈希编码的最佳阈值方法，设计了样本哈希索引二值化过程最佳类内类间分类指标。同时在新表建立过程中，采用Boosting算法，通过增大错误分类样本的权重，使得不同表具有互补的分类效果。最后在FRGC2.0人脸数据库上，针对LBP人脸特征进行了实验。结果表明，提出的算法在人脸匹配速度和识别率两个指标上优于其它的哈希算法。

附图说明：

图1是本发明的训练样本一维阈值划分示意图；

图2是本发明的boosting算法互补效果示意图。

具体实施方式：

该发明在FRGC2.0人脸库进行具体实施。FRGC2.0人脸库分为目标库和查询库，都包括465个人的人脸图像。目标库有16024张人脸图片，查询库有8010张人脸图片。采用LBP算法提取人脸特征，每个人脸特征是一个2210维的向量，分别得到目标库人脸特征和查询库人脸特征。选取查询库的人脸特征作为查询点，并从目标库人脸特征中选取每个人4张人脸特征共1860张人脸特征X∈1860×2210作为训练库，先得到姓名标记的信息矩阵S，然后建立哈希表。则有M＝465，取哈希表的个数L＝25，哈希码长度K＝15，类内平均分类误差的权重系数α＝0.85。本实施总体分为三步：

一、离线哈希训练

1、初始化训练样本的权重，如公式(4)所示；

2、对1860张人脸特征X∈1860×2210进行PCA建模计算，取主成分个数为15，则得到P∈1860×15，V＝XP∈1860×15。

3、循环1：使循环变量l＝1:L，对于每个l，执行到循环1结束之间的内容，

(1)随机产生正交矩阵R_l∈15×15，进行V×R_l计算，得到

(2)内循环1：使循环变量k＝1:K，对于每个k，执行到内循环1结束之间的内容，

(a)选取的第k列所有特征值作为阈值，并对映射矩阵的第k列二值化，然后利用姓名标记的信息矩阵S，结合公式(5)(6)求训练样本的类内平均分类误差，公式(7)求类间平均分类误差，最终由公式(8)(9) 求得训练样本的平均分类误差；

(b)由公式(10)求得第k维的最小分类误差阈值θ_lk ^*；

(c)按照式(6)计算θ_lk ^*时各个类的分类误差；

内循环1结束

(3)得到式(11)所示的K维特征的各个类的分类误差矩阵；

(4)由公式(12)计算每一类的最终分类误差E_m(m＝1…M)；

(5)由公式(13)计算下一个哈希表的训练样本的权重迭代因子β；

(6)利用公式(14)对每类训练样本进行权重更新；

循环1结束

二、目标库哈希建表

利用步骤一中得到的P，对目标库的人脸特征X'∈16024×2210进行PCA计算，得到V'＝X'P∈16024×15。

循环2：使循环变量l＝1:L，对于每个l，执行到循环2结束之间的内容，

(7)利用正交矩阵R_l∈15×15，进行V'×R_l计算，得到

(8)内循环2：使循环变量k＝1:K，对于每个k，执行到内循环2结束之间的内容，

对的第k列以θ_lk ^*作为阈值利用(3)式进行二值化，得到哈希码。

内循环2结束

循环2结束

三、查询库哈希计算

利用步骤一中得到的P，对查询库的人脸特征X”∈8010×2210进行PCA计算，得到V”＝X”P∈8010×15。

循环3：使循环变量l＝1:L，对于每个l，执行到循环3结束之间的内容，

(9)利用正交矩阵R_l∈15×15，进行V”×R_l计算，得到

(10)内循环3：使循环变量k＝1:K，对于每个k，执行到内循环3结束之间的内容，

对的第k列以θ_lk ^*作为阈值利用(3)式进行二值化得到哈希码。

内循环3结束

循环3结束

将与查询库得到哈希码相同的目标库样本特征提取出来，与查询库进行一一余弦距离计算得出首选识别率。

最终得出增强迭代量化敏感哈希算法在线查询时间等于280.7s，对应的人脸首选识别率等于0.9512。

Claims (2)

1.一种基于面向大规模人脸数据库的离线哈希训练方法，其特征在于：

对于给出的N个高维人脸特征数据点X＝[x₁，x₂…x_N]^T∈N×D，利用下式（1）对其进行哈希投影

(1)

上式中sgn为符号函数，当时结果为1，当时结果为0；在高维人脸特征建立哈希索引时，哈希映射矩阵每一维值阈值二值化时θ_k选取0作为阈值并不合适，实际上都有其对应的最优阈值；为寻找最优阈值，定义如下目标E_平均：

从目标样本人脸特征选取N个人脸特征点来作为训练库中的样本；其中，训练库中的人脸特征包括M类样本，即训练库有M个人的人脸图像，并定义每类样本权重为In_Weight(m)初始权重为

(2)

对于中的任意一维,k＝1…K，对于给定阈值θ_k，训练样本总是被分为两类；当时为“1样本”，为“0样本”；

定义训练样本的类内平均分类误差，如公式(3)所示：

(3)

(4)

其中，e_m为第m类加权分类误差，S_mp表示第m类训练样本落在“1样本”侧的个数，S_mq表示第m类训练样本落在“0样本”侧的个数，S_m＝S_mp+S_mq；

(1)、类间平均分类误差的定义

定义训练样本的类间平均分类误差，如公式(5)所示：

(5)

(2)、训练样本的类间平均分类误差的权重定义，如公式(6)所示：

(6)

其中，W_E_类内表示类内平均分类误差所占的比例，W_E_类间表示类间平均分类误差所占的比例，定义

(3)、训练样本的平均分类误差定义

定义训练样本的平均分类误差为类内平均分类误差与类间平均分类误差之和，得到如下公式(7)：

(7)

由式(1)可知，若依次取所有特征值 ，则由式(7)得到，当n＝n^*时最小，此时的最优阈值即为

(8)

随机正交哈希算法建立多个哈希表时，某一次哈希索引存在的错误分类的目标样本特征，再次建立的哈希表可能还不能实现对该错误分类的样本特征的正确分类；这样，便会造成所建立的多个哈希表对人脸特征的分类性能不具有互补的作用；为此本发明借鉴Boosting算法思想，根据上一个建立的哈希表各类样本分类误差情况对各类样本加权，指导下一个哈希表索引阈值的寻优，权值为公式(4)中的In_Weight(m)；

对于K维特征，每一维都可以得到θ_k ^*时按照式(4)得到各个类的分类误差，如式(9)所示；

(9)

于是得到第m类的最终分类误差为

(10)

在建立下一个哈希表时，对训练样本的权重进行更新，此时，定义其对应的权重迭代因子为β，如公式(11)所示：

(11)

权值更新公式为

(12)

这样被错误分类的样本在下一次建表时将得到重视，最优阈值的确定将提高其正确分类可能性。

2.一种利用如权利要求1所述的方法实现的快速高效人脸检索方法，其特征在于：该方法包含离线哈希训练、目标库哈希建表、查询库哈希码计算、查询库进行匹配的人脸检索4个步骤：

步骤1：离线哈希训练

1-1、初始化训练样本的权重，如权利要求1所述的公式(2)所示；

1-2、对训练库人脸特征X进行PCA建模计算，得到投影向量P，进行人脸特征压缩计算V＝XP；

1-3、定义循环变量l，其中l＝1∶L，共建立L个哈希表，对于每个l，执行如下步骤（1）-（6）：

(1)随机产生正交矩阵R_l，进行计算；

(2)定义循环变量k，其中k＝1∶K，对于每个k，执行步骤a-c：

a、选取的第列所有特征值作为阈值，并对映射矩阵的第k列二值化，然后利用姓名标记的信息矩阵S，结合权利要求1所述的公式(3)(4)求训练样本的类内平均分类误差，权利要求1所述的公式(5)求类间平均分类误差，最终由权利要求1所述的公式(6)(7)求得训练样本的平均分类误差；

b、由权利要求1所述的公式(8)求得第k维的最小分类误差阈值θ_lk ^*；

c、按照权利要求1所述的公式(4)计算θ_lk ^*时各个类的分类误差；

(3)得到权利要求1所述的公式(9)所示的K维特征的各个类的分类误差矩阵；

(4)由权利要求1所述的公式(10)计算每一类的最终分类误差E_m(m＝1…M)；

(5)由权利要求1所述的公式(11)计算下一个哈希表的训练样本的权重迭代因子β；

(6)利用权利要求1所述的公式(12)对每类训练样本进行权重更新；

步骤2：目标库哈希建表

利用步骤1中得到的P，对目标库的人脸特征X′进行PCA计算，得到V′＝X′P；

定义循环变量，其中，对于每个，执行如下步骤（7）-（8）：

(7)利用正交矩阵R_l，进行计算；

(8)定义循环变量k，其中k＝1∶K，对于每个k，执行以下步骤d，

d、对的第k列以作为阈值利用权利要求1所述的公式(1)进行二值化，得到哈希码；

步骤3：查询库哈希码计算

利用步骤1中得到的P，对查询库的人脸特征X″进行PCA计算，得到V″＝X″P；

定义循环变量，其中，对于每个，执行以下步骤（9）-（10）：

(9)利用正交矩阵R_l，进行计算；

(10)定义循环变量k，其中k＝1∶K，对于每个k，执行步骤e，

e、对的第k列以作为阈值利用权利要求1所述的公式(1)进行二值化得到哈希码；

步骤4：将与查询库得到哈希码相同的目标库样本特征提取出来，与查询库进行匹配。