CN104765768A - 海量人脸库的快速准确检索方法 - Google Patents

Abstract

本发明公开了一种海量人脸库的快速准确检索方法，包括：(1)建立与人脸图像库对应的人脸特征库；(2)利用人脸图像库中的人脸图像集合及其对应特征，通过距离度量学习获得一个特征变换；(3)对变换后的人脸特征采用K-均值方法进行二分或多分聚类；(4)建立海量人脸库的层次索引结构；(5)对待查询人脸图像提取局部特征或局部和整体特征；(6)对应层次索引结构及其相应的特征变换，对提取的人脸特征进行一次特征变换后，通过与每一聚类的中心向量计算距离度量，判决属于哪一聚类；(7)若该聚类为层次索引结构中的非叶节点，则继续(6)，否则在该聚类中通过最近邻搜索的方法，检索距离度量最小的人脸特征并返回对应的人脸图像。

Description

海量人脸库的快速准确检索方法

技术领域

本发明涉及一种海量人脸库的快速准确检索方法。

背景技术

大规模人脸库的快速检索在人员管理、视频监控等系统中有重要的实用价值，如人员身份验证、嫌疑人员轨迹搜索等。人脸库中的人脸图像可能来源于静态的人脸采集，如身份证件照片，也可能来源于视频监控系统中的动态人脸检测与提取。尤其是后者，将导致采集的人脸数量指数增长，形成海量的人脸库。对于一张待查询的人脸图像，如何在海量的人脸库中以近实时的方式进行检索，准确的提供与待查询人脸相似度最高的若干人脸结果及相关信息(如人脸图像采集的时间、地点等)，是人员管理、视频监控等系统中一个亟待解决的问题。

解决上述问题需要同时解决准确性和快速性两方面问题。基于深度学习的人脸识别技术，尽管可以实现高准确度的人脸识别，但对计算资源有很高要求，无法应用于海量人脸库的检索。另一方面，基于主成分分析(PCA)、线性判决分析(LDA)等技术实现人脸识别，虽然计算复杂度较低，但在光照、姿态等条件变化下人脸识别的准确度不高，在大规模人脸库的情况下，无法提供满意的检索效果。从提高检索速度的角度，大规模图像库的检索，其主要思想都是采用建立图像库层次索引结构的方法来实现加速检索。具体到人脸检索，如何在保证人脸识别准确度的前提下，为海量人脸库建立合适的层次索引结构，实现快速检索，是目前亟需解决的主要技术问题。

在实际应用中，人脸库中存储的人脸数目和内容都不断变化。因此，海量人脸库的检索，还需要解决层次索引结构的动态更新问题。此外，由于人脸检索的结果通常都通过人工进行最终的判定，因此，在海量人脸库中存在一部分已确定匹配或不匹配的人脸图像集合。如何在人脸库层次索引结构的建立和更新过程利用这部分先验知识，也是目前亟需解决的技术问题。

海量人脸库的检索问题可以简单表述为：给定一个有N张人脸的大规模人脸库和一张待查询人脸，如何在库中快速的检索出与待查询人脸最相似的前n张人脸图像？这个问题涉及到人脸识别和数据检索两方面技术。通过对人脸库中每一张人脸进行特征提取，得到每一张人脸的一个特征向量，从而建立与人脸图像库对应的人脸特征库，再对应提取待查询人脸的特征向量，与人脸特征库中的特征向量进行逐一比对，计算特征向量间距离(如欧氏距离)，特征向量距离越小，则对应的人脸相似度越高。

由于对大规模人脸特征库进行逐一比对的计算复杂度太高，通常采用聚类检索的方式。其基本思想是将整个人脸特征库分成多个类，对每一个类计算一个中心向量，检索时通过与每一个类的中心向量比对，将检索范围迅速缩小到一个或几个类，达到加速的目的。

中国专利文件CN102609733A“海量人脸库应用环境下的人脸快速识别方法”引入二分K-均值聚类算法BKM结合PCA+LDA算法对大规模人脸库进行特征提取。首先对人脸库计算每个样本的均值向量，本着类内聚合度最大、类间耦合度最小的原则映射到某个维度空间；然后在这个维度空间对其进行聚类；得到聚类结果后，将各个样本按照其簇属性重新组合分组；最后在每个簇上使用线性子空间人脸特征提取算法进行特征提取。

现有技术基于人脸PCA和LDA特征，在光照、姿态等条件变化下人脸识别的准确度不高，在大规模人脸库的情况下，无法提供满意的检索效果。更重要的是，现有技术在对大规模人脸库进行层次聚类时通过简单的距离度量进行类内耦合度和类间相似度的判定，未能实现最优的特征降维和最具判决作用的聚类结果。此外，现有技术未能很好地解决层次索引结构的动态更新问题，也没有在人脸库层次索引结构的建立和更新过程中利用人工标注的人脸匹配结果。

因此，亟需一种海量人脸库的快速准确检索方法。

发明内容

本发明的目的是提供一种海量人脸库的快速准确检索方法。

为了实现上述目的，本发明提供的技术方案为：提供：一种海量人脸库的快速准确检索方法，包括：

(1)对人脸图像库中人脸图像提取人脸局部特征或局部和整体特征，建立与人脸图像库对应的人脸特征库；

(2)利用人脸图像库中一个已标注为匹配或不匹配的人脸图像集合及其对应特征，通过距离度量学习获得一个特征变换；

(3)将获得的特征变换应用于人脸特征库，对变换后的人脸特征采用K-均值方法进行二分或多分聚类；

(4)对获得的每一聚类所对应的人脸特征库及其对应的人脸图像库重复步骤(2)和(3)，直至一结束条件得到满足，从而建立海量人脸库的层次索引结构，该索引结构的每一叶节点和非叶节点分别对应于一个针对人脸局部特征或局部和整体特征的特征变换；

(5)对待查询人脸图像提取与(1)对应的局部特征或局部和整体特征；

(6)对应层次索引结构及其相应的特征变换，对提取的人脸特征进行一次特征变换后，通过与每一聚类的中心向量计算距离度量，判决属于哪一聚类；

(7)若该聚类为层次索引结构中的非叶节点，则继续(6)，否则在该聚类中通过最近邻搜索的方法，检索距离度量最小的人脸特征并返回对应的人脸图像。

其中提取的人脸局部特征或局部和整体特征为局域二值模式特征。

其中提取的人脸局部特征或局部和整体特征为通过神经网络获取的。

将一个已标注的人脸特征库表示为{(x_i，x_j，y_ij)}，其中x_i，x_j代表两张人脸图像的局域二值模式特征，y_ij＝1若x_i，x_j对应同一人，y_ij＝-1若x_i，x_j对应不同人，则距离度量学习的目标是找到一个线性特征变换，即投影矩阵H，使以下误差函数最小：

$E_{,}={\mathrm{\Σ}}_{\{i,j\}}{f}_{\mathrm{\γ}}\left(y_{\mathrm{ij}}({\left|\right|H(x_i-x_j)\left|\right|}_2^2-1)\right)$

其中： $f_{\mathrm{\γ}}\left(t\right)=\frac{1}{\mathrm{\γ}}\log (1+\exp \left(\mathrm{\γt}\right))$

为逻辑回归的损失函数。

通过距离度量学习寻找一个投影空间，使投影后的特征中已标注为匹配的人脸间距离尽量小，而使已标注为不匹配的人脸间距离尽量大。

对人脸库中所有人脸特征进行特征变换，对变换后的特征集合，采用K-均值的方法实现二分或多分聚类，对得到的每一聚类，再针对该聚类中的人脸图像和特征集合，采用同样的方法进行新的距离度量学习和K-均值聚类，直到层次结构达到预先定义的深度，或每一聚类内人脸数目满足预定义的大小。

由步骤(1)建立的层次索引结构中，每一叶节点和非叶节点均有一个对应的特征变换矩阵。

步骤(4)中的结束条件为每一聚类对应的人脸数目不超过一个预定义的数目。

与现有技术相比，本发明的关键点在于利用海量人脸库中已标注的人脸图像子集，采用半监督学习的方法，通过距离度量学习，由粗而细的寻找最能区分人脸集合的特征投影，建立层次化的索引结构，同时保证每一层的最优聚类。本发明采用人脸局域二值模式特征，在光照、对比度等条件变化的情况下具有很好的鲁棒性，同时计算复杂度相对较低。通过层次化的距离度量学习、K-均值聚类，本发明在保证人脸识别准确度的前提下，为海量人脸库建立合适的层次索引结构，实现快速检索。本发明同时解决了在实际应用中，人脸库中存储的人脸数目和内容都不断变化的情况下，如何有效利用人工已标注的人脸数据集，实现层次索引结构的动态更新问题。

通过以下的描述并结合附图，本发明将变得更加清晰，这些附图用于解释本发明的实施例。

附图说明

图1为本发明海量人脸库的快速准确检索方法的一个实施例的示意图。

图2为基于特征变换和层次索引结构的人脸检索的示意图。

具体实施方式

现在参考附图描述本发明的实施例，附图中类似的元件标号代表类似的元件。如上所述，如图1、2所示，本本发明提出了一种海量人脸库的快速准确检索方法。该方法包括对一个海量人脸图像库，采用半监督学习的方法，建立(或更新)基于人脸局域二值模式(LBP)特征的层次索引结构，以及对一张给出的待查询人脸图像实现快速准确的检索出与待查询人脸最相似的前n张人脸图像。

本发明中建立(或更新)海量人脸库的层次索引结构的技术方案包括：(1)对人脸图像库中人脸图像提取人脸局域二值模式特征，建立与人脸图像库对应的人脸特征库；(2)利用人脸图像库中一个已标注为匹配或不匹配的人脸图像集合及其对应特征，通过距离度量学习获得一个特征变换；(3)将获得的特征变换应用于人脸特征库，对变换后的人脸特征采用K-均值方法进行二分或多分聚类；(4)对获得的每一聚类所对应的人脸特征库及其对应的人脸图像库重复步骤(2)和(3)，直至一结束条件得到满足，从而建立海量人脸库的层次索引结构，该索引结构的每一叶节点和非叶节点分别对应于一个针对人脸局部特征或局部和整体特征的特征变换；步骤(4)中的结束条件为每一聚类对应的人脸数目不超过一个预定义的数目。

本发明中对一张给出的待查询人脸图像进行检索的技术方案包括：(1)对待查询人脸图像提取局域二值模式特征；(2)对应层次索引结构及其相应的特征变换，对提取的人脸特征进行一次特征变换后，通过与每一聚类的中心向量计算距离度量，判决属于哪一聚类；(3)若该聚类为层次索引结构中的非叶节点，则继续(2)，否则在该聚类中通过最近邻搜索的方法，检索距离度量最小的人脸特征并返回对应的人脸图像。

其中，由于人脸检索的结果通常都通过人工进行最终的判定，因此，在海量人脸库中存在一部分已确定匹配或不匹配的人脸图像集合。本发明利用这部分已标注人脸数据进行有监督的距离度量学习，建立(或更新)海量人脸库的层次索引结构。具体而言，若将一个已标注的人脸数据库表示为{（x_i，x_j，y_ij)}，其中x_i，x_j代表两张人脸图像的局域二值模式特征(向量)，y_ij＝1若x_i，x_j对应同一人，y_ij＝-1若x_i，x_j对应不同人，则距离度量学习的目标是找到一个线性特征变换，即投影矩阵H，使以下误差函数最小：

$E_{,}={\mathrm{\Σ}}_{\{i,j\}}{f}_{\mathrm{\γ}}\left(y_{\mathrm{ij}}({\left|\right|H(x_i-x_j)\left|\right|}_2^2-1)\right)$

其中： $f_{\mathrm{\γ}}\left(t\right)=\frac{1}{\mathrm{\γ}}\log (1+\exp \left(\mathrm{\γt}\right))$

为逻辑回归的损失函数。

距离度量学习的本质是寻找一个投影空间，使投影后的特征中已标注为匹配的人脸(即正样本)间距离尽量小，而已标注为不匹配的人脸(即负样本)间距离尽量大。

通过上述方法获得特征变换H后，对人脸库中所有人脸特征进行特征变换，即对每一特征向量x：xH＝Hx。对变换后的特征集合，采用K-均值的方法实现二分或多分聚类。对得到的每一聚类，再针对该聚类中的人脸图像和特征集合，采用同样的方法进行新的距离度量学习和K-均值聚类，直到层次结构达到预先定义的深度，或每一聚类内人脸数目满足预定义的大小。

由此建立的层次索引结构中，每一叶节点和非叶节点均有一个对应的特征变换矩阵。

在上述层次(或树形)索引结构下，对海量人脸库的检索则利用相应的特征变换和在叶节点中的最近邻搜索实现。图2为基于已建立的层次索引结构的一个人脸检索过程的示意图(以二分树为例)。通过提取待查询人脸的局域二值模式特征获得特征向量x，将该特征向量进行索引结构根节点的特征变换，然后与对应的两个聚类的中心向量进行比较，决定该人脸特征属于哪一聚类(如图中深色圆点所示)；对所属的下一节点，将其对应的特征变换应用于特征向量x，若该节点为层次索引结构中的非叶节点，则重复上述过程直到叶节点。在叶节点中对应的人脸特征聚类中，通过最近邻搜索的方法，检索距离度量最小的人脸特征并返回对应的人脸图像。

图1和图2所示的特征提取也可以采用其它方法，如卷积神经网络等深度学习方法，在增加一定计算复杂度的条件下，实现更高的人脸检索精度。值得指出的是，度量学习、层次聚类，以及检索时的特征变换和最近邻搜索等模块的计算复杂度并不取决于特征提取的具体方法，而是由生成的特征向量维数决定。

本发明的关键点在于利用海量人脸库中已标注的人脸图像子集，采用半监督学习的方法，通过距离度量学习，由粗而细的寻找最能区分人脸集合的特征投影，建立层次化的索引结构，同时保证每一层的最优聚类。本发明采用人脸局域二值模式特征，在光照、对比度等条件变化的情况下具有很好的鲁棒性，同时计算复杂度相对较低。通过层次化的距离度量学习、K-均值聚类，本发明在保证人脸识别准确度的前提下，为海量人脸库建立合适的层次索引结构，实现快速检索。本发明同时解决了在实际应用中，人脸库中存储的人脸数目和内容都不断变化的情况下，如何有效利用人工已标注的人脸数据集，实现层次索引结构的动态更新问题。

以上所揭露的仅为本发明的优选实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。

Claims (8)

1.一种海量人脸库的快速准确检索方法，其特征在于，包括：

(1)对人脸图像库中人脸图像提取人脸局部特征或局部和整体特征，建立与人脸图像库对应的人脸特征库；

(2)利用人脸图像库中一个已标注为匹配或不匹配的人脸图像集合及其对应特征，通过距离度量学习获得一个特征变换；

(3)将获得的特征变换应用于人脸特征库，对变换后的人脸特征采用K-均值方法进行二分或多分聚类；

(4)对获得的每一聚类所对应的人脸特征库及其对应的人脸图像库重复步骤(2)和(3)，直至一结束条件得到满足，从而建立海量人脸库的层次索引结构，该索引结构的每一叶节点和非叶节点分别对应于一个针对人脸局部特征或局部和整体特征的特征变换；

(5)对待查询人脸图像提取与(1)对应的局部特征或局部和整体特征；

(6)对应层次索引结构及其相应的特征变换，对提取的人脸特征进行一次特征变换后，通过与每一聚类的中心向量计算距离度量，判决属于哪一聚类；

(7)若该聚类为层次索引结构中的非叶节点，则继续(6)，否则在该聚类中通过最近邻搜索的方法，检索距离度量最小的人脸特征并返回对应的人脸图像。

2.如权利要求1所述的海量人脸库的快速准确检索方法，其特征在于：其中提取的人脸局部特征或局部和整体特征为局域二值模式特征。

3.如权利要求1所述的海量人脸库的快速准确检索方法，其特征在于：其中提取的人脸局部特征或局部和整体特征为通过神经网络获取的。

4.如权利要求1所述的海量人脸库的快速准确检索方法，其特征在于：将一个已标注的人脸特征库表示为((x_i，x_j，y_ij))，其中x_i，x_j代表两张人脸图像的局部特征或局部和整体特征，y_ij＝1若x_i，x_j对应同一人，y_ij＝-1若x_i，x_j对应不同人，则距离度量学习的目标是找到一个线性特征变换，即投影矩阵H，使以下误差函数最小：

$\text{'}E={\mathrm{\Σ}}_{\{i,j\}}{f}_{\mathrm{\γ}}\left(y_{\mathrm{ij}}({\left|\right|H(x_i-x_j)\left|\right|}_2^2-1)\right)$

其中： $f_{\mathrm{\γ}}\left(t\right)=\frac{1}{\mathrm{\γ}}\log (1+\exp \left(\mathrm{\γt}\right))$

为逻辑回归的损失函数。

5.如权利要求1所述的海量人脸库的快速准确检索方法，其特征在于：通过距离度量学习寻找一个投影空间，使投影后的特征中已标注为匹配的人脸间距离尽量小，而使已标注为不匹配的人脸间距离尽量大。

6.如权利要求4或权利要求5所述的海量人脸库的快速准确检索方法，其特征在于：对人脸库中所有人脸特征进行特征变换，对变换后的特征集合，采用K-均值的方法实现二分或多分聚类，对得到的每一聚类，再针对该聚类中的人脸图像和特征集合，采用同样的方法进行新的距离度量学习和K-均值聚类，直到层次结构达到预先定义的深度，或每一聚类内人脸数目满足预定义的大小。

7.如权利要求1所述的海量人脸库的快速准确检索方法，其特征在于：由步骤(1)建立的层次索引结构中，每一叶节点和非叶节点均有一个对应的特征变换矩阵。

8.如权利要求1所述的海量人脸库的快速准确检索方法，其特征在于：步骤(4)中的结束条件为每一聚类对应的人脸数目不超过一个预定义的数目。