CN104765739B - 基于形状空间的大规模人脸数据库检索方法 - Google Patents

Abstract

本发明是一种基于形状空间中几何匹配追踪的大规模人脸数据库检索方法，属于人脸识别和形状分析领域。该方法自动定位人脸特征点并基于其位置将图像投影至形状空间，计算图像在形状空间中用于检索的几何结构。该方法分为离线数据库建立和在线检索两部分。离线数据库存储人脸图像的几何结构。在线部分计算出待检索图像的几何结构，在数据库中快速搜索匹配人脸图像。本发明为大规模人脸数据库检索提供了一种全新的设计模式。本方法匹配信息数据量紧凑，适用于分布式系统实现。形状空间中点集的几何结构可大幅降低匹配次数，提高了检索速度，适用于对实时性有较高要求的应用。本发明可有效解决大规模人脸数据库检索数据存储量巨大和检索耗时的问题。

Description

基于形状空间的大规模人脸数据库检索方法

技术领域

本发明属于人脸识别和形状分析技术领域，具体涉及一种基于形状空间中几何匹配追踪的大规模人脸数据库检索方法。

背景技术

人脸识别技术是人工智能中颇为典型，具有极强实用价值的应用，经过几十年的发展，人脸识别技术已由实验室走向商业应用阶段，与其他生物认证方法相比，人脸识别技术具有设备成本低，易于部署维护，无侵入性等优点，因此，在公司考勤，小区门禁等应用中，逐渐成熟的商用人脸识别系统正逐步取代指纹，虹膜，签名识别的位置。

然而，由于图像包含的信息量巨大，现有商用人脸识别系统普遍具有所需存储量大，匹配搜索耗时的缺点，这两点将现有人脸识别系统局限在较小的数据集中，难以扩展至公共场所安全监控等应用所必需的大规模数据库环境下。

传统的大规模图像检索技术通常采用在图像上采集特征向量，利用特征向量匹配的方法,如基于主成分分析的方法、基于Gabor变换多尺度特征的方法，这类直接套用针对一般图像的检索技术忽略了人脸识别应用的固有特质，特征提取和检索匹配的效率都不高，难以适应海量数据和高实时性的应用场合。

本发明将形状分析的思路引入人脸识别技术，利用人脸特征点将图像投影至形状空间。基于人脸特征点的图像特征描述向量抓住人脸的本质特征，屏蔽了背景、光照和坐标系等无关的因素，同时，本发明充分利用了形状空间中数据库的几何结构，极大的提升了检索匹配的效率。

发明内容

本发明的目的是提出一种基于形状空间中几何匹配追踪的大规模人脸数据库检索系统，以解决人脸识别技术特征描述存储量大和匹配搜索耗时的问题，本发明基于形状分析的思想，在人脸图像上自动检测实现定义的人脸特征点，以构造紧凑的人脸特征描述向量，利用人脸特征点将图像投影至形状空间，在形状空间中分析数据库的几何结构，以实现高效匹配。

本发明包含离线数据库建立和在线搜索匹配两部分，离线部分采集人脸图像数据库，将数据库投影至形状空间，计算数据库在形状空间的几何结构，在线部分将待检索图像投影至形状空间，利用数据库几何结构高效匹配，具体步骤包括：离线数据采集，自动人脸检测和人脸特征点定位，Procrustes分析，计算数据库在形状空间中对应点集组成的凸多面体并保存所有的边；在线检测正面人脸图像，自动人脸区域检测和人脸特征点定位，Procrustes 分析, 利用几何匹配追踪在数据库中寻找最佳匹配的人脸图像。

本发明的主要特点有，人脸特征描述采用几何形状信息，数据量紧凑，所需存储空间和传输带宽少，特别适合分布式系统实现，同时对光照和肤色变化具有较好的鲁棒性，检索匹配时充分利用数据库几何结构，所需匹配次数少，计算高效，特别适用于对实时性要求较高的应用场合。

附图说明

附图1：系统实现结构图。

附图2：算法流程图。

附图3：几何匹配追踪过程示意图。

具体实施方式

本发明提出了一种基于形状空间中几何匹配追踪的大规模人脸数据库检索方法，现结合附图，以一种分布式系统实现为例，详细讲解本发明的具体实施方式。

附图1所示的为人脸数据库检索系统的分布式实现结构，系统可分为数据中心，前端和控制中心这三个部分，之间通过私有网络互连，数据中心负责图像采集和数据库建立，在这里，人脸图像被投影至形状空间，而数据库在形状空间中的几何结构也被离线计算并存储以供检索调用，前端负责在实时输入视频中检测人脸，提取特征描述向量，并将人脸特征描述向量发至数据中心进行匹配检索，系统可支持多个前端同时工作，前端通过无线传输接入设备接入网络，易于整个系统监控范围的部署和移动，控制中心负责整个系统软件的维护与升级，同时在目标距离摄像头较远或成像条件较差时也可提供一个人工辅助决策的接口。

附图2所示的为人脸数据库检索系统的算法流程，整个流程分为离线和在线两个部分：

1.离线部分

（1）采集大量人脸图像，系统采集大量人脸图像组成数据库，以供检索，每一幅人脸图像称为一个样本，采集样本时，要求成像条件良好，正面姿态，背景较简单，类似身份证照片采集要求，在数据库之上，可由控制中心定义并在线修改如安全白名单和预警黑名单等索引列表，以适应不同应用；

（2）人脸检测，本发明采用基于haar特征弱分类器的adaboost算法，如“RapidObject Detection Using a Boosted Cascade of Simple Features, Paul Viola,Michael Jones, Computer Vision and Pattern Recognition 2001”中所述；

（3）人脸特征点检测和特征描述向量提取，预先定义一组人脸特征点，如眼角鼻尖等，本发明在业内普遍使用的Farkas人脸特征点中选择了一部分纹理特征较为显著的点，采用AAM（active appearance model）算法自动在图片上检测这些人脸特征点，具体过程如“Active Appearance Model, Tim Coots, Pattern Analysis and MachineIntelligence 2001”中所述，本发明选用人脸特征点的图像坐标作为图像的特征描述向量，如一幅人脸图像上的个人脸特征点的图像坐标分别为，，…, ，那么该样本的特征描述向量为；

（4）投影至形状空间，本发明中的形状空间指的是Kendall所定义的形状空间，即去除了尺度，旋转和平移的空间，描述物体形状的内在特征，利用Procrustes 分析，系统首先计算数据库中所有图像特征描述向量的Procrustes平均值，称为Procrustes平均形状，对数据库里的每一个样本，计算一组最优的尺度，旋转和平移变换，令变换后的特征描述向量和Procrustes平均形状之间欧式距离最小，步骤如下：

（a）计算每个形状的形心坐标；

（b）对所有形状的大小进行归一化；

（c）根据形心坐标, 将2个形状位置对准在一起；

（d）根据角度对2个形状进行旋转对准；

上述这个过程称为对齐，以Procrustes平均形状为基准，数据库中各个样本通过最优的尺度，旋转和平移变换尽可能的接近了基准，同时保留了自身的形状信息，即特征点之间的相对位置信息，通过对齐，各样本之间尺度，旋转和平移的差别被消除了，形状信息得以突显出来，在后续处理中，系统采用对齐后的特征描述向量，至此，图像数据库被投影至形状空间，对应为形状空间中一组点；

（5）计算数据库几何结构，在形状空间中，人脸图像数据库对应一组点，称为点集，传统的图像检索系统普遍采用遍历搜索，耗时严重，而本发明通过计算数据库的几何结构，有效的减少匹配次数，提升检索速度，系统计算形状空间中点集所对应的凸多面体，并记录下该凸多面体的所有边，这些边组成了数据库的几何结构，对每一个样本点，与其有边相连的所有点加上它自身构成了它的一个领域，这些连接关系和领域组成了数据库的拓扑结构，在匹配检索时，数据库的拓扑结构提供了高效的搜索路径，附图3示意了一个典型的形状空间中凸多面体和匹配搜索路径；

2.在线部分

（1）实时视频输入，前端摆放的摄像头采集实时监控视频输入系统。控制中心可远程调整摄像头的焦距，视角，高度等参数，以覆盖相应的监控区域；

（2）正面人脸检测，在监控视频中，系统自动检测正面人脸，记录图像和人脸区域，检测正面人脸的方法选用人脸姿态估计技术，如 “Face Pose Estimation and ItsApplication in Video Shot Selection, Zhiguang Yang, Haizhou Ai, Bo Wu,Shihong Lao and Lianhong Cai, International Conference on Pattern Recognition2004” 中所述；

（3）人脸特征点检测和特征描述向量提取，采用AAM算法，过程与离线部分对应模块类似，基于检测得到的人脸特征点位置，待检索图像可由特征描述向量表示；

（4）将待检索图像投影至形状空间，计算最优的旋转，尺度和平移变换，令变换后的待检索图像描述向量与数据库的Procrustes平均形状之间对应点的欧式距离最小，即以Procrustes平均形状为基准的对齐，去除旋转，尺度和平移影响的待检索图像被投影至形状空间，对应形状空间中一个点，可以跟数据库图像进行比较匹配；

（5）几何匹配追踪搜寻最佳匹配，通过上述对齐过程，待检索图像被投影至形状空间，在形状空间中，系统寻找待检索图像的最佳匹配，这里的最佳匹配指两张图像在形状空间中对应向量之间的夹角最小，在数据库规模大的情况下，在整个点集中搜索最匹配的点耗时严重，本方法提供了一中新的搜索算法，即几何匹配追踪算法，公式如下:

给定待检索图像对应的点，系统首先确定一个任意的检索初始点作为当前候选点，然后，系统交替重复以下两个步骤：

（a）将待检索图像与当前候选点的领域中所有点进行匹配，选出该局部领域中的最佳匹配；

（b）将局部领域中的最佳匹配设为新的当前候选点，终止条件：当局部领域中的最佳匹配为当前候选点自身时，算法迭代结束，该局部领域最佳匹配即为几何匹配追踪的最终匹配结果，利用数据库的几何结构，系统实现了一种高效的贪婪搜索算法。

附图3示意了一个典型的数据库几何结构和之上的一次搜索匹配过程，蓝色类似球体的即为数据库所对应凸多面体，其上每一结点对应数据库中一张人脸图像，黑色箭头所示向量X，代表待检索图像在形状空间中对应的点，红色箭头组成了搜索路径，其中圆形点表示临时当前候选点，正方形点表示最终最佳匹配，即迭代搜索过程终止时的当前候选点。

Claims (2)

1.一种基于形状空间中几何匹配追踪的大规模人脸数据库检索方法，其特征在于将人脸数据库投影至形状空间成为对应点集，由点集构造数据库的几何结构，具体包含以下步骤：

离线部分：

（1）、采集大量人脸图像，采用基于haar特征弱分类器的adaboost算法自动检测人脸区域，并基于主动外观模型算法AAM自动检测事先定义好的人脸特征点；

（2）、基于人脸特征点的位置分布，提取人脸图像特征描述向量，并将人脸图像投影至形状空间形成相应的点；

（3）、计算数据库所有人脸图像在形状空间中对应点集的几何结构，所述的几何结构是凸多面体中所有的边，该凸多面体由数据库中所有人脸图像特征投影至形状空间中的点集组成；

在线部分：

（4）、在输入的实时视频中自动检测正面人脸图像，检测与离线部分统一的人脸特征点；

（5）、基于人脸特征点的位置分布，提取人脸图像特征描述向量，将人脸图像投影至形状空间；

（6）、利用数据库在形状空间的几何结构，在数据库中检索待检索图形的最佳匹配，将待检索点与数据库几何结构候选点领域中找出最佳匹配点替代候选点，不断迭代计算，直到候选点领域中的最佳匹配为候选点自身时，该候选点记为匹配结果并输出。

2.根据权利要求1所述基于形状空间中几何匹配追踪的大规模人脸数据库检索方法，其特征在于所述投影至形状空间采用的方法是Procrustes 分析；利用Procrustes 分析，系统首先计算数据库中所有图像特征描述向量的Procrustes平均值，称为Procrustes平均形状；对数据库里的每一个样本，计算一组最优的尺度，旋转和平移变换，令变换后的特征描述向量和Procrustes平均形状之间欧式距离最小，步骤如下：

（a）计算每个形状的形心坐标；

（b）对所有形状的大小进行归一化；

（c）根据形心坐标，将2个形状位置对准在一起；

（d）根据角度对2个形状进行旋转对准。