CN102222232A - 人脸多阶层快速过滤匹配装置及方法 - Google Patents

Abstract

本发明公开了一种人脸多阶层快速过滤匹配装置，包括多阶层识别搜索引擎，该多阶层识别搜索引擎承担人脸图像和模板数据的多层次过滤搜索和匹配运算；以及应用管理服务器，该应用管理服务器负责分配数据和协调各个子服务器的任务。本发明通过多层次的搜索及匹配，有效提高大规模人脸数据库图像匹配的精准度和效率，使基于人脸识别的大库联机智能监控系统达到真正实用。

Description

人脸多阶层快速过滤匹配装置及方法

技术领域

本发明涉及身份识别技术领域，具体涉及一种人脸多阶层快速过滤匹配装置及方法。

背景技术

人脸识别系统以人脸识别技术为核心的一项新兴的生物识别技术，是当今国际科技领域攻关的高精尖技术。在生物识别领域，人脸识别技术(FRT)已逐渐引起越来越多的工业界研究人员的关注，近年来，随着相关技术的飞速发展和实际需求的日益增长，人脸识别在许多领域展现了广阔的应用前景。例如：人脸识别技术作为辅助手段用于司法领域，进行身份验证、罪犯识别等；其在商业上也有许多潜在的应用，如银行信用卡的身份识别、安全识别系统、可视电话、医学、档案管理、酒店管理、电视会议人机交互系统等方面，不但可以提高社会运行的效率，也可以大大增强公民日常生活的安全性，因此人脸识别技术已成为当前模式识别和人工智能领域的一个研究热点。与指纹、虹膜、基因、声音等其他生物特征识别系统相比，人脸因具有不可复制、采集方便、不需要被拍者的配合而深受欢迎。

最近几年，人脸识别技术逐渐走出了实验室阶段，由原型系统朝着商业化应用系统的方向发展。FRVT(Face Recognition Vendor Test)对来自现实生活的人脸图像进行大规模测试的结果表明：随着人脸数据规模的增大，速度和识别率随之下降，这在很大程度上限制了其应用范围，潜在的巨大市场需求和高可靠性的使用要求驱使研究人员从更加广阔的层面来考虑提高现有人脸识别的技术水平。

近年来，生物识别等技术开始在酒店智能化中崭露头角，位于美国波士顿的Nine Zero酒店就率先应用了瞳孔生物识别技术，顾客走进大堂后，只要到自助终端机前就可以作入住登记，并能自由进出房间。但由于虹膜识别技术所需的设备和技术费用成本极高，目前在我国的酒店等综合服务性行业还难以推广。另外，我国公开的犯罪分子追逃数据库目前只包括然人脸和指纹数据局，尚不含有成规模的虹膜数据库。

目前，我国从事生物特征识别技术产品开发的厂家多达200多家，产品趋同化现象严重，在总体约2.5亿元的市场中，超过40％的产品都集中在民用方面，如低端的考勤、门禁等，在这些现有的技术中，多数是通过对客户端人脸图像进行采集后，采用基于主成分分析的特征匹配搜索算法直接与数据库中存储的人脸模板图像进行整体对比，然后根据一次性搜索匹配的结果得出被拍摄人的身份信息。此类人脸识别产品在图像采集、识别速度和准确率等方面与国外的前沿技术相比仍存在一定差距，而且产品的稳定性方面也不甚理想，主要表现在后台数据库规模增大的情况下，搜索比对速度无法达到实时处理的要求，更重要的是，人脸图像识别的错误接受率(FAR)随数据库规模的批量扩充而大幅升高，因此而产生的误报警(False Alarm)现象让很多商家和公共安防部门对基于人脸识别的智能安全报警系统望而却步。以上因素严重制约了人脸识别技术在我国有安防价值的高端智能监控和大规模数据库精确搜索方面的推广和应用。

发明内容

针对上述技术问题，本发明提供了一种基于多阶层快速过滤搜索的人脸识别装置和方法，通过不同类别的人脸特征匹配方法进行多层次的过滤搜索及识别，有效提高大规模人脸数据库的实时匹配速度和识别精准度。

实现本发明目的的技术方案如下：

人脸多阶层快速过滤匹配装置，包括多阶层识别搜索引擎，该多阶层识别搜索引擎承担人脸图像和模板数据的多层次过滤搜索和匹配运算；以及应用管理服务器，该应用管理服务器负责分配数据和协调各个子服务器的任务。

所述多阶层识别搜索引擎包括：第一层的向量搜索模块，第二层的主成分分析搜索模块，第三层的纹理特征搜索模块，第四层的三维重构搜索模块。

人脸多阶层快速过滤匹配方法，输入采集的人脸图像后，通过以下步骤进行过滤搜索：

通过步骤11采用基于低分辨率向量匹配的人脸图像快速过滤搜索算法之后，进入步骤12进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数、和匹配可信度并终止搜索程序，若判断结果为否，则进入步骤13；

通过步骤13采用基于主成分分析的中等分辨率图像匹配识别算法后，进入步骤14进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数、和匹配可信度并终止搜索程序，若判断结果为否，则进入步骤15；

通过步骤15采用基于多重皮肤特征的高分辨率纹理特征匹配算法后，进入步骤16进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数、和匹配可信度并终止搜索程序，若判断结果为否，则进入步骤17；

通过步骤17采用基于三维建模匹配算法后，进入步骤18进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数、和匹配可信度并终止搜索程序，若判断结果为否，则搜索结果只供参考。

采用上述方案，通过本发明将采集端实时拍摄的人脸图像与已知人脸数据库中的模板按多阶层过滤搜索策略进行匹配识别，获取被拍摄人的相关身份信息。识别算法中采用多光谱和多阶层分辨率特征融合技术，充分利用多幅图像在时空域上的相关性及信息上的互补性，使得融合后得到的数据对人脸特征具有更全面、准确和清晰的描述。本发明采用通过“信心度”(Confidence Level)控制错误识别率的方法，在对大规模人脸数据库进行逐层过滤搜索的过程中，每个层次的匹配结果在生成时都计算一个数值在(0～1)之间的“信心度”，同时，在每一层次的过滤式搜索中，都将匹配结果的“信心值”低于设定门限值的人脸图像作为“无法判断”的对象而保留到下一级匹配，如果已经完成最后一级的精确搜索后匹配结果的信心值仍未超过系统设定的信心度阈值，则不做任何报警处理，从而有效降低在人脸识别的安防应用中因错误报警(False Alarm)而引起的一系列严重问题，并利用多方位人脸特征信息的相互补偿来提高智能身份信息检测装置的可靠性。

下面结合附图和具体实施方式对本发明作进一步的说明。

附图说明

图1为本发明的系统结构图；

图2为本发明中多阶层识别搜索引擎的结构示意图；

图3为本发明的人脸多阶层快速过滤匹配方法的流程图；

具体实施方式

参照图1和图2，本发明的人脸多阶层快速过滤匹配装置，包括多阶层识别搜索引擎10，该多阶层识别搜索引擎承担人脸图像和模板数据的多阶层过滤搜索和匹配运算。以及应用管理服务器20，该应用管理服务器负责分配数据和协调各个子服务器的任务。所述多阶层识别搜索引擎10包括：第一层的向量搜索模块101，第二层的主成分分析搜索模块102，第三层的纹理特征搜索模块103，第四层的三维重构搜索模块104。

参照图3，本发明的人脸多阶层快速过滤匹配方法：通过后台服务器将已检测到的待识别人脸模板与已知人脸数据库中的模板进行基于多阶层过滤搜索算法的实时比对，找出匹配分数最高的人脸后，根据系统预先设定好的阈值来作出判断，从而得出被拍摄人的身份信息。本发明的核心是选取适当的匹配策略，本发明选取基于人脸图像多重特征识别搜索引擎以及多阶层快速过滤识别算法搜索策略进行匹配，具体步骤如下：

通过步骤11采用基于低分辨率向量匹配的人脸的快速搜索后，进入步骤12进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数、和匹配可信度并终止搜索程序，若判断结果为否，则进入步骤13；

通过步骤13采用基于主成分分析的中等分辨率的匹配人脸识别算法后，进入步骤14进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数、和匹配可信度并终止搜索程序，若判断结果为否，则进入步骤15；

通过步骤15采用基于多重皮肤特征的高分辨率纹理特征匹配算法后，进入步骤16进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数、和匹配可信度并终止搜索程序，若判断结果为否，则进入步骤17；

通过步骤17基于三维建模匹配算法后，进入步骤18进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数、和匹配可信度并终止搜索程序，若判断结果为否，则搜索结果只供参考。

下面对本发明加以举例说明：

(1)基于向量匹配的低分辨率人脸图的快速搜索(步骤11)：运用快速过滤算法将目标模板与数据库中存储的已知模板进行粗略匹配，对于数据库中所有模板匹配的分数进行从高到低的排序并且取排在最高的N1个作为首要候选人，如果首选匹配分数高于事先设置的阈值(步骤12)，则立即输出识别结果、候选人图片、匹配分数、和匹配可信度，并终止整个搜索程序。否则将目标模板与步骤11中搜索出的N1个候选人传入下一层次的中等分辨率匹配算法流程(即进入步骤13)。

(2)目标模板与步骤11中搜索出的N1个候选人进入基于主成分分析的中等分辨率匹配算法(步骤13)，对于这N1个模板匹配的分数进行从高到低的排序并且取排在最高的N2(N2＜N1)个作为首要候选人，如果首选匹配分数高于系统中事先设置的阈值(步骤14)，则立即输出识别结果、候选人图片、匹配分数、和匹配可信度，并终止整个搜索程序。否则将目标模板与步骤13中搜索出的N2个候选人传入下一层次的高分辨率的纹理特征匹配算法流程(即进入步骤15)。

(3)目标模板与步骤13中搜索出的N2个候选人进入高分辨率的纹理特征匹配算法(步骤15)，对于这N2个模板匹配的分数进行从高到低的排序并且取排在最高的N2(N3＜N2)个作为首要候选人，如果首选匹配分数高于系统中事先设置的阈值(步骤16)，则立即输出识别结果、候选人图片、匹配分数、和匹配可信度，并终止整个搜索过程。否则将目标模板与(步骤15)中搜索出的N3个候选人传入最后一层的三维建模匹配算法流程(即进入步骤17)。

(4)目标模板与步骤15中搜索出的N3个候选人进入最后一层的三维建模匹配算法，对于这N3个模板匹配的分数进行从高到低的排序并且取排在最高的N4(N4＜N3)个作为首要候选人，终止整个搜索过程。如果首选匹配分数高于事先设置的阈值(步骤18)，则立即采取相应措施，输出识别结果、候选人图片、匹配分数、和匹配可信度。

(5)通过以上(1)-(4)的搜索，如果最终匹配的分数和可信度仍未超过设定阈值，则搜索结果只供参考，不能引发任何报警措施，以避免错误报警给用户带来的不便。酒店客户终端程序可根据现场所采集图像的分辨率和双眼间的距离来选取最佳的搜索途径和方法.并可根据实际情况调整阈值，从而达到客户所能够接受的正确识别率和错误报警率指标。

本发明的多阶层快速过滤识别算法搜索中均采用通过“信心度”(Confidence Level)控制错误识别率的方法，在将人脸数据库区分过滤为不同比例和数量的候选人(N1-N4)的过程中，每个匹配结果在生成时都附带一个数值在(0-1)之间的基于匹配双方图像综合质量而计算的“可信值”，同时，在每一级的分类中，都将分类结果的“信心度”低于设定门限值的图像作为“无法判断”的对象而保留到下一级匹配，如果已经完成最后一级的精确搜索仍未超过设定的信心值，则不做任何报警处理，从而降低在人脸识别的安防应用中因为错误报警(False Alarm)而引起的一系列严重问题。

为了进一步说明本发明中多阶层人脸识别搜索引擎以及多阶层快速过滤识别算法在提高识别效率方面的优势，对该方法还进行以下的具体说明：

本发明提出以下计算有效匹配速度的方法：

●有效速度

本发明采用多阶层(Multi-pass)过滤搜索匹配方法来达到最佳的大规模人脸数据库系统搜索表现。第一轮搜索采用低分辨率快速过滤匹配算法，从整个数据库中获得首轮匹配分数最高的一部分模板数据，后续利用计算复杂度较高的精细匹配算法进行第二、三、四层及至更多层次的搜索，全部搜索时间可以用如下的公式来计算：

T＝N/R1+F1×N/R2+F1×F2×N/R3+F1×F2×F3×N/R4       (5)

上式中，T是完成全部匹配所需时间，以秒计算，N是全部人脸数据库的图片数目；

R1是基于低分辨率向量快速过滤匹配算法的计算速度

R2是基于PCA的中等分辨率特征匹配算法的计算速度

R3是基于纹理分析的高分辨率特征匹配算法的计算速度

R4是基于三维模型特征重构匹配算法的计算速度

(R1～R4均以每秒钟搜索匹配的幅图像数目计)

F1代表第二轮搜索时，待匹配的候选图像数量所占整个数据库的百分比

F2代表第三轮搜索时，待匹配的候选图像数量所占其上层(第二轮)搜索图片数量的百分比

F3代表第四轮搜索时，待匹配的候选图像数量所占其上层(第三轮)搜索图片数量的百分比

由此，多轮阶层搜多的有效匹配速度RE(每秒钟搜索人脸图像数目)可以用如下的公式来计算：

RE＝N/T＝R1×R2×R3×R4/(R2×R3×R4+F1×R1×R3×R4+F1×F2×R1×R2×R4+

(6)

F1×F2×F3×R1×R2×R3)

由于在多层搜索过滤中，每一层的搜索计算复杂程度和准确率均高于上一次层次，采用此方法在保证匹配准确率的情况下有效缩减大规模数据库的整体匹配时间，提高人脸识别系统的灵活性和效率，同时方便系统的进一步拓展，如开发出更新的或计算复杂度更高的匹配算法可以方便的按照如上所述的多重搜索原理向上升级。当前系统的缺省设置为：F1＝15％ F2＝10％ F3＝5％。

Claims (3)

1.一种人脸多阶层快速过滤匹配装置，其特征在于，包括多阶层识别搜索引擎，该多阶层识别搜索引擎承担人脸图像和模板数据的多层次过滤搜索和匹配运算；以及应用管理服务器，该应用管理服务器负责分配数据和协调各个子服务器的任务。

2.根据权利要求1所述的人脸多阶层快速过滤匹配装置，其特征在于，所述多阶层识别搜索引擎包括：第一层的向量搜索模块，第二层的主成分分析搜索模块，第三层的纹理特征搜索模块，第四层的三维重构搜索模块。

3.一种人脸多阶层快速过滤匹配方法，其特征在于，输入采集的人脸图像后，通过以下步骤进行逐层过滤搜索：

通过步骤11采用基于低分辨率向量匹配的人脸图像快速过滤搜索算法后，进入步骤12进行判断是否找到最佳人脸匹配，若判断结果为是，则输出最佳候选人的身份输出识别结果、候选人图片、匹配分数、和匹配可信度并终止搜索程序，若判断结果为否，则进入步骤13；

通过步骤13采用基于主成分分析的中等分辨率图像匹配识别算法后，进入步骤14进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数、和匹配可信度并终止搜索程序，若判断结果为否，则进入步骤15；

通过步骤15采用基于多重皮肤特征的高分辨率纹理特征匹配算法后，进入步骤16判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数、和匹配可信度并终止搜索程序，若判断结果为否，则进入步骤17；

通过步骤17采用基于三维建模匹配算法后，进入步骤18进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数、和匹配可信度并终止搜索程序，若判断结果为否，则搜索结果只供参考。

Images