CN102201061B - 基于多阶层过滤人脸识别的智能安全监控系统及方法 - Google Patents

Abstract

本发明公开了一种基于多阶层过滤人脸识别的方法，通过用户终端图像采集系统获取被检测人员的人脸图像；人脸检测定位系统从采集的人脸图像中自动检测分割出人脸的确切位置，并通过人脸图像质量自动实时检测系统对人脸图像的采集过程进行智能提示和图象质量实时监控；对用户终端通过图像质量检测阈值的人脸图像进行提取特征点，并生成相应的目标人脸模板；通过后台服务器将客户端检测到的待识别人脸与已知人脸数据库进行基于多阶层过滤搜索算法的实时比对，找出匹配分数最高的人脸模板后，根据系统预先设定好的阈值做出判断，从而实时确定被拍摄人的身份信息。本发明是基于具有高度可靠性和灵活性的多阶层人脸过滤搜索技术的智能身份识别和安全监控系统。

Description

基于多阶层过滤人脸识别的智能安全监控系统及方法

技术领域

本发明涉及生物识别领域，具体涉及一种基于多阶层过滤人脸识别的智能安全监控系统及方法。

背景技术

在生物识别领域，人脸识别技术(Face Recognition Technology)已逐渐引起越来越多的工业界研究人员的关注，近年来，随着相关技术的飞速发展和实际需求的日益增长，人脸识别在许多领域展现出广阔的应用前景。例如：人脸识别技术可作为辅助手段用于司法领域，进行身份验证、罪犯识别等；在商业上也有许多潜在的应用，如银行信用卡的身份识别、安全识别系统、可视电话、医学、档案管理、酒店管理、电视会议人机交互系统等，不但可以提高社会运行的效率，也可以大大增强公民日常生活的安全性，因此人脸识别技术已成为当前模式识别和人工智能领域的一个研究热点。与指纹、虹膜、基因、声音等其他生物特征识别系统相比，人脸因具有不可复制、采集方便、不需要被拍者的配合等特点而深受欢迎。

酒店是住宿、餐饮、商务、娱乐等综合服务的消费场所，具有公共区域多，面积大，进出人员数量多，频率大的特点，给安全防范造成了一定的难度，不少犯罪分子利用酒店的复杂环境伺机作案，违法犯罪时有发生，客观上形成了极大的治安隐患。采用智能化酒店安防系统来加强酒店的管理，不仅会对犯罪分子起到强有力的震慑效应，并且随着犯罪案件的减少，强化客人的信心，有助于提高酒店的信誉度，为酒店的持续经营奠定安全基础，这也是决定酒店赢利的关键因素。客户满意度是一个对环境、设施、服务态度等的综合评价，而其中，酒店安全与否是重要指标之一，正因为如此，酒店决策人员越来越关注酒店的安全防范，越来越倾向于采用智能化的安防技术和解决方案。

近年来，生物识别等技术开始在酒店智能化中崭露头角，位于美国波士顿的Nine Zero酒店就率先应用了虹膜生物识别技术，顾客走进大堂后，只要到自助终端机前就可以作入住登记，并能自由进出房间。但由于虹膜识别技术所需的设备和技术费用成本极高，目前在我国的酒店等综合服务性行业还难以推广。另外，我国公开的犯罪分子追逃数据库目前只包括然人脸和指纹数据库，尚不具备成规模的虹膜数据库。

最近几年，人脸识别技术逐渐走出了实验室阶段，由原型系统朝着商业化应用系统的方向发展。FRVT(Face Recognition Vendor Test)对来自现实生活的人脸图像进行大规模测试的结果表明：随着人脸数据规模的增大，速度和识别率随之下降，这在很大程度上限制了其应用范围，潜在的巨大市场需求和高可靠性的使用要求驱使研究人员从更加广阔的层面来考虑提高现有人脸识别的技术水平。

目前，我国从事生物特征识别技术产品开发的厂家多达200多家，产品趋同化现象严重，在总体约2.5亿元的市场中，超过40％的产品都用于低端的考勤、门禁上。国内的人脸智能识别系统在人脸图像采集、识别准确度和速度等方面与国外的前沿技术还存在一定差距，产品在实际应用中的稳定性方面也不甚理想，主要表现在大部分产品对光照、年龄、表情、姿态、距离等条件的变化比较敏感，当某些条件发生细微变化时，识别效果会大大降低，搜索比对速度也达不到实时处理的要求，更重要的是，在数据库规模增大的情况下错误识别率(FAR)过高，因此而产生的误报警(False Alarm)现象让很多商家和公共安防部门对基于人脸识别的安全报警系统望而却步。以上因素严重制约了人脸识别技术在我国有安防价值的高端智能监控和大规模数据库精确搜索方面的推广和应用。

发明内容

针对上述技术问题，本发明的目的是对现有人脸识别系统中在智能安防和大规模数据的匹配识别和信息管理方面存在的问题，提供一种基于多阶层过滤人脸识别的智能安全监控系统及方法，本发明是具有高度可靠性和灵活性的客户信息智能化管理和安全防范系统解决方案。

实现本发明目的的技术方案如下：

一种基于多阶层过滤人脸识别的智能安全监控系统，

包括图像采集及及人脸图像质量实时评估处理系统，该图像采集及质量评估处理系统采集人脸图像，对采集的图像检测分割出人脸的确切位置之后进行自动质量评价，以及根据质量评价的结果对人脸图像的采集过程进行智能提示和图象质量实时控制；

以及特征提取系统，该特征提取系统接收来自于图像采集及质量自动评价处理系统的信号，对用户终端通过图像质量检测阈值的图像进行提取特征点，并生成相应的目标人脸模板；

以及数据库管理系统，数据库管理系统接收来自于特征提取系统的信号，用于承担管理和保存后台数据库中存储的所有客户信息；

以及多阶层快速过滤搜索系统，承担大规模人脸图像和模板数据的多层过滤搜索和匹配运算，以判别出客户的具体身份信息。

基于多阶层过滤人脸识别的方法，包括以下步骤：

步骤1，输入图像：通过图像采集系统获取被检测人员的人脸图像；

步骤2，人脸图像检测和质量检测：通过人脸检测定位系统从获取的人脸图像中自动检测并且分割出人脸的确切位置，并通过人脸图像质量自动检测系统对人脸图像的采集过程进行智能提示和图象质量实时控制；

步骤3，特征提取：对用户终端通过图像质量检测阈值的图像进行提取特征点，并生成相应的目标人脸模板；

步骤4，多阶层快速过滤搜索识别算法：通过后台服务器将已检测到的待识别的人脸与已知人脸数据库进行基于多阶层过滤搜索算法的实时比对，找出匹配分数最高的人脸后，根据系统预先设定好的阈值来做出判断，从而得出被拍摄人的身份信息。

采用了上述方案，本发明的多阶层过滤人脸识别系统的特点是采用人脸图像质量自动实时监控、多阶层快速过滤搜索算法、以及三维重构模型匹配和多分辨率特征融合等策略，充分利用多幅图像在时空域上的相关性及信息上的互补性，并提出“可信度”这一概念和通过阈值的设置来控制任何采集终端和数据库情况下的错误报警率。另外，在系统设计上，采用并行分布式数据库计算，冗余式的模板数据库分布和搜索引擎等策略，以上技术手段的运用可提高大规模人脸数据库图像的识别准确度和搜索效率，有效降低在人脸识别的安防应用中因错误报警(False Alarm)而引起的一系列严重问题，使基于人脸识别的大库联机智能监控系统在公共安全防范领域达到真正实用，

综上所述，本发明的基于多阶层过滤人脸识别技术的客户信息智能管理和安全防范系统具备高可靠性和灵活性，可减少酒店等综合服务场所的治安隐患、降低管理成本，在酒店和其他公共安防领域将到广泛应用，市场前景广阔。在产生社会效益和经济效益的同时，对于打击犯罪、维护社会安全等方面具有十分重大的意义。

下面结合附图和具体实施方式对本发明作进一步的说明。

附图说明

图1为本发明的基于多阶层过滤人脸识别的智能安全监控系统架构示意图；

图2为人脸识别数据库系统架构示意图；

图3为本发明分布式客户数据管理系统的示意图；

图4为带有冗余设计的特征模板分布式数据库系统；

图5为本发明基于多阶层过滤人脸识别的方法的流程图；

图6采集端人际交互界面示意图；

图7为人脸图像质量检测的流程图；

图8为人脸图像分区特征提取的示意图；

图9为以及多阶层快速过滤识别算法的流程图；

具体实施方式

为了更准确地理解本发明的技术解决方案，下面通过将本发明应用到酒店安全智能检测中对本发明进行详细说明(参照图1至图9)：

参照图1至图3，本发明的基于多阶层过滤人脸识别的智能安全监控系统，包括图像采集及预处理系统10，特征提取系统20，数据库管理系统，多阶层快速过滤搜索系统40组成。

图像采集及预处理系统10由图像采集系统101、人脸检测定位系统102、以及人脸图像质量实时检测系统103三部分组成。其中，图像采集系统101采集人脸图像，图像采集系统101可选用网络摄像头、计算机内置摄像头、近红外摄像头、三维摄像机，或与二代身份证读取仪器合并使用。人脸检测定位系统102对采集的图像分割出人脸的确切位置，人脸图像质量实时检测系统103对人脸图像的采集过程进行智能提示和图象质量控制。

特征提取系统20通过公安网络TCP/IP接口与图像采集及预处理系统10连接，或者特征提取系统20通过连锁酒店内部网络VPN接口与预处理系统10连接。特征提取系统20接收来自于图像采集及预处理系统的信号，对采集端通过图像质量检测阈值的图像进行提取特征点，并生成相应的目标人脸模板。

数据库管理系统接收来自于特征提取系统20的信号，用于承担管理和保存后台数据库中存储的所有客户信息。客户信息包括客户的身份信息和对客户人脸图片和报警信息进行记录存储、管理、查询检索等功能。所述数据库管理系统包括人脸模板存储系统31和分布式客户数据管理系统32。

对于分布式客户数据管理系统32(如附图3所示)：由人登记建模、监控列表、身份验证、身份识别、网络接口、资料查询、客户服务、报警记录索引、客户信息管理九个子系统构成。其特征如下：

1)客户端可以容纳5000万张人像数据库容量，可根据酒店业务发展动态扩展。后台数据库系统采用Oracle，支持酒店业务系统客户端实时建模入库功能，建模处理可在酒店管理业务系统客户端进行，采用.NET系统架构，支持B/S，C/S客户端，支持大批量相片建库功能和多机多进程并行建库功能。

2)后台服务器集群中采用多个计算机进行并行计算从而提高人脸匹配速度。

3)当酒店规模扩大或要增加新的加盟店，则在分布式人脸数据库系统中增加一个新的结点。分布式人脸数据库系统能方便地把一个新的结点纳入系统，逐步扩展处理能力和规模，同时不影响现有系统的结构和系统的正常运行，为用户提供了逐渐扩展系统能力的有效途径。

4)具有报警结果统计分析功能。系统自动记录报警对象的比对结果，匹配分数、信心度、匹配双方的照片和身份信息等。以便进行系统分析、人工核查、参数调整和算法改进。

多阶层快速过滤搜索系统40，其承担大规模人脸图像和模板数据的多层过滤搜索和匹配运算，以判别出客户的具体信息。

如图4所示，在本发明中，(1)为保证系统的高度可靠性，人脸模板存储系统31和分布式客户数据管理系统32均实行冗余设计保护，用多个服务器对生成的模板库进行备份，适当增加冗余度，以便某个酒店的数据库出了故障不会引起整个系统崩溃。(2)后台服务器集群中采用多个计算机进行并行计算从而提高人脸匹配速度。(3)数据库的分布于连锁酒店的多个地点，故障地点的用户可以通过其它地点场地进入系统.而其它地点的用户可以由系统自动选择存取路径，避开故障地点，利用其它数据副本执行操作，不影响业务的正常运行。(4)Oracle数据库系统；可以选择采用业务系统客户端实时建模入库功能，建模处理可选择在连锁酒店业务系统客户端(支持J2EE/.NET系统架构，支持B/S，C/S客户端)进行。当酒店规模扩大要增加新的加盟店，在分布式数据库系统中增加一个新的结点。逐步扩展处理能力和规模，并且方便系统升级。

以下是本发明的基于多阶层过滤人脸识别的方法的详细说明：

步骤1(参照图5和图6)，输入图像：通过图像采集系统对被检测人员采集人脸图像；主要是从摄像头拍照后获取图片，也可以选择从二代身份证的存储芯片中读取，获取后的图片可以在软件的界面中显示出来以便进行识别。图像采集方式支持各类数码照片、扫描、视频抓拍、以及外系统提供的图像文件。人脸图像的分辨率要求正面两眼瞳孔距离不可低于30个像素点。

步骤2(参照图7)，人脸图像检测和人脸图像质量自动实时检测，其中人脸图像检测是通过人脸检测定位系统从取的人脸图像中自动检测并且分割出人脸的确切位置。人脸检测的主要方法是在输入的整幅图像上分割出人脸区域，并且检测出双眼的准确坐标位置，从而为后续的图象分析和特征识别过程作准备。

而人脸图像的质量检测是通过人脸图像质量自动检测和评价系统对人脸图像的采集过程进行智能提示和图象质量实时控制，从而提高后续的匹配精确度和可靠性，降低由于采集端输入的图像质量过低而引起的系统误报警率(FalseAlam Rate)。参见图5，对人脸图像的质量自动实时监控系统加以详细说明：

步骤21，系统自动检测眼镜是否反光或者佩带墨镜，若检测结果为是，则提示被检测人员调整或摘除眼镜，若检测结果为否，则进入步骤22。直到采集图像通过系统设置的阈值为止。

步骤22，系统自动检测脸部器官是否被遮挡，即被检测人员是否存在帽沿遮住脸部重要位置(包括眼部)的现象，如果存在，则提示被检测人员调整帽子位置或者摘除帽子.直到采集图像通过系统阈值为止。若检测结果为否，则进入步骤23。

步骤23，系统自动检测人脸姿态偏转是否过度以及是否存在眨眼、闭眼、光线过强、阴影遮挡、相机设置错误，客人脸姿态偏转是指是否有偏斜超过40度以上。若检测结果为是，则通过系统进行调整或提示被检测人员调整。若采集的人脸姿态存在40度以内偏转时，为尽量减少偏转人脸姿态对识别准确率的影响，采用以下两种方法：

第一，若客户端采集的人脸图像人脸姿态存在40度以内的偏转，则通过纯三维特征之间的对比，即系统通过多角度拍摄，自动构建被检测者的人脸三维模型，与已知人脸模板库中的三维模型按一定的匹配策略进行比较识别。该3D人脸识别技术可将有结构的红外光线投射于人的面部，生成3D人脸模板，并与数据库中存储的3D人脸模板进行对比。

第二，若客户端采集的人脸图像人脸姿态存在40度以内的偏转，则根据所获取的人脸二维图像的特征点，计算出人脸的姿态转变角度，将后台生成的已知人脸库中的三维模型按同样姿态偏转角度投影到二维平面上，得到相应的二维图像，再将其与原来的二维人脸图像按一定的匹配策略进行特征识别。

通过步骤2的客户端实时图象质量监控及评价，很大程度上保证了人脸中的眼睛这一重要器官特征点的表达准确度，大大降低了由于眼镜反光、眨眼、闭眼等人脸图像采集时的异常情况所造成的识别误差，有效提高客户端所采集图象的质量，及时滤除噪声干扰大的图象，降低错误报警率，建模入库误登率(指自动采集人脸时没有达到正常的质量标准要求但系统仍然生成模板入库的数据占总图像采集量的比例)低于十万分之一，从而使基于人脸识别的智能监控系统达到真正实用。另外，通过步骤2还对采集端通过图像质量检测阈值的人脸图像进行提取特征点，构建三维人脸模型，最后与已知人脸库中的模板按多阶层匹配策略进行比较识别，验证被拍摄人的相关身份信息。识别算法中采用多光谱和多分辨率特征融合技术，充分利用多幅图像在时空域上的相关性及信息上的互补性，使得融合后得到的图像特征对人脸特征具有更全面、清晰的描述，并提高后续的图像比对准确率，保证身份信息识别的可靠程度。。

步骤3，特征提取(参照图8)：通过图像质量检测阈值的采集端图像进行提取特征点，并生成相应的目标人脸模板。此过程的关键是选取最优特征表达方式，在特征提取之后将得到的相应特征向量模板存入后台数据库。本发明采用的提取方法是固定特征模板方法，具体包括基于眼睛、鼻子、眉毛、嘴的形状、位置、高度特征参数，以及这些五官之间相对位置关系的提取。下面分别对这些特征提取详细说明：

(1)、眼睛特征的提取：眼睛的典型特征包括左、右眼睛瞳孔中心的坐标，左、右眼睛的形状、高度和宽度，以及眼间距离，眼睛周围的皮肤纹理特征等。(2)、鼻子特征的提取：鼻子的特征值包括鼻子的宽、高以及鼻子的最左边缘点和最右边缘点的横坐标。(3)、眉毛特征的提取：眉毛的特征值包括眉毛的高、宽以及眉距。(4)、嘴特征的提取：嘴的特征指包括嘴巴的宽、高、最左边缘点和最右边缘点的横坐标。(5)、五官之间相对位置关系的特征提取：为了去除表情变化带来的类内影响，采用弹性数学模型来模拟五官位置。

本发明的步骤3是基于主成份分析PCA、纹理特征识别和三维建模特征等算法的多层次人脸特征提取系统。对采集端通过图像质量检测阈值的人脸图像进行提取特征点，并生成相应的目标人脸模板(特征向量包括基于眼睛、鼻子、嘴等重要器官形状、位置、高度、以及相互位置关系特征的参数、基于PCA主成分分析的中等分辨率范围的人脸特征模板、基于高分辨率的人脸图像纹理特征参数、模拟不同人脸姿态而建立的三维模型参数等。针对高分辨率的人脸特征提取算法，包括对眼睛和其他重要器官以及周围的皮肤纹理特征等的精确提取，以及五官之间相对位置关系的特征提取：为了去除表情变化带来的类内影响，采用弹性数学模型来模拟五官位置。如图7所示，整个脸部轮廓、双眼距离、额际、下巴形状等均会作为特征点，被算法所分析、提取。在特征提取之后将得到相应的人脸模板并传输到后台数据库。

步骤4(参照图9)，多阶层快速过滤识别算法：通过后台服务器将已检测到的待识别的人脸与人脸数据库中的已知模板进行基于多阶层过滤搜索算法的实时比对，找出匹配分数最高的人脸后，根据系统预先设定好的阈值来作出判断，从而得出被拍摄人的身份信息。本步骤的核心是选取适当的匹配策略，本发明采用基于人脸多阶层快速过滤搜索算法的匹配策略进行匹配，具体步骤如下：

通过步骤41采用基于向量匹配的低分辨率匹配人脸的快速搜索后，进入步骤42进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数、和匹配可信度，并终止搜索程序，若判断结果为否，则进入步骤43；

通过步骤43采用基于主成分分析的中等分辨率的匹配人脸识别算法后，进入步骤44进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数、和匹配可信度并终止搜索程序，若判断结果为否，则进入步骤45；

通过步骤45采用基于多重皮肤特征的高分辨率的纹理特征匹配算法后，进入步骤46进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数、和匹配可信度并终止搜索程序，若判断结果为否，则进入步骤47；

通过步骤47基于三维建模匹配算法后，进入步骤48进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数、和匹配可信度并终止搜索程序，若判断结果为否，则搜索结果只供参考。

下面对步骤4加以举例说明：

(1)基于向量匹配的低分辨率人脸图的快速搜索(步骤41)：运用快速过滤算法将目标模板与数据库中存储的已知模板进行粗略匹配，对于数据库中所有模板匹配的分数进行从高到低的排序并且取排在最高的N1个作为首要候选人，如果首选匹配分数高于系统预先设置的阈值(步骤42)，则立即输出识别结果、候选人图片、匹配分数、和匹配可信度，并终止整个搜索程序。否则将目标模板与步骤41种搜索出的N1个候选人传入下一层次的中等分辨率匹配算法(即进入步骤43)。

(2)目标模板与步骤41中搜索出的N1个候选人进入中等分辨率匹配算法(步骤43)，对于这N1个模板匹配的分数进行从高到低的排序并且取排在最高的N2(N2＜N1)个作为首要候选人，如果首选匹配分数高于系统预先设置的阈值(步骤44)，则立即输出识别结果、候选人图片、匹配分数、和匹配可信度，并终止整个搜索程序。否则将目标模板与步骤43中搜索出的N2个候选人传入下一层次的高分辨率的纹理特征匹配算法(即进入步骤45)。

(3)目标模板与步骤43中搜索出的N2个候选人进入高分辨率的纹理特征匹配算法(步骤45)，对于这N2个模板匹配的分数进行从高到低的排序并且取排在最高的N2(N3＜N2)个作为首要候选人，如果首选匹配分数高于系统预先设置的阈值(步骤46)，则立即输出识别结果、候选人图片、匹配分数、和匹配可信度，并终止整个搜索过程。否则将目标模板与(步骤45)中搜索出的N3个候选人传入最后一层的三维建模匹配算法(即进入步骤47)。

(4)目标模板与步骤45中搜索出的N3个候选人进入最后一层的三维建模匹配算法，对于这N3个模板匹配的分数进行从高到低的排序并且取排在最高的N4(N4＜N3)个作为首要候选人，终止整个搜索过程。如果首选匹配分数高于系统预先设置的阈值(步骤48)，则立即采取相应措施，输出识别结果、候选人图片、匹配分数、和匹配可信度。

(5)通过以上(1)-(4)的搜索，如果最终匹配的分数和可信度仍未超过系统预先设定的阈值，则搜索结果只供参考，不能引发任何报警措施，以避免错误报警带来的不便。酒店客户终端程序根据现场所采集图像的分辨率和双眼间的距离来选取最佳的搜索途径和方法.并可根据实际情况调整阈值，从而达到客户所能够接受的正确识别率和错误报警率指标。

本发明的多阶层快速过滤识别算法搜索中均采用通过“可信度”(Confidence Level)控制错误识别率的方法，在将人脸数据库区分过滤为不同比例和数量的候选人(N1-N4)的过程中，每个匹配结果在生成时都附带一个数值在(0-1)之间的基于匹配双方图像综合质量而计算的“可信值”，同时，在每一级的分类中，都将分类结果的“信心度”低于设定门限值的图像作为“无法判断”的对象而保留到下一级匹配，如果已经完成最后一级的精确搜索仍未超过设定的信心值，则不做任何报警处理，从而降低智能人脸识别系统在安防应用中因为错误报警(False Alarm)而引起的一系列严重问题。

为了进一步说明本发明中以及多阶层快速过滤识别算法在提高识别效率方面的优势，对该方法还进行以下的具体说明：

本发明提出以下计算有效匹配速度的方法：

●有效速度

本发明采用多阶层(Multi-pass)过滤搜算法来达到最佳的搜索表现。第一轮搜索采用低分辨率快速过滤匹配算法，从整个数据库中获得首轮匹配分数最高的一部分模板数据，后续利用计算复杂度较高的精细匹配算法进行第二、三、四层及至更多层次的搜索，全部搜索时间可以用如下的公式来计算：

T＝N/R1+F1×N/R2+F1×F2×N/R3+F1×F2×F3×N/R4 (5)

上式中，T是完成全部匹配所需时间，以秒计算，N是全部人脸数据库的图片数目；

R1是低分辨率快速过滤匹配的计算速度

R2是基于PCA的中等分辨率特征匹配算法的计算速度

R3是基于纹理分析的高分辨率特征匹配算法的计算速度

R4是基于三维模型特征重构匹配算法的计算速度

(R1～R4均以每秒钟搜索匹配的幅图像数目计)

F1代表第二轮搜索时，待匹配的候选图像数量所占整个数据库的百分比

F2代表第三轮搜索时，待匹配的候选图像数量所占其上层(第二轮)搜索图片数量的百分比

F3代表第四轮搜索时，待匹配的候选图像数量所占其上层(第三轮)搜索图片数量的百分比

由此，多轮阶层搜多的有效匹配速度RE(每秒钟搜索人脸图像数目)可以用如下的公式来计算：

RE＝N/T＝R1×R2×R3×R4/(R2×R3×R4+F1×R1×R3×R4+F1×F2×R1×R2×R4+

                                                                        (6)

F1×F2×F3×R1×R2×R3)

由于在多层搜索过滤中，每一层的搜索计算复杂程度和准确率均高于上一次层次，采用这种方法在保证匹配准确率的情况下有效缩减大规模数据库的整体匹配时间，提高人脸识别系统的灵活性和效率，同时方便系统的进一步拓展，如开发出更新或计算复杂度更高德的匹配算法可以方便的按照如上所述的多重搜索原理向上升级。当前系统的缺省设置为：F1＝15％，F2＝10％，F3＝5％。

步骤5(参照图5)：根据人脸匹配搜索结果，后台服务器判断被检测人员是否属于当前公安系统通缉的犯罪嫌疑人或者公开查找的可疑人员，若判断结果为是，则酒店人员立即采取响应措施。将采集到的通过质量检测的活体人脸照片与公安系统寻找的全国在逃犯罪嫌疑人脸数据库进行基于多阶层过滤搜索算法的实时比对，根据人脸匹配搜索结果，如认定属于当前公安系统通缉的犯罪嫌疑人或者公开查找的可疑人员，则酒店人员立即采取响应措施。如通过该项检测，则继续与连锁酒店内部数据库中存储的人脸数据进行比对和联网检索，即进入步骤6。

步骤6(参照图5)：若步骤5的判断结果为否，则后台服务器判断被检测人员是否属于曾有过不良记录的不受欢迎人群(如欠费，毁坏旅馆物品，严重影响他人休息，或在房间内从事黄、赌、毒等非法活动)，若判断结果为是，则酒店工作人员根据现场实际情况进行直接拒绝或者给予其他特殊考虑；

步骤7(参照图5)：若步骤6的判断结果为否，则后台服务器判断被检测人员是否为VIP客户或曾经访问过连锁酒店的信用好的旅客，若判断结果为是，则可直接办理快速通道入住服务。步骤7的判断结果为是，在直接办理快速通道入住服务之前，采用语音报出客户姓名进行个性化问候，并且自动调出客人以往的住宿信息情况，VIP卡号，积分与折扣信息，提供个性化的问候和服务，根据其需求或参考以往喜好直接安排房间，并且录入此次积分信息和其他信息。

步骤8(参照图5)：若步骤7的判断结果为否，即不属于上述条件中的任何一种，被检测人员须向酒店服务人员提供所需身份证件办理入住，读取二代身份证信息时，可选择通过智能人脸认证系统将客人身份证上照片与现场采集的活体人脸比对、验证客人的信息，防止某些人通过盗用或者冒用他人身份证件入住酒店从而以酒店为场所从事违法犯罪活动。提供一对一身份认证功能，如有同一人用不同身份入住的，则提示工作人员进行核查，如果活体图像与身份证芯片中存储的照片严重不符，则及时提示酒店人员根据严重程度采用相应的验证措施。提供特殊人群的查控准确性，对某些违法违规人员进行入库倒查。对于全新客户，在其办理登记后输入相关客户信息，建立人脸模板并且添加到后台的联网数据库。操作人员可以在客人允许的情况下，在其住宿期间随时在数据库系统中添加用户的信息保存。

以下是对本发明的方法作总的概述：

首先对客户终端采集的人脸图像进行自动检测、定位和图像质量实时监控，对采集端通过质量自动检测的人脸图片进行特征提取并与公安系统公开寻找的全国在逃犯罪嫌疑人脸数据库进行多阶层过滤搜索式实时并行处理和比对，如系统认定其属于当前公安系统通缉的犯罪嫌疑人或者公开查找的可疑人员，则酒店立即采取响应措施。如通过监控列表检测，则与连锁酒店内部数据库中存储的人脸数据进行比对和联网检索，并根据搜索匹配结果调出数据库中的身份和其他信息提供个性化服务。系统通过TCP/IP完成与公安系统网络间人脸数据的相互传输，连锁酒店之间的数据库系统通过互联网或者VPN(企业虚拟数据网络)，数据库中心存储的所有人脸图片已经在后台完成了模板生成，以保证系统在实时匹配中的搜索速度。(对于五千万人以下数据库，平均匹配速度小于1秒钟)。对于酒店新客户，在其办理登记后输入相关客户信息，建立人脸模板并且添加到后台的联网数据库。操作人员可以在客人允许的情况下，在其住宿期间随时在数据库系统中添加用户的信息保存。

Claims (7)

1.一种基于多阶层过滤人脸识别的智能安全监控系统，其特征在于：

包括图像采集及人脸图像质量实时检测系统，该图像采集及人脸图像质量实时检测系统首先获取人脸图像，对采集的图像检测分割出人脸的确切位置之后进行自动检测，以及根据检测的结果对人脸图像的采集过程进行智能提示和图象质量实时控制；所述自动检测以及根据检测的结果对人脸图像的采集过程进行智能提示和图象质量实时控制包括：步骤21，通过人脸图像质量实时检测系统自动检测眼镜是否反光或者佩带墨镜，若检测结果为是，则提示被检测人员调整或摘除眼镜，若检测结果为否，则进入步骤22，直到采集图像通过系统设置的阈值为止；步骤22，通过人脸图像质量实时检测系统自动检测脸部器官是否被遮挡，即被检测人员是否存在帽沿遮住脸部重要位置的现象,如果存在,则提示被检测人员调整帽子位置或者摘除帽子，直到采集图像通过系统阈值为止，若检测结果为否，则进入步骤23；步骤23，通过人脸图像质量实时检测系统自动检测人脸姿态偏转是否过度以及是否存在眨眼、闭眼、光线过强、阴影遮挡、相机设置错误，人脸姿态偏转是指是否有偏斜超过40度以上，若检测结果为是，则通过系统进行调整或提示被检测人员调整；

以及特征提取系统，该特征提取系统接收来自于图像采集及人脸图像质量实时检测系统的信号，对采集端通过图像质量检测阈值的人脸图像进行提取特征点，并生成相应的目标人脸模板；

以及多阶层快速过滤搜索系统，承担大规模人脸图像和模板数据的多阶层快速过滤搜索和匹配运算，以判别出客户的具体身份信息，具体包括：通过步骤41采用基于向量匹配的低分辨率匹配人脸的快速搜索后，进入步骤42进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数和匹配可信度，并终止搜索程序，若判断结果为否，则进入步骤43；通过步骤43采用基于主成分分析的中等分辨率人脸图像匹配识别算法后，进入步骤44进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数和匹配可信度并终止搜索程序，若判断结果为否，则进入步骤45；通过步骤45采用基于多重皮肤特征的高分辨率的纹理特征匹配算法后，进入步骤46进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数和匹配可信度并终止搜索程序，若判断结果为否，则进入步骤47；通过步骤47基于三维建模匹配算法后，进入步骤48进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数和匹配可信度并终止搜索程序，若判断结果为否，则搜索结果只供参考；

以及数据库管理系统，接收来自于特征提取系统的信号，用于管理和保存后台数据库中存储的所有客户信息。

2.一种基于多阶层过滤人脸识别的方法，其特征在于，包括以下步骤：

步骤1，图像采集：通过图像采集系统获取被检测人员的人脸图像；

步骤2，人脸检测和质量评价，通过人脸检测定位系统从获取的人脸图像中自动检测并且分割出人脸的确切位置，通过人脸图像质量检测系统进行自动检测，并根据检测的结果对人脸图像的采集过程进行智能提示和图象质量实时监控；步骤2具体包括：步骤21，通过人脸图像质量检测系统自动检测眼镜是否反光或者佩带墨镜，若检测结果为是，则提示被检测人员调整或摘除眼镜，若检测结果为否，则进入步骤22，直到采集图像通过系统设置的阈值为止；步骤22，通过人脸图像质量检测系统自动检测脸部器官是否被遮挡，即被检测人员是否存在帽沿遮住脸部重要位置的现象,如果存在,则提示被检测人员调整帽子位置或者摘除帽子，直到采集图像通过系统阈值为止，若检测结果为否，则进入步骤23；步骤23，通过人脸图像质量检测系统自动检测人脸姿态偏转是否过度以及是否存在眨眼、闭眼、光线过强、阴影遮挡、相机设置错误，人脸姿态偏转是指是否有偏斜超过40度以上，若检测结果为是，则通过系统进行调整或提示被检测人员调整；

步骤3，特征提取：对采集端通过图像质量检测阈值的人脸图像进行提取特征点，并生成相应的目标人脸模板；

步骤4，以及多阶层快速过滤识别算法：通过服务器将已检测到的待识别的人脸与已知人脸数据库中已知模板进行基于多阶层过滤搜索算法的实时比对，找出匹配分数最高的人脸后，根据预先设定好的阈值来作出判断，从而得出被拍摄人的身份信息；步骤4具体包括：通过步骤41采用基于向量匹配的低分辨率匹配人脸的快速搜索后，进入步骤42进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数和匹配可信度，并终止搜索程序，若判断结果为否，则进入步骤43；通过步骤43采用基于主成分分析的中等分辨率人脸图像匹配识别算法后，进入步骤44进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数和匹配可信度并终止搜索程序，若判断结果为否，则进入步骤45；通过步骤45采用基于多重皮肤特征的高分辨率的纹理特征匹配算法后，进入步骤46进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数和匹配可信度并终止搜索程序，若判断结果为否，则进入步骤47；通过步骤47基于三维建模匹配算法后，进入步骤48进行判断是否找到最佳匹配，若判断结果为是，则输出最佳候选人身份识别结果、候选人图片、匹配分数和匹配可信度并终止搜索程序，若判断结果为否，则搜索结果只供参考。

3.根据权利要求2所述的基于多阶层过滤人脸识别的方法，其特征在于，还包括以下步骤：

步骤5：根据人脸匹配搜索结果，后台服务器判断被检测者是否属于当前公安系统通缉的犯罪嫌疑人或者公开查找的可疑人员，若判断结果为是，则现场工作人员立即采取响应措施；

步骤6：若步骤5的判断结果为否，则后台服务器判断被检测者是否属于曾有过不良记录的不受欢迎人群，若判断结果为是，则客户端工作人员根据现场实际情况进行直接拒绝或者给予其他特殊考虑；

步骤7：若步骤6的判断结果为否，则后台服务器判断被检测者是否为VIP客户或曾经访问过的信用好的客户，若判断结果为是，则能直接办理快速通道入住服务；

步骤8：若步骤7的判断结果为否，被检测者须向服务人员提供所需身份证件办理入住，登记采集并认证新客户信息，生成新人脸模板并添加到后台服务器的数据库中。

4.根据权利要求3所述的基于多阶层过滤人脸识别的方法，其特征在于，步骤7的判断结果为是，在直接办理快速通道服务之前，采用语音报出客户姓名进行个性化问候，并且自动调出客人以往的信息情况，VIP卡号，积分与折扣信息,提供个性化的问候和服务，根据其需求或参考以往喜好直接安排个性化服务，并且录入此次积分信息和其他信息。

5.根据权利要求2所述的基于多阶层过滤人脸识别的方法，其特征在于，若图像采集系统人脸姿态存在40度以内偏转时，则通过三维特征之间的对比，即通过多角度拍照，系统自动构建待识别的人脸三维模型，与已知人脸库中的三维模型按一定的匹配策略进行比较识别。

6.根据权利要求2所述的基于多阶层过滤人脸识别的方法，其特征在于，若图像采集系统人脸姿态存在40度以内偏转，则根据获得的人脸二维图像的特征点，计算出人脸的姿态转变角度，将已知人脸库中的三维模型按同样姿态偏转角度投影到二维平面上，得到相应的二维图像，再将它与原来的二维人脸图像按一定的匹配策略进行二维特征上的比较识别。

7.根据权利要求2至3任意一项所述的基于多阶层过滤人脸识别的方法，其特征在于，所述步骤3的特征提取包括基于眼睛、鼻子、眉毛、嘴的形状、位置、高度特征参数，以及这些器官之间相对位置关系的提取。

Images