CN103593648A - 一个面向开放环境的人脸识别方法 - Google Patents

Abstract

本发明提供了一个面向开放环境的人脸识别方法，步骤为：（1）搜集指定人物在不同光照环境下拍摄的不同表情和不同角度的代表性人脸图片，以及大量随机非指定人物的人脸图片。（2）由指定人物的样本人脸与大量随机非指定人物的人脸进行变形融合来获得指定人物的人脸边缘模式；（3）并联利用带有互补特征的边缘模式训练得出的子识别器，形成一个并行人脸识别网络。本发明为每一个待识别的指定人物构建一个人脸识别器，以解决现有方法中通过阈值来判定识别结果的缺陷。同时，通过引进带有互补特性的两种人脸特征提取算子，对基于这两种特征的识别结果进行融合，使得识别器在保证识别率的前提下，虚警率大幅度下降。

Description

一个面向开放环境的人脸识别方法

技术领域

本发明涉及人工智能，模式识别以及生物特征识别领域，具体地，涉及一个面向开放环境的人脸识别方法。

背景技术

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术。人脸与人体的其它生物特征（指纹、虹膜等）一样与生俱来，它的唯一性和不易被复制的良好特性为身份鉴别提供了必要的前提。与其它类型的生物识别比较人脸识别具有非强制性，非接触性和并发性等特点。

得益于其操作简单，结果直观及隐蔽性等特点，近年来人脸识别技术在身份识别领域得到了越来越广泛的应用。人脸识别的应用主要有如下方面：

刑侦破案：通过查询目标人像数据寻找数据库中是否存在重点人口基本信息；

门禁系统：受安全保护的地区可以通过人脸识别辨识试图进入者的身份；

摄像监视：可在机场，体育馆，超市等公共场所对人群进行监视；

信息安全：如计算机登录，电子政务和电子商务，如果网上交易系统使用生物特征，就可以做到当事人在网上的数字身份和真实身份统一，从而大大增加了电子商务和电子政务系统的可靠性；

身份识别：如电子护照及身份证，这或许是未来规模最大的应用；

数码相机人脸自动对焦和笑脸快门技术：通过比对特征库数据来自动对焦人脸以及捕捉笑脸，特征库是基础，里面有各种典型的面部和笑脸特征数据。

一般来说，人脸识别由三个关键步骤组成部分：人脸图像预处理、人脸图像特征提取，以及匹配与识别。

人脸图像预处理：对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

人脸图像特征提取：人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取是对人脸的某一种或某几种特征进行建模的过程。人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。其中，基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据；基于代数特征的方法的基本思想是将人脸在空域内的高维描述转化为频域或者其他空间内的低维描述。

人脸图像匹配与识别：提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。人脸识别就是将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。这一过程又分为两类：一类是确认，是一对一进行图像比较的过程，另一类是辨认，是一对多进行图像匹配对比的过程。

在多数情况的现实生活应用当中，只有少量的人脸需要被识别出。由于识别工作大多是在一种开放的环境下进行的，大量待检测的人脸没有在系统的数据库中注册过（比如监控系统），所以在匹配与识别这个环节，要设定一个合适的阈值来得到准确的输出结果是很困难的。另外，人脸在采集过程中会受到不同拍摄光照，不同人脸表情以及不同捕捉角度的影响，使得同一人物的人脸也呈现不同的外观，这让实际应用的人脸识别难度大大增加。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种一个面向开放环境的人脸识别方法。模拟人类认知模式的方法，为每一个待识别的指定人物构建一个人脸识别器，以解决现有方法中通过阈值来判定识别结果的缺陷。同时，通过引进带有互补特性的两种人脸特征提取算子，对基于这两种特征的识别结果进行融合，使得识别器在保证识别率的前提下，虚警率大幅度下降。

根据本发明的一个方面，提供一种面向开放环境的人脸识别方法，包括以下步骤：

(1)获取样本图片

搜集指定人物在不同光照环境下拍摄的不同表情和不同角度的代表性人脸图片，以及大量随机非指定人物的人脸图片。

(2)自动构建目标人脸的边缘模式

由指定人物的样本人脸与大量随机非指定人物的人脸进行变形融合来获得指定人物的人脸边缘模式。人脸边缘模式是由指定人物的样本人脸与大量随机非指定人物的人脸进行变形融合来获得的。其中，正样本边缘人脸设定为刚好属于指定人物的人脸，由较浅程度d_p的变形获得；负样本边缘人脸设定为刚好不属于指定人物的人脸，由较深程度d_n的变形获得，d_p&d_n为正负变形组合。

本发明采用了一种网格搜索策略来确定最佳的正负变形程度组合d_p&d_n，以保证指定人物的最佳识别性能，同时尽可能多的排除非指定人物人脸。

(3)基于互补特征的识别

模拟人类的认知模式，通过训练边缘模式来模拟指定人物的人脸模式边界，这一模拟边界构成了针对指定人物的人脸识别器，映射到边界内部的人脸被识别为指定人物，而映射在边界外部的人脸判定为非指定人物。

在边缘人脸的生成过程中，本发明采用了足够多的指定人脸代表性样本去参与变形工作，同时正负变形组合d_p&d_n也可通过网格搜索策略寻求最佳，所以指定人物的人脸识别效果可以得到保证。由于本发明是在开放环境下进行人脸识别，会有大量的非指定人物的人脸需要识别器来排除，而且其中绝大部分人脸是没有在系统的变形环节采用过的。所以，不可避免地每一个指定人物识别器会有一定数目的虚警样本，并且虚警数目会随着非目标人脸的增多而增多。在实际应用当中，应当尽可能的降低虚警率。本发明引进了互补的人脸特征提取算子来降低虚警率。

采用具有互补特征的算子对边缘人脸进行特征提取，构成相应的边缘模式。于是，利用带有互补特征的边缘模式分别训练得出的子识别器也具有互补的判定效果。在子识别器中，由于指定人物的人脸基本都能得出正确的识别结果，所以互补特性集中体现在非指定人物的人脸识别当中。利用这种特性，本发明采用一个与运算并联子识别器的识别结果，形成一个并行识别网络，有效的消除在非指定人物人脸的识别过程中，由某一子识别器判定错误而导致的虚警结果。

与现有技术相比，本发明的有益效果是：本发明通过对目标人物的边缘模式进行训练，有效地在开放环境下识别出指定人物的人脸，并且对指定人物的人脸变形有很高的容忍度。同时本发明引进带有互补特性的两种分类器，并行融合它们的识别结果，使本方法能够有效地排除大量的非指定人物人脸，以达到大大降低虚警率的目的，在实际应用中有着重要的意义。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为构建指定人物人脸识别器框架图；

图2为通过边缘人脸构造指定人物人脸边界的示意图；

图3为网格搜索中的变形程度组合示意图；

图4为指定人物人脸识别器工作示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的实施步骤分为四个部分：（一）训练人脸的采集以及图像的预处理；（二）基于网格搜索策略的边缘人脸生成；（三）互补识别器的生成及并联；（四）实践举例：指定人物的人脸识别。

下面进行详细介绍：

(一)训练人脸的大量获得以及图像的预处理

1.通过互联网大量采集训练图像

本系统主要针对开放环境下知名人物的人脸识别。需要搜集指定人物在不同光照环境下拍摄的不同表情和不同角度的代表性人脸图片，同时还需要大量非指定人物人脸来完成变形及后续的测试工作。

知名人物的样本图片是在互联网上进行采集的。同时，本实施例采用了知名数据库FERET中1200人的正脸图片作为非指定人物的人脸数据库。具体的，本实施例通过几大图像网站（谷歌图片，百度图片等）采集知名人物的人脸图像以及随机人物人脸。整个系统用到的图片归集如下：

D_tar：指定人物代表性的人脸图片，互联网采集，用于和随机人脸D_ran变形生成边缘人脸；光照包含强烈光照，微弱光照，左侧切入光照以及右侧切入的光照；表情包含中立，微笑和嘴巴微张的形态；角度偏移在30°以内（上下左右四个方位）；

D_ran：随机人脸，用于和指定人脸D_tar变形生成边缘人脸，从数据库FERET中随机抽取获得；

T_pos：指定人物的测试图片，互联网采集，包含不同的表情姿势和光照，用于网格搜索策略中正负变形对d_p&d_n的性能指标的衡量；

T_neg：随机人脸的测试图片，从数据库FERET中随机抽取获得，用于网格搜索策略中正负变形对d_p&d_n的性能指标的衡量。

2.图像的预处理

本发明中，所有人脸都被归一化到同一尺寸：100×120，并且通过仿射变换让两只眼睛的中心连线保持在水平线上。

为了把光照对识别效果的影响降到最低，本发明采用了DoG滤波+直方图均衡的方法对所有训练及测试图片进行预处理，DoG算子： $D(x,y)=\frac{1}{2{{\mathrm{\π\σ}}_1}^2}{e}^{-(x^2+y^2)/\left({{2\mathrm{\σ}}_1}^2\right)}-\frac{1}{{{2\mathrm{\π\σ}}_2}^2}{e}^{-(x^2+y^2)/\left({{2\mathrm{\σ}}_2}^2\right)}.$ 本发明中算子的尺寸为7×7，像素坐标(4,4)为公式中的坐标原点，σ₁＝2.0;σ₂＝4.0。

进行这种图像预处理的原因是为了让识别条件统一以达到识别率最优化，同时DoG算子和直方图均衡是为了消除光照对识别效果的影响。

(二)基于网格搜索策略的指定人物边缘人脸的生成

正样本边缘人脸设定为刚好属于指定人物的人脸，由较浅程度d_p的变形获得；负样本边缘人脸设定为刚好不属于指定人物的人脸，由较深程度d_n的变形获得，d_p&d_n为正负变形组合。

边缘人脸是通过指定人物人脸D_tar向随机非指定人物人脸D_ran的变形来获得的。下面两个公式表示通过变形生成正负样本的过程：

I_p＝(1-d_p)·I_tar+d_p·I_ran

I_n＝(1-d_n)·I_tar+d_n·I_ran

I_tar和I_ran分别表示指定人物和随机非指定人物的人脸，I_p和I_n表示变形生成的正负样本边缘人脸。

图2是关于用边缘人脸构造指定人物人脸边界的示意图。示意图的(a),(b),(c)子图中黑点表示通过变形得到的边缘模式，封闭的虚线表示目标模式边界，曲线包围的区域表示该边界对指定人物人脸变形的容忍度，其中映射到边界内部的人脸被识别为指定人物，而映射在边界外部的人脸判定为非指定人物。从(a)到(b)到(c)图中容忍区域的变化情况可知，当边缘人脸变形程度加深时，其训练得到的模式边界对目标人脸变形的容忍度也会加深。所以只要边缘人脸的变形足够深（即变形程度足够深），带有不同程度变形的指定人物人脸仍可被正确地判定为指定人物。

然而，采用变形程度比较深的边缘人脸还可能导致较高的虚警率，因为随着图2中容忍区域的变大，一些和目标人脸比较接近的非指定人物人脸也会被判定为指定人物。所以在指定人物人脸的正确识别和非指定人物人脸的准确排除当中有一个折中，变形程度是这个折中的关键参数，极大地影响着系统的性能。

为了保证指定人物的最佳识别性能，同时尽可能多的排除非指定人物人脸，本发明采用了网格搜索策略来确定最佳的正负变形程度组合d_p&d_n。图3标定了网格搜索策略中用到的6组正负变形程度组合d_p&d_n。这六种变型组合分别为：0.2&0.3；0.25&0.35；0.3&0.4；0.35&0.45；0.4&0.5；0.45&0.55。在具体的实践应用当中，最佳识别性能总能在这6组参数中找到。

本发明采用了多种互补特征描述算子对边缘人脸进行特征提取并分别利用相关特征的边缘模式训练生成人脸识别器。针对每一种特征Ft_i，分别建立基于这6对变形程度组合的6个人脸子识别器。采用30张指定人物的人脸T_pos以及500张随机非指定人物的人脸T_neg，对这些子识别器进行测试，选择测试结果最佳的识别器所对应的组合作为该指定人物的基于特征Ft_i的边缘人脸所采用的变形程度。为保证每个子识别器中正确识别的指定人脸不被后面的并行网络排除，每个子识别器对Recall的要求比较高，所以测试结果用F2-Measure进行评估，公式如下：

$F_2=(1+2^2)\·\frac{\mathrm{Precision}\·\mathrm{Recall}}{(2^2\·\mathrm{Precision})+\mathrm{Recall}}$

一般来说，不同的指定人物会有不同的最佳变形程度，同时，同一人物的基于不同特征的子识别器的最佳变形程度也不相同。

(三)互补识别器的生成及并联

1.互补识别器的生成

选用特征互补的算子来提取边缘人脸的特征。采用支持向量机（SVM）进行训练，并基于不同的特征边缘模式建立不同的子识别器，输出结果为“1”则识别为指定人物，反之，输出结果为“0”则判定为非指定人物。子识别器的建立使用了LibSVM来优化SVM中的参数(C,γ)，SVM使用的是径向基核函数（Radial Basis Function Kernel）。

2.互补识别器的并联

分析大量实验数据表明，本系统中基于互补特征的子识别器有着不同的错误判定样本，并且这一现象在非指定人物的测试数据中尤为明显。所以本发明采用“与”运算符把子识别器的结果结合起来。假定系统中采用了两种互补特征生成了两个子识别器，那么在非指定人物的人脸识别过程中，如果子识别器#1的判定结果为“1”（错误），子识别器#2的判定结果“0”（正确），那么通过与运算之后最终判定结果为“0”（正确），识别器#1的错误结果不会影响最终的正确结果，也可以说识别器#2的正确判定修补了识别器#1的判定。这种做法大大降低了虚警率。

本发明在网格搜索策略中把召回率作为最重要的影响指标，保证了各个子识别器都能尽可能多的识别出指定人物的人脸图片，所以子识别器的并行联合对指定人物人脸的判定结果几乎没有影响。

(四)实践举例：指定人物的人脸识别

LBP和Gabor是互补的两种特征算子，前者集中在空间域对纹理进行表征，后者通过不同方向和尺度的小波滤波对特征进行频域表征。又由于边缘人脸的正负训练样本只有细微的形状和纹理差别，所以在本发明的实践过程中，为准确表达这些细微差别的纹理信息，分别采用了基于局部二值模式（LBP）和基于盖博小波（Gabor Wavelets）的特征来描述边缘人脸。其中，LBP算子采用了3×3算子进行编码，盖博小波中采用了8个方向和5种尺度。

另外，由于图像经过LBP算子和Gabor算子滤波会生成维度相对较大的特征向量，这将会大大增多每张人脸的识别所需要的时间。这种现象对时实性要求较高的系统是不可取的，所以本发明采用了独立于每张人脸的降维方法。LBP算子采用59LBP的方法进行降维，Gabor算子采用计算统计特征的方法进行降维。最后，基于LBP的边缘模式的维度为1770，基于Gabor的维度为1800。

针对指定人物的人脸识别过程中，输入包含指定人物的各种变形人脸以及大量非指定人物的人脸，输出为1或者0，1代表输入人脸为指定人物的，0代表输入人脸不是指定人物的。图4为识别工作框架图。

实验：指定人物为国际影星安吉利娜·茱莉，输入有30张茱莉的人脸，以及500张非茱莉的人脸，识别结果如下表：

从测试结果可以看出，本系统对于开放环境下指定人物的人脸识别可以获得很好的效果。实验结果还表明，LBP和Gabor是适合于本系统的两种互补特征提取方法。

本发明采用模拟人类认知模式的方法，为每一个待识别的指定人物构建一个人脸识别器，以解决现有方法中通过阈值来判定识别结果的缺陷。同时，通过引进带有互补特性的两种人脸特征提取算子，对基于这两种特征的识别结果进行融合，使得识别器在保证识别率的前提下，虚警率大幅度下降。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一个面向开放环境的人脸识别方法，其特征在于，包括以下步骤：

（1）利用互联网资源获取样本图片：搜集指定人物在不同光照环境下拍摄的不同表情和不同角度的代表性人脸图片，以及大量随机非指定人物的人脸图片；

（2）自动构建目标人脸的边缘模式：由指定人物的样本人脸与大量随机非指定人物的人脸进行变形融合来获得指定人物的人脸边缘模式；

（3）基于互补特征的识别：并联利用带有互补特征的边缘模式训练得出的子识别器，形成一个并行人脸识别网络。

2.根据权利要求1所述的面向开放环境的人脸识别方法，其特征在于，步骤（2）中，所述人脸边缘模式是由指定人物的样本人脸与大量随机非指定人物的人脸进行变形融合来获得的，其中，正样本边缘人脸设定为刚好属于指定人物的人脸，由程度d_p的变形获得；负样本边缘人脸设定为刚好不属于指定人物的人脸，由程度d_n的变形获得，d_p&d_n为正负变形组合且d_p＜d_n；通过以下两个公式表示通过变形生成正负样本的过程：

I_p＝(1-d_p)·I_tar+d_p·I_ran

I_n＝(1-d_n)·I_tar+d_n·I_ran

I_tar和I_ran分别表示指定人物和随机非指定人物的人脸，I_p和I_n表示变形生成的正负样本边缘人脸。

3.根据权利要求2所述的面向开放环境的人脸识别方法，其特征在于，采用了一种网格搜索策略来确定最佳的正负变形程度组合d_p&d_n，网格搜索策略中用到了6组正负变形程度组合d_p&d_n，这六种变型组合分别为：0.2&0.3，0.25&0.35，0.3&0.4，0.35&0.45，0.4&0.5，0.45&0.55；为保证每个子识别器中正确识别的指定人脸不被后面的并行网络排除，每个子识别器对召回率的要求比较高，测试结果用F2-Measure进行评估，公式： $F_2=(1+2^2)\·\frac{\mathrm{Precision}\·\mathrm{Recall}}{(2^2\·\mathrm{Precision})+\mathrm{Recall}}\·$

4.根据权利要求1-3任一项所述的面向开放环境的人脸识别方法，其特征在于，步骤（3）中，选用特征互补的算子来提取边缘人脸的特征，采用支持向量机进行训练，并基于不同的特征边缘模式建立不同的子识别器，输出结果为“1”则识别为指定人物，反之，输出结果为“0”则判定为非指定人物，子识别器的建立使用了LibSVM来优化SVM中的参数(C,γ)，SVM使用的是径向基核函数。

5.根据权利要求4所述的面向开放环境的人脸识别方法，其特征在于，采用“与”运算符把子识别器的结果结合起来，假定系统中采用了两种互补特征生成了两个子识别器，那么在非指定人物的人脸识别过程中，如果第一子识别器的判定结果为“1”即错误，第二子识别器的判定结果“0”即正确，那么通过与运算之后最终判定结果为“0”即正确，第一识别器的错误结果不会影响最终的正确结果，即第二识别器的正确判定修补了识别器#1的判定。

6.根据权利要求1-3任一项所述的面向开放环境的人脸识别方法，其特征在于，所有收集的人脸都被归一化到同一尺寸：100×120，并且通过仿射变换让两只眼睛的中心连线保持在水平线上，采用了DoG滤波和直方图均衡的方法对所有训练及测试图片进行预处理，DoG算子的尺寸为7×7，像素坐标(4,4)为公式中的坐标原点，σ₁＝2.0;σ₂＝4.0。

Images