CN102629320A - 基于特征层定序测量统计描述的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于特征层定序测量统计描述的人脸识别方法，包括：人脸图像预处理；对归一化人脸图像进行多尺度多方向的特征抽取获得特征图；对每个特征图进行定序测量编码；对编码后的图像按特征抽取的方向顺序进行加权拼接；对拼接后的图像进行空间直方图信息统计；对每个子区域的直方图信息用子空间分析的方法逐个进行增强；对每个子区域的重要性用权值表示；两幅人脸图像的相似度度量。利用本发明，可以在多个尺度多个方向对人脸图像进行表示，能够快速有效的对摄像头采集到的人脸图像进行身份识别。本发明可广泛用于使用人脸识别进行身份认证和公安刑侦对犯罪嫌疑人图片筛选等诸多应用系统中，尤其对有遮挡情况下的人脸识别非常有效。

Description

基于特征层定序测量统计描述的人脸识别方法

技术领域

本发明涉及计算机视觉、数字图像处理和模式识别等技术领域，特别涉及一种基于特征层定序测量统计描述的人脸识别方法。

背景技术

自从1973京都大学的Takeo Kanade博士完成的第一篇关于计算机自动进行人脸识别的博士论文开始，人脸识别系统的开发便受到学术界和工业界的高度关注。一方面是由于人脸识别在国家安全、交通、公安、司法和社会公益等公共领域有重大的技术需求；另一方面在广大民用领域，也有诸多应用场合，如电子商务、人脸门禁、人脸考勤等等。

人脸识别技术通过分析不同个体人脸之间的差异对人的身份进行识别和认证，具有直观、非侵犯性等优点，不像指纹识别，使用时需要跟传感器接触，此外只有有经验的技术人员来才能根据指纹图像直接进行身份认证。同时，可见光人脸图像的采集设备只需要普通的摄像头，在当今的社会已经非常普遍，因此利用简单的设备就能完成人脸图像的采集。然而，人脸图像会随着年龄增长，表情变化、化妆、环境光照变化、面部遮挡(如墨镜、围巾)，以及姿态的变化而发生一定的改变。因此如何设计一种高区分性和强鲁棒性的人脸特征表示方法变得尤为重要。现有的人脸特征表示方法为了在算法性能上得到保证往往在算法的时效性上得到妥协。因此如何设计一种比对快速同时又具有强区分性的人脸特征表示方法是改善现有人脸识别系统性能，推广大规模应用的一个重要研究课题。

发明内容

本发明的目的是提出一种基于特征层定序测量统计描述的人脸识别方法，即在现有人脸特征描述方法之后采用定序测量统计描述的方法来表示人脸图像，用于人脸识别。

本发明提出的基于特征层定序测量统计描述的人脸识别方法包括步骤：人脸图像归一化；基于Gabor幅值特征的定序测量编码；对编码后的图像按特征抽取的方向顺序进行加权拼接；对拼接后的图像进行空间直方图信息统计；对每一个子区域的直方图信息用子空间分析的方法进行增强；对每一个增强后的特征分别训练权重；用加权的区域增强描述子的余弦距离来度量两幅人脸图像的相似性。

本发明的人脸识别方法将传统Gabor特征通过定序测量统计描述进一步编码压缩获取更紧凑更具有区分性的人脸表示，同时通过分块直方图统计和局部子空间分析使该描述得到进一步增强，最后在匹配时通过计算所有块加权的余弦距离来度量两幅人脸图像之间的相似性。该方法在人脸编码时一方面继承了原始Gabor的强判别能力，能区分不同个体的人脸图像；另一方面又汲取了定序测量的鲁棒性，抑制了相同个体的不同图像的局部变化；最后通过直方图统计描述和子空间分析的方法使总的特征维度得到进一步压缩，能容忍一定的噪声干扰。本发明具有高精度、高鲁棒性和匹配速度快的特点。本发明可用于大范围人群的一对一的身份认证系统或者一对多的身份识别系统。

附图说明

图1为本发明基于特征层定序测量统计描述的人脸识别方法的流程图；

图2为人脸图像归一化示意图，其中图2a是摄像头采集到的人脸图像，图2b为图2a的归一化结果；

图3为人脸特征提取过程示意图；

图4为图2b的5个尺度8个方向的Gabor滤波幅值响应图；

图5为1个尺度4个方向的二极子、三极子定序测量滤波器组；

图6为4张来自两个不同个体的人脸图像在尺度为1方向为1的Gabor幅值响应后采用图4中第1个定序测量滤波器编码的结果，其中图6a是4幅归一化后的人脸图像，图6b是4幅基于Gabor幅值定序测量编码的结果；

图7为基于Gabor幅值定序测量编码方向拼接的示意图；

图8为人脸非重叠区域划分示意图；

图9为利用Fisher准则计算的不同尺度下人脸每个区域权重示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

现有的人脸识别系统总体分为软件和硬件两大模块：即人脸图像的获取装置和人脸识别算法。人脸识别算法包括人脸归一化、特征提取和特征相似度度量三个步骤。本发明提出的方法是对人脸识别软件模块的改进。

本发明的人脸识别方法采用定序测量滤波器编码人脸图像在不同尺度不同方向的Gabor幅值响应；其后通过在同一尺度同一定序测量编码结果按方向顺序进行拼接获取更稳定、更紧凑的人脸表示；同时利用空间直方图统计和子空间分析的方法使人脸图像的局部特征得到增强和空间结构特征得到保持。

本发明的方法充分描述了不同个体的不同人脸图像在不同尺度和不同方向之间的差异，同时在某种程度上也抑制了同一个体在类内发生的局部变化。

由于采用了空间直方图统计的策略，能克服一定的噪声干扰。度量时，采用余弦距离进行匹配速度非常快，适用于大范围人群的一对多身份识别系统，和其他需要安全性方法的诸多应用系统中。本发明对硬件配置不高，仅需普通的个人电脑和摄像头即可实现，易于在实际应用中快速搭建系统。

在使用本发明的方法进行人脸识别之前，用户需要向系统注册自己的人脸模板，然后才能进行识别。该系统可以运行于人脸识别系统常见的两种模式：1)验证模式：又称1对1的匹配模式。该模式要求用户向系统提出身份认证的申请，同时向系统声明自己的身份，系统通过对比即时从用户身上提取的人脸特征和用户声称的个体在注册时存储于数据库中的人脸特征模板，若相似度大于一定的阈值，则系统判定为身份认证通过，该模式广泛应用于需要进行访问控制的情形。2)识别模式：即1对多的匹配模式。该模式用户不需申明自己的身份信息，系统完全自动识别给出用户的身份，或者给出该用户不在注册名单之列的结论。因为在识别模式中包含验证模式，因此识别模式是一种比验证模式更高级同时难度也越大的识别方式。该模式在国防、刑侦和司法鉴定的应用较多。

图1为本发明的基于特征层定序测量统计描述的人脸识别方法流程图。参照图1，本发明的基于特征层定序测量统计描述的人脸识别方法主要包括以下五个步骤：

步骤一，进行人脸图像归一化。首先采集人脸图像，图2a中以举例的方式示出了采集的人脸图像，然后将检测到的人脸的双眼坐标中心平移到图像中心并旋转，使两眼的y坐标相同。然后进行图像的缩放变化，使所有人脸的瞳距保持在设定值。以两眼中心为坐标原点，按同一尺寸上下左右分割出归一化后的人脸图像，如图2b所示。

步骤二，提取人脸图像特征。

参照图3，该步骤进一步包括：Gabor幅值特征提取；基于Gabor幅值特征的定序测量编码；对编码后的图像进行方向拼接；对拼接后的图像分块并对每一块统计直方图信息。

其中，Gabor幅值特征提取是将归一化后的人脸图像用方向为u尺度为v的Gabor滤波器进行滤波，并计算幅值，且u＝0，1，2，3，4，5，6，7同时v＝0，1，2，3，4时的Gabor幅值图如图4所示。方向为u尺度为v的Gabor幅值特征计算公式可以表示为如下所示，其中I(x，y)是归一化后的人脸图像，Ψ_u，v(z)是方向为u尺度为v的Gabor滤波器组，G_u，v(x，y)为Gabor的滤波响应，Im(G_u，v(x，y))和Re(G_u，v(x，y))分别为Gabor的虚部响应和实部响应，M_u，v(x，y)表示Gabor的幅值响应：

$M_{u,v}(x,y)=\sqrt{\mathrm{Im}{\left(G_{u,v}(x,y)\right)}^2+\mathrm{Re}{\left(G_{u,v}(x,y)\right)}^2}$

G_u，v(x，y)＝I(x，y)*Ψ_u，v(z)

${\mathrm{\Ψ}}_{u,v}\left(z\right)=\frac{{\left|\right|k_{u,v}\left|\right|}^2}{{\mathrm{\σ}}^2}{e}^{(-\frac{{\left|\right|k_{u,v}\left|\right|}^2{\left|\right|z\left|\right|}^2}{2{\mathrm{\σ}}^2})}[e^{{\mathrm{ik}}_{u,v}\·z}-e^{-\frac{{\mathrm{\σ}}^2}{2}}]$

k_v＝π/2^(v+2)/2，φ_u＝u(π/8)

u＝0，1，2，3，4，5，6，7v＝0，1，2，3，4

基于Gabor幅值特征的定序测量编码需要先设计多极子定序测量滤波器(见图5)，然后用设计好定序测量滤波器对每个尺度每个方向的Gabor幅值特征进行滤波编码，得到二值的

(方向为0尺度为0的Gabor幅值被图5中第1行第一列的二极子定序测量滤波器滤波编码后的图如图6所示)。其中，M_u，v(x，y)表示归一化后的人脸图像被方向为u尺度为v的Gabor滤波器滤波后的幅值响应，N+和N-分别表示第t个多极子定序测量滤波器的正负极子的个数，

表示第t多极子定序测量滤波器的第i个正极子，

表示第t多极子定序测量滤波器的第j个负极子，定序测量滤波器的每个极子均为高斯滤波器，*是卷积符号，

表示对方向为u尺度为v的Gabor幅值响应的第t个多极子定序测量滤波器在位置(x，y)的滤波结果；得到

之后，若其值大于0，那么将该点的Gabor幅值定序测量编码为1，否则编码为0。

${\mathrm{GOM}}_{u,v}^t(x,y)={\mathrm{GOM}}_{u,v}^{t+}(x,y)+{\mathrm{GOM}}_{u,v}^{t-}(x,y)$

${\mathrm{GOM}}_{u,v}^{t+}(x,y)=\underset{i=1}{\overset{N+}{\mathrm{\Σ}}}{M}_{u,v}(x,y)*F_i^{t+}(x,y)$

${\mathrm{GOM}}_{u,v}^{t-}(x,y)=\underset{j=1}{\overset{N-}{\mathrm{\Σ}}}{M}_{u,v}(x,y)*F_j^{t-}(x,y)$

对编码后的图像进行方向加权拼接(其中方向0尺度为0被图5中第1行第一列的二极子定序测量滤波器滤波编码后进行方向加权拼接的结果见图7)，其计算公式可表示为：

${\mathrm{GOM}}_v^t-\mathrm{MAP}(x,y)=\underset{u=0}{\overset{7}{\mathrm{\Σ}}}{2}^u\·{\mathrm{GOM}}_{u,v}^t(x,y)$

其中，

为归一化的人脸图像在基于尺度为v的Gabor滤波幅值响应用第t个定序测量编码并按方向加权拼接的结果。

将拼接后的图像分成k个非重叠区域(见图8)，并对每一个区域统计直方图信息，可用公式表示如下：

$H(t,v,k,a)=\underset{x,y}{\mathrm{\Σ}}I\{{\mathrm{GOM}}_v^t-\mathrm{MAP}(x,y)=a\},a=\mathrm{0,1},...,L-1$

其中，H(t，v，k，a)表示尺度为v并且用第t个定序测量编码拼接结果的第k个非重叠区域的直方图拥有灰度为a的像素的个数，此外函数I{A}的表达式为：

步骤三，对每一个区域的直方图特征优选的采用子空间分析的方法来计算投影投影变换矩阵，将原始直方图特征按投影方向投射到最具判别性的子空间(最具判别性的子空间是指达到类内散度最小，类间散度最大的子空间)，从而得到局部增强的人脸特征描述，尺度为v并且用第t个定序测量编码拼接结果的第k个非重叠区域的直方图特征的变换矩阵用T(t，v，k)表示。此外，若每个注册用户的注册图片数量大于5则采用线性判别分析(LDA)，否则采用带白化过程的主成分分析(WPCA)。

步骤四，因为人脸的每个区域判别能力不同，因此对每一个增强后的特征采用Fisher准则训练权重进一步增强人脸表达能力。归一化后的人脸图像用第t个定序测量滤波器在尺度为v的Gabor滤波器的8个方向幅值编码后进行方向加权拼接结果的第k个非重叠区域的权重W(t，v，k)计算公式如下表示：

$W(t,v,k)=\frac{{(m_w(t,v,k)-m_b(t,v,k))}^2}{S_w^2(t,v,k)+S_b^2(t,v,k)}$

$m_w(t,v,k)=\frac{1}{N_w}\mathrm{\Σ}\cos (Z^i(t,v,k),Z^j(t,v,k))$

$m_b(t,v,k)=\frac{1}{N_b}\mathrm{\Σ}\cos (Z^i(t,v,k),Z^j(t,v,k))$

$S_w^2(t,v,k)=\frac{1}{N_w}\mathrm{\Σ}{(\cos (Z^i(t,v,k),Z^j(t,v,k))-m_w(t,v,k))}^2$

$S_b^2(t,v,k)=\frac{1}{N_b}\mathrm{\Σ}{(\cos (Z^i(t,v,k),Z^j(t,v,k))-m_b(t,v,k))}^2$

Zⁱ(t，v，k)＝T(t，v，k)*Hⁱ(t，v，k)

其中，cos(A，B)为两个特征向量之间的余弦距离，m_w(t，v，k)为相同个体不同人脸图像之间的余弦距离的均值，m_b(t，v，k)为不同个体人脸图像之间的余弦距离的均值，

为相同个体不同人脸图像之间的余弦距离的方差，

为不同个体人脸图像之间的余弦距离的方差，N_b为相同个体不同人脸图像的图像对数，N_w为不同个体的不同人脸图像的图像对数，T(t，v，k)为步骤四中的变换矩阵，Hⁱ(t，v，k)第i个人归一化后的人脸图像的尺度为v的Gabor滤波器的8个方向幅值响应用第t个定序测量滤波器编码后方向加权拼接结果的第k个非重叠区域的直方图，Zⁱ(t，v，k)为Hⁱ(t，v，k)增强后的特征。图9为FERET人脸库的1002张人脸图像用Fisher准则计算的人脸各区域权重示意图。

步骤五，用加权的区域增强描述子的余弦距离来度量两幅人脸图像的相似性。加权的区域增强描述子的余弦距离来度量第p幅人脸图像和第q幅人脸图像的相似性可用如下公式表示：

${\mathrm{Similarity}}_{p,q}=\underset{k=1}{\overset{k}{\mathrm{\Σ}}}W(t,v,k)\·\cos (T(t,v,k)*H^p(t,v,k),T(t,v,k)*H^q(t,v,k))$

其中*为矩阵乘法。，W(t，v，k)、T(t，v，k)、cos(A，B)、Hⁱ(t，v，k)的定义见步骤四。

本发明既可以用于验证模式，也能用于识别模式。本发明的基于特征层定序测量统计描述的人脸识别方法与现有技术相比，主要在以下方面进行了改进1)现有的在特征层进行编码的方法大多只采用像素级编码，容易受噪声影响，而本发明采用区域级编码；2)现有的方法也有采用区域级编码的方法，但都只利用了两个区域的信息进行编码，而本发明的方法增加了三个区域的定序测量编码，这种方法的优势是可以削弱线性噪声的影响；3)现有的方法在编码后的维度较高，而本发明在每个尺度的定序测量编码后的特征图上进行二次编码，将维度减小为原来的八分之一，最后通过空间直方图统计和局部子空间分析，既保证了人脸的空间结构特征，另一方面又使人脸描述子的判别能力得到进一步增强。

下面以举例的方式来说明本发明的方法在人脸识别领域和人脸验证领域的具体应用。

本发明的基于特征层定序测量统计描述的人脸识别方法可应用于大范围的人脸识别系统，如用于基于人脸识别的居民身份证查重系统，结合图1，首先需要所有已登记发放了居民身份证的居民都被采集了人脸图像进入数据库(在现有的身份证系统中已经具备)，数据库中同时还有居民的姓名、出生年月和户籍所在地等信息。假设张三已经在A地已经成功申请和办理了居民身份证，但是他想用假信息在A地再次办理一个新的身份证，以便日后做一些违法的事，如同时领取两份养老金。此时，办理身份证的工作人员就可以在采集该人的人脸图像之后，用本软件系统在当地的居民身份证数据库中检索，找出和数据库中已有数据相似度大于某一阈值候选集，若候选集不为空则进一步逐个详细比对判断该人是否已经办理过，若是则拒绝再次办理。

此外，还能在已有数据库中任取两幅人脸图像进行比对，若存在相似度大于某一阈值的情况，则需靠人工判断，即可以查询已有数据库中重复的身份证信息。这个应用背景，也可以用于其他证件申领查重或者灾后补助发放查重的场合。

在监控环境中，对部分遮挡(如带口罩或者墨镜)的犯罪分子的人脸图像被银行的监控摄像机拍下，可利用本发明和数据库中的照片一一比对，找出30个候选的人脸图像，极大的缩小检索范围，根据这些资料有助于案件的快速侦破。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于特征层定序测量统计描述的人脸识别方法，该方法包括步骤：

人脸图像预处理；

对预处理后的人脸图像进行基于Gabor幅值特征的定序测量编码；

对编码后的图像按特征抽取的方向顺序进行加权拼接；

对拼接后的图像进行空间直方图信息统计；

对每一个子区域的直方图信息用子空间分析的方法进行增强；

对每一个增强后的特征分别训练权重；

用加权的区域增强描述子的余弦距离来度量两幅人脸图像的相似性。

2.根据权利要求1所述的方法，其特征在于，所述的基于Gabor幅值特征的定序测量编码包括步骤：

对归一化后的人脸图像进行5个尺度8个方向的Gabor幅值特征提取；

设计多极子定序测量滤波器；

对每个尺度每个方向的Gabor幅值图像分别进行定序测量编码。

3.根据权利要求2所述的方法，其特征在于，所述的多极子定序测量滤波器由多个高斯滤波器组成，每个高斯滤波器为一个极子，并按极子系数的正负分为正极子和负极子，同时要求所有极子的系数和为0，通过调节极子之间的距离，生成不同尺度的定序测量滤波器。

4.根据权利要求3所述的方法，其特征在于，所述的基于Gabor幅值的定序测量编码计算公式如下：

${\mathrm{GOM}}_{u,v}^t(x,y)={\mathrm{GOM}}_{u,v}^{t+}(x,y)+{\mathrm{GOM}}_{u,v}^{t-}(x,y)$

${\mathrm{GOM}}_{u,v}^{t+}(x,y)=\underset{i=1}{\overset{N+}{\mathrm{\Σ}}}{M}_{u,v}(x,y)*F_i^{t+}(x,y)$

${\mathrm{GOM}}_{u,v}^{t-}(x,y)=\underset{j=1}{\overset{N-}{\mathrm{\Σ}}}{M}_{u,v}(x,y)*F_j^{t-}(x,y)$

其中，M_u，v(x，y)表示归一化后的人脸图像被方向为u尺度为v的Gabor滤波器滤波后的幅值响应，N+和N-分别表示第t个多极子定序测量滤波器的正负极子的个数，

表示第t多极子定序测量滤波器的第i个正极子，

表示第t多极子定序测量滤波器的第j个负极子，*是卷积符号，

表示对方向为u尺度为v的Gabor幅值响应的第t个多极子定序测量滤波器在位置(x，y)的滤波结果；得到

之后，若其值大于0，那么将该点的Gabor幅值定序测量编码为1，否则编码为0。

5.根据权利要求4所述的方法，其特征在，基于Gabor幅值的定序测量编码后的图像按特征抽取的方向顺序进行加权拼接，其计算公式表示为：

${\mathrm{GOM}}_v^t-\mathrm{MAP}(x,y)=\underset{u=0}{\overset{7}{\mathrm{\Σ}}}{2}^u\·{\mathrm{GOM}}_{u,v}^t(x,y)$

其中，

为归一化的人脸图像在基于尺度为v的Gabor滤波幅值响应用第t个定序测量编码并按方向加权拼接的结果。

6.根据权利要求5所述的方法，其特征在于，对拼接后的图像进行空间直方图信息统计可由如下公式表示：

$H(t,v,k,a)=\underset{x,y}{\mathrm{\Σ}}I\{{\mathrm{GOM}}_v^t-\mathrm{MAP}(x,y)=a\},a=\mathrm{0,1},...,L-1$

其中，H(t，v，k，a)表示尺度为v并且用第t个定序测量编码拼接结果的第k个非重叠区域的直方图拥有灰度为a的像素的个数，此外函数I{A}的表达式为：

7.根据权利要求6所述的方法，其特征在于，对每一个区域的直方图信息用子空间分析的方法进行增强包括步骤：对每一个区域的直方图特征采用子空间分析的方法来计算投影变换矩阵，将原始直方图特征按投影方向投射到最具判别性的子空间，从而得到局部增强的人脸特征描述。

8.根据权利要求7所述的方法，其特征在于，对于人脸的不同区域稳定性和区分能力不同，设置不同的权重，尺度为v并且用第t个定序测量编码拼接结果的权重为W(t，v，k)。

9.根据权利要求8所述的方法，其特征在于，用加权的区域增强描述子的余弦距离来度量第p幅人脸图像和第q幅人脸图像的相似度，若相似度大于某一阈值，则识别为同一个人，否则认为是不同的人。

10.根据权利要求1-9所述的方法，其特征在于，所述方法用于人脸识别模式或人脸验证模式。

Images