CN204791050U - 身份认证设备 - Google Patents

Abstract

本公开提供了一种身份认证设备，其包括：采集装置，采集进入其采集范围的用户的人脸图像；人脸特征提取装置连接于采集装置以从由采集装置所采集的用户的人脸图像提取人脸特征；以及认证装置与人脸特征提取装置通信，并从预登记的人脸特征模板库中确定是否存在与从所采集的用户的人脸图像中提取的人脸特征相匹配的人脸特征模板，如果存在，则确定出用户为可信用户，其中采集装置在接收到用户的身份认证请求时自动采集该用户的多张人脸图像。

Description

身份认证设备

技术领域

本公开涉及模式识别的技术领域，具体涉及基于人脸识别及比对的身份认证设备。

背景技术

在日常生活中的许多场合都需要进行人员身份的认证，如设备的登录、门禁、支付等。随着人们对安全的要求越来越高，传统的身份认证方式已不能满足人们的需求，已出现许多基于生物特征的身份认证方式，如指纹、声纹、虹膜识别等，这些生物特征为每个人所特有，且相对难以仿造，也已成为现在的主流身份认证方式。

在身份认证的常见应用中，如输入密码、指纹扫描等，都需要用户配合，并进行一些操作。如果能无感知地进行用户身份认证信息的采集，且不需要用户的接触式操作，可一定程度上简化身份认证流程，使得认证更加方便，从而提高用户的使用体验。

人脸信息也是常用的人体生物特征的一种，但现有方法的缺点是：人的外貌很容易发生变化，每次进行身份认证时的人脸外貌的不同可能导致人脸匹配的失败，这也就要求用户在进行初始及后续人脸图像的采集过程中仍需进行相应的配合，包括以正确的角度面对摄像头、卸妆、除去脸上的饰物等。

因此，存在对能够在不同场景不同状态下使用的基于人脸信息的身份认证方法及设备的需要。

实用新型内容

根据本公开的一方面，提供了一种身份认证设备，其特征在于，该身份认证设备包括采集装置，采集进入其采集范围的用户的人脸图像；人脸特征提取装置，连接于采集装置以从由采集装置所采集的用户的人脸图像提取人脸特征；以及认证装置，与人脸特征提取装置通信，并从预登记的人脸特征模板库中确定是否存在与从所采集的用户的人脸图像中提取的人脸特征相匹配的人脸特征模板，如果存在，则确定出用户为可信用户，其中，采集装置在接收到用户的身份认证请求时自动采集该用户的多张人脸图像。

根据本公开的实施方式，该身份认证设备还包括壳体，该壳体具有允许采集装置从身份认证设备露出以采集图像的开口。

根据本公开的实施方式，身份认证设备通信地连接于通信设备，当通信设备接收到用户的身份认证请求时，采集装置响应于接收到的身份认证请求，在用户不知情的情况下采集该用户的人脸图像。

根据本公开的实施方式，采集装置在预登记可信用户时在使用身份认证设备的用户不知情的情况下采集使用身份认证设备的用户的人脸图像，以及人脸特征提取装置在预登记可信用户时从由采集装置所采集的使用身份认证设备的用户的人脸图像提取人脸特征，并当满足预登记条件时将使用身份认证设备的用户中人脸图像满足预定条件的用户确定为可信用户，以及人脸图像满足预定条件的用户的人脸特征作为人脸特征模板。

根据本公开的实施方式，该身份认证设备还包括第一特征筛选装置，在用户被确定为可信用户时，第一特征筛选装置根据由人脸特征提取装置从所采集的用户的人脸图像提取的人脸特征和人脸特征模板进行代表性特征筛选，并利用筛选的代表性特征更新人脸特征模板。

根据本公开的实施方式，人脸特征提取装置还检测由采集装置所采集的用户的人脸图像的角度信息，以及身份认证设备还包括第二特征筛选装置，该第二特征筛选装置根据由人脸特征提取装置所检测到的角度信息，对从由采集装置所采集的用户的人脸图像提取的人脸特征进行筛选，其中所筛选的人脸特征用于认证装置。

根据本公开的实施方式，人脸特征提取装置包括：定位装置，在由采集装置所采集的用户的人脸图像中定位人脸区域；识别装置，对由定位装置所定位的人脸区域进行人脸关键点识别，以识别出人脸区域的人脸关键点；以及提取装置，基于所识别的人脸关键点提取人脸特征。

根据本公开的实施方式，人脸特征提取装置的定位装置还检测由采集装置所采集的用户的人脸图像的角度信息。

根据本公开的实施方式，定位装置根据基于加速稳健特征的级联回归方法在由采集装置所采集的用户的人脸图像中定位人脸区域和检测由采集装置所采集的用户的人脸图像的角度信息。

根据本公开的实施方式，识别装置包括：初始位置估计模块，基于由定位装置在人脸图像中所定位的人脸区域，使用三级级联的深度卷积神经网络的第一级估计人脸关键点的初始位置；以及精确位置计算模块，基于由初始位置估计模块所估计的人脸关键点的初始位置，使用监督梯度下降方法精确计算人脸关键点的精确位置，以确定出人脸关键点。

根据本公开的实施方式，认证装置包括：模型建立单元，配置为利用从所采集的用户的人脸图像中提取的人脸特征和人脸特征模板库中的人脸特征模板建立马尔科夫随机场模型；以及比对单元，配置为基于马尔科夫随机场模型的能量函数，根据联合贝叶斯方法执行从所采集的用户的人脸图像中提取的人脸特征与人脸特征模板库中的人脸特征模板的比对。

根据本公开的实施方式，所述认证装置还包括：确定单元，连接于模型建立单元与比对单元之间，并根据从模型建立单元所建立的马尔科夫随机场模型来确定能量函数，其中，在身份认证设备仅具有一个可信用户的情况下，确定单元将能量函数确定为：

$E\left(\right\{y_n\left\}\right|\left\{x_n\right\},\left\{t_k\right\})=-\underset{i}{\mathrm{\Σ}}\mathrm{\δ}(1,y_i)r(x_i,t_k)-\underset{i\≠j}{\mathrm{\Σ}}\mathrm{\δ}(y_i,y_j)r(x_i,x_j)$

其中 $\mathrm{\δ}(a,b)=\left\{\begin{array}{cc}1& a=b\\ 0& a\≠b\end{array}\right.,$

x表示人脸特征模板的人脸特征，

y表示人脸特征模板的标签，其中当该人脸特征模板对应于可信用户时y取1，以及当该人脸特征模板不对应于可信用户时y取0，

以及t_k表示所采集的用户的人脸图像的人脸特征。

根据本公开的身份认证设备，可简化身份认证过程，有效地提高用户在进行人脸比对时的准确度，从而提高了用户体验。

附图说明

图1示出了根据本公开实施方式的身份认证设备的示意图；

图2示出了根据本公开实施方式的人脸特征提取装置的示意图；

图3示出了根据本公开实施方式的认证装置的示意图；

图4示出了可信用户预登记的过程；

图5示出了待认证用户的身份认证过程；

图6示出了提取人脸特征的过程；

图7示出了本公开用于对人脸进行关键点识别所使用的21个关键点的示例；以及

图8示出了根据本公开实施方式的身份认证方法的准确率测试实验结果的ROC曲线。

具体实施方式

下面将参照附图描述本公开的各实施方式。以下描述包括各具体细节以帮助理解，但是这些具体细节应认为仅是示例性的。因此，本领域普通技术人员应该理解，在不背离本公开的精神和范围的情况下，可以对本文中描述的各实施方式做出各种改变和修改。另外，为了清楚和简明起见，可能省略了公知功能和结构的描述。

图1示出了根据本公开实施方式的身份认证设备100的示意图。

在图1中，身份认证设备100可包括：壳体110、采集装置120、人脸特征提取装置130、认证装置140、第一特征筛选装置150以及第二特征筛选装置160。

采集装置120可设置在壳体110中并能够从壳体110露出以采集图像。具体地，采集装置120可设置在身份认证装置100的正面并从身份认证装置100正面中的开口露出以采集图像。优选地，采集装置120在一次采集时可采集多个图像。另外，根据本公开实施方式，根据本公开实施方式的身份认证设备100的采集装置120可配置为在用户不知情的情况(例如，包括但不限于无显示、无声音或文字提示、无振动提示等)下采集用户的人脸图像。

人脸特征提取装置130可从由采集装置120所采集的人脸图像中提取人脸特征以及检测由采集装置120所采集的人脸图像的角度信息。稍后将参照图2详细描述人脸特征提取装置130。

认证装置140可配置为在具体的认证过程中根据从由采集装置120所采集的人脸图像中提取的人脸特征和人脸特征模板进行人脸特征比对，从而确定该用户是否为可信用户。人脸特征模板可存储在身份认证设备100内，也可存储在身份认证设备100外部(例如存储在与身份认证设备100相连接的外部存储装置中)，本公开在此方面没有限制。另外，初始的人脸特征模板为当在初次使用身份认证设备100时或需要添加新的可信用户时对可信用户进行身份预登记而得到的。例如，以该身份认证设备具有一个可信用户为例，在无意识地进行身份预登记时，通过采集装置120在使用身份认证设备100的用户不知情的情况下采集使用身份认证设备100的用户的人脸图像，通过人脸特征提取装置130提取所采集的使用身份认证设备100的用户的人脸图像的人脸特征，以及当满足预登记条件(例如，确定的采集次数、确定的采集图像数、周期性地采集了一段时间的图像等)时人脸特征提取装置130例如将使用身份认证设备100的用户中其人脸图像满足预定条件(例如，其人脸特征出现次数最多或图像质量最好等)的用户确定为可信用户，并将人脸图像满足预定条件的用户的人脸特征作为今后需要进行身份认证时的人脸特征模板。当然也可有意识地进行身份预登记，例如通过采集装置120在不同环境、不同角度、不同情况下采集可信用户的人脸图像，然后通过人脸特征提取装置在所采集的人脸图像中提取人脸特征作为人脸特征模板。另外，人脸特征模板还可来自于经比对后认定为可信用户时通过第一特征筛选装置150筛选后的人脸特征。为提高比对的准确性和适应性，人脸特征模板库中需为每个可信用户保存若干组用于比对的特征，这些特征会涵盖多种情况下的相同人脸的特征，比如：人脸角度不同、光照不同、背景不同等，这些不同情况下的人脸特征由人脸特征提取装置130的初始输入和第一特征筛选装置150的输入共同得到。可信用户预登记时保存的用户特征组数可能较多，但在通过第一特征筛选装置150进行代表性特征筛选后，人脸特征模板库中保存的每个可信用户的用于比对的特征组数应为将在下文描述的第一特征筛选装置150的预先设置的筛选输出组数。另外，本领域技术人员应理解，身份认证设备100的可信用户数还可以是多个，并且当满足预登记条件(例如，确定的采集次数、确定的采集图像数、周期性地采集了一段时间的图像等)时人脸特征提取装置130例如将使用身份认证设备100的用户中其人脸图像满足预定条件的多个用户(例如，人脸特征出现次数最多的前多个用户)确定为可信用户，并将人脸图像满足预定条件的该多个用户的人脸特征作为今后需要进行身份认证时的人脸特征模板。

在具体的对待认证用户进行身份认证的过程中，基于由采集装置120所采集的待认证用户的人脸图像中提取的人脸特征和人脸特征模板，认证装置140例如基于联合贝叶斯(JointBayesian)的方法(如DongChen等人的《BayesianFaceRevisited:AJointFormulation》，EuropeanConferenceonComputerVision,第566–579页,2012年)与马尔科夫随机场(MRF)的结合，实现了多组输入特征与多组预存特征的快速比对。

如图3所示，认证装置140包括模型建立单元141、确定单元142以及比对单元143。下面将结合身份认证设备100仅具有一个可信用户以及输入一组特征时的示例来描述认证装置140的具体操作：

假设人脸特征模板库中共有N张人脸图像，并且其中部分图像对应仅有的一个可信用户，其余图像为无效人脸图像，每一张人脸图像的特征分别表示为{x_1,x₂,...,x_N}，记每一张人脸图像的标签分别为{y₁,y₂,...,y_N}，其中y_i取0或者1，1表示该张人脸图像为可信用户人脸图像，0表示该张人脸图像为无效人脸图像。两组特征x_i和x_j的相似程度的概率可根据下式计算：

$r(x_i,x_j)=-\log \frac{\mathrm{Pr}(y_i=y_i)}{\mathrm{Pr}(y_i\≠y_i)}+\log \frac{\mathrm{Pr}(y_i=y_i|x_i,x_j)}{\mathrm{Pr}(y_i\≠y_i|x_i,x_j)}$

当系统输入一张未知用户的人脸图像时，假设其特征表示为t_k。在本公开中，关于人脸相似度的度量只和参与比较的两张人脸图像(人脸特征)有关，所以在模型建立单元141中该输入的人脸图像以及人脸特征模板库中的人脸图像建立MRF，并且通过确定单元142将该MRF的联合概率模型的能量公式确定为，

$E\left(\right\{y_n\left\}\right|\left\{x_n\right\},\left\{t_k\right\})=-\underset{i}{\mathrm{\Σ}}\mathrm{\δ}(1,y_i)r(x_i,t_k)-\underset{i\≠j}{\mathrm{\Σ}}\mathrm{\δ}(y_i,y_j)r(x_i,x_j)$

其中 $\mathrm{\δ}(a,b)=\left\{\begin{array}{cc}1& a=b\\ 0& a\≠b\end{array}\right.$

在确定单元142中，通过变量消除的推理方法可得到第i张人脸图像x_i的标签y_i的条件概率如下

$E_i\left(y_i\right|\{y_2,...,y_N\},\left\{x_n\right\},\left\{t_k\right\})=-\mathrm{\δ}(1,y_i)r(x_i,t_k)-\underset{j\≠i}{\mathrm{\Σ}}\mathrm{\δ}(y_i,y_i)r(x_j,x_i)$

为了降低模型学习的复杂度，引入参数E来表示两张人脸图像是否属于同一个用户，

$E=-\underset{i}{\mathrm{\Σ}}{y}_{i}r\left(x_i\right)-\underset{i\≠j}{\mathrm{\Σ}}{y}_i{y}_{j}r(x_i,x_j)-\underset{i\≠j}{\mathrm{\Σ}}(1-y_i)(1-y_i)\log (\mathrm{\λ}+(1-\mathrm{\λ})\exp \left(r(x_i,x_j)\right))$

其中，参数λ影响该方法的总体准确程度，应根据使用场景需求而设置，通常设置为0.5。

通过优化以上能量函数，可以得到类似原始联合贝叶斯方法中的两个协方差矩阵H_I和H_E，从而通过比对单元143实现一组输入特征对多组预存特征的快速比对，并通过输入的多组特征与人脸特征模板库中的多组特征的逐一比对，实现多组输入特征与多组预存特征的快速比对。当人脸特征模板库中包含多组可信用户的特征时，只需用不同的标签y区分不同的用户即可实现该比对方法对多个可信用户的支持。如此基于多组来自同一人脸的人脸特征，与输入的特征进行比对，可有效提高比对的准确性，并且由于人脸特征模板库中用于比对的多组人脸特征采集于不同角度不同场景的同一人脸图像，可同时提高比对方法的场景适应性。通过根据本公开的认证装置140，虽然增大了复杂度，但是新增加了不到1％的耗时，相对于原始耗时可忽略不计，但降低了图像采集的要求，同时提高了场景适应性。

每次由人脸特征提取装置130可能会得到多组人脸特征(由采集装置120采集了多张图像，每张图像中有人脸即包含一组特征，通过第一特征筛选装置150筛选后还可能会有若干组特征)，认证装置140需要将由人脸特征提取装置130所提取的每一组特征与预先存储的人脸特征模板的每一组特征进行逐一的比对，每次的比对结果即为两组特征间的相似度，其值越大，可认为两特征来自于同一人的可能性越大。并且需要计算待认证用户的每组人脸特征与预先存储的人脸特征模板中每个可信用户的所有特征的人脸相似度的均值，认为均值最大的用户组为该待认证用户所对应的可信用户。同时需要设置一个阈值，若所有的均值均小于该阈值，则认为该待认证用户不是可信用户。

第一特征筛选装置150可配置为从一系列人脸特征中筛选可用于比对的具有代表性的人脸特征。在每次的图像采集及人脸特征提取中，会采集到大量用户人脸，其中包含了用户在不同环境、不同角度下的人脸样本，也包含了相似条件下的大量冗余样本。因此，需要从中筛选出有代表性的人脸图像(特征)，以更好地刻画用户的身份特征。例如可使用E.Elhamifar等人的《SeeAllbyLookingatAFew:SparseModelingforFindingRepresentativeObjects》中提出的算法从大量特征中进行代表性特征的筛选。该算法可以从一个样本矩阵中选取一部分样本以最好地概括所有样本的特点，算法普适性较好，作为一个近似的凸优化问题也有成熟、快速的训练算法。本公开实施方式将上述算法应用在了人脸特征的应用中。具体地说，第一特征筛选装置150将大量图像中的人脸特征组成特征矩阵，然后使用该算法训练得到一个系数矩阵，使得特征矩阵可以表示为矩阵中尽量少的元素的线性组合，也即所有特征可以用其中的少量特征的线型组合来表示。这样选出的特征就是较具代表性的样本。在实际应用中，当输入的样本的数量超过预设阈值时就由第一特征筛选装置150筛选出其中最有代表性的样本，以其作为人脸认证的比对模板，达到提高认证准确率的目的。

根据本公开实施方式，当一个用户已被判定为时可信用户时，才由第一特征筛选装置150对先前采集到的该用户的特征进行代表性筛选。

代表性特征筛选在使用时需要有大量的输入特征作为前提，在实际使用时要综合人脸特征提取装置130输出的此次采集的可信用户的所有人脸特征以及预先存储的该用户的人脸特征。同时需设置第一特征筛选装置150的筛选结果的特征组数，并利用筛选后的特征数据替换预先存储的人脸特征模板库中对应的该用户数据。该设置的组数须考虑实际实现设备的软硬件性能，组数越大则认证装置140的比对速度越慢，但可换来更高的比对准确性及适应性。

下面将对第二特征筛选装置160进行详细描述。在具体的对待认证用户进行身份认证的过程中，在由人脸特征提取装置130从由采集装置120所采集的待认证用户的人脸图像提取到的人脸特征后，第二特征筛选装置160可根据认证装置140和第一特征筛选装置150的需求不同，对特征进行筛选。

具体地，第二特征筛选装置160根据由人脸特征提取装置130检测到的由采集装置120所采集的待认证用户的人脸图像的角度信息，尽可能从人脸特征提取装置130支持的每个角度所对应的特征中选取一组特征以用于认证装置140。例如，假定人脸面向方向为三维坐标系x轴正向，且人脸特征提取装置130设置为可支持人脸在以x轴为轴的方向上旋转范围为[-10°,10°]的检测。作为示例，在本实施方式中，可将输入的人脸特征的x轴方向上的角度量化为5级：-10°，-5°，0°，5°，10°，若第二特征筛选装置160的输入为40组特征，这些特征经量化后有4种角度，每种角度各10组，则从每个角度中选1组，共4组输出至认证装置140。以上为示例性的介绍，其中的参数可根据具体使用情况而进行设置。在三维坐标系的y轴与z轴方向上，同样要做类似的处理。

图2示出了根据本公开实施方式的人脸特征提取装置130的示意图。如图所示，人脸特征提取装置130可包括定位装置131、识别装置132以及提取装置133。

根据本公开实施方式，定位装置131用于在由采集装置120所采集的用户的人脸图像中定位人脸区域。定位装置131采用了例如基于SURF(SpeededUpRobustFeatures(加速稳健特征))的级联回归方法来定位人脸区域。定位装置131最终以正方形框定位出图像中的人脸区域，并在实际使用中舍弃没有人脸区域的图像。当一幅图像中有多个框时，优先选取较大的人脸框，有更大的可能是待检测用户。在定位出人脸区域的同时，定位装置131还可得到人脸在三维坐标系中三个轴方向上的转动角度信息。该角度信息同时作为人脸特征提取装置130的输出，用于第二特征筛选装置160的特征筛选。

根据本公开实施方式，识别装置132在定位装置131定位出包含人脸区域的正方形框之后在该框中对用于人脸比对的人脸关键点进行识别，在本实施方式中，利用21个用于人脸比对的人脸关键点，其中该21个人脸关键点(人脸关键点1至人脸关键点21)的位置如图7所示。

下面将参照该示例详细描述识别装置132。如图2所示，识别装置132包括初始位置估计模块1321和精确位置计算模块1322。初始位置估计模块1321基于由定位装置131在人脸图像中检测到的人脸区域采用例如一种三级级联的深度卷积神经网络(CNN)中的第一级进行21个人脸关键点的大概估计，以确定人脸关键点的初始位置。精确位置计算模块1322基于由初始位置估计模块1321所确定的人脸关键点的初始位置采用例如对梯度进行级联回归的监督梯度下降方法(SupervisedDescentMethod(SDM))精确地定位人脸关键点的精确位置，从而确定出人脸关键点。

具体地，SDM的思路是，通过多次的迭代逐渐精确对人脸关键点的估计。在本公开中，从LFPW(LabeledFacePartsintheWild)数据集的35点关键点标注中选取采样得到21个所需关键点，并由此训练得到SDM中迭代所需参数，其中SDM的初始关键点由CNN中第一级处理得到。

在CNN方法中，第一层中的网络得到了一个对关键点位置的大概估计，后两层依次使得这个估计逐渐精确。但是这种方法的缺点在于，计算量庞大，速度较慢，难以在移动端的计算能力下做到实时计算。

SDM方法的优点是速度快，但是该方法依赖对初始关键点位置的选择，不好的初始位置可能的导致回归到局部最优解，从而使得对人脸关键点位置的估计存在偏差。

在根据本公开的识别装置132中综合了上述两种方法，初始位置估计模块1321采用CNN网络的第一层得到相对精确的人脸关键点的初始位置，精确位置计算模块1322利用SDM方法逐渐地线性回归出精确的人脸关键点位置。这样就结合了两种方法的优点，使得本公开的识别人脸关键点的过程既有较好的鲁棒性，又有较快的速度。

根据本公开实施方式，提取装置133在识别装置132得到21个人脸关键点的位置后在这21个关键点周围领域的不同尺度上提取LBP(LocalBinaryPatterns)特征。在不同的图像尺度上提取到的LBP特征维数很高，往往可以达到上万维，不利于后续的处理。提取装置133采用例如PLDA(ProbabilisticLinearDiscriminantAnalysis，概率线性判别分析)方法对特征降维，将特征向量的维数降至数百量级。每张图像中的每个人脸区域对应一组人脸特征。

下面将参照图4至图6描述根据本公开实施方式的身份认证方法。

图4示出了根据本公开实施方式的身份认证方法中的可信用户预登记过程。在初次使用实施有根据本公开实施方式的身份认证方法的设备时或需要添加新的可信用户时，需要对可信的用户进行身份的预登记。如图4所示，可信用户预登记的过程包括采集人脸图像的步骤1001、提取人脸特征的步骤1002以及将提取到的人脸特征确定为人脸特征模板。在一次的图像采集中优选能够采集多张图像，并在进行人脸特征提取后，将提取的多组人脸特征进行存储。所存储的人脸特征作为今后需要进行用户身份认证时的比对模板。

根据本公开的可信用户预登记过程可以有意识地进行或可无意识地进行。例如，以具有一个可信用户为例，当无意识地进行可信用户预登记过程时，在采集人脸图像的步骤1001中采集用户的人脸图像，以及在提取人脸特征的步骤1002中在根据采集人脸图像的步骤1001所得到的人脸图像中提取用户的人脸图像的人脸特征，当满足预登记条件(例如，确定的采集次数、确定的采集图像数、周期性地采集了一段时间的图像等)时，这些用户中人脸图像满足预定条件的(例如，人脸特征出现次数最多或图像质量最好等)的用户被确定为可信用户，并且被确定为可信用户的用户的人脸特征被用作初始的人脸特征模板。当然也可有意识地进行身份预登记，例如通过在不同环境、不同角度、不同情况下采集可信用户的人脸图像，然后通过在所采集的人脸图像中提取人脸特征作为人脸特征模板。另外，人脸特征模板还可来自于经比对后认定为可信用户时通过筛选代表性特征的步骤2005(将在下文进行详细描述)筛选后的人脸特征。为提高比对的准确性和适应性，人脸特征模板库中需为每个可信用户保存若干组用于比对的特征，这些特征会涵盖多种情况下的相同人脸的特征，比如：人脸角度不同、光照不同、背景不同等，这些不同情况下的人脸特征由筛选特征的步骤2003的初始输入和筛选代表性特征的步骤2005的输入共同得到。可信用户预登记时保存的用户特征组数可能较多，但在筛选代表性特征的步骤2005进行代表性特征筛选后，人脸特征模板库中保存的每个可信用户的用于比对的特征组数应为预先设置的筛选输出组数。另外，本领域技术人员应理解，可信用户数还可以是多个，并且当满足预登记条件(例如，确定的采集次数、确定的采集图像数、周期性地采集了一段时间的图像等)时例如将使用实施有根据本公开实施方式的身份认证方法的设备的用户中人脸图像满足预定条件(例如，人脸特征出现次数最多或图像质量最好等)的多个用户确定为可信用户，并将人脸图像满足预定条件的该多个用户的人脸特征作为今后需要进行身份认证时的人脸特征模板。

图5示出了根据本公开实施方式的身份认证方法中的待认证用户的身份认证过程。在已存在有可信用户的人脸特征模板，且有新的用户(即，待认证用户)需要认证其身份时，进行该身份认证过程。如图5所示，待认证用户的身份认证过程可包括采集人脸图像的步骤2001、提取人脸特征的步骤2002、筛选特征的步骤2003、人脸比对的步骤2004以及筛选代表性特征的步骤2005。

在采集人脸图像的步骤2001中，采集待认证用户的人脸图像。优选地，在采集人脸图像的步骤2001中，在一次采集时采集多个图像。另外，根据本公开实施方式，优选地，在采集人脸图像的步骤2001中，可在待认证用户不知情的情况(例如，包括但不限于无显示、无声音或文字提示、无振动提示等)下采集待认证用户的人脸图像。

在提取人脸特征的步骤2002中，在根据采集人脸图像的步骤2001所得到的待认证用户的人脸图像中提取待认证用户的人脸图像的人脸特征并且检测待认证用户的人脸图像的角度信息。这将在下文参照图6进行详细描述。

在筛选特征的步骤2003中，执行人脸特征的筛选。在提取人脸特征的步骤2002之后，在筛选特征的步骤2003中可根据人脸比对的步骤2004和筛选代表性特征的步骤2005的需求不同，对从提取人脸特征的步骤2002所得到的特征进行筛选。

具体地，在筛选特征的步骤2003中，可根据在提取人脸特征的步骤2002中检测到的待认证用户的人脸图像的角度信息，尽可能从提取人脸特征的步骤2002支持的每个角度所对应的特征中选取一组特征以用于随后的人脸比对的步骤2004。例如，假定人脸面向方向为三维坐标系x轴正向，且提取人脸特征的步骤2002可支持人脸在以x轴为轴的方向上旋转范围为[-10°,10°]的检测。作为示例，在本实施方式中，可将输入的人脸特征的x轴方向上的角度量化为5级：-10°，-5°，0°，5°，10°，若筛选特征的步骤2003的输入为40组特征，这些特征经量化后有4种角度，每种角度各10组，则从每个角度中选1组，共4组输出用于随后的人脸比对的步骤2004。以上为示例性的介绍，其中的参数可根据具体使用情况而进行设置。在三维坐标系的y轴与z轴方向上，同样要做类似的处理。

在人脸比对的步骤2004中，根据从特征筛选的步骤2003得到的筛选后的待认证用户的人脸图像的人脸特征和预先存储的人脸特征模板进行人脸特征比对，从而确定该用户是否为可信用户。

下面将结合仅具有一个可信用户以及输入一组特征时的示例来描述人脸比对的步骤2004的具体实现：

假设人脸特征模板库中共有N张人脸图像，并且其中部分图像对应仅有的一个可信用户，其余图像为无效人脸图像，每一张人脸图像的特征分别表示为{x_1,x₂,...,x_N}，记每一张人脸图像的标签分别为{y_1,y₂,...,y_N}，其中y_i取0或者1，1表示该张人脸图像为可信用户人脸图像，0表示该张人脸图像为无效人脸图像。两组特征x_i和x_j的相似程度的概率可根据下式计算：

$r(x_i,x_j)=-\log \frac{\mathrm{Pr}(y_i=y_i)}{\mathrm{Pr}(y_i\≠y_i)}+\log \frac{\mathrm{Pr}(y_i=y_i|x_i,x_j)}{\mathrm{Pr}(y_i\≠y_i|x_i,x_j)}$

当系统输入一张未知用户的人脸图像时，假设其特征表示为t_k。在本公开中，关于人脸相似度的度量只和参与比较的两张人脸图像(人脸特征)有关，所以使用该输入的人脸图像以及人脸特征模板库中的人脸图像建立MRF，并将该MRF的联合概率模型表示为以下的能量公式，

$E\left(\right\{y_n\left\}\right|\left\{x_n\right\},\left\{t_k\right\})=-\underset{i}{\mathrm{\Σ}}\mathrm{\δ}(1,y_i)r(x_i,t_k)-\underset{i\≠j}{\mathrm{\Σ}}\mathrm{\δ}(y_i,y_j)r(x_i,x_j)$

其中 $\mathrm{\δ}(a,b)=\left\{\begin{array}{cc}1& a=b\\ 0& a\≠b\end{array}\right.$

通过变量消除可得到第i张人脸图像x_i的标签y_i的条件概率如下

$E_i\left(y_i\right|\{y_2,...,y_N\},\left\{x_n\right\},\left\{t_k\right\})=-\mathrm{\δ}(1,y_i)r(x_i,t_k)-\underset{j\≠i}{\mathrm{\Σ}}\mathrm{\δ}(y_i,y_i)r(x_j,x_i)$

为了降低模型学习的复杂度，引入参数E来表示两张人脸图像是否属于同一个用户，

$E=-\underset{i}{\mathrm{\Σ}}{y}_{i}r\left(x_i\right)-\underset{i\≠j}{\mathrm{\Σ}}{y}_i{y}_{j}r(x_i,x_j)-\underset{i\≠j}{\mathrm{\Σ}}(1-y_i)(1-y_i)\log (\mathrm{\λ}+(1-\mathrm{\λ})\exp \left(r(x_i,x_j)\right))$

其中，参数λ影响该方法的总体准确程度，应根据使用场景需求而设置，通常设置为0.5。

通过优化以上能量函数，可以得到类似原始的联合贝叶斯方法中的两个协方差矩阵H_I和H_E，从而实现一组输入特征对多组预存特征的快速比对，并通过输入的多组特征与人脸特征模板库中的多组特征的逐一比对，实现多组输入特征与多组预存特征的快速比对。当人脸特征模板库中包含多组可信用户的特征时，只需用不同的标签y区分不同的用户即可实现该比对方法对多个可信用户的支持。如此基于多组来自同一人脸的人脸特征，与输入的特征进行比对，可有效提高比对的准确性，并且由于人脸特征模板库中用于比对的多组人脸特征采集于不同角度不同场景的同一人脸图像，可同时提高比对方法的场景适应性。根据本公开的人脸比对的步骤2004，虽然相比于原始联合贝叶斯方法增大了复杂度，但是根据上述具体实现，新增加的耗时相比于原始耗时可忽略不计，仅增加了1％的耗时。

每次从特征筛选的步骤2003可能会得到多组人脸特征(在采集人脸图像的步骤2001中采集了多张图像，每张图像中有人脸即包含一组特征，通过特征筛选的步骤2003筛选后还可能会有若干组特征)，在人脸比对的步骤2004中需要将从特征筛选的步骤2003得到的每一组特征与预先存储的人脸特征模板的每一组特征进行逐一的比对，每次的比对结果即为两组特征间的相似度，其值越大，可认为两特征来自于同一人的可能性越大。并且需要计算待认证用户的每组人脸特征与预先存储的人脸特征模板中每个可信用户的所有特征的人脸相似度的均值，认为均值最大的用户组为该待认证用户所对应的可信用户。同时需要设置一个阈值，若所有的均值均小于该阈值，则认为该待认证用户不是可信用户。

在筛选代表性特征的步骤2005中，根据从特征筛选的步骤2003得到的筛选后的人脸特征和预先存储的人脸特征模板进行代表性特征筛选，并利用筛选的特征更新先前的人脸特征模板。

在筛选代表性特征的步骤2005中，进行代表性特征的筛选。在每次的图像采集及人脸特征提取中，会采集到大量用户人脸，其中包含了用户在不同环境、不同角度下的人脸样本，也包含了相似条件下的大量冗余样本。因此，需要从中筛选出有代表性的人脸图像(特征)，以更好地刻画用户的身份特征。在筛选代表性特征的步骤2005中例如可使用上文所述的E.Elhamifar等人的《SeeAllbyLookingatAFew:SparseModelingforFindingRepresentativeObjects》中提出的算法从大量特征中进行代表性特征的筛选。该算法可以从一个样本矩阵中选取一部分样本以最好地概括所有样本的特点，算法普适性较好，作为一个近似的凸优化问题也有成熟、快速的训练算法。本公开实施方式将上述算法应用在了人脸特征的应用中。具体地说，在筛选代表性特征的步骤2005中可将大量图像中的人脸特征组成特征矩阵，然后使用该算法训练得到一个系数矩阵，使得特征矩阵可以表示为矩阵中尽量少的元素的线性组合，也即所有特征可以用其中的少量特征的线型组合来表示。这样选出的特征就是较具代表性的样本。在实际应用中，当输入的样本的数量超过预设阈值时就会调用该算法筛选出其中最有代表性的样本，以其作为人脸认证的比对模板，达到提高认证准确率的目的。

根据本公开实施方式，当在人脸比对的步骤2004中待认证用户已被判定为时可信用户时，才执行筛选代表性特征的步骤2005以对先前采集到的该用户的特征和预先存储的人脸特征模板进行代表性筛选。

筛选代表性特征的步骤2005需要有大量的输入特征作为前提，在实际使用时要综合特征筛选的步骤2003得到的此次采集的可信用户的所有人脸特征以及预先存储的该用户的人脸特征。同时需设置筛选结果的特征组数，并利用筛选后的特征数据替换预先存储的人脸特征模板库中对应的该用户数据。该设置的组数须考虑实际实现设备的软硬件性能，组数越大则人脸比对的步骤2004的比对速度越慢，但可换来更高的比对准确性及适应性。

下面将参照图6来详细描述根据本公开实施方式的提取人脸特征的过程。该提取人脸特征的过程可以是可信用户预登记过程中的提取人脸特征的步骤1002或待认证用户的身份认证过程中的提取人脸特征的步骤2002。

如图6所示，提取人脸特征的过程可包括定位人脸区域的步骤3001、识别人脸关键点的步骤3002以及提取特征的步骤3003。

具体地，在采集了可信用户的人脸图像或采集了待认证用户的人脸图像之后，在定位人脸区域的步骤3001中可在所采集的人脸图像中例如基于SURF的级联回归方法来定位人脸区域，并在实际使用中舍弃没有人脸区域的图像。当一幅图像中有多个框时，优先选取较大的人脸框，有更大的可能是待检测用户。当该提取人脸特征的步骤为待认证用户的身份认证过程中的提取人脸特征的步骤2002时，在定位出人脸区域的同时，还可在定位人脸区域的步骤3001中得到人脸在三维坐标系中三个轴方向上的转动角度信息。该角度信息还用于特征筛选的步骤2003。

然后，执行识别人脸关键点的步骤3002。在步骤3001定位出人脸区域的正方形框之后，在识别人脸关键点的步骤3002中对该框中的用于人脸比对的人脸关键点进行识别，在本公开实施方式中，利用21个用于人脸比对的人脸关键点，其中该21个人脸关键点(人脸关键点1至人脸关键点21)的位置如图7所示。例如可由上文所述的识别装置132来执行识别人脸关键点的步骤3002。

具体地，在本公开实施方式中，可先采用例如三级级联的深度卷积神经网络(CNN)中的第一级进行21个人脸关键点的大概估计，之后可采用例如对梯度进行级联回归的监督梯度下降方法(SupervisedDescentMethod(SDM))进行后续的关键点精确定位。

具体地，SDM的思路是，通过多次的迭代逐渐精确对人脸关键点的估计。在本公开中，从LFPW(LabeledFacePartsintheWild)数据集的35点关键点标注中选取采样得到21个所需关键点，并由此训练得到SDM中迭代所需参数，其中SDM的初始关键点由CNN中第一级处理得到。

在CNN方法中，第一层中的网络得到了一个对关键点位置的大概估计，后两层依次使得这个估计逐渐精确。但是这种方法的缺点在于，计算量庞大，速度较慢，难以在移动端的计算能力下做到实时计算。

SDM方法的优点是速度快，但是该方法依赖对初始关键点位置的选择，不好的初始位置可能的导致回归到局部最优解，从而使得对人脸关键点位置的估计存在偏差。

本公开的识别人脸关键点的步骤3002综合了上述两种方法，先用CNN网络的第一层得到一个相对精确的人脸关键点的初始位置，然后再利用SDM方法，逐渐的线性回归出精确的人脸关键点位置。这样就结合了两种方法的优点，使得本公开的过程既有较好的鲁棒性，又有较快的速度。

然后，执行提取特征的步骤3003。在通过识别人脸关键点的步骤3002得到21个人脸关键点之后，在提取特征的步骤3003中在这21个关键点周围领域的不同尺度上提取LBP(LocalBinaryPatterns)特征。在不同的图像尺度上提取到的LBP特征维数很高，往往可以达到上万维，不利于后续的处理。在步骤3003中采用例如PLDA(ProbabilisticLinearDiscriminantAnalysis，概率线性判别分析)方法对特征降维，将特征向量的维数降至数百量级。每张图像中的每个人脸区域对应一组人脸特征。

特别地，本公开涉及的身份认证方法和设备并不是基于单个人脸特征与单个预存人脸特征的比对，而是待认证用户的多组人脸特征与多组预存可信用户的人脸特征模板的比对。每个可信用户的用于比对的人脸特征模板包含该用户在不同环境、不同角度下的人脸特征，以此作为模板进行比对，可提高比对的准确性以及环境的适应性。

根据本公开的身份认证方法可作为用户身份认证方法单独使用，可替代传统用户身份认证方法，如密码输入、指纹比对、传统人脸比对等。这些传统方法在进行身份认证时，需要用户进行相应配合：手动输入密码、进行有接触的指纹采集、进行正脸的人脸图像采集等。根据本公开的身份认证方法在收集了足够多的可信用户的人脸特征后，在进行身份比对认证时，只要图像采集设备采集到了人脸，即可进行无感知无接触的认证；场景的适应性更强，可识别用户的侧脸等不同角度，有无佩戴眼镜，有无留胡须，光照、背景不同等情况。

根据本公开的身份认证方法和设备在不同的场景及不同的安全程度的要求下，可采用不同的实施方式：可单独使用，也可结合其他认证方式使用；可有意识进行身份预登记，也可进行无意识的预登记过程。

下面将描述将根据本公开的身份认证方法应用于手机屏幕解锁的示例，其中要求该手机有前置摄像头。

手机的拥有者是手机的主要使用者，在他的日常使用中，必然会有大量的时间面对手机屏幕(前置摄像头)对手机进行操作，在这个过程中，可由前置摄像头对用户的人脸图像进行多次多张图像采集，这个采集过程是“静默”的或用户不知情的，即不在手机屏幕上显示摄像头的取景框的情况下完成图像的采集，用户在使用手机进行其他操作，仅用前置摄像头采集人脸图像。采用“静默”的方式进行图像的采集可以采集到更自然、更多环境、更多的用户人脸在不同状态下的人脸图像，用这些图像提取的人脸特征可在今后的比对中获得更好的环境适应性。同时，在使用根据本公开的身份认证方法进行用户身份认证时的图像采集也是“静默”的或用户不知情的，并不给出摄像头正在采集人脸图像的提示。当一个非可信用户拿到手机想要进行屏幕解锁时，不给出图像采集的提示，就会提高屏幕解锁被破解的难度，从而提高安全性。

在本示例中，可实现无意识的用户身份预登记。使用前需设置可接受的可信用户的数量，在此以1个用户为例。在手机被使用时，定期对正在使用手机的用户进行人脸的图像采集(未完成人脸比对模板建立时)，并从所采集的图像提取人脸特征。在进行了一段时间的人脸图像采集后，即已满足某种预登记条件，例如：确定的采集次数、确定的采集图像数，周期性地采集了一段时间的图像等时，从所采集的人脸特征中找出出现次数最多的来自同一用户的人脸特征，以此用户作为该手机的可信用户，并筛选其中的一些特征作为比对的特征模板。之后在该手机的持有者需要进行手机屏幕解锁时，即需要用户身份认证时(即待认证用户的身份认证过程)，他只需进入手机屏幕解锁界面，由手机摄像头完成“静默”的人脸图像的采集，然后提取人脸特征和特征筛选，在进行人脸比对后，若比对结果认为该用户是合法用户，则可解锁手机屏幕并筛选代表性人脸特征以更新人脸特征模板。

在上述示例中，还可将人脸比对模板建立的图像采集的过程设置在进行其他认证方式的屏幕解锁时，这样的设置可以提高在尚未完成人脸比对模板建立时的手机安全性。在完成人脸比对模板建立后，即可不使用其他认证方式而实现无需操作的屏幕解锁。

下面给出用本公开的身份认证方法进行用户身份比对时的准确率测试实验的结果，包括一个对照组和两个实验组：

用PC机连接了一个摄像头用于图像采集，摄像头可进行单张图像的拍摄或帧率为30fps的图像采集。有50位测试者参与测试，每位测试者面对摄像头，并且知道在进行人脸的图像采集。实验按下述步骤进行：

1.用户身份预登记(人脸图像初次采集)：

对照组：对每个测试者进行单张人脸图像的采集，PC机屏幕显示摄像头取景框，由测试者摆好姿势进行自主的图像采集。只保存一组根据该图像提取的人脸特征作为人脸比对模板。

实验组1及实验组2：对每个测试者进行“静默”方式的多张人脸图像的采集。每位测试者面对摄像头，轻微地在多角度及方向上晃动头部，持续3秒钟。

2.身份认证：

对照组：测试者自主采集一张人脸图像，并根据该图像提取人脸特征与预登记的一组人脸特征比对模板进行比对。比对也采用根据本公开的身份认证方法中人脸比对的步骤2004的比对方法。每名测试者与对应的自己的预登记模板比对5次，再随机挑选领5名测试者与该模板各比对1次，共500次比对。每次的比对后不更新比对模板。

实验组：用根据本公开的身份认证方法进行比对。测试时的部分参数设置为：每次认证时采集1秒的图像，提取人脸特征的步骤2002共支持3个方向上共27个量化后的角度用于特征筛选300，实验组1在代表性特征筛选中共选出5组特征，实验组2中选出10组。每名测试者与对应的自己的模板比对5次，再随机挑选领5名测试者与该模板各比对1次。共500次比对。在进行以上的比对时，系统地要求测试者在进行比对时摆出不同的人脸角度。

实验结果：

将每组的1000次比对结果绘制受试者工作特征(ROC,Receiveroperatingcharacteristics)曲线(图8)。ROC曲线用于直观地表示在不同的判断阈值下人脸比对的准确率，其中横轴为某一阈值下的误检率(FalsePositiveRate)，纵轴为此时的正确检测率(TruePositiveRate)。在同样横坐标下曲线点越高越好，整个曲线越向左上靠近越好。曲线与x+y＝1直线的交点称为最佳工作点，一般在实用的验证系统中都使用这一点上的阈值。从图中可以明显看出，实验组的结果好于对照组，且筛选出的代表性特征数量增加时，效果还有一定程度的提升。总体上说，在采用本公开的多张、多角度、“静默”的方式进行人脸比对时，总体表现较一比一的图像比对时效果更好。

本领域普通技术人员可以理解在上述实施方式中描述的全部或部分步骤或单元可以软件形式和/或硬件形式来实现，本公开不限制于任何特定形式的硬件和软件的结合。

Claims (11)

1.一种身份认证设备，其特征在于，所述身份认证设备包括：

采集装置，采集进入其采集范围的用户的人脸图像；

人脸特征提取装置，连接于所述采集装置以从由所述采集装置所采集的所述用户的人脸图像提取人脸特征；以及

认证装置，与所述人脸特征提取装置通信，并从预登记的人脸特征模板库中确定是否存在与从所采集的所述用户的人脸图像中提取的所述人脸特征相匹配的人脸特征模板，如果存在，则确定出所述用户为可信用户，

其中，所述采集装置在接收到用户的身份认证请求时自动采集该用户的多张人脸图像，以及

所述身份认证设备还包括壳体，所述壳体具有允许所述采集装置从所述身份认证设备露出以采集图像的开口。

2.根据权利要求1所述的身份认证设备，其特征在于，所述身份认证设备通信地连接于通信设备，当所述通信设备接收到用户的身份认证请求时，所述采集装置响应于接收到的所述身份认证请求，在所述用户不知情的情况下采集该用户的人脸图像。

3.根据权利要求1所述的身份认证设备，其特征在于，

所述采集装置在预登记可信用户时在使用所述身份认证设备的用户不知情的情况下采集使用所述身份认证设备的所述用户的人脸图像，以及

所述人脸特征提取装置在预登记可信用户时从由所述采集装置所采集的使用所述身份认证设备的所述用户的人脸图像提取人脸特征，并当满足预登记条件时将使用所述身份认证设备的所述用户中人脸图像满足预定条件的用户确定为可信用户，以及使人脸图像满足所述预定条件的所述用户的人脸特征作为所述人脸特征模板。

4.根据权利要求1所述的身份认证设备，其特征在于，所述身份认证设备还包括第一特征筛选装置，在所述用户被确定为可信用户时，所述第一特征筛选装置根据由所述人脸特征提取装置从所采集的所述用户的所述人脸图像提取的所述人脸特征和所述人脸特征模板进行代表性特征筛选，并利用筛选的代表性特征更新所述人脸特征模板。

5.根据权利要求1所述的身份认证设备，其特征在于，

所述人脸特征提取装置还检测由所述采集装置所采集的所述用户的人脸图像的角度信息，以及

所述身份认证设备还包括第二特征筛选装置，所述第二特征筛选装置根据由所述人脸特征提取装置所检测到的所述角度信息，对从由所述采集装置所采集的所述用户的人脸图像提取的所述人脸特征进行筛选，其中所筛选的所述人脸特征用于所述认证装置。

6.根据权利要求1所述的身份认证设备，其特征在于，所述人脸特征提取装置包括：

定位装置，在由所述采集装置所采集的所述用户的人脸图像中定位人脸区域；

识别装置，对由所述定位装置所定位的所述人脸区域进行人脸关键点识别，以识别出所述人脸区域的人脸关键点；以及

提取装置，基于所识别的所述人脸关键点提取人脸特征。

7.根据权利要求6所述的身份认证设备，其特征在于，所述人脸特征提取装置的所述定位装置还检测由所述采集装置所采集的所述用户的人脸图像的角度信息。

8.根据权利要求7所述的身份认证设备，其特征在于，所述定位装置根据基于加速稳健特征的级联回归方法在由所述采集装置所采集的所述用户的人脸图像中定位所述人脸区域和检测由所述采集装置所采集的所述用户的人脸图像的所述角度信息。

9.根据权利要求6所述的身份认证设备，其特征在于，所述识别装置包括：

初始位置估计模块，基于由所述定位装置在所述人脸图像中所定位的所述人脸区域，使用三级级联的深度卷积神经网络的第一级估计所述人脸关键点的初始位置；以及

精确位置计算模块，基于由所述初始位置估计模块所估计的所述人脸关键点的所述初始位置，使用监督梯度下降方法精确计算所述人脸关键点的精确位置，以确定出所述人脸关键点。

10.根据权利要求1所述的身份认证设备，其特征在于，所述认证装置包括：

模型建立单元，利用从所采集的所述用户的人脸图像中提取的所述人脸特征和所述人脸特征模板库中的人脸特征模板建立马尔科夫随机场模型；以及

比对单元，基于所述马尔科夫随机场模型的能量函数，根据联合贝叶斯方法执行从所采集的所述用户的人脸图像中提取的所述人脸特征与所述人脸特征模板库中的人脸特征模板的比对。

11.根据权利要求10所述的身份认证设备，其特征在于，所述认证装置还包括：

确定单元，连接于所述模型建立单元与所述比对单元之间，并根据从所述模型建立单元所建立的所述马尔科夫随机场模型来确定所述能量函数，其中，在所述身份认证设备仅具有一个可信用户的情况下，所述确定单元将所述能量函数确定为：

其中

x表示所述人脸特征模板的人脸特征，

y表示所述人脸特征模板的标签，其中当该人脸特征模板对应于可信用户时y取1，以及当该人脸特征模板不对应于可信用户时y取0，

以及t_k表示所采集的所述用户的人脸图像的人脸特征。