CN101558431B - 脸认证设备 - Google Patents

Abstract

提供一种脸认证设备，该脸认证设备不管输入脸图像的成像环境如何，都能够以高准确度执行个人认证。该脸认证设备包括：第一相似度计算单元(50)，用于计算输入脸图像数据项的特征数据项和在脸图像数据注册单元(30)中注册的脸图像数据项的特征数据项之间的相似度；第二相似度计算单元(70)，用于计算存储在特征数据存储部(60)中的特征数据项和由第一特征提取单元(20)提取的特征数据项之间的相似度；阈值设置单元(80)，用于基于由第二计算单元(70)计算的相似度设置阈值，该阈值用于判断输入脸图像数据项和注册的脸图像数据项是否属于同一人；和识别确定单元(90)，用于通过比较由阈值设置单元(80)设置的阈值与由第一相似度计算单元(50)计算的相似度而确定输入脸图像数据项和注册的脸图像数据项是否是同一人的数据项。

Description

脸认证设备

相关申请

本申请要求2006年12月13日在日本提交的日本专利申请No.2006-335508的优选权，其主题通过引用被合并于此。

技术领域

本发明涉及使用脸图像数据来对个人进行认证的脸认证设备。

背景技术

近年来，将脸图像、指纹、虹膜、血管图形、或人身体的其它部分用作密钥的生物识别(biometric)认证作为一种安全系统已经引起关注，该安全系统由于它不需要携带密钥等因而是方便的，并且该安全系统还不易受由于丢失、被偷窃等引起的不正当使用的影响。特别地，使用脸图像的认证方法具有下述优点，即，它们几乎不需要待认证的人的时间和努力来注册个人认证所需要的生物体信息。即，使用脸图像的认证方法不需要像在指纹认证或血管图形认证中一样伸出手指或手，也不需要如在虹膜认证中一样用光直接照射眼球。因此即使待认证的人在生物体信息的注册中不合作，也能够容易地执行认证。使用脸图像的认证方法还具有下述优点，即，与使用指纹、虹膜和血管图形的认证相比，被认证的那些对象具有更小的心理抗拒感。

日本专利特开申请No.2005-316888提出了一种关于脸认证设备的技术，该技术通过马赛克化脸图像并且使神经网络对其进行学习而进行认证。这里的神经网络是旨在借助于计算机上的仿真来表现在脑功能中发现的一些属性的数学模型。在现有技术文献中描述的该技术能够吸收脸的位置/角度的变化和照明的变化，以执行个人认证。

日本专利特开申请No.2002-183734提出了一种关于认证设备的技术，该技术通过根据注册者使用的频率改变用于个人认证的阈值而进行认证。在现有技术文献中描述的该技术能够根据使用条件动态地改变用于认证的阈值，并且能够提高方便性和安全性。

然而，在日本专利特开申请No.2005-316888中描述的技术可能不能根据脸的位置/角度的变化程度和照明的变化程度而充分地学习，从而可能不能足以响应在实际环境中的各种环境变化。在日本专利特开申请No.2002-183734中描述的技术因为只根据注册者使用的频率改变阈值，因此根本没有考虑脸的位置/角度的改变和照明的改变的对策。

例如，在通过监视相机获得的脸图像由脸认证设备进行认证的情形中，监视相机周围的成像环境随着时间改变。因此，在预先注册的特定人的脸图像的注册时的成像环境和在同一特定人的认证时的成像环境通常是彼此不同的。在该情形中，仅因为注册脸图像的成像环境接近待认证的输入脸图像的成像环境，完全不同的人的输入脸图像和注册脸图像可能被判断为彼此相似。即，例如，假设在脸认证设备中注册的注册脸图像在蓝色氖光下成像。另一方面，假设在认证时的输入脸图像在相同蓝色氖光下成像。在该情形中，虽然输入脸图像属于与注册脸图像的人不同的人，但脸认证设备可能判断两个图像彼此相似。

发明内容

本发明要解决的问题

在上述背景下做出的本发明的目的是提供一种脸认证设备，其能够以高准确度执行个人识别而不管输入脸图像的成像环境如何。

解决问题的方式

本发明的脸认证设备包括：第一提取单元，用于从输入脸图像数据项中提取特征数据项；脸图像数据注册单元，在指定成像条件下成像的脸图像数据项被注册在该脸图像数据注册单元中；第二提取单元，用于从注册在脸图像数据注册单元中的脸图像数据项中提取特征数据项；第一计算单元，用于彼此核对每个通过第一和第二提取单元提取的特征数据项，以计算在两特征数据项之间的相似度；特征数据存储部，用于存储多个特征数据项，每个特征数据项是从在与指定成像条件几乎相同的条件下成像的多个人的多个脸图像数据项中提取的；第二计算单元，用于核对通过第一提取单元提取的特征数据项与存储在特征数据存储部中的特征数据项，以计算特征数据项之间的相似度；阈值设置单元，用于基于由第二计算单元计算的相似度设置阈值，该阈值用于判断输入脸图像数据项和在脸图像数据注册单元中注册的脸图像数据项是否属于同一人；和确定单元，用于通过比较由阈值设置单元设置的阈值与由第一计算单元计算的相似度而确定输入脸图像数据项和在脸图像数据注册单元中注册的脸图像数据项是否属于同一人。

本发明的另一方面是脸认证方法，其包括：第一提取步骤，从输入脸图像数据项中提取特征数据项；第二提取步骤，参考在指定成像条件下成像的脸图像数据项被注册在其中的脸图像数据注册单元，从在脸图像数据注册单元中注册的脸图像数据项中提取特征数据项；第一计算步骤，将每个在第一提取步骤和第二提取步骤中提取的特征数据项彼此核对，以计算在两特征数据项之间的相似度；第二计算步骤，参考用于存储多个特征数据项的特征数据存储部，核对在第一提取步骤中提取的特征数据项与存储在特征数据存储部中的特征数据项，以计算特征数据项之间的相似度，其中多个特征数据项每个都是从在与指定成像条件几乎相同的条件下成像的多个人的多个脸图像数据项中提取的；阈值设置步骤，基于在第二计算步骤中计算的相似度而设置阈值，该阈值用于判断输入脸图像数据项和在脸图像数据注册单元中注册的脸图像数据项是否属于同一人；确定步骤，通过比较在阈值设置步骤中设置的阈值与在第一计算步骤中计算的相似度而确定输入脸图像数据项和在脸图像数据注册单元中注册的脸图像数据项是否属于同一人。

本发明的另一方面是脸认证程序，该脸认证程序使计算机执行上述脸认证方法的处理。

本发明的优点

本发明能提供具有下述优点的脸认证设备，即，不管输入脸图像的成像环境如何，该脸认证设备都能够以高准确度执行个人识别。

如下文所述，存在本发明的其它方面。因此，该发明内容部分意在提供本发明的一些方面，并且不意在限制在这里所描述和要求保护的本发明的范围。

附图说明

图1是示意性地示出根据本发明的实施例1的脸认证设备的构造的方块图；

图2是根据本发明的实施例的脸认证设备的操作流程图；

图3是示出根据本发明的实施例1的脸认证设备的原理的示意图；

图4是示意性地示出根据本发明的实施例2的脸认证设备的构造的方块图；

图5是根据本发明的实施例2的脸认证设备的操作流程图。

符号说明

1、1a：脸认证设备

10：脸图像数据获取单元

20：第一特征提取单元

30：脸图像数据注册单元

40：第二特征提取单元

50：第一相似度计算单元

60，61：特征数据存储部

611-61n：第一到第n副特征数据存储部

70，70a：第二相似度计算单元

80：阈值设置单元

90：识别确定单元

100，100b：特征数据分类单元

110：副特征数据存储部选择单元

120：特征数据更新判断单元

具体实施方式

下面将具体描述本发明。下面的具体的描述和附图不限制本发明。而是，本发明的范围由本发明的权利要求限定。

本发明的脸认证设备包括：第一提取单元，用于从输入脸图像数据项中提取特征数据项；脸图像数据注册单元，在指定成像条件下成像的脸图像数据项被注册在该脸图像数据注册单元中；第二提取单元，用于从在脸图像数据注册单元中注册的脸图像数据项中提取特征数据项；第一计算单元，用于将每个通过第一和第二提取单元提取的特征数据项彼此核对，以计算在两特征数据项之间的相似度；特征数据存储部，用于存储多个特征数据项，每个特征数据项是从在与指定成像条件几乎相同或基本相同的条件下成像的多个人的多个脸图像数据项中提取的；第二计算单元，用于核对由第一提取单元提取的特征数据项与存储在特征数据存储部中的特征数据项，以计算特征数据项之间的相似度；阈值设置单元，用于基于通过第二计算单元计算的相似度设置阈值，该阈值用于判断输入脸图像数据项和在脸图像数据注册单元中注册的脸图像数据项是否属于同一人；和确定单元，用于通过比较由阈值设置单元设置的阈值与由第一计算单元计算的相似度而确定输入脸图像数据项和在脸图像数据注册单元中注册的脸图像数据项是否属于同一人。该构造允许根据输入脸图像数据项设置阈值，并且因此，允许以高准确度进行个人识别而不管用于输入脸图像的成像环境如何。

特征数据存储部可以具有多个副特征数据存储部，用于存储从在不同的成像条件下成像的脸图像数据项中提取的特征数据项，特征数据项被根据成像条件的不同分类到多个副特征数据存储部中，并且第二计算单元可以将由第一提取单元提取的特征数据项与存储在副特征数据存储部之中对应于与用于注册在脸图像数据注册单元中的脸图像数据项的指定成像条件最接近的成像条件的副特征数据存储部中的特征数据项进行核对，并且计算特征数据项之间的相似度。该构造允许根据每个成像条件将特征数据存储部划分并分类，并且因此，即使用于输入脸图像数据项的成像条件变化，也允许以高准确度进行个人识别而不管用于输入脸图像的成像环境如何。

当新的脸图像数据项被注册在脸图像数据注册单元中时，脸认证设备可以将由第二提取单元提取的新的脸图像数据项的特征数据项存储在对应于与用于新的脸图像数据项的成像条件最接近的成像条件的多个副特征数据存储部的一个中。在该构造中，当添加新的脸图像数据项的特征数据项时，特征数据项能够被分类并且存储在最合适的副特征数据存储部中。

第一计算单元可以基于由第一和第二提取单元提取的特征数据项之间的距离计算两特征数据项之间的相似度。在这种构造中，能够容易地计算由第一和第二提取单元提取的特征数据项之间的相似度。

第二计算单元可以基于由第一提取单元提取的特征数据项和存储在特征数据存储部中的特征数据项之间的距离计算两特征数据项之间的相似度。在这种构造中，能够容易地计算特征数据项之间的相似度。

阈值设置单元可以基于由第二计算单元计算的相似度的平均值和方差值设置阈值，该阈值用于判断输入脸图像数据项和在注册单元中注册的脸图像数据项是否属于同一人。在该构造中，能够容易地设置适于个人识别的阈值。

(第一实施例)

下面将参考附图描述根据本发明的第一实施例(下文中被称为“实施例1”)的脸认证设备。在该实施例中说明的是下述脸认证设备的情形，即，使用脸图像数据来对个人进行认证，并且用于房间的门的开/关认证、移动电话的使用的认证等。

图1是示意性地示出根据本发明的实施例1的脸认证设备的构造的方块图。

如在图1中所示，根据本发明的实施例1的脸认证设备1包括：脸图像数据获取单元10、第一特征提取单元20、脸图像数据注册单元30、第二特征提取单元40、第一相似度计算单元50、特征数据存储部60、第二相似度计算单元70、阈值设置单元80、和识别确定单元90。

脸图像数据获取单元10获取例如从摄像机、图像扫描仪等输入的脸图像数据。

第一特征提取单元20从输入到脸图像数据获取单元10的脸图像数据中提取特征数据。第二特征提取单元40从在脸图像数据注册单元30中注册的脸图像数据中提取特征数据。

具体地，第一和第二特征提取单元20和40例如基于脸图像数据中的眼、鼻和嘴的位置等在脸图像数据中切出一定的大小和形状的脸区域，并且提取特征数据“x”，所述特征数据“x”是从一维向量“v”变换的特征数据，其中向量“v”的元素是在整个切出的区域中的像素的亮度值。

作为将“v”变换成适于个人认证的数据“x”的方法，例如，提出了在“Weak Orthogonalization of Face and Perturbation，CVPR 1998，Kenji Nagao，Masaki Sohma，”中描述的方法等。

在上面的方法中，首先，为多个人准备在各种拍摄条件下拍摄的同一人的多个图像，并且从这些图像中获得一维向量。然后，在该方法中，从是同一人的变化成分的扰动成分分布和从是不同人之间的变化成分分布的个体间变化成分分布获得他们各自特征向量分布的协方差矩阵“∑1”和“∑2”，并且获得同时对角化两个协方差矩阵“∑1”和“∑2”的矩阵“L”。

关于此，在矩阵“L”与协方差矩阵“∑1”和“∑2”之间的关系被表示在等式(1)和(2)中：

L∑₁L^T＝Λ⁽¹⁾    (1)

L∑₂L^T＝Λ⁽²⁾    (2)

因为“L”是对角矩阵，所以等式(1)和(2)的“Λ⁽¹⁾”和“Λ⁽²⁾”被表示为如在等式(3)和(4)中所示：

Λ⁽¹⁾＝diag[λ₁ ⁽¹⁾，λ₂ ⁽¹⁾，...]  (3)

Λ⁽²⁾＝diag[λ₁ ⁽²⁾，λ₂ ⁽²⁾，...]  (4)

通过使用对角化的矩阵“L”的对角成分的值，从等式(3)和(4)生成“Γ”，如在下面描述的等式(5)中所示。除了等式(5)，有各种其它生成“Γ”的生成方法。这些生成方法可以被用来生成“Γ”。

Γ＝diag[(λ₁ ⁽¹⁾λ₁ ⁽²⁾)^-1/2，(λ₂ ⁽¹⁾λ₂ ⁽²⁾)^-1/2，...]  (5)

然后，其元素是在整个切出的区域中的像素的亮度值的一维向量“v”乘以在下面描述的等式(6)中所示的矩阵“ψ”。该相乘计算是“x＝ψ·v”。这能够将向量“v”变换成适于个人识别的特征。矩阵“ψ”能够从“Γ”和对角矩阵“L”获得，如等式(6)中所示：

ψ＝ΓL    (6)

如上，第一和第二特征提取单元20和40基于在脸图像数据中的眼、鼻和嘴的位置等，在脸图像数据中切出一定的大小和形状的脸区域，将其变换成适于个人认证的数据，并且从而提取特征数据。

在指定成像条件下成像的脸图像数据被预先注册在脸图像数据注册单元30中。

第一相似度计算单元50将每个由第一和第二特征提取单元20和40提取的特征数据项彼此核对，并且计算两特征数据项之间的相似度。两特征之间的距离被计算为相似度。即，第一相似度计算单元50将每个由第一和第二特征提取单元20和40提取的特征数据项的元素的系列(series)视为一维向量，并且计算两向量之间的距离。作为计算两向量之间的距离的方法，例如有利用特征向量之间的差分的L1范数和L2范数的方法。关于另一个示例，有使用特征向量之间的相关值的方法。这些方法可以被使用。如上，通过计算由第一和第二提取单元提取的特征数据项之间的距离，能够容易地计算两特征数据项之间的相似度。

特征数据存储部60存储多个特征数据项，其中每个特征数据项都是从在与注册在脸图像数据注册单元30中的脸图像数据项的成像条件几乎相同或基本相同的条件下成像的多个人的脸图像数据项中提取的。存储在特征数据存储部60中的上述多个特征数据项每个都是从彼此不同的人的脸图像数据项中提取的。存储在特征数据存储部60中的多个特征数据项例如通过第二特征提取单元40提取。然而，上述提取不被限制于此，并且多个特征数据项也可以被第一特征提取单元20提取。替代地，多个特征数据项可以预先从彼此不同的人的脸图像数据项中提取，并且然后多个特征数据项可以被存储在特征数据存储部60中。

第二相似度计算单元70核对由第一特征提取单元20提取的特征数据项与存储在特征数据存储部60中的特征数据项中的每一个，以计算特征数据项之间的相似度。同样在该计算中，两特征之间的距离被计算作为相似度。通过计算由第一和第二提取单元提取的特征数据项之间的距离，能够计算两特征数据项之间的相似度，如在等式(7)中所示：

相似度＝1/(1+距离)    (7)

例如，在N个人的特征数据项被存储在特征数据存储部60中的情形中，第二相似度计算单元70计算N个特征之间距离。

阈值设置单元80基于由第二相似度计算单元70计算的相似度数据设置适于个人识别的阈值。即，阈值设置单元80基于由第二相似度计算单元70计算的相似度设置阈值，该阈值用于判断输入脸图像数据项和在脸图像数据注册单元30中注册的脸图像数据项是否属于同一人。

现在，假设下述情形，其中特征数据存储部60存储对应于输入到脸图像数据获取单元10的待认证的脸图像数据项的人的特征数据项。在该情形中，在由第二相似度计算单元70计算的N个特征相似度中，首先准备除了最大值之外的(N-1)个特征相似度。因此，从N个特征相似度排除最大值允许预先消除同一人的脸图像数据项之间的相似度。

在那之后，假设(N-1)个特征相似度具有正态分布，阈值设置单元80从(N-1)个特征相似度计算平均值和方差值。基于上述结果，阈值设置单元80计算输入到脸图像数据获取单元10的待认证的脸图像数据项和存储在特征数据存储部60中的多个其它人的脸图像数据项之间的相似度的出现概率(probability)。然后，依照可接受的错误接受率设置适于个人识别的阈值。使用从(N-1)个特征相似度计算的平均值和方差值允许容易地设置适于个人识别的阈值。

识别确定单元90通过比较由阈值设置单元80设置的阈值和由第一相似度计算单元50计算的相似度，确定输入脸图像数据项和在脸图像数据注册单元30中注册的脸图像数据项是否属于同一人。

接着将基于附图描述如上构造的根据本发明的实施例1的脸认证设备1的操作。图2是根据本发明的实施例的脸认证设备的操作流程图。

如在图2中所示，脸图像数据获取单元10获取从相机、扫描仪等输入的脸图像数据项(S201)。然后从由脸图像数据获取单元10获取的脸图像数据项中提取特征(S202)。第二相似度计算单元70然后将存储在特征数据存储部60中的每个特征数据项和输入脸图像数据项的特征数据项彼此核对，并且计算特征数据项之间的相似度。在这里计算每一特征数据项对之间的特征中的相似度(S203)。

然后，如果第二相似度计算单元70已经完成存储在特征数据存储部60中的所有特征数据项和输入脸图像数据项的特征数据项之间的相似度的计算(在S204，是)，则阈值设置单元80基于由第二相似度计算单元70计算的相似度设置用于个人识别的阈值(S205)。如果第二相似度计算单元70还没有完成存储在特征数据存储部60中的所有特征数据项和输入脸图像数据项的特征数据项之间的相似度的计算(在S204，否)，则重复S203的处理。

第一相似度计算单元50然后计算输入脸图像数据项和注册的脸图像数据项的特征数据项之间的相似度(S206)。具体地，第一相似度计算单元50将由第一特征提取单元20提取的特征数据项和由第二特征提取单元40从在脸图像数据注册单元30中注册的脸图像中提取的特征数据项彼此核对，并且计算两特征数据项之间的相似度。

识别确定单元90然后比较由阈值设置单元80设置的阈值和由第一相似度计算单元50计算的相似度(S207)。然后，如果由第一相似度计算单元50计算的相似度大于阈值(S207)，则识别确定单元90确定输入脸图像数据项和在脸图像数据注册单元30中注册的脸图像数据项是同一人的数据项(S208)。另一方面，如果由第一相似度计算单元50计算的相似度小于阈值(S207)，则识别确定单元90确定输入脸图像数据项和在脸图像数据注册单元30中注册的脸图像数据项是不同的人的数据项(S209)。

接着将基于附图具体地描述根据本发明的实施例1的脸认证设备的原理。图3是示出根据本发明的实施例1的脸认证设备的原理的示意图。

如在图3中所示，假设是输入到脸图像数据获取单元10的图像数据项的输入脸图像201和202以及是在脸图像数据注册单元30中注册的脸图像数据项的注册脸图像203都对应于同一人，其中输入脸图像201和注册脸图像203在照明的强度和方向等方面彼此存在显著不同的成像环境中成像，并且其中输入脸图像202和注册脸图像203在彼此接近的成像环境中成像。

一般地，在脸认证中，在其成像环境彼此更接近的脸图像之间，表示人是同一人的相似度趋于更高。因此，当在输入脸图像202和注册脸图像203之间执行认证时的相似度趋于高于当在输入脸图像201和注册脸图像203之间执行认证时的相似度。同样在不同人之间的相似度的计算中，在显著不同的成像环境中成像的脸图像之间的相似度趋于较低，并且在彼此接近的成像环境中成像的脸图像之间的相似度趋于较高。因为如上相似度根据用于输入脸图像的成像环境之间的差异具有不同的表现，所以当相似度趋于较低时阈值需要被设置得较低，而当相似度趋于较高时阈值需要被设置得较高。

因此，在根据本发明的实施例1的脸图像认证设备1中，预先准备在与注册脸图像203相同的成像环境下成像的多个人的脸图像204，并且多个人的这些脸图像的特征数据项被存储在特征数据存储部60中。在图3中，在特征数据存储部60中示意性地示出在与注册脸图像203相同的成像环境下成像的多个脸图像204。通过第二相似度计算单元70计算在特征数据存储部60中的上述多个脸图像204的每一特征数据项与输入脸图像的特征数据项之间的相似度，也能够获得相似度的分布。

例如，在与注册脸图像203的成像环境不同的成像环境下成像的输入脸图像201的特征数据项和存储在特征数据存储部60中的多个脸图像204的特征数据项之间的相似度趋于较低。另一方面，在与注册脸图像203的成像环境接近的成像环境下成像的输入脸图像202的特征数据项和存储在特征数据存储部60中的多个脸图像204的特征数据项之间的相似度趋于较高。

然后根据由第二相似度计算单元70计算的相似度的分布设置阈值。这允许阈值当相似度趋于较低时被设置得较低，并且当相似度趋于较高时被设置得较高，从而不管用于输入脸图像的成像环境如何，个人识别都能以高准确度执行。

上述的根据本发明的实施例1的脸认证设备1被设置有：特征数据存储部60，其存储多个特征数据项，所述多个特征数据项每个都是从在与注册在脸图像数据注册单元30中的脸图像数据项的成像条件几乎相同的条件下成像的多个人的多个脸图像数据项中提取的；第二相似度计算单元70，其将由第一特征提取单元20提取的特征数据项和存储在特征数据存储部60中的特征数据项核对，以计算特征数据项之间的相似度；和阈值设置单元80，其基于由第二相似度计算单元70计算的相似度，设置阈值，该阈值用于判断输入脸图像数据项和在脸图像数据注册单元30中注册的脸图像数据项是否属于同一人。该构造允许根据输入脸图像数据项设置阈值，并且允许不管输入脸图像的成像环境如何，都以高准确度执行个人识别。

(第二实施例)

下面将参考附图描述根据第二实施例(在下文中被称为“实施例2”)的脸认证设备。图4是示意性地示出根据本发明的实施例2的脸认证设备的构造的方块图。

根据本发明的实施例1的脸图像认证设备1的特征数据存储部60不具有任何副特征数据存储部，如在图1中所示。与此相反，如在图4中所示，根据本发明的实施例2的脸图像认证设备1a的特征数据存储部61具有多个副特征数据存储部611到61n，并且在这方面与实施例1不同。

如在图4中所示，根据本发明的实施例2的脸图像认证设备1a与根据本发明的实施例1的脸图像认证设备1的不同之处在于，脸图像认证设备1a具有特征数据分类单元100和100b、副特征数据存储部选择单元110、和特征数据更新判断单元120。

如在图4中所示，根据本发明的实施例2的脸认证设备1a包括：脸图像数据获取单元10、第一特征提取单元20、脸图像数据注册单元30、第二特征提取单元40、第一相似度计算单元50、特征数据存储部61、多个副特征数据存储部611到61n、第二相似度计算单元70a、阈值设置单元80、识别确定单元90、特征数据分类单元100和100b、副特征数据存储部选择单元110、和特征数据更新判断单元120。如稍后所述，特征数据分类单元100和100b具有相同的功能。

如在图4中所示，特征数据存储部61具有多个副特征数据存储部611到61n。每个都从在不同成像条件下成像的多个人的脸图像数据项中提取的多个特征数据项被根据上述不同成像条件进行分类，并且被存储在多个副特征数据存储部611到61n中。

在描述中，例如，特征数据存储部61具有n个副特征数据存储部611到61n。这些副特征数据存储部611到61n例如按照脸的方向被分类成诸如正面、向上看、向下看、向左看、和向右看。

第二相似度计算单元70a将由第一特征提取单元20提取的特征数据项与在多个副特征数据存储部611到61n之中对应于与注册在脸图像数据注册单元30中的脸图像数据项的指定成像条件最接近的成像条件的副特征数据存储部中存储的多个特征数据项进行核对并且计算特征数据项之间的相似度。

特征数据分类单元100参考多个副特征数据存储部611到61n，确定哪个副特征数据存储部对应于与注册在脸图像数据注册单元30中的脸图像数据项接近的脸图像数据项，并且将注册的脸图像数据项分类。例如，特征数据分类单元100确定脸图像数据项的方向属于正面、向上看、向下看、向左看、和向右看中的哪个分类。

副特征数据存储部选择单元110被连接到多个副特征数据存储部611到61n、第二相似度计算单元70a、和特征数据分类单元100。根据通过特征数据分类单元100获得的分类结果，副特征数据存储部选择单元110选择多个副特征数据存储部611到61n之中对应于与注册在脸图像数据注册单元30中的脸图像数据项的指定成像条件最接近的成像条件的副特征数据存储部。

特征数据更新判断单元120被连接到多个副特征数据存储部611到61n、以及第一特征提取单元20和特征数据分类单元100b的输出。与特征数据分类单元100的情形一样，特征数据分类单元100b确定副特征数据存储部611到61n中的哪个对应于由脸图像数据获取单元10获取的脸图像数据项，并且将获取的脸图像数据项分类。基于由特征数据分类单元100b获得的分类结果并且使用由第一特征提取单元20提取的特征数据项，特征数据更新判断单元120更新存储在多个副特征数据存储部611到61n中的特征数据项。即，当新的脸图像数据项被输入时，特征数据更新判断单元120将由第一特征提取单元20提取的新的脸图像数据项的特征数据项存储在多个副特征数据存储部611到61n之中对应于与用于新的脸图像数据项的成像条件最接近的成像条件的副特征数据存储部。以这种方式，特征数据更新判断单元120更新特征数据存储部61中的数据。

下面将基于附图描述如上构造的根据本发明的实施例2的脸图像认证设备1a的操作。图5是根据本发明的实施例2的脸认证设备的操作流程图。图2和图5的不同之处在于，增加了S501，增加S502以代替S203，并且增加S503以代替S204。

如图5中所示，脸图像数据获取单元10获取从相机、扫描仪等输入的脸图像数据项(S201)。然后从由脸图像数据获取单元10获取的脸图像数据项中提取特征(S202)。

然后，副特征数据存储部选择单元110选择特征数据存储部61中的多个副特征数据存储部611到61n之中对应于与用于注册在脸图像数据注册单元30中的脸图像数据项的指定成像条件最接近的成像条件的副特征数据存储部(S501)。

具体地，特征数据分类单元100参考副特征数据存储部611到61n，首先确定多个副特征数据存储部611到61n之中哪个副特征数据存储部对应于与注册在脸图像数据注册单元30中的脸图像数据项接近的脸图像数据项，并且将注册的脸图像数据项分类。

然后，基于由特征数据分类单元100分类的特征数据项，副特征数据存储部选择单元110选择n个副特征数据存储部611到61n之中对应于与用于注册在脸图像数据注册单元30中的脸图像数据项的指定成像条件最接近的成像条件的副特征数据存储部。副特征数据存储部选择单元110然后将关于被选择的副特征数据存储部的信息输入到第二相似度计算单元70a。

这里将具体地描述特征数据分类单元100的操作。特征数据分类单元100参考副特征数据存储部611到61n，确定多个副特征数据存储部611到61n之中哪个副特征数据存储部对应于注册在脸图像数据注册单元30中的脸图像数据项所接近的脸图像数据项，并且将注册的脸图像数据项分类。

在其中多个副特征数据存储部611到61n根据脸的方向被分类的情形中，脸的方向例如能够通过在“Real-Time Combined 2D+3D ActiveAppearance Models，J.Xiao，S.Baker，I.Matthews，and T.Kanade，Proceedings of the IEEE Conference on Computer Vision and PatternRecognition，June，2004，”中描述的方法等而确定。

这里将介绍用于二维形状、三维形状和脸方向的基于AAM(ActiveAppearance Model(主动外观模型))的估算方法。AAM包括两个线性模型：形状模型和纹理(texture)模型，并且能够通过给形状和纹理模型提供任意的参数，表示很多脸变化。形状模型采用二维坐标体系，而纹理模型被表示为关于统计平均形状上的亮度的信息。在使用AAM的特征点检测中，确定最小化模型和输入脸图像之间的差异的AAM的参数，并且从那个参数的形状模型获取关于二维位置的信息。

在这一点，二维形状能够由三维形状的二维投影(投影矩阵P)表示。被增加有三维形状的该限制条件，确定匹配输入脸图像的AAM的条件由表达式(8)给出。其中“I”是输入脸图像，“s_2D”是二维模型，并且“s_3D”是三维形状模型：

$\underset{x}{\mathrm{\Σ}}{[I\left(x\right)-\mathrm{AAM}\left(x\right)]}^2+K{[s_{2D}-{\mathrm{Ps}}_{3D}]}^2---\left(8\right)$

在上面的表达式中，“K”是权重因数，而“K”的值越大，三维形状的限制越强。如果最小化表达式(8)的参数被确定，则三维形状和投影矩阵(即，脸的方向)还有特征点的位置能够被确定。

然后，第二相似度计算单元70a计算在由副特征数据存储部选择单元110所选择的副特征数据存储部中的所有特征数据项与由第一特征提取单元20提取的脸图像数据项的特征数据项之间的相似度。在这里计算特征数据项之间的距离的值(S502)。

然后，如果第二相似度计算单元70a已经完成了在选择的副特征数据存储部中存储的所有特征数据项与输入脸图像数据项的特征数据项之间的相似度的计算(在S503，是)，则阈值设置单元80基于由第二相似度计算单元70a所计算的相似度设置用于个人识别的阈值(S205)。如果第二相似度计算单元70a还没有完成在选择的副特征数据存储部中存储的所有特征数据项与输入脸图像数据项的特征数据项之间的相似度的计算(在S503，否)，则重复S502的处理。

第一相似度计算单元50然后计算输入脸图像数据项和注册的脸图像数据项的特征数据项之间的相似度(S206)。具体地，第一相似度计算单元50计算由第二特征提取单元40提取的特征数据项和由第一特征提取单元20提取的特征数据项之间的距离。

识别确定单元90然后比较由阈值设置单元80设置的阈值和由第一相似度计算单元50计算的相似度(S207)。然后，如果由第一相似度计算单元50计算的相似度大于阈值(在S207，是)，则识别确定单元90确定输入脸图像数据项和注册在脸图像数据注册单元30中的脸图像数据项是同一人的数据项(S208)。另一方面，如果由第一相似度计算单元50计算的相似度小于阈值(在S207，否)，则识别确定单元90确定输入脸图像数据项和注册在脸图像数据注册单元30中的脸图像数据项是不同的人的数据项(S209)。

除了脸的方向之外的各种条件能够被用于特征数据分类单元100、以及用于分类被特征数据分类单元100分类的多个副特征数据存储部611到61n的标准。例如，下面所述的能够被使用：当脸图像数据获取单元10获取脸图像时的日期和时间；当脸图像数据获取单元10获取脸图像时的天气信息；脸图像的成像位置；在对脸图像进行成像时的设置角度；面具、太阳眼镜或其它附件的存在或不存在；在成像地点的照明条件等。关于这样的拍摄条件，能够参考彼此不同的成像条件等进行分类。

如果根据脸的条件诸如面具、太阳眼镜、和眼镜进行分类，例如提升(Boosting)或SVM(Support Vector Machine(支持向量机))能够被用来确定附件是否存在于脸上。

提升(Boosting)作为用于构造二值辨别器(例如，用于确定眼镜的存在或不存在)的通用技术被公知。通过准备很多弱辨别器产生强分类器，每个弱辨别器被分配有各种权重。在广泛使用的技术之中是adaBoost。在adaBoost中，辨别器被一个接着一个地选择。用于被之前选择的辨别器错误地辨别的学习数据项的权重被增加，并且因此，对所述学习数据项进行集中学习。被选择的辨别器被根据其错误率(error rate)给定可信度“α”。辨别结果取决于由用可信度“α”加权的辨别器的多数票决。

SVM也作为用于构造值的辨别器(例如，用于确定眼镜的存在或不存在)的普通技术被公知。确定穿过两类的中点的超平面以解决两类分类问题。为了执行上述，在超平面和训练样本之间的最小距离被用作评估函数，并且超平面被确定为使得评估函数被最大化。SVM实际上是线性辨别器。然而，能够通过使用核技巧(kernel trick)形成非线性辨别器。

如果多个副特征数据存储部611到61n按照照明环境分类，则对于照明的变化确定分类。具体地，例如，在“Weak Orthogonalization ofFace and Perturbation，CVPR 1998，Kenji Nagao，Masaki Sohma，”中描述的特征产生方法中，低维因素是脸的普通变化的成分。如果在拍摄环境和照明条件中的很多变化被用作一个人的扰动成分，则表示拍摄环境的改变和照明条件的变化的成分出现在分布的主成分中。如果该基本向量被用来构造子空间，则能够获得主要表示照明的变化的子空间。在该子空间中，通过使用每个分类的数据对分布的近似分类输入数据。

能够如下所示地使用显式估计照明的方向和强度的技术。如在等式(9)中所示，通过使用预先通过统计计算确定的法线反照矩阵(normalalbedo matrix)“B(l)”的平均值“B_avr”，能够通过最小二乘法估计光源“s”。

s＝B_avr ^T+i＝(B_avrB_avr ^T)^-1B_avri      (9)

通过使用该估计的光源“s”，能够容易地执行按照照明的方向的分类。现在，图像“i”是输入图像。让“P”是它的像素数，那么由等式(10)表示法线反照矩阵“B(l)”。

B^(l)＝(n₁ ^(l)，n₂ ^(l)，...，n_p ^(l))    (10)

在上面，“n_P”是第p像素的反照率和单位法线向量的乘积，如在等式(11)中所示：

n_P＝(n_px，n_py，n_pz)^T                (11)

光源“s”是照明的强度和在照明方向上的单位向量的乘积。如在等式(12)中所示：

s＝(s_x，s_y，s_z)^T                    (12)

在上述的根据本发明的实施例2的脸认证设备1a中，特征数据存储部61具有多个副特征数据存储部611到61n，该多个副特征数据存储部611到61n在特征数据项被根据成像条件的不同而分类到所述多个副特征数据存储部的情况下存储从在不同成像条件下成像的脸图像数据项提取的特征数据项，并且第二相似度计算单元70a将由第一特征提取单元20提取的特征数据项与存储于在多个副特征数据存储部611到61n之中对应于与注册在脸图像数据注册单元30中的脸图像数据项的指定成像条件最接近的成像条件的副特征数据存储部中的特征数据项进行核对并且计算特征数据项之间的相似度。这允许特征数据存储部被根据每个成像条件分类，并且因此允许以高准确度执行个人识别而不管输入脸图像的成像条件如何，即使用于输入脸图像数据项的成像条件是多种多样的。

这里将具体地描述更新特征数据存储部61中的数据的方法。首先，特征数据分类单元100b在多个副特征数据存储部611到61n之中选择对应于与将被添加的新的脸图像数据项的成像条件最接近的成像条件的副特征数据存储部。特征数据更新判断单元120然后判断是否将新的脸图像数据项的特征数据项添加到被选择的副特征数据存储部。具体地，特征数据更新判断单元120计算将被添加的特征数据项与在被选择的副特征数据存储部中的所有特征数据项之间的距离的值。

然后，如果没有统计上的异常值存在于计算的距离的值中，则该特征数据项被添加到被选择的副特征数据存储部。另一方面，如果统计上的异常值存在于计算的距离的值中，则该特征数据项不被添加到被选择的副特征数据存储部。

以该方式，在提供特征数据更新判断单元120的情况下，当新的脸图像数据项的特征数据项被添加时，该特征数据项能够被分类到最合适的副特征数据存储部并被存储在其中。顺便提一下，例如，当输入图像是从运动图像获取时，同一人连续地出现。在该情形中，该设备被构造为通过使用轨迹确定等，同一人将不会被注册。

尽管已经描述了目前被认为是本发明的优选实施例的实施例，但是将理解的是，可以对其做出多种修改和变化，并且所附权利要求覆盖落在本发明的精神和范围内的所有的这样的修改和变化。

工业适用性

如上所述，根据本发明的脸图像认证设备具有下述优点，即，不管输入脸图像的成像环境如何，都能够以高准确度执行个人识别，并且用作使用脸图像数据来对人进行认证的脸认证设备等。

Claims (7)

1.一种脸认证设备，包括：

第一提取单元，用于从输入脸图像数据项中提取特征数据项；

脸图像数据注册单元，在指定成像条件下成像的脸图像数据项被注册在所述脸图像数据注册单元中；

第二提取单元，用于从在所述脸图像数据注册单元中注册的所述脸图像数据项中提取特征数据项；

第一计算单元，用于将每个由所述第一提取单元和所述第二提取单元提取的特征数据项彼此核对，以计算在两特征数据项之间的相似度；

特征数据存储部，用于存储多个特征数据项，每个特征数据项是从在与所述指定成像条件几乎相同的条件下成像的多个人的多个脸图像数据项中提取的；

第二计算单元，用于每次所述输入脸图像数据项被输入时，核对由所述第一提取单元提取的特征数据项与存储在所述特征数据存储部中的特征数据项，以计算特征数据项之间的相似度；

阈值设置单元，用于每次所述输入脸图像数据项被输入时，基于由所述第二计算单元计算的所述相似度设置阈值，所述阈值用于判断所述输入脸图像数据项和在所述脸图像数据注册单元中注册的所述脸图像数据项是否属于同一人，其中，当由所述第二计算单元计算的所述相似度趋于较低时所述阈值被设置得较低，并且当由所述第二计算单元计算的所述相似度趋于较高时所述阈值被设置得较高；和

确定单元，用于通过比较由所述阈值设置单元设置的所述阈值与由所述第一计算单元计算的所述相似度而确定所述输入脸图像数据项和在所述脸图像数据注册单元中注册的所述脸图像数据项是否属于同一人，其中，如果由所述第一计算单元计算的所述相似度大于所述阈值，则所述确定单元确定所述输入脸图像数据项和在所述脸图像数据注册单元中注册的所述脸图像数据项是属于同一人，如果由所述第一计算单元计算的所述相似度小于所述阈值，则所述确定单元确定所述输入脸图像数据项和在所述脸图像数据注册单元中注册的所述脸图像数据项是属于不同的人。

2.根据权利要求1所述的脸认证设备，

其中所述特征数据存储部具有多个副特征数据存储部，用于存储从在不同的成像条件下成像的脸图像数据项中提取的特征数据项，所述特征数据项被根据所述成像条件的不同分类到所述多个副特征数据存储部，以及

其中所述第二计算单元将由所述第一提取单元提取的特征数据项与存储在所述副特征数据存储部之中对应于与用于在所述脸图像数据注册单元中注册的所述脸图像数据项的所述指定成像条件最接近的成像条件的副特征数据存储部中的特征数据项进行核对，并且计算特征数据项之间的相似度。

3.根据权利要求2所述的脸认证设备，其中当新的脸图像数据项被注册在所述脸图像数据注册单元中时，所述设备将由所述第二提取单元提取的所述新的脸图像数据项的特征数据项存储在所述多个副特征数据存储部之中对应于与用于所述新的脸图像数据项的成像条件最接近的成像条件的副特征数据存储部中。

4.根据权利要求1所述的脸认证设备，其中所述第一计算单元基于两特征数据项之间的距离而计算由所述第一提取单元和所述第二提取单元提取的特征数据项之间的相似度。

5.根据权利要求1所述的脸认证设备，其中所述第二计算单元基于特征数据项之间的距离而计算由所述第一提取单元提取的特征数据项和存储在所述特征数据存储部中的特征数据项之间的相似度。

6.根据权利要求1所述的脸认证设备，其中所述阈值设置单元基于由所述第二计算单元计算的相似度的平均值和方差值而设置所述阈值，所述阈值用于判断所述输入脸图像数据项和在所述注册单元中注册的所述脸图像数据项是否属于同一人。

7.一种脸认证方法，包括：

第一提取步骤，从输入脸图像数据项中提取特征数据项；

第二提取步骤，参考在指定成像条件下成像的脸图像数据项被注册在其中的脸图像数据注册单元，从在所述脸图像数据注册单元中注册的所述脸图像数据项提取特征数据项；

第一计算步骤，将每个在所述第一提取步骤和所述第二提取步骤中提取的特征数据项彼此核对，以计算在两特征数据项之间的相似度；

第二计算步骤，每次所述输入脸图像数据项被输入时，参考用于存储多个特征数据项的特征数据存储部，核对在所述第一提取步骤中提取的特征数据项与存储在所述特征数据存储部中的特征数据项，以计算特征数据项之间的相似度，其中所述多个特征数据项每个都是从在与所述指定成像条件几乎相同的条件下成像的多个人的多个脸图像数据项提取的；

阈值设置步骤，每次所述输入脸图像数据项被输入时，基于在所述第二计算步骤中计算的所述相似度而设置阈值，所述阈值用于判断所述输入脸图像数据项和在所述脸图像数据注册单元中注册的所述脸图像数据项是否属于同一人，其中，当在所述第二计算步骤中计算的所述相似度趋于较低时所述阈值被设置得较低，并且当在所述第二计算步骤中计算的所述相似度趋于较高时所述阈值被设置得较高；

确定步骤，通过比较在所述阈值设置步骤中设置的所述阈值与在所述第一计算步骤中计算的所述相似度而确定所述输入脸图像数据项和在所述脸图像数据注册单元中注册的所述脸图像数据项是否属于同一人，其中，如果在所述第一计算步骤中计算的所述相似度大于所述阈值，则所述确定步骤确定所述输入脸图像数据项和在所述脸图像数据注册单元中注册的所述脸图像数据项是属于同一人，如果在所述第一计算步骤中计算的所述相似度小于所述阈值，则所述确定步骤确定所述输入脸图像数据项和在所述脸图像数据注册单元中注册的所述脸图像数据项是属于不同的人。

Images