CN101609475A

CN101609475A - 个人认证设备和个人认证方法

Info

Publication number: CN101609475A
Application number: CNA2009102037921A
Authority: CN
Inventors: 平井信也
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-06-16
Filing date: 2009-06-16
Publication date: 2009-12-23
Anticipated expiration: 2029-06-16
Also published as: US20130177218A1; CN101609475B; US20090309702A1; US20120170818A1; US8154384B2; JP2010027035A; US8912885B2; US8410903B2; US20140376787A1

Abstract

本发明涉及一种个人认证设备和个人认证方法。所述个人认证设备包括：输入单元，用于输入图像数据；面部检测单元，用于检测所述输入单元输入的所述图像数据中包含的人的面部区域，并且从检测出的所述面部区域中检测特征数据；面部表情判断单元，用于根据所述面部检测单元检测出的所述面部区域来判断面部表情；存储单元，用于与多个面部的各面部表情相对应地存储用于进行个人认证的特征数据；选择单元，用于从所述存储单元中选择与所述面部表情判断单元判断出的面部表情相对应的特征数据；以及认证单元，用于通过将所述面部检测单元检测出的所述面部区域的特征数据和所述选择单元所选择的特征数据进行比较，来进行个人认证。

Description

个人认证设备和个人认证方法

技术领域

本发明涉及一种用于从图像数据中检测人的面部区域并执行个人认证的个人认证设备和个人认证方法。

背景技术

传统上，已知用于使用面部检测功能执行个人认证的技术。这种技术从所检测出的面部图像数据中提取对于每个人不同的面部区域的特征数据，并将该特征数据与预先登记的特征数据进行比较，从而识别所检测出的面部是否是已登记的人的面部。

然而，由于特征数据受面部区域的面部表情的影响，面部区域的面部表情与登记时的面部表情的差异会导致个人认证的精度劣化。

为了避免这种情况，已知如下的方法：检测面部区域的面部表情，判断所检测出的面部表情对于执行个人认证是否有效，并且当判断为该面部表情无效时，使用新的图像数据来执行个人认证(例如，参见日本特开平06-119433号公报)。

然而，利用日本特开平06-119433号公报中说明的方法，在获得有效面部表情之前不能开始个人认证，因此在认证前花费很多时间。而且，当不出现有效面部表情时，不能进行认证。

发明内容

考虑到上述问题做出了本发明，并且本发明实现一种即使在面部表情变化时也能够以较高的精度快速执行个人认证的个人认证技术。

为了解决上述问题，本发明提供一种个人认证设备，包括：输入单元，用于输入图像数据；面部检测单元，用于检测所述输入单元输入的所述图像数据中包含的人的面部区域，并且从检测出的所述面部区域中检测特征数据；面部表情判断单元，用于根据所述面部检测单元检测出的所述面部区域来判断面部表情；存储单元，用于与多个面部的各面部表情相对应地存储用于进行个人认证的特征数据；选择单元，用于从所述存储单元中选择与所述面部表情判断单元判断为的面部表情相对应的特征数据；以及认证单元，用于通过将所述面部检测单元检测出的所述面部区域的特征数据和所述选择单元所选择的特征数据进行比较，来进行个人认证。

本发明还提供一种由个人认证设备执行的个人认证方法，所述个人认证设备包括：输入单元，用于输入图像数据；面部检测单元，用于检测所述输入单元输入的所述图像数据中包含的人的面部区域，并且从检测出的所述面部区域中检测特征数据；面部表情判断单元，用于根据所述面部检测单元检测出的所述面部区域来判断面部表情；以及存储单元，用于与多个面部的各面部表情相对应地存储用于进行个人认证的特征数据，所述个人认证方法包括：选择步骤，用于从所述存储单元中选择与所述面部表情判断单元判断为的面部表情相对应的特征数据；以及认证步骤，用于通过将所述面部检测单元检测出的所述面部区域的特征数据和所述选择步骤中选择的特征数据进行比较，来进行个人认证。

根据本发明，由于通过根据面部表情选择适当的特征数据来执行个人认证，因此，即使当面部表情变化时，也能够提高认证的精度。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明第一实施例的个人认证设备的结构的框图；

图2是示出根据第一实施例的个人数据库的例子的图；

图3是示出根据第一实施例的个人认证处理的流程图；

图4是示出根据第二实施例的个人认证设备的结构的框图；

图5A和5B是示出根据第二实施例的个人认证处理的流程图；

图6是示出特征点的例子的图；以及

图7是示出在“笑容”面部情况下的特征点的例子的图。

具体实施方式

在下文中将参考附图详细说明本发明的实施例。

注意，下文中要说明的实施例仅是实施本发明的例子，这些实施例可以依据应用本发明的设备的结构和各种情况进行适当地修改和变更，并且本发明并不限于下面的实施例。

第一实施例

图1是示出根据本发明实施例的个人认证设备的结构的示意性框图。

本实施例的个人认证设备从图像输入单元1输入图像数据，面部检测单元2从该图像数据中检测人的面部区域的位置和大小。对于面部检测，可以使用已知的方法。例如，面部检测单元2从输入图像数据中提取与面部区域的鼻子、嘴和眼睛等组成部分相对应的形状，并且检测通过两只眼睛之间的中心的延长线上鼻子和嘴所在的区域。面部检测单元2基于两只眼睛的大小和它们之间的距离估计面部的大小，并且将由以对应于鼻子的中心的位置为基准、具有估计出的大小的区域界定出的区域指定为面部区域。

面部检测单元2从检测出的面部区域中提取特征数据。例如，如日本特开2005-266981号公报中所述，特征数据包括与嘴、眼睛、眉毛和鼻子等面部组成部分的实际形状以及这些组成部分的位置相关的信息。注意，可以通过使用例如神经网络或使用空间滤波器的边缘检测方法进行计算来从输入面部区域的图像数据中提取特征数据。当然，特征数据不仅可以包括与形状和位置相关的信息，而且还可以包括与饱和度和色相相关的信息。随着各面部的特征数据的数量的增加，可以更加详细地分析面部外貌，并且可以提高使用这些特征数据的面部表情判断和个人认证的精度。

在像动画一样的包含多个帧的图像数据中，对给定周期的各个帧进行面部检测。同一人物判断单元3判断现在这些帧中的哪些面部对应于同一个人。例如，当从某一帧的图像数据中检测出多个面部，并且从另一帧的图像数据中检测出一个或多个面部时，同一人物判断单元3判断为具有相似大小和位置的那些面部对应于同一个人。

面部表情判断单元4基于面部检测单元2提取的特征数据判断面部的面部表情。要判断的面部表情的类型包括“无表情”、“笑容”和“闭眼”。数据库选择单元5基于面部表情判断单元4的判断结果，从预先登记在个人数据库单元8中的用于个人认证的特征数据中选择并读出对应于该面部表情的特征数据。认证单元6通过对数据库选择单元5选择的特征数据和面部检测单元2提取的面部区域的特征数据进行比较和核对，来执行个人认证，结果输出单元7输出该认证结果。

该个人认证设备可以配置为单独的设备或包括多个设备的系统。例如，单独的数字照相机或数字摄像机可以包括从图像输入单元1到个人数据库单元8的所有组件。可选地，数字照相机或数字摄像机可以只包括图像输入单元1，能够与该数字照相机或数字摄像机通信的外部计算机可以包括其它组件。此外，网络上的多个计算机可以共享并包括从图像输入单元1到个人数据库单元8的所有组件，并且包括图像输入单元1的计算机可以从其它外部设备或记录介质接收图像数据。

在本实施例中，如图6所示，作为用于个人认证的特征数据，使用23个特征点的坐标。为了实际执行个人认证，需要更多特征点。然而，为了简化说明，下面将在假定使用23个特征点的情况下进行说明。

当图像数据中的面部倾斜时，在旋转图像数据以消除该倾斜之后计算这23个特征点。基于面部检测单元2从图像数据中提取的眼睛、鼻子、嘴、眉毛等的位置，通过以例如两只眼睛之间的距离等正规化面部大小，来计算这些特征点的坐标。以鼻子的端点的位置为基准确定坐标位置。认证单元6以Pi(i＝1，2，......，23)定义从输入图像数据计算出的特征点的坐标，并且计算Pi与预先登记在个人数据库单元8中的人物的特征点的坐标P’i之间的差的绝对值之和S＝∑|Pi-P’i|。该绝对值之和S越小，被检测到的人和预先登记的人是同一个人的可能性越高。当被判断为具有最高可能性的人的绝对值之和S等于或小于预先设置的阈值时，认证单元6判断为该检测到的人是登记的人；否则，认证单元6判断为不存在相应的人。

注意，这种计算绝对值之和S的方法是个人认证方法的一个例子，可以使用其它方法执行个人认证。例如，可以根据在从“无表情”面部变化为“笑容”面部时眼睛和嘴的位置和形状的变化模式来识别人物，或者可以根据面部的图像数据生成大量具有不同分辨率的图像数据，可以执行依赖于分辨率的个人认证处理，并且可以根据这些处理的合并结果获得最终的个人认证结果。即，即使使用其它方法，只要采用通过与预先登记在个人数据库单元8中的数据进行核对来确定具有最高可能性的人的结构，均能获得与本实施例相同的效果。

可以通过检测同一面部上的特征的相对位置在时间上的变化来实现面部表情判断单元4的面部表情判断。例如，与图6所示的“无表情”面部相比，在“笑容”面部的情况下，如图7所示，特征点的位置发生如眼睛变窄和嘴角上扬的变化。在本实施例中，当观察者左眼的上下中心点的特征点9和11之间的距离和观察者右眼的上下中心点的特征点13和15之间的距离与“无表情”面部中的上述距离相比减小了预定比率或更多，并且嘴的左右端的特征点6和7相对于嘴的上下中心端的特征点4和5的位置与“无表情”面部相比上扬了预定比率或更多时，判断为“笑容”。此外，当嘴的特征点4～7的位置不满足“笑容”条件，并且眼睛的特征点9和11之间的距离以及特征点13和15之间的距离与“无表情”面部上的上述距离相比减小时，判断为“闭眼”。

关于“无表情”面部的面部区域的判断，例如，当嘴的形状的变化量在预定时间段内没有超出预定阈值时，可以将在该时间获得的面部区域判断为“无表情”状态。可选地，可以使用通过对同一面部区域的几个连续帧的特征进行平均而获得的值来定义“无表情”状态。可选地，通过对同一面部区域的多个连续帧所获得的特征进行比较，可以根据它们的相对值自动判断包括对应于“无表情”的面部的帧和包括对应于“笑容”的面部的帧。此外，可以与面部表情相对应地设置与眼睛的睁开程度和嘴形相关的条件，可以判断各输入帧图像的面部满足哪个条件，并且可以对于各个帧独立地判断面部表情。利用这种对于各个帧独立地判断面部表情的结构，即使根据作为单独帧的静止图像也能够判断面部表情。以这种方式，通过判断构成面部并从图像数据中提取出的眼睛和嘴等部分的形状是否满足特定条件来判断面部表情，这不同于与针对各人预先登记的特征进行比较的个人认证。

如上所述，在个人认证中，将从图像数据中检测出的特征点与预先登记在个人数据库单元8中的每个人的特征点进行比较以计算它们的绝对值之和S。然而，当人的面部表情改变时，从图像数据中检测出的特征点的坐标也改变，并且个人认证时计算出的绝对值之和S的值依据面部表情极大地改变，因而降低了个人认证的精度。与之相对，由于执行如下的个人认证，本实施例中的个人认证设备可以提高精度。

如图2所示，与将要执行个人认证的人和他们的面部表情相对应地，将用于个人认证的特征数据预先登记在个人数据库单元8中。在登记时，被摄体可以顺序做出指定的面部表情，并且登记从拍摄的各面部表情中提取的特征数据。可选地，可以使用上述方法根据包括由被摄体任意改变的面部表情的图像数据自动判断面部表情，并且登记它们的特征。可选地，用户可以从已拍摄的图像数据中选择任意面部，并可以将该面部的特征点登记为用户指定的人和面部表情的特征数据。

下面将参考图3的流程图说明个人认证时的操作。在将图像数据输入到图像输入单元1时开始该流程图。如果图像输入单元1包括照相机，则该图像数据对应于由该照相机拍摄的或从存储介质读出的图像数据。如果图像输入单元1包括个人计算机，则该图像数据对应于从记录介质读出的图像或通过网络接收的图像数据。该图像数据可以是静止图像或动画。如果图像数据是动画，则以根据个人认证所需的时间段的帧间隔连续地执行个人认证。在假定将动画图像数据输入图像输入单元1的情况下，给出本实施例的说明。

在步骤S101中，面部检测单元2从图像输入单元1接收动画的一个帧的图像数据，并检测人的面部。

如果在步骤S102中判断为面部检测单元2可以检测出一个或多个面部，则处理进入步骤S103；否则，处理跳转到步骤S111。在步骤S111中判断输入到图像输入单元1的图像数据是否包括另一帧的图像数据。如果图像数据包括另一帧，则在步骤S112中更新图像数据。然后，处理返回到步骤S101，面部检测单元2对更新后的图像数据执行面部检测。

在步骤S103中，同一人物判断单元3接收面部检测单元2检测出的面部检测结果，并判断从不同帧中检测出的哪些面部被认为是同一个人的面部。如果图像数据包括多个人，必须彼此区分他们的面部，并且必须针对每个面部计算用作上述“无表情”标准的特征数据。为了该目的，同一人物判断单元3将从各个帧中检测出的各个面部的中心位置和大小进行比较，并将连续帧中面部中心位置的距离和大小变化量的总和最小的面部估计为同一个人的面部。然而，即使当该总和最小时，如果该总和落在预设阈值范围外，则同一人物判断单元3判断为不存在相同的人。同一人物判断单元3可以通过比较面部的位置或大小来估计同一个人，或者可以将亮度值或颜色信息具有最高相似度的面部估计为同一个人。以这种方式，通过检查从两个帧中检测出的面部之间的相关性，可以判断从这两个帧中检测出的面部是否是同一个人的面部。如果输入到图像输入单元1的图像数据是静止图像，则省略该步骤S103。

在步骤S104中，面部检测单元2根据可以检测到的面部计算包括如图6和7所示的特征点坐标的特征数据。

在步骤S105中，面部表情判断单元4使用面部检测单元2计算出的特征数据和同一人物判断单元3获得的判断结果判断各面部是否是“无表情”面部。在本实施例中，当在预定时间段内嘴的形状的变化量不超过预定阈值时，面部表情判断单元4判断为此时的面部是“无表情”面部，并且基于该“无表情”面部的特征数据来判断“笑容”面部等。更具体地，面部表情判断单元4累积被判断为同一个人的面部的特征数据，并观察特征数据的相对变化，从而判断该面部是否是“无表情”面部。当面部表情判断单元4可以判断为“无表情”面部时，其从“无表情”面部中计算用作“无表情”标准的特征数据。如果没有充分地累积特征数据，面部表情判断单元4不能计算出用作“无表情”标准的特征数据(在步骤S106中为“否”)，则处理经步骤S111和S112返回到步骤S101以累积面部特征数据。如果在步骤S105中面部表情判断单元4能够计算出用作“无表情”标准的特征数据(在步骤S106中为“是”)，则处理进入步骤S107。注意，对于计算出了用作“无表情”标准的特征数据的面部，面部表情判断单元4可以在该面部消失以前跳过步骤S105中的处理。可选地，即使在计算出了用作“无表情”标准的特征数据之后，每次在步骤S104中计算新的特征数据时，面部表情判断单元4可以计算新的用作“无表情”标准的特征数据，并且更新特征数据。

在步骤S107中，面部表情判断单元4通过将在步骤S104中计算出的最新特征数据与在步骤S105中计算出的用作“无表情”标准的特征数据进行比较，来计算由该最新特征数据表示的各面部的面部表情。

在步骤S108中，数据库选择单元5从个人数据库单元8中选择并读出所有与从面部表情判断单元4输出的面部表情判断结果相对应的用于个人认证的特征数据。例如，如果面部表情判断单元4在步骤S107中判断为“笑容”面部，则数据库选择单元5从图2所示的个人数据库单元8中的特征数据中选择并读出在“笑容”面部情况下的所有人的特征数据A-2、B-2和C-2。当预先登记了大量人的特征数据时，数据库选择单元5可以只选择用户指定的特定人或人物组中包括的特征数据。

在步骤S109中，认证单元6基于已经判断出面部表情的最新特征数据和与该面部表情相对应的用于个人认证的特征数据的绝对值之和S，来识别谁是具有该面部的人。

在步骤S110中，结果输出单元7从认证单元6接收个人认证结果，并通过将其叠加在根据要认证的图像数据生成的图像上来显示该接收到的结果。当然，认证结果的显示方法并不限于这种特定的显示方法，可以使用各种方法。当对多个面部同时执行个人认证时，希望明确认证结果与面部之间的对应关系。

如果输入到图像输入单元1的图像数据还包括要进行面部检测的帧图像(在步骤S111中为“否”)，则处理经过步骤S112返回到步骤S101；否则(在步骤S111中为“是”)，结束该流程图。

根据上述实施例，即使当面部表情改变时，检测该面部表情并使用与检测出的面部表情相对应的特征数据执行个人认证，因而允许具有高精度的个人认证。

第二实施例

作为第二实施例，将说明在个人数据库单元8中没有登记与在第一实施例中检测出的面部表情相对应的特征数据的情况。本实施例中的个人认证设备使用其它帧的图像数据的个人认证结果，在个人数据库单元8中另外登记与认证时不同的面部表情的特征数据。

图4示出第二实施例中的个人认证设备的结构，在图1所示的结构中添加了特征数据登记单元9。例如，假定在个人数据库单元8中登记了与某个人的“无表情”和“闭眼”相对应的用于个人认证的特征数据，但是没有登记与“笑容”相对应的用于个人认证的特征数据。当判断为该人具有“笑容”面部时，特征数据登记单元9在个人数据库单元8中登记与该人的“笑容”面部相对应的特征数据，作为与“笑容”相对应的用于个人认证的特征数据。

至于其它结构，在图4中使用相同的附图标记表示与图1中相同的部分，并且将避免对于它们的重复说明。

下面将参考图5A和5B说明本实施例的个人认证设备的操作。在图5B中步骤S113～S115的处理与作为第一实施例的图3中的处理不同。由于用与图3中相同的步骤号来表示图5中与图3中相同的处理，将避免对于它们的重复说明。

在步骤S101～S107中，面部检测单元2从各个帧中检测面部并计算这些面部的特征数据，同一人物判断单元3判断从各个帧中检测出的面部中的哪些面部对应于同一个人。然后，面部表情判断单元4判断计算了用作“无表情”标准的特征数据的面部的面部表情。

特征数据登记单元9在步骤S113中检查在步骤S107中判断了面部表情的面部是否是已进行了个人认证的面部。可以基于认证单元6先前的认证结果和同一人物判断单元3先前的同一人物判断结果，判断面部是否已进行了个人认证。即，判断即使在通过第一实施例的步骤S103中说明的方法进行个人认证后，同一人物判断单元3是否可以连续地追踪已经基于先前帧中的任意面部表情进行了个人认证的面部。如果在步骤S107中判断了面部表情的面部是还没有进行个人认证的面部(在步骤S113中为“是”)，则处理进入步骤S108以执行与第一实施例中的处理相同的处理。

如果在步骤S107中判断了面部表情的面部是已进行了个人认证的面部(在步骤S113中为“否”)，则处理进入步骤S114。特征数据登记单元9在步骤S114中判断个人数据库单元8中是否已登记了与在步骤S107中判断出的面部表情相对应的该人的用于个人认证的特征数据。

如果个人数据库单元8中已登记了与步骤S107中判断的面部表情相对应的人的用于个人认证的特征数据(在步骤S114中为“否”)，则处理进入步骤S108以执行与第一实施例中的处理相同的处理。

如果个人数据库单元8中还没有登记与步骤S107中判断的面部表情相对应的人的用于个人认证的特征数据(在步骤S114中为“是”)，则处理进入步骤S115。

在步骤S115中，特征数据登记单元9将根据具有该面部表情的面部计算出的特征数据，作为与该人的该面部表情相对应的用于个人认证的特征数据登记在个人数据库单元8中。

下面将说明实际的例子。假定已经在个人数据库单元8中登记了B先生的“无表情”的特征数据，但是还没有登记“笑容”的特征数据。并且，假定已经基于使用该“无表情”的特征数据的认证结果判断为某一面部是B先生的面部。此外，假定面部表情判断单元4针对新一帧的图像数据中由同一人物判断单元3判断为B先生的面部，判断为“笑容”面部。此时，特征数据登记单元9将被判断为“笑容”面部的面部的特征数据新登记在个人数据库单元8中，作为B先生的“笑容”面部的用于个人认证的特征数据。在完成登记后，该个人认证设备进入步骤S112并执行与第一实施例中的处理相同的处理。

注意，提取并存储同一个人的各个面部表情的特征数据，并且当对该人进行认证时，可以将已存储的特征数据中与未登记的面部表情相对应的特征数据登记为用于个人认证的特征数据。

如果数据库选择单元5在步骤S108中判断为与特定面部表情相对应的、用于个人认证的特征数据的累积不充分，则结果输出单元7可以相应地显示通知消息。当结果输出单元7向用户显示该消息时，可以提示用户累积与该面部表情相对应的、用于个人认证的不充分特征信息。

在步骤S109中，认证单元6可以不仅基于一个面部表情的个人认证结果而且还基于多个面部表情的个人认证结果来综合地对给定面部进行认证。例如，认证单元6使用动画中面部表情被判断为“笑容”的帧的“笑容”特征数据、面部表情被判断为“无表情”的帧的“无表情”特征数据和面部表情被判断为“闭眼”的帧的“闭眼情”特征数据来执行个人认证。结果，可以选择多次被判断为具有最高一致度的人。以这种方式，当多个面部区域的认证结果一致时，获得最终的认证结果，从而提高了认证的精度。在对动画中的同一个人执行个人认证时，每次面部表情变化时可能获得不同的认证结果。此时，“笑容”面部在眼睛的睁开程度和嘴的两端的上扬程度方面具有较大变化，并且“笑容”面部与用于个人认证的特征数据一致的比率，比“无表情”面部低。由于这个原因，认证单元6可以将“笑容”面部的个人认证结果乘以比“无表情”状态的权重小的权重，并且可以对时间上连续获得的认证结果进行统计，从而获得最终的认证结果。

即使当对于同一个人获得不同的认证结果时，例如在“无表情”情况下判断为A先生，在“闭眼”情况下判断为B先生，可以使用这些结果更新“闭眼”的用于个人认证的特征数据。在这种情况下，特征数据登记单元9使用被错误地判断为B先生的“闭眼”的特征数据，更新个人数据库单元8中的A先生的“闭眼”的用于个人认证的特征数据。

根据上述实施例，由于自动添加没有预先登记的特征数据，可以获得具有较高精度的个人认证。

其它实施例

本发明还包括通过将实现上述实施例的功能的计算机程序直接或远程地提供给系统或设备来实现本发明的情况。在这种情况下，该系统的计算机等读出并执行该计算机程序。

因此，安装在计算机中以使用计算机来实现本发明的功能处理的计算机程序本身实现本发明。在这种情况下，并不特别限定程序的形式，只要具有程序功能，可以使用目标代码、由解释器执行的程序、提供给操作系统的脚本数据等。

作为用于提供程序的记录介质(存储介质)，可以使用例如软盘、硬盘、光盘和磁光盘等。另外，还可以使用MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM以及DVD(DVD-ROM、DVD-R)。

作为其它的程序提供方法，用户可以使用客户端计算机上的浏览器建立与互联网上的主页的连接，并且可以从该主页下载本发明的计算机程序本身。另外，可以通过将包含自动安装功能的压缩文件下载到硬盘等记录介质上来提供计算机程序。另外，可以将构成本发明的程序的计算机程序分割成多个可以从不同主页下载的文件。即，本发明包括使多个用户下载通过计算机实现本发明的功能处理所需的程序文件的WWW服务器。

另外，可以将CD-ROM等存储有本发明的加密程序的存储介质分发给用户，并且可以允许满足预定条件的用户通过互联网从主页下载解密该程序的密钥信息。在这种情况下，用户使用下载的密钥信息执行加密程序并将该程序安装在计算机上，从而实现本发明。

当计算机执行读出的程序时实现上述实施例的功能。此外，运行在计算机上的操作系统等基于该程序的指令执行实际处理的部分或全部，从而实现上述实施例的功能。

此外，当将从该记录介质读出的程序写入插入或连接到计算机的功能扩展板或单元的存储器时，可以实现上述实施例的功能，该功能扩展板上的CPU等执行实际处理的部分或全部。

尽管参考典型实施例说明了本发明，但应当理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包括所有这类修改、等同结构和功能。

Claims

1.一种个人认证设备，包括：

输入单元，用于输入图像数据；

面部检测单元，用于检测所述输入单元输入的所述图像数据中包含的人的面部区域，并且从检测出的所述面部区域中检测特征数据；

面部表情判断单元，用于根据所述面部检测单元检测出的所述面部区域来判断面部表情；

存储单元，用于与多个面部的各面部表情相对应地存储用于进行个人认证的特征数据；

选择单元，用于从所述存储单元中选择与所述面部表情判断单元判断出的面部表情相对应的特征数据；以及

认证单元，用于通过将所述面部检测单元检测出的所述面部区域的特征数据和所述选择单元所选择的特征数据进行比较，来进行个人认证。

2.根据权利要求1所述的个人认证设备，其特征在于，所述面部表情判断单元根据多个连续的图像数据计算特征数据的变化量，并且基于所述变化量来判断面部的面部表情。

3.根据权利要求1所述的个人认证设备，其特征在于，所述认证单元针对所述面部表情判断单元在判断面部的面部表情中所使用的多个图像数据中的每个图像数据进行个人认证，并且基于各认证结果确定最终的认证结果。

4.根据权利要求1所述的个人认证设备，其特征在于，当从所述认证单元进行个人认证所基于的面部中检测出没有存储在所述存储单元中并且与人的其它面部表情相对应的特征数据时，将该特征数据作为与该人的所述其它面部表情相对应的特征数据存储在所述存储单元中。

5.根据权利要求1所述的个人认证设备，其特征在于，还包括用于在与所述选择单元所选择的面部表情相对应的特征数据没有存储在所述存储单元中时通知所述存储单元中没有存储该特征数据的单元。

6.一种由个人认证设备执行的个人认证方法，所述个人认证设备包括：

输入单元，用于输入图像数据；

面部表情判断单元，用于根据所述面部检测单元检测出的所述面部区域来判断面部表情；以及

存储单元，用于与多个面部的各面部表情相对应地存储用于进行个人认证的特征数据，

所述个人认证方法包括：

选择步骤，用于从所述存储单元中选择与所述面部表情判断单元判断出的面部表情相对应的特征数据；以及

认证步骤，用于通过将所述面部检测单元检测出的所述面部区域的特征数据和所述选择步骤中选择的特征数据进行比较，来进行个人认证。