CN103632130B - 验证被摄体的验证装置及验证方法 - Google Patents

Abstract

本发明提供一种验证被摄体的验证装置及验证方法。所述验证装置能够减少错误验证。脸部检测部从图像中检测被摄体的脸部区域。特征信息提取处理器提取表示被摄体的特征的特征信息（图像数据）。验证确定部通过比较登记的图像数据与特定被摄体的特征信息，来进行验证。当与登记的图像数据项相关联的被摄体中的一个被选择作为要添加所述特定被摄体的特征信息的被摄体时，登记信息处理器根据所选被摄体的图像数据与所述特定被摄体的特征信息之间的相似度，确定是否将所述特定被摄体的特征信息追加登记作为所选被摄体的图像数据。

Description

验证被摄体的验证装置及验证方法

技术领域

本发明涉及验证装置、验证方法及用于个人验证的存储介质，尤其涉及通过将输入数据与预先存储在字典中的字典数据进行对照，来进行个人验证的验证装置。

背景技术

通常，为了进行个人验证，将诸如多个人物的脸部、声音或者指纹的验证要素数据预先存储在字典中作为字典数据。然后，通过将待验证对象的输入数据与存储在字典中的验证要素数据项进行比较，并基于比较的结果识别与输入数据相对应的人物的验证要素数据项，来进行个人验证。

在这种个人验证中，当使用表示人物的脸部的脸部图像作为验证要素数据项时，脸部图像的脸部朝向和脸部表情以及拍摄脸部图像时的光环境的变化，对个人验证的精度有很大的影响。这里，术语“光环境的变化”旨在表示例如由顺光、逆光以及侧光造成的明暗差异。

为了使用脸部图像进行个人验证，提出了如下技术：根据不同的拍摄条件对从在不同拍摄条件下拍摄的多个人物的脸部图像数据提取的多个特征值数据项进行分类，并使用通过分类形成的辅助特征值数据项（参见日本特开2008-146539号公报）。在日本特开2008-146539号公报公开的技术中，使用辅助特征值数据项，对作为输入数据的脸部图像进行高精度的个人验证，而与该脸部图像的拍摄环境无关。

此外，为了即使在拍摄条件不同的环境下也准确地进行个人验证，提出了如下技术：提取输入图案与预先登记的登记图案之间的相应部分特征，并生成该部分特征的多个组合作为组合部分特征（参见日本特开2011-100229号公报）。在日本特开2011-100229号公报公开的技术中，使用组合部分特征来计算输入图案与登记图像之间的相似度，并根据相似度来执行个人验证。

然而，在日本特开2008-146539号公报公开的方法中，当考虑拍摄条件经受了包括环境变化的复杂变化时，如果针对包括变化的不同环境的不同拍摄条件中的各个拍摄条件，将辅助特征值数据项也全都存储作为字典数据，则存储处理对用户的负担变得极为沉重。此外，字典数据的量的增加造成执行个人验证的处理所花费的时间增加。此外，为了创建字典数据，用户需要知道图像拍摄条件。

此外，在日本特开2011-100229号公报公开的方法中，由登记图案与输入图案之间对应的部分特征生成组合部分特征，因此，计算的相似度根据登记图案的数量而变化。相似度的这种变化有时造成错误验证。更具体地说，作为字典数据存储的同一人物的脸部图像的小区域有时在图像间移位，这能够使脸部图像的特征变化很大，造成错误识别。

图10是用于说明由传统个人识别方法造成的错误识别的图。

现在，假定脸部图像（以下也简称为“脸部”）701至704是属于同一人物的脸部。与脸部701的小区域711的特征相比，脸部702的小区域712的特征由于脸部朝向的变化而变化很大。此外，在脸部703的小区域713的情况下，光影响用于决定小区域713的位置的、检测诸如眼、鼻等器官的器官检测位置的定位，造成器官检测位置的移位，从而使得小区域713的位置移位。

此外，在脸部704的小区域714的情况下，小区域714的特征因诸如面具715（或者眼镜（未示出））的装饰品而变化。

如上所述，当同一人物的脸部图像的小区域在脸部图像之间移位时，小区域的特征变化很大，这造成错误识别。

图11A和图11B是用于说明当如图10所示的同一人物的脸部图像被存储作为表示特定人物的字典数据项时进行的相似度计算的图。

在图11A和图11B中，图10所示的脸部701至704被作为“A先生”的数据项存储在字典数据中（在此，数据项被示为脸部图像（以下，也简称为“脸部”）810至840）。此外，在此假定脸部850被作为“B先生”的数据项存储在字典数据中，计算作为待验证对象的B先生的脸部图像800与字典数据的数据项之间的相似度。

现在，在作为待验证对象的脸部图像800中，设定小区域801，并将小区域801与脸部图像810至840的关联小区域811至841进行比较。如上所述，在脸部图像810至840的各小区域811至841之间存在移位。当存在这样的移位时，存在小区域811至841中的任意一个与小区域801之间的相似度变高的情况。

此外，假定当在作为待验证对象的脸部图像800中，设定另一小区域802并将小区域802与脸部图像810至840的各个相应小区域812至842进行比较时，与小区域801的情况类似，如果在小区域812至842之间存在移位，则存在小区域812至842中的任意一个与小区域802之间的相似度变高的情况。

为了进行个人验证，在脸部图像850中同样设定小区域851和852，并且也将作为待验证对象的脸部图像800与脸部图像850进行比较。在这种情况下，与通过将脸部图像800与拍摄了脸部图像800的同一人物的脸部图像进行比较而获得的相似度r892相比，通过将脸部图像800与作为拍摄了脸部图像800的人物以外的人物的脸部的脸部图像810至840中的一个进行比较而获得的相似度r891有时可能更大。这造成将其他人物的脸部图像被错误地验证为脸部图像800。

更具体地说，当与同一人物相关联的登记脸部图像（即字典数据项）的数量根据拍摄条件等的变化而增加时，不仅登记脸部图像与同一人物的脸部图像之间的相似度变高，而且也存在登记脸部图像与其他人物的脸部图像之间的相似度也变高的情况。这有时造成错误验证。

发明内容

本发明提供一种能够减少错误验证的验证装置、验证方法以及存储介质。

在本发明的第一方面，提供有一种验证装置，所述验证装置包括用于存储分别表示多个被摄体中的各个的特定区域的特征的图像数据项的存储部，并且所述验证装置使用所述图像数据项，将图像中的被摄体作为特定被摄体进行验证，所述验证装置包括：特定区域检测单元，其被配置为从所述图像中检测所述特定被摄体的特定区域；特征信息提取单元，其被配置为从所述特定被摄体的特定区域中提取表示所述特定区域的特征的特征信息项；验证单元，其被配置为将所述图像数据项与所述特征信息项进行比较，并根据所述比较的结果验证所述特定被摄体；以及登记确定单元，其被配置为在将所述特定被摄体的特征信息项追加登记在所述存储部中作为所述图像数据项之前，如果所述多个被摄体中的一个被选择作为要添加所述特定被摄体的特征信息项的选择被摄体，则根据所述选择被摄体的图像数据项与所述特定被摄体的特征信息项之间的相似度，确定是否将所述特定被摄体的特征信息项追加登记作为所述选择被摄体的图像数据项，其中，当所述选择被摄体的图像数据项与所述特定被摄体的特征信息项之间的相似度大于预先设定的登记阈值时，所述登记确定单元确定将所述特定被摄体的特征信息项追加登记作为所述选择被摄体的图像数据项，并且其中，所述登记阈值根据所述选择被摄体的图像数据项的登记数而改变。

在本发明的第二方面，提供有一种由验证装置进行的验证方法，所述验证装置包括用于存储分别表示多个被摄体中的各个的特定区域的特征的图像数据项的存储部，并且所述验证装置使用所述图像数据项，将图像中的被摄体作为特定被摄体进行验证，所述验证方法包括如下步骤：从所述图像中检测所述特定被摄体的特定区域；从所述特定被摄体的特定区域中提取表示所述特定区域的特征的特征信息项；将所述图像数据项与所述特征信息项进行比较，并根据所述比较的结果验证所述特定被摄体；以及在将所述特定被摄体的特征信息项追加登记在所述存储部中作为所述图像数据项之前，如果所述多个被摄体中的一个被选择作为要添加所述特定被摄体的特征信息项的选择被摄体，则根据所述选择被摄体的图像数据项与所述特定被摄体的特征信息项之间的相似度，确定是否将所述特定被摄体的特征信息项追加登记作为所述选择被摄体的图像数据项，其中，所述确定步骤包括当所述选择被摄体的图像数据项与所述特定被摄体的特征信息项之间的相似度大于预先设定的登记阈值时，确定将所述特定被摄体的特征信息项追加登记作为所述选择被摄体的图像数据项，并且其中，所述登记阈值根据所述选择被摄体的图像数据项的登记数而改变。

在本发明的第三方面，提供一种非暂时性计算机可读存储介质，其存储用于使计算机执行验证装置的控制方法的计算机可执行控制程序，所述验证装置包括用于存储分别表示多个被摄体中的各个的特定区域的特征的图像数据项的存储部，并且所述验证装置使用所述图像数据项，将图像中的被摄体作为特定被摄体进行验证，所述控制方法包括如下步骤：从所述图像中检测所述特定被摄体的特定区域；从所述特定被摄体的特定区域中提取表示所述特定区域的特征的特征信息项；将所述图像数据项与所述特征信息项进行比较，并根据所述比较的结果验证所述特定被摄体；以及在将所述特定被摄体的特征信息项追加登记在所述存储部中作为所述图像数据项之前，如果所述多个被摄体中的一个被选择作为要添加所述特定被摄体的特征信息项的选择被摄体，则根据所述选择被摄体的图像数据项与所述特定被摄体的特征信息项之间的相似度，确定是否将所述特定被摄体的特征信息项追加登记作为所述选择被摄体的图像数据项，其中，所述确定步骤包括当所述选择被摄体的图像数据项与所述特定被摄体的特征信息项之间的相似度大于预先设定的登记阈值时，确定将所述特定被摄体的特征信息项追加登记作为所述选择被摄体的图像数据项，并且其中，所述登记阈值根据所述选择被摄体的图像数据项的登记数而改变。

根据本发明，能够减少错误验证。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是作为配备有根据本发明的第一实施例的验证装置的摄像装置的数字照相机的框图。

图2是图1所示的数字照相机执行的字典数据登记处理的流程图。

图3A至图3D是用于说明在图2所示的字典数据登记处理中将脸部图像数据项登记作为字典数据项的图，其中，图3A示出了由特征信息提取处理器获得的脸部图像数据项的示例，图3B示出了在执行字典数据登记处理之前存储在字典数据存储部中的字典数据项的示例，图3C示出了当将脸部图像数据项存储作为新的字典数据项时的字典数据项的示例，并且图3D示出了当新的字典数据项被追加登记并存储时的字典数据项的示例。

图4是在图2所示的字典数据登记处理中使用的登记阈值的示例的图。

图5是由图1所示的照相机执行的个人验证处理的流程图。

图6是由作为配备有根据本发明的第二实施例的验证装置的摄像装置的照相机执行的字典数据登记处理的流程图。

图7A至图7C是用于说明通过图6所示的字典数据登记处理将脸部图像数据项登记作为字典数据项的图，其中，图7A示出了由特征信息提取处理器获得的脸部图像数据项，图7B示出了在执行字典数据登记处理之前存储在字典数据存储部中的字典数据项的示例，并且图7C示出了当为登记脸部图像数据项而添加新的人物并且向新的人物的脸部图像数据项添加人物的新的分类信息时的字典数据项的示例。

图8A和图8B是用于说明通过图6所示的字典数据登记处理将脸部图像数据项登记作为字典数据项的图，其中，图8A示出了当与现有分类信息相关联地存储脸部图像数据项时的字典数据项的示例，并且图8B示出了当与关于已登记的人物的新的分类信息项相关联地存储脸部图像数据项时的字典数据项的示例。

图9是由作为配备有根据第二实施例的验证装置的摄像装置的数字照相机执行的个人验证处理的流程图。

图10是用于说明由传统的个人识别方法造成的错误识别的图。

图11A和图11B是用于说明当将图10所示的同一人物的脸部图像存储为表示特定人物的字典数据项时进行的相似度的计算的图，其中，图11A示出了待验证人物的脸部图像，并且图11B示出了在登记数据中登记的其他人物的登记数据项（脸部图像）以及待验证人物的登记数据项（脸部图像）。

具体实施方式

以下，参照示出本发明的实施例的附图对本发明进行详细描述。

图1是配备有根据本发明的第一实施例的验证装置的摄像装置的框图。

参照图1，示出的摄像装置是数字照相机（以下简称为“照相机”）100。照相机100具有包括聚焦透镜的摄影镜头单元（以下简称为“摄影镜头”）103。在摄影镜头103的下游设有具有光圈功能的快门101。

通过摄影镜头103和快门101的光学图像（被摄体图像）形成在作为摄像设备的摄像部122上。摄像部122由CCD（电荷耦合器件）图像传感器或者CMOS（互补金属氧化物半导体）图像传感器实现，并传送基于光学图像的电信号（模拟信号，即图像信号）。该模拟信号被给送到模拟-数字转换器123，以通过模拟-数字转换器123转换为数字信号（图像数据）。

请注意，在摄影镜头103的前部设有挡板102。挡板102遮盖包括摄影镜头103、快门101以及摄像部122的摄像系统，从而防止摄像系统沾污或者损坏。图像处理器124对从模拟-数字转换器123输出的图像数据或者由存储器控制器115给送的图像数据进行预定像素插值、诸如尺寸缩小的调整尺寸、以及颜色转换的处理。此外，图像处理器124使用通过照相机100拍摄而获得的图像数据进行预定的计算处理。

系统控制器150基于计算的结果进行曝光控制和测距控制。即：系统控制器150基于TTL（通过镜头）方法进行AF（自动聚焦）处理、AE（自动曝光）处理以及EF（电子预闪光）处理。

此外，图像处理器124使用通过照相机100拍摄而获得的图像数据进行预定计算处理，并基于计算的结果进行基于TTL方法的AWB（自动白平衡）。

从模拟-数字转换器123输出的图像数据被经由图像处理器124和存储器控制器115或者经由存储器控制器115写入存储器132。存储器132不仅写入有从模拟-数字转换器123输出的图像数据，而且存储有要在显示部128上显示的图像数据。

请注意，存储器132具有用于存储预定数量的静态图像数据项、预定回放时间长度的动态图像数据项以及音频数据的充足存储容量。此外，存储器132还充当图像显示用的存储器（视频存储器）的角色。

数字-模拟转换器113将存储在存储器132中的、图像显示用的图像数据转换为模拟图像信号，并将模拟图像信号传送到显示部128。这使得在显示部128上根据图像数据显示图像。请注意，显示部128例如为液晶显示设备。

非易失性存储器156能够进行电删除和记录，并且例如由EEPROM实现。非易失性存储器156存储用于系统控制器150的操作的常数、程序等。程序为执行稍后描述的各种处理而准备。

系统控制器150控制照相机100的整体操作。系统控制器150执行存储在非易失性存储器156中的上述程序，由此进行稍后描述的各种处理。

系统存储器152例如为RAM。用于系统控制器150的操作的常数和变量、从非易失性存储器156读取的程序等被加载到系统存储器152中。此外，系统控制器150控制存储器132、数字-模拟转换器113、显示部128等，由此执行显示控制。

模式切换开关160、快门按钮161以及控制台部170是用于向系统控制器150输入各种操作指示的输入操作部。快门按钮161用来给出拍摄指示，并且包括第一快门开关和第二快门开关。

模式切换开关160用来将系统控制器150的操作模式在静态图像记录模式、动态图像记录模式、再现模式等之间切换。

当操作快门按钮161进入所谓的半按下状态时，第一快门开关接通（进入拍摄准备指示状态），从而将第一快门开关信号SW1传送到系统控制器150。当接收到第一快门开关信号SW1时，系统控制器150开始AF（自动聚焦）处理、AE（自动曝光）处理、AWB（自动白平衡）处理以及EF（电子预闪光）处理等。

当快门按钮161进入所谓的全按下状态时，第二快门开关接通（进入拍摄指示状态），从而将第二快门开关信号SW2传送到系统控制器150。当接收到第二快门开关信号SW2时，系统控制器150开始从摄像部122读取图像信号到将图像数据写入存储介质104的一系列拍摄处理操作。

当选择性地操作显示部128上显示的各种功能图标的一个时，逐画面地将功能适当地分配给设在控制台部170上的操作部件（例如按钮和按键），由此，操作部件用作功能按钮。

功能按钮的示例包括停止按钮、返回按钮、图像滚动按钮、跳转按钮、缩小按钮以及属性改变按钮。

例如，当操作菜单按钮时，在显示部128上显示用于设定各种设置的菜单画面，用户能够使用显示部128上显示的菜单画面和四向按钮或者设定按钮，直观地设定各种设置。

电源控制器180包括电池检测电路、DC-DC转换器、用于在要供电的块之间切换的开关电路，并且检测电池是否被安装、电池的类型以及电池的剩余电量。此外，电源控制器180基于检测结果和来自系统控制器150的指示，控制DC-DC转换器，以向包括存储介质104的各个部件提供所需时间的必要电压。

电源部130例如包括诸如碱性电池或者锂电池的一次电池，或诸如NiCd电池、NiMH电池或Li电池的二次电池，以及AC适配器。

接口（I/F）118是与诸如存储器卡或者硬盘的存储介质104交互的接口。当存储介质104是存储器卡时，存储器卡例如由半导体存储器构成。电源开关172用来接通或断开照相机100的电源。

顺便提及，照相机100能够使用所谓的中央一点AF或者脸部AF来进行拍摄。中央一点AF是对摄像画面的中央部分的一点进行自动聚焦（AF）的方法。另一方面，对通过脸部检测功能检测的摄像画面的脸部区域进行脸部AF。

如图1所示，脸部检测部190与系统控制器150连接，并从存储在存储器132中的图像数据中检测被摄体图像的眼、嘴等的边缘部分，由此检测被摄体图像的脸部区域（即特征部分）。更具体地说，脸部检测部190根据脸部占据的图像数据项的区域（脸部位置和脸部尺寸）以及脸部的确定性（脸部可靠度），进行用于检测图像数据项的脸部区域的脸部检测处理。

特征信息提取处理器191从脸部检测部190检测的脸部区域，提取用于个人验证的特征信息。这里，个人验证所需的特征信息例如是与脸部区域相对应的脸部图像数据项，并且脸部图像数据项被存储作为字典数据。

特征信息提取处理器191可以被配置为将脸部图像数据项的脸部区域的尺寸和朝向（面内旋转方向）标准化，接着将脸部图像数据项存储在字典数据存储部192中，作为字典数据项（参照下文）。

此外，代替脸部图像数据项，可以仅将识别（辨识）所需的数据项存储在字典数据存储部192中作为字典数据项。这使得能够减少字典数据的量。更具体地说，可以在脸部区域中设定以诸如各眼、鼻和嘴的器官为中心的小区域，并且，为了通过在小区域之间进行矢量相关来进行识别，可以仅将小区域（部分区域）预先切出，并将其存储为字数数据项。

请注意在上述日本特开2011-100229号公报中公开了字典数据的生成，因此在此省略其描述。

字典数据存储部192将特征信息提取处理器191获得的特征信息项（脸部图像数据项）存储为字典数据项。字典数据项用于验证确定。将关于特征信息项的人物的人名（登记名称）与特征信息项（脸部图像数据项）相关联。

请注意，如上所述，在所例示的示例中，字典数据项是特征信息提取处理器191获得的特征信息项，并且关于多个人物（被摄体）的字典数据项被登记在字典数据存储部192中。

相似计算处理器193使用例如图案匹配方法将特征信息提取处理器191获得的人物的特征信息项与存储在字典数据存储部192中的字典数据项进行比较。接着，相似计算处理器193计算特征信息项与字典数据项之间的相似度。

验证确定部194将相似计算处理器193计算的相似度与预先设定的验证阈值进行比较。当相似度不小于验证阈值时，验证确定部194验证出用于相似度计算的特征信息（即：脸部图像数据）表示与字典数据相关联的人物。即，当相似度不小于验证阈值时，验证确定部194确定个人验证成功，并将确定结果发送到系统控制器150。

当字典数据存储部192存储特征信息时，如果相似计算处理器193的计算结果表示特征信息要新登记，则登记信息处理器195将特征信息与人名（登记名称）相关联。此外，如果针对人名要追加登记特征信息，则如下所述，登记信息处理器195确定是否要将特征信息新添加到人名。

请注意，图1所示的照相机的配置仅是示例，即：照相机的配置不限于此，而照相机在能够进行以下所述的处理的范围内可以具有任意适合的配置。

接下来，对图1所示的照相机100执行的字典数据登记处理进行描述。

图2是图1所示的照相机100执行的字典数据登记处理的流程图。

当用户通过操作控制台部170选择“字典数据登记”时，系统控制器150开始字典数据登记处理。接着，系统控制器150控制存储器控制器115，以由此使显示部128显示用于在静态图像记录模式和再现模式之间进行选择的选择画面。用户通过操作控制台部170，来选择静态图像记录模式和再现模式中的一个。

系统控制器150确定是选择了静态图像记录模式还是选择了再现模式（步骤S201）。如果选择了静态图像记录模式，则系统控制器150设定脸部图像登记模式（步骤S202）。接着，系统控制器150如上所述使照相机100拍摄被摄体（人物：特定被摄体）（步骤S203），并获得表示拍摄结果的图像数据项。

另一方面，如果选择了再现模式，则系统控制器150从存储介质104中读出图像数据项。在进行读出时，系统控制器150从存储介质104中读出用户在显示部128上显示的选择画面上选择的图像数据项（步骤S204）。

在步骤S203或者S204之后，执行步骤S205，在步骤S205中，系统控制器150将图像数据项发送到脸部检测部190。脸部检测部190对图像数据项进行脸部检测处理，以检测特定被摄体的脸部区域（特定区域）（步骤S205）。即，脸部检测部190使用图像数据项的图像中的被摄体作为特定被摄体，以由此检测特定被摄体（人物）的脸部区域（特定区域）。

图3A至图3D是用于说明在图2所示的字典数据登记处理中将脸部图像数据项登记作为字典数据项390的图，其中，图3A示出了由特征信息提取处理器191获得的脸部图像数据项的示例，图3B示出了在执行字典数据登记处理之前存储在字典数据存储部192中的字典数据项390的示例，图3C示出了当将脸部图像数据项存储作为新的字典数据项时的字典数据项390的示例，并且图3D示出了当新的字典数据项被追加登记并存储时的字典数据项390的示例。

现在，假定在步骤S205中，已检测到图3A所示的脸部图像数据项（以下，也简称为“脸部”）300。接着，特征信息提取处理器191从脸部图像数据项300中提取字典数据存储部192中存储的特征信息项301作为字典数据项390（步骤S206）。

接下来，系统控制器150从特征信息提取处理器191接收特征信息项301，并经由特征信息提取处理器191从字典数据存储部192接收字典数据项。接着，系统控制器150经由存储器控制器115使特征信息项301和字典数据项表示的脸部图像作为脸部图像列表显示在显示部128上。

用户查看脸部图像列表，将特征信息项301表示的脸部图像与字典数据项表示的脸部图像进行比较，并选择是否存在与脸部300表示的人物相同人物的脸部图像（即：特征信息）。

在此，假定图3B所示的字典数据项已被存储在字典数据存储部192中。在图3B所示的示例中，包括脸部310至330的人物305的特征信息项311至331以及包括脸部340的人物306的特征信息项341被存储作为字典数据项。

接下来，系统控制器150确定是否新登记特征信息项301（步骤S207）。当用户选择不存在与脸部300所示的人物同一人物的特征信息时（步骤S207中的“是”），系统控制器150确定将要新登记包括脸部300的特征信息项301。

当系统控制单元150通知特征信息提取处理器191执行新登记时，特征信息提取单元191将特征信息项301作为新的字典数据项存储（登记）在字典数据存储部192中（步骤S208）。然后系统控制器150结束字典数据记录处理。

当如上所述进行了新记录时，如图3C所示，针对人物307将包括脸部300的特征信息项301新登记在字典数据记录部192中。

另一方面，当用户选择存在与脸部300表示的人物同一人物的特征信息时（步骤S207中的“否”），系统控制器150确定要追加登记包括脸部300的特征信息项301。然后，在系统控制单元150的控制下，特征信息提取处理器191从登记在字典数据存储部192中的字典数据项中，选择用户选择的人物（即选择被摄体）的字典数据（步骤S209）。

在此，假定用户选择图3B所示人物305作为与脸部300所示的人物同一人物。在这种情况下，在步骤S209中，从字典数据存储部192中选择作为与脸部300所示人物同一人物的人物305相关联的一组字典数据项。

接着，相似计算处理器193计算被选择的人物305的特征信息（字典数据）与脸部300的特征信息项301之间的相似度（步骤S210）。在图3B所示出的示例中，根据人物305的特征信息项311、321和331的各个以及脸部300的特征信息项301计算相似度r391。

接下来，记录信息处理器195将在步骤S210中计算出的各个相似度与记录阈值tn（n为一个不小于1的整数）比较，并确定相似度是否大于登记阈值tn（步骤S211）。

图4是在图2所示的字典数据登记处理中使用的记录阈值的示例的图。

在图4所示的示例中，为n等于4，与关联同一人物的登记特征信息项的登记数相关联地设定记录阈值。在此，将登记阈值t1至t4分别与登记数1至4相关联地设定。登记阈值t1至t4的关系为t1<t2<t3<t4。如果相似度位于图4所示的区域A中，则将特征信息项301追加登记在字典数据存储部192中作为字典数据项。另一方面，如果相似度位于图4所示的区域B中，则不将特征信息项301追加登记在字典数据存储部192中。

即：如果相似度大于登记阈值tn（步骤S211中的“是”），则登记信息处理器195允许登记特征信息项301。从而，在步骤S208中，将特征信息项301登记在字典数据存储部192中作为字典数据项。

另一方面，如果相似度不大于登记阈值tn（步骤S211中的“否”），则登记信息处理器195禁止登记特征信息项301。因此，特征信息提取处理器191不将特征信息项301登记在字典数据存储部192中（步骤S212），之后，结束字典数据登记处理。

在图3B所示出的示例中，已经存储了人物305的特征信息项311至331，因此其登记数是“3”。因此，在本实施例中，当在步骤S210中计算出的相似度中的至少一个大于登记阈值t3时，将特征信息项301追加登记在字典数据存储部192中。反之，当在步骤S210中计算出的所有相似度等于或小于登记阈值t3时，不将特征信息项301追加登记在字典数据存储部192中。

当进行追加登记时，登记在字典数据存储部192中的字典数据390变成如图3D所示。参照图3D，针对人物305，除了特征信息项311、321和331之外，还将特征信息项301登记作为字典数据项。

请注意，当不追加登记特征信息项301时，为了从用户获得不登记项301的准许，系统控制器150可以使显示部128显示例如表明即使追加登记特征信息项301，该项也不是用于个人验证的有效图像的消息。而且，可以将特征信息项301追加登记在字典数据存储部192中，随之添加表明特征信息项301对个人验证无效的消息，由此防止特征信息项301用于个人验证。

此外，尽管图4所示的登记阈值tn表示为随着同一人物的特征信息项的登记数增加而变大的单调递增线性函数，但是登记阈值并不局限于图4所示的示例，而可以是非线性函数或者表格。

接下来，将对图1所示的照相机100执行的个人验证处理进行描述。

图5是图1所示的照相机100执行的个人验证处理的流程图。

当用户通过操作控制台部170选择“个人验证”时，系统控制器150开始个人验证处理。接下来，系统控制器150将通过拍摄获得的图像数据项传送给脸部检测部190。

脸部检测部190对图像数据进行脸部检测处理，以检测待认证对象的脸部区域（步骤S401）。接着，特征信息提取处理器191从待验证对象的脸部区域的图像数据中提取用于个人验证的特征信息（待验证对象特征信息，即脸部数据项）（参见步骤S402）。

相似计算处理器193计算待认证对象特征信息与记录在字典数据存储部192中的人物的字典数据项之间的相似度（步骤S403）。然后，相似计算处理器193确定是否已计算待验证对象特征信息与登记在字典数据存储部192中的所有人物的字典数据项之间的相似度（步骤S404）。

如果未计算待验证对象特征信息与登记在字典数据存储部192中的所有人物的字典数据项之间的相似度（步骤S404中的“否”），则相似计算处理部193返回步骤S403，以计算下一个字典数据项与待验证对象特征信息之间的相似度。

另一方面，如果已计算出待验证对象特征信息和登记在字典数据存储部192中的所有人物的字典数据项之间的相似度（步骤S404中的“是”），则验证确定部194计算各个相似度与验证阈值tn之间的差分，并选择差分的最大值（步骤S405）。请注意，假定验证阈值与上述的登记阈值类似随着同一人物的特征信息项（字典数据项）的登记数增加而变大。

接下来，验证确定部194确定选择的最大值是否大于0（步骤S406）。如果选择的最大值大于0（步骤S406中的“是”），则验证确定部194确定个人验证成功（步骤S407），并发送验证结果至系统控制器150。系统控制器150根据验证结果，在显示部128上显示的待验证对象的脸部中，显示表示个人验证成功的脸框（未图示），随后结束个人验证处理。

另一方面，如果选择的最大值不大于0（步骤S406中的“否”），则验证确定部194发送表明个人验证失败的信息（步骤S408）。系统控制器150不在显示部128上显示的待验证对象的脸部中显示脸框（未图示）（即：当显示个人验证失败时），而结束个人验证处理。

如上所述，相似计算处理器193和验证确定部194比较登记在字典数据存储部192中的字典数据和特征数据，并根据比较结果进行作为特定被摄体的个人的验证。

如前所述，在本发明的第一实施例中，在将作为特征信息项的字典数据登记在字典数据存储部192中之前，参照随与同一人物相关联的特征信息的登记数变化的登记阈值，确定是否需要登记字典数据项。因此，即使与同一人物相关联的字典数据项的数量增加，也能防止表示同一人物的字典数据的精度降低。因此，通过使用字典数据确定相似度来进行个人验证时，能够防止将人物错误认证为该人物以外的人（其他人）。

接下来，对配备有根据本发明的第二实施例的验证装置的摄像装置的照相机100进行描述。请注意，虽然配备有根据第二实施例的验证装置的数字照相机具有与图1所示的照相机相同的配置，但是第二实施例与第一实施例在图1所示的登记信息处理器195的功能上不同。

在第二实施例中，当在字典数据存储部192中登记了特征信息项时，相似计算处理器193计算待登记对象（人物）的特征信息项与登记在字典数据存储部192中的同一人物的特征信息项之间的相似度。然后，登记信息处理器195将由此计算出的相似度与预先设定的分类阈值进行比较。

当相似度不小于分类阈值时，登记信息处理器195将与用于计算该相似度的特征信息项相同的分类信息与要存储在字典数据存储器192中的特征信息项相关联。然后，登记信息处理器195将特征信息项分类成同一分类信息组，从而将特征信息项登记在字典数据储存部192中作为字典数据项。

另一方面，当相似度小于分类阈值时，登记信息处理器195将新分类信息与要存储在字典数据存储部192中的特征信息项相关联。该新分类信息表示特征信息项与登记的特征信息项（字典数据项）相似，是特征信息的一种。

图6是由作为配备有根据本发明的第二实施例的验证装置的摄像装置的照相机100执行的字典数据登记处理的流程图。在图6中显示的流程图中，与图2所示的相同步骤用同样的附图标记表示，并省略其描述。

图7A到7C和图8A、8B是用于说明通过图6所示的字典数据登记处理将脸部图像数据项登记作为字典数据项690的图，其中，图7A示出了由特征信息提取处理器191获得的脸部图像数据项的示例，图7B示出了在执行字典数据登记处理前存储在字典数据存储部192中的字典数据项690的示例，图7C示出了为登记脸部图像数据而添加新人物并将人物的新分类信息添加到新人物的脸部图像数据项时的字典数据项690的示例。此外，图8A示出当将脸部图像数据项与现有的分类信息相关联地存储时的字典数据项690的示例，图8B示出了当将脸部图像数据项与关于已登记人物的新的分类信息项相关联地存储时的字典数据项690的示例。

现在，假定在步骤S205中检测到图7A所示的脸部图像数据（脸部）600，并且在步骤S206中，特征信息提取处理器191从脸部图像数据600中提取要存储在字典数据存储部192中的特征信息项601。

假定在字典数据存储部192中存储了图7B所示的字典数据项。在图7B所示的示例中，作为字典数据，存储了人物605的包括脸部610至630的特征信息项611至631、以及人物606的包括脸部640的特征信息项641。此外，分类信息项681被添加到特征信息项611和621中，并且分类信息项683被添加到特征信息项631中。此外，分类信息项684被添加到特征信息项641中。

当在步骤S207中确定要新登记包括脸部600的特征信息项601时，特征信息提取处理器191将包括脸部600的特征信息项601登记作为新登记的人物的特征信息。接着，登记信息处理器195将用于识别人物的人名（登记名称）信息和取决于上述相似度的新的分类信息与特征信息项601相关联。接着，特征信息提取处理器191将特征信息项601登记在字典数据存储部192中（步骤S508），随后结束字典数据登记处理。

当如上所述进行新登记时，如图7C所示，针对人物607，将包括脸部600的特征信息项601新登记在字典数据存储部192中。此时，根据相似度将分类信息项685与特征信息项601相关联。

另一方面，当在步骤S207中确定不对包括脸部600的特征信息项601新登记时，则如参照图2所述，在步骤S209中，在系统控制器150的控制下，特征信息提取处理器191从字典数据存储部192中登记的字典数据项中选择用户选择的人物的字典数据。

在此，假定用户选择图7B所示的人物605作为与脸部600表示的人物同一人物。因此，在步骤S209中，从字典数据存储部192中选择与和脸部600表示的人物同一人物的人物605相关联的字典数据项。

随后，相似计算处理器193选择与人物605相关联的分类信息项中的一个（步骤S510）。在此，假定相似计算处理部193从与人物605相关联的分类信息项681和683中选择了分类信息项681。

相似计算处理器193计算在和选择的分类信息项681相关联的特征信息项611、621与特征信息项601之间的相似度（步骤S511）。在图7B所示的示例中，根据分类信息项681和特征信息项601计算相似度r691。

接着，相似计算处理器193确定是否计算出与关于人物305的所有分类信息项相关联的特征信息项和特征信息项601之间的相似度（步骤S512）。如果确定未计算与关于人物305的所有分类信息项相关联的特征信息项和特征信息项601之间的相似度（步骤S512中的“否”），则相似计算处理器193返回步骤S510，以选择下一个分类信息项，接着在步骤S511中，计算和下一个分类信息项相关联的特征信息项与特征信息项601之间的相似度。

在图7B所示的示例中，计算脸部600的特征信息项601与和人物605相关联的分类信息项683之间的相似度r693。

如果确定计算出与关于人物305的所有分类信息项相关联的特征信息项和特征信息项601之间的相似度（步骤S512中的“是”），则登记信息处理器195将在步骤S511中计算的各个相似度与分类阈值进行比较（步骤S513）。

请注意，假定与以上参照图4所描述的登记阈值类似，分类阈值随与同一人物的分类信息项相关联的特征信息项的数量增加而变大。例如，在图7B所示的示例中，以与分类信息项681相关联的方式登记了两个特征信息项611和621，因此，将特征信息项601与关联分类信息项681的特征信息项611和621中的各个之间的相似度与分类阈值t2（参见图4）进行比较。此外，由于以与分类信息项683相关联的方式仅登记了特征信息项631，因此，将特征信息项601与关联分类信息项683的特征信息项631之间的相似度与分类阈值t1（参见图4）进行比较。

在步骤S513中，如果关联任一分类信息项的特征信息项与特征信息项601之间的相似度大于分类阈值（步骤S513中的“是”），则登记信息处理器195将分类信息项中的与相似度和分类阈值之间的差分最大的特征信息项相关联的任意一个分类信息项，与特征信息项601相关联（步骤S514）。之后，特征信息提取处理器191将特征信息项601登记在字典数据存储部192中作为字典数据项，随后结束字典数据登记处理。

另一方面，如果关联各个分类信息项的所有特征信息项与特征信息项601之间的相似度等于或者小于分类阈值（步骤S513中的“否”），则登记信息处理器195将新的分类信息项与特征信息项601相关联（步骤S515）。接着，特征信息提取处理器191将特征信息项601登记在字典数据存储部192中作为字典数据项，随后结束字典数据登记处理。

在图7B所示的示例中，如果至少[（特征信息项601与关联分类信息项681的各个特征信息项之间的相似度）-分类阈值t2]＞0或者[（特征信息项601与关联分类信息项683的各个特征信息项之间的相似度）-分类阈值t1]＞0成立，则处理进入步骤S514，在步骤S514中，从满足条件[特征信息项601与各关联特征信息项之间的相似度-分类阈值tn]＞0的分类信息项中，将关联相似度与分类阈值tn之间的差分最大的特征信息项的分类信息项与特征信息项601相关联。

另一方面，如果没有满足条件[特征信息项601与各关联特征信息项之间的相似度-分类阈值tn]＞0的分类信息项，则处理进入步骤S515，在步骤S515中，针对人物605将新的分类信息项与特征信息项601相关联。

现在，假定图7B所示的相似度r691是（相似度-分类阈值t2）的最大值，如图8A所示，将特征信息项601登记在字典数据存储部192中。即：将用于计算类似度r691的分类信息项681与特征信息项601相关联，并将特征信息项601登记在字典数据存储部192中。

另一方面，如果相似度r691和r693都不能满足条件（相似度-分类阈值tn）＞0，则如图8B所示，将特征信息项601登记在字典数据存储部192中。即：将关联作为同一人物选择的人物605的新分类信息项686与特征信息项601相关联，并将特征信息项601登记在字典数据部192中。

图9是由配备根据第二实施例的验证装置的照相机执行的个人验证处理的流程图。在图9所示的流程图中，图5所示的相同步骤用相同的附图标记表示，并省略其描述。

当在步骤S402中字典存储部191从待验证对象的脸部图像数据中提取用于个人验证的待验证对象特征信息时，相似计算处理器193从登记在字典数据存储部192中的字典数据项中，选择用于相似度计算的分类信息项（步骤S903）。在此，首先假定从图7C所示的字典数据项中选择了分类信息项681。

接着，相似计算处理器193计算和选择的分类信息项681相关联的各个特征信息项与待验证对象特征信息项之间的相似度（步骤S904）。接着，相似计算处理器193确定是否计算了与所有登记在字典数据存储部192中的分类信息项相关联的特征信息项和待验证对象特征信息项之间的相似度（步骤S905）。

如果确定未计算与所有登记在字典数据存储部192中的分类信息项相关联的特征信息项和待验证对象特征信息项之间的相似度（步骤S905中的“否”），则相似计算处理器193返回步骤S903，以选择下一个分类信息，然后在步骤S904中，计算与下一个分类信息相关联的各个特征信息项和待验证对象特征信息项之间的相似度。

当计算出与所有登记在字典数据存储部192中的分类信息项相关联的特征信息项和待验证对象特征信息项之间的相似度时（步骤S905中的“是”），验证确定部194执行参照图5的描述的从S405至S408的步骤。请注意，图9所示的步骤S405中使用的验证阈值tn和分类阈值类似，随着同一人物特征信息项的登记数增加而变大。

现在，假定在图7C所示的字典数据中，与分类信息项681相关联的特征信息项和待验证对象特征信息项之间的相似度用r961表示，分类信息项683与待验证对象特征信息项之间的相似度用r962表示。此外，分类信息项684与待验证对象特征信息项之间的相似度用r963表示，分类信息项685与待验证对象特征信息项之间的相似度用r964表示。

在这种情况下，在步骤S405中，选择（各个相似度r961-验证阈值t2）、（相似度r962-验证阈值t1）、（相似度r963-验证阈值t1）以及（相似度r964-验证阈值t1）中的最大值。接着，在步骤S406中，验证确定部194确定选择的最大值是否大于0，并根据确定的结果，确定验证是否成功。

如上所述，在本发明的第二实施例中，不仅能够获得与第一实施例所提供的同样的优点，而且由于与字典数据项相关联地存储基于相似度对同一人物的脸部进行分类的分类信息项，因此即使拍摄条件经过了复杂的变化（包括环境变化），也能够提高验证精度。

从上述描述中可以看出，在图1所示的示例中，系统控制器150和脸部检测部190用作特定区域检测单元，并且系统控制器150和特征信息提取处理器191用作特征信息提取单元。

此外，相似计算处理器193和验证确定部194用作验证单元，并且相似计算处理器193和登记信息处理器195用作登记确定单元。

请注意，在图1所示的示例中，至少系统控制器150、脸部检测部190、特征信息提取处理器191、字典数据存储部192、相似计算处理器193、验证确定部194以及登记信息处理器195构成验证装置。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机（或诸如CPU或MPU的设备）来实现，以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质（例如计算机可读介质）向计算机提供程序。

本申请要求2012年8月20日提交的日本专利申请第2012-181738号的优先权，该申请的全部内容通过引用并入本文。

Claims (8)

1.一种验证装置，所述验证装置包括用于存储分别表示多个被摄体中的各个的特定区域的特征的图像数据项的存储部，并且所述验证装置使用所述图像数据项，将图像中的被摄体作为特定被摄体进行验证，所述验证装置包括：

特定区域检测单元，其被配置为从所述图像中检测所述特定被摄体的特定区域；

特征信息提取单元，其被配置为从所述特定被摄体的特定区域中提取表示所述特定区域的特征的特征信息项；

验证单元，其被配置为将所述图像数据项与所述特征信息项进行比较，并根据所述比较的结果验证所述特定被摄体；以及

登记确定单元，其被配置为在将所述特定被摄体的特征信息项追加登记在所述存储部中作为所述图像数据项之前，如果所述多个被摄体中的一个被选择作为要添加所述特定被摄体的特征信息项的选择被摄体，则根据所述选择被摄体的图像数据项与所述特定被摄体的特征信息项之间的相似度，确定是否将所述特定被摄体的特征信息项追加登记作为所述选择被摄体的图像数据项，

其中，当所述选择被摄体的图像数据项与所述特定被摄体的特征信息项之间的相似度大于预先设定的登记阈值时，所述登记确定单元确定将所述特定被摄体的特征信息项追加登记作为所述选择被摄体的图像数据项，并且

其中，所述登记阈值随所述选择被摄体的图像数据项的登记数增加而增大。

2.根据权利要求1所述的验证装置，其中，所述图像数据项被以针对所述多个被摄体中的各个根据相似度分类为组的方式登记在所述存储部中，并且

其中，所述登记确定单元使用表示关于所述选择被摄体的所述组的特征的分类信息项，来代替所述图像数据项，并由此根据所述特定被摄体的特征信息项与所述分类信息项之间的相似度，来确定在所述选择被摄体的哪个组中追加登记所述特定被摄体的特征信息项。

3.根据权利要求2所述的验证装置，其中，所述登记确定单元针对所述组中的各个计算各个组的分类信息项与所述特定被摄体的特征信息项之间的相似度，并确定要将所述特定被摄体的特征信息项登记在由分类信息项表示的组中，所述分类信息项具有超过预先设定的登记阈值的所有相似度中的最大相似度。

4.根据权利要求3所述的验证装置，其中，当所有所述相似度不大于所述登记阈值时，所述登记确定单元确定将所述特定被摄体的特征信息项登记在与所述选择被摄体相关联的新组中。

5.根据权利要求3所述的验证装置，其中，所述登记阈值根据各个组的图像数据项的登记数而改变。

6.根据权利要求5所述的验证装置，其中，所述登记阈值随所述组的图像数据项的登记数增加而增大。

7.根据权利要求1所述的验证装置，其中，所述特定区域是人物的脸部。

8.一种由验证装置进行的验证方法，所述验证装置包括用于存储分别表示多个被摄体中的各个的特定区域的特征的图像数据项的存储部，并且所述验证装置使用所述图像数据项，将图像中的被摄体作为特定被摄体进行验证，所述验证方法包括如下步骤：

从所述图像中检测所述特定被摄体的特定区域；

从所述特定被摄体的特定区域中提取表示所述特定区域的特征的特征信息项；

将所述图像数据项与所述特征信息项进行比较，并根据所述比较的结果验证所述特定被摄体；以及

在将所述特定被摄体的特征信息项追加登记在所述存储部中作为所述图像数据项之前，如果所述多个被摄体中的一个被选择作为要添加所述特定被摄体的特征信息项的选择被摄体，则根据所述选择被摄体的图像数据项与所述特定被摄体的特征信息项之间的相似度，确定是否将所述特定被摄体的特征信息项追加登记作为所述选择被摄体的图像数据项，

其中，所述确定步骤包括当所述选择被摄体的图像数据项与所述特定被摄体的特征信息项之间的相似度大于预先设定的登记阈值时，确定将所述特定被摄体的特征信息项追加登记作为所述选择被摄体的图像数据项，并且

其中，所述登记阈值随所述选择被摄体的图像数据项的登记数增加而增大。