CN102855463A - 面部识别装置及其控制方法和面部识别方法 - Google Patents

Abstract

本发明提供面部识别装置及其控制方法和面部识别方法。通过对面部字典中登记的人物的登记面部图像与包括在存储的图像中的面部图像进行比较来计算相似度，并且从面部图像列表中提取所计算出的相似度落入预定范围内的面部图像，其中，在所述预定范围内，所计算出的相似度不是非常高。将提取的图像登记在面部字典中，从而容易地生成能够从许多图像中有效检索该人物的面部字典。

Description

面部识别装置及其控制方法和面部识别方法

技术领域

本发明涉及使用面部识别功能判别图像中的人物的面部识别装置及其控制方法和面部识别方法。

背景技术

通过配设在图像浏览器中的面部识别功能而按各个人物自动管理图像的功能在不断普及。然而，在面部字典中登记同一人物的多个面部图像时，必须重复登记面部图像。

例如，在日本专利特开2005-174308号公报中，提出了如下的方法：即通过面部识别功能，把被假定是与最初登记的人物相同的人物的面部图像，按相似性进行排序，并将排序后的图像的列表呈现给用户，以便减轻在面部字典中登记面部图像的工作。用户从呈现的面部图像列表中选择拍摄有该人物的面部图像，决定选择的面部图像是人物本人的面部，并且，图像浏览器将面部图像添加登记在面部字典中。在添加登记面部图像时更新面部字典，并且，把被假定是相同人物的面部图像的列表，作为具有较高精度的面部识别的结果再次呈现给用户。

此外，面部识别功能的如下特性是公知的，即如果仅登记相似的面部图像，则识别精度只能提高少许。

如上所述，即使向面部字典中新登记与面部字典中已经登记的面部图像具有极高相似度的同一人物的面部图像，也不能有效地提高识别精度。反而是，为了有效提高识别精度，倒不如将同一人物的、彼此不是很相似的面部图像登记在面部字典中。

然而，要检索同一人物的、彼此不是很相似的面部图像，作为要登记在面部字典中的面部图像，则需要较长时间。此外，对于不知道通过在面部字典中登记同一人物的、彼此不是很相似的面部图像能够有效提高识别精度的用户而言，他们可能根本不会去检索同一人物的、彼此不是很相似的面部图像。

发明内容

本发明的一个方面旨在解决所有问题或至少一个问题。

根据本发明的一个方面，提供一种面部识别装置，该面部识别装置包括：特征量提取单元，被构造为通过分析图片图像中的人物的面部图像来提取面部特征量；面部字典生成单元，被构造为以将所述特征量提取单元提取的特征量与人名相关联的方式来生成面部字典；添加单元，被构造为以与在所述面部字典中登记的人名相关联的方式来新添加面部特征量；以及显示控制单元，被构造为将通过分析另一图片图像中的人物的面部图像而提取的面部特征量与所述面部字典中登记的面部特征量进行比较来计算相似度，以及将所述相似度落入预定范围内的面部图像作为要添加至所述面部字典的候选显示在显示部上。

通过以下参照附图对示例性实施例的详细描述，本发明的其他特征和方面将变得清楚。

附图说明

包含在说明书中、构成说明书的一部分的附图，示出了本发明的示例性实施例、特征和方面，并且与文字说明一起，用于解释本发明的原理。

图1是例示根据实施例的个人计算机的框图。

图2是例示根据实施例的面部检索对话框的图。

图3是例示根据实施例的面部字典编辑对象人物选择对话框的图。

图4是例示根据实施例的面部字典对话框及面部候选列表对话框的图。

图5是例示根据实施例的面部图像列表的结构的图。

图6是例示根据实施例的面部字典的结构的图。

图7是根据第一实施例的面部字典登记图像候选提取处理的流程图。

图8是例示根据第一实施例的识别精度提高面部图像提取处理的详细流程图的图。

图9是例示根据实施例的、在面部图像添加之前面部检索对话框的操作示例的图。

图10是例示根据实施例的面部字典对话框及面部候选图像列表对话框的操作示例的图。

图11是例示根据实施例的、在面部图像添加之后面部检索对话框的操作实例的图。

图12是例示根据第一实施例的变型例的识别精度提高面部图像提取处理的详细流程图的图。

图13是例示根据第一实施例的另一变型例的识别精度提高面部图像提取处理的详细流程图的图。

图14是例示根据第一实施例的另一变型例的识别精度提高面部图像提取处理的详细流程图的图。

图15是例示根据第一实施例的另一变型例的识别精度提高面部图像提取处理的详细流程图的图。

图16是例示根据第二实施例的识别精度提高面部图像提取处理的详细流程图的图。

图17是例示根据第二实施例的面部字典对话框和面部候选图像列表对话框的图。

图18是例示根据第二实施例的变型例的面部字典对话框和面部候选图像列表对话框的图。

具体实施方式

以下，将参照附图，来详细描述本发明的各种示例性实施例、特征及方面。

第一实施例

在以下实施例中，图像浏览器是具有诸如管理图像文件、显示图像和显示附属于图像文件的缩略图图像的列表的功能的应用程序。在以下的实施例中，对图像的人物的面部进行分析，以通过预定运算，来对诸如眼睛、鼻子、嘴部及面部的形状和颜色等的特征进行参数化，并且称为“面部特征量”。

将如下的数据库文件称为“面部字典”，在其中，利用编号或文件名，而以便于管理的方式形成关于面部特征量的信息的数据库。

本实施例的面部识别装置包括如下的功能，即识别诸如硬盘等的存储设备中的图像文件的图像中包括的面部，并按各个人物来管理面部。在第一实施例中，将描述向用户显示面部图像候选的列表的面部识别装置，所述候选可以在将面部登记在面部字典中时有效提高识别精度。被作为面部识别装置来操作的图像浏览器

下面，将描述根据本发明的实施例的、被作为面部识别装置来操作的个人计算机。

图1是例示根据本发明的本实施例的个人计算机的框图。个人计算机通过在个人计算机中执行预定的控制程序来进行以下的面部识别处理，并且，个人计算机充当面部识别装置。

参照图1，中央处理单元(CPU)101控制整个个人计算机。CPU 101的操作处理过程(诸如用于在开启个人计算机的电源时的处理的程序以及用于基本输入/输出处理的程序)被存储在只读存储器(ROM)102中。随机存取存储器(RAM)103充当CPU 101的主存储器。RAM 103提供进行包括执行稍后描述的处理的控制程序的各种处理时的工作区。显示单元104在CPU 101的控制下进行各种显示。例如，显示单元104利用图像浏览器的应用程序，来以列表方式显示缩略图。图像浏览器的控制程序存储在硬盘驱动器105中。通过图像浏览器来管理的图像文件和面部字典也存储在硬盘驱动器105中。在DVD(数字多功能光盘)106上能够附装可拆卸的光记录介质，以读取记录在光学记录介质中的数据。输入设备107是执行图像浏览器的各种操作的鼠标和键盘。在记录介质加载单元(介质驱动器)108上能够附装可拆卸的记录介质，以记录数据或读取记录的数据。系统总线(包括地址总线、数据总线和控制总线)109连接以上各单元。

面部识别装置的用户接口

下面，将参照图2、3和4，来详细描述根据本发明实施例的、被作为面部识别装置来操作的图像浏览器的用户接口。通常，除了显示保持在特定的文件夹中的图像的列表的功能，图像浏览器还具有根据图片图像的摄影日期时间来进行管理的功能，以及根据图片图像的位置来进行管理的功能。在第一实施例中，以下将描述本发明的图像浏览器具有的功能当中的面部识别功能。

图2是例示根据本发明的本实施例的面部检索对话框的图。图3是例示根据本发明的本实施例的面部字典编辑对象人物选择对话框的图。图4是例示根据本发明实施例的面部字典对话框和面部候选图像列表对话框的图。

CPU 101在个人计算机的显示器104上显示面部检索对话框201。当用户按下面部检索对话框的结束按钮202时，CPU 101结束图像浏览器中的面部检索对话框。附图标记203表示人名输入文本框。附图标记204表示面部检索对话框中的面部图像列表显示区。当将人名输入至人名输入文本框203以发出进行检索命令的指令时，CPU 101获得输入至人名文本框203的人名。在面部图像列表显示区204上，从硬盘中的特定的文件夹，来显示被用户决定为包括有该人物的图像的图像的所有图像(面部字典登记图像)，以及被CPU101确定为是包括与该人物相似的人物的图像的图像的图像(例如，具有预定值或以上的相似度的图像)。附图标记209表示字典登记按钮。当用户按下字典登记按钮209时，CPU101显示图3中的面部字典编辑对象人物选择对话框301。

附图标记301表示面部字典编辑对象人物选择对话框。当用户按下结束按钮302时，CPU 101关闭面部字典编辑对象人物选择对话框301，以转变到面部检索对话框201。附图标记303表示面部字典编辑对象人物选择列表框。在按下字典登记按钮209以显示面部字典编辑对象人物选择对话框301时，CPU 101从面部字典获得已经在面部字典中登记的所有人名的列表，并且将列表显示在面部字典编辑对象人物选择列表框303中。当用户操作鼠标、选择显示在面部字典编辑对象人物选择列表框303中的人物中的特定人物时，CPU101将选择的人名的显示状态改变为表示选择的状态(图3中反转显示)。附图标记304表示面部字典编辑对象人物选择对话框301的OK(确定)按钮。当用户按下OK按钮304时，CPU101获得在面部字典编辑对象人物选择列表框303中处于表示选择的状态的人名，并且关闭面部字典编辑对象人物选择对话框。CPU101显示与获得的人名相对应的面部字典对话框401和面部候选图像列表框405。

附图标记402是结束按钮。当用户按下结束按钮402时，CPU 101关闭面部字典对话框401和面部候选图像列表框405，以转变到面部检索对话框201。附图标记403表示面部字典对话框401中的面部字典登记图像列表显示区。CPU 101从面部字典中，来获得用户已经针对选择的特定人物而登记在面部字典中的面部图像，并且将面部图像的列表显示在面部字典登记图像列表显示区403中。作为示例，在图4中，面部图像404显示为CPU 101从面部字典获得的人物A的面部。附图标记406表示面部候选图像列表显示区。CPU 101从HDD 105中，来获得被CPU 101确定为与用户指定的特定人物相似的面部图像，并且将面部图像的列表显示在面部候选图像列表显示区406中。作为示例，在图4中，面部图像407、面部图像408和面部图像409显示为CPU 101从HDD 105中获得的面部候选图像。

在用户目视识别出在面部图像列表显示区406中显示的面部图像407是对象人物本人的、并要将面部图像407登记在面部字典中的情况下，用户利用鼠标选择面部图像407，以进行向字典登记图像列表区403的拖放410的操作。响应于用户的拖放410的操作，CPU101在面部字典中登记面部图像407的面部，作为面部字典编辑对象人物选择对话框303选择的人名的面部(面部字典生成)。

面部图像列表的结构

下面，将参照图5描述根据本发明的实施例的面部图像列表的结构。

在图5中，面部图像列表501保持存储在HDD 105的特定的文件夹中的所有图像中包括的面部，以及与面部相关的信息。面部ID(面部标识符)502是为了识别HDD 105中的图片图像中的各个人物而分配的唯一编号。附图标记503表示作为缩略图的面部图像，与面部ID 502对应的、HDD 105中的图像中包括的人物的面部部分的区域被标准化为特定大小(在图5中，是纵向为120像素且横向为96像素的大小)。在面部字典对话框401和面部候选图像列表显示区406中显示面部图像时，CPU101使用面部图像503。面部特征量504作为二进制数据存储在面部图像列表501中。面部特征量504是指如下的二进制数据，在该二进制数据中，CPU 101分析包括在图像中的人物的面部，以对眼睛、鼻子、嘴部和面部的形状进行参数化。附图标记505表示包括面部ID 502的面部的图像的文件名。也就是说，面部ID 502的面部在该文件名的图像中。

假设CPU 101通过基于关于被用户设置给图像浏览器作为检索目标范围文件夹的特定文件夹的信息，预先分析在特定文件夹中的所有图像，而生成面部图像列表501中的信息。

面部字典的结构

图6是例示根据本发明实施例的面部字典的结构的图。

面部字典表601保持在HDD 105中，以便CPU 101管理面部信息。附图标记602表示人名的列。当用户在面部字典中登记管理目标的人名时，CPU 101将管理目标的人名，记录在面部字典表601的人名602的列中。附图标记603表示面部ID的列。当用户在面部字典中登记管理对象的面部ID 502时，CPU 101将管理目标的面部ID 502，记录在面部字典表601的面部ID603的列中。附图标记604表示面部特征量的列。当用户在面部字典中登记面部图像列表501管理的面部ID 502的面部时，CPU 101将面部ID 502的面部特征量504，记录在面部字典表601的面部特征量604的列中。

对于在人名602的列中的一个人名602，多个面部ID及其面部特征量504被组合在一起。

图7是根据本发明第一实施例的面部字典登记图像候选提取处理的流程图。图7中的流程图例示了当用户打开面部候选图像列表对话框405时CPU 101进行的处理。

在步骤S701中，CPU 101将预先生成的特定文件夹的面部图像列表501从HDD 105复制到存储器。在步骤S702中，CPU 101依照在面部字典编辑对象人物选择列表框303中选择的人名，从存在于HDD中的面部字典601中，获得经历检索的人名602以及与人名602相关的面部ID 603及面部特征量604(特征量提取)。在步骤S703中，CPU 101从复制的面部图像列表中删除如下的面部图像，该面部图像具有与已经登记在面部字典中的面部图像相同的、在步骤S702中获得的面部ID 603。在步骤S704中，CPU 101通过比较面部字典的面部特征量604与面部图像列表中的各个面部特征量504，来计算相似度。CPU 101将计算的相似度，与面部图像列表中的面部ID相关地保持。在多个面部ID及多个面部特征量与面部字典中的检索目标的人名相关的情况下，CPU 101将面部字典的多个面部特征量进行合并，并且将合并的面部特征量与面部图像列表中的面部特征量进行比较，以计算相似度。在步骤S705中，CPU 101进行识别精度提高面部图像提取处理，以提取能有效提高识别精度的面部图像。稍后描述在步骤S705中的详细处理。

在步骤S706中，CPU 101在显示画面上将步骤S706中提取的面部图像的列表显示为候选图像，并且结束流程图。

图8是例示根据本发明第一实施例的识别精度提高面部图像提取处理的详细流程图的图。图8中的流程图描述了步骤S705中的识别精度提高面部图像提取处理的详情。

在步骤S801中，CPU 101将面部图像列表的当前指针移动到面部图像列表的顶部(图8中的第一步)。在步骤S802中，CPU 101确定是否能够从面部图像列表的当前指针获得数据。当能够从面部图像列表的当前指针获得数据时，流程进入步骤S803中的处理。当不能从步骤S802中的面部图像列表的当前指针获得数据时，CPU 101结束流程图。在步骤S803中，CPU 101获得面部图像列表的当前指针的数据。在这种情况下，不仅获得面部图像列表的数据，而且还获得在步骤S704中计算出的、并且与面部ID相关地保持的相似度的数据。在步骤S804中，CPU 101确定在步骤S803获得的相似度是否等于或大于第一阈值。当相似度等于或大于第一阈值时，流程进入步骤S805中的处理。进行步骤S804中的确定是为了避免如下的低相似度的情况，在该情况中，因为即使在同一人物的面部图像中，面部图像中的一个朝向正面，而面部图像中的另一个朝向侧面，因而相似度过低以致检测不到。当在步骤S804中相似度小于第一道阈值时，CPU 101进入步骤S808中的处理。在步骤S805中，CPU 101确定在步骤S803中获得的相似度是否等于或小于第二阈值，该第二阈值大于第一阈值。当相似度等于或小于第二阈值时，流程进入步骤S806中的处理。进行步骤S805的确定是为了避免如下的高相似度的情况，在例如都是从正面拍摄的证件照的照片图像的高相似度情况下，明显是同一人物的相似的面部图像被检索到。在使用人名“人物A”进行检索时，显示的面部图像902、903及904对应于高相似度的情况。

当在步骤S805中相似度大于第二阈值时，CPU 101进入步骤S808中的处理。

在步骤S806中，CPU 101确定在步骤S803中获得的面部图像中的面部朝向是否与登记的图像不同。当面部图像中的面部朝向与登记的图像不同时，流程进入步骤S807中的处理。可以通过公知的面部识别功能，来进行步骤S806中的面部图像识别处理。

当在步骤S806中面部图像中的面部朝向与登记的图像相同时，CPU101进入步骤S808中的处理。可以通过公知的面部识别功能，来进行步骤S806中的面部图像识别处理。

在步骤S807中，CPU 101以1为步长来使面部图像列表的当前指针递增。然后，流程进入步骤S802中的处理。在步骤S808中，CPU 101从面部图像列表中，删除在当前指针中存在的面部图像，并且进入步骤S807中的处理。

对与存储在面部图像列表中的所有面部ID对应的面部图像进行以上处理，从而提取是同一人物的面部图像的、并具有中间相似度的图像。因此，很容易检索到与已经在面部字典中登记的面部图像略有不同的面部，例如具有不同的表情、发型或面部朝向的面部图像。将这些面部图像登记在面部字典中的做法有效地提高了检索的命中率。

以下，将描述根据本发明的第一实施例的、在使用面部识别装置的情况下的用户接口的操作示例。

图9是例示根据本发明的第一实施例的、在面部图像添加之前面部检索对话框的操作示例的图。图9中的基本用户接口与图2中相同。图10是例示根据本发明的第一实施例的面部字典对话框401和面部候选图像列表对话框405的操作示例的图。图10中的基本用户接口与图4中相同。图11是例示根据本发明的第一实施例的、在面部图像添加之后面部检索对话框的操作实例的图。图11中的基本用户接口与图2中相同。

在图9中，用户打开是图像浏览器的功能之一的面部检索对话框201，并将“人物A”作为人名输入至人名输入文本框203。当检测到输入时，CPU 101在图像列表显示区204上，显示来自面部字典的被决定为“人物A”的面部图像901，以及来自HDD 105的被CPU 101确定为与“人物A”相似的面部图像902、面部图像903和面部图像904。然而，在HDD 105上，存在没有显示在面部图像列表显示区204中的、未被检索到的面部图像905、906。因为，虽然当用户查看图像时认为图像中的明显是“人物A”，但是，CPU 101不能确定面部图像的面部与“人物A”相似。此时，假设用户按下字典登记按钮209，利用图3中的面部字典编辑对象人物选择对话框301选择“人物A”作为要经历面部字典编辑的人名，并按下“OK”按钮304。然后，CPU 101显示图10中的面部字典对话框和面部候选图像列表对话框。在显示图10中的面部候选图像列表对话框406时，CPU 101进行识别精度提高面部图像提取处理，以在面部候选图像列表显示区406上，显示与“人物A”不是很相似的面部图像1001和面部图像1002的列表。此时，用户决定与“人物A”不是很相似的面部图像1001是人物本人的，并且向面部字典登记图像列表显示区403，来进行面部图像1001的拖放1003。于是，CPU 101在面部字典中，登记用户选择的面部图像1001作为“人物A”的面部。

换句话说，显示在面部候选图像列表显示区406中的图像，是面部识别装置建议用户在面部字典中登记的图像。通过在面部字典中登记面部候选图像列表显示区406中显示的所有图像或部分图像，能够有效地提高人物的面部的检索率。也就是说，能够从许多图像中，以使得未被检索到的图像的数量较少的方式来提取对象人物的图像，而同时，不会使在面部字典中登记的面部图像的数量徒然增加。进一步的，通过将在面部字典中登记的面部图像的数量削减至尽可能少，能够在很大程度上减少面部识别处理的计算负荷。

用户返回到图11中的面部检索对话框201，以利用人名输入文本框203再次检索“人物A”的人名。

响应于检索，CPU 101依照更新的面部字典来显示接下来的图像。也就是说，CPU 101在面部图像列表显示区204上，显示被决定为“人物A”的面部图像901和面部图像1101，以及来自HDD105的、被CPU101确定为与“人物A”相似的面部图像902、面部图像903和面部图像904、面部图像1102。也就是说，因为面部图像1001已经登记在面部字典中，所以，在检索“人物A”的人名时，除了过去检索的相似的面部图像902至904之外，面部图像1102被新检索到并被显示。

如上所述，在使用实施例的面部识别装置时，显示有效提高识别精度的面部候选图像。因此，能够减少用户选择要登记在面部字典中的图像的重复工作的麻烦，从而通过较少次的操作将识别精度提高到一定程度。即使用户不知道面部识别功能的如下特性，即不知道通过在面部字典中登记彼此不是很相似的同一人物的面部图像来有效提高识别精度，也能够通过较少的操作次数来将识别精度提高到一定程度。

面部识别装置可以鼓励用户登记有效地提高面部识别率的面部的特征量。另一方面，面部识别装置可以促使用户减少不能有效地提高检索率的特征量的登记。因此，作为优势，能够节省保持登记的面部特征量的数据的存储器或硬盘的消耗量。根据本发明，在检索人物时，去除对不能有助于提高识别率的面部字典中登记的图像和面部特征量的比较，从而能够以较高的速度进行具有相似识别率的检索。

在第一实施例中，举出了识别精度提高面部图像提取处理作为示例。在本实施例的识别精度提高面部图像提取处理中，在相似度落入一定范围的同时，与在面部字典中登记的面部图像不同的面部朝向，被用作有效提高识别精度的面部图像候选。然而，在第一实施例的一个变型例中，除面部朝向之外的特征量能够用作确定目标。例如，能够设想的是，面部图像上的光源的方向、面部表情、估计年龄和诸如胡须的面部构成要素用作确定目标。以下将依次描述各个变型例。下面，将描述如下的变型例，即在相似度落入一定范围的同时，与登记的面部图像不同的面部图像上的面部的照射外观(即，面部图像中光源的方向)，被用作有效提高识别精度的面部图像候选。在变型例中，面部识别装置的结构与第一实施例相同。

图12是例示变型例的识别精度提高面部图像提取处理的详细流程图的图。图12中的流程图还描述了第一实施例的步骤S705中的处理的详情。

在图12中，步骤S801到S805以及步骤S807及S808中的处理与第一实施例的相同。在步骤S1201中，CPU 101确定在步骤S803中获得的面部图像中的面部的照明外观是否与登记的图像不同。当面部图像上的面部的照明外观与登记的图像不同时，流程进入步骤S807中的处理。通过公知的面部识别功能，能够进行步骤S1201中的面部图像识别处理。

当在步骤S1201中确定面部图像上的面部的照射外观与登记的图像不同时，CPU 101进入步骤S808中的处理。如上所述，根据本变型例，在面部候选图像列表显示区406中，没有显示存在与在面部字典中已经登记的面部图像相似的阴影的面部图像。因此，即使在HDD 105中，存在面部中存在阴影的许多面部图像，用户也能够在面部字典登记期间，节省重复地在面部字典中登记面部中存在相似阴影的图像的工作。

以下将描述如下的变型例，在该变型例中，在相似度落入一定范围内的同时，与登记的面部图像不同的面部表情，被用作有效提高识别精度的面部图像候选。在本变型例中，面部识别装置的结构与第一实施例相同。

图13是例示变型例的识别精度提高面部图像提取处理的详细流程图的图。图13中的流程图还描述第一实施例的步骤S705中的处理的详情。在图13中，步骤S801到S805以及步骤S807及S808中的处理与第一实施例相同。在步骤S1301中，CPU 101确定在步骤S803中获得的面部图像的面部表情是否与登记的图像不同。当面部图像的面部表情与登记的图像不同时，流程进入步骤S807中的处理。通过公知的面部识别功能，能够进行步骤S1301中的面部图像识别处理。当面部图像的面部表情与在步骤S1301中的登记的图像相同时，CPU 101进入步骤S808中的处理。

如上所述，根据本变型例，在面部候选图像列表显示区406中，未显示存在与在面部字典中已经登记的面部图像相似的面部表情的面部图像。因此，即使在HDD 105中，存在面部中存在相似表情的许多面部图像，用户也能够在面部字典登记期间，节省重复地在面部字典中登记面部中存在相似表情的图像的工作。

以下将描述下一变型例，在该下一变型例中，在相似度落入一定范围内的同时，与登记的面部图像不同的人物的估计年龄，被用作有效提高识别精度的面部图像候选。在本变型例中，面部识别装置的结构与第一实施例相同。

图14是例示变型例的识别精度提高面部图像提取处理的详细流程图的图。图14中的流程图还描述第一实施例的步骤S705中的处理的详情。在图14中，步骤S801到S805以及步骤S807及S808中的处理与第一实施例相同。在步骤S1401，CPU 101确定在步骤S803中获得的面部图像中的对象人物的估计年龄是否与登记的图像不同。当面部图像中的对象人物的估计年龄与登记的图像不同时，流程进入步骤S807中的处理。通过公知的面部识别功能，能够进行步骤S1401中的面部图像识别处理。

当面部图像中的对象人物的估计年龄与在步骤S1401中的登记的图像相同时，CPU 101进入步骤S808中的处理。

如上所述，根据本变型例，在面部字典中已经登记的人物的面部图像中，此前由于估计年龄的面部改变的影响而被确定为低相似度的图像，被显示在面部候选图像列表显示区406中。因此，在面部字典登记期间，用户不必从HDD 105手动搜索同一人物的具有不同的估计年龄的面部图像来将面部图像登记在面部字典中。

以下将描述下一变型例，在该下一变型例中，在相似度落入一定范围内的同时，与登记的面部图像不同的面部构成要素，被用作有效提高识别精度的面部图像候选。在本变型例中，面部识别装置的结构与第一实施例相同。

图15是例示第五变型例的识别精度提高面部图像提取处理的详细流程图的图。图15中的流程图还描述第一实施例的步骤S705中的处理的详情。在图15中，步骤S801至S805以及步骤S807及S808中的处理与第一实施例相同。

在步骤S1501中，CPU 101确定在步骤S803中获得的面部图像中的面部构成要素是否与登记的图像不同。当面部图像中的面部构成要素与登记的图像不同时，流程进入步骤S807中的处理。通过公知的面部识别功能，能够进行步骤S1501中的面部图像识别处理。当面部图像中的面部构成要素与步骤S1501中的登记的图像相同时，CPU 101进入步骤S808中的处理。

如上所述，根据该变型例，即使是与对面部字典中已经登记的面部图像进行拍摄时相比、胡须、眉毛或睫毛的形状改变的面部图像，也显示在面部候选图像列表显示区406中。因此，在面部字典登记期间，用户不必从HDD 105中手动搜索同一人物的具有不同面部构成要素的面部图像来将面部图像登记在面部字典中。

第二实施例

在第一实施例中，描述了如下的识别精度提高面部图像提取处理，在该识别精度提高面部图像提取处理中，在相似度落入一定范围内的同时，与登记的面部图像不同的面部朝向朝向等，被用作有效提高识别精度的面部图像候选。

在第二实施例中，除了相似度落入一定范围内的面部图像、被用作有效提高识别精度的面部图像候选之外，相似度超过第二阈值的面部图像也被用作面部图像候选。

然而，尽管相似度超过第二阈值的面部图像的列表被显示在面部候选图像列表对话框上，但是，相似度超过第二阈值的面部图像不能登记在面部字典中。在第二实施例中，面部识别装置的结构与第一实施例相同。

图16是例示第二实施例的识别精度提高面部图像提取处理的详细流程图的图。图16中的流程图还描述了第一实施例的步骤S705中的处理的详情。在图16中，步骤S801至S803以及步骤S807中的处理与第一实施例相同。

在步骤S804中，CPU 101确定在步骤S803中获得的相似度是否等于或大于第一阈值。当相似度等于或大于第一阈值时，CPU 101进入步骤S805中的处理。当相似度小于第一阈值时，CPU 101进入步骤S1601中的处理。

在步骤S805中，CPU 101确定在步骤S803中获得的相似度是否等于或小于第二阈值。当相似度等于或小于第二阈值时，流程进入步骤S806中的处理。当相似度大于第二阈值时，CPU 101进入步骤S1602中的处理。

在步骤S806中，CPU 101确定在步骤S803中获得的面部图像中的面部朝向朝向是否与登记的图像不同。当面部图像中的面部朝向朝向与登记的图像不同时，流程进入步骤S807中的处理。当面部图像中的面部朝向朝向与登记的图像相同时，CPU 101进入步骤S1602中的处理。

在步骤S1602中，CPU 101将标记信息添加到列表的当前指针上存在的面部图像，并且进入到步骤S807中的处理。在步骤S1601中，CPU101从面部图像列表中，删除当前指针上存在的面部图像，并且进入到步骤S802中的处理。

图17例示了第二实施例中的面部字典对话框401和面部候选图像列表对话框405。

当用户按下图3中的OK按钮304时，CPU 101获得利用面部字典编辑对象人物选择列表框303选中而处于表示选择的状态中的人名，并且关闭面部字典编辑对象人物选择对话框。CPU 101显示与获得的人名对应的面部字典对话框401和面部候选图像列表对话框405。此时，CPU101进行图7中的面部字典登记面部图像候选列表显示处理。在第二实施例中，在步骤S705中，提取满足特定条件同时相似度落入一定范围内的面部图像，以及相似度超过第二阈值的面部图像。在步骤S706中，CPU101在面部候选图像列表显示区406中，并排显示满足特定条件同时相似度落入一定范围内的面部图像，以及相似度超过第二阈值的面部图像。

当用户利用鼠标将相似度超过第二阈值的面部图像拖放至面部字典登记图像列表显示区、而选择相似度超过第二阈值的面部图像时，CPU101确定标记信息是否被添加至用户所选择的面部图像。当标记信息被添加至用户所选择的面部图像时，即使用户完成拖放操作，CPU 101也不在面部字典中登记用户所选择的面部图像。当标记信息没有被添加至用户所选择的面部图像时，响应于用户拖放操作的完成，CPU 101在面部字典中登记用户所选择的面部图像。当在面部候选图像列表显示区406中、并排显示相似度超过第二阈值的面部图像时，为了向用户通知不能在面部字典中登记的面部图像，CPU 101可以半透明地显示相似度超过第二阈值的面部图像。替代半透明地显示相似度超过第二阈值的面部图像，可以改变面部图像的边框颜色，也可以显示表示面部图像不能登记在面部字典中的图标或标志。

在第二实施例中，面部朝向被举例作为特定条件。替代面部朝向，也可以使用面部表情、面部图像中面部的照射外观、年龄和面部构成要素的改变作为特定条件。

如上所述，当使用本实施例的面部识别装置时，有效提高识别精度的面部候选图像被呈现给用户，具有极高相似度然而不能有效提高识别精度的面部候选图像也被呈现给用户。因此，用户能够目视识别在宽的相似度范围内被确定为人物本人的面部图像。当使用本发明实施例的面部识别装置时，以混合方式显示有效提高识别精度的面部候选图像的列表和具有极高相似度然而不能有效提高识别精度的面部候选图像。因为具有极高相似度的面部候选图像不能登记在面部字典中，所以，在重复进行人物决定工作时，用户能够通过较少次数的操作将识别精度提高到某种程度。

当使用本实施例的面部识别装置时，以混合方式显示有效提高识别精度的面部候选图像的列表和具有极高相似度然而不能有效提高识别精度的面部候选图像，同时向用户通知不能在面部字典中登记的面部图像的信息。因此，在人物决定工作期间，用户能够目视识别哪个图像是有效提高识别精度的面部候选图像。

在第二实施例中，除了有效提高识别精度的面部候选图像，还以混合方式向用户呈现具有极高相似度的面部候选图像。以下将描述显示控制(图17)的变型例。

在本实施例中，有效提高识别的精度的面部候选图像优先显示在面部候选图像列表显示区406的顶部，具有极高相似度的面部候选图像的显示优先级被降低并被显示在面部候选图像列表显示区406的较下方位置。在变型例中，面部识别装置的结构与第二实施例的相同。

图18是例示本变型例中的面部字典对话框401和面部候选图像列表对话框405的图。

当用户按下图3中的OK按钮304时，CPU 101获得利用面部字典编辑对象人物选择列表框303选中而处于表示选择的状态中的人名，并且关闭面部字典编辑对象人物选择对话框。CPU 101显示与获得的人名对应的面部字典对话框401和面部候选图像列表对话框405。在这点上，CPU 101进行图7中的面部字典登记面部图像候选列表显示处理。在第二实施例中，在步骤S705中，提取满足特定条件同时相似度落入一定范围内的面部图像，以及相似度超过第二阈值的面部图像。在步骤S706中，CPU 101在面部候选图像列表显示区406中，并排显示满足特定条件同时相似度落入一定范围的面部图像和相似度超过第二阈值的面部图像。

此时，CPU 101确定标记信息是否被添加到在步骤S705中提取的面部图像。当标记信息没有被添加到面部图像时，CPU 101在面部候选图像列表显示区406中的面部图像列表的顶部，优先显示面部图像。当标记信息被添加到在步骤S705中提取的面部图像时，CPU 101降低面部图像的优先级并将其显示在面部候选图像列表显示区406的较下方位置。

在本变型例中，类似于第一实施例的变型例，面部朝向被举例作为特定条件。然而，替代面部方向，也可以使用面部表情、面部图像中面部的照射外观、估计年龄以及面部构成要素的改变作为特定条件。

如上所述，当使用本实施例的面部识别装置时，能够将有效提高识别精度的面部候选图像呈现给用户。因为具有极高相似度然而不能有效地提高识别精度的面部候选图像也能够被呈现给用户，所以，用户能够目视识别在宽的相似度范围内被确定为人物本人的面部图像。

当使用本实施例的面部识别装置时，有效提高识别精度的面部候选图像被显示在面部候选图像列表显示区中面部图像的列表的顶部，具有极高相似度然而不能有效提高识别精度的面部候选图像被显示在面部候选图像列表显示区中面部图像的列表的较下部。因此，能够有效提高识别精度，因为用户虽然没有意识到有效提高识别精度的面部候选图像，但是登记了最初呈现的面部图像。

本发明的各方面还能够通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机(或诸如CPU或微处理单元(MPU)等的设备)、以及由系统或装置的计算机例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (10)

1.一种面部识别装置，该面部识别装置包括：

特征量提取单元，用于通过分析图片图像中的人物的面部图像来提取面部特征量；

面部字典生成单元，用于以将所述特征量提取单元提取的特征量与人名相关联的方式来生成面部字典；

添加单元，用于以与在所述面部字典中登记的人名相关联的方式来新添加面部特征量；以及

显示控制单元，用于将通过分析另一图片图像中的人物的面部图像而提取的面部特征量与所述面部字典中登记的面部特征量进行比较来计算相似度，并将所述相似度落入预定范围内的面部图像作为要添加至所述面部字典的候选显示在显示部上。

2.根据权利要求1所述的面部识别装置，其中，所述预定范围不包括所计算出的相似度表示高相似度的范围以及所计算出的相似度表示低相似度的范围。

3.根据权利要求1或权利要求2所述的面部识别装置，其中，所述显示控制单元确定所计算出的相似度落入所述预定范围内的提取的面部图像的面部朝向与所述面部字典中登记的面部朝向是否不同，并且，所述显示控制单元将面部朝向与所述面部字典中登记的面部朝向不同的面部图像显示为要添加至所述面部字典的候选。

4.根据权利要求1或权利要求2所述的面部识别装置，其中，所述显示控制单元确定针对所计算出的相似度落入所述预定范围内的面部图像的光源方向与针对所述面部字典中登记的面部图像的光源方向是否不同，并且，所述显示控制单元将光源方向与所述面部字典中登记的面部图像不同的面部图像显示为要添加至所述面部字典的候选。

5.根据权利要求1或权利要求2所述的面部识别装置，其中，所述显示控制单元确定所计算出的相似度落入所述预定范围内的面部图像的面部表情与所述面部字典中登记的面部图像的面部表情是否不同，并且，所述显示控制单元将面部表情与所述面部字典中登记的面部图像不同的面部图像显示为要添加至所述面部字典的候选。

6.根据权利要求1或权利要求2所述的面部识别装置，其中，所述显示控制单元确定所计算出的相似度落入所述预定范围内的面部图像中的面部的估计年龄与所述面部字典中登记的面部图像中的面部的估计年龄是否不同，并且，所述显示控制单元将面部的估计年龄与所述面部字典中登记的面部图像不同的面部图像显示为要添加至所述面部字典的候选。

7.根据权利要求1或权利要求2所述的面部识别装置，其中，所述显示控制单元确定所计算出的相似度落入所述预定范围内的面部图像中的至少一个面部构成要素与所述面部字典中登记的面部图像的面部构成要素是否不同，并且，所述显示控制单元将面部构成要素与所述面部字典中登记的面部图像不同的面部图像显示为要添加至所述面部字典的候选。

8.根据权利要求1或权利要求2所述的面部识别装置，其中，所述显示控制单元将所计算出的相似度落入所述高相似度内的面部图像布置在要添加的候选的面部图像之后的位置。

9.根据权利要求8所述的面部识别装置，其中，当所计算出的相似度落入所述高相似度内的面部图像与要添加的候选一起显示时，所述添加单元进行控制，使得所计算出的相似度落入所述高相似度内的面部图像不能登记在所述面部字典中。

10.一种面部识别装置控制方法，所述控制方法包括：

特征量提取步骤，通过分析图片图像中的人物的面部图像来提取面部特征量；

面部字典生成步骤，以将所述特征量提取步骤中提取的特征量与人名相关联的方式来生成面部字典；

添加步骤，以与在所述面部字典中登记的人名相关联的方式来新添加面部特征量；以及

显示控制步骤，将通过分析另一图片图像中的人物的面部图像而提取的面部特征量与所述面部字典中登记的面部特征量进行比较来计算相似度，并将所述相似度落入预定范围内的面部图像作为要添加至所述面部字典的候选显示在显示部。

Images