CN103179344A - 摄像设备、信息处理设备和控制方法 - Google Patents

摄像设备、信息处理设备和控制方法 Download PDF

Info

Publication number
CN103179344A
CN103179344A CN201210563110XA CN201210563110A CN103179344A CN 103179344 A CN103179344 A CN 103179344A CN 201210563110X A CN201210563110X A CN 201210563110XA CN 201210563110 A CN201210563110 A CN 201210563110A CN 103179344 A CN103179344 A CN 103179344A
Authority
CN
China
Prior art keywords
name
image
personage
face
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210563110XA
Other languages
English (en)
Other versions
CN103179344B (zh
Inventor
滝口英夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103179344A publication Critical patent/CN103179344A/zh
Application granted granted Critical
Publication of CN103179344B publication Critical patent/CN103179344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9206—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a character code signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及摄像设备、信息处理设备和控制方法。对于每一个登记的人物，通过相互关联面部图像的特征量、第一人物名和不同于第一人物名的第二人物名，管理在识别与面部图像相对应的人物中要使用的面部识别数据。使用面部识别数据中所管理的特征量，识别与拍摄图像中所包括的面部图像相对应的人物，并且将所识别的人物的第二人物名与拍摄图像相关联地存储在存储器中。当读出存储在存储器中的图像、并且将其显示在显示装置上时，与读出图像一样，在显示装置上显示第一人物名，其中，该第一人物名对应于与读出图像相关联的第二人物名。

Description

摄像设备、信息处理设备和控制方法
技术领域
本发明涉及摄像设备、信息处理设备和控制方法，尤其涉及用于识别与图像中所包括的面部图像相对应的人物的面部识别技术。
背景技术
现有诸如图像浏览软件等的允许用户浏览存储在存储器中的图像文件的应用程序。通过将这类图像浏览应用程序安装在诸如PC等的信息处理设备上来使用这类图像浏览应用程序。近年来，出现了能够实现面部识别算法的图像浏览应用程序，通过该面部识别算法，提取各自包括预先登记的人物的面部的面部区域的图像。在面部识别处理中，对针对每个人物登记有通过预先分析面部图像所获得的面部区域的特征量的数据库(还称为面部识别数据或者面部字典)进行查询，以使得对于从图像所检测到的面部进行特征量的匹配搜索，从而识别与所检测到的面部相对应的人物。
另外，诸如数字照相机等的特定类型的摄像设备通过在拍摄面部图像时输入人物名，生成面部字典，并且使用所生成的面部字典进行面部识别处理。在摄像设备进行面部识别处理时，将面部字典保持在摄像设备的有限存储区域中。通常，人物的面部由于诸如年龄等的时间因素而变化，并且该变化可能使面部识别处理的精度劣化。也就是说，当将面部字典保持在有限存储区域中时，通过频繁更新面部字典来提高面部识别处理的精度。日本特开2007-241782公开了一种用于将面部检测处理所使用的特征量(模板)相加以及更新的技术，但是该技术与面部识别处理不是特别相关。
通过这样保持面部字典，摄像设备可以在例如摄像过程中针对取景器上的人物的图像，通过叠加面部识别结果、即人物名来进行显示。这样还使得可以与图像中所包括的人物的人物名相关联地存储拍摄图像。
作为用作摄像设备的取景器的显示装置，通常使用具有小的显示尺寸的显示装置。也就是说，当通过上述方法在取景器上叠加面部识别结果、即人物名来显示时，可能出现一些问题，例如，多个人物名相互重叠，或者由于被人物名遮挡而使取景器的可视性劣化。
为了应对这些问题，可以使用诸如昵称等的包括最小数量的字符的简单字符串来表现登记在面部字典中的人物名。遗憾的是，当通过信息处理设备的图像浏览应用程序搜索与诸如昵称等的人物名相关联的拍摄图像时，由于提取了例如与同一昵称相关联的图像或部分重叠的图像，所以搜索精度劣化。
另外，通常的情况是在面部字典登记时仅查询登记在面部字典中的人物名。也就是说，当用户代替人物的昵称、使用他/她日常熟知的全名以使用图像浏览应用程序搜索特定人物时，可能不能获得想要的搜索结果。尤其当限制了在摄像设备上能够输入或者显示的字符的字符编码方案的类型时，在面部字典中已登记了与该字符编码方案相对应的人物名，但是人物名可能不一定与用户在搜索时所使用的使用字符串的字符编码方案相对应。
发明内容
考虑到相关技术的上述问题做出本发明。本发明提供至少实现以下之一的摄像设备、信息处理设备和控制方法：在确保特定的用户可视性的同时显示面部识别结果；以及与灵活的人物名搜索相兼容的图像的存储。
本发明的第一方面，提供一种摄像设备，其包括：管理部件，用于管理面部识别数据，其中，在识别与面部图像相对应的人物时使用所述面部识别数据，在所述面部识别数据中，对于所登记的每个人物，将面部图像的特征量、第一人物名和不同于所述第一人物名的第二人物名相互关联地管理；面部识别部件，用于使用所述面部识别数据中所管理的特征量，识别与拍摄图像中所包括的面部图像相对应的人物；存储部件，用于将针对通过所述面部识别部件识别出的人物的所述第二人物名与所述拍摄图像相关联地存储在存储器中；以及显示控制部件，用于读出存储在所述存储器中的图像，并且将所读出的图像和在所述面部识别数据中与如下第二人物名相关联地管理的所述第一人物名一起显示在显示单元上：该第二人物名与所读出的图像相关联。
本发明的第二方面，提供一种摄像设备，其包括：管理部件，用于管理面部识别数据，其中，在识别与面部图像相对应的人物时使用所述面部识别数据，在所述面部识别数据中，对于所登记的每个人物，管理面部图像的特征量、第一人物名和不同于所述第一人物名的第二人物名；面部识别部件，用于使用所述面部识别数据中所管理的特征量，识别与从摄像单元输出的直通图像中所包括的面部图像相对应的人物；显示控制部件，用于将针对通过所述面部识别部件识别出的人物的所述第一人物名与所述直通图像一起显示在显示单元上；以及存储部件，用于通过将在发出摄像指示的情况下从所述摄像单元输出的摄像图像与针对所述摄像图像通过所述面部识别部件所识别出的人物的所述第二人物名相关联，将所述摄像图像和所述第二人物名存储在存储器中。
本发明的第三方面，提供一种信息处理设备，用于管理存储在摄像设备中的面部识别数据，其中，在识别与面部图像相对应的人物时使用所述面部识别数据，并且在所述面部识别数据中，对于所登记的每个人物，使面部图像的特征量和第一人物名相互关联，所述信息处理设备包括：获得部件，用于从所述摄像设备获得所述面部识别数据；输入部件，用于将通过所述获得部件所获得的面部识别数据中登记的人物与不同于所述第一人物名的第二人物名相关联；以及发送部件，用于将通过所述输入部件与所述第二人物名相关联的面部识别数据发送给所述摄像设备。
本发明的第四方面，提供一种摄像设备的控制方法，所述控制方法包括以下步骤：管理步骤，用于管理面部识别数据，其中，在识别与面部图像相对应的人物时使用所述面部识别数据，在所述面部识别数据中，对于所登记的每个人物，将面部图像的特征量、第一人物名和不同于所述第一人物名的第二人物名相互关联地管理；面部识别步骤，用于使用所述面部识别数据中所管理的特征量，识别与拍摄图像中所包括的面部图像相对应的人物；存储步骤，用于将针对在所述面部识别步骤中识别出的人物的所述第二人物名与所述拍摄图像相关联地存储在存储器中；以及显示控制步骤，用于读出存储在所述存储器中的图像，并且将所读出的图像和在所述面部识别数据中与如下第二人物名相关联地管理的所述第一人物名一起显示在显示单元上：该第二人物名与所读出的图像相关联。
本发明的第五方面，提供一种摄像设备的控制方法，所述控制方法包括以下步骤：管理步骤，用于管理面部识别数据，其中，在识别与面部图像相对应的人物时使用所述面部识别数据，在所述面部识别数据中，对于所登记的每个人物，管理面部图像的特征量、第一人物名和不同于所述第一人物名的第二人物名；面部识别步骤，用于使用所述面部识别数据中所管理的特征量，识别与从摄像单元输出的直通图像中所包括的面部图像相对应的人物；显示控制步骤，用于将针对在所述面部识别步骤中识别出的人物的所述第一人物名与所述直通图像一起显示在显示单元上；以及存储步骤，用于通过将在发出摄像指示的情况下从所述摄像单元输出的摄像图像与针对所述摄像图像在所述面部识别步骤中识别出的人物的所述第二人物名相关联，将所述摄像图像和所述第二人物名存储在存储器中。
本发明的第六方面，提供一种信息处理设备的控制方法，其中，所述信息处理设备用于管理存储在摄像设备中的面部识别数据，在识别与面部图像相对应的人物时使用所述面部识别数据，并且在所述面部识别数据中，对于所登记的每个人物，使面部图像的特征量和第一人物名相互关联，所述控制方法包括以下步骤：获得步骤，用于从所述摄像设备获得所述面部识别数据；输入步骤，用于将在所述获得步骤中获得的面部识别数据中所登记的人物与不同于所述第一人物名的第二人物名相关联；以及发送步骤，用于将在所述输入步骤与所述第二人物名相关联的面部识别数据发送给所述摄像设备。
通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。
附图说明
图1是示出根据本发明实施例的数字照相机100的功能结构的框图；
图2是示出根据本发明实施例的PC200的功能结构的框图；
图3是示出根据本发明实施例的照相机面部字典编辑处理的流程图；
图4是示出根据本发明实施例的面部字典的数据结构的图；
图5是示出根据本发明实施例的PC面部字典编辑处理的流程图；
图6是示出根据本发明实施例的摄像处理的流程图；
图7是示出根据本发明实施例的面部识别处理的流程图；
图8是示出根据本发明实施例的人物图像搜索处理的流程图；
图9是示出根据本发明实施例的连接时处理的流程图；
图10是示出根据本发明实施例的同一面部字典判断处理的流程图；
图11是示出根据本发明第一变形例的同一面部字典判断处理的流程图；以及
图12是示出根据本发明第二变形例的人物名合并处理的流程图。
具体实施方式
实施例
下面参考附图详细说明本发明的典型实施例。注意，在下面说明的实施例中，给出将本发明应用于数字照相机和PC的例子，其中，数字照相机和PC分别作为摄像设备和信息处理设备的例子，并且它们能够使用面部识别数据进行面部识别处理。然而，本发明可应用于能够使用面部识别数据进行面部识别处理的任何设备。
在本说明书中，“面部图像”作为从包括人物的图像所提取的人物的面部区域的图像的例子。另外，“面部字典”作为包括每个人物的至少一个面部图像和各面部图像所包括的面部区域的特征量的数据的面部识别数据的例子，并且面部识别数据在面部识别处理的匹配处理中使用。注意，预先确定面部字典中所包括的面部图像的数量。
数字照相机100的结构
图1是示出根据本发明实施例的数字照相机100的功能结构的框图。
照相机CPU101控制数字照相机100的各块的操作。更具体地，照相机CPU101读出存储在照相机二次存储单元102中的摄像处理和其它类型的处理的操作程序，在照相机一次存储单元103中展开这些操作程序，并且执行这些操作程序，从而控制各块的操作。
照相机二次存储单元102用作为例如可擦写非易失性存储器，并且除摄像处理和其它类型的处理的操作程序以外，还存储例如数字照相机100的各块的操作所需的参数。
照相机一次存储单元103用作为易失性存储器，并且不仅使用其作为用于摄像处理和其它类型处理的操作程序的展开区域，而且还用作为存储例如在数字照相机100的各块的操作时所输出的中间数据的存储区域。
照相机摄像单元105包括例如诸如CCD或者CMOS传感器等的图像传感器和A/D转换单元。照相机摄像单元105光电转换通过照相机光学系统104在图像传感器上所形成的光学图像，对转换后的图像应用包括A/D转换处理的各种类型的图像处理，并且输出处理后的图像作为摄像图像。
照相机存储器106用作诸如数字照相机100的内部存储器、存储卡或者HDD等的可拆卸地连接至数字照相机100的存储装置。在本实施例中，照相机存储器106存储通过摄像处理所拍摄的图像和在数字照相机100的面部识别处理中要查询的面部字典。存储在照相机存储器106中的面部字典不局限于通过PC200执行图像浏览应用程序所生成的面部字典，并且可以通过登记由数字照相机100所拍摄的面部图像来生成。尽管在本实施例中，假定将面部字典存储在照相机存储器106中，但是本发明的实践不局限于此。可以使用任何面部字典，只要将其存储在诸如照相机二次存储单元102等的可通过PC200的浏览应用程序访问的区域或者可响应于文件写请求将数据写入的区域。可选地，在从PC200发送了面部字典时，可以通过照相机CPU101将面部字典存储在预定存储区域中。
照相机显示单元107用作为诸如紧凑型LCD等的数字照相机100的显示装置。照相机显示单元107显示例如从照相机摄像单元105所输出的摄像图像或者存储在照相机存储器106中的图像。
照相机通信单元108用作为设置在数字照相机100中的通信接口，并且与外部设备交换数据。经由照相机通信单元108将数字照相机100和作为外部设备的PC200相互连接，而不管连接方法是使用例如USB(通用串行总线)线缆的有线连接、还是使用无线LAN的无线连接。可以使用例如PTP(图片传输协议)或者MTP(媒体传输协议)作为用于数字照相机100和PC200之间的数据通信的协议。注意，在本实施例中，照相机通信单元108的通信接口允许使用与通信单元205(稍后说明)相同的协议进行数据通信。
照相机操作单元109用作为设置在数字照相机100中的用户接口，并且包括诸如电源按钮或者快门按钮等的操作构件。当照相机操作单元109检测到用户对操作构件的操作时，照相机操作单元109生成与操作内容相对应的控制信号，并且将其发送给照相机CPU101。
PC200的结构
下面参考图2说明根据本发明实施例的PC200的功能结构。
CPU201控制PC200的各块的操作。更具体地，CPU201读出例如存储在二次存储单元202中的图像浏览应用程序的操作程序，在一次存储单元203中展开操作程序，并且执行操作程序，从而控制各块的操作。
二次存储单元202用作为诸如内部存储器、HDD或者SSD等的可拆卸地连接至PC200的存储装置。在本实施例中，除图像浏览应用程序的操作程序以外，二次存储单元202还存储在数字照相机100或者PC200中所生成的每一个人物的面部字典和包括这些人物并用于生成面部字典的图像。
一次存储单元203用作为易失性存储器，不仅使用其作为用于图像浏览应用程序的操作程序和其它操作程序的展开区域，而且还用作存储在PC200的各块的操作时所输出的中间数据的存储区域。
显示单元204用作为诸如LCD等的与PC200连接的显示装置。尽管在本实施例中，作为PC200的内部显示装置实现显示单元204，但是易于理解的是，显示单元204可用作为与PC200连接的外部显示装置。在本实施例中，显示单元204显示使用与图像浏览应用程序相关联的GUI数据所生成的显示画面。
通信单元205用作为设置在PC200中的通信接口，并且与外部设备交换数据。注意，在本实施例中，通信单元205的通信接口允许使用与数字照相机100的照相机通信单元108相同的协议进行数据通信。
操作单元206用作为设置在PC200中的用户接口，并且包括诸如鼠标、键盘或者触摸面板等的输入装置。当操作单元206检测到用户对输入装置的操作时，操作单元206生成与操作内容相对应的控制信号，并且将其发送给CPU201。
照相机面部字典编辑处理
参考图3所示的流程图，详细说明用于通过具有根据本实施例的上述结构的数字照相机100生成或者编辑针对一个对象人物的面部字典的照相机面部字典编辑处理。通过例如使照相机CPU101读出存储在照相机二次存储单元102中的相应处理程序、在照相机一次存储单元103中展开该程序、并且执行该程序，可以实现与该流程图相对应的处理。注意，当照相机CPU101从照相机操作单元109接收到表示例如用户将数字照相机100的模式设置成面部字典登记模式的控制信号时，开始照相机面部字典编辑处理。
面部字典的数据结构
首先参考图4说明根据本实施例的面部字典的数据结构。注意，在本实施例中，针对一个人物生成一个面部字典。然而，本发明的实践不局限于此，并且一个字典可以包括多个人物的面部识别数据，只要在数字照相机100内部可以针对每一个人物来管理特征量即可。
如图4所示，一个对象人物的面部字典包括作为编辑面部字典时的日期/时间的更新日期/时间401、作为对象人物的简单人物名的昵称402(第一人物名)、对象人物的全名403(第二人物名)、以及面部图像的一个以上的详细信息404(面部图像信息(1)410、面部图像信息(2)420、……、面部图像信息(N))。
另外，以面部图像信息(1)410作为例子，详细信息中所包括的每一面部图像信息包括：
1.通过从任意图像提取对象人物的面部区域、并且将其大小调整成具有预定数量像素的图像所获得的面部图像数据(1)411，
2.表示面部图像数据(1)411的面部区域的特征量的特征量数据(1)412。
尽管在本实施例中，在面部字典中包括对象人物的全名作为第二人物名，但是第二人物名的字段中所包括的人物名的信息不局限于对象人物的全名。在本实施例中，面部字典包括多个人物名，即第一人物名和第二人物名，以利用PC200的图像浏览应用程序实现对与各种人物名相对应的人物图像的灵活搜索。也就是说，将包括通过面部识别处理所识别出的人物的图像与作为元数据的多个人物名相关联，从而利用更大量的关键字来搜索包括对象人物的图像。
另外，如上所述，一般数字照相机和数字摄像机经常与用户以各种字符种类进行的字符输入不兼容。假定本实施例的数字照相机100与以各种字符种类进行的字符输入和显示不兼容，而是仅与利用例如ASCII码所表示的字符的输入和显示相兼容。本实施例的数字照相机100将通过使用面部字典的面部识别处理所获得的面部识别结果、即人物名通过例如叠加在摄像图像上，与摄像图像一起显示在照相机显示单元107上。此时，从面部字典获得面部识别结果，即要显示在照相机显示单元107上的人物名，并且必须通过能够在数字照相机100上显示的字符码、即ASCII码来表示。另外，如上所述，当作为面部识别结果，通过叠加在摄像图像上来显示人物名时，可以使用简单人物名以确保摄像图像的特定可视性。因此，在本实施例中，输入有简单人物名的昵称402对应于能够在数字照相机100的照相机显示单元107上所显示的ASCII码(第一字符码)。另外，在本实施例中，为了确保特定可视性，昵称402的最大数据长度局限于预定值以下以使得其短于全名403的最大数据长度。
另外，由于数字照相机100中的字符输入和任意字符显示的频率低，所以为了抑制存储区域的成本增加，能够在数字照相机100中输入和显示的字符码可以具有少量的字节表示的模式以及总量小的用于显示的字符图像数据。这意味着昵称402可以对应于使用例如ASCII码的单字节字符编码方案，如本实施例一样，使用少量的字节表示的模式。然而，在以官方语言描述的字符的输入中通常使用两字节字符的地区，尤其在例如亚洲地区，当使用人物名搜索摄像图像时，代替单字节字符，希望使用两字节字符。在本实施例中，全名403对应于通过例如PC200中广泛使用的Shift-JIS码或者Unicode码所表示的两字节字符，从而兼容针对与面部识别结果相关联的图像利用PC200的图像浏览应用程序使用两字节字符进行的搜索。尽管在本实施例中，第一人物名对应于单字节字符编码方案，并且第二人物名对应于两字节字符编码方案，但是本发明的实践不局限于此。也就是说，第一人物名和第二人物名仅需对应于不同的字符编码方案，从而作为与作为面部识别结果与该人物名相关联的图像、实现对与通过各种字符编码方案所表示的人物名相对应的灵活的人物图像搜索。
注意，在本实施例中，第一人物名对应于能够在数字照相机100中输入和显示的字符码，而第二人物名对应于不能在数字照相机100中输入或显示的字符码。因此，在本实施例中，在将数字照相机100连接至PC200时，通过PC200输入要在数字照相机100中所生成的面部字典中登记的第二人物名。
另外，尽管在本实施例中，面部字典包括面部图像和面部图像的面部区域的特征量作为对象人物的面部识别所使用的详细信息，但是，面部字典中所包括的信息不局限于此。由于只要可以获得面部图像或者特征量，就可以执行面部识别处理，所以在面部字典中仅需包括面部图像和面部图像的特征量中的至少一个。
在执行照相机面部字典编辑处理时，照相机CPU101在步骤S301判断用户发出了新的面部字典登记指示还是现有的面部字典编辑指示。更具体地，照相机CPU101判断从照相机操作单元109接收到了与新面部字典登记指示还是现有面部字典编辑指示相对应的控制信号。如果照相机CPU101判断为用户发出了新面部字典登记指示，则使处理进入步骤S303。如果照相机CPU101判断为用户发出了现有面部字典编辑指示，则使处理进入步骤S302。如果照相机CPU101判断为用户既未发出新面部字典登记指示，也未发出现有面部字典编辑指示，则重复步骤S301的处理。
在步骤S302，照相机CPU101接受用于从存储在照相机存储器106中的现有面部字典中选择要编辑的面部字典的指示。更具体地，照相机CPU101将当前存储在照相机存储器106中的面部字典的列表显示在照相机显示单元107上，并且待机以从照相机操作单元109接收表示用户选择了要编辑的面部字典的控制信号。显示在照相机显示单元107上的面部字典的列表可以采用下面的形式：例如，显示昵称402的字符串、或者显示各面部字典中所包括的面部图像中的一个代表图像。当照相机CPU101从照相机操作单元109接收到与面部字典的选择操作相对应的控制信号时，照相机CPU101将表示所选择的面部字典的信息存储在照相机一次存储单元103中，并且使处理进入步骤S305。
另一方面，如果照相机CPU101在步骤S301判断为用户发出了新面部字典登记指示，则照相机CPU101在步骤S303，在照相机一次存储单元103中生成在所有字段均为空数据(初始数据)的面部字典(新面部字典数据)。
在步骤S304，照相机CPU101接受要显示的昵称的输入，作为于步骤S303在照相机一次存储单元103中所生成的新面部字典数据的面部识别结果。更具体地，照相机CPU101将使用用于接受昵称的输入的GUI数据所生成的画面显示在照相机显示单元107上。然后照相机CPU101待机以从照相机操作单元109接收表示用户完成昵称的输入的控制信号。当照相机CPU101从照相机操作单元109接收到表示完成昵称的输入的控制信号时，照相机CPU101获得所输入的昵称，并且将其写入照相机一次存储单元103中的新面部字典数据的昵称402的字段中。注意，在本实施例的数字照相机100生成面部字典的情况下，用户必须输入要用于显示面部识别结果的昵称402。
在步骤S305，照相机CPU101获得面部字典中要包括的对象人物的面部图像。更具体地，照相机CPU101将用于提示用户拍摄对象人物的面部的图像的消息显示在照相机显示单元107上。然后照相机CPU101待机以从照相机操作单元109接收表示用户发出了摄像指示的控制信号。当照相机CPU101接收到与摄像指示相对应的控制信号时，照相机CPU101控制照相机光学系统104和照相机摄像单元105，以执行摄像处理来获得摄像图像。
在步骤S306，照相机CPU101对在步骤S305所获得的摄像图像进行面部检测处理，以提取面部区域的图像(面部图像)。照相机CPU101还获得所提取的面部图像的面部区域的特征量。照相机CPU101将各面部图像的面部图像数据和特征量数据写入在步骤S302所选择的面部字典数据或者在步骤S303所生成的新面部字典数据的面部图像信息中。
在步骤S307，照相机CPU101判断对象人物的面部字典数据中所包括的面部图像信息的数量是否达到最大数量。如果照相机CPU101判断为对象人物的面部字典数据中所包括的面部图像信息的数量达到了最大数量，则使处理进入步骤S308，否则，使处理返回到步骤S305。
在本实施例中，将一个面部字典中所包括的面部图像信息、即面部图像的最大数量设置成5。在照相机面部字典编辑处理中，响应于新面部字典生成指示或者现有面部字典编辑指示，输出登记了最大数量的面部图像的面部字典。注意，当发出现有面部字典编辑指示时，如果要编辑的面部字典是根据例如少于最大数量的面部图像、通过PC面部字典编辑处理(稍后说明)所生成的，则照相机CPU101仅需单纯地添加面部图像信息。然而，如果要编辑的面部字典具有最大数量的面部图像信息，则在步骤S302选择要编辑的面部字典之后，照相机CPU101仅需例如接受对要删除的面部图像的选择，并且在步骤S305～S307的处理中，添加与所删除的面部图像的数量相对应的数量的面部图像信息。
在步骤S308，照相机CPU101将对象人物的面部字典数据存储在照相机存储器106中，作为面部字典文件。此时，照相机CPU101获得当前日期/时间，并且将其写入和存储在对象人物的面部字典数据的更新日期/时间401中。
PC面部字典编辑处理
参考图5所示的流程图，详细说明根据本实施例的PC200的用于生成或者编辑一个对象人物的面部字典的PC面部字典编辑处理。通过例如使CPU201读出存储在二次存储单元202中的相应处理程序、在一次存储单元203中展开该处理程序、并且执行该处理程序，可以实现与图5所示的流程图相对应的处理。注意，当用户通过PC200上运行的图像浏览应用程序发出新面部字典生成指示或者现有面部字典编辑指示时，开始PC面部字典编辑处理。
在步骤S501，CPU201判断用户发出了新面部字典登记指示还是现有面部字典编辑指示。更具体地，CPU201判断从操作单元206接收到了与新面部字典登记指示还是现有面部字典编辑指示相对应的控制信号。如果CPU201判断为用户发出了新面部字典登记指示，则使处理进入步骤S503。如果CPU201判断为用户发出了现有面部字典编辑指示，则使处理进入步骤S502。如果CPU201判断为用户既未发出新面部字典登记指示，也未发出现有面部字典编辑指示，则重复步骤S501的处理。
在步骤S502，CPU201接受用于从存储在二次存储单元202中的现有面部字典中选择要编辑的面部字典的指示。更具体地，CPU201将当前存储在二次存储单元202中的面部字典的列表显示在显示单元204上，并且待机以从操作单元206接收表示用户选择了要编辑的面部字典的控制信号。显示单元204上所显示的面部字典的列表可以采用下面的形式：例如，显示全名403的字符串或者各面部字典中所包括的面部图像中的一个代表图像。当CPU201从操作单元206接收到与面部字典的选择操作相对应的控制信号时，CPU201将表示所选择的面部字典的信息存储在一次存储单元203中，并且使处理进入步骤S507。
另一方面，如果CPU201在步骤S501判断为用户发出了新面部字典登记指示，则CPU201在步骤S503中在一次存储单元203中生成全部字段均为空的新面部字典数据。
在步骤S504，CPU201对于在步骤S503在一次存储单元203中所生成的新面部字典数据，接受希望在PC200上运行的图像浏览应用程序的人物名搜索中主要使用的全名的输入。更具体地，CPU201将使用用于接受全名的输入的GUI数据所生成的画面显示在显示单元204上。然后CPU201待机以从操作单元206接收表示用户完成全名的输入的控制信号。当CPU201从操作单元206接收到表示完成全名的输入的控制信号时，CPU201获得所输入的全名，并且将其写入一次存储单元203中的新面部字典数据的全名403的字段中。注意，在PC面部字典编辑处理中，用户必须输入与和能够在数字照相机100中输入和显示的字符码不同的字符码相对应的全名。然而，CPU201可以接受昵称的输入。
另外，在步骤S504之后的步骤中，可以显示用于接受昵称的输入的UI从而允许接受以及省略昵称的输入这两者。此外，当省略用户输入昵称时，可以默认设置特定的编号。
通过该操作，可以降低在照相机中使用面部字典时不显示昵称、或者尽管存在面部字典但在摄像中不显示姓名这类问题的频率。
在步骤S505，CPU201获得存储在二次存储单元202中的图像中包括要登记在面部字典中的对象人物的图像。更具体地，CPU201将存储在二次存储单元202中的图像的列表显示在显示单元204上，并且待机以从操作单元206接收表示用户选择了包括对象人物的图像的控制信号。当CPU201从操作单元206接收到与包括对象人物的图像的选择操作相对应的控制信号时，CPU201将所选择的图像存储在一次存储单元203中，并且使处理进入步骤S506。注意，在本实施例中，在上述选择操作中，指示用户选择仅包括对象人物的图像。另外，用户仅需选择至少一个包括对象人物的图像。
在步骤S506，CPU201对在步骤S505所选择的包括对象人物的图像进行面部检测处理，以提取面部图像。CPU201获得提取的所有面部图像的面部区域的特征量，并且将所有所获得的特征量数据存储在一次存储单元203中。
在步骤S507，CPU201使用在步骤S502所选择的面部字典中所包括的所有特征量数据或者在步骤S506所获得的所有特征量数据作为模板，在存储在二次存储单元202中的图像中提取预期包括对象人物的图像。更具体地，首先，CPU201选择存储在二次存储单元202中的图像中的一个，并且通过面部检测处理识别面部区域。CPU201然后计算所识别的面部区域与作为模板的所有特征量数据中的每一个的相似度。如果相似度等于或者高于预定值，则将表示作为预期包括对象人物的图像所选择的图像的信息存储在一次存储单元203中。在CPU201对于存储在二次存储单元202中的所有图像判断了所选择的图像是否包括对象人物之后，CPU201将预期包括对象人物的图像的列表显示在显示单元204上。
在步骤S508，CPU201获得用户从显示在显示单元204上的预期包括对象人物的图像的列表所选择的包括对象人物的图像。更具体地，CPU201待机以从操作单元206接收与下面的用户指示相对应的控制信号：该指示用于从显示列表排除预期包括对象人物的图像作为不包括对象人物的图像。当CPU201接收到与用于从显示列表排除特定图像的指示相对应的控制信号时，从一次存储单元203删除表示该指示所指定的图像的信息。另外，当CPU201从操作单元206接收到表示完成包括对象人物的图像的提取的控制信号时，使处理进入步骤S509。
在步骤S509，CPU201在所提取的包括对象人物的图像中确定在对象人物的面部字典中要包括的图像。更具体地，CPU201按照例如在步骤S507所计算出的相似度的降序，将面部字典数据要包括的面部图像信息的最大数量的图像，确定为在面部字典中要包括的图像。CPU201将表示所确定的面部字典要包括的图像的信息存储在一次存储单元203中，并且使处理进入步骤S510。
在步骤S510，CPU201对于在步骤S509所确定的面部字典要包括的每一图像进行面部检测处理，以提取面部图像。CPU201还获得所提取的面部图像各自的面部区域的特征量。CPU201将各面部图像的面部图像数据和特征量数据写入在步骤S502所选择的面部字典数据的面部图像信息、或者在步骤S503所生成的新面部字典数据中。
在步骤S511，CPU201将对象人物的面部字典数据存储在二次存储单元202中，作为面部字典文件。此时，CPU201获得当前日期/时间，并且将其写入和存储在对象人物的面部字典数据的更新日期/时间401中。
在本实施例中，通过这样执行照相机面部字典编辑处理和PC面部字典编辑处理，数字照相机100和PC200可以新生成或者编辑具有利用不同的字符编码方案所表示的人物名的面部字典。
摄像处理
下面参考图6的流程图详细说明根据本实施例用于存储由数字照相机100所拍摄的图像的摄像处理。通过例如使照相机CPU101读出存储在照相机二次存储单元102中的相应处理程序、在照相机一次存储单元103中展开该处理程序、并且执行该处理程序，可以实现与该流程图相对应的处理。注意，当例如在摄像模式下启动数字照相机100时，开始摄像处理。
在步骤S601，照相机CPU101控制照相机光学系统104和照相机摄像单元105以进行摄像操作，从而获得摄像图像。在步骤S604，将此时所获得的摄像图像显示在照相机显示单元107上(稍后说明)，因而拍摄者在观看该图像的情况下改变构图和摄像条件，在偏好的定时按下快门按钮。将在摄像模式下用于显示通过照相机摄像单元105根据需要所获得的图像的处理称为“直通图像显示”。
在步骤S602，照相机CPU101判断摄像图像是否包括人物的面部。更具体地，照相机CPU101对摄像图像执行面部检测处理，以判断是否检测到面部区域。如果照相机CPU101判断为摄像图像包括人物的面部，则使处理进入步骤S603；否则，将摄像图像显示在照相机显示单元107上，并且使处理进入步骤S605。
在步骤S603，照相机CPU101对于摄像图像中所包括的所有人物的面部执行面部识别处理，以识别人物名。更具体地，照相机CPU101逐一选择摄像图像中所包括的人物的面部，并且对每一个人物的面部区域的图像执行面部识别处理。
面部识别处理
现参考图7所示的流程图详细说明根据本实施例由数字照相机100所执行的面部识别处理。
在步骤S701，照相机CPU101获得一个面部图像(对象面部图像)的面部区域的特征量。
在步骤S702，照相机CPU101从存储在照相机存储器106中的面部字典选择一个未被选择的面部字典。然后，照相机CPU101计算在步骤S701所获得的对象面部图像的特征量与所选择的面部字典中包括的各面部图像的特征量的相似度。
在步骤S703，照相机CPU101判断在步骤S702所计算出的相似度的总和是否等于或大于预定值。如果照相机CPU101判断为相似度的总和等于或大于预定值，则使处理进入步骤S704；否则，使处理进入步骤S705。
在步骤S704，照相机CPU101将表示当前所选择的面部字典的信息存储在照相机一次存储单元103中作为面部识别结果，并且完成面部识别处理。
另一方面，如果照相机CPU101在步骤S703判断为相似度的总和小于预定值，则判断在照相机存储器106中是否剩余未被选择的面部字典。如果照相机CPU101在步骤S705判断为在照相机存储器106中剩余未被选择的面部字典，则使处理返回到步骤S702；否则，使处理进入步骤S706。
在步骤S706，照相机CPU101将表示不能进行面部识别的信息存储在照相机一次存储单元103中作为面部识别结果，并且完成面部识别处理。
在这样执行面部识别处理之后，照相机CPU101使处理进入步骤S604。
在步骤S604，照相机CPU101将摄像图像显示在作为取景器的照相机显示单元107上作为直通图像。此时，照相机CPU101查询存储在照相机一次存储单元103中的面部识别结果，以根据面部识别结果改变照相机显示单元107上所显示的内容。更具体地，当将表示面部字典的信息存储在照相机一次存储单元103中作为面部识别结果时，照相机CPU101围绕相应的人物的面部区域显示框。然后照相机CPU101将面部字典所包括的昵称402中的人物名的字符串图像叠加在直通图像上以在照相机显示单元107上进行显示。然而，当存储表示不能进行面部识别的信息作为面部识别结果时，照相机CPU101在不叠加框或者姓名的图像的情况下，将摄像图像显示在照相机显示单元107上。
在步骤S605，照相机CPU101判断用户是否发出了摄像图像存储指示。更具体地，照相机CPU101判断是否从照相机操作单元109接收到了与存储指示相对应的控制信号。如果照相机CPU101判断为用户发出了摄像图像存储指示，则使处理进入步骤S606；否则，使处理返回到步骤S601。
在步骤S606，如在步骤S601一样，照相机CPU101获得新的摄像图像，并且将所获得的图像存储在照相机一次存储单元103中，作为存储图像。
在步骤S607，如在步骤S602一样，照相机CPU101判断存储图像是否包括人物的面部。如果照相机CPU101判断为存储图像包括人物的面部，则使处理进入步骤S608；否则，使处理进入步骤S610。
在步骤S608，照相机CPU101对存储图像中所包括的所有人物的面部执行面部识别处理，以识别与每一个人物的面部相对应的人物名。
在步骤S609，照相机CPU101查询针对存储图像中所包括的各面部的面部识别结果，如果存储有表示面部字典的信息，则包括面部字典中所包括的人物名作为元数据，并且将存储图像存储在照相机存储器106中作为图像文件。
此时，照相机CPU101判断在作为面部识别结果所存储的面部字典的昵称402和全名403的字段中是否输入了人物名。如果照相机CPU101判断为在各字段中输入了人物名，则照相机CPU101包括该字段的信息作为元数据，并且存储图像文件。也就是说，如果用户发出了摄像图像存储指示，则照相机CPU101对于与图像中所包括的人物的面部识别结果相对应的面部字典中的图像，存储该图像中所包括的所有人物名的信息。
如果照相机CPU101在步骤S607判断为存储图像没有包括人物的面部，则在步骤S610，在不包括任何人物名作为元数据的情况下，将存储图像存储为图像文件。
这样，在本实施例的数字照相机100中，当作为要存储的摄像图像的面部识别结果的结果、所识别的人物的面部字典包括第二人物名时，可以与第二人物名相关联地存储该图像。
人物图像搜索处理
下面参考图8所示的流程图，详细说明根据本实施例用于通过PC200搜索包括对象人物的图像的人物图像搜索处理。通过例如使CPU201读出存储在二次存储单元202中的相应处理程序、在一次存储单元203中展开该处理程序、并且执行该处理程序，可以实现与该流程图相对应的处理。注意，当用户利用运行在PC200上的图像浏览应用程序对图像进行人物名搜索时，开始人物图像搜索处理。
在本实施例中，作为与图像浏览应用程序有关的人物名搜索方法，说明用于对于用户所选择的人物名，搜索存储在二次存储单元202中的所有面部字典所包括的人物名的列表的方法。
在步骤S801，CPU201获得与用户所选择的人物名相对应的面部字典。更具体地，CPU201查询存储在二次存储单元202中的所有面部字典的昵称402、全名403和面部详细信息404的字段，以获得包括所选择的人物名的面部字典(对象面部字典)。
在步骤S802，CPU201从存储在二次存储单元202中的图像中选择尚未被选择的图像(选择图像)。
在步骤S803，CPU201查询该选择图像的元数据，以判断该元数据是否包括人物名。如果CPU201判断为选择图像的元数据包括人物名，则使处理进入步骤S804；否则，使处理进入步骤S807。
在步骤S804，CPU201判断选择图像的元数据中所包括的人物名与对象面部字典的昵称402或者全名403中所包括的人物名是否一致。如果CPU201判断为选择图像的元数据中所包括的人物名与对象面部字典所包括的昵称或者全名一致，则使处理进入步骤S805；否则，使处理进入步骤S806。
在步骤S805，CPU201将该选择图像作为包括对象人物的面部的图像、添加到图像浏览应用程序的GUI上的“搜索结果(确认)”的区域中的显示列表，并且将该图像显示在照相机显示单元107上。
在步骤S806，CPU201判断在二次存储单元202中是否剩余未被选择的图像。如果CPU201判断为在二次存储单元202中剩余未被选择的图像，则使处理返回到步骤S802；否则，完成人物图像搜索处理。
另一方面，如果CPU201在步骤S803判断为选择图像的元数据不包括人物名，则判断选择图像是否包括人物的面部。更具体地，CPU201对选择图像执行面部检测处理，以判断是否检测到了面部区域。如果CPU201在步骤S807判断为选择图像包括人物的面部，则使处理进入步骤S808；否则，使处理进入步骤S806。
在步骤S808，CPU201计算选择图像中所包括的所有人物的面部与对象面部字典中所包括的面部图像的相似度。更具体地，首先，CPU201针对选择图像中所包括的所有人物各自的面部获得面部区域的特征量。然后CPU201逐一读出对象面部字典中所包括的面部图像信息，并且计算面部图像信息中所包括的特征量和选择图像中所包括的面部区域的特征量之间的相似度。
在步骤S809，CPU201判断在步骤S808所计算出的相似度的总和是否等于或者大于预定值。如果CPU201判断为相似度的总和等于或者大于预定值，则使处理进入步骤S810；否则，使处理进入步骤S806。
在步骤S810，CPU201将该选择图像作为预期包括对象人物的面部的图像、添加至图像浏览应用程序的GUI上的“搜索结果(候选)”的区域中的显示列表，并且将该图像显示在照相机显示单元107上。
这样，在本实施例的PC200上运行的图像浏览应用程序中，当使用人物名进行图像搜索时，可以分类显示与人物名相关联的图像和预期包括与人物名相对应的人物的图像。
注意，对于通过人物图像搜索处理被分类进“搜索结果(候选)”的区域的图像，与图像一起显示例如“正确”和“不正确”标记按钮，以使得用户判断图像是否确实包括对象人物的面部。这样实现例如用于在选择“正确”标记时不作为候选而是将对象人物确认为同一人物、并且在选择“不正确”标记时将他或她确认为不同人物的操作。当接受了用于将对象人物确实确认为同一人物的操作时，希望将对象人物的人物名存储在图像的元数据中。另外，在用户删除搜索结果(候选)的显示列表中所包括的图像中不包括对象人物的面部的图像之后，CPU201可以针对剩余图像、将对象面部字典所包括的所有人物名包括在元数据中。
在将面部字典中所包括的人物名存储在各图像的元数据中之后，当在此后使用同一人物的人物名进行搜索时，将相应图像显示在“搜索结果(确认)”的区域中。
连接时处理
下面参考图9所示的流程图，详细说明根据本实施例用于通过PC200在数字照相机100和PC200之间共享面部字典的连接时处理。通过例如使CPU201读出存储在二次存储单元202中的相应处理程序、在一次存储单元203中展开该处理程序、并且执行该处理程序，可以实现与该流程图相对应的处理。注意，例如，当在PC200上运行图像浏览应用程序的情况下，相互连接数字照相机100和PC200时，开始连接时处理。
在步骤S901，CPU201经由通信单元205获得存储在数字照相机100的照相机存储器106中的所有面部字典，并且将其存储在一次存储单元203中。
在步骤S902，CPU201从在步骤S901存储在一次存储单元203中的面部字典中选择尚未被选择的面部字典(对象面部字典)。
在步骤S903，CPU201判断在二次存储单元202中是否存储有针对在对象面部字典中所指定的人物的面部字典。
同一面部字典判断处理
参考图10所示的流程图，详细说明根据本实施例用于判断在二次存储单元202中是否存储有对象面部字典中所指定的人物的面部字典的同一面部字典判断处理。
在步骤S1001，CPU201获得对象面部字典的昵称402和全名403的字段的信息。
在步骤S1002，CPU201判断在二次存储单元202中是否存储有具有与对象面部字典相同的昵称402和全名403的面部字典。如果CPU201判断为在二次存储单元202中存储有具有与对象面部字典相同的昵称402和全名403的面部字典，则使处理进入步骤S1003；否则，使处理进入步骤S1004。
在步骤S1003，CPU201将表示具有与对象面部字典相同的昵称402和全名403的面部字典的信息存储在一次存储单元203中作为判断结果，并且完成同一面部字典判断处理。
在步骤S1004，CPU201将表示在二次存储单元202中未存储对象面部字典所指定的人物的面部字典的信息存储在一次存储单元203中作为判断结果，并且完成同一面部字典判断处理。
如果CPU201查询通过执行同一面部字典判断处理所获得的判断结果，并且确认判断结果是表示在二次存储单元202中未存储对象面部字典所指定的人物的面部字典的信息，则使处理进入步骤S904。这意味着对象面部字典是在通过数字照相机100生成后尚未被传送给PC200的面部字典、或者已从PC200的二次存储单元202删除的面部字典。
然而，如果CPU201确认判断结果是表示特定面部字典的信息，则判断为在二次存储单元202中存储有对象字典所指定的人物的面部字典，并且使处理进入步骤S908。
在步骤S904，CPU201判断为对象字典的全名403是空数据(初始数据)。如果CPU201判断为对象面部字典的全名403是空数据，则使处理进入步骤S905；否则，使处理进入步骤S907。
在步骤S905，CPU201接受对象面部字典的全名的输入。更具体地，CPU201将使用用于接受全名的输入的GUI数据所生成的画面显示在显示单元204上。然后CPU201待机以从操作单元206接收表示用户完成全名的输入的控制信号。当CPU201从操作单元206接收到表示完成全名的输入的控制信号时，获得输入的全名，并且将其写入对象面部字典的全名403的字段中。此时，CPU201还获得当前日期/时间，并且将其写入对象面部字典的更新日期/时间的字段中。
在步骤S906，CPU201经由通信单元205，将写入了全名的对象面部字典存储在照相机存储器106中。此时，CPU201更新或者删除存储在照相机存储器106中的没有全名的对象面部字典，并且存储新的对象面部字典。也就是说，在步骤S906，将用户所设置的全名添加到通过数字照相机100所生成的面部字典。因此，在此后由数字照相机100所存储的摄像图像中，不仅可以将昵称、而且可以将全名与包括对象面部字典所指定的人物的面部的摄像图像相关联。
在步骤S907，CPU201将对象面部字典从一次存储单元203移动至二次存储单元202，并且将其存储在二次存储单元202中。这意味着，在步骤S907，通过数字照相机100所生成的面部字典写有全名，并且将其作为通过图像浏览应用程序所管理的面部字典存储在二次存储单元202中。
另一方面，如果CPU201在步骤S903判断为在二次存储单元202中存储有对象面部字典所指定的人物的面部字典，则在步骤S908，将通过同一面部字典判断处理识别出的相应的面部字典的更新日期/时间401与对象面部字典的更新日期/时间401进行比较。此时，如果对象面部字典的更新日期/时间更近，则CPU201使用对象面部字典更新存储在二次存储单元202中的相应面部字典。然而，如果相应面部字典的更新日期/时间更近，则CPU201经由通信单元205将该面部字典传送给照相机存储器106，并且更新存储在照相机存储器106中的对象面部字典。
在步骤S909，CPU201判断在一次存储单元203中是否剩余尚未被选择为对象面部字典的面部字典。如果CPU201判断为在一次存储单元203中剩余未被选择的面部字典，则使处理返回到步骤S902；否则，使处理进入步骤S910。
在步骤S910，CPU201判断是否存在未被存储在数字照相机100的照相机存储器106中、而是仅被存储在PC200的二次存储单元202中的面部字典。更具体地，作为在步骤S901对从数字照相机100的照相机存储器106所获得的所有面部字典执行同一面部字典判断处理的结果，CPU201判断是否存在未被选择作为相应面部字典的面部字典。如果CPU201判断为存在仅被存储在PC200的二次存储单元202中的面部字典，则使处理进入步骤S911；否则，完成连接时处理。
在步骤S911，CPU201在仅被存储在二次存储单元202中的面部字典中选择未被选择的面部字典作为对象面部字典。
在步骤S912，CPU201判断对象面部字典的昵称402是否是空数据。如果CPU201判断为对象面部字典的昵称402是空数据，则使处理进入步骤S913；否则，使处理进入步骤S914。
在步骤S913，CPU201接受对象面部字典的昵称的输入。更具体地，CPU201将使用用于接受昵称的输入的GUI数据所生成的画面显示在显示单元204上。CPU201待机以从操作单元206接收表示用户完成昵称的输入的控制信号。当CPU201从操作单元206接收到表示完成昵称输入的控制信号时，获得所输入的昵称，并且将其写入对象面部字典的昵称402的字段中。此时，CPU201还获得当前日期/时间，并且将其写入对象面部字典的更新日期/时间401的字段中。
在步骤S914，CPU201经由通信单元205传送对象面部字典，并且将其存储在数字照相机100的照相机存储器106中。这意味着在步骤S914，将通过PC200所生成的面部字典作为在面部识别处理中要使用的面部字典存储在数字照相机100的照相机存储器106中。
在步骤S915，CPU201判断是否存在仅被存储在二次存储单元202中、并且尚未被选择为对象面部字典的面部字典。如果CPU201判断为存在仅被存储在二次存储单元202中、并且尚未被选择为对象面部字典的面部字典，则使处理返回到步骤S911；否则，完成连接时处理。
这使得当相互连接数字照相机100和PC200时，可以共享仅存储在单个装置中的面部字典，并且将彼此的面部字典更新成最新状态。
如上所述，本实施例的摄像设备至少可以实现以下之一：在确保特定用户可视性的同时，显示面部识别结果；以及与灵活的人物名搜索相兼容的图像的存储。更具体地，摄像设备使用每一登记的人物的面部识别数据进行面部识别处理，其中，登记的人物的面部识别数据具有与能够在摄像设备中输入和显示的第一字符码相对应的第一人物名、以及与不同于第一字符码的第二字符码相对应的第二人物名。当摄像设备获得要包括在将生成的面部识别数据中的面部图像时，摄像设备接受与所获得的面部图像相对应的第一人物名的输入，并且生成并存储将面部图像或者面部图像的特征量、以及第一人物名相关联的面部识别数据。另外，摄像设备使用所存储的面部识别数据，对摄像图像进行面部识别处理，并且与摄像图像相关联地存储与识别出的摄像图像中所包括的人物相对应的第一人物名。此时，在第二人物名与对应于识别出的人物的面部识别数据相关联的情况下，摄像设备将摄像图像与第二人物名一起存储。
第一变形例
在上述实施例中，在同一面部字典判断处理中，通过不同面部字典中的昵称和全名两者是否相互一致来判断在二次存储单元202中是否存储有对象面部字典中所指定的人物的面部字典。然而，在该实施例中，如果存在具有相同昵称和全名的不同的人物，即同姓同名的人物，则可能错误地将不同面部字典识别为表示同一人物，或者可能使用一个人物的面部字典更新另一个人物的面部字典。在本变形例中，说明甚至可以应对下面的状况的同一面部字典判断处理：存在具有相同昵称和全名的不同的人物，即同姓同名的人物。
同一面部字典判断处理
下面参考图11所示的流程图，说明根据本变形例的同一面部字典判断处理。注意，在本变形例的同一面部字典判断处理中，与上述实施例相同的附图标记表示进行相同处理的步骤，并且不再给出对其的说明，因而仅说明本变形例特有的特征性处理的步骤。
如果CPU201在步骤S1002判断为在二次存储单元202中存储有具有与对象面部字典的相同的昵称402和全名403的面部字典，则使处理进入步骤S1101。
在步骤S1101，CPU201计算对象面部字典中所包括的所有面部图像的特征量和具有与对象面部字典的相同的昵称402和全名403的面部字典中所包括的所有面部图像的特征量之间的相似度。
在步骤S1102，CPU201判断在步骤S1101所计算出的相似度的总和是否等于或者大于预定值。如果CPU201判断为相似度的总和等于或者大于预定值，则使处理进入步骤S1003；否则，使处理进入步骤S1004。
通过该操作，即使存在具有同姓同名的不同人物的面部字典，也可以在更新时不会丢失的情况下管理面部字典。
第二变形例
在上述实施例或者第一变形例中，面部字典包括仅一种类型的用作为第一人物名的昵称以及仅一种类型的用作为第二人物名的全名。然而，为了实现以高自由度使用人物名的图像搜索，可以使用多个第二人物名。在这种情况下，当根据更新日期/时间，使用任一面部字典来更新在连接时处理中存储在数字照相机100和PC200中的同一人物的面部字典时，可能丢失第二人物名。
考虑下面的情况：例如，在数字照相机100和PC200之间共享同一人物的面部字典，将第二人物名添加至PC200中的PC面部字典，并且将新面部图像添加至数字照相机100中的照相机面部字典。在这种情况下，由于照相机面部字典的更新日期/时间更近，所以当相互连接数字照相机100和PC200时，CPU201使用照相机面部字典更新PC面部字典。此时，在更新时，丢失添加给PC面部字典的第二人物名。
在本变形例中，说明在面部字典中包括多个全名时的连接时处理中的人物名合并处理。
人物名合并处理
下面参考图12所示的流程图，说明根据本变形例的人物名合并处理。注意，例如，在连接时处理的步骤S908中更新面部字典之前的比较更新日期/时间时，执行人物名合并处理。
在步骤S1201，CPU201将通过同一面部字典判断处理所识别的相应面部字典的更新日期/时间401与对象面部字典的进行比较，以识别两者中更新日期/时间更近的面部字典(更新面部字典)。
在步骤S1202，CPU201判断是否存在如下面部字典(要更新的面部字典)中所包括的、并且未包括在更新面部字典中的第二人物名，其中，该面部字典的更新日期/时间较早。更具体地，CPU201将更新面部字典的全名403和要更新的面部字典的全名403进行比较，以判断是否存在未包括在更新面部字典中的第二人物名。如果CPU201判断为要更新的面部字典包括更新面部字典中未包括的第二人物名，则使处理进入步骤S1203；否则，完成人物名合并处理。
在步骤S1203，CPU201获得包括在要更新的面部字典中、并且未包括在更新面部字典中的第二人物名，并且将其写入更新面部字典的全名403的字段中。此时，CPU201还获得当前日期/时间，并且将其写入更新面部字典的更新日期/时间的字段中。
通过该操作，即使在面部字典中包括多个第二人物名时，也可以在不会丢失第二人物名的情况下更新面部字典。
尽管在本变形例中，要更新的面部字典包括未包括在更新面部字典中的第二人物名，但是这同样适用于第一人物名。在这种情况下，在同一面部字典判断处理中，基于在面部字典中是否存储有相同第一人物名和相同第二人物名中的至少一个，判断在数字照相机100和PC200两者中是否存储有同一人物的面部字典。
第三变形例
在上述连接时处理中，CPU201将未被存储在摄像设备中的面部字典传送给与PC200连接的摄像设备。然而，例如，当将其他人的摄像设备连接至PC200时，用户通常不希望将该面部字典和该面部字典中所包括的面部图像传送给该人的摄像设备。
因此，在将面部字典存储在PC200之前，CPU201可以询问用户是否允许进行向除生成了该面部字典的摄像设备以外的摄像设备的面部字典的传送操作。仅需将表示用户是否允许该传送操作的信息与存储在例如二次存储单元202中的面部字典相关联。在这种情况下，作为生成了面部字典的摄像设备的信息，仅需将摄像设备的USB ID(生产商ID和产品ID)与面部字典相关联。
第四变形例
还可以使用上述实施例和变形例的技术以外的技术来实现以下两者：在确保特定用户可视性的同时，显示面部识别结果；以及与灵活的人物名搜索相兼容的图像的存储。例如，可以通过以下来实现：对于在面部识别结果的简单显示中所使用的要登记的第一人物名，限制最大数据长度(第一最大数据长度)，并且对于以高自由度使用人物名的搜索想要使用的第二人物名，设置第一最大数据长度以外的第二最大数据长度。
其它实施例
还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。

Claims (11)

1.一种摄像设备，其包括：
管理部件，用于管理面部识别数据，其中，在识别与面部图像相对应的人物时使用所述面部识别数据，在所述面部识别数据中，对于所登记的每个人物，将面部图像的特征量、第一人物名和不同于所述第一人物名的第二人物名相互关联地管理；
面部识别部件，用于使用所述面部识别数据中所管理的特征量，识别与拍摄图像中所包括的面部图像相对应的人物；
存储部件，用于将针对通过所述面部识别部件识别出的人物的所述第二人物名与所述拍摄图像相关联地存储在存储器中；以及
显示控制部件，用于读出存储在所述存储器中的图像，并且将所读出的图像和在所述面部识别数据中与如下第二人物名相关联地管理的所述第一人物名一起显示在显示单元上：该第二人物名与所读出的图像相关联。
2.一种摄像设备，其包括：
管理部件，用于管理面部识别数据，其中，在识别与面部图像相对应的人物时使用所述面部识别数据，在所述面部识别数据中，对于所登记的每个人物，管理面部图像的特征量、第一人物名和不同于所述第一人物名的第二人物名；
面部识别部件，用于使用所述面部识别数据中所管理的特征量，识别与从摄像单元输出的直通图像中所包括的面部图像相对应的人物；
显示控制部件，用于将针对通过所述面部识别部件识别出的人物的所述第一人物名与所述直通图像一起显示在显示单元上；以及
存储部件，用于通过将在发出摄像指示的情况下从所述摄像单元输出的摄像图像与针对所述摄像图像通过所述面部识别部件所识别出的人物的所述第二人物名相关联，将所述摄像图像和所述第二人物名存储在存储器中。
3.根据权利要求1或2所述的摄像设备，其中，所述第一人物名包括昵称，并且所述第二人物名包括全名。
4.根据权利要求1或2所述的摄像设备，其中，所述第一人物名和所述第二人物名具有预先确定的最大数据长度，并且所述第二人物名的最大数据长度大于所述第一人物名的最大数据长度。
5.根据权利要求1或2所述的摄像设备，其中，所述第一人物名的字符编码方案不同于所述第二人物名的字符编码方案。
6.根据权利要求1或2所述的摄像设备，其中，利用单字节字符编码存储所述第一人物名，并且利用两字节字符编码存储所述第二人物名。
7.根据权利要求1或2所述的摄像设备，其中，所述第二人物名的字符编码方案使用能够在外部设备中输入和显示的字符码。
8.一种信息处理设备，用于管理存储在摄像设备中的面部识别数据，其中，在识别与面部图像相对应的人物时使用所述面部识别数据，并且在所述面部识别数据中，对于所登记的每个人物，使面部图像的特征量和第一人物名相互关联，所述信息处理设备包括：
获得部件，用于从所述摄像设备获得所述面部识别数据；
输入部件，用于将通过所述获得部件所获得的面部识别数据中登记的人物与不同于所述第一人物名的第二人物名相关联；以及
发送部件，用于将通过所述输入部件与所述第二人物名相关联的面部识别数据发送给所述摄像设备。
9.一种摄像设备的控制方法，所述控制方法包括以下步骤：
管理步骤，用于管理面部识别数据，其中，在识别与面部图像相对应的人物时使用所述面部识别数据，在所述面部识别数据中，对于所登记的每个人物，将面部图像的特征量、第一人物名和不同于所述第一人物名的第二人物名相互关联地管理；
面部识别步骤，用于使用所述面部识别数据中所管理的特征量，识别与拍摄图像中所包括的面部图像相对应的人物；
存储步骤，用于将针对在所述面部识别步骤中识别出的人物的所述第二人物名与所述拍摄图像相关联地存储在存储器中；以及
显示控制步骤，用于读出存储在所述存储器中的图像，并且将所读出的图像和在所述面部识别数据中与如下第二人物名相关联地管理的所述第一人物名一起显示在显示单元上：该第二人物名与所读出的图像相关联。
10.一种摄像设备的控制方法，所述控制方法包括以下步骤：
管理步骤，用于管理面部识别数据，其中，在识别与面部图像相对应的人物时使用所述面部识别数据，在所述面部识别数据中，对于所登记的每个人物，管理面部图像的特征量、第一人物名和不同于所述第一人物名的第二人物名；
面部识别步骤，用于使用所述面部识别数据中所管理的特征量，识别与从摄像单元输出的直通图像中所包括的面部图像相对应的人物；
显示控制步骤，用于将针对在所述面部识别步骤中识别出的人物的所述第一人物名与所述直通图像一起显示在显示单元上；以及
存储步骤，用于通过将在发出摄像指示的情况下从所述摄像单元输出的摄像图像与针对所述摄像图像在所述面部识别步骤中识别出的人物的所述第二人物名相关联，将所述摄像图像和所述第二人物名存储在存储器中。
11.一种信息处理设备的控制方法，其中，所述信息处理设备用于管理存储在摄像设备中的面部识别数据，在识别与面部图像相对应的人物时使用所述面部识别数据，并且在所述面部识别数据中，对于所登记的每个人物，使面部图像的特征量和第一人物名相互关联，所述控制方法包括以下步骤：
获得步骤，用于从所述摄像设备获得所述面部识别数据；
输入步骤，用于将在所述获得步骤中获得的面部识别数据中所登记的人物与不同于所述第一人物名的第二人物名相关联；以及
发送步骤，用于将在所述输入步骤与所述第二人物名相关联的面部识别数据发送给所述摄像设备。
CN201210563110.XA 2011-12-21 2012-12-21 摄像设备、信息处理设备和控制方法 Active CN103179344B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011280245A JP5868164B2 (ja) 2011-12-21 2011-12-21 撮像装置、情報処理システム、制御方法、及びプログラム
JP2011-280245 2011-12-21

Publications (2)

Publication Number Publication Date
CN103179344A true CN103179344A (zh) 2013-06-26
CN103179344B CN103179344B (zh) 2016-06-22

Family

ID=48638939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210563110.XA Active CN103179344B (zh) 2011-12-21 2012-12-21 摄像设备、信息处理设备和控制方法

Country Status (4)

Country Link
US (1) US20130163814A1 (zh)
JP (1) JP5868164B2 (zh)
KR (1) KR101560203B1 (zh)
CN (1) CN103179344B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110709857A (zh) * 2017-05-30 2020-01-17 佳能株式会社 人数管理设备、人数管理方法以及程序

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5617627B2 (ja) * 2010-12-28 2014-11-05 オムロン株式会社 監視装置および方法、並びにプログラム
US9049382B2 (en) * 2012-04-05 2015-06-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US9384384B1 (en) * 2013-09-23 2016-07-05 Amazon Technologies, Inc. Adjusting faces displayed in images
CN106104646A (zh) * 2014-03-19 2016-11-09 株式会社技术未来 数字防丢失安防系统、方法和程序
KR20150113572A (ko) * 2014-03-31 2015-10-08 삼성전자주식회사 영상데이터를 획득하는 전자장치 및 방법
US10063751B2 (en) * 2015-09-24 2018-08-28 Qualcomm Incorporated System and method for accessing images with a captured query image
CN109241928B (zh) * 2018-09-19 2021-02-26 释码融和（上海）信息科技有限公司 一种识别异质虹膜的方法及计算设备
CN112036310A (zh) * 2020-08-31 2020-12-04 北京字节跳动网络技术有限公司 一种图片处理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1924897A (zh) * 2005-08-29 2007-03-07 索尼株式会社 图像处理装置和方法以及程序
JP2008112386A (ja) * 2006-10-31 2008-05-15 Fujifilm Corp ネットワークコミュニケーション装置、システム、方法およびプログラム
US20080123907A1 (en) * 2006-11-21 2008-05-29 Sony Corporation Personal identification device, personal identification method, updating method for identification dictionary data, and updating program for identification dictionary data
WO2011090411A1 (en) * 2010-01-20 2011-07-28 Telefonaktiebolaget Lm Ericsson (Publ) Meeting room participant recogniser

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040258281A1 (en) * 2003-05-01 2004-12-23 David Delgrosso System and method for preventing identity fraud
US7809192B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for recognizing objects from images and identifying relevancy amongst images and information
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US8259995B1 (en) * 2006-01-26 2012-09-04 Adobe Systems Incorporated Designating a tag icon
US8024343B2 (en) * 2006-04-07 2011-09-20 Eastman Kodak Company Identifying unique objects in multiple image collections
JP4683337B2 (ja) 2006-06-07 2011-05-18 富士フイルム株式会社 画像表示装置及び画像表示方法
JP4660592B2 (ja) * 2006-06-16 2011-03-30 パイオニア株式会社 カメラ制御装置、カメラ制御方法、カメラ制御プログラムおよび記録媒体
US8774767B2 (en) * 2007-07-19 2014-07-08 Samsung Electronics Co., Ltd. Method and apparatus for providing phonebook using image in a portable terminal
JP4896838B2 (ja) * 2007-08-31 2012-03-14 カシオ計算機株式会社 撮像装置、画像検出装置及びプログラム
JP5273998B2 (ja) * 2007-12-07 2013-08-28 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US8538943B1 (en) * 2008-07-24 2013-09-17 Google Inc. Providing images of named resources in response to a search query
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8867779B2 (en) * 2008-08-28 2014-10-21 Microsoft Corporation Image tagging user interface
US8396246B2 (en) * 2008-08-28 2013-03-12 Microsoft Corporation Tagging images with labels
JP2010113682A (ja) 2008-11-10 2010-05-20 Brother Ind Ltd 来訪者情報検索方法、来訪者情報検索装置およびインターホンシステム
US8768313B2 (en) * 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
JP5401420B2 (ja) * 2009-09-09 2014-01-29 パナソニック株式会社 撮像装置
US8503739B2 (en) * 2009-09-18 2013-08-06 Adobe Systems Incorporated System and method for using contextual features to improve face recognition in digital images
JP5653131B2 (ja) * 2010-08-25 2015-01-14 キヤノン株式会社 オブジェクト認識装置およびその認識方法
JP5997545B2 (ja) * 2012-08-22 2016-09-28 キヤノン株式会社 信号処理方法及び信号処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1924897A (zh) * 2005-08-29 2007-03-07 索尼株式会社 图像处理装置和方法以及程序
JP2008112386A (ja) * 2006-10-31 2008-05-15 Fujifilm Corp ネットワークコミュニケーション装置、システム、方法およびプログラム
US20080123907A1 (en) * 2006-11-21 2008-05-29 Sony Corporation Personal identification device, personal identification method, updating method for identification dictionary data, and updating program for identification dictionary data
WO2011090411A1 (en) * 2010-01-20 2011-07-28 Telefonaktiebolaget Lm Ericsson (Publ) Meeting room participant recogniser

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110709857A (zh) * 2017-05-30 2020-01-17 佳能株式会社 人数管理设备、人数管理方法以及程序
CN110709857B (zh) * 2017-05-30 2023-11-28 佳能株式会社 人物计数设备、人物计数方法以及存储介质

Also Published As

Publication number Publication date
JP5868164B2 (ja) 2016-02-24
CN103179344B (zh) 2016-06-22
JP2013131919A (ja) 2013-07-04
KR101560203B1 (ko) 2015-10-14
US20130163814A1 (en) 2013-06-27
KR20130072138A (ko) 2013-07-01

Similar Documents

Publication Publication Date Title
CN103179344B (zh) 摄像设备、信息处理设备和控制方法
KR100654709B1 (ko) 데이터화일 저장장치, 데이터화일 저장방법 및 데이터화일 저장프로그램이 기록된 기록매체
JP4810420B2 (ja) 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体
KR101810578B1 (ko) 셔터 클릭을 통한 자동 미디어 공유
US10635932B2 (en) Database systems and user interfaces for dynamic and interactive mobile image analysis and identification
US20060036441A1 (en) Data-managing apparatus and method
US9973649B2 (en) Photographing apparatus, photographing system, photographing method, and recording medium recording photographing control program
KR101592981B1 (ko) 음성기반 이미지 파일 태깅장치 및 그를 이용한 클라우드 서비스 기반 이미지 파일 검색방법
US11119706B2 (en) Information processing device and non-transitory computer readable medium for notification of linkage function
JP2014164697A (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
US10805243B2 (en) Artificial intelligence conversation interface for receiving and interpreting user input
CN103167258A (zh) 用于选择图像捕获装置上捕获的图像的方法、系统和设备
CN104704480A (zh) 执行数据同步的终端和服务器
CN102375873A (zh) 数据搜索设备及其控制方法
US10242030B2 (en) Information processing system, information processing method, and information processing apparatus
CN101021861B (zh) 图像再现设备及其控制方法
KR102238796B1 (ko) 저작자 정보 통합 수집 방법, 장치 및 시스템
KR20150096552A (ko) 사진 앨범 또는 사진 액자를 이용한 온라인 사진 서비스 시스템 및 방법
US20210183123A1 (en) Method and System for Providing Multi-Dimensional Information Using Card
CN116804916A (zh) 信息处理装置、信息处理方法及记录介质
CN117435761A (zh) 终端装置以及方法
KR20190003779A (ko) 컨텐츠 제공 방법을 실행하기 위하여 기록 매체에 저장된 컴퓨터 프로그램, 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant