CN1885911A - 对象确定装置、摄像装置以及监视装置 - Google Patents

Abstract

对象确定装置、摄像装置以及监视装置。本发明的课题是提供不迫使利用者进行繁琐的登记操作，即可从图像中的多个人脸中确定要关注的人脸的技术。作为解决手段，在从图像中所包含的多个人脸中选择作为处理对象的人脸的对象确定装置中设置有如下单元：人脸检测单元，其从图像中检测人脸；人脸信息记录单元，其将由人脸检测单元过去检测出的人脸和与该检测相关的检测履历关联起来进行记录；以及人脸选择单元，其根据由人脸检测单元检测出的人脸的检测履历，从图像中所包含的人脸中选择作为处理对象的人脸。优选还设有人脸信息更新单元，其在人脸信息记录单元中不存在由人脸检测单元检测出的人脸的情况下，进行新的登记，在存在的情况下，更新人脸信息。

Description

对象确定装置、摄像装置以及监视装置

技术领域

本发明涉及从包含多个人脸的静态图像或动态图像等中确定关注的人脸的技术。

背景技术

以往，人脸检测技术被应用到摄像装置等，实现了便利的功能。例如，若在数字照相机中应用人脸检测技术，则可自动对检测出的人脸进行对焦。因此，与对位于画面中心的被摄体进行对焦的方法相比，能够更简单地拍摄对被摄体的人脸进行了对焦的照片。

但是，在图像中存在多个人脸的情况下，存在如下问题：无法确定应对图像中的哪个人脸进行对焦。

为了解决该问题，以往公知有如下方法：存储与应检测的人的容貌相关的信息和该人脸的优先度，利用它们来确定进行对焦的人脸(专利文献1)。

根据该方法，在图像中存在多个人脸的情况下，也可以将与作为应检测的人脸预先记录的人脸一致的人脸之中、优先度最高的人脸确定为进行对焦的人脸。

【专利文献1】日本特开2002-333652号公报

但是，在上述那样的现有技术的情况下，产生了如下问题。即，迫使利用者进行如下的繁琐操作：预先登记与应检测的人脸的容貌相关的信息、该脸的优先度。而且，在利用者不进行该操作的情况下，其结果是，不能确定应关注哪个人脸。

发明内容

本发明是鉴于上述实际情况而提出的，其目的在于，提供利用者无需预先进行繁琐的登记操作，就能够从图像中的多个人脸中确定关注的人脸的技术。

为了达到上述目的，本发明采用如下的结构。本发明的第一方式是从图像中包含的多个人脸中选择作为处理对象的人脸的对象确定装置。这里所说的处理可以是例如摄像装置中的对焦和曝光控制、图像处理装置中的颜色校正和轮廓增强这样的图像处理、以及其它的某些处理。

本发明的第一方式具有人脸检测单元、人脸信息记录单元以及人脸选择单元。

人脸检测单元从所输入的图像中检测人脸。人脸检测单元只要是可从图像中检测多个人脸的技术，也可通过现有的某种人脸检测技术来实现。例如，可以检测出具有肤色的区域作为人脸区域。作为其它的例子，有使用了人脸或人脸部位的模板的人脸检测技术、根据浓淡差检测人脸区域的技术等。

人脸信息记录单元将由人脸检测单元过去检测出的人脸和与该检测相关的检测履历关联起来进行记录。此处，该检测履历是指，例如，检测出的日期时间、图像中所占的人脸的大小、图像中的人脸的数量、以及检测出的人脸是否被选择为对象的信息。并且，检测履历也可以不是如上的与各个检测相关的信息，而是至此之前检测出的次数、至此之前被选择为作为处理对象的人脸的次数、最后检测出的日期时间等的信息。并且，也可以是它们之间的组合。

人脸选择单元根据检测履历，从图像中所包含的人脸中选择作为处理对象的人脸。人脸选择单元例如关于从图像中检测出的各个人脸，从人脸信息记录单元中取得与该人脸一致的人脸的检测履历，根据所取得的检测履历选择作为对象的人脸。此处，在检测出的人脸没有登记在人脸信息记录单元中的情况下，使用没有检测出(检测次数0)的检测履历。

在检测出的人脸是否与人脸信息记录单元中所记录的人脸一致的判断中，也可以应用现有的某种人脸核对技术。作为人脸核对技术的例子，可以列举出如下方法：取得参照图像和对象图像的各个像素排列之间的相关度来进行核对的模板匹配法、根据同一个人的多个参照图像生成参照部分空间，取得构成该参照部分空间和对象图像的像素排列之间的相关度来进行核对的部分空间法、以及使用神经网络来进行核对的神经网络法等。

根据检测履历来选择作为对象的人脸的方法，作为简单的例子，有根据该人脸的检测次数进行选择的方法。作为其它例子，有如下方法：关于各个检测，利用检测到的时侯的日期时间、人脸的大小、图像中的人脸的数量等进行加权，根据加权而求出的检测频度进行选择。在该方法中，在最近检测出的情况下、人脸的大小大的情况下、图像中的人脸的数量少的情况下，可考虑增大权重来计算检测频度。

这样，在选择作为处理对象的人脸时，根据过去的检测履历选择，因此，在图像中有多个人脸的情况下，也能够估计所关注的人脸。并且，检测履历是在每次使用对象确定装置时自动记录的，所以无需由利用者预先登记与应检测的人脸的容貌相关的信息。而且，随着使用次数增加，检测履历积累，因此反映出利用者的利用倾向而提高估计精度。

本发明的第1方式优选具有人脸信息更新单元，其对人脸信息记录单元进行新登记以及更新。在人脸信息记录单元中不存在由人脸检测单元检测出的人脸的情况下，人脸信息更新单元将检测出的人脸新登记到人脸信息记录单元中。并且，在人脸信息记录单元中存在检测出的人脸的情况下，人脸信息更新单元更新人脸信息记录单元中所记录的该人脸的检测履历。

这样，选择作为对象的人脸的同时可自动进行检测出的人脸的新登记或检测履历的更新，因此，利用者无需进行繁琐的登记操作，即可利用对象确定装置的功能。

本发明的第1方式中的人脸信息记录单元优选记录从人脸检测单元所检测出的人脸的图像中得到的特征信息。人脸的特征信息是指用于根据人脸图像确定个人的信息，可使用人脸的器官(鼻子、眉毛、眼睛、嘴、脸颊等)等特征点之间的位置关系、特征点附近处的浓淡值的周期性和方向性等。

而且，优选为，人脸信息更新单元在人脸信息记录单元中存在由人脸检测单元检测出的人脸的情况下，更新人脸信息记录单元中记录的该人脸的检测履历，同时，还更新该人脸的特征信息。

在人脸核对中，核对的精度取决于人脸的特征信息的量。因此，像上述那样检测出在人脸信息记录单元中登记的人脸时，将检测出的人脸的特征信息记录到人脸信息记录单元中，从而积累各种条件下的特征信息。这样，提高核对精度，即使是图像中的人脸的朝向或表情、照明的明亮度等条件不同的图像，也能够适当地对同一个人的脸进行核对。

本发明的第1方式优选为还具有人脸信息重新登记单元。人脸信息重新登记单元调查人脸信息记录单元中所记录的多个人脸是否是同一个人的脸，在判断为是同一个人的脸的情况下，将这些多个人脸作为一个人脸重新登记到人脸信息记录单元中。

如前所述，即使是同一个人的脸，有时根据特征信息的量或人脸核对的精度会判断为不同的人脸。例如，有时会将朝右的脸和朝左的脸判断为不同人的脸。在该情况下，在人脸信息记录单元中将各个脸作为不同人的脸来进行记录。但是，若这些人脸的特征信息增加，则可能判断为同一个人的脸。此时，人脸信息重新登记单元将作为不同的人脸记录的人脸作为同一个人的脸而重新登记，从而将分散记录的检测履历汇总成一个，可进行高精度的人脸选择。

并且，也可以为，人脸信息重新登记单元调查人脸信息记录单元中所记录的同一个人脸是否是多个人的脸，在判断为是多个人的脸的情况下，将同一个人脸作为多个人脸重新登记到人脸信息记录单元中。

在将多个人的脸记录为同一个人的脸的情况下，要根据多个人的脸来核对一个人的脸，所以有可能导致核对精度下降。在该情况下，人脸信息重新登记单元可将作为同一个人的脸记录的人脸作为多个人的脸重新登记，从而进行高精度的人脸选择。

另外，对于由该人脸信息重新登记单元进行的是否是同一个人的脸的判断，可以在每次由人脸信息更新单元更新人脸信息记录单元时进行，也可以每更新预定次数时进行，还可以由利用者输入了重新登记的指示时进行。

本发明的第1方式优选具有人脸信息删除单元。人脸信息删除单元对于人脸信息记录单元中记录的人脸、根据该人脸的检测履历计算该人脸的检测频度，在检测频度比预定的频度低的情况下，从人脸信息记录单元中删除该人脸。根据检测履历计算出的检测频度，例如可以是至此之前的检测次数，也可以是利用与各个检测相关的信息进行加权来求出的检测次数。并且，预定频度可以是预先设定的检测次数或进行了加权的检测次数，也可以是根据人脸信息记录单元的空白区域动态地确定的次数。

这样由人脸信息删除单元删除检测频度低的人脸信息，由此可节约人脸信息记录单元的记录区域。

本发明的第1方式中的人脸信息记录单元也可以将人脸检测单元所检测出的人脸与该人脸的图像一起进行记录。此时，优选记录为将图像缩小后的缩略图像。

通过这样与人脸的图像对应地记录到人脸信息记录单元中，向利用者提示人脸信息记录单元中所记录的信息时，可与该人脸的图像一起进行提示。即，对于利用者来说，可更容易识别所提示的信息是谁的(哪一张脸的)信息。

本发明的第1方式中的人脸信息记录单元优选由多个数据库构成。在该情况下，本发明的第1方式优选具有人脸信息数据库选择单元，其使利用者选择要使用的数据库。把人脸和该人脸的检测履历记录到人脸信息数据库选择单元所选择出的数据库中，因此，可以在不同的数据库中，同一人脸具有各自的检测履历。

这样，人脸信息记录单元具有多个数据库，利用人脸信息数据库选择单元切换要使用的数据库，从而可针对每位利用者、根据自己使用的检测履历来选择人脸。并且，即使是同一利用者，也可以根据利用的用途(工作中的使用、家庭中的使用等)，选择适合于各个用途的人脸。

本发明的第2方式是具有本发明的第1方式的对象确定装置的摄像装置，其具有摄像单元和控制单元。

对象确定装置如上所述根据检测履历、从摄像单元所拍摄到的图像中选择作为处理对象的人脸。而且，控制单元对摄像装置进行如下控制：对选择出的人脸进行对焦，控制快门速度或光圈来准确曝光，或者控制变焦镜头来改变视角等。

这样，根据检测履历，从摄像单元所拍摄到的图像中的多个人脸中选择人脸，针对该人脸控制摄像装置，从而利用者可简单地对人脸拍摄出符合对焦、曝光、视角等摄影条件的照片。并且，能够选择作为控制对象的人脸，同时自动地将检测出的人脸登记到人脸信息记录单元中或更新，因此，利用者无需预先进行繁琐的登记操作，就可利用从多个人脸中自动选择控制摄影条件的人脸的功能。

本发明的第2实施方式中的人脸选择单元可以根据所检测出的人脸的检测履历计算检测频度，将检测频度最高的人脸确定为作为处理对象的人脸。此处，根据检测履历计算出的检测频度是指，例如，检测出该脸的次数、通过与各个检测相关的信息进行加权求出的检测次数等。

通过采用这样的结构，可针对检测频度最高的人脸控制摄像装置的摄影条件，即使在图像中具有多个人脸的情况下，也可考虑利用者的使用倾向，在最优的摄影条件下对合适的人脸进行拍摄。

本发明的第2实施方式优选具有控制模式切换单元，其可在第一控制模式和第二控制模式之间进行切换，该第一控制模式使摄影条件适合于人脸选择单元选择出的人脸，该第二控制模式使利用者确定适合于摄影条件的人脸。在第一控制模式中，如上所述，对象确定装置根据检测履历选择作为对象的人脸，控制单元对选择出的人脸控制摄影条件。使利用者确定适合于摄影条件的人脸的第二控制模式是指，例如对位于图像中央或预定位置处的被摄体进行对焦的功能(所谓的现有的自动对焦模式)、对上述被摄体控制曝光的功能(所谓的现有的自动曝光)。并且，第二控制模式也可以是根据由利用者指定的被摄体控制视角的功能。而且，在第二控制模式下使用时，在人脸信息记录单元中不存在利用者使之适合于摄影条件的人脸的情况下，将该人脸新登记到人脸信息记录单元中，在人脸信息记录单元中存在该人脸的情况下，更新人脸信息记录单元中所记录的该人脸的检测履历。

这样，通过使用现有的自动对焦功能等、同时将适合于摄影条件的人脸的信息登记到人脸信息记录单元中，利用者可在进行拍摄的同时构建人脸信息记录单元。即，利用者无需预先进行繁琐的登记操作，就可进行基于人脸的检测履历的对焦对象决定等(第一控制模式下使用时)。另外，将人脸的信息登记到人脸信息记录单元中的定时可以设定为进行拍摄的定时，在自动对焦的情况下，也可以设定为进行对焦锁定的定时，在自动曝光的情况下，还可设定为进行AE锁定的定时。

本发明的第3方式是具有本发明的第1方式的对象确定装置的监视装置，其具有摄像单元和通知单元。

对象确定装置如上所述根据检测履历、从摄像单元拍摄到的图像中选择作为处理对象的人脸。通知单元在对象确定装置从摄像单元拍摄到的图像中确定了作为处理对象的人脸时，向利用者进行通知。此处，通知可以是如下方法：发出声音或光来通知的方法、发送电子邮件或电话呼叫的方法、以及其它的只要是可向利用者进行通知的方法可以是任意的方法。另外，在进行该通知时，优选根据摄像单元拍摄到的图像或通过人脸选择单元选择出的人脸的信息(人脸的图像等)进行通知。

本发明的第3方式的人脸选择单元在人脸检测单元检测出的图像中包含没有登记在人脸信息记录单元中的人脸的情况下，也可以选择该人脸作为处理对象。在该情况下，在检测出至此之前没有检测出的人脸的情况下，利用通知单元进行通知。因此，例如，在仅有特定的人来访的地方，有可疑者来访时，进行通知。

并且，本发明的第3方式中的人脸选择单元在人脸检测单元所检测出的图像中存在根据检测履历计算的检测频度比预定频度高的人脸的情况下，选择该人脸作为处理对象。在该情况下，当检测出频繁检测出的人脸的情况下，利用通知单元进行通知。因此，例如在店铺等不特定的多人来访的地方，老顾客光临时，进行通知。

本发明的第4方式是从图像中所包含的多个人脸中确定作为处理对象的人脸的对象确定方法，包括如下步骤：从图像中检测人脸的步骤；以及根据将过去检测出的人脸和与该检测相关的检测履历关联起来进行记录而得到的人脸信息数据库，从检测出的人脸中选择作为处理对象的人脸。

根据本发明，利用者无需预先进行繁琐的登记操作，即可从图像中的多个人脸中确定作为对象的人脸。

附图说明

图1是表示第1实施方式中的摄像装置和对象确定装置的结构的图。

图2是表示第1实施方式中的人脸信息的数据结构的图。

图3是表示第1实施方式中的摄像装置的处理流程的流程图。

图4是表示第1实施方式中的摄像装置的处理流程的流程图。

图5是表示第1实施方式中的摄像装置的处理流程的流程图。

图6是表示第2实施方式中的监视装置和对象确定装置的结构的图。

图7是表示第2实施方式中的监视装置的处理流程的流程图。

具体实施方式

下面，参照附图，详细说明本发明的优选实施方式。

(第1实施方式)

<结构>

本发明的第1实施方式是具有对象确定装置的摄像装置。图1是表示摄像装置2的功能模块的图。摄像装置2由对象确定装置1、摄像部21、控制部22、以及图像记录部23构成。

摄像装置2将摄像部21拍摄到的图像作为数字数据记录到图像记录部23中。即，本实施方式的摄像装置2是所谓的数字照相机。作为数字照相机，除了数字静态照相机(digital still camera)之外，还包括具有静态图像摄影功能的数字视频摄像机(digital video camera)、移动电话或PDA(Personal Digital Assistance：个人数字助理)或个人计算机所附带(内置)的照相机。

下面，对各功能部进行说明。

[摄像部]

摄像部21由摄像镜头、摄像元件、帧存储器、机械机构、电机等构成。摄像镜头包括例如用于实现变焦功能的变焦镜头、用于对任意的被摄体进行对焦的对焦镜头等。电机包括变焦镜头电机、对焦电机、快门电机等。作为摄像元件，使用CCD(Charge Coupled Device：电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor：互补型金属氧化物半导体)等的光电转换元件。

在摄像部21中，利用摄像元件将通过包含对焦镜头的摄像镜头成像的图像转换成电信号，作为数字图像存储到帧存储器中。

[控制部]

控制部22对摄像装置进行如下控制：控制摄像部21，以对被摄体进行对焦；控制快门速度或光圈，以准确曝光；或者控制变焦镜头，以改变视角等。下面，对控制部22的作为其代表功能进行对焦控制的功能进行说明。控制部22在对焦时例如采用如下的对比度方式：以预定的间距依次移动摄像部21的变焦镜头，求出所拍摄到的图像的对比度，从而进行对焦。

通过如下2种方法来设定对焦的对象：设定为后述的对象确定装置1所选择的人脸的方法、以及设定为画面内的预定区域(对焦区域)中所存在的被摄体的方法(所谓的自动对焦)，这些方法可通过利用者进行功能选择来切换。另外，对于所谓的自动对焦的功能，利用者需要将对焦的被摄体捕捉到对焦区域内，因此，在本说明书中，称为“手动”式的对焦方法，由对象确定装置1进行对焦的对焦方法称为“自动”式的对焦方法。

[图像记录部]

图像记录部23使用闪存、FeRAM(Ferroelectric Random AccessMemory：铁电随机存取存储器)、EPROM(Erasable Programmable ReadOnly Memory：可擦编程只读存储器)等非易失性存储器、硬盘等磁盘来构成。图像记录部23也可使用相对于摄像装置2可拆装的记录介质来构成。在图像记录部23中记录有由摄像部21拍摄而存储在帧存储器内的图像数据。

[对象确定装置]

对象确定装置1从摄像部21拍摄到的图像中选择应对焦的人脸。对象确定装置1选择应对焦的人脸时，将该人脸在图像中的位置通知给控制部22。控制部22进行针对该人脸进行对焦的控制。

对象确定装置1由人脸检测部11、人脸信息记录部12、人脸信息更新部13以及人脸选择部14构成。对象确定装置1通过执行存储于存储器中的程序来实现其功能。下面，说明对象确定装置1的各功能部。

[[人脸检测部]]

人脸检测部11从所输入的图像中检测人脸，输出检测出的人脸的数量或位置等。在本实施方式中，人脸检测部11根据人脸的构成要素(眼睛、鼻子、耳朵等)进行模板匹配来检测人脸。当然，只要是如下的现有的人脸检测技术可利用任意一种技术来进行人脸检测：检测具有肤色的区域作为人脸区域的方法、根据浓淡检测人脸区域的方法、使用了神经网络的方法等。

[[人脸信息记录部]]

人脸信息记录部12由存储器构成，将人脸检测部11检测出的人脸和与该检测相关的履历一起进行记录。图2是说明人脸信息记录部12所记录的数据的数据结构的图，记录有与A，B，C3人的脸相关的信息。

人脸信息记录部12对各个人脸保持人脸的特征信息、缩略图像以及检测履历。作为人脸的特征信息，使用人脸的器官(鼻子、眉毛、眼睛、嘴、脸颊等)等特征点之间的位置关系、以及特征点附近处的浓淡值的周期性和方向性等。可利用人脸的特征信息来根据人脸图像确定个人。

检测履历由累积的检测次数以及进行各个检测的日期时间/检测出的人脸的图像的大小/图像中所包含的人数/检测出的时候的摄像装置2的动作模式构成。这样，不仅是保持累积的检测次数，还将与各个检测相关的信息一起保持，从而可以如后所述，将对检测出的人脸的关注度也考虑在内，进行基于检测履历的人脸选择。

并且，人脸信息记录部12对于检测出的人脸还将缩略图像一起进行保持。利用者对所记录的信息进行编辑/删除等时，与检测履历一起显示缩略图像，从而利用者容易掌握所显示的检测履历是对哪个人脸的信息，提高利用者的便利性。

[[人脸信息更新部]]

人脸信息更新部13使用人脸检测部11所检测出的人脸的特征信息和检测履历，更新人脸信息记录部12。在人脸信息记录部12中未记录有检测出的人脸的情况下，将该人脸新登记到人脸信息记录部12中。

[[人脸选择部]]

人脸选择部14从人脸检测部11检测出的人脸中选择作为对象的人脸。人脸选择部14提取检测出的人脸的特征信息，使用人脸核对技术，比较检测出的人脸的特征信息和人脸信息记录部12中所记录的人脸的特征信息，取得检测出的人脸的检测履历。作为人脸核对中所使用的技术，可使用模板匹配法或部分空间法、神经网络法等。

而且，人脸选择部14根据所取得的检测履历选择作为对象的人脸。另外，在图像中所包含的人脸仅为一个的情况下，选择该人脸。

<对象确定处理>

下面，使用图3～5的流程图，说明对象确定装置1和摄像装置2进行的处理。

[第1工作模式]

图3是表示对象确定装置1从摄像部21所拍摄到的图像中选择进行对焦的人脸的模式中的处理的流程图。

在步骤S101中，摄像部21拍摄图像，将图像数据存储到帧存储器中。在步骤S102中，人脸检测部11接收所拍摄到的图像数据，检测图像中所存在的人脸的数量和位置(范围)。在步骤S103中，人脸选择部14对检测出的各个人脸判断在人脸信息记录部12中是否登记有人脸信息和检测履历。此时，使用上述的人脸核对技术，判断检测出的人脸是否已登记。

在步骤S104中，判断为在人脸信息记录部12中登记有检测出的人脸时，进入步骤S105。在步骤S105中，人脸选择部14取得检测出的人脸的检测履历。在步骤S106中，人脸信息更新部13使用检测出的人脸的特征信息，更新人脸信息记录部12中所存储的人脸的特征信息。随着人脸的特征信息的增加，核对精度提高，在表情/人脸的朝向/照明等各种条件下，均能够准确地识别出人脸。在步骤S107中，人脸信息更新部13使用与本次检测相关的信息，更新人脸信息记录部12中所存储的检测履历。

在步骤S104中，判断为在人脸信息记录部12中没有登记检测出的人脸时，进入步骤S108，人脸选择部14取得“无检测履历”这样的信息作为检测履历。然后，在步骤S109中，人脸信息更新部13将人脸的特征信息和检测履历新登记到人脸信息记录部12中。因此，在下次以后的检测中，对于该人脸，也可利用检测履历。

如上所述，对于检测出的所有的人脸，人脸选择部14在步骤S105或步骤S108中取得检测履历。然后，在步骤S110中，人脸选择部14将检测频度最高的人脸选择为作为对象的人脸。另外，根据检测履历求出检测频度的方法可应用各种方法。例如，可以求出过去的检测次数直接作为检测频度。并且，优选考虑过去的检测(摄影)中的、针对该人脸的关注度，计算检测频度。即，对过去的各个检测，进行基于关注度的加权，将加权求出的检测次数作为检测频度。

例如，检测出的日期时间越新的人脸，权重越大。这是因为考虑到，越是摄影日期靠近的人脸，关注度越高。并且，使得检测时的图像中所占的人脸的大小越大，权重越大。这是因为考虑到，所拍摄的人脸越靠前面，关注度越高，拍摄得越小，人脸的关注度越低。并且，检测时的图像中的人数越少，权重越大。这是因为考虑到，只拍摄到1人时的人脸的关注度高，对像集体照片那样拍摄到多个人脸时的各个人脸的关注度低。而且，也可以根据检测出的时候的工作模式进行加权。这是因为考虑到，在利用者以手动方式确定进行对焦的人脸的模式(后述的第2工作模式)时检测出的人脸是利用者自发选择的人脸，因此，比对象确定装置选择出的人脸的关注度高。另外，这些权重可以组合使用。

在步骤S111中，人脸选择部14取得所选择的人脸的图像中的坐标，通知给控制部22。在步骤S112中，控制部22进行对焦控制，对所通知的坐标处存在的被摄体进行对焦。

这样，在图像中存在多个人脸的情况下，摄像装置2仍可根据检测履历确定进行对焦的人脸。并且，由于在每次检测出人脸时更新检测履历，所以即使利用者不以手动方式进行繁琐的登记操作，也能够选择对焦的人脸。并且，由于在每次检测时更新人脸的特征信息，所以随着重复使用，人脸的核对精度自动提高，可进行更合适的人脸选择处理。

并且，在步骤S106中，若人脸的特征信息被更新，则判断为此前作为不同的人脸存储在人脸信息记录部12中的人脸是同一个人的脸。例如，有时同一个人的朝右的脸和朝左的脸被判断为别人的脸而作为不同的人脸存储在人脸信息记录部12中。在该情况下，随着该人的脸的特征信息增加，可对各种朝向的人脸进行高精度的核对，因此，判定为最初判断为别人的脸的朝右和朝左的人脸为同一个人的脸。

这样同一个人的脸作为不同的脸被登记到人脸信息记录部12中的情况属于不良，因此，对象确定装置1按照预定的定时进行确认是否有同一个人的脸被作为不同的人脸登记到人脸信息记录部12中的处理。在同一个人的脸被作为不同的人脸而进行了登记的情况下，汇总各个人脸的特征信息和检测履历，作为一个人脸重新登记。

这样，通过将分别登记的同一个人的脸作为一个人脸重新登记，提高人脸核对的精度。并且，由于准确地记录检测履历，所以也提高了基于检测履历的选择处理的精度。另外，在每次人脸信息更新部13更新人脸的特征信息时、或更新预定次数时、或者由利用者通知了执行时等进行对象确定装置1确认是否有同一个人的脸被作为不同的人脸登记的处理。

并且，对象确定装置1也可以按照预定的定时进行确认是否有多个人的脸被作为一个人的脸登记到人脸信息记录部12中的处理。在多个人的脸被作为一个人的脸登记的情况下，区分各个人脸的特征信息和检测履历，作为多个人的脸进行重新登记。

[第2工作模式]

第2工作模式是由控制部22对图像中的预定位置处(例如画面中央)所存在的被摄体进行对焦的模式。在第2工作模式中，利用者将希望进行对焦的被摄体一次捕捉到对焦区域内，在对焦锁定的状态下确定构图而进行拍摄。

图4是表示第2工作模式中的摄像装置2和对象确定装置1的处理的流程图。

在步骤S201中，摄像部21拍摄图像，在步骤S202中，控制部22控制摄像部21，使得对对焦区域内的被摄体进行对焦。若对对焦区域内的被摄体进行了对焦，则进入步骤S203，从图像中检测人脸(步骤S203)，判断在人脸信息记录部12中是否登记有检测出的人脸(步骤S204～步骤S205)。

在第2工作模式中，利用者以手动方式确定对焦的被摄体，无需由对象确定装置1确定对焦的人脸，因此不从人脸信息记录部12中取得检测履历。但是，进行人脸信息记录部12的更新。即，在人脸信息记录部12中登记有检测出的人脸的情况下，更新人脸的特征信息和检测履历(步骤S206，S207)。在人脸信息记录部12中没有登记检测出的人脸的情况下，将检测出的人脸新登记到人脸信息记录部12中(步骤S208)。

这样，利用者通过手动方式来确定对焦的被摄体，同时对象确定装置1可积累人脸的特征信息和检测履历。即，在人脸信息记录部12中没有记录有人脸信息的情况下，也能够作为通常的数字照相机使用，同时积累人脸信息。因此，利用者即使不预先进行用于人脸选择的繁琐的登记操作，在作为通常的数字照相机使用的期间，也可以利用使用了对象确定装置1的功能的人脸选择功能。

[第3工作模式]

第3工作模式是由对象确定装置1根据检测履历选择对焦的人脸，但不进行人脸信息的登记/更新的模式。图5是表示第3工作模式中的摄像装置2和对象确定装置1的动作的处理的流程图。

第3工作模式与第1工作模式大致相同，不同之处在于省略了步骤S106、步骤S107、步骤S109。该工作模式适合于例如为临时用途而使用摄像装置2的情况、以及人脸信息记录部12处于最佳状态而利用者认为无需再更新的情况。

(第1实施方式的变形)

优选在第1实施方式的摄像装置2上追加如下功能。

一个是人脸信息删除功能，即，删除人脸信息记录部12中所存储的人脸信息中、无用的信息，确保存储容量。对象确定装置1按照预定的定时对人脸信息记录部12中所记录的人脸计算该人脸的检测频度，在该检测频度低于预定频度的情况下，自动删除。检测频度可通过上面说明的各种方法来计算。另外，预定的频度可以是预先决定的频度，也可以是根据空白存储容量动态地变更的频度。

该人脸信息删除功能可以按照利用者的执行指示的定时进行，也可以在空白存储容量变得较少的情况下进行。并且，为了防止将不想删除的人脸信息自动删除，优选追加利用者对所登记的人脸设定禁止删除的功能。

另一功能是人脸信息数据库选择功能，即，人脸信息记录部12由多个数据库构成，利用者可选择所使用的数据库。由于在每个数据库中保持不同的检测履历，所以在多个人使用摄像装置2的情况下，也可进行与各人的使用履历相应的人脸选择。在同一个人使用的情况下，也可通过针对每个利用用途切换数据库来使用，进行适合于用途的人脸选择。

(第2实施方式)

本发明的第2实施方式是具有对象确定装置的监视装置。图6是表示监视装置3的功能模块图的图。监视装置3由对象确定装置1、摄像部21、通知部24、以及图像记录部23构成。另外，对于与第1实施方式相同的结构，标以相同标号，省略说明。

监视装置3将摄像部21拍摄到的动态图像记录到图像记录部23中，并且在拍摄到预定的人的情况下，由通知部24进行通知。本实施方式的监视装置3用于以下情况，例如，设置于仅有特定人物来访的地方，在有可疑者来访时进行通知，或者，设置于店铺等很多不特定的人来访的地方，在老顾客光临时进行通知。

通知部24在对象确定装置1选择了人脸时，向利用者进行通知。通过光或声音唤起利用者的注意，重放拍摄到的动态图像。

对象确定装置1根据检测履历从摄像部21拍摄到的图像中选择作为对象的人脸。另外，在图像中存在多个人脸的情况下，也可以选择2个或以上的人脸作为处理对象。并且，即使图像中存在人脸，在不存在应作为处理对象选择的人脸的情况下，仍不进行人脸选择。即，本实施方式中的对象确定装置1仅在图像中存在检测频度满足预定条件的人脸的情况下，选择该人脸作为处理对象。

图7是表示监视装置3的处理流程的流程图。在步骤S301中，摄像部21拍摄动态图像。在步骤S302中，从拍摄到的图像中选择人脸。另外，摄像部21拍摄的图像是动态图像，因此，按照预定的时间间隔进行人脸检测。

从步骤S303之后到步骤S309为止的处理与第1实施方式的处理相同，因此简单地进行说明。调查在人脸信息记录部12中是否登记有检测出的人脸(步骤S303～S304)，取得检测履历(步骤S305、S308)，并且进行人脸信息的更新(步骤S306、S307)或新登记(步骤S309)。

这样，人脸选择部14取得检测出的人脸的检测频度，在步骤S310中，判断在图像中是否存在满足预定检测频度的人脸。此处，监视装置3若是店铺用等的老顾客光临时进行通知的监视装置，则人脸选择部14判断是否存在检测频度比预定值高的人脸。相反，监视装置3若是用于可疑者检测的监视装置，则人脸选择部14判断是否存在检测频度低于预定值的人脸。

然后，在图像中存在预定检测频度的人脸的情况下，在步骤S311中，向利用者进行通知。

这样，监视装置3进行监视，同时更新检测履历，从而可根据检测履历进行合适的通知判断。例如，在店铺用的老顾客光临时进行通知的监视装置的情况下，由于最初在人脸信息记录部12中没有登记检测履历，所以不通知，但随着人脸检测的增加，积累了人脸信息，在检测到了经常光顾的老顾客时，可进行通知。

并且，在可疑者检测用的监视装置的情况下，最初关闭检测出可疑者时进行通知的功能，进行人脸信息的登记/更新，从而积累不是可疑者的特定者的人脸信息(特征信息和检测履历)。然后，在人脸信息积累到了某种程度的时刻，若开通通知功能，则作为可疑者检测用的监视装置而工作。

这样，即使利用者不预先登记应检测的人脸的信息，随着监视装置的使用，也可恰当地进行检测。

(变形例)

第1实施方式中，举出了将对象确定装置搭载到数字照相机中以选择进行对焦的人脸的例子，但也可以搭载到拍摄动态图像的数字视频摄像机中，选择作为对焦等的控制对象的人脸。在该情况下，在动态图像录像中、按照预定的间隔进行人脸检测即可。而且，也可仅在人脸的朝向基本朝正面时进行人脸的检测履历的登记。这是因为考虑到朝正面的人脸是关注度高的人脸。

Claims (13)

1.一种对象确定装置，从图像中包含的多个人脸中选择作为处理对象的人脸，具有：

人脸检测单元，其从图像中检测人脸；

人脸信息记录单元，其将由所述人脸检测单元过去检测出的人脸和与该检测相关的检测履历关联起来进行记录；以及

人脸选择单元，其根据所述检测履历，从所述图像中包含的人脸中选择作为处理对象的人脸。

2.根据权利要求1所述的对象确定装置，其特征在于，

具有人脸信息更新单元，其在所述人脸信息记录单元中不存在由所述人脸检测单元检测出的人脸的情况下，将所述检测出的人脸新登记到所述人脸信息记录单元中，在所述人脸信息记录单元中存在所述检测出的人脸的情况下，更新所述人脸信息记录单元中记录的该人脸的检测履历。

3.根据权利要求2所述的对象确定装置，其特征在于，

所述人脸信息记录单元记录从所述人脸检测单元检测出的人脸的图像中得到的特征信息，

所述人脸信息更新单元在所述人脸信息记录单元中存在由所述人脸检测单元检测出的人脸的情况下，更新所述人脸信息记录单元中记录的该人脸的检测履历，同时，还更新该人脸的特征信息。

4.根据权利要求3所述的对象确定装置，其特征在于，

具有人脸信息重新登记单元，其调查所述人脸信息记录单元中记录的多个人脸是否是同一个人的脸，在判断为是同一个人的脸的情况下，将所述多个人脸作为一个人脸而重新登记到所述人脸信息记录单元中。

5.根据权利要求3所述的对象确定装置，其特征在于，

具有人脸信息重新登记单元，其调查所述人脸信息记录单元中记录的同一个人脸是否是多个人的脸，在判断为是多个人的脸的情况下，将所述同一个人脸作为多个人脸而重新登记到所述人脸信息记录单元中。

6.根据权利要求1所述的对象确定装置，其特征在于，

具有人脸信息删除单元，其对于所述人脸信息记录单元中记录的人脸、根据该人脸的检测履历计算该人脸的检测频度，在检测频度比预定的频度低的情况下，从所述人脸信息记录单元中删除该人脸。

7.根据权利要求1所述的对象确定装置，其特征在于，

所述人脸信息记录单元将所述人脸检测单元检测出的人脸与该人脸的图像一起进行记录。

8.根据权利要求1所述的对象确定装置，其特征在于，

所述人脸信息记录单元由多个数据库构成，

该对象确定装置具有人脸信息数据库选择单元，其使利用者选择要使用的数据库。

9.一种摄像装置，具有权利要求1～8中的任意一项所述的对象确定装置，还具有：

摄像单元；以及

控制单元，其针对所述对象确定装置从所述摄像单元拍摄到的图像中选择出的人脸，控制所述摄像装置的摄影条件。

10.根据权利要求9所述的摄像装置，其特征在于，

所述人脸选择单元根据所检测出的人脸的检测履历计算检测频度，选择检测频度最高的人脸作为处理对象人脸。

11.根据权利要求9所述的摄像装置，其特征在于，

还具有控制模式切换单元，其可在第一控制模式和第二控制模式之间进行切换，该第一控制模式使摄影条件适合于所述人脸选择单元选择出的人脸，该第二控制模式使利用者确定适合于摄影条件的人脸，

在所述第二控制模式下使用时，在所述人脸信息记录单元中不存在利用者确定为适合于摄影条件的人脸的人脸的情况下，将该人脸新登记到所述人脸信息记录单元中，在所述人脸信息记录单元中存在该人脸的情况下，更新所述人脸信息记录单元中记录的该人脸的检测履历。

12.一种监视装置，具有权利要求1～8中的任意一项所述的对象确定装置，还具有：

摄像单元；以及

通知单元，其在所述对象确定装置从所述摄像单元拍摄到的图像中确定了作为处理对象的人脸时，向利用者进行通知。

13.一种对象确定方法，从图像中包含的多个人脸中选择作为处理对象的人脸，包括如下步骤：

从图像中检测人脸的步骤；以及

根据将过去检测出的人脸和与该检测相关的检测履历关联起来进行记录而得到的人脸信息数据库，从检测出的人脸中选择作为处理对象的人脸。

Images