CN102147856A - 图像识别设备及其控制方法 - Google Patents

Abstract

本发明涉及一种图像识别设备及其控制方法。该图像识别设备从要处理的图像中检测特定被摄体图像，计算该被摄体图像的被摄体可识别性状态与登记图像信息中的被摄体的被摄体可识别性状态之间的一致度，并且计算该被摄体图像的图像特征与登记图像信息中的图像特征之间的类似度。基于该类似度和一致度，图像识别设备识别被摄体图像的被摄体是否是登记图像信息的被摄体。当类似度低于第一阈值、并且一致度等于或高于第二阈值时，图像识别设备识别出被摄体图像的被摄体不同于登记图像信息的被摄体。

Description

图像识别设备及其控制方法

技术领域

本发明涉及一种适合于诸如摄像机等的摄像设备的图像识别设备及其控制方法。

背景技术

近来已经提出了具有识别图像中包含的特定被摄体的被摄体识别功能的摄像设备。利用被摄体识别功能，摄像设备可以优先针对识别出的被摄体控制聚焦和曝光。具有被摄体识别功能的摄像设备首先从该摄像设备通过被摄体识别处理所获得的图像数据检测包含特定被摄体的被摄体图像区域。然后，摄像设备从检测到的被摄体图像区域的图像数据提取用以将被摄体区域识别为识别对象的特征信息。摄像设备将提取出的特征信息与数据库中预先登记的图像的特征信息进行比较。基于通过比较所获得的类似度，摄像设备识别与识别对象相对应的登记对象，或者判断是否存在相应的登记对象。

例如，日本特开2003-187352号公报提出了进行用于将人物的面部检测为特定被摄体区域的人物识别、提取该面部的特征信息并判断具有该面部的人物的系统。在本说明书中，识别与诸如面部等的检测到的图像相对应的人物(被摄体)的处理将被称为“识别”。

如上所述，在被摄体识别时，通过将识别对象与数据库中预先登记的对象进行比较来计算类似度。对要计算的类似度设置预定阈值。如果计算出的类似度等于或高于预定阈值，则判断为识别对象与登记数据库中的对象一致。

当从识别对象的图像和登记数据库中的对象的图像所获得的特征量几乎相等时，类似度高。然而，即使当识别对象和数据库中登记的对象表示同一被摄体时，如果诸如被摄体方向或亮度等的被摄体状态改变，则从这些对象图像所获得的特征量(即，所比较的被摄体和对象的特性)彼此不同，并且类似度变低。由于(1)识别对象与数据库中登记的对象不一致、或者(2)数据库中登记的对象的状态与用作为识别对象的被摄体的状态不一致，因此类似度低于预定阈值。也就是说，不能仅根据类似度值判断为识别对象是数据库中未登记的被摄体。

发明内容

期望解决以上问题，并且本发明的实施例提供一种意图更精确地判断为从图像检测到的被摄体未登记在数据库中的图像识别设备及其控制方法。

根据本发明的一个方面，提供一种图像识别设备，用于在输入图像中识别被摄体，所述图像识别设备包括：数据库，在所述数据库中，与被摄体的标识相关联地登记有通过对所述被摄体进行摄像所获得的图像或图像特征、以及所述被摄体的被摄体可识别性状态，作为登记图像信息；第一计算部件，用于计算所输入的被摄体图像的被摄体可识别性状态与所述登记图像信息中的被摄体可识别性状态之间的一致度；第二计算部件，用于计算所输入的被摄体图像的图像特征与所述登记图像信息中的图像特征之间的类似度；以及识别部件，用于执行识别处理，以基于所述类似度和所述一致度来识别所输入的被摄体图像的被摄体是否是与所述登记图像信息的被摄体相同的被摄体，其中，当所述第二计算部件计算出所述类似度低于第一阈值、并且所述第一计算部件计算出所述一致度等于或高于第二阈值时，所述识别部件识别出所输入的被摄体图像的被摄体不同于所述登记图像信息的被摄体。

此外，根据本发明的另一方面，提供一种图像识别设备的控制方法，所述图像识别设备在输入图像中识别被摄体，所述控制方法包括：登记步骤，用于将通过对被摄体进行摄像所获得的图像或图像特征、以及与所述被摄体有关的被摄体可识别性状态作为登记图像信息与所述被摄体的标识相关联地登记在数据库中；第一计算步骤，用于计算所输入的被摄体图像的被摄体可识别性状态与所述登记图像信息中的被摄体可识别性状态之间的一致度；第二计算步骤，用于计算所输入的被摄体图像的图像或图像特征与所述登记图像信息中的图像或图像特征之间的类似度；以及识别步骤，用于执行识别处理，以基于所述类似度和所述一致度来识别所述被摄体图像的被摄体是否是与所述登记图像信息的被摄体相同的被摄体，其中，当计算出所述类似度低于第一阈值、并且所述一致度等于或高于第二阈值时，在所述识别步骤中识别出所述被摄体图像的被摄体不同于所述登记图像信息的被摄体。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据第一实施例的摄像设备的配置的框图；

图2是示出根据第一实施例的识别处理的流程图；

图3是示出根据第一实施例的识别处理的图；

图4是示出根据第二实施例的摄像设备的配置的框图；

图5是示出根据第二实施例的识别处理的流程图；以及

图6是示出根据第二实施例的识别处理的图。

具体实施方式

现在将参考附图来说明本发明的优选实施例。

第一实施例

图1是示出具有根据第一实施例的图像识别设备的摄像设备100的示意配置的框图。摄像设备100具有进行以下的面部识别的功能：该面部识别用于从通过摄像所获得的图像数据检测人物的面部作为特定被摄体区域，提取该面部的特征信息，并且识别具有该面部的人物。

表示被摄体图像的光束通过摄像镜头101会聚，并且入射诸如CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器等的摄像装置102。摄像装置102根据入射光束的强度而输出针对各像素的电信号。该电信号是视频信号。模拟信号处理单元103对从摄像装置102输出的视频信号进行诸如相关双采样(CDS)等的模拟信号处理。

A/D转换单元104将从模拟信号处理单元103输出的视频信号转换成数字数据，从而生成数字图像。将该数字图像作为要处理的图像输入至摄像控制单元105和图像处理单元106。图像处理单元106对所输入的要处理的图像执行包括伽玛校正和白平衡处理的图像处理。除了通常的图像处理以外，图像处理单元106具有使用从(后面要说明的)被摄体检测单元109和被摄体识别单元111供给的、与图像中的特定被摄体区域有关的信息来进行图像处理的功能。将从图像处理单元106输出的视频信号发送至显示单元107。显示单元107是例如LCD(液晶显示器)或有机EL(电致发光)显示器，并且显示视频信号。显示单元107可以用作用以顺次显示按时间序列检测到的图像的电子取景器(EVF)。将视频信号记录在记录介质108(例如，可拆卸存储卡)上。注意，记录目的地可以是照相机的内置存储器、插入至照相机中的存储器或可通信地连接的外部装置。

还将从图像处理单元106输出的视频信号(要处理的输入图像)供给至被摄体检测单元109。被摄体检测单元109检测该图像中的特定被摄体，并且指定被摄体的数量和被摄体区域。如上所述，本实施例中的目标被摄体可以是人物的面部。由此检测方法可以是已知的面部检测方法。例如，已知的面部检测技术包括使用与面部有关的知识(肤色信息以及诸如眼睛、鼻子和嘴等的部位)的方法、以及基于以神经网络为代表的学习算法配置面部检测用的识别单元的方法。对于高的检测精度，通常组合多个面部检测方法来进行面部检测。例子包括如日本特开2002-251380号公报所述的、使用小波变换和图像特征量来进行面部检测的方法。从被摄体检测单元109输出的信息包括如下数量的被摄体位置、大小、倾斜和检测结果可靠性等，该数量是检测到的被摄体的数量。

状态判断单元110访问数据库112，以判断(后面要说明的)被摄体识别单元111中的识别对象的状态(即，可识别性)与数据库112中预先登记的对象的状态彼此是否一致，或者判断一致度。后面将说明状态判断单元110的详细内容。

被摄体识别单元111从被摄体检测单元109所检测到的被摄体的图像数据(被摄体图像)提取特征信息以将被摄体区域识别为识别对象。被摄体识别单元111将提取出的特征信息与数据库112中预先登记的被摄体图像的特征信息进行比较。更具体地，被摄体识别单元111将被摄体图像的图像特征与数据库112中登记的被摄体的图像特征进行比较。例如，通过使用与在面部检测时提取出的面部部位有关的信息，被摄体识别单元111获得多个类型的项的值，例如，该多个类型的项包括右眼和左眼的中心(例如，瞳孔)之间的距离、右眼和左眼的大小的平均值、连接眼睛的中心和眼角的直线相对于连接右眼和左眼的中心的直线的斜率、嘴的宽度、从右眼和左眼的中心之间的平分点到鼻尖的距离、以及从右眼和左眼的中心之间的平分点到下巴尖的距离。被摄体识别单元111使各项的值标准化，以使得任意项(例如，右眼和左眼的中心之间的距离)的值与预定值一致。被摄体识别单元111使用预先准备的表来将各项的值转换成点。被摄体识别单元111针对这些项的各种组合，计算不同项的点的比，例如，包括右眼和左眼的大小的平均值的点相对于右眼和左眼的中心之间的距离的点的比、以及从右眼和左眼的中心之间的平分点到下巴尖的距离的点相对于嘴宽度的点的比。被摄体识别单元111在数据库112中预先登记的这些人物的比数据中读出人物的比数据，并且获得各计算出的比相对于所读出的比数据的百分比(％)。被摄体识别单元111获得针对项的各种组合所计算出的百分比(％)的平均值，并且将该平均值设置为该人物的识别评价值。技术人员将理解存在获得识别评价值的其它方式，并且以上给出的例子是几种可能性中的一个例子。基于表示通过比较所获得的类似度的识别评价值，被摄体识别单元111识别与识别对象相对应的登记对象，并且判断是否存在相应的登记对象。例如，对识别评价值设置预定阈值。当所获得的识别评价值等于或大于预定阈值时，可以判断为识别对象是数据库112中登记的对象。在以下两种情况下，识别评价值小于预定阈值：

(1)识别对象不同于数据库112中登记的对象，或者

(2)识别对象与登记数据库中的对象一致，但不能获得等于或大于预定阈值的识别评价值。

当例如图像中的被摄体的状态(例如，面部方向)不同时，发生识别对象与数据库112中登记的对象一致、但不能获得等于或大于预定阈值的识别评价值的现象。换言之，所输入的对象不可识别为与数据库中登记的对象相同。由于该原因，当识别评价值小于预定阈值、并且状态判断单元110判断为这两个对象的状态彼此一致(或状态一致度等于或高于预定阈值，这意味着被摄体的可识别性足够相似，以使得如果这两个对象是同一被摄体，则将检测到这两个对象是同一被摄体)时，被摄体识别单元111判断为识别对象是不同于数据库中的被摄体的被摄体。换言之，不会仅仅因为正在识别的面部中的一个面部转过脸去而使得被摄体识别单元111没有发现所输入的面部和数据库的面部相同。相反，更可靠地得出面部实际上不同这一事实。

状态判断单元110中的状态是由使被摄体识别单元111的精度下降的因素所限定的。使被摄体识别单元111的精度下降的因素依赖于被摄体识别单元111的算法等，因此基于被摄体识别单元111的特性来定义状态判断单元110中的状态。状态或可识别性状态的例子包括面部方向、亮度、表情、隐蔽度(例如，被摄体是否戴眼镜或蓄胡须)和被摄体区域大小。

在数据库112中，与被摄体相关联地登记目标被摄体图像、或者被摄体识别用的图像特征量和被摄体可识别性状态。“被摄体可识别性状态”意味着登记了图像的构图。该构图可以包括人物面对的方向(即，直接面向拍摄图像的照相机或面向一侧或面向侧面)。可选地，被摄体可识别性状态可以表示正在摄像的被摄体是否部分模糊。换言之，被摄体可识别性状态与以上所述的被摄体“状态”相同。可以将多个被摄体登记在数据库112中。此外，还可以将针对同一被摄体的多个数据登记在数据库中。在这种情况下，被摄体可以登记有多个不同的状态。注意，可以将被摄体识别图像登记在数据库112中。在本说明书中，将数据库112中与被摄体相关联地登记的图像特征量和被摄体可识别性状态、或图像统称为“登记图像信息”。

摄像控制单元105基于从A/D转换单元104输出的视频信号，控制摄像镜头的(均未示出的)调焦控制机构和曝光控制机构。当控制调焦控制机构和曝光控制机构时，摄像控制单元105可以使用从被摄体检测单元109和被摄体识别单元111供给的目标被摄体区域提取结果的信息。因此，摄像设备100具有进行考虑到所拍摄图像中特定被摄体区域的信息的摄像处理的功能。摄像控制单元105还控制摄像装置102的输出定时和输出像素等。

将参考图2来解释根据第一实施例的被摄体识别处理的序列。

图像处理单元106读取通过利用A/D转换单元104对经由摄像装置102所获得的所拍摄图像进行数字化所获得的图像作为输入图像(步骤S201)。被摄体检测单元109检测该输入图像中的被摄体区域(步骤S202)。状态判断单元110和被摄体识别单元111获得被摄体检测单元109所检测到的被摄体区域的图像作为要识别的被摄体图像。作为被摄体检测单元109的检测结果的信息，获得检测结果的数量、各检测结果在图像中的位置和大小以及检测结果的可靠性等。状态判断单元110和被摄体识别单元111对被摄体检测单元109所提取出的、作为识别对象的各被摄体执行步骤S203～S209中的处理。还可以从被摄体检测单元109所提取出的多个被摄体中选择主被摄体，并且仅对作为识别对象的所选择的被摄体进行步骤S203～S209中的处理。例如，要选择的主被摄体是检测被摄体区域(被摄体图像)时评价值最大的被摄体或被摄体区域的面积最大的被摄体。

状态判断单元110计算用以判断被摄体检测单元109所提取出的被摄体的状态与数据库112中登记的被摄体的状态一致的程度的状态一致度(步骤S203(第一计算处理))。状态一致度越高意味着状态类似度越高。

状态一致判断要素的例子是面部方向。在判断面部方向的一致度时，从识别对象的图像和数据库中登记的对象的图像提取诸如眼睛和嘴等的面部部位的特征点，并且根据提取出的特征点之间的几何关系来估计面部方向。比较识别对象(即，要识别的被摄体图像)的所估计的面部方向和数据库中登记的对象(即，被摄体)的面部方向，由此判断状态一致度。注意，状态一致度判断时的状态是影响被摄体识别单元111的精度的因素就可以了，并不限于面部方向。也就是说，这里使用的状态是根据被摄体识别单元111的系统和算法所定义的，并且除了面部方向以外，还包括“亮度”、“表情”、“隐蔽度”和“大小”。将例示判断各状态的一致度的方法。当使用“亮度”作为状态时，计算识别对象的图像中的亮度值的平均值、和数据库中登记的对象的图像中的亮度值的平均值，并且在这两个平均值之间的差是根据数据库图像计算出的平均值的20％以下的情况下，判断为亮度状态彼此一致，并且百分比越低，状态一致度越高。随着图像变暗，更难以提取被摄体识别单元111获得识别评价值所使用的与面部部位有关的信息。因而，对于较低的数据库图像亮度，基准值20％变为更加严格(即，更低)的值。当使用“表情”时，从识别对象的图像和数据库中登记的对象的图像提取诸如眼睛和嘴等的面部部位的特征点，并且根据眼睛张开(眼高相对于眼宽)的程度、嘴形(嘴的两角是否比嘴的中央高)和眼角的位置等来判断各图像中的面部表情。例如，当眼角向下、眼睛张开的程度低、并且嘴的两角向上时，判断为人物正在微笑。对于表情，仅当所判断出的表情彼此一致时，才判断为状态彼此一致。当使用“隐蔽度”时，从识别对象的图像和数据库中登记的对象的图像检测诸如面具和眼镜等的隐蔽特征，并且在各个图像中检测到的隐蔽特征(或者，实际上为被摄体的隐蔽部位)的面积相对于被摄体(诸如面部等)的面积的比之间的差是数据库图像中的隐蔽特征的面积相对于该被摄体(即，面部)的比的5％以下的情况下，判断为隐蔽特征状态彼此一致，并且百分比越低，状态一致度越高。当使用“大小”、并且从被摄体检测单元109输出的面部大小是数据库中登记的面部大小的一半以下时，判断为大小状态彼此不一致。相反，大小彼此越接近，得出的状态一致度越高。

然后，被摄体识别单元111将被摄体检测单元109提取出的被摄体图像的图像特征与数据库112中登记的被摄体的图像特征进行比较，从而计算第二计算处理中的识别评价值(步骤S204)。该识别评价值表示要识别的被摄体图像和数据库112中登记的被摄体之间的类似度。识别评价值越大表示识别对象和数据库112中登记的被摄体彼此一致的可能性越高。当数据库112中存在多个被摄体时，以数据库112中登记的被摄体的数量的次数执行状态判断单元110的处理(步骤S203)和被摄体识别单元111的处理(步骤S204)。也就是说，对于一个识别对象，获得了如下数量的状态一致度和识别评价值，该数量是数据库112中登记的被摄体的数量。

被摄体识别单元111将识别评价值与第一阈值进行比较，并且如果识别评价值等于或大于第一阈值，则判断为识别对象是与数据库112中登记的被摄体一致的被摄体(步骤S205中为“是”→步骤S206)。如果识别评价值小于第一阈值(S205中为“否”)，则被摄体识别单元111将状态一致度与第二阈值进行比较。如果状态一致度等于或高于第二阈值、即要识别的被摄体的状态与数据库中登记的被摄体的状态一致，则被摄体识别单元111判断为识别对象是与数据库112中登记的被摄体不同的被摄体(步骤S207中为“是”→步骤S208)。如果状态一致度低于预定阈值(步骤S207中为“否”)，则在未判断出识别对象是与数据库中的被摄体不同还是与数据库中的被摄体一致的情况下，被摄体识别单元111判断为不能进行判断(步骤S207中为“否”→步骤S209)。

将参考图3来例示上述的根据第一实施例的被摄体识别处理。在图3中，状态判断单元110判断面部方向的一致度。在图3中，附图标记301表示数据库中登记的图像；并且附图标记302～304表示输入图像。输入图像302相对于登记图像301的识别评价值等于或大于第一阈值，因此判断为识别对象是与数据库中的被摄体相同的被摄体。输入图像303相对于登记图像301的识别评价值小于第一阈值，状态一致度等于或高于第二阈值(即，这两个图像的面部面向同一方向，因此识别评价值的差异不是由于状态的差异引起的)，由此判断为识别对象是与数据库中登记的对象不同的被摄体。输入图像304相对于登记图像301的识别评价值小于第一阈值，状态一致度小于第二阈值，由此并未判断出识别对象是与数据库中登记的对象一致的被摄体还是与数据库中登记的对象不同的被摄体。换言之，不能进行关于来自输入图像的被摄体与所存储的被摄体图像是否相同的判断。

如上所述，根据第一实施例，对于要识别的被摄体图像，在与数据库中登记的被摄体比较时，获得通过被摄体识别所获得的识别评价值、和与被摄体状态有关的状态一致度。当识别评价值小于预定阈值时，通过参考状态一致度来判断识别对象是否不同于所登记的被摄体。换言之，可以更加精确地判断为识别对象是被摄体识别数据库中未登记的被摄体。

在如图2所示的步骤S207中，仅使用状态一致度来进行判断，但本发明不限于此。例如，当在步骤S204中获得的识别评价值小于第三阈值(其中，第三阈值小于第一阈值)、并且状态一致度高于第二阈值(S207)时，可以判断为识别对象不同于数据库中登记的被摄体(步骤S208)。同样，仅当识别评价值等于或大于第一阈值、并且状态一致度等于或高于第四阈值时，处理才可以从步骤S205进入步骤S206，其中，第四阈值与第二阈值相同或不同，并且包括在必须满足S205和S207这两者为肯定才得到S206的实施例中。通过该设置，仅当类似度高、并且状态在一定程度上一致时，才可以判断为要识别的被摄体与数据库中登记的被摄体一致。为了将被摄体图像登记在数据库112中，对于用户而言，向人物分配ID，从所获取的图像中选择与该ID相对应的图像，并将该图像存储在数据库112中，这就足够了。还可以当被摄体识别单元111获得比第一阈值高出预定值以上的识别评价值时，将具有该识别评价值的图像自动添加至数据库112，作为具有该识别评价值的特定人物的图像。

第二实施例

图4是示出根据第二实施例的摄像设备的框图。将主要解释根据第二实施例的摄像设备100的配置和操作与第一实施例中摄像设备100的配置和操作的不同之处。在图4中，与图1中的附图标记相同的附图标记表示具有与第一实施例中的配置相同的配置、并执行与第一实施例中的操作和处理相同的操作和处理的单元。

被摄体追踪单元401基于对于连续帧从被摄体检测单元109供给的检测结果之间的位置类似度和大小类似度来在这些连续帧之间追踪同一被摄体。通过在运动图像中指定同一被摄体，可以保持并应用被摄体识别单元111的针对该被摄体的过去的结果。

执行判断单元402判断被摄体识别单元111是否要对被摄体检测单元109提取出的各被摄体执行识别处理。此外，执行判断单元402从数据库112中登记的被摄体中，选择要进行针对识别对象的识别处理的被摄体。配置如图4所示的执行判断单元402使得可以使用状态判断单元110的结果、和被摄体识别单元111的过去的结果，并且从数据库112中登记的被摄体中选择(由被摄体识别单元111)要进行识别处理的被摄体。

如果被摄体追踪单元401可以在时间序列上连续的运动图像中指定同一被摄体，则可以继承被摄体识别单元111的过去的结果，从而省略了被摄体识别单元111进一步进行识别处理。也就是说，当识别评价值满足预定阈值、并且判断为被摄体已被登记在数据库112中时，可以通过利用被摄体追踪单元401在后续帧中指定被摄体来继承该判断。

在以上所述的第一实施例中，如果被摄体识别单元111所获得的识别评价值小于预定阈值、并且状态判断单元110所获得的一致度高，则判断为识别对象不同于数据库112中登记的被摄体。在本实施例中，对于连续帧中的同一识别对象，可以省略利用数据库112中登记的被摄体的识别处理。假定在数据库112中针对同一被摄体(即具有相同标识的被摄体)登记了多种类型的图像特征和状态，并且根据与图像特征和/或状态中的一个的对照，判断为识别对象不同于登记对象。在这种情况下，针对与该被摄体有关的、数据库112中登记的所有的图像特征和状态，可以省略识别对象的识别处理。此外，当没有剩余要由被摄体识别单元111进行识别处理的被摄体时，可以判断为识别对象是数据库中未登记的被摄体。

将参考图5来解释根据第二实施例的该被摄体识别处理的序列。

在与图2中的步骤S201和S202相同的步骤S501和S502中，被摄体检测单元109从通过对所拍摄图像进行数字化所获得的输入图像获得被摄体区域(被摄体图像)。针对被摄体检测单元109提取出的各被摄体，执行步骤S503～S513。被摄体追踪单元401在时间序列上连续的帧之间追踪同一被摄体(步骤S503)。更具体地，如果在被摄体检测单元109检测到的被摄体中存在连续帧之间的位置类似度和大小类似度满足预定标准的被摄体，则被摄体追踪单元401判断为存在同一被摄体。如果不存在连续帧之间的位置类似度和大小类似度满足预定标准的被摄体，则被摄体追踪单元401将被摄体看作为新出现的被摄体。

执行判断单元402针对由被摄体追踪单元401判断为不是新被摄体的被摄体(识别对象)，判断在过去的帧中是否已经判断为该被摄体与数据库112中登记的特定被摄体一致、或者在过去的帧中是否已经判断为该被摄体未登记在数据库中(是否已经判断为该被摄体不同于数据库112中登记的所有被摄体)(步骤S504)。如果已经判断为识别对象与特定被摄体一致、或者识别对象未登记在数据库中，则执行判断单元402使处理返回至步骤S501(步骤S504中为“是”)，以跳过针对该被摄体的状态一致度判断和被摄体识别处理。如果尚未判断为识别对象与数据库中登记的特定被摄体一致、并且尚未判断为识别对象不同于数据库112中的登记的所有被摄体，则被摄体识别单元111判断数据库112中是否剩余要进行针对识别对象的被摄体识别的登记图像信息(步骤S504中为“否”→步骤S505)。如果数据库112中没有剩余要进行被摄体识别的登记图像信息，则该识别对象不同于数据库112中登记的所有被摄体。因而，被摄体识别单元111判断为识别对象未登记在数据库中(步骤S505中为“否”→步骤S506)。之后，处理返回至步骤S501。

相反，如果数据库112中剩余要进行针对目标被摄体(识别对象)的被摄体识别的登记图像信息，则执行步骤S507～S513中的处理。注意，针对在步骤S505中已经判断为要进行针对识别对象的被摄体识别的、数据库112中登记的所有图像(步骤S505中为“是”)，执行步骤S507～S513。首先，状态判断单元110判断要进行被摄体识别的识别对象的状态一致度(步骤S507)。步骤S507～S513中的处理与图2的步骤S203～S209中的处理相同。通过步骤S507～S513中的处理，获得以下结果之一：

●识别对象与数据库中登记的被摄体一致(步骤S510)，

●识别对象不同于数据库中登记的被摄体(步骤S512)，以及

●不能进行判断(步骤S513)。如果在步骤S512中判断为识别对象不同于数据库中登记的被摄体，则从要进行针对该识别对象的识别的被摄体中排除与登记的该被摄体相关联的登记图像信息。在步骤S510中，可以从要进行针对其它识别对象的识别的登记图像信息中排除与被判断为与识别对象一致的被摄体相关联的登记图像信息。例如，如果在已经进行了面部识别等的一个图像中不存在多个识别对象，则可以消除不需要的识别处理。这样，结果被继承到下一帧(步骤S503)，判断是否执行被摄体识别(步骤S504)，并且选择数据库中要进行被摄体识别的被摄体(步骤S505)。因此，第二实施例可以缩短处理时间。

将参考图6来例示根据第二实施例的被摄体识别的结果。在图6中，状态判断单元110判断面部方向的一致度。在图6中，附图标记601～603表示数据库中登记的被摄体的登记图像。登记图像601和602表示不同面部方向的同一被摄体(对象A)，并且分别给予标识(ID)A-1和A-2。登记图像603表示与登记图像601和602的被摄体不同的被摄体(具有ID B-1的对象B)。附图标记604～607表示场景1中的输入图像；并且附图标记608～611表示场景2中的输入图像。附图标记612表示场景1的被摄体识别执行结果表；并且附图标记613表示场景2的被摄体识别执行结果表。在步骤S510、S512和S513中更新执行结果表612和613。

将解释场景1的执行结果。在帧1中，针对具有数据库ID：A-1的图像的识别对象的识别评价值等于或大于阈值，因此判断为该识别对象与数据库中的对象一致。在针对具有数据库ID：A-2的图像的识别处理中，识别评价值小于阈值，状态一致度低于阈值，并且判断为不能进行判断。在针对具有数据库ID：B-1的图像的识别处理中，识别评价值小于阈值，状态一致度等于或高于阈值，并且判断为识别对象是不同于对象B的被摄体。由于判断为帧1中的识别对象是由数据库ID：A-1所表示的对象A，因此该结果被继承到帧2以后的帧，并且既不执行被摄体识别也不执行状态一致度判断(步骤S 504中为“否”)。这在结果表612中表示为空白。已将第一个输入图像604判断为与具有ID：A-1的登记图像相同，因此对于对同一面部摄像的其余的帧2～4，可以使用该参考。

将解释场景2的执行结果。在帧1中，判断为针对数据库ID：A-1、ID：A-2和ID：B-1的识别对象的识别评价值小于阈值，状态一致度低于阈值，并且判断为不能进行判断。因而，即使在帧2中，也对数据库中登记的所有的被摄体执行被摄体识别和状态一致度判断。作为帧2的结果，对于数据库ID：A-1和ID：B-1，由于识别评价值小于阈值并且状态一致度低于阈值，因此判断为不能进行判断。对于数据库ID：A-2，由于识别评价值小于阈值并且状态一致度等于或高于阈值，因此判断为识别对象是不同于由数据库ID：A-2所表示的对象A的被摄体。继承了该结果(识别对象不是对象A)，并且在帧3中，对数据库ID：A-1和ID：A-2，既不执行被摄体识别也不执行状态一致度判断。因此，在输入图像的帧3中，仅对数据库ID：B-1执行被摄体识别和状态一致度判断。作为帧3的结果，由于对于数据库ID：B-1的识别评价值小于阈值并且状态一致度等于或高于阈值，因此判断为识别对象是不同于由数据库ID：B-1所表示的对象B的被摄体。由于判断为场景2中的识别对象不同于数据库中的所有对象(在该例子中，对象A和B)，因此判断为该识别对象未登记在数据库中(步骤S506)。在帧4以后的帧中，由于知道这些帧中的被摄体不是数据库中的被摄体之一，因此对该被摄体既不执行被摄体识别也不执行状态一致度判断。

如上所述，根据第二实施例，继承了在过去的帧中获得的、针对同一识别对象的被摄体识别和状态一致度判断的判断结果，从而提高了处理效率。

已经说明了本发明的优选实施例，但本发明不限于这些优选实施例，并且可以在不背离本发明的范围的情况下对本发明进行各种变形和修改。本发明的一些可能的变形例如下。

在上述实施例中，可以基于状态判断单元110的结果来更加高效率地进行处理。例如，当识别对象与数据库中的对象的状态一致度低时，被摄体识别单元111不太可能获得满足预定阈值的识别评价值。因而，当识别对象与数据库中的对象的状态一致度低时，对于该帧，可以省略被摄体识别单元111基于数据库所进行的处理。

在上述实施例中，检测人物的面部作为被摄体。然而，本发明不限于人物的面部，并且还可应用于诸如宠物等的动物的脸。本发明不限于面部，并且可应用于人物、动物和机动车等，只要执行了用以提取并指定目标被摄体的被摄体识别即可。

以上实施例已经说明了摄像设备，但本发明不限于摄像设备，并且还可应用于诸如打印机或显示屏等的再现设备。可以将本发明应用于通过使用再现数据作为被摄体识别处理的数据的再现设备。

与仅将输入图像与数据库图像进行比较相比，上述实施例可以更精确地判断为从图像检测到的被摄体未登记在数据库中。

还可以通过读出并执行存储装置上所记录的程序以进行上述实施例的功能的系统或设备的计算机(或者诸如CPU(中央处理单元)或MPU(微处理单元)等的装置)以及通过以下方法来实现本发明的方面，其中，由系统或设备的计算机通过例如读出并执行存储装置上所记录的程序以进行上述实施例的功能，来进行该方法的步骤。为了该目的，例如，经由网络或者从用作存储装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供该程序。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (10)

1.一种图像识别设备，用于在输入图像中识别被摄体，所述图像识别设备包括：

数据库，在所述数据库中，与被摄体的标识相关联地登记有通过对所述被摄体进行摄像所获得的图像或图像特征、以及所述被摄体的被摄体可识别性状态，作为登记图像信息；

第一计算部件，用于计算所输入的被摄体图像的被摄体可识别性状态与所述登记图像信息中的被摄体可识别性状态之间的一致度；

第二计算部件，用于计算所输入的被摄体图像的图像特征与所述登记图像信息中的图像特征之间的类似度；以及

识别部件，用于执行识别处理，以基于所述类似度和所述一致度来识别所输入的被摄体图像的被摄体是否是与所述登记图像信息的被摄体相同的被摄体，

其中，当所述第二计算部件计算出所述类似度低于第一阈值、并且所述第一计算部件计算出所述一致度等于或高于第二阈值时，所述识别部件识别出所输入的被摄体图像的被摄体不同于所述登记图像信息的被摄体。

2.根据权利要求1所述的图像识别设备，其特征在于，当所述第二计算部件计算出所述类似度等于或高于所述第一阈值时，所述识别部件识别出所述被摄体图像的被摄体与所述登记图像信息的被摄体相同。

3.根据权利要求1或2所述的图像识别设备，其特征在于，当所述第二计算部件计算出所述类似度低于所述第一阈值、并且所述第一计算部件计算出所述一致度低于所述第二阈值时，所述识别部件判断为不能进行关于所述被摄体图像的被摄体是否是所述登记图像信息的被摄体的判断。

4.根据权利要求1或2所述的图像识别设备，其特征在于，还包括：

输入部件，用于输入形成运动图像的连续图像作为所述输入图像；

追踪部件，用于在所述运动图像的至少两帧中追踪所输入的被摄体图像；以及

确定部件，用于确定所述识别部件是否要对所述追踪部件所追踪的所输入的被摄体图像和所述数据库中登记的登记图像信息执行所述识别处理，

其中，所述确定部件确定所述识别部件是否要使用在所述数据库中登记的登记图像信息中、除了被摄体已经被判断为与所输入的被摄体图像的被摄体不同的登记图像信息以外的登记图像信息，对所述追踪部件所追踪的被摄体图像执行所述识别处理。

5.根据权利要求4所述的图像识别设备，其特征在于，

所述数据库包含针对一个被摄体的多个登记图像信息，以及

所述确定部件确定所述识别部件是否要使用在所述数据库中登记的登记图像信息中、除了与已经被判断为与所输入的被摄体图像的被摄体不同的被摄体有关的所有的登记图像信息以外的登记图像信息，对所述追踪部件所追踪的所输入的被摄体图像的至少一帧执行所述识别处理。

6.根据权利要求4所述的图像识别设备，其特征在于，当已经判断为所有的登记图像信息均具有与所输入的被摄体图像不同的被摄体时，所述识别部件判断为所输入的被摄体图像的被摄体是未登记的被摄体。

7.根据权利要求4所述的图像识别设备，其特征在于，当已经判断为所输入的被摄体图像的被摄体与所述登记图像信息的被摄体相同时，所述确定单元确定所述识别部件将不对所述追踪部件所追踪的被摄体图像执行所述识别处理。

8.根据权利要求1或2所述的图像识别设备，其特征在于，所述第二计算部件仅针对所述一致度等于或高于所述第二阈值的登记图像信息计算与所输入的被摄体图像的类似度。

9.根据权利要求1或2所述的图像识别设备，其特征在于，所述被摄体可识别性状态包括被摄体方向、被摄体亮度、被摄体隐蔽度以及在所述被摄体是面部的情况下的面部表情至少之一。

10.一种图像识别设备的控制方法，所述图像识别设备在输入图像中识别被摄体，所述控制方法包括：

登记步骤，用于将通过对被摄体进行摄像所获得的图像或图像特征、以及与所述被摄体有关的被摄体可识别性状态作为登记图像信息与所述被摄体的标识相关联地登记在数据库中；

第一计算步骤，用于计算所输入的被摄体图像的被摄体可识别性状态与所述登记图像信息中的被摄体可识别性状态之间的一致度；

第二计算步骤，用于计算所输入的被摄体图像的图像或图像特征与所述登记图像信息中的图像或图像特征之间的类似度；以及

识别步骤，用于执行识别处理，以基于所述类似度和所述一致度来识别所述被摄体图像的被摄体是否是与所述登记图像信息的被摄体相同的被摄体，

其中，当计算出所述类似度低于第一阈值、并且所述一致度等于或高于第二阈值时，在所述识别步骤中识别出所述被摄体图像的被摄体不同于所述登记图像信息的被摄体。

Images