CN101236600A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN101236600A
CN101236600A CNA2008100047642A CN200810004764A CN101236600A CN 101236600 A CN101236600 A CN 101236600A CN A2008100047642 A CNA2008100047642 A CN A2008100047642A CN 200810004764 A CN200810004764 A CN 200810004764A CN 101236600 A CN101236600 A CN 101236600A
Authority
CN
China
Prior art keywords
feature
unit
identification
extracted
countenance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100047642A
Other languages
English (en)
Other versions
CN101236600B (zh
Inventor
金田雄司
真继优和
森克彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101236600A publication Critical patent/CN101236600A/zh
Application granted granted Critical
Publication of CN101236600B publication Critical patent/CN101236600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供了一种图像处理设备和图像处理方法。特征点检测单元(153)和特征量提取单元(154)从所输入的图像数据提取对象的多个特征。当在多个特征中存在未提取到的特征时，权重设置单元(155)为所提取的特征设置权重。脸部表情判断单元(156)基于由所述权重设置单元(155)进行加权后的特征，执行所述对象的识别处理。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及一种执行图像数据中的对象的识别处理的图像处理设备和图像处理方法。
背景技术
已知这样的技术：从图像检测是否存在人脸，并通过检测此人的脸部特征，来识别此人的脸部表情。
例如，已知这样的方法(例如，参见专利文献1)：从图像中提取与易于显现人的脸部表情的预定区域相对应的部分，计算所提取的部分的小波变换，以计算各频带的平均能量，并且基于与从无表情的脸部所获得的平均能量的差异，来检测脸部表情。另外，已知这样的方法(例如，参见专利文献2)：基于预先准备的无表情脸部和待识别脸部的特征量之间的差异，来检测识别脸部表情所需的预定特征的变化，并根据预定特征的变化来计算各种脸部表情的分值，以识别脸部表情。
然而，当利用上述技术时，由于诸如阴影、附属物等的影响，常常不能准确地检测识别处理中使用的特征。
因此，作为即使当这些影响发生时也能实现识别处理的技术，已经提出了下列技术。
下面的专利文献3的技术公开了以下方法。即，将整个的所输入的脸部图像划分成多个块，计算从这些块所获得的特征向量与从预先准备的所登记的图像组所获得的相应块的平均特征向量之间的距离，并针对各个块对特征向量进行加权。此后，基于加权后的特征向量来计算认证分值，从而执行认证处理。另外，下面的专利文献4的技术公开了这样的方法：在脸部部分检测技术中，通过对去除了诸如眼镜的具有闪亮反射表面的对象的反射图像的图像进行处理，来以高精度检测脸部部分。
[专利文献1]日本专利2840816
[专利文献2]日本特开2005-56388
[专利文献3]日本特开2003-323622
[专利文献4]日本特开2002-352229
[专利文献5]日本特开2000-30065
[非专利文献1]Edgar Osuna，Robert Freund，Federico Girosi″Training Support Vector Machines：an Application to FaceDetection″Proceedings of CVPR′97，pp.130-136，1997
[非专利文献2]Yann LeCun and Yoshua Bengio″Convolutional Networks for Images，Speech，and Time Series″The Handbook of Brain Theory and Neural Networks，pp.255-258，1995
[非专利文献3]Watanabe，S.and Pakvasa，N.(1973).Subspace method of pattern recognition，Proceedings of 1stInternational Joint Conference of Pattern Recognition，pp.25-32
可以通过诸如眉毛、眼睛、嘴部、脸颊等的部分的运动的组合，来表示人的脸部表情。在识别脸部表情时，只设置易于显现表情运动的区域，并且在所设置的这些区域中进行分析，而不是仅将脸部区域划分成几个区域并在所有区域中执行分析，从而导致处理成本的降低。
依赖于脸部表情，各区域具有不同的重要等级(例如，当微笑时，嘴部周围的区域容易变化较大，而眼睛周围的区域不会变化如此大)。因此，期望根据待识别的脸部表情，对易于显现表情运动的、构成脸部的诸如眼睛、嘴部等的各部分，或者对在将脸部区域划分成多个区域时的各区域进行加权。
在对人进行认证时，将脸部划分成多个区域，只设置对个人认证重要的区域，并且只有所设置的区域需要进行分析。在这种情况下，从所设置的这些区域所获得的特征具有不同的重要等级。例如，相比于作为对人进行认证所需的特征的、从靠近眼睛和嘴部的区域中提取出的特征，从不包括器官的诸如脸颊的区域中提取出的特征通常具有较低的重要等级。
作为如上所述的设置识别脸部表情所需的区域的方法，例如，可以使用通过某方法提取眼睛和嘴部的位置，并使用这些位置来设置区域的方法。
然而，当由于被诸如太阳镜、胡须、阴影等物体遮挡而不能检测到眼睛和嘴部的位置时，也不能设置易于显现表情运动的区域。在这种情况下，不能检测到所有预定特征，因此不能识别脸部表情。即使当应用某种图像校正时，也不能很好地消除太阳镜、胡须、阴影等的影响。
另一方面，同样，在个人认证的情况下，由于太阳镜、胡须、阴影等的影响，不能设置进行个人认证所需的预定区域，并且不能提取预定特征。因此，在这种情况下通常不能对人进行认证。
发明内容
考虑到上述问题，提出了本发明，本发明的目的是即使当在执行诸如人的脸部表情识别、个人认证等的识别处理时有未提取到的特征时，也能够执行高精度的识别处理。
为了解决上述问题并实现该目的，根据本发明的第一方面，一种图像处理设备，包括：
特征提取单元，用于从所输入的图像数据提取对象中的多个预定的特征；
权重设置单元，用于当存在未被所述特征提取单元提取到的特征时，为由所述特征提取单元所提取的特征设置权重；以及
识别处理单元，用于基于由所述权重设置单元进行加权后的特征，执行所述对象的识别处理。
为了解决上述问题并实现该目的，根据本发明的第二方面，一种图像处理设备，包括：
特征提取单元，用于从所输入的图像数据提取对象中的多个预定的特征；
限制单元，用于当存在未被所述特征提取单元提取到的特征时，基于未提取到的特征，限制识别处理的范围；以及
识别处理单元，用于基于由所述限制单元限制后的所述范围，执行所述对象的识别处理。
为了解决上述问题并实现该目的，根据本发明的第三方面，一种图像处理设备，包括：
特征提取单元，用于从所输入的图像数据提取对象中的多个预定的特征；
补充单元，用于当在多个特征中存在未被所述特征提取单元提取到的特征时，基于由所述特征提取单元所提取的特征的信息，补充未提取到的特征；以及
识别处理单元，用于基于由所述补充单元所补充的未提取到的特征以及由所述特征提取单元所提取的特征，执行所述对象的识别处理。
为了解决上述问题并实现该目的，根据本发明的第四方面，一种图像处理方法，包括：
特征提取步骤，用于从所输入的图像数据提取对象中的多个预定的特征；
权重设置步骤，用于当存在未在所述特征提取步骤中提取到的特征时，为在所述特征提取步骤中所提取的特征设置权重；以及
识别处理步骤，用于基于在所述权重设置步骤中进行加权后的特征，执行所述对象的识别处理。
为了解决上述问题并实现该目的，根据本发明的第五方面，一种图像处理方法，包括：
特征提取步骤，用于从所输入的图像数据提取对象中的多个预定的特征；
限制步骤，用于当存在未在所述特征提取步骤中提取到的特征时，基于未提取到的特征，限制识别处理的范围；以及
识别处理步骤，用于基于在所述限制步骤中限制后的范围，执行所述对象的识别处理。
为了解决上述问题并实现该目的，根据本发明的第六方面，一种图像处理方法，包括：
特征提取步骤，用于从所输入的图像数据提取对象中的多个预定的特征；
补充步骤，用于当在多个特征中存在未在所述特征提取步骤中提取到的特征时，基于在所述特征提取步骤中所提取的特征的信息，补充未提取到的特征；以及
识别处理步骤，用于基于在所述补充步骤中所补充的未提取到的特征以及在所述特征提取步骤中所提取的特征，执行所述对象的识别处理。
通过下面参考附图对示例性实施例的说明，本发明的其他特征将变得显而易见。
附图说明
图1是示出根据第一实施例的摄像装置(图像处理设备)的布置的示意性框图；
图2是示出根据第一实施例的摄像装置(图像处理设备)的控制操作的流程图；
图3是示出与由根据第一实施例的数字信号处理器所执行的脸部表情识别处理相关联的功能布置的框图；
图4是示出作为眼睛/嘴部/脸部检测单元的脸部检测处理的结果所获得的眼睛、嘴部和脸部位置的图；
图5是用于说明图像标准化单元的标准化处理的图；
图6是示出由特征点检测单元所检测到的预定特征点的图；
图7是示出由特征点检测区域设置单元所执行的、图6中所示的与眉毛相关联的特征点的检测区域设置处理的图；
图8是示出由特征点检测区域设置单元所执行的、图6中所示的与眉毛相关联的特征点的检测区域设置处理的图；
图9是示出由特征点检测区域设置单元所执行的、图6中所示的与眼睛相关联的特征点的检测区域设置处理的图；
图10是示出由特征点检测区域设置单元所执行的、图6中所示的与眼睛相关联的特征点的检测区域设置处理的图；
图11是示出由特征点检测区域设置单元所执行的、图6中所示的与嘴部相关联的特征点的检测区域设置处理的图；
图12是示出由特征点检测区域设置单元所执行的、图6中所示的与嘴部相关联的特征点的检测区域设置处理的图；
图13是示出由特征量提取单元所提取的特征量的图；
图14是示出在基于由特征量提取单元所提取的特征量来计算变化时的处理的流程图；
图15是示出权重设置单元基于特征量提取结果的权重设置方法的流程图；
图16A和图16B是示出与各脸部表情编号相对应的、所提取的特征量的加权LUT(查找表格，Look Up Tables)的例子的图；
图17是示出生成图16A或16B所示的LUT(LUT1)的方法的流程图；
图18是示出从各特征点所提取的各特征量的重要等级(权重)的例子的图表；
图19是示出当未提取到图18所示的特征量中的特征量A时，根据LUT1改变所提取的其他特征量B和C的权重的情况的例子的图表；
图20是示出与由根据第二实施例的数字信号处理器所执行的脸部表情识别处理相关联的功能布置的框图；
图21是示出由特征向量提取区域设置单元执行来设置提取特征向量的提取区域的处理的图；
图22是示出在脸部表情限制单元执行脸部表情限制处理时所使用的LUT的例子的图；
图23是示出由脸部表情限制单元所执行的处理的流程图；
图24是示出图22所示的用于限制脸部表情的LUT(LUT2)的生成方法的流程图；
图25是示出与由根据第三实施例的数字信号处理器所执行的脸部表情识别处理相关联的功能布置的框图；
图26是示出由特征点补充单元所执行的未检测到的特征点的补充处理的流程图；
图27是示出特征点检测单元未检测到一些特征点时的脸部图像数据的图；
图28是示出补充图27中所示的未检测到的特征点的方法的图；
图29是示出根据第四实施例的摄像装置(图像处理设备)的控制操作的流程图；
图30是示出与由根据第四实施例的数字信号处理器所执行的个人认证处理相关联的功能布置的框图；
图31是示出由待认证人限制单元所执行的待认证人限制处理的流程图；
图32是示出佩戴太阳镜并且嘴部附近留有胡须的人的脸部图像数据的图；
图33是示出登记在数据库中的已登记的人以及与这些人相对应的关键词的图；
图34是示出将加权处理添加到由待认证人限制单元所执行的待认证人限制处理(图31)的处理的流程图；
图35是示出仅执行所提取的特征向量的加权处理，而不执行图34中所示的处理中的待认证人限制处理的处理的流程图；以及
图36是示出提取区域1102被遮挡时的人的脸部图像数据的图。
具体实施方式
在下文中将参考附图来详细说明本发明的优选实施例。注意，将以摄像装置的应用例子作为根据本发明的图像处理设备，来给出下面的说明。
第一实施例
在下文中将参考附图来详细说明本发明的第一实施例。
图1是示出根据第一实施例的摄像装置(图像处理设备)100的布置的示意性框图。在本实施例中，数字静止照相机用作摄像装置100的例子。
参考图1，摄像镜头组101将被摄体的光学图像引导到摄像装置100中。光量调节单元102包括光圈结构和快门结构，并调节通过摄像镜头组101进入的被摄体的光学图像的光量。摄像元件103将已经穿过摄像镜头组101的被摄体的光学图像(光束)转换成电信号，并包括例如CCD、CMOS传感器等。
模拟信号处理器104对作为从摄像元件103输出的电信号的模拟信号应用箝位处理、增益处理等。模数(在下文中简写为“A/D”)转换器105将从模拟信号处理器104输出的模拟信号转换成数字信号，并输出该数字信号，作为图像数据。
数字信号处理器107对来自A/D转换器105的或者来自存储器控制器106的图像数据应用预定的像素插值处理、颜色转换处理等。数字信号处理器107使用这些图像数据来执行预定运算处理，并且还基于所获得的运算结果，执行TTL(通过镜头，through-the-lens)AWB(自动白平衡，auto white balance)处理。另外，数字信号处理器107从图像数据检测特定对象，并在系统控制器112(稍后将说明)的控制下，对特定对象执行脸部表情识别处理。
系统控制器112(稍后将说明)还执行基于数字信号处理器107的运算结果对曝光控制器113和焦点控制器114执行控制的TTL AF(自动调焦)处理、AE(自动曝光)处理和EF(电子闪光灯预发光，electronic flash pre-emission)处理。
存储器控制器106控制模拟信号处理器104、A/D转换器105、数字信号处理器107、存储器108、数模(在下文中简写为“D/A”)转换器109和接口(I/F)111。利用该控制，经由数字信号处理器107和存储器控制器106，或者直接经由存储器控制器106，将由A/D转换器105 A/D转换后的图像数据写(存储)在存储器108中。
存储器108包括例如RAM，并存储诸如要在显示单元110上显示的图像数据等的各种数据。将存储在该存储器108中的图像数据等经由D/A转换器109显示在包括TFT、LCD等的显示单元110上。存储器108可以存储与所拍摄的静止图像相关联的图像数据以及与运动图像相关联的图像数据，并具有足够大的存储容量，以存储与预定数量的静止图像相关联的图像数据以及与预定时间段的运动图像相关联的图像数据。
因此，即使在用于连续拍摄多个静止图像的连续摄像和全景摄像的情况下，也可以将图像数据高速大量写入存储器108中。另外，存储器108可以用作系统控制器112的工作区。注意，可以通过接口(I/F)111将与所拍摄的静止图像和运动图像相关联的图像数据写入诸如CD-ROM、软盘、硬盘、磁带、磁光盘、非易失性存储卡等的存储介质中。
显示单元110显示由摄像元件103所拍摄的图像数据。在这种情况下，当在显示单元110上依次显示图像数据时，显示单元110可以用作所谓的电子取景器。另外，在系统控制器112的控制下，显示单元110可以任意地打开/关闭它的显示。当显示单元110的显示关闭时，相比于显示打开的情况，可以显著降低摄像装置100的功率消耗。显示单元110根据系统控制器112的程序执行，使用文本、图像等，来显示操作状态、消息等。
接口(I/F)111控制例如摄像装置100和诸如存储卡、硬盘等的存储介质之间的连接。该接口(I/F)111可以用于与其他计算机、诸如打印机的外围装置等交换图像数据以及附加到图像数据的管理信息。当该接口(I/F)111被配置为符合PCMCIA卡、CF(CompactFlash)卡等的标准时，可以连接各种通信卡。作为各种通信卡，可以使用诸如LAN卡、调制解调卡、USB卡、IEEE1394卡、P1284卡、SCSI卡、PHS等的通信卡。
系统控制器112系统地控制摄像装置100的整体操作。系统控制器112在它的内部存储器中存储它自身的操作程序，以及识别特定对象的脸部和脸部表情所需的常量、变量、程序等。注意，可以使用诸如CD-ROM、软盘、硬盘、磁带、磁光盘、非易失性存储卡等的存储介质，来改变存储在系统控制器112的内部存储器中的这些常量、变量、程序等。系统控制器112的操作程序以及识别特定对象的脸部和脸部表情所需的数据和程序可以在执行时从存储介质载入，而无需存储在系统控制器112的内部存储器中。
曝光控制器113控制光量调节单元102的光圈结构和快门结构。焦点控制器114控制摄像镜头组101的调焦和变焦。使用例如TTL系统来控制曝光控制器113和焦点控制器114，并且系统控制器112基于数字信号处理器107的图像数据运算结果，来控制曝光控制器113和焦点控制器114。
下面将说明根据本实施例的摄像装置100的控制操作。
图2是示出根据第一实施例的摄像装置(图像处理设备)100的控制操作的流程图。注意，实现图2中所示的处理所需的程序存储在系统控制器112的内部存储器中，并在系统控制器112的控制下执行。当例如摄像装置100接通电源时，开始图2所示的处理。
在步骤S200中，系统控制器112通过初始化存储在它的内部存储器中的各种标记、控制变量等，进行初始化设置。
在步骤S201中，系统控制器112检测摄像装置100的模式设置状态，以判断所检测到的设置模式。作为判断结果，如果设置模式是自动摄像模式，则处理进入步骤S203。另一方面，作为步骤S201中的判断结果，如果设置模式不是自动摄像模式，则在步骤S202中，系统控制器112执行根据所选择的设置模式的处理，并且在完成该处理之后，处理返回步骤S201。
在步骤S203中，系统控制器112判断摄像装置100的电源的剩余电量和运行状态是否会引起问题。作为判断结果，如果电源会引起问题，则在步骤S204中，系统控制器112使用显示单元110生成预定的可视或可听的警告，然后，处理返回步骤S201。
另一方面，作为步骤S203中的判断结果，如果电源不会引起任何问题，则在步骤S205中，系统控制器112判断存储介质是否会在摄像装置100的操作(特别是关于存储介质的图像数据的记录和再生)中引起问题。作为判断结果，如果存储介质会引起问题，则在步骤S204中，系统控制器112使用显示单元110生成预定的可视或可听的警告，然后，处理返回步骤S201。
另一方面，作为步骤S205中的判断结果，如果存储介质不会引起任何问题，则处理进入步骤S206。在步骤S206中，系统控制器112使用显示单元110利用图像、音频等来显示用户界面(在下文中简写为“UI”)，该用户界面允许用户对摄像装置100进行各种设置。以这种方式，用户进行各种设置。
在步骤S207中，系统控制器112将显示单元110上的拍摄图像显示设置为打开状态。
在步骤S208中，  系统控制器112设置直通显示(throughdisplay)状态，以基于所拍摄的图像数据依次显示所拍摄的图像。在该直通显示状态下，由于依次写入存储器108中的图像数据依次显示在显示单元110上，所以实现了电子取景器的功能。
然后，在步骤S209中，系统控制器112判断诸如摄影者等的用户是否按下摄像装置100的快门开关(未示出)从而接通快门开关。作为用户没有接通快门开关的判断结果，处理返回步骤S201。
另一方面，作为步骤S209中的判断结果，如果用户接通了快门开关，则在步骤S210中，系统控制器112使曝光控制器113和焦点控制器114执行预定的AE控制和AF控制，然后，执行摄像操作。注意，可以在接通快门开关之后以预定的时间间隔执行AE控制和AF控制，或者可以根据在步骤S212(稍后将说明)中的脸部表情识别处理中所执行的脸部检测处理的结果，再次执行AE控制和AF控制。
在步骤S211中，系统控制器112在显示单元110上直通显示作为步骤S210中的摄像操作的结果所获得的图像数据。
在步骤S212中，系统控制器112控制数字信号处理器107，以使用所拍摄的图像数据来执行脸部表情识别处理。
下面将说明步骤S212中的人(对象)的脸部表情识别处理的方法。
图3是示出与由数字信号处理器107所执行的脸部表情识别处理相关联的功能布置的框图。
图3中所示的眼睛/嘴部/脸部检测单元150对从A/D转换器105输出的图像数据(数字信号)应用预定处理，以基于该图像数据，检测图像中的特定对象的脸部位置、眼睛位置和嘴部位置。
图像标准化单元151基于由眼睛/嘴部/脸部检测单元150所检测到的眼睛位置、嘴部位置和脸部位置的信息，对图像数据中的脸部图像数据中的脸部图像大小和旋转方向(方位)执行标准化处理。
特征点检测区域设置单元152使用由图像标准化单元151进行标准化后的脸部图像数据以及由眼睛/嘴部/脸部检测单元150所检测到的脸部、眼睛和嘴部位置的信息，来设置要检测预定特征点的区域。
特征点检测单元153从由图像标准化单元151进行标准化后的脸部图像数据以及由特征点检测区域设置单元152所设置的各设置区域检测预定特征点。特征量提取单元154基于由特征点检测单元153所检测到的预定特征点，提取在脸部表情识别中所使用的预定特征量。注意，特征点检测单元153和特征量提取单元154构成用于从所输入的图像数据提取对象中的多个特征的特征提取单元。
当不能提取到一些特征量时，权重设置单元155基于特征量提取单元154的特征量提取结果，改变预定特征量的权重。
脸部表情判断单元156使用由特征量提取单元154所提取的预定特征量以及由权重设置单元155所设置的权重，来判断脸部表情。注意，脸部表情判断单元156构成用于执行所输入的图像数据中的对象的识别处理的识别处理单元。
下面将详细说明图3中所示的单元。
眼睛/嘴部/脸部检测单元150对从A/D转换器105输出的图像数据(数字信号)应用脸部检测处理。
图4是示出作为由眼睛/嘴部/脸部检测单元150所执行的脸部检测处理的结果所获得的人的眼睛、嘴部和脸部位置的图。注意，通过下列方法实现由眼睛/嘴部/脸部检测单元150所执行的脸部位置的检测处理。例如，如在以上非专利文献1中所述，预先准备并利用支持向量机(Support Vector Machine)学习大量的脸部图像数据和非脸部图像数据，并分开检测脸部区域和非脸部区域。作为结果，检测到图4中所示的脸部位置302。
通过与脸部位置的检测处理相同的方法，来实现眼睛和嘴部位置的检测处理。即，预先准备并利用支持向量机学习大量的眼睛和嘴部图像数据以及非眼睛和非嘴部的图像数据，以搜索图4中所示的所检测到的脸部位置302的周围部分。作为结果，检测到图4中所示的眼睛位置300和301以及嘴部位置303。作为另一种方法，可以使用用于在所检测到的脸部位置302的周围检测眼睛和嘴部位置的模板，来检测图4中所示的眼睛位置300和301以及嘴部位置303。注意，眼睛位置300和301、嘴部位置303和脸部位置302的检测方法并不限于这些方法，可以使用其他方法检测这些位置。如在非专利文献2中所述，可以将卷积神经网络(Convolutional Neural Network)应用于脸部检测。
图像标准化单元151使用由眼睛/嘴部/脸部检测单元150所检测到的图4中所示的脸部位置302以及眼睛位置300和301三点的位置信息，对眼睛/嘴部/脸部检测单元150所使用的脸部图像数据执行大小和旋转方向(方位)的标准化处理。
图5是用于说明由图像标准化单元151所执行的标准化处理的图。图5示出当脸部图像数据的大小和旋转方向经历标准化处理时的脸部图像数据。
在本实施例中，如图5所示，通过执行仿射变换(Affinetransformation)，以使连接两点，即眼睛位置300和301的直线的倾斜具有预定的倾斜(在图5的例子中，该倾斜与水平方向一致)，并且眼睛位置300和301之间的距离具有预定的距离，来实现标准化处理。即，在本实施例中，如图5所示，脸部图像数据304的大小和旋转方向(方位)被标准化为脸部图像数据305。注意，可以使用眼睛位置300和301以及嘴部位置303、脸部位置302和嘴部位置303等，来执行脸部图像数据的大小和旋转方向的标准化处理。标准化处理并不限于这些方法，可以使用其他的方法。
图6是示出由特征点检测单元153所检测到的预定特征点的图。特征点检测区域设置单元152设置用于检测图6所示的特征点350至367的区域。
首先，将说明图6所示的与眉毛相关联的特征点350至355的检测区域设置处理。
图7和图8是示出由特征点检测区域设置单元152所执行的、图6所示的与眉毛相关联的特征点的检测区域设置处理的图。
如图7所示，假定用于检测图6中的特征点350的检测区域400在x方向上的范围从{(左眼位置300的x坐标)-(a/2)}延伸至(左眼位置300的x坐标)。另外，如图7所示，假定检测区域400在y方向上的范围从{(左眼位置300的y坐标)-(a/2)}延伸至(左眼位置300的y坐标)。注意，值a对应于左眼位置300和右眼位置301之间的距离。
如图7所示，假定用于检测图6中的特征点352的检测区域401在x方向上的范围从(左眼位置300的x坐标)延伸至{(左眼位置300的x坐标)+(a/2)}。另外，如图7所示，假定检测区域401在y方向上的范围从{(左眼位置300的y坐标)-(a/2)}延伸至(左眼位置300的y坐标)。
如图8所示，假定用于检测图6中的特征点351的检测区域404在x方向上的范围从{(左眼位置300的x坐标)-(a/8)}延伸至{(左眼位置300的x坐标)+(a/8)}。另外，如图8所示，假定检测区域404在y方向上的范围从{(左眼位置300的y坐标)-(a/2)}延伸至(左眼位置300的y坐标)。
已经对用于检测与左侧眉毛相关联的特征点350至352的检测区域401、402和404的设置方法进行了说明。注意，通过与用于左侧眉毛的方法相同的方法，来实现用于检测与右侧眉毛相关联的特征点353至355的检测区域402、403和405的设置方法。
下面将说明图6中所示的与眼睛相关联的特征点356至363的检测区域设置处理。
图9和图10是示出由特征点检测区域设置单元152所执行的、图6中所示的与眼睛相关联的特征点的检测区域设置处理的图。
如图9所示，假定用于检测图6中的特征点356的检测区域406在x方向上的范围从{(左眼位置300的x坐标)-(a/2)}延伸至(左眼位置300的x坐标)。另外，如图9所示，假定检测区域406在y方向上的范围从{(左眼位置300的y坐标)-(a/4)}延伸至{(左眼位置300的y坐标)+(a/4)}。
如图9所示，假定用于检测图6中的特征点359的检测区域4070在x方向上的范围从(左眼位置300的x坐标)延伸至{(左眼位置300的x坐标)+(a/2)}。另外，如图9所示，假定检测区域4070在y方向上的范围从{(左眼位置300的y坐标)-(a/4)}延伸至{(左眼位置300的y坐标)+(a/4)}。
如图10所示，假定用于检测图6中的特征点357的检测区域410在x方向上的范围从{(左眼位置300的x坐标)-(a/8)}延伸至{(左眼位置300的x坐标)+(a/8)}。另外，如图10所示，假定检测区域410在y方向上的范围从{(左眼位置300的y坐标)-(a/4)}延伸至(左眼位置300的y坐标)。
如图10所示，假定用于检测图6中的特征点358的检测区域411在x方向上的范围从{(左眼位置300的x坐标)-(a/8)}延伸至{(左眼位置300的x坐标)+(a/8)}。另外，如图10所示，假定检测区域411在y方向上的范围从(左眼位置300的y坐标)延伸至{(左眼位置300的y坐标)+(a/4)}。
已经对用于检测与左眼相关联的特征点356至359的检测区域406和4070、410和411的设置方法进行了说明。注意，通过与用于左眼的方法相同的方法，来实现用于检测与右眼相关联的特征点360至363的检测区域408和409、412和413的设置方法。
下面将说明图6中所示的与嘴部相关联的特征点364至367的检测区域设置处理。
图11和图12是示出由特征点检测区域设置单元152所执行的、图6中所示的与嘴部相关联的特征点的检测区域设置处理的图。
如图11所示，假定用于检测图6中的特征点364的检测区域414在x方向上的范围从{(嘴部位置303的x坐标)-(3a/4)}延伸至(嘴部位置303的x坐标)。另外，如图11所示，假定检测区域414在y方向上的范围从{(嘴部位置303的y坐标)-(3a/8)}延伸至{(嘴部位置303的y坐标)+(3a/8)}。
如图11所示，假定用于检测图6中的特征点367的检测区域415在x方向上的范围从(嘴部位置303的x坐标)延伸至{(嘴部位置303的x坐标)+(3a/4)}。另外，如图11所示，假定检测区域415在y方向上的范围从{(嘴部位置303的y坐标)-(3a/8)}伸至{(嘴部位置303的y坐标)+(3a/8)}。
如图12所示，假定用于检测图6中的特征点365的检测区域416在x方向上的范围从{(嘴部位置303的x坐标)-(a/8)}延伸至{(嘴部位置303的x坐标)+(a/8)}。另外，如图12所示，假定检测区域416在y方向上的范围从{(嘴部位置303的y坐标)-(3a/8)}延伸至(嘴部位置303的y坐标)。
如图12所示，假定用于检测图6中的特征点366的检测区域417在x方向上的范围从{(嘴部位置303的x坐标)-(a/8)}延伸至{(嘴部位置303的x坐标)+(a/8)}。另外，如图12所示，假定检测区域417在y方向上的范围从(嘴部位置303的y坐标)延伸至{(嘴部位置303的y坐标)+(3a/8)}。
注意，图像区域的上述划分方法并不限于本实施例中所述的那些。例如，划分区域的数目可以进一步增大。
特征点检测单元153使用已经经历由图像标准化单元151所执行的大小和旋转方向的标准化处理的脸部图像数据305以及由特征点检测区域设置单元152所设置的特征点检测区域，来执行特征点检测处理。作为这种情况下的特征点检测方法，使用这样的方法：如脸部检测中一样，预先准备检测诸如内外眼角等的图6所示的特征点350至367所需的模板，并在由特征点检测区域设置单元152所设置的特征点检测区域内进行检测。注意，特征点检测方法并不限于这样的特定方法，可以使用其他的方法。
图13是示出要由特征量提取单元154提取的特征量的图。
特征量提取单元154从由特征点检测单元153所检测到的特征点350至367提取预定特征量450至464。
特征量提单元154提取下列预定特征量。即，单元154从特征点352和353之间的x方向上的距离中提取眉毛距离450。单元154从特征点351和357之间的y方向上的距离中提取眉毛-上眼睑距离451，并从特征点354和361之间的y方向上的距离中提取眉毛-上眼睑距离452。单元154从特征点352和359之间的y方向上的距离中提取眉毛-内眼角距离453，并从特征点353和360之间的y方向上的距离中提取眉毛-内眼角距离454。单元154从特征点350和356之间的y方向上的距离中提取眉毛-外眼角距离455，并从特征点355和363之间的y方向上的距离中提取眉毛-外眼角距离456。
另外，特征量提取单元154从特征点356和359之间的x方向上的距离中提取外眼角-内眼角距离457，并从特征点360和363之间的x方向上的距离中提取外眼角-内眼角距离458。单元154从特征点357和358之间的y方向上的距离中提取上眼睑-下眼睑距离459，并从特征点361和362之间的y方向上的距离中提取上眼睑-下眼睑距离460。单元154从特征点356和364之间的y方向上的距离中提取外眼角-嘴部端点距离461，并从特征点363和367之间的y方向上的距离中提取外眼角-嘴部端点距离462。单元154从特征点364和367之间的x方向上的距离中提取嘴部端点距离463。单元154从特征点365和366之间的y方向上的距离中提取上嘴唇-下嘴唇距离464。
特征量提取单元154基于从预先准备的无表情的脸部图像数据所获得的特征量以及从要进行脸部表情识别的图像数据所获得的特征量，来计算特征量的变化。
图14是根据由特征量提取单元154所提取的特征量来计算变化时的处理的流程图。
在步骤S300中，特征量提取单元154判断由特征量提取单元154所提取的特征量是不是预先准备的无表情图像数据的特征量。作为判断结果，如果由特征量提取单元154所提取的特征量是无表情图像数据的特征量，则在步骤S301中，特征量提取单元154将由特征量提取单元154所提取的特征量存储在例如它的内部存储器中，作为基准特征量。
另一方面，作为步骤S300中的判断结果，如果由特征量提取单元154所提取的特征量不是无表情图像数据的特征量，即，如果特征量是要进行脸部表情识别的图像数据的特征量，则处理进入步骤S302。在步骤S302中，特征量提取单元154计算从要进行脸部表情识别的图像数据中所提取的特征量和在步骤S301中登记的无表情图像数据的特征量之间的差值或者比率，从而计算相对于无表情图像数据的变化。
在这种情况下，可以通过使用前一帧图像数据、  自动提取的无表情数据或者平均无表情模型来计算差值或比率的方法，来实现特征量变化的计算处理，从而计算变化。因此，该处理并不限于本实施例中所述的方法。
图15是示出由权重设置单元155所执行的基于特征量提取结果的权重设置方法的流程图。图16A和图16B是示出与各脸部表情编号相对应的所提取的特征量的加权LUT(查找表格)的例子的图。图16A和图16B示出分配有根据脸部表情的类型的脸部表情编号的LUT(下文称为“LUT1”)；图16A示出脸部表情编号为1的LUT，图16B示出脸部表情编号为2的LUT，……。
如图15所示，在步骤S400中，权重设置单元155判断特征量提取单元154是否能够提取所有的预定特征量。作为判断结果，如果单元154可以提取所有的预定特征量，则在步骤S401，单元155使用预先为各脸部表情的各特征量设置的权重。
另一方面，作为步骤S400中的判断结果，如果特征量提取单元154不能提取所有的预定特征量(它不能提取某些预定特征量)，则在步骤S402中，对于可以提取的特征量，权重设置单元155为各脸部表情的各特征量重新设置权重。在重新设置权重时，单元155参考预先准备的图16A或图16B所示的LUT1，以为各脸部表情的各特征量重新设置权重。
注意，在本实施例中，特征量提取失败的原因包括：特征点检测单元153的特征点提取失败、特征点检测区域设置单元152的用于提取特征点的检测区域的设置失败等。
下面将说明LUT1的生成方法。
图17是示出图16A或16B所示的LUT(LUT1)的生成方法的流程图。利用LUT1的该生成方法，根据未提取到的特征量的数量来改变权重的总和。
即，对于某种脸部表情，在步骤S500中，权重设置单元155判断未检测到的特征量的数量是否小于n。作为判断结果，如果未检测到的特征量的数量小于n，则在步骤S501中，单元155设置权重，使得权重的总和等于α(α是常量)。
另一方面，作为步骤S500中的判断结果，如果未检测到的特征量的数量等于或大于n，则在步骤S502中，权重设置单元155将权重的总和设置为α-β*n(β是常量)，并且根据所提取的特征量的重要等级，将权重分配给特征量。
例如，如果n＝1，则检测到有未提取到的特征量时的权重的总和与提取了所有特征量时的权重的总和不相等，而以与未提取到的特征量的数量相对应的方式降低权重的总和。即使当未检测到的特征量的数量等于或大于n时，也可以进行加权，使得权重的总和等于α。
下面将使用实际的例子来说明为什么根据未检测到的特征量来重新设置权重。
图18是示出从特征点中提取出的特征量的重要等级(权重)的例子的图表。
例如，假定当特征点检测单元153不能检测到某些特征点，并且特征量提取单元154不能提取到特征量A时，执行对脸部表情中的微笑脸部表情进行加权的处理。
参考图18，当横坐标标出特征量的变化而纵坐标标出分值时，用于加权的各权重对应于“斜率”。在这种情况下，相比于其他特征量B 501和C 502，特征量A 500具有用于判断是不是微笑脸部表情的较高的重要等级(权重)。但是，由于不能提取到特征量A 500，因此不能使用它。
因此，通常使用具有大权重的特征量A 500以外的其他特征量B 501和C 502，来判断微笑脸部表情。但是，当前所设置的权重仅当提取到所有的特征量A至C时才能用于判断微笑脸部表情。
因此，当使用这些权重来判断微笑脸部表情时，由于不能提取到的特征量A 500具有较大的影响，所以代表微笑脸部表情的程度的总分值表现为非常小的值。因此，在本实施例中，根据图16A或图16B所示的LUT1来改变权重。
图19是示出当不能提取到图18所示的特征量中的特征量A时，根据LUT1改变其他所提取的特征量B和C的权重的情况示例的图表。
例如，如图19所示，使用图16A或图16B所示的LUT1，将所提取的特征量B 501的权重改变为特征量B′503，将所提取的特征量C 502的权重改变为特征量C′504。
在图18和图19的例子中，通过线性函数的斜率来定义各特征量的权重。但是，在本实施例中，各特征量的权重并不限于线性函数的斜率。以这种方式，通过为所有特征量中所提取到的特征量重新设置权重，可以使用所提取到的特征量和它们的权重来执行脸部表情识别处理。
脸部表情判断单元156计算各脸部表情的分值，并将分值最高的脸部表情判断为要进行脸部表情识别的图像数据的人(对象)的脸部表情。通过上述处理，实现图2中的步骤S212中的脸部表情识别处理。
作为各脸部表情的分值的计算方法的例子，根据下面的等式(1)，基于编号为N的脸部表情的特征量i的特征量变化li和权重wi N，使用预定函数func，来计算编号为N的脸部表情的该特征量i的分值(Scorei N)。注意，预定函数func与图18和图19所示的各线性函数相对应。然后，根据下面的等式(2)，将数量与特征量的数量n相等的、所计算得到的分值(Scorei N)相加，从而计算编号为N的脸部表情的脸部表情分值(SumScoreN)。
Score i N = func ( l i , w i N ) . . . ( 1 )
SumScoreN = Σ i = 0 n Scor e i N . . . ( 2 )
其中，N：脸部表情编号，i：特征量编号，li：特征量i的变化，n：特征量的数量，wi N：编号为N的脸部表情的特征量i的权重，func：分值计算函数，Scorei N：从特征量i计算得到的编号为N的脸部表情的分值，以及SumScoreN：编号为N的脸部表情的总分值。
将返回图2进行说明。
在通过上述处理完成图2中的步骤S212中的脸部表情识别处理之后，处理进入步骤S213。
在步骤S213中，系统控制器112判断作为步骤S212中的脸部表情识别处理的结果所判断得到的脸部表情是不是预先设置的预定脸部表情(例如，微笑)。作为判断结果，如果作为步骤S212中的脸部表情识别处理的结果所判断得到的脸部表情是预先设置的预定脸部表情，则处理进入步骤S214。
在步骤S214中，系统控制器112进行控制，以使用摄像元件103执行摄像操作，并将所获得的图像数据写(存储)在存储器108中。
在步骤S215中，系统控制器112进行控制，以在显示单元110上显示作为步骤S214中的摄像操作的结果所获得的图像数据，作为快速回放。
在步骤S216中，系统控制器112控制例如数字信号处理器107，以对写入存储器108中的所拍摄的图像数据执行图像压缩处理，然后，执行用于通过接口111将处理后的图像数据记录在记录介质中的记录处理。在记录介质中的记录处理之前，可以根据需要执行诸如用于对高或低亮度颜色进行消色的消色处理等的其他图像处理。
在完成步骤S216中的处理之后，或者如果在步骤S213中判断为作为步骤S212中的脸部表情识别处理的结果所判断得到的脸部表情不是预先设置的预定脸部表情，则处理进入步骤S217。
在步骤S217中，系统控制器112通过检测例如用户是否再次按下摄像装置100的快门开关(未示出)从而接通快门开关，来判断自动摄像操作是否要结束。
作为步骤S217中的判断结果，如果自动摄像操作不是要结束，则处理返回步骤S211。另一方面，作为步骤S217中的判断结果，如果自动摄像操作要结束，则结束图2所示的流程图中的处理。
根据第一实施例的摄像装置，即使当没有检测到所有的预定特征量时，改变可以提取的预定特征量的权重，并识别图像数据中的人的脸部表情，从而实现高精度的识别处理。
注意，第一实施例已经说明了将数字静止照相机应用为摄像装置100的例子的情况。例如，可以应用摄像机等。另外，可以通过计算机执行预定的程序，来在数据库中的运动图像数据或静止图像数据中搜索预定脸部表情的脸部图像数据。
第二实施例
在下文中将参考附图来详细说明本发明的第二实施例。
除了数字信号处理器107的内部布置之外，根据第二实施例的摄像装置(图像处理设备)的布置与图1所示的根据第一实施例的摄像装置的布置相同。即，本实施例采用图20所示的数字信号处理器207，来代替图1所示的根据第一实施例的数字信号处理器107。除了步骤S212中的脸部表情识别处理的内容以外，根据第二实施例的摄像装置(图像处理设备)的控制操作与图2所示的根据第一实施例的摄像装置的控制操作相同。
图20是示出与要由第二实施例的数字信号处理器207执行的脸部表情识别处理相关联的功能布置的框图。
通过对从A/D转换器105输出的图像数据(数字信号)应用预定处理，图20中所示的眼睛/嘴部/脸部检测单元600检测基于图像数据的图像中的特定对象的脸部、眼睛和嘴部的位置。
图像标准化单元601基于由眼睛/嘴部/脸部检测单元600所检测到的眼睛、嘴部和脸部位置的信息，对图像数据中的脸部图像数据中的脸部图像大小和旋转方向(方位)执行标准化处理。
特征向量提取区域设置单元602使用由眼睛/嘴部/脸部检测单元600所检测到的眼睛、嘴部和脸部位置的信息以及由图像标准化单元601进行标准化后的图像数据，来设置用于提取特征向量的各提取区域。
特征向量提取单元603使用由特征向量提取区域设置单元602所设置的提取区域以及由图像标准化单元601进行标准化后的图像数据，来提取特征向量。注意，特征向量提取单元603构成用于从所输入的图像数据提取对象中的多个特征的特征提取单元。
脸部表情限制单元604基于特征向量提取单元603的特征向量提取结果，来限制要进行脸部表情识别处理的人的脸部表情的范围。
权重设置单元605使用例如图16A或图16B所示的LUT1，对由脸部表情限制单元604限制后的脸部表情中的特征向量进行加权。
脸部表情判断单元606使用由脸部表情限制单元604限制后的各脸部表情的信息、由权重设置单元605所设置的权重以及由特征向量提取单元603所提取的特征向量，来执行脸部表情识别处理。作为脸部表情识别处理的结果，脸部表情判断单元606将由脸部表情限制单元604限制后的脸部表情中的具有最高分值的脸部表情判断为要进行脸部表情识别的图像数据的人(对象)的脸部表情。
下面将详细说明该脸部表情识别处理。
眼睛/嘴部/脸部检测单元600和图像标准化单元601分别执行与第一实施例中的眼睛/嘴部/脸部检测单元150和图像标准化单元151的处理相同的处理。
下面将说明特征向量提取区域设置单元602的处理的细节。
图21是示出由特征向量提取区域设置单元602执行来设置提取特征向量的提取区域的处理的图。图21示出由特征向量提取区域设置单元602所设置的特征向量提取区域701至707。另外，令a为左眼位置300和右眼位置301之间的x方向上的距离。
假定图21所示的特征向量提取区域701在x方向上的范围从{(左眼位置300的x坐标)-(a/2)}延伸至{(左眼位置300的x坐标)+(a/2)}。另外，假定特征向量提取区域701在y方向上的范围从{(左眼位置300的y坐标)-(3a/4)}延伸至{(左眼位置300的y坐标)-(a/4)}。
假定图21所示的提取区域703在x方向上的范围从{(左眼位置300的x坐标)-(a/2)}延伸至{(左眼位置300的x坐标)+(a/2)}。另外，假定提取区域703在y方向上的范围从{(左眼位置300的y坐标)-(a/4)}延伸至{(左眼位置300的y坐标)+(a/4)}。
假定图21所示的提取区域705在x方向上的范围从{(脸部位置302的x坐标)-a}延伸至(脸部位置302的x坐标)。另外，假定提取区域705在y方向上的范围从{(脸部位置302的y坐标)-(a/4)}延伸至{(脸部位置302的y坐标)+(a/4)}。
已经说明了脸部图像数据左侧的特征向量提取区域701、703和705的设置方法。同样，通过与左侧提取区域的方法相同的方法，实现脸部图像数据右侧的提取区域702、704和706的设置方法。
假定图21所示的提取区域707在x方向上的范围从{(嘴部位置303的x坐标)-(3a/4)}延伸至{(嘴部位置303的x坐标)+(3a/4)}。另外，假定提取区域707在y方向上的范围从{(嘴部位置303的y坐标)-(3a/8)}延伸至{(嘴部位置303的y坐标)+(3a/8)}。
注意，图像区域的上述划分方法并不限于该实施例中所述的方法。例如，划分区域的数量可以进一步增大。
特征向量提取单元603通过对由图像标准化单元601进行标准化后的图像数据应用诸如索贝尔(Sobel)滤波器等的边缘检测滤波器，来生成边缘图像数据。
然后，特征向量提取单元603使用由特征向量提取区域设置单元602所设置的提取区域以及边缘检测滤波器的输出值，提取作为边缘检测滤波器的输出值本的特征向量。
例如，令a(i，j)为某n1×m1像素区域中的(i，j)分量的滤波器输出值。然后，特征向量提取单元603计算(n1×m1)维特征向量A(…，a(i，j)，…)。单元603以与预定提取区域的数量相等的次数重复该计算，以从边缘脸部图像数据中提取数量与预定提取区域的数量N相等的特征向量。在随后的脸部表情判断处理中使用从预定提取区域中提取出的N个滤波器输出值的特征向量。
注意，上述滤波器可以使用其他类型的滤波器，或者可以使用标准亮度的图像数据本身，而无需进行任何滤波处理。在本实施例中，特征向量提取失败的原因包括：预定滤波器的输出值的获取失败、用于提取特征向量的提取区域的设置失败等。
脸部表情限制单元604基于特征向量提取区域设置单元602的提取区域设置结果或者特征向量提取单元603的特征向量提取结果，来限制要进行脸部表情识别处理的人的脸部表情的范围。
图22是示出当脸部表情限制单元604执行脸部表情限制时所使用的LUT的例子的图。在下列说明中，图22所示的LUT将被称为“LUT2”。
当不能从未设置的区域A，即，提取区域A提取特征向量时，参考图22所示的LUT2，仅对与编号为1的脸部表情、编号为2的脸部表情、……相对应的脸部表情应用脸部表情识别处理。
例如，当由于一些附属物而不能检测到眼睛位置300和301，并且不能设置图21所示的特征向量提取区域701至704时，即，当不能从这些提取区域提取特征向量时，参考图22所示的预先准备的LUT2，仅执行微笑脸部表情的脸部表情识别处理。
如上所述，例如，由于微笑脸部表情的特征在于嘴部周围的部分通常变化较大，所以嘴部周围的部分具有判断微笑脸部表情所需的高重要等级。因此，当不能从特征向量提取区域701至704提取特征向量时，基于从提取区域707中所提取的特征向量，来分析嘴部周围部分的变化。结果，只有具有较大程度的变化的诸如微笑脸部表情等(即，可以进行高精度的识别处理)的限制后的脸部表情可以进行识别处理。
图23是示出由脸部表情限制单元604所执行的处理的流程图。
在步骤S600中，脸部表情限制单元604判断特征向量提取单元603是否提取了所有的(N个)特征向量。
作为步骤S600中的判断结果，如果特征向量提取单元603提取了所有的(N个)特征向量，则在步骤S601中，脸部表情限制单元604对所有的脸部表情应用识别处理，而不限制要进行识别处理的脸部表情。
另一方面，作为步骤S600中的判断结果，如果特征向量提取单元603不能提取所有的(N个)特征向量(它不能提取一些特征向量)，则处理进入步骤S602。在步骤S602中，脸部表情限制单元604使用例如上述LUT2，来限制要进行识别处理的脸部表情。
图24是示出用于限制脸部表情的图22所示的LUT(LUT2)的生成方法的流程图。
在步骤S700中，脸部表情限制单元604对所有脸部表情中的每种的特征向量进行加权。
在步骤S701中，脸部表情限制单元604假定不能提取某一脸部表情X的特征向量Y。
在步骤S702中，脸部表情限制单元604判断特征向量Y的权重是否落入脸部表情X中的前Z名之内。
作为步骤S702中的判断结果，如果特征向量Y的权重没有落入脸部表情X中的前Z名之内，则在步骤S703中，脸部表情限制单元604将脸部表情X设置为即使当没有检测到特征向量Y时也可以进行识别处理的脸部表情，即限制后的脸部表情。
另一方面，作为步骤S702中的判断结果，如果特征向量Y的权重落入脸部表情X中的前Z名之内，则在步骤S704中，脸部表情限制单元604将脸部表情X设置为当没有检测到特征向量Y时就不进行识别处理的脸部表情。
如图16A或图16B所示的LUT1中一样，权重设置单元605为由脸部表情限制单元604限制后的脸部表情的特征向量预先准备加权LUT3，并参考加权LUT3来设置权重。
脸部表情判断单元606计算与由脸部表情限制单元604限制后的各脸部表情相对应的基准特征向量与由特征向量提取单元603所提取的特征向量之间的相似度。此后，脸部表情判断单元606将从各脸部表情的各特征向量获得的相似度累加，以计算脸部表情的总相似度，并将相似度最高的脸部表情判断为要进行脸部表情识别的图像数据的人(对象)的脸部表情。
注意，上述基准特征向量是通过准备多个人的、包括每个人的各种脸部表情的大量数据库，从各脸部表情的各区域中所计算得到的特征向量的平均值。即，从人A的脸部表情1的区域d中计算出特征向量1，从人B的脸部表情1的区域d中相似地计算出特征向量2。对多个人进行这样的计算，并将所计算得到的这些特征向量的平均值用作基准特征向量。
下面将说明计算基准特征向量和由特征向量提取单元603所提取的特征向量之间的相似度的方法。
例如，如在以上非专利文献3中所述，从各区域中所提取的基准特征向量经历主成分分析(principal component analysis)，以确定均由前k个本征向量构成的局部空间。然后，将特征向量投影到根据基准特征向量所确定的局部空间中，并计算通过将它们的欧几里得(Euclidean)距离的倒数乘以由权重设置单元605所设置的权重而获得的值，作为各特征向量的相似度。在限制后的脸部表情中，将相似度总和最大的脸部表情判断为要进行脸部表情识别的图像数据的人(对象)的脸部表情。
注意，可以通过本实施例的方法以外的方法来提取基准特征向量。另外，可以使用欧几里得距离以外的其他要素来计算两个特征向量之间的相似度。可以采用将通过将欧几里得距离的倒数乘以权重而获得的值定义为相似度的方法以外的方法。另外，可以准备多个输入图像，并且可以使用以上专利文献5中所述的有限共有局部空间的方法等。
根据第二实施例的摄像装置，即使当不能提取到预定特征向量时，由于限制了要进行识别处理的脸部表情，因此可以对图像数据中的人的脸部表情精确地执行识别处理。
注意，如第一实施例中一样，第二实施例对将数字静止照相机应用为摄像装置100的例子的情况进行了说明。例如，可以应用摄像机等。另外，可以通过计算机执行预定程序，以在数据库中的运动图像数据或静止图像数据中搜索预定脸部表情的脸部图像数据。
第三实施例
在下文中将参考附图来详细说明本发明的第三实施例。
除了数字信号处理器107的内部布置以外，根据第三实施例的摄像装置(图像处理设备)的布置与图1所示的根据第一实施例的摄像装置的布置相同。即，本实施例采用图25所示的数字信号处理器307，来代替图1所示的根据第一实施例的数字信号处理器107。除了步骤S212中的脸部表情识别处理的内容以外，根据第三实施例的摄像装置(图像处理设备)的控制操作与图2所示的根据第一实施例的摄像装置的控制操作相同。
图25是示出与要由根据第三实施例的数字信号处理器307所执行的脸部表情识别处理相关联的功能布置的框图。
图25所示的眼睛/嘴部/脸部检测单元800通过对从A/D转换器105输出的图像数据(数字信号)应用预定处理，来检测基于图像数据的图像中的特定对象的脸部、眼睛和嘴部的位置。
图像标准化单元801基于由眼睛/嘴部/脸部检测单元800所检测到的眼睛、嘴部和脸部位置的信息，对图像数据中的脸部图像数据中的脸部图像大小和旋转方向(方位)执行标准化处理。
特征点检测区域设置单元802使用由图像标准化单元801进行标准化后的脸部图像数据以及由眼睛/嘴部/脸部检测单元800所检测到的眼睛、嘴部和脸部位置的信息，来设置预定特征点检测区域。
特征点检测单元803根据由图像标准化单元801进行标准化后的脸部图像数据以及由特征点检测区域设置单元802所设置的设置区域，来检测预定特征点。
当存在未被特征点检测单元803检测到的一些特征点时，特征点补充单元804补充特征点。
特征量提取单元805从由特征点检测单元803所检测到的预定特征点以及由特征点补充单元804所补充的特征点，提取用于脸部表情识别的预定特征量。
权重设置单元806为由特征量提取单元805所提取的特征量设置权重。
脸部表情判断单元807使用由特征量提取单元805所提取的预定特征量以及由权重设置单元806所设置的权重，来判断脸部表情。
下面将详细说明图25所示的各单元。
由于眼睛/嘴部/脸部检测单元800、图像标准化单元801、特征点检测区域设置单元802以及特征点检测单元803执行与图3所示的具有相同名称的单元所执行的处理相同的处理，所以将不会给出它们的详细说明。
下面将详细说明特征点补充单元804。
图26是示出由特征点补充单元804所执行的未检测到的特征点的补充处理的流程图。图27示出当特征点检测单元803不能检测到一些特征点360和363时的脸部图像数据。图28是示出补充图27所示的未检测到的特征点的方法的图。
在图26的步骤S800中，特征点补充单元804判断当特征点检测单元803检测特征点时，是否存在未检测到的特征点。作为判断结果，如果没有未检测到的特征点，则图26所示的流程图的处理结束。
另一方面，作为步骤S800中的判断结果，如果存在如图27所示的特征点360和363的未检测到的特征点，则处理进入步骤S801。在步骤S801中，特征点补充单元804判断是否检测到位于与未检测到的特征点关于预定轴(特定轴)对称的位置处的特征点。即，如果未检测到的特征点是特征点360，则单元804判断是否检测到与特征点360关于穿过脸部区域中心(即图28所示的脸部位置302)、作为中心轴(预定轴)的直线对称的特征点359。
作为步骤S801中的判断结果，如果检测到位于与未检测到的特征点关于预定轴对称的位置处的特征点，则在步骤S802中，特征点补充单元804执行未检测到的该特征点的补充处理。
在步骤S802中，如例如图28所示，特征点补充单元804参考脸部位置302，计算所检测到的特征点359的相对坐标(x1，y1)。然后，单元804使用脸部位置302(x，y)和相对坐标(x1，y1)，来计算坐标(x+x1，y-y1)，并将该坐标设置为特征点360的坐标值。关于未检测到的特征点363，单元804执行与关于特征点360所执行的处理相同的处理，以计算特征点363的坐标值。以这种方式，对于几乎没有变化的特征点，使用所检测到的特征点来执行补充处理。
另一方面，作为步骤S801中的判断结果，如果没有检测到位于与未检测的特征点关于预定轴对称的位置处的特征点，则在步骤S803中，特征点补充单元804跳过未检测到的特征点的补充处理。
如第一实施例的特征量提取单元154中一样，特征量提取单元805提取与要进行识别处理的图像数据相关联的特征量。此后，单元805计算与要进行识别处理的图像数据相关联的特征量和从预先准备的无表情脸部图像数据所获得的特征量之间的差值或者比率，从而计算要进行识别处理的图像数据的特征量的变化。
如第一实施例的权重设置单元155中一样，权重设置单元806使用例如图16A或图16B所示的加权LUT1，对各脸部表情的特征量进行加权。
如第一实施例的脸部表情判断单元156中一样，脸部表情判断单元807计算与各脸部表情相关联的总分值，并将分值最高的脸部表情判断为要进行识别处理的图像数据的人的脸部表情。
根据第三实施例的摄像装置，当存在未检测到的特征点时，在补充未检测到的特征点之后执行加权处理，从而图像数据中的人的脸部表情可以以高精度进行识别处理。
注意，如第一实施例中一样，第三实施例对数字静止照相机应用为摄像装置100的例子的情况进行了说明。例如，可以应用摄像机等。另外，可以通过计算机执行预定程序，以在数据库中的运动图像数据或静止图像数据中搜索预定脸部表情的脸部图像数据。
第四实施例
在下文中将参考附图来详细说明本发明的第四实施例。
除了数字信号处理器107的内部布置以外，根据第四实施例的摄像装置(图像处理设备)的布置与图1所示的根据第一实施例的摄像装置的布置相同。即，本实施例采用图30所示的数字信号处理器407，来代替图1所示的根据第一实施例的数字信号处理器107。
更具体地，第一实施例中(在第二和第三实施例中同样)的数字信号处理器执行脸部表情识别处理。然而，第四实施例的数字信号处理器407执行稍后将要说明的个人认证处理。除了用图29所示的步骤S901和S902中的处理来代替图2所示的步骤S212和S213以外，根据第四实施例的摄像装置(图像处理设备)的控制操作与图2所示的根据第一实施例的摄像装置的控制操作相同。
图29是示出根据第四实施例的摄像装置(图像处理设备)100的控制操作的流程图。注意，实现图29所示的处理所需的程序存储在系统控制器112的内部存储器中，并在系统控制器112的控制下执行。
在系统控制器112执行图2所示的步骤S200到S211中的处理之后，在步骤S901中，它控制数字信号处理器407，来使用所拍摄的图像数据执行个人认证处理。
在步骤S902中，系统控制器112判断作为步骤S901中的个人认证处理的结果所判断得到的人是不是预先设置的预定的人。作为判断结果，如果作为步骤S901中的个人认证处理的结果所判断得到的人是预先设置的预定的人，则系统控制器112执行图2所示的步骤S214至S217中的处理，然后，结束该流程图的处理。
另一方面，作为步骤S902中的判断结果，如果作为步骤S901中的个人认证处理的结果所判断得到的人不是预先设置的预定的人，则处理进入步骤S217。如果在步骤S217中判断为自动摄像操作将要结束，则该流程图的处理结束。
图30是示出与要由第四实施例的数字信号处理器407所执行的个人认证处理相关联的功能布置的框图。
图30所示的眼睛/嘴部/脸部检测单元1000通过对从A/D转换器105输出的图像数据(数字信号)应用预定处理，检测基于图像数据的图像中特定对象的脸部、眼睛和嘴部的位置。
图像标准化单元1001基于由眼睛/嘴部/脸部检测单元1000所检测到的眼睛、嘴部和脸部位置的信息，对图像数据中的脸部图像数据中的脸部图像大小和旋转方向(方位)执行标准化处理。
特征向量提取区域设置单元1002使用由眼睛/嘴部/脸部检测单元1000所检测到的眼睛、嘴部和脸部位置的信息以及由图像标准化单元1001进行标准化后的图像数据，来设置用于提取特征向量的各提取区域。
特征向量提取单元1003使用由特征向量提取区域设置单元1002所设置的提取区域以及由图像标准化单元1001进行标准化后的图像数据，来提取特征向量。
待认证人限制单元1004基于特征向量提取单元1003的特征向量提取结果，来限制待认证人的范围。
个人认证单元1005使用由特征向量提取单元1003所提取的特征向量，对由待认证人限制单元1004限制后的待认证人应用个人认证处理。
下面将详细说明图30所示的各单元。
由于眼睛/嘴部/脸部检测单元1000、图像标准化单元1001、特征向量提取区域设置单元1002以及特征向量提取单元1003执行与图20所示的具有相同名称的单元所执行的处理相同的处理，所以将不会给出它们的详细说明。
下面将详细说明待认证人限制单元1004。
图31是示出由待认证人限制单元1004所执行的待认证人限制处理的流程图。
在步骤S1000中，待认证人限制单元1004判断特征向量提取单元1003是否提取了所有的特征向量。作为判断结果，如果特征向量提取单元1003提取了所有的特征向量，则在步骤S1001中，单元1004选择存储在数据库中的所有人作为待认证人。
另一方面，作为步骤S1000中的判断结果，如果特征向量提取单元1003没有提取所有的特征向量(它没有提取一些特征向量)，则在步骤S1002中，待认证人限制单元1004判断未提取到的特征向量的数量是否等于或小于预定值。
作为步骤S1002中的判断结果，如果未提取到的特征向量的数量等于或小于预定值，则在步骤S1003中，待认证人限制单元1004执行待认证人限制处理。即，例如，当不能从由特征向量提取区域设置单元1002所设置的提取区域A中提取特征向量时，单元1004从预先准备的数据库中仅选择在提取区域A以外的提取区域中具有对个人认证有效的特征的人。下面将参考图32来说明这种情况的实际例子。
图32示出佩戴太阳镜并且嘴部附近留有胡须的人的脸部图像数据。注意，提取区域1101至1106是由特征向量提取区域设置单元1002所设置的并用于提取特征向量的提取区域。图33示出登记在数据库中的已登记的人以及与这些人相对应的关键词。
当不能从图32所示的提取区域1101和1102中提取与眼睛区域相关联的特征向量时，待认证人限制单元1004将待认证人限制为预先准备的数据库中的在嘴部附近具有对个人认证有效的特征的人，例如，如图32所示的在嘴部附近留有胡须的人等。为了从数据库中只选择嘴部附近留有胡须的人，在登记人时将图33所示的关键词“胡须”结合起来进行登记。以这种方式，可以容易地从数据库中只选择嘴部附近留有胡须的人。
以这种方式，执行图31所示的步骤S1003中的待认证人限制处理。
另一方面，作为图31中的步骤S1002中的判断结果，如果未提取到的特征向量的数量大于预定值，则在步骤S1004中，待认证人限制单元1004跳过个人认证处理。
下面将详细说明个人认证单元1005。
如第二实施例中所述的方法中一样，个人认证单元1005计算来自为待认证的某个人所准备的多个图像数据的相同区域的特征向量。然后，单元1005计算所计算得到的特征向量的平均值，以获得平均特征向量。
个人认证单元1005对从各提取区域提取出的平均特征向量进行主成分分析，并计算前k个本征向量，以确定它们的局部空间。单元1005将由特征向量提取单元1003所提取的特征向量投影到局部空间中，并基于它们的欧几里德距离等来计算相似度。然后，在已知的方法中，单元1005将与相似度总和最大的所登记的图像数据相对应的人判断为认证出的人，该相似度是从特征向量获得的。注意，个人认证方法可以使用本实施例的方法之外的方法，并可以使用欧几里德距离之外的要素来计算相似度。
以这种方式，即使当不能提取到预定特征向量时，如果所提取到的特征向量包括对人进行认证所需的重要信息，则只有具有作为关键词的该信息的已登记的人被选择，并进行认证处理，从而实现对特定人的个人认证。如上所述，即使当没有提取到所有的特征向量时，也可以通过限制待认证人的范围，来执行对限制后的待认证人的认证处理。
作为另一种方法，不仅可以通过基于从所输入的图像数据中所获得的特征向量的提取结果来执行待认证人限制处理，而且可以在改变所提取的特征向量的权重之后，来执行认证处理。在改变特征向量的权重时，例如，使用预先准备的LUT(LUT4)。
在这种情况下要使用的LUT4的生成方法中，当存在未提取到的特征时，如在第一实施例中已经说明的一样，可以以与未提取到的特征的数量相对应的方式降低权重的总和，并根据未提取到的特征以外的所提取的特征的重要等级来分配权重。
例如，下面将对不能从图32所示的提取区域1101和1102中提取特征向量的情况进行说明。在这种情况下，在已登记的人中只有嘴部附近留有胡须的人进行认证处理。然而，由于提取区域1103至1106中的提取区域1103和1104包括胡须，所以从这些区域所提取的特征对于识别一个人很重要。因此，将提取区域1103和1104的权重设置为大于提取区域1105和1106的权重。下面将参考流程图来说明该加权处理。
图34是示出加权处理添加到由待认证人限制单元1004所执行的待认证人限制处理(图31）的处理的流程图。在图34中，相同的步骤编号表示与图31中的处理步骤相同的处理步骤。
如图31中一样，在步骤S1000中，待认证人限制单元1004判断特征向量提取单元1003是否提取了所有的特征向量。作为判断结果，如果特征向量提取单元1003提取了所有的特征向量，则在步骤S1001中，单元1004选择存储在数据库中的所有人作为待认证人。
另一方面，作为步骤S1000中的判断结果，如果特征向量提取单元1003没有提取到所有的特征向量(它没有提取到一些特征向量)，则如图31中一样，在步骤S1002中，待认证人限制单元1004判断未提取到的特征向量的数量是否等于或小于预定值。
作为步骤S1002中的判断结果，如果未提取到的特征向量的数量等于或小于预定值，则在步骤S1101中，待认证人限制单元1004使用上述LUT4等，对由特征向量提取单元1003所检测到的特征向量进行加权。然后，在步骤S1102中，单元1004执行待认证人限制处理。
另一方面，作为步骤S1002中的判断结果，如果未提取到的特征向量的数量大于预定值，则如图31中一样，在步骤S1004中，待认证人限制单元1004跳过个人认证处理。
注意，在个人认证单元执行认证处理时，相似度计算方法使用在第二实施例中所述的方法等。
如上所述，即使当不能提取到预定特征向量时，也可以对具有包括对他们进行认证所需的重要信息的所提取的特征向量的人应用个人认证处理。在本实施例的摄像装置中，当没有提取到所有的特征向量时，改变所提取的特征向量的权重，以限制待认证人的范围，从而允许对限制后的人进行认证处理。
当不能提取到某些特征向量时，可以在使用用于个人认证的LUT5简单地改变所提取的特征向量的权重之后，执行认证处理，而不执行用于限制待认证人的处理。在这种情况下，在LUT5的生成方法中，根据未提取到的特征的数量，来降低权重的总和，并以与所提取的特征的重要等级相对应的方式分配这些权重。在这种情况下，权重的总和可能不会根据未提取到的特征的数量而减小。
图35是仅执行所提取的特征向量的加权处理，而不执行图34所示的处理中的待认证人限制处理的处理的流程图。更具体地，当不能提取到某些特征向量时，使用预先准备的LUT5来改变其他所提取的特征向量的权重，并对所有的待认证人应用认证处理。相同的步骤编号代表与图34中的处理步骤相同的处理步骤。将对各步骤给出说明。
如图34(图31)中一样，在步骤S1000中，待认证人限制单元1004判断特征向量提取单元1003是否提取了所有的特征向量。作为判断结果，如果特征向量提取单元1003提取了所有的特征向量，则在步骤S1001中，单元1004选择存储在数据库中的所有的人作为待认证人。
另一方面，作为步骤S1000中的判断结果，如果特征向量提取单元1003没有提取到所有的特征向量(它没有提取到某些特征向量)，则如图31中一样，在步骤S1002中，待认证人限制单元1004判断未提取到的特征向量的数量是否等于或小于预定值。
作为步骤S1002中的判断结果，如果未提取到的特征向量的数量等于或小于预定值，则在步骤S1201中，待认证人限制单元1004使用上述LUT5等，对由特征向量提取单元1003所检测到的特征向量进行加权。即，如图36所示，当(由于遮挡等原因)不能检测到提取区域1102时，单元1004使用用于个人认证的LUT5，对从提取区域1101以及1103至1106中所提取的特征向量进行加权。在图35的情况下，然后，处理进入步骤S1001，以选择存储在数据库中的所有的人作为待认证人。
另一方面，作为步骤S1002中的判断结果，如果未提取到的特征向量的数量大于预定值，则如图31中一样，在步骤S1004中，待认证人限制单元1004跳过个人认证处理。注意，可以使用如在第二实施例的脸部表情识别处理中所述的相似度，或者使用其他方法，来实现个人认证方法。
根据第四实施例的摄像装置，即使当没有提取到所有的特征向量时，也可以通过改变所提取的特征向量的权重，来以高精度对图像数据中的人执行认证处理。
注意，如在其他实施例中一样，第四实施例对将数字静止照相机应用为摄像装置100的例子的情况进行了说明。例如，可以应用摄像机等。另外，可以通过计算机执行预定的程序，以在数据库中的运动图像数据或静止图像数据中搜索预定人的脸部图像数据。
在根据上述实施例的摄像装置(图形处理设备)100中，即使当执行识别处理(脸部表情识别或者个人认证)时存在一些未提取到的特征时，基于这些特征来对所提取的特征重新进行加权，以实现识别处理。或者当存在一些未提取到的特征时，使用所提取的特征补充未提取到的特征，然后，在加权之后执行识别处理(脸部表情识别或者个人认证)。利用该处理，即使当存在一些未提取到的特征时，也可以执行高精度的识别处理(人的脸部表情识别或者个人认证)。
另外，关于人的预定脸部表情，通常只有预定的特征或区域变化较大。例如，在微笑脸部表情的情况下，靠近嘴部区域的部分变化较大。另外，关于特定人的认证，认证中所使用的并构成脸部的特定部分或区域通常变成从其他人中区分给定人所需的最重要的特征。例如，对于嘴部附近留有胡须的人，嘴部附近的特征，而不是其他特征，通常变成用于从其他人中区分他的最重要的特征。因此，在根据上述实施例的摄像装置(图像处理设备)100中，即使当存在一些未提取到的特征时，限制要判断的脸部表情或者待认证的人，以执行高精度的识别处理(人的脸部表情识别或者个人认证)。
当运行存储在计算机的ROM、RAM等中的程序时，可以实现图1、图3、图20、图25和图30所示的、构成根据上述实施例的摄像装置(图像处理设备)100的单元，以及图2、图14、图15、图17、图23、图24、图26、图29、图31、图34和图35中的、示出摄像装置100中的图像处理方法的各步骤。该程序以及记录该程序的计算机可读存储介质包括在本发明中。
更具体地，通过将该程序记录在诸如CD-ROM等的存储介质上，或者通过各种传输介质，将该程序提供给计算机。作为记录该程序的存储介质，除CD-ROM外，还可以使用软盘、硬盘、磁带、磁光盘、非易失性存储卡等。另一方面，作为该程序的传输介质，可以使用用于通过将程序信息作为载波发送以提供该程序信息的计算机网络(诸如互联网的LAN、WAN，无线通信网络，等)系统中的通信介质。作为这种情况下的通信介质，可以使用诸如光纤等的有线线路、无线线路等。
不仅在当计算机执行所提供的程序时实现了根据实施例的摄像装置100的功能的情况下，而且在通过与OS(操作系统)、其他应用软件等协作的程序实现了根据实施例的摄像装置100的功能的情况下，或者在当计算机的功能扩展板或单元执行所提供的程序的全部或部分处理时实现了根据实施例的摄像装置100的功能的情况下，这样的程序包括在本发明中。
虽然已经参考示例性实施例对本发明进行了说明，但是应当理解为本发明并不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以包括所有这样的修改以及等同结构和功能。

Claims (13)

1.一种图像处理设备，包括：
特征提取单元，用于从所输入的图像数据提取对象中的多个预定的特征；
权重设置单元，用于当存在未被所述特征提取单元提取到的特征时，为由所述特征提取单元所提取的特征设置权重；以及
识别处理单元，用于基于由所述权重设置单元进行加权后的特征，执行所述对象的识别处理。
2.根据权利要求1所述的图像处理设备，其特征在于，所述对象是人，并且所述图像处理设备还包括脸部检测单元，所述脸部检测单元用于从所述图像数据检测所述对象的脸部，
其中，所述特征提取单元从所述图像数据提取由所述脸部检测单元所检测到的所述对象的脸部上的多个预定的特征。
3.根据权利要求2所述的图像处理设备，其特征在于，还包括标准化单元，用于对由所述脸部检测单元所检测到的所述对象的脸部的大小和方向进行标准化，
其中，所述特征提取单元从所述图像数据提取由所述标准化单元进行标准化后的所述对象的脸部上的多个预定的特征。
4.根据权利要求1所述的图像处理设备，其特征在于，还包括区域设置单元，用于对所述图像数据设置与待由所述特征提取单元提取的多个特征相关联的区域，
其中，所述特征提取单元从由所述区域设置单元所设置的所述区域提取所述多个特征。
5.根据权利要求1所述的图像处理设备，其特征在于，所述特征提取单元计算与特征相关联的变化，作为关于所述对象的特征。
6.根据权利要求1所述的图像处理设备，其特征在于，所述对象是人，并且所述识别处理单元执行所述对象的脸部表情的识别处理和所述对象的个人认证之一，作为所述识别处理。
7.根据权利要求1所述的图像处理设备，其特征在于，还包括存储单元，用于基于所述识别处理单元的识别处理结果，存储所述图像数据。
8.一种图像处理设备，包括：
特征提取单元，用于从所输入的图像数据提取对象中的多个预定的特征；
限制单元，用于当存在未被所述特征提取单元提取到的特征时，基于未提取到的特征，限制识别处理的范围；以及
识别处理单元，用于基于由所述限制单元限制后的所述范围，执行所述对象的识别处理。
9.一种图像处理设备，包括：
特征提取单元，用于从所输入的图像数据提取对象中的多个预定的特征；
补充单元，用于当在多个特征中存在未被所述特征提取单元提取到的特征时，基于由所述特征提取单元所提取的特征的信息，补充未提取到的特征；以及
识别处理单元，用于基于由所述补充单元所补充的未提取到的特征以及由所述特征提取单元所提取的特征，执行所述对象的识别处理。
10.根据权利要求9所述的图像处理设备，其特征在于，当存在未被所述特征提取单元提取到的特征时，所述补充单元基于由所述特征提取单元所提取的并位于与未提取到的特征关于所述对象的特定轴对称的位置处的特征的信息，补充未提取到的特征。
11.一种图像处理方法，包括：
特征提取步骤，用于从所输入的图像数据提取对象中的多个预定的特征；
权重设置步骤，用于当存在未在所述特征提取步骤中提取到的特征时，为在所述特征提取步骤中所提取的特征设置权重；以及
识别处理步骤，用于基于在所述权重设置步骤中进行加权后的特征，执行所述对象的识别处理。
12.一种图像处理方法，包括：
特征提取步骤，用于从所输入的图像数据提取对象中的多个预定的特征；
限制步骤，用于当存在未在所述特征提取步骤中提取到的特征时，基于未提取到的特征，限制识别处理的范围；以及
识别处理步骤，用于基于在所述限制步骤中限制后的范围，执行所述对象的识别处理。
13.一种图像处理方法，包括：
特征提取步骤，用于从所输入的图像数据提取对象中的多个预定的特征；
补充步骤，用于当在多个特征中存在未在所述特征提取步骤中提取到的特征时，基于在所述特征提取步骤中所提取的特征的信息，补充未提取到的特征；以及
识别处理步骤，用于基于在所述补充步骤中所补充的未提取到的特征以及在所述特征提取步骤中所提取的特征，执行所述对象的识别处理。
CN2008100047642A 2007-01-30 2008-01-30 图像处理设备和图像处理方法 Active CN101236600B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007020137A JP4845755B2 (ja) 2007-01-30 2007-01-30 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2007020137 2007-01-30
JP2007-020137 2007-01-30

Publications (2)

Publication Number Publication Date
CN101236600A true CN101236600A (zh) 2008-08-06
CN101236600B CN101236600B (zh) 2013-04-03

Family

ID=39273205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100047642A Active CN101236600B (zh) 2007-01-30 2008-01-30 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (2) US8165399B2 (zh)
EP (1) EP1953675B1 (zh)
JP (1) JP4845755B2 (zh)
CN (1) CN101236600B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103259796A (zh) * 2013-05-15 2013-08-21 金硕澳门离岸商业服务有限公司 认证系统和方法
CN109741738A (zh) * 2018-12-10 2019-05-10 平安科技（深圳）有限公司 语音控制方法、装置、计算机设备及存储介质
CN112004020A (zh) * 2020-08-19 2020-11-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4845755B2 (ja) * 2007-01-30 2011-12-28 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP4974788B2 (ja) * 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP4853425B2 (ja) 2007-08-14 2012-01-11 ソニー株式会社 撮像装置、撮像方法およびプログラム
JP4919297B2 (ja) * 2008-03-13 2012-04-18 富士フイルム株式会社 画像評価装置および方法並びにプログラム
US8350892B2 (en) * 2008-05-20 2013-01-08 Sony Corporation Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
CN102265609A (zh) * 2008-12-26 2011-11-30 富士通株式会社 节目数据处理装置、方法和程序
ES2377303B1 (es) * 2009-06-05 2013-02-01 Vodafone España S.A.U. Método y sistema para recomendar fotografías.
US8326002B2 (en) * 2009-08-13 2012-12-04 Sensory Logic, Inc. Methods of facial coding scoring for optimally identifying consumers' responses to arrive at effective, incisive, actionable conclusions
EP2498487B1 (en) * 2009-11-02 2017-01-04 Lenovo Innovations Limited (Hong Kong) Mobile communication apparatus
JP5424819B2 (ja) * 2009-11-04 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
JP2011113318A (ja) * 2009-11-26 2011-06-09 Fujitsu Ltd 画像処理装置、画像処理方法および画像処理プログラム
JP5476955B2 (ja) * 2009-12-04 2014-04-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5812599B2 (ja) * 2010-02-25 2015-11-17 キヤノン株式会社 情報処理方法及びその装置
TWI447658B (zh) * 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
FR2959046B1 (fr) * 2010-04-19 2012-06-15 Michelin Soc Tech Methode de controle de l'aspect de la surface d'un pneumatique
US10917431B2 (en) * 2010-11-29 2021-02-09 Biocatch Ltd. System, method, and device of authenticating a user based on selfie image or selfie video
JP5669549B2 (ja) * 2010-12-10 2015-02-12 オリンパスイメージング株式会社 撮像装置
JP2012169777A (ja) * 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US9268995B2 (en) * 2011-04-11 2016-02-23 Intel Corporation Smile detection techniques
JP5792985B2 (ja) * 2011-04-20 2015-10-14 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US10055493B2 (en) * 2011-05-09 2018-08-21 Google Llc Generating a playlist
WO2013152417A1 (en) * 2012-04-11 2013-10-17 Research In Motion Limited Systems and methods for searching for analog notations and annotations
US9405962B2 (en) * 2012-08-14 2016-08-02 Samsung Electronics Co., Ltd. Method for on-the-fly learning of facial artifacts for facial emotion recognition
KR101939772B1 (ko) * 2012-08-14 2019-01-17 삼성전자주식회사 얼굴 감정 추론 방법 및 장치, 얼굴 감정 추론 시스템 및 컴퓨터 프로그램 기록 매체
US9158970B2 (en) 2012-11-16 2015-10-13 Canon Kabushiki Kaisha Devices, systems, and methods for visual-attribute refinement
US9122914B2 (en) * 2013-05-09 2015-09-01 Tencent Technology (Shenzhen) Co., Ltd. Systems and methods for matching face shapes
KR20150071038A (ko) * 2013-12-17 2015-06-26 삼성전자주식회사 전자 장치를 이용한 소셜 네트워크 서비스 제공 방법 및 이를 구현한 장치
US11893671B2 (en) * 2015-09-07 2024-02-06 Sony Interactive Entertainment LLC Image regularization and retargeting system
CN106504265B (zh) * 2015-09-08 2019-08-16 株式会社理光 运动估计优化方法、设备和系统
CN105260776B (zh) * 2015-09-10 2018-03-27 华为技术有限公司 神经网络处理器和卷积神经网络处理器
US10540768B2 (en) 2015-09-30 2020-01-21 Samsung Electronics Co., Ltd. Apparatus and method to segment object from image
CN108369451B (zh) * 2015-12-18 2021-10-29 索尼公司 信息处理装置、信息处理方法及计算机可读存储介质
WO2017145787A1 (ja) * 2016-02-23 2017-08-31 ソニー株式会社 遠隔操作装置、および遠隔操作方法、遠隔操作システム、並びにプログラム
US10157323B2 (en) * 2016-08-30 2018-12-18 Qualcomm Incorporated Device to provide a spoofing or no spoofing indication
CN107193571A (zh) * 2017-05-31 2017-09-22 广东欧珀移动通信有限公司 界面推送的方法、移动终端及存储介质
EP3635626A1 (en) * 2017-05-31 2020-04-15 The Procter and Gamble Company System and method for guiding a user to take a selfie
JP6642523B2 (ja) 2017-06-19 2020-02-05 カシオ計算機株式会社 表情判定装置、表情判定方法及びプログラム
CN107578014B (zh) 2017-09-06 2020-11-03 上海寒武纪信息科技有限公司 信息处理装置及方法
WO2019007406A1 (zh) 2017-07-05 2019-01-10 上海寒武纪信息科技有限公司 一种数据处理装置和方法
US20200110635A1 (en) 2017-07-05 2020-04-09 Shanghai Cambricon Information Technology Co., Ltd. Data processing apparatus and method
CN109583577B (zh) 2017-09-29 2021-04-23 上海寒武纪信息科技有限公司 运算装置及方法
JP6999895B2 (ja) * 2017-07-06 2022-01-19 株式会社島津製作所 放射線撮影装置および放射線画像検出方法
CN108319953B (zh) * 2017-07-27 2019-07-16 腾讯科技（深圳）有限公司 目标对象的遮挡检测方法及装置、电子设备及存储介质
CN111373408B (zh) 2017-11-27 2023-05-02 三菱电机株式会社 表情识别装置
CN108615014B (zh) * 2018-04-27 2022-06-21 京东方科技集团股份有限公司 一种眼睛状态的检测方法、装置、设备和介质
CN108960041B (zh) * 2018-05-17 2020-11-27 首都师范大学 图像特征提取方法及装置
JPWO2020095400A1 (ja) * 2018-11-08 2021-09-09 日本電気株式会社 特徴点抽出装置、特徴点抽出方法およびコンピュータプログラム
US11804070B2 (en) * 2019-05-02 2023-10-31 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
JP7409134B2 (ja) 2020-02-12 2024-01-09 富士通株式会社 画像処理方法、画像処理プログラム、および画像処理装置
US11475684B1 (en) * 2020-03-25 2022-10-18 Amazon Technologies, Inc. Methods and systems for performing noise-resistant computer vision techniques
WO2022147411A1 (en) 2020-12-30 2022-07-07 Assa Abloy Ab Facial expression to augment face id and presentation attack detection

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128398A (en) * 1995-01-31 2000-10-03 Miros Inc. System, method and application for the recognition, verification and similarity ranking of facial or other object patterns
JP2840816B2 (ja) 1995-03-13 1998-12-24 株式会社エイ・ティ・アール通信システム研究所 表情検出装置
US5850470A (en) * 1995-08-30 1998-12-15 Siemens Corporate Research, Inc. Neural network for locating and recognizing a deformable object
US5909501A (en) * 1996-09-09 1999-06-01 Arete Associates Systems and methods with identity verification by comparison and interpretation of skin patterns such as fingerprints
JPH10336705A (ja) * 1997-06-02 1998-12-18 Canon Inc 複眼カメラ
JP4087953B2 (ja) 1998-07-14 2008-05-21 株式会社東芝 パターン認識装置及びその方法
US6466685B1 (en) * 1998-07-14 2002-10-15 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method
GB9922295D0 (en) 1999-09-22 1999-11-17 Univ Manchester Identification
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
JP3575679B2 (ja) * 2000-03-31 2004-10-13 日本電気株式会社 顔照合方法と該照合方法を格納した記録媒体と顔照合装置
JP2002352229A (ja) 2001-05-30 2002-12-06 Mitsubishi Electric Corp 顔部位検出装置
JP3970573B2 (ja) * 2001-10-19 2007-09-05 アルパイン株式会社 顔画像認識装置および方法
JP4226247B2 (ja) * 2002-01-15 2009-02-18 富士フイルム株式会社 画像処理装置
JP4161659B2 (ja) * 2002-02-27 2008-10-08 日本電気株式会社 画像認識システム及びその認識方法並びにプログラム
AUPS140502A0 (en) * 2002-03-27 2002-05-09 Seeing Machines Pty Ltd Method for automatic detection of facial features
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
JP4612806B2 (ja) 2003-07-18 2011-01-12 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置
EP3358501B1 (en) * 2003-07-18 2020-01-01 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
JP2005084815A (ja) * 2003-09-05 2005-03-31 Toshiba Corp 顔認識装置、顔認識方法および通行制御装置
JP3879732B2 (ja) 2003-11-27 2007-02-14 コニカミノルタホールディングス株式会社 物体検出装置、物体検知方法、およびコンピュータプログラム
KR100559471B1 (ko) * 2003-12-17 2006-03-10 한국전자통신연구원 대칭축을 이용한 얼굴 검출 시스템 및 방법
WO2006011635A1 (en) 2004-07-30 2006-02-02 Canon Kabushiki Kaisha Image processing method and apparatus, image sensing apparatus, and program
KR100682906B1 (ko) * 2004-12-09 2007-02-15 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
KR100703528B1 (ko) * 2004-12-09 2007-04-03 삼성전자주식회사 영상 인식 장치 및 방법
US7835549B2 (en) * 2005-03-07 2010-11-16 Fujifilm Corporation Learning method of face classification apparatus, face classification method, apparatus and program
JP2006287749A (ja) * 2005-04-01 2006-10-19 Canon Inc 撮像装置、及びその制御方法
JP4628882B2 (ja) * 2005-06-16 2011-02-09 富士フイルム株式会社 判別器の学習方法、顔判別方法および装置並びにプログラム
EP1748378B1 (en) * 2005-07-26 2009-09-16 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method
JP4845755B2 (ja) * 2007-01-30 2011-12-28 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103259796A (zh) * 2013-05-15 2013-08-21 金硕澳门离岸商业服务有限公司 认证系统和方法
CN109741738A (zh) * 2018-12-10 2019-05-10 平安科技（深圳）有限公司 语音控制方法、装置、计算机设备及存储介质
CN112004020A (zh) * 2020-08-19 2020-11-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US8165399B2 (en) 2012-04-24
EP1953675B1 (en) 2012-10-31
EP1953675A1 (en) 2008-08-06
US8494233B2 (en) 2013-07-23
US20120082384A1 (en) 2012-04-05
CN101236600B (zh) 2013-04-03
JP2008186303A (ja) 2008-08-14
US20080181508A1 (en) 2008-07-31
JP4845755B2 (ja) 2011-12-28

Similar Documents

Publication Publication Date Title
CN101236600B (zh) 图像处理设备和图像处理方法
Liu et al. Deep tree learning for zero-shot face anti-spoofing
EP1650711B1 (en) Image processing device, imaging device, image processing method
JP4908505B2 (ja) 撮影者を利用した画像の分類
CN101334839B (zh) 图像处理装置及图像处理方法
US7680330B2 (en) Methods and apparatus for object recognition using textons
CN101426093B (zh) 图像处理设备和图像处理方法
US7092554B2 (en) Method for detecting eye and mouth positions in a digital image
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
US7643684B2 (en) Apparatus for and method of constructing multi-view face database, and apparatus for and method of generating multi-view face descriptor
CN101689303A (zh) 面部表情识别装置及方法和摄像装置
CN103003845A (zh) 姿势估计装置、姿势估计系统、及姿势估计方法
CN103605969A (zh) 一种人脸录入的方法及装置
US20050117802A1 (en) Image processing method, apparatus, and program
Manyam et al. Two faces are better than one: Face recognition in group photographs
JP3962517B2 (ja) 顔面検出方法及びその装置、コンピュータ可読媒体
Solina et al. 15 seconds of fame-an interactive, computer-vision based art installation
Anjum et al. Face Liveness Detection for Biometric Antispoofing Applications using Color Texture and Distortion Analysis Features
Taylor Adaptive Methodologies for Real-Time Skin Segmentation and Large-Scale Face Detection
Wagner Face authentication with pose adjustment using support vector machines with a Hausdorff-based kernel

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant