CN101689303A - 面部表情识别装置及方法和摄像装置 - Google Patents

面部表情识别装置及方法和摄像装置 Download PDF

Info

Publication number
CN101689303A
CN101689303A CN200880020349A CN200880020349A CN101689303A CN 101689303 A CN101689303 A CN 101689303A CN 200880020349 A CN200880020349 A CN 200880020349A CN 200880020349 A CN200880020349 A CN 200880020349A CN 101689303 A CN101689303 A CN 101689303A
Authority
CN
China
Prior art keywords
facial expression
face
facial
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880020349A
Other languages
English (en)
Inventor
金田雄司
真继优和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101689303A publication Critical patent/CN101689303A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种面部表情识别装置及方法和摄像装置。所述面部表情识别装置顺次接受输入的图像，并基于在所输入的图像中检测到的面部图像信息确定是否开始面部表情确定。当确定应当开始面部表情确定时，所述面部表情识别装置响应于所述确定而基于在所述图像中检测到的所述面部图像信息获取参照特征信息。然后，在关于所述开始面部表情确定的确定之后，所述面部表情识别装置从在所述输入的图像中检测到的所述面部图像信息提取特征信息，并基于所提取的特征信息以及所获取的参照特征信息确定所检测到的面部的面部表情。

Description

面部表情识别装置及方法和摄像装置
技术领域
本发明涉及一种基于描绘人物的图像信息来识别面部表情的面部表情识别装置及方法和摄像装置。
背景技术
存在多种传统技术用来识别面部表情。在日本特许第02840816号公报(在下文中称为“专利文献1”)所记载的面部表情识别中，预先设置要在面部表情识别中使用的无表情的参照图像。然后，对输入图像和预先设置的无表情的参照图像进行小波变换以针对各个频带计算频率信号的平均功率。然后通过计算各个平均功率之间的差来确定面部表情。
另外，在日本特开2005-56388号公报(下文中称为专利文献2)记载的面部表情识别中，在从面部表情识别所使用的无表情的参照图像中预先提取了规定的特征点之后，计算特征点之间的距离等。然后通过类似地计算输入图像中的特征点之间的距离并计算各个距离之间的差值，来确定面部表情。
此外，日本特开2005-266984号公报(下文中称为专利文献3)记载了一种不使用无表情的参照图像的面部表情识别技术。在专利文献3所记载的面部表情识别中，在检测到图像中的嘴角(corner)以及左眼角和右眼角之后，基于由这四个点生成的矩形中长边与短边的比率确定面部表情。
此外，在日本特许第2573126号公报(专利文献4)中，记载了一种方法，其中，从各特征位置获得眉毛动作和其他面部表情元素及面部表情元素信息，并基于面部表情元素信息计算面部表情元素码，然后在规定的变换公式中使用面部表情元素码来计算情绪值。
然而，由于在上述专利文献1和专利文献2中所记载的面部表情识别捕捉相对于无表情状态的变化，因此，与专利文献3中记载的不使用无表情的参照图像的面部表情识别技术相比，它们具有以下显著优势：(1)它们能够适应诸如眼、嘴等的面部器官的位置的个人差异；(2)它们能够以相对高的检测精确度捕捉面部表情的细微变化。但是，另一方面，这些处理具有以下问题：(1)为了预先登记无表情的图像，需要时间和人力；(2)仅能够对所登记的人识别面部表情；(3)由于进行登记的图像的数量等依赖于进行面部表情识别的人的数量，因此需要较大的存储区；(4)当登记期间的摄像环境与面部表情识别期间的摄像环境不同时，有时由于摄像环境之间的差异而不能精确地识别面部表情；(5)在登记无表情的图像的用户中术语“无表情的图像”的定义的变化很大地影响到面部表情识别的精确度。上述五个问题由用户预先手动地登记无表情的图像的操作引起。
此外，在专利文献3和4中，不能适应面部的特征点位置等方面的个人差异，并且由于使用通用标准来确定各个人的面部表情，因此难以提高精确度。
发明内容
考虑解决上述问题而做出本发明，本发明提供了一种面部表情识别装置及方法，其中，在典型实施例中，不需要预先登记特定面部表情的图像，并且基于各个人的面部特征的使用，能够进行面部表情的确定。
根据本发明的一个方面，提供了一种面部表情识别装置，该面部表情识别装置包括：
图像输入单元，用于顺次输入图像；
面部检测单元，用于检测由所述图像输入单元获得的图像中的面部；
开始确定单元，用于基于由所述面部检测单元检测到的面部图像信息确定是否开始面部表情确定；
获取单元，用于在所述开始确定单元确定应当开始面部表情确定时，基于由所述面部检测单元检测到的所述面部图像信息获取参照特征信息；以及
面部表情确定单元，用于在所述开始确定单元确定开始所述面部表情确定时从由所述面部检测单元检测到的所述面部图像信息提取特征信息，并基于所提取的特征信息和所述参照特征信息确定所述检测到的面部的面部表情。
根据本发明的另一方面，提供了一种摄像装置，该摄像装置包括：
上述面部表情识别装置；
供应单元，用于使用摄像单元以时间先后顺序获取图像并将所获取的图像供应给所述图像输入单元；以及
记录单元，用于在所述面部表情确定单元确定面部表情是规定面部表情时，将所述图像记录为拍摄图像。
根据本发明的一个方面，提供了一种面部表情识别装置，该面部表情识别装置包括：
图像输入单元，用于顺次输入图像；
面部检测单元，用于检测由所述图像输入单元获得的所述图像中的面部；
特征提取单元，用于从由所述面部检测单元检测到的面部中提取特征；
存储单元，用于在由所述特征提取单元提取的所述特征的可靠性不小于阈值时，将所述特征存储在存储器中；以及
面部表情确定单元，用于基于由所述存储单元存储在所述存储器中的所述特征的变化确定所述面部的面部表情。
根据本发明的另一方面，提供了一种面部表情识别装置，该面部表情识别装置包括：
检测单元，用于从顺次输入的图像中检测面部；
状态确定单元，用于确定由所述检测单元检测到的所述面部的特征的状态；
获取单元，用于在所述状态确定单元确定了所述面部的所述特征处于预定状态时，基于所述面部的图像信息获取参照特征信息；以及
面部表情确定单元，用于基于由所述检测单元新检测到的面部和所述参照特征信息确定所述新检测到的面部的面部表情。
根据本发明的另一方面，提供了一种面部表情识别方法，该面部表情识别方法包括以下步骤：
图像输入步骤，其涉及顺次输入图像；
面部检测步骤，其涉及检测在所述图像输入步骤中获得的图像中的面部；
开始确定步骤，其涉及基于在所述面部检测步骤中检测到的面部图像信息确定是否开始面部表情确定；
获取步骤，其涉及在所述开始确定步骤确定应当开始面部表情确定时，基于在所述面部检测步骤中检测到的所述面部图像信息获取参照特征信息；以及
面部表情确定步骤，其涉及在所述开始确定步骤中确定开始所述面部表情确定时从在所述面部检测步骤中检测到的所述面部图像信息提取特征信息，并基于所提取的特征信息和所述参照特征信息确定所检测到的面部的面部表情。
根据本发明的一个方面，提供了一种基于信息处理器的面部表情识别方法，该方法包括以下步骤：
图像输入，其涉及顺次输入图像；
面部检测，其涉及检测在所述图像输入步骤中获得的所述图像中的面部；
特征提取，其涉及从在所述面部检测步骤中检测到的面部中提取特征；
存储，其涉及在所述特征提取步骤中提取的所述特征的可靠性不小于阈值时，将所述特征存储在存储器中；以及
面部表情确定，其涉及基于在所述存储步骤中存储在所述存储器中的所述特征的变化确定所述面部的面部表情。
根据本发明的一个方面，提供了一种面部表情识别方法，该面部表情识别方法包括以下步骤：
从顺次输入的图像中检测面部；
确定在所述检测步骤中检测到的所述面部的特征的状态；
在所述状态确定单元确定了所述面部的所述特征处于预定状态时，基于所述面部的图像信息获取参照特征信息；以及
基于在所述检测步骤中新检测到的面部和所述参照特征信息确定所述新检测到的面部的面部表情。
通过下面参照附图对示例性实施例的描述，本发明的其它特征将变得清楚。
附图说明
图1示出了根据本实施例的摄像装置的硬件配置。
图2是例示根据第一实施例的摄像装置的整体操作的流程图。
图3是例示根据第一实施例的参照特征设置处理(步骤S213)的详情的流程图。
图4是例示示例性的检测到的左眼和右眼的图。
图5是例示示例性的检测到的特征点的图。
图6是例示为检测特征点500和502所设定的示例性区域的图。
图7是例示为检测特征点503所设定的示例性区域的图。
图8是例示为检测特征点506和509所设定的示例性区域的图。
图9是例示为检测特征点507和508所设定的示例性区域的图。
图10是例示为检测特征点514和517所设定的示例性区域的图。
图11是例示为检测特征点515和516所设定的示例性区域的图。
图12是示出特征点514和517的y坐标相对于面部检测位置的变化的图。
图13是例示用于确定作为示例性面部表情的微笑面部表情的示例性特征的图。
图14是例示用于确定作为示例性面部表情的微笑面部表情的示例性特征的图。
图15是例示根据第一实施例的面部表情确定处理(步骤S215)的详情的流程图。
图16是例示根据第二实施例的摄像装置的整体操作的流程图。
图17是例示采用直方图来确定用于无表情状态确定的阈值的示例性方法的图。
图18是例示采用直方图来确定用于无表情状态确定的阈值的另一示例性方法的图。
图19是例示根据第三实施例的参照特征设置处理的详情的流程图。
图20是例示根据第三实施例的用于滤波的处理区域的图。
图21是例示通过滤波获得的示例性结果的图。
图22A和图22B是例示针对图21中的状态A和状态E的垂直边缘滤波器输出和直方图的图。
图23是例示根据第三实施例的面部表情确定处理的详情的流程图。
图24是用于说明用来确定面部表情的神经网络的图。
图25是例示根据第四实施例的摄像装置的整体操作的流程图。
图26是用于说明用来更新参照特征的确定处理方法的图。
图27是例示根据第五实施例的摄像装置的整体操作的流程图。
图28是例示根据第五实施例的面部表情确定处理(步骤S1513)的详情的流程图。
图29是说明特征点可靠性计算的方法的图。
图30A、图30B以及图30C是例示各种特征变化模式的图。
具体实施方式
现在，将参照附图详细描述本发明的示例性实施例。
(第一实施例)
图1是例示根据本实施例的摄像装置100的配置的框图。在本实施例中，使用电子静态照相机作为摄像装置100的示例。在下文中，也将摄像装置100称为“电子照相机”。
在图1中，标记101表示摄像镜头组。标记102表示包括光圈设备和快门设备的光量调整设备。标记103是将穿过摄像镜头组101并代表被摄体像的光束(luminous flux)转换为电信号的摄像元件。摄像元件103由例如CCD或CMOS等构成。标记104是使摄像元件103的模拟信号输出经历箝位和增益处理的模拟信号处理电路。标记105表示将模拟信号处理电路104的输出转换为数字信号的模拟-数字(以下记作A/D)转换器。
标记107表示对从A/D转换器105获得的数据或者从存储控制电路106获得的数据执行规定的像素插值处理或颜色变换处理等的数字信号处理电路。此外，数字信号处理电路107对所拍摄的图像数据执行规定的运算。
标记112是基于数字信号处理电路107执行的运算的结果对曝光控制电路113和聚焦控制电路114实行控制的系统控制电路。结果，执行TTL(穿过镜头)型AF(自动对焦)处理、AE(自动曝光)处理以及EF(闪光灯预闪)处理。此外，数字信号处理电路107对所拍摄的图像数据执行规定的算术运算，并基于获得的算术运算结果执行TTL型AWB(自动白平衡)处理。此外，其检测所拍摄的图像数据中的特定被摄体，并针对该特定被摄体执行面部表情识别。
存储控制电路106控制模拟信号处理电路104、A/D转换器105、数字信号处理电路107、存储器108以及数字-模拟(以下记作D/A)转换器109。经由数字信号处理电路107和存储控制电路106将通过A/D转换器105中的A/D转换获得的数据写入存储器108；或者，直接经由存储控制电路106将通过A/D转换器105中的A/D转换获得的数据写入存储器108。
存储器108存储在显示设备110上显示的数据。存储器108中记录的数据经由D/A转换器109被输出并显示到诸如TFT、LCD等的显示设备110上。此外，存储所拍摄的静止图像和运动图像的存储器108设置有存储规定数量的静止图像和规定持续时间的运动图像的充足的存储空间。这使得即使在以连续的方式拍摄多个静止图像的全景摄像和突发摄像的情况下，也能够向存储器108高速地写入大量的图像。此外，存储器108还可以用作系统控制电路112的工作空间。应当指出，可以将装置配置为利用接口111将所拍摄的静止图像和运动图像写入CD-ROM、floppyTM(软)盘、硬盘、磁带、磁光盘、非易失性存储卡或者其他存储介质。
所拍摄的图像数据在显示设备110上的连续显示使得可以实现电子取景器功能。此外，显示设备110可以根据来自系统控制电路112的指令在任意时间开启和关闭显示，并且在关闭显示时，与开启状态相比，可以显著降低摄像装置100所消耗的电能。此外，响应于程序的执行，系统控制电路112使用字符、图像等在显示设备110上显示操作状态、消息等。
标记111表示将存储卡、硬盘以及其他存储介质连接到摄像装置100的接口。此外，可以使用接口111在装置和其他计算机之间传输图像数据和附属于图像数据的管理信息，也可以在装置和诸如打印机等的外围设备之间传输图像数据和附属于图像数据的管理信息。将接口11配置为适合用于符合诸如PCMCIA卡和CF(compact flashTM，压缩闪存)的规格的介质，使得能够基于连接各种通信卡来进行装置与外部设备之间的信息传输。所述的各种通信卡包括，例如LAN卡和调制解调器卡、USB卡、IEEE1394卡、P1284卡、SCSI卡、PHS以及其他通信卡。
系统控制电路112控制摄像装置110的整体操作。设置在系统控制电路112中的存储器(未示出)存储系统控制电路112的操作中使用的程序或用于识别特定被摄体的面部表情或面部的常量、变量以及程序等。应当指出，可以使用CD-ROM、软盘、硬盘、磁带、磁光盘、非易失性存储卡等更改系统控制电路112的存储器中存储的这些常量、变量以及程序等。此外，替代将它们存储到存储器中，可以从上述存储介质等中读取用于系统控制电路112的操作、或用于识别特定被摄体的面部表情或面部的数据和程序，然后执行。但是，本发明不限于上述方法。
曝光控制电路113控制光量调整设备102的光圈设备和快门设备。聚焦控制电路114控制摄像镜头组101的聚焦和变焦。使用TTL方法控制曝光控制电路113和聚焦控制电路114。即，系统控制电路112基于数字信号处理电路107对所拍摄的图像数据执行的运算的结果实行对曝光控制电路113和聚焦控制电路114的控制。
以下参照图2的流程图来说明根据本实施例的摄像装置100(电子照相机)的整体操作。应当指出，用于执行图2所示的处理的程序存储在系统控制电路112的存储器(未示出)中，并且该处理在系统控制电路112的控制之下执行。
当在接通电源而开始该处理时，首先，在步骤S200中，系统控制电路112初始化内部存储器中的各种标志以及控制变量。在步骤S201中，系统控制电路112检测摄像装置100的模式设置状态，并在设置为自动摄像模式时使处理进入到步骤S203而在设置为其他模式时使处理进入到步骤S202。应当指出，在自动摄像模式中，在被摄体面部的面部表情与规定的面部表情(本实施例中为微笑的面部)匹配的瞬间执行摄像(拍摄图像记录操作)。在步骤S202中，系统控制电路112执行与所选择的模式对应的处理，然后在处理结束时返回到步骤S201。
另一方面，如果设置为自动摄像模式，则在步骤S203中，系统控制电路112确定剩余的电源容量或操作情况是否会使摄像装置100的操作产生问题。如果系统控制电路112确定会产生问题，则在步骤S204中，其使用显示设备110利用图像和声音发出规定的警告消息，然后使处理返回到步骤S201。
如果在步骤S203中确定不存在与电源相关的问题，则处理进入步骤S205。在步骤S205中，系统控制电路112确定存储介质的操作状态是否会使摄像装置100的操作产生问题，特别是，是否会使到存储介质的图像数据记录操作以及从存储介质的图像数据再现操作产生问题。如果确定会产生问题，则处理进入上述步骤S204。在步骤S204中，系统控制电路112使用显示设备110利用图像和声音发出规定的警告消息，然后使处理返回到步骤S201。
如果在步骤S205中确定不存在与存储介质相关的问题，则处理进入步骤S206。在步骤S206中，系统控制电路112使用图像和声音呈现显示有摄像装置100的各种设置状态的用户界面(下文中称为UI)。应当指出，如果开启了显示设备110的图像显示，则显示设备110可以使用图像和声音来显示显示有摄像装置100的各种设置状态的UI。以该方式设置各种用户定义的设置。
接下来，在步骤S207中，系统控制电路112将显示设备110的图像显示设置为开启状态。此外，在步骤S208中，系统控制电路112将其设置为实时查看显示状态以连续显示所拍摄的图像数据。应当指出，在本实施例中，将摄像元件103获得的图像顺次存储在存储器108中。系统控制电路112具有以时间先后顺序顺次接受图像的图像输入功能。在该实时查看显示状态中，显示设备110连续显示连续写入存储器108的图像数据，由此实现电子取景器功能。
在步骤S209中，系统控制电路112确认用户(即摄像者)是否按下了快门开关(未示出)。如果未按下快门开关，则处理返回到步骤S201。如果按下了快门开关，则不立即进行摄像，而在步骤S210中由系统控制电路112执行面部检测处理。接着，在步骤S211中，系统控制电路112基于步骤S210的面部检测处理的结果实现规定的AE/AF控制。此外，响应于规定的操作指令在自动摄像模式中以下述步骤S212至S219的顺序执行摄像处理(自动检测规定的面部表情并执行摄像的处理)。
[关于面部检测处理(S210)]
面部检测处理采用以例如神经网络和支持向量机为代表的基于训练的方法。此外，它还采用基于模板匹配(template matching)来从图像区域中提取诸如眼睛、鼻子等具有物理形状的特征的位置的方法。此外，还有诸如P.Viola and M.Jones等人的Rapid Object Detection Using a BoostedCascade of Simple Features，in Proc.of CVPR，vol.1，pp.511-518，December，2001中描述的技术。此外，还有诸如日本特开平10-232934号公报以及特开2000-48184号公报中记载的技术，在该技术中，使用统计方法检测并分析皮肤的颜色、眼睛的形状以及其他图像特征。本实施例使用如下方法：通过基于面部图像和非面部图像训练神经网络来构建面部分类器。此外，应当指出，当使用通过训练神经网络而得到的面部分类器时，使存在面部的位置邻近的神经元进入“点火(firing)”状态。鉴于此，除了面部检测位置，可以基于神经元点火的强度和数量来计算面部检测可靠性等。术语“面部检测可靠性”指的是表示检测到的面部检测位置等可以被信赖的程度的值。面部检测可靠性的值越高，存在面部的概率越大。例如，存在如下方法：使用具有最大输出值的神经元的位置作为面部检测位置，并且为了确定面部检测可靠性，通过使用规定的函数将最大输出值正规化为规定的值(例如0-1)，并将根据最大输出值获得的值(例如0-1)“按原样”用作面部检测可靠性。应当指出，将面部检测位置以及面部检测位置周围的区域称为面部区域。
应当指出，就面部检测可靠性来说，存在如下的方法：如果等于或超过固定阈值的神经元的数量不小于规定数量N1，则将面部检测可靠性设置为“1”。此外，如果其不小于规定数量N2，则将面部检测可靠性设置为0.6，而在所有其他情况下将面部检测可靠性设置为“0”。此外，可以使用如下方法：通过对等于或超过固定阈值的神经元数量应用规定的函数来计算面部检测可靠性。另外，可以使用不同的技术来确定面部位置检测位置以及面部检测可靠性，例如如下方法：对最接近最大神经元值的前N3％中的神经元输出值的总和应用规定的函数来计算面部检测可靠性。
返回参照图2，对从摄像元件103按时间顺序输入的图像顺次执行步骤S212至S213或步骤S214至S219的处理。在步骤S212至S213中，根据基于面部状态信息的定时自动提取规定特征作为参照特征，在步骤S214至S219中，使用提取的参照特征执行面部表情确定。换句话说，步骤S213中的参照特征设置处理用来确定步骤S215中的面部表情确定处理的开始。首先，在步骤S212中，系统控制电路112使用实时查看显示来显示拍摄的图像数据。然后，在步骤S213中，执行自动提取并设置面部表情识别中使用的最佳参照特征的处理，同时确定是否成功地设置了参照特征。下面说明用于自动提取参照特征的方法。
[提取用于面部表情识别的参照特征的处理]
图3是例示一处理的流程图，在该处理期间，自动提取并设置被认为是用于面部表情识别的最佳参照的参照特征。应当指出，尽管在以下实施例中，使用下文中说明的在无表情状态中提取的各特征作为最佳参照特征，但是还可以使用从除了无表情状态以外的特定面部表情状态下获得的各特征作为参照特征。
在步骤S300中，使用上述面部检测处理，系统控制电路112再次执行面部位置检测和如上所述的面部检测可靠性计算。这是由于被摄体面部的位置可能已经与在AE/AF期间所占的位置不同。此外，在此，使用在检测到的面部位置周围应用的典型眼模板和嘴模板来检测左眼和右眼的位置以及嘴的位置。在步骤S301中，系统控制电路112使用面部检测可靠性来检查是否检测到了面部。如果面部检测可靠性不小于规定值，换句话说，如果确认检测到了面部，则处理进入步骤S302。如果面部检测可靠性小于规定值，换句话说，如果确认没有检测到面部，则该处理终止。在步骤S302中，系统控制电路112使用在步骤S300中检测到的左眼和右眼的位置计算面部的大小。如果所计算的面部的大小在规定大小以内，则处理进入步骤S303。
例如，系统控制电路112基于图4所示的所检测到的左眼和右眼的位置400、401计算两眼间的距离。然后，如果在步骤S302中确定计算出的大小超出了规定大小，则该处理终止。在步骤S303中，系统控制电路112使用在步骤S300中检测到的左眼和右眼的位置400、401计算面部的朝向。在步骤S303中，根据例如图4所示的连接两个眼睛的位置的直线的方向计算面部的朝向(平面内的旋转量)。如果计算结果显示面部的朝向在规定方向之内，则处理进入步骤S304。如果在步骤S303中确定面部的朝向在规定方向的范围之外，则处理终止。在步骤S304中，系统控制电路112使用图4中所检测到的两个眼睛的位置400、401执行基于仿射变换的正规化处理，由此将两眼间的距离改变为规定距离，将面部的朝向改变为规定方向。如上所述，在步骤S301至S303中，基于检测到的面部大小、朝向和可靠性确定检测到的面部的有效性，如果确定为有效，则执行下面的处理(无表情状态确定)。
在步骤S305中，系统控制电路112执行图5所示的面部特征点500至517的提取。尽管存在用于特征点提取的各种技术，但是在本实施例中，提取的方法在于设定用于提取各特征点的规定范围以及使用用来在所设定的各范围内检测特征点的神经网络。使用以与面部检测类似的方法针对特征点图像数据预先训练的神经网络作为上述神经网络。
以下述方式使用两个眼睛的检测位置400与401、面部检测位置402(鼻子位置)以及嘴检测位置403(参照图6)来设置各特征点的检测范围。例如，使用图6所示的两眼间距离a和左眼检测位置400来在特征点500、502的检测范围内设置范围600和601。此外，类似地使用两眼间距离a和右眼检测位置401来设置特征点503、505的检测范围。此外，如图7中作为示例所示，在特征点501的检测范围中设置范围602，还以同样的方式设置特征点504的检测范围。如图8中作为示例所示，将范围603、604设置为特征点506、509的检测范围，还以同样的方式设置特征点510、513的检测范围。如图9中作为示例所示，在特征点507、508的检测范围中设置范围605、606，还以同样的方式设置特征点511、512的检测范围。如图10中作为示例所示，将范围607、608设置为特征点514、517的检测范围。此外，如图11作为示例所示，将范围609、610设置为特征点515、516的检测范围。
应当指出，在使用神经网络时，在各个特征点的正确位置的邻近，有多个神经元点火(fire)。因此，本实施例使用如下方法：通过计算超过规定阈值的神经元值的质心来执行嘴的特征点位置的提取。应当指出，位置计算方法以及设置的范围不限于本实施例。
返回参照图3，在步骤S306中，确认是否检测到了所有的规定特征点。如果检测到了所有的特征点，换句话说，如果检测到了图5的所有特征点500-517，则处理进入步骤S307。如果还不能检测到所有特征点，则该处理终止。在步骤S307中，系统控制电路112基于图5中的特征点500-517中的嘴特征点514-517中的动态变化量确定面部表情状态是否是无表情。下面说明无表情状态确定的方法。
图12是例示在无表情状态改变为微笑面部表情的情况下，嘴特征点514和517的y坐标相对于图6的面部检测位置402的变化的图。应当指出，在图12中，p1和p2对应于与无表情状态相关的帧，而p2和p3对应于与微笑面部状态相关的帧。从图12可以看出，在p1与p2之间的无表情状态中，嘴特征点514和517相对于面部检测位置的y坐标变化限于在规定振幅范围L1之内的微小振动。与之相对，在p2与p3之间的微笑面部表情状态中，由于随着颊肌上提使嘴特征点514和517的y坐标靠近面部检测位置402，因此以面部检测位置402为基准的y坐标变化改变很大。尽管图中没有例示，这同样适用于嘴特征点515和516，在无表情状态中，以面部检测位置402为基准的嘴特征点515和516的y坐标变化限于规定振幅范围(指定为L2)之内的微小振动。因此，如果以面部检测位置402为基准的嘴特征点的y坐标的变化(波动量)连续处于规定振幅L1、L2之内达规定帧数(预定数量的连续图像)次，则确定该状态为无表情。通过分析大量的无表情的表情数据预先获得规定振幅L1、L2。在本实施例中，嘴特征点的y坐标变化构成确定参照特征提取的定时的面部信息。
应当指出，在无表情状态中发生微小振动的原因是由于图像噪声等的影响而导致的嘴特征点检测位置从原始正确位置的轻微移位。因此，只要没有由于隐藏嘴区域的物体等的影响而引起的嘴特征点位置的错误检测，则无表情状态中以面部检测位置402为基准的嘴特征点位置的y坐标变化实际上包含在相对于原始正确嘴特征点位置的规定离差中。在步骤S307中，以此种方式基于规定特征点的动态帧间变化量来进行关于该状态是否是无表情的确定。即，基于以所检测到的面部位置(面部检测位置402)为基准的、构成面部器官的特征点(在本实施例中为嘴特征点)的坐标值而进行关于是否开始面部表情确定的确定。很明显，可以使用指定面部位置与构成面部器官的特征之间的距离作为另一可供选择的对象。
应当指出，替代设置用于以上述方式提取参照特征的各规定振幅，可以设置不提取参照特征的各规定振幅。换句话说，如上所述，在从无表情状态提取参照特征的情况下，在变化连续处于规定振幅之内达规定的帧数次时，提取参照特征。然而，在从其他面部表情状态提取参照特征的情况下，可以不在变化处于规定振幅之内时而在变化连续保持大于规定振幅达规定的帧数次时，提取参照特征。此外，无表情状态确定的方法不限于上述确定条件，也就是说，可以使用x坐标和y坐标两个坐标，也可以使用除了嘴特征点以外的特征点。另外，还可以使用眼睛的张开/闭合状态作为面部信息，以使用特征点507(511)与特征点508(512)之间的距离和距离的变化并根据张开眼睛状态的定时提取参照特征。此外，以与特征点提取相同的方式，可以使用瞳孔图像来训练神经网络，并且可以根据超过固定阈值的瞳孔神经元的数量确定眼睛的张开/闭合状态。例如，该装置可以适合于在检测到的瞳孔区域像素的数量不小于规定值时，确定应当执行参照特征设置(应当开始面部表情确定处理)。此外，可以将条件制定为“连续达规定时段”来替代“连续达规定的帧数次”。
返回参照图3，如果在步骤S307中，基于规定特征点，确定该状态是无表情状态，则处理进入步骤S308。如果在步骤S307中，基于规定特征点，确定该状态不是无表情的，则处理终止。在步骤S308中，系统控制电路112提取并设置用于面部表情确定的参照特征。以这种方式，在本实施例中，基于检测到的面部图像信息(描绘围绕所检测到的面部位置的区域的图像)，确定是否开始步骤S214之后的面部表情确定。然后，如果确定应当开始面部表情确定，则针对该面部表情确定，基于所检测到的面部图像信息获取用作参照特征信息的参照特征。下面，提供关于作为要确定的面部表情的示例的微笑面部表情的参照特征的说明。
[参照特征]
Facial Action Coding System(面部动作编码系统)(P.Ekmanand，W.V.Friesen，Facial Action Coding System(FACS)Manual，Palo AltoConsulting Psychologists Press，1978)提出了下面的微笑面部表情的定义。
[FACS中的微笑面部表情的定义]
颊上提，嘴角回缩。
在本实施例中，如图13所示，使用特征点506与特征点514的y坐标之间的距离(特征710)、特征点513与特征点517的y坐标之间的距离(特征711)以及特征点514与特征点517之间x方向上的距离(特征712)中的各个变化量来确定微笑面部表情。因此，在本实施例中，在确定微笑面部表情时使用的“参照特征”是从无表情状态中的面部图像获得的上述距离710、711和712；在下文中也将它们称为“特征”。在步骤S308中，提取这些特征作为参照特征。就关注用于确定其他面部表情的特征而言，可以确定与在上文提到的FACS中的各个面部表情的定义相对应的特征，并使用所确定的各特征确定面部表情。
应当指出，在计算这些距离时，如图14所示，可以以规定位置(例如面部检测位置402)为基准计算y方向上的距离713、714(下文中还称为特征713、714)。此外，使用的特征不限于在本实施例中记载的特征。
如果在步骤S213中确定设置了所有的规定参照特征，则处理进入步骤S214。另一方面，如果在步骤S213中确定没有设置所有的规定参照特征，则处理返回到步骤S212，系统控制电路112提供下一帧图像的实时查看显示。在步骤S214中，系统控制电路112将所设置的参照特征提供给帧图像的下一帧图像的实时查看显示。在步骤S215中，系统控制电路112使用代表与在步骤S214中使用实时查看显示所显示的帧图像一样的场景、但是具有不同的分辨率的图像执行面部表情识别，并进行关于这是否是规定面部表情的确定。即，在步骤S215中，从所检测到的关于在步骤S213中确定应当开始面部表情识别之后(设置了参照特征之后)输入的图像的面部图像信息提取特征信息。然后，基于所提取的特征信息和参照特征信息确定面部表情。下面说明面部表情确定处理。
[面部表情确定处理]
图15是面部表情确定处理的流程图。步骤S800至S806中执行的处理与图3中的步骤S300至S306中执行的处理相同。因此，在面部表情确定处理期间，基于检测到的面部的大小、朝向以及可靠性确定检测到的面部的有效性(S801至S803)。然后，如果确定为有效，则执行下面的处理(面部表情确定)。在步骤S807中，系统控制电路112首先从当前的帧图像中提取特征(与图13中的参照特征710、711和712相同类型的特征)。接下来，通过计算从无表情面部图像提取的参照特征与从当前帧的面部图像提取的特征之间的特征差或比率，来计算各特征的变化特性v1、v2和v3。随后，在步骤S808中，系统控制电路112使用下面的等式根据各特征的权重和变化v1、v2和v3计算微笑面部表情的程度，并且如果SumScore不小于规定分数则确定表情是微笑面部表情，另一方面，如果其小于规定分数则确定表情不是微笑面部表情。
ScoreN＝g(wN，vN)  N：特征编号  w：特征权重
SumScore = Σ i = 0 N Score i g：分数计算函数
在用户通过操作照相机仅仅确定特定场景，即特定面部表情时，上述基于规定分数的确定是合适的。然而，在一系列面部表情中确定单个规定面部表情的情况下，存在下述方法：针对各个面部表情计算分数，将具有最高计算分数的面部表情确定为该规定面部表情。此外，存在基于利用针对各面部表情的最终层的神经网络的方法，或者如日本特许第02962549号公报所述的使用隐马尔可夫模型(HMM，Hidden Markov Model)确定面部表情的方法。
返回参照图2，如果在步骤S215中确定这是拍摄对象的面部表情(规定面部表情)，则处理进入步骤S216。另一方面，如果在步骤S215中未确定这是拍摄对象的面部表情，则处理进入步骤S219。在步骤S216中，系统控制电路112执行摄像操作，在此期间将所拍摄的图像数据写入存储器108。当步骤S216的摄像操作结束时，在步骤S217中，系统控制电路112通过显示在步骤S216中所拍摄的图像执行快速预览显示操作。当在步骤S218中读出写入到存储器108中的图像数据并执行图像压缩处理之后，系统控制电路112接着执行记录处理，在该记录处理中，将压缩图像数据写入存储介质。应当指出，如有必要，可以在记录处理之前执行诸如将高亮度或低亮度颜色绘制得不太明显的消色处理的图像处理操作。如果在步骤S219中检测到自动摄像结束，例如，如果存在又一快门开关按下等，则系统控制电路112使处理返回到步骤S201，并终止该自动摄像。另一方面，如果没有指示表示自动摄像结束，则处理返回到步骤S214，继续该自动摄像。
应当指出，关于上述特征点位置、距离特征等，可以使用预定数量的帧的平均值来替代各个帧的值。
在上述方法中，基于规定特征点的动态变化，在设置了面部表情识别期间所需的参照特征之后识别面部表情。
应当指出，虽然第一实施例中进行的说明涉及电子静态照相机，但是理所当然地，本实施例同样适用于视频照相机等。
如上所述，第一实施例能够消除背景技术中的显著影响面部表情识别的精确度的以下问题：(1)为了预先登记无表情图像所需的时间和人力；(2)仅能针对登记的人识别面部表情；(3)由于必须登记的图像的数量依赖于进行面部表情识别的人的数量而需要较大的存储区；(4)当登记期间的摄像环境与面部表情识别期间的摄像环境不同时，有时由于摄像环境之间的差异而不能精确地识别面部表情；(5)术语“无表情的图像”的定义在登记无表情图像的用户中差别很大。
<第二实施例>
接下来将说明第二实施例。图16是例示第二实施例的整体操作的流程图。参照图16的流程图提供下面的说明。从步骤S900直到步骤S910执行的处理与第一实施例中的(步骤S200至S210)相同。另外，步骤S915至S920中执行的处理也与第一实施例中的(步骤S214至S219)相同。
在步骤S911中，系统控制电路112对在步骤S910中检测到的各面部执行个人标识认证。个人标识认证的技术是基于，例如，日本特开2000-30065号公报中记载的利用相互子空间技术的方法，或者日本特开2003-323622号公报中记载的将面部区域划分为多个子区域、然后针对各个子区域执行比较的方法。在本实施例中，我们采用日本特开2003-323622号公报中记载的方法，将面部区域划分为多个子区域。应当指出，可以正好在摄像之前登记用于认证的图像，而不是预先登记。在步骤S912中，系统控制电路112对在步骤S911中认证的人执行AE/AF。在步骤S913中，系统控制电路112以与第一实施例中相同的方式提供实时查看显示。在步骤S914中，系统控制电路112进行关于无表情状态的确定，并执行参照特征提取。尽管在步骤S914中可以使用与第一实施例中相同的技术来提取参照特征，但是在第二实施例中，使用与第一实施例不同的技术来提取参照特征。下面，参照图3的流程图来说明第二实施例的参照特征提取的方法。
[用于面部表情识别的参照特征的提取处理]
从图3的步骤S300直到步骤S306，该处理与第一实施例相同。在步骤S307中，如果图14的特征712、713和714在规定范围之内，则确定状态为无表情状态。建议使用下面的方法作为用于确定规定范围的方法。预先准备关于无表情的表情的大量数据，并且为图14的特征712生成诸如图17中的直方图的直方图1，并以类似的方式为特征713和714生成直方图2和直方图3(未示出)。接下来，根据图17的以使得包含全部的特征712的方式的直方图1来确定阈值a和阈值b。以相似的方式，根据使得包含全部的特征713的直方图2来确定阈值c和d(未示出)，并根据使得包含全部的特征714的直方图3来确定阈值e和f(未示出)。如果全部的特征落在阈值之间，则确定面部表情为无表情。应当指出，对于阈值a和阈值b，可以使用计算特征的平均μ和离散σ、使用与平均μ距离预定离散n*σ(σ：离散，n：常数)的值作为阈值a’和b’的方法，还可以使用其他技术确定阈值。此处使用的特征当然不限于第二实施例中使用的特征。
此处执行的从步骤S308开始的处理以及图16的步骤S915至S920中的处理，与第一实施例中的相同。
如上所述，在第二实施例中，通过多个面部图像中的特征的统计处理来保持标准，并且在从检测到的面部图像信息获得的特征处于根据标准的预定范围之内时开始面部表情确定。鉴于此，第二实施例使得能够使用从单个帧图像获得的预定特征来确定无表情状态，而不是如第一实施例中一样根据几个帧之间的特征点的变化来确定无表情状态。
应当指出，尽管第二实施例中进行的说明涉及电子静态照相机，但是理所当然地本实施例同样可以应用于视频照相机等。此外，代替摄像装置，其适合于从包含大量图像的数据库提取特定人的无表情状态图像以及随后提取特定人的具有规定面部表情的图像。
<第三实施例>
接下来将说明第三实施例。描述本实施例的整体操作的流程图与第二实施例中使用的流程图(图16)一样。
图19是呈现图16的步骤S914，即第三实施例的参照特征设置处理的流程图。从图19中的步骤S1000直到步骤S1004，处理与第一实施例和第二实施例(即步骤S300至S304)相同。
在步骤S1005中，系统控制电路112首先设置用于空间滤波的区域。例如，空间滤波区域是图20中的区域1100、1101以及1102。参照眼睛检测位置400和401、面部检测位置402以及嘴检测位置403确定这些区域。接下来，为了确定这是否是无表情状态，在图20的区域1102中执行空间滤波。所使用的空间滤波器可以是，例如用于水平和垂直边缘检测的Sobel(索贝尔)滤波器，但是其不限于Sobel滤波器。
在步骤S1006中，系统控制电路112使用步骤S1005中的空间滤波器的输出确定这是否是无表情状态。图21例示了通过执行Sobel滤波在图20的区域1100和区域1102中检测水平和垂直边缘而获得的结果。状态A至C代表通过区域1102的Sobel滤波获得的结果，而状态D和E代表通过区域1100中的Sobel滤波获得的结果。状态A是嘴闭合的无表情状态，状态B是嘴纵向张开的非无表情状态，而状态C是嘴横向张开的非无表情状态。另外，状态D是眼睛张开的无表情状态，而状态E是眼睛闭合的非无表情状态。
首先，状态A、状态B和状态C之间的比较示出了在状态A的嘴闭合的无表情状态中，水平和垂直边缘滤波器输出值总体上低。与之相对地，在状态B或状态C的嘴张开的非无表情状态中，特别地，水平边缘滤波器的输出值总体上高。此外，以类似的方式比较图21的状态D和状态E，我们可以看到，眼睛张开的无表情状态D具有垂直边缘滤波器的输出值高的部分，而在眼睛闭合的状态E中，垂直边缘滤波器的输出值总体上低。
根据上述结果，可以看到，如果从区域1100获得的垂直边缘滤波器输出值的和不小于规定值且从区域1102获得的水平滤波器输出值不高于规定值，则无表情状态的可能性高。为了实际确定这是否是无表情状态，使用下面的函数计算无表情状态值。
Figure G2008800203494D00201
“N”是用于无表情状态确定的特征数量，“filter_output”是空间滤波器输出值的和，“fi”是用于根据第i个特征计算无表情度的函数。在本实施例中，如上面所提到的，N＝2。应当指出，对各个函数fi进行加权，使得例如，从区域1102获得的水平滤波器输出值的和在进行无表情状态确定期间具有比从区域1100获得的垂直边缘滤波器输出值的和更大的权重。更具体地说，如果最大无表情值是1，则将根据从区域1100获得的垂直边缘滤波器输出值的和获得的最大无表情值设置为0.4，而将根据从区域1102获得的水平滤波器输出值的和获得的最大无表情值设置为0.6。关于用于计算无表情度的函数，使大量的无表情状态图像经历水平和垂直边缘检测，并且根据关于各个滤波器输出值的和的统计数据来计算该无表情度。例如，尽管如图22A和图22B所示，使用根据无表情状态图像获得的直方图来确定用于计算无表情度的函数，但是不限于此类方法。此外，用于确定这是否是无表情状态的区域不仅仅限于嘴和眼睛区域，还可以使用许多其他区域。
应当指出，作为无表情状态确定的替代方法，除了边缘滤波器输出值，还可以在图20的区域1102中提取作为牙齿的颜色的白色的区域，并使用白色区域的面积(像素计数)确定这是否是无表情状态。
返回参照图19，在步骤S1006中，使用上述方法来确定这是否是无表情状态。然后，如果确定该状态是无表情的，则处理进入步骤S1007。如果确定其不是无表情的，则处理终止。在步骤S1007中，提取用于面部表情确定的参照特征。关于在第三实施例中使用的参照特征，由于在图20的区域1100、1101和1102中对水平边缘和垂直边缘两者都进行了检测，因此使用总共六个Sobel滤波器输出值数据项作为用于提取的参照特征。
接下来，提供关于在第三实施例中用来使用上面提到的参照特征在图16的步骤S916中确定面部表情的处理的说明。图23是例示步骤S916中第三实施例的面部表情确定处理的流程图。从步骤S1200直到S1204所执行的处理与第一实施例和第二实施例中(S800至S804)相同。
在步骤S1205中，系统控制电路112执行与图19的步骤S1005中相同的处理，以获得检测水平和垂直边缘的总共六个Sobel滤波器输出值。在步骤S1206中，系统控制电路112基于在图19的步骤S1007中提取的六个Sobel滤波器输出值和在图23的步骤S1205中检测到的六个滤波器输出值之间的差获得各个滤波器差分输出值。在步骤S1207中，系统控制电路112使用在步骤S1206中获得的六个空间滤波器差分输出值来确定面部表情。
在本实施例中，用来确定面部表情的方法在于使用神经网络，在该神经网络中，如图24所示，在输入层中使用分别与六个空间滤波器差分输出值相对应的神经元，而在输出层中使用与要确定的各个面部表情相对应的神经元。用于该神经网络的训练方法在于，例如累积大量的无表情状态图像数据以及针对要确定的各个面部表情的图像数据，并基于这些图像数据计算六个滤波器差分输出值。存在一种方法，在该方法中，执行训练使得在将各个面部表情的这六个滤波器差分输出值输入到输入层时，与输出层中的面部表情相对应的神经元输出值是1，与其他面部表情相对应的神经元输出值是0。将在步骤S1206中获得的六个滤波器差分输出值输入到这种神经网络的输入层的结果是，检测面部表情确定层(即输出层)的规定面部表情种类的神经元点火最强烈。因此，可以通过参照面部表情确定层的各神经元值来确定面部表情。应当指出，根据要确定的面部表情的数量为对摄像进行控制的后续阶段确定输出层中的神经元数量。例如，如果对微笑面部表情执行摄像，则提供分别对应于微笑面部表情和其他面部表情的两个神经元。在上面的情况中，可以利用基于是否检测到微笑面部表情而输出1或0的单个神经元。此外，可以利用多个神经元确定微笑面部表情、闭合眼睛的面部表情、哭的面部表情等，并且在检测到闭合眼睛的面部表情、哭的面部表情等时禁止摄像，以及在检测到微笑面部表情时执行摄像。此外，可以使用其他分类器替代神经网络来进行面部表情确定。
上述第三实施例中提供的说明描述了如下方法：在基于空间滤波器输出值提取在面部表情识别期间所需要的参照特征之后识别面部表情。
应当指出，尽管在第三实施例中提供的说明涉及其适用于电子静态照相机的情况，但是理所应当地，本实施例同样适用于视频照相机等。此外，替代摄像装置，可以从存储大量图像的数据库中提取特定人的无表情状态图像，并且之后提取特定人的具有规定面部表情的图像。
<第四实施例>
接下来将说明第四实施例。图25是例示第四实施例的整体操作的流程图。从步骤S1300直到S1320所执行的处理与第二实施例中(图16的步骤S900至S920)相同。如果在步骤S1316中确定这不是规定面部表情，则处理进入步骤S1321。在步骤S1321中，系统控制电路112如在步骤S1314中一样，除了进行无表情状态确定，还进行关于是否更新参照特征的确定。换句话说，在第四实施例中，一直到在步骤S1316中确定表情为规定面部表情的时刻，如果再次确定状态为无表情状态且要如下面所述来更新参照特征，则更新参照特征。下面，将详细说明步骤S1321的处理。
在步骤S1321中，如上所述，首先通过在第二实施例中说明的方法进行关于状态是否是无表情状态的确定。接下来，如图26中所示来呈现从预先准备的大量无表情图像获得的图13的特征710(或711、712)的直方图。将在步骤S1314中提取的(即最初提取的)特征710用作特征1400，而将在步骤S1321中提取的特征710用作特征1401。在第四实施例中，如果用于无表情状态确定的特征更接近于预先准备的直方图的平均μ，则更新参照特征。在图26的情况下，在步骤S1321中提取的特征1401位于比最初提取的特征1400(步骤S1314中提取的特征)更接近平均μ的位置。因此，在步骤S1321中确定更新参照特征。如果在步骤S1321中确定应当更新参照特征，则处理进入步骤S1322。在步骤S1322中，系统控制电路112更新参照特征。另一方面，如果在步骤S1321中确定不应当更新参照特征，则处理跳过步骤S1322而进入步骤S1320。应当指出，有关更新参照特征的确定不限于上述方法，并且预先准备的大量的无表情图像可以限于特定人。
以这种方式，第四实施例使得能够通过在检测到更适合于面部表情识别的无表情图像时更新参照特征来提高面部表情识别的精确度。
<第五实施例>
接下来将说明第五实施例。图27是例示根据第五实施例的摄像装置100的整体操作的流程图。从步骤S1500直到S1512所执行的处理与第一实施例中(步骤S200至S212)相同。在步骤S1513中执行面部表情识别。下面，将详细说明步骤S1513。图28是详细例示步骤S1513的处理的流程图。
从步骤S1600直到步骤S1606所执行的处理与第一实施例的面部表情确定(步骤S800至S806)相同。在步骤S1607中，系统控制电路112确定是否所有的规定特征点的可靠性都不小于规定阈值。如果所有规定特征点的可靠性都不小于规定阈值，则处理进入步骤S1608。另一方面，如果在步骤S1607中确定规定特征点的可靠性不总是等于或大于规定阈值，则处理终止。
下面，将提供关于特征点的可靠性的说明。特征点的可靠性是表示能够将所检测到的特征点信任为特征点检测结果的程度。建议使用下面的方法作为特征点可靠性计算方法。例如，在本实施例中，使用仿射变换对面部图像进行正规化。因此，例如，存在一种利用眼睛检测位置和特征点位置之间的空间位置关系的方法，例如，图5的特征点509位于图7中的左眼检测位置400的右边。此外，如在第一实施例中所说明的，如果使用神经网络进行特征点检测，则存在利用神经元输出值的方法。在第五实施例中，使用上面提到的特征点的空间位置关系。例如，基于从大容量数据库获得的各种面部表情统计地计算特征点相对于规定位置的相对坐标值或相对距离。例如，如图29所示计算从图6中的左眼检测位置400到图5中的特征点509的相对x坐标。然后如图29所示基于计算出的统计值建立可靠性计算函数h，使用该可靠性计算函数h来计算可靠性。
针对其他特征点以类似的方法建立可靠性计算函数。应当指出，计算可靠性的方法不限于在本实施例中所记载的方法。
在步骤S1608中，从根据经过检测的面部表情所选择的特征点中提取必要特征，然后将所述特征存储。例如，当识别微笑面部表情(此处用其作为面部表情的示例)时，提取图14的特征712、713和714并将它们存储在存储器中。作为由于步骤S1517的自动摄像的继续(步骤S1512-S1516的重复)的结果，存储器包含当前帧，所述当前帧之间插入有利用多个帧预先拍摄的特征712、713和714。
在步骤S1609中，系统控制电路112根据特征差计算特征变化。即，计算从帧t’提取的特征712、713以及714与从存储的帧t的图像获得的特征712、713以及714之间的差。应当指出，特征变化可以是多个帧的平均。作为示例，图30A示出了图14的特征713的变化模式，图30B示出了图14的特征714的变化模式，而图30C示出了图14的特征712的变化模式。此外，图30A至图30C的帧t1和t2代表横向张开嘴的动作，而帧t3和t4表示嘴角上提的微笑的动作。
在步骤S1610中，基于相对于步骤S1609中获得的帧t的特征的帧t’的特征的变化量，例如基于图30A至图30C的帧t3和t4的特征1、特征2以及特征3的变化来确定面部表情。例如，使用隐马尔可夫模型基于上述变化来确定面部表情，例如日本特许第02962549号和日本特许第02840816号公报的说明书中所记载的。结果，基于特征的变化模式确定面部表情。应当指出，还可以使用除了隐马尔可夫模型以外的方法。
返回参照图27，如果在步骤S1513中识别出规定面部表情，则处理进入步骤S1514。另一方面，如果没有识别出规定面部表情，则处理从步骤S1513进入步骤S1517。步骤S1514至S1517中执行的处理与第一实施例中(步骤S216至S219)相同。
如上所述，提取满足规定条件的特征信息，并且基于特征信息的变化模式确定面部表情，这使得能够以较高的精确度来执行面部表情识别。
如上所述，在上述实施例中，替代预先提取参照特征，(1)基于面部表情确定期间的规定信息按照规定定时来自动提取参照特征；(2)基于所提取的参照特征和各特征的变化模式确定面部表情。
鉴于此，上述实施例使得能够执行消除了下列问题的的面部表情识别：(1)必须预先登记无表情图像；(2)仅能针对登记的人识别面部表情；(3)(3)由于必须进行登记的图像的数量等依赖于进行面部表情识别的人的数量，因此需要较大的存储区；(4)当登记期间的摄像环境与面部表情识别期间的摄像环境不同时，有时由于摄像环境之间的差异而不能精确地识别面部表情。
尽管上文详细描述了一些实施例，但是本发明能够考虑诸如系统、设备、方法、程序或存储介质等的实施例。具体地说，其可以应用于由多个设备构成的系统，还可以应用于由单个设备构成的装置。换句话说，尽管上述实施例适合于使用摄像装置实施面部表情确定，但是上述面部表情确定处理可以由信息处理设备来执行。
因此，本发明包括下面的情况：通过直接或远程地将软件程序提供给系统或装置并且指示系统或装置的计算机读取并执行所提供的程序代码。在这种情况下，所提供的程序是与在实施例的附图中描绘的流程图相对应的计算机程序。
因此，为了在计算机上实施本发明的功能性处理而安装在该计算机上的程序代码本身是本发明的实施。换句话说，本发明包括用于实现本发明的功能性处理的计算机程序。
在这种情况下，只要拥有必要的程序功能，可以采取各种形式，例如目标代码、解释器执行的程序、提供给OS的脚本数据等。
建议使用下面的介质作为用于提供计算机程序的计算机可读存储介质。例如，其可以是floppy(TM)(软)盘、硬盘、光盘、磁光盘、MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM或DVD(DVD-ROM，DVD-R)等。
另外，建议使用客户端计算机上的浏览器连接到因特网主页并将本发明的计算机程序从该主页下载到硬盘或其他存储介质上来作为提供程序的方法。在该情况下，所下载的程序可能是具备自动压缩功能的压缩文件。此外，其还可以通过将构成本发明的程序的程序代码分割成多个文件并从不同的主页下载各个文件来实施。换句话说，允许多个用户将用于实施本发明的功能性处理的程序文件下载到计算机上的WWW服务器也包含在本发明内。
此外，可以采取如下的形式：将本发明的程序加密、将其存储在CD-ROM或其他存储介质中并在用户中传播。在这种情况下，可以允许满足特定标准的用户通过因特网从主页下载用于对加密进行解密的密钥信息，并使用该密钥信息执行加密程序并在计算机上安装该程序。
此外，除了基于计算机对读出程序的执行来实现实施例的上述功能，还可以基于与运行在计算机上的OS等协作的程序的指令来实现实施例的功能。在这种情况下，OS等执行部分或全部的实际处理，并且基于此类处理实现实施例的上述功能。
此外，可以通过将从存储介质读取的程序写入连接到计算机的扩展单元或插入到计算机的扩展板中配备的存储器中来实现实施例的上述功能的部分或全部。在这种情况下，在将程序写入到扩展板或扩展单元之后，扩展板或扩展单元中配备的CPU等基于程序的指令执行部分或全部的实际处理。
本发明使得能够基于个人的面部特征精确地确定面部表情，同时使得不必预先登记特定面部表情的图像。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这种变型、等同结构和功能。
本申请要求2007年6月18日提交的日本专利申请第2007-160680号的优先权，该申请的全部内容通过引用包含于此。

Claims (22)

1.一种面部表情识别装置，该面部表情识别装置包括：
图像输入单元，用于顺次输入图像；
面部检测单元，用于检测由所述图像输入单元获得的图像中的面部；
开始确定单元，用于基于由所述面部检测单元检测到的面部图像信息确定是否开始面部表情确定；
获取单元，用于在所述开始确定单元确定应当开始面部表情确定时，基于由所述面部检测单元检测到的所述面部图像信息获取参照特征信息；以及
面部表情确定单元，用于在所述开始确定单元确定开始所述面部表情确定时从由所述面部检测单元检测到的所述面部图像信息提取特征信息，并基于所提取的特征信息和所述参照特征信息确定所检测到的面部的面部表情。
2.根据权利要求1所述的面部表情识别装置，其中，所述面部表情确定单元基于所提取的特征信息与所述参照特征信息之间的差或比率确定面部表情。
3.根据权利要求1或2所述的面部表情识别装置，该面部表情识别装置还包括：
有效性确定单元，用于检测由所述面部检测单元检测到的面部的面部大小、面部朝向以及检测可靠性中的至少一个，并基于所述检测结果确定所检测到的面部的有效性，
其中，所述开始确定单元和所述面部表情确定单元对关于由所述有效性确定单元确定为有效的面部的图像信息执行确定。
4.根据权利要求1至3中的任一项所述的面部表情识别装置，其中，所述开始确定单元基于构成面部器官的特征点相对于所述面部上的特定位置的坐标值确定是否开始面部表情确定。
5.根据权利要求1至3中的任一项所述的面部表情识别装置，其中，所述开始确定单元基于所检测到的面部上的特定位置与构成面部器官的特征点之间的距离确定是否开始面部表情确定。
6.根据权利要求1至3中的任一项所述的面部表情识别装置，其中，所述开始确定单元基于通过对所检测到的面部执行空间滤波获得的输出值确定是否开始面部表情确定。
7.根据权利要求1至3中的任一项所述的面部表情识别装置，其中，所述开始确定单元在根据在经过预定的帧数次或预定时间的一系列图像中检测到的面部图像信息获得的特征的变化在规定范围之内时，确定应当开始面部表情确定。
8.根据权利要求1至3中的任一项所述的面部表情识别装置，其中，所述开始确定单元保持通过对从多个面部图像获得的特征进行统计预处理而设置的标准，并在根据所检测到的面部图像信息获得的特征位于根据所述标准的规定范围之内时确定应当开始面部表情确定。
9.根据权利要求1至3中的任一项所述的面部表情识别装置，其中，所述开始确定单元在所检测到的面部图像中的特定区域的像素计数满足规定条件时，确定应当开始面部表情确定。
10.根据权利要求9所述的面部表情识别装置，其中，当瞳孔区域的像素计数不小于规定值时，所述特定区域的像素计数满足所述规定条件。
11.根据权利要求9所述的面部表情识别装置，其中，当牙齿颜色的区域的像素计数不超过规定值时，所述特定区域的像素计数满足所述规定条件。
12.根据权利要求1至11中的任一项所述的面部表情识别装置，其中，当所述开始确定单元再次确定应当开始面部表情确定一直到所述面部表情确定单元确定所述面部上的面部表情为止时，在再次进行的开始确定之后，使用由所述获取单元获取的参照特征信息来更新所述参照特征信息。
13.根据权利要求1至12中的任一项所述的面部表情识别装置，其中，所述面部表情确定单元对所述参照特征信息中包含的特征以及所提取的特征信息中包含的特征的变化进行加权，以便基于所加权的变化来确定所检测到的面部的面部表情。
14.根据权利要求1至13中的任一项所述的面部表情识别装置，该面部表情识别装置还包括：个人标识认证单元，用于基于由所述面部检测单元检测到的面部图像执行个人标识认证。
15.一种摄像装置，该摄像装置包括：
根据权利要求1至14中任一项所述的面部表情识别装置；
供应单元，用于使用摄像单元以时间先后顺序获取图像并将所获取的图像供应给所述图像输入单元；以及
记录单元，用于在所述面部表情确定单元确定面部表情是规定面部表情时，将所述图像记录为拍摄图像。
16.一种面部表情识别装置，该面部表情识别装置包括：
图像输入单元，用于顺次输入图像；
面部检测单元，用于检测由所述图像输入单元获得的所述图像中的面部；
特征提取单元，用于从由所述面部检测单元检测到的面部中提取特征；
存储单元，用于在由所述特征提取单元提取的所述特征的可靠性不小于阈值时，将所述特征存储在存储器中；以及
面部表情确定单元，用于基于由所述存储单元存储在所述存储器中的所述特征的变化确定所述面部的面部表情。
17.一种面部表情识别装置，该面部表情识别装置包括：
检测单元，用于从顺次输入的图像中检测面部；
状态确定单元，用于确定由所述检测单元检测到的所述面部的特征的状态；
获取单元，用于在所述状态确定单元确定了所述面部的所述特征处于预定状态时，基于所述面部的图像信息获取参照特征信息；以及
面部表情确定单元，用于基于由所述检测单元新检测到的面部和所述参照特征信息确定所述新检测到的面部的面部表情。
18.一种面部表情识别方法，该面部表情识别方法包括以下步骤：
图像输入步骤，其涉及顺次输入图像；
面部检测步骤，其涉及检测在所述图像输入步骤中获得的图像中的面部；
开始确定步骤，其涉及基于在所述面部检测步骤中检测到的面部图像信息确定是否开始面部表情确定；
获取步骤，其涉及在所述开始确定步骤确定应当开始面部表情确定时，基于在所述面部检测步骤中检测到的所述面部图像信息获取参照特征信息；以及
面部表情确定步骤，其涉及在所述开始确定步骤中确定开始所述面部表情确定时从在所述面部检测步骤中检测到的所述面部图像信息提取特征信息，并基于所提取的特征信息和所述参照特征信息确定所检测到的面部的面部表情。
19.一种基于信息处理器的面部表情识别方法，该方法包括以下步骤：
图像输入步骤，其涉及顺次输入图像；
面部检测步骤，其涉及检测在所述图像输入步骤中获得的所述图像中的面部；
特征提取步骤，其涉及从在所述面部检测步骤中检测到的面部中提取特征；
存储步骤，其涉及在所述特征提取步骤中提取的所述特征的可靠性不小于阈值时，将所述特征存储在存储器中；以及
面部表情确定步骤，其涉及基于在所述存储步骤中存储在所述存储器中的所述特征的变化确定所述面部的面部表情。
20.一种面部表情识别方法，该面部表情识别方法包括以下步骤：
从顺次输入的图像中检测面部；
确定在所述检测步骤中检测到的所述面部的特征的状态；
在所述状态确定单元确定了所述面部的所述特征处于预定状态时，基于所述面部的图像信息获取参照特征信息；以及
基于在所述检测步骤中新检测到的面部和所述参照特征信息确定所述新检测到的面部的面部表情。
21.一种计算机程序，其用于使计算机执行根据权利要求18至20中的任一项所述的面部表情识别方法。
22.一种计算机可读存储介质，其存储用于使计算机执行根据权利要求18至20中的任一项所述的面部表情识别方法的计算机程序。
CN200880020349A 2007-06-18 2008-06-17 面部表情识别装置及方法和摄像装置 Pending CN101689303A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP160680/2007 2007-06-18
JP2007160680A JP4999570B2 (ja) 2007-06-18 2007-06-18 表情認識装置及び方法、並びに撮像装置
PCT/JP2008/061376 WO2008156184A1 (en) 2007-06-18 2008-06-17 Facial expression recognition apparatus and method, and image capturing apparatus

Publications (1)

Publication Number Publication Date
CN101689303A true CN101689303A (zh) 2010-03-31

Family

ID=40156341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880020349A Pending CN101689303A (zh) 2007-06-18 2008-06-17 面部表情识别装置及方法和摄像装置

Country Status (5)

Country Link
US (1) US8254691B2 (zh)
EP (1) EP2168097A4 (zh)
JP (1) JP4999570B2 (zh)
CN (1) CN101689303A (zh)
WO (1) WO2008156184A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369214A (zh) * 2012-03-30 2013-10-23 华晶科技股份有限公司 图像获取方法与图像获取装置
CN104298910A (zh) * 2013-07-19 2015-01-21 广达电脑股份有限公司 便携式电子装置及互动式人脸登入方法
CN105917305A (zh) * 2013-08-02 2016-08-31 埃莫蒂安特公司 基于图像情感内容的过滤和快门拍摄
TWI547887B (zh) * 2011-06-30 2016-09-01 諾基亞科技公司 用以利用積分梯度投影作臉部追蹤之方法、裝置與電腦程式
CN107301390A (zh) * 2017-06-16 2017-10-27 广东欧珀移动通信有限公司 拍摄提示方法、装置及终端设备
CN107786803A (zh) * 2016-08-29 2018-03-09 中兴通讯股份有限公司 一种图像生成方法、装置及终端设备
CN111183455A (zh) * 2017-08-29 2020-05-19 互曼人工智能科技(上海)有限公司 图像数据处理系统与方法
CN113536262A (zh) * 2020-09-03 2021-10-22 腾讯科技（深圳）有限公司 基于面部表情的解锁方法、装置、计算机设备和存储介质

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350577A (ja) * 2005-06-14 2006-12-28 Fuji Xerox Co Ltd 動作分析装置
JP4914398B2 (ja) 2008-04-09 2012-04-11 キヤノン株式会社 表情認識装置、撮像装置、方法及びプログラム
US8379937B1 (en) * 2008-09-29 2013-02-19 Videomining Corporation Method and system for robust human ethnicity recognition using image feature-based probabilistic graphical models
EP2423839B1 (en) * 2009-01-29 2021-02-24 Nec Corporation Video identifier creation device
JP4748244B2 (ja) * 2009-03-31 2011-08-17 カシオ計算機株式会社 画像選択装置、画像選択方法及びプログラム
CN101887513B (zh) * 2009-05-12 2012-11-07 联咏科技股份有限公司 表情检测装置及其表情检测方法
JP5361530B2 (ja) * 2009-05-20 2013-12-04 キヤノン株式会社 画像認識装置、撮像装置及び画像認識方法
JP5261805B2 (ja) * 2009-06-16 2013-08-14 インテル・コーポレーション 携帯用機器のカメラアプリケーション
DE102009049528A1 (de) 2009-10-15 2011-04-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Erkennen einer Gesichtsbewegung in einem Gesicht in einer Bildsequenz
JP5812599B2 (ja) * 2010-02-25 2015-11-17 キヤノン株式会社 情報処理方法及びその装置
TWI447658B (zh) * 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
JP5577900B2 (ja) * 2010-07-05 2014-08-27 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム
JP5704905B2 (ja) 2010-12-01 2015-04-22 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP5648452B2 (ja) 2010-12-03 2015-01-07 富士通株式会社 画像処理プログラムおよび画像処理装置
TW201233157A (en) * 2011-01-27 2012-08-01 Hon Hai Prec Ind Co Ltd System and method for avoiding closed eyes during capturing person images
US8705812B2 (en) * 2011-06-10 2014-04-22 Amazon Technologies, Inc. Enhanced face recognition in video
US11074495B2 (en) 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US11195057B2 (en) 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US8873813B2 (en) 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
US11914674B2 (en) 2011-09-24 2024-02-27 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US9355366B1 (en) 2011-12-19 2016-05-31 Hello-Hello, Inc. Automated systems for improving communication at the human-machine interface
WO2013120851A1 (en) 2012-02-13 2013-08-22 Mach-3D Sàrl Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform
US9858501B2 (en) * 2012-02-16 2018-01-02 Nec Corporation Reliability acquiring apparatus, reliability acquiring method, and reliability acquiring program
KR101977638B1 (ko) * 2012-02-29 2019-05-14 삼성전자주식회사 영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
US20140009465A1 (en) * 2012-07-05 2014-01-09 Samsung Electronics Co., Ltd. Method and apparatus for modeling three-dimensional (3d) face, and method and apparatus for tracking face
CN103530900B (zh) * 2012-07-05 2019-03-19 北京三星通信技术研究有限公司 三维人脸模型的建模方法、人脸跟踪方法以及设备
KR101317047B1 (ko) * 2012-07-23 2013-10-11 충남대학교산학협력단 얼굴표정을 이용한 감정인식 장치 및 그 제어방법
JP5787845B2 (ja) * 2012-08-24 2015-09-30 株式会社東芝 画像認識装置、方法、及びプログラム
US9721010B2 (en) 2012-12-13 2017-08-01 Microsoft Technology Licensing, Llc Content reaction annotations
EP2981076B1 (en) * 2013-03-29 2022-05-11 Nec Corporation Object monitoring system, object monitoring method, and program for extracting object to be monitored
CN103246879A (zh) * 2013-05-13 2013-08-14 苏州福丰科技有限公司 一种基于表情识别的智能机器人系统
US9313200B2 (en) 2013-05-13 2016-04-12 Hoyos Labs Ip, Ltd. System and method for determining liveness
JP6202882B2 (ja) * 2013-05-28 2017-09-27 大和ハウス工業株式会社 表情検出システム及び表情検出方法
US9251405B2 (en) * 2013-06-20 2016-02-02 Elwha Llc Systems and methods for enhancement of facial expressions
US9373057B1 (en) * 2013-11-01 2016-06-21 Google Inc. Training a neural network to detect objects in images
JP6351243B2 (ja) * 2013-11-28 2018-07-04 キヤノン株式会社 画像処理装置、画像処理方法
KR101549645B1 (ko) 2014-01-28 2015-09-03 영남대학교 산학협력단 표정 동작사전을 이용한 표정인식 방법 및 장치
US9549118B2 (en) * 2014-03-10 2017-01-17 Qualcomm Incorporated Blink and averted gaze avoidance in photographic images
WO2015145219A1 (en) 2014-03-28 2015-10-01 Navaratnam Ratnakumar Systems for remote service of customers using virtual and physical mannequins
CN104468578B (zh) * 2014-12-10 2017-12-26 怀效宁 一种无线通讯的优先通讯系统和通讯方法
CN104091153A (zh) * 2014-07-03 2014-10-08 苏州工业职业技术学院 应用于聊天机器人的情绪判断方法
WO2016033184A1 (en) * 2014-08-26 2016-03-03 Hoyos Labs Ip Ltd. System and method for determining liveness
CN105468950B (zh) * 2014-09-03 2020-06-30 阿里巴巴集团控股有限公司 身份认证方法、装置、终端及服务器
KR102252448B1 (ko) * 2014-09-12 2021-05-14 삼성전자주식회사 제어 방법 및 그 방법을 처리하는 전자장치
KR102205498B1 (ko) * 2014-09-18 2021-01-20 삼성전자주식회사 입력 영상으로부터 특징을 추출하는 방법 및 장치
CN106295468B (zh) * 2015-05-19 2019-06-14 小米科技有限责任公司 人脸识别方法及装置
US10521100B2 (en) 2015-08-28 2019-12-31 Facebook, Inc. Systems and methods for providing interactivity for panoramic media content
US10521099B2 (en) * 2015-08-28 2019-12-31 Facebook, Inc. Systems and methods for providing interactivity for panoramic media content
CN105975935B (zh) * 2016-05-04 2019-06-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法和装置
JP2018036734A (ja) * 2016-08-29 2018-03-08 日本放送協会 表情変化検出装置及びプログラム
US10636175B2 (en) * 2016-12-22 2020-04-28 Facebook, Inc. Dynamic mask application
CN106625678B (zh) * 2016-12-30 2017-12-08 首都师范大学 机器人表情控制方法和装置
JP6642523B2 (ja) * 2017-06-19 2020-02-05 カシオ計算機株式会社 表情判定装置、表情判定方法及びプログラム
US10929478B2 (en) * 2017-06-29 2021-02-23 International Business Machines Corporation Filtering document search results using contextual metadata
WO2019028472A1 (en) 2017-08-04 2019-02-07 Outward, Inc. IMAGE PROCESSING TECHNIQUES BASED ON MACHINE LEARNING
JP6947202B2 (ja) * 2017-09-19 2021-10-13 日本電気株式会社 照合システム
JP6544404B2 (ja) * 2017-09-19 2019-07-17 日本電気株式会社 照合システム
JP7298658B2 (ja) * 2017-09-19 2023-06-27 日本電気株式会社 照合システム
CN109726613B (zh) * 2017-10-27 2021-09-10 虹软科技股份有限公司 一种用于检测的方法和装置
CN108229308A (zh) * 2017-11-23 2018-06-29 北京市商汤科技开发有限公司 目标对象识别方法、装置、存储介质和电子设备
JP6647474B2 (ja) * 2017-11-27 2020-02-14 三菱電機株式会社 表情認識装置
TWI625680B (zh) 2017-12-15 2018-06-01 財團法人工業技術研究院 臉部表情辨識的方法及裝置
US11087121B2 (en) 2018-04-05 2021-08-10 West Virginia University High accuracy and volume facial recognition on mobile platforms
CN108596069A (zh) * 2018-04-18 2018-09-28 南京邮电大学 基于深度3d残差网络的新生儿疼痛表情识别方法及系统
CN108921061B (zh) * 2018-06-20 2022-08-26 腾讯科技（深圳）有限公司 一种表情识别方法、装置和设备
US10423773B1 (en) * 2019-04-12 2019-09-24 Coupang, Corp. Computerized systems and methods for determining authenticity using micro expressions
US11804070B2 (en) * 2019-05-02 2023-10-31 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection
KR102570071B1 (ko) * 2019-05-02 2023-08-25 삼성전자주식회사 라이브니스 검사 방법 및 장치, 얼굴 인증 방법 및 장치
US10729368B1 (en) * 2019-07-25 2020-08-04 Facemetrics Limited Computer systems and computer-implemented methods for psychodiagnostics and psycho personality correction using electronic computing device
US10705488B1 (en) 2019-09-19 2020-07-07 Coupang Corp. Systems and methods for computer-determined efficient bagging of ordered items
CN110879966A (zh) * 2019-10-15 2020-03-13 杭州电子科技大学 一种基于人脸识别与图像处理的学生听课理解度评估方法
KR102422778B1 (ko) * 2019-12-30 2022-07-20 주식회사 하이퍼커넥트 랜드마크 데이터 분리 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JP7396482B2 (ja) * 2020-06-09 2023-12-12 富士通株式会社 判定プログラム、判定装置、および判定方法
CN111753168A (zh) * 2020-06-23 2020-10-09 广东小天才科技有限公司 一种搜题的方法、装置、电子设备及存储介质
JP7221469B2 (ja) * 2020-12-11 2023-02-13 三菱電機株式会社 信頼度推定装置、位置推定装置、及び信頼度推定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030133599A1 (en) * 2002-01-17 2003-07-17 International Business Machines Corporation System method for automatically detecting neutral expressionless faces in digital images
CN1794265A (zh) * 2005-12-31 2006-06-28 北京中星微电子有限公司 基于视频的面部表情识别方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2573126B2 (ja) 1992-06-22 1997-01-22 正重 古川 表情のコード化及び情緒の判別装置
JP2840816B2 (ja) 1995-03-13 1998-12-24 株式会社エイ・ティ・アール通信システム研究所 表情検出装置
US6028960A (en) * 1996-09-20 2000-02-22 Lucent Technologies Inc. Face feature analysis for automatic lipreading and character animation
JP3469031B2 (ja) 1997-02-18 2003-11-25 株式会社東芝 顔画像登録装置及びその方法
JP2962549B2 (ja) 1997-03-11 1999-10-12 株式会社エイ・ティ・アール知能映像通信研究所 顔動画像からの表情認識方法
JP2000048184A (ja) 1998-05-29 2000-02-18 Canon Inc 画像処理方法及び顔領域抽出方法とその装置
US6466685B1 (en) * 1998-07-14 2002-10-15 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method
JP4087953B2 (ja) 1998-07-14 2008-05-21 株式会社東芝 パターン認識装置及びその方法
JP4161659B2 (ja) * 2002-02-27 2008-10-08 日本電気株式会社 画像認識システム及びその認識方法並びにプログラム
JP3822828B2 (ja) * 2002-03-20 2006-09-20 沖電気工業株式会社 ３次元画像生成装置およびその画像生成方法ならびにその画像生成プログラムを記録したコンピュータ読取り可能な記録媒体
WO2005008593A1 (ja) * 2003-07-18 2005-01-27 Canon Kabushiki Kaisha 画像処理装置、撮像装置、画像処理方法
JP4612806B2 (ja) 2003-07-18 2011-01-12 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置
JP4743823B2 (ja) * 2003-07-18 2011-08-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
JP2005293539A (ja) * 2004-03-08 2005-10-20 Matsushita Electric Works Ltd 表情認識装置
JP2005266984A (ja) 2004-03-17 2005-09-29 Konica Minolta Holdings Inc 画像処理システム
JP2006115406A (ja) 2004-10-18 2006-04-27 Omron Corp 撮像装置
JP2007067559A (ja) * 2005-08-29 2007-03-15 Canon Inc 画像処理方法、画像処理装置、及び撮像装置の制御方法
JP2009508553A (ja) * 2005-09-16 2009-03-05 アイモーションズ−エモーション テクノロジー エー／エス 眼球性質を解析することで、人間の感情を決定するシステムおよび方法
JP4799105B2 (ja) * 2005-09-26 2011-10-26 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
US8542928B2 (en) * 2005-09-26 2013-09-24 Canon Kabushiki Kaisha Information processing apparatus and control method therefor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030133599A1 (en) * 2002-01-17 2003-07-17 International Business Machines Corporation System method for automatically detecting neutral expressionless faces in digital images
CN1794265A (zh) * 2005-12-31 2006-06-28 北京中星微电子有限公司 基于视频的面部表情识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IRENE KOTSIA ET AL.: "Facial Expression Recognition in Image Sequences Using Geometric Deformation Features and Support Vector Machines", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI547887B (zh) * 2011-06-30 2016-09-01 諾基亞科技公司 用以利用積分梯度投影作臉部追蹤之方法、裝置與電腦程式
CN103369214A (zh) * 2012-03-30 2013-10-23 华晶科技股份有限公司 图像获取方法与图像获取装置
CN104298910A (zh) * 2013-07-19 2015-01-21 广达电脑股份有限公司 便携式电子装置及互动式人脸登入方法
CN105917305A (zh) * 2013-08-02 2016-08-31 埃莫蒂安特公司 基于图像情感内容的过滤和快门拍摄
US10185869B2 (en) 2013-08-02 2019-01-22 Emotient, Inc. Filter and shutter based on image emotion content
CN107786803A (zh) * 2016-08-29 2018-03-09 中兴通讯股份有限公司 一种图像生成方法、装置及终端设备
CN107301390A (zh) * 2017-06-16 2017-10-27 广东欧珀移动通信有限公司 拍摄提示方法、装置及终端设备
CN111183455A (zh) * 2017-08-29 2020-05-19 互曼人工智能科技(上海)有限公司 图像数据处理系统与方法
CN113536262A (zh) * 2020-09-03 2021-10-22 腾讯科技（深圳）有限公司 基于面部表情的解锁方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2008156184A1 (en) 2008-12-24
US20100189358A1 (en) 2010-07-29
EP2168097A4 (en) 2014-03-05
US8254691B2 (en) 2012-08-28
JP2008310775A (ja) 2008-12-25
EP2168097A1 (en) 2010-03-31
JP4999570B2 (ja) 2012-08-15

Similar Documents

Publication Publication Date Title
CN101689303A (zh) 面部表情识别装置及方法和摄像装置
CN101334839B (zh) 图像处理装置及图像处理方法
Chan et al. Face liveness detection using a flash against 2D spoofing attack
US10650261B2 (en) System and method for identifying re-photographed images
CN101236600B (zh) 图像处理设备和图像处理方法
EP3961441B1 (en) Identity verification method and apparatus, computer device and storage medium
Gorodnichy Video-based framework for face recognition in video
US10565713B2 (en) Image processing apparatus and method
WO2022022493A1 (zh) 一种判断图像真实性的方法及系统
CN102509053A (zh) 用于验证授权的方法、处理器、设备和移动终端
CN109389098B (zh) 一种基于唇语识别的验证方法以及系统
CN108182746A (zh) 控制系统、方法和装置
Kumar et al. Smart attendance marking system using facial recognition
Suhaimin et al. Real-time mask detection and face recognition using eigenfaces and local binary pattern histogram for attendance system
CN108804893A (zh) 一种基于人脸识别的控制方法、装置和服务器
TWI226020B (en) Device and method to determine exposure setting for image of scene with human-face area
Sharanya et al. Online attendance using facial recognition
Charishma et al. Smart Attendance System with and Without Mask using Face Recognition
Tan et al. The impact of data correlation on identification of computer-generated face images
Amrutha et al. Blur type inconsistency based image tampering detection
Cöster et al. Human Attention: The possibility of measuring human attention using OpenCV and the Viola-Jones face detection algorithm
VMK Portable Attendance Monitoring System Using Face Recognition
Nikhilesh et al. Machine learning and its capabilities: example of automated attendance management system using facial recognition
Devireddy Human Face Detection and Recognition Using Advanced Image Processing and Deep Learning Techniques
Nguyen et al. Automatic Attendance System Based on Face Recognition Using HOG Features and Cosine Distance

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100331