CN111373408B - 表情识别装置 - Google Patents

表情识别装置 Download PDF

Info

Publication number
CN111373408B
CN111373408B CN201780097106.XA CN201780097106A CN111373408B CN 111373408 B CN111373408 B CN 111373408B CN 201780097106 A CN201780097106 A CN 201780097106A CN 111373408 B CN111373408 B CN 111373408B
Authority
CN
China
Prior art keywords
face
unit
facial
expression recognition
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780097106.XA
Other languages
English (en)
Other versions
CN111373408A (zh
Inventor
大泽隼也
大塚贵弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN111373408A publication Critical patent/CN111373408A/zh
Application granted granted Critical
Publication of CN111373408B publication Critical patent/CN111373408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

具备：取得图像的图像取得部(101)；从图像取得部(101)取得的图像中提取人物的面部区域并作为赋予了该面部区域的信息的面部图像的面部区域提取部(102)；基于面部图像来提取1个以上的面部特征点的面部特征点提取部(103)；根据面部特征点提取部(103)提取出的各面部特征点的可靠度来判定表示面部图像中的面部的状态的面部条件的面部条件判定部(105)；根据面部条件判定部(105)判定的面部条件，来决定面部特征点提取部(103)提取出的各面部特征点中的用于提取表情识别所使用的特征量的基准点的基准点决定部(107)；根据基准点决定部(107)决定出的基准点来提取特征量的面部特征量提取部(109)；使用面部特征量提取部(109)提取出的特征量来识别面部图像中的人物的表情的表情识别部(111)；以及输出与由表情识别部(111)识别的面部图像中的人物的表情的识别结果相关的信息的表情识别结果输出部(113)。

Description

表情识别装置
技术领域
本发明涉及基于拍摄到人物的图像来识别该人物的表情的表情识别装置。
背景技术
近年来，在汽车导航、家电设备或机器人等中，为了实现使引导或会话等应答表现根据使用者的感情而变化的声音对话功能，正在进行检测使用者的感情的系统的开发。
例如，针对如下功能的要求高涨，该功能为，从照相机取得拍摄到使用者的面部的图像，使用取得的图像来识别使用者的表情，检测使用者的感情。
在表情识别的方法中，例如具有如下方法：从拍摄到人物的面部的图像利用嘴或眼睛等特征点来提取表情识别所需的特征量，识别人物的表情。
但是，例如，在图像中的人物佩戴着墨镜或口罩等佩戴物的情况下，有时无法提取用于提取特征量的特征点，或者该特征点的提取精度变低。
作为基于考虑了有无墨镜或口罩等佩戴物的特征点来提取特征量的技术，例如在专利文献1中公开了一种面部认证系统，该面部认证系统在面部认证的技术中，根据输入面部图像来决定与与佩戴眼镜的有无相对应的特征量提取位置，基于决定出的特征量提取位置来提取特征量，通过对照提取出的特征量和登记图像的特征量来进行面部认证。
在专利文献1所公开的技术中，在判定为输入面部图像的用户具有佩戴物的情况下，避开佩戴物的位置来决定特征量提取位置，因此，无论输入面部图像及登记图像的用户有无佩戴眼镜，都能够进行面部认证。
现有技术文献
专利文献
专利文献1：日本特开2007-280250号公报
发明内容
发明要解决的问题
但是，专利文献1所公开的技术是与使用了拍摄到人物的面部的图像的个人的认证相关的技术，不是进行人物的表情识别的技术。因此，在决定用于提取特征量的特征量提取位置时，未考虑特征量提取位置是否为适于进行表情识别的位置。
在使用拍摄到人物的面部的图像来进行该人物的表情识别的情况下，成为用于进行表情识别的特征量的提取所使用的基准的特征点必须为表情变化所引起的变动较少的特征点。这是因为，当成为基准的特征点变动时所提取的特征量也会变动，无法进行准确的表情识别。
此外，在专利文献1所公开的技术中，并未根据人物的面部朝向或照明环境等佩戴物的有无以外的要因来决定特征量提取位置，因此，可能无法提取特征量。
因此，在专利文献1所公开的这种技术中，存·在无法识别人物的表情这样的课题。
本发明是为了解决上述的问题而完成的，其目的在于，提供一种在拍摄到人物的图像中能够进行人物的表情识别的表情识别装置。
用于解决问题的手段
本发明的表情识别装置具备：图像取得部，其取得图像；面部区域提取部，其从图像取得部取得的图像中提取人物的面部区域，作为赋予了该面部区域的信息的面部图像；面部特征点提取部，其基于面部图像，提取1个以上的面部特征点；面部条件判定部，其根据面部特征点提取部提取出的各面部特征点的可靠度，来判定表示面部图像中的面部的状态的面部条件；基准点决定部，其根据面部条件判定部判定出的面部条件，来决定面部特征点提取部提取出的各面部特征点中的、用于提取表情识别所使用的特征量的基准点；面部特征量提取部，其根据基准点决定部决定出的基准点，来提取特征量；表情识别部，其使用面部特征量提取部提取出的特征量，来识别面部图像中的人物的表情；以及表情识别结果输出部，其输出与由表情识别部识别的面部图像中的人物的表情的识别结果相关的信息。
发明的效果
根据本发明，通过进行以适于进行表情识别的特征点为基准的表情识别，能够在拍摄到人物的图像中识别人物的表情。
附图说明
图1是示出实施方式1的表情识别装置的结构例的框图。
图2是示出在实施方式1中，面部特征点记录部所记录的与各面部特征点相关的信息的一例的图。
图3是示出在实施方式1中，由平均面部特征点模型定义的平均面部的面部特征点的信息的一例的图。
图4是示出在实施方式1中，面部条件记录部所记录的与面部条件的判定结果相关的信息的一例的图。
图5是示出在实施方式1中，由基准点判定条件模型定义的基准点判定条件的一例的图。
图6是用于说明在实施方式1中，面部动态图像中的人物的面部的状态的一例的图。
图7是示出在实施方式1中，基准点记录部所记录的基准点的信息的一例的图。
图8是用于说明在实施方式1中，面部特征量提取部所提取的各特征量的一例的图像的图。
图9是示出在实施方式1中，面部特征量记录部所记录的与各特征量相关的信息的一例的图。
图10是示出在实施方式1中，事先生成数据库具备的表情识别条件模型的内容的一例的图。
图11是示出在实施方式1中，表情识别结果记录部所记录的与面部动态图像中的人物的表情的识别结果相关的信息的一例的图。
图12是用于说明实施方式1的表情识别装置的动作的流程图。
图13是用于对图12的步骤ST1204的动作进行说明的流程图。
图14是用于对图12的步骤ST1205的动作进行说明的流程图。
图15是用于对图12的步骤ST1206的动作进行说明的流程图。
图16是用于对图12的步骤ST1207的动作进行说明的流程图。
图17A、图17B是示出实施方式1的表情识别装置的硬件结构的一例的图。
具体实施方式
以下，参照附图对本发明的实施方式详细进行说明。
实施方式1.
图1是示出实施方式1的表情识别装置1的结构例的框图。
如图1所示，图表情识别装置1与事先生成数据库2、拍摄设备3及显示设备4连接。
此外，如图1所示，表情识别装置1具备图像取得部101、面部区域提取部102、面部特征点提取部103、面部特征点记录部104、面部条件判定部105、面部条件记录部106、基准点决定部107、基准点记录部108、面部特征量提取部109、面部特征量记录部110、表情识别部111、表情识别结果记录部112以及表情识别结果输出部113。
图像取得部101取得拍摄设备3拍摄到的图像。图像取得部101将从拍摄设备3取得的图像向面部区域提取部102输出。
在实施方式1中，由拍摄设备3拍摄并由图像取得部101取得的图像可以是动态图像，也可以是静态图像。以下，在实施方式1中，作为一例，针对拍摄设备3拍摄动态图像并由图像取得部101取得拍摄设备3拍摄到的动态图像的情况进行说明。
另外，在表情识别装置1中，以图像取得部101取得的动态图像的帧为单位来进行表情识别处理。
面部区域提取部102从图像取得部101取得的动态图像中提取表示人物的面部的区域(以下称为“面部区域”。)。面部区域提取部102使用现有的技术来提取面部区域即可。提取面部区域的现有的技术例如被记载于非专利文献1“Paul Viola，MichaelJ.Jones.Robust Real-Time Face Detection.International Journal of ComputerVision.Vol.57，No2 pp.137-154(2004)”。
面部区域提取部102对图像取得部101取得的动态图像赋予面部区域的信息，并向面部特征点提取部103输出。
将由图像取得部101从拍摄设备3取得、且由面部区域提取部102赋予了面部区域的信息的图像称为“面部图像”。
在实施方式1中，拍摄设备3拍摄动态图像，图像取得部101取得动态图像，因此，以下，将“面部图像”称为“面部动态图像”来进行说明。
面部特征点提取部103基于从面部区域提取部102输出的面部动态图像来提取面部的特征点(以下称为“面部特征点”。)。
在实施方式1中，面部特征点是构成人的面部的各构成部分上的点，是指充分表示该各构成部分的特征的1个或多个点。构成人的面部的各构成部分例如是眉毛、眼睛、鼻子或嘴。此外，充分表示各构成部分的特征的1个或多个点例如是左眉的外端或鼻子的前端。
面部特征点提取部103提取“面部特征点的位置”作为面部特征点。“面部特征点的位置”例如以面部动态图像上的坐标示出。
面部特征点提取部103使用现有的技术来提取各面部特征点即可。作为面部特征点提取部103提取面部特征点的现有的技术，例如使用在非专利文献2“Wiskott L.，Fellous J.-M.，Kruger N.，von der Malsburg C.Face Recognition by Elastic BunchGraph Matching.IEEE Transactions on Pattern Analysis and MachineIntelligence，Vol.19.Issue7，pp.775-779(1997)”中公开的公知的方法。
面部特征点提取部103将提取出的各面部特征点的信息向面部特征点记录部104输出并记录于面部特征点记录部104。面部特征点的信息是如下信息，该信息表示：面部特征点提取部103在面部动态图像上提取出的、示出面部特征点的位置的面部动态图像上的坐标表示面部的哪个构成部分的哪个面部特征点。
面部特征点记录部104记录面部特征点提取部103输出的与各面部特征点相关的信息。
图2是示出在实施方式1中，面部特征点记录部104所记录的与各面部特征点相关的信息的一例的图。
如图2所示，与各面部特征点相关的信息包括各面部特征点在面部动态图像中的坐标的信息。
各面部特征点的坐标是将面部动态图像的左上的坐标作为原点(0，0)而示出的坐标。
另外，在图2中为了简化说明而省略了图示，但在与各面部特征点相关的信息中，各面部特征点的坐标与将图像取得部101取得的面部动态图像的哪个帧确定为处理对象的信息被对应起来。
面部条件判定部105基于由面部特征点提取部103提取并记录于面部特征点记录部104的与各面部特征点相关的信息，来判定面部动态图像中的面部是否佩戴着佩戴物或者是否不存在阴影或颜色跳变等表示面部动态图像中的面部的状态的面部条件。
具体而言，面部条件判定部105根据各面部特征点的可靠度，来判定面部条件。在实施方式1中，面部特征点的可靠度是指是否能够高精度地提取面部特征点，如果能够高精度地提取面部特征点，则面部条件判定部105判定为可靠度高，如果未能够高精度地提取面部特征点，则面部条件判定部105判定为可靠度低。
例如，如果面部特征点提取部103未能够提取表示眼睛的面部特征点，则面部条件判定部105认为表示该眼睛的面部特征点的可靠度低，将面部条件判定为“佩戴墨镜”。此外，例如，如果面部特征点提取部103未能够提取表示嘴的面部特征点，则面部条件判定部105认为表示该嘴的面部特征点的可靠度低，将面部条件判定为“佩戴口罩”。
此外，面部条件判定部105也可以基于事先生成数据库2具备的平均面部特征点模型21(后述)，比较由平均面部特征点模型21定义的与面部特征点相关的信息以及面部特征点提取部103提取的与面部特征点相关的信息，根据两个面部特征点的相似度，来判定各面部特征点的可靠度。例如，面部条件判定部105针对表示眼睛的面部特征点的坐标进行上述的比较，其结果是，在两个坐标间的差显著大的情况下，两个面部特征点的相似度低，认为提取出的表示眼睛的面部特征点的可靠度低，将面部条件判定为“佩戴墨镜”。此外，例如，面部条件判定部105针对表示嘴的面部特征点的坐标进行上述的比较，其结果是，在两个坐标间的差显著大的情况下，两个面部特征点的相似度低，认为提取出的表示嘴的面部特征点的可靠度低，将面部条件判定为“佩戴口罩”。此外，例如，面部条件判定部105针对表示眼睛的面部特征点即眼睛的外端与眼睛的内端之间的距离进行上述的比较，其结果是，在两个距离间的差显著大的情况下，上述的比较中的表示眼睛的面部特征点即眼睛的外端与眼睛的内端之间的距离的相似度低，认为提取出的表示眼睛的面部特征点的可靠度低，作为面部条件，判定为“佩戴墨镜”。
面部条件判定部105在比较由平均面部特征点模型21定义的与面部特征点相关的信息、以及面部特征点提取部103提取的与面部特征点相关的信息时，例如采用使用欧式距离或马氏距离的方法即可。另外，面部条件判定部105例如以使根据面部特征点提取部103提取出的与面部特征点相关的信息而计算出的左眼外端和右眼外端之间的距离与根据由平均面部特征点模型21定义的与面部特征点相关的信息而计算出的左眼外端和右眼外端之间的距离成为相同距离的方式进行匹配，从而进行面部的大小的归一化。在进行面部的大小的归一化时利用的多个面部特征点通过该多个面部特征点之间的距离来表示面部的大小即可，例如，也可以利用左眉外端与右眉外端之间的距离。
这里，图3是示出在实施方式1中，由平均面部特征点模型21定义的与平均面部的面部特征点相关的信息的一例的图。另外，在实施方式1中，“平均面部”是指，使拍摄到多个人的面部的动态图像或静态图像重叠，作为该多个人的平均的面部而求出的面部。
如图3所示，在平均面部特征点模型21中，定义了将人物的各面部特征点与该各面部特征点的面部动态图像中的平均坐标对应起来的与平均面部的面部特征点相关的信息。该平均面部特征点模型21预先由管理者等生成。
此外，面部条件判定部105例如也可以根据与照明环境或拍摄设备3的设置场所相关的信息，确定面部动态图像中的阴影或颜色跳变的范围，来判定面部条件。
例如，在事先知道照明从从左照到人物的面部的状态等照明环境的情况下，面部条件判定部105认为面部的左半部分进行颜色跳变的可能性高，针对面部的左半部分的范围内的面部特征点提取部103提取出的面部特征点，认为该面部特征点的可靠度低，将面部条件判定为“从左存在照明”。
另外，与照明环境或拍摄设备3的设置场所相关的信息例如由管理者等预先设定，并预先记录于表情识别装置1能够参照的场所。
此外，在由于人物的面部朝向而隐藏了面部的左半部分的情况下，面部条件判定部105针对面部的左半部分的范围内的由面部特征点提取部103提取出的面部特征点，认为该面部特征点的可靠度低，将面部条件判定为“倾斜面部”。
这样，面部条件判定部105还能够判定用于限制作为基准点的面部特征点的面部条件，使得在之后基准点决定部107决定基准点时，不会将特定范围内的面部特征点作为基准点。通过由面部条件判定部105判定用于限制作为基准点的面部特征点的面部条件，由此，基准点决定部107能够决定更加适当的基准点。之后对基准点决定部107进行叙述。
面部条件判定部105将与面部条件的判定结果相关的信息向面部条件记录部106输出并记录于面部条件记录部106。
面部条件记录部106记录面部条件判定部105输出的与面部条件的判定结果相关的信息。
这里，图4是示出在实施方式1中，面部条件记录部106记录的与面部条件的判定结果相关的信息的一例的图。
如图4所示，在面部条件记录部106中，作为与面部条件的判定结果相关的信息，记录“通常”、“佩戴口罩”或者“从左存在照明”这样的信息。
例如，“通常”表示这样的状态：在人物的面部没有佩戴物，并且，照明环境等不对人物的面部的图像造成影响，并且，人物的面部朝向正面。此外，例如，“佩戴口罩”是指人物在面部佩戴有口罩的状态。此外，例如，“从左存在照明”是指照明从左照到人物的面部的状态。
另外，在图4中为了简化说明而省略了图示，但“通常”、“佩戴口罩”或者“从左存在照明”这样的信息与确定将图像取得部101取得的面部动态图像的哪个帧作为处理对象的信息对应起来而记录。
基准点决定部107基于事先生成数据库2具备的基准点判定条件模型22(后述)，根据面部条件判定部105判定的面部条件，来决定面部特征点提取部103提取并记录于面部特征点记录部104的面部特征点中的、用于提取表情识别所使用的特征量的基准点。
在实施方式1的表情识别装置1中，在进行表情识别时，利用由面部特征点提取部103提取出的1个以上的面部特征点中的一部分面部特征点，根据以该一部分面部特征点为基准而提取出的特征量来识别表情。但是，为了准确地提取用于识别表情的特征量，需要将表情变化所引起的变动较少的面部特征点作为基准而进行提取。此外，根据提取面部特征点时的各种条件，有时在提取出的面部特征点中产生提取精度低的面部特征点。当将提取精度低的面部特征点用作提取特征量时的基准时，特征量也无法被准确地提取。
对此，基准点决定部107基于事先生成的基准点判定条件模型22，根据面部条件判定部105判定出的面部条件，决定面部特征点提取部103提取并记录于面部特征点记录部104的面部特征点中的、成为提取用于表情识别的特征量的基准的基准点。
另外，在面部条件判定部105判定出的面部条件为多个的情况下，基准点决定部107基于预先设定的优先顺位，根据多个面部条件中的优先顺位高的面部条件来决定基准点。用于决定基准点的优先顺位预先由管理者等设定，例如预先在后述的基准点判定条件模型22中定义。例如，在面部条件判定部105将“佩戴口罩”和“从左存在照明”判定为面部条件的情况下，如果根据“佩戴口罩”这样的面部条件来进行基准点的决定，则管理者等将“佩戴口罩”的优先顺位设定得比“从左存在照明”的优先顺位高。
这里，图5是示出在实施方式1中，由基准点判定条件模型22定义的基准点判定条件的一例的图。
如图5所示，在基准点判定条件模型22中，定义了将面部条件、基准点以及用于决定基准点的面部条件的优先顺位对应起来而成的基准点判定条件。该基准点判定条件模型22预先由管理者等生成。
在基准点判定条件中，与面部条件对应起来的基准点是面部区域内的面部特征点中的适于提取用于表情识别的特征量的面部特征点。
例如在面部条件为“倾斜面部”的情况下，鼻子的前端朝前凸出，因此，不作为基准点使用，将眼角的中间点、即左眼外端与右眼外端之间的中间点定义为基准点。
此外，例如在面部条件为“说话时”的情况下，嘴角的位置变动，因此，作为基准点的使用的优先度下降，将眼角的中间点定义为基准点。
此外，例如在面部条件为“从左存在照明”的情况下，无法提取眼角的中间点，因此，不作为基准点使用，左嘴角的特征量的检测精度也变低，因此，作为基准点的使用的优先度下降，将鼻子的前端定义为基准点。
基准点决定部107基于图5所示的基准点判定条件模型22，根据面部条件来决定基准点。对由基准点决定部107决定基准点的具体方法进行说明。基准点决定方法被预先设定，基准点决定部107按照该预先设定的基准点决定方法来决定基准点。另外，在以下的说明中，作为面部动态图像中的人物的面部的状态，例如设想图6所示的状态。
通常，在人的面部中，存在几个即便面部的表情有各种变化、位置也几乎不变化的面部特征点。因此，管理者等预先决定几个位置几乎不变化的面部特征点，如图5所示，预先与各面部条件对应地登记各1个基准点。
然后，在系统运转时，基准点决定部107根据实际拍摄到动态图像时的面部条件，使作为基准的面部特征点变化。即，不是与条件无关地固定使用相同的基准点，而是使基准点根据面部条件动态地变化。
基准点决定部107根据面部条件，使成为基准的面部特征点动态地变化，来决定基准点。
例如，如图6所示，在人物佩戴墨镜时(参照图6(A))，表示眼睛的面部特征点的提取精度变低，因此，管理者等避开眼角的中间点，而将鼻子的前端作为基准点预先登记于基准点判定条件模型22。基准点决定部107基于基准点判定条件模型22，将鼻子的前端决定为基准点。
此外，例如在佩戴口罩时(参照图6(B))，表示鼻子的面部特征点的提取精度变低，因此，管理者等避开鼻子的前端，将眼角的中间点作为基准点预先登记于基准点判定条件模型22。基准点决定部107基于基准点判定条件模型22，将眼角的中间点作为基准点。
此外，例如在通常时(参照图6(C))，不存在面部特征点的提取精度变低的要素，管理者等将眼角的中间点作为基准点预先登记于基准点判定条件模型22。基准点决定部107基于基准点判定条件模型22，将眼角的中间点作为基准点。
此外，例如如果人物的面部为倾斜面部(参照图6的(D))，则鼻子的前端朝前凸出而提取精度变低，因此，管理者等避开鼻子的前端，将眼角的中间点作为基准点预先登记于基准点判定条件模型22。基准点决定部107基于基准点判定条件模型22，将眼角的中间点作为基准点。
此外，例如在说话时(参照图6(D))，嘴运动，表示该嘴的面部特征点的提取精度变低，因此，管理者等预先避开嘴，将眼角的中间点作为基准点登记于基准点判定条件模型22。基准点决定部107基于基准点判定条件模型22，将眼角的中间点作为基准点。
此外，例如在照明从左照到人物的面部的从左存在照明时(参照图6(E))，表示人物的面部的左侧的面部特征点的提取精度变低，无法计算出眼角的中间点，因此，管理者等预先将鼻子的前端作为基准点登记于基准点判定条件模型22。基准点决定部107基于基准点判定条件模型22，将鼻子的前端决定为基准点。
基准点决定部107将决定出的基准点的信息向基准点记录部108输出并记录于基准点记录部108。
基准点记录部108记录基准点决定部107输出的基准点的信息。
这里，图7是示出在实施方式1中，基准点记录部108记录的基准点的信息的一例的图。
如图7所示，在基准点记录部108中，作为基准点的信息而记录“眼角的中间点”或“鼻子的前端”等信息。
另外，在图7中为了简化说明而省略了图示，但“眼角的中间点”或“鼻子的前端”等基准点的信息与确定将图像取得部101取得的面部动态图像的哪个帧作为处理对象的信息对应起来而被记录。
面部特征量提取部109根据基准点决定部107输出并记录于基准点记录部108的基准点，提取用于表情识别的各特征量。
这里，图8是用于说明在实施方式1中，面部特征量提取部109提取的各特征量的一例的图像的图。图8A示出在基准点为两个眼角的中间点的情况下，面部特征量提取部109提取的特征量的一例的图像，图8B示出在基准点为鼻子的前端的情况下，面部特征量提取部109提取的特征量的一例的图像。
例如，如图8所示，将连结基准点与两个眉毛的内端而成的角度(图8的V1)、连结基准点与鼻子下方的两端而成的角度(图8的V2)、以及连结基准点与左右两个嘴角而成的角度(V3)设定为特征量。这些是嘴角上扬、鼻翼打开或者紧皱眉头等在表情变化中表现出特征的特征量。
面部特征量提取部109例如将图8的V1～V3所示的角度作为用于表情识别的特征量来提取。
此外，在图8中，面部特征量提取部109提取角度作为用于表情识别的特征量，但这只不过是一例。例如，面部特征量提取部109也可以将基准点与各面部特征点之间的距离、从基准点朝向各面部特征点的方向、或者图8的V1～V3所示的角度以外的角度作为用于表情识别的特征量来提取。
此外，在上述的说明中，面部特征量提取部109提取了3个特征量，但这只不过是一例，面部特征量提取部109提取1个以上的特征量即可。
这样，面部特征量提取部109将基准点作为基准，来提取用于表情识别的各特征量。
面部特征量提取部109将提取出的各特征量向面部特征量记录部110输出并记录于面部特征量记录部110。
面部特征量记录部110记录面部特征量提取部109输出的各特征量。
这里，图9是示出在实施方式1中，面部特征量记录部110记录的与各特征量相关的信息的一例的图。
如图9所示，面部特征量记录部110记录各特征量的具体值。
另外，在图9中为了简化说明而省略了图示，但是，和各特征量相关的信息与确定将图像取得部101取得的面部动态图像的哪个帧作为处理对象的信息对应起来而被记录。
表情识别部111使用面部特征量提取部109提取并记录于面部特征量记录部110的各特征量，来识别面部动态图像中的人物的表情。
例如，表情识别部111使用记录于面部特征量记录部110的各特征量，基于事先生成数据库2具备的表情识别条件模型23(后述)，来识别面部动态图像中的人物的表情。
具体而言，例如，当针对人物的表情而设为识别“严肃面部”、“幸福”、“惊讶”、“恐怖”、“愤怒”、“厌恶”及“悲伤”这7个表情时，表情识别部111基于用于识别各表情的各特征量的阈值，将满足阈值的特征量的个数最多的表情识别为面部动态图像中的人物的表情。
另外，用于识别各表情的各特征量的阈值分别预先由管理者等设定，作为表情的判定条件在表情识别条件模型23中定义。管理者等在预先例如以嘴角上扬识别表情的情况下，作为表情的判定条件，设定为“V3＞45”等。
这里，图10是示出在实施方式1中，事先生成数据库2具备的表情识别条件模型23的内容的一例的图。
如图10所示，在表情识别条件模型23中，按照记录于面部特征量记录部110的每个特征量，将用于识别为是各表情(这里为上述的7个表情)的特征量的判定条件定义为表情识别条件。
表情识别部111使用记录于面部特征量记录部110的各特征量，基于图10所示的表情识别条件模型23，识别面部动态图像中的人物的表情。
另外，在使用各特征量并基于表情识别条件模型23识别出面部动态图像中的人物的表情的结果是识别出多个表情的情况下，表情识别部111例如基于预先设定的表情的优先顺位，将优先顺位高的表情设为面部动态图像中的人物的表情即可。表情的优先顺位预先由管理者等设定，并在表情识别条件模型23中定义即可。
此外，在识别出多个表情的情况下，表情识别部111例如也可以将面部动态图像中的人物的表情设为“不能判定”。
另外，在实施方式1中，如上所述，表情识别部111基于图10所示的表情识别条件模型23来识别面部动态图像中的人物的表情，但这只不过是一例。表情识别部111例如也可以使用记录于面部特征量记录部110的各特征量，通过随机森林(Random Forest)、或者SVM(Support Vector Machine)、Adaboost、CNN(Convolutional Neural Network)等现有的机器学习的技术，来识别面部动态图像中的人物的表情。
表情识别部111将与面部动态图像中的人物的表情的识别结果相关的信息向表情识别结果记录部112输出并记录于表情识别结果记录部112。
表情识别结果记录部112记录表情识别部111输出的与表情的识别结果相关的信息。
这里，图11是示出在实施方式1中，表情识别结果记录部112记录的与面部动态图像中的人物的表情的识别结果相关的信息的一例的图。
如图11所示，表情识别结果记录部112记录表示面部动态图像中的人物的表情的识别结果的信息。
另外，在图11中为了简化说明而省略了图示，但表示面部动态图像中的人物的表情的识别结果的信息与确定将图像取得部101取得的面部动态图像的哪个帧作为处理对象的信息对应起来而被记录。
表情识别结果输出部113将由表情识别部111识别出并记录于表情识别结果记录部112的与面部动态图像中的人物的表情的识别结果相关的信息向显示设备4输出。
另外，在图1中，面部特征点记录部104、面部条件记录部106、基准点记录部108、面部特征量记录部110以及表情识别结果记录部112设置于表情识别装置1，但不限于此，面部特征点记录部104、面部条件记录部106、基准点记录部108、面部特征量记录部110以及表情识别结果记录部112也可以设置于表情识别装置1的外部的表情识别装置1能够参照的场所。
事先生成数据库2具备平均面部特征点模型21、基准点判定条件模型22以及表情识别条件模型23。各模型预先由管理者等生成，并存储于事先生成数据库2。
在平均面部特征点模型21中，如使用图3说明的那样，定义有将人物的面部的各面部特征点与该各面部特征点的面部动态图像中的平均坐标对应起来的平均面部的面部特征点的信息。
在基准点判定条件模型22中，如使用图5说明的那样，定义有将面部条件、基准点、以及用于决定基准点的面部条件的优先顺位对应起来的基准点判定条件。
在表情识别条件模型23中，如使用图10说明的那样，按照每个特征量，将用于识别为是各表情的特征量的判定条件定义为表情识别条件。
拍摄设备3例如是照相机。
显示设备4例如是液晶画面。
接着，对实施方式1的表情识别装置1的动作进行说明。
图12是用于说明实施方式1的表情识别装置1的动作的流程图。
图像取得部101取得拍摄设备3拍摄到的动态图像(步骤ST1201)。图像取得部101将从拍摄设备3取得的动态图像向面部区域提取部102输出。
面部区域提取部102从在步骤ST1201中从图像取得部101输出的动态图像中提取人物的面部区域(步骤ST1202)。面部区域提取部102将面部动态图像向面部特征点提取部103输出。
面部特征点提取部103基于在步骤ST1202中从面部区域提取部102输出的面部动态图像，提取面部特征点(步骤ST1203)。
面部特征点提取部103将提取出的面部特征点的信息向面部特征点记录部104输出并记录于面部特征点记录部104。
面部条件判定部105基于在步骤ST1203中面部特征点提取部103输出并记录于面部特征点记录部104的面部特征点的信息，判定面部动态图像中的人物的面部是否佩戴着佩戴物或者是否不存在阴影或颜色跳变等面部条件(步骤ST1204)。
这里，图13是用于说明图12的步骤ST1204的动作的流程图。
按照图13对面部条件判定部105的动作进行说明。
面部条件判定部105取得记录于面部特征点记录部104的面部特征点的信息(步骤ST1301)。
面部条件判定部105判定面部动态图像中的面部是否佩戴着佩戴物或者是否不存在阴影或颜色跳变(步骤ST1302)。
在步骤ST1302中，面部条件判定部105在判定为“不存在佩戴物、不存在阴影且不存在颜色跳变”的情况下，将面部条件“通常”的信息记录于面部条件记录部106(步骤ST1303)。
在步骤ST1302中，面部条件判定部105在判定为“存在阴影或者存在颜色跳变”的情况下，将表示存在阴影或者存在颜色跳变的状态的面部条件的信息记录于面部条件记录部106。例如，如果为照明从左照到面部动态图像中的人物的面部的情况，则面部条件判定部105将面部条件“从左存在照明”的信息记录于面部条件记录部106(步骤ST1304)。
在步骤ST1302中，面部条件判定部105在判定为“存在佩戴物”的情况下，将表示佩戴着佩戴物的状态的面部条件的信息记录于面部条件记录部106。例如，如果为面部动态图像中的人物在面部佩戴着口罩的情况，则面部条件判定部105将面部条件“佩戴口罩”的信息记录于面部条件记录部106(步骤ST1305)。
返回图12的流程图。
基准点决定部107基于基准点判定条件模型22，根据在步骤ST1204中面部条件判定部105判定的面部条件，来决定用于提取表情识别所使用的特征量的基准点(步骤ST1205)。
这里，图14是用于说明图12的步骤ST1205的动作的流程图。
按照图14对基准点决定部107的动作进行说明。
基准点决定部107取得记录于面部条件记录部106的面部条件(步骤ST1401)。
基准点决定部107基于基准点判定条件模型22(参照图5)，根据在步骤ST1401中取得的面部条件，来决定基准点(步骤ST1402)。
基准点决定部107将决定出的基准点的信息向基准点记录部108输出并记录于基准点记录部108(步骤ST1403)。
返回图12的流程图。
面部特征量提取部109根据在步骤ST1205中由基准点决定部107决定出的基准点，提取用于表情识别的特征量(步骤ST1206)。
这里，图15是用于说明图12的步骤ST1206的动作的流程图。
按照图15对面部特征量提取部109的动作进行说明。
面部特征量提取部109取得记录于基准点记录部108的基准点的信息(步骤ST1501)。
面部特征量提取部109基于在步骤ST1501中取得的基准点的信息，来提取特征量(步骤ST1502)。如上所述，面部特征量提取部109例如将连结基准点与两个眉毛的内端而成的角度(参照图8的V1)、连结基准点与鼻子下方的两端而成的角度(参照图8的V2)、以及连结基准点与左右两个嘴角而成的角度(参照图8的V3)设为特征量。
面部特征量提取部109将提取出的特征量记录于面部特征量记录部110(步骤ST1503)。
返回图12的流程图。
表情识别部111使用在步骤ST1206中由面部特征量提取部109提取并记录于面部特征量记录部110的各特征量，来识别面部动态图像中的人物的表情(步骤ST1207)。
在实施方式1中，表情识别部111使用记录于面部特征量记录部110的各特征量，基于事先生成数据库2具备的表情识别条件模型23，识别面部动态图像中的人物的表情。
这里，图16是用于说明图12的步骤ST1207的动作的流程图。
按照图16对表情识别部111的动作进行说明。
另外，在以下的动作说明中，表情识别部111针对人的表情，例如识别出“严肃面部”、“幸福”、“惊讶”、“恐怖”、“愤怒”、“厌恶”及“悲伤”这7个表情。此外，表情识别条件模型23是图10所示的内容。
此外，记录于面部特征量记录部110的各特征量成为连结基准点与两个眉毛的内端而成的角度(参照图8的V1)、连结基准点与鼻子下方的两端而成的角度(参照图8的V2)、以及连结基准点与左右两个嘴角而成的角度(参照V3)。
表情识别部111取得记录于面部特征量记录部110的各特征量V1～V3(步骤ST1601)。
表情识别部111针对在步骤ST1601中取得的各特征量V1～V3，判定是否满足由表情识别条件模型23定义的各特征量V1～V3中的各表情的判定条件(幸福判定条件、惊讶判定条件、恐怖判定条件、愤怒判定条件、厌恶判定条件、悲伤判定条件)中的任意一方(步骤ST1602)。
表情识别部111在步骤ST1602中判定为步骤ST1601中取得的各特征量V1～V3对于各特征量V1～V3中的各表情的判定条件的任意一方都不满足的情况下(在步骤ST1602的“否”的情况下)，将面部动态图像中的人物的表情识别为“严肃面部”(步骤ST1603)。
表情识别部111在步骤ST1602中判定为步骤ST1601中取得的各特征量V1～V3满足各特征量V1～V3中的各表情的判定条件的任意一方的情况下(在步骤ST1602的“是”的情况下)，判定各特征量V1～V3中的满足条件的特征量最多的是幸福判定条件、惊讶判定条件、恐怖判定条件、愤怒判定条件、厌恶判定条件、悲伤判定条件中的哪一方(步骤ST1604)。
表情识别部111在步骤ST1604中判定为各特征量V1～V3中的满足条件的特征量最多的是幸福判定条件的情况下，将面部动态图像上的人物的表情识别为“幸福”(步骤ST1605)。
表情识别部111在步骤ST1604中判定为各特征量V1～V3中的满足条件的特征量最多的是惊讶判定条件的情况下，将面部动态图像上的人物的表情识别为“惊讶”(步骤ST1606)。
表情识别部111在步骤ST1604中判定为各特征量V1～V3中的满足条件的特征量最多的是恐怖判定条件的情况下，将面部动态图像上的人物的表情识别为“恐怖”(步骤ST1607)。
表情识别部111在步骤ST1604中判定为各特征量V1～V3中的满足条件的特征量最多的是愤怒判定条件的情况下，将面部动态图像上的人物的表情识别为“愤怒”(步骤ST1608)。
表情识别部111在步骤ST1604中判定为各特征量V1～V3中的满足条件的特征量最多的是厌恶判定条件的情况下，将面部动态图像上的人物的表情识别为“厌恶”(步骤ST1609)。
表情识别部111在步骤ST1604中判定为各特征量V1～V3中的满足条件的特征量最多的不是厌恶判定条件的情况下，将面部动态图像上的人物的表情识别为“悲伤”(步骤ST1610)。
表情识别部111将与面部动态图像上的人的表情的识别结果相关的信息记录于表情识别结果记录部112(步骤ST1611)。
返回图12的流程图。
表情识别结果输出部113将在步骤ST1207中表情识别部111记录于表情识别结果记录部112的与面部区域动态图像中的人物的表情的识别结果相关的信息向显示设备4输出(步骤ST1208)。
如以上那样，表情识别装置1根据拍摄设备3拍摄到的动态图像，来识别映在该动态图像中的人物的表情。
上述那样的以往的个人认证技术是用于进行个人认证的技术，因此，在决定用于提取个人认证用的特征量的特征量提取位置时，未进行特征量提取位置是否为适于进行表情识别的位置的考虑。
此外，在上述那样的以往的个人认证技术中，根据佩戴物的有无来决定特征量提取位置，但在以往的个人认证技术中，没有根据人物的面部的朝向或者照明环境等佩戴物的有无以外的要因来决定特征量提取位置。其结果是，可能无法高精度地提取特征量。
与此相对，在实施方式1的表情识别装置1中，预先由管理者等决定若干个位置几乎不变化的面部特征点，与各面部条件对应地将各1个基准点登记于基准点判定条件模型22。
而且，面部条件判定部105不仅考虑佩戴物的有无，也考虑佩戴物以外的降低面部特征点提取精度的要因，来判定面部条件，基准点决定部107基于面部条件判定部105判定出的面部条件和登记于基准点判定条件模型22的基准，决定面部特征点中的用于提取表情识别所使用的特征量的基准点。
由此，表情识别装置1能够基于除了设想为提取精度低的面部特征点之外的适于进行表情识别的基准点，来提取特征量，其结果是，能够高精度地识别图像中的人物的表情。
图17A、图17B是示出实施方式1的表情识别装置1的硬件结构的一例的图。
在实施方式1中，图像取得部101、面部区域提取部102、面部特征点提取部103、面部条件判定部105、基准点决定部107、面部特征量提取部109、表情识别部111以及表情识别结果输出部113的各功能通过处理电路1701来实现。即，表情识别装置1具备处理电路1701，该处理电路1701用于进行如下处理的控制：基于从拍摄设备3取得的动态图像、存储于事先生成数据库2的平均面部特征点模型21、基准点判定条件模型22及表情识别条件模型23，识别从拍摄设备3取得的动态图像中的人物的表情。
处理电路1701可以如图17A所示那样是专用的硬件，也可以如图17B所示那样是执行存储器1705所存储的程序的CPU(Central Processing Unit)1706。
在处理电路1701是专用的硬件的情况下，处理电路1701例如适用单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC(Application Specific IntegratedCircuit)、FPGA(Field-Programmable Gate Array)、或者它们的组合。
在处理电路1701为CPU1706的情况下，图像取得部101、面部区域提取部102、面部特征点提取部103、面部条件判定部105、基准点决定部107、面部特征量提取部109、表情识别部111以及表情识别结果输出部113的各功能通过软件、固件、或者软件与固件的组合来实现。即，图像取得部101、面部区域提取部102、面部特征点提取部103、面部条件判定部105、基准点决定部107、面部特征量提取部109、表情识别部111以及表情识别结果输出部113通过执行HDD(Hard Disk Drive)1702、存储器1705等所存储的程序的CPU 1706、或者系统LSI(Large-Scale Integration)等处理电路来实现。此外，HDD 1702或者存储器1705等所存储的程序可以说是使计算机执行图像取得部101、面部区域提取部102、面部特征点提取部103、面部条件判定部105、基准点决定部107、面部特征量提取部109、表情识别部111以及表情识别结果输出部113的步骤、方法。这里，存储器1705例如使用RAM(Random AccessMemory)、ROM(Read Only Memory)、闪存、EPROM(Erasable Programmable Read OnlyMemory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)等非易失性或易失性的半导体存储器、磁盘、软盘、光盘、高密度盘、迷你盘、或者DVD(DigitalVersatile Disc)等。
另外，针对图像取得部101、面部区域提取部102、面部特征点提取部103、面部条件判定部105、基准点决定部107、面部特征量提取部109、表情识别部111以及表情识别结果输出部113的各功能，也可以通过专用的硬件来实现一部分，通过软件或固件来实现一部分。例如，针对图像取得部101，能够通过作为专用的硬件的处理电路1701来实现其功能，针对面部区域提取部102、面部特征点提取部103、面部条件判定部105、基准点决定部107、面部特征量提取部109、表情识别部111以及表情识别结果输出部113，能够通过处理电路读出并执行存储器1705所存储的程序来实现其功能。
面部特征点记录部104、面部条件记录部106、基准点记录部108、面部特征量记录部110以及表情识别结果记录部112例如使用HDD 1702。另外，这只不过是一例，面部特征点记录部104、面部条件记录部106、基准点记录部108、面部特征量记录部110以及表情识别结果记录部112也可以由DVD或存储器1705等构成。
此外，表情识别装置1具有与拍摄设备3、事先生成数据库2或者显示设备4等外部设备进行通信的输入接口装置1703及输出接口装置1704。
在以上的说明中，将面部特征点提取部103提取出的面部特征点、面部条件判定部105判定出的面部条件、基准点决定部107决定出的基准点、面部特征量提取部109提取出的面部特征量、以及表情识别部111识别出的表情的信息分别记录于面部特征点记录部104、面部条件记录部106、基准点记录部108、面部特征量记录部110、以及表情识别结果记录部112。而且，面部条件判定部105、基准点决定部107、面部特征量提取部109、表情识别部111以及表情识别结果输出部113基于记录于面部特征点记录部104、面部条件记录部106、基准点记录部108、面部特征量记录部110以及表情识别结果记录部112的各种信息，进行使用图12说明的各种动作。
但是，不限于此，也可以是，不具备面部特征点记录部104、面部条件记录部106、基准点记录部108、面部特征量记录部110及表情识别结果记录部112，面部条件判定部105、基准点决定部107、面部特征量提取部109、表情识别部111及表情识别结果输出部113分别直接从各部取得面部特征点提取部103提取出的面部特征点、面部条件判定部105判定出的面部条件、基准点决定部107决定出的基准点、面部特征量提取部109提取出的面部特征量、以及表情识别部111识别出的表情的信息，进行各种动作。
如以上那样，实施方式1的表情识别装置1构成为具备：图像取得部101，其取得图像；面部区域提取部102，其从图像取得部101取得的图像中提取人物的面部区域，作为赋予了面部区域的信息的面部图像；面部特征点提取部103，其基于面部图像，提取1个以上的面部特征点；面部条件判定部105，其根据面部特征点提取部103提取出的各面部特征点的可靠度，来判定表示面部图像中的面部的状态的面部条件；基准点决定部107，其根据面部条件判定部105判定的面部条件，来决定面部特征点提取部103提取出的各面部特征点中的、用于提取表情识别所使用的特征量的基准点；面部特征量提取部109，其根据基准点决定部107决定出的基准点来提取特征量；表情识别部111，其使用面部特征量提取部109提取出的特征量，来识别面部图像中的人物的表情；以及表情识别结果输出部113，其输出与由表情识别部111识别的面部图像中的人物的表情的识别结果相关的信息。因此，通过进行以适于进行表情识别的特征点为基准的表情识别，在拍摄到人物的图像中能够识别人物的表情。
另外，本申请发明在本发明的范围内能够进行实施方式的任意的结构要素的变形、或者省略实施方式的任意的结构要素。
产业利用性
本发明的表情识别装置构成为通过进行以适于进行表情识别的特征点为基准的表情识别，在拍摄到人物的图像中能够高精度地识别人物的表情，因此，能够应用于基于拍摄到人物的图像来识别该人物的表情的表情识别装置等。
标号说明
1表情识别装置，2事先生成数据库，3拍摄设备，4显示设备，21平均面部特征点模型，22基准点判定条件模型，23表情识别条件模型，101图像取得部，102面部区域提取部，103面部特征点提取部，104面部特征点记录部，105面部条件判定部，106面部条件记录部，107基准点决定部，108基准点记录部，109面部特征量提取部，110面部特征量记录部，111表情识别部，112表情识别结果记录部，113表情识别结果输出部，1701处理电路，1702HDD，1703输入接口装置，1704输出接口装置，1705存储器，1706CPU。

Claims (7)

1.一种表情识别装置，其中，
所述表情识别装置具备：
图像取得部，其取得图像；
面部区域提取部，其从所述图像取得部取得的图像中提取人物的面部区域，作为赋予了该面部区域的信息的面部图像；
面部特征点提取部，其基于所述面部图像，提取1个以上的面部特征点；
面部条件判定部，其根据所述面部特征点提取部提取出的各面部特征点的可靠度，来判定表示所述面部图像中的面部的状态的面部条件；
基准点决定部，其根据所述面部条件判定部判定出的面部条件，来决定所述面部特征点提取部提取出的各面部特征点中的、用于提取表情识别所使用的特征量的基准点；
面部特征量提取部，其根据所述基准点决定部决定出的基准点，来提取所述特征量；
表情识别部，其使用所述面部特征量提取部提取出的特征量，来识别所述面部图像中的人物的表情；以及
表情识别结果输出部，其输出与由所述表情识别部识别的所述面部图像中的人物的表情的识别结果相关的信息。
2.根据权利要求1所述的表情识别装置，其特征在于，
所述面部条件判定部根据所述各面部特征点的可靠度，来判定表示所述面部图像中的面部是否为佩戴着佩戴物的状态的面部条件。
3.根据权利要求1所述的表情识别装置，其特征在于，
所述面部条件判定部根据基于拍摄了所述面部图像的照明环境的所述各面部特征点的可靠度，来判定所述面部条件。
4.根据权利要求1所述的表情识别装置，其特征在于，
所述面部条件判定部根据所述各面部特征点的可靠度，判定表示所述面部图像中的面部是否为存在阴影的状态或者是否为存在颜色跳变的状态的面部条件。
5.根据权利要求1所述的表情识别装置，其特征在于，
所述面部条件判定部根据所述面部特征点提取部提取出的各面部特征点与由平均面部特征点模型定义的平均面部中的各面部特征点的比较结果，来判定所述面部特征点的可靠度，并判定所述面部条件。
6.根据权利要求5所述的表情识别装置，其特征在于，
所述面部条件判定部根据所述平均面部中的各面部特征点与所述面部特征点提取部提取出的各面部特征点的相似度，来判定所述各面部特征点的可靠度。
7.根据权利要求5所述的表情识别装置，其特征在于，
所述面部条件判定部根据所述平均面部中的各面部特征点之间的距离与所述各面部特征点提取部提取出的各面部特征点之间的距离的相似度，来判定所述各面部特征点的可靠度。
CN201780097106.XA 2017-11-27 2017-11-27 表情识别装置 Active CN111373408B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/042418 WO2019102619A1 (ja) 2017-11-27 2017-11-27 表情認識装置

Publications (2)

Publication Number Publication Date
CN111373408A CN111373408A (zh) 2020-07-03
CN111373408B true CN111373408B (zh) 2023-05-02

Family

ID=66630964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780097106.XA Active CN111373408B (zh) 2017-11-27 2017-11-27 表情识别装置

Country Status (5)

Country Link
US (1) US11250246B2 (zh)
JP (1) JP6647474B2 (zh)
CN (1) CN111373408B (zh)
DE (1) DE112017008174B4 (zh)
WO (1) WO2019102619A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3958173A4 (en) * 2020-06-24 2022-12-28 Beijing Baidu Netcom Science Technology Co., Ltd. FACIAL RECOGNITION PATTERN FORMING METHOD AND APPARATUS, ELECTRONIC DEVICE AND STORAGE MEDIA
EP4177821A4 (en) * 2020-07-01 2023-08-23 NEC Corporation INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND PROGRAM
WO2022064565A1 (ja) * 2020-09-23 2022-03-31 日本電気株式会社 照合装置、照合方法、プログラム
EP4261773A1 (en) 2020-12-10 2023-10-18 Fujitsu Limited Determination method, determination program, and information processing device
US11967138B2 (en) 2021-03-03 2024-04-23 Nec Corporation Processing apparatus, information processing method and recording medium
JPWO2022224423A1 (zh) * 2021-04-23 2022-10-27

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178862A (ja) * 2013-03-14 2014-09-25 Secom Co Ltd 特徴点抽出装置
CN106327482A (zh) * 2016-08-10 2017-01-11 东方网力科技股份有限公司 一种基于大数据的面部表情的重建方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542928B2 (en) * 2005-09-26 2013-09-24 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
JP4862447B2 (ja) 2006-03-23 2012-01-25 沖電気工業株式会社 顔認識システム
JP4957056B2 (ja) 2006-04-11 2012-06-20 パナソニック株式会社 顔認証システムおよび顔認証方法
JP4845755B2 (ja) 2007-01-30 2011-12-28 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP4999570B2 (ja) * 2007-06-18 2012-08-15 キヤノン株式会社 表情認識装置及び方法、並びに撮像装置
WO2010104181A1 (ja) * 2009-03-13 2010-09-16 日本電気株式会社 特徴点生成システム、特徴点生成方法および特徴点生成プログラム
JP5273030B2 (ja) * 2009-12-18 2013-08-28 株式会社デンソー 顔特徴点検出装置および眠気検出装置
WO2011086889A1 (ja) * 2010-01-12 2011-07-21 日本電気株式会社 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
US20170098122A1 (en) 2010-06-07 2017-04-06 Affectiva, Inc. Analysis of image content with associated manipulation of expression presentation
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
JP5894426B2 (ja) * 2011-12-13 2016-03-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法
KR20140055819A (ko) * 2012-11-01 2014-05-09 삼성전자주식회사 얼굴인식장치 및 그 제어방법
WO2016061780A1 (en) * 2014-10-23 2016-04-28 Intel Corporation Method and system of facial expression recognition using linear relationships within landmark subsets
US10839196B2 (en) * 2015-09-22 2020-11-17 ImageSleuth, Inc. Surveillance and monitoring system that employs automated methods and subsystems that identify and characterize face tracks in video
US10181073B2 (en) * 2016-06-29 2019-01-15 Intel Corporation Technologies for efficient identity recognition based on skin features
CN107203897A (zh) * 2017-04-24 2017-09-26 广东数相智能科技有限公司 一种产品推荐度的评价方法、装置及系统
KR101968723B1 (ko) * 2017-10-18 2019-04-12 네이버 주식회사 카메라 이펙트를 제공하는 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178862A (ja) * 2013-03-14 2014-09-25 Secom Co Ltd 特徴点抽出装置
CN106327482A (zh) * 2016-08-10 2017-01-11 东方网力科技股份有限公司 一种基于大数据的面部表情的重建方法及装置

Also Published As

Publication number Publication date
US11250246B2 (en) 2022-02-15
US20200293764A1 (en) 2020-09-17
JPWO2019102619A1 (ja) 2020-02-27
DE112017008174T5 (de) 2020-07-09
JP6647474B2 (ja) 2020-02-14
CN111373408A (zh) 2020-07-03
DE112017008174B4 (de) 2022-02-17
WO2019102619A1 (ja) 2019-05-31

Similar Documents

Publication Publication Date Title
CN111373408B (zh) 表情识别装置
Shreve et al. Macro-and micro-expression spotting in long videos using spatio-temporal strain
JP6630999B2 (ja) 画像認識装置、画像認識方法、および、画像認識プログラム
KR20190001066A (ko) 얼굴 인증 방법 및 장치
US8620036B2 (en) System and method for controlling image quality
Boehnen et al. A fast multi-modal approach to facial feature detection
KR102005150B1 (ko) 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법
JP6157165B2 (ja) 視線検出装置及び撮像装置
JP5787686B2 (ja) 顔認識装置、及び顔認識方法
JP5879188B2 (ja) 顔表情解析装置および顔表情解析プログラム
WO2022130616A1 (ja) 認証方法、情報処理装置、及び認証プログラム
Wei et al. Fixation and saccade based face recognition from single image per person with various occlusions and expressions
JP2021103538A (ja) 情報処理装置、情報処理方法、および、情報処理プログラム
Chen et al. Fast eye detection using different color spaces
JP2009098901A (ja) 表情検出方法及び装置及びプログラム
JP5940944B2 (ja) 視聴状況判定装置、識別器構築装置、視聴状況判定方法、識別器構築方法およびプログラム
KR101310885B1 (ko) 영역 분할을 토대로 하는 얼굴 인식 방법 및 그 장치
EP2793102A2 (en) Information processing device
US20240029473A1 (en) Accessibility determination device, accessibility determination method, and program
KR20180108361A (ko) 얼굴 인증 방법 및 장치
Mariappan et al. A labVIEW design for frontal and non-frontal human face detection system in complex background
Mostafa et al. Rejecting pseudo-faces using the likelihood of facial features and skin
Ríos-Sánchez et al. A configurable multibiometric system for authentication at different security levels using mobile devices
Kumar et al. A Comprehensive Study of Periocular Biometrics on IRIS Recognition
Bloecher et al. A low-cost life sign detection method based on time series analysis of facial feature points

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant