CN104095641B - 表情估计装置、控制方法 - Google Patents

Abstract

本发明的表情估计装置、控制方法、控制程序以及记录介质能够提高表情的估计精度。表情估计装置（1）包括：面部得分取得部（32），生成表示图像中的人物的表情的面部得分；动作检测部（33），判定上述人物的动作的种类；以及表情决定部（35），生成表示与上述面部得分和动作的种类对应的表情的结果得分。

Description

表情估计装置、控制方法

技术领域

本发明涉及对图像中的人物的表情进行估计的技术。

背景技术

近年来，随着图像分析的技术的进步，能够从图像确定人物的面部部分或者估计该面部的表情。例如，在下述的专利文献1中，记载了如下技术：从活动图像内容检测面部，识别检测到的面部的表情，且根据检测到面部的人物的移动的有无/大小以及人物发出的声音的有无/大小而判定上述人物的感情。此外，在下述的专利文献2中，记载了如下技术：检测在图像信息中包含的人物像的表情以及身体动作，基于该表情以及身体动作和在传感器中取得的声音信息以及生物体信息而检测用户的身心状况。

【现有技术文献】

【专利文献】

【专利文献1】（日本）特开2010－066844号公报（2010年3月25日公开）

【专利文献2】（日本）特开2005－237561号公报（2005年9月8日公开）

在基于图像的表情估计中，有时产生估计出与图像中的人物的感情不同的表情的误估计。例如，由于厌恶的表情和生气的表情相似，所以存在在图像中的人物感到厌恶时估计为是生气的表情或者在感到生气时估计为是厌恶的表情。因此，期望提高表情估计的精度，使得尽可能不产生如上述的误估计。

但是，在如上述的现有技术中，存在不能提高图像中的人物的表情估计的精度的问题。这是因为在专利文献1的技术中，作为用于判定人物的感情的元素之一而使用面部的表情，没有以估计表情本身作为目的。同样地，在专利文献2的技术中，也作为用于检测用户的身心状况的元素之一而使用表情，没有以估计表情本身作为目的，所以不能提高表情估计的精度。

发明内容

本发明是鉴于上述问题点而完成的，其目的在于，实现提高了图像中的人物的表情估计的精度的表情估计装置等。

为解决上述的课题，本发明的表情估计装置是根据图像而估计人物的表情的表情估计装置，其特征在于，包括：表情判定部件，分析上述人物的图像而生成表示该人物的表情的第一表情信息；动作判定部件，分析上述人物的图像而判定上述人物的动作的种类；以及表情估计部件，生成与上述表情判定部件生成的上述第一表情信息和动作判定部件判定的动作的种类对应的、表示上述人物的表情的第二表情信息。

此外，为解决上述的课题，本发明的表情估计装置的控制方法是根据人物的图像而估计该人物的表情的表情估计装置的控制方法，其特征在于，包括：表情判定步骤，分析上述图像而生成表示上述人物的表情的第一表情信息；动作判定步骤，分析上述图像而判定上述人物的动作的种类；以及表情估计步骤，生成与在上述表情判定步骤中生成的上述第一表情信息和在上述动作判定步骤中判定的动作的种类对应的、表示上述人物的表情的第二表情信息。

根据上述结构，分析人物的图像而生成表示该人物的表情的第一表情信息，且判定该人物的动作的种类。然后，生成与生成的第一表情信息和判定的动作对应的第二表情信息。由于在人物的动作中会显出该人物的感情，所以根据上述结构，与不考虑动作而确定了表情的情况相比，能够估计符合人物的感情的表情。即，能够提高表情估计的精度。

此外，优选地，上述第一表情信息是通过数值来表示关于多个不同的表情的各自的符合度的信息，上述表情估计部件通过使用按每个动作的种类预先确定的校正信息而校正上述第一表情信息的数值，生成上述第二表情信息。

根据上述结构，由于第一表情信息根据动作的种类而被校正，所以能够估计符合人物的感情的表情。对于表情，在通过数值来表示关于多个不同的表情的各个表情的符合度的情况下，有时会因多个表情的数值接近而难以判别表情，但根据上述结构，能够解决这样的困难。

此外，优选地，上述表情估计装置包括：动作注册部件，关于在上述图像中指定的动作，将该动作的种类和该动作的校正信息相对应而存储。

根据上述结构，由于将在图像中指定的动作的种类和校正信息相对应而存储，所以能够检测在动作的种类的判定中不能检测的动作，能够进行与该动作的种类对应的校正。

此外，优选地，上述表情估计装置包括：属性判定部件，分析上述图像而判定上述人物对应于预先确定的属性中的哪个，上述表情估计部件通过使用与上述属性判定部件判定的属性对应且按每个动作的种类预先确定的校正信息而校正上述第一表情信息的数值，生成上述第二表情信息。

根据上述结构，由于判定人物的属性，通过使用与该属性对应且按每个动作的种类预先确定的校正信息而校正第一表情信息的数值，生成第二表情信息，所以能够进一步提高表情估计的精度。这是因为如下原因：即使是相同的动作，该动作是基于什么样的感情的动作根据属性而不同。另外，上述属性只要是表示人物的特征或者性质的的属性即可，例如也可以是表示年龄或性别等的属性。此外，上述属性也可以是确定个人的属性。

此外，优选地，上述表情估计装置包括：符合度接近判定部件，判定上述第一表情信息中的符合度的数值的最大值与次大的符合度的数值之差是否为预先确定的上限值以上，上述表情估计部件在上述符合度接近判定部件判定为是上限值以上的情况下，不使用上述校正信息，生成上述第一表情信息作为上述第二表情信息，在上述符合度接近判定部件判定为小于上限值的情况下，使用上述校正信息而生成第二表情信息。

这里，在第一表情信息中的符合度的数值的最大值与次大的符合度的数值之差大的情况下，即使将第一表情信息直接作为第二表情信息，也能够容易地确定符合度最高的表情，所以不会降低表情估计的精度。另一方面，在第一表情信息中的符合度的数值的最大值与次大的符合度的数值之差小的情况下，难以将符合度最高的表情筛选为一个，此时，优选考虑动作。

因此，根据上述结构，在第一表情信息中的符合度的数值的最大值与次大的符合度的数值之差为预先确定的上限值以上的情况下，不使用校正信息，在小于上限值的情况下，使用校正信息。由此，能够只有在必要性高的情况下进行动作的种类的判定而维持估计精度，且在必要性低的情况下省略与动作的种类的判定有关的处理而减少处理步骤数。

此外，上述表情估计装置也可以包括：符合表情判定部件，判定在上述第一表情信息中符合度的数值最大的表情与预先确定的表情是否一致，并根据该判定的结果，决定是否使上述动作判定部件判定动作的种类，上述表情估计部件在上述动作判定部件判定了动作的种类的情况下，使用上述校正信息而生成第二表情信息，在上述动作判定部件未判定动作的种类的情况下，不使用上述校正信息，生成上述第一表情信息作为上述第二表情信息。

这里，通过本申请的发明人的研究的结果，可知根据第一表情信息中符合度最高的表情的种类，容易产生误估计的程度不同。由此，可以说在不易产生误估计的表情的情况下，即使将第一表情信息直接作为第二表情信息，表情估计的精度也难以降低。另一方面，可以说在容易产生误估计的表情的情况下，优选考虑动作。

因此，根据上述结构，判定符合度的数值最大的表情与预先确定的表情是否一致，并根据该判定的结果，决定是否判定动作的种类。然后，在判定了动作的种类的情况下，使用与该动作的种类对应的校正信息而生成第二表情信息，在没有判定动作的种类的情况下，生成第一表情信息作为第二表情信息。由此，能够只有在必要性高的情况下进行动作的种类的判定而维持估计精度，且在必要性低的情况下省略与动作的种类的判定有关的处理而减少处理步骤数。

另外，本发明的各方式的表情估计装置也可以通过计算机而实现，此时，通过使计算机执行上述控制方法的各步骤而在计算机中实现上述表情估计装置的控制程序以及记录了该程序的计算机可读取的记录介质也属于本发明的范围。

如以上所述，本发明的表情估计装置包括：表情判定部件，分析人物的图像而生成表示该人物的表情的第一表情信息；动作判定部件，分析人物的图像而判定上述人物的动作的种类；以及表情估计部件，生成与上述表情判定部件生成的上述第一表情信息和动作判定部件判定的动作的种类对应的、表示上述人物的表情的第二表情信息。

此外，如以上所述，本发明的表情估计装置的控制方法包括：表情判定步骤，分析图像而生成表示人物的表情的第一表情信息；动作判定步骤，分析图像而判定上述人物的动作的种类；以及表情估计步骤，生成与在上述表情判定步骤中生成的上述第一表情信息和在上述动作判定步骤中判定的动作的种类对应的、表示上述人物的表情的第二表情信息。

因此，能够估计符合人物的感情的表情，由此，起到能够提高表情估计的精度的效果。

附图说明

图1是表示本发明的实施方式1的表情估计装置的主要部分结构的框图。

图2（a）～（b）是说明上述表情估计装置的表情估计方法的概略的图。

图3是表示上述表情估计方法的具体例的图。

图4是表示上述表情估计装置检测的动作的种类的一例的图。

图5是表示上述表情估计装置执行的处理的一例的流程图。

图6是表示本发明的实施方式2的表情估计装置的主要部分结构的一例的框图。

图7是表示注册“握拳”的动作的例的图。

图8是表示上述表情估计装置执行的处理的一例的流程图。

图9是表示本发明的实施方式3的表情估计装置的主要部分结构的一例的框图。

图10是表示上述表情估计装置使用的、按个人设定的动作得分的一例的图。

图11是表示上述表情估计装置执行的处理的一例的流程图。

图12是表示将表情估计的结果重叠在人物的图像上显示的例的图。

图13是表示本发明的实施方式4的表情估计装置使用的、与人物的属性对应的动作得分的一例的图。

图14是表示上述表情估计装置执行的处理的一例的流程图。

图15是表示本发明的实施方式5的表情估计装置的主要部分结构的一例的框图。

图16是表示上述表情估计装置基于面部得分而判断为需要考虑动作时的例的图。

图17是表示上述表情估计装置基于面部得分而判断为不需要考虑动作时的例的图。

图18是表示上述表情估计装置执行的处理的一例的流程图。

图19表示本发明的实施方式6的表情估计装置基于得分最大的表情类别而判断为需要考虑动作时的例和判断为不需要考虑时的例。

图20是表示上述表情估计装置执行的处理的一例的流程图。

标号说明

1、50、100、150表情估计装置

32面部得分取得部（表情判定部件）

33动作检测部（动作判定部件）

35表情决定部（表情估计部件）

36动作得分注册部（动作注册部件）

37个人识别部（属性判定部件）

38动作考虑需要与否判定部（符合度接近判定部件、符合表情判定部件）

具体实施方式

〔实施方式1〕

基于图1至图5说明本发明的实施方式1。这里，首先，基于图2说明本发明的表情估计方法的概略。图2是说明本实施方式的表情估计装置的表情估计方法的概略的图。

如有神情、脸色、神色、或者相貌这样的表现，人将自身的内在的精神状态（感情）反映在面部中表现。因此，基于面部的图像，能够估计该面部表现的感情、即表情。但是，在根据面部的图像估计表情的情况下，不能高精度地区分而估计例如“厌恶”、“生气”这样的相似的表情且不同的感情，导致输出错误的表情估计结果。

例如，若例举如图2的（a）所示的人物的图像进行说明，则仅凭该人物的面部表现的表情时能够解释为“厌恶”、“生气”的任一个。但是，若做出该表情的人物同时做出抱着胳膊的动作，则该人物的表情更明确为不是“厌恶”而是“生气”。

因此，如图2的（b）所示，本发明的表情估计装置基于人物的面部图像F1和动作A1而估计该人物的表情。由于人有意识或者无意识地通过动作（举止）来表现感情的情况较多，所以通过考虑这个人进行什么种类的动作，能够提高表情的估计精度。

例如，在图2的面部图像F1中，包含眉间起皱纹、眉梢向上的神情的人物。本发明的表情估计装置通过生成将该图像的人物的表情对“高兴”、“生气”、“悲伤”、“厌恶”、“恐惧”、“惊讶”等的规定的表情类别分别进行评价的面部得分，从而作为数值来表示该人物的表情。

此外，本发明的表情估计装置从上述人物的图像检测该人物的抱着胳膊的动作A1，取得将该动作A1对上述各表情类别分别进行评价的动作得分。然后，通过将上述的面部得分和动作得分对每个表情类别进行相加，算出对应于各表情类别的表情得分，作为最终的表情估计的结果而输出。

由此，如图2的例所示，即使是只根据面部图像F1，难以判别是“生气”的表情还是“厌恶”的表情的情况下，根据“抱着胳膊”的动作A1，也能够判断该人物的表情不是“厌恶”而是“生气”的表情。

另外，在表情的估计中使用的图像既可以是静止图像，也可以是活动图像。在使用活动图像的情况下，从构成该活动图像的多个静止图像中提取一个或者多个静止图像，根据该静止图像进行面部得分的生成以及动作的检测。此外，在根据多个静止图像生成面部得分的情况下，也可以算出根据各静止图像生成的面部得分的平均值。并且，设为面部得分的生成的对象的静止图像只要包含同一个人物即可，也可以是与设为动作检测的对象的静止图像相同的图像，也可以是不同的图像。

接着，使用表示上述表情估计方法的具体例的图3，说明在基于图2的面部图像F1的面部得分（第一表情信息）中加上与动作A1对应的动作得分（校正信息）而获得作为最终的表情估计的结果的结果得分（第二表情信息）的处理。

在图3所示的面部得分T1中，设定有“高兴”、“生气”、“悲伤”、“厌恶”、“恐惧”、“惊讶”的6个表情类别，基于面部图像F1而决定的得分与各表情类别相对应。另外，在该面部得分T1中，由从0至100的数值来表示符合各表情类别的程度（符合度）。即，得分越接近100则表示是该表情类别的表情的可能性越高，越接近0则表示是该表情类别的表情的可能性越低。

在该面部得分T1中，得分最大的表情类别为“厌恶”，其值为55。但是，“生气”以及“恐惧”的得分分别为53和49，都与“厌恶”的得分接近。此时，若仅以得分最大的理由而将面部图像F1的表情估计为“厌恶”，则成为误估计的可能性高。这是因为，在通过面部图像的分析而求出的上述的得分中，不能期待能够严格区分细微的表情的差异的程度的精度。

此外，如图3所示，在与“抱着胳膊”的动作对应的动作得分T2中，设定有与面部得分T1相同的6个表情类别，与“抱着胳膊”的动作对应的得分与各表情类别相对应。另外，在本实施方式中，设想动作得分T2是用于加到面部得分T1中而校正各表情类别的得分，所以在动作得分T2中设定有负的得分和正的得分。即，对在进行该动作时为该表情的可能性高的动作设定正的得分，对在进行该动作时为该表情的可能性低的动作设定负的得分。当然，动作得分T2也可以与面部得分T1相同地，只由正的得分来表示符合各表情类别的程度。

并且，如图3所示，通过对面部得分T1加上动作得分T2，获得最终的表情估计的结果得分T3。在面部得分T1中表示相互接近的得分的“生气”、“厌恶”、“恐惧”这3个表情类别中的得分在结果得分T3中其差异较大。即，“生气”、“恐惧”、“厌恶”的得分分别成为80、51、42，明确了“生气”为最大得分。

因此，在将得分最大的表情类别的表情估计为是图像的人物的表情的情况下，在图3的例中，将只根据面部得分T1估计为是“厌恶”的表情通过考虑动作得分T2，估计为是“生气”。由于认为与抱着“厌恶”的感情的情况相比，在抱着“生气”的感情时容易进行“抱着胳膊”的动作，所以可以说输出比只基于面部得分的表情估计的结果更准确（精度高）的结果。

另外，这里，表示了作为面部得分以及动作得分而使用了6个表情类别的例子，但表情类别的数只要是2以上即可，其种类可以是任意的。例如，也可以追加“严肃”或“无表情”、“困惑”、“感动”、“兴奋”等的表情类别。此外，表情类别也可以使用预先注册的类别，也可以使用户能够注册任意的表情类别，从而使用用户注册的类别。

此外，如结果得分T3的“高兴”那样，有通过动作得分T2的加算而产生负的得分的情况。此外，也设想通过动作得分T2的加算而得分超过100的情况。此时，也可以在超过100的情况下设为100，在负的情况下设为0。

在表情估计中利用的动作只要是能够理解为感情的表现的动作即可，没有特别限定。图4是表示表情估计装置检测的动作的种类的一例的图。如图所示，在表情估计中，除了前面出现的抱着胳膊的动作A1之外，还能够利用唱歌的动作A2、细微地晃动的（哆嗦腿）动作A3、看手表的动作A4、双手抚摸面部的动作A5等。除此之外，由于认为将双手臂伸向高处的上方的动作（万岁）、耸双肩并将两个手掌向上的动作等、典型的手势（gesture）动作等中显现出人物的感情，所以这样的动作也能够适合利用于表情估计。

另外，在检测如细微地晃动的动作A3那样有移动的动作的情况下，需要分析活动图像，但其他的例子是通过活动图像的分析和静止图像的分析都能够进行检测。此外，在检测出已注册的多个动作的情况下，既可以利用与检测出的全部动作的种类对应的动作得分，也可以通过对每个动作的种类预先设定优先级等而只利用与一个动作对应的动作得分。此外，在利用多个动作得分的情况下，也可以求出得分的算术平均值等而利用。

（表情确定装置的结构）

接着，基于图1说明本实施方式的表情估计装置的结构。图1是表示本实施方式的表情估计装置1的主要部分结构的框图。如图所示，表情估计装置1包括图像取得部2、控制部3、存储部4以及输出部5。另外，关于与本发明的特征点没有直接关系的结构，省略图示。

图像取得部2取得成为感情估计的对象的人物的图像。图像的取得目的地没有特别限定，也可以从例如具有拍摄图像的功能的数字照相机或数字摄像机等的摄影装置取得图像。此外，例如也可以取得扫描仪读取的图像，也可以经由因特网线路等的通信网络而取得图像。

存储部4是存储表情估计装置1使用的各种数据的存储装置，在图示的例中存储有面部得分数据库41和动作得分数据库42。另外，这些数据库只要控制部3能够参照即可，也可以存储在表情估计装置1的外部的存储装置中。

面部得分数据库41是用于根据面部的图像而生成表示该面部的人物的表情的面部得分（参照图3的T1）的数据库。面部得分数据库41也可以是注册了例如成为各表情类别的表情的模型的图像的数据库。此时，也可以通过将与模型的图像的一致的程度进行数值化而获得各表情类别的得分。

动作得分数据库42是按每个动作的种类注册了动作得分（参照图3的T2）的数据库。通过参照动作得分数据库42，能够取得与检测出的动作的种类对应的动作得分。

输出部5输出控制部3生成的信息。具体而言，输出部5输出控制部3生成的表情的估计结果即结果得分。这里，说明了输出部5为将估计结果作为图像而显示输出的显示装置的例，但该估计结果的输出方式以及输出目的地没有特别限定。例如，输出部5也可以是将表情的估计结果发送到其他的装置的通信装置。

控制部3是统一控制表情估计装置1的功能的部分，包括面部检测部31、面部得分取得部（表情判定部件）32、动作检测部（动作判定部件）33、动作得分取得部34以及表情决定部（表情估计部件）35。

面部检测部31接受图像取得部2取得的图像，检测在该图像中包含的人物的面部。从图像中的面部的检测能够应用公知的技术而实现。例如，通过分析人的面部的典型的图案是否包含在图像内而检测面部。另外，检测面部的方法并不限定于此，即使是基于任何研究的面部检测方法，也都能够应用于本发明。

面部得分取得部32分析图像取得部2取得的图像中面部检测部31检测出的面部部分（面部图像），生成表示该面部的人物的表情的信息。分析面部图像而生成表示表情的信息能够应用公知的技术而实现。面部得分取得部32生成的信息只要是表示人物的表情的信息，则没有特别限定，但在这里，说明生成上述的面部得分（参照图3的T1）的例。具体而言，面部得分取得部32对该面部的图像和在面部得分数据库41中注册的成为各表情类别的表情的模型的图像进行比较，通过算出与该符合程度对应的得分而生成面部得分。

动作检测部33分析图像取得部2取得的图像，检测图像中的人物的动作，判定其种类。另外，动作检测部33设为检测的对象的动作是在动作得分数据库42中已注册动作得分的动作。图像中的人物进行预先确定的动作的检测能够应用公知的技术而实现。例如，在动作得分数据库42中注册有动作的模型图像的情况下，也可以通过比较该模型图像和图像取得部2取得的图像，从而检测在动作得分数据库42中注册的动作。

动作得分取得部34从动作得分数据库42取得与动作检测部33检测出的动作的种类对应的动作得分。如上所述，动作得分是用于校正面部得分的校正信息，按每个动作的种类具有预先设定的值（参照图3的T2）。

表情决定部35生成与面部得分取得部32生成的面部得分和动作检测部33判定的动作的种类对应的、表示图像中的人物的表情的信息。具体而言，表情决定部35通过将面部得分取得部32生成的面部得分和与动作检测部33判定的动作的种类对应的动作得分（动作得分取得部34取得）对每个表情类别进行相加，生成表示图像中的人物的表情的结果得分。此外，表情决定部35使输出部5输出所生成的结果得分。

接着，基于图5说明表情估计装置1执行的处理的流程。图5是表示表情估计装置1执行的处理（表情估计装置1的控制方法）的一例的流程图。

首先，图像取得部2取得人物的图像（S1），并输出到面部检测部31。接着，面部检测部31检测在从图像取得部2输出的图像中包含的面部（S2）。例如，若是图2的例，则接受如该图（a）所示的图像的输入，从该图像检测如该图（b）所示的面部图像F1。

然后，面部得分取得部32对面部检测部31检测出的面部部分的图像进行分析而生成面部得分（S3，表情判定步骤）。此外，面部得分取得部32将生成的面部得分通知给表情决定部35，且将表示生成了面部得分的人物的信息（例如，表示图像中的该人物的位置的坐标）通知给动作检测部33。

接着，动作检测部33检测从面部得分取得部32被通知的人物、即成为了表情估计的对象的面部的人物的动作（S4，动作判定步骤），并将检测出的动作的种类通知给动作得分取得部34。然后，动作得分取得部34从动作得分数据库42取得与被通知的动作的种类对应的动作得分（S5），并通知给表情决定部35。例如，若是图2的例，则检测如该图（b）所示的抱着胳膊的动作A1，取得如图3所示的、与抱着胳膊的动作对应的动作得分T2，并通知给表情决定部35。

最后，表情决定部35对从面部得分取得部32被通知的面部得分加上从动作得分取得部34被通知的动作得分，生成结果得分（S6，表情估计步骤），并将其发送到输出部5使该输出部5输出（S7），结束处理。

〔实施方式2〕

在本实施方式中，基于图6至图8说明为了能够使用与任意的动作对应的动作得分而进行表情的估计，接受用户的动作得分的注册的例子。另外，对于与上述实施方式相同的结构赋予相同的参照标号，省略其说明。

首先，基于图6说明本实施方式的表情估计装置的结构。图6是表示表情估计装置50的主要部分结构的一例的框图。表情估计装置50与上述的表情估计装置1的不同点在于，包括操作输入部6以及动作得分注册部（动作注册部件）36。

操作输入部6是接受用户的输入操作而对控制部3通知的用户接口。这里，说明输出部5为显示图像的显示装置、操作输入部6为检测对于图像的显示面的接触作为输入操作的触摸传感器的例。即，表情估计装置50具有触摸面板，在该触摸面板中显示表情的估计结果，在该触摸面板中接受用户的触摸操作。另外，操作输入部6只要能够接受用户的输入操作即可，并不限定于这个例子。

动作得分注册部36关于在图像中指定的动作，将该动作的种类和该动作的校正信息相对应而存储。具体而言，动作得分注册部36关于使用操作输入部6而用户指定的动作，将用于从图像中检测该动作的信息（例如，该动作的图像）和与该动作对应的动作得分相对应而注册在动作得分数据库42中。

接着，基于图7说明动作得分的注册例。图7是表示注册“握拳”的动作的例的图。在注册动作得分的情况下，首先接受成为注册对象的动作的指定。例如，也可以在触摸面板中显示人物的图像，接受对于成为注册对象的动作表现的部分的触摸操作、或者描画包围该部分的轨迹的触摸操作，从而接受成为注册对象的动作的指定。

在图7的例中，设想从显示的图像中选择了“握拳”的部分A7。由此，若从图像中选择与动作对应的部分，则动作得分注册部36决定将该部分注册在动作得分数据库42中。

接着，动作得分注册部36接受该动作的动作得分的注册。在动作得分的注册时，也可以由数值来接受要注册的得分，但也可以如图7的T4的例那样由3个阶段接受。在T4的例中，对各表情类别选择圆、三角、叉中的任一个。由此，用户不需要输入详细的数字，能够对认为与动作对应的表情设定圆、对认为稍微对应的表情类别设定三角、对认为完全没有关系的感情类别直观地设定叉。另外，在接受到这样的选择的情况下，以能够对面部得分加上的方式，例如圆＝＋20、三角＝＋10、叉＝－10这样按每个阶段置换为预先确定的数值，与该动作的图像一同注册在动作得分数据库42中。

接着，基于图8说明表情估计装置50执行的处理的流程。图8是表示表情估计装置50执行的处理（表情估计装置50的控制方法）的一例的流程图。另外，由于该图的S11～S13、S15～S17的处理分别与图5的S1～S3、S5～S7的处理相同，所以这里省略详细的说明。

在S14中，动作检测部33判断是否检测到在S11中图像取得部2取得的图像中、与在S12中面部检测部31识别为是面部的部分对应的人物的动作。这里，在检测到该人物的动作的情况下（S14中“是”），动作检测部33将检测到的动作的分类通知给动作得分取得部34，之后通过S15至S17的处理而输出结果得分。

另一方面，在未检测到该人物的动作的情况下（S14中“否”），动作检测部33将这个情况通知给动作得分注册部36。接收到该通知的动作得分注册部36显示用于接受动作的指定的画面。例如，也可以显示检测到面部的图像的同时显示促使动作的指定的消息。然后，经由操作输入部6而接受设为注册的对象的动作的指定（S18）。

接着，动作得分注册部36显示用于接受得分的指定的画面。例如，也可以显示各表情类别的同时显示促使对于各表情类别的得分的指定的消息。然后，生成将经由操作输入部6而指定的得分与在S18中指定的动作的图像相对应的动作得分，并注册在动作得分数据库42中（S19）。

此外，动作得分注册部36将生成的动作得分通知给动作得分取得部34。由此，动作得分取得部34将该动作得分通知给表情决定部35，表情决定部35基于被通知的动作得分和面部得分取得部生成的面部得分而确定表情（S16，表情估计步骤），输出所确定的结果（S17），结束处理。

由此，根据图8的处理，即使是在未能检测到图像中的人物的动作的情况下，通过注册其动作得分，也能够进行考虑了动作的表情估计。此外，这样注册的动作得分也能够利用于下一次以后的表情估计，所以能够提高表情估计装置50的估计精度。

〔实施方式3〕

在本实施方式中，基于图9至图12说明对图像中的人物进行识别，使用与识别出的人物对应的动作得分而进行表情的估计的例。另外，对于与上述实施方式相同的结构赋予相同的参照标号，省略其说明。

首先，基于图9说明本实施方式的表情估计装置的结构。图9是表示表情估计装置100的主要部分结构的一例的框图。表情估计装置100与上述的表情估计装置1的不同点在于，具有个人识别部（属性判定部件）37以及存储了个人识别用数据库43和按个人动作得分数据库44。

个人识别部37对图像中的人物进行识别。更详细而言，个人识别部37通过分析图像，判定该图像中的人物对应于在个人识别用数据库43中注册的哪个人物，从而识别图像中的人物。

如上所述，个人识别用数据库43是个人识别部37用于识别图像中的人物的数据库，且是将人的识别信息（姓名等）与该个人的图像相对应的数据库。

按个人动作得分数据库44是注册了按个人的动作得分的数据库。通过使用该数据库，能够确定与个人识别部37的个人识别的结果对应的动作得分。这样，通过使用按个人的动作得分，能够实现对应于个人的特性的表情的校正，所以能够进一步提高表情估计的精度。这是因为，有时即使是相同的动作，这个动作基于什么样的感情是因人而异的。

在按个人动作得分数据库44中，例如注册有如图10那样的动作得分。图10是表示按个人设定的动作得分的一例的图。在该图中，表示与A先生的“抱着胳膊”的动作对应的动作得分T5和与B先生的“抱着胳膊”的动作对应的动作得分T6。在该例中，A先生的“抱着胳膊”中“生气”的正校正设定得大，B先生的“抱着胳膊”中“恐惧”的正校正设定得大。由此，即使是检测到相同的“抱着胳膊”的情况下，也进行与该人物是A先生还是B先生对应的校正，所以能够提高表情估计的精度。

另外，若不是进行了动作的人或其近亲等则难以判断该动作表示什么样的感情。因此，优选在按个人动作得分数据库44中注册的动作得分能够由表情估计装置100的用户进行追加以及更新。在动作得分的追加或更新时，也可以接受如图10所示的数值的输入而注册。此外，也可以为了减轻用户的输入的负担，如图7的例所示那样接受阶段性的输入。

接着，基于图11说明表情估计装置100执行的处理的流程。图11是表示表情估计装置100执行的处理（表情估计装置100的控制方法）的一例的流程图。另外，由于该图的S21～S24、S26、S27的处理分别与图5的S1～S4、S6、S7的处理相同，所以这里省略详细的说明。

在S22a中，个人识别部37参照个人识别用数据库43，识别与在S21中图像取得部2取得的图像中、在S22中面部检测部31识别为面部的部分（面部图像）对应的人物（个人）。此外，个人识别部37将识别出的人物通知给动作得分取得部34。之后，面部得分取得部32根据上述面部图像而生成面部得分（S23，表情判定步骤），动作检测部33检测动作（S24，动作判定步骤）。

接着，在S25中，动作得分取得部34从按个人动作得分数据库44取得与在S24中动作检测部33检测出的动作对应的动作得分中、从个人识别部37被通知的人物的动作得分。然后，动作得分取得部34将取得的动作得分通知给表情决定部35，表情决定部35基于被通知的动作得分和面部得分取得部生成的面部得分而生成结果得分（S26，表情估计步骤），输出所生成的结果得分（S27），结束处理。

这里，基于图12说明输出结果的例。图12是表示将表情估计的结果重叠显示在人物的图像上的例的图。在该图所示的图像P1中，包含人物H1以及H2的两人的人物。并且，与人物H1相对应地显示表情R1，与人物H2相对应地显示表情R2。

如此，也可以不直接显示结果得分，而是将根据结果得分而确定的一个表情与成为估计的对象的人物相对应地输出。由此，能够使用户极其容易识别表情估计的结果。

〔实施方式4〕

在本实施方式中，基于图13以及图14说明对图像中的人物的属性进行判别，使用与判别的属性对应的动作得分而进行表情的估计的例。另外，对于与上述实施方式相同的结构赋予相同的参照标号，省略其说明。

由于本实施方式的表情估计装置是与上述实施方式的表情估计装置100大致相同的结构，所以基于图9的框图进行说明。本实施方式的表情估计装置与表情估计装置100的不同点在于，个人识别部37进行属性的判别，动作得分取得部34取得与判别的属性对应的动作得分。因此，在个人识别用数据库43中，存储有用于判定图像中的人物对应于预先确定的属性中的哪个的信息，在按个人动作得分数据库44中，存储有按属性的动作得分。

另外，上述的属性只要表示人物的特征或者性质即可，例如举出年龄、年龄段（也可以是小孩和成年人这样的大致的总括）以及性别等。此外，也可以例如“成年男性”等这样将这些组合处理为一个属性。另外，上述实施方式中的个人的识别也可以说是识别特定的个人这样的属性。通过图像分析而判定这样的属性能够应用公知的技术而实现。

由于感情表现为什么样的行动会根据年龄、性别等的属性而变化，所以通过使用与属性对应的动作得分，能够进一步提高表情估计的精度。例如，在得知成年的“抱着胳膊”是生气的表现比较多、小孩的“抱着胳膊”是害怕的表现比较多的情况下，对属性为“成年”的人物使用“生气”的正校正大的动作得分即可。并且，对属性为“小孩”的人物使用“害怕”的正校正大的动作得分即可。由此，能够提高表情估计的精度。

在本实施方式的按个人动作得分数据库44中，注册有例如图13所示的动作得分。图13是表示与人物的属性对应的动作得分的一例的图。在该图中，表示了与年过30的女性的“抱着胳膊”的动作对应的动作得分T7和与3～10岁女性的“抱着胳膊”的动作对应的动作得分T8。在该例中，年过30的女性的“抱着胳膊”中“生气”的正校正设定得大，3～10岁女性的“抱着胳膊”中“恐惧”的正校正设定得大。由此，即使是在检测到相同的“抱着胳膊”的情况下，也进行与该人物是年过30的女性还是3～10岁女性对应的校正，所以能够提高表情估计的精度。

接着，基于图14说明本实施方式的表情估计装置执行的处理的流程。图14是表示使用与属性对应的动作得分的表情估计装置执行的处理（表情估计装置100的控制方法）的一例的流程图。另外，由于该图的S31、S32、S33、S34、S36、S37的处理分别与图11的S21、S22、S23、S24、S26、S27的处理相同，所以这里省略详细的说明。

在S32a中，个人识别部37参照个人识别用数据库43，判定在S31中图像取得部2取得的图像中、在S32中面部检测部31检测到面部的人物的属性。此外，个人识别部37将判定的属性通知给动作得分取得部34。之后，面部得分取得部32生成面部得分（S33，表情判定步骤），动作检测部33检测动作（S34，动作判定步骤）。

接着，在S35中，动作得分取得部34从按个人动作得分数据库44取得与在S34中动作检测部33检测出的动作对应的动作得分中、与从个人识别部37被通知的属性对应的动作得分。然后，动作得分取得部34将取得的动作得分通知给表情决定部35，表情决定部35基于被通知的动作得分和面部得分取得部生成的面部得分而生成结果得分（S36，表情估计步骤），输出所确定的结果（S37），结束处理。另外，在上述的例中，示出了使用与识别出的属性对应的动作得分的例，但也可以使用与识别出的属性对应的面部得分。

〔实施方式5〕

在本实施方式中，基于图15至图18说明判定在表情的估计中是否需要考虑动作，只有在判定为需要考虑时检测动作的例。另外，对于与上述实施方式相同的结构赋予相同的参照标号，省略其说明。

首先，基于图15说明本实施方式的表情估计装置的结构。图15是表示表情估计装置150的主要部分结构的一例的框图。表情估计装置150与上述的表情估计装置1的不同点在于，具有基于面部得分取得部32生成的面部得分而判定在表情的估计中是否需要考虑动作的动作考虑需要与否判定部（符合度接近判定部件、符合表情判定部件）38。

接着，基于图16以及图17说明判定是否需要考虑动作的细节。图16表示基于面部得分而判断为需要考虑动作时的例，图17表示基于面部得分而判断为不需要考虑动作时的例。

在图16的例中，根据从取得的图像检测到的面部图像F2，生成面部得分T9。然后，在该面部得分T9中，上位3个得分成为接近的值。在这样的情况下，只根据面部得分T9，难以确定与这3个得分中的哪个得分对应的表情最符合该人物的感情。

因此，动作考虑需要与否判定部38在这样的情况下判断为需要考虑动作。具体而言，动作考虑需要与否判定部38（符合度接近判定部件）在得分的最大值与次大的值之差小于预先确定的上限值的情况下，判断为需要考虑动作。由此，由于考虑动作得分T9a而决定表情，所以如该图的T10所示，能够明确接近的得分的差异，确定符合人物的感情的表情。

另一方面，在图17的例的面部得分T11中，得分的最大值为80（生气）、次大的值为55（厌恶），两个得分的差异大，该表情不需要考虑动作而估计为“生气”被认为是妥当的。

因此，在这样的情况下（在得分的最大值与次大的值之差为预先确定的上限值以上的情况下），动作考虑需要与否判定部38判断为不需要考虑动作。然后，不进行动作的检测、动作得分的取得以及使用了面部得分和动作得分的运算的处理，输出面部得分取得部32生成的面部得分作为最终结果T12。

接着，基于图18说明表情估计装置150执行的处理的流程。图18是表示判定在表情的估计中是否需要考虑动作的表情估计装置150执行的处理（表情估计装置150的控制方法）的一例的流程图。另外，由于该图的S41、S42、S44～S47的处理分别与图5的S1、S2、S4～S7的处理相同，所以这里省略详细的说明。

在S43中，面部得分取得部32生成面部得分，并将生成的面部得分通知给动作考虑需要与否判定部38和表情决定部35。然后，在S44a中，动作考虑需要与否判定部38（符合度接近判定部件）判断在被通知的面部得分中是否包含与最高得分的表情类别接近的得分的表情类别。更具体而言，判断得分的最大值与次大的值之差是否小于预先确定的上限值。

这里，在判断为小于上限值的情况下（S44a中“是”），动作考虑需要与否判定部38指示动作检测部33进行动作检测。由此，进行S44～S46的处理，在S47中，输出使用面部得分和动作得分而算出的表情估计结果（参照图16）。另外，由于动作得分是为了在值接近的得分中产生差异而考虑的得分，所以在S46中，也可以只对值最大的面部得分的表情类别和接近该得分的面部得分的表情类别（在图16的例中，具有最上位的得分的“厌恶”和具有接近它的得分的“生气”和“恐惧”）进行在面部得分中加上动作得分的运算。由此，与对全部得分进行运算的情况相比，能够削减运算量。

另一方面，在判断为是上限值以上的情况下（S44a中“否”），动作考虑需要与否判定部38通知表情决定部35不需要考虑动作的情况。由此，表情决定部35决定在S43中生成的面部得分作为表情估计结果（S48），输出该表情估计结果（S47）（参照图17）。另外，在S44a中“否”的情况下，动作考虑需要与否判定部38也可以通知动作检测部33不需要检测动作的情况。

〔实施方式6〕

在本实施方式中，基于图19以及图20说明通过与上述不同的方法进行在表情的估计中是否需要考虑动作的判定的例。另外，由于本实施方式的表情估计装置的结构与图15的例相同，所以除了图19以及图20之外，参照图15进行说明。此外，对于与上述实施方式相同的结构赋予相同的参照标号，省略其说明。

接着，基于图19说明本实施方式中的、是否需要考虑动作的判定的细节。图19表示基于得分最大的表情类别而判断为需要考虑动作时的例和判断为不需要考虑时的例。

在图19中，表示根据面部图像F3而生成了面部得分T13的例。在该面部得分T13中，得分的值最大的表情类别是“厌恶”。此外，在该图中，也表示根据面部图像F4而生成了面部得分T14的例。在该面部得分T14中，得分的值最大的表情类别是“高兴”。

若比较这些面部得分，可知相对于在面部得分T13中存在得分的值与“厌恶”接近的表情类别（生气和恐惧），而在面部得分T14中不存在得分的值接近的表情类别。即，在表情类别中，存在在面部得分中难以出现接近的得分，能够只根据面部得分而容易地确定一个表情的类别、即难以产生误估计的类别。另一方面，如面部得分T13那样，也存在在面部得分中容易出现接近的得分，只根据面部得分难以确定一个表情的类别、即容易产生误估计的类别。

因此，本实施方式的表情估计装置的动作考虑需要与否判定部38（符合表情判定部件）判定根据面部得分而确定的一个表情是否为规定的表情。然后，根据该判定结果，决定是否判定动作的种类、即决定是否考虑动作而进行表情的估计。具体而言，预先设定难以产生误估计的表情（例如“高兴”）作为上述规定的表情。此时，在根据面部得分而确定的一个表情与上述预先设定的表情一致的情况下，决定为不判定动作的种类，在不一致的情况下，决定为判定动作的种类。此外，也可以预先设定容易产生误估计的表情作为上述规定的表情。此时，在根据面部得分而确定的一个表情与上述预先设定的表情一致的情况下，决定为判定动作的种类，在不一致的情况下，决定为不判定。例如，由于生气和厌恶、恐惧和惊讶以及悲伤和困惑（关于困惑，没有在图示的例中示出）分别是容易出现类似的得分的容易混淆的表情，所以也可以预先设定这样的表情作为容易产生误估计的表情。

接着，基于图20说明本实施方式的表情估计装置执行的处理的流程。图20是表示基于只根据面部得分而确定的表情，判定在表情的估计中是否需要考虑动作的表情估计装置执行的处理（表情估计装置150的控制方法）的一例的流程图。另外，由于该图的处理除了S44b以及S44c之外与图18的处理相同，所以除了S44b以及S44c以外的处理省略详细的说明。

在S44b中，动作考虑需要与否判定部38（符合表情判定部件）确定在面部得分取得部32生成的面部得分中得分的数值最大的表情，判断该表情对应于预先确定的表情（容易出现（难以出现）接近得分的表情）中的哪一个表情。然后，决定是否判定动作的种类（S44c）。这里，如上所述，在预先设定的表情为容易产生误估计（容易出现接近得分）的表情的情况下，在与该表情一致时，决定为判定动作的种类。另一方面，在预先设定的表情为难以产生误估计（难以出现接近得分）的表情的情况下，在与该表情一致时，决定为不判定动作的种类。

这里，在决定为判定动作的种类的情况下（S44c中“是”），动作考虑需要与否判定部38指示动作检测部33进行动作检测。由此，进行S44～S46的处理，在S47中，输出使用面部得分和动作得分而算出的表情估计结果。

另一方面，在决定为不判定动作的种类的情况下（S44c中“否”），动作考虑需要与否判定部38通知表情决定部35不需要考虑动作的情况。由此，表情决定部35决定在S43中生成的面部得分作为表情估计结果（S48），并输出该表情估计结果（S47）。

〔变形例〕

在上述各实施方式中，示出了首先生成面部得分，之后取得动作得分，基于这些得分而算出表情估计结果的例，但进行面部得分的生成和动作得分的取得的顺序并不限定于上述的例。即，也可以先取得动作得分，之后生成面部得分，也可以同时并行地进行动作得分的取得和面部得分的生成。

此外，在上述各实施方式中，示出了使用面部得分和动作得分而进行表情的估计的例，但本发明的本质在于，考虑面部的表情和动作的种类而进行表情的估计，并不限定于上述的例。例如，也可以使用根据面部的表情和动作的种类的组合来确定使用与各组合对应的表情的表格而估计表情。在使用这样的表格的情况下，根据人物的图像而确定面部的表情和动作的种类，从上述的表格确定与该面部的表情和动作的种类的组合对应的表情，决定为最终的表情的估计结果。

〔基于软件的实现例〕

表情估计装置1、50、100、150的控制模块（尤其是控制部3）也可以通过在集成电路（IC芯片）等中形成的逻辑电路（硬件）而实现，也可以使用CPU（CentralProcessingUnit，中央处理器）通过软件而实现。

在后者的情况下，表情估计装置1、50、100、150包括执行用于实现各功能的软件即程序的命令的CPU、以计算机（或者CPU）可读取的方式记录了上述程序以及各种数据的ROM（ReadOnlyMemory，只读存储器）或者存储装置（将这些称为“记录介质”）、展开上述程序的RAM（RandomAccessMemory，随机存取存储器）等。并且，通过计算机（或者CPU）从上述记录介质读取而执行上述程序，实现本发明的目的。作为上述记录介质，能够使用“非暂时性的有形的介质”，例如带、盘、卡、半导体存储器、可编程的逻辑电路等。此外，上述程序也可以经由可传输该程序的任意的传输介质（通信网络或广播等）提供给上述计算机。另外，即使是上述程序通过电子传输而具体化的、在载波中搭载的数据信号的方式，也能够实现本发明。

本发明并不限定于上述的各实施方式，在权利要求书所示的范围内可进行各种变更，将在不同的实施方式中分别公开的技术手段适当组合而获得的实施方式也包含在本发明的技术范围中。

产业上的可利用性

本发明能够利用于图像中的人物的表情的确定。

Claims (8)

1.一种表情估计装置，根据图像而估计人物的表情，其特征在于，包括：

表情判定部件，分析上述人物的图像而生成表示该人物的表情的第一表情信息；

动作判定部件，分析上述人物的图像而判定上述人物的动作的种类；以及

表情估计部件，生成与上述表情判定部件生成的上述第一表情信息和上述动作判定部件判定的动作的种类对应的、表示上述人物的表情的第二表情信息，

上述第一表情信息是通过数值来表示关于多个不同的表情的各自的符合度的信息，

上述表情估计部件通过使用按每个动作的种类预先确定的校正信息而校正上述第一表情信息的数值，生成上述第二表情信息。

2.如权利要求1所述的表情估计装置，其特征在于，包括：

动作注册部件，关于在上述图像中指定的动作，将该动作的种类和该动作的校正信息相对应而存储。

3.如权利要求1或2所述的表情估计装置，其特征在于，包括：

属性判定部件，分析上述图像而判定上述人物对应于预先确定的属性中的哪个，

上述表情估计部件通过使用与上述属性判定部件判定的属性对应且按每个动作的种类预先确定的校正信息而校正上述第一表情信息的数值，生成上述第二表情信息。

4.如权利要求1或2所述的表情估计装置，其特征在于，包括：

符合度接近判定部件，判定上述第一表情信息中的符合度的数值的最大值与次大的符合度的数值之差是否为预先确定的上限值以上，

上述表情估计部件在上述符合度接近判定部件判定为是上限值以上的情况下，不使用上述校正信息，生成上述第一表情信息作为上述第二表情信息，在上述符合度接近判定部件判定为小于上限值的情况下，使用上述校正信息而生成第二表情信息。

5.如权利要求3所述的表情估计装置，其特征在于，包括：

符合度接近判定部件，判定上述第一表情信息中的符合度的数值的最大值与次大的符合度的数值之差是否为预先确定的上限值以上，

上述表情估计部件在上述符合度接近判定部件判定为是上限值以上的情况下，不使用上述校正信息，生成上述第一表情信息作为上述第二表情信息，在上述符合度接近判定部件判定为小于上限值的情况下，使用上述校正信息而生成第二表情信息。

6.如权利要求1或2所述的表情估计装置，其特征在于，包括：

符合表情判定部件，判定在上述第一表情信息中符合度的数值最大的表情与预先确定的表情是否一致，并根据该判定的结果，决定是否使上述动作判定部件判定动作的种类，

上述表情估计部件在上述动作判定部件判定了动作的种类的情况下，使用上述校正信息而生成第二表情信息，在上述动作判定部件未判定动作的种类的情况下，不使用上述校正信息，生成上述第一表情信息作为上述第二表情信息。

7.如权利要求3所述的表情估计装置，其特征在于，包括：

符合表情判定部件，判定在上述第一表情信息中符合度的数值最大的表情与预先确定的表情是否一致，并根据该判定的结果，决定是否使上述动作判定部件判定动作的种类，

上述表情估计部件在上述动作判定部件判定了动作的种类的情况下，使用上述校正信息而生成第二表情信息，在上述动作判定部件未判定动作的种类的情况下，不使用上述校正信息，生成上述第一表情信息作为上述第二表情信息。

8.一种表情估计装置的控制方法，该表情估计装置根据人物的图像而估计该人物的表情，其特征在于，所述控制方法包括：

表情判定步骤，分析上述图像而生成表示上述人物的表情的第一表情信息；

动作判定步骤，分析上述图像而判定上述人物的动作的种类；以及

表情估计步骤，生成与在上述表情判定步骤中生成的上述第一表情信息和在上述动作判定步骤中判定的动作的种类对应的、表示上述人物的表情的第二表情信息，

上述第一表情信息是通过数值来表示关于多个不同的表情的各自的符合度的信息，

在上述表情估计步骤中，通过使用按每个动作的种类预先确定的校正信息而校正上述第一表情信息的数值，生成上述第二表情信息。