CN105050673A - 面部表情评分装置、舞蹈评分装置、卡拉ok装置以及游戏装置 - Google Patents

Abstract

本发明提供一种面部表情评分系统，可以通过对用户的面部表情评分获得改进的用户表现力的定量评价。本发明的面部表情评分系统(1)包括：面部图像获取单元(11)，被配置以获取要进行评分的对象人物的面部图像；面部表情估计单元(12)，被配置以估计来自所获取的面部图像的面部表情；面部表情评分单元(13)，被配置以参考预定的标准对该面部图像的所估计的面部表情进行评分；以及评分结果显示单元(14),被配置以显示评分结果。

Description

面部表情评分装置、舞蹈评分装置、卡拉OK装置以及游戏装置

技术领域

本发明涉及面部表情评分系统,舞蹈评分装置,卡拉OK装置,和游戏装置。

背景技术

某些传统的舞蹈评分装置或卡拉OK装置不仅允许用户伴随着音乐唱歌，而且也具有某些特征，如，显示背景图像和/或歌词的方式。举例来说，下文中所示的专利文献1公开了一种卡拉OK系统，可以为每个用户根据该用户的属性(性别、年龄等等)提供背景图像和/或显示歌词。例如，这种卡拉OK系统为老年用户以更大的字体显示歌词，而为年轻的用户显示城里的当前流行热点作为背景图像。

另一方面，在用于传统的视频会议，视频电话等等的视觉通信中，确定诸如面部表情之类的属性确定方法被利用，举例来说，正如下文所示的专利文献2中公开的。

引用列表

专利文献

专利文献1：JP2012-118286A

专利文献2WO2012/002047

发明内容

本发明所解决的问题

然而，迄今为止，还没有这样的卡拉OK装置，可以参考用户的面部表情对用户的表现力做出定量评价。同样，也没有这样的游戏，可以参考用户的面部表情对用户的表现力做出定量评价。

有了上述想法，本发明的目的是提供面部表情评分系统，可以通过对用户的面部表情评分获得改进的用户表现力的定量评价。

解决问题的方法

本发明提供了一种面部表情评分系统，包括：面部图像获取单元，被配置以获取要进行评分的对象人物的面部图像；面部表情估计单元，被配置以估计来自所获得的面部图像的面部表情；面部表情评分单元，被配置以参考预定的标准对该面部图像的所估计面部表情进行评分；以及评分结果显示单元，被配置以显示评分结果。

本发明还提供了包括面部表情评分系统的舞蹈评分装置。

本发明还提供了包括面部表情评分系统的卡拉OK装置。

本发明还提供了包括面部表情评分系统的游戏装置。

发明效果

根据本发明的面部表情评分系统，可以通过对舞蹈评分装置、卡拉ok装置、以及游戏装置中的面部表情评分来获得改进的表现力的定量评价。

附图说明

图1为本系统的结构的框图。

图2示出包括本系统的舞蹈评分装置主屏幕的示例(下文中这个装置可以简称为“舞蹈评分装置”)。

图3示出在包括本系统的舞蹈评分装置中系列编舞动作的每个展示的放大视图。

具体实施方式

(实施例)

在下文中，将描述示例性实施例中的本发明的(下文中可被简称为“本系统”)面部表情评分系统的结构和操作。

本发明的面部表情评分系统1包括面部图像获取单元11，面部表情估计单元12，面部表情评分单元13，以及评分结果显示单元14。面部表情评分系统1可进一步包括评分标准显示单元17。面部表情评分系统1可进一步包括图像显示单元18。面部表情评分系统1可进一步包括对象人物属性确定单元15。面部表情评分系统1可进一步包括广告选择单元16。

面部图像获取单元11获取要进行评分的人(以下简称为“对象人物”)的面部图像。对于面部图像获取单元11并没有特别的限制，例如，可以是照相机等。面部图像获取单元11也可以被配置，以使它可以获取面部图像并从被获取的面部图像中提取一个或多个面部图像。

面部表情估计单元12估计来自被获取的面部图像的面部表情。对于所述估计没有特别的限定，例如，可以用模特图像通过机器学习获得。

对于所述面部表情并没有特别的限制，例如，可以是微笑、中性、哭泣、不安、生气等。

面部表情评分单元13，参考预定的标准，对被估计的面部图像的面部表情进行评分。举例来说，面部表情评分单元13可以根据下文中将描述的确定的一个或多个属性调整评分标准。

对于所述标准并没有特别的限制，并且可能是，例如，特定面部表情(微笑、生气等)的程度等。

对于所述评分并没有特别的限制，并且可以是，例如，关于两级标度，即好(G)/不好(NG)，或关于三级或多级标度的分数评价。

评分结果显示装置14显示评分结果。评分结果显示单元14可以将评分结果与下文描述的所选广告一同显示。

对于评分结果并没有特别的限制。例如，评分结果可以被以图像的形式显示，也可以被传送到属于对象人物的终端。对于所述终端并没有特别的限制，例如，可以是移动电话、智能电话、个人计算机等。

评分标准显示单元17向对象人物显示评分标准。

图像显示单元18以图像的形式显示评分结果和评分标准。

对象人物属性确定单元15确定来自所述面部图像的所述对象人物的属性。

对于所述属性并没有特别的限制，并且可以是，例如，性别、年龄、种族或国籍。

所述广告选择单元16根据对象人物的一个或多个属性选择广告。

对于所述广告并没有特别的限制，例如，可以是适合于对象人物的一个或多个属性的一个。更具体地说，当对象人物是女性时，这则广告的示例包括那些化妆品、小装饰产品、杂货、服装和配饰。当对象人物是男性时，广告的示例包括汽车、摩托车、以及体育用品。

接下来，将参考图1的框图描述使用本系统的对面部表情进行评分的步骤的示例。

以下描述是针对这样的情况，其中对象人物是老妇人，并且该对象人物的微笑程度(微笑的范围)被进行评分。然而，需要注意的是，这仅仅是本实施例的说明性示例，而本实施例并不以任何方式受限于此。

首先，面部图像获取单元11获取作为对象人物的女子的面部图像。然后，所获取的图像数据被传输到面部表情估计单元12。随后，面部表情估计单元12对来自图像数据的面部表情进行估计。在本示例中，面部表情估计单元12估计面部表情是微笑。例如，面部表情估计单元12曾学习过笑脸的模特图像，并参考模特图像实现估计。被估计的面部表情被传送给面部表情评分单元13。在这种情况下，面部表情评分单元13对该女子的微笑程度进行评分。作为被纳入评分标准之中的一个标准，笑脸的模特图像可以被用作所述标准。必要时，评分标准可以根据对象人物的一个或多个属性而调整。例如，在在此情况下，因为对象人物比较年长，评分标准可以被设置得较不严格。在本示例中，对象人物的面部表情被评价为“好(GOOD)”。随后，评价数据被传送给评分结果显示单元14。举例来说，必要时，评分标准可以被传送给评分标准显示单元17，以使评分标准也被显示给对象人物。接下来，评分结果显示单元14显示评分结果。举例来说，在这种情况下，结果可仅通过将指示“好”的文字输出至属于对象人物的终端加以显示，或者图像显示单元18可进一步显示示出“好”的图像。必要时，图像数据可能会被传送到对象人物属性确定单元15并且属性数据(年老，女性)可被传送到广告选择单元16，使得化妆品广告和评分结果被一同显示。

接下来，将参考图2描述包括本实施例的系统的舞蹈评分装置(以下简称为“本舞蹈评分装置”)的操作。

图2示出舞蹈评分装置的屏幕的示例。对于本实施例的舞蹈评分装置并没有特殊的限制，举例来说，可能具有卡拉ok功能。需要注意的是，卡拉OK功能是可选的。在下文中，将参考示例对本实施例的舞蹈评分装置进行描述，在该示例中舞蹈评分装置为具有卡拉ok功能的装置。图2中的主屏幕101显示以下组件：模特图像102；一系列编舞动作(一系列动作)110；歌词103；评分定时指示器(定时条timingbar)111；综合评分结果显示105；精确评分结果显示106；面部标记107和108；以及对象人物图像109。对于这些组件并没有特殊的限制，并且它们中的每个都可以被显示或不被显示。此外，主屏幕101可以进一步酌情显示那些组件以外的任何组件。

本舞蹈评分装置的主屏幕101的结构与传统的卡拉OK装置的主屏幕结构相同，虽然这种结构并没有在图2中特别描绘。同样，本舞蹈评分装置的主屏幕101的结构与传统舞蹈评分装置的主屏幕的结构相同。更具体地说，例如，像在传统舞蹈装置或卡拉OK装置中一样，歌词103被显示。尽管在本示例中歌词103从右向左滚动，本舞蹈评分装置并不局限于此，歌词103也可以从左向右滚动。

主屏幕101并没有特别的限制。例如，主屏幕101可以像在传统的舞蹈评分装置或卡拉OK装置中一样显示背景图像(视频)。主屏幕优选地显示，例如，艺术家的宣传视频(PV)，更优选地显示舞曲的PV。举例来说，对于模特图像102并没有特别的限制，并且可以是歌手、舞者等的图像。这使对象人物可以领会评价是基于实际的歌手、舞者等的表现而做出的。

如图2所示，主屏幕101将模特图像的一系列动作110与歌词103一同显示。以下描述是针对主屏幕显示舞曲的PV的示例。更具体地说，下面的描述是参考示例，在该示例中主屏幕101显示作为模特图像102的边唱边跳的舞者的视频。然而，需要注意的是，本发明的舞蹈评分装置并不局限于此。

动作110显示舞蹈演员的一系列动作。对象人物跟随舞者的动作唱歌和舞蹈。在图2中，定时条111和定时条111上的动作112指示舞者此时的动作。在本示例中，基于对象人物的动作是否与定时条111上的动作112相同，对象人物被利用分数加以评价。即，对象人物的动作和动作112的相似度越高，对象人物获得的分数越高。

如图2所示，举例来说，综合评分结果显示105可包括总分数、基本分数、奖励分数、排名等。举例来说，为了显示排名，舞蹈评分装置可以具有在必要时通过通信设备更新排名的功能。同样，例如，如在图2中的精确评分结果显示106中所示，舞蹈评分装置可具有在必要时显示每个单独动作的评分结果的功能。例如，在图2中，相对于动作112，对象人物的动作被评价为“好”。

此外，如图2所示，对象人物的动作可被显示为对象人物图像109。对象人物图像109优选地在必要时被更新。更优选地，舞蹈评分装置具有记录对象人物图像的功能。

同样，如图2所示，评分标准可不仅包括编舞(运动)，也包括面部表情。这将在下文参考附图3A-3B进行具体描述。

图3A-3B是模特图像102(未在图3中示出)的一系列动作110的每个展示的放大视图。在图3A中，面部标记107被显示在区段104之上。位于左侧的区段104之上的面部标记107是显示笑脸的面部标记，而位于右侧的另一区段104之上显示的面部标记108是显示中性脸的面部标记。在图3B中，区段104在定时条111上。在这种情况下，如果在区段104位于时间条111之上的时间段期间对象人物展示了笑脸，对象人物获得一个或多个点。在区段104滚过定时条111以后，另一区段104位于定时条111上。在这种情况下，如果对象人物展示了中性脸，对象人物获得一个或多个点。举例来说，面部标记可能会或可能不会与模特图像(本示例中的舞者)的实际面部表情相一致。当评分标准还包括如上所述的面部表情时，对象人物需要模仿唱歌、编舞动作、以及模特图像的面部表情，藉此就有可能获得改进的对象人物的表现力的定量评价。

虽然包括本系统的舞蹈评分装置在上文参考说明性示例而被描述，舞蹈评分装置并不局限于此。例如,包括本系统的装置可能是卡拉OK装置或游戏。举例来说，卡拉OK装置可以是具有卡拉OK功能的装置，如上所述，与舞蹈评分装置相关。举例来说，游戏可能是约会模拟游戏、音乐游戏等。在约会模拟游戏的情况下，通过调整传统的约会模拟游戏使得，作为情节分支的条件，并入在特定定时或某一时间段内的面部表情，就有可能为用户提供更真实的体验。由此获得的可能的效果的示例包括：当用户展示与角色相同的面部表情时增进与出现在屏幕上的角色的亲密度；而当用户在严肃的场景展示笑脸时降低亲密度。

虽然已经在上文中参考示例性实施例描述了本发明，但本发明并不以任何方式局限于此。本领域技术人员在本发明的结构和细节上可能做出的各种变化和修改都是明显的，而不脱离本发明的范围。

本申请基于提交于2013年4月2日的日本专利申请第2013-077118并要求其优先权，其公开在此通过引用并入本文。

参考数字的解释

1：面部表情评分系统

11：面部图像获取单元

12：面部表情估计单元

13：面部表情评分单元

14：评分结果显示单元

15：对象人物属性确定单元

16：广告选择单元

17：评分标准显示单元

18：图像显示单元

101：主屏幕

102：模特图像

103：歌词

104：区段

105：综合评分结果显示

106：精确评分结果显示

107,108：面部标记

109：对象人物图像

110：模特图像的系列动作

111：定时条

112：动作

Claims (8)

1.一种面部表情评分系统，其包括：

面部图像获取单元，其被配置以获取要进行评分的对象人物的面部图像；

面部表情估计单元，其被配置以从被获取的面部图像来估计面部表情；

面部表情评分单元，其被配置以参考预定的标准来对所述面部图像的被估计的面部表情进行评分；以及

评分结果显示单元，其被配置以显示评分结果。

2.根据权利要求1所述的面部表情评分系统，进一步包括：

评分标准显示单元，其被配置以向所述对象人物显示所述评分标准。

3.根据权利要求2所述的面部表情评分系统，进一步包括：

图像显示单元，

其中，

所述图像显示单元显示所述评分结果以及所述评分标准。

4.根据权利要求1至3中的任何一项所述的面部表情评分系统，进一步包括：

对象人物属性确定单元，其被配置以从所述面部图像来确定所述对象人物的属性，

其中，

所述面部表情评分单元根据被确定的属性来调整所述评分标准。

5.根据权利要求4所述的面部表情评分系统，进一步包括：

广告选择单元，

其中，

所述广告选择单元根据所述对象人物的所述属性来选择广告，并且所述评分结果显示单元将所述评分结果与被选择的广告一同显示。

6.一种舞蹈评分装置，其包括：

根据权利要求1至5的任何一项所述的面部表情评分系统。

7.一种卡拉OK装置，其包括：

根据权利要求1至5的任何一项所述的面部表情评分系统。

8.一种游戏装置，其包括：

根据权利要求1至5的任何一项所述的面部表情评分系统。