CN107851324B

CN107851324B - 信息处理系统、信息处理方法和记录介质

Info

Publication number: CN107851324B
Application number: CN201680042459.5A
Authority: CN
Inventors: 岩波宏
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2015-07-28
Filing date: 2016-04-26
Publication date: 2022-12-20
Anticipated expiration: 2036-04-26
Also published as: US10607063B2; US20190095695A1; CN107851324A; WO2017018012A1

Abstract

本发明提供了一种能够根据观察者的大体上朝下的脸部更正确地计算对对象的评价的信息处理系统、信息处理方法和记录介质。一种信息处理系统，其包括：笑容度检测单元，其被配置为检测观看对象的观看者的笑容度；脸部朝向检测单元，其被配置为检测表明所述观看者的脸部大体上朝下的程度的脸朝下度；以及评价计算单元，其被配置为根据所述笑容度和所述脸朝下度计算对所述对象的评价。

Description

信息处理系统、信息处理方法和记录介质

技术领域

本公开内容涉及一种信息处理系统、信息处理方法和记录介质。

背景技术

通常，存在如下的许多情形，其中希望掌握受众收看或者收听演讲会的演讲者、大学的老师、补习班的讲师、喜剧演员等的兴趣如何等诸如此类的事情。例如，假定存在如下的情况，即演讲会的演讲者想要知道他/她吸引演讲的受众的注意力的程度如何，以及当评价补习班的讲师时，希望将有多少学生带着兴趣倾听讲师的讲话作为评价材料等等情况。另外，存在如下情况，即不仅当评价人、而且当评价显示在电视机或数字标识系统上的内容时，希望掌握受众中有多少人有兴趣收听或收看内容。

作为一种关于这种评价的技术，专利文献1例如描述了一种系统，该系统基于观看内容的观看使用者的视线的注意力程度的评价值以及在那时的表情的评价值(笑容等级)中的至少一个计算满意度，并且评价该内容，从而再现具有高满意度的场景或进行内容推荐。

此外，专利文献2描述了一种系统，该系统能够拍摄舞台等的视频并且也能够拍摄访问者的表情、以及每30秒将微笑的男人和女人的数量存储为指标，以仅仅提取女人做出高评价并且回放摘要的时区中的图像。

此外，专利文献3描述了一种系统，其以正在被记录的动画的预定的时间间隔输入使用者的喜好度，并且从所述动画中提取具有高喜好度的部分以及当从所述动画检测到的人的笑容被包含用于回放时的时间点前后的部分。引文列表

专利文献

专利文献1：JP2009-267445A

专利文献2:JP2007-104091A

专利文献3:JP2013-214985A

发明内容

技术问题

然而，上述所有专利文献使用观看使用者是否正在微笑的事实作为主要评价基础以进行视频的摘要回放或场景的回放，它们均不能正确地全面抓取使用者对对象的兴趣。具体而言，调查受众实际对讨论会、研讨会等等注意的程度以及其被友好地接纳的程度的唯一途径是直接向受众进行问卷或提出口头问题。

本公开旨在提出一种信息处理系统，信息处理方法以及记录介质，其能够根据观察者的大体上朝下的脸部更正确地计算对对象的评价。

技术方案

根据本公开，提出了一种信息处理系统，其包括：笑容度检测单元，其被配置为检测观看对象的观看者的笑容度；脸部朝向检测单元，其被配置为检测表明所述观看者的脸部大体上朝下的程度的脸朝下度；以及评价计算单元，其被配置为根据所述笑容度和所述脸朝下度计算对所述对象的评价。

根据本公开，提出了一种信息处理方法，其包括：通过处理器检测观看对象的观看者的笑容度；检测表示所述观看者的脸部大体上朝下的程度的脸朝下度；并且根据所述笑容度和所述脸朝下度计算对所述对象的评价。

根据本公开，提出了一种记录介质，其中记录有程序，所述程序使得计算机用作：笑容度检测单元，其被配置为检测观看对象的观看者的笑容度；脸部朝向检测单元，其被配置为检测表明所述观看者的脸部大体上朝下的脸朝下度；以及评价计算单元，其被配置为根据所述笑容度和所述脸朝下度计算对所述对象的评价。

技术效果

如上所述，根据本公开，可以根据观察者的大体上朝下的脸部更正确地计算对对象的评价。

注意，上述效果不一定是限制性的。不仅可以具备上述的效果，或者可以取代上述效果的是，可以实现本说明书描述的效果或者可以从本说明书获取的其他效果中的任何之一。

附图说明

[图1]图1是描述根据本公开的一个实施例的信息处理系统的概要的图示。

[图2]图2是示出根据本实施例的信息处理设备的配置示例的框图。

[图3]图3是示出根据本实施例的信息处理设备的功能性配置示例的框图。

[图4]图4是描述根据本实施例的面部检测的图示。

[图5]图5是描述根据本实施例的面部朝向(角度)的图示。

[图6]图6是示出根据本实施例的信息处理系统的操作过程的流程图。

[图7]图7是示出根据本实施例的评价值的显示示例的图示。

[图8]图8是根据本实施例的在多个对象之中进行评价比较的信息处理系统的概要的图示。

[图9]图9是示出根据本实施例的在多个对象之中评价比较中的显示示例的图示。

[图10]图10是描述在根据本实施例的评价对象是内容的情况下的信息处理系统的概要的图示。

[图11]图11是示出在根据本实施例的评价对象是内容的情况下的评价的显示示例的图示。

[图12]图12是根据本实施例的可穿戴相机的示例的图示。

[图13]图13是描述根据本实施例的使用相机拍摄的图像以检测使用者的脸部的脸朝下度的情况的图示。

具体实施方式

在下文中，详细地参照附图描述本公开的优选的实施例。在本说明书和附图中，具有基本上相同的功能和结构的结构元件以相同的附图标记进行标注，并且省略了这些结构元件的重复解释。

另外，将要以下列顺序进行描述。

1.根据本公开的实施例的信息处理系统的概要

2.配置

3.操作过程

4.显示示例

5.补充

6.结论

<<1.根据本公开的实施例的信息处理系统的概要>>

图1是描述根据本公开的实施例的信息处理系统的概要的图示。如图1所示，根据本实施例的信息处理系统能够例如计算观看对象S的受众对所述对象S的评价，在信息处理设备10的显示设备109上实时地显示评价结果，且向对象S给出反馈。例如，可以基于利用相机11拍摄的受众P的拍摄图像的分析进行受众P对对象S的评价。

更具体地，根据本实施例的信息处理系统能够更正确地并且以高精确度进行如图1所示的讨论会、研讨会等的演讲者(对象S)或观看例如视频或游戏的内容的受众P的评价。

由于一个人通常注视和观看他/她感兴趣的对象，他/她对所述对象注意的时间一定与兴趣程度成比例地变长。在一个演讲中，例如，面部面对演讲者的时间的比例增加，且在对象被认为是友好的情况下，作出笑容的比例增大。

然而，存在一种情况，其中，因为受众对演讲者的交谈话或内容有兴趣，该受众与邻座的人讨论其细节至一定程度，或者该受众自己努力思考其细节。此时，使用者的视线和面部朝向将面对侧向或向上。因此，如果仅仅基于注视对象的时间(面部朝前面对的时间)或笑容度来计算对对象的评价，将不考虑受众对对象实际感兴趣的侧向或向上的状态，因此，计算出的评价不能看作是正确的。

另一方面，也假设了对对象没有兴趣的使用者面对侧向或向上的情况，且面对侧向或向上的使用者是否对对象具有兴趣则有点不确定。

这里，从实际的问卷、体验或实际的感觉已经揭示出，脸朝下并且打瞌睡的使用者或脸朝下并且操作智能手机的使用者对对象没有兴趣。由于已被揭示出脸朝下直接与对对象没有兴趣相关联，在本实施例中，通过考虑脸朝下度以及受众的笑容度可以更加正确地和以高精确度计算受众对对象的评价，脸朝下度表示脸(或者视线)大体上朝下的程度。

即，在根据本实施例的信息处理系统中，通过分析例如利用相机11对受众P进行摄像所获得的图像，以执行面部检测，且大体上面朝下的脸面的数量或者向下的角度被计算为脸朝下度以及表现为对对象S的评价之一。此外，根据本实施例的信息处理系统可以将通过分析拍摄图像检测出的受众P的笑容度表现为评价之一。此外，信息处理系统也能够计算并且展示基于已经计算出的脸朝下程度和笑容度的总体评价。

如图1所示，可以实时地进行这种评价值的每一个的计算和展示。

下文将描述根据本公开的实施例的上述信息处理系统的具体配置示例与操作。

<<2.配置>>

<2-1.硬件配置>

图2是示出根据第一实施例的信息处理设备的硬件配置示例的框图。如图2所示，信息处理设备10具有控制单元101、图像输入处理单元102、输入设备103、输入处理单元104、日历/计时器单元105、存储单元106、外存储器单元107、显示处理单元108和显示设备109。这里，例如，如图1所示，信息处理设备10通过个人计算机(PC)实现，同时，根据本实施例的信息处理设备10并不限于此，而是可以通过智能手机、移动电话终端、平板电脑终端、平板电脑终端、可穿戴设备、游戏机、音乐播放器等等来实现。另外，关于信息处理设备10，输入设备103和/或显示设备109可以是单独的元件，且可被构造成通过有线/无线方式连接至信息处理设备10。

控制单元101用作操作处理设备和控制设备，且控制根据各种程序控制信息处理设备10中的所有操作。控制单元101例如通过电子电路(例如中央处理器(CPU)或微处理器)来实现。下面将要参照图3描述本实施例的控制单元101的具体功能。

存储单元106通过存储用于在控制单元101中的处理的程序、操作参数等等的只读存储器来实现，以及通过暂时存储必要时变化的参数等等的随机存取存储器(RAM)来实现。

外存储单元107是存储介质，例如是存储利用相机11所拍摄的图像和各种内容的硬盘驱动器(HDD)或固态驱动器(SSD)。

图像输入处理单元102对由相机11所拍摄的拍摄图像进行各种类型的处理，并且将已准备的图像信息输出至控制单元101。例如，图像输入处理单元102对所拍摄的图像进行转换、调节、噪音消除、边缘检测(图像增强)等等。相机11拍摄整个受众中的多张脸，并且通过有线/无线方式将所拍摄的图像发送至信息处理设备10。例如，相机11通过固定相机来实现。可替代地，相机11并不限于外部设备，而是可以配置为包括在信息处理设备10中。

输入设备103可以由键盘、鼠标、触摸屏、开关、按钮等等来实现，并且可以检测使用者所作出的操作输入，且输出检测到的输入信号至输入处理单元104。可替代地，输入设备103可以由麦克风来实现。

输入处理单元104可以对从输入设备103输入的输入信号进行各种类型的处理，并且将已准备的输入信息输出至控制单元101。例如，输入处理单元104可以对输入信号进行转换、噪音消除、波形处理等等。

日历/定时器单元105测量时间，且输出定时信息至控制单元101。

显示处理单元108执行各种类型的处理，以将从控制单元101输出的信息输出至显示设备109。例如，显示处理单元108可以对输出信息进行转换、强度调节、屏幕生成等等。

显示设备109是输出设备的示例，且由例如液晶显示(LCD)设备或有机EL(有机发光二极管(OLED))显示设备的显示设备来实现。例如，显示设备109显示由控制单元101计算出的受众对对象的评价，并且通过显示处理单元108转换成图形。

以上已经描述了根据本实施例的信息处理设备10的硬件配置。注意，信息处理设备10的配置并不限于图2中所示的示例，而是还可以具有网络I/F。

<2-2.功能部件示例>

图3是示出根据第一实施例的信息处理设备10的功能部件示例的框图。在图示的示例中，为了便于描述，图像输入处理单元102和显示处理单元108表示为功能部件，包括控制单元101的每一个功能。

如图3所示，信息处理设备10用作脸部检测单元1011，微笑度检测单元1012，脸部朝向检测单元1013和整体评价单元1014。这些功能可以实现为控制单元101的功能。

脸部检测单元1011分析从图像输入处理单元10输出的拍摄图像，以进行脸部检测。用于脸部检测的算法不作具体限制，而是可以使用现有技术。因此，例如可以检测来自于如图4所示的拍摄图像200的脸部图像201～208。

笑容度检测单元1012对由脸部检测单元1011检测的脸部执行脸部识别，以检测每一个脸部的笑容度。用于脸部识别的算法不作具体限制，而是可以使用现有技术。笑容度检测单元1012使用具有机器学习的笑容样本的检测器输出笑容度sm(值为0～100)。笑容度的输出值sm并不限于此，而是可以包括负的评价。例如，表达例如生气的脸部或烦闷的脸部等厌恶的脸部可以用笑容度-100～0来表示。在这种情况下，笑容度0可以定义为“严肃的表情”或“缺乏表情”。

如此，可以检测包括在拍摄图形200中的每一个脸部的笑容度。这里，由于拍摄图像200包括多个如图4所示的脸部，笑容度检测单元1012输出通过将在某个瞬间的各个人的笑容度的总和除以人员的总数所获得的平均值(每个屏幕的笑容度SM)作为笑容度的评价结果。笑容度的评价结果被输出至显示处理单元108和总体评价单元1014。

注意，笑容度的评价结果并不限于此，而是例如，笑容度检测单元1012可以提供阈值(例如50％)，并且在笑容度超出该阈值的情况下，可以将其计为笑容并且输出微笑的人们的数量(或比例)作为笑容度的评价结果。即例如，笑容度检测单元1012不将0～49的笑容度计为笑容，并且将50～100的笑容度计为笑容。

脸部朝向检测单元1013对由脸部检测单元1011检测的脸部执行脸部识别，以检测每一个脸部面朝下的程度。用于脸部识别的算法不作具体限制，而是可以使用现有技术。脸部朝向检测单元1013例如使用经过机器学习的检测器，将正面作为基础，获得俯仰方向的转动角度。这里，图5示出描述脸部朝向(角度)的图示。如图5所示，脸部朝向是指基于三个轴线方向的转动的脸部210的朝向，三个轴线方向的转动例如包括在各个轴线方向的翻转、俯仰和横摆。脸部朝向检测单元1013可以使用正面作为基础(0度)，检测例如在俯仰方向的大约至-60度的大体上向下(还包括斜向下，例如向右斜向下以及向左斜向下)的角度。然后，脸部朝向检测单元1013将正面(0度)至向下(-60度)规范化为0～100，以获取脸朝下度dd。

注意，脸朝下度的评价结果并不限于此，而是脸部朝向检测单元1013例如可以计数脸朝下的人们的数量(例如具有超过预定阈值的向下角度的人们的数量)，并且将脸朝下的人们的数量(或比例)输出为脸朝下度的评价结果。

如此，可以检测包含在拍摄图像200中的每一个脸部的脸朝下度。这里，由于拍摄图像200包括多个如图4所示的脸部，脸部朝向检测单元1013输出通过将在某个瞬间的各个人的脸朝下度的总和除以人员的总数所获得的平均值(每个屏幕的脸朝下度DD)作为脸朝下度的评价结果。脸朝下度的评价结果被输出至显示处理单元108和总体评价单元1014。

总体评价单元1014基于笑容度SM和脸朝下度DD计算总体评价。例如，因为在面朝正面和微笑的情况下评价是高的，总体评价单元1014根据下式1计算总体评价值。计算出的总体评价结果被输出至显示处理单元108。

[公式1]

总体评价值＝笑容度SM(每个屏幕)×{100-脸朝下度DD(每个屏幕)}

…表达式1

如上所述，计算出了每个屏幕的笑容度(评价值的示例)、脸朝下度DD(评价值的示例)以及总体评价值(评价值的示例)，并且被分别输出至显示处理单元108。显示处理单元108例如通过时序图产生代表每个评价值的屏幕，并且输出该屏幕至显示设备109。

<<3.操作过程>>

随后，将参照图6描述根据本实施例的信息处理系统的操作过程。图6是示出根据本实施例的信息处理系统的操作过程的流程图。

如图6所示，首先，信息处理设备10通过图像输入处理单元102获取由相机11拍摄的受众的拍摄图像(步骤S103)。

接下来，控制单元101通过脸部检测单元1011在图像中执行脸部检测，以获取图像中脸部的数量n(步骤S106)。

然后，控制单元101通过笑容度检测单元1012检测由脸部检测单元1011检测的每一个脸部的笑容度sm(例如0～100)。

下面，控制单元101通过脸部朝向检测单元1013检测由脸部检测单元1011检测的每一个脸部的脸朝下度dd(例如0～100)(步骤S112)。

然后，控制单元101通过笑容度检测单元1012计算整个屏幕的笑容度SM的平均值，并且通过脸部朝向检测单元1013计算整个屏幕的脸朝下度DD。具体而言，例如分别通过下面的表达式2和表达式3分别计算出它们。

[公式2]

每个屏幕的笑容度SM＝(∑ⁿsm)/n…表达式2

[公式3]

每个屏幕的脸朝下度DD＝(∑ⁿdd)/n…表达式3

接着，控制单元101使用上面已经计算出的笑容度SM和脸朝下度DD通过总体评价单元1014计算总体评价值(步骤S118)。总体评价值例如通过上述表达式1计算。

然后，信息处理设备10的显示处理单元108使得笑容度、脸朝下度以及总体评价值的图形显示在显示设备109上(步骤S121)。

上面已经具体地描述了本实施例的操作过程。随后，将参照图7至图9描述由显示处理单元108得到的评价值的显示示例。

<<4.显示示例>>

图7是示出根据本实施例的评价值的显示示例的图示。在图示的示例中，在屏幕220上通过线状图分别显示总体评价、笑容度以及脸朝下度。可以根据用相机11拍摄受众所获得的拍摄图像的时间序列显示每一个所述线状图。在实时执行图6中所示的操作过程的情况下，对象S可以通过线状图检查目前不断变化的各个评价值，同时进行如图1所示的研讨会等。所述图不限于线状图，而是可以是分散图、条形图等等。

注意，评价值的计算不限于实时，而实际上也可以假设基于在过去通过拍摄受众所获得的拍摄图像而执行的情况。在这种情况下，显示处理单元108也能够显示与对象S的研讨会的细节的场景和时间有关的每一个场景或每一个进展项目的评价值。可选地，显示处理单元108可以显示如图7所示的各个评价值的图，同时回放对象S的研讨会的细节的视频。

另外，在笑容度和脸朝下度各自输出为人员数量(或相对于全部的比例)情况下，显示处理单元108可以通过时序图(例如条形图等)显示人员的这些数量(比例)。

(多个对象的评价)

接下来，作为本实施例的另一个显示示例，将列出并列显示多个对象的评价值。例如，如图8所示，根据本实施例的信息处理系统可以分别利用相机11A、11B和11C拍摄研讨会中的受众中的各个人或者多个对象S1、S2和S3等的状况。

信息处理设备10可以实时计算对多个对象S1、S2和S3的评价，并且将评价呈现给评价者，或者可以根据在过去的研讨会中的受众的拍摄图像计算和呈现评价。如图8中所示的示例中包括多个相机11，同时本实施例并不限于此，而是可以有单个相机。例如，在多个演讲者在相同的教室中依次进行研讨会并且随后作出每一个演讲者的评价的情况下，可以通过固定在教室中的单个相机11拍摄每一个演讲者的研讨会中受众的图像。

图9是示出根据本实施例的在多个对象之间进行评价比较的显示示例的图示。在图示的示例中，在屏幕230上通过图形并排地分别显示了演讲者A(对象S1)，演讲者B(对象S2)和演讲者C(对象S3)的总体评价、笑容度脸朝下度。由于高的笑容度和低的脸朝下度导致高的评价，图9所示的示例揭示出演讲者B具有最高的的评价，然后，演讲者A具有第二高的评价评价，所述演讲者C具有最低的评价。

<<5.补充>>

<5-1.评价对象是内容的情况>

以上已经具体描述了根据本实施例的信息处理系统。上述实施例已经描述了对象S是人(例如是演讲者)的情况的评价系统，同时本实施例并不限于此，而是还可以应用于例如在显示设备中回放的视频或游戏的内容(对象)的评价(观看率研究)。下面的描述将参照图10和图11进行。

图10是描述在评价对象是内容的情况下的信息处理系统的概要的图示。如图10所示，在根据本实施例的信息处理系统中，数字标识系统13例如被安装在车站、建筑物等等处，并且可以进行受众P对数字标识系统13上回放的内容的评价。

具体而言，信息处理设备10根据利用相机11拍摄的受众的拍摄图像执行笑容度、脸朝下度和总体评价的计算。由于信息处理设备10的配置类似于参照图2和图3描述的以上实施例的配置，本文将省略其描述。可以实时进行这种内容的评价处理，或者可以基于过去的拍摄图像进行。在图10所示的示例中，信息处理设备10可以基于由相机11拍摄的受众P的拍摄图像，实时地计算评价值，并且使得所述评价值显示在显示单元上，同时在数字标识系统13上回放内容。

将参照图11描述在内容是对象的情况下的评价值的显示示例。图11是示出在评价对象是内容的情况下的评价的显示示例的图示。在图示的示例中，在屏幕240上并列显示对内容A、内容B和内容C的各个评价(总体评价、笑容度和脸朝下度)。例如可以使用已经观看内容A、内容B和内容C的受众的拍摄图像(过去的成像图像)计算各个评价。由于高的笑容度和低的脸朝下度导致高的评价，图11所示的示例揭露出内容B具有最高的评价，然后，内容A具有第二高的评价评价，内容C具有最低的评价。

已经作为示例描述了内容在数字标识系统13上回放的情况，但是本实施例并不限于此，而是也可以例如在回放内容(例如电视节目)的情况下，类似地进行评价(观看率研究)。

<5-2.使用可穿戴相机的情况>

在上述实施例中，固定相机11用作拍摄受众P的拍摄设备，同时本实施例并不限于此。例如，可以使用由受众P中的每个人穿着的可穿戴型相机。在下文中，将参照图12和图13进行描述。

图12是描述可穿戴相机的示例的图示。如图12所示，可穿戴相机例如可以通过条带型(图12中的左侧图示)或头盔型(图12中的右侧图示)实现。

条带型相机具有拍摄使用者(观看者)的表情的相机11-1a，感测使用者的脸部角度的传感器14a和拍摄对象的相机11-2a，从而协助使用者的面部角度的计算。相机11-1a朝向使用者的脸部安装，并且传感器14例如设置在相机11-1a的安装部件处。另外，相机11-2a朝向使用者的视线方向安装。另外，头盔型相机还类似地具有拍摄使用者(观看者)的表情的相机11-1b，感测使用者的脸部角度的传感器14b和拍摄对象的相机11-2b，从而协助使用者的面部角度的计算。

信息处理设备10(未示出)基于由相机11-1、11-2和传感器14所获得的数据计算对对象的评价，相机11-1、11-2和传感器14分别由受众P穿戴。

这里，笑容度检测单元1012根据利用相机11-1拍摄的图像检测使用者的笑容度。

此外，脸部朝向检测单元1013可以根据传感器14感测的传感器数据检测使用者的脸朝下度。传感器14例如是磁场传感器、陀螺仪传感器或倾斜传感器，并且可以感测脸部(头部)的朝向(横摆)和倾斜(俯仰)。另外，可以进一步使用由相机11-2拍摄的图像检测使用者的脸朝下度。图13是说明使用由摄像机11-2拍摄的图像来检测使用者的脸部朝下的程度的情况的图示。图13左侧图示的图像40是在使用者(观看者)的脸部面向正面(在直径上与对象相对的方向)情况下的拍摄图像的示例，并且图13的右侧所图示的图像41是在使用者的脸部朝向已经变为向下的情况下的拍摄图像。

如图像40所示，如果使用者(观看者)的脸部朝向在直径上与评价对象相对，评价对象的脸部的中心可被捕获在屏幕的中心的位置(x＝50，y＝50)。另一方面，在使用者(观看者)的面部朝向已经从正面偏移的情况下，评价对象的脸部的中心从图像41所示的屏幕的中心位置偏移。因此，脸部朝向检测单元1013例如能够将由相机11-2拍摄的拍摄图像的中心与评价对象的脸部的中心之间的偏移规范化为0～100，以检测使用者的脸部的脸朝下度。例如通过下面的表达式4计算从评价对象的脸部的中央的位移d。在这种情况下，位移d可以输出为值0～7071。

[公式4]

<<6.结论>>

如上所述，在根据本发明的实施例的信息处理系统中，可以根据观看者的大体上向下的脸部更正确地计算对对象的评价。

在本实施例中，从实际的调查结果，在对对象没有兴趣的情况下，脸部常常例如由于打瞌睡、操作智能手机等等向下，然而，例如脸朝上或侧向的动作不能看作是与对对象没有兴趣高度地相关联，这是由于人员因为对对象具有兴趣而努力思考。另外，脸朝上或侧向的时间不会持续太长时间(例如大约1分钟或3分钟)，然而，脸朝下的时间可以不断地持续5分钟或10分钟。从这些结果，脸朝下可认为是与对对象没有兴趣高度地相关联，并且本实施例中通在"脸部的脸朝下度"评价受众没有兴趣，可以对对象更正确地和高精确度进行评价。

此外，在30人或50人的大量受众的情况下，从拍摄图像难以检测每个人的视线(就相机图像的分辨率而言)，导致增大的成本和处理负担，同时在本实施例中，脸部朝向远比视线检测可以更容易地被抓取，于是，也从成本和处理负担的方面看，和基于视线方向、凝视时间等等对对象进行评价相比，脸部朝向更有用。

此外，由于在本实施例中也使用笑容度(正因素)以及脸部的脸朝下度(负因素)获得总体评价值，可以更容易抓住评价的概要。

上面已经参照附图描述了本公开的优选的实施例，同时本发明并不限于上述示例。显而易见的是，本领域技术人员在所附权利要求书记载的技术思想的范围内可以找到各种变化或修改，并且应理解它们将自然地落入本公开的技术范围内。

例如，可以创建计算机程序，使得安装在上述信息处理设备10中的例如CPU、ROM和RAM等硬件实现信息处理设备10的功能。进一步，还设置有其中存储有计算机程序的计算机可读存储介质。

另外，可以基于整个受众的皮肤颜色的面积或看到头顶区域的比例(在脸朝下的情况下，当从正面拍摄受众时，头顶区域是可以看到的)，可以检测脸部的脸朝下度。

进一步，在本说明书描述的效果仅仅是说明性或示例性的效果，并且不是限制性的。即，不仅具备上述的效果，或者取代上述效果的是，根据本公开的的技术可以实现本领域的技术人员从本说明书的描述中可以清晰地得知的其它效果。

此外，本发明也可被配置如下。

(1)

一种信息处理系统，其包括:

笑容度检测单元，其被配置为检测观看对象的观看者的笑容度；

脸部朝向检测单元，其被配置为检测表明所述观看者的脸部大体上朝下的程度的脸朝下度；以及

评价计算单元，其被配置为根据所述笑容度和所述脸朝下度计算对所述对象的评价。

(2)

根据(1)所述的信息处理系统，其中，

所述评价计算单元根据所述笑容度和所述脸朝下度计算总体评价值。

(3)

根据(2)所述的信息处理系统，其中，

所述脸部朝向检测单元能够实时地计算由拍摄单元拍摄的动画中包含的多个观看者的每一个脸部图像的所述脸朝下度。

(4)

根据(3)所述的信息处理系统，其中，

所述脸朝下度是在所述多个观看者中被确定为脸朝下的人员的数量的比例。

(5)

根据(3)或(4)所述信息处理系统，进一步包括：

固定的拍摄设备，其包括被配置为拍摄所述多个观看者的所述拍摄单元。

(6)

根据(1)或(2)所述的信息处理系统，其中，

所述脸部朝向检测单元基于由附接在所述观看者上的传感器所检测的感测数据检测所述笑容度和所述脸朝下程度。

(7)

根据(1)至(6)中的任一项所述的信息处理系统，进一步包括：

显示控制单元，其被配置为显示由所述评价计算单元所计算出的评价。

(8)

根据(7)所述的信息处理系统，其中，

所述显示控制单元并列显示对多个对象的评价。

(9)

根据(1)至(6)中的任一项所述的信息处理系统，其包括：

控制单元，其中所述笑容度检测单元、所述脸部朝向检测单元和所述评价计算单元实现所述控制单元的功能。

(10)

一种信息处理方法，其包括：通过处理器

检测观看对象的观看者的笑容度；

检测表示所述观看者的脸部大体上朝下的程度的脸朝下度；并且

根据所述笑容度和所述脸朝下度计算对所述对象的评价。

(11)

一种记录介质，其中记录有程序，所述程序使得计算机用作：

脸部朝向检测单元，其被配置为检测表明所述观看者的脸部大体上朝下的脸朝下度；以及

附图标记列表

10 信息处理设备

101 控制单元

1011 脸部检测单元

1012 笑容度检测单元

1013 脸部朝向检测单元

1014 总体评价单元

102 图像输入处理单元

103 输入设备

104 输入处理单元

105 日历/定时器单元

106 存储单元

107 外存储单元

108 显示处理单元

109 显示设备

11 相机

13 数字标识系统

14 传感器。

Claims

1.一种信息处理系统，其包括:

笑容度检测单元，其被配置为检测观看对象的多个观看者中的每一个的脸部的笑容度；

脸部朝向检测单元，其被配置为检测表明每一个观看者的脸部朝下的程度的脸朝下度；以及

评价计算单元，其被配置为根据所述笑容度的评价和所述脸朝下度的评价来计算对所述对象的评价，

其中，所述笑容度的评价包括所述多个观看者的笑容度的平均值，或者所述多个观看者之中笑容度大于第一阈值的观看者的数量，

其中，所述脸朝下度的评价包括所述多个观看者的脸朝下度的平均值，或者所述多个观看者之中脸朝下度大于第二阈值的观看者的数量。

2.根据权利要求1所述的信息处理系统，其中，

3.根据权利要求1所述的信息处理系统，其中，

所述脸部朝向检测单元能够实时地计算由拍摄单元拍摄的动画中包含的多个观看者的每一个脸部图像的脸朝下度。

4.根据权利要求3所述的信息处理系统，其中，

所述脸朝下度的评价还包括在所述多个观看者中被确定为脸朝下的观看者的数量的比例。

5.根据权利要求3所述信息处理系统，进一步包括：

6.根据权利要求1所述的信息处理系统，其中，

所述脸部朝向检测单元基于由附接在所述观看者上的传感器所检测的感测数据检测所述笑容度和所述脸朝下度。

7.根据权利要求1所述的信息处理系统，进一步包括：

8.根据权利要求7所述的信息处理系统，其中，

所述显示控制单元并列显示对多个对象的评价。

9.根据权利要求1所述的信息处理系统，其包括：

10.一种信息处理方法，其包括：通过处理器

检测观看对象的多个观看者中的每一个的脸部的笑容度；

检测表示每一个观看者的脸部朝下的程度的脸朝下度；并且

根据所述笑容度的评价和所述脸朝下度的评价来计算对所述对象的评价，

11.一种记录介质，其中记录有程序，所述程序使得计算机用作：