CN110959166A - 信息处理设备、信息处理方法、信息处理系统、显示设备和预订系统 - Google Patents

Abstract

提供了一种信息处理设备，包括反应信息使用部件，如果已经允许反应信息的使用，该反应信息使用部件使用指示用户对呈现的信息的反应的反应信息。

Description

信息处理设备、信息处理方法、信息处理系统、显示设备和预 订系统

技术领域

本公开涉及信息处理设备、信息处理方法、信息处理系统、显示设备和预订系统。

背景技术

已经提出了捕获参加事件的参与者的图像、分析结果并评估事件的设备(例如，参见下面的专利文献1)。

引文列表

专利文献

专利文献1：日本专利申请特许公开No.2004-272529

发明内容

本发明要解决的问题

在这样的领域中，有必要在事件的过程中捕获参与者的图像，但是从保护个人信息的角度来看，不希望在没有许可的情况下捕获参与者的图像。

因此，本公开的目的是提供一种在用户允许使用的情况下使用指示用户对呈现的信息的反应的反应信息的信息处理设备等。

问题解决方案

本公开是，例如，

一种信息处理设备，包括：

反应信息使用单元，被配置为在已经允许反应信息的使用的情况下使用指示用户对呈现的信息的反应的反应信息。

本公开是，例如，

一种信息处理方法，包括：

在已经允许指示用户对呈现的信息的反应的反应信息的使用的情况下，由反应信息使用单元使用反应信息。

本公开是，例如，

一种信息处理系统，包括：

反应信息获取单元，被配置为获取指示用户对呈现的信息的反应的反应信息；以及

反应信息使用单元，被配置为在已经允许反应信息的使用的情况下使用反应信息。

本公开是，例如，

一种显示设备，包括：

显示控制单元，被配置为执行控制，以在用于预订由座位信息指示的座位的一系列预订处理中在显示单元上显示在欣赏预定的呈现的信息时的座位信息、关于是否允许使用指示用户在欣赏呈现的信息时的反应的反应信息的输入屏幕以及用于提示许可的信息。

此外，本公开是，例如，

一种预订系统，包括：

上述显示设备；以及连接到显示设备的信息处理设备，其中

信息处理设备包括预订信息管理单元，该预订信息管理单元将指示从显示设备输出的许可的存在与否的许可信息和预订的座位信息彼此关联地进行管理。

本发明的效果

根据本公开的至少一个实施例，可以提供在用户允许使用的情况下使用用户的反应信息的信息处理设备等。注意的是，在此描述的效果不必受到限制，并且可以表现出本公开中描述的任何效果。此外，本公开的内容不应以受例示效果限制的方式解释。

附图说明

图1是图示根据实施例的信息处理系统的配置示例的框图。

图2是图示根据实施例的信息处理系统中的处理流程的流程图。

图3是图示根据实施例的预订处理的流程的流程图。

图4是图示根据实施例的预订处理中的屏幕的示例的图。

图5是图示根据实施例的预订处理中的屏幕的示例的图。

图6是图示根据实施例的预订处理中的屏幕的示例的图。

图7是图示根据实施例的预订处理中的屏幕的示例的图。

图8是图示根据实施例的预订处理中的屏幕的示例的图。

图9是图示根据实施例的预订处理中的屏幕的示例的图。

图10A和图10B是用于描述根据实施例的相机模块的布置示例的图。

图11是用于描述根据实施例的相机模块的另一个布置示例的图。

图12A和图12B是用于描述根据实施例的相机模块的设置示例的图。

图13是用于描述根据实施例的生物传感器的布置示例的图。

图14A至图14C是用于描述根据实施例的情绪估计单元的情绪估计方法的多个示例的图。

图15是图示情绪信息的示例的图。

图16是图示在观看和收听电影之后执行的处理的流程的流程图。

图17是用于描述根据实施例的生成服务信息的处理的图。

图18A至图18C是用于描述服务信息的多个示例的图。

图19是用于描述服务信息的另一个示例的图。

图20A和图20B是用于描述服务信息的另一个示例的图。

图21是用于描述修改例的图。

具体实施方式

在下文中，将参考附图描述本公开的实施例等。注意的是，将按以下顺序给出描述。

<1.实施例>

1.信息处理系统

1-1.术语的描述

1-2.系统配置示例

1-3.预订终端的配置示例

1-4.服务器配置示例

1-5.反应信息获取设备的配置示例

1-6.信息处理系统中的处理概述

2.预订处理

2-1.预订处理流程

2-2.预订处理中的屏幕示例

3.在观看和收听电影时获取情绪信息

3-1.传感器单元的布置示例

3-2.情绪估计单元的操作

4.生成服务信息

4-1.观看和收听电影之后的处理流程

4-2.服务信息生成单元的操作示例

4-3.服务信息的具体示例

5.在不允许使用反应信息的情况下的处理

<2.修改例>

注意的是，下面将描述的实施例等包括本公开的优选具体示例，并且本公开的内容不限于实施例等。

<1.实施例>

[1.信息处理系统]

(1-1.术语的描述)

首先，将描述在本实施例中使用的主要术语。

“呈现的信息”是指呈现给用户并且由用户观看和收听、欣赏、收看等的信息。在本实施例中，将使用内容，更具体而言，以电影为例来描述呈现的信息。

“传感器信息”是指由传感器设备(诸如相机模块或生物传感器)获得的信息(数据)。

“反应信息”是指指示用户对呈现的信息的反应的信息，并且具体而言是指通过分析传感器信息而获得的信息。在本实施例中，与情绪对应的信息被用作反应信息。因此，“反应信息”可以被称为“情感信息”。注意的是，“反应信息”不仅包括情绪，而且包括反应的存在/不存在以及用户状态的改变，并且是比“情绪信息”更广的概念。

“许可信息”是指指示关于使用“反应信息”的许可的存在或不存在的信息。

“服务信息”是指呈现给已允许使用“反应信息”的用户的信息。

(1-2.系统配置示例)

图1图示了根据本实施例的信息处理系统(信息处理系统100)的配置示例。信息处理系统100包括例如预订终端1、作为信息处理设备的示例的服务器2，以及反应信息获取设备3。例如，预订终端1和服务器2构成预订系统。

(1-3.预订终端的配置示例)

接下来，将描述每个设备的示意性配置示例。首先，将描述预订终端1的配置示例。预定终端1可以是安装在公共场所或商店中的终端，或者可以是用户U所具有的个人计算机、智能电话、平板计算机等。在本实施例中，以用户U拥有的智能电话为例描述预订终端1。

作为显示设备的示例的预订终端1包括例如作为显示控制单元的示例的预订终端控制单元11、显示单元12和通信单元13。预订终端控制单元11由中央处理单元(CPU)配置，并且控制预订终端1的每个单元。显示单元12由液晶显示器(LCD)、有机电致发光(EL)面板等配置。根据本实施例的显示单元12被配置为可以接受对显示单元12的操作输入的触摸屏。通信单元13经由互联网等与服务器2等进行通信。注意的是，除了上述配置之外，预订终端1还可以具有已知的配置。

(1-4.服务器配置示例)

服务器2包括例如服务器控制单元21、预订信息管理单元22、作为反应信息使用单元的示例的服务信息生成单元23，以及通信单元24。服务器控制单元21例如由CPU配置，并且控制服务器2的每个单元。

预订信息管理单元22是基于输入到预订终端1的信息来管理预订信息的存储单元等。例如，预订信息管理单元22彼此关联地管理用户U的ID、用户U的属性信息、指示由用户U预订的座位的座位信息以及许可信息。用户U的属性信息是指示用户U的属性的信息，并且例如是用户U的性别、国籍、居住地区、种族、年龄等。注意的是，用户U的属性信息可以是在座位预订时输入，或者可以是在预订之前预先注册的。

根据本实施例的反应信息是指示用户U对电影的反应的信息，并且更具体而言是用户U在收看电影时的情绪。情绪是包括精神状态(诸如睡意、共情、放松、兴奋和专心)，以及愉悦、生气、悲伤和愉悦情绪的概念。情绪不限于直接被检测为传感器信息的情绪，而是可以基于传感器信息来估计的情绪。例如，拉塞尔(Russell)情绪环模型被称为映射了多种情绪的模型。在拉塞尔情绪环模型中，基于愉悦状态和唤醒状态的两个指标来估计各种情绪。可以根据这样的情绪估计模型对情绪进行分类。

服务信息生成单元23生成提供给已经允许反应信息的使用的用户U的服务信息。基于用户U的反应信息来生成服务信息。下面将描述服务信息的细节。已允许反应信息的使用的用户U可以例如在观看和收听电影期间或之后获得服务信息。通信单元24经由互联网等与预订终端1、反应信息获取设备3等进行通信。

(1-5.反应信息获取设备的配置示例)

反应信息获取设备3包括控制单元31、传感器单元32、情绪估计单元33和通信单元34。例如，传感器单元32和情绪估计单元33构成反应信息估计单元。控制单元31例如由CPU配置，并且控制反应信息获取设备3的每个单元。传感器单元32是例如在用户U观看和收听电影时测量用户U的状态(反应)的传感器。根据本实施例的传感器单元32包括例如相机模块32A和生物传感器32B。但是，可以采用仅基于相机模块32A的配置或仅基于生物传感器32B的配置。相机模块32A是捕获正在收看电影的用户U的图像的设备，并且具有包括以下部件的配置：镜头321；包括电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)等的图像传感器322；图像处理单元323；以及控制整个相机模块32A的相机控制单元324。生物传感器32B是测量用户U的生物信息的传感器。用户U的生物信息的示例包括用户U的体温、心率、脉搏、血压、出汗、脑电波、身体移动等。

情绪估计单元33基于由传感器单元32测量的传感器信息来估计(分析)用户U的情绪。通信单元34经由互联网等与服务器2等通信。

(1-6.信息处理系统中的处理概述)

将参考图2所示的流程图示意性地描述在信息处理系统100中执行的处理。在步骤ST1中，执行用户使用预订终端1预订电影的预订处理。用户U指定要观看和收听的电影，并指定座位作为观看位置。用户U还输入指示是否允许反应信息的使用的许可信息。反应信息的使用意味着反应信息用作用于开发新顾客、掌握电影喜好的趋势、销售电影相关产品等的营销信息。经由预订终端1输入的预订信息通过通信被发送到服务器2。服务器2管理从预订终端1发送的预订信息。然后，处理进行到步骤ST2。

在步骤ST2中，用户U观看并收听用户U已经在电影院中预定的电影。在观看和收听电影时用户U的反应是通过安装在电影院中的反应信息获取设备3来估计的。然后，估计结果从反应信息获取设备3发送到服务器2。然后，处理进行到步骤ST3。

在步骤ST3中，确定用户U是否已允许反应信息的使用。在该确定处理中在用户U没有允许反应信息的使用的情况下，处理结束。另一方面，在用户U已经允许反应信息的使用的情况下，处理进行到步骤ST4。

在步骤ST4中，服务器2参考座位信息和许可信息，并为已经允许反应信息的使用的用户U生成服务信息。该服务信息被呈现给用户U。然后，处理结束。

[2.预订处理]

(2-1.预订处理流程)

接下来，将描述每个处理的具体内容。图3是图示根据本实施例的预订处理的流程的流程图。在步骤ST11中，在预订终端1的显示单元12上显示登录屏幕。然后，处理进行到步骤ST12。在步骤ST12中，指定电影和放映时间。然后，处理进行到步骤ST13。在步骤ST13中，选择座位。然后，处理进行到步骤ST14。在步骤ST14中，显示通过允许反应信息的使用而获得的对用户的预期影响，并且特别地，显示由用户获得的优势(优点)。然后，处理进行到步骤ST15。在步骤ST15中，确认许可的存在或不存在。然后，处理进行到步骤ST16。在步骤ST16中，电影预订完成。

(2-2.预订处理中的屏幕示例)

将描述每个处理的具体示例。在此，将描述预订处理中的屏幕示例。根据预订终端控制单元11的控制，在显示单元12上显示下面的屏幕示例。

用户U使用预订终端1使用专用站点或特定应用连接到预订页面。图4图示了在步骤ST11中在预订终端1的显示单元12上显示的登录屏幕41的示例。例如，在登录屏幕41上显示用于会员的输入项目41A和用于非会员的输入项目41B。用于会员的输入项目41A包括用于输入会员编号的显示410A和用于输入密码的显示410B。注意的是，在本实施例中，在会员的情况下预先注册会员的属性信息，并且在作为会员登录的情况下可以省略对于非会员所需的属性信息的输入。在用户U在登录屏幕41上进行必要的输入之后，选择“下一步”的显示410C。

例如，在非会员的情况下，即，在已经选择购买而未在登录屏幕41上登录的情况下，显示图5所示的购买者信息输入屏幕42。在图5所示的购买者信息输入屏幕42上显示用于输入用于购买电影所需的信息(诸如姓名、电话号码、诸如电子邮件地址之类的联系信息、电子邮件地址、支付方法等)的字段。此外，在购买者信息输入屏幕42上显示用于输入用户U的属性信息(例如，性别和年龄)的字段。

图6图示了在步骤ST12中用于指定电影的电影选择屏幕43的示例。包括例如电影院名称(例如，东京电影院AB)、电影名称(电影AAA)、放映日期(5月1日(星期一))、多个放映开始时间、电影持续时间、预订的可用性等的信息被显示在电影选择屏幕43上。用户U使用电影选择屏幕43选择可看的电影。

图7图示了在步骤ST13中的选择座位的处理中显示在显示单元12上的座位选择屏幕44的示例。例如，在座位选择屏幕44上显示包括座位布置、可用座位位置、所选择的座位等的座位显示44A。用户U参考座位显示44A来选择并预订期望的座位。注意的是，可以预订对应于已登录的用户U(更具体而言，对应于用户U的一个账户)的多个座位。在预订多个座位的情况下，可以估计在使用座位的多个用户U之间存在预定关系。例如，在为一个账户预订两个座位的情况下，使用相应座位的用户U可以被估计为恋人、夫妻或朋友，并且在为一个账户预订三个或更多个座位的情况下，使用相应座位的用户U可以被估计为家庭成员或朋友。注意的是，在为一个账户预订两个或更多个座位的情况下，不仅可以请求具有该账户的用户U的输入，而且还可以请求与该预订相关的其它用户U的属性信息。

图8图示了在步骤ST13中的处理中显示在显示单元12上的屏幕的示例(屏幕45)。在屏幕45上显示指示在观看和收听电影之后可以提供个性评估(具体而言，观看/收听类型评估、观看期间的情感图、兼容性检查等)作为服务信息的显示45A。用户U从显示45A选择期望的服务信息。注意的是，在为一个账户预订多个座位的情况下，可以使兼容性检查可选。

为了生成服务信息，在观看和收听电影时执行用户U的情绪估计来获取情绪信息，并且在屏幕45上显示指示该情绪信息可以用于市场营销信息的显示45B。更具体而言，屏幕45可以显示要捕获用户U的图像或要测量生物信息的指示。此外，在屏幕45上显示包括关于信息将不会用于非预期用途、信息将被通过统计处理使用从而不会与用户U相关联等的免责声明的显示，以及情绪估计将不会在未经用户U同意的情况下执行并且服务信息将不会被呈现的显示的显示45C。

在用户U当中，可能存在对在观看和收听电影时捕捉图像或获取生物信息有心理阻力的用户U。因此，有利于除了服务信息的呈现之外还有提示用户U允许使用情绪信息的显示(关于奖励的显示)。根据本实施例，在用户允许使用情绪信息的情况下，除了服务信息的呈现之外，通知将添加100点的显示45D也显示在屏幕45上。

当然，在观看和收听电影时，不强迫用户U接收情绪估计。在用户U不希望被呈现服务信息的情况下，仅要求用户U选中显示45E中包括的针对不同意的复选框。此外，在用户接收到与服务信息的呈现相关的服务的情况下，可以显示通知将不会获取具体指定个人用户U的个人信息的显示。

此外，如图9中所示，关于服务信息的屏幕45可以是关于电影的问卷等的试播放屏幕。在图9所示的屏幕示例46中，显示了用于预测电影中最令人兴奋的场景的问卷。基于观看和收听电影期间多个用户U的情绪信息来确定对问卷的答案，并在观看和收听电影之后将结果反馈给允许使用情绪信息的用户U。图8和9中所示的屏幕示例可以按时间序列或同时显示。此外，可以不显示关于电影的问卷，而是显示用于提示用户输入对电影的先前预期的内容。通过在观看和收听电影之前提供试播放屏幕，可以预期提示用户U允许使用情绪信息的效果，并且可以在观看和收听电影之后呈现反应时呈现在观看和收听电影期间基于情绪估计的反应与观看和收听电影之前的预期值之间进行的比较，从而进一步吸引用户U的兴趣。而且，从营销的角度来看，观看和收听之前的预期和预测与实际情绪估计的结果之间的比较信息也是有用的信息。

从通信单元13发送使用预订终端1输入的预订信息。然后，预订信息由服务器2的通信单元24接收并由服务器2的预订信息管理单元22进行管理。

[3.在观看和收听电影时获取情绪信息]

(3-1.传感器单元的布置示例)

在预订处理之后，用户U实际观看并收听电影。图10A和10B图示了传感器单元32的相机模块32A的布置示例。相机模块32A被布置在电影院中的预定剧场51中。例如，如图10A所示，相机模块32A朝着座位52被布置在剧场51的前部(屏幕侧)。如图10B所示，座位52可以被划分为多个区域(例如，两个区域)，并且相机模块32A可以针对每个区域布置。因此，可以确保每个用户被一个相机模块捕获的分辨率。此外，多个相机模块32A可以从不同角度捕获公共区域的图像。由此，即使在用户移动的情况下，也可以准确地识别面部表情等。以阵列方式彼此靠近布置的多个相机模块32A可以用于一个区域。基于由相机模块32A获得的图像来捕获存在于捕获范围内的用户U的图像，并且执行诸如用户U的面部识别之类的其它处理。

如图11所示，可以在每个座位处设置相机模块32A。图11图示了所有座位中的座位52A和在座位52A前面的座位52B。一般而言，电影院中的座位被设置成使得后侧的座位52A位于比前方座位高的位置。相机模块32A可以被设置在座位52B的靠背附近，并且捕获座位52A上的用户U的图像。注意的是，可以为每个座位设置多个相机模块32A。通过为每个座位设置相机模块32A，可以更准确地检测用户的面部表情等。

相机模块32A的设置值可以是固定的，或者可以使得与电影的进展同步地可变。作为使相机模块32A的设置值可变的情况的示例，可以根据电影的亮度来改变设置值，如图12所示。设置值的示例包括动态范围。图12A是示意性地图示随着电影的进展而改变的亮度的图。横轴表示时间，纵轴表示亮度。图12B是在时间上与图12A对应的图，其图示了随亮度改变而改变的动态范围。例如，在亮度超过阈值TH的情况下，根据相机控制单元324的控制来执行扩展动态范围的处理。由此，即使亮度取决于电影的场景而改变，也可以准确地检测用户U的面部表情。注意的是，相机模块32A可以使用传感器等实时地检测亮度的改变、可以基于捕获的图像来检测亮度的改变，或者可以读取已经例如在电影的测试播放时提前测得的存储的亮度的变化。

设置值不限于动态范围，并且可以是图像传感器322的灵敏度、图像传感器322的帧速率、快门速度、分辨率或其组合。作为除了亮度之外的改变，例如，可以考虑用户的移动，并且在检测到用户的移动的情况下，可以将快门速度改变为设置值。此外，相机模块32A不必在电影重放期间恒定地捕获图像，而可以仅在设定的时段期间捕获图像。此外，可以以单色而不是彩色来捕获图像，或者可以检测到红外线。

生物传感器32B检测用户U的体温、心率、脉搏、血压、出汗、脑电波、身体移动等。如图13所示，生物传感器32B内置于例如在电影院借来的3D眼镜53A中。安装在生物传感器32B中的传感器例如有利地检测温度、脉搏、出汗、脑电波和身体移动。生物传感器32B可以内置在座位53B中，并且可以是例如压力传感器、温度传感器、脉搏波传感器、心率传感器、脑电波传感器或其组合。此外，生物传感器32B可以是借给被允许反应信息的使用的用户U的设备。就像图11中所示的相机模块32A一样，生物传感器32B可以在前座中设置(例如，热成像或使用无线电波的反射的传感器)。此外，近年来，用户U所拥有的诸如手环和智能电话之类的一些设备以及诸如衬衫之类的衣服具有测量用户U的生物信息的功能。反应信息获取设备3可以通过短距离无线通信等从这样的设备获取用户U的生物信息。可以使用由用户定期使用的其它情绪估计服务的日志。在这种情况下，可以呈现提示用户U将用户U拥有的设备与反应信息获取设备3连接的指令，或者可以根据用户U拥有的设备与构成反应信息获取设备3的用户U和座位之间的接近性来建立短距离无线通信，并且可以经由短距离无线通信自动获取用户U的生物信息。

(3-2.情绪估计单元的操作)

由相机模块32A和生物传感器32B获得的传感器信息被供给情绪估计单元33。情绪估计单元33基于传感器信息来估计用户的情绪。可以将已知方法应用于基于传感器信息来估计情绪的方法。例如，情绪估计单元33根据传感器信息中包括的所捕获的用户的面部的特征点和用户的姿势来估计用户U的情绪。更具体而言，情绪估计单元33基于传感器信息来执行面部识别和识别出的面部的面部表情分析，并且从结果中获得情绪估计所需的元素值。例如，可以获得指示微笑的程度的微笑程度，并且可以将微笑程度的绝对值估计为某种情绪的程度(例如，“快乐”)，或者在微笑程度超过预定阈值的情况下，可以确定用户处于某个“快乐”状态。可替代地，可以通过指定多个基本情绪或多个基本情绪中的主导基本情绪的比率来估计最终情绪。可替代地，可以不管基本情绪而直接从使用机器学习等识别出的面部表情中估计任意情绪。在此，当估计情绪时，可以通过参考传感器信息中包括的生物信息来更准确地估计情绪。可替代地，可以仅基于来自生物传感器32B的信息来执行情绪估计，而无需使用相机模块32A捕获图像。

图14A至14C图示了情绪估计单元33的情绪估计结果的示例。例如，如图14A中所示，作为情绪估计的结果，设置与某种情绪(例如，惊奇)对应的估计值的改变。注意的是，将以惊奇为例来描述图14A至14C。但是，其它情绪改变也以类似的方式来估计。情绪估计的结果可以针对每个预定帧率实时估计。例如，情绪水平的强度被导出为如图14A所示的曲线。呈现情绪估计的结果的方法不限于情绪水平的改变。例如，如图14B所示，可以将与惊奇情绪对应的估计值超过参考值STA(参见图14A)的时段呈现为处于惊奇状态。通过以这种方式呈现结果，情绪估计的结果可以被称为关于用户U是否处于惊奇状态的二元值。此外，如图14C所示，作为情绪估计的结果，可以为每个场景设置与惊奇情绪对应的估计值的平均值。通过以这种方式呈现结果，可以针对每个场景评估用户U的情绪。此时，可以针对每个场景使图14A所示的参考值STA不同。

与某种情绪对应的估计值可以是相对于电影的某一场景的所有用户的平均值的相对值。要比较的平均值是例如与一般容易回忆起电影中的特定情绪的特定场景(参考场景)对应而获得的值。可以为要估计的每种情绪提供参考场景。例如，对于“快乐”，将被确定为很多用户U可能具有快乐感觉的预定场景用作参考场景，而对于“悲伤”，将被确定为很多用户U可能具有悲伤感觉的预定场景用作参考场景。此外，代替每个场景，与某种情绪对应的估计值可以是单位时间内的平均值或单位时间内的变化值。

注意的是，取决于用户U的姿势、外表等，可能不能适当地执行基于传感器信息的情绪估计。例如，在用户U的面部被相机模块32A捕获并且用户的面部被帽子、太阳镜等遮住的情况下，无法适当地进行情绪估计单元33的情绪估计。在这种情况下，与对应场景相关联地存储指示不能执行情绪估计的元数据。可替代地，可以存储指示情绪估计的准确性的元数据。

作为由情绪估计单元33进行的情绪估计的结果，获得情绪信息。图15图示了情绪信息的示例的一部分。情绪信息是例如与预定情绪对应的电影(内容类型)、场景、座位信息和估计值被关联的数据。在图15所示的特定示例中，将AA3描述为用于指定电影的信息，描述场景编号1、2和3，将0035描述为座位信息，描述与惊奇情绪对应的估计值(例如，82.2)，并描述与悲伤情绪对应的估计值(例如，20.5)。情绪估计单元33将情绪信息供给通信单元34。通信单元34将所供给的情绪信息供给服务器2。

注意的是，以时间序列获得的反应信息可以与不同于场景的时间戳相关联。此外，以时间序列获得的反应信息可以与其它元数据(例如，章节或电影制片人的制作意图信息)相关联，而不是与电影的时间信息相关联。

[4.服务信息的生成]

(4-1.观看和收听电影之后的处理流程)

图16是图示在用户U观看和收听电影之后执行的处理的流程的流程图。在步骤ST21中，电影的观看和收听结束。基于在用户U观看和收听电影时的传感器信息来估计情绪信息，并将情绪信息传输到服务器2。可以在传输情绪信息时将随机数据叠加在情绪信息上以确保安全性(也称为差异隐私等)。然后，处理前进到步骤ST22。

在步骤ST22中，服务器2的服务信息生成单元23基于情绪信息生成服务信息。然后，处理前进到步骤ST23。在步骤ST23中，分发生成的服务信息。例如，生成的服务信息被分发给预订终端1。通过例如通过电子邮件向预订终端1发送与服务信息相关的指南并由用户U访问该指南中描述的网络上的地址，执行向预订终端1的分发。在观看和收听电影之后，通过用户持有在电影院中安装的终端上预订终端1，可以将服务信息显示在预订终端1的显示单元12上，或者可以使用特定应用来分发服务信息。此外，用于分发的手段不限于电子介质，并且可以将打印在纸上的服务信息提供给用户U。

(4-2.服务信息生成单元的操作示例)

将具体描述在观看和收听电影之后的处理。情绪信息从反应信息获取设备3传输到服务器2，并且情绪信息由服务器2的通信单元24接收。情绪信息从通信单元24被提供给服务信息生成单元23。

图17图示了从反应信息获取设备3传输的情绪信息的示例以及由预订信息管理单元22管理的预订信息的示例。由于情绪信息类似于图15所示的情绪信息，因此省略重复的描述。预订信息是例如彼此相关联的指示用户U所预订的座位的座位信息、已经预订了座位的用户U的属性、许可信息以及联系信息的信息。许可信息是例如逻辑值“1”和“0”的标志。在本实施例中，“1”指示关于反应信息的使用的许可为“存在”，并且“0”指示关于反应信息的使用的许可为“不存在”。联系地址是例如预订终端1的电子邮件地址。但是，可以使用另一个设备的电子邮件地址等。此外，可以将在预订处理中使用的用户U的账户信息与座位信息等相关联。

例如，预订的座位的座位信息0035与作为用户U的属性的“小于20多岁”和“男性”相关联，与作为许可信息与“1”相关联，并且与预定电子邮件地址相关联。例如，预订的座位的座位信息0036与作为用户U的属性的“30多岁”和“女性”相关联，与作为许可信息的“0”相关联，并且与预定电子邮件地址相关联。

服务信息生成单元23参考预订信息并从情绪信息中提取与许可的存在对应的座位信息。然后，例如，使用与相同座位信息对应的情绪信息和预订信息中描述的用户U的属性来生成营销信息。营销信息是指示例如由在什么样的电影的哪个场景中具有什么样的属性的用户U表现出什么样的情绪的信息。这种营销信息允许电影制片人识别哪些电影和场景容易被哪些地区和属性所接受，因此营销信息可以反映在下一部电影的制作中。特别地，在本实施例中，由于通过估计公开发行的电影的情绪信息并允许使用该情绪信息来获得优点，因此很可能可以使用很多情绪信息并且可以轻松获得有意义的营销信息。注意的是，通过在诸如预览之类的有限环境中而不是在公众可获得的电影中提供本实施例的服务，可以获得获得用户对电影的偏好以及情绪信息的效果。在此，营销信息可以包括与以下将描述的服务信息对应的信息。

(4-3.服务信息的具体示例)

在本实施例中，将服务信息提供给用户，作为允许使用情绪信息的优点。服务信息生成单元23参考预订信息、从情绪信息中提取与许可的存在对应的座位信息，并且使用与座位信息对应的情绪信息来生成服务信息。服务信息是例如基于反应信息的用户U的特征。将参考图18A至18C来描述服务信息的具体示例。

通过将图示情绪A、情绪B和情绪C的改变(更具体地讲，情绪的估计值的改变)的图表与电影的时间序列相关联，获得图18A中所示的服务信息。注意的是，情绪A至C可以是诸如快乐、惊奇等之类的任何情绪。虽然可以通过时间信息来指示电影的时间序列，但是在本示例中，代表性场景(场景1至4)被显示为缩略图(缩小的图像)IM1至IM4，以使用户U更易于理解。注意的是，该曲线图可以是被称为热图显示等的曲线图，其将情绪图示为颜色强度的改变而不是线的改变。此外，如图14B和图14C中所示，在该曲线图中，可以在超过某个参考值的情况下呈现所保持的预定情绪，或者可以针对每个场景呈现所保持的预定情绪。通过进行这样的呈现，用户U可以回顾他/她与电影的时间序列和场景相关的情绪改变。

图18B所示的服务信息与图18A所示的服务信息基本相似，但是使用与情绪对应的图标(例如，表示面部表情的图标)代替示出情绪变化的曲线图。

服务信息可以是以排名格式显示引起振奋感的场景的信息。例如，如图18C所示，具有与惊奇情绪对应的高估计值的前三个场景和与有趣情绪对应的高估计值的前三个场景被呈现为服务信息。场景分别由缩略图像IM5至IM10表示。

图18中的示例图示了仅基于关于某个用户U的情绪信息的绝对特征。但是，呈现的信息可以是相对特征，诸如用户U的情绪信息在其他用户U的情绪信息中的位置。例如，可以使用如图19所示的情绪图。在图19所示的情绪图中，以六个情绪(生气、惊奇、悲伤、兴奋、不适和有趣)为例，并且用户U在观看和收听电影时感觉到的每种情绪的程度以曲线图61的形式映射到情绪图上。此外，其他用户U感觉到的每种情绪的程度的平均值作为曲线图62映射在情绪图上。通过查看这个情绪图，某个用户U可以从其他用户U识别出如何感觉电影的差异。要比较的数据可以是与用户U具有相同属性的用户的情绪信息、可以是整个情绪信息，或者可以是两者兼而有之。此外，服务信息不限于情绪图，并且可以是用户U已经显著反应的场景与其他用户U已经显著反应的场景之间的对比。注意的是，图18和19所示的服务信息可以一起显示。注意的是，可以在图18A至18C的呈现方法中执行与其他用户的这种比较。

附加信息可以包括在图18和19中所示的服务信息中。这种附加信息的示例包括基于情绪信息的推荐电影的呈现。通过将电影与情绪信息进行对比，可以从假定为具有这种情绪的用户偏爱的类别中选择推荐电影。例如，对于在观看和收听电影时感到很多怒气的用户U，如果具有相似情绪的用户倾向于喜欢动作电影，那么将动作电影作为推荐电影呈现给用户U。类似地，浪漫电影可以作为推荐电影被呈现给感到很多悲伤的用户U。附加信息可以作为个性评估的结果来呈现。例如，对于感到很多悲伤的用户U，“共情”的个性评估结果可以被呈现为附加信息。此外，对于情绪改变很小的用户U，可以将“冷静”的个性评估结果呈现为附加信息。

可以做出关于服务信息的反馈。例如，如图20A所示，基于作为服务信息的显示信息在显示单元12上显示与用户U最惊奇的场景对应的缩略图IM11。在靠近缩略图IM11的位置处显示用于选择显示的场景对于用户U而言是否真的是最令人惊奇的场景的显示71。用户U使用例如预订终端1选择服务信息指示的结果是否匹配他/她的主观识别。选择结果作为反馈信息从预订终端1传输到服务器2。注意的是，不强迫用户U执行选择，并且可以不进行选择。传输到服务器2的反馈信息与对应的情绪信息相关联。在获得反馈信息的情况下，可以用反馈信息来校正情绪信息。此外，反馈信息可以被用于改进学习模型的处理，该学习模型用于预测对应的用户U或具有与用户U相同属性的用户U的情绪信息。

如上所述，例如，在利用某个用户U的一个账户预订两个座位的情况下，恋人或夫妇观看和收听电影的可能性很高。在这种情况下，与使用相应两个座位的用户U相关的信息可以被呈现为服务信息。图20A和20B图示了这种服务信息的示例。例如，针对两个座位中的每一个估计情绪信息，并且将座位处的用户U的情绪倾向相同或接近的场景显示为缩略图像IM12至IM14，作为有共情的场景。此外，用户U已经分别做出反应(强烈地具有某些情绪)的场景被分别显示为缩略图IM15和IM16。而且，显示关于兼容性的显示72。例如，显示随着有共情的场景的数目越大，兼容性变得越高的概率(％)。

注意的是，两个用户U可以不是恋人或夫妇，而可以是朋友或父母和孩子。因此，可以一起显示关系组(夫妇、恋人、朋友、父母和孩子等)，以便用户可以选择实际的相关关系。可以根据选择结果通过不同的算法来执行兼容性评估。此外，可以基于情绪信息提取用户U可以共情的电影或被认为对于彼此理解更优选的电影，并且可以将结果呈现为服务信息。

在预订处理时执行关于电影的初步问卷的情况下，可以将对问卷的答案作为服务信息来呈现。

如上所述，用户U可以通过允许使用情绪信息来接收服务信息的呈现。通过接收服务信息的提供，用户U可以在观看和收听电影时回顾他/她的情绪改变。此外，用户U可以根据服务信息获得各种类型的信息，诸如他/她关于电影的情绪的特征以及与伙伴的兼容性。如上所述，通过向用户提供所获取的情绪信息作为代表服务信息，可以激励用户允许情绪信息的使用，并且可以提示更多的用户允许情绪信息的使用。当然，在用户不想要服务信息的情况下，用户可以简单地在预订处理中拒绝使用情绪信息。

[5.在不允许反应信息的使用的情况下的处理]

在此，将描述在不允许反应信息的使用的情况下执行的处理。在不允许反应信息的使用的情况下，将丢弃对应的数据。例如，服务器2的服务信息生成单元23参考预订信息、读取与许可信息“0”对应的座位信息，并且丢弃(删除)与该座位信息对应的情绪信息的数据。此外，服务器2可以仅使用与和许可信息“1”相关联的座位信息对应的情绪信息的数据。此外，服务器2可以仅使用允许的信息。

预订信息可以从服务器2供给反应信息获取设备3。然后，情绪估计单元33可以参考预订信息，仅对从与具有许可信息“1”的座位信息对应地提供的传感器单元32提供的传感器信息执行情绪估计，并输出情绪估计的结果。此外，可以将预订信息供给传感器单元32。然后，仅在与传感器单元32本身所在的座位对应的许可信息被设置为“1”的情况下，传感器单元32才可以将传感器信息输出到情绪估计单元33。通过在反应信息获取设备3中确定许可信息的内容，可以减轻传感器单元32和情绪估计单元33上的处理负荷。

注意的是，反应信息可以与其它数据混合并与其它数据一起存储，而不必与用户的属性相关联。换句话说，反应信息可以以不能将该信息识别为个人信息的形式(使其变得毫无意义)存储(保持个人信息不连接)。可替代地，通过统计处理获得的数据，获得的数据可以以不链接到个人信息的形式使用。如上所述，并不总是必须丢弃与未给予许可的用户相关的反应信息。此时，在处置允许使用的用户与不允许使用的用户之间的反应信息方面可以有所不同，诸如该信息与允许使用的用户的属性信息一起使用，其中不链接到不允许使用的用户的个人信息的情况下使用信息。

<2.修改例>

已经具体描述了本公开的实施例。但是，本公开的内容不限于上述实施例，并且可以基于本公开的技术思想进行各种修改。

在上述实施例中，已经描述了电影作为呈现的信息的示例。但是，呈现的信息不限于电影。例如，呈现的信息可以是戏剧、讲故事的剧院、现场表演、体育观看、电影的主要部分的重放之前的广告、艺术展览等。特别地，本技术可以被提供用于艺术展览等，并且艺术家可以知道观众对哪种作品有什么感觉。在这种情况下，例如，在购买观赏券(appreciation ticket)时输入许可信息。

此外，本公开不仅可以应用于诸如电影之类的内容呈现类型的事件，而且可以应用于参与类型的事件。参与类型的事件的示例包括赛马和自行车比赛观看以及主题公园景点。例如，基于观众的反应信息来创建如图21所示的反应信息在体育场内的分布。例如，在具有阴影81的地方的观众情绪高涨，而在具有阴影82的地方的观众是平静的。以这种方式，每个支持团队、支持目标(赛马用的马)和观众属性的反应信息都被可视化。因此，例如，有可能可视化其中十多岁的听众兴奋而三十多岁的听众保持镇定的状态。使用反应信息，可以创建到目前为止观众的兴奋度的时间改变或观众席中反应信息的热图。可视化的反应信息显示在体育场内的屏幕上，或实时分发给允许反应信息的使用的用户所拥有的移动终端。由此，用户U可以识别体育场或主题公园中的兴奋状况。

上述实施例中的信息处理系统100中的功能可以由任意设备执行。例如，服务器2可以包括情绪估计单元33，并且服务器2可以估计情绪信息。在这种情况下，仅传感器信息从反应信息获取设备3传输到服务器2。为了减小通信中的带宽，可以仅传输传感器信息的特征数据(例如，面部识别中的特征点)。

可替代地，反应信息获取设备3可以包括服务信息生成单元23。然后，反应信息获取设备3可以生成服务信息，并将生成的服务信息传输到预订终端1。而且，反应信息获取设备3可以具有服务器2的所有功能，或者信息处理系统100可以由预订终端1和反应信息获取设备3配置。通过以这种方式适当地改变配置，反应信息获取设备3可以用作信息处理设备。

重放蓝光光盘(BD)(注册商标)、数字多功能光盘(DVD)等的一些重放设备具有称为摘要重放的功能，该功能重放主要故事的短版。光盘创建者可以使用允许使用的反应信息通过确定主要故事中的摘要重放位置和定界符(章节)来制作光盘。例如，可以制作盘，使得在许多用户感到惊奇、激动或移动的部分周围执行摘要重放。允许反应信息的使用的用户可以能够制作反映其反应信息的光盘。反应信息不仅可以反映在光盘上，而且可以反映在通过网络分发的内容的再现上。

上述实施例中的相机模块32A可以是由用户U携带的诸如智能电话、移动电话或平板计算机之类的成像设备，而不是在电影院中设置。通过将这种成像设备安装在例如前座上提供的支撑工具上，可以捕获用户U的图像。由成像设备捕获的图像通过通信被供给情绪估计单元33。注意的是，可以将成像设备在支撑工具上的这种安装确定为已经允许反应信息的使用。

情绪估计单元33可以以诸如惊奇或印象之类的特定情绪为目标，并确定目标情绪的存在或不存在。可以针对电影的每个场景来改变目标情绪，或者可以根据呈现的信息的内容来改变目标情绪。

服务信息可以通过语音而不是显示或者与显示一起呈现。

本公开可以被实现为包括多个设备的系统或构成系统的设备，以及通过方法、程序等来实现。

本公开还可以采用以下配置。

(1)一种信息处理设备，包括：

反应信息使用单元，其被配置为在已经允许反应信息的使用的情况下使用指示用户对呈现的信息的反应的反应信息。

(2)根据权利要求1所述的信息处理设备，还包括：

反应信息获取单元，被配置为获取反应信息。

(3)根据权利要求2所述的信息处理设备，其中反应信息获取单元包括传感器单元和基于从传感器单元输出的传感器信息来估计反应信息的反应信息估计单元。

(4)根据(3)所述的信息处理设备，其中传感器单元监视在预定范围内存在的用户，并且在用户允许反应信息的使用的情况下将与用户相关的传感器信息输出到反应信息估计单元。

(5)根据(3)或(4)所述的信息处理设备，其中反应信息估计单元使用在预定范围内存在的所有用户的传感器信息来估计每个用户的反应信息，并且仅输出允许反应信息的使用的用户的反应信息。

(6)根据(1)至(5)中的任一项所述的信息处理设备，其中反应信息使用单元生成仅向允许反应信息的使用的用户呈现的服务信息。

(7)根据(6)所述的信息处理设备，其中服务信息是基于用户的反应信息的特征。

(8)根据(6)所述的信息处理设备，其中服务信息是基于用户应信息的特征或相对于其他用户的反应信息的特征中的至少一个。

(9)根据(1)至(8)中的任一项所述的信息处理设备，其中指示存在或不存在许可的许可信息与关于用户所预订的座位的信息相关联。

(10)根据(9)所述的信息处理设备，其中，在存在与预定用户对应的多条座位信息并且许可信息指示存在许可的情况下，反应信息使用单元使用用户的反应信息生成与位于座位信息处的多个用户相关联的信息。

(11)根据(1)至(10)中的任一项所述的信息处理设备，其中反应信息是与用户的情绪对应的信息。

(12)根据(1)至(11)中的任一项所述的信息处理设备，其中呈现的信息是用户观看和收听的内容、用户观看的运动以及用户欣赏的艺术中的任何一种。

(13)一种信息处理方法，包括：

在已经允许反应信息的使用的情况下，由反应信息使用单元使用指示用户对呈现的信息的反应的反应信息。

(14)一种信息处理系统，包括：

反应信息获取单元，其被配置为获取指示用户对呈现的信息的反应的反应信息；以及

反应信息使用单元，其被配置为在已经允许反应信息的使用的情况下使用反应信息。

(15)根据(14)所述的信息处理系统，其中反应信息获取单元包括传感器单元和基于从传感器单元输出的传感器信息来估计反应信息的反应信息估计单元。

(16)一种显示设备，包括：

显示控制单元，其被配置为执行控制，以在显示单元上显示在欣赏预定的呈现的信息时的座位信息、关于是否允许使用指示用户在欣赏呈现的信息时的反应的反应信息的输入屏幕，以及在用于预订由座位信息指示的座位的一系列预订处理中用于提示许可的信息。

(17)一种预订系统，包括：

根据(16)所述的显示设备；以及连接到显示设备的信息处理设备，其中

信息处理设备包括预订信息管理单元，该预订信息管理单元彼此关联地管理指示从显示设备输出的许可的存在与否的许可信息和预订的座位信息。

附图标记列表

1 预订终端

2 服务器

3 反应信息获取设备

11 预订终端控制单元

12 通信单元

22 预订信息管理单元

23 服务信息生成单元

32 传感器单元

33 情绪估计单元

Claims (17)

1.一种信息处理设备，包括：

反应信息使用单元，被配置为在已经允许指示用户对呈现的信息的反应的反应信息的使用的情况下使用该反应信息。

2.如权利要求1所述的信息处理设备，还包括：

反应信息获取单元，被配置为获取反应信息。

3.如权利要求2所述的信息处理设备，其中反应信息获取单元包括传感器单元和反应信息估计单元，所述反应信息估计单元基于从传感器单元输出的传感器信息来估计反应信息。

4.如权利要求3所述的信息处理设备，其中传感器单元监视在预定范围内存在的用户，并且在用户允许反应信息的使用的情况下将与用户相关的传感器信息输出到反应信息估计单元。

5.如权利要求3所述的信息处理设备，其中反应信息估计单元使用在预定范围内存在的所有用户的传感器信息来估计每个用户的反应信息，并且仅输出允许反应信息的使用的用户的反应信息。

6.如权利要求1所述的信息处理设备，其中反应信息使用单元生成仅向允许反应信息的使用的用户呈现的服务信息。

7.如权利要求6所述的信息处理设备，其中服务信息是基于用户的反应信息的特征。

8.如权利要求6所述的信息处理设备，其中服务信息是基于用户应信息的特征或相对于其他用户的反应信息的特征中的至少一个。

9.如权利要求1所述的信息处理设备，其中指示存在或不存在许可的许可信息与关于用户所预订的座位的信息相关联。

10.如权利要求9所述的信息处理设备，其中，在存在与预定用户对应的多个座位信息并且许可信息指示存在许可的情况下，反应信息使用单元使用位于座位信息处的多个用户的反应信息生成与该用户相关联的信息。

11.如权利要求1所述的信息处理设备，其中反应信息是与用户的情绪对应的信息。

12.如权利要求1所述的信息处理设备，其中呈现的信息是用户观看和收听的内容、用户观看的运动以及用户欣赏的艺术中的任何一种信息。

13.一种信息处理方法，包括：

在已经允许指示用户对呈现的信息的反应的反应信息的使用的情况下，由反应信息使用单元使用该反应信息。

14.一种信息处理系统，包括：

反应信息获取单元，被配置为获取指示用户对呈现的信息的反应的反应信息；以及

反应信息使用单元，被配置为在已经允许反应信息的使用的情况下使用反应信息。

15.如权利要求14所述的信息处理系统，其中反应信息获取单元包括传感器单元和反应信息估计单元，所述反应信息估计单元基于从传感器单元输出的传感器信息来估计反应信息。

16.一种显示设备，包括：

显示控制单元，被配置为执行控制，以在用于预订由座位信息指示的座位的一系列预订处理中在显示单元上显示在欣赏预定的呈现的信息时的座位信息、关于是否允许使用指示用户在欣赏呈现的信息时的反应的反应信息的输入屏幕以及用于提示许可的信息。

17.一种预订系统，包括：

如权利要求16所述的显示设备；以及连接到显示设备的信息处理设备，其中

信息处理设备包括预订信息管理单元，该预订信息管理单元将指示从显示设备输出的许可的存在与否的许可信息和预订的座位信息彼此关联地进行管理。

Images