CN105247879B - 客户机设备、控制方法、系统和程序 - Google Patents

客户机设备、控制方法、系统和程序 Download PDF

Info

Publication number
CN105247879B
CN105247879B CN201480029851.7A CN201480029851A CN105247879B CN 105247879 B CN105247879 B CN 105247879B CN 201480029851 A CN201480029851 A CN 201480029851A CN 105247879 B CN105247879 B CN 105247879B
Authority
CN
China
Prior art keywords
emotion
viewing
user
viewing user
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480029851.7A
Other languages
English (en)
Other versions
CN105247879A (zh
Inventor
繁田脩
斋藤直毅
宫崎丽子
金子孝幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105247879A publication Critical patent/CN105247879A/zh
Application granted granted Critical
Publication of CN105247879B publication Critical patent/CN105247879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Abstract

[问题]为了提供一种客户机设备，能够呈现表示其他用户或该客户机设备的用户的观看反应的感情表现数据，且为了提供一种控制方法、系统以及程序，[解决方案]该客户机设备设有：获取单元，其获取观看用户对内容的反应；感情推定单元，其基于由获取单元获取的观看用户的反应来推定观看用户的感情；确定单元，其确定表示由感情推定单元所推定的感情的感情表现数据；以及输出单元，其输出由确定单元所确定的感情表现数据。

Description

客户机设备、控制方法、系统和程序
技术领域
本公开涉及一种客户机设备、控制方法、系统及程序。
背景技术
近年来，随着网络的发展，用户之间的通信变得流行起来。在这种情况下，以下一种时尚逐渐普及，其中，在与在远程位置的其他用户一起对诸如热烈、悲伤、笑、惊奇或愤怒等各种感情有共鸣地观看内容。提出了诸如以下描述的共鸣系统(empathy system，神会系统)，例如，作为用于了解与观看相同内容的其他用户的感情的共鸣以及其他用户的反应的技术。
在专利文献1中，提出了一种内容再生设备，在观看内容时，它使观看相同内容的其他用户的反应实时地反映在内容中，并且提供临场感。具体而言，在专利文献1中公开的内容再生设备基于实时收集的每个用户的热烈信息，获取多个用户的热烈程度，以及组合由表示多个用户的热烈程度的视频或音频构成的热烈效果和内容，并且进行再生。
在专利文献2中，提出了以下一种信息处理系统，其中，观看内容的用户可以实时了解很多其他用户对相同内容的反应音频，并且可以与其他用户分享感情，例如，深深地感动。
在专利文献3中，提出了一种观看系统，该系统通过在接收和显示广播节目时收集自己拥有的终端的会话者的音频，通过转换成文字数据向服务器进行发送，与此同时从服务器接收其他终端的文字数据，并且在显示屏上统一进行显示，来简单获得神会。
引用列表
专利文献
专利文献1：JP 2011-182109A
专利文献2：JP 2012-129800A
专利文献3：JP 2012-90091A
发明内容
技术问题
然而，使用由用户在观看时生成的音频的情况下，例如，在上述专利文献2和3中，虽然节省了文字输入的时间，但是相互会话的情况会被假定串音。例如，通过将与内容的反应不相关的家庭会话等传输给所有其他用户，将变得妨碍不同用户的内容观看。
而且，虽然专利文献1使由表示多个用户的热烈程度的视频或音频构成的热烈效果和内容相结合并且进行再生，但是同伴视频与内容相结合并且再生时，将变得妨碍用户观看。
因此，本公开提出了一种新型改进的客户机设备、控制方法、系统以及程序，其能够呈现示出其他用户或用户本身的观看反应的感情表现数据，而不妨碍用户观看。
解决问题的技术方案
根据本公开，提供了一种客户机设备，其包括：获取单元，其获取观看用户对内容的反应；感情推定单元，其根据由所述获取单元获取的观看用户的反应信息，推定观看用户的感情；确定单元，其确定表示由所述感情推定单元推定的感情的感情表现数据；以及输出单元，其输出由所述确定单元确定的感情表现数据。
根据本公开，提供了一种控制方法，包括：用于获取观看用户对内容的反应的步骤；用于根据观看用户的获取的反应信息，推定观看用户的感情的步骤；用于确定表示所推定的感情的感情表现数据的步骤；以及用于输出所述确定的感情表现数据的步骤。
根据本公开，提供了一种系统，包括：客户机设备，其具有：获取单元，其获取观看用户对内容的反应；感情推定单元，其根据由所述获取单元获取的观看用户的反应信息，推定观看用户的感情；确定单元，其根据从服务器中接收的推定感情结果的整合结果，确定感情表现数据；以及输出单元，其输出由所述确定单元确定的感情表现数据；以及服务器，其具有：整合单元，其整合从多个客户机设备中接收的观看用户的感情推定结果。
根据本公开，提供了一种程序，用于使计算机用作：获取单元，其获取观看用户对内容的反应；感情推定单元，其根据由所述获取单元获取的观看用户的反应信息，推定观看用户的感情；确定单元，其确定表示由所述感情推定单元推定的感情的感情表现数据；以及输出单元，其输出由所述确定单元确定的感情表现数据。
本发明的有利效果
根据诸如以上记载内容的本公开内容，能够呈现示出其他用户或用户本身的观看反应的感情表现数据。
附图说明
[图1]是用于描述根据本公开的一个实施方式的观看反应反馈系统的概要的示图。
[图2]是用于描述通过显示用户和其他用户的视频来加强共鸣的情况的示图。
[图3]是示出形成根据第一实施方式的观看反应反馈系统的每个设备的内部构造的实例的方框图。
[图4]是示出输出实例的示图，其中，在内容上叠加显示由文本数据形成的感情表现数据(非言语反应)。
[图5]是示出输出实例的示图，其中，由表现方法(例如，喜剧)在内容上叠加地显示由文本数据形成的感情表现数据(非言语反应)。
[图6]是示出输出实例的示图，其中，由投影仪投射由文本数据形成的感情表现数据(非言语反应)。
[图7]是用于描述由音频数据形成的感情表现数据(非言语反应)的输出实例的示图。
[图8]是示根据本实施方式的观看反应反馈系统的操作处理的流程图。
[图9]是示出根据第二实施方式的形成观看反应反馈系统的每个设备的内部构造的实例的方框图。
[图10]是示出根据第二实施方式的变形例的形成观看反应反馈系统的每个设备的内部构造的实例的方框图。
[图11]是示出根据第三实施方式的客户机设备的内部构造的实例的方框图。
[图12]是示出根据第四实施方式的客户机设备的内部构造的实例的方框图。
具体实施方式
在后文中，参照附图，详细描述本公开的一个或多个优选实施方式。要注意的是，在本说明书和附图中，具有大体上相同功能和结构的元件由相同的参考符号表示，并且省去重复说明。
按照以下顺序给出说明。
1、根据本公开的实施方式的观看反应反馈系统的概要
2、各实施方式
2-1、第一实施方式
2-1-1、构造
2-1-2、操作处理
2-2、第二实施方式
2-3、第三实施方式
2-4、第四实施方式
3、总结
<<1、根据本公开的实施方式的观看反应反馈系统的概要>>
首先，参照图1，描述根据本公开的实施方式的观看反应反馈系统的概要。图1是用于描述根据本公开的一个实施方式的观看反应反馈系统的概要的图。
如图1中所示，在观看环境A中，观看用户3A通过连接至客户机设备1A的电视设备3A(信息呈现设备的一个实例)观看内容，并且在观看环境B中，观看用户3B通过连接至客户机设备1B的电视设备3B观看相同的内容。进一步，在其他观看环境C和D中，其他用户通过其自身的客户机设备同样地观看相同的内容。在后文中，在不需要个别描述各个客户机设备1A和1B的情况下，称为客户机设备1。
各个客户机设备1通过相应网络连接至服务器2(云)。
各个电视设备3A和3B是输出内容的信息呈现设备的一个实例，并且除了诸如图1所示的视频显示设备之外，可以由视频再生设备(扬声器)实现。进一步，可以是扬声器嵌入其内的视频显示设备。
进一步，在各个电视设备3A和3B内包括用于检测观看用户的反应的传感器11A和11B。在后文中，在不需要个别描述各个传感器11A和11B的情况下，称为传感器11。
例如，传感器11由相机(成像设备)或麦克风(声音收集设备)实现，并且获取观看用户的动作、面部表情或音频。相机可以是能够获取照相主体(观看用户)的深度信息的特殊相机，例如，Microsoft的Kinect，并且麦克风(在后文中称为麦克风)可以是多个麦克风集合，例如，成麦克风阵列。传感器11向客户机设备1输出反应信息(检测结果)，其显示获取的观看用户的反应。
在这种构造中，根据本公开的实施方式的观看反应反馈系统可以通过向观看用户执行感情表现数据的反馈(非言语反应等，下面将进行描述)，感情表现数据表示其他观看用户的观看反应，来提供感情的共鸣。
例如，在观看喜剧节目时，在输出会场的笑声、掌声或笑脸时，与不输出的情况相比，用户将更有兴趣感觉自己。进一步，在观看科学节目时，当看到点头的样子、信服的声音、或欣赏的声音时，用户具有自己信服或理解的感觉强烈。进一步，在观看球赛时，在听到欢呼时，热烈就更强烈，相反，在听到失望的声音时，遗憾的感觉就强烈。进一步，在观看带有深深地感动的节目时，在听到抽泣声音或者看到流泪的脸时，深深感动的感觉就强烈。通过这种方式，在通过观看内容的其他用户的样子(节目的表演者)分享感情时，用户就增强这种感情。
通常，在真实的人与人交流的情况下，即使不需要任何言语(会话)，也通常建立交流。例如，在一起共同观看电视节目等时，即使仅仅具有例如微笑或面部表情的反应而没有会话，通过共用这个空间也建立交流。因此，在与在远程位置的用户观看相同的内容时，以内容的屏幕上的一部分叠加的状态，来显示同伴的视频时，即使没有会话，也妨碍内容观看。
(背景)
在此，一种方法，诸如根据状况的以下方法，被视为其中多个用户共享在远隔位置观看同一内容的观看反应的方法。
(a)熟悉的用户观看内容的情况
假设一种状况，其中，由熟悉的特定用户(例如，朋友或熟人)观看相同的内容，来分享感情。在这种情况下，通过观看相同内容的同时，使用能够传输和接收视频、音频、文本等的通信服务，能够交换感情。然而，在文本的情况下，需要在观看内容的同时执行文字输入，因此，妨碍内容观看。此外，在使用视频或音频的情况下，虽然节省文字输入的时间，但是相互的会话或视频会完全串音。例如，与内容无关的家庭会话等传输给所有其他用户，并且妨碍其他用户进行内容观看。
(b)不熟悉的用户观看内容的情况
例如，在用户在家里观看体育比赛时，如果与不特定的大量其他用户共享感情，例如，用户支持的团队的其他支持者，并且可以一起热闹，那么内容观看可以更令人享受。通常，在通过电视设备观看体育比赛的情况下，可以听到两个团队的支持者的音频(在比赛地点收集的音频)，因此，难以获得与用户支持的团队的其他支持者真实在一起的感觉。
在这种情况下，例如，如图2中所示，通过呈现另一个支持者的视频120a和音频和其自己(观看用户3A)的视频120b和音频以及通常由电视设备100广播的或者实时相互之间的欢呼，能够增强与其他支持者的共鸣。然而，实际上将其自己(观看用户3A)的视频和音频传输给不特定的大量用户，并且发生隐私问题。
因此，通过聚焦以上提及的情况，达成创建根据本公开的各实施方式的观看反应反馈系统。根据本实施方式的观看反应反馈系统在与特定或不特定的大量其他用户观看相同内容时，通过可以保护用户隐私的方法，可以反馈表示其他用户的观看反应的感情表现数据，并且可以促使感情共鸣，而不妨碍用户观看。
尤其地，为了不妨碍用户观看，并且还保护用户隐私，使用非言语反应，例如，作为表示其他用户的观看反应的感情表现数据。在本公开中，非言语反应是表示感情的词，例如，拟声词，其包括“拟声词”，拟声词通过声音表示不发声(例如，条件或感觉)的词，以及“拟声词”，其是表示由对象生成的声音或语音、感叹词、笑声或哭声的词。在根据本实施方式的观看反应反馈系统中，由不同的声音源呈现表示从用户的反应中推定的感情的非言语反应，例如，不向其他用户直接呈现用户的原始视频，因此，保护用户的隐私。进一步地，根据从对观看内容的反应中推定的感情，呈现非言语反应，没有与所检测的观看内容无关的家庭会话等，因此，不妨碍其他用户观看，使其他用户偷听用户的原始音频。
通过包括以下多个实施方式来具体描述根据本公开的这种观看反应反馈系统。
<<2、各实施方式>>
<2-1、第一实施方式>
首先，参照图3到图8，描述根据第一实施方式的观看反应反馈系统。
(2-1-1、构造)
图3是示出形成根据第一实施方式的观看反应反馈系统的各个设备的内部构造的实例的方框图。如图3中所示，根据本实施方式的观看反应反馈系统具有多个客户机设备1A-1和1B-1以及服务器2-1。
客户机设备1A-1
客户机设备1A-1是一种设备，其控制在图1中所示的观看环境A，并且具体而言，例如，如图3中所示，具有反应信息获取单元12、感情推定单元13以及传输单元15。
反应信息获取单元12从由相机或麦克风实现的传感器11A(参照图1)中获取观看用户的反应信息(成像图像、音频数据)，并且将其输出给感情推定单元13。在此处，传感器11A不限于相机或麦克风，并且可以是植入观看用户3A放入口袋内或者拿在手上的移动电话终端或智能电话内的加速度传感器或角加速度传感器。在这种情况下，反应信息获取单元12可以获取加速度信息或角加速度信息，作为观看用户的反应信息。进一步，反应信息获取单元12能够从观看用户3A佩戴的生物传感器(传感器11A的一个实例)中获取生物信息，例如，脉冲、排汗或体温，作为观看用户的反应信息。
感情推定单元13根据由反应信息获取单元12获取的观看用户的反应信息，推定观看用户的感情。感情推定单元13通过传输单元15将观看用户的推定感情信息(感情推定结果)输出给服务器2-1。
在此处，虽然可以考虑各种技术用于推定感情的模型，但是例如，可以使用由Robert Pluntchik提出的“感情的轮”。从由2点的组合构成的8个应用感情(害怕、失望、后悔、轻蔑、攻击、乐观、爱以及服从)与8种基本感情(害怕、惊讶、伤心、厌恶、生气、预期、高兴以及接受)，建立感情的轮并且定义各种类型的感情。
作为感情推定单元13的感情推定方法，可以(例如)是通过图像处理观看用户3A的面部图像来从面部表情或身体姿势推定感情，或者可以(例如)是使用麦克风利用声源分离仅提取特定用户的音频，并且对该音频数据使用语音识别技术。例如，在检测到笑脸或笑声的情况下，感情推定单元13推定“笑声”或“快乐”的感情。进一步，在检测到哭脸或哭声的情况下，感情推定单元13推定“哭声”或“伤心”的感情。
进一步，另外，感情推定单元13可以根据用户的瞳孔的尺寸、体温、汗水等，推定用户的感情。此外，在由反应信息获取单元12获取由用户在内容观看时输入的SNS的文本数据的情况下，可以通过分析输入的文本数据来推定用户的感情。
服务器2-1
服务器2-1整合在多个观看环境中的各观看用户的感情推定结果，并且将整合结果传输给各观看环境的客户机设备。具体而言，如图3中所示，根据本实施方式的服务器2-1具有接收单元21、整合单元23以及传输单元25。
接收单元21通过网络从客户机设备1A-1中接收观看用户3A的感情推定结果，并且将其输出给整合单元23。要注意的是，虽然在图3所示的实施例中，仅仅从客户机设备1A-1中接收感情推定结果，但是接收单元21从其他观看环境(例如，观看环境B、C以及D)中接收每个观看用户3B到3D的感情推定结果。
整合单元23整合多个用户的感情推定结果，并且通过传输单元25将整合结果经由网络传输给每个客户机设备(在此处，客户机设备1B-1，作为一个实例)具体而言，整合结果是多个观看用户的感情推定结果的统计数据。整合单元23可以整合特定观看用户的感情推定结果，或者可以整合不特定的大量观看用户的感情推定结果。
例如，在这种统计数据内具有整合用户的数量、男女比率、年龄分布、整合的感情推定结果的比例(例如，笑声60％、惊讶20％、没有反应20％等)、各个感情推定结果的得分等。例如，感情推定结果的得分将1.0设为最大得分，并且如果大声笑，那么付给0.8得分，如果小声笑，那么付给得分0.2，以此类推。
进一步，下面要描述的是，由于具有感情表现数据(女性声音、男性声音等)的分类根据内容的细节改变的情况，所以整合单元23可以在整合结果内包括内容的元数据。作为元数据的实例，可以包括内容分类ID(例如，电视、视频、视频网站)、标题、广播时间、流派、表演者、编剧或制片人、URL(在互联网视频的情况下)、与内容相关联的一系列高音(tweet)列表等信息。
客户机设备1B-1
客户机设备1B-1是一种设备，其控制在图1中显示的观看环境B，并且根据从服务器2-1中传输的整合结果，确定感情表现数据，并且从信息呈现设备(例如，电视设备30B)中输出该结果。
具体而言，如图3中所示，客户机设备1B-1具有接收单元16、确定单元17以及输出控制单元18。接收单元16通过网络从服务器2-1中接收多个观看用户的感情推定结果的整合结果(统计数据)，并且将其输出给确定单元17。
确定单元17根据整合结果确定感情表现数据。例如，在“笑声”感情占据高比例的情况下，确定单元17确定表示“笑声”感情的感情表现数据。例如，由音频数据或文本数据形成这种感情表现数据。例如，表示“笑声”感情的感情表现数据可以是上述非言语反应。具体而言，例如，可以是提前登记的笑声(不同的声音源的并非观看用户3A的原始语音的)的音频数据或者诸如“啊哈啊哈”或者“呵呵呵”的拟声词的文本数据。通过使用不同声音源代替，保护每个用户的隐私。
进一步，可以执行由拟声词的文本数据构成的感情表现数据的确定，例如，诸如“哎呦”作为表示推定为显示用户对接近球门的踢球的反应的感情的“欢呼”的可能性大的感情表现数据。进一步，可以确定由拟声词的文本数据构成的感情表现数据，例如，“叹息”作为表示“失望”的可能性大的感情表现数据，或“谴责”，作为表示推定为表现在错失射门时用户的反应的感情的“恼怒”的感情表现数据。
进一步，可以执行由拟声词的文本数据构成的感情表现数据的确定，诸如“呜咽”、“抽泣”等，作为表示在观看记录节目时推定的“伤心”的可能性大的感情表现数据。进一步，可以执行由模拟词的文本数据构成的感情表现数据的确定，诸如“啊哈”等作为表示在观看教育节目时推定的“令人信服的感觉”的可能性大的感情表现数据。进一步，可以执行由拟声词的文本数据构成的感情表现数据的确定，诸如“尖叫声”等作为表示在观看男偶像、女偶像或艺术家的现场表演时推定的“高兴”的可能性大的感情表现数据。进一步，可以执行由拟声词的文本数据构成的感情表现数据的确定，诸如“温暖”等作为表示在动物节目时推定的“舒适”的可能性大的感情表现数据。
进一步，虽然不特别限制非言语反应(感情表现数据的一个实例)的特定实例，但是也另外包括诸如“万岁”、“敬畏”、“呀”、“啊哈”、“yay”以及“吃惊”等表示“惊奇”的感情的词。
迄今为止，虽然对非言语反应(感情表现数据的一个实例)的特定实例进行了一些描述，但是确定单元17可以使用在互联网上或者由本地特定群落使用的原始表达或流行词，而非通常已知的模拟词或拟声词。
进一步，确定单元17可以根据整合结果(统计数据)改变非言语反应(感情表现数据的一个实例)的呈现方法。例如，在“笑声”感情的可能性大的情况下，确定单元17可以增大笑声的音调或音量，以确定为非言语反应，或者可以叠加与“笑声”的比例对应的人数(类型)的笑声。
进一步，即使同一感情，确定单元17也可以切换根据状况或频率，确定的感情表现数据的类型。例如，在连续推定“笑声”感情的情况下，确定单元17改变和确定不同类型的笑声，而进行相同笑声的判定。进一步，确定单元17可以根据正在观看的内容，改变感情表现数据的类型。例如，在推定“高兴”的感情的情况下，并且在内容是女偶像的现场表演的情况下，确定单元17推定这个内容的观看者人口统计是男性，因此，通过男性音频(例如，“哎呦”)确定感情表现数据。进一步，在内容是男偶像的现场表演的情况下，确定单元17推定这个内容的观看者人口统计是女性，因此，通过女性音频(例如，“唷”)确定感情表现数据。进一步，除了内容的观看者的人口统计之外，确定单元17可以确定与观看用户的属性对应的类型的感情表现数据，例如，观看用户的男女比率，这包含在整合结果内。要注意的是，确定单元17可以根据内容的观看者人口统计和观看用户的属性中的至少一个来确定感情表现数据。
输出控制单元18执行控制，以便从信息呈现设备输出由确定单元17确定的感情表现数据。例如，输出控制单元18在感情表现数据是笑声的音频数据的情况下使得从扬声器再生(信息呈现设备的一个实例)并且在感情表现数据是文本数据的情况下使得在电视设备30B内的内容上叠加显示(信息呈现设备的一个实例)。在后文中，参照图4到图7，描述感情表现数据的输出实例。
图4是示出输出实例的示图，其中，在内容上叠加显示由文本数据形成的感情表现数据(非言语反应)。如在图4的左显示屏180a上所示，表示“欢呼”感情的“哎呦！”和“哇哦！”等感情表现数据以及表示“紧张”感情的“碰-碰”等感情表现数据，被制成文本，并且在电视设备30A的显示屏上，通过在内容上叠加显示来输出。
进一步，如在图4的右显示屏180b上所示，表示“笑声”感情的“啊哈啊哈！”、“呵呵呵”以及“嘿-嘿”等感情表现数据制，被制成文本，并且在电视设备30A的显示屏上通过在内容上叠加显示来输出。要注意的是，在图4的右边显示的实例中，确定单元17根据统计结果确定具有“笑声”的比例大，并且由多种类型的表现方法输出感情表现数据。
通过这种方式，由表示根据观看用户的反应推定的感情的表现方法，提供在远程位置内的其他观看用户的反应，而无需观看用户的原始语音或者实际上将原始语音转换成文本。
要注意的是，不特别限制文本数据的文字，并且可以是表现方法，例如，喜剧。在此处，在图5中显示了输出实例，其中，由表现方法(例如，喜剧)在内容上叠加显示由文本数据形成的感情表现数据(非言语反应)。如在图5的显示屏180c上所示，表示“笑声”感情的感情表现数据(非言语反应)由表现方法(例如，喜剧)呈现。进一步，在使用表现方法(例如，喜剧)的情况下，确定单元17能够确定例如，由喜剧的效果线(绘图数据)形成的感情表现数据。
进一步，根据本实施方式的感情表现数据的输出实例不限于在图4和图5中显示的实例。例如，输出控制单元18可以将文本数据或绘图数据的感情表现数据投射在电视设备30的周围的壁部上，与外部设备(例如，投影仪)(信息呈现设备的一个实例)配合。通过这种方式，可以避免一部分内容因在内容上叠加地显示感情表现数据而消失。在此处，在图6中显示了一个输出实例，其中，由投影仪投射由文本数据形成的感情表现数据(非言语反应)。
输出控制单元18在投影仪(未显示)内发送由文本数据形成的感情表现数据Q1到Q3，并且在电视设备30B的周围的壁部上投射该数据，例如，如图6中所示。例如，感情表现数据Q1到Q3是多个文本数据，用于表现“笑声”感情。
此外，输出控制单元18可以通过使嵌入观看用户3B所坐的沙发或耳机内的振动器发生振动来输出感情表现数据。
进一步，在从服务器2-1中获取每个观看用户的感情推定结果的情况下，输出控制单元18可以根据每个感情推定结果确定感情表现数据，并且可以输出每个感情表现数据以及分别显示了感情表现数据的面部图像或头像。
进一步，在非言语反应由音频数据输出的情况下，虽然输出控制单元18可以从包含在电视设备30B内的扬声器进行输出，但是仅听到其他观看用户的声音而不在眼前，也会缺少现场感。因此，根据本实施方式的输出控制单元18可以(例如)使用环绕扬声器、虚拟声音技术等将声音图像放在观看用户3B的旁边或前面，并且可以复制环境以犹如其他观看用户在周围。在后文中，参照图7，进行具体描述。
图7是用于描述由音频数据形成的感情表现数据(非言语反应)的输出实例的示图。如图7中所示，多个扬声器4(信息呈现设备的实例)设置在观看环境B中，并且实现环绕扬声器系统。多个扬声器4可以由扬声器阵列构成。客户机设备1B的输出控制单元18使用嵌入电视设备30B内的扬声器(前扬声器)，输出由音频数据形成的感情表现数据，并且扬声器4设置在观看用户3B的周围。在此处，输出控制单元18执行声音图像位置控制，犹如其他观看用户31a和31b实际上位于观看用户3B的旁边或后面，复制现场感，并且提供更强烈的共鸣体验。此时，输出控制单元18可以将与观看用户3B所熟悉的特定其他观看用户对应的感情表现数据的声音图像放在观看用户3B旁边(观看用户31a的位置)。进一步，输出控制单元18可以将与观看用户3B所不熟悉的非特定的大量其他观看用户对应的感情表现数据的声音图像放在观看用户3B旁边(观看用户31b的位置)。
迄今为止，描述了根据本实施方式的每个设备的构造。要注意的是，在图3到图7中，虽然作为实例，描述了在观看环境B中向观看用户3B呈现感情表现数据的情况，但是在观看环境A以及其他观看环境C和D中也执行相同的处理。在远程位置的各个观看用户3A到3D通过在互相之间观看相同内容的同时来分享感情，可以获得共鸣经历。
进一步，在图3中显示的每个设备的内部构造是一个实例，并且根据本实施方式的构造不限于在图3中显示的设备。例如，服务器2-1可以执行包含在客户机设备1A-1内的“感情推定单元13”的处理以及包含在客户机设备1B-1内的“确定单元17”的处理。
进一步，在上述实施方式中，虽然服务器2-1收集根据在每个观看环境A到D中观看相同内容的观看用户3A到3D的观看反应的感情推定结果，但是本实施方式不限于此。例如，在内容是体育比赛或录音节目的情况下，服务器2-1可以收集根据在生成内容的地方的用户的观看反应的感情推定结果。具体而言，服务器2-1接收由安装在足球或棒球场内的各种传感器(相机或麦克风)检测的信息(图像数据、音频数据)，并且将推定的感情推定结果包括在整合目标内。
例如，在每个观看环境中观看足球比赛时，服务器2-1分别根据从足球场的支持者座位中获取的支持者的反应，推定每个观看用户3支持的团队的支持者的感情，并且将推定结果传输给每个观看环境。而且，例如，在观看环境B中，客户机设备1B-1可以呈现表示观看用户3B支持的团队的支持者的感情的感情表现数据。
通过这种方式，例如，在观看用户3B支持的团队处于优势时，呈现表示这个团队的支持者“吃惊”和“高兴”的感情的感情表现数据，不需要实际上呈现双方支持者的声音支持。进一步，在观看用户3B支持的团队处于劣势时，呈现表示这个团队的支持者“失望”和“伤心”的感情的感情表现数据。通过这种方式，观看用户3可以实现与正在支持的团队的支持者的共鸣经历。要注意的是，每个客户机设备1或服务器2-1可以根据用户的配置文件信息决定观看用户支持哪个团队，并且在观看比赛之前，用户能够具体选择哪个团队。
为了继续，参照图8具体描述根据本实施方式的观看反应反馈系统的操作处理。
(2-1-2、操作处理)
图8是示出根据本实施方式的观看反应反馈系统的操作处理的流程图。如图8中所示，首先，在步骤S203中，客户机设备1A-1的反应信息获取单元12从传感器11A中获取观看用户3A的反应信息。
接下来，在步骤S206中，感情推定单元13根据由反应信息获取单元12获取的观看用户的反应信息，推定观看用户3A的感情。
接下来，在步骤S209中，传输单元15通过网络将由感情推定单元13推定的看用户3A的感情推定结果传输给服务器2-1。
接下来，在步骤S212中，服务器2-1的整合单元23整合由接收单元21从各个观看环境中接收的多个观看用户的感情推定结果。通过网络将整合结果从传输单元25传输给客户机设备1B-1。
接下来，在步骤S215中，客户机设备1B-1的确定单元17根据由接收单元16从服务器2-1中接收的整合结果(多个感情推定结果的统计数据)，确定感情表现数据。感情表现数据可以由非言语反应表示，例如，拟声词、模拟词以及感叹词，如上所述。进一步，感情表现数据可以由文本数据、音频数据、绘图数据等形成，如上所述。
然后，在步骤S218中，，客户机设备1B-1的输出控制单元18进行控制，以便从设置在观看环境B内的每个信息呈现设备(例如，电视设备30B、扬声器4)中输出由确定单元17确定的感情表现数据。
在观看内容的同时，连续并且重复地进行上述处理。
如上所述，按照根据第一实施方式的观看反应反馈系统，观看用户与多个用户分享感情，并且可以将表示其他观看用户的观看反应的感情的感情表现数据呈现给观看用户来获得共鸣体验。进一步，由于实际上未呈现其他观看用户的视频或音频，并且实际上没有串音与观看反应无关的家庭会话等，所以保护了每个观看用户的隐私，并且还避免了妨碍用户观看。
<2-2、第二实施方式>
在上述第一实施方式中，由于使用感情表现数据代替，来呈现每个观看用户的反应，所以不妨碍观看内容，并且也保护了不特定的大量观看用户中的每个用户的隐私。然而，在熟悉的特定用户使用根据本实施方式的观看反应反馈系统的情况下，即使向其他观看用于呈现观看用户的原始音频，观看用户的隐私也不特别是个问题。
因此，在根据第二实施方式的观看反应反馈系统中，在可以从观看用户的言语中提取感情表现数据的情况下，将这个感情表现数据呈现给特定的其他用户(观看用户允许的用户、朋友或与观看用户熟悉的熟人)。在后文中，参照图9，进行具体描述。
(2-2-1、构造)
图9是示出形成根据第二实施方式的观看反应反馈系统的每个设备的内部构造的实例的方框图。如图9中所示，根据本实施方式的观看反应反馈系统具有多个客户机设备1A-2和1B-2以及服务器2-2。
客户机设备1A-2
客户机设备1A-2是一种设备，其控制在图1中显示的观看环境A，并且具体而言，例如，如图9中所示，具有反应信息获取单元12、感情推定单元13、提取单元14以及传输单元15。
反应信息获取单元12和感情推定单元13具有与参照图3描述的第一实施方式的那些单元的功能相同的功能，并且根据由反应信息获取单元12获取的观看用户3A的反应信息(成像图像、音频数据)，推定感情。
提取单元14从由反应信息获取单元12获取的观看用户3A的反应信息中提取感情表现数据。例如，在热烈(例如，足球的射门场景)时，在由反应信息获取单元12获取通过观看用户3A的语音收集的音频数据(例如，“进球！现在比分相等！”)的情况下，提取单元14进行音频数据的音频识别，并且分析语音细节，作为文字数据。而且，提取单元14从分析的文字数据中搜索与表示感情的感情表现数据对应的文字数据。例如，可以从上述语音中发现表示“惊奇”(例如，“敬畏”)的感情的词(感叹词)。提取单元14提取(抽出)发现的词部分(区间部分)的用户3A的音频数据(实际上，原始音频)，作为音频的感情表现数据，并且将其输出给传输单元15。
传输单元15通过网络将由感情推定单元13推定的观看用户3A的感情推定结果以及由提取单元14提取的观看用户3A的音频的感情表现数据传输给服务器2-2。
服务器2-2
如图9中所示，服务器2-2具有接收单元21、整合单元23、传输单元25以及用户信息DB(数据库)28。接收单元21、整合单元23以及传输单元25的功能与参照图3描述的第一实施方式的那些单元的功能相同。诸如哪些观看用户变成特定观看用户(熟悉的其他观看用户，例如，朋友或熟人)或者变成不特定的大量观看用户(不熟悉的其他观看用户)等数据储存在用户信息DB 28内。具体而言，例如，相同组ID与相互熟悉的特定观看用户相关联(要注意的是，具有熟悉的特定观看用户的多个组合的情况下，不同组ID用于每个组合)。因此，通过相同组ID相关联的其他观看用户是熟悉的特定其他观看用户，并且不通过相同组ID相关联的其他观看用户是不熟悉的非特定的其他观看用户。根据本实施方式的服务器2-2将观看用户3A的音频的感情表现数据以及整合单元23的整合结果传输给特定的其他观看用户(例如，观看用户3B)。另一方面，服务器2-2仅仅将整合单元23的整合结果传输给不熟悉观看用户3A的不特定的大量其他观看用户(例如，观看用户3C和3D)。
客户机设备1B-2
客户机设备1B-2是一种设备，其控制在图1中显示的观看环境B，并且具体而言，如图9中所示，具有接收单元16和输出控制单元18。假设观看环境B是一种环境，其中，具有作为熟悉观看用户3A的特定的其他观看用户的观看用户3B。由服务器2-2侧管理哪些观看用户变成特定观看用户或者变成不特定的大量观看用户，如上所述。控制观看环境B的客户机设备1B-2执行控制，以便从输出控制单元18的信息呈现设备(例如，电视设备30B)中输出由接收单元16从服务器2-2中接收的观看用户3A的音频的感情表现数据。
通过这种方式，由于观看用户的隐私对于熟悉观看用户的特定其他观看用户不是个问题，所以观看用户的音频呈现感情表现数据。要注意的是，与第一实施方式相似，具有与根据第一实施方式的客户机设备1B-1的构造相同的构造的客户机设备向不熟悉观看用户的不特定的大量其他观看用户，呈现根据每个观看用户的感情表现结果的整合结果所确定的感情表现数据。
(2-2-2、变形例)
在此处，具有以下情况，人们认为，熟悉的用户希望通过观看内容的场景，例如，真实环境，例如，足球的射门场景或犯规场景来传输直接评论。因此，作为第二实施方式的变形例，在检测到热烈(特定的共鸣场景)的情况下，暂时能够进行直接通信。要注意的是，仅仅在检测到热烈(特定的共鸣场景)时暂时执行直接通信，可以提高方便性，而不妨碍用户观看。在后文中，参照图10进行特定描述。
图10是示出形成根据第二实施方式的变形例的观看反应反馈系统的每个设备的内部构造的实例的方框图。如图10中所示，根据本实施方式的观看反应反馈系统具有多个客户机设备1A-2’和1B-2’以及服务器2-2’。
客户机设备1A-2’
客户机设备1A-2’是一种设备，其控制在图1中显示的观看环境A，并且具体而言，如图10中所示，具有反应信息获取单元12A、感情推定单元13、通信单元10A以及输出控制单元18A。反应信息获取单元12A和感情推定单元13具有与参照图3描述的第一实施方式的那些单元的功能相同的功能。
通信单元10A具有根据参照图3描述的第一实施方式的传输单元15的功能以及从服务器2-2’中接收特定共鸣场景的检测通知、特定其他观看用户3的音频数据等接收单元的功能。
输出控制单元18A进行控制，以便从设置在观看环境A内的信息呈现设备(电视设备30A或扬声器)中输出由通信单元10A接收的输出数据。
服务器2-2’
如图10中所示，服务器2-2’具有通信单元22、整合单元23以及特定共鸣场景检测单元24。
通信单元22具有根据参照图3描述的第一实施方式的接收单元21的功能以及传输单元25的功能。
整合单元23与根据参照图3描述的第一实施方式的整合单元相同。进一步，整合单元23将整合结果输出给特定共鸣场景检测单元24。
例如，特定共鸣场景检测单元24根据整合单元23的整合结果以及内容的场景分析结果，检测具有热烈的特定场景(在后文中也称为特定的共鸣场景)，例如，足球的射门场景。内容的场景分析可以由特定共鸣场景检测单元24执行。
具体而言，例如，在感情得分超过规定值的情况下，根据整合单元23的整合结果，特定的共鸣场景检测单元24进行检测，作为特定的共鸣场景。进一步，例如，在争夺球门附近的球(如果是足球的话)的情况下，或者在运动员跑向本垒(如果是棒球的话)的情况下，根据场景分析，特定共鸣场景检测单元24进行检测，作为特定的共鸣场景。
在检测到特定的共鸣场景的情况下，特定共鸣场景检测单元24经由通信单元22向每个客户机设备1通知检测特定的共鸣场景。通过检测特定的共鸣场景，例如，在电视设备30上作为文本显示这个通知或者从扬声器中作为音频输出。
而且，服务器2-2’促使开始在特定的熟悉用户之间直接通信。在此处，在哪些观看环境之间开始直接通信，由服务器2-2’根据用户的配置文件信息等自动决定，或者为哪些观看用户开始直接通信，可以由观看用户在通知时选择。
客户机设备1B-2’
客户机设备1B-2’是一种设备，其控制在图1中显示的观看环境B，并且具体而言，如图10中所示，具有反应信息获取单元12B、通信单元10B以及输出控制单元18B。
与客户机设备1A-2’的反应信息获取单元12A相似，反应信息获取单元12B从传感器11B(未显示)中获取观看用户3B的反应信息(成像图像、音频数据)。
通信单元10B具有根据参照图3描述的第一实施方式的接收单元16的功能以及传输单元的功能，将由反应信息获取单元12B获取的观看用户3B的反应信息传输给服务器2-2’。
输出控制单元18B与根据参照图3描述的第一实施方式的输出控制单元18相同。进一步，根据本实施方式的输出控制单元18B向观看用户B呈现从服务器2-2’中接收的特定共鸣场景的检测通知。
通过上述构造，在服务器2-2’检测特定共鸣场景时，向客户机设备1A-2’和1B-2’通知检测通知，并且开始在客户机设备1A-2’和1B-2’之间的直接通信。
例如，直接通信是实际上向特定熟悉的其他观看用户3A传输由每个反应信息获取单元12B获取的观看用户3B的音频数据或成像图像以及也向观看用户3B传输观看用户3A的音频数据或成像图像。用户的设置可以确定直接通信是否仅仅由音频数据执行直接通信，或者是否也发送成像图像。
迄今为止，在检测特定共鸣场景的情况下，对于暂时进行直接通信的情况，进行具体描述。要注意的是，除了特定共鸣场景之外，各个观看用户的感情通过转换成感情表现数据(例如，非言语反应)，向其他观看用户呈现。通过这种方式，由于不给其他用户发送除了所必需的会话和视频以外的会话和视频，所以保持隐私保护。
进一步，虽然可以不同地方式考虑暂时开始直接通信并且然后结束直接通信的时间，但是例如，客户机设备1A-2’和1B-2’或服务器2-2’可以在未检测规定时间通信时的情况下结束，或者可以根据观看用户的特定结束指令操作结束。特定结束指令操作是使用与电视设备30连接的远程控制器的操作、观看用户的姿势、视频、视线等。在检测了观看用户的这些特定结束指令操作的情况下，客户机设备1A-2’和1B-2’结束观看用户的音频或视频的传输。
进一步，根据本实施方式的变形例的观看反应反馈系统，甚至在未检测特定共鸣场景的情况下，根据观看用户例如希望暂时执行直接通信的特定指令，可以暂时开始直接通信。使用远程控制器内的特定操作(按压按钮等)、在信息处理终端(例如，智能电话)的GUI内的特定操作、特定姿势、音频识别、视线检测等，例如，可以对客户机设备1执行特定指令。接收这种指令的客户机设备1通知开始与服务器2-2’以及与具有熟悉的特定其他观看用户的观看环境的客户机设备的直接通信。
要注意的是，具有以下情况：希望集中精神看内容的用户希望拒绝未转换成感情表现数据(例如，非言语反应)的其他观看用户的视频或音频的直接通信。在这种情况下，能够在客户机设备1侧上设置拒绝，以便不接收特定共鸣场景或直接通信的检测通知。
<2-3、第三实施方式>
如上所述，根据每个观看用户的感情推定结果的整合结果，通过网络向连接至服务器2的多个观看环境呈现感情表现数据，对于每个观看用户来说能够进一步增强共鸣。通过呈现感情表现数据来增强共鸣的这种系统还可以应用于具有一个观看环境的情况中。在仅仅具有一个观看环境的情况下，虽然不能使用其他观看用户的感情推定结果的整合结果，但是通过根据用户指令的感情推定结果，确定非言语反应等的感情表现数据，并且将该数据呈现给用户本身，用户感觉到的感情可以增强和放大。通过单个观看环境的根据本公开的这种系统的应用在后文中称为感情放大器。在后文中，具体参照图11描述根本实施方式的感情放大器。
图11是示出根据第三实施方式的客户机设备1-3的内部构造的实例的方框图。如图11中所示，根据本实施方式的客户机设备1-3具有反应信息获取单元12、感情推定单元13、确定单元17以及输出控制单元18。这些构造中的每个与参照图3描述的第一实施方式的每个构造相同。
具体而言，首先，观看用户的反应信息由反应信息获取单元12获取。例如，获取观看一场好球赛的活跃的观看用户的视频(胜利姿势等)。
接下来，感情推定单元13根据由反应信息获取单元12获取的反应信息，推定观看用户的感情。例如，感情推定单元13根据胜利姿势的视频推定“高兴”的感情。
接下来，确定单元17确定表示推定感情的感情表现数据。例如，在“高兴”感情的情况下，确定由音频或文本(例如，“万岁！”或“yay”)形成的感情表现数据。
然后，输出控制单元18从信息呈现设备(电视设备30或扬声器)中输出由确定单元17确定的感情表现数据，并且促观看用户的热烈(liveliness)放大。
通过这种方式，甚至在单个观看环境中，根据观看用户本身的感情确定的感情表现数据可以呈现给挂看用户，可以放大观看用户的感情，并且观看用户可以更活跃、更哭泣或者更大声笑。
虽然在单个观看环境中使用根据第三实施方式的上述感情放大器，但是根据本公开的感情放大器不限于单个观看环境，并且在第一和第二实施方式中的上述的通过网络连接多个观看用户时使用。
通过这种方式，在仅仅观看用户活跃的情况下，例如，在仅仅自己喜欢的小艺术家登场的瞬间，或者为了仅符合自己癖好的足球员的好的进球的时刻，根据观看用户的活跃，输出没有实际内容等的欢呼，并且产生适合于每个用户的活跃。
进一步地，在观看实时内容(例如，足球赛)时，具有以下情况：在足球射门场景活跃的时间与根据其他观看用户的感情推定结果(整合结果)呈现感情表现数据的时间之间发生延迟的情况。在这种情况下，与根据第三实施方式的上述感情放大器一起使用时，根据观看用户本身的感情确定的感情表现数据可以直接呈现，并且通过随后呈现其他观看用户的感情表现数据，这样可以通过消除延迟来产生实时活跃。
进一步，在根据本实施方式的观看反应反馈系统中，可以呈现(输出)表示熟悉观看用户的特定其他观看用户的感情的感情表现数据，然后，可以呈现(输出)示熟悉不特定的大量其他观看用户的感情的感情表现数据。通过这种方式，可以首先了解特定的其他观看用户(例如，熟悉的朋友)的反应，并且在熟悉的朋友之间的活跃可以分享共鸣。具体而言，例如，输出控制单元18可以结束表示特定的其他观看用户的感情的感情表现数据(在后文中也称为第一感情表现数据)的输出，然后，可以开始表示不特定的大量其他观看用户的感情的感情表现数据(在后文中也称为第二感情表现数据)的输出。进一步，输出控制单元18可以在促使所述第一感情表现数据的输出渐弱的同时，促使所述第二感情表现数据的输出渐显(交错渐变)。进一步，在开始输出所述第二感情表现数据时，输出控制单元18可以通过降低大于第二感情表现数据的输出值的第一感情表现数据的输出值(音量、显示文本的尺寸等)来使第一感情表现数据的输出继续。
<2-4、第四实施方式>
在上述第一到第三实施方式中，虽然在实时观看内容的观看用户之间呈现感情表现数据，并且加强每个观看用户的共鸣，但是根据本实施方式的观看反应反馈系统不限于此。例如，通过贴标签每个观看用户的感情推定结果或与内容的该场景的整合结果(在后文中也称为感情标签)，随后，能够使用这个感情标签检测和推荐内容，并且执行感情表现数据的呈现。
通常，在记录装置等内提供在内容内的章节时，根据“CM”、“张贴元标签(场景差异、演员差异等)”或“内容内的音量水平”等信息，设置章节。然而，由于未反映实际观看用户的反应，所以即使被视为“希望自己观看的公众活跃的场景”，在观看内容时，也难以检测公众活跃的场景，
因此，在本实施方式中，通过根据实际观看用户的感情推定结果，将感情标签加入内容场景中，使用实际上其他观看用户的感情推定结果，可以选择希望观看的场景。而且，使用实际上其他观看用户的感情推定结果，用于推荐内容，可以为观看用户执行高精度的推荐。在后文中，参照图12，进行具体描述。
图12是示出形成根据第四实施方式的观看反应反馈系统的每个设备的内部构造的实例的方框图。如图12中所示，根据本实施方式的观看反应反馈系统具有多个客户机设备1A-4和1B-4以及服务器2-4。
客户机设备1A-4
客户机设备1A-4是一种设备，其控制在图1中显示的观看环境A，并且具体而言，例如，如图12中所示，具有反应信息获取单元12A、感情推定单元13A、通信单元10A以及内容处理单元19A。反应信息获取单元12A、感情推定单元13A以及通信单元10A与参照图10描述的第二实施方式的各单元相同。
内容处理单元19A根据感情标签等进行与用户操作、内容的场景检测对应的内容的再生控制。进一步，内容处理单元19A可以通过通信单元10A将由用户观看的内容的信息(CH信息、节目信息、时间信息等)传送给服务器2-4。
客户机设备1B-4
客户机设备1B-4是一种设备，其控制在图1中显示的观看环境B，并且具体而言，例如，如图12中所示，具有反应信息获取单元12B、感情推定单元13B、通信单元10B以及内容处理单元19B。反应信息获取单元12B以及通信单元10B与参照图10描述的第二实施方式的单元相同。
进一步，感情推定单元13B具有与根据参照图10描述的第二实施方式的感情推定单元13的功能相同的功能。
内容处理单元19B具有与上述内容处理单元19A的功能相同的功能。
服务器2-4
如图12中所示，服务器2-4具有接收单元21、关联单元26、感情标签生成单元27以及传输单元25。
接收单元21从包括客户机设备1A-4的多个客户机设备中接收感情推定结果。
关联单元26将由接收单元21接收的每个观看用户的感情推定结果与内容进行映射(整合)。具体而言，关联单元26在内容的时间序列中使每个感情推定结果相关联。此时，关联单元26可以使整合多个感情推定结果的整合结果与内容的相应场景(章节)相关联。
感情标签生成单元27根据由关联单元26相关联的感情推定结果(或整合结果)生成作为感情标签的信息，其显示哪种感情与内容的那个场景相关联，并且通过传输单元25将该信息传输给每个客户机设备1A-4和1B-4。
通过上述构造，在内用再生时，每个客户机设备1A-4和1B-4的内容处理单元19A和19B(在后文中也称为内容处理单元19)可以根据从通信单元10中接收的感情标签，执行内容的场景检测。
例如，在服务器2-4内，在每个用户观看某个节目X时，生成显示了多个用户是否热烈、笑、沮丧等的感情标签，并且将该感情标签传输给客户机设备1。
然后，在用户随后观看内容时，客户机设备1使用表示其他实际用户是否活跃的感情标签来执行场景检测和内容推荐。
通过这种方式，尝试观看内容的用户能够检测公众或特定社区实际上活跃的场景。
进一步，尝试观看内容的用户能够检测适合于用户自己目前的感觉(感情)的内容。例如，在认为用户想笑时，除了能够从标题中推定出的喜剧节目之外，还能够检测那些不能从标题中推定的喜剧节目(内容)。
进一步，客户机设备1通过使用用于感情标签生成的其他观看用户的数量或者感情推定结果的得分，能够推荐更适合于观看用户的内容。
进一步，在时移再生某个录音节目时，客户机设备1能够使用感情标签执行场景再生，例如，仅仅再生活跃的场景或兴趣场景。
要注意的是，除了广播的节目以外，还包括在记录装置内记录的节目、VOD内容、互联网视频内容等，作为根据本实施方式的目标内容。
进一步，客户机设备1可以通过图标、颜色等在再生进度条上表示感情标签。
要注意的是，虽然不特别限制在服务器2-4的关联单元26内作为目标的观看用户的范围，但是作为目标的观看用户的范围可以是每个人(不特定的大量)，或者可以仅仅是与观看用户的设置对应的特定社区或朋友(其他特定用户)。
<<3、概述>>
如上所述，通过可以保护观看用户的隐私的方法，而不妨碍观看用户观看的情况下，本实施方式可以反馈感情表现数据，表示其他观看用户或观看用户本身的观看反应，并且可以促使增强共鸣。
进一步地，在相关技术的视觉通信的情况下，实际上将观看用户自己的摄影机和麦克风音频呈现给会话伙伴，因此，从隐私的角度来看，具有以下问题：未显示的生成反应(话语、面部表情、运动等)实际上传输给伙伴。进一步，即使在接收反应的会话伙伴侧，伙伴的原始反应也造成具有妨碍内容观看的问题。然而，根据本实施方式，由于通过转换成感情表现数据(例如，非言语反应)，呈现观看用户的反应，所以保护隐私，并且不妨碍内容观看，能够具有与其他人共鸣内容的体验。
进一步，在相关技术的内容观看的情况下，内容制造商侧生产感情(笑、惊叹、遗憾等)、活跃等(例如，将观众的笑声插入喜剧节目等内)。然而，根据本实施方式，由于由在特定的社区(熟悉的特定其他用户等)内的实际的其他观看用户或者通过个人本身的感情或活跃呈现感情表现数据，所以能够具有更真实的共鸣体验。
进一步，在使用相关技术的视觉通信的内容共同观看体验的情况下，在生成不伴有视频的感情表现的情况下，如果不将视线转向在屏幕上反射的伙伴的摄影机，那么这个感情不能共鸣，并且妨碍内容观看(例如，在一言不发地呈现笑脸时、观看戏剧节目等)。然而，根据本实施方式，由于不伴有音频(仅仅笑脸等)的感情转换成感情表现数据，所以能够实现更丰富的共鸣体检。
进一步，在很多人实际上执行内容的共同观看的情况下，在用户本身的周围环境中，生成其他人的反应。因此，在远程内容共同观看时，非常可能发生不舒服的感觉，其中，从用户的前面呈现其他人的非言语反应(音频数据)。因此，根据本实施方式，由于位于声音图像上的非言语反应(音频数据)出现在用户周围，所以甚至在远程内容共同观看时，能够通过统一的感觉实现环境。
进一步，在本实施方式中，使用投影仪，在电视设备30的周围区域上呈现(投射)非言语反应，可以实现共鸣体验，而不妨碍内容观看。
上面参照附图，描述了本公开的优选实施方式，而本公开当然不限于以上实例。本领域的技术人员可以在所附权利要求的范围内发现各种变更和修改，并且应理解的是，这些变更和修改自然在本公开的技术范围之下。
例如，可以创建用于促使嵌入客户机设备1(1A-1到1A-4、1B-1到1B-4)内和服务器2(服务器2-1到服务器2-4)的硬件(例如，CPU、ROM以及RAM)显示上述客户机设备1和服务器2的功能的计算机程序。进一步，还提供了能够由计算机读取的储存介质，这个计算机程序储存在该计算机上。
进一步，在本公开中，虽然使用足球或艺术家的现场表演等内容进行了描述，但是该内容不限于此，并且还包括多个用户(队员)可以通过网络参与的比赛。
例如，在用户3A与不特定的大量其他用户一起进行某种比赛时，可以使用非言语反应，呈现具有用户3A的相同团队的用户的感情。
进一步，每个用户的感情推定结果和整合结果可以由时间戳以及组沿着内容的时间序列保持在服务器2内。通过这种方式，在随后再生内容时，客户机设备1可以获取保持在服务器2内的感情推定结果和整合结果，并且可以根据正在再生的内容的时间戳，呈现非言语反应。
此外，还可以如下配置本技术。
(1)一种客户机设备，包括：
获取单元，其获取观看用户对内容的反应；
感情推定单元，其根据由所述获取单元获取的观看用户的反应信息，推定观看用户的感情；
确定单元，其确定表示由所述感情推定单元推定的感情的感情表现数据；以及
输出单元，其输出由所述确定单元确定的感情表现数据。
(2)根据(1)所述的客户机设备，
其中，所述确定单元根据已经整合了多个观看用户的感情推定结果的感情，确定所述感情表现数据。
(3)根据(2)所述的客户机设备，进一步包括：
传输单元，其向服务器传输表示由所述感情推定单元推定的感情的信息；以及
接收单元，其从所述服务器中接收表示已经整合了多个观看用户的感情推定结果的感情的信息。
(4)根据(2)或(3)所述的客户机设备，
其中，所述多个观看用户的感情推定结果是指特定观看用户的感情推定结果。
(5)根据(2)或(3)所述的客户机设备，
其中，所述多个观看用户的感情推定结果是不特定的大量观看用户的感情推定结果。
(6)根据(2)所述的客户机设备，
其中，所述输出单元开始输出根据特定观看用户的感情推定结果的整合而确定的第一感情表现数据，且然后，开始输出根据不特定的大量观看用户的感情推定结果的整合而确定的第二感情表现数据。
(7)根据(6)所述的客户机设备，
其中，所述输出单元完成所述第一感情表现数据的输出，然后，开始所述第二感情表现数据的输出。
(8)根据(6)所述的客户机设备，
其中，所述输出单元在使所述第一感情表现数据的输出渐弱的同时，使所述第二感情表现数据的输出渐显。
(9)根据(6)所述的客户机设备，
其中，在开始输出所述第二感情表现数据时，所述输出单元降低大于所述第二感情表现数据的输出值的所述第一感情表现数据的输出值。
(10)根据(1)到(9)中任一项所述的客户机设备，
其中，所述感情表现数据由音频数据、文本数据或绘图数据(drawing data)构成。
(11)根据(10)所述的客户机设备，
其中，所述感情表现数据是表示预定感情的拟声词、感叹词、效果音或效果线。
(12)根据(1)到(11)中任一项所述的客户机设备，
其中，所述确定单元确定与所述内容的观看者人口统计或观看用户的属性中的至少一个对应的感情表现数据的类型。
(13)根据(1)到(12)中任一项所述的客户机设备，
其中，所述获取单元收集观看用户的音频，作为观看用户的反应。
(14)根据(13)所述的客户机设备，进一步包括：
提取单元，其从所收集的观看用户的音频中提取所述感情表现数据；以及
传输单元，其向服务器传输由所述提取单元提取的所述感情表现数据。
(15)根据(1)到(14)中任一项所述的客户机设备，
其中，所述获取单元使观看用户的面部图像成像，作为观看用户的反应。
(16)根据(1)到(15)中任一项所述的客户机设备，
其中，所述输出单元通过音频和显示中的至少一个输出所述感情表现数据。
(17)根据(1)到(16)中任一项所述的客户机设备，
其中，所述输出单元输出与外部设备协调的所述感情表现数据。
(18)一种控制方法，包括：
获取观看用户对内容的反应的步骤；
根据观看用户的获取的反应信息，推定观看用户的感情的步骤；
确定表示所推定的感情的感情表现数据的步骤；以及
输出所确定的感情表现数据的步骤。
(19)一种系统，包括：
客户机设备，其具有：
获取单元，其获取观看用户对内容的反应；
感情推定单元，其根据由所述获取单元获取的观看用户的反应信息，推定观看用户的感情；
确定单元，其根据从服务器中接收的推定感情结果的整合结果，确定感情表现数据；以及
输出单元，其输出由所述确定单元确定的感情表现数据；以及服务器，其具有：
整合单元，其整合从多个客户机设备中接收的观看用户的感情推定结果。
(20)一种程序，其促使计算机用作：
获取单元，其获取观看用户对内容的反应；
感情推定单元，其根据由所述获取单元获取的观看用户的反应信息，推定观看用户的感情；
确定单元，其确定表示由所述感情推定单元推定的感情的感情表现数据；以及
输出单元，其输出由所述确定单元确定的感情表现数据。
符号说明
1、1A-1～1A-4、1B-1～1B-4：客户机设备
2、2-1～2-4：服务器
3、3A～3D：观看用户
4：扬声器
10：通信单元
11：传感器
12：反应信息获取单元
13：感情推定单元
14：提取单元
15：传输单元
16：接收单元
17：确定单元
18：输出控制单元
19：内容处理单元
21：接收单元
22：通信单元
23：整合单元
24：特定共鸣场景检测单元
25：传输单元
26：关联单元
27：感情标签生成单元
28：用户信息DB
30：电视设备

Claims (19)

1.一种客户机设备，包括：
获取单元，获取观看用户对内容的反应，其中，所述获取单元收集所述观看用户的音频作为所述观看用户的反应；
感情推定单元，基于由所述获取单元获取的所述观看用户的反应信息来推定所述观看用户的感情；
确定单元，确定表示由所述感情推定单元推定的感情的感情表现数据；
提取单元，从所收集的所述观看用户的音频中提取感情表现数据；以及
输出单元，基于所述观看用户与其他观看用户是否熟悉，输出由所述确定单元确定的感情表现数据和/或输出由所述提取单元所提取的感情表现数据，其中，在所述观看用户与其他观看用户熟悉时，输出由所述确定单元确定的感情表现数据以及输出由所述提取单元所提取的感情表现数据，在所述观看用户与其他观看用户不熟悉时，输出由所述提取单元所提取的感情表现数据。
2.根据权利要求1所述的客户机设备，
其中，所述确定单元基于已经整合了多个观看用户的感情推定结果的感情来确定所述感情表现数据。
3.根据权利要求2所述的客户机设备，进一步包括：
发送单元，向服务器发送表示由所述感情推定单元推定的感情的信息；以及
接收单元，从所述服务器接收表示已经整合了所述多个观看用户的所述感情推定结果的所述感情的信息。
4.根据权利要求2所述的客户机设备，
其中，所述多个观看用户的所述感情推定结果是指特定观看用户的感情推定结果。
5.根据权利要求2所述的客户机设备，
其中，所述多个观看用户的所述感情推定结果是指不特定的大量观看用户的感情推定结果。
6.根据权利要求2所述的客户机设备，
其中，所述输出单元开始基于特定观看用户的感情推定结果的整合而确定的第一感情表现数据的输出，且然后开始基于不特定的大量观看用户的感情推定结果的整合而确定的第二感情表现数据的输出。
7.根据权利要求6所述的客户机设备，
其中，所述输出单元完成所述第一感情表现数据的输出，且然后开始所述第二感情表现数据的输出。
8.根据权利要求6所述的客户机设备，
其中，所述输出单元在使所述第一感情表现数据的输出渐弱的同时使所述第二感情表现数据的输出渐强。
9.根据权利要求6所述的客户机设备，
其中，在开始所述第二感情表现数据的输出时，所述输出单元降低比所述第二感情表现数据的输出值大的所述第一感情表现数据的输出值。
10.根据权利要求1所述的客户机设备，
其中，所述感情表现数据由音频数据、文本数据或绘图数据形成。
11.根据权利要求10所述的客户机设备，
其中，所述感情表现数据是表示预定感情的拟声词、感叹词、效果音或效果线。
12.根据权利要求1所述的客户机设备，
其中，所述确定单元确定与所述内容的观看者人口统计或所述观看用户的属性中的至少一个对应的感情表现数据的类型。
13.根据权利要求1所述的客户机设备，进一步包括：
发送单元，向服务器发送由所述提取单元提取的所述感情表现数据。
14.根据权利要求1所述的客户机设备，
其中，所述获取单元将所述观看用户的面部图像成像，作为所述观看用户的反应。
15.根据权利要求1所述的客户机设备，
其中，所述输出单元通过音频和显示中的至少一个来输出所述感情表现数据。
16.根据权利要求1所述的客户机设备，
其中，所述输出单元输出与外部设备协调的所述感情表现数据。
17.一种控制方法，包括：
获取观看用户对内容的反应的步骤，其中，收集所述观看用户的音频作为所述观看用户的反应；
基于所获取的所述观看用户的反应信息，推定所述观看用户的感情的步骤；
确定表示所推定的所述感情的感情表现数据的步骤；
从所收集的所述观看用户的音频中提取感情表现数据的步骤；以及
基于所述观看用户与其他观看用户是否熟悉，输出所确定的所述感情表现数据和/或输出所提取的感情表现数据的步骤，其中，在所述观看用户与其他观看用户熟悉时，输出所确定的所述感情表现数据以及输出所提取的感情表现数据，在所述观看用户与其他观看用户不熟悉时，输出所提取的感情表现数据。
18.一种观看反应反馈系统，包括：
客户机设备，具有：
获取单元，获取观看用户对内容的反应，其中，所述获取单元收集所述观看用户的音频作为所述观看用户的反应；
感情推定单元，基于由所述获取单元获取的所述观看用户的反应信息，推定所述观看用户的感情；
确定单元，基于从服务器接收的推定感情结果的整合结果，确定感情表现数据；
提取单元，从所收集的所述观看用户的音频中提取感情表现数据；以及
输出单元，基于所述观看用户与其他观看用户是否熟悉，输出由所述确定单元确定的感情表现数据和/或输出由所述提取单元所提取的感情表现数据，其中，在所述观看用户与其他观看用户熟悉时，输出由所述确定单元确定的感情表现数据以及输出由所述提取单元所提取的感情表现数据，在所述观看用户与其他观看用户不熟悉时，输出由所述提取单元所提取的感情表现数据；以及
服务器，具有：
整合单元，整合从多个所述客户机设备接收的所述观看用户的感情推定结果。
19.一种储存介质，存储有程序，所述程序用于在由计算机执行时使所述计算机用作：
获取单元，获取观看用户对内容的反应，其中，所述获取单元收集所述观看用户的音频作为所述观看用户的反应；
感情推定单元，基于由所述获取单元获取的所述观看用户的反应信息，推定所述观看用户的感情；
确定单元，确定表示由所述感情推定单元推定的感情的感情表现数据；
提取单元，从所收集的所述观看用户的音频中提取感情表现数据；以及
输出单元，基于所述观看用户与其他观看用户是否熟悉，输出由所述确定单元确定的感情表现数据和/或输出由所述提取单元所提取的感情表现数据，其中，在所述观看用户与其他观看用户熟悉时，输出由所述确定单元确定的感情表现数据以及输出由所述提取单元所提取的感情表现数据，在所述观看用户与其他观看用户不熟悉时，输出由所述提取单元所提取的感情表现数据。
CN201480029851.7A 2013-05-30 2014-04-18 客户机设备、控制方法、系统和程序 Active CN105247879B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013113768 2013-05-30
JP2013-113768 2013-05-30
PCT/JP2014/061071 WO2014192457A1 (ja) 2013-05-30 2014-04-18 クライアント装置、制御方法、システム、およびプログラム

Publications (2)

Publication Number Publication Date
CN105247879A CN105247879A (zh) 2016-01-13
CN105247879B true CN105247879B (zh) 2019-07-12

Family

ID=51988496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480029851.7A Active CN105247879B (zh) 2013-05-30 2014-04-18 客户机设备、控制方法、系统和程序

Country Status (6)

Country Link
US (1) US10225608B2 (zh)
EP (1) EP3007456A4 (zh)
JP (1) JP6369462B2 (zh)
CN (1) CN105247879B (zh)
BR (1) BR112015029324A2 (zh)
WO (1) WO2014192457A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11064257B2 (en) * 2011-11-07 2021-07-13 Monet Networks, Inc. System and method for segment relevance detection for digital content
US10638197B2 (en) * 2011-11-07 2020-04-28 Monet Networks, Inc. System and method for segment relevance detection for digital content using multimodal correlations
KR102337509B1 (ko) * 2014-08-29 2021-12-09 삼성전자주식회사 컨텐츠 제공 방법 및 그 전자 장치
US9671862B2 (en) * 2014-10-15 2017-06-06 Wipro Limited System and method for recommending content to a user based on user's interest
JP6367748B2 (ja) * 2015-04-10 2018-08-01 日本電信電話株式会社 認識装置、映像コンテンツ提示システム
WO2017094328A1 (ja) * 2015-11-30 2017-06-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10534955B2 (en) * 2016-01-22 2020-01-14 Dreamworks Animation L.L.C. Facial capture analysis and training system
EP3425635A4 (en) * 2016-02-29 2019-03-27 Panasonic Intellectual Property Management Co., Ltd. AUDIO PROCESSING DEVICE, IMAGE PROCESSING DEVICE, MICROPHONE NETWORK SYSTEM, AND AUDIO PROCESSING METHOD
JP6720575B2 (ja) * 2016-02-29 2020-07-08 株式会社ニコン 動画再生装置および動画処理装置
US10304447B2 (en) 2017-01-25 2019-05-28 International Business Machines Corporation Conflict resolution enhancement system
JP6767322B2 (ja) * 2017-08-18 2020-10-14 ヤフー株式会社 出力制御装置、出力制御方法及び出力制御プログラム
US20210158228A1 (en) * 2017-10-13 2021-05-27 Sony Corporation Information processing device, information processing method, information processing system, display device, and reservation system
KR101974130B1 (ko) * 2018-02-02 2019-04-30 동서대학교 산학협력단 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템
JP7098949B2 (ja) * 2018-02-14 2022-07-12 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
US10820060B1 (en) * 2018-06-27 2020-10-27 Facebook, Inc. Asynchronous co-watching
CN108833992A (zh) * 2018-06-29 2018-11-16 北京优酷科技有限公司 字幕显示方法及装置
US20200184979A1 (en) * 2018-12-05 2020-06-11 Nice Ltd. Systems and methods to determine that a speaker is human using a signal to the speaker
JP7189434B2 (ja) * 2019-01-11 2022-12-14 ダイキン工業株式会社 空間制御システム
JP7212255B2 (ja) * 2019-02-04 2023-01-25 株式会社Mixi 情報処理システム，制御プログラム及び情報処理装置
US11533537B2 (en) * 2019-03-11 2022-12-20 Sony Group Corporation Information processing device and information processing system
JP7014333B2 (ja) * 2019-04-25 2022-02-01 日本電信電話株式会社 心理状態可視化装置、その方法、およびプログラム
CN110418148B (zh) * 2019-07-10 2021-10-29 咪咕文化科技有限公司 视频生成方法、视频生成设备及可读存储介质
US20220301580A1 (en) * 2019-08-06 2022-09-22 Nippon Telegraph And Telephone Corporation Learning apparatus, estimation apparatus, methods and programs for the same
JP7229146B2 (ja) * 2019-11-13 2023-02-27 グリー株式会社 情報処理装置、情報処理方法および情報処理プログラム
US20230096240A1 (en) * 2020-02-21 2023-03-30 Philip Morris Products S.A. Method and apparatus for interactive and privacy-preserving communication between a server and a user device
JP7464437B2 (ja) 2020-04-23 2024-04-09 株式会社Ｎｔｔドコモ 情報処理装置
US11277663B2 (en) * 2020-05-18 2022-03-15 Mercury Analytics, LLC Systems and methods for providing survey data
US20230199251A1 (en) * 2020-07-29 2023-06-22 Lollol Co., Ltd. Online show rendition system, laughter analysis device, and laughter analysis method
US20220174357A1 (en) * 2020-11-30 2022-06-02 At&T Intellectual Property I, L.P. Simulating audience feedback in remote broadcast events
US11503090B2 (en) 2020-11-30 2022-11-15 At&T Intellectual Property I, L.P. Remote audience feedback mechanism
US11477520B2 (en) * 2021-02-11 2022-10-18 Roku, Inc. Content-modification system with volume-level detection feature
US20220377413A1 (en) * 2021-05-21 2022-11-24 Rovi Guides, Inc. Methods and systems for personalized content based on captured gestures
US11671657B2 (en) * 2021-06-30 2023-06-06 Rovi Guides, Inc. Method and apparatus for shared viewing of media content
JP2023025400A (ja) * 2021-08-10 2023-02-22 富士フイルム株式会社 感情タグ付与システム、方法及びプログラム
WO2023084933A1 (ja) * 2021-11-11 2023-05-19 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US20230290109A1 (en) * 2022-03-14 2023-09-14 Disney Enterprises, Inc. Behavior-based computer vision model for content selection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1908965A (zh) * 2005-08-05 2007-02-07 索尼株式会社 信息处理装置及其方法和程序
CN101169955A (zh) * 2006-10-27 2008-04-30 三星电子株式会社 用于生成内容元数据的方法和设备
CN102170591A (zh) * 2010-02-26 2011-08-31 索尼公司 内容播放装置
TW201306565A (zh) * 2011-06-20 2013-02-01 Microsoft Corp 基於環境感測之視訊選擇

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129594A (ja) 1993-10-29 1995-05-19 Toshiba Corp 自動通訳システム
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
US20070271580A1 (en) * 2006-05-16 2007-11-22 Bellsouth Intellectual Property Corporation Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Demographics
US20090063995A1 (en) * 2007-08-27 2009-03-05 Samuel Pierce Baron Real Time Online Interaction Platform
US8332883B2 (en) * 2007-10-02 2012-12-11 The Nielsen Company (Us), Llc Providing actionable insights based on physiological responses from viewers of media
JP5020838B2 (ja) 2008-01-29 2012-09-05 ヤフー株式会社 視聴反応共有システム、視聴反応管理サーバ及び視聴反応共有方法
US8645516B2 (en) * 2008-02-22 2014-02-04 Accenture Global Services Limited System for analyzing user activity in a collaborative environment
JP5244547B2 (ja) 2008-11-10 2013-07-24 株式会社日立ソリューションズ 音声コメント配信共有方法及びシステム
JP5326910B2 (ja) * 2009-01-20 2013-10-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5626878B2 (ja) 2010-10-20 2014-11-19 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 ビューイングシステム、携帯端末、サーバ、ビューイング方法
US9183632B2 (en) * 2010-11-24 2015-11-10 Nec Corporation Feeling-expressing-word processing device, feeling-expressing-word processing method, and feeling-expressing-word processing program
JP2012129800A (ja) 2010-12-15 2012-07-05 Sony Corp 情報理装置および方法、プログラム、並びに情報処理システム
BR112013021503A2 (pt) 2011-02-27 2018-06-12 Affectiva Inc método implantado em computador para recomendações baseadas em afeto; produto de programa de computador incorporado a um meio legível por computador; sistema de computador para recomendações baseadas em afeto; e método implantado em computador para classificação com base em afeto
US20120311032A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Emotion-based user identification for online experiences
JP2013070155A (ja) 2011-09-21 2013-04-18 Nec Casio Mobile Communications Ltd 動画スコアリングシステム、サーバ装置、動画スコアリング方法、動画スコアリングプログラム
US8943526B2 (en) * 2011-12-02 2015-01-27 Microsoft Corporation Estimating engagement of consumers of presented content
US8635637B2 (en) * 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9571879B2 (en) * 2012-01-10 2017-02-14 Microsoft Technology Licensing, Llc Consumption of content with reactions of an individual
US20130247078A1 (en) * 2012-03-19 2013-09-19 Rawllin International Inc. Emoticons for media

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1908965A (zh) * 2005-08-05 2007-02-07 索尼株式会社 信息处理装置及其方法和程序
CN101169955A (zh) * 2006-10-27 2008-04-30 三星电子株式会社 用于生成内容元数据的方法和设备
CN102170591A (zh) * 2010-02-26 2011-08-31 索尼公司 内容播放装置
TW201306565A (zh) * 2011-06-20 2013-02-01 Microsoft Corp 基於環境感測之視訊選擇

Also Published As

Publication number Publication date
US20160142767A1 (en) 2016-05-19
JP6369462B2 (ja) 2018-08-08
CN105247879A (zh) 2016-01-13
US10225608B2 (en) 2019-03-05
WO2014192457A1 (ja) 2014-12-04
EP3007456A4 (en) 2016-11-02
BR112015029324A2 (pt) 2017-07-25
JPWO2014192457A1 (ja) 2017-02-23
EP3007456A1 (en) 2016-04-13

Similar Documents

Publication Publication Date Title
CN105247879B (zh) 客户机设备、控制方法、系统和程序
US8990842B2 (en) Presenting content and augmenting a broadcast
US10699482B2 (en) Real-time immersive mediated reality experiences
JP5898378B2 (ja) 情報処理装置およびアプリケーション実行方法
US9323983B2 (en) Real-time image and audio replacement for visual acquisition devices
US20120072936A1 (en) Automatic Customized Advertisement Generation System
WO2014192552A1 (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
CN109844854A (zh) 单词流注释
TWI594203B (zh) 用於協同媒體收集之系統、機器可讀取儲存媒體及方法
CN109118290A (zh) 方法、系统和计算机可读非暂时性存储介质
JP2013088906A (ja) 画像認識システムを備えた知識情報処理サーバシステム
TW201117114A (en) System, apparatus and method for message simulation
US11017001B2 (en) Apparatus, systems and methods for providing conversational assistance
CN105898487A (zh) 一种面向智能机器人的交互方法和装置
WO2016136104A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2018092535A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2021177362A (ja) 情報処理装置、情報処理方法、情報処理プログラム及び端末装置
US20220224966A1 (en) Group party view and post viewing digital content creation
WO2012166072A1 (en) Apparatus, systems and methods for enhanced viewing experience using an avatar
US20230097729A1 (en) Apparatus, systems and methods for determining a commentary rating
EP4136855A1 (en) Systems and methods for processing and presenting media data to allow virtual engagement in events
JP7244390B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2021197563A (ja) 関連情報配信装置、プログラム、コンテンツ配信システム及びコンテンツ出力端末
CN104869131B (zh) 基于使用者意向的多个电子装置互动方法及其系统
CN116257159A (zh) 多媒体内容的分享方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant