CN109479116A - 信息处理设备、信息处理方法、以及程序 - Google Patents

信息处理设备、信息处理方法、以及程序 Download PDF

Info

Publication number
CN109479116A
CN109479116A CN201780044471.4A CN201780044471A CN109479116A CN 109479116 A CN109479116 A CN 109479116A CN 201780044471 A CN201780044471 A CN 201780044471A CN 109479116 A CN109479116 A CN 109479116A
Authority
CN
China
Prior art keywords
space
information processing
processing equipment
display
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780044471.4A
Other languages
English (en)
Other versions
CN109479116B (zh
Inventor
泉原厚史
阪井祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109479116A publication Critical patent/CN109479116A/zh
Application granted granted Critical
Publication of CN109479116B publication Critical patent/CN109479116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Hospice & Palliative Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

[问题]提供一种信息处理设备、信息处理方法、以及程序，其中，通过使用用于链接空间的三维表示可以产生相对于大量的通信伙伴的距离并且可以实现更为舒适的通信。[解决方案]信息处理设备设置有：接收单元，用于从通信目的接收数据；生成单元，用于使用多个通信目的地的捕获图像生成布置在三维空间中的指定位置处的空间图像信息；以及显示控制单元，用于执行控制，以使得在显示单元上显示生成的空间图像信息。

Description

信息处理设备、信息处理方法、以及程序
技术领域
本公开涉及一种信息处理设备、信息处理方法、以及程序。
背景技术
近年来，随着通信技术的发展，提出了在远距离位置处经由视频进行对话的TV电话会议系统。具体地，例如，在各个空间中设置显示设备、摄像机、麦克风、以及扬声器，并且从安装在另一空间中的显示设备和扬声器实时地输出特定空间内的捕获视频和采集的音频数据。
对于该双向通信技术，例如，下面专利文献1提出了这样一种技术，即，当使用类似窗口的成像/显示设备执行双向通信时，使得可以在观察侧看到与人的位置和角度的变化对应的视频。
此外，下面专利文献2提出了基于用户状态信息确定自己与通信伙伴的通信的请求程度，从而使得可以执行便于彼此的舒适通信。
引用列表
专利文献
专利文献1：JP 4576740B
专利文献2：JP 4645355B
发明内容
技术问题
然而，上述所述专利文献1具有使得远距离空间如同通过使用类似窗口的成像/显示设备的一个窗口连接的效果，但是，因为空间以零距离接触，所以可能引起紧邻附近的伙伴的抗拒。
此外，上述所述专利文献2解决了连接空间的定时问题(即，呼叫定时)，但是，并未提及空间之间的距离。
因此，本公开提出了一种信息处理设备、信息处理方法、以及程序，其能够通过使用用于连接空间的三维表示而实现到多个通信伙伴的距离的更为舒适的通信。
问题的解决方案
根据本公开，提出一种信息处理设备，包括：接收单元，被配置为从通信目的地接收数据；生成单元，被配置为通过使用多个通信目的地的捕获图像来生成布置在三维空间中的预定位置处的空间图像信息；以及显示控制单元，被配置为执行控制，以在显示单元上显示生成的空间图像信息。
根据本公开，提出一种信息处理方法，包括，通过处理器：从通信目的地接收数据；通过使用多个通信目的地的捕获图像来生成布置在三维空间中的预定位置处的空间图像信息；并且执行控制，以在显示单元上显示生成的空间图像信息。
根据本公开，提供一种程序，该程序使计算机用作：接收单元，被配置为从通信目的地接收数据；生成单元，被配置为通过使用多个通信目的地的捕获图像来生成布置在三维空间中的预定位置处的空间图像信息；以及显示控制单元，被配置为执行控制，以在显示单元上显示生成的空间图像信息。
发明的有利效果
根据上述所述本公开，通过使用用于连接空间的三维表示产生到多个通信伙伴的距离，可以实现更为舒适的通信。
应注意，上述所述效果不一定必须具有局限性。利用或替代上述效果，可以实现本说明书中描述的效果或从本说明书获得的其他效果中的任意一种。
附图说明
[图1]示出了根据本公开的实施方式的通信系统的概述。
[图2]是用于描述与多个位置有关的显示问题的示图。
[图3]是用于描述根据本公开的实施方式的多个位置的视频的显示实施例的示图。
[图4]是示出根据本实施方式的信息处理设备的配置的实施例的框图。
[图5]是用于描述根据本实施方式的通信控制处理的流程图。
[图6]是示出根据本实施方式的通信状态可视化处理的流程图。
[图7]示出了根据本实施方式的房屋对象布置在中间距离处的3D空间的显示实施例。
[图8]示出了根据本实施方式的隐私保护的实施例。
[图9]示出了根据本实施方式的房屋对象布置在短距离处的3D空间的显示实施例。
[图10]示出了根据本实施方式的零距离显示的实施例。
[图11]示出了根据本实施方式的房屋对象布置在长距离处的3D空间的显示实施例。
[图12]示出了根据本实施方式的通信发生可视化的实施例。
[图13]是用于描述根据本实施方式的可视化表达的类型的示图。
[图14]是用于描述根据本实施方式的可视化表达的另一类型的示图。
[图15]是用于描述根据本实施方式的可视化表达的另一类型的示图。
[图16]是用于描述根据本实施方式的通过波形的强度表达对话的活动性的方法的示图。
[图17]是用于描述根据本实施方式的通过发言气球的大小和数目表达对话的活动性的方法的示图。
[图18]是用于描述根据本实施方式的通过显示连接虚拟窗口的颜色的暗度表达对话的活动性的方法的示图。
[图19]是用于描述根据本实施方式的通过虚线的强度表达对话的活动性的方法的示图。
[图20]是用于描述根据本实施方式的通过虚拟窗口周围的光的强度表达对话的活动性的方法的示图。
[图21]是用于描述根据本实施方式的通过虚线表达对话的情绪的方法的示图。
[图22]是用于描述根据本实施方式的通过发言气球表达对话的情绪的方法的示图。
[图23]示出了根据本实施方式的拒绝参与显示的实施例。
[图24]示出了根据本实施方式的拒绝参与显示的另一实施例。
[图25]示出了根据本实施方式的拒绝参与显示的另一实施例。
[图26]示出了根据本实施方式的请求参与显示的实施例。
[图27]示出了根据本实施方式的请求参与显示的另一实施例。
[图28]是示出根据本公开的信息处理设备的硬件配置的说明图。
具体实施方式
在下文中，将参考所附附图详细描述本公开的优选实施方式。应注意，在本说明书和所附附图中，以相同的参考标号表示具有大致相同功能和结构的结构元件，并且省去这些结构元件的重复说明。
此外，将按照下列顺序给出描述。
1.根据本公开的实施方式的通信系统的概述
2.信息处理设备的配置
3.操作处理
4.空间信息的显示实施例
4-1.中等距离显示
4-2.短距离显示
4-3.零距离显示
4-4.长距离显示
4-5.可视化通信状态
(4-5-1.可视化表达的类型)
(4-5-2.对话活动性的表达)
(4-5-3.对话情绪的表达)
(4-5-4.拒绝参与显示)
(4-5-5.请求参与显示)
5.硬件配置
6.结论
<<1.根据本公开的实施方式的信息处理设备的概述>>
参考图1描述根据本公开的实施方式的通信系统1的概述。图1示出了根据本公开的实施方式的通信系统1的整体配置。
如图1中示出的，在根据本实施方式的通信系统1中，经由网络20连接信息处理设备10A、10B、以及10C。信息处理设备10A、10B、以及10C分别放置在空间A、空间B、以及空间C中，并且通过视频、音频等的信息通道连接空间，从而使得可以感觉空间是相连的。例如，当父母与孩子彼此住得远时，能够使得他们的生活空间看上去经由与窗口或门对应的显示设备连接至彼此。在生活空间连接至彼此的情况下，用户可以在大致地掌握伙伴空间的情况(例如，孩子的情况、父母的情况等)的同时生活。
信息处理设备10A至10C执行双向通信的同步处理、空间距离的计算和控制等；通过处理服务器30可以执行分离距离的计算与控制。此外，通信系统1包括图1中示出的实施例的处理服务器30，但是，本公开并不局限于此，并且不需要包括处理服务器30。
(背景)
此处，在一般视频聊天技术中，通过在0与1之间切换控制与通信伙伴的连接，诸如，视频的显示/非显示或声音的开启/关闭(ON/OFF)等，并且不能够精细地调整连接程度。因此，不断地出现高度逼真的感觉，从而不能满足诸如希望持续感受伙伴的情况等用户的需求。上面专利文献中的任一个未描述控制所连接的空间之间的距离。
此外，在使用类似窗口的大屏幕设备的虚拟同居体验系统中，在与伙伴的一对一(一个位置至一个位置)连接的情况下，显示一个视频的简单控制是可能的；然而，在与多个空间连接的情况下，存在的问题在于，通过简单的屏幕分割而失去比例感，并且难以调整与各个伙伴的通信强度。
例如，如图2中示出的，在安装在墙壁等上的类似窗口的大屏幕设备80中，当通过简单的屏幕分割显示多个通信目的地的视频(空间B中的视频81和空间C中的视频82)时，失去了原尺寸感和比例感，并且不能充分表达虚拟的同居体验。
因此，本实施方式针对空间连接使用三维表示，以可以实现在不失去原尺寸感和比例感的情况下更为舒适地通信。参考图3描述的具体显示实施例。图3是用于描述根据本公开的实施方式的多个位置的视频的显示实施例的示图。如图3中示出的，例如，在显示器1091上显示三维空间，并且将与相应空间对应的虚拟房屋对象21B和21C布置在三维空间中。显示器1091是大屏幕显示设备并且安装在墙壁等上，类似于窗口或门口。此处，例如，使用安装在空间A中的显示器1091描述显示实施例。应注意，尽管图3中未示出，然而，摄像机1011、麦克风1012、传感器1013、扬声器1092、以及指示器1093(LED等)也安装在空间A中，诸如显示器1091的周围。并不具体局限于其安装的地方和数目。
布置在三维空间中的虚拟房屋对象21B和21C分别与通信目的地空间B和C对应，并且将各个通信目的地的视频装配到窗口或门口中。即，被装配到房屋对象21B的窗口中的视频22B是在空间B中捕获的视频，并且被装配到房屋对象21C中的视频22C是在空间C中捕获的视频。即使在房屋略微远的状态下，这也使得可以通过各个其他房屋的窗口掌握伙伴的房屋的情况。因为从某种程度上保持到伙伴房屋的距离，所以恒定的连接不会产生高度的逼真的感觉，并且能够获得如同呆在同一空间中的虚拟同居体验。此外，例如，可以听到与到伙伴的房屋的距离对应的音量的声音。此外，根据三维空间中的每个房屋的位置，可以根据立体声对来自每个房屋的声音执行听觉单侧化。应注意，作为此处的实施例，使用房屋对象作为装配了通信目的地的视频的虚拟对象。然而，本实施方式并不局限于此；例如，可以使用诸如车辆(例如，汽车或火车)、房屋之外的建筑物、结构、或自然对象等虚拟对象，并且可以将通信目的地的视频装配到诸如窗口或门等开口中。
此外，如图3中示出的，可以将平台24设置在三维空间的视频的中心附近，以能够经由在虚拟空间中的平台24上的虚拟对象执行通信。平台24的形状与位置不受具体限制，并且例如，可以使用房屋周围的范围、而非平台24作为虚拟庭院空间。
因此，根据本实施方式的通信系统1使得显示器1091上显示的三维空间中的房屋之间的距离变长和变短，由此控制所连接的空间之间的连接程度，并且能够在不失去原尺寸感和比例感的情况下支持更为舒适的通信。
已经描述了根据本公开的实施方式的通信系统1的概述。现在，将参考图4描述通信系统1中所使用的信息处理设备10的配置。
<<2.信息处理设备的配置>>
图4是示出根据本实施方式的信息处理设备10的配置的实施例的框图。如图4中示出的，信息处理设备10包括输入单元101、空间信息获取单元102、状态确定单元103、空间距离控制单元104、操作接口(I/F)105、3D空间生成单元106、通信单元107、空间信息生成单元108、输出单元109、以及存储单元110。
输入单元101具有输入空间信息的功能。例如，通过摄像机1011、MIC(麦克风的缩写)1012、以及传感器1013实现输入单元101。摄像机1011(可以包括多个摄像机)使空间(例如，起居室)内部成像，以获取捕获图像。此外，麦克风1012(可以包括多个麦克风)采集空间中的声音及空间周围(例如，相邻房间、大厅、房屋外面)的环境声音，以获取音频数据。此外，传感器1013具有检测空间或空间周围的各种类型的信息的功能，并且假设了温度传感器、湿度传感器、亮度传感器、运动传感器、门打开/关闭传感器等作为实施例。
空间信息获取单元102从输入单元101获取各种类型的空间信息、准备数据，使得可以使用数据作为状态确定单元103做出状态确定的材料，并且空间信息获取单元102输出数据。例如，数据的准备为噪音处理、图像分析、对象识别、语音分析等。进一步地，空间信息获取单元102基于所获取的空间信息执行用户识别。作为用户识别，假设了下列识别：空间中的用户的个人识别、及用户的位置(用户在房间中的位置等)、姿势(用户是否是站着、坐着、或睡觉等)、情绪(用户是否高兴或悲伤等)、动作(准备晚餐、看电视、读书等)、以及忙碌度(用户是否在忙于四处走动等)。此外，空间信息获取单元102基于所获取的空间信息执行环境识别。作为环境识别，假设了下列识别：空间的当前时区(上午、下午、傍晚、深夜)、明亮度(房间的明亮度、来自窗口的光)、温度、声音(在空间中采集的声音)、区域(空间存在的地方)、整洁度(房间的整洁度)等。
状态确定单元103基于通过空间信息获取单元102获取并且输出的信息确定空间的状态或用户的状态(即，通信源空间的背景)。例如，状态确定单元103基于空间信息获取单元102的用户识别结果和环境识别结果确定空间的状态或用户的状态。应注意，通信源空间的背景可以包括用户的状态、状态、时间、季节、天气、或用户所在的真实空间的位置、或与伙伴用户的关系。
空间距离控制单元104具有控制所连接的空间之间的三维空间距离(深度方向上的分离距离)的功能。在本实施方式中，将从各个通信目的地空间(例如，房屋对象21，装配了图3中所示的视频22)获取的信息放置在适当的三维空间距离处，以显示连接的深度，从而能够实现舒适的连接状态。假设随着到伙伴空间的距离变长，用户的心理抵抗减少，并且随着到伙伴空间的距离变短，用户的心理抵抗增加。即，空间之间的短距离致使伙伴视频看起来很清晰，并且空间与高度真实感相连接。另一方面，空间之间的长距离致使伙伴视频看起来不清晰，并且空间与低度真实感相连接。
根据基于从状态确定单元103输出的确定结果(通信源空间的背景)所计算的公开程度、或例如基于用户手动设置的公开程度可以控制到伙伴空间的距离。例如，在用户看电视的同时做家务、忙于走动、或放松的情况下，空间距离控制单元104使得到伙伴空间的距离更长。此外，例如，在用户靠近显示器1091的情况下，空间距离控制单元104可以缩短到伙伴空间的距离。将到伙伴空间的距离从通信单元107传输至各个通信目的地信息处理设备10并且同步，作为公开程度。通过信息处理设备10或处理服务器30可以调整公开程度。例如，基于用户端空间中所需的公开程度和伙伴空间中所需的公开程度可以将公开程度调整至最佳公开程度。
操作接口(I/F)105接收用户输入的操作、并且将操作输入输出至空间距离控制单元104和3D空间生成单元106。例如，这能够使得用户自由地设置“到伙伴空间的距离”，并且还能够对三维空间中布置的各个对象(虚拟对象)执行操作输入。
3D空间生成单元106生成要在显示器1091上显示的3D空间。具体地，例如，3D空间生成单元106根据通过空间距离控制单元104设置的到各个通信伙伴的距离生成3D空间图像，其中，布置有与通信目的地空间对应的房屋。此外，3D空间生成单元106可以在3D空间中实时反映来自通信源或通信目的地的信息、或布置指定的对象(虚拟对象)。此外，通过自动设置或用户设置可以不同地应用诸如3D空间的背景等情景。例如，可以设置各种情景，诸如森林中、市区、空间中、以及海底等。
此外，根据本实施方式的3D空间生成单元106可以在3D空间中可视化通信伙伴之间的通信状态。在与多个空间持续连接时，可视化用户之外的参与者之间的通信状态使得可以找出之前发生的通信的氛围；由此，用户能够适当地确定是否参与通信。例如，即使在多个伙伴的房屋布置地较远、环境不清晰、并且不能很好地听清对话的状态下，通信状态的可视化也能够实现适当地确定情形。这防止了通信时发生问题，并且相反，可以实现主动参与通信，并且因此能够实现舒适的多点持续连接。例如，可以做出下述确定：诸如当发现某人的母亲与妹妹的谈话出于某种原因处于阴郁的氛围时决定不参与、或当有一点忙、但发现某人的母亲与妹妹的对话欢快时决定仅短时间参与等。
例如，根据通信伙伴之间的对话的活动性(兴奋、对话强度、对话的发展状况等)或情绪(情绪：高兴、生气、悲伤、及喜悦)来进行可视化通信。3D空间生成单元106基于经由通信单元107从各个通信目的地发送的对话的语音和视频计算对话的活动性或情绪。例如，3D空间生成单元106根据以下计算对话的活动性(activity)：讲话人的语音大小、语音的持续时间、交换的字的数量、手势与点头的幅度和频率、距显示器1091的距离、面向显示器1091的人数、对话发展的速度及频率等。此外，3D空间生成单元106根据以下评估情绪：讲话人的语音大小、语音的持续时间、讲话的速度、所使用的词语和措词、语音的语调强度、面部表情、视线(某人的眼睛移开或注视)、手势的幅度与频率等。用于计算活动性的算法和用于评估情绪的算法不受具体限制，并且可以使用现有的算法。3D空间生成单元106根据所计算的活动性和所评估的情绪执行可视化表达。
应注意，不局限于通过3D空间生成单元106分析从通信伙伴接收的数据(声音和视频)来获取通信状态(对话的活动性、对话的情绪)，并且可以接收对通信伙伴端或处理服务器30的分析结果。
通信单元107经由网络20连接至另一信息处理设备10或处理服务器30、并且发送和接收数据。例如，通信单元107将从空间信息获取单元102输出的空间信息、从空间距离控制单元104输出的空间距离、以及从3D空间生成单元106输出的3D空间的信息传输至通信目的地信息处理设备10或处理服务器30。此外，通信单元107接收从通信目的地信息处理设备10或处理服务器30接收的空间信息、空间距离、3D空间的信息等。在本实施方式中，在通信源和通信目的地处，同步3D空间和到伙伴的三维空间距离。此外，通信单元107能够从网络上的相关联的服务服务器接收通过处理服务器30获取的信息(天气信息、新闻、时间表信息等)、或从网络上的相关联的服务服务器直接接收信息。
空间信息生成单元108基于通过3D空间生成单元106生成的3D空间图像和经由通信单元107接收的通信目的地空间的视频而生成空间信息。将生成的空间信息发送至输出单元109。具体地，空间信息生成单元108通过将经由通信单元107接收的通信目的地空间的视频与通过3D空间生成单元106生成的3D空间图像的虚拟房屋图像组合而生成空间图像信息。此外，空间信息生成单元108基于在生成的3D空间中生成的声音与经由通信单元107接收的通信目的地空间的声音而生成空间音频信息。此时，空间音频信息可以是通过根据3D空间中的房屋的布置对通信目的地声音执行听觉单侧化而获得的信息。
输出单元109用作输出控制单元，执行控制，以将通过空间信息生成单元108生成的空间信息从各个设备输出至用户。例如，输出单元109包括显示器1091、扬声器1092、或指示器1093(LED灯等)、并且执行显示输出、音频输出、以及通知输出。在显示器1091上显示通过空间信息生成单元108生成的空间图像信息。此外，在扬声器1092上显示通过空间信息生成单元108生成的空间音频信息。
存储单元110存储经由通信单元107发送和接收的数据。此外，在图4的实施方式中，存储单元110连接至通信单元107，但是，本实施方式并不局限于此，并且可以使用存储单元110作为信息处理设备10中包括的各个部件的存储区。
已经具体描述了根据本实施方式的信息处理设备10的配置。应注意，信息处理设备10的配置并不局限于图4中示出的实施例；例如，通过外部设备可以实现配置的一部分，并且配置的一部分可以通过有线/无线的方式连接至信息处理设备10。
<<3.操作处理>>
<3-1.通信控制处理>
图5是用于描述根据本实施方式的通信控制处理的流程图。在连接的各个空间A至C中同样执行图5中示出的操作处理，但是，此处将空间A中的信息处理设备10A的操作处理描述为实施例。
如图5中示出的，首先，信息处理设备10A对空间B和空间C执行连接处理(步骤S103)。具体地，例如，信息处理设备10A对信息处理设备10B和10C进行调用并且在从伙伴处收到用于连接的许可的情况下建立会话。
接着，信息处理设备10A通过空间信息获取单元102获取空间A的空间信息(视频、声音、传感器数据)(步骤S106)。
然后，信息处理设备10A通过状态确定单元103确定用户A的状态和空间A的状态(步骤S109)。用户A可以从操作I/F 105手动输入状态信息。
接着，信息处理设备10A将空间信息和状态信息发送至通过通信连接的空间B中的信息处理设备10B和空间C中的信息处理设备10C(步骤S112)。
然后，信息处理设备10A从信息处理设备10B和信息处理设备10C接收在空间B和空间C中同样地获取的空间B和空间C的实时空间信息和状态信息(步骤S115)。
接着，信息处理设备10A通过3D空间生成单元106生成3D空间(步骤S118)。例如，3D空间生成单元106根据通过空间距离控制单元104控制的距离生成3D空间，在3D空间，布置有与相应空间对应的虚拟房屋对象。此外，3D空间生成单元106基于通信伙伴之间的对话语音和视频实时可视化通信状态。接着，将参考图6描述通信状态可视化处理。
然后，信息处理设备10A从输出单元109输出通过空间信息生成单元108生成的空间信息。空间信息生成单元108生成通过将经由通信单元107接收的空间B和空间C的实时视频与通过3D空间生成单元106生成的3D空间中的相应房屋对象组合而获得的空间图像信息、并且例如将空间图像信息输出至显示器1091。
<3-2.可视化处理>
图6是示出根据本实施方式的通信状态可视化处理的流程图。如图6中示出的，首先，信息处理设备10A的3D空间生成单元106分析各个通信伙伴的对话语音和视频(步骤S203)。
接着，3D空间生成单元106计算对话的活动性(步骤S206)并且评估对话情绪(步骤S209)作为通信状态。
然后，3D空间生成单元106根据所计算的对话的活动性或对话的情绪在3D空间中可视化通信状态(步骤S212)。后面将参考图12至图27描述可视化表达的具体实施例。
已经具体描述了根据本实施方式的操作处理。现在，将使用附图描述根据本实施方式的空间信息的具体显示实施例。
<<4.空间信息的显示实施例>>
<4-1.中等距离显示>
首先，参考图7描述具有“中等”公开程度的中等距离显示。图7示出了根据本实施方式的房屋对象布置在中等距离处的3D空间的显示实施例。在示出的实施例中，在大型并且安装在墙壁等上的显示器1091上显示经由窗口看到的窗框图像40和3D空间图像41。
在3D空间图像41中，布置了通过通信连接的与空间B对应的房屋对象21B和与空间C对应的房屋对象21C。在本实施方式中，可以将图7中作为实施例示出的从窗框图像40至房屋对象21B和房屋对象21C的距离限定为“中等距离”，并且可以将此设置为常态。常态是持续连接的正常状态，并且信息处理设备10总是控制在中等距离处，除非存在某种类型的触发。“中等距离”是这样的距离：视频足够可见到用于粗略地掌握伙伴空间的情况、不承担大的心理负担，并且该距离是能够使得每个用户能够发现伙伴的情况而不会被用户他/她看到而苦恼的距离感。此外，在“中等距离”的情况下，信息处理设备10A将伙伴空间的声音的音量控制为中等音量。图7中示出的“中等距离”是实施例，“中等距离”可以提前设置，可以在连接开始时由每个用户自由地输入并且调整、或可以基于各个用户的状态在系统侧适当的调整。
应注意，在“中等距离”的持续连接的情况下，可能出现某人不希望被伙伴看到的情形。在这种情况下，为了保护用户的隐私，信息处理设备10能够使得伙伴难以看到视频，并且还执行能够使得用户直观地发现伙伴难以看到视频的显示。在图7示出的实施例中，以磨砂玻璃表达房屋对象21C的虚拟窗口，并且空间C的视频22C处于模糊状态。这是因为空间C中的用户C自由地控制阻断。
此外，参考图8描述了隐私保护的另一实施例。图8示出了根据本实施方式的隐私保护的实施例。如图8中示出的，例如，在显示器1091上显示盲板图像42，以能够使得用户直观地掌握伙伴难以看到视频。在这种情况下，自然，在空间A的视频上同样叠加显示盲板图像并且同步，空间A的视频被装配到与伙伴空间的显示器1091上显示的放置在3D空间中的自身空间对应的房屋对象中。
绘制盲板的大小并且通过用户操作(例如，显示器1091上的触摸操作)可以控制它的外观。由此，可视化地绘制盲板还用作指示某人当前不希望被看到或被对话的意图。
应注意，图8中示出的盲板的实施例是用于表达隐私保护(阻断)的方法的实施例，并且例如，还可以存在诸如将窗口屏幕设置在显示器1091上并且关闭窗帘等表达方法。此外，在显示器1091类似于虚拟门的情况下，诸如关闭门等表达也是可能的。
<4-2.短距离显示>
接着，参考图9描述具有“高”公开度的短距离显示。图9示出了根据本实施方式的房屋对象布置在短距离处的3D空间的显示实施例。
在本实施方式中，可以将图9中作为实施例示出的从窗框图像40至房屋对象21B和房屋对象21C的距离限定为“短距离”范围，并且可以将此设置为可以进行对话的状态。如图9中示出的，在“短距离”处，能够足够清晰地看到视频，以充分掌握伙伴空间的情况。此外，信息处理设备10控制输出，以使得能够充分听到伙伴空间的声音，以能够进行对话。能够单独控制到房屋对象21的距离(例如，仅可以靠近房屋对象21B)。
此外，在“短距离”处，许多人可以使用安装在房屋对象之间的平台24进行协作工作并且交换信息。例如，如图9中示出的，能够显示虚拟宠物对象25，并且能够根据用户操作通过喂食进行照料。例如，如图9中示出的，空间A中的用户A能够通过操作进行喂食26A，并且空间B中的用户B同样能够通过操作进行喂食26B。由此，能够经由3D空间中显示的对象实现相互通信。即，能够从每个空间对布置在3D中间中的各个对象施加影响，以使得能够通过对象实现通信。
3D空间的该使用并不局限于图9中示出的实施例，并且可以存在其他各个实施例。给出具体实施例如下。
-将虚拟的花和植物布置在3D空间中，并且用户能够通过浇水来共同培养它们。
-可以显示凸窗，并且可以在凸窗处布置虚拟的植物。用户可以购买并且布置虚拟植物、或将其呈现给伙伴。
-可以在3D空间的中心处放置壁炉，并且在用户扔进木柴的情况下可以产生火焰。
-可以在3D空间中放置从伙伴空间的视频中提取的具体对象。例如，可以仅提取在伙伴空间的视频中出现的儿童并且放置在3D空间中。这使得即使在房间凌乱并且某人实在不希望房间被看到的情况下也可以仅显示在房间中玩耍的儿童。
此外，在3D空间中，可以实时反映来自每个空间的信息。例如，可以在3D空间中反映每个空间中的照明度(色温、明亮度、波动)、室温、以及环境信息(天气等)。在反映每个空间的天气的情况下，例如，在空间B的区域中实际下雨的情况下，可以使在放置于3D空间中的空间B的房屋对象21B周围下雨。这可以使得每个用户实时掌握伙伴空间的天气情形。
此外，在3D空间中，可以设置用户能够自由地书写的虚拟公告板。此外，例如，在虚拟公告板上，可以基于用户某天的动作信息自动显示一天的节略。
<4-3.零距离显示>
此外，从短距离进一步靠近导致虚拟窗口连接的状态，即，零距离显示。在这种情况下，可以显示更清晰的视频。图10示出了零距离显示的实施例。
如图10的左侧示出的，进一步靠近伙伴房屋对象21B和21C致使虚拟窗口连接，从而导致如图10的右侧示出的零距离显示。在零距离显示中，例如，并排显示空间B的视频22B和空间C的视频22C。在这种情况下，阻断3D空间的声音和信息，以能够集中于通信。
<4-4.长距离显示>
接着，参考图11描述具有“低”公开度的长距离显示。图11示出了根据本实施方式的房屋对象布置在长距离处的3D空间的显示实施例。
如图11中示出的，在希望远离伙伴空间的情况下，例如，用户能够自由地执行将公开度设置成“低”的操作，以远离房屋对象21B和21C。在这种情况下，自然，将距离(公开度)同步为使得远距离显示与伙伴空间中的显示器1091上显示的放置于3D空间中的自身空间对应的房屋对象。
<4-5.通信状态的可视化>
现在，将描述根据本实施方式的通信状态的可视化的具体实施例。如上所述，在本实施方式中，在通信伙伴之间已经发生通信的情况下(在进行了对话的情况下)，可视化该通信的状态能够使得用户适当地确定是否主动参与通信。
图12示出了根据本实施方式的发生可视化通信的实施例。如图12中示出的，在房屋对象21B和21C放置在短距离处的情况下，例如，在显示器1091上显示的3D空间中并且房屋对象21B和21C之间发生通信时，信息处理设备10显示连接房屋对象的虚拟窗口的可视化显示50。例如，以简单的线形式表达可视化显示50。这使得用户在看到显示器1091时，直观地掌握通信伙伴(用户B与用户C)之间已经发生通信。在下文中，将使用多个具体实施例描述该可视化表达的变形。
(4-5-1.可视化表达的类型)
图13至图15是用于描述根据本实施方式的可视化表达的类型的示图。如图13的左侧示出的，在伙伴空间之间不发生任何通信的状态下，信息处理设备10并不执行可视化显示，并且例如，如图13的右侧示出的，在伙伴空间之间已经发生通信的状态下，通过以波形状设计表达对话的活动性的可视化显示51来执行连接房屋对象21B和21C的虚拟窗口的显示。
此外，如图14的左侧示出的，在伙伴空间之间发生通信的状态下，信息处理设备10可以执行浮动的可视化显示52的显示，例如，在房屋对象21B和21C上方的天空中以类似漫画的发言气球的对象表达对话的活动性。此外，如图14的右侧示出的，在伙伴空间之间已经发生通信的状态下，信息处理设备10可以利用如同房屋对象21B和21C的虚拟窗口连接的表达显示虚拟化显示53。
此外，如图15的左侧示出的，例如，在伙伴空间之间已经发生通信的状态下，信息处理设备10可以通过线的简单连接的表达显示可视化显示54，或者如图15的右侧示出的，通过虚线进一步表达对话的活动性的可视化显示55来执行连接虚拟窗口的显示。
如上所述，根据本实施方式的通信状态的可视化表达包括诸如简单的线、虚线、波浪线、或发言气球等各种类型。在所有情况下，通过使用连接伙伴空间的表达来表达伙伴空间之间发生了通信。
现在，下面将用于表达该可视化表达的每种类型的对话活动性或对话情绪的方法给出具体实施例。
(4-5-2.对话的活动性的表达)
图16至图20是用于描述根据本实施方式的表达对话的活动性的方法的示图。
如图16中示出的，在使用利用波形的可视化显示51的情况下，例如，通过波形的强度可以表达对话的活动性。如附图16中示出的，在对话的活动性平静的情况下，信息处理设备10以温和的波形显示可视化显示51-1，当对话的活动性变得略微活跃时，信息处理设备10以略微强烈的波形显示可视化显示51-2，并且当对话的活动性变得活跃时，信息处理设备10以强烈的波形显示可视化显示51-3。这使得用户直观地掌握对话的活动性。
此外，如图17中示出的，在使用利用漫画的发言气球的可视化显示52的情况下，例如，通过发言气球的大小和数目表达对话的活动性。如附图17中示出的，在对话的活动性平静的情况下，信息处理设备10以少量的小发言气球显示可视化显示52-1，当对话的活动性变得略微活跃时，信息处理设备10以增加数目的中等大小的发言气球显示可视化显示52-2，并且当对话的活动性变得活跃时，信息处理设备10以增加数目的包括大的发言气球的发言气球显示可视化显示52-3。这使得用户直观地掌握对话的活动性。
此外，如图18中示出的，在使用连接虚拟窗口的可视化显示53的情况下，例如，以可视化显示53的颜色的暗度表达对话的活动性。如附图18中示出的，在对话的活动性平静的情况下，信息处理设备10以浅色显示可视化显示53-1，并且当对话的活动性变得略微活跃时，信息处理设备10以中等暗度的颜色显示可视化显示53-2，并且当对话的活动性变得活跃时，信息处理设备10以暗色显示可视化显示53-3。这使得用户直观地掌握对话的活动性。
此外，如图19中示出的，在使用利用虚线的可视化显示55的情况下，例如，通过虚线的密度表达对话的活动性。如附图19中示出的，在对话的活动性平静的情况下，信息处理设备10以降低的密度的虚线显示可视化显示55-1，当对话的活动性变得略微活跃时，信息处理设备10以略微增强密度的虚线显示可视化显示55-2，并且当对话的活动性变得活跃时，信息处理设备10以增强密度的虚线显示可视化显示55-3。这使得用户直观地掌握对话的活动性。
此外，如图20中示出的，在使用以相似方式照亮虚拟窗口的周围环境的可视化显示56的情况下，例如，以光的强度表达对话的活动性。如附图20中示出的，在对话的活动性平静的情况下，信息处理设备10通过微弱地照亮每个伙伴空间的虚拟窗口的周围环境而显示可视化显示56-1，当对话的活动性变得略微活跃时，信息处理设备10通过略微强烈的照亮周围环境而显示可视化显示56-2，并且当对话的活动性变得活跃时，信息处理设备10通过强烈的照亮周围环境而显示可视化显示56-3。这使得用户直观地掌握对话的活动性。
如上所述，通过波浪线的强度、虚线的密度、发言气球的大小和数目、颜色的暗度、光的强度等表达对话的活动性的活跃性(强度)。
(4-5-3.对话的情绪的表达)
现在，将描述用于表达对话的情绪的方法。图21和图22是用于描述根据实施方式的表达对话的情绪的方法的示图。
在使用利用波形的可视化显示51的情况下，例如，在对话的情绪温和的情况下，信息处理设备10以图21的上部示出的具有曲线和低波峰的(平滑)波形显示可视化显示51a，在对话的情绪急躁的情况下，信息处理设备10以图21的中部示出的剧烈波形显示可视化显示51b，并且在对话的情绪看上去欢快的情况下，信息处理设备10以图21的下部示出的具有曲线和高波峰的(而非强烈)波形显示可视化显示51c。此外，可以将波形的背景颜色(诸如冷色或暖色等颜色的图像)进一步设置成与情绪对应的颜色。这使得用户直观地掌握对话的情绪。
应注意，信息处理设备10可以额外地包括通过上述所述波浪线的强度表达对话的活动性，并且表达对话的活动性和对话的情绪，诸如在急躁的情绪中的活跃的对话或在欢快的情绪中的平静的对话。
此外，在使用利用发言气球的可视化显示52的情况下，例如，在对话的情绪温和的情况下，信息处理设备10使用图22的上部示出的圆形发言气球显示可视化显示52a，在对话的情绪急躁的情况下，信息处理设备10显示图22的中部示出的爆炸性发言气球的可视化显示52b，并且在对话的情绪看上去欢快的情况下，信息处理设备10显示图22的后部示出的星形形状的可视化显示52c。这使得用户直观地掌握对话的情绪。
(4-5-4.拒绝参与显示)
此外，在用于多人持续连接的通信系统1中，可能发生“某人不希望特定的人参与”的情形。在本实施方式中，之前开始通信的参与者能够在3D空间中清晰地显示“拒绝参与”，以指示某人拒绝第三人参加或不希望第三人参与的意图。
用户能够主动地选择并且取消“拒绝参与”的显示。此外，系统侧可以掌握通信状态并且自动显示“拒绝参与”。例如，在从对话中提取诸如“让我们保密”和“它是个秘密”等预定的关键词的情况下，可以自动显示拒绝另一人参加的“拒绝参与”。
此处，参考图23和图24描述“拒绝参与”的显示实施例。图23示出了根据本实施方式的拒绝参与显示的实施例。在示出的实施例中，以圆顶状的封闭显示60覆盖房屋对象21B(图24中简单示出的房屋对象)和21C；由此，明确的表达了用户B和用户C不希望另一人参与他们的通信。
图24示出了根据本实施方式的拒绝参与显示的另一实施例。在示出的实施例中，在房屋对象21B和21C的前端显示篱笆显示61；由此，明确地表达了用户B和用户C不希望另一人参与他们的通信。
图25示出了根据本实施方式的拒绝参与显示的另一实施例。在示出的实施例中，在房屋对象21B和21C的前端显示帘式显示62，并且将禁止标记63添加到帘式显示62上；由此，明确地表达了用户B和用户C不希望另一人参与他们的通信。
如上所述，根据本实施方式，显示拒绝参与使得可以指示某人拒绝第三人参加或不希望第三人参与的意图。由此，例如，可以存在下列使用情况：在通信系统1能够实现其中母亲与她的女儿和儿子参与的多点持续连接的情况下，例如，当女人们希望她们之间谈话时，向儿子临时显示拒绝参与。还可以存在下列使用情况：在通信系统1能够实现其中出于工作而远离家庭的父亲、他的家人、以及祖父母参与的多点持续连接的情况下，例如，当父亲想要训诫他的儿子时，向祖父母临时显示拒绝参与。
(4-5-5.请求参与显示)
此外，在用于多人持续连接的通信系统1中，可能发生“某人想要特定的人参与”的情形。在本实施方式中，之前开始通信的参与者能够在3D空间中清晰地显示“请求参与”，以请求第三人参加。
用户能够主动地选择并且取消“请求参与”的显示。显示请求参与使得被请求参与的参与者自由地确定是否参与。此外，这使得具有低参与率的参与者容易参与。
此处，参考图26和图27描述“请求参与”的显示实施例。图26示出了根据本实施方式的请求参与显示的实施例。在示出的实施例中，在3D空间的房屋对象21B和21C上方的天空中显示做出招手动作的图标64；由此，明确地表达了用户B和用户C希望另一人参与他们的通信。
图27示出了根据本实施方式的请求参与显示的另一实施例。在示出的实施例中，在房屋对象21B和21C上方的天空中显示做出如同摇铃摆动并且响铃的动作的图标65；由此，明确地表达了用户B和用户C希望另一人参与他们的通信。
如上所述，根据本实施方式，显示请求参与使得可以请求第三人参加。由此，例如，可以存在下列使用情况：在母亲与她的女儿之前已经通过通信系统1对话但是哥哥看似不能参与对话的情况下，向哥哥显示请求参与。
<<5.硬件配置>>
已经描述了本公开的实施方式。通过协作地操作信息处理设备100的软件和硬件可以实现通过上述所述信息处理设备10执行的处理(后面所述)。
图28是示出根据本公开的信息处理设备100的硬件配置的说明图。如图28中示出的，信息处理设备100包括中央处理单元(CPU)142、只读存储器(ROM)144、随机访问存储器(RAM)146、桥148、总线150、接口152、输入设备154、输出设备156、存储设备158、驱动160、连接端口162、以及通信设备164。
CPU 142用作算法处理设备和控制设备，以能够通过协作地操作各种各样的程序而实现信息处理设备10的空间信息获取单元102、状态确定单元103、空间距离控制单元104、3D空间生成单元106、以及空间信息生成单元108的操作。此外，CPU 142可以是微处理器。ROM 144存储CPU 142使用的程序、操作参数等。RAM 146短暂存储CPU 142运行时使用的程序、CPU 142运行时根据需要而改变的参数等。ROM 144与RAM 146实现信息处理系统中的存储单元17的一部分。CPU 142、ROM 144、以及RAM 146通过包括CPU总线等的内部总线连接至彼此。
输入设备154实现信息处理设备10中的摄像机1011、麦克风1012、传感器1013、以及操作I/F 1015，并且包括将输入信号输出至CPU 142的输入控制电路等。
例如，输出设备156实现信息处理设备10中的显示器1091、扬声器1092、以及指示器1093。作为显示器1091的实施例，假设了液晶显示器(LCD)设备、有机发光二极管(OLED)设备等。
例如，存储设备158是实现信息处理设备10中的存储单元110的数据存储设备。存储设备158可以包括存储介质、将数据记录在存储介质上的记录设备、从存储介质读取数据的读设备、删除存储介质上记录的数据的删除设备等。存储设备158存储由CPU 142运行的各种各样的数据或程序。
驱动160是用于存储介质的读取器/写入器、并且被整合在或从外部附接至信息处理设备100。驱动160读取记录在所安装的可移除存储介质中的信息，诸如磁盘、光盘、磁光盘、或半导体存储器等，并且驱动160将信息输出至RAM 144。驱动160还能够将信息写入可移除存储介质。
例如，连接端口162是用于连接至信息处理设备或信息处理设备100外部的外围装备的总线。此外，连接端口162可以是通用串行总线(USB)。
例如，作为信息处理设备10中的通信单元107的实施例，通信设备164是通过与网络连接的通信装备实现的通信接口。此外，通信设备164可以是支持红外通信的设备、支持无线局域网(LAN)的通信设备、支持长期演进(LTE)的通信设备、或执行有线通信的有线通信设备。
<<6.结论>>
如上所述，根据本公开的实施方式的信息处理系统能够通过使用用于连接空间的三维表示以产生到多个通信伙伴的距离而实现更为舒适的通信。
具体地，在安装在墙壁等上并且类似于窗口或门口的大型显示器上显示3D空间，并且将装配有多个通信伙伴的视频的虚拟对象(诸如房屋等)布置在3D空间中；由此，能够可视化地表示到通信伙伴的距离。应注意，根据实际窗口或门中使用的尺寸可以实现安装在墙壁表面上的显示器的长宽比。此外，通过将显示器放置成使得其下端位于地板表面附近、并且进行如同与3D空间的地面接近的显示，可以更为真实地表达3D空间与实际空间之间的连接。
此外，将放置在3D空间中的通信伙伴的视频装配到诸如房屋等虚拟对象中并且播放，并且随着3D空间中的距离变短或变长而显示放大/缩小的视频；由此，不失去生活尺寸感。
上面已经参考所附附图描述了本公开的优选实施方式，但本公开并不局限于上述实施例。本领域技术人员应当发现所附权利要求的范围内的各种更改和改造，并且应当理解的是，其自然落在本公开的技术范围内。
例如，还能够生产用于致使诸如内置于上述所述信息处理设备10或处理服务器30中的中央处理单元(CPU)、只读存储器(ROM)、以及随机访问存储器(RAM)等硬件表现出信息处理设备10或处理服务器30的功能的计算机程序。进一步地，还提供了存储有计算机程序的计算机可读存储介质。
此外，上述所述实施方式描述了显示器1091安装在墙壁上的情况，但本实施方式并不局限于此；可以使用设置在信息处理终端中的显示单元作为显示器1091。此外，例如，可以使用透明或非透明的头戴显示器(HMD)的显示单元作为显示器1091。
应注意，在使用诸如智能手机等设置有小型显示器的信息处理终端的情况下，通过小型显示器的屏幕分割、而非图3中示出的3D空间显示可以执行类似正常视频聊天的显示。
此外，使用将通信伙伴的两个空间布置在3D空间中并且三人参与的通信系统描述了上述所述实施方式，但是，本实施方式并不局限于此；两人或四人或多人可以参与通信系统。
此外，当用户过于靠近摄像机1011时，导致视频放大，当将视频装配到房屋对象21中时，失去生活尺寸感。此时，例如，通信系统1可以剪切用户的面部图像并且将其与从之前视频等生成的身体图像组合，以在装配到房屋对象21中时生成并不失去生活尺寸感并且看上去并不不自然的视频。
此外，在上述所述实施方式中，将伙伴空间的视频装配到诸如房屋等虚拟对象中，但是，本实施方式并不局限于此；更抽象地，可以使用如同窗口(伙伴空间的视频)是浮动的表达。
此外，可以执行动作捕获，并且可以使用其中将伙伴的动作显示为化身的视频作为伙伴空间的视频。
进一步地，本说明书中描述的效果仅是示出性或例证效果并且不具有局限性。即，利用或替代上述效果，从本说明书的描述中，根据本公开的技术可以实现对本领域技术人员显而易见的其他效果。
此外，本技术还可以被配置成如下。
(1)一种信息处理设备，包括：
接收单元，被配置为从通信目的地接收数据；
生成单元，被配置为通过使用多个通信目的地的捕获图像来生成布置在三维空间中的预定位置处的空间图像信息；以及
显示控制单元，被配置为执行控制，以在显示单元上显示生成的空间图像信息。
(2)根据(1)所述的信息处理设备，其中，生成单元在三维空间中可视化多个通信目的地之间发生的通信。
(3)根据(2)所述的信息处理设备，其中，生成单元可视化通信的状态。
(4)根据(3)所述的信息处理设备，其中，生成单元计算通信中的对话的活动性、并且执行与活动性对应的可视化显示。
(5)根据(4)所述的信息处理设备，其中，生成单元基于对话过程中的对话语音或视频中的至少一个来计算活动性。
(6)根据(3)所述的信息处理设备，其中，生成单元评估通信中的对话的情绪、并且执行与情绪对应的可视化显示。
(7)根据(6)所述的信息处理设备，其中，生成单元基于对话过程中的对话语音或视频中的至少一个来评估情绪。
(7)根据(3)所述的信息处理设备，其中，生成单元计算通信中的对话的活动性并且评估通信中的对话的情绪、并且执行与活动性和情绪对应的可视化显示。
(9)根据(1)至(8)中任一项所述的信息处理设备，其中，生成单元将通信目的地的捕获图像配置到虚拟对象的开口中、并且将虚拟对象布置在三维空间中的预定位置处。
(10)根据(9)所述的信息处理设备，其中，生成单元根据公开程度控制到布置于三维空间中的各个虚拟对象的距离。
(11)一种信息处理方法，包括，通过处理器：
从通信目的地接收数据；
通过使用多个通信目的地的捕获图像来生成布置在三维空间中的预定位置处的空间图像信息；并且
执行控制，以在显示单元上显示生成的空间图像信息。
(12)一种程序，使计算机用作：
接收单元，被配置为从通信目的地接收数据；
生成单元，被配置为通过使用多个通信目的地的捕获图像来生成布置在三维空间中的预定位置处的空间图像信息；以及
显示控制单元，被配置为执行控制，以在显示单元上显示生成的空间图像信息。
参考标识列表
1 通信系统
10 (10A至10C)信息处理设备
20 网络
30 处理服务器
101 输入单元
1011 摄像机
1012 麦克风
1013 传感器
102 空间信息获取单元
103 状态确定单元
104 空间距离控制单元
105 操作I/F
106 3D空间生成单元
107 通信单元
108 空间信息生成单元
109 输出单元
1091 显示器
1092 扬声器
1093 指示器
110 存储单元

Claims (12)

1.一种信息处理设备，包括：
接收单元，被配置为从通信目的地接收数据；
生成单元，被配置为通过使用多个通信目的地的捕获图像来生成布置在三维空间中的预定位置处的空间图像信息；以及
显示控制单元，被配置为执行控制，以在显示单元上显示生成的所述空间图像信息。
2.根据权利要求1所述的信息处理设备，其中，所述生成单元在所述三维空间中可视化多个通信目的地之间发生的通信。
3.根据权利要求2所述的信息处理设备，其中，所述生成单元可视化所述通信的状态。
4.根据权利要求3所述的信息处理设备，其中，所述生成单元计算所述通信中的对话的活动性、并且执行与所述活动性对应的可视化显示。
5.根据权利要求4所述的信息处理设备，其中，所述生成单元基于对话过程中的对话语音或视频中的至少一个来计算所述活动性。
6.根据权利要求3所述的信息处理设备，其中，所述生成单元评估所述通信中的对话的情绪、并且执行与所述情绪对应的可视化显示。
7.根据权利要求6所述的信息处理设备，其中，所述生成单元基于对话过程中的对话语音或视频中的至少一个来评估所述情绪。
8.根据权利要求3所述的信息处理设备，其中，所述生成单元计算所述通信中的对话的活动性并且评估所述通信中的对话的情绪、并且执行与所述活动性和所述情绪对应的可视化显示。
9.根据权利要求1所述的信息处理设备，其中，所述生成单元将所述通信目的地的所述捕获图像配置到虚拟对象的开口中、并且将所述虚拟对象布置在所述三维空间中的所述预定位置处。
10.根据权利要求9所述的信息处理设备，其中，所述生成单元根据公开程度控制到布置于所述三维空间中的各个虚拟对象的距离。
11.一种信息处理方法，包括，通过处理器：
从通信目的地接收数据；
通过使用多个通信目的地的捕获图像来生成布置在三维空间中的预定位置处的空间图像信息；并且
执行控制，以在显示单元上显示生成的所述空间图像信息。
12.一种程序，使计算机用作：
接收单元，被配置为从通信目的地接收数据；
生成单元，被配置为通过使用多个通信目的地的捕获图像来生成布置在三维空间中的预定位置处的空间图像信息；以及
显示控制单元，被配置为执行控制，以在显示单元上显示生成的所述空间图像信息。
CN201780044471.4A 2016-07-28 2017-04-26 信息处理设备、信息处理方法、以及存储介质 Active CN109479116B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-148671 2016-07-28
JP2016148671 2016-07-28
PCT/JP2017/016544 WO2018020766A1 (ja) 2016-07-28 2017-04-26 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN109479116A true CN109479116A (zh) 2019-03-15
CN109479116B CN109479116B (zh) 2021-06-18

Family

ID=61015822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780044471.4A Active CN109479116B (zh) 2016-07-28 2017-04-26 信息处理设备、信息处理方法、以及存储介质

Country Status (5)

Country Link
US (2) US10638091B2 (zh)
EP (1) EP3493534B1 (zh)
JP (1) JP7020411B2 (zh)
CN (1) CN109479116B (zh)
WO (1) WO2018020766A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018168247A1 (ja) 2017-03-15 2018-09-20 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6993314B2 (ja) * 2018-11-09 2022-01-13 株式会社日立製作所 対話システム、装置、及びプログラム
DE112019005601T5 (de) 2018-11-09 2021-07-29 Sony Group Corporation Informationsverarbeitungsvorrichtung und -verfahren und programm
US10846898B2 (en) * 2019-03-28 2020-11-24 Nanning Fugui Precision Industrial Co., Ltd. Method and device for setting a multi-user virtual reality chat environment
WO2024075344A1 (ja) * 2022-10-05 2024-04-11 パナソニックＩｐマネジメント株式会社 映像出力方法、映像出力システム及びプログラム
WO2024080135A1 (ja) * 2022-10-13 2024-04-18 ソニーグループ株式会社 表示制御装置、表示制御方法および表示制御プログラム
WO2024084736A1 (ja) * 2022-10-18 2024-04-25 パナソニックＩｐマネジメント株式会社 映像出力方法、映像出力システム及びプログラム
WO2024084737A1 (ja) * 2022-10-19 2024-04-25 パナソニックＩｐマネジメント株式会社 映像出力方法、映像出力システム及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6559863B1 (en) * 2000-02-11 2003-05-06 International Business Machines Corporation System and methodology for video conferencing and internet chatting in a cocktail party style
US20030117485A1 (en) * 2001-12-20 2003-06-26 Yoshiyuki Mochizuki Virtual television phone apparatus
CN101459857A (zh) * 2007-12-10 2009-06-17 深圳华为通信技术有限公司 通信终端和信息系统
US20120281059A1 (en) * 2011-05-04 2012-11-08 Microsoft Corporation Immersive Remote Conferencing
US20120323575A1 (en) * 2011-06-17 2012-12-20 At&T Intellectual Property I, L.P. Speaker association with a visual representation of spoken content
JP2014056308A (ja) * 2012-09-11 2014-03-27 Nippon Telegr & Teleph Corp <Ntt> 映像コミュニケーションシステム、および映像コミュニケーション方法
US20140192134A1 (en) * 2013-01-07 2014-07-10 Samsung Electronics Co., Ltd. Method for user function operation based on face recognition and mobile terminal supporting the same
CN103984408A (zh) * 2013-02-07 2014-08-13 三星电子株式会社 支持语音对话功能的移动终端和语音对话方法
CN104935860A (zh) * 2014-03-18 2015-09-23 北京三星通信技术研究有限公司 视频通话实现方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183762A (ja) 2000-12-15 2002-06-28 Softbank Investment Kk オブジェクト制御装置、オブジェクト制御方法およびオブジェクト制御システムならびに情報記録媒体
JP4576740B2 (ja) 2001-04-02 2010-11-10 ソニー株式会社 窓状撮像表示装置及びそれを使う双方向通信方法
JP4645355B2 (ja) 2005-08-11 2011-03-09 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5625882B2 (ja) * 2010-03-17 2014-11-19 株式会社リコー 情報管理装置
US8963987B2 (en) 2010-05-27 2015-02-24 Microsoft Corporation Non-linguistic signal detection and feedback
US8340258B2 (en) * 2010-07-30 2012-12-25 Hewlett-Packard Development Company, L.P. System, method and apparatus for controlling image access in a video collaboration system
WO2013187869A1 (en) * 2012-06-11 2013-12-19 Intel Corporation Providing spontaneous connection and interaction between local and remote interaction devices
US9425974B2 (en) * 2012-08-15 2016-08-23 Imvu, Inc. System and method for increasing clarity and expressiveness in network communications
EP2713593B1 (en) * 2012-09-28 2015-08-19 Alcatel Lucent, S.A. Immersive videoconference method and system
JP5833526B2 (ja) 2012-10-19 2015-12-16 日本電信電話株式会社 映像コミュニケーションシステム及び映像コミュニケーション方法
JP6468712B2 (ja) * 2014-03-28 2019-02-13 大和ハウス工業株式会社 通信ユニット
US9794511B1 (en) * 2014-08-06 2017-10-17 Amazon Technologies, Inc. Automatically staged video conversations
JP6958360B2 (ja) * 2015-12-11 2021-11-02 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US10250848B2 (en) * 2016-06-03 2019-04-02 Avaya Inc. Positional controlled muting

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6559863B1 (en) * 2000-02-11 2003-05-06 International Business Machines Corporation System and methodology for video conferencing and internet chatting in a cocktail party style
US20030117485A1 (en) * 2001-12-20 2003-06-26 Yoshiyuki Mochizuki Virtual television phone apparatus
CN101459857A (zh) * 2007-12-10 2009-06-17 深圳华为通信技术有限公司 通信终端和信息系统
US20120281059A1 (en) * 2011-05-04 2012-11-08 Microsoft Corporation Immersive Remote Conferencing
US20120323575A1 (en) * 2011-06-17 2012-12-20 At&T Intellectual Property I, L.P. Speaker association with a visual representation of spoken content
JP2014056308A (ja) * 2012-09-11 2014-03-27 Nippon Telegr & Teleph Corp <Ntt> 映像コミュニケーションシステム、および映像コミュニケーション方法
US20140192134A1 (en) * 2013-01-07 2014-07-10 Samsung Electronics Co., Ltd. Method for user function operation based on face recognition and mobile terminal supporting the same
CN103984408A (zh) * 2013-02-07 2014-08-13 三星电子株式会社 支持语音对话功能的移动终端和语音对话方法
CN104935860A (zh) * 2014-03-18 2015-09-23 北京三星通信技术研究有限公司 视频通话实现方法及装置

Also Published As

Publication number Publication date
EP3493534A4 (en) 2019-07-10
EP3493534B1 (en) 2023-04-05
US20190320143A1 (en) 2019-10-17
JP7020411B2 (ja) 2022-02-16
JPWO2018020766A1 (ja) 2019-05-09
US11343471B2 (en) 2022-05-24
CN109479116B (zh) 2021-06-18
WO2018020766A1 (ja) 2018-02-01
EP3493534A1 (en) 2019-06-05
US20200252586A1 (en) 2020-08-06
US10638091B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
CN109479116A (zh) 信息处理设备、信息处理方法、以及程序
KR102014623B1 (ko) 화상 표시장치, 화제 선택 방법, 화제 선택 프로그램, 화상 표시 방법 및 화상 표시 프로그램
JP6958360B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6798502B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6165302B1 (ja) 画像表示装置、話題選択方法、話題選択プログラム
JP2016045814A (ja) 仮想現実サービス提供システム、仮想現実サービス提供方法
JP2014187559A (ja) 仮想現実提示システム、仮想現実提示方法
KR102580110B1 (ko) 내비게이션 가능한 아바타들이 있는 웹 기반 화상 회의 가상 환경 및 그 응용들
JP6682475B2 (ja) 画像表示装置、話題選択方法、話題選択プログラム
JP2014164537A (ja) 仮想現実サービス提供システム、仮想現実サービス提供方法
US20200059631A1 (en) Control apparatus, control method, program, and projection system
US11928774B2 (en) Multi-screen presentation in a virtual videoconferencing environment
WO2020158440A1 (ja) 情報処理装置、情報処理方法、及びプログラムを記載した記録媒体
KR101481996B1 (ko) 행동기반 실감영상환경 제어 시스템
Filmer Coriolan/us and the Limits of ‘Immersive’
US20240202944A1 (en) Aligning scanned environments for multi-user communication sessions
US20240031531A1 (en) Two-dimensional view of a presentation in a three-dimensional videoconferencing environment
Mathew et al. Chi'08 alt. chi/auralscapes: engaging ludic ambiguity in the design of a spatial system
Sakuma et al. Privacy Awareness of Spatial Sharing System based on 3D Point Cloud: Insights from a User Survey
US20200275055A1 (en) Information processing apparatus, information processing method, and program
JP2022155665A (ja) 宅内表示システム
JP2021052965A (ja) 上映施設

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant