CN111971646A - 信息处理设备、信息处理方法以及程序 - Google Patents

信息处理设备、信息处理方法以及程序 Download PDF

Info

Publication number
CN111971646A
CN111971646A CN201980020885.2A CN201980020885A CN111971646A CN 111971646 A CN111971646 A CN 111971646A CN 201980020885 A CN201980020885 A CN 201980020885A CN 111971646 A CN111971646 A CN 111971646A
Authority
CN
China
Prior art keywords
display
display unit
user
unit
shared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980020885.2A
Other languages
English (en)
Other versions
CN111971646B (zh
Inventor
小池龙正
阪井祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111971646A publication Critical patent/CN111971646A/zh
Application granted granted Critical
Publication of CN111971646B publication Critical patent/CN111971646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

[问题]为了提供一种信息处理设备、信息处理方法以及程序，利用该信息处理设备信息处理方法以及程序，可以呈现全双工通信的共享工作空间，该共享工作空间赋予与正在与其执行通信的一方在相同的空间中工作的感觉。[解决方案]提供了一种信息处理设备，该信息处理设备包括：第一显示部；以及第二显示部，用于显示从与其进行通信的一方的空间获取的图像；控制部，用于执行对第一显示部和第二显示部的显示控制。控制部执行控制以在第一显示部和/或第二显示部上显示共享对象。该共享对象的显示至少延伸至正在与其执行通信的一方的工作区域中。

Description

信息处理设备、信息处理方法以及程序
技术领域
本公开内容涉及信息处理设备、信息处理方法以及程序。
背景技术
常规地，已经提出了支持与在远程位置处的另一方进行通信的通信系统，诸如使用视频电话的会议系统。
引文列表
专利文献
专利文献1：JP 2014-44735 A
发明内容
技术问题
在与远程位置处的另一方的通信系统中，需要使用语音和视频图像彼此更平滑地进行通信。此外，重要的是参考共享的内容，诸如常用的会议资料。
然而，常规的通信系统没有考虑对其中与远程位置协作地进行工作的空间的优化。
例如，上面提及的专利文献1公开了下述装置：在该装置中，人们使用同时具有公共区域或他们自己的占用区域的大屏幕一起工作，并且对象在其自己的区域中被显示为面对他们自己，虽然专利文献1涉及人们在本地区域的工作，但是专利文献1没有考虑与远程位置通信时的工作。
因此，本公开内容提出了能够提供双向通信的、使人们感觉好像人们与通信对方在相同的空间中进行工作的共同工作空间的信息处理设备、信息处理方法以及程序。
针对问题的解决方案
根据本公开内容，提供了一种信息处理设备，该信息处理设备包括：第一显示单元；第二显示单元，显示从通信对方侧的空间获取的图像；以及控制单元，其进行第一显示单元和第二显示单元的显示控制，其中，该控制单元进行控制以在第一显示单元或第二显示单元中的至少一个显示单元上显示共享对象，该共享对象的显示在至少延伸至通信对方侧的工作区域。
根据本公开内容，提供了一种信息处理方法，该信息处理方法包括：使处理器进行对第一显示单元和第二显示单元的显示控制，该第二显示单元显示从通信对方侧的空间获取的图像；以及在第一显示单元或第二显示单元中的至少一个显示单元上显示共享对象，该共享对象的显示至少延伸至通信对方侧的工作区域。
根据本公开内容，提供了一种程序，该程序使计算机用作控制单元，该控制单元进行对第一显示单元和第二显示单元的显示控制，该第二显示单元显示从通信对方侧的空间获取的图像，其中，该控制单元进行控制，以在第一显示单元或第二显示单元中的至少一个显示单元上显示共享对象，该共享对象的显示至少延伸至通信对方侧的工作区域。
发明的有益效果
如上所述，根据本公开内容，可以提出双向通信的、使人们感觉好像人们与通信对方在相同的空间中进行工作的共同工作空间。
注意，上面的效果不一定是限制性的，并且除了上面的效果之外或代替上面的效果，可以实现本说明书中公开的任何效果或可以从本说明书中掌握的其他效果。
附图说明
图1是用于描述根据本公开内容的实施方式的信息处理系统的概述的图。
图2是示出根据本实施方式的信息处理系统的系统配置的示例的图。
图3是示出根据本实施方式的布置在空间A中的信息处理设备和布置在空间B中的信息处理设备的示例的图。
图4是示出根据本实施方式的信息处理设备的配置的示例的框图。
图5是用于描述根据本实施方式的虚拟距离间隔的图。
图6是示出根据本实施方式的显示控制处理的一系列流程的示例的流程图。
图7是示出本实施方式的第一显示示例中的用户A侧的显示屏幕示例的图。
图8是示出本实施方式的第一显示示例中的每个信息处理设备的显示屏幕示例的图。
图9是示出本实施方式的第一显示示例中的对象在桌上的显示模式的另一示例的图。
图10是示出本实施方式的第一显示示例中的对象在桌上的显示模式的另一示例的图。
图11是示出本实施方式的第二显示示例中的用户A侧的显示屏幕示例的图。
图12是示出本实施方式的第二显示示例中的每个信息处理设备的显示屏幕示例的图。
图13是示出本实施方式的第三显示示例中的在桌上设置共享区域的情况下用户A侧的显示屏幕示例的图。
图14是示出本实施方式的第三显示示例中的每个信息处理设备的显示屏幕的示例的图。
图15是示出本实施方式的第四显示示例中的用户A侧的显示屏幕示例的图。
图16是示出本实施方式的第四显示示例中的每个信息处理设备的显示屏幕的示例的图。
图17是用于描述本实施方式的第四显示示例中的使用中间空间的显示模式的图。
图18是用于描述本实施方式的第四显示示例中的使用中间空间的显示模式的图。
图19是用于描述本实施方式的第四显示示例中的使用中间空间的显示模式的图。
图20是用于描述本实施方式的第四显示示例中的使用中间空间的显示模式的图。
图21是用于描述本实施方式的第四显示示例中的使用中间空间的操作方法的图。
图22是用于描述本实施方式的第四显示示例中的使用中间空间的操作方法的图。
图23是用于描述本实施方式的第四显示示例中的使用中间空间的操作方法的图。
图24是用于描述本实施方式的第四显示示例中的使用中间空间的操作方法的图。
图25是用于描述本实施方式的第四显示示例中的使用中间空间的操作方法的图。
图26是用于描述本实施方式的第四显示示例中的使用中间空间的操作方法的图。
图27是用于描述本实施方式的第四显示示例中的对象的交叠显示的图。
图28是用于描述根据本实施方式的对在桌上显示的对象的对准显示控制的图。
图29是示出本实施方式的第五显示示例中的用户A侧的显示屏幕示例的图。
图30是示出本实施方式的第五显示示例中的每个信息处理设备的显示屏幕示例的图。
图31是示出本实施方式的第五显示示例中的在聚集时的屏幕转换的示例的图。
图32是示出本实施方式的第五显示示例中的在其中设置有中间空间的显示示例中的虚拟聚集的屏幕转换的示例的图。
图33是示出本实施方式的第五显示示例中的在其中设置有中间空间的显示示例中在聚集时的显示控制处理的流程的示例的流程图。
图34是示出根据本实施方式的另一配置示例1的系统配置示例的图。
图35是示出根据本实施方式的另一配置示例1的桌装置的配置示例的框图。
图36是示出根据本实施方式的另一配置示例1的窗装置的配置示例的框图。
图37是示出本实施方式的另一配置示例1中的显示控制处理的流程的示例的流程图。
图38是用于描述本实施方式的另一配置示例2的图。
图39是示出根据本实施方式的另一配置示例2的信息处理设备的配置示例的框图。
图40是示出本实施方式中的在呈现连接三个点的共同工作空间时用户A侧的显示屏幕示例的图。
图41是示出本实施方式中的在呈现连接四个点的共同工作空间时用户A侧的显示屏幕示例的图。
图42是示出本实施方式中的在呈现连接三个点的共同工作空间时用户A侧的显示屏幕示例(桌为正方形)的图。
图43是示出本实施方式中的在呈现连接四个点的共同工作空间时用户A侧的显示屏幕示例(桌为正方形)的图。
图44是示出本实施方式中的在呈现连接四个点的共同工作空间时如何使桌交叠的另一示例的图。
具体实施方式
在下文中，将参照附图详细地描述本公开内容的优选实施方式。注意，在说明书和附图中，具有基本上相同的功能配置的部件由相同的附图标记表示，并且省略其冗余的描述。
另外，将按以下顺序给出描述。
1.根据本公开内容的实施方式的信息处理系统的概述
2.配置示例
3.操作处理
4.显示示例
4-1.第一显示示例(共享一个桌)
4-2.第二显示示例(桌扩展)
4-3.第三显示示例(在桌上部分地设置共享区域)
4-4.第四显示示例(中间空间)
4-5.第五显示示例(聚集)
4-6.过去对象的显示的再现
5.另一配置示例
5-1.另一配置示例1
5-2.另一配置示例2
6.连接三个或更多个点的共同工作空间的呈现
7.总结
<<根据本公开内容的实施方式的信息处理系统的概述>>
图1是用于描述根据本公开内容的实施方式的信息处理系统的概述的图。如图1所示，根据本实施方式的信息处理系统使用信息处理设备10，该信息处理设备10被配置成包括设置在桌的顶板部分上的显示单元(桌显示器131)，以及基本上竖直地设置在桌显示器131的一端处的显示单元(窗显示器133)。
在桌显示器131上显示显示图像20。显示图像20是指示来自应用的交互的显示对象，并且显示图像20是例如各种UI等，诸如静态图像、运动图像(视频图像)、菜单屏幕或控制屏幕。另外，显示图像20(对象)可以为二维图像或三维图像。由于用户对显示图像20的操作输入是通过各种类型的传感器来检测的，因此用户通过移动显示图像20上的操作体来对显示图像20进行各种操作输入，例如，进行手部的触摸或接近。
对桌显示器131的显示图像20的操作输入可以通过例如设置在桌显示器131中的触摸传感器或者设置在桌显示器131周围的深度摄像装置、热摄像装置、RGB摄像装置、超声波传感器等来检测。例如，信息处理设备10对捕获的图像或深度信息进行分析，以获取定位在桌显示器131的显示屏幕上的用户的手或手指的位置或深度信息(换句话说，三维信息)并且对沿高度方向用户的手对桌显示器131的触摸或接近以及手与桌显示器131的分离进行检测。在本说明书中，诸如用户的手对显示屏幕的对操作体的触摸或接近被统称为“触摸”。
另外，在窗显示器133上显示通信对方的视频图像22。
根据本实施方式的信息处理设备10可以提供下述状态：在该状态下，通信对方可以通过多个显示单元的布置配置来围绕一个桌(窗显示器133)工作，如图1所示。
在每个空间中布置有具有这样的布置配置的信息处理设备10。例如，在连接空间A中的用户A和空间B中的用户B的双向通信系统的情况下，信息处理系统1具有包括信息处理设备10A和信息处理设备10B的系统配置，如图2所示。信息处理设备10A和信息处理设备10B经由网络3通信地连接。
图3是示出布置在空间A中的信息处理设备10A和布置在空间B中的信息处理设备10B的示例的图。信息处理设备10A和信息处理设备10B被配置成具有相同的配置。也就是说，信息处理设备10A和信息处理设备10B包括：桌显示器131A和131B，在其上显示显示图像20并且用户进行操作输入；以及窗显示器133A和133B，在其上分别显示通信对方的视频图像。
此处，由于在窗显示器133A和窗显示器133B中的每个窗显示器上显示通信对方的视频图像22，因此每个用户可以获得好像通信对方正在围绕任意一个桌(桌显示器131A和131B)工作的视觉效果，如图1所示。通信对方的视频图像22可以通过设置在每个信息处理设备10中的摄像装置123(图1中未示出)来实时获取。摄像装置123的安装位置没有特别限制，但是例如，可以设置在窗显示器133周围。
另外，在用户A侧和用户B侧的每个桌面(桌显示器131A和131B)上显示了可以由双方操作的对象(显示图像20)。在本说明书中，可以由双方操作的对象被称为“共享对象”。在本实施方式中，来自一个用户针对所显示的共享对象的操作输入也被(实时地)反映在在另一桌面上显示的相应共享对象上，从而增加了共同工作的便利性。更具体地，例如，在桌显示器131A和桌显示器131B上以相同的布置显示相同的共享对象的情况下，当用户A在桌显示器131A上移动某个共享对象的显示位置时，桌显示器131B上的相应共享对象也以相同的方式被移动。
注意，在每个桌面(桌显示器131A和131B)，可以存在只能由每个用户操作的对象。在本说明书中，只能由特定用户操作的对象被称为针对共享对象的“私有对象”。私有对象可以不显示在另一方的桌面上，或者可以显示但是不能进行操作。另外，可以针对每个对象设置哪个对象是私有对象或共享对象，或者定位在在桌上设置的预定区域(共享区域)中的对象(共享区域的至少一部分包括在共享区域中显示的对象)在任何时候都可以被视为共享对象。
另外，在本说明书中，每个桌面(桌显示器131A和131B)上的区域被称为“工作区域”。每个用户可以对在桌显示器131A和131B上显示的每个对象进行操作(工作)。在这种情况下，可以将上述“共享区域”称为其中每个用户的工作区域交叠的共同工作区域。
此处，每个用户的工作区域不限于仅如图1所示的桌面，并且每个用户的工作区域可以通过使用窗显示器133来虚拟地扩展。虽然稍后将描述细节，例如，但是也可以绘制其中桌显示器131A的顶表面是可见的以向窗显示器133延伸的虚拟桌，并且使用该虚拟桌作为共同工作区域。另外，还可以在窗显示器133中绘制三维共同工作区域(所谓的虚拟空间。在本说明书中被称为“中间空间”)。此时，穿过中间空间在背侧显示另一方的视频图像。通过提供这样的中间空间，可以显示无法在桌上绘制的大型3D对象，以进行共同工作。
另外，在图1至图3中，虽然将两个点之间的通信描述为示例，但是本实施方式不限于此，并且还可以连接三个或更多个点。
此外，在本实施方式中，不仅可以以相同的方式检测对桌显示器131的操作输入，而且还可以检测对窗显示器133的操作输入。此外，桌显示器131A的形状和桌显示器131B的形状不限于图1所示的矩形，并且桌显示器131A和桌显示器131B可以具有任意形状，诸如多边形、圆形和椭圆形。
此外，桌显示器131和窗显示器133的布置配置(沿基本上水平方向的显示单元和沿基本上竖直方向的显示单元的组合)不限于如图1所示的桌面，并且所述布置配置可以在空间(室内/室外)中的诸如地板、墙和家具的任意地方中或者膝上型PC上等实现。
此外，根据本实施方式的用于实现视觉效果的显示器不限于该显示器并且可以由投影仪来进行。例如，投影仪可以将显示图像20、通信对方的视频图像22等适当地投影至桌的顶表面、墙壁等上，从而实现根据本实施方式的视觉效果。
上面描述了根据本公开内容的实施方式的信息处理系统1。接下来，将参照附图描述在根据本实施方式的信息处理系统1中包括的信息处理设备10的具体配置。
<<2.配置示例>>
图4是示出根据本实施方式的信息处理设备10的配置的示例的框图。如图4所示，信息处理设备10包括控制单元100、通信单元110、输入单元120、输出单元130和存储单元140。
<2-1.控制单元100>
控制单元100用作算术处理装置和控制装置，并且控制单元100根据各种程序来控制信息处理设备10中的整体操作。控制单元100由诸如中央处理单元(CPU)和麦克风处理器的电子电路来实现。另外，控制单元100还可以包括：只读存储器(ROM)，其存储要使用的程序、操作参数等；以及随机存取存储器(RAM)，其临时存储适当改变的参数。
此外，根据本实施方式的控制单元100还用作输入信息识别单元101、虚拟距离间隔设置单元102、共享区域确定单元103、共享对象选择单元104、显示控制单元105、桌显示控制单元106、窗显示控制单元107和语音输出控制单元108。
输入信息识别单元101对从输入单元120获取的输入信息进行分析并且进行各种识别处理。例如，输入信息识别单元101基于从传感器单元121、摄像装置123或麦克风125获取的信息来对用户输入进行识别。用户输入可以使用诸如手势、音频、遥控器(例如，使用IR的遥控器)或游戏板来进行。
例如，可以通过对由深度摄像装置、热摄像装置、RGB摄像装置、触摸传感器、压力传感器、接近传感器、超声波传感器等感测到的信息进行分析来对手势信息进行识别。手势信息包括例如下述信息：诸如用户的手部运动、臂部运动、姿态(例如，骨骼信息)、视线和触摸操作(具体地，触摸、单击、双击、滑动或拖动)。例如，输入信息识别单元101将对桌显示器131的触摸操作和对窗显示器133的指向操作识别为手势信息。
输入信息识别单元101从通信单元110向通信目的地设备(例如，信息处理设备10A向信息处理设备10B)发送识别结果(用户输入)。因此，信息处理系统1通过将用户输入反映在另一方的显示器上来实现共同工作。
此外，输入信息识别单元101从通信单元110向通信目的地设备(例如，信息处理设备10B)连续地发送由摄像装置123获取的用户的视频图像或者由麦克风125获取的用户的音频。因此，信息处理系统1使用语音和视频图像来实现双向通信。
输入信息识别单元101还经由通信单元110从外部装置获取输入信息。例如，输入信息识别单元101经由通信单元110从通信目的地设备获取通信目的地空间的视频图像或语音以及通信对方的用户输入。
虚拟距离间隔设置单元102设置通信双方之间的共同工作空间中的虚拟距离间隔(在本说明书中，被称为虚拟距离间隔)。虚拟距离间隔指示用户与通信对方之间的所谓间隔，并且虚拟距离间隔可以由用户任意地指定。通过自由地调整与作为同事的通信对方的间隔，可以在保持与同事的心理距离的同时进行共同工作。注意，虚拟距离间隔可以由通信对方指定。此处，将参照图5详细描述根据本实施方式的虚拟距离间隔。
图5是用于描述根据本实施方式的虚拟距离间隔的图。虚拟距离间隔指示与通信对方(同事)的(心理)间隔(距离感)，但是更具体地，例如，虚拟距离间隔可以是经由窗显示器133与通信对方的距离。更具体地，如图5所示，可以将与用户的工作区域对应的桌(桌显示器131)的大小(桌距离Td)设置为基准。在这种情况下，如图5的上部分所示，桌显示器131的大小是最短的虚拟距离间隔v0。在虚拟距离间隔v0下，用户A的工作区域(对应于桌显示器131A的大小)与用户B的工作区域(对应于桌显示器131B的大小)完全交叠，并且桌显示器131的整个表面成为共享区域。在本说明书中，共享区域是其中将至少部分地包括在该区域中的显示图像视为共享对象的区域。另外，共享区域可以被称为其中每个用户的工作区域交叠的区域(两个用户都可以使用作为工作区域的区域)。共享对象是其中来自用户和通信对方两者的用户输入都是有效的(换句话说，可以进行操作)的对象。在本实施方式中，至少部分地包括在共享区域中的显示图像(可以说，显示是在共享区域中进行的，即，显示延伸至至少另一方的工作区域中)被视为共享对象。另一方面，仅一个用户可以输入的对象可以被称为用户的私有对象。
当设置了虚拟距离间隔v0时，窗显示器133显示通信对方的视频图像22(优选的是适合桌的高度的上身的视频图像)，如图1所示，并且窗显示器133的显示处于其中通信对方看起来像围绕通信桌(桌显示器131)的状态。
注意，作为示例，此处将交叠的整个范围描述为共享区域，但是本实施方式不限于此，并且窗显示器133的任何部分可以是共享区域。
此外，虚拟距离间隔可以是其中桌显示器131A和桌显示器131B如图5的中间部分所示布置的距离(虚拟距离间隔v1)。在这种情况下，共享区域的大小可以被设置成包括桌显示器131A和桌显示器131B彼此相邻的端部(安装有窗显示器133的一侧)的任意大小。通信对方侧的共享区域(例如，从用户A侧观察的桌显示器131B上的共享区域)虚拟地表示在窗显示器133的显示屏幕上。稍后将参照图11至图14描述当设置虚拟距离间隔v1时的显示示例。
此外，虚拟距离间隔可以是其中桌显示器131A和131B如图5的下部分所示布置的距离(虚拟距离间隔v2)。在这种情况下，例如，桌显示131A与桌显示器131B之间的空间被用作共享区域。在本说明书中，在桌显示器131A与桌显示器131B之间提供的共享区域被称为中间空间。可以任意设置中间空间的大小。另外，除了中间空间之外，还可以将包括桌上的端部(安装有窗显示器133的一侧)的区域的一部分设置为共享区域，如图5的中间部分所示。中间空间虚拟地表示在窗显示器133的显示屏幕上。稍后将参照图15和图16描述当设置了虚拟距离间隔v2时的显示示例。
上面具体描述了虚拟距离间隔的示例。注意，共享区域的形状不限于图5所示的矩形，并且共享区域可以具有任意形状。此外，无论桌显示器131A的形状和桌显示器131B的形状如何，可以使用任意边界形状诸如曲线。
共享区域确定单元103参考设置的虚拟距离间隔来确定共享区域。例如，在图5的上部分所示的虚拟距离间隔v0的情况下，共享区域确定单元103可以将窗显示器133的整个区域确定为共享区域，或者可以通过用户指定将所述区域的一部分设置为共享区域。另外，例如，在图5的中间部分所示的虚拟距离间隔v1的情况下，共享区域确定单元103将包括其中桌显示器131A和桌显示器131B彼此相邻的端部(安装有窗显示器133的一侧)的任意大小(例如，通过默认设置或用户指定)确定为共享区域。另外，例如，在图5的中间部分所述的虚拟距离间隔v1的情况下，共享区域确定单元103确定桌显示器131A与桌显示器131B之间的空间是共享区域(中间空间)。
共享对象选择单元104根据共享区域在在窗显示器133上显示的对象中选择共享对象。如上所述，共享对象是其中来自用户和通信对方两者的用户输入都是有效的(换句话说，可以进行操作)的对象。具体地，共享对象选择单元104将在窗显示器133上显示的对象中的至少部分地包括在共享区域中的显示图像视为共享对象。由于每个对象的显示位置是通过用户的触摸操作来任意改变的，因此当对象显示在对象在共享区域中的位置处时，共享对象选择单元104将该对象视为共享对象，并且当对象在共享区域之外时，共享对象选择单元104将对象从共享对象中排除(也就是说，该对象被视为只能由具有当前所显示的区域的工作权限的用户进行操作的私有对象)。
显示控制单元105进行显示控制以相对于用户输入输出来自应用的交互。具体地，根据下述信息进行对桌显示器131或窗显示器133的显示控制：由输入信息识别单元101识别的用户输入信息；由虚拟距离间隔设置单元102设置的关于虚拟距离间隔的信息；由共享对象选择单元104选择的关于共享对象的信息；通过通信单元110从通信目的地设备接收到的各种信息(用户输入信息、通信目的地的视频图像等)等。
例如，显示控制单元105通过桌显示控制单元106来进行桌显示器131的显示控制。桌显示器131显示例如用户的私有对象或者与通信对方的共享对象。
另外，显示控制单元105通过窗显示控制单元107来进行窗显示器133的显示控制。例如，在窗显示器133上显示通信对方的视频图像、虚拟桌的图像(可以在虚拟桌上显示共享对象或另一方的私有对象)和中间空间(包括共享对象)。
语音输出控制单元108对来自扬声器135的语音输出进行控制。例如，语音输出控制单元108输出通过通信单元110从通信目的地设备接收到的另一方的语音信息。
<2-2.通信单元110>
通信单元110是用于连接信息处理设备10和另一装置的连接装置。通信单元110例如通过有线方式或无线方式连接至网络3，并且向通信目的地设备(信息处理设备10)发送数据/从通信目的地设备(信息处理设备10)接收数据。通信单元110通过例如有线/无线局域网(LAN)、Wi-Fi(注册商标)、蓝牙(注册商标)、移动通信网络(长期演进(LTE))、第三代(3G)移动通信系统等连接至网络3。
<2-3.输入单元120>
输入单元120获取对信息处理设备10的输入信息。例如，输入单元120包括传感器单元121、摄像装置123和麦克风125。传感器单元121可以包括例如触摸传感器、压力传感器、接近传感器、红外光接收单元、超声波传感器、深度摄像装置、热摄像装置、RGB摄像装置等，并且传感器单元121可以包括通过诸如按钮、开关和控制杆的物理配置形成的操作输入单元。摄像装置123捕获在桌显示器131或窗显示器133上正在进行操作输入的用户的视频图像。麦克风125感测语音信息，诸如由用户发出的语音。
<2-4.输出单元130>
输出单元130将来自信息处理设备10的输出信息呈现给用户。例如，输出单元130包括桌显示器131、窗显示器133和扬声器135。扬声器135输出语音信息，诸如从通信目的地接收到的另一方的发出语音。
<2-5.存储单元140>
存储单元140由存储用于控制单元100的处理的程序、操作参数等的只读存储器(ROM)和临时存储适当改变的参数的随机存取存储器(RAM)来实现。
另外，存储单元140存储虚拟距离间隔、关于共享对象的信息、桌显示器131或窗显示器133中的屏幕历史等。
上面具体描述了根据本实施方式的信息处理设备10的配置。注意，信息处理设备10的配置不限于图4所示的示例。例如，信息处理设备10可以通过多个装置来配置。此外，信息处理设备10的控制单元100的每个功能的至少一部分可以由外部装置(例如，智能手机、平板终端、PC、服务器等)来实现。
<<3.操作处理>>
接下来，将参照图6具体描述根据本实施方式的信息处理系统的操作处理。图6是示出根据本实施方式的显示控制处理的一系列流程的示例的流程图。
如图6所示，首先，信息处理设备10的显示控制单元105获取当前的桌状态(步骤S103)。当前的桌状态是虚拟距离间隔的设置或者共享区域的设置。具体地，例如，获取当前的桌状态是否是下述状态：其中如图5的上部分所示的共享一个桌的状态；其中如图5的中间部分所示的通过布置两个桌来扩展工作区域的状态；其中如图5的下部分所示的在两个桌之间提供中间空间的状态等。
接下来，桌显示控制单元106根据所获取的桌状态来进行桌显示器131的显示控制(步骤S106)。例如，桌显示控制单元106在桌显示器131上显示共享区域中的共享对象，并且桌显示控制单元106根据用户或通信对方对共享对象的输入操作来进行共享对象的显示控制。
另外，窗显示控制单元107根据所获取的桌状态来进行窗显示器133的显示控制(步骤S109)。例如，当如图5的上部分所示共享一个桌时，窗显示控制单元107进行控制以在窗显示器133上仅显示通信对方的视频图像。此外，当如图5的中间部分所示并排布置两个桌以扩展工作区域时，窗显示控制单元107(生成并且)在桌显示器131上显示其中窗显示器133的显示表面看起来像延伸的虚拟桌(被称为虚拟桌)的图像，并且此外，窗显示控制单元107进行显示控制以将通信对方的视频图像布置在虚拟桌上。可以在虚拟桌上显示共享对象或另一方的私有对象。此外，虚拟桌上的显示被控制成与通信目的地处的实际桌显示器131上的显示相同。用户可以经由窗显示器133看见通信对方侧的桌面。此外，当显示如图5的下部分所示的中间空间时，窗显示控制单元107在桌显示器131上进行具有另一方的虚拟桌的中间空间的显示。
注意，虚拟桌的视频图像不限于生成的图像并且可以是另一方的实际桌显示器131的捕获图像。
接下来，控制单元100将显示信息记录在存储单元140中(步骤S112)。显示信息可以连续地或周期性地记录(自动备份)。此外，可以在用户指定的定时处对记录的数据进行标记。
然后，当存在诸如用户对共享对象的操作输入的用户输入或者用于改变虚拟距离间隔的指令时(步骤S115/是)，控制单元100对要发送至通信对方目的地的信息处理设备10(通信目的地设备)的所获取的输入信息进行控制(步骤S118)。此外，控制单元100可以进行控制以向通信目的地设备连续地发送桌上的当前显示信息。
然后，控制单元100根据用户输入信息或从通信目的地设备接收到的另一方的输入信息(步骤S121)来指定虚拟距离间隔的变化或/和对象的(显示位置)的变化(步骤S124)。虚拟距离间隔可以由用户或另一用户适当地改变，并且当虚拟距离间隔被改变时，控制单元100适当地改变桌显示器131和窗显示器133的显示内容。此外，在来自用户或另一用户对共享对象的操作输入(显示位置的变化等)的情况下，控制单元100对在桌显示器131或窗显示器133上显示的共享对象的显示进行更新(步骤S106至步骤S112)。
然后，控制单元100重复上面的处理，直到给出结束指令为止(步骤S127)。因此，可以将另一方输入的操作反映在桌显示器131或窗显示器133的显示上，并且还可以将用户在桌显示器131或窗显示器133上输入的操作反映在另一方的显示器上，从而实现双向通信。
在上文中，描述了根据本实施方式的操作处理的示例。注意，图6所示的操作处理是示例，并且本公开内容不限于图6所示的示例。例如，本公开内容不限于图6所示的步骤的顺序。所述步骤中的至少一个步骤可以并行地处理或者可以以相反的顺序处理。例如，步骤S106至步骤S112的处理可以并行地进行处理，或者可以相反的顺序进行处理。
此外，图6所示的所有处理不一定被执行。例如，可以跳过步骤S112所示的记录处理。
<<4.显示示例>>
接下来，将参照附图具体描述根据本实施方式的共同工作空间的呈现中的桌显示器131的显示屏幕示例和窗显示器133的显示屏幕示例。
<4-1.第一显示示例(共享一个桌)>
首先，将参照图7至图10描述共享一个桌的情况作为第一显示示例。此处，作为示例，将描述空间A中存在的信息处理设备10A和空间B中存在的信息处理设备10B通信地连接并且用户A和用户B进行共同工作的情况。
图7是示出第一显示示例中的用户A侧的显示屏幕示例的图。图7所示的示例是当共享图5的上部分所示的一个桌(桌显示器131)时的桌显示器131的显示屏幕示例和窗显示器133的显示屏幕示例。在这种情况下，如图7所示，信息处理设备10A在窗显示器133A上显示用户B的视频图像22并且在桌显示器131A上显示对象201A(对象201a至201e)。如图7右下的顶视图所示，当整个桌为共享区域时，在桌显示器131A上显示的所有对象201a至201e为共享对象。另一方面，在用户B侧的桌显示器131B上相似地布置对象，并且当用户A在桌显示器131A上操作对象201b时，该操作被反映在在用户B侧显示的相应对象上。
接下来，将参照图8描述用户A侧的实际显示状态和用户B侧的实际显示状态。图8是示出第一显示示例中的信息处理设备10A和信息处理设备10B的显示屏幕示例的图。在该显示示例中，为了表示其中用户A和用户B正在看着面对彼此的一个桌的状态，例如，如图8所示，在桌显示器131A上显示的对象201A的布置和在桌显示器131B上显示的对象201B的布置被显示和控制成彼此对应。具体地，例如，在面向用户的桌显示器131中，当其中定位窗显示器133的方向为向上方向时，用户A侧的对象和用户B侧的对象的布置(整个屏幕)被显示和控制成使得水平方向(x轴方向)和竖直方向(y轴方向)被反转(坐标转换)。此外，在窗显示器133A上显示用户B的视频图像，并且在窗显示器133B上显示用户A的视频图像。然后，针对在每个桌上显示的对象201中的被视为共享对象(当桌显示器131的整个区域被设置为共享区域时，所有对象都是共享对象)的对象的用户操作也被反映在彼此的另一方的显示器上。因此，用户A和用户B可以感觉到好像用户A和用户B通过将一个桌(桌显示器131)与另一方包围在同一空间中而正在进行共同工作。
注意，可以在桌显示器131的一部分中设置私有区域。在私有区域中显示的对象被视为只能由用户操作的私有对象并且不在另一方显示。
此外，共享对象的显示方法不限于图8所示的示例。例如，如图9所示，在对象的布置(整个屏幕)沿左右方向反转之后，显示器可以被控制成使得每个对象的取向相对于用户(操作者)变为正(沿在每个桌中设置的预定正方向)。此外，例如，如图10所示，可以不反转对象的布置(整个屏幕)，但是可以反转竖直方向，使得每个对象相对于用户的取向是正的。
上面描述的图8至图10所示的显示模式可以通过用户指定来适当地且立即地进行切换。
<4-2.第二显示示例(桌扩展)>
接下来，作为第二显示示例，将参照图11和图12描述其中通过在窗显示器133上显示虚拟窗来使桌显示器131的工作区域(桌)看上去被扩展的共同工作空间的呈现。
图11是示出第二显示示例中的用户A侧的显示屏幕示例的图。如图11的右下所示的图像顶视图所示，图11所示的示例是当布置了两个桌(桌显示器131A和桌显示器131B)并且扩展了工作区域时，桌显示器131A的显示屏幕示例和窗显示器133A的显示屏幕示例。此处，在两个桌上显示的对象被视为共享对象。
具体地，工作区域的扩展可以通过在窗显示器133A上显示与窗显示器133B对应的虚拟桌133b来实现，如图11所示。用户A可以在视觉上识别在虚拟桌133b上显示的对象。虚拟桌133b上的显示与用户B侧的窗显示器133B相同。此处，注意，假设桌是由信息处理设备10A绘制的情况下，与窗显示器133B对应的桌被称为“虚拟桌”，但是可以显示在空间B中实际成像的窗显示器133B的捕获图像，但不限于此。
此外，窗显示器133A是用户A的工作区域，并且窗显示器133B(虚拟桌133b)是用户B的工作区域，但是在窗显示器133A和虚拟桌133b上显示的各个对象中，其显示是经由窗显示器133A在两个桌上进行的对象(即，其显示至少延伸至另一方的工作区域的对象)被视为共享对象。因此，在图11所示的示例中，对象202a和202b为共享对象，并且可以对两个对象进行操作。当不能对同时在用户B侧显示的对象进行操作时，可以请求用户B以通过滑动操作等将桌上的对象移动至用户A。
接下来，将参照图12描述用户A侧的实际显示状态和用户B侧的实际显示状态。图12是示出第二显示示例中的信息处理设备10A的显示屏幕示例和信息处理设备10B的显示屏幕示例的图。如图12所示，桌显示器131A的显示和桌显示器131B的显示是经由窗显示器133(窗显示器133A和133B)连接的显示。此外，经由窗显示器133在两个桌上显示的对象202a和202b被视为如上所述的共享对象，并且对象202a和202b可以由两个用户进行操作。
<4-3.第三显示示例(在桌上部分地设置共享区域)>
接下来，作为第三显示示例，将参照图13和图14描述在扩展桌的同时共享一部分的共同工作空间的呈现。
图13是示出第三显示示例中的在桌的一部分上设置共享区域的情况下用户A侧的显示屏幕示例的图。图13所示的示例假设了其中两个桌(桌显示器131A和桌显示器131B)部分地彼此交叠的桌状态，如图13右下的图像顶视图所示，并且图13所示的示例对应于图5的中间部分所示的示例。在这种情况下，桌交叠的部分即两个桌的工作区域交叠的区域被设置为共享区域300，并且其显示区域至少部分地包括在共享区域300中的对象被视为共享对象。
如图13所示，与用户B侧的工作区域对应的虚拟桌133b被显示在窗显示器133A上。此外，信息处理设备10A在桌显示器131A的显示表面被定位在窗显示器133A的显示区域中的一侧显示虚拟桌133b，并且信息处理设备10A给出虚拟桌133b看起来与桌显示器131A的显示表面相邻(延伸显示表面)的视觉效果。另外，虚拟桌133b上的显示对应于用户B侧的窗显示器133B的显示。也就是说，基于窗显示器133B的显示信息在虚拟桌133b上再现窗显示器133B的显示屏幕。
此外，信息处理设备10A在桌显示器131A的显示表面中与窗显示器133A相邻的一侧上设置共享区域300A。信息处理设备10A可以通过显示背景颜色、边界线等来向用户清楚地指示共享区域300A。另外，共享区域300A与在窗显示器133A上显示的用户B侧的工作区域(虚拟桌133b)中包括的共享区域300b相邻。此处，假设共享区域300A和共享区域300b是其中两个桌(桌显示器131A和131B)如图13右下的图像顶视图所示交叠的部分，因此共享区域300A和共享区域300b被显示并控制成交叠(相同的显示屏幕)。
接下来，将参照图14描述用户A侧的实际显示状态和用户B侧的实际显示状态。图14是示出第三显示示例中的信息处理设备10A的显示屏幕示例和信息处理设备10B的显示屏幕示例的图。如图14所示，共享区域300A和共享区域300B分别设置在桌显示器131A和桌显示器131B中，并且共享区域300A的显示内容和共享区域300B的显示内容相同。
<4-4.第四显示示例(中间空间)>
接下来，作为第四显示示例，将参照图15和图16描述针对通过在两个桌之间提供虚拟空间(在本说明书中被称为“中间空间”)作为共享区域来扩展用户的工作区域的共同工作空间的呈现。
图15是示出第四显示示例中的用户A侧的显示屏幕示例的图。图15所示的示例是如图15右下所示的图像顶视图所示当在两个桌(桌显示器131A、桌显示器131B)之间提供共享区域空间(三维中间空间320)时，桌显示器131A的显示屏幕示例和窗显示器133A的显示屏幕示例。此处，在中间空间320中显示的对象和包括中间空间320中的显示区域的至少一部分的对象被视为共享对象。
另外，在本显示示例中，桌显示器131A的显示区域是可以仅由用户操作的区域(用户的工作区域)，并且桌显示器131A上未在中间空间320中显示的对象被视为私有对象。另外，在窗显示器133A上显示中间空间320，并且在中间空间320的背侧显示虚拟桌133b以及用户B的视频图像作为通信对方目的地的视频图像。因此，可以向用户A呈现其中好像用户A正在看着面向用户B的中间空间320的视觉效果。在虚拟桌133b中，窗显示器133B的显示屏幕被再现在用户B侧。
此处，在本说明书中，对象不限于二维图像并且可以是三维图像。在中间空间320中，例如，三维对象204b、204c、204i被浮动地显示，并且二维对象204a、204d、204e被显示在中间空间320的底表面上。上述所有对象被显示在作为共享区域的中间空间320中，并且因此上述所有对象可以被视为共享对象并且可以由用户A和用户B两者进行操作。此外，当这些对象的显示位置通过用户操作而移动至例如用户A的工作区域(桌显示器131A上)并且偏离中间空间320的显示区域时，这些对象被视为用户A的私有对象并且仅用户A可以进行操作。另外，用户B还可以将在中间空间320中显示的对象移动至用户B的工作区域(桌显示器131B上)。在这种情况下，该对象可以被视为用户B的私有对象并且仅用户B可以进行操作。向用户B的工作区域(桌显示器131B上)的移动可以从用户A侧从窗显示器133A可见(具体地，对象看起来移动至窗显示器133A的虚拟桌133b)。以这样的方式，根据每个用户的操作，对象可以在桌显示器131A、窗显示器133A的中间空间320以及虚拟桌133b(另一方的工作区域)之间无缝地(即，不中断地)移动，并且提高了共同工作的便利性。
中间空间320的大小可以通过适当地改变距另一方的间隔——即，由用户指定的虚拟距离间隔——来调整。当给出用于扩大虚拟距离间隔的指令时，可以感觉到中间空间320的深度方向延伸，中间空间320变宽，在中间空间320的另一侧显示的用户B的视频图像变小，并且距另一方的间隔变宽。另一方面，当给出用于缩小虚拟距离间隔的指令时，可以感觉到中间空间320的深度方向变短，中间空间320变窄，在中间空间320的另一侧显示的用户B的视频图像变大，并且距另一方的间隔变近。
接下来，将参照图16描述用户A侧的实际显示状态和用户B侧的实际显示状态。图16是示出第四显示示例中的信息处理设备10A的显示屏幕示例和信息处理设备10B的显示屏幕示例的图。在本实施方式中，假设在桌显示器131A与桌显示器131B之间存在中间空间320，并且显示控制被执行成使得桌显示器131A的显示和桌显示器131B的显示经由中间空间320连接。此处，例如，由于显示的至少一部分在作为共享区域的中间空间320上进行，因此对象204a和对象204e被识别为可以由用户A和用户B显示和控制的共享对象。每个对象的显示位置或显示大小可以由用户进行适当地改变。
(使用中间空间320的显示模式)
接下来，将参照图17至图20描述使用中间空间320的显示模式。
如图17所示，可以通过使用中间空间320使对象仅在一侧可见。具体地，例如，在窗显示器133A中，当二维对象205a被显示成附接至中间空间320的前侧时，对象205a可以仅从用户A侧可见。也就是说，与对象205a对应的显示可以被隐藏在用户B侧的窗显示器133B中，或者可以是背侧显示205a′，如图17所示。
此外，如图18所示，可以在用户A侧和用户B侧两者显示相同的对象。具体地，例如，在窗显示器133A中，当二维对象206a被显示成附接至中间空间320的前侧时，即使在用户B侧的窗显示器133B中，也可以在相同的坐标处显示相同的对象206a'。
在图18所示的示例中，对象206a在窗显示器133A中的显示坐标和在窗显示器133B中的显示坐标是相同的，但是本发明不限于此，显示位置可以如图19所示反转。也就是说，例如，在窗显示器133A中，当二维对象207a被显示成附接至中间空间320的前侧时，在用户B侧的窗显示器133B上显示对象207a'，使得在窗显示器133B中对象207a'处于相同的位置，同时经由中间空间320面向用户A侧。由此，例如，当用户A指向对象207a时，用户B侧也在窗显示器133B中显示与用户A所指向的位置对应的对象207a'，使得双方能够更顺利地进行工作。
此外，如图20所示，当在中间空间320中显示三维对象208a时，显示位置可以经由中间空间320为面对面状态。
虽然上面已经描述了使用中间空间320的一些显示模式，但是显示方法在用户A侧与用户B侧之间可以不同。
(使用中间空间320的操作方法)
接下来，将参照图21至图26描述使用中间空间320的操作方法。
如图21所示，例如，在触摸例如在桌显示器131上显示的二维对象209a时通过将手指移动至窗显示器133并且分离手指的拖放操作，可以将显示指令成附接至中间空间320的前侧。注意，操作不限于触摸操作，并且可以使用诸如鼠标的外部装置来选择对象，可以在没有触摸显示表面的情况下通过一些手势来选择对象，并且显示位置可以移动。另外，对象可以是三维的。
另外，如图22所示，例如，在触摸时通过将手指移动至窗显示器133并且分离手指的拖放操作，可以在中间空间320中显示例如在桌显示器131上显示的三维对象209b。用于显示至中间空间320的内部的指令和用于如图21所示显示至中间空间320的前侧的指令可以通过下述差异来区分：用于触摸的手指的数目的差异(例如，通过一个手指的拖放操作、通过两个手指的拖放操作、在所有手指对齐的状态下的拖放操作等)；手势的差异；鼠标操作的差异(右键单击、左键单击、单次单击、双击等)等。此外，例如，当识别到用于显示至中间空间320的内部的指令时，如图22所示，信息处理设备10在窗显示器133等上显示指示将显示移动至中间空间320的内部的顶视图400并且将顶视图400通知用户。
此外，对中间空间320内部的显示不限于三维对象，并且自然地，可以是二维对象。例如，如图23的左侧所示，如果通过预定操作(例如，对齐和触摸所有手指并且拖动的操作)将在桌显示器131上显示的二维对象209c移动至窗显示器133侧，如图23所示，则对象209c可以显示在中间空间320内部。
接下来，将描述在中间空间320内部显示的对象的操作。可以触摸窗显示器133的显示屏幕，但是在如图1所示的布置配置等的情况下，手可能难以到达窗显示器133并且触摸操作可能是困难的。因此，例如，如图24所示，可以利用诸如指向的手势来选择在中间空间320内部显示的对象并且给出用于改变显示位置的指令。
具体地，例如，如图24的左侧所示，当用户指向窗显示器133的在中间空间320内部显示的对象209d时，显示指针322。用户的手势可以由信息处理设备10或设置在如上所述的外围装置中的诸如深度摄像装置的传感器单元121来感测并且可以由输入信息识别单元101进行识别。用户可以通过借助于指针322继续指向任意对象209d持续一段时间(超过预定时间)来选择对象209d。信息处理设备10可以通过如图24右侧所示改变显示模式等来向用户反馈对象209d已经被选择。如图24的右侧所示，例如，用户可以在选择对象209d的同时通过改变手部的指向方向来改变对象209d的显示位置。当选择被释放时，手指指向停止。
另外，还可以通过手势改变在中间空间320内部显示的对象的显示大小。例如，如图25所示，在其中选择了在窗显示器133的中间空间320内部显示的对象209e的状态下，可以通过调整指向对象209e的手指与窗显示器133的显示屏幕之间的距离来任意改变对象209e的大小。具体地，例如，信息处理设备10进行显示控制，使得对象209e在手指靠近对象时变大并且在手指移开时变小，如图25的左侧所示。此处，作为示例，已经描述了根据手指指向的距离来改变大小的情况，但是本实施方式不限于此，并且可以通过例如将拇指和食指分离至目标对象的放开操作来使大小增加，或者可以通过促使拇指和食指靠近彼此的捏入操作来使大小缩小。另外，可以通过预定手势来调整虚拟距离间隔。例如，可以通过相对于窗显示器133沿顺时针方向或逆时针方向移动手指来使中间空间320的大小(虚拟距离间隔)增加(更长)或减小(更短)。
还可以通过指向手势来选择在中间空间320中显示的二维对象。具体地，如图26所示，例如，在窗显示器133中，当存在其中显示区域的一部分在来自另一侧的中间空间320中的对象209f时，对象209f被视为共享对象，因此接受由用户输入的操作。例如，如图26的左侧所示，对象209f通过借助于指向手势指向对象209f来选择并且通过移动指向方向来如图26的右侧所示移动，因此对象209f例如也可以在用户侧(桌显示器131侧)。
(对象的交叠显示)
图27是用于描述对象的交叠显示的图。如图27所示，可以根据显示位置以交叠的方式显示每个对象211(例如，对象211a和对象211b、对象21c和对象211d)。当显示交叠时，可以适当地设置上方显示的对象。例如，用户选择的对象可以优先地显示在上方，或者可以基于哪个用户进行了操作来确定优先级。另外，可以针对每个对象确定优先级(假设其中例如在设置重要标志时设置的重要数据具有高优先级，并且具有高紧急性的数据诸如推送通知具有高优先级的情况)。
此外，在图27所示的示例中，另一三维对象211d与中间空间320中的三维对象211c交叠，但是即使在通信对方中也可以相似地进行显示控制，使得与窗显示器133的中间空间320中的三维对象211c交叠的对象211d可见。
注意，对象的这种交叠显示控制不限于如图27所示的使用中间空间320的显示示例(第四显示示例)的情况，并且可以相似地应用于上面描述的第一显示示例至第三显示示例或者甚至下面描述的第五显示示例。
(对象在桌上的对准显示)
图28是用于描述对在桌上显示的对象的对准显示控制的图。如图28的上部分所示，当对在桌显示器131上显示的对象210a进行预订操作诸如双击时，信息处理设备10可以进行使对象210a的一侧对准桌显示器131的用户侧处的显示控制，如图28的下部分所示。此时，对象210a可以沿当从用户观察时为正方向的方向对准。这种显示控制可以应用于第一显示示例至第五显示示例。
<4-5.第五显示示例(聚集)>
接下来，作为第五显示示例，将参照图29至图33描述其中正在进行共同工作的用户感觉到好像用户虚拟地在一侧聚集和工作的共同工作空间的呈现。通过使用户虚拟地聚集，双方可以从同一个方向观看桌上的对象等，并且在某些情况下可以容易地进行共同工作。
图29是示出第五显示示例中的用户A侧的显示屏幕示例的图。如图29的右下所示的图像顶视图所示，当布置了两个桌(桌显示器131A和桌显示器131B)并且扩展了工作区域时，图29所示的示例是当用户B虚拟地聚集在用户A侧时桌显示器131A的显示屏幕示例和窗显示器133A的显示屏幕示例。
如图29所示，当用户B虚拟地聚集在用户A侧时，信息处理设备10在显示用户B侧的视频图像的窗显示器133A中仅切出用户B的视频图像并且在切出部分中显示背景图像(可以从过去的视频图像中获取)，并且因此，可以表示其中在面对表面上不存在用户B的情况。此外，在窗显示器133A上显示扩展了桌显示器131A的虚拟桌133b，并且在虚拟桌133b上显示的对象也从用户A侧可见。
注意，在某些情况下，当聚集时，用户观看另一方的面部来进行通信，并且因此，在窗显示器133A上只能显示用户B的人(背景被切出)。
通过反映用户B对对象的操作，可以在桌显示器131A上显示手部的图像等。例如，如图29所示，当用户B正在操作对象213a时，在桌显示器131A上显示操作对象213a的手部的图像330(三维图像或二维图像)。因此，用户A可以直观地识别出用户B正在操作哪个对象，而无需观看图。注意，与用户B的语音交换照常进行。
接下来，将参照图30描述用户A侧的实际显示状态和用户B侧的实际显示状态。图30是示出第五显示示例中的信息处理设备10A的显示屏幕示例和信息处理设备10B的显示屏幕示例的图。例如，图30的上部分示出了在聚集之前的桌显示器131A的显示和桌显示器131B的显示的示例，并且图30的下部分示出了用户B聚集在用户A侧之后的桌显示器131A的显示和桌显示器131B的显示的示例。如图30所示，当用户B聚集在用户A侧时，用户B侧的桌显示器131B的显示变为与桌显示器131A相同的显示屏幕。因此，可以呈现用户B正在从用户A侧观看桌显示器131A的情况。在这种情况下，仅在用户A侧的桌(桌显示器131A)上显示的对象被显示在桌显示器131B上，并且用户B可以对这些对象进行操作。注意，用户A的私有对象可以不显示在用户B侧。
另外，在窗显示器133B上显示与图29所示的窗显示器133A相同的视频图像——即，用户B侧的背景(用户B的视频图像被切出)，并且进行显示控制以使与从用户A侧看到的情况相同。
接下来，将参照图31描述在聚集时的屏幕转换的示例。图31是示出本实施方式中的在聚集时的屏幕转换的示例的图。图31的上部分示出了聚集之前的显示示例，并且图31的下部分示出了当用户B聚集在用户A侧时的屏幕转换示例。如图31所示，在聚集之前，在信息处理设备10A的窗显示器133A上显示用户B的视频图像，并且在信息处理设备10B的窗显示器133B上显示用户A的视频图像。另外，桌上的对象213(213a至213c等)被布置成使得通过连接实际的桌显示器131和在窗显示器133中显示的虚拟桌而形成的一个桌被显示和控制成对彼此面对的双方可见。
然后，当输入用于将用户B聚集在用户A侧的指令时，如图31的下部分所示，在用户A侧的窗显示器133A中，例如，可以通过仅对用户B的视频图像进行切出和滑出来呈现好像用户B移动至用户A侧(该侧)的表现。
另一方面，在用户B侧的窗显示器133B中，如图31的下部分所示，用户A侧的视频图像针对每个背景滑出，并且用户B侧的视频图像(没有人)滑入，因此可以呈现好像用户B他/她自己移动至用户A侧(另一侧)。此外，在用户B侧，进行其中使对象213在桌上的布置与聚集一起反转的显示控制。也就是说，当用户B聚集在用户A侧时，桌上的对象213在用户B侧(桌显示器131B和窗显示器133B)上的外观与在用户A侧(桌显示器131A、窗显示器133A)上的外观相同(用户A的视点)。
上面描述的虚拟聚集不限于扩展如图29所示的桌(即，第二显示示例)的时间并且虚拟聚集可以在任何其他显示示例中实现。作为示例，将参照图32和图33描述在设置有例如中间空间320的显示示例(第四显示示例)中的虚拟聚集。
(设置有中间空间320的显示示例中的虚拟聚集)
图32是示出根据本实施方式的在设置有中间空间的显示示例中的虚拟聚集的屏幕转换的示例的图。图32的上部分示出了聚集之前的显示示例，并且图32的下部分示出了当用户B聚集在用户A侧时的屏幕转换示例。
窗显示器133A中的人或背景的显示变化和窗显示器133B中的人或背景的显示变化与参照图31描述的示例中的显示变化相同。
此外，对象213在桌上的布置反转也相似于参照图31描述的示例。
在图32的上部分中，在聚集之前，在窗显示器133B的中间空间320中显示的三维对象213d和213e处于前侧可以从用户A侧可见而背侧可以从用户B侧可见的状态。在这种情况下，当用户B聚集在用户A侧时，与在用户A侧的显示相同的显示可以在用户B侧可见，并且因此，如图32的下部分所示，以与从用户A侧的外观相同的方式在窗显示器133B上显示对象213d的前侧和对象213e的前侧。
上面描述了在设置有中间空间的显示示例中的虚拟聚集的屏幕转换。接下来，将参照图33描述在设置有中间空间的显示示例中的虚拟聚集时的操作处理。
图33是示出在设置有中间空间的显示示例中在聚集时的显示控制处理的流程的示例的流程图。如图33所示，首先，当用户向同事(通信对方)调用聚集请求时(步骤S203/是)，信息处理设备10确定该请求是否被通信对方接受(步骤S206)。可以从通信目的地装置接收关于该请求是否被通信对方接受的信息。
接下来，在保持当前桌显示器131的视频图像(也就是说，对象在桌上的布置不移动)的同时，信息处理设备10从另一方的视频图像中删除在另一方的窗显示器133上聚集的人(仅视频图像)(步骤S209)。
接下来，信息处理设备10向通信目的地设备发送当前的对象显示信息(步骤S212)。
另一方面，当同事(通信对方)针对聚集请求呼叫用户(步骤S215/是)时，确定用户是否接受该请求(步骤S218)。聚集请求的接受由输入信息识别单元101基于诸如用户发出的声音、手势和遥控器的操作的用户输入来识别。
接下来，当用户接受聚集请求(步骤S218/是)时，获取桌状态(桌是否扩展、是否设置有中间空间、共享区域在哪里等)(步骤S221)。
接下来，信息处理设备10将在窗显示器133上显示的对象的显示切换为与在另一方(调用聚集)的窗显示器133上显示的对象的显示相同的显示(步骤S224)。
另外，信息处理设备10将桌显示器131上的视频图像切换为与另一方(调用聚集)的视频图像相同的显示(即，聚集侧上(无人)的视频图像)(步骤S227)。
接下来，当桌显示器131设置有中间空间时，信息处理设备10将在中间空间中显示的对象切换为相对于另一方(调用聚集)的视点(例如，如图32所示，从前侧观察三维对象的显示)(步骤S230)。
<4-6.过去对象的再现>
根据本实施方式的信息处理设备10将在桌上显示的对象信息记录在存储单元140中并且累积过去的任意时刻处的历史，并且信息处理设备10可以根据用户指定来调用过去的对象显示(在桌上再现)。
另外，还可以在其他用户之间进行共同工作时调用对象信息的过去的历史，并且在用户的桌上再现被调用的过去的历史。
对过去的对象信息的调用可以通过日期和时间来指定，或者可以在一些标记被预先存储时基于标记来调用。
<<5.另一配置示例>>
上面已经具体描述了根据本实施方式的信息处理系统1，但是本实施方式的系统配置不限于图1至图4所示的示例。将参照图34至图39描述本实施方式中包括的系统配置的一些变型。
<5-1.另一配置示例1>
图34是示出根据本实施方式的另一配置示例1的系统配置示例的图。在上面描述的实施方式中，信息处理设备10均具有显示器(桌侧和窗侧)和扬声器，但是每个显示器和扬声器可以是单独的装置。具体地，图34可以示出例如下述系统配置：在该系统配置中，具有桌显示器131A的桌装置10-1A、具有窗显示器133A的窗装置10-2A以及扬声器装置10-3A被布置在用户A侧；并且具有桌显示器131B的桌装置10-1B、具有窗显示器133B的窗装置10-2B以及扬声器装置10-3B被布置在用户B侧。各个装置经由网络3彼此通信地连接。
图35是示出根据本实施方式的另一配置示例1的桌装置10-1的配置示例的框图。如图35所示，例如，桌装置10-1包括控制单元100-1、通信单元110-1、输入单元120-1、桌显示器131和存储单元140-1。
控制单元100-1用作输入信息识别单元101、虚拟距离间隔设置单元102、共享区域确定单元103、共享对象选择单元104和桌显示控制单元106。
输入信息识别单元101向窗装置10-2适当地发送获取的输入信息或根据输入信息识别的结果，或者从窗装置10-2接收输入信息和识别结果。这是因为假设对桌显示器131的操作输入(例如，改变虚拟距离间隔的设置、对对象的显示进行移动等)可以影响窗对显示器133的显示控制。桌装置10-1和窗装置10-2可以通过有线方式或无线方式来发送数据和接收数据。
由于每个配置的功能与参照图4描述的每个配置的功能相同，因此此处省略其细节。
图36是示出根据另一配置示例1的窗装置10-2的配置示例的框图。如图36所示，例如，窗装置10-2包括控制单元100-2、通信单元110-2、输入单元120-2、窗显示器133和存储单元140-2。
控制单元100-2用作输入信息识别单元101、虚拟距离间隔设置单元102、共享区域确定单元103、共享对象选择单元104和窗显示控制单元107。
输入信息识别单元101向桌装置10-1适当地发送获取的输入信息或根据输入信息识别的结果，或者从桌装置10-1接收输入信息或识别结果。这是因为假设对窗显示器133的操作输入(例如，改变虚拟距离间隔的设置、对对象的显示进行移动等)可以影响对桌显示器131的显示控制。
由于每个配置的功能与参照图4描述的每个配置的功能相同，因此此处省略其细节。
(操作处理)
接下来，将参照图37描述根据本配置示例的桌装置10-1和窗装置10-2的操作处理。图37是示出另一配置示例1中的显示控制处理的流程的示例的流程图。
如图37所示，首先，桌装置10-1获取当前的桌状态(虚拟距离间隔的设置等)(步骤S303)并且根据所述桌状态进行对桌显示器131的显示控制(步骤S306)。
接下来，桌装置10-1将显示信息记录在存储单元140-1中(步骤S309)。
接下来，如果存在输入(步骤S312/是)，则向窗装置10-2发送输入信息(步骤S315)，并且也向通信对方侧的桌装置10-1发送输入信息(步骤S318)。
另一方面，窗装置10-2获取当前的桌状态(虚拟距离间隔的设置等)(步骤S321)并且根据所述桌状态进行对窗显示器133的显示控制(步骤S324)。
接下来，窗装置10-2将显示信息记录在存储单元140-2中(步骤S327)。
接下来，如果存在输入(步骤S330/是)，则向桌装置10-1发送输入信息(步骤S333)，并且也向通信对方侧的窗装置发送输入信息(步骤S336)。
然后，桌装置10-1根据所获取的输入信息来指定虚拟距离间隔的变化和/或对象的变化(步骤S339)。因此，输入操作被反映在在桌显示器131上显示的对象上。
另外，窗装置10-2根据所获取的输入信息来指定虚拟距离间隔的变化和/或对象的变化(步骤S342)。因此，输入操作被反映在在窗显示器133上显示的对象上。
<5-2.另一配置示例2>
接下来，将描述另一配置示例2。上面描述的实施方式描述了使用桌显示器131和窗显示器133来提供共同工作空间的系统，但是不限于本实施方式，并且可以是仅使用桌显示器131或仅使用窗显示器133来提供共同工作空间的系统。此处，作为示例，将参照图38和图39具体描述仅使用桌显示器131来提供共同工作空间的系统。
图38是用于描述本实施方式的另一配置例2的图。如图38所示，本系统(信息处理系统1b)通过包括具有桌显示器131A的信息处理设备10-5A和具有桌显示器131B的信息处理设备10-5B的配置来实现。
在桌显示器131A上显示的显示图像20(对象)可以为二维图像或三维图像。在桌显示器131A上设置共享区域，并且其显示至少部分地包括在共享区域中的对象被视为共享对象。例如，可以将桌显示器131A的整个表面设置为共享区域。
在这种情况下，例如，桌显示器131A的显示屏幕和桌显示器131B的显示屏幕具有相同的布置，如图38右下处的顶视图所示。当桌显示器131的整个表面为共享区域时，在桌显示器131上显示的所有对象被视为共享对象，并且用户A和用户B可以操作所述对象中的任一个。然后，一个用户对对象的操作被反映在另一个桌上，并且即使在远程位置处也可以在该桌上进行共同工作。
在本配置示例中，未设置窗显示器133，并且通信对方的图形不可见，但是由于在桌上反映有通信对方的操作输入(例如，对对象进行移动等)，因此可以进行共同工作。另外，信息处理设备10-5A包括扬声器135和麦克风(包括在输入单元120-5中)，并且可以在与通信对方交换语音通信的同时进行共同工作。
图39是示出根据本实施方式的另一配置示例2的信息处理设备10-5的配置示例的框图。
如图39所示，信息处理设备10-5包括控制单元100-5、通信单元110-5、输入单元120-5、输出单元130-5和存储单元140-5。
控制单元100-5用作输入信息识别单元101、虚拟距离间隔设置单元102、共享区域确定单元103、共享对象选择单元104、桌显示控制单元106和语音输出控制单元108。
由于每个配置的功能与参照图4描述的每个配置的功能相同，因此此处省略其细节。
<<6.连接三个或更多个点的共同工作空间的呈现>>
在上面描述的实施方式中，主要描述了连接空间A和空间B的两个点的共同工作空间的呈现，但是本公开内容不限于此，并且可以呈现连接三个或更多个点的共同工作空间。在下文中，将参照图40至图43描述连接三个或更多个点的共同工作空间中的显示屏幕的示例。
图40是示出在呈现连接三个点的共同工作空间时用户A侧的显示屏幕示例的图。此处，例如，假设连接了用户A存在的空间A、用户B存在的空间B和用户C存在的空间C。每个用户可以使用如图1所示的信息处理设备10来共享所述桌。另外，每个用户可以适当地调整虚拟距离间隔。
例如，共享区域的设置可以是各个用户的桌交叠的区域，如图40所示。根据虚拟距离间隔来调整每个桌显示器131A、131B和131C的布置(在虚拟空间中彼此之间的距离)，并且还可以通过根据虚拟距离间隔而改变的每个桌的布置来确定共享区域的大小。图40示出了其中虚拟距离间隔逐渐缩短并且每个桌彼此接近的方面。
如图40所示，通过使桌显示器131A和桌显示器131B交叠而形成的共享区域324a是用户A与用户B之间的共享区域，并且至少部分地包括在共享区域324a中的对象被视为其中用户A和用户B可以进行操作输入的共享对象。
另外，通过使桌显示器131A和桌显示器131C交叠而形成的共享区域324b是用户A与用户C之间的共享区域，并且至少部分地包括在共享区域324b中的对象被视为其中用户A和用户C可以进行操作输入的共享对象。
另外，通过使桌显示器131C和桌显示器131B交叠而形成的共享区域324c是用户B与用户C之间的共享区域，并且至少部分地包括在共享区域324c中的对象被视为其中用户B和用户C可以进行操作输入的共享对象。
另外，如图40的右侧所示，通过使桌显示器131A、桌显示器131C和桌显示器131D交叠而形成的共享区域325是用户A、用户B和用户C之间的共享区域，并且至少部分地包括在共享区域325中的对象被视为其中用户A、用户B和用户C可以进行操作输入的共享对象。
图41是示出在呈现连接四个点的共同工作空间时用户A侧的显示屏幕示例的图。此处，例如，假设连接了用户A存在的空间A、用户B存在的空间B、用户C存在的空间C以及用户D存在的空间D。每个用户可以使用如图1所示的信息处理设备10来共享所述桌。另外，每个用户可以适当地调整虚拟距离间隔。
例如，共享区域的设置可以是各个用户的桌交叠的区域，如图40所示。根据虚拟距离间隔来调整每个桌显示器131A、131B、131C和131D的布置(在虚拟空间中彼此之间的距离)，并且还可以通过根据虚拟距离间隔而改变的每个桌的布置来确定共享区域的大小。图41示出了其中虚拟距离间隔逐渐缩短并且每个桌彼此接近的方面。
如图41所示，例如，通过使桌显示器131A和桌显示器131B交叠而形成的共享区域327a是用户A与用户B之间的共享区域，并且至少部分地包括在共享区域327a中的对象被视为其中用户A和用户B可以进行操作输入的共享对象。
另外，例如，通过使桌显示器131A和桌显示器131D交叠而形成的共享区域327b是用户A与用户D之间的共享区域，并且至少部分地包括在共享区域327b中的对象被视为其中用户A和用户D可以进行操作输入的共享对象。
另外，例如，通过使桌显示器131B和桌显示器131C交叠而形成的共享区域327c是用户B与用户C之间的共享区域，并且至少部分地包括在共享区域327c中的对象被视为其中用户B和用户C可以进行操作输入的共享对象。
另外，例如，通过使桌显示器131C和桌显示器131D交叠而形成的共享区域327d是用户C与用户D之间的共享区域，并且至少部分地包括在共享区域327d中的对象被视为其中用户C和用户D可以进行操作输入的共享对象。
上面描述了在呈现连接了三个或更多个点的共同工作空间时用户A侧的显示屏幕示例。注意，每个桌显示器131的形状不限于如图40或图41所示的矩形，并且每个桌显示器131可以具有任意形状，诸如正方形、多边形、圆形和椭圆形。
此处，图42和图43示出了在桌显示器131为正方形的情况下在呈现连接了三个或更多个点的共同工作空间时用户A侧的显示屏幕示例的示例。
图42是示出了在桌显示器131为正方形的情况下在呈现连接了三个或更多个点的共同工作空间时用户A侧的显示屏幕示例的图。另外，图43是示出了在桌显示器131为正方形的情况下在呈现连接了四个或更多个点的共同工作空间时用户A侧的显示屏幕示例的图。
在任何情况下，如图40和图41中，每个桌显示器131的布置(在虚拟空间中彼此之间的距离)根据虚拟距离间隔来调整。共享区域设置是各个用户的桌交叠的区域。此外，共享区域328(328a至328c)和共享区域329(329a到329d)的大小均可以通过根据虚拟距离间隔而改变的每个桌的布置来确定。
此外，在连接了四个点的共同工作空间的呈现中使桌显示器131交叠的方法不限于图41和图43的示例，并且桌显示器131可以彼此接近并且例如如图44所示交叠。
<<7.总结>>
如上所述，在根据本公开内容的信息处理系统中，可以提出其中人们感觉好像人们以双向通信的方式与通信对方在同一空间中进行工作的共同工作空间。
上面已经参照附图详细描述了本公开内容的优选实施方式，但是本技术不限于这些示例。明显的是，具有本公开内容的技术领域的普通知识的技术人员可以在权利要求书中描述的技术构思的范围内构思各种改变或修改，并且应理解的是，上面的改变和修改也自然地属于本公开内容的技术范围。
例如，可以创建计算机程序，该计算机程序用于使内置在上面描述的信息处理设备10中的诸如CPU、ROM和RAM的硬件执行信息处理设备10的功能。另外，还提供了存储该计算机程序的计算机可读存储介质。
此外，在本说明书中描述的效果仅是解释性的效果或例示性的效果，并且不限于此。也就是说，除了上面的效果之外或代替上面的效果，根据本公开内容的技术可以实现根据本说明书的描述对本领域技术人员明显的其他效果。
注意，本技术也可以按照下面进行配置。
(1)一种信息处理设备，包括：
第一显示单元；
第二显示单元，其显示从通信对方侧的空间获取的图像；以及
控制单元，其进行所述第一显示单元和所述第二显示单元的显示控制，
其中，所述控制单元
进行控制，以在所述第一显示单元或所述第二显示单元中的至少一个显示单元上显示共享对象，所述共享对象的显示至少延伸至所述通信对方侧的工作区域。
(2)根据(1)所述的信息处理设备，还包括：
通信单元，
其中，所述控制单元
进行控制，以将用户关于所述共享对象的操作输入信息反映在所述共享对象的显示上，并且从所述通信单元向所述通信对方侧发送所述操作输入信息，以及
进行控制，以将通过所述通信单元从所述通信对方侧接收到的、关于所述通信对方侧的针对在所述通信对方侧显示的与所述共享对象相同的共享对象的操作输入信息反映在所述第一显示单元或所述第二显示单元中的至少一个显示单元上显示的所述共享对象的显示上。
(3)根据(2)所述的信息处理设备，
其中，所述控制单元
与所述通信对方侧共享在所述第一显示单元或所述第二显示单元中的至少一个显示单元上显示的关于所述共享对象的信息，并且所述控制单元对与所述通信对方侧相同的共享对象进行显示控制，以及
进行显示控制，以使在所述第一显示单元或所述第二显示单元上显示的一个或更多个共享对象的布置对应于所述通信对方侧的所述共享对象的布置。
(4)根据(3)所述的信息处理设备，
其中，所述控制单元
在所述第一显示单元的显示区域中设置共享区域，所述共享区域是所述通信对方侧可操作的对方侧工作区域和所述用户可操作的用户工作区域交叠的区域，以及
将其显示延伸至所述共享区域的对象识别为所述共享对象。
(5)根据(4)所述的信息处理设备，
其中，在所述第一显示单元的显示表面沿基本上水平方向被定位，并且所述第二显示单元的显示表面沿与所述第一显示单元的显示表面基本上正交的方向被布置的状态下，
所述控制单元
在所述第一显示单元上显示所述共享对象，以及
在所述第二显示单元上显示通信对方的视频图像。
(6)根据(5)所述的信息处理设备，
其中，所述控制单元
进行显示控制，使得在所述第一显示单元上显示的所述共享对象的整体布置相对于与在第三显示单元上显示的所述共享对象相同的共享对象的整体布置具有竖直反转和水平反转的关系，所述第三显示单元在所述通信对方侧与所述第一显示单元对应。
(7)根据(6)所述的信息处理设备，
其中，所述控制单元
进行显示控制，以根据用户指令使在所述第一显示单元上显示的所述共享对象的整体布置与在所述第三显示单元上显示的所述共享对象相同的共享对象的整体布置相同。
(8)根据(4)所述的信息处理设备，
其中，在所述第一显示单元的显示表面沿基本上水平方向被定位，并且所述第二显示单元的显示表面沿与所述第一显示单元的显示表面基本上正交的方向被布置的状态下，
所述控制单元
在所述第一显示单元上显示所述共享对象，以及
在所述第二显示单元上显示通信对方和所述通信对方侧的工作区域的视频图像。
(9)根据(8)所述的信息处理设备，
其中，控制单元
在所述第一显示单元的显示表面被定位在所述第二显示单元的显示区域中的一侧显示所述通信对方侧的工作区域，使得所述通信对方侧的工作区域与所述第一显示单元的显示表面相邻。
(10)根据(9)所述的信息处理设备，
其中，所述控制单元
在所述第一显示单元的显示表面中，将所述共享区域设置在与所述第二显示单元的显示表面相邻的一侧，以及
进行显示控制，使得所述共享区域的显示画面与在所述第三显示单元中相似设置的所述共享区域的显示画面被相似地显示，所述第三显示单元在所述通信对方侧与所述第一显示单元对应。
(11)根据(9)或(10)所述的信息处理设备，
其中，所述控制单元
基于所述通信对方侧的所述第三显示单元的显示信息来对所述第二显示单元中包括的所述通信对方侧的工作区域的显示进行控制，并且所述控制单元对在所述第二显示单元中包括的所述通信对方侧的工作区域中再现所述通信对方侧的所述第三显示单元的显示画面进行显示控制。
(12)根据(3)所述的信息处理设备，
其中，所述控制单元
在所述第一显示单元的显示区域中设置所述用户可操作的用户工作区域；
在所述第二显示单元的显示区域中设置共享区域，所述共享区域是所述通信对方侧可操作的对方侧工作区域和所述用户可操作的用户工作区域交叠的区域，以及
将其显示延伸至所述共享区域的对象识别为所述共享对象。
(13)根据(12)所述的信息处理设备，
其中，所述控制单元
在所述第二显示单元中在与所述共享区域对应的虚拟三维空间中以及在所述三维空间的背侧布置和显示所述通信对方侧的视频图像。
(14)根据(13)所述的信息处理设备，
其中，所述控制单元
在所述虚拟三维空间中显示三维共享对象或二维共享对象。
(15)根据(13)或(14)所述的信息处理设备，
其中，所述控制单元
显示所述虚拟三维空间，包括所述第二显示单元的显示区域中的所述第一显示单元的显示表面所位于的一侧，使得所述虚拟三维空间与所述第一显示单元的显示表面相邻，
还布置再现所述通信对方侧的与所述第一显示单元对应的第三显示单元的显示的工作区域，使得所述工作区域与所述三维空间相邻，以及
根据所述用户或所述通信对方侧的操作输入，在所述第一显示单元、在所述第二显示单元上显示的所述三维空间和在所述第二显示单元上显示的所述对方侧工作区域之间无缝地移动所述共享对象。
(16)根据(3)所述的信息处理设备，
其中，所述控制单元
在所述第一显示单元的显示区域中设置所述用户可操作的用户工作区域；
在所述第二显示单元的显示区域中显示对方侧工作区域，所述对方侧工作区域再现所述通信对方侧的与所述第一显示单元对应的第三显示单元的显示，以及
在所述第二显示单元的显示区域中的所述第一显示单元的显示表面所位于的一侧显示所述对方侧工作区域，使得所述所述对方侧工作区域与所述第一显示单元的显示表面相邻，以及
所述控制单元还
将在所述第一显示单元和所述第二显示单元的所述对方侧工作区域上显示的对象识别为所述共享对象。
(17)根据(3)至(16)中任一项所述的信息处理设备，
其中，所述控制单元
根据设置的虚拟距离间隔，在所述第一显示单元中设置用户工作区域和对方侧工作区域交叠的共享区域，或者在所述第二显示单元中设置所述共享区域。
(18)根据(1)至(17)中任一项所述的信息处理设备，
其中，所述控制单元
进行显示控制，以在根据聚集请求被聚集在用户侧时，在所述第二显示单元上显示的所述通信对方侧的视频图像中不显示所述通信对方的图，以及
进行显示控制，以在根据聚集请求被聚集在所述通信对方侧时，将在所述第一显示单元或所述第二显示单元上显示的所述共享对象的布置切换为所述通信对方侧的视点。
(19)一种信息处理方法，包括：
使处理器
进行对第一显示单元和第二显示单元的显示控制，所述第二显示单元显示从通信对方侧的空间获取的图像，以及
在所述第一显示单元或所述第二显示单元中的至少一个显示单元上显示共享对象，所述共享对象的显示至少延伸至所述通信对方侧的工作区域。
(20)一种程序，用于使计算机
用作控制单元，所述控制单元进行对第一显示单元和第二显示单元的显示控制，所述第二显示单元显示从通信对方侧的空间获取的图像，
其中，所述控制单元
进行控制，以在所述第一显示单元或所述第二显示单元中的至少一个显示单元上显示共享对象，所述共享对象的显示至少延伸至所述通信对方侧的工作区域。
附图标记列表
10，10-5 信息处理设备
10-1 桌装置
10-2 窗装置
10-3 扬声器装置
100 控制单元
101 输入信息识别单元
102 虚拟距离间隔设置单元
103 共享区域确定单元
104 共享对象选择单元
105 显示控制单元
106 桌显示控制单元
107 窗显示控制单元
108 语音输入控制单元
110 通信单元
120 输入单元
121 传感器单元
123 摄像装置
125 麦克风
130 输出单元
131 (131A至131D)桌显示器
133 窗显示器
133b 虚拟桌
135 扬声器
140 存储单元
201，202，204，205，206，207，208，209，210，211，213 对象
300，324，325，327，328 共享区域
320 中间空间
322 指针

Claims (20)

1.一种信息处理设备，包括：
第一显示单元；
第二显示单元，其显示从通信对方侧的空间获取的图像；以及
控制单元，其进行所述第一显示单元和所述第二显示单元的显示控制，
其中，所述控制单元
进行控制，以在所述第一显示单元或所述第二显示单元中的至少一个显示单元上显示共享对象，所述共享对象的显示至少延伸至所述通信对方侧的工作区域。
2.根据权利要求1所述的信息处理设备，还包括：
通信单元，
其中，所述控制单元
进行控制，以将用户关于所述共享对象的操作输入信息反映在所述共享对象的显示上，并且从所述通信单元向所述通信对方侧发送所述操作输入信息，以及
进行控制，以将通过所述通信单元从所述通信对方侧接收到的、关于所述通信对方侧的针对在所述通信对方侧显示的与所述共享对象相同的共享对象的操作输入信息反映在所述第一显示单元或所述第二显示单元中的至少一个显示单元上显示的所述共享对象的显示上。
3.根据权利要求2所述的信息处理设备，
其中，所述控制单元
与所述通信对方侧共享在所述第一显示单元或所述第二显示单元中的至少一个显示单元上显示的关于所述共享对象的信息，并且所述控制单元对与所述通信对方侧相同的共享对象进行显示控制，以及
进行显示控制，以使在所述第一显示单元或所述第二显示单元上显示的一个或更多个共享对象的布置对应于所述通信对方侧的所述共享对象的布置。
4.根据权利要求3所述的信息处理设备，
其中，所述控制单元
在所述第一显示单元的显示区域中设置共享区域，所述共享区域是所述通信对方侧可操作的对方侧工作区域和所述用户可操作的用户工作区域交叠的区域，以及
将其显示延伸至所述共享区域的对象识别为所述共享对象。
5.根据权利要求4所述的信息处理设备，
其中，在所述第一显示单元的显示表面沿基本上水平方向被定位，并且所述第二显示单元的显示表面沿与所述第一显示单元的显示表面基本上正交的方向被布置的状态下，
所述控制单元
在所述第一显示单元上显示所述共享对象，以及
在所述第二显示单元上显示通信对方的视频图像。
6.根据权利要求5所述的信息处理设备，
其中，所述控制单元
进行显示控制，使得在所述第一显示单元上显示的所述共享对象的整体布置相对于与在第三显示单元上显示的所述共享对象相同的共享对象的整体布置具有竖直反转和水平反转的关系，所述第三显示单元在所述通信对方侧与所述第一显示单元对应。
7.根据权利要求6所述的信息处理设备，
其中，所述控制单元
进行显示控制，以根据用户指令使在所述第一显示单元上显示的所述共享对象的整体布置与在所述第三显示单元上显示的所述共享对象相同的共享对象的整体布置相同。
8.根据权利要求4所述的信息处理设备，
其中，在所述第一显示单元的显示表面沿基本上水平方向被定位，并且所述第二显示单元的显示表面沿与所述第一显示单元的显示表面基本上正交的方向被布置的状态下，
所述控制单元
在所述第一显示单元上显示所述共享对象，以及
在所述第二显示单元上显示通信对方和所述通信对方侧的工作区域的视频图像。
9.根据权利要求8所述的信息处理设备，
其中，控制单元
在所述第二显示单元的显示区域中所述第一显示单元的显示表面所位于的一侧显示所述通信对方侧的工作区域，使得所述通信对方侧的工作区域与所述第一显示单元的显示表面相邻。
10.根据权利要求9所述的信息处理设备，
其中，所述控制单元
在所述第一显示单元的显示表面中，将所述共享区域设置在与所述第二显示单元的显示表面相邻的一侧，以及
进行显示控制，使得所述共享区域的显示画面与在所述第三显示单元中相似设置的所述共享区域的显示画面被相似地显示，所述第三显示单元在所述通信对方侧与所述第一显示单元对应。
11.根据权利要求9所述的信息处理设备，
其中，所述控制单元
基于所述通信对方侧的所述第三显示单元的显示信息来对所述第二显示单元中包括的所述通信对方侧的工作区域的显示进行控制，并且所述控制单元对在所述第二显示单元中包括的所述通信对方侧的工作区域中再现所述通信对方侧的所述第三显示单元的显示画面进行显示控制。
12.根据权利要求3所述的信息处理设备，
其中，所述控制单元
在所述第一显示单元的显示区域中设置所述用户可操作的用户工作区域；
在所述第二显示单元的显示区域中设置共享区域，所述共享区域是所述通信对方侧可操作的对方侧工作区域和所述用户可操作的用户工作区域交叠的区域，以及
将其显示延伸至所述共享区域的对象识别为所述共享对象。
13.根据权利要求12所述的信息处理设备，
其中，所述控制单元
在所述第二显示单元中在与所述共享区域对应的虚拟三维空间中以及在所述三维空间的背侧布置和显示所述通信对方侧的视频图像。
14.根据权利要求13所述的信息处理设备，
其中，所述控制单元
在所述虚拟三维空间中显示三维或二维共享对象。
15.根据权利要求13所述的信息处理设备，
其中，所述控制单元
显示所述虚拟三维空间，包括所述第二显示单元的显示区域中的所述第一显示单元的显示表面所位于的一侧，使得所述虚拟三维空间与所述第一显示单元的显示表面相邻，
还布置再现所述通信对方侧的与所述第一显示单元对应的第三显示单元的显示的工作区域，使得所述工作区域与所述三维空间相邻，以及
根据所述用户或所述通信对方侧的操作输入，在所述第一显示单元、在所述第二显示单元上显示的所述三维空间和在所述第二显示单元上显示的所述对方侧工作区域之间无缝地移动所述共享对象。
16.根据权利要求3所述的信息处理设备，
其中，所述控制单元
在所述第一显示单元的显示区域中设置所述用户可操作的用户工作区域；
在所述第二显示单元的显示区域中显示对方侧工作区域，所述对方侧工作区域再现所述通信对方侧的与所述第一显示单元对应的第三显示单元的显示，以及
在所述第二显示单元的显示区域中的所述第一显示单元的显示表面所位于的一侧显示所述对方侧工作区域，使得所述所述对方侧工作区域与所述第一显示单元的显示表面相邻，以及
所述控制单元还
将在所述第一显示单元和所述第二显示单元的所述对方侧工作区域上显示的对象识别为所述共享对象。
17.根据权利要求3所述的信息处理设备，
其中，所述控制单元
根据设置的虚拟距离间隔，在所述第一显示单元中设置用户工作区域和对方侧工作区域交叠的共享区域，或者在所述第二显示单元中设置所述共享区域。
18.根据权利要求3所述的信息处理设备，
其中，所述控制单元
进行显示控制，以在根据聚集请求被聚集在用户侧时，在所述第二显示单元上显示的所述通信对方侧的视频图像中不显示所述通信对方的图，以及
进行显示控制，以在根据聚集请求被聚集在所述通信对方侧时，将在所述第一显示单元或所述第二显示单元上显示的所述共享对象的布置切换为所述通信对方侧的视点。
19.一种信息处理方法，包括：
使处理器
进行对第一显示单元和第二显示单元的显示控制，所述第二显示单元显示从通信对方侧的空间获取的图像，以及
在所述第一显示单元或所述第二显示单元中的至少一个显示单元上显示共享对象，所述共享对象的显示至少延伸至所述通信对方侧的工作区域。
20.一种程序，用于使计算机
用作控制单元，所述控制单元进行对第一显示单元和第二显示单元的显示控制，所述第二显示单元显示从通信对方侧的空间获取的图像，
其中，所述控制单元
进行控制，以在所述第一显示单元或所述第二显示单元中的至少一个显示单元上显示共享对象，所述共享对象的显示至少延伸至所述通信对方侧的工作区域。
CN201980020885.2A 2018-03-28 2019-02-15 信息处理设备、信息处理方法以及程序 Active CN111971646B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-061173 2018-03-28
JP2018061173 2018-03-28
PCT/JP2019/005462 WO2019187747A1 (ja) 2018-03-28 2019-02-15 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN111971646A true CN111971646A (zh) 2020-11-20
CN111971646B CN111971646B (zh) 2024-10-11

Family

ID=68059762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980020885.2A Active CN111971646B (zh) 2018-03-28 2019-02-15 信息处理设备、信息处理方法以及程序

Country Status (5)

Country Link
US (1) US11076125B2 (zh)
JP (1) JP7342857B2 (zh)
CN (1) CN111971646B (zh)
DE (1) DE112019001607T5 (zh)
WO (1) WO2019187747A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019130896A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
USD921691S1 (en) * 2018-12-11 2021-06-08 Lg Electronics Inc. Display screen with graphical user interface
EP3923149A4 (en) * 2019-02-04 2022-04-06 Sony Group Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
US20230164304A1 (en) 2020-04-30 2023-05-25 Virtualwindow Co., Ltd. Communication terminal device, communication method, and software program
CN114756184B (zh) * 2020-12-28 2024-10-18 华为技术有限公司 协同显示方法、终端设备及计算机可读存储介质
WO2023191773A1 (en) * 2022-03-29 2023-10-05 Hewlett-Packard Development Company, L.P. Interactive regions of audiovisual signals

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655115A (zh) * 2004-02-12 2005-08-17 株式会社日立制作所 桌面型信息终端的显示及操作方法
JP2008125896A (ja) * 2006-11-22 2008-06-05 Copcom Co Ltd ゲーム装置、そのゲーム装置を実現するためのプログラム及び記録媒体
CN102033697A (zh) * 2009-09-28 2011-04-27 索尼公司 终端设备、服务器设备、显示控制方法及程序
CN102695032A (zh) * 2011-02-10 2012-09-26 索尼公司 信息处理装置、信息共享方法、程序以及终端设备
CN105075246A (zh) * 2013-02-20 2015-11-18 微软公司 使用镜子暗喻来提供远程沉浸式体验
CN105306872A (zh) * 2015-10-21 2016-02-03 华为技术有限公司 控制多点视频会议的方法、装置和系统
CN105338642A (zh) * 2009-05-08 2016-02-17 索尼公司 通信装置、通信方法以及通信系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816514A (ja) * 1994-07-01 1996-01-19 Hitachi Ltd 共同作業支援システム
US20120154255A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Computing device having plural display parts for presenting plural spaces
JP6200270B2 (ja) 2013-10-11 2017-09-20 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US20190081993A1 (en) * 2017-09-11 2019-03-14 Akn Korea Inc. Method for sharing user screen in multiple reality environment and server system for the method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655115A (zh) * 2004-02-12 2005-08-17 株式会社日立制作所 桌面型信息终端的显示及操作方法
JP2008125896A (ja) * 2006-11-22 2008-06-05 Copcom Co Ltd ゲーム装置、そのゲーム装置を実現するためのプログラム及び記録媒体
CN105338642A (zh) * 2009-05-08 2016-02-17 索尼公司 通信装置、通信方法以及通信系统
CN102033697A (zh) * 2009-09-28 2011-04-27 索尼公司 终端设备、服务器设备、显示控制方法及程序
CN102695032A (zh) * 2011-02-10 2012-09-26 索尼公司 信息处理装置、信息共享方法、程序以及终端设备
CN105075246A (zh) * 2013-02-20 2015-11-18 微软公司 使用镜子暗喻来提供远程沉浸式体验
CN105306872A (zh) * 2015-10-21 2016-02-03 华为技术有限公司 控制多点视频会议的方法、装置和系统

Also Published As

Publication number Publication date
WO2019187747A1 (ja) 2019-10-03
US11076125B2 (en) 2021-07-27
CN111971646B (zh) 2024-10-11
JP7342857B2 (ja) 2023-09-12
JPWO2019187747A1 (ja) 2021-04-15
US20210006749A1 (en) 2021-01-07
DE112019001607T5 (de) 2021-01-07

Similar Documents

Publication Publication Date Title
CN111971646B (zh) 信息处理设备、信息处理方法以及程序
US9900541B2 (en) Augmented reality remote control
JP6257329B2 (ja) 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP5957893B2 (ja) 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9965039B2 (en) Device and method for displaying user interface of virtual input device based on motion recognition
WO2019212575A1 (en) System, apparatus, and method for optimizing viewing experience on an intelligent terminal
WO2016027536A1 (ja) 情報処理装置および制御方法
AU2017280957A1 (en) Application icon customization
CN107643884B (zh) 用于至少两台计算机和一个屏幕交互的方法和系统
JP6429640B2 (ja) 遠隔コミュニケーションで用いられるコミュニケーションシステム
US20230162450A1 (en) Connecting Spatially Distinct Settings
KR20220062122A (ko) 디스플레이 장치의 물리적 위치를 활용하는 장치 관리자
CN116991519A (zh) 一种显示控制方法以及电子设备
JP2021121878A (ja) 情報処理装置、情報処理方法、および記録媒体
JP6729028B2 (ja) 情報処理装置、電子黒板、プログラム
JP6775592B2 (ja) 空調用リモートコントローラ
KR101188871B1 (ko) 저시력인을 위한 터치스크린 장치 및 그 디스플레이 방법
US11327626B1 (en) Emissive surfaces and workspaces method and apparatus
KR20150105131A (ko) 증강현실 제어 시스템 및 제어 방법
JP7226836B2 (ja) 表示制御装置、プレゼンテーションシステム、表示制御方法、及びプログラム
JP2022162409A (ja) 電子機器及びその制御方法
JP7298224B2 (ja) 表示装置、及び表示方法
JP7287156B2 (ja) 表示装置、表示方法、プログラム
JP7342501B2 (ja) 表示装置、表示方法、プログラム
JP6193180B2 (ja) プレゼンテーション用端末及びプレゼンテーション方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant