CN105075246B - 使用镜子暗喻来提供远程沉浸式体验的方法 - Google Patents

使用镜子暗喻来提供远程沉浸式体验的方法 Download PDF

Info

Publication number
CN105075246B
CN105075246B CN201480009432.7A CN201480009432A CN105075246B CN 105075246 B CN105075246 B CN 105075246B CN 201480009432 A CN201480009432 A CN 201480009432A CN 105075246 B CN105075246 B CN 105075246B
Authority
CN
China
Prior art keywords
participant
virtual
information
local
mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480009432.7A
Other languages
English (en)
Other versions
CN105075246A (zh
Inventor
A·D·威尔森
P·A·周
D·M·吉勒特
H·本克
Z·张
N·S·费什曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105075246A publication Critical patent/CN105075246A/zh
Application granted granted Critical
Publication of CN105075246B publication Critical patent/CN105075246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02—Mirrors used as equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

描述了提供远程沉浸式会话的参与者之间的交互的远程沉浸式环境。该环境包括两个或更多个设置，每个设置与一参与者相关联。每个设置进而包括用于呈现三维虚拟空间以供本地参与者查看的镜子功能。该虚拟空间显示参与者中的至少一些，就好像参与者物理地出现在同一位置并看向镜子那样。镜子功能可被实现为半透明镜子和显示设备的组合或被实现为仅单独操作的显示设备。根据另一特征，该环境可按允许远程沉浸式会话的任意参与者与虚拟对象进行交互的方式来呈现虚拟对象。

Description

使用镜子暗喻来提供远程沉浸式体验的方法
背景
远程沉浸式协作系统能够实现地理上相互分开的两个或更多个参与者之间的实时交互。通过向每个参与者给出他或她正与其他远程参与者在同一物理空间中工作的感觉，这种类型的系统不同于传统的视频会议系统。
一种远程沉浸式协作系统使用窗户暗喻来提供共享空间体验。即，这种类型的系统向第一参与者给出他或她通过透明的窗户来看向第二参与者(其位于窗户的对面)的感觉。但是这种类型的协作系统可具有一个或多个缺点。第一，这个系统不能很好地适用于两个以上的参与者，这是因为窗户暗喻预先假定只有两个位置，对应于窗户窗格的前面和后面。第二，即，在不偏离窗户暗喻的原理达某个程度的情况下，这个系统不能容易地容纳其中参与者可操纵虚拟对象的共享工作空间。第三，这个系统不能提供藉此每个本地参与者能监视他或她对远程参与者而言出现的方式的合适机制。一些视频会议系统通过在显示器的周围区域中包括显示被呈现给其他参与者的本地参与者的图像的小的图片来实现这个结果；但是这种类型的图片可被视为使本地参与者分心且对本地参与者而言不自然。
以上提到的潜在缺点是作为示例而非限制被引述的。
发明内容
本文中描述了包括两个或更多个设置的远程沉浸式环境。本地参与者对应于物理地出现在特定本地设置处的参与者；远程参与者对应于物理地出现在相对于本地设置而言远程的设置处的参与者。每个设置进而包括用于产生三维虚拟空间以供本地参与者查看的镜子功能。该虚拟空间显示参与者中的至少一些，就好像参与者物理地出现在同一位置并看向镜子那样。
在一个说明性实现中，由每个设置提供的镜子功能包括被放置在显示设备的前面的物理半透明镜子。半透明镜子呈现本地参与者的虚拟图像，而显示设备呈现远程参与者的虚拟图像。
在另一说明性实现中，镜子功能包括模拟物理镜子的显示设备。即，在这个实施例中的显示设备呈现本地参与者和远程参与者两者的虚拟图像，而不使用物理半透明镜子。
根据另一说明性方面，每个设置包括用于构造其本地参与者的深度图像的功能。
根据另一说明性方面，每个设置包括其中本地参与者可放置物理对象的物理工作空间。设置产生作为物理对象的对应物的虚拟对象。在一个实现中，物理工作空间包括在其上本地参与者可放置物理对象的工作空间桌子。
根据另一说明性方面，每个设置处的镜子功能提供允许参与者联合地操纵虚拟对象的功能。虚拟对象可具有或可不具有在设置之一的工作空间中的对应物理对象。
根据另一说明性方面，由环境产生的虚拟空间包括虚拟反射空间和虚拟实际空间。虚拟反射空间包括从镜子表面上的反射的视角投射的一个或多个虚拟反射对象。虚拟实际空间包括从被放置在镜子表面之前的实体的视角投射的一个或多个虚拟实际对象。
上面的方法可以显现在各种类型的系统、组件，方法、计算机可读介质、数据结构、产品等等中。
提供本发明内容以便以简化形式介绍一些概念；这些概念将在以下的详细描述中进一步描述。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图简述
图1显示了使用镜子暗喻的远程沉浸式环境的概览。
图2描绘了被提供给使用图1中显示的那种环境的两个参与者的远程沉浸式体验。
图3显示可产生图2中示出的体验的环境的第一实现。该实现提供使用物理半透明镜子结合被放置在镜子后面的显示设备的镜子功能。
图4显示可产生图2中示出的体验的环境的第二实现。该实现提供单独使用显示设备(例如，而不使用物理半透明镜子)的镜子功能。
图5显示可被用于提供三维(3D)场景信息的本地处理系统的一个实现。图3或4的镜子功能显示3D场景信息。
图6显示使用具有弯曲显示表面的显示设备的镜子功能。
图7显示使用便携式显示设备的镜子功能。
图8显示涉及呈现由虚拟反射空间和虚拟实际空间组成的虚拟空间的远程沉浸式体验。
图9显示解释本地处理系统的一种操作方式的说明性过程。
图10示出了可以被用来实现前面的附图中所示出的特征的任何方面的说明性计算功能。
贯穿本公开和各附图，相同的编号参考相同的组件和特征。100系列标号指的是最初在图1中所找到的特征，200系列的标号指的是最初在图2中找到的特征，300系列的标号指的是最初在图3中找到的特征，依此类推。
具体实施方式
本发明是按如下方式来组织的。章节A提供关于使用镜子暗喻的远程沉浸式环境的概览；更具体的，本章节强调了被提供给远程沉浸式会话的参与者的体验。章节B描述了在章节A中介绍的环境的说明性实现。章节C阐述了在章节A和B中描述的概念和功能的说明性变体和扩展。章节D阐述了解释章节A－C的功能的操作的说明性方法。并且章节E描述了可以被用来实现章节A-D中所描述的特征的任何方面的说明性计算功能。
初步地，一些附图描述一个或多个结构组件(不同地称为功能、模块、特征、元件等)的上下文中的概念。附图所示的各个组件可通过任何物理和有形的机制，例如通过软件、硬件(例如芯片实现的逻辑功能)、固件等和/或其任何组合，以任何方式实现。在一种情况下，附图中所示出的将各种组件分离为不同的单元可以反映在实际实现中使用对应的不同的物理和有形的组件。另选地或者另外地，附图中所示出的任何单个组件都可以通过多个实际物理组件来实现。另选地或另外地，附图中的任何两个或更多分开组件的描绘可以反映单个实际物理组件所执行的不同功能。图10(将依次讨论)提供关于附图中所示的功能的一个说明性物理实现的附加细节。
其他附图以流程图形式描述了概念。以此形式，某些操作被描述为构成以某一顺序执行的不同的框。这些实现是说明性而非限制性的。此处描述的某些框可被分组在一起并在单个操作中执行，某些框可被分成多个组件框，并且某些框可以按与此处所示出的不同的次序来执行(包括以并行方式执行这些框)。流程图中示出的框可以任何方式由任何物理和有形机制来实现，例如由软件、硬件(如芯片实现的逻辑功能)、固件等，和/或它们的任何组合来实现。
至于术语，短语“被配置成”包含任何类型的物理和有形的功能可以被构建来执行已标识的操作的任何方式。功能可以被配置成使用例如软件、硬件(例如，芯片实现的逻辑功能)、固件等，和/或其任何组合来执行操作。
术语“逻辑”包含用于执行任务的任何物理和有形的功能。例如，流程图中示出的每一个操作都对应于用于执行该操作的逻辑组件。操作可以使用例如软件、硬件(例如，芯片实现的逻辑功能)、固件等，和/或其任何组合来执行操作。在由计算系统实现时，逻辑组件表示作为计算系统的物理部分的、不管用何种方式实现的电子组件。
权利要求中的短语“用于…的装置”(如果被使用)旨在援引35U.S.C.§112第六段的规定。除了本特定短语之外，没有其他语言旨在援引该法条的该部分的规定。
下列的说明可以将一个或多个特征标识为“可选”。这种类型的陈述不应该被解读为可以被视为可选的特征的穷尽的指示；也就是说，其他特征也可以被视为可选，虽然在文本中没有明确地标识。最后，术语“示例性”或“说明性”指的是可能的多个实现中的一个实现。
A.说明性参与者体验
本章节提供关于使用镜子暗喻来操作的远程沉浸式环境的概览。更具体地，本章节通过主要描述远程沉浸式环境提供给其每个参与者的体验的类型来介绍该远程沉浸式环境。章节B—D(以下)提供关于该体验能被实现的各种方式的细节。
从图1开始，该附图显示了远程沉浸式环境100的概览，该远程沉浸式环境100向标记为参与者P1、参与者P2和参与者P3的三个参与者提供远程沉浸式体验。然而，该环境100可提供涉及仅两个参与者或三个参与者以上的远程沉浸式会话。每个参与者相比于其他两个参与者而言在不同的地理位置处操作。即，参与者P1在位置L1处操作，参与者P2在位置L2处操作，并且参与者P3在位置L3处操作等。当从任一参与者位置的有利视点来描述环境100时，在该位置处的参与者被称为本地参与者，而其他参与者被称为远程参与者。此外，本地设置指在与本地参与者相关联的特定站点处提供的功能。远程设置指在与远程参与者相关联的站点处提供的功能。
每个位置可与任一其他位置分开任意距离。例如，在一个情况下，如当两个参与者占据校园环境中的同一建筑物的不同房间或不同建筑物时，该两个参与者可相对靠近在一起。在另一情况下，如当两个参与者位于不同的州、省份或国家等时，该两个参与者可相距很远。图1通过指示三个参与者(P1,P2,P3)全部都占据真实空间104来简化对他们的描绘。真实空间是包括物理实体(例如，人、物理对象等)的空间。
环境100使用镜子功能106来呈现三维虚拟空间108。虚拟空间108使用镜子暗喻来提供参与者102的虚拟图像110。当事实上参与者实际上处于不同的位置(例如，位置L1,L2,L3)时，镜子暗喻给予每个参与者以下感觉：所有的参与者都出现在同一物理位置处并看向同一镜子。即，每个参与者都将在由镜子功能106产生的虚拟空间108中看到虚拟图像V1、V2和V3。虚拟图像V1是真实参与者P1的虚拟对应物。虚拟图像V2是真实参与者P2的虚拟对应物。并且虚拟图像V3是真实参与者P3的虚拟对应物。(然而，如将在以下描述的，每个参与者的虚拟空间108的视图可在一些方面与其他参与者的视图不同；例如，基于配置设置，本地参与者可选择从虚拟空间108中省略他的虚拟图像。)
图1指示出环境100将虚拟图像110安排为给出参与者P2位于参与者P1和P3中间的感觉，例如，其中参与者P1在参与者P2的左边，而参与者P3在参与者P2的右边。但是对虚拟图像110排序的这种方式可被改变。例如，环境100可按任意方式来分派次序，或可使用任意一个或多个因素来选择次序。例如，环境100可基于参与者的与次序有关的偏好来分派次序。或者环境100可基于每个参与者加入会话的时间次序等来分派次序。此外，环境100可在远程沉浸式会话期间基于任意触发因素来动态地改变参与者的次序。
在图1的示例中，虚拟图像(V1、V2和V3)对应于在暗喻性镜子表面上的反射图像。这些虚拟图像因此可被称为虚拟反射图像，并且虚拟空间108整体可被称为虚拟反射空间。章节D呈现了一示例，在该示例中，虚拟空间108还包括与被放置在镜子表面之前的对象相关联的虚拟图像，而非镜子表面上的反射。这些虚拟图像可被称为虚拟实际对象，并且虚拟空间的提供这些对象的部分可被称为虚拟实际空间。每个虚拟实际对象都具有虚拟反射对应物，并且在一些情况下，具有真实物理对应物。但是为了简化解释，随后的解释将首先假设所有虚拟图像对应于镜子表面中的反射，而非被放置在镜子表面之前的对象的表示。
图2描绘了(图1的)环境向本地第一参与者202提供的远程沉浸式体验。该远程沉浸式会话仅涉及两个参与者，但是如以上提到的，会话可涉及两个以上的人。另一(远程)参与者在本文中被称为第二参与者。
更具体地，图2从第一参与者的本地设置的观点描绘了第一参与者202的体验。在该设置中，第一参与者202在真实空间204中站立并看着由环境100创建的虚拟空间206。虚拟空间206显示第一参与者202的虚拟图像208和第二参与者的虚拟图像210。
虽然未显示，但是第二参与者可被可视化为站立在由他自己的本地设置提供的真实空间中。并且类似于第一参与者202，第二参与者可被可视化为看着由环境100创建的虚拟空间。该虚拟空间将包括第一参与者202的虚拟图像208以及第二参与者的虚拟图像210。换言之，在一个配置中，第一参与者202可与第二参与者参看相同的虚拟空间。
在另一配置中，第一参与者202所看到的虚拟空间206可以在一个或多个方面与第二参与者所看到的虚拟空间不同。例如，如以上提到的，第一参与者可选择从虚拟空间206中省略他自己的虚拟图像208；类似的，第二参与者可选择从他的虚拟空间中省略他自己的虚拟图像210。注意，这种省略某人自己的反射的能力是一选项，该选项可取决于环境实现镜子暗喻的方式对不同程度可用；例如，图4的环境400(将在以下被描述)相比于图3的环境300(将在以下被描述)而言更容易地适应该选项。
从高水平视角来看，虚拟空间206给出两个参与者并排站立在同一房间中的感觉。例如，从第一参与者202的视角来看，虚拟空间206创建第二参与者就站立在第一参与者202紧邻左边的假想，即使第二参与者物理上出现在与第一参与者202相比完全不同的地理位置处。还注意，虚拟空间206呈现真实空间204的翻转(即，镜子)版本。
此外，第一参与者202的虚拟图像208可大致具有与第二参与者的虚拟图像210一样的大小。但是，环境100可替换地显示任一参与者的被减小大小或被增加大小的虚拟图像(相对于其他参与者的大小而言)。替换地或附加的，环境100可使用任意图形效果来在虚拟空间206中突出显示任意参与者，诸如通过在当前时间说话的参与者周围呈现发光的光环、或通过显示指向正在说话的参与者的图形箭头等。
环境100还可提供其他特征，其中的一些在以下被枚举。
(a)对虚拟对象的操纵。图2指示出本地设置的真实空间204包括其中第一参与者202可操纵真实对象的工作空间。例如，第一参与者202将真实球214放置在物理桌子212上。工作空间还可包括其中第一参与者202可例如使用他的手或任意其他身体部位来主动地操纵一个或多个对象的空间。例如，第一参与者202正用他的左手握住矩形对象216；更具体地，第一参与者202将该矩形对象216向着虚拟空间206的表面伸出，就好像将它显示给第二参与者那样。在仅仅一个代表性情况下，假设矩形对象216对应于智能电话或某个其他手持式移动设备，虽然矩形对象216可对应于任意物理对象。
以类似的方式，第二参与者在其中操作的远程设置包括其中第二参与者可与物理对象交互的工作空间。例如，该工作空间可包括作为本地设置中的物理桌子212的对应物的物理桌子。如将在以下描述的，第二参与者将另一矩形对象放置在他的桌子上。
环境100还创建对应于物理对象的虚拟对象。这些虚拟对象在每个虚拟空间中显现为虚拟图像。例如，环境100创建其是物理桌子212的虚拟对应物的虚拟桌子218。环境100创建其是真实球214的虚拟对应物的虚拟球220。注意，虚拟球220看上去放在虚拟空间206中的虚拟桌子218上。环境100还创建其是物理矩形对象216的虚拟对应物的虚拟矩形对象222。注意，第一参与者202的虚拟图像208描绘了正握着虚拟矩形对象222的一人。并且最终，环境100创建也放在虚拟桌子218上的另一虚拟矩形对象224。这个虚拟矩形对象224是第二参与者放置在他自己的物理桌子(未显示)上的物理矩形对象(未显示)的虚拟对应物。环境100可提供适当的处理以确保向任一参与者呈现的虚拟空间仅包括一个虚拟桌子218，例如，使得在不同设置中的多个物理桌子不产生多个重叠的虚拟桌子；为了适应这个特征，每个设置可包括相同构造且相同放置的物理桌子。
以上描述的虚拟对象中的每一个都映射出现在环境100的真实空间中的物理对象。例如，虚拟桌子218上的每个虚拟对象都具有第一参与者的设置的物理桌子212或第二参与者的设置的物理桌子上的对应物理对象。环境100还可产生在环境100定义的真实空间中不具有物理对应物的虚拟对象。此虚拟对象可被称为纯虚拟对象。例如，环境100呈现看上去位于虚拟矩形对象222之上的虚拟球226。该虚拟球226在任一真实空间中不具有物理对应物。
在一个实现中，环境100包括向虚拟球226分派物理特性的物理模拟引擎。物理模拟引擎还可例如通过使得虚拟球226的移动符合牛顿定律等来将虚拟球226的移动建模为就好像它是真实的物理球。在一个场景中，第一参与者202可接着致力于将虚拟球226在虚拟矩形对象222之上保持平衡来移动物理矩形对象216，基本上与第一参与者202移动矩形对象216以将物理球在矩形对象216之上保持平衡的方式一样。再次，这仅仅是代表性示例；其他实现可呈现任意类型的纯虚拟对象，并可将任意现实和/或想象的动力学分派到这些虚拟对象。
参与者还可联合地与任一虚拟对象交互。例如，图2显示了第二参与者正指着虚拟矩形对象222。例如，第二参与者可作出关于虚拟矩形对象222的评论。为了帮助传达他的意思，第二参与者可指向虚拟矩形对象222中的他正在特定时刻谈论的精确部分。
任一参与者还可操纵任一虚拟对象。例如，在一个场景中，第二参与者可被允许伸手并抓住正被第一参与者202平衡在虚拟矩形对象222之上的虚拟球226。第二参与者可接着对虚拟球226实施控制。第二参与者可通过观察他的出现在虚拟空间中的虚拟图像210来执行这个操作。即，第二参与者可将他的虚拟图像210的移动用作向导来确定他应当如何移动他的真实手。
为了执行以上描述的种类的操纵，环境100可使用跟踪功能，该跟踪功能跟踪环境100的真实空间中的物理实体的位置。例如，环境100可跟踪每个参与者的手、和/或头、和/或眼睛和/或整个身体的移动。环境100还可跟踪出现在环境100的真实空间中的无生命对象的位置。这些跟踪操作产生跟踪信息。环境100可使用跟踪信息来例如通过使得第二参与者的虚拟手228(具有虚拟空间206中的第一位置)能够准确地抓住虚拟球226(具有虚拟空间206中的第二位置)来控制虚拟对象。
在一个具体的场景中，一参与者还可按大致与镜子功能106的表面正交的方向来移动任一虚拟对象，例如通过以该正交方向来拉或推虚拟对象。如将描述的，环境100可执行这种操作，这是因为它将虚拟空间中的对象建模为具有深度的三维实体。
(b)虚拟空间中内容的呈现。环境100可允许任一参与者将注释添加到镜子功能106的“表面”。例如，第一参与者202使用指示笔、手指或某一其他工具在镜子功能106的表面上书写注释230。环境100可呈现该注释230，使得它按从每个参与者的有利视点来看在正确的方向流动，例如在英语中，从左到右。任一参与者可接着诸如通过编辑注释230、在虚拟空间中移动注释230的位置、调整注释230的大小、擦除注释230、在数据存储中存档注释230、打印注释230等来以任一方式操纵注释230。
环境100还可允许任一参与者检索文档或其他数字内容以供在虚拟空间中呈现。例如，第一参与者202从存档中检索了文档232，并指令环境100将其张贴到镜子功能106的“镜子表面”。一旦被呈现在虚拟空间中，任一参与者可接着诸如通过在文档232内导航、编辑文档232、将突出显示或评论添加到文档232、在虚拟空间内移动文档232的位置、删除文档232、调整文档232的大小、打印文档232等来以任一方式操纵文档232。
更一般地，环境100使用共享工作空间墙的暗喻来实现以上描述的功能，其中镜子表面构成墙。参与者与墙交互，就好像他们并排站在墙之前那样。参与者可将笔迹添加到墙、将文档张贴到墙或改变这个表面的任意其他特征。被添加到虚拟墙的信息可一般地被称为参与者指定的信息。
(c)虚拟空间中控制特征的呈现。环境100还可在虚拟空间中显示控制特征。例如，图2显示了一示例，其中环境100在镜子功能106的“镜子表面”上呈现控制特征234。每个参与者都可与控制特征234交互以执行任意专用功能。例如，控制特征234可对应于任一种类的图形控制特征，诸如一个或多个任一类型的菜单、一个或多个按钮、一个或多个滑条、一个或多个旋钮、一个或多个复选框或单选按钮等、或它们的任意组合。参与者可操纵这些种类的图形特征以控制交互式体验的任一方面。例如，本地参与者可与控制特征交互以调节每个远程参与者的语音被呈现给他或她的音量。
以上描述的环境100具有多个潜在益处。根据一个潜在益处，环境100产生可容纳任意数量的参与者的共享虚拟空间。换言之，环境100可很好地扩展到任意数量的参与者，而不偏离其镜子暗喻的底层原理。
根据另一潜在益处，环境100提供用于联合地操纵虚拟对象的容易理解且容易使用的框架，而不偏离其镜子暗喻的底层原理。
根据另一潜在益处，环境100提供用于向本地参与者显示对于远程参与者而言他们看上去可能如何的便利且自然的机制。例如，在一个配置设置中，显现给第一参与者202的虚拟空间206可能看上去与显现给第二参与者的虚拟空间完全一样。由此，第一参与者202可以有理由确保他的外观(如在虚拟图像208中显现的)在被显现给第二参与者时与他的虚拟图像一样或类似。
根据另一潜在益处，环境100提供用于例如通过使用以上描述的共享墙暗喻将注释、文档以及其他内容张贴到镜子功能106的“镜子表面”的容易理解且容易使用的技术。
以上潜在的益处是作为示例而非限制被引述的。其他实现可提供附加的益处。其他实现还可缺乏以上描述的特征中的一个或多个。
B.说明性实现
图3显示了表示以上描述的特征的第一实现的环境300。环境300一般提供了可供多个相应参与者使用的设置集。即，环境300提供用于参与者P1的第一设置302、用于参与者P2的第二设置304、用于参与者P3的第三设置306以及用于参与者Pn的第n设置308。每个设置位于不同的地理位置中。图2显示了第一设置302的说明性组成。其他设置(304、306……308)可具有相同的组成和操作方式，虽然未在图3中明确显示。
设置302包括用于产生参与者P1的表示的图像捕捉功能310。在一个情况下，图像捕捉功能310包括任意一个或多个类型的一个或多个相机。例如，图像捕捉功能310可包括产生可被用于构造设置302的真实空间(包括参与者P1和真实空间中的任意物理对象)的深度图像的信息的一个或多个相机。深度图像定义参考点(例如，相机的位置)和真实空间中每一位置之间的距离。设置302可使用任一技术来产生深度图像，诸如结构化光技术、飞行时技术、立体技术等或它们的任一组合。
例如，设置302可使用由华盛顿州雷蒙德市的微软公司所提供的KinectTM设备来产生真实空间的深度图像。在一个实现中，KinectTM设备使用结构化光技术来产生其深度图像。通过这种方式，图像捕捉功能310将具有图案的光投射到真实空间上(该光构成“结构化光”)。结构化光照射真实空间中的对象。对象具有三维表面，这些三维表面具有使结构化光的图案失真的各种形状。图像捕捉功能310接着捕捉真实空间中如被结构化光照明的对象的图像。深度确定功能接着将捕捉的图像与和未失真图案相关联的参考图像进行比较。深度确定功能使用该比较的结果来推断参考点与真实空间中的每一个点之间的距离。
附加地或替换地，图像捕捉功能310可包括产生表示真实空间的视频图像信息的一个或多个摄像机。即，视频图像信息可提供真实空间中对象的色彩(例如，RGB)表示。
一般而言，图像捕捉功能310在本文中用于生成“本地相机信息”。本地相机信息可包括由图像捕捉功能310提供的任意原始信息，例如包括被用于构造深度图像和/或视频图像信息等的信息。
本地处理系统312接收来自本地图像捕捉功能310的本地相机信息。本地处理系统312还接收来自每个远程设置(304、306……308)的远程输入信息。远程输入信息可包括关于出现在远程设置(304、306、308)中的对象的任意信息。例如，该信息可包括远程相机信息和/或三维(3D)对象信息。如将在以下解释的，设置的3D对象信息对应于设置的真实空间中对象的三维表示，该三维表示是基于设置所提供的相机信息生成的。
本地处理系统312还将本地输入信息转发到每个远程设置(304、306……308)。本地输入信息是远程输入信息的实例的对应物。即，本地输入信息可提供关于本地设置302中的对象的任意信息，例如包括原始本地相机信息和/或由本地处理系统312产生的本地3D对象信息。本地3D对象信息提供设置302的本地真实空间中对象的三维表示。
本地处理系统312基于本地相机信息和远程输入信息来生成3D场景信息。图5(将要在以下描述)描绘了藉此本地处理系统312可执行这个任务的一种方式。作为概览，本地处理系统312可首先基于本地相机信息创建与本地设置302相关联的真实空间的三维表示。这在以上介绍的技术中产生本地设置302的本地3D对象信息。本地处理系统312可接着将本地设置302的本地3D对象信息与远程设置(304、306……308)的3D对象信息的对应物进行比较。更具体地，这种组合将分开的实例投射到符合关于附图1和2描述的镜子暗喻的公共视角(以及坐标系统)。本地处理系统312还可将补充信息(诸如由任一参与者创建的注释、由任一参与者张贴的文档、控制特征等)集成到它创建的3D场景信息中。本地处理系统312接着将所得到的3D场景信息发送到镜子功能314。
在图3中显示的第一实现中，镜子功能314包括被定位在显示设备318前面(即，相对于参与者P1的位置而言的“前面”)的物理半透明镜子316。半透明镜子316呈现位于半透明镜子316前面的任一对象的反射。与此同时，半透明镜子316将允许参与者P1看到被放置在半透明镜子316后部的任何对象(真实或虚拟)。
显示设备318接收由本地处理系统312提供的3D场景信息。基于该信息，显示设备显示被一个或多个虚拟图像填充的三维虚拟空间。显示设备318可通过使用任何显示技术(诸如LCD显示器)来实现。在另一实现中，显示设备318可被实现为立体显示设备、或被实现为将立体信息投射到任一表面(诸如墙)的三维投影设备。参与者P1可使用快门眼镜等来查看这种立体显示器的输出；这给出虚拟空间中的对象具有深度维度的感觉。
更具体地，半透明镜子316将参与者P1的虚拟图像320呈现为例如镜子的表面上的普通反射。显示设备318呈现参与者P2的虚拟图像322和虚拟对象324。例如，虚拟对象324可对应于图2中的虚拟球226。第一参与者P1将在查看镜子功能314之际感觉到合成的虚拟场景326，其中第一参与者P1看上去站在第二参与者P2旁边。第一参与者P1将进一步感觉到他或她自己正在用他或她的手来操纵虚拟对象324。
设置302通过在显示设备318上相对于半透明镜子316的表面上的反射的适当位置处显示虚拟图像来产生以上描述的效果。例如，设置302可确定参与者P1的虚拟图像320在半透明镜子316上的位置以将虚拟对象324放置在第一参与者的手中。这种操作方式预先假定设置302知晓物理实体在真实空间中的位置，以及虚拟图像在半透明镜子316的表面上的对应位置。设置302可用不同方式来获取该知识。在一个情况下，参与者P1可被请求将他或她的移动限制到设置302的真实空间中的预定的区域。在这种情况下，设置302可作出以下粗略的假设：虚拟图像320将出现在半透明镜子316的表面上的预定的位置处。在另一实现中，设置302可包括跟踪功能，该跟踪功能例如通过跟踪参与者P1的手或参与者P1的整个身体来用任何粒度水平跟踪参与者P1在设置302的真实空间中的位置。设置302可基于跟踪信息来确定虚拟图像320在半透明镜子316的表面上的位置。并且其他技术可被用于确定物理实体在真实空间中的位置以及它们的在半透明镜子316的表面上的对应虚拟图像。
设置302还可产生根据出现在半透明镜子316的表面上的图像的大小被缩放的虚拟图像以供呈现在显示设备318上。在一个情况下，参与者P1与半透明镜子316分开距离d1，并且半透明镜子316与显示设备318分开距离d2。参与者P1将感觉到他的反射虚拟图像320出现在2×d1的深度处。设置302可呈现第二参与者P2的虚拟图像322，使得从真实第一参与者P1的有利视点来看，它看上去具有与第一参与者P1的虚拟图像320相同的大小。在一个情况下，设置302可通过将d1大致等于d2来实现这个结果。例如而非限制，d1和d2两者均可以大致等于3英寸。
镜子功能314的配置可用各种方式来修改。例如，在另一实现中，显示设备318可被放置在紧靠半透明镜子316的背面。设置302可改变藉此其缩放虚拟图像以供在显示设备318上呈现的方式来符合这个替换安排。
任何类型的通信机制328可将设置(302、304、306……308)耦合在一起，诸如广域网(例如，因特网)、局域网、点对点连接等或它们的组合。
图4显示了可实现以上描述的远程沉浸式体验的另一环境400。环境400具有与图3的环境300相同的组件，除了图4的镜子功能402不同于图3的镜子功能314之外。
概要地说，图4显示了供第一参与者P1使用的本地设置404。本地设置404经由通信机制412被耦合到其他设置(406、408……410)。远程参与者与相应其他设置(406、408……410)进行交互。图4显示了本地设置404的说明性组成；其他设置(406、408……410)具有类似的组成和操作方式，虽然未在图4中明确显示。
设置404包括用于产生本地相机信息的图像捕捉功能414。如以上解释的，本地相机信息可包括可被用于构造设置404的真实空间的深度图像的信息。附加地或替换地，本地相机信息可包括视频图像信息。本地处理系统416接收来自本地图像捕捉功能414的本地相机信息，以及来自每个远程设置(406、408……410)的远程输入信息的实例。基于该输入信息，本地处理系统416生成其在镜子功能402上呈现的3D场景信息。
在这个实施例中，镜子功能402包括显示设备418，而不使用半透明镜子。显示设备418显示被呈现给第一参与者P1的虚拟空间的所有方面。即，显示设备418呈现作为第一参与者P1的虚拟对应物的虚拟图像420以及作为第二参与者P2的虚拟对应物的虚拟图像422。显示设备418还呈现虚拟对象424。这种虚拟图像的集合创建感觉到的虚拟场景426；在该虚拟场景426中，第二参与者P2看上去站在第一参与者P1的旁边，并且第一参与者P1看上去正用他的手来操纵虚拟对象424。
在图4的实现中，镜子功能402的“表面”对应于显示设备418的表面。相反，在图3的实现中，镜子功能314的“表面”对应于半透明镜子316的表面。
本地处理系统416可通过组装、投射和缩放由各个设置提供的3D对象信息的各个实例来组成3D场景信息。本地处理系统416还可在产生3D场景信息时将跟踪信息考虑在内。例如，本地处理系统416可依赖跟踪信息来确定参与者的手在该参与者操纵虚拟对象时的位置。
虽然未在附图3或4中明确描绘，但是每个本地设置还可包括用于呈现在每个远程设置中产生的声音(诸如远程参与者的语音)的扬声器。每个本地设置还可包括用于检测在本地设置中产生的声音(诸如本地参与者的语音)的话筒。每个本地设置可将由其话筒产生的音频信息转发到其他远程设置，例如作为以上描述的其向远程设置转发的本地输入信息的一部分。
图5显示了可被用于提供图3或4中的三维(3D)场景信息的本地处理系统500的一个实现。即，在一个解释中，本地处理系统500对应于图3中显示的本地处理系统312。在另一个解释中，本地处理系统500对应于图4中显示的本地处理系统416。尽管本地处理系统312可在某些方面不同于本地处理系统416，但是图5主要关注这两个实现之间功能方面的共性。
本地图像构造模块502接收来自设置的本地相机功能(310或414)的本地相机信息。本地相机构造模块502接着基于本地相机信息来形成3D对象信息。作为第一步，本地图像构造模块502可将相机信息的每个实例转换成单坐标空间。即，设置可在围绕本地参与者的不同位置处提供多个相机以从不同的有利视点来捕捉参与者的表示。每个相机产生相机信息的单独实例。本地图像构造模块502可例如通过将适当的坐标转换应用到相机信息的每个实例来将相机信息的不同实例合并成真实空间中对象的单个合成表示。
本地图像构造模块502可接着处理由集成的相机信息提供的深度信息来产生本地3D对象信息。不作为限制，在一个代表性方式中，本地图像构造模块502可使用深度信息来创建设置的真实空间中的对象的3D网格。每个3D网格可被比作真实空间中一对象的线框模型，例如由深度信息中的顶点定义的多个三角形组成的。本地图像构造模块502可接着将视频信息应用到3D网格。即，在一个实现中，本地图像构造模块502将视频信息视为可按皮肤到身体上的方式被“粘”在3D网格上的纹理。
跟踪模块504可跟踪与设置相关联的真实空间中各个对象的位置。跟踪模块504可使用一个或多个技术来执行这个任务。在一个情况下，跟踪模块504使用以上描述的KinectTM设备来将每个参与者的身体表示为骨架，即表示为由线段连接在一起的关节的集合。跟踪模块504可接着随着参与者在真实空间内移动来跟踪这个骨架的关节的移动。替换地或附加地，跟踪模块504可使用任何头部移动技术来跟踪参与者的头部的移动。替换地或附加地，跟踪模块504可使用任何眼部注视识别技术来跟踪参与者的眼部注视。
在以上的示例中，跟踪模块504基于以上描述的本地相机信息来跟踪真实空间中对象的移动。替换地或附加地，跟踪模块504可收集揭示真实空间中对象的位置的补充信息。例如，考虑图2中显示的场景，其中第一参与者202在真实空间204内移动的矩形对象216对应于智能电话等。智能电话通常包括一个或多个位置确定设备，诸如陀螺仪和/或加速计。这些设备提供指示智能电话的相对位置的位置信息。跟踪模块504可接收来自这些设备的位置信息并将其与骨架跟踪系统提供的位置信息相组合。相比于使用仅由骨架跟踪系统提供的位置数据，所得到的位置信息可用提升的准确度来定义参与者的手(其握住矩形对象216)的位置。
替换地或附加地，补充标记可被附加到设置的真实空间中的对象。例如，RF标记可被附加到参与者的手和头部，以及被附加到真实空间中的每个物理对象。跟踪模块504可接收从这些标记获得的补充位置信息。
以上跟踪技术是作为示例而非限制被引述的。其他实现可使用其他用于确定真实空间中身体和其他对象的位置的技术。此外注意，本地处理系统500可例如取决于本地处理系统500的实现和取决于本地处理系统500按此被使用的模式来在不同程度上使用跟踪信息。在一些情况下，本地处理系统500可不使用跟踪信息，或最小量地使用跟踪信息。
例如，假定本地处理系统500被用在图4的环境400中，并且目标是仅呈现在虚拟空间中具有相互并排关系的参与者的图像。此外，假设每个参与者被预期出现在他或她的设置的真实空间中的预定区域中。本地处理系统500可产生理想的虚拟空间，而无需例如执行对每个参与者的手的精确跟踪。
传输模块506将本地输入信息转发到远程沉浸式会话的其他远程参与者。如以上解释的，例如，本地输入信息可对应于由本地设置提供的原始相机信息和/或由本地图像构造模块502提供的经处理的本地3D对象信息。传输模块506可使用任何用于传输本地输入信息的技术，诸如其中传输模块506向与远程设置相关联的不同目的地广播本地输入信息的复用技术。
图像组成模块508接收来自图像构造模块502的3D对象信息以及来自各个远程设置的远程3D对象信息的实例。基于这个信息，图像组成模块508产生用于输出到镜子功能(314或402)的显示设备(318或418)的3D场景信息。
图像组成模块508可包括(或可被概念化为包括)执行不同相应功能的多个子模块。图像转换模块510将3D对象信息的每个实例转换成与正被建模的暗喻性镜子相关联的公共坐标空间。图像转换模块510还可将适当的缩放应用到3D对象信息的各个实例。一任选的物理模拟引擎512可将模拟效果应用到虚拟场景中的任一虚拟对象，诸如与图2相关描述的虚拟球226。图像组装模块514可将场景的各个不同部分组装到集成的3D场景信息中。
物理模拟引擎512可至少部分依赖于已知的模拟算法来以现实或非现实的方式操纵3D虚拟对象，已知的模拟算法包括考虑刚体动力学、柔体动力学等的模型。说明性已知的物理模拟器包括加利福尼亚州的圣克拉拉市的Nvidia公司提供的PhysX；爱尔兰都柏林的Havok提供的Havok物理学；Julio Jerez和Alain Suero制作的牛顿游戏动力学(NewtonGame Dynamics)，等等。
补充特征管理模块516(出于简洁为“管理模块”)贡献可被添加到3D场景信息的补充信息。例如，管理模块516可接收来自镜子功能(314、402)的指示本地参与者在镜子功能(314、402)的表面上进行了书写的笔迹信息。管理模块516可接着将笔迹信息转发到图像组成模块508，在此其可被集成到正被创建的3D场景中。如在章节A中提到的，任一参与者还可与已通过任何方式被添加到虚拟空间的注释进行交互。管理模块516还可管理这个交互。
更具体地，在图4的情况下，显示设备418可包括触敏表面。当参与者例如通过使用指示笔、手指或某个其他实现与触敏表面交互时，显示设备418可产生笔迹信息。替换地或附加地，相机可被放置在显示设备418前面和/或后面来检测本地参与者与显示设备418的交互并将笔迹信息产生为结果。类似地，在图3的情况下，半透明镜子316可包括触敏表面，当参与者作出与该表面的接触时，该表面产生笔迹信息。替换地或附加地，相机可被放置在半透明镜子316前面和/或后面以检测本地参与者与半透明镜子316的交互并将笔迹信息产生为结果。或者，图3的设置302可提供半透明镜子316前面的本地参与者可在其上书写的单独的透明元件(未显示)，并且设置302可将笔迹信息产生为结果。替换地或附加地，本地参与者可使用任何其他输入机制来提供注释，诸如但不限于，键区、鼠标设备、语音识别机制等。
管理模块516还可管理对文档的检索和操纵。例如，管理模块516可接收来自使用任何输入机制的本地参与者的命令。管理模块516可接着检索被命令指定的文档，例如通过当本地参与者说出语音命令“检索tax return 2012”时或当本地参与者通过任何其他输入机制输入该命令时检索名为“tax return 2012”的文件的电子表格文档。环境可接着允许远程沉浸式会话的任何参与者以以上在章节A中描述的任何方法来操纵文档。
管理模块516还可在虚拟空间中显示任何种类的控制特征，诸如图2中显示的代表性控制特征234。管理模块516还可检测本地参与者与控制特征的交互，并接着基于参与者的交互来采取适当的动作。
上述描述的管理功能是作为示例而非限制被引述的。管理模块516可在其他实现中执行其他功能。
图像组成模块508还可接收来自任选图形库518的图形信息。例如，图形库518可包括与各个库存对象相关联的3D对象信息的实例，诸如图2中显示的虚拟球226。在操作中，图像组成模块508可确定正被创建的3D场景是否包括被图形库518描述的任何虚拟对象。如果是，则图形组成模块508从图形库518中检索3D对象信息的适当实例并将其集成到正被创建的场景中。
图5还指示了图像组成模块508接收本地参与者的各个配置指令。例如，本地参与者可指定图4的镜子功能402是否将在显示设备418上显示他自己的虚拟图像(例如，虚拟反射)。如果参与者指定“否”，则所得到的虚拟空间将省略本地参与者的虚拟表示。但其他参与者依然将看到本地参与者的虚拟图像。本地参与者可诸如通过调节远程参与者的语音的音量、指定参与者将出现在虚拟空间中的次序等来提供任何其他配置指令。
C.说明性变体和扩展
本章节提供关于章节A和B中阐述的概念和功能的各种修改和扩展的细节。
图6显示了在图1-5中阐述的概念的第一变体。即，在图3和4的示例中，镜子功能(314、402)使用具有平面显示表面的显示设备(318、418)。相反，图6显示了具有带有弯曲显示表面的显示设备602的镜子功能。例如，显示设备602可具有半圆形表面、抛物线表面等。本地参与者604可从位于或靠近显示设备602的弯曲表面的中心的有利视点来观察呈现在显示设备602上的内容。更具体的，参与者的设置的本地处理系统可继续计算3D场景信息，就好像用户在平面镜子的前面站在彼此身旁一样。但是，在图6的实现中，本地处理系统将该3D场景信息呈现在具有弯曲表面的显示设备602上。3D场景信息可任选地包括或省略本地参与者的虚拟图像。
图6的安排向本地参与者604给出远程参与者排列在他周围的感觉，就好像他坐在靠近圆形桌子的中心。本地参与者604可发现这种呈现方式在具有大量参与者的那些场景中是有用的；即，相比于线性安排，这种配置可允许本地参与者604更高效地观察远程参与者。此外，本地参与者604可转动他或她的头部(或他或她的整个身体)来和不同的参与者说话。相比于其中远程参与者被线性地安排在本地参与者604前面的情况，这种转动可更加明显。这个方面可通过更加高效地揭示本地参与者604对远程参与者的注意的方向来提升交互。
图7显示了在图1-5中阐述的概念的另一变体。即，在图3和4的示例中，镜子功能(314、402)使用相对大的显示设备(318、418)。例如，显示设备(318、418)可以足够大来显示远程沉浸式会话的每个参与者的真人大小的虚拟图像。但是镜子功能的显示设备可具有任意大小，并且参与者的虚拟图像可按任意方式被缩放。例如，图7显示了使用便携式(例如，手持式)显示设备702来显示远程沉浸式会话的参与者的虚拟图像的镜子功能。显示设备702使用以上描述的相同镜子暗喻来显示每个参与者的按比例缩小的版本。显示设备702可例如对应于以下中的任一：智能电话、电子书本阅读器设备、便携式游戏设备、平板计算设备、个人数字助理设备、膝上型计算设备、上网本类型计算设备等。
显示设备702可在任意环境中提供远程沉浸式体验，包括其中参与者中的一个或多个正在移动的动态环境。例如，图7显示了对在车辆704的内部中的显示设备702的说明性使用。本地参与者706可对应于车辆704的驾驶员。驾驶员可将显示设备702安装在车辆704的仪表盘上，例如，在控制面板708上方。显示设备702可经由常规电源线710和/或其自己的内部电源来接收来自车辆704的功率。车辆704的内部还可例如通过提供位于内部内的各个位置处的一个或多个相机来包括图像捕捉功能。显示设备702可提供一个这样的相机712。后视镜可提供另一相机714。图像捕捉功能例如通过提供可被用于产生车辆内部的深度图像的信息以及视频图像信息来以以上描述的方式提供本地参与者706的表示。在一个情况下，远程沉浸式会话的任一远程参与者可位于另一车辆中、或位于他或她的家或办公室中或位于任何其他地方。在另一情况下，“远程”参与者中的至少一些可位于车辆704本身中，例如，在车辆704的后座。本地参与者706可发现这对经由显示设备702来与后座参与者谈话、而非将他的头转动来与后座的参与者交谈是有用的。在地方司法的法律许可的情况下，本地参与者706可在驾驶时使用以上描述的技术来参与远程沉浸式会话；如果规则不允许这种类型的行为，则本地参与者706可在车辆不移动时进行会话。在其他场景中，本地参与者706可将显示设备702从其挂接处分离并在行走时或在任何其他位置继续进行远程沉浸式会话。
作为清晰的结束语，图3-5提供了其中由本地处理系统(312、416、500)提供的处理的全部都在本地设置处被执行的示例。替换地，该处理的至少一些部分可被委派到远程处理功能，诸如远程云计算功能。这种实现尤其在以上描述的移动场景中有用，例如，在那些其中显示设备702可具有有限处理能力的情况下。
图8显示了在图1-5中阐述的概念的另一变体。更具体地，在图1和2的示例中，环境100创建包括反射虚拟图像110的虚拟空间108。即，虚拟空间108中的虚拟图像110对应于由镜子功能106产生的真实空间104中真实实体的反射。在另一实现中，虚拟空间108可被扩展来呈现真实空间104中的真实实体和由镜子功能106产生的反射两者的虚拟表示。真实实体的虚拟表示在本文中被称为虚拟实际实体，例如虚拟实际参与者、虚拟实际对象等。反射的虚拟表示在本文中被称为虚拟反射实体，例如虚拟反射参与者、虚拟反射对象等。图2的虚拟空间206中显示的每个实体构成虚拟反射参与者或虚拟反射对象、或纯虚拟对象。纯虚拟对象不具有在环境100的真实空间的任一中的真实对应物，就好像虚拟球226的情况那样。
在图8中，第一参与者802和第二参与者使用环境100的经修改的版本来参与远程沉浸式会话。即，第一参与者802使用本地设置804来在第一位置处操作。该设置提供与第一参与者802相关联的真实空间806。在当前时间，第一参与者802正用他的左手握着矩形对象808，展示它以供第二参与者观察。第二参与者在相对于第一位置而言远程的第二位置处操作。第二参与者使用远程设置(未显示)。在当前时间，第二参与者正指向被第一参与者802握着的矩形对象808。
图8从第一参与者802的视点描绘了远程沉浸式体验。即，环境100提供类似于图2的虚拟空间206的虚拟反射空间810。虚拟反射空间810包括第一参与者802的虚拟反射图像812、第二参与者的虚拟反射图像814、对应于矩形对象808的虚拟反射矩形对象816以及对应于第一参与者802放置在工作空间桌子上的真实球(未显示)的虚拟反射球818。
此外，环境100可创建虚拟实际空间820，其表示站在暗喻性镜子之前的实体(其中相反，虚拟反射空间810对应于出现在暗喻性镜子中的反射)。虚拟实际空间820包括第一参与者802的任选虚拟实际图像822、第二参与者的虚拟实际图像824、对应于真实矩形对象808的虚拟实际矩形对象826以及对应于第一参与者802放置在工作空间桌子上的真实球(未显示)的虚拟实际球828。在另一配置中，环境100可省略与第一参与者802相关联的虚拟实际图像822。此外，注意，各个虚拟实际图像对应于真实空间中真实实体的完整版本。但是，环境100还可显示表示真实实体的部分表示的虚拟实际图像，诸如通过仅显示真实实体的位于离暗喻性镜子规定距离内的那些部分、诸如通过仅显示在这个示例中的第一和第二参与者的手臂和手。
作为整体来看，环境100提供由虚拟实际空间820和虚拟反射空间810组成的虚拟空间830。相比于章节A的示例，这个虚拟空间830可向本地第一参与者802提供增强的沉浸式感觉。例如，如在章节A的示例中，第一参与者802可通过看着第二参与者的虚拟反射图像814的移动来观察第二参与者的动作。附加地或替换地，图8的实现允许第一参与者802通过看着虚拟实际图像824的移动来观察第二参与者的动作。即，第一参与者802可将他的头部稍微左转和/或通过看着暗喻性镜子本身来观察第二参与者如何在镜子前面表现。
图8中的工作空间桌子可组装被放置在全部真实设置中的真实工作空间桌子上的所有对象。即，随着这些对象出现在暗喻性镜子的表面上，虚拟反射空间810包括这些对象的表示。随着这些对象被放置在物理工作空间桌子上，虚拟实际空间820包括这些对象的直接表示。
还注意，任何参与者可与任何空间中的虚拟对象进行交互。例如，如在章节A的示例中，参与者可继续与出现在虚拟反射空间810中的虚拟反射对象进行交互。附加地或替换地，通过使用图8的实现，参与者可与出现在虚拟实际空间820中的虚拟实际对象进行交互。如果参与者对这些虚拟空间之一作出改变，则环境100可在对应虚拟空间中产生对应的改变；例如，如果用户在虚拟反射空间810中移动虚拟反射球，则环境100可在虚拟实际空间820中作出对对应的虚拟实际球的对应移动。
图8的添加的特征可用各种方式来实现。在第一种方式中，环境100可例如使用图3中显示的实现或图4中显示的实现来按以上描述的方式继续提供虚拟反射空间810。即，环境100可以：(1)捕捉相机信息；(2)将相机信息转换成3D对象的集合；以及(3)将3D对象组装成3D场景信息。该3D场景信息的第一实例从暗喻性镜子中的反射的视角来投射3D对象。
本地设置804(与本地第一参与者802相关联)可使用镜子功能832来呈现3D场景信息的第一实例。例如，镜子功能832可使用图3或4中描述的镜子功能(314、402)或某个其他实现来实现。镜子功能832的表面继续定义暗喻性镜子的表面。
此外，本地设置804可通过从另一视角(即，虚拟实际空间820内的虚拟实体的视角)来投射相同的3D对象来创建3D场景信息的第二实例。换言之，这个操作不涉及创建新的3D对象，而是将现有的3D对象从新的视角来投射以创建3D场景信息的另一实例。
本地设置804可接着使用一个或多个补充显示设备来投射3D场景信息的第二实例。例如，在第一参与者802左侧的第二显示设备834可例如通过显示虚拟实际图像824来呈现在第一参与者802左侧的任意参与者的虚拟表示。在第一参与者802右侧的第三显示设备836可呈现在第一参与者802右侧的任意参与者的虚拟表示(其中在这个情况下，在这个方向上没有参与者)。显示设备(834、836)可对应于LCD显示设备、立体显示设备等。
在另一情况下，立体投影显示设备可被定位在第一参与者802之上。该设备可投射第一参与者802周围地区(包括他左侧和右侧的区域)中的3D场景。第一参与者802可使用快门眼镜或某个其他机制来查看所得到的3D场景。其他用于呈现虚拟空间830的方式是可能的。
环境100可按以上描述的方式来实现对虚拟对象的操纵。即，环境100可使用任意跟踪技术来确定环境100的真实空间中对象的位置。环境100可使用这个知晓来准确地确定任一参与者何时尝试用任意方式来操纵虚拟对象。
在第二实现中，环境100可使用单个显示设备来呈现虚拟空间830的所有方面。换言之，该单个显示设备呈现与虚拟空间830相关联的完整场景，包括与虚拟反射空间810相关联的所有实体以及与虚拟实际空间820相关联的所有实体。单个显示设备可对应于LCD显示器、立体显示器、立体投影仪等。环境100可从任意视角来呈现这个3D场景。例如，在图8的描绘中，显示设备从位于虚拟实际参与者的后面的模拟相机位置来呈现3D场景。此外，环境100可允许每个本地参与者动态地选择3D场景在远程沉浸式会话期间从其被呈现的有利视点以及被包括在3D场景中的对象的类型。
在这个单显示器实现中，每个本地参与者作为其中他或她是参与者之一的沉浸式会话的“外部”观察者。单个显示设备可描绘暗喻性镜子的表面。但是，显示设备自身的表面可不再对应于该暗喻性镜子的表面。这与第一个提到的实现是相反的，其中每个参与者从会话“内”观察会话，并且其中镜子功能832的表面定义暗喻性镜子的表面。
在第三实现中，环境100可使用图4中显示的安排来例如使用单个显示设备呈现虚拟反射空间810中的图像。此外，该同一显示设备可呈现虚拟实际空间820中的图像的至少部分。例如，考虑实际第一参与者802的视角。他可看到虚拟反射空间810中的所有图像。此外，他可看到第二参与者(其指向虚拟反射矩形对象816)的至少(虚拟实际图像824的)虚拟实际前臂以及虚拟实际球828。在一个任选的配置中，他还可能看到他自己的虚拟实际前臂(其是虚拟实际图像822的一部分)以及虚拟实际矩形对象826。换言之，显示设备捕捉反射以及出现在镜子表面前面的场景的至少部分。显示设备可用以上描述的任意方式来实现，诸如LCD显示器、立体显示器、立体投影仪等。立体显示机制在这个实施例中可以尤其有效，这是因为它可帮助观察者在出现在镜子表面前面的对象和虚拟反射对象之间进行区分。
其他关于图8阐述的概念的实现是可能的。
D.说明性过程
图9显示了从图5的本地处理系统500的“视角”来解释以上描述的任意环境的一种操作方式的过程900。由于在章节A已经描述了构成本地处理系统500的操作的基础的原理，在此章节将以概述的方式提出某些操作。
在框902，本地处理系统500接收来自本地图像捕捉功能(310、414)的本地相机信息。该信息表示远程沉浸式会话的本地参与者的外观以及本地设置的真实空间中的任何其他对象。
在框904，本地处理系统500基于本地相机信息来生成3D对象信息。该操作可需要使用深度信息来产生本地设置的真实空间中的每个对象的3D网格，并接着将视频信息应用为到3D网格上的纹理。
在框906，本地处理系统500将本地输入信息传输到由相应远程设置提供的远程处理系统中的每一个。本地输入信息可包括关于被本地处理系统500标识的对象的任意信息，诸如原始本地相机信息(在框902中接收到的)和/或经处理的3D对象信息(在框904中提供的)。
在框908，本地处理系统500接收来自每个相应远程设置的每个远程处理系统的远程输入信息。类似于本地输入信息，远程输入信息可对应于关于被远程处理系统标识的对象的任意信息，诸如原始远程相机信息和/或经处理的远程3D对象信息。
在框910，本地处理系统500基于本地3D对象信息和远程输入信息来组成3D场景信息。该组成操作可包括将分开的3D对象投射到公共坐标空间中，并对3D场景的各个部分执行适当的缩放。组成操作还可包括将补充信息(诸如笔迹信息、检索到的文档、控制特征等)集成到3D场景中。
在框912，本地处理系统500将3D场景信息提供到本地镜子功能，例如使用图3的镜子功能314(其使用物理半透明镜子316)或图4的镜子功能402(其不使用物理半透明镜子)。镜子功能(314、402)创建三维虚拟空间，该三维虚拟空间显示参与者的至少一些，就好像参与者物理地出现在同一位置并看向镜子。
在另一实现中，框910还可需要生成3D场景信息的另一实例，其表示图8的虚拟实际空间820中的虚拟实际对象。框912可需要以章节D中描述的任意方式来呈现3D场景信息的这一第二实例。
E.代表性计算功能
图10阐述了可以被用来实现上文所描述的功能的任何方面的说明性计算功能1000。例如，计算功能1000可被用于实现由每个本地设置提供的每个本地处理系统500的任何方面。在一种情况下，计算功能1000可对应于包括一个或多个处理设备的任何类型的计算设备。在所有情形中，计算功能1000表示一个或多个物理且有形的处理机构。
计算功能1000可包括诸如RAM 1002和ROM 1004之类的易失性和非易失性存储器，以及一个或多个处理设备1006(例如，一个或多个CPU，和/或一个或多个GPU等等)。计算功能1000还可任选地包括诸如硬盘模块、光盘模块等等之类的各种介质设备1008。当处理设备1006执行由存储器(例如，RAM 1002、ROM 1004或在别处维护的指令时，计算功能1000可以执行上文所标识的各种操作。
更一般地，指令和其它信息可以被存储在任何计算机可读介质1010上，计算机可读介质包括但不限于静态存储器存储设备、磁存储设备、光存储设备等。术语计算机可读介质还涵盖多个存储设备。在多种情况下，计算机可读介质1010表示某种形式的物理和有形的实体。术语计算机可读介质还包括传播信号，例如经由物理管道和/或空气或其他无线介质等来传送或接收的。然而，特定术语“计算可读存储介质”和“计算机可读介质设备”明确地排除传播信号本身，但是包括所有其他形式的计算机可读介质。
计算功能1000还包括用于接收各种输入(通过输入设备1014)，以及用于提供各种输出(通过输出设备)的输入/输出模块1012。说明性的输入设备包括键盘设备、鼠标输入设备、触摸屏输入设备、姿势输入设备、语音识别机制、图像捕捉机制、跟踪机制等。一个具体的输出机制可包括呈现设备1016；该设备进而可对应于以上描述的镜像功能(314、402)的组件。计算功能1000还可以包括用于通过一个或多个通信管道1022与其他设备(例如，在其他设置中提供的)交换数据的一个或多个网络接口1020。一条或多条通信总线1024将上述组件通信地耦合在一起。
通信管道1022可以以任何方式来实现，例如，通过局域网、广域网(例如，因特网)等等，或其任何组合。通信管道1022可包括可由任何协议或协议的组合管理的硬连线的链路、无线链路、路由器、网关功能、名称服务器等等的任何组合。
作为替代或除此之外，前述各节中所述的任何功能可至少部分地由一个或多个硬件逻辑组件来执行。作为示例而非限制，计算功能可使用以下的一个或多个来实现：现场可编程门阵列(FPGA)；专用集成电路(ASIC)；专用标准产品(ASSP)；片上系统(SOC)；复杂可编程逻辑器件(CPLD)等等。
最后，说明书在说明性挑战或问题的上下文中描述了各种概念。这种说明方式不构成其他人以此处所指定的方式理解和/或明确表达挑战或问题的许可。此外，所要求保护的主题也不仅限于解决提到的挑战/问题中的任意或全部的实现。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种用于提供远程沉浸式会话的参与者之间的交互的远程沉浸式环境设置方法，所述远程沉浸式环境包括：
两个或更多个设置，每个设置向所述远程沉浸式会话的本地参与者提供交互式体验，并且每个设置包括：
图像捕捉功能，所述图像捕捉功能被配置成捕捉表示与所述设置相关联的本地参与者的本地相机信息；
本地处理系统，所述本地处理系统被配置成：
接收所述本地相机信息；
基于所述本地相机信息来生成本地三维对象信息；
将本地输入信息传输到与至少一个远程参与者相关联的至少一个远程处理系统，所述本地输入信息对应于与被所述本地处理系统标识的对象相关联的任意信息；
接收来自所述至少一个远程处理系统的远程输入信息，所述远程输入信息对应于与被所述至少一个远程处理系统标识的对象相关联的任意信息；
基于所述本地三维对象信息和所述远程输入信息来组成三维场景信息；以及
镜子功能，所述镜子功能被配置成基于所述三维场景信息来呈现三维虚拟空间，所述三维虚拟空间显示所述参与者中的至少一些，就好像所述参与者物理地出现在同一位置并看向镜子那样。
2.如权利要求1所述的远程沉浸式环境设置方法，其特征在于，所述镜子功能包括：
用于呈现所述设置处的所述本地参与者的虚拟图像的物理半透明镜子；以及
显示设备，所述显示设备被配置成接收所述三维场景信息，并且基于所述三维场景信息，呈现至少一个远程参与者的虚拟图像。
3.如权利要求1所述的远程沉浸式环境设置方法，其特征在于，所述镜子功能包括显示设备，所述显示设备被配置成接收所述三维场景信息，并且基于所述三维场景信息，呈现所述本地参与者和至少一个远程参与者的虚拟图像。
4.一种远程沉浸式环境中的本地设置方法，所述远程沉浸式环境用于提供远程沉浸式会话的参与者之间的交互，所述本地设置包括：
图像捕捉功能，所述图像捕捉功能被配置成捕捉表示与所述本地设置相关联的本地参与者的本地相机信息；
本地处理系统，所述本地处理系统被配置成：
基于所述本地相机信息和远程输入信息来组成三维场景信息，所述远程输入信息由与至少一个远程参与者相关联的至少一个远程处理系统提供，所述远程输入信息对应于与被所述至少一个远程处理系统标识的对象相关联的任意信息；以及
将本地输入信息中的至少一些传输到所述至少一个远程处理系统，所述本地输入信息对应于与被所述本地处理系统标识的对象相关联的任意信息；以及
镜子功能，所述镜子功能被配置成基于所述三维场景信息来呈现三维虚拟空间，所述三维虚拟空间显示所述参与者中的至少一些，就好像所述参与者物理地出现在同一位置并看向镜子那样。
5.如权利要求4所述的本地设置方法，其特征在于，所述镜子功能包括显示设备，所述显示设备被配置成接收所述三维场景信息，并且基于所述三维场景信息，呈现所述本地参与者和至少一个远程参与者的虚拟图像。
6.如权利要求4所述的本地设置方法，其特征在于，所述镜子功能包括具有弯曲显示表面来显示所述远程沉浸式会话的所述参与者的显示设备。
7.如权利要求4所述的本地设置方法，其特征在于，所述镜子功能使用手持式显示设备，用于呈现所述远程沉浸式会话的两个或更多个参与者的虚拟图像。
8.如权利要求4所述的本地设置方法，其特征在于，由所述本地处理信息组成的所述三维场景信息表示：
虚拟反射空间，所述虚拟反射空间包括从镜子表面中的反射的视角投射的一个或多个虚拟反射对象；以及
虚拟实际空间，所述虚拟实际空间包括从被放置在所述镜子表面之前的实体的视角投射的一个或多个虚拟实际对象。
9.如权利要求8所述的本地设置方法，其特征在于，所述本地处理系统包括使得所述本地参与者能够与任意虚拟反射对象和任意虚拟实际对象进行交互的功能。
10.一种由一个或多个计算机设备实现的方法，包括：
接收来自在本地设置处提供的本地图像捕捉功能的本地相机信息，所述本地设置包括用于向远程沉浸式会话的参与者提供交互式体验的设置集合中的一个；
基于所述本地相机信息来生成本地三维对象信息；
将本地输入信息传输到与所述远程沉浸式会话的至少一个远程参与者相关联的至少一个远程设置，所述本地输入信息对应于与被所述本地设置标识的对象相关联的任意信息；
接收来自所述至少一个远程设置的远程输入信息，所述远程输入信息对应于与被所述至少一个远程设置标识的对象相关联的任意信息；
基于所述本地三维对象信息和所述远程输入信息来组成三维场景信息；以及
将所述三维场景信息提供到镜子功能，所述镜子功能被配置成基于所述三维场景信息来呈现三维虚拟空间，所述三维虚拟空间显示所述参与者中的至少一些，就好像所述参与者物理地出现在同一位置并看向镜子那样。
CN201480009432.7A 2013-02-20 2014-02-17 使用镜子暗喻来提供远程沉浸式体验的方法 Active CN105075246B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/772,252 US9325943B2 (en) 2013-02-20 2013-02-20 Providing a tele-immersive experience using a mirror metaphor
US13/772,252 2013-02-20
PCT/US2014/016653 WO2014130378A1 (en) 2013-02-20 2014-02-17 Providing a tele-immersive experience using a mirror metaphor

Publications (2)

Publication Number Publication Date
CN105075246A CN105075246A (zh) 2015-11-18
CN105075246B true CN105075246B (zh) 2018-04-03

Family

ID=50336496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480009432.7A Active CN105075246B (zh) 2013-02-20 2014-02-17 使用镜子暗喻来提供远程沉浸式体验的方法

Country Status (6)

Country Link
US (3) US9325943B2 (zh)
EP (2) EP2959678B1 (zh)
JP (1) JP6377082B2 (zh)
KR (3) KR102495447B1 (zh)
CN (1) CN105075246B (zh)
WO (1) WO2014130378A1 (zh)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US8947497B2 (en) * 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
US9077846B2 (en) * 2012-02-06 2015-07-07 Microsoft Technology Licensing, Llc Integrated interactive space
US9325943B2 (en) 2013-02-20 2016-04-26 Microsoft Technology Licensing, Llc Providing a tele-immersive experience using a mirror metaphor
JP6260809B2 (ja) * 2013-07-10 2018-01-17 ソニー株式会社 ディスプレイ装置、情報処理方法、及び、プログラム
KR101444858B1 (ko) * 2013-09-03 2014-11-03 재단법인 실감교류인체감응솔루션연구단 원격 존재 장치
US10075656B2 (en) 2013-10-30 2018-09-11 At&T Intellectual Property I, L.P. Methods, systems, and products for telepresence visualizations
US9210377B2 (en) 2013-10-30 2015-12-08 At&T Intellectual Property I, L.P. Methods, systems, and products for telepresence visualizations
US20160343166A1 (en) * 2013-12-24 2016-11-24 Teamlab Inc. Image-capturing system for combining subject and three-dimensional virtual space in real time
US9883138B2 (en) 2014-02-26 2018-01-30 Microsoft Technology Licensing, Llc Telepresence experience
GB2526245A (en) 2014-03-04 2015-11-25 Microsoft Technology Licensing Llc Sharing content
KR102322034B1 (ko) * 2014-09-26 2021-11-04 삼성전자주식회사 전환 거울을 구비한 장치의 이미지 디스플레이 방법 및 그 장치
US20160093081A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image display method performed by device including switchable mirror and the device
CN105511599B (zh) * 2014-09-29 2019-06-25 联想(北京)有限公司 信息处理方法和装置
US9503682B2 (en) * 2014-12-17 2016-11-22 Fuji Xerox Co., Ltd. Systems and methods for conveying physical state of a remote device
US9407865B1 (en) 2015-01-21 2016-08-02 Microsoft Technology Licensing, Llc Shared scene mesh data synchronization
JP6429640B2 (ja) * 2015-01-21 2018-11-28 キヤノン株式会社 遠隔コミュニケーションで用いられるコミュニケーションシステム
US10097892B2 (en) * 2015-01-23 2018-10-09 Turner Broadcasting System, Inc. Method and system for production and capture of content for linear broadcast and publication
KR102375699B1 (ko) * 2015-02-06 2022-03-17 삼성전자 주식회사 전자 장치 및 사용자 인터페이스 제공 방법
JP6569726B2 (ja) * 2015-02-27 2019-09-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP3265192B1 (en) * 2015-03-02 2021-04-21 PlayFusion Limited Method and apparatus for enhancing a gaming experience
US10216982B2 (en) 2015-03-12 2019-02-26 Microsoft Technology Licensing, Llc Projecting a virtual copy of a remote object
EP3335418A1 (en) * 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
KR20170035608A (ko) 2015-09-23 2017-03-31 삼성전자주식회사 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체
GB2543913B (en) 2015-10-30 2019-05-08 Walmart Apollo Llc Virtual conference room
CA2948761A1 (en) * 2015-11-23 2017-05-23 Wal-Mart Stores, Inc. Virtual training system
EP3389261B1 (en) * 2015-12-11 2021-03-17 Sony Corporation Information processing device, information processing method, and program
US11138306B2 (en) * 2016-03-14 2021-10-05 Amazon Technologies, Inc. Physics-based CAPTCHA
US10762712B2 (en) 2016-04-01 2020-09-01 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
US20170309070A1 (en) * 2016-04-20 2017-10-26 Sangiovanni John System and method for very large-scale communication and asynchronous documentation in virtual reality and augmented reality environments
CN106095088B (zh) * 2016-06-06 2019-03-08 联想(北京)有限公司 一种电子设备及其图像处理方法
KR101819735B1 (ko) * 2016-06-07 2018-01-17 주식회사 매직내니 미러 디스플레이 장치 및 그 동작 방법
WO2018005235A1 (en) * 2016-06-30 2018-01-04 Pcms Holdings, Inc. System and method for spatial interaction using automatically positioned cameras
DE102016213754A1 (de) * 2016-07-27 2018-02-01 Henkel Ag & Co. Kgaa Verfahren, Einrichtung und Datenverarbeitungsvorrichtung zur computergestützten Haarfarbberatung
US10249089B2 (en) * 2016-08-01 2019-04-02 Dell Products, Lp System and method for representing remote participants to a meeting
WO2018092384A1 (ja) * 2016-11-21 2018-05-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018187171A1 (en) * 2017-04-04 2018-10-11 Usens, Inc. Methods and systems for hand tracking
US10154360B2 (en) * 2017-05-08 2018-12-11 Microsoft Technology Licensing, Llc Method and system of improving detection of environmental sounds in an immersive environment
CN108874115B (zh) * 2017-05-11 2021-06-08 腾讯科技（深圳）有限公司 会话场景展示方法、装置和计算机设备
CN110999281B (zh) 2017-06-09 2021-11-26 Pcms控股公司 一种用于允许在虚拟景观中探索的方法及装置
EP3783461A1 (en) * 2017-08-22 2021-02-24 ameria AG User readiness for touchless gesture-controlled display systems
KR102271308B1 (ko) * 2017-11-21 2021-06-30 주식회사 하이퍼커넥트 영상통화 중에 상호작용 가능한 시각적 오브젝트를 제공하기 위한 방법, 및 이를 수행하는 상호작용 가능한 시각적 오브젝트 제공 시스템
US10646022B2 (en) * 2017-12-21 2020-05-12 Samsung Electronics Co. Ltd. System and method for object modification using mixed reality
US11076125B2 (en) * 2018-03-28 2021-07-27 Sony Corporation Information processing apparatus and information processing method
US11354071B2 (en) * 2018-04-30 2022-06-07 Hewlett-Packard Development Company, L.P. Navigation printing with voice tagging
US11107281B2 (en) * 2018-05-18 2021-08-31 Valeo Comfort And Driving Assistance Shared environment for vehicle occupant and remote user
CN109621415A (zh) * 2018-12-26 2019-04-16 网易（杭州）网络有限公司 3d游戏中的显示控制方法及装置、计算机存储介质
US10839607B2 (en) * 2019-01-07 2020-11-17 Disney Enterprises, Inc. Systems and methods to provide views of a virtual space
US20200233503A1 (en) * 2019-01-23 2020-07-23 Tangible Play, Inc. Virtualization of tangible object components
US11036987B1 (en) 2019-06-27 2021-06-15 Facebook Technologies, Llc Presenting artificial reality content using a mirror
US11055920B1 (en) * 2019-06-27 2021-07-06 Facebook Technologies, Llc Performing operations using a mirror in an artificial reality environment
US11145126B1 (en) 2019-06-27 2021-10-12 Facebook Technologies, Llc Movement instruction using a mirror in an artificial reality environment
US11372474B2 (en) * 2019-07-03 2022-06-28 Saec/Kinetic Vision, Inc. Systems and methods for virtual artificial intelligence development and testing
USD940233S1 (en) 2019-07-03 2022-01-04 Tangible Play, Inc. Type font
JP2022546053A (ja) * 2019-08-27 2022-11-02 カレオス 仮想ミラーシステム及び方法
WO2021102845A1 (zh) * 2019-11-28 2021-06-03 电子科技大学 一种基于自然交互的远程家庭感知与虚拟呈现方法
WO2021157379A1 (ja) * 2020-02-07 2021-08-12 ソニーグループ株式会社 情報処理装置、情報処理方法、並びにプログラム
US20210286502A1 (en) * 2020-03-16 2021-09-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
US20240005594A1 (en) * 2020-09-30 2024-01-04 Tangible Play, Inc. Virtualization of tangible object components
KR102293041B1 (ko) * 2020-11-30 2021-08-26 공주대학교 산학협력단 청동거울 과학전시 시스템
KR102220369B1 (ko) * 2020-11-30 2021-02-25 공주대학교 산학협력단 청동거울 콘텐츠 제공 장치 및 방법
US11792353B2 (en) * 2020-12-07 2023-10-17 Avaya Management L.P. Systems and methods for displaying users participating in a communication session
US11388371B1 (en) * 2021-01-22 2022-07-12 Toyota Research Institute, Inc. Systems and methods for telepresence rooms
US20220264055A1 (en) * 2021-02-12 2022-08-18 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V Video Conference Apparatus, Video Conference Method and Computer Program Using a Spatial Virtual Reality Environment
US11908243B2 (en) * 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
WO2023009124A1 (en) * 2021-07-29 2023-02-02 Google Llc Tactile copresence
WO2023176317A1 (ja) * 2022-03-15 2023-09-21 株式会社Ｎｔｔドコモ 表示制御装置
US20240257472A1 (en) * 2023-01-31 2024-08-01 Adeia Guides Inc. System and method for shared frame-of-reference content streaming

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8208007B2 (en) * 2004-04-21 2012-06-26 Telepresence Technologies, Llc 3-D displays and telepresence systems and methods therefore

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3610423B2 (ja) * 1997-03-19 2005-01-12 独立行政法人産業技術総合研究所 映像表示システムおよびその臨場感向上方法
JP2000175171A (ja) * 1998-12-03 2000-06-23 Nec Corp テレビ会議の映像生成装置及びその生成方法
AU2002303082A1 (en) * 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
DE60237834D1 (de) * 2001-08-15 2010-11-11 Koninkl Philips Electronics Nv 3d videokonferenzsystem
US7106358B2 (en) * 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
JP4323180B2 (ja) * 2003-02-13 2009-09-02 日本電信電話株式会社 自己画像表示を用いたインタフェース方法、装置、およびプログラム
US7119829B2 (en) * 2003-07-31 2006-10-10 Dreamworks Animation Llc Virtual conference room
US8599239B2 (en) * 2004-04-21 2013-12-03 Telepresence Technologies, Llc Telepresence systems and methods therefore
US7634533B2 (en) * 2004-04-30 2009-12-15 Microsoft Corporation Systems and methods for real-time audio-visual communication and data collaboration in a network conference environment
JP2005323010A (ja) * 2004-05-06 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 画像共有システム
JP4555701B2 (ja) * 2005-02-14 2010-10-06 日本電信電話株式会社 情報処理方法、インタフェース装置、プログラム、および記録媒体
JP2006302047A (ja) * 2005-04-21 2006-11-02 Fuji Xerox Co Ltd 会議支援プログラム、会議支援装置、および会議支援方法
US20070040033A1 (en) * 2005-11-18 2007-02-22 Outland Research Digital mirror system with advanced imaging features and hands-free control
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
JP4766696B2 (ja) * 2007-03-06 2011-09-07 日本電信電話株式会社 インタフェース装置およびインタフェースシステム
US8279254B2 (en) * 2007-08-02 2012-10-02 Siemens Enterprise Communications Gmbh & Co. Kg Method and system for video conferencing in a virtual environment
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
PL2229617T3 (pl) * 2007-12-05 2011-12-30 Almeva Ag Układ interakcyjny do interakcji między ekranem a wskaźnikiem
KR100914847B1 (ko) * 2007-12-15 2009-09-02 한국전자통신연구원 다시점 영상정보를 이용한 삼차원 얼굴 모델 생성방법 및장치
US20100257464A1 (en) * 2008-02-28 2010-10-07 Chevron U.S.A. Inc. System and method for immersive operations intelligence
US8589809B2 (en) * 2008-02-28 2013-11-19 Chevron U.S.A. Inc. Methods and systems for conducting a meeting in a virtual environment
US8584025B2 (en) * 2008-05-02 2013-11-12 International Business Machines Corporation Virtual world teleportation
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8164617B2 (en) * 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
US20100277576A1 (en) * 2009-04-29 2010-11-04 David Fattal Systems for Capturing Images Through a Display
CN102084650B (zh) * 2009-05-12 2013-10-09 华为终端有限公司 远程呈现系统、方法及视频采集设备
US8208002B2 (en) * 2009-08-27 2012-06-26 Polycom, Inc. Distance learning via instructor immersion into remote classroom
US8665309B2 (en) * 2009-11-03 2014-03-04 Northrop Grumman Systems Corporation Video teleconference systems and methods for providing virtual round table meetings
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US20110202603A1 (en) * 2010-02-12 2011-08-18 Nokia Corporation Method and apparatus for providing object based media mixing
US20110219307A1 (en) * 2010-03-02 2011-09-08 Nokia Corporation Method and apparatus for providing media mixing based on user interactions
US20110276922A1 (en) * 2010-05-06 2011-11-10 Jeffrey Edwin Boyd Method and System for Video Interaction Based on Motion Swarms
SE535205C2 (sv) * 2010-06-03 2012-05-22 Erik Eskilsson Studio och konferenssystem för videokonferens
US8395655B2 (en) * 2010-08-15 2013-03-12 Hewlett-Packard Development Company, L.P. System and method for enabling collaboration in a video conferencing system
US8896655B2 (en) * 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US20120162384A1 (en) * 2010-12-22 2012-06-28 Vesely Michael A Three-Dimensional Collaboration
US20120200667A1 (en) * 2011-02-08 2012-08-09 Gay Michael F Systems and methods to facilitate interactions with virtual content
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9049033B2 (en) * 2011-03-28 2015-06-02 Net Power And Light, Inc. Information mixer and system control for attention management
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US8675067B2 (en) * 2011-05-04 2014-03-18 Microsoft Corporation Immersive remote conferencing
US8823699B2 (en) 2011-05-16 2014-09-02 International Business Machines Corporation Getting snapshots in immersible 3D scene recording in virtual world
US9275475B2 (en) * 2011-06-03 2016-03-01 Apple Inc. Generating a simulated three dimensional scene by producing reflections in a two dimensional scene
US20120317501A1 (en) 2011-06-09 2012-12-13 Anthony Constantine Milou Communication & Collaboration Method for Multiple Simultaneous Users
US9030522B2 (en) * 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
NO333184B1 (no) * 2011-08-31 2013-03-25 Cisco Tech Inc Metode og anordning for samarbeidende representasjon i videokonferanser
US8644467B2 (en) * 2011-09-07 2014-02-04 Cisco Technology, Inc. Video conferencing system, method, and computer program storage device
US20130063560A1 (en) * 2011-09-12 2013-03-14 Palo Alto Research Center Incorporated Combined stereo camera and stereo display interaction
US9077846B2 (en) * 2012-02-06 2015-07-07 Microsoft Technology Licensing, Llc Integrated interactive space
US20140176684A1 (en) * 2012-12-24 2014-06-26 Alejandro Varela Techniques for multiple viewer three-dimensional display
US9325943B2 (en) 2013-02-20 2016-04-26 Microsoft Technology Licensing, Llc Providing a tele-immersive experience using a mirror metaphor
US9615054B1 (en) * 2014-09-25 2017-04-04 Steve H. McNelley Transparent communication devices

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8208007B2 (en) * 2004-04-21 2012-06-26 Telepresence Technologies, Llc 3-D displays and telepresence systems and methods therefore

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Integration of Interpersonal Space and Shared Workspace: ClearBoard Design and Experiments";HIROSHI ISHII and MINORU KOBAYASHI;《ACM Transactions on Information Systems》;19931031;第11卷(第4期);349-375 *

Also Published As

Publication number Publication date
EP3687164A1 (en) 2020-07-29
JP6377082B2 (ja) 2018-08-22
US9325943B2 (en) 2016-04-26
EP3687164B1 (en) 2022-08-10
EP2959678A1 (en) 2015-12-30
KR102382362B1 (ko) 2022-04-08
KR20220044622A (ko) 2022-04-08
JP2016515325A (ja) 2016-05-26
US20170201722A1 (en) 2017-07-13
WO2014130378A1 (en) 2014-08-28
US10044982B2 (en) 2018-08-07
CN105075246A (zh) 2015-11-18
KR20210040474A (ko) 2021-04-13
US20160205353A1 (en) 2016-07-14
KR102240812B1 (ko) 2021-04-14
US20140232816A1 (en) 2014-08-21
KR20150120427A (ko) 2015-10-27
EP2959678B1 (en) 2020-12-23
US9641805B2 (en) 2017-05-02
KR102495447B1 (ko) 2023-02-06

Similar Documents

Publication Publication Date Title
CN105075246B (zh) 使用镜子暗喻来提供远程沉浸式体验的方法
Zhou et al. Trends in augmented reality tracking, interaction and display: A review of ten years of ISMAR
CN108334199A (zh) 基于增强现实的移动式多模态交互方法及装置
Wang et al. Mixed reality in architecture, design, and construction
Damala et al. Merging augmented reality based features in mobile multimedia museum guides
US9595294B2 (en) Methods, systems and apparatuses for multi-directional still pictures and/or multi-directional motion pictures
US20210312887A1 (en) Systems, methods, and media for displaying interactive augmented reality presentations
Richards-Rissetto et al. Geospatial Virtual Heritage: a gesture-based 3D GIS to engage the public with Ancient Maya Archaeology
CN110473293A (zh) 虚拟对象处理方法及装置、存储介质和电子设备
Hollerer User interfaces for mobile augmented reality systems
Billinghurst et al. Mobile collaborative augmented reality
Soares et al. Designing a highly immersive interactive environment: The virtual mine
Carmigniani Augmented reality methods and algorithms for hearing augmentation
Stark et al. Major Technology 7: Virtual Reality—VR
Wong HandsOn: a portable system for collaboration on virtual 3D objects using binocular optical head-mounted display
Makanae et al. Development and evaluation of a tangible terrain representation system for highway route planning
Ganesh et al. Real‐Time Applications of Mixed Reality
Shamam et al. The role of technological immersion in generating contemporary design approaches
Butterworth A MANAGED INTEGRATION OF AUGMENTED AND VIRTUAL REALITIES INTO ARCHITECTURAL PRACTICE-OPTIMISING COMMUNICATION OF INTENT AND PRACTICE EFFICIENCY THROUGH SELECTIVE APPLICATION
Alpat Augmented reality wayfinding: A systematic literature review
但雨澤 The Development of Design Support System for Participatory Design of Community Environment Improvement using Mixed Reality
Cuperschmid et al. Technologies That Support Augmented Reality Applied in Architecture and Construction
Schäfer Improving Essential Interactions for Immersive Virtual Environments with Novel Hand Gesture Authoring Tools
Belcher Augmented reality, architecture and ubiquity: Technologies, theories and frontiers
Fellner et al. Virtual and augmented reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171020

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant