CN107667331B - 共享空间多人沉浸式虚拟现实中共享触觉交互和用户安全 - Google Patents

共享空间多人沉浸式虚拟现实中共享触觉交互和用户安全 Download PDF

Info

Publication number
CN107667331B
CN107667331B CN201680031218.0A CN201680031218A CN107667331B CN 107667331 B CN107667331 B CN 107667331B CN 201680031218 A CN201680031218 A CN 201680031218A CN 107667331 B CN107667331 B CN 107667331B
Authority
CN
China
Prior art keywords
real
user
shared
environment
virtual environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680031218.0A
Other languages
English (en)
Other versions
CN107667331A (zh
Inventor
L·沙皮拉
R·加尔
D·C·巴格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107667331A publication Critical patent/CN107667331A/zh
Application granted granted Critical
Publication of CN107667331B publication Critical patent/CN107667331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

“共享触觉沉浸式虚拟环境生成器”(STIVE生成器)构造全沉浸式共享虚拟现实(VR)环境，其中多个用户经由被映射和渲染到可以由多个用户触摸和操控的实际物体的虚拟元素来共享触觉交互。对共享现实空间的实时环境模型的生成实现将虚拟交互元素映射到与沉浸式VR环境向多个用户的多视点呈现组合的实际物体。实时环境模型对现实表面和物体的几何形状、定位和运动分类。另外，为每个用户生成包括定位、定向、骨架模型和手部模型的统一实时跟踪模型。STIVE生成器然后渲染与每个特定用户的实时视野对应的共享沉浸式虚拟现实的帧。这些帧中的每个帧由实时环境模型和统一实时跟踪模型二者联合地约束。

Description

共享空间多人沉浸式虚拟现实中共享触觉交互和用户安全
背景技术
用于增强的现实(AR)设备和场景的许多应用构造增强的内容，比如2D叠加、文本、虚拟对象等。增强的内容也可以被添加到其它类型的应用，比如在图像之上的2D叠加和文本。换而言之，AR设备经常用某个叠加信息层来示出世界的视图。与这些类型的AR场景对照，虚拟现实(VR)设备(比如可穿戴头戴式耳机)一般地向用户呈现全虚拟环境。
存在在AR和VR场景二者中提供触觉反馈的多种机制。例如，这样的机制包括由用户持有或者附着到用户的触觉设备。这些类型的触觉设备的示例包括力反馈视频游戏控制器、向用户的手部提供感觉或者刺激的可穿戴手套、接触用户的手指或者手部的可移动手臂、有向鼓风、有向声场等。这些类型的触觉反馈设备一般地被同步到正被向用户呈现的AR、VR或者其它媒体内容以增强对各种类型的触感的用户体验。
发明内容
提供以下发明内容以用简化的形式来介绍以下在具体实施方式中进一步描述的概念的选集。这一发明内容没有旨在于标识要求保护的主题内容的关键特征或者实质特征，并且它没有旨在于在确定要求保护的主题内容的范围时用作辅助。另外，尽管这里可以讨论其它技术的某些缺点，但是要求保护的主题内容没有旨在于限于可以解答或者解决那些其它技术的缺点中的任何或者所有缺点的实现方式。这一发明内容的仅有目的是以简化的形式呈现要求保护的主题内容的一些概念作为以下呈现的更具体实施方式的前序。
一般而言，“共享触觉沉浸式虚拟环境生成器”(即“STIVE生成器”)如这里描述的那样用共享触觉交互来构造全沉浸式共享虚拟现实(VR)环境。这些全沉浸式共享VR环境使多个用户能够经由被映射和渲染到可以由多个用户触摸和操控的实际物体的虚拟元素来并发地共享触觉交互。由于VR环境是全沉浸式的，所以用该VR环境替换在多个用户周围的现实空间。换而言之，现实空间并且因此在该空间内的实际物体和人对用户不可见，除非那些物体或者人的虚拟表示被有意地渲染到共享沉浸式虚拟环境中。然而，被映射和渲染到现实中的实际物体和表面的定位的虚拟元素将使用户能够在物理地触摸被映射和渲染到实际物体和表面的虚拟元素并且与它们交互之时在现实空间内到处移动而没有看见该空间。
对共享现实空间的实时环境模型的生成实现将虚拟交互元素映射到与沉浸式VR环境向多个用户的多视点呈现组合的实际物体。这些实时环境模型对现实表面和物体的几何形状、定位和运动分类。另外，STIVE生成器也构造用于每个用户的统一实时跟踪模型。在各种实现方式中，这些统一实时跟踪模型包括用户定位、用户定向、用户骨架模型、用户手部模型和用户脸部表情模型的各种组合。STIVE生成器然后渲染与每个特定用户的实时视野对应的共享沉浸式虚拟环境的帧。换而言之，每个用户看见对每个特定用户的实时视野定制的共享沉浸式虚拟环境的视图。这些帧中的每个帧由实时环境模型和统一实时跟踪模型二者联合地约束。
有利地，STIVE生成器的各种特征和能力(比如多个用户在沉浸式虚拟环境中共享实际触觉反馈的能力)用来改善用户体验。另外，假定多个用户可以正在与其他人以及静态和动态物体二者相同的现实空间中参与沉浸式虚拟环境，在各种实现方式中，以关于在用户、其他人、物体、表面等之间的不利接触来增强用户安全的方式渲染沉浸式虚拟环境。
按照以上发明内容，这里描述的STIVE生成器提供用于渲染和呈现全沉浸式共享虚拟现实(VR)环境的各种技术，在这些环境中，共享现实空间中的多个用户在沉浸式共享VR内共享触觉交互。除了以上描述的益处之外，STIVE生成器的其它优点将从在与附图结合阅读时的下文具体实施方式变得清楚。
附图说明
要求保护的主题内容的具体特征、方面和优点将参照以下描述、所附权利要求和附图而变得更好理解，在附图中：
图1图示了多个用户在由如这里描述的“共享触觉沉浸式虚拟环境生成器”(STIVE生成器)为每个用户渲染的共享沉浸式虚拟现实 (VR)环境中共享触觉反馈。
图2图示了架构流程图，该架构流程图图示了用于实现如这里描述的STIVE生成器的各种实现方式的程序模块，这些程序模块用于渲染和呈现全沉浸式共享VR环境，在这些环境中，共享现实空间中的多个用户在沉浸式共享VR内共享触觉交互。
图3图示了用于实现如这里描述的STIVE生成器的各种实现方式的用户骨架跟踪和手部建模的传感器融合的示例性实现方式。
图4图示了用于实现如这里描述的STIVE生成器的各种实现方式的分级景物对象模型(SOM)的示例性实现方式。
图5图示了对被渲染到用于实现如这里描述的STIVE生成器的各种实现方式的共享沉浸式VR环境中的“步行安全”指示符的渲染的示例性实现方式。
图6图示了总体系统流程图，该总体系统流程图图示了用于实现如这里描述的STIVE生成器的各种实现方式的示例性方法。
图7是描绘了简化的通用计算设备的总体系统示图，该通用计算设备具有用于在实现如这里描述的STIVE生成器的各种实现方式时使用的简化的计算和I/O能力。
具体实施方式
在对“共享触觉沉浸式虚拟环境生成器”(STIVE生成器)的各种实现方式的以下描述中，参照附图，这些附图形成其部分，并且在附图中通过说明示出了可以在其中实践STIVE生成器的具体实现方式。可以利用其它实现方式并且可以做出结构改变而没有脱离其范围。
为了清楚，将在描述这里描述的各种实现方式时借助具体术语，并且这些实现方式没有旨在于限于被这样选择的具体术语。另外，将理解，每个具体术语包括以广义地相似方式操作以实现相似目的的所有它的技术等效物。这里对“一个实现方式”或者“另一实现方式”或者“示例性实现方式”或者“备选实现方式”或者相似短语的引用意味着可以在STIVE生成器的至少一个实现方式中包括与该实现方式结合而被描述的特定特征、特定结构或者特定特点。另外，贯穿说明书出现这样的短语未必地都是指相同实现方式，并且单独或者备选实现方式与其它实现方式并不互斥。这里对于表示STIVE生成器的一个或者多个实现方式的任何过程流程而被描述或者图示的顺序没有固有地指示任何对于按描述或者图示的顺序实施过程的任何要求，并且这里对于任何过程流程而被描述或者图示的任何这样的顺序没有意味着对STIVE生成器的任何限制。
如这里被利用的那样，术语“部件”、“系统”、“客户端”等旨在于是指计算机有关实体、硬件、软件(例如，在执行中)、固件或者它们的组合。例如，部件可以是在处理器上运行的进程、对象、可执行文件、程序、函数、库、子例程、计算机或者软件与硬件的组合。举例而言，在服务器上运行的应用和服务器二者可以是部件。一个或者多个部件可以驻留在进程内并且部件可以被局限在一个计算上和/或在两个或者更多个计算机之间被分布。术语“处理器”被一般地理解为是指硬件部件，比如计算机系统的处理单元。
另外，在这一具体实施方式或者权利要求中使用术语“包括 (include)”、“具有”、“包含”、它们的变体和其它相似单词的程度上，这些术语旨在于以与作为开放式过渡词的术语“包括(comprise)”相似的方式具有包含意义而没有排除任何附加或者其它要素。
1.0引言：
一般而言，“共享触觉沉浸式虚拟环境生成器”(即，“STIVE生成器”)如这里描述的那样用共享触觉交互构造全沉浸式共享虚拟现实(VR)环境。这些全沉浸式共享VR环境使多个用户能够经由被映射和渲染到可以由多个用户触摸和操控的实际物体的虚拟元素并发地共享触觉交互。在各种实现方式中，以完全地替换用户周围的现实空间的任何视图的方式来向用户渲染和呈现这一共享沉浸式虚拟环境。换而言之，现实空间并且因此在该空间内的实际物体和人对用户不可见，除非那些物体或者人的虚拟表示被有意地渲染到共享沉浸式虚拟环境中。
更具体而言，在各种实现方式中，STIVE生成器通过生成现实环境的实时环境模型来开始操作，在该现实环境中正在向两个或者更多个用户呈现共享沉浸式虚拟环境。一般而言，这些实时环境模型对现实环境中的表面和物体的几何形状、定位和运动分类，在该现实环境中，多个用户正在参与共享沉浸式虚拟环境。此外，STIVE生成器生成用于两个或者更多个用户中的每个用户的统一实时跟踪模型。
然后，对于每个特定用户，STIVE生成器渲染与每个特定用户的实时视野对应的共享沉浸式虚拟环境的帧。由于每个用户将在具有不同视野的不同定位中，所以在渲染用于每个特定用户的共享沉浸式虚拟环境的帧时，STIVE生成器相对于实时环境模型和统一实时跟踪模型中的每个统一实时跟踪模型二者联合地约束每个帧。最后，在各种实现方式中，STIVE生成器将共享沉浸式虚拟环境的一个或者多个虚拟元素映射和渲染到可以由用户中的两个或者更多个用户触摸和操控的、现实环境中的物体，以提供共享触觉交互。
如以上指出的那样，以完全地替换用户周围的现实空间的任何视图的方式来向用户渲染和呈现共享沉浸式虚拟环境。因而，用户看见共享沉浸式虚拟环境的虚拟元素而不是那些虚拟元素被映射到的实际物体。这样，虚拟元素可以看起来与对应的现实物体相似或者可以看起来与那些物体颇为不同。例如，现实球体或者立方体(或者任何其它形状)可以被映射到由虚拟星球包围的虚拟太阳。用户然后可以拾取和操控现实球体或者立方体(而仅看见由虚拟星球包围的虚拟太阳)以旋转、缩放、平移、物理地交给另一用户或者以别的方式与虚拟太阳和虚拟星球交互。
举例而言，图1图示了各自经由头戴式VR显示设备(105、115 和125)在共享沉浸式虚拟环境中沉浸的三个用户(100、110和120)。这些用户(100、110、120)中的每个用户被定位在可以在那些用户看起来为任何希望的虚拟元素(例如，虚拟木头、通向外空间的虚拟窗口等)的现实桌子130周围。若干现实物体(140、150、160和170) 被放置在现实桌子130上。然而，如以上指出的那样，现实物体(140、 150、160和170)中的每个现实物体可以作为任何希望的虚拟元素而被渲染到共享沉浸式虚拟环境中。
另外，图1示出了用户100和110并发地与在他们看起来为某个虚拟元素的现实元素150交互。相似地，图1示出了用户100和120 并发地与同样在他们看起来为某个虚拟元素的现实元素140交互。这些虚拟元素中的每个虚拟元素可以是交互式的。另外，任何现实物体 (例如，150、140)的任何移动、旋转等将造成被映射和渲染到那些现实物体的虚拟元素的对应的实时移动、旋转等。
1.1系统概述：
如以上指出的那样，STIVE生成器提供用于渲染和呈现全沉浸式共享虚拟现实(VR)环境的各种技术，在这些环境中，共享现实空间中的多个用户在沉浸式共享VR内共享触觉交互。以上概括的过程由图2的总体系统示图图示。特别地，图2的系统示图图示了在用于实施如这里描述的STIVE生成器的各种实现方式的程序模块之间的关系。另外，尽管图2的系统示图图示了STIVE生成器的各种实现方式的高级视图，但是图2没有旨在于提供如贯穿本文描述的STIVE 生成器的每个可能的实现方式的穷举或者完整图示。
此外，在可以由图2中的虚线或者点划线表示的任何框和在框之间的互连表示这里描述的STIVE生成器的备选实现方式，并且如以下描述的这些备选实现方式中的任何或者所有备选实现方式可以与贯穿本文被描述的其它备选实现方式组合被使用。
一般而言，如由图2所示，在各种实现方式中，由STIVE生成器实现的过程通过使用从多个传感器(例如，VR显示设备传感器210、用户穿戴的传感器220和环境传感器230)接收实时跟踪信息的实时跟踪和建模模块200来开始操作。实时跟踪和建模模块200应用这一跟踪信息以生成和更新共享现实空间的实时环境模型以及该空间中的物体和表面，在该空间中，多个用户正在参与共享沉浸式虚拟环境。此外，实时跟踪和建模模块200应用跟踪信息以生成用于现实空间中的每个用户和任何非参与人的统一实时跟踪模型。
实时跟踪和建模模块200然后向每用户帧生成模块240提供实时环境模型和统一实时跟踪模型。对于每个特定用户，每用户帧生成模块240然后生成与每个用户的实时视野对应的共享沉浸式虚拟环境的帧。对共享沉浸式虚拟环境的这些帧的生成受若干因素约束。
例如，帧约束模块250经由用户和非参与人的实时环境模型和统一实时跟踪模型二者联合地约束用于每个用户的共享沉浸式虚拟环境的每个帧。此外，虚拟元素渲染模块260将共享沉浸式虚拟环境的虚拟元素映射和渲染到可以由两个或者更多用户触摸和操控的、现实空间中的物体，以提供共享触觉交互。
另外，在各种实现方式中，用户安全模块270评估现实空间内的用户、非参与者以及表面和物体的实时定位和运动以在每用户基础上向共享沉浸式虚拟环境中渲染安全标记，以向用户提醒与人、物体和表面的潜在非既定接触。这样的安全标记的示例包括但不限于向现实空间的地面上渲染的醒目显示的步行安全路径或者区域(例如，扫清现实障碍物的现实空间)、被渲染和映射到现实空间中的其他用户和非参与者的实时定位和运动的虚拟化身等。有利地，这样的安全标记往往通过帮助用户避免与在用户正在参与共享沉浸式虚拟环境之时本来对用户不可见的实际物体、表面、人等的意外接触来增加用户安全。
此外，在各种实现方式中，STIVE生成器应用虚拟环境更新模块 280，该虚拟环境更新模块280与每用户帧生成模块240组合操作以响应于与共享沉浸式虚拟环境的用户交互和响应于现实空间内的用户、非参与者以及实际物体和表面的移动而对沉浸式虚拟环境执行实时更新。
2.0 STIVE生成器的操作细节：
使用以上描述的程序模块以用于将STIVE生成器的各种实现方式实例化。如以上概括的那样，STIVE生成器提供用于渲染和呈现全沉浸式共享虚拟现实(VR)环境的各种技术，在这些环境中，共享现实空间中的多个用户在沉浸式共享VR内共享触觉交互。以下章节提供对STIVE生成器的以及用于实施参照图1和图2在第1节中描述的程序模块的示例性方法的各种实现方式的操作的具体讨论。特别地，以下章节提供STIVE生成器的各种实现方式的示例和操作细节、包括：
·STIVE生成器的操作概述；
·主要定义；
·示例性VR显示器和传感器设立；
·跟踪和景物理解；
·映射坐标系；
·集体数据收集和传感器融合；
·用户安全；
·共享触觉交互；以及
·共享虚拟环境的灵活映射和缩放。
2.1操作概述：
如以上指出的那样，在各种实现方式中，STIVE生成器构造全沉浸式共享虚拟环境，其中多个用户经由被映射和渲染到可以由多个用户触摸和操控的实际物体的虚拟元素来共享触觉交互。按照以下讨论，可见用于在沉浸式虚拟环境中共享实际触觉反馈的能力用来改善用户体验。
另外，假定多个用户(潜在地和其他非参与人)正在相同现实空间中参与共享沉浸式虚拟环境，并且可以在该现实空间中有现实家具、表面、静态和动态物体等，用户安全和非参与者的安全可以是一个顾虑。因而，在各种实现方式中，STIVE生成器通过向共享沉浸式虚拟环境中渲染安全标记来解决这样的顾虑。这些安全标记通过使用户能够避免与用户、非参与者、障碍物、物体、表面等的接触来增强用户安全。这样，在各种实现方式中，用于生成共享沉浸式虚拟环境的考虑之一是以在使用户知晓他们的周围环境的相关要素而没有向用户实际地示出现实环境之时没有干扰体验的沉浸式性质的方式来生成该虚拟环境。
随着预测VR设备在不久的将来盛行，在具有共享触觉交互的共享现实空间中在多个用户之间共享虚拟环境实现在现实中的人之间的广泛协作和交互。一般而言，在虚拟世界中的人之间的协作和交互可以被分类为在共享物理空间中或者在两个或者更多个远离的物理空间中出现。另外，在共享物理空间中，存在可以关于正在穿戴VR 显示设备并且参与共享虚拟环境的第一用户而被考虑的三组人。
例如，第一组由穿戴VR设备并且经由共享沉浸式虚拟环境与第一用户协作的一个或者多个附加用户组成。在这一场景中，两个或者更多个用户共享可以取决于正被呈现的共享沉浸式VR而包括任何希望的实际或者合成的音频和音频效果(例如，环绕声效果、音乐、大自然声音等)的沉浸式VR。每个用户的化身或者数字表示在每个用户的实际现实定位和定向中被渲染到共享沉浸式VR中，从而使得用户可以相互看见和交互。另外，从每个用户的视角向每个用户呈现共享沉浸式VR。换而言之，如在现实中那样，每个用户看见相同沉浸式VR的与其他用户不同的视图，因为他们没有从相同视点查看沉浸式VR。
另一组由穿戴VR显示设备、但是参与与第一用户的VR不同的 VR的一个或者多个附加用户组成。因而，用户可以知晓或者可以不知晓没有在相同共享沉浸式VR中的任何其他用户的存在。然而，在各种实现方式中，通过向共享沉浸式虚拟环境中渲染安全标记以保证不存在非既定接触来应用安全机制。换而言之，一些用户可以没有体验与其他用户相同的现实，无论该现实是实际的还是虚拟的，并且可以向这些沉浸式虚拟环境中渲染各种安全标记以保证用户安全。
最后，第三组由占用与第一用户(或者多个用户)相同的现实空间的无VR设备的一个或者多个非参与人组成。然而，非参与者仍然可以被建模和渲染到共享虚拟环境中以与在共享虚拟环境中沉浸的用户交互，即使非参与者可以不知晓该虚拟环境的内容。三个前述组中的每个组的各种组合由STIVE生成器的各种实现方式实现。
由STIVE生成器的各种实现方式实现的特征和能力的示例包括但不限于以下各项：
·对共享现实空间的3D环境中的用户进行跟踪和建模；
·用户和非参与者手部跟踪和手势识别；
·共享现实空间的表面重建；
·对共享现实空间中的次要物体(比如人和移动物体)的检测和跟踪；
·实现广泛共享虚拟环境协作场景；
·跟踪共享现实空间中的人、与语义信息组合以用可选虚拟标签 (例如，悬在人旁边的空气中的姓名或者有关信息的文本以供用户查看(与相片中的加标签相似))来执行脸部识别；
·跟踪共享现实空间中的人、与语义信息组合以执行人活动分类 (例如，坐、站、跑)，以允许定制安全措施(例如，向共享沉浸式虚拟环境中渲染可见和音频输入的任何组合)；
·跟踪共享现实空间中的人、与语义信息组合以执行VR投入，比如使用发现协议来检测人是否在VR体验中并且希望投入与其他用户或者实际物体或者虚拟物体的协作；
·向共享沉浸式虚拟环境中渲染可见和/或可听安全标记，由此通过防止(或者至少提醒)共享沉浸式虚拟环境内的移动用户以防意外地接触共享现实空间中的其它实际人、物体或者表面来改善用户体验和用户安全；
·渲染对应于与特定共享沉浸式虚拟环境关联的具体体验或者主题(例如，教室、海盗船、空间站、零售购物体验、战场等)的用户(和非参与者)的化身或者虚拟表示可以被用作用于进入共享沉浸式虚拟环境的基础。例如，用户可以被渲染为鬼宅中的幽灵、花园中的雕塑、室外体验中的森林动物等；
·通过使用发现协议以链接相同共享现实空间(包括更大多房间结构中的不同房间)中的两个或者更多个用户来实现在多个用户之间的协作。在这样的情况下，覆盖现实空间和共享沉浸式虚拟环境二者的地球坐标系使STIVE生成器能够通过自动地使共享沉浸式虚拟环境适应参与者来链接参与者的协作体验。例如，在各种实现方式中， STIVE生成器在程序上生成在使虚拟体验适应共享现实空间时考虑多个用户定位、运动和交互的共享沉浸式虚拟环境。
2.2一般定义和示例性配置：
在各种实现方式中，用于呈现共享沉浸式虚拟环境的STIVE生成器的设立涉及到共享现实空间。这样的空间可以是室内、室外或者室内和室外空间的某个组合。关于室内空间，那些空间可以涉及单个房间、多个房间或者甚至多个分离的结构(例如，完整房子、大楼、楼梯、电梯等)。在各种实现方式中，如果非参与人存在于共享现实空间中，则STIVE生成器动态地修改共享沉浸式VR，从而使得用户以某种方式知晓非参与者的定位和移动，从而使得在用户与非参与者之间不存在意外接触。
在各种实现方式中，STIVE生成器经由头戴式VR显示设备或者与集成显示器的眼戴式接触来向用户呈现共享沉浸式虚拟环境。另外，这样的设备也可以与可选音频回放设备(例如，头戴式受话器) 组合操作。然而，一个或者多个外部音频源也可以被定位遍布现实空间以提供用于共享沉浸式虚拟环境的音频声音效果。由于多个用户打算在共享现实空间内参与共享沉浸式虚拟环境，所以用户可以简单地相互交谈而无需附加音频回放设备。
一般操作场景可以被描述为两个或者更多个用户，他们中的每个用户佩戴头戴式显示器(HMD)或者其它VR显示设备，比如与集成显示器的眼戴式接触。每个HMD具有可以跟踪用户周围的共享现实空间中的用户、其他用户和人的集成传感器。另外，在各种实现方式中，STIVE生成器应用来自用户穿戴的传感器和遍布在用户周围的共享沉浸式虚拟环境而被部署的多种可选外部传感器的传感器数据。与各种基于计算机的跟踪和建模过程组合，传感器阵列实现多种基于传感器的特征和能力(例如，用户跟踪和骨架建模、手部建模和基于手势的控制等)。
例如，在各种实现方式中，用户穿戴的VR显示设备包括多个传感器或者传感器阵列。STIVE生成器也可以使用从外部或者用户穿戴的传感器设备的任何希望的组合接收的传感器数据来操作。由用户穿戴和/或遍布现实空间而被定位的、与VR显示设备集成的传感器的示例包括但不限于GPS、邻近传感器(例如，超声、电容、光电、电感、磁、RFID等)、运动传感器(例如，可见光、红外光、超声、微波、雷达、加速度计、惰性传感器等)、图像传感器、触摸传感器、麦克风等。无论来源如何，可以向例如本地、基于网络、基于云等的中央计算设备提供这一传感器数据，该中央计算设备管理共享沉浸式VR、将虚拟元素映射和渲染到现实物体和表面，并且实现在用户之间的共享交互。
更具体地，房间R(或者任何其它现实空间)招待人的集合 P＝{p1，...pn}。一些人
Figure BDA0001486031900000121
被配备HMD并且正在参与共享沉浸式虚拟环境V。其余人P/A没有佩戴HMD
Figure BDA0001486031900000122
或者佩戴HMD、但是不是V的部分
Figure BDA0001486031900000123
这样，STIVE生成器的用户属于R中的人的子集A，但是子集B和C中的人(或者虚拟化身或者其它表示) 可以出于各种安全和交互目的而被渲染到共享沉浸式虚拟环境中。
在各种实现方式中，经由本地、网络或者基于云的计算环境来管理和渲染共享沉浸式虚拟环境V，并且该共享沉浸式虚拟环境具有若干类型的节点。共享沉浸式虚拟环境V的这些节点包括但不限于以下各项：
·节点ai–这些节点表示正在经由HMD的或者其它VR显示设备参与共享沉浸式虚拟环境的个别用户(ai)。对这些节点跟踪和建模。这些节点也渲染共享虚拟世界并且将来自与虚拟世界的用户交互的反馈传送回到计算环境中。例如，在示例性场景中，按定位和定向 (例如，基于6DOF的跟踪和建模)来跟踪每个用户。另外，如果充分跟踪信息可用，则也可以对于每个而用户构造完整骨架和手部模型。这些骨架和手部模型可以由头戴式传感器部分地计算(如果用户的手部或者身体部分对头戴式传感器可见)。备选地或者在组合中，可以基于来自外部传感器的输入来计算这些骨架和手部模型。这些外部传感器可以被定位在用户周围的现实环境内或者可以被耦合到其他用户。外部传感器的示例包括但不限于深度感测相机(比如具有用于骨架跟踪的基于视觉的工具的
Figure BDA0001486031900000131
)、使用由用户佩戴或者被附着到用户的跟踪器的运动捕获系统等。
·节点si–这些节点表示STIVE生成器可访问的个别传感器和传感器阵列。如以上指出的那样，这样的传感器可以包括被耦合到 VR显示设备、用户穿戴的传感器和遍布现实空间而被部署的外部传感器的任何传感器组合。这样的传感器可以被用来对现实空间中的人、表面和物体跟踪和建模，并且构造被渲染和映射到现实空间中的对应的人、表面和物体的虚拟元素。例如，可以应用固定位置中的 RGB-D或者其它深度相机以重建至少部分房间结构。也可以应用这样的深度相机以执行对一个或者多个用户的骨架跟踪。此外，固定的运动捕获系统可以跟踪佩戴运动捕获标志器等的大量物体和人以辅助用户骨架跟踪。
·节点R-这一节点表示管理节点(例如，“传感器管理器”)，该管理节点从网络中的各种节点接收跟踪信息、维护跟踪的节点的状态并且向各种节点输出高级数据。例如，标志非参与者，从而使得各种节点可以出于安全或者通信原因而渲染它们。在各种限制中，这一节点如以下进一步细节中描述的那样生成景物对象模型(SOM)。这一过程的一个挑战方面涉及执行对不同传感器输入流的融合。例如，标准表面重建流水线通常将来自单个相机的帧集成为共享的卷。然而，STIVE生成器出于这一目的、与景物理解(例如，物体检测和分类、脸部检测、跟踪等)组合来考虑多个视点(POV)。
2.4跟踪和景物理解：
STIVE生成器应用多个传感器以对现实空间(例如，景物中的表面和静态物体)的几何形状的语义理解进行捕获和建模，并且对该现实空间内的动态物体和人进行跟踪和建模。
虽然由用户佩戴的每个HMD或者其它VR显示设备可以被配备有能够重建环境并且检测和跟踪该环境内的物体的传感器和传感器阵列，但是这样的传感器通常具有相对有限的视野或者适用范围。另外，由用户穿戴或者携带或者遍布环境被分布的个体传感器和传感器阵列通常也具有相对有限的视野或者适用范围。此外，取决于传感器定位，由这些传感器中的任何传感器返回的数据可以由于闭塞(例如，现实物体的传感器视图部分地被一些表面、另一物体或者人阻挡)而被劣化。附加地，这样的传感器可能不能完全地观察用户(例如，头戴式VR显示设备中的传感器可能不能完全地观察用户的手部或者身体，尤其在用户向上倾斜她的头部以向上看时)。
因此，在各种实现方式中，传感器管理器执行集成各种传感器输入、应用景物理解技术以获得对表面和物体(例如，家具、控制设备、电子器件、惰性物体等)的语义理解的传感器融合过程。在一些场景中，正在由传感器管理器管理的传感器应用互斥传感器集合或者组，例如，一组看见房间的部分而另一组看见不同部分。在任一种情况下，传感器管理器动态地管理与每组传感器对应的多个坐标系，直至经由传感器融合过程合并它们的时间。
在传感器融合的很简单示例中，被耦合到所有用户的VR显示设备的传感器被用来对共享现实空间中的每个用户以及任何其他用户、非参与者、表面和物体进行跟踪和建模。图3图示了这一示例。特别地，图3图示了共享现实空间中的两个用户300和305以及一个非参与人310。应用用户300和305的头戴式VR显示设备(315和320) 中的传感器以观察其他用户和非参与者(其中那些传感器的视野由虚线表示)。也可以应用这样的传感器以对用户和非参与者骨架(例如，骨架模型325、335和345)以及用户和非参与者手部(例如，手部模型330、340和250)建模。
此外，传感器管理器应用从现实空间获得的传感器数据以构造和维护随着用户和物体在与共享沉浸式虚拟环境交互之时在现实空间内移动而动态地实时演进的景物物体模型(SOM)。一般而言，SOM 包含各种级别，这些级别覆盖景物的几何结构和在它内的物体、关于存在的物体和人而被推断出的语义信息以及可以覆盖在仿真中使用的人(大致定位)、手部和骨架跟踪以及物体的准确定位信息。
例如，图4图示了示例性分级SOM。这一分级SOM表示景物几何形状400，该景物几何形状400包括共享现实空间中的所有相关人、物体和表面。特别地，景物几何形状400包括静态元素405和动态元素410二者。可以对静态元素405进一步建模和分类以提供对房间布局415和房间(或者其它现实空间)中的内部物体420二者的语义理解。可以对动态元素410步进行建模和分类以提供对移动或者可移动物体425和人430的语义理解。这些物体425中的一些物体被指明为未被跟踪435，而其它物体被指明为被跟踪440。相似地，人430被指明为非参与者445和参与者450(即，用户)。STIVE生成器关于是否将特定物体指明为被跟踪或者未被跟踪的物体来执行取决于应用的确定。一般而言，物体被分割和分类，并且然后初始地被标志为未被跟踪。随后移动的物体可以被标志为被跟踪。另外，用户或者应用可以选择或者指定将被指明为被跟踪的物体或者物体分类。
假定现实的跟踪、建模和语义信息由SOM体现，则STIVE生成器可以插入虚拟物体取代实际物体、隐藏特定物体或者人(例如，将其它物体或者人物渲染在它们的地方或者完全地没有在它们的地方渲染任何物体或者人，因为共享虚拟环境完全地替换现实环境的用户视图)等。然而，STIVE生成器可以没有实际地对用户周围的整个共享实际空间建模，因为它可能破坏打算由共享沉浸式虚拟环境提供的整体体验。例如，坐在实际会议桌的用户可以看见某个虚拟表面而不是会议桌(例如，木头、盒子等)，而用户周围的共享实际空间的其它部分表现为(经由共享沉浸式VR)茂盛的不可穿越丛林、外来太空船中的开有从太空俯视行星雾围的透明地面的房间、用游动的水生生命和植物填充的水下景物等。
另外，在一些情况中，关于用户安全，STIVE生成器应用SOM 以渲染各种安全标记以标志“危险区域”(例如，在用户与其他用户或者现实物体和表面之间的潜在非既定接触的区域)。更具体地，在各种实现方式中，SOM被用来通过将物体、人、警告指示符等渲染到用户很可能物理地进入或者与之交互的在共享沉浸式VR内的定位中来保证用户安全。例如，用户周围的共享实际空间中的非参与人可以被渲染为虚拟鲜活仙人掌、虚拟幽灵人影、虚拟丧尸(或者任何其它虚拟物体、实体或者人物)，从而使得提醒共享沉浸式VR的用户避免与该虚拟物体、实体或者人物对应的物理空间。
在各种实现方式中，STIVE生成器动态地对用户周围的共享现实空间中的一些或者所有空间进行扫描和建模。所得传感器数据被用来构造SOM和对景物的对应语义理解，该语义理解使STIVE生成器能够向现实物体、表面、用户和非参与者的对应现实位置中渲染虚拟元素(匹配由开发者指定的某个主题)。
例如，在各种实现方式中，共享现实空间中的用户和物体的实时跟踪和运动数据被用来基于从多个传感器接收的环境跟踪和映射信息来对用户、物体和表面进行捕获和建模。如以上指出的那样，用于这一目的的传感器包括头戴式传感器(例如，被耦合到VR显示设备)、身体穿戴的传感器、遍布共享现实空间被分散的传感器等的任何组合。然后应用所得跟踪和环境信息以捕获和映射共享现实空间，并且对共享现实空间中的用户和其他实际人(例如，非参与者)以及实际物体和表面建模。然后实时联合和同步这一跟踪和建模信息中的一些或者所有信息以与对正被向用户呈现的共享沉浸式虚拟环境的渲染。
更具体地，在各种实现方式中，STIVE生成器的跟踪系统部件相对于共享现实空间来维护全局3D坐标系。这一跟踪系统部件相对于全局坐标系与用于每个用户ui的定向
Figure BDA0001486031900000171
组合来维护用于每个用户的定位
Figure BDA0001486031900000172
另外，在各种实现方式中，跟踪系统部件也跟踪每个用户的3D骨架模型
Figure BDA0001486031900000173
和用户的手部中的每个手部的3D手部模型
Figure BDA0001486031900000174
同步这一跟踪和建模信息与共享沉浸式虚拟环境使STIVE生成器能够将虚拟元素映射和渲染到可以由用户触摸的现实物体和表面，以提供共享触觉反馈。用于动态地管理与不同传感器组对应的多个坐标系的前述能力辅助这一过程。
有利地，对用户的身体和手部的紧密跟踪和建模实现以增加用户在参与共享沉浸式虚拟环境时的自我感的方式在与用户相同的空间中实时重新创建和渲染用户的身体(或者某个虚拟化身或者数字类似物)。因而，取决于用户在沉浸式虚拟环境中看向何处，他们可以看见他们自己的身体的对应虚拟图像和其他用户的虚拟身体，这在每种情况下镜像共享现实空间内的用户的实际身体的实际运动和移动。对与用户的现实运动对应的虚拟化身的这样跟踪和渲染往往增加每个用户在沉浸式虚拟环境中关于其他用户的逼真感。
2.4.1示例性景物理解过程：
在各种实现方式中，STIVE生成器基于从被应用于扫描现实环境的传感器获取的环境信息来执行景物理解过程。一般而言，这一景物理解过程对现实环境内的表面和物体的几何形状进行分类。例如，这一景物理解过程确定空间中的地面、墙壁、门、天花板、物体的位置等。在各种实现方式中，STIVE生成器可选地使用各种图像和对象识别技术来处理可见信息以使遗漏信息(如例如在桌子后面的部分地可见的物体)完整。
更具体地，景物理解过程操作以执行自动化的现实环境布局推断和物体检测，以从自各种传感器接收的现实环境数据得出用于任意现实环境的环境信息。在各种实现方式中，景物理解过程应用各种成像和景物重建技术以构建现实环境(例如，单个房间、多个房间(比如住宅、完整办公大楼一个或者个楼层)、室外空间等)的粗略3D模型和对该环境内的物体的检测。这一3D模型表示现实环境的粗略蓝图，该粗略蓝图在楼层、墙壁、天花板、开口(比如门和窗)、房间划分等的级别提供现实环境的几何形状结构。
景物理解过程的物体检测部分总体上作用于应用各种物体识别技术和过程以从一个或者多个大的物体定义集合检测现实环境中的实际物体的定位和实例，并且相对于现实环境来确定那些物体的语义理解。物体检测可以基于物体的完全或者部分视图。例如，从用户的或者被用来处理现实环境的成像或者扫描设备的视点来看，仅椅子的背部(例如，近似地矩形形状)可以与已经被标识为桌子的另一实际物体相邻可见。对这一近似地矩形形状的情境评估可以足以将物体标识为椅子。
2.5示例性映射坐标系：
STIVE生成器应用各种方法以建立在共享现实空间中的用户、非参与者和实际物体的物理定位、物理移动和虚拟定位之间的对应。然而，让多个参与者在相同现实共享空间中相互交互和与相同共享沉浸式虚拟环境的虚拟元素交互限制坐标映射(涉及对人和物体的现实到虚拟移动和交互的映射和变换)。在各种实现方式中，STIVE生成器基于共享沉浸式虚拟环境的所有用户在仿真开始时相对于它们在对应共享现实空间中的定位而被固定在VR空间中这样的假设来固定坐标映射变换上至缩放因子。
在各种实现方式中，对人和物体的现实到虚拟移动和交互的这一跟踪映射和变换基于使用全局坐标系，该全局坐标系被联合地同步到共享现实空间和到正被并发地向多个用户呈现的共享沉浸式虚拟环境二者。
例如，在静止用户的情况下，用户坐或者站在适当地方(但是可以移动胳膊或者手部，并且可以用他的手部做出控制手势)。用户将穿戴通常包括多个运动传感器和能力的VR显示设备(例如，基于运动的控制器)。因而，可以通过应用基于跟踪和运动的控制器数据以确定与控制器的变换被组合的、用户的6DOF定位和定向来确定用户在共享沉浸式虚拟环境内的虚拟定位。例如，用户可以环顾并且执行少量移动，而对共享沉浸式虚拟环境的平移的大多数被同步到经由基于运动的控制器而被确定的变换。
在移动用户的情况下，在开始仿真时，在虚拟世界中设置用户的定位和定向，并且他在共享显示空间中做出的任何运动被映射到共享沉浸式虚拟环境中的对应运动。对用于一个或者多个用户的共享沉浸式虚拟环境的渲染然后相对于每个用户的运动实时改变。
在仿真的移动用户的情况下，共享沉浸式虚拟环境相对于用户是流动的而不是其他方式。例如，在这样的情况下，在仿真开始时在共享沉浸式虚拟环境中设置用户的定位和定向，然而，仿真的运移手段可以被用来平移用户而他没有物理地移动(电梯、扶梯、运输机)。例如，用户可以物理地移动到共享现实空间内的定位中，该定位在用户看起来为共享沉浸式虚拟环境内的扶梯。用户然后可以停在扶梯的该虚拟表示上而共享沉浸式虚拟环境然后以看起来如同用户正在实际地乘坐扶梯到大楼的不同楼层的方式动态地在用户周围变换。以这一方式，可信地将用户移动到共享沉浸式虚拟环境内的新虚拟空间而无需离开他的当前共享实际空间。这些类型的特征使STIVE生成器能够在使用户能够在单个共享现实环境内到处移动之时向用户呈现大型多房间虚拟环境。然而，STIVE生成器完全地能够在大型多房间结构和室外环境的任何组内操作。
2.6集体数据收集和传感器融合：
VR中的准确自我感通过增加总体虚拟体验的可信性来改善用户体验。然而，用户头戴式VR显示设备总体上由于从在用户的头部上穿戴的传感器的几何形状约束所产生的总体上有限视野而没有被定位以最优地跟踪用户身体、手部、足部等。例如，在仅使用由用户穿戴的显示设备中的传感器时，典型的VR系统可能失去视觉并且因此失去用于取决于用户头部的(和因此附着的显示设备的)移动和用户手部相对于附着到显示设备的任何传感器的视野而言的移动对用户手部运动和手势进行建模的能力。
因而，在许多VR仿真中，在用户的手部不在被系结到用户自己的VR显示设备的传感器的视野中时，没有准取地跟踪那些手部。这可能导致顾虑(比如遗漏基于用户手势的命令)，以及在用户的手部回到模型的视野中需要时间来校准手部何时回到被系结到用户自己的VR显示设备的传感器的视野中时，在将手部模型重新同步到那些手部的现实定位时的延迟。相似地，在许多VR仿真中，在基于被系结到用户自己的VR显示设备的传感器来为特定用户执行跟踪的情况下显著地劣化或者完全没有完成用户骨架跟踪。这样，典型VR仿真没有在仿真中准确地渲染用户的身体。已经观察到在VR仿真中没有显示用户的身体可能高度地让用户失去方向感。
在各种实现方式中，STIVE生成器通过实施统一跟踪系统来解决这样的顾虑，该统一跟踪系统基于来自被系结到每个用户的VR显示设备的传感器、用户身体穿戴的传感器和遍布共享现实空间而被定位的任何附加传感器的可用传感器数据来执行传感器融合过程。这一传感器融合过程使STIVE生成器能够维护用于景物中的所有用户和非参与者的统一模型，包括定位、定向、骨架和手部模型。共享虚拟环境中的自我感在增加用户实际地在由共享沉浸式虚拟环境表示的环境中这样的用户感知时高度地有用。有利地，统一跟踪和建模允许 STIVE生成器既将参与者相互渲染为仿真中的人物又执行从用户的个别视点对每个用户的自渲染。这一统一跟踪和建模的结果是增加所有用户的自我感，这改进了共享沉浸式虚拟环境内的用户体验。
更具体地，通过应用每个用户的传感器以跟踪遍布房间的其他用户(如关于先前讨论的图3所示)，其他用户的总体上更宽的视野允许与每个用户关联的传感器准确地跟踪和提供用于对一个或者多个其他用户进行建模的传感器信息。另外，可以组合来自多个用户或者来自共享现实空间中的固定或者移动传感器的传感器信息，以构建所有用户的准确手部跟踪和骨架模型，从而使得可以向共享沉浸式虚拟环境的、每个用户的个别视图中渲染那些用户的虚拟表示或者化身。
另外，由STIVE生成器执行的统一跟踪和建模提供关于在用户正在参与共享沉浸式虚拟环境之时共同位于共享现实环境内的活跃用户(和非参与者)提供附加益处。例如，通过这一统一跟踪和建模而被实现的对多个用户的密切手部和身体跟踪支持在用于发起计算机输入的手势识别(例如，用户做出与特定命令对应的手部手势)时的增加的准确度，该计算机输入用于共享沉浸式虚拟环境内的交互或者控制目的。另外，在用户正在参与共享沉浸式虚拟环境之时，这样的基于手势的命令可以被用来与在共享现实空间中或者以别的方式经由有限或者无线通信技术可由共享现实空间中的用户访问的现实通信设备、现实计算设备等交互。
用户的脸部表情由STIVE生成器的各种实现方式跟踪和建模。这样，由STIVE生成器的各种实现方式执行的统一跟踪和建模实现向共享沉浸式虚拟环境中渲染用户的准确和完整的表示或者虚拟化身。特别地，这一跟踪和建模使其他用户的手部和身体以及那些用户的表情的实时虚拟表示对在参与共享沉浸式虚拟环境之时看向其他用户的方向的任何用户可见。
鉴于被用来以这一方式对多个用户进行跟踪和建模的计算能力，在各种实现方式中，向本地或者远程中央计算节点(或者分布式实时计算资源)传输来自所有传感器的传感器信息，该本地或者远程中央计算节点(或者这些分布式实时计算资源)执行传感器融合过程以相对于前述全球坐标系来集成多个传感器并且执行跟踪和建模。这一过程的结果是用于每个用户(和非参与者)的在时间上平滑的身体、手部和脸部表情模型，这些模型相对于在共享现实空间内的实际用户定位和运动被准确地定位并且被准确地映射到对应的共享沉浸式虚拟环境。这一跟踪和建模信息然后被传递到向共享沉浸式虚拟环境中渲染每个用户(和可选地非参与者)的对应虚拟表示或者虚拟化身的实时渲染部件。
这样，在用户向下看他自己的身体时，他看见准确地跟踪用户的实际运动的、他自己的躯干、胳膊、手部、腿部、足部等的虚拟表示。相似地，在用户指引他的目光越过房间(或者其它空间)时，其他用户的虚拟表示相似地准确。这些虚拟表示未必具有与用户的实际身体的大小、纹理、着色等相同的大小、纹理、着色等。例如，用户(或者共享沉浸式虚拟环境的某个设计部件)可以选择或者指引将用户的化身渲染为用软毛覆盖的蓝色半透明类人生物。另外，由于向每个用户呈现共享沉浸式VR的、他自己的视图，所以可以向用户呈现共享沉浸式VR的修改的版本，其中他们可以对他们自己看起来一样而对一个或者多个其他用户看起来为不同虚拟人物或者化身。
有利地，通过集成被系结到多个用户的多个传感器而被实现的统一跟踪和建模的准确度往往随着更多实际用户被添加到共享沉浸式 VR而提高(至某点)。特别地，与由那些用户穿戴的VR显示设备关联的传感器的增加的数目往往增加对所有其他用户的跟踪和建模的准确度。这些跟踪和建模特征的一个令人感兴趣的使用是应用统一跟踪和建模以将用户(和可选地其他非参与者)渲染为对所有用户可见的、共享沉浸式虚拟环境内的仿真中的人物。
2.7用户安全：
在典型虚拟环境中，用户被完全地从现实及其障碍物拆离，因为用户周围的现实环境对用户不可见。因而，在嘈杂房间中使用VR显示设备可能潜在地有风险。例如，用户的单个失足可能使他撞到他不能看见的物体、表面或者人。另外，如以上指出的那样，多个用户可以正在与其他人以及静态和动态物体二者相同的现实空间中参与共享沉浸式虚拟环境。这样，由于现实环境对这些用户不可见，所以存在从现实空间内的用户移动以及手部和身体运动造成的意外接触、绊倒危险等的潜在风险。使问题进一步复杂化的是人们往往到处移动、产生噪声和执行可能中断特定用户的共享沉浸式虚拟环境的动作或者做出可能不安全的其它事情。
因而，在各种实现方式中，以增强用户安全而没有干扰由共享沉浸式虚拟环境呈现的总体体验的方式来渲染共享沉浸式虚拟环境。一般而言，通过渲染可选地与共享沉浸式虚拟环境的总主题一致的音频和可视线索或者其它安全标记的任何组合以帮助用户避免与其他人以及静态和动态物体的意外接触来增强用户安全。
例如，可以向共享沉浸式虚拟环境中渲染在用户之间的现实物体或者障碍物作为无感物体或者地形(例如，带刺铁丝网、深坑、荆棘地、壕沟等)。相似地，与用户近邻的非参与者可以看起来为幽灵、实心外形、静态或者动态虚拟物体等。另外，利用简单音频处理，STIVE生成器可以检测非参与者是否正在尝试向用户说话并且在共享沉浸式虚拟环境内更有形地渲染该非参与者以吸引用户的注意。相似地，对非参与者的渲染可以随着任何用户迫近非参与者的定位而变得更有形。换而言之，在现实环境内对非参与人的部分地不透明的渲染可以随着非参与者说话或者在任何用户迫近该半透明渲染(并且因此迫近非参与者的现实定位)时而增加实心度。
2.7.1渲染步行安全区段：
如以上指出的那样，在各种实现方式中，STIVE生成器向共享沉浸式虚拟环境中渲染各种安全标记以改进用户在用户在共享现实空间(在用户正在参与共享沉浸式虚拟环境之时不可见)内到处移动之时的安全。这样的安全标记的简单示例是在共享沉浸式虚拟环境内渲染“步行安全”路径等。例如，可以向共享沉浸式虚拟环境中渲染辉光路径或者叠加。响应于共享现实空间内的用户和非参与者运动和定位以及其它物体的运动和定位来实时渲染这一步行安全路径。因而，步行安全路径可以随着人或者物体移动到该路径中而动态地改变。另外，也可以向共享沉浸式虚拟环境中渲染那些人或者物体(例如，另一用户的化身等)，从而使得用户将看见其他人的数字表示。这将使用户能够避免与该其他人的接触、无论是否也向共享沉浸式虚拟环境中渲染步行安全路径。
在用户在共享现实空间内的不同物理定位或者定向中时，不同用户可以看见不同的醒目显示的路径和不同警告指示符或者其它安全标记，即使在他们正在参与相同共享沉浸式VR时。例如，如果实际的猫正在特定用户前面穿过，则可以渲染对该猫或者某个其它安全标记的渲染，从而使得用户没有意外地踢到、踩踏或者绊倒该猫。然而，没有近到足以做出与猫的潜在意外接触的其他用户可以正在查看相同沉浸式虚拟环境，但是没有涉及该猫的任何安全标记。换而言之，一些用户可以知晓猫，因为它以某种方式被渲染到他们对共享沉浸式虚拟环境的个人视图中，而其他用户可以不知晓猫，因为它没有被渲染他们对共享沉浸式虚拟环境的个人视图中。
另外，如以上指出的那样，STIVE生成器对每个用户的头部、手部、腿部、足部等进行跟踪和建模。因此，在各种实现方式中，备选地或者除了渲染步行安全路径等之外，STIVE生成器可选地醒目显示在用户周围的某个半径内的危险区域(或者潜在意外接触的其它区域)或者在用户的主要行进方向中的区域。
更具体地，由于用户在共享现实空间内的移动(或者其它物体或者人的移动)与虚拟世界中的移动对应，所以STIVE生成器以增加用户的安全的方式向用户呈现共享沉浸式虚拟环境。例如，为了标志或者醒目显示用于用户步行的安全区域，STIVE生成器的各种实现方式通过检测在景物的“底部”(可以被分类为地面)的大型水平平坦表面来检测共享现实空间的地面。STIVE生成器然后执行对地面的景物完成计算以填充闭塞的区域(例如，对特定传感器可见的地面的部分可以被桌子、另一个人等阻挡)。
在各种实现方式中，STIVE生成器然后创建复杂多边形(或者可以包含洞的其它非凸形形状)的集合，这些多边形表示地面的“安全”区域并且提供它们作为SOM的部分以用于在实时渲染共享沉浸式虚拟环境时使用。STIVE生成器然后应用SOM以将步行安全路径渲染为可见途径、地面的辉光部分或者通过任何其它手段。例如，用于向用户提醒潜在意外接触的更少入侵的方法包括对共享沉浸式虚拟环境内的力场进行仿真。例如，在各种实现方式中，随着用户移动接近障碍物，粒子效应开始醒目显示障碍物的轮廓。在组合中，嗡嗡或者蜂鸣声(如同电场)可以开始并且强度增加，由此向用户警告他正在迫近危险区域或者将要做出意外接触。
在各种实现方式中，以如下方式渲染共享沉浸式虚拟环境，该方式使用户能够自然地避免与家具和其它障碍物的意外接触，无论该家具或者其它障碍物是否被集成到共享沉浸式虚拟环境中或者以别的方式被渲染到共享沉浸式虚拟环境中。特别地，从房间或者其它共享现实空间的在先和实时扫描的任何组合重建该空间的几何形状。这些扫描也被用来执行各种景物理解应用，这些景物理解应用提供对该空间的语义理解以得出物体和表面级知识(例如，特定障碍物是沙发、门、桌子等)。这一语义信息然后经由SOM被中继到STIVE生成器并且被用来相对于每个用户的特定移动、定位和视野、经由向共享沉浸式虚拟环境中渲染适当安全标记来增强安全。
在用户正在他们没有看向的方向中移动(例如，横向或者向后移动)的情况下，STIVE生成器可以生成实时音频提醒。这些类型的音频提醒的示例包括但不限于随着用户在现实环境中变得更接近意外接触而强度增加的蜂鸣声或者频率增加的嘟嘟声。相似地，可以向用户呈现简单话音串，如例如，“嘿，小心你要去的地方！”
在一些情况下，向共享沉浸式虚拟环境中渲染虚拟内容可能破坏总体VR仿真。然而，如以上指出的那样，SOM包括如下信息，该信息向STIVE生成器提供对共享现实空间的语义理解。这提供使STIVE 生成器能够渲染在用户的某个半径内的完整物体(例如，整个椅子而不仅是用户将要撞到的实际椅子的部分)的物体级理解。相似地，可以用如下方式向共享沉浸式虚拟环境中渲染具有与现实物体相似功能的虚拟物体，该方式为被映射到那些现实物体的物理位置并且与那些现实物体总体上一致。例如，在共享虚拟式虚拟环境看起来为森林的情况下，现实长榻可以被渲染为倒下的木头或者其它就坐表面。以这一方式，用户可以既避免长榻又使用长榻作为就坐表面，即使用户仅看见虚拟的倒下的木头。
图5提供了向共享沉浸式虚拟环境中渲染“步行安全”指示符的简单示例。在这一示例中，三个用户(500、505和510)正在包括两个非参与者(515和520)以及包括沙发525、第一桌子530和第二桌子 535的各种实际家具的现实空间中参与共享沉浸式虚拟环境。在这一示例中，向共享沉浸式虚拟环境中渲染安全标记为地面上的辉光断线 (540、545和550)。然后，只要用户没有穿过那些安全标记，他们就将避免与房间中的家具和非参与者的意外接触。
2.7.2非参与者渲染和交互：
如以上指出的那样，共享现实空间可以包括用户和非参与者的各种组合。在一些情况下，在用户与没有共享沉浸式虚拟环境的人之间的交互由STIVE生成器的各种实现方式实现。备选地或者在组合中，可以将虚拟人物的数字化身映射到非参与者的定位。换而言之，可以按定位和运动以及如果可能则使用骨架跟踪来跟踪房间中的在共享沉浸式虚拟环境中不是活跃参与者的人。应用这一类型的跟踪和建模使STIVE生成器能够使非参与者定位和骨架与可以感觉更自然的仿真中的人物相配。
例如，假定STIVE生成器的前述统一跟踪和建模特征以及能力，非参与者的定位和骨架跟踪可以被用来将非参与者渲染为鬼宅中的幽灵、人形轮廓、丧尸、无脸类人形式、中世纪布景中的农民、人群中的赞赏狂热者等。另外，在各种实现方式中，STIVE生成器可以用如下方式渲染被系结到这些虚拟人物的定位的音频内容(例如，声音、话音内容等)，该方式使它们看起来与总体共享沉浸式虚拟环境更一致。换而言之，可以向共享沉浸式VR中渲染非参与者为虚拟人物或者以某种方式醒目显示他们，从而使得共享沉浸式VR中的用户将知道那些其他实际人在何处，但是以没有破坏下层共享沉浸式VR的方式。以与在用户迫近现实物体(其中非既定接触很可能出现)时相同的方式，出于安全原因，醒目显示或者警告标记可以随着用户在共享现实空间中迫近非参与者而强度增加。
2.8共享触觉交互：
STIVE生成器的显著地改进用户在共享沉浸式虚拟环境内的体验以及自我和逼真感的特征之一是用于在多个用户之间共享反馈和交互的能力。这可以范围从在(从现实映射的)相同虚拟环境内移动到多个人处置向某个现实物体映射的具体虚拟物体(例如，见以上讨论的图1)。有利地，在共享沉浸式虚拟环境内物理地触摸、操控或者以别的方式处置或者与其他用户共享现实物体(看起来为虚拟物体)改善关于共享沉浸式虚拟环境的用户交互和总体逼真感。
换而言之，用户可以在被映射到共享现实空间的相同共享沉浸式虚拟环境(例如，共享现实空间中的被渲染到共享沉浸式虚拟环境中的实际表面和物体的虚拟表示)内独立地移动。可以向共享沉浸式虚拟环境中渲染实际物理物体。相似地，可以使用被渲染以在共享沉浸式虚拟环境中看起来为不同或者增强的虚拟物体的现实物理代理。这允许用户通过传递向对用户可见的虚拟物体的定位映射的某个实际物体(在共享沉浸式虚拟环境中不可见)来物理地相互传递虚拟物体。作为结果，用户具有经由对用户不可见、但是虚拟物体被实时映射和渲染到的下层现实物体来物理地与虚拟物体交互的感觉(即，触觉和视觉反馈)。
例如，可以向共享沉浸式虚拟环境中渲染现实惰性塑料矩形形状为在共享沉浸式虚拟环境内显示动态内容的虚拟显示设备或者平板计算机。即使用户正在实际地穿过现实惰性塑料件并且与它交互，用户仍然可以经由以下各项来在共享沉浸式虚拟环境内与在虚拟显示设备或者平板计算机上显示的内容虚拟地交互：基于手势的控件、经由现实手部跟踪的对触摸事件的检测、基于话音的控件或者输入等。
换而言之，STIVE生成器可以通过映射和渲染虚拟物体代替那些现实物体以用于在共享沉浸式虚拟环境内使用来使用任何现实物体和形状。然而，在各种实现方式中，提供多个现实预定义的惰性形状和物体以用于与STIVE生成器一起使用。这些惰性形状和物体可以被调节适应特定仿真。在各种实现方式中，这些惰性形状和物体可以用任何希望的形状或者大小由相对安全的材料(例如，软塑料、橡胶、泡沫等)制成。STIVE生成器然后可以在共享沉浸式虚拟环境内将任何对应的虚拟内容映射和渲染到那些惰性形状和物体以用于在用户之间的共享的使用和交互。另外，现实物体可以超出它们的物理限度而被虚拟地加皮肤而以用于提醒用户关于可以实际地由用户物理地操控的虚拟物体的部分的某种方式醒目显示或者区分实际物理限度。
2.8.1多用户考虑和触觉交互场景：
STIVE生成器使共同位于现实环境中的各自穿戴HMD或者其它 VR显示设备的两个或者更多个人以共享触觉体验参与共享沉浸式虚拟环境。一般而言，共享沉浸式虚拟环境中的触觉体验涉及如下现实物理物体，这些现实物理物体看起来为共享沉浸式虚拟环境的可以由用户中的一个或者多个用户物理地触摸和操控的虚拟元素。然而，在各种实现方式中，由STIVE生成器提供的触觉反馈包括间接效果，这些间接效果包括但不限于从有向风扇或者通风孔吹出的暂时或者连续风、温度改变、经由由STIVE生成器控制的HVAC系统以仿真各种环境，例如，施加AC以减少用于仿真的列车(artic)环境的温度或者加热用于仿真的沙漠环境的房间等。
改善用户体验的特征之一是用于共享对向共享沉浸式虚拟环境中渲染的物理物体的处置和接触的能力，这些物理物体被渲染为那些物理物体的虚拟类似物或者某个不同虚拟物体或者元素，在任一种情况下，这些虚拟类似物或者该虚拟物体或者元素被映射到物理物体的物理位置。让物理物体存在于共享沉浸式虚拟环境中使得两方或者更多方可以处置该物理物体在用户共同位于共享沉浸式虚拟环境中时实现广泛虚拟场景。
例如，考虑在共享沉浸式虚拟环境中来回抛实际球的两个用户。在这一情况下，实际球和用户可以被映射和渲染到共享沉浸式虚拟环境中作为任何希望的虚拟元素或者人物。例如，用户和球可以被渲染以在共享沉浸式虚拟环境中看起来为绕地球投掷的两个巨人、传递或者抛燃烧的小汽车的两个怪物、在稻谷周围投掷的两个蚂蚁等。显然地，这样的概念可以被扩展到多于两个用户和多于单个物理物体。
作为另一示例，考虑两个或者更多个家具设计者(或者某个物理某物的任何设计者)。给定向某个现实物理物体或者代理映射的虚拟物体的3D模型，用户可以与现有原型的设计交互。例如，用户中的每个用户可以看见向实际物体或者代理映射的渲染的虚拟物体并且可以物理地转动它、触摸它等。另外，用户可以经由口头输入、基于手势的输入或者其它自然用户接口(NUI)输入来改变虚拟物体的3D 模型的参数或者特性(例如，形状、纹理、颜色等)。然后响应于由协作用户输入指引的任何改变来动态地更新被映射和渲染到现实物理物体上的仿真。
在各种实现方式中，STIVE生成器使现实物体能够作为控件被用来驱动共享沉浸式虚拟环境的各种部件。例如，考虑两个用户坐在桌子旁边而在他们之间有实际棋盘和棋子。用户移动这些棋子然后可以在仿真中被渲染为共享沉浸式虚拟环境。例如，共享沉浸式虚拟环境中的用户可以看见在战场上方漂浮的云上渲染他们自己而移动他们的棋子使他们的虚拟军队的部分与另一用户的虚拟敌军交战。作为响应，共享沉浸式虚拟环境可以显示渲染他们的军队作战并且取决于与仿真关联的任何交战规则(例如，标准国际象棋规则或者任何其它规则)而恐怖地获胜或者败北。
跟踪共享沉浸式虚拟环境内的物理物体和用户支持广泛控制场景和增强。例如，考虑可以被渲染到共享沉浸式虚拟环境中以看起来为实际控制设备的表示或者为某个其它虚拟物体的标准控制设备，比如遥控器或者游戏控制器。在两个或者更多个用户正在共享一个控制设备的情况下，从一个用户向另一用户物理地传递该控制设备可以被解释为用于从一个用户向另一用户传递对共享沉浸式虚拟环境的总体控制的控制指示。
除了在共享沉浸式虚拟环境中基于向现实代理映射和渲染的虚拟元素或者物体来共享触觉交互之外，在用户之间的实际物理基础显然地有可能。另外，这样的接触也可以被用于各种控制目的。已经观察到缺乏人类接触或者触摸可以是在虚拟现实环境中的疏远因素。这样，STIVE生成器的用于提供多个用户可以在其中物理地触摸物理物体和其他用户以及与它们和他们交互的共享沉浸式虚拟环境的能力通过改善用户在共享沉浸式虚拟环境内的逼真和存在感来显著地丰富共享沉浸式虚拟环境。
用户触摸可以被用于简单用户交互或者用于仿真控制目的。例如，用户持有或者触摸彼此的手部可以被用作NUI输入以表明从一个用户向另一用户传递控制或者结束一个用户的用于控制共享沉浸式虚拟环境的轮流。备选地，用户触摸可以被用于其它目的，如例如以非口头方式(比如通过轻拍用户的胳膊或者肩膀和指向在共享沉浸式虚拟环境中渲染的某物)来获得另一用户的注意。相似地，这一类型的触摸使一个用户能够在出于多种目的参与共享沉浸式虚拟环境(如例如导航或者避免实际或者虚拟障碍物、穿越实际或者虚拟迷宫等之时)通过持有或者推动另一用户的肩部、胳膊、手部等来引导或者指导他。在用户之间的触摸也可以被用于其它目的，比如父母在父母或者他们的孩子或者二者正在参与共享沉浸式虚拟环境之时持有孩子的手部或者拥抱他们以确保他们存在。
2.8.2用于STIVE生成器的示例性教育场景：
在各种实现方式中，STIVE生成器提供用于增强教师、学生和用户学习和效率的教育工具。例如，考虑具有作为对应实时共享沉浸式环境的用户而参与的学生的现实物理学课堂。在这一示例中，也作为对应实时共享沉浸式虚拟环境的用户而参与的教授可以实时操控虚拟物体、将物理球(或者其它现实物体)映射到共享沉浸式虚拟环境中的扩张的虚拟原子。然后可以扩张虚拟原子以示出电子、光子、中子(例如，扩张原子以示出电子壳、示范磁场等)，而每个学生用户具有无障碍虚拟前排座位，无论学生在共享实际空间中何处和无论多少学生可以在该共享实际空间中。另外，可以在教授的手部中持有和旋转物理球以及因此的映射的虚拟的扩张的原子，以示出或者扩张原子的特定特征。另外，可以向参与共享沉浸式虚拟环境的学生和在学生之间物理地传递物理球以及因此的映射的虚拟的扩张的原子。共享沉浸式虚拟环境中的参与者将看见(和感觉)他们正在持有(和如果希望则操控)的虚拟的扩张的原子而没有看见现实物理球，因为它尚未被渲染到共享沉浸式虚拟环境中。
考虑关于流体力学的另一教育示例。想象虚拟河流(或者其它流体、气体或者等离子体)在虚拟通道中流动，该虚拟通道被映射到共享现实空间中的实际桌子的表面。在这一情况下，共享现实空间中的实际桌子可以被或者可以未被渲染到共享沉浸式虚拟环境中，或者它可以被渲染为某个其它表面或者地形。然后，一个或者多个实际物体 (例如，球体、立方体、平面等)可以被映射和渲染到共享沉浸式 VR中。对应的虚拟物体然后可以被物理地拾取(因为虚拟物体被映射到对应的实际物体)和放置到虚拟河流(或者其它流)中以虚拟地示范被放置到虚拟流中的物体所产生的流模式改变。
关于在翼表面之上的气流存在相似示例。用户可以参与对应于超声风隧道的内部的共享沉浸式虚拟环境。给定向各种虚拟飞机或者翼形状映射的物理翼类似物，用户然后可以相对于可见虚拟超声气流来操控虚拟翼形状、定向、上冲角度等以观察在翼形状之上的虚拟气流、冲击波的虚拟形成、虚拟湍流、虚拟涡流等。另外，可以在共享沉浸式虚拟环境内对这样的虚拟流效果进行放大、加速、减缓等以实现在任何希望的放大率或者时间现实级别检查这样的效果。另外，用户可以在共享现实空间内到处移动以从不同视点观察共享沉浸式虚拟环境。
考虑涉及坐在太阳系的共享沉浸式虚拟环境以内的多个学生的另一示例。学生之一提问如果木星的轨道改变则其它行星的轨道发生什么。行星木星的物理类似物(被映射到木星的虚拟渲染)然后可以被移动到在阳系的虚拟表示内的任何希望的定位。时间标度然后可以被适应到任何希望的速度(例如，每秒数千光年)以示出虚拟太阳系中的其它行星的轨道如何响应于移动木星的轨道而随时间改变。学生也可以放大到虚拟太阳系的特定节段(例如，柯伊伯带物体)以看见移动或者移除木星可以如何影响太阳系的那些节段。
另外，共享沉浸式虚拟环境中的每个参与者可以看见共享现实空间的略微地不同版本。例如，回顾共享沉浸式虚拟环境中的虚拟原子的示例。每个学生可以具有在共享沉浸式虚拟环境内在特定学生的视野中作为虚拟原子而被映射和渲染的物理球或者某个其它现实物体 (即，物理代理)。在这一情况下，教授可以产生某个特定点，并且然后允许每个学生通过操控物理代理来个别地虚拟地探索原子的性质。学生然后可以提出特定观察的问题，并且该学生的虚拟原子的虚拟视图可以被传送到其他学生和教授的视图，从而使得每个人可以看见学生正在提问什么。
2.9共享虚拟环境中的灵活映射和缩放：
虽然对共同位于现实空间中的多个用户的最自然映射是在将它们渲染到共享沉浸式虚拟环境中时维护在它们之间的确切距离和定向，但是在一些情形中有可能更灵活。例如，考虑在现实障碍物(比如桌子)的相反侧上的两个用户。可以使对这些用户的渲染看来如同他们处在深的虚拟裂缝的相反侧上，而在他们之间的虚拟距离被适当地缩放。换而言之，即使用户实际地相距仅数英尺，但是他们可以相互看起来为跨虚拟裂缝相距大距离。虽然他们将仍然能够相互听见，但是将预计他们不穿过裂缝。
相似地，STIVE生成器可以缩放用户或者其它物体的虚拟表示。例如，假设第一用户站在实际桌子的与第二用户相反的一侧上(在共享现实空间中)。即使那些用户相距仅数英尺，仍然可以缩放每个用户的向另一用户呈现的虚拟表示以使用户看来比他们在现实空间中相互更远或者更近(或者更大或者更小)。例如，给定两个用户在实际桌子的相反侧上的示例，可以向共享沉浸式虚拟环境中向彼此渲染那些用户为相距很远并且从彼此跨深的虚拟裂缝。换而言之，在各种实现方式中，共享现实空间的几何形状和环境可以与正在共享沉浸式虚拟环境中被呈现的几何形状和环境几乎不具有关系或者没有关系。
相似地，在各种实现方式中，可以相对于对感知的虚拟距离或者大小的缩放来缩放实际用户运动。例如，用户可以将另一用户(在共享现实空间中仅10英尺远)的虚拟表示或者化身感知为在共享沉浸式虚拟环境中的100英尺远。然后，对于一个用户朝着另一用户所走的每个脚步，可以放大(例如，按倍率10)由每个脚步覆盖的虚拟距离，从而使得它在共享沉浸式虚拟环境中看起来如同用户随着他迫近另一用户而正在大步走。然后，在用户在共享现实空间中相互接近时，可以缩放运动(比如朝着彼此的脚步)以与实际现实距离匹配。
3.0 STIVE生成器的操作概要：
以上参照图1至图5并且进一步按照以上在第1节和第2节中提供的具体实施方式而被讨论的步骤由图6的总体操作流程图图示。特别地，图6提供了示例性操作流程图，该操作流程图概括STIVE生成器的各种实现方式中的一些实现方式的操作。图6没有旨在于为对这里描述的STIVE生成器的所有各种实现方式的穷举表示，并且仅出于说明的目的而提供在图6中表示的实现方式。
另外，在由图6中的虚线或者点划线表示的任何框和在框之间的互连表示这里描述的STIVE生成器的可选或者备选实现方式，并且如以下描述的这些可选或者备选实现方式中的任何或者所有可选或者备选实现方式可以与贯穿本文而被描述的其它备选实现方式组合而被使用。
一般而言，如由图6所示，STIVE生成器通过应用(630)一个或者多个传感器620以捕获实时跟踪信息来开始操作，该实时跟踪信息涉及参与对共享沉浸式虚拟环境的实时渲染的两个或者更多个用户(600，605)的实际运动和定位，并且还涉及共享现实环境610中的实际物体的运动和定位。
STIVE生成器应用实时跟踪信息以生成(640)现实环境610的实时环境模型，在该现实环境610中正在向两个或者更多个用户(600， 605)呈现共享沉浸式虚拟环境。这一实时环境模型用于对现实环境 610中的表面和物体的几何形状、定位和运动进行分类。此外，STIVE 生成器应用实时跟踪信息以生成(650)用于两个或者更多个用户 (600，605)中的每个用户的统一实时跟踪模型。
给定这些模型，STIVE生成器然后生成(660)用于每个特定用户(600，605)的与特定用户的实时视野对应的、共享沉浸式虚拟环境的帧。特别地，在生成这些帧时，STIVE生成器相对于实时环境模型和统一实时跟踪模型二者来约束(670)用于每个特定用户(600，605)的共享沉浸式虚拟环境的每个帧。此外，还通过将共享沉浸式虚拟环境的一个或者多个虚拟元素映射和渲染(680)到可以由用户 (600，615)中的两个或者更多个用户触摸的、现实环境(610)中的实际物体615以提供共享触觉交互，来针对现实环境(610)定制共享沉浸式虚拟环境。
4.0 STIVE生成器的示例性实现方式：
以下段落概括了可以在本文中要求保护的实现方式的各种示例。以下概括的实现方式没有旨在于限制可以按照STIVE生成器的具体实施方式而被要求保护的主题内容。另外，可以在与贯穿具体实施方式而被描述的实现方式中的一些或者所有实现方式和在一幅或者多幅图中图示的任何实现方式以及以下描述的任何其它实现方式和示例的任何希望的组合中要求保护以下概括的实现方式中的任何或者所有实现方式。以下实现方式和示例旨在于按照贯穿本文而被描述的具体实施方式和各图而被理解。
在各种实现方式中，STIVE生成器由用于渲染和呈现全沉浸式共享虚拟VR环境的装置、过程或者技术实时，在该全沉浸式共享虚拟 VR环境中，共享现实空间中的多个用户在共享沉浸式虚拟环境内共享触觉交互和触摸。共享沉浸式虚拟环境内的共享触觉交互和触摸显著地改善共享沉浸式虚拟环境内的用户体验以及自我和逼真感。在各种实现方式中，这一共享触觉交互和触摸包括但不限于在从现实被映射的相同虚拟环境内移动、多个用户操控向某个现实物体映射的具体虚拟物体、在用户之间的物理接触等。
作为第一示例，在各种实现方式中，经由用于通过应用计算机以生成现实环境的实时环境模型来构造共享虚拟环境的装置、过程或者技术实时一种计算机实施的过程，在该现实环境中正在向两个或者更多个用户呈现共享沉浸式虚拟环境。在各种实现方式中，实时环境模型对现实环境中的表面和物体的几何形状、定位和运动进行分类。此外，在各种实现方式中，计算机实施的过程生成用于两个或者更多个用户中的每个用户的统一实时跟踪模型。另外，对于每个特定用户，计算机实施的过程生成与特定用户的实时视野对应的、共享沉浸式虚拟环境的帧。相对于实时环境模型和统一实时跟踪模型中的每个统一实时跟踪模型二者，联合地约束用于每个特定用户的、共享沉浸式虚拟环境的帧。此外，计算机实施的过程将共享沉浸式虚拟环境的一个或者多个虚拟元素映射和渲染到可以由用户中的两个或者更多个用户触摸和操控的、现实环境中的实际物体，以提供共享触觉交互。
作为第二示例，在各种实现方式中，经由用于生成统一实时跟踪模型从而使得它包括用户定位、用户定向、用户骨架模型和用户手部模型中的一项或者多项的装置、过程或者技术来进一步修改第一示例。
作为第三示例，在各种实现方式中，经由用于生成统一实时跟踪模型从而使得它包括用户脸部表情建模的装置、过程或者技术来进一步修改第一示例和第二示例中的任何示例。
作为第四示例，在各种实现方式中，经由用于在与每个用户的现实定位对应的定位中、向共享沉浸式虚拟环境中渲染每个用户的虚拟表示的装置、过程或者技术来进一步修改第一示例、第二示例和第三示例中的任何示例。
作为第五示例，在各种实现方式中，经由用于在与每个非参与人的现实定位对应的定位中、向共享沉浸式虚拟环境中渲染一个或者多个非参与人的虚拟表示的装置、过程或者技术来进一步修改第一示例、第二示例、第三示例和第四示例中的任何示例。
作为第六示例，在各种实现方式中，经由用于向共享沉浸式虚拟环境中渲染一个或者多个安全标记的装置、过程或者技术来进一步修改第一示例、第二示例、第三示例、第四示例和第五示例中的任何示例。
作为第七示例，在各种实现方式中，经由用于渲染共享沉浸式虚拟环境内的、无现实障碍物的安全路径的指示的装置、过程或者技术来进一步修改第一示例、第二示例、第三示例、第四示例、第五示例和第六示例中的任何示例。
作为第八示例，在各种实现方式中，经由用于生成现实环境内的非参与人的半透明渲染的装置、过程或者技术来进一步修改第一示例、第二示例、第三示例、第四示例、第五示例、第六示例和第七示例中的任何示例，半透明渲染随着任何用户迫近半透明渲染而实心度增加。
作为第九示例，在各种实现方式中，经由用于将一个或者多个非参与人的虚拟表示中的一个或者多个虚拟表示呈现为无论何时确定非参与人正在向任何用户说话都实心度增加的半透明渲染的装置、过程或者技术来进一步修改第一示例、第二示例、第三示例、第四示例、第五示例、第六示例、第七示例和第八示例中的任何示例。
作为第十示例，在各种实现方式中，经由用于与经由由用户中的一个或者多个用户执行的一个或者多个基于手势的命令来与共享沉浸式虚拟环境的一个或者多个虚拟元素交互的装置、过程或者技术来进一步修改第一示例、第二示例、第三示例、第四示例、第五示例、第六示例、第七示例、第八示例和第九示例中的任何示例。
作为第十一示例，在各种实现方式中，经由用于经由用共享沉浸式虚拟环境完全地替换现实环境的任何视图的虚拟现实显示设备来向每个用户呈现共享沉浸式虚拟环境的装置、过程或者技术来进一步修改第一示例、第二示例、第三示例、第四示例、第五示例、第六示例、第七示例、第八示例、第九示例和第十示例中的任何示例。
作为第十二示例，在各种实现方式中，经由用于通过适配计算设备以应用一个或者多个传感器以捕获实时跟踪信息的装置、过程或者技术来实施一种系统，实时跟踪信息涉及参与对共享沉浸式虚拟环境的实时渲染的两个或者更多个用户的实际运动和定位，并且还涉及共享现实环境中的一个或者多个实际物体的运动和定位。在各种实现方式中，这一系统应用跟踪信息以生成现实环境的实时环境模型，该实时环境模型表示对现实环境内的表面和物体的语义理解。在各种实现方式中，这一系统应用跟踪信息以生成用于两个或者更多个用户中的每个用户的实时定位和骨架模型。在各种实现方式中，这一系统然后生成共享沉浸式虚拟环境的、针对每个用户的对应的实时视野而被定制的帧。相对于实时环境模型以及实时定位和骨架模型中的每个实时定位和骨架模型二者，联合地约束用于每个特定用户的共享沉浸式虚拟环境的每个帧。另外，在各种实现方式中，这一系统将共享沉浸式虚拟环境的一个或者多个虚拟元素映射和渲染到共享现实环境中的实际物体中的一个或者多个实际物体。在各种实现方式中，这一系统然后经由用共享沉浸式虚拟环境完全地替换现实环境的任何视图的虚拟现实显示设备来向每个用户呈现共享沉浸式虚拟环境。
作为第十三示例，在各种实现方式中，经由用于应用跟踪信息以生成用于每个用户的脸部表情模型的装置、过程或者技术来进一步修改第十二示例。
作为第十四示例，在各种实现方式中，经由用于在与每个用户的现实定位对应的定位中向共享沉浸式虚拟环境中渲染每个用户的虚拟表示的装置、过程或者技术来进一步修改第十二示例和第十三示例中的任何示例，每个虚拟表示包括每个对应用户的实时脸部表情。
作为第十五示例，在各种实现方式中，经由用于在与每个非参与人的现实定位对应的定位中、向共享沉浸式虚拟环境中渲染一个或者多个非参与人的虚拟表示的装置、过程或者技术来进一步修改第十二示例、第十三示例和第十四示例中的任何示例。
作为第十六示例，在各种实现方式中，经由用于向共享沉浸式虚拟环境中渲染一个或者多个安全标记以提醒用户关于与共享现实环境中的实际物体的潜在非既定接触的装置、过程或者技术来进一步修改第十二示例、第十三示例、第十四示例和第十五示例中的任何示例。
作为第十七示例，在各种实现方式中，经由用于检测由用户中的一个或者多个用户执行的一个或者多个基于手势的命令以用于在与共享沉浸式虚拟环境的一个或者多个虚拟元素交互时使用的装置、过程或者技术来进一步修改第十二示例、第十三示例、第十四示例、第十五示例和第十六示例中的任何示例。
作为第十八示例，在各种实现方式中，一种具有在其中存储的计算机可执行指令的计算机可读存储设备使得计算设备执行用于呈现共享沉浸式虚拟环境的方法。这一方法应用一个或者多个传感器以捕获共享现实环境中的用户和物体的实时跟踪信息。然后应用这一跟踪信息以生成现实环境的实时环境模型。也应用跟踪信息以生成用于两个或者更多个用户中的每个用户的实时定位和骨架模型。在各种实现方式中，该方法生成共享沉浸式虚拟环境的、针对每个用户的对应的实时视野而被定制的帧。相对于实时环境模型以及实时定位和骨架模型中的每个实时定位和骨架模型二者，联合地约束用于每个特定用户的共享沉浸式虚拟环境的每个帧。在各种实现方式中，这一方法将共享沉浸式虚拟环境的一个或者多个虚拟元素映射和渲染到可以由多个用户物理地触摸的、共享现实环境中的实际物体中的一个或者多个实际物体。在各种实现方式中，该方法然后经由用共享沉浸式虚拟环境完全地替换现实环境的任何视图的头戴式虚拟现实显示设备来向每个用户呈现共享沉浸式虚拟环境。
作为第十九示例，在各种实现方式中，经由用于向共享沉浸式虚拟环境中渲染一个或者多个安全标记以提醒用户关于与共享现实环境中的实际物体的潜在非既定接触的装置、过程或者技术来进一步修改第十八示例。
作为第二十示例，在各种实现方式中，经由用于检测由用户中的一个或者多个用户执行的一个或者多个基于手势的命令以用于在与共享沉浸式虚拟环境的一个或者多个虚拟元素交互时使用的装置、过程或者技术来进一步修改第十八示例和第十九示例中的任何示例。
5.0示例性操作环境：
这里描述的STIVE生成器实现方式在许多类型的通用或者专用计算系统环境或者配置内可操作。图7图示了可以在其上实施如这里描述的STIVE生成器的各种实现方式和单元的通用计算机系统的简化示例。在图7中所示的简化的计算设备700中由虚线或者点划线表示的任何框表示简化计算设备的备选实现方式。如以下描述的那样，这些备选实现方式中的任何或者所有备选实现方式可以与贯穿本文而被描述的其它备选实现方式组合使用。
通常地，在具有至少一些最小计算能力的设备(比如个人计算机 (PC)、服务器计算机、手持型计算设备、膝上型或者移动计算机、通信设备(比如蜂窝电话和个人数字助理(PDA))、多处理器系统、基于微处理器的系统、机顶盒、可编程客户电子装置、网络PC、小型计算机、大型计算机和音频或者视频媒体播放器)中发现简化的计算设备700。
为了允许设备实现这里描述的STIVE生成器实现方式，设备应当具有充足计算能力和系统存储器以实现基本计算操作。特别地，图7 中所示的简化的计算设备700的计算能力主要由一个或者多个处理单元710图示，并且也可以包括一个或者多个图形处理单元(GPU)715，它们之一或者二者与系统存储器720通信。简化的计算设备700的处理单元710可以是专门化的微处理器(比如数字信号处理器(DSP)、甚长指令字(VLIW)处理器、现场可编程门阵列(FPGA)或者其它微控制器)，或者可以是具有一个或者多个处理核并且也可以在多核处理器中包括一个或者多个基于GPU的核或者其它专用核的常规中央处理单元(CPU)。
此外，简化的计算设备700也可以包括其它部件，如例如通信接口730。简化的计算设备700也可以包括一个或者多个常规计算机输入设备740(例如，触屏、触敏表面、指点设备、键盘、音频输入设备、基于语音或者话音的输入和控制设备、视频输入设备、触觉输入设备、用于接收有线或者无线数据传输的设备等)或者这样的设备的任何组合。
相似地，与简化的计算设备700和与STIVE生成器的任何其它部件或者特征的各种交互(包括输入、输出、控制、反馈和对与STIVE 生成器关联的一个或者多个用户或者其它设备或者系统的响应)由多种自然用户接口(NUI)场景实现。由STIVE生成器实现的NUI技术和场景包括但不限于允许一个或者多个用户以没有受输入设备(比如鼠标、键盘、遥控器等)施加的人为约束的“自然”方式来与STIVE 生成器交互的接口技术。
这样的NUI实现方式通过使用各种技术而被实现，包括但不限于使用从经由麦克风或者其它输入设备740或者系统传感器705捕获的用户话音或者发声而得出的NUI信息。这样的NUI实现方式也通过使用各种技术而被实现，包括但不限于从用户的脸部表情和从用户的手部、手指、手腕、胳膊、腿部、身体、头部、眼睛等的定位、运动或者定向、从系统传感器705或者其它输入设备740得出的信息，其中可以使用各种类型的2D或者深度成像设备(比如立体或者飞行时间相机系统、红外线相机系统、RGB(红、绿和蓝)相机系统等)或者这样的设备的任何组合来捕获这样的信息。这样的NUI实现方式的更多示例包括但不限于从触摸和触笔识别、手势识别(屏上和与屏幕或者显示器表面相邻二者)、基于空气或者接触的手势、用户触摸(在各种表面、物体或者其他用户上)、基于悬停的输入或者动作等得出的NUI信息。这样的NUI实现方式也可以包括但不限于单独或者与其它NUI信息组合来使用评估当前或者以往用户行为、输入、动作等的各种预测机器智能过程以预测信息，比如用户意图、希望和/或目标。无论基于NUI的信息的类型或者来源如何，这样的信息然后可以用来发起、终止或者以别的方式控制STIVE生成器的一个或者多个输入、输出、动作或者功能特征或者与它们交互。
然而，可以通过组合对人为约束或者附加信号的使用与NUI输入的任何组合来进一步扩充前述示例性NUI场景。这样的人为约束或者附加信号可以由输入设备740(比如鼠标、键盘和遥控器)或者由多种远程或者用户穿戴的设备(比如加速度计、用于接收表示由用户的肌肉生成的电信号的肌电信号的肌电图(EMG)传感器、心率监视器、用于测量用户呼吸的电皮肤传导传感器、用于测量或者以别的方式感测用户脑部活动或者电场的可穿戴或者远程生物传感器、用于测量用户体温改变或者差异的可穿戴或者远程生物传感器)等施加或者生成。从这些类型的人为约束或者附加信号得出的任何这样的信息可以与任何一个或者多个NUI输入组合以发起、终止或者以别的方式控制 STIVE生成器的一个或者多个输入、输出、动作或者功能特征或者与它们交互。
简化的计算设备700也可以包括其它可选部件，比如一个或者多个常规计算机输出设备750(例如，显示设备755、音频输出设备、音频输出设备、用于传输有线或者无线数据传输的设备等)。用于通用计算机的典型通信接口730、输入设备740、输出设备750和存储设备760是本领域技术人员所熟知的，并且这里将不具体加以描述。
图7中所示的简化的计算设备700也可以包括多种计算机可读介质。计算机可读介质可以是可以由计算设备700经由存储设备760访问的任何可用介质并且包括用于存储信息(比如计算机可读或者计算机可执行指令、数据结构、程序模块或者其它数据)的可移除770和 /或不可移除780的易失性和非易失性介质二者。
计算机可读介质包括计算机存储介质和通信介质。计算机存储介质是指有形计算机可读或者机器可读介质或者存储设备，比如数字万用盘(DVD)、蓝光盘(BD)、紧致盘(CD)、软盘、带驱动、硬驱动、光驱动、固态存储器设备、随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、CD-ROM 或者其它光盘存储装置、智能卡、闪存(例如，卡、棒和密钥驱动)、磁盒、磁带、磁盘存储装置、磁条或者其它磁存储设备。另外，在计算机可读存储介质的范围内不包括传播的信号。
对信息(比如计算机可读或者计算机可执行指令、数据结构、程序模块等)的留置也可以通过使用多种前述通信介质中的任何通信介质(有别于计算机存储介质)以对一个或者多个经调制的数据信号或者载波进行编码或者其它传送机制或者通信协议而被实现，并且可以包括任何有线或者无线信息递送机制。术语“经调制的数据信号”或者“载波”一般地是指如下信号，该信号让它的特性中的一个或者多个特性以对信号中的信息进行编码的方式而被设置或者改变。例如，通信介质可以包括有线介质(比如输送一个或者多个经调制的数据信号的有线网络)或者直接有线连接以及无线介质(比如用于传输和/或接收一个或者多个经调制的数据信号或者载波的声、射频(RF)、红外线、激光和其它无线介质)。
另外，可以用计算机可执行指令或者其它数据结构的形式来从计算机可读或者机器可读介质或者存储设备和通信介质的任何希望的组合存储、接收、传输或者读取体现这里描述的各种STIVE生成器实现方式中的一些或者所有实现方式或者其部分的软件、程序和/或计算机程序产品。附加地，可以使用标准编程和/或工程技术以产生软件、固件725、硬件或者它们的任何组合，以控制计算机实施公开的主题内容来将要求保护的主题内容实施为一种方法、装置或者制造品。如这里所用的术语“制造品”旨在于涵盖从任何计算机可读设备或者介质可访问的计算机程序。
还可以在由计算设备执行的计算机可执行指令(比如程序模块) 的一般情境中进一步描述这里描述的STIVE生成器实现方式。一般地，程序模块包括执行特定任务或者实施特定抽象数据类型的例程、程序、对象、部件、数据结构等。也可以在其中任务由一个或者多个远程处理设备执行的分布式计算环境中或者在通过一个或者多个通信网络而被链接的一个或者多个设备的云内实现STIVE生成器实现方式。在分布式计算环境中，程序模块可以位于包括介质存储设备的本地和远程计算机存储介质二者中。附加地，前述指令可以被部分或者全部地实施为可以包括或者可以不包括处理器的硬件逻辑电路。
备选地或者附加地，这里描述的功能可以至少部分地由一个或者多个硬件逻辑部件执行。例如而没有限制，可以使用的说明性硬件逻辑部件类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等等。
6.0其它实现方式
已经出于示例性和描述的目的而呈现了对STIVE生成器的前文描述。它没有旨在于穷举或者使要求保护的主题内容限于公开的精确形式。许多修改和变化按照以上教导是有可能的。另外，可以在为了形成STIVE生成器的附加混合实现方式而希望的任何组合中使用前述备选实现方式中的任何或者所有实现方式。旨在于STIVE生成器的范围不是由这一具体实施方式而是实际上由所附权利要求限制。虽然已经用结构特征和/或方法动作特有的言语描述了主题内容，但是将理解，在所附权利要求中限定的主题内容未必限于以上描述的具体特征或者动作。实际上，以上描述的具体特征和动作被公开作为实施权利要求的示例形式，并且其它等效特征和动作旨在于在权利要求的范围内。
以上已经被描述的内容包括示例实现方式。当然没有可能为了描述要求保护的主题内容而描述每个可设想的部件或者方法组合，但是本领域普通技术人员可以认识到，许多进一步组合和排列是有可能的。因而，要求保护的主题内容旨在于涵盖落在对以上描述的STIVE 生成器的具体描述的精神实质和范围内的所有这样的变更、修改和变型。
关于由以上描述的部件、设备、电路、系统等执行的各种功能，被用来描述这样的部件的术语(包括对“装置(means)”的引用)旨在于除非另有指示则对应于任何如下部件，该部件执行描述的部件的指定的功能(例如，功能等效)，即使结构上不等效于公开的如下结构，该结构在要求保护的主题内容的这里所示的示例性方面中执行该功能。就这一点而言，也将认识到，前述实现方式包括系统以及具有计算机可执行指令的计算机可读存储介质，这些计算机可执行指令用于执行要求保护的主题内容的各种方法的动作和/或事件。
存在实现前述实现方式的多种方式(比如专用编程接口(API)、工具包、驱动器代码、操作系统、控件、单独或者可下载软件对象等)，这些方式使应用和服务能够使用这里描述的实现方式。要求保护的主题内容从API(或者其它软件对象)的观点以及从根据这里阐述的实现方式操作的软件或者硬件对象的观点而设想了这一使用。因此，这里描述的各种实现方式可以具有全部地在硬件中或者部分地在硬件中而部分地在软件中或者全部地在软件中的方面。
已经关于在若干部件之间的交互而描述了前述系统。将认识到，这样的系统和部件可以包括那些部件或者指定的子部件、指定的部件或者子部件中的一些指定的部件或者子部件和/或附加部件以及根据前文的各种排列和组合。子部件也可以被实施为被通信地耦合到其它部件而不是在母部件(例如，分级部件)内包括的部件。
附加地，一个或者多个部件可以被组合成提供合集功能的单个部件或者被划分成若干分离子部件，并且可以提供任何一个或者多个中间层(比如管理层)以通信地耦合到这样的子部件以便提供集成的功能。这里描述的任何部件也可以与这里没有被具体地描述的、但是本领域技术人员总体上知道的一个或者多个其它部件交互。

Claims (17)

1.一种用于构造共享虚拟环境的计算机实施的方法，包括：
应用计算机以执行过程动作，所述过程动作用于：
生成现实环境的实时环境模型，在所述现实环境中正在向两个或者更多个用户呈现共享沉浸式虚拟环境；
生成用于所述两个或者更多个用户中的每个用户的统一实时跟踪模型；
为每个特定用户应用所述实时环境模型和所述统一实时跟踪模型以生成与所述特定用户的实时视野对应的、所述共享沉浸式虚拟环境的帧；
在与每个非参与人的现实定位对应的定位中向所述共享沉浸式虚拟环境中渲染一个或者多个非参与人的虚拟表示；以及
将所述非参与人中的一个或者多个非参与人的所述虚拟表示呈现为无论何时确定所述非参与人正在向任何用户说话都实心度增加的半透明渲染。
2.根据权利要求1所述的计算机实施的方法，其中每个统一实时跟踪模型包括用户定位、用户定向、用户骨架模型和用户手部模型中的一项或者多项。
3.根据权利要求1所述的计算机实施的方法，其中每个统一实时跟踪模型包括用户脸部表情建模。
4.根据权利要求1所述的计算机实施的方法，还包括用于在与每个用户的现实定位对应的定位中向所述共享沉浸式虚拟环境中渲染每个用户的虚拟表示的过程动作。
5.根据权利要求1所述的计算机实施的方法，还包括用于向所述共享沉浸式虚拟环境中渲染一个或者多个安全标记的过程动作。
6.根据权利要求5所述的计算机实施的方法，其中所述安全标记中的一个或者多个安全标记通过对所述共享沉浸式虚拟环境内的无现实障碍物的安全路径的指示的渲染而被表示。
7.根据权利要求5所述的计算机实施的方法，其中所述安全标记中的一个或者多个安全标记通过对所述现实环境内的非参与人的半透明渲染而被表示，所述半透明渲染随着任何用户迫近该半透明渲染而实心度增加。
8.根据权利要求1所述的计算机实施的方法，还包括用于将所述共享沉浸式虚拟环境的一个或者多个虚拟元素映射和渲染到所述现实环境中的一个或者多个实际物体以及经由由所述用户中的一个或者多个用户执行的一个或者多个基于手势的命令、与那些虚拟元素中的一个或者多个虚拟元素交互的过程动作。
9.根据权利要求1所述的计算机实施的方法，还包括用于经由用所述共享沉浸式虚拟环境完全地替换所述现实环境的任何视图的虚拟现实显示设备，向每个用户呈现所述共享沉浸式虚拟环境的过程动作。
10.一种用于构造交互式虚拟现实环境的系统，包括：
通用计算设备；以及
计算机程序，所述计算机程序包括由所述计算设备可执行的程序模块，其中所述计算设备由所述计算机程序的所述程序模块指引以：
应用一个或者多个传感器以捕获实时跟踪信息，所述实时跟踪信息涉及参与对共享沉浸式虚拟环境的实时渲染的两个或者更多个用户的共享现实环境中的实际运动和定位，并且还涉及所述共享现实环境中的一个或者多个非参与人的运动和定位；
应用所述跟踪信息以生成所述现实环境的实时环境模型；
应用所述跟踪信息以生成用于所述两个或者更多个用户和所述非参与人中的一个或者多个非参与人中的每一个的实时定位和骨架模型；
应用所述实时环境模型和所述实时定位和骨架模型生成所述共享沉浸式虚拟环境的、针对每个用户的对应实时视野而被定制的帧；
在与每个非参与人的现实定位对应的定位中向所述共享沉浸式虚拟环境中渲染所述非参与人中的一个或者多个非参与人的虚拟表示；以及
将所述非参与人中的一个或者多个非参与人的所述虚拟表示呈现为无论何时确定所述非参与人正在向任何用户说话都实心度增加的半透明渲染。
11.根据权利要求10所述的系统，还包括应用所述跟踪信息以生成用于每个用户的脸部表情模型。
12.根据权利要求11所述的系统，还包括在与每个用户的现实定位对应的定位中向所述共享沉浸式虚拟环境中渲染每个用户的虚拟表示，每个虚拟表示包括每个对应用户的实时脸部表情。
13.根据权利要求10所述的系统，还包括向所述共享沉浸式虚拟环境中渲染一个或者多个安全标记以提醒用户关于与所述共享现实环境中的实际物体的潜在非既定接触。
14.根据权利要求10所述的系统，还包括检测由所述用户中的一个或者多个用户执行的一个或者多个基于手势的命令以用于在与被映射和渲染到所述共享沉浸式虚拟环境中的一个或者多个虚拟元素交互时使用。
15.一种具有在其中存储的计算机可执行指令的计算机可读存储设备，所述指令使得计算设备执行方法，所述方法包括：
应用一个或者多个传感器以捕获共享现实环境中的用户、非参与人和物体的实时跟踪信息；
应用所述跟踪信息以生成所述现实环境的实时环境模型；
应用所述跟踪信息以生成用于两个或者更多个用户和所述非参与人中的一个或者多个非参与人中的每一个的实时定位和骨架模型；
生成共享沉浸式虚拟环境的、针对每个用户的对应实时视野而被定制的帧；
应用所述实时环境模型和所述实时定位和骨架模型以在与每个非参与人的现实定位对应的定位中向所述共享沉浸式虚拟环境中渲染一个或者多个非参与人的虚拟表示；以及
将一个或者多个非参与人的所述虚拟表示中的一个或者多个虚拟表示呈现为无论何时确定所述非参与人正在向任何用户说话都实心度增加的半透明渲染的过程动作。
16.根据权利要求15所述的计算机可读存储设备，还包括向所述共享沉浸式虚拟环境中渲染一个或者多个安全标记，以提醒用户关于与所述共享现实环境中的实际物体的潜在非既定接触。
17.根据权利要求15所述的计算机可读存储设备，还包括检测由所述用户中的一个或者多个用户执行的一个或者多个基于手势的命令以用于在与被映射和渲染到所述共享沉浸式虚拟环境中的一个或者多个虚拟元素交互时使用。
CN201680031218.0A 2015-05-28 2016-05-04 共享空间多人沉浸式虚拟现实中共享触觉交互和用户安全 Active CN107667331B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/724,503 2015-05-28
US14/724,503 US9898864B2 (en) 2015-05-28 2015-05-28 Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
PCT/US2016/030619 WO2016191051A1 (en) 2015-05-28 2016-05-04 Shared tactile interaction and user safety in shared space multi-person immersive virtual reality

Publications (2)

Publication Number Publication Date
CN107667331A CN107667331A (zh) 2018-02-06
CN107667331B true CN107667331B (zh) 2020-08-28

Family

ID=56008864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680031218.0A Active CN107667331B (zh) 2015-05-28 2016-05-04 共享空间多人沉浸式虚拟现实中共享触觉交互和用户安全

Country Status (4)

Country Link
US (1) US9898864B2 (zh)
EP (1) EP3304252B1 (zh)
CN (1) CN107667331B (zh)
WO (1) WO2016191051A1 (zh)

Families Citing this family (189)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US9959677B2 (en) * 2015-05-26 2018-05-01 Google Llc Multidimensional graphical method for entering and exiting applications and activities in immersive media
US10721280B1 (en) * 2015-05-29 2020-07-21 Sprint Communications Company L.P. Extended mixed multimedia reality platform
US10213688B2 (en) * 2015-08-26 2019-02-26 Warner Bros. Entertainment, Inc. Social and procedural effects for computer-generated environments
WO2017068926A1 (ja) * 2015-10-21 2017-04-27 ソニー株式会社 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
CN105892643A (zh) * 2015-12-31 2016-08-24 乐视致新电子科技（天津）有限公司 基于虚拟现实的多界面统一显示系统及方法
EP3206121A1 (en) * 2016-02-09 2017-08-16 Nokia Technologies Oy Methods and apparatuses relating to the handling of visual virtual reality content
JP6709633B2 (ja) * 2016-02-17 2020-06-17 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びゲームシステム
CN108027655A (zh) * 2016-02-25 2018-05-11 日本电气株式会社 信息处理系统、信息处理设备、控制方法和程序
US10838502B2 (en) * 2016-03-29 2020-11-17 Microsoft Technology Licensing, Llc Sharing across environments
US10949882B2 (en) * 2016-04-03 2021-03-16 Integem Inc. Real-time and context based advertisement with augmented reality enhancement
US10551909B2 (en) * 2016-04-07 2020-02-04 Qubit Cross Llc Virtual reality system capable of communicating sensory information
US20170372499A1 (en) * 2016-06-27 2017-12-28 Google Inc. Generating visual cues related to virtual objects in an augmented and/or virtual reality environment
US10657701B2 (en) * 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
EP3487595A4 (en) 2016-07-25 2019-12-25 CTRL-Labs Corporation SYSTEM AND METHOD FOR MEASURING MOVEMENTS OF ARTICULATED RIGID BODIES
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
EP3487402B1 (en) 2016-07-25 2021-05-05 Facebook Technologies, LLC Methods and apparatus for inferring user intent based on neuromuscular signals
CN110300542A (zh) 2016-07-25 2019-10-01 开创拉布斯公司 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
CN110312471B (zh) 2016-07-25 2022-04-29 脸谱科技有限责任公司 从神经肌肉活动测量中导出控制信号的自适应系统
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10687759B2 (en) 2018-05-29 2020-06-23 Facebook Technologies, Llc Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US20180063205A1 (en) * 2016-08-30 2018-03-01 Augre Mixed Reality Technologies, Llc Mixed reality collaboration
US11826651B2 (en) * 2016-09-30 2023-11-28 Sony Interactive Entertainment Inc. Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
US10617956B2 (en) * 2016-09-30 2020-04-14 Sony Interactive Entertainment Inc. Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
US10514769B2 (en) * 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting
JP6754678B2 (ja) * 2016-11-18 2020-09-16 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
EP3328092B1 (en) * 2016-11-23 2022-12-07 Nokia Technologies Oy Spatial rendering of a message
EP3551303A4 (en) * 2016-12-08 2020-07-29 Digital Pulse Pty. Limited COLLABORATIVE LEARNING SYSTEM AND PROCESS USING VIRTUAL REALITY
CN108431872A (zh) * 2016-12-27 2018-08-21 华为技术有限公司 一种共享虚拟现实数据的方法和设备
CN107223245A (zh) * 2016-12-27 2017-09-29 深圳前海达闼云端智能科技有限公司 一种显示数据处理方法及装置
US10169973B2 (en) * 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
RU2656584C1 (ru) * 2017-03-14 2018-06-05 Общество с ограниченной ответственностью "Новый мир развлечений" Система проектирования объектов в среде виртуальной реальности в реальном времени
US11270510B2 (en) * 2017-04-04 2022-03-08 David Peter Warhol System and method for creating an augmented reality interactive environment in theatrical structure
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
US10967255B2 (en) * 2017-05-26 2021-04-06 Brandon Rosado Virtual reality system for facilitating participation in events
WO2018222188A1 (en) * 2017-05-31 2018-12-06 General Electric Company Remote collaboration based on multi-modal communications and 3d model visualization in a shared virtual workspace
US10242476B2 (en) * 2017-05-31 2019-03-26 Verizon Patent and Licensong Inc. Methods and systems for dynamically representing, within a virtual reality data stream being presented to a user, a proxy object that corresponds to an object in the real-world environment of the user
CN107024995A (zh) * 2017-06-05 2017-08-08 河北玛雅影视有限公司 多人虚拟现实交互系统及其控制方法
EP3413166B1 (en) * 2017-06-06 2023-06-21 Nokia Technologies Oy Rendering mediated reality content
JP6470796B2 (ja) * 2017-06-12 2019-02-13 株式会社コロプラ 情報処理方法、プログラム及びコンピュータ
US10304251B2 (en) * 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
US11861255B1 (en) * 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
US10176808B1 (en) 2017-06-20 2019-01-08 Microsoft Technology Licensing, Llc Utilizing spoken cues to influence response rendering for virtual assistants
US10416837B2 (en) * 2017-06-26 2019-09-17 Facebook, Inc. Virtual reality safety bounding box
PL3422145T3 (pl) * 2017-06-28 2020-06-29 Nokia Technologies Oy Zapewnienie treści rzeczywistości wirtualnej
CN107450721A (zh) * 2017-06-28 2017-12-08 丝路视觉科技股份有限公司 一种vr互动方法和系统
CN107368193B (zh) * 2017-07-19 2021-06-11 讯飞幻境(北京)科技有限公司 人机操作交互方法和系统
US10521096B2 (en) * 2017-07-24 2019-12-31 Disney Enterprises, Inc. Virtual reality experience control system
US10627635B2 (en) * 2017-08-02 2020-04-21 Microsoft Technology Licensing, Llc Transitioning into a VR environment and warning HMD users of real-world physical obstacles
US10459234B2 (en) 2017-08-29 2019-10-29 Facebook, Inc. Controlling a head-mounted display system in low power situations
US10521942B2 (en) * 2017-09-07 2019-12-31 Motorola Mobility Llc Low power virtual reality presence monitoring and notification
US20190094955A1 (en) * 2017-09-27 2019-03-28 Apple Inc. Range finding and accessory tracking for head-mounted display systems
WO2019067642A1 (en) 2017-09-29 2019-04-04 Zermatt Technologies Llc APPLICATION PRESENTATION BASED ON AN ENVIRONMENT
US10616033B2 (en) * 2017-11-06 2020-04-07 Honda Motor Co., Ltd. Different perspectives from a common virtual environment
CN107908286A (zh) * 2017-11-16 2018-04-13 琦境科技（北京）有限公司 一种虚拟现实展厅中实现人体感受的方法和系统
US10653957B2 (en) * 2017-12-06 2020-05-19 Universal City Studios Llc Interactive video game system
CN111656406A (zh) 2017-12-14 2020-09-11 奇跃公司 基于上下文的虚拟化身渲染
CN108269307B (zh) * 2018-01-15 2023-04-07 歌尔科技有限公司 一种增强现实交互方法及设备
WO2019143572A1 (en) * 2018-01-17 2019-07-25 Pcms Holdings, Inc. Method and system for ar and vr collaboration in shared spaces
US10983589B2 (en) 2018-01-22 2021-04-20 MassVR, LLC Systems and methods for collision avoidance in virtual environments
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US10504286B2 (en) 2018-01-25 2019-12-10 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US10817795B2 (en) 2018-01-25 2020-10-27 Facebook Technologies, Llc Handstate reconstruction based on multiple inputs
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US10970936B2 (en) * 2018-10-05 2021-04-06 Facebook Technologies, Llc Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
EP3743892A4 (en) 2018-01-25 2021-03-24 Facebook Technologies, Inc. VISUALIZATION OF INFORMATION ON THE STATE OF A RECONSTRUCTED HAND
WO2019147958A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
EP3742961A4 (en) 2018-01-25 2021-03-31 Facebook Technologies, Inc. CALIBRATION TECHNIQUES FOR MODELING A HAND CONDITION USING NEUROMUSCULAR SIGNALS
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11014242B2 (en) * 2018-01-26 2021-05-25 Microsoft Technology Licensing, Llc Puppeteering in augmented reality
US10976982B2 (en) * 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
EP3707584A4 (en) 2018-02-09 2021-01-27 Samsung Electronics Co., Ltd. METHOD OF TRACKING HANDLING AND ELECTRONIC DEVICE THEREFORE
CN108389249B (zh) * 2018-03-06 2022-07-19 深圳职业技术学院 一种多兼容性的vr/ar空间教室及其构建方法
US10445940B2 (en) * 2018-03-15 2019-10-15 Disney Enterprises, Inc. Modeling interactions between simulated characters and real-world objects for more realistic augmented reality
CN112219242A (zh) * 2018-03-19 2021-01-12 科尼菲森股份有限公司 用于创建和修改多感官体验以改进健康或表现的计算机系统和方法
US10607407B2 (en) * 2018-03-30 2020-03-31 Cae Inc. Dynamically modifying visual rendering of a visual element comprising a visual contouring associated therewith
US11087136B2 (en) * 2018-04-13 2021-08-10 Apple Inc. Scene classification
CN108595004A (zh) * 2018-04-23 2018-09-28 新华网股份有限公司 基于虚拟现实vr的多人交互方法、装置及相应设备
CN108597029A (zh) * 2018-04-23 2018-09-28 新华网股份有限公司 虚拟物体显示的方法及装置
US10832548B2 (en) * 2018-05-02 2020-11-10 Rockwell Automation Technologies, Inc. Advanced industrial safety notification systems
WO2019212902A1 (en) * 2018-05-03 2019-11-07 Pcms Holdings, Inc. Systems and methods for physical proximity and/or gesture-based chaining of vr experiences
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
WO2019222113A1 (en) * 2018-05-15 2019-11-21 Thermo Fisher Scientific Inc. Collaborative virtual reality environment for training
CN108711328A (zh) * 2018-05-16 2018-10-26 上海新奥新能源技术有限公司 一种加气站安全教育方法、装置及系统
US10901215B1 (en) * 2018-05-16 2021-01-26 Facebook Technologies, Llc Systems and methods for providing a mobile artificial reality user with environmental awareness
CN110531846B (zh) * 2018-05-24 2023-05-23 卡兰控股有限公司 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作
EP3801743A4 (en) 2018-05-25 2021-08-04 Facebook Technologies, LLC PROCESSES AND APPARATUS FOR OBTAINING A SUB-MUSCULAR COMMAND
DE112019002798T5 (de) * 2018-06-01 2021-04-22 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverabeitungsverfahren und programm
EP3803702A1 (en) * 2018-06-01 2021-04-14 Apple Inc. Method and devices for switching between viewing vectors in a synthesized reality setting
US10843077B2 (en) * 2018-06-08 2020-11-24 Brian Deller System and method for creation, presentation and interaction within multiple reality and virtual reality environments
EP3807795A4 (en) 2018-06-14 2021-08-11 Facebook Technologies, LLC. USER IDENTIFICATION AND AUTHENTICATION BY MEANS OF NEUROMUSCULAR SIGNATURES
EP3584692A1 (en) * 2018-06-19 2019-12-25 InterDigital CE Patent Holdings Sharing virtual content in a mixed reality scene
CN108983974B (zh) * 2018-07-03 2020-06-30 百度在线网络技术（北京）有限公司 Ar场景处理方法、装置、设备和计算机可读存储介质
WO2020018892A1 (en) 2018-07-19 2020-01-23 Ctrl-Labs Corporation Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
US10650239B2 (en) 2018-07-25 2020-05-12 At&T Intellectual Property I, L.P. Context-based object location via augmented reality device
WO2020026381A1 (ja) * 2018-08-01 2020-02-06 楽天株式会社 警告装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
CN110809149B (zh) 2018-08-06 2022-02-25 苹果公司 用于计算机生成现实的媒体合成器
CN108961881A (zh) * 2018-08-06 2018-12-07 林墨嘉 一种实时互动的智能场景构建及系统
CN112567737B (zh) * 2018-08-13 2023-07-21 诺基亚技术有限公司 用于观看体积视频的体积信令的装置、方法和计算机程序
WO2020036958A1 (en) 2018-08-13 2020-02-20 Ctrl-Labs Corporation Real-time spike detection and identification
US11244381B2 (en) * 2018-08-21 2022-02-08 International Business Machines Corporation Collaborative virtual reality computing system
US10645126B2 (en) 2018-08-23 2020-05-05 8 Bit Development Inc. System and method for enabling simulated environment collaboration across a plurality of platforms
WO2020047429A1 (en) 2018-08-31 2020-03-05 Ctrl-Labs Corporation Camera-guided interpretation of neuromuscular signals
CN109410297A (zh) * 2018-09-14 2019-03-01 重庆爱奇艺智能科技有限公司 一种用于生成虚拟化身形象的方法与装置
WO2020061087A1 (en) * 2018-09-20 2020-03-26 Ocelot Laboratories Llc Method and device for attenuation of co-user interactions in simulated reality (sr) space
WO2020061451A1 (en) 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
US11508128B2 (en) * 2018-09-21 2022-11-22 New York University Shared room scale virtual and mixed reality storytelling for a multi-person audience that may be physically co-located
CN110942518B (zh) * 2018-09-24 2024-03-29 苹果公司 上下文计算机生成现实(cgr)数字助理
WO2020069181A1 (en) 2018-09-26 2020-04-02 Ctrl-Labs Corporation Neuromuscular control of physical objects in an environment
US10699489B2 (en) 2018-10-02 2020-06-30 International Business Machines Corporation Method and system for displaying a virtual item in an augmented reality environment
US10678264B2 (en) * 2018-10-10 2020-06-09 Midea Group Co., Ltd. Method and system for providing remote robotic control
CN111131913A (zh) * 2018-10-30 2020-05-08 王一涵 基于虚拟现实技术的视频生成方法、装置及存储介质
KR102058458B1 (ko) * 2018-11-14 2019-12-23 주식회사 드림한스 다중 사용자 간 상호작용이 가능한 가상현실 콘텐츠 제공 시스템
US20200169586A1 (en) * 2018-11-26 2020-05-28 Facebook Technologies, Llc Perspective Shuffling in Virtual Co-Experiencing Systems
US11808941B2 (en) * 2018-11-30 2023-11-07 Google Llc Augmented image generation using virtual content from wearable heads up display
CN109657387B (zh) * 2018-12-27 2022-12-23 重庆上丞科技有限公司 一种基于混合现实场景的家居模型定位放置方法
WO2020135719A1 (zh) * 2018-12-29 2020-07-02 广东虚拟现实科技有限公司 虚拟内容的交互方法及系统
KR102286987B1 (ko) * 2019-01-18 2021-08-05 경희대학교 산학협력단 가상현실 콘텐츠를 체험하는 사용자의 체험 공간 활용도 향상 방법 및 장치
EP3696740B1 (en) * 2019-02-14 2024-01-10 Braun GmbH System for assessing the usage of an envisaged manually movable consumer product
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
US11392659B2 (en) * 2019-02-28 2022-07-19 Adobe Inc. Utilizing machine learning models to generate experience driven search results based on digital canvas gesture inputs
US20200327867A1 (en) * 2019-04-15 2020-10-15 XRSpace CO., LTD. Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
US10997728B2 (en) * 2019-04-19 2021-05-04 Microsoft Technology Licensing, Llc 2D obstacle boundary detection
US11004269B2 (en) * 2019-04-22 2021-05-11 Microsoft Technology Licensing, Llc Blending virtual environments with situated physical reality
GB2583742B (en) * 2019-05-08 2023-10-25 Jaguar Land Rover Ltd Activity identification method and apparatus
CN112102497A (zh) * 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 用于将应用和交互附接到静态对象的系统和方法
WO2020263232A1 (en) * 2019-06-25 2020-12-30 Hewlett-Packard Development Company, L.P. User interactions in virtual reality
CN110308792B (zh) * 2019-07-01 2023-12-12 北京百度网讯科技有限公司 虚拟角色的控制方法、装置、设备及可读存储介质
US11372474B2 (en) * 2019-07-03 2022-06-28 Saec/Kinetic Vision, Inc. Systems and methods for virtual artificial intelligence development and testing
CN110322569B (zh) * 2019-07-03 2023-03-31 百度在线网络技术（北京）有限公司 多模态ar处理方法、装置、设备和可读存储介质
CN110519247B (zh) * 2019-08-16 2022-01-21 上海乐相科技有限公司 一种一对多虚拟现实展示方法及装置
US11481980B2 (en) * 2019-08-20 2022-10-25 The Calany Holding S.Á´ R.L. Transitioning from public to personal digital reality experience
US11119568B2 (en) * 2019-09-24 2021-09-14 Facebook Technologies, Llc Suspend mode feature for artificial reality systems
US11568640B2 (en) * 2019-09-30 2023-01-31 Lenovo (Singapore) Pte. Ltd. Techniques for providing vibrations at headset
US11521356B2 (en) * 2019-10-10 2022-12-06 Meta Platforms Technologies, Llc Systems and methods for a shared interactive environment
CN110665219A (zh) * 2019-10-14 2020-01-10 网易（杭州）网络有限公司 一种虚拟现实游戏的操作控制方法及装置
IL270429B2 (en) * 2019-11-05 2023-08-01 Simbionix Ltd A method and system for an enveloping mixed reality space(s).
US11156830B2 (en) * 2019-11-14 2021-10-26 Facebook Technologies, Llc Co-located pose estimation in a shared artificial reality environment
CN114787874A (zh) * 2019-12-19 2022-07-22 索尼集团公司 信息处理装置、信息处理方法和记录介质
CN111243070B (zh) * 2019-12-31 2023-03-24 浙江省邮电工程建设有限公司 基于5g通信的虚拟现实呈现方法、系统及装置
US11170575B1 (en) * 2020-01-28 2021-11-09 Facebook Technologies, Llc. Comfortable navigation in large-scale virtual worlds when constrained by small-scale physical environment
JP2023514572A (ja) * 2020-02-14 2023-04-06 マジック リープ， インコーポレイテッド セッションマネージャ
US11660528B2 (en) * 2020-03-12 2023-05-30 Reavire, Inc. Populating virtual objects in physical environments
US11602691B2 (en) * 2020-03-13 2023-03-14 Harmonix Music Systems, Inc. Techniques for virtual reality boundaries and related systems and methods
US11126850B1 (en) * 2020-04-09 2021-09-21 Facebook Technologies, Llc Systems and methods for detecting objects within the boundary of a defined space while in artificial reality
US11138803B1 (en) * 2020-04-30 2021-10-05 At&T Intellectual Property I, L.P. System for multi-presence interaction with extended reality objects
CN111651048B (zh) * 2020-06-08 2024-01-05 浙江商汤科技开发有限公司 多虚拟对象排列展示方法、装置、电子设备及存储介质
US11249553B2 (en) 2020-06-12 2022-02-15 Emerge Now Inc. Method and system for the generation and management of tactile commands for tactile sensation
US11527045B2 (en) * 2020-07-27 2022-12-13 Shopify Inc. Systems and methods for generating multi-user augmented reality content
US11494153B2 (en) 2020-07-27 2022-11-08 Shopify Inc. Systems and methods for modifying multi-user augmented reality
CN112083802A (zh) * 2020-07-27 2020-12-15 北京同和山致景观设计有限公司 一种在现实空间中实现虚拟活动的方法及计算机设备
US11908159B2 (en) 2020-07-27 2024-02-20 Shopify Inc. Systems and methods for representing user interactions in multi-user augmented reality
EP3951559B1 (en) * 2020-08-06 2024-01-03 Shhuna GmbH Multi-user virtual reality system for providing a virtual reality experience to a plurality of users in a body of water
CN112130660B (zh) 2020-08-14 2024-03-15 青岛小鸟看看科技有限公司 一种基于虚拟现实一体机的交互方法和系统
US11554320B2 (en) * 2020-09-17 2023-01-17 Bogie Inc. System and method for an interactive controller
US11907412B2 (en) * 2020-09-28 2024-02-20 International Business Machines Corporation Contextual spectator inclusion in a virtual reality experience
CN112036388B (zh) * 2020-11-06 2021-01-15 华东交通大学 基于vr设备的多人体验控制方法、装置及可读存储介质
US11151774B1 (en) * 2020-11-20 2021-10-19 At&T Intellectual Property I, L.P. Adaptive immersive media rendering pipeline
US11514616B2 (en) * 2020-11-24 2022-11-29 Strathspey Crown, LLC Augmented reality using intra-ocular devices
US11042028B1 (en) * 2021-01-12 2021-06-22 University Of Central Florida Research Foundation, Inc. Relative pose data augmentation of tracked devices in virtual environments
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
KR102594258B1 (ko) * 2021-04-26 2023-10-26 한국전자통신연구원 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치
CN113262465A (zh) 2021-04-27 2021-08-17 青岛小鸟看看科技有限公司 一种虚拟现实交互方法、设备及系统
US20220404907A1 (en) * 2021-06-21 2022-12-22 Penumbra, Inc. Method And Apparatus For Real-time Data Communication in Full-Presence Immersive Platforms
EP4360308A1 (en) * 2021-06-25 2024-05-01 Telefonaktiebolaget LM Ericsson (publ) Placement of 3d visual appearance in extended reality communications
JP2023017615A (ja) * 2021-07-26 2023-02-07 富士フイルムビジネスイノベーション株式会社 情報処理システム及びプログラム
CN113891117B (zh) * 2021-09-29 2023-02-14 腾讯科技（深圳）有限公司 沉浸媒体的数据处理方法、装置、设备及可读存储介质
EP4163765A1 (en) * 2021-10-07 2023-04-12 Koninklijke Philips N.V. Method and apparatus for initiating an action
US11792243B2 (en) 2022-01-19 2023-10-17 Bank Of America Corporation System and method for conducting multi-session user interactions
CN114510150A (zh) * 2022-02-17 2022-05-17 李双江 一种虚拟数字世界的体验系统
NO20220341A1 (en) * 2022-03-21 2023-09-22 Pictorytale As Multilocation augmented reality
US11935202B2 (en) 2022-05-25 2024-03-19 Shopify Inc. Augmented reality enabled dynamic product presentation
US20230410435A1 (en) * 2022-06-20 2023-12-21 International Business Machines Corporation Contextual positioning in virtual space
US20240061499A1 (en) * 2022-08-22 2024-02-22 Meta Platforms Technologies, Llc Gaze adjusted avatars for immersive reality applications
US20240077933A1 (en) * 2022-09-01 2024-03-07 Daekun Kim Co-located full-body gestures
CN115712351B (zh) * 2022-11-25 2023-08-29 之江实验室 一种面向多人远程混合现实共享场景的分级渲染与交互方法和系统
CN115629670B (zh) * 2022-12-01 2023-03-17 北京格如灵科技有限公司 虚拟现实环境下手部姿态的显示方法、装置、设备及介质

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2301216A (en) 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
US5905499A (en) 1995-07-05 1999-05-18 Fakespace, Inc. Method and system for high performance computer-generated virtual environments
WO1997019398A1 (en) 1995-11-24 1997-05-29 Philips Electronics N.V. A method for presenting virtual reality enhanced with tactile stimuli, and a system for executing the method
US6268862B1 (en) 1996-03-08 2001-07-31 Canon Kabushiki Kaisha Three dimensional virtual space generation by fusing images
US6152854A (en) 1996-08-27 2000-11-28 Carmein; David E. E. Omni-directional treadmill
US6191796B1 (en) 1998-01-21 2001-02-20 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with rigid and deformable surfaces in a haptic virtual reality environment
US6552722B1 (en) 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
US6421048B1 (en) 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
US6891518B2 (en) 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
JP3764070B2 (ja) * 2001-06-07 2006-04-05 富士通株式会社 オブジェクト表示プログラムおよびオブジェクト表示装置
US7398481B2 (en) 2002-12-10 2008-07-08 Science Applications International Corporation (Saic) Virtual environment capture
US9971398B2 (en) 2003-12-12 2018-05-15 Beyond Imagination Inc. Virtual encounters
US8225226B2 (en) 2003-12-31 2012-07-17 Abb Research Ltd. Virtual control panel
US20060209019A1 (en) 2004-06-01 2006-09-21 Energid Technologies Corporation Magnetic haptic feedback systems and methods for virtual reality environments
US20060024647A1 (en) 2004-07-30 2006-02-02 France Telecom Method and apparatus for communicating graphical information to a visually impaired person using haptic feedback
US8585476B2 (en) 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
US8271365B2 (en) 2005-02-04 2012-09-18 The Invention Science Fund I, Llc Real-world profile data for making virtual world contacts
JP4642538B2 (ja) 2005-04-20 2011-03-02 キヤノン株式会社 画像処理方法および画像処理装置
US7864168B2 (en) 2005-05-25 2011-01-04 Impulse Technology Ltd. Virtual reality movement system
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8384665B1 (en) 2006-07-14 2013-02-26 Ailive, Inc. Method and system for making a selection in 3D virtual environment
US7973786B2 (en) 2007-01-16 2011-07-05 Motorola Solutions, Inc. System and method for managing interaction in a virtual environment
US8022942B2 (en) 2007-01-25 2011-09-20 Microsoft Corporation Dynamic projected user interface
US20080215994A1 (en) 2007-03-01 2008-09-04 Phil Harrison Virtual world avatar control, interactivity and communication interactive messaging
US20080266323A1 (en) 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
JP4989383B2 (ja) 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
US8624924B2 (en) 2008-01-18 2014-01-07 Lockheed Martin Corporation Portable immersive environment using motion capture and head mounted display
KR100927009B1 (ko) 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
US20090225074A1 (en) 2008-03-06 2009-09-10 Bates Cary L Reconstruction of Virtual Environments Using Cached Data
US8350843B2 (en) 2008-03-13 2013-01-08 International Business Machines Corporation Virtual hand: a new 3-D haptic interface and system for virtual environments
US20090262118A1 (en) 2008-04-22 2009-10-22 Okan Arikan Method, system and storage device for creating, manipulating and transforming animation
US9480919B2 (en) 2008-10-24 2016-11-01 Excalibur Ip, Llc Reconfiguring reality using a reality overlay device
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US20100246675A1 (en) 2009-03-30 2010-09-30 Sony Corporation Method and apparatus for intra-prediction in a video encoder
US8933925B2 (en) 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
US8910058B2 (en) 2009-09-29 2014-12-09 International Business Machines Corporation Performing interactive collaboration within a virtual world
US20110112328A1 (en) 2009-11-06 2011-05-12 Drovetskaya Tatiana V Difunctional, Amine-Based Surfactants, and Their Precursors, Preparation, Compositions and Use
US8416263B2 (en) 2010-03-08 2013-04-09 Empire Technology Development, Llc Alignment of objects in augmented reality
US9134799B2 (en) 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US20120122570A1 (en) 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US20120139906A1 (en) 2010-12-03 2012-06-07 Qualcomm Incorporated Hybrid reality for 3d human-machine interface
US20120142415A1 (en) 2010-12-03 2012-06-07 Lindsay L Jon Video Show Combining Real Reality and Virtual Reality
KR101269773B1 (ko) 2010-12-13 2013-05-30 주식회사 팬택 증강 현실 제공 단말기 및 방법
EP3654147A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US20120249587A1 (en) 2011-04-04 2012-10-04 Anderson Glen J Keyboard avatar for heads up display (hud)
US20120264510A1 (en) 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8556719B1 (en) 2011-06-30 2013-10-15 Zynga Inc. Linking virtual items to real-world items
US9897805B2 (en) 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
KR20130053466A (ko) 2011-11-14 2013-05-24 한국전자통신연구원 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법
US9355470B2 (en) 2011-11-30 2016-05-31 The Board Of Trustees Of The Leland Stanford Junior University Method and system for interactive layout
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US9041739B2 (en) 2012-01-31 2015-05-26 Microsoft Technology Licensing, Llc Matching physical locations for shared virtual experience
CN103472909B (zh) 2012-04-10 2017-04-12 微软技术许可有限责任公司 用于头戴式、增强现实显示器的逼真遮挡
US9833708B2 (en) 2012-05-02 2017-12-05 National Entertainment Collectibles Association, Inc. System and method for creating themed virtual reality environments
US20130335405A1 (en) 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
US20140022283A1 (en) 2012-07-20 2014-01-23 University Health Network Augmented reality apparatus
EP2693255A1 (en) 2012-08-03 2014-02-05 BlackBerry Limited Method and apparatus pertaining to an augmented-reality keyboard
WO2014033722A1 (en) 2012-09-03 2014-03-06 Pointgrab Ltd. Computer vision stereoscopic tracking of a hand
CN104704535A (zh) 2012-10-02 2015-06-10 索尼公司 增强现实系统
US9552673B2 (en) 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US20140128161A1 (en) 2012-11-06 2014-05-08 Stephen Latta Cross-platform augmented reality experience
US9030495B2 (en) 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US20140152558A1 (en) 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US20140160157A1 (en) 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US9395543B2 (en) 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
JP5813030B2 (ja) 2013-03-22 2015-11-17 キヤノン株式会社 複合現実提示システム、仮想現実提示システム
US10173129B2 (en) 2013-06-09 2019-01-08 Sony Interactive Entertainment Inc. Methods for rendering interactive content to a head mounted display
US20140368537A1 (en) 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20150024368A1 (en) * 2013-07-18 2015-01-22 Intelligent Decisions, Inc. Systems and methods for virtual environment conflict nullification
US9746984B2 (en) 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content

Also Published As

Publication number Publication date
US20160350973A1 (en) 2016-12-01
EP3304252A1 (en) 2018-04-11
WO2016191051A1 (en) 2016-12-01
EP3304252B1 (en) 2020-01-15
US9898864B2 (en) 2018-02-20
CN107667331A (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
CN107667331B (zh) 共享空间多人沉浸式虚拟现实中共享触觉交互和用户安全
JP7348261B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
US11935205B2 (en) Mission driven virtual character for user interaction
JP7002684B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
US20230375832A1 (en) System and method for distanced interactive experiences
Sra et al. Oasis: Procedurally generated social virtual spaces from 3d scanned real spaces
Halarnkar et al. A review on virtual reality
Simeone et al. Altering user movement behaviour in virtual environments
Lin et al. Architect: Building interactive virtual experiences from physical affordances by bringing human-in-the-loop
Navarro-Newball et al. Gesture based human motion and game principles to aid understanding of science and cultural practices
Sra et al. Metaspace ii: Object and full-body tracking for interaction and navigation in social vr
US20230408816A1 (en) System and method for distanced interactive experiences
Butnariu et al. Using a natural user interface to enhance the ability to interact with reconstructed virtual heritage environments
Pant et al. Augmented Reality Android App To Shoot Prefab on Scanned Surface
Ibáñez et al. An enhanced navigation kit for virtual heritage exploration using a game engine
Schurz et al. Multiple full-body tracking for interaction and navigation in social VR
Hung et al. Locomotion and Human Tracking in Healthcare Robots
Calabrese A Software Template for Multi-User Virtual Reality Applications
Schlager Design and development of an immersive collaborative geographical environment for tactical decision-making
Lee Mixed Reality Simulation
Sodhi Ubiquitous interactive displays: Magical experiences beyond the screen

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant