CN113711165B - 将虚拟环境与情境物理现实相混合 - Google Patents

将虚拟环境与情境物理现实相混合 Download PDF

Info

Publication number
CN113711165B
CN113711165B CN202080029422.5A CN202080029422A CN113711165B CN 113711165 B CN113711165 B CN 113711165B CN 202080029422 A CN202080029422 A CN 202080029422A CN 113711165 B CN113711165 B CN 113711165B
Authority
CN
China
Prior art keywords
virtual environment
geometric representation
environment
physical
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080029422.5A
Other languages
English (en)
Other versions
CN113711165A (zh
Inventor
A·D·威尔森
C·霍尔茨
E·奥菲克
J·哈特曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN113711165A publication Critical patent/CN113711165A/zh
Application granted granted Critical
Publication of CN113711165B publication Critical patent/CN113711165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文提供了用于跟踪用户的物理环境的各种实施例，以支持虚拟环境与物理环境的检测方面的即时混合。实施例可以被采用，以通过将检测的物理对象的虚拟表示合成到虚拟环境中，来支持虚拟漫游。耦合到HMD的计算设备可以选择基于用户的物理环境而生成的深度图的部分，以生成与所选部分对应的虚拟对象。计算设备可以将生成的虚拟对象合成到现有虚拟环境中，以便用户可以在保持了解他们的物理环境的同时遍历虚拟环境。除了其他事项，计算设备可以采用各种混合技术进行合成，并且可以进一步提供图像直通技术来选择性地察看物理环境，同时保持完全沉浸在虚拟现实中。

Description

将虚拟环境与情境物理现实相混合
背景技术
虚拟现实技术采用专门的计算硬件和软件来为用户提供感知现实和完全沉浸式的虚拟环境以进行交互和探索。虚拟现实技术可以将用户置于虚拟的、计算机生成的环境中，在那里他们可以感知其中呈现的虚拟对象并与之交互。虽然虚拟环境和其中的虚拟对象可以看起来像出现在用户感知的虚拟环境中，但它们通常不存在于用户的直接物理世界中。反过来，通常也可以这样说，更具体地，存在于用户直接物理环境中的对象通常不存在于用户感知的虚拟环境中。
在虚拟现实中感知的虚拟环境和虚拟对象被图形化地呈现以进行立体显示，以被穿戴完全沉浸式虚拟现实装备(诸如头戴式显示器)的用户感知。凭借其完全沉浸式的性质，虚拟现实技术限制了用户察看其物理周围环境(或者换言之，用户的现实世界环境)的能力。从本质上讲，用户的现实世界环境与用户在现实世界环境中感知的完全沉浸式虚拟环境之间存在明显的脱节。
发明内容
本文描述的实施例提供了用于将在物理环境中检测的物理对象的几何表示与虚拟环境动态混合的系统和技术。更具体地，耦合到头戴式显示器(HMD)的计算设备从多个传感器接收传感器数据。其中，传感器生成传感器数据，传感器数据包括例如与周围物理环境相关联的深度图数据和图像数据。深度图数据被计算设备采用，来响应性地生成周围物理环境和位于其中的物理对象的几何表示。其中，计算设备可以分割所生成的几何表示，使得几何表示的每个部分(其中的每个部分可以独立地是几何表示)对应于物理对象，该物理对象位于物理环境内并且基于所接收的传感器数据而被检测。在一些实施例中，计算设备可以将所生成的几何表示中的任何一个或多个合成到所存储的虚拟环境中。在这点上，物理对象的现实计算机生成表示，在被提供给HMD显示时，可以在虚拟环境中被感知。HMD的用户可以有效地感知物理对象，诸如在用户完全沉浸在虚拟环境中时，可能对在物理环境中移动的用户造成潜在危险的那些物理对象。在一些方面，利用各种技术，计算机生成的表示可以与虚拟环境混合，以支持虚拟环境的主题或设计的维护。在一些另外的方面，所接收的图像数据的任何部分可以选择性地直通以用于经由HMD显示，在效果上，提供了物理环境的对应部分的可见性。以该方式，可以基于通过虚拟表示或直通(pass-through)图像数据对物理对象的支持感知，来避开物理对象或与其物理交互。所描述的实施例使穿戴HMD的用户能够安全地穿越(例如，漫游、走动)物理环境。其中，耦合到HMD的计算设备可以选择性地将在物理环境中检测的物理对象的几何表示与要由用户感知的虚拟环境混合。
提供本发明内容来以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步被描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
下面参考附图详细描述本发明，其中：
图1是根据本公开的一些实施例的，用于即时呈现和更新虚拟环境和/或动态生成的虚拟对象的示例性操作环境的框图；
图2是根据本公开的一些实施例的，用于即时呈现和合成具有动态生成的虚拟对象的虚拟环境的示例性现实混合设备的框图；
图3描绘了根据本公开的一些实施例的各种图示，其示出了用于即时合成虚拟环境和动态生成的虚拟对象或直通图像数据的示例性实施方式；
图4描绘了根据本公开的一些实施例的各种图示，其示出了用于即时合成虚拟环境和动态生成的虚拟对象或直通图像数据的进一步的示例性实施方式；
图5描绘了根据本公开的一些实施例的各种图示，其示出了用于即时合成虚拟环境和动态生成的虚拟对象的更进一步的示例性实施方式；
图6是根据本公开的一些实施例的流程图，其描绘了用于即时呈现和合成虚拟环境和动态生成的虚拟对象的示例性过程流程；
图7是根据本公开的一些实施例的流程图，其描绘了用于即时呈现和合成虚拟环境和动态生成的虚拟对象的另一个示例性过程流程；以及
图8是适合根据本公开的一些实施例使用的示例性计算环境的框图。
具体实施方式
沉浸式技术指的是感知和交互技术，其实质上模糊了物理世界与模拟世界之间的界限。感知技术可以诱使用户的大脑相信在虚拟空间中感知的数字信息是现实的。另一方面，交互技术可以识别在物理空间中检测的用户输出(例如，语音、手势、移动等)，并且可以对应地在虚拟空间中对其做出响应。总之，感知和交互技术可以为用户提供一种错觉，即沉浸式虚拟环境或“虚拟世界”与他们所处的物理环境或“物理世界”一样现实。
虚拟现实(VR)是一种完全沉浸式技术，其中该技术的用户只能感知呈现的虚拟环境和其中的虚拟对象，就好像感知到的视觉信息是他们当前的现实一样。当沉浸在虚拟世界中时，通常穿戴头戴式显示器(HMD)时，用户在视觉上与现实世界脱节。换言之，虽然用户仍然可以在现实世界中进行物理漫游，但用户只能感知所显示的虚拟世界和其中的虚拟对象。所感知的虚拟世界和被掩盖的物理世界之间的脱节是用户体验的一个缺陷。更具体地，对于用户来说，在了解周围物理环境中的内容与沉浸在虚拟世界中之间存在感官上的脱节。这种脱节不仅限制了虚拟现实体验的潜力，而且对用户构成了危险，他们很容易在没有意识的情况下与物理世界内的对象碰撞。
已经做出各种努力来解决这种感官脱节的缺点。例如，一些陪伴系统基本上可以跟踪用户相对于他们周围的物理墙的位置。更具体地，这种陪伴系统在用户感知的虚拟环境内显示网格(即，经由HMD)，以通知用户他们紧邻物理屏障。物理环境内的某些物理对象可以被检测，以便所检测的物理对象的轮廓或形状可以在虚拟环境中被感知。更重要的是，一些陪伴系统支持了虚拟应用对用户物理环境做出反应的能力。具体地，虚拟环境可以被生成，以匹配用户物理所处房间的定向或布局。虽然这种解决方案为虚拟现实用户支持了巨大的安全优势，但用户体验仍然不足。特别地，用户可能期望能够在他们的物理环境中持续感知物理对象，并且宁愿在碰撞之前不被警告。用户在保持完全沉浸在虚拟现实中的同时，保持对其物理环境的感知的能力可能是一个难以克服的挑战。如此，本公开的实施例描述了用于有效地将物理环境或其部分带入到虚拟环境中的技术。为了维持与虚拟环境的现实感和主题一致性，进一步的实施例可以动态地选择物理环境的部分(例如，物理对象)以与虚拟环境合成。其中，可以基于所接收的传感器数据，来生成在物理环境内检测的物理对象的一个或多个几何表示。几何表示可以被选择性地合成到虚拟环境中，并且利用各种技术与虚拟环境混合，这些技术有助于实现虚拟环境主题的现实性和一致性(例如，照明、配色方案、风格)。这样，用户可以保持对他们周围物理环境的感知，而不会从被感知的虚拟环境提供的用户体验分神。在一些方面，用户可能期望他们的物理环境内的某些部分或物理对象清晰可见，即，不被表示为虚拟对象或不被混合到虚拟环境中。如此，根据一些另外的实施例，本公开描述了用于支持图像数据的选择性直通以经由HMD显示的另外的技术。可以基于所接收的用户输入(例如，控制器输入的集合)或在用户的物理环境内检测的物理对象的检测特征等等，来选择对应于用户的物理环境的一部分的图像数据部分以进行直通。为此，本公开的实施例可以支持用户在不脱离用户体验的情况下维持对其物理环境的持续感知的能力。
如将贯穿本公开使用的，术语“现实世界”或“物理”可以被可互换地使用，两者都对应于有形或非虚拟环境或对象。此外，术语“即时(on-the-fly)”或“实时(real-time)”被可互换地引用以对应于响应行为，诸如响应于数据或信号(例如，来自传感器)的接收而执行操作。尽管在某些情况下这种响应行为在速度或响应时间上可能受到限制，但是预期以优选地基本瞬时(例如，小于1秒)的方式来执行响应行为。此外，如将贯穿本公开使用的，术语“呈现”和“生成”被可互换地引用以对应于虚拟对象或环境的数字创建，诸如可以被提供用于显示给HMD的虚拟对象或环境。术语“对象”和“障碍物”也被可互换地引用，以对应于无论是在虚拟环境还是在物理环境中可感知的“事物”。对象或障碍物通常包括墙、人、动物、家具、植物或可能干扰用户的穿越路径的任何有形对象。在一些方面，对象或障碍物可以基于传感器数据而被检测，并且通常包括被确定为高于基准高度(例如，基于传感器数据确定的地板高度)的任何对象。本领域普通技术人员应当理解，物理环境内的移动(例如，横穿、行走、漫游)可以对应于虚拟环境内的感知移动。即，当用户在他们的物理环境中改变他/她的位置(例如，迈出一步)时，可以在感知到的虚拟环境中感知到位置的对应改变。在这点上，在一些方面，物理环境中的物理对象的尺寸(例如，宽度、长度、高度、相对距离)可以对应于虚拟环境中的虚拟对象。
在高层次处，本公开的实施例通常提供了用于动态呈现和合成完全沉浸式虚拟环境或“场景”的系统和方法，其中虚拟对象基于实时检测的物理对象而被生成，以安全地引导在陌生(例如，未预先扫描或建模)或动态物理环境内的现实世界漫游。换言之，本文公开的各种实施例可以跟踪用户的物理环境，以支持即时虚拟场景适配以保护用户免受碰撞，同时维持与虚拟环境的主题一致性。更具体地，耦合到头戴式显示器(HMD)的计算设备从多个传感器接收传感器数据。其中，传感器生成传感器数据，传感器数据包括例如与周围物理环境相关联的深度图数据和图像数据。深度图数据被计算设备采用，来响应性地生成周围物理环境和位于其中的物理对象的几何表示。其中，计算设备可以分割所生成的几何表示，使得几何表示的每个部分(其中的每个部分可以独立地被称为几何表示)对应于物理对象，该物理对象位于物理环境内并且基于所接收的传感器数据被检测。
在一些实施例中，计算设备可以将所生成的几何表示中的任何一个或多个几何表示合成到虚拟环境中，诸如由计算设备存储和可呈现的虚拟环境。在这点上，物理对象的现实计算机生成表示在被呈现和提供给HMD显示时，可以在虚拟环境内被感知。物理对象可以被HMD的用户有效地感知为虚拟对象，物理对象诸如是在用户完全沉浸在虚拟环境中时，可能对在物理环境中移动的用户造成潜在危险的那些物理对象。在一些方面，所接收的图像数据的任何部分可以被选择性地直通，以向HMD提供图像数据的所选择部分的显示。实际上，一些实施例可以提供物理环境的对应部分的直通可见性(即，作为图像数据)。以该方式，可以基于通过所生成的虚拟表示(例如，虚拟对象)或直通图像数据对物理对象的支持感知，来避开物理对象或与其物理交互。
在一些实施例中，计算设备可以基于所生成的几何表示的可确定的特性，诸如几何特征或形状、距离(例如，相对于HMD)、与另一个几何表示的临近度(例如，两个几何表示之间的距离)、运动或可视分类等，来动态地选择所生成的几何表示以合成到所存储的虚拟环境中。在一些另外的实施例中，计算设备可以基于时间方面，来动态地选择所生成的几何表示以用于合成。例如，与虚拟环境相关联的视频游戏的特定阶段、虚拟环境中场景的特定位置或与虚拟环境相关联的时间线的特定时间帧，均可以触发对一个或多个所生成的几何表示的选择，以用于在虚拟环境中合成。
在一些实施例中，计算设备可以将虚拟环境与所选择的一个或多个生成的几何表示混合以支持其更现实的合成。如普通技术人员应当理解的，将所选择的一个或多个生成的几何表示合成到虚拟环境可能与关联于虚拟环境的主题或设计形成对比(例如，在视觉上)。如此，可能期望在虚拟环境和/或所选择的一个或多个生成的表示之间应用混合机制的任何组合，以维持与虚拟环境的现实感或主题一致性。
在一些另外的实施例中，计算设备可以从接收的图像数据提取纹理和/或颜色，以对所生成的几何表示进行纹理化或着色。以该方式，几何表示的一部分可以被合成在存储的虚拟环境内，并且被呈现为对应物理对象的现实的、计算机生成的描绘。在一些另外的实施例中，所存储的虚拟环境的视觉方面(例如，颜色信息)可以被确定和采用，来修改(例如，着色)几何表示的所选择部分，以便当与所存储的虚拟环境合成时，选择的部分和所存储的虚拟环境之间的主题一致性可以被维持。作为示例，描绘虚拟日落的存储的虚拟环境可以呈现受橙色色调影响的各种虚拟对象或元素，橙色色调是对应于存储的虚拟环境中描绘的光源(例如，虚拟太阳)的颜色。在这点上，计算设备可以确定几何表示的所选择部分的色调并且修改颜色，以便所选择部分看起来与它们被合成在其中的虚拟环境在主题上一致(例如，日落)。
在一些另外的实施例中，计算设备可以利用直通效应，经由HMD选择性地呈现所接收的图像数据的一个或多个部分，由此在不使用几何表示的情况下显示该一个或多个部分(即，因为它们会在物理环境中被感知)。即，在一些实施例中，利用HMD的用户可以感知虚拟环境，并且可以通过虚拟环境或结合虚拟环境，来选择性地呈现经由传感器接收的图像数据的一个或多个部分。在一些方面，可以基于所接收的输入(例如，经由控制器被手动提供给计算设备的输入)、物理对象在物理环境中的检测运动，或物理对象的检测特征(例如，对象识别或面部识别)的集合等，来选择一个或多个部分。在这点上，计算设备可以提供所接收的图像数据的选择性直通，以便物理环境的某些区域或物理环境内的特定物理对象可以被选择性地提供以供计算设备经由HMD显示。
在各种实施例中，经由HMD呈现和提供以进行显示的虚拟环境可以被动态修改，以包括在用户的物理环境中检测的物理对象的一个或多个几何表示。一个或多个几何表示可以被自动选择，以用于在虚拟环境内合成，并且与虚拟环境动态混合以支持所维持的现实感。其中，所接收的与物理环境相关联的图像数据的一个或多个部分可以被选择性地直通呈现过程，并且被提供给HMD显示。以该方式，穿戴HMD的用户可以安全地横穿(例如，漫游、走动)物理环境，同时计算设备将物理环境中检测的物理对象的几何表示与用户感知的虚拟环境动态地混合。
现在转向图1，示出示例操作环境100的框图被提供，其中可以采用本公开的一些实施例。应当理解，本文描述的这种和其他布置仅作为示例被阐述。作为所示的那些的补充或替代，可以使用其他布置和元素(例如，机器、接口、功能、顺序和功能分组)，并且为了清楚起见，可以完全省略一些元素。此外，本文描述的元素中的许多元素是功能实体，它们可以被实现为离散或分布式组件或与其他组件结合，并且以任何适当的组合和位置而被实现。被本文描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来实现。例如，一些功能可以由执行存储在存储器中的指令的处理器来执行。
除了未示出的其他组件，示例操作环境100包括耦合到传感器的集合(诸如，HMD110和传感器120a、120b)的头戴式显示器(HMD)。HMD 110可以包括立体显示器，以支持能够被穿戴HMD 110的用户感知的三维虚拟环境和虚拟对象的立体呈现。HMD 110可以耦合到现实混合设备115，其可以被集成到HMD 110的主体中、与HMD 110分开但物理耦合到HMD 110，或无线耦合到HMD 110，以支持在物理环境中物理漫游，同时完全沉浸在混合虚拟环境(即，与在物理环境内检测的物理对象的视觉表示合成的虚拟环境)中。在一些方面，耦合到HMD110的现实混合设备115可以包括便携式计算设备，例如，携带或穿戴在穿戴HMD 110的用户身上的设备。
在各种实施例中，传感器的集合可以包括跟踪传感器120a(例如，旋转跟踪传感器、位置跟踪传感器)，其可以生成现实混合设备115可采用的传感器数据，以确定HMD 110的物理定向和HMD 110相对于其周围物理环境的物理位置。在优选的实施例中，跟踪传感器120a是由内向外的传感器，其包括固定到HMD 110的主体的传感器。然而，预期的是，可以采用各种传感器，包括由外向内的传感器，以有助于确定HMD 110的物理定向和/或物理位置等。
在各种实施例中，传感器的集合还可以包括环境传感器120b的集合(例如，针对声纳的声学传感器、针对雷达的无线电波传感器、光学传感器)，其可用于从周围物理环境接收环境数据(例如，声学数据、无线电波数据、光学数据)，并且确定环境传感器的跟踪区域(例如，视场、检测范围)内物理对象的距离或其他特性等。在一些方面，环境数据可以包括深度图或其他三维网格，从中可以确定跟踪区域内物理对象的距离或其他特性。作为非限制性示例，Microsoft 设备是一个示例性环境传感器(例如，深度图传感器或RGBD相机)，其可以为由此接收的每一帧光学输入信息连续生成实时深度图。在这点上，现实混合设备115可以接收由环境传感器生成的每个深度图帧，以确定物理对象在跟踪区域(例如，视场)内的距离、形状、相对移动或其他物理特性等。在一些另外的实施例中，环境传感器120b的集合可以包括光学传感器(例如，相机)，其可以基于从周围物理环境接收的光来生成图像数据。其中，光学传感器可以生成表示其视场内物理环境的视觉方面(例如，颜色、形状、纹理)的图像数据。
在一些方面，通过确定HMD的位置相对于由环境传感器跟踪的物理环境正在移动，环境传感器也可以被现实混合设备115用作位置跟踪传感器。在优选的实施例中，环境传感器120b的集合是由内向外的传感器，其包括固定到HMD 110的主体的传感器。在一些方面，环境传感器的集合被刚性地安装到HMD 110，瞄准与HMD 110平行的观察方向。然而，可以预期，可以采用各种传感器，包括由外向内的传感器，以支持确定物理对象在环境传感器120b的对应跟踪区域内的距离(例如，相对于HMD 110的距离)或其他特性(例如，视觉)。
虽然未示出，但在一些另外的实施例中，传感器的集合还可以包括位置传感器的集合，诸如GPS接收器，其可用于确定物理位置数据(例如，来自卫星或其他源的位置坐标)，该数据对应于GPS接收器的物理位置。在一些备选实施例中，位置传感器的集合可以包括Wi-Fi无线电、蓝牙无线电、电信无线电或任何其他收发器，其可以基于在位置传感器的集合的可检测范围内从源发射器(例如，Wi-Fi接入点、蓝牙信标、电信塔)接收的信号或其特性(例如，信号强度、信号源)进行三角测量。在各种实施例中，现实混合设备115可以从一个或多个位置传感器接收传感器数据，以确定传感器(从而确定穿戴HMD 110的用户)的物理位置坐标等，无论是通过接收坐标，还是基于接收的源信号等对近似位置进行三角测量等。作为示例，现实混合设备115可以采用用户的位置坐标，来确定用户相对于在电子图(例如，鸟瞰透视图)上描绘的静态物理障碍物的物理位置。预期，电子图可以被本地存储在现实混合设备115的存储器中，或者可以经由网络利用第三方制图服务而被访问或检索。
在一些实施例中，第三方制图服务可以由诸如服务器设备140的远程服务器设备托管。现实混合设备115可以经由网络130访问服务器设备140，作为示例，网络130可以包括LAN、WAN、PAN或因特网。服务器设备140可以耦合到数据库80，数据库80可以存储电子图或可以由现实混合设备115访问和/或检索的任何其他电子数据等。在一些实施例中，由现实混合设备115确定的位置坐标可以被通信到服务器设备140，使得服务器设备140向现实混合设备115提供与位置坐标相关地确定的电子图，和/或在确定的相关图上的接收的位置坐标的描绘等。在一些方面，服务器设备140和数据库80可以用作数据存储设备，以用于支持向和从现实混合设备115传输数据等等。
现在转向图2，框图200被提供，其图示了示例性现实混合设备210(诸如图1的现实混合设备115)，以用于动态呈现和合成完全沉浸式虚拟环境，其中虚拟对象基于所接收的传感器数据被实时生成。在一个示例中，根据一些描述的实施例提供的现实混合设备210可以安全地指导在陌生(例如，未预先扫描或建模)或动态物理环境内的现实世界漫游，同时提供感知所检测的物理对象的现实虚拟对象表示的能力，等等。应当理解，本文描述的这种和其他布置仅作为示例被阐述。作为所示的那些布置和元素的补充或替代，可以使用其他布置和元素(例如，机器、接口、功能、顺序和功能分组等)，并且可以完全省略一些元素。此外，本文描述的元素中的许多元素是功能实体，它们可以被实现为分立或分布式组件或与其他组件结合，并且以任何适当的组合和位置而被实现。被本文描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来实现。例如，各种功能可以由执行存储在存储器中的指令的处理器来执行。
现实混合设备210是用于实现本公开的某些方面的适当架构的示例。应当理解，可以采用本公开范围内的任意数目的用户设备、硬件、模块或组件，来执行与现实混合设备210相关联地描述的功能。在一些实施例中，现实混合设备210可以包括计算设备，诸如关于本文图8描述的计算设备800。由于所描述的组件中的每个组件被描绘为被包括在现实混合设备210中，因此预期其中所描绘的任何组件不限于所示实施例，并且可以被分布在多个计算设备、模块或硬件设备中间，或在一些情况下，可以被合并为单个硬件设备或模块，诸如处理器或硬件设备。还预期可以从现实混合设备210中完全移除任何一个或多个所描述的组件，只要与移除的组件对应描述的一个或多个操作可以由一个或多个其他组件或者第三方资源、远程计算设备或硬件设备等补偿。
在一些实施例中，现实混合设备210可以耦合到头戴式显示器(HMD)，诸如图1的HMD 110。现实混合设备210还可以耦合到传感器的集合，诸如跟踪传感器120a和环境传感器120b。如关于图1简要描述的，根据一些实施例，跟踪传感器120a和/或环境传感器120b中的任何一个或多个可以被集成到HMD中或被刚性固定到HMD。
现实混合设备210可以包括从跟踪传感器120a接收跟踪传感器数据的HMD跟踪组件220。HMD跟踪组件220可以基于所接收的跟踪传感器数据，来确定HMD的定向等。跟踪传感器数据可以包括与所检测的HMD的俯仰、偏航或滚动等相对应的电子信息。在各种实施例中，跟踪传感器120a可以包括加速度计、陀螺仪、磁力计和用于测量HMD的基本方向、线性加速度和/或角速度以及HMD的其他惯性特性的其他传感器。
在一些另外的实施例中，HMD跟踪组件220可以基于所接收的跟踪传感器数据，来确定HMD在空间(即，物理环境)中的位置。在这点上，跟踪传感器数据还可以包括与HMD在空间中的确定移动相对应的电子信息，包括HMD的向前/向后、向上/向下和向左/向右移动。在各种实施例中，这种跟踪传感器120a还可以包括声学跟踪传感器、光学传感器(例如，利用被动和/或主动标记、可见标记、不存在的标记、深度图或其组合)、QR跟踪系统、相机或用于跟踪HMD在空间中的移动的其他传感器。
在一些另外的实施例中，现实混合设备210可以包括从环境传感器120b接收环境传感器数据的环境感测组件230。环境感测组件230可以基于所接收的环境传感器数据，来确定物理对象在环境传感器120b的跟踪区域(例如，视场)中的相对距离、形状和/或位置等。在一些实施例中，环境传感器数据可以作为基于接收的光学信息生成的个体帧(例如，深度图帧)而被接收。环境传感器数据(例如，每个帧)可以包括电子信息(例如，深度图)，其对应于在任何给定时间在环境传感器120b的视场内检测的一个或多个物理对象(例如，地面、墙、人、动物、椅子、桌子、植物或任何物理结构)。在一些实施例中，环境传感器120b可以包括例如深度图传感器或RGBD传感器。在各种实施例中，环境传感器120b可以从物理环境连续地接收光学信息(例如，图像)，并且响应性地(例如，周期性地)生成对应于所接收的光学信息的帧(例如，深度图)。在一些方面，光学信息可以包括描绘传感器视场内的物理环境的图像数据，诸如RGB图像。环境感测组件230可以响应于接收到所生成的帧，针对每个生成的帧确定物理对象在环境传感器120b的跟踪区域(例如，视场)中的相对距离、形状和/或位置。在一些另外的实施例中，环境感测组件230可以接收与每个帧相关联的图像数据，其描绘了与所捕获的帧相关联的视觉图像。作为非限制性示例，微软的Kinect设备可以被用作深度图相机。在一些方面，环境感测组件230可以从一个或多个环境传感器120b接收深度图帧和图像数据帧两者。在一些实施例中，跟踪传感器120a也可以作为环境传感器120b操作，反之亦然，以便由此生成的传感器数据可以被HMD跟踪组件220和/或环境感测组件230采用，来跟踪HMD在空间中的移动并且确定物理对象在跟踪区域中的相对距离、形状和/或位置。
在一些实施例中，环境感测组件230可以基于接收的环境传感器数据，确定在环境传感器120b的跟踪区域中存在物理对象或“障碍物”等。在一些方面，环境感测组件230可以在用户正在漫游的物理环境具有平坦的平面地面的假设下操作，以便可以基于生成的传感器数据(例如，环境数据)中描绘的物理对象看起来比地面高的确定，来检测物理对象。然而，在一些实施例中，可以通过标识某些物理对象(例如，台阶、路缘、坡道)，来避免上述假设，在确定物理对象是障碍物还是可通航区域或路径(例如，平坦的平面地面、台阶、路缘、坡道)时，该些物理对象可以被考虑(例如，利用视觉识别技术)。
现实混合设备210还可以包括VR世界呈现组件240。在各种实施例中，VR世界呈现组件240可以生成虚拟环境或其任何部分(例如，虚拟场景或虚拟环境的一部分)，该虚拟环境或其任何部分可以被提供给HMD(诸如图1的HMD 110)显示，以便虚拟环境的至少一部分可以被穿戴HMD的用户感知。在一些实施例中，VR世界呈现组件240可以生成包括虚拟对象的虚拟环境，虚拟对象中的任何一个可以对应于物理对象，该物理对象至少部分地基于经由环境感测组件230接收的一个或多个环境传感器数据片段(例如，深度图帧)，而在用户的周围物理环境内被检测。在一些另外的实施例中，VR世界呈现组件240可以进一步基于接收的图像数据，来生成与所检测的物理对象相对应的虚拟对象。在这点上，虚拟对象可以被呈现，以维持对应物理对象的视觉特性，就像它在物理环境中被感知的那样。更具体地，基于接收的深度图帧的对应部分，生成的虚拟对象的形状可以对应于检测的物理对象的形状，同时基于所接收的图像数据帧的对应部分等，生成的虚拟对象的颜色和纹理可以对应于检测的物理对象的颜色和/或纹理。
VR世界呈现组件240可以包括物理世界定义组件242，其可以接收环境传感器数据片段(例如，深度图帧)，并且可以生成用户的周围物理环境的图或网格。即，深度图帧可以包括描绘帧内捕获的物理环境的相对距离、临近度、高度、形状和其他视觉特征的网格。
VR世界呈现组件240还可以包括物理对象建模组件244，其可以确定所接收的深度图帧的一个或多个部分对应于特定类型的结构或对象。例如，在一些实施例中，物理对象建模组件244可以确定深度图帧的一个或多个部分对应于用户可以在其上漫游的物理环境的地板或平坦表面(例如，具有基线高度或相对高度为零)。在一些实施例中，物理对象建模组件244可以确定深度图帧的一个或多个部分对应于物理环境的一个或多个墙(例如，房间的墙)，即，作为示例，深度图帧的一个或多个部分对应于一种物理结构，其将确定的地板部分连接到确定的天花板部分或延伸到定义的高度阈值以上的高度。在一些实施例中，物理对象建模组件244可以确定，深度图帧的一个或多个部分对应于物理环境内的物理对象或障碍物，即，作为示例，深度图帧的一个或多个部分对应于一种物理结构，其具有高于确定的地板部分的高度，但不一定是墙，或不延伸超出定义的高度阈值。前述示例不旨在进行限制，因为可以预期，本文描述或未描述的各种确定可以对应于深度图帧的一部分而被做出，例如，墙也可以或备选地被确定为物理对象或障碍物。
在一些实施例中，作为示例，物理对象建模组件244可以将深度图帧的一个或多个部分与标签或标记相关联，以便深度图帧的某些部分可以被现实混合设备210标识为特定类型的结构或对象，诸如地板或可通航区域、墙、天花板或其他物理对象或障碍物。以该方式，物理对象建模组件244可以将深度图帧的每个标记部分分割成几何表示，每个几何表示均对应于由接收的深度图帧表示的物理环境的一部分。作为示例，用户可以站在房间里，从用户的视角和深度图传感器可以看到沙发、桌子和三面墙。深度图传感器可以从用户的视角生成深度图帧，物理世界定义组件242可以从深度图传感器接收深度图帧。物理对象建模组件244可以分析深度图帧，以将深度图帧分割成几何表示，以便生成沙发、桌子和墙中的每个的几何表示。
根据各种实施例，VR世界呈现组件240可以呈现虚拟环境和提供虚拟环境以进行显示，诸如存储在现实混合设备210的存储器中的虚拟环境。基于HMD跟踪组件220从跟踪传感器120a接收的跟踪传感器数据和/或环境感测组件230从环境传感器120b接收的环境传感器数据，VR世界呈现组件240可以动态地调整、转换和/或移动虚拟环境和/或其中的虚拟对象，使得用户在物理环境内做出的移动被转换为虚拟环境内的感知移动。在各种实施例中，可以经由现实混合设备210的立体显示组件260为立体显示器提供虚拟环境和/或虚拟对象。
为了支持将基于所生成的几何表示中的一个或多个几何表示而生成的虚拟对象合成到虚拟环境中，物理对象选择组件246可以基于生成的几何表示的一个或多个确定特性，来动态地选择所生成的几何表示中的一个或多个几何表示。基于与生成的几何表示对应的物理对象的确定特性，或者类似地，基于与检测的物理对象对应的生成几何表示的确定特性，物理对象选择组件246可以选择要被呈现和合成到虚拟环境中的生成几何表示。在一些其他实施例中，物理对象选择组件246可以以相反的方式选择生成的几何表示，即该选择可以指示选择的几何表示将不被呈现和合成到虚拟环境中。在一些其他实施例中，物理对象选择组件246可以选择生成的几何表示，以提供对应于几何表示的直通图像数据。换言之，该选择可以指示对应的图像数据应当被提供以用于显示，而不合成到虚拟环境中。
在一些方面，物理对象选择组件246可以基于对应物理对象相对于用户的距离(例如，HMD或深度图传感器)，来动态地选择生成的几何表示，以用于呈现和合成到虚拟环境中。在一些实施例中，可以基于对应于深度图帧内的物理对象的几何表示的位置，来确定距离。在一些方面，可以定义阈值距离，以便可以选择被确定为等于或小于阈值距离(例如，相对于HMD或深度图传感器)的物理对象并且因此选择对应的几何表示，以用于呈现和合成在虚拟环境内。
在一些其他方面，物理对象选择组件246可以基于对应物理对象相对于另一个生成的几何表示的临近度，来动态地选择生成的几何表示，以用于呈现和合成到虚拟环境中。在一些实施例中，可以基于对应于深度图帧内的物理对象的几何表示，相对于对应于深度图帧内的另一个物理对象的另一个几何表示的位置，的位置，来确定临近度。在一些方面，可以定义阈值临近度，以便可以选择被确定为在阈值临近度处或之内的物理对象，并且因此选择对应的几何表示，以用于呈现和合成在虚拟环境内。
在一些其他方面，物理对象选择组件246可以基于对应物理对象的运动，动态地选择生成的几何表示，以用于呈现和合成到虚拟环境中。在一些实施例中，可以基于确定对应于物理对象的特定几何表示(来自两个以上比较深度图帧)不同(例如，不同的相对位置、修改的形状)，来检测运动。在这点上，物理对象的运动可以由物理对象选择组件246基于两个以上深度图帧的比较来确定。预期可以采用用于检测物理对象的运动的各种技术，并且所描述的实施例不旨在以任何方式进行限制。
在一些其他方面，物理对象选择组件246可以基于对应物理对象的可视分类，来动态地选择生成的几何表示，以用于呈现和合成到虚拟环境中。在一些实施例中，可视分类可以根据几何表示的特性而被确定，或者根据与几何表示相对应的图像数据而被确定。即，在一些实施例中，物理对象选择组件246可以确定，对应于物理对象的几何表示包括对应于(例如，具有阈值相似性)已知物理对象的视觉特征。预期可以采用各种机器学习或可视分类技术，来确定几何表示或其对应物理对象的可视分类。
在一些其他方面，物理对象选择组件246可以基于用户在虚拟环境内的虚拟位置，来动态地选择生成的几何表示，以用于呈现和合成到虚拟环境中。作为示例，玩与虚拟环境相关联的虚拟游戏的用户可能会到达虚拟游戏的一定阶段、时间帧或虚拟位置，其中用户的模拟加速度或速度被呈现(例如，用户乘坐虚拟交通工具)。在这点上，同时显示与远离用户(例如，大于阈值距离)的物理对象相对应的几何表示的合成可能看起来尴尬。然而，可以选择和同时显示接近(例如，小于阈值距离)的物理对象的几何表示以提供物理参考帧，例如，以减少晕动病。类似地，在另一方面，当到达虚拟游戏的一定阶段、时间帧或虚拟位置时，物理对象选择组件246可以基于相对位置、临近度、特征或本文描述的可确定视觉特征的任何组合，来选择一个或多个生成的几何表示。
在一些其他方面，物理对象选择组件246可以基于从远程设备接收的输入，来动态地选择生成的几何表示，以用于呈现和合并到虚拟环境中，远程设备诸如是远程控制器、远程计算设备或与另一个用户相关联的远程HMD，其中的任一个正在与具有物理对象选择组件246的现实混合设备210共享协作虚拟体验。即，在一些实施例中，物理对象选择组件246可以从远程计算设备或远程控制器接收输入信号，该输入信号旨在由现实混合设备210接收。在一些方面，输入信号可以指向现实混合设备210的用户所在的物理环境的坐标或位置。这样，所接收的输入信号可以引导物理对象选择组件246基于远程输入信号，来选择对应于坐标或位置的几何表示，或选择与坐标或位置相关联的物理对象。另外预期，这种远程提供的输入可以进一步被用于远程发起图像直通坐标，如将被描述的。
前述方面在本文中被提供，作为在完全沉浸在虚拟环境中时，物理对象选择组件246可以如何选择用户的物理环境中的哪些特定物理对象可以被感知(例如，虚拟地或作为图像数据)的非限制性示例。预期这种选择技术不是相互排斥的，并且可以被独立采用或以与彼此的任何组合被采用。如本文所描述的，根据各种实施方式，物理对象或其对应的几何表示可以被选择，以用于合成或不合成(例如，否定选择或从一揽子选择中去除)。此外，预期物理对象或其对应的几何表示可以被选择以用于经由HMD进行直通察看，以便对应于物理对象的图像数据被提供以进行显示。还预期，直通图像数据可以结合虚拟环境和/或虚拟对象而被显示，优选地作为覆盖显示。
在一些实施例中，VR世界呈现组件240还包括物理对象呈现组件248，其将对应物理对象的一个或多个几何表示呈现为虚拟对象。作为示例，由物理对象呈现组件248呈现的一个或多个几何表示可以被物理对象选择组件246选择以用于呈现。在一些方面，物理对象呈现组件248可以采用选择的几何表示作为从其呈现虚拟对象的三维模型。在一些另外的方面，物理对象呈现组件248可以提取接收的图像数据的对应于选择几何表示的部分，并且可以将图像数据的该部分应用于几何表示。在这点上，物理对象呈现组件248可以生成虚拟对象，该虚拟对象包括从其呈现虚拟对象的对应物理对象的视觉特征。在还接收到具有深度图帧(从其生成几何表示)的图像数据后，物理对象呈现组件248可以生成具有与在用户的物理环境中检测的对应物理对象相同或相似的颜色、纹理或其他视觉特性的虚拟对象。
在一些实施例中，VR世界呈现组件240还包括合成组件250，合成组件250可以生成虚拟环境和虚拟对象(基于用户的物理环境被生成)的合成物(在本文中，也被称为“合成虚拟环境”)，虚拟对象诸如是由物理对象呈现组件248生成的虚拟对象。合成组件250可以进一步向立体显示组件260提供合成虚拟环境以进行显示。
在一些方面，合成组件250可以支持接收的图像数据的所选择部分的直通，以显示到HMD。如根据物理对象选择组件246描述的，物理对象的一个或多个选择几何表示可以被选择以用于直通察看。即，可以基于或响应于该选择，来提供接收图像数据的对应于所选几何表示的部分以显示给HMD。预期可以利用物理对象选择组件246的任何描述的方面来进行这种选择，并且可以进一步定义是否基于定义的规则集来进行某些选择。作为示例，物理对象选择组件246可以包括选择特定物理对象(或其几何表示)以用于直通(如果它在视觉上被分类为人或动物)的规则。物理对象选择组件246可以分析对应于特定物理对象的图像数据，确定图像数据对应于人或动物，并且选择物理对象以进行直通察看。如此，合成组件250可以包括直通组件252，其接收对应的图像数据，并且提供对应的图像数据以显示给HMD。如本文描述的，直通组件252可以提供对应的图像数据，以经由立体显示组件260作为合成虚拟环境的覆盖物等进行显示。
在一些实施例中，直通组件252可以接收输入，以选择接收的图像数据的部分以直通显示到HMD。即，除了自动选择之外，直通组件252可以接收一个或多个输入，这些输入定义了要由用户察看的接收图像数据的区域。在一些方面，可以从与现实混合设备210配对通信的控制器接收输入。控制器可以包括手持控制器，诸如虚拟现实控制器，或任何其他输入设备。在一些方面，并且很像HMD，控制器可以生成跟踪传感器数据，诸如与检测的控制器的俯仰、偏航或滚动相对应的电子信息。在一些另外的方面，还可以跟踪控制器的相对位置(例如，相对于HMD、用户、传感器)。在这点上，控制器可以提供类似“手电筒”的工具，其与手电筒类似，可以向用户提供改进的可见性。然而，代替发光，类似“手电筒”的工具可以替代地向直通组件252提供输入，其对所接收的图像数据进行选择以用于直通显示。
在一些其他方面，合成组件250还可以包括混合组件254，其可将虚拟环境与生成的虚拟对象(例如，由物理对象呈现组件248)混合。如本文所利用的，术语混合可以包括对虚拟环境或生成的虚拟对象中的一者或两者的修改或增强。由于将随机虚拟对象合成到虚拟环境中可能会影响虚拟环境(例如，虚拟环境中随机对象的外观)的用户体验(例如，现实感或主题)，因此混合组件254可以采用多种混合技术来生成合成虚拟环境，而不会降低用户体验。
现在看图3，根据本公开的一些实施例，图示的集合300被提供，来描绘即时合成虚拟环境和虚拟对象或直通图像数据的示例性实施方式。如在图示310中呈现的合成虚拟环境中可以看到的，用户在穿戴与现实混合设备(例如，图2的现实混合设备210)耦合的HMD(例如，图1的HMD 110)时，可以从他或她的视场中感知到的示例性视觉图像被提供，如在本公开的一些实施例中所描述的。图示310呈现了一些实施方式的示例，其中现实混合设备的混合组件(例如，图2的混合组件254)采用alpha混合机制，来将虚拟环境与一个或多个虚拟对象混合。如本文所描述的，虚拟对象中的任何一个或多个虚拟对象可以基于在用户的物理环境内检测的物理对象而被生成，并且基于一个或多个预定义的选择规则(例如，相对距离、特征、视觉特性)而被选择以用于生成和合成。
如在图示320中呈现的合成虚拟环境中可以看到的，用户在穿戴与现实混合设备(例如，图2的现实混合设备210)耦合的HMD(例如，图1的HMD 110)时，可以从他或她的视场中感知到的另一个示例性视觉图像被提供，如在本公开的一些实施例中所描述的。图示320呈现了一些实施方式的示例，其中物理对象选择组件(例如，物理对象选择组件246)选择对应于物理环境内的显著物理对象的几何表示。换言之，在一些实施例中，可以基于一个或多个标签来确定显著对象以供现实混合设备选择，该标签与由现实混合设备的物理对象建模组件(诸如图2的物理对象建模组件244)分割的几何表示相关联。在这点上，并且根据一些实施例，物理对象建模组件可以确定对应于几何表示的物理对象是否对应于显著对象(例如，独立于物理环境结构的对象，诸如地板、墙、天花板)。为此，物理对象选择组件246可以选择所确定的显著对象，以用于从中生成虚拟对象，并且用于在虚拟环境内合成，如本文所描述的。类似地，如在图示330中呈现的合成虚拟环境中可以看到的，用户在穿戴与现实混合设备(例如，图2的现实混合设备210)耦合的HMD(例如，图1的HMD 110)时，可以从他或她的视场中感知到的另一个示例性视觉图像被提供，如在本公开的一些实施例中所描述的。图示330呈现了一些实施方式的另一个示例，其中物理对象选择组件(例如，物理对象选择组件246)选择与物理环境内的所有检测的物理对象相对应的所有几何表示。换言之，现实混合设备可以选择所有物理对象，以从中生成虚拟对象，并且用于在虚拟环境内合成，如本文所描述的，或用于从中生成全新的虚拟环境(例如，独立于另一个存储的虚拟环境)。
此外，如在图示340的合成虚拟环境中呈现的，用户在穿戴与现实混合设备(例如，图2的现实混合设备210)耦合的HMD(例如，图1的HMD 110)时，可以从他或她的视场中感知到的示例性视觉图像被提供，如在本公开的一些实施例中所描述的。图示340呈现了一些实施方式的示例，其中现实混合设备的混合组件(例如，图2的混合组件254)采用纹理抽象机制，来将虚拟环境与一个或多个虚拟对象混合。更具体地，代替将图像数据应用于所选择的几何表示，现实混合设备可以为每个选择的几何表示生成网格轮廓，并且提供每个选择的几何表示的网格轮廓以用于在虚拟环境内合成。以该方式，用户可以感知与物理环境中检测的物理对象相对应的抽象纹理，以便他或她可以在保持完全沉浸在合成虚拟环境中的同时避开物理对象。在一些类似的实施方式中，并且如图示350中所呈现的，混合组件可以采用多边形操纵机制，来将虚拟环境与一个或多个虚拟对象混合。更具体地，代替将图像数据应用于所选择的几何表示，现实混合设备可以为每个所选择的几何表示生成浮动多边形，并且提供为每个所选择的几何表示生成的浮动多边形，以用于在虚拟环境内合成。以该方式，用户可以在物理环境中感知与检测的物理对象相对应的浮动多边形，从而他或她可以在保持完全沉浸在合成虚拟环境中的同时避开物理对象。
如在图示360的合成虚拟环境中呈现的，用户在穿戴与现实混合设备(例如，图2的现实混合设备210)耦合的HMD(例如，图1的HMD 110)时，可以从他或她的视场中感知到的示例性视觉图像被提供，如在本公开的一些实施例中所描述的。图示360呈现了一些实施方式的示例，其中物理对象选择组件(例如，物理对象选择组件246)可以确定，对应于物理环境内的物理对象的几何表示何时在阈值距离内(例如，以避免与其碰撞)。换言之，在一些实施例中，可以基于对应物理对象在阈值距离内的确定，来选择几何表示以由现实混合设备进行呈现和/或合成。在一些其他实施例中，基于对应物理对象在阈值距离内的确定，现实混合设备可以选择性地直通对应于所选择的几何表示的图像数据(例如，经由直通组件252)。以该方式，基于对应物理对象在用户(例如，HMD或深度图传感器)的阈值距离内的确定，现实混合设备可以主动提供几何表示、虚拟对象或与几何表示相对应的图像数据以进行显示。
如在图示370中呈现的合成虚拟环境中可以看到的，用户在穿戴与现实混合设备(例如，图2的现实混合设备210)耦合的HMD(例如，图1的HMD 110)时，可以从他或她的视场中感知到的另一个示例性视觉图像被提供，如在本公开的一些实施例中所描述的。图示370呈现一些实施方式的示例，其中物理对象选择组件(例如，物理对象选择组件246)选择对应于物理环境内的非显著物理对象(例如，墙、天花板、地板)的几何表示。换言之，在一些实施例中，可以基于一个或多个标签来确定非显著对象以由现实混合设备擦除或移除，该标签与由现实混合设备的物理对象建模组件(诸如图2的物理对象建模组件244)分割的几何表示相关联。在这点上，并且根据一些实施例，物理对象建模组件可以确定，对应于几何表示的物理对象是否对应于非显著对象。为此，物理对象选择组件246可以选择所确定的非显著对象(例如，对应的几何表示)以用于擦除或移除，或者不选择所确定的非显著对象来从中生成虚拟对象以合成为虚拟环境，如本文所描述的。
如在图示380的合成虚拟环境中呈现的，用户在穿戴与现实混合设备(例如，图2的现实混合设备210)耦合的HMD(例如，图1的HMD 110)时，可以从他或她的视场中感知到的示例性视觉图像被提供，如在本公开的一些实施例中所描述的。图示380呈现了一些实施方式的示例，其中直通组件(例如，直通组件252)可以从输入设备(例如，控制器)接收一个或多个输入。如根据直通组件252所描述的，现实混合设备可以接收输入，该输入定义现实混合设备在传感器的集合的跟踪区域内的相对位置(例如，坐标)，传感器的集合可以包括跟踪传感器和/或环境传感器。可以从与现实混合设备配对通信的控制器接收输入，由此控制器可以生成跟踪传感器数据，诸如与检测的控制器的俯仰、偏航或滚动相对应的电子信息。在一些另外的方面，控制器的相对位置(例如，相对于HMD、用户、跟踪和/或环境传感器)也可以被跟踪。在这点上，控制器可以作为类似“手电筒”的工具操作，其中直通组件可以接收输入，并且投影与输入对应的接收图像数据区域。在某些方面，投影区域可以被放置在接收的输入前面的定义距离处，以提供更像“手电筒”的体验。在这点上，现实混合设备可以向用户提供他或她的物理环境的选择可见性(例如，利用直通图像数据的所选择部分)。
现在看图4，根据本公开的一些实施例，图示的集合400被提供，来描绘即时合成虚拟环境和虚拟对象的示例性实施方式，虚拟对象基于在物理环境内检测的物理对象而被生成。如在图示410中呈现的合成虚拟环境中可以看到的，用户在穿戴与现实混合设备(例如，图2的现实混合设备210)耦合的HMD(例如，图1的HMD 110)时，可以从他或她的视场中感知到的示例性视觉图像被提供，如在本公开的一些实施例中所描述的。图示410、420呈现了一些实施方式的示例，其中物理环境的所有可用几何形状(例如，整个深度图帧或其中的所有几何表示)可以被采用，来生成被合成到虚拟环境中的虚拟对象，类似于图3的图示330中描绘的示例。通过采用本公开的各种实施例，某些虚拟现实应用(例如，生产力应用)可以从整个物理环境或其表示与虚拟环境合成的实施方式中受益。例如，图示410呈现了一个示例，其中在物理环境中检测到并且被用来生成对应虚拟对象(被合成到虚拟环境中)的脚凳，可以被用作用于在虚拟环境中绘制(例如，利用控制器)圆圈的视觉指南。在另一个示例中，图示420呈现了一个示例，其中在物理环境中检测到并且被用来生成对应虚拟对象(被合成到虚拟环境中)的椅子，可以被用作在三维空间中绘制的基准点(例如，倾斜刷应用)。
现在看图5，根据本公开的一些实施例，图示的集合500被提供，来描绘即时合成虚拟环境和虚拟对象的示例性实施方式，虚拟对象基于在物理环境内检测的物理对象而被生成。虽然图5的描绘图示是黑色和白色，但虚拟环境(例如，地面、天空)以深蓝色色调呈现被预期。如在图示510中呈现的合成虚拟环境中可以看到的，用户在穿戴与现实混合设备(例如，图2的现实混合设备210)耦合的HMD(例如，图1的HMD 110)时，可以从他或她的视场中感知到的示例性视觉图像被提供，如在本公开的一些实施例中所描述的。图示510描绘了与合成到虚拟环境中的检测的物理对象相对应的虚拟对象，该虚拟环境具有深蓝色方案。为了支持虚拟环境和生成的虚拟对象的更现实的合成，图2的混合组件254可以采用颜色转移机制，该机制将来自虚拟环境的感知光应用于生成的虚拟对象。作为示例，如果用户进入具有深蓝色色调的虚拟洞穴，如图示510中的虚拟环境的较暗环境方面(例如，天空、地面)所描绘的，则预期被定位在其中的虚拟对象(例如，家具)应当具有类似的深蓝色调。
在这点上，在一些实施例中，混合组件254可以采用各种技术来调制合成的虚拟对象的颜色，以匹配虚拟环境的颜色，如图示520中所描绘的。为了完成上述内容，在计算着色器上利用并行缩减技术的统计方法可以被采用。在一些实施例中，混合组件254可以包括现实混合设备的计算着色器，或与现实混合设备的计算着色器通信。作为示例，根据一些实施例，可以在CIEL*A*B*颜色空间中计算颜色统计。在一些实施例中，来自源图像(Is)的全局照度(μ)和标准偏差(σ)被用来变换目标图像(It)，以匹配在每个L*A*B*颜色通道中发现的分布。It中的每个像素都可以通过目标的标准偏差(σt)与源的标准偏差(σs)之间的比率进行缩放，提供：
前述变换可以在图2的计算着色器或混合组件254上被实现，以便在虚拟环境中合成的虚拟对象可以以虚拟对象采用虚拟环境中描绘的照明的方式被有效地着色。
已经描述了本公开的各个方面，下面描述根据一些实施例的示例性方法，用于即时动态呈现和合成虚拟环境和动态生成的虚拟对象。参考图6，提供了描绘用于实时动态呈现和更新完全沉浸式虚拟环境的方法600的流程图。方法600和本文描述的其他方法的每个框包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如，各种功能可以由执行存储在存储器中的指令的模块、硬件设备或处理器来实施。方法的各个部分也可以被实施为存储在计算机存储介质上的计算机可用指令。
在各种实施例中，头戴式显示器(HMD)(例如，图1的HMD 110)耦合到计算设备，诸如图1的现实混合设备115或图2的210。在一些实施例中，HMD可以耦合到跟踪传感器的集合(诸如图1的跟踪传感器120a)和环境传感器的集合(诸如图1的环境传感器120b)。在一些实施例中，环境传感器120b包括声学和/或光学传感器，其可以基于与物理环境的一部分相关联的捕获的声学和/或光学信息，来生成深度图帧和图像数据的对应帧等。换言之，环境传感器120b可以接收声学和/或光学信息，并且对任何时间点生成深度图帧和对应的图像数据帧。在各种实施例中，传感器中的任何一个或多个传感器可以被刚性地固定到HMD或用户物理环境的物理结构。最初，在框610处，计算设备可以从环境传感器的集合接收环境传感器数据。预期用户正在穿戴HMD，从而HMD被固定到用户的头部，并且用户可以察看由计算设备生成的用于显示到HMD的图形输出。
在框620处，计算设备可以基于所接收的环境传感器数据，生成物理环境的至少一部分的几何表示(例如，网格)。例如，可以采用从环境传感器中的至少一个环境传感器接收的深度图帧，来生成物理环境或其由环境传感器捕获的物理环境部分(例如，在视场或跟踪区域内)的几何表示。其中，计算设备可以包括物理对象建模组件，诸如图2的物理对象建模组件244，以将物理环境的生成几何表示的部分分割成个体的生成几何表示。物理对象建模组件可以确定，所接收的深度图帧的一个或多个部分(基于所确定的高度、深度或相对距离、形状或其其他特性)对应于特定类型的结构或对象。在一些实施例中，物理对象建模组件可以进一步将深度图帧的一个或多个部分与标签或标记相关联，以便深度图帧的某些部分可以被计算设备标识为特定类型的结构或对象，作为示例，诸如地板或可通航区域、墙、天花板或其他物理对象或障碍物。
在一些实施例中，计算设备可以采用物理对象选择组件，诸如图2的物理对象选择组件246，以基于生成的几何表示的一个或多个确定的特性，来动态地选择生成的几何表示中的一个或多个生成的几何表示。基于与生成的几何表示相对应的物理对象的确定特性，或者类似地，基于与检测的物理对象相对应的生成的几何表示的确定特性，物理对象选择组件可以选择任何一个或多个生成的几何表示，而被呈现和合成到存储在计算设备的存储器中的虚拟环境中。其中，几何表示或对应物理对象的可确定特性可以包括相对深度或距离、运动、形状、可视分类、用户在虚拟环境内的虚拟位置，或在虚拟环境内的阶段/级别。
在框630处，计算设备可以采用合成组件，诸如图2的合成组件250，以将虚拟环境和每个选择的几何表示呈现到合成虚拟环境中。在合成虚拟环境中，所选择的几何表示或其呈现版本(例如，虚拟对象)被呈现为虚拟地定位在虚拟环境内。虽然在一些实施例中，虚拟环境可以如预期的那样被呈现，但是可以通过将从环境传感器的集合接收的对应图像数据的提取部分应用到所选择的几何表示，来呈现所选择的几何表示。以该方式，每个呈现的几何表示(例如，虚拟对象)可以包括在物理环境内检测的对应物理对象的相同视觉特征(例如，颜色、纹理)。在一些实施例中，计算设备可以对虚拟环境和生成的虚拟对象中的一个或多个采用各种混合机制，来支持增加的现实感，并且维持与虚拟环境的主题一致性。如根据图3-图5描述的，计算设备可以采用混合组件，诸如混合组件254，来以期望的方式有效地混合合成虚拟环境。
在一些实施例中，计算设备可以包括直通组件，诸如图2的直通组件252，其可以从输入设备(例如，控制器)接收一个或多个输入。直通组件可以接收输入，来选择所接收的图像数据的部分以用于直通显示到HMD。即，除了为合成到虚拟环境中而生成的任何虚拟对象之外，直通组件可以接收一个或多个输入，这些输入定义了所接收的图像数据的要由用户察看的区域。在一些方面，可以从与计算设备配对通信的控制器接收输入。控制器的确定的相对定向和/或位置(例如，相对于HMD、用户、传感器)可以被跟踪，以使计算设备可以以控制器表现得像进入用户的物理环境的“手电筒”的方式来采用输入。类似于手电筒，控制器可以提供输入，计算设备可以采用该输入，来向用户提供物理环境的选择可见性。
在框640处，计算设备可以采用立体显示组件，诸如图2的立体显示组件260，来向HMD提供呈现的合成虚拟环境以进行显示。采用本文描述的各种技术，计算设备可以检测用户的物理环境内的物理对象，基于与检测的物理对象相对应的深度图和/或图像数据来生成虚拟对象，并且有效地将它们混合到虚拟环境中，以便提供合成虚拟环境进行显示以经由HMD察看。以该方式，用户可以保持完全沉浸在虚拟现实中，同时了解他们的物理环境。此外，本文采用的合成技术支持了改进的用户体验，使得所生成的虚拟对象不会显得被笨拙地放置，或与关联于虚拟环境的主题相比不会显得笨拙。类似地，本文描述的各种直通技术有助于自动或手动选择察看直通图像数据，使得用户可以感知与其物理环境相对应的图像数据，同时保持沉浸在虚拟现实中。
现在参考图7，提供了描绘用于实时动态呈现和更新完全沉浸式虚拟环境的方法700的流程图。在各种实施例中，头戴式显示器(HMD)(例如，图1的HMD 110)耦合到计算设备，诸如图1的现实混合设备115或图2或210。在一些实施例中，HMD可以耦合到跟踪传感器的集合(诸如图1的跟踪传感器120a)和环境传感器的集合(诸如图1的环境传感器120b)。在一些实施例中，环境传感器120b包括声学和/或光学传感器，其可以基于与物理环境的一部分相关联的捕获的声学和/或光学信息，来生成深度图帧和图像数据的对应帧等。换言之，环境传感器120b可以接收声学和/或光学信息，并且对任何时间点生成深度图帧和对应的图像数据帧。在各种实施例中，传感器中的任何一个或多个传感器可以被刚性地固定到HMD或用户物理环境的物理结构。最初，在框710处，计算设备可以从环境传感器的集合接收环境传感器数据。预期用户正在穿戴HMD，使得HMD被固定到用户的头部，并且用户可以察看由计算设备生成的用于显示到HMD的图形输出。
在框720处，计算设备可以基于所接收的环境传感器数据，生成物理环境的至少一部分的几何表示(例如，网格)。例如，可以采用从环境传感器中的至少一个环境传感器接收的深度图帧，来生成物理环境或其由环境传感器捕获的物理环境部分(例如，在视场或跟踪区域内)的几何表示。其中，计算设备可以包括物理对象建模组件，诸如图2的物理对象建模组件244，以将物理环境的生成几何表示的部分分割成个体的生成几何表示。物理对象建模组件可以确定，所接收的深度图帧的一个或多个部分(基于所确定的高度、深度或相对距离、形状或其其他特性)对应于特定类型的结构或对象。在一些实施例中，物理对象建模组件可以进一步将深度图帧的一个或多个部分与标签或标记相关联，以便深度图帧的某些部分可以被计算设备标识为特定类型的结构或对象，作为示例，诸如地板或可通航区域、墙、天花板或其他物理对象或障碍物。
在一些实施例中，计算设备可以采用物理对象选择组件，诸如图2的物理对象选择组件246，以基于生成的几何表示的一个或多个确定的特性，来动态地选择生成的几何表示中的一个或多个生成的几何表示。基于与生成的几何表示相对应的物理对象的确定特性，或者类似地，基于与检测的物理对象相对应的生成的几何表示的确定特性，物理对象选择组件可以选择任何一个或多个生成的几何表示，而被呈现和合成到存储在计算设备的存储器中的虚拟环境中。其中，几何表示或对应物理对象的可确定特性可以包括相对深度或距离、运动、形状、可视分类、用户在虚拟环境内的虚拟位置，或在虚拟环境内的阶段/级别。
在框730处，计算设备可以采用合成组件，诸如图2的合成组件250，以将虚拟环境和每个选择的几何表示呈现到合成虚拟环境中。在合成虚拟环境中，所选择的几何表示或其呈现版本(例如，虚拟对象)被呈现为虚拟地定位在虚拟环境内。虽然在一些实施例中，虚拟环境可以如预期的那样被呈现，但是可以通过将从环境传感器的集合接收的对应图像数据的提取部分应用到所选择的几何表示，来呈现所选择的几何表示。以该方式，每个呈现的几何表示(例如，虚拟对象)可以包括在物理环境内检测的对应物理对象的相同视觉特征(例如，颜色、纹理)。在一些实施例中，计算设备可以对虚拟环境和生成的虚拟对象中的一个或多个采用各种混合机制，来支持增加的现实感，并且维持与虚拟环境的主题一致性。如根据图3-图5描述的，计算设备可以采用混合组件，诸如混合组件254，来以期望的方式有效地混合合成虚拟环境。
在框740处，计算设备可以采用立体显示组件，诸如图2的立体显示组件260，来向HMD提供呈现的合成虚拟环境以进行显示。采用本文描述的各种技术，计算设备可以检测在用户的物理环境内的物理对象，基于与检测的物理对象相对应的深度图和/或图像数据来生成虚拟对象，并且有效地将它们混合到虚拟环境中，以便提供合成虚拟环境进行显示以经由HMD察看。
在框750处，计算设备可以采用直通组件，诸如图2的直通组件252，其可以从输入设备(例如，控制器)接收一个或多个输入。直通组件可以接收输入，来选择所接收的图像数据的部分以用于直通显示到HMD。即，除了为合成到虚拟环境中而生成的任何虚拟对象之外，直通组件可以接收一个或多个输入，这些输入定义了所接收的图像数据的要由用户察看的区域。在一些方面，可以从与计算设备配对通信的控制器接收输入。控制器的确定的相对定向和/或位置(例如，相对于HMD、用户、传感器)可以被跟踪，以使计算设备可以以控制器表现得像进入用户的物理环境的“手电筒”的方式来采用输入。类似于手电筒，控制器可以提供输入，计算设备可以采用该输入，来向用户提供物理环境的选择可见性(例如，对应的图像数据)。以该方式，用户可以保持完全沉浸在虚拟现实中，同时了解他们的物理环境。此外，本文采用的合成技术支持了改进的用户体验，使得所生成的虚拟对象不会显得被笨拙地放置，或与关联于虚拟环境的主题相比不会显得笨拙。类似地，本文描述的各种直通技术有助于自动或手动选择察看直通图像数据，使得用户可以感知与其物理环境相对应的图像数据，同时保持沉浸在虚拟现实中。
现在参考图8，计算设备800包括直接或间接耦合以下设备的总线810：存储器812、一个或多个处理器814、一个或多个呈现组件816、输入/输出端口818、输入/输出组件820以及说明性电源822。总线810表示可以是一个或多个总线(诸如，地址总线、数据总线或其组合)。尽管为了清楚起见，图8的各个框用线条表示，但实际上，描绘各个组件并不是那么清楚，并且从比喻上讲，线条将更准确地是灰色和模糊的。例如，可以将诸如显示设备的呈现组件视为I/O组件。另外，处理器具有存储器。我们认识到这是本领域的本质，并且重申图8仅仅是可以结合本发明的一个或多个实施例使用的示例性计算设备的说明。在诸如“工作站”、“服务器”、“膝上型计算机”、“手持设备”等类别之间未进行区分，因为所有这些都在图8的范围内并且可以参考“计算设备”。
计算设备800通常包括各种计算机可读介质。计算机可读介质可以是计算设备800可以访问的任何可用介质，并且包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。
计算机存储介质包括以任何方法或技术来实现的易失性和非易失性以及可移除和不可移除介质，用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息。计算机存储介质包括但不限于：RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用光盘(DVD)或其他光盘存储设备、盘式磁带、盘式磁带、磁盘存储设备或其他磁存储设备、或可以用于存储期望信息并且可以由计算设备800访问的任何其他介质。计算机存储介质不包括信号本身。
通信介质通常以调制数据信号(如载波或其他传输机制)来体现计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传送介质。术语“调制数据信号”是指具有以将信息编码为信号的方式来设置或改变其一个或多个特征的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接的有线介质，以及诸如声学、RF、红外和其他无线介质的无线介质。以上任何项的组合也应被包括在计算机可读介质的范围内。
存储器812包括具有易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移除的、不可移除的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备800包括一个或多个处理器，处理器从诸如存储器812或I/O组件820的各种实体读取数据。呈现组件816向用户或其他设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等。
I/O端口818允许计算设备800逻辑上耦合到包括I/O组件820在内的其他设备，其中一些设备可以是内置的。说明性组件包括麦克风、操纵杆、游戏手柄、碟形卫星天线、扫描仪、打印机、无线设备等。
在本文具体描述本发明的实施例的主题，以满足法定要求。然而，说明书本身并不旨在限制本专利的范围。相反，发明人已经预料到：所要求保护的主题还可以结合其他当前或未来技术以其他方式体现，以包括与本文档中所描述的步骤不同的步骤或步骤的组合。此外，尽管本文中可以使用术语“步骤”和/或“框”来表示所采用的方法的不同元素，但是除非并且除了当明确描述了各个步骤的顺序时，否则这些术语不应被解释为暗示本文所公开的各个步骤之中或之间的任何特定顺序。
出于本公开的目的，单词“包括”具有与单词“包含”相同的广义含义，并且单词“访问”包括“接收”、“引用”或“检索”。另外，除非另有相反指示，否则诸如“一”和“一个”的单词包括复数和单数。因此，例如，在存在一个或多个特征的情况下，满足“特征”的约束。同样，术语“或”包括合取范式、析取范式和两者(因此，a或b包括a或b以及a和b)。
出于上面详细讨论的目的，参考包括或耦合到虚拟化计算设备的头戴式显示单元来描述本发明的实施例；然而，本文描述的头戴式显示单元仅仅是示例性的。组件可以被配置用于执行实施例的新颖方面，其中“被配置成用于”包括被编程为使用代码来执行特定任务或实现特定抽象数据类型。此外，尽管本发明的实施例通常可以参考本文描述的头戴式显示单元和示意图，但是应当理解，所描述的技术可以被扩展到其他实现上下文。
已经关于特定实施例描述了本发明的实施例，这些特定实施例在所有方面都旨在是示例性的而非限制性的。在不脱离本发明范围的情况下，备选实施例对于本发明所属领域的普通技术人员将变得显而易见。
从前述内容可以看出，本发明非常适于实现上述所有意图和目的以及其他明显的优点和结构固有的优点。
应当理解，某些特征和子组合是有用的，并且可以在不参考其他特征或子组合的情况下采用。这是权利要求的范围所预期的并且在权利要求的范围之内。

Claims (19)

1.一种用于合成物理环境与虚拟环境的计算机实现的方法，所述方法包括：
由计算设备从环境传感器的集合接收环境传感器数据，其中所述环境传感器数据包括与所述物理环境的至少部分相关联的深度图数据；
基于所接收的所述环境传感器数据，由所述计算设备生成所述物理环境的至少所述部分的几何表示；
基于与被存储在存储器中的所述虚拟环境的全局照度相关联的颜色信息，并且还基于所生成的所述几何表示和所存储的所述虚拟环境之间的颜色通道中的分布匹配，由所述计算设备修改所生成的所述几何表示的至少一种颜色；
基于所存储的所述虚拟环境和经修改的所述几何表示的至少所选择部分，由所述计算设备呈现合成虚拟环境；以及
由所述计算设备提供所呈现的所述合成虚拟环境以用于显示给被耦合到所述计算设备的头戴式显示器HMD。
2.根据权利要求1所述的方法，其中基于从被耦合到所述计算设备的控制器或被耦合到另一计算设备的另一控制器中的一个控制器接收的输入，来选择经修改的所述几何表示的所述所选择部分。
3.根据权利要求1所述的方法，其中基于所生成的所述几何表示的至少一个确定的几何特征，来选择经修改的所述几何表示的所述所选择部分。
4.根据权利要求1所述的方法，其中基于与经修改的所述几何表示的所述所选择部分相关联的确定的距离或临近度，来选择经修改的所述几何表示的所述所选择部分，其中所述距离或临近度基于所接收的所述环境传感器数据而被确定。
5.根据权利要求4所述的方法，其中还基于与经修改的所述几何表示的所述所选择部分相关联的检测的运动，来选择经修改的所述几何表示的所述所选择部分，其中所述运动基于所接收的所述环境传感器数据而被检测。
6.根据权利要求1所述的方法，其中基于与经修改的所述几何表示的所述所选择部分相关联的确定的可视分类，来选择经修改的所述几何表示的所述所选择部分，其中所述可视分类基于所接收的所述环境传感器数据而被确定。
7.根据权利要求1所述的方法，其中基于与所述虚拟环境相关联的定义的位置或阶段，来选择经修改的所述几何表示的所述所选择部分。
8.根据权利要求1所述的方法，其中还基于混合所存储的所述虚拟环境和所生成的所述几何表示的至少所述所选择部分，来呈现所述合成虚拟环境。
9.根据权利要求8所述的方法，其中基于经修改的所述几何表示的所述所选择部分的确定几何形状，来混合所存储的所述虚拟环境和经修改的所述几何表示的至少所述所选择部分。
10.根据权利要求1所述的方法，其中所述环境传感器数据还包括图像数据。
11.根据权利要求10所述的方法，其中所述物理环境的至少所述部分的所述几何表示基于所包括的所述深度图数据和所包括的所述图像数据而被建模。
12.根据权利要求11所述的方法，其中所建模的所述几何表示基于所包括的所述图像数据而被着色和/或纹理化。
13.一种存储计算机可用指令的计算机存储介质，所述计算机可用指令在被一个或多个计算设备使用时，使所述一个或多个计算设备执行操作，所述操作包括：
从环境传感器的集合接收环境传感器数据，所述环境传感器被配置为生成与物理环境的至少部分相关联的所述环境传感器数据；
基于所接收的所述环境传感器数据，生成所述物理环境的至少所述部分的几何表示；
基于与所存储的虚拟环境的全局照度相关联的颜色信息，并且还基于所生成的所述几何表示和所述所存储的虚拟环境之间的颜色通道中的分布匹配，修改所生成的所述几何表示的至少一种颜色；
基于所述所存储的虚拟环境和经修改的所述几何表示的至少所选择部分，呈现合成虚拟环境；
从输入设备接收至少一个输入，其中所述至少一个输入定义所呈现的所述合成虚拟环境的区域；以及
提供所呈现的所述合成虚拟环境和所接收的所述环境传感器数据中所包括的图像数据的部分以用于显示给头戴式显示器HMD，其中图像数据的所述部分对应于所定义的所述区域并且被显示作为所呈现的所述合成虚拟环境的覆盖。
14.根据权利要求13所述的介质，其中基于所生成的所述几何表示的至少一个确定的几何特征，来选择经修改的所述几何表示的所述所选择部分。
15.根据权利要求13所述的介质，其中基于与经修改的所述几何表示的所述所选择部分相关联的确定的距离或临近度，来选择经修改的所述几何表示的所述所选择部分，其中所述距离或临近度基于所接收的所述环境传感器数据而被确定。
16.根据权利要求13所述的介质，其中基于与经修改的所述几何表示的所述所选择部分相关联的确定的可视分类，来选择经修改的所述几何表示的所述所选择部分，其中所述可视分类基于所接收的所述环境传感器数据而被确定。
17.根据权利要求13所述的介质，其中基于与所述虚拟环境相关联的定义的位置或阶段，来选择经修改的所述几何表示的所述所选择部分。
18.一种计算机化系统，包括：
至少一个处理器；以及
至少一种计算机存储介质，存储计算机可用指令，所述计算机可用指令在由所述至少一个处理器使用时，使所述至少一个处理器执行操作，所述操作包括：
基于所接收的环境传感器数据中所包括的深度图，来生成物理环境的至少部分的几何表示；
基于与所存储的虚拟环境的全局照度相关联的颜色信息，并且还基于所生成的所述几何表示和所述所存储的虚拟环境之间的颜色通道中的分布匹配，修改所生成的所述几何表示的至少一种颜色；
生成所存储的虚拟环境和至少一个虚拟对象的合成虚拟环境，所述至少一个虚拟对象基于经修改的所述几何表示而被生成，所述合成虚拟环境被生成以用于显示给HMD。
19.根据权利要求18所述的系统，所述操作还包括：
选择所述所接收的环境传感器数据中所包括的图像数据的部分，以显示作为到所生成的所述合成虚拟环境的覆盖，其中图像数据的所述部分基于经由输入设备接收的一个或多个输入而被选择。
CN202080029422.5A 2019-04-22 2020-03-17 将虚拟环境与情境物理现实相混合 Active CN113711165B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/390,222 US11004269B2 (en) 2019-04-22 2019-04-22 Blending virtual environments with situated physical reality
US16/390,222 2019-04-22
PCT/US2020/023032 WO2020219180A1 (en) 2019-04-22 2020-03-17 Blending virtual environments with situated physical reality

Publications (2)

Publication Number Publication Date
CN113711165A CN113711165A (zh) 2021-11-26
CN113711165B true CN113711165B (zh) 2024-05-28

Family

ID=70285864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080029422.5A Active CN113711165B (zh) 2019-04-22 2020-03-17 将虚拟环境与情境物理现实相混合

Country Status (7)

Country Link
US (2) US11004269B2 (zh)
EP (1) EP3959584A1 (zh)
CN (1) CN113711165B (zh)
AU (1) AU2020260956A1 (zh)
CA (1) CA3132796A1 (zh)
MX (1) MX2021012844A (zh)
WO (1) WO2020219180A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182976B2 (en) * 2016-06-06 2021-11-23 Devar Entertainment Limited Device for influencing virtual objects of augmented reality
JP7296406B2 (ja) * 2019-01-28 2023-06-22 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
US11847297B2 (en) * 2019-07-10 2023-12-19 MECLOUDS Inc. Method of providing real-time VR service through avatar
US11307647B2 (en) * 2019-09-11 2022-04-19 Facebook Technologies, Llc Artificial reality triggered by physical object
US11410387B1 (en) 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
US11200745B2 (en) 2020-01-27 2021-12-14 Facebook Technologies, Llc. Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality
US11113891B2 (en) * 2020-01-27 2021-09-07 Facebook Technologies, Llc Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
US11210860B2 (en) 2020-01-27 2021-12-28 Facebook Technologies, Llc. Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality
US11670190B1 (en) * 2020-02-03 2023-06-06 Architecture Technology Corporation Training apparatus using augmented and virtual reality
US11451758B1 (en) 2020-02-12 2022-09-20 Meta Platforms Technologies, Llc Systems, methods, and media for colorizing grayscale images
US11423621B1 (en) * 2020-05-21 2022-08-23 Facebook Technologies, Llc. Adaptive rendering in artificial reality environments
CN112562051B (zh) * 2020-11-30 2023-06-27 腾讯科技（深圳）有限公司 虚拟对象显示方法、装置、设备及存储介质
US20220264255A1 (en) * 2021-02-15 2022-08-18 Craig Walden Grass Network unilateral communication location electronic underpinning system
WO2023225777A1 (zh) * 2022-05-23 2023-11-30 伊甸数位股份有限公司 将现实物件转换为虚拟实境的虚拟物件的方法
GB2619552A (en) * 2022-06-10 2023-12-13 Sony Interactive Entertainment Europe Ltd Computer implemented method and system for providing an augmented reality entertainment environment
US11842455B1 (en) * 2022-06-20 2023-12-12 International Business Machines Corporation Synchronizing physical and virtual environments using quantum entanglement
US11960082B2 (en) * 2022-07-13 2024-04-16 Htc Corporation Virtual reality system and object detection method applicable to virtual reality system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107636585A (zh) * 2014-09-18 2018-01-26 谷歌有限责任公司 通过在虚拟现实环境内部绘图而进行的三维时尚对象的产生
CN107667331A (zh) * 2015-05-28 2018-02-06 微软技术许可有限责任公司 共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
KR101845231B1 (ko) * 2011-06-14 2018-04-04 삼성전자주식회사 영상 처리 장치 및 방법
US9704295B2 (en) * 2013-11-05 2017-07-11 Microsoft Technology Licensing, Llc Construction of synthetic augmented reality environment
US9204018B2 (en) * 2014-01-21 2015-12-01 Carbon Objects, Inc. System and method of adjusting the color of image objects based on chained reference points, gradient characterization, and pre-stored indicators of environmental lighting conditions
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10210670B2 (en) * 2014-10-15 2019-02-19 Seiko Epson Corporation Head-mounted display device, method of controlling head-mounted display device, and computer program
US9779512B2 (en) * 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
US10297068B2 (en) * 2017-06-06 2019-05-21 Adshir Ltd. Method for ray tracing augmented objects
NZ745790A (en) * 2016-03-15 2023-04-28 Magic Leap Inc Direct light compensation technique for augmented reality system
US10665019B2 (en) 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality
US20170287215A1 (en) * 2016-03-29 2017-10-05 Google Inc. Pass-through camera user interface elements for virtual reality
US10338392B2 (en) * 2016-06-13 2019-07-02 Microsoft Technology Licensing, Llc Identification of augmented reality image display position
US10867416B2 (en) * 2017-03-10 2020-12-15 Adobe Inc. Harmonizing composite images using deep learning
US10803663B2 (en) 2017-08-02 2020-10-13 Google Llc Depth sensor aided estimation of virtual reality environment boundaries
US10616033B2 (en) * 2017-11-06 2020-04-07 Honda Motor Co., Ltd. Different perspectives from a common virtual environment
US10600239B2 (en) * 2018-01-22 2020-03-24 Adobe Inc. Realistically illuminated virtual objects embedded within immersive environments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107636585A (zh) * 2014-09-18 2018-01-26 谷歌有限责任公司 通过在虚拟现实环境内部绘图而进行的三维时尚对象的产生
CN107667331A (zh) * 2015-05-28 2018-02-06 微软技术许可有限责任公司 共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全

Also Published As

Publication number Publication date
MX2021012844A (es) 2021-11-25
US20210241536A1 (en) 2021-08-05
US11580704B2 (en) 2023-02-14
WO2020219180A1 (en) 2020-10-29
US20200334908A1 (en) 2020-10-22
CN113711165A (zh) 2021-11-26
US11004269B2 (en) 2021-05-11
EP3959584A1 (en) 2022-03-02
CA3132796A1 (en) 2020-10-29
AU2020260956A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
CN113711165B (zh) 将虚拟环境与情境物理现实相混合
US10885710B2 (en) Reality-guided roaming in virtual reality
US11257233B2 (en) Volumetric depth video recording and playback
AU2022256192B2 (en) Multi-sync ensemble model for device localization
Sugano et al. The effects of shadow representation of virtual objects in augmented reality
US20240062413A1 (en) Methods and Devices for Detecting and Identifying Features in an AR/VR Scene
CN103761085B (zh) 混合现实全息对象开发
EP3321889A1 (en) Device and method for generating and displaying 3d map
JP7008733B2 (ja) 挿入される画像コンテンツについての影生成
JP2013506226A (ja) 仮想環境との相互作用のためのシステム及び方法
US20110102460A1 (en) Platform for widespread augmented reality and 3d mapping
WO2016122973A1 (en) Real time texture mapping
US20230068042A1 (en) Systems and methods for augmented reality
CN107168534B (zh) 一种基于cave系统的渲染优化方法及投影方法
WO2023056544A1 (en) Object and camera localization system and localization method for mapping of the real world
JP7073481B2 (ja) 画像表示システム
JP2021527252A (ja) 自動化された表面選択設置およびコンテンツ配向設置を用いた拡張現実ビューア
KR20110107691A (ko) 공간 증강 현실 기반 인터랙티브 디스플레이 방법
EP4134917A1 (en) Imaging systems and methods for facilitating local lighting
US20210373649A1 (en) Attaching Extended Reality (XR) Content To Physical Points Of Interest
JP2023171298A (ja) 拡張現実及び複合現実のための空間とコンテンツの適合
US11893207B2 (en) Generating a semantic construction of a physical setting
US11315334B1 (en) Display apparatuses and methods incorporating image masking
US20220335675A1 (en) Physical phenomena expressing method for expressing the physical phenomeana in mixed reality, and mixed reality apparatus that performs the method
US20240078767A1 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant