CN113711109A - 具有直通成像的头戴式显示器 - Google Patents

具有直通成像的头戴式显示器 Download PDF

Info

Publication number
CN113711109A
CN113711109A CN202080030592.5A CN202080030592A CN113711109A CN 113711109 A CN113711109 A CN 113711109A CN 202080030592 A CN202080030592 A CN 202080030592A CN 113711109 A CN113711109 A CN 113711109A
Authority
CN
China
Prior art keywords
environment
image data
user
camera
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080030592.5A
Other languages
English (en)
Inventor
C·N·洛尔
G·W·斯托尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valve Corp
Original Assignee
Valve Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valve Corp filed Critical Valve Corp
Publication of CN113711109A publication Critical patent/CN113711109A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请描述了一种用于虚拟现实(VR)环境的头戴式显示器(HMD)。本文所述的系统和方法可确定关于用户周围的现实世界环境、用户在现实世界环境内的定位和/或用户在现实世界环境内的姿态的信息。此类信息可允许该HMD以直通的方式显示现实世界环境的图像，而不使用户从该VR环境中分心。在一些情况下，该HMD可基于一个或多个触发事件来直通现实世界环境的图像。

Description

具有直通成像的头戴式显示器
相关申请的交叉引用
本PCT申请要求2020年4月14日提交的美国专利申请序列号16/848,332的优先权，该美国专利申请要求2019年4月23日提交的美国临时专利申请序列号62/837,668的优先权。申请序列号16/848,332和62/837,668全部内容以引用方式并入本文。
背景技术
头戴式显示器用于各种应用，包括工程、医疗、军事和视频游戏。在一些情况下，头戴式显示器可将信息或图像作为虚拟现实或增强现实环境的一部分呈现给用户。例如，在玩视频游戏时，用户可佩戴头戴式显示器以使该用户沉浸在虚拟环境内。尽管头戴式显示器提供了沉浸式体验，但其阻挡了对物理世界或现实世界的查看。因此，用户可能发现难以拾取对象(例如，控制器)和/或识别现实世界内的其他个体。另外，用户可能意识不到现实世界内的物理边界(例如，墙壁)。虽然摘下头戴式显示器可允许用户看到现实世界，但不断地取下并重新戴上头戴式显示器可能使人感到乏味，可能需要用户在虚拟环境和现实世界之间重新定位自己和/或可能以其他方式使用户从虚拟现实体验中分心。
附图说明
参考附图描述了具体实施方式。在这些图中，附图标记的最左边数字标识首次出现该附图标记的图。在不同附图中相同或类似的附图标记表示相似或相同的物件。
图1示出了根据本公开的示例性实施方案在示例性环境中佩戴示例性头戴式显示器的用户。
图2是根据本公开的一个实施方案的图1的头戴式显示器的立体图。
图3示出了根据本公开的一个实施方案佩戴图1的头戴式显示器的用户，并且该头戴式显示器呈现直通图像。
图4示出了根据本公开的一个实施方案佩戴图1的头戴式显示器的用户，并且该头戴式显示器呈现直通图像。
图5示出了根据本公开的一个实施方案使用图1的头戴式显示器来呈现直通图像的示例性过程。
图6示出了根据本公开的一个实施方案使用图1的头戴式显示器来呈现直通图像的示例性过程。
具体实施方式
用户佩戴头戴式显示器以查看虚拟现实环境中的内容并与之交互。为了提供沉浸式体验，头戴式显示器可覆盖用户的大部分或甚至所有视野。这样，头戴式显示器可阻挡用户的视线，使其无法看到现实世界，从而可能导致用户被对象绊倒、撞到家具、注意不到现实世界内的个体等。虽然摘除头戴式显示器允许用户看到现实世界，但是需要用户分别在虚拟现实环境和现实世界之间重新定位自己。一些头戴式显示器可包括例如护目镜，该护目镜可打开以允许用户查看现实世界。然而，这种解决方案中断了用户在虚拟现实环境内的沉浸感。
为了克服这些缺陷，一些头戴式显示器可实现直通成像，该直通成像允许相应的用户在不摘下其相应的头戴式显示器的情况下查看现实世界。然而，现有的直通成像往往表现出相当粗略的响应时间，可能无法从用户的视角或视点描绘现实世界和/或可能失真。因此，用户可能会失衡、头晕、迷失方向，甚至生病。
本申请部分地描述了一种用于虚拟现实(VR)环境的头戴式显示器(HMD)。本文所述的系统和方法可确定关于用户周围的现实世界环境、用户在现实世界环境内的定位和/或用户在现实世界环境内的姿态的信息。此类信息可允许该HMD以直通的方式显示现实世界环境的图像，而不使用户从该VR环境中分心。在一些情况下，该HMD可基于一个或多个触发事件来直通现实世界环境的图像。例如，当用户佩戴了HMD并且沉浸在VR环境内时，用户可致动允许用户在现实世界环境内查看四周的按钮。作为另一个示例，如果用户听到可疑或感兴趣的东西，如果用户想要确定物件(例如，控制器)在现实世界环境中的位置和/或如果访客进入用户附近的区域，HMD可显示与现实世界环境相关联的内容。在一些情况下，可以美观的方式将内容提供给用户，以限制用户从VR环境中分心。例如，可将内容作为与VR环境相关联的虚拟内容的叠加来提供。在这种情况下，用户可继续佩戴HMD并且保持沉浸在VR环境内。因此，当在现实世界环境和VR环境之间转换或显示内容时，根据本申请的HMD可提升用户体验。
HMD可包括前部，该前部具有佩戴在用户的面部位于眼睛附近的显示器。显示器可输出图像(或其他内容)以供用户查看。作为一个示例，用户可佩戴HMD来玩游戏或查看媒体内容(例如，电影)。
HMD可包括相机，该相机捕获现实世界环境的图像。在一些情况下，相机可安装到显示器和/或可容纳在HMD的前部内。除此之外或另选地，相机可朝前以捕获HMD外部和用户前面的图像。此外，在一些情况下，相机可与HMD分开并且放置在整个环境中或用户的其他部位(例如，腰部)上。
在一些情况下，相机可在空间上分开，使得相机的光轴平行并且按已知距离分开。因此，相机可从稍微不同的视点捕获现实世界环境的图像。视点之间的信息多样性可用于计算现实世界环境的深度信息(即，立体相机成像)。例如，HMD和/或通信地耦合的计算设备(例如，游戏机、个人计算机等)可使用由相机捕获的图像数据来生成与现实世界环境相关联的深度信息。
例如，相机可包括在HMD的前部上彼此水平和/或垂直移位的第一相机和第二相机。在一些情况下，第一相机可位于HMD第一侧面的前部上，而第二相机可位于HMD第二侧面的前部上。然而，如上所述，第一相机和第二相机可位于环境内的其他地方和/或用户的其他部位上。
由第一相机和/或第二相机捕获的图像数据可表示现实世界环境(例如，房间)的不同视图。通过比较由第一相机和/或第二相机捕获的图像(或图像数据)，HMD(和/或其他通信地耦合的计算设备)可确定差别或差异(例如，使用差异映射算法)。这些差异可表示两个图像中对应图像点的坐标的差别。由于这些差异(或差异值)与现实世界环境内的深度成反比，因此HMD和/或其他通信地耦合的计算设备(诸如游戏机)可确定与现实世界环境(或其一部分)相关联的深度信息。在一些情况下，深度信息可来自用户的视角(即，用户的注视)。
HMD和/或其他通信地耦合的计算设备(诸如游戏机)可使用深度信息来生成现实世界环境(或其一部分)的深度图或三维(3D)网格。例如，深度图可表示用户与现实世界环境内的对象(例如，房间的墙壁、家具等)之间的距离。除此之外或另选地，HMD可包括用于生成深度图和/或3D的其他传感器。例如，HMD可包括确定用户与现实世界环境中的对象之间的距离的深度传感器，并且可确定用户与现实世界环境的对象或边界的接近(例如，预定接近度或阈值接近度)。然而，除此之外或另选地，HMD或游戏机可使用光探测和测距(LIDAR)、超声波测距、体视测距、结构光分析、点投影、粒子投影、飞行时间观测等，用于生成深度图和/或3D网格。
在生成现实世界环境的深度图和/或3D网格后，HMD和/或其他通信地耦合的计算设备(诸如游戏机)可将图像数据投影到该深度图和/或3D网格上。在这个意义上，图像数据可首先用于生成深度图和/或3D网格，其次可重叠、叠加或投影到深度图和/或3D网格上。在此情况下，HMD可向用户显示描绘现实世界环境的内容。
在一些情况下，可修改深度图、3D网格和/或由第一相机和/或第二相机捕获的图像以考虑用户的姿态或视点。例如，由于相机可不与用户的眼睛(例如，在水平、垂直和深度方向上)对准(即，相机不在用户的眼睛的确切位置中)，因此深度图和/或3D网格可考虑这种差异。换句话说，由第一相机和第二相机捕获的图像数据可表示与用户的视点不同的视点。考虑不到这种差异可能示出有瑕疵的现实世界环境，并且由于深度值或图像数据并非来自用户的视点，因此用户可能发现难以拾取对象。例如，因为相机从与用户的眼睛的视角和/或深度不同的视角和/或深度捕获图像数据(即，相机在水平、垂直和/或深度方向上与用户的眼睛不在相同的位置)，所以3D网格可考虑这种偏移以准确地描绘并向用户呈现现实世界环境的未失真视图。也就是说，深度图、3D网格和/或图像数据可至少部分地基于第一相机和第二相机与用户的眼睛(例如，第一只眼睛和/或第二只眼睛)或视点的坐标位置(或定位)的差别(或偏移)进行修改。因此，显示给用户的现实世界环境的图像可从用户的视点准确地表示现实世界环境中的对象。
除此之外或另选地，在一些情况下，HMD和/或现实世界环境可包括跟踪用户的注视、视点和/或视野的传感器。例如，HMD可包括测量用户眼睛瞳孔之间的距离的瞳孔间距(IPD)传感器和/或检测用户眼睛注视方向的其他传感器。此类传感器可用于确定用户的视点，以向用户准确地描绘现实世界环境的图像。
直通成像可允许用户与现实世界环境中的对象(诸如同事、计算机屏幕、移动设备等)交互并查看这些对象。在一些情况下，用户可在VR环境和现实世界环境之间切换或转换，或者HMD可响应于一个或多个触发事件在VR环境和现实世界环境之间自动转换。也就是说，HMD可包括一个或多个模式，诸如将现实世界环境呈现给用户的直通模式和/或将VR环境呈现给用户的虚拟现实模式。作为一个示例，用户在佩戴HMD时可能想要喝水。用户可致动(例如，双按)HMD上的使得现实世界环境显示的按钮，而不是摘下HMD。进而，显示器可呈现现实世界环境的图像以允许用户确定其一杯水的位置，而不取下HMD。之后，在定位该一杯水之后，用户可致动该按钮(例如，单按)以使显示器呈现VR环境的虚拟内容。这样，表示现实世界环境的直通图像可允许用户围绕现实世界环境移动以确定对象(例如，家具)的位置，而不会碰撞到对象。作为另一个示例，直通图像可表示进入用户的现实世界环境中的另一个体。此时，HMD可检测另一个体并且可将图像呈现在显示器上，使得用户可识别或意识到另一个体。
在一些情况下，与显示给用户的现实世界环境相关联的内容可以是部分透明的，以维持用户在VR环境中的感觉。在一些情况下，与现实世界环境相关联的内容可与虚拟内容组合，或者可仅呈现与现实世界环境相关联的内容(例如，100％直通成像)。除此之外或另选地，在一些情况下，由相机捕获的图像可呈现在整个显示器上，或者可呈现在特定部分内。此外，在一些情况下，与现实世界环境相关联的内容可用点状线显示，以向用户指示哪些内容是现实世界环境的一部分以及哪些内容是VR环境的一部分。这种呈现可允许用户看到接近的个体、骚动和/或用户周围的对象。不管特定具体实施或配置如何，HMD可用于显示与现实世界环境相关联的内容，以警告、检测或以其他方式识别进入用户视野内的对象。
在一些情况下，HMD和/或与VR环境相关联的其他计算设备(诸如游戏机)可结合现实世界环境内的跟踪系统进行操作。跟踪系统可包括跟踪用户在现实世界环境内的位置的传感器。当用户沉浸在VR环境中时，这种跟踪可用于确定关于用户周围的现实世界环境的信息，诸如用户在环境内的定位和/或用户的姿态或视点。在现实世界环境内，跟踪系统可确定用户的定位和/或姿态。在一些情况下，跟踪系统可确定用户相对于现实世界环境的中心的定位和/或姿态。
在一些情况下，跟踪系统可包括将光(例如，可见光或不可见光)发射到现实世界环境中的照明元件和检测入射光的传感器。在一些情况下，为了检测用户的定位和/或姿态，HMD可包括信标器。在将光投影到现实世界环境中后，信标器可反射光并且传感器可捕获由信标器反射的入射光。捕获的入射光可用于跟踪和/或确定信标器在环境内的定位，该定位可用于确定用户的定位和/或姿态。
在一些情况下，用户在现实世界环境内的定位和/或姿态可用于向用户呈现警告、指示或内容。例如，如果用户正在接近现实世界环境的墙壁，知道用户和墙壁的定位(经由跟踪系统)，则HMD可显示表示现实世界环境内的墙壁的图像。也就是说，作为使用由相机捕获的图像来确定用户正在接近墙壁(即，经由深度值)的补充或替代，跟踪系统可确定用户在现实世界环境内的相对定位。这种跟踪可有助于准确地呈现对应于现实世界环境内的对象的深度(或放置)的图像。
此外，从跟踪系统获得的图像或数据可用于生成现实世界环境的3D模型(或网格)。例如，知道用户、HMD、跟踪系统、游戏机和/或其他通信地耦合的计算设备的定位和/或姿态可确定用户在现实世界环境内的相对定位。可利用用户的这个定位和/或姿态来确定用户正在查看的现实世界环境的3D模型的对应部分(即，用户的视野)。例如，当相机捕获与用户的视点不相关的图像时，跟踪系统可确定用户的注视、姿态或视点。此类信息可用于确定用户在现实世界环境内正在查看的位置。知道用户在现实世界环境中的位置可用来修改由相机捕获的图像。在此情况下，HMD可准确地显示现实世界环境。
HMD、跟踪系统、游戏机和/或其他通信地耦合的计算设备还可将使用相机的图像数据生成的深度图和/或3D网格与3D模型进行比较，以确定用户在现实世界环境内的相对定位。不管特定具体实施如何，知道用户在现实世界环境内的定位和/或姿态，HMD和/或其他通信地耦合的计算设备可将深度图的点和/或3D网格的点转换到现实世界环境的3D模型上。进而，由相机捕获的图像可被投影到对应于用户视点的3D模型上。
因此，鉴于上述内容，本申请讨论了提供直通成像以增强VR体验的HMD。当显示VR环境的内容和与现实世界环境相关联的内容时，直通成像可提供相对流畅的体验。这种直通成像为查看与现实世界环境相关联的内容提供了一种侵入性和干扰性较少的解决方案。在一些情况下，响应于触发(包括但不限于运动、声音、手势、预配置事件、用户移动改变等)，可选择性地向用户提供与现实世界环境相关联的信息或内容。此外，在一些情况下，根据本申请的HMD可采取多种形式，包括头盔、护目镜、防护眼镜、面罩、眼镜以及佩戴在用户头部上的其他头部或眼睛配饰。
本公开提供了对本文公开的结构、功能、设备和系统的原理的总体理解。附图中示出了本公开的一个或多个示例。这些本领域的普通技术人员将理解，在本文中具体描述并在附图中示出的设备和/或系统是非限制性实施方案。结合一个实施方案示出或描述的特征可与其他实施方案的特征组合，包括系统和方法之间的特征。此类修改和变化旨在包括在所附权利要求的范围内。
图1示出了驻留在环境102内并佩戴HMD 104的用户100。在一些情况下，用户100可佩戴HMD 104以使用户100沉浸在VR环境内。在一些情况下，用户100可使用一个或多个控制器106在VR环境内交互。HMD 104包括用于向用户100提供虚拟内容和/或图像的显示器108，并且在一些情况下，包括图像捕获设备，诸如第一相机110和/或第二相机112。
第一相机110和/或第二相机112可捕获环境102的图像并将环境102的图像直通到用户100以在显示器108上查看。也就是说，并且如本文详细讨论的，由第一相机110和/或第二相机112捕获的图像可以直通的方式呈现给用户100，以允许用户100在不必脱离VR环境和/或摘下HMD 104的情况下查看环境102。
在一些情况下，第一相机110和/或第二相机112可设置在HMD 104的前部内或附近。在一些情况下，第一相机110和/或第二相机112可表示立体相机、红外(IR)相机、深度相机和/或它们的任何组合。由第一相机110和/或第二相机112捕获的图像可表示用户100周围的环境102。在一些情况下，第一相机110和/或第二相机112可朝前以捕获在用户100前面的环境102的图像。在一些情况下，第一相机110和/或第二相机112可在空间上分开，使得它们的光轴平行。因此，由第一相机110和/或第二相机112捕获的图像可表示来自不同角度的环境102，并且可用于确定与环境102相关联的深度信息(即，立体相机成像)。然而，在一些情况下，第一相机110和/或第二相机112可位于环境102内的其他地方。例如，第一相机110和/或第二相机112可位于环境102的地板上，可位于环境102内的桌子上等。
如图所示，HMD 104可包括执行或以其他方式执行与HMD 104相关联的操作的处理器114。例如，处理器114使得第一相机110和/或第二相机112捕获图像，并且随后可接收由第一相机110和/或第二相机112捕获的图像，比较图像(或图像数据)并且确定它们之间的差别。由于该差别与环境102内对象的深度成反比，因此处理器114可确定与环境102(例如，墙壁、家具、电视等)相关联的深度信息。
在一些情况下，处理器114可使用深度信息来生成环境102的深度图或3D网格。例如，如图所示，HMD 104包括存储器116，该存储器存储或以其他方式访问环境102的深度图118和/或环境102的3D网格120。由于由第一相机110和/或第二相机112捕获的图像数据表示环境102的一部分，因此深度图118和/或3D网格120可对应地表示环境102的一部分。在一些情况下，在生成深度图118和/或3D网格120后，处理器114可将深度图118和/或3D网格120存储在存储器116内。
由于由第一相机110和/或第二相机112捕获的图像数据、深度图和/或3D网格不是来自用户100的视角(即，用户100的视点)，因此HMD 104(和/或其他通信地耦合的计算设备)可考虑第一相机110和/或第二相机112相对于用户100的视角(例如，分别相对于第一只眼睛和/或第二只眼睛)的放置。也就是说，无论位于HMD 104上还是位于环境内的其他地方，第一相机110和/或第二相机112都不捕获对应于用户100的视点和/或用户100的视角的图像。因此，图像数据或深度图和/或3D网格内的点可被修改或偏移以考虑位移。
在一些情况下，HMD 104可结合跟踪系统122进行操作。在一些情况下，HMD 104可通过网络124通信地耦合到跟踪系统122。例如，HMD 104和跟踪系统122可分别包括一个或多个接口，诸如网络接口126和/或网络接口128，以促进与网络124的无线连接。网络124表示任何类型的通信网络，包括数据和/或语音网络，并且可使用有线基础设施(例如，电缆、CAT5、光纤电缆等)、无线基础设施(例如，RF、蜂窝、微波、卫星、蓝牙等)和/或其他连接技术来实现。
跟踪系统122可包括确定或跟踪环境102内的用户100、HMD 104、第一相机110和/或第二相机112的姿态的部件。在这个意义上，跟踪系统122可在第一相机110和/或第二相机112捕获环境102的图像以直通到用户100的时间时，确定用户100、HMD 104、第一相机110和/或第二相机112的定位、取向和/或姿态。例如，跟踪系统122(和/或其他计算设备)可分析并解析由跟踪系统122捕获的图像以识别环境102内的用户100和/或用户100的姿态。例如，在一些情况下，跟踪系统122可包括操作以确定用户100的定位、取向和/或姿态的投影仪130和/或传感器132。如图所示，并且在一些情况下，跟踪系统122可安装到环境102的墙壁。除此之外或另选地，跟踪系统122可安装在环境102内的其他地方(例如，天花板、地板等)。
投影仪130被配置为生成光和/或图像并将其投影到环境102中。在一些情况下，图像可包括用户100可感知的可见光图像、用户100不可感知的可见光图像、具有非可见光的图像或它们的组合。投影仪130可用能够生成图像并将其投影到环境102内/中的任何数量的技术来实现。合适的技术包括：数字微镜器件(DMD)、硅基液晶显示器(LCOS)、液晶显示器、3LCD等。
传感器132可包括：高分辨率相机、红外(IR)探测器、传感器、3D相机、IR相机、RGB相机等。传感器132被配置为以可见光波长、非可见光波长或两者来对环境102成像。传感器132可被配置为捕获用于检测环境102内的对象的深度、定位、取向和/或姿态的信息。例如，当用户100围绕环境102进行操纵时，传感器132可检测用户100的位置、取向和/或姿态。在一些情况下，传感器132可捕获环境102内的一些或所有的角度和位置。另选地，传感器132可聚焦或捕获环境102的预定区域内的图像。
投影仪130和/或传感器132可结合HMD 104的信标器134进行操作。例如，跟踪系统122可经由投影仪130将光投影到环境102中，并且传感器132可捕获信标器134的反射的图像。跟踪系统122(诸如跟踪系统122的处理器136)可使用所捕获的图像来确定到信标器134的距离信息。除此之外或另选地，跟踪系统122可检测环境102内的用户100的姿态(例如，取向)。在一些情况下，信标器134可用于确定用户100的视点。例如，信标器134与用户100的眼睛之间的距离可以是已知的。在捕获信标器134的图像数据时，跟踪系统122(和/或其他通信地耦合的计算设备)可确定用户100的相对视点。因此，跟踪系统122可利用HMD 104的信标器134来确定用户100在环境102内的相对定位和/或姿态。
为了定义或确定关于环境102的特性，在启动游戏应用程序后，HMD 104可请求用户100定义环境102的边界、周边或区域，当用户100沉浸在VR环境中时可在该区域中进行操纵。作为一个示例，处理器114可使显示器108向用户100呈现指令，以使该用户围绕环境102走动并且定义环境102的边界(或区域，当用户100沉浸在VR环境中时将在该区域中进行操纵)。当用户100围绕环境102走动时，HMD 104可经由第一相机110和/或第二相机112捕获环境102的图像，并且跟踪系统122可跟踪用户100。其中，在确定环境102的边界后，跟踪系统122可确定区域的中心定位(例如，原点)。知道区域的中心定位可允许HMD 104正确地显示环境102内的对象或场景的相对定位。在一些情况下，中心定位可表示为(X,Y,Z)笛卡尔坐标系中的(0,0,0)。
在一些情况下，跟踪系统122可将边界和/或中心定位传输到HMD 104。例如，HMD104的处理器114可将边界和/或中心原点存储在存储器116中，该边界如边界138所指示。除此之外或另选地，在一些情况下，由第一相机110和/或第二相机112捕获的图像可与由跟踪系统122捕获的图像相关联。例如，在定义区域时，使用由第一相机110和/或第二相机112捕获的图像，可生成环境102的深度图。这些深度图可对应地与环境102内的某些定位/姿态相关联，如通过在整个环境102中跟踪用户100来确定的。在一些情况下，这些深度图可被组合或以其他方式用于生成环境102的3D模型或网格。在从HMD 104和/或跟踪系统122接收后续图像数据时，可确定用户100在环境102内的定位，该定位可有助于确定环境102内以及来自用户的视角、定位或姿态的深度信息。例如，由于由第一相机110和/或第二相机112捕获的图像数据不对应于用户100的视点，因此跟踪系统122可经由从信标器134捕获的图像来确定用户100的视点。使用该视点，可修改由第一相机110和/或第二相机112捕获的图像数据以表示用户100的视点。
例如，当用户100参与到VR环境中并且围绕环境102进行操纵时，跟踪系统122可通过将来自信标器134的反射光与中心定位进行比较来确定HMD 104在环境102内的相对定位。使用该信息，HMD 104、跟踪系统122和/或其他通信地耦合的计算设备(例如，游戏机)可确定HMD 104距中心定位的距离或HMD 104相对于中心定位的定位。另外，HMD 104、跟踪系统122和/或其他通信地耦合的计算设备可确定姿态，诸如环境102内的用户100的视点。例如，跟踪系统122可确定用户100正看向环境102的天花板、墙壁或地板。此类信息可用于修改或以其他方式考虑第一相机110和/或第二相机112相对于用户的眼睛或视点的位置。
在一些情况下，跟踪系统122可耦合到具有固定取向的底盘，或者底盘可耦合到致动器140，使得底盘可移动。致动器140可包括压电致动器、马达、线性致动器以及被配置为移位或移动跟踪系统122的底盘或部件的其他设备，诸如投影仪130和/或传感器132。
除此之外或另选地，HMD 104可结合远程计算资源142进行操作。跟踪系统122还可通信地耦合到远程计算资源142。在一些示例中，假定远程计算资源142可具有远远超过HMD104和/或跟踪系统122的计算能力，则HMD 104和/或跟踪系统122可通信地耦合到远程计算资源142。因此，HMD 104和/或跟踪系统122可利用远程计算资源142来执行相对复杂的分析和/或生成环境102的图像数据模型(或网格)。例如，第一相机110和/或第二相机112可捕获图像数据，并且HMD 104可将该图像数据通过网络124提供给远程计算资源142以用于分析和处理。在一些情况下，远程计算资源142可将内容传输到HMD 104以用于显示。例如，响应于将HMD 104配置为直通由第一相机110和/或第二相机112捕获的图像的触发事件(例如，按钮按压)，远程计算资源142可传输深度图、3D网格和/或3D模型，HMD 104将由第一相机110和/或第二相机112捕获的图像投影到该模型上。这样，由第一相机110和/或第二相机112捕获的用于传递到用户100的图像可被传输到远程计算资源142以用于处理，并且HMD104可接收将在显示器108上显示的内容。
如图所示，远程计算资源142包括处理器144和存储器146，该存储器可存储或以其他方式访问参考HMD 104的存储器116描述的部件中的一些或所有部件。例如，存储器146可访问并利用深度图118、3D网格120和/或边界138。除此之外或另选地，远程计算资源142可存储或以其他方式访问跟踪系统122的存储器148。
在一些情况下，远程计算资源142可远离环境102，并且HMD 104可经由网络接口126并通过网络124通信地耦合到远程计算资源142。远程计算资源142可被实现为一个或多个服务器，并且在一些情况下可形成网络可访问计算平台的一部分，该网络可访问计算平台被实现为处理器、存储器、软件、数据访问等的计算基础设施，该计算基础设施可通过网络(诸如互联网)进行维护和访问。远程计算资源142不需要终端用户了解提供服务的系统的物理定位和配置。与这些远程计算资源142相关联的通用表达可包括“按需计算”、“软件即服务(SaaS)”、“平台计算”、“网络可访问平台”、“云服务”、“数据中心”等。
在一些情况下，环境102可包括计算机150(或游戏应用程序、游戏机、游戏系统)，该计算机经由网络124和/或有线技术通信地耦合到HMD 104、控制器106、跟踪系统122和/或远程计算资源142。在一些情况下，计算机150可执行本文描述的过程中的一些或所有过程，诸如可由HMD 104、控制器106、跟踪系统122和/或远程计算资源142执行的那些过程。例如，计算机150可修改从第一相机110和/或第二相机112接收的图像数据或与其相关的深度图以考虑用户100的视点。在这种情况下，计算机150可从跟踪系统122确定或接收关于用户100的视点和/或用户所定位区域的原点(例如，现实世界环境的原点)和/或虚拟世界的原点的指示。因此，计算机可基于从跟踪系统122接收的指示来修改从第一相机110和/或第二相机112接收的图像数据或与其相关的深度图。在一些实施方案中，由相机110、112中的一个或两个相机捕获图像数据的时间(例如，时间戳)可用于确定捕获图像数据的时间与显示所捕获的图像数据的时间之间的时间差。例如，最终显示给用户显示的图像数据可在由相机110和/或112捕获图像数据之后延迟数十毫秒。可对图像数据进行调整以考虑这种时间的差异或不一致，诸如通过修改像素数据(例如，通过旋转调整和/或平移调整)，以便在图像显示在HMD上时的时间时，按照图像在物理世界中的样子来呈现这些图像，这就避免了呈现的图像似乎落后于用户的头部运动的情况。在一些实施方案中，可跟踪相机110和/或112以维持时间戳信息，使得相机在捕获图像的时间时的姿态是已知的，并且使得相机在所得图像数据被接收并被处理的时间时的姿态可用于在空间上准确地表示图像，而不依赖于相机运动。此外，计算机150可存储或以其他方式访问参考存储器116、146和/或148描述的部件中的一些部件或所有部件。
如本文所使用的，处理器诸如处理器114、136、144和/或计算机的处理器可包括多个处理器和/或具有多个内核的处理器。此外，处理器可包括一个或多个不同类型的内核。例如，处理器可包括应用程序处理器单元、图形处理单元等。在一个具体实施中，处理器可包括微控制器和/或微处理器。处理器可包括图形处理单元(GPU)、微处理器、数字信号处理器或本领域已知的其他处理单元或部件。另选地或除此之外地，本文所述的功能可至少部分地由一个或多个硬件逻辑部件执行。例如但不限于：可使用的例示性类型的硬件逻辑部件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂的可编程逻辑器件(CPLD)等。另外，处理器中的每个处理器可拥有自己的本地存储器，这些存储器也可存储程序部件、程序数据和/或一个或多个操作系统。
如本文所使用的，存储器诸如存储器116、146、148和/或计算机150的存储器可包括易失性和非易失性存储器、可移动和不可移动介质，这些存储器和介质以用于存储信息(诸如计算机可读指令、数据结构、程序部件或其他数据)的任何方法或技术来实现。这种存储器可包括但不限于RAM、ROM、EEPROM、闪存存储器或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储装置、盒式磁带、磁带、磁盘存储装置或其他磁性存储设备、RAID存储系统，或可用于存储所需信息并可由计算设备访问的任何其他介质。存储器可被实现为计算机可读存储介质(“CRSM”)，该CRSM可以是处理器可访问以执行存储在存储器上的指令的任何可用物理介质。在一种基本的具体实施中，CRSM可包括随机存取存储器(“RAM”)和闪存存储器。在其他具体实施中，CRSM可包括但不限于只读存储器(“ROM”)、电可擦除可编程只读存储器(“EEPROM”)或可用于存储所需信息并可由处理器访问的任何其他有形介质。
图2示出了HMD 104的立体图。HMD 104可包括固定到用户100的头部的前部200和后部202。例如，HMD 104可包括可操作地联接到HMD 104的前部200和HMD 104的后部202的股线、绳索、区段、带条、条带或其他构件。前部200包括位于用户100的前面或上面的显示器108，以渲染由应用程序(例如，视频游戏)输出的图像。如上所述，显示器108可输出由用户100查看的图像(帧)，以使用户100感知图像，就好像沉浸在VR环境中一样。
在一些情况下，HMD 104的前部200可包括第一相机110和/或第二相机112。第一相机110和/或第二相机112可捕获HMD 104外部的(即，环境102的)图像以供用户100在显示器108上查看。如上所述，第一相机110和第二相机112的光轴可平行且分开预定距离，以使用由第一相机110和/或第二相机112捕获的图像生成环境102的至少一部分的深度信息。然而，在一些情况下并且如上所述，HMD 104可不包括第一相机110和/或第二相机112。例如，第一相机110和/或第二相机112可位于环境102内的其他地方。
在其他情况下，第一相机110和/或第二相机112捕获可不对应于用户100的视点的图像(即，由于第一相机110和/或第二相机112不在用户100的眼睛的实际位置中)。然而，使用本文所述的技术可修改由第一相机110和/或第二相机112捕获的图像数据以考虑第一相机110和/或第二相机112相对于用户100的视点的位移。
例如，为了确定用户100的视点，HMD 104可包括信标器134。如图2所示，在一些情况下，信标器134可包括设置在前部200的拐角、边缘处或沿该前部的周边设置的第一信标器204(1)、第二信标器204(2)、第三信标器204(3)和/或第四信标器204(4)。然而，信标器134可位于HMD 104上的其他位置，诸如沿顶部、侧面或后部202。在一些情况下，信标器134可包括响应于由跟踪系统122的投影仪130发射的电磁辐射(例如，红外光)的红外元件、反射器、数字水印和/或图像。除此之外或另选地，信标器134可包括发射由跟踪系统122的传感器132捕获的电磁辐射(例如，红外光)的跟踪信标。也就是说，投影仪130将光投影到环境102中，并且信标器134可反射光。传感器132可捕获由信标器134反射的入射光，并且跟踪系统122或其他通信地耦合的计算设备(诸如远程计算资源142)可跟踪并绘制信标器134在环境102内的定位以确定用户100的移动、位置、姿态和/或取向。因此，信标器134可用于指示用户100的视点，以用于在来自第一相机110和/或第二相机112的图像数据显示给用户100之前修改、调整或以其他方式适应该图像数据。
图3示出了在环境300内佩戴HMD 104的用户100。图3示出了当用户100正在佩戴HMD 104并且在VR环境内交互时显示虚拟内容302的HMD 104的显示器108。如上所述，当用户100围绕环境102移动时，HMD 104可显示虚拟内容302。
跟踪系统122可位于环境300内，以跟踪用户100从一个定位到另一个定位，并确定用户100在环境内的视点。例如，跟踪系统122可利用在HMD 104上的信标器134来确定用户100的姿态(例如，定位和取向)。在一些情况下，用户100的姿态可相对于环境300的中心定位。例如，中心定位可具有坐标(0,0,0)，并且跟踪系统122(或远程计算资源142)可使用来自信标器134的反射光确定用户100在坐标空间中的姿态(例如，(X,Y,Z))。跟踪系统122还可从用户100的视角或视点确定环境300内的对象的深度。除此之外或另选地，从第一相机110和/或第二相机112接收的图像数据可用于确定环境300内的深度。
HMD 104可协调虚拟内容302与在环境300中和/或用户100的视点内和/或用户100前面的对象(例如，家具、墙壁等)的显示。换句话说，显示给用户100的环境300(或现实世界)的对象可对应于环境300中的用户100的视点。例如，HMD 104可至少部分地基于一个或多个触发事件，使用由第一相机110和/或第二相机112捕获的图像数据(例如，直通图像)来显示环境300内的对象。也就是说，HMD 104可被配置为在显示器108上的定位处显示图像，该定位对应于环境300中的对象的实际放置。利用从第一相机110和/或第二相机112的图像数据以及环境300的3D模型或网格生成的深度图，呈现给用户100的直通图像可示出对象，这些对象位于它们在环境300内的实际放置处(即，适当的深度值)并且来自用户100的视点，从而允许用户100拾取对象(例如，控制器、一杯水等)。然而，在一些情况下，可连续地捕获来自第一相机110和/或第二相机112的图像数据，并且在检测到触发事件后，HMD 104可向用户100显示与环境300相关联的内容。
如图3所示，触发事件可包括确定用户100正在接近或靠近环境300的边界。例如，用户100可接近环境300的两个墙壁306、308之间的拐角304。经由跟踪系统122知道用户100的定位，HMD 104可在显示器108上显示内容以指示用户100正在靠近拐角304。例如，如图所示，拐角304和墙壁306、308的指示可在显示器108上显示为虚线或点状线。在此情况下，用户100呈现有用户100即将走动到墙壁的指示。在一些情况下，并且如图3所示，与拐角304和墙壁306、308相关的指示或内容可叠加(与在HMD 104的显示器108上显示的虚拟内容组合)或呈现在虚拟内容302上(或与之组合)。
如上所述，可修改由第一相机110和/或第二相机112捕获的图像数据以考虑用户100的视点。除此之外或另选地，环境的深度图、3D网格或模型可将第一相机110和/或第二相机112相对于用户100的眼睛或视点的定位考虑在内或作为考虑因素。这样，由于第一相机110和/或第二相机112具有可不同于用户100的视点，因此可在图像数据在HMD 104上呈现之前对其进行修改以调整到用户的视点。
虽然图3示出了在显示器108上显示拐角304和/或墙壁306、308的特定具体实施，但内容可以不同的方式呈现，诸如，不作修改、修改以用于显示、嵌入、合并、堆叠、分割、重新渲染或以其他方式操纵以在不中断沉浸式虚拟体验的情况下适当地提供给用户100。例如，在一些情况下，可在显示器108的特定区域(例如，右上角)中显示内容。除此之外或另选地，显示器108可仅呈现与拐角304和墙壁306、308相关联的内容，以便具有100％直通。在一些情况下，HMD 104可在显示器108上淡化与环境300相关联的内容。
图4示出了在环境400内佩戴HMD 104的用户100。在一些情况下，HMD 104可至少部分地基于一个或多个触发事件来显示直通图像。在一些情况下，触发事件可包括确定访客402已进入环境400和/或环境400内的预定义区域。如图4所示，显示器108描绘了接近佩戴HMD 104的用户100的访客402。此时，访客402似乎正在接近用户100，并且这样，显示器108可显示由第一相机110和/或第二相机112捕获的图像。然而，可首先修改图像以考虑第一相机110和/或第二相机112与用户100的视点之间的视点的差异。在一些情况下，HMD 104可在用户100佩戴HMD 104或访客402进入用户100的阈值距离内时，至少部分地基于如使用信标器134所确定的访客402在用户100的视点内和/或在该用户的前面来显示该访客。在一些情况下，可经由运动传感器，通过分析来自第一相机110和/或第二相机112的图像数据，经由跟踪系统122等来检测访客402。
图5和图6示出了根据本申请的实施方案的过程。本文所述的过程在逻辑流程图中被示为框的集合，该逻辑流程图表示一系列操作，其中一些或所有操作可以硬件、软件或它们的组合来实现。在软件的情境中，框可表示存储在一个或多个计算机可读介质上的计算机可执行指令，该计算机可读指令在由一个或多个处理器执行时对处理器进行编程以执行所述的操作。通常，计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、组件、数据结构等。除非特别指出，否则描述框的顺序不应理解为限制。可以任何顺序和/或并行地组合任意数量的所描述的框来实现该过程或另选过程，并且并非所有框都需要被执行。处于讨论的目的，参考在本文的示例中描述的环境、架构和系统(诸如相对于图1至图4描述的环境、架构和系统)来描述这些过程，尽管这些过程可在各种各样的其他环境、架构和系统中实现。
图5示出了用于生成环境102的3D模型、深度图或网格的示例性过程500。在一些情况下，过程500可由远程计算资源142执行。然而，HMD 104、跟踪系统122和/或计算机150可另外地执行过程500中的一些或所有过程。
在502处，过程500可传输定义环境102内的区域的请求。例如，远程计算资源142可将请求用户100定义环境102的区域的请求传输到HMD 104。在一些情况下，区域可表示当用户100沉浸在VR环境中时打算围绕移动的区域。响应于接收到请求，HMD 104的处理器114可在显示器108上呈现该请求或与该请求相关联的信息。例如，请求可通知用户100佩戴HMD104并围绕环境102走动，并定义用户打算围绕移动的区域。
在504处，过程500可传输跟踪环境102内的HMD 104的请求，并且同时用户100佩戴HMD 104以定义区域。例如，远程计算资源142可将当用户100定义区域时在整个环境102中跟踪用户100的请求传输到跟踪系统122。在一些情况下，跟踪系统122可经由投影仪130将图像投影到环境102中并且传感器132捕获经由HMD 104的信标器134反射的光的图像来跟踪用户100。在一些情况下，远程计算资源142可在相同或基本上相同的时间传输在502处的请求和在504处的请求。
在506处，过程500可从跟踪系统122接收第一图像数据。例如，远程计算资源142可从跟踪系统122接收第一图像数据，其中第一图像数据表示当用户100围绕环境102走动以定义区域时HMD 104和/或用户100的定位。例如，第一图像数据可表示信标器134在环境102内的定位和/或姿态。由远程计算资源142接收的第一图像数据可包括由跟踪系统122(或传感器132)捕获图像时的时间戳。
在508处，过程500可确定区域的特性。例如，远程计算资源142可至少部分地基于接收到第一图像数据来确定区域的边界或周边。除此之外或另选地，远程计算资源142可至少部分地基于第一图像数据来确定区域的中心或原点。在一些情况下，原点可在具有分别对应于笛卡尔坐标系中的X、Y和Z坐标的值(0,0,0)的3D空间中定义。因此，在从跟踪系统122接收到后续图像数据时，远程计算资源142可确定用户100(和/或HMD 104)到区域的原点的相对定位。
在510处，过程500可从HMD 104接收第二图像数据。例如，在用户100定义环境102的区域时，远程计算资源142可从HMD 104接收第二图像数据，其中第二图像数据表示由第一相机110和/或第二相机112捕获的图像。在一些情况下，由远程计算资源142接收的第二图像数据可包括由第一相机110和/或第二相机112捕获图像时的时间戳。也就是说，当第一相机110和/或第二相机112捕获图像时，其他通信地耦合的计算设备可确定用户100在环境102内的姿态。例如，如上所述，当第一相机110和/或第二相机112捕获图像时，跟踪系统122的处理器136可使投影仪130将图像投影到环境102中。HMD 104的信标器134可反射与图像相关联的光，并且传感器132可捕获信标器134的反射的图像。此类图像可用于确定用户100(和/或HMD 104)在环境102内的深度、定位、取向和/或姿态，并且可与由第一相机110和/或第二相机112捕获的图像数据相关联。
在512处，过程500可生成环境102的3D模型(或网格)。例如，远程计算资源142可至少部分地基于第一图像数据和/或第二图像数据来生成环境102的3D模型。例如，远程计算资源142可使用第二图像数据来比较分别由第一相机110和/或第二相机112捕获的图像以确定差异。进而，远程计算资源142可确定环境102的深度信息以用于生成环境102的3D模型。另外，远程计算资源142可利用从跟踪系统122接收的第一图像数据来将环境102的深度图或深度值与区域和/或环境102内的某些定位相关联。在一些情况下，远程计算资源142可使用捕获第一图像数据和/或第二图像数据时的时间戳来将第一图像数据和第二图像数据(或由其生成的深度图)进行比较或相关联。在一些情况下，生成环境102的3D模型可包括描绘环境内的对象。例如，远程计算资源142可利用环境102中的对象(或体积)诸如椅子来增强VR环境。在一些情况下，可将3D模型传输到HMD 104和/或跟踪系统122，并且/或者存储在HMD 104、跟踪系统122和/或远程计算资源142的存储器中。
图6示出了用于在HMD(诸如HMD 104)上直通图像的示例性过程600。在一些情况下，在生成环境102的3D模型之后，过程600可从过程500的512处继续。换句话说，在一些情况下，在生成3D模型之后，HMD 104可显示直通图像以使用户100能够在VR环境和现实世界环境(即，环境102)之间转换。在一些情况下，过程600可由远程计算资源142执行。然而，HMD104、跟踪系统122和/或计算机150可另外地执行过程600中的一些或所有过程。
在602处，过程600可从HMD 104接收第一图像数据。例如，远程计算资源142可从HMD 104接收第一图像数据，其中第一图像数据表示由第一相机110和/或第二相机112捕获的图像。在一些情况下，远程计算资源142可至少部分地基于HMD 104检测触发事件来接收第一图像数据，该触发事件诸如由用户100按压按钮、由用户100发出口头命令、在环境102内检测到运动(例如，访客接近用户100)和/或用户100靠近或进入环境102的边界的阈值距离内。在其他情况下，远程计算资源142可连续地接收第一图像数据，并且可被配置为至少部分地基于触发事件来直通这些图像。例如，当用户100可沉浸在VR环境内时，用户100可按压HMD 104的按钮以显示HMD 104外部的内容。在这个意义上，HMD 104可包括显示由第一相机110和/或第二相机112捕获的图像的直通模式。因此，HMD 104的处理器114可至少部分地基于检测到触发表达使得第一相机110和/或第二相机112捕获环境102的图像。
在604处，过程600可至少部分地基于第一图像数据来生成深度图和/或3D网格。例如，远程计算资源142可至少部分地基于从HMD 104接收第一图像数据来生成深度图和/或3D网格(即，使用立体相机成像)。由于第一图像数据表示环境102的一部分，因此深度图和/或3D网格也可对应于环境102的一部分的深度图和/或3D网格。除此之外或另选地，HMD 104可生成深度图和/或3D网格。例如，在从第一相机110和/或第二相机112接收图像数据后，处理器114可利用立体相机成像来生成深度图。在一些情况下，处理器114可使用深度图来生成环境102的3D网格。另外，在一些情况下，处理器114可将深度图和/或3D网格(诸如深度图118和/或3D网格120)存储在存储器116内。
在一些情况下，HMD 104、远程计算资源142和/或计算机150可在生成深度图和/或3D网格之前修改从第一相机110和/或第二相机112接收的第一图像数据。例如，由于第一图像数据可不表示用户100的视点，因此可修改(例如，平移、变换、偏转等)第一图像数据以考虑第一相机110和第二相机112的视点与用户100的视点的差别。在一些情况下，用户100的视点可使用跟踪系统122和信标器134在环境102内的位置来确定。除此之外或另选地，在生成深度图和/或3D网格之后，深度图和/或3D网格可根据或至少部分地基于用户100的视点进行修改。
在606处，过程600可从跟踪系统122接收表示HMD 104的姿态的第二图像数据。例如，远程计算资源142可从跟踪系统122接收对应于环境102内的HMD 104的第二图像数据。如上所述，第二图像数据可由跟踪系统122的传感器132捕获，该传感器响应于由投影仪130投影图像来检测由HMD 104的信标器134反射的光。
在608处，过程600可确定HMD 104的姿态。例如，远程计算资源142可至少部分地基于接收到第二图像数据来确定环境102内的HMD 104的姿态。在一些情况下，姿态可表示HMD104在环境102内的定位和/或HMD 104在环境102内的取向。也就是说，远程计算资源142可分析第一图像数据和/或第二图像数据以确定用户100在环境102内相对于环境102的中心的定位。这种分析可确定用户100相对于环境102的中心或环境102内的特定区域的相对定位、注视和/或视点。
在610处，过程600可将深度图和/或3D网格转换为与环境的3D模型相关联的点。例如，远程计算资源142可利用姿态(例如，定位和取向)来确定用户100在环境102内的定位和/或用户100在环境102内的视点。远程计算资源142可将深度图和/或3D网格的点转换为与环境102的3D模型相关联的点，从而考虑用户100的视点。换句话说，远程计算资源142的处理器144可通过将深度图和/或3D网格的点转换为与环境102的3D模型相关联的点来定位、查找或确定环境102的3D模型中的点的深度值。远程计算资源142可使用姿态将在604处生成的深度图和/或3D网格平移到环境102的3D模型上。这种平移可有助于向用户100准确地描述环境102(例如，适当的深度值)。也就是说，第一图像数据以及第二图像数据和/或环境102的3D模型可提供HMD 104的绝对位置和/或注视，这可有助于以适当的深度值或深度感知描述用户100的视点。
在612处，过程600可将第一图像数据投影到3D模型的一部分上以生成第三图像数据。例如，知道用户100的姿态，远程计算资源142可将第一图像数据投影或叠加到环境102的3D模型的一部分上以生成第三图像数据。在一些情况下，生成第三图像数据可包括交叉混合或填充第三图像数据的针对某些像素的深度值和/或颜色值。例如，由于第一图像数据可不表示用户100的视点，因此当生成描述用户100的视点的第三图像数据时，第三图像数据可具有针对某些像素的未定义的深度值和/或颜色值。此时，没有颜色值的像素可从相邻像素的颜色值或其平均值中分配颜色值。除此之外或另选地，可使用环境100、粒子系统等的先前深度图或3D网格来生成第三图像数据。
在614处，过程600可将第三图像数据传输到HMD 104。例如，在将第一图像数据投影到3D模型的一部分上之后，远程计算资源142可将第三图像数据传输到HMD 104，其中第三图像数据表示如投影到3D模型的一部分的第一图像数据。
从614处，过程600可循环到602以接收后续图像数据。因此，响应于连续触发事件(例如，按压按钮、语音命令、运动检测等)，HMD 104可转换为直通模式，以为用户100提供一种方便的方式来查看环境102，而不必取下HMD 104。例如，远程计算资源142可从跟踪系统122接收用户100正在接近区域的边界和/或即将撞到环境102的墙壁的指示。在接收到该指示后，远程计算资源142可从HMD 104接收表示用户的视点的图像数据(即，由第一相机110和/或第二相机112捕获的图像)。在确定用户100的姿态后，远程计算资源142可将图像数据投影到环境102的3D模型上，并且使得图像数据显示在HMD 104上。在这个意义上，图像可自动地“直通”到用户100上，以允许用户在不破坏沉浸感的情况下看到现实世界环境。
虽然参照特定示例描述了前述发明，但是应当理解，本发明的范围不限于这些特定示例。由于为适应特定的操作要求和环境而改变的其他修改形式和改变形式对本领域的技术人员将是显而易见的，因此本发明不应被认为限于为公开目的而选择的示例，并且本发明涵盖不构成与本发明的真正实质和范围的偏离的所有改变形式和修改形式。
虽然本申请描述了具有特定结构特征和/或方法动作的实施方案，但是应当理解，权利要求书不一定限于所描述的特定特征或动作。相反，该特定特征和动作仅举例说明落入本申请的权利要求的范围内的一些实施方案。

Claims (20)

1.一种系统，所述系统包括：
一种头戴式显示器，所述头戴式显示器包括：
显示器；
第一相机；和
第二相机；
一个或多个处理器；和
存储计算机可执行指令的一个或多个非暂态计算机可读介质，所述计算机可执行指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行动作，所述动作包括以下项：
经由所述第一相机捕获表示环境的第一部分的第一图像数据；
经由所述第二相机捕获表示所述环境的第二部分的第二图像数据；
确定所述第一相机相对于用户的第一只眼睛的第一偏移以及所述第二相机相对于所述用户的第二只眼睛的第二偏移；
至少部分地基于所述第一图像数据、所述第二图像数据、所述第一偏移和所述第二偏移来生成深度图；
将所述深度图、所述第一图像数据和所述第二图像数据传输到一个或多个计算设备；
从所述一个或多个计算设备接收至少部分地基于所述深度图的第三图像数据、所述第一图像数据和所述第二图像数据；以及
经由所述显示器显示所述第三图像数据。
2.根据权利要求1所述的系统，其中所述头戴式显示器还包括按钮，并且其中存在以下情况中的至少一种情况：
至少部分地基于检测到所述按钮的按压来捕获所述第一图像数据；或者
至少部分地基于检测到所述按钮的所述按压来捕获所述第二图像数据。
3.根据权利要求1所述的系统，其中所述一个或多个非暂态计算机可读介质存储计算机可执行指令，所述计算机可执行指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行动作，所述动作还包括从所述一个或多个计算设备接收所述用户正在接近所述环境的边界的指示，并且其中存在以下情况中的至少一种情况：
至少部分地基于接收到所述指示来捕获所述第一图像数据；或者
至少部分地基于接收到所述指示来捕获所述第二图像数据。
4.根据权利要求1所述的系统，其中所述用户包括第一用户，并且其中所述一个或多个非暂态计算机可读介质存储计算机可执行指令，所述计算机可执行指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行动作，所述动作还包括从所述一个或多个计算设备接收第二用户在所述环境内的指示，并且其中存在以下情况中的至少一种情况：
至少部分地基于接收到所述指示来捕获所述第一图像数据；或者
至少部分地基于接收到所述指示来捕获所述第二图像数据。
5.根据权利要求1所述的系统，其中存在以下情况中的至少一种情况：
所述第三图像数据与呈现在所述显示器上的虚拟内容组合显示；或者
在所述显示器的预定部分上显示所述第三图像数据。
6.一种方法，所述方法包括：
从头戴式显示器接收表示环境的至少一部分的第一图像数据；
从跟踪系统接收指示用户在环境内的视点的第二图像数据；
至少部分地基于所述第一图像数据或所述第二图像数据中的至少一者来生成对应于所述环境的至少一部分的深度图；
将所述深度图与所述环境的三维(3D)模型的一部分相关联；
将所述第一图像数据转置到所述环境的所述3D模型的所述一部分上；
生成表示所述第一图像数据的第三图像数据，所述第一图像数据被转置到所述环境的所述3D模型的所述一部分上；以及
将所述第三图像数据传输到所述头戴式显示器。
7.根据权利要求6所述的方法，所述方法还包括：
将捕获所述环境的图像的第一请求传输到所述头戴式显示器；以及
当所述头戴式显示器捕获所述环境的所述图像时，将跟踪所述头戴式显示器的定位的第二请求传输到所述跟踪系统。
8.根据权利要求7所述的方法，所述方法还包括：
从所述头戴式显示器接收表示所述环境的所述图像的第四图像数据；
当所述头戴式显示器捕获所述环境的所述图像时，从所述跟踪系统接收表示所述头戴式显示器的所述定位的第五图像数据；以及
至少部分地基于所述第四图像数据和所述第五图像数据来生成所述环境的3D模型。
9.根据权利要求6所述的方法，其中将所述深度图与所述环境的所述3D模型的一部分相关联包括：将所述深度图的各个点与所述3D模型的所述一部分的对应的各个点对准。
10.根据权利要求6所述的方法，其中至少部分地基于从所述头戴式显示器接收到指示来传输所述第三图像数据。
11.根据权利要求10所述的方法，其中所述指示对应于以下情况中的至少一种情况：
按压所述头戴式显示器处的按钮；
检测所述环境内的移动；
检测所述用户在预定距离内的运动；或者
确定所述用户正在接近所述环境的边界。
12.根据权利要求6所述的方法，所述方法还包括：将第四图像数据传输到所述头戴式显示器，所述第四图像数据表示与虚拟环境相关联的虚拟内容，并且其中所述头戴式显示器被配置为显示与所述第四图像数据的至少一部分组合的所述第三图像数据的至少一部分。
13.根据权利要求6所述的方法，所述方法还包括：
确定所述环境的中心；以及
至少部分地基于所述第二图像数据来确定所述用户在所述环境内的定位，
其中至少部分地基于确定所述用户相对于所述环境的所述中心的所述定位，将所述深度图与所述3D模型的所述一部分相关联。
14.根据权利要求6所述的方法，其中所述第三图像数据表示所述用户在所述环境内的所述视点。
15.一种系统，所述系统包括：
头戴式显示器；
第一相机；
第二相机；
一个或多个处理器；和
存储计算机可执行指令的一个或多个非暂态计算机可读介质，所述计算机可执行指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行动作，所述动作包括以下项：
从所述第一相机接收表示环境的第一部分的第一图像数据；
从所述第二相机接收表示所述环境的第二部分的第二图像数据；
至少部分地基于所述第一图像数据和所述第二图像数据来生成所述环境的一部分的第一深度图；
从跟踪系统接收对应于用户在所述环境内的视点的数据；
至少部分地基于所述第一深度图和所述数据来生成第二深度图；
至少部分地基于将所述第一图像数据和所述第二图像数据投影到所述第二深度图上来生成第三图像数据；以及
将所述第三图像数据传输到所述头戴式显示器。
16.根据权利要求15所述的系统，其中所述一个或多个非暂态计算机可读介质存储计算机可执行指令，所述计算机可执行指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行动作，所述动作还包括接收触发事件的指示，并且其中至少部分地基于接收到所述指示来传输所述第三图像数据。
17.根据权利要求16所述的系统，其中所述指示对应于以下情况中的至少一种情况：
确定另一用户在佩戴所述头戴式显示器的所述用户前面；或者
确定所述用户正在接近所述环境的边界。
18.根据权利要求15所述的系统，其中所述一个或多个非暂态计算机可读介质存储计算机可执行指令，所述计算机可执行指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行动作，所述动作还包括传输表示虚拟现实环境内的虚拟内容的第四图像数据。
19.根据权利要求15所述的系统，其中所述数据对应于所述用户在所述环境内相对于所述环境的中心定位的定位。
20.根据权利要求15所述的系统，其中所述一个或多个非暂态计算机可读介质存储计算机可执行指令，所述计算机可执行指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行动作，所述动作还包括以下项：
生成所述环境的3D模型；
确定对应于所述用户的所述视点的所述3D模型的一部分，并且
其中，至少部分地基于所述3D模型的所述一部分来生成所述第二深度图。
CN202080030592.5A 2019-04-23 2020-04-22 具有直通成像的头戴式显示器 Pending CN113711109A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962837668P 2019-04-23 2019-04-23
US62/837,668 2019-04-23
US16/848,332 US11361513B2 (en) 2019-04-23 2020-04-14 Head-mounted display with pass-through imaging
US16/848,332 2020-04-14
PCT/US2020/029398 WO2020219601A1 (en) 2019-04-23 2020-04-22 Head-mounted display with pass-through imaging

Publications (1)

Publication Number Publication Date
CN113711109A true CN113711109A (zh) 2021-11-26

Family

ID=72916574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080030592.5A Pending CN113711109A (zh) 2019-04-23 2020-04-22 具有直通成像的头戴式显示器

Country Status (6)

Country Link
US (2) US11361513B2 (zh)
EP (1) EP3942355A4 (zh)
JP (1) JP2022530012A (zh)
KR (1) KR20210154814A (zh)
CN (1) CN113711109A (zh)
WO (1) WO2020219601A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10598929B2 (en) * 2011-11-09 2020-03-24 Google Llc Measurement method and system
CN107924690B (zh) * 2015-09-02 2021-06-25 交互数字Ce专利控股公司 用于促进扩展场景中的导航的方法、装置和系统
US11651555B2 (en) * 2018-05-31 2023-05-16 Microsoft Technology Licensing, Llc Re-creation of virtual environment through a video call
US11361513B2 (en) 2019-04-23 2022-06-14 Valve Corporation Head-mounted display with pass-through imaging
US11382699B2 (en) * 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11510750B2 (en) * 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11127148B1 (en) * 2020-05-12 2021-09-21 Microsoft Technology Licensing, Llc Parallax correction for partially overlapping stereo depth images
US11516452B2 (en) * 2020-06-18 2022-11-29 Microsoft Technology Licensing, Llc Systems and methods for temporal corrections for parallax reprojection
US11512956B2 (en) 2020-07-09 2022-11-29 Trimble Inc. Construction layout using augmented reality
US11360310B2 (en) * 2020-07-09 2022-06-14 Trimble Inc. Augmented reality technology as a controller for a total station
US11798235B1 (en) 2020-10-16 2023-10-24 Splunk Inc. Interactions in networked remote collaboration environments
US11544904B1 (en) 2020-10-16 2023-01-03 Splunk Inc. Mesh updates in an extended reality environment
US11727643B1 (en) 2020-10-16 2023-08-15 Splunk Inc. Multi-environment networked remote collaboration system
US11551421B1 (en) 2020-10-16 2023-01-10 Splunk Inc. Mesh updates via mesh frustum cutting
US11563813B1 (en) * 2020-10-16 2023-01-24 Splunk Inc. Presentation of collaboration environments for a networked remote collaboration session
US11127223B1 (en) 2020-10-16 2021-09-21 Splunkinc. Mesh updates via mesh splitting
US11776218B1 (en) 2020-10-16 2023-10-03 Splunk Inc. Networked remote collaboration system
US11546437B1 (en) * 2020-10-16 2023-01-03 Splunk Inc. Playback of a stored networked remote collaboration session
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
US11676348B2 (en) * 2021-06-02 2023-06-13 Meta Platforms Technologies, Llc Dynamic mixed reality content in virtual reality
WO2023043607A1 (en) * 2021-09-16 2023-03-23 Chinook Labs Llc Aligning scanned environments for multi-user communication sessions
US20230147711A1 (en) * 2021-11-08 2023-05-11 Proprio, Inc. Methods for generating stereoscopic views in multicamera systems, and associated devices and systems
US20230259194A1 (en) * 2022-02-16 2023-08-17 Meta Platforms Technologies, Llc Spatial Anchor Sharing for Multiple Virtual Reality Systems in Shared Real-World Environments
WO2023234824A1 (en) * 2022-05-31 2023-12-07 Flatfrog Laboratories Ab A virtual-reality interaction system
WO2024049175A1 (ko) * 2022-09-01 2024-03-07 삼성전자 주식회사 Hmd(head mounted display) 장치를 착용 중, 디스플레이 방법 및 그 장치
KR102524149B1 (ko) * 2022-09-05 2023-04-20 세종대학교산학협력단 가상세계 생성 방법 및 장치
US11972039B1 (en) * 2022-12-02 2024-04-30 ARMaps Augmented reality skydiving system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211403A (ja) * 2000-01-25 2001-08-03 Mixed Reality Systems Laboratory Inc 頭部装着型表示装置及び頭部装着型表示システム
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
WO2019027530A1 (en) * 2017-08-02 2019-02-07 Google Llc DEPTH ASSISTED ESTIMATION OF ENVIRONMENTAL LIMITS OF VIRTUAL REALITY

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
TWI584222B (zh) * 2012-02-17 2017-05-21 鈺立微電子股份有限公司 立體影像處理器、立體影像互動系統、與相關立體影像顯示方法
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US20140192164A1 (en) * 2013-01-07 2014-07-10 Industrial Technology Research Institute System and method for determining depth information in augmented reality scene
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
EP3215917B1 (en) * 2014-11-05 2023-10-11 Valve Corporation Sensory feedback systems and methods for guiding users in virtual reality environments
US9538962B1 (en) 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
US9924866B2 (en) * 2016-01-11 2018-03-27 Heptagon Micro Optics Pte. Ltd. Compact remote eye tracking system including depth sensing capacity
US10089063B2 (en) * 2016-08-10 2018-10-02 Qualcomm Incorporated Multimedia device for processing spatialized audio based on movement
FR3058534B1 (fr) * 2016-11-09 2019-02-01 Stereolabs Dispositif individuel d'immersion visuelle pour personne en mouvement avec gestion des obstacles
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
DE102017218215A1 (de) 2017-10-12 2019-04-18 Audi Ag Verfahren zum Betreiben einer am Kopf tragbaren elektronischen Anzeigeeinrichtung und Anzeigesystem zum Anzeigen eines virtuellen Inhalts
US11361513B2 (en) 2019-04-23 2022-06-14 Valve Corporation Head-mounted display with pass-through imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211403A (ja) * 2000-01-25 2001-08-03 Mixed Reality Systems Laboratory Inc 頭部装着型表示装置及び頭部装着型表示システム
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
WO2019027530A1 (en) * 2017-08-02 2019-02-07 Google Llc DEPTH ASSISTED ESTIMATION OF ENVIRONMENTAL LIMITS OF VIRTUAL REALITY

Also Published As

Publication number Publication date
KR20210154814A (ko) 2021-12-21
US11361513B2 (en) 2022-06-14
US20220292790A1 (en) 2022-09-15
WO2020219601A1 (en) 2020-10-29
EP3942355A4 (en) 2023-03-29
US20200342673A1 (en) 2020-10-29
JP2022530012A (ja) 2022-06-27
EP3942355A1 (en) 2022-01-26
US11989842B2 (en) 2024-05-21

Similar Documents

Publication Publication Date Title
US11989842B2 (en) Head-mounted display with pass-through imaging
KR102417177B1 (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
CN108292489B (zh) 信息处理装置和图像生成方法
EP3000020B1 (en) Hologram anchoring and dynamic positioning
US8743187B2 (en) Three-dimensional (3D) imaging based on MotionParallax
US10740971B2 (en) Augmented reality field of view object follower
US10373392B2 (en) Transitioning views of a virtual model
US8878846B1 (en) Superimposing virtual views of 3D objects with live images
US20150312561A1 (en) Virtual 3d monitor
US9549174B1 (en) Head tracked stereoscopic display system that uses light field type data
TWI637348B (zh) 影像顯示裝置和影像顯示方法
EP3106963B1 (en) Mediated reality
US20130222410A1 (en) Image display apparatus
US20130113701A1 (en) Image generation device
KR20230017849A (ko) 증강 현실 안내
US10859831B1 (en) Systems and methods for safely operating a mobile virtual reality system
WO2016201015A1 (en) Display for stereoscopic augmented reality
US11961194B2 (en) Non-uniform stereo rendering
KR20230029923A (ko) 롤링 셔터 카메라들을 사용하는 시각적 관성 추적
KR20230022239A (ko) 증강 현실 환경 향상
US20210183135A1 (en) Feed-forward collision avoidance for artificial reality environments
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
WO2018084087A1 (ja) 画像表示システム、画像表示装置、その制御方法、及びプログラム
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
US20230007227A1 (en) Augmented reality eyewear with x-ray effect

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination