CN114846434A - 非均匀立体渲染 - Google Patents

非均匀立体渲染 Download PDF

Info

Publication number
CN114846434A
CN114846434A CN202080089379.1A CN202080089379A CN114846434A CN 114846434 A CN114846434 A CN 114846434A CN 202080089379 A CN202080089379 A CN 202080089379A CN 114846434 A CN114846434 A CN 114846434A
Authority
CN
China
Prior art keywords
image
virtual
virtual environment
user
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080089379.1A
Other languages
English (en)
Inventor
J·C·小鲍鲁斯
M·H·利本诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN114846434A publication Critical patent/CN114846434A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开的示例描述了用于记录增强现实和混合现实体验的系统和方法。在示例方法中，真实环境的图像经由可穿戴头部设备的相机来接收。估计可穿戴头部设备的姿势，并基于姿势生成虚拟环境的第一图像。基于姿势生成虚拟环境的第二图像，其中虚拟环境的第二图像包括比虚拟环境的第一图像的视场更大的视场。基于虚拟环境的第二图像和真实环境的图像生成组合图像。

Description

非均匀立体渲染
相关申请的交叉引用
本申请要求于2019年10月25日提交的美国临时申请号62/926,306的权益，其全部公开内容通过引用并入本文以用于所有目的。
技术领域
本公开总体上涉及用于渲染和显示视觉信息的系统和方法，并且具体地涉及用于在混合现实环境中渲染和显示视觉信息的系统和方法。
背景技术
虚拟环境在计算环境中无处不在，在视频游戏(其中虚拟环境可以表示游戏世界)；地图(其中虚拟环境可以表示要导航的地形)；模拟(其中虚拟环境可以模拟真实环境)；数字叙事(其中虚拟角色可以在虚拟环境中相互交互)；以及许多其他应用中找到用途。现代计算机用户通常能够舒适地感知虚拟环境并与之交互。然而，用户对虚拟环境的体验可能会受到用于呈现虚拟环境的技术的限制。例如，传统显示器(例如，2D显示屏)和音频系统(例如，固定扬声器)可能无法以创建引人入胜、逼真和身临其境的体验的方式实现虚拟环境。
虚拟现实(“VR”)、增强现实(“AR”)、混合现实(“MR”)和相关技术(统称为“XR”)共享向XR系统的用户呈现与由计算机系统中的数据所表示的虚拟环境对应的感官信息的能力。本公开考虑了VR、AR和MR系统之间的区别(尽管一些系统可以在一个方面(例如，视觉方面)被归类为VR，并且在另一方面(例如，音频方面)同时被归类为AR或MR)。如本文所使用的，VR系统呈现了一种虚拟环境，该虚拟环境至少在一个方面取代了用户的真实环境；例如，VR系统可以向用户呈现虚拟环境的视图，同时模糊他或她对真实环境的视图，例如使用光遮挡头戴式显示器。类似地，VR系统可以向用户呈现与虚拟环境对应的音频，同时阻止(衰减)来自真实环境的音频。
VR系统可能会遇到由于用虚拟环境替换用户的真实环境而导致的各种缺点。一个缺点是当用户在虚拟环境中的视场不再对应于他或她的内耳的状态时可能会出现晕动病的感觉，内耳检测一个人在真实环境(不是虚拟环境)中的平衡和取向。同样，用户可能会在他们自己的身体和肢体(用户赖以在真实环境中感觉“扎根”的视图)无法直接看到的VR环境中体验到迷失方向。另一个缺点是必须呈现完整的3D虚拟环境的VR系统的计算负担(例如，存储、处理能力)，特别是在寻求让用户沉浸在虚拟环境中的实时应用中。同样，此类环境可能需要达到非常高的真实感标准才能被认为是沉浸式的，因为用户往往对虚拟环境中的微小缺陷都很敏感——任何缺陷都会破坏用户在虚拟环境中的沉浸感。此外，VR系统的另一个缺点是系统的此类应用无法利用真实环境中广泛的感官数据，例如人们在现实世界中体验到的各种视觉和声音。一个相关的缺点是，VR系统可能难以创建多个用户可以交互的共享环境，因为在真实环境中共享物理空间的用户可能无法在虚拟环境中直接看到或相互交互。
如本文所用，AR系统呈现在至少一个方面重叠或覆盖真实环境的虚拟环境。例如，AR系统可以向用户呈现覆盖在用户的真实环境的视图上的虚拟环境的视图，例如使用呈现所显示的图像同时允许光穿过显示器进入用户的眼睛的透射式头戴式显示器。类似地，AR系统可以向用户呈现与虚拟环境相对应的音频，同时混合来自真实环境的音频。类似地，如本文所使用的，MR系统呈现在至少一个方面与真实环境重叠或覆盖的虚拟环境，AR系统也是如此，并且可以另外允许MR系统中的虚拟环境可以在至少一个方面与真实环境交互。例如，虚拟环境中的虚拟角色可能会切换现实环境中的电灯开关，从而导致现实环境中相应的灯泡打开或关闭。作为另一个示例，虚拟角色可以对真实环境中的音频信号做出反应(例如用面部表情)。通过保持真实环境的呈现，AR和MR系统可以避免VR系统的上述一些缺点；例如，用户的晕动病减少了，因为来自真实环境(包括用户自己的身体)的视觉提示可以保持可见，并且此类系统无需为用户呈现完全实现的3D环境即可沉浸其中。此外，AR和MR系统可以利用现实世界的感官输入(例如，风景、物体和其他用户的视图和声音)来创建增强该输入的新应用。
可能期望捕获和记录MR体验，以便可以与其他用户共享MR体验。与简单的视频记录系统相比，MR系统(尤其是可穿戴头部设备)可以更好地定位，以与用户体验环境相同的方式记录环境(真实和虚拟)。在真实和虚拟环境中提供用户体验的第一手视图可以使记录感觉更加身临其境，就好像观看者在记录时与原始用户在一起。记录MR体验可以包括将真实环境的记录与虚拟环境的记录组合。所记录的MR内容可用于休闲内容共享和专业内容创建。例如，可能期望与可以在二维屏幕或MR系统上观看所记录的MR内容的其他用户共享休闲MR体验(例如，音乐会)。专业内容创建者还可能期望记录MR内容(例如，广告)以显示在其他MR系统或二维屏幕上。然而，记录MR体验可能不像记录简单的二维视频那么简单，至少因为用于记录真实环境的相机可能会偏移(offset)用户的眼睛被定位，以免阻碍用户的视线。然而，针对用户渲染的虚拟内容可以从用户的眼睛的视角进行渲染。当组合两个记录流时，此偏移可能会在相机捕获的内容和针对用户所渲染的虚拟内容之间产生视角差异。此外，相机可以以与所显示的虚拟内容不同的分辨率和/或纵横比进行记录。因此，将真实环境的记录与虚拟环境的记录组合可能导致真实内容与虚拟内容之间的整合不良(例如，真实内容和虚拟内容可以从不同的角度呈现)。因此，可能期望创建一个准确的MR记录系统，该系统以整合和准确的方式模拟第一人体验并显示记录的MR内容。
发明内容
本公开的示例描述了用于记录增强现实和混合现实体验的系统和方法。在示例方法中，真实环境的图像经由可穿戴头部设备的相机来接收。可穿戴头部设备的姿势被估计，并基于姿势生成虚拟环境的第一图像。基于姿势生成虚拟环境的第二图像，其中虚拟环境的第二图像包括比虚拟环境的第一图像的视场更大的视场。基于虚拟环境的第二图像和真实环境的图像生成组合图像。
附图说明
图1A至图1C示出了根据本公开的一个或多个实施例的示例混合现实环境。
图2A至图2D示出了根据本公开的一个或多个实施例的示例混合现实系统的部件，该混合现实系统可用于生成混合现实环境并与之交互。
图3A示出了根据本公开的一个或多个实施例的可用于向混合现实环境提供输入的示例混合现实手持式控制器。
图3B示出了根据本公开的一个或多个实施例的可以与示例混合现实系统一起使用的示例辅助单元。
图4示出了根据本公开的一个或多个实施例的示例混合现实系统的示例功能框图。
图5A至图5B示出了根据本公开的一个或多个实施例的混合现实记录的示例。
图6示出了根据本公开的一个或多个实施例的混合现实记录的示例。
图7示出了根据本公开的一个或多个实施例的混合现实记录的示例。
图8示出了根据本公开的一个或多个实施例的混合现实记录的示例。
图9示出了根据本公开的一个或多个实施例的混合现实记录的示例。
具体实施方式
在示例的以下描述中，对形成附图的一部分并且在其中通过图示的方式示出可以实践的示例的附图进行参考。应理解，在不脱离所公开的示例的范围的情况下，可以使用其他示例并且可以做出结构改变。
混合现实环境
像所有人一样，混合现实系统的用户存在于真实环境中——即，“真实世界”的三维部分和所有其内容可由用户感知。例如，用户使用气普通人类感觉来感知真实环境——视觉、声音、接触、味道、气味——并且通过在真实环境中移动其自己的身体与真实环境交互。真实环境中的位置可被描述为坐标空间中的坐标；例如，坐标可包括纬度、经度和相对于海平面的海拔；在三个正交维度上距参考点的距离；或其他适合的值。同样地，矢量可描述具有坐标空间中的方向和大小的数量(quantity)。
计算设备可例如在与设备相关联的存储器中维持虚拟环境的表示。如本文所使用的，虚拟环境是三维空间的计算表示。虚拟环境可包括任何对象、动作、信号、参数、坐标、矢量、或与该空间相关联的其他特性的表示。在一些示例中，计算设备的电路(例如，处理器)可以维持和更新虚拟环境的状态；即，处理器可以在第一时间t0处基于与虚拟环境相关联的数据和/或由用户提供的输入来确定第二时间t1处的虚拟环境的状态。例如，如果虚拟环境中的对象在时间t0处位于第一坐标处，并且具有某个编程的物理参数(例如，质量、摩擦系数)；以及从用户接收的输入指示力应当以方向矢量施加到该对象；处理器可应用运动学定律以使用基础力学确定对象在时间t1处的位置。处理器可以使用关于虚拟环境已知的任何适合的信息和/或任何适合的输入来确定时间t1处的虚拟环境的状态。在维持和更新虚拟环境的状态时，处理器可执行任何适合的软件，包括与虚拟环境中的虚拟对象的创建和删除有关的软件；用于定义虚拟环境中的虚拟对象或角色的行为的软件(例如，脚本)；用于定义虚拟环境中的信号(例如，音频信号)的行为的软件；用于创建和更新与虚拟环境相关联的参数的软件；用于生成虚拟环境中的音频信号的软件；用于处理输入和输出的软件；用于实现网络操作的软件；用于应用资产数据(例如，随时间移动虚拟对象的动画数据)的软件；或许多其他可能性。
输出设备(诸如显示器或者扬声器)可以向用户呈现虚拟环境的任何或所有方面。例如，虚拟环境可包括可以呈现给用户的虚拟对象(其可包括无生命对象；人；动物；光等的表示)。处理器可以确定虚拟环境的视图(例如，对应于具有坐标原点、视图轴和视锥的“相机”)；以及向显示器渲染对应于该视图的虚拟环境的可视场景。出于该目的，可以使用任何适合的渲染技术。在一些示例中，可视场景可以仅包括虚拟环境中的一些虚拟对象，并且不包括某些其他虚拟对象。类似地，虚拟环境可包括可呈现给用户作为一个或多个音频信号的音频方面。例如，虚拟环境中的虚拟对象可生成起源于对象的位置坐标的声音(例如，虚拟角色可以说话或引起声音效果)；或者虚拟环境可以与可以或可以不与特定位置相关联的音乐线索或环境声音相关联。处理器可确定对应于“听众”坐标的音频信号——例如，对应于虚拟环境中的声音的复合的音频信号，并且被混合并处理以模拟将由听众坐标处的听众听到的音频信号——并且经由一个或多个扬声器将音频信号呈现给用户。
由于虚拟环境仅作为计算结构存在，所以用户可能不使用其普通感觉直接感知虚拟环境。相反，用户只能间接地感知如呈现给用户的虚拟环境，例如通过显示器、扬声器、触觉输出设备等。类似地，用户可以不直接接触、操控、或以其他方式与虚拟环境交互；但是可以经由输入设备或传感器将输入数据提供给可使用设备或传感器数据来更新虚拟环境的处理器。例如，相机传感器可提供指示用户试图移动虚拟环境中的对象的光学数据，并且处理器可使用该数据使得对象因此在虚拟环境中作出响应。
混合现实系统可以向用户呈现组合真实环境和虚拟环境的各方面的混合现实环境(“MRE”)，例如使用透射式显示器和/或一个或多个扬声器(其可以例如并入可穿戴头部设备中)。在一些实施例中，一个或多个扬声器可以在头戴式可穿戴单元的外部。如本文所使用的，MRE是真实环境和对应的虚拟环境的同时表示。在一些示例中，对应的真实环境和虚拟环境共享单个坐标空间；在一些示例中，真实坐标空间和对应的虚拟坐标空间通过变换矩阵(或其他适合的表示)彼此相关。因此，单个坐标(在一些示例中，连同变换矩阵一起)可以定义真实环境中的第一位置，以及虚拟环境中的第二对应位置；反之亦然。
在MRE中，虚拟对象(例如，在与MRE相关联的虚拟环境中)可以对应于真实对象(例如，在与MRE相关联的真实环境中)。例如，如果MRE的真实环境包括位置坐标处的真实灯杆(真实对象)，则MRE的虚拟环境可包括在对应的位置坐标处的虚拟灯杆(虚拟对象)。如本文所使用的，真实对象组合其对应的虚拟对象一起构成“混合现实对象”。不需要虚拟对象与对应的真实对象完美匹配或者对准。在一些示例中，虚拟对象可以是对应的真实对象的简化版本。例如，如果真实环境包括真实灯杆，则对应的虚拟对象可以包括具有与真实灯杆粗略地相同高度和半径的圆柱体(反映该灯杆可以在形状方面是粗略地圆柱形的)。以这种方式简化虚拟对象可以允许计算效率，并且可以简化将在这样的虚拟对象上执行的计算。进一步地，在MRE的一些示例中，真实环境中的并非所有真实对象可以与对应的虚拟对象相关联。同样地，在MRE的一些示例中，虚拟环境中的并非所有虚拟对象可以与对应的真实对象相关联。即，一些虚拟对象可以仅在MRE的虚拟环境中而没有任何现实世界配对物。
在一些示例中，虚拟对象可以具有与对应的真实对象的特性不同(有时急剧地)的特性。例如，虽然MRE中的真实环境可以包括绿色双臂仙人掌——多刺无生命对象——MRE中的对应的虚拟对象可以具有具有人类面部特征和粗暴行为的绿色双臂虚拟角色的特性。在该示例中，虚拟对象在某些特性(颜色、臂数)方面类似其对应的真实对象；但是在其他特性(面部特征、个性)方面与真实对象不同。以这种方式，虚拟对象具有以创造性、抽象、夸大、或想象的方式表示真实对象的潜在性；或者向其他无生命真实对象给予行为(例如，人类个性)。在一些示例中，虚拟对象可以是纯想象创造而没有现实世界配对物(例如，虚拟环境中的虚拟怪物，也许在对应于真实环境中的空白空间的位置处)。
与VR系统相比较，该VR系统向用户呈现虚拟环境同时模糊真实环境，呈现MRE的混合现实系统提供当虚拟环境被呈现时真实环境保持可感知的优点。因此，混合现实系统的用户能够使用与真实环境相关联的视觉和音频线索来体验并且与对应的虚拟环境交互。作为示例，当VR系统的用户可以努力感知虚拟环境中所显示的虚拟对象或与虚拟环境中所显示的虚拟对象交互时——因为如上所述，用户不能直接感知或与虚拟环境交互——MR系统的用户可以通过看到、听到和触摸他或她自己的真实环境中的对应的真实对象来发现与虚拟对象交互直观并且自然。该交互性水平可以提高用户与虚拟环境沉浸、连接和接合的感觉。类似地，通过同时呈现真实环境和虚拟环境，混合现实系统可以减少与VR系统相关联的负面心理感觉(例如，认知失调)和负面身体感觉(例如，运动病)。混合现实系统进一步为可以增加或更改我们的现实世界的体验的应用提供许多可能性。
图1A示出了用户110使用混合现实系统112的示例性真实环境100。混合现实系统112可以包括显示器(例如，透射式显示器)和一个或多个扬声器，以及一个或多个传感器(例如，相机)，例如如以下所描述的。示出的真实环境100包括用户110站立的矩形房间104A；以及真实对象122A(灯)、124A(桌子)、126A(沙发)和128A(油画)。房间104A还包括位置坐标106，它可以被认为是真实环境100的原点。如图1A所示，具有其原点在点106(世界坐标)处的环境/世界坐标系108(包括x轴108X、y轴108Y、和z轴108Z)可以定义用于真实环境100的坐标空间。在一些实施例中，环境/世界坐标系108的原点106可以对应于混合现实环境112被上电的位置。在一些实施例中，环境/世界坐标系108的原点106可以在操作期间被重置。在一些示例中，用户110可以被认为是真实环境100中的真实对象；类似地，用户110的身体部分(例如，手、脚)可以被认为是真实环境100中的真实对象。在一些示例中，具有其原点在点115(例如，用户/听众/头部坐标)处的用户/听众/头部坐标系114(包括x轴114X、y轴114Y、和z轴114Z)可以定义针对混合现实系统112位于的用户/听众/头部的坐标空间。用户/听众/头部坐标系114的原点115可以相对于混合现实系统112的一个或多个组件来定义。例如，用户/听众/头部坐标系114的原点115可以相对于混合现实系统112的显示来定义，诸如在混合现实系统112的初始校准期间。矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或其他适合的表示可以表征用户/听众/头部坐标系114空间与环境/世界坐标系108空间之间的变换。在一些实施例中，左耳坐标116和右耳坐标117可以相对于用户/听众/头部坐标系114的原点115来定义。矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或其他适合的表示可以表征左耳坐标116和右耳坐标117与用户/听众/头部坐标系114空间之间的变换。用户/听众/头部坐标系114可以简化相对于用户的头部或头戴式设备(例如，相对于环境/世界坐标系108)的位置的表示。使用同时定位和地图创建(SLAM)、视觉测距或其他技术，用户坐标系114与环境坐标系108之间的变换可以实时确定和更新。
图1B示出了对应于真实环境100的示例性虚拟环境130。示出的虚拟环境130包括对应于真实矩形房间104A的虚拟矩形房间104B；对应于真实对象122A的虚拟对象122B；对应于真实对象124A的虚拟对象124B；以及对应于真实对象126A的虚拟对象126B。与虚拟对象122B、124B、126B相关联的元数据可以包括从对应的真实对象122A、124A、126A导出的信息。虚拟环境130附加地包括虚拟怪兽132，该虚拟怪兽132不对应于真实环境100中的任何真实对象。真实环境100中的真实对象128A不对应于虚拟环境130中的任何虚拟对象。具有其原点在点134(持久坐标)处的持久坐标系133(包括x轴133X、y轴133Y、和z轴133Z)可以定义用于虚拟内容的坐标空间。持久坐标系133的原点134可以相对于/关于一个或多个真实对象(诸如真实对象126A)来定义。矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或其他适合的表示可以表征持久坐标系133空间与环境/世界坐标系108空间之间的变换。在一些实施例中，虚拟对象122B、124B、126B和132中的每个虚拟对象可以具有相对于持久坐标系133的原点134其自己的持久坐标点。在一些实施例中，可以存在多个持久坐标系，并且虚拟对象122B、124B、126B和132中的每个虚拟对象可以具有相对于一个或多个持久坐标系其自己的持久坐标点。
相对于图1A和图1B，环境/世界坐标系108定义用于真实环境100和虚拟环境130二者的共享坐标空间。在示出的示例中，坐标空间具有其原点在点106处。进一步地，坐标空间由相同三个正交轴(108X、108Y、108Z)定义。因此，真实环境100中的第一位置和虚拟环境130中的第二对应位置可以相对于相同坐标系来描述。这简化标识和显示真实环境和虚拟环境中的对应的位置，因为相同坐标可以用于标识这两个位置。然而，在一些示例中，对应的真实环境和虚拟环境不需要使用共享坐标空间。例如，在一些示例中(未示出)，矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或其他适合的表示可以表征真实环境坐标空间与虚拟环境坐标空间之间的变换。
图1C示出了经由混合现实系统112将真实环境100和虚拟环境130的各方面同时呈现给用户110的示例性MRE 150。在示出的示例中，MRE150同时向用户110呈现来自真实环境100的真实对象122A、124A、126A和128A(例如，经由混合现实系统112的显示器的透射部分)；以及来自虚拟环境130的虚拟对象122B、124B、126B和132(例如，经由混合现实系统112的显示器的有源显示部分)。如上所述，原点106充当用于对应于MRE 150的坐标空间的原点，并且坐标系108定义用于坐标空间的x轴、y轴和z轴。
在示出的示例中，混合现实对象包括占用坐标空间108中的对应位置的真实对象和虚拟对象的对应对(即，122A/122B、124A/124B、126A/126B)。在一些示例中，真实对象和虚拟对象二者可以对用户110同时可见。这可以在例如虚拟对象呈现被设计为增强对应的真实对象的视图的信息的实例中(诸如在虚拟对象呈现古代损坏雕塑的丢失件的博物馆应用中)是期望的。在一些示例中，虚拟对象(122B、124B和/或126B)可以被显示(例如，经由使用像素化遮挡快门的有源像素化遮挡)以便遮挡对应的真实对象(122A、124A和/或126A)。这可以在例如虚拟对象充当用于对应的真实对象的视觉替换的实例中(诸如在无生命真实对象变为“活的”角色的交互式故事应用中)是期望的。
在一些示例中，真实对象(例如，122A、124A、126A)可以与虚拟内容或可以不必构成虚拟对象的辅助数据(helper data)相关联。虚拟内容或辅助数据可以促进混合现实环境中的虚拟对象的处理或处置。例如，这样的虚拟内容可以包括以下各项的二维表示：对应的真实对象；与对应的真实对象相关联的定制资产类型；或与对应的真实对象相关联的统计数据。该信息可以使能或者促进涉及真实对象的计算而不招致不必要的计算开销。
在一些示例中，如上所描述的呈现还可以包含音频方面。例如，在MRE 150中，虚拟怪兽132可以与一个或多个音频信号相关联，诸如当怪兽在MRE 150到处走时生成的脚步声效果。如下文进一步描述，混合现实系统112的处理器可以计算与MRE 150中的所有此类声音的混合和处理复合对应的音频信号，并且经由包括在混合现实系统112中的一个或多个扬声器和/或一个或多个外部扬声器将音频信号呈现给用户110。
示例混合现实系统
示例混合现实系统112可以包括可穿戴头部设备(例如，可穿戴增强现实或混合现实头部设备)，其包括：显示器(其可以包括左和右透射式显示器，其可以是近眼显示器，以及用于将来自显示器的光耦合到用户的眼睛的相关联的部件)；左和右扬声器(例如，其分别邻近用户的左和右耳定位)；惯性测量单元(IMU)(例如，其被安装到头部设备的边撑臂(temple arm))；正交线圈电磁接收器(例如，其被安装到左边撑件)；左和右相机(例如，深度(飞行时间)相机)，其远离用户取向；以及左和右眼相机，其朝向用户取向(例如，用于检测用户的眼睛移动)。然而，混合现实系统112可以包含任何适合的显示技术，以及任何适合的传感器(例如，光学、红外、声学、LIDAR、EOG、GPS、磁性)。此外，混合现实系统112可包含联网特征(例如，Wi-Fi能力)以与其他设备和系统通信，包括其他混合现实系统。混合现实系统112还可以包括电池(其可以被安装在辅助单元中，诸如被设计为穿戴在用户的腰部周围的腰带包)、处理器和存储器。混合现实系统112的可穿戴头部设备可以包括跟踪部件，诸如IMU或其他适合的传感器，其被配置为输出可穿戴头部设备相对于用户的环境的一组坐标。在一些示例中，跟踪部件可以向执行同时定位和地图创建(SLAM)和/或视觉测距算法的处理器提供输入。在一些示例中，混合现实系统112还可以包括手持式控制器300和/或辅助单元320，其可以是可穿戴腰带包，如下文进一步描述。
图2A至图2D示出了可以用于将MRE(其可以对应于MRE 150)或其他虚拟环境呈现给用户的示例性混合现实系统200(其可以对应于混合现实系统112)的部件。图2A示出了在示例混合现实系统200中包括的可穿戴头部设备2102的透视图。图2B示出了在用户的头部2202上穿戴的可穿戴头部设备2102的俯视图。图2C示出了可穿戴头部设备2102的前视图。图2D示出了可穿戴头部设备2102的示例目镜2110的边视图。如图2A至图2C所示，示例可穿戴头部设备2102包括示例性左目镜(例如，左透明波导集(set)目镜)2108和示例性右目镜(例如，右透明波导集目镜)2110。每个目镜2108和2110可以包括：透射元件，通过该透射元件，真实环境可以是可见的；以及显示元件，其用于呈现重叠真实环境的显示(例如，经由逐图像调制光)。在一些示例中，这样的显示元件可以包括用于控制逐图像调制光的流动的表面衍射光学元件。例如，左目镜2108可以包括左耦入光栅集2112、左正交光瞳扩展(OPE)光栅集2120、和左出射(输出)光瞳扩展(EPE)光栅集2122。类似地，右目镜2110可以包括右耦入光栅集2118、右OPE光栅集2114、和右EPE光栅集2116。逐图像调制光可以经由耦入光栅2112和2118、OPE 2114和2120、和EPE2116和2122传递到用户的眼睛。每个耦入光栅集2112、2118可以被配置为朝向其对应的OPE光栅集2120、2114偏转光。每个OPE光栅集2120、2114可以被设计为朝向其相关联的EPE 2122、2116向下递增地偏转光，从而水平延伸正在形成的出射光瞳。每个EPE 2122、2116可以被配置为将从其对应的OPE光栅集2120、2114接收的光的至少一部分向外递增地重定向到限定在目镜2108、2110后面的用户适眼区(eyebox)位置(未示出)，垂直延伸在适眼区处形成的出射光瞳。可替代地，代替耦入光栅集2112和2118、OPE光栅集2114和2120、和EPE光栅集2116和2122，目镜2108和2110可以包括光栅和/或用于控制将逐图像调制光耦合到用户的眼睛的折射和反射特征的其他布置。
在一些示例中，可穿戴头部设备2102可以包括左边撑臂2130和右边撑臂2132，其中，左边撑臂2130包括左扬声器2134并且右边撑臂2132包括右扬声器2136。正交线圈电磁接收器2138可以定位在左边撑件中，或者在可穿戴头部单元2102中的另一适合的位置。惯性测量单元(IMU)2140可以定位在右边撑臂2132中，或者在可穿戴头部设备2102中的另一适合的位置。可穿戴头部设备2102还可以包括左深度(例如，飞行时间)相机2142和右深度相机2144。深度相机2142、2144可以在不同的方向上适合地取向以便一起覆盖更宽的视场。
在图2A至图2D中示出的示例中，逐图像调制光的左源2124可以通过左耦入光栅集2112被光学耦合到左目镜2108中，并且逐图像调制光的右源2126可以通过右耦入光栅集2118被光学耦合到右目镜2110中。逐图像调制光源2124、2126可以包括例如光纤扫描器；投影仪，包括电子光调制器，诸如数字光处理(DLP)芯片或硅上液晶(LCoS)调制器；或发射显示器，诸如微发光二极管(μLED)或微有机发光二极管(μOLED)面板，其使用每侧一个或多个透镜被耦合到耦入光栅集2112、2118中。输入耦合光栅集2112、2118可以将来自逐图像调制光源2124、2126的光偏转到大于针对目镜2108、2110的全内反射(TIR)的临界角的角度。OPE光栅集2114、2120向下朝向EPE光栅集2116、2122递增地偏转通过TIR传播的光。EPE光栅集2116、2122将光递增地耦合朝向用户的面部，包括用户的眼睛的瞳孔。
在一些示例中，如图2D所示，左目镜2108和右目镜2110中的每一个包括多个波导2402。例如，每个目镜2108、2110可以包括多个单独波导，每个波导专用于相应的颜色通道(例如，红色、蓝色和绿色)。在一些示例中，每个目镜2108、2110可以包括这样的波导的多个集合，其中，每个集合被配置为向发射光给予不同的波前曲率。波前曲率可以相对于用户的眼睛是凸的，例如以呈现定位在用户的前面一定距离(例如，通过与波前曲率的倒数对应的距离)的虚拟对象。在一些示例中，EPE光栅集2116、2122可以包括弯曲的光栅凹陷，以通过改变跨每个EPE出射光的坡印廷(Poynting)矢量实现凸波前曲率。
在一些示例中，为了创建所显示的内容是三维的感知，立体调节的左和右眼图像可以通过逐图像光调制器2124、2126和目镜2108、2110呈现给用户。三维虚拟对象的呈现的感知的真实性可以通过选择波导(并且因此对应的波前曲率)被增强，使得虚拟对象在接近由立体左和右图像所指示的距离的距离处被显示。该技术还可以减少由一些用户经历的运动病，其可以由由立体左和右眼图像提供的深度感知线索与人眼的自动调节(例如，对象距离-相关焦点)之间的差异引起。
图2D示出了从示例可穿戴头部设备2102的右目镜2110的顶部的面向边缘的视图。如图2D所示，多个波导2402可以包括三个波导2404的第一子集和三个波导2406的第二子集。波导2404、2406的两个子集可以通过不同EPE光栅来区分，不同EPE光栅具有不同光栅线曲率(line curvature)以将不同的波前曲率赋予出射光。在波导2404、2406的子集中的每一个内，每个波导可以用于将不同光谱通道(例如，红色、绿色和蓝色光谱通道之一)耦合到用户的右眼2206。虽然未示出在图2D中，但是左目镜2108的结构类似于右目镜2110的结构。
图3A示出了混合现实系统200的示例性手持式控制器部件300。在一些示例中，手持式控制器300包括握持部分346和沿着顶表面348设置的一个或多个按钮350。在一些示例中，按钮350可以被配置用于用作光学跟踪目标，例如，用于组合相机或其他光学传感器(其可以被安装在混合现实系统200的头部单元(例如，可穿戴头部设备2102)中)来跟踪手持式控制器300的六自由度(6DOF)运动。在一些示例中，手持式控制器300包括用于检测位置或取向(诸如相对于可穿戴头部设备2102的位置或取向)的跟踪部件(例如，IMU或其他适合的传感器)。在一些示例中，这样的跟踪部件可以定位在手持式控制器300的手柄中，和/或可以机械耦合到手持式控制器。手持式控制器300可以被配置为提供与按钮的按压状态中的一个或多个对应的一个或多个输出信号；或手持式控制器300的位置、取向和/或移动(例如，经由IMU)。这样的输出信号可以用作混合现实系统200的处理器的输入。这样的输入可以对应于手持式控制器的位置、取向和/或移动(例如，通过扩展而对应于握住控制器的用户的手部的位置、取向和/或移动)。这样的输入还可以对应于用户按下按钮350。
图3B示出了混合现实系统200的示例性辅助单元320。辅助单元320可以包括提供操作系统200的能量的电池，并且可以包括用于执行操作系统200的程序的处理器。如所示，示例辅助单元320包括芯片2128，诸如用于将辅助单元320附接到用户的腰带。其他形状因子适合于辅助单元320并且将是明显的，包括不涉及将单元安装到用户的腰带的形状因子。在一些示例中，辅助单元320通过多导管电缆被耦合到可穿戴头部设备2102，该多导管电缆可以包括例如电线和光纤。还可以使用辅助单元320与可穿戴头部设备2102之间的无线连接。
在一些示例中，混合现实系统200可以包括检测声音并且将对应的信号提供给混合现实系统的一个或多个麦克风。在一些示例中，麦克风可以被附接到可穿戴头部设备2102或与其集成，并且被配置为检测用户的语音。在一些示例中，麦克风可以被附接到手持式控制器300和/或辅助单元320或与其集成。这样的麦克风可以被配置为检测环境声音、环境噪声、用户或第三方的语音、或其他声音。
图4示出了可以与示例性混合现实系统对应的示例性功能框图，诸如如上所述的混合现实系统200(其可以对应于相对于图1的混合现实系统112)。如图4所示，示例手持式控制器400B(其可以对应于手持式控制器300(“图腾”))包括图腾到可穿戴头部设备六自由度(6DOF)图腾子系统404A，并且示例可穿戴头部设备400A(其可以对应于可穿戴头部设备2102)包括图腾到可穿戴头部设备6DOF子系统404B。在示例中，6DOF图腾子系统404A和6DOF子系统404B合作确定手持式控制器400B相对于可穿戴头部设备400A的六个坐标(例如，在三个平移方向上的偏移和沿着三个轴的旋转)。六个自由度可以相对于可穿戴头部设备400A的坐标系表示。三个平移偏移可以表示为这样的坐标系中的X、Y和Z偏移、表示为平移矩阵、或表示为一些其他表示。旋转自由度可以表示为一序列的偏航、俯仰和滚动旋转、表示为旋转矩阵、表示为四元数、或表示为一些其他表示。在一些示例中，可穿戴头部设备400A；包括在可穿戴头部设备400A中的一个或多个深度相机444(和/或一个或多个非深度相机)；和/或一个或多个光学目标(例如，如上所描述的手持式控制器400B的按钮350，或包括在手持式控制器400B中的专用光学目标)可以用于6DOF跟踪。在一些示例中，手持式控制器400B可以包括相机，如上所描述的；并且可穿戴头部设备400A可以包括用于组合相机光学跟踪的光学目标。在一些示例中，可穿戴头部设备400A和手持式控制器400B各自包括一组三个正交取向的螺线管，其用于无线地发送和接收三个可区分的信号。通过测量用于接收的线圈中的每一个中所接收的三个可区分信号的相对幅度，可以确定可穿戴头部设备400A相对于手持式控制器400B的6DOF。此外，6DOF图腾子系统404A可以包括惯性测量单元(IMU)，该惯性测量单元(IMU)可用于提供关于手持式控制器400B的快速移动的经改进的准确度和/或更及时的信息。
在一些示例中，可能变得需要将来自局部坐标空间(例如，相对于可穿戴头部设备400A固定的坐标空间)的坐标变换到惯性坐标空间(例如，相对于真实环境固定的坐标空间)，例如以便补偿可穿戴头部设备400A相对于坐标系108的移动。例如，这样的变换可能为可穿戴头部设备400A的显示器进行以下内容所必需：将虚拟对象呈现在相对于真实环境的期望位置和取向处(例如，坐在真实椅子中、面向前的虚拟人，而不管可穿戴头部设备的位置和取向)，而不是呈现在显示器上的固定位置和取向处(例如，在显示器的右下角的相同位置处)，以保持虚拟对象存在于真实环境中的错觉(并且例如当可穿戴头部设备400A移动和旋转时不显得不自然地定位在真实环境中)。在一些示例中，坐标空间之间的补偿变换可以通过使用SLAM和/或视觉测距程序处理来自深度相机444的图像确定，以便确定可穿戴头部设备400A相对于坐标系108的变换。在图4所示的示例中，深度相机444被耦合到SLAM/视觉测距块406并且可以向块406提供图像。SLAM/视觉测距块406实施方式可以包括处理器，该处理器被配置为处理该图像并且确定用户的头部的位置和取向，该位置和取向然后可以用于标识头部坐标空间与另一坐标空间(例如，惯性坐标空间)之间的变换。类似地，在一些示例中，从IMU 409获得关于用户的头部姿势和位置的信息的附加源。来自IMU 409的信息可以与来自SLAM/视觉测距块406的信息集成，以提供关于用户的头部姿势和位置的快速调节的经改进的准确度和/或更及时的信息。
在一些示例中，深度相机444可以将3D图像供应到手势跟踪器411，该手势跟踪器411可以实现在可穿戴头部设备400A的处理器中。手势跟踪器411可以标识用户的手势，例如通过将从深度相机444接收的3D图像与表示手势的所存储的图案相匹配。标识用户的手势的其他适合的技术将是明显的。
在一些示例中，一个或多个处理器416可以被配置为从可穿戴头部设备的6DOF头盔子系统404B、IMU 409、SLAM/视觉测距块406、深度相机444、和/或手势跟踪器411接收数据。处理器416还可以发送和接收来自6DOF图腾系统404A的控制信号。处理器416可以被无线耦合到6DOF图腾系统404A，诸如在手持式控制器400B不受限的示例中。处理器416还可以与附加部件通信，诸如音频-视觉内容存储器418、图形处理单元(GPU)420、和/或数字信号处理器(DSP)音频声场定位器(spatializer)422。DSP音频声场定位器422可以被耦合到头部相关传递函数(HRTF)存储器425。GPU 420可以包括被耦合到逐图像调制光的左源424的左通道输出和被耦合到逐图像调制光的右源426的右通道输出。GPU 420可以将立体图像数据输出到逐图像调制光源424、426，例如如上相对于图2A-2D所描述的。DSP音频声场定位器422可以向左扬声器412和/或右扬声器414输出音频。DSP音频声场定位器422可以从处理器419接收指示从用户到虚拟声源(其可以由用户移动，例如，经由手持式控制器320)的方向矢量的输入。基于方向矢量，DSP音频声场定位器422可以确定对应的HRTF(例如，通过访问HRTF、或通过内插多个HRTF)。DSP音频声场定位器422然后可以将所确定的HRTF应用到音频信号，诸如对应于由虚拟对象生成的虚拟声音的音频信号。这可以通过内插用户相对于混合现实环境中的虚拟声音的相对位置和取向——即，通过呈现匹配该虚拟声音将听起来像什么(如果其是真实环境中的真实声音)的用户的期望的虚拟声音来增强虚拟声音的可信度和真实性。
在一些示例中，诸如图4所示，处理器416、GPU 420、DSP音频声场定位器422、HRTF存储器425、和音频/视觉内容存储器418中的一个或多个可以包括在辅助单元400C中(其可以对应于如上所描述的辅助单元320)。辅助单元400C可以包括对其部件供电和/或向可穿戴头部设备400A或手持式控制器400B供电的电池427。将这样的部件包括在可安装到用户的腰部的辅助单元中可以限制可穿戴头部设备400A的大小和重量，其进而可以减少用户的头部和颈部的疲劳。
虽然图4呈现了与示例混合现实系统的各种组件对应的元件，但是这些部件的各种其他适合的布置对于本领域技术人员来说将变得显而易见。例如，图4中呈现为与辅助单元400C相关联的元件可以替代地与可穿戴头部设备400A或手持式控制器400B相关联。。此外，一些混合现实系统可以完全放弃手持式控制器400B或辅助单元400C。这样的改变和修改将被理解为包括在所公开的示例的范围内。
混合现实视频捕获
捕获和记录AR/MR体验可能比捕获二维视频更复杂，并且可能会出现新问题。例如，二维视频记录系统可能只捕获一个信息流(例如，视频记录系统上的光学/图像传感器可以捕获的内容)。另一方面，AR/MR体验可能有两个或更多信息流。例如，一个信息流可以是二维视频，而另一个信息流可以是渲染的虚拟内容。有时可以使用三个或更多个信息流(例如，当从两个二维视频中捕获立体视频以及伴随的虚拟内容时)。将多个信息流组合成准确的AR/MR记录可以包括考虑多个流之间的视角差异。以计算有效的方式处理组合过程可能进一步是有益的，特别是对于可能具有有限电池功率和/或处理能力的便携式AR/MR系统。
用户可能都有理由捕获和记录AR/MR内容。在一些实施例中，用户可能希望记录个人AR/MR内容并将其分享到社交媒体(例如，儿童游戏的AR/MR记录)。在一些实施例中，用户可能希望记录和共享商业AR/MR内容(例如，广告)。所记录的AR/MR内容可以被共享到二维屏幕(例如，通过将一个虚拟内容流与一个真实内容流进行组合)和其他MR系统(例如，通过将两个虚拟内容流与两个真实内容流进行组合)。虽然AR/MR系统的原始用户可能通过透射式光学器件(例如，通过部分透射式透镜)体验真实环境，但观看所记录的AR/MR内容的观看者可能不在相同的真实环境中。因此，为了向观看者呈现完整的AR/MR记录，可以包括真实环境的视频捕获，以便虚拟内容可以覆盖在真实环境的视频捕获上。
在视频记录中捕获MRE可能会带来除了显示MRE之外的额外挑战。例如，混合现实视频捕获可以包括两个记录流：真实环境记录流和虚拟环境记录流。可以使用一个或多个光学传感器(例如，相机)捕获真实环境记录流。将一个或多个光学传感器安装在AR/MR系统(例如，MR系统112、200)上可能是有利的。在AR/MR系统是可穿戴头部设备的实施例中，一个或多个光学传感器可以被安装在可穿戴头部设备上，紧邻用户的眼睛，并且可选地面向与用户眼睛相同的方向。在所描述的安装系统中，可以定位一个或多个光学传感器以与用户体验真实环境的方式非常接近地捕获真实环境的视频记录。
可以通过记录向用户显示的虚拟内容来捕获虚拟环境记录流。在一些实施例中，AR/MR系统(例如，MR系统112、200)可以同时向用户显示两个虚拟内容流(例如，每只眼睛一个流)以向用户提供立体视图。每个虚拟渲染都可以从稍微不同的视角进行渲染(可以对应用户左眼与右眼的视角差异)，而视角的差异可以使虚拟内容呈现出立体感。虚拟环境记录流可以包括显示给用户的眼睛的一个或两个虚拟渲染。在一些实施例中，虚拟渲染可以与真实环境记录流覆盖(overlaid)以模拟用户在使用AR/MR系统时体验的MRE。使用针对用户眼睛所渲染的虚拟渲染可能是有益的，用户眼睛在物理上位置上最接近用于真实环境记录流的一个或多个光学传感器。用户的眼睛(以及针对该相应的视角所渲染的虚拟渲染)与光学传感器的物理接近度可以使组合过程更加准确，因为视角的移动(shift)最小。
组合真实环境记录流和虚拟环境记录流可能产生的一个问题是两个记录流可能不具有相同的分辨率和/或纵横比。例如，真实环境记录流可以以1920x1080像素的分辨率捕获视频，但虚拟环境记录流可能仅以1280x720像素的分辨率渲染虚拟内容。可能出现的另一个问题是真实环境记录流可能与虚拟环境记录流具有不同的视场。例如，相机可以使用比渲染虚拟环境记录流更大的视场来捕获真实环境记录流。因此，可以在真实环境记录流中比在虚拟环境记录流中捕获更多信息(例如，更大的视场)。在一些实施例中，位于虚拟内容的视场之外的真实内容在虚拟渲染中可能没有对应的渲染虚拟内容。当真实环境记录流与虚拟环境记录流合并时，组合的视频中可能会出现人为的“边界”，在边界之外不显示虚拟内容，但仍会记录和显示真实内容。这个边界可能会让观看者感到不和谐，因为它会分散虚拟内容与真实内容的整合。它可能会进一步向观看者呈现不准确性。例如，由相机记录的真实对象可能具有对应的虚拟内容(例如，信息叠加)。但是，如果真实对象在虚拟渲染的视场之外但仍在相机的视场内，则对应的虚拟内容可能不会显示给观看者，直到真实对象在人为边界内移动。这种行为可能会让AR/MR记录的观看者感到困惑，因为根据真实对象相对于边界存在的位置，真实对象的对应的虚拟内容可能可见也可能不可见。
图5A示出了可以减轻和/或消除虚拟内容与真实内容之间的边界的示例实施例。所示的示例实施例可以使用混合现实系统的一个或多个部件来实现，例如上述示例混合现实系统200的可穿戴头部设备2102、手持式控制器300、和辅助单元320中的一个或多个。在所描绘的实施例中，RGB相机可以位于用户的左眼附近。RGB相机可以记录视图502，该视图可以与呈现给用户左眼的虚拟渲染的视图504(和/或视图506)重叠和/或包括呈现给用户左眼的虚拟渲染的视图504(和/或视图506)。视图502可以大于视图504，因此在视图502上组合(例如，覆盖或叠加)视图504可能会导致人为边界503。在该实施例中，AR/MR记录可以在整个视图502内显示真实内容，但虚拟内容可能仅在边界503内显示。边界503可能会令观看者感到不和谐，因为虚拟内容可能存在于边界503之外(至少在视图502内)，但直到虚拟内容在边界503内移动时才会显示虚拟内容。减轻和/或消除边界503的一种解决方案是将视图502裁剪为边界503的大小和位置。裁剪的视图可以产生大小与真实内容相同的虚拟内容，从而创建整合且沉浸式观看经验。然而，裁剪视图会通过“丢弃”由RGB相机捕获的信息来减少观看者的可视区域。
图5B示出了用于合并来自视图502和视图504的视角的示例实施例。所示的示例实施例可以使用混合现实系统的一个或多个部件来实现，例如上述示例混合现实系统200的可穿戴头部设备2102、手持式控制器300、和辅助单元320中的一个或多个。因为RGB相机可以具有从焦点510偏移的焦点508(其可以对应于用户左眼的中心)，所以视图502可能呈现与视图504不同的视角，从而导致虚拟内容可能不会与真实内容“同步”(例如，排列和/或对齐)。这可能是有问题的，因为虚拟内容可能无法正确对应于真实内容(例如，如果虚拟对象的脸部从用户眼睛的视角是可见的，但从RGB相机的视角来看不应该是可见的)，这可能打破AR/MR记录的沉浸感。一种解决方案可以是使用平面投影以将视图504“映射”到视图502。在平面投影中，视图504中的一个或多个点P1可以映射在焦点508与视图502中对应的一个或多个点P2之间的线上(反之亦然)。这可以使用计算机视觉算法来完成，该算法可以确定一个或多个点P1处的观察结果是与一个或多个点P2处的观察结果相同的相同特征的观察结果。映射的组合可以减轻由于不同焦点508、510引起的视角差异。在一些实施例中，组合的AR/MR记录可以以与向AR/MR系统的用户所显示的虚拟内容大致相同的方式来显示虚拟内容。然而，如上所述，在一些实施例中，可以丢弃由RGB相机捕获的有用信息以避免真实内容与虚拟内容之间的人为边界。
图6示出了用于产生AR/MR记录的示例实施例。所示的示例实施例可以使用混合现实系统的一个或多个部件来实现，例如上述示例混合现实系统200的可穿戴头部设备2102、手持式控制器300、和辅助单元320中的一个或多个。AR/MR系统(例如，MR系统112、200)可以从一个或多个视角渲染虚拟内容(例如，虚拟内容可以从用户的左眼视角渲染一次，并且从用户的右眼视角渲染一次)。AR/MR系统还可以从RGB相机的视角第三次渲染虚拟内容，该相机可以位于用户眼睛(例如用户的左眼)附近，并且面向与用户的前视方向大致相同的方向。在一些实施例中，可以将虚拟内容的这种第三通道(third-pass)渲染渲染为与RGB相机相同的分辨率、纵横比、和/或视场。这可以允许使用同步的虚拟内容和真实内容生成AR/MR记录，而不会丢弃来自RGB相机或虚拟渲染的任何信息。然而，在一些实施例中，虚拟内容的第三通道渲染在计算上可能是昂贵的。第三通道渲染可以包括完整的几何传递，它可以包括完整的绘制调用和/或光栅化。更多细节可以在美国专利申请号15/924,144中找到，其内容通过引用整体并入本文。在计算资源有限的便携式AR/MR系统上执行第三通道渲染可能不可行(例如，因为AR/MR系统已经针对用户的两只眼睛渲染了两次)。由于更高的计算负载，它会进一步消耗额外的功率，这会对依赖便携式电源的AR/MR系统的电池寿命产生负面影响。
图7示出了用于产生AR/MR记录的示例实施例。所示的示例实施例可以使用混合现实系统的一个或多个部件来实现，例如上述示例混合现实系统200的可穿戴头部设备2102、手持式控制器300、和辅助单元320中的一个或多个。AR/MR系统(例如，MR系统112、200)可以从一个或多个视角渲染虚拟内容(例如，虚拟内容可以从用户的左眼视角渲染一次，并且从用户的右眼视角渲染一次)。在一些实施例中，两个虚拟渲染(例如，针对每只眼睛一次)可能是不均匀的。例如，针对用户左眼的虚拟渲染可以渲染到视图702，这可能不同于针对用户右眼的虚拟渲染，其可以渲染到视图706。视图706可以与用户的右眼的视场的大小大致相同(例如，因此不会渲染不会向用户显示的虚拟内容，从而最小化计算负载)。视图702可以大于视图706，并且可以渲染到比用户左眼可见的更大的视场。视图702可以包括视图704，其可以是用户的左眼可用的视场(例如，除了可能不向用户显示的一些虚拟内容之外，向用户显示的所有虚拟内容都可以包括在视图702中)。视图702可以可选地具有与视图708相同或大致相同的视场，该视场可以是RGB相机(例如，位于用户左眼附近并面向与用户前视方向相同的方向的RGB相机)可用的视场。
在AR/MR记录期间，可以(例如，通过MR系统112、200)渲染视图702和706。可以将视图702裁剪成视图704，视图704可以具有与视图706相同的视场，但是视图704可以从稍微不同的视角(例如，从左眼的视角而不是从右眼的视角)进行渲染。视图704和706可以向用户显示虚拟内容，并且视图704和706可以创建立体图像以模拟三维虚拟内容。RGB相机可以同时从与用户视角类似的视角来记录真实环境的视频(例如，RGB相机可以位于用户的一只眼睛附近)。然后可以将该真实环境记录流与视图702(可以是虚拟环境记录流)组合以创建MR记录。在一些实施例中，来自视图702的虚拟环境记录流可以具有与视图708大致相同的分辨率、纵横比、和/或视场。因此，将真实环境记录流与虚拟环境记录流组合的AR/MR记录可以丢弃RGB相机和/或虚拟渲染捕获的很少信息甚至不丢失信息。渲染非均匀立体虚拟内容还可能是有益的，因为扩展两个渲染通道之一比使用完整的第三通道渲染在计算上更有效。扩展现有渲染通道可以仅包括针对额外像素的额外光栅化，但可能不包括完整几何通道(与一些实施例中的第三通道渲染不同)。
图8示出了用于生成AR/MR记录的示例过程，其可以是增强的视频捕获。所示的示例过程可以使用混合现实系统的一个或多个部件来实现，例如上述示例混合现实系统200的可穿戴头部设备2102、手持式控制器300、和辅助单元320中的一个或多个。在步骤802，可以接收开始增强视频捕获的请求。请求可以是用户发起的(例如，用户选择设置开始记录，或者用户大声说话开始记录，AR/MR系统可以将其处理为用户请求，或者用户执行手势，AR/MR系统可以将该手势处理为用户请求)、或自动处理(例如，计算机视觉算法检测机器学习算法确定用户可能感兴趣的场景，然后MR系统相应地自动开始记录)。在步骤804，可以确定/估计用户的姿势和RGB相机的姿势。用户的姿势可以包括关于用户在三维环境中的位置和/或方位的信息。用户的姿势可能与AR/MR系统的姿势相同或类似(例如，如果AR/MR系统是相对于用户头部固定的可穿戴头部设备)。可以使用SLAM、视觉惯性测距和/或其他适当的方法来估计姿势。RGB相机的姿势可以独立确定/估计和/或从AR/MR系统的姿势(可以近似用户的姿势)中导出。例如，RGB相机可以安装在AR/MR系统上的固定位置，该位置可以为AR/MR系统所知。AR/MR系统可以利用其自己的估计姿势与RGB相机相对于AR/MR系统的位置组合地来确定/估计RGB相机的姿势。在步骤806，可以基于针对用户和/或AR/MR系统的姿势估计针对用户的第一眼睛(例如，用户的右眼)来渲染虚拟内容。可以通过模拟第一虚拟相机来渲染虚拟内容，该第一虚拟相机可以定位在用户眼睛(例如，用户的第一眼睛)的中心。
在步骤808，可以基于针对用户和/或AR/MR系统和RGB相机的姿势估计，针对用户的第二眼睛(例如，用户的左眼)渲染虚拟内容。针对用户的第二眼睛所渲染的虚拟内容可以模拟第二虚拟相机，该第二虚拟相机可以位于用户眼睛(例如，用户的第二眼睛和/或左眼)的中心。与针对用户的第一眼睛所渲染的虚拟内容相比，针对用户的第二眼睛所渲染的虚拟内容可以包括除了视角和/或虚拟相机位置的变化之外的其他变化。在一些实施例中，与针对用户第一眼睛的虚拟相机(例如，第一虚拟相机)的帧缓冲区大小相比时，可以增加第二虚拟相机(例如，要与RGB相机合成的虚拟相机，也可以是针对用户左眼的虚拟相机)的帧缓冲区大小(例如，图像平面大小)。针对第二眼睛的帧缓冲区的纵横比可以匹配针对第一眼睛的帧缓冲区的纵横比(尽管可以使用其他纵横比)。在一些实施例中，可以改变用于第二眼睛的虚拟相机的投影矩阵，使得与用于第一眼睛的虚拟相机相比时渲染更大的视场。可能期望更改虚拟相机的投影矩阵以解决更大的帧缓冲区的大小。未能增加视场和/或改变虚拟相机的投影矩阵以解决更大的帧缓冲区大小可能导致虚拟内容与呈现给不同眼睛的虚拟内容不匹配，从而立体效果可能会降低和/或丢失。在一些实施例中，增加的视场和/或改变的投影矩阵可以产生虚拟渲染，该虚拟渲染具有与位于用户的第二眼睛附近的RGB相机相同的视场。在一些实施例中，对于要与RGB相机合成的虚拟相机，视图矩阵可以保持不变(例如，虚拟相机仍然可以从相同位置以到目标的相同矢量进行渲染)。在一些实施例中，最小剪裁距离(例如，从用户的眼睛到虚拟内容的最小距离，低于该距离，虚拟内容可能不会被渲染)可以防止虚拟对象被渲染在可能在RGB相机的视场之外的区域中，但在位于用户的第二眼睛的中心处的虚拟相机的视场内。
在步骤810，可以裁剪在步骤808针对第二眼睛所渲染的虚拟内容以显示给用户的第二眼睛。在一些实施例中，经扩展的视场的中心也可以是呈现给用户的第二眼睛的经裁剪视场的中心。经裁剪视场可以与针对用户的第一眼睛所渲染的虚拟内容的视场大小相同。针对用户的第一眼睛所渲染的虚拟内容和针对用户的第二眼睛所渲染的经裁剪的虚拟内容可以组合从而为显示给用户的虚拟内容产生立体效果，这可以模拟虚拟内容的三维性。在步骤812，可以向用户显示虚拟内容。在一些实施例中，步骤806、808和/或810可以同时或基本上同时发生。例如，AR/MR系统可以针对用户的第一眼睛和用户的第二眼睛渲染虚拟内容，裁剪针对用户的第二眼睛所渲染的虚拟内容，并向用户显示立体虚拟内容，几乎没有或没有可察觉的延迟(例如，立体虚拟内容可以在用户环顾真实环境时跟踪真实内容)。
在步骤814，可以开始RGB视频捕获(例如，使用安装在AR/MR系统上的RGB相机)。在步骤816，可以将经扩展的(例如，未裁剪的)虚拟内容视场与捕获的RGB视频合成。例如，可以将经扩展的虚拟内容视场投影(例如，使用平面投影)到捕获的RGB视频上。在一些实施例中，可以将捕获的RGB视频投影(例如，使用平面投影)到虚拟内容视场上。在一些实施例中，虚拟内容视场可以与RGB相机的视场大小相同。这可能导致RGB相机信息和/或虚拟信息的损失非常小。在一些实施例中，一些信息可能由于投影过程而丢失。在一些实施例中，虚拟内容视场可以大于RGB相机的视场，因此由于投影造成的损失可能不需要丢弃由RGB相机捕获的信息。在一些实施例中，虚拟内容视场可以小于RGB相机的视场，因此由于投影造成的损失可能需要丢弃由RGB相机捕获的信息。在步骤818，可以合成和存储增强的视频捕获。在一些实施例中，增强视频捕获可以显示比呈现给记录AR/MR系统的用户更多的信息。例如，与使用AR/MR系统时用户的视场相比，AR/MR记录可以具有经扩展的视场。
图9示出了用于合成和存储增强视频捕获的示例系统，其可以对应于步骤816和818。所示示例系统可以使用混合现实系统的一个或多个部件来实现，例如上述示例混合现实系统200的可穿戴头部设备2102、手持式控制器300、和辅助单元320中的一个或多个。来自相机902的相机图像帧可以与来自IMU 904的针对用户的头部/眼睛的姿势数据和/或针对相机的姿势数据一起发送到合成器906。然后可以将姿势数据从合成器906发送到AR/MR应用和/或图形处理单元(“GPU”)908，AR/MR应用和/或图形处理单元908可以从3D数据库中拉取信息(例如，模型)。AR/MR应用908可以将经扩展的虚拟渲染发送到合成器906。合成器906然后可以将经扩展的虚拟渲染与来自相机902的相机图像帧合成(例如，使用平面投影)并将合成的帧发送到媒体编码器912。媒体编码器912然后可以将经编码的图像帧发送到记录数据库914用于存储。
虽然上面已经描述了具有一个RGB相机的实施例，但是还设想本文描述的系统和方法可以应用于任何数量的RGB相机。例如，可以使用两个RGB相机，其中用户的每只眼睛附近安装一个RGB相机。然后，针对每只眼睛的虚拟渲染既可以被扩展(尽管在使用期间可能只向用户呈现有限的视场)，也可以被投影到RGB相机的视场中(RGB相机图像也可以投影到虚拟图像)。这可以允许立体增强视频捕获，并且可能特别适合在另一个MR系统上播放，这可以提供比在2D屏幕上播放更身临其境的体验。还设想可以使用系统和方法将RGB相机的视角移动为尽可能接近用户的眼睛的视角。例如，反射镜和/或其他光学元件可用于反射光，以使RGB相机从与用户眼睛相同(或大致相同)的视角观看内容。除了合成视频之外，增强视频捕获还可以包括合成音频。例如，可以记录虚拟音频信号并将其与(可以由MR系统上的一个或多个麦克风捕获)记录的真实音频信号进行合成。合成的音频可以进一步与合成的视频同步。
尽管所公开的示例已经参考附图充分描述，但是，应注意到，各种改变和修改对于本领域技术人员来说将变得明显。例如，一个或多个实施方式的元素可以组合、删除、修改、或补充以形成进一步的实施方式。这样的改变和修改将被理解为包括在如由附加的权利要求限定的所公开的示例的范围内。

Claims (20)

1.一种方法，包括：
经由可穿戴头部设备的相机接收真实环境的图像；
估计所述可穿戴头部设备的姿势；
基于所述姿势，生成虚拟环境的第一图像；
基于所述姿势，生成所述虚拟环境的第二图像，其中，所述虚拟环境的所述第二图像包括比所述虚拟环境的所述第一图像的视场更大的视场；以及
基于所述虚拟环境的所述第二图像和所述真实环境的所述图像，生成组合图像。
2.根据权利要求1所述的方法，还包括：
基于所述虚拟环境的所述第二图像，生成裁剪图像；以及
基于所述虚拟环境的所述第一图像和所述裁剪图像，经由所述可穿戴头部设备的显示器呈现立体图像。
3.根据权利要求2所述的方法，其中，所述裁剪图像包括所述裁剪图像的中心，其中，所述虚拟环境的所述第二图像包括所述第二图像的中心，并且其中，所述裁剪图像的中心与所述第二图像的中心相同。
4.根据权利要求2所述的方法，其中，所述裁剪图像包括裁剪视场，并且其中，所述虚拟环境的所述第二图像的所述视场大于所述裁剪视场。
5.根据权利要求1所述的方法，其中，生成所述组合图像包括：平面投影。
6.根据权利要求1所述的方法，其中，所述虚拟环境的所述第二图像包括纵横比，并且其中，所述真实环境的所述图像包括相同的纵横比。
7.根据权利要求1所述的方法，其中，所述虚拟环境的所述第二图像包括纵横比，并且其中，所述虚拟环境的所述第一图像包括相同的纵横比。
8.根据权利要求1所述的方法，其中，所述虚拟环境的所述第一图像包括第一帧缓冲区大小，其中，所述虚拟环境的所述第二图像包括第二帧缓冲区大小，并且其中，所述第二帧缓冲区大小大于所述第一帧缓冲区大小。
9.根据权利要求1所述的方法，其中，所述虚拟环境的所述第一图像包括帧缓冲区大小，并且其中，所述裁剪图像包括相同的帧缓冲区大小。
10.根据权利要求1所述的方法，其中，所述虚拟环境的所述第一图像包括第一分辨率，其中，所述虚拟环境的所述第二图像包括第二分辨率，并且其中，所述第二分辨率大于所述第一分辨率。
11.根据权利要求1所述的方法，其中，所述相机被配置为放置在用户的左眼的左侧。
12.根据权利要求1所述的方法，其中，所述相机被配置为放置在用户的右眼的右侧。
13.根据权利要求1所述的方法，其中，所述相机被配置为放置在用户的左眼与用户的右眼之间。
14.根据权利要求1所述的方法，还包括：经由显示器将所述组合图像呈现给不同于所述可穿戴头部设备的第二设备。
15.一种系统，包括：
可穿戴头部设备的相机；
一个或多个处理器，被配置为执行一种方法，所述方法包括：
经由所述可穿戴头部设备的所述相机接收真实环境的图像；
估计所述可穿戴头部设备的姿势；
基于所述姿势，生成虚拟环境的第一图像；
基于所述姿势，生成所述虚拟环境的第二图像，其中，所述虚拟环境的所述第二图像包括比所述虚拟环境的所述第一图像的视场更大的视场；以及
基于所述虚拟环境的所述第二图像和所述真实环境的所述图像，生成组合图像。
16.根据权利要求15所述的系统，还包括：
基于所述虚拟环境的所述第二图像，生成裁剪图像；以及
基于所述虚拟环境的所述第一图像和所述裁剪图像，经由所述可穿戴头部设备的显示器呈现立体图像。
17.根据权利要求16所述的系统，其中，所述裁剪图像包括所述裁剪图像的中心，其中，所述虚拟环境的所述第二图像包括所述第二图像的中心，并且其中，所述裁剪图像的中心与所述第二图像的中心相同。
18.一种存储指令的非瞬态计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行一种方法，所述方法包括：
经由可穿戴头部设备的相机接收真实环境的图像；
估计所述可穿戴头部设备的姿势；
基于所述姿势，生成虚拟环境的第一图像；
基于所述姿势，生成所述虚拟环境的第二图像，其中，所述虚拟环境的所述第二图像包括比所述虚拟环境的所述第一图像的视场更大的视场；以及
基于所述虚拟环境的所述第二图像和所述真实环境的所述图像，生成组合图像。
19.根据权利要求18所述的非瞬态计算机可读介质，还包括：
基于所述虚拟环境的所述第二图像，生成裁剪图像；以及
基于所述虚拟环境的所述第一图像和所述裁剪图像，经由所述可穿戴头部设备的显示器呈现立体图像。
20.根据权利要求19所述的非瞬态计算机可读介质，其中，所述裁剪图像包括所述裁剪图像的中心，其中，所述虚拟环境的所述第二图像包括所述第二图像的中心，并且其中，所述裁剪图像的中心与所述第二图像的中心相同。
CN202080089379.1A 2019-10-25 2020-10-23 非均匀立体渲染 Pending CN114846434A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962926306P 2019-10-25 2019-10-25
US62/926,306 2019-10-25
PCT/US2020/057212 WO2021081442A1 (en) 2019-10-25 2020-10-23 Non-uniform stereo rendering

Publications (1)

Publication Number Publication Date
CN114846434A true CN114846434A (zh) 2022-08-02

Family

ID=75587124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080089379.1A Pending CN114846434A (zh) 2019-10-25 2020-10-23 非均匀立体渲染

Country Status (5)

Country Link
US (3) US11488365B2 (zh)
EP (1) EP4049117A4 (zh)
JP (1) JP7558268B2 (zh)
CN (1) CN114846434A (zh)
WO (1) WO2021081442A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021081442A1 (en) 2019-10-25 2021-04-29 Magic Leap, Inc. Non-uniform stereo rendering
US11676311B1 (en) * 2021-11-29 2023-06-13 International Business Machines Corporation Augmented reality replica of missing device interface
CN117830573A (zh) * 2024-01-03 2024-04-05 深圳职业技术大学 基于图像裁剪的xr组合场景构建方法、系统及介质

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6491391B1 (en) 1999-07-02 2002-12-10 E-Vision Llc System, apparatus, and method for reducing birefringence
CA2316473A1 (en) 1999-07-28 2001-01-28 Steve Mann Covert headworn information display or data display or viewfinder
JP2001346031A (ja) * 2000-06-05 2001-12-14 Fuji Photo Film Co Ltd 画像合成方法及び装置
CA2362895A1 (en) 2001-06-26 2002-12-26 Steve Mann Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license
DE10132872B4 (de) 2001-07-06 2018-10-11 Volkswagen Ag Kopfmontiertes optisches Durchsichtssystem
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
CA2388766A1 (en) 2002-06-17 2003-12-17 Steve Mann Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7500747B2 (en) 2003-10-09 2009-03-10 Ipventure, Inc. Eyeglasses with electrical components
CN102068237A (zh) 2004-04-01 2011-05-25 威廉·C·托奇 监控眼睛运动的系统及方法、控制计算装置的系统及方法
US7528846B2 (en) * 2005-02-23 2009-05-05 Microsoft Corporation Systems and methods to adjust a source image aspect ratio to match a different target display aspect ratio
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
CA2686121C (en) * 2007-04-16 2016-06-21 Sunfish Studio, Llc Single-pass and order-independent transparency in computer graphics using constant memory
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
EP2395765B1 (en) * 2010-06-14 2016-08-24 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
JP5546960B2 (ja) 2010-06-14 2014-07-09 任天堂株式会社 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20130077147A1 (en) 2011-09-22 2013-03-28 Los Alamos National Security, Llc Method for producing a partially coherent beam with fast pattern update rates
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US8768141B2 (en) 2011-12-02 2014-07-01 Eric Chan Video camera band and system
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US9274338B2 (en) 2012-03-21 2016-03-01 Microsoft Technology Licensing, Llc Increasing field of view of reflective waveguide
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
CN104903818B (zh) 2012-12-06 2018-12-14 谷歌有限责任公司 眼睛跟踪佩戴式设备和使用方法
EP2951811A4 (en) 2013-01-03 2016-08-17 Meta Co DIGITAL EYES FOR EXTRAMISSIVE SPATIAL IMAGING, PROCESSES AND SYSTEMS FOR VIRTUAL OR ENLARGED VISIBILITY, MANIPULATION, PRODUCTION OR INTERACTION WITH OBJECTS, MATERIALS, OR OTHER UNITS
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
KR102018887B1 (ko) * 2013-02-21 2019-09-05 삼성전자주식회사 신체 부위 검출을 이용한 이미지 프리뷰
KR101845350B1 (ko) * 2013-03-26 2018-05-18 세이코 엡슨 가부시키가이샤 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
US10430985B2 (en) * 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US10180734B2 (en) * 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
KR102524641B1 (ko) * 2016-01-22 2023-04-21 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
KR102474088B1 (ko) * 2016-04-22 2022-12-05 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 이미지를 합성하기 위한 방법 및 디바이스
US10818087B2 (en) * 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
WO2019209265A1 (en) * 2018-04-24 2019-10-31 Hewlett-Packard Development Company, L.P. Animated gazes on head mounted displays
US11189054B2 (en) * 2018-09-28 2021-11-30 Apple Inc. Localization and mapping using images from multiple devices
US10955657B2 (en) * 2018-12-20 2021-03-23 Acclarent, Inc. Endoscope with dual image sensors
CA3086502A1 (en) * 2019-07-09 2021-01-09 Interaptix Inc. System and method for corrected video-see-through for head mounted displays
WO2021081442A1 (en) 2019-10-25 2021-04-29 Magic Leap, Inc. Non-uniform stereo rendering

Also Published As

Publication number Publication date
US20240249482A1 (en) 2024-07-25
WO2021081442A1 (en) 2021-04-29
US20210125412A1 (en) 2021-04-29
US11961194B2 (en) 2024-04-16
JP7558268B2 (ja) 2024-09-30
EP4049117A4 (en) 2022-12-14
EP4049117A1 (en) 2022-08-31
US11488365B2 (en) 2022-11-01
US20230012909A1 (en) 2023-01-19
JP2022554200A (ja) 2022-12-28

Similar Documents

Publication Publication Date Title
US11928784B2 (en) Systems and methods for presenting perspective views of augmented reality virtual object
US11861803B2 (en) Session manager
JP2023513747A (ja) ３ｄオブジェクト注釈
US12112098B2 (en) Tool bridge
JP2023513250A (ja) 仮想コンテンツの動的併置
US11961194B2 (en) Non-uniform stereo rendering
US11477599B2 (en) Delayed audio following
US20210373654A1 (en) Determining angular acceleration
US20230396948A1 (en) Delayed audio following
JP2023514571A (ja) 遅延オーディオ追従
WO2023064870A1 (en) Voice processing for mixed reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination