CN108139801A - 用于经由保留光场渲染来执行电子显示稳定的系统和方法 - Google Patents

用于经由保留光场渲染来执行电子显示稳定的系统和方法 Download PDF

Info

Publication number
CN108139801A
CN108139801A CN201680057401.8A CN201680057401A CN108139801A CN 108139801 A CN108139801 A CN 108139801A CN 201680057401 A CN201680057401 A CN 201680057401A CN 108139801 A CN108139801 A CN 108139801A
Authority
CN
China
Prior art keywords
posture
frame
light field
user
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680057401.8A
Other languages
English (en)
Other versions
CN108139801B (zh
Inventor
埃文·哈德斯蒂·帕克
马修·米尔顿·法尔
约翰尼·钟·李
克雷格·多纳
丹尼尔·埃里克森
多米尼克·菲利蒙·克泽尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108139801A publication Critical patent/CN108139801A/zh
Application granted granted Critical
Publication of CN108139801B publication Critical patent/CN108139801B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在具有用户便携式显示设备(102)的系统(100)中，一种方法包括维护表示与用户便携式显示设备相对于3D世界的第一姿态(502)相关联的三维(3D)世界的四维(4D)光场的至少一部分的光场数据结构(132)。该方法还包括确定用户便携式显示设备相对于3D世界的第二姿态(502)，第二姿态包括用户便携式显示设备的更新姿态。该方法还包括基于第二姿态从光场数据结构生成显示帧(144、145)，该显示帧表示来自第二姿态的3D世界的视场。

Description

用于经由保留光场渲染来执行电子显示稳定的系统和方法
技术领域
本公开总体上涉及渲染的显示系统，并且更具体地涉及在用户便携式显示系统中的时延减少的运动补偿和稳定。
背景技术
虚拟现实(VR)系统复制使用在该世界中的“场景”的完全由计算机生成的三维(3D)影像模拟在真实世界或想象世界中的位置的物理存在的环境。类似地，增强现实(AR)系统通过计算机生成的覆盖了同时捕获的真实世界的影像的3D影像“增强”现实世界中的物理存在。因此，VR和AR系统都试图在真实、增强或想象的世界中提供准确的“存在”感。典型地，通过使用头戴式显示器(HMD)、平板计算机、智能电话或其他显示提供在所表示的世界中的场景的二维(2D)或3D表示的影像的用户便携式显示设备来促进这种存在感，其中所呈现的场景基于用户的当前姿态(即，用户便携式显示设备相对于所描绘的场景的参考坐标框的位置和取向)反映用户对场景的相对视角。
用户便携式显示设备将该影像显示为显示帧序列，每个显示帧基于对应的检测到的设备姿态被渲染并且持续特定的时间段。然而，由于显示设备是用户便携式的，所以用户通常能够自由地各处移动，并且因此显示设备的姿态可以在显示帧之间显著地改变。这样，在特定时间点在显示设备处显示的影像可能滞后于用户的移动。用户在场景内感知的取向与在显示设备上呈现的场景的视角的取向之间的这种不协调可能导致用户迷失方向或者通常称为“虚拟现实病”的情况，特别是在HMD和其他3D显示设备的环境中。因此，为了减少或消除用户迷失方向并由此提供改善的呈现，VR和AR系统试图使“运动到光子(motion-to-photon)时延”(也就是说，用户的运动与表示当来自所产生的新姿态的场景的光子击中用户的眼睛的时间之间的时延)最小化。
附图说明
本领域的技术人员通过参考附图可以更好地理解本公开，并且本公开的许多特征和优点被使得对于本领域的技术人员是显而易见的。在不同的图中使用相同的附图标记表示相似或相同的项目。
图1是示出根据本公开的至少一个实施例的实现基于保留光场的电子显示稳定(EDS)过程的用户便携式显示系统的图。
图2是示出根据本公开的至少一个实施例的图1的显示系统的处理系统的框图。
图3是示出根据本公开的至少一个实施例的由图2的显示系统的至少一个处理器执行的软件应用的示例实施方式的框图。
图4是示出根据本公开的至少一个实施例的用于使用图3的软件应用来生成和维护保留光场数据结构的过程的流程图。
图5是示出根据本公开的至少一个实施例的姿态概率分布以及由其生成的3D世界的视口的生成的示例表示的图。
图6是示出根据本公开的至少一个实施例的图2的显示系统的合成器的示例实施方式的框图。
图7是示出根据本公开的至少一个实施例的用于基于用户便携式显示系统的当前姿态并且基于光场数据结构来生成显示帧的EDS过程的流程图。
具体实施方式
图1-7示出了用于基于用户便携式显示设备的当前姿态在用户便携式显示设备处提供渲染的3D世界的低时延显示的电子显示稳定(EDS)过程的示例系统和方法。由处理系统执行的图形应用渲染由一个或多个视口组成的“光场”帧，每个视口对应于观察3D世界的虚拟相机。这些视口表示来自3D世界的5D全光学函数或4D光场的样本，并且包括颜色信息，并且还可以包括深度信息。处理系统可以基于某个指定的未来时间跨度上的预测姿态的概率分布来选择每个虚拟相机的数量和姿态。在随后的时间点，处理系统获得用户便携式显示设备的最新姿态，并且生成由一个或多个视口组成的“显示”帧，所述一个或多个视口通过从由光场帧表示的视口内插/外插适当地近似从该最新姿态观看的5D全光功能或4D光场。所生成的显示帧然后可以以合适的预失真变形或其他光学显示器校准显示在用户便携式显示设备上。随着用户便携式显示系统的姿态改变，处理系统可以继续以低运动到光子时延以一致且相对较高的帧速率来渲染新的显示帧，即使在系统在一段时间内没有渲染任何新的光场帧时。因此，即使当系统不能够足够快地渲染光场帧时，处理系统仍然可以继续提供低时延的显示帧，其准确地表示用户便携式显示设备的当前姿态，只要该姿态足够接近处理系统用于最近渲染的光场帧的虚拟相机的姿态。
图1示出了根据本公开的至少一个实施例的用于在现实世界或者想象世界中提供VR或AR存在的显示系统100。显示系统100包括用于显示可包括VR场景或AR场景的3D世界的影像的用户便携式显示设备102。为了便于说明，用户便携式显示设备102在头戴式显示器(HMD)的示例上下文中被描述，并且因此用户便携式显示设备102在本文中也被称为“HMD102”。然而，在其他实施例中，用户便携式显示设备102可以包括用户便携式的并且便于显示立体或其他3D影像的各种电子设备中的任何一种，例如，平板计算机、笔记本计算机和智能电话等。
HMD 102通常以某种方式耦合到用户的头部104的运动。通常，如术语“戴(mounted)”在“头戴式显示器”中所暗示的，HMD 102包括绑在或以其他方式安装在用户的头部104上使得HMD 102被固定地定位在用户的面部附近并因此随着用户的移动而移动的装置。然而，在一些情况下，用户可以将平板计算机或其他手持设备保持在用户的脸部并限制手持设备的移动，使得即使当用户的头部104移动时，手持装置相对于用户的头部的取向相对固定。在这种情况下，以这种方式操作的手持设备也可以被认为是HMD 102的实施方式，即使其未经由物理附件“安装”到用户的头部104。
HMD 102包括：具有与另一表面110相对的表面108的壳体106；以及，面部垫圈109和皮带集合或线束(为清楚起见，从图1中省略)，用于将壳体106安装在用户的头部104上使得用户面对壳体106的表面108。在所描绘的实施例中，HMD 102是双眼HMD，并且因此具有布置在表面108处的左眼显示器112和右眼显示器114。显示器112、114可以被实现为分离的显示设备(即由独立的显示驱动器硬件组件驱动的独立显示器阵列)，或者显示器112、114可以被实现为单个显示设备的逻辑分离区域(例如，逻辑划分成左右“一半”的单个显示器阵列)。壳体106还包括与左眼显示器112对准的目镜透镜116和与右眼显示器114对准的目镜透镜118。替选地，在一些实施例中，HMD 102可以实现为单眼HMD，其中，通过左右目镜透镜116、118或者直接没有插入透镜地将单个影像渲染给用户的两只眼睛。
如下面更详细描述的，显示系统100进一步包括处理系统以生成用于在HMD 102处显示的影像。在一些实施例中，处理系统的组件主要在HMD 102本身内实现。例如，HMD 102可以包括执行VR/AR应用并渲染所得到的影像的计算系统，并且HMD 102可以通过无线或有线连接而连接到本地或远程计算设备，所述本地或远程计算设备提供与VR/AR应用相关联的各种数据，诸如描述要在场景中渲染的对象的这种数据以及在相同世界空间中操作的其他用户的参数(例如，位置)等。在其他实施例中，图像渲染系统的一些或全部组件在HMD102的外部实现，并且表示用于显示的影像的数据可以经由有线或无线连接被提供给HMD102。
在操作中，显示系统100执行VR或AR软件应用，其确定HMD 102(并且因此用户的头部104)相对于所表示的3D世界的参考坐标框架的当前姿态(即，位置和旋转取向)，并且然后从与该姿态相关的视角生成场景的影像。显示的影像可以完全是计算机生成的(即，VR影像)，或者影像可以是本地环境的捕获的影像(例如，经由安装在HMD 102上的一个或多个图像传感器捕获的影像)和被渲染以反映当前的用户姿态的AR叠加的组合。如图1所示，在具有左侧显示器和右侧显示器两者的实施方式中，与在右眼显示器114中的右眼特定影像的渲染和显示同时地在左眼显示器112中渲染和显示左眼特定影像，由此使得能够对由所显示的影像表示的场景进行立体3D显示。
当HMD 102安装在用户的头部104上或以其他方式被约束以便与用户的头部一致地移动时，HMD 102在操作期间经受相当大的移动。如上所述，运动当与显示系统100的渲染和显示时延相结合时可能导致实质性的用户迷失方向，除非另有缓解。为此，显示系统100利用通过下述方式来减少运动到光子时延的过程：从显示设备102的预测的潜在未来姿态预渲染光场帧；将这些光场帧并入到表示3D世界的光场(在此称为“保留光场”)的至少一部分的光场数据结构中；并且然后使用该光场数据结构来从检测到的显示设备的姿态生成表示3D场景的显示帧。这个过程在这里被称为“电子显示稳定(EDS)过程”。
在至少一个实施例中，EDS过程基于应用处理器和用于渲染光场帧并且以其它方式维护光场数据结构的其他硬件(在此称为“应用硬件122”)和用于从光场数据结构渲染显示帧的硬件(在此称为“EDS硬件124”)的至少部分解耦。通过该解耦，可以以一个速率执行保留光场渲染过程，并且可以以通常更快的第二速率执行显示帧渲染过程，并且因此可以防止丢弃帧或对光场渲染过程的其他临时影响传播到显示帧渲染过程。此外，通过预测潜在的未来姿态、为那些预测的未来姿态渲染光场帧、并且然后基于来自针对一个或多个实际未来姿态的所渲染的光场帧的内插随后渲染一个或多个实际姿态的显示帧，显示系统可以与在确定当前姿态时操作以从头开始渲染显示帧的系统相比，更快地渲染用于显示设备的当前姿态的显示帧，并且因此与这些常规技术相比减少运动到光子时延。
图1的图130总结了根据至少一个实施例的由应用硬件122和EDS硬件124采用的EDS过程。应用硬件122通过重复地执行识别HMD 102在给定的未来时间跨度中的可能的姿态范围并且从这个姿态范围中选择一个或多个潜在未来姿态的过程来持续更新作为光场数据结构存储的保留光场132(框134)。对于每个选择的潜在姿态，应用硬件122基于潜在姿态是相应虚拟相机的姿态来渲染表示3D世界的视口的光场帧，并且通过将该渲染的光场帧并入保留光场132来更新保留光场132(框136)。对于HMD 102和其他基于立体的显示设备，该过程可以基于用户眼睛的方向并行执行。该更新过程可以以速率“X”执行，其中，X表示通过合并新渲染的光场帧来更新保留光场132的频率。
独立地，EDS硬件124操作以迭代地识别HMD 102的更新的当前姿态(框138)，并且对于该更新的当前姿态，从保留光场132生成一对显示帧144、145以在显示器112、114显示(框140)。每个显示帧144、145表示位于当前姿态(包括左眼/右眼姿态的调整)中的虚拟相机的3D世界的视口。如上所述，生成和更新保留光场132包括将由相应的光场帧表示的每个2D片段插入到保留光场132中，并且因此通过从保留光场132提取/重新采样2D片段，实现从保留光场132生成显示帧，所述2D片段对应于从在读取姿态的虚拟相机观看的视口(包括左眼/右眼姿态的调整)。通常，从诸如保留光场132之类的光场生成视口/显示帧的该过程基于用于一个或多个光场帧之间的基于射线追踪的内插/外插的众所周知的过程，然而，可以根据本公开利用各种种类的视口渲染过程的任何一种。如所描绘的，EDS硬件124以帧速率Y执行框138和140的姿态确定和显示帧渲染过程，其中，Y可以大于、小于或等于上面讨论的速率X。
图2示出了根据本公开的至少一个实施例的图1的显示系统100的HMD 102的示例处理系统200。如上所述，处理系统200包括应用硬件122，其涉及执行VR或AR应用(在此被称为“VR/AR应用202”)以便渲染表示来自3D世界中的预测的潜在姿态的VR或AR内容的保留光场132。处理系统200进一步包括EDS硬件124，其涉及显示由基于HMD 102的当前姿态从保留光场132生成的显示帧序列所表示的VR或AR内容。
在所描绘的示例中，处理系统200包括应用处理器204、系统存储器206、传感器集线器208和惯性管理单元210。在一些实施例中，HMD 102可以包含图像捕获，以用于视觉定位或视觉遥测的目的，或用于实时显示为支持AR功能而捕获的本地环境的影像。在这样的实施例中，处理系统200还可以包括例如一个或多个图像传感器212、214和结构光或飞行时间(ToF)深度传感器216。
IMU 210包括一个或多个惯性传感器，用于便于跟踪HMD 102的最新姿态，包括例如陀螺仪218、磁强计220和加速度计222。来自Bosch Gmbh的Sensortec(TM)BMI160是IMU210的商业可用实施方式的示例。传感器集线器208耦合到IMU 210、成像传感器212、214和深度传感器216，并且操作以管理在应用处理器204和IMU 210、成像传感器212、214、深度传感器216以及显示系统100的其他传感器之间的控制信令和数据的传送。来自Movidius有限公司的Myriad(TM)2视觉处理单元(VPU)是传感器集线器208的商业可用的实施方式的示例。应用处理器204包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或者一个或多个CPU与一个或多个GPU的组合。来自Qualcomm Incorporated的Snapdragon(TM)810MSM8994片上系统(SoC)是应用处理器204的商业可用的实施方式的示例。
在所描绘的示例中，EDS硬件124包括合成器224、左眼显示器112和右眼显示器114。EDS硬件124可以通信地耦合到IMU 210以接收来自IMU 210的传感器输出，或EDS硬件124可以包括独立的IMU 226以用于其自身用于姿态估计，其中，IMU 226具有一个或多个惯性传感器，诸如陀螺仪232。合成器224是可以被实现为例如ASIC、可编程逻辑或其组合的硬件设备，并且包括用于驱动左眼显示器112的左显示控制器228和用于驱动右眼显示器114的右显示控制器230。
在操作中，应用处理器204执行VR/AR应用202(存储在例如系统存储器206中)以向用户提供VR/AR功能。作为该过程的一部分，VR/AR应用202操纵应用处理器204以确定HMD102的当前姿态，并且从该当前姿态选择在给定的时间段的HMD 102的一个或多个潜在姿态。如下面更详细描述的，在至少一个实施例中，VR/AR应用202操作以确定HMD 102的潜在姿态的概率分布，并且使用该概率分布来选择一个或多个潜在的未来姿态。在一些实施例中，为了确定当前姿态，应用处理器204从IMU 210的陀螺仪218、磁强计220和加速度计222获得当前样本，并从这些惯性传感器读数确定用户头部的当前姿态和旋转。代替或补充使用IMU 210来确定当前姿态和旋转之外，应用处理器204可以使用来自一个或多个成像传感器212、214或深度传感器216的信息来使用一个或多个视觉遥测或同时定位和映射(SLAM)技术确定、验证或修改当前姿态和旋转。VR/AR应用202还可操纵应用处理器204以渲染表示位于所选择的潜在姿态中的相应姿态处的虚拟相机的视口的光场帧，并将这些渲染的光场帧并入保留光场132中，其在图2的实施例被实现为存储在光场存储组件234中的数据结构。光场存储组件234可以包括例如系统存储器206的一部分或单独的存储器、盘驱动器、固态驱动器等。
替选地，在一些实施例中，光场渲染过程的至少一部分被卸载到远程系统，而不是在HMD 102本身处执行。例如，在一些实施例中，处理系统200可以包括耦合到远程系统238的接口236，由此远程系统238可以是与HMD 102在同一房间或局部区域中并且经由有线或无线局域连接(LAN)或个人区域连接(PAN)耦合到HMD 102的计算系统，或者可以是经由一个或多个有线或无线网络(例如，因特网)连接到HMD 102的远程服务器。在这种情况下，VR/AR应用202可以向远程系统238提供当前姿态的表示，于是远程系统238确定潜在姿态并且为每个选定姿态渲染光场帧，并且然后将光场帧发送到HMD 102以包含在保留光场132中。替选地，VR/AR应用202可以操纵应用处理器204以确定潜在姿态，然后将这些潜在姿态发送到远程系统238以用于渲染光场帧。
与光场帧渲染过程的迭代并行地，合成器224操作以生成显示帧并且基于所生成的显示帧来驱动显示器112、114。作为该过程的一部分，合成器224确定HMD 102的当前姿态，然后基于确定的当前姿态从保留光场132生成一对显示帧，对于左眼显示器112和右眼显示器114中的每一个各一个。可以从IMU 210、IMU 226和从可视遥测等来确定HMD 102的当前姿态。在一些实施例中，HMD 102还可以包括一个或多个聚焦在用户眼睛上的成像传感器或另一机构以跟踪用户眼睛的当前位置，并且由此将左眼姿态和右眼姿态并入HMD 102的“当前姿态”内。在这种情况下，HMD 102的当前姿态可以包括每只眼睛的单独的“子姿态”，其中，基于具有左眼的子姿态的虚拟相机从保留光场132生成用于左眼显示器112的显示帧，并且基于具有右眼的子姿态的虚拟相机类似地生成用于右眼显示器114的显示帧。
图3和图4一起示出了由应用处理器204执行的VR/AR应用202的示例实施方式以及其操作的示例方法。在图3所示的实施方式中，VR/AR应用202包括姿态预测模块302和光场帧渲染模块304。姿态预测模块302包括用于接收来自IMU 210的传感器输出、运动参数信息306和运动历史信息308中的一个或多个的输入。运动参数信息306包括表示HMD 102的预期运动的参数，诸如表示HMD 102的最大预期旋转速度或线性速度的参数。这些参数可以是预先设置的或以其它方式编程的，或者可以基于HMD 102的先前运动的观察而被更新或细化。运动历史信息308表示HMD 102的先前姿态。光场帧渲染模块304包括：耦合到姿态预测模块302的输出以接收对于给定时间跨度的HMD 102的预测姿态的集合310的输入、耦合以接收场景配置信息312的输入；用于提供用于并入保留光场132中的光场帧314的输出。场景配置信息312包括表示通过HMD 102可视地表示的当前AR或VR世界空间中的对象的几何形状、纹理和其他视觉参数的数据和其他信息，。
现在参考图4中描绘的方法400，描述图3的VR/AR应用202的实施方式的示例操作。方法400的重复在框402处开始，由此姿态预测模块302基于来自IMU 210的传感器输出、经由视觉遥测信息或其组合来确定HMD 102的当前姿态。在至少一个实施例中，当前姿态表示六自由度(6DoF)姿态。如上所述，当前姿态可以包括用于用户的左眼和右眼中的每一个的“子姿态”，并且因此姿态预测模块302可以确定表示HMD 102的整体姿态的一般姿态，并且从HMD 102的几何形状和用户的头部，为左眼和右眼中的每一个调整姿态的位置分量。此外，在一些实施例中，HMD 102可以采用眼睛跟踪机构来跟踪眼睛的取向，并且由此还调整每只眼睛的姿态的取向分量。
在框404处，姿态预测模块302针对指定的未来时间跨度(例如，在HMD 102的帧速率下在显示帧之间的持续时间)确定HMD 102的潜在姿态的范围。为了说明，姿态预测模块302可利用运动参数信息306来确定对于该时间跨度而言相对于当前姿态的在位置和取向上的最大变化，并因此将相对于当前姿态具有在这些最大值内的增量的任何姿态定义为潜在姿态。又如，姿态预测模块302可利用运动历史信息308来基于HMD 102的先前行为预测位置和取向的变化。具体地，在至少一个实施例中，姿态预测模块302可使用运动参数信息306和运动历史信息308中的一个或其组合确定HMD 102的潜在姿态为预测姿态的概率分布。为了便于参考，在使用预测姿态的概率分布的示例上下文中描述方法400。
在框406处，姿态预测模块302从概率分布中选择潜在姿态集合(即，集合310)。被选择用于包含在集合310中的数量可以是固定数量，或者可以基于当前操作条件动态地设置，当前操作条件诸如应用处理器204的加载、要渲染的3D场景的复杂度、针对概率分布指定的置信度和在概率分布内的分布程度等。例如，在一些实施例中，姿态预测模块302可以利用启发式算法，诸如当前的速度和加速度，并且对于概率分布而在时间上向前预测。此外，表示人体头部速度/加速度的典型范围的参数可以用于确定该分布。至于采样或以其他方式选择特定集合的潜在姿态，可以采用多种技术中的任何一种，例如，简单地选择均值(单个样本或两个样本，每只眼睛一个)、三个样本(一个定位在两只眼睛之间并且两个定位在眼睛的稍微外侧的左右，随机地选择以概率加权的N个样本，以及在具有包含一些或全部概率分布的体积的空间域中的均匀采样等。
姿态预测模块302将所选的潜在姿态集合310提供给光场帧渲染模块304。作为响应，在框408处，光场帧渲染模块304从该潜在姿态集合中选择潜在姿态，并使用各种众所周知的渲染技术中的任何一种渲染光场帧314，其表示具有所选潜在姿态的虚拟相机的3D世界的对应视口。在框410处，光场帧渲染模块304将光场帧314并入到保留光场132中。该并入过程可以包括例如：将光场帧314的颜色信息以及可选的深度信息存储在表示保留光场132的数据结构的相应条目或者元素中；以及将光场帧314表示的姿态的表示存储在与该条目或元素相关联的索引、矢量或其他可搜索/加索引的字段中。对于集合310的每个潜在位置重复框408和410的过程。在完成潜在姿态集合310的处理之后，方法400的流程返回到块402，并且执行方法400的另一次重复。
图5描绘了图4的潜在姿态选择和光场帧渲染过程的图解说明。在所描绘的示例中，姿态预测模块302已经从HMD 102的当前姿态502预测了潜在姿态的概率分布。为了便于说明，将该概率分布描绘以当前姿态502的位置分量为中心的简化三维球形体积504。从该概率分布，光场帧渲染模块304已经选择了两个潜在姿态506、507的集合310。对于潜在姿态506，光场帧渲染模块304渲染光场帧314，其表示具有潜在姿态506的虚拟相机的视场中的3D世界508的视口516。同样，对于潜在姿态507，光场帧渲染模块304渲染光场314，其表示在具有潜在姿态507的虚拟照相机的视场中3D世界508的视口517。然后，这些光场帧可以被集成到被保留的广场132内，如上所述。
图6和7一起示出了EDS硬件124的合成器224的示例实施方式以及其操作的示例方法。在图6所示的实施方式中，合成器224包括当前姿态检测组件602、显示帧渲染组件604和最终扭曲组件606。当前姿态检测组件602可操作以使用例如IMU 210、226中的一个或两个、经由视觉遥测信息或其组合确定HMD 102的更新的当前姿态(其可包括每个眼睛的单独的子姿态)。显示帧渲染组件604可操作以基于由当前姿态检测组件602提供的当前姿态从保留光场132生成诸如显示帧608、609的显示帧的一个或一对。最终扭曲组件606可操作以提供显示帧608、609的任何最终扭曲或其他光学校准处理以分别生成扭曲显示帧618、619，以分别输出到左眼显示器112和右眼显示器114。
现在参考图7中描绘的方法700，描述图6的合成器224的实施方式的示例操作。方法700的重复与图4的方法400的重复并行进行。方法700的重复在框702处开始，由此当前姿态检测组件602基于来自IMU的传感器输出、视觉遥测或其组合来确定HMD 102的当前姿态。当前姿态可以包括用户的每只眼睛的子姿态。在框702处，显示帧渲染组件604使用在框702处确定的当前姿态来从保留光场132为每只眼睛生成显示帧。在至少一个实施例中，显示帧的生成包括从由保留光场132表示的4D光场提取2D切片，其中，2D切片表示由具有在框702处检测到的姿态的虚拟相机观察到的3D世界的视口。在一些实施例中，该2D切片提取过程包括基于光线追踪的技术，从而根据来自存储在保留光场132中的光场帧的匹配光线以及来自这些光场帧的光线的内插来编译视口。然而，虽然这是一种可能的方法，但是可以利用用于针对给定姿态从光场生成影像的各种众所周知的技术中的任何一种。
在框706处，最终扭曲组件606可应用一个或多个扭曲过程以准备在框704处生成的显示帧。在一些实施例中，这些扭曲过程可包括使显示帧预失真以补偿由HMD 102的相应透镜116、118引入的空间失真或色差。作为另一示例，HMD 102可以在显示帧在由显示帧渲染组件604生成的同时经历显著的旋转，并且因此最终扭曲组件606可以与显示帧渲染组件604合作地工作以在显示帧608正被生成时扭曲显示帧608，以使用在题为“ElectronicDisplay Stabilization for Head Mounted Display(用于头戴式显示器的电子显示稳定化)”并且于2015年6月12日提交的美国专利申请序列号62/174,602(律师案卷号：G15012-PR)(其全部内容通过引用并入本文)中描述的技术来反映HMD 102的任何帧内旋转。在框708处，经由对应的显示器控制器228、230在显示器112、114中的对应显示器处显示所得的扭曲显示帧。针对每只眼睛并行地执行框704、706和708的过程，由此生成并行显示以从HMD102的当前姿态的角度呈现3D世界的立体或3D视图的一对扭曲显示帧。
以上描述的许多发明功能和许多发明原理非常适合于与诸如专用IC(ASIC)之类的集成电路(IC)一起或在其中实施。可以预期，普通技术人员尽管可能花费大量精力和存在由例如可用时间、当前技术和经济考虑所驱动的许多设计选择，但当被在此公开的概念和原理的指导时，将容易地能够用最少的实验生成这样的IC。因此，为了简洁和最小化模糊根据本公开的原理和概念的任何风险，对这些软件和IC的进一步讨论(如果有的话)将限于关于优选实施例的原理和概念的基本要素。
在本文中，诸如第一和第二等的关系术语可以仅用于将一个实体或动作与另一个实体或动作区分开，而不必要求或暗示在这些实体或动作之间的任何实际的这种关系或顺序。术语“包括”或“包含”或其任何其他变型旨在涵盖非排他性包含，使得包括元素列表的过程、方法、物品或装置不仅包括那些元素，而且可以包括没有明确列出或者这样的过程、方法、物品或装置固有的其他要素。如果没有更多的限制，则在“包括......一”之前的元素不排除在包括该元素的过程、方法、物品或装置中存在另外的相同元素。这里使用的术语“另一个”被定义为至少第二个或更多个。这里使用的术语“包括”和/或“具有”被定义为包含。如本文中参考电光技术所使用的术语“耦合”被定义为连接，但不一定是直接连接，并且不一定是机械连接。这里使用的术语“程序”被定义为设计用于在计算机系统上执行的指令序列。“程序”或“计算机程序”可以包括子程序、函数、过程、对象方法、对象实施方式、可执行应用、小应用、小服务程序、源代码、目标代码、共享库/动态加载库和/或设计用于在计算机系统上执行的其他指令序列。
前面的描述旨在通过在用户便携式显示系统中提供涉及3D渲染图形的许多特定实施例和细节来传达对本公开的透彻理解。然而，应该理解的是，本公开不限于这些仅为示例的具体实施例和细节，并且本公开的范围因此旨在仅由所附权利要求及其等同物限制。进一步可以理解的是，根据已知的系统和方法，本领域的普通技术人员将意识到根据具体设计和其他需要，可以以任何数量的替代实施例使用本公开用于其预期目的和益处。因此，本说明书和附图应该仅被认为是示例，并且本公开的范围因此旨在仅由所附权利要求及其等同物限制。请注意，并非在一般性描述中上述的所有活动或元素都是必需的，特定活动或设备的一部分可能不是必需的，并且除了描述的那些，可以执行一个或多个进一步的活动或包括元素。更进一步，活动列出的顺序不一定是执行它们的顺序。除非另外指定，否则以上描述的流程图的步骤可以以任何顺序，并且取决于实施方式，可以消除、重复和/或添加步骤。而且，已经参考具体实施例描述了这些概念。然而，本领域的普通技术人员认识到，在不脱离在所附权利要求书中阐述的本公开的范围的情况下，可以进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的，并且所有这样的修改意图被包括在本公开的范围内。
上面已经关于具体实施例描述了益处、其他优点和问题的解决方案。然而，益处、优点、问题的解决方案以及可能导致任何益处、优点或解决方案发生或变得更明显的任何功特征都不应被解释为任何或其他权利要求的关键、必需或基本特征。

Claims (16)

1.一种在具有用户便携式显示设备(102)的系统(100)中的方法，包括：
维护表示与所述用户便携式显示设备相对于三维3D世界的第一姿态(502)相关联的所述3D世界的四维4D光场的至少一部分的光场数据结构(132)；
确定所述用户便携式显示设备相对于所述3D世界的第二姿态(502)，所述第二姿态包括所述用户便携式显示设备的更新的姿态；以及
基于所述第二姿态从所述光场数据结构生成显示帧(144)，所述显示帧表示来自所述第二姿态的所述3D世界的视场。
2.根据权利要求1所述的方法，其中，维护所述光场数据结构包括：
基于所述第一姿态确定潜在姿态集合(310)，所述潜在姿态集合表示所述用户便携式显示设备在指定时间跨度内可能采取的姿态；以及
针对所述潜在姿态集合中的每个潜在姿态，渲染表示来自所述潜在姿态的所述3D世界的视场的光场帧(314)，并将所述光场帧并入所述光场数据结构中。
3.根据权利要求2所述的方法，其中：
渲染光场帧包括以第一速率渲染光场帧；以及
渲染显示帧包括以大于所述第一速率的第二速率渲染显示帧。
4.根据权利要求2所述的方法，其中，确定所述潜在姿态集合包括：
确定对于所述指定时间跨度的潜在姿态的概率分布(504)；以及
从所述概率分布确定所述潜在姿态集合。
5.根据权利要求4所述的方法，其中：
所述用户便携式显示设备包括头戴式显示器(102)；以及
确定所述潜在姿态的概率分布包括进一步基于用户的眼睛在所述指定时间跨度上的潜在姿态(506、507)来确定所述潜在姿态的概率分布。
6.根据权利要求1所述的方法，其中：
基于所述第二姿态从所述光场数据结构生成显示帧包括至少部分地基于来自在所述光场数据结构中表示的至少一个渲染的光场帧的基于射线追踪的内插来生成显示帧。
7.根据权利要求1所述的方法，其中：
所述用户便携式显示设备包括具有左眼显示器和右眼显示器的头戴式显示器(102)；以及
基于所述第二姿态从所述光场数据结构生成显示帧包括：
基于所述第二姿态和用户的左眼相对于所述第二姿态的取向生成用于在所述左眼显示器(112)上显示的第一显示帧；以及
基于所述第二姿态和所述用户的右眼相对于所述第二姿态的取向生成用于在所述右眼显示器(114)上显示的第二显示帧。
8.一种用户便携式显示设备(102)，包括：
存储组件(206)；
惯性传感器(210)；
耦合到所述惯性传感器和所述存储组件的应用处理器(204)，所述应用处理器在所述存储组件中维护表示与所述用户便携式显示设备相对于三维3D世界的一个或多个姿态相关联的所述3D世界的四维4D光场的至少一部分的光场数据结构(132)；以及
耦合到所述存储组件和所述惯性传感器的合成器(224)，所述合成器包括：
姿态检测组件(602)，用于基于来自所述惯性传感器的输出确定所述用户便携式显示设备相对于所述3D世界的当前姿态(502)，所述当前姿态包括所述用户便携式显示设备的更新的姿态，以及
显示帧渲染组件(604)，用于基于所述当前姿态从所述光场数据结构生成显示帧(608、609)，所述显示帧表示来自所述当前姿态的所述3D世界的视场。
9.根据权利要求8所述的用户便携式显示设备，其中，所述应用处理器至少部分地通过执行应用来维护所述光场数据结构，所述应用包括：
姿态预测模块(302)，用于操纵所述应用处理器以确定潜在姿态集合(310)，所述潜在姿态集合表示所述用户便携式显示设备在指定时间跨度内可能采取的姿态；以及
光场帧渲染模块(304)，用于操纵所述应用处理器以针对所述姿态集合中的每个潜在姿态生成表示来自所述潜在姿态的所述3D世界的视场的光场帧(314)并将所述光场帧并入所述光场数据结构中。
10.根据权利要求9所述的用户便携式显示设备，其中：
所述光场帧渲染模块操纵所述应用处理以便以第一速率生成光场帧；以及
所述显示帧渲染组件以不同于所述第一速率的第二速率渲染显示帧。
11.根据权利要求9所述的用户便携式显示设备，其中，所述姿态预测模块通过以下步骤来确定所述潜在姿态集合：
确定在所述指定时间跨度上的潜在姿态的概率分布(504)；以及
从所述概率分布确定所述潜在姿态集合。
12.根据权利要求11所述的用户便携式显示设备，其中：
所述用户便携式显示设备包括头戴式显示器(102)；以及
所述姿态预测模块进一步基于用户的眼睛在所述指定时间跨度上的潜在姿态(506、507)来确定所述潜在姿态的概率分布。
13.根据权利要求8所述的用户便携式显示设备，其中：
所述显示帧渲染组件至少部分地基于来自在所述光场数据结构中表示的至少一个渲染的光场帧的基于射线追踪的内插来生成显示帧(608、609)。
14.根据权利要求8所述的用户便携式显示设备，其中：
所述用户便携式显示设备包括具有左眼显示器(112)和右眼显示器(114)的头戴式显示器(102)；以及
所述显示帧渲染组件用于：
基于所述当前姿态和用户的左眼相对于所述当前姿态的取向生成用于在所述左眼显示器上显示的第一显示帧(608)；以及
基于所述当前姿态和所述用户的右眼相对于所述当前姿态的取向生成用于在所述右眼显示器上显示的第二显示帧(609)。
15.一种头戴式显示器HMD系统(100)，包括：
左眼显示器(112)和右眼显示器(114)；
惯性传感器(210、226)；以及
耦合到所述左眼显示器、右眼显示器和所述惯性传感器的处理系统(200)，所述处理系统用于：
基于所述HMD系统的当前姿态(502)确定所述HMD系统的潜在未来姿态(506、507)的概率分布(504)；
从所述概率分布中选择潜在姿态集合(310)；
基于所述潜在姿态集合渲染光场帧集合(314)，每个光场帧表示来自所述集合的对应潜在姿态的3D世界的视图；
确定所述HMD系统的更新的姿态；
基于所述光场帧集合和所述更新的姿态生成用于在所述左眼显示器处显示的第一显示帧(608)；以及
基于所述光场帧集合和所述更新的姿态生成用于在所述右眼显示器处显示的第二显示帧(609)。
16.根据权利要求15所述的HMD系统，其中：
所述处理系统进一步基于用户的左眼的取向来生成所述第一显示帧；以及
所述处理系统进一步基于用户的右眼的取向来生成所述第二显示帧。
CN201680057401.8A 2015-12-22 2016-09-21 用于经由保留光场渲染来执行电子显示稳定的系统和方法 Expired - Fee Related CN108139801B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562271225P 2015-12-22 2015-12-22
US62/271,225 2015-12-22
PCT/US2016/052859 WO2017112013A1 (en) 2015-12-22 2016-09-21 System and method for performing electronic display stabilization via retained lightfield rendering

Publications (2)

Publication Number Publication Date
CN108139801A true CN108139801A (zh) 2018-06-08
CN108139801B CN108139801B (zh) 2021-03-16

Family

ID=57218974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680057401.8A Expired - Fee Related CN108139801B (zh) 2015-12-22 2016-09-21 用于经由保留光场渲染来执行电子显示稳定的系统和方法

Country Status (4)

Country Link
US (1) US10419747B2 (zh)
EP (1) EP3338166A1 (zh)
CN (1) CN108139801B (zh)
WO (1) WO2017112013A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010125A (zh) * 2019-12-20 2021-06-22 托比股份公司 方法、计算机程序产品和双目式头戴装置控制器

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10453273B2 (en) 2017-04-25 2019-10-22 Microsoft Technology Licensing, Llc Method and system for providing an object in virtual or semi-virtual space based on a user characteristic
US10395418B2 (en) * 2017-08-18 2019-08-27 Microsoft Technology Licensing, Llc Techniques for predictive prioritization of image portions in processing graphics
IL272651B (en) * 2017-09-01 2022-08-01 Magic Leap Inc Creating a new frame using processed and unprocessed content from a previous perspective
EP3685313A4 (en) * 2017-09-20 2021-06-09 Magic Leap, Inc. PERSONALIZED NEURAL EYE TRACKING NETWORK
US11178384B2 (en) * 2019-07-10 2021-11-16 Nintendo Co., Ltd. Information processing system, storage medium, information processing apparatus and information processing method
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
US20220310037A1 (en) * 2021-03-26 2022-09-29 Lightspace Technologies, SIA Method and system for reducing motion-to-photon latency in head-mounted display system
US11889200B2 (en) * 2021-12-07 2024-01-30 Thales Defense & Security, Inc. Methods and systems for generating a high-rate video for a camera in motion

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009188A (en) * 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合
CN103269423A (zh) * 2013-05-13 2013-08-28 浙江大学 可拓展式三维显示远程视频通信方法
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的系统和方法
US20150029218A1 (en) * 2013-07-25 2015-01-29 Oliver Michael Christian Williams Late stage reprojection
CN104952063A (zh) * 2014-03-25 2015-09-30 Metaio有限公司 用于在真实环境的视图中表示虚拟对象的方法和系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097394A (en) 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US8044994B2 (en) 2006-04-04 2011-10-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for decoding and displaying 3D light fields
US8643684B2 (en) 2011-01-18 2014-02-04 Disney Enterprises, Inc. Multi-layer plenoptic displays that combine multiple emissive and light modulating planes
US20130285885A1 (en) * 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
NZ751593A (en) * 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US9063330B2 (en) 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
KR102378457B1 (ko) * 2013-11-27 2022-03-23 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
EP2933779A1 (en) * 2014-04-15 2015-10-21 Alcatel Lucent Capturing an environment with objects
US9767373B2 (en) * 2014-09-05 2017-09-19 Ford Global Technologies, Llc Head-mounted display head pose and activity estimation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009188A (en) * 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的系统和方法
CN103269423A (zh) * 2013-05-13 2013-08-28 浙江大学 可拓展式三维显示远程视频通信方法
US20150029218A1 (en) * 2013-07-25 2015-01-29 Oliver Michael Christian Williams Late stage reprojection
CN104952063A (zh) * 2014-03-25 2015-09-30 Metaio有限公司 用于在真实环境的视图中表示虚拟对象的方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010125A (zh) * 2019-12-20 2021-06-22 托比股份公司 方法、计算机程序产品和双目式头戴装置控制器
CN113010125B (zh) * 2019-12-20 2024-03-19 托比股份公司 方法、计算机程序产品和双目式头戴装置控制器

Also Published As

Publication number Publication date
US20170180721A1 (en) 2017-06-22
EP3338166A1 (en) 2018-06-27
CN108139801B (zh) 2021-03-16
US10419747B2 (en) 2019-09-17
WO2017112013A1 (en) 2017-06-29

Similar Documents

Publication Publication Date Title
CN108139801A (zh) 用于经由保留光场渲染来执行电子显示稳定的系统和方法
US11169600B1 (en) Virtual object display interface between a wearable device and a mobile device
EP3466070B1 (en) Method and device for obtaining image, and recording medium thereof
US10852847B2 (en) Controller tracking for multiple degrees of freedom
CN106255939B (zh) 世界锁定显示质量反馈
CN109298629B (zh) 在未绘制地图区域中引导移动平台的系统及方法
KR102212250B1 (ko) 증강 현실 오브젝트의 신체 고정식 배치
US10540812B1 (en) Handling real-world light sources in virtual, augmented, and mixed reality (xR) applications
EP3118722B1 (en) Mediated reality
CN108139807A (zh) 使用像素速度的电子显示稳定
EP3106963B1 (en) Mediated reality
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
CN106062821A (zh) 用于不受限制的slam的基于传感器的相机运动检测
US11341676B2 (en) Calibration-free instant motion tracking for augmented reality
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
US11195341B1 (en) Augmented reality eyewear with 3D costumes
US11915453B2 (en) Collaborative augmented reality eyewear with ego motion alignment
US10922831B2 (en) Systems and methods for handling multiple simultaneous localization and mapping (SLAM) sources and algorithms in virtual, augmented, and mixed reality (xR) applications
KR20160060582A (ko) 시각 데이터를 처리하는 장치 및 방법, 및 관련된 컴퓨터 프로그램 제품
WO2022005733A1 (en) Augmented reality eyewear with mood sharing
CN112630964A (zh) 头戴式显示系统及其场景扫描方法
EP4186028A1 (en) Systems and methods for updating continuous image alignment of separate cameras
EP4364396A1 (en) Augmented reality eyewear with x-ray effect
CN111344776A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210316

CF01 Termination of patent right due to non-payment of annual fee