CN112513712A - 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法 - Google Patents

具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法 Download PDF

Info

Publication number
CN112513712A
CN112513712A CN201980049056.7A CN201980049056A CN112513712A CN 112513712 A CN112513712 A CN 112513712A CN 201980049056 A CN201980049056 A CN 201980049056A CN 112513712 A CN112513712 A CN 112513712A
Authority
CN
China
Prior art keywords
depth
virtual content
rendered
data
warped
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980049056.7A
Other languages
English (en)
Other versions
CN112513712B (zh
Inventor
R·诺拉伊
R·B·泰勒
M·H·利本诺
G·卡德特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202310425037.8A priority Critical patent/CN116483200B/zh
Publication of CN112513712A publication Critical patent/CN112513712A/zh
Application granted granted Critical
Publication of CN112513712B publication Critical patent/CN112513712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

用于使虚拟内容翘曲的计算机实现的方法包括：接收经渲染的虚拟内容数据，该经渲染的虚拟内容数据包括远深度。该方法还包括接收指示在与光轴正交的方向中的用户运动的运动数据。该方法进一步包括基于经渲染的虚拟内容数据、远深度和运动数据生成翘曲的经渲染的虚拟内容数据。

Description

具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内 容的方法
相关申请的交叉引用
技术领域
本公开涉及具有虚拟内容翘曲(warping)的混合现实系统，以及用于使用该系统生成包括翘曲的虚拟内容的混合现实体验的方法。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”(VR)或“增强现实”(AR)体验的“混合现实”(MR)系统的开发，其中，数字再现的图像或其一部分，以它们似乎是真实的或可能被感知为真实的方式被呈现给用户。VR场景通常涉及数字或虚拟图像信息的呈现，但对实际的真实世界视觉输入不透明。AR场景通常涉及将数字或虚拟图像信息呈现为对用户周围的真实世界的可视化(即，对真实世界视觉输入的透明性)的增强。因此，AR场景涉及对用户周围的真实世界具有透明性的数字或虚拟图像信息的呈现。
各种光学系统在各种深度生成图像以显示MR(VR和AR)场景。一些此类光学系统在2014年11月27日提交的美国实用专利申请序列号14/555,585(代理人案卷号ML.20011.00)中进行了描述，其全部内容通过引用明确地全部并入在此，如同全文阐述一样。
MR系统通常采用可穿戴显示设备(例如，头戴式显示器、头盔式显示器或智能眼镜)，该可穿戴显示设备至少松散地耦合到用户的头部，并因此在用户的头部移动时移动。如果显示设备检测到用户的头部运动，则可以更新正在显示的数据，以考虑到头部姿势的变化(即用户头部的取向和/或位置)。
作为示例，如果佩戴头戴式显示设备的用户在显示设备上观看虚拟对象的虚拟表示并围绕虚拟对象出现的区域行走，则可以针对每个视点渲染虚拟对象(对应于头戴式显示设备的位置和/或取向)，从而使用户感觉到他们正在围绕占用真实空间的对象行走。如果头戴式显示设备用于呈现不同深度处的多个虚拟对象，则头部姿势的测量值可用于渲染场景以匹配用户动态变化的头部姿势，并提供增强的沉浸感。然而，在渲染场景与显示/投影渲染的场景之间存在不可避免的滞后。
启用AR的头戴式显示设备提供真实和虚拟对象的同时观看。采用“光学透视”显示器，用户可以透视显示系统中的透明(或半透明)元素，以直接观看来自真实世界环境中的真实对象的光。透明元素(通常称为“组合器”)将来自显示器的光叠加在真实世界的用户视图上，其中来自显示器的光将虚拟内容的图像投影到环境中真实对象的透视视图中。可以将相机安装在头戴式显示设备上，以捕获用户正在观看的场景的图像或视频。
MR系统试图呈现照片般逼真的沉浸式MR场景。然而，在虚拟内容的生成(“经渲染的虚拟内容”)与经渲染的虚拟内容的显示之间的滞后时间期间的头部运动可能导致视觉伪像(例如，瑕疵(glitch))。在滞后时间期间，快速的头部运动可能会使该问题加重。
为了解决这个问题，一些光学系统可以包括从源接收经渲染的虚拟内容的翘曲软件/系统/方法。然后，翘曲系统“翘曲”所接收的经渲染的虚拟内容(即，变换其“参考系”)，以在显示系统/观看者的参考系(“显示参考系”)中显示。该方法采用原始渲染的虚拟内容，并变换呈现虚拟内容的方式，以尝试在显示时从不同的角度显示虚拟内容。
一些翘曲软件/系统/方法使经渲染的虚拟内容翘曲以针对(即，用户视野“FOV”的)旋转的或粗略的位置用户运动进行校正。此类系统并未优化以针对其它类型的用户运动(例如，沿着与用户光轴正交的轴的基本上横向的用户运动)进行校正。因此，一些翘曲软件/系统/方法可能导致用户运动的伪像。
发明内容
在一个实施例中，一种用于使虚拟内容翘曲的计算机实现的方法包括：接收经渲染的虚拟内容数据，该经渲染的虚拟内容数据包括远深度。该方法还包括接收指示在与光轴正交的方向中的用户运动的运动数据。该方法进一步包括基于经渲染的虚拟内容数据、远深度和运动数据，生成翘曲的经渲染的虚拟内容数据。
在一个或多个实施例中，经渲染的虚拟内容数据对应于近虚拟对象和远虚拟对象，并且翘曲的经渲染的虚拟内容数据对应于翘曲的近虚拟对象和翘曲的远虚拟对象。近虚拟对象与翘曲的近虚拟对象之间的第一位置偏移可以基本上等于远虚拟对象与翘曲的远虚拟对象之间的第二位置偏移。
在一个或多个实施例中，与经渲染的虚拟内容数据相比，基于经渲染的虚拟内容数据、远深度和运动数据生成翘曲的经渲染的虚拟内容数据减少了与视差有关的伪像。可能与视差有关的伪像是去遮挡(disocclusion)伪像。与视差有关的伪像可以是拖尾伪像或抖动伪像。
在一个或多个实施例中，经渲染的虚拟内容数据对应于第一深度段。该方法还包括接收与第二深度段相对应的第二经渲染的虚拟内容数据，该第二经渲染的虚拟内容数据包括第二远深度。该方法进一步包括基于第二经渲染的虚拟内容数据、第二远深度和运动数据来生成翘曲的第二经渲染的虚拟内容数据。
在另一实施例中，一种用于使虚拟内容翘曲的计算机实现的方法包括：接收经渲染的虚拟内容数据，该经渲染的虚拟内容数据包括远深度和近深度。该方法还包括接收指示在与光轴正交的方向中的用户运动的运动数据。该方法进一步包括基于经渲染的虚拟内容数据、远深度、近深度和运动数据，生成翘曲的经渲染的虚拟内容数据。
在一个或多个实施例中，基于经渲染的虚拟内容数据、远深度、近深度和运动数据来生成翘曲的经渲染的虚拟内容数据包括对远深度和近深度求平均。
在另一个实施例中，一种用于使虚拟内容翘曲的计算机实现的方法包括：接收经渲染的虚拟内容数据。该方法还包括接收指示在与光轴正交的方向中的用户运动的运动数据。该方法进一步包括接收指示用户注视的注视数据。此外，该方法包括基于注视数据确定深度。另外，该方法包括基于经渲染的虚拟内容数据、深度和运动数据生成翘曲的经渲染的虚拟内容数据。
在另一个实施例中，一种用于使虚拟内容翘曲的计算机实现的方法包括：接收经渲染的虚拟内容数据。该方法还包括接收指示在与光轴正交的方向中的用户运动的运动数据。该方法进一步包括从经渲染的虚拟内容数据中生成网格数据。此外，该方法包括从网格数据确定深度数据。另外，该方法包括基于经渲染的虚拟内容数据、网格数据、深度数据和运动数据生成翘曲的经渲染的虚拟内容数据。
在一个或多个实施例中，该方法还包括当生成网格数据时调节网格大小。可以使用格栅网格来生成网格数据。可以基于网格中的多个深度以及在多个深度中的每个深度处的网格的内容来确定深度数据。
在另一实施例中，一种用于确定虚拟对象的深度的计算机实现的方法包括：在多个深度处将与第一只眼睛相对应的虚拟对象的第一图像重新投影在与第二只眼睛相对应的虚拟对象的第二图像上，以生成多个相应的组合图像。该方法还包括在多个相应的组合图像的每一个中测量重新投影误差，以生成多个重新投影误差。该方法进一步包括识别与多个相应的组合图像中的组合图像相对应的多个重新投影误差中的最小重新投影误差。此外，该方法包括将与组合图像相对应的深度识别为虚拟对象的深度。
在一个或多个实施例中，虚拟对象的深度用于使虚拟对象从第一视点翘曲到第二视点。多个深度可以由64个深度组成。多个深度中的每个深度可以对应于在重新投影虚拟对象的第一图像中的一个像素差。
在另一实施例中，一种用于确定最小稳定深度的计算机实现的方法包括获得视点(POV)运动量。该方法还包括基于POV运动量，确定稳定深度与在稳定深度处的像素运动之间的关系。该方法进一步包括获得用于显示系统的最大不明显的像素运动。此外，该方法包括将与显示系统的最大不明显的像素运动相对应的稳定深度识别为显示系统的最小稳定深度。
在一个或多个实施例中，该方法还包括：当视点改变时，仅使比最小稳定深度更接近观看者的内容翘曲。稳定深度与在稳定深度处的像素运动之间的关系可以是反比关系。
在详细描述、附图和权利要求中描述了本公开的附加和其它目的、特征和优点。
附图说明
附图示出了本公开的各种实施例的设计和实用性。应当注意，附图未按比例绘制，并且在整个附图中，相似结构或功能的元件由相似的附图标记表示。为了更好地理解如何获得本公开的各种实施例的上述和其它优点和目的，将通过参考在附图中示出的本公开的具体实施例来对以上简要描述的本公开进行更详细的描述。理解这些附图仅描绘了本公开的典型实施例，并且因此不应被认为是对其范围的限制，将通过使用附图以附加的特征和细节来描述和解释本公开，在附图中：
图1描绘了根据一些实施例的通过可穿戴AR用户设备的增强现实(AR)的用户视图。
图2A-2D示意性地示出根据一些实施例的AR系统及其子系统。
图3和图4示出根据一些实施例的具有用户运动的伪像。
图5示出根据一些实施例使虚拟内容翘曲以针对头部旋转进行校正。
图6-9示出根据一些实施例使虚拟内容翘曲以针对用户运动进行校正。
图10示意性地描绘根据一些实施例的图形处理单元(GPU)。
图11描绘根据一些实施例的被存储为图元(primitive)的虚拟对象。
图12-14描绘根据一些实施例使位于不同深度的两个不重叠的虚拟对象翘曲以针对用户运动进行校正。
图15-19描绘使位于不同深度的两个重叠虚拟对象翘曲以针对用户运动进行校正时的去遮挡伪像。
图20和图21描绘使位于不同深度的两个重叠虚拟对象翘曲以针对用户运动进行校正时的拖尾伪像。
图22-24描绘使位于不同深度的两个重叠虚拟对象翘曲以针对用户运动进行校正时的抖动伪像。
图25-27描绘根据一些实施例使位于不同深度的两个重叠虚拟对象翘曲以针对用户运动进行校正，同时最小化抖动伪像。
图28-31描绘根据一些实施例使用多个深度来使位于不同深度的两个重叠虚拟对象翘曲以针对用户运动进行校正。
图32-38描绘根据一些实施例使用眼睛跟踪来使位于不同深度的两个重叠虚拟对象翘曲以针对用户运动进行校正。
图39-45描绘根据一些实施例使用网格使位于不同深度的两个重叠虚拟对象翘曲以针对用户运动进行校正。
图46是示意性地示出根据一些实施例的说明性计算系统的框图。
图47至图49示意性地描绘根据一些实施例的用于从虚拟对象的立体图像对确定虚拟对象的深度的方法。
图50至图52示出根据一些实施例的通过用于从虚拟对象的立体图像对确定虚拟对象的深度的方法生成的各种组合图像。
图53是示出根据一些实施例的用于从虚拟对象的立体图像对确定虚拟对象的深度的方法的流程图。
图54是示出稳定深度与具有POV运动的虚拟对象的视在运动(apparentmovement)之间的关系的曲线图。
图55是示出根据一些实施例的用于确定稳定深度的方法的流程图。
具体实施方式
本公开的各种实施例涉及用于在单个实施例或多个实施例中使虚拟内容翘曲的系统、方法和制品。在详细描述、附图和权利要求中描述了本公开的其它目的、特征和优点。
现在将参考附图详细描述各种实施例，这些附图被提供作为本公开的说明性示例，以便使本领域技术人员能够实践本公开。值得注意的是，下面的附图和示例并不意味着限制本公开的范围。在可以使用已知组件(或方法或过程)部分或完全实现本公开的某些要素的情况下，将仅描述理解本公开所必需的此类已知组件(或方法或过程)的那些部分，并且将省略此类已知组件(或方法或过程)的其它部分的详细描述，以免模糊本公开。此外，各种实施例涵盖了通过图示的方式在此涉及的组件的当前和将来已知的等同物。
可以独立于混合现实系统来实现虚拟内容翘曲系统，但是以下仅出于说明性目的而相对于AR系统描述了一些实施例。此外，在此描述的虚拟内容翘曲系统也可以以与VR系统相同的方式使用。
说明性混合现实场景和系统
以下描述涉及可以实践翘曲系统的说明性增强现实系统。然而，应当理解，实施例还适用于其它类型的显示系统(包括其它类型的混合现实系统)中的应用，并且因此，实施例不仅限于在此公开的说明性系统。
混合现实(例如，VR或AR)场景通常包括与真实世界对象相关的与虚拟对象相对应的虚拟内容(例如，图像和声音)的呈现。例如，参考图1，描绘了AR场景100，其中AR技术的用户看到了真实世界的物理的公园状的设置102，其特征包括人、树、背景中的建筑物以及真实的物理的混凝土平台104。除了这些项目之外，AR技术的用户还感觉他们“看到”了站在物理混凝土平台104上的虚拟机器人雕像106，以及似乎是大黄蜂的拟人化的飞舞的虚拟类卡通头像角色108，即使这些虚拟对象106、108在真实世界中不存在。
与AR场景一样，VR场景也考虑了用于生成/渲染虚拟内容的姿势。将虚拟内容准确地翘曲到AR/VR显示参考系，并将翘曲的虚拟内容翘曲可以改善AR/VR场景，或者至少不会减损AR/VR场景。
以下描述涉及可以实践本公开的说明性AR系统。然而，应当理解，本公开也适用于其它类型的增强现实和虚拟现实系统中的应用，并且因此，本公开不仅限于在此公开的说明性系统。
图2A示出根据一些实施例的AR系统200。AR系统200可以结合投影子系统208来操作，以在用户250的视场中提供与物理对象混合的虚拟对象的图像。该方法采用一个或多个至少部分透明的表面，通过该表面可以看到包括物理对象的周围环境并且AR系统200通过该表面产生虚拟对象的图像。投影子系统208被容纳在控制子系统201中，该控制子系统201通过链路207可操作地耦合到显示系统/子系统204。链路207可以是有线或无线通信链路。
对于AR应用，可能期望相对于用户250的视场中的相应物理对象在空间上定位各种虚拟对象。虚拟对象可以采用多种形式中的任一种，具有能够被表示为图像的任何种类的数据、信息、概念或逻辑构造。虚拟对象的非限制性示例可以包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟字段对象、虚拟图表对象、虚拟地图对象、虚拟仪器对象，或物理对象的虚拟视觉表示。
AR系统200包括：由用户250佩戴的框架结构202；由框架结构202承载的显示系统204，使得显示系统204位于用户250的眼睛前面；以及结合到显示系统204中或连接到显示系统204的扬声器206。在所示的实施例中，扬声器206由框架结构202承载，使得扬声器206位于用户250的耳道附近(之中或周围)(例如，耳塞或耳机)。
显示系统204被设计为向用户250的眼睛呈现基于照片的辐射图案，可以舒适地将该基于照片的辐射图案感知为包括二维和三维内容两者的周围环境的增强。显示系统204以提供对单个相干场景的感知的高频率来呈现一系列帧。为此，显示系统204包括投影子系统208和部分透明的显示屏，投影子系统208通过该显示屏投影图像。显示屏位于用户250的眼睛和周围环境之间的用户250的视场中。
在一些实施例中，投影子系统208采取基于扫描的投影设备的形式，并且显示屏采取基于波导的显示器的形式，来自投影子系统208的扫描光被注入该基于波导的显示器中以产生例如比无限远更近的单个光学观看距离(例如，臂长)处的图像，多个离散光学观看距离或焦平面处的图像，和/或用于表示体积3D对象而堆叠在多个观看距离或焦平面处的图像层。光场中的这些层可以足够紧密地堆叠在一起，以看起来对人类视觉子系统是连续的(例如，一层位于相邻层的混淆锥内)。另外地或可替代地，图片元素可以在两层或更多层上混合以增加在光场中各层之间过渡的感知连续性，即使这些层被更稀疏地堆叠(例如，一层在相邻层的混淆锥之外)。显示系统204可以是单眼或双眼的。扫描组件包括产生光束的一个或多个光源(例如，以限定的图案发射不同颜色的光)。光源可以采取多种形式中的任一种，例如，一组RGB源(例如，能够输出红色、绿色和蓝色光的激光二极管)，其可操作以根据在像素信息或数据的相应帧中指定的定义的像素图案分别产生红色、绿色和蓝色相干的准直光。激光提供高色彩饱和度并且具有高能源效率。光学耦合子系统包括光学波导输入装置，诸如例如一个或多个反射表面、衍射光栅、反射镜、二向色镜或棱镜，以将光在光学上耦合到显示屏的末端。光学耦合子系统进一步包括准直元件，该准直元件准直来自光纤的光。可选地，光学耦合子系统包括光调制装置，该光调制装置被配置为将来自准直元件的光会聚到光波导输入装置的中心处的焦点，从而允许光波导输入装置的大小被最小化。因此，显示系统204生成像素信息的一系列合成图像帧，其向用户呈现一个或多个虚拟对象的未失真图像。在题为“显示系统和方法(Display System and Method)”的美国实用专利申请序列号14/212,961(代理人案卷号：ML.20006.00)和题为“具有衍射元件的平面波导装置和利用该平面波导装置的子系统(Planar Waveguide Apparatus With DiffractionElement(s)and Subsystem Employing Same)”的序列号14/331,218(代理人案卷号ML.20020.00)中提供了描述显示子系统的更多细节，其内容通过引用全部明确地且完整地并入本文，如同全文阐述一样。
AR系统200进一步包括一个或多个传感器，该传感器安装到框架结构202，用于检测用户250的头部的位置(包括取向)和运动和/或用户250的眼睛位置和眼间距离。此类传感器可以包括图像捕获设备、麦克风、惯性测量单元(IMU)、加速度计、罗盘、GPS单元、无线电设备、陀螺仪等。例如，在一个实施例中，AR系统200包括头戴式换能器子系统，该头戴式换能器子系统包括一个或多个惯性换能器，以捕获指示用户250的头部运动的惯性测量。此类设备可以用于感测、测量或收集有关用户250的头部运动的信息。例如，这些设备可用于检测/测量用户250的头部的运动、速度、加速度和/或位置。用户250的头部的位置(包括取向)也被称为用户250的“头部姿势”。
图2A的AR系统200可以包括一个或多个前向相机。相机可用于多种目的，诸如从系统200的前向记录图像/视频。此外，相机可用于捕获有关用户250所处环境的信息，诸如指示用户250关于该环境和该环境中的特定对象的距离、取向和/或角位置的信息。
AR系统200可以进一步包括后向相机，以跟踪用户250的眼睛的角位置(一只或多只眼睛指向的方向)、眨眼和聚焦深度(通过检测眼睛聚散)。例如，可以通过将光投影到最终用户的眼睛上并检测至少一些该投影光的返回或反射来辨别此类眼睛跟踪信息。
增强现实系统200进一步包括可以采用多种形式中的任何形式的控制子系统201。控制子系统201包括多个控制器，例如一个或多个微控制器、微处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)、其它集成电路控制器，诸如专用集成电路(ASIC)、可编程门阵列(PGA)(例如现场PGA(FPGA))和/或可编程逻辑控制器(PLU)。控制子系统201可以包括数字信号处理器(DSP)、中央处理单元(CPU)251、图形处理单元(GPU)252和一个或多个帧缓冲器254。CPU 251控制系统的整体操作，而GPU 252渲染帧(即，将三维场景转换为二维图像)并将这些帧存储在帧缓冲器254中。虽然未示出，但一个或多个附加集成电路可以控制帧从帧缓冲器254读入和/或读出以及显示系统204的操作。读入和/或读出帧缓冲器254可以采用动态寻址，例如，在帧过度渲染的情况下。控制子系统201进一步包括只读存储器(ROM)和随机存取存储器(RAM)。控制子系统201进一步包括三维数据库260，GPU252可以从该三维数据库260访问用于渲染帧的一个或多个场景的三维数据，以及与三维场景内包含的虚拟声源相关联的合成声音数据。
控制AR增强现实子系统2010进一步包括用户取向检测模块248。用户取向模块248检测用户250的头部的瞬时位置，并可以基于从传感器接收的位置数据预测用户250的头部的位置。用户取向模块248还基于从传感器接收的跟踪数据来跟踪用户250的眼睛，并且特别是用户250所聚焦的方向和/或距离。
图2B描绘了根据一些实施例的AR系统200'。图2B中描绘的AR系统200’类似于图2A中描绘并在上面描述的AR系统200。例如，AR系统200'包括框架结构202、显示系统204、扬声器206以及通过链路207可操作地耦合到显示系统204的控制子系统201'。图2B中描绘的控制子系统201'是类似于图2A中描绘并在上面描述的控制子系统201。例如，控制子系统201'包括投影子系统208、图像/视频数据库271、用户取向模块248、CPU 251、GPU 252、3D数据库260、ROM和RAM。
图2B中描绘的控制子系统201'以及因此AR系统200'与图2A中描绘的对应系统/系统组件之间的差异是存在图2B中描绘的控制子系统201'中块290。块290是独立于GPU 252或CPU 251的单独的翘曲块。如图2C中所示，块290包括翘曲单元280、数据库292和合成单元294。合成单元294包括混合单元296。如图2D中所示，翘曲单元280包括姿势估计器282和变换单元284。
AR系统200、200'的各种处理组件可以包含在分布式子系统中。例如，AR系统200、200'包括诸如通过有线引线或无线连接207可操作地耦合到显示系统204的一部分的本地处理和数据模块(即，控制子系统201、201')。本地处理和数据模块可以以各种配置安装，诸如固定地附接到框架结构202，固定地附接到头盔或帽子，嵌入头戴式耳机，可移除地附接到用户250的躯干，或以皮带耦合式配置可移除地附接到用户250的髋部。AR系统200、200'可以进一步包括诸如通过有线引线或无线连接可操作地耦合到本地处理和数据模块的远程处理模块和远程数据存储库，使得这些远程模块可操作地彼此耦合并且可用作本地处理和数据模块的资源。本地处理和数据模块可以包括省电的处理器或控制器，以及数字存储器，诸如闪存，二者均可用于协助处理、缓存和存储从传感器捕获的数据和/或使用远程处理模块和/或远程数据存储库获取和/或处理的数据，可能在此类处理或取得之后传递给显示系统204。远程处理模块可以包括被配置为分析和处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。远程数据存储库可以包括相对大规模的数字数据存储设施，该数字数据存储设施可以通过互联网或“云”资源配置中的其它网络配置而可用。在一些实施例中，所有数据被存储并且所有计算在本地处理和数据模块中执行，从而允许来自任何远程模块的完全自主的使用。上述各种组件之间的耦合可以包括用于提供有线或光通信的一个或多个有线接口或端口，或者诸如经由用于提供无线通信的RF、微波和IR的一个或多个无线接口或端口。在一些实施方式中，所有通信可以是有线的，而在其它实现方式中，除了光纤之外，所有通信可以是无线的。
问题和解决方案的摘要
当光学系统生成/渲染虚拟内容时，它可以使用源参考系，该源参考系可以与在渲染虚拟内容时系统的姿势有关。在AR系统中，经渲染的虚拟内容可以与真实的物理对象具有预定义的关系。例如，图3示出AR场景300，该场景300包括位于真实物理台座312顶部的虚拟花盆310。AR系统基于源参考系渲染了虚拟花盆310，在该源参考系中真实台座312的位置已知，使得虚拟花盆310看起来停在真实台座312的顶部。AR系统可以在第一时间使用源参考系渲染虚拟花盆310，并且在第一时间之后的第二时间，使用输出参考系显示/投影经渲染的虚拟花盆310。例如，如图3所示，如果源参考系和输出参考系相同，则虚拟花盆310将出现在其被预期放置的位置(例如，在实际物理台座312顶部)。
然而，如果参考系从渲染虚拟花盆310的第一时间到显示/投影经渲染的虚拟花盆310的第二时间改变(例如，随着用户头部运动)，则源参考系与输出参考系之间的不匹配/差异可能导致视觉伪像/异常/瑕疵。例如，图4示出AR场景400，其包括虚拟花盆410，该虚拟花盆410被渲染为位于实际物理台座412的顶部。然而，由于在渲染虚拟花盆410之后但在显示/投影虚拟花盆410之前(例如，通过向右的头部旋转)将AR系统移动到右侧，因此虚拟花盆410显示在其预期位置410'(以虚线示出)的右侧。这样，虚拟花盆410似乎在空中漂浮在实际物理台座412的右侧。当虚拟花盆在下一个源参考系中被重新渲染并显示在下一个输出参考系中时(假定AR系统运动停止)，可以修复该伪像。然而，随着虚拟花盆410似乎通过暂时跳到不期望位置而出现瑕疵，伪像对于一些用户仍然可见。该瑕疵以及其它类似物可能会对AR场景的连续性幻景产生有害影响。
一些光学系统可以包括翘曲系统，该翘曲系统将经渲染的虚拟内容的参考系从其中生成虚拟内容的源参考系翘曲或变换为其中将显示虚拟内容的输出参考系。在图4中描绘的示例中，AR系统可以检测和/或预测(例如，使用IMU或眼睛跟踪)输出参考系和/或姿势。然后，AR系统可以将经渲染的虚拟内容从源参考系中翘曲或转换为输出参考系中的翘曲虚拟内容。
图5示意性地示出根据一些实施例的虚拟内容的翘曲以针对头部旋转进行校正(“旋转翘曲”)。在由射线510表示的源参考系(渲染姿势)中的经渲染的虚拟内容512在由射线510'表示的输出参考系(估计姿势)中翘曲为翘曲的虚拟内容512'。图5中所示的翘曲可以表示向右的头部旋转。当经渲染的虚拟内容512被设置在源X、Y位置处时，翘曲的虚拟内容512'被变换为输出X'、Y'位置(在固定参考系中)。然而，由于在渲染虚拟内容512和显示翘曲的虚拟内容512'之间用户的头部和FOV的运动(例如，向右旋转)，所以翘曲的虚拟内容512'被显示在相对于由射线510'表示的显示参考系(姿势)的位置/取向处，该位置/取向与经渲染的虚拟内容512相对于由射线510表示的源参考系(渲染姿势)的位置/取向相同。图5中描绘的翘曲导致翘曲的虚拟内容512'以显示姿势显示，因为如果以渲染姿势显示则经渲染的虚拟内容512将出现。
图6-9示意性地示出根据一些实施例的虚拟内容的翘曲以针对头部位置变化进行校正(“位置翘曲”)。使来自渲染姿势的经渲染的虚拟内容610、612翘曲以在显示姿势中生成翘曲的虚拟内容610'、612'。从渲染姿势到显示姿势的FOV变化是位置变化(即，除了可选的旋转外的沿六个自由度中的一些自由度的运动)。
图6描绘了根据一些实施例的位置翘曲。例如，AR系统可以使以经渲染的虚拟内容形成3D场景的所有源子部分翘曲。例如，形成棋子610和立方体612的图元可以被翘曲为翘曲的棋子610'和翘曲的立方体612'。在图6中以虚线示出了棋子610和立方体612，以指示它们在源参考系中(即，渲染FOV)并且将不被显示。取而代之的是，将显示输出参考系(即，位置改变后的显示FOV)中的翘曲的棋子610'和翘曲的立方体612'(以实线示出)。
一些翘曲系统/方法还对所有子部分(例如，形成翘曲的棋子610'和翘曲的立方体612'的每个图元)进行深度测试以生成深度数据。在深度测试之后，AR系统将所有翘曲的子部分(例如，图元)及其相对深度存储在源参考系中(例如，在列表中)。翘曲的虚拟内容可以被存储为输出虚拟内容中每个X、Y位置(例如，像素)处的所有亮度/颜色的列表，包括冲突的翘曲的虚拟数据的所有实例(参见下面)。
然后，翘曲系统在存储的翘曲子部分的每个X、Y位置和相对深度(例如列表)处解析所有冲突的虚拟数据。例如，如图7中所示，当3D场景的两个或更多个不同子部分(例如，棋子610和立方体612)被翘曲到输出参考系(例如，翘曲的棋子610”和翘曲的立方体612”)中时，这些子部分的部分可以翘曲/投影到(即，分配给)最终显示图像的同一像素中。例如，图7中的区域614”表示翘曲的棋子610”和翘曲的立方体612”的“冲突”部分。翘曲系统在生成输出虚拟内容时解析/协调翘曲的虚拟内容的这些冲突部分。
在一些实施例中，如果翘曲的棋子610”和翘曲的立方体612”的相应像素(例如，第一和第二虚拟内容)将被显示在显示器的相同像素(即，碰撞像素)上，因此，翘曲系统可以比较所存储的与相应碰撞/冲突像素相对应的深度数据。显示更接近输出参考系中的观看位置的碰撞像素(例如，翘曲的虚拟内容)(假定内容是不透明的)。在输出参考系中最接近观看位置的碰撞像素用于生成最终显示图像。其余碰撞像素被丢弃。
在图8中所示的一个实例中，翘曲的棋子610”比翘曲的立方体612”更接近用户。这样，当翘曲的棋子610”和翘曲的立方体612”的像素碰撞时，翘曲的棋子610”'的像素显示在输出内容中。在图9中所示的另一个实例中，翘曲的立方体612””比翘曲的棋子610””更接近用户。这样，当翘曲的棋子610””和翘曲的立方体612””的像素碰撞时，翘曲的立方体612””的像素显示在输出内容中。由于一些翘曲系统在源参考系中生成深度数据，因此深度比较可涉及多个变换，并且可能比直接比较更为复杂。
如美国实用专利申请序列号15/924,011中所述，可以以两次通过或单次通过来执行翘曲方法的各个步骤，该美国专利申请的内容先前已通过上面的引用并入。位置翘曲系统/方法(翘曲、深度测试、深度比较、合成等)可能在计算上相对昂贵(导致处理器/存储器相关的系统限制)，并且相对耗时(导致系统时延)。因此，一些翘曲方法集中于旋转翘曲。然而，旋转翘曲可导致具有各种用户FOV运动的各种伪像，诸如与光轴正交的横向用户FOV运动(去遮挡、抖动、拖尾，它们将在下面详细描述)。
为了解决这些限制，在此描述的系统/方法包括用于在用户FOV移动(例如，与光轴横向正交)时使虚拟内容翘曲的各种实施例。虽然参考横向用户FOV运动描述了一些实施例，但是这些实施例解决了由其它类型的用户FOV运动导致的伪像。这将所需的计算费用和时间最小化，这随着必须被翘曲以便显示的3D场景的复杂性而增加。因此，所公开的实施例促进诸如一些混合现实系统的实时系统，其将大小、功率、热量和其它与处理有关的参数保持在可接受范围内。
说明性图形处理单元
根据一些实施例，图10示意性地描绘示例图形处理单元(GPU)252，以将经渲染的虚拟内容翘曲为输出/显示参考系。GPU 252包括输入存储器1010，以存储要翘曲的经渲染的虚拟内容。在一些实施例中，虚拟内容被存储为图元(例如，图11中的三角形1100)。GPU252还包括命令处理器1012，该命令处理器1012(1)从输入存储器1010接收/读取虚拟内容，(2)将虚拟内容划分为调度单元，以及(3)沿着渲染管线以波浪或翘曲的形式发送调度单元以用于并行处理。GPU 252进一步包括调度器1014，以(1)从命令处理器1012接收调度单元，并且(2)确定是否应该在任何特定时间沿渲染管线向下发送来自命令处理器1012的“新作品”或从渲染管线中的下游返回的“旧作品”(如下所述)。实际上，调度器1014确定GPU 252处理各种输入数据的序列。
GPU 252包括一个或多个GPU核心1016，其中每个GPU核心1016具有用于并行处理调度单元的多个并行可执行核心/单元(“着色器核心”)1018。命令处理器1012将虚拟内容划分为等于着色器核心1018的数量(例如32)的数量。GPU 252还包括“先进先出”(“FIFO”)存储器1020，以接收来自GPU核心1016的输出。从FIFO存储器1020中，输出可以作为“旧作品”被路由回到调度器1014，以由GPU核心1016插入渲染管线中进行附加处理。
GPU 252进一步包括光栅操作单元(“ROP”)1022，该光栅操作单元从FIFO存储器1020接收输出并且光栅化输出以用于显示。例如，虚拟内容的图元可以被存储为三角形的顶点的坐标。在由GPU核心1016进行处理之后(在此期间，图11的三角形1100的三个顶点1110、1112、1114可以被翘曲)，ROP 1022确定哪些像素1116在由三个顶点1111、1112、1114定义的三角形1100内侧，并在虚拟内容中填充这些像素1116。ROP1022还可对虚拟内容执行深度测试。
GPU 252还包括用于临时存储来自ROP 1022的翘曲的虚拟内容的缓冲存储器1024。缓冲存储器1024中的翘曲的虚拟内容可以包括在输出参考系的视场中的多个X、Y位置处的亮度/颜色和深度信息。可以将来自缓冲存储器1024的输出作为“旧作品”路由回调度器1014，以通过GPU核心1016将其插入渲染管线中进行附加处理，或者用于在显示系统的对应像素中显示。GPU核心1016首先处理三角形1100的顶点1111、1112、1114，然后处理三角形1100内侧的像素1116。当输入存储器1010中虚拟内容的所有片段都已翘曲并进行深度测试时(如果必要)，缓冲存储器1024将包括在输出参考系中显示视场所需的所有亮度/颜色和深度信息。
虚拟内容翘曲系统和横向偏移方法
在没有头部姿势改变的图像处理中，GPU 252的处理结果是在相应的X、Y值处(例如，在每个像素处)的颜色/亮度值和深度值。然而，随着横向头部姿势改变(即，与光轴正交的显示器FOV的横向运动)，从与在其中生成虚拟内容的源参考系不同的输出参考系中的观看位置观看的虚拟内容的不同部分可以包括各种伪像。如上所述，在横向头部姿势改变之后校正横向运动伪像的位置翘曲在计算上可能是昂贵且缓慢的，使得难以与诸如混合现实系统的便携式显示系统一起使用。此外，具有横向头部姿势改变的旋转翘曲可产生各种其它伪像。
图12-14描绘了根据一些实施例的响应于横向FOV运动的位置翘曲。图12描绘了经渲染的虚拟对象(棋子1210和立方体1212)。
图13描绘了在左横向FOV运动之后的经渲染的虚拟对象1210、1212和翘曲的虚拟对象1210'、1212'。经渲染的虚拟对象1210、1212在图13中以虚线示出，以指示未显示在源参考系中而不在显示参考系中生成的棋子1210和立方体1212。仅在翘曲系统已经使棋子1210和立方体1212翘曲之后，才显示翘曲的棋子1210'和翘曲的立方体1212'(以实线示出)。
图14从顶视图示意性地描绘了经渲染的虚拟对象1210、1212，以示出经渲染的虚拟对象1210、1212的深度差。棋子1210更接近在深度D10(即棋子1210的中心深度)处的观看者，并且立方体1212更远离在深度D12(即，立方体1212的中心的深度)处的观看者。因此，在相同的左横向FOV运动的情况下，较近的对象(棋子1210)似乎比较远的对象(立方体1212)进一步向右移动。在图13中通过翘曲的棋子1210'和翘曲的立方体1212'的不同的向右偏移来说明该差异。选择图13中描述的向右偏移的差异以说明该原理/效果，并且不与图14中描绘的深度差直接相关。在较大深度差的情况下，较近的对象可以似乎向右偏移，而较远的对象可以似乎是静止的。
在一些实施例中，深度测试每个经渲染的虚拟对象1210、1212的每个像素并基于其深度使每个像素翘曲可能在计算上昂贵，以至于此类位置翘曲在便携式系统中实现可能是不切实际的。
去遮挡伪像
图15-19描绘了根据一些实施例的具有位置翘曲的去遮挡伪像。图15描绘了经渲染的虚拟对象(棋子1510和立方体1512)，根据渲染姿势在棋子1510和立方体1512之间具有重叠区域1514。图16示出，由于棋子1510比立方体1512更接近观看者，因此未渲染立方体1512的与重叠区域1514相对应的部分，棋子1510的与重叠区域1514相对应的部分被渲染。
图17示意性地示出，如图13中的在向左的横向用户头部运动的情况下，虚拟对象(棋子1510和立方体1512)向右翘曲以生成翘曲的虚拟对象(棋子1510'以及翘曲的立方体1512')。如关于图13和图14所解释的，由于棋子1510比立方体1512更接近观看者，因此棋子1510将响应于向左的横向用户头部运动，比立方体1512更向右翘曲。棋子1510'和翘曲的立方体1512'的该不同的翘曲揭开或“去遮挡”了立方体1512的与重叠区域1514相对应的部分。返回参考图16，立方体1512的与重叠区域1514相对应的部分未渲染。相应地，由于源虚拟对象(即，立方体1512)不包括重叠区域1514，所以不能显示翘曲的立方体1512'的与先前被遮挡的重叠区域1514'相对应的现在去遮挡的部分。
图18示出不包括任何未经渲染的部分的图17中所述的位置翘曲。图18示出翘曲立方体1512'不包括先前被遮挡的部分(参见图17中的1514')。图19描绘了假设横向用户头部运动在图18所示的帧处停止的情况下渲染和显示的下一帧。如图19中所示，在没有用户FOV运动的情况下进行下一渲染时，新渲染的棋子1510”和立方体1512”保持与图17中基本上相同的位置。然而，新渲染的立方体1512”包括先前被遮挡的部分(参见图17中的1514')，从而形成完整的立方体1512”。
比较图18和图19示出去遮挡伪像，其中在翘曲揭开如图18中所示的先前去遮挡的部分之后，首先不显示虚拟对象的先前被遮挡的部分(参见图17中的1514')。如图19中所示，在下一次渲染和显示虚拟对象时，先前被遮挡的部分出现。其中图17-19中描绘的去遮挡伪像包括虚拟对象(立方体)消失和出现的重要部分，在其它实施例中，取决于包括深度差、重叠量、FOV运动速度的许多因素，去遮挡伪像可能表现为实体虚拟对象中的裂缝或其它缺失部分。无论表现形式如何，去遮挡伪像可影响用户体验，从而降低混合现实场景的真实感。因为图15-19中描绘的实施例仍然利用位置翘曲，所以去遮挡伪像也伴随着位置翘曲的计算开销。
拖尾伪像
图20和图21描绘了根据一些实施例的具有翘曲的拖尾伪像。为了最小化上述去遮挡伪像，当远虚拟对象通过翘曲以填充被不同地翘曲的虚拟对象之间的空间而被去遮挡时，一些翘曲系统/方法拉伸远虚拟对象。图20在右侧示出此类虚拟对象(棋子2010和立方体2012)的翘曲，以响应于向左的横向用户头部运动而生成翘曲的虚拟对象(翘曲的棋子2010'和翘曲的立方体2012')。立方体2012的未被遮挡的部分已经被拉伸以在翘曲的棋子2010'和翘曲的立方体2012'之间的空间中形成填充部分2016。
图21描绘了在没有用户FOV运动的情况下棋子2010”和立方体2012”的下一个渲染。在下一个渲染中，新渲染的棋子2010”和立方体2012”保持与图20基本上相同的位置。然而，新渲染的立方体2012”基于完整的立方体(例如，来自图17的立方体1514)，并且不包括图20中的填充区段2016。此外，当比较图20和图21时，新渲染的立方体2012”的部分与填充区段2016之间的任何特征差异(基于先前渲染的立方体2012的不同部分)对于用户是显而易见的。此类特征可以包括颜色、纹理等。新渲染的立方体2012”的部分与填充区段2016之间的该特征差异可被称为拖尾伪像，因为填充区段2016可显现为先前渲染的立方体2012/2012'的不同部分的拖尾。拖尾伪像还可影响用户体验，从而降低混合现实场景的真实感。因为图20-21中描绘的实施例仍然利用位置翘曲，所以拖尾伪像还伴随着位置翘曲的计算开销。
单深度翘曲和抖动伪像
图22-27描绘了根据两种类型的实施例的单深度翘曲(图22-24和25-27)。图22-24描绘了根据一些实施例的单深度翘曲。图22描绘了经渲染的虚拟对象，即在相对较近深度处的棋子2210和在相对较远深度处的立方体2212。
图23描绘了使用单深度翘曲经渲染的虚拟对象2210、2212。通过使用单深度，翘曲的虚拟对象(翘曲的棋子2210'和翘曲的立方体2212')之间的相对空间关系与经渲染的虚拟对象2210、2212之间的相对空间关系基本上相同。保持翘曲的虚拟对象2210'、2212'之间的基本上相同的相对空间关系使去遮挡伪像最小化，因为未去遮挡立方体2212的遮挡部分，直到在图24中重新渲染整个立方体2212'为止。
在图22-24中所示的实施例中，用于使经渲染的虚拟对象2210、2212翘曲的单深度是FOV中任何虚拟对象(即棋子2210)的最接近深度。该最接近深度被包括在与经渲染的虚拟对象2210、2212相对应的数据中。因此，不需要深度测试。这减少了该单深度翘曲方法的计算量。
将图23中的翘曲的虚拟对象2210'、2212'与图24中的重新渲染的虚拟对象2210”、2212”(即，没有用户FOV运动的下一个经渲染帧)进行比较，示出翘曲的棋子2210'和重新渲染的棋子2210”位于基本上相同的位置，因为用于使棋子2210翘曲的深度是棋子2210的接近深度D10。另一方面，因为用于使立方体2212翘曲的深度D10小于立方体2212的实际远深度D12，因此翘曲的立方体2212'和重新渲染的立方体2212”位于不同的位置。这导致翘曲的立方体2212'响应于左横向FOV运动过度向右偏移。因此，依次显示图23中的翘曲的虚拟对象2210'、2212'，然后依次显示图24中的重新渲染的虚拟对象2210”、2212”，会导致经渲染的立方体2212看起来向右移动，然后快速向左退回。该“抖动伪像”(或“摆动伪像”)会因连续FOV运动而加剧，从而导致更远的对象(即经渲染的立方体2212)或通常在背景中的对象发生一系列方向变化。
图25-27描绘了根据一些其它实施例的单深度翘曲。图25描绘了经渲染的虚拟对象，即在相对较近深度处的棋子2510和在相对较远深度处的立方体2512。
图26描绘了使用单深度对经渲染的虚拟对象2510、2512进行翘曲以维持翘曲的虚拟对象(翘曲的棋子2510'和翘曲的立方体2512')之间基本上相同的相对空间关系。如上所述，在翘曲的虚拟对象2510'、2512'之间保持基本上相同的相对间隔使去遮挡伪像最小化，因为未去遮挡立方体2512的遮挡部分，直到在图27中重新渲染整个立方体2512'为止。
在图25-27中所示的实施例中，用于使经渲染的虚拟对象2510、2512翘曲的单深度是FOV中任何虚拟对象(即立方体2512)的最远深度。该最远深度被包括在与经渲染的虚拟对象2510、2512相对应的数据中。因此，不需要深度测试。这减少了该单深度翘曲方法的计算量。
将图26中的翘曲的虚拟对象2510'、2512'与图27中的重新经渲染的虚拟对象2510”、2512”(即，没有用户FOV运动的下一个经渲染的帧)进行比较，示出翘曲的立方体2512'和重新渲染的立方体2512”位于基本上相同的位置，因为用于使立方体2512翘曲的深度是立方体2512的远深度D12。另一方面，翘曲的棋子2510'和重新渲染的棋子2510”处于不同的位置，因为用于使棋子2510翘曲的深度D12大于棋子2510的实际近深度D10。这导致翘曲的棋子2510'响应于左横向FOV运动的向右的下偏移。因此，依次显示图26中的翘曲的虚拟对象2510'、2512'，然后依次显示图27中的重新渲染的虚拟对象2510”、2512”，使经渲染的棋子2510看起来部分地向右移动，然后进一步向右移动，去遮挡立方体2512。与上面描述并在图22-24中所示的抖动伪像相比，对于典型用户，该伪像对混合现实场景的真实感影响较小。这可能是由于图25-27中描述的伪像中缺少方向变化，这被感觉(如果有的话)为滞后，而不是方向变化引起的抖动或摆动。
虽然以上都描述了使用FOV中虚拟对象的最远和最近深度的单个距离翘曲，但是FOV中的其它深度也可以用于使经渲染的虚拟对象翘曲。例如，在一些实施例中，单个距离是FOV中最近和最远对象的距离的平均值。在一些实施例中，单个距离是FOV中所有对象的距离的平均值/平均化值。在一些实施例中，单个距离是FOV中所有对象的距离的中值。
多次离散深度翘曲
图28-31描绘了根据一些实施例的多次深度翘曲。图28描绘了经渲染的虚拟对象，即相对较近深度处的棋子2810和相对较远深度处的立方体2812。
图29A从顶视图描绘了经渲染的虚拟对象2810、2812，以示出经渲染的虚拟对象2810、2812的深度差。棋子2810更接近在深度D10处的观看者，而立方体2812更远离在深度D12处的观看者。图29A还示出FOV已被划分成的六个离散深度切片2814、2816、2818、2820、2822、2824。在一些实施例中，这些离散深度切片2814、2816、2818、2820、2822、2824对应于VR/AR/MR系统被配置为显示虚拟内容的深度切片。深度切片2814、2816、2818、2820、2822、2824具有沿光轴的极限。例如，根据一些实施例的深度切片可以在距用户的眼睛0.37m至1.5m的范围内。根据一些实施例的另一个深度切片可以包括距用户的眼睛大于1.5m的所有距离。
尽管图29A描绘了具有相似厚度的六个深度切片2814、2816、2818、2820、2822、2824，但是在其它实施例中，更接近用户眼睛的深度切片具有更薄的厚度，因为用户对接近于用户的深度差更敏感。例如，图29B描绘了根据一些其它实施例的六个深度切片2814'、2816'、2818'、2820'、2822'、2824'。在图29B中，每个相继更远的深度切片(例如2816'对2814')具有更大的厚度。例如，位于1m和2m处的对象可能位于离散的深度切片中，但是位于5m和10m处的对象可能位于同一深度切片中。在一些实施例中，最远的深度切片2824'延伸到无穷大。在各种实施例中，深度切片的厚度可以线性地或对数地增加(如图29B中所示)。
尽管图29A描绘了六个深度切片2814、2816、2818、2820、2822、2824，但在其它实施例中，将FOV划分成的深度切片的数量可以对应于FOV中的虚拟对象的数量。例如，如果FOV中有三个虚拟对象，则FOV将被划分为三个深度切片。尽管图29A和图29B包括六个深度切片，但是在其它实施例中，取决于虚拟场景和可用系统资源，深度切片的数量可以大于或小于六个。
图30描绘了针对每个经渲染的虚拟对象2810、2812使用不同的深度来使经渲染的虚拟对象2810、2812(在图29A中)翘曲，以更准确地定位翘曲的虚拟对象2810'、2812'。在一些实施例中，用于使相对较近的棋子2810翘曲的距离是包含棋子2810的深度切片2816的远距离(“远片段”)D16。用于使相对较远的立方体2812翘曲的距离是包含大部分立方体2812的深度切片2822的远片段D22。在其它实施例中，用于翘曲和对象的距离可以是包含全部或大部分或一些虚拟对象的深度切片的中间距离或任何其它距离。
将图30中的翘曲的虚拟对象2810'、2812'与图31中的重新渲染的虚拟对象2810”、2812”(即，没有用户FOV运动的下一个渲染帧)进行比较，示出尽管与全位置翘曲相比，图28-31中所示的多个离散深度翘曲减少了计算量，但它仍然容易受到去遮挡伪像的影响。
虽然图29A中所示的虚拟对象2810、2812被几个深度切片分开，但是在其它实施例中，虚拟对象可以被分开很小的距离，以至于它们可以以最小的翘曲伪像一起翘曲。例如，在一些实施例中，彼此相距小于0.1m(例如1.5m对1.6m)的对象不会触发多次深度翘曲。在其它实施例中，可以以屈光度(例如，仅对于相隔大于1屈光度的对象)来测量多次深度翘曲的阈值。
基于眼睛跟踪的单深度翘曲
图32-38描绘了根据一些实施例的基于眼睛跟踪的单深度翘曲。图32描绘了经渲染的虚拟对象，即在相对较近深度处的棋子3210和在相对较远深度处的立方体3212。
图33从顶视图描绘了经渲染的虚拟对象3210、3212，以示出经渲染的虚拟对象3210、3212的深度差。棋子3210更接近在深度D10处的观看者，而立方体3212更远离在深度D12处的观看者。图33还示出用户的眼睛3226正在跟踪与棋子3210的位置一致的方向3228。例如，可以使用AR系统200上的传感器/相机来跟踪用户的眼睛3226的方向。
因为用户的眼睛3226的方向3228已被跟踪到棋子3210，所以用于使两个经渲染的虚拟对象3210、3212翘曲的深度是包含棋子3210的深度切片3216的远片段D16。该翘曲的结果在图34中示出，其中使用与比更远的立方体3212的深度D12更接近的棋子3210的深度D10更相似的深度D16，生成翘曲的虚拟对象3210'、3212'。
如上所述，图34中的翘曲的棋子3210'和图35中的重新渲染的棋子3210”(即，没有用户FOV运动的下一个经渲染的帧)位于基本上相同的位置，因为用于使棋子3210翘曲的深度D16近似于棋子3210的深度D10。另一方面，翘曲的立方体3212'和重新渲染的立方体3212”位于不同的位置，因为用于使立方体3212翘曲的深度D16小于立方体3212的实际远深度D12。这导致翘曲的立方体3212'响应于左横向FOV运动而过度向右偏移。因此，依次显示图34中的翘曲的虚拟对象3210'、3212'，然后依次显示图35中的重新渲染的虚拟对象3210”、3212”，导致经渲染的立方体3212看起来向右移动，然后快速向左回退，产生抖动伪像。
然而，这些实施例使用深度D16作为用于使所有经渲染的虚拟内容翘曲的单深度，因为系统已经跟踪用户的眼睛3226的方向3228到了较近的对象(即棋子3212)。因此，在显示翘曲的立方体3212'和重新渲染的立方体3212”的同时，用户的焦点远离立方体3212。翘曲的立方体3212'和重新经渲染的立方体3212”以虚线在图34和图35中示出，指示用户的焦点远离立方体3212。因此，即使图34中描绘的翘曲包括抖动伪像，通过使用户的焦点远离立方体3212来最小化该伪像的影响。通过使用虚线渲染翘曲和重新渲染的立方体3212'、3212”，在图34和图35中描绘了被引导远离立方体3212的用户焦点。另一方面，用户的焦点指向棋子3210，该棋子3210被更准确地翘曲成翘曲的棋子3210'。
图36从类似于图33的顶视图描绘了经渲染的虚拟对象3210、3212。图36还示出用户的眼睛3226'正在跟踪与立方体3212的位置一致的方向3228'。
因为用户的眼睛3226'的方向3228'已被跟踪到立方体3212，所以用于使两个经渲染的虚拟对象3210、3212翘曲的深度是包含大部分立方体3212的深度切片3222的远片段D22。该翘曲的结果在图37中示出，其中使用更类似于立方体3212的深度D12然后更类似于棋子3210的深度D10的深度D22来生成翘曲的虚拟对象3210”'、3212”'。
如上所述，图37中的翘曲立方体3212”'和图38中的重新渲染的立方体3212””(即，没有用户FOV运动的下一个经渲染的帧)处于基本上相同的位置，因为用于使立方体3212翘曲的深度D22近似于立方体3212的远深度D12。另一方面，翘曲的棋子3210”'和重新渲染的棋子3210””在不同的位置，因为用于使棋子3210翘曲的深度D16小于棋子3210的实际近深度D10。这使翘曲的棋子3210”'响应于左横向FOV运动而向右方下偏移。相应地，依次显示图37中的翘曲的虚拟对象3210”'、3212”'，然后依次显示图38中的重新渲染的虚拟对象3210””、3212””，导致经渲染的棋子3210看起来部分地向右移动，然后进一步向右移动，去遮挡立方体3212，从而导致滞后伪像。
然而，这些实施例使用深度D22作为用于使所有经渲染的虚拟内容翘曲的单深度，因为系统已跟踪用户的眼睛3226'的方向3228'到了较远的对象(即立方体3212)。因此，在显示翘曲的棋子3210”'和重新渲染的棋子3210””的同时，用户的焦点远离棋子3210。翘曲的棋子3210”'和重新渲染的棋子3210””在图36和37中以虚线示出，以指示用户的焦点远离棋子3210。因此，即使图36中描绘的翘曲包括滞后伪像，通过将用户的焦点远离棋子3210以最小化该伪像的影响。图37和图38中描绘了通过使用虚线渲染翘曲和重新渲染的棋子3210'、3210”来将用户的焦点引导远离棋子3210。另一方面，用户的焦点被引导到立方体3212，该立方体3212被更准确地翘曲成翘曲的立方体3212”'。
尽管上面描述了使用深度切片的远片段的单深度翘曲，该深度切片包括已经跟踪用户的眼睛的虚拟对象，但是基于眼睛跟踪的单深度可以是与虚拟对象相关联的其它深度。这些包括包含虚拟对象的深度切片的近距离(“近片段”)，或近片段和远片段之间的任何距离。
基于网格的翘曲
图39-45描绘了根据一些实施例的使用虚拟内容的网格进行翘曲，例如，以减少计算量。图39从顶视图示意性地描绘经渲染的虚拟对象3910、3912，以示出经渲染的虚拟对象3910、3912的深度差。棋子3910更接近在深度D1处的观看者，而立方体3912更远离在D2深度处的观看者。图39还示出经渲染的虚拟对象3910、3912中的每一个包括一个或多个像素3914(参见图11中的图元三角形1100的像素1116)。经渲染的虚拟对象3910、3912还可包括一个或多个图元。使每个经渲染的虚拟对象3910、3912的每个像素3914翘曲可能在计算上是昂贵的。
图40示意性地描绘由经渲染的虚拟对象3910、3912形成并逼近它们的网格3910'、3912'(参见图39)。网格3910'、3912'不包括单独的像素3914，这可以减少用于翘曲的计算复杂度。网格可以使用栅格由经渲染的虚拟对象3910、3912形成。此外，如图41中所示，网格3910'、3912'包括逼近网格3910'、3912'的顶点3916，这可以进一步降低翘曲的计算复杂度。网格3910'、3912'可以从顶点3916重建，并且虚拟对象3910、3912可以从网格3910'、3912'重建。然而，如图42中所示，简化和重建过程可能会将伪像引入到重建的虚拟对象3918、3920中。
图43描绘了经渲染的虚拟对象，即在相对较近深度处的棋子3910和在相对较远深度处的立方体3912。图44描绘了基于网格的翘曲(即重建的棋子3918和重建的立方体3920)的结果，并且图45描绘了重新渲染的虚拟对象的下一帧(即，没有用户FOV运动的重新渲染的棋子3910”和重新渲染的立方体3912”)。由于将经渲染的虚拟对象3910、3912简化为网格3910'、3912'和/或顶点3916，因此可以使用位置翘曲技术对简化的虚拟对象进行翘曲，而不会产生过多的计算负载。虽然规则形状的立方体在图44和图45二者中都相似，但形状不太规则的棋子在图44中具有一些重建伪像。可以调节网格的大小以优化重建伪像，同时最小化计算负载。
尽管已经分别描述了各种翘曲技术，但是在不脱离本公开的范围和精神的情况下，这些技术可以彼此组合以提高翘曲效果。
系统架构概述
图46是适合用于实现本公开的实施例的说明性计算系统1300的框图。计算机系统1300包括用于传送信息的总线1306或其它通信机制，其互连子系统和设备，诸如处理器1307、系统存储器1308(例如，RAM)、静态存储设备1309(例如，ROM)、磁盘驱动器1310(例如，磁性或光学的)、通信接口1314(例如，调制解调器或以太网卡)、显示器1311(例如，CRT或LCD)、输入设备1312(例如，键盘)和光标控制。
根据本公开的一个实施例，计算机系统1300通过处理器1307执行包含在系统存储器1308中的一个或多个指令的一个或多个序列来执行特定操作。此类指令可以从另一计算机可读/可用介质(诸如静态存储设备1309或磁盘驱动器1310)读入系统存储器1308。在替代实施例中，可以使用硬连线电路代替软件指令或与软件指令结合使用以实现本公开。因此，本公开的实施例不限于硬件电路和/或软件的任何特定组合。在一个实施例中，术语“逻辑”应表示用于实现本公开的全部或部分的软件或硬件的任何组合。
如在此所使用的，术语“计算机可读介质”或“计算机可用介质”是指参与向处理器1307提供指令以供执行的任何介质。此类介质可以采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质包括例如光盘或磁盘，诸如磁盘驱动器1310。易失性介质包括动态存储器，诸如系统存储器1308。
计算机可读介质的常见形式包括，例如，软盘、柔性盘、硬盘、磁带、任何其它磁介质、CD-ROM、任何其它光学介质、打孔卡、纸带、具有孔图案的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM(例如NAND闪存、NOR闪存)、任何其它存储器芯片或盒式磁带，或计算机可以从中读取的任何其它介质。
在本公开的实施例中，通过单个计算机系统1300实施用于实践本公开的指令序列的执行。根据本公开的其它实施例，通过通信链路1315(例如，LAN、PTSN或无线网络)耦合的两个或更多个计算机系统1300可以相互协作地执行实践本公开所需的指令序列。
计算机系统1300可以通过通信链路1315和通信接口1314发送和接收消息、数据和指令，包括程序，即应用代码。所接收的程序代码可以在接收到时由处理器1307执行，和/或存储在磁盘驱动器1310或其它非易失性存储装置中以供以后执行。存储介质1331中的数据库1332可用于存储系统1300经由数据接口1333可访问的数据。
虚拟对象深度确定
需要虚拟对象的深度以使该虚拟对象精确地翘曲。然而，在一些实施例中，虚拟对象的深度是未知的。例如，一些应用仅提供用于虚拟对象(例如，用于投影)的立体图像对，而不提供虚拟对象的深度。为了使此类虚拟对象精确地翘曲，需要一种在最小化对系统资源的需求的同时确定此类虚拟对象的深度的方法。
图47至图53描绘了一种用于从该虚拟对象的图像的立体图像对确定/估计该虚拟对象的深度的方法。该方法假定立体对的第一成员(例如，左眼或右眼)是立体对的另一个成员(例如，右眼或左眼)的完美翘曲，因为应用使用适当的视点(POV)渲染了立体对的两个成员。通常，该方法将立体对的一个成员(例如右眼)识别为“参考眼”，并在一个或多个深度处将立体对的第二成员(例如左眼)翘曲/重新投影到第一成员的POV。然后，该方法将重新投影的第二成员与第一成员进行比较，以确定在一个或多个深度中的每个深度处的重新投影误差。然后将具有最小重新投影误差的深度识别为虚拟对象的确定/估计深度。
图53是示出方法5310的流程图。在步骤5312处，系统(例如，VR/AR/MR系统)在一个或多个深度处将虚拟对象的立体对的第一图像重新投影在虚拟对象的立体对的第二图像上，以生成一个或多个组合图像。
示例性组合图像在图50至图52中示出。在这些图中，参考第二图像5012保持静止，并且将测试第一图像重新投影到参考第二图像5112上的不同深度处的5110、5110'，5110”。由于用于重新投影测试第一图像的不同深度，因此重新投影的第一测试图像5110、5110'，5110”相对于参考第二图像5012位于不同的位置。
在该方法中使用的深度数量可以由(1)系统可以实时评估的最大深度数量和(2)观看者双眼之间的最大像素差的较小者来确定。换句话说，即使系统能够实时评估100个不同的深度，如果用户眼睛之间像素的最大距离奇偶性对应于50个不同的深度，则该方法中将使用50个不同的深度来识别虚拟对象的深度。在一些实施例中，在该方法中使用64个不同的深度。用户的眼睛之间的最大像素差可以是瞳孔间距、焦距和/或近深度平面的函数。在一些实施例中，每个深度平面是均匀间隔的，使得对应的重新投影的第一测试图像偏移大约1个像素间隔。
参考图53，在步骤5314处，系统测量每个深度处的重新投影误差。当用于重新投影第一测试图像的深度平面与虚拟对象的深度(例如，在参考第二图像中)次优不匹配时，发生重新投影误差。系统对每个深度处的重新投影误差进行量化。
在步骤5316处，系统分析与一个或多个深度相对应的一个或多个重新投影误差，以识别最小的重新投影误差。然后在步骤5318中将具有最小重新投影误差的深度识别为虚拟对象的确定/估计的深度。
为了实时执行这些分析，系统可以将在一个或多个深度平面中的每个深度平面处的一系列评估划分为多个帧(例如，大约10个帧)。还可以对图像帧的下采样版本(例如，每个尺寸的25％)执行分析，以减少计算量。方法5300可以重复多次以提高方法的准确性。
图47至图49示意性地描绘上述方法5300。图47示出3D虚拟对象4710在一个或多个深度平面4712处从左眼4714重新投影到右眼4716。图48示出该方法识别与虚拟对象4710的深度对应的最优翘曲平面4718(例如，具有最小重新投影误差的组合图像)。图49示出最优翘曲平面4718及其确定/估计的深度可被系统用来使立体图像对4714、4716更准确地翘曲到新的POV 4720(例如，由于用户的移动)。
稳定平面深度确定
对于任何给定的POV运动量，随着虚拟对象接近无穷远，具有POV运动的虚拟对象的视在运动接近零。“稳定平面”被定义为具有特定POV运动的虚拟对象的视在运动接近零的深度(接近无穷远)，以至于视在运动对于系统观看者变得不可察觉/不可感知的程度。例如，在显示、处理、速度等方面的系统限制可能使较小的运动量(例如，一个或两个像素)对于典型用户是不可察觉/不可感知的。识别具有特定POV运动的稳定平面的深度允许系统以小于特定POV运动的POV运动来放弃比稳定平面更远的虚拟对象翘曲。该优化减少了系统在处理、存储器、通信通道等方面的需求。
如图54中所示，在一些实施例中，虚拟对象的视在运动(就像素而言)与稳定深度(就屈光度而言，其是距离的倒数)之间存在反比关系。
图55描绘了确定稳定平面深度的方法。在步骤5512处，系统(例如，VR/AR/MR系统)获得POV运动量。可以从示出用户/观看者运动的系统上的传感器获得POV运动量，或者POV运动量可以是预定的最大POV运动值。
在步骤5514处，系统基于获得的POV运动来确定稳定深度和视在虚拟对象运动之间的关系。在一些实施例中，可以生成诸如图54中所示的像素对屈光度的曲线图。
在步骤5516处，系统获得如上所述的显示系统的最大的不可察觉/不可感知的视在虚拟对象运动。该值可以以像素为单位测量。
在步骤5518处，系统将与最大的不可察觉/不可感知的视在虚拟对象运动相对应的稳定深度识别为最小稳定深度。
在该最小稳定深度处，直至在步骤5512处获得的POV运动量的POV运动对于系统的典型用户将是不可察觉/不可感知的。这样，该系统可以被配置为，只要POV运动保持在步骤5512处所获得的POV运动之下，就放弃比该最小稳定深度更远的任何虚拟对象的翘曲。通过减少处理、存储器、通信通道等方面的系统负载，这些虚拟对象的上述翘曲提高系统效率。
本公开包括可以使用主题设备执行的方法。该方法可以包括提供此类合适的设备的动作。此类提供可以由用户执行。换句话说，“提供”动作仅要求用户获得、访问、接近、定位、设置、激活、加电或以其它方式作用以提供本主题方法中的必要设备。可以以逻辑上可能的所叙述事件的任何顺序以及所叙述事件的顺序来执行在此所叙述的方法。
上面已经阐述了本公开的示例性方面以及有关材料选择和制造的细节。至于本公开的其它细节，可以结合以上引用的专利和出版物以及本领域技术人员通常已知或理解的这些来理解。关于本公开内容的基于方法的方面，就通常或逻辑上采用的附加动作而言，这同样适用。
另外，尽管已经参考可选地结合了各种特征的几个示例描述了本公开，但是本公开不限于关于本公开的每个变型描述或指示的示例。在不脱离本公开的真实精神和范围的情况下，可以对所描述的本公开进行各种改变，并且可以替换等同物(无论是在此引用还是为了简洁起见不包括在内)。另外，在提供值的范围的情况下，应理解在该范围的上限和下限与所述范围内的任何其它所述值或中间值之间的每个中间值都包括在本公开内。
同样，可以预期，所描述的发明变型的任何特征可以独立地或者与在此所描述的任何一个或多个特征组合阐述或要求保护。关于单个项目，包括存在多个相同项目的可能性。更具体地，如在此和在其相关联的权利要求书中所使用的，单数形式“一”、“一个”、“所述”和“该”包括复数对象，除非另外具体说明。换句话说，冠词的使用允许以上描述以及与本公开相关联的权利要求中的主题项目的“至少一个”。还应注意，可以将此类权利要求撰写为排除任何可选要素。这样，该陈述旨在作为与权利要求要素的叙述结合使用诸如“唯一”、“仅”等排他性术语的先行基础，或使用“否定”限制。
在不使用此类排他性术语的情况下，与本公开内容相关联的权利要求中的术语“包括”应允许包括任何附加要素，而不管这种权利要求中是否列举了给定数量的要素，或者特征的添加可以被认为是变换此类权利要求中阐述的要素的性质。除在此明确定义外，在保持权利要求有效性的同时，在此使用的所有技术和科学术语应尽可能广泛地赋予通常理解的含义。
本公开的广度不限于所提供的示例和/或主题说明，而是仅限于与本公开相关的权利要求语言的范围。
在前述说明书中，已经参考本公开的具体实施方式描述了本公开。然而，将显而易见的是，在不脱离本公开的更广泛精神和范围的情况下，可以对其进行各种修改和改变。例如，参考处理动作的特定顺序来描述上述处理流程。然而，在不影响本公开的范围或操作的情况下，可以改变许多所描述的处理动作的顺序。因此，说明书和附图应被认为是说明性而非限制性的。

Claims (22)

1.一种用于使虚拟内容翘曲的计算机实现的方法，包括：
接收经渲染的虚拟内容数据，所述经渲染的虚拟内容数据包括远深度；
接收指示在与光轴正交的方向中的用户运动的运动数据；以及
基于所述经渲染的虚拟内容数据、所述远深度和所述运动数据，生成翘曲的经渲染的虚拟内容数据。
2.根据权利要求1所述的方法，其中，所述经渲染的虚拟内容数据对应于近虚拟对象和远虚拟对象，
其中，所述翘曲的经渲染的虚拟内容数据对应于翘曲的近虚拟对象和翘曲的远虚拟对象。
3.根据权利要求2所述的方法，其中，在所述近虚拟对象与所述翘曲的近虚拟对象之间的第一位置偏移基本上等于在所述远虚拟对象与所述翘曲的远虚拟对象之间的第二位置偏移。
4.根据权利要求1所述的方法，其中，与所述经渲染的虚拟内容数据相比，基于所述经渲染的虚拟内容数据、所述远深度和所述运动数据生成所述翘曲的经渲染的虚拟内容数据减少了与视差有关的伪像。
5.根据权利要求4所述的方法，其中，所述与视差有关的伪像是去遮挡伪像。
6.根据权利要求4所述的方法，其中，所述与视差有关的伪像是拖尾伪像。
7.根据权利要求4所述的方法，其中，所述与视差有关的伪像是抖动伪像。
8.根据权利要求1所述的方法，其中，所述经渲染的虚拟内容数据对应于第一深度段，所述方法进一步包括：
接收与第二深度段相对应的第二经渲染的虚拟内容数据，所述第二经渲染的虚拟内容数据包括第二远深度；以及
基于所述第二经渲染的虚拟内容数据、所述第二远深度和所述运动数据，生成翘曲的第二经渲染的虚拟内容数据。
9.一种用于使虚拟内容翘曲的计算机实现的方法，包括：
接收经渲染的虚拟内容数据，所述经渲染的虚拟内容数据包括远深度和近深度；
接收指示在与光轴正交的方向中的用户运动的运动数据；以及
基于所述经渲染的虚拟内容数据、所述远深度、所述近深度和所述运动数据，生成翘曲的经渲染的虚拟内容数据。
10.根据权利要求9所述的方法，其中，基于所述经渲染的虚拟内容数据、所述远深度、所述近深度和所述运动数据生成翘曲的经渲染的虚拟内容数据包括对所述远深度和所述近深度求平均。
11.一种用于使虚拟内容翘曲的计算机实现的方法，包括：
接收经渲染的虚拟内容数据；
接收指示在与光轴正交的方向中的用户运动的运动数据；
接收指示用户注视的注视数据；
基于所述注视数据确定深度；以及
基于所述经渲染的虚拟内容数据、所述深度和所述运动数据，生成翘曲的经渲染的虚拟内容数据。
12.一种用于使虚拟内容翘曲的计算机实现的方法，包括：
接收经渲染的虚拟内容数据；
接收指示在与光轴正交的方向中的用户运动的运动数据；
从所述经渲染的虚拟内容数据中生成网格数据；
从所述网格数据中确定深度数据；以及
基于所述经渲染的虚拟内容数据、所述网格数据、所述深度数据和所述运动数据，生成翘曲的经渲染的虚拟内容数据。
13.根据权利要求12所述的方法，进一步包括当生成所述网格数据时调节网格大小。
14.根据权利要求12所述的方法，其中，使用格栅网格生成所述网格数据。
15.根据权利要求12所述的方法，其中，基于所述网格中的多个深度和所述多个深度中的每个深度处的所述网格的内容确定所述深度数据。
16.一种用于确定虚拟对象的深度的计算机实现的方法，包括：
在多个深度处将与第一只眼睛相对应的所述虚拟对象的第一图像重新投影在与第二只眼睛相对应的所述虚拟对象的第二图像上，以生成多个相应的组合图像；
在所述多个相应的组合图像的每一个中测量重新投影误差，以生成多个重新投影误差；
在与所述多个相应的组合图像的组合图像相对应的所述多个重新投影误差中，识别最小重新投影误差；以及
将与所述组合图像相对应的深度识别为所述虚拟对象的深度。
17.根据权利要求16所述的方法，其中，所述虚拟对象的深度用于使所述虚拟对象从第一视点翘曲到第二视点。
18.根据权利要求16所述的方法，其中，所述多个深度由64个深度组成。
19.根据权利要求16所述的方法，其中，所述多个深度中的每个深度对应于在重新投影所述虚拟对象的所述第一图像中的一个像素差。
20.一种用于确定最小稳定深度的计算机实现的方法，包括：
获得视点(POV)运动量；
基于所述POV运动量，确定稳定深度与在所述稳定深度处的像素运动之间的关系；
获得用于显示系统的最大不明显的像素运动；
将与用于所述显示系统的所述最大不明显的像素运动相对应的稳定深度识别为所述显示系统的所述最小稳定深度。
21.根据权利要求20所述的方法，进一步包括：当视点改变时，仅使比所述最小稳定深度更接近观看者的内容翘曲。
22.根据权利要求20所述的方法，其中，稳定深度与在所述稳定深度处的像素运动之间的所述关系是反比关系。
CN201980049056.7A 2018-07-23 2019-07-22 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法 Active CN112513712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310425037.8A CN116483200B (zh) 2018-07-23 2019-07-22 确定虚拟对象深度以及使虚拟内容翘曲的计算机实现方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862702238P 2018-07-23 2018-07-23
US62/702,238 2018-07-23
PCT/US2019/042819 WO2020023383A1 (en) 2018-07-23 2019-07-22 Mixed reality system with virtual content warping and method of generating virtual content using same

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310425037.8A Division CN116483200B (zh) 2018-07-23 2019-07-22 确定虚拟对象深度以及使虚拟内容翘曲的计算机实现方法

Publications (2)

Publication Number Publication Date
CN112513712A true CN112513712A (zh) 2021-03-16
CN112513712B CN112513712B (zh) 2023-05-09

Family

ID=69161139

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980049056.7A Active CN112513712B (zh) 2018-07-23 2019-07-22 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
CN202310425037.8A Active CN116483200B (zh) 2018-07-23 2019-07-22 确定虚拟对象深度以及使虚拟内容翘曲的计算机实现方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310425037.8A Active CN116483200B (zh) 2018-07-23 2019-07-22 确定虚拟对象深度以及使虚拟内容翘曲的计算机实现方法

Country Status (5)

Country Link
US (3) US11379948B2 (zh)
EP (1) EP3827299A4 (zh)
JP (3) JP7304934B2 (zh)
CN (2) CN112513712B (zh)
WO (1) WO2020023383A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016141373A1 (en) 2015-03-05 2016-09-09 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
CN108604383A (zh) 2015-12-04 2018-09-28 奇跃公司 重新定位系统和方法
US10649211B2 (en) 2016-08-02 2020-05-12 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
EP3596705A4 (en) 2017-03-17 2020-01-22 Magic Leap, Inc. COLOR VIRTUAL CONTENT DEFORMATION MIXED REALITY SYSTEM AND VIRTUAL CONTENT GENERATION METHOD USING THE SAME
AU2018233733B2 (en) 2017-03-17 2021-11-11 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
CA3054619C (en) 2017-03-17 2024-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
CN112513712B (zh) 2018-07-23 2023-05-09 奇跃公司 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
US10733800B2 (en) * 2018-09-17 2020-08-04 Facebook Technologies, Llc Reconstruction of essential visual cues in mixed reality applications
US11783444B1 (en) * 2019-11-14 2023-10-10 Apple Inc. Warping an input image based on depth and offset information
US20220327784A1 (en) * 2021-04-09 2022-10-13 Varjo Technologies Oy Image reprojection method, and an imaging system
KR20220156331A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 이미지 지연을 보정하기 위한 전자 장치 및 방법
US12067693B2 (en) * 2021-05-18 2024-08-20 Snap Inc. Late warping to minimize latency of moving objects
WO2023034021A1 (en) * 2021-09-02 2023-03-09 Snap Inc. Social connection through distributed and connected real-world objects
US20240223742A1 (en) * 2022-12-30 2024-07-04 Samsung Electronics Co., Ltd. Depth-varying reprojection passthrough in video see-through (vst) extended reality (xr)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170345220A1 (en) * 2016-05-29 2017-11-30 Google Inc. Time-warping adjustment based on depth information in a virtual/augmented reality system

Family Cites Families (257)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4462165A (en) 1983-01-31 1984-07-31 The Boeing Company Three axis orientation sensor for an aircraft or the like
US5047952A (en) 1988-10-14 1991-09-10 The Board Of Trustee Of The Leland Stanford Junior University Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove
US6701296B1 (en) 1988-10-14 2004-03-02 James F. Kramer Strain-sensing goniometers, systems, and recognition algorithms
CA2358682A1 (en) 1992-08-14 1994-03-03 British Telecommunications Public Limited Company Position location system
JP3432825B2 (ja) 1992-08-14 2003-08-04 ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 位置決定システム
US5583974A (en) 1993-05-10 1996-12-10 Apple Computer, Inc. Computer graphics system having high performance multiple layer Z-buffer
TW275590B (en) 1994-12-09 1996-05-11 Sega Enterprises Kk Head mounted display and system for use therefor
US5592401A (en) 1995-02-28 1997-01-07 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5684498A (en) 1995-06-26 1997-11-04 Cae Electronics Ltd. Field sequential color head mounted display with suppressed color break-up
WO1997020244A1 (en) 1995-11-27 1997-06-05 Cae Electronics Ltd. Method and apparatus for displaying a virtual environment on a video display
US5784115A (en) 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US6163155A (en) 1999-01-28 2000-12-19 Dresser Industries, Inc. Electromagnetic wave resistivity tool having a tilted antenna for determining the horizontal and vertical resistivities and relative dip angle in anisotropic earth formations
US6407736B1 (en) 1999-06-18 2002-06-18 Interval Research Corporation Deferred scanline conversion architecture
GB9917591D0 (en) 1999-07-28 1999-09-29 Marconi Electronic Syst Ltd Head tracker system
JP2001208529A (ja) 2000-01-26 2001-08-03 Mixed Reality Systems Laboratory Inc 計測装置及びその制御方法並びに記憶媒体
WO2001056007A1 (en) 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
EP1297691A2 (en) 2000-03-07 2003-04-02 Sarnoff Corporation Camera pose estimation
US6891533B1 (en) 2000-04-11 2005-05-10 Hewlett-Packard Development Company, L.P. Compositing separately-generated three-dimensional images
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6738044B2 (en) 2000-08-07 2004-05-18 The Regents Of The University Of California Wireless, relative-motion computer input device
US20020180727A1 (en) 2000-11-22 2002-12-05 Guckenberger Ronald James Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors
US6691074B1 (en) 2001-02-08 2004-02-10 Netmore Ltd. System for three dimensional positioning and tracking
US6861982B2 (en) 2001-08-16 2005-03-01 Itt Manufacturing Enterprises, Inc. System for determining position of an emitter
US6911995B2 (en) * 2001-08-17 2005-06-28 Mitsubishi Electric Research Labs, Inc. Computer vision depth segmentation using virtual surface
US7113618B2 (en) 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
JP2003337963A (ja) 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP3984907B2 (ja) 2002-11-29 2007-10-03 キヤノン株式会社 画像観察システム
US20070155589A1 (en) 2002-12-04 2007-07-05 Philip Feldman Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System
JP2004213350A (ja) 2002-12-27 2004-07-29 Seiko Epson Corp 力覚提示装置及び画像補正方法
US20050107870A1 (en) 2003-04-08 2005-05-19 Xingwu Wang Medical device with multiple coating layers
US7643025B2 (en) 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US7443154B1 (en) 2003-10-04 2008-10-28 Seektech, Inc. Multi-sensor mapping omnidirectional sonde and line locator
CA2450837A1 (en) 2003-11-25 2005-05-25 University Of New Brunswick Induction magnetometer
US20160098095A1 (en) 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
JP4508820B2 (ja) 2004-10-19 2010-07-21 株式会社ワコム ３次元情報検出システム及び３次元情報入力装置
EP1814101A1 (en) 2004-11-19 2007-08-01 Daem Interactive, Sl Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method
EP1851750A4 (en) 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
EP3169059B1 (en) 2005-04-26 2018-06-13 Imax Corporation Electronic projection systems and methods
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP4437228B2 (ja) 2005-11-07 2010-03-24 大学共同利用機関法人情報・システム研究機構 焦点ぼけ構造を用いたイメージング装置及びイメージング方法
KR100722229B1 (ko) 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP4684147B2 (ja) 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
JP4196302B2 (ja) 2006-06-19 2008-12-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4804256B2 (ja) 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
US8194088B1 (en) 2006-08-03 2012-06-05 Apple Inc. Selective composite rendering
US7921120B2 (en) 2006-11-30 2011-04-05 D&S Consultants Method and system for image recognition using a similarity inverse matrix
CN101093586A (zh) 2007-07-12 2007-12-26 上海交通大学 面向复杂场景实时交互操作的并行碰撞检测方法
US8165352B1 (en) 2007-08-06 2012-04-24 University Of South Florida Reconstruction of biometric image templates using match scores
US10095815B2 (en) 2008-11-19 2018-10-09 Elbit Systems Ltd. System and a method for mapping a magnetic field
IL195389A (en) 2008-11-19 2013-12-31 Elbit Systems Ltd Magnetic Field Mapping System and Method
US20090115406A1 (en) 2007-11-01 2009-05-07 General Electric Company System and method for minimizing mutual inductance coupling between coils in an electromagnetic tracking system
US9013505B1 (en) 2007-11-27 2015-04-21 Sprint Communications Company L.P. Mobile system representing virtual objects on live camera image
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US8212880B2 (en) * 2007-12-20 2012-07-03 Utah State University Research Foundation Three-axis image stabilization system
US7795596B2 (en) 2008-01-03 2010-09-14 Alcatel-Lucent Usa Inc. Cloaking device detection system
WO2009091563A1 (en) 2008-01-18 2009-07-23 Thomson Licensing Depth-image-based rendering
US20090184825A1 (en) 2008-01-23 2009-07-23 General Electric Company RFID Transponder Used for Instrument Identification in an Electromagnetic Tracking System
JP2011510396A (ja) 2008-01-23 2011-03-31 インテル コーポレイション グラフィック・パフォーマンス改善のための方法、装置およびコンピュータ・プログラム・プロダクト
US8926511B2 (en) 2008-02-29 2015-01-06 Biosense Webster, Inc. Location system with virtual touch screen
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US8446426B2 (en) 2008-04-28 2013-05-21 Apple Inc. Technique for visually compositing a group of graphical objects
KR20090120159A (ko) 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
US8929877B2 (en) 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
JP5415054B2 (ja) 2008-10-28 2014-02-12 セイコーエプソン株式会社 駆動方法および電気光学装置
US8747224B2 (en) 2008-11-14 2014-06-10 Sony Corporation Operating device
US8188745B2 (en) 2008-12-05 2012-05-29 Metrotech Corporation Inc. Precise location and orientation of a concealed dipole transmitter
US9465129B1 (en) 2009-03-06 2016-10-11 See Scan, Inc. Image-based mapping locating system
US8860723B2 (en) * 2009-03-09 2014-10-14 Donya Labs Ab Bounded simplification of geometrical computer data
JP5177078B2 (ja) 2009-05-26 2013-04-03 富士通モバイルコミュニケーションズ株式会社 情報処理装置
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
US20110292997A1 (en) * 2009-11-06 2011-12-01 Qualcomm Incorporated Control of video encoding based on image capture parameters
US8775424B2 (en) 2010-01-26 2014-07-08 Xerox Corporation System for creative image navigation and exploration
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8581905B2 (en) 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
TWI399688B (zh) 2010-06-08 2013-06-21 Waltop Int Corp 整合電磁式及電容感應輸入裝置
RU2010123652A (ru) * 2010-06-10 2011-12-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR) Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником
JP5541974B2 (ja) * 2010-06-14 2014-07-09 任天堂株式会社 画像表示プログラム、装置、システムおよび方法
JP2012043308A (ja) 2010-08-20 2012-03-01 Canon Inc 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム
US9355305B2 (en) 2010-10-08 2016-05-31 Panasonic Corporation Posture estimation device and posture estimation method
US20120086630A1 (en) 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
FR2966251B1 (fr) 2010-10-19 2014-04-25 Astrium Sas Systeme d'orientation et de positionnement d'un recepteur electromagnetique
US8660369B2 (en) 2010-10-25 2014-02-25 Disney Enterprises, Inc. Systems and methods using mobile devices for augmented reality
US8745061B2 (en) 2010-11-09 2014-06-03 Tibco Software Inc. Suffix array candidate selection and index data structure
EP2668617A1 (en) 2011-01-27 2013-12-04 Metaio GmbH Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US8994722B2 (en) * 2011-02-14 2015-03-31 Mitsubishi Electric Research Laboratories, Inc. Method for enhancing depth images of scenes using trellis structures
JP5724544B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9206007B2 (en) 2011-05-31 2015-12-08 Twist-Ease Inc. Bag dispenser
US20120306850A1 (en) 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8933913B2 (en) 2011-06-28 2015-01-13 Microsoft Corporation Electromagnetic 3D stylus
US20150100380A1 (en) 2011-07-20 2015-04-09 Raymond P. Jones, JR. Systems and methods for providing financial controls for aggregated weather-based work
US20150070347A1 (en) 2011-08-18 2015-03-12 Layar B.V. Computer-vision based augmented reality system
US20150040074A1 (en) 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
US8749396B2 (en) 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
WO2013029674A1 (en) 2011-08-31 2013-03-07 Metaio Gmbh Method of matching image features with reference features
WO2013040274A2 (en) 2011-09-13 2013-03-21 Sadar 3D, Inc. Synthetic aperture radar apparatus and methods
US8821286B2 (en) 2011-09-29 2014-09-02 Wms Gaming, Inc. Wagering game system having motion sensing controllers
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
RU2017115669A (ru) 2011-10-28 2019-01-28 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
KR102116697B1 (ko) 2011-11-23 2020-05-29 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
JP2013134455A (ja) * 2011-12-27 2013-07-08 Nidec Copal Corp 像振れ補正装置及びレンズ駆動装置
EP2801198B1 (en) * 2012-01-04 2023-10-11 InterDigital Madison Patent Holdings, SAS Processing 3d image sequences
US9330468B2 (en) 2012-02-29 2016-05-03 RetailNext, Inc. Method and system for analyzing interactions
US9075824B2 (en) 2012-04-27 2015-07-07 Xerox Corporation Retrieval system and method leveraging category-level labels
US9098229B2 (en) 2012-05-04 2015-08-04 Aaron Hallquist Single image pose estimation of image capture devices
US9116666B2 (en) 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
EP2704055A1 (en) 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
JP2014049934A (ja) 2012-08-31 2014-03-17 Sony Corp ヘッドマウントディスプレイ
US9134954B2 (en) 2012-09-10 2015-09-15 Qualcomm Incorporated GPU memory buffer pre-fetch and pre-back signaling to avoid page-fault
EP2711670B1 (en) 2012-09-21 2019-01-30 NavVis GmbH Visual localisation
GB201217372D0 (en) 2012-09-28 2012-11-14 Ucl Business Plc A system and method for annotating images by propagating information
US9177404B2 (en) 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9188694B2 (en) 2012-11-16 2015-11-17 Halliburton Energy Services, Inc. Optical interferometric sensors for measuring electromagnetic fields
US9160727B1 (en) 2012-11-30 2015-10-13 Microstrategy Incorporated Providing credential information
US9026847B2 (en) 2012-12-21 2015-05-05 Advanced Micro Devices, Inc. Hardware based redundant multi-threading inside a GPU for improved reliability
US20140176591A1 (en) 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
WO2014105385A1 (en) 2012-12-27 2014-07-03 The Regents Of The University Of California Anamorphic stretch image compression
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
WO2014160342A1 (en) 2013-03-13 2014-10-02 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US9538081B1 (en) * 2013-03-14 2017-01-03 Amazon Technologies, Inc. Depth-based image stabilization
US10339406B2 (en) 2013-03-15 2019-07-02 Orcam Technologies Ltd. Apparatus and method for using background change to determine context
KR102458124B1 (ko) 2013-03-15 2022-10-21 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US20140323148A1 (en) 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
US9269003B2 (en) 2013-04-30 2016-02-23 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
US9367960B2 (en) 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
US10254855B2 (en) 2013-06-04 2019-04-09 Wen-Chieh Geoffrey Lee High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9712473B2 (en) 2013-07-11 2017-07-18 Facebook, Inc. Methods, systems, and user interfaces for community-based location ratings
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9952042B2 (en) 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
JP6192010B2 (ja) 2013-09-05 2017-09-06 国立大学法人 東京大学 重み設定装置および方法
US9729864B2 (en) 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
AU2014368997B2 (en) 2013-12-19 2020-02-27 Motorola Solutions, Inc. System and method for identifying faces in unconstrained media
US9360935B2 (en) 2013-12-20 2016-06-07 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Integrated bi-sensing optical structure for head mounted display
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US20160147063A1 (en) 2014-11-26 2016-05-26 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9804395B2 (en) 2014-01-29 2017-10-31 Ricoh Co., Ltd Range calibration of a binocular optical augmented reality system
CN106796679A (zh) 2014-03-04 2017-05-31 谷歌公司 基于社交线索的地图个性化
US20160203624A1 (en) 2014-03-05 2016-07-14 Google Inc. System and Method for Providing Combined Multi-Dimensional Map Views
WO2015134958A1 (en) 2014-03-07 2015-09-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN105005457B (zh) 2014-04-25 2019-04-09 腾讯科技（深圳）有限公司 地理位置展示方法及装置
US9953243B2 (en) 2014-04-25 2018-04-24 Google Llc Electronic device localization based on imagery
US9652893B2 (en) * 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
US9727341B2 (en) 2014-05-09 2017-08-08 Samsung Electronics Co., Ltd. Control flow in a thread-based environment without branching
WO2015185110A1 (en) 2014-06-03 2015-12-10 Metaio Gmbh Method and system for presenting a digital information related to a real object
US20150358539A1 (en) 2014-06-06 2015-12-10 Jacob Catt Mobile Virtual Reality Camera, Method, And System
US20150379772A1 (en) 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
US10283035B2 (en) 2014-07-01 2019-05-07 Sharp Kabushiki Kaisha Field-sequential image display device and image display method
US10056054B2 (en) 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10162177B2 (en) 2014-07-11 2018-12-25 Sixense Entertainment, Inc. Method and apparatus for self-relative body tracking for virtual reality systems using magnetic tracking
US9363644B2 (en) 2014-07-16 2016-06-07 Yahoo! Inc. System and method for detection of indoor tracking units
US9719871B2 (en) 2014-08-09 2017-08-01 Google Inc. Detecting a state of a wearable device
CN107111894B (zh) 2014-09-08 2022-04-29 西姆克斯有限责任公司 用于专业和教育训练的增强或虚拟现实模拟器
CA2960426A1 (en) 2014-09-09 2016-03-17 Nokia Technologies Oy Stereo image recording and playback
US10430382B2 (en) 2014-10-14 2019-10-01 Microsoft Technology Licensing, Llc Data visualization architecture
US9478029B2 (en) 2014-10-23 2016-10-25 Qualcomm Incorporated Selection strategy for exchanging map information in collaborative multi-user SLAM systems
US10650574B2 (en) 2014-10-31 2020-05-12 Fyusion, Inc. Generating stereoscopic pairs of images from a single lens camera
US11049476B2 (en) 2014-11-04 2021-06-29 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays
US20160131904A1 (en) 2014-11-07 2016-05-12 Osterhout Group, Inc. Power management for head worn computing
US9818170B2 (en) 2014-12-10 2017-11-14 Qualcomm Incorporated Processing unaligned block transfer operations
EP3796235B1 (en) 2014-12-17 2024-09-04 Google LLC Generating numeric embeddings of images
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US9721385B2 (en) * 2015-02-10 2017-08-01 Dreamworks Animation Llc Generation of three-dimensional imagery from a two-dimensional image using a depth map
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US20160247282A1 (en) * 2015-02-19 2016-08-25 Daqri, Llc Active surface projection correction
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
WO2016141373A1 (en) 2015-03-05 2016-09-09 Magic Leap, Inc. Systems and methods for augmented reality
EP4332612A3 (en) 2015-03-07 2024-09-04 Verity AG Distributed localization systems and methods and self-localizing apparatus
US9874932B2 (en) 2015-04-09 2018-01-23 Microsoft Technology Licensing, Llc Avoidance of color breakup in late-stage re-projection
US9814430B1 (en) 2015-04-17 2017-11-14 Bertec Corporation System and method for measuring eye movement and/or eye position and postural sway of a subject
CN113050280B (zh) 2015-05-04 2024-01-19 奇跃公司 用于虚拟和增强现实的分离光瞳光学系统以及用于使用其显示图像的方法
CN104866829B (zh) 2015-05-25 2019-02-19 苏州大学 一种基于特征学习的跨年龄人脸验证方法
US10721280B1 (en) 2015-05-29 2020-07-21 Sprint Communications Company L.P. Extended mixed multimedia reality platform
US20160378863A1 (en) 2015-06-24 2016-12-29 Google Inc. Selecting representative video frames for videos
US10062010B2 (en) 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10750161B2 (en) 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US9875427B2 (en) 2015-07-28 2018-01-23 GM Global Technology Operations LLC Method for object localization and pose estimation for an object of interest
US10888389B2 (en) 2015-09-10 2021-01-12 Duke University Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
GB201518112D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
US10338677B2 (en) 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US10026212B2 (en) * 2015-11-20 2018-07-17 Google Llc Electronic display stabilization using pixel velocities
US20170161853A1 (en) 2015-12-03 2017-06-08 James Carroll Gossweiler Mapping system that identifies site-specific real estate due diligence professionals and related service providers
CN108604383A (zh) 2015-12-04 2018-09-28 奇跃公司 重新定位系统和方法
US10241569B2 (en) * 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
EP3185550A1 (en) 2015-12-23 2017-06-28 Thomson Licensing Tridimensional rendering with adjustable disparity direction
FR3046261B1 (fr) 2015-12-24 2018-08-31 Starbreeze Paris Element mobile hybride, procede et dispositif pour interfacer une pluralite d'elements mobiles hybrides avec un systeme informatique, et ensemble pour systeme de realite virtuelle ou augmentee
US10130429B1 (en) 2016-01-06 2018-11-20 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system
JP2019505926A (ja) 2016-02-05 2019-02-28 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実のためのシステムおよび方法
WO2017145155A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
CN108139815B (zh) * 2016-02-22 2020-11-10 谷歌有限责任公司 用于虚拟现实内容的显示的场景和对象的分立时间扭曲
US10334076B2 (en) 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
WO2017183346A1 (ja) 2016-04-18 2017-10-26 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9639935B1 (en) 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US10366536B2 (en) * 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
US10649211B2 (en) 2016-08-02 2020-05-12 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US10158979B2 (en) 2016-08-16 2018-12-18 Elenytics Group, Ltd. Method and system for wireless location and movement mapping, tracking and analytics
IL307594A (en) 2016-08-22 2023-12-01 Magic Leap Inc Virtual, augmented and mixed reality systems and methods
KR102210993B1 (ko) * 2016-08-26 2021-02-02 매직 립, 인코포레이티드 가상 및 증강 현실 디스플레이 시스템들 및 방법들을 위한 연속 시간 와핑 및 양안 시간 와핑
US10318115B2 (en) 2016-10-14 2019-06-11 OneMarket Network LLC System and method for presenting optimized map labels
US10942252B2 (en) 2016-12-26 2021-03-09 Htc Corporation Tracking system and tracking method
US10330936B2 (en) * 2017-01-19 2019-06-25 Facebook Technologies, Llc Focal surface display
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
EP3596705A4 (en) 2017-03-17 2020-01-22 Magic Leap, Inc. COLOR VIRTUAL CONTENT DEFORMATION MIXED REALITY SYSTEM AND VIRTUAL CONTENT GENERATION METHOD USING THE SAME
CA3054619C (en) 2017-03-17 2024-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
AU2018233733B2 (en) 2017-03-17 2021-11-11 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
WO2018203232A1 (en) 2017-05-01 2018-11-08 Pure Depth Inc. Head tracking based field sequential saccadic breakup reduction
US10620710B2 (en) * 2017-06-15 2020-04-14 Microsoft Technology Licensing, Llc Displacement oriented interaction in computer-mediated reality
GB201709752D0 (en) * 2017-06-19 2017-08-02 Advanced Risc Mach Ltd Graphics processing systems
US10859834B2 (en) * 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10403032B2 (en) * 2017-08-22 2019-09-03 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
US10445922B2 (en) * 2017-08-31 2019-10-15 Intel Corporation Last-level projection method and apparatus for virtual and augmented reality
US10529086B2 (en) * 2017-11-22 2020-01-07 Futurewei Technologies, Inc. Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
US10481689B1 (en) 2018-01-10 2019-11-19 Electronic Arts Inc. Motion capture glove
US10861215B2 (en) * 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
CN112513712B (zh) 2018-07-23 2023-05-09 奇跃公司 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
US11176901B1 (en) 2019-08-13 2021-11-16 Facebook Technologies, Llc. Pan-warping and modifying sub-frames with an up-sampled frame rate
US10843067B1 (en) 2019-10-04 2020-11-24 Varjo Technologies Oy Input device, system, and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170345220A1 (en) * 2016-05-29 2017-11-30 Google Inc. Time-warping adjustment based on depth information in a virtual/augmented reality system

Also Published As

Publication number Publication date
US11379948B2 (en) 2022-07-05
CN116483200A (zh) 2023-07-25
JP7443602B2 (ja) 2024-03-05
EP3827299A1 (en) 2021-06-02
EP3827299A4 (en) 2021-10-27
US11790482B2 (en) 2023-10-17
US20220245758A1 (en) 2022-08-04
CN116483200B (zh) 2024-08-16
JP2021530811A (ja) 2021-11-11
JP7304934B2 (ja) 2023-07-07
US20200027194A1 (en) 2020-01-23
JP2024079674A (ja) 2024-06-11
US20230394621A1 (en) 2023-12-07
JP2023129414A (ja) 2023-09-14
CN112513712B (zh) 2023-05-09
WO2020023383A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
CN112513712B (zh) 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
AU2021290369B2 (en) Mixed reality system with color virtual content warping and method of generating virtual content using same
US11410269B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
AU2022200841B2 (en) Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant