CN110419061B - 混合现实系统及使用该系统生成虚拟内容的方法 - Google Patents

混合现实系统及使用该系统生成虚拟内容的方法 Download PDF

Info

Publication number
CN110419061B
CN110419061B CN201880018506.1A CN201880018506A CN110419061B CN 110419061 B CN110419061 B CN 110419061B CN 201880018506 A CN201880018506 A CN 201880018506A CN 110419061 B CN110419061 B CN 110419061B
Authority
CN
China
Prior art keywords
virtual content
pixel
warped
virtual
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880018506.1A
Other languages
English (en)
Other versions
CN110419061A (zh
Inventor
R·诺拉伊
R·B·泰勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202311134808.4A priority Critical patent/CN117197403A/zh
Publication of CN110419061A publication Critical patent/CN110419061A/zh
Application granted granted Critical
Publication of CN110419061B publication Critical patent/CN110419061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种用于使来自两个源的虚拟内容扭曲的计算机实现的方法包括第一源基于第一姿势生成第一虚拟内容。该方法还包括第二源基于第二姿势生成第二虚拟内容。该方法还包括合成器在单个轮次中处理第一和第二虚拟内容。处理第一和第二虚拟内容包括通过基于第三姿势扭曲第一虚拟内容来生成扭曲的第一虚拟内容，通过基于第三姿势扭曲第二虚拟内容来生成扭曲的第二虚拟内容，以及通过将扭曲的第一和第二虚拟内容进行合成来生成输出内容。

Description

混合现实系统及使用该系统生成虚拟内容的方法
技术领域
本公开涉及具有虚拟内容合成的混合现实系统，以及使用该系统生成包括合成虚拟内容的混合现实体验的方法。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实(VR)”或“增强现实(AR)”体验的“混合现实(MR)”系统的开发，其中数字再现的图像或其部分以其看起来是或可能被感知为是真实的方式呈现给用户。VR情景通常涉及呈现数字或虚拟图像信息而对于实际的现实世界视觉输入不透明。AR情景通常涉及呈现数字或虚拟图像信息作为对于用户周围的真实世界的可视化的增强(即，对于真实世界视觉输入透明)。因此，AR情景涉及呈现数字或虚拟图像信息而对于现实世界视觉输入透明。
各种光学系统在各种深度处生成图像，用于显示MR(VR和AR)情景。在2014年11月27日提交的美国实用专利申请序列号14/555,585(代理人案卷号ML.20011.00)中描述了一些这样的光学系统，其内容通过引用明确且全部并入本文，如同全文阐述。
MR系统通常采用可穿戴显示设备(例如，头戴式显示器、头盔式显示器或智能眼镜)，其至少松散地耦合到用户的头部，并因此在用户的头部移动时移动。如果显示设备检测到用户的头部运动，则可以更新正在显示的数据以考虑头部姿势的变化(即，用户头部的方位和/或位置)。
作为示例，如果佩戴头戴式显示设备的用户在显示设备上观看虚拟对象的虚拟表示，并在该虚拟对象出现的区域周围走动，则可以针对每个视点渲染该虚拟对象，从而给予用户他们在占据真实空间的对象周围走动的感觉。如果头戴式显示设备用于呈现多个虚拟对象，则可以使用头部姿势的测量来渲染场景以与用户动态变化的头部姿势相匹配并提供增加的沉浸感。
能够进行AR的头戴式显示设备提供真实对象和虚拟对象的同时观看。利用“光学透视”显示器，用户可以透视显示系统中的透明(或半透明)元件，以直接观看来自环境中的真实对象的光。透明元件，通常被称为“组合器”，将来自显示器的光叠加在用户的现实世界视图上，其中来自显示器的光将虚拟内容的图像投影在环境中真实对象的透视视图上。相机可以安装在头戴式显示设备上，以捕获用户正在观看的场景的图像或视频。
当前的光学系统，例如MR系统中的光学系统，光学地渲染虚拟内容。内容是“虚拟的”，因为它不对应于位于空间中的相应位置的真实物理对象。相反，虚拟内容当被引导到用户眼睛的光束刺激时仅存在于头戴式显示设备的用户的大脑(例如，光学中心)中。在应用程序富集的环境中，3D光学系统可以同时渲染由多个源/应用程序生成的虚拟对象。
一些光学系统可以包括接收来自多个源/应用程序的输出的合成软件/系统。然后，合成系统对于接收到的输出进行“扭曲”(即，变换参考帧)并且合成/组合，以便显示在单个参考帧中(即，显示系统/观看者的参考帧；“显示参考帧”)。扭曲或变换改变了虚拟内容的呈现方式。该方法采用最初渲染的虚拟对象，并且转变呈现虚拟对象的方式以尝试从不同的角度显示这些虚拟对象。
一些合成软件/系统在与提供待合成的输出的多个源/应用程序对应的多个处理轮次(pass)中，将扭曲的虚拟内容输出进行合成/组合。在每个轮次中，来自一个源/应用程序的输出被变换到显示参考帧。在各个输出被变换到相同参考帧之后，扭曲的输出能够进行合成/组合。然而，这种用于扭曲和合成来自多个源/应用程序的输出的多轮次系统在计算上可能是昂贵的(导致处理器相关的系统限制)并且耗时(导致系统延滞)。
发明内容
在一个实施例中，一种用于使来自两个源的虚拟内容扭曲的计算机实现的方法包括第一源基于第一姿势生成第一虚拟内容。该方法还包括第二源基于第二姿势生成第二虚拟内容。该方法还包括合成器在单个轮次中处理第一和第二虚拟内容。处理第一和第二虚拟内容包括通过基于第三姿势扭曲第一虚拟内容来生成扭曲的第一虚拟内容，通过基于第三姿势扭曲第二虚拟内容来生成扭曲的第二虚拟内容，以及通过将扭曲的第一和第二虚拟内容进行合成来生成输出内容。
在一个或多个实施例中，第一虚拟内容包括X、Y位置处的第一图像信息，第一亮度和/或第一颜色。第二虚拟内容可以包括X、Y位置处的第二图像信息，第二亮度和/或第二颜色。
在一个或多个实施例中，将扭曲的第一和第二虚拟内容进行合成包括对于扭曲的第一和第二虚拟内容进行深度测试。对于第一和第二虚拟内容进行深度测试的步骤可以包括：基于第三姿势确定扭曲的第一虚拟内容的第一深度，基于第三姿势确定扭曲的第二虚拟内容的第二深度，以及基于第三姿势比较第一深度和第二深度。
在一个或多个实施例中，基于第三姿势对于第一虚拟内容进行扭曲包括将第一变换应用于第一虚拟内容以生成扭曲的第一虚拟内容。基于第三姿势对第二虚拟内容进行扭曲包括将第二变换应用于第二虚拟内容以生成扭曲的第二虚拟内容。
在一个或多个实施例中，第一源是第一应用程序。第二源可以是与第一应用程序不同的第二应用程序。合成器可以是栅格操作单元。
在一个或多个实施例中，该方法还包括合成器将输出内容发送到显示单元，并且显示单元基于输出内容向用户显示图像。显示单元可以是投影仪。第一虚拟内容可以是第一虚拟对象的像素。第二虚拟内容可以是第二虚拟对象的像素。
在另一实施例中，一种用于使来自两个源的虚拟内容扭曲的系统包括：扭曲单元，用于从第一和第二源接收第一和第二虚拟内容，以及从其生成相应的第一和第二扭曲虚拟内容。扭曲单元包括姿势估计器和变换单元。该系统还包括合成单元，该合成单元在单个轮次中处理第一和第二扭曲的虚拟内容，该合成单元包括混合单元。该系统还包括用于临时存储扭曲虚拟内容的数据库。
在又一个实施例中，一种实施在非瞬态计算机可读介质中的计算机程序产品，该计算机可读介质上存储有指令序列，当由处理器执行指令序列时使处理器执行用于扭曲来自两个源的虚拟内容的方法。该方法包括第一源基于第一姿势生成第一虚拟内容。该方法还包括第二源基于第二姿势生成第二虚拟内容。该方法还包括合成器在单个轮次中处理第一和第二虚拟内容。处理第一和第二虚拟内容包括通过基于第三姿势扭曲第一虚拟内容来生成扭曲的第一虚拟内容，通过基于第三姿势扭曲第二虚拟内容来生成扭曲的第二虚拟内容，以及通过将扭曲的第一和第二虚拟内容进行合成来生成输出内容。
在详细的描述、附图和权利要求中描述了本公开的附加以及其他的目的、特征和优点。
附图说明
附图示出了本公开的各种实施例的设计和实用性。应该注意的是，附图未按比例绘制，并且贯穿附图相似结构或功能的要素由相同的附图标记表示。为了更好地理解如何获得本公开的各种实施例的上述和其他优点及目的，将参考在附图中示出的其特定实施例来呈现上面简要描述的本公开的更详细描述。应理解，这些附图仅描绘了本公开的典型实施例，因此不应认为是对其范围的限制，将通过使用附图以附加的特殊性和细节来描述和解释本公开，附图中：
图1描绘了根据一些实施例的通过可穿戴AR用户设备的增强现实(AR)的用户视图。
图2A至图2D示意性地描绘了根据一些实施例的AR系统及其子系统。
图3示意性地描绘了根据一些实施例的图形处理单元(GPU)。
图4描绘了根据一些实施例作为基元存储的虚拟对象。
图5A和图5B描绘了根据一些实施例的用于扭曲来自两个源的虚拟内容的方法。
图5C、图5D和图5E描绘了根据一些实施例的用于扭曲来自两个源的虚拟内容的方法。
图6至图8示出了根据一些实施例的对于虚拟内容进行扭曲的各个方面。
图9是示意性描绘了根据一些实施例的示例计算系统的框图。
具体实施方式
本公开的各种实施例涉及用于在单个实施例或多个实施例中扭曲和合成来自多个应用程序的虚拟内容的系统、方法和制品。在详细的描述、附图和权利要求中描述了本公开的其他目的、特征和优点。
现在将参考附图详细描述各种实施例，各种实施例被提供作为本公开的说明性示例，以使得本领域技术人员能够实践本公开。值得注意的是，下面的附图和示例并不意味着限制本公开的范围。在可以使用已知部件(或方法或过程)部分或完全实现本公开的某些元件的情况下，将仅描述理解本公开所必需的这些已知部件(或方法或过程)的那些部分，并且将省略对这些已知部件(或方法或过程)的其他部分的详细描述，以免模糊本公开。此外，各种实施例包含本文中通过说明的方式提及的部件的当前和未来已知等同物。
虚拟内容扭曲和合成系统可以独立于混合现实系统来实现，但是下面的一些实施例仅出于说明性目的而关于AR系统进行描述。此外，这里描述的虚拟内容扭曲和合成系统也可以以与VR系统相同的方式使用。
问题和解决方案的概要
当光学系统同时渲染由多个源/应用程序生成的虚拟内容时，多个应用程序可以使用特定于相应的应用程序的不同姿势生成相应的虚拟内容(例如，由于应用程序到达或渲染之间的头部移动，或者不同的应用程序参考帧)。这些姿势可以彼此不同并且可以与将显示合成虚拟内容的显示系统的姿势不同。因此，光学系统的合成软件/系统必须首先将由多个应用程序生成的虚拟内容扭曲或变换为显示系统/观看者的显示参考帧。只有在变换之后，才能将各种扭曲的虚拟内容合成为单个合成虚拟内容以供显示。
例如，第一应用程序可以输出第一虚拟内容，其可以是国际象棋游戏。第二应用程序可以输出第二虚拟内容，其可以是电影。一些合成软件/系统在两个处理轮次中对第一和第二虚拟内容进行扭曲和合成/组合。在第一轮次中，第一虚拟内容(例如，国际象棋游戏)可以被扭曲/变换为显示参考帧并存储在缓冲器中。在第二轮次中，第二虚拟内容(例如，电影)可以被扭曲/变换为相同的显示参考帧并存储在缓冲器中。在将第一和第二虚拟内容扭曲到显示参考帧之后，可以从缓冲器中读取扭曲的第一和第二虚拟内容并进行合成/组合。例如，如果扭曲的第一和第二虚拟内容的相应像素将显示在显示器的相同像素上(即，碰撞(collide)像素)，则对相应部分执行深度测试并且显示更靠近的虚拟内容(假设内容不透明)。
图5A和图5B描绘了根据一些实施例的用于在两个轮次中合成虚拟内容的方法。在步骤502，第一源基于第一姿势生成第一虚拟内容610。第一虚拟内容610被发送到块290的扭曲单元280，块290的扭曲单元280接收第一虚拟内容610。
在步骤506，扭曲单元280(例如，块290的扭曲单元280的姿势估计器282和变换单元284)将由第一应用程序生成的第一虚拟内容610进行扭曲(例如，变换)以生成扭曲的第一虚拟内容610'(注意分别在步骤502和步骤506中第一虚拟内容610和扭曲的第一虚拟内容610'的位置的差异)。该第一扭曲的虚拟内容610'被发送到块290的合成单元294。
在步骤509，合成单元294将扭曲的第一虚拟内容610'进行合成以形成合成的第一虚拟内容。因为先前没有写入合成虚拟内容的数据，所以可以通过将扭曲的第一虚拟内容610'写入数据库292来完成将扭曲的第一虚拟内容610'进行合成。
在步骤504，第二源基于第二姿势生成第二虚拟内容612。第二虚拟内容612被发送到扭曲单元280，扭曲单元280接收第二虚拟内容612。
在步骤508，扭曲单元280(例如，块290的扭曲单元280的姿势估计器282和变换单元284)将由第二应用程序生成的第二虚拟内容612进行扭曲(例如，变换)以生成扭曲的第二虚拟内容612'(注意分别在步骤504和步骤508中第二虚拟内容612和扭曲的第二虚拟内容612'的位置的差异)。该扭曲的第二虚拟内容612'被发送到合成单元294。
在步骤510，合成单元294将扭曲的第二虚拟内容612'和合成的第一虚拟内容610'进行合成，以形成合成的虚拟内容610'/612'。将扭曲的第二虚拟内容612'和合成的第一虚拟内容610'进行合成可以导致如510所示的重叠区域(参见扭曲的第一虚拟内容610'和扭曲的第二虚拟内容612'之间的重叠)。
在步骤514，混合器(例如，块290的合成单元294的混合单元296)解决扭曲的第一虚拟内容610'和扭曲的第二虚拟内容612'之间的重叠(参见扭曲的第一虚拟内容610'和扭曲的第二虚拟内容612'之间的被解决的重叠区域)以形成混合的虚拟内容610'/612'。混合单元296可以使用深度测试来解决重叠。混合单元296可以将混合的虚拟内容610'/612'存储在数据库292中。
用于对来自两个应用程序的输出进行扭曲和合成的该两轮次系统和方法500在计算上可能是昂贵且耗时的。所需的计算费用和时间可能随着应用程序数量的增加而增加，针对这些应用程序必须将输出/虚拟内容进行扭曲和合成以供显示。当前合成软件/系统随着应用程序数量的增加而增加的时间要求可能与诸如一些混合现实系统的实时系统不兼容。此外，当前合成软件/系统随着应用程序数量的增加而增加的计算开销可能在尺寸、功率、热量和其他处理相关限制中表现出来，这些可能与诸如一些混合现实系统的便携式系统不兼容。
为了解决这些限制，这里描述的系统在单个轮次中对于来自多个应用程序的虚拟内容输出进行扭曲和合成。每个虚拟内容输出基于生成该虚拟内容输出所使用的姿势和“显示参考帧”的姿势来进行扭曲。合成扭曲的虚拟内容输出包括深度测试，以解决来自不同源的冲突的扭曲虚拟内容输出，从而在显示视野中的特定区域中显示。
说明性的混合现实情景和系统
下面的描述涉及实施合成系统所利用的说明性增强现实系统。然而，应该理解，实施例也适用于其他类型的显示系统(包括其他类型的混合现实系统)中的应用，因此实施例不只限于这里公开的说明性系统。
混合现实(例如，VR或AR)情景通常包括与真实世界对象相关的虚拟对象对应的虚拟内容(例如，图像和声音)的呈现。例如，参考图1，描绘了增强现实(AR)场景100，其中AR技术的用户看到以背景中的人、树、建筑为特征的真实世界的物理的公园状的设置102以及真实世界的物理实体平台104。除了这些项目，AR技术的用户还感觉他们“看到”站在物理实体平台104上的虚拟机器人雕像106，以及看起来像飞行的蜜蜂的化身的虚拟卡通式头像角色108，尽管这些虚拟对象106、108不存在于真实世界中。虚拟机器人雕像106和虚拟卡通式头像角色108可以由可操作地耦合到AR系统的不同应用程序生成。这些应用程序可以提供基于不同姿势生成/渲染的虚拟内容。AR系统必须在显示之前扭曲和合成扭曲的虚拟内容。合成包括深度测试以解决冲突的扭曲虚拟内容(例如，如果虚拟卡通式头像角色108的一部分遮挡虚拟机器人雕像106的一部分)。
以类似的方式，VR情景也可以包括来自多个源/应用程序的虚拟内容。与AR情景一样，VR情景必须也考虑用于生成/渲染虚拟内容的姿势。准确地将虚拟内容扭曲和合成到AR/VR显示参考帧并对扭曲的虚拟内容进行合成可以改善AR/VR情景，或者至少不会减损AR/VR情景。
下面的描述涉及可以实施本公开所利用的说明性AR系统。然而，应该理解，本公开也适用于其他类型的增强现实和虚拟现实系统中的应用，因此本公开不仅限于这里公开的说明性系统。
参照图2A，示出了根据一些实施例的增强现实(AR)系统200。AR系统200可以与投影子系统208一起操作，提供与用户250的视野中的物理对象混合的虚拟对象的图像。该方法采用一个或多个至少部分透明的表面，通过该表面可以看到包括物理对象的周围环境，并且AR系统200通过该表面产生虚拟对象的图像。投影子系统208容纳在控制子系统201中，控制子系统201通过链路207操可作地耦合到显示系统/子系统204。链路207可以是有线或无线通信链路。
对于AR应用，可能期望将各种虚拟对象相对于用户250的视野中的各个物理对象在空间上定位。虚拟对象可以采用多种形式中的任何一种，具有能够表示为图像的任何种类的数据、信息、概念或逻辑构造。虚拟对象的非限制性示例可包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟仪器对象、或物理对象的虚拟可视化表示。
AR系统200包括由用户250佩戴的框架结构202，由框架结构202承载的显示系统204，使得显示系统204定位在用户250的眼睛前方，并且扬声器206结合到显示系统204中或连接到显示系统204。在所示实施例中，扬声器206由框架结构202承载，使得扬声器206(例如，耳塞或耳机)定位在用户250的耳道附近(在其中或周围)。
显示系统204被设计成向用户250的眼睛呈现基于照片的辐射图案，其可以被舒适地感知为包括二维和三维内容的对于周围环境的增强。显示系统204以提供单个连贯(coherent)场景的感知的高频率来呈现帧序列。为此，显示系统204包括投影子系统208和部分透明的显示屏幕，投影子系统208通过该显示屏幕投影图像。显示屏幕位于用户250的眼睛和周围环境之间的用户250的视野中。
在一些实施例中，投影子系统208采用基于扫描的投影设备的形式，并且显示屏幕采用基于波导的显示器的形式，来自投影子系统208的扫描光被注入到该基于波导的显示器中以产生例如位于与无限远相比较近的单个光学观看距离处(例如，手臂的长度)的图像，位于多个离散的光学观看距离或焦平面处的图像，和/或在多个观看距离或焦平面处堆叠的图像层以表示体积3D对象。光场中的这些层可以足够紧密地堆叠在一起，以对于人类视觉子系统显得连续(例如，一层在相邻层的混淆锥(cone of confusion)内)。附加地或替代地，图像元素可以跨越两个或更多个层混合以增加光场中的层之间的过渡的感知连续性，即使这些层更稀疏地堆叠(例如，一个层在相邻层的混淆锥之外)。显示系统204可以是单眼的或双目的。扫描组件包括产生光束的一个或多个光源(例如，以限定的图案发射不同颜色的光)。光源可以采用多种形式中的任何一种，例如，一组RGB源(例如，能够输出红色、绿色和蓝色光的激光二极管)，该RGB光源能够根据在像素信息或数据的各个帧中指定的限定的像素图案，进行操作以分别产生红色、绿色和蓝色相干准直光。激光提供高色彩饱和度并且高能效。光学耦合子系统包括光学波导输入装置，例如一个或多个反射表面、衍射光栅、反射镜、二向色镜或棱镜，以将光光学地耦合到显示屏的端部。光学耦合子系统还包括对于来自光纤的光进行准直的准直元件。可选地，光学耦合子系统包括光学调制装置，该光学调制装置被配置为使来自准直元件的光朝向位于光学波导输入装置的中心处的焦点会聚，从而允许光学波导输入装置的尺寸最小化。因此，显示子系统204生成像素信息的一系列合成图像帧，该系列合成图像帧向用户呈现一个或多个虚拟对象的未失真图像。描述显示子系统的进一步细节提供于题为“Display System and Method(显示系统和方法)”(代理人案卷号ML.20006.00)的第14/212,961号美国实用专利申请和题为“Planar WaveguideApparatus With Diffraction Element(s)and Subsystem Employing Same(具有衍射元件的平面波导装置以及使用该平面波导装置的子系统)”(代理人案卷号ML.20020.00)的第14/331,218号美国实用专利申请，其内容通过引用明确地全部并入本文，如同完整阐述一样。
AR系统200还包括安装到框架结构202的一个或多个传感器，用于检测用户250的头部的位置(包括方位)和运动和/或用户250的眼睛位置和瞳孔间距。这样的传感器可以包括图像捕获设备、麦克风、惯性测量单元(IMU)、加速度计、罗盘、GPS单元、无线电设备、陀螺仪等。例如，在一个实施例中，AR系统200包括头戴式换能器子系统，其包括一个或多个惯性换能器以捕获指示用户250的头部的运动的惯性测量。这些设备可以用于感测、测量或收集关于用户250的头部运动的信息。例如，这些设备可用于检测/测量用户250的头部的运动、速度、加速度和/或位置。用户250的头部的位置(包括方位)也被称为用户250的“头部姿势”。
图2A的AR系统200可以包括一个或多个前向相机。相机可用于任何数目的目的，例如记录来自系统200的前向方向的图像/视频。另外，相机可以用于捕获关于用户250所处的环境的信息，例如指示用户250相对于该环境以及该环境中的特定对象的距离、方位和/或角度位置的信息。
AR系统200还可以包括后向相机，以跟踪用户250的眼睛的角度位置(眼睛或双眼看向的指向)、眨眼和焦点深度(通过检测眼睛会聚(convergence))。这种眼睛跟踪信息例如可以通过在终端用户的眼睛处投影光并且检测至少一些投影光的返回或反射来辨别。
增强现实系统200还包括控制子系统201，其可以采用多种形式中的任何一种。控制子系统201包括多个控制器，例如一个或多个微控制器、微处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)，其他集成电路控制器，例如专用集成电路(ASIC)，可编程门阵列(PGA)，例如现场PGA(FPGA)和/或可编程逻辑控制器(PLU)。控制子系统201可以包括数字信号处理器(DSP)、中央处理单元(CPU)251、图形处理单元(GPU)252和一个或多个帧缓冲器254。CPU 251控制系统的整体操作，而GPU 252渲染帧(即，将三维场景转化为二维图像)并将这些帧存储在一个或多个帧缓冲器254中。虽然未示出，但是一个或多个附加集成电路可以控制向帧缓冲器254读入帧和/或从帧缓冲器254读出帧以及显示系统204的操作。向帧缓冲器254读入和/或从帧缓冲器254读出可以采用动态寻址，例如，其中帧被过度渲染。控制子系统201还包括只读存储器(ROM)和随机存取存储器(RAM)。控制子系统201还包括三维数据库260，GPU 252可以从该三维数据库260访问用于渲染帧的一个或多个场景的三维数据，以及与包含在三维场景内的虚拟声源相关联的合成声音数据。
增强现实系统200还包括用户方位检测模块248。用户方位模块248检测用户250的头部的瞬时位置，并且可以基于从传感器接收的位置数据来预测用户250的头部的位置。用户方位模块248还跟踪用户250的眼睛，特别是基于从传感器接收的跟踪数据来跟踪用户250聚焦的方向和/或距离。
图2B描绘了根据一些实施例的AR系统200'。图2B中所示的AR系统200'类似于图2A所示和上面的描述的AR系统200。例如，AR系统200'包括框架结构202、显示系统204、扬声器206和通过链路207可操作地耦合到显示系统204的控制子系统201'。图2B中描绘的控制子系统201'类似于图2A中描绘和上面的描述的控制子系统201。例如，控制子系统201'包括投影子系统208、图像/视频数据库271、用户方位模块248、CPU 251、GPU 252、3D数据库260、ROM和RAM。
图2B中描绘的控制子系统201'，进而是AR系统200'与图2A所示的对应系统/系统组件的差异在于，图2B中所示的控制子系统201'中存在块290。块290是独立于GPU 252或CPU 251的独立扭曲块。如图2C中所示，块290包括扭曲单元280、数据库292和合成单元294。合成单元294包括混合单元296。如图2D所示，扭曲单元280包括姿势估计器282和变换单元284。
AR系统200、200'的各种处理组件可以包含在分布式子系统中。例如，AR系统200、200'包括操作地耦合到显示子系统204的一部分的本地处理和数据模块(即，控制子系统201、201')，例如通过有线导线或无线连接207进行耦合。本地处理和数据模块可以以各种配置安装，例如固定地附接到框架结构202，固定地附接到头盔或帽子，嵌入耳机中，可移除地附接到用户250的躯干，或者可移除地附接在皮带耦合式配置中的用户250的臀部。AR系统200、200'还可以包括操作地耦合到本地处理和数据模块的远程处理模块和远程数据储存库，例如通过有线导线或无线连接进行耦合，使得这些远程模块可操作地彼此耦合并且能够用作本地处理和数据模块的资源。本地处理和数据模块可以包括功率高效的处理器或控制器，以及数字存储器，例如闪速存储器，两者都可以用于协助处理、缓存和存储从传感器捕获的数据和/或者使用远程处理模块和/或远程数据储存库获取和/或处理的数据，可能用于在这样的处理或获取之后传递到显示系统204。远程处理模块可以包括一个或多个相对强大的处理器或控制器，其被配置为分析和处理数据和/或图像信息。远程数据储存库可以包括相对大规模的数字数据存储设施，其可以通过“云”资源配置中的互联网或其它联网配置能够使用。在一个实施例中，在本地处理和数据模块中存储全部数据，并且执行全部计算，允许从远程模块完全自主使用。上述各种部件之间的耦合可以包括一个或多个有线接口或端口以提供有线或光学通信，或者一个或多个无线接口或端口，诸如经由RF、微波和IR以提供无线通信。在一些实施方式中，所有的通信可以都是有线的，而在一些其他实施方式中，所有的通信可以都是无线的，光纤除外。
说明性图形处理单元
图3示意性地描绘了根据一些实施例的示例性图形处理单元(GPU)252，其将来自一个或多个源的虚拟内容扭曲到公共参考帧并且合成扭曲的虚拟内容。GPU 252包括输入存储器310，其用于存储来自一个或多个源的虚拟内容。在一些实施例中，虚拟内容被存储为基元(例如，图4中的三角形400)。GPU 252还包括命令处理器312，其(1)从输入存储器310接收/读取虚拟内容，(2)将虚拟内容划分为调度单元，以及(3)沿着渲染管线以波或经线(warp)发送调度单元用于并行处理。GPU 252还包括调度器314，以(1)从命令处理器312接收调度单元，以及(2)确定是来自命令处理器312的“新工作”还是从渲染管线中的下游返回的“旧工作”(在下面描述)应该在任何特定时间向下发送到渲染管线。实际上，调度器914确定GPU 252处理各种输入数据的序列。
GPU 252包括GPU核316，其中每个GPU核316具有多个并行可执行核/单元(“着色器核”)318，用于并行处理调度单元。命令处理器312将虚拟内容划分为等于着色器核318的数量的数量(例如，32)。GPU 251还包括“先入先出”(“FIFO”)存储器320以接收来自GPU核316的输出。输出可以作为“旧工作”从FIFO存储器320被路由回调度器314，以便插入到由GPU核316进行的渲染管线附加处理。
GPU 252还包括栅格操作单元(“ROP”)322，其接收来自FIFO存储器320的输出并栅格化输出以供显示。例如，虚拟内容的基元可以存储为三角形顶点的坐标。在由GPU核316处理之后(在此期间图4的三角形400的三个顶点410、412、414可以被扭曲)，ROP 322确定哪些像素416在由三个顶点410、412、414限定的三角形400内部，并填充虚拟内容中的那些像素416。ROP 322还可以对虚拟内容执行深度测试。
GPU 252还包括缓冲存储器324，用于接收ROP 322的输出(例如，扭曲的虚拟内容)。来自缓冲存储器324的输出可以作为“旧工作”被路由回调度器314，以便插入到由GPU核316进行的渲染管线附加处理，或者用于显示在显示系统的相应像素中。GPU核316首先处理三角形400的顶点410、412、414，然后处理三角形400内的像素416。
虚拟内容合成系统和方法
在没有头部姿势改变和/或来自一个或多个源的输入的图像处理中，GPU 252的处理结果是在各个X、Y值(例如，在每个像素处)处的颜色/亮度值和深度值。然而，随着头部姿势改变和/或来自一个或多个源的输入，来自各种源的虚拟内容可能在像素处重叠。在用于解决冲突的虚拟内容的一些方法中，来自每个源的虚拟内容被扭曲和存储。然后，对彼此进行深度测试任何冲突的扭曲虚拟内容，以确定最靠近用户的扭曲虚拟内容，其使用在合成的虚拟内容中从而解决冲突。如上所述，这种多轮次扭曲和合成过程在计算上可能是昂贵且缓慢的，使得难以与便携式显示系统(诸如混合现实系统)一起使用。
图5C描绘了根据一些实施例的用于在单个轮次中合成虚拟内容的方法520。在步骤522，第一源基于与第一源参考帧对应的第一姿势生成第一虚拟内容(例如，第一虚拟内容610)。例如，第一虚拟内容610可以是棋子。在步骤524，第二源基于与第二源参考帧对应的第二姿势生成第二虚拟内容(例如，第二虚拟内容612)。例如，第二虚拟内容612可以是立方体。图6示出了在共同的参考帧(例如，显示参考帧)中的棋子610和立方体612，其中棋子610和立方体612是使用与生成棋子610和立方体612的不同源(例如，应用程序)对应的不同姿势生成的(例如，使用第一姿势生成的棋子610和使用第二姿势生成的立方体612)。
在步骤526，合成器(例如，GPU 252和/或块290的扭曲单元280的姿势估计器282和变换单元284)将由第一应用程序生成的第一虚拟内容610的像素进行扭曲(例如，变换)从而生成扭曲的第一虚拟内容610'的像素。合成器可以选择第一虚拟内容610的像素以对应于输出内容/显示图像中的特定像素(例如，左上像素)。合成器可以通过分析输出内容中的目标像素和要应用于第二虚拟内容612的变换来选择要扭曲的第一虚拟内容的像素(基于与第一源参考帧对应的第一姿势和与输出/显示参考帧对应的第三姿势)。合成器可以通过使用第一姿势和第三姿势对第一虚拟内容610执行第一傅立叶变换来扭曲第一虚拟内容(例如，第一虚拟内容610的像素)。
可以预测/估计第三姿势(例如，通过扭曲单元280的姿势估计器282)以在将要显示合成的扭曲虚拟内容时与姿势一致。第三姿势可以被称为观看者的姿势、统一姿势、对齐的姿势、合成姿势和/或连贯的预测姿势。可以预测/估计第三姿势，使得当第一和第二扭曲虚拟内容彼此顶部重叠并且投影所产生的图像时，图像相对于投影的时间处的观看者的实际头部姿势是准确的。第三姿势可以对应于输出/显示参考帧。
在步骤528，合成器(例如，GPU 252和/或块290的扭曲单元280的姿势估计器282和变换单元284)将由第二应用程序生成的第二虚拟内容612的像素进行扭曲以生成扭曲的第二虚拟内容612'的像素。例如，合成器可以选择第二虚拟内容612的像素以对应于输出内容/显示图像中的特定像素，例如，使得扭曲的第二虚拟内容612'的像素对应于来自步骤526的扭曲的第一虚拟内容610'的像素。合成器可以通过分析来自步骤526的扭曲的第一虚拟内容610'的位置和要应用于第二虚拟内容612的变换来选择要扭曲的第二虚拟内容的像素(基于与第二源参考帧对应的第二姿势和与输出/显示参考帧对应的第三姿势)。合成器可以通过使用第二姿势和第三姿势对第二虚拟内容610执行第二傅里叶变换来扭曲第二虚拟内容。由于第一和第二姿势之间的差异，第一傅立叶变换可以与第二傅立叶变换不同。
在步骤530，合成器(例如，GPU 252的ROP 322和/或块290的合成单元294和混合单元296)将扭曲的第一虚拟内容610'和第二虚拟内容612'的像素进行合成，从而形成输出内容以供显示。在一些实施例中，例如，如图6中所示，如果扭曲的第一虚拟内容610'和第二虚拟内容612'的像素不重叠，则将它们存储在缓冲器(例如，缓冲存储器924和/或数据库292)中作为输出内容的临时像素。
在一些实施例中，在合成期间，扭曲的第一虚拟内容610'和第二虚拟内容612'的像素相互被分配给输出内容中的相同像素，或者与作为输出内容的临时像素的已经存储在缓冲器中的其他像素被分配给输出内容中的相同像素。换句话说，像素“碰撞”，如图7和图8所示。在这种情况下，合成器(例如，GPU 252的ROP 322和/或块290的合成单元294和混合单元296)比较扭曲的第一虚拟内容610'和第二虚拟内容612'的冲突像素的深度信息，从而识别更靠近用户的像素。在像素被变换之后，它们处于相同的显示参考帧中，并且可以进行深度测试。然后将更靠近的像素写入缓冲器(例如，缓冲存储器924和/或数据库292)作为输出内容的该位置处的临时像素。关于碰撞像素的混合的细节描述于序列号为62/472,985的美国临时申请，其先前已通过引用并入。在图7中，扭曲的第一虚拟内容610'比扭曲的第二虚拟内容612'更靠近用户。这样，当扭曲的第一虚拟内容610'和扭曲的第二虚拟内容612'的像素碰撞时，扭曲的第一虚拟内容610'的像素被显示在输出内容中。在图8中，扭曲的第二虚拟内容612'比扭曲的第一虚拟内容610'更靠近用户。这样，当扭曲的第一虚拟内容610'和扭曲的第二虚拟内容612'的像素碰撞时，扭曲的第二虚拟内容612'的像素被显示在输出内容中。
在步骤532，重复步骤526-530中的逐像素处理/协调，直到整个扭曲的第一虚拟内容610'和第二虚拟内容612'已被合成到输出内容中以供显示。在单个轮次对于来自多个源的虚拟内容的像素进行扭曲、合成和深度测试，减少了处理器负担以及合成虚拟内容以形成用于显示的输出内容所需的时间。
图5D和图5E描绘了根据一些实施例的用于在单轮次中合成虚拟内容的方法540。在步骤542，第一源基于与第一源参考帧对应的第一姿势生成第一虚拟内容610。在步骤544，第二源基于与第二源参考帧对应的第二姿势生成第二虚拟内容612。第一虚拟内容610和第二虚拟内容612被发送到块290的扭曲单元280，块290的扭曲单元280接收第一虚拟内容610和第二虚拟内容612。
在步骤546，扭曲单元(例如，块290的扭曲单元280的姿势估计器282和变换单元284)将由第一应用程序生成的第一虚拟内容610进行扭曲(例如，变换)以生成扭曲的第一虚拟内容610'(注意分别在步骤542和步骤546中第一虚拟内容610和扭曲的第一虚拟内容610'的位置的差异)。在步骤548，扭曲单元(例如，块290的扭曲单元280的姿势估计器282和变换单元284)将由第二应用程序生成的第二虚拟内容612进行扭曲(例如，变换)以生成扭曲的第二虚拟内容612'(注意分别在步骤544和步骤548中第二虚拟内容612和扭曲的第二虚拟内容612'的位置的差异)。可以使用上面关于图5C中描绘的方法520所描述的逐像素扭曲的方法来生成扭曲的第一虚拟内容610'和第二虚拟内容612'。在一些实施例中，扭曲单元并行地(基本上同时)执行步骤546和548。在一些实施例中，扭曲单元以任何期望的顺序串行地(逐个地)执行步骤546和548。扭曲的第一虚拟内容610'和第二虚拟内容612'的像素被发送到块290的合成单元294。
在步骤550，合成器(例如，块290的合成单元294)合成扭曲的第一虚拟内容610'和第二虚拟内容612'，如上面关于图5中描绘的方法520所描述的，从而形成合成的虚拟内容610'/612'。合成的虚拟内容610'/612'可以具有重叠区域，如550所示(参见第一虚拟内容610'和第二虚拟内容612'之间的重叠)。
在步骤552，混合器(例如，块290的合成单元294的混合单元296)解决扭曲的第一虚拟内容610'和第二虚拟内容612'之间的重叠(参见第一虚拟内容610'和第二虚拟内容612'之间的已解决的重叠区域)以形成混合的虚拟内容610'/612'。混合器可以使用上面关于图5所示的方法520所描述的方法来解决重叠。混合器可以将混合的虚拟内容610'/612'存储在数据库292中。
如上所述，图5C至图5E中描绘的方法520、540也可以在单独的扭曲块290上执行，该单独的扭曲块290独立于任何GPU 252或CPU 251。在一些实施例中，图5C至图5E中描绘的方法520、540可以在CPU 251上执行。在一些实施例中，图5C至图5E中描绘的方法520、540可以在GPU 252、CPU 251和单独的扭曲块290的各种组合/子组合上执行。图5C至图5E中描绘的方法520、540描述能够根据特定时间的系统资源可用性使用各种执行模型来执行的图像处理管线。
第一虚拟内容(例如，棋子)610和第二虚拟内容(例如，立方体)612在图6至图8中以虚线示出，从而表示由第一和第二应用程序生成的第一虚拟内容610和第二虚拟内容612不在显示参考帧中。仅在合成系统已经对于第一虚拟内容610和第二虚拟内容612进行扭曲时，扭曲的第一虚拟内容610'和扭曲的第二虚拟内容612'才以实线示出。
虽然图5中描绘的方法500将来自两个应用程序的第一虚拟内容610和第二虚拟内容612进行合成，在其他实施例中，三个或更多个应用程序可以生成必须被合成(并且可能被深度测试)以形成用于显示的输出内容的三个或更多个相应的虚拟内容。
系统架构概述
图9是适合于实现本公开的实施例的说明性计算系统900的框图。计算机系统900包括总线906或用于传递信息的其他通信机制，其将子系统和设备进行互联，例如处理器907、系统存储器908(例如，RAM)、静态存储设备909(例如，ROM)、(例如，磁或光)盘碟驱动器910、通信接口914(例如，调制解调器或以太网卡)、显示器911(例如，CRT或LCD)、输入设备912(例如，键盘)和光标控制。
根据本公开的一个实施例，计算机系统900通过处理器907执行包含在系统存储器908中的一个或多个指令的一个或多个序列来执行特定操作。这些指令可以从另一计算机可读/可用介质(例如，静态存储设备909或盘碟驱动器910)读入系统存储器908。在替代实施例中，可以使用硬连线电路代替软件指令或与软件指令组合以实现本公开。因此，本公开的实施例不限于硬件电路和/或软件的任何特定组合。在一个实施例中，术语“逻辑”应表示用于实现本公开的全部或部分的软件或硬件的任何组合。
这里使用的术语“计算机可读介质”或“计算机可用介质”是指参与向处理器907提供指令以供执行的任何介质。这种介质可以采用许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质包括例如光盘或磁盘，例如盘碟驱动器910。易失性介质包括动态存储器，例如系统存储器908。
计算机可读介质的常见形式包括例如，软磁盘，软盘，硬盘，磁带，任何其他磁介质，CD-ROM，任何其他光学介质，穿孔卡，纸带，具有孔图案的任何其他物理介质，RAM，PROM，EPROM，FLASH-EPROM(例如，NAND闪存，NOR闪存)，任何其他存储器芯片或盒式磁带，或计算机可以读取的任何其他介质。
在本公开的实施例中，实践本公开的指令序列的执行由单个计算机系统900执行。根据本公开的其他实施例，通过通信链路915(例如，LAN、PTSN或无线网络)耦合的两个或更多个计算机系统900可以彼此协调地执行实践本公开所需的指令序列。
计算机系统900可以通过通信链路915和通信接口914发送和接收消息、数据和指令，包括程序，即应用程序代码。接收的程序代码可以在被接收时由处理器907执行，和/或存储在盘碟驱动器910或其他非易失性存储器中以供稍后执行。存储介质931中的数据库932可用于存储由系统900通过数据接口933访问的数据。
本公开包括可以使用主题设备执行的方法。这些方法可以包括提供这种适当设备的行动。这样的提供可以由用户执行。换句话说，“提供”行动仅仅需要用户获取、访问、靠近、定位、设置、激活、加电或以其他方式行动以提供主题方法中的必要设备。在此所述的方法可以以逻辑上可能的所述事件的任何顺序以及所述事件的顺序来执行。
上面已经阐述了本公开的示例方面以及关于材料选择和制造的细节。关于本公开的其他细节，这些可以结合上面引用的专利和出版物以及本领域技术人员通常已知或理解到的来理解。就通常或逻辑使用的附加行动而言，这对于本公开的基于方法的方面可以是相同的。
另外，虽然已经参考可选地并入各种特征的若干示例描述了本公开，但是本公开不限于如针对本公开的每个变型所期望描述或指示的那样。在不脱离本公开的真实精神和范围的情况下，可以对所描述的公开进行各种改变并且可以替换等同物(无论是否在此列举或者为了简洁起见而未被包括的)。此外，在提供数值范围的情况下，应当理解的是，在该范围的上限和下限之间的每个中间值以及在所述范围内的任何其他规定值或中间值都包含在本公开内。
此外，可以设想，所描述的创造性改变的任何可选特征可以独立地陈述和要求保护，或与在此描述的任何一个或多个特征组合。参考单数项目，包括存在多个相同项目的可能性。更具体地，如在此以及与此相关的权利要求书中所使用的，除非另有特别说明，否则单数形式“一”、“一个”、“所述”和“该”包括复数指示物。换言之，物品的使用允许以上描述以及与本公开相关联的权利要求中的主题项目的“至少一个”。进一步指出，可以起草这些权利要求以排除任何可选元素。因此，该陈述旨在用作如“仅仅”、“只”等的排他术语与权利要求要素的陈述相结合地使用或“否定”限制的使用有关的先行基础。
在不使用这种排他术语的情况下，在与本公开相关联的权利要求中的术语“包括”应允许包含任何附加要素——无论在这些权利要求中是否列举了给定数目的要素，或者可以将特征的添加认为是对这些权利要求中阐述的要素的性质进行变换。除在此明确定义外，在此使用的所有技术和科学术语将在保持权利要求的有效性的同时尽可能广义地被理解。
本公开的广度不限于所提供的示例和/或本说明书，而是仅限于与本公开相关联的权利要求语言的范围。
在前述说明书中，已经参考其具体实施例描述了本公开。然而，应该清楚的是，在不脱离本公开的更宽广的精神和范围的情况下可以进行各种修改和改变。例如，参考过程动作的特定顺序来描述上述过程流程。然而，可以改变许多所描述的过程动作的顺序而不影响本公开的范围或操作。这些说明和附图相应地被认为是说明性的而不是限制性意义。

Claims (19)

1.一种用于扭曲来自两个源的虚拟内容的计算机实现的方法：
第一源基于显示系统的第一姿势生成第一虚拟内容；
第二源基于所述显示系统的第二姿势生成第二虚拟内容；以及
合成器在单个轮次中在单个管线中处理所述第一虚拟内容和所述第二虚拟内容，
其中，处理所述第一虚拟内容和所述第二虚拟内容包括：
所述合成器选择所述第一虚拟内容的第一像素以对应于输出像素位置，
所述合成器基于所述显示系统的第三姿势来扭曲所述第一虚拟内容的所述第一像素以生成第一扭曲像素，
所述合成器选择所述第二虚拟内容的第二像素以对应于所述输出像素位置，
所述合成器基于所述显示系统的所述第三姿势来扭曲所述第二虚拟内容的所述第二像素以生成第二扭曲像素，
所述合成器比较所述第一扭曲像素的第一深度和所述第二扭曲像素的第二深度以识别所述输出像素位置处的显示像素，以及
所述合成器将所述显示像素写入存储器。
2.根据权利要求1所述的方法，其中，所述第一虚拟内容包括位于所述第一像素处的第一图像信息。
3.根据权利要求2所述的方法，其中，所述第一图像信息包括第一亮度。
4.根据权利要求2所述的方法，其中，所述第一图像信息包括第一颜色。
5.根据权利要求2所述的方法，其中，所述第二虚拟内容包括位于所述第二像素处的第二图像信息。
6.根据权利要求5所述的方法，其中，所述第二图像信息包括第二亮度。
7.根据权利要求5所述的方法，其中，所述第二图像信息包括第二颜色。
8.根据权利要求1所述的方法，其中，比较所述第一扭曲像素的所述第一深度和所述第二扭曲像素的所述第二深度包括：
基于所述显示系统的所述第三姿势，确定所述第一扭曲像素的所述第一深度；
基于所述显示系统的所述第三姿势，确定所述第二扭曲像素的所述第二深度；以及
基于所述显示系统的所述第三姿势，比较所述第一深度和所述第二深度。
9.根据权利要求1所述的方法，其中，基于所述显示系统的所述第三姿势对所述第一虚拟内容的所述第一像素进行扭曲包括：将第一变换应用于所述第一虚拟内容的所述第一像素以生成所述第一扭曲像素。
10.根据权利要求1所述的方法，其中，基于所述显示系统的所述第三姿势对所述第二虚拟内容的所述第二像素进行扭曲包括：将第二变换应用于所述第二虚拟内容的所述第二像素以生成所述第二扭曲像素。
11.根据权利要求1所述的方法，其中，所述第一源是第一应用程序。
12.根据权利要求11所述的方法，其中，所述第二源是不同于所述第一应用程序的第二应用程序。
13.根据权利要求1所述的方法，其中，所述合成器是栅格操作单元。
14.根据权利要求1所述的方法，还包括：
所述合成器将所述显示像素发送到显示单元；以及
所述显示单元基于所述显示像素向用户显示图像。
15.根据权利要求14所述的方法，其中，所述显示单元是投影仪。
16.根据权利要求1所述的方法，其中，所述第一虚拟内容是第一虚拟对象的像素。
17.根据权利要求1所述的方法，其中，所述第二虚拟内容是第二虚拟对象的像素。
18.一种用于扭曲来自两个源的虚拟内容的系统，包括：
扭曲单元，其接收由第一源和第二源基于显示设备的第一姿势和第二姿势所生成的第一虚拟内容和第二虚拟内容，并且从其生成相应的第一扭曲的虚拟内容和第二扭曲的虚拟内容，所述扭曲单元包括：
姿势估计器，其预测所述显示设备的第三姿势；以及
变换单元；
合成单元，其包括混合单元；以及
数据库，用于临时存储扭曲的虚拟内容，
其中，所述系统在单个轮次中在单个管线中处理所述第一虚拟内容和所述第二虚拟内容包括：
所述扭曲单元选择所述第一虚拟内容的第一像素以对应于输出像素位置，
所述扭曲单元基于所述显示系统的第三姿势来扭曲所述第一虚拟内容的所述第一像素以生成第一扭曲像素，
所述扭曲单元选择所述第二虚拟内容的第二像素以对应于所述输出像素位置，
所述扭曲单元基于所述显示系统的所述第三姿势来扭曲所述第二虚拟内容的所述第二像素以生成第二扭曲像素，
所述合成单元比较所述第一扭曲像素的第一深度和所述第二扭曲像素的第二深度以识别所述输出像素位置处的显示像素，以及
所述合成单元将所述显示像素写入所述数据库。
19.一种非瞬态计算机可读介质，所述计算机可读介质上存储有指令序列，当由处理器执行所述指令序列时使所述处理器执行用于扭曲来自两个源的虚拟内容的方法，所述方法包括：
第一源基于显示系统的第一姿势生成第一虚拟内容；
第二源基于所述显示系统的第二姿势生成第二虚拟内容；以及
合成器在单个轮次中在单个管线中处理所述第一虚拟内容和所述第二虚拟内容，
其中，处理所述第一虚拟内容和所述第二虚拟内容包括：
所述合成器选择所述第一虚拟内容的第一像素以对应于输出像素位置，
所述合成器基于所述显示系统的第三姿势来扭曲所述第一虚拟内容的所述第一像素以生成第一扭曲像素，
所述合成器选择所述第二虚拟内容的第二像素以对应于所述输出像素位置，
所述合成器基于所述显示系统的所述第三姿势来扭曲所述第二虚拟内容的所述第二像素以生成第二扭曲像素，
所述合成器比较所述第一扭曲像素的第一深度和所述第二扭曲像素的第二深度以识别所述输出像素位置处的显示像素，以及
所述合成器将所述显示像素写入存储器。
CN201880018506.1A 2017-03-17 2018-03-16 混合现实系统及使用该系统生成虚拟内容的方法 Active CN110419061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311134808.4A CN117197403A (zh) 2017-03-17 2018-03-16 混合现实系统及使用该系统生成虚拟内容的方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762473131P 2017-03-17 2017-03-17
US62/473,131 2017-03-17
PCT/US2018/022884 WO2018170409A1 (en) 2017-03-17 2018-03-16 Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311134808.4A Division CN117197403A (zh) 2017-03-17 2018-03-16 混合现实系统及使用该系统生成虚拟内容的方法

Publications (2)

Publication Number Publication Date
CN110419061A CN110419061A (zh) 2019-11-05
CN110419061B true CN110419061B (zh) 2023-09-29

Family

ID=63520239

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880018506.1A Active CN110419061B (zh) 2017-03-17 2018-03-16 混合现实系统及使用该系统生成虚拟内容的方法
CN202311134808.4A Pending CN117197403A (zh) 2017-03-17 2018-03-16 混合现实系统及使用该系统生成虚拟内容的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311134808.4A Pending CN117197403A (zh) 2017-03-17 2018-03-16 混合现实系统及使用该系统生成虚拟内容的方法

Country Status (9)

Country Link
US (3) US10861237B2 (zh)
EP (1) EP3596702A4 (zh)
JP (2) JP7009495B2 (zh)
KR (1) KR102359978B1 (zh)
CN (2) CN110419061B (zh)
AU (2) AU2018233733B2 (zh)
CA (1) CA3054617A1 (zh)
IL (3) IL303275B2 (zh)
WO (1) WO2018170409A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11854172B2 (en) 2020-03-16 2023-12-26 Zhejiang University Color contrast enhanced rendering method, device and system suitable for optical see-through head-mounted display

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160259404A1 (en) 2015-03-05 2016-09-08 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10909711B2 (en) 2015-12-04 2021-02-02 Magic Leap, Inc. Relocalization systems and methods
KR102626821B1 (ko) 2016-08-02 2024-01-18 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
CN110431599B (zh) 2017-03-17 2022-04-12 奇跃公司 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
JP7009494B2 (ja) 2017-03-17 2022-01-25 マジック リープ， インコーポレイテッド カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法
JP7009495B2 (ja) 2017-03-17 2022-01-25 マジック リープ， インコーポレイテッド 多ソース仮想コンテンツ合成を伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
EP3827584A4 (en) 2018-07-23 2021-09-08 Magic Leap, Inc. INTRA-FIELD SUB-CODE SYNCHRONIZATION IN SEQUENTIAL FIELD DISPLAYS
JP7304934B2 (ja) 2018-07-23 2023-07-07 マジック リープ， インコーポレイテッド 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
CN113467602B (zh) * 2020-03-31 2024-03-19 中国移动通信集团浙江有限公司 Vr显示方法及系统
US11321859B2 (en) * 2020-06-22 2022-05-03 Toyota Research Institute, Inc. Pixel-wise residual pose estimation for monocular depth estimation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
CN103092338A (zh) * 2011-12-07 2013-05-08 微软公司 用个性化虚拟数据更新打印内容

Family Cites Families (243)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4462165A (en) 1983-01-31 1984-07-31 The Boeing Company Three axis orientation sensor for an aircraft or the like
US6701296B1 (en) 1988-10-14 2004-03-02 James F. Kramer Strain-sensing goniometers, systems, and recognition algorithms
US5047952A (en) 1988-10-14 1991-09-10 The Board Of Trustee Of The Leland Stanford Junior University Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove
AU675077B2 (en) 1992-08-14 1997-01-23 British Telecommunications Public Limited Company Position location system
CA2358682A1 (en) 1992-08-14 1994-03-03 British Telecommunications Public Limited Company Position location system
US5583974A (en) 1993-05-10 1996-12-10 Apple Computer, Inc. Computer graphics system having high performance multiple layer Z-buffer
TW275590B (en) 1994-12-09 1996-05-11 Sega Enterprises Kk Head mounted display and system for use therefor
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5592401A (en) 1995-02-28 1997-01-07 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5684498A (en) 1995-06-26 1997-11-04 Cae Electronics Ltd. Field sequential color head mounted display with suppressed color break-up
CA2238693C (en) 1995-11-27 2009-02-24 Cae Electronics Ltd. Method and apparatus for displaying a virtual environment on a video display
US5784115A (en) 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US6163155A (en) 1999-01-28 2000-12-19 Dresser Industries, Inc. Electromagnetic wave resistivity tool having a tilted antenna for determining the horizontal and vertical resistivities and relative dip angle in anisotropic earth formations
US6407736B1 (en) 1999-06-18 2002-06-18 Interval Research Corporation Deferred scanline conversion architecture
GB9917591D0 (en) 1999-07-28 1999-09-29 Marconi Electronic Syst Ltd Head tracker system
US6757068B2 (en) 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
EP1297691A2 (en) 2000-03-07 2003-04-02 Sarnoff Corporation Camera pose estimation
US6891533B1 (en) * 2000-04-11 2005-05-10 Hewlett-Packard Development Company, L.P. Compositing separately-generated three-dimensional images
US6738044B2 (en) 2000-08-07 2004-05-18 The Regents Of The University Of California Wireless, relative-motion computer input device
US20020180727A1 (en) * 2000-11-22 2002-12-05 Guckenberger Ronald James Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors
US6691074B1 (en) 2001-02-08 2004-02-10 Netmore Ltd. System for three dimensional positioning and tracking
US6861982B2 (en) 2001-08-16 2005-03-01 Itt Manufacturing Enterprises, Inc. System for determining position of an emitter
US7113618B2 (en) 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
JP2003337963A (ja) 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP3984907B2 (ja) 2002-11-29 2007-10-03 キヤノン株式会社 画像観察システム
US20070155589A1 (en) 2002-12-04 2007-07-05 Philip Feldman Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System
JP2004213350A (ja) 2002-12-27 2004-07-29 Seiko Epson Corp 力覚提示装置及び画像補正方法
US20050107870A1 (en) 2003-04-08 2005-05-19 Xingwu Wang Medical device with multiple coating layers
US7643025B2 (en) 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US7443154B1 (en) 2003-10-04 2008-10-28 Seektech, Inc. Multi-sensor mapping omnidirectional sonde and line locator
CA2450837A1 (en) 2003-11-25 2005-05-25 University Of New Brunswick Induction magnetometer
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US20160098095A1 (en) 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
JP4508820B2 (ja) 2004-10-19 2010-07-21 株式会社ワコム ３次元情報検出システム及び３次元情報入力装置
CN101080762A (zh) 2004-11-19 2007-11-28 Daem交互有限公司 具有图像获取功能、应用于扩充现实性资源的个人装置和方法
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
EP3169059B1 (en) 2005-04-26 2018-06-13 Imax Corporation Electronic projection systems and methods
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP4437228B2 (ja) 2005-11-07 2010-03-24 大学共同利用機関法人情報・システム研究機構 焦点ぼけ構造を用いたイメージング装置及びイメージング方法
KR100722229B1 (ko) 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP4684147B2 (ja) 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
JP4196302B2 (ja) 2006-06-19 2008-12-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4804256B2 (ja) 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
US8194088B1 (en) * 2006-08-03 2012-06-05 Apple Inc. Selective composite rendering
US7921120B2 (en) 2006-11-30 2011-04-05 D&S Consultants Method and system for image recognition using a similarity inverse matrix
CN101093586A (zh) 2007-07-12 2007-12-26 上海交通大学 面向复杂场景实时交互操作的并行碰撞检测方法
US8165352B1 (en) 2007-08-06 2012-04-24 University Of South Florida Reconstruction of biometric image templates using match scores
IL195389A (en) 2008-11-19 2013-12-31 Elbit Systems Ltd Magnetic Field Mapping System and Method
US10095815B2 (en) 2008-11-19 2018-10-09 Elbit Systems Ltd. System and a method for mapping a magnetic field
US20090115406A1 (en) 2007-11-01 2009-05-07 General Electric Company System and method for minimizing mutual inductance coupling between coils in an electromagnetic tracking system
US9013505B1 (en) 2007-11-27 2015-04-21 Sprint Communications Company L.P. Mobile system representing virtual objects on live camera image
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US7795596B2 (en) 2008-01-03 2010-09-14 Alcatel-Lucent Usa Inc. Cloaking device detection system
WO2009091563A1 (en) * 2008-01-18 2009-07-23 Thomson Licensing Depth-image-based rendering
US20090184825A1 (en) 2008-01-23 2009-07-23 General Electric Company RFID Transponder Used for Instrument Identification in an Electromagnetic Tracking System
US9947130B2 (en) 2008-01-23 2018-04-17 Intel Corporation Method, apparatus, and computer program product for improved graphics performance
US8926511B2 (en) 2008-02-29 2015-01-06 Biosense Webster, Inc. Location system with virtual touch screen
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US8446426B2 (en) * 2008-04-28 2013-05-21 Apple Inc. Technique for visually compositing a group of graphical objects
KR20090120159A (ko) * 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
US8929877B2 (en) 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
JP5415054B2 (ja) 2008-10-28 2014-02-12 セイコーエプソン株式会社 駆動方法および電気光学装置
CN102282528A (zh) 2008-11-14 2011-12-14 索尼计算机娱乐公司 操作装置
US8188745B2 (en) 2008-12-05 2012-05-29 Metrotech Corporation Inc. Precise location and orientation of a concealed dipole transmitter
US9465129B1 (en) 2009-03-06 2016-10-11 See Scan, Inc. Image-based mapping locating system
JP5177078B2 (ja) 2009-05-26 2013-04-03 富士通モバイルコミュニケーションズ株式会社 情報処理装置
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
US8775424B2 (en) 2010-01-26 2014-07-08 Xerox Corporation System for creative image navigation and exploration
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8581905B2 (en) 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
TWI399688B (zh) 2010-06-08 2013-06-21 Waltop Int Corp 整合電磁式及電容感應輸入裝置
JP2012043308A (ja) 2010-08-20 2012-03-01 Canon Inc 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム
US9013550B2 (en) * 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
JP5820366B2 (ja) 2010-10-08 2015-11-24 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
US20120086630A1 (en) 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
FR2966251B1 (fr) 2010-10-19 2014-04-25 Astrium Sas Systeme d'orientation et de positionnement d'un recepteur electromagnetique
US8660369B2 (en) 2010-10-25 2014-02-25 Disney Enterprises, Inc. Systems and methods using mobile devices for augmented reality
US8745061B2 (en) 2010-11-09 2014-06-03 Tibco Software Inc. Suffix array candidate selection and index data structure
EP2668617A1 (en) 2011-01-27 2013-12-04 Metaio GmbH Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
JP5724544B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9206007B2 (en) 2011-05-31 2015-12-08 Twist-Ease Inc. Bag dispenser
US20120306850A1 (en) 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8933913B2 (en) 2011-06-28 2015-01-13 Microsoft Corporation Electromagnetic 3D stylus
US20150100380A1 (en) 2011-07-20 2015-04-09 Raymond P. Jones, JR. Systems and methods for providing financial controls for aggregated weather-based work
US20150040074A1 (en) * 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
US20150070347A1 (en) 2011-08-18 2015-03-12 Layar B.V. Computer-vision based augmented reality system
US8749396B2 (en) 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
CN103959308B (zh) 2011-08-31 2017-09-19 Metaio有限公司 以参考特征匹配图像特征的方法
EP2756328A2 (en) 2011-09-13 2014-07-23 Sadar 3D, Inc. Synthetic aperture radar apparatus and methods
US8821286B2 (en) 2011-09-29 2014-09-02 Wms Gaming, Inc. Wagering game system having motion sensing controllers
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
CA3207408A1 (en) 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
JP6250547B2 (ja) 2011-11-23 2017-12-20 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ３次元仮想現実および拡張現実表示システム
US9330468B2 (en) 2012-02-29 2016-05-03 RetailNext, Inc. Method and system for analyzing interactions
US9075824B2 (en) 2012-04-27 2015-07-07 Xerox Corporation Retrieval system and method leveraging category-level labels
US9098229B2 (en) 2012-05-04 2015-08-04 Aaron Hallquist Single image pose estimation of image capture devices
US9116666B2 (en) 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
EP2704055A1 (en) * 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
JP2014049934A (ja) 2012-08-31 2014-03-17 Sony Corp ヘッドマウントディスプレイ
US9134954B2 (en) 2012-09-10 2015-09-15 Qualcomm Incorporated GPU memory buffer pre-fetch and pre-back signaling to avoid page-fault
EP2711670B1 (en) 2012-09-21 2019-01-30 NavVis GmbH Visual localisation
GB201217372D0 (en) 2012-09-28 2012-11-14 Ucl Business Plc A system and method for annotating images by propagating information
US9177404B2 (en) 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9188694B2 (en) 2012-11-16 2015-11-17 Halliburton Energy Services, Inc. Optical interferometric sensors for measuring electromagnetic fields
US9160727B1 (en) 2012-11-30 2015-10-13 Microstrategy Incorporated Providing credential information
US9026847B2 (en) 2012-12-21 2015-05-05 Advanced Micro Devices, Inc. Hardware based redundant multi-threading inside a GPU for improved reliability
US20140176591A1 (en) 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
WO2014105385A1 (en) 2012-12-27 2014-07-03 The Regents Of The University Of California Anamorphic stretch image compression
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
KR20230173231A (ko) 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
WO2014160342A1 (en) 2013-03-13 2014-10-02 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US9213911B2 (en) 2013-03-15 2015-12-15 Orcam Technologies Ltd. Apparatus, method, and computer readable medium for recognizing text on a curved surface
KR102560629B1 (ko) 2013-03-15 2023-07-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US20150077560A1 (en) * 2013-03-22 2015-03-19 GM Global Technology Operations LLC Front curb viewing system based upon dual cameras
KR101458986B1 (ko) * 2013-04-22 2014-11-13 광운대학교 산학협력단 키넥트 기반 실시간 다시점 영상 생성 방법
US20140323148A1 (en) 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
US9269003B2 (en) 2013-04-30 2016-02-23 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
US9367960B2 (en) 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
US10254855B2 (en) 2013-06-04 2019-04-09 Wen-Chieh Geoffrey Lee High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9712473B2 (en) 2013-07-11 2017-07-18 Facebook, Inc. Methods, systems, and user interfaces for community-based location ratings
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9952042B2 (en) 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
JP6192010B2 (ja) 2013-09-05 2017-09-06 国立大学法人 東京大学 重み設定装置および方法
US9729864B2 (en) 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
CN107329259B (zh) 2013-11-27 2019-10-11 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
SG11201604981UA (en) 2013-12-19 2016-07-28 Avigilon Fortress Corp System and method for identifying faces in unconstrained media
US9360935B2 (en) 2013-12-20 2016-06-07 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Integrated bi-sensing optical structure for head mounted display
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
US20160147063A1 (en) 2014-11-26 2016-05-26 Osterhout Group, Inc. See-through computer display systems
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9804395B2 (en) 2014-01-29 2017-10-31 Ricoh Co., Ltd Range calibration of a binocular optical augmented reality system
EP3170131A2 (en) 2014-03-04 2017-05-24 Google, Inc. Map personalization based on social clues
US20160203624A1 (en) 2014-03-05 2016-07-14 Google Inc. System and Method for Providing Combined Multi-Dimensional Map Views
WO2015134958A1 (en) 2014-03-07 2015-09-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106164982B (zh) 2014-04-25 2019-05-03 谷歌技术控股有限责任公司 基于影像的电子设备定位
CN105005457B (zh) 2014-04-25 2019-04-09 腾讯科技（深圳）有限公司 地理位置展示方法及装置
US9652893B2 (en) 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
US9727341B2 (en) 2014-05-09 2017-08-08 Samsung Electronics Co., Ltd. Control flow in a thread-based environment without branching
EP3926589A1 (en) 2014-06-03 2021-12-22 Apple Inc. Method and system for presenting a digital information related to a real object
US20150358539A1 (en) 2014-06-06 2015-12-10 Jacob Catt Mobile Virtual Reality Camera, Method, And System
EP3699736B1 (en) * 2014-06-14 2023-03-29 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150379772A1 (en) 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
WO2016002409A1 (ja) 2014-07-01 2016-01-07 シャープ株式会社 フィールドシーケンシャル画像表示装置および画像表示方法
US10056054B2 (en) 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10162177B2 (en) 2014-07-11 2018-12-25 Sixense Entertainment, Inc. Method and apparatus for self-relative body tracking for virtual reality systems using magnetic tracking
US9719871B2 (en) 2014-08-09 2017-08-01 Google Inc. Detecting a state of a wearable device
WO2016040376A1 (en) 2014-09-08 2016-03-17 Simx, Llc Augmented reality simulator for professional and educational training
JP2017532847A (ja) 2014-09-09 2017-11-02 ノキア テクノロジーズ オーユー 立体録画及び再生
US10216750B2 (en) 2014-10-14 2019-02-26 Microsoft Technology Licensing, Llc Annotated geometry
US9478029B2 (en) 2014-10-23 2016-10-25 Qualcomm Incorporated Selection strategy for exchanging map information in collaborative multi-user SLAM systems
US10650574B2 (en) 2014-10-31 2020-05-12 Fyusion, Inc. Generating stereoscopic pairs of images from a single lens camera
US11049476B2 (en) 2014-11-04 2021-06-29 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays
US9818170B2 (en) * 2014-12-10 2017-11-14 Qualcomm Incorporated Processing unaligned block transfer operations
WO2016100717A1 (en) 2014-12-17 2016-06-23 Google Inc. Generating numeric embeddings of images
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US20160259404A1 (en) 2015-03-05 2016-09-08 Magic Leap, Inc. Systems and methods for augmented reality
US9885773B2 (en) 2015-03-07 2018-02-06 Verity Studios Ag Distributed localization systems and methods and self-localizing apparatus
US9874932B2 (en) 2015-04-09 2018-01-23 Microsoft Technology Licensing, Llc Avoidance of color breakup in late-stage re-projection
US9814430B1 (en) 2015-04-17 2017-11-14 Bertec Corporation System and method for measuring eye movement and/or eye position and postural sway of a subject
CA2981107A1 (en) 2015-05-04 2016-11-10 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
CN104866829B (zh) 2015-05-25 2019-02-19 苏州大学 一种基于特征学习的跨年龄人脸验证方法
US10721280B1 (en) 2015-05-29 2020-07-21 Sprint Communications Company L.P. Extended mixed multimedia reality platform
US20160378863A1 (en) 2015-06-24 2016-12-29 Google Inc. Selecting representative video frames for videos
US10062010B2 (en) 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
US9240069B1 (en) * 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
US10192361B2 (en) * 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10750161B2 (en) 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US9875427B2 (en) 2015-07-28 2018-01-23 GM Global Technology Operations LLC Method for object localization and pose estimation for an object of interest
WO2017044965A1 (en) * 2015-09-10 2017-03-16 Duke University Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
GB201518112D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
US10338677B2 (en) 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US10026212B2 (en) 2015-11-20 2018-07-17 Google Llc Electronic display stabilization using pixel velocities
US20170161853A1 (en) 2015-12-03 2017-06-08 James Carroll Gossweiler Mapping system that identifies site-specific real estate due diligence professionals and related service providers
US10909711B2 (en) 2015-12-04 2021-02-02 Magic Leap, Inc. Relocalization systems and methods
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
FR3046261B1 (fr) 2015-12-24 2018-08-31 Starbreeze Paris Element mobile hybride, procede et dispositif pour interfacer une pluralite d'elements mobiles hybrides avec un systeme informatique, et ensemble pour systeme de realite virtuelle ou augmentee
US10130429B1 (en) 2016-01-06 2018-11-20 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system
JP2019505926A (ja) 2016-02-05 2019-02-28 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実のためのシステムおよび方法
US10334076B2 (en) 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
WO2017147178A1 (en) * 2016-02-22 2017-08-31 Google Inc. Separate time-warping for a scene and an object for display of virtual reality content
US10788791B2 (en) 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
US9639935B1 (en) * 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
CN108604391B (zh) 2016-05-29 2022-06-14 谷歌有限责任公司 基于虚拟/增强现实系统中的深度信息的时间扭曲调整
US10366536B2 (en) 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
KR102626821B1 (ko) 2016-08-02 2024-01-18 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US10158979B2 (en) 2016-08-16 2018-12-18 Elenytics Group, Ltd. Method and system for wireless location and movement mapping, tracking and analytics
JP6880174B2 (ja) 2016-08-22 2021-06-02 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実、拡張現実、および複合現実システムおよび方法
US10318115B2 (en) 2016-10-14 2019-06-11 OneMarket Network LLC System and method for presenting optimized map labels
US10942252B2 (en) 2016-12-26 2021-03-09 Htc Corporation Tracking system and tracking method
US10330936B2 (en) 2017-01-19 2019-06-25 Facebook Technologies, Llc Focal surface display
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
JP7009495B2 (ja) * 2017-03-17 2022-01-25 マジック リープ， インコーポレイテッド 多ソース仮想コンテンツ合成を伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
JP7009494B2 (ja) 2017-03-17 2022-01-25 マジック リープ， インコーポレイテッド カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法
CN110431599B (zh) 2017-03-17 2022-04-12 奇跃公司 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
CN110574099B (zh) 2017-05-01 2022-07-12 安波福技术有限公司 基于头部跟踪的场序跳视分离减少
US10620710B2 (en) 2017-06-15 2020-04-14 Microsoft Technology Licensing, Llc Displacement oriented interaction in computer-mediated reality
GB201709752D0 (en) 2017-06-19 2017-08-02 Advanced Risc Mach Ltd Graphics processing systems
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10403032B2 (en) 2017-08-22 2019-09-03 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
US10445922B2 (en) 2017-08-31 2019-10-15 Intel Corporation Last-level projection method and apparatus for virtual and augmented reality
US10529086B2 (en) 2017-11-22 2020-01-07 Futurewei Technologies, Inc. Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
US10481689B1 (en) 2018-01-10 2019-11-19 Electronic Arts Inc. Motion capture glove
US10861215B2 (en) 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
JP7304934B2 (ja) 2018-07-23 2023-07-07 マジック リープ， インコーポレイテッド 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
US11176901B1 (en) 2019-08-13 2021-11-16 Facebook Technologies, Llc. Pan-warping and modifying sub-frames with an up-sampled frame rate
US10843067B1 (en) 2019-10-04 2020-11-24 Varjo Technologies Oy Input device, system, and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
CN103092338A (zh) * 2011-12-07 2013-05-08 微软公司 用个性化虚拟数据更新打印内容

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11854172B2 (en) 2020-03-16 2023-12-26 Zhejiang University Color contrast enhanced rendering method, device and system suitable for optical see-through head-mounted display

Also Published As

Publication number Publication date
AU2022200841A1 (en) 2022-03-03
US11423626B2 (en) 2022-08-23
IL268911B (en) 2022-03-01
US20180268610A1 (en) 2018-09-20
EP3596702A4 (en) 2020-07-22
CN117197403A (zh) 2023-12-08
US20210174598A1 (en) 2021-06-10
KR20190129095A (ko) 2019-11-19
IL303275B2 (en) 2024-08-01
KR102359978B1 (ko) 2022-02-07
AU2018233733A1 (en) 2019-09-12
EP3596702A1 (en) 2020-01-22
US10964119B2 (en) 2021-03-30
CA3054617A1 (en) 2018-09-20
JP2022044647A (ja) 2022-03-17
AU2018233733B2 (en) 2021-11-11
AU2022200841B2 (en) 2023-05-25
US10861237B2 (en) 2020-12-08
JP7009495B2 (ja) 2022-01-25
IL268911A (en) 2019-10-31
US20200357185A1 (en) 2020-11-12
WO2018170409A1 (en) 2018-09-20
CN110419061A (zh) 2019-11-05
JP7095189B2 (ja) 2022-07-04
IL290142A (en) 2022-03-01
IL303275B1 (en) 2024-04-01
IL303275A (en) 2023-07-01
IL290142B1 (en) 2023-06-01
IL290142B2 (en) 2023-10-01
JP2020514909A (ja) 2020-05-21

Similar Documents

Publication Publication Date Title
CN110419061B (zh) 混合现实系统及使用该系统生成虚拟内容的方法
US11410269B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
CN110402425B (zh) 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
JP7304934B2 (ja) 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant