CN117873313A - 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法 - Google Patents

具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法 Download PDF

Info

Publication number
CN117873313A
CN117873313A CN202311697587.1A CN202311697587A CN117873313A CN 117873313 A CN117873313 A CN 117873313A CN 202311697587 A CN202311697587 A CN 202311697587A CN 117873313 A CN117873313 A CN 117873313A
Authority
CN
China
Prior art keywords
color field
color
warped
warping
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311697587.1A
Other languages
English (en)
Inventor
M·H·利本诺
R·诺拉伊
R·B·泰勒
F·亚拉什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN117873313A publication Critical patent/CN117873313A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Image Generation (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

一种用于扭曲多场彩色虚拟内容以顺序投影的计算机实现的方法包括获取具有不同的第一和第二颜色的第一和第二色场。该方法还包括确定用于投影扭曲的第一色场的第一时间。该方法还包括确定用于投影扭曲的第二色场的第二时间。此外，该方法包括预测第一时间处的第一姿势并预测第二时间处的第二姿势。另外，该方法包括通过基于第一姿势扭曲第一色场来生成扭曲的第一色场。该方法还包括通过基于第二姿势扭曲第二色场来生成扭曲的第二色场。

Description

具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚 拟内容的方法
本申请是申请号为201880018310.2的中国专利申请“具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法”(申请日为2018年3月16日)的分案申请。
技术领域
本公开涉及具有彩色虚拟内容扭曲的混合现实系统，以及使用该系统生成包括扭曲的虚拟内容的混合现实体验的方法。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实(VR)”或“增强现实(AR)”体验的“混合现实(MR)”系统的开发，其中数字再现的图像或其部分以其看起来是或可能被感知为是真实的方式呈现给用户。VR情景通常涉及呈现数字或虚拟图像信息而对于实际的现实世界视觉输入不透明。AR情景通常涉及呈现数字或虚拟图像信息作为对于用户周围的真实世界的可视化的增强(即，对于真实世界视觉输入透明)。因此，AR情景涉及呈现数字或虚拟图像信息而对于现实世界视觉输入透明。
MR系统通常生成和显示彩色(color)数据，这增加了MR情景的真实性。这些MR系统中的许多系统通过快速连续地以与彩色图像对应的不同(例如，基本)彩色或“场(field)”(例如，红色、绿色和蓝色)顺序投影(project)子图像来显示彩色数据。以足够高的速率(例如，60Hz、120Hz等)投影彩色子图像可以在用户的脑海中提供平滑的彩色MR情景。
各种光学系统在各种深度处生成包括彩色图像的图像，用于显示MR(VR和AR)情景。在2014年11月27日提交的美国实用专利申请序列号14/555,585(代理人案卷号ML.20011.00)中描述了一些这样的光学系统，其内容通过引用明确且全部并入本文，如同全文阐述。
MR系统通常采用可穿戴显示设备(例如，头戴式显示器、头盔式显示器或智能眼镜)，其至少松散地耦合到用户的头部，并因此在用户的头部移动时移动。如果显示设备检测到用户的头部运动，则可以更新正在显示的数据以考虑头部姿势的变化(即，用户头部的方位和/或位置)。
作为示例，如果佩戴头戴式显示设备的用户在显示器上观看虚拟对象的虚拟表示，并在该虚拟对象出现的区域周围走动，则可以针对每个视点渲染该虚拟对象，从而给予用户他们在占据真实空间的对象周围走动的感觉。如果头戴式显示设备用于呈现多个虚拟对象，则可以使用头部姿势的测量来渲染场景以与用户动态变化的头部姿势相匹配并提供增加的沉浸感。然而，渲染场景和显示/投影渲染的场景之间存在不可避免的延迟。
能够进行AR的头戴式显示设备提供真实对象和虚拟对象的同时观看。利用“光学透视”显示器，用户可以透视显示系统中的透明(或半透明)元件，以直接观看来自环境中的真实对象的光。透明元件，通常被称为“组合器”，将来自显示器的光叠加在用户的现实世界视图上，其中来自显示器的光将虚拟内容的图像投影在环境中真实对象的透视视图上。相机可以安装在头戴式显示设备上，以捕获用户正在观看的场景的图像或视频。
当前的光学系统，例如MR系统中的光学系统，光学地渲染虚拟内容。内容是“虚拟的”，因为它不对应于位于空间中的相应位置的真实物理对象。相反，虚拟内容当被引导到用户眼睛的光束刺激时仅存在于头戴式显示设备的用户的大脑(例如，光学中心)中。
MR系统尝试呈现彩色的照片般逼真的沉浸式MR情景。然而，虚拟的生成与所生成的虚拟内容的显示之间的延迟时间，与在延迟时间期间的头部移动相结合，可以导致MR情景中的视觉伪像(例如，毛刺)。在延迟时间期间快速的头部移动以及通过顺序地投影彩色或场(即，诸如LCOS的顺序显示)产生的颜色内容加剧了该问题。
为了解决该问题，一些光学系统可以包括从源接收源彩色虚拟内容的扭曲(warping)软件/系统。然后，扭曲系统对于所接收的源彩色虚拟内容进行“扭曲”(即，变换其参考帧)，以便显示在显示器或输出系统/观看者的参考帧(“显示或输出参考帧”)中。扭曲或变换会改变呈现彩色虚拟内容的参考帧。该方法采用最初渲染的彩色内容，并且转变呈现彩色内容的方式以尝试从不同的角度显示彩色内容。
一些扭曲软件/系统在两个处理轮次(pass)中对于源虚拟内容进行扭曲。扭曲系统在第一轮次中将源虚拟内容中形成3-D情景的所有源子部分进行扭曲。扭曲系统还在第一轮次中执行深度测试以生成深度数据，但深度测试在源参考帧中执行。扭曲系统存储由形成3-D情景的源子部分的变换而产生的所有扭曲的子部分及其在第一轮次中的源参考帧中的相对深度(例如，在列表中)。
在扭曲期间，3-D情景的两个或更多个不同子部分可以扭曲/投影到(即，被分配到)最终显示图像的相同像素中。这些子部分是“冲突的”，并且扭曲系统必须解决冲突以生成逼真的二维显示图像。
在第一轮次之后，一些扭曲的子部分可能相对于最终的2-D显示图像的像素冲突。然后，扭曲系统遍及在第一轮次中存储的中间扭曲数据执行第二轮次，以分析冲突的扭曲子部分的深度测试数据，从而识别最靠近输出参考帧中的观看位置的扭曲子部分。最靠近输出参考帧中的观看位置的冲突扭曲子部分被用于生成最终的2-D显示图像。其余的冲突扭曲子部分将被丢弃。
一些扭曲软件/系统针对相同彩色图像中的所有彩色/场，使用输出参考帧中的相同X、Y位置来扭曲彩色源虚拟内容。然而，使用输出参考帧中的一个X、Y位置来扭曲所有(例如，三个)彩色/场，忽略了投影不同彩色子图像的接近但不同的时间。这会导致视觉伪像/异常/毛刺，从而降低MR系统的沉浸感和真实感。
发明内容
在一个实施例中，一种用于扭曲多场彩色虚拟内容以进行顺序投影的计算机实现的方法包括获取具有不同的第一和第二颜色的第一和第二色场。该方法还包括确定用于投影扭曲的第一色场的第一时间。该方法还包括确定用于投影扭曲的第二色场的第二时间。此外，该方法包括预测第一时间处的第一姿势并预测第二时间处的第二姿势。另外，该方法包括通过基于第一姿势扭曲第一色场来生成扭曲的第一色场。该方法还包括通过基于第二姿势扭曲第二色场来生成扭曲的第二色场。
在一个或多个实施例中，第一色场包括位于X、Y位置处的第一色场信息。第一色场信息可以包括第一颜色的第一亮度。第二色场包括位于X、Y位置处的第二图像信息。第二色场信息可以包括第二颜色的第二亮度。
在一个或多个实施例中，扭曲的第一色场包括位于第一扭曲X、Y位置处的扭曲的第一色场信息。扭曲的第二色场包括位于第二扭曲X、Y位置处的扭曲的第二色场信息。基于第一姿势对于第一色场进行扭曲可以包括将第一变换应用于第一色场以生成扭曲的第一色场。基于第二姿势对于第二色场进行扭曲可以包括将第二变换应用于第二色场以生成扭曲的第二色场。
在一个或多个实施例中，该方法还包括将扭曲的第一和第二色场发送到顺序投影仪，并且该顺序投影仪顺序地投影扭曲的第一色场和扭曲的第二色场。可以在第一时间投影扭曲的第一色场，并且可以在第二时间投影扭曲的第二色场。
在另一实施例中，一种用于扭曲多场彩色虚拟内容以进行顺序投影的系统包括扭曲单元，该扭曲单元用于接收具有不同的第一和第二颜色的第一和第二色场以进行顺序投影。扭曲单元包括姿势估计器，该姿势估计器确定用于投影相应的扭曲的第一和第二色场的第一和第二时间，并且预测相应的第一和第二时间处的第一和第二姿势。扭曲单元还包括变换单元，该变换单元通过基于相应的第一和第二姿势扭曲相应的第一和第二色场来生成扭曲的第一和第二色场。
在又一个实施例中，一种实施在非瞬态计算机可读介质中的计算机程序产品，该计算机可读介质上存储有指令序列，当由处理器执行指令序列时使处理器执行用于扭曲多场彩色虚拟内容以进行顺序投影的方法。该方法包括获取具有不同的第一和第二颜色的第一和第二色场。该方法还包括确定用于投影扭曲的第一色场的第一时间。该方法还包括确定用于投影扭曲的第二色场的第二时间。此外，该方法包括预测第一时间处的第一姿势并预测第二时间处的第二姿势。另外，该方法包括通过基于第一姿势扭曲第一色场来生成扭曲的第一色场。该方法还包括通过基于第二姿势扭曲第二色场来生成扭曲的第二色场。
在又一实施例中，一种用于扭曲多场彩色虚拟内容以进行顺次投影的计算机实现的方法包括获取应用帧和应用姿势。该方法还包括估计第一估计显示时间处应用帧的第一扭曲的第一姿势。该方法还包括使用应用姿势和估计的第一姿势执行应用帧的第一扭曲以生成第一扭曲帧。此外，该方法包括估计第二估计显示时间处第一扭曲帧的第二扭曲的第二姿势。另外，该方法包括使用估计的第二姿势执行第一扭曲帧的第二扭曲以生成第二扭曲帧。
在一个或多个实施例中，该方法包括在约第二估计显示时间处显示第二扭曲帧。该方法还可以包括估计第三估计显示时间处的第一扭曲帧的第三扭曲的第三姿势，并且使用估计的第三姿势来执行第一扭曲帧的第三扭曲以生成第三扭曲帧。第三估计显示时间可以晚于第二估计显示时间。该方法还可以包括在约第三估计显示时间处显示第三扭曲帧。
在另一实施例中，一种用于最小化颜色分离(“CBU”)伪像的计算机实现方法包括基于接收到的眼睛或头部跟踪信息来预测CBU伪像，该方法还包括基于预测的CBU伪像来增加色场速率。
在一个或多个实施例中，该方法包括基于接收到的眼睛或头部跟踪信息和增加的色场速率来预测第二CBU，并且基于预测的第二CBU伪像来减小比特深度。该方法还可以包括使用增加的色场速率和减小的比特深度来显示图像。方法还可以包括使用增加的色场速率来显示图像。
在详细的描述、附图和权利要求中描述了本公开的附加以及其他的目的、特征和优点。
附图说明
附图示出了本公开的各种实施例的设计和实用性。应该注意的是，附图未按比例绘制，并且贯穿附图相似结构或功能的要素由相同的附图标记表示。为了更好地理解如何获得本公开的各种实施例的上述和其他优点及目的，将参考在附图中示出的其特定实施例来呈现上面简要描述的本公开的更详细描述。应理解，这些附图仅描绘了本公开的典型实施例，因此不应认为是对其范围的限制，将通过使用附图以附加的特殊性和细节来描述和解释本公开，附图中：
图1描绘了根据一些实施例的通过可穿戴AR用户设备的增强现实(AR)的用户视图。
图2A至图2C示意性地描绘了根据一些实施例的AR系统及其子系统。
图3和图4示出了根据一些实施例的具有快速头部运动的渲染伪像。
图5示出了根据一些实施例的示例性虚拟内容扭曲。
图6描绘了根据一些实施例的如图5所示扭曲虚拟内容的方法。
图7A和图7B描绘了根据一些实施例的多场(彩色)虚拟内容扭曲及其结果。
图8描绘了根据一些实施例的扭曲多场(彩色)虚拟内容的方法。
图9A和图9B描绘了根据一些实施例的多场(彩色)虚拟内容扭曲及其结果。
图10示意性地描绘了根据一些实施例的图形处理单元(GPU)。
图11描绘了根据一些实施例作为基元存储的虚拟对象。
图12描绘了根据一些实施例的扭曲多场(彩色)虚拟内容的方法。
图13是示意性描绘了根据一些实施例的示例计算系统的框图。
图14描绘了根据一些实施例的多场(彩色)虚拟内容的扭曲/渲染管线。
图15描绘了根据一些实施例的在扭曲多场(彩色)虚拟内容中使颜色色分离伪像最小化的方法。
具体实施方式
本公开的各种实施例涉及用于在单个实施例或多个实施例中使来自源的虚拟内容扭曲的系统、方法和制品。在详细的描述、附图和权利要求中描述了本公开的其他目的、特征和优点。
现在将参考附图详细描述各种实施例，各种实施例被提供作为本公开的说明性示例，以使得本领域技术人员能够实践本公开。值得注意的是，下面的附图和示例并不意味着限制本公开的范围。在可以使用已知部件(或方法或过程)部分或完全实现本公开的某些元件的情况下，将仅描述理解本公开所必需的这些已知部件(或方法或过程)的那些部分，并且将省略对这些已知部件(或方法或过程)的其他部分的详细描述，以免模糊本公开。此外，各种实施例包含本文中通过说明的方式提及的部件的当前和未来已知等同物。
虚拟内容扭曲系统可以独立于混合现实系统来实现，但是下面的一些实施例仅出于说明性目的而关于AR系统进行描述。此外，这里描述的虚拟内容扭曲系统也可以以与VR系统相同的方式使用。
说明性的混合现实情景和系统
下面的描述涉及实施扭曲系统所利用的说明性增强现实系统。然而，应该理解，实施例也适用于其他类型的显示系统(包括其他类型的混合现实系统)中的应用，因此实施例不只限于这里公开的说明性系统。
混合现实(例如，VR或AR)情景通常包括与真实世界对象相关的虚拟对象对应的虚拟内容(例如，彩色图像和声音)的呈现。例如，参考图1，描绘了增强现实(AR)场景100，其中AR技术的用户看到以背景中的人、树、建筑为特征的真实世界的物理的公园状的设置102以及真实世界的物理实体平台104。除了这些项目，AR技术的用户还感觉他们“看到”站在物理实体平台104上的虚拟机器人雕像106，以及看起来像飞行的蜜蜂的化身的虚拟卡通式头像角色108，尽管这些虚拟对象106、108不存在于真实世界中。
与AR情景一样，VR情景必须也考虑用于生成/渲染虚拟内容的姿势。准确地将虚拟内容扭曲到AR/VR显示参考帧并对扭曲的虚拟内容进行扭曲可以改善AR/VR情景，或者至少不会减损AR/VR情景。
下面的描述涉及可以实施本公开所利用的说明性AR系统。然而，应该理解，本公开也适用于其他类型的增强现实和虚拟现实系统中的应用，因此本公开不仅限于这里公开的说明性系统。
参照图2A，描绘了根据一些实施例的AR系统200的一个实施例。AR系统200可以与投影子系统208一起操作，提供与用户250的视野中的物理对象混合的虚拟对象的图像。该方法采用一个或多个至少部分透明的表面，通过该表面可以看到包括物理对象的周围环境，并且AR系统200通过该表面产生虚拟对象的图像。投影子系统208容纳在控制子系统201中，控制子系统201通过链路207操可作地耦合到显示系统/子系统204。链路207可以是有线或无线通信链路。
对于AR应用，可能期望将各种虚拟对象相对于用户250的视野中的各个物理对象在空间上定位。虚拟对象可以采用多种形式中的任何一种，具有能够表示为图像的任何种类的数据、信息、概念或逻辑构造。虚拟对象的非限制性示例可包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟仪器对象、或物理对象的虚拟可视化表示。
AR系统200包括由用户250佩戴的框架结构202，由框架结构202承载的显示系统204，使得显示系统204定位在用户250的眼睛前方，并且扬声器206结合到显示系统204中或连接到显示系统204。在所示实施例中，扬声器206由框架结构202承载，使得扬声器206定位在用户250的耳道附近(在其中或周围)，例如，耳塞或耳机。
显示系统204被设计成向用户250的眼睛呈现基于照片的辐射图案，其可以被舒适地感知为包括二维和三维内容的对于周围环境的增强。显示系统204以提供单个连贯(coherent)场景的感知的高频率来呈现帧序列。为此，显示系统204包括投影子系统208和部分透明的显示屏幕，投影子系统208通过该显示屏幕投影图像。显示屏幕位于用户250的眼睛和周围环境之间的用户250的视野中。
在一些实施例中，投影子系统208采用基于扫描的投影设备的形式，并且显示屏幕采用基于波导的显示器的形式，来自投影子系统208的扫描光被注入到该基于波导的显示器中以产生例如位于与无限远相比较近的单个光学观看距离处(例如，手臂的长度)的图像，位于多个离散的光学观看距离或焦平面处的图像，和/或在多个观看距离或焦平面处堆叠的图像层以表示体积3D对象。光场中的这些层可以足够紧密地堆叠在一起，以对于人类视觉子系统显得连续(例如，一层在相邻层的混淆锥(cone of confusion)内)。附加地或替代地，图像元素可以跨越两个或更多个层混合以增加光场中的层之间的过渡的感知连续性，即使这些层更稀疏地堆叠(例如，一个层在相邻层的混淆锥之外)。显示系统204可以是单眼的或双目的。扫描组件包括产生光束的一个或多个光源(例如，以限定的图案发射不同颜色的光)。光源可以采用多种形式中的任何一种，例如，一组RGB源(例如，能够输出红色、绿色和蓝色光的激光二极管)，该RGB光源能够根据在像素信息或数据的各个帧中指定的限定的像素图案，进行操作以分别产生红色、绿色和蓝色相干准直光。激光提供高色彩饱和度并且高能效。光学耦合子系统包括光学波导输入装置，例如一个或多个反射表面、衍射光栅、反射镜、二向色镜或棱镜，以将光光学地耦合到显示屏的端部。光学耦合子系统还包括对于来自光纤的光进行准直的准直元件。可选地，光学耦合子系统包括光学调制装置，该光学调制装置被配置为使来自准直元件的光朝向位于光学波导输入装置的中心处的焦点会聚，从而允许光学波导输入装置的尺寸最小化。因此，显示子系统204生成像素信息的一系列合成图像帧，该系列合成图像帧向用户呈现一个或多个虚拟对象的未失真图像。因此，显示子系统204还生成像素信息的一系列彩色合成子图像帧，该系列彩色合成子图像帧向用户呈现一个或多个虚拟对象的未失真彩色图像。描述显示子系统的进一步细节提供于题为“Display System and Method(显示系统和方法)”(代理人案卷号ML.20006.00)的第14/212,961号美国实用专利申请和题为“Planar Waveguide Apparatus With DiffractionElement(s)and Subsystem Employing Same(具有衍射元件的平面波导装置以及使用该平面波导装置的子系统)”(代理人案卷号ML.20020.00)的第14/331,218号美国实用专利申请，其内容通过引用明确地全部并入本文，如同完整阐述一样。
AR系统200还包括安装到框架结构202的一个或多个传感器，用于检测用户250的头部的位置(包括方位)和运动和/或用户250的眼睛位置和瞳孔间距。这样的传感器可以包括图像捕获设备、麦克风、惯性测量单元(IMU)、加速度计、罗盘、GPS单元、无线电设备、陀螺仪等。例如，在一个实施例中，AR系统200包括头戴式换能器子系统，其包括一个或多个惯性换能器以捕获指示用户250的头部的运动的惯性测量。这些设备可以用于感测、测量或收集关于用户250的头部运动的信息。例如，这些设备可用于检测/测量用户250的头部的运动、速度、加速度和/或位置。用户250的头部的位置(包括方位)也被称为用户250的“头部姿势”。
图2A的AR系统200可以包括一个或多个前向相机。相机可用于任何数目的目的，例如记录来自系统200的前向方向的图像/视频。另外，相机可以用于捕获关于用户250所处的环境的信息，例如指示用户250相对于该环境以及该环境中的特定对象的距离、方位和/或角度位置的信息。
AR系统200还可以包括后向相机，以跟踪用户250的眼睛的角度位置(眼睛或双眼看向的指向)、眨眼和焦点深度(通过检测眼睛会聚(convergence))。这种眼睛跟踪信息例如可以通过在终端用户的眼睛处投影光并且检测至少一些投影光的返回或反射来辨别。
增强现实系统200还包括控制子系统201，其可以采用多种形式中的任何一种。控制子系统201包括多个控制器，例如一个或多个微控制器、微处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)，其他集成电路控制器，例如专用集成电路(ASIC)，可编程门阵列(PGA)，例如现场PGA(FPGA)和/或可编程逻辑控制器(PLU)。控制子系统201可以包括数字信号处理器(DSP)、中央处理单元(CPU)251、图形处理单元(GPU)252和一个或多个帧缓冲器254。CPU 251控制系统的整体操作，而GPU 252渲染帧(即，将三维场景转化为二维图像)并将这些帧存储在一个或多个帧缓冲器254中。虽然未示出，但是一个或多个附加集成电路可以控制向帧缓冲器254读入帧和/或从帧缓冲器254读出帧以及显示系统204的操作。向帧缓冲器254读入和/或从帧缓冲器254读出可以采用动态寻址，例如，其中帧被过度渲染。控制子系统201还包括只读存储器(ROM)和随机存取存储器(RAM)。控制子系统201还包括三维数据库260，GPU 252可以从该三维数据库260访问用于渲染帧的一个或多个场景的三维数据，以及与包含在三维场景内的虚拟声源相关联的合成声音数据。
增强现实系统200还包括用户方位检测模块248。用户方位模块248检测用户250的头部的瞬时位置，并且可以基于从传感器接收的位置数据来预测用户250的头部的位置。用户方位模块248还跟踪用户250的眼睛，特别是基于从传感器接收的跟踪数据来跟踪用户250聚焦的方向和/或距离。
图2B描绘了根据一些实施例的AR系统200'。图2B中所示的AR系统200'类似于图2A所示和上面的描述的AR系统200。例如，AR系统200'包括框架结构202、显示系统204、扬声器206和通过链路207可操作地耦合到显示系统子204的控制子系统201'。图2B中描绘的控制子系统201'类似于图2A中描绘和上面的描述的控制子系统201。例如，控制子系统201'包括投影子系统208、图像/视频数据库271、用户方位模块248、CPU 251、GPU 252、3D数据库260、ROM和RAM。
图2B中描绘的控制子系统201'，进而是AR系统200'，与图2A描绘的对应系统/系统组件的差异在于，图2B中所示的控制子系统201'中存在扭曲单元280。扭曲单元290是独立于GPU 252或CPU 251的单独扭曲块。在其他实施例中，扭曲单元290可以是单独扭曲块中的部件。在一些实施例中，扭曲单元290可以在GPU 252内部。在一些实施例中，扭曲单元290可以在CPU 251内部。图2C示出扭曲单元280包括姿势估计器282和变换单元284。
AR系统200、200'的各种处理组件可以包含在分布式子系统中。例如，AR系统200、200'包括操作地耦合到显示系统204的一部分的本地处理和数据模块(即，控制子系统201、201')，例如通过有线导线或无线连接207进行耦合。本地处理和数据模块可以以各种配置安装，例如固定地附接到框架结构202，固定地附接到头盔或帽子，嵌入耳机中，可移除地附接到用户250的躯干，或者可移除地附接在皮带耦合式配置中的用户250的臀部。AR系统200、200'还可以包括操作地耦合到本地处理和数据模块的远程处理模块和远程数据储存库，例如通过有线导线或无线连接进行耦合，使得这些远程模块可操作地彼此耦合并且能够用作本地处理和数据模块的资源。本地处理和数据模块可以包括功率高效的处理器或控制器，以及数字存储器，例如闪速存储器，两者都可以用于协助处理、缓存和存储从传感器捕获的数据和/或者使用远程处理模块和/或远程数据储存库获取和/或处理的数据，可能用于在这样的处理或获取之后传递到显示系统204。远程处理模块可以包括一个或多个相对强大的处理器或控制器，其被配置为分析和处理数据和/或图像信息。远程数据储存库可以包括相对大规模的数字数据存储设施，其可以通过“云”资源配置中的互联网或其它联网配置能够使用。在一些实施例中，在本地处理和数据模块中存储全部数据，并且执行全部计算，允许从远程模块完全自主使用。上述各种部件之间的耦合可以包括一个或多个有线接口或端口以提供有线或光学通信，或者一个或多个无线接口或端口，诸如经由RF、微波和IR以提供无线通信。在一些实施方式中，所有的通信可以都是有线的，而在一些其他实施方式中，所有的通信可以都是无线的，光纤除外。
问题和解决方案的概要
当光学系统生成/渲染彩色虚拟内容时，它可以使用在渲染虚拟内容时可能与系统的姿势相关的源参考帧。在AR系统中，所渲染的虚拟内容可以具有与真实物理对象的预定义关系。例如，图3示出了AR情景300，其包括位于真实物理基座312的顶部上的虚拟花盆310。AR系统基于其中真实基座312的位置是已知的源参考帧来渲染虚拟花盆310，使得虚拟花盆310看起来搁置在真实基座312的顶部上。AR系统可以在第一时间使用源参考帧渲染虚拟花盆310，并且在第一时间之后的第二时间，将渲染的虚拟花盆310显示/投影在输出参考帧处。如果源参考帧和输出参照帧是相同的，则虚拟花盆310将出现在期望其处于的位置(例如，在真实物理基座312的顶部上)。
然而，如果AR系统的参考帧在渲染虚拟花盆310的第一时间与显示/投影所渲染的虚拟花盆310的第二时间之间的间隙改变(例如，随着快速的用户头部移动)，源参考帧和输出参考帧之间的不匹配/差异可能导致视觉伪像/异常/毛刺。例如，图4示出了AR情景400，其包括被渲染位于真实物理基座412的顶部上的虚拟花盆410。然而，因为在虚拟花盆410被渲染之后而在其被显示/投影之前AR系统被快速向右移动，虚拟花盆410被显示在其预期位置410'(以虚线示出)的右侧。这样，虚拟花盆410看起来漂浮在真实物理基座412右侧的半空中。当在输出参考帧中重新渲染虚拟花盆时(假设AR系统运动停止)，将修复该伪像。然而，一些用户仍然可以看到伪像，其中虚拟花盆410通过暂时跳到意外位置而出现毛刺。这种毛刺和与其类似的其他情况会对AR场景的连续性错觉产生有害影响。
一些光学系统可以包括扭曲系统，该扭曲系统将来自从其中生成虚拟内容的源参考帧的源虚拟内容的参考帧扭曲或变换到将在其中显示虚拟内容的输出参考帧。如图4所示的示例中，AR系统可以检测和/或预测(例如，使用IMU或眼睛跟踪)输出参考帧和/或姿势。然后，AR系统可以将来自源参考帧的渲染的虚拟内容扭曲或变换为输出参考帧中的扭曲的虚拟内容。
彩色虚拟内容扭曲系统和方法
图5示意性示出根据一些实施例的虚拟内容的扭曲。由射线510表示的源参考帧(渲染姿势)中的源虚拟内容512被扭曲成由射线510'表示的输出参考帧(估计姿势)中的扭曲虚拟内容512'。图5中描绘的扭曲可以表示头部向右旋转。当源虚拟内容512设置在源X、Y位置时，扭曲的虚拟内容512'被变换为输出X'、Y'位置。
图6描绘了根据一些实施例的用于扭曲虚拟内容的方法。在步骤612，扭曲单元280接收虚拟内容、基本姿势(即，AR系统200、200'的当前姿势(当前参考帧))、渲染姿势(即，AR系统200、200'用于渲染虚拟内容的姿势(源参考帧))、以及估计的照射时间(即，显示系统204将被照射的估计时间(估计的输出参考帧))。在一些实施例中，基本姿势可以比渲染姿势更新/更近期/更新近。在步骤614，姿势估计器282使用基本姿势和关于AR系统200、200'的信息来估计估计的照射时间处的姿势。在步骤616，变换单元284使用估计的姿势(来自估计的照射时间)和渲染姿势，根据接收到的虚拟内容生成扭曲的虚拟内容。
当虚拟内容包括颜色时，一些扭曲系统使用单个输出参考帧中的单个X'、Y'位置(例如，来自单个估计的照射时间的单个估计姿势)来扭曲对应于/形成彩色图像的所有彩色子图像或场。然而，一些投影显示系统(例如，顺序投影显示系统)，如一些AR系统中的那些一样，不会同时投影所有彩色子图像/场。例如，每个彩色子图像/场的投影之间可能存在一些延迟。每个彩色子图像/场的投影之间的这种延迟，即照射时间的差异，可能导致在快速头部移动期间最终图像中的彩色条纹伪像。
例如，图7A示意性地示出了根据一些实施例的使用一些扭曲系统的彩色虚拟内容的扭曲。源虚拟内容712具有三个颜色部分：红色部分712R；绿色部分712G；和蓝色部分712B。在该示例中，每个颜色部分对应于彩色子图像/场712R"、712G"、712B"。一些扭曲系统使用由射线710"表示的单个输出参考帧(例如，估计姿势)(例如，对应于绿色子图像及其照射时间t1的参考帧710")来扭曲所有三个彩色子图像712R"、712G"、712B"。然而，一些投影系统并不同时投影彩色子图像712R"、712G"、712B"。相反，彩色子图像712R"、712G"、712B"在三个略微不同的时间投影(在时间t0、t1和t2由射线710'、710”、710”'表示)。子图像的投影之间的延迟的大小可以取决于投影系统的帧/刷新率。例如，如果投影系统具有60Hz或更低(例如，30Hz)的帧速率，则随着快速移动的观看者或对象，延迟可以导致彩色条纹伪像。
图7B示出了根据一些实施例由类似于图7A中所示的虚拟内容扭曲系统/方法生成的彩色条纹伪像。因为红色子图像712R”使用由图7A中的射线710”表示的输出参考帧(例如，估计姿势)来扭曲，但是在由射线710'表示的时间t0处投影，所以红色子图像712R”看起来超出(overshoot)了预期的扭曲。这种超出表现为图7B中的右条纹图像712R”。因为绿色子图像712G”使用由图7A中的射线710”表示的输出参考帧(例如，估计的姿势)来扭曲，并且在由射线710”表示的时间t1处投影，因此绿色子图像712G”以预期的扭曲投影。这由图7B中的中心图像712G”表示。因为蓝色子图像712B"使用由图7A中的射线710”表示的输出参考帧(例如，估计的姿势)来扭曲，但是在由射线710”'表示的时间t2处投影，因此蓝色子图像712B”看起来低于(undershoot)预期的扭曲。该低于表现为图7B中的左条纹图像712B”。图7B示出了在用户的脑海中重构扭曲的虚拟内容，包括具有三个重叠的R、G、B色场的身体(即，以彩色渲染的身体)。图7B包括红色右条纹图像颜色分离(“CBU”)伪像712R"、中心图像712G"和蓝色左条纹图像CBU伪像712B"。
为了说明的目的，图7B夸大了超出和低于效应。这些效应的大小取决于投影系统的帧/场速率以及虚拟内容和输出参考帧(例如，估计的姿势)的相对速度。当这些超出和低于效应较小时，它们可能显示为彩色/彩虹条纹。例如，在足够慢的帧速率下，诸如棒球的白色虚拟对象可以具有彩色(例如，红色、绿色和/或蓝色)条纹。代替具有条纹，与子图像匹配的选择纯色(例如，红色、绿色和/或蓝色)的虚拟对象可能出现毛刺(即，看起来在快速移动期间跳跃到意外位置并在快速移动之后跳回到预期的位置)。这种纯色虚拟对象还可能看起来在快速移动期间是振动的。
为了解决这些限制和其他限制，这里描述的系统使用与多个彩色子图像/场相对应的多个参考帧来扭曲彩色虚拟内容。例如，图8描绘了根据一些实施例的用于扭曲彩色虚拟内容的方法。在步骤812，扭曲单元280接收虚拟内容、基本姿势(即，AR系统200、200'的当前姿势(当前参考帧))、渲染姿势(即，AR系统200、200'用于渲染虚拟内容的姿势(源参考帧))，以及与显示系统204有关的每个子图像/色场(R，G，B)的估计照射时间(即，针对每个子图像显示系统204被照射的估计时间(每个子图像的估计的输出参考帧))。在步骤814，扭曲单元280将虚拟内容分成每个子图像/色场(R，G，B)。
在步骤816R、816G和816B，姿势估计器282使用基本姿势(例如，当前参考帧)和关于AR系统200、200'的信息来估计R、G、B子图像/场的相应估计照射时间处的姿势。在步骤818R、818G和818B，变换单元284使用相应的估计的R、G和B姿势和渲染姿势(例如，源参考帧)，根据接收到的虚拟内容子图像/色场(R，G，B)来生成R、G和B扭曲的虚拟内容。在步骤820，变换单元284将扭曲的R、G、B子图像/场组合以用于顺序显示。
图9A示意性地示出了根据一些实施例的使用扭曲系统来扭曲彩色虚拟内容。源虚拟内容912与图7A中的源虚拟内容712相同。源虚拟内容912具有三个颜色部分：红色部分912R；绿色部分912G；和蓝色部分912B。每个颜色部分对应于彩色子图像/场912R'、912G"、912B”'。根据本文实施例的扭曲系统使用由射线910'、910"、910”'表示的相应输出参考帧(例如，估计姿势)来扭曲每个对应的彩色子图像/场912R'、912G"，912B”'。这些扭曲系统在扭曲彩色虚拟内容时考虑彩色子图像912R'、912G”、912B”'的投影的时间(即，t0、t1、t2)。投影的时间取决于投影系统的帧/场速率，其用于计算投影的时间。
图9B示出了由类似于图9A中所示的虚拟内容扭曲系统/方法生成的扭曲彩色子图像912R'、912G”、912B”'。因为红色、绿色和蓝色子图像912R'、912G”、912B”'使用由射线910'、910”、910”'表示的相应输出参考帧(例如，估计姿势)来扭曲，并且在由相同射线910'、910”、910”'表示的时间t0、t1、t2处投影，子图像912R'、912G”、912B”'以预期的扭曲投影。图9B示出了根据一些实施例的扭曲虚拟内容的重构，其包括在用户的脑海中具有三个重叠的R、G、B色场的身体(即，以彩色渲染的身体)。图9B是身体以彩色进行的基本上精确的渲染，因为三个子图像/场912R'、912G"、912B”'在适当的时间以预期的扭曲投影。
根据这里的实施例的扭曲系统使用考虑投影时间/照射时间的对应的参考帧(例如，估计姿势)来扭曲子图像/场912R'、912G”、912B”'，而不是使用单个的参考帧。因此，根据本文的实施例的扭曲系统将彩色虚拟内容扭曲为不同颜色/场的单独子图像，同时最小化诸如CBU的扭曲相关彩色伪像。彩色虚拟内容的更精确扭曲有助于更真实和可信的AR场景。
说明性图形处理单元
图10示意性地描绘了根据一个实施例的示例性图形处理单元(GPU)252，其将彩色虚拟内容扭曲到与各种彩色子图像或场对应的输出参考帧。GPU 252包括输入存储器1010，用于存储所生成的要扭曲的彩色虚拟内容。在一个实施例中，彩色虚拟内容被存储为基元(例如，图11中的三角形1100)。GPU 252还包括命令处理器1012，其(1)从输入存储器1010接收/读取彩色虚拟内容，(2)将彩色虚拟内容划分为彩色子图像并且将这些彩色子图像分为调度单元，以及(3)沿着渲染管线以波或经线(warp)发送调度单元用于并行处理。GPU 252还包括调度器1014，用于从命令处理器1012接收调度单元。调度器1014还确定是来自命令处理器1012的“新工作”还是从渲染管线中的下游返回的“旧工作”(在下面描述)应该在任何特定时间向下发送到渲染管线。实际上，调度器1014确定GPU 252处理各种输入数据的序列。
GPU 252包括GPU核1016，其中GPU核316具有多个并行可执行核/单元(“着色器核”)1018，用于并行处理调度单元。命令处理器1012将彩色虚拟内容划分为等于着色器核1018的数量的数量(例如，32)。GPU 252还包括“先入先出”(“FIFO”)存储器1020以接收来自GPU核1016的输出。输出可以作为“旧工作”从FIFO存储器1020被路由回调度器1014，以便插入到由GPU核1016进行的渲染管线附加处理。
GPU 252还包括栅格操作单元(“ROP”)1022，其接收来自FIFO存储器1020的输出并栅格化输出以供显示。例如，彩色虚拟内容的基元可以存储为三角形顶点的坐标。在由GPU核1016处理之后(在此期间的三角形1100的三个顶点1110、1112、1114可以被扭曲)，ROP1022确定哪些像素1116在由三个顶点1110、1112、1114限定的三角形1100内部，并填充彩色虚拟内容中的那些像素1116。ROP 1022还可以对彩色虚拟内容执行深度测试。为了处理彩色虚拟内容，GPU 252可以包括多个ROP 1022R、1022B、1022G以并行处理不同基色的子图像。
GPU 252还包括缓冲存储器1024，用于临时存储来自ROP 1022的扭曲的彩色虚拟内容。缓冲存储器1024中的扭曲彩色虚拟内容可以包括在输出参考帧中的视场中的多个X、Y位置处的亮度/颜色和深度信息。来自缓冲存储器1024的输出可以作为“旧工作”被路由回调度器1014，以便插入到由GPU核1016进行的渲染管线附加处理，或者用于显示在显示系统的相应像素中。输入存储器1010中的彩色虚拟内容的每个片段由GPU核1016处理至少两次。GPU核1016首先处理三角形1100的顶点1110、1112、1114，然后处理三角形1100内部的像素1116。当输入存储器1010中的彩色虚拟内容的所有片段已经被扭曲并进行深度测试(如果需要)时，缓冲存储器1024将包括在输出参考帧中显示视野所需的所有亮度/颜色和深度信息。
彩色虚拟内容扭曲系统和方法
在没有头部姿势改变的标准图像处理中，GPU 252的处理结果是在各个X、Y值(例如，在每个像素处)处的颜色/亮度值和深度值。然而，在头部姿势改变的情况下，虚拟内容被扭曲以符合头部姿势变化。对于彩色虚拟内容，每个彩色子图像分别扭曲。在用于扭曲彩色虚拟内容的现有方法中，使用单个输出参考帧(例如，对应于绿色子图像)来扭曲对应于彩色图像的彩色子图像。如上所述，这可能导致彩色条纹和其他视觉伪像，例如CBU。
图12描绘了用于使彩色虚拟内容扭曲同时最小化诸如CBU的视觉伪像的方法1200。在步骤1202，扭曲系统(例如，GPU核1016和/或其扭曲单元280)确定R、G和B子图像的投影/照射时间。该确定使用与投影系统相关的帧速率和其他特性。在图9A中的示例中，投影时间对应于t0、t1和t2以及射线910'、910"、910”'。
在步骤1204，扭曲系统(例如，GPU核1016和/或其姿势估计器282)预测与R、G和B子图像的投影时间对应的姿势/参考帧。该预测使用各种系统输入，包括当前姿势、系统IMU速度和系统IMU加速度。在图9A中的示例中，R、G、B姿势/参考帧对应于射线t0、t1和t2以及910'、910"、910”'。
在步骤1206，扭曲系统(例如，GPU核1016、ROP 1022和/或其变换单元284)使用在步骤1204预测的R姿势/参考帧来扭曲R子图像。在步骤1208，扭曲系统(例如，GPU核1016、ROP 1022和/或其变换单元284)使用在步骤1204预测的G姿势/参考帧来扭曲G子图像。在步骤1210，扭曲系统(例如，GPU核1016、ROP 1022和/或其变换单元284)使用在步骤1204预测的B姿势/参考帧来扭曲B子图像。使用相应的姿势/参考帧来扭曲单独的子图像/场将这些实施例区别于用于扭曲彩色虚拟内容的现有方法。
在步骤1212，可操作地耦合到扭曲系统的投影系统在步骤1202中确定的R、G和B子图像的投影时间处投影R、G、B子图像。
如上所述，图10中描绘的方法1000也可以在单独的扭曲单元290上执行，该单独的扭曲单元290独立于任何GPU 252或CPU 251。在又一个实施例中，图10中描绘的方法1000可以在CPU 251上执行。在其他实施例中，图10中描绘的方法1000可以在GPU 252、CPU 251和单独的扭曲单元290的各种组合/子组合上执行。图10中描绘的方法1000是能够根据特定时间的系统资源可用性使用各种执行模型来执行的图像处理管线。
使用对应于每个彩色子图像/场的预测姿势/参考帧来扭曲彩色虚拟内容减少了彩色条纹和其他视觉异常。减少这些异常会导致更加逼真和沉浸式的混合现实情景。
系统架构概述
图13是根据一些实施例的示例计算系统1300的框图。计算机系统1300包括总线1306或用于传递信息的其他通信机制，其将子系统和设备进行互联，例如处理器1307、系统存储器1308(例如，RAM)、静态存储设备1309(例如，ROM)、(例如，磁或光)盘碟驱动器1310、通信接口1314(例如，调制解调器或以太网卡)、显示器1311(例如，CRT或LCD)、输入设备1312(例如，键盘)和光标控制。
根据一些实施例，计算机系统1300通过处理器1307执行包含在系统存储器1308中的一个或多个指令的一个或多个序列来执行特定操作。这些指令可以从另一计算机可读/可用介质(例如，静态存储设备1309或盘碟驱动器1310)读入系统存储器1308。在替代实施例中，可以使用硬连线电路代替软件指令或与软件指令组合以实现本公开。因此，实施例不限于硬件电路和/或软件的任何特定组合。在一个实施例中，术语“逻辑”应表示用于实现本公开的全部或部分的软件或硬件的任何组合。
这里使用的术语“计算机可读介质”或“计算机可用介质”是指参与向处理器1307提供指令以供执行的任何介质。这种介质可以采用许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质包括例如光盘或磁盘，例如盘碟驱动器1310。易失性介质包括动态存储器，例如系统存储器1308。
计算机可读介质的常见形式包括例如，软磁盘，软盘，硬盘，磁带，任何其他磁介质，CD-ROM，任何其他光学介质，穿孔卡，纸带，具有孔图案的任何其他物理介质，RAM，PROM，EPROM，FLASH-EPROM(例如，NAND闪存，NOR闪存)，任何其他存储器芯片或盒式磁带，或计算机可以读取的任何其他介质。
在一些实施例中，实践本公开的指令序列的执行由单个计算机系统1300执行。根据一些实施例，通过通信链路1315(例如，LAN、PTSN或无线网络)耦合的两个或更多个计算机系统1300可以彼此协调地执行实践本公开所需的指令序列。
计算机系统1300可以通过通信链路1315和通信接口1314发送和接收消息、数据和指令，包括程序，即应用程序代码。接收的程序代码可以在被接收时由处理器1307执行，和/或存储在盘碟驱动器1310或其他非易失性存储器中以供稍后执行。存储介质1331中的数据库1332可用于存储由系统1300通过数据接口1333访问的数据。
替代扭曲/渲染管线
图14描绘了根据一些实施例的用于多场(彩色)虚拟内容的扭曲/渲染管线1400。管线1400包含两个方面：(1)多阶段/解耦扭曲和(2)应用帧与照射帧之间的节奏(cadence)变化。
(1)多阶段/解耦扭曲
管线1400包括一个或多个扭曲阶段。在1412处，应用CPU(“客户端”)生成虚拟内容，其由应用GPU 252处理成一个或多个(例如，R、G、B)帧和姿势1414。在1416处，扭曲/合成器CPU及其GPU 252使用针对每帧的第一估计姿势来执行第一扭曲。稍后在管线1400中(即，更接近照射)，扭曲单元1420使用针对每帧的第二估计姿势对每个帧1422R、1422G、1422B执行第二扭曲。第二估计姿势可以比相应的第一估计姿势更准确，因为第二估计姿势被确定为更接近照射。两次扭曲的帧1422R、1422G、1422B显示在t0、t1和t2。
第一扭曲可以是最佳猜测，其可以用于对齐虚拟内容的帧以用于稍后的扭曲。这可能是计算密集型扭曲。第二扭曲可以是相应的一次扭曲帧的顺序校正扭曲。第二扭曲可以是计算密集较小的扭曲，以减少第二估计姿势与显示/照射之间的时间，从而提高准确度。
(2)节奏变化
在一些实施例中，客户端或应用程序与显示或照射的节奏(即帧速率)可能不匹配。在一些实施例中，照射帧速率可以是应用帧速率的两倍。例如，照射帧速率可以是60Hz，并且应用帧速率可以是30Hz。
为了解决这种节奏不匹配的扭曲问题，管线1400生成来自应用CPU 1412和GPU252的每帧1414的两组两次扭曲帧1422R、1422G、1422B(用于在t0-t2处投影)和1424R、1424G、1424B(用于在t3-t5处投影)。使用相同的帧1414和第一扭曲帧1418，扭曲单元1420顺序地生存第一和第二组两次扭曲帧1422R、1422G、1422B和1424R、1424G、1424B。这为每个应用帧1414提供了两次数量的扭曲帧1422、1424。第二次扭曲可以是较小计算密集度的扭曲，以进一步降低处理器/功率需求和发热量。
虽然管线1400描绘了2：1的照射/应用比率，但是该比率可以在其他实施例中变化。例如，照射/应用比率可以是3：1、4：1、2.5：1等。在具有分数比的实施例中，最近生成的应用帧1414可以用在管线中。
替代的颜色分离最小化方法
图15描绘了根据一些实施例的最小化用于顺序显示的扭曲多场(彩色)虚拟内容中的颜色分离(CBU)伪像的方法1500。在步骤1512，CPU接收眼睛和/或头部跟踪信息(例如，来自眼睛跟踪相机或IMU)。在步骤1514，CPU分析眼睛和/或头部跟踪信息以预测CBU伪像(例如，基于显示系统的特性)。在步骤1516，如果预测到CBU，则方法1500前进到步骤1518，其中CPU增加色场速率(例如，从180Hz增加到360Hz)。在步骤1516，如果未预测到CBU，则方法1500前进到步骤1526，其中使用系统默认色场速率和比特深度(例如，180Hz和8比特)来显示图像(例如，分割和扭曲的场信息)。
在步骤1518，在增加色场速率之后，系统在步骤1520重新分析眼睛和/或头部跟踪信息以预测CBU伪像。在步骤1522，如果预测到CBU，则方法1500前进到步骤1524，其中CPU减小比特深度(例如，从8比特减小到4比特)。在减小比特深度之后，使用增加的色场速率和减小的比特深度(例如，360Hz和4比特)来显示图像(例如，分割和扭曲的场信息)。
在步骤1522，如果未预测到CBU，则方法1500前进到步骤1526，其中使用增加的色场速率和系统默认比特深度(例如，180Hz和8比特)来显示图像(例如，分割和扭曲的场信息)。
在使用调整的或系统默认的色场速率和比特深度来显示图像(例如，分割和扭曲的场信息)之后，CPU在返回到步骤1512之前在步骤1528中将色场速率和比特深度重置为系统默认值以重复方法1500。
通过响应于预测到的CBU来调整色场速率和比特深度，图15中描绘的方法1500示出了最小化CBU伪像的方法。方法1500可以与本文描述的其他方法(例如，方法800)组合以进一步减少CBU伪像。虽然图15中描绘的方法1500中的大多数步骤是由CPU执行，这些步骤中的一些或全部可以由GPU或专用部件执行。
本公开包括可以使用主题设备执行的方法。这些方法可以包括提供这种适当设备的行动。这样的提供可以由用户执行。换句话说，“提供”行动仅仅需要用户获取、访问、靠近、定位、设置、激活、加电或以其他方式行动以提供主题方法中的必要设备。在此所述的方法可以以逻辑上可能的所述事件的任何顺序以及所述事件的顺序来执行。
上面已经阐述了本公开的示例方面以及关于材料选择和制造的细节。关于本公开的其他细节，这些可以结合上面引用的专利和出版物以及本领域技术人员通常已知或理解到的来理解。就通常或逻辑使用的附加行动而言，这对于本公开的基于方法的方面可以是相同的。
另外，虽然已经参考可选地并入各种特征的若干示例描述了本公开，但是本公开不限于如针对本公开的每个变型所期望描述或指示的那样。在不脱离本公开的真实精神和范围的情况下，可以对所描述的公开进行各种改变并且可以替换等同物(无论是否在此列举或者为了简洁起见而未被包括的)。此外，在提供数值范围的情况下，应当理解的是，在该范围的上限和下限之间的每个中间值以及在所述范围内的任何其他规定值或中间值都包含在本公开内。
此外，可以设想，所描述的创造性改变的任何可选特征可以独立地陈述和要求保护，或与在此描述的任何一个或多个特征组合。参考单数项目，包括存在多个相同项目的可能性。更具体地，如在此以及与此相关的权利要求书中所使用的，除非另有特别说明，否则单数形式“一”、“一个”、“所述”和“该”包括复数指示物。换言之，物品的使用允许以上描述以及与本公开相关联的权利要求中的主题项目的“至少一个”。进一步指出，可以起草这些权利要求以排除任何可选元素。因此，该陈述旨在用作如“仅仅”、“只”等的排他术语与权利要求要素的陈述相结合地使用或“否定”限制的使用有关的先行基础。
在不使用这种排他术语的情况下，在与本公开相关联的权利要求中的术语“包括”应允许包含任何附加要素——无论在这些权利要求中是否列举了给定数目的要素，或者可以将特征的添加认为是对这些权利要求中阐述的要素的性质进行变换。除在此明确定义外，在此使用的所有技术和科学术语将在保持权利要求的有效性的同时尽可能广义地被理解。
本公开的广度不限于所提供的示例和/或本说明书，而是仅限于与本公开相关联的权利要求语言的范围。
在前述说明书中，已经参考其具体实施例描述了本公开。然而，应该清楚的是，在不脱离本公开的更宽广的精神和范围的情况下可以进行各种修改和改变。例如，参考过程动作的特定顺序来描述上述过程流程。然而，可以改变许多所描述的过程动作的顺序而不影响本公开的范围或操作。这些说明和附图相应地被认为是说明性的而不是限制性意义。

Claims (10)

1.一种用于扭曲多场彩色虚拟内容以用于顺序投影的计算机实现的方法，所述方法包括：
获取具有不同的第一颜色和第二颜色的第一色场和第二色场；
通过基于第一中间头部姿势扭曲所述第一色场来生成中间扭曲的第一色场；
通过基于第二中间头部姿势扭曲所述第二色场来生成中间扭曲的第二色场；
通过基于第一头部姿势扭曲所述中间扭曲的第一色场来生成扭曲的第一色场；以及
通过基于第二头部姿势扭曲所述中间扭曲的第二色场来生成扭曲的第二色场，
其中，生成所述扭曲的第一色场比生成所述中间扭曲的第一色场的计算强度小，并且
其中，生成所述扭曲的第二色场比生成所述中间扭曲的第二色场的计算强度小。
2.根据权利要求1所述的方法，其中，所述第一色场包括在X、Y位置处的第一色场信息。
3.根据权利要求2所述的方法，其中，所述第一色场信息包括所述第一颜色的第一亮度。
4.根据权利要求3所述的方法，其中，所述第二色场包括在所述X、Y位置处的第二色场信息。
5.根据权利要求4所述的方法，其中，所述第二色场信息包括所述第二颜色的第二亮度。
6.一种用于扭曲多场彩色虚拟内容以用于顺序投影的系统，包括：
扭曲单元，用于接收具有不同的第一颜色和第二颜色的第一色场和第二色场以用于顺序投影，所述扭曲单元包括：
变换单元，其用于：
通过基于相应的第一中间头部姿势和第二中间头部姿势扭曲相应的第一色场和第二色场来生成中间扭曲的第一色场和第二色场；以及
通过基于相应的第一头部姿势和第二头部姿势扭曲相应的中间扭曲的第一色场和第二色场来生成扭曲的第一色场和第二色场，
其中，生成所述扭曲的第一色场和所述扭曲的第二色场比生成所述中间扭曲的第一色场和所述中间扭曲的第二色场的计算强度小。
7.一种体现在非瞬态计算机可读介质中的计算机程序产品，在所述计算机可读介质上存储有指令序列，所述指令序列在由处理器执行时使所述处理器执行用于扭曲多场彩色虚拟内容以用于顺序投影的方法，所述方法包括：
获取具有不同的第一颜色和第二颜色的第一色场和第二色场；
通过基于第一中间头部姿势扭曲所述第一色场来生成中间扭曲的第一色场；
通过基于第二中间头部姿势扭曲所述第二色场来生成中间扭曲的第二色场；
通过基于第一头部姿势扭曲所述中间扭曲的第一色场来生成扭曲的第一色场；以及
通过基于第二头部姿势扭曲所述中间扭曲的第二色场来生成扭曲的第二色场，
其中，生成所述扭曲的第一色场比生成所述中间扭曲的第一色场的计算强度小，并且
其中，生成所述扭曲的第二色场比生成所述中间扭曲的第二色场的计算强度小。
8.一种用于扭曲多场彩色虚拟内容以用于顺序投影的计算机实现的方法，所述方法包括：
获取应用帧和应用初始头部姿势；
估计在第一估计显示时间处用于所述应用帧的第一扭曲的第一头部姿势；
使用所述应用初始头部姿势和所估计的第一头部姿势来执行所述应用帧的第一扭曲以生成第一扭曲帧；
估计在第二估计显示时间处用于所述第一扭曲帧的第二扭曲的第二头部姿势；以及
使用所估计的第二头部姿势来执行所述第一扭曲帧的第二扭曲以生成第二扭曲帧；
分析所接收到的眼睛或头部跟踪信息以用于以默认色场速率预测所述第二扭曲帧中的颜色分离“CBU”伪像；
当以所述默认色场速率未预测到CBU时，以所述默认色场速率和默认比特深度来显示所述第二扭曲帧；
当以所述默认色场速率预测到CBU时，在显示所述第二扭曲帧之前，基于所预测到的CBU伪像从所述默认色场速率增加色场速率，并重新分析所接收到的眼睛或头部跟踪信息以确定是否以增加的色场速率来预测CBU伪像；
当以所述增加的色场速率未预测到CBU伪像时，使用所述增加的色场速率和所述默认比特深度来显示所述第二扭曲帧；以及
当以所述增加的色场速率预测到CBU伪像时，基于以所述增加的色场速率预测到的CBU伪像，从所述默认比特深度减少比特深度，并使用所述增加的色场速率和减少的比特深度来显示所述第二扭曲帧。
9.一种用于扭曲多场彩色虚拟内容以用于顺序投影的系统，所述系统包括：
扭曲单元，用于接收应用帧和应用初始头部姿势，所述扭曲单元包括：
姿势估计器，其用于：
确定在第一估计显示时间处用于所述应用帧的第一扭曲的所估计的第一头部姿势；以及
确定在第二估计显示时间处用于第一扭曲帧的第二扭曲的所估计的第二头部姿势；
变换单元，其用于：
使用所述应用初始头部姿势和所估计的第一头部姿势执行所述应用帧的第一扭曲以生成第一扭曲帧；以及
使用所估计的第二头部姿势执行所述第一扭曲帧的第二扭曲以生成第二扭曲帧；
分析所接收到的眼睛或头部跟踪信息以用于以系统默认色场速率预测所述第二扭曲帧中的颜色分离“CBU”伪像；
当以所述系统默认色场速率未预测到CBU时，以所述系统默认色场速率和系统默认比特深度来显示所述第二扭曲帧；
当以所述系统默认色场速率预测到CBU时，在显示所述第二扭曲帧之前，基于所预测到的CBU伪像从所述默认色场速率增加色场速率，并重新分析所接收到的眼睛或头部跟踪信息以确定是否以增加的色场速率来预测CBU伪像；
当以所述增加的色场速率未预测到CBU伪像时，使用所述增加的色场速率和所述默认比特深度来显示所述第二扭曲帧；以及
当以所述增加的色场速率预测到CBU伪像时，基于所预测到的第二CBU伪像，从所述默认比特深度减少比特深度，并使用所述增加的色场速率和减少的比特深度来显示所述第二扭曲帧。
10.一种体现在非瞬态计算机可读介质中的计算机程序产品，在所述计算机可读介质上存储有指令序列，所述指令序列在由处理器执行时使所述处理器执行用于扭曲多场彩色虚拟内容以用于顺序投影的方法，所述方法包括：
获取应用帧和应用初始头部姿势；
估计在第一估计显示时间处用于所述应用帧的第一扭曲的第一头部姿势；
使用所述应用初始头部姿势和所估计的第一头部姿势来执行所述应用帧的第一扭曲以生成第一扭曲帧；
估计在第二估计显示时间处用于所述第一扭曲帧的第二扭曲的第二头部姿势；以及
使用所估计的第二头部姿势执行所述第一扭曲帧的第二扭曲以生成第二扭曲帧；
分析所接收到的眼睛或头部跟踪信息以用于以默认色场速率预测所述第二扭曲帧中的颜色分离“CBU”伪像；
当以所述默认色场速率未预测到CBU时，以所述默认色场速率和默认比特深度来显示所述第二扭曲帧；
当以所述默认色场速率预测到CBU时，在显示所述第二扭曲帧之前，基于所预测到的CBU伪像从所述默认色场速率增加色场速率，并重新分析所接收到的眼睛或头部跟踪信息以确定是否以增加的色场速率来预测CBU伪像；
当以所述增加的色场速率未预测到CBU伪像时，使用所述增加的色场速率和所述默认比特深度来显示所述第二扭曲帧；以及
当以所述增加的色场速率预测到CBU时，基于以所述增加的色场速率预测到的CBU伪像，从所述默认比特深度减少比特深度，并使用所述增加的色场速率和减少的比特深度来显示所述第二扭曲帧。
CN202311697587.1A 2017-03-17 2018-03-16 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法 Pending CN117873313A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762473145P 2017-03-17 2017-03-17
US62/473,145 2017-03-17
CN201880018310.2A CN110402425B (zh) 2017-03-17 2018-03-16 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
PCT/US2018/023011 WO2018170482A1 (en) 2017-03-17 2018-03-16 Mixed reality system with color virtual content warping and method of generating virtual content using same

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880018310.2A Division CN110402425B (zh) 2017-03-17 2018-03-16 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法

Publications (1)

Publication Number Publication Date
CN117873313A true CN117873313A (zh) 2024-04-12

Family

ID=63520238

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880018310.2A Active CN110402425B (zh) 2017-03-17 2018-03-16 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
CN202311697587.1A Pending CN117873313A (zh) 2017-03-17 2018-03-16 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880018310.2A Active CN110402425B (zh) 2017-03-17 2018-03-16 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法

Country Status (9)

Country Link
US (3) US10762598B2 (zh)
EP (1) EP3596705A4 (zh)
JP (3) JP7009494B2 (zh)
KR (3) KR102594063B1 (zh)
CN (2) CN110402425B (zh)
AU (2) AU2018234921B2 (zh)
CA (1) CA3055218A1 (zh)
IL (3) IL298822A (zh)
WO (1) WO2018170482A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7136558B2 (ja) 2015-03-05 2022-09-13 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
CN108604383A (zh) 2015-12-04 2018-09-28 奇跃公司 重新定位系统和方法
WO2018026737A1 (en) 2016-08-02 2018-02-08 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
CN110431599B (zh) 2017-03-17 2022-04-12 奇跃公司 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
WO2018170482A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
IL290142B2 (en) 2017-03-17 2023-10-01 Magic Leap Inc A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it
CN112470464B (zh) 2018-07-23 2023-11-28 奇跃公司 场顺序显示器中的场内子码时序
WO2020023383A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
WO2021070692A1 (ja) * 2019-10-09 2021-04-15 ソニー株式会社 表示制御装置、表示制御方法および表示制御プログラム
CN111243020B (zh) * 2020-01-02 2023-07-25 东莞市一加创意数字科技有限公司 一种立体投影空间的音源位置的动态定位方法
JP2023528263A (ja) * 2020-05-21 2023-07-04 マジック リープ， インコーポレイテッド 眼追跡を使用した空間光変調ディスプレイのためのワーピング
US11551363B2 (en) * 2020-06-04 2023-01-10 Toyota Research Institute, Inc. Systems and methods for self-supervised residual flow estimation
US11379950B1 (en) * 2021-05-07 2022-07-05 Lemon Inc. System and method for projecting content in an environment
US12067693B2 (en) * 2021-05-18 2024-08-20 Snap Inc. Late warping to minimize latency of moving objects
US11727631B2 (en) * 2021-09-22 2023-08-15 Qualcomm Incorporated Dynamic variable rate shading

Family Cites Families (259)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4462165A (en) 1983-01-31 1984-07-31 The Boeing Company Three axis orientation sensor for an aircraft or the like
US5047952A (en) 1988-10-14 1991-09-10 The Board Of Trustee Of The Leland Stanford Junior University Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove
US6701296B1 (en) 1988-10-14 2004-03-02 James F. Kramer Strain-sensing goniometers, systems, and recognition algorithms
US5913820A (en) 1992-08-14 1999-06-22 British Telecommunications Public Limited Company Position location system
CA2358682A1 (en) 1992-08-14 1994-03-03 British Telecommunications Public Limited Company Position location system
US5583974A (en) 1993-05-10 1996-12-10 Apple Computer, Inc. Computer graphics system having high performance multiple layer Z-buffer
TW275590B (en) 1994-12-09 1996-05-11 Sega Enterprises Kk Head mounted display and system for use therefor
US5592401A (en) 1995-02-28 1997-01-07 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5684498A (en) * 1995-06-26 1997-11-04 Cae Electronics Ltd. Field sequential color head mounted display with suppressed color break-up
CA2238693C (en) * 1995-11-27 2009-02-24 Cae Electronics Ltd. Method and apparatus for displaying a virtual environment on a video display
US6064749A (en) 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
US5784115A (en) * 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US6163155A (en) 1999-01-28 2000-12-19 Dresser Industries, Inc. Electromagnetic wave resistivity tool having a tilted antenna for determining the horizontal and vertical resistivities and relative dip angle in anisotropic earth formations
US6407736B1 (en) 1999-06-18 2002-06-18 Interval Research Corporation Deferred scanline conversion architecture
GB9917591D0 (en) 1999-07-28 1999-09-29 Marconi Electronic Syst Ltd Head tracker system
JP2001208529A (ja) 2000-01-26 2001-08-03 Mixed Reality Systems Laboratory Inc 計測装置及びその制御方法並びに記憶媒体
US6757068B2 (en) 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
EP1297691A2 (en) * 2000-03-07 2003-04-02 Sarnoff Corporation Camera pose estimation
US6891533B1 (en) 2000-04-11 2005-05-10 Hewlett-Packard Development Company, L.P. Compositing separately-generated three-dimensional images
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6738044B2 (en) 2000-08-07 2004-05-18 The Regents Of The University Of California Wireless, relative-motion computer input device
US6753828B2 (en) 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US20020180727A1 (en) 2000-11-22 2002-12-05 Guckenberger Ronald James Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors
US6691074B1 (en) 2001-02-08 2004-02-10 Netmore Ltd. System for three dimensional positioning and tracking
US6861982B2 (en) 2001-08-16 2005-03-01 Itt Manufacturing Enterprises, Inc. System for determining position of an emitter
US7113618B2 (en) 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
JP2003337963A (ja) 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
US7190331B2 (en) 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP3984907B2 (ja) 2002-11-29 2007-10-03 キヤノン株式会社 画像観察システム
US20070155589A1 (en) 2002-12-04 2007-07-05 Philip Feldman Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System
JP2004213350A (ja) 2002-12-27 2004-07-29 Seiko Epson Corp 力覚提示装置及び画像補正方法
US20050107870A1 (en) 2003-04-08 2005-05-19 Xingwu Wang Medical device with multiple coating layers
US7643025B2 (en) 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US7443154B1 (en) 2003-10-04 2008-10-28 Seektech, Inc. Multi-sensor mapping omnidirectional sonde and line locator
CA2450837A1 (en) 2003-11-25 2005-05-25 University Of New Brunswick Induction magnetometer
US20160098095A1 (en) 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
JP4508820B2 (ja) 2004-10-19 2010-07-21 株式会社ワコム ３次元情報検出システム及び３次元情報入力装置
WO2006056622A1 (es) 2004-11-19 2006-06-01 Daem Interactive, Sl Dispositivo personal con funciones de adquirir imágenes, para aplicación de recursos de realidad aumentada y método
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
US8982110B2 (en) 2005-03-01 2015-03-17 Eyesmatch Ltd Method for image transformation, augmented reality, and teleperence
EP1875732B1 (en) 2005-04-26 2016-12-28 Imax Corporation Electronic projection systems and methods
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP4437228B2 (ja) 2005-11-07 2010-03-24 大学共同利用機関法人情報・システム研究機構 焦点ぼけ構造を用いたイメージング装置及びイメージング方法
KR100722229B1 (ko) 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP4684147B2 (ja) 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
JP4196302B2 (ja) 2006-06-19 2008-12-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4804256B2 (ja) 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
US8194088B1 (en) 2006-08-03 2012-06-05 Apple Inc. Selective composite rendering
US7921120B2 (en) 2006-11-30 2011-04-05 D&S Consultants Method and system for image recognition using a similarity inverse matrix
CN101093586A (zh) 2007-07-12 2007-12-26 上海交通大学 面向复杂场景实时交互操作的并行碰撞检测方法
US8165352B1 (en) 2007-08-06 2012-04-24 University Of South Florida Reconstruction of biometric image templates using match scores
US10095815B2 (en) 2008-11-19 2018-10-09 Elbit Systems Ltd. System and a method for mapping a magnetic field
IL195389A (en) 2008-11-19 2013-12-31 Elbit Systems Ltd Magnetic Field Mapping System and Method
US20090115406A1 (en) 2007-11-01 2009-05-07 General Electric Company System and method for minimizing mutual inductance coupling between coils in an electromagnetic tracking system
US9013505B1 (en) 2007-11-27 2015-04-21 Sprint Communications Company L.P. Mobile system representing virtual objects on live camera image
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US7795596B2 (en) 2008-01-03 2010-09-14 Alcatel-Lucent Usa Inc. Cloaking device detection system
WO2009091563A1 (en) 2008-01-18 2009-07-23 Thomson Licensing Depth-image-based rendering
WO2009093956A1 (en) 2008-01-23 2009-07-30 Swiftfoot Graphics Ab Method, apparatus, and computer program product for improved graphics performance
US20090184825A1 (en) 2008-01-23 2009-07-23 General Electric Company RFID Transponder Used for Instrument Identification in an Electromagnetic Tracking System
US8926511B2 (en) 2008-02-29 2015-01-06 Biosense Webster, Inc. Location system with virtual touch screen
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US8446426B2 (en) 2008-04-28 2013-05-21 Apple Inc. Technique for visually compositing a group of graphical objects
KR20090120159A (ko) 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
US8929877B2 (en) 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
JP5415054B2 (ja) * 2008-10-28 2014-02-12 セイコーエプソン株式会社 駆動方法および電気光学装置
WO2010055737A1 (ja) 2008-11-14 2010-05-20 株式会社ソニー・コンピュータエンタテインメント 操作デバイス
US8188745B2 (en) 2008-12-05 2012-05-29 Metrotech Corporation Inc. Precise location and orientation of a concealed dipole transmitter
US9465129B1 (en) 2009-03-06 2016-10-11 See Scan, Inc. Image-based mapping locating system
US8860723B2 (en) 2009-03-09 2014-10-14 Donya Labs Ab Bounded simplification of geometrical computer data
JP5177078B2 (ja) 2009-05-26 2013-04-03 富士通モバイルコミュニケーションズ株式会社 情報処理装置
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
US8775424B2 (en) 2010-01-26 2014-07-08 Xerox Corporation System for creative image navigation and exploration
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8581905B2 (en) 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
TWI399688B (zh) 2010-06-08 2013-06-21 Waltop Int Corp 整合電磁式及電容感應輸入裝置
RU2010123652A (ru) 2010-06-10 2011-12-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR) Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником
JP5541974B2 (ja) 2010-06-14 2014-07-09 任天堂株式会社 画像表示プログラム、装置、システムおよび方法
JP2012043308A (ja) 2010-08-20 2012-03-01 Canon Inc 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム
WO2012046392A1 (ja) 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
US20120086630A1 (en) 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
FR2966251B1 (fr) 2010-10-19 2014-04-25 Astrium Sas Systeme d'orientation et de positionnement d'un recepteur electromagnetique
US8660369B2 (en) 2010-10-25 2014-02-25 Disney Enterprises, Inc. Systems and methods using mobile devices for augmented reality
US8745061B2 (en) 2010-11-09 2014-06-03 Tibco Software Inc. Suffix array candidate selection and index data structure
WO2012074528A1 (en) 2010-12-02 2012-06-07 Empire Technology Development Llc Augmented reality system
CN103415860B (zh) 2011-01-27 2019-07-12 苹果公司 确定第一和第二图像间的对应关系的方法以及确定摄像机姿态的方法
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US8994722B2 (en) 2011-02-14 2015-03-31 Mitsubishi Electric Research Laboratories, Inc. Method for enhancing depth images of scenes using trellis structures
JP5724544B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9206007B2 (en) 2011-05-31 2015-12-08 Twist-Ease Inc. Bag dispenser
US20120306850A1 (en) 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8933913B2 (en) 2011-06-28 2015-01-13 Microsoft Corporation Electromagnetic 3D stylus
US20150100380A1 (en) 2011-07-20 2015-04-09 Raymond P. Jones, JR. Systems and methods for providing financial controls for aggregated weather-based work
US20150040074A1 (en) 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
WO2013023706A1 (en) 2011-08-18 2013-02-21 Layar B.V. Computer-vision based augmented reality system
US8749396B2 (en) 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
EP2751742A1 (en) 2011-08-31 2014-07-09 metaio GmbH Method of matching image features with reference features
WO2013040274A2 (en) 2011-09-13 2013-03-21 Sadar 3D, Inc. Synthetic aperture radar apparatus and methods
US8821286B2 (en) 2011-09-29 2014-09-02 Wms Gaming, Inc. Wagering game system having motion sensing controllers
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
RU2621633C2 (ru) 2011-10-28 2017-06-06 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
CN107664847B (zh) 2011-11-23 2021-04-06 奇跃公司 三维虚拟和增强现实显示系统
KR102131745B1 (ko) 2012-01-04 2020-07-08 인터디지탈 매디슨 페이튼트 홀딩스 3d 이미지 시퀀스의 처리
US8989775B2 (en) 2012-02-29 2015-03-24 RetailNext, Inc. Method and system for WiFi-based identification of person tracks
US9075824B2 (en) 2012-04-27 2015-07-07 Xerox Corporation Retrieval system and method leveraging category-level labels
US9098229B2 (en) 2012-05-04 2015-08-04 Aaron Hallquist Single image pose estimation of image capture devices
US9116666B2 (en) 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
EP2704055A1 (en) 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
JP2014049934A (ja) 2012-08-31 2014-03-17 Sony Corp ヘッドマウントディスプレイ
US9134954B2 (en) 2012-09-10 2015-09-15 Qualcomm Incorporated GPU memory buffer pre-fetch and pre-back signaling to avoid page-fault
EP2711670B1 (en) 2012-09-21 2019-01-30 NavVis GmbH Visual localisation
GB201217372D0 (en) 2012-09-28 2012-11-14 Ucl Business Plc A system and method for annotating images by propagating information
US9132342B2 (en) 2012-10-31 2015-09-15 Sulon Technologies Inc. Dynamic environment and location based augmented reality (AR) systems
US9177404B2 (en) 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9188694B2 (en) 2012-11-16 2015-11-17 Halliburton Energy Services, Inc. Optical interferometric sensors for measuring electromagnetic fields
US9160727B1 (en) 2012-11-30 2015-10-13 Microstrategy Incorporated Providing credential information
US20140152558A1 (en) 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US9026847B2 (en) 2012-12-21 2015-05-05 Advanced Micro Devices, Inc. Hardware based redundant multi-threading inside a GPU for improved reliability
US20140176591A1 (en) * 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
WO2014105385A1 (en) 2012-12-27 2014-07-03 The Regents Of The University Of California Anamorphic stretch image compression
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
EP2967322A4 (en) 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
US9898866B2 (en) 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
NZ751593A (en) 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US9436887B2 (en) 2013-03-15 2016-09-06 OrCam Technologies, Ltd. Apparatus and method for automatic action selection based on image context
US9269003B2 (en) 2013-04-30 2016-02-23 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
US20140323148A1 (en) 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
US9367960B2 (en) 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
US10254855B2 (en) 2013-06-04 2019-04-09 Wen-Chieh Geoffrey Lee High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9712473B2 (en) 2013-07-11 2017-07-18 Facebook, Inc. Methods, systems, and user interfaces for community-based location ratings
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9514571B2 (en) * 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
JP6192010B2 (ja) 2013-09-05 2017-09-06 国立大学法人 東京大学 重み設定装置および方法
US9729864B2 (en) 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US20150097719A1 (en) 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
KR102378457B1 (ko) 2013-11-27 2022-03-23 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
KR102174595B1 (ko) 2013-12-19 2020-11-06 아비질론 포트리스 코퍼레이션 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
US9360935B2 (en) 2013-12-20 2016-06-07 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Integrated bi-sensing optical structure for head mounted display
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9448409B2 (en) * 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US20160147063A1 (en) * 2014-11-26 2016-05-26 Osterhout Group, Inc. See-through computer display systems
US9405122B2 (en) 2014-01-29 2016-08-02 Ricoh Co., Ltd Depth-disparity calibration of a binocular optical augmented reality system
WO2015134475A2 (en) 2014-03-04 2015-09-11 Google Inc. Map personalization based on social clues
US20160203624A1 (en) 2014-03-05 2016-07-14 Google Inc. System and Method for Providing Combined Multi-Dimensional Map Views
WO2015134958A1 (en) 2014-03-07 2015-09-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106164982B (zh) 2014-04-25 2019-05-03 谷歌技术控股有限责任公司 基于影像的电子设备定位
CN105005457B (zh) 2014-04-25 2019-04-09 腾讯科技（深圳）有限公司 地理位置展示方法及装置
US9652893B2 (en) 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
US9727341B2 (en) 2014-05-09 2017-08-08 Samsung Electronics Co., Ltd. Control flow in a thread-based environment without branching
KR101888566B1 (ko) 2014-06-03 2018-08-16 애플 인크. 실제 물체와 관련된 디지털 정보를 제시하기 위한 방법 및 시스템
US20150358539A1 (en) 2014-06-06 2015-12-10 Jacob Catt Mobile Virtual Reality Camera, Method, And System
US20150379772A1 (en) * 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
WO2016002409A1 (ja) * 2014-07-01 2016-01-07 シャープ株式会社 フィールドシーケンシャル画像表示装置および画像表示方法
US10056054B2 (en) 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10162177B2 (en) 2014-07-11 2018-12-25 Sixense Entertainment, Inc. Method and apparatus for self-relative body tracking for virtual reality systems using magnetic tracking
US9363644B2 (en) 2014-07-16 2016-06-07 Yahoo! Inc. System and method for detection of indoor tracking units
US9719871B2 (en) 2014-08-09 2017-08-01 Google Inc. Detecting a state of a wearable device
CN107111894B (zh) 2014-09-08 2022-04-29 西姆克斯有限责任公司 用于专业和教育训练的增强或虚拟现实模拟器
US20170280133A1 (en) 2014-09-09 2017-09-28 Nokia Technologies Oy Stereo image recording and playback
US10430382B2 (en) * 2014-10-14 2019-10-01 Microsoft Technology Licensing, Llc Data visualization architecture
US9478029B2 (en) 2014-10-23 2016-10-25 Qualcomm Incorporated Selection strategy for exchanging map information in collaborative multi-user SLAM systems
US10650574B2 (en) 2014-10-31 2020-05-12 Fyusion, Inc. Generating stereoscopic pairs of images from a single lens camera
US11049476B2 (en) * 2014-11-04 2021-06-29 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays
US20160131904A1 (en) * 2014-11-07 2016-05-12 Osterhout Group, Inc. Power management for head worn computing
US9818170B2 (en) 2014-12-10 2017-11-14 Qualcomm Incorporated Processing unaligned block transfer operations
WO2016100717A1 (en) 2014-12-17 2016-06-23 Google Inc. Generating numeric embeddings of images
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US20160239985A1 (en) * 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
JP7136558B2 (ja) 2015-03-05 2022-09-13 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
EP4332612A3 (en) 2015-03-07 2024-09-04 Verity AG Distributed localization systems and methods and self-localizing apparatus
US9874932B2 (en) 2015-04-09 2018-01-23 Microsoft Technology Licensing, Llc Avoidance of color breakup in late-stage re-projection
US9814430B1 (en) 2015-04-17 2017-11-14 Bertec Corporation System and method for measuring eye movement and/or eye position and postural sway of a subject
CN113050280B (zh) 2015-05-04 2024-01-19 奇跃公司 用于虚拟和增强现实的分离光瞳光学系统以及用于使用其显示图像的方法
CN104866829B (zh) 2015-05-25 2019-02-19 苏州大学 一种基于特征学习的跨年龄人脸验证方法
US10721280B1 (en) 2015-05-29 2020-07-21 Sprint Communications Company L.P. Extended mixed multimedia reality platform
US20160378863A1 (en) 2015-06-24 2016-12-29 Google Inc. Selecting representative video frames for videos
US10062010B2 (en) 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
US9240069B1 (en) * 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10750161B2 (en) 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US9875427B2 (en) 2015-07-28 2018-01-23 GM Global Technology Operations LLC Method for object localization and pose estimation for an object of interest
WO2017044965A1 (en) 2015-09-10 2017-03-16 Duke University Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
GB201518112D0 (en) * 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
US10338677B2 (en) * 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US10026212B2 (en) 2015-11-20 2018-07-17 Google Llc Electronic display stabilization using pixel velocities
US20170161853A1 (en) 2015-12-03 2017-06-08 James Carroll Gossweiler Mapping system that identifies site-specific real estate due diligence professionals and related service providers
CN108604383A (zh) 2015-12-04 2018-09-28 奇跃公司 重新定位系统和方法
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
FR3046261B1 (fr) 2015-12-24 2018-08-31 Starbreeze Paris Element mobile hybride, procede et dispositif pour interfacer une pluralite d'elements mobiles hybrides avec un systeme informatique, et ensemble pour systeme de realite virtuelle ou augmentee
US10130429B1 (en) 2016-01-06 2018-11-20 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system
IL301449B2 (en) 2016-02-05 2024-06-01 Magic Leap Inc Systems and methods for augmented reality
EP3420413A1 (en) 2016-02-22 2019-01-02 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
US10334076B2 (en) 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
CN108139815B (zh) * 2016-02-22 2020-11-10 谷歌有限责任公司 用于虚拟现实内容的显示的场景和对象的分立时间扭曲
US9639935B1 (en) 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US10453272B2 (en) 2016-05-29 2019-10-22 Google Llc Time-warping adjustment based on depth information in a virtual/augmented reality system
US10366536B2 (en) 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
WO2018026737A1 (en) 2016-08-02 2018-02-08 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US11017712B2 (en) * 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
CA2976464A1 (en) 2016-08-16 2018-02-16 Sergi Berna Sague Method and system for wireless location and movement mapping, tracking and analytics
EP4235391A3 (en) * 2016-08-22 2023-10-25 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
US10318115B2 (en) 2016-10-14 2019-06-11 OneMarket Network LLC System and method for presenting optimized map labels
CN106502427B (zh) * 2016-12-15 2023-12-01 北京国承万通信息科技有限公司 虚拟现实系统及其场景呈现方法
US10942252B2 (en) 2016-12-26 2021-03-09 Htc Corporation Tracking system and tracking method
US10330936B2 (en) 2017-01-19 2019-06-25 Facebook Technologies, Llc Focal surface display
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
IL290142B2 (en) 2017-03-17 2023-10-01 Magic Leap Inc A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it
WO2018170482A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
CN110431599B (zh) 2017-03-17 2022-04-12 奇跃公司 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
US10991280B2 (en) * 2017-05-01 2021-04-27 Pure Depth Limited Head tracking based field sequential saccadic break up reduction
US10620710B2 (en) 2017-06-15 2020-04-14 Microsoft Technology Licensing, Llc Displacement oriented interaction in computer-mediated reality
GB201709752D0 (en) 2017-06-19 2017-08-02 Advanced Risc Mach Ltd Graphics processing systems
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10403032B2 (en) 2017-08-22 2019-09-03 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
US10445922B2 (en) 2017-08-31 2019-10-15 Intel Corporation Last-level projection method and apparatus for virtual and augmented reality
US10529086B2 (en) 2017-11-22 2020-01-07 Futurewei Technologies, Inc. Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
US10481689B1 (en) 2018-01-10 2019-11-19 Electronic Arts Inc. Motion capture glove
US10861215B2 (en) 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
WO2020023383A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11176901B1 (en) * 2019-08-13 2021-11-16 Facebook Technologies, Llc. Pan-warping and modifying sub-frames with an up-sampled frame rate
US10843067B1 (en) 2019-10-04 2020-11-24 Varjo Technologies Oy Input device, system, and method

Also Published As

Publication number Publication date
AU2018234921B2 (en) 2021-10-07
US11978175B2 (en) 2024-05-07
US20200357094A1 (en) 2020-11-12
IL290308A (en) 2022-04-01
AU2021290369A1 (en) 2022-02-03
JP2022132292A (ja) 2022-09-08
AU2018234921A1 (en) 2019-09-19
IL290308B2 (en) 2023-05-01
AU2021290369B2 (en) 2022-10-20
JP7407869B2 (ja) 2024-01-04
IL268962B (en) 2022-03-01
IL290308B1 (en) 2023-01-01
KR20230149347A (ko) 2023-10-26
IL268962A (en) 2019-10-31
JP2020514908A (ja) 2020-05-21
JP7096450B2 (ja) 2022-07-05
CA3055218A1 (en) 2018-09-20
US10762598B2 (en) 2020-09-01
KR20190125455A (ko) 2019-11-06
US20220188971A1 (en) 2022-06-16
EP3596705A1 (en) 2020-01-22
US20180268519A1 (en) 2018-09-20
CN110402425A (zh) 2019-11-01
CN110402425B (zh) 2024-01-09
IL298822A (en) 2023-02-01
WO2018170482A1 (en) 2018-09-20
JP7009494B2 (ja) 2022-01-25
US11315214B2 (en) 2022-04-26
KR102366781B1 (ko) 2022-02-22
EP3596705A4 (en) 2020-01-22
JP2022062032A (ja) 2022-04-19
KR20220027278A (ko) 2022-03-07
KR102594063B1 (ko) 2023-10-24

Similar Documents

Publication Publication Date Title
CN110402425B (zh) 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
JP7304934B2 (ja) 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
US11410269B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
CN110419061B (zh) 混合现实系统及使用该系统生成虚拟内容的方法
CN112470464B (zh) 场顺序显示器中的场内子码时序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination