CN105474273A - 后期重投影 - Google Patents

后期重投影 Download PDF

Info

Publication number
CN105474273A
CN105474273A CN201480041966.8A CN201480041966A CN105474273A CN 105474273 A CN105474273 A CN 105474273A CN 201480041966 A CN201480041966 A CN 201480041966A CN 105474273 A CN105474273 A CN 105474273A
Authority
CN
China
Prior art keywords
image
attitude
mobile device
display
upgrading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480041966.8A
Other languages
English (en)
Other versions
CN105474273B (zh
Inventor
O·M·C·威廉姆斯
P·巴罕姆
M·伊萨德
T·王
K·乌
G·克莱因
D·K·瑟维斯
A·A·米哈尔
A·皮尔森
M·谢特
J·N·马戈利斯
N·阿克曼
C·陈
A·C·汤姆林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105474273A publication Critical patent/CN105474273A/zh
Application granted granted Critical
Publication of CN105474273B publication Critical patent/CN105474273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

描述了用于按比渲染帧速率大的帧速率来生成和显示与增强现实环境内的一个或多个虚拟对象相关联的图像的方法。渲染帧速率可对应于用于渲染与头戴式显示设备(HMD)的姿态相关联的图像的最小时间。在一些实施例中，HMD可确定与HMD的将来位置和朝向相关联的被预测的姿态，基于被预测的姿态来生成被预先渲染的图像，在生成被预先渲染的图像后确定与HMD相关联的经更新的姿态，基于经更新的姿态和被预先渲染的图像来生成经更新的图像以及在HMD上显示经更新的图像。经更新的图像可经由被预先渲染的图像的单应变换和/或像素偏移调整来生成。

Description

后期重投影
背景
增强现实(AR)涉及提供经增强的现实世界环境，其中用计算机生成的虚拟数据来增强或修改对现实世界环境(或表示现实世界环境的数据)的感知。例如，可使用诸如相机或话筒等传感输入设备实时地捕捉表示现实世界环境的数据，并用包括虚拟图像和虚拟声音的计算机生成的虚拟数据来增强该数据。虚拟数据还可包括与现实世界环境有关的信息，诸如与现实世界环境中的现实世界对象相关联的文本描述。一些AR环境内的对象可包括真实对象(即，存在于特定的现实世界环境中的对象)和虚拟对象(即，不存在于特定的现实世界环境中的对象)。
为了将虚拟对象逼真地集成到AR环境中，AR系统通常执行包括映射和本地化的若干任务。映射涉及生成现实世界环境的映射的过程。本地化涉及相对于现实世界环境的映射来定位特定的视角或姿态的过程。在一些情况下，AR系统可实时本地化在现实世界环境内移动的移动设备的姿态，以便确定与该移动设备相关联的、需要随该移动设备在现实世界环境中移动而被增强的特定姿态。
AR环境可使用电子显示器(例如，与头戴式显示设备集成的LED显示器)来被提供到移动设备的最终用户。电子显示器可通过调制被提供到电子显示器(诸如硅上液晶(LCOS)显示器)上的光或通过在电子显示器(例如，OLED显示器)内生成光来对最终用户显示虚拟对象的图像。OLED(即有机发光二极管)是其中发射电致发光层包括有机薄膜的LED。OLED显示器可包括无源矩阵OLED显示器或有源矩阵OLED显示器。有源矩阵OLED显示器使用每个OLED像素内的一个或多个薄膜晶体管(TFT)来控制每像素生成的光的量。在一个示例中，每个OLED像素可包括用于驱动OLED的第一TFT以及用于锁存用于控制第一TFT的数据的第二TFT。TFT可包括多晶硅TFT或非晶硅TFT。在一些情况下，OLED显示器可包括红、绿和蓝发光子像素的组(即，OLED像素中的每一个可包括用于生成红、绿和蓝光的多个LED)。OLED显示器还可包括青色、黄色、品红色和白色发光子像素的组。
概述
描述了用于按比渲染帧速率大的帧速率来生成和投影与增强现实(AR)环境内的一个或多个虚拟对象相关联的图像的技术。渲染帧速率可对应于用于渲染与头戴式显示设备(HMD)的特定姿态相关联的图像的最小时间。在一些实施例中，HMD可确定与HMD的将来位置和朝向相关联的被预测的姿态(例如，HMD的将来8ms或16ms的被预测的姿态)，基于被预测的姿态来生成被预先渲染的图像，在生成被预先渲染的图像后确定与HMD相关联的经更新的姿态，基于经更新的姿态和被预先渲染的图像来生成经更新的图像以及在HMD上显示经更新的图像。经更新的图像可经由被预先渲染的图像的单应变换和/或像素偏移调整来生成。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在被用来帮助确定所要求保护的主题的范围。
附图简述
图1是可在其中实施所公开的技术的联网计算环境的一个实施例的框图。
图2A描绘了与第二移动设备通信的移动设备的一个实施例。
图2B描绘了HMD的一部分的一个实施例。
图3A描绘了用于按比用于核心渲染流水线的渲染帧速率大的帧速率来生成和显示与虚拟对象相关联的图像的系统的一个实施例。
图3B描绘了显示器的一个实施例。
图3C描绘了显示器的一替换实施例。
图4A描绘了被预先渲染的图像的一部分以及基于该被预先渲染的图像的经更新的图像的一个实施例。
图4B描绘了被预先渲染的图像以及被用于生成经更新的图像(或目标图像)的采样区域的一个实施例。
图4C描绘了被预先渲染的图像以及滚动缓冲器对被预先渲染的图像的应用的一个实施例。
图5A描绘了将后期图形调整应用到被渲染的图像以生成经更新的图像的一个实施例。
图5B描绘了与显示器相关联的显示序列的一个实施例。
图5C描绘了与显示器相关联的显示序列的替换实施例。
图6A是描述了用于按比渲染帧速率大的帧速率来生成并显示与虚拟对象相关联的图像的方法的一个实施例的流程图。
图6B是描述了用于使用与显示器集成的电路来作出对被提供到该显示器的被渲染的图像的图形调整的方法的一个实施例的流程图。
图7A是描述了用于按比渲染帧速率大的帧速率来生成并显示与虚拟对象相关联的图像的方法的一替换实施例的流程图。
图7B是描述了用于生成被渲染的图像的过程的一个实施例的流程图。
图8是移动设备的一个实施例的框图。
详细描述
描述了用于按比渲染帧速率大的帧速率来生成和显示与增强现实(AR)环境内的一个或多个虚拟对象相关联的图像并用于改进虚拟对象稳定性的技术。所显示的图像可包括被预先渲染的场景(即，按渲染帧速率被渲染的被前向预测的场景)的后期图形调整以合并更高频率的姿态估计。渲染帧速率可对应于用于渲染与头戴式显示设备(HMD)的姿态相关联的图像的最小时间。在一些实施例中，HMD可确定与HMD的将来位置和朝向相关联的被预测的姿态(例如，HMD的将来10ms或20ms的被预测的姿态)，基于被预测的姿态来生成被预先渲染的图像，在生成被预先渲染的图像后或与被渲染的图像被生成的同时确定与HMD相关联的经更新的姿态，基于经更新的姿态和被预先渲染的图像来生成经更新的图像以及在HMD上显示经更新的图像。经更新的图像可经由被预先渲染的图像的单应变换和/或像素偏移调整来生成。在一些情况下，经更新的图像可通过显示器内的电路来生成。
在一些实施例中，被预测的姿态可基于HMD的当前位置和朝向以及HMD的就在确定被预测的姿态之前的加速度和速度来确定(例如，通过基于HMD的在确定被预测的姿态之前5ms或10ms的移动来外插被预测的姿态)。经更新的姿态可基于按比渲染帧速率更高的频率被提供到姿态跟踪器的经更新的姿态信息来确定。在一个示例中，经更新的姿态信息可使用低等待时间惯性测量单元(IMU)或IMU和基于相机的姿态跟踪的组合来生成。经更新的图像可包括对被预先渲染的图像的至少一部分的图像旋转、平移、重新调整大小(例如，伸展或收缩)、移位或倾斜以校正被预测的姿态和经更新的姿态之间的区别(例如，对在生成被预先渲染的图像时的不正确的姿态预测进行补偿)。经更新的图像可经由被预先渲染的图像的单应变换来生成。在一些情况下，单应变换可包括仿射变换。经更新的图像可使用像素偏移调整或单应变换和像素偏移调整的组合来生成。在一些情况下，单应变换和/或像素偏移调整可在核心渲染流水线的下游生成(例如，使用与显示器集成的控制器或处理器)。在一个实施例中，像素偏移调整可使用显示器来执行，该显示器合并用于允许在该显示器的像素阵列内的像素值的移位的移位寄存器或其他电路(例如，类似于电荷耦合设备的操作)。
在一些实施例中，包括被前向预测的被渲染的图像的后期图形调整的经更新的图像可使用具有变化的计算复杂度的各种图像重投影技术来生成。图像重投影技术可包括每像素重投影(例如，其中被渲染的图像的每个像素基于经更新的姿态被重投影)，多平面单应性(例如，其中与3D场景内的多个平面相关联的多个被渲染的图像被用于生成合成的经更新的图像)，单平面单应性(例如，其中与3D场景内的单个平面相关联的单个被渲染的图像被用于生成经更新的图像)，仿射单应性以及基于像素偏移的调整。3D场景内的2D平面(或一个或多个2D平面的集合)可基于HMD的最终用户已经在特定时间段内聚焦在哪些虚拟对象来确定。在一个示例中，眼睛跟踪可被用于确定特定时间段内(例如，先前的50ms或500ms内)被最频繁查看的虚拟对象。在单个平面的情况下，单个平面可基于特定时间段内被最频繁查看的虚拟对象的深度来选择(即，单个平面可基于增强现实环境内被最频繁查看的虚拟对象的位置来设置)。在多个平面的情况下，增强现实环境内的虚拟对象可基于到多个平面的邻近度来被分割到多个组中；例如，如果近的平面是对于第一虚拟对象而言最靠近的平面，则第一虚拟对象可被映射到该近的平面，并且如果远的平面是对于第二虚拟对象而言最靠近的平面，则该第二虚拟对象可被映射到该远的平面。接着可基于该近的平面来生成包括第一虚拟对象的第一被渲染的图像，并且基于该远的平面来生成包括第二虚拟对象的第二被渲染的图像。
在一些实施例中，可对被预先渲染的图像的不同部分执行不同的图形调整以合并更高频率的姿态估计。在一个示例中，与HMD的在第一时间点的第一姿态相关联的第一单应变换可被应用到被预先渲染的图像的第一部分(例如，被预先渲染的图像的顶部)并且与HMD的在第一时间点后的第二时间点的第二姿态相关联的第二单应变换可被应用到被预先渲染的图像中不同于第一部分的第二部分(例如，被预先渲染的图像的底部)。在扫描显示或渐进扫描显示的情况下，第一单应变换可被应用到与扫描线的第一集合相关联的像素并且第二单应变换可被应用到与不同于扫描线的第一集合的扫描线的第二集合相关联的像素。在一个实施例中，第一单应变换可被应用到单个第一扫描线并且第二单应变换可被应用到单个第二扫描线(即，单应变换可在每扫描线的基础上被应用)。
生成现实的增强现实环境所具有的一个问题涉及等待时间或其中对应于HMD的特定姿态的世界锁定的虚拟对象的图像被显示给HMD的最终用户的时间的量。例如，如果在最终用户的头转动离开特定姿态的时间与虚拟对象的图像基于该特定姿态被显示的时间之间流逝的时间太多，则虚拟对象将看上去偏离其在增强现实环境内预期的位置(即，图像可能看上去不与预期的现实世界位置或对象对齐)。由此，存在向最终用户显示虚拟对象的被正确对齐的图像以提升虚拟对象稳定性并提升增强现实体验的需要。
图1是可在其中实施所公开的技术的联网计算环境100的一个实施例的框图。联网计算环境100包括通过一个或多个网络180互连的多个计算设备。所述一个或多个网络180允许一特定计算设备连接到另一计算设备以及与其通信。所描绘的计算设备包括移动设备11、移动设备12、移动设备19和服务器15。在一些实施例中，所述多个计算设备可以包括未示出的其他计算设备。在一些实施例中，所述多个计算设备可以包括比图1所示的计算设备的数目更多或更少的计算设备。所述一个或多个网络180可以包括诸如企业专用网络之类的安全网络、诸如无线开放式网络之类的不安全网络、局域网(LAN)、广域网(WAN)、以及因特网。所述一个或多个网络180中的每个网络可以包括集线器、网桥、路由器、交换机、以及有线传输介质，比如有线网络或直接线连接。
可包括补充信息服务器或应用服务器的服务器15可允许客户端从该服务器下载信息(例如，文本、音频、图像和视频文件)或者执行与存储在该服务器上的特定信息相关的搜索查询。一般而言，“服务器”可以包括在客户端-服务器关系中充当主机的硬件设备、或者与一个或多个客户端共享资源或为所述一个或多个客户端执行工作的软件过程。客户端-服务器关系下的计算设备之间的通信可以通过由客户端向服务器发送要求访问特定资源或执行特定工作的请求来发起。服务器随后可以执行所请求的动作并且将响应发送回客户端。
服务器15的一个实施例包括网络接口155、处理器156、存储器157和翻译器158，所有这些都彼此通信。网络接口155允许服务器15连接到一个或多个网络180。网络接口155可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器156允许服务器15执行存储在存储器157中的计算机可读指令以执行在此讨论的过程。翻译器158可包括用于将第一文件格式的第一文件翻译成第二文件格式的对应第二文件的映射逻辑(即，第二文件可以是经翻译的版本的第一文件)。可使用文件映射指令来配置翻译器158，该文件映射指令提供用于将第一文件格式的文件(或其部分)映射成第二文件格式的对应文件的指令。
移动设备19的一个实施例包括网络接口145、处理器146、存储器147、相机148、传感器149、以及显示器150，所有这些都彼此通信。网络接口145允许移动设备19连接到一个或多个网络180。网络接口145可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器146允许移动设备19执行存储在存储器147中的计算机可读指令以执行在此讨论的过程。相机148可以捕捉环境的色彩图像和/或深度图像。移动设备19可包括捕捉环境的图像的面向外的相机以及捕捉移动设备的终端用户的图像的面向内的相机。传感器149可生成与移动设备19相关联的运动和/或定向信息。在一些情况下，传感器149可包括惯性测量单元(IMU)。显示器150可显示数字图像和/或视频。显示器150可包括透视显示器。显示器150可包括LED或OLED显示器。
在一些实施例中，包括网络接口145、处理器146、存储器147、相机148以及传感器149的移动设备19的各组件可被集成在单芯片基片上。在一示例中，网络接口145、处理器146、存储器147、相机148、传感器149可被集成成为片上系统(SOC)。在其他实施例中，网络接口145、处理器146、存储器147、相机148、传感器149可被集成在单个封装中。
在一些实施例中，通过采用照相机148、传感器149，和运行在处理器146上的姿势识别软件，移动设备19可提供自然用户界面(NUI)。使用自然用户界面，人的身体部位和移动可被检测、解释、以及用于控制计算应用的各方面。在一个示例中，利用自然用户界面的计算设备可推断与计算设备交互的人的意图(例如，最终用户执行了特定姿势来控制该计算设备)。
联网计算环境100可以为一个或多个计算设备提供云计算环境。云计算指的是基于因特网的计算，其中共享的资源、软件和/或信息通过因特网(或其他全局网络)被按需提供给一个或多个计算设备。基于在计算机网络图中使用的云图来将因特网描绘成对其所表示的底层基础设施的抽象，术语“云”被用作对因特网的比喻。
在一个示例中，移动设备19包括向头戴式显示设备(HMD)的最终用户提供增强现实环境或混合现实环境的头戴式显示设备。HMD可包括视频透视和/或光学透视系统。最终用户佩戴的光学透视HMD可允许(例如经由透明透镜)对现实世界环境的实际直接查看，并且同时可将虚拟对象的图像投影到最终用户的视野中，由此用虚拟对象来增强最终用户所感知的现实世界环境。
通过利用HMD，佩戴HMD的最终用户可在现实世界环境(例如，起居室)中四处移动，并感知覆盖有虚拟对象的图像的现实世界的视图。虚拟对象可以看起来保持与现实世界环境的相干空间关系(即，当最终用户在现实世界环境中转动他们的头或移动时，显示给该最终用户的图像将改变，使得虚拟对象看起来像被最终用户感知的那样存在于该现实世界环境内)。虚拟对象还可看起来相对于最终用户的视角是固定的(例如，无论最终用户如何在现实世界环境中转动他们的头或移动，总是出现在最终用户视角的右上角的虚拟菜单)。在一个实施例中，现实世界环境的环境映射可由服务器15(即，在服务器侧)来执行，而相机本地化可在移动设备19上(即，在客户端侧)执行。虚拟对象可包括与现实世界对象相关联的文本描述。
在一些实施例中，移动设备(诸如移动设备19)可与云中的服务器(诸如服务器15)通信，并可提供与移动设备相关联的服务器位置信息(例如，经由GPS坐标的移动设备的位置)和/或图像信息(例如，与在移动设备的视野内检测到的对象有关的信息)。作为响应，服务器可基于提供给该服务器的位置信息和/或图像信息向移动设备传送一个或多个虚拟对象。在一个实施例中，移动设备19可指定用于接收一个或多个虚拟对象的特定文件格式，并且服务器15可向移动设备19传送特定文件格式的文件内包含的一个或多个虚拟对象。
在一些实施例中，HMD(诸如移动设备19)可使用从面向外的相机捕捉到的环境的图像，以便相对于该环境的3D图确定对应于这些图像的六自由度(6DOF)姿态。6DOF姿态可包括与HMD在该环境内的位置和取向相关联的信息。6DOF姿态可用于定位HMD并生成虚拟对象的图像，以使得这些虚拟对象看起来存在于该环境内的合适位置处。关于确定6DOF姿态的更多信息可在题为“DistributedAsynchronousLocalizationandMappingforAugmentedReality(增强现实的分布式异步定位和映射)”的美国专利申请13/152,220中找到。关于执行对移动设备的姿态估计和/或定位的更多信息可在题为“MobileCameraLocalizationUsingDepthMaps(使用深度图的移动相机定位)”的美国专利申请13/017,474中找到。
在一些实施例中，HMD(诸如移动设备19)可按比用于渲染核心流水线或渲染GPU的渲染帧速率大的帧速率来在增强现实(AR)环境内显示虚拟对象的图像。HMD可基于按比渲染帧速率高的频率提供的经更新的姿态估计来修改按渲染帧速率被渲染的被预先渲染的图像或被前向预测的图像。在一些实施例中，HMD可基于被预测的姿态按渲染帧速率(例如，每16ms)生成被预先渲染的图像，在生成被预先渲染的图像后确定与HMD相关联的一个或多个经更新的姿态(例如，每2ms)，基于一个或多个经更新的姿态和被预先渲染的图像来生成一个或多个经更新的图像，并且在HMD上显示一个或多个经更新的图像。在一些情况下，一个或多个经更新的图像可使用显示器(诸如显示器150)内的电路经由单应变换和/或像素偏移调整来生成。
图2A描绘了与第二移动设备5通信的移动设备19的一个实施例。移动设备19可包括透视HMD。如所描绘的，移动设备19经由有线连接6与移动设备5通信。然而，移动设备19还可经由无线连接与移动设备5通信。移动设备5可由移动设备19用来卸载计算密集的处理任务(例如，呈现虚拟对象)，并将可被用来提供增强现实环境的虚拟对象信息和其他数据存储在移动设备19上。移动设备5还可向移动设备19提供与移动设备5相关联的运动和/或定向信息。在一个示例中，运动信息可包括与移动设备5相关联的速度或加速度，并且定向信息可包括欧拉角，其提供围绕特定坐标系统或参照系的转动信息。在一些情况中，移动设备5可包括运动和定向传感器，诸如惯性测量单元(IMU)，以便获得与移动设备5相关联的运动和/或定向信息。
图2B描绘了HMD(诸如图1的移动设备19)的一部分的一个实施例。仅描绘了HMD200的右侧。HMD200包括右镜腿202、鼻梁204、镜片216、以及眼镜框214。右镜腿202包括与处理单元236通信的捕捉设备213(例如，前置相机和/或话筒)。捕捉设备213可包括用于记录数字图像和/或视频的一个或多个相机，并可将视觉记录传送到处理单元236。一个或多个相机可捕捉色彩信息、IR信息、和/或深度信息。捕捉设备213还可包括用于记录声音的一个或多个话筒，并可将音频记录传送到处理单元236。
右镜腿202还包括生物测定传感器220、眼睛跟踪系统221、耳机230、运动和定向传感器238、GPS接收器232、电源239、以及无线接口237，所有这些都与处理单元236通信。生物测定传感器220可包括用于确定与HMD200的最终用户的脉搏或心率相关联的一个或多个电极，以及用于确定与HMD200的最终用户相关联的体温的温度传感器。在一个实施例中，生物测定传感器220包括压着最终用户太阳穴的脉搏速率测量传感器。运动和定向传感器238可以包括三轴磁力计、三轴陀螺仪、和/或三轴加速度计。在一个实施例中，运动和定向传感器238可包括惯性测量单元(IMU)。GPS接收器可确定与HMD200相关联的GPS位置。处理单元236可以包括一个或多个处理器和用于存储将要在所述一个或多个处理器上执行的计算机可读指令。存储器还可存储要在一个或多个处理器上执行的其它类型的数据。
在一个实施例中，眼睛跟踪系统221可包括一个或多个面向内的相机。在另一实施例中，眼睛跟踪系统221可包括眼睛跟踪照明源和相关联的眼睛跟踪图像传感器。在一个实施例中，眼睛跟踪照明源可包括以大约预定IR波长或一定范围的波长发射的一个或多个红外(IR)发射器(诸如红外发光二极管(LED)或激光器(例如，VCSEL))。在一些实施例中，眼睛跟踪传感器可包括用于跟踪闪光位置的IR相机或IR位置敏感检测器(PSD)。关于眼睛跟踪系统的更多信息可在2008年7月22提交的标题为“HeadMountedEyeTrackingandDisplaySystem(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920，以及2011年9月26日提交的标题为“IntegratedEyeTrackingandDisplaySystem(集成眼睛跟踪和显示系统)”的美国专利申请13/245,700中找到。
在一个实施例中，镜片216可包括透视显示器，处理单元236生成的图像由此可被投影和/或显示在透视显示器上。透视显示器可通过调制被提供到该显示器(诸如硅上液晶(LCOS)显示器)的光或通过在该显示器(诸如OLED显示器)内生成光来显示虚拟对象的图像。捕捉设备213可被校准，使得捕捉设备213所捕捉的视野对应于HMD200的终端用户所看到的视野。耳机230可用于输出与虚拟对象的投影图像相关联的声音。在一些实施例中，HMD200可包括两个或更多个前置相机(例如，每个镜腿上一个相机)，以便从与前置相机所捕捉的视野相关联的立体信息中获得深度。两个或更多个前置相机还可包括3D、IR、和/或RGB相机。也可从利用来自运动技术的深度的单个相机中获取深度信息。例如，可从单个相机获取两个图像，这两个图像与在不同的时间点的、两个不同的空间点相关联。然后，给定与两个不同空间点有关的位置信息的情况下，可执行视差计算。
在一些实施例中，HMD200可使用凝视检测元件和与一个或多个人类眼睛元素(诸如角膜中心、眼球旋转的中心、或瞳孔中心)有关的三维坐标系，来为最终用户眼睛中的每只眼睛执行凝视检测。注视检测可被用来标识终端用户正在关注视野内的何处。注视检测元件的示例可包括生成闪光的照明器和用于捕捉表示所生成的闪光的数据的传感器。在一些情况中，角膜中心可以基于两次闪光使用平面几何来确定。角膜中心链接瞳孔中心和眼球的旋转中心，这可被当作用于确定处于某种凝视或观看角度的最终用户的眼睛的光轴的固定位置。
在一个实施例中，处理单元236可包括用于生成被预先渲染的图像的核心渲染流水线(例如，包括一个或多个图形处理单元)并且与眼镜216相关联的显示器可基于与HMD200相关联的后期姿态信息来对被预先渲染的图像执行后期图形调整。由于经更新的姿态信息可按比用于核心渲染流水线的最大渲染帧速率更高的频率来提供，后期图形调整可按大于该最大渲染帧速率的频率来被应用到被预先渲染的图像。
图3A描绘了用于按比用于核心渲染流水线的渲染帧速率大的帧速率来生成和显示与虚拟对象(或一个以上的虚拟对象)相关联的图像的系统的一个实施例。如描绘的，渲染模块302可生成对应于HMD的特定姿态的被预先渲染的图像。特定姿态可通过姿态估计模块312被提供到渲染模块302。姿态估计模块312可基于HMD的移动历史来预测HMD的将来姿态。在一些实施例中，姿态估计模块312可预测HMD的多于一个的将来姿态(例如，对于HMD而言三个可能的将来姿态)，并且渲染模块302可生成对应于该多于一个的将来姿态的多个被预先渲染的图像。当经更新的姿态信息变得可用时，该多于一个的将来姿态中最接近的姿态(即，最佳预测姿态)以及该最接近的姿态的对应的被预先渲染的图像可被用于通过对该最接近的姿态的对应的被预先渲染的图像应用后期图形调整来生成经更新的图像。在一个实施例中，当经更新的姿态信息变得可用时，替代于与该多于一个的将来姿态中最接近的姿态相关联的被预先渲染的图像被选择，经更新的图像可使用从对应于该多于一个的将来姿态的多个被预先渲染的图像中外插和/或内插的图像来生成。
在一些情况下，姿态估计模块312可根据基于相机的姿态跟踪信息和/或基于相机的姿态跟踪信息与低等待时间IMU运动信息的组合来确定HMD的当前姿态。姿态估计模块312可通过外插HMD的先前移动(例如，在确定当前姿态前5ms(毫秒)或10ms的HMD的移动)来预测HMD的将来姿态。
后期重投影(LSR)模块308可基于由姿态估计模块312提供的经更新的姿态估计信息来对由渲染模块302生成的被预先渲染的图像执行后期图形调整。在一个实施例中，渲染模块302可每16ms或每32ms生成被预先渲染的图像并且LSR模块308可每2ms或每4ms生成经调整的图像(即，LSR模块308可按比渲染模块302的最大渲染帧速率大的帧速率来向显示器310提供图像)。如描绘的，LSR模块308包括图像调整模块304和像素调整模块306。图像调整模块304可通过向被预先渲染的图像应用单应(homographic)变换(例如，应用单平面单应或多平面单应)来生成经调整的图像。在一个示例中，图像调整模块304可将仿射变换应用到被预先渲染的图像。像素调整模块306可执行图像的二维像素移位。被像素调整模块306像素移位的图像可包括被预先渲染的图像的一部分或由图像调整模块304生成的图像的一部分。在一些情况下，LSR模块308可通过将单应变换应用到被预先渲染的图像并接着将像素偏移调整应用到经由单应变换生成的图像来生成经调整的图像。由LSR模块308生成的经调整的图像可被显示在显示器310上。在一个实施例中，显示器310可包括OLED显示器。
在一些实施例中，LSR模块308的各部分可与显示器310集成。在一个示例中，像素调整模块306可使用显示器310内用于允许显示器310的像素阵列内的像素值的移位的移位寄存器或其他电路来执行。在另一示例中，图像调整模块304和像素调整模块306两者可由与显示器310集成的控制器或处理器来执行。
图3B描绘了图3A中的显示器310的一个实施例。如描绘的，显示器包括由行驱动器322和数据线驱动器224驱动的像素阵列320。像素阵列320包括多个像素321。在一个实施例中，每个像素321可包括OLED像素。每个OLED像素可包括一OLED以及用于控制该OLED的电路组。行驱动器322可驱动行线(或扫描线)以用于选择像素阵列320内的特定像素行以及用于将对应于数据线驱动器324的数据线连接到特定像素行中的像素。与行驱动器322相关联的每个行线可连接到特定像素行的每个像素内的锁存TFT。锁存TFT可将存储电容器与数据线中的特定数据线(例如，连接到像素阵列的某一列中的每个像素的特定列数据线)隔离。存储电容器可被用于存储用于偏置驱动OLED的第二TFT的栅极的电压。控制器326可通过控制行驱动器322和数据线驱动器324来将像素值加载到像素阵列320内。控制器326可访问存储在缓冲器328中的被缓冲的图像并在将像素值加载到像素阵列320之前执行图像调整。
在一个实施例中，控制器326可对存储在缓冲器328中的图像(或图像的一部分)执行特定单应变换并接着将经调整的图像加载到像素阵列320内以供显示。控制器326还可对存储在缓冲器328中的图像执行像素偏移调整(例如，通过将图像的像素值在X方向上移位第一像素偏移并在Y方向上移位第二像素偏移)。
图3C描绘了图3A中的显示器310的一替换实施例。如描绘的，显示器包括由行驱动器330和数据线驱动器224驱动的像素阵列320。像素阵列330包括多个像素331。在一个实施例中，每个像素331可包括OLED像素。每个OLED像素可包括一OLED、用于控制该OLED的第一组电路以及用于在像素阵列330内执行像素移位的第二组电路。像素阵列330可包括相邻像素之间用于促进像素阵列内像素值的移位的像素互连333。在一个实施例中，被锁存的数据值可被垂直地(即，在列方向上)和/或水平地(即，在行方向上)在相邻像素之间移位。在另一实施例中，存储在特定像素的存储电容器上的数据值可被用于驱动像素阵列330内的多个OLED之一(即，而非物理地移位被锁存的数据值，每个像素内的复用器可被用于选择正确的被锁存的数据值来应用到其对应的OLED)。
行驱动器322可驱动行线(或扫描线)以用于选择像素阵列330内的特定像素行以及用于将对应于数据线驱动器324的数据线连接到特定像素行中的像素。与行驱动器322相关联的每个行线可连接到特定像素行的每个像素内的锁存TFT。锁存TFT可将存储电容器与数据线中的特定数据线(例如，连接到像素阵列的某一列中的像素的特定列数据线)隔离。存储电容器可被用于存储用于偏置驱动OLED的第二TFT的电压(例如，用于控制第二TFT的栅极)。在一个实施例中，每个像素331可包括复用器，该复用器用于选择多个被锁存的数据值(每个被存储在像素阵列内的存储电容器上)之一来用于驱动TFT，该TFT驱动该像素的OLED。在一些情况下，复用器可允许将像素阵列330内所显示的像素值在X方向上移位第一像素偏移并在Y方向上移位第二像素偏移。控制器332可通过控制行驱动器322和数据线驱动器324来将像素值加载到像素阵列330内。控制器332可在将像素值加载到像素阵列330中之前执行图像调整。控制器332可包括用于对被提供到显示器310的图像信息进行缓冲的存储器缓冲器。
在一个实施例中，控制器332可对图像执行特定单应变换，接着将与该图像相关联的像素值加载到像素阵列330中。控制器可随后通过移位像素阵列331内的像素值来执行像素偏移调整。在一个示例中，每个像素内的被锁存的数据值可经由像素互连333在像素阵列内被垂直地(即，在列方向上)和/或水平地(即，在行方向上)移位。在另一示例中，被锁存的数据值可被用于通过在像素阵列330的每个像素331内并入复用器来驱动像素阵列330内的多个OLED之一。在一些情况下，像素阵列330可利用CMOS背板。在其他情况下，像素阵列330可利用CCD背板。
图4A描绘了被预先渲染的图像412的一部分以及基于该被预先渲染的图像412的经更新的图像414。如所描绘的，被预先渲染的图像412可基于HMD的初始姿态估计(例如，将来8ms或16ms的HMD的预测的姿态)被渲染。可基于HMD的当前位置和朝向以及HMD的就在确定初始姿态估计之前的加速度和速度来确定该初始姿态估计。被预先渲染的图像412可包括基于初始姿态估计的被渲染的图像并且可使用GPU或其他渲染系统来被渲染，该其他渲染系统具有在给定特定姿态的情况下将三维场景渲染成二维图像的能力。经更新的姿态估计可基于经更新的姿态信息来确定，该经更新的姿态信息是在确定初始姿态估计之后的时间点处被获取的。在一个示例中，经更新的姿态信息可根据基于相机的姿态跟踪信息和/或基于相机的姿态跟踪信息和对应于HMD的低等待时间IMU运动信息的组合来生成。
在一些实施例中，经更新的图像414可通过基于经更新的姿态估计和初始姿态估计之间的姿态区别来将图像变换应用到被预先渲染的图像412来生成。在一些实施例中，图像变换可包括对被预先渲染的图像412的至少一部分的图像旋转、平移、重新调整大小(例如，伸展或收缩)、移位或倾斜。经更新的图像414可经由被预先渲染的图像412的单应变换来生成。在一些情况下，单应变换可包括多平面单应性、单平面单应性和/或仿射单应性。
在一些实施例中，经更新的图像414可通过将像素偏移调整应用到被预先渲染的图像402来生成。像素偏移调整的程度可取决于经更新的姿态估计和初始姿态估计之间的区别。如描绘的，虚拟对象(即，虚拟圆柱体)的图像413已经在X维度和Y维度两者上被像素移位(例如，向左4像素并且向上3像素)。在一个实施例中，经更新的图像414使用像素偏移调整或单应变换和像素偏移调整的组合来生成。单应变换和/或像素偏移调整可使用与显示器集成的控制器或处理器来生成。在一些情况下，像素偏移调整可使用显示器来执行，该显示器合并用于允许在该显示器的像素阵列内的像素值的移位的移位寄存器或其他电路。
图4B描绘了被预先渲染的图像422以及被用于基于该被预先渲染的图像422的各部分来生成经更新的图像(或目标图像)的采样区域424和426的一个实施例。如描绘的，被预先渲染的图像422包括虚拟对象421(即，虚拟圆柱体)的图像。在一个实施例中，采样区域424可对应于用于生成第一经更新的图像的第一单应变换并且采样区域426可对应于用于生成第二经更新的图像的第二单应变换。单应信息可包括被预先渲染的图像(即，源图像或源帧)内的像素(或点)与经更新的图像(即，目标图像或目标帧)内的点之间的加权映射。采样区域的四个角可对应于对应的经更新的图像的四个角。在一个实施例中，与采样区域424相关联的四边形区域(即，源图像内的第一点子集)可被映射到与经更新的图像相关联的第二四边形区域(即，目标图像内的第二点子集)。在一些情况下，采样区域424可从核心渲染流水线或渲染GPU的帧缓冲器内的图像的一部分中得出。在仿射单应性的情况下，源图像内的第一平行四边形区域内的点可被映射到目标图像内的第二平行四边形区域内的点(或到包括矩形区域的整个目标图像)。
如描绘的，源图像可以比对应的目标图像大。源图像可被过渲染以考虑当前视点或姿态之外的潜在头部移动。在一个示例中，源图像可包括为1920像素乘1080像素的图像并且目标图像可包括为1366像素乘768像素的图像。假设一对一映射，采样区域424和426可均包括为1366像素乘768像素的图像。在一些实施例中，目标图像内的每个像素可对应于源图像内的四个或更多个像素的加权映射。从源图像的采样区域的源像素到目标图像的目标像素的映射可包括对源像素的双线性过滤(或其他纹理过滤)。在一些情况下，失真校正映射可在应用单应变换之前被应用到源图像。
在一个实施例中，采样区域424(以及第一单应变换)可与HMD在第一时间点的第一姿态(或第一预测的姿态)相关联并且采样区域426(以及第二单应变换)可与HMD的在第一时间点之后的第二时间点(例如，在第一时间点之后的2ms或4ms)的第二姿态(或第二预测的姿态)相关联。在一个示例中，第一预测的姿态可对应于将来4ms的预测的姿态，并且第二预测的姿态可对应于将来8ms的预测的姿态。对应于第一单应变换的第一经更新的图像可在对应于第二单应变换的第二经更新的图像显示之前被显示。第一经更新的图像可在第二经更新的图像在被生成的同时被显示。
在一个实施例中，图4B中的采样区域424可对应于用于生成目标图像的第一部分(例如，目标图像的顶部)的第一单应变换并且图4B中的采样区域426可对应于用于生成目标图像的第二部分(例如，目标图像的底部)的第二单应变换。
图4C描绘了图4B的被预先渲染的图像422的一个实施例，其中滚动缓冲器432(例如，跨越特定数量的行或扫描线)被应用到被预先渲染的图像422。在一些情况下，被预先渲染的图像422可包括多个片段(例如，每个跨越10行)并且滚动缓冲器432可对应于该多个片段中在特定时间点的一个片段(例如，滚动缓冲器432可按从顶部到底部的顺序在该多个片段中的每一个片段之间移动)。滚动缓冲器432可确定被预先渲染的图像422内可在特定时间点对其进行操作的源像素。在一些情况下，单应变换可应用到滚动缓冲器432内的源像素子集(例如，对应于图4B的采样区域424与被滚动缓冲器432指向的源图像行的重叠)。
将滚动缓冲器应用到源图像的概念也可被应用到目标图像。在一些实施例中，单应变换可对应于目标图像内的目标像素子集。例如，滚动缓冲器可被应用到目标图像，使得单应性(或其他图像变换)被应用到目标像素子集。目标像素子集可对应于目标图像内的扫描线集合(例如，目标像素子集包括跨越目标图像的20行的像素)。在这种扫描显示的情况下，图像重投影技术可被应用到将在特定时间段内被更新的像素(例如，单应变换仅需要应用到目标图像内将在下2ms内被显示或更新的那些像素)。
图5A描绘了将后期图形调整应用到被渲染的图像以生成经更新的图像的一个实施例。经更新的图像可使用HMD来显示。如描绘的，被渲染的图像(图像X)在时间T2之前可用。取决于用于生成被渲染的图像的核心渲染流水线，用于渲染被渲染的图像的整体时间可以例如是16ms、30ms或60ms。在被渲染的图像变得在时间T2可用之前，姿态估计(P1)可在时间T1被启动并被用于基于被渲染的图像来在时间T2之前生成经更新的图像(图像A)。经更新的图像(图像A)可使用HMD的显示器在时间T2和T6之间被显示。在一个实施例中，姿态估计(P1)可对应于在时间T4(或在其间图像使用HMD被投影的另一时间点)的HMD的被预测的姿态。在一些实施例中，被预测的姿态的时间可对应于从被渲染的图像(图像X)中得到的经更新的图像(图像A)的显示的中间显示时间。经更新的图像的显示的中间显示时间可对应于投影的中心光子或投影时间的中间点。在时间T5，第二姿态估计(P2)可被启动并被用于在时间T6之前生成第二经更新的图像(图像B)。第二经更新的图像(图像B)可在时间T6处开始被显示。
在一个示例中，显示器可每4ms(即，在T2和T6之间的时间可以是4ms)显示经更新的图像。在被渲染的图像(图像X)变得可用之前，对应于经更新的图像的中间显示时间的被预测的姿态可被确定。由于被预测的姿态在时间T1处被启动并且经更新的图像将被显示达4ms，被预测的姿态可对应于从时间T1起将来3ms的被预测的姿态。对中间显示时间的前向预测的一个原因是由于显示等待时间引起的错误可在大约中间显示时间被最小化或居中。
在一个实施例中，显示器可包括场序彩色显示器并且经更新的图像(图像A)可对应于第一色彩场(例如，红色图像)并且第二经更新的图像(图像B)可对应于第二色彩场(例如，绿色图像)。在这种情况下，姿态估计(P1)可被用于生成与第一色彩场相关联的经更新的图像(图像A)并且第二姿态估计(P2)可被用于生成与第二色彩场相关联的第二经更新的图像(图像B)。在一些情况下，经更新的图像(图像A)可使用被渲染的图像(图像X)的像素偏移调整来生成并且第二经更新的图像(图像B)可使用对被渲染的图像(图像X)的单应变换和/或被渲染的图像(图像X)的第二像素偏移调整来生成。场序彩色显示器可包括例如OLED显示器或LCOS显示器。
在一个实施例中，显示器可包括以单极方式来驱动的LCOS显示器，其中驱动电压可在图像投影期间被反转以防止液晶降级。由于每个色彩场投影可对应于正投影(例如，图像投影的前2ms)和负投影(例如，图像投影的最后2ms)两者，第一经更新的图像可在正投影期间被投影并且第二经更新的图像可在负投影期间被投影，从而有效地使显示帧速率翻倍。在一些情况下，第一经更新的图像可通过与LCOS显示器集成的电路经由第一像素偏移调整来生成，并且第二经更新的图像可通过与LCOS显示器集成的电路经由第二像素偏移调整来生成。
图5B描绘了与显示器相关联的显示序列的一个实施例。显示序列可对应于场序彩色显示或非场序彩色显示。在一个实施例中，与红、绿和蓝色彩场中的每个色彩场相关联的图像可在不同的时间点被加载到显示器中。例如，与红色彩场相关联的第一图像(加载(Load)R)可在时间T0和T1之间被加载到显示器中，与绿色彩场相关联的第二图像(加载G)可在时间T1和T2之间被加载到显示器中，并且与蓝色彩场相关联的第三图像(加载B)可在时间T2和T3之间被加载到显示器中。随着第二图像(加载G)被加载到显示器中，与第一图像的单应变换相对应的红色单应图像(R-H)以及与先前加载的蓝色图像的第二像素偏移调整相对应的经蓝色像素调整的图像(B-P2)可被显示在显示器上。随着第三图像(加载B)被加载到显示器中，与第二图像的单应变换相对应的绿色单应图像(G-H)以及与红色单应图像(R-H)的第一像素偏移调整相对应的经红色像素调整的图像(R-P1)可被显示在显示器上。在时间T3和T4之间，与第三图像的单应变换相对应的蓝色单应图像(B-H)可被显示，同时与红色单应图像(R-H)的第二像素偏移调整相对应的经红色像素调整的图像(R-P2)以及与绿色单应图像(G-H)的第一像素偏移调整相对应的经绿色像素调整的图像(G-P1)被显示。在时间T4和T5之间，随着下一红色彩场图像被加载到显示器中，与绿色单应图像(G-H)的第二像素偏移调整相对应的经绿色像素调整的图像(G-P2)以及与蓝色单应图像(B-H)的第一像素偏移调整相对应的经蓝色像素调整的图像(B-P1)被显示。在一些情况下，显示器可包括OLED显示器并且时间T1和T5之间的时间可包括大约8ms。
在一个实施例中，对被加载的彩色图像的单应变换和对所显示的图像的任何像素偏移调整可由显示器内的线路来执行。在另一实施例中，对彩色图像的单应变换和对所显示的图像的任何像素偏移调整可由主机设备来执行并被传送到显示器。
图5C描绘了与显示器相关联的显示序列的替换实施例。显示序列可对应于场序彩色显示或非场序彩色显示。在一个实施例中，与红、绿和蓝色彩场中的每个色彩场相关联的图像可在不同的时间点被加载到显示器中。例如，与红色彩场相关联的第一图像(R-L)可在时间T0和T1之间被加载到显示器中，与绿色彩场相关联的第二图像(G-L)可在时间T1和T2之间被加载到显示器中，并且与蓝色彩场相关联的第三图像(B-L)可在时间T2和T3之间被加载到显示器中。随着第二图像(G-L)被加载到显示器中，与第一图像的单应变换相对应的红色单应图像(R-H)、与先前被记载的蓝色图像的第二像素偏移调整相对应的经蓝色像素调整的图像(B-P2)以及与先前被加载的绿色图像的第三像素偏移调整相对应的经绿色像素调整的图像(G-P3)可被显示在显示器上(即，G-P3图像可在G-L图像被加载到显示器中的同时被显示)。随着第三图像(B-L)被加载到显示器中，与第二图像的单应变换相对应的绿色单应图像(G-H)、与红色单应图像(R-H)的第一像素偏移调整相对应的经红色像素调整的图像(R-P1)以及与先前被加载的蓝色图像的第三像素偏移调整相对应的经蓝色像素调整的图像(B-P3)可被显示在显示器上(即，B-P3图像可在B-L图像被加载到显示器中的同时被显示)。在时间T3和T4之间，与第三图像的单应变换相对应的蓝色单应图像(B-H)可被显示，同时与红色单应图像(R-H)的第二像素偏移调整相对应的经红色像素调整的图像(R-P2)以及与绿色单应图像(G-H)的第一像素偏移调整相对应的经绿色像素调整的图像(G-P1)被显示。在时间T4和T5之间，随着下一红色彩场图像被加载到显示器中，与绿色单应图像(G-H)的第二像素偏移调整相对应的经绿色像素调整的图像(G-P2)、与蓝色单应图像(B-H)的第一像素偏移调整相对应的经蓝色像素调整的图像(B-P1)以及与先前被加载的红色图像的第三像素偏移调整相对应的经红色像素调整的图像(R-P3)可被显示在显示器上(即，R-P3图像可在下一红色图像被加载到显示器中的同时被显示)。在一些情况下，显示器可包括具有图像缓冲器的OLED显示器并且时间T1和T5之间的时间可包括大约8ms,该图像缓冲器用于在显示其他图像的同时允许新的图像被加载。
在一个实施例中，对被加载的彩色图像的单应变换和对所显示的图像的任何像素偏移调整可由显示器内的线路来执行。在另一实施例中，对彩色图像的单应变换和对所显示的图像的任何像素偏移调整可由主机设备来执行并被传送到显示器。
图6A是描述了用于按比渲染帧速率大的帧速率来生成并显示与虚拟对象相关联的图像的方法的一个实施例的流程图。在一个实施例中，图6A的过程由诸如图1中的移动设备19的HMD来执行。
在步骤602，与HMD相关联的姿态历史被获取。姿态历史可包括HMD的随着时间推移的位置、朝向和移动。在步骤604，HMD的当前姿态被确定。当前姿态可使用基于相机的姿态跟踪来确定。在步骤606，基于当前姿态和姿态历史来确定HMD的被预测的姿态。被预测的姿态可对应于第一时间点(例如，从当前姿态被确定时起将来8ms或16ms)。
在步骤608，基于被预测的姿态来生成被渲染的图像。被渲染的图像可使用GPU或其他渲染系统来被渲染，该其他渲染系统具有在给定被预测的姿态的情况下将三维场景渲染成二维图像的能力。在步骤610，对应于第一时间点的HMD的经更新的姿态被确定。经更新的姿态可使用基于相机的姿态跟踪信息和/或基于相机的姿态跟踪信息和低等待时间IMU运动信息的组合来确定。
在步骤612，被预测的姿态与经更新的姿态之间的姿态区别被确定。姿态区别可确定要被应用到被渲染的图像的一部分以对在生成被渲染的图像时的不正确的姿态预测进行补偿的图像调整的程度。
在步骤614，基于姿态区别来生成经更新的图像。经更新的图像可经由被渲染的图像的一部分的单应变换来生成。在一些情况下，单应变换可包括仿射变换。经更新的图像还可使用像素偏移调整或单应变换和像素偏移调整的组合来生成。在一些情况下，单应变换和/或像素偏移调整可使用与HMD的显示器集成的控制器或处理器来生成。在一个实施例中，像素偏移调整可使用HMD的显示器来执行，该显示器合并用于允许在该显示器的像素阵列内的像素值的移位的移位寄存器或其他电路。在步骤616，经更新的图像被显示在HMD上。经更新的图像可使用与HMD集成的OLED显示器来显示。
图6B是描述了用于使用与显示器集成的电路来作出对被提供到该显示器的被渲染的图像的图形调整的方法的一个实施例的流程图。在一个实施例中，图6B的过程由诸如图1中的显示器150的显示器来执行。
在步骤632，从主机获取图像。主机可包括用于生成虚拟对象的图像的核心渲染流水线。在步骤634，通过将单应变换应用到该图像来生成第一经更新的图像。单应变换可包括仿射变换。在步骤636，第一经更新的图像被加载到显示器的像素阵列中。显示器可包括OLED显示器。在步骤638，第一经更新的图像可使用该显示器来被显示。
在步骤640，第二经更新的图像可通过在像素阵列内移位第一经更新的图像来生成。在一个实施例中，像素阵列内被锁存的数据值可被垂直地(即，在列方向上)和/或水平地(即，在行方向上)在相邻像素之间移位。在另一实施例中，存储在像素阵列内的数据值可驱动该像素阵列内的多个LED之一(即，而非物理地移位被锁存的数据值，每个像素内的复用器可被用于选择正确的被锁存的数据值来应用到其对应的LED)。在步骤642，第二经更新的图像被显示在显示器上。
图7A是描述了用于按比渲染帧速率大的帧速率来生成并显示与虚拟对象相关联的图像的方法的一替换实施例的流程图。在一个实施例中，图7A的过程由诸如图1中的移动设备19的HMD来执行。
在步骤702，与HMD相关联的第一被预测的姿态被确定。HMD的第一被预测的姿态可基于HMD的姿态历史来确定并且可对应于将来时间点，在该将来时间点期间，基于第一被预测的姿态的图像可使用HMD的显示器被显示或投影。在步骤704，基于第一被预测的姿态来生成被渲染的图像。被渲染的图像可使用GPU或其他渲染系统来被渲染，该其他渲染系统具有在给定第一被预测的姿态的情况下将三维场景渲染成二维图像的能力在一些情况下，渲染系统可采取30ms或60ms来渲染被渲染的图像。由渲染系统生成的每个被渲染的图像可与元数据相关联，该元数据标识被渲染的图像从中生成的特定姿态。用于生成被渲染的图像的过程的一个实施例稍后参考图7B来描述。
在步骤706，HMD的第二被预测的姿态被确定。第二被预测的姿态可包括经更新的姿态(例如，基于HMD的经更新的位置和运动信息的经更新的姿态估计在确定第一被预测的姿态之前不可用)。在一些情况下，第二被预测的姿态可通过外插基于相机的姿态跟踪信息和/或基于相机的姿态跟踪信息和低等待时间IMU运动信息的组合来确定。
在一些实施例中，第二被预测的姿态可与从被渲染的图像中得到的经更新的图像的显示的中间显示时间相对应。经更新的图像的中间显示时间可对应于经更新的图像的投影的中心光子或经更新的图像的投影时间的中间点。
在步骤708，第一被预测的姿态与第二被预测的姿态之间的姿态区别被确定。姿态区别可确定要被应用到被渲染的图像的一部分以对在生成被渲染的图像时的不正确的姿态预测进行补偿的图像调整的程度。在一些实施例中，如果姿态区别低于区别阈值，则后续图形调整可包括像素偏移调整。如果姿态区别大于或等于区别阈值，则后续图形调整可包括单应性。
在步骤710，基于姿态区别以及被渲染的图像的至少一部分来生成经更新的图像。经更新的图像可经由被渲染的图像的一部分的单应变换来生成。在一些情况下，单应变换可包括多平面单应性、单平面单应性和/或仿射单应性。经更新的图像还可使用像素偏移调整或单应变换和像素偏移调整的组合来生成。在一些情况下，单应变换和/或像素偏移调整可使用与HMD的显示器集成的控制器或处理器或使用在显示器内集成的定制电路来生成。在一个实施例中，像素偏移调整可使用HMD的显示器来执行，该显示器合并用于允许在该显示器的像素阵列内的像素值的移位的移位寄存器或其他电路。在步骤712，经更新的图像被显示在HMD上。经更新的图像可使用与HMD集成的OLED显示器或LCOS显示器来显示。
图7B是描述了用于生成被渲染的图像的过程的一个实施例的流程图。图7B中描述的过程是用于实现图7A中步骤704的过程的一个示例。在一个实施例中，图7B的过程由诸如图1中的移动设备19的HMD来执行。
在步骤722，HMD的被预测的姿态被获取。被预测的姿态可通过查询姿态估计模块(诸如图3A中的姿态估计模块312)来获取。在步骤724，被HMD的最终用户聚焦的虚拟对象被标识。在一个实施例中，眼睛跟踪可被用于确定在特定时间段内被最终用户聚焦的一组被查看的虚拟对象。虚拟对象可被标识为该组被查看的虚拟对象中被最频繁查看的虚拟对象。虚拟对象可与距HMD的深度或距离相关联。
在步骤726，基于虚拟对象在增强现实环境内的位置来确定稳定性平面。稳定性平面可与虚拟对象在增强现实环境内的位置一致。在这种情况下，稳定性平面(以及对应的被渲染的图像)可随着最终用户随着时间推移将他们的焦点在增强现实环境内的虚拟对象之间转移来在进行中被确定(即，稳定性平面在增强现实环境内的位置可基于在特定时间段期间被最频繁查看的虚拟对象在增强现实环境内的位置来移位)。在步骤728，基于被预测的姿态和稳定性平面来生成被渲染的图像。被渲染的图像可包括稳定性平面内的二维图像。在步骤730，被渲染的图像被输出。
所公开的技术的一个实施例包括与透视显示器通信的一个或多个处理器。该一个或多个处理器生成与移动设备的第一被预测的姿态相关联的被渲染的图像并确定移动设备的第二被预测的姿态。第二被预测的姿态不同于第一被预测的姿态。第二被预测的姿态对应于期间经更新的图像被显示的时间点。该一个或多个处理器确定第一被预测的姿态和第二被预测的姿态之间的姿态区别并基于该姿态区别和被渲染的图像的至少一部分来生成经更新的图像。透视显示器显示经更新的图像。
所公开的技术的一个实施例包括生成与移动设备的第一被预测的姿态相关联的被渲染的图像并确定移动设备的第二被预测的姿态。第二被预测的姿态不同于第一被预测的姿态并且对应于期间经更新的图像被显示在移动设备上的时间点。该方法还包括确定第一被预测的姿态和第二被预测的姿态之间的姿态区别，基于该姿态区别和被渲染的图像的至少一部分来生成经更新的图像的至少一部分，以及将经更新的图像的该至少一部分显示在移动设备的显示器上。
所公开的技术的一个实施例包括确定与HMD相关联的第一被预测的姿态，基于第一被预测的姿态来生成被渲染的图像，以及在确定第一被预测的姿态后来确定与HMD相关联的第二被预测的姿态。第二被预测的姿态对应于用于将经更新的图像显示在HMD上的中间显示时间(例如，对应于所投影的图像的中心光子的时间)。该方法还包括确定第一被预测的姿态和第二被预测的姿态之间的姿态区别，基于该姿态区别和被渲染的图像的至少一部分来生成经更新的图像，以及使用HMD来显示经更新的图像。
图8是移动设备8300(诸如图1中的移动设备19)的一个实施例的框图。移动设备可以包括已经整合了无线接收机/发射机技术的膝上型计算机、袖珍计算机、移动电话、HMD、个人数字助理、以及手持式媒体设备。
移动设备8300包括一个或多个处理器8312以及存储器8310。存储器8310包括应用8330和非易失性存储8340。存储器8310可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。移动设备操作系统处理移动设备8300的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用8330可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、闹钟应用、以及其它应用。存储器8310中的非易失性存储组件8340可以包含诸如音乐、照片、联系人数据、日程安排数据、以及其它文件之类的数据。
一个或多个处理器8312与透视显示器8309进行通信。透视显示器8309可显示与现实世界环境相关联的一个或多个虚拟对象。所述一个或多个处理器8312还与下列各项通信：RF发射机/接收机8306，其又耦合到天线8302；红外发射机/接收机8308；全球定位服务(GPS)接收器8365；以及移动/定向传感器8314，其可以包括加速度计和/或磁力计。RF发射机/接收机8308可以通过诸如或IEEE802.11标准之类的各种无线技术标准来实现无线通信。加速度计可能已经结合在移动设备中以实现诸如下列应用：智能用户界面应用，其让用户通过姿势输入命令；以及定向应用，其可以在移动设备被旋转时将显示自动地从竖向改变成横向。可以，例如，通过微机电系统(MEMS)来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械器件(微米尺寸)。可以感测加速度方向、以及定向、振动和震动。所述一个或多个处理器8312还与响铃器/振动器8316、用户界面小键盘/屏幕8318、扬声器8320、话筒8322、相机8324、光传感器8326和温度传感器8328进行通信。用户界面小键盘/屏幕可以包括触敏屏幕显示器。
所述一个或多个处理器8312控制无线信号的发射和接收。在发射模式期间，所述一个或多个处理器8312向RF发射机/接收机8306提供来自话筒8322的语音信号，或其它数据信号。发射机/接收机8306通过天线8302来发射信号。响铃器/振动器8316被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其它通知等信号。在接收模式期间，RF发射机/接收机8306通过天线8302接收来自远程站的语音信号或数据信号。所接收到的语音信号被提供给扬声器8320，而接收到的其它数据信号被适当地处理。
另外，可以使用物理连接器8388来将移动设备8300连接到诸如AC适配器或加电对接底座之类的外部电源，以便对电池8304进行再充电。物理连接器8388还可被用作到外部计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操作。
所公开的技术可用各种其它通用或专用计算系统环境或配置来操作。适合结合本技术中使用的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、包含上述系统或设备中的任一个的分布式计算环境等。
所公开的技术可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言，如此处所述的软件和程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构和其它类型的结构。硬件或硬件和软件的组合可以替代在此描述的软件模块。
所公开的技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。
出于本文档的目的，与所公开的技术相关联的每个过程可以持续地并由一个或多个计算设备来执行。该过程中的每个步骤都可由与在其他步骤中所使用的那些计算设备相同或不同的计算设备来执行，且每个步骤不必由单个计算设备来执行。
出于本文的目的，说明书中引述的“一实施例”、“一个实施例”、“某些实施例”或“另一实施例”用于描述不同的实施例并且不必然指的是同一实施例。
出于本文的目的，连接可以是直接连接或间接连接(例如，经由另一方)。
出于本文的目的，术语对象的“集合”指的是一个或多个对象的“集合”。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种移动设备，包括：
一个或多个处理器，所述一个或多个处理器生成与所述移动设备的第一被预测的姿态相关联的被渲染的图像，所述一个或多个处理器确定所述移动设备的第二被预测的姿态，所述第二被预测的姿态与所述第一被预测的姿态不同，所述第二被预测的姿态对应于期间经更新的图像被显示的时间点，所述一个或多个处理器确定所述第一被预测的姿态和所述第二被预测的姿态之间的姿态区别，所述一个或多个处理器基于所述姿态区别和被渲染的图像的至少一部分来生成所述经更新的图像；以及
与所述一个或多个处理器通信的透视显示器，所述透视显示器显示所述经更新的图像。
2.如权利要求1所述的移动设备，其特征在于：
所述第二被预测的姿态对应于用于在所述移动设备上显示所述经更新的图像的中间显示时间。
3.如权利要求1-2中的任一项所述的移动设备，其特征在于：
所述一个或多个处理器标识被所述移动设备的最终用户聚焦的虚拟对象，所述一个或多个处理器基于所述虚拟对象在增强现实环境内的位置来确定稳定性平面，所述一个或多个处理器基于所述稳定性平面来生成所述被渲染的图像。
4.如权利要求1-3中的任一项所述的移动设备，其特征在于：
所述一个或多个处理器通过将单应变换应用到所述被渲染的图像的所述至少一部分来生成所述经更新的图像。
5.如权利要求4所述的移动设备，其特征在于：
所述单应变换包括多平面单应性。
6.如权利要求4所述的移动设备，其特征在于：
所述单应变换包括仿射单应性。
7.如权利要求1-6中的任一项所述的移动设备，其特征在于：
所述移动设备包括HMD。
8.一种用于使用移动设备来显示图像的方法，所述方法包括：
生成被渲染的图像，所述被渲染的图像与所述移动设备的第一被预测的姿态相关联；
确定所述移动设备的第二被预测的姿态，所述第二被预测的姿态不同于所述第一被预测的姿态并且对应于期间经更新的图像被显示在所述移动设备上的时间点；
确定所述第一被预测的姿态和所述第二被预测的姿态之间的姿态区别；
基于所述姿态区别和所述被渲染的图像的至少一部分来生成经更新的图像的至少一部分；以及
将所述经更新的图像的所述至少一部分显示在所述移动设备的显示器上。
9.如权利要求8所述的方法，其特征在于：
所述第二被预测的姿态对应于用于在所述移动设备上显示所述经更新的图像的中间显示时间。
10.如权利要求8-9中的任一项所述的方法，其特征在于：
所述生成被渲染的图像包括标识被所述移动设备的最终用户聚焦的虚拟对象，基于所述虚拟对象在增强现实环境内的位置来确定稳定性平面，以及基于所述稳定性平面来生成所述被渲染的图像。
CN201480041966.8A 2013-07-25 2014-07-23 后期重投影的方法和装置 Active CN105474273B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/951,351 2013-07-25
US13/951,351 US9514571B2 (en) 2013-07-25 2013-07-25 Late stage reprojection
PCT/US2014/047714 WO2015013347A1 (en) 2013-07-25 2014-07-23 Late stage reprojection

Publications (2)

Publication Number Publication Date
CN105474273A true CN105474273A (zh) 2016-04-06
CN105474273B CN105474273B (zh) 2018-06-19

Family

ID=51398854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480041966.8A Active CN105474273B (zh) 2013-07-25 2014-07-23 后期重投影的方法和装置

Country Status (5)

Country Link
US (2) US9514571B2 (zh)
EP (1) EP3025312B1 (zh)
KR (2) KR102302102B1 (zh)
CN (1) CN105474273B (zh)
WO (1) WO2015013347A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106094204A (zh) * 2016-06-22 2016-11-09 马秋平 一种改进型vr眼镜
CN108734721A (zh) * 2017-04-17 2018-11-02 宏达国际电子股份有限公司 追踪系统以及追踪方法
CN109085915A (zh) * 2017-12-29 2018-12-25 成都通甲优博科技有限责任公司 一种增强现实方法、系统、设备及移动终端
CN109416844A (zh) * 2016-06-30 2019-03-01 阿尔卡特朗讯公司 图像处理设备及方法
CN110100274A (zh) * 2016-11-16 2019-08-06 奇跃公司 具有降低功率渲染的混合现实系统
CN110244840A (zh) * 2019-05-24 2019-09-17 华为技术有限公司 图像处理方法、相关设备及计算机存储介质
CN110557626A (zh) * 2019-07-31 2019-12-10 华为技术有限公司 一种图像显示的方法及电子设备
CN110573929A (zh) * 2017-05-01 2019-12-13 无限增强现实以色列有限公司 增强或混合现实环境的光学引擎时间扭曲
CN111656433A (zh) * 2018-02-03 2020-09-11 脸谱科技有限责任公司 减轻头戴式显示器中动显延迟的装置、系统和方法
CN111783986A (zh) * 2020-07-02 2020-10-16 清华大学 网络训练方法及装置、姿态预测方法及装置
CN112639577A (zh) * 2018-08-06 2021-04-09 威尔乌集团 基于应用程序渲染性能的预测和限流调整
CN113383296A (zh) * 2019-02-01 2021-09-10 脸谱科技有限责任公司 具有自适应自由度（dof）选择的人工现实系统
CN113574863A (zh) * 2019-03-18 2021-10-29 脸谱科技有限责任公司 使用深度信息渲染3d图像的方法和系统
CN114026603A (zh) * 2019-09-23 2022-02-08 苹果公司 渲染计算机生成现实文本
WO2024060953A1 (zh) * 2022-09-20 2024-03-28 北京字跳网络技术有限公司 用于增强现实交互的方法、装置、设备和存储介质

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009049073A1 (de) * 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
EP3683692A1 (en) * 2014-02-07 2020-07-22 SK Planet Co., Ltd. Cloud streaming service system, and method and apparatus for providing cloud streaming service
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
JP6417797B2 (ja) * 2014-09-03 2018-11-07 株式会社リコー 情報端末装置、情報処理方法、システムおよびプログラム
AU2016225963B2 (en) 2015-03-05 2021-05-13 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US9779554B2 (en) 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
WO2016179164A1 (en) * 2015-05-04 2016-11-10 Google Inc. Pass-through display of captured imagery
US10089790B2 (en) 2015-06-30 2018-10-02 Ariadne's Thread (Usa), Inc. Predictive virtual reality display system with post rendering correction
US9588598B2 (en) 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Efficient orientation estimation system using magnetic, angular rate, and gravity sensors
US9588593B2 (en) 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Virtual reality system with control command gestures
US9607428B2 (en) 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system
JP7036711B2 (ja) 2015-08-18 2022-03-15 マジック リープ， インコーポレイテッド 仮想および拡張現実システムならびに方法
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
CN106652004A (zh) * 2015-10-30 2017-05-10 北京锤子数码科技有限公司 基于头戴式可视设备对虚拟现实进行渲染的方法及装置
CA3007367A1 (en) 2015-12-04 2017-06-08 Magic Leap, Inc. Relocalization systems and methods
US10419747B2 (en) * 2015-12-22 2019-09-17 Google Llc System and methods for performing electronic display stabilization via retained lightfield rendering
US9978180B2 (en) 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
US10317991B2 (en) * 2016-02-09 2019-06-11 Google Llc Pixel adjusting at display controller for electronic display stabilization
KR20170096468A (ko) * 2016-02-16 2017-08-24 한국전자통신연구원 자동 음장 제어 방법 및 자동 음장 제어 장치 및 상기 자동 음장 제어 장치가 제어하는 출력 장치
CN105931272B (zh) * 2016-05-06 2019-04-05 上海乐相科技有限公司 一种运动对象追踪方法及系统
WO2017206061A1 (zh) * 2016-05-31 2017-12-07 深圳市赛亿科技开发有限公司 一种虚拟旅游风景的系统
US10237531B2 (en) 2016-06-22 2019-03-19 Microsoft Technology Licensing, Llc Discontinuity-aware reprojection
US10129523B2 (en) 2016-06-22 2018-11-13 Microsoft Technology Licensing, Llc Depth-aware reprojection
EP3479160A4 (en) * 2016-06-30 2020-03-25 Magic Leap, Inc. ESTIMATE OF THE POSE IN A 3D SPACE
KR102317683B1 (ko) * 2016-07-28 2021-10-26 삼성전자주식회사 영상을 처리하는 방법, 디바이스 및 기록매체
KR20190034321A (ko) 2016-08-02 2019-04-01 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
US10529063B2 (en) * 2016-08-22 2020-01-07 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
US10068553B2 (en) * 2016-09-12 2018-09-04 Intel Corporation Enhanced rendering by a wearable display attached to a tethered computer
US10379611B2 (en) * 2016-09-16 2019-08-13 Intel Corporation Virtual reality/augmented reality apparatus and method
WO2018064287A1 (en) * 2016-09-28 2018-04-05 Ariadne's Thread (Usa), Inc. Predictive virtual reality display system with post rendering correction
JP2018055589A (ja) 2016-09-30 2018-04-05 セイコーエプソン株式会社 プログラム、物体の追跡方法、表示装置
DE102016221204A1 (de) * 2016-10-27 2018-05-03 Siemens Aktiengesellschaft Bestimmung mindestens eines genäherten Zwischendatensatzes für eine Echtzeitanwendung
US10424241B2 (en) 2016-11-22 2019-09-24 Google Llc Display panel with concurrent global illumination and next frame buffering
EP3334164B1 (en) 2016-12-09 2019-08-21 Nokia Technologies Oy A method and an apparatus and a computer program product for video encoding and decoding
US10068521B2 (en) 2016-12-19 2018-09-04 Google Llc Partial memory method and system for bandwidth and frame rate improvement in global illumination
KR20180075732A (ko) 2016-12-26 2018-07-05 엘지디스플레이 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US9978118B1 (en) * 2017-01-25 2018-05-22 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with data compression
US10242654B2 (en) 2017-01-25 2019-03-26 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations
US10095408B2 (en) 2017-03-10 2018-10-09 Microsoft Technology Licensing, Llc Reducing negative effects of insufficient data throughput for real-time processing
IL303275B1 (en) 2017-03-17 2024-04-01 Magic Leap Inc A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it
KR102366781B1 (ko) 2017-03-17 2022-02-22 매직 립, 인코포레이티드 컬러 가상 콘텐츠 와핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
JP7055815B2 (ja) 2017-03-17 2022-04-18 マジック リープ， インコーポレイテッド 仮想コンテンツをワーピングすることを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
US10698068B2 (en) * 2017-03-24 2020-06-30 Samsung Electronics Co., Ltd. System and method for synchronizing tracking points
US10410349B2 (en) * 2017-03-27 2019-09-10 Microsoft Technology Licensing, Llc Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
US10514753B2 (en) * 2017-03-27 2019-12-24 Microsoft Technology Licensing, Llc Selectively applying reprojection processing to multi-layer scenes for optimizing late stage reprojection power
US10255891B2 (en) 2017-04-12 2019-04-09 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with multiple LSR processing engines
US10403029B2 (en) 2017-05-03 2019-09-03 Microsoft Technology Licensing, Llc Methods and systems for multistage post-rendering image transformation
US10785471B1 (en) 2017-05-12 2020-09-22 Facebook Technologies, Llc Upsampling content for head-mounted displays
WO2018216539A1 (ja) * 2017-05-24 2018-11-29 古野電気株式会社 映像生成装置
US10139631B1 (en) 2017-06-05 2018-11-27 Microsoft Technology Licensing, Llc Apparatus and method of 1:1 matching head mounted display view to head movement that controls articulated camera
US10360832B2 (en) 2017-08-14 2019-07-23 Microsoft Technology Licensing, Llc Post-rendering image transformation using parallel image transformation pipelines
JP6711803B2 (ja) * 2017-10-13 2020-06-17 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
WO2019122950A1 (ru) 2017-12-18 2019-06-27 Общество С Ограниченной Ответственностью "Альт" Способ и система для оптико-инерциального трекинга подвижного объекта
US10706813B1 (en) 2018-02-03 2020-07-07 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
EP3521899A1 (en) * 2018-02-03 2019-08-07 Facebook Technologies, LLC Apparatus, system, and method for achieving intraframe image processing in head-mounted displays
EP3522150A3 (en) * 2018-02-03 2020-01-01 Facebook Technologies, LLC Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
US11475823B2 (en) * 2018-03-20 2022-10-18 Nokia Technologies Oy Selectively controlling transparency states of pixels of a display
WO2019204638A1 (en) * 2018-04-19 2019-10-24 Pcms Holdings, Inc. Systems and methods employing predictive overfilling for virtual reality
US10678325B2 (en) 2018-05-22 2020-06-09 Facebook Technologies, Llc Apparatus, system, and method for accelerating positional tracking of head-mounted displays
DE102018209377A1 (de) * 2018-06-12 2019-12-12 Volkswagen Aktiengesellschaft Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden
US11151793B2 (en) * 2018-06-26 2021-10-19 Magic Leap, Inc. Waypoint creation in map detection
JP7304934B2 (ja) 2018-07-23 2023-07-07 マジック リープ， インコーポレイテッド 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
US10832481B2 (en) * 2018-08-21 2020-11-10 Disney Enterprises, Inc. Multi-screen interactions in virtual and augmented reality
US11113867B1 (en) * 2018-11-02 2021-09-07 Facebook Technologies, Llc Display engine for post-rendering processing
KR102195965B1 (ko) * 2018-12-14 2020-12-28 한국전자기술연구원 3차원 재구성 방법, 이를 위한 장치 및 시스템
US11010921B2 (en) 2019-05-16 2021-05-18 Qualcomm Incorporated Distributed pose estimation
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
CN112752119B (zh) * 2019-10-31 2023-12-01 中兴通讯股份有限公司 一种时延误差校正方法、终端设备、服务器及存储介质
KR102193776B1 (ko) * 2019-12-26 2020-12-22 성균관대학교 산학협력단 강화학습 기반 센서 데이터 관리 방법 및 시스템
US11150470B2 (en) 2020-01-07 2021-10-19 Microsoft Technology Licensing, Llc Inertial measurement unit signal based image reprojection
US11032534B1 (en) * 2020-02-20 2021-06-08 Microsoft Technology Licensing, Llc Planar deviation based image reprojection
US11099396B2 (en) 2020-04-10 2021-08-24 Samsung Electronics Company, Ltd. Depth map re-projection based on image and pose changes
US11263729B2 (en) * 2020-05-26 2022-03-01 Microsoft Technology Licensing, Llc Reprojection and wobulation at head-mounted display device
US11539931B2 (en) 2020-06-12 2022-12-27 Microsoft Technology Licensing, Llc Dual system optical alignment for separated cameras
WO2022050734A1 (en) * 2020-09-03 2022-03-10 Samsung Electronics Co., Ltd. Method and device for reducing performance difference between contents and devices in communication system
KR20220093985A (ko) 2020-12-28 2022-07-05 삼성전자주식회사 이미지 지연 보정 방법 및 이를 이용한 장치
US11836872B1 (en) 2021-02-01 2023-12-05 Apple Inc. Method and device for masked late-stage shift
KR20220156331A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 이미지 지연을 보정하기 위한 전자 장치 및 방법
US11822713B2 (en) * 2021-06-11 2023-11-21 Rockwell Collins, Inc. Pose augmentation of head worn display video for latency reduction
GB2608186A (en) * 2021-06-25 2022-12-28 Thermoteknix Systems Ltd Augmented reality system
US11900621B2 (en) 2021-10-13 2024-02-13 Microsoft Technology Licensing, Llc Smooth and jump-free rapid target acquisition
US20230237692A1 (en) * 2022-01-26 2023-07-27 Meta Platforms Technologies, Llc Methods and systems to facilitate passive relocalization using three-dimensional maps
US11954786B2 (en) 2022-05-20 2024-04-09 Microsoft Technology Licensing, Llc. Reprojection for high field rate displays
CN117812236A (zh) * 2022-09-27 2024-04-02 万有引力（宁波）电子科技有限公司 图像处理器、处理方法、存储介质及扩展现实显示装置
US11954248B1 (en) * 2023-03-17 2024-04-09 Microsoft Technology Licensing, Llc. Pose prediction for remote rendering

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110046483A1 (en) * 2008-01-24 2011-02-24 Henry Fuchs Methods, systems, and computer readable media for image guided ablation
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5109348A (en) * 1987-09-14 1992-04-28 Visual Information Technologies, Inc. High speed image processing computer
EP1191457A2 (en) 1994-03-22 2002-03-27 Hyperchip Inc. Monolithic systems with dynamically focused input/output
US5684498A (en) 1995-06-26 1997-11-04 Cae Electronics Ltd. Field sequential color head mounted display with suppressed color break-up
US5945972A (en) 1995-11-30 1999-08-31 Kabushiki Kaisha Toshiba Display device
JP3956337B2 (ja) 2001-03-16 2007-08-08 オリンパス株式会社 面順次カラー表示装置
WO2003079272A1 (en) 2002-03-15 2003-09-25 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
JP2008508621A (ja) 2004-08-03 2008-03-21 シルバーブルック リサーチ ピーティワイ リミテッド ウォークアップ印刷
US20060078215A1 (en) 2004-10-12 2006-04-13 Eastman Kodak Company Image processing based on direction of gravity
US20070273926A1 (en) 2006-05-25 2007-11-29 Matsushita Electric Industrial Co., Ltd. Device and method for switching between image data objects
US8212859B2 (en) 2006-10-13 2012-07-03 Apple Inc. Peripheral treatment for head-mounted displays
JP4857196B2 (ja) * 2007-05-31 2012-01-18 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
US8253772B2 (en) 2008-04-04 2012-08-28 Centurylink Intellectual Property Llc Method, apparatus and system for incorporating voice or video communication into a television or compatible audio capable visual display
JP5123747B2 (ja) 2008-06-18 2013-01-23 キヤノン株式会社 画像表示装置およびその制御方法
FR2933218B1 (fr) 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
JP5047090B2 (ja) 2008-07-31 2012-10-10 キヤノン株式会社 システム
US20100045701A1 (en) 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
KR101590331B1 (ko) * 2009-01-20 2016-02-01 삼성전자 주식회사 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법
KR101080040B1 (ko) * 2010-03-25 2011-11-04 동서대학교산학협력단 공간 증강 현실 기반 인터랙티브 디스플레이 방법
EP2619728B1 (en) 2010-09-20 2019-07-17 Qualcomm Incorporated An adaptable framework for cloud assisted augmented reality
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US9262950B2 (en) 2011-04-20 2016-02-16 Microsoft Technology Licensing, Llc Augmented reality extrapolation techniques
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US9420205B2 (en) 2011-11-04 2016-08-16 Datalogic Ip Tech S.R.L. Image acquisition method of object on supporting surface
US20150170418A1 (en) 2012-01-18 2015-06-18 Google Inc. Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
US9652893B2 (en) 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110046483A1 (en) * 2008-01-24 2011-02-24 Henry Fuchs Methods, systems, and computer readable media for image guided ablation
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RONALD AZUMA 等: "Improving static and dynamic registration in an optical see-through HMD", 《SIGGRAPH "94 PROCEEDINGS OF THE 21ST ANNUAL CONFERENCE ON COMPUTER GRAPHICS AND INTERACTIVE TECHNIQUES》 *
RYUGO KIJIMA 等: "A Development of Reflex HMD", 《PROCEEDINGS OF INTERNATIONAL SYMPOSIUM ON MIXED REALITY》 *
WILLIAM MARK: "Post-Rendering 3D Image Warping: Visibility, Reconstruction, and Performance for Depth-Image Warping", 《UNIVERSITY OF NORTH CAROLINA AT CHAPEL HILL CHAPEL HILL,》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106094204A (zh) * 2016-06-22 2016-11-09 马秋平 一种改进型vr眼镜
CN109416844A (zh) * 2016-06-30 2019-03-01 阿尔卡特朗讯公司 图像处理设备及方法
CN110100274B (zh) * 2016-11-16 2023-02-17 奇跃公司 具有降低功率渲染的混合现实系统
CN110100274A (zh) * 2016-11-16 2019-08-06 奇跃公司 具有降低功率渲染的混合现实系统
US11567587B2 (en) 2016-11-16 2023-01-31 Magic Leap, Inc. Mixed reality system with reduced power rendering
CN108734721A (zh) * 2017-04-17 2018-11-02 宏达国际电子股份有限公司 追踪系统以及追踪方法
CN108734721B (zh) * 2017-04-17 2021-03-16 宏达国际电子股份有限公司 追踪系统以及追踪方法
CN110573929A (zh) * 2017-05-01 2019-12-13 无限增强现实以色列有限公司 增强或混合现实环境的光学引擎时间扭曲
CN109085915A (zh) * 2017-12-29 2018-12-25 成都通甲优博科技有限责任公司 一种增强现实方法、系统、设备及移动终端
CN109085915B (zh) * 2017-12-29 2021-05-14 成都通甲优博科技有限责任公司 一种增强现实方法、系统、设备及移动终端
CN111656433A (zh) * 2018-02-03 2020-09-11 脸谱科技有限责任公司 减轻头戴式显示器中动显延迟的装置、系统和方法
CN112639577B (zh) * 2018-08-06 2023-06-06 威尔乌集团 基于应用程序渲染性能的预测和限流调整
CN112639577A (zh) * 2018-08-06 2021-04-09 威尔乌集团 基于应用程序渲染性能的预测和限流调整
CN113383296A (zh) * 2019-02-01 2021-09-10 脸谱科技有限责任公司 具有自适应自由度（dof）选择的人工现实系统
CN113574863A (zh) * 2019-03-18 2021-10-29 脸谱科技有限责任公司 使用深度信息渲染3d图像的方法和系统
CN110244840A (zh) * 2019-05-24 2019-09-17 华为技术有限公司 图像处理方法、相关设备及计算机存储介质
CN110557626A (zh) * 2019-07-31 2019-12-10 华为技术有限公司 一种图像显示的方法及电子设备
CN114026603A (zh) * 2019-09-23 2022-02-08 苹果公司 渲染计算机生成现实文本
CN114026603B (zh) * 2019-09-23 2023-06-13 苹果公司 渲染计算机生成现实文本
CN111783986A (zh) * 2020-07-02 2020-10-16 清华大学 网络训练方法及装置、姿态预测方法及装置
WO2024060953A1 (zh) * 2022-09-20 2024-03-28 北京字跳网络技术有限公司 用于增强现实交互的方法、装置、设备和存储介质

Also Published As

Publication number Publication date
EP3025312B1 (en) 2019-11-06
KR20160033763A (ko) 2016-03-28
WO2015013347A1 (en) 2015-01-29
KR102302102B1 (ko) 2021-09-13
US20160343172A1 (en) 2016-11-24
CN105474273B (zh) 2018-06-19
KR102234819B1 (ko) 2021-04-01
EP3025312A1 (en) 2016-06-01
US9747726B2 (en) 2017-08-29
US9514571B2 (en) 2016-12-06
US20150029218A1 (en) 2015-01-29
KR20210036424A (ko) 2021-04-02

Similar Documents

Publication Publication Date Title
CN105474273A (zh) 后期重投影
CN105393283A (zh) 增强现实体验的重投影oled显示
CN106462370B (zh) 基于注视位置的稳定性平面确定
US11533489B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
EP3889739B1 (en) Frame projection for augmented reality environments
CN115668340A (zh) 在头戴式显示设备处的重新投影和晃动
JP2023546797A (ja) ピクセル強度のデジタル制御およびアナログ制御を含む人工現実システム
US10572761B1 (en) Virtual reality system using super-resolution

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant