CN115668340A - 在头戴式显示设备处的重新投影和晃动 - Google Patents

在头戴式显示设备处的重新投影和晃动 Download PDF

Info

Publication number
CN115668340A
CN115668340A CN202180037752.3A CN202180037752A CN115668340A CN 115668340 A CN115668340 A CN 115668340A CN 202180037752 A CN202180037752 A CN 202180037752A CN 115668340 A CN115668340 A CN 115668340A
Authority
CN
China
Prior art keywords
sub
pixel
shaking
pixels
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180037752.3A
Other languages
English (en)
Inventor
J·N·马戈利斯
B·C·克雷斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN115668340A publication Critical patent/CN115668340A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/007—Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
    • G09G3/2022—Display of intermediate tones by time modulation using two or more time intervals using sub-frames
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G09G2340/0471—Vertical positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G09G2340/0478—Horizontal positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Geometry (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

一种头戴式显示设备，包括一个或多个位置传感器和处理器。所述处理器可以接收当前帧的渲染图像。所述处理器可以从一个或多个位置传感器接收位置数据，以及基于所述位置数据来确定经更新的设备姿态。所述处理器可以至少部分地通过基于所述经更新的设备姿态重新投影所述渲染图像，来对所述渲染图像的像素中的颜色信息应用第一空间校正。所述头戴式显示设备还可以包括显示器，所述显示器被配置为：至少部分地通过对重新投影的渲染图像应用晃动来对所述重新投影的渲染图像的所述像素中的所述颜色信息应用第二空间校正，由此针对所述当前帧生成晃动像素子帧的序列。所述显示器可以通过显示所述晃动像素子帧的序列来显示所述当前帧。

Description

在头戴式显示设备处的重新投影和晃动
背景技术
混合现实和完全虚拟现实头戴式设备通常包括位于用户的每只眼睛附近的一对近眼显示器。完全虚拟现实设备包括非透明的近眼显示器，而混合现实设备包括至少部分透明的近眼显示器。当用户使用混合现实设备时，图像经由近眼显示器被投射到用户的眼睛，使得图像看起来位于用户的物理三维环境中，并且物理环境的图像在未被所显示的图像遮挡时通过显示器是可见的。对于完全虚拟现实显示，图像看起来被投射到完全虚拟的三维环境中，所述完全虚拟的三维环境在视觉上替代了用户的物理环境。混合现实和完全虚拟现实设备常常采取用户佩戴的眼镜或护目镜的形式。对于混合现实设备，当移动通过物理环境时，所述设备能够显示图像，使得这些图像看起来具有世界锁定的位置。
发明内容
根据本公开的一个方面，提供了一种头戴式显示设备，其包括一个或多个位置传感器和处理器。所述处理器可以被配置为接收已经在远程计算设备处渲染的当前帧的渲染图像。所述处理器还可以被配置为从所述一个或多个位置传感器接收位置数据。所述处理器还可以被配置为基于所述位置数据来确定所述头戴式显示设备的经更新的设备姿态。所述处理器还可以被配置为至少部分地通过基于所述经更新的设备姿态来重新投影所述渲染图像，来对所述渲染图像的像素中的颜色信息应用第一空间校正。所述头戴式显示设备还可以包括显示器，所述显示器被配置为：至少部分地通过对重新投影的渲染图像应用晃动(wobulation)来对所述渲染图像的像素中的颜色信息应用第二空间校正，由此为当前帧生成晃动像素子帧的序列。所述显示器还可以被配置为通过显示晃动像素子帧的序列来显示所述当前帧。
提供本概要是为了以简化的形式引入概念的选择，这些概念在下文的详细描述中进一步描述。本概要不是为了识别所要求保护的主题的关键特征或基本特征，也不是为了用于限制所要求保护的主题的范围。此外，所要求保护的主题并不限于解决在本公开的任何部分中提到的任何或所有缺点的实现。
附图说明
图1示出了根据本公开的一个实施例的头戴式显示设备。
图2示出了根据图1的实施例的可以在一个或多个远程计算设备和头戴式显示设备处执行的示例性方法的流程图
图3示意性示出了根据图2的实施例的头戴式显示设备和一个或多个远程计算设备中的远程计算设备。
图4A示出了根据图3的实施例的基于头戴式显示设备的经更新的设备姿态生成的示例性重新投影的渲染图像。
图4B示出了可以由图3的实施例实现的后期重新投影处理的示例以生成图4A的重新投影的渲染图像。
图5示出了根据图3的实施例的渲染图像和重新投影的渲染图像，其分别包括颜色信息和经校正的颜色信息。
图6A-6D示出了根据图3的实施例的被应用于四个晃动像素子帧的序列中的像素的相应空间偏移。
图7A示出了根据图3的实施例的被应用于十二个晃动像素子帧的示例性序列中的像素的相应的多个空间偏移和子像素颜色。
图7B示出了根据图3的实施例的被应用于十二个晃动像素子帧的另一示例性序列中的像素的相应多个空间偏移和子像素颜色。
图8A-8B示出了根据图1的实施例的包括光瞳复制波导的投影仪的示例性架构。
图9A示出了根据图8A-8B的实施例的示例性光瞳复制波导的顶视图。
图9B示出了图9A的示例性光瞳复制波导的截面视图。
图9C示出了根据图8A-8B的实施例的包括第一重定向光栅和第二重定向光栅的另一示例性光瞳复制波导的顶视图。
图10A示出了根据图1的实施例的具有单个入射光瞳的示例性波导的顶视图。
图10B示出图10A的包括多个嵌入式光栅的示例性波导的截面视图。
图11示出了根据图1的实施例的其中执行晃动而不执行视场(FOV)拼接的第一像素布局、其中执行FOV拼接而不执行晃动的第二像素布局、以及其中执行晃动和FOV拼接两者的第三像素布局的示例。
图12示出了示例性计算环境的示意图，其中，可以包括图1的头戴式显示设备和远程计算设备。
具体实施方式
在现有混合现实和完全虚拟现实设备中，用于向用户显示图像的投影仪可能相对较大。这样的投影仪的尺寸可能使投影仪难以适配在用户佩戴舒适的眼镜形状因子内。另外，在现有混合现实设备中所使用的投影仪可能比所期望的要重。笨重的投影仪可能使用户长时间佩戴混合现实设备不舒适。
被包含在现有混合现实设备中的投影仪也可能具有高功耗率。现有投影仪的高功耗率可能降低电池寿命，并且可能要求用户更频繁地为混合现实设备充电。另外，如果增加电池尺寸以考虑投影仪的功率需求，则混合现实设备的尺寸和重量可能进一步增加。
为了解决现有混合现实设备的局限性，在图1中示出了根据一个示例性实施例的头戴式显示设备10。图1的头戴式显示设备10具有可穿戴眼镜或护目镜的形式，但是将意识到，其他形式也是可能的。头戴式显示设备10可以包括具有显示器32的输出设备套件。例如，显示器32可以是硅上液晶(LCoS)显示器。
头戴式显示设备10可以以增强现实配置来配置以呈现增强现实环境，并且因此显示器32可以是至少部分地可透视的立体显示器，其被配置为可视地增强由用户通过显示器32查看的物理环境的外观。在一些示例中，显示器32可以包括透明(例如，光学透明)的一个或多个区域，并且可以包括不透明或半透明的一个或多个区域。在其他示例中，显示器32可以跨显示器32的整个可用显示表面是透明的(例如，光学透明)。替代地，头戴式显示设备10可以以完全虚拟现实配置来配置，其中，显示器32是不透明的。在完全虚拟现实配置中，虚拟环境可以被显示在显示器32上。
头戴式显示设备10可以包括处理器12和存储器14。在一些实施例中，头戴式显示设备10的处理器12和/或存储器14的一些功能可以由一个或多个远程计算设备80来执行，头戴式显示设备10被配置为与其通信。如在图1中所示的，远程计算设备80包括处理器82和存储器84。远程计算设备80例如可以是位于数据中心中的服务器计算设备。
头戴式显示设备10可以包括通信设备套件16，通信设备套件16包括一个或多个通信设备，其可以包括一个或多个接收机16A和/或一个或多个发射机16B。在其中头戴式显示设备10与远程计算设备80通信的实施例中，一个或多个接收机16A可以被配置为从远程计算设备80接收数据，并且一个或多个发射机16B可以被配置为向远程计算设备80发送数据。在一些实施例中，头戴式显示设备10可以经由网络与远程计算设备80通信，所述网络可以是无线局域网或广域网。
处理器12可以被配置为输出混合现实体验以用于在显示器32上显示，所述混合现实体验包括被叠加在物理环境上的一个或多个虚拟对象。在具有至少部分可透视显示器的增强现实配置中，所述虚拟对象被可视地叠加到通过显示器32可见的物理环境上，以便在各种深度和位置处被感知。头戴式显示设备10可以使用立体视觉来通过向用户的两只眼睛显示所述虚拟对象的单独图像而将虚拟对象视觉地放置在期望的深度处，使得用户将感知到所述虚拟对象存在于期望的深度和位置处。当头戴式显示设备10处于增强现实配置中时，处理器12可以被配置为向显示器32传送指令以在物理环境中的世界锁定位置处显示虚拟对象。通过维持虚拟对象在物理环境中的明显位置，虚拟对象的位置可以被世界锁定，所述位置在用户的查看距离和视角的变化下基本上保持不变。虚拟对象可以在一个或多个帧上显示，所述一个或多个帧在时间上以预定频率来显示，诸如60Hz或120Hz。
替代地，头戴式显示设备100可以以虚拟现实配置来配置以呈现完全虚拟现实环境，并且因此显示器32可以是非透明的立体显示器。头戴式显示设备10可以被配置为经由非透明立体显示器向用户显示虚拟三维环境。在一些实施例中，头戴式显示设备10可以被配置为在用户面前显示虚拟表示，诸如物理环境的三维图形渲染，所述虚拟表示可以包括额外的虚拟对象。
头戴式显示设备10还可以包括被配置为发出声音的一个或多个扬声器。在一些实施例中，头戴式显示设备10可以至少包括左扬声器34A和右扬声器34B，其被定位为使得当佩戴头戴式显示设备10时，左扬声器34A可以位于用户的左耳附近，而右扬声器34B可以位于用户的右耳附近。因此，左扬声器34A和右扬声器34B可以发出立体声输出。头戴式显示设备10还可以包括被配置为提供触觉输出(例如，振动)的一个或多个触觉反馈设备36。
头戴式显示设备10还可以包括一个或多个输入设备，其可以包括一个或多个光学传感器。在一个示例中，头戴式显示设备10可以包括面向外部的光学传感器22，其可以被配置为从用户在增强现实配置中通过显示器32观察到的类似有利点(例如，视线)检测现实世界背景。头戴式显示设备10可以另外地包括可以被配置为检测用户的眼睛的注视方向的面向内部的光学传感器24。将意识到，面向外部的光学传感器22和面向内部的光学传感器24可以各自包括一个或多个组件传感器，诸如可见光相机或深度相机。在一些实施例中，由深度相机捕获的深度数据可以与由可见光相机捕获的颜色信息组合成包括颜色数据和深度数据两者的单个图像表示。
头戴式显示设备10还可以包括位置传感器系统，所述位置传感器系统可以包括一个或多个位置传感器26，诸如(一个或多个)加速度计、(一个或多个)陀螺仪、(一个或多个)磁强计、(一个或多个)全球定位系统、(一个或多个)多点跟踪器、惯性运动单元(IMU)和/或输出位置数据作为相关传感器的位置、取向和/或移动的其他传感器。头戴式显示设备10还可以包括被配置为收集声音数据的一个或多个麦克风28。
从一个或多个光学传感器接收的光学传感器信息和/或从位置传感器26接收的位置数据可以被用于评估头戴式显示设备10的有利点相对于其他环境对象的位置和取向。例如，可以使用同时定位和映射(SLAM)来确定有利点的位置和取向。在一些实施例中，所述有利点的位置和取向可以利用六个自由度(6DOF)来表征(例如，世界空间X、Y、Z、俯仰、滚动、偏航)。该有利点可以被称为设备姿态或设备姿态向量，并且在一些情况下，当指代要从相同有利点显示的内容的服务器侧渲染时，可以被称为相机姿态向量。所述位置和/或取向可以由头戴式显示设备10的处理器12和/或远程计算设备80来确定。
此外，所述光学传感器信息和所述位置传感器信息可以由处理器12用于执行对物理环境的分析，诸如深度分析、表面重构、环境颜色和照明分析，或者其他适当的操作。具体地，光学和位置传感器信息可以被用于创建物理环境的虚拟模型。所述虚拟模型可以被用于确定虚拟对象在虚拟空间中的相应世界锁定位置，并且添加要在期望的深度和位置处要被显示给用户的额外虚拟对象。在一些实施例中，所述物理环境可以在多个帧上被建模。在这样的实施例中，每个帧可以具有相关联的光学和/或位置传感器信息。所述光学传感器也可以被用于识别物理环境中的机器可识别的视觉特征，并且使用这些特征在连续帧中的相对移动来计算虚拟模型的世界空间内的头戴式显示设备10的帧对帧的相对姿态变化。
图2示出了可以与图1的头戴式显示设备10和一个或多个远程计算设备80一起使用以在头戴式显示设备10处显示内容的方法100。替代地，方法100可以与一些其他头戴式显示设备一起使用。在该示例中，虚拟内容在头戴式显示设备10上以多个帧来显示，每个帧具有相应的显示时间。方法100的步骤102可以在一个或远程计算设备80处执行。在步骤102处，方法100可以包括在当前帧的当前显示时间为所述头戴式显示设备生成设备姿态的渲染时间估计。所述渲染时间估计可以至少基于针对先前帧的设备位置数据来生成。如上文所讨论的，所述设备位置数据可以包括指示头戴式显示设备10在空间中的位置和取向以及头戴式显示设备10的运动的信息。可以从头戴式显示设备10接收设备位置数据。因此，基于在先前帧中从头戴式显示设备10接收的传感器数据，可以针对当前帧在一个或多个远程计算设备80处估计所述设备姿态。所述先前帧可以是紧接在当前帧之前的帧，或者在先前帧与当前帧之间可以有一个或多个中间帧。
步骤104可以在一个或多个远程计算设备80处执行。在步骤104处，方法100还可以包括在头戴式显示设备10的虚拟渲染表面上渲染所显示的内容以获得渲染图像。虚拟渲染表面可以是物理环境中的空间的表示，可以在其中显示虚拟内容。例如，所述虚拟渲染表面可以是立方体、矩形棱镜或者一个或多个虚拟对象的坐标可以位于其中的某个其他的三维空间。可以至少部分地基于在步骤102处所确定的渲染时间估计来渲染所显示的内容。在一些实施例中，所述渲染图像可以包括针对多个像素的相应颜色信息。
在步骤106处，方法100还可以包括从一个或多个远程计算设备80向头戴式显示设备10传输所述渲染图像。
方法100的步骤108可以在头戴式显示设备10的处理器12处执行。步骤108可以包括从一个或多个位置传感器26接收位置数据。所述位置数据可以包括指示头戴式显示设备10的取向、速度和/或加速度以及其位置的数据。在步骤110处，方法100还可以包括，在头戴式显示设备10的处理器12处，基于所述位置数据来确定头戴式显示设备10的经更新的设备姿态。在一些实施例中，可以至少部分地基于来自先前帧和/或在当前帧之前发生的一个或多个其他帧的位置数据来确定所述经更新的设备姿态。在显示时间确定所述经更新的设备姿态，以准备对所述渲染图像的显示。
方法100的步骤112也可以在头戴式显示设备10的处理器12处执行。在步骤110处，方法100还可以包括对所述渲染图像的像素中的颜色信息执行第一空间校正。可以至少部分地通过基于所述经更新的设备姿态重新投影所述渲染图像来执行第一空间校正。当所述渲染图像被重新投影时，所述渲染图像的至少一部分的位置可以在虚拟渲染表面内被重新定位。可以重新投影所述渲染图像，使得当用户从经更新的设备姿态的位置和取向查看一个或多个虚拟对象时，一个或多个虚拟对象看起来位于其相应的世界锁定位置处。因此，当用户的头部移动时，虚拟对象的外观位置可能看起来保持固定。
步骤114可以在头戴式显示设备10的显示器32处执行。在步骤114处，方法100还可以包括对重新投影的渲染图像的像素中的颜色信息执行第二空间校正。可以至少部分地通过将晃动应用到重新投影的渲染图像以执行第二空间校正，由此生针对当前帧的晃动像素子帧的序列。所述晃动可以在显示器32的面板内而不是在外部晃动器处应用，如下文进一步详细讨论的。通过对重新投影的渲染图像应用晃动，可以增加显示器32的有效分辨率。尽管图2将重新投影和第二空间校正示为单独的步骤，但是步骤114和步骤116可以被组合成单个操作，其中，所述渲染图像被重新定位和晃动。当组合步骤114和步骤116时，可以在显示器32的面板内执行组合步骤。
步骤116也可以在头戴式显示设备10的显示器32处执行。在步骤116处，方法100还可以包括通过显示晃动像素子帧的序列来显示当前帧。因此，可以显示所述当前帧，使得虚拟内容已经针对设备姿态的变化进行了校正，并且使得显示器32的有效分辨率已经经由面板内晃动而增加。
图3示意性示出了一个或多个远程计算设备80中的头戴式显示设备10和远程计算设备80。如在图3的示例中所示的，在当前帧的显示时间46处，远程计算设备80的处理器82可以被配置为计算头戴式显示设备10的估计设备姿态42的渲染时间估计。可以至少部分地基于从头戴式显示设备10接收到的先前帧位置数据44来计算估计设备姿态42的渲染时间估计。基于估计设备姿态42，处理器82还可以被配置为渲染包括针对一个或多个像素50的颜色信息52的渲染图像40。处理器82可以对渲染图像40进行渲染，使得从在估计的设备姿态42的渲染时间估计中估计的头戴式显示设备10的位置和取向来示出被包含在渲染图像40中的一个或多个虚拟对象。
头戴式显示设备10的处理器12可以被配置为经由通信设备套件16接收已经在远程计算设备80处渲染的当前帧的渲染图像40。处理器12还可以被配置为从一个或多个位置传感器26接收位置数据60。处理器12还可以被配置为基于位置数据60，以及在一些实施例中还基于先前帧位置数据44，来确定头戴式显示设备10的经更新的设备姿态62。
处理器12还可以被配置为至少部分地通过基于经更新的设备姿态62重新投影的渲染图像40来生成重新投影的渲染图像64。生成重新投影的渲染图像64可以包括对渲染图像40执行第一空间校正以确定针对每个像素50的经校正的颜色信息66。所述重新投影可以是对渲染图像40的调整，以考虑在估计的设备姿态42与经更新的设备姿态62之间的位置和/或取向的差异。图4A示出了示例性虚拟渲染表面48，在所述虚拟渲染表面48内，重新投影渲染图像40，由此获得在虚拟渲染表面48内具有不同位置的重新投影的渲染图像64。在图4A的示例中，经更新的设备姿态62指示头戴式显示设备10位于比在估计的设备姿态42中所指示的高度更低的高度处。因此，重新投影的渲染图像64相对于渲染图像40以增加的高度来显示。
图4B示出了可以被实现以生成图4A的重新投影的渲染图像64的后期重新投影过程的示例。在图4B的左上角处，所述过程以服务器侧渲染阶段开始，其中，远程计算设备80(例如，服务器)接收头戴式显示设备10的最新设备姿态并且将其存储在姿态历史中。基于所述姿态历史，远程计算设备80上的算法在显示时间计算渲染时间估计的设备姿态42，并且基于估计的设备姿态42来渲染场景。通过从估计的设备姿态42投影并且确定虚拟环境数据中被包含在比位于估计的设备姿态42处的虚拟相机的视场更宽的限定区域内的对象(如在虚线中所示的)，来渲染所述场景。通过渲染更宽的区域，考虑到当设备姿态被更新时视口可能在更宽的区域内移动的事实，如下文所描述的。然后，根据渲染技术将由根据估计的设备姿态42取向的虚拟相机虚拟捕获的图像渲染到渲染表面，例如，如所示的，所述渲染表面可以是渲染盒(具有5个边的盒形表面)或者渲染楔(具有右侧和左侧的双面表面)。
将意识到，所渲染的渲染表面包括所述渲染表面的一个或多个组件逻辑表面中的每个组件逻辑表面中的像素阵列50。所述渲染表面的数据大小小于被存储在远程计算设备80处的虚拟环境数据。服务器侧渲染使得服务器的更快的处理器82和更大的存储器84能够被用于存储和渲染将在头戴式显示设备10上显示的场景，同时通过诸如互联网或局域网之类的计算机网络将这些场景作为相对轻量级的渲染的渲染表面传输到头戴式显示设备10。针对要在显示时间显示的帧的渲染表面从远程计算设备80传输到头戴式显示设备10。在头戴式显示设备10处，如上文所描述的，诸如IMU的机载传感器，确定针对设备62的经更新的设备姿态，并且也确定在估计的设备姿态42与经更新的设备姿态62之间的差异(例如，以6DOF姿态变换的形式)。接下来，在被称为后期重新投影的过程中，使用已经基于姿态差异计算的单应变换，在渲染表面内重新投影渲染表面中的像素数据。然后，将重新投影的渲染表面中的像素数据写入视口并且被显示在与头戴式显示设备10相关联的显示器32上。
所述经更新的设备姿态被传输回远程计算设备80，以包含在姿态历史中并且在随后的姿态预测中使用。以这种方式，能够基于对设备姿态的显示时间更新来调整重新投影的渲染图像64的最终显示，这将导致显示图像在显示器32上的更准确的定位。例如，在被认为看上去位于真实世界对象上的世界锁定全息图的显示中，这会是特别重要的，因为基于姿态估计误差的这样的对象的位置即使轻微变化也会导致漂移或者以其他方式降低这些全息图被世界锁定的错觉。尽管参考图4B仅描述了一幅图像和一个显示器32，但是将意识到，针对头戴式显示设备10的立体近眼显示器中的三个颜色通道中的每个颜色通道和两个不同的近眼显示器中的每个近眼显示器，可以重复后期重新投影过程。
因此，在一些实施例中，如在图5中所示的，处理器12可以被配置为针对渲染图像40的多个颜色通道中的每个颜色通道单独地执行第一空间校正。如在图5的示例中所示的，渲染图像40的颜色信息52可以包括红色通道52A、绿色通道52B和蓝色通道52C，其分别包括针对每个像素50的红色、绿色和蓝色值。当处理器12执行第一空间校正时，处理器12可以被配置为生成包括经校正的红色通道66A、经校正的绿色通道66B和经校正的蓝色通道66C的经校正的颜色信息66。通过单独地重新投影颜色信息52中所包括的不同颜色通道，处理器12可以考虑针对不同波长的光的折射角的差异。当执行第一空间校正时考虑这些波长差异可以导致针对重新投影的渲染图像64与渲染图像40相比的有效分辨率增加，被称为超分辨率。
回到图3，头戴式显示设备10的处理器12还可以被配置为将重新投影的渲染图像64输出到显示器32。显示器32可以被配置为至少部分地通过对重新投影的渲染图像64应用晃动来对重新投影的渲染图像64的像素50中的经校正的颜色信息应用第二空间校正。可以在被包含在显示器32中的晃动电路38处执行第二空间校正。当应用所述第二空间校正时，显示器32可以为当前帧生成晃动像素子帧72的序列70。被包含在显示器32中的每个像素50可以包括多个子像素54。当显示器32生成晃动像素子帧72时，显示器32可以生成相应的子像素信息76，利用所述子像素信息76，每个子像素54可以被显示在所述晃动像素子帧72中。如下文进一步详细讨论的，针对子像素54的子像素信息76可以包括子像素颜色77和/或空间偏移78。
显示器32还可以被配置为通过显示晃动像素子帧72的序列70来显示所述当前帧。当显示序列70时，每个子像素54可以根据其在每个晃动像素子帧72中的相应子像素数据76来显示。在一些实施例中，晃动像素子帧72的序列70可以以与处理器12输出重新投影的渲染图像64的渲染速率异步的显示速率来显示。
在图6A-6D中示出了示例性序列70。在图6A-6D的示例中，显示器32包括多个像素50，每个像素包括相应的多个可寻址子像素54。晃动电路38可以被配置为至少部分地通过重新寻址多个像素50中的每个像素的一个或多个子像素54来对重新投影的渲染图像64应用所述晃动。当晃动电路38重新寻址一个或多个子像素54时，晃动电路38可以修改哪些子像素54被分配给哪些像素50，以及这些像素50内的哪些位置。在其中显示器32是LCoS显示器的实施例中，可以将晃动应用到重新投影的渲染图像64，而不需要头戴式显示设备10包括除了LCoS显示器之外的外部晃动器。因此，可以通过使用LCoS显示器来减小头戴式显示设备10的尺寸和重量。
序列70的每个晃动像素子帧72可以具有对应的空间偏移78。在一些实施例中，如在图6A-6D的示例中，每个晃动像素子帧72相对于序列70的初始晃动像素子帧72的对应空间偏移78可以是一个子像素54的垂直偏移、一个子像素54的水平偏移、或者一个子像素的垂直偏移和一个子像素54的水平偏移。图6A示出了在第一晃动像素子帧72A期间由四个子像素54的正方形形成的第一像素50A。在图6B中，重新寻址多个子像素54，使得在第二晃动像素子帧72B中，由四个子像素54的正方形形成第二像素50B，其相对于在图6A中所示的第一晃动像素子帧72A向右移动一个子像素54。图6C示出了第三晃动像素子帧72C，其中，多个子像素54被重新寻址，使得由相对于第二晃动像素子帧72B向下移动一个子像素54的子像素54的正方形形成第三像素50C。图6D示出第四晃动像素子帧72D，其中，多个子像素54被重新寻址，使得由相对于第三晃动像素子帧72C向左移动一个子像素54的子像素54的正方形形成第四像素50D。跟随第四晃动像素子帧72D，晃动电路38可以返回到第一晃动像素子帧72A的像素寻址配置。
如在图6A-6D中所示的，在晃动像素子帧72的序列70上，晃动电路38可以修改晃动像素子帧72的相应空间偏移78，以在四个不同位置的周期中移动每个像素50。被应用到像素50的空间偏移78可以有效地将显示器32的分辨率提高四倍。显示器32因此可以显示重新投影的渲染图像64，就好像显示器32中所包括的像素50的数量是原来的四倍一样，但是不导致投影仪尺寸或功耗的增加，这将由于显示器32中所包括的像素50的数量增加四倍而导致。另外，作为晃动的结果而实现的超分辨率可以独立于作为单独重新投影渲染图像40的颜色通道的结果而实现的超分辨率。因此，在图6A-6D的示例中实现的超分辨率仍然可以在其中经校正的颜色信息66包括多个单独重新投影的颜色通道的实施例中实现。
回到图3，在一些实施例中，除了具有相应的空间偏移78之外，序列70中所包括的每个晃动像素子帧72可以具有对应的子像素颜色77。例如，每个子像素颜色77可以从由红色、绿色和蓝色组成的组中选择。在这样的实施例中，晃动像素子帧72的序列70可以包括一个或多个红色晃动像素子帧、一个或多个绿色晃动像素子帧、以及一个或多个蓝色晃动像素子帧。图7A示出了十二个晃动像素子帧172A-172L的序列170。图7A的序列170循环通过子像素颜色77和空间偏移78，使得从红色、绿色和蓝色中选择的每个子像素颜色77被显示在图6A-6D中所示的四个空间偏移78中的每个空间偏移处。在序列170中，第一晃动像素子帧172A、第四晃动像素子帧172D、第七晃动像素子帧172G和第十晃动像素子帧172J为红色；第二晃动像素子帧172B、第五晃动像素子帧172E、第八晃动像素子帧172H和第十一晃动像素子帧172K为绿色；并且第三晃动像素子帧172C、第六晃动像素子帧172F、第九晃动像素子帧172I和第十二晃动像素子帧172L为蓝色。
在其他实施例中，如在图7B中所示的，晃动电路38可以被配置为生成序列270，其中，在序列270中所包括的一个或多个红色晃动像素子帧的数量、一个或多个绿色晃动像素子帧的数量和一个或多个蓝色晃动像素子帧的数量不都彼此相等。在图7B的序列270中所包括的晃动像素子帧72各自具有与图7A的序列170中的那些相同的相应子像素颜色77和空间偏移78，除了第六晃动像素子帧272F和第十二晃动像素子帧272L。第六晃动像素子帧272F是绿色而不是蓝色，并且第十二晃动像素子帧272L是红色而不是蓝色。例如，可以选择序列70中具有每个子像素颜色77的晃动像素子帧72的数量，以匹配人眼对不同颜色光的灵敏度。在一些实施例中，可以基于由头戴式显示设备10的面向外部的光学传感器22和/或面向内部的光学传感器24检测到的照明条件来动态地调整晃动像素子帧72与每个子像素颜色77的比率。
图8A-8B示出了根据一个示例性实施例的可以被包含在头戴式显示设备的显示器32中的投影仪300的示例性架构。示例性投影仪300可以包括照明空间310、非发射显示器320、成像空间330以及用户的眼睛340。如在图8A中所示的，第一照明源312A和第二照明源312B可以位于照明空间310中，在其之间具有第一位移304。
由第一照明源312A和第二照明源312B发射的光可以通过聚光透镜314、一个或多个光束整形光学元件316和均化透镜318。聚光透镜314可以从由第一照明源312A和第二照明源312B发射的光形成相应的会聚光束。在图8A-8B的示例中，第一照明源沿着聚光透镜314和均化透镜318的中心轴302定位。一个或多个光束整形光学元件316可以是微透镜阵列，如在图8A的示例中所示的，或者可以替代地包括偏振恢复元件的滤波漫射器。
穿过均化透镜318的光可以穿过非发射显示器320。例如，非发射显示器320可以是LCoS显示器、液晶显示器(LCD)或数字光处理(DLP)显示器。术语“非发射显示器”是本领域的一种术语，表示其中在面向用户的显示器表面后面产生光并且通过在非发射显示器处过滤该光来形成图像的显示器。因此，非发射显示器接收背光并且透射滤波光。在这样的显示器中，由于光源不在显示器本身内而是在背光中，所以显示器被称为非发射的。如在图8A中的示例性投影仪300中所示的，由第二照明源312B发射的光在穿过非发射显示器320时相对于由第一照明源312A发射的光可以具有角偏移。
图8B示出了根据图8A的示例的用户的成像空间330和眼睛340。成像空间330可以包括准直透镜332和光瞳复制波导334。在一些实施例中，如在图8B中所示的，准直透镜332和光瞳复制波导334可以从聚光透镜314和均化透镜318的中心轴302偏移第二位移306。准直透镜332可以被配置为接收穿过非发射显示器320的光并且将该光聚焦到光瞳复制波导334上。
光瞳复制波导334可以包括第一输入光栅336A、第二输入光栅336B、重定向光栅338和提取光栅339。第一输入光栅336A和第二输入光栅336B可以是用于相应子像素54的第一入射口和第二入射口，其中，第一输入光栅336A被配置为接收最初由第一照明源312A输出的光，并且第二输入光栅336B被配置为接收最初由第二照明源312B输出的光。第一输入光栅336A和第二输入光栅336B可以各自具有相应的光栅时段。第一输入光栅336A和第二输入光栅336B的光栅时段可以彼此不同，使得第一输入光栅336A具有第一耦合角，并且第二输入光栅具有第二耦合角。因此，在第一输入光栅336A处接收的光和在第二输入光栅336B处接收的光可以以不同的角度透过其相应的光栅，如下文进一步详细讨论的。
在通过第一输入光栅336A和第二输入光栅336B之后，所述光可以通过重定向光栅338和提取光栅339以到达用户的眼睛340。在图8A-8B的实施例中，单个重定向光栅338和单个提取光栅339被用于第一输入光栅336A和第二输入光栅336B两者。在其他实施例中，单独的重定向光栅338和/或单独的提取光栅339可以被用于第一输入光栅336A和第二输入光栅336B。另外地或替代地，在一些实施例中，投影仪300可以包括具有一些其他架构的波导。例如，波导可以包括一个或多个棱镜、一个或多个级联半色调镜或者一个或多个针光镜。在其他实施例中，波导可以包括一个或多个出射光曈，而不包括提取光栅339。
用户的眼睛340的透镜342可以将从光曈复制波导334接收到的光聚焦到用户的视网膜上，以形成空间上彼此偏移的第一子像素图像344A和第二子像素图像344B。因此，由于在第一照明源312A与第二照明源312B之间的第一位移304，第一子像素图像334A和第二子像素图像344B可以被显示在用户视野中的不同位置。
图9A示出了在图8B中所示的光瞳复制波导334的俯视图。另外，图9B示出了光瞳复制波导334的截面视图。如在图9B中所示的，已经通过第一输入光栅336A和第二输入光栅336B的光经由重定向光栅338内的全内反射而被重定向，以撞击在提取光栅339上。由于第一输入光栅336A和第二输入光栅336B在图9A-9B的示例中具有不同的耦合角，因此通过第二输入光栅336B的光以与通过第一输入光栅336A的光的角度不同的角度穿过重定向光栅338。图9B中的淡虚线示出了在第一输入光栅336A和第二输入光栅336B具有相同的耦合角的情况下通过第二输入光栅336B的光将采取的路径。通过第二输入光栅336B的光撞击在提取光栅339上的点也由于在第一耦合角与第二耦合角之间的差而在空间上偏移。另外，由于通过第一输入光栅336A的光和通过第二输入光栅336B的光以不同的角度撞击在提取光栅339上，所以其也以不同的角度被输出到用户的眼睛340。因此，可以在不同的位置处显示第一子像素图像344A和第二子像素图像344B。
图9C示出了光瞳复制波导354的替代配置的顶视图。图9C的配置包括第一重定向光栅338A和第二重定向光栅338B，其可以被配置为分别重定向通过第一输入光栅336A和第二输入光栅336B的光。在图9C的实施例中，第一重定向光栅338A和第二重定向光栅338B都将光重定向到同一提取光栅339。在其他实施例中，第一重定向光栅338A和第二重定向光栅338B可以将光重定向到单独的提取光栅339。
尽管图8A示出了两个照明源312A和312B并且8B-9C示出了两个输入光栅336A和336B，但是显示器32的每个像素50可以使用四个照明源和与四个子像素54相对应的四个输入光栅来形成。在这样的实施例中，第三和第四照明源可以相对于图8A的第一照明源312A和第二照明源312B位于与页面正交的方向上，由此形成照明源的矩形。这些矩形像素50中的多个矩形像素可以被布置在矩形网格中，如在图6A-6D中所示的。类似地，被包含在光瞳复制波导334中的输入光栅可以被布置在矩形网格中以形成每个具有四个对应输入光栅的像素50。
图10A-10B示出了光瞳复制波导434的另一示例性实施例，其在图10A中的顶视图和图10B中截面视图中被示出。光瞳复制波导434可以包括输入光瞳436、重定向光栅438和提取光栅439。与图8A-9B和图9C的实施例相比，重定向光栅438包括多个嵌入式光栅。图10B示出了第一嵌入式光栅437A、第二嵌入式光栅437B、第三嵌入式光栅437C和第四嵌入式光栅437D，其被堆叠在输入光瞳436下方的重定向光栅438内。第一嵌入式光栅437A、第二嵌入式光栅437B、第三嵌入式光栅437C和第四嵌入式光栅437D可以具有彼此不同的相应耦合角，使得嵌入式光栅437A、437B、437C和437D中的每个嵌入式光栅与不同的子像素位置相对应。在图10B中通过从提取光栅439发射的发射光的发散路径图示了这些不同的耦合角。
嵌入式光栅437A、437B、437C和437D中的每个嵌入式光栅可以被配置为以电子方式激活和去激活。嵌入式光栅437A、437B、437C和437D可以各自被配置为当被激活时折射入射光，并且当未激活时透射入射光而不折射入射光。因此，晃动电路38可以被配置为通过激活和去激活嵌入式光栅437A、437B、437C和437D来对重新投影的渲染图像64应用所述晃动，以将相应的空间偏移78应用于多个像素50。在一些实施例中，针对每个像素50，晃动电路38可以被配置为在任何给定晃动像素子帧72处激活嵌入式光栅437A、437B、437C或437D中的至多一个嵌入式光栅。在其他实施例中，多个嵌入式光栅437A、437B、437C和437D中的嵌入式光栅可以在其他嵌入式光栅中的一个或多个嵌入式光栅激活时保持激活。
作为在单个光瞳复制波导434的重定向光栅中包括多个嵌入式光栅的替代方案，投影仪300替代地包括多个空间复用的光瞳复制波导，所述多个空间复用的光瞳复制波导包括被配置为以电子方式激活和去激活的相应输入光栅，使得每个输入光栅被配置为在被激活时折射入射光，并且在去激活时透射而不折射入射光。这些空间复用的光瞳复制波导中的每个光瞳复制波导可以包括一个或多个输入光栅。由此，对输入光栅的电子激活和去激活可以允许输入光栅的时间复用以及空间复用。在这样的实施例中，子像素54的空间偏移78可以通过寻址输入光栅来应用，如由晃动像素子帧72的序列70所指示的。
在一些实施例中，图像凹形可以连同晃动一起被应用于重新投影的渲染图像64。在这样的实施例中，晃动像素子帧72中的像素50的子像素信息76可以包括多于一个子像素54的相应空间偏移78。这些空间偏移78中的每个空间偏移可以是垂直的、水平的，或者是垂直和水平的两者。作为一些特定示例，晃动像素子帧72中的子像素54可以在空间上偏移50个像素50和一个子像素54、100个像素50和一个子像素54、或者200个像素50和一个子像素54的距离。也设想到了其他像素维度的偏移。使用这些空间偏移78大于一个子像素54的距离，可以执行视场(FOV)拼接，其中，在不同晃动像素子帧72中显示重新投影的渲染图像64的不同区域。
图11示出了在其中执行晃动而不执行FOV拼接的第一像素布局510、在其中执行FOV拼接而不执行晃动的第二像素布局520、以及在其中执行晃动和FOV拼接两者的第三像素布局530的示例。在第一像素布局510中，在两个晃动像素子帧72之间示出了向下一个子像素54和向右一个子像素54的空间偏移78，如在图6A-6D的示例中所示的。
第二像素布局520示出了可以在空间和/或时间上复用的四个FOV区域522。被包含在当前显示的FOV区域522中的子像素54在第二像素布局520中被示为填充，而在其他时间所显示的FOV区域522的子像素54被示为轮廓。在图11的示例中，FOV区域522不重叠。在其中FOV区域522被空间复用的实施例中，FOV区域522可以通过单独的光曈复制波导被投影到用户的眼睛340。在其中FOV区域522被时间复用的实施例中，不同的FOV区域522可以在单独的子帧中显示。当头戴式显示设备10的显示器32包括图8A-9B的光瞳复制波导334、图9C的光瞳复制波导354或者图10A-10B的光瞳复制波导434时，可以通过对离开所述光瞳复制波导的提取光栅的光应用角位移来执行FOV拼接。尽管在图11的示例中显示了四个FOV区域522，但是在其他实施例中可以使用其他数量的FOV区域522。
在图11中所示的第三像素布局530包括可以在单独的晃动像素子帧72中显示的四个晃动FOV区域532。在第三像素布局530中示出的四个晃动FOV区域532重叠，使得第三像素布局的子像素密度在中心附近高于边缘处。在第三像素布局530的中心附近的密度的这种增加可以在用户视网膜中心处的中央凹(fovea)附近提供增加的分辨率，其中，用户视觉的感知清晰度高于用户视觉的外围。中央凹的位置可以使用由向内部的光学传感器24收集的图像数据经由视线跟踪来确定。因此，可以利用看起来更清晰的非均匀子像素密度来显示从重新投影的渲染图像64生成的当前帧，而不增加被包含在当前帧中的子像素54的数量。
类似于在第二像素布局520中的FOV区域522，晃动FOV区域532可以在空间和/或时间上复用。在其中晃动FOV区域532被空间复用的实施例中，晃动FOV区域532可以通过单独的光曈复制波导被输出到用户的眼睛340。在这样的实施例中，可以在所述光瞳复制波导中的每个光瞳复制波导处执行晃动。
晃动FOV区域532的单独的光瞳复制波导可以具有不同的角带宽，在所述角带宽上光可以从其相应的输出光栅发射。通过针对光瞳复制波导使用单独的角带宽，由于提取光栅在较小的角度范围内发射光，所以可以增加光瞳复制波导的耦合效率。另外，当光瞳复制波导具有不同的角带宽时，每个晃动FOV区域532可以被更均匀地照明。
使用上文所讨论的系统和方法，被包含在头戴式显示设备中的近眼显示器的尺寸和功耗可以减小。将晃动应用于重新投影的渲染图像可以允许用户感知的显示的表观分辨率增加，例如增加四倍。另外，可以通过对渲染图像执行后期重新投影和通过对重新投影的渲染图像应用晃动来实现超分辨率，由此允许感知分辨率的进一步增加。因此，上文所讨论的技术可以允许使用较小的、较不能量密集的投影仪，而用户不会察觉到显示分辨率的降低。也可以使用上文所讨论的面板内晃动技术而不是在头戴式显示设备中包括外部晃动器来实现尺寸上的节省。
在一些实施例中，在本文中所描述的方法和过程可以与一个或多个计算设备的计算系统相关。具体地，这样的方法和过程可以被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图12示意性示出了计算系统600的非限制性实施例，其能够制订上文所描述的方法和过程中的一种或多种方法和过程。计算系统600以简化形式示出。计算系统600可以体现上文所描述的并且在图1中所图示的头戴式显示设备10和远程计算设备80。计算系统600可以采取以下形式：一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备以及诸如智能手表和头戴式增强现实设备的可穿戴计算设备。
计算系统600包括逻辑处理器602、易失性存储器604和非易失性存储设备606。计算系统600可选地可以包括显示子系统608、输入子系统610、通信子系统612和/或在图12中未示出的其他组件。
逻辑处理器602包括被配置为执行指令的一个或多个物理设备。例如，所述逻辑处理器可以被配置为执行作为一个或多个应用、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分的指令。这样的指令可以被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果或者以其他方式达到期望的结果。
所述逻辑处理器可以包括被配置为执行软件指令的一个或多个物理处理器(硬件)。另外地或替代地，所述逻辑处理器可以包括一个或多个硬件逻辑电路或固件设备，其被配置为执行硬件实现的逻辑或固件指令。逻辑处理器602的处理器可以是单核或多核，并且在其上执行的指令可以被配置用于顺序、并行和/或分布式处理。逻辑处理器的各个组件可选地可以分布在两个或更多个单独的设备之间，这些设备可以远程定位和/或被配置用于协调处理。逻辑处理器的各方面可以由配置在云计算配置中的远程可访问的联网计算设备虚拟化和执行。在这种情况下，这些虚拟化方面运行在各种不同机器的不同物理逻辑处理器上，这将是可以理解的。
非易失性存储设备606包括一个或多个物理设备，所述物理设备被配置为保存可由逻辑处理器执行的指令，以实现本文描述的方法和过程。当实现这样的方法和过程时，可以转换非易失性存储设备606的状态，例如，以保存不同的数据。
非易失性存储设备606可以包括可移动和/或内置的物理设备。非易失性存储设备606可以包括光存储器(例如，CD、DVD、HD-DVD、蓝光光盘等)、半导体存储器(例如，ROM、EPROM、EEPROM、闪存等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)或其他大容量存储设备技术。非易失性存储设备606可以包括非易失性、动态、静态、读/写、只读、顺序访问、位置可寻址、文件可寻址和/或内容可寻址设备。将理解，非易失性存储设备606被配置为即使当对非易失性存储设备606的电力被切断时也保存指令。
易失性存储器604可以包括包含随机存取存储器的物理设备。易失性存储器604通常由逻辑处理器602用于在软件指令的处理期间临时存储信息。将理解，当对易失性存储器604的电力被切断时，易失性存储器604通常不继续存储指令。
逻辑处理器602、易失性存储器604和非易失性存储设备606的各方面可以一起集成到一个或多个硬件逻辑组件中。例如，这种硬件逻辑组件可以包括现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)和复杂可编程逻辑器件(CPLD)。
术语“模块”、“程序”和“引擎”可用于描述计算系统600的一个方面，该方面通常由处理器在软件中实现，以使用易失性存储器的一部分执行特定功能，该功能涉及专门配置处理器以执行该功能的转换处理。因此，模块、程序或引擎可以经由逻辑处理器602实例化，该逻辑处理器602使用易失性存储器604的一部分执行由非易失性存储设备606保存的指令。可以理解，不同的模块、程序和/或引擎可以从相同的应用、服务、代码块、对象、库、例程、API、函数等实例化。同样，相同的模块、程序和/或引擎可以由不同的应用、服务、代码块、对象、例程、API、函数等实例化。术语“模块”、“程序”和“引擎”可以包括可执行文件、数据文件、库、驱动程序、脚本、数据库记录等的个体或组。
当被包含时，显示子系统608可用于呈现由非易失性存储设备606保存的数据的视觉表示。视觉表示可以采用图形用户界面(GUI)的形式。当本文描述的方法和过程改变由非易失性存储设备保存的数据，并且因此转换非易失性存储设备的状态时，显示子系统608的状态也可以被转换为可视地表示底层数据中的变化。显示子系统608可以包括利用几乎任何类型技术的一个或多个显示设备。这样的显示设备可以与逻辑处理器602、易失性存储器604和/或非易失性存储设备606组合在共享外壳中，或者这样的显示设备可以是外围显示设备。
当被包含时，输入子系统610可以包括一个或多个用户输入设备或与其接口，例如键盘、鼠标、触摸屏或游戏控制器。在一些实施例中，输入子系统可以包括所选的自然用户输入(NUI)组件或与其接口。这样的组件可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外处理。示例性NUI组件可以包括用于话语和/或语音识别的麦克风；用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计和/或陀螺仪；以及用于评估大脑活动的电场感测组件；和/或任何其他合适的传感器。
当被包含时，通信子系统612可以被配置为将本文描述的各种计算设备彼此通信地耦合，并与其他设备通信地耦合。通信子系统612可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置用于经由无线电话网络或者有线或无线局域网或广域网(例如通过Wi-Fi连接的HDMI)进行通信。在一些实施例中，通信子系统可以允许计算系统600经由诸如互联网的网络向其他设备发送和/或从其他设备接收消息。
以下段落描述了本公开的若干方面。提供了一种头戴式显示设备，其包括一个或多个位置传感器和处理器。所述处理器可以被配置为接收已经在远程计算设备处渲染的当前帧的渲染图像。所述处理器还被配置为从所述一个或多个位置传感器接收位置数据。所述处理器还可以被配置为基于所述位置数据来确定所述头戴式显示设备的经更新的设备姿态。所述处理器还可以被配置为至少部分地通过基于所述经更新的设备姿态重新投影所述渲染图像，来对所述渲染图像的像素中的颜色信息应用第一空间校正。所述头戴式显示设备还可以包括显示器，所述显示器被配置为：至少部分地通过对重新投影的渲染图像应用晃动来对重新投影的渲染图像的所述像素中的所述颜色信息应用第二空间校正，由此针对所述当前帧生成晃动像素子帧的序列。所述显示器还可以被配置为通过显示所述晃动像素子帧的序列来显示所述当前帧。
根据该方面，所述晃动在被包含在所述显示器中的晃动电路处被应用于所述重新投影的渲染图像。
根据该方面，所述显示器可以包括多个像素，所述多个像素中的每个像素包括相应的多个可寻址子像素。所述晃动电路可以被配置为至少部分地通过重新寻址所述多个像素中的每个像素的一个或多个子像素来对所述重新投影的渲染图像应用所述晃动。
根据该方面，每个晃动像素子帧具有对应的子像素颜色和对应的空间偏移。
根据该方面，所述晃动像素子帧的序列可以包括一个或多个红色晃动像素子帧、一个或多个绿色晃动像素子帧以及一个或多个蓝色晃动像素子帧。在所述序列中所包括的所述一个或多个红色晃动像素子帧的数量、一所述个或多个绿色晃动像素子帧的数量和所述一个或多个蓝色晃动像素子帧的数量并不都彼此相等。
根据该方面，每个晃动像素子帧的所述对应空间偏移可以是一个子像素的垂直偏移、一个子像素的水平偏移、或者一个子像素的垂直偏移和一个子像素的水平偏移。
根据该方面，所述当前帧的所述子像素可以以非均匀的子像素密度来显示。
根据该方面，所述显示器可以是硅上液晶(LCoS)显示器。
根据该方面，根据在所述当前帧的显示时间处所述头戴式显示设备的估计设备姿态的渲染时间估计，可以在所述远程计算设备处渲染所述渲染图像。
根据该方面，所述显示器还可以包括光瞳复制波导，所述光瞳复制波导包括具有第一耦合角的第一入射口和具有第二耦合角的第二入射口。所述第一耦合角可以与所述第二耦合角不同。
根据本公开的另一方面，提供了一种与头戴式显示设备一起使用的方法。所述方法可以包括：在处理器处，接收已经在远程计算设备处渲染的当前帧的渲染图像。所述方法还包括：在所述处理器处，从一个或多个位置传感器接收位置数据。所述方法还可以包括：在所述处理器处，基于所述位置数据来确定所述头戴式显示设备的经更新的设备姿态。所述方法还可以包括：在所述处理器处，至少部分地通过基于所述经更新的设备姿态重新投影所述渲染图像，来对所述渲染图像的像素中的颜色信息应用第一空间校正。所述方法还可以包括：在显示器处：至少部分地通过对重新投影的渲染图像应用晃动来对所述重新投影的渲染图像的所述像素中的所述颜色信息应用第二空间校正，由此针对所述当前帧生成晃动像素子帧的序列。所述方法还可以包括：在所述显示器处，通过显示所述晃动像素子帧的序列来显示所述当前帧。
根据该方面，所述晃动可以在被包含在所述显示器中的晃动电路处被应用于所述重新投影的渲染图像。
根据该方面，所述显示器可以包括多个像素，所述多个像素中的每个像素包括相应的多个可寻址子像素。对所述重新投影的渲染图像应用晃动可以包括重新寻址所述多个像素中的每个像素的一个或多个子像素。
根据该方面，每个晃动像素子帧具有对应的子像素颜色和对应的空间偏移。
根据该方面，所述晃动像素子帧的序列可以包括一个或多个红色晃动像素子帧、一个或多个绿色晃动像素子帧以及一个或多个蓝色晃动像素子帧。在所述序列中所包括的所述一个或多个红色晃动像素子帧的数量、所述一个或多个绿色晃动像素子帧的数量和所述一个或多个蓝色晃动像素子帧的数量并不都彼此相等。
根据该方面，每个晃动像素子帧的所述对应空间偏移是一个子像素的垂直偏移、一个子像素的水平偏移、或者一个子像素的垂直偏移和一个子像素的水平偏移。
根据该方面，可以根据在所述当前帧的显示时间处所述头戴式显示设备的估计的设备姿态的渲染时间估计，在远程计算设备处对所述渲染图像进行渲染。
根据本公开的另一方面，提供了一种头戴式显示设备，其包括一个或多个位置传感器。所述头戴式显示设备还可以包括硅上液晶(LCoS)显示器，所述LCoS显示器包括多个像素，所述多个像素中的每个像素包括相应的多个可寻址子像素。所述头戴式显示设备还可以包括处理器，所述处理器被配置为接收已经在远程计算设备处渲染的当前帧的渲染图像。所述处理器还可以被配置为从所述一个或多个位置传感器接收位置数据。所述处理器还可以被配置为基于所述位置数据来确定所述头戴式显示设备的经更新的设备姿态。所述处理器还可以被配置为至少部分地通过基于所述经更新的设备姿态重新投影所述渲染图像，来对所述渲染图像的像素中的颜色信息应用第一空间校正。所述LCoS显示器还可以被配置为：在晃动电路处，至少部分地通过重新寻址重新投影的渲染图像的一个或多个子像素来对所述重新投影的渲染图像的所述像素中的所述颜色信息应用第二空间校正，由此针对所述当前帧生成晃动像素子帧的序列。所述LCoS显示器还可以被配置为通过显示所述晃动像素子帧的序列来显示所述当前帧。
根据该方面，每个晃动像素子帧可以具有从由红色、绿色和蓝色组成的组中选择的对应的子像素颜色。每个晃动像素子帧可以具有对应的空间偏移。每个空间偏移可以是一个子像素的垂直偏移、一个子像素的水平偏移、或者一个子像素的垂直偏移和一个子像素的水平偏移。
根据该方面，所述显示器还可以包括光瞳复制波导，所述光瞳复制波导包括具有第一耦合角的第一入射口和具有第二耦合角的第二入射口。所述第一耦合角可以不同于所述第二耦合角。
将理解，在本文中所描述的配置和/或方法本质上是示例性的，并且这些特定实施例或示例不应当在限制意义上考虑，因为许多变化是可能的。在本文中所描述的特定例程或方法可以表示任意数量的处理策略中的一个或多个处理策略。因此，所图示和/或所描述的各种动作可以以所图示和/或所描述的顺序、以其他顺序、并行地执行或者被省略。同样地，可以改变上文所描述的过程的顺序。
本公开的主题包括在本文中所公开的各种过程、系统和配置以及其他特征、功能、动作和/或属性的所有新颖的和非明显的组合和子组合，以及其任何和所有等价物。

Claims (15)

1.一种头戴式显示设备，包括：
一个或多个位置传感器；
处理器，其被配置为：
接收已经在远程计算设备处渲染的当前帧的渲染图像；
从所述一个或多个位置传感器接收位置数据；
基于所述位置数据来确定所述头戴式显示设备的经更新的设备姿态；以及
至少部分地通过基于所述经更新的设备姿态重新投影所述渲染图像，来对所述渲染图像的像素中的颜色信息应用第一空间校正；以及
显示器，其被配置为：
至少部分地通过对重新投影的渲染图像应用晃动来对所述重新投影的渲染图像的所述像素中的所述颜色信息应用第二空间校正，由此针对所述当前帧生成晃动像素子帧的序列；以及
通过显示所述晃动像素子帧的序列来显示所述当前帧。
2.根据权利要求1所述的头戴式显示设备，其中，所述晃动在被包含在所述显示器中的晃动电路处被应用于所述重新投影的渲染图像。
3.根据权利要求2所述的头戴式显示设备，其中：
所述显示器包括多个像素，每个像素包括相应的多个可寻址子像素；并且
所述晃动电路被配置为至少部分地通过重新寻址所述多个像素中的每个像素的一个或多个子像素来对所述重新投影的渲染图像应用所述晃动。
4.根据权利要求3所述的头戴式显示设备，其中，每个晃动像素子帧具有对应的子像素颜色和对应的空间偏移。
5.根据权利要求4所述的头戴式显示设备，其中：
所述晃动像素子帧的序列包括一个或多个红色晃动像素子帧、一个或多个绿色晃动像素子帧以及一个或多个蓝色晃动像素子帧；并且
在所述序列中所包括的所述一个或多个红色晃动像素子帧的数量、所述一个或多个绿色晃动像素子帧的数量和所述一个或多个蓝色晃动像素子帧的数量并不都彼此相等。
6.根据权利要求4所述的头戴式显示设备，其中，每个晃动像素子帧的所述对应空间偏移是一个子像素的垂直偏移、一个子像素的水平偏移、或者一个子像素的垂直偏移和一个子像素的水平偏移。
7.根据权利要求2所述的头戴式显示设备，其中，所述当前帧的所述子像素以非均匀的子像素密度来显示。
8.根据权利要求1所述的头戴式显示设备，其中，所述显示器是硅上液晶(LCoS)显示器。
9.根据权利要求1所述的头戴式显示设备，其中，所述渲染图像是在所述远程计算设备处根据在所述当前帧的显示时间处所述头戴式显示设备的估计设备姿态的渲染时间估计来渲染的。
10.根据权利要求1所述的头戴式显示设备，其中：
所述显示器还包括光瞳复制波导，所述光瞳复制波导包括具有第一耦合角的第一入射口和具有第二耦合角的第二入射口；并且
所述第一耦合角与所述第二耦合角不同。
11.一种用于与头戴式显示设备一起使用的方法，所述方法包括：
在处理器处：
接收已经在远程计算设备处渲染的当前帧的渲染图像；
从一个或多个位置传感器接收位置数据；
基于所述位置数据来确定所述头戴式显示设备的经更新的设备姿态；以及
至少部分地通过基于所述经更新的设备姿态重新投影所述渲染图像，来对所述渲染图像的像素中的颜色信息应用第一空间校正；以及
在显示器处：
至少部分地通过对重新投影的渲染图像应用晃动来对所述重新投影的渲染图像的所述像素中的所述颜色信息应用第二空间校正，由此针对所述当前帧生成晃动像素子帧的序列；以及
通过显示所述晃动像素子帧的序列来显示所述当前帧。
12.根据权利要求11所述的方法，其中，所述晃动在被包含在所述显示器中的晃动电路处被应用于所述重新投影的渲染图像。
13.根据权利要求12所述的方法，其中：
所述显示器包括多个像素，每个像素包括相应的多个可寻址子像素；并且
对所述重新投影的渲染图像应用所述晃动包括重新寻址所述多个像素中的每个像素的一个或多个子像素。
14.根据权利要求13所述的方法，其中，每个晃动像素子帧具有对应的子像素颜色和对应的空间偏移。
15.根据权利要求14所述的方法，其中，每个晃动像素子帧的所述对应空间偏移是一个子像素的垂直偏移、一个子像素的水平偏移、或者一个子像素的垂直偏移和一个子像素的水平偏移。
CN202180037752.3A 2020-05-26 2021-03-19 在头戴式显示设备处的重新投影和晃动 Pending CN115668340A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/883,674 2020-05-26
US16/883,674 US11263729B2 (en) 2020-05-26 2020-05-26 Reprojection and wobulation at head-mounted display device
PCT/US2021/023053 WO2021242365A1 (en) 2020-05-26 2021-03-19 Reprojection and wobulation at head-mounted display device

Publications (1)

Publication Number Publication Date
CN115668340A true CN115668340A (zh) 2023-01-31

Family

ID=75478235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180037752.3A Pending CN115668340A (zh) 2020-05-26 2021-03-19 在头戴式显示设备处的重新投影和晃动

Country Status (4)

Country Link
US (2) US11263729B2 (zh)
EP (1) EP4158612A1 (zh)
CN (1) CN115668340A (zh)
WO (1) WO2021242365A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115842907A (zh) * 2018-03-27 2023-03-24 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
CN113196139B (zh) 2018-12-20 2023-08-11 美国斯耐普公司 用于生成立体图像的具有双摄像头的柔性眼戴设备
US11487080B2 (en) * 2019-10-18 2022-11-01 Htc Corporation Head-mounted display device and adjustment method
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
US11263729B2 (en) * 2020-05-26 2022-03-01 Microsoft Technology Licensing, Llc Reprojection and wobulation at head-mounted display device

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6831948B1 (en) * 1999-07-30 2004-12-14 Koninklijke Philips Electronics N.V. System and method for motion compensation of image planes in color sequential displays
JP3956337B2 (ja) 2001-03-16 2007-08-08 オリンパス株式会社 面順次カラー表示装置
US7495722B2 (en) 2003-12-15 2009-02-24 Genoa Color Technologies Ltd. Multi-color liquid crystal display
JP2006047414A (ja) 2004-07-30 2006-02-16 Olympus Corp カラー表示装置
KR100848617B1 (ko) 2004-11-02 2008-07-28 가부시키가이샤 리코 화상 표시 장치
EP2842330B1 (en) * 2012-04-13 2018-08-29 Red.Com, Llc Video projector system
US10008007B2 (en) * 2012-09-20 2018-06-26 Brown University Method for generating an array of 3-D points
US20140176591A1 (en) * 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
GB2534847A (en) 2015-01-28 2016-08-10 Sony Computer Entertainment Europe Ltd Display
JP6883869B2 (ja) * 2016-08-18 2021-06-09 株式会社Ｑｄレーザ 画像検査装置、画像検査方法、及び画像検査装置用部品
WO2018123645A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 生成装置、識別情報生成方法、再生装置および画像再生方法
US10212428B2 (en) * 2017-01-11 2019-02-19 Microsoft Technology Licensing, Llc Reprojecting holographic video to enhance streaming bandwidth/quality
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
KR20200009062A (ko) * 2017-05-18 2020-01-29 아리조나 보드 오브 리전츠 온 비해프 오브 더 유니버시티 오브 아리조나 다층의 높은 동적 범위 헤드 마운티드 디스플레이
US10586349B2 (en) * 2017-08-24 2020-03-10 Trimble Inc. Excavator bucket positioning via mobile device
CN108171673B (zh) * 2018-01-12 2024-01-23 京东方科技集团股份有限公司 图像处理方法、装置、车载抬头显示系统及车辆
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
US11288842B2 (en) * 2019-02-15 2022-03-29 Interaptix Inc. Method and system for re-projecting and combining sensor data for visualization
KR20220027836A (ko) * 2019-06-07 2022-03-08 피씨엠에스 홀딩스, 인크. 분산 애퍼처들에 기초한 라이트 필드 디스플레이들을 위한 광학 방법 및 시스템
US11132800B2 (en) * 2019-07-31 2021-09-28 Google Llc Real time perspective correction on faces
US20210349308A1 (en) * 2020-05-05 2021-11-11 Szu Wen FAN System and method for video processing using a virtual reality device
US11263729B2 (en) * 2020-05-26 2022-03-01 Microsoft Technology Licensing, Llc Reprojection and wobulation at head-mounted display device

Also Published As

Publication number Publication date
EP4158612A1 (en) 2023-04-05
US11574389B2 (en) 2023-02-07
WO2021242365A1 (en) 2021-12-02
US20220270217A1 (en) 2022-08-25
US11263729B2 (en) 2022-03-01
US20210374918A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
JP7445720B2 (ja) 拡張現実のためのシステムおよび方法
CN107209386B (zh) 增强现实视野对象跟随器
CN110476105B (zh) 均匀性提高并且颜色之间的交叉耦合减少的波导显示器
CN108351691B (zh) 用于虚拟图像的远程渲染
CN108369457B (zh) 用于混合现实的现实混合器
CN107810463B (zh) 头戴式显示系统和设备以及头戴式显示中产生图像的方法
US11574389B2 (en) Reprojection and wobulation at head-mounted display device
JP5965410B2 (ja) 拡張現実ディスプレイ用最適焦点エリア
US20180182160A1 (en) Virtual object lighting
US20230126026A1 (en) Determining angular acceleration
CN112346558A (zh) 眼睛跟踪系统
CN117043658A (zh) 通过波导的眼睛跟踪器照明
CN117980808A (zh) 用于混合现实头戴式显示设备中多个焦平面的组合双折射材料和反射波导
JP4624587B2 (ja) 画像生成装置、プログラム及び情報記憶媒体
US11488365B2 (en) Non-uniform stereo rendering
CN113875230B (zh) 混合模式三维显示方法
JP4624588B2 (ja) 画像生成装置、プログラム及び情報記憶媒体
US11697068B2 (en) Mobile platform as a physical interface for interaction
CN113227876B (zh) 经修改慢扫描驱动信号
JP2023511083A (ja) アンカベースのクロスリアリティアプリケーションのための向上された状態制御
Wetzstein Augmented and virtual reality
US11966793B1 (en) Systems and methods to extend an interactive space across multiple platforms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination