CN112005156A - 具有凝视自适应分辨率增强的显示器 - Google Patents

具有凝视自适应分辨率增强的显示器 Download PDF

Info

Publication number
CN112005156A
CN112005156A CN201880092492.8A CN201880092492A CN112005156A CN 112005156 A CN112005156 A CN 112005156A CN 201880092492 A CN201880092492 A CN 201880092492A CN 112005156 A CN112005156 A CN 112005156A
Authority
CN
China
Prior art keywords
display
image
pixel
polarization
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880092492.8A
Other languages
English (en)
Inventor
吕璐
彭丰林
迈可尔·肖恩·莫尼尔
凯文·詹姆斯·麦肯齐氏
林伟诗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN112005156A publication Critical patent/CN112005156A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/007—Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/04—Partial updating of the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0285—Improving the quality of display appearance using tables for spatial correction of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

一种显示装置包括像素化显示器、眼睛跟踪系统和分段分辨率增强器件，该分段分辨率增强器件耦合到眼睛跟踪系统，并且可操作来选择性地增强电子显示器在凝视方向上的有效图像分辨率。分段分辨率增强器件可以包括与偏振光栅串联的偏振开关，偏振光栅和偏振开关中的至少一个是分段的，用于在显示帧的同时在偏移位置之间移位凝视方向上的图像像素。

Description

具有凝视自适应分辨率增强的显示器
技术领域
本公开大体上涉及光学显示系统和器件，尤其涉及头戴式显示器(HMD)及其组件。
背景
HMD用于向用户呈现虚拟场景，或者用虚拟信息或虚拟对象来增强真实场景。HMD通常包括像素化电子显示器，其通过选择性地将显示像素和/或彩色子像素激发到不同程度的亮度来显示图像。每单位面积的显示像素数或像素密度定义了显示器的原始分辨率(native resolution)。可以存在成像光学器件，其以放大倍数向用户呈现显示的图像，从而为用户放大显示像素。
具有正常视觉敏锐度(acuity)(通常被确定为20/20的视力)的人可以区分以一弧分(1’)的角度分开的两个点，这是在中央凹(foveola)中观察到的最敏锐的视力。在中央凹的大约+/-10°范围内，视觉敏锐度下降到20/100，这对应于5’的分辨角。因此，如果图像中两个像素发射的光线以彼此之间小至1’的角度进入眼睛，那么具有20/20视力的典型人眼可以分辨这两个像素。然而，电子显示器的像素密度可能不足以直接支持人眼的极限分辨率；例如，由典型的HDM中使用的电子显示器的相邻像素发射的光线可能以大于1’的角度进入眼睛，并且用户对所显示图像的感知可能因此受到影响。此外，一些显示器具有相对小的发光区域，这些发光区域被没有光发出的间隙区域(interstitial area)所包围。这些间隙区域通常是暗的，并且当观看者能够在视觉上分辨像素的暗区域和有源区域时，可能导致被称为纱门(screen door)的视觉伪像。
附图简述
将参照表示其优选实施例的附图更详细地描述本文公开的实施例，在附图中相同的元件用相同的附图标记表示，并且其中：
图1A是液晶(LC)偏振器件的示意性等轴视图；
图1B是电控有源LC器件的示意性侧视图；
图1C是LC Pancharatnam Berry相位(PBP)光栅的平面示意图；
图1D是示出LC PBP光栅的操作的示意图；
图2A是电子显示器的像素阵列的4×4像素区域的示意图，示出了像素有源区域之间的间隙空间；
图2B是示出图2A的像素阵列的4×4像素区域的图像的示意图，该图像可以在显示系统中以放大倍数和/或有源区域尺寸校正而形成；
图3A是示出具有针对中心凝视方向(gaze direction)的凝视自适应分辨率增强的眼睛敏锐度显示系统的示意图；
图3B是示出图3A的眼睛敏锐度显示系统的示意图，该系统针对指向显示器周边的凝视具有凝视自适应分辨率增强；
图4A是示出电子显示器在一个像素行或列中的四个相邻像素的线性阵列的示意图；
图4B是示出通过图4A的线性像素阵列的动态图像位移(displacement)来增加有效图像像素密度的示意图；
图4C是示出图4A的线性像素阵列的动态图像位移用于缺陷像素校正的示意图；
图4D是示出通过3×3像素阵列中的动态图像位移而组合的分辨率增强和像素校正的示意图；
图5是用于电子显示器的凝视自适应操作以向观看者提供有效的图像分辨率增强的方法的流程图；
图6是示出图3A的眼睛敏锐度显示系统的实施例的示意图，该系统具有用于凝视自适应分辨率增强的分段分辨率增强器件(SRED)；
图7是示出图6的SRED的示例段阵列(segment array)和电子显示器的像素阵列的对应区域的示意图；
图8是示出通过重叠显示帧的一部分的两个相互偏移的图像的凝视方向上的局部图像分辨率增强的示意图；
图9是使用光转向(steering)SRED对电子显示器进行凝视自适应操作的方法的流程图；
图10是示出根据一个实施例的在图6的显示系统中从输入图像帧形成子帧图像的过程的示意图；
图11是实现凝视自适应眼睛敏锐度显示系统的示例HMD的以横截面视图示出的示意图；
图12A是由偏振开关和跟随的偏振光栅形成的一维(1D)光转向开关的示意性侧视图；
图12B是使用偏振光栅和跟随的偏振开关形成的一维(1D)光转向开关的示意性侧视图；
图13是顺序使用两个旋转偏移的偏振光栅形成的2D光转向开关的示意性侧视图；
图14是可以使用图13的2D光转向开关从一个显示像素获得的图像像素群落(constellation)的示意图；
图15是分段有源LC器件的俯视图；
图16是分段2D光转向LC开关的示例实施例的示意性等轴视图；
图17是分段2D光转向LC开关的另一个示例实施例的示意性等轴视图；
图18是波长灵敏度降低的LC PBP光栅的示意图；
图19是示例眼睛敏锐度HMD的等轴视图。
详细描述
在以下描述中，出于解释而非限制的目的，阐述了具体细节，例如特定的光学和电子电路、光学和电子组件、技术等，以便提供对本发明的透彻理解。然而对于本领域中的技术人员将明显的是，可以在脱离这些具体细节的其他实施例中实践本发明。在其他情况下，省略了众所周知的方法、器件和电路的详细描述，以免模糊示例实施例的描述。本文叙述原理、方面和实施例以及其具体示例的所有陈述，旨在包括其结构和功能等同物。另外，这种等同物旨在包括当前已知的等同物以及将来开发的等同物，即，开发的执行相同功能的任何元件，而无论结构如何。
注意，如本文所使用的，除非明确说明，否则术语“第一”、“第二”等不旨在暗示顺序排序，而是旨在将一个元件与另一个元件区分开来。类似地，除非明确说明，否则方法或过程步骤的顺序排序并不意味着它们执行的顺序次序。术语“帧(frame)”和“图像帧(imageframe)”在本文中可互换使用，并且包括承载静止图像的图像数据的帧和承载视频的图像数据的视频帧。
此外，本文档中可以使用以下缩写和缩略语：
HMD 头戴式显示器
VR 虚拟现实
AR 增强现实
MR 混合现实
LC 液晶
LED 发光二极管
CP 圆偏振
LCP 左旋圆偏振
RCP 右旋圆偏振
HWP 半波片，即具有奇数个π弧度或奇数个半波的模2π延迟(retardance)的波片
QWP 四分之一波片，即具有π/2弧度的模2π延迟的波片
nWP n波片，即具有n·λ或整数n＝0、1、2…个工作波长λ的延迟的波片
本公开涉及可以校正各种显示系统——包括但不限于用于人工现实应用的显示系统(例如头戴式显示器(HMD)和近眼显示器(NED))——中至少一些像素化相关伪像的方法以及相关系统和器件。术语“人工现实(artificial reality)”涉及以某种方式被调整的现实的呈现。它包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实或它们的某种组合和/或衍生物。像素化涉及当由电子显示器呈现的图像的像素化性质对用户变得明显时可能出现的视觉伪像。可通过使用本文所述的方法和技术来至少部分补偿的像素化伪像包括对图像分辨率的像素相关限制，该限制对于观看者来说可能是明显的，该像素相关限制可以包括与显示像素密度和图像中缺陷像素的出现相关的限制。这里，术语“缺陷像素”涉及失去发光能力的像素(其可以被称为“死像素(dead pixel)”)，以及发出比施加到像素的数据信号所规定的更少或更多的光的像素。术语“移位(shift)”和“移位(shifting)”可以分别包括位置和角度移位(shift)以及位置和角度移位(shifting)。
本公开的一个方面提供了一种装置，该装置包括：电子显示器，该电子显示器包括被配置成显示帧的像素阵列，该像素阵列包括多个显示像素；眼睛跟踪器件，该眼睛跟踪器件被配置成确定电子显示器的用户的凝视方向；以及用于从由电子显示器显示的帧形成帧图像的光学块，该光学块包括可操作地耦合到眼睛跟踪器件的分段分辨率增强器件(SRED)，帧图像包括以图像像素间距p设置的图像像素阵列。SRED可以包括多个器件段(device segment)，该多个器件段被配置成响应于来自眼睛跟踪器件的信号而被单独激活，每个器件段光学耦合到像素阵列的不同显示像素组，用于选择性地增强帧图像在凝视方向上的部分的有效分辨率。
装置还可以包括控制器，该控制器被配置成基于来自眼睛跟踪器件的信号，激活器件段阵列中在凝视方向上的选定器件段。
装置还可以包括显示处理器，该显示处理器被配置成向电子显示器提供像素数据用于显示帧，从电子显示器的不同显示像素组中识别光学耦合到选定器件段的选定显示像素组，以及在电子显示器显示该帧的同时，用新的像素数据对选定像素组执行选择性像素更新至少一次。
根据权利要求3所述的装置，其中，选择性像素更新是在显示帧的同时不用新的像素数据更新位于选定显示像素组之外的外围显示像素组的情况下执行的。
在一些实现中，每个器件段可以包括光转向开关(LSS)，该光转向开关被配置成在帧被显示的同时，在由控制器激活后，在两个或更多个光转向状态之间切换，以便为帧图像的在凝视方向上的部分提供偏移图像序列。
在一些实现中，选择性像素更新可以与切换选定器件段的LSS相协调地执行。
在一些实现中，LSS在被控制器激活后可以是可操作的，以提供包括两个图像的相互偏移的图像序列，这两个图像之间具有等于图像像素间距p的一分数的空间偏移s。
帧图像可以包括相邻图像像素之间的间隙区域，该间隙区域的尺寸至少等于图像像素，并且空间偏移s可以使得两个相互偏移的图像中第一个图像的至少一些图像像素位于相互偏移的图像中第二个图像的间隙空间中。
在一些实现中，显示处理器可以被配置成以两个或更多个采样网格(samplinggrid)对选定显示像素组的输入帧数据进行选择性地子采样，采样网格之间的采样偏移与空间偏移s匹配。
在一些实现中，SRED可以包括第一偏振光栅和与该第一偏振光栅顺序设置的第一偏振开关，其中第一偏振光栅或第一偏振开关中的至少一个被分段以限定多个器件段。电子显示器或光学块中的至少一个可以包括偏振元件，该偏振元件被配置成将来自电子显示器的偏振像素光提供给SRED。
在一些实现中，电子显示器可以被配置成传输偏振光。
在一些实现中，装置可以包括偏振器件，该偏振器件光学地设置在电子显示器和SRED之间，并且被配置成以圆偏振状态将来自电子显示器的光提供给SRED。
在一些实现中，第一偏振开关或第一偏振光栅中的至少一个可以包括有源LC器件，该有源LC器件包括设置在两个电极之间的LC层，这两个电极中的至少一个是透明的，并且其中该两个电极中的至少一个包括多个电分离的电极段。
在一些实现中，SRED还可以包括与第二偏振开关顺序设置的第二偏振光栅，该第二偏振光栅或第二偏振开关中的至少一个被分段以匹配第一偏振光栅或第一偏振开关中的至少一个的段。在一些实现中，第二偏振光栅可以相对于第一偏振光栅以旋转偏移设置。在一些实现中，旋转偏移基本上是90°。在一些实现中，第一偏振光栅或第二偏振光栅中的至少一个包括以下中的至少一项：液晶(LC)Pancharatnam Berry相位(PBP)光栅或LC体全息光栅(volume holographic grating)。在一些实现中，第一偏振开关或第二偏振开关中的至少一个可以包括有源LC HWP。
本公开的一个方面提供了一种用于操作显示装置的方法，该方法包括：用包括显示像素阵列的电子显示器显示帧；形成所显示的帧的图像，以获得包括图像像素阵列的图像帧，该图像像素阵列包括以图像像素间距p设置的图像像素；用眼睛跟踪器件确定电子显示器的用户的凝视方向；以及，在显示帧的同时，将帧图像的位于凝视方向的一部分选择性地移位图像像素间距的至少一分数至少一次。
参考图1A-图1C，本文描述的一些实施例可以利用以偏振敏感方式操作的、基于液晶(LC)的器件。这种器件包括但不限于LC偏振光栅和LC偏振开关。首先参考图1A，本文描述的LC器件可以是LC层10的形式或包括LC层10，该LC层10由透明或反射衬底4支撑。这些器件的偏振属性可以取决于LC层的材料属性、层内LC分子5的取向、LC层的厚度和入射光的波长。LC层内LC分子5的取向可以部分地由可以紧邻LC层10设置的一个或更多个配向层(alignment layer)(未示出)来限定。其中LC分子的取向在整个LC层上大致是均匀的LC器件可以作为波片延迟器(waveplate retarder)操作。对于特定偏振的入射光，其中LC分子的取向在该层的平面(在图1A中表示为(x，y)平面)中变化的LC器件可以用作透镜或光栅，这取决于LC取向图案。具有期望的偏振处理属性的体全息光栅可以被制造，其中LC分子取向在LC层的平面中变化并在垂直于LC层的方向(图1A、图1B中的z轴)上(即，沿着LC器件的光轴7)变化。LC器件可以是有源的，其中LC材料取向是电控制的，或者LC器件可以是无源的，其中LC材料取向通过材料属性固定在适当的位置，例如，通过配向层和/或通过混合到LC流体中并在LC层内的特定取向处固化的聚合物而固定在适当的位置。
参考图1B，有源LC器件可以由夹在两个电极11、12之间的LC层10构造，这两个电极在预期操作的波长范围内是透明的，例如两个ITO(氧化铟锡)层。在电极11、12之间没有电压的情况下，LC分子5可以以默认图案取向，该默认图案在器件上施加期望的双折射(birefringence)属性，例如期望的均匀或非均匀延迟。在电极11和12之间施加足够的电压V可以以这样的方式可逆地重新排列LC分子5，使得LC层10正常传输入射光，而基本上不改变光的偏振或传播方向。例如，在一些LC材料中，在电极11和12之间施加足够的电压V可以使LC分子5沿着如图中5a所示的电场排列，使得LC层310对于垂直或接近垂直入射的光将失去其双折射。有源LC器件的一个示例是有源波片(在本文也称为有源延迟器)，其延迟可以分别通过施加电压V和切断电压来关闭和重新打开。例如，有源LC器件可以被构造成在没有施加电压的情况下提供HWP延迟，并且在施加足够的电压V时提供基本为零的延迟。本文描述的一个或更多个实施例可以利用这种有源LC HWP作为偏振光的偏振开关。例如，这种偏振开关可以在没有电压的情况下(断开(OFF)状态)反转入射到其上的圆偏振(CP)光的手征性(chirality)，并且可以在有电压的情况下(接通(ON)状态)保持入射偏振状态不变。在使用不同LC材料的实施例中，施加的电压和LC波片的偏振作用之间的关系可以颠倒。
参考图1C和图1D，其中LC材料的取向沿着LC层的平面中的一个方向周期性地或接近周期性地变化的LC器件51可以用作偏振光栅。这种光栅可以以取决于入射光的偏振状态的角度来引导入射光。例如，LC偏振光栅可以通过使用液晶聚合物的光配向(photoalignment)方法和偏振全息设置来制造。LC偏振光栅的一个示例是PancharatnamBerry相位(PBP)光栅，其中光栅“凹槽(grove)”是由光栅平面中空间变化的双折射形成的。这种光栅也可以称为几何相位光栅。这种光栅中的LC分子5在LC层的平面(在图中表示为(x，y)平面)中具有不同的取向，从而在LC层的平面中定义了器件双折射分布。LC分子5的方位角(azimuth angle)——定义了它们在光栅平面中的取向——通常以固定的间距53从中心到边缘连续变化。PBP光栅中的LC层可以被配置成在一个方向上将右圆偏振(RCP)光偏转衍射角θd，并且在同一平面中在相反方向上将左圆偏振(LCP)光偏转大致相同的衍射角θd，如图1D所示。LC PBP光栅可以被配置成提供期望大小的衍射角θd。这种光栅可以是有源的，其中LC材料取向是电控制的，或者可以是无源的，其中LC材料取向通过材料属性和/或配向层固定在适当的位置。有源LC PBP光栅可以如上文参考图1B所述来构造。例如，有源LC PBP光栅可以根据入射光的手征性以衍射角+\-θd偏转入射CP光，同时在没有电压的情况下(断开状态)反转其手征性，并且可以在有电压的情况下(接通状态)保持入射光的传播方向和偏振状态不变。LC偏振光栅的另一个示例是体全息LC光栅，其中LC层材料的取向可以在LC层的平面中和垂直于LC层的方向上变化，即在方位角和倾斜角上变化，倾斜角定义了LC层材料相对于垂直于光栅平面的方向的取向。这种光栅可以被构造成例如选择性地仅偏转两个正交线性偏振中的一个，而基本上不改变两个正交偏振中另一个的传播方向。例如，体全息LC光栅可以作为有源元件操作，其中LC材料是电控制的，和/或作为无源元件操作，与线性偏振器和有源偏振旋转器一起操作以切换入射光的偏振状态。下面参考LC PBP光栅描述的实施例可以被修改为使用这种体全息LC光栅作为替代。
本公开的实施例可以涉及像素化电子显示器，该像素化电子显示器包括多个像素，这些像素通常但不一定设置在矩形网格上，这些像素可以被像素数据信号选择性地激发以显示图像。术语“电子显示器”和“像素化显示器”在本文中可以互换使用，并且包括具有多个单独发射器的阵列光源，这些发射器可以以二维(2D)阵列或一维(1D)阵列设置。可以以图像帧的形式将对应于要作为单个图像观看的相同视觉图案的像素数据提供给电子显示器或其处理器。要被显示以作为单个图像观看的视觉图案可以表示例如摄影图像、视频的瞬时场景或视觉形式的具体信息。术语图像数据、图像信号和图像帧可用于分别包含视频和静止图像数据、视频和静止图像信号以及视频和静止图像帧。通常，一个图像帧(在本文也可简称为帧)表示以指定采样网格采样的视觉图案，该采样网格限定了帧的分辨率。本公开的实施例可以利用电子显示器在子帧序列中显示帧的方法。这些子帧可以对应于与电子显示器的像素阵列匹配的采样网格，并且可以在子帧之间相差一个或更多个采样偏移。这里，术语“采样偏移”包括显示器的像素阵列的列计数器或行计数器中的偏移，以及对应于显示器的像素间距的一分数的分数偏移。在一些实施例中，可以通过对高分辨率帧进行子采样来获得子帧序列。这里，术语“子采样”当参考帧使用时指的是以比帧的分辨率更低的分辨率的采样网格对由该帧定义的视觉图案或图像进行采样，并且可以包括使用插值操作。
图2A示意性地示出了由显示像素20形成的电子显示器40的像素阵列的一部分；虽然仅示出了显示像素阵列的4×4段，但是典型的2D显示器可以在至少一个维度上包括数百或数千个像素。每个显示像素20可以包括一个或更多个有源区域21，有源区域21在操作中发射或传输图像光，并且可以包括一个或更多个子像素。每个显示像素20还可以包括间隙空间22，不能从该间隙空间22发射或传输光，或者来自该间隙空间的照明对呈现给观看者的图像没有贡献。有源区域21与无源区域22的比例被称为填充因子。间隙空间22在本文中也可以称为暗空间或暗区域。每个有源区域21可以包括两个或更多个子像素的某种组合，这些子像素可以被配置成发射或传输不同颜色的光，例如红色(R)子像素、绿色(G)子像素和蓝色(B)子像素，尽管其他颜色方案也是可能的。显示器40可以是例如LC显示器，在这种情况下，每个像素中的有源区域可以是具有可控背光传输的LC孔的形式，或者可以包括这种LC孔(aperture)，或者显示器40可以是LED显示器，在这种情况下，每个有源区域可以是发光二极管(LED)的出射孔的形式，或者可以包括发光二极管(LED)的出射孔。如本文所使用的，术语“LED显示器”包括OLED显示器和AMOLED显示器。其中用其它类型的光发射器或传输器(例如但不排他地，垂直腔激光器(VCSEL))形成单独的有源区域的显示器也在本公开的范围内。沿着像素阵列平面中指定方向的相邻像素20的相应有源区域21的中心之间的距离24可以被称为显示像素间距。当各个有源区域之间的边界对观看者可见时，暗空间22的存在可能导致被称为“纱门”效应(SDE)的不期望的视觉伪像。这种效应在具有放大的显示系统(例如HMD或投影显示器)中尤其明显。
图2B示出了图2A的显示像素阵列的4×4部分的图像40a，如可以在显示系统中被呈现给用户的，其中像素有源区域21的图像31以图像像素间距p 34布置在相应的阵列中。像素有源区域的图像31在本文可以被称为图像像素。在一些实施例中，图像40a可以是在包括放大光学器件的显示系统中获得的电子显示器40的像素阵列的放大图像。显示器40的暗间隙空间22可以产生将图像40a中的相邻图像像素31分开的暗空间32。如果图像中暗空间31对着的观看角超过眼睛分辨率(例如对于20/20视力为1’)，那么这些暗空间可以是可见的，导致SDE。可通过使用图像像素光扩展器(例如微透镜阵列)或者通过使用散焦(de-focusing)和/或模糊组件或技术(其有效地将像素图像31扩展到间隙空间32中，如31a处示意性示出的)来减小或消除SDE。然而，这两种方法都不能为观看者提高显示器的分辨率。下文描述的实施例可以用动态的图像增强方法来替代或在某些情况下补充这种图像像素扩展或模糊技术的使用，从而允许在观看者的凝视方向上增加用显示器产生的图像的有效分辨率。
下文描述的实施例利用凝视自适应技术来校正在具有像素化显示器的显示系统中可能出现的至少一些图像缺陷，并以适应人类视觉的空间敏锐度特性的方式来增强由观看者感知的图像质量。在至少一些实施例中，该技术部分地依赖于人类视觉系统对快速变化的图像的有限响应时间，这使得在视觉响应时间内一个接一个出现的若干图像被观看者感知为单个图像。在至少一些实施例中，该技术利用了在凝视方向上相对于周边视觉的人类视觉之间在视觉敏锐度上的差异。本文所描述的凝视自适应技术可用于具有眼睛跟踪的显示系统，例如HMD或NED。
本文描述的一些实施例实现了用于增强显示图像的有效分辨率的凝视自适应分辨率增强(GARE)技术。GARE技术(GARET)可以包括a)用像素化电子显示器显示由像素或帧数据定义的图像，b)检测凝视方向，以及c)相对于显示器的其余部分，选择性地增强图像在凝视方向上的部分的有效分辨率。
参考图3A和图3B，示出了简化的显示系统100，其示出了凝视自适应显示器的一般工作原理。系统100在本文也可以被称为眼睛敏锐度显示器100，因为它可以被操作来使显示器的分辨率适应人类视觉关于周边视觉和中心视觉的眼睛敏锐度变化。系统100包括具有像素阵列的电子显示器110。每单位面积的像素数(即像素密度)定义了显示器分辨率，并且通常限制了由传统视频系统和传统HMD的用户体验的图像分辨率。系统100包括这样的特征，其通过有效增强像素显示器在凝视方向上的选定显示部分中的系统分辨率来增强观看者所体验到的显示器110的有效分辨率。参考图3A，当观看者的凝视指向显示器110的中心时，系统100选择性地增强显示器110在显示区域101中的有效分辨率，使得用户将其感知为具有高像素密度，而在用户周边视觉中的显示区域102的其余部分被感知为具有较低的分辨率，例如，可以由显示器110的标称像素密度定义的分辨率。高敏锐度区域101的尺寸可以对应于具有最高视觉敏锐度的人眼的中心视觉，例如在凝视方向111的+\-10°立体角(solid angle)内，而用周边视觉感知的显示器区域102保持较低的有效分辨率，例如由显示器110的标称像素密度定义的分辨率。如图3B中通过举例所示出的，一旦凝视方向改变，显示器上的高敏锐度区域101的位置改变以跟随凝视方向。在各种实施例中，高敏锐度区域101的相对尺寸可以不同，并且可以例如对应于从+\-5°到+\-30°范围内的对向视角，然而，作为显示器110的总发光面积的一分数的任何尺寸的眼睛敏锐度区域101都将在本公开的范围内。
在至少一些实施例中，显示系统100可以包括其他元件和器件，例如设置在观看者的眼睛105和显示器110之间的光路中的观看、成像和/或光调节光学器件。成像光学器件可以向观看者呈现显示器110的像素阵列的图像。在操作中，成像光学器件可以向观看者呈现当前由像素阵列显示的帧的图像，例如如图2B所示出的，每个显示像素的有源区域在图像中表示为图像像素31。
在一个或更多个实施例中，选择性地增强图像的选定部分中的有效图像分辨率的过程可以包括在显示帧的同时，将凝视方向上的选定图像部分动态地移位图像像素间距的一分数至少一次，并且与移位相协调地选择性地刷新被移位的选定图像部分的像素数据。这为帧图像的选定部分形成了相互偏移的图像的时间序列。当显示当前帧时，这些相互偏移的图像可以被顺序地呈现给观看者的眼睛。在局部图像移位之前和之后的显示帧的选定部分的相互偏移图像的叠加形成复合图像，该复合图像可以具有比每个相互偏移图像更高的图像像素密度，和/或使来自不同偏移图像的图像像素重叠以提供像素冗余。
图4A-图4C示意性地示出了参考沿着x轴设置的四个图像像素41-44的线性序列作为示例的动态图像移位，这四个图像像素可以对应于电子显示器的一行或一列显示像素中的四个连续像素。在图示的示例中，图像像素41-44的尺寸a不超过它们之间的暗空间的尺寸d，如图4A中所指示的。在其他实施例中，图像像素在尺寸上可以大于它们之间的暗空间。图4B示出了图像像素41-44移位了距离s，该距离s对应于图像空间中图像像素间距p(p＝(a+d))的一分数，在图示的示例中s＝p/2。这种移位产生了一组新的图像像素41a-44a，该图像像素41a-44a可以至少部分地位于在移位之前的图像的暗空间中。移位之前的图像像素41-44可以被认为属于第一子帧图像，并且移位之后的图像像素41a-44a可以被认为属于第二子帧图像，该第二子帧图像在空间上从第一子帧图像偏移图像偏移或移位s。连续的子帧可以由电子显示器以显示帧速率R显示。如果帧速率R足够高，观看者将由两个子帧图像形成的图像感知为在移位方向上(即，沿着图示示例中的x轴)具有两倍像素密度的单个复合图像。这种技术使得由观看者感知的每单位面积的显示像素的数量有效地倍增，其中最大像素倍增因子由显示一个帧时可以执行的图像移位的数量n和显示器填充因子决定。下文描述了n在2至9范围内的示例实施例。因此，在这样的实施例中，输入图像帧可以在n个子帧的序列上以较低的有效速率R/n显示。
图4C示出了一种操作模式，其中图像像素41-44移位了等于图像像素间距p的距离，使得两个连续子帧的图像像素重叠。这种操作模式提供了像素冗余，并允许通过将正常起作用像素(被称为“工作像素”)的图像放入前一帧或子帧中一个或更多个缺陷像素的图像位置来校正显示器的像素缺陷。由于缺陷像素随着像素阵列的尺寸而增加的可能性，通过将显示系统配置成使用正常起作用的像素补偿它们的缺陷近邻，可以提高可用电子显示器的产量。可以通过在时间上重叠单个近邻或多个近邻以在时间上填充来自死像素或缺陷像素的缺失光而对不再工作或工作在比期望更低的光水平的缺陷像素进行补偿。
参照图4D，在一些实施例中，将分辨率增强与像素校正相结合可以包括在第一方向上将图像像素移位第一方向上的图像像素间距的一分数，和/或在第二方向上将图像像素移位第二方向上的图像像素间距。例如，具有GARE的显示系统或模块在显示帧时，可以首先将帧图像的位于凝视方向的选定部分在图像像素行的方向上移位行像素间距px的一分数，以使有效图像像素密度加倍，然后将图像的选定部分在像素列方向上移位一个列像素间距py，以校正缺陷像素。在另一个实施例中，帧图像的选定部分可以首先在像素列方向上移位列像素间距的一分数以增强图像分辨率，然后在像素行方向上移位一个行像素间距，从而能够补偿缺陷像素。
参考图5，用于增强观看者的有效图像分辨率的GARE方法150可以包括用电子显示器显示输入帧以形成帧图像的步骤或过程151，确定观看者的凝视方向的步骤或过程152，以及在显示帧的同时选择性地移位帧图像在凝视方向上的部分至少一次的步骤或过程153。
参考图6，显示系统100的实施例200(在本文也称为系统200)使用凝视自适应动态图像移位来实现GARE。系统200可以包括设置在显示器110的图像光的光路中的分段分辨率增强器件(SRED)210、可操作地耦合到SRED 210以控制其操作的SRED控制器232、可操作地耦合到显示器110以向其提供用于显示帧的帧数据的显示处理器270、以及可操作地耦合到控制器232的眼睛跟踪器件或系统222。显示器110可以是例如被配置用于在HMD中使用的微型显示器，并且可以是例如LCD显示器、OLED显示器、LED显示器或u-LED显示器、或者通常是适用于特定应用的任何像素化显示器。眼睛跟踪器件222可以是例如任何合适的眼睛跟踪器件的形式，例如关于用于人工现实应用的HMD描述的那些。系统200还可以包括其他元件和器件，例如观看、成像和/或光调节光学器件。在操作中，这种光学器件可以向观看者呈现由显示器110的像素阵列显示的帧的图像，该图像在本文中被称为帧图像。
SRED 210可以是包括器件段208的阵列的分节或分段的器件，器件段208也可以被称为区(zone)。器件段或区208可由控制器232独立寻址，并且可以由控制器232单独激活。在操作中，眼睛跟踪器件或系统222确定用户的当前凝视方向，并且例如通过生成可由控制器232读取的凝视方向信号223，将指示该方向的信息传输给控制器232。作为响应，控制器232可以激活位于凝视方向的相应选定器件段208a。用户周边视觉中的其他器件段208可以保持不活动，在没有分辨率增强或具有较小分辨率增强的情况下传输图像光。在一些实施例中，可以激活位于和靠近凝视方向的一组器件段208，而剩余器件段保持不活动。将SRED210的每个特定器件段208与不同范围的凝视方向或不同范围的凝视方向信号232相关联的信息可以保存在存储器242中，例如作为查找表(LUT)保存，或者以任何其他合适的形式保存。
参考图6和图7，SRED 210可以设置在显示系统100中，使得不同的器件段208光学耦合到显示器110的像素阵列的不同区域108，由此图像光255的穿过不同器件段208的多个部分(portions)通常源自显示器110的不同区域108，并且因此来自不同的、大部分不重叠的、有区别的显示像素组31。对应于器件段208的显示区域108在图7中用虚线划出，以表示逻辑上而不是物理上的划分。将每个器件段208与显示器110的像素阵列的对应区域108相关联的信息可以存储在存储器242或不同的存储器器件中。这种信息定义了哪组显示像素31对穿过选定器件段208(例如图6中所示的器件段208a)的图像光255有贡献。每个器件段208到显示器110的对应节段108中的不同显示像素组21的一对一分配可以例如以第二LUT的形式保存，或者可以包含在根据凝视方向分配器件段的同一LUT中。显示处理器270可以使用这种信息来识别经由选定器件段208a向帧图像在凝视方向上的一部分贡献图像光的显示像素组21。显示处理器270可以被配置成处理每个帧的帧数据，以便为所识别的显示像素组提供比显示器的其余部分具有更大的有效像素密度的像素数据。更大的有效像素密度可以以时序方式实现，例如在偏移子帧或部分偏移子帧的序列中。这可以包括在电子显示器110显示一帧的同时，显示处理器270用新的像素数据对所识别的像素组21执行选择性像素更新至少一次。
在一些实施例中，SRED 210可以是分段的或像素化的光转向器件的形式，或者包括分段的或像素化的光转向器件，其中每个器件段208被配置成在由SRED控制器232激活后，在显示器110显示帧的同时在两个或更多个光转向状态之间切换。每次切换将提供给用户的帧图像的相应部分移位某个图像移位s，形成帧图像的该部分的相互偏移的图像序列。
通过示例，图8示意性地示出了显示帧71的显示器110、以及提供给观看者的相应帧图像280。帧71可以在某个时间间隔上显示。例如，显示处理器270接收的每个帧71可以在时间间隔Tn＝nT上显示，其中T＝1/R是显示帧间隔，R是显示器的原始帧速率，并且(n-1)是每个显示帧间隔T的图像移位的数量，n＝2、3、…。第一图像部分2811表示显示器110的像素阵列的对应于激活的器件段208a的区域108a的图像，其中激活的器件段208a处于第一光转向状态。第二图像部分2812表示同一显示区域108a的图像，其中激活的器件段208a处于第二光转向状态。将激活的器件段208a从第一光转向状态切换到第二光转向状态选择性地将帧图像的相应部分以及其中的每个图像像素31移位图像移位s。在图9中，相同显示像素或其有源区域的图像在移位之前被指示为311，即在第一图像部分2811中，并且在移位之后被指示为312，即在第二图像部分2812中。在显示帧71的同时，图像部分2811和2812被依次呈现给观看者，使得观看者感知到通过叠加第一图像部分2811和第二图像部分2812而形成的复合图像。在至少一些实施例中，SRED 210被配置成使得图像移位s是图像像素间距p的一分数，以便例如如图8所示，将每个或至少一些图像像素31放置在移位之前的相邻图像像素之间，从而有效地使观看者的图像像素密度加倍。在其他实施例中，或者对于具有非均匀像素布局的显示器的其他图像像素，移位可以将至少一些像素移动到移动之前相邻像素的位置，从而实现缺陷像素补偿。
显示处理器270可以被配置成用新的像素数据执行选定显示像素组(即，光正在被激活的器件段208a转向的显示像素)的像素更新，以与在两个光转向状态之间切换激活的器件段208a以实现图像移位s相协调。在一些实施例中，像素更新是选择性的，并且排除了当前位于观看者的周边视觉中的一组或多组显示像素47，对于这些显示像素47，在选择性更新期间，没有用新的和不同的像素数据来更新像素数据。
有利的是，将像素更新限制到对凝视方向上的帧图像有贡献的选定显示像素组能够节省显示处理器270的计算资源。
参考图9，用于操作具有SRED的显示系统以增强观看者的有效图像分辨率的方法190可以包括：步骤或过程191，在步骤或过程191中由电子显示器110显示输入帧；步骤或过程192，其用于确定观看者的凝视方向；步骤或过程193，其用于激活当前处于凝视方向的SRED段或区；步骤或过程194，其用于在显示帧的同时，用新的像素数据选择性地显示光学耦合到激活的SRED段或区的像素至少一次；以及步骤或过程195，其用于转向入射到选定SRED区上的像素光以形成局部偏移图像。方法190可以是图5的方法150的实施例。
现在结合图6-图9参考图10，在一些实施例中，显示处理器270可以被配置成接收输入帧71的序列，并且渲染每个输入帧71，以便将其转换为两个或更多个子帧73的序列，其中子帧之间的采样偏移与图像移位s匹配，并且将子帧73的序列馈送到显示器110，用于与切换激活的器件段208a相协调地以显示帧速率R进行显示。本文使用的术语“子帧”涉及以显示器110的像素分辨率定义的帧。与一个输入帧71相关联的所有子帧73对于选定像素组之外的所有或大多数显示像素可以共享相同的像素数据，但是对于选定像素组具有不同的像素数据。
在其中SRED 210的器件段被配置成将相应图像部分移位图像像素间距的一分数(η<1)的实施例中，显示处理器270可以被配置成接收以比显示器110的像素分辨率更高的像素分辨率定义的输入帧71，并且将每个输入帧渲染成两个或更多个较低分辨率的子帧73。该过程可以包括对输入帧71进行子采样，以匹配显示器110的像素分辨率，从而形成第一子帧73。显示处理器可以进一步选择性地对选定显示像素组的更高分辨率输入帧71的一部分进行子采样以形成第二子帧73，其中采样偏移对应于由激活的器件段208a实现的图像移位s。在其中SRED器件段208被配置成在实现(n-1)个图像移位si i＝1、…、(n-1)的n≥3个不同光转向状态之间切换的实施例中，可以重复输入帧的局部子采样，以获得后续子帧73，其中输入帧的选定部分的采样偏移与相应的图像移位匹配。在本说明书的上下文中，术语“子采样”当参考帧使用时指的是以比帧的分辨率低的分辨率的采样网格对由帧定义的视觉图案进行采样，并且可以包括使用插值操作。因此，子帧73序列可以在其对应于凝视方向的部分中呈现具有较高采样密度的输入帧71。将重复子采样仅定位到输入帧的当前处于凝视方向的选定部分节省了显示处理器的计算资源。
举例来说，显示器110可以具有N×M的原始分辨率，其中N和M分别是显示器的像素列数和行数；在操作中，显示处理器270可以接收分辨率为K×L的输入帧71序列，其中K和L是用于生成帧71的采样网格中的列数和行数。在一些实施例中，在行维度和列维度中的至少一个上，K×L阵列的大小可以超过N×M阵列的大小，在这种情况下，输入帧71可以被称为高分辨率帧。在一些实施例中，这些阵列的大小可以相同，即，K＝N和M＝L。在一些实施例中，显示处理器70可以被配置成通过将由高分辨率输入图像帧71定义的图像插值到由显示器110的像素布局定义的N×M采样网格来生成每个子帧73，其中采样偏移对应于由SRED210的激活器件节段施加的图像移位。
SRED控制器232可操作来响应于凝视方向信号223激活凝视方向上的器件节段208a，并且在不同的光转向状态之间切换器件节段208a以与显示器110显示子帧73同步地实现图像移位，其中帧的一部分中的采样偏移与图像移位匹配。
现在转到图11，示意性地示出了示例HMD 300的部分横截面图，在该HMD 300中可以实现凝视自适应分辨率增强或缺陷像素校正。HMD 300可以是图6的显示系统100的实施例。HMD 300包括眼睛敏锐度显示模块390，该模块390又包括电子显示器350和包含SRED360的光学块320。电子显示器350设置在刚性主体351的正面352，面向视窗(eye box)357。设置在显示器350和视窗357之间的光路中的光学块320将图像光301从显示器350传输到视窗357。当用户佩戴HMD 300时，视窗357定义了用户眼睛310的位置。光学块320可以形成显示器350的前发光面354的放大虚像，从而形成当前显示的帧的图像。被称为帧图像的放大虚像可以形成在比显示器350更远离视窗357的图像平面360处。然后，放大虚像由眼睛310的晶状体(lens)311投影到视网膜312上，以在其上形成图像。虽然仅示出了单个光学块320，但是HMD 300可以包括这种块的两个实例，用户的每只眼睛一个这种块，并且在一些实施例中还可以包括电子显示器350的两个实例。电子显示器350可以是例如微型显示器，其总像素计数可以小于例如传统的直视LED或LC TV显示器的像素计数。HMD 300可以包括一个或更多个光源392，以提供光来跟踪用户眼睛310的位置和移动。可以设置一个或更多个照相机或光电检测器391来检测来自用户眼睛310的眼睛跟踪光的反射。照相机或检测器391耦合到凝视处理器块373，凝视处理器块373被配置成基于来自照相机或检测器391的信号生成凝视方向信号。照相机或检测器391、凝视处理器块373和一个或更多个光源392可以实施图6的眼睛跟踪器件或系统222。如上所述，电子显示器350是包括显示像素阵列的像素化显示器。电子显示器350可以是图6的显示器110的实施例。例如，它可以是LCD显示器、OLED显示器、AMOLED显示器或任何其他合适的像素化显示器。在一些实施例中，电子显示器350可以被配置成发射偏振光。在其他实施例中，电子显示器350可以被配置成发射非偏振光。电子显示器350可以可操作地耦合到显示处理器370，显示处理器370可以是上文参照图5-图8描述的显示处理器270的实施例。在操作中，电子显示器350从显示处理器370接收帧数据，例如以如上所述的帧71序列或子帧73序列的形式，并且通过选择性地以各种强度水平(例如由子帧73定义的强度水平)激发显示像素的图案来向用户呈现相应的图像。光学块320可以包括一个或更多个光学元件，例如但不排他地凸透镜、凹透镜、菲涅耳透镜(Fresnel lens)、LC透镜、液体透镜、光圈、光栅、滤光器、偏振器和/或偏振转换器、或者任何其他合适的光学元件。这些光学元件或其子集可以形成HMD 400的成像光学器件。光学块320可以被配置成形成由显示器350的像素阵列显示的帧的放大图像，并且还可以校正从电子显示器350接收的图像光中的光学像差和其他光学误差。
可以包含在光学块320中的SRED 360可以是上文描述的SRED 210的实施例。SRED360可以是器件段308阵列的形式，或者包括器件段308的阵列，器件段308可以如上文参照SRED 210的器件段208所述。可以提供SRED控制器380，以根据来自凝视检测器模块373的凝视方向信号，选择性地激活位于凝视方向上的器件段308之一。SRED控制器380可以是上文描述的SRED控制器232的实施例。
SRED 360可以位于HDM 300中的一个位置，在该位置处，来自不同显示区域的图像光301在空间上基本上是分离的，使得不同的器件段308光学耦合到显示器350的像素阵列的不同区域。因此，图像光301的穿过不同器件段308的多个部分通常源自显示器350的不同区域，并因此来自不同的、大部分不重叠的显示像素组，如上文参照图7大致描述的。在一些实施例中，光学块360的成像光学器件可以包括光学器件321，该光学器件321可以设置在图像光301的在SRED 360上游的光路中，该光学器件321可以被配置成至少部分地准直图像光301，使得源自显示器350的像素阵列的不同非重叠区域的光部分不会在SRED 360的位置处显著重叠。在一些实施例中，SRED 360可以紧邻显示器350的发光面354设置，并且可以层压在其上。
在一些实施例中，SRED 360的每个器件段308或SRED 210的每个器件段208可以是光转向开关(LSS)的形式，或者可以包括LSS，光转向开关被配置成与电子显示器360显示子帧73序列同步地在两个或更多个空间位置之间动态地移位显示器350的显示像素阵列的对应部分的图像，如上文大致描述的。在至少一些实施例中，LSS被配置成将一个或更多个角度移位可切换地施加在其截取的图像光301的一部分上，以局部移位由截取的图像光形成的部分图像。在一些实施例中，光学块320可以包括一个或更多个光学元件，例如一个或更多个透镜，该光学元件可以设置在SRED 360的下游，即在SRED 360和眼睛310之间。在一些实施例中，这些光学元件可以被配置成将一个或更多个角度移位转换成图像平面中的空间位移。
可以提供一个或更多个存储器器件375，该存储器器件375包含将一个或更多个器件段308与凝视方向相关联的信息，例如以LUT的形式的信息。如上所述，相同或不同的存储器器件还可以包含将器件段与显示器350的显示像素组相关联的信息。显示处理器370可以被配置成渲染输入图像帧71，以将其转换成被选择性采样的两个或更多个子帧73，其中子帧的与凝视方向上的帧图像部分相对应的部分中的子帧之间具有采样偏移，采样偏移与由激活的器件段308施加的空间图像移位匹配，如上所述。
参考图12A，光转向开关(LSS)408可以用偏振开关(PS)411来实现，偏振开关411设置在图像光407的在偏振导向器件412上游的光通路中。LSS 408可以是SRED 360的一个器件段308的实施例，或者可以是其一部分。PS 411被配置成响应于来自SRED控制器的控制信号，在第一偏振状态S1和正交偏振状态S2之间切换图像光107。偏振导向器件412被配置成根据图像光的偏振状态来引导其接收的图像光，例如在第一方向421上引导第一偏振状态S1的光，并且在第二方向422上引导第二偏振状态S2的光，其间具有角度移位θ。LSS 408在单个方向上(例如在所示示例中的图平面中的方向上)移位接收到的光，导致在单个维度上的空间图像移位；因此，LSS 408可以被称为一维(1D)LSS。
在一些实施例中，偏振导向器件412可以是偏振光栅，例如上文参照图1C和图1D描述的LC偏振光栅。在一些实施例中，PS 411可以是有源LC HWP，同样如上文参照图1A和图1B所描述的。在一些实施例中，PS 411可以接收图像光407作为第一偏振状态S1的偏振光，并且可以操作来不改变地传输它或者暂时将其切换到第二偏振状态S2。在一些实施例中，PS411前面可以有偏振调节器件431，其接收图像光407并将其调节到偏振开关411的期望输入偏振，例如S1。偏振调节器件131例如可以是偏振器和/或偏振转换器的形式，或者包括偏振器和/或偏振转换器，例如波片。PS 411在本文也可以被称为第一偏振开关，并且偏振光栅412在本文也可以被称为第一偏振光栅。
在一些实施例中，由PS 411接收的图像光407是圆偏振的，并且PS 411是可以在接通状态和断开状态之间切换的有源LC HWP的形式，在接通状态和断开状态中的一个状态中PS 411“照原样”传输图像光，而在另一个状态中，它将输入圆偏振切换到相反旋向的圆偏振。在显示器350发射非偏振光的实施例中，偏振调节元件431可以是圆偏振器，例如以线性偏振器后面跟随QWP的形式。在显示器350发射线性偏振光的实施例中，偏振调节元件431可以是偏振转换器的形式，例如适当定向的QWP，例如LC QWP。
偏振光栅412可以是例如LC PBP光栅，并且可以被配置成在将RCP光转换成LCP光的同时以衍射角θd偏转RCP光，并且在将LCP光转换成RCP光的同时在相同的平面内在相反的方向上以大致相同的衍射角θd偏转LCP光，例如如上文参照图1A-图1D所描述的。在本文描述的实施例中，偏振光栅412可以被配置成使得衍射角θd小，例如大约0.001-0.2度，并且优选地在0.01至0.1度的范围内。在偏振光栅412是无源LC偏振光栅的实施例中，LSS 408可以是2态器件，其可操作来在两个子帧的序列上为每个显示像素形成两个图像像素，这使得能够以R/2的有效帧速率将有效图像分辨率增加为高达两倍。
在一些实施例中，偏振光栅412可以是有源LC偏振光栅，其可在接通状态和断开状态之间切换，并且在这些状态之一中作为简单的传输元件操作，如上文参照图1A-图1D所描述的。在这样的实施例中，LSS 408可以是3态器件，其可操作来在三个子帧的序列上为每个显示像素形成三个图像像素，这使得能够以R/3的有效帧速率将有效图像分辨率增加为高达三倍。
图像光407被LSS 408转向的方向，以及因此相对于图像中的像素行和像素列的图像移位s的方向，取决于偏振光栅412围绕其光轴的旋转取向，并且可以通过适当旋转偏振光栅412来改变。在各种实施例中，图像移位s的方向可以与图像像素阵列的行或列对齐，或者可以不与任何一个对齐。
参考图12B，一些实施例可以利用LSS 488，其中偏振光栅412设置在PS 411的上游，PS 411在光学上可以跟随有偏振器443。例如，偏振光栅412可以是LC PBP光栅，PS 411可以是有源LC HWP，并且偏振器443可以是只传输LCP光或RCP光中的一种而阻挡另一种的CP偏振器。LSS 488可以作为用于非偏振或线性偏振光417的方向性开关/偏振器来操作。例如，LC PBP光栅412可以将非偏振光417划分成RCP和LCP分量，以衍射角+θd衍射RCP光，而以衍射角-θd衍射LCP光。CP偏振器443可以例如传输RCP光，同时阻挡LCP光，反之亦然。PS 411可以在具有零延迟的第一状态和具有半波延迟的第二状态之间切换。在PS 411的第一状态下，LSS 488以衍射角+θd输出RCP光。在其第二状态下，LSS 488翻转由光栅412衍射的RCP光和LCP光的偏振状态，并以衍射角-θd输出RCP光。
参考图13，可以通过顺序使用两个或更多个偏振光栅来增加可从电子显示器的每个像素获得的图像像素的总数，例如通过一个接一个地堆叠LSS 408的几个实例，在一些实施例中利用旋转。在图示的实施例中，LSS叠层508包括图12A中所示的LSS 408的两个顺序设置的实例，第一LSS 408a和第二LSS 408b。LSS叠层508可以包含SRED 360的一个器件段。图13还示意性地示出了电子显示器550和SRED控制器580，电子显示器550以横截面视图和插图中的等轴视图示出。LSS叠层508可以比LSS 408在更多数量的角度移位之间切换，导致可以从单个显示像素获得更密集或更多样的图像像素群落。LSS叠层508接收来自电子显示器550的图像光507，电子显示器550可以类似于图5和图9的电子显示器110和350。可以提供偏振器或偏振转换器431，以将来自显示器550的图像光507转换成偏振光，例如转换成LCP光或RCP光。第一LSS 408a包括与第一PS 411顺序设置的第一偏振光栅412。第二LSS 408b包括与第二PS 511顺序设置的第二偏振光栅512。第二偏振光栅512可以相对于第一偏振光栅412绕光轴513旋转偏移地设置，例如旋转偏移90°+\-10°，使得LSS 408a和408b在两个不同的平面中对图像光施加角度移位。因此，LSS叠层508可以被称为2D LSS。第一LSS 408a和第二LSS 408b中的每一个可以是2态器件或3态器件，这取决于它是包括有源偏振光栅还是无源偏振光栅。因此，在各种实施例中，LSS叠层410可被配置成可在4种、6种或9种不同状态之间切换。
表1
子帧# PS1 PG1 PS2 PG2 角度
1 断开 断开 断开 接通 +θ<sub>x</sub>
2 接通 断开 断开 接通 -θ<sub>x</sub>
3 断开 接通 断开 断开 +θ<sub>y</sub>
4 接通 接通 断开 断开 -θ<sub>y</sub>
5 断开 接通 接通 接通 +θ<sub>x</sub>+θ<sub>y</sub>
6 断开 接通 断开 接通 +θ<sub>x</sub>-θ<sub>y</sub>
7 接通 接通 断开 接通 -θ<sub>x</sub>+θ<sub>y</sub>
8 接通 接通 接通 接通 -θ<sub>x</sub>-θ<sub>y</sub>
9 断开/接通 断开 断开/接通 断开 0
表1示出了具有两个有源LC偏振光栅的LSS叠层508的示例实施例的9种不同的切换状态。在该实施例中，第一PS 411和第二PS 421中的每一个都是电压控制的有源LC HWP，其在没有电压的情况下(即在断开状态下)具有半波延迟，并且在施加合适电压的接通状态下具有基本为零的延迟。第一偏振光栅421和第二偏振光栅512中的每一个都是电控制的有源LC PBP光栅，其在接通状态下(即当向其施加电压时)可以作为既不偏转光也不区分偏振的简单传输元件来操作。第一偏振光栅412当关断时可以取向成将(x，z)平面中的光偏转角度±θx，这可以导致显示系统中的图像位移±sx。第二偏振光栅512当关断时可以取向成将(y，z)平面中的光偏转角度±θy，导致图像在正交维度上位移±sy。偏转角度θx和θy由相应LC偏振光栅412、512的设计独立控制，并且可以相等或不同，这取决于特定的系统实现和显示器550的像素阵列的几何形状。在具有不同LC材料的其他实施例中，有源LC元件411、412、511、512在接通和断开状态下的动作可以颠倒。可以提供控制器463，其与有源LC元件411、412、511、512中的每一个电连通，并且被配置成以任何期望的顺序接通和断开它们中的每一个。控制器580可以是上文描述的SRED控制器232或380的实施例，并且可以被配置成激活LSS叠层508，以与显示器550刷新以显示下一子帧同步地切换。在表1中，PS1和PS2分别指示第一PS 411和第二PS 511，并且PG1和PG2分别指示第一偏振光栅412和第二偏振光栅422。
通过在表1中所指示的这9个状态之间切换LSS叠层508，来自显示器550的对应区域的图像光可以以表1的最后一列中列出的九个不同偏转角中的任何一个被引导，使得所显示的帧的对应区域可以被成像或投影在使用它的显示系统(例如HMD 300)的图像平面中的多达九个稍微不同的位置。这9个状态之间的循环导致对应显示区域的每个显示像素的9个图像像素的群落555，如图14所示。将认识到，表1中的第一列中的子帧不以具体的顺序编号，并且切换的顺序可以不同于表1中所示的顺序。
偏振光栅412、512可以被配置用于显示系统的每种具体配置，以提供偏转角θx、θy，针对偏转角θx、θy，图14的图像像素的群落在显示系统的图像平面中具有期望的尺寸。举例来说，每个偏转角θx、θy可以在从大约0.001度到0.2度的范围内。在其中位移sx、sy中的一个或两个是图像平面中相应方向上像素间距的一分数的实施例中，该位移可以将一个子帧73的对应部分的一些或全部图像像素放置在前一个子帧73的暗间隙空间中。对于每个高分辨率输入帧71，循环遍历这9个位移或其子集，可以在有效帧速率为R/9的情况下在帧图像在凝视方向的部分中实现高达9倍的有效图像分辨率。
举例来说，在一个实施例中，可以选择偏转角θx、θy中的每一个，使得位移sx、sy中的每一个约为对应方向上像素间距的三分之一，即sx＝px/3和sy＝py/3，使得对应于相邻显示像素的图像像素群落555不重叠。这使得在凝视方向上的有效图像分辨率相对于视觉周边的图像区域增加9倍，在视觉周边的图像区域中，帧图像可以在连续的子帧上保持静止。在其他实施例中，在9种可能状态或这些状态的选定子集之间循环LSS叠层508，可以在时间上导致像素图像与后续子帧中的相邻像素图像重叠，从而提供像素冗余并能够校正缺陷像素。
参照图15，由图10A-图11所示类型的光转向开关形式的器件段组成的SRED可以使用一个或更多个有源LC偏振光栅和/或一个或更多个有源LC延迟器来被实现，其中有源LC偏振光栅的至少一个光学透明电极被分段成可独立寻址的电极段的阵列，有源LC延迟器具有对应分段的电极。通常，有源LC波片或光栅的两个电极中只有一个需要分段。图15示意性地示出了有源LC波片或光栅580的俯视图，其顶部ITO电极被图案化有间隙577，以形成彼此电分离的电极段511的正方形阵列。电线591可以设置在间隙中，以能够独立地向每个ITO电极段511施加电压。每个电极段511限定了可以独立接通或断开的底层LC段582。虽然图15出于说明的目的示出了LC段的3x2阵列，但是可以形成更多数量的LC段582。通常，SRED可以包括可单独寻址的LC段582的Ns×Ms阵列，具有段行和段列的任何期望的数量Ns、Ms。举例来说，在垂直维度和水平维度上都具有180°视场的显示系统中的SRED可以包括9×9的器件段阵列，以提供+\-10°立体角的视觉敏锐度。
具有图12A或图12B中所示类型的1D LSS形式的器件段的SRED可以用LC叠层来实现，该LC叠层由无源或有源LC光栅和分段有源LC延迟器组成，或者由有源分段LC光栅和有源LC延迟器组成。具有图13中所示类型的2D LSS形式的器件段的SRED可以用例如LC叠层来实现，该LC叠层由两个无源或有源LC光栅和具有匹配段阵列的两个分段有源LC延迟器组成，或者由具有匹配段阵列的两个分段有源LC光栅和两个有源LC延迟器组成，以及由分段或非分段有源LC延迟器、分段有源LC光栅和非分段有源或无源LC光栅的其他可能组合组成。
图16和图17示意性地示出了LC叠层形式的SRED的两个示例实现，该LC叠层在图16中包括两个LC偏振光栅620和640并且在图16中包括作为偏振开关的两个有源LC延迟器610和630，而在图17中包括两个LC偏振光栅720和740并且在图17中包括作为偏振开关的两个有源LC延迟器710和730。图16示出了SRED 650，其中用匹配的LC段阵列对有源LC延迟器610、630进行分段，而图17示出了SRED 750，其中用匹配的LC段阵列对有源LC偏振光栅720、730进行分段。
这些实施例中的每一个都可以在其输入端处包括一个或更多个偏振器件605，例如偏振器、波片或偏振控制器，以将图像光调节到适合于叠层的偏振光栅的期望偏振。在图16和图17所示的每个实施例中，有源或无源LC光栅可以是LC PBP光栅或体LC全息光栅的形式。当偏振光栅是LC PBP光栅并且入射到SRED上的图像光是线性偏振的时，偏振器件605可以是适当对准的QWP(例如LC QWP)的形式，并且可以是LC叠层的第一元件。当入射到SRED上的图像光是非偏振的时，偏振器件605可以是线性偏振器的形式，随后是适当对准的QWP，或者是被配置成将非偏振光转换成CP偏振光的任何其他器件。
在图16的实施例中，第一有源LC延迟器610的每个段611与第二有源LC延迟器630的对应段631光学对准，限定了SRED 650的一个器件段或一个独立可控的LSS。在图17的实施例中，第一LC光栅720的每个段721与第二LC光栅740的对应段741光学对准，限定了SRED750的一个器件段或一个独立可控的LSS。当在眼睛敏锐度显示系统(诸如图6或图11所示的眼睛敏锐度显示系统)中使用时，这些器件段可以由SRED控制器选择性地激活，以循环遍历它们的光转向状态，从而选择性地增强观看者在凝视方向上的显示图像的有效分辨率。远离凝视方向的器件段可以保持在默认状态。
具有有源分段LC PBP光栅720、740的图17的实施例实现了凝视方向上相对于周边视觉中的图像分辨率的高达9倍的有效分辨率增强。举例来说，如果显示器的实际像素密度是3K×3K，则凝视方向上的有效图像分辨率，即通过激活的器件段观看的显示器部分的分辨率，可以是9K×9K。具有有源非分段LC PBP光栅620、640和有源分段延迟器610、620的图16的实施例实现了凝视方向上高达9倍的有效分辨率增强，同时还实现了周边视觉中高达4倍的有效图像分辨率增强。具有无源非分段LC PBP光栅620、640和有源分段延迟器610、620的图16的实施例实现了凝视方向上高达4倍的有效分辨率增强。表2总结了具有两个延迟器和两个LC PBP光栅的LSS叠层的五种示例配置的有效分辨率增强因子。
在LSS叠层的一些实施例中，延迟器可以设置在光栅的下游。当用于显示系统(诸如图6、图11或图13所示的那些显示系统)时，在一些实施例中，诸如LLS叠层650或750的LSS叠层可以被放置在发射图像光的电子显示器旁边，并且可以被层压到显示器上。
表2
Figure BDA0002728371680000281
宽带和离轴/斜角(oblique angle)操作
在一些实施例中，本文描述的偏振器件可以被修改以降低它们的波长依赖性。通常，LC波片或LC偏振光栅的LC层的延迟取决于波长；因此，上文所述的被设计成例如在显示光的一个波长带中工作的LC延迟器和光栅，对于显示光中可能存在的另一个波长带可能无法最佳地工作。因此，在一些实施例中，可以修改上文描述的示例光转向开关和SRED，以减少它们在期望的光谱范围内(例如在可见光谱内)的性能变化。在这样的实施例中，图10-图15中所示的每个光转向器件可以由两组或更多组LC器件组成，每组LC器件被设计成在一个波长子带或颜色通道中作为目标波片或偏振光栅操作，而在一个或更多个其他波长子带或颜色通道中简单地传输。例如，在电子显示器发射由红色(R)、绿色(G)和蓝色(B)颜色通道组成的RGB光的实施例中，对波长具有降低的灵敏度的光转向开关然后可以包括三个有源或无源LC PBP光栅的叠层。如图18中通过举例所示，具有降低的波长灵敏度的LC偏振光栅叠层810可以包括第一LC PBP光栅811B、第二LC PBP光栅811G和第三LC PBP光栅811R，第一LC PBP光栅811B具有蓝色通道的奇数个半波长的延迟，以针对B光作为HWP操作，但是针对G光和R光作为nWP操作，第二LC PBP光栅811G具有绿色通道的奇数个半波长的延迟，以针对G光作为HWP操作，但针对R光和B光作为nWP操作，第三LC PBP光栅811R具有红色通道的奇数个半波长的延迟，以针对R光作为HWP操作，但针对G光和B光作为nWP操作。在其他颜色通道处，LC PBP光栅811B、811G和811R可以具有偶数个半波长的延迟，因此不会转向光或改变其偏振。在这种配置中，第一LC PBP光栅811B以偏振相关的角度衍射B光，而在不改变方向的情况下传输G光和R光；第二LC PBP光栅811G以相同的偏振相关角度衍射G光，而在不改变方向的情况下传输B光和R光；第三LC PBP光栅811R以相同的偏振相关角度衍射R光，在不改变方向的情况下传输G光和B光。在其他实施例中，LC光栅叠层810可以具有为其他波长带设计的相同或不同数量的LC光栅。类似地，在LSS或SRED中的LC光栅或LC光栅叠层前面的有源LCHWP可以由三个特定于颜色的LC HWP组成，每个LC HWP被设计成针对除了其目标颜色带之外的颜色带作为nWP操作。
此外，LC器件的偏振性能通常可能取决于入射角，对于以斜角入射的光，器件延迟通常会降低。因此，在一些实施例中，上文描述的LC延迟器和/或LC偏振光栅可以包括附加的双折射板或延迟片，例如C板，其延迟在倾斜入射角时增加，从而减少或消除相应偏振器件的性能对图像光的入射角的依赖性。
现在转到图19，头戴式显示器(HMD)1400可以包括上述一个或更多个SRED和/或眼睛敏锐度显示模块。HMD 1400可以向用户提供内容作为人工现实系统的一部分。HMD 1400可以用计算机生成的影像(imagery)来增强物理真实世界环境的视图和/或生成完全虚拟的3D影像。HMD 1400可以包括前主体1402和头带1404。前主体1402被配置成放置在用户的眼睛前面，头带1404可以被拉伸以将前主体1402固定在用户的头上。
在一些实施例中，前主体1402包括定位器1408、用于跟踪HMD 1400的加速度的惯性测量单元(IMU)1410、以及用于跟踪HMD 1400的位置的位置传感器1412。定位器1408由虚拟现实系统的外部成像器件跟踪，使得虚拟现实系统可以跟踪整个HMD 1400的定位和取向。由IMU和位置传感器1412生成的信息可以与通过跟踪定位器1408获得的位置和取向进行比较，以改进对HMD的位置和取向的跟踪。当用户在3D空间中移动和转动时，精确的位置和取向对于向用户呈现适当的虚拟场景是重要的。
显示模块(例如图11的眼睛敏锐度显示模块390)可以设置在前主体1402中，用于向用户呈现影像。眼睛敏锐度显示模块390在图16中仅作为说明示出，并且可以使用结合了本公开的SRED的其他类型的显示模块。前主体1402的侧面1406可以是不透明的或透明的。HMD 1400还可以包括眼睛跟踪系统1414，该眼睛跟踪系统实时确定用户眼睛的取向和位置。所获得的眼睛的位置和取向允许HMD 1400确定用户的凝视方向，并增强显示模块390生成的图像的在凝视方向上的有效分辨率。在一些实施例中，一个或更多个SRED在凝视方向上的选定段被激活，以在凝视方向上提供分辨率增强和/或像素缺陷校正。
上述示例性实施例旨在从所有方面说明本发明，而不是限制本发明。实际上，除了本文描述的那些之外，对于本领域普通技术人员来说，从前面的描述和附图中，各种其他实施例和对本公开的修改将是显而易见的。例如，在一些实施例中，成像光学器件的至少一部分可以在光学上设置在光束转向器件的下游。此外，尽管在上文描述的示例实施例中，SRED被示为以传输方式操作，但是也可以设想具有以反射方式操作的SRED的显示系统实施例。
此外，在以上描述中，出于解释而非限制的目的，阐述了具体细节，例如特定的架构、接口、技术等，以便提供对本发明的透彻理解。在一些情况下，省略了对公知设备、电路和方法的详细描述，以免不必要的细节模糊本发明的描述。因此，例如，本领域技术人员将理解，本文的框图可以表示体现本技术原理的说明性电路的概念图。本文叙述本发明的原理、方面和实施例及其具体示例的所有陈述旨在包括其结构和功能等同物。另外，这种等同物旨在包括当前已知的等同物以及将来开发的等同物，即，开发的执行相同功能的任何元件，而无论结构如何。此外，将认识到，上文描述的每个示例实施例可以包括参照其他示例实施例描述的特征。
因此，虽然已经参照附图中所示的示例实施例具体示出并描述了本发明，但是本领域技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以在其中实施细节上的各种改变。

Claims (20)

1.一种装置，包括：
电子显示器，所述电子显示器包括被配置成显示帧的像素阵列，所述像素阵列包括多个显示像素；
眼睛跟踪器件，所述眼睛跟踪器件被配置成确定所述电子显示器的用户的凝视方向；以及
光学块，所述光学块用于从由所述电子显示器显示的所述帧形成帧图像，所述光学块包括能够操作地耦合到所述眼睛跟踪器件的分段分辨率增强器件(SRED)，所述帧图像包括以图像像素间距p设置的图像像素的阵列；
其中，所述SRED包括多个器件段，所述多个器件段被配置成响应于来自所述眼睛跟踪器件的信号而被单独激活，每个器件段光学耦合到所述像素阵列的不同显示像素组，用于选择性地增强所述帧图像在所述凝视方向上的部分的有效分辨率。
2.根据权利要求1所述的装置，还包括控制器，所述控制器被配置成基于来自所述眼睛跟踪器件的信号，激活器件段阵列中的在所述凝视方向上的选定器件段。
3.根据权利要求2所述的装置，还包括显示处理器，所述显示处理器被配置成：
向所述电子显示器提供像素数据以显示所述帧；
从所述电子显示器的不同显示像素组识别光学耦合到所述选定器件段的选定的显示像素组；以及
在所述电子显示器显示所述帧的同时，用新的像素数据对选定的像素组执行选择性像素更新至少一次。
4.根据权利要求3所述的装置，其中，所述选择性像素更新是在显示所述帧的同时不用新的像素数据更新位于所述选定的显示像素组之外的外围显示像素组的情况下执行的。
5.根据权利要求2至4中任一项所述的装置，其中，每个器件段包括光转向开关(LSS)，所述光转向开关被配置成在所述帧被显示的同时，在由所述控制器激活后，在两个或更多个光转向状态之间切换，以便为所述帧图像的在所述凝视方向上的部分提供偏移图像的序列。
6.根据权利要求5所述的装置，其中，所述选择性像素更新是与切换所述选定器件段的LSS相协调地执行的。
7.根据权利要求5或6所述的装置，其中，所述LSS在被所述控制器激活后能够操作来提供包括两个图像的相互偏移的图像序列，所述两个图像之间具有等于所述图像像素间距p的一分数的空间偏移s。
8.根据权利要求7所述的装置，其中，所述帧图像包括相邻图像像素之间的间隙区域，所述间隙区域在尺寸上至少等于所述图像像素，并且其中，所述空间偏移s使得所述两个相互偏移的图像中第一个图像的至少一些图像像素位于所述相互偏移的图像中第二个图像的间隙空间中。
9.根据权利要求7或8所述的装置，其中，所述显示处理器被配置成以两个或更多个采样网格对所述选定的显示像素组的输入帧数据进行选择性地子采样，所述采样网格之间的采样偏移与所述空间偏移s匹配。
10.根据权利要求1至9中任一项所述的装置，其中，所述SRED包括：
第一偏振光栅，以及
与所述第一偏振光栅顺序设置的第一偏振开关，
其中，所述第一偏振光栅或所述第一偏振开关中的至少一个被分段以限定所述多个器件段，并且
其中，所述电子显示器或所述光学块中的至少一个包括偏振元件，所述偏振元件被配置成将来自所述电子显示器的偏振像素光提供给所述SRED。
11.根据权利要求1至10中任一项所述的装置，其中，所述电子显示器被配置成传输偏振光。
12.根据权利要求1至11中任一项所述的装置，包括偏振器件，所述偏振器件光学地设置在所述电子显示器和所述SRED之间，并且被配置成以圆偏振状态将来自所述电子显示器的光提供给所述SRED。
13.根据权利要求10至12中任一项所述的装置，其中，所述第一偏振开关或所述第一偏振光栅中的至少一个包括有源LC器件，所述有源LC器件包括设置在两个电极之间的LC层，所述两个电极中的至少一个是透明的，并且其中，所述两个电极中的至少一个包括多个电分离的电极段。
14.根据权利要求10至13中任一项所述的装置，其中，所述SRED还包括与第二偏振开关顺序设置的第二偏振光栅，所述第二偏振光栅或所述第二偏振开关中的至少一个被分段以匹配所述第一偏振光栅或所述第一偏振开关中的至少一个的段。
15.根据权利要求14所述的装置，其中，所述第二偏振光栅相对于所述第一偏振光栅以旋转偏移设置。
16.根据权利要求14所述的装置，其中，所述旋转偏移基本上是90°。
17.根据权利要求14、15或16所述的装置，其中，所述第一偏振光栅或所述第二偏振光栅中的至少一个包括以下中的至少一项：液晶(LC)Pancharatnam Berry相位(PBP)光栅或LC体全息光栅。
18.根据权利要求14至17中任一项所述的装置，其中，所述第一偏振光栅或所述第二偏振光栅中的至少一个包括以下中的至少一项：分段有源液晶LC PBP光栅或分段有源LC全息光栅。
19.根据权利要求14至18中任一项所述的装置，其中，所述第一偏振开关或所述第二偏振开关中的至少一个包括有源LC HWP。
20.一种用于操作显示装置的方法，所述方法包括：
用包括显示像素阵列的电子显示器显示帧；
形成所显示的帧的图像，以获得包括图像像素阵列的图像帧，所述图像像素阵列包括以图像像素间距p设置的图像像素；
用眼睛跟踪器件确定所述电子显示器的用户的凝视方向；以及
在显示所述帧的同时，将所述帧图像的位于所述凝视方向上的一部分选择性地移位所述图像像素间距的至少一分数至少一次。
CN201880092492.8A 2018-04-16 2018-08-07 具有凝视自适应分辨率增强的显示器 Pending CN112005156A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862658522P 2018-04-16 2018-04-16
US62/658,522 2018-04-16
US16/054,962 2018-08-03
US16/054,962 US10636340B2 (en) 2018-04-16 2018-08-03 Display with gaze-adaptive resolution enhancement
PCT/US2018/045677 WO2019203873A1 (en) 2018-04-16 2018-08-07 Display with gaze-adaptive resolution enhancement

Publications (1)

Publication Number Publication Date
CN112005156A true CN112005156A (zh) 2020-11-27

Family

ID=68161877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880092492.8A Pending CN112005156A (zh) 2018-04-16 2018-08-07 具有凝视自适应分辨率增强的显示器

Country Status (4)

Country Link
US (1) US10636340B2 (zh)
EP (1) EP3781981A1 (zh)
CN (1) CN112005156A (zh)
WO (1) WO2019203873A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366674B1 (en) * 2016-12-27 2019-07-30 Facebook Technologies, Llc Display calibration in electronic displays
US11347052B2 (en) * 2017-10-23 2022-05-31 Sony Corporation Display control apparatus, head mounted display, and display control method
US11443715B2 (en) 2019-01-04 2022-09-13 Ati Technologies Ulc Strobe configuration for illumination of frame at display device
CN113508328B (zh) * 2019-01-09 2023-11-07 伊奎蒂公司 用于近眼显示器的虚拟图像的颜色校正
WO2020169088A1 (en) * 2019-02-21 2020-08-27 University Of Central Florida Research Foundation, Inc. Display device and electronic apparatus
US11262578B2 (en) * 2019-03-15 2022-03-01 Microsoft Technology Licensing, Llc Pixel sampling for spatial light modulator
US10957240B1 (en) * 2019-03-19 2021-03-23 Facebook Technologies, Llc Apparatus, systems, and methods to compensate for sub-standard sub pixels in an array
CN110335885B (zh) * 2019-04-29 2021-09-17 上海天马微电子有限公司 显示模组及显示模组的显示方法、显示装置
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
US11609429B2 (en) * 2019-08-22 2023-03-21 Htc Corporation Display device
US11076080B2 (en) * 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
CN115176192A (zh) * 2019-12-11 2022-10-11 E-视觉智能光学公司 具有阵列光学器件的近眼显示器
US11294184B2 (en) 2020-01-06 2022-04-05 Facebook Technologies, Llc Foveated display system
US11448803B1 (en) 2020-01-06 2022-09-20 Facebook Technologies, Llc Pancake lens including diffuser
US11668932B2 (en) 2020-01-06 2023-06-06 Meta Platforms Technologies, Llc Switchable Pancharatnam-Berry phase grating stack
US11348514B2 (en) 2020-02-06 2022-05-31 Varjo Technologies Oy LED-based display apparatus and method incorporating sub-pixel shifting
KR20220131338A (ko) * 2020-02-06 2022-09-27 밸브 코포레이션 공간적으로 변화하는 편광기들을 사용하는 가변 광학 교정
WO2021156548A1 (en) * 2020-02-06 2021-08-12 Varjo Technologies Oy Display apparatus and method incorporating adaptive pose locking
US11308900B2 (en) 2020-02-06 2022-04-19 Varjo Technologies Oy Display apparatus and method incorporating sub-pixel aware shifting and overlap compensation
JP2023512879A (ja) * 2020-02-06 2023-03-30 バルブ コーポレーション スキャンビームシステム用の空間・時間変動偏光補正光学系
US11170678B2 (en) 2020-02-06 2021-11-09 Varjo Technologies Oy Display apparatus and method incorporating gaze-based modulation of pixel values
US11307410B2 (en) 2020-02-06 2022-04-19 Varjo Technologies Oy Display apparatus and method incorporating adaptive pose locking
CN115039018A (zh) * 2020-02-06 2022-09-09 威尔乌集团 使用空间变化偏振器的基于视域的光学校正
US11056030B1 (en) 2020-02-06 2021-07-06 Varjo Technologies Oy Display apparatus and method of enhancing apparent resolution using liquid-crystal device
WO2021156547A1 (en) * 2020-02-06 2021-08-12 Varjo Technologies Oy Led-based display apparatus and method incorporating sub-pixel shifting
US11747655B2 (en) * 2020-12-15 2023-09-05 Meta Platforms Technologies, Llc Segmented polarization selective device
US20240126082A1 (en) * 2021-03-01 2024-04-18 University Of Central Florida Research Foundation, Inc. Optical display system and electronics apparatus
CN115128802A (zh) * 2021-03-24 2022-09-30 群创光电股份有限公司 影像的显示方法
KR20230040438A (ko) * 2021-09-15 2023-03-23 삼성디스플레이 주식회사 표시 장치
DE102021129587B3 (de) * 2021-11-12 2023-04-20 Lusospace, Projectos Engenharia Lda Kopftragbare Anzeigevorrichtung
JP2024016600A (ja) * 2022-07-26 2024-02-07 株式会社ソニー・インタラクティブエンタテインメント 表示装置、ヘッドマウントディスプレイ、および画像表示方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715029A (en) * 1994-10-25 1998-02-03 Fergason; James L. Optical dithering system using birefringence for optical displays and method
US6061103A (en) * 1995-01-20 2000-05-09 Olympus Optical Co., Ltd. Image display apparatus
US20040108971A1 (en) * 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
CN101634750A (zh) * 2008-05-27 2010-01-27 庄臣及庄臣视力保护公司 具有变焦距透镜的头戴显示器
CN105892061A (zh) * 2016-06-24 2016-08-24 北京国承万通信息科技有限公司 显示装置及方法
US20170270637A1 (en) * 2016-03-17 2017-09-21 Google Inc. Electro-optic beam steering for super-resolution/lightfield imagery
CN107317987A (zh) * 2017-08-14 2017-11-03 歌尔股份有限公司 虚拟现实的显示数据压缩方法和设备、系统

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4218249B2 (ja) * 2002-03-07 2009-02-04 株式会社日立製作所 表示装置
US6984040B2 (en) 2004-01-20 2006-01-10 Hewlett-Packard Development Company, L.P. Synchronizing periodic variation of a plurality of colors of light and projection of a plurality of sub-frame images
US8872869B2 (en) * 2004-11-23 2014-10-28 Hewlett-Packard Development Company, L.P. System and method for correcting defective pixels of a display device
JP4777675B2 (ja) 2005-03-17 2011-09-21 株式会社リコー 画像処理装置、画像表示装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体
US8237876B2 (en) 2005-05-25 2012-08-07 Kim Leong Tan Tilted C-plate retarder compensator and display systems incorporating the same
TWI345193B (en) * 2006-06-15 2011-07-11 Chimei Innolux Corp Eye tracking compensated method and device thereof and hold-type display
JP2008096956A (ja) * 2006-09-15 2008-04-24 Olympus Corp 画像表示方法および画像表示装置
EP2150170B1 (en) * 2007-05-23 2016-05-11 Mirametrix Inc. Methods and apparatus for estimating point-of-gaze in three dimensions
US20120268451A1 (en) * 2007-06-25 2012-10-25 Industrial Technology Research Institute Three-dimensional (3d) display
JP5222856B2 (ja) * 2007-11-20 2013-06-26 パナソニック株式会社 画像表示装置、その表示方法、プログラム、集積回路、眼鏡型ヘッドマウントディスプレイ、自動車、双眼鏡、及び卓上型ディスプレイ
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US8885112B2 (en) * 2009-10-27 2014-11-11 Sbg Labs, Inc. Compact holographic edge illuminated eyeglass display
US10217264B2 (en) * 2010-06-01 2019-02-26 Vladimir Vaganov 3D digital painting
US9440484B2 (en) * 2010-06-01 2016-09-13 Vladimir Vaganov 3D digital painting
US9977496B2 (en) * 2010-07-23 2018-05-22 Telepatheye Inc. Eye-wearable device user interface and augmented reality method
US10528130B2 (en) * 2010-07-23 2020-01-07 Telepatheye Inc. Unitized eye-tracking wireless eyeglasses system
US9916006B2 (en) * 2010-07-23 2018-03-13 Telepatheye Inc. Eye-wearable device user interface and method
US9411413B2 (en) * 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
JP6023080B2 (ja) * 2011-01-04 2016-11-09 サムスン エレクトロニクス カンパニー リミテッド ３ｄディスプレイ装置およびその方法
WO2012113883A2 (en) * 2011-02-25 2012-08-30 Trilite Technologies Gmbh Illumination device with movement elements
US8705177B1 (en) * 2011-12-05 2014-04-22 Google Inc. Integrated near-to-eye display module
WO2014016403A1 (de) * 2012-07-27 2014-01-30 Seereal Technologies S.A. Polarisationsgitter für schräge einfallswinkel
US9727991B2 (en) * 2013-03-01 2017-08-08 Microsoft Technology Licensing, Llc Foveated image rendering
US10082870B2 (en) * 2013-03-04 2018-09-25 Tobii Ab Gaze and saccade based graphical manipulation
US9335548B1 (en) * 2013-08-21 2016-05-10 Google Inc. Head-wearable display with collimated light source and beam steering mechanism
GB2523356A (en) * 2014-02-21 2015-08-26 Tobii Technology Ab Apparatus and method for robust eye/gaze tracking
US10042161B2 (en) * 2014-03-03 2018-08-07 Eyeway Vision Ltd. Eye projection system
US10264211B2 (en) * 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
CN103955067B (zh) * 2014-04-15 2016-11-02 京东方科技集团股份有限公司 一种三维显示系统
US9640120B2 (en) 2014-10-30 2017-05-02 Oculus Vr, Llc Diffractive element for reducing fixed pattern noise in a virtual reality headset
DK179537B1 (en) * 2015-02-04 2019-02-08 Itu Business Development A/S Tin traces and eye tracking methods
US10417832B2 (en) * 2015-03-11 2019-09-17 Facebook Technologies, Llc Display device supporting configurable resolution regions
JP6892213B2 (ja) * 2015-04-30 2021-06-23 ソニーグループ株式会社 表示装置及び表示装置の初期設定方法
US10274728B2 (en) * 2015-05-18 2019-04-30 Facebook Technologies, Llc Stacked display panels for image enhancement
US9728142B2 (en) * 2015-07-15 2017-08-08 Christie Digital Systems Usa, Inc. Reduced blur, low flicker display system
CA2992887A1 (en) * 2015-07-17 2017-01-26 Abl Ip Holding Llc Software configurable lighting device
US10297180B2 (en) * 2015-08-03 2019-05-21 Facebook Technologies, Llc Compensation of chromatic dispersion in a tunable beam steering device for improved display
US20170038591A1 (en) * 2015-08-03 2017-02-09 Oculus Vr, Llc Display with a Tunable Pinhole Array for Augmented Reality
US10459305B2 (en) * 2015-08-03 2019-10-29 Facebook Technologies, Llc Time-domain adjustment of phase retardation in a liquid crystal grating for a color display
US10338451B2 (en) * 2015-08-03 2019-07-02 Facebook Technologies, Llc Devices and methods for removing zeroth order leakage in beam steering devices
US10203566B2 (en) * 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
US10152121B2 (en) * 2016-01-06 2018-12-11 Facebook Technologies, Llc Eye tracking through illumination by head-mounted displays
US10571692B2 (en) * 2016-03-02 2020-02-25 Facebook Technologies, Llc Field curvature corrected display
US10192528B2 (en) * 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10107889B2 (en) 2016-04-14 2018-10-23 Toyota Jidosha Kabushiki Kaisha Precise positioning using millimeter wave narrow beamforming
US10437326B2 (en) * 2016-04-21 2019-10-08 Facebook Technologies, Llc Backlight modulation for liquid crystal display with eyetracking for virtual reality
US20170373459A1 (en) 2016-06-27 2017-12-28 University Of Central Florida Research Foundation, Inc. Volume polarization grating, methods of making, and applications
CN109690387B (zh) * 2016-07-13 2022-11-01 视瑞尔技术公司 显示装置
KR102706397B1 (ko) * 2016-08-31 2024-09-12 엘지디스플레이 주식회사 개인 몰입형 표시장치 및 이의 구동방법
US10496163B2 (en) * 2016-09-22 2019-12-03 Apple Inc. Eye and head tracking
US10380950B2 (en) * 2016-09-23 2019-08-13 Novatek Microelectronics Corp. Method for reducing motion blur and head mounted display apparatus
US20180158390A1 (en) * 2016-12-01 2018-06-07 Charles Sanglimsuwan Digital image modification
US10120442B2 (en) * 2016-12-21 2018-11-06 Oculus Vr, Llc Eye tracking using a light field camera on a head-mounted display
US10170060B2 (en) * 2016-12-27 2019-01-01 Facebook Technologies, Llc Interlaced liquid crystal display panel and backlight used in a head mounted display
WO2018125579A1 (en) * 2016-12-29 2018-07-05 Sony Interactive Entertainment Inc. Foveated video link for vr, low latency wireless hmd video streaming with gaze tracking
US10168531B1 (en) * 2017-01-04 2019-01-01 Facebook Technologies, Llc Lightfield waveguide integrated eye tracking
US10451885B2 (en) * 2017-03-28 2019-10-22 Facebook Technologies, Llc Multifocal system using pixel level polarization controllers and folded optics
WO2018213812A2 (en) * 2017-05-18 2018-11-22 Synaptics Incorporated Display interface with foveal compression
US10248198B1 (en) * 2017-06-14 2019-04-02 Facebook Technologies, Llc Variable display clock for reduced bandwidth in a head-mounted display
US10739850B2 (en) * 2017-09-29 2020-08-11 Sony Interactive Entertainment Inc. Prescription glasses with eye gaze tracking and electro optical signaling to a HMD
US20190212828A1 (en) * 2018-01-10 2019-07-11 Facebook Technologies, Llc Object enhancement in artificial reality via a near eye display interface

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715029A (en) * 1994-10-25 1998-02-03 Fergason; James L. Optical dithering system using birefringence for optical displays and method
US6061103A (en) * 1995-01-20 2000-05-09 Olympus Optical Co., Ltd. Image display apparatus
US20040108971A1 (en) * 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
CN101634750A (zh) * 2008-05-27 2010-01-27 庄臣及庄臣视力保护公司 具有变焦距透镜的头戴显示器
US20170270637A1 (en) * 2016-03-17 2017-09-21 Google Inc. Electro-optic beam steering for super-resolution/lightfield imagery
CN105892061A (zh) * 2016-06-24 2016-08-24 北京国承万通信息科技有限公司 显示装置及方法
CN107317987A (zh) * 2017-08-14 2017-11-03 歌尔股份有限公司 虚拟现实的显示数据压缩方法和设备、系统

Also Published As

Publication number Publication date
US20190318677A1 (en) 2019-10-17
EP3781981A1 (en) 2021-02-24
WO2019203873A1 (en) 2019-10-24
US10636340B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
US10636340B2 (en) Display with gaze-adaptive resolution enhancement
US10902820B2 (en) Display device with dynamic resolution enhancement
US8917441B2 (en) Observe tracking autostereoscopic display
JP4410244B2 (ja) 表示装置
RU2546553C2 (ru) Мультивидовое автостереоскопическое устройство отображения
KR101555892B1 (ko) 오토-스테레오스코픽 디스플레이 장치
US7042535B2 (en) Optical display system and optical shifter
US6876495B2 (en) Structured light source
US9237337B2 (en) Autostereoscopic display with a passive cycloidal diffractive waveplate
EP2055110B1 (en) Display device
US6184969B1 (en) Optical display system and method, active and passive dithering using birefringence, color image superpositioning and display enhancement
US20020075202A1 (en) Optical display system and method with optical shifting of pixel position including conversion of pixel layout to form delta to stripe pattern by time base multiplexing
JP2010211036A (ja) 立体表示装置
US11087666B2 (en) 3D display substrate, 3D display device and display method
JP2007018012A (ja) 光ディスプレイシステム及び方法、複屈折を使用する能動及び受動ディザリング、カラーイメージ重ね合わせ、及び位相統合偏光スイッチを用いるディスプレイ強調
US10649279B2 (en) Display substrate, manufacturing method thereof, display panel, and display device
US9645401B2 (en) Image display device comprising beam splitter
JP5311498B6 (ja) ディスプレイ装置
CN117666313A (zh) 一种全息显示系统以及电子设备
JP2007304487A (ja) 液晶表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Lv Lu

Inventor after: Peng Fenglin

Inventor after: Maikel Sean Monier

Inventor after: Kevin James McKenzie

Inventor after: Lin Weishi

Inventor before: Lv Lu

Inventor before: Peng Fenglin

Inventor before: Maikel Sean Monier

Inventor before: Kevin James McKenzie

Inventor before: Lin Weishi

CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201127