CN108476311A - 基于眼睛追踪的动态显示校准 - Google Patents

基于眼睛追踪的动态显示校准 Download PDF

Info

Publication number
CN108476311A
CN108476311A CN201680077872.5A CN201680077872A CN108476311A CN 108476311 A CN108476311 A CN 108476311A CN 201680077872 A CN201680077872 A CN 201680077872A CN 108476311 A CN108476311 A CN 108476311A
Authority
CN
China
Prior art keywords
display
calibration
depth
image
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680077872.5A
Other languages
English (en)
Other versions
CN108476311B (zh
Inventor
I·L·约
L·E·埃德温
S·A·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202110382304.9A priority Critical patent/CN113489967A/zh
Publication of CN108476311A publication Critical patent/CN108476311A/zh
Application granted granted Critical
Publication of CN108476311B publication Critical patent/CN108476311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/506—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour produced by screens, monitors, displays or CRTs
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/029—Improving the quality of display appearance by monitoring one or more pixels in the display panel, e.g. by monitoring a fixed reference pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Eye Examination Apparatus (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Details Of Measuring Devices (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Image Processing (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Micro-Organisms Or Cultivation Processes Thereof (AREA)
  • Preparation Of Compounds By Using Micro-Organisms (AREA)
  • Peptides Or Proteins (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

公开了用于显示器的光场度量系统的示例。所述光场度量可以捕获投影光场的图像，并且使用所捕获的图像来确定光场的各个区域的焦深(或横向焦点位置)。然后可以将所确定的焦深(或横向位置)与预期焦深(或横向位置)进行比较，以量化显示器的缺陷。基于所测量的缺陷，可以对光场执行适当的误差校正以校正所测量的缺陷。所述显示器可以是头戴式显示器中的光学显示元件，例如能够产生多个深度平面的光学显示元件或光场显示器。

Description

基于眼睛追踪的动态显示校准
相关申请的交叉引用
本申请要求2015年11月4日提交的名称为“LIGHT FIELD DISPLAY METROLOGY(光场显示度量)”的美国申请No.62/250,925、2016年1月14日提交的名称为“LIGHT FIELDERROR CORRECTION(光场误差校正)”的美国申请No.62/278,779、2015年11月4日提交的名称为“AUTOMATED CALIBRATION IMAGE PROJECTION AND CAPTURE FOR DISPLAYCALIBRATION(用于显示器校准的自动校准图像投影及捕获)”的美国申请No.62/250,934、2016年1月14日提交的名称为“DYNAMIC CALIBRATION OF A DISPLAY BASED ON EYE-TRACKING(基于眼睛追踪的显示器的动态校准)”的美国申请No.62/278,824、以及2016年1月14日提交的名称为“CHROMATIC BALANCING A DISPLAY HAVING VARYING CHROMATICITYACROSS A FIELD OF VIEW(对横跨视场具有变化色度的显示器进行色度平衡)”的美国申请No.62/278,794的优先权，在此，其全部内容通过引用并入此文。
技术领域
本公开涉及虚拟现实和增强现实成像和可视化系统，更具体地涉及用于测量和校准成像和可视化系统的光学性质的度量系统。本公开还涉及基于眼睛追踪的虚拟现实和增强现实成像和可视化系统的动态校准。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中，数字再现的图像或其部分以它们看起来是真实的或感觉为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及以对其它实际的真实世界视觉输入不透明的方式呈现数字或虚拟图像信息；增强现实或“AR”场景通常涉及将数字或虚拟图像信息的呈现为对用户周围的现实世界的可视化的增强；或者混合现实“MR”涉及合并真实世界和虚拟世界，以产生物理对象和虚拟对象共存并实时交互的新环境。事实证明，人类视觉感知系统非常复杂，并且产生有助于在其它虚拟或现实世界的图像元素中舒适、自然、丰富地呈现虚拟图像元素的VR、AR或MR技术也极具挑战性。本文公开的系统和方法解决了与VR、AR和MR技术有关的各种挑战。
发明内容
成像系统的实施例包括用于将图像投影到观看者眼睛的投影设备，该图像包括表示来自虚拟对象的光的光场，其中该虚拟对象被配置为以如同位于一个或多个预期焦深的方式被投影，另外该实施例还包括用于测量光场中的缺陷的光场度量设备。光场度量设备可以被配置为捕获与光场的一部分对应的一个或多个图像，分析一个或多个所捕获图像以识别与光场的该部分对焦的深度对应的一个或多个感知焦深，至少部分地基于所识别的焦深来创建深度图(depth map)，并将所创建的深度图与一个或多个预期焦深进行比较。该系统可以生成对空间和/或色度缺陷的校准，该校准可用于动态校准可穿戴显示系统。
本说明书中描述的主题的一个或多个实施方式的细节在下面的附图和描述中进行阐述。根据描述、附图和权利要求，其它特征、方面和优点将变得显而易见。本发明内容和以下的具体实施方式都不旨在限定或限制本发明主题的范围。
附图说明
图1示出了具有由人观看到的具有某些虚拟现实对象和某些实际现实对象的增强现实场景的图示。
图2示意性示出了可穿戴显示系统的示例。
图3示意性示出了使用多个深度平面模拟三维图像的方法的各方面。
图4示意性示出了用于向用户输出图像信息的波导堆叠的示例。
图5示出了可以由波导输出的示例性出射光束。
图6是示出包括波导装置、将光光学耦合到波导装置或从波导装置光学耦合光的光耦合器子系统、以及控制子系统的光学系统的示意图，该光学系统用于产生多焦立体显示、图像或光场。
图7示出了当对校准图案进行投影时可能发生的示例性失真。
图8示出了为了可视化所显示的成像位置与期望图像位置之间的失真而产生的另一示例性矢量场。
图9A示出了示例性XY平移空间误差。
图9B示出了示例性聚合旋转空间误差。
图9C和9D示出了聚合缩放空间误差的示例。
图9E示出了已经执行XY平移、旋转和缩放的校正之后的剩余空间误差的示例。
图10A示出了旨在在不同深度处观看的多个深度平面的示例。
图10B至10E示出了在观看投影深度平面时可能发生的示例性平面外空间误差。
图11示出了投影测试图像的捕获图像。
图12A示出了可以从投影测试图像的所捕获图像生成的强度直方图。
图12B示出了从投影测试图像的所捕获图像生成的强度分布。
图13示出了例示众值(mode)、中值和均值之间的差异的示例性强度直方图。
图14A示出了从投影测试图像的所捕获图像生成的红-绿-蓝(RGB)强度图(intensity map)。
图14B示出了映射最大颜色不平衡误差的示例的图。
图15示出了色度校正之后具有红色层、绿色层和蓝色层的示例性显示的RGB强度图。
图16是对显示系统执行图像校正的处理的示例的流程图。
图17A和17B示出了用标准光场和缺陷光场观看到的对象的示例。
图18示意性示出了根据一些实施例的用于测量投影光场的焦深的光场度量系统的示例。
图19A是可以由在特定焦深上聚焦的相机捕获的图像的示例的图。
图19B和19C示出了深度图表和深度图的示例。
图20是用于测量由光场显示器生成的虚拟目标图案的质量的处理的示例的流程图。
图21是示出用于校准显示器的方法的示例的流程图。
图22示意性示出了使用校准图案校准显示器的系统的示例。
图23A示出了示例性棋盘校准图案。
图23B示出了示例性单像素校准图案。
图24是用于校准投影光场的示例性处理的流程图。
图25A是示意性示出了包括波导、耦入光学元件、光重新分布元件和耦出光学元件的显示器的示例的俯视图。
图25B是图7A所示的显示器沿轴A-A'的截面图。
图26示意性示出了用于显示器的动态校准系统的示例，校准能够被应用于该显示器以校正参考位置网格(由点表示)处的空间误差和/或色差。
图27示出了用于基于眼睛追踪来动态校准显示器的示例性方法的流程图。
图28是示意性示出了与特定显示器相关联的工厂校准系统和动态校准系统的交互的示例的处理流程图。
贯穿附图始终，参考编号可被重复使用以指示参考元素之间的对应关系。附图是为了例示本文所描述的示例性实施例而提供的，并不旨在限制本公开的范围。
具体实施方式
概述
为了使三维(3D)显示器产生真实的深度感，更具体地，模拟的表面深度感，期望显示器的视场中的每个点生成对应于其虚拟深度的适应响应(accommodative response)。如果对显示点的适应响应不对应于该点的虚拟深度(由会聚和立体视觉的双眼深度线索确定)，则人眼可能经历适应冲突，导致成像不稳定、有害的眼疲劳、头痛，以及在没有适应信息的情况下，表面深度的几乎完全缺乏。
VR和AR体验可以由具有显示器的显示系统提供，在所述显示器中，向观看者提供对应于多个深度平面的图像。对于每个深度平面，图像可以是不同的(例如，提供略微不同的场景或对象呈现)，并且可以由观看者的眼睛分别聚焦，从而有助于基于使位于不同深度平面上的不同场景图像特征聚焦所需的眼睛适应性和/或基于观察到位于不同深度平面上的不同图像特征失焦而为用户提供深度线索。如本文其它地方所讨论的，这样的深度线索提供了可靠的深度感知。
3D显示器
图1示出了由人观看到的具有某些虚拟现实对象和某些实际现实对象的增强现实场景的图示。图1示出了增强现实场景100，其中，AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台120为特征的真实世界公园状设置110。除了这些项之外，AR技术的用户还感知他“看到”站在真实世界平台120上的机器人雕像130，以及看起来是大黄蜂的化身的正在飞行的卡通式的化身角色，尽管这些元素在真实世界中不存在。
为了使三维(3-D)显示器产生真实的深度感，更具体地，模拟的表面深度感，期望显示器的视场中的每个点产生对应于其虚拟深度的适应响应。如果对显示点的适应响应不与该点的虚拟深度(由会聚和立体视觉的双眼深度线索确定)对应，则人眼可能经历适应冲突，导致成像不稳定、有害的眼疲劳、头痛，以及在没有适应信息的情况下，表面深度的几乎完全缺乏。
VR、AR和MR体验可以由具有显示器的显示系统提供，在所述显示器中，向观看者提供对应于多个深度平面的图像。对于每个深度平面，图像可以是不同的(例如，提供略微不同的场景或对象呈现)，并且可以由观看者的眼睛分别聚焦，从而有助于基于使位于不同深度平面上的不同场景图像特征聚焦所需的眼睛适应性和/或基于观察到位于不同深度平面上的不同图像特征失焦而为用户提供深度线索。如本文其它地方所讨论的，这样的深度线索提供了可靠的深度感知。
图2示出了可用于向显示系统穿戴者或观看者204呈现VR、AR或MR体验的可穿戴显示系统200的示例。显示系统200包括显示器208，以及支持显示器208的功能的各种机械和电子模块和系统。显示器208可耦接到框架212，框架212可由显示系统用户、穿戴者或观看者204穿戴，并且被配置为将显示器208定位在穿戴者204的眼睛的前方。显示器208可以是光场显示器。在一些实施例中，扬声器216耦接到框架212并且被定位在用户的耳道附近(在一些实施例中，未示出的另一扬声器被定位在用户的另一耳道附近以提供立体声/可塑形声音控制)。显示器208诸如通过有线引线或无线连接可操作地耦接220到本地数据处理模块224，该本地数据处理模块224可以以各种配置来安装，诸如固定地附接到框架212，固定地附接到用户所戴的头盔或帽子，嵌入耳机中，或以其它方式可移除地附接到用户204(例如，以背包式配置，以带子耦接式配置)。
本地处理和数据模块224可以包括硬件处理器以及诸如非易失性存储器(例如闪速存储器)的非暂时性数字存储器，两者都可用于辅助数据的处理、缓存以及存储。数据可以包括(a)从传感器(例如，可操作地耦接到框架212或以其它方式附接到用户204的传感器)捕获的数据，这些传感器诸如为图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备和/或陀螺仪；和/或(b)使用远程处理模块228和/或远程数据储存库232获取和/或处理的数据，该数据可能在这样的处理或取回之后传送到显示器208。本地处理和数据模块224可以通过通信链路236和/或240诸如经由有线或无线通信链路可操作地耦接到远程处理模块228和远程数据储存库232，使得这些远程模块228、232作为资源可用于本地处理和数据模块224。另外，远程处理模块228和远程数据储存库232可以可操作地彼此耦接。
在一些实施例中，远程处理模块228可以包括一个或多个处理器，所述一个或多个处理器被配置为分析并处理数据和/或图像信息，例如由图像捕获设备捕获的视频信息。视频数据可以被本地存储在本地处理和数据模块224中和/或远程数据储存库232中。在一些实施例中，远程数据储存库232可以包括数字数据存储设施，所述数字数据设施可以通过因特网或以“云”资源配置的其它网络配置而可用。在一些实施例中，在本地处理和数据模块224中存储所有数据并执行全部计算，从而允许从远程模块完全自主地使用。
人类视觉系统是复杂的，提供逼真的深度感知是具有挑战性的。不受理论的限制，据信对象的观看者可由于聚散度和适应性的组合而将对象感知为三维的。两只眼睛彼此相对的聚散运动(即，瞳孔朝向彼此或彼此远离的转动动作以使眼睛的视线会聚以注视对象)与眼睛晶状体的聚焦(或“适应性”)密切相关。在正常情况下，改变眼睛晶状体的焦点或使眼睛适应以将焦点从一个对象改变到位于不同距离处的另一对象，将会在被称为“适应性-聚散度反射(accommodation-vergence reflex)”的关系下自动使聚散度的匹配变化达到相同的距离。同样，在正常情况下，聚散度的变化将引发适应性的匹配变化。提供适应性与聚散度之间的更好匹配的显示系统可以形成更逼真或更舒适的三维图像模拟。
图3示出了使用多个深度平面模拟三维图像的方法的方面。参考图3，在z轴上距眼睛302和眼睛304的不同距离处的对象由眼睛302和眼睛304适应，以使得那些对象对焦(infocus)。眼睛302和眼睛304呈现特定的适应状态，以使沿着z轴的不同距离处的对象进入焦点。因此，可以说特定的适应状态与深度平面306中的特定一个深度平面相关联，该特定深度平面具有相关联的焦距，以使得当眼睛处于该深度平面的适应状态时，特定深度平面中的对象或对象的部分对焦。在一些实施例中，可以通过为眼睛302和304中的每一者提供图像的不同呈现来模拟三维图像，并且还可以通过提供与深度平面中每一个深度平面对应的图像的不同呈现来模拟三维图像。尽管为了清楚说明而示出为分离的，但应理解的是，例如，随着沿着z轴的距离增加，眼睛302和眼睛304的视场可以重叠。另外，虽然为了便于说明而示出为平坦的，但应理解的是，深度平面的轮廓可以在物理空间中是弯曲的，使得深度平面中的所有特征在特定的适应状态下与眼睛对焦。不受理论的限制，据信人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面对应的图像的不同呈现，可以实现感知深度的高度可信的模拟。
波导堆叠组件
图4示出了用于向用户输出图像信息的波导堆叠的示例。显示系统400包括可以用于采用多个波导420、422、424、426、428向眼睛410或大脑提供三维感知的波导堆叠或堆叠波导组件405。在一些实施例中，显示系统400可以对应于图2的系统200，其中图4更详细地示意性地示出了该系统200的一些部分。例如，在一些实施例中，波导组件405可以被集成到图2的显示器208中。
继续参考图4，波导组件405可以还包括位于波导之间的多个特征430、432、434、436。在一些实施例中，特征430、432、434、436可以是透镜。在一些实施例中，特征430、432、434、436可以不是透镜。而是它们可以是间隔物(例如，用于形成空气间隙的包层和/或结构)。
波导420、422、424、426、428和/或多个透镜430、432、434、436可以被配置为以各种级别的波前曲率或光线发散向眼睛发送图像信息。每个波导级别可以与特定的深度平面相关联，并且可以被配置为输出与该深度平面对应的图像信息。图像注入装置440、442、444、446、448可用于将图像信息注入到波导420、422、424、426、428中，其中的每个波导可以被配置为分配入射光穿过每个相应的波导，用于向眼睛410输出。光从图像注入装置440、442、444、446、448的输出表面出射并被注入到波导420、422、424、426、428的相应输入边缘。在一些实施例中，可以将单个光束(例如，准直光束)注入到每个波导中，以便以与特定波导相关联的深度平面对应的特定角度(和发散量)输出朝向眼睛410定向的克隆准直光束的整个视场。
在一些实施例中，图像注入装置440、442、444、446、442是分立的显示器，每个显示器产生用于分别注入到相应波导420、422、424、426、428中的图像信息。在一些其它实施例中，图像注入装置440、442、446、446、448是单个复用显示器的输出端，其可以例如经由一个或多个光导管(诸如，光纤线缆)向图像注入装置440、442、444、446、448中的每一个图像注入装置用管输送图像信息。
控制器450控制堆叠波导组件405和图像注入装置440、442、444、446、448的操作。在一些实施例中，控制器450包括调节图像信息到波导420、422、424、426、428的定时和提供的编程(例如，在非暂时性计算机可读介质中的指令)。在一些实施例中，控制器450可以是单个整体装置，或通过有线或无线通信通道连接的分布式系统。在一些实施例中，控制器450可以是处理模块224或228(图2所示)的部分。在一些实施例中，控制器可以与面向内的成像系统452(例如，数字相机)、面向外的成像系统454(例如，数字相机)和/或用户输入设备466通信。面向内的成像系统452(例如，数字相机)可以用于捕获眼睛410的图像，以例如确定眼睛410的瞳孔的大小和/或朝向。面向外的成像系统454可用于对世界456的一部分成像。用户可经由用户输入设备466将命令输入到控制器450以与显示系统400交互。
波导420、422、424、426、428可以被配置为通过全内反射(TIR)在每一个相应的波导内传播光。波导420、422、424、426、428可以各自是平面的或具有其它形状(例如，曲面的)，其具有顶部主表面和底部主表面以及在这些顶部主表面与底部主表面之间延伸的边缘。在所示的配置中，波导420、422、424、426、428可以各自包括光提取光学元件460、462、464、466、468，这些光提取光学元件被配置为通过将每一个相应波导内传播的光重定向到波导外而将光提取到波导外，以向眼睛410输出图像信息。所提取的光也可以被称为耦出光，并且光提取光学元件也可以被称为耦出光学元件。所提取的光束在波导中传播的光照射到光重定向元件的位置处被波导输出。光提取光学元件(460、462、464、466、468)可以例如是反射和/或衍射光学特征。虽然为了便于描述和清晰绘图起见而将其图示为设置在波导420、422、424、426、428的底部主表面处，但是在一些实施例中，光提取光学元件460、462、464、466、468可以设置在顶部和/或底部主表面处，和/或可以直接设置在波导420、422、424、426、428的体积中。在一些实施例中，光提取光学元件460、462、464、466、468可以形成在被附接到透明基板的材料层中以形成波导420、422、424、426、428。在一些其它实施例中，波导420、422、424、426、428可以是单片材料，并且光提取光学元件460、462、464、466、468可以形成在该片材料的表面上和/或该片材料的内部中。
继续参考图4，如在此所讨论的，每个波导420、422、424、426、428被配置为输出光以形成与特定深度平面对应的图像。例如，最接近眼睛的波导420可以被配置为将如注入到这种波导420中的准直光传送到眼睛410。准直光可以代表光学无限远焦平面。下一个上行波导422可以被配置为将穿过第一透镜430(例如，负透镜)的准直光在其可以到达眼睛410之前发送出。第一透镜430可以被配置为产生轻微凸面的波前曲率，使得眼睛/大脑将来自下一个上行波导422的光解释为来自第一焦平面，该第一焦平面从光学无限远处更靠近向内朝向眼睛410。类似地，第三上行波导424使其输出光在到达眼睛410之前穿过第一透镜430和第二透镜432。第一透镜430和第二透镜432的组合光焦度(optical power)可被配置为产生另一增量的波前曲率，以使得眼睛/大脑将来自第三波导424的光解释为来自第二焦平面，该第二焦平面从光学无穷远比来自下一个上行波导422的光更靠近向内朝向人。
其它波导层(例如，波导426、428)和透镜(例如，透镜434、436)被类似地配置，其中堆叠中的最高波导428通过它与眼睛之间的所有透镜发送其输出，用于代表最靠近人的焦平面的聚合焦度(aggregate focal power)。当在堆叠波导组件405的另一侧上观看/解释来自世界456的光时，为了补偿透镜430、432、434、436的堆叠，补偿透镜层438可以设置在堆叠的顶部处以补偿下面的透镜堆叠430、432、434、436的聚合焦度。这种配置提供了与可用波导/透镜配对一样多的感知焦平面。波导420、422、424、426、428的光提取光学元件460、462、464、466、468和透镜430、432、434、436的聚焦方面可以是静态的(例如，不是动态的或电活性的)。在一些替代实施例中，两者之一或两者都可以是使用电活性特征而动态的。
继续参考图4，光提取光学元件460、462、464、466、468可以被配置为将光重定向到它们相应的波导之外并且针对与该波导相关联的特定深度平面输出具有适当的发散量或准直量的该光。结果，具有不同相关联深度平面的波导可具有不同的光提取光学元件配置，这些光提取光学元件依赖于相关联的深度平面而输出具有不同发散量的光。在一些实施例中，如在此所讨论的，光提取光学元件460、462、464、466、468可以是体积或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件460、462、464、466、468可以是体积全息图、表面全息图和/或衍射光栅。在2015年6月25日公开的美国专利公开No.2015/0178939中描述了诸如衍射光栅的光提取光学元件，其全部内容通过引用并入此文。在一些实施例中，特征430、432、434、436可以不是透镜。相反，它们可以简单地是间隔物(例如，用于形成空气间隙的包层和/或结构)。
在一些实施例中，光提取光学元件460、462、464、466、468是形成衍射图案的衍射特征，或者说“衍射光学元件”(在此也称为“DOE”)。优选地，DOE具有相对较低的衍射效率，以使得光束的仅一部分光通过DOE的每一个交点而偏转向眼睛410，而其余部分经由全内反射而继续移动通过波导。携带图像信息的光因此被分成多个相关的出射光束，这些出射光束在多个位置处离开波导，并且结果对于在波导内反弹的该特定准直光束是朝向眼睛410的相当均匀图案的出射发射。
在一些实施例中，一个或多个DOE可以在它们活跃地衍射的“开”状态与它们不显著衍射的“关”状态之间可切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中微滴在主体介质中包含衍射图案，并且微滴的折射率可以被切换为基本上匹配主体材料的折射率(在这种情况下，图案不会明显地衍射入射光)，或者微滴可以被切换为与主体介质的折射率不匹配的折射率(在这种情况下，该图案活跃地衍射入射光)。
在一些实施例中，深度平面的数量和分布和/或景深可以基于观看者的眼睛的瞳孔大小和/或朝向而动态地改变。在一些实施例中，面向内的成像系统452(例如，数字相机)可用于捕获眼睛410的图像以确定眼睛410的瞳孔的大小和/或朝向。在一些实施例中，面向内的成像系统452可以附接到框架212(如图2中所示)并且可以与处理模块224和/或228电通信，处理模块224和/或228可以处理来自面向内的成像系统452的图像信息以确定例如用户204的眼睛的瞳孔直径和/或朝向。
在一些实施例中，面向内的成像系统452(例如，数字相机)可以观察用户的运动，诸如眼睛运动和面部运动。面向内的成像系统452可以用于捕获眼睛410的图像以确定眼睛410的瞳孔的大小和/或朝向。面向内的成像系统452可以用于获得图像，用于确定用户正在观看的方向(例如，眼睛姿态)或用于用户的生物识别(例如，经由虹膜识别)。可以分析由面向内的成像系统452获得的图像以确定用户的眼睛姿态和/或情绪，其可以被显示系统400使用以决定应该向用户呈现哪些音频或视觉内容。显示系统400也可以使用诸如惯性测量单元(IMU)、加速度计、陀螺仪等的传感器来确定头部姿态(例如，头部位置或头部朝向)。头部姿态可以单独被使用或与眼睛姿态组合地被使用以与干音轨交互和/或呈现音频内容。
在一些实施例中，可以为每只眼睛利用一个相机来分别确定每只眼睛的瞳孔大小和/或朝向，由此允许向每只眼睛呈现图像信息以动态地适合于该眼睛。在一些实施例中，可以为每只眼睛利用至少一个相机，以独立地分别确定每只眼睛的瞳孔大小和/或眼睛姿态，由此允许向每只眼睛呈现图像信息以动态地适合于该眼睛。在一些其它实施例中，仅单个眼睛410的瞳孔直径和/或朝向(例如，每双眼睛仅使用单个相机)被确定并被假定对于观看者204的双眼是类似的。
例如，景深可与观看者的瞳孔大小成反比地改变。因此，随着观看者眼睛瞳孔的大小减小，景深增加，以使得由于一个平面的位置超出了眼睛的焦点深度而不可辨别的该平面可能变得可辨别，并且随着瞳孔大小的减小和景深的相应增加而表现为更聚焦。类似地，用于向观看者呈现不同图像的间隔开的深度平面的数量可随着瞳孔大小的减小而减小。例如，观看者在不调整眼睛远离一个深度平面和到另一个深度平面的适应性的情况下，可能不能清楚地感知处于一个瞳孔大小的第一深度平面和第二深度平面的细节。然而，这两个深度平面可以在不改变适应性的情况下，对于处于另一瞳孔大小的用户同时充分地聚焦。
在一些实施例中，显示系统可以基于瞳孔大小和/或方位的确定或者基于指示特定的瞳孔大小和/或朝向的电信号的接收，改变接收图像信息的波导的数量。例如，如果用户的眼睛不能区分与两个波导相关联的两个深度平面，则控制器450可以被配置或编程为停止向这些波导中的一个提供图像信息。有利地，这可以减轻系统的处理负担，从而提高系统的响应性。在其中波导的DOE在“开”状态与“关”状态之间可切换的实施例中，当波导确实接收到图像信息时，DOE可被切换到“关”状态。
在一些实施例中，可能期望使出射光束满足直径小于观看者眼睛的直径的条件。然而，考虑到观看者的瞳孔大小的可变性，满足这种条件可能是具有挑战性的。在一些实施例中，通过响应于观看者的瞳孔大小的确定而改变出射光束的大小，该条件在宽范围的瞳孔大小上得到满足。例如，随着瞳孔大小减小，出射光束的大小也可以减小。在一些实施例中，可以使用可变光圈来改变出射光束大小。
显示系统400可以包括对世界456的一部分成像的面向外的成像系统454(例如，数字相机)。世界456的这部分可以被称为视场(FOV)，并且成像系统454有时被称为FOV相机。可供观看者204观看或成像的整个区域可以被称为能视场(field of regard(FOR))。FOR可以包括围绕显示系统400的立体角的4π球面度。在显示系统400的一些实施方式中，因为用户204可以移动他们的头部和眼睛以观看用户204周围(用户的前方、后方、上方、下方或者旁边)的对象，所以FOR可以包括显示系统400的位于用户周围的基本上全部立体角。从面向外的成像系统454获得的图像可以用于跟踪由用户做出的姿势(例如，手或手指姿势)，检测用户前方的世界456中的对象等等。
显示系统400可以包括用户输入设备466，用户可以通过该用户输入设备466向控制器450输入命令以与显示系统400交互。例如，用户输入设备466可以包括触控板、触摸屏、操纵杆、多自由度(DOF)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向板(D-pad)、棒(wand)、触觉(haptic)设备、图腾(例如，用作虚拟用户输入设备)等等。在一些情况下，用户可以使用手指(例如，拇指)在触敏输入设备上按压或滑动以向显示系统400提供输入(例如，向由显示系统400提供的用户界面提供用户输入)。用户输入设备466可在显示系统400的使用期间由用户的手保持。用户输入设备466可以与显示系统400进行有线或无线通信。
图5示出了由波导输出的出射光束的示例。示出了一个波导，但是应该理解，波导组件405中的其它波导可以类似地起作用，其中波导组件405包括多个波导。光505在波导420的输入边缘510处被注入到波导420中，并且通过TIR在波导420内传播。在光505照射在DOE 460上的点处，一部分光如出射光束515离开波导。出射光束515被示出为基本上平行，但是依赖于与波导420相关联的深度平面，出射光束515也可以以一角度(例如，形成发散的出射光束)被重定向以传播到眼睛410。应该理解，基本上平行的出射光束可以指示具有光提取光学元件的波导，所述光提取光学元件将光耦出以形成看起来被设置在距眼睛410较大距离(例如，光学无穷远)处的深度平面上的图像。其它波导或者其它光提取光学元件组可以输出更加发散的出射光束图案，这将需要眼睛410适应更近距离以将其聚焦在视网膜上并且将被大脑解释为来自比光学无穷远更接近眼睛410的距离的光。
图6示出了显示系统400的另一示例，其包括波导装置、将光光学耦合到波导装置或从波导装置光学耦合光的光耦合器子系统，以及控制子系统。显示系统400可以用于生成多焦点立体、图像或光场。显示系统400可以包括一个或多个主平面波导604(在图6中仅示出一个)以及与至少一些主波导604中的每一个主波导相关联的一个或多个DOE 608。平面波导604可以类似于参考图4讨论的波导420、422、424、426、428。光学系统可以使用分布波导装置沿着第一轴(图6的视图中的垂直轴或Y轴)中继光，并且沿着第一轴(例如，Y轴)扩展光的有效出射光瞳。分布波导装置可以例如包括分布平面波导612和与分布平面波导612相关联的至少一个DOE 616(由双点划线示出)。分布平面波导612在至少一些方面可以与主平面波导604相似或相同，但具有与其不同的朝向。同样地，至少一个DOE 616在至少一些方面可以与DOE 608相似或相同。例如，分布平面波导612和/或DOE 616可以分别由与主平面波导604和/或DOE 608相同的材料构成。图6中所示的光学系统可以集成到图2中所示的可穿戴显示系统200中。
中继的和出射光瞳扩展的光从分布波导装置被光学耦合到一个或多个主平面波导604中。主平面波导662沿着优选地与第一轴正交的第二轴(例如，图6的视图中的水平轴或X轴)中继光。值得注意的是，第二轴可以是与第一轴非正交的轴。主平面波导604沿着该第二轴(例如，X轴)扩展光的有效出射路径。例如，分布平面波导612可以沿着垂直轴或Y轴中继和扩展光，并且将该光传递到沿着水平轴或X轴中继和扩展光的主平面波导604。
显示系统400可以包括一个或多个彩色光源(例如，红色、绿色和蓝色激光)620，这些彩色光源可以被光学耦合到单模光纤624的近端中。可以穿过压电材料的中空管628来通过或接收光纤624的远端。该远端作为非固定的柔性悬臂632从管628突出。压电管628可以与四个象限电极(未示出)相关联。例如，电极可以被镀在管628的外侧、外表面或外周或外径上。芯电极(未示出)也位于管628的芯、中心、内周或内径中。
例如经由导线640被电学耦合的驱动电子器件636驱动相对的电极对独立地在两个轴上弯曲压电管628。光纤624的突出远端顶端具有机械共振模式。共振的频率可以取决于光纤624的直径、长度和材料特性。通过在光纤悬臂632的第一机械共振模式附近振动压电管628，使得光纤悬臂632振动，并且光纤悬臂632可以扫过大的偏转。
通过在两个轴上激发共振，光纤悬臂632的顶端在遍及二维(2-D)扫描的区域中被双轴扫描。通过与光纤悬臂632的扫描同步地调制一个或多个光源620的强度，从光纤悬臂632出射的光形成图像。美国专利公开No.2014/0003762中提供了这样的设置的描述，其全部内容通过引用并入此文。
光学耦合器子系统的部件644准直从扫描光纤悬臂632出射的光。准直光被镜面648反射到包含至少一个衍射光学元件(DOE)616的窄分布平面波导612中。该准直光通过全内反射沿分布平面波导612垂直地(相对于图6的视图)传播，并且与DOE 616反复相交。DOE616优选具有低衍射效率。这导致一部分(例如，10％)的光在与DOE 616的每个交点处被衍射朝向较大的主平面波导604的边缘，并且一部分光通过TIR在其原始轨迹上向下分布平面波导612的长度而继续。
在与DOE 616的每个交点处，附加光被衍射朝向主波导612的入口。通过将入射光分成多个耦出组，光的出射光瞳在分布平面波导612中由DOE 616垂直地扩展。从分布平面波导612耦出的该垂直扩展的光进入主平面波导604的边缘。
进入主波导604的光通过TIR沿着主波导604水平(相对于图6的视图)传播。由于光通过TIR沿着主波导604的至少一部分长度水平地传播，因此光在多个点处与DOE 608相交。DOE 608可以有利地被设计或构造成具有相轮廓(phase profile)，该相轮廓是线性衍射图案和径向对称衍射图案的总和，以产生光的偏转和聚焦。DOE 608可以有利地具有低衍射效率(例如，10％)，使得在DOE 608的每个交点光束的仅一部分光朝着观看的眼睛偏转，而其余的光经由TIR继续传播通过波导604。
在传播光与DOE 608之间的每个交点处，一部分光朝着主波导604的相邻面衍射，从而允许光脱离TIR，并且从主波导604的面出射。在一些实施例中，DOE 608的径向对称衍射图案另外向衍射光赋予聚焦水平，既整形单个光束的光波前(例如，赋予曲率)，也以与所设计的聚焦水平相匹配的角度将光束转向。
因此，这些不同的路径可以通过多个DOE 608以不同的角度、聚焦水平和/或在出射光瞳处产生不同的填充图案来使光被耦合出主平面波导604。出射光瞳处的不同填充图案可以有利地用于创建具有多个深度平面的光场显示。波导组件中的每一层或堆叠中的一组层(例如3层)可用于产生相应的颜色(例如，红色、蓝色、绿色)。因此，例如，可以采用第一组的三个相邻层在第一焦深处分别产生红光、蓝光和绿光。可以采用第二组的三个相邻层在第二焦深处分别产生红光、蓝光和绿光。可以采用多个组来产生具有各种焦深的全3D或4D彩色图像光场。
AR系统的其它组件
在许多实施方式中，AR系统除了可穿戴显示系统80(或光学系统100)之外还可以包括其它组件。AR设备例如可以包括一个或多个触觉设备或组件。一个或多个触觉设备或一个或多个组件可以可操作地向用户提供触感。例如，一个或多个触觉设备或一个或多个组件可以在触摸虚拟内容(例如，虚拟对象、虚拟工具、其它虚拟构造)时提供压力和/或纹理的触感。触感可以重现虚拟对象所代表的物理对象的感觉，或者可以重现虚拟内容所代表的想象对象或角色(例如龙)的感觉。在一些实施方式中，用户可以穿戴触觉设备或组件(例如，用户可穿戴的手套)。在一些实施方式中，触觉设备或组件可以由用户保持。
AR系统例如可以包括可由用户操纵的一个或多个物理对象以允许输入或与AR系统交互。这些物理对象在此被称为图腾。一些图腾可采取无生命对象的形式，例如金属片或塑料片、墙、桌子的表面。或者，一些图腾可以采取有生命对象的形式，例如用户的手部。如本文所述，图腾实际上可能不具有任何物理输入结构(例如键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以仅提供物理表面，并且AR系统可以呈现用户界面，以使用户看起来在图腾的一个或多个表面上。例如，AR系统可以使计算机键盘和触控板的图像呈现为看起来位于图腾的一个或多个表面上。例如，AR系统可以使虚拟计算机键盘和虚拟触控板呈现为看起来在用作图腾的矩形薄铝板的表面上。该矩形板本身没有任何物理键或触控板或传感器。然而，由于经由虚拟键盘和/或虚拟触控板进行选择或输入，因此AR系统可以借助该矩形板检测到用户操纵或交互或触摸。
在美国专利公开No.2015/0016777中描述了可与本公开的AR设备、HMD和显示系统一起使用的触觉设备和图腾的示例，其全部内容通过引用并入此文。
对显示系统执行误差校正的示例
如上所述，显示系统可以包括诸如图4至6所示的堆叠波导组件，该堆叠波导组件包括具有衍射光栅的多个基板材料显示层，以重定向产生照射到眼睛上的数字化光场的光。在一些实施例中，波导组件包括每深度每颜色一个基板层。例如，双深度平面RGB显示器可以具有总共6个波导层。显示系统可以是可穿戴显示系统80的实施例。
在堆叠波导组件中，存在可引入造成图像质量劣化的伪像的一系列潜在现象。这些现象包括重影(多个图像)、失真、错位(misalignment)(颜色或深度之间)以及整个视场中的颜色强度变化。另外，在其它类型的条件下可出现的某些类型的伪像，例如，当用激光而不是LED照射时(例如，出现散斑、条带、牛顿条纹)，或者当耦出光束的密度小于一定量时(例如，可以被感知为仿佛通过屏幕门或栅栏观看的波阵面稀疏)。
由于光场显示器的光学元件存在缺陷，渲染引擎(render engine)中的完美三维网格在通过光学元件显示时可能变得失真。为了识别和校正期望图像与实际显示图像之间的失真，可以使用显示系统投影校准图案，诸如棋盘图案。
图7示出了当显示系统投影校准图案702时可能出现的示例性失真。校准图案702可以是适合于执行空间校准或色度校准的任何类型的图案(例如，包括多个棋盘格的棋盘图案)。校准图案702可以包括任何类型的测试或校准图案，诸如几何图案或随意的随机图案。所投影的校准图案702导致生成光场图像704。图像704中存在的失真可以包括空间失真(例如，当可见像素不在视场内的期望位置上时)以及色度失真(例如，当可见像素的颜色值与期望值不同时)。例如，图案702的棋盘方格在图像704中可能从其期望位置偏移(例如空间误差)。另外，图像704中的一些棋盘方格可以以诸如紫色的其它颜色出现(例如色差)，而不是以黑白棋盘方格出现。可以使用光场度量系统来测量显示误差，该光场度量系统可以包括为了获取由显示器投影的校准图案的图像而定位的数字相机。在一些实施例中，可以捕获对应于偏移到不同位置的校准图像的多个图像，以便获得关于期望位置相对于实际位置的更精细的信息。数字相机可以被配置为聚焦在不同的焦深处，以便确定显示图像的不同区域(例如，所显示的校准图案上的特征)在什么深度处对焦。
下面结合图17至图20更详细地描述根据一些实施例的在不同焦深处捕获多个图像以确定所显示图像的不同区域的深度。下面结合图22至图24更详细地描述可用于各种实施例的不同类型的校准图案。
空间误差
空间误差可以包括若干种不同的表现形式。例如，空间错位包括显示层的平移或旋转。空间误差还可涉及在显示器的深度平面的视场(FOV)内变化的非线性空间失真。
空间误差可以是显示系统内机械缺陷或光学缺陷的症状。通过解释所测量的空间误差，可以推导出对系统的光机械质量进行量化并建议改进方法的度量。例如，表示深度平面旋转的空间误差可以表明显示器相对于所需位置机械地旋转。每色平面缩放可表明透镜系统的消色差不足。
为了识别空间误差，可以使用包括诸如数字相机的图像捕获装置的光场度量系统来捕获由显示系统投影的一个或多个图像(例如校准图案的投影)，并且产生表示实际显示图像与期望图像的偏差的矢量场。矢量场可以是三维矢量场，包括显示器的x-y平面中的平面内偏差和z方向(深度)上的平面外偏差，或者可以是二维矢量场，其只包括x-y平面中的偏差。在一些实施例中，可以针对显示系统的每个深度平面或每个颜色平面产生矢量场。在一些实施例中，可以以屈光度(表示以米为单位的层的焦距的倒数)来测量深度。
图8示出了可以根据映射投影光场中的点的期望位置与其实际显示位置之间的偏差的一个或多个捕获图像生成的矢量场的示例。投影光场中的点可以对应于校准图像中的特征(例如，校准棋盘方格的中心和拐角)。矢量场中的每个矢量表示光场中的期望位置与其对应的实际位置之间的失真。在此示例中，失真矢量场是2D场。在所示的矢量场中，使用第一颜色和标记类型标记特征的期望位置(例如，“O”802表示期望位置)，而使用第二颜色标记特征的实际显示位置(例如，“X”804表示检测到的位置)。每对对应的期望位置和显示位置通过线806连接，线806可以包括指示将检测到的显示位置校正为期望位置所需的校正的方向的箭头。
使用矢量场，可以提取局部或全局失真信息(例如，下述的平面内平移、聚合缩放、聚合旋转、平均像素扭曲(warp)或屈光度误差)。例如，可以根据所确定的矢量场生成失真图。失真图可以被用于分析所产生的矢量场内的像素位置误差值(例如矢量模)的分布。失真图可以是示出像素位置误差的频率的直方图(例如，绘制出像素位置误差模值相对于误差模值在矢量场中出现的频率的关系)。可以使用其它类型的图来分析矢量场的其它属性(例如失真方向)。
空间误差可以大致分为平面内空间误差和平面外空间误差。平面内空间误差是指沿着(在z轴上测量的)特定深度处的特定深度平面(例如，根据图6所示的坐标系的xy平面)的空间误差。矢量场(例如，如图8所示)可以被用于导出不同种类的空间误差的一个或多个度量。这些度量中的每一者可以基于每层来定义(例如，针对与颜色和深度的特定组合对应的每个单独的显示层(例如红色-3屈光度显示层、绿色-1屈光度显示层等))或基于每个显示来定义(例如，以简明的参数来量化显示的总体保真度)。
平面内空间误差
在一些实施例中，平面内空间误差可以被分成多个不同的分量，每个分量对应于不同类型的误差。这些分量可以包括平移误差、旋转误差、缩放误差或非线性空间误差。这些误差分量中的每一者都可以单独地或按顺序被校正。
平面内平移误差
图9A示出了示例性平面内(xy)平移空间误差(也被称为xy对中)。xy平移误差是指显示层的显示图像中心相对于其期望位置的x和/或y像素位移，并且旨在告知机械对准或显示对准。在图9A中，期望图像位置900(此示例中示出为红色矩形)被平移到显示图像位置900a(示出为具有非直线边缘的绿色形状)。xy平移误差可以通过识别显示图像900a的中心位置902和期望图像900的中心位置904，并且(沿着确定的平移矢量901)执行一个或多个位移来校正，以使得所显示的中心位置902与期望的中心位置904(通过显示器的机械对准、显示图像的软件校正或两者的组合)对准。用于所测量的xy平移空间误差的一个或多个度量可以包括基于每层测量的平移误差或按每个显示器测量的最大平移偏移(offset)，以量化总体平移配准，所述平移误差相对于期望位置或参考位置(例如，显示器的光轴)测量层中心，所述最大平移偏移指示任两个显示层之间的最大平移。
聚合旋转误差
图9B示出了示例性聚合旋转空间误差。聚合旋转是指显示图像相对于图像的期望位置绕其中心的总体旋转角度。虽然空间失真并不总是可以通过简单的仿射旋转来完全描述，但是可以使用聚合旋转测量来提供使像素位置误差(显示图像位置与期望图像位置之间的误差)最小化的旋转角度。聚合旋转度量旨在告知机械对准或显示对准。如图9B所示，可以通过绕中心点908将显示图像906旋转指定的旋转量907到达与期望位置对应的位置910(通过显示器的机械对准、通过所显示图像的软件校正或两者的组合)来校正聚合旋转。所报告的度量可以包括按每层测量的旋转误差以及按每显示器测量的最大旋转偏移，以量化总体旋转配准，所述旋转误差指示相对于期望朝向或参考朝向(例如，相对于显示器的水平轴)的测量朝向，所述最大旋转偏移指示任两个显示层之间的最大旋转误差。
聚合缩放误差
图9C示出了聚合缩放空间误差的示例。聚合缩放指示显示图像相对于期望图像绕其中心的总体缩放因子。虽然空间失真并不总是可以通过简单的仿射缩放来完全描述，但是聚合缩放测量可以指示使像素位置误差最小化的缩放因子。聚合缩放度量旨在告知光学设计或显示对准。如图9C所示，可以通过将显示图像912的大小缩放指定的缩放量913以匹配期望图像914的大小来校正聚合缩放空间误差。所报告的用于聚合缩放的度量可以包括按每层测量的缩放误差以及按每显示器测量的最大缩放偏移，以量化总体缩放配准，所述缩放误差相对于期望缩放或参考缩放(例如，参考校准设置中的物理目标)测量图像缩放，所述最大缩放偏移指示任两个显示层之间的最大缩放。
图9D示出了聚合缩放空间误差的另一示例。与期望图像918相比，显示图像916看起来更小。为了校正缩放误差，显示图像916按缩放量917被放大以匹配期望图像918的大小。
像素扭曲误差
图9E示出了已经执行xy平移、旋转和缩放的校正之后的剩余空间误差的示例。剩余误差(也被称为像素扭曲或空间映射)指示xy平移、旋转和缩放已经从总体空间失真曲线析出(例如，如图9A至图9D所示)之后的平均剩余欧几里德(Euclidean)像素位置误差，给出了显示系统的非线性或非仿射扭曲特性的度量，并且可用于告知显示设计和质量控制。所报告的用于像素扭曲的度量可以包括按每层测量的平均像素扭曲(MPW)以及按每显示器测量的最大平均像素扭曲(最大MPW)，以量化总体扭曲，所述平均像素扭曲指示参考理想网格而析出xy平移、旋转和缩放之后的平均剩余欧几里德像素位置误差，所述最大平均像素扭曲指示显示器的各层当中的MPW的最大值。在一些实施例中，可以通过使用处理模块(例如模块224或228)执行的空间映射以将显示图像920与期望图像922对准来校正剩余像素扭曲。
平面外空间误差
诸如图4至图6所示的数字光场显示系统能够产生看起来在距离观看者不同的深度处(在z方向上)的深度平面(参见例如图3)。在一些实施例中，深度平面对应于看上去放置在距观看者不同距离处的平面。如在光学中常见的，可以使用以屈光度(m-1)测量的距离倒数来表示不同的深度平面，而不参考深度平面距显示器的距离。例如，显示器可具有两个深度平面，其分别位于3屈光度(1/3米)和1屈光度(1米)的深度处。由于显示系统的缺陷，整个深度平面的屈光度分布可能不如期望的屈光度分布。例如，在一深度层上的显示图像的屈光度分布可能具有不正确的距离，或跨显示器的FOV变化的焦点。
平面外空间误差(也被称为屈光度误差)是深度平面的屈光度(深度)误差的度量，旨在告知光学、机械和波导对准或设计方面的误差。所报告的用于屈光度误差的度量可包括指示深度平面的期望深度与测量深度之间的误差量的按每层测量的屈光度误差，以及指示深度平面当中的最大深度误差的最大屈光度误差。
图10A示出了旨在从不同深度观看的多个深度平面的示例。在所示的示例中，示出了三个不同的深度平面，但是显示系统可以包含更多或更少的深度平面。另外，每个深度平面可以对应于多个波导层(例如，RGB颜色层)。
图10B至图10D示出了在观看图10A所示的投影深度平面时可能出现的平面外空间误差的类型的示例。例如，所投影的深度平面可移位到不同的深度，使得该深度平面出现在大于或小于期望深度的深度处(图10B)。深度平面可能未对准，因此深度平面呈现出相对于期望深度的体旋转(图10C)。深度平面可呈现出光栅缺陷的不均匀轮廓特征(图10D)。深度平面可呈现出图10B至图10D所示的误差的组合。
图10E示出了平面外空间误差的另一示例。所投影的深度平面1002未对准期望深度平面1004。在所示的示例中，未对准包括深度平面旋转。为了校正该平面外空间误差，可以识别旋转轴1006，并且对所投影的深度平面1002围绕所识别的旋转轴1006执行旋转，使得所投影的深度平面1002基本与期望深度平面1004对准。尽管旋转轴1006平行于期望深度平面1004的轴(例如，竖直轴)示出，但应该理解，旋转轴可以在任何方向上。
尽管屈光度误差不同于与平面内失真相关的平面内空间误差，但屈光度误差可以例如通过引入由于不正确的像素深度的假设导致的视点相关空间失真而潜在地影响平面内空间误差。例如，对于具有与所期望深度不同的深度的区域的缺陷深度平面，像素可相对于观看者位置非均匀地移位，引入变化的图像扭曲。
在一些实施例中，本文中针对平面内空间误差(例如xy对中、聚合缩放、聚合旋转和空间映射)所描述的误差校正技术可以扩展到三维。例如，可通过识别所显示的平面的中心点在xyz坐标系上的位置并且移动该平面(例如，沿x轴、y轴z轴)，以使得该中心点与期望位置对准，来在三维中执行对中。
基于失真矢量场的空间误差量化
如本文参考图8所描述的，可以通过测量图像特征从期望位置到显示位置的位移来产生多维(例如2D或3D)失真矢量场。可以针对多层显示器(例如，包括堆叠波导组件405的显示器)的每一层计算失真矢量场。失真矢量场可以用于捕获和表征由显示器投影的光场的失真。例如，可以对失真矢量场执行矢量分析操作以确定某些空间误差。光场度量系统可以针对由显示器投影的校准图案(例如棋盘)计算这样的矢量操作，作为对由度量相机(例如数字相机或光场相机)获得的图像的分析的一部分。这种矢量分析技术不限于光场显示器，且可以应用于任何类型显示器的任何多维度量或校准。
给定多维失真矢量场，可以计算矢量场的旋度以确定局部旋转。在显示器FOV中一区域内的旋度均值提供了对该区域内聚合旋转误差的度量。在光场显示器的离散深度平面实施方式中，失真矢量场的旋度的计算可以提供关于层的平面内旋转或平面外旋转的信息。
可以计算失真矢量场的散度以确定缩放误差。在具有用于在每个深度处产生全色图像的多个层(例如RGB颜色层)的实施方式中，此缩放误差可以用于提供关于缩放校准的信息。
可以将矢量积分定理(例如，斯托克(Stoke)定理或散度定理(高斯(Gauss)定理))应用于失真矢量场以计算显示器的FOV中一区域内的矢量场的旋度和散度(例如，以找到该区域的聚合旋转或聚合缩放)。可以计算失真矢量场中的矢量的欧几里德均值，以获得关于由失真引入的空间变换的非仿射性的信息。
色差的量化
当可见像素的颜色值与期望的颜色值不同时，出现色差。为了评估色差，可以使用显示系统来投影校准图像。校准图像可以是用于执行空间误差校正的相同校准图像，或者可以是不同的校准图像。例如，校准图像可以包括处于特定亮度级别(例如最大亮度)的特定颜色(例如红色)的立体图像。投影校准图像的输出可以使用图像捕获设备(例如一个或多个相机)而被捕获。图11示出了所投影的校准图像的捕获图像的示例。尽管校准图像可具有在整个图像中恒定的亮度级别，但由于存在色差，所显示的校准图像的亮度在显示器的整个视场内变化。例如，捕获图像的某些区域1102可以具有高亮度级别，而其它区域1104可以呈现出较低亮度级别，导致横跨显示器出现暗区或暗带。在一些实施例中，校准图像可以包括彩色校准图案而不是纯色校准图案。
在显示器的一些实施例中，所观察到的亮度拓扑可以取决于波长。例如，对于红色、绿色和蓝色，亮度变化可以不同，导致所投影的图像以不同于期望的颜色出现(指示红色、绿色和蓝色分量之间的不平衡)。例如，所投影的白色校准图像可能看起来是具有低于红色和蓝色的亮度级别的绿色亮度级别的紫色。另外，亮度变化也可以基于观看者的位置(例如，如果移动相机，则1102处的暗带可能看起来移到FOV中的不同位置)。这种现象可以导致在保持整个FOV的颜色均匀性和白平衡方面的挑战(尤其是当亮度或色度平衡可取决于观看者的位置时)，并最终影响正显示的内容的颜色准确性。
显示系统中的每个显示层与测量颜色的色度特性以及测量亮度或强度的亮度特性相关联。因此，色差可以大致分为亮度平坦度误差和色度均匀度误差。
亮度平坦度
可以使用亮度平坦度量度来量化单个显示层所显现的亮度变化的多少。通常，在堆叠波导组件中，由于由堆叠(请参见例如图4中的波导组件405)中的不同波导生成每个显示层，因此不同显示层可能在整个视场内具有不同的亮度变化。
为了测量显示层的亮度平坦度，可以针对一个或多个捕获图像的一些或全部像素确定亮度值(也被称为强度值)。尽管本公开主要涉及像素的亮度值，但是在其它实施方式中，可以针对包括多个像素的区域(例如像素的N×M网格)，而不是针对各个像素，来确定亮度值。在一些实施例中，每个确定的亮度值可以被分配给包括一个或多个亮度值的范围的亮度仓(luminance bin)。例如，对于8位彩色显示系统，可以使用对应于8位颜色的256个仓。
根据所确定的亮度值，度量系统可以计算多个亮度平坦度度量。例如，可以计算众值(mode)，所述众值指示整个显示场内最常见的像素亮度值。根据该众值，可以确定半像素群范围(half pixel population range，HPPR)，所述半像素群范围指示与覆盖像素群的50％的众值相邻的亮度范围或亮度仓数量。小HPPR指示在整个显示器内显示层的亮度基本均匀。亮度值也可以被称为强度值。为了本申请的目的，术语“亮度”和“强度”可以互换地使用。
图12A示出了可根据所投影的校准图像的捕获图像(例如，如图11所示)生成的强度直方图。该强度直方图绘制出亮度值与它们在捕获图像中出现的频率(例如，具有该亮度值的像素的数量)的关系。众值由图像中具有最高出现次数(例如，在位置1202处的)的亮度值指示。
图12B示出了根据所投影的校准图像的捕获图像生成的强度分布。在所示的强度分布图中，众值出现在亮度值1204处(在该示例中具有值236)。根据该众值，确定以覆盖图像的像素群的50％的众值1204为中心的偏差范围，该偏差范围被指示为亮度值1206与亮度值1208之间的范围。基于所计算出的偏差范围(例如亮度值1206与亮度值1208的差)来确定HPPR。
对于理想的显示层，强度值针对给定的输入照度在整个场内是均匀的(例如，HPPR＝0)。从该理想行为的偏离将表现为像素强度值远离众值的分布。HPPR测量试图根据众值将该分布测量(metrify)出来。基本均匀的亮度可以具有小HPPR，例如，与众值或可能的亮度值范围(例如，对于8位颜色为255)相比较小的HPPR。例如，基本均匀的(例如，平坦的)亮度显示可具有小于约10％、小于约5％、小于约1％或小于约0.1％的HPPR与总颜色范围的比率。
HPPR可以被认为是四分位差范围的变体，该四分位差范围根据中值而非众值将所述分布测量出来。像素强度值的中值可不具有与显示层的所需平坦强度响应的直接关系。图13示出了示例出众值、中值和均值(μ)之间的差异的示例性强度直方图1302、1304。在该示例中，两个分布1302、1304的中值是相同的。这两个分布1302、1304的标准偏差σ分别为0.8和2。如图13示意性示出的，如果图像的强度分布接近正态分布(例如，强度分布1302)，则众值、中值和均值可能全部非常相似。另一方面，如果强度分布不接近正态分布(例如，强度分布1304)，则强度分布的众值、中值和均值可能彼此显著不同。
对于显示器的每个显示层，亮度平坦化试图降低整个所显示的视场内的亮度变化。由于典型地像素的亮度强度不能增加到超过其最大值，因此亮度平坦化通常是总体亮度降低步骤，其中像素亮度以层特定分布被压缩，使得该层的亮度尽可能平坦。
例如，可以执行亮度平坦化，使得像素亮度在具有最低亮度值的像素的亮度值处具有最大值，将该显示层的亮度降低到基本上最小亮度。或者，像素亮度可以被配置为在大于具有最低亮度值的像素的亮度值的选定亮度值处具有最大值。这可能不会将总体亮度降低到最小，因为仍然可能存在亮度值低于选定值的像素，并且可能存在残余的亮度不均匀性。在一些实施例中，降低像素或像素组的亮度值包括识别出这样的值：像素或像素组的亮度值要被降低该值。在其它实施例中，降低像素或像素组的亮度值包括识别用于将像素或像素组的亮度值缩减为最小亮度值或阈值亮度值的缩放因子。
在一些实施例中，如果显示层的初始亮度平坦度良好(例如，HPPR低于阈值)，则亮度值可以被减小到最小值，以便提供平坦亮度场。另一方面，如果亮度平坦度差(例如，HPPR超过阈值)或者最小亮度值低(例如，未达到最小阈值)，则可以选择选定的最大亮度值。亮度平坦化可以在软件模块中(例如，在处理模块224、228中)执行。
当执行亮度平坦化时亮度降低到的级别对于每个显示层可以不同。然而，同一颜色簇(例如RGB层簇)中不同层的不同亮度级别可导致白平衡的损失，这可以通过校正显示器的色度均匀度来处理。
色度均匀度
色度通常是指显示器的与亮度无关的颜色分量。如上所述，显示系统中的显示层可以包括红色显示层、绿色显示层和蓝色显示层，但是应当理解，在其它实施方式中，可以使用其它数量、类型或颜色的显示层或显示层组合。在下面的示例中，为了说明的目的，将描述RGB颜色层，但这并非是对色度平衡方法(可以应用于任何显示颜色集)的限制。
如果相应的红色、绿色和蓝色显示层的亮度变化相同，则在整个显示器上保持色度。另一方面，如果相应的红色、绿色和蓝色显示层内的亮度变化不同，则显示图像的色度将与期望的不同。例如，对于白色校准图像，如果红色层和蓝色层的亮度高于绿色层，则白色校准图像的区域可能呈现紫色。这些相对于预期白色的偏差可以被称为失灰度(offgrayscale)。
色度均匀度度量可以用于捕获图像的失灰度程度。度量可以包括平均颜色误差，其指示红色、绿色和蓝色分别与红色、绿色和蓝色的相应均值的偏差在整个FOV内的均值。平均颜色误差越小，图像看起来越接近灰度。平均颜色误差可以通过除以平均颜色或除以可能的颜色的范围(例如，对于8位颜色的255)而被归一化为无量纲值。在各种实施方式中，如果平均颜色误差小于10％、小于5％、小于1％或某个其它阈值，则可以认为显示器已经实现了色度均匀度。
图14A示出了根据所投影的测试图像的捕获图像生成的红-绿-蓝(RGB)强度图的示例。红色层1402和蓝色层1404具有彼此大致相似的亮度，并且红色层1402和蓝色层1404都具有比绿色层1406高得多的亮度。结果，白色测试图像的投影将具有看起来为紫色(红色加蓝色，例如参见图11B)的区域。
图14B示出了映射最大颜色不平衡误差的图1408。平均亮度1410可以被确定为红色层、绿色层和蓝色层的平均亮度值。“均值+最大误差”表面1412指示红色层、绿色层和蓝色层的最大亮度值，而“均值-最大误差”表面1414指示红色层、绿色层和蓝色层的最小亮度值。
图15示出了具有如图14A所示在所显示的视场内具有不同强度的红色层、绿色层和蓝色层的显示系统在色度校正之后的RGB强度图。如下文所述并且在绘图1500中示出的，在此示例中，最大R和B亮度值在显示器的大部分区域中已经降低到较低G亮度值的级别，以提供色度均匀度。
如图14A所示，在颜色校正之前，红色层和蓝色层的亮度在FOV的大部分内比绿色层的亮度高得多，这可导致白色校准图像的捕获图像的大区域看起来为紫色。在此示例中的颜色校正期间，对于深度平面的每个点，识别与该深度平面相关联的颜色层(例如红色、绿色和蓝色)的最低亮度值，并将每个颜色层的亮度值设定到此点的最低亮度值。例如，如图15所示，将红色层1502和蓝色层1504的颜色亮度降低到与绿色层1506的颜色亮度匹配(例如，比较图14A的RGB强度图与图15的RGB强度图)。结果，红色和蓝色层的亮度被校正，使得它们与绿色层的强度匹配，从而减小投影图像的失灰度量。
图像校正处理
图像校准是指与先前定义的图像质量度量(参见例如参考图7至图15的描述)相关的显示设备的表征。图像校正是指为了改善图像质量而采取的校正措施。图像质量度量告知试图改善或优化显示设备图像质量度量所采取的校正措施。因此，图像校正与每个图像质量度量紧密相关。
图16是用于对显示系统执行图像校正的处理1600的示例的流程图。在框1602处，校准用于捕获投影图像的相机(例如，下面描述的度量系统1800的相机1806)。相机校准包括对相机捕获和表示实际视觉/显示信息的精确度的表征。为了确保来自捕获图像的任何所测量的度量均是由于显示系统，而不是来自与相机相关联的误差，应在尝试图像校正之前对用于图像校正的相机进行完全校准。
在一些实施例中，相机校准包括执行平场校正(例如，确保相机的强度响应在其整个FOV内是均匀的)、透镜失真校正(例如，识别并补偿透镜失真)或像素缩放(例如，识别相机图像捕获上的像素大小与显示系统的像素大小之间的关系)中的至少一者。在一些实施方式中，可以应用显示器到相机像素映射来执行显示器像素值与相机像素值之间的转换。显示器到相机像素映射可以基于：第一全局非线性伽马(gamma)函数，其将显示颜色像素值映射到第一中间颜色空间；局部像素依赖的耦合函数，其将第一中间颜色空间映射到第二中间颜色空间；以及第二全局非线性伽马函数，其将第二中间颜色空间映射到相机颜色空间中的像素强度。以下参照图21描述示例性显示器到相机像素映射的细节。
在框1604处，可以对显示系统执行空间误差校正。空间误差校正可以包括使用校准后的相机捕获所投影的光场的一个或多个图像，该校准后的相机可用于生成显示图像位置与期望图像位置之间的失真的矢量场。在一些实施例中，针对每个显示层生成单独的矢量场。使用所生成的矢量场，可以执行一个或多个空间校正，此校正可以包括XY对中(框1604a)、聚合旋转(框1604b)、聚合缩放(1604c)或空间映射(框1604d)。在一些实施例中，这些校正中的每一者都基于每层执行。
XY对中可以涉及显示层的显示图像的中心相对于期望图像位置的平移空间误差。执行XY对中可以包括识别显示图像的中心点，并且沿确定的平移矢量移位图像，使得中心点对应于期望中心位置。参照图9A描述了XY对中校正的示例。
聚合旋转可以涉及显示图像与期望位置之间的总体旋转误差。执行聚合旋转可以包括识别显示图像的中心点，以及将图像绕所识别的中心点旋转制定的旋转量(例如，旋转到相对于期望图像位置的像素位置误差最小的位置)。参照图9B描述了聚合旋转校正的示例。
聚合缩放可以涉及显示图像与期望图像之间的总体缩放误差。执行聚合缩放可以包括识别显示图像的中心点，以及绕所识别的中心点以指定的因子(例如，相对于期望图像位置的像素位置误差最小的因子)来缩放图像。参考图9C和图9D描述了聚合缩放的示例。
尽管可以使用xy对中、聚合旋转和聚合缩放来校正线性或仿射空间误差，但显示层的显示图像还可以包含另外的非线性或非仿射空间误差。可以执行空间映射以校正在已执行XY对中、聚合旋转和聚合缩放校正之后剩余的任何剩余误差(例如非线性或非仿射误差)。空间映射也可以被称为像素扭曲，并且参照图9E描述了示例。
在一些实施例中，可以将空间误差分离成平面内空间误差和平面外空间误差(有时被称为屈光度误差)。例如，显示层可以在针对平面外空间误差进行校正之前首先针对平面内空间误差进行校正，反之亦然。或者，平面内空间误差和平面外空间误差可以一起被校正。
在框1606处，可以对显示系统执行颜色误差校正。颜色误差校正可以包括亮度平坦化(框1606a)或色度平衡化(框1606b)。在一些实施例中，亮度平坦化基于每层执行，而色度平衡化基于每颜色簇(例如，每RGB簇)执行。
亮度平坦化可以涉及降低整个显示层的亮度变化。在一些实施例中，亮度平坦化包括将所显示的FOV中的全部像素的亮度降低到最小亮度值。或者，使所显示的FOV中的具有大于最大值或阈值的亮度的所有像素的亮度降低到最大值/阈值，而具有小于最大值/阈值的亮度的像素可保持不变。在一些实施例中，可基于亮度与阈值亮度值之间的距离来缩放亮度值。参照图12A和图12B描述了亮度平坦化的示例。
色度平衡化可以包括减少由颜色簇(例如RGB簇)中的不同颜色层之间的强度失配引起的失灰度效应。可以通过降低深度平面中的每个位置处的颜色层的亮度来执行色度平衡化以匹配在此位置处该颜色簇中的具有最低亮度的颜色层的亮度。例如，对于FOV中的每个像素，每个位置处红色层、绿色层和蓝色层的亮度都设定到这三个颜色层在该位置处的最低值。在一些实施例中，高于阈值亮度值的亮度被降低到阈值亮度值，或者降低到该颜色簇在该位置处的最小亮度值，取其中较大者。在一些实施例中，可以基于亮度与阈值亮度值之间的差距来缩放亮度。参照图14A至图15描述了色度平衡化的示例。
在一些实施方式中，在制造过程期间针对每个显示系统执行图像校准(以量化图像质量度量)。与图像质量度量相关联的信息和可以用于改善或优化显示系统的校正可以被存储在与显示系统相关联的非暂时性存储器(例如，数据模块224或数据储存库232)中。在显示系统的使用期间，图像校正信息可应用于显示器以执行适当的校正，从而向显示系统的用户提供减少或消除了显示器中的图像误差的改善的或优化的图像。例如，本地处理模块224或远程处理模块228可以使用图像校正信息来实时地向用户提供改善的图像。下面，参照图27和图28描述示例性校准处理的细节。
深度平面度量的示例
此处描述的显示系统的实施例能够生成光场(参见例如参照图1至图6的描述)。因此，就像与显示器的穿戴者相距一定距离的真实(物理)对象会产生照射到眼睛上的光场一样，放置在特定深度处的虚拟对象将创建(数字化)光场，该光场将使虚拟对象看起来在预期深度处对焦。这可以实现聚散度-适应性匹配和更令人信服的混合现实显示。
即使内容创建者可能因为所生成的光场的缺陷(例如，因为波导组件405的波导中的缺陷)而在渲染引擎中将虚拟对象放置在距离观看者的特定深度处，虚拟对象也可能看起来在与预期深度不同的深度处对焦。这可导致聚散度-适应性失配。在一些情况下，虚拟对象的不同部分看起来在不同深度处对焦。这些深度失配可对应于某类型的平面外空间误差，诸如图10A至图10E中所示的那些。
因此，本公开描述了可以度量由显示器生成的光场的质量的度量系统的示例。一些这样的度量系统可以映射由显示器生成的光场的拓扑及质量，并且可以提供导致对由显示器生成的光场的质量的评估的信息。一些这样的度量系统可以捕获由显示器生成的矢量光场(例如方向和幅度)并且允许分析显示器中的焦点和深度缺陷。已经开发了用于光场显示器的空间和色度校准技术，这些技术利用由此处描述的度量系统产生的信息。尽管此处描述的度量系统的实施例对光场显示器(例如显示系统80、100的实施例)具有特定的应用，但这不是限制，并且可以使用其它度量系统实施例度量来自任何类型的显示器的光。度量系统的实施例可以用于确定3D失真场，该3D失真场可以用于导出对显示器有用的空间校准信息。该度量系统也可以用于双眼校准和单眼RGB与深度平面间校准。
图17A示出了由具有正常光场的眼睛304观看的对象1702的示例。对象1702可以对应于真实对象或借助基本没有缺陷的光场生成的虚拟对象。与对象1702上的点相关联的光线1706看起来从单个点发散，导致对象1702的点看起来在距眼睛304的距离1708处对焦。
图17B示出了借助缺陷光场观看的对象1710的示例。对象1710可对应于虚拟对象，诸如使用显示系统(例如，如图4和图6所示的显示系统400)生成的虚拟对象。由于所产生的光场中的缺陷，例如由于波导420、422、424、426、428、604中的缺陷，因此旨在与对象1710上的特定点对应的光线1712可能呈现为从不同的点发散，或者呈现出否则与预期不同的散度。结果，对象1710可能看起来在距离1708处失焦。另外，对象1710的不同部分可能看起来在不同的深度或距离处对焦。
度量系统可以用于度量由显示器生成的光场的质量。图18示出了用于度量显示器1802的光场质量的度量系统1800的示例。显示器1802生成具有定向到相机1806的光线1804的光场。显示设备1802可对应于堆叠波导组件(例如，如图4所示的堆叠波导组件405)。虽然光线1804被示为基本平行，但这是为了说明，光线1804可以在不同方向上投影(例如，发散)，以便传达在光场表示的一个或多个虚拟对象的不同深度。另外，由于显示器1802中的缺陷，光线1804可能不平行(例如，参见图17B)。
在一些实施例中，相机1806可以用于捕获所生成的光场的至少一部分，以便测量例如在光场中表示的虚拟对象的感知深度。相机1806可以被配置为在特定深度或距离(在下文中也被称为“焦深”)处聚焦。在一些实施例中，这可以使用具有小焦深(DOF)的透镜来完成。例如，DOF可小于这样的Z距离(例如，小于图19C所示的深度图1924的峰值与预期焦深1922之间的距离)，超过此Z距离，显示器中的缺陷通常导致焦深离开期望焦深。在其它示例中，DOF可以小于一个因子乘以相机与显示器之间的距离，其中该因子可以小于约0.1、小于约0.01、小于约0.001等。相机1806可以被配置为捕获光场的特定部分或整个光场。相机1806可以被配置为捕获与要使用光场显示的特定虚拟对象相关联的光场的一部分。相机1806可以被定位为使得其能够捕获与眼睛304可感知的图像基本类似的图像。相机1806和显示器1802可以是相对于彼此可移动的，以绘制出(map out)光场。例如，相对移动可以平行于显示器1802(例如，在图18所示的X方向上或者在垂直于X和Z的Y方向(未示出)上)或者垂直于显示器1802(例如，在图18所示的Z方向上)。在其它实施方式中，可以使用扫描光学元件(未示出)相对地扫描相机1806和显示器1802。在一些实施例中，相机1806可以用于捕获所生成的光场的部分以便确定失真图(诸如图8所示)，该失真图可以用于识别投影图像中的空间误差(例如，如图9A至图9E所示的平面内空间误差或如图10A至图10E所示的平面外空间误差)。另外，相机1806可用于识别所生成的光场中的亮度误差或色差(例如，如图11至图15所示)
在一些实施例中，相机1806可移动以在不同的方向上取向。例如，尽管相机1806被示出为正交地面向显示器1802，但是相机1806也可以被旋转(例如，沿着Y旋转轴或X旋转轴)，使得其面向相对于显示器1802的不同角度，允许相机1806以不同的方向或取向测量由显示器1802生成的光场。
在各种实施例中，相机1806可以是数字相机，例如短焦数字相机。在其它实施例中，相机1806可以是光场相机。
相机1806可以连接到控制器1808，控制器1808可用于控制相机1806的焦深、相机1806的视场、曝光时间、相机1806与显示器1802的相对移动等。在一些实施例中，控制器1808可以对应于图4所示的控制器450。控制器1808可以包括硬件处理器和非暂时性数据存储器。
图19A是可以由在特定焦深上聚焦的相机(例如相机1806)捕获的图像1900的示例的图。图像1900可以包含一个或多个对焦区域1902以及一个或多个失焦区域904。由于相机1806可以被配置为在不同的焦深处聚焦，因此对焦或失焦的图像区域可以改变。例如，如果相机被更改为在不同的焦深处聚焦，则区域1902可能看起来失焦，而区域1904的部分可能变为对焦。通过在多个不同的焦深处捕获光场的多个图像，可以确定光场的各个区域的感知深度。例如，由相机捕获的图像的每个像素可以与特定焦深相关联，该特定焦深对应于光场的与像素对应的部分对焦时的焦深。可以构建将所生成的光场的各区域与其感知深度进行映射的深度图或深度图表。另外，深度图或深度图表还可以指定预期由显示器投影的焦深，从而允许在光场中显示的虚拟对象的预期焦深与实际测量焦深之间进行比较。
图19B示意性示出了可以由度量系统1800的实施例执行的焦深测量的深度图表。图表1910绘制了所产生的光场沿着横跨从显示器1802发射的光场的线(例如，沿着如图18所示的光场的水平X轴)的测量焦深1912。在一些实施例中，图表1910可以通过跨多个不同的焦深扫描相机1806的焦深来生成。例如，相机1806可以在焦深1914(由水平虚线示出)处聚焦。在完美的显示中，由显示器产生的光场会使得虚拟对象的实际测量深度恰好为预期深度，但在实际显示中，由于显示器中的缺陷，实际测量深度与预期深度可能会有不同。因此，具有接近焦深1914的测量焦深的光场的任何区域(例如区域1916)可被感知为基本对焦，而具有与焦深1914明显不同的测量焦深的光场区域(例如区域1918)可被感知为失焦。
图19C示出了可以基于一个或多个捕获图像生成的深度图的示例。深度图1920包含预期深度位置1922以及测量深度图1924，在预期深度位置1922处(图19C示出为水平面)，由显示器1802生成的图像应该对焦，测量深度图1924示出了图像实际对焦的焦深(Z)。预期焦深1922与测量焦深1924之间的比较允许由显示器1802产生的光场的缺陷被识别出并且在显示器的整个视场(FOV)中被量化。
例如，如果应该在水平位置(X0，Y0)处聚焦的光的预期焦深为Z0，并且在该位置处的测量焦深为Z，则(Z-Z0)是显示器在位置(X0，Y0)处的聚焦缺陷的度量。在一些实施方式中，可以测量发生光线聚焦的实际水平位置(X，Y)。在一些这样的实施方式中，可以使用实际焦点位置相对于预期焦点位置的矢量度量(X，Y，Z)-(X0，Y0，Z0)来表征由显示器生成的光场中的缺陷。显示器缺陷的这种矢量度量提供了平面内和平面外(例如屈光度)误差的3D表示。在一些实施例中，使用2D矢量误差度量(X，Y)-(X0，Y0)来仅度量(并校准)平面内误差。在一些情况下，可以针对显示器逐像素地确定聚焦误差。然而，由于许多显示器中的像素数量很大(例如数百万像素)，因此可能仅针对显示器的一些部分或针对取样显示器的像素组(例如，整个显示器的10x10或100x100样本)来确定聚焦误差数据。棋盘图案不需要是方形的，并且可以被设计为符合显示器的像素结构。
图20是用于度量使用光场显示器生成的虚拟目标图案的质量的处理2001的示例的流程图。处理2001可以由度量系统1800执行，例如由控制器1808执行。在一些实施方式中，虚拟目标图案是具有交替的明暗区域阵列的棋盘图案。棋盘图案可用于对显示器的部分(例如，10×10或100×100，或其它尺寸棋盘)进行取样，或者其可以具有与显示器的每个维度中的像素数量对应的尺寸。在其它情况下，可以通过依次接通和关断一个(或多个)像素的组并获取接通的像素的图像来获取逐像素数据。棋盘图案(或接通/关断像素的顺序)可以包括亮区和暗区的随意的随机序列，或亮区和暗区的几何图案，或任何其它类型的校准图案。下面参考图22至图23B描述棋盘图案和像素接通-关断序列的示例。在框2002处，可设定初始焦深。在一些实施例中，这可以包括在相机上配置焦深透镜。初始焦深可对应于以虚拟目标图案表示的任何深度。例如，初始深度可对应于与虚拟目标图案相关联的最小或最大深度。
在框2004处，在选定焦深处捕获虚拟目标图案的图像。在一些实施例中，图像可以包括对焦的部分和失焦的部分。在一些实施例中，图像的范围可以聚焦于与虚拟目标图案相关联的特定虚拟对象上。在其它实施例中，图像可以对应于包括多个虚拟对象的整个光场。该图像可以包括在整个虚拟目标图案内的逐个像素的焦深信息。
在框2006处，确定是否存在应为其拍摄图像的另外的焦深。如果确定存在另外的焦深，则在框2008处，可选择新的焦深。在一些实施例中，焦深的数量可以至少部分地基于可以由显示系统显示的不同深度的数量(例如，图3所示的深度平面306的数量或图4所示的波导组件中的波导数量)。在一些实施例中，如果图像聚焦在特定虚拟对象上，则焦深的范围可以基于与该虚拟对象相关联的一个或多个深度(例如，与该虚拟对象相关联的最小深度和最大深度)。
如果确定不存在应为其拍摄图像的更多焦深，则在方框2010处，可以分析虚拟目标图案的捕获图像，以便识别目标图案的不同区域实际上对焦的深度Z或横向位置(X，Y)。例如，对应于特定焦深的虚拟目标图案的每个捕获图像可以包含对焦的部分和失焦的部分。在一些实施例中，每个图像可以被分成与光场的区域对应的一个或多个区域。自动对焦技术可用于确定每个区域在哪些深度处对焦。在一些实施例中，每个区域可以对应于像素。
在框2012处，可以至少部分地基于所测量的焦深(或横向位置)来创建深度图。深度图可以包括将光场位置与焦深进行映射的任何类型的数据结构或可视化(visualization)。例如，深度图可以包括捕获图像的一个或多个像素的深度信息(例如，Z轴焦深、或与横向焦点位置(X和/或Y位置)的度量相结合的Z轴焦深)。在一些实施例中，像素可对应于与目标虚拟对象相关联的像素云。因此，深度图可以指定通过显示光学元件看到的虚拟对象的实际感知深度。
在框2014处，可以将深度图与一个或多个所需焦深进行比较，其中所需焦深对应于预期显示一个或多个虚拟对象的深度。通过检查虚拟对象的实际感知深度与该虚拟对象的预期呈现的焦深之间的差异，可以识别光场中的缺陷和/或偏差。
在框2006处，可以至少部分地基于深度图与所需焦深之间的比较来执行误差校正。误差校正可以补偿光场显示器中的缺陷或从显示器投影的图像内容中的缺陷。
可以针对光场显示器的波导组件405中的每个波导重复处理2001以映射每个波导的缺陷。在一些情况下，可以存在对应于多个深度平面的多个波导以及对应于多种颜色(例如红色(R)、绿色(G)和蓝色(B))的多个波导。例如，对于一些显示器，每个深度平面有三个颜色平面，因此具有两个深度平面的波导组件可以具有2x3＝6个波导。相机1806可以是对多种颜色敏感的相机或相机的组合，该组合中的每个相机对颜色子集敏感。由度量系统1800获得的焦深信息可以用于确定聚焦误差的空间分布以及显示器的色度(颜色)缺陷的分布。
在一些实施例中，可以使用光场相机来捕获由显示器1802生成的光场，而不是在多个不同的焦深处捕获多个图像(例如，使用具有扫描焦点的数字相机)。可以分析所捕获的光场的聚焦和/或深度缺陷。通过分析所捕获的光场中的光线的矢量，可以确定各个区域的焦深。然后可以将所识别的焦深与一个或多个预期焦深进行比较，并且可以执行适当的误差校正(如在框2016中)。例如，实际焦点位置(X，Y，Z)相对于预期焦点位置(X0，Y0，Z0)的矢量度量可以被确定为：矢量误差＝(X，Y，Z)-(X0，Y0，Z0)，并且可用于表征由显示器生成的光场中的缺陷。
用于使显示器色度平衡的示例方法
如上所述，全色显示器的一些实施方式通过组合从显示器投影的光的红色(R)、绿色(G)和蓝色(B)波长来在观看者的视网膜上产生三重刺激响应。理想的显示器对于这三个颜色层具有空间均匀亮度；然而，由于硬件缺陷，实际显示器的整个视场中的亮度可能会有一定量的变化。如果这种变化对于不同的颜色层不同，则其在显示器的整个视场(FOV)内产生色度不均匀(例如，如图11所示)。本公开描述了用于校正色度变化并且试图使整个FOV内的色度均匀的方法的示例。例如，可以调整显示器的相应颜色层(例如，R、G和B)的强度，使得显示器的白点在整个FOV内基本均匀。
在一些实施方式中，可以使用本文所述的光场度量系统表征显示器的颜色平衡。例如，数字彩色相机可以针对显示器的部分或全部像素拍摄显示器的图像(例如，使用如图18所示的度量系统1800)，根据所述图像可以确定显示器的色度响应。在许多显示器中，存在三个颜色层(例如，R、G以及B)，然而，本方法不限于RGB或3色显示器。本方法可以应用于任何数量的颜色层(例如2、3、4、5、6或更多)以及任何颜色选择(例如青色、品红色、黄色、黑色)。
图14A(在色度校准之前)和图15(在色度校准之后)示出了用于RGB显示器的特定实施方式的度量的颜色平衡的示例。图14A和15包括在整个显示器的像素(水平轴)内的R、G以B强度(垂直轴)分布的绘图(分别为1400、1500)。图14B包括显示器的像素(水平轴)的最大颜色不平衡(垂直轴)的绘图1408，其示出了颜色校正之前的均值和均值加上或减去最大误差。
如上所述，图14A示出未校准的显示器在整个显示器的像素内具有相当大的色度不均匀。红色和蓝色响应大致相同，其中R和B强度朝向绘图1400的右侧峰化。绿色响应通常小于R或B响应，并且朝向绘图1400的右侧减小。图15示出了在应用下面将要描述的色度校准之后，校准后的显示器在整个显示器的像素内具有更均匀的色度响应。
本文所述的色度平衡系统和方法的实施例提供用于调整多色显示器中的至少一些颜色层的强度的技术，使得显示器的白点在显示器的整个FOV内基本均匀。在各种实施方式中，显示器可以是光场显示器。例如，显示器可以具有在多个深度平面处向观看者呈现彩色图像的能力。色度平衡系统和方法的实施例可以应用于实现显示器208(图2)、显示系统400(图4至图6)以及显示器2500(图25A、图25B、图26)的色度平衡。
人眼不以线性方式感知光级别。例如，与理想的线性显示器相比，人眼对深色调变化的敏感度大于对浅色调的类似变化的敏感度，这允许人类视觉系统在宽范围的亮度级别内工作。真实世界的显示器也可能不能提供精确地线性的亮度响应。此外，数字图像经常被编码以表示在感知上更均匀的色调级别。通常将人类视觉感知、显示输出和图像编码建模为遵循关于亮度或颜色级的近似幂律关系。例如，输出电平与升高到幂伽马的输入电平成比例：这种非线性幂律行为通常被称为伽马校正、伽马编码或简称为伽马。
在某些实施例中，如果显示器中的相应颜色层的亮度平坦度在显示器的整个FOV内几乎均匀，则色度平衡可以包括缩放相应颜色层的强度以在整个显示器上实现均匀的色度平衡。在各种实施例中，如果显示器的整个FOV内的亮度变化小于1％，小于5％，小于10％，则显示器可具有合适的亮度平坦度。由于显示器的伽马响应和人类视觉感知，这种简单的缩放在一些情况下可能具有某些缺点。
如果显示器的颜色层不具有明显的亮度平坦度，则色度平衡可能不仅仅包括缩放相应颜色层的强度。例如，色度平衡可能试图在显示器的每个像素(或像素组)独立地平衡白点。在一些这样的实施方式中，可以在不平坦化整个FOV内的亮度的情况下实现显示器的整个FOV内的色度平衡。亮度平坦化可以作为对色度平衡的附加或替代。
实现显示器的色度平衡的目的是让显示器的人类观看者感知显示器的整个FOV内的均匀颜色平衡。为了度量和调整显示器的色度平衡，使用校准相机(而不是人眼)来记录显示器输出的图像。可以假设相机代表人类对显示器输出的感知，并且如果显示器的相机图像是色度平衡的，则人类观看者对显示器的感知也将是色度平衡的。
在一些实施方式中，使用下面的模型实现显示器的颜色层的像素值与由校准相机测量的颜色的像素值之间的转换。在下面的示例中，存在三个颜色层，它们被假定为R、G和B；然而，这是用于说明的目的，而不是限制。在其它情况下，任何数量和色调的颜色层可用于色度平衡技术的实施例。此外，在应用该模型之前，可以考虑显示器和相机的像素尺寸之间的适当缩放。
在式(1)中，[Rd，Gd，Bd]表示发送到显示器的RGB图像的强度值。在许多情况下(例如标准RGB或sRGB)，强度值介于0和255之间。Gamma1{}表示第一非线性伽马函数(具有指数γ1)，该函数将显示颜色层级(color level)映射到中间颜色表示[R1G1B1]。Coupling()表示将颜色值[R1G1B1]映射到第二中间颜色表示[R2G2B2]的函数。Coupling()函数可以是线性函数，例如，3x3矩阵(在3个颜色层的情况下)。在其它实施方式中，Coupling()函数可以是非线性函数。Gamma2{}表示第二非线性伽马函数(具有指数γ2)，该函数将第二中间颜色表示[R2G2B2]映射到由校准相机配准(register)的像素强度[Rc Gc Bc]。
在一些实施方式中，第一和第二伽马函数是显示器的FOV内的全局函数(例如，指数γ1和γ2在整个FOV内是恒定的)。Coupling()可以是局部(像素相关)函数，它在整个FOV内根据像素而变化。由Coupling()函数提供的每像素颜色映射允许实现每个像素的色度平衡。
为了确定函数Gamma1{}、Gamma2{}和Coupling()，显示器的一系列的一个或多个图像可以被相机捕获，并且可以由被编程为执行迭代优化算法(例如，爬坡(hillclimbing)、局部搜索、单纯形法、遗传算法等)的分析系统进行分析，以找到用于为显示器提供合理的色度平衡的伽马和耦合函数的适合拟合。当分析系统搜索用于伽马和耦合函数的适合拟合(fit)时，分析系统可以在迭代过程期间通过捕获显示器的额外图像来使用反馈。例如，函数Gamma1{}、Gamma2{}和Coupling()可以通过迭代地调整这些函数以改善或优化显示器的整个FOV内的相机图像的色度平衡来确定。这些函数可以迭代地被调整，直到在迭代过程期间获取的相机图像的白点在显示器的整个FOV内基本均匀为止。在各种实施方式中，基本均匀的白点分布与整个FOV内的在颜色系统中测量的白点值的小于10％，小于5％或小于1％的白点变化相关联。例如，可以使用由国际照明委员会(CIE)提供的颜色空间。在一些实施方式中，基本均匀的白点分布可以与比基于该颜色空间的最小可觉差(justnoticeable difference,JND)的阈值量更小的白点变化相关联。在一些实施方式中，首先迭代地计算伽马转移函数(transfer function)Gamma1{}和Gamma2{}，一旦计算出伽马函数(例如，指数γ1和γ2)，便接着计算Coupling()函数。
用于在制造环境中校准显示器的生产过程在显示器沿生产线传输时可以自动表征显示器。例如，在生产过程中的适当点，本文所述的校准相机和分析系统可以执行迭代分析以获得用于特定显示器的伽马转移函数和耦合函数，并将所得到的伽马函数和耦合函数存储在与显示器相关联的存储器中。显示器于是具有自动执行色度平衡的功能。
在特定显示器的使用期间，一旦伽马转移函数Gamma1{}和Gamma2{}以及Coupling()函数对于特定显示器是已知的，便可以将适当的显示器像素值[Rd Gd Bd]输入到式(1)以实现色度平衡的输出。例如，针对特定显示器确定的伽马指数和Coupling()函数可以被存储在显示器可访问的存储器中，并被访问以转换输入图像像素颜色值，从而从显示器提供色度平衡的输出。在一些实施方式中，可穿戴的显示系统200的本地处理和数据模块224可以存储伽马转移函数和耦合函数，并且该处理模块可以利用式(1)来输出实时色度平衡的图像(图2)。在其它实施方式中，显示系统400的控制器450可以基于式(1)和所存储的伽马和耦合函数来执行色度平衡(图4)。在又一些其它实施方式中，动态校准系统2600的动态校准处理器2610(如下所述)可以使用式(1)和所存储的伽马和耦合函数来对显示器2500(图26)执行色度平衡。
基于下面更详细描述的分别参照图27、图28所描述的眼睛追踪来动态地校准显示器的方法2700或处理流程2805的实施例可以执行色度平衡和其它误差校正/校准函数。例如，在方法2700的框2720处访问的校准可以包括伽马和耦合函数，并且在框2730处，可以通过使用式(1)和所访问的伽马和耦合函数来校正显示器的色度缺陷。作为另一示例，处理流程2805的框2880可以访问伽马和耦合函数并在校准期间应用它们。
图21示出了用于校准显示器的方法2150的示例的流程图。该显示器可以是光场显示器。该显示器可以是显示器208(图2)、显示系统400(图4至图6)和显示器2500(图25A、图25B、图26)。方法2150可以由作为显示器制造过程的生产线的一部分(例如，作为参照图28所述的处理2805的一部分)的分析系统(包括相机和由计算机硬件执行的分析程序，诸如图18所示的度量系统1800)来执行。方法2150可以作为参照图16所述的处理1600的框1602描述的相机校准的一部分来执行。在一些实施方式中，方法2700应用式(1)来确定显示器与相机(假定表示显示器的人类观看者的视觉感知)之间的适当转换。在框2160处，由相机获取显示器的图像。在框2170处，确定显示器与相机之间的变换的全局变换参数。全局变换参数可以包括在显示器的整个FOV内不变化的参数(例如，非像素相关的参数)。例如，全局变换参数可以包括Gamma1{}和Gamma2{}函数。在一些情况下，作为用于确定全局变换参数的迭代反馈过程的一部分，方法2150可以返回到框2160以获取一个或多个另外的图像。在获得对全局变换参数的适合拟合之后，方法2150移到框2180，在框2180处，局部(例如，像素相关)变换参数被拟合到相机图像。例如，局部变换参数可以包括Coupling()函数(例如，显示器的整个FOV内的像素位置处的该函数的值)。在一些情况下，作为用于确定局部变换参数的迭代反馈过程的一部分，方法2150可以返回到框2160以获取一个或多个另外的图像。在一些实施方式中，因为先前确定了全局变换参数，所以在框2160处获取了另外的图像之后，方法2150可以跳回到框2180以继续拟合局部变换参数，而不是通过框2170。在对局部变换参数的适合拟合被拟合到相机图像之后，方法2150移到框2190，在框2190处，局部和全局变换参数被存储在与显示器相关联的存储器(例如本地数据模块71)中。如上所述，在用于动态校准显示器的方法2700的框2720处，可以访问作为显示器校准的一部分的局部和全局变换参数，并且在框2730处，可以应用局部和全局变换参数以及式(1)，以从显示器产生色度平衡的图像。
尽管针对用于显示器的色度平衡的情况进行了描述，但是本系统和方法不限于此，并且可以应用于校正显示器的其它色度(或空间)缺陷(例如，上述任何色度或空间缺陷)。例如，如上所述，显示器可以呈现亮度平坦度变化，并且所公开的分析技术的实施例可以确定校正亮度平坦度缺陷的亮度平坦度校准。附加地或替代地，显示器可能呈现出空间缺陷，其中包括平面内平移、旋转、缩放或扭曲误差以及平面外(例如焦深)误差。所公开的分析技术的实施例可以确定用于这些空间误差中的部分或全部的校准。
使用校准图案进行显示器校准的示例
显示器中的缺陷可能导致由显示器投影的虚拟对象看起来在空间上或色度上失真。为了校正这些失真，可以首先通过测量失真，然后执行任何必要的误差校正(例如，使用图18所示的度量系统1800)来校准显示器。显示器校准可以涉及使用显示器投影校准图案(例如，棋盘图案，如图7所示)，以及用相机捕获所得到的图像。接着处理所捕获的图像以通过量化图案特征点的期望位置与其测量位置之间的误差来确定校准图案的特征点位置处的失真。对于具有分离的颜色层(例如，红色(R)、绿色(G)和蓝色(B)层)的显示器，此校准也可以校正颜色配准和图像质量。
图22示出了使用校准图案的示例性校准系统2200。显示器2202可以被配置为对校准图案2204进行投影作为所生成的光场2206，该光场可以使用诸如相机2208之类的成像设备而被捕获。在一些实施例中，显示器2202包括堆叠波导组件(例如，如图4或图6所示)或其它类型的光场显示器。在一些实施例中，相机2208(或显示器2202)被配置为可移动，以使得系统2200将能够从不同的横向位置、深度或角度捕获光场706的图像。在一些实施例中，校准系统2200可以类似于图18的度量系统1800。例如，显示器2202、光场2206和相机2208可对应于度量系统1800的显示器1802、光场1804和相机1806。
在此示例中，校准图案2204包括棋盘图案，在棋盘图案中不同区域具有不同的(例如，交替的)光学特性，例如亮度(例如，亮或暗)、色度、色调、饱和度、颜色等。棋盘图案可以是规则图案(例如，如图22所示)或不规则图案。校准图案2204包含多个特征点，这些特征点可用于测量由相机2208捕获的图像中的失真量。例如，棋盘图案的特征点包括棋盘的棋盘格之间的边界和拐角上的点、或位于棋盘格中心的点。校准图案2204的尺寸可以等于或小于显示器2202的尺寸。较小的校准图案可横跨整个显示器2202移动，并且当系统2200测量显示器2202的失真时，相机2208可以在校准图案2204横跨整个显示器移动时拍摄校准图案2204的多个图像。在一些实施方式中，可以根据数学优化的序列对校准图案2204进行随机取样。
由于显示器2202中的误差(例如，一个或多个波导或透镜中的缺陷)，光场2206可能包含导致光场中的虚拟对象或图案出现失真的缺陷。这可能导致校准图案2204上的特征点的期望焦点位置(横向或深度)与这些特征点在由相机2208捕获的图像中的实际测量位置之间产生偏差。通过比较校准图案2204的特征点的实际测量位置与这些特征点的期望位置，可以识别和测量由失真导致的偏差。在一些实施方式中，校准图案包括颜色信息，使得显示器2202的颜色误差可以由系统2200量化。在一些实施例中，可以产生失真图以用于显示器2202的空间误差或颜色误差的误差校正(例如，如图8所示)。
在一些实施方式中，校准图案2204中的每个棋盘格2304对应于显示器2202的单个像素，这可以允许逐像素地直接测量显示器缺陷。在其它实施方式中，每个棋盘格2304对应于多个像素(例如，N×M像素网格，N或M中的至少一者大于1)。在一些这样的实施方式中，校准图案的粗糙质量意味着失真信息在取样点处被获得并且可以被内插以获得每像素的失真信息。例如，在图23A所示的棋盘图案中，可以测量与特征点2302(诸如棋盘格的边界、拐角或中心上的点)对应的图案位置的失真信息。该图案的棋盘格区域2304中的其它点的失真信息可以根据与附近的特征点2302相关联的测量失真值而被推断或内插。
棋盘投影-捕获过程识别特征点(例如，棋盘格的边缘)并量化期望位置与测量位置之间的误差以实现失真校准。与显示器中的像素数量相比，特征点可能稀疏。例如，高清显示器可以包括数百万个像素(例如，对于1920×1080像素分辨率，包含210万个像素)，而校准图案中的棋盘格804的数量少得多(例如，对于50×50、100×100、500×500图案)。这样，使用单个投影-捕获方法的系统2200的实施例产生可以被内插的取样测量值以估计每像素失真。
为了获得显示器的精确每像素失真信息，系统2200的实施例可以通过实现不同的或移位的校准图案来自动执行获得失真信息的任务。不同的校准图案可以被投影，或者同一图案可以被递增地移动，以便测量显示器2202的整个像素空间。自动化的图像投影和捕获或不同的移位校准图案允许显示器2202的失真的像素精确映射。
通过自动地重复棋盘投影-捕获(但是例如以1像素移位校准图案)，系统2200可以基于每像素获得改善的失真信息。例如，每当图案被移位时，相机2208可以获得该图案的图像。通过每次重复的图像捕获，所投影的校准图案的特征点对应于不同的像素组。可以重复这种校准图案的移位，直到获取了显示器的失真场的密集取样。例如，棋盘可以被投影并且被移位通过与棋盘的棋盘格的像素对应的多个位置，从而允许测量显示器的每个像素的失真信息。在其它实施方式中，移位可以不同于一个像素，例如2、3、4、5、8、16或更多个像素。对于显示器的不同方向，该移位可以是不同的，例如，x移位不需要与y移位相同。
尽管为了示例的目的，本公开主要提及棋盘图案，但应理解，也可以使用其它类型的图案。例如，可以使用其它几何图案，可以使用随意的随机图案，或者可以使用任何其它类型的校准或测试图案。在一些实施例中，使用一次仅接通显示器中的单个像素的校准图案。图23B示出了示例性单像素校准图案，其中仅单个像素2306已被接通。根据每个所得到的帧的捕获图像，可以量化从显示设备到观看者场景的每像素转移函数。在每次捕获图像之后，所显示的像素2306的位置可以横跨整个显示器(例如，在由箭头2308指示的方向上)移位一设定的距离(例如单个像素)。通过自动扫描通过显示器的每个像素，可以获得显示设备的质量的完整量化。在其它实施方式中，被照射的像素的移位可以是不同数量的像素，例如2、3、4、5、8、16或更多个像素，对于显示器上的不同横向方向，移位可以是不同的，或者可以在每个图像捕获中照射多个像素(而非图23B所示的单个像素)。
图24是用于执行自动显示器校准的示例性处理2400的流程图。处理2400例如可以作为参照图27和图28描述的处理2700和2805的一部分而被执行。在框2402处，校准图案被显示器投影。校准图案可以包括具有可由显示器生成的一个或多个特征点的任何图案。在一些实施例中，校准图案包括棋盘图案。在其它实施例中，可以使用其它类型的校准图案，例如单像素图案。
在框2404处，使用相机或其它类型的图像捕获设备来捕获所显示的校准图案的图像。如果由显示器生成的光场中存在误差或缺陷，则所显示的校准图案的部分可能变得失真，其中校准图案中的一个或多个特征点可能看起来在与期望位置不同的位置处。图像的亮度或色度可能与校准图案所期望的不同。
在框2406处，确定失真，该失真对应于校准图案的特征点的期望位置与特征点的捕获位置之间的误差。例如，对于单像素校准图案，可以计算图案的特定像素位置的失真信息。对于棋盘图案，可以计算与棋盘的特征点(例如，棋盘格的边缘、拐角或中心)对应的像素的失真信息。在一些实施方式中，确定校准图案的亮度或色度与校准图案的捕获图像的对应亮度或色度之间的亮度或色度误差。
在框2408处，确定在整个显示器内是否存在应该投影校准图案的任何另外的位置。如果确定存在另外的位置，则在框2410处，可以将校准图案移位并投影到新位置，并且可以捕获校准图案的图像(框2404)并且使用该图像计算失真量(框2406)。在一些实施例中，用于显示校准图案的不同位置的数量基于所使用的校准图案。例如，对于单像素校准图案，位置的数量可以对应于显示器可显示的像素的总数。对于棋盘图案，位置的数量可以基于每个棋盘格中的像素数量。
一旦在框912处，已经在所有所需位置处显示了校准图案，所计算的失真便可被聚合并用于生成失真图，该失真图包括显示器的每个像素(或像素组)的失真信息。该失真信息可以包括由聚焦误差(例如，平面内误差或平面外误差)或颜色误差(例如，亮度或色度误差)引起的空间失真。在框2414处，可使用所计算的失真图对显示器执行误差校正。例如，失真信息(例如失真图)可以由图2所示例的可穿戴显示系统200的数据模块224、232存储。可穿戴显示系统200的处理模块224、228可以使用失真信息来校正显示器208中的空间误差或色度误差，以便至少部分地补偿显示系统80的穿戴者204所感知的图像。
在一些实施例中，可以针对光场显示器执行图24所示的处理2400。作为示例，可以针对光场显示器的波导组件405中的每个波导执行处理2400以校准每个波导。在一些情况下，可以存在对应于多个深度平面的多个波导以及对应于多种颜色(例如红色(R)、绿色(G)和蓝色(B))的多个波导。例如，对于一些显示器，存在用于每个深度平面的三个颜色平面，因此具有两个深度平面的波导组件可以具有2x3＝6个波导。另外，除了像素位置之外，还可以校准颜色配准和质量以校正显示器的色度(颜色)缺陷。例如，相机2208可以是对多种颜色敏感的相机或相机组合，该相机组合中的每个相机对颜色的子集敏感，并且被用于捕获光场2208的图像，其中可以识别投影图案2204的所捕获的颜色或亮度值与期望的颜色或亮度值之间的偏差。
示例性波导显示器
图25A是示意性示出了包括波导2505、耦入光学元件2507、光重新分配元件2511和耦出光学元件2509的显示器2500的示例的俯视图。图25B示意性示出了图25A所示的显示器2500沿轴线A-A'的截面图。
波导2505可以是图4所示的显示系统400中的波导堆叠405的一部分。例如，波导2505可以对应于波导420、422、424、426、428中的一者，并且耦出光学元件2509可以对应于显示系统400的光提取光学元件460、462、464、466、468。
显示器2500被配置为使得由射线2503i1、2503i2和2503i3(分别为实线、虚线和双点划线)表示的不同波长的入射光通过耦入光学元件2507而被耦入到波导2505中。入射到波导2505中的入射光可以从图像注入设备(诸如图4所示的图像注入设备440、442、444、446、448中的一者)投影。耦入光学元件2507可以被配置为以支持借助于全内反射(TIR)传播穿过波导2505的适当角度将入射光的波长耦入波导2505中。
光重新分配元件2511可以被设置在不同波长的光2503i1、2503i2和2503i3传播通过波导2505所沿着的光路中。光分配元件2511可以被配置为将来自耦入光学元件2507的光的一部分重定向到耦出光学元件2509，由此放大了沿传播方向的相互作用光的光束尺寸。因此，光分配元件2511可有利于放大显示装置2500的出射光瞳。在一些实施例中，光分配元件2511因此可以用作正交光瞳扩展器(OPE)。
耦出光学元件2509可以被配置为以适当的角度(例如，在z方向上)和效率将入射到元件2509上的耦入光重新导出波导2505的x-y平面之外，以便于适当地覆盖不同波长和不同深度平面上的光，使得观看者能够感知具有良好视觉质量的彩色图像。耦出光学元件2509可以具有为通过波导2505出射的光提供散度的光功率，以使得通过波导2505出射的光所形成的图像(对于观看者)看起来是来自特定深度。耦出光学元件2509可以放大显示器2500的出射光瞳并且可以被称为出射光瞳扩展器(EPE)，该扩展器将光导向观看者的眼睛。
耦入光学元件2507、耦出光学元件1009和光分配元件2511可以包括多个光栅，诸如例如模拟表面浮雕光栅(ASR)、二元表面浮雕结构(BSR)、体全息光学元件(VHOE)、数字表面浮雕结构和/或体相全息材料(例如记录在体相全息材料中的全息图)或可切换衍射光学元件(例如，聚合物分散液晶(PDLC)光栅)。在各种实施例中，耦入光学元件2507可以包括一个或多个光学棱镜，或者包括含有一个或多个衍射元件和/或折射元件的光学部件。可以使用诸如注射压缩成型、UV复制、或衍射结构的纳米压印之类的制造方法，在波导上设置衍射或光栅结构的各种组。
耦入光学元件2507、耦出光学元件1009或光分配元件2511不需要是单个元件(例如，图25A和25B中示意性示出的)，每个这样的元件可以包括多个这样的元件。这些元件可以被设置在波导2505的主表面2505a、2505b中的一者或全部两者上。在图25A和图25B所示的示例中，耦入光学元件2507、耦出光学元件2509和光分配元件2511被设置在波导2505的主表面2505a上。
在一些实施例中，一个或多个波长选择滤波器可以与耦入光学元件2507、耦出光学元件2509或光分配元件2511集成，或者邻近耦入光学元件2507、耦出光学元件2509或光分配元件2511设置。图25A所示例的显示器2500包括被集成到波导2505中或波导2505的表面上的波长选择滤波器2513。波长选择滤波器可以被配置为滤出可在波导2505中沿各种方向传播的一个或多个波长的光的某部分。波长选择滤波器可以是吸收滤波器(诸如色带吸收器)。
基于眼睛追踪的AR或VR显示器的动态校准的示例
显示系统可以被校准(在空间和/或色度上)以产生改善的质量图像。在某些近眼显示器(例如，如图2所示的显示器208或参照图25A和图25B所描述的显示器2500中使用的图4所示的堆叠波导组件405)的情况下，该校准对于名义上固定的眼睛位置(例如，穿戴者通过显示器208直视前方)可能相当准确，但对于其它眼睛姿态方向或位置而言却不太准确。因此，显示器的校准可能取决于眼睛位置或眼睛方向。如果使用仅针对单个(例如，基准)位置的校准，则当穿戴者看向不同位置(例如，远离基准位置)时，可能存在未被校正的误差。
本公开还描述了对使用眼睛追踪的可穿戴显示系统400的动态校准的示例，其中空间和/或颜色校准可以响应于眼睛位置(或在一些情况下眼睛方向)的改变而改变。某些这样的校准提供前馈校准系统，该前馈校准系统可以针对大范围的眼睛运动保持高质量图像。在一些实施方式中，校准通过硬件处理器(例如，可穿戴显示系统200的处理模块224、228或显示系统400的控制器450)被实时执行，而无需添加专用硬件。
校准可以补偿(或校正)显示器视场中的空间误差和/或色度(颜色)误差。例如，空间误差可以包括平面内平移、旋转、缩放或扭曲误差以及平面外(例如焦深)误差。色度误差可以包括每种可显示的颜色(例如R、G和B)的亮度平坦度或色度均匀度误差。
图26示意性示出了用于显示器2500的动态校准系统2600的示例，校准可被应用于该显示器2500以校正参考位置网格(由点2602指示)处的空间误差和/或色度误差。动态校准系统2600可以包括显示器2500、面向内的成像系统(诸如眼睛追踪相机500)和动态校准处理器2610(其检索并应用校准)。图26示意性示出了包括参照图25A和图25B描述的光学元件的实施例的显示器2500的另一个示例。耦出光学元件2509将光导向观看者的眼睛。当观看者的眼睛定位在相对于耦出光学元件2509的不同位置2602时，对于该特定眼睛位置(示意性地示为图26中的点2602)显示器2500的光学校准可以不同。例如，眼睛位于位置2602a上方并接近耦出光学元件2509的中心时的校准可以不同于眼睛位于位置2602b上方并朝向耦出光学元件2509的左上角时的校准，对于光学元件2509上的任何其它示例性位置2602也是类似的。
当用户的眼睛相对于显示器移动时，显示器的视场(FOV)保持大致相同，但是当眼睛相对于显示器平移时，显示器中的空间和/或色度失真可以改变。由于FOV包括向用户呈现图像的角度范围，所以校准数据(在相对于显示器的给定位置处)可以基本考虑眼睛的所有朝向或视角。例如，当用户将她的视线定向到不同角度(同时保持相对于显示器的同一位置)时，用户仅可看到图像的具有相同的总体失真的不同部分。因此，在任何给定位置，当眼睛的朝向改变(例如，眼睛注视方向改变)时，眼睛的注视通常保持在显示器的FOV内，并且对于基本上全部眼睛朝向，都可以使用同一校准(对于该给定的眼睛位置)。因此，校准系统的某些实施例利用与位置相关且不附加地与朝向相关的校准。
需要注意，点2602、2602a，2602b仅用于参考，并不形成耦出光学元件2509或显示器2500的一部分。此外，尽管图26示意性示出了3×3网格中的九个位置2602，但这只是为了说明，应该理解，显示器2500的校准位置的数量(或布置)可以不同于图26所示的。例如，在各种实施方式中，使用1、2、3、4、5、6、7、8、9、10、11、12、16、20、25、100、256或更多个校准位置。校准位置可以以2x2、3x3、4x4、5x5、6x6、7x7、9x9或其它尺寸网格或其它图案或位置布置来布置。
对显示器2500上的一个或多个位置的校准可以使用测量从显示器投影的校准图案(例如，棋盘)中的误差的光场度量系统来确定。校准可以取决于观看显示的横跨显示器的位置。例如，度量系统可以扫描相对于显示器的眼睛代用相机(eye-proxy camera)(例如，通过相对地平移相机和显示器)，模拟用户眼睛位置的范围。当相机相对于显示器被扫描时，在每个样本点2602处，度量系统可以建立校准(校正)，由此导致与眼睛代用位置相对的一组校准。特定显示器的校准可以被可穿戴显示系统200的数据模块224、228存储为查找表(LUT)(或其它有效数据结构)。在其它实施方式中，分析模型可以被拟合到从度量系统获得的校准数据，并且拟合的分析模型可以由可穿戴显示系统200存储。可以使用其它建模或数据参考方法来存储校准。如上所述，校准可以包括针对显示器的每个校准位置(例如，图26所示的示例显示器2500的校准位置的3×3网格)生成的空间和/或色度校正。需要注意，在各种实施方式中，为了捕获校准，相对于固定相机扫描显示器(平移)，相对于固定显示器扫描相机(平移)，或者相对于彼此同时扫描相机和显示器(平移)。
在眼睛代用相机的视场(FOV)大于显示器的FOV的实施方式中，将校准相机放置在相对于显示器的多个离散位置处(例如，在由点2602指示的位置上方)并且拍摄一个或多个校准图像，这提供了足以确定每个离散位置的校准的有关显示器缺陷的信息。在一些这样的实施方式中，相机可以捕获显示器的完整FOV，并且可以不需要改变相机在每个位置2602处的朝向(例如指向方向)。在其它实施方式中，校准相机(在每个位置2602处)的朝向可以被改变，以获得额外的图像以绘制出显示器的FOV(例如，当相机的FOV小于显示器的FOV时)。
校准位置可以表示相对于显示器2500的眼睛位置。例如，显示器2500的穿戴者通常将显示器定位成使得穿戴者的眼睛(在x-y平面内)大致接近耦出光学元件2509的中心，例如，穿戴者的眼睛位于位置2602a上方。因此，对位置2602a(接近光学元件2509的中心)的校准与大致垂直于显示器2500传播的光(例如，基本沿z方向)对应并且可以由动态校准处理器2610应用。如果穿戴者的眼睛向左上移动到位置2602b上方(在光学元件2509的左上角附近)，则对位置2602b的校准可以由处理器2510应用。眼睛追踪相机500可以对眼睛成像(例如，实时地)，并且动态校准处理器2510可以使用眼睛追踪数据来确定眼睛的位置，选择适当的校准(基于所确定的眼睛位置)，并对显示器应用该校准。在一些实施方式中，眼睛位置根据角膜位置和注视方向而被确定。此外，在其它实施例中，可以确定眼睛朝向(例如，注视方向)并且可以使用朝向相关的校准。
可穿戴显示系统200的实施例可以包括图8示意性示出的动态校准系统2600的实施例。例如，眼睛追踪相机500(参考图4描述)可以被固定到可穿戴显示系统200的框架上，并且可以动态地测量穿戴者的眼睛姿态(例如，眼睛位置或眼睛方向)。动态校准处理器2610可以使用来自相机500的图像以实时或近实时地确定穿戴者的眼睛姿态。当动态校准系统工作时，眼睛追踪相机可以实时或近实时地通知动态校准处理器2610有关穿戴者当前的眼睛姿态。动态校准处理器2610可以基于所测量的眼睛姿态(例如，位置或朝向)来提取并应用适当的校准(例如，存储在数据模块224、228中的适当校准LUT)。在穿戴者不直视所存储的校准位置或者穿戴者的眼睛未直接位于校准位置上方的情况下，动态校准处理器可以在针对附近校准位置(例如，至少包括最接近穿戴者的眼睛姿态的校准位置)的校准之间内插(或外插)以确定适用于穿戴者当前眼睛姿态的适当校准。因此，显示系统200(具有动态校准系统2600)可以校正显示器中的缺陷(空间缺陷或色度缺陷)，从而向穿戴者提供高质量的彩色图像。如本文所述，在一些情况下，校准取决于相对于显示器的眼睛位置，而不取决于眼睛朝向(例如，注视方向)，但这不是限制。
动态校准处理器2610可以被实现为存储在存储器(例如数据模块224、228)中的软件，并且软件指令可以由处理模块224、228中的一者或全部两者或者由控制器450执行。因此，校准的连续调节可以在穿戴者眼睛的宽输入运动范围内产生高质量图像。
在一些实施方式中，校准被存储在数量减少的校准位置处(例如2×2或3×3网格)以减少数据存储量。如上所述，动态校准处理器可以内插或外插以确定不直接在所存储的校准位置处的眼睛姿态的校准。
在一些实施例中，可穿戴显示系统200使用单个眼睛追踪相机来测量穿戴者的单眼的姿态，并且动态校准处理器2610推断穿戴者的另一只眼睛相对于显示系统200的姿态(因为双眼通常指向同一方向)。在其它实施例中，可穿戴显示系统200使用两个眼睛追踪相机(每只眼睛一个)并独立地测量每只眼睛的姿态。在一些实施例中，为可穿戴系统中的每个显示器存储单独的校准(在许多情况下，存在两个显示器，穿戴者每只眼睛的前方一个显示器，因此存储两个校准)。在其它实施例中，单个校准(例如，平均校准)被存储并被用于可穿戴系统200中的所有显示器。
眼睛追踪相机(或其它类型的面向内的成像系统)可以对用户脸部的眼周区域进行成像。眼周区域可以包括眼睛和眼睛周围的区域。例如，眼周区域可以包括眼睛(例如眼窝)和眼睛周围的区域。眼睛周围的区域例如可以包括眉毛、部分鼻子、脸颊和前额。眼周区域可具有多种特征，诸如眉毛的形状、眼角、眼睑的特征等。在一些实施方式中，这些特征中的一者或多者可以由关键点、点云或其它类型的数学表示来表示。可穿戴设备可以识别图像中的这些特征，并使用这些特征来确定可穿戴显示系统与用户面部之间的相对位置。在某些实施例中，可穿戴显示系统200可以针对每只眼睛分别计算相对位置。例如，当可穿戴设备具有一个或两个分别被配置为对用户的一只眼睛进行成像的眼睛相机时，可穿戴设备可以计算左眼与可穿戴显示系统之间的一个相对位置，以及右眼与可穿戴显示系统之间的另一相对位置。可穿戴设备也可以分别追踪相应眼睛的相对位置。由于左眼与可穿戴显示系统之间的相对位置不同于右眼与可穿戴显示系统之间的相对位置(诸如当可穿戴系统向一侧倾斜时)，因此对于左眼显示器与右眼显示器而言，对虚拟对象的渲染位置的调整可能有所不同。
可穿戴显示系统可以使用神经网络或诸如尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、定向FAST和旋转BRIEF(ORB)、二进制鲁棒不变尺度关键点(BRISK)、快速视网膜关键点(FREAK)等的视觉关键点技术来计算和追踪眼周特征。在一些实施例中，可以使用专为特定面部特征设计的检测器来追踪特定面部特征。例如，可以使用各种算法来分别识别和追踪眼周特征(诸如眼角、鼻子特征、嘴角等)。单独追踪这些眼周特征中的一者或多者可以是有利的，因为这些眼周特征在用户表达自己或说话时倾向于明显的运动。与这些眼周特征相关联的检测器可以考虑移动范围。举例来说，一些面部特征更可能在某些方向上移动，而在其它方向上稳定(例如，眉毛倾向于向上或向下移动，而不向左或向右移动)。可穿戴系统可以对面部特征的运动进行统计分析。这些统计数据可用于确定面部特征将在某个方向上移动的可能性。在一些实施例中，可以移除或不追踪一个或多个面部特征。例如，当追踪眼周区域的位置时，可穿戴显示系统可以忽略眼睛运动。
可穿戴显示系统还可以使用视觉同步定位和建图(vSLAM)技术，诸如序列贝叶斯(Bayesian)估计器(例如，卡尔曼(Kalman)滤波器、扩展卡尔曼滤波器等)、光束平差法(bundle adjustment)等来识别和追踪面部特征。在一些实施例中，可穿戴设备可以被配置为允许深度感知。例如，可穿戴系统可以根据由一个或多个相机获取的数据来构建对面部的至少一部分进行编码的稠密图。与关键点图不同，稠密图可以包括已测量3D形状的面部片区或区域。所述片区或区域可用于使用诸如迭代最近算法或类似算法之类的技术来计算HMD相对于用户面部的位置。
在一些实施方式中，由眼睛相机获取的图像可能是低分辨率图像，因为可穿戴显示系统200不需要高质量图像来追踪眼周特征。附加地或替代地，从眼睛成像器获得的图像的分辨率可以相对于图像原始分辨率或在其它应用(例如，眼睛追踪)中使用的分辨率被下取样(down-sample)。
可穿戴显示系统200可以分析由一个或两个眼睛相机获得的图像，以使用各种技术来确定显示系统的显示器与用户之间的相对位置。显示器与用户的一只或两只眼睛之间的相对位置可以是显示系统200相对于用户面部的正常静止位置。显示系统200的正常静止位置可以在可穿戴系统的初始化阶段期间确定。例如，当用户首次使用可穿戴系统时，可穿戴系统可以建立面部模型(例如，用户面部图)，并且基于该面部模型确定一个或多个显示器相对于用户眼睛的正常静止位置。
当用户正使用可穿戴系统200时，可穿戴系统可以使用各种技术来持续追踪一个或多个显示器与用户之间的相对位置。例如，可穿戴设备可以识别和追踪与眼周特征相关联的视觉关键点。可穿戴系统还可以将在所获取图像中识别出的面部区域与用户面部的稠密图进行匹配，以计算一个或多个显示器相对于面部的位置。
因此，可以使用各种眼睛追踪或面部成像技术(静态地或动态地)确定用户的眼睛与显示系统的显示器之间的相对位置。如此处进一步描述的，显示系统200然后可以至少部分地基于所确定的相对眼睛位置来选择适当的空间和/或色度校准，并向一个或多个显示器应用所述校准。
图27是示出用于基于眼睛追踪来动态地校准显示器的示例性方法2700的流程图。方法2700可以由动态校准系统2600执行。在框2710处，追踪用户的眼睛以确定相对于显示器的用户眼睛位置。例如，显示系统2600的相机500可以确定用户眼睛位置。可以追踪一只或全部两只眼睛。在框2720处，访问基于所确定的眼睛位置的校准。在框2730处，向显示器应用该校准以校正显示器中的空间和/或色度缺陷。例如，动态校准处理器2610可以应用校正来调节注入显示器的波导中的光的性质，使得显示器输出所需的光束。在一些情况下，光可能以略微不同的颜色或位置或朝向被注入以调整显示器缺陷。例如，可以经由相应的RGB校准(基于用户的眼睛位置)来修改将要由显示器投影的输入图像中的RGB颜色值中的一个或多个，然后将修改后的RGB值发送到显示器进行投影。缺陷显示器投影修改后的RGB值的净效果是产生至少部分地校正显示器的缺陷(空间和/或色度)的投影图像。在其它情况下，波导组件中主动控制的衍射光学元件可以由动态校准处理器调节，以使得从至少部分地校正了显示器中的缺陷的显示器投影光束。在一些实施方式中，方法2700作为反馈回路被实时地执行，以便眼睛追踪相机500监视用户的眼睛，如果检测到眼睛位置改变，则使用新的校准(针对新的眼睛位置)校准显示器。在一些情况下，如果眼睛位置的改变超过阈值(例如，校准位置网格之间的间隔的一部分)，则应用新校准。一些这样的实施方式可以有利地连续提供用于用户观看的校准过的显示器。在一些实施方式中，方法2700可以偶尔执行(例如，在用户将显示器放在用户的眼睛上方时)或定期执行(例如，以校正显示器与用户眼睛之间偶尔的滑移)。
图28是示意性示出与特定显示器相关联的工厂校准系统和动态校准系统的交互的示例的处理流程图2805。在该示例中，在工厂(制造)设置中使用眼睛代用相机校准系统2810来确定正在制造的显示器的位置相关校准。在框2820处，该处理分析正在制造的每个特定显示器的一个或多个校准图像，并且针对每个眼睛代用位置生成校准。在框2830处，将校准存储在与该特定显示器相关联的存储器中，以使得每个显示器都可以访问在制造过程期间针对该特定显示器定制的校准。例如，可以将校准作为查找表(LUT)存储在显示器208的数据模块224或远程数据储存库232中。对于在制造期间的每个显示器，可以执行一次处理流程2805的该部分，以便为每个显示器提供定制的校准。
在该示例中，每个显示系统(例如，可穿戴显示系统200的实施例)可以使用在框2830处存储的校准来执行实时校准。例如，显示器的眼睛追踪系统2840(其可以包括眼睛追踪相机500)可以确定眼睛角膜的位置和眼睛注视方向以确定眼睛的位置。在框2850处，显示系统(例如，经由动态校准处理器2610)可以基于所确定的眼睛位置从存储器提取适当的校准。在框2860处，对显示器应用校准(例如，经由动态校准处理器2610)以校正显示器的空间和/或色度误差。在框2870处，穿戴者能够观看由校准过的显示器投影的图像。当穿戴者的眼睛位置相对于显示器改变时，显示系统中的处理流程可以例如实时地更新校准。
尽管动态校准系统2600的实施例已经在可穿戴显示系统中的显示器的上下文中进行了描述，但这不是限制，并且动态校准系统(例如，眼睛追踪相机和动态校准处理器)可以用于仅在接近标称观看位置(例如，垂直于显示器中心)时校准良好的任何显示器(可穿戴或不可穿戴)。例如，动态校准系统可以用于平板显示器、液晶显示器、发光二极管显示器、微机电系统(MEMS)显示器等。
用于执行图像校正的其它方面
在第1方面，公开了一种用于对显示器执行图像校正的计算机实现的方法。所述方法在包括计算机硬件和相机的显示校准系统的控制下，并且包括：校准所述相机，用所述相机捕获由所述显示器投影的光场的图像，所述光场与所述显示器的显示层相关联；至少部分地基于所捕获的图像生成矢量场，所述矢量场包括矢量，所述矢量对应于所述显示层的点的投影位置与期望位置之间的偏差；使用所产生的矢量场，对所述显示器执行对中校正、聚合旋转校正、聚合缩放校正或空间映射中的至少一者；至少部分地基于所捕获的图像来确定与所述显示层上的多个点对应的多个亮度值；以及使用所确定的多个亮度值，对所述显示器执行亮度平坦化或色度平衡化中的至少一者。
在第2方面，根据第1方面所述的计算机实现的方法，其中执行对中校正包括：识别所投影的显示层的中心点；以及确定平移矢量，其中所述平移矢量对应于所识别的中心点与期望中心点位置之间的平移误差。
在第3方面，根据第1方面或第2方面所述的计算机实现的方法，其中执行聚合旋转包括：识别所投影的显示层的中心点；以及确定旋转量，其中所述旋转量对应于所投影的显示层绕所述中心点的旋转，使得投影位置与期望位置之间的像素误差量最小化。
在第4方面，根据第1方面至第3方面中任一项所述的计算机实现的方法，其中执行聚合缩放包括：识别所投影的显示层的中心点；以及确定缩放量，其中所述缩放量对应于所投影的显示层绕所述中心点的缩放，使得所述投影位置与所述期望位置之间的像素误差量最小化。
在第5方面，根据第1方面至第4方面中任一项所述的计算机实现的方法，其中执行空间映射包括识别非线性变换以将所述显示层的所述投影位置与所述期望位置对准。
在第6方面，根据第1方面至第5方面中任一项所述的计算机实现的方法，其中执行亮度平坦化包括：确定所述多个亮度值中的最小亮度值；以及将所述多个亮度值中的所有亮度值降低到所述最小亮度值。
在第7方面，根据第1方面至第5方面中任一项所述的计算机实现的方法，其中执行亮度平坦化包括：确定阈值亮度值；以及将所述多个亮度值中大于所述阈值亮度值的所有亮度值降低到所述阈值亮度值。
在第8方面，根据第1方面至第7方面中任一项所述的计算机实现的方法，其中执行色度平衡化包括：识别与所述显示层相关联的颜色簇，所述颜色簇包括至少一个另外的显示层；针对所述显示层上的所述多个点中的每个点，将对应于所述显示层上的该点的亮度值与对应于所述另外的显示层上的该点的亮度值进行比较；以及将所述多个亮度值中的每个亮度值降低到与其对应点相关联的最低亮度值。
在第9方面，根据第1方面至第8方面中任一项所述的计算机实现的方法，其中执行聚合旋转校正包括计算所述矢量场的旋度。
在第10方面，根据第1方面至第9方面中任一项所述的计算机实现的方法，其中执行聚合缩放校正包括计算所述矢量场的散度。
在第11方面，根据第1方面至第10方面中任一项所述的计算机实现的方法，其中所述显示器包括光场显示器。
在第12方面，根据第11方面所述的计算机实现的方法，其中所述光场显示器包括堆叠波导组件。
在第13方面，根据第12方面所述计算机实现的方法，其中所述堆叠波导组件包括分别对应于两个或更多个深度平面的两个或更多个波导。
在第14方面，根据第13方面所述的计算机实现的方法，其中每个深度平面与红色显示层、绿色显示层和蓝色显示层相关联。
在第15方面，公开了一种校准显示器的方法。所述方法在包括计算机硬件的显示器校准系统的控制下，并且包括：访问由所述显示器投影的校准图案的图像；确定投影光场中校准点的期望位置与所述图像中的实际显示位置之间的空间失真；分析所述空间失真以确定对所述显示器的空间校准；以及将所述空间校准存储在与所述显示器相关联的非暂时性存储器中。
在第16方面，根据第15方面所述的方法，其中所述空间校准校正平面内空间误差或平面外空间误差中的一者或多者。
在第17方面，根据第15方面或第16方面所述的方法，其中所述空间校准校正平移误差、旋转误差、缩放误差或像素扭曲中的一者或多者。
在第18方面，根据第15方面至第17方面中任一项所述的方法，进一步包括：从所述图像确定色度失真；分析所述色度失真以确定对所述显示器的色度校准；以及将所述色度校准存储在与所述显示器相关联的非暂时性存储器中。
在第19方面，根据第18方面所述的方法，其中所述色度校准校正所述显示器的亮度平坦度或色度均匀度。
光学度量系统的其它方面
在第20方面，公开了一种用于测量由显示器生成的光场中的缺陷的光学度量系统。所述光学度量系统包括：显示器，其被配置为投影目标光场，所述目标光场包括具有预期焦点位置的虚拟对象；相机，其被配置为获得所述目标光场的图像；以及处理器，其用可执行的指令被编程为：访问与所述光场的一部分对应的一个或多个图像；分析所述一个或多个图像以识别与所述虚拟对象的对焦位置对应的所测量的焦点位置；以及至少部分地基于所述所测量的焦点位置与所述预期焦点位置的比较来确定所述光场中的缺陷。
在第21方面，根据第20方面所述的光学度量系统，其中所述显示器包括光场显示器。
在第22方面，根据第20方面或第21方面所述的光学度量系统，其中所述显示器包括波导堆叠，所述波导堆叠被配置为输出光以将所述虚拟对象投影到特定深度平面。
在第23方面，根据第20方面至第21方面中任一项所述的光学度量系统，其中所述相机包括具有小焦深的数字相机。
在第24方面，根据第23方面所述的光学度量系统，其中所述相机具有焦点，并且所述系统被配置为在焦点范围内(over a range of focuses)扫描所述相机的焦点以获得所述一个或多个图像。
在第25方面，根据第20方面至第22方面中任一项所述的光学度量系统，其中所述相机包括光场相机。
在第26方面，根据第20方面至第25方面中任一项所述的光学度量系统，其中所述虚拟对象包括棋盘图案、几何图案或随机图案。
在第27方面，根据第20方面至第26方面中任一项所述的光学度量系统，其中所述显示器包括多个像素，并且所述目标光场对应于比被照射的所述多个像素中的所有像素少的子集。
在第28方面，根据第20方面至第27方面中任一项所述的光学度量系统，其中所述所测量的焦点位置包括焦深。
在第29方面，根据第28方面所述的光学度量系统，其中所述所测量的焦点位置进一步包括横向焦点位置。
在第30方面，根据第29方面所述的光学度量系统，其中所确定的缺陷至少部分地基于所述预期焦点位置与所述所测量的焦点位置之间的误差矢量。
在第31方面，根据第20方面至第30方面中任一项所述的光学度量系统，其中所确定的缺陷包括空间缺陷。
在第32方面，根据第20方面至第31方面中任一项所述的光学度量系统，其中所确定的缺陷包括色度缺陷。
在第33方面，根据第20方面至第32方面中任一项所述的光学度量系统，其中所述处理器进一步被编程为至少部分地基于所确定的缺陷来确定用于所述显示器的误差校正。
在第34方面，公开了一种用于测量光场中的缺陷的方法，所述方法包括：访问与由显示器投影的光场的一部分对应的一个或多个图像，所述光场的所述一部分具有预期焦点位置；分析所述一个或多个图像以识别与所述光场的所述一部分的对焦位置对应的所测量的焦点位置；以及至少部分地基于所测量的焦点位置与所述预期焦点位置的比较来确定所述光场中的缺陷。
在第35方面，根据第34方面所述的方法，包括扫描相机的焦点以获得所述一个或多个图像。
在第36方面，根据第34方面所述的方法，包括使用光场相机来获得所述一个或多个图像。
在第37方面，根据第34方面至第36方面中任一项所述的方法，进一步包括对包括棋盘图案的光场图像进行投影。
在第38方面，根据第34方面至第37方面中任一项所述的方法，进一步包括至少部分地基于所确定的缺陷来确定用于所述光场的误差校正。
校准显示器的其它方面
在第39方面，提供了一种用于显示器的校准系统。所述校准系统包括：相机，其被配置为获取显示器的图像；以及硬件处理器，其与所述相机进行通信，所述硬件处理器被编程为：接收所述显示器的图像；确定用于所述显示器的校准；以及将所述校准存储在与所述显示器相关联的存储器中。
在第40方面，根据第39方面所述的校准系统，其中所述校准包括用于校正所述显示器中的空间缺陷的空间校准。
在第41方面，根据第39方面所述的校准系统，其中所述校准包括用于校正所述显示器中的颜色缺陷的色度校准。
在第42方面，根据第39方面至第41方面中任一项所述的校准系统，其中所述显示器包括视场中的多个像素，并且其中为了确定所述校准，所述硬件处理器被编程为：确定与所述显示器的视场中的像素无关的全局变换参数；以及确定依赖于所述显示器的视场中的像素的局部变换参数。
在第43方面，根据第42方面所述的校准系统，其中所述全局变换参数包括一个或多个非线性伽马校正。
在第44方面，根据第42方面或第43方面所述的校准系统，其中所述局部变换包括线性函数。
在第45方面，根据第39方面至第44方面中任一项所述的校准系统，其中为了确定所述校准，所述硬件处理器被编程为使用来自所述相机所采集的图像的反馈迭代地求解所述校准。
在第46方面，根据第39方面至第45方面中任一项所述的校准系统，其中所述校准包括色度校准，所述显示器包括能够提供白点的多个颜色层级，以及为了确定所述校准，所述硬件处理器被编程为调整所述颜色层级的强度，使得所述白点在所述显示器的整个视场范围内基本均匀。
在第47方面，根据第46方面所述的校准系统，其中为了确定所述校准，所述硬件处理器被编程为：求解将发送到所述显示器的颜色层级映射到第一中间颜色表示的第一伽马校正；求解将所述第一中间颜色表示映射到第二中间颜色表示的像素依赖耦合函数；以及求解将所述第二中间颜色表示映射到由所述相机配准的颜色层级的第二伽马校正。
在第48方面，根据第47方面所述的校准系统，其中所述硬件处理器被编程为在求解所述像素依赖耦合函数之前求解所述第一伽马校正和所述第二伽马校正。
在第49方面，根据第39方面至第48方面中任一项所述的校准系统，其中所述显示器包括光场显示器。
在第50方面，根据第39方面至第49方面中任一项所述的校准系统，其中所述显示器包括可堆叠的波导组件，所述可堆叠的波导组件包括多个波导。
在第51方面，根据第39方面至第50方面中任一项所述的校准系统，其中所述显示器被配置用于可穿戴显示系统。
在第52方面，提供了一种用于校准显示器的方法。所述方法在由计算机硬件执行的动态校准系统的控制下，且包括：访问用于所述显示器的校准；至少部分地基于所访问的校准来确定应用于所述显示器的校正以至少部分地校正所述显示器中的缺陷；以及对所述显示器应用所述校正。
在第53方面，根据第52方面所述的方法，其中访问所述校准包括色度校准。
在第54方面，根据第53方面所述的方法，其中所述显示器包括视场中的多个像素，并且所述色度校准包括多个与像素无关的非线性伽马校正和像素依赖耦合函数。
在第55方面，根据第52方面至第54方面中任一项所述的方法，其中所述显示器包括光场显示器。
在第56方面，提供了一种头戴式显示器，其包括：显示器；存储器，其被配置为存储校准；以及硬件处理器，其与非暂时性存储器进行通信并被编程为执行根据第14方面至第17方面中任一项所述的方法。
校准图案的其它方面
在第57方面，一种用于校准由显示器生成的光场的光学系统，所述光学系统包括：显示器，其被配置为投影目标光场，所述目标光场包括包含特征点的校准图案；相机，其被配置为获得所述目标光场的图像；处理器，其用可执行指令被编程为：针对多个位置中的每一个：使所述显示器在所述多个位置中的一位置处投影所述校准图案；使所述相机获得所投影的校准图案的图像；计算所述特征点的失真，其中所述失真对应于所述特征点的期望位置与所述特征点的测量位置之间的误差，或所述校准图案的期望亮度或色度与所述校准图案的测量的亮度或色度之间的误差；以及响应于所述多个位置中的下一位置的确定，移位所述校准图案以在所述下一位置处显示。
在第58方面，根据第57方面所述的光学系统，其中所述校准图案包括棋盘图案。
在第59方面，根据第57方面所述的光学系统，其中所述多个位置的数量对应于所述棋盘图案的棋盘格中的像素的数量。
在第60方面，根据第57方面所述的光学系统，其中所述校准图案包括单像素图案。
在第61方面，根据第60方面所述的光学系统，其中所述多个位置的数量对应于所显示的像素的数量。
在第62方面，根据第57方面至第61方面中任一项所述的光学系统，其中所述处理器进一步被编程为至少部分地基于与所述多个位置对应的所计算的失真来生成失真图。
在第63方面，根据第57方面至第62方面中任一项所述的光学系统，其中所述处理器进一步被编程为至少部分地基于与所述多个位置对应的所计算的失真来确定用于所述显示器的误差校正。
在第64方面，根据第57方面至第63方面中任一项所述的光学系统，其中所述显示器包括单独的红色层、绿色层和蓝色层。
在第65方面，根据第57方面至第64方面中任一项所述的光学系统，其中所述显示器包括光场显示器。
在第66方面，根据第65方面所述的光学系统，其中所述光场显示器包括堆叠波导组件。
在第67方面，根据第66方面所述的光学系统，其中所述堆叠波导组件包括分别对应于两个或更多个深度平面的两个或更多个波导。
在第68方面，根据第57方面至第67方面中任一项所述的光学系统，其中所计算的失真进一步包括亮度失真或色度失真。
在第69方面，提供了一种用于校准由显示器生成的光场的方法。所述方法包括针对多个位置中的每一个：使所述显示器在所述多个位置中的一位置处投影校准图案；使所述相机获得所投影的校准图案的图像；计算特征点的失真，其中所述失真对应于所述特征点的期望位置与所述特征点的测量位置之间的误差，或所述特征点的期望亮度或色度与所述特征点的测量的亮度或色度之间的误差；以及响应于对所述多个位置中的下一位置的确定，移位所述校准图案以在所述下一位置处显示。
在第70方面，根据第69方面所述的方法，其中所述校准图案是棋盘图案。
在第71方面，根据第70方面所述的方法，其中所述多个位置的数量对应于所述棋盘图案的棋盘格中的像素的数量。
在第72方面，根据第69方面所述的方法，其中所述校准图案包括单像素图案、随机图案或几何图案。
在第73方面，根据第72方面所述的方法，其中所述多个位置的数量对应于所显示的像素的数量。
在第74方面，根据第69方面至第73方面中任一项所述的方法，进一步包括：至少部分地基于与所述多个位置对应的所计算的失真来生成失真图。
在第75方面，根据第69方面至第74方面中任一项所述的方法，进一步包括：至少部分地对应与所述多个位置基于的所计算的失真来确定用于所述显示器的误差校正。
在第76方面，根据第69方面至第75方面中任一项所述的光学系统，其中所述显示器包括单独的红色层、绿色层和蓝色层。
在第77方面，根据第69方面至第76方面中任一项所述的光学系统，其中所述显示器包括光场显示器。
在第78方面，根据第77方面所述的光学系统，其中所述光场显示器包括堆叠波导组件。
在第79方面，根据第78方面所述的光学系统，其中所述堆叠波导组件包括分别对应于两个或更多个深度平面的两个或更多个波导。
在第80方面，根据第69方面至第79方面中任一项所述的光学系统，其中所计算的失真进一步包括亮度失真或色度失真。
执行动态校准的其它方面
在第81方面，提供了一种显示系统。所述显示系统包括：眼睛追踪相机；显示器；非暂时性数据存储器，其被配置为存储用于所述显示器的多个校准，所述多个校准中的每个校准与相对于所述显示器的校准位置相关联；以及硬件处理器，其与所述眼睛追踪相机、所述显示器和所述非暂时性数据存储器进行通信，所述硬件处理器被编程为：确定所述显示器的用户的相对于所述显示器的眼睛位置；至少部分地基于所确定的眼睛位置来访问所述多个校准中的一者或多者；至少部分地基于所述多个校准中的所述一者或多者来确定应用于所述显示器的校正以至少部分地校正所述显示器中的缺陷；以及对所述显示器应用所述校正。
在第82方面，根据第81方面所述的显示系统，其中校准位置的数量为2、3、4、5、6、7、8、9或更多个。
在第83方面，根据第81方面或第82方面所述的显示系统，其中所述校准位置以网格形式跨所述显示器分布。
在第84方面，根据第83方面所述的显示系统，其中所述网格包括2×2、3×3、5×5或9×9网格。
在第85方面，根据第81方面至第84方面中任一项所述的显示系统，其中所述多个校准中的所述一者或多者包括与最接近所述眼睛位置的校准位置相关联的校准。
在第86方面，根据第81方面至第85方面中任一项所述的显示系统，其中为了确定所述校正，所述硬件处理器被编程为在所述多个校准中的所述一者或多者当中内插或外插。
在第87方面，根据第81方面至第86方面中任一项所述的显示系统，其中所述多个校准中的每个校准校正所述显示器的空间缺陷、所述显示器的色度缺陷、或所述空间缺陷与所述色度缺陷两者。
在第88方面，根据第81方面至第87方面中任一项所述的显示系统，其中所述显示器包括光场显示器。
在第89方面，根据第81方面至第88方面中任一项所述的显示系统，其中所述显示器包括可堆叠的波导组件，所述可堆叠的波导组件包括多个波导。
在第90方面，根据第81方面至第89方面中任一项所述的显示系统，其中所述显示器被配置为可穿戴显示系统。
在第91方面，提供了一种头戴式显示器，其包括根据第81方面至第90方面中任一项所述的显示系统。
在第92方面，提供了一种用于校准显示器的方法。所述方法在由计算机硬件执行的动态校准系统的控制下，且包括：确定所述显示器的用户的眼睛位置；至少部分地基于所确定的眼睛位置访问用于所述显示器的校准，其中所述校准与所确定的眼睛位置附近的校准位置相关联；至少部分地基于所访问的校准来确定应用于所述显示器的校正以至少部分地校正所述显示器中的缺陷；以及对所述显示器应用所述校正。
在第93方面，根据第92方面所述的方法，其中访问所述校准包括从多个校准中选择一个或多个校准，其中每个校准与相对于所述显示器的不同校准位置相关联。
在第94方面，根据第93方面所述的方法，其中所述校准位置以网格形式跨所述显示器布置。
在第95方面，根据第92方面至第94方面中任一项所述的方法，其中所述校准校正所述显示器的空间缺陷、所述显示器的色度缺陷、或者所述空间缺陷与所述色度缺陷两者。
在第96方面，根据第92方面至第95方面中任一项所述的方法，其中确定所述校正包括在与眼睛姿态附近的校准位置相关联的一个或多个校准当中内插或外插。
在第97方面，根据第92方面至第96方面中任一项所述的方法，其中所述显示器包括光场显示器。
在第98方面，提供了一种头戴式显示器，其包括眼睛追踪系统和硬件处理器，所述硬件处理器被编程为执行根据第92方面至第97方面中任一项所述的方法。
光学度量系统的其它方面
在第99方面，提供了一种用于测量由显示器生成的光场中的缺陷的光学度量系统。所述光学度量系统包括：显示器，其被配置为投影目标光场，所述目标光场包括具有期望焦点位置的虚拟对象；相机，其被配置为获得所述目标光场的图像；硬件处理器，其用可执行的指令被编程为：访问与所述光场的一部分对应的一个或多个图像；分析所述一个或多个图像，以识别与所述虚拟对象的对焦位置对应的所测量的焦点位置；以及至少部分地基于所述所测量的焦点位置与所述期望焦点位置的比较来确定所述光场中的缺陷。
在第100方面，根据第99方面所述的光学度量系统，其中所述显示器包括波导堆叠，其被配置为输出光以将所述虚拟对象投影到至少一个深度平面。
在第101方面，根据第99方面至第100方面中任一项所述的光学度量系统，其中所述相机包括具有小焦深的数字相机。
第102方面，根据第101方面所述的光学度量系统，其中所述相机具有焦点，并且所述系统被配置为在焦点范围内扫描所述相机的焦点以获得所述一个或多个图像。
在第103方面，根据第99方面至第102方面中任一项所述的光学度量系统，其中所述相机包括光场相机。
在第104方面，根据第99方面至第103方面中任一项所述的光学度量系统，其中所述虚拟对象包括棋盘图案、几何图案或随机图案。
在第105方面，根据第99方面至第104方面中任一项所述的光学度量系统，其中所述显示器包括多个像素，并且所述目标光场对应于少比受照射的所述多个像素中的所有像素少的子集。
在第106方面，根据第99方面至第105方面中任一项所述的光学度量系统，其中所述所测量的焦点位置包括焦深。
在第107方面，根据第106方面所述的光学度量系统中，其中所述所测量的焦点位置进一步包括横向焦点位置。
在第108方面，根据第99方面至第107方面中任一项所述的光学度量系统，其中所确定的缺陷至少部分地基于所述预期焦点位置与所述所测量的焦点位置之间的误差矢量。
在第109方面，根据第99方面至第108方面中任一项所述的光学度量系统，其中所述硬件处理器进一步被编程为至少部分地基于所确定的缺陷来确定用于所述显示器的误差校正。
在第110方面，根据第99方面至第109方面中任一项所述的光学度量系统，其中所述硬件处理器进一步被编程为应用显示器到相机像素映射，以将所述显示器的像素值转换为所述相机的像素值。
在第111方面，根据第110方面所述的光学度量系统，其中所述显示器到相机像素映射包括：第一伽马校正，其将所述显示器的颜色层级映射到第一中间颜色表示；像素依赖耦合函数，其将所述第一中间颜色表示映射到第二中间颜色表示；以及第二伽马校正，其将第二中间颜色表示映射到由所述相机配准的颜色层级。
在第112方面，根据第99方面至第111方面中任一项所述的光学度量系统，其中所确定的缺陷包括空间缺陷。
在第113方面，根据第112方面所述的光学度量系统，其中所述空间缺陷包括平面内平移、旋转、缩放或扭曲误差或平面外或焦深误差中的一者或多者。
在第114方面，根据第99方面至第113方面中任一项所述的光学度量系统，其中所确定的缺陷包括色度缺陷。
在第115方面，根据第114方面所述的光学度量系统，其中所述色度缺陷包括与所述显示器可显示的颜色相关联的亮度平坦度或色度均匀度误差中的一者或多者。
在第116方面，提供了一种用于对显示器执行图像校正的光学度量系统。所述系统包括：相机，其被配置为捕获由所述显示器投影的光场的图像，所述光场与所述显示器的显示层相关联；硬件处理器，其用可执行的指令被编程为：至少部分地基于由所述相机捕获的图像来生成矢量场，所述矢量场包括矢量，所述矢量对应于所述显示层的点的投影位置与期望位置之间的偏差；至少部分地基于所述矢量场计算用于所述显示器的对中校正、聚合旋转校正、聚合缩放校正或空间映射中的至少一者；至少部分地基于由所述相机捕获的图像来计算与所述显示层上的多个点对应的亮度值；以及至少部分地基于所确定的亮度值，计算用于所述显示器的亮度平坦化校正或色度平衡化校正。
在第117方面，根据第116方面所述的光学度量系统，其中所述显示器的所述显示层包括颜色层或深度层。
在第118方面，根据第116方面至第117方面中任一项所述的光学度量系统，其中所述相机包括光场相机或具有小焦深的数字相机。
在第119方面，根据第116方面至第118方面中任一项所述的光学度量系统，其中为了计算所述对中校正，所述硬件处理器被编程为确定平移矢量，所述平移矢量对应于所投影的显示层的所识别的中心点与期望中心点位置之间的平移误差。
在第120方面，根据第116方面至第119方面中任一项所述的光学度量系统，其中为了计算所述聚合旋转校正，所述硬件处理器被编程为确定与所投影的显示层绕中心点的旋转对应的旋转量，以使得所述投影位置与所述期望位置之间的像素误差量减小或最小化。
在第121方面，根据第116方面至第120方面中任一项所述的光学度量系统，其中为了计算所述聚合旋转校正，所述硬件处理器被编程为计算所述矢量场的旋度。
在第122方面，根据第116方面至第121方面中任一项所述的光学度量系统，其中为了计算所述聚合缩放校正，所述硬件处理器被编程为确定与所投影的显示层绕中心点的缩放对应的缩放量，以使得所述投影位置与所述期望位置之间的像素误差量减小或最小化。
在第123方面，根据第116方面至第122方面中任一项所述的光学度量系统，其中为了计算所述聚合缩放校正，所述硬件处理器被编程为计算所述矢量场的散度。
在第124方面，根据第116方面至第123方面中任一项所述的光学度量系统，其中为了计算所述空间映射，所述硬件处理器被编程为确定非线性变换，以将所述显示层的所述投影位置与所述期望位置对准。
在第125方面，根据第116方面至第124方面中任一项所述的光学度量系统，其中为了计算所述亮度平坦化校正，所述硬件处理器被编程为：确定阈值亮度值；以及计算将大于所述阈值亮度值的每个亮度值降低到所述阈值亮度值的量。
在第126方面，根据第116方面至第125方面中任一项所述的光学度量系统，其中为了计算所述色度平衡化校正，所述硬件处理器被编程为：识别与所述显示层相关联的颜色簇，所述颜色簇包括至少一个另外的显示层；针对所述显示层的每个点，将对应于所述显示层上的点的亮度值与对应于所述另外的显示层上的点的亮度值进行比较；以及计算将每个亮度值降低到与其对应的点相关联的最低亮度值的量。
动态显示校准的其它方面
在第127方面，提供了一种显示系统。所述显示系统包括：眼睛追踪相机；显示器；非暂时性数据存储器，其被配置为存储用于所述显示器的多个校准，所述多个校准中的每个校准与相对于所述显示器的校准位置相关联；以及硬件处理器，其与所述眼睛追踪相机、所述显示器和所述非暂时性数据存储器进行通信，所述硬件处理器被编程为：基于来自所述眼睛追踪相机的信息，确定所述显示器的用户的相对于所述显示器的眼睛位置；至少部分地基于所确定的眼睛位置，访问所述多个校准中的一者或多者；至少部分地基于所述多个校准中的所述一者或多者，计算应用于所述显示器的校正以至少部分地校正所述显示器中的缺陷；以及对所述显示器应用所述校正。
在第128方面，根据第127方面所述的显示系统，其中所述校准位置的数量为2、3、4、5、6、7、8、9或更多个。
在第129方面，根据第127方面到第128方面中任一项所述的显示系统，其中所述校准位置以网格形式跨所述显示器分布。
在第130方面，根据第129方面所述的显示系统，其中所述网格包括2×2、3×3、5×5或9×9网格。
在第131方面，根据第127方面到第130方面中任一项所述的显示系统，其中所述多个校准中的所述一者或多者包括与最接近所述眼睛位置的校准位置相关联的校准。
在第132方面，根据第127方面到第131方面中任一项所述的显示系统，其中为了计算所述校正，所述硬件处理器被编程为至少部分地基于所述多个校准中的所述一者或多者的所述校准位置和所确定的眼睛位置，在所述多个校准中的所述一者或多者当中内插或外插。
在第133方面，根据第127方面到第132方面中任一项所述的显示系统，其中所述显示器包括与所述用户的第一眼睛相关联的第一显示器和与所述用户的第二眼睛相关联的第二显示器，并且所述硬件处理器被编程为确定所述用户的相对于所述第一显示器的所述眼睛位置并应用所确定的眼睛位置来计算用于所述第二显示器的校正。
在第134方面，根据第127方面到第133方面中任一项所述的显示系统，其中所述显示器包括与所述用户的第一眼睛相关联的第一显示器和与所述用户的第二眼睛相关联的第二显示器，并且其中所述多个校准中的至少一些表示用于所述第一显示器和所述第二显示器的平均校准。
在第135方面，根据第127方面到第134方面中任一项所述的显示系统，其中所述显示器包括光场显示器。
在第136方面，根据第127方面到第135方面中任一项所述的显示系统，其中所述显示器包括可堆叠的波导组件，所述可堆叠的波导组件包括多个波导。
在第137方面，根据第127方面到第136方面中任一项所述的显示系统，其中所述显示器被配置为头戴式可穿戴显示系统。
在第138方面，根据第127方面到第137方面中任一项所述的显示系统，其中所述多个校准中的每个校准校正所述显示器的空间缺陷、所述显示器的色度缺陷、或者所述空间缺陷与所述色度缺陷两者。
在第139方面，根据第138方面所述的显示系统，其中所述空间缺陷包括平面内平移、旋转、缩放或扭曲误差或平面外或焦深误差中的一者或多者。
在第140方面，根据第138方面所述的显示系统，其中所述色度缺陷包括与所述显示器可显示的颜色相关联的亮度平坦度或色度均匀度误差中的一者或多者。
在第141方面，提供了一种用于校准显示器的方法。所述方法在由计算机硬件执行的动态校准系统的控制下，且包括：确定所述显示器的用户的眼睛位置；至少部分地基于所确定的眼睛位置，访问用于所述显示器的校准，其中所述校准是基于相关联的校准位置和所确定的眼睛位置而被选择的；至少部分地基于所访问的校准，计算应用于所述显示器的校正以至少部分地校正所述显示器中的缺陷；以及对所述显示器应用所述校正。
在第142方面，根据第141方面所述的方法，其中访问所述校准包括从多个校准中选择一个或多个校准，其中每个校准与相对于所述显示器的不同校准位置相关联。
在第143方面，根据第142方面所述的方法，其中所述校准位置以网格形式跨所述显示器布置。
在第144方面，根据第142方面至第143方面中任一项所述的方法，其中计算所述校正包括基于所述多个校准中的所述一个或多个校准的相关联的所述校准位置和所确定的眼睛位置，在所述多个校准中的所述一个或多个校准当中内插或外插。
在第145方面，根据第141方面至第144方面中任一项所述的方法，进一步包括访问所述显示器的用户的眼睛的图像，并且至少部分地基于所述眼睛的图像来确定所述眼睛位置。
在第146方面，根据第141方面至第145方面中任一项所述的方法，其中计算所述校准包括校准所述显示器的空间缺陷、所述显示器的色度缺陷、或者所述空间缺陷与所述色度缺陷两者。
在第147方面，提供了一种可穿戴显示系统，包括：面向内的成像系统；显示器；非暂时性数据存储器，其被配置为存储用于所述显示器的多个校准，所述多个校准中的每个校准与相对于所述显示器的校准位置相关联；以及硬件处理器，其与所述面向内的成像系统、所述显示器和所述非暂时性数据存储器进行通信，所述硬件处理器被编程为：使用所述面向内的成像系统确定所述显示器的用户的相对于所述显示器的眼睛位置；至少部分地基于所确定的眼睛位置和所述多个校准中的一个或多个校准，计算应用于所述显示器的校正以至少部分地校正所述显示器中的空间缺陷或所述显示器中的色度缺陷中的一者或多者；以及对所述显示器应用所述校正。
在第148方面，根据第147方面所述的可穿戴显示系统，其中所述硬件处理器被编程为经由监视所述眼睛位置的改变的反馈回路而应用所述校正。
在第149方面，根据第147方面至第148方面中任一项所述的可穿戴显示系统，其中所述硬件处理器被编程为确定所述眼睛位置相对于先前眼睛位置的改变，并且在所述改变超过阈值的情况下计算所述校正。
在第150方面，根据第147方面至第149方面中任一项所述的可穿戴显示系统，其中所述空间缺陷包括平面内平移、旋转、缩放或扭曲误差或平面外或焦深误差中的一者或多者。
在第151方面，根据第147方面至第150方面中任一项所述的可穿戴显示系统，其中所述色度缺陷包括与所述显示器可显示的颜色相关联的亮度平坦度或色度均匀度误差中的一者或多者。
结论
这里描述和/或附图中描绘的过程、方法和算法中的每一个可以体现在由一个或多个物理计算系统、硬件计算机处理器、应用专用电路和/或被配置为执行特定和特殊的计算机指令的电子硬件所执行的代码模块中并且完全或部分地由该代码模块自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言编写。在一些实施方式中，特定操作和方法可以由专用于给定功能的电路来执行。
此外，本公开的功能的某些实施方式在数学上、计算上或技术上是足够复杂的，使得应用专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)对于执行功能可能是必需的，例如由于所涉及的计算的数量或复杂性或为了基本上实时提供结果。例如，视频可以包括许多帧，每帧具有数百万个像素，并且具体地编程的计算机硬件对于处理视频数据是必需的以在商业上合理的时间量内提供期望的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器、其组合和/或类似物。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的和有线/基于线缆的介质，并且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的方法或方法步骤的结果可以持久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质来通信。
在此描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，代码包括一个或多个可执行指令以实现特定功能(例如，逻辑或算术)或方法中的步骤。各种方法、框、状态、步骤或功能可以与本文提供的说明性示例相组合，重新排列，添加，删除，修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的功能中的一些或全部。这里描述的方法和过程也不限于任何特定的序列，并且与其相关的块、步骤或状态可以以适当的其他序列来执行，例如串行、并行或以某种其他方式。可以向所公开的示例性实施例添加任务或事件或者从中移除任务或事件。此外，这里描述的实现中的各种系统组件的分离是出于说明的目的，并且不应该被理解为在所有实施方式中都需要这种分离。应该理解，所描述的程序组件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。许多实施方式变化是可能的。
过程、方法和系统可以在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、因特网和万维网。网络可以是有线或无线网络或任何其他类型的通信网络。
本公开的系统和方法各自具有若干创新性方面，其中没有单独一个对于本文公开的期望属性完全负责或需要。上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合均旨在落入本公开的范围内。对于本公开中所描述的实施方式的各种修改对于本领域技术人员来说可能是显而易见的，并且在不脱离本公开的精神或范围的情况下，可将本文中定义的一般原理应用于其他实施方式。因此，权利要求不旨在限于本文所示的实施方式，而是应被赋予与本公开一致的最宽范围，本文公开的原理和新颖特征。
在本说明书中在分开的实施方式的上下文中描述的某些特征也可以在单个实施方式中组合实施。相反，在单个实施方式的上下文中描述的各种特征也可以分开或者以任何合适的子组合在多个实施方式中实施。此外，尽管上文可以将特征描述为以某些组合起作用并且甚至最初如此要求，但是来自所要求保护的组合的一个或多个特征可以在一些情况下从组合中删除，并且所要求保护的组合可以针对子组合或变体的子组合。没有单个特征或特征组对于每个实施例是必要或是必不可少的。
除非另有明确说明，否则本文中使用的条件语言，诸如“能够”、“可能”“应该”、“可以”、“例如”等等，或者在上下文中以其他方式理解的，为一般地意在表达某些实施例包括，而其他实施例不包括某些特征、元件和/或步骤。因此，这样的条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或者没有作者输入或提示的情况下决定是否这些特征、元件和/或步骤包括在任何特定实施例中或将在任何特定实施例中执行。术语“包括”、“包含”、“具有”等是同义词，并且以开放式的方式包含性地使用，并且不排除附加的元件、特征、动作、操作等等。此外，术语“或”以其包含性含义(而不是其专有含义)使用，因此当用于例如连接元素列表时，术语“或”表示一个、一些或全部列表中的元素。另外，除非另有说明，否则本申请和所附权利要求中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。
如本文所使用的，提及项目列表中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。举例来说，“A、B或C中的至少一个”旨在覆盖：A、B、C，、A和B、A和C、B和C以及A、B和C。连接语言例如短语“X、Y和Z中的至少一个”，除非另有特别说明，否则在通常用于表达项目，术语等可以是X、Y或Z中的至少一个。因此，这样的连接语言通常并不意味着某些实施方案需要X中的至少一个，Y中的至少一个和Z中的至少一个存在。
类似地，尽管可以在特定顺序中在附图中描绘操作，但应认识到，这些操作不需要以所示出的特定顺序或按顺序执行，或者所有所示操作都要执行，以实现理想的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作可以并入示意性说明的示例性方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其他实施中，操作可以重新安排或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施方式中的各种系统组件的分离不应该被理解为在所有实施方式中都需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品。另外，其他实施方式在以下权利要求的范围内。在一些情况下，权利要求中列举的动作可以以不同的顺序执行并且仍然实现期望的结果。

Claims (25)

1.一种显示系统，包括：
眼睛追踪相机；
显示器；
非暂时性数据存储器，其被配置为存储用于所述显示器的多个校准，所述多个校准中的每个校准与相对于所述显示器的校准位置相关联；以及
硬件处理器，其与所述眼睛追踪相机、所述显示器和所述非暂时性数据存储器进行通信，所述硬件处理器被编程为：
基于来自所述眼睛追踪相机的信息，确定所述显示器的用户的相对于所述显示器的眼睛位置；
至少部分地基于所确定的眼睛位置，访问所述多个校准中的一者或多者；
至少部分地基于所述多个校准中的所述一者或多者，计算应用于所述显示器的校正以至少部分地校正所述显示器中的缺陷；以及
对所述显示器应用所述校正。
2.根据权利要求1所述的显示系统，其中所述校准位置的数量为2、3、4、5、6、7、8、9或更多个。
3.根据权利要求1所述的显示系统，其中所述校准位置以网格形式跨所述显示器分布。
4.根据权利要求3所述的显示系统，其中所述网格包括2×2、3×3、5×5或9×9网格。
5.根据权利要求1所述的显示系统，其中所述多个校准中的所述一者或多者包括与最接近所述眼睛位置的校准位置相关联的校准。
6.根据权利要求1所述的显示系统，其中为了计算所述校正，所述硬件处理器被编程为至少部分地基于所述多个校准中的所述一者或多者的所述校准位置和所确定的眼睛位置，在所述多个校准中的所述一者或多者当中内插或外插。
7.根据权利要求1所述的显示系统，其中所述显示器包括与所述用户的第一眼睛相关联的第一显示器和与所述用户的第二眼睛相关联的第二显示器，并且所述硬件处理器被编程为确定所述用户的相对于所述第一显示器的所述眼睛位置并应用所确定的眼睛位置来计算用于所述第二显示器的校正。
8.根据权利要求1所述的显示系统，其中所述显示器包括与所述用户的第一眼睛相关联的第一显示器和与所述用户的第二眼睛相关联的第二显示器，并且其中所述多个校准中的至少一些表示用于所述第一显示器和所述第二显示器的平均校准。
9.根据权利要求1所述的显示系统，其中所述显示器包括光场显示器。
10.根据权利要求1所述的显示系统，其中所述显示器包括可堆叠的波导组件，所述可堆叠的波导组件包括多个波导。
11.根据权利要求1所述的显示系统，其中所述显示器被配置为头戴式可穿戴显示系统。
12.根据权利要求1至11中任一项所述的显示系统，其中所述多个校准中的每个校准校正所述显示器的空间缺陷、所述显示器的色度缺陷、或者所述空间缺陷与所述色度缺陷两者。
13.根据权利要求12所述的显示系统，其中所述空间缺陷包括平面内平移、旋转、缩放、或扭曲误差、或者平面外或焦深误差中的一者或多者。
14.根据权利要求12所述的显示系统，其中所述色度缺陷包括与所述显示器可显示的颜色相关联的亮度平坦度误差或色度均匀度误差中的一者或多者。
15.一种用于校准显示器的方法，所述方法包括：
在由计算机硬件执行的动态校准系统的控制下：
确定所述显示器的用户的眼睛位置；
至少部分地基于所确定的眼睛位置，访问用于所述显示器的校准，其中所述校准是基于相关联的校准位置和所确定的眼睛位置而被选择的；
至少部分地基于所访问的校准，计算应用于所述显示器的校正以至少部分地校正所述显示器中的缺陷；以及
对所述显示器应用所述校正。
16.根据权利要求15所述的方法，其中访问所述校准包括从多个校准中选择一个或多个校准，其中每个校准与相对于所述显示器的不同校准位置相关联。
17.根据权利要求16所述的方法，其中所述校准位置以网格形式跨所述显示器布置。
18.根据权利要求16所述的方法，其中计算所述校正包括基于所述多个校准中的所述一个或多个校准的相关联的校准位置和所确定的眼睛位置，在所述多个校准中的所述一个或多个校准当中内插或外插。
19.根据权利要求15所述的方法，进一步包括访问所述显示器的用户的眼睛的图像，并且至少部分地基于所述眼睛的图像来确定所述眼睛位置。
20.根据权利要求15至19中任一项所述的方法，其中计算所述校准包括校准所述显示器的空间缺陷、所述显示器的色度缺陷，或者所述空间缺陷与所述色度缺陷两者。
21.一种可穿戴显示系统，包括：
面向内的成像系统；
显示器；
非暂时性数据存储器，其被配置为存储用于所述显示器的多个校准，所述多个校准中的每个校准与相对于所述显示器的校准位置相关联；以及
硬件处理器，其与所述面向内的成像系统、所述显示器和所述非暂时性数据存储器进行通信，所述硬件处理器被编程为：
使用所述面向内的成像系统确定所述显示器的用户的相对于所述显示器的眼睛位置；
至少部分地基于所确定的眼睛位置和所述多个校准中的一个或多个校准，计算应用于所述显示器的校正以至少部分地校正所述显示器中的空间缺陷或所述显示器中的色度缺陷中的一者或多者；以及
对所述显示器应用所述校正。
22.根据权利要求21所述的可穿戴显示系统，其中所述硬件处理器被编程为经由监视所述眼睛位置的改变的反馈回路应用所述校正。
23.根据权利要求21所述的可穿戴显示系统，其中所述硬件处理器被编程为确定所述眼睛位置相对于先前眼睛位置的改变，并且在所述改变超过阈值的情况下计算所述校正。
24.根据权利要求21至23中任一权利要求所述的可穿戴显示系统，其中所述空间缺陷包括平面内平移、旋转、缩放、或扭曲误差、或者平面外或焦深误差中的一者或多者。
25.根据权利要求21至23中任一项所述的可穿戴显示系统，其中所述色度缺陷包括与所述显示器可显示的颜色相关联的亮度平坦度误差或色度均匀度误差中的一者或多者。
CN201680077872.5A 2015-11-04 2016-11-02 可穿戴显示系统和用于校准可穿戴显示器的方法 Active CN108476311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110382304.9A CN113489967A (zh) 2015-11-04 2016-11-02 可穿戴显示系统和用于校准可穿戴显示器的方法

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201562250934P 2015-11-04 2015-11-04
US201562250925P 2015-11-04 2015-11-04
US62/250,925 2015-11-04
US62/250,934 2015-11-04
US201662278794P 2016-01-14 2016-01-14
US201662278779P 2016-01-14 2016-01-14
US201662278824P 2016-01-14 2016-01-14
US62/278,794 2016-01-14
US62/278,779 2016-01-14
US62/278,824 2016-01-14
PCT/US2016/060158 WO2017079329A1 (en) 2015-11-04 2016-11-02 Dynamic display calibration based on eye-tracking

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110382304.9A Division CN113489967A (zh) 2015-11-04 2016-11-02 可穿戴显示系统和用于校准可穿戴显示器的方法

Publications (2)

Publication Number Publication Date
CN108476311A true CN108476311A (zh) 2018-08-31
CN108476311B CN108476311B (zh) 2021-04-27

Family

ID=58634472

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202110294241.1A Pending CN113358045A (zh) 2015-11-04 2016-11-02 光场显示度量
CN201680077872.5A Active CN108476311B (zh) 2015-11-04 2016-11-02 可穿戴显示系统和用于校准可穿戴显示器的方法
CN202110382304.9A Pending CN113489967A (zh) 2015-11-04 2016-11-02 可穿戴显示系统和用于校准可穿戴显示器的方法
CN201680077871.0A Active CN108474737B (zh) 2015-11-04 2016-11-02 光场显示度量

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110294241.1A Pending CN113358045A (zh) 2015-11-04 2016-11-02 光场显示度量

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202110382304.9A Pending CN113489967A (zh) 2015-11-04 2016-11-02 可穿戴显示系统和用于校准可穿戴显示器的方法
CN201680077871.0A Active CN108474737B (zh) 2015-11-04 2016-11-02 光场显示度量

Country Status (11)

Country Link
US (8) US10260864B2 (zh)
EP (4) EP4235639A3 (zh)
JP (6) JP6983773B2 (zh)
KR (5) KR20240055844A (zh)
CN (4) CN113358045A (zh)
AU (4) AU2016349895B2 (zh)
CA (2) CA3004271C (zh)
IL (4) IL292793B2 (zh)
NZ (2) NZ742532A (zh)
TW (2) TWI648559B (zh)
WO (2) WO2017079333A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047562A (zh) * 2019-11-26 2020-04-21 联想(北京)有限公司 一种处理方法、装置、电子设备及存储介质
CN111399633A (zh) * 2019-01-03 2020-07-10 见臻科技股份有限公司 针对眼球追踪应用的校正方法
CN112306226A (zh) * 2019-07-29 2021-02-02 宏达国际电子股份有限公司 眼动跟踪方法、头戴式显示器以及计算机可读存储介质
CN114270427A (zh) * 2019-05-07 2022-04-01 伍普蒂斯有限公司 用于表征显示器的方法和光学系统
CN115088016A (zh) * 2020-02-05 2022-09-20 Oppo广东移动通信有限公司 用于实现vSLAM系统的动态输入分辨率的方法和系统

Families Citing this family (206)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10048499B2 (en) 2005-11-08 2018-08-14 Lumus Ltd. Polarizing optical system
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
US8693731B2 (en) * 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
JP6102602B2 (ja) 2013-07-23 2017-03-29 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
IL235642B (en) 2014-11-11 2021-08-31 Lumus Ltd A compact head-up display system is protected by an element with a super-thin structure
CN107873086B (zh) 2015-01-12 2020-03-20 迪吉伦斯公司 环境隔离的波导显示器
IL237337B (en) 2015-02-19 2020-03-31 Amitai Yaakov A compact head-up display system with a uniform image
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
NZ773826A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
KR20230025933A (ko) 2015-06-15 2023-02-23 매직 립, 인코포레이티드 멀티플렉싱된 광 스트림들을 인-커플링하기 위한 광학 엘리먼트들을 가진 디스플레이 시스템
US9910276B2 (en) 2015-06-30 2018-03-06 Microsoft Technology Licensing, Llc Diffractive optical elements with graded edges
US10670862B2 (en) 2015-07-02 2020-06-02 Microsoft Technology Licensing, Llc Diffractive optical elements with asymmetric profiles
US9864208B2 (en) * 2015-07-30 2018-01-09 Microsoft Technology Licensing, Llc Diffractive optical elements with varying direction for depth modulation
US10038840B2 (en) 2015-07-30 2018-07-31 Microsoft Technology Licensing, Llc Diffractive optical element using crossed grating for pupil expansion
US10073278B2 (en) 2015-08-27 2018-09-11 Microsoft Technology Licensing, Llc Diffractive optical element using polarization rotation grating for in-coupling
US10690916B2 (en) 2015-10-05 2020-06-23 Digilens Inc. Apparatus for providing waveguide displays with two-dimensional pupil expansion
US10429645B2 (en) 2015-10-07 2019-10-01 Microsoft Technology Licensing, Llc Diffractive optical element with integrated in-coupling, exit pupil expansion, and out-coupling
US10241332B2 (en) 2015-10-08 2019-03-26 Microsoft Technology Licensing, Llc Reducing stray light transmission in near eye display using resonant grating filter
US9946072B2 (en) * 2015-10-29 2018-04-17 Microsoft Technology Licensing, Llc Diffractive optical element with uncoupled grating structures
US10260864B2 (en) 2015-11-04 2019-04-16 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
US10234686B2 (en) 2015-11-16 2019-03-19 Microsoft Technology Licensing, Llc Rainbow removal in near-eye display using polarization-sensitive grating
CA3019946C (en) 2016-04-08 2023-02-28 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
IL295059A (en) 2016-10-05 2022-09-01 Magic Leap Inc A blind eye test for mixed reality calibration
KR20230066124A (ko) 2016-10-09 2023-05-12 루머스 리미티드 직사각형 도파관을 사용하는 개구 배율기
CN113031165B (zh) 2016-11-08 2023-06-02 鲁姆斯有限公司 导光装置、其光学组件及其对应的生产方法
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
CN110199220B (zh) 2016-11-18 2022-11-01 奇跃公司 使用交叉光栅的波导光复用器
AU2017361424B2 (en) 2016-11-18 2022-10-27 Magic Leap, Inc. Spatially variable liquid crystal diffraction gratings
IL304304B2 (en) 2016-12-08 2024-08-01 Magic Leap Inc Light beam breaking devices based on cholesteric liquid crystal
CN110291453B (zh) 2016-12-14 2022-11-01 奇跃公司 使用具有表面对准图案的软压印复制对液晶图案化
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
WO2018122859A1 (en) 2016-12-31 2018-07-05 Lumus Ltd. Eye tracker based on retinal imaging via light-guide optical element
US10108014B2 (en) * 2017-01-10 2018-10-23 Microsoft Technology Licensing, Llc Waveguide display with multiple focal depths
IL268135B2 (en) 2017-01-23 2024-03-01 Magic Leap Inc Eyepiece for virtual, augmented or mixed reality systems
WO2018138714A1 (en) 2017-01-28 2018-08-02 Lumus Ltd. Augmented reality imaging system
KR102655450B1 (ko) 2017-02-22 2024-04-05 루머스 리미티드 광 가이드 광학 어셈블리
IL307602A (en) 2017-02-23 2023-12-01 Magic Leap Inc Variable focus virtual imagers based on polarization conversion
TWI663427B (zh) * 2017-03-15 2019-06-21 宏碁股份有限公司 頭戴式顯示器及利用子像素位移之色差補償方法
IL303471B2 (en) 2017-03-21 2024-08-01 Magic Leap Inc An eye imaging device that uses optical refractive elements
WO2018176493A1 (en) * 2017-04-01 2018-10-04 SZ DJI Technology Co., Ltd. Low-profile multi-band hyperspectral imaging for machine vision
CN107068114B (zh) * 2017-04-24 2019-04-30 北京小米移动软件有限公司 屏幕颜色调整方法、装置、设备及存储介质
CN108931357B (zh) * 2017-05-22 2020-10-23 宁波舜宇车载光学技术有限公司 测试标靶和相应的镜头mtf检测系统及方法
US11119353B2 (en) 2017-06-01 2021-09-14 E-Vision Smart Optics, Inc. Switchable micro-lens array for augmented reality and mixed reality
US10634921B2 (en) * 2017-06-01 2020-04-28 NewSight Reality, Inc. See-through near eye optical display
US10921613B2 (en) * 2017-06-01 2021-02-16 NewSight Reality, Inc. Near eye display and related computer-implemented software and firmware
CN108605081B (zh) * 2017-07-18 2020-09-01 杭州他若信息科技有限公司 智能目标追踪
JP7174929B2 (ja) 2017-07-19 2022-11-18 ルムス エルティーディー． Ｌｏｅを介するｌｃｏｓ照明
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
TWI646466B (zh) * 2017-08-09 2019-01-01 宏碁股份有限公司 視覺範圍映射方法及相關眼球追蹤裝置與系統
CN109387939B (zh) 2017-08-09 2021-02-12 中强光电股份有限公司 近眼式显示装置及其显示影像的校正方法
US10551614B2 (en) 2017-08-14 2020-02-04 Facebook Technologies, Llc Camera assembly with programmable diffractive optical element for depth sensing
WO2019040665A1 (en) 2017-08-23 2019-02-28 Neurable Inc. BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS
US11160449B2 (en) 2017-08-29 2021-11-02 Verily Life Sciences Llc Focus stacking for retinal imaging
US10586342B2 (en) 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
CN107680047A (zh) * 2017-09-05 2018-02-09 北京小鸟看看科技有限公司 一种虚拟现实场景渲染方法、图像处理器和头戴显示设备
WO2019060741A1 (en) 2017-09-21 2019-03-28 Magic Leap, Inc. INCREASED REALITY DISPLAY HAVING A WAVEGUIDE CONFIGURED TO CAPTURE IMAGES OF THE EYE AND / OR THE ENVIRONMENT
US11368657B2 (en) * 2017-09-28 2022-06-21 Disney Enterprises, Inc. Light field based projector calibration method and system
KR102695589B1 (ko) 2017-10-22 2024-08-14 루머스 리미티드 광학 벤치를 사용하는 헤드 장착형 증강 현실 장치
CN111542800B (zh) 2017-11-13 2024-09-17 神经股份有限公司 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口
EP4329296A3 (en) 2017-11-15 2024-05-29 Magic Leap, Inc. System and methods for extrinsic calibration of cameras and diffractive optical elements
US11181977B2 (en) 2017-11-17 2021-11-23 Dolby Laboratories Licensing Corporation Slippage compensation in eye tracking
US10586360B2 (en) 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
CN111417883B (zh) 2017-12-03 2022-06-17 鲁姆斯有限公司 光学设备对准方法
JP7282090B2 (ja) 2017-12-10 2023-05-26 マジック リープ， インコーポレイテッド 光学導波管上の反射防止性コーティング
WO2019118930A1 (en) 2017-12-15 2019-06-20 Magic Leap, Inc. Eyepieces for augmented reality display system
US10681344B2 (en) * 2017-12-15 2020-06-09 Samsung Display Co., Ltd. System and method for mura detection on a display
US10643576B2 (en) 2017-12-15 2020-05-05 Samsung Display Co., Ltd. System and method for white spot Mura detection with improved preprocessing
KR20200100720A (ko) 2017-12-20 2020-08-26 매직 립, 인코포레이티드 증강 현실 뷰잉 디바이스용 인서트
FI129586B (en) * 2017-12-22 2022-05-13 Dispelix Oy Waveguide display element with many pupils and display device
EP3732662B1 (en) 2017-12-29 2023-10-11 InterDigital VC Holdings, Inc. Method and system for maintaining color calibration using common objects
NL2020216B1 (en) * 2017-12-30 2019-07-08 Zhangjiagang Kangde Xin Optronics Mat Co Ltd Method for reducing crosstalk on an autostereoscopic display
IL275615B (en) * 2018-01-02 2022-08-01 Lumus Ltd Augmented reality representatives with active alignment and matching methods
US20190038964A1 (en) * 2018-01-12 2019-02-07 Karthik Veeramani Personalized calibration and adaption of vr experience
IL275822B2 (en) 2018-01-17 2024-02-01 Magic Leap Inc Eye center for determining rotation, choosing depth plane and processing camera position in display systems
CA3088116A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
CN111712192B (zh) 2018-01-18 2024-07-02 神经股份有限公司 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口
DE102018105917A1 (de) * 2018-03-14 2019-09-19 tooz technologies GmbH Verfahren zur benutzerindividuellen Kalibrierung einer auf den Kopf eines Benutzers aufsetzbaren Anzeigevorrichtung für eine augmentierte Darstellung
US10860399B2 (en) 2018-03-15 2020-12-08 Samsung Display Co., Ltd. Permutation based stress profile compression
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
CN111954896B (zh) * 2018-04-12 2024-09-17 凸版印刷株式会社 光场图像生成系统、图像显示系统、形状信息取得服务器、图像生成服务器、显示装置、光场图像生成方法及图像显示方法
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
US11526003B2 (en) 2018-05-23 2022-12-13 Lumus Ltd. Optical system including light-guide optical element with partially-reflective internal surfaces
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
US10495882B1 (en) * 2018-06-04 2019-12-03 Facebook Technologies, Llc Positioning cameras in a head mounted display to capture images of portions of a face of a user
EP3804306B1 (en) 2018-06-05 2023-12-27 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
US11454590B2 (en) 2018-06-21 2022-09-27 Lumus Ltd. Measurement technique for refractive index inhomogeneity between plates of a lightguide optical element (LOE)
US11415812B2 (en) 2018-06-26 2022-08-16 Lumus Ltd. Compact collimating optical device and system
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11106033B2 (en) 2018-07-05 2021-08-31 Magic Leap, Inc. Waveguide-based illumination for head mounted display system
WO2020014700A1 (en) 2018-07-13 2020-01-16 Magic Leap, Inc. Systems and methods for display binocular deformation compensation
US10884492B2 (en) * 2018-07-20 2021-01-05 Avegant Corp. Relative position based eye-tracking system
TWI675583B (zh) * 2018-07-23 2019-10-21 緯創資通股份有限公司 擴增實境系統及其色彩補償方法
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11567336B2 (en) 2018-07-24 2023-01-31 Magic Leap, Inc. Display systems and methods for determining registration between display and eyes of user
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
CN112437872B (zh) 2018-07-24 2024-05-03 奇跃公司 用于成像设备的颜色校准的方法和系统
JP7456995B2 (ja) 2018-07-24 2024-03-27 マジック リープ， インコーポレイテッド 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
WO2020028867A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Depth plane selection for multi-depth plane display systems by user categorization
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US11361474B2 (en) * 2018-08-03 2022-06-14 Magic Leap, Inc. Method and system for subgrid calibration of a display device
CN108985291B (zh) * 2018-08-07 2021-02-19 东北大学 一种基于单摄像头的双眼追踪系统
US10861415B2 (en) * 2018-08-14 2020-12-08 Facebook Technologies, Llc Display device with throughput calibration
JP7487176B2 (ja) 2018-08-22 2024-05-20 マジック リープ， インコーポレイテッド 患者視認システム
KR20210047790A (ko) 2018-08-26 2021-04-30 루머스 리미티드 근안 디스플레이에서의 반사 억제
US10607353B2 (en) * 2018-08-30 2020-03-31 Facebook Technologies, Llc Structured light depth sensing
US11200867B1 (en) 2018-09-07 2021-12-14 Apple Inc. Dynamic uniformity compensation for electronic display
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
CN112703441B (zh) * 2018-09-20 2023-06-13 索尼互动娱乐股份有限公司 显示系统，程序，显示方法和头戴式设备
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
JP7444861B2 (ja) * 2018-09-26 2024-03-06 マジック リープ， インコーポレイテッド 屈折力を有する回折光学要素
US10795630B2 (en) 2018-10-10 2020-10-06 International Business Machines Corporation Configuring computing device to utilize a multiple display arrangement by tracking eye movement
US10803791B2 (en) 2018-10-31 2020-10-13 Samsung Display Co., Ltd. Burrows-wheeler based stress profile compression
TW202026685A (zh) 2018-11-08 2020-07-16 以色列商魯姆斯有限公司 具有反射鏡的光導顯示器
JP7472127B2 (ja) 2018-11-16 2024-04-22 マジック リープ， インコーポレイテッド 画像鮮明度を維持するための画像サイズによってトリガされる明確化
US11237393B2 (en) 2018-11-20 2022-02-01 Magic Leap, Inc. Eyepieces for augmented reality display system
WO2020112560A1 (en) 2018-11-30 2020-06-04 Pcms Holdings, Inc. Method and apparatus to estimate scene illuminant based on skin reflectance database
KR102221991B1 (ko) * 2018-12-06 2021-03-04 한국광기술원 패턴을 생성하여 디스플레이의 초점 조절기능 제공 유무를 판별하는 장치 및 방법
US10990168B2 (en) * 2018-12-10 2021-04-27 Samsung Electronics Co., Ltd. Compensating for a movement of a sensor attached to a body of a user
EP3899642A1 (en) 2018-12-20 2021-10-27 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
CN113454507B (zh) 2018-12-21 2024-05-07 奇跃公司 用于促进波导内的全内反射的气穴结构
US20200209669A1 (en) * 2018-12-28 2020-07-02 Lightspace Technologies, SIA Electro-optical unit for volumetric display device
CN113508328B (zh) * 2019-01-09 2023-11-07 伊奎蒂公司 用于近眼显示器的虚拟图像的颜色校正
US11200656B2 (en) 2019-01-11 2021-12-14 Universal City Studios Llc Drop detection systems and methods
US11361511B2 (en) * 2019-01-24 2022-06-14 Htc Corporation Method, mixed reality system and recording medium for detecting real-world light source in mixed reality
US11686935B2 (en) * 2019-01-29 2023-06-27 Meta Platforms Technologies, Llc Interferometric structured illumination for depth determination
US11425189B2 (en) 2019-02-06 2022-08-23 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
KR20210138609A (ko) 2019-02-15 2021-11-19 디지렌즈 인코포레이티드. 일체형 격자를 이용하여 홀로그래픽 도파관 디스플레이를 제공하기 위한 방법 및 장치
US10650785B1 (en) * 2019-02-21 2020-05-12 Microsoft Technology Licensing, Llc Color management of display device
US10866422B2 (en) 2019-02-21 2020-12-15 Microsoft Technology Licensing, Llc Micro LED display system
JP7398131B2 (ja) 2019-03-12 2023-12-14 ルムス エルティーディー． 画像プロジェクタ
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
KR102664402B1 (ko) * 2019-03-14 2024-05-08 삼성전자주식회사 표시장치에 포함된 광학요소에 의한 노이즈를 보정하기 위한 보정패턴 획득장치와 이를 이용한 노이즈 보정패턴 획득방법
US11024002B2 (en) 2019-03-14 2021-06-01 Intel Corporation Generating gaze corrected images using bidirectionally trained network
JP2022525922A (ja) 2019-03-20 2022-05-20 マジック リープ， インコーポレイテッド 光を収集するためのシステム
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供系统和方法
US11308873B2 (en) 2019-05-23 2022-04-19 Samsung Display Co., Ltd. Redundancy assisted noise control for accumulated iterative compression error
CN114207492A (zh) 2019-06-07 2022-03-18 迪吉伦斯公司 带透射光栅和反射光栅的波导及其生产方法
EP3987343A4 (en) 2019-06-20 2023-07-19 Magic Leap, Inc. EYEWEARS FOR AUGMENTED REALITY DISPLAY SYSTEM
US11099313B2 (en) 2019-06-24 2021-08-24 Magic Leap, Inc. Customized polymer/glass diffractive waveguide stacks for augmented reality/mixed reality applications
AU2020300121B2 (en) 2019-07-04 2024-06-13 Lumus Ltd. Image waveguide with symmetric beam multiplication
CN110310313B (zh) * 2019-07-09 2021-10-01 中国电子科技集团公司第十三研究所 一种图像配准方法、图像配准装置及终端
US11868525B2 (en) * 2019-07-16 2024-01-09 Magic Leap, Inc. Eye center of rotation determination with one or more eye tracking cameras
US11514673B2 (en) 2019-07-26 2022-11-29 Magic Leap, Inc. Systems and methods for augmented reality
US11156829B2 (en) * 2019-07-29 2021-10-26 Facebook Technologies, Llc Pupil expander cailibration
KR20220045166A (ko) * 2019-08-09 2022-04-12 라이트 필드 랩 인코포레이티드 라이트필드 디스플레이 시스템 기반 디지털 사이니지 시스템
KR20220054386A (ko) 2019-08-29 2022-05-02 디지렌즈 인코포레이티드. 진공 브래그 격자 및 이의 제조 방법
US11245931B2 (en) 2019-09-11 2022-02-08 Samsung Display Co., Ltd. System and method for RGBG conversion
WO2021049740A1 (en) 2019-09-12 2021-03-18 Samsung Electronics Co., Ltd. Eye accommodation distance measuring device and method, and head-mounted display
RU2724442C1 (ru) * 2019-09-12 2020-06-23 Самсунг Электроникс Ко., Лтд. Устройство и способ определения расстояния фокусировки глаза для наголовного устройства отображения, наголовное устройство отображения
CN118584657A (zh) 2019-09-16 2024-09-03 鲁姆斯有限公司 显示图像的光学系统
GB2578523B (en) * 2019-09-25 2021-08-11 Dualitas Ltd Holographic projection
KR102349087B1 (ko) * 2019-10-10 2022-01-12 한국과학기술연구원 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치
WO2021077078A1 (en) * 2019-10-18 2021-04-22 Looking Glass Factory, Inc. System and method for lightfield capture
CN110766733B (zh) * 2019-10-28 2022-08-12 广东三维家信息科技有限公司 单空间点云配准方法及装置
KR102658688B1 (ko) * 2019-11-04 2024-04-17 엘지전자 주식회사 이미지 조도 향상을 위한 방법 및 장치
US11288503B2 (en) * 2019-11-04 2022-03-29 Facebook Technologies, Llc Systems and methods for image adjustment based on pupil size
US12033081B2 (en) 2019-11-14 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP4058979A4 (en) 2019-11-15 2023-01-11 Magic Leap, Inc. VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT
CA3162579C (en) 2019-12-05 2024-01-30 Lumus Ltd Light-guide optical element employing complementary coated partial reflectors, and light-guide optical element having reduced light scattering
JP7569856B2 (ja) 2019-12-06 2024-10-18 マジック リープ， インコーポレイテッド 静止画内のステレオスプラッシュスクリーンのエンコーディング
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
US11523092B2 (en) 2019-12-08 2022-12-06 Lumus Ltd. Optical systems with compact image projector
CN113010125B (zh) 2019-12-20 2024-03-19 托比股份公司 方法、计算机程序产品和双目式头戴装置控制器
JP2023509305A (ja) 2019-12-25 2023-03-08 ルムス エルティーディー． 光ガイド光学素子と関連付けられた光学配置を使用して、眼からの光を方向転換することに基づく、アイトラッキングのための光学システムおよび方法
KR20210096449A (ko) 2020-01-28 2021-08-05 삼성전자주식회사 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
EP3875999A1 (en) * 2020-03-06 2021-09-08 Micledi Microdisplays BV Full color display systems and calibration methods thereof
CN111445453B (zh) * 2020-03-25 2023-04-25 森兰信息科技（上海）有限公司 摄像机获取的琴键图像的偏移判断方法、系统、介质及装置
CN111707187B (zh) * 2020-05-12 2022-05-24 深圳大学 一种大型零件的测量方法及系统
WO2021237065A1 (en) 2020-05-21 2021-11-25 Looking Glass Factory, Inc. System and method for holographic image display
US20230290290A1 (en) * 2020-06-22 2023-09-14 Digilens Inc. Systems and Methods for Real-Time Color Correction of Waveguide Based Displays
US11415935B2 (en) 2020-06-23 2022-08-16 Looking Glass Factory, Inc. System and method for holographic communication
IL299315A (en) * 2020-06-26 2023-02-01 Magic Leap Inc Color uniformity correction of a display device
JP7545564B2 (ja) 2020-07-15 2024-09-04 マジック リープ， インコーポレイテッド 非球面角膜モデルを使用した眼追跡
US11151755B1 (en) * 2020-07-29 2021-10-19 Adobe Inc. Image processing for increasing visibility of obscured patterns
WO2022025891A1 (en) * 2020-07-30 2022-02-03 Hewlett-Packard Development Company, L.P. Amounts of wavelengths of light during periods of time
EP4002346A1 (en) 2020-11-12 2022-05-25 Micledi Microdisplays BV Video pipeline system and method for improved color perception
US11442541B1 (en) * 2020-11-13 2022-09-13 Meta Platforms Technologies, Llc Color-based calibration for eye-tracking
IL302581B2 (en) 2020-11-18 2024-06-01 Lumus Ltd Optical validation of orientations of internal surfaces
US11388388B2 (en) 2020-12-01 2022-07-12 Looking Glass Factory, Inc. System and method for processing three dimensional images
US11733773B1 (en) 2020-12-29 2023-08-22 Meta Platforms Technologies, Llc Dynamic uniformity correction for boundary regions
EP4237903B1 (en) 2021-03-01 2024-09-04 Lumus Ltd. Optical system with compact coupling from a projector into a waveguide
US11681363B2 (en) * 2021-03-29 2023-06-20 Meta Platforms Technologies, Llc Waveguide correction map compression
US11735138B2 (en) * 2021-04-22 2023-08-22 GM Global Technology Operations LLC Dual image plane HUD with automated illuminance setting for AR graphics displayed in far virtual image plane
EP4232868A4 (en) 2021-05-19 2024-04-17 Lumus Ltd. ACTIVE OPTICAL ENGINE
IL310952A (en) 2021-08-23 2024-04-01 Lumus Ltd Methods for manufacturing complex light-guiding optical components with embedded coupling reflectors
US11900845B2 (en) 2021-10-28 2024-02-13 Samsung Electronics Co., Ltd. System and method for optical calibration of a head-mounted display
US11927757B1 (en) 2021-10-29 2024-03-12 Apple Inc. Electronic device display having distortion compensation
US11722655B2 (en) * 2021-11-30 2023-08-08 SoliDDD Corp. Low latency networking of plenoptic data
CN114397091A (zh) * 2021-12-07 2022-04-26 伟创力电子技术(苏州)有限公司 一种光波导模组的自动测试方法
US11754846B2 (en) 2022-01-21 2023-09-12 Meta Platforms Technologies, Llc Display non-uniformity correction
US11710212B1 (en) * 2022-01-21 2023-07-25 Meta Platforms Technologies, Llc Display non-uniformity correction
TWI817335B (zh) 2022-01-25 2023-10-01 宏碁股份有限公司 立體影像播放裝置及其立體影像產生方法
CN114442325B (zh) * 2022-01-28 2024-07-16 深圳光子晶体科技有限公司 一种基于自发光显示芯片和光波导的光学显示系统
CN116524045A (zh) * 2022-03-29 2023-08-01 腾讯科技（深圳）有限公司 颜色校准方法、装置、计算机设备和计算机可读存储介质
WO2023200176A1 (ko) * 2022-04-12 2023-10-19 삼성전자 주식회사 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법
WO2024016163A1 (en) * 2022-07-19 2024-01-25 Jade Bird Display (shanghai) Limited Methods and systems for virtual imagecompensation and evaluation
CN115931303B (zh) * 2022-10-26 2023-11-17 江西凤凰光学科技有限公司 一种多色衍射光波导的测试方法
CN116486755A (zh) * 2023-04-27 2023-07-25 业成科技（成都）有限公司 显示装置的均匀度校正方法
KR102711331B1 (ko) * 2023-10-10 2024-09-27 한국광기술원 증강현실 영상 재생 광학계의 색 특성 검사장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6011581A (en) * 1992-11-16 2000-01-04 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
US6816625B2 (en) * 2000-08-16 2004-11-09 Lewis Jr Clarence A Distortion free image capture system and method
US20080198240A1 (en) * 2007-02-21 2008-08-21 Stmicroelectronics (Research & Development) Limited Error reduction in image sensors
CN104155819A (zh) * 2014-08-04 2014-11-19 上海中航光电子有限公司 像素结构及其驱动方法、显示装置
US20150098620A1 (en) * 2012-01-06 2015-04-09 Google Inc. Position Estimation
CN104641635A (zh) * 2012-05-09 2015-05-20 诺基亚公司 用于提供对显示信息的聚焦校正的方法和装置

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05161166A (ja) * 1991-12-04 1993-06-25 Sony Corp 立体映像信号発生装置
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
JP3309431B2 (ja) * 1992-07-15 2002-07-29 富士ゼロックス株式会社 情報処理装置
US5594563A (en) 1994-05-31 1997-01-14 Honeywell Inc. High resolution subtractive color projection system
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US6326996B1 (en) * 1995-11-06 2001-12-04 Gateway, Inc. Display device having self contained diagnostic image generation capability
JPH1020245A (ja) * 1996-07-01 1998-01-23 Canon Inc 奥行き標本化式立体画像形成・表示装置
JPH11203986A (ja) 1998-01-16 1999-07-30 Denso Corp 多機能スイッチ装置
US6456339B1 (en) * 1998-07-31 2002-09-24 Massachusetts Institute Of Technology Super-resolution display
US20020063807A1 (en) 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
JP4348839B2 (ja) 2000-06-28 2009-10-21 ソニー株式会社 検査装置及び検査方法
US7308157B2 (en) * 2003-02-03 2007-12-11 Photon Dynamics, Inc. Method and apparatus for optical inspection of a display
US7530315B2 (en) * 2003-05-08 2009-05-12 Lone Star Ip Holdings, Lp Weapon and weapon system employing the same
JP2005101828A (ja) 2003-09-24 2005-04-14 Canon Inc 画像処理システム、画像処理方法、その記録媒体およびプログラム
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
JP4965800B2 (ja) * 2004-10-01 2012-07-04 キヤノン株式会社 画像表示システム
JP4560368B2 (ja) 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
JP2006153914A (ja) * 2004-11-25 2006-06-15 Canon Inc 液晶プロジェクタ装置
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20080144174A1 (en) 2006-03-15 2008-06-19 Zebra Imaging, Inc. Dynamic autostereoscopic displays
US9843790B2 (en) * 2006-03-15 2017-12-12 Fovi 3D, Inc. Dynamic autostereoscopic displays
US8406562B2 (en) * 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
JP2008258802A (ja) 2007-04-03 2008-10-23 Canon Inc 画像表示システム
KR101587176B1 (ko) * 2007-04-18 2016-01-20 마이크로닉 마이데이타 에이비 무라 검출 및 계측을 위한 방법 및 장치
JP5089405B2 (ja) * 2008-01-17 2012-12-05 キヤノン株式会社 画像処理装置及び画像処理方法並びに撮像装置
JP2010199659A (ja) 2009-02-23 2010-09-09 Panasonic Corp 画像処理装置、及び画像処理方法
EP2432237B1 (en) * 2009-05-14 2020-08-05 EIZO Corporation Stereoscopic image display apparatus
JP2010271565A (ja) * 2009-05-22 2010-12-02 Seiko Epson Corp 頭部装着型表示装置
HU0900478D0 (en) 2009-07-31 2009-09-28 Holografika Hologrameloeallito Method and apparatus for displaying 3d images
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US20120212499A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US8564647B2 (en) 2010-04-21 2013-10-22 Canon Kabushiki Kaisha Color management of autostereoscopic 3D displays
US9864243B2 (en) * 2010-05-14 2018-01-09 Dolby Laboratories Licensing Corporation High dynamic range displays using filterless LCD(s) for increasing contrast and resolution
US8884939B2 (en) * 2010-07-26 2014-11-11 Apple Inc. Display brightness control based on ambient light levels
US8922636B1 (en) * 2010-08-20 2014-12-30 The United States Of America As Represented By The Secretary Of The Navy Synthetic aperture imaging for fluid flows
KR101494066B1 (ko) * 2010-10-05 2015-02-16 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 공간 광 패턴에 기초한 깊이 데이터의 생성
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
CA2822978C (en) 2010-12-24 2019-02-19 Hong Hua An ergonomic head mounted display device and optical system
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US8643684B2 (en) 2011-01-18 2014-02-04 Disney Enterprises, Inc. Multi-layer plenoptic displays that combine multiple emissive and light modulating planes
JP6316186B2 (ja) 2011-05-06 2018-04-25 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 広範囲同時遠隔ディジタル提示世界
CN103380625A (zh) 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
US8546454B2 (en) * 2011-07-26 2013-10-01 Unitel Technologies, Inc. Process and method for the producton of dimethylether (DME)
JP2013037021A (ja) 2011-08-03 2013-02-21 Canon Inc ディスプレイ及びヘッドマウントディスプレイ
JP2013045001A (ja) * 2011-08-25 2013-03-04 Fujitsu Ltd カラー表示方法およびカラー表示装置
KR20140059213A (ko) * 2011-08-30 2014-05-15 마이크로소프트 코포레이션 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
US20140198104A1 (en) * 2011-09-02 2014-07-17 Sharp Kabushiki Kaisha Stereoscopic image generating method, stereoscopic image generating device, and display device having same
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
JP6119091B2 (ja) 2011-09-30 2017-04-26 セイコーエプソン株式会社 虚像表示装置
CA2792116C (en) * 2011-10-11 2019-11-12 Warrior Rig Ltd. Portable pipe handling system
RU2017115669A (ru) 2011-10-28 2019-01-28 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
KR102116697B1 (ko) 2011-11-23 2020-05-29 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
KR102028732B1 (ko) 2012-04-05 2019-10-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
US8989535B2 (en) * 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9310559B2 (en) 2012-06-11 2016-04-12 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9077973B2 (en) * 2012-06-29 2015-07-07 Dri Systems Llc Wide field-of-view stereo vision platform with dynamic control of immersive or heads-up display operation
WO2014017348A1 (ja) 2012-07-24 2014-01-30 ソニー株式会社 画像表示装置および画像表示方法
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
AU2013315607A1 (en) 2012-09-11 2015-04-02 Magic Leap, Inc Ergonomic head mounted display device and optical system
IL293789B2 (en) 2013-01-15 2023-08-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
JP2014142383A (ja) 2013-01-22 2014-08-07 Canon Inc 画像形成装置
CN105247447B (zh) * 2013-02-14 2017-11-10 脸谱公司 眼睛跟踪校准系统及方法
US20140240842A1 (en) * 2013-02-22 2014-08-28 Ian Nguyen Alignment-insensitive image input coupling
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
US9424467B2 (en) * 2013-03-14 2016-08-23 Disney Enterprises, Inc. Gaze tracking and recognition with image location
KR102458124B1 (ko) 2013-03-15 2022-10-21 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9860494B2 (en) 2013-03-15 2018-01-02 Scalable Display Technologies, Inc. System and method for calibrating a display system using a short throw camera
GB201305726D0 (en) 2013-03-28 2013-05-15 Eye Tracking Analysts Ltd A method for calibration free eye tracking
TWI508554B (zh) 2013-05-21 2015-11-11 Univ Nat Taiwan 基於光場相機的影像對焦處理方法及其系統
JP2013240057A (ja) 2013-05-30 2013-11-28 Denso Corp ヘッドアップディスプレイ装置の調整方法
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9952042B2 (en) 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US9146862B2 (en) * 2013-07-18 2015-09-29 International Business Machines Corporation Optimizing memory usage across multiple garbage collected computer environments
CN105408805B (zh) 2013-07-26 2018-06-15 西铁城时计株式会社 光源装置以及投影装置
AU2014310703B2 (en) 2013-08-19 2018-09-27 Basf Se Optical detector
US20150104101A1 (en) * 2013-10-14 2015-04-16 Apple Inc. Method and ui for z depth image segmentation
IL302408B2 (en) 2013-10-16 2024-09-01 Magic Leap Inc An augmented or virtual reality head device with intrapupillary distance adjustment
JP6287095B2 (ja) * 2013-11-19 2018-03-07 セイコーエプソン株式会社 光学デバイス及び電子機器
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
WO2015094191A1 (en) * 2013-12-17 2015-06-25 Intel Corporation Controlling vision correction using eye tracking and depth detection
US9804395B2 (en) * 2014-01-29 2017-10-31 Ricoh Co., Ltd Range calibration of a binocular optical augmented reality system
CN106461955B (zh) 2014-01-31 2019-08-13 奇跃公司 显示增强现实的方法
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10264211B2 (en) 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
WO2016018488A2 (en) 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
CN113253476B (zh) 2014-05-30 2022-12-27 奇跃公司 采用虚拟或增强现实装置生成虚拟内容显示的方法和系统
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
US10067561B2 (en) 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
US20160131902A1 (en) 2014-11-12 2016-05-12 Anthony J. Ambrus System for automatic eye tracking calibration of head mounted display device
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US10260864B2 (en) 2015-11-04 2019-04-16 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6011581A (en) * 1992-11-16 2000-01-04 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
US6816625B2 (en) * 2000-08-16 2004-11-09 Lewis Jr Clarence A Distortion free image capture system and method
US20080198240A1 (en) * 2007-02-21 2008-08-21 Stmicroelectronics (Research & Development) Limited Error reduction in image sensors
US20150098620A1 (en) * 2012-01-06 2015-04-09 Google Inc. Position Estimation
CN104641635A (zh) * 2012-05-09 2015-05-20 诺基亚公司 用于提供对显示信息的聚焦校正的方法和装置
CN104155819A (zh) * 2014-08-04 2014-11-19 上海中航光电子有限公司 像素结构及其驱动方法、显示装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399633A (zh) * 2019-01-03 2020-07-10 见臻科技股份有限公司 针对眼球追踪应用的校正方法
CN111399633B (zh) * 2019-01-03 2023-03-31 见臻科技股份有限公司 针对眼球追踪应用的校正方法
CN114270427A (zh) * 2019-05-07 2022-04-01 伍普蒂斯有限公司 用于表征显示器的方法和光学系统
CN112306226A (zh) * 2019-07-29 2021-02-02 宏达国际电子股份有限公司 眼动跟踪方法、头戴式显示器以及计算机可读存储介质
TWI739531B (zh) * 2019-07-29 2021-09-11 宏達國際電子股份有限公司 眼球追蹤方法、頭戴式顯示器以及電腦可讀儲存媒體
US11372477B2 (en) 2019-07-29 2022-06-28 Htc Corporation Eye tracking method, head-mounted display, and computer readable storage medium
CN112306226B (zh) * 2019-07-29 2024-02-23 宏达国际电子股份有限公司 眼动跟踪方法、头戴式显示器以及计算机可读存储介质
CN111047562A (zh) * 2019-11-26 2020-04-21 联想(北京)有限公司 一种处理方法、装置、电子设备及存储介质
CN111047562B (zh) * 2019-11-26 2023-09-19 联想(北京)有限公司 一种处理方法、装置、电子设备及存储介质
CN115088016A (zh) * 2020-02-05 2022-09-20 Oppo广东移动通信有限公司 用于实现vSLAM系统的动态输入分辨率的方法和系统
CN115088016B (zh) * 2020-02-05 2024-08-23 Oppo广东移动通信有限公司 用于实现vSLAM系统的动态输入分辨率的方法和系统

Also Published As

Publication number Publication date
JP2019501564A (ja) 2019-01-17
CN108474737B (zh) 2021-04-06
TW201730627A (zh) 2017-09-01
US20190323825A1 (en) 2019-10-24
IL259074A (en) 2018-07-31
TW201908817A (zh) 2019-03-01
IL259074B (en) 2022-06-01
AU2016349895A1 (en) 2018-05-31
AU2022224797B2 (en) 2023-06-29
CN108474737A (zh) 2018-08-31
CA3004278C (en) 2024-04-09
US20210148697A1 (en) 2021-05-20
US11898836B2 (en) 2024-02-13
CN113489967A (zh) 2021-10-08
KR102592980B1 (ko) 2023-10-20
IL309607A (en) 2024-02-01
EP3371573A4 (en) 2019-05-08
WO2017079329A1 (en) 2017-05-11
WO2017079333A1 (en) 2017-05-11
AU2016349891B2 (en) 2021-04-22
KR20230151554A (ko) 2023-11-01
AU2021202036A1 (en) 2021-04-29
JP2021141612A (ja) 2021-09-16
CA3004278A1 (en) 2017-05-11
TWI695999B (zh) 2020-06-11
AU2022224797A1 (en) 2022-09-22
EP3371972A1 (en) 2018-09-12
US20170122725A1 (en) 2017-05-04
JP7210280B2 (ja) 2023-01-23
AU2016349891A1 (en) 2018-05-31
AU2016349895B2 (en) 2022-01-13
US11536559B2 (en) 2022-12-27
JP7218398B2 (ja) 2023-02-06
US20190226830A1 (en) 2019-07-25
KR20180080302A (ko) 2018-07-11
US20230108721A1 (en) 2023-04-06
IL259072B (en) 2022-06-01
JP2024103533A (ja) 2024-08-01
EP3371972B1 (en) 2023-06-07
CN113358045A (zh) 2021-09-07
US11226193B2 (en) 2022-01-18
EP4080194A1 (en) 2022-10-26
JP2019504292A (ja) 2019-02-14
NZ742518A (en) 2019-08-30
IL292793B1 (en) 2024-02-01
EP4235639A2 (en) 2023-08-30
JP6983773B2 (ja) 2021-12-17
KR20240055844A (ko) 2024-04-29
JP7189243B2 (ja) 2022-12-13
AU2016349891B9 (en) 2021-05-06
JP2021073820A (ja) 2021-05-13
NZ742532A (en) 2019-05-31
US10378882B2 (en) 2019-08-13
IL259072A (en) 2018-07-31
EP3371972A4 (en) 2019-05-01
JP2023053974A (ja) 2023-04-13
KR20240017132A (ko) 2024-02-06
US10571251B2 (en) 2020-02-25
AU2021202036B2 (en) 2022-06-09
CA3004271A1 (en) 2017-05-11
US10260864B2 (en) 2019-04-16
EP3371573A1 (en) 2018-09-12
CA3004271C (en) 2024-04-09
KR102633000B1 (ko) 2024-02-01
KR20180081103A (ko) 2018-07-13
US20170124928A1 (en) 2017-05-04
US11454495B2 (en) 2022-09-27
EP4235639A3 (en) 2023-10-25
IL292793B2 (en) 2024-06-01
US20200225024A1 (en) 2020-07-16
EP3371573B1 (en) 2022-06-15
CN108476311B (zh) 2021-04-27
US20240142224A1 (en) 2024-05-02
TWI648559B (zh) 2019-01-21
KR102657948B1 (ko) 2024-04-16
IL292793A (en) 2022-07-01

Similar Documents

Publication Publication Date Title
CN108476311A (zh) 基于眼睛追踪的动态显示校准

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant