CN114008512B - 具有中央凹光学校正的显示器 - Google Patents

具有中央凹光学校正的显示器 Download PDF

Info

Publication number
CN114008512B
CN114008512B CN202080045864.9A CN202080045864A CN114008512B CN 114008512 B CN114008512 B CN 114008512B CN 202080045864 A CN202080045864 A CN 202080045864A CN 114008512 B CN114008512 B CN 114008512B
Authority
CN
China
Prior art keywords
image
interest
display system
eye
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080045864.9A
Other languages
English (en)
Other versions
CN114008512A (zh
Inventor
耶谢·丹齐格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lumus Ltd
Original Assignee
Lumus Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lumus Ltd filed Critical Lumus Ltd
Publication of CN114008512A publication Critical patent/CN114008512A/zh
Application granted granted Critical
Publication of CN114008512B publication Critical patent/CN114008512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/294Variable focal length devices
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0023Means for improving the coupling-in of light from the light source into the light guide provided by one optical element, or plurality thereof, placed between the light guide and the light source, or around the light source
    • G02B6/003Lens or lenticular sheet or layer
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0023Means for improving the coupling-in of light from the light source into the light guide provided by one optical element, or plurality thereof, placed between the light guide and the light source, or around the light source
    • G02B6/0031Reflecting element, sheet or layer
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/0136Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  for the control of polarisation, e.g. state of polarisation [SOP] control, polarisation scrambling, TE-TM mode conversion or separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/317Convergence or focusing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • G02B2027/0116Head-up displays characterised by optical features comprising device for genereting colour display comprising devices for correcting chromatic aberration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0147Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/101Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/12Fluid-filled or evacuated lenses
    • G02B3/14Fluid-filled or evacuated lenses of variable focal length
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • G02B5/3083Birefringent or phase retarding elements
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/1335Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133524Light-guides, e.g. fibre-optic bundles, louvered or jalousie light-guides
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/1335Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133526Lenses, e.g. microlenses or Fresnel lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3161Modulator illumination systems using laser light sources

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种用于向用户的眼睛显示图像的显示系统(500),包括光导光学元件(FOE)(506)和图像投影仪(512),所述图像投影仪(512)将准直图像的图像照明投影到FOE中。该图像投影仪包括电可控可变透镜(10,13,71,77,58A,58B,59,58C,58D,58E,58F1,58F2,58G1,58G2,58H,1223)。控制器(18)通过跟踪用户的眼睛或通过分析图像内容来确定图像的当前感兴趣区域,并且控制可变透镜,使得以增加当前感兴趣区域之外的图像的至少一个区域中的像差为代价来减小当前感兴趣区域中的像差。

Description

具有中央凹光学校正的显示器
发明的技术领域和背景技术
用于近眼显示器的光学系统将来自小图像生成器的图像投影到与观看者的眼睛瞳孔的估计位置对应的眼睛盒区域(眼睛运动盒或“EMB”)上。用于该投影的光学器件通常包括反射镜、透镜和棱镜的一些组合。图像通常由基于透明波导或透明反射器的组合器传递到观看者的眼睛。
光学布置被优化以减少投影图像中的光学像差,包括散焦、球面、彗差、像散等。
投影的场越大,产生无像差图像(或者至少,像差被保持在观看者可接受的水平)就变得越复杂。可以优化光学系统以使场中心处的像差最小。然而,需要大的、复杂的和昂贵的光学器件来在整个场上保持良好的图像。此外,不同的波长将经历不同的光功率,从而导致色差。光学系统的热变化也产生光功率的变化,从而使光学系统偏离其标称(最小像差)位置。
基于波导的系统包括图像投影仪,该图像投影仪将准直图像(无限远处的图像)耦合到波导中。图像质量差的另外的原因是将非准直(即,不完全准直)的图像注入到波导中。
眼睛跟踪子系统通常被引入到近眼显示系统中。因此,观看方向(当前“视线”)通常以低时延被系统所知。
发明内容
本发明是一种用于向用户的眼睛显示图像的显示系统和对应的方法。
根据本发明的实施方式的教导,提供了一种用于向用户的眼睛显示图像的显示系统,所述眼睛位于眼睛运动盒内,所述显示系统包括:(a)光导光学元件(LOE),其具有平行的一对主外表面;(b)图像投影仪,其投射准直图像的图像照明,所述图像投影仪光学地耦合至所述LOE以将图像照明引入LOE中,从而通过在一对主外表面处的内反射在LOE内传播,所述图像投影仪包括电可控可变透镜;(c)耦合输出配置,其至少与LOE的耦合输出区域相关联,所述耦合输出配置被配置成将在LOE内传播的图像照明的至少部分朝向眼睛运动盒重定向以供用户的眼睛观看;以及(d)控制器,其包括至少一个处理器,所述控制器与所述电可控可变透镜相关联并且被配置成:(i)确定图像的当前感兴趣区域,以及(ii)生成致动信号以改变电可控可变透镜的属性,使得以增加由用户的眼睛观看的图像的当前感兴趣区域之外的至少一个区域中的像差为代价,来减小图像的当前感兴趣区域中的至少一种类型的像差。
根据本发明的另一特征,还提供了一种眼睛跟踪布置,该眼睛跟踪布置被设置用于跟踪用户眼睛的当前视线,并且其中,控制器基于从眼睛跟踪布置接收的输入来确定当前感兴趣区域。
根据本发明的另一特征,图像是视频图像,并且其中,控制器处理视频图像的内容以得出当前感兴趣区域。
根据本发明的另一特征,图像是视频图像,并且其中,控制器接收指示与视频图像相关联的当前感兴趣区域的数据流。
根据本发明的另一特征,至少一种光学像差在来自图像投影仪的准直图像的场上变化,并且其中,电可控可变透镜沿至少一个轴具有可变光功率,控制器改变光功率以减小准直图像的对应于当前感兴趣区域的区域中的至少一种光学像差。
根据本发明的另一特征,还提供了一种温度传感器,该温度传感器生成指示温度的信号,其中,控制器响应于指示温度的信号来改变光功率,以至少部分地补偿图像投影仪的光学属性的温度相关变化。
根据本发明的另一特征,图像投影仪在不同的时间段按顺序投射不同颜色的图像照明,并且其中,控制器与该时间段同步地改变光功率以提供颜色特定的像差补偿。
根据本发明的另一特征,控制器还被配置成存储指示图像投影仪的制造公差所需的校正的值,控制器还被配置成致动电可控可变透镜以提供对图像投影仪的制造公差的校正和减小准直图像的对应于当前感兴趣区域的区域中的至少一种光学像差两者。
根据本发明的另一特征,还提供了一种与控制器相关联的用户输入装置,并且其中,控制器响应于在校准过程期间经由用户输入装置提供的用户输入来存储指示图像投影仪的制造公差所需的校正的新值。
根据本发明的另一特征,来自图像投影仪的准直图像的焦场是不均匀的,并且其中,电可控可变透镜具有可变焦距,控制器改变焦距以增强感兴趣区域中的准直图像的准直。
根据本发明的另一特征,在眼睛运动盒处观看到的图像的均匀性根据被引入LOE中的图像照明的偏振而在图像的场上变化,并且其中,电可控可变透镜是可变偏振修正透镜,控制器改变可变偏振修正透镜以减小图像的对应于当前感兴趣区域的区域中的不均匀性。
根据本发明的另一特征,图像投影仪包括窄束照明源和扫描布置,所述扫描布置用于生成窄束在图像的角场上的扫描图案,并且其中电可控可变透镜被设置在窄束照明源与扫描布置之间的光路中或与扫描布置相邻。
根据本发明的另一特征,图像投影仪包括空间光调制器和准直光学器件,并且其中,电可控可变透镜被设置在准直光学器件与LOE之间的光路中或者与准直光学器件集成。
根据本发明的另一特征,图像投影仪包括:(a)窄束照明源;(b)扫描布置,其用于生成窄束在图像的角场上的扫描图案以在图像平面处生成实像;以及(c)准直光学器件,其准直来自图像平面的图像照明,以作为准直图像被引入LOE中,其中,电可控可变透镜被设置在图像平面与LOE之间的光路中,并且其中,显示系统还包括第二电可控可变透镜,其被设置在窄束照明源与图像平面之间的光路中。
根据本发明的另一特征,耦合输出配置包括在LOE内的多个相互平行的部分反射表面,所述部分反射表面相对于主外表面倾斜。
根据本发明的另一特征,所述耦出配置包括衍射光学元件,所述衍射光学元件被关联在LOE内并且被配置成耦合输出图像照明的一部分。
根据本发明的实施方式的教导,还提供了一种用于向用户的眼睛显示图像的方法,所述眼睛位于眼睛运动盒内,所述方法包括以下步骤:(a)提供显示系统,所述显示系统包括:(i)光导光学元件(LOE),其具有平行的一对主外表面,(ii)图像投影仪,其投射准直图像的图像照明,所述图像投影仪光学地耦合至LOE以将图像照明引入LOE中,从而通过在一对主外表面处的内反射在LOE内传播,所述图像投影仪包括电可控可变透镜,以及(iii)耦合输出配置,其至少与LOE的耦合输出区域相关联,所述耦合输出配置被配置成将在LOE内传播的图像照明的至少部分朝向眼睛运动盒重定向,以供用户的眼睛观看;(b)确定图像的当前感兴趣区域;以及(c)根据图像的当前感兴趣区域改变电可控可变透镜的属性,使得以降低图像的至少一个其他区域中的观看到的图像质量为代价,来减小感兴趣区域中的至少一种光学像差。
根据本发明的另一特征,通过感测用户的眼睛的当前视线来确定当前感兴趣区域。
根据本发明的另一特征,图像是视频图像,并且其中,当前感兴趣区域根据视频图像的内容而变化。
根据本发明的实施方式的教导,还提供了一种用于向用户的眼睛显示图像的显示系统,所述眼睛位于眼睛运动盒内,所述显示系统包括:(a)光导光学元件(LOE),其具有平行的一对主外表面;(b)图像投影仪,其投射准直图像的图像照明,所述图像投影仪光学地耦合至LOE以将图像照明引入到LOE中,从而通过在一对主外表面处的内反射在LOE内传播,所述图像投影仪包括电可控可变透镜,该电可控可变透镜沿至少一个轴具有可变光功率;(c)耦合输出配置,其至少与LOE的耦合输出区域相关联,所述耦合输出配置被配置成将在LOE内传播的图像照明的至少部分朝向眼睛运动盒重定向,以供用户的眼睛观看;(d)温度传感器,其生成指示显示系统的至少部分的温度的信号;以及(e)控制器,其包括至少一个处理器,所述控制器与温度传感器和电可控可变透镜相关联,所述控制器响应于指示温度的信号来生成致动信号以改变光功率,从而至少部分地补偿图像投影仪的光学属性的温度相关变化。
根据本发明的另一特征,控制器还被配置成存储指示图像投影仪的制造公差所需的校正的值,控制器还被配置成致动电可控可变透镜,以提供对图像投影仪的制造公差的校正和对图像投影仪的光学属性的温度相关变化的至少部分补偿两者。
根据本发明的另一特征,还提供了一种与控制器相关联的用户输入装置,并且其中,所述控制器响应于在校准过程期间经由用户输入装置提供的用户输入,以存储指示图像投影仪的制造公差所需的校正的新值。
附图说明
在本文中参照附图仅通过示例的方式描述本发明,在附图中:
图1A和图1B是根据本发明的实施方式构造和操作的用于向用户的眼睛显示图像的显示系统的示意性侧视图,其中图像从波导向眼睛的耦合分别通过反射布置和衍射布置来实现;
图1C是图1A和图1B的显示系统的实现的框图;
图2A和图2B是分别以透射配置和反射配置示出的在本发明的上下文中Pancharatnam-Berry相位透镜的操作的示意图;
图3是根据图1A和图1B的系统的实现的图像投影仪的放大局部视图,其示出了根据本发明的实施方式的可调节光学装置的放置;
图4A(i)、图4B(i)和图4C(i)是示出图1A至图1C的显示器的角视场中的三个示例性点的图;
图4A(ii)、图4B(ii)和图4C(ii)是示出对于图4A(i)、图4B(i)和图4C(i)的示例性点的连续点,根据由可变透镜校正的在波导的入射孔径处偏轴角的焦深的图;
图4A(iii)、图4B(iii)和图4C(iii)是可变透镜的三个校正状态下的三个示例性点的角扩展的放大图;
图4C(iv)是示出根据图4C(ii)的可变透镜校正的实现的白点的颜色分离的图;
图5A(i)是针对切向和矢状像差的根据在图4C(i)的外围示例性点的孔径上的位置的焦平面圆点位置的曲线的示意图;
图5B(i)与5A(i)类似,添加了柱面校正;
图5A(ii)和图5B(ii)分别是对应于图5A(i)和图5B(i)的相应的光斑大小的图示;
图6A是根据图1A和图1B的系统的实现的图像投影仪的放大局部视图,示出了根据本发明的使用扫描激光图像生成器的实施方式的可调节光学装置的放置;
图6B和图6C是根据图6A的系统的不同实现的可变透镜的替选布置位置的局部视图;
图7是图1A和图1B的采用具有双光瞳成像的扫描激光图像生成器的系统的图像投影仪的另一替选实现的示意性侧视图;以及
图8是图1A和图1B的采用具有双光瞳成像的扫描激光图像生成器的系统的图像投影仪的另一替选实现的另一示意性侧视图。
具体实施方式
本发明是一种用于向用户的眼睛显示图像的显示系统和对应的方法。
参照附图和所附描述可以更好地理解根据本发明的显示系统的原理和操作。
现在参照附图,图1A和图1B示出了系统的主要光学部件的示意图,而图1C是根据本发明的某些实施方式的系统的框图。
一般而言,本文中参照用于向用户的眼睛502显示图像的显示系统500来例示本发明,眼睛位于眼睛运动盒504内。显示系统包括光导光学元件(LOE)506,该光导光学元件(LOE)506具有一对彼此平行的主外表面508、510。投射准直图像的图像照明的图像投影仪512光学地耦合到LOE 506以将图像照明引入到LOE中,以通过在主外表面508、510处的内反射在LOE内传播。图像投影仪512被可互换地称为“POD”。
与LOE 506的至少耦合输出区域相关联的耦合输出配置被配置成将在LOE内传播的图像照明的至少部分朝向眼睛运动盒504重定向,以供用户的眼睛502观看。耦合输出配置的典型实现包括反射耦合输出布置,其例如被实现为LOE 506内的相对于主外表面508、510倾斜的多个相互平行的部分反射表面514(如图1A所示)。如图1B所示,一种替选的耦合输出布置采用一个或更多个衍射光学元件516,其与LOE 506相关联并且被配置成耦合输出一部分图像照明。用于导光显示器的反射和衍射耦合输出布置二者的实现的细节在本领域中是公知的,并且为了简明起见,这里将不详细描述。
本发明的某些实施方式的特别优选的特征在于:图像投影仪512包括至少一个电可控可变透镜。图1C中通过光学改变装置10和/或偏振改变装置13示意性地示出了至少一个电可控可变透镜。下面将讨论至少一个电可控可变透镜的结构、功能和位置的各种示例,但是在本发明的特别优选的实现中,可变透镜被定位在准直图像进入LOE之前的光路中。
一般而言,可变透镜有助于对图像投影仪512的输出图像进行某些校正和/或调整,以改善用户所观看的图像的感知质量。在大多数实现中,可变透镜在控制器18的控制下进行操作,该控制器18包括至少一个处理器。根据本发明的第一方面,控制器18被配置成确定图像的当前感兴趣区域,并且生成致动信号以改变电可控可变透镜的属性,从而以增加由用户的眼睛观看的图像的当前感兴趣区域之外的至少一个区域中的像差为代价来减少图像的当前感兴趣区域中的至少一种类型的像差。
本发明利用了这样的观察结果,即人的视力在与位于观看视线中心的窄视野相对应的中央凹处对图像质量敏感,而周围视觉对图像质量的敏感度低得多。
根据本发明的该方面,自适应光学部件(可变透镜)被致动以连续地修改投影仪的光学属性,以使在最需要图像质量的感兴趣区域或“感兴趣区域”处的像差最小化或降低该像差,这是以使在其他区域(例如,用户视野的外围区域)中的像差恶化为代价的,在所述其他区域中,图像的劣化通常不被察觉,或至少不那么关键。该方法允许使用具有比其他方式所容许的像差更大的像差的光学系统,从而允许使用更小、更便宜和/或更紧凑的光学器件。应当注意,短语“感兴趣区域”和“感兴趣场”在本文中可互换使用。术语“区域”是指图像的区域,而“场”是指用户的视野的角区域。然而,由于耦合出LOE的图像被准直到无穷远,因此图像的“区域”完全由对应的角“场”限定。
可以以多种方式得出感兴趣区域。在其中眼睛跟踪布置被设置以用于跟踪用户眼睛的当前视线的一组实现中,控制器18优选地基于从眼睛跟踪布置接收的输入确定当前感兴趣区域。由于大多数像差在整个视场上相对平滑地变化,因此针对估计的当前视线的优化足以提供在足够大的区域上的像差的减少,以允许视线测量误差和中央凹视觉区域的尺寸。
在其他实现中,尤其在实时眼睛跟踪数据不可用的情况下有用的是,根据所显示的图像的内容来限定感兴趣区域。因此,例如,如果图像的区域具有文本字幕,则可以假设字幕的区域具有高优先级以提供像差减少,从而提高清晰度。类似地,在给定时刻仅使用显示区域的一部分来显示叠加在真实世界上的信息或对象的增强现实应用中,当前显示的一个或多个区域被给予高于当前不活动的显示区域的优先级。感兴趣区域可以被限定为当前活动区域的形心,或者通过采用另外的算法根据内容在这些活动区域之间进行优先级排序来限定。
用于确定当前感兴趣区域的图像内容分析可以由控制器18实时执行,通常通过实现适当的图像处理算法来执行。这些算法实现上述分析和其他类似分析,以识别图像中可能感兴趣的区域并且相应地限定感兴趣区域。这通常包括搜索以下中的一个或更多个:显示器的当前活动区域;包括文本或其他高分辨率图像元素的图像区域;包括面部的图像的区域;以及相对于视频图像的先前帧具有运动的图像区域。所有这些图像处理算法都可以使用公知的图像处理技术来直接实现,并且可以使用来自标准图像处理库的函数来执行。不同类型的内容之间的优先级可以由系统设计者根据系统的预期用途来选择,并且系统可以根据系统的当前用途在两个或更多个模式之间切换,或者基于检测图像内容的类型自动地切换,或者通过用户输入来切换。
替选地,在一些情况下,作为指示与视频图像相关联的当前感兴趣区域的数据流,可以将感兴趣区域的预选定义提供给控制器18。数据流可以可选地与视频源一起编码,或者在动态生成图形的情况下,可以由生成要显示的图形元素的处理器提供作为附加输出。
应当注意,术语“控制器”在这里用来指代生成用于直接或间接调节可变透镜的属性的致动信号的设备。控制器通常包括一个或更多个处理器、一个或更多个数据存储设备以及用于输入和输出的各种接口,所有这些都是本领域已知的。物理上,控制器可以是单个单元,或者可以在两个或更多个单元之间细分其功能,并且控制器可以与处理系统集成,该处理系统执行例如与驱动图像投影仪相关的各种附加功能或任何其他所需功能。处理器可以被定位为显示组件的一部分,或者可以在由适当的通信链路链接的不同位置之间细分,并以任何期望的方式对各种功能进行细分。一个或多个处理器可以是任何类型的处理器,包括在合适的操作系统下操作并由合适的软件、或作为专用硬件、或由硬件和软件的任何组合配置的通用处理器。
术语“可调透镜”在本文中用作一般术语以表示对通过孔径或在孔径处反射的光的相位内容进行修改的任何设备。“可调透镜”包括沿至少一个轴具有可调光功率的透镜,以及对光偏振具有可变影响的器件。下面讨论这样的器件的示例。
术语光导光学元件(LOE)在本文中与“波导”和“基板”可互换地使用以表示由至少两个主平面平行外表面界定的光导元件,准直图像通过内反射在所述外表面内传播。对于增强现实应用,LOE也被称为“组合器”,因为它将投影图像与真实世界的视图组合。平面平行表面与准直图像一起使用有利于通过在基板的延伸区域上将图像照明部分地耦合输出而实现孔径扩展。可选地,LOE可以包括被设置成在多于一个维度上实现孔径扩展的多于一组特征,例如PCT专利申请公开号WO2020/049542中所述(其在本申请的优先权日未公开,并且不是现有技术)
在本申请中提及的“图像”可以是覆盖显示器的整个区域或显示器区域内的任何区域的任何图像。图像通常是提供明显时变图像的一系列图像或帧的一部分,被称为“视频图像”或简称为“视频”。应当注意,图像和/或视频不需要是全帧(例如,矩形)图像,并且可以替代地限定要显示的各种隔离区域、图形元素或对象。此外,图像或视频不需要以图形格式存储或流式传输,并且可以替代地使用矢量图形和/或任何其他渲染硬件或软件来生成。在每种情况下,要呈现给用户眼睛的信号是图形输出,通常被定义为一组像素位置和强度/颜色值,其在本文中被称为“图像”。
减少像差的“感兴趣区域”的范围不一定被清楚地界定,这取决于所讨论的像差的空间变化。在许多情况下,感兴趣区域可以由特定方向(例如感兴趣区域的中心)来限定,针对该特定方向对像差减少进行优化,并且对场的其余部分的校正影响固有地跟随。然而,由于在本发明的该方面中所解决的像差是在整个视场中变化的像差,因此该调节通常在少数角视场中针对给定类型的像差优化像差减少,并且导致在视场内的至少一个其他区域中的相同像差的增加。
现在更详细地讨论图1C,其示意性地示出了系统的非限制性实现的部件。
光学改变装置10和偏振改变装置13修改由图像生成器12传送的图像的光学属性。经修改的图像被传送到组合器(例如,波导)14和观看者的眼睛16,控制器18(控制光学改变装置10和偏振改变装置13)优选地接收以下实时参数中的一些或全部:
1.观看者视线的取向。该信息由眼睛跟踪器系统20提供。注意,本发明仅需要指示观看者正看向的感兴趣区域的相当低分辨率的眼睛跟踪信息。例如,粗略5度的精确度通常足以用于实现本发明。
2.瞬时彩色照明:以彩色序列照明的系统在不同的时隙处发送不同颜色的图像(红色、绿色和蓝色)。优选地,从图像控制器22接收关于在特定时隙处照射哪种特定颜色的同步信息。
3.系统温度:由位于系统上的关键位置处的一个或更多个温度传感器24检测的参数。
可以使用系统的模拟或测试来生成查找表,以用于对由上述参数(视线(场)、颜色和温度)生成的像差进行所需校正。在大多数情况下,对各种参数的所需校正是累加的,然而可以将更精细的校正矩阵保存到系统存储器/数据存储装置26。因此,控制器18可以致动可变透镜以优化感兴趣的场部分处的光学图像质量。查找表可以考虑一系列不同类型的像差,其还可以包括与扫描系统的扫描动态有关的像差。
在基于眼睛跟踪的操作的情况下,在操作期间,控制器18从眼睛跟踪器20接收视线输入,并且致动光学改变装置10和偏振改变装置13中的一者或两者以优化沿着至少一个轴的聚焦和/或光功率和/或偏振,以在观看者正观看的当前感兴趣区域中获得最小像差和/或最大信号强度。该校正优选地也可以考虑图像控制器22和热传感器24的输出,并且从存储在数据存储装置26中的像差库中检索适当的校正。调整是针对视场的某个区域优化的事实通常导致视场的其他区域中的图像质量降低。然而,由于这些区域当前不在观看者的视线附近,因此外围场中的质量降低被很好地容忍并且通常甚至不会引起注意。
在一些情况下,通过光学改变装置10引入光学校正也对图像引入一些失真。该失真通常表现为在感兴趣的局部窄场(视线)处的图像偏移。在对两个投影仪具有不同校正的双目系统的情况下,该偏移可能导致未对准。为了解决这个问题,优选地,还由数据存储装置26保存失真映射,使得控制器18可以将预测的失真(或其校正)传送到图像处理器模块28以用于预补偿。
各种设备和技术可以用于实现电可控可变透镜以改善感兴趣场内的光学属性。可以选择通过音圈或压电致动器进行机械透镜移动,但是在速度和可靠性方面可能受到限制。更优选的选择是基于电容器的器件,例如可从(美国)商购的或者可从/>(美国)商购的可调焦透镜。另一优选的选择是基于液晶的部件,其可以高速地使用并且具有最小的劣化效应。例如,可以有利地使用在公开号为WO 2006/022346的专利申请中描述的聚焦透镜。替选地,可以使用一个或更多个Pancharatnam-Berry相位(PBP)透镜(也称为“几何相位透镜”)来实现更复杂的校正功能,例如像散和球面。另一优选的选择是可控液晶透镜,例如可从DeepOptics Ltd(以色列)商购的可控液晶透镜。
可选地,可以提供用户输入(未示出)以允许用户向控制器18反馈以进行聚焦调节。该手动聚焦调节输入可以提供校准以补偿设备的光学质量随时间的劣化。
图2A和图2B示意性地示出了基于PBP透镜实现该系统的偏振方面,但是其可以适用于其他基于偏振的装置。图2A示出了具有穿过实现的配置67,其中线性偏振进入λ/4波片70并且被转换成圆偏振光。该圆偏振光穿过PBP透镜71,获得所需的光功率(未示出)和反向圆偏振。如果需要,采用另一λ/4波片72将输出图像转换为线性偏振的。
如图2B中的方案69所示,将PBP透镜集成到偏振分束器(PBS)中。线性偏振输入光穿过λ/4波片76并穿过PBP透镜77,除了受到PBP透镜的光功率的作用之外变成如图2A的圆偏振。这里,λ/2波片78使偏振取向反向并且反射器79再次使偏振取向反向。当光通过部件返回时,它获得更多的光功率并且以与入射光正交的线性偏振射出。在一些实现中,该后一种配置可能是有利的,其针对给定的可调节透镜器件提供了两倍的光功率校正。
图3中示出了使用本发明的光学系统的示例,该系统基于将图像照明引入波导(LOE 506)的投影仪512。进入波导的图像照明必须在与感兴趣区域(观看者的当前视线周围)相对应的视场的区域(无限远处的图像)被准直。
在基于偏振分束器棱镜的光学布置的非限制性示例中,照明光50(来自未示出的源)从偏振分束器(PBS)52反射到图像生成矩阵54(例如LCOS空间光调制器)上。替选地,照明源50可以是扫描激光束(这里未示出,但是将在下面进一步讨论),在这种情况下图像生成矩阵54通常是反射器、漫射器,或者最优选地是与四分之一波片组合的微透镜阵列(MLA)。图像光通过PBS 52反射到反射透镜56(为了最小化成本,优选地为球形)上,并且返回到PBS 52。光从PBS 52反射并且通过任何合适的耦合布置(例如耦合棱镜60)耦入波导506中。
其中偏振改变设备(图1C的设备13)是期望的,其优选地实现为如指定的那样定位的液晶装置59。用于像差补偿的光功率修改(图1C的装置10)可以使用设置在58A处的可调透镜来实现(相当于以上在图2A中描述的方案67)或设置在58B处的可调透镜来实现(相当于以上图2B中描述的方案69)。如果可调透镜被设置在58B处,在PBS 52处光路的正确路由所需的偏振偏移优选地由方案69中示出的配置提供。否则,如在本领域中已知的,将另一四分之一波片设置在反射镜56的前部。
不具有补偿的显示系统的图像通常具有显著的像差。该配置的最主要的像差通常是“场曲率”。图4A(i)至图4A(iii)示出了用于最小化由于场曲率引起的失真的常规方法。
图4A(i)是示出被选择用于分析的以下三个点和系统的角场的图80:场的中心82、场的中半径处的点84和场的边缘86。图4A(ii)的曲线图90示出了场曲率,其中x轴是局部焦距并且y轴是场中的半径。曲线92和曲线94分别示出了矢状和切向焦距,其中线96表示系统的位置(实际透射图像平面的位置)。从96到92和94的距离表示局部散焦,这导致在对应的特定场位置处的非准直图像。传统上通过优化点84a(用箭头标记)的图像平面,实现了场上的这种失真的最小化,因此图90在84b处具有最小距离。这样,在整个场上求平均的由从82b和86b到线96的距离表示的散焦被最小化。
这种解决方案显然是不完美的,如图4A(iii)中的图100所示,其将82a的中心波长(绿色)光斑示为82c,并且类似地分别将点84a和86a的中心波长示为84c和86c。明显的是84是最佳质量(聚焦的),而其他图像点的扩散更为明显。因此,图像质量在场的中心和边缘处降低。
根据本发明的一方面,根据观看者眼睛的当前视线执行动态聚焦调节,使得以降低当前在观看者的周边视觉中的区域的质量为代价,针对观看者当前正在看的区域(称为当前感兴趣区域,或“中央凹区域”)优化聚焦。该方法有效地增强了整个视场上的感知图像质量,同时利用了外围人类视觉对图像质量的相对不敏感性,使得良好地容忍外围视觉中的进一步图像劣化。
因此,当眼睛跟踪器检测到视线在场中心(由图4B(i)中的箭头102指示)时,在例如-1/2屈光度处致动光学改变装置58B以在该感兴趣区域处将焦点偏移到最佳。(在该示例中,如果有源光学器件被设置在图3的58B处,则需要一半的光功率。)图4B(ii)的图104示出了整个场的经调节的焦点,示出了区域82b中的焦点与线96相交,表明图像的该区域在光导光学元件的输入处被正确地准直。图4B(iii)示出了三个参考点的所得点扩散函数,示出了中心场光斑82c的显著改善和场边缘86c的显著劣化。虽然在该图示中不明显,但是在中场84c处光斑大小也稍微降低。
当感兴趣区域改变到场边缘时(图4C(i),箭头108),则光学改变装置58A被调整到例如+1屈光度(或58B处的装置,调整到该屈光度的一半),导致场边缘附近的图像质量的相应改善,如图4C(ii)中的图110和4C(iii)中的图112所示。在这种情况下,改善是以中心场(其当前在观看者的视觉的“外围”)中的图像质量降低为代价的。
在某些情况下,光学改变装置10的有效光功率随着波长而变化,使得其可以不同地影响构成彩色投影图像的不同颜色。在图4C(iv)中,图114示意性地并且放大地示出了在上述+1屈光度校正期间构成图像中的白色像素的红色、绿色和蓝色分色的光斑。显然,在该示例(被认为是典型的,但不是限制性的)中,所有颜色的焦点被有效地校正,但是在感兴趣的领域中具有不同的放大率(这里表现为尖锐的光斑,但是彼此相对偏移)。这可以通过以下方式补偿:
1.将不同的放大率引入到数字图像处理器,以针对一种或更多种颜色在图像数据信息中生成相等但相反的位移;或者
2.如果顺序地照明颜色,并且如果可调透镜的响应时间足够快(例如利用LCD透镜技术),则可以针对每种颜色照明改变光学改变装置58的光功率以补偿该放大率变化。
更复杂的像差补偿(例如,像散和球面的组合)需要通过光学改变装置58生成更复杂的光学轮廓。这可以通过例如使用由DeepOptics Ltd(以色列)生产的LCD透镜来实现。
其他光学配置和显示技术也可以使用上述方法:根据当前得出的感兴趣区域来调节焦点和/或偏振和/或影响整个视场上的图像质量的其他光学属性,并且调整该属性以在当前感兴趣区域中提供改善的图像,所述当前得出的感兴趣区域可从来自眼睛跟踪器的输入得出或根据图像内容确定。其他相关技术包括但不限于进入波导的激光扫描仪和基于微型LED的投影仪。
除了图3所示的示例性位置之外,如下面将要举例的,一个或多个可变透镜可以被放置在其他位置。
现在转到偏振调节装置13,当偏振光被注入波导时,一些基于波导的近眼显示器呈现出图像非均匀性。图1中的偏振调节装置13和图3中的装置59描绘了偏振管理装置,该偏振管理装置优选地控制出射偏振以在感兴趣场中实现改善的图像均匀性。在该情况下,应当将定义场的各个部分的最佳偏振状态的查找表存储在驱动器存储器26中。该表可以基于对每种产品执行一次实验室测试而凭经验确定,或者可以在有经验确认的情况下或没有经验确认的情况下基于理论计算得出。然后,驱动器致动装置59以根据感兴趣场(例如,当前视线)生成偏振状态。应当注意,聚焦校正和偏振校正各自被认为自身具有可专利意义,但是可以在特定的协同下一起使用。
散光校正
散光可以存在于圆形对称光学器件中,并且在光学器件未对准的情况下或者如果柱面光学器件存在于系统中,则散光变得显著。图5A(i)示出了当1mm的未对准被引入到入射光瞳时,图3中的系统的场点86C的像差。曲线150示出了切向像差,其中x轴是孔径中的射线位置并且y轴是该射线在焦平面中的位置。在该曲线中,平坦的线表示最小的像差。显然,曲线150是倾斜的,这表示这些射线的散焦。曲线152示出了矢状射线的弯曲但相对平坦的曲线。这些像差图转化为具有细长形状的焦斑154(图5A(ii))。
为了校正这些像差,优选地将柱面校正添加到装置58A的圆形对称校正中,柱面校正具有1.3米的焦距。这种独立的柱面校正可以由具有柱面光功率的附加LCD层引入。因此,切向射线156被校正(更平坦的曲线),而矢状射线158未改变(图5B(i))。如在160(图5B(ii))中所见,这导致光斑高度的减小。
具有尺寸减小的可变焦透镜的激光扫描实现
在使用激光扫描系统生成投影图像的情况下,在扫描布置附近或之前的光路中的光束的小尺寸允许使用特别紧凑的可变焦透镜,从而放宽了设计要求并允许更快的响应时间。
图6A示出了示例性激光扫描系统。具有准直光学器件201的激光器200将光发送到扫描镜202V(垂直)和202H(水平)上,从而产生扫描光束(示意性地示出为从202H开始的发散箭头)并且发送到与上面参照图3所示的准直光学器件类似的准直光学器件上。在该情况下,元件54可以是反射镜,优选地与漫射器组合,或者最优选地是微透镜阵列(MLA),从而限定具有随后受控的激光照明发散的图像平面。应当注意,这里所示的基于PBS棱镜的光学器件是非限制性的,并且采用折射透镜和光透射通过的微透镜阵列的自由空间光学器件实现完全等同于这里所示的配置,并且在一些情况下可能是优选的。在使用自由空间透射光学器件的情况下,可以在沿着光路的任何点处实现偏振操纵器(上面的偏振改变装置13)(如果使用),因为在该配置中,通常不存在图像投影仪部件对偏振的光学敏感性。
为了保持激光束耦入到波导中,在被称为“光瞳成像”的光学布置中,波导入射光瞳204被成像为尽可能靠近反射镜202。透镜58C是可变焦透镜。透镜58C可以使用任何上述技术来实现,包括但不限于液晶透镜,例如可从Deep-Optics Ltd(以色列)商购的液晶透镜,或者静电致动透镜,例如由或/>以商品名/>出售的静电致动透镜。替选地,在本文所述的采用反射光学元件的任何实现中,可变光学元件可以被实现为例如替代表面56的可变曲率反射器。这可以通过使用反射涂层涂覆静电透镜来实现。为了该描述的目的,这里将用可变透镜来说明示例性装置,但是在每种情况下,应当理解,可变光功率反射器也是适用的。所有这些可变透镜在具有较小的有效孔径时具有较快的响应。
在非常低的光功率的情况下,可变透镜58C可以与激光透镜201结合。在多个彩色激光(红色、绿色和蓝色)沿同一轴线投射的情况下,在多路复用以组合所有光束之后,可变透镜优选地位于公共光路上。激光器实现的细节在此未示出。
从图6A中可以明显看出,激光束的空间范围在扫描镜202附近和之前的位置处最窄。因此,通过在这些位置处放置可变透镜58C,可以使用小光学孔径透镜(例如,具有1mm数量级的直径)。这有助于实现可变光学器件的快速响应时间。
透镜58C所需的光功率变化相对较小,因此基本上不改变激光束的发散度和宽度。另一选择是将该透镜放置在靠近镜202V/H处,这也对镜上的光束大小具有最小影响并且光瞳成像布置的恶化最小。因此,在反射镜和光瞳204处的功率损失最小。图6B示意性地示出了可变透镜58D在反射镜202V/H之间的布置,图6C示出了在反射镜202V/H之后的可变透镜58E,但可变透镜58E足够靠近反射镜,以使得扫描光束的空间扩散仍然相对较小并且可以使用小的可变透镜。
基于反射和/或透射光学器件的各种光学架构可以用于实现通常的显示系统,并且具体地实现可变透镜。图7示出了具有双光瞳成像的光学布置的另一示例。波导62的入射光瞳204被成像到反射镜202V上,并且再次被成像到反射镜202H。可变光学器件可以与透镜58F1和透镜58F2或反射器58G1和反射器58G2集成或与其相邻地来实现。可以使用多于一个的可变透镜,例如可以在58F1处使用柱面可变LCD和在58F2处使用正交定向的柱面可变LCD。柱面或球面可变透镜也可以使用任何合适的技术(例如,LCD和静电技术)来实现。
如前所述,透镜58H也可以被实现为可变透镜,可选地与激光光学器件组合。
现在转到图8,在激光扫描图像投影仪的一些情况下,投影仪可以被视为两个光学子部分:从扫描激光器1201至微透镜阵列(MLA)1329的激光器部分1300U;以及从MLA至出射光瞳1334(至波导的入射光瞳)的中继部分。为了使中继部分上的场曲率像差最小化,MLA1329可以在如图所示的弯曲部分上产生。然而,该曲率不对应于激光器部分的优选曲率。因此,根据本发明的一方面,透镜1223可以被设置为自适应的,以在MLA的适当部分(从而在感兴趣场)上产生最佳激光束聚焦。由于该透镜很小,因此可以进行快速修改。优选的是将该透镜放置在扫描镜附近。替选地,透镜1227可以被设置为自适应的,但是在该情况下,需要更大的透镜。
激光器部分的有效光学补偿也是优选的,因为由激光源引起的热梯度可以另外使激光器部分的光学器件比中继部分失真得更多。
在该示例中,激光器1201可以被实现为多个并排的激光器(例如,红色、绿色和蓝色)。这些激光器将彼此靠近,并且因此具有几乎相同的场曲率。在该情况下,由透镜1223实现的补偿可以被设置为三个激光器的位置的平均值,或者根据相邻激光器中的位于中心的一个激光器来设置。
从MLA至出射光瞳的中继子部分1300L可以被认为是独立的光学系统,并且可以可选地设置有附加的可变透镜(通常与这里示出的透镜之一集成)以提供像差的附加校正和/或偏振调整。
非定向校正
因此目前为止描述的本发明的示例全部包括对当前感兴趣区域的识别,当前感兴趣区域随着眼睛运动和/或图像内容而动态变化。然而,应当注意,根据本发明的各个附加方面,即使在对整个场进行全局校正的情况下,也可以使用将电可控可变透镜和对应的控制器包括进来的优点。这样的校正的示例包括但不限于:对由温度改变引起的变化的校正;为了补偿制造公差而进行的校准校正;以及根据用户输入的聚焦,这允许校正由于一段时间内的一系列因素而可能发生的图像质量的劣化。在这些情况的每一种中,这里提供的校正在图像投影仪级别处执行的,即在图像照明进入LOE之前执行的,并且增强了注入LOE的图像的准直。
因此,根据本发明的另一方面,例如对应于来自图1A至图1C的特征的子集,用于向用户的眼睛显示图像的显示系统包括LOE 506和图像投影仪512(所有这些如上所述),并且包括沿至少一个轴具有可变光功率的电可控可变透镜10。温度传感器24通常作为光学器件壳体的一部分与系统集成,以生成指示显示系统的至少部分的温度的信号。控制器18(全部如上所述)响应于指示温度的信号以生成致动信号来改变光功率,以便至少部分地补偿图像投影仪的光学属性的温度相关变化。同样如上文所论述的,通常从存储在数据存储装置26中的查找表中检索校正。
附加地,或者替选地,可以基于生产后校准过程来提供工厂设置的校正(或对查找表的对应调整),从而允许补偿由于部件公差和/或批量生产过程中的组装变化而可能引起的一系列累积误差或像差。
附加地或替选地,可以提供用户输入(未示出)以允许用户反馈到控制器18以用于聚焦调整。该手动聚焦调整输入可以提供校准以补偿设备的光学质量随时间的劣化。因此,控制器在校准过程期间响应于经由用户输入装置提供的用户输入,以存储指示对于图像投影仪的制造公差的所需校正的新值。
应当理解,上述描述仅用作示例,并且在所附权利要求书限定的本发明的范围内,许多其他实施方式也是可能的。

Claims (19)

1.一种用于向用户的眼睛显示图像的显示系统,所述眼睛位于眼睛运动盒内,所述显示系统包括:
(a)光导光学元件(LOE),所述光导光学元件具有平行的一对主外表面;
(b)图像投影仪,所述图像投影仪投射准直图像的图像照明,所述图像投影仪光学地耦合至所述光导光学元件以将所述图像照明引入所述光导光学元件中,从而通过在所述一对主外表面处的内反射在所述光导光学元件内传播,所述图像投影仪包括电可控可变透镜;
(c)耦合输出配置,所述耦合输出配置至少与所述光导光学元件的耦合输出区域相关联,所述耦合输出配置被配置成将在所述光导光学元件内传播的所述图像照明的至少一部分朝向所述眼睛运动盒重定向,以供所述用户的眼睛观看;以及
(d)控制器,所述控制器包括至少一个处理器,所述控制器与所述电可控可变透镜相关联并且被配置成:
(i)确定所述图像的当前感兴趣区域,以及
(ii)生成致动信号以改变所述电可控可变透镜的属性,从而以增加由所述用户的眼睛观看的图像的当前感兴趣区域之外的至少一个区域中的像差为代价,来减小所述图像的当前感兴趣区域中的由所述投影仪生成的准直图像的至少一种类型的像差。
2.根据权利要求1所述的显示系统,还包括眼睛跟踪布置,所述眼睛跟踪布置被设置用于跟踪所述用户的眼睛的当前视线,并且其中,所述控制器基于从所述眼睛跟踪布置接收的输入来确定所述当前感兴趣区域。
3.根据权利要求1所述的显示系统,其中,所述图像是视频图像,并且其中,所述控制器处理所述视频图像的内容以得出所述当前感兴趣区域。
4.根据权利要求1所述的显示系统,其中,所述图像是视频图像,并且其中,所述控制器接收指示与所述视频图像相关联的当前感兴趣区域的数据流。
5.根据权利要求1所述的显示系统,其中,所述至少一种光学像差在来自所述图像投影仪的准直图像的场上变化,并且其中,所述电可控可变透镜沿至少一个轴具有可变光功率,所述控制器改变所述光功率以减小所述准直图像的对应于所述当前感兴趣区域的区域中的所述至少一种光学像差。
6.根据权利要求5所述的显示系统,还包括温度传感器,所述温度传感器生成指示温度的信号,其中,所述控制器响应于指示温度的所述信号来改变所述光功率,以至少部分地补偿所述图像投影仪的光学属性的温度相关变化。
7.根据权利要求5所述的显示系统,其中,所述图像投影仪在不同时间段按顺序投射不同颜色的图像照明,并且其中,所述控制器与所述时间段同步地改变所述光功率以提供颜色特定的像差补偿。
8.根据权利要求5所述的显示系统,其中,所述控制器还被配置成存储指示所述图像投影仪的制造公差所需的校正的值,所述控制器还被配置成致动所述电可控可变透镜以提供对所述图像投影仪的制造公差的校正和减小所述准直图像的对应于所述当前感兴趣区域的区域中的所述至少一种光学像差两者。
9.根据权利要求8所述的显示系统,还包括与所述控制器相关联的用户输入装置,并且其中,所述控制器响应于在校准过程期间经由所述用户输入装置提供的用户输入来存储指示所述图像投影仪的制造公差所需的校正的新值。
10.根据权利要求1所述的显示系统,其中,来自所述图像投影仪的准直图像的焦场是不均匀的,并且其中,所述电可控可变透镜具有可变焦距,所述控制器改变所述焦距,以增强所述感兴趣区域中的所述准直图像的准直。
11.根据权利要求1所述的显示系统,其中,在所述眼睛运动盒处观看到的图像的均匀性根据被引入所述光导光学元件中的图像照明的偏振而在所述图像的场上变化,并且其中,所述电可控可变透镜是可变偏振修正透镜,所述控制器改变所述可变偏振修正透镜以减小所述图像的对应于所述当前感兴趣区域的区域中的不均匀性。
12.根据任一前述权利要求所述的显示系统,其中,所述图像投影仪包括窄束照明源和扫描布置,所述扫描布置用于生成所述窄束在所述图像的角场上的扫描图案,并且其中,所述电可控可变透镜被设置在所述窄束照明源与所述扫描布置之间的光路中或与所述扫描布置相邻。
13.根据权利要求1至11中任一项所述的显示系统,其中,所述图像投影仪包括空间光调制器和准直光学器件,并且其中,所述电可控可变透镜被设置在所述准直光学器件与所述光导光学元件之间的光路中或与所述准直光学器件集成。
14.根据权利要求1至11中的任一项所述的显示系统,其中,所述图像投影仪包括:
(a)窄束照明源;
(b)扫描布置,用于生成所述窄束在所述图像的角场上的扫描图案以在图像平面处生成实像;以及
(c)准直光学器件,所述准直光学器件准直来自所述图像平面的图像照明,以作为准直图像被引入所述光导光学元件中,
其中,所述电可控可变透镜被设置在所述图像平面与所述光导光学元件之间的光路中,
并且其中,所述显示系统还包括第二电可控可变透镜,所述第二电可控可变透镜被设置在所述窄束照明源与所述图像平面之间的光路中。
15.根据权利要求1至11中任一项所述的显示系统,其中,所述耦合输出配置包括在所述光导光学元件内的多个相互平行的部分反射表面,所述部分反射表面相对于所述主外表面倾斜。
16.根据权利要求1到11中任一项所述的显示系统,其中,所述耦合输出配置包括衍射光学元件,所述衍射光学元件被关联在所述光导光学元件内并且被配置成耦合输出所述图像照明的一部分。
17.一种用于向用户的眼睛显示图像的方法,所述眼睛位于眼睛运动盒内,所述方法包括以下步骤:
(a)提供显示系统,所述显示系统包括:
(i)光导光学元件(LOE),所述光导光学元件具有平行的一对主外表面,
(ii)图像投影仪,所述图像投影仪投射准直图像的图像照明,所述图像投影仪光学地耦合至所述光导光学元件以将所述图像照明引入所述光导光学元件中,从而通过在所述一对主外表面处的内反射在所述光导光学元件内传播,所述图像投影仪包括电可控可变透镜,以及
(iii)耦合输出配置,所述耦合输出配置至少与所述光导光学元件的耦合输出区域相关联,所述耦合输出配置被配置成将在所述光导光学元件内传播的所述图像照明的至少部分朝向所述眼睛运动盒重定向,以供所述用户的眼睛观看;
(b)确定所述图像的当前感兴趣区域;以及
(c)根据所述图像的当前感兴趣区域改变所述电可控可变透镜的属性,使得以降低所述图像的至少一个其他区域中的观看到的图像质量为代价,来减小所述感兴趣区域中的由所述投影仪生成的准直图像的至少一种光学像差。
18.根据权利要求17所述的方法,其中,通过感测所述用户的眼睛的当前视线来确定所述当前感兴趣区域。
19.根据权利要求17所述的方法,其中,所述图像是视频图像,并且其中,所述当前感兴趣区域根据所述视频图像的内容而变化。
CN202080045864.9A 2019-06-23 2020-06-23 具有中央凹光学校正的显示器 Active CN114008512B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962865237P 2019-06-23 2019-06-23
US62/865,237 2019-06-23
US201962872738P 2019-07-11 2019-07-11
US62/872,738 2019-07-11
PCT/IL2020/050700 WO2020261268A1 (en) 2019-06-23 2020-06-23 Display with foveated optical correction

Publications (2)

Publication Number Publication Date
CN114008512A CN114008512A (zh) 2022-02-01
CN114008512B true CN114008512B (zh) 2024-05-24

Family

ID=74060051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080045864.9A Active CN114008512B (zh) 2019-06-23 2020-06-23 具有中央凹光学校正的显示器

Country Status (8)

Country Link
US (1) US11927872B2 (zh)
EP (1) EP3987340B1 (zh)
JP (1) JP2022537092A (zh)
KR (1) KR20220021904A (zh)
CN (1) CN114008512B (zh)
IL (1) IL289183A (zh)
TW (1) TW202129357A (zh)
WO (1) WO2020261268A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11200646B2 (en) * 2020-01-15 2021-12-14 Magic Leap, Inc. Compensation for deformation in head mounted display systems
US20230176377A1 (en) * 2021-12-06 2023-06-08 Facebook Technologies, Llc Directional illuminator and display apparatus with switchable diffuser
KR102586644B1 (ko) * 2021-12-13 2023-10-10 한국전자기술연구원 포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104570353A (zh) * 2015-01-08 2015-04-29 浙江大学 利用全息波导进行彩色目视显示的方法、光学系统及穿戴设备
CN105103045A (zh) * 2012-12-18 2015-11-25 兰斯维克托公司 具有高级电场控制能力的液晶光学设备

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61140925A (ja) * 1984-12-13 1986-06-28 Olympus Optical Co Ltd 複屈折の温度補正液晶レンズ
US5870159A (en) 1995-10-30 1999-02-09 Kaj Switchable achromatic polarization rotator
JP4311905B2 (ja) * 2002-02-05 2009-08-12 オリンパス株式会社 光学系
IL162573A (en) 2004-06-17 2013-05-30 Lumus Ltd Optical component in a large key conductive substrate
US20070171376A1 (en) * 2006-01-26 2007-07-26 Motorola, Inc. Projection display system
EP2153266B1 (en) 2007-06-04 2020-03-11 Magic Leap, Inc. A diffractive beam expander and a virtual display based on a diffractive beam expander
US11450113B1 (en) 2009-06-04 2022-09-20 Masoud Vaziri Method and apparatus for a wearable computer
US8810913B2 (en) * 2010-01-25 2014-08-19 Bae Systems Plc Projection display
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US9456744B2 (en) 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
EP3779538B1 (en) 2012-05-18 2023-06-28 RealD Spark, LLC Directionally illuminated waveguide arrangement
US10025089B2 (en) 2012-10-05 2018-07-17 Microsoft Technology Licensing, Llc Backlight for viewing three-dimensional images from a display from variable viewing angles
WO2014188149A1 (en) 2013-05-20 2014-11-27 Milan Momcilo Popovich Holographic waveguide eye tracker
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
US9459451B2 (en) 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
US9766463B2 (en) * 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
CN104052988B (zh) 2014-06-16 2016-03-30 京东方科技集团股份有限公司 3d显示驱动方法及3d眼镜驱动方法
US9720548B2 (en) 2014-06-27 2017-08-01 Microsoft Technology Licensing, Llc See-through IR frontlight with embedded partially reflective facets
KR102484474B1 (ko) 2014-07-31 2023-01-04 이매진옵틱스 코포레이션 브래그 액정 편광 격자
US9377623B2 (en) 2014-08-11 2016-06-28 Microsoft Technology Licensing, Llc Waveguide eye tracking employing volume Bragg grating
US9494799B2 (en) 2014-09-24 2016-11-15 Microsoft Technology Licensing, Llc Waveguide eye tracking employing switchable diffraction gratings
US10423222B2 (en) 2014-09-26 2019-09-24 Digilens Inc. Holographic waveguide optical tracker
IL235642B (en) * 2014-11-11 2021-08-31 Lumus Ltd A compact head-up display system is protected by an element with a super-thin structure
IL241033B (en) 2015-09-02 2021-12-01 Eyeway Vision Ltd Projector system and method for ocular projection
US10690916B2 (en) 2015-10-05 2020-06-23 Digilens Inc. Apparatus for providing waveguide displays with two-dimensional pupil expansion
US20180045960A1 (en) * 2015-12-02 2018-02-15 Augmenteum, LLC. System for and method of projecting augmentation imagery in a head-mounted display
CN109791295A (zh) 2016-07-25 2019-05-21 奇跃公司 使用增强和虚拟现实眼镜的成像修改、显示和可视化
US10133070B2 (en) 2016-10-09 2018-11-20 Lumus Ltd. Aperture multiplier using a rectangular waveguide
US10551622B2 (en) 2016-10-26 2020-02-04 Microsoft Technology Licensing, Llc Field of view tiling in waveguide-based near-eye displays
US10151961B2 (en) * 2016-12-29 2018-12-11 Facebook Technologies, Llc Switchable bragg gratings for chromatic error correction of pancharatnam berry phase (PBP) components
KR102296369B1 (ko) 2016-12-31 2021-09-01 루머스 리미티드 도광 광학 소자를 통한 망막 이미징 기반 안구 추적기
US10168531B1 (en) 2017-01-04 2019-01-01 Facebook Technologies, Llc Lightfield waveguide integrated eye tracking
JP7162963B2 (ja) 2017-02-13 2022-10-31 シーリアル テクノロジーズ ソシエテ アノニム 導光デバイスおよびシーンを表すディスプレイデバイス
IL292456B (en) 2017-02-22 2022-08-01 Lumus Ltd Optical assembly of a light guide
KR102579249B1 (ko) 2017-03-21 2023-09-15 매직 립, 인코포레이티드 공간 광 변조기들을 조명하기 위한 방법들, 디바이스들, 및 시스템들
US10185393B2 (en) 2017-04-03 2019-01-22 Facebook Technologies, Llc Waveguide display with spatially switchable grating
DE102017114372B3 (de) 2017-06-28 2018-10-11 Cynora Gmbh Organische moleküle, insbesondere zur verwendung in optoelektronischen vorrichtungen
DE102017119440A1 (de) * 2017-08-24 2019-02-28 Carl Zeiss Ag Gekrümmter Lichtleiter, Abbildungsoptik und HMD
JP7317003B2 (ja) 2017-09-27 2023-07-28 マジック リープ, インコーポレイテッド 別個の位相および振幅変調器を伴う接眼3dディスプレイ
US10643307B2 (en) * 2017-11-10 2020-05-05 Intel Corporation Super-resolution based foveated rendering
US11112613B2 (en) 2017-12-18 2021-09-07 Facebook Technologies, Llc Integrated augmented reality head-mounted display for pupil steering
CN108107579B (zh) 2017-12-18 2021-02-19 杭州光粒科技有限公司 一种基于空间光调制器的全息光场大视域大出瞳的近眼显示系统
ES2969540T3 (es) 2017-12-21 2024-05-21 Bae Systems Plc Oculometría para pantalla llevada en la cabeza
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
US10890768B2 (en) 2018-10-15 2021-01-12 Microsoft Technology Licensing, Llc Polarization-based dynamic focuser
US10816809B2 (en) 2018-12-17 2020-10-27 Facebook Technologies, Llc Holographic in-field illuminator
EP4078288A4 (en) 2019-12-19 2023-06-07 Lumus Ltd. IMAGE PROJECTOR WITH A PHASE IMAGE GENERATOR
EP3839607A1 (en) 2019-12-20 2021-06-23 Imec VZW An optical device and a near eye display
JP2023512879A (ja) 2020-02-06 2023-03-30 バルブ コーポレーション スキャンビームシステム用の空間・時間変動偏光補正光学系

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105103045A (zh) * 2012-12-18 2015-11-25 兰斯维克托公司 具有高级电场控制能力的液晶光学设备
CN104570353A (zh) * 2015-01-08 2015-04-29 浙江大学 利用全息波导进行彩色目视显示的方法、光学系统及穿戴设备

Also Published As

Publication number Publication date
EP3987340A1 (en) 2022-04-27
KR20220021904A (ko) 2022-02-22
EP3987340A4 (en) 2022-08-10
US11927872B2 (en) 2024-03-12
IL289183A (en) 2022-02-01
JP2022537092A (ja) 2022-08-24
CN114008512A (zh) 2022-02-01
TW202129357A (zh) 2021-08-01
WO2020261268A1 (en) 2020-12-30
US20220350219A1 (en) 2022-11-03
EP3987340B1 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
CN114008512B (zh) 具有中央凹光学校正的显示器
US10048500B2 (en) Directionally illuminated waveguide arrangement
US7959308B2 (en) Substrate-guided display with improved image quality
US6989935B2 (en) Optical arrangements for head mounted displays
US7234813B2 (en) Apparatus for displaying image by projection on retina of viewer with eliminated adverse effect of intervening optics
US7605775B2 (en) Displaying optical system
EP3690517B1 (en) Image projection device
EP4042675A1 (en) Laser-illuminated displays with enhanced uniformity and/or eye safety
JP4055590B2 (ja) 画像表示装置
JP2009282085A (ja) 光学装置およびこれを備えた画像表示装置
WO2005069643A1 (en) Display device for volumetric imaging using a birefringent optical path length adjuster
US9829716B1 (en) Head mounted display
US20220269088A1 (en) Optical system for a virtual retinal scan display, and method for projecting image content onto a retina
US11953696B2 (en) Display device
US20230266593A1 (en) Optical element for compensation of chromatic aberration
CN115989453A (zh) 具有中间图像平面的反射slm图像投影仪
KR20050100496A (ko) 내부 전반사 프리즘

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant