CN112543886A - 一种用于投射激光束以在眼睛的视网膜上生成图像的设备装置 - Google Patents

一种用于投射激光束以在眼睛的视网膜上生成图像的设备装置 Download PDF

Info

Publication number
CN112543886A
CN112543886A CN201980051900.XA CN201980051900A CN112543886A CN 112543886 A CN112543886 A CN 112543886A CN 201980051900 A CN201980051900 A CN 201980051900A CN 112543886 A CN112543886 A CN 112543886A
Authority
CN
China
Prior art keywords
eye
mirror
laser beam
image
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980051900.XA
Other languages
English (en)
Inventor
J·简斯
U·霍夫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN112543886A publication Critical patent/CN112543886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08Catadioptric systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/101Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Abstract

本发明涉及一种使用激光投影设备(5、6、7)在眼睛(9)的视网膜(17)上投影图像的装置设备,一种用于确定眼睛的方向的设备(20),以及用于根据所述确定方向跟踪所述激光投影设备的激光束(2)的跟踪设备(4、4a)。这种方式为将图像投射到人的视网膜上创造了可能,同时也考虑了眼睛的瞬时视线方向。

Description

一种用于投射激光束以在眼睛的视网膜上生成图像的设备 装置
技术领域
本发明涉及一种投影设备,可以在眼睛的视网膜上进行激光投影。因此,本发明属于光学、激光技术及数据处理领域,尤其在诸如娱乐电子产品、智能手机显示功能、控制机器及汽车显示器,或甚至导航仪显示功能等应用十分有利。
背景技术
在生物的眼睛成像,尤其在人的眼睛成像的方法很多。因此,必须区分在视网膜上成像的真实图像和由激光束产生的图像,尤其是若该激光束是以扫描的方法到达人眼的视网膜。所谓的平视显示器(HUD)就是一个很好的例子,在这种显示器中,用激光束产生真实图像,然后借助光学成像系统将其投影到视网膜上。通常情况下,这种图像与位于观察者眼前的真实图像叠加,通过部分镜像或用部分镜像面来反射虚拟图像(诸如挡风玻璃)。进而,这种成像方法除了用于生成虚拟现实外,还可以用于所谓的增强现实。此处提出的设备主要是生成像素集合,该像素集合通过视网膜上的扫描激光照亮。
用于在眼睛的视网膜上生成图像的激光投影设备分别来自US2017/0115483A1、US2016/0274365A1及US6,639,570B2。
发明内容
本发明设定了一项任务,即生产一种在人的视网膜上生成图像的设备,复杂度低且不受人的视线方向影响。该目的通过根据本发明专利权利要求1中的特征实现。专利权利要求2至13提出了该设备的实施方式。此外,本发明还涉及一种根据权利要求14的眼镜设备。专利权利要求15提出了这种眼镜设备的一个有利实施方式。
因此,本发明涉及一种用于投射激光束以在眼睛的视网膜上生成图像的设备,该设备使用激光投影设备,用于确定眼睛的方向的设备以及用于根据确定的方向跟踪激光投影设备的激光束的跟踪设备。
相应的激光投影设备基本上是已知的。通常,这种设备使用一个或多个镜面来控制激光束的偏转,以便用后者以诸如线形和列式扫描图像区域。在扫描过程中,改变激光束的强度以使每个像素以分配的亮度照射。激光束可由此用单一波长传输,以产生单色图像;然而,也可同时或连续地使用一系列多色激光束进行扫描,以通过多色图像的叠加产生全彩、真实的图像。
由于投影或成像是要在人的视网膜上产生,因此必须考虑到人的眼睛的光学成像原理来引导激光束。由于所述投影或成像通过改变人的视线方向而改变的,因此既应该同时由所谓的眼动跟踪确定人的视线方向,又考虑激光束的引导过程。相应的使用诸如照相机或扫描激光器的眼动跟踪方法基本上是已知的。例如,美国专利文件2008/0030685A1中对此种系统有所说明。由此应该考虑到,眼动跟踪也可以对一个人的两只眼睛分别实施,以控制两个设备进行投影,以在人的两只眼睛中分别产生一个单独的图像。通过双眼的眼动跟踪,诸如到被观看物体的距离也可确定。相应地,人的两只眼睛的视线方向通常不平行,但在观看物体的情况下,视线是相交的。通过激光投影在人的两眼中投影不同的图像以生成立体图像。
跟踪设备是根据本发明的投影图像设备的一部分,该跟踪设备考虑确定的单眼或双眼的方向,并引导激光束,使得图像的生成可通过扫描激光束分别以适当的角度,特别是平行于视觉轴线来实现。由激光投影设备扫描的投影图像,其每个像素及每个传输或照亮像素的激光束,被跟踪设备根据眼睛视线方向移位,使得即使视线方向改变,每个像素也保持在视网膜的相同位置。
本发明实施方式可提供跟踪设备,该跟踪设备具有可控偏转镜形式的调节元件,该调节元件的调节角度可由控制设备根据所述确定的所述眼睛的方向控制。
调节元件可以配置为诸如第一MEMS偏转镜,必须可以进行快速地调节和跟踪,以便能够跟上快速眼球运动,这种快速眼球运动被眼动跟踪尽可能实时地记录下来。调节元件可能涉及一种微型镜元件,该微型镜元件可以相对于角度围绕两个轴进行控制,用于将要扫描的图像以正确的角度投影到眼睛中。调节元件的典型控制或调节时间在千分之一秒或以下。例如,可为提供一个压电MEMS调节元件。然而,无论驱动类型如何,可使用任何能够相应快速调节的矢量扫描仪。
此外,眼动跟踪也可由眼动跟踪设备以相应的频率来实现。调节元件的控制设备接收眼动跟踪数据,并根据该数据控制调节元件。
投影图像的设备的结构可设计为,调节元件被布置在激光投影设备前的激光束的光路中。然后,光路以对视网膜上的角度和位置有影响的入射角被引导到激光投影设备中,在该入射角处激光投影设备生成扫描图像。
此外,还可以提供具有扫描偏转设备的激光投影设备,特别是以第二MEMS偏转镜形式的扫描偏转设备。激光投影设备还使用偏转镜,该偏转镜在两个平面上通过可枢转地驱动,使用MEMS偏转镜是有利的。该MEMS偏转镜可通过诸如静电、压电、磁力或纯机械地驱动。二维(2D)扫描镜的优点在于,偏转镜的两个枢轴位于一个平面上,因此存在一个共同的枢轴点。目前相应已知的2D MEMS扫描镜的振荡频率在几百赫兹到几万赫兹。特别有利地,还可以使用所谓的李萨如(Lissajous)扫描镜。
可靠的图像生成的先决条件在于精确控制扫描镜的角度位置,这对反馈镜面位置十分有利。为此,诸如读取方法或光学位置敏感检测器均是已知的,在诸如DE102004060576B4中公开应变计或电容和压电法。根据各检测器的测量值,可以计算出镜面偏转的角坐标,确定要投影的图像中对应当前被照亮的像素。然后可以为这些颜色分别分配一个或多个颜色的亮度值或不同类型的颜色坐标。
对应2D MEMS扫描镜在诸如EP2803633、EP2808720、DE102013206788和DE102004060576等专利文件中公开。
本发明的一特定实施例可提供激光投影设备,具有第一抛物面镜和第二抛物面镜,其光轴方向彼此平行定向。由此可以提供调节元件,设置在激光投影设备的第一抛物面镜的焦点处。在另一实施例中,扫描偏转设备还可以设置在激光投影设备的第二抛物面镜的焦点处。
在两个相对应布置的抛物面镜的情况下,可通过将调节元件布置在第一抛物面镜的焦点处实现,使得由布置在抛物面镜的调节元件反射的激光束被平行于轴线的第一抛物面镜反射。该抛物面镜布置被设计为使激光束由第一抛物面镜反射到第二抛物面镜,且在两个抛物面镜轴线彼此平行的方向上,激光束被定向在两抛物面镜之间,且同样平行于第二抛物面镜的轴线。然后,通过第二抛物面镜,使得激光束在任何情况下都可被传输,而不考虑通过第二抛物面镜焦点的平行偏移。在第二抛物面镜的焦点处,偏转装置,尤其是激光投影设备的MEMS镜,被设置为使后者在任何情况下都能被激光束冲击。该偏转装置通过相应的动态致动确保激光束以期望的空间角度投影要生成的图像。
在一实施例中,根据本发明的设备也可设计为在激光投影设备后面的光路中设置反射元件,尤其是中空镜或全息镜形式的反射元件。通过这样的设计,该设备可以部分地布置在人的太阳穴旁边,激光束可以被激光投影设备射入反射元件中,该反射元件以眼镜片的形式置于人的眼睛前。因此,反射元件可以是光学透明、部分镜面的,这样人可以透过反射元件看,且可以接收到周围环境的真实图像。真实图像与激光投影图像叠加在一起。
对于激光投影图像的失真,反射元件可相对于眼睛的光轴不对称。由于激光投影的图像以对角线方向并以一定的角度冲击反射元件,诸如在45°到80°之间,而反射元件与反射元件的光轴有一定的距离,因此可以通过反射元件的不对称设计来补偿相应的图像失真。
通过激光投影设备的已知位置,可以确定反射元件的几何形状,使得可以在不同的扫描位置上模拟激光的光路,并可以在任意点建立反射元件的面倾角以传输未失真的图像。
除了或代替光学校正,本发明的可能的实施方式还可以设置并安装驱动设备,使得在驱动所述第一MEMS镜和/或第二MEMS镜期间,由分别确定的偏转角确定校正偏转角,以补偿所述反射元件的失真。
如上所述,根据本发明的设备可以具有一个单频激光器,然而还可以有多个不同波长的激光器或一个可调谐激光器,使得可同时或连续使用不同颜色的激光束,并可以通过该设备。因此,彩色图像可在人的视网膜上生成。
根据本发明的设备的一大优点在于使用了基本反射的光学成像元件,因此在使用不同波长的激光束的情况下,不会出现色散问题。对于激光束的准直及光学处理,可以在抛物面镜和偏转设备的前提供一准直装置,该准直装置还包括折射光学元件,然后可对其进行颜色校正。
附图说明
下文中,本发明在实施例的基础上以附图形式示出,并随后对其进行说明。如图所示:
图1为具有扫描激光束水平偏转的设备的透视图;
图2为图1中的设备处于激光束垂直偏转的情况;
图3为所谓高尔斯特兰(Gullstrand)模型眼的示意图,具有光学元件及定义该眼的参数;
图4为水平面上跟踪设备俯视图的剖面图,眼睛的视线方向为直视;
图5为图4的剖面图,眼睛的视线方向与直线方向水平偏离10°;
图6为在垂直平面上跟踪设备俯视图的剖面图,眼睛的视线方向为直视;
图7为在两种不同的激光束路径下的跟踪单元/调节元件的详细图,对应眼睛的两个不同的视线方向。
图8为根据本发明的设备的结构,考虑到在使用本设备情况下人的生理结构;
图9示意性地示出了一种根据本发明的具有两个设备的眼镜设备;以及
图10示出了针对视网膜及中央凹具有不同像素密度的视网膜的不同照明。
具体实施方式
图1示出了用于通过扫描的激光束在眼睛的视网膜上直接生成图像并同时跟踪投影图像的设备,该投影图像取决于眼睛随时间变化的视线方向。设备的RGB激光器1发出RGB激光束2,可以控制像素的颜色。RGB激光束也可以与光纤及相应的光纤元件一起使用。激光束2通过光束形成元件3,诸如准直设备,该元件由合适的透镜组合而成,通过该元件可设定RGB激光束2的几何参数(RGB=红/绿/蓝)。这些参数主要为:光束直径、瑞利范围(Rayleighrange)及发散度。由于RGB激光束2为具有不同波长的三个部分光束的组合或时间序列,因此可能需要将光束形成元件的透镜组合配置为复消色差镜头。
此后,RGB激光光束冲击到枢轴元件4(调节元件)上,该枢轴元件4在此也被称为第一MEMS偏转镜。调节元件4的目的在于使RGB激光束2以特定的角度α和β冲击在激光投影设备的2D MEMS扫描仪7上。角度α和β取决于眼睛的视线方向。根据眼睛的视线方向,必须以正确的角度和正确的位置将扫描的图像投影到眼睛中。调节元件4设置在抛物面镜5的焦点处,RGB激光束2偏转到该抛物面镜上。抛物面镜5的实施例使RGB激光束2能够冲击在调节元件4上,并且只能反射由调节元件4调节的必要角度。出于此原因,图1中仅示出了抛物面镜的下部。如有必要,抛物面镜也可减少其横向延伸。由于调节元件4位于抛物面镜5的焦点处,因此,向抛物面镜5的镜面偏转的RGB激光束2被抛物面镜5反射,使其在反射后平行于其对称轴的方向延伸。无论调节元件4的调节角度α和β如何,在抛物面镜5上反射的所有RGB激光束2均在平行于抛物面镜5的对称轴的方向延伸。抛物面镜5的对称轴可以在一定范围内自由设定。抛物面镜的半径取决于设备的构造模式,与该设备朝向的人的脸部尺寸、投射图像的眼睛有关,因此该范围在几厘米之内。
在抛物面镜5上反射后,RGB激光束2冲击到第二抛物面镜6上。抛物面镜6的对称轴定向为使其对称轴与抛物面镜5的对称轴平行。抛物面镜的实施例使得,由调节元件4偏转并由抛物面镜5反射的RGB激光束2以调节元件4上出现的所有合理角度α和β冲击到抛物面镜6上。因此,图1中仅示出了抛物面镜的上部。对抛物面镜6的半径选择使得一体化结构中的2D MEMS扫描仪7可以在无需复杂条件下就可被冲击。考虑到脸部尺寸,因此该半径为几厘米。重要的是,抛物面镜5和6的半径也可以选择减小调节元件4的调节角度,使2D MEMS扫描仪7的入射角大。
激光投影设备的2D MEMS扫描仪7中的第二MEMS偏转镜位于抛物面镜6的焦点处。2D MEMS扫描仪7以生成激光投影图像的正常方式操作。2D MEMS扫描仪7围绕其两个扭转轴θ、φ摆动,使激光束覆盖一个确定的空间角元件。在该空间角元件中,三个激光器的强度用RGB系统的已知方法进行控制,从而生成像素精确的图像。扫描角度θ、φ可以进行调整,使投影的激光图像覆盖眼睛视网膜的重要部位。
2D MEMS扫描仪的实施例在设备中的使用不受任何特殊限制。有利实施例为允许高像素密度及高图像重复率的2D MEMS扫描仪。若无几何约束或结构尺寸引起的问题,则2DMEMS扫描仪的致动模式与该设备无关。这意味着,若像素密度或图像重复率能够达到,并可实现的角度振幅能够使视网膜获得大范围的照射,则致动模式可为静电、磁力、压电、机械或其他方式。对于仅需要照亮视网膜的一小部分的应用,更小幅度的角度振幅即可满足。对于将不完整的图像,或仅将象形图投影到眼睛中的应用,也可以使用矢量扫描仪的微镜。镜面直径最好为1-2毫米。该微镜应该足够大,以便能够忽略激光的广泛衍射现象。
使用2D MEMS扫描仪而非两个1D MEMS扫描仪的优点在于,各枢轴平面的旋转轴线相交,因此两轴线的旋转点可以精确地位于抛物面镜的焦点上。
优选地,使用Lissajour扫描仪作为2D扫描仪。操作此类2D扫描仪的重要前提条件是,镜面的角度位置θ和φ非常精确且为实时测量的。只有将角度位置θ和φ分配给要投影的图像的像素,并控制与之相连的RGB激光器(颜色成分和强度),才能实现图像的再现。只要对角度位置θ和φ的测量足够精确,则测量方法不受限制。在U·霍夫曼、J·简斯和H·昆泽于2012年出版于《微型机械》(Micromachines,第3期509-528页)的《用于激光束扫描显示器的高质量因数MEMS谐振器》,描述了一种具有高精度的测量方法。若在真空条件下运行Lissajous扫描仪,则与其他MEMS扫描仪相比,Lissajous扫描仪可以更稳健、紧凑地生产,并且所需的驱动力要小得多。此外,与其他MEMS扫描仪相比,Lissajous扫描仪具有快速构建由激光投影产生的图像以及高重复率的优势。
在图1中,示出了RGB激光束2相对于直立的人的眼睛在水平方向上偏转。图中示出了相对水平方向的中心像素偏转角度为0°的2D MEMS扫描仪的光束,以及对应于2D扫描仪振幅的两个最大偏转,其对应图1中的+/-40°。在一方向上,RGB激光束在扫描过程中覆盖了两个最大偏转角之间的角度范围,此处为+/-40°之间。然而,该设备并不限于+/-40°的角度范围。
在每个扫描角度,RGB激光束以具有特定表面曲率的镜或诸如全息反射器的形式冲击在反射元件8。镜子的使用使得激光束可以在2D扫描仪7的任意角度位置处投射在眼睛的视网膜上。为了在不失真的情况下实现上述效果,则必须在每个点上根据其曲率半径和表面角度定义反射镜的表面。从而使得镜面为非旋转对称,并在垂直和水平方向上具有不同的曲率半径及表面方向。考虑到眼睛的光轴,该表面是偏心的,并且以与眼睛的轴或直视方向的水平方向偏离几度的角度安装该表面是有利的(此方面参见图8)。为达到足够的近似值,也可使用非球面实现该目标,将该非球面偏心地安装在同样水平对角线位置。此种情况如图7所示,并在下文进行讨论。镜面8的尺寸朝向一般眼镜片的尺寸,该眼镜片尽可能地贴近眼睛放置,并适于面部生理特征。此外,镜面的几何配置必须能使扫描图像得到照射。镜面8的中心轴线相对于眼睛的位置在水平方向上发生位移。
激光光束2在反射元件/镜面8上反射后,光束冲击到眼睛9上。为计算此处设备的光束路径,使用了所谓高尔斯特兰(Gullstrand)眼的光学参数。Gullstrand眼9代表眼睛的所有必要光学元件的距离、曲率半径和折射率。图3中详细示出了这些参数。
图2示出了通过该设备的垂直图像投影的光束路径。图2说明垂直偏转的激光束2在反射元件8上反射之后完全到达眼睛9的视网膜上。
在图3中,示意性地示出了人眼。在此涉及到标准的Gullstrand眼。为计算光束路径(图1),将各种材料的已知距离、曲率半径和折射率作为基础。
眼球10定义了水状液的区域。眼睛的光学入口为角膜11。虹膜12与瞳孔13代表光学意义上的孔径。焦点14代表激光束必须经过的点,无论其角度如何,激光束都会在该点上照射到眼睛上。透镜体15由光学透镜和透镜囊组成。在计算光束路径时不考虑到眼睛的适应性。眼球的转折点16代表眼球移动的虚构点。个人眼睛移动的具体点只起次要作用。对于此处提出的光学考虑而言,更为关键的是,转折点16和焦点14之间的距离大约为11–12毫米。带有中央凹的视网膜被示出为具有成像表面17。(在本发明中,视网膜被定义为投影面,其既可以包括整个视网膜和中央凹,也可指部分区域)。
本发明的基本目标为,无论眼睛的视线方向如何,总是要将图像的正确像素投影到成像表面17的正确位置上。重要的是要确定,在图像生成方法中,其中激光束2的光路不根据眼睛的视线方向(绕转折点16旋转)进行几何跟踪,因此,图像总是被瞳孔13截断。
在图4中,示出了通过水平光学平面生成的剖面图,结合了跟踪单元的俯视图,该跟踪单元包括调节元件4以及两个抛物面镜5和6。图4应与图5结合起来看,在图5中,眼睛的视线方向在水平面向内旋转了10°。图5中的调节元件4的调节角度与图4中不同。因此激光束2冲击在抛物面镜5上的相应位置。经过在抛物面镜5上反射后,激光束2又以平行于抛物面镜5和6的两条对称轴延伸。与图4中的情况相反,激光束2冲击在第二抛物面镜6表面的不同位置上。继而,激光束2以不同的角度从抛物面镜6的表面反射,从而以不同的角度冲击2DMEMS扫描仪7。在2D MEMS扫描仪7的扫描幅度相同的情况下,会导致激光束2以0°的扫描角度离开2D MEMS扫描仪的方向发生相应地改变。激光束2在反射元件8上反射后,后者再以适于视线方向的正确角度冲击到眼睛9上。
为便于理解,在图4中,示出了摄像机20形式的眼动跟踪设备及确定眼球方位角的分析装置20a。分析装置20a与驱动调节元件4的控制装置4a连接。
在图6中,示出了激光束2在垂直方向上偏转的情况。该图为通过眼睛9的平面的剖面图以及跟踪设备的俯视图。与水平方向的情形(图4和图5)相反,此处反射元件8的位置与直视方向(0°)的眼睛9的光轴对称。
在图7中,示出了具有调节元件的跟踪设备的操作的放大图。激光束2冲击到调节元件4上。调节元件4位于抛物面镜5的焦点处。调节元件4可在两个平面中以角度α和β调节。在图7中,示出了两种不同调节角度的光路。激光束2的照射方向必须只能使光束沿抛物面镜5的方向反射,否则不受限制。
调节元件4的角度预调节限定了抛物面镜5的表面上的反射激光束的点,基本上对该点没有限制。然而,从实际考虑表明,将调节元件的角度的调节范围保持尽可能小是有利的。基于对实际的考虑,以及由于要将投影设备安装在眼睛附近,因此产生了几何边界条件。在图7所示的示例中,第一抛物面镜5的焦点到其顶点的距离量级为15毫米,第一抛物面镜5的半径量级为30毫米。只要结构性几何形状允许且制造方法可行,则该距离和半径可以相应地减小尺寸。
调节元件的调节角度基于眼睛的视线方向的角度及放大系数,而放大系数取决于第二抛物面镜6的半径。优选地,使用在两个方向上具有调节角度为几度的调节元件。在图7中,示出了调节元件4的两个调节角度。这导致激光束在第一抛物面镜5的表面上有两个入射点。从这些两个反射点开始,各个反射激光束平行于第一抛物面镜5对称轴延伸。
安装第二抛物面镜6,使其对称轴平行于第一抛物面镜5的对称轴,并使两个镜面的反射面彼此相对。因此,由抛物面镜5反射的激光束2也平行于抛物面镜6的对称轴延伸。若该激光束反射在第二抛物面镜6上,则该激光束总是通过抛物面镜6的焦点延伸。在图7中,抛物面镜6的焦点到其顶点的距离量级为15毫米,第二抛物面镜6的半径量级为30毫米。半径的选择使得可以扩大或减小激光束通过焦点延伸的角度范围。而对于此处所描述的设备的功能能力,扩大角度范围是有利的。
2D MEMS扫描仪7安装在抛物面镜6的焦点处。激光束2在2D MEMS扫描仪的镜面上的入射角由调节元件4的角度位置及由此通过两个抛物面镜5和6固定的光束路径来确定。当扫描图像的大小由2D MEMS扫描仪7的角振幅决定时,以2D MEMS扫描仪作为零点将扫描图像投影至空间角度元件由调节元件4或激光束在2D MEMS扫描仪的入射角确定。通过设备的这部分,可以同时跟踪眼睛的瞬时视线方向。
在图8中,示出了该设备的连续形式。除图1之外,图8中还示出了区域10。由于外观原因,眼睛水平面的空间必须保持无构造元件。在该空间内,除其他外,还有人的太阳穴、睫毛和鼻梁且在人的眼睛中将会产生图像。图8中的区域10的上限大约为眼镜框所在的线。下限为理想的对称平面所在的位置。
为了保证光学元件1至7不与生理学相悖,既可以将光学元件设计得更小,也可以将反射元件8水平(围绕垂直轴线)旋转。在图8中,示出了旋转角度为8°的情况。与图4至图6相反,反射元件8在此配置为由透明光学材料(诸如玻璃)制成的薄型变型。反射表面部分为镜面,因此总是仅有部分激光束2到达眼睛9。本实施例的优点为,周围环境的真实图像同样由于反射元件的作用以此方式到达眼睛。真实图像与扫描、投影的激光图像的叠加,使得可以配置该设备用于“增强现实”应用。在该实施例中,还可以将部分镜面的材料配置为眼镜,以校正视觉错误。由此,当然必须保持反射面的几何参数。
图9示出了为两只眼睛投影的设备结构。该图示的要点在于,可以检测到将反射元件8和8a配置为使其没有重叠区域。两个反射元件8和8a在水平方向上具有相反的旋转角。为了确保在任何时间点上,各像素都投影到视网膜的预定位置上,有必要相互协调两个方向上的角振幅(其必须大小相等),并进行控制以使其保持不变。
由于激光束以斜角冲击在2D MEMS扫描仪的镜面上,因此有必要对投影图像的失真进行补偿。失真与激光束在2D MEMS扫描仪上的瞬间冲击方向的函数,即取决于调节元件4的角度位置,因此最终取决于眼睛的瞬时视线方向。因此,可能的电子或软件失真程序必须与调节元件的角度位置耦合。此外,必须确定在2D MEMS扫描仪的水平扫描方向上,角度偏转相对于0°偏转是不对称的。由此,反射元件8首先被水平移动(偏心),其次具有绕垂直轴旋转的角度(此处以8°计算)。由此可得,必须根据2D MEMS扫描仪的偏转角在水平方向上校正每个像素的位置。
通过双眼视网膜上的激光投影及所需电子图像处理,可以产生场景,从而产生透视视觉效果。首先,对于在前景中显示图像的视觉效果而言,与传递远距离的视觉效果相比,两只眼睛的光轴都具有相对较大的角度。使用此处的光学设备,可以在总的视觉方向的大范围内实现这种“前景图像”。
由于激光直接投影在眼球中,并将投影图像根据眼球视觉方向进行“跟踪”的情况下,产生了该设备的另一个有利的应用。首先必须确定,若是在视网膜的部分中央凹上成像,则只有此种眼睛的生理构造才实现对真实图像的敏锐感知。在中央凹区域之外,不能感知到“锐利”的图像。
这一事实提供了如下可能性,即以此处提出的方式在视网膜上产生的激光投影图像以小于中央凹区域中的像素密度被投影到中央凹的外部。图10中示意性地示出了这种情况。低分辨率的视网膜由区域11表示。表面12表示用扫描激光投影在视网膜上生成图像的区域。较小的区域13表示中央凹,边缘表面14表示激光投影的像素密度较高的区域。此处区域12至14的几何形态是任意的。由于激光投影产生的完整图像与眼睛的视觉方向是同步跟踪的,因此相同的像素(图像交替则像素内容交替)总是投影在视网膜的同一坐标上。只需要通过相应软件控制,就可以实现12和14区域的不同像素密度。例如,区域14中的像素密度应在每平方毫米n(n=自然数),以便在中央凹13上生成高分辨率的扫描图像。对于中央凹12以外的区域,需要较低的分辨率(诸如较少的系数5或10),则通过诸如0.1每平方毫米的像素密度来实现。然而,有利地,每张图像仅需要维持更少的像素及所需的存储空间。由此可见,在固定图像重复率的情况下,可以降低数据传输率。

Claims (15)

1.一种用于在眼睛(9)的视网膜(17)上投射图像的设备,所述设备使用激光投影设备(5、6、7),用于确定眼睛的方向的设备(20)以及用于根据所述确定的方向跟踪所述激光投影设备的激光束(2)跟踪设备(4、4a)。
2.根据权利要求1所述的设备,其特征在于,所述跟踪设备具有可控偏转镜形式的调节元件(4),所述调节元件的调节角度可由控制设备(4a)根据所述确定的所述眼睛的方向控制。
3.根据权利要求1或2所述的设备,其特征在于,所述调节元件(4)被布置在所述激光投影设备(5、6、7)前的所述激光束(2)的光路中。
4.根据权利要求1至3中的一项所述的设备,其特征在于,所述调节元件(4)被配置为第一MEMS偏转镜。
5.根据权利要求1至4中的任一项所述的设备,其特征在于,所述激光投影设备(5、6、7)具有扫描偏转设备,特别是以第二MEMS偏转镜(7)形式的扫描偏转设备。
6.根据权利要求1至5中的任一项所述的设备,其特征在于,所述激光投影设备(5、6、7)具有第一抛物面镜和第二抛物面镜(5、6),其光轴(5a、6a)方向彼此平行定向。
7.根据权利要求6所述的设备,其特征在于,所述调节元件(4)设置在所述激光投影设备(5、6、7)的所述第一抛物面镜(5)的焦点处。
8.根据权利要求6所述的设备,其特征在于,所述扫描偏转设备(7)设置在所述激光投影设备的所述第二抛物面镜(6)的焦点处。
9.根据权利要求1至8中的任一项所述的设备,其特征在于,在所述激光投影设备(5、6、7)后的光路中设置有反射元件(8),特别是以中空镜的形式。
10.根据权利要求9所述的设备,其特征在于,所述反射元件(8)为光学透明且是部分镜像的。
11.根据权利要求8至10中的任一项所述的设备,其特征在于,所述反射元件(8)是不对称的。
12.根据权利要求8至11中的任一项所述的设备,其特征在于,设置并安装驱动设备,使得在驱动所述第一MEMS镜和/或第二MEMS镜(4、7)期间,由分别确定的偏转角确定校正偏转角,以补偿所述反射元件(8)的失真。
13.根据权利要求1至12中的任一项所述的设备,其特征在于,所述激光束(2)由具有不同颜色的多个分光束或在时间上连续地具有不同波长的多个分光束组成。
14.一种眼镜设备(21),具有如权利要求1至13中的任一项所述的两种设备。
15.根据权利要求14所述的眼镜设备,每个所述激光投射设备(5、6、7)具有两个抛物面镜(5、6),其特征在于,所述抛物面镜具有不对称的切口以节省空间,保持被所述激光束分别覆盖的每个抛物面镜的空间角度。
CN201980051900.XA 2018-06-19 2019-06-19 一种用于投射激光束以在眼睛的视网膜上生成图像的设备装置 Pending CN112543886A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018209886.7 2018-06-19
DE102018209886.7A DE102018209886B4 (de) 2018-06-19 2018-06-19 Einrichtung zur Projektion eines Laserstrahls zur Erzeugung eines Bildes auf der Netzhaut eines Auges und Brilleneinrichtung mit zwei derartigen Einrichtungen
PCT/EP2019/066142 WO2019243395A1 (de) 2018-06-19 2019-06-19 Einrichtung zur projektion eines laserstrahls zur erzeugung eines bildes auf der netzhaut eines auges

Publications (1)

Publication Number Publication Date
CN112543886A true CN112543886A (zh) 2021-03-23

Family

ID=66998425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980051900.XA Pending CN112543886A (zh) 2018-06-19 2019-06-19 一种用于投射激光束以在眼睛的视网膜上生成图像的设备装置

Country Status (4)

Country Link
US (1) US11867916B2 (zh)
CN (1) CN112543886A (zh)
DE (1) DE102018209886B4 (zh)
WO (1) WO2019243395A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018209886B4 (de) * 2018-06-19 2020-02-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Einrichtung zur Projektion eines Laserstrahls zur Erzeugung eines Bildes auf der Netzhaut eines Auges und Brilleneinrichtung mit zwei derartigen Einrichtungen
US11523095B2 (en) * 2020-12-21 2022-12-06 Infineon Technologies Ag Mems mirror-based extended reality projection with eye-tracking

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120257166A1 (en) * 2011-04-07 2012-10-11 Raytheon Company Portable self-retinal imaging device
CN103298394A (zh) * 2011-01-13 2013-09-11 奥普托斯股份有限公司 眼科学中的或与眼科学有关的改进
WO2017037708A1 (en) * 2015-09-02 2017-03-09 Eyeway Vision Ltd. Eye projection system and method
US20170115483A1 (en) * 2015-10-23 2017-04-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US20170285343A1 (en) * 2015-07-13 2017-10-05 Mikhail Belenkii Head worn display with foveal and retinal display

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9218628D0 (en) * 1992-09-03 1992-10-21 Vision Eng Optical magnifying apparatus
US6008781A (en) * 1992-10-22 1999-12-28 Board Of Regents Of The University Of Washington Virtual retinal display
EP1373967A2 (en) * 2000-06-06 2004-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. The extended virtual table: an optical extension for table-like projection systems
US6522474B2 (en) * 2001-06-11 2003-02-18 Eastman Kodak Company Head-mounted optical apparatus for stereoscopic display
CN100447614C (zh) * 2002-09-24 2008-12-31 西健尔 图像显示装置
US7553021B2 (en) 2003-02-13 2009-06-30 Fergason Patent Properties, Llc Optical system for monitoring eye movement
DE102004060576B4 (de) 2004-12-16 2017-12-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Projektor zur Bildprojektion
DE102013206788B4 (de) 2013-04-16 2018-02-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einem schwingfähig aufgehängten optischen element und verfahren zum auslenken desselben
DE102013209234B4 (de) 2013-05-17 2018-04-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einem schwingfähig aufgehängten optischen Element
DE102013210059B4 (de) 2013-05-29 2021-07-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Feder und einem daran aufgehängten optischen Element
US20160274365A1 (en) * 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
DE102018209886B4 (de) * 2018-06-19 2020-02-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Einrichtung zur Projektion eines Laserstrahls zur Erzeugung eines Bildes auf der Netzhaut eines Auges und Brilleneinrichtung mit zwei derartigen Einrichtungen

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103298394A (zh) * 2011-01-13 2013-09-11 奥普托斯股份有限公司 眼科学中的或与眼科学有关的改进
US20120257166A1 (en) * 2011-04-07 2012-10-11 Raytheon Company Portable self-retinal imaging device
US20170285343A1 (en) * 2015-07-13 2017-10-05 Mikhail Belenkii Head worn display with foveal and retinal display
WO2017037708A1 (en) * 2015-09-02 2017-03-09 Eyeway Vision Ltd. Eye projection system and method
US20170115483A1 (en) * 2015-10-23 2017-04-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US20180129041A1 (en) * 2015-10-23 2018-05-10 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking

Also Published As

Publication number Publication date
US11867916B2 (en) 2024-01-09
DE102018209886A1 (de) 2019-12-19
WO2019243395A1 (de) 2019-12-26
DE102018209886B4 (de) 2020-02-27
US20210231963A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
US11079601B2 (en) Eye projection system and method
JP6415608B2 (ja) 目用投影システム
US6396461B1 (en) Personal display with vision tracking
CA2388015C (en) Personal display with vision tracking
CN110192143B (zh) 图像投影装置
EP3690517B1 (en) Image projection device
TW201643506A (zh) 頭戴式顯示裝置
US20180284441A1 (en) Wide field head mounted display
JP7052577B2 (ja) 光学装置、映像表示装置、及び検眼装置
WO2006078177A1 (en) Direct retinal display
CN113646688A (zh) 具有多个光引擎的扫描投影仪显示器
CN112543886A (zh) 一种用于投射激光束以在眼睛的视网膜上生成图像的设备装置
JP7275124B2 (ja) 映像投射システム、映像投射装置、映像表示光回折用光学素子、器具、及び映像投射方法
US20240019710A1 (en) Optical system for a virtual retinal scan display and method for projecting image contents onto a retina
CN114815468A (zh) 在增强现实显示器中利用激光束扫描的多平面投影
CN216485801U (zh) 一种光学成像系统、图像显示装置及增强现实显示设备
CN116057450A (zh) 头戴式装置的光学系统
JPH11109278A (ja) 映像表示装置
JP6832318B2 (ja) 目用投影システム
CN110727112A (zh) 一种可变焦视网膜扫描成像三维显示装置
JP2021013576A (ja) 視覚検査装置
TWI832308B (zh) 頭戴式裝置之光學系統
US20230408810A1 (en) Optical system for a virtual retinal display
TW201834607A (zh) 具有瞳孔追蹤功能的影像投影裝置及其瞳孔位置追蹤裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination