CN113759545A - 用于操作一副智能眼镜的方法 - Google Patents
用于操作一副智能眼镜的方法 Download PDFInfo
- Publication number
- CN113759545A CN113759545A CN202110599605.7A CN202110599605A CN113759545A CN 113759545 A CN113759545 A CN 113759545A CN 202110599605 A CN202110599605 A CN 202110599605A CN 113759545 A CN113759545 A CN 113759545A
- Authority
- CN
- China
- Prior art keywords
- eye
- laser beam
- input unit
- output unit
- smart glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000004984 smart glass Substances 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000004424 eye movement Effects 0.000 claims abstract description 38
- 230000005855 radiation Effects 0.000 claims abstract description 38
- 230000003287 optical effect Effects 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 238000005305 interferometry Methods 0.000 claims abstract description 15
- 230000001678 irradiating effect Effects 0.000 claims abstract 2
- 238000002310 reflectometry Methods 0.000 claims description 20
- 210000000744 eyelid Anatomy 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 7
- 210000001747 pupil Anatomy 0.000 claims description 7
- 210000001525 retina Anatomy 0.000 claims description 4
- 210000001508 eye Anatomy 0.000 description 144
- 230000000694 effects Effects 0.000 description 5
- 238000005265 energy consumption Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004461 rapid eye movement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C11/00—Non-optical adjuncts; Attachment thereof
- G02C11/10—Electronic devices other than hearing aids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Ophthalmology & Optometry (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明涉及一种用于操作智能眼镜(50)的方法,该智能眼镜(50)包括输入单元和/或输出单元(7)和注视检测装置(20),其中注视检测装置(20)检测眼睛(10)的任何眼睛运动,该方法包括以下步骤:将至少一个波长调制的激光束(1)照射到眼睛(10);基于所发射的激光辐射与从眼睛(10)后向散射的辐射的激光反馈干涉法,检测所发射的激光束(1)的光路长度(2);基于激光反馈干涉测量法检测发射和后向散射的辐射的多普勒频移;以及基于多普勒频移检测眼睛速度,并且其中,基于光路长度(2)和/或眼睛速度来操作输入单元和/或输出单元(7)。
Description
技术领域
本发明涉及一种用于操作智能眼镜的方法以及智能眼镜。
背景技术
众所周知,使用眼睛跟踪或眼睛检测(也称为眼相术)来确定眼睛的运动并估计注视方向。还已知使用智能眼镜来将图像投影到例如用户的视网膜上。例如,注视检测用于例如在显示环境敏感信息时调节一副智能眼镜的投影单元的控制装置。US 7,637,615 B2公开了使用视网膜投影和基于棱镜镜子的眼睛跟踪的这样的智能眼镜。用于眼睛跟踪的已知系统通常基于在眼睛的区域中使用基于照相机的系统或者电或电磁传感器来检测关于眼睛位置的信息。另外,已知扫描激光系统,例如,其使用微镜来扫描眼睛上的激光光斑。所有这些系统通常都具有很高的复杂性和能量消耗,经常具有有限的时间分辨率。
发明内容
相比之下,具有权利要求1的特征的根据本发明的方法的特征在于操作具有高的用户便利性的一副智能眼镜的特别节能且有成本效益的方法。这是通过一种用于操作一副智能眼镜的方法来实现的,该一副智能眼镜包括输入单元和/或输出单元以及注视检测装置。注视检测装置用于使用如下步骤确定眼睛运动:
使用至少一个波长调制的激光束照射眼睛,
基于发射的激光束和从眼睛后向散射的辐射的激光反馈干涉测量法,检测发射的激光束的光路长度,
基于激光反馈干涉测量法,检测发射和后向散射的辐射的多普勒频移,特别是其频率之间的多普勒频移,以及
基于多普勒频移检测眼睛速度,
其中,输入单元和/或输出单元基于光路长度和/或眼睛速度进行操作。
眼睛运动被认为是眼睛的任何运动,特别是相对于智能眼镜用户的头部的运动。特别地,这种眼睛运动对应于眼睛的观看方向的改变。此外,眼睛运动优选地对应于眼睛(特别是眼球)在眼窝内的转动。
换句话说,在眼睛运动确定中,特别是从波长调制的激光源发射的波长调制的激光束被照射到使用者的眼睛上。激光束在眼表面处至少部分地后向散射。后向散射的辐射是在眼表面处散射的辐射的一部分,该部分与发射的激光束平行,因此能够与其干涉。后向散射部分与入射的激光辐射干涉,即,与朝向眼睛传播的激光辐射干涉。照射的激光束的后向散射部分也可以称为后向散射的辐射。通过所谓的激光反馈干涉测量法,产生了所发射的激光束与后向散射的辐射的重叠,使得存在由此产生的干涉辐射。例如,可以借助检测器来检测和分析这个产生的干涉辐射。
激光反馈干涉法被认为是对照射的激光束及其后向散射的部分的重叠的检测和分析,即对产生的干涉辐射的检测和分析。基于激光反馈干涉测量法,确定所发射的激光束的光路长度。光路长度被认为是从激光源到眼睛表面的由发射的激光束所覆盖的几何距离与该处存在的材料的折射率的乘积。这意味着,如果激光束从激光源直接朝向眼睛在空气中发射(折射率约为1),则光路长度非常好地近似激光源与眼睛之间的距离。例如,如果所发射的激光辐射的波长是已知的,则可以基于相长干涉或相消干涉来估计光路长度。
优选地,三角波调制的激光作为波长范围内的波长调制的激光束发射。通过分析被干涉地发射和后向散射的辐射,特别是通过计算相对于三角波调制信号的两个边缘的所产生的干涉频率的平均值,可以确定光路长度。
此外,如果存在相对于散布的激光辐射的眼睛的运动,则发生多普勒频移,特别是由于多普勒效应而在发射的辐射的频率和后向散射的辐射的频率之间。借助于激光反馈干涉测量法,可以检测出该多普勒频移。然后可以使用多普勒频移确定眼睛速度。眼睛速度被认为是眼表面上一点的切线速度,该点对应于激光辐射撞击在眼表面上的点。优选地,眼睛速度包括当前速度的绝对值以及当前速度的方向。
然后,基于所确定的光路长度和/或眼睛速度来操作输入单元和/或输出单元。因此,该方法允许输入单元和/或输出单元通过用户的眼睛运动以特别简单和有效的方式进行操作。使用激光反馈干涉测量法,特别是使用多普勒效应来检测眼睛运动的特定方法具有特别高的时间采样率的优点,从而可以以特别高的时间分辨率来检测眼睛运动。另外,该方法提供了使用具有较低的能量需求的简单且廉价的部件和评估算法的优点。特别是,不需要计算密集的图像数据处理。另外,有利的是,将不需要诸如扫描装置之类的移动部件,因此提供了特别灵活和鲁棒的适用性。
本发明的优选的其他实施方式是从属权利要求的主题。
优选地,基于光路长度和/或眼睛速度来激活或停用输入单元和/或输出单元。也就是说,眼睛跟踪装置能够启动对输入单元和/或输出单元的激活和/或停用。优选地,停用状态是其中输入单元和/或输出单元没有能量消耗的状态。因此,可以提供智能眼镜的特别节能的操作,因为仅当不需要用户的输入和/或不需要向用户输出时才需要注视检测装置的电力供应。
特别优选地,注视检测装置将单个激光束引向眼睛,其中,基于检测到的光路长度,将在眼睛的注视方向被对准成使得单个激光束通过瞳孔进入眼睛时进行检测。输入单元和/或输出单元和/或眼睛跟踪装置的一部分是基于检测到该单个激光束进入眼睛而被操作的。例如,眼睛跟踪装置因此可以被设置为具有减少的能量消耗的睡眠模式。优选地,在该睡眠模式下,仅单个激光束被引导向眼睛。通过用户的任何相应的眼睛运动,使得激光束通过瞳孔进入眼睛,对应于在特定方向上观看,例如在用户视野中向下,输入单元和/或输出单元和/或眼睛跟踪装置可以被操作,并且例如可以被完全激活。优选地,单独的激光束可以被设计成在过程中对用户可见,使得用户在操作时接收相应的光学反馈。这可以使智能眼镜特别省电且用户友好地被操作。
优选地,基于光路长度和/或眼睛速度来识别眼睛姿势。输入单元和/或输出单元将基于识别的预定的眼睛姿势进行操作。眼睛姿势可以例如是眼睛的任何预定的运动模式,诸如向下转动然后是侧向转动。尤其是,可以基于不同的预定的眼睛姿势来执行不同的动作。特别地,通过眼睛跟踪装置确定相对的眼睛运动可能就足够了,其中例如不需要确定绝对的眼睛位置就能够清楚地区分预定的眼睛姿势。因此,使用眼睛跟踪装置对眼睛运动进行特定的高分辨率和节能检测可以实现智能眼镜的特别有效和可靠的操作。
优选地,输入单元和/或输出单元包括图像投影单元,该图像投影单元布置成将图像投影到眼睛的视网膜上。通过使用眼睛跟踪装置操作图像投影单元,可以提供尤其方便以及精确的图像投影。
优选地,基于所确定的光路长度和/或眼睛速度来调节由图像投影单元投影的图像的图像参数。这使得用户可见的图像具有特别高的图像质量,其中图像参数的特定调整意味着,例如,其中由于解剖学原因较低的图像质量就足够的区域用很少的显示努力就可以被显示,从而获得智能眼镜的特别高效的操作。
特别优选地,将调节由图像投影单元投影的图像的图像清晰度和/或图像分辨率和/或亮度和/或颜色分布。优选地,这些图像参数在用户的对应于眼睛的瞬时视角的整个视场上适配。有利地,根据眼睛的中央凹的位置来调节图像参数,该位置对应于最清晰的视觉区域。尤其是,由图像投影单元投影的图像被调节,使得在中央凹的区域中存在比视野的周围区域更高的图像清晰度和/或更高的图像分辨率。特别优选地,图像清晰度和/或图像分辨率在用户的视野中径向向外减小,尤其是连续地减小。这使得智能眼镜能够高效地操作,因为图像投影单元的较低显示质量可以实现在其中由于解剖学原因视觉能力以较少细节宣称的区域中。这导致较低的计算量以及图像投影单元中的较低的能量消耗。
优选地,该方法进一步包括以下步骤:在眼睛运动期间检测最大眼睛速度,并且基于最大眼睛速度来预测眼睛运动结束位置。从而基于眼睛运动结束位置来执行输入单元和/或输出单元的操作。特别优选地,基于眼睛运动结束位置来执行对由图像投影单元投影的图像的图像参数的调整。因此,特别是可以预测在快速眼睛运动(即所谓的扫视)的情况下,眼睛运动停止在哪个位置。优选地,对眼睛运动结束位置的预测是基于这样的假设,即眼睛在这样的眼睛运动期间执行均匀加速的运动。即,在这种眼睛运动的前半段期间存在恒定的正加速度,而在眼睛运动的后半段期间产生恒定的(特别是相同大小的)负加速度。通过检测相应速度曲线的前半部分,即从静止开始直至运动期间的最大速度的眼睛运动的速度,可以估计速度曲线的后半部分,特别是基于镜像对称的假设。以这种方式,特别是通过对所确定的速度曲线的积分,可以估计眼睛运动的结束点。优选地,确定在眼睛运动期间的最大速度是基于检测跟在眼睛速度的增加后面的降低的眼睛速度。特别地,如果发生图像参数调整以适应预测的眼睛运动结束位置,则可以有利地避免响应于用户的注视改变而对图像参数调整的任何延迟,从而可以总是确保投影图像的非常精确和最佳适应性的显示。
特别优选地,输入单元和/或输出单元包括声音再现单元和/或电子用户设备。电子用户设备优选地被提供作为例如使用无线连接而可连接到智能眼镜的单独的设备。这使得能够特别灵活地使用智能眼镜。
优选地,基于光路长度和/或眼睛速度来检测眼睛的眼睑闭合。这意味着特别地可以检测到任何眨眼。在这种情况下,确定的眼睛速度是眼睑闭合的速度。特别地,眼睑闭合可以基于特征速度,并且优选地是通过使用眼睛跟踪装置确定的速度的特征方向,来确定。优选地,可以使用对眼睑闭合的检测来操作输入单元和/或输出单元。例如,可以使用预定的眨眼模式或在预定的时间段内闭合眼睑来执行任何特定的动作。此外,眼睛的眼睑闭合的检测可以用于疲劳检测。因此,可以提供智能眼镜的特别广泛的应用。
优选地,眼睛跟踪装置的至少一部分始终处于活动状态。因此,例如,可以在任何时间执行特定的眼睛姿势以操作,特别是激活输入单元和/或输出单元,否则可以其将被关闭。结果,输入单元和/或输出单元可以根据需要进行操作,从而使得智能眼镜在其整个操作时间内的能耗特别低。由于采用了特别节能的注视检测方法,因此它可以一直运行,例如无需智能眼镜的高能耗。
优选地,该方法还包括以下步骤:根据通过眼睛后向散射的辐射的振幅和相位检测眼睛的反射率,从而基于反射率来操作输入单元和/或输出单元。优选地,代替或者除基于光路长度和/或眼睛速度的操作之外,还可以执行该基于反射率的操作。如果基于所确定的光路长度和/或眼睛速度和/或基于反射率来操作图像投影单元,则特别有利,尤其是其中,基于所确定的光路长度和/或眼睛速度和/或基于反射率调节由图像投影单元投影的图像的图像参数。在本文中,反射率尤其是指具有被眼睛向后散射的辐射的振幅和相位的复反射率。通过另外测量眼睛的反射率,因此可以特别精确地确定眼睛的当前位置。有利地,基于眼睛的不同部分的不同的反射率,可以识别出激光束当前照射眼睛的哪个部分,例如,可以据此估计任何绝对眼睛位置。例如,当激光辐射撞击到眼睛的不同部位时,反射率会明显不同且在特性上会有所不同。例如,与视网膜的照射相比,当激光辐射撞击到眼睛的虹膜并穿过角膜时,会发生明显更强的散射。优选地,反射率的确定因此可以用来确定在眼睛运动期间激光束何时移动经过解剖边界,该激光束相对于用户的头部尤其是静止的。以这种方式,可以特别容易和精确地确定任何眼睛运动,例如用作操作输入单元和/或输出单元的触发器。
此外,本发明使得智能眼镜包括输入单元和/或输出单元以及注视检测装置。输入单元和/或输出单元布置成从用户接收输入和/或向用户提供输出。注视检测装置包括激光设备和控制装置,所述激光设备被布置为将至少一个激光束照射到眼睛上,所述控制装置被布置为操作所述激光设备。智能眼镜被配置为执行上述方法。智能眼镜的特征在于特别简单且便宜的配置,该配置具有高的眼睛运动检测速率和低的能量需求。
优选地,该激光设备包括至少一个具有集成在其中的光电二极管的表面发射器(也称为:垂直腔表面发射激光器,或简称为VCSEL)。这样的激光设备可以用于基于激光反馈干涉测量法用具有特别简单、紧凑和成本效益的设计的眼睛跟踪装置来检测眼睛运动。这种激光设备特别适合于通过自混合效应进行检测。优选地,在这种情况下,光电二极管用于直接检测在激光腔内发射和后向散射的辐射的任何重叠。特别优选地,激光设备可以包括多个表面发射器,每个表面发射器发射激光束。
优选地,具有集成在其中的光电二极管的至少一个表面发射器布置在眼镜框架和/或眼镜腿上。在这种情况下,眼镜框架被特别地认为是智能眼镜的围绕眼镜镜片的区域,并且眼镜腿被特别地视为连接到眼镜框架的保持腿,例如延伸到用户的耳朵。例如,具有集成光电二极管的几个表面发射器可以围绕眼镜镜片分布式地布置在眼镜框架上,以允许在其整个运动范围内对眼睛进行特别精确的扫描。替代地或另外地,一个或多个激光源可以被集成,优选地被模制到眼镜镜片中。
附图说明
在下文中,结合附图通过示例实施例描述本发明。在附图中,功能相同的部件每一个均由相同的附图标记表示,其中:
图1是根据本发明的第一实施例的一副智能眼镜的简化示意图。
图2是使用图1的智能眼镜的注视检测过程的简化示意细节视图。
图3是使用图1的智能眼镜实现注视检测的另一简化示意细节视图。
图4是当执行注视采集时来自图1的智能眼镜的测量数据的简化示意表示。
图5是使用图1的智能眼镜的注视采集执行的另一个简化的示意细节视图,以及
图6是根据本发明的第二实施例的智能眼镜的简化示意图。
具体实施方式
图1示出了根据本发明的第一实施例的一副智能眼镜50的简化示意图。智能眼镜50包括眼镜镜片52、在其中容纳眼镜镜片52的眼镜框架51以及用于将智能眼镜50保持在用户的头部上的眼镜腿53。因此,智能眼镜50被配置为戴在用户的头上。
智能眼镜50包括注视检测装置20,通过该注视检测装置20可以确定用户的眼睛10的注视方向。为此,注视检测装置20包括激光设备3和控制装置4,控制装置4被布置为操作激光设备3以执行用于检测眼睛10的注视方向的对应方法。为了紧凑设计,控制装置4被布置在智能眼镜50的眼镜腿53中。
激光设备3包括作为激光源的总共五个表面发射器3a,3b,3c,3d,3e。五个表面发射器3a,3b,3c,3d中的四个分布式地布置在围绕眼镜镜片52的眼镜框架51上。第五表面发射器3e布置在眼镜腿53上。每个表面发射器3a,3b,3c,3d,3e被布置为将波长调制的激光束1照射到眼睛10上。在这种情况下,三角波调制的激光作为波长范围内的激光束1被发射。为了清楚起见,在图中仅示出了由第一表面发射器3a发射的单个激光束1。每个激光束1以单独的激光光斑30a,30b,30c,30d,30e被引导到眼睛10的眼表面11上。
图2示出了布置在眼镜框架51上的前四个表面发射器3a,3b,3c,3d的激光光斑30a,30b,30c,30d。在图3中,由第五表面发射器3e产生的第五激光光斑30e是显示在眼睛10的侧面上。
如图2和图3所示,激光光斑30a,30b,30c,30d,30e优选位于眼睛10的虹膜12的区域内或该区域附近。结果,当眼睛10运动时,眼睛10的瞳孔13经常运动靠近或通过激光光斑1,从而可以高精度地确定瞳孔13的位置和运动以高精度地确定眼睛的注视方向。
下面详细描述用于检测眼睛10的注视方向的方法的实现,该描述仅基于单个激光束1。
首先将激光束1照射到眼睛10上。在眼睛表面11处,激光束1将至少部分地后向散射。结果,发生了照射的激光束1与后向散射的辐射的在表面发射器3a的方向上平行地向后传播的部分的重叠。使用集成在表面发射器3a中的光电二极管,执行激光反馈干涉测量法以检测所产生的干涉辐射,即被照射的激光辐射1和沿相反方向后向散射的辐射的重叠。由于光电二极管直接集成到表面发射器3a的激光腔中,因此通过所谓的自混合效应来执行对所产生的干涉辐射的检测。
在图4中示意性示出可以通过表面发射器3a的集成光电二极管检测到的所产生的干涉辐射的示例性频谱25。轴线25a对应于频率,轴线25b对应于振幅。附图标记26表示所检测的干涉辐射的峰值频率,其例如通过傅立叶分析来确定。由于对发射的激光束1的波长进行三角波调制,峰值频率26取决于光路长度2。光路长度2(参见图1)对应于在表面发射器3a和眼表面11之间的被激光束1所覆盖的距离。当激光束1直接照射到眼睛10上时,在图1的第一实施例中,光路长度2对应于在表面发射器3a和眼表面11之间的最短距离。因此,在发射的激光束1的波长已知的情况下,可以基于激光反馈干涉测量法来针对特定眼睛位置(即针对特定注视方向)确定光路长度2。
图4示出了示例性频谱25,该频谱在眼睛表面11相对于激光束1的恒定运动期间(即,在眼睛10转动期间)被记录。在这种运动期间,由于多普勒效应,发生峰值频率26朝向如虚线所示的偏移的峰值频率26'的偏移27。因此,可以基于频谱25来确定由此产生的所发射的激光辐射和后向散射的激光辐射的多普勒频移。基于该多普勒频移,眼睛10的运动的瞬时眼睛速度以及运动方向可以被确定。
优选地,除了检测照射的和后向散射的激光辐射的频率之外,还可以基于由眼睛10后向散射的辐射的振幅和相位来检测眼睛10的反射率。在该上下文中,反射率被定义为具有被眼睛10后向散射的辐射的振幅和相位的复反射率,其中反射率对于眼睛10的不同区域是不同的。特别地,当激光束1通过眼睛10的解剖边界(例如虹膜12或瞳孔13)时,确定的反射率会发生变化。因此,眼睛10的反射率可用来估计激光束1当前照射眼睛10的哪个区域。与确定的光路长度2一起,因此可以确定眼睛10的瞬时绝对眼睛位置。
因此,可以使用眼睛跟踪装置20基于激光反馈干涉法来确定任何眼睛运动,其中可以确定和跟踪眼睛10的任何眼睛运动。结合例如仅在预定时间执行的对绝对眼睛位置的确定,并且另外基于反射率,可以确定眼睛10的瞬时注视方向。由于执行注视方向确定所需的部件,因此可以以较低的能量需求实现注视方向确定的特别高的时间分辨率。另外,可以使用特别低成本的部件。
此外,一副智能眼镜50包括输入和/或输出设备7,其被配置为向用户提供输出。输入和/或输出设备7包括投影单元,该投影单元布置成将图像投影到眼睛10的视网膜上。该投影单元可以例如用于显示增强或虚拟现实(也称:增强现实AR或虚拟现实)。优选地,投影单元联接至控制装置4,其中控制装置4布置成根据所确定的注视方向来操作投影单元。
借助于控制装置4,由此可以根据注视方向调整所投影的图像。为了特别高效且用户友好的操作,根据眼睛10的视凹(中央凹)的位置调节由投影单元投影的图像的图像参数,该位置对应于最清晰的视力区域。就这一点而言,可以基于眼睛检测装置20的任何先前校准来确定视凹的位置。
因此,由图像投影单元投影的图像将被调整,使得在视凹的区域中比在视野的圆周区域中存在更高的图像清晰度和更高的图像分辨率。优选地,图像清晰度和/或图像分辨率相对于用户的视野径向向外减小。以此方式,可以提供智能眼镜50的特别高效的操作,因为可以在由于解剖学原因而视觉能力不那么明显的区域中实现图像投影单元的较低显示质量。这将使得计算量较低以及对智能眼镜50具有特别低的能量需求。
此外,可以利用眼睛跟踪装置20识别眼睛姿势。例如,可以将各种预定的眼睛姿势分配给智能眼镜50的不同的预定动作。例如,可以将眼睛姿势定义为眼睛10的预定顺序运动。例如,眼睛姿势可以是竖直向下转动,然后是向右水平转动。这对应于用户首先向下看然后向右看。
如果基于使用眼睛跟踪装置20确定的眼睛速度和光路长度2检测到这种眼睛姿势,则可以以预定方式操作图像投影单元。例如,图像投影单元可以被激活或停用以使得能够根据需要并且因此以特别节能的方式操作智能眼镜50。替代地或附加地,眼睛姿势可以用于激活以增强或虚拟现实显示的内容的菜单选项的操作。例如,如果特定的眼睛姿势,优选地是眼睛10的向上和/或向下滚动,激活以增强现实或虚拟现实显示的内容的滚动,则是特别方便的。
在图5中显示操作智能眼镜50的特别简单和节能方式。在图5中,示出了智能眼镜50的操作状态,其中输入单元和/或输出单元7被停用并且眼睛跟踪装置20处于睡眠模式。在睡眠模式中,注视检测装置20的仅仅恰好一个表面发射器3b是可操作的,而所有其他表面发射器3a,3c,3d,3e被停用。通过单个激活表面发射器3b,仅单个激光束1恰好在一个激光端口30b中被引导到眼睛10,如图5所示。
在睡眠模式下,将执行简化的眼睛检测。具体地,例如仅仅光路长度2被确定。基于光路长度2,可以确定眼睛10何时移动到使得单个激光束1可以通过瞳孔13进入眼睛10的位置中。这适用于图5中所示的当用户向下看时(即当眼睛10执行朝向方向A竖直向下转动时)的操作状态。此特定的眼睛姿势,即当激光束1进入眼睛10时的状态,在此用于激活投影单元以及眼睛跟踪装置20的未激活部分。通过发射单个激光束1作为来自表面发射器3b的可见光,可以向用户指示关于激活的反馈。
图6示出了根据本发明的第二实施例的一副智能眼镜50的简化示意图。第二实施例基本上对应于图1的第一实施例,但是不同之处在于激光设备3的替代布置。在图6的第二实施例中,眼睛跟踪装置20的激光设备3包括四个表面发射器3a,3b,3c,3d,其包括集成的光电二极管,所有这些表面发射器均布置在眼镜腿53上。因此,由表面发射器3a,3b,3c,3d发射的激光束1将被间接地照射到眼睛10上。具体地,激光束1被照射到眼镜镜片52上,以眼镜镜片52上的聚焦点1'为例。呈全息光学元件形式的偏转元件54被集成在眼镜镜片52中,使激光束1朝向眼睛10偏转。以这样的方式,可以提供激光设备3的替代布置,通过该布置,光路长度2和眼睛速度也可以被高效地确定,作为用于操作输入单元和/或输出单元7的基础。
Claims (15)
1.一种用于操作一副智能眼镜(50)的方法,所述一副智能眼镜(50)包括输入单元和/或输出单元(7)和注视检测装置(20),其中,所述注视检测装置(20)通过所述方法检测眼睛(10)的任何眼睛运动,所述方法包括以下步骤:
将至少一个波长调制的激光束(1)照射到所述眼睛(10)上,
基于照射的所述激光束(1)和所述激光束(1)的从所述眼睛(10)后向散射的部分的激光反馈干涉测量法,检测照射的所述激光束(1)的光路长度(2),
基于所述激光反馈干涉测量法,检测照射的所述激光束(1)和后向散射的部分的多普勒频移,以及
基于所述多普勒频移检测眼睛速度,并且
其中,所述输入单元和/或输出单元(7)基于所述光路长度(2)和/或所述眼睛速度来操作。
2.根据权利要求1所述的方法,其中,所述输入单元和/或输出单元(7)基于所述光路长度(2)和/或所述眼睛速度而被激活或停用。
3.根据前述权利要求中任一项所述的方法,其中,所述注视检测装置(20)将单个激光束(1)引导向所述眼睛(10),其中,基于检测到的所述光路长度(2),检测所述单个激光束(1)何时通过瞳孔(13)进入所述眼睛(10),并且其中,基于检测到所述单个激光束(1)进入所述眼睛(10),操作所述输入单元和/或输出单元(7)和/或所述注视检测装置(20)的一部分。
4.根据前述权利要求中任一项所述的方法,其中,基于所述光路长度(2)和/或所述眼睛速度来检测眼睛姿势,并且其中,所述输入单元和/或输出单元(7)基于检测到的预定眼睛姿势来操作。
5.根据前述权利要求中任一项所述的方法,其中,所述输入单元和/或输出单元(7)包括将图像投影到视网膜上的图像投影单元。
6.根据权利要求5所述的方法,其中,基于所述光路长度(2)和/或眼睛速度来调节由所述图像投影单元投影的所述图像的图像参数。
7.根据权利要求6所述的方法,其中,调节由所述图像投影单元投影的所述图像的图像清晰度和/或图像分辨率和/或亮度和/或颜色分布。
8.根据前述权利要求中任一项所述的方法,还包括以下步骤:
检测眼睛运动过程中的最大眼睛速度,以及
基于所述最大眼睛速度预测眼睛运动结束位置,
其中,所述输入单元和/或输出单元(7)基于所述眼睛运动结束位置来操作,优选地,其中,基于所述眼睛运动结束位置来调节由所述图像投影单元投影的所述图像的所述图像参数。
9.根据前述权利要求中任一项所述的方法,其中,所述输入单元和/或输出单元(7)包括优选地被设置为单独的设备的声音再现单元和/或电子用户设备。
10.根据前述权利要求中任一项所述的方法,其中,基于所述光路长度(2)和/或所述眼睛速度来检测所述眼睛(10)的眼睑闭合。
11.根据前述权利要求中任一项所述的方法,其中,所述眼睛跟踪装置(20)的至少一部分始终处于活动状态。
12.根据前述权利要求中任一项所述的方法,还包括以下步骤:
基于从眼睛后向散射的辐射的振幅和相位来检测所述眼睛(10)的任何反射率,
其中,基于所述反射率操作所述输入单元和/或输出单元(7)。
13.一副智能眼镜,包括:
输入单元和/或输出单元(7),其布置成接收来自用户的输入和/或向用户提供输出;和
注视检测装置(20),用于检测眼睛(10)的任何眼睛运动,
其中,所述注视检测装置(20)包括适于向所述眼睛(10)照射至少一个激光束(1)的激光设备(3)和适于操作所述激光设备(3)的控制装置(4),并且
其中,所述智能眼镜(50)适于执行根据前述权利要求中任一项所述的方法。
14.根据权利要求13所述的一副智能眼镜,其中,所述激光设备(3)包括其中集成有光电二极管的至少一个表面发射器(3a、3b、3c、3d、3e)。
15.根据权利要求14所述的一副智能眼镜,其中,其中集成有光电二极管的所述至少一个表面发射器(3a、3b、3c、3d、3e)布置在特别围绕眼镜镜片(52)的眼镜框架(51)上,和/或布置在眼镜腿(53)上,和/或布置在眼镜镜片(52)中。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020206822.4 | 2020-06-02 | ||
DE102020206822.4A DE102020206822A1 (de) | 2020-06-02 | 2020-06-02 | Verfahren zum Betreiben einer Datenbrille |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113759545A true CN113759545A (zh) | 2021-12-07 |
Family
ID=78508822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110599605.7A Pending CN113759545A (zh) | 2020-06-02 | 2021-05-31 | 用于操作一副智能眼镜的方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11513594B2 (zh) |
CN (1) | CN113759545A (zh) |
DE (1) | DE102020206822A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020206821A1 (de) * | 2020-06-02 | 2021-12-02 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Ermitteln einer Blickrichtung eines Auges |
DE102020206822A1 (de) | 2020-06-02 | 2021-12-02 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Betreiben einer Datenbrille |
DE102021207058A1 (de) | 2021-07-06 | 2023-01-12 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Erkennung von menschlichen Aktivitäten |
DE102022204107A1 (de) | 2022-04-27 | 2023-11-02 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zum Bestimmen einer Blickrichtung eines Auges und Datenbrille |
DE102022208691A1 (de) | 2022-08-23 | 2024-02-29 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung zu einer Überwachung einer Augenposition eines Nutzer-Auges in einer virtuellen Netzhautanzeige, Datenbrille und Verfahren |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102068237A (zh) * | 2004-04-01 | 2011-05-25 | 威廉·C·托奇 | 监控眼睛运动的系统及方法、控制计算装置的系统及方法 |
US20120113431A1 (en) * | 2009-06-03 | 2012-05-10 | Kabushiki Kaisha Topcon | optical image measurement apparatus |
CN105518615A (zh) * | 2013-09-04 | 2016-04-20 | 高通股份有限公司 | 基于可佩戴显示装置使用的数据处理 |
WO2016105282A1 (en) * | 2014-12-26 | 2016-06-30 | Koc University | Near-to-eye display device with spatial light modulator and pupil tracker |
CN109414166A (zh) * | 2016-07-15 | 2019-03-01 | 卡尔蔡司医疗技术股份公司 | 用于非常灵敏地测量人眼中的距离和角度的方法 |
CN109922710A (zh) * | 2016-11-10 | 2019-06-21 | 奇跃公司 | 使用散斑图案执行眼睛跟踪的方法和系统 |
US20200026350A1 (en) * | 2018-07-20 | 2020-01-23 | Avegant Corp. | Relative Position Based Eye-tracking System |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4608996B2 (ja) | 2004-08-19 | 2011-01-12 | ブラザー工業株式会社 | 瞳孔検出装置およびそれを備えた画像表示装置 |
DE102014206626A1 (de) | 2014-04-07 | 2015-10-08 | Bayerische Motoren Werke Aktiengesellschaft | Müdigkeitserkennung mithilfe von Datenbrillen (HMD) |
DE102014210892A1 (de) | 2014-06-06 | 2015-12-17 | Siemens Aktiengesellschaft | Verfahren zum Betrieb einer durch mit wenigstens einem Körperteil des menschlichen Körpers durchgeführten Gesten steuerbaren Eingabevorrichtung und Eingabevorrichtung |
US20160274365A1 (en) | 2015-03-17 | 2016-09-22 | Thalmic Labs Inc. | Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality |
US10013055B2 (en) * | 2015-11-06 | 2018-07-03 | Oculus Vr, Llc | Eye tracking using optical flow |
US10908279B2 (en) | 2016-03-11 | 2021-02-02 | Facebook Technologies, Llc | Ultrasound/radar for eye tracking |
DE102016212236A1 (de) | 2016-07-05 | 2018-01-11 | Siemens Aktiengesellschaft | Interaktionssystem und -verfahren |
US10762810B2 (en) | 2018-01-05 | 2020-09-01 | North Inc. | Augmented reality eyebox fitting optimization for individuals |
DE102018214637A1 (de) | 2018-08-29 | 2020-03-05 | Robert Bosch Gmbh | Verfahren zum Ermitteln einer Blickrichtung eines Auges |
CN111665622B (zh) * | 2019-03-06 | 2022-07-08 | 株式会社理光 | 光学装置、视网膜投影显示装置、头部安装型显示装置 |
DE102020206822A1 (de) | 2020-06-02 | 2021-12-02 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Betreiben einer Datenbrille |
-
2020
- 2020-06-02 DE DE102020206822.4A patent/DE102020206822A1/de active Pending
-
2021
- 2021-05-31 CN CN202110599605.7A patent/CN113759545A/zh active Pending
- 2021-06-02 US US17/336,849 patent/US11513594B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102068237A (zh) * | 2004-04-01 | 2011-05-25 | 威廉·C·托奇 | 监控眼睛运动的系统及方法、控制计算装置的系统及方法 |
US20120113431A1 (en) * | 2009-06-03 | 2012-05-10 | Kabushiki Kaisha Topcon | optical image measurement apparatus |
CN105518615A (zh) * | 2013-09-04 | 2016-04-20 | 高通股份有限公司 | 基于可佩戴显示装置使用的数据处理 |
WO2016105282A1 (en) * | 2014-12-26 | 2016-06-30 | Koc University | Near-to-eye display device with spatial light modulator and pupil tracker |
CN109414166A (zh) * | 2016-07-15 | 2019-03-01 | 卡尔蔡司医疗技术股份公司 | 用于非常灵敏地测量人眼中的距离和角度的方法 |
CN109922710A (zh) * | 2016-11-10 | 2019-06-21 | 奇跃公司 | 使用散斑图案执行眼睛跟踪的方法和系统 |
US20200026350A1 (en) * | 2018-07-20 | 2020-01-23 | Avegant Corp. | Relative Position Based Eye-tracking System |
Also Published As
Publication number | Publication date |
---|---|
DE102020206822A1 (de) | 2021-12-02 |
US20210373659A1 (en) | 2021-12-02 |
US11513594B2 (en) | 2022-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11513594B2 (en) | Method for operating a pair of smart glasses | |
US11567570B2 (en) | Relative position based eye-tracking system | |
CN107533362B (zh) | 眼睛跟踪设备和用于操作眼睛跟踪设备的方法 | |
US9498125B2 (en) | Method for operating an eye tracking device and eye tracking device for providing an active illumination control for improved eye tracking robustness | |
JP7507319B2 (ja) | 瞳孔検出および視線追跡のためのイベントカメラシステム | |
EP2581034B1 (en) | Eye-tracker illumination | |
US20190019023A1 (en) | Gaze-tracking system and method | |
US11733774B2 (en) | Eye-tracking arrangement | |
US11435578B2 (en) | Method for detecting a gaze direction of an eye | |
US11625095B2 (en) | Gaze sensors and display elements for detection of gaze vectors and user control at headset | |
US20240176136A1 (en) | Method for detecting gestures of an eye | |
CN110603513B (zh) | 一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法 | |
WO2020042843A1 (en) | Eye tracking based on imaging eye features and assistance of structured illumination probe light | |
JP2014087067A (ja) | プロジェクション装置を備えた、とりわけ通信機器である電子機器、および、電子機器の動作方法 | |
JP2015066046A (ja) | 眼鏡装用画像解析装置、眼鏡装用画像解析プログラム | |
Meyer | Towards energy efficient mobile eye tracking for AR glasses through optical sensor technology | |
Meyer et al. | A highly integrated ambient light robust eye-tracking sensor for retinal projection ar glasses based on laser feedback interferometry | |
US20240151966A1 (en) | Method for operating a pair of smart glasses and smart glasses | |
US20230122222A1 (en) | Device, system, and method for biometrically identifying a user of a device | |
JP2615807B2 (ja) | 視覚情報分析装置 | |
Meyer et al. | A hybrid high speed eye tracking sensor by fusion of video oculography and laser feedback interferometry | |
CN117751316A (zh) | 眼睛移动的确定 | |
KR20230101580A (ko) | 안구 모델에 기초하여 센싱 범위를 결정하는 시선 추적 방법, 장치 및 시선 추적 센서 | |
CN116406449A (zh) | 使用低相干干涉测量法在头戴式设备中进行眼睛追踪的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |