CN112578556B - 用于减少来自光学装置的不合需的反射的眼睛跟踪系统 - Google Patents

用于减少来自光学装置的不合需的反射的眼睛跟踪系统 Download PDF

Info

Publication number
CN112578556B
CN112578556B CN202010979154.5A CN202010979154A CN112578556B CN 112578556 B CN112578556 B CN 112578556B CN 202010979154 A CN202010979154 A CN 202010979154A CN 112578556 B CN112578556 B CN 112578556B
Authority
CN
China
Prior art keywords
tracking system
eye tracking
eye
polarizer
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010979154.5A
Other languages
English (en)
Other versions
CN112578556A (zh
Inventor
马格努斯·阿维德森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Publication of CN112578556A publication Critical patent/CN112578556A/zh
Application granted granted Critical
Publication of CN112578556B publication Critical patent/CN112578556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/288—Filters employing polarising elements, e.g. Lyot or Solc filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本公开内容总体上涉及眼睛跟踪系统领域。提供了一种眼睛跟踪系统。该眼睛跟踪系统包括照明器装置，该照明器装置包括被配置成照射用户眼睛的至少一个光源。该眼睛跟踪系统被配置成在该眼睛跟踪系统处于使用状态时能够减少来自位于照明器装置与眼睛之间的光束路径上的光学装置(例如，一副眼镜)的反射。该照明器装置被配置成以对应于或基本上对应于布儒斯特角度的角度发射要入射到该光学装置的表面上的p偏振光。

Description

用于减少来自光学装置的不合需的反射的眼睛跟踪系统
技术领域
本公开内容总体上涉及眼睛跟踪系统领域。具体地，本公开内容涉及一种在头戴式设备(HMD)、例如虚拟现实(VR)设备或增强现实(AR)设备中实施的眼睛跟踪系统。更具体地，本公开内容提出了一种用于减少来自光学装置的不合需的反射的改进型眼睛跟踪系统。
背景技术
在眼睛跟踪应用中，通常取得用户眼睛的数字图像，并且对数字图像进行分析，以便估计用户的注视方向。存在用于实现这种注视方向估计的不同方法。在一些方法中，在取得用户眼睛的图像时使用环境光，并且在另外一些方法中，使用附加的光源(照明器)来照射眼睛，以取得用户眼睛的图像。通常，注视的估计是基于对用户眼睛瞳孔的识别以及对用户眼睛中的闪光(角膜反射)的识别。为了识别眼睛图像中的眼睛瞳孔，图像中瞳孔的表示与眼睛虹膜的表示之间的对比度通常必须足够大。
一种现有的眼睛跟踪方法包括使用红外(IR)光和图像传感器。IR光朝向用户的瞳孔，并且光的反射由图像传感器捕获。通过分析反射点，可以计算出用户注视的方向。欧洲专利号1 562 469中公开了这种系统的一个示例。欧洲专利号1 562 469通过援引并入本文，以给出本公开内容的背景。
之前也已研发出一些便携式或可穿戴式眼睛跟踪设备。美国专利号9,041,787中公开了这种眼睛跟踪系统的一个示例。本专利描述了一种使用照明器和图像传感器来确定注视方向的可穿戴式眼睛跟踪器。美国专利号9,041,787通过援引并入本文，以给出本公开内容的背景。
在针对便携式或可穿戴式眼睛跟踪设备、诸如HMD(例如，VR/AR设备)的眼睛跟踪应用(其中使用了头戴式设备，该头戴式设备包括眼睛跟踪系统，该眼睛跟踪系统基于瞳孔中心和来自照射用户眼睛的照明器的角膜反射来确定眼睛方向和/或注视方向)中，例如，对于在VR头戴装置下配戴着一副眼镜的用户而言，通常可能会造成妨碍。例如，由一个或多个照明器引起的来自光学装置的一个或多个反射，即假闪光，可能会导致无法准确识别瞳孔的情况、或者没有识别到角膜反射或识别到太少角膜反射以至于无法进行眼睛跟踪的情况。在这样的情况下，将很难或者有时甚至不可能确定眼睛方向和/或注视方向，或者至少不能以期望的可靠性来确定眼睛方向和/或注视方向。
发明内容
鉴于以上考虑和其他考虑，在整个本公开内容中已经公开了多种不同的实施例。
如上所指出的，一些现有的解决方案的不足之处在于由一个或多个照明器引起的来自光学装置的一个或多个反射可能会导致无法准确地识别瞳孔的情况、或者可能没有识别到角膜反射或识别到太少的角膜反射以至于无法进行眼睛跟踪的情况。因此，来自所述光学装置的反射是不合需的反射。
本公开内容认识到的是，期望提供一种眼睛跟踪技术，以应对下列情况：来自光学装置的不合需的反射可能潜在地降低眼睛跟踪的准确性的情况、或者使得很难或不可能确定眼睛方向和/或注视方向以至于无法进行眼睛跟踪。
鉴于以上内容，因此，本公开内容的实施例的总体目的是提供一种用于减少来自光学装置的不合需的反射的眼睛跟踪系统。
在宽泛的和一般的概念上，本公开内容提出了一种眼睛跟踪系统，该眼睛跟踪系统具有照明器装置，该照明器装置包括至少一个光源，其中，该照明器装置被配置成发射p偏振光。
根据本公开内容的第一方面，提供了一种眼睛跟踪系统。该眼睛跟踪系统包括照明器装置，该照明器装置包括至少一个光源。该照明器装置被配置成照射用户眼睛。该眼睛跟踪系统被配置成在使用该眼睛跟踪系统时能够减少来自位于照明器装置与眼睛之间的光束路径上的光学装置的反射。
该照明器装置被配置成以对应于或基本上对应于布儒斯特角度的角度发射要入射到光学装置的表面上的p偏振光。通过以对应于或基本上对应于布儒斯特角度的角度发射要入射到光学装置的表面上的p偏振光，可以最小化或至少减少来自位于照明器装置与眼睛之间的光束路径上的光学装置的(不合需的)反射。
例如，上述光学装置可以是一副眼镜(有时称为一副配镜)。
在有利的实施例中，照明器装置包括多个光源。当眼睛跟踪系统处于使用状态时，多个光源中的每个光源可以位于相对于眼睛的固定位置处。
在一些实施例中，照明器装置可以包括至少一个p偏振光源。在一些实施例中，照明器装置包括多个p偏振光源。当眼睛跟踪系统处于使用状态时，多个p偏振光源中的每个p偏振光源可以位于相对于眼睛的固定位置处。
在替代性实施例中，照明器装置可以包括至少一个偏振器(即，除了至少一个光源之外)。至少一个偏振器可以有利地相对于至少一个光源定位，从而使从至少一个光源发射的光线性地偏振以仅包含p偏振。
在有利的实施例中，至少一个偏振器例如包括偏振膜。
在一些实施例中，偏振器可以包括吸光式偏振器，诸如近红外(NIR)线性偏振膜。
在一些实施例中，偏振器可以包括分束偏振器，诸如薄膜偏振器或线栅偏振器。
在替代性实施例中，至少一个偏振器包括一系列多个反射镜，所述一系列多个反射镜相对于至少一个光源定位，从而在多个反射镜的每个表面处使一部分s偏振光反射离开以留下p偏振光束。
在一些实施例中，眼睛跟踪系统可以包括电路，该电路被配置成：在所获得的图像中识别来自光学装置的一个或多个反射；以及如果存在来自光学装置的至少一个反射，则识别多个光源中的与来自该光学装置的至少一个反射相关联的光源；以及关闭多个光源中的所识别的光源。
在一些实施例中，眼睛跟踪系统可以包括：图像传感器，该图像传感器被配置成检测来自照明器装置的、从眼睛反射的光以及从位于照明器装置与眼睛之间的光束路径上的光学装置反射的光；以及电路，该电路被配置成：从该图像传感器获得该眼睛的图像，由此所获得的图像是该眼睛的表示；在所获得的图像中识别该眼睛表示的瞳孔；在所获得的图像中识别该眼睛表示的一个或多个角膜反射；以及基于所识别的瞳孔和所识别的一个或多个角膜反射来估计注视。
上面所讨论的眼睛跟踪系统可以是在HMD中实施的。例如，HMD可以被实施为VR设备或替代性地实施为AR设备。
本文描述的多种不同的实施例允许对现有的眼睛跟踪系统、特别是在诸如VR设备和AR设备等HMD中实施的眼睛跟踪系统进行改进。基于发明人的认识，本文描述的多种不同的实施例对现有技术的重要贡献在于可以通过提供以下照明器装置来减少来自光学装置(例如，一副眼镜)的(不合需的)反射：该照明器装置被配置成以对应于或基本上对应于布儒斯特角度的角度发射要入射到光学装置的表面上的p偏振光。这导致一种廉价且不复杂的解决方案，如果/当光学装置位于照明器装置与用户眼睛之间的光束路径上时，该解决方案减少来自光学装置的(不合需的)反射。
附图说明
这些和其他方面、特征和优点将从以下参考附图对多种不同的实施例的描述中变得显而易见并得以阐明，在附图中：
图1展示了眼睛跟踪系统的各个部分的示意图；
图2示出了当用户配戴着一副眼镜时头戴式设备(例如，VR/AR设备)的简化图示；
图3展示了存在来自诸如一副眼镜等光学装置的不合需的反射的情况；
图4示出了两个正交偏振光从一表面的反射与入射角度的关系；
图5展示了眼睛跟踪系统的示意图；
图6示出了眼睛的示例图像；
图7展示了可以有利地将照明器装置的偏振设定为对应于相对于光学装置的反射表面的p偏振；以及
图8A至图8B展示了本公开内容的实施例可以允许减少来自诸如一副眼镜等光学装置的反射的数量。
具体实施方式
现在将在下文中更全面地描述本发明。然而，本发明可以以许多不同的形式来实施并且不应被解释为限于本文所阐述的实施例；相反，通过示例的方式提供这些实施例使得本公开内容将是详尽且完整的，并且将向本领域技术用户充分地传达本发明的范围。在整个说明书中，相同的附图标记表示相同的部件或方法步骤。
如前所述，一些现有的解决方案的不足之处在于由一个或多个照明器引起的来自光学装置的一个或多个反射可能会导致无法准确地识别瞳孔的情况、或者可能没有识别到角膜反射或识别到太少角膜反射以至于无法进行眼睛跟踪的情况。在一个示例中，光学装置是一副眼镜。然而，光学装置可以是在处于使用状态时出于保护目的在头戴式显示器中的任何玻璃/塑料部件。来自所述光学装置的反射是不合需的反射。
为了更详细地解释这一点，现在参考图1至图4。图1展示了实施为诸如虚拟现实(VR)头戴装置、增强现实(AR)眼镜或混合现实(MR)头戴装置等HMD的眼睛跟踪系统的照明装置的常见设计的示例实施例。照明器装置包括用于照射用户眼睛的光源110-119。如图1中可以看出的，照明器装置可以包括多个光源110-119，这些光源以环形或任何其他构型放置在相应的固定位置处。还可以设置图像传感器120以捕获用户眼睛的图像。如果用户配戴着一副眼镜，则来自各个光源110-119的光可能在眼镜的表面上反射并且反射到HMD的表面(透镜)中。图2是当用户配戴着一副眼镜时HMD(例如，VR头戴装置)的简化图示。如从图2中将了解的是，这副眼镜可能会引起不合需的反射。这可能会导致很难准确地识别瞳孔和/或角膜反射(闪光)的情况。在这样的情况下，将很难或者有时甚至不可能确定眼睛方向和/或注视方向，或者至少不能以期望的可靠性来确定眼睛方向和/或注视方向。图3从实验室环境展示了这种情况。
本公开内容认识到的是，由于来自多个光源110-119的光将通常以一定角度入射到眼镜(透镜)的表面上，因此反射率将取决于入射光的偏振以及入射角度，参见图4。
鉴于以上考虑和其他考虑，在整个本公开内容中已经公开了多种不同的实施例。本公开内容认识到的是，期望提供一种眼睛跟踪技术，以应对下列情况：来自光学装置(例如，当用户操作或以其他方式使用诸如VR设备等HMD时配戴的一副眼镜)的不合需的反射降低了眼睛跟踪的准确性、或者使得很难或不可能确定眼睛方向和/或注视方向以至于无法进行眼睛跟踪。
鉴于以上内容，因此，本公开内容的实施例的总体目的是提供一种眼睛跟踪系统，用于在眼睛跟踪系统处于使用状态时减少来自位于照明器装置与用户眼睛之间的光束路径上的光学装置的(不合需的)反射。
为了解决这个问题，本公开内容在宽泛的和一般的概念上提出了一种眼睛跟踪系统，该眼睛跟踪系统具有照明器装置，该照明器装置包括至少一个光源，其中，该照明器装置被配置成发射p偏振光。
因此，提供了眼睛跟踪系统500。现在参考图5。眼睛跟踪系统500包括照明器装置，该照明器装置包括至少一个光源。有利地但并非必要地，照明器装置包括如图5所展示的多个光源510-519。当眼睛跟踪系统处于使用状态时，多个光源510-519中的每个光源可以位于相对于眼睛的固定位置处。在图5的示例中，多个光源510-519以环形、或任何其他构型放置或以其他方式定位。
还可以设置图像传感器520。图像传感器520可以被配置成检测来自照明器装置的、从眼睛反射的光以及从位于照明器装置与眼睛之间的光束路径上的光学装置反射的光。要注意的是，图5中的图像传感器的位置仅用于说明目的。图6示出了由图5的图像传感器520捕获的眼睛600的图像的示例。电路525(参见图5)例如可以被配置成：从图像传感器520获得眼睛600的图像，由此所获得的图像是眼睛的表示；在所获得的图像中识别眼睛表示的瞳孔610；在所获得的图像中识别眼睛表示的一个或多个角膜反射620；以及基于所识别的瞳孔610和所识别的一个或多个角膜反射620来估计注视。
眼睛跟踪系统500被配置成在该眼睛跟踪系统处于使用状态时能够减少来自位于照明器装置与眼睛之间的光束路径上的光学装置(例如，一副眼镜)的反射。更详细地，照明器装置被配置成以对应于或基本上对应于布儒斯特(Brewster’s)角度的角度发射要入射到光学装置的表面上的p偏振光。
通过以对应于或基本上对应于布儒斯特角度的角度发射要入射到光学装置的表面上的p偏振光，可以最小化或至少减少来自光学装置的(不合需的)反射，若不是采用上述手段，这些反射会发生。
在现有的眼睛跟踪系统中，来自照明器装置的光通常是非偏振的。当在光学装置(例如眼镜)的表面处反射时，该光将是部分偏振的，因为该光以大角度反射。本公开内容建立在发明人的如下认识的基础上：即通过使从照明器装置(包括至少一个光源510-519)发射的光线性地偏振以使其仅包含p偏振，可以最小化或至少减少来自位于照明器装置与用户眼睛之间的光束路径上的光学装置的不合需的反射。
使反射最小化的最佳角度通常取决于光学装置(例如，眼镜的透镜)的表面的折射率，并且通常由布儒斯特定律给出：
Figure GDA0003989590430000071
其中，n1是光传播穿过的初始介质(空气)(“入射介质”)的折射率，并且n2是另一种介质(光学装置的表面)的折射率。由以上公式定义的角度称为布儒斯特角度。因此，基于发明人的这种认识，本公开内容提出了提供一种眼睛跟踪系统，该眼睛跟踪系统具有照明器装置，该照明器装置被配置成以对应于或基本上对应于布儒斯特角度的角度发射要入射到光学装置的表面上的p偏振光。当p偏振光以该角度入射到光学装置的表面上时，可以基本上减少、最小化或甚至消除来自光学装置的不合需的反射，若不是采用上述手段，这些反射会发生。
可以有利地将照明器装置的偏振设定为对应于相对于光学装置的反射表面的p偏振。换句话说，可能有利的是将各个光源(参见图7)的偏振设定为在眼睛跟踪系统处于使用状态时能够仅存在相对于要使用的光学装置的表面(例如，一副眼镜的透镜表面)的p偏振。
为了验证在眼睛跟踪系统处于使用状态时来自位于照明器装置与眼睛之间的光束路径上的光学装置的不合需的反射，发明人已经在测试实验室中进行了测试。图8A至图8B展示了来自测试实验室中的测试的同一眼睛的图像。图8A示出了当使用具有单个非偏振光源的照明器装置时眼睛的图像。图8B示出了根据在整个本公开内容中所公开的方面的、当包括提供有偏振的单个光源的照明器装置时眼睛的图像。如从图8B可以看出的，已经减少了不合需的反射(参照图8A，分别参见图8A和图8B的左侧)。
多种不同的详细的实施方式示例
存在多种不同的方式以实施照明器装置：该照明器装置被配置成以对应于或基本上对应于布儒斯特角度的角度发射要入射到光学装置的表面上的p偏振光。下面给出了某些有利的实施方式示例。当将本公开内容的教导付诸实践时，建议本领域技术人员关于他/她的眼睛跟踪系统，测试和评估哪个实施方式示例最适合他/她的需要。
1.(一个或多个)P偏振光源：
在一些实施例中，照明器装置可以包括多个p偏振光源。该实施方式示例可能是有利的，因为它相对于如今的照明器装置几乎不需要修改。例如，光源510-519(参见图5)中的每个光源可以被实施为p偏振光源。
2.(一个或多个)分离偏振器
在一些实施例中，照明器装置还包括至少一个偏振器。至少一个偏振器可以有利地相对于至少一个光源定位，从而使从至少一个光源发射的光线性地偏振以使其仅包含p偏振。
例如，如果照明器装置包括多个光源，则多个偏振器中的每个偏振器可以相对于多个光源中的相应光源定位，从而使相应光源线性地偏振以仅包含p偏振。在一些实施例中，至少一个光源可以是非偏振光源。
如了解的是，至少一个偏振器因此可以被实施为至少一个线性偏振器。下面列举了某些示例：
2A.(一个或多个)吸光式偏振器
在有利的实施例中，至少一个偏振器可以包括吸光式偏振器。在一个示例中，吸光式偏振器是偏振膜。例如，如果照明器装置包括多个光源，则可以将偏振膜施加到或以其他方式涂覆到多个光源中的相应光源上。在另一个示例中，将偏振膜放置或安装在多个光源中的相应光源的前方，即，在相应光源的光束路径上。偏振膜可以是近红外(NIR)线性偏振膜。偏振膜是有利的，因为它需要很小的空间并且易于实施。吸光式偏振器的常见示例是二向色性偏振器，诸如二向色性聚合物偏振器和二向色性玻璃偏振器。也可设想到(一个或多个)其他吸光式偏振器。在一些情况下，诸如线栅偏振器等其他示例可以被实施为吸光式偏振器。
2B：(一个或多个)分束偏振器
在替代性实施例中，至少一个偏振器可以包括一系列多个反射镜，所述一系列多个反射镜相对于至少一个光源定位，从而在多个反射镜的每个表面处将一部分s偏振光反射离开以留下p偏振光束。也可设想到其他(一个或多个)分束偏振器，例如薄膜偏振器或线栅偏振器。薄膜偏振器和线栅偏振器可以被做得相当薄，类似于吸光式偏振器。至少一些分束偏振器，诸如线栅偏振器，可以被称为反射式偏振器。
因此，可设想到(一个或多个)吸光式偏振器和(一个或多个)分束偏振器两者都用于将本公开内容的实施例付诸实践。通常可以优选使用吸光式偏振器，因为它们通常可以被做得比一些较厚的分束偏振器(诸如立方体分束器或晶体偏振器)更薄。因此，(一个或多个)吸光式偏振器可以提供不太复杂且廉价的解决方案。
本文描述的多种不同的实施例允许对现有的眼睛跟踪系统、特别是在诸如VR设备和AR设备等HMD中实施的眼睛跟踪系统进行改进。基于发明人的认识，本文描述的多种不同的实施例对现有技术的重要贡献在于可以通过提供以下照明器装置来减少来自光学装置(例如，一副眼镜)的不合需的反射：该照明器装置被配置成以对应于或基本上对应于布儒斯特角度的角度发射要入射到光学装置的表面上的p偏振光。这导致一种廉价且不复杂的解决方案，如果/当光学装置位于照明器装置与用户眼睛之间的光束路径上时，该解决方案减少来自光学装置的(不合需的)反射。
为了提供以下眼睛跟踪系统：该眼睛跟踪系统被配置成在眼睛跟踪系统处于使用状态时能够减少来自位于照明器装置与眼睛之间的光束路径上的光学装置的反射，本发明的一些有利实施例可以另外提供对一个或多个光源的控制。例如，眼睛跟踪系统可以包括电路525，该电路被配置成：在所获得的图像中识别来自光学装置的一个或多个反射；以及如果存在来自光学装置的至少一个反射；则识别多个光源中的与来自光学装置的至少一个反射相关联的光源；以及关闭多个光源中的所识别的光源。
存在用于识别导致(不合需的)反射的一个或多个光源的多种不同选择方案。第一种可能的选择方案是在用户已经将HMD放置或以其他方式安装在他/她的头上时，一次一个地打开多个光源510-519中的一些光源，以评估来自多个光源中的每个光源的不合需的反射的水平。第二种选择方案是操作所有光源，直到出现存在不合需的反射的问题(例如，由于不合需的反射，无法确定注视或低质量地确定注视)，然后例如通过一次测试一个光源或一次测试所有光源而不是一个光源来评估要关闭哪个或哪些光源。也可设想到其他的选择方案。
本公开内容的实施例还可以与来自美国专利号10,342,425(转让给Tobii AB)的教导一起实施，美国专利10,342,425的全部内容通过援引以其全文并入本文。
如本文所讨论的，本文描述的多种不同的实施例因此允许对现有的眼睛跟踪系统、特别是在诸如VR设备和AR设备等HMD中实施的眼睛跟踪系统进行改进。可以通过提供以下照明装置来减少来自光学装置(例如，一副眼镜)的不合需的反射：该照明器装置被配置成以对应于或基本上对应于布儒斯特角度的角度发射要入射到光学装置的表面上的p偏振光。这导致一种廉价且不复杂的解决方案，如果/当光学装置位于照明器装置与用户眼睛之间的光束路径上时，该解决方案减少来自光学装置的(不合需的)反射。

Claims (17)

1.一种眼睛跟踪系统(500)，所述眼睛跟踪系统包括照明器装置，所述照明器装置包括被配置成照射用户的眼睛的至少一个光源(510-519)，其中，所述眼睛跟踪系统(500)被配置成在所述眼睛跟踪系统(500)处于使用状态时能够减少来自位于所述照明器装置与所述眼睛之间的光束路径上的光学装置的反射，并且其中，所述眼睛跟踪系统(500)的特征在于，所述照明器装置被配置成以对应于或基本上对应于布儒斯特角度的角度发射待要入射到所述光学装置的表面上的p偏振光。
2.如权利要求1所述的眼睛跟踪系统(500)，其中，所述光学装置是一副眼镜。
3.如权利要求1或2所述的眼睛跟踪系统(500)，其中，所述照明器装置包括多个光源(510-519)，其中，当所述眼睛跟踪系统(500)处于使用状态时，所述多个光源(510-519)中的每个光源位于相对于所述眼睛的固定位置处。
4.如权利要求1所述的眼睛跟踪系统(500)，其中，所述照明器装置包括至少一个p偏振光源。
5.如权利要求1所述的眼睛跟踪系统(500)，其中，所述照明器装置进一步包括至少一个偏振器，其中，所述至少一个偏振器相对于所述至少一个光源定位，从而使从所述至少一个光源发射的光线性地偏振以使其仅包含p偏振。
6.如权利要求5所述的眼睛跟踪系统(500)，其中，所述至少一个偏振器包括偏振膜。
7.如权利要求5所述的眼睛跟踪系统(500)，其中，所述至少一个偏振器包括吸光式偏振器。
8.如权利要求7所述的眼睛跟踪系统(500)，其中，所述吸光式偏振器是近红外NIR线性偏振膜。
9.如权利要求5所述的眼睛跟踪系统(500)，其中，所述至少一个偏振器包括分束偏振器。
10.如权利要求9所述的眼睛跟踪系统(500)，其中，所述分束偏振器是薄膜偏振器或线栅偏振器。
11.如权利要求5所述的眼睛跟踪系统(500)，其中，所述至少一个偏振器包括一系列多个反射镜，所述一系列多个反射镜相对于所述至少一个光源定位，从而在所述多个反射镜的每个表面处将一部分s偏振光反射离开以留下p偏振光束。
12.如权利要求1所述的眼睛跟踪系统(500)，包括电路(525)，所述电路被配置成：
-在所获得的图像中识别来自所述光学装置的一个或多个反射；以及
-如果存在来自所述光学装置的至少一个反射；
-识别多个光源中的、与来自所述光学装置的所述至少一个反射相关联的光源；以及
-关闭所述多个光源中的所识别的光源。
13.如权利要求1所述的眼睛跟踪系统(500)，包括：
-图像传感器(520)，所述图像传感器被配置成检测来自所述照明器装置的、从所述眼睛反射的光以及从位于所述照明器装置与所述眼睛之间的光束路径上的光学装置反射的光；以及
-电路(525)，所述电路被配置成：
o从所述图像传感器获得所述眼睛的图像，由此所获得的图像是所述眼睛的表示；
o在所获得的图像中识别所述表示的瞳孔；
o在所获得的图像中识别所述表示的一个或多个角膜反射；以及
o基于所识别的瞳孔和所识别的一个或多个角膜反射来估计注视。
14.如权利要求1所述的眼睛跟踪系统(500)，其中，所述眼睛跟踪系统是在头戴式设备HMD中实施的。
15.如权利要求14所述的眼睛跟踪系统(500)，其中，所述HMD是虚拟现实VR设备。
16.如权利要求14所述的眼睛跟踪系统(500)，其中，所述HMD是增强现实AR设备。
17.一种眼睛跟踪系统，包括权利要求1-14中的任意一项技术特征或技术特征的任意组合。
CN202010979154.5A 2019-09-27 2020-09-17 用于减少来自光学装置的不合需的反射的眼睛跟踪系统 Active CN112578556B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE1951098 2019-09-27
SE1951098-1 2019-09-27

Publications (2)

Publication Number Publication Date
CN112578556A CN112578556A (zh) 2021-03-30
CN112578556B true CN112578556B (zh) 2023-02-21

Family

ID=75119515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010979154.5A Active CN112578556B (zh) 2019-09-27 2020-09-17 用于减少来自光学装置的不合需的反射的眼睛跟踪系统

Country Status (2)

Country Link
US (1) US11966047B2 (zh)
CN (1) CN112578556B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106324831A (zh) * 2015-06-30 2017-01-11 汤姆逊许可公司 视线跟踪设备以及嵌有所述视线跟踪设备的头戴式设备
US10108261B1 (en) * 2017-07-05 2018-10-23 Oculus Vr, Llc Eye tracking based on light polarization

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
KR101882594B1 (ko) 2013-09-03 2018-07-26 토비 에이비 휴대용 눈 추적 디바이스
US10545340B2 (en) * 2014-04-09 2020-01-28 3M Innovative Properties Company Head mounted display and low conspicuity pupil illuminator
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
WO2017013913A1 (ja) * 2015-07-17 2017-01-26 ソニー株式会社 視線検出装置、アイウェア端末、視線検出方法及びプログラム
CN108780223B (zh) * 2016-03-11 2019-12-20 脸谱科技有限责任公司 用于生成眼睛模型的角膜球跟踪
CN206321882U (zh) 2016-12-14 2017-07-11 浙江舜通智能科技有限公司 一种光学系统及装配该光学系统的头戴式显示装置
US10324529B1 (en) 2018-05-31 2019-06-18 Tobii Ab Method and system for glint/reflection identification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106324831A (zh) * 2015-06-30 2017-01-11 汤姆逊许可公司 视线跟踪设备以及嵌有所述视线跟踪设备的头戴式设备
US10108261B1 (en) * 2017-07-05 2018-10-23 Oculus Vr, Llc Eye tracking based on light polarization

Also Published As

Publication number Publication date
US11966047B2 (en) 2024-04-23
US20210097319A1 (en) 2021-04-01
CN112578556A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
US11675191B2 (en) Head mounted display and low conspicuity pupil illuminator
US10845606B1 (en) Eye tracking for a head mounted display including a pancake lens block
CN107533362B (zh) 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
TWI601979B (zh) 利用同軸眼睛成像之近眼顯示裝置及方法
US10684477B2 (en) Near-eye display device and methods with coaxial eye imaging
US10429927B1 (en) Eye tracking for a head mounted display including a pancake lens block
US10698482B2 (en) Gaze tracking using non-circular lights
US8983146B2 (en) Multimodal ocular biometric system
EP0596868B1 (en) Eye tracking method using an image pickup apparatus
US10690929B1 (en) Beamsplitter assembly for eye tracking in head-mounted displays
US10429657B1 (en) Eye tracking for a head mounted display including a pancake lens block
US10592739B2 (en) Gaze-tracking system and method of tracking user's gaze
US20110170060A1 (en) Gaze Tracking Using Polarized Light
JP2003521950A (ja) 視標追跡システム
US20190235236A1 (en) Gaze-tracking system and aperture device
US20130089236A1 (en) Iris Recognition Systems
CN110658625B (zh) 全息眼睛成像设备
WO2022199580A1 (zh) 电子设备及其控制方法
CN112578556B (zh) 用于减少来自光学装置的不合需的反射的眼睛跟踪系统
US11205069B1 (en) Hybrid cornea and pupil tracking
US10928894B2 (en) Eye tracking
US10495895B2 (en) Display apparatus and method of displaying using polarizers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant