CN108398788A - 眼睛跟踪装置及虚拟现实成像设备 - Google Patents

眼睛跟踪装置及虚拟现实成像设备 Download PDF

Info

Publication number
CN108398788A
CN108398788A CN201810243486.XA CN201810243486A CN108398788A CN 108398788 A CN108398788 A CN 108398788A CN 201810243486 A CN201810243486 A CN 201810243486A CN 108398788 A CN108398788 A CN 108398788A
Authority
CN
China
Prior art keywords
lens
electromagnetic radiation
imaging device
eye tracking
tracking apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810243486.XA
Other languages
English (en)
Other versions
CN108398788B (zh
Inventor
张雪冰
王晨如
董瑞君
刘亚丽
张�浩
陈丽莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810243486.XA priority Critical patent/CN108398788B/zh
Publication of CN108398788A publication Critical patent/CN108398788A/zh
Priority to US16/199,978 priority patent/US11231580B2/en
Application granted granted Critical
Publication of CN108398788B publication Critical patent/CN108398788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G02B2027/0105—Holograms with particular structures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/013—Head-up displays characterised by optical features comprising a combiner of particular shape, e.g. curvature
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Lenses (AREA)

Abstract

本公开实施例涉及一种眼睛跟踪装置及虚拟现实成像设备。该眼睛跟踪装置包括电磁辐射源，所述电磁辐射源被配置为朝向所述眼睛发射电磁辐射；透镜，所述透镜具有朝向所述眼睛的第一侧表面和与所述第一侧相对的第二侧表面；位于所述透镜的所述第一侧表面上的用于反射所述电磁辐射的第一反射膜；位于所述透镜的所述第二侧表面上的用于反射所述电磁辐射的第二反射膜；以及成像装置，用于接收来自所述眼睛的所述电磁辐射；其中所述第一反射膜和所述第二反射膜被定位为将来自所述眼睛的所述电磁辐射导引到所述成像装置。

Description

眼睛跟踪装置及虚拟现实成像设备
技术领域
本公开的实施例涉及显示技术领域，尤其涉及一种眼睛跟踪装置及虚拟现实成像设备。
背景技术
现代计算技术和显示技术已经促进了用于所谓“虚拟现实”体验的系统的发展，其中，数字再现的图像或者其部分以看起来是真实的或者可感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对于其它实际的真实世界视觉输入并不透明。目前，虚拟现实已经被开发成现在通过廉价装置(例如移动电话组件)以低成本实现的技术。特别是，高分辨率微型显示器和现代GPU(图形处理单元)的发展促进了非常逼真的体验。
将眼睛跟踪技术应用于虚拟现实显示中目前成为业界研究的热点。眼睛跟踪技术也称为视觉跟踪技术。眼睛跟踪技术属于机器视觉的一种技术，它是通过图像传感器来捕捉到眼睛的图像，根据图像的处理来识别每个人的眼睛瞳孔里的特征，通过这些特征实时地反算出看屏幕的注视点。
发明内容
本公开实施例提供了一种眼睛跟踪装置及虚拟现实成像设备，其具有降低的结构复杂度，并能够实现较高的眼睛跟踪精度及速度。
根据本公开的一个方面，提供一种眼睛跟踪装置。该眼睛跟踪装置可以包括：被配置为朝向所述眼睛发射电磁辐射的电磁辐射源；具有朝向所述眼睛的第一侧表面和与所述第一侧相对的第二侧表面的透镜；位于所述透镜的所述第一侧表面上的用于反射所述电磁辐射的第一反射膜；位于所述透镜的所述第二侧表面上的用于反射所述电磁辐射的第二反射膜；以及成像装置，用于接收来自所述眼睛的所述电磁辐射。在本公开的实施例中，所述第一反射膜和所述第二反射膜可以被定位为将来自所述眼睛的所述电磁辐射导引到所述成像装置。
在示例的实施例中，所述透镜的光轴的所位于的平面可以将所述透镜分割为第一半部分和第二半部分，其中所述第一反射膜可以位于所述第一半部分和所述第二半部分中的一个，所述第二反射膜可以位于所述第一半部分和所述第二半部分中的另一个。
在示例的实施例中，所述成像装置可以位于与所述透镜的所述第二侧表面相同的一侧。
在示例的实施例中，所述电磁辐射可以包括非可见光。
在示例的实施例中，所述非可见光可以包括红外光，所述成像装置可以包括红外成像装置。
在示例的实施例中，所述电磁辐射源可以位于所述透镜的周边。
在示例的实施例中，所述电磁辐射源和所述成像装置可以是一体的。
在示例的实施例中，所述电磁辐射源可以包括在所述透镜的周边均匀分布的至少两个电磁辐射源。
在示例的实施例中，眼睛跟踪装置还可以包括用于容纳所述透镜的壳体。
在示例的实施例中，所述电磁辐射源和所述成像装置可以都位于所述壳体上。
在示例的实施例中，所述透镜包括可以多焦透镜，所述多焦透镜可以包括具有不同焦距的至少两个透镜区域。
在示例的实施例中，所述至少两个透镜区域中的一个透镜区域可以为位于所述透镜的中心的圆形区域，所述至少两个透镜区域中的另外的透镜区域可以为环绕所述圆形区域环形区域。
在示例的实施例中，所述第一反射膜和所述第二反射膜的材料包括TiO2、SiO2、或者其叠层。
根据本公开的另一方面，提供一种虚拟现实成像设备。该虚拟现实成像设备可以包括根据上面或下面的一个或多个实施例中描述的眼睛跟踪装置。
在示例的实施例中，所述透镜作为所述虚拟现实成像设备的成像透镜。
根据本公开的实施例提供的眼睛跟踪装置及虚拟现实成像设备，在透镜的两侧表面设置第一反射膜和第二反射膜，使得第一反射膜和第二反射膜能够将来自眼睛的光反射到成像装置中。一方面，这种配置可以避免由成像装置获得的眼睛的图像产生畸变，因此能够提高眼睛跟踪的准确度；另一方面，无需安装专门的反射元件，这降低了眼睛跟踪装置和/或虚拟现实成像设备的结构复杂度。
适应性的进一步的方面和范围从本文中提供的描述变得明显。应当理解，本申请的各个方面可以单独或者与一个或多个其他方面组合实施。还应当理解，本文中的描述和特定实施例旨在仅说明的目的并不旨在限制本申请的范围。
附图说明
本文中描述的附图用于仅对所选择的实施例的说明的目的，并不是所有可能的实施方式，并且不旨在限制本申请的范围，其中：
图1示意性示出一种示例的眼睛跟踪装置；
图2示意性示出另一种示例的眼睛跟踪装置；
图3示意性示出根据本公开的一个实施例的示例的眼睛跟踪装置；
图4示意性示出根据本公开的另一实施例的示例的眼睛跟踪装置；以及
图5示意性示出根据本公开的实施例的示例的虚拟现实成像设备。
贯穿这些附图的各个视图，相应的参考编号指示相应的部件或特征。
具体实施方式
现将参考附图详细描述各种实施例，其作为本公开的示例性示例而提供，以使得本领域技术人员能够实现本公开。值得注意的是，以下附图和示例并不意味着限制本公开的范围。
在使用已知的组件可以部分或全部实现本公开的特定元件的情况下，将仅描述对理解本公开所需要的这种已知组件的那些部分，并且这种已知组件的其它部分的详细描述将被省略以便不会混淆本公开。进一步地，各种实施例通过说明的方式包含与在此涉及的组件等同的现在和未来已知的等同物。
出于下文表面描述的目的，如其在附图中被标定方向那样，术语“上”、“下”、“左”、“右”“垂直”、“水平”、“顶”、“底”及其派生词应涉及本公开。术语“上覆”、“在……顶上”、“定位在……上”或者“定位在……顶上”意味着诸如第一结构的第一要素存在于诸如第二结构的第二要素上，其中，在第一要素和第二要素之间可存在诸如界面结构的中间要素。
此外，还需要说明的是，当介绍本申请的元素及其实施例时，冠词“一”、“一个”、“该”和“所述”旨在表示存在一个或者多个要素；除非另有说明，“多个”的含义是两个或两个以上；术语“第一”、“第二”、“第三”等仅用于描述的目的，而不能理解为指示或暗示相对重要性及形成顺序。
如本文所使用的，术语“具有(have)”、“包括(comprise)”和“包含(contain)”以及其语法变型以非排它的方式使用。因此，表述“A具有B”以及表达“A包括B”或“A包含B”可以指：除了B之外A包含一个或多个其它组件和/或构件的事实，以及除了B之外没有其他组件、构件或元素呈现在A中的情况。
如上所述，将眼睛跟踪技术应用于虚拟现实显示中目前成为业界研究的热点。眼睛跟踪技术的一个重要应用场景就是用于虚拟现实显示中。眼睛跟踪技术，一方面能够提供一种新型的人机交互方式，无需依赖鼠标、键盘或者游戏手柄，只需要通过眼睛运动即可实现人机交互的功能；另一方面，基于眼睛跟踪技术获得的眼睛的运动可以用来局部渲染图像，例如，通过眼睛跟踪技术获取眼睛在显示屏幕上的注视点，在进行图像渲染时，可以提高注视点周边特定区域范围内的图像的清晰度，而降低超出该特定区域的图像的清晰度，从而可以提高图像处理速度，节省图像处理功率。
图1示意性示出一种示例的眼睛跟踪装置。该眼睛跟踪装置可以应用于虚拟现实显示设备中。如图1所述，该眼睛跟踪装置例如可以包括透镜102、位于透镜周边的光源104和成像装置(例如，摄像机)106。在使用状态下，光源104和成像装置106被配置为对准使用者的眼睛108，以便光源104发出的光照射到使用者的眼睛108后，由使用者的眼睛108将光线反射到成像装置106，从而使得成像装置106能够对使用者的眼睛108直接成像。在这种眼睛跟踪装置中，为了不遮挡视线，成像装置106需要设置在使用者的视场之外，例如视场下方或视场上方，这使得成像装置只能从倾斜的角度对眼睛成像，导致拍摄的眼睛的图像产生畸变。在对图像进行处理时，需要首先进行畸变校正，这无疑增大了图像处理的计算量，并且还会降低眼睛跟踪的精度和速度。
图2示意性示出另一种示例的眼睛跟踪装置。该眼睛跟踪装置除了具有透镜102、光源104和成像装置106之外，还包括设置在透镜102的远离眼睛的一侧(使用状态下)的反射元件110。通常，反射元件110被设置为与使用者的水平视线方向成预定角度(例如，约45°角)，成像装置106被设置为朝向反射元件110以接收来自反射元件110的光。由光源104朝向眼睛108发射的光经过眼睛108反射后再由反射元件110反射到成像装置106，从而使得成像装置106对眼睛108成像。这种眼睛跟踪装置能够减小眼睛108的图像的畸变。然而，由于需要设置专门的反射元件，而且在装配时，对反射元件110和成像装置106的对准有较高的要求，这无疑增加了眼睛跟踪装置(尤其是使用该眼睛跟踪装置的设备，例如虚拟现实成像设备)的结构复杂性。
在本公开的一方面，提供一种眼睛跟踪装置，其具有减少的结构复杂度，并能够实现较高的跟踪精度和速度。
需要说明的是，本公开的实施例提供的眼睛跟踪装置可以与例如虚拟现实成像设备的其他设备配合使用。
图3示意性示出根据本公开的一个实施例的示例的眼睛跟踪装置。如图3所示，该眼睛跟踪装置可以包括被配置为朝向眼睛308发射电磁辐射的电磁辐射源304；具有朝向眼睛308的第一侧表面和与第一侧表面相对的第二侧表面的透镜302；位于透镜302的第一侧表面上的用于反射电磁辐射的第一反射膜310；位于透镜302的第二侧表面上的用于反射电磁辐射的第二反射膜312；以及用于接收来自眼睛308的电磁辐射以便对眼睛308成像的成像装置306。在本公开的实施例中，第一反射膜310和第二反射膜312被定位为将来自眼睛308的电磁辐射引导到成像装置306。
电磁辐射源304可以朝向使用者的眼睛308发射电磁辐射，使用者的眼睛308进而将来自电磁辐射源304的电磁辐射反射，以被成像装置306接收。在本公开的实施例中，电磁辐射源304可以为非可见光源，例如，红外光源。相应地，电磁辐射可以包括非可见光，例如，红外光。这样可以在不影响使用者观看的情况下，实现眼睛的跟踪。
为了说明本公开的实施例的效果、优点以及可行性，本文采用能够发射在红外光谱范围内的光的光源作为示例性的电磁辐射源304，然而，其不旨在将本公开的范围限制在该特定的电磁辐射或电磁辐射源304。在合适的情况下，由电磁辐射源304发射的电磁辐射还可以包括其他的波长范围。借助于该示例，当使用其他波长范围内的电磁辐射时，本领域技术人员可以容易地认识到如何适配相关的设置和条件。
在本公开的实施例中，红外光源可以被布置在任何可以朝向使用者的眼睛发射光的位置。作为示例，为了不遮挡使用者的视线，可以将光源304设置在透镜302的周边(如图3所示)。作为进一步的示例，光源304可以与透镜分开布置也可以通过固定件固定到透镜302上。通过示例的方式，光源304可以包括以下光源中的一个种或多种：激光器，例如，激光二极管；发光二极管，例如有机发光二极管和无机发光二极管。在本公开的实施例中，对光源的数量也不做限定，可以具有一个、两个或更多个光源。在存在多个光源的情况下，示例地，可以将光源均匀地布置在透镜的周边，以便通过成像装置获得亮度均匀的眼睛的图像。
如图3所示，透镜302具有在使用状态下朝向眼睛的第一侧表面和与第一侧表面相对的第二侧表面。在本公开的实施例提供的眼睛跟踪装置用于VR显示设备的情况下，透镜302可以作为VR显示设备的成像透镜。
在本公开的实施例中，透镜302可以是单凸透镜或者双凸透镜。然而，这里的透镜302的类型仅仅是示例性的，不旨在将本公开的范围限制在这些类型。本领域技术人员可以根据需要适当地选择合适类型的透镜302。
在本公开的实施例中，透镜302可以是单焦透镜，即仅有一个焦距。在替代的实施例中，透镜302可以是多焦透镜，该多焦透镜可以包括具有不同焦距的至少两个透镜区域。作为示例，至少两个透镜区域中的一个可以为位于透镜的中心的圆形区域，另外的透镜区域可以为环绕该圆形区域的环形区域。作为另一示例，至少两个透镜区域可以包括以平铺方式布置的多个六边形区域。作为又一示例，至少两个透镜区域中的每一个可以为扇形区域。采用多焦透镜的实施例中，尤其是在眼睛跟踪装置与虚拟现实成像设备结合使用的情况下，可以根据眼睛的视点位置实时切换所使用的焦距，使得所使用的焦距与眼睛的视点相匹配，从而可以缓解在观看VR图像时由于会聚-调节冲突而导致的视觉疲劳。
再次如图3所示，第一反射膜310和第二反射膜312分别位于透镜302的第一侧表面和第二侧表面上，并被定位为通过反射电磁辐射而将来自眼睛308的电磁辐射引导到成像装置306上，以便通过成像装置306对眼睛308成像。
在本公开的实施例中，透镜302的光轴314所位于的平面可以将透镜302分割为第一半部分3021和第二半部分3022，其中第一反射膜310位于第一半部分3021，第二反射膜312位于第二半部分3022。如在图3所示的示例的实施例中，第一反射膜310位于透镜的下半部分(第一半部分3021)，第二反射膜312位于透镜的上半部分(第二半部分3022)。通过这种配置，使得第一反射膜310和第二反射膜312可以互不遮挡，以便能够将来自眼睛308的光传送到成像装置306。
在电磁辐射源304为发射红外光的红外光源的情况下，第一反射膜310和第二反射膜312可以由能够反射红外光并透射可见光(例如，对可见光具有高透射性)材料制成，以便不影响使用者透过透镜观看VR图像，即，不影响观看的图像的清晰度。在本公开的实施例中，第一反射膜310和第二反射膜312可以是单层膜或者多层膜。通过示例的方式，形成第一反射膜310和第二反射膜312的材料可以是能够透过可见光并反射红外光的透明电介质材料，例如TiO2、SiO2、或者其叠层。在本公开的实施例中，TiO2、SiO2可以是掺杂的，例如掺杂有Zn等。通过示例的方式，可以通过蒸镀或溅射工艺在透镜302的表面形成第一反射膜310和第二反射膜312。替代地，也可以预先形成第一反射膜310和第二反射膜312，然后将它们粘贴在透镜302的表面。需要说明的是，在本公开的实施例中，第一反射膜310和第二反射膜312的形成材料以及制备工艺不旨在限制本公开的范围，本领域技术人员可以根据需要进行适当地修改或选择。
在此如图3所示，成像装置306可以位于与透镜302的第二侧表面相同的一侧，并被取向为能够接收来自于第一反射膜310的光。作为示例，成像装置306可以被布置在透镜的第二侧表面的一侧的不遮挡使用者视线的位置，例如，透镜的下边缘附近的位置。
在电磁辐射源304为发射红外光的红外光源的情况下，成像装置306可以为红外相机，例如，CCD相机或CMOS相机。
如图3所示，来自光源的光入射到使用者的眼睛308上后依次经由眼睛308、第二反射膜312、和第一反射膜310的反射后被成像装置306接收，因此，成像装置308可以对眼睛308成像。在示例的实施例中，成像装置308可以连接到图像处理装置(图3未示出)。通过图像处理装置对成像装置306获取的眼睛308的图像进行分析(例如通过从眼睛的图像中提取特征点)，可以实时获取眼睛308的运动轨迹。然后，根据眼睛308的运动轨迹可以导出眼睛308在显示屏上的一系列注视点，从而可以实现对眼睛308的实时跟踪。基于这些获得的注视点，例如，可以实现一种新的人机交互，也可以实现对显示图像的局部渲染，以便节约计算功率，提高图像处理速度。
在示例的实施例中，图像处理装置可以作为单独的装置，也可以集成到其他装置中，例如计算机、移动电话、笔记本电脑等。该其他的装置可以包括处理器和存储器，其中处理器可以执行存储在存储器中的程序，以实现图像处理装置的相应功能。在替代的实施例中，成像装置306自身可以包括图像处理装置，使得成像装置306自身可以对眼睛308的图像进行处理和分析，从而获得眼睛的运动轨迹。
在示例的实施例中，眼睛跟踪装置还可以包括用于容纳透镜的壳体(图3未示出)。在该实施例中，电磁辐射源304(例如红外光源)和成像装置306(例如CCD相机或CMOS相机)都可以固定在壳体上。
在示例的实施例中，电磁辐射源304(例如红外光源)和成像装置306(例如CCD相机或CMOS相机)可以为一体的。换言之，成像装置306本身可以具有能够发射电磁辐射的电磁辐射源。
根据本公开的实施例提供的眼睛跟踪装置，在透镜302的两侧表面设置第一反射膜310和第二反射膜312，使得第一反射膜310和第二反射膜312能够将来自眼睛308的光反射到成像装置306中。一方面，这种配置可以避免眼睛308的图像的畸变，能够提高眼睛308跟踪的准确度；另一方面，无需安装专门的反射元件，这减少了结构复杂度。
图4示意性示出根据本公开的另一实施例的示例的眼睛跟踪装置。该图4所示的实施例与图3所示的实施例不同之处在于：成像装置306、第一反射元件310和第二反射元件的312位置不同。在图3所示的实施例中，第一反射元件310位于透镜302的第一侧表面的下半部分，第二反射元件312位于透镜302的第二侧表面的上半部分，而成像装置306位于透镜302的下边缘附近。在图4所示的实施例中，第一反射元件310位于透镜302的第一侧表面的上半部分(第二半部分3022)，第二反射元件312位于透镜302的第二侧表面的下半部分(第一半部分3021)，而成像装置306位于透镜302的上边缘附近的位置。图4所示的其他的设置与图3所示的实施例相同。
类似于图3所示的实施例，如图4所示，来自电磁辐射源304(例如红外光源)的光入射到使用者的眼睛308上后依次经由眼睛308、第二反射膜312、和第一反射膜310的反射后被成像装置306接收，因此，成像装置306可以对眼睛308成像。在示例的实施例中，成像装置306可以连接到图像处理装置，以便对眼睛308的图像进行分析和处理。通过图像处理装置对成像装置306获取的眼睛308的图像进行分析(例如通过从眼睛308的图像中提取特征点)，可以获取实时获取眼睛308的运动轨迹。然后，根据眼睛308的运动轨迹可以导出眼睛308在显示屏上的一系列注视点，从而可以实现对眼睛308的实时跟踪。
同样类似于图3所示的实施例，图4所示的实施例中提供的眼睛跟踪装置一方面可以避免由成像装置获得的眼睛的图像发生畸变，能够提高眼睛跟踪的准确度；另一方面，无需安装专门的反射元件，这减少了结构复杂度。
在本公开的另一方面，提供一种虚拟现实成像设备。可选地，该虚拟现实成像设备可以包括根据本公开的至少一个眼睛跟踪装置，诸如根据上面详细公开的一个或多个实施例的至少一个眼睛跟踪装置。因此对于虚拟现实成像设备的可选实施例，可以参考眼睛跟踪装置的实施例。
图5示意性示出根据本公开的实施例的虚拟现实成像设备。如图5所示，该虚拟现实成像设备可以包括如图3所示的实施例中的眼睛跟踪装置300和显示模组502，该眼睛跟踪装置300可以包括被配置为朝向眼睛308发射电磁辐射的电磁辐射源304；具有朝向眼睛308的第一侧表面和与第一侧表面相对的第二侧表面的透镜302；位于透镜302的第一侧表面上的用于反射电磁辐射的第一反射膜310；位于透镜302的第二侧表面上的用于反射电磁辐射的第二反射膜312；以及用于接收来自眼睛308的电磁辐射以便对眼睛308成像的成像装置306。第一反射膜310和第二反射膜312可以将来自眼睛308的电磁辐射引导到成像装置306，以便成像装置306对眼睛308成像。该显示模组502可以是能够呈现用于视觉感知的视觉信息的任何装置或组件，例如包括但不限于移动电话、笔记本电脑、台式电脑或专用于虚拟现实成像设备的显示屏。
在另一实施例中，该虚拟现实成像设备也可以包括如图4所示的实施例中的眼睛跟踪装置300。
根据本公开的实施例提供的虚拟现实成像设备，在成像透镜的表面镀有能够将来自眼睛的光反射到成像装置的第一反射膜和第二反射膜，一方面在进行眼睛跟踪时可以避免由成像装置获得的眼睛的图像发生畸变，能够提高眼睛跟踪的准确度；另一方面，无需安装专门的反射元件，可以减少了结构复杂度。
以上为了说明和描述的目的提供了实施例的前述描述。其并不旨在是穷举的或者限制本申请。特定实施例的各个元件或特征通常不限于特定的实施例，但是，在合适的情况下，这些元件和特征是可互换的并且可用在所选择的实施例中，即使没有具体示出或描述。同样也可以以许多方式来改变。这种改变不能被认为脱离了本申请，并且所有这些修改都包含在本申请的范围内。

Claims (15)

1.一种眼睛跟踪装置，其特征在于，包括：
电磁辐射源，所述电磁辐射源被配置为朝向所述眼睛发射电磁辐射；
透镜，所述透镜具有朝向所述眼睛的第一侧表面和与所述第一侧相对的第二侧表面；
位于所述透镜的所述第一侧表面上的用于反射所述电磁辐射的第一反射膜；
位于所述透镜的所述第二侧表面上的用于反射所述电磁辐射的第二反射膜；以及
成像装置，用于接收来自所述眼睛的所述电磁辐射；
其中所述第一反射膜和所述第二反射膜被定位为将来自所述眼睛的所述电磁辐射导引到所述成像装置。
2.根据权利要求1所述的眼睛跟踪装置，其特征在于，所述透镜的光轴的所位于的平面将所述透镜分割为第一半部分和第二半部分，其中所述第一反射膜位于所述第一半部分和所述第二半部分中的一个，所述第二反射膜位于所述第一半部分和所述第二半部分中的另一个。
3.根据权利要求1所述的眼睛跟踪装置，其特征在于，所述成像装置位于与所述透镜的所述第二侧表面相同的一侧。
4.根据权利要求1至3中任一项所述的眼睛跟踪装置，其特征在于，
所述电磁辐射包括非可见光。
5.根据权利要求4所述的眼睛跟踪装置，其特征在于，所述非可见光包括红外光，所述成像装置包括红外成像装置。
6.根据权利要求1至3中任一项所述的眼睛跟踪装置，其特征在于，所述电磁辐射源位于所述透镜的周边。
7.根据权利要求1至3中任一项所述的眼睛跟踪装置，其特征在于，所述电磁辐射源和所述成像装置是一体的。
8.根据权利要求6所述的眼睛跟踪装置，其特征在于，所述电磁辐射源包括在所述透镜的周边均匀分布的至少两个电磁辐射源。
9.根据权利要求1至3中任一项所述的眼睛跟踪装置，其特征在于，还包括用于容纳所述透镜的壳体。
10.根据权利要求9所述的眼睛跟踪装置，其特征在于，所述电磁辐射源和所述成像装置都位于所述壳体上。
11.根据权利要求1至3中任一项所述的眼睛跟踪装置，其特征在于，所述透镜包括多焦透镜，所述多焦透镜包括具有不同焦距的至少两个透镜区域。
12.根据权利要求11所述的眼睛跟踪装置，其特征在于，所述至少两个透镜区域中的一个透镜区域为位于所述透镜的中心的圆形区域，所述至少两个透镜区域中的另外的透镜区域为环绕所述圆形区域环形区域。
13.根据权利要求5所述的眼睛跟踪装置，其特征在于，所述第一反射膜和所述第二反射膜的材料包括TiO2、SiO2、或者其叠层。
14.一种虚拟现实成像设备，其特征在于，包括根据权利要求1至13中任一项所述的眼睛跟踪装置。
15.根据权利要求14所述的虚拟现实成像设备，其特征在于，所述透镜作为所述虚拟现实成像设备的成像透镜。
CN201810243486.XA 2018-03-23 2018-03-23 眼睛跟踪装置及虚拟现实成像设备 Active CN108398788B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810243486.XA CN108398788B (zh) 2018-03-23 2018-03-23 眼睛跟踪装置及虚拟现实成像设备
US16/199,978 US11231580B2 (en) 2018-03-23 2018-11-26 Eye tracking device and virtual reality imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810243486.XA CN108398788B (zh) 2018-03-23 2018-03-23 眼睛跟踪装置及虚拟现实成像设备

Publications (2)

Publication Number Publication Date
CN108398788A true CN108398788A (zh) 2018-08-14
CN108398788B CN108398788B (zh) 2024-04-16

Family

ID=63093106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810243486.XA Active CN108398788B (zh) 2018-03-23 2018-03-23 眼睛跟踪装置及虚拟现实成像设备

Country Status (2)

Country Link
US (1) US11231580B2 (zh)
CN (1) CN108398788B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683320A (zh) * 2019-02-20 2019-04-26 京东方科技集团股份有限公司 显示装置和显示方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11474358B2 (en) 2020-03-20 2022-10-18 Magic Leap, Inc. Systems and methods for retinal imaging and tracking
US20230324587A1 (en) * 2020-09-22 2023-10-12 Apple Inc. Glint analysis using multi-zone lens
KR20220136561A (ko) 2021-03-31 2022-10-11 삼성디스플레이 주식회사 표시 장치 및 표시 장치 제어 방법
TWI798956B (zh) * 2021-11-24 2023-04-11 廣達電腦股份有限公司 眼球追蹤裝置以及眼球追蹤方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071400A1 (en) * 2012-09-11 2014-03-13 Augmented Vision, Inc. Compact eye imaging and eye tracking apparatus
US20150205132A1 (en) * 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US20150205112A1 (en) * 2014-01-21 2015-07-23 Osterhout Group, Inc. Suppression of stray light in head worn computing
CN105408802A (zh) * 2013-06-25 2016-03-16 微软技术许可有限责任公司 用于头戴式显示器的眼睛跟踪系统
US9454010B1 (en) * 2015-08-07 2016-09-27 Ariadne's Thread (Usa), Inc. Wide field-of-view head mounted display system
CN106164745A (zh) * 2014-04-09 2016-11-23 3M创新有限公司 头戴式显示器和低醒目性瞳孔照明器
CN106575039A (zh) * 2014-08-11 2017-04-19 微软技术许可有限责任公司 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器
US20170316264A1 (en) * 2015-09-24 2017-11-02 Tobii Ab Eye-tracking enabled wearable devices
CN107407817A (zh) * 2015-01-21 2017-11-28 特塞兰德有限责任公司 具有全内反射的显示设备
CN107533362A (zh) * 2015-05-08 2018-01-02 Smi创新传感技术有限公司 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
US20190187482A1 (en) * 2017-12-18 2019-06-20 Facebook Technologies, Llc Integrated Augmented Reality Head-Mounted Display for Pupil Steering

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7262919B1 (en) * 1994-06-13 2007-08-28 Canon Kabushiki Kaisha Head-up display device with curved optical surface having total reflection
US7724210B2 (en) * 2004-05-07 2010-05-25 Microvision, Inc. Scanned light display system using large numerical aperture light source, method of using same, and method of making scanning mirror assemblies
KR101883090B1 (ko) * 2015-04-01 2018-07-27 포브, 아이엔씨. 헤드 마운트 디스플레이
US10078221B2 (en) * 2015-06-23 2018-09-18 Mobius Virtual Foundry Llc Head mounted display
CN111684323B (zh) * 2018-01-26 2022-09-13 林巴克4Pi有限公司 用于虚拟现实和混合现实的交叉配置的紧凑型光学器件

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071400A1 (en) * 2012-09-11 2014-03-13 Augmented Vision, Inc. Compact eye imaging and eye tracking apparatus
CN105408802A (zh) * 2013-06-25 2016-03-16 微软技术许可有限责任公司 用于头戴式显示器的眼睛跟踪系统
US20150205132A1 (en) * 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US20150205112A1 (en) * 2014-01-21 2015-07-23 Osterhout Group, Inc. Suppression of stray light in head worn computing
CN106164745A (zh) * 2014-04-09 2016-11-23 3M创新有限公司 头戴式显示器和低醒目性瞳孔照明器
CN106575039A (zh) * 2014-08-11 2017-04-19 微软技术许可有限责任公司 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器
CN107407817A (zh) * 2015-01-21 2017-11-28 特塞兰德有限责任公司 具有全内反射的显示设备
CN107533362A (zh) * 2015-05-08 2018-01-02 Smi创新传感技术有限公司 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
US9454010B1 (en) * 2015-08-07 2016-09-27 Ariadne's Thread (Usa), Inc. Wide field-of-view head mounted display system
US20170316264A1 (en) * 2015-09-24 2017-11-02 Tobii Ab Eye-tracking enabled wearable devices
US20190187482A1 (en) * 2017-12-18 2019-06-20 Facebook Technologies, Llc Integrated Augmented Reality Head-Mounted Display for Pupil Steering

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683320A (zh) * 2019-02-20 2019-04-26 京东方科技集团股份有限公司 显示装置和显示方法
US11573419B2 (en) 2019-02-20 2023-02-07 Beijing Boe Optoelectronics Technology Co., Ltd. Display device and display method

Also Published As

Publication number Publication date
US20190293930A1 (en) 2019-09-26
US11231580B2 (en) 2022-01-25
CN108398788B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN108398788A (zh) 眼睛跟踪装置及虚拟现实成像设备
US10739851B2 (en) Eye-tracking enabled wearable devices
US11073908B2 (en) Eye-tracking enabled wearable devices
JP6826688B2 (ja) 改良された回折格子構造を有する仮想および拡張現実システムおよび方法
CN109891296B (zh) 使用瞳孔位置校正光学透镜畸变
US10996477B2 (en) Virtual reality head-mounted apparatus
US10565446B2 (en) Eye-tracking enabled wearable devices
CN110446965A (zh) 用于结合光扫描投影仪跟踪眼睛运动的方法和系统
US11442270B2 (en) Virtual reality head-mounted apparatus with a partial-reflection partial-transmission wedge
US20190349506A1 (en) Virtual reality head-mounted apparatus
WO2019196694A1 (zh) 虚拟现实显示装置、显示设备及视线角度计算方法
US20200166752A1 (en) Display for use in display apparatus
US20240012246A1 (en) Methods, Apparatuses And Computer Program Products For Providing An Eye Tracking System Based On Flexible Around The Lens Or Frame Illumination Sources

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant