CN108885341B - 基于棱镜的眼睛跟踪 - Google Patents

基于棱镜的眼睛跟踪 Download PDF

Info

Publication number
CN108885341B
CN108885341B CN201680048501.4A CN201680048501A CN108885341B CN 108885341 B CN108885341 B CN 108885341B CN 201680048501 A CN201680048501 A CN 201680048501A CN 108885341 B CN108885341 B CN 108885341B
Authority
CN
China
Prior art keywords
eye
light
light beam
display panel
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680048501.4A
Other languages
English (en)
Other versions
CN108885341A (zh
Inventor
张智彬
杰里·卡罗洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108885341A publication Critical patent/CN108885341A/zh
Application granted granted Critical
Publication of CN108885341B publication Critical patent/CN108885341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/149—Beam splitting or combining systems operating by reflection only using crossed beamsplitting surfaces, e.g. cross-dichroic cubes or X-cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种HMD设备(100、300)包括：显示面板(102、308、310)；以及x棱镜分束器(104)，其沿着所述显示面板与眼睛(112)的期望位置之间的第一轴(202)布置。所述X棱镜分束器沿着所述第一轴在从所述显示面板到所述眼睛的第一方向上引导第一光束(212)，沿着基本上垂直于所述第一轴的第二轴(208)在第二方向上引导第二光束(216)，并且沿着所述第二轴在所述第二方向上引导第三光束(222)，其中所述第二光束表示所述第一光束并且所述第三光束表示离开所述眼睛的所述第一光束的反射。所述HMD设备还包括成像相机(106)以捕获合成图像(232)，其包括所述第二光束的表示和所述第三光束的表示二者的组合。

Description

基于棱镜的眼睛跟踪
技术领域
本公开大体涉及头戴式显示系统，并且更特别地，涉及头戴式显示系统中的眼睛跟踪。
背景技术
头戴式显示器(HMD)设备利用被安装在用户的眼睛前面的显示面板来显示各种类型的内容，包括虚拟现实(VR)内容、增强现实(AR)内容等。眼睛跟踪常常被实现在HMD系统中以促进各种功能性，诸如小凹成像(还被称为注视跟随成像)、基于眼球运动的用户输入或者交互等。常规眼睛跟踪机构通常采用透镜和反射镜的复杂布置捕获眼睛的图像，并且从该图像估计眼睛的注视方向。然而，HMD设备制造商力图给HMD设备提供减少的形状因子，并且在常规系统中被要求以在不挡住显示面板的情况下提供该眼睛跟踪功能的复杂光学机构常常禁止针对HMD设备的小形状因子的实施方式。而且，被实现为基于常规捕获的眼睛图像来估计眼睛注视的算法常常计算密集并且因此难以在缺少昂贵和耗用功率高性能计算系统的情况下在HMD设备中实现。
附图说明
通过参考附图，本领域的技术人员可以更好地理解本公开，且使本公开的很多特征和优点对于本领域的技术人员显而易见。不同的附图中的相同附图标记的使用指示类似或者相同的项。
图1是根据本公开的至少一个实施例的图示利用x棱镜分束器的眼睛跟踪系统的部件的布置的示图。
图2是根据本公开的至少一个实施例的图1的眼睛跟踪系统的剖视图的示图。
图3是图示实现根据本公开的至少一个实施例的图1的眼睛跟踪系统的HMD设备的后视图的示图。
图4是图示根据本公开的至少一个实施例的图3的HMD设备的处理系统的示图。
图5是图示根据本公开的至少一个实施例的用于使用在眼睛跟踪中的合成图像的两个示例的示图。
具体实施方式
以下描述旨在通过提供包含基于HMD的眼睛跟踪系统的许多特定实施例和细节传达本公开的透彻理解。然而，应理解到，本公开不限于仅作为示例的这些特定实施例和细节，并且本公开的范围因此旨在仅由以下权利要求和其等同物限制。为了图示，除基于HMD的系统之外，本文所描述的眼睛跟踪系统可以被利用在其它系统中。还应理解到，鉴于已知系统和方法，本领域的普通技术人员还应理解到，在任何数量的备选实施例中出于其预期目的和益处的本公开的使用取决于特定设计和其它需要。
图1-5图示了HMD设备或者其它类似设备中的眼睛跟踪的示例设备和技术。在至少一个实施例中，x棱镜分束器沿着显示面板与用户的眼睛的期望位置之间的视轴定位，并且定位眼睛跟踪相机以便聚焦于x棱镜分束器的一部分，其垂直于和视轴相交的x棱镜分束器的两个部分。出于眼睛跟踪目的，具有与显示面板固定位置关系的IR光集合被触发或者“被闪光”以便通过x棱镜分束器照射用户的眼睛。x棱镜分束器使得来自显示屏的光和来自IR光源集合的IR光的图像或者其它表示被投影到眼睛跟踪相机，同时还同时地使得来自用户的眼睛和眼睛周围的区域的光的反射的图像或者其它表示被投影到眼睛跟踪相机。眼睛跟踪相机因此能够捕获包括显示面板和IR光源的影像和来自用户的眼睛和周围区域的反射的影像的合成图像。该合成图像然后可以被分析以确定用户的眼睛的当前位置、定向或者注视方向中的一个或多个。
图1图示了根据至少一个实施例的用于实现在头戴式设备(HMD)或者类似显示系统中的眼睛跟踪系统100。如所描绘的，眼睛跟踪系统100包括显示面板102、x棱镜分束器104、成像相机106和眼睛跟踪处理子系统108。显示面板102被用于将影像显示给用户。在一些实施例中，单个显示面板102被用于联合地显示分离的并排式图像，针对用户的每只眼睛112使用单个并排式图像。在其它实施例中，针对每只眼睛112使用分离的显示面板102。进一步地，在一些实施例中，跟踪用户的两只眼睛，在该情况下针对每只眼睛112实现分离的眼睛跟踪相机106。同样地可以针对每只眼睛实现分离的x棱镜分束器104，或者可以使用具有跨用户的两只眼睛112延伸的宽度(即，在与显示面板102的表面上平行的方向上)的单个x棱镜分束器104。可以沿着在显示面板102与x棱镜分束器104之间的视轴、在x棱镜分束器104与眼睛112之间的视轴或者在这两个位置中定位一个或多个光学透镜(未示出)。
沿着显示面板102与眼睛112的期望或者预期位置之间的视轴(图2的视轴202)定位x棱镜分束器104(在下文中，为了方便引用，“x棱镜104”)。x棱镜104包括具有两个部分反射面114、115的立方体或平行六面体棱镜，所述部分反射面基本上彼此垂直(即，90°+/-10°)并且在相对于视轴的基本上非垂直角处。如在视图116中所描绘的，x棱镜104可以通过粘附在一起或者以其它方式机械联合以形成平行六面体分束器的四个分离的直角三面体棱镜117、118、119、120构建。实现棱镜117-120，使得对于每个部分反射面114、115而言，入射光束被部分地透射并且部分地反射。例如，棱镜117-120可以使用具有基于感兴趣波长的厚度的透明(针对感兴趣波长)粘结层被粘附在一起，使得由于由棱镜与其之间的粘结层的厚度之间的界面引起的受抑全内反射现象，入射光束的某个比例(例如，50％)在相对于入射角的90度角处被反射，并且入射光的剩余比例(例如，50％)基本上沿着其原始路径被透射通过x棱镜104。替选地，棱镜117-120中的一些棱镜的面对侧可以涂敷有金属(例如，铝)或其它适合的材料(例如，IR/可见光双色性材料)的薄或不连续涂层，使得当棱镜117-120被结合在一起以形成x棱镜104时，薄/不连续涂层形成部分反射面114、115。例如，棱镜117的表面121和棱镜119的表面122各自可以接收适当的材料的薄或不连续涂层，使得当棱镜117-120被结合时，表面121、122上的薄/不连续涂层一起形成部分反射层115。类似地，棱镜118的表面123和棱镜120的表面124各自可以接收材料的薄或不连续涂层，使得当棱镜117-120被结合时，表面123和124上的薄/不连续涂层一起形成部分反射面114。
在一些实施例中，可见光谱外部的光诸如红外(IR)光(并且更特别地近红外(NIR)光)被用于出于眼睛跟踪的目的照射眼睛112，以及用作用于眼睛跟踪过程的坐标系参考点。为了图示，诸如IR光源126、127、128、129的一个或多个IR光源的集合可以在指定模式中被实现在与显示面板102的固定位置关系中。如下面所描述的，IR光源集合的特定模式和其相对于显示面板102的固定关系用作坐标系参考。在一些实施例中，通过在显示面板102中，诸如在如图1中所描绘的显示面板102的四个角处或者沿着显示面板102的边界或者“弯曲”，添加IR光源126-129来获得该固定位置关系。在其它实施例中，IR光源能够关于显示面板102“虚拟地”嵌入，诸如通过将IR光源物理地定位在相机空间附近，使得其通过一个或多个透镜“虚拟地”定位在显示面板102上。在任一方法中，由于IR光源是固定的并且显示面板102每个是固定的，因而其相对位置将不改变并且因此建立IR光源与显示面板102之间的固定的相对位置关系。IR光源126-129每个可以包括例如IR发射垂直腔面发射激光器(VECSEL)、IR发光二极管(LED)等。
参考图2更好地理解眼睛跟踪系统100的一般操作，图2图示了根据一些实施例的眼睛跟踪系统100的剖视图200。如所描绘的，x棱镜104沿着显示面板102与用户的对应的眼睛112之间的视轴202或者与视轴202对准地定位在显示面板102与该眼睛112的期望位置之间，并且因此使端口203面对显示面板102并且相反端口205面对眼睛112。一个或多个透镜或者其它光学元件可以沿着该视轴202布置，诸如被布置在显示面板102与x棱镜104之间的放大透镜204或者被布置在x棱镜104与眼睛112之间的放大透镜206。
成像相机106(在下文中，“眼睛跟踪相机106”)沿着光轴208(在下文中，“反射轴208”)布置，所述光轴208通常垂直于视轴202并且在x棱镜104内的部分反射面114、115的交点处或附近和视轴202相交。即，眼睛跟踪相机106聚焦于端口207，其垂直于端口203。如在图2中所示，眼睛跟踪相机106包括一个或多个透镜的透镜组件210以将入射光聚焦到图像传感器211上。如本文所描述的，IR光可以被用于出于眼睛跟踪的目的的眼睛照射和参考点生成，并且因此图像传感器211可以包括对于IR光敏感或者以其它方式能够捕获IR光内容的图像传感器，诸如具有双红-绿-蓝(RGB)和IR能力的图像传感器。这样的传感器的示例包括从OmniVision Technologies公司可购得的OV4682RGBIR成像传感器。而且，由于通常在HMD设备中找到的相对小形状因子，因而眼睛跟踪相机106可以相对地接近于x棱镜104的端口207，并且因此眼睛跟踪相机106可以利用小f数量(或“f停止”)实现以便利用适于从对于超焦距长度无限的调制传递函数(MTF)通过x棱镜104超聚焦在眼睛112和显示面板102上。
在正常操作中(即，在不参与本文所描述的眼睛跟踪过程的情况下)，由显示控制器驱动显示面板102来以从显示面板102发射的可见光的形式显示影像。该可见光沿着视轴202被发射到x棱镜104的端口203。当可见光通过x棱镜104从端口203行进到相反端口205时，可见光遇到部分反射面114、115。在至少一个实施例中，部分反射面114被配置以便对于可见光谱(大约400至700纳米(nm))中的光基本上透明，并且因此当可见光沿着视轴202从端口203行进到端口205并且在其上到眼睛112时，部分反射面114未过度地衰减或者挡住可见光。相反，在至少一个实施例中部分发射面115被配置成对于可见光谱中的光部分反射，并且因此可见光的一部分由部分反射面115沿着反射轴208朝向并且通过端口207反射。如此，当可见光通过x棱镜104行进到眼睛112时，x棱镜104使存在于可见光中的强度或者照度衰减。例如，假定对于可见光的部分反射面114的100％透射率和对于部分反射面115的50％反射/50％透射率(并且假定为了便于说明，x棱镜104内的损失是可以忽视的)，通过x棱镜104到达眼睛112的可见光的亮度将入射在端口203上的可见光的亮度的50％。在典型的HMD应用中，显示面板102的亮度容量不只是足以补偿该损失并且将可接受的可见光强度递送到眼睛112。
在眼睛跟踪操作中，光源126-129的集合(在剖视图200中仅图示了光源126和129)被激活并且因此发射与由显示面板102所发射的可见光组合的IR光以形成聚焦于x棱镜104的端口203的光束212(在下文中，“初始光束212”)。在穿过x棱镜104时，初始光束212遇到部分反射面114和部分反射面115二者。部分反射面115允许初始光束212的IR和可见光的一部分(例如，50％)沿着视轴202继续传输到端口207从那里到眼睛212作为透射光束214，然而来自初始光束212的IR和可见光的另一部分(例如，50％)沿着反射轴208在朝向端口207的直角处被反射作为反射光束216。
如上文所指出的，部分反射面114可以被配置成对于可见光基本上透明，并且因此反射面114未显著地影响初始光束212的可见光内容的传输。然而，对于红外光谱(例如，针对NIR的大约700nm到850nm，或者针对全光谱IR的大约700nm到1000nm)中的光而言，部分反射面114可以被配置成是部分反射的(例如，利用IR光的50％透射/50％反射率)。因此，当遇到部分反射面114时，存在于初始光束212中的IR光的一部分(例如，50％)被发射到端口205并且然后到眼睛112上，同时IR光的另一部分(例如，50％)朝向与端口207相反的端口209沿着反射轴208被反射。因此，假定例如针对IR光由部分反射面114中的每个部分反射面114的50％反射率和针对可见光由部分反射面114和部分反射面115的分别0％和50％反射率，透射光束215将包含来自初始光束212的可见光的50％和IR光的25％并且反射光束216将包含来自初始光束212的可见光的50％和IR光的25％。
透射光束214经由端口205离开x棱镜104并且作用于眼睛112。存在于透射光束214的IR和可见光的一部分沿着视轴202反射离开眼睛112和周围区域回到端口205作为反射光束218。当反射光束218穿过x棱镜104时，反射光束218遇到部分反射面114、115，其操作以以与上文参考初始光束212所描述的方式类似的方式透射并且反射存在于反射光束218中的IR光和可见光的对应部分。因此，部分反射面114、115使得反射光束218的一部分沿着视轴203被透射到端口203作为透射光束220并且使得反射光束218的另一部分朝向端口207被反射作为反射光束222。将理解到反射光束218的另一部分朝向端口209被反射，但是出于清晰的目的该方面从图2省略。
由于其部分反射性，因而部分反射面114、115操作以沿着反射轴208朝向端口207反射存在于反射光束218的IR光的一部分。为了图示，假定这两个部分反射面114、115均针IR光对具有50％反射率，存在于反射光束218中的IR光的近似地25％存在于从其生成的反射光束222。进一步地，由于部分反射面114对于可见光基本上透明，因而当部分反射面115反射入射可见光的至少部分时，部分反射面115操作以沿着反射轴208朝向端口209反射存在于反射光束218中的可见光的一部分。例如，假定针对可见光的部分反射面114的0％反射率和部分反射面或者平面的50％反射率，存在于反射光束218中的可见光的近似地50％存在于从其生成的反射光束222。
当眼睛跟踪相机106聚焦于端口207时，从其发射的反射光束216、217同时地由成像传感器211捕获。当反射光束216是初始光束212的波束分割表示时，反射光束216表示显示面板102的图像224连同由IR光源126-129的集合发射的IR光一起分别作为IR光点226、227、228、229。类似地，反射光束222是反射光束218的波束分割表示，其进而是离开眼睛112和眼睛112周围的区域的显示面板102和IR光源126-129的集合的反射的表示。因此，反射光束222表示如由来自IR光源126-129的集合的IR光和由显示面板102发射的可见光所照射的眼睛112和周围区域的图像230。如此，由成像传感器21对反射光束216、222的同时捕获导致成像传感器211捕获图像232，其是图像224和230的合成或者组合。因此，图像232(在下文中，“合成图像232”)包括在图像捕获时被显示在显示面板102上的可见光影像、以IR光点226-229的形式由IR光源126-129的集合发射的IR光、从用户的眼睛112和周围区域反射的可见光和IR光，以及以例如分别针对IR光点226、227、228和229的反射点236、237、238和239的形式的离开眼睛122的IR光点226-229中的一些或全部的反射。从如从合成图像232所检测的眼睛112的瞳孔、虹膜、角膜或巩膜中的一个或多个的位置，眼睛跟踪处理子系统108能够使用眼睛跟踪算法中的任一个确定眼睛112的注视角或者注视方向。进一步地，IR光点226、227、228和229的存在可以通过充当被绑定到显示面板102的角的坐标参考系帮助进一步精确定位眼睛112的注视方向，如在本文中更详细描述的。
图3图示了根据至少一个实施例的被配置成实现图1和图2的眼睛跟踪系统100的示例HMD设备300。HMD设备300通过使用捆扎到用户的头部110或者以其它方式被安装在其上的装置被安装到用户的头部110，使得HMD设备300接近于用户的面部固定地定位并且因此随着用户的移动而移动。然而，在一些情况中，用户可以保持平板计算机或者其它手持式设备直到用户的面部并且约束手持式设备的移动，使得即使当用户的头部移动时手持式设备与用户的头部的定向相对地固定。在这样的实例中，即使HMD设备300未经由物理附件“安装”到用户的头部110，以这种方式操作的手持式设备也可以被认为是HMD设备300的实施方式。
HMD设备300包括壳体302，其具有表面304和表面垫片306和皮带或者安全带的集合(为了清晰起见从图3省略)以将壳体302安装在用户的头部110上，使得用户面对壳体302的表面304。在所描绘的实施例中，HMD设备300是双目镜HMD并且因此具有布置在表面304处的左眼显示器308和右眼显示器310(显示器308、310共同地或者分离地表示显示面板102的实施例)。显示器308、310可以被实现为分离的显示面板(即，由分离的显示驱动器硬件部件驱动的独立显示阵列)或者显示器308、3100可以被实现为单个显示面板的逻辑分离区域(例如，逻辑上分为左“半”和右“半”的单个显示阵列)。壳体302还包括与左眼显示器308对准的目镜透镜312和与右眼显示器310对准的目镜透镜314。替选地，在一些实施例中，HMD设备300可以被实现为单目镜HMD，因为单个图像或者通过左和右目镜透镜312、314或者在没有中间透镜的情况下直接地被呈现给用户的双眼。
在所描绘的示例中，HMD设备300还包括针对每个眼睛的眼睛跟踪系统100的分离实施方式，并且因此包括针对左眼布置在透镜312与显示器308之间的x棱镜316和针对右眼布置在透镜314与显示器310之间的x棱镜318(x棱镜316、318包括x棱镜104的实施例)。进一步地，HMD设备300包括布置在x棱镜316下面或者替选地在x棱镜316旁边或上方的眼睛跟踪相机320，以及布置在x棱镜318下面、上方或旁边的眼睛跟踪相机322(其中，眼睛跟踪相机320、322是眼睛跟踪相机106的实施例)。眼睛跟踪相机320操作以通过由x棱镜316经由使用本文所描述的技术同时地捕获反射光束来捕获用户的左眼和显示器308的合成图像。同样地，眼睛跟踪相机322操作以以类似的方式使用x棱镜318捕获用户的右眼和显示器310的合成图像。
图4图示了图3的HMD设备300的示例硬件配置400，以及根据一些实施例的用于眼睛跟踪过程的实施方式的硬件配置400的操作的方法402。硬件配置400包括应用处理器404、系统存储器406、合成器408、IR控制器410、显示面板102和眼睛跟踪相机106。硬件配置400还包括耦合到眼睛跟踪相机106的眼睛跟踪模块412(图1的眼睛跟踪处理子系统108的一个实施例)。为了便于说明，在用于跟踪单个眼睛的配置中图示了硬件配置400。然而，对于双眼跟踪实施方式而言，硬件配置400将还包括针对第二眼睛的第二眼睛跟踪相机106，并且取决于特定显示配置，第二显示面板102、第二IR光源126-129集合和第二IR控制器410，其将以与下面所描述的方式相同的方式操作。
眼睛跟踪模块412可以通过软件实现——即，执行被存储在系统存储器406中或者其它存储位置的可执行指令集(即，“软件”)的应用处理器404或者其它处理器。替选地，眼睛跟踪模块412可以被实现为硬编码逻辑，诸如经由专用集成电路(ASIC)、可编程逻辑等。进一步地，在一些实施例中，眼睛跟踪模块412可以通过软件和硬编码逻辑的组合实现。应用处理器404包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或者一个或多个CPU和一个或多个GPU的组合。来自高通股份有限公司(Qualcomm Incorporated)的Snapdragon(TM)810MSM8994片上系统(SoC)是应用处理器404的可商购的实施方式的示例。合成器408可以被实现为例如ASIC、可编程逻辑、执行操纵一个或多个GPU以提供所描述的功能性的软件的一个或多个GPU、或其组合。IR控制器410被耦合到显示面板102的IR光源126-129的集合并且经由信号线414被耦合到眼睛跟踪相机106。
在操作中，应用处理器404执行VR/AR应用416(被存储在例如系统存储器406中)来为用户提供VR/AR功能性。作为该过程的一部分，VR/AR应用416操纵应用处理器404或相关联的处理器以渲染图像序列用于在显示面板102处显示，该图像序列表示VR或AR场景。合成器408操作以驱动显示面板102来显示图像序列或其表示。
并行地，眼睛跟踪相机106、IR控制器410和眼睛跟踪模块412一起操作以跟踪对应的眼睛112的移动、位置和/或注视方向。方法402图示了该过程的示例。在至少一个实施例中，以指定频率或速率更新眼睛112的注视方向、位置或定向，指定频率或速率可以基于正被显示在显示面板102处的影像的帧速率或者基于另一因素。因此，为了发起更新迭代，在块422处，眼睛跟踪相机106经由信号线414的声明或者其它操纵以信号通知IR控制器410，并且作为响应IR控制器410触发IR光源126-129的集合以短暂地输出IR光(即，以“闪光”)以便照射眼睛112和周围区域。为了图示，在一个实施例中，眼睛跟踪相机106可以实现全局快门，全局快门经由对应的垂直同步(VSYNC)信号(其可以连同对显示面板102的垂直同步信号由应用处理器404控制或者以其它方式与其协调)触发，并且因此每次声明VSYNC以触发全局快门时，同样声明信号线414以便通过IR控制器触发IR闪光。以这种方式，IR闪光能够与眼睛跟踪相机106的全局快门同步。
如上文所描述的，由显示面板102发射的光和来自IR光源126-129的集合的IR光经过x棱镜104，反射离开眼睛112和眼睛周围的区域并且导致显示面板102和IR光源126-129的集合的表示和眼睛112和周围区域的表示二者通过x棱镜104同时地反射到眼睛跟踪相机106。因此，在块424处，眼睛跟踪相机106捕获这两个表示的合成图像(例如，图2的合成图像232)并且将合成图像提供到眼睛跟踪模块412用于处理。在块426处，眼睛跟踪模块412在合成图像上执行图像分析过程以标识眼睛112的虹膜/瞳孔的当前位置或定向中的一个或多个，并且从该信息眼睛跟踪模块412可以确定眼睛112的当前注视方向。在下面参考图5描述了该过程的示例。
利用所标识的眼睛112的虹膜/瞳孔的当前位置、虹膜/瞳孔的当前方向或者注视方向中的一个或多个，在块428处，眼睛跟踪模块412可以因此修改硬件配置400的一个或多个部件的操作。为了图示，在一些实施例中，当前注视方向可以被用于提供小凹显示，并且因此在这样的实例中，眼睛跟踪模块412可以将当前注视方向信号通知到VR/AR应用416或合成器408以便控制渲染所显示的影像以提供眼睛112的当前焦点的区域中的改进的分辨率。作为另一示例，在一些实施例中，VR/AR应用416或者另一软件应用可以利用用户的注视方向作为用户输入。例如，HMD设备300可以提供基于眼睛的人机交互，并且因此眼睛跟踪模块412可以将当前注视方向提供到该应用作为用户界面输入；即，作为虚拟鼠标或者用于其它眼睛“手势”输入)。用于该眼睛跟踪信息的其它使用包括例如使用眼睛跟踪信息激活/去激活HMD设备300，用于生物测定信息(例如，用于经由眼球移动验证用户或者以其它方式经由眼睛跟踪标识用户)等。
图5图示了根据本公开的至少一个实施例的确定当前眼睛注视方向的合成图像的处理的两个示例。在第一示例中，根据上文所描述的过程捕获显示面板102和眼睛112的当前位置二者的合成图像502。眼睛跟踪模块412标识瞳孔504的当前位置，并且基于瞳孔504相对于由来自IR光源126-129的集合的IR光点516、517、518、519的图案提供并且由离开眼睛112的来自IR光源126-129的反射的IR光点520、521、522、523的图案所提供的坐标参考系的定向，眼睛跟踪模块412可以确定当前眼睛注视指向显示面板102的左下象限中的点524。
在第二示例中，根据上文所描述的过程捕获显示面板102和眼睛112的当前位置二者的合成图像532。眼睛跟踪模块412标识瞳孔504的当前位置，并且基于瞳孔504相对于由来自IR光源126-129的集合的IR光点546、547、548、549的图案所提供并且由离开眼睛112的来自IR光源126-129的反射的IR光点550、551、552、553的图案所提供的坐标参考系的定向，眼睛跟踪模块412可以确定当前眼睛注视指向显示面板102的右上象限中的点554。
可以使用各种眼睛跟踪算法中的任一个来从合成图像532跟踪眼睛112的当前注视方向，鉴于由合成图像中的光源提供的坐标参考系具有适当的修改。为了图示，在单个眼睛跟踪相机实施方式中，IR光源可以充当点源，并且基于其相对强度，可以确定到眼睛112的距离。进一步地，基于来自由IR光源所表示的许多点源的三角测量(使用距离)，可以构建眼睛112的3D模型，并且从该3D模型，可以确定光轴以及因此确定注视方向。在双眼睛跟踪实施方式中，可以经由通过使用两个相机所提供的视差现象构建眼睛112的3D模型。进一步地，该方法通常对环境光不敏感，并且因此可以使用可见光来代替上文所描述的IR光源来照射眼睛112。
上文所描述的许多发明功能性和许多发明原理非常适合于关于诸如专用IC(ASIC)的集成电路(IC)或在集成电路(IC)中的实施方式。应预期到，不管可能付出巨大努力和通过例如可用时间、当前技术和经济性考虑激励的许多设计选择，本领域的普通技术人员当由本文所公开的概念和原理引导时将容易地能够在最小实验的情况下生成这样的IC。因此，为了使混淆本公开的原理和概念的任何风险的简洁和最小化，这样的软件和IC的进一步的讨论(如果有的话)将限于关于优选的实施例内的原理和概念的实质。
在一些实施例中，上文所描述的技术的某些方面可以由执行软件的处理系统的一个或多个处理器实现。软件包括被存储或者以其它方式有形地实现在非暂时性计算机可读存储介质上的一个或多个可执行指令集。软件能够包括指令和某些数据，其当由一个或多个处理器执行时，操纵一个或多个处理器来执行上文所描述的技术的一个或多个方面。非暂时性计算机可读存储介质能够包括例如磁性或者光盘存储设备、固态存储设备诸如闪速存储器、高速缓存、随机存取存储器(RAM)或者其它(一个或多个)非易失性存储器设备等。被存储在非暂时性计算机可读存储介质上的可执行指令可以以源代码、汇编语言代码、目标代码或由一个或多个处理器解译或者以其它方式可执行的其它指令格式。
在本文档中，诸如第一和第二的关系项可以仅用于将一个实体或动作与另一实体或动作区分而不必要求或隐含这样的实体或动作之间的任何实际的这样的关系或次序。术语“包括(comprises)”、“包括(comprising)”或其任何其它变型旨在覆盖非专有的包括，使得包括元件的列表的过程、方法、制品或装置不仅包括那些元件而且可以包括未明确列出或对于这样的过程、方法、制品或装置固有的其它元件。在没有更多约束的情况下，前面有“包括……”的元件不排除包括该元件的过程、方法、制品或装置中的附加的相同元件的存在。如本文所使用的，术语“另一个”被定义为至少第二或更多。如本文所使用的，术语“包括(including)”和/或“具有(having)”被定义为包括(comprising)。参考电光技术如本文所使用的，术语“耦合的(coupled)”被定义为连接的，但是不必直接地并且不必机械地。如本文所使用的，术语“程序”被定义为针对计算机系统上的执行设计的指令的序列。“应用”或“软件”可以包括子例程、函数、流程、对象方法、对象实现、可执行应用、小应用程序、小服务程序、源代码、目标代码、共享库/动态加载库和/或被设计用于在计算机系统上执行的指令的任何序列。
说明书和附图仅应该被认为是示例，并且因此本公开的范围旨在仅由以下权利要求和其等同物限制。注意，并非要求在一般描述中上文所描述的所有活动或元件，可以不要求特定活动或设备的一部分，并且除所描述的那些之外，可以执行一个或多个其它活动或所包括的元件。更进一步地，活动被列出的次序不必是其被执行的次序。除非另外指定，否则上文所描绘的流程图的步骤可以以任何次序，并且取决于实施方式，可以消除、重复和/或添加步骤。而且，已经参考特定实施例描述了概念。然而，本领域的普通技术人员将理解到，能够做出各种修改和改变而不脱离如下面权利要求中阐述的本公开的范围。因此，说明书和附图将以说明性而不是限制性意义理解，并且所有这样的修改旨在被包括在本公开的范围内。
上文关于特定实施例已经描述益处、其它优点和技术方案。然而，可以使得任何益处、优点或者技术方案发生或者变得更显著的益处、优点、技术方案将不被解释为任何或全部权利要求的关键、要求或者基本特征。

Claims (16)

1.一种头戴式显示器HMD设备(100、300)，包括：
显示面板(102、308、310)，所述显示面板用于显示影像；
x棱镜分束器(104)，所述x棱镜分束器沿着在所述显示面板与用户的眼睛(112)的期望位置之间的第一轴(202)布置，所述x棱镜分束器用于沿着所述第一轴在从所述显示面板到所述眼睛的第一方向上发射由所述显示面板发射的第一光束(212)，沿着基本上垂直于所述第一轴的第二轴(208)在第二方向上反射第二光束(216)，并且沿着所述第二轴在所述第二方向上反射第三光束(222)，其中所反射的第二光束是所述第一光束的波束分割并且所反射的第三光束是离开所述眼睛的所述第一光束的反射的波束分割；以及
成像相机(106)，所述成像相机具有与所述第二轴对准的光轴，所述成像相机用于捕获所述显示面板和所述眼睛的合成图像(232)，所述合成图像包括所述第二光束和所述第三光束二者的组合。
2.根据权利要求1所述的HMD设备，还包括：
一个或多个红外IR光源(126、127、128、129)的集合，所述一个或多个IR光源的集合被实现在与所述显示面板的固定位置关系中；以及
其中，所述第一光束包括由所述一个或多个IR光源的集合发射的IR光。
3.根据权利要求2所述的HMD设备，其中：
所述成像相机包括具有全局快门的IR相机；以及
其中，所述一个或多个IR光源的集合基于所述全局快门的垂直同步信号来触发。
4.根据权利要求2所述的HMD设备，还包括：
眼睛跟踪模块(412)，所述眼睛跟踪模块用于基于所述合成图像来确定所述眼睛的位置、所述眼睛的定向或者所述眼睛的注视方向中的至少一个。
5.根据权利要求4所述的HMD设备，其中：
所述眼睛跟踪模块用于基于使用存在于所述合成图像中的来自所述一个或多个IR光源的集合的所述IR光作为参考坐标系来确定所述眼睛的位置、所述眼睛的定向或者所述眼睛的注视方向中的至少一个。
6.根据权利要求2所述的HMD设备，其中：
所述x棱镜分束器包括：
第一部分反射面(114)，所述第一部分反射面被布置在相对于所述第一轴的第一角处；
第二部分反射面(115)，所述第二部分反射面被布置在相对于所述第一轴的第二角处，所述第二角基本上垂直于所述第一角；以及
其中，所述第一部分反射面部分地反射可见光和IR光二者，并且所述第二部分反射面部分地反射IR光并且对于可见光而言基本上是透明的。
7.根据权利要求2所述的HMD设备，其中：
所述一个或多个IR光源的集合包括一个或多个垂直腔面发射激光器的集合。
8.根据权利要求1所述的HMD设备，还包括：
眼睛跟踪模块(412)，所述眼睛跟踪模块用于基于所述合成图像来确定所述眼睛的位置、所述眼睛的定向或者所述眼睛的注视方向中的至少一个。
9.根据权利要求8所述的HMD设备，其中：
基于所确定的所述眼睛的位置、所述眼睛的定向或者所述眼睛的注视方向来控制所述HMD设备的至少一个部件(404、408)。
10.一种在头戴式显示器HMD设备(100、300)中的方法，包括：
通过x棱镜分束器(104)沿着第一轴(202)将由显示面板(102、308、310)发射的第一光束(212)从所述显示面板发射到用户的眼睛(112)；
沿着基本上垂直于所述第一轴的第二轴(208)将第二光束(216)从所述x棱镜分束器反射到成像相机(106)，其中所反射的第二光束是所述第一光束的波束分割；
沿着所述第二轴将第三光束(222)从所述x棱镜分束器反射到所述成像相机，其中所反射的第三光束是离开所述用户的所述眼睛的所述第一光束的反射的波束分割；以及
在所述成像相机处捕获所述显示面板和所述眼睛的合成图像(232)，所述合成图像包括所述第二光束和所述第三光束二者的组合。
11.根据权利要求10所述的方法，其中：
所述第一光束包括由被实现在与所述显示面板的固定位置关系中的一个或多个IR光源(126、127、128、129)的集合发射的IR光。
12.根据权利要求11所述的方法，还包括：
基于所述成像相机的全局快门的垂直同步信号，触发所述一个或多个IR光源的集合。
13.根据权利要求11所述的方法，还包括：
在所述HMD设备的处理模块(412)处，基于所述合成图像，确定所述眼睛的位置、所述眼睛的定向或者所述眼睛的注视方向中的至少一个。
14.根据权利要求13所述的方法，其中：
确定所述眼睛的位置、所述眼睛的定向或者所述眼睛的注视方向中的至少一个包括使用存在于所述合成图像中的来自所述一个或多个IR光源的集合的所述IR光作为参考坐标系。
15.根据权利要求11所述的方法，还包括：
在所述HMD设备的处理模块(412)处，基于所述合成图像来确定所述眼睛的位置、所述眼睛的定向或者所述眼睛的注视方向中的至少一个。
16.根据权利要求15所述的方法，还包括：
基于所确定的所述眼睛的位置、所述眼睛的定向或者所述眼睛的注视方向，控制所述HMD设备的至少一个部件(404、408)的操作。
CN201680048501.4A 2015-11-25 2016-11-18 基于棱镜的眼睛跟踪 Active CN108885341B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562259761P 2015-11-25 2015-11-25
US62/259,761 2015-11-25
PCT/US2016/062896 WO2017091477A1 (en) 2015-11-25 2016-11-18 Prism-based eye tracking

Publications (2)

Publication Number Publication Date
CN108885341A CN108885341A (zh) 2018-11-23
CN108885341B true CN108885341B (zh) 2021-03-09

Family

ID=57472110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680048501.4A Active CN108885341B (zh) 2015-11-25 2016-11-18 基于棱镜的眼睛跟踪

Country Status (10)

Country Link
US (1) US10303940B2 (zh)
EP (1) EP3380883B1 (zh)
JP (1) JP6494863B2 (zh)
KR (1) KR102078059B1 (zh)
CN (1) CN108885341B (zh)
AU (1) AU2016359149B2 (zh)
CA (1) CA2995746C (zh)
DE (1) DE112016005395T5 (zh)
GB (1) GB2556588A (zh)
WO (1) WO2017091477A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445573B2 (en) 2014-06-27 2019-10-15 Fove, Inc. Gaze detection device
US9885887B2 (en) * 2015-04-22 2018-02-06 Kurt Matthew Gardner Method of determining eyeglass frame measurements from an image by executing computer-executable instructions stored on a non-transitory computer-readable medium
EP3272277A1 (en) * 2016-07-19 2018-01-24 Stichting IMEC Nederland A method and a system for eye tracking
CN105954992B (zh) * 2016-07-22 2018-10-30 京东方科技集团股份有限公司 显示系统和显示方法
US20180165537A1 (en) * 2016-12-12 2018-06-14 Princeton Identity, Inc. Systems And Methods Of Biometric Analysis
US10485420B2 (en) * 2017-02-17 2019-11-26 Analog Devices Global Unlimited Company Eye gaze tracking
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10585291B2 (en) * 2017-04-28 2020-03-10 Yonatan Gerlitz Eye safety system for lasers
US10420467B2 (en) * 2017-09-05 2019-09-24 eyeBrain Medical, Inc. Method and system for measuring binocular alignment
US10627627B2 (en) 2017-10-02 2020-04-21 Google Llc Eye tracking using light guide with faceted combiner
IL275047B2 (en) 2017-12-19 2024-04-01 Ericsson Telefon Ab L M Install a complex display in mind
US10845594B1 (en) * 2017-12-21 2020-11-24 Facebook Technologies, Llc Prism based light redirection system for eye tracking systems
US10788892B2 (en) 2018-05-23 2020-09-29 Facebook Technologies, Llc In-field illumination and imaging for eye tracking
US11455031B1 (en) 2018-06-04 2022-09-27 Meta Platforms Technologies, Llc In-field illumination for eye tracking
US11327561B1 (en) 2018-09-27 2022-05-10 Apple Inc. Display system
CN113631986A (zh) * 2018-12-10 2021-11-09 脸谱科技有限责任公司 用于超焦视口（hvp）显示器的自适应视口
US11650426B2 (en) 2019-05-09 2023-05-16 Meta Platforms Technologies, Llc Holographic optical elements for eye-tracking illumination
KR102582407B1 (ko) * 2019-07-28 2023-09-26 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
WO2021040096A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 머리에 착용할 수 있는 전자 디바이스
US11438991B2 (en) 2020-01-21 2022-09-06 Brightlogic, Inc. Light emitting diode package and electronic display
JP7500217B2 (ja) 2020-02-19 2024-06-17 キヤノン株式会社 電子機器
JP7387493B2 (ja) * 2020-03-06 2023-11-28 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
CN111700586B (zh) * 2020-07-01 2023-09-29 业成科技（成都）有限公司 眼动追踪装置及应用其的电子装置
CN113947652A (zh) * 2020-07-15 2022-01-18 北京芯海视界三维科技有限公司 实现目标物体定位的方法、装置及显示器件
US12023106B2 (en) 2020-10-12 2024-07-02 Johnson & Johnson Surgical Vision, Inc. Virtual reality 3D eye-inspection by combining images from position-tracked optical visualization modalities
US12045957B2 (en) * 2020-10-21 2024-07-23 Johnson & Johnson Surgical Vision, Inc. Visualizing an organ using multiple imaging modalities combined and displayed in virtual reality
KR20220111575A (ko) * 2021-02-02 2022-08-09 삼성전자주식회사 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
EP4083567B1 (en) * 2021-04-30 2024-06-12 TRUMPF Photonic Components GmbH Laser sensor, system and method for self-mixing interferometry
US12019240B2 (en) 2021-08-06 2024-06-25 Hong Kong Applied Science and Technology Research Institute Company Limited Imaging apparatus integrated with display for head-mounted display
CN113795783B (zh) * 2021-08-06 2024-02-06 香港应用科技研究院有限公司 用于头戴式显示器的与显示器集成的成像设备
KR20230174355A (ko) * 2022-06-20 2023-12-28 삼성디스플레이 주식회사 표시 장치 및 그 제어방법
EP4361704A1 (en) * 2022-10-27 2024-05-01 Pupil Labs GmbH Eye tracking module and head-wearable device
JP7408202B1 (ja) 2023-07-10 2024-01-05 株式会社近藤研究所 頭部装着型視認装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7262919B1 (en) * 1994-06-13 2007-08-28 Canon Kabushiki Kaisha Head-up display device with curved optical surface having total reflection
JP3847799B2 (ja) * 1994-08-05 2006-11-22 キヤノン株式会社 視線検出系を有した表示装置
JP2001117046A (ja) * 1999-10-22 2001-04-27 Shimadzu Corp 視線検出機能付ヘッドマウントディスプレイシステム
JP2001186442A (ja) * 1999-12-27 2001-07-06 Minolta Co Ltd 映像表示装置
JP2005025613A (ja) 2003-07-04 2005-01-27 Alps Electric Co Ltd 信号処理回路モジュール
US7542209B2 (en) * 2004-09-01 2009-06-02 Optical Research Associates Compact head mounted display devices with tilted/decentered lens element
ITPD20050137A1 (it) 2005-05-17 2006-11-18 Lino Manfrotto & Co Spa Supporto miniaturizzato per atttrezzature fotografiche quali video e fotocamere
TWI321946B (en) * 2006-07-24 2010-03-11 Young Optics Inc Camera module
US8604586B2 (en) * 2009-08-06 2013-12-10 Qualcomm Incorporated High breakdown voltage embedded MIM capacitor structure
TWI461824B (zh) * 2010-06-29 2014-11-21 Hon Hai Prec Ind Co Ltd 立體取像裝置
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
KR101931406B1 (ko) 2012-01-24 2018-12-20 더 아리조나 보드 오브 리전츠 온 비핼프 오브 더 유니버시티 오브 아리조나 컴팩트한 시선추적 기능의 헤드 탑재형 디스플레이
TWI468147B (zh) * 2012-03-21 2015-01-11 Optomed Oy 檢查儀器
US10477194B2 (en) * 2012-04-25 2019-11-12 3M Innovative Properties Company Two imager projection device
US9625723B2 (en) 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
JP6124717B2 (ja) * 2013-07-16 2017-05-10 オリンパス株式会社 撮像素子、焦点検出装置
US10345903B2 (en) * 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
TWI505260B (zh) * 2013-07-30 2015-10-21 Univ Nat Chiao Tung 頭戴式人眼追蹤系統
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
US9360935B2 (en) * 2013-12-20 2016-06-07 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Integrated bi-sensing optical structure for head mounted display
US10432922B2 (en) * 2014-03-19 2019-10-01 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking for stereo viewer
CN104656286B (zh) * 2014-10-27 2017-10-27 徐州旭海光电科技有限公司 微型同波长单芯双向光收发模块
US20160150219A1 (en) * 2014-11-20 2016-05-26 Mantisvision Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation
AU2015367226B2 (en) * 2014-12-18 2021-06-03 Fugro Advance Pty Ltd. Imaging system
EP3264738B1 (en) * 2015-02-23 2019-09-25 Sony Corporation Information processing apparatus, information processing method, and program
DE102015103735A1 (de) * 2015-03-13 2016-09-15 Airbus Defence and Space GmbH Verfahren und Vorrichtung zum Testen eines in einem Luftfahrzeug zu bedienenden Geräts
WO2016157485A1 (ja) * 2015-04-01 2016-10-06 フォーブ インコーポレーテッド ヘッドマウントディスプレイ
KR102421649B1 (ko) * 2015-06-30 2022-07-18 엘지전자 주식회사 의류처리장치
US10234686B2 (en) * 2015-11-16 2019-03-19 Microsoft Technology Licensing, Llc Rainbow removal in near-eye display using polarization-sensitive grating
US9984507B2 (en) * 2015-11-19 2018-05-29 Oculus Vr, Llc Eye tracking for mitigating vergence and accommodation conflicts

Also Published As

Publication number Publication date
EP3380883A1 (en) 2018-10-03
EP3380883B1 (en) 2020-10-28
CA2995746C (en) 2020-06-30
CN108885341A (zh) 2018-11-23
US20170147859A1 (en) 2017-05-25
GB2556588A (en) 2018-05-30
AU2016359149A1 (en) 2018-03-08
KR20180033222A (ko) 2018-04-02
DE112016005395T5 (de) 2018-08-02
GB201802305D0 (en) 2018-03-28
US10303940B2 (en) 2019-05-28
KR102078059B1 (ko) 2020-02-17
AU2016359149B2 (en) 2018-08-23
WO2017091477A1 (en) 2017-06-01
JP6494863B2 (ja) 2019-04-03
CA2995746A1 (en) 2017-06-01
JP2018536883A (ja) 2018-12-13

Similar Documents

Publication Publication Date Title
CN108885341B (zh) 基于棱镜的眼睛跟踪
US10877556B2 (en) Eye tracking system
US11360557B2 (en) Eye tracking system
CN110651236B (zh) 经由眼睛跟踪扩大有效眼动范围的近眼显示器
US10963103B1 (en) Display system with integrated depth detection
JP2017102768A (ja) 情報処理装置、表示装置、情報処理方法、及び、プログラム
US20240053823A1 (en) Eye Tracking System
US10481739B2 (en) Optical steering of component wavelengths of a multi-wavelength beam to enable interactivity
US20230341752A1 (en) External recording indicators
US11536969B2 (en) Scene camera
US20200333592A1 (en) Active control of in-field light sources of a head mounted display
US11327561B1 (en) Display system
JP7572434B2 (ja) アイトラッキング眼底撮像システム
US11867900B2 (en) Bright pupil eye-tracking system
US20240192493A1 (en) Pupil-steering for three-dimensional (3d) resolution enhancement in single photon avalanche diode (spad) eye tracking (et)
US20240210677A1 (en) Ultrafast illumination for structured light based eye tracking
US20230115411A1 (en) Smart eyeglasses

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant