CN111700586A - 眼动追踪装置及应用其的电子装置 - Google Patents

眼动追踪装置及应用其的电子装置 Download PDF

Info

Publication number
CN111700586A
CN111700586A CN202010619879.3A CN202010619879A CN111700586A CN 111700586 A CN111700586 A CN 111700586A CN 202010619879 A CN202010619879 A CN 202010619879A CN 111700586 A CN111700586 A CN 111700586A
Authority
CN
China
Prior art keywords
infrared light
tracking device
eye tracking
wavelength
light emitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010619879.3A
Other languages
English (en)
Other versions
CN111700586B (zh
Inventor
王世育
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
General Interface Solution Ltd
Original Assignee
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
General Interface Solution Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interface Optoelectronics Shenzhen Co Ltd, Interface Technology Chengdu Co Ltd, General Interface Solution Ltd filed Critical Interface Optoelectronics Shenzhen Co Ltd
Priority to CN202010619879.3A priority Critical patent/CN111700586B/zh
Priority to TW109123114A priority patent/TW202202977A/zh
Publication of CN111700586A publication Critical patent/CN111700586A/zh
Application granted granted Critical
Publication of CN111700586B publication Critical patent/CN111700586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)
  • Studio Devices (AREA)

Abstract

一种眼动追踪装置，包括：红外发光元件，所述红外发光元件用以向眼球发射红外光，其具有一出光侧；以及图像采集元件，所述图像采集元件设置在所述红外发光元件与所述出光侧相对的一侧，且用以接收所述眼球反射回来的红外光进行红外成像，所述红外发光元件位于所述图像采集元件的周缘部。本发明还提供应用上述眼动追踪装置的电子装置。通过将图像采集元件与红外发光元件共平面设置，利于提升眼睛的瞳孔和水晶体反射的光点的清晰度，从而提升眼动追踪的精确度。

Description

眼动追踪装置及应用其的电子装置
技术领域
本发明涉及一种眼动追踪装置及应用该眼动追踪装置的电子装置。
背景技术
眼睛是人类从周围世界中获取信息的重要器官，通过准确测量一个人的注视点，可以作为研究人类心理活动并提取心理意识提供重要依据，可以用注视点代替鼠标或者触摸操作，实现利用注视点进行人机交互。眼动追踪是一项科学应用技术，当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，可以通过图像捕捉或扫描提取眼部的这些变化特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应达到用眼睛控制设备的目的，例如用户通过眼球运动而无需触摸屏幕即可翻动页面；或通过眼球运动控制视频播放，只要用户转移视线，视频播放器会自动暂停，直至视线重回屏幕等等。
发明内容
鉴于此，有必要提供一种眼动追踪装置，包括：
红外发光元件，所述红外发光元件用以向眼球发射红外光，其具有一出光侧；以及
图像采集元件，所述图像采集元件设置在所述红外发光元件与所述出光侧相对的一侧，且用以接收所述眼球反射回来的红外光进行红外成像，所述红外发光元件位于所述图像采集元件的周缘部。
本发明还提供应用上述眼动追踪装置的电子装置。
本发明实施例通过将图像采集元件与红外发光元件共平面设置，利于提升眼睛的瞳孔和水晶体反射的光点的清晰度，从而提升眼动追踪的精确度。
附图说明
图1是本发明实施例的眼动追踪装置的剖面示意图。
图2是第一实施例的微型LED的排布示意图。
图3是第二实施例的微型LED的排布示意图。
图4是第三实施例的微型LED的排布示意图。
图5是眼动追踪装置的影像处理流程。
主要元件符号说明
眼动追踪装置 100
红外发光元件 30
图像采集元件 50
微型LED 31
遮罩 51
图像传感器 53
过滤层 52
通孔 511
感光面 531
电路板 55
具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
附图中示出了本发明的实施例，本发明可以通过多种不同形式实现，而并不应解释为仅局限于这里所阐述的实施例。相反，提供这些实施例是为了使本发明更为全面和完整的公开，并使本领域的技术人员更充分地了解本发明的范围。为了清晰可见，在图中，层和区域的尺寸被放大了。
除非另外定义，这里所使用的所有术语(包括技术和科学术语)具有与本发明所述领域的普通技术人员所通常理解的含义相同的含义。还应当理解，比如在通用的辞典中所定义的那些的术语，应解释为具有与它们在相关领域的环境中的含义相一致的含义，而不应以过度理想化或过度正式的含义来解释，除非在本文中明确地定义。
请参阅图1，本发明较佳实施例的眼动追踪装置100，其包括红外发光元件30和图像采集元件50。
红外发光元件30用以向用户的眼球发射红外光。红外发光元件30具有一出光侧。本发明中红外发光元件30发射的红外光为近红外光。本实施例中，红外发光元件30发射波长为850nm和940nm的红外光。人类的眼睛通常/不能轻易看到近红外光，因此向用户的眼睛发射红外光不会分散用户的注意力。
图像采集元件50设置在所述红外发光元件30与所述出光侧相对的一侧。红外发光元件30位于所述图像采集元件50的周缘部。如此图像采集元件50与红外发光元件30共平面设置。所述图像采集元件50用以接收并感测所述眼球反射回来的红外光从而成像。可依据反射的变化提取眼睛的注视方向或瞳孔的位置的变化。
请参阅图1，所述图像采集元件50包括相对且间隔设置的遮罩51和图像传感器53。一实施例中，遮罩51和图像传感器53的间距为0.2毫米。所述遮罩51开设有贯穿遮罩51且间隔设置的多个通孔511。遮罩51为不透光的，多个通孔511用以让从眼球反射回来的红外光线穿过。遮罩51的材质可为不透光的材料，或是遮罩51包括透明的基材(图未示)上以及附着在基材上的一层不透光的光阻层(图未示)。图像传感器53用以接收多个通孔511透过的红外光并进行成像。被眼球反射的光穿过多个通孔511进行针孔成像并被图像传感器53接收所述遮罩51中的多个通孔511相互间隔排布。一实施例中，所述多个通孔511排布为包含多行多列的矩阵。
图像传感器53可采用本领域现有的CMOS图像传感器。图像传感器53是利用光电器件的光电转换功能。图像传感器53具有一感光面531，感光面531接收反射回来的光线，感光面531分成多个成像单元(或称为像素)，并将成像单元的光信号转换成与光信号成相应比例关系且可用的电信号。本实施例中，感光面531朝向遮罩51。
如图1所示，所述图像传感器53远离所述遮罩51的一侧还设置有电路板55，所述电路板55与所述图像传感器53电性连接。所述图像传感器53用以将生成的图像数据传输给电路板55进行接下来的数据处理。例如电路板55上可设置或电性连接图像数据处理模块(图未示)，图像数据处理模块用以对图像数据进行算法等的处理。
本实施例中，如图1所示，所述图像传感器53朝向所述遮罩51的表面还设置有过滤层52。所述过滤层52用以降低环境光的干扰，用以过滤可见光和部分不相干的红外光。本实施例中，例如所述过滤层52用以滤除除波长为850nm和940nm以外的红外光。此过滤层52的设置能够满足所述眼动追踪装置100在虚拟现实(Virtual Reaity,VR)、增强现实(Augmented Reality,AR)、混合现实(Mixed Reality,MR)等户外环境的使用。
红外发光元件30包括用以发近红外光的多个微型(发光二极管)LED31。多个微型LED31可位于同一水平面。所述红外发光元件发射的红外光包括第一波长的红外光和第二波长的红外光，其中第一波长小于第二波长。一实施例中，第一波长为850nm；第二波长为940nm。每一个微型LED31发射波长为第一波长(850nm)的红外光或第二波长(940nm)的红外光。因眼睛的角膜曲率半径小于巩膜的曲率半径，本发明分区使用不同波长的红外光照射眼睛的角膜和巩膜。本实施例中，以红外光入射到角膜产生较弱的红外光反射，故需使用短波长850nm的红外光入射眼睛的角膜，而巩膜处的以长波长940nm的红外光入射侦测。
下面将介绍几种微型LED31的排布方式。如图2所示，所述图像采集元件50的俯视图大致为矩形，所述多个微型LED31设置正对所述图像采集元件50的四个角落。每一个角落处正对设置有至少一个微型LED31。可以理解的，图像采集元件50的形状不限于矩形，还可以为其他的各种形状，保证微型LED31的设置正对图像采集元件50的各个角落即可。可以理解的，可以根据数量设置一半数量的微型LED31发射波长为850nm的红外光，另一半数量的微型LED31发射波长为940nm的红外光。
如图3至图4所示，所述多个微型LED31间隔排布形成环绕所述遮罩51的多个通孔511的至少一圈。
如图3所示，所述多个微型LED31间隔排布成环绕所述多个通孔511的一圈，沿所述圈的延伸方向，每相邻的两个微型LED31一个发射波长为850nm的红外光，另一个发射波长为940nm的红外光。即，发射波长为850nm的红外光的微型LED31与射波长为940nm的红外光的微型LED31为依次交替排布。
所述多个微型LED31间隔排布成环绕所述多个通孔511的至少两圈。如图4所示，本实施例多个微型LED31排布为两圈。同一圈中的微型LED31发相同波长的红外光，不同圈中的微型LED31发不同波长的红外光。例如，最外围的圈中的微型LED31均发射波长为940nm的红外光，而与最外围的圈相邻且被最外围的圈环绕的圈中的微型LED31均发射波长为850nm的红外光。
相较于传统的基于摄像头的眼动仪始终使用红外LED照亮眼睛的整个区域，本发明的眼动追踪装置100使用微型LED31一次仅照亮眼睛的一个小区域(相当于激光光斑大小)。
此外，相较于传统的基于摄像头的眼动仪始终不间断地记录、存储和处理眼睛的高分辨率视频，而本发明的眼动追踪装置100仅使用低功率地图像采集元件50来检测红外光的漫反射即可达到同样地目的。
另外，相较于传统的基于摄像头的眼动仪需要进行大量计算的视频处理才能识别“闪烁”，如图5所示，本发明的眼动追踪装置100将各个小区域的影像收集后进行处理。例如影像重建(算法)，将眼球的各个小区域的影像收集后进行拼接，获得眼球的图像；对眼球图像进行处理；图像的运算，凝视点算法；以及图像数据的校正等。
一种应用上述眼动追踪装置100的电子装置。所述电子装置可为穿戴式电子装置，例如穿戴式眼镜，眼动追踪装置100可设置在鼻垫或眼镜框上等不影响视区。所述电子装置可通过眼动追踪装置100实现非接触控制。
本发明实施例通过将图像采集元件50与红外发光元件30共平面设置以及采用两种不同波长的红外光，利于提升眼睛的瞳孔和水晶体反射的光点的清晰度，从而提升眼动追踪的精确度；此外还搭配红外发光元件30的微型LED31特殊的排列方式；具有简化算法和提高帧率(每秒显示的图像数目)之省电功效。
以上实施例仅用以说明本发明的技术方案而非限制，图示中出现的上、下、左及右方向仅为了方便理解，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (11)

1.一种眼动追踪装置，其特征在于：其包括：
红外发光元件，所述红外发光元件用以向眼球发射红外光，其具有一出光侧；以及
图像采集元件，所述图像采集元件设置在所述红外发光元件与所述出光侧相对的一侧，且用以接收所述眼球反射回来的红外光进行红外成像，所述红外发光元件位于所述图像采集元件的周缘部。
2.如权利要求1所述的眼动追踪装置，其特征在于，所述图像采集元件包括相对且间隔设置的遮罩和图像传感器，所述遮罩开设有间隔设置的多个通孔以让光线穿过达到所述图像传感器。
3.如权利要求1所述的眼动追踪装置，其特征在于，所述图像传感器朝向所述遮罩的表面还设置有过滤层，所述过滤层用以过滤可见光和部分不相干的红外光。
4.如权利要求2所述的眼动追踪装置，其特征在于，所述红外发光元件包括发射红外光的多个微型发光二极管。
5.如权利要求4所述的眼动追踪装置，其特征在于，所述多个微型发光二极管设置正对所述图像采集元件的各个角落。
6.如权利要求4所述的眼动追踪装置，其特征在于，所述红外发光元件发射的红外光包括第一波长的红外光和第二波长的红外光，其中所述第一波长小于所述第二波长。
7.如权利要求6所述的眼动追踪装置，其特征在于，所述第一波长为850nm；所述第二波长为940nm；波长为850nm的红外光用以入射到眼睛的角膜，波长为940nm的红外光用以入射到眼睛的巩膜。
8.如权利要求7所述的眼动追踪装置，其特征在于，所述多个微型发光二极管间隔排布形成环绕所述多个通孔的至少一圈。
9.如权利要求8所述的眼动追踪装置，其特征在于，所述多个微型发光二极管间隔排布成环绕所述多个通孔的一圈，每相邻的两个微型发光二极管分别发射波长为850nm和940nm的红外光。
10.如权利要求8所述的眼动追踪装置，其特征在于，所述多个微型发光二极管间隔排布成环绕所述多个通孔的至少两圈，同一圈中的微型发光二极管发相同波长的红外光，不同圈中的微型LED发不同波长的红外光。
11.一种应用权利要求1-10中任意一项所述眼动追踪装置的电子装置。
CN202010619879.3A 2020-07-01 2020-07-01 眼动追踪装置及应用其的电子装置 Active CN111700586B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010619879.3A CN111700586B (zh) 2020-07-01 2020-07-01 眼动追踪装置及应用其的电子装置
TW109123114A TW202202977A (zh) 2020-07-01 2020-07-08 眼動追蹤裝置及應用其的電子裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010619879.3A CN111700586B (zh) 2020-07-01 2020-07-01 眼动追踪装置及应用其的电子装置

Publications (2)

Publication Number Publication Date
CN111700586A true CN111700586A (zh) 2020-09-25
CN111700586B CN111700586B (zh) 2023-09-29

Family

ID=72544163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010619879.3A Active CN111700586B (zh) 2020-07-01 2020-07-01 眼动追踪装置及应用其的电子装置

Country Status (2)

Country Link
CN (1) CN111700586B (zh)
TW (1) TW202202977A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116473507A (zh) * 2023-06-21 2023-07-25 季华实验室 眼动追踪结构

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3821738A (en) * 1972-07-31 1974-06-28 Westinghouse Electric Corp Antenna positioning system and method
JPH01268537A (ja) * 1988-04-19 1989-10-26 Takei Kiki Kogyo Kk 視覚情報分析装置
JPH10179521A (ja) * 1996-12-26 1998-07-07 Canon Inc 視線／接眼検出方法及び装置並びに記憶媒体
JP2001212085A (ja) * 2001-01-11 2001-08-07 Yagi Toshiaki 撮像装置
US20020051116A1 (en) * 1998-11-06 2002-05-02 Van Saarloos Paul Phillip Eye tracker for refractive surgery
JP2005261728A (ja) * 2004-03-19 2005-09-29 Fuji Xerox Co Ltd 視線方向認識装置及び視線方向認識プログラム
CN1725976A (zh) * 2002-11-21 2006-01-25 托比伊科技公司 用于检测和跟踪眼睛及其注视方向的方法和装置
EP1840627A2 (de) * 2000-10-07 2007-10-03 David Dickerson Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
JP2009178502A (ja) * 2008-02-01 2009-08-13 Topcon Corp 眼科測定装置
JP4588218B2 (ja) * 1998-11-06 2010-11-24 アントニオ ルイズ ルイス 老眼矯正装置
US20100328444A1 (en) * 2009-04-01 2010-12-30 Tobii Technology Ab Adaptive camera and illuminator eyetracker
CN105361851A (zh) * 2014-08-29 2016-03-02 阿尔卑斯电气株式会社 视线检测装置
JP2016093253A (ja) * 2014-11-12 2016-05-26 国立大学法人静岡大学 瞳孔検出用光源装置の制御方法
CN205594581U (zh) * 2016-04-06 2016-09-21 北京七鑫易维信息技术有限公司 视频眼镜的眼球追踪模组
CN106062665A (zh) * 2013-09-11 2016-10-26 深圳市汇顶科技股份有限公司 基于用户的眼睛运动和位置的光学感测和跟踪的用户界面
CN106548115A (zh) * 2015-09-18 2017-03-29 比亚迪股份有限公司 摄像头组件及具有其的移动设备
US20170147859A1 (en) * 2015-11-25 2017-05-25 Google Inc. Prism-based eye tracking
CN109683656A (zh) * 2019-01-08 2019-04-26 业成科技（成都）有限公司 触控旋钮装置
CN111259769A (zh) * 2020-01-13 2020-06-09 业成科技（成都）有限公司 静脉识别装置

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3821738A (en) * 1972-07-31 1974-06-28 Westinghouse Electric Corp Antenna positioning system and method
JPH01268537A (ja) * 1988-04-19 1989-10-26 Takei Kiki Kogyo Kk 視覚情報分析装置
JPH10179521A (ja) * 1996-12-26 1998-07-07 Canon Inc 視線／接眼検出方法及び装置並びに記憶媒体
JP4588218B2 (ja) * 1998-11-06 2010-11-24 アントニオ ルイズ ルイス 老眼矯正装置
US20020051116A1 (en) * 1998-11-06 2002-05-02 Van Saarloos Paul Phillip Eye tracker for refractive surgery
EP1840627A2 (de) * 2000-10-07 2007-10-03 David Dickerson Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
JP2001212085A (ja) * 2001-01-11 2001-08-07 Yagi Toshiaki 撮像装置
CN1725976A (zh) * 2002-11-21 2006-01-25 托比伊科技公司 用于检测和跟踪眼睛及其注视方向的方法和装置
US20060238707A1 (en) * 2002-11-21 2006-10-26 John Elvesjo Method and installation for detecting and following an eye and the gaze direction thereof
JP2005261728A (ja) * 2004-03-19 2005-09-29 Fuji Xerox Co Ltd 視線方向認識装置及び視線方向認識プログラム
JP2009178502A (ja) * 2008-02-01 2009-08-13 Topcon Corp 眼科測定装置
US20100328444A1 (en) * 2009-04-01 2010-12-30 Tobii Technology Ab Adaptive camera and illuminator eyetracker
CN106062665A (zh) * 2013-09-11 2016-10-26 深圳市汇顶科技股份有限公司 基于用户的眼睛运动和位置的光学感测和跟踪的用户界面
CN105361851A (zh) * 2014-08-29 2016-03-02 阿尔卑斯电气株式会社 视线检测装置
JP2016093253A (ja) * 2014-11-12 2016-05-26 国立大学法人静岡大学 瞳孔検出用光源装置の制御方法
CN106548115A (zh) * 2015-09-18 2017-03-29 比亚迪股份有限公司 摄像头组件及具有其的移动设备
US20170147859A1 (en) * 2015-11-25 2017-05-25 Google Inc. Prism-based eye tracking
CN205594581U (zh) * 2016-04-06 2016-09-21 北京七鑫易维信息技术有限公司 视频眼镜的眼球追踪模组
CN109683656A (zh) * 2019-01-08 2019-04-26 业成科技（成都）有限公司 触控旋钮装置
CN111259769A (zh) * 2020-01-13 2020-06-09 业成科技（成都）有限公司 静脉识别装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KRISTJANSDOTTIR, J等: "retinal oximetry with scanning laser ophthalmoscope", INVESTIGATIVE OPHTHALMOLOGY & VISUAL SCIENCE, vol. 54, no. 15 *
胡艳红;魏江;梅少辉;: "基于瞳孔角膜反射技术的视线估计方法", 计算机工程与应用, no. 14 *
赵新灿;左洪福;任勇军;: "眼动仪与视线跟踪技术综述", 计算机工程与应用, no. 12 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116473507A (zh) * 2023-06-21 2023-07-25 季华实验室 眼动追踪结构
CN116473507B (zh) * 2023-06-21 2023-09-12 季华实验室 眼动追踪结构

Also Published As

Publication number Publication date
TW202202977A (zh) 2022-01-16
CN111700586B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN106132284B (zh) 光学眼动追踪
US10416763B2 (en) Eye tracking and user reaction detection
US9405365B2 (en) Systems and methods for identifying gaze tracking scene reference locations
CN106062665B (zh) 基于用户的眼睛运动和位置的光学感测和跟踪的用户界面
CN108700932A (zh) 能够进行眼睛追踪的可穿戴设备
US11675429B2 (en) Calibration, customization, and improved user experience for bionic lenses
CN111700586B (zh) 眼动追踪装置及应用其的电子装置
CN111783660B (zh) 眼动追踪装置及应用其的电子装置
US11435583B1 (en) Electronic device with back-to-back displays
CN114252998B (zh) 近眼显示装置
TWI778364B (zh) 圖像採集裝置及電子設備
Hennessey Eye-gaze tracking with free head motion
CN115685616A (zh) 一种显示装置和眼动跟踪系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant