CN110426845B - 眼球追踪架构 - Google Patents

眼球追踪架构 Download PDF

Info

Publication number
CN110426845B
CN110426845B CN201910737436.1A CN201910737436A CN110426845B CN 110426845 B CN110426845 B CN 110426845B CN 201910737436 A CN201910737436 A CN 201910737436A CN 110426845 B CN110426845 B CN 110426845B
Authority
CN
China
Prior art keywords
display
eye
hot mirror
infrared
control circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910737436.1A
Other languages
English (en)
Other versions
CN110426845A (zh
Inventor
林柏青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
General Interface Solution Ltd
Original Assignee
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
General Interface Solution Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interface Optoelectronics Shenzhen Co Ltd, Interface Technology Chengdu Co Ltd, General Interface Solution Ltd filed Critical Interface Optoelectronics Shenzhen Co Ltd
Priority to CN201910737436.1A priority Critical patent/CN110426845B/zh
Priority to TW108128799A priority patent/TWI695997B/zh
Priority to US16/550,439 priority patent/US20210041943A1/en
Publication of CN110426845A publication Critical patent/CN110426845A/zh
Application granted granted Critical
Publication of CN110426845B publication Critical patent/CN110426845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48—Laser speckle optics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种眼球追踪架构，包括：一热镜、一红外线光源及一摄影机；其中，该热镜设于一头戴式显示装置内之显示器与一人眼之间；该摄影机设于该头戴式显示装置内之显示器一侧，与一控制电路连接，其撷取该热镜反射之红外线图案之影像，及撷取该人眼之眼睛影像，并将撷取之复合影像传予该控制电路，使该控制电路藉一视线映像函数进行补偿计算，而推算出视线落点于该显示器之位置，再控制该显示器反馈显示相对应之资讯，如此，通过红外光束之散斑投射到该热镜上，而非直接投射到眼球内，可避免红外线直接投射到眼球造成伤害。

Description

眼球追踪架构
技术领域
本发明系一种眼球追踪架构设计，尤指一种在该架构中加入一热镜(Hot Mirror)的设计，让红外光束之散斑投射到该热镜上，而非直接投射到眼球内，再藉由一摄影机(Camera)取像比对瞳孔与该热镜上的红外线图案(IR Pattern)进行眼球位置与追踪演算。
背景技术
按，眼球追踪技术主要由自医疗研发开始，经过技术累积以后，目前进入商业化应用阶段，陆续被应用于手机、计算机、汽车等不同设备上。随着AR/VR产业的发展，由眼球追踪，衍生的注视点渲染技术，降低CPU计算负载30％－70％。除了降低硬件成本之外，更有助于提高使用者的体验。
目前眼球追踪技术在硬件部分主要区分为侵入式与非侵入式。在非侵入式的架构下，主要又以下四种为主要方式，其1.依据头部位置和脸部变化推测移动，其2.眼球和眼球周边的特征变化进形追踪，其3.根据虹膜角度变化进形追踪，其4.主动式投射红外线光束到虹膜提取特征。
请参阅图1A、图1B所示，其中主动式投射红外线光束到虹膜提取特征之方式，系一光源11照在人的眼睛12上，通过瞳孔13和角膜14反射的光斑，做为瞳孔13判断基准，然后以一摄影机15取像辨识瞳孔13和角膜14，并记录下眼睛12移动轨迹，得到眼动数据。再进行图形处理和追踪算法，来计算出视线向量与时间。
目前也以主动式投射红外线光束提取特征的技术具有较佳的精准度，请参阅图2所示，但考虑到红外线光束会对眼睛内的虹膜21和水晶体22所吸收，容易让视网膜23灼伤，长期下来更有可能导致白内障，因此如何控制监控光源投射到眼球内的能量，并且在装置异常时如何藉由安全监控停止运作，一直是技术开发的重点。
由此可见，上述习用物品仍有诸多缺失，实非一良善之设计者，而亟待加以改良。
发明内容
有鉴于此，本案发明人本于多年从事相关产品之制造开发与设计经验，针对上述之目标，详加设计与审慎评估后，终得一确具实用性之本发明。
本发明之目的，在提供一种眼球追踪架构，系在该架构中加入一热镜(HotMirror)的设计，让红外光束之散斑投射到该热镜上，而非直接投射到眼球内，再藉由一摄影机(Camera)取像比对瞳孔与该热镜上的红外线图案(IR Pattern)进行眼球位置与追踪演算，如此不但可藉由主动式投射红外线光束提取特征提高精度，同时亦可以避免红外线直接投射到眼球造成伤害。
根据上述之目的，本发明之眼球追踪架构，其主要系包括有：一热镜(HotMirror)、一红外线光源及一摄影机；其中，该热镜设于一头戴式显示装置内之显示器与一人眼之间，其供反射红外线；该红外线光源设于该头戴式显示装置内之显示器一侧，与该头戴式显示装置之控制电路电性连接，该控制电路可控制该红外线光源，投射进行量测眼睛移动轨迹之红外线光斑至该热镜上，使该热镜反射红外线光斑形成一红外线图案(IRPattern)；该摄影机设于该头戴式显示装置内之显示器另一侧，与该控制电路电性连接，其系撷取该热镜反射之红外线图案之影像，以及撷取该人眼之眼睛影像，并将撷取之红外线图案影像及眼睛影像的复合影像传予该控制电路，使该控制电路藉由一视线映像函数进行补偿计算，而推算出视线落点于该显示器之位置，再控制该显示器反馈显示相对应之资讯，令能随着眼球移动之不同位置，操控该显示器产生不同之显示资讯；藉此，在该架构中加入一热镜的设计，让红外光束之散斑投射到该热镜上，而非直接投射到眼球内，如此不但可以避免红外线直接投射到眼球造成伤害，同时亦可藉由主动式投射红外线光束提取特征提高精度。
为便贵审查委员能对本发明之目的、形状、构造装置特征及其功效，做更进一步之认识与了解，兹举实施例配合图式，详细说明如下：
附图说明
图1A、图1B为主动式投射红外线光束到虹膜提取特征示意图。
图2为不同光源对于眼球穿透吸收示意图。
图3为本发明眼球追踪架构之架构示意图。
图4为本发明眼球追踪架构之截取影像运算流程示意图。
图5为本发明眼球追踪架构之截取影像运算流程方块图。
图6为本发明眼球追踪架构之另一架构示意图。
附图标记：
热镜 30
显示器 31
人眼 32
组合镜组 33
镀层 34
红外线光源 40
红外线光斑 41
红外线图案 42
摄影机 50
眼睛影像 51
复合影像 52
步骤 101
步骤 102
步骤 103
步骤 104
具体实施方式
本发明乃有关一种「眼球追踪架构」，请参阅图3、图4、图5所示，本发明之眼球追踪架构，其主要系包括有：一热镜(Hot Mirror)30、一红外线光源40及一摄影机50。
其中，该热镜30设于一头戴式显示装置内之显示器31与一人眼32之间，其供反射红外线。
该红外线光源40设于该头戴式显示装置内之显示器31一侧，与该头戴式显示装置之控制电路(图中未示)电性连接，该控制电路可控制该红外线光源40，投射进行量测眼睛移动轨迹之红外线光斑41至该热镜30上，使该热镜30反射红外线光斑41形成一红外线图案(IR Pattern)42。
该摄影机50设于该头戴式显示装置内之显示器31另一侧，与该控制电路电性连接，其系撷取该热镜30反射之红外线图案42之影像，以及撷取该人眼32之眼睛影像51，并将撷取之红外线图案42影像及眼睛影像51的复合影像52传予该控制电路，使该控制电路藉由一视线映像函数进行补偿计算，而推算出视线落点于该显示器31之位置，再控制该显示器31反馈显示相对应之资讯，令能随着眼球移动之不同位置，操控该显示器31产生不同之显示资讯。
藉上述构件之组成，通过在该架构中加入一热镜30的设计，让红外光束之散斑投射到该热镜30上，而非直接投射到眼球内，如此不但可以避免红外线直接投射到眼球造成伤害，同时亦可藉由主动式投射红外线光束提取特征提高精度。
复请参阅图4、图5所示，撷取影像运算流程，系依下列步骤进行处理：
步骤101：由该摄影机50同时撷取眼睛影像51与红外线图案42影像的复合影像52，并传予该控制电路。
步骤102：使该控制电路进行特征参数提取。
步骤103：该控制电路藉由一视线映像函数进行补偿计算，进行眼球追踪演算，以追踪眼球移动位置，计算视线落点于该显示器31位置。
步骤104：并即刻反馈需求资讯，令能随着眼球移动之不同位置，操控该显示器31产生不同之显示资讯。
复请参阅第图4所示，举例：眼球由移动a、藉由视线映像函数推算于该显示器31视线移动A，并反馈需求资讯或进行控制。
复请参阅图第3、图4、图5所示，该红外线图案(IR Pattern)42可为一栅状、一点状、一网状或为一复合图案(Pattern)，但不限于此。
复请参阅图3、图4、图5所示，该显示器31可为一透明显示器、一不透明显示器或一投射式显示器。
复请参阅图3、图4、图5所示，该显示器31可为一有机发光二极管(OLED)显示器、一液晶显示器(LCD)、或一微发光二极管显示器(Micro LED Display)，但不限于此。
复请参阅图3、图4、图5、图6所示，该热镜30与该人眼32之间可设有一增强显示效果之组合镜组33，比如修正光学路径、放大影像、补偿影像变形，但不限于此。该热镜30系结合于该增强显示效果之组合镜组33上，即该热镜30效果之镀层34整合于组合境组33中，不限定该热镜30功能与组合境组33的相对位置。
复请参阅图3、图4、图5所示，该头戴式显示装置可为一头戴式扩增实境(AR)显示设备或一头戴式虚拟现实(VR)显示设备。
综合上所述，本发明之眼球追踪架构，确实具有前所未有之创新构造，其既未见于任何刊物，且市面上亦未见有任何类似的产品，是以，其具有新颖性应无疑虑。另外，本发明所具有之独特特征以及功能远非习用所可比拟，所以其确实比习用更具有其进步性，而符合专利法有关发明专利之申请要件之规定，乃依法提起专利申请。
以上所述，仅为本发明最佳具体实施例，惟本发明之构造特征并不局限于此，任何熟悉该项技艺者在本发明领域内，可轻易思及之变化或修饰，皆可涵盖在以下本案之专利范围。

Claims (7)

1.一种眼球追踪架构，其特征在于，包括：
一热镜，该热镜设于一头戴式显示装置内之一显示器与一人眼之间，其供反射红外线；
一红外线光源，与该头戴式显示装置之控制电路电性连接，该控制电路可控制该红外线光源，投射进行量测眼睛移动轨迹之红外线光斑至该热镜上，使该热镜反射红外线光斑形成一红外线图案；及
一摄影机，与该控制电路电性连接，其系撷取该热镜反射之红外线图案之影像，以及撷取该人眼之眼睛影像，并将撷取之红外线图案影像及眼睛影像的复合影像传予该控制电路，使该控制电路藉由一视线映像函数进行补偿计算，而推算出视线落点于该显示器之位置，再控制该显示器反馈显示相对应之资讯，令能随着眼球移动之不同位置，操控该显示器产生不同之显示资讯；
其中，该红外线光源、该摄影机以及该显示器位于同一平面，且该红外线光源以及该摄影机分别位于该显示器轴线之相对两侧。
2.如权利要求1所述之眼球追踪架构，其中该红外线图案系为一栅状、一点状、一网状或为一复合图案。
3.如权利要求1所述之眼球追踪架构，其中该显示器系为一透明显示器、一不透明显示器或一投射式显示器。
4.如权利要求3所述之眼球追踪架构，其中该显示器系为一有机发光二极管显示器、一液晶显示器、或一微发光二极管显示器。
5.如权利要求1所述之眼球追踪架构，其中该热镜与该人眼之间系设有一增强显示效果之组合镜组。
6.如权利要求5所述之眼球追踪架构，其中该热镜系结合于该增强显示效果之组合镜组上。
7.如权利要求1所述之眼球追踪架构，其中该头戴式显示装置系为一头戴式扩增实境显示设备或一头戴式虚拟现实显示设备。
CN201910737436.1A 2019-08-09 2019-08-09 眼球追踪架构 Active CN110426845B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910737436.1A CN110426845B (zh) 2019-08-09 2019-08-09 眼球追踪架构
TW108128799A TWI695997B (zh) 2019-08-09 2019-08-13 眼球追蹤架構設計
US16/550,439 US20210041943A1 (en) 2019-08-09 2019-08-26 Eye tracking architecture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910737436.1A CN110426845B (zh) 2019-08-09 2019-08-09 眼球追踪架构

Publications (2)

Publication Number Publication Date
CN110426845A CN110426845A (zh) 2019-11-08
CN110426845B true CN110426845B (zh) 2021-03-23

Family

ID=68414021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910737436.1A Active CN110426845B (zh) 2019-08-09 2019-08-09 眼球追踪架构

Country Status (3)

Country Link
US (1) US20210041943A1 (zh)
CN (1) CN110426845B (zh)
TW (1) TWI695997B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111273441B (zh) * 2020-02-25 2022-04-22 业成科技（成都）有限公司 光学模组及电子设备
CN114326110A (zh) * 2020-09-30 2022-04-12 怡利电子工业股份有限公司 抬头显示装置及其操作方法
CN112946895B (zh) * 2021-02-02 2022-09-20 业成科技（成都）有限公司 头戴式显示装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718046A (zh) * 2014-12-23 2016-06-29 联发科技股份有限公司 用于眼部追踪的基于移动设备的头戴式显示器
CN106598260A (zh) * 2017-02-06 2017-04-26 上海青研科技有限公司 眼球追踪装置、采用该眼球追踪装置的vr设备和ar设备
CN106874895A (zh) * 2017-03-31 2017-06-20 北京七鑫易维信息技术有限公司 一种视线追踪装置及头戴式显示设备
CN107167246A (zh) * 2017-05-16 2017-09-15 上海欧忆能源科技有限公司 现场感知智能头盔、现场感知方法、装置及存储介质
CN207148436U (zh) * 2017-08-28 2018-03-27 潍坊歌尔电子有限公司 带有眼球追踪功能的vr一体机屏幕显示结构
CN108700932A (zh) * 2015-09-24 2018-10-23 托比股份公司 能够进行眼睛追踪的可穿戴设备
WO2019067731A1 (en) * 2017-09-28 2019-04-04 Zermatt Technologies Llc METHOD AND DEVICE FOR TRACKING THE EYE USING EVENT CAMERA DATA
CN109715047A (zh) * 2016-09-07 2019-05-03 威尔乌集团 用于眼动追踪应用的传感器融合系统和方法
CN109857253A (zh) * 2019-02-03 2019-06-07 北京七鑫易维信息技术有限公司 一种眼球追踪装置及方法
US10342425B1 (en) * 2018-03-28 2019-07-09 Tobii Ab Method and system for controlling illuminators

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017090203A1 (ja) * 2015-11-27 2017-06-01 フォーブ インコーポレーテッド 視線検出システム、注視点特定方法及び注視点特定プログラム
US10395111B2 (en) * 2016-12-01 2019-08-27 Varjo Technologies Oy Gaze-tracking system and method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718046A (zh) * 2014-12-23 2016-06-29 联发科技股份有限公司 用于眼部追踪的基于移动设备的头戴式显示器
CN108700932A (zh) * 2015-09-24 2018-10-23 托比股份公司 能够进行眼睛追踪的可穿戴设备
CN108700934A (zh) * 2015-09-24 2018-10-23 托比股份公司 能够进行眼睛追踪的可穿戴设备
CN109715047A (zh) * 2016-09-07 2019-05-03 威尔乌集团 用于眼动追踪应用的传感器融合系统和方法
CN106598260A (zh) * 2017-02-06 2017-04-26 上海青研科技有限公司 眼球追踪装置、采用该眼球追踪装置的vr设备和ar设备
CN106874895A (zh) * 2017-03-31 2017-06-20 北京七鑫易维信息技术有限公司 一种视线追踪装置及头戴式显示设备
CN107167246A (zh) * 2017-05-16 2017-09-15 上海欧忆能源科技有限公司 现场感知智能头盔、现场感知方法、装置及存储介质
CN207148436U (zh) * 2017-08-28 2018-03-27 潍坊歌尔电子有限公司 带有眼球追踪功能的vr一体机屏幕显示结构
WO2019067731A1 (en) * 2017-09-28 2019-04-04 Zermatt Technologies Llc METHOD AND DEVICE FOR TRACKING THE EYE USING EVENT CAMERA DATA
US10342425B1 (en) * 2018-03-28 2019-07-09 Tobii Ab Method and system for controlling illuminators
CN109857253A (zh) * 2019-02-03 2019-06-07 北京七鑫易维信息技术有限公司 一种眼球追踪装置及方法

Also Published As

Publication number Publication date
CN110426845A (zh) 2019-11-08
US20210041943A1 (en) 2021-02-11
TW202107151A (zh) 2021-02-16
TWI695997B (zh) 2020-06-11

Similar Documents

Publication Publication Date Title
US10606072B2 (en) Systems, devices, and methods for laser eye tracking
US10395111B2 (en) Gaze-tracking system and method
US9536354B2 (en) Object outlining to initiate a visual search
CN110426845B (zh) 眼球追踪架构
DK179537B1 (en) Tin traces and eye tracking methods
US9285872B1 (en) Using head gesture and eye position to wake a head mounted device
US10437882B2 (en) Object occlusion to initiate a visual search
JP2017102768A (ja) 情報処理装置、表示装置、情報処理方法、及び、プログラム
US11972042B2 (en) Variable intensity distributions for gaze detection assembly
US20210263307A1 (en) Multi-perspective eye acquisition
WO2020214503A1 (en) Addressable vertical cavity surface emitting laser array for generating structured light patterns
CN112602003B (zh) 具有场内微器件的照明组件
US9934583B2 (en) Expectation maximization to determine position of ambient glints
US11307654B1 (en) Ambient light eye illumination for eye-tracking in near-eye display
US11237628B1 (en) Efficient eye illumination using reflection of structured light pattern for eye tracking
US9746915B1 (en) Methods and systems for calibrating a device
EP3614193A1 (en) Illumination assembly with in-field micro devices
US20230206474A1 (en) Eye tracking method, apparatus and sensor for determining sensing coverage based on eye model
US20240105046A1 (en) Lens Distance Test for Head-Mounted Display Devices
US11796829B1 (en) In-field illuminator for eye depth sensing
US11709364B1 (en) Addressable crossed line projector for depth camera assembly
US20230206622A1 (en) Information processing device, information processing method, and program
KR20230101580A (ko) 안구 모델에 기초하여 센싱 범위를 결정하는 시선 추적 방법, 장치 및 시선 추적 센서
CN114660806A (zh) 眼动追踪光学装置、头戴显示设备及眼动追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant