CN113589940A - 人眼追踪系统和虚拟现实显示装置 - Google Patents

人眼追踪系统和虚拟现实显示装置 Download PDF

Info

Publication number
CN113589940A
CN113589940A CN202110942061.XA CN202110942061A CN113589940A CN 113589940 A CN113589940 A CN 113589940A CN 202110942061 A CN202110942061 A CN 202110942061A CN 113589940 A CN113589940 A CN 113589940A
Authority
CN
China
Prior art keywords
light
sensing
micro
human eyes
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110942061.XA
Other languages
English (en)
Other versions
CN113589940B (zh
Inventor
王世育
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
General Interface Solution Ltd
Original Assignee
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
Yecheng Optoelectronics Wuxi Co Ltd
General Interface Solution Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interface Optoelectronics Shenzhen Co Ltd, Interface Technology Chengdu Co Ltd, Yecheng Optoelectronics Wuxi Co Ltd, General Interface Solution Ltd filed Critical Interface Optoelectronics Shenzhen Co Ltd
Priority to CN202110942061.XA priority Critical patent/CN113589940B/zh
Priority to TW110131142A priority patent/TW202310617A/zh
Publication of CN113589940A publication Critical patent/CN113589940A/zh
Application granted granted Critical
Publication of CN113589940B publication Critical patent/CN113589940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请提供一种人眼追踪系统,包括:透镜;感测组件,位于所述透镜的一表面,所述感测模组包括多颗微型发光二极管,每一所述微型发光二极管用于发射光源光,所述光源光用于入射至人眼并被所述人眼反射,所述人眼反射的光为感测光,每一所述微型发光二极管还用于接收所述感测光并根据所述感测光产生感测信号;控制器,电连接每一所述微型发光二极管,用于根据所述感测信号获取所述人眼的位置信息。本申请还提供一种虚拟现实显示装置。

Description

人眼追踪系统和虚拟现实显示装置
技术领域
本申请涉及虚拟现实技术领域,尤其涉及一种人眼追踪系统及包括该人眼追踪系统的虚拟现实显示装置。
背景技术
虚拟现实(Virtual Reality,VR)技术应用于娱乐电子产品,例如VR眼镜中。用户通过佩戴VR眼镜,可以观察到VR图像。在一些情况下,用户需要通过VR眼镜进行人机交互。一种交互方式为通过眼球控制VR图像。当通过眼球控制VR图像时,需要VR眼镜对眼球进行追踪,以实时地获取人眼的视线所在位置。现有技术中,VR眼镜包括一感测阵列用于感测实时地获取人眼的视线所在位置。但在该现有技术中,感测阵列体积较大,不利于节省VR眼镜内部空间。
发明内容
本申请第一方面提供一种人眼追踪系统,包括:
透镜;
感测组件,位于所述透镜的一表面,所述感测模组包括多颗微型发光二极管,每一所述微型发光二极管用于发射光源光,所述光源光用于入射至人眼并被所述人眼反射,所述人眼反射的光为感测光,每一所述微型发光二极管还用于接收所述感测光并根据所述感测光产生感测信号;
控制器,电连接每一所述微型发光二极管,用于根据所述感测信号获取所述人眼的位置信息。
本申请第二方面提供一种虚拟现实显示装置,包括:
显示器,用于发射图像光以显示虚拟现实图像;
透镜,位于所述显示模组一侧,用于透射所述图像光至人眼;
感测组件,位于所述透镜的一表面,所述感测模组包括多颗微型发光二极管,每一所述微型发光二极管用于发射光源光,所述光源光用于入射至所述人眼并被所述人眼反射,所述人眼反射的光为感测光,每一所述微型发光二极管还用于接收所述感测光并根据所述感测光产生感测信号;
控制器,电连接每一所述微型发光二极管和所述显示器,用于根据所述感测信号获取所述人眼的位置信息,并用于根据所述位置信息控制所述显示器显示所述虚拟现实图像。
上述人眼追踪系统,发射光源光的元件为Micro-LED,尺寸较小,有利于透光,因此感测组件可设置于透镜的表面上,当人眼追踪系统应用于VR显示装置时,不影响图像光从透镜透射。感测组件设置于透镜的表面,复用了人眼与透镜之间的空间,相较于设置于透镜外围,有利于减小人眼追踪系统的整体体积。且感测组件设置于透镜的表面,有利于使得每一Micro-LED发射的光源光精准入射至人眼,有利于使得每一Micro-LED精准接收人眼反射的感测光,从而提高人眼追踪系统的感测精度。
附图说明
图1为本申请实施例的VR显示装置的立体结构示意图。
图2为图1中VR显示装置的模块结构示意图。
图3为图2中人眼追踪系统的结构示意图。
图4为图3中感测组件的结构示意图。
图5为本申请实施例的感测组件和透镜的结构示意图。
图6为本申请一变更实施例的感测组件和透镜的结构示意图。
主要元件符号说明
VR显示装置 10
人眼追踪系统 100
透镜 11
第一表面 111
第二表面 112
感测组件 12
基材 121
Micro-LED 122
走线 123
控制器 13
显示器 200
固定框架 300
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
请参阅图1,本实施例的虚拟现实(Virtual Reality,VR)显示装置10用于展示VR图像。VR显示装置10可以为VR眼镜、VR头盔等。本实施例中,以下皆以VR显示装置10为VR眼镜进行举例说明。VR显示装置10为VR眼镜时,用户通过佩戴VR显示装置10至头部即可观察到VR图像。
请参阅图2,VR显示装置10包括相互电连接的人眼追踪系统100和显示器200。用户佩戴VR显示装置10时,人眼追踪系统100用于实时地获取用户眼睛的位置信息,显示器200用于发射图像光至用户眼睛,以向用户展示VR图像。
请参阅图3,VR显示装置10还包括固定框架300。人眼追踪系统100包括两个透镜11和两个感测组件12。固定框架300用于与用户头部固定。固定框架300具有两个中空的定位区域310,两个透镜11分别嵌设于两个定位区域310中。以使得固定框架300和两个透镜11整体呈现一眼镜的结构。两个感测组件12分别位于两个透镜11的表面。
用户佩戴VR显示装置10时,两个透镜11分别对应用户的左右眼。也即,用户佩戴VR显示装置10时,两个透镜11位于显示器200和用户眼睛之间,两个透镜11分别用于透射该图像光至用户的左眼和右眼。本实施例中,两个透镜11结构、大小、光学参数等皆相同。每一透镜11具有第一表面111和第二表面112。第一表面111相较于第二表面112靠近用户眼睛,第二表面112相较于第一表面111靠近显示器200。也即,第一表面111位于用户眼睛与第二表面112之间,第二表面112位于显示器200和第一表面111之间。第一表面111为凹面,第二表面112为凸面。
于其他实施例中,人眼追踪系统100可包括其他数量的透镜11。于其他实施例中,人眼追踪系统100包括两个透镜11时,两个透镜11的结构、大小、光学参数可不同。
本实施例中,两个透镜11和两个感测组件12一一对应。也即,每一透镜11上设置有一个感测组件12。两个感测组件12的结构相同,以下仅对其中一感测组件12的结构进行举例说明。
请参阅图4,感测组件12包括基材121和位于基材121同一表面上的多颗微型发光二极管(Micro Light-Emitting Diode,Micro-LED)122。该多颗Micro-LED122排列为包括多行Micro-LED122和多列Micro-LED122的矩形的Micro-LED阵列。Micro-LED阵列的长宽皆为5-30微米(包括端点值)。于其他实施例中,多颗Micro-LED122的排列方式可不同,Micro-LED阵列的尺寸可不同。基材121由透光材料制成。本实施例中,基材121包括玻璃。于其他实施例中,基材121包括透光的塑料。本实施例中,每颗Micro-LED122尺寸小于30微米。
请参阅图5,基材121具有相对的两个表面。所述两个表面其中一者用于承载该多颗Micro-LED122,另一者用于与透镜11贴合。本实施例中,基材121贴合于透镜11的第一表面111。每一Micro-LED122用于发射光源光至人眼,光源光经人眼反射后作为感测光再被Micro-LED122接收。每一Micro-LED122用于在接收到感测光后进行光电转换以产生感测信号(电信号)。
请参阅图6,于本申请一变更实施例中,基材121贴合于透镜11的第二表面112。如图5所示的本实施例的感测组件12中,每一Micro-LED122朝向远离基材121的方向发射光源光。而如图6所示的变更实施例的感测组件12中,每一Micro-LED122朝向基材121的方向发射光源光,光源光可从基材121和透镜11透射后入射至人眼。Micro-LED122包括发光材料层(图未示),通过控制发光材料层的具体材料可以控制Micro-LED122的发光方向。
请再参阅图4,感测组件12还包括走线123,人眼追踪系统100还包括控制器13。走线123与多颗Micro-LED122位于基材121的同一表面上。走线123分别与多颗Micro-LED122电连接,且与控制器13电连接。
本实施例中,走线123包括金属。于其他实施例中,走线123包括透明导电材料,例如氧化铟锡。走线123包括金属时,有利于提升导电性。走线123为氧化铟锡时,有利于提升透光率。
本实施例中,控制器13为一芯片。于其他实施例中,控制器13可包括多颗相互电连接的芯片,控制器13也可为一电路功能单元。
控制器13用于输出驱动电压,走线123用于传输该驱动电压至各个Micro-LED122,以驱动各个Micro-LED122发射光源光。走线123还用于传输各个Micro-LED122产生的感测信号至控制器13。控制器13还用于根据该感测信号,基于预设的算法,获取人眼的位置信息。
本实施例中,VR显示装置10还可包括放大器(图未示),放大器电连接于控制器13与各个Micro-LED122之间。当Micro-LED122产生的感测信号幅值较小时,放大器用于放大感测信号的幅值,以便于控制器13可识别感测信号并根据感测信号获取人眼的位置信息。
本实施例中,控制器13还电连接显示器200(参图2),用于根据获取到的人眼的位置信息,控制显示器200显示VR图像。例如,根据人眼的位置信息,确认人眼的视线落点,从而切换显示的VR图像等。
本实施例中,光源光和感测光皆为红外光,波长为850纳米。由于光源光和感测光皆为红外光,不会被人眼看见,光源光和感测光不会对显示器200发射的图像光产生干扰,有利于提升VR显示装置10整体的显示效果。
本实施例中,每一Micro-LED122的尺寸较小(小于50微米),有利于透光。走线123为等宽的金属线,虽然金属材料不透光,但走线123宽度较小,为20-200微米(包括端点值),使得感测组件12整体上具有透光的特性,图像光可从透镜11和感测组件12透射。
由于光源光和感测光不会对显示器200发射的图像光产生干扰,且感测组件12整体上也具有透光的特性,感测组件12可被设置于透镜11的几何中心。因此,其有利于使得每一Micro-LED122发射的光源光精准入射至人眼,且有利于使得每一Micro-LED122精准接收人眼反射的感测光,以提高感测精度。感测组件12设置于透镜11的表面,复用了人眼与透镜11之间的空间,相较于设置于透镜11外围,有利于减小VR显示装置10的整体体积。且感测组件12设置于透镜11的表面,还有利于提升感测精度。
本技术领域的普通技术人员应当认识到,以上的实施方式仅是用来说明本申请,而并非用作为对本申请的限定,只要在本申请的实质精神范围之内,对以上实施例所作的适当改变和变化都落在本申请要求保护的范围之内。

Claims (10)

1.一种人眼追踪系统,其特征在于,包括:
透镜;
感测组件,位于所述透镜的一表面,所述感测模组包括多颗微型发光二极管,每一所述微型发光二极管用于发射光源光,所述光源光用于入射至人眼并被所述人眼反射,所述人眼反射的光为感测光,每一所述微型发光二极管还用于接收所述感测光并根据所述感测光产生感测信号;
控制器,电连接每一所述微型发光二极管,用于根据所述感测信号获取所述人眼的位置信息。
2.如权利要求1所述的人眼追踪系统,其特征在于,所述感测组件还包括基材,所述基材由透光材料制成;
所述基材具有相对的两个表面,所述两个表面的其中之一者用于承载所述多颗微型发光二极管,另一者用于与所述透镜贴合。
3.如权利要求2所述的人眼追踪系统,其特征在于,所述基材为玻璃或塑胶。
4.如权利要求2所述的人眼追踪系统,其特征在于,所述感测组件还包括走线,所述走线与所述多颗微型发光二极管位于所述基材的同一表面上,所述走线分别电连接所述控制器及所述多颗微型发光二极管;
所述控制器用于输出驱动信号,所述走线用于传输所述驱动信号至所述多颗微型发光二极管,以驱动所述多颗微型发光二极管发射所述光源光。
5.如权利要求4所述的人眼追踪系统,其特征在于,所述走线为金属。
6.如权利要求4所述的人眼追踪系统,其特征在于,所述走线为透明导电材料。
7.如权利要求1所述的人眼追踪系统,其特征在于,所述光源光为红外光。
8.一种虚拟现实显示装置,其特征在于,包括:
显示器,用于发射图像光以显示虚拟现实图像;
透镜,位于所述显示模组一侧,用于透射所述图像光至人眼;
感测组件,位于所述透镜的一表面,所述感测模组包括多颗微型发光二极管,每一所述微型发光二极管用于发射光源光,所述光源光用于入射至所述人眼并被所述人眼反射,所述人眼反射的光为感测光,每一所述微型发光二极管还用于接收所述感测光并根据所述感测光产生感测信号;
控制器,电连接每一所述微型发光二极管和所述显示器,用于根据所述感测信号获取所述人眼的位置信息,并用于根据所述位置信息控制所述显示器显示所述虚拟现实图像。
9.如权利要求8所述的虚拟现实显示装置,其特征在于,所述感测组件位于所述透镜靠近所述显示器的一表面。
10.如权利要求9所述的虚拟现实显示装置,其特征在于,所述感测组件位于所述透镜远离所述显示器的一表面。
CN202110942061.XA 2021-08-17 2021-08-17 人眼追踪系统和虚拟现实显示装置 Active CN113589940B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110942061.XA CN113589940B (zh) 2021-08-17 2021-08-17 人眼追踪系统和虚拟现实显示装置
TW110131142A TW202310617A (zh) 2021-08-17 2021-08-23 人眼追蹤系統及虛擬實境顯示裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110942061.XA CN113589940B (zh) 2021-08-17 2021-08-17 人眼追踪系统和虚拟现实显示装置

Publications (2)

Publication Number Publication Date
CN113589940A true CN113589940A (zh) 2021-11-02
CN113589940B CN113589940B (zh) 2023-11-14

Family

ID=78258404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110942061.XA Active CN113589940B (zh) 2021-08-17 2021-08-17 人眼追踪系统和虚拟现实显示装置

Country Status (2)

Country Link
CN (1) CN113589940B (zh)
TW (1) TW202310617A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598260A (zh) * 2017-02-06 2017-04-26 上海青研科技有限公司 眼球追踪装置、采用该眼球追踪装置的vr设备和ar设备
WO2017196403A1 (en) * 2016-05-13 2017-11-16 Google Llc Eye tracking systems and methods for virtual reality environments
WO2019107044A1 (ja) * 2017-12-01 2019-06-06 株式会社日立エルジーデータストレージ 虚像投射装置
US20190204911A1 (en) * 2018-01-02 2019-07-04 Beijing Boe Optoelectronics Technology Co., Ltd. Eye tracking device and eye tracking method applied to video glasses and video glasses
CN110850594A (zh) * 2018-08-20 2020-02-28 余姚舜宇智能光学技术有限公司 头戴式可视设备及用于头戴式可视设备的眼球追踪系统
CN111781722A (zh) * 2020-07-01 2020-10-16 业成科技(成都)有限公司 眼球追踪结构、电子装置及智能眼镜
CN112014975A (zh) * 2020-10-12 2020-12-01 业成科技(成都)有限公司 头戴式显示器
CN213934926U (zh) * 2021-01-05 2021-08-10 南昌虚拟现实研究院股份有限公司 一种眼球追踪模组

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017196403A1 (en) * 2016-05-13 2017-11-16 Google Llc Eye tracking systems and methods for virtual reality environments
CN106598260A (zh) * 2017-02-06 2017-04-26 上海青研科技有限公司 眼球追踪装置、采用该眼球追踪装置的vr设备和ar设备
WO2019107044A1 (ja) * 2017-12-01 2019-06-06 株式会社日立エルジーデータストレージ 虚像投射装置
US20190204911A1 (en) * 2018-01-02 2019-07-04 Beijing Boe Optoelectronics Technology Co., Ltd. Eye tracking device and eye tracking method applied to video glasses and video glasses
CN110850594A (zh) * 2018-08-20 2020-02-28 余姚舜宇智能光学技术有限公司 头戴式可视设备及用于头戴式可视设备的眼球追踪系统
CN111781722A (zh) * 2020-07-01 2020-10-16 业成科技(成都)有限公司 眼球追踪结构、电子装置及智能眼镜
CN112014975A (zh) * 2020-10-12 2020-12-01 业成科技(成都)有限公司 头戴式显示器
CN213934926U (zh) * 2021-01-05 2021-08-10 南昌虚拟现实研究院股份有限公司 一种眼球追踪模组

Also Published As

Publication number Publication date
TW202310617A (zh) 2023-03-01
CN113589940B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
US9684174B2 (en) Imaging structure with embedded light sources
US9726887B2 (en) Imaging structure color conversion
CN111095076B (zh) 具有校准补偿的像素的多层制造
JPWO2015012280A1 (ja) 視線検出装置
CN111837068A (zh) 具有多重景深显像的近眼显示方法
US10942349B2 (en) Illumination assembly with in-field micro devices
US11287648B2 (en) Inconspicuous near-eye electrical circuits
CN115104057A (zh) 双波长眼睛成像
CN112014975A (zh) 头戴式显示器
EP3690500A1 (en) Lens for eye-tracking applications and head-worn device
US10608409B1 (en) Calibration of laser power monitor in an imaging system of a wearable head mounted display
TWI769480B (zh) 眼球追蹤結構、電子裝置及智能眼鏡
CN113589940B (zh) 人眼追踪系统和虚拟现实显示装置
TW202414782A (zh) 具有低密度發光元件組之非可見光源
JP7227989B2 (ja) 視野内マイクロデバイスを備えた照明アセンブリ
CN111783660B (zh) 眼动追踪装置及应用其的电子装置
CN111700586B (zh) 眼动追踪装置及应用其的电子装置
TW201937235A (zh) 具有多重景深顯像的近眼顯示方法
SE543066C2 (en) Head-worn device and lens for eye-tracking applications that includes an absorptive layer
US11435583B1 (en) Electronic device with back-to-back displays
US11860371B1 (en) Eyewear with eye-tracking reflective element
US20240012244A1 (en) OPTICAL ASSEMBLY WITH MICRO LIGHT EMITTING DIODE (LED) AS EYE-TRACKING NEAR INFRARED (nIR) ILLUMINATION SOURCE
CN114690403B (zh) 头戴式眼动追踪系统
WO2024136998A1 (en) Gaze controlled adaptive led illumination
US20050012683A1 (en) Spectacle with data receiving and projecting device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240109

Address after: 518109, Building E4, 101, Foxconn Industrial Park, No. 2 East Ring 2nd Road, Fukang Community, Longhua Street, Longhua District, Shenzhen City, Guangdong Province (formerly Building 1, 1st Floor, G2 District), H3, H1, and H7 factories in K2 District, North Shenchao Optoelectronic Technology Park, Minqing Road, Guangdong Province

Patentee after: INTERFACE OPTOELECTRONICS (SHENZHEN) Co.,Ltd.

Patentee after: Interface Technology (Chengdu) Co., Ltd.

Patentee after: GENERAL INTERFACE SOLUTION Ltd.

Address before: No.689 Hezuo Road, West District, high tech Zone, Chengdu City, Sichuan Province

Patentee before: Interface Technology (Chengdu) Co., Ltd.

Patentee before: INTERFACE OPTOELECTRONICS (SHENZHEN) Co.,Ltd.

Patentee before: Yicheng Photoelectric (Wuxi) Co.,Ltd.

Patentee before: GENERAL INTERFACE SOLUTION Ltd.

TR01 Transfer of patent right