CN104337496B - 头戴式人眼追踪系统 - Google Patents
头戴式人眼追踪系统 Download PDFInfo
- Publication number
- CN104337496B CN104337496B CN201310597597.8A CN201310597597A CN104337496B CN 104337496 B CN104337496 B CN 104337496B CN 201310597597 A CN201310597597 A CN 201310597597A CN 104337496 B CN104337496 B CN 104337496B
- Authority
- CN
- China
- Prior art keywords
- image
- pupil
- environment image
- human eye
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001747 pupil Anatomy 0.000 claims abstract description 118
- 210000003128 head Anatomy 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 15
- 238000013500 data storage Methods 0.000 claims description 11
- 239000011521 glass Substances 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 abstract 2
- 210000001508 eye Anatomy 0.000 description 79
- 238000000034 method Methods 0.000 description 21
- 239000000700 radioactive tracer Substances 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000002570 electrooculography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 238000004064 recycling Methods 0.000 description 2
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000162 simple eye Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Abstract
本发明提供一种头戴式人眼追踪系统，其包括第一光源、第一瞳孔图像获取装置、第一及第二环境图像获取装置、固定装置以及图像辨别系统。第一光源适于照亮使用者的第一眼。第一瞳孔图像获取装置适于获取来自第一眼中的第一瞳孔图像。第一、第二环境图像获取装置分别适于获取使用者前方的第一、第二环境图像。配置于使用者的头上的固定装置将第一光源、第一瞳孔图像获取装置、第一及第二环境图像获取装置固定于使用者的头上。图像辨别系统适于将第一环境图像以及第二环境图像其中至少一者与第一瞳孔图像进行映对。
Description
技术领域
本发明涉及通信技术，有关于一种人眼追踪系统，特别是有关于一种头戴式人眼追踪系统，属于通信技术领域。
背景技术
目前人眼追踪技术主要可区分为与人眼接触的接触式人眼追踪技术以及未与人眼接触的非接触式人眼追踪技术。接触式人眼追踪技术主要包括搜寻线圈法(Search Coil,SC)及眼电图法(Electro-OculoGraphy,EOG)，而非接触式人眼追踪技术主要可区分为免头戴式(Free-head)或头戴式(Head-mount)人眼追踪技术。
在接触式人眼追踪技术方面，以搜寻线圈法为例，使用者须配戴具有感应线圈的隐形眼镜(contact lenses)。当使用者转动眼球进而带动镜片时，感应线圈会因为磁通量变化产生感应电动势，此电动势大小即代表眼球偏转的角度。至于眼电图法，则是在人眼周围贴附多个电极，并利用这些电极检测眼球转动所产生的电压差来判断眼球偏转的角度。接触式人眼追踪技术的缺点是异物的接触容易带来人眼强烈的不舒适感，且其易受人眼及/或皮肤分泌物的影响，而造成信号干扰。
在免头戴式人眼追踪技术方面，国内外发展出屏幕搭配双图像获取装置的眼部追踪器(Eye trackers)。然而，现有的免头戴式人眼追踪技术仍须克服使用者头部移动造成误差的问题。此外，免头戴式人眼追踪技术尚有运算复杂及造价昂贵等问题。
相较之下，头戴式人眼追踪技术将图像获取装置与光源架设在使用者头上，利用图像获取装置获取的瞳孔图像推测注视位置，可排除使用者头部移动造成的误差。因此，头戴式人眼追踪系统能够被广泛地应用于生医、医疗、交通及娱乐的产业中。然而，现有的头戴式人眼追踪技术因仅从眼睛信息(瞳孔图像)去判别使用者的注视位置，因此容易出现误判的情况发生。此外，现有的头戴式人眼追踪技术普遍有视线受到头戴式人眼追踪系统所遮蔽，而造成使用上不便的问题。
发明内容
本发明提供一种头戴式人眼追踪系统，其可改善误判的情况以及视线受遮蔽等问题。
本发明的一种头戴式人眼追踪系统，其包括第一光源、第一瞳孔图像获取装置、第一环境图像获取装置、第二环境图像获取装置、固定装置以及图像辨别系统。第一光源发出第一光束以照亮使用者的第一眼。第一瞳孔图像获取装置配置在来自第一眼所反射的第一光束的传递路径上，以获取来自第一眼中的第一瞳孔图像。第一环境图像获取装置适于获取使用者前方的第一环境图像。第二环境图像获取装置适于获取使用者前方的第二环境图像。固定装置配置于使用者的头上，以将第一光源、第一瞳孔图像获取装置、第一环境图像获取装置以及第二环境图像获取装置固定于使用者的头上。图像辨别系统适于将第一环境图像以及第二环境图像其中至少一者与第一瞳孔图像进行映对，以辨别出使用者注视的位置。
在本发明的一实施例中，上述的第一光源选自于不可见光光源。
在本发明的一实施例中，上述的不可见光光源选自于红外线发光二极管(Infrared Light Emitting Diode,IR LED)、紫外线发光二极管(UltravioletLight Emitting Diode,UV LED)或激光。
在本发明的一实施例中，上述的第一瞳孔图像获取装置、第一环境图像获取装置以及第二环境图像获取装置分别选自于电荷耦合元件(ChargeCoupled Device,CCD)、互补式金氧半导体(Complementary Metal-OxideSemiconductor,CMOS)元件或红外线摄影机(IR camera)。
在本发明的一实施例中，上述的第一瞳孔图像获取装置、第一环境图像获取装置以及第二环境图像获取装置分别具有水平视角以及垂直视角，其中水平视角为40度以上且180度以下，且垂直视角为55度以上且180度以下。
在本发明的一实施例中，上述的固定装置为眼镜。眼镜包括镜架以及固定于镜架中的两个镜片。镜架包括两个镜框部、第一连接部、两个第二连接部以及两个耳挂部，其中第一连接部连接两个镜框部，各第二连接部连接相邻的耳挂部与镜框部，且这些镜片位于这些镜框部中。第一环境图像获取装置以及第二环境图像获取装置配置于第一连接部上，且第一瞳孔图像获取装置配置于邻近第一眼的耳挂部上，而第一光源配置于第一连接部、邻近第一眼的第二连接部以及邻近第一眼的耳挂部的其中一者上。
在本发明的一实施例中，上述的头戴式人眼追踪系统更包括第二光源以及第二瞳孔图像获取装置。第二光源发出第二光束以照亮使用者的第二眼。第二瞳孔图像获取装置配置在来自第二眼所反射的第二光束的传递路径上，以获取来自第二眼的第二瞳孔图像，其中第二光源以及第二瞳孔图像获取装置配置于固定装置上，图像辨别系统适于将第一环境图像以及第二环境图像其中至少一者与第二瞳孔图像进行映对。
在本发明的一实施例中，上述的头戴式人眼追踪系统更包括数据储存系统以及传输器件。数据储存系统适于储存第一瞳孔图像、第一环境图像以及第二环境图像，或者适于储存图像辨别系统所辨别出的使用者所注视的位置。图像辨别系统所辨别出的使用者所注视的位置或是第一瞳孔图像、第一环境图像以及第二环境图像透过传输器件而传递至数据储存系统。
在本发明的一实施例中，上述的第一瞳孔图像获取装置、第一环境图像获取装置以及第二环境图像获取装置分别具有水平视角以及垂直视角，其中水平视角为20度以上且180度以下，且垂直视角为20度以上且180度以下。
基于上述，本发明的头戴式人眼追踪系统透过配置环境图像获取装置以及瞳孔图像获取装置去获取使用者前方的环境图像以及人眼的瞳孔图像，并透过将环境图像与瞳孔图像进行映对(mapping)，来降低误判的情况。此外，透过设置两个环境图像获取装置，本发明的头戴式人眼追踪系统可进一步取得环境中的物体与使用者间的距离资讯(即物体的远近)，进而提升判别的精准度。另外，本发明的头戴式人眼追踪系统将光源以及图像获取装置固定于使用者的眼睛的周围取代配置于使用者的前方，来改善视线受遮蔽的问题。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。
附图说明
图1是依照本发明的第一实施例的一种头戴式人眼追踪系统的侧视示意图；
图2是依照本发明的第二实施例的一种头戴式人眼追踪系统的俯视示意图。
附图标记说明：
100、200： 头戴式人眼追踪系统；
110： 第一光源；
120： 第一瞳孔图像获取装置；
130： 第一环境图像获取装置；
140： 第二环境图像获取装置；
150： 固定装置；
152： 镜架；
1521、1522： 镜框部；
1523： 第一连接部；
1524、1525： 第二连接部；
1526、1527： 耳挂部；
154a、154b： 镜片；
160： 图像辨别系统；
170： 数据储存系统；
180： 传输器件；
210： 第二光源；
220： 第二瞳孔图像获取装置；
E1： 第一眼；
E2： 第二眼；
L11、L12、L13： 第一光束；
L21、L22、L23： 第二光束；
S1、S2： 表面。
具体实施方式
图1是依照本发明的第一实施例的一种头戴式人眼追踪系统的侧视示意图。请参照图1，本实施例的头戴式人眼追踪系统100包括第一光源110、第一瞳孔图像获取装置120、第一环境图像获取装置130、第二环境图像获取装置140、固定装置150以及图像辨别系统160，其中固定装置150适于配置在使用者(未绘示)的头上，以将第一光源110、第一瞳孔图像获取装置120、第一环境图像获取装置130以及第二环境图像获取装置140固定于使用者的头上。
固定装置150可以是眼镜、头巾、帽子或头套等适于将上述器件固定于头上且适于自头上取下的物品，以具有较佳的灵活性及便利性。在本实施例中，固定装置150以眼镜进行说明。具体地，本实施例的眼镜例如包括镜架152以及固定于镜架中的两个镜片154a、154b。进一步而言，镜架152包括两个镜框部1521、1522、第一连接部1523、两个第二连接部1524、1525以及两个耳挂部1526、1527，其中第一连接部1523连接两个镜框部1521、1522，各第二连接部1524、1525连接相邻的耳挂部1526、1527与镜框部1521、1522。具体地，第二连接部1524连接相邻的耳挂部1526与镜框部1521，而第二连接部1525连接相邻的耳挂部1527与镜框部1522。并且，这些镜片154a、154b位于这些镜框部1521、1522中。
在本实施例中，第一环境图像获取装置130以及第二环境图像获取装置140例如是配置于第一连接部1523上，且第一瞳孔图像获取装置120例如是配置于邻近第一眼E1的耳挂部1527上，而第一光源110例如是配置于第一连接部1523上与第一环境图像获取装置130以及第二环境图像获取装置140相对的表面。然而，第一光源110、第一瞳孔图像获取装置120、第一环境图像获取装置130以及第二环境图像获取装置140的配置关系可视设计需求而定。举例而言，在其他实施例中，第一光源110也可配置于邻近第一眼E1的第二连接部1525上，或者是配置于邻近第一眼E1的耳挂部1527上。也就是，第一光源110可配置于第一连接部1523、邻近第一眼E1的第二连接部1525以及邻近第一眼E1的耳挂部1527的其中一者上。
第一光源110适于照亮使用者的第一眼E1，以使第一瞳孔图像获取装置120获取来自第一眼E1中的第一瞳孔图像。具体地，第一光源110的设置能够降低外界光线的强度对于第一瞳孔图像获取装置120获取第一瞳孔图像的影响。通过第一光源110发出第一光束L11以照亮使用者的第一眼E1，第一瞳孔图像获取装置120能够在外界光线不足的情况下(例如阴天、晚上或是电影院中等)获取来自第一眼E1中的第一瞳孔图像。
第一光源110可以选自于可见光光源或不可见光光源，其中可见光光源例如是选自于波长在可见光范围下(例如是波长在400奈米以上且700奈米以下)的发光二极管，而不可见光光源例如是选自于红外线发光二极管、紫外线发光二极管或低功率的激光。特别是选用不可见光光源作为第一光源110时，可降低人眼对于第一光源110所发出的第一光束L11的可视性。并且，在第一光源110采用红外线发光二极管时，透过在镜片154b邻近使用者的表面上形成红外线滤镜(IR filter)，可进一步提升第一瞳孔图像获取装置120所接收到的第一瞳孔图像的对比度。
第一瞳孔图像获取装置120适于获取来自第一眼E1中的第一瞳孔图像，且其例如是配置在能够直接或间接获取第一瞳孔图像的位置。举例而言，第一瞳孔图像获取装置120可以配置于第二连接部1525或第一连接部1523上，且面向第一眼E1。或者，如图1所示、第一瞳孔图像获取装置120也可配置在来自第一眼E1所反射的第一光束L12的传递路径上，以获取来自第一眼E1中的第一瞳孔图像。在本实施例中，来自第一眼E1所反射的第一光束L12例如是经由镜片154b的至少一次反射而传递至第一瞳孔图像获取装置120中。也就是，第一瞳孔图像获取装置120例如是配置在经由镜片154b反射后的第一光束L13的传递路径上。由于本实施例将第一瞳孔图像获取装置120固定于使用者的第一眼E1的周围(如耳挂部1527上)取代配置于使用者的前方，因此本实施例能够改善视线受遮蔽的问题。此外，透过使第一瞳孔图像经由镜片154b的反射而传递至第一瞳孔图像获取装置120中，本实施例可降低第一瞳孔图像斜向入射至第一瞳孔图像获取装置120的角度，进而可降低校正误差，并提升解析度。
第一瞳孔图像获取装置120可选自于电荷耦合元件、互补式金氧半导体元件或红外线摄影机，其中第一瞳孔图像获取装置120具有水平视角以及垂直视角。由于人眼的视野相当宽广，因此为准确取得第一眼E1中的第一瞳孔图像，本实施例的第一瞳孔图像获取装置120的水平视角为20度以上且180度以下，且垂直视角为20度以上且180度以下。在一较佳的实施例中，第一瞳孔图像获取装置120的水平视角为40度以上且180度以下，且垂直视角为55度以上且180度以下。
第一环境图像获取装置130适于获取使用者前方的第一环境图像，而第二环境图像获取装置140适于获取使用者前方的第二环境图像。举例而言，第一环境图像获取装置130以及第二环境图像获取装置140可分别选自于电荷耦合元件、互补式金氧半导体元件或红外线摄影机。
在本实施例中，第一环境图像不同于第二环境图像。具体地，第一环境图像以及第二环境图像例如是分别由第一环境图像获取装置130以及第二环境图像获取装置140同步获取的使用者前方的环境图像。然而，透过调变第一环境图像获取装置130以及第二环境图像获取装置140的配置关系，第一环境图像以及第二环境图像虽为拍摄相同物体的图像画面，但两者具有视角上的差异。藉此，本实施例可透过图像处理而取得使用者前方的物体的距离资讯(即物体距离使用者的远近)，进而提升判别使用者的注视位置的精准度。
第一环境图像获取装置130以及第二环境图像获取装置140分别具有水平视角以及垂直视角。为了使第一环境图像获取装置130所获取的第一环境图像以及第二环境图像获取装置140所获取的第二环境图像较佳地与第一瞳孔图像映对，第一环境图像获取装置130以及第二环境图像获取装置140的水平视角较佳为20度以上且180度以下，且垂直视角较佳为20度以上且180度以下。在一较佳的实施例中，第一环境图像获取装置130以及第二环境图像获取装置140的水平视角为40度以上且180度以下，且垂直视角为55度以上且180度以下。
在本实施例中，第一瞳孔图像、第一环境图像以及第二环境图像可以是透过有线或无线传输的方式分别传递至图像辨别系统160。图像辨别系统160适于将第一环境图像以及第二环境图像其中至少一者与第一瞳孔图像进行映对，以辨别出使用者注视的位置，其中图像辨别系统160可以是嵌入式系统，如整合至行动装置中的芯片。或者，图像辨别系统160也可以是独立出来藉由操作操作系统来辨别出使用者注视的位置。
另外，本实施例的头戴式人眼追踪系统100可进一步包括数据储存系统170以及传输器件180，其中数据储存系统170适于储存第一瞳孔图像、第一环境图像以及第二环境图像，或者适于储存图像辨别系统160所辨别出的使用者所注视的位置。举例而言，当图像辨别系统160采用嵌入式系统时，数据储存系统170可整合于嵌入式系统中，且可仅储存图像辨别系统160所辨别出的使用者所注视的位置，以节省数据储存系统170的储存空间。或者，数据储存系统170可以为云端硬盘、随身碟或硬碟，且上述的图像辨别系统160所辨别出的使用者所注视的位置或第一瞳孔图像、第一环境图像以及第二环境图像可通过传输器件180(例如是无线或有线的传输器件)而传递至数据储存系统170。换言之，传输器件180可以视数据储存系统170的型态而为无线或有线的传输器件。举例而言，无线的传输器件例如是蓝牙传输。
本实施例的头戴式人眼追踪系统100利用非侵入式(即头戴式人眼追踪系统100不与人眼直接接触)的方法对眼睛(第一眼E1)进行追踪，并且结合两个对外的第一以及第二环境图像获取装置130、140来获取使用者前方的环境图像，再利用图像辨别系统160将第一环境图像以及第二环境图像其中至少一者与第一瞳孔图像进行映对，从而辨别出的使用者所注视的位置。由于本实施例的头戴式人眼追踪系统100可改善误判以及视线受遮蔽的情况，且可透过取得环境中的物体与使用者间的距离资讯(即物体的远近)，来提升判别的精准度，因此本实施例的头戴式人眼追踪系统100可具有广大的应用范畴。举例而言，本实施例的头戴式人眼追踪系统100若结合于电脑鼠标操控则可提供残疾人士或是双手不方便者一种便利的眼动追踪控制系统。另一方面，本实施例的头戴式人眼追踪系统100也可透过辨别人眼轨迹去客观地分析消费者的心理以及市场走向，或者是用于行车警告。再者，透过结合脑波量测，本实施例的头戴式人眼追踪系统100可进一步判断使用者的身体、心理疾病对于人眼轨迹或专注力的影响。
须说明的是，上述实施例虽仅将环境图像与单眼的瞳孔图像进行映对，但本发明不限于此。以下将以图2说明环境图像与双眼的瞳孔图像进行映对的实施型态。
图2是依照本发明的第二实施例的一种头戴式人眼追踪系统的俯视示意图。请参照图2，本实施例的头戴式人眼追踪系统200与图1中的头戴式人眼追踪系统100具有相似的器件、功效以及应用范畴。主要差异在于本实施例的头戴式人眼追踪系统200更包括第二光源210以及第二瞳孔图像获取装置220。此外，第二光源210以及第二瞳孔图像获取装置220配置于固定装置150上。在本实施例中，固定装置150将第二光源210以及第二瞳孔图像获取装置220配置于第二眼E2的周围，但本发明不限于此。
在本实施例中，第二光源210例如是配置于第一连接部1523上，且第二瞳孔图像获取装置220例如是配置于耳挂部1526上，但本发明不限于此。在其他实施例中，第一光源110、第二光源210、第一瞳孔图像获取装置120、第二瞳孔图像获取装置220、第一环境图像获取装置130以及第二环境图像获取装置140可视设计需求而定。举例而言，第二光源210可配置于第一连接部1523、邻近第二眼E2的第二连接部1524以及邻近第二眼E2的耳挂部1526的其中一者上。并且，第二光源210与第一光源110可以是对称地或非对称地配置在固定装置150上，第一瞳孔图像获取装置120与第二瞳孔图像获取装置220可以对称地或非对称地配置在固定装置150上，且第一环境图像获取装置130与第二环境图像获取装置140也可对称地或非对称地配置在固定装置150上。
第二光源210发出第二光束L21以照亮使用者的第二眼E2。第二光源210可以选自于可见光光源或不可见光光源。特别是选用不可见光光源作为第二光源210时，可降低人眼对于第二光源210所发出的第二光束L21的可视性。并且，在第二光源210与第一光源110同样采用红外线发光二极管时，透过在镜片154a、154b邻近使用者的表面S1、S2上形成红外线滤镜，可进一步提升第一瞳孔图像以及第二瞳孔图像的对比度。
第二瞳孔图像获取装置220适于获取来自第二眼E2的第二瞳孔图像，且其例如是配置在能够直接或间接获取第二瞳孔图像的位置。举例而言，第二瞳孔图像获取装置220可以配置于第二连接部1524或第一连接部1523上，且面向第二眼E2。或者，如图2所示、第二瞳孔图像获取装置220也可配置在来自第二眼E2所反射的第二光束L22的传递路径上，以获取来自第二眼E2的第二瞳孔图像。在本实施例中，来自第二眼E2所反射的第二光束L22例如是经由镜片154a的至少一次反射而传递至第二瞳孔图像获取装置220中。也就是，第二瞳孔图像获取装置22例如是配置在经由镜片154a反射后的第二光束L23的传递路径上。由于本实施例将第二瞳孔图像获取装置220固定于使用者的第二眼E2的周围(如耳挂部1526上)取代配置于使用者的前方，因此本能够改善视线受遮蔽的问题。此外，透过使第二瞳孔图像经由镜片154a的反射而传递至第二瞳孔图像获取装置220中，本实施例可降低第二瞳孔图像斜向入射至第二瞳孔图像获取装置220的角度，进而可降低校正误差，并提升解析度。
第二瞳孔图像获取装置220可选自于电荷耦合元件、互补式金氧半导体元件或红外线摄影机，其中第二瞳孔图像获取装置220具有水平视角以及垂直视角。由于人眼的视野相当宽广，因此为准确取得第二眼E2中的第二瞳孔图像，本实施例的第二瞳孔图像获取装置220的水平视角为40度以上且180以下，且垂直视角为55度以上且180以下。
在本实施例中，第二瞳孔图像可以是透过有线或无线传输的方式传递至图像辨别系统160。此外，图像辨别系统160适于将第一环境图像以及第二环境图像其中至少一者与第二瞳孔图像进行映对以辨别出使用者注视的位置。具体地，第一瞳孔图像以及第二瞳孔图像可以与第一环境图像以及第二环境图像其中至少一者进行映对。
另外，本实施例的头戴式人眼追踪系统200也可进一步包括数据储存系统170以及传输器件180，其中传输器件180可将第一瞳孔图像、第二瞳孔图像、第一环境图像以及第二环境图像或是将映对后所辨别出使用者注视的位置传递至数据储存系统170中，而传递的方法以及各器件的应用可参阅上述对应的内容，于此便不再赘述。
本实施例的头戴式人眼追踪系统200利用非侵入式(即头戴式人眼追踪系统200不与人眼直接接触)的方法对眼睛(第一眼E1以及第二眼E2)进行追踪，并且结合两个对外的第一以及第二环境图像获取装置130、140来获取使用者前方的环境图像，再利用图像辨别系统160将第一环境图像以及第二环境图像其中至少一者与第一以及第二瞳孔图像进行映对，从而辨别出的使用者所注视的位置。由于本实施例的头戴式人眼追踪系统200可改善误判以及视线受遮蔽的情况，且可透过取得环境中的物体与使用者间的距离信息(即物体的远近)，来提升判别的精准度，因此本实施例的头戴式人眼追踪系统200可具有广大的应用范畴。举例而言，本实施例的头戴式人眼追踪系统200若结合于电脑鼠标操控则可提供残疾人士或是双手不方便者一种便利的眼动追踪控制系统。另一方面，本实施例的头戴式人眼追踪系统200还可透过辨别人眼轨迹去客观地分析消费者的心理以及市场走向，或者是用于行车警告。再者，透过结合脑波量测，本实施例的头戴式人眼追踪系统200可进一步判断使用者的身体、心理疾病对于人眼轨迹或专注力的影响。
综上所述，本发明的头戴式人眼追踪系统透过配置环境图像获取装置以及瞳孔图像获取装置去获取使用者前方的环境图像以及人眼的瞳孔图像，并透过将环境图像与瞳孔图像进行映对，来降低误判的情况。此外，透过设置两个环境图像获取装置，本发明的头戴式人眼追踪系统可进一步取得环境中的物体与使用者间的距离信息(即物体的远近)，进而提升判别的精准度。另外，本发明的头戴式人眼追踪系统将光源以及图像获取装置固定于使用者的眼睛的周围取代配置于使用者的前方，来改善视线受遮蔽的问题。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (8)
1.一种头戴式人眼追踪系统，其特征在于，包括：
第一光源，发出第一光束以照亮使用者的第一眼；
第一瞳孔图像获取装置，配置在来自该第一眼所反射的该第一光束的传递路径上，以获取来自该第一眼的第一瞳孔图像；
第一环境图像获取装置，适于获取该使用者前方的第一环境图像；
第二环境图像获取装置，适于获取该使用者前方的第二环境图像；
固定装置，配置于该使用者的头上，以将该第一光源、该第一瞳孔图像获取装置、该第一环境图像获取装置以及该第二环境图像获取装置固定于该使用者的头上，该固定装置为眼镜，该眼镜包括镜架以及固定于该镜架中的两个镜片，该镜架包括两个镜框部、第一连接部、两个第二连接部以及两个耳挂部，其中该第一连接部连接该两个镜框部，每个第二连接部连接相邻的该耳挂部与该镜框部，且该两个镜片位于该两个镜框部中，该第一环境图像获取装置以及该第二环境图像获取装置配置于该第一连接部上，且该第一瞳孔图像获取装置配置于邻近该第一眼的该耳挂部上，且来自该第一眼所反射的该第一光束经由其中一镜片的反射而传递至该第一瞳孔图像获取装置中，而该第一光源配置于该第一连接部、邻近该第一眼的该第二连接部以及邻近该第一眼的该耳挂部的其中一者上；以及
图像辨别系统，适于将该第一环境图像以及该第二环境图像其中至少一者与该第一瞳孔图像进行映对，以辨别出该使用者注视的位置。
2.根据权利要求1所述的头戴式人眼追踪系统，其特征在于，该第一光源选自于不可见光光源。
3.根据权利要求2所述的头戴式人眼追踪系统，其特征在于，该不可见光光源选自于红外线发光二极管、紫外线发光二极管或激光光源。
4.根据权利要求1所述的头戴式人眼追踪系统，其特征在于，该第一瞳孔图像获取装置、该第一环境图像获取装置以及该第二环境图像获取装置分别选自于电荷耦合元件、互补金属氧化物半导体元件或红外线摄影机。
5.根据权利要求1所述的头戴式人眼追踪系统，其特征在于，该第一瞳孔图像获取装置、该第一环境图像获取装置以及该第二环境图像获取装置分别具有一水平视角以及一垂直视角，该水平视角为40度以上180度以下，且该垂直视角为55度以上180度以下。
6.根据权利要求1所述的头戴式人眼追踪系统，其特征在于，还包括：
第二光源，发出第二光束以照亮该使用者的第二眼；以及
第二瞳孔图像获取装置，配置在来自该第二眼所反射的该第二光束的传递路径上，以获取来自该第二眼的第二瞳孔图像，其中该第二光源以及该第二瞳孔图像获取装置配置于该固定装置上，该图像辨别系统适于将该第一环境图像以及该第二环境图像其中至少一者与该第二瞳孔图像进行映对。
7.根据权利要求1所述的头戴式人眼追踪系统，其特征在于，还包括：
数据储存系统，适于储存该第一瞳孔图像、该第一环境图像以及该第二环境图像，或者适于储存该图像辨别系统所辨别出的该使用者所注视的位置；以及
传输器件，其中该图像辨别系统所辨别出的该使用者所注视的位置或是该第一瞳孔图像、该第一环境图像以及该第二环境图像透过该传输器件而传递至该数据储存系统。
8.根据权利要求1所述的头戴式人眼追踪系统，其特征在于，该第一瞳孔图像获取装置、该第一环境图像获取装置以及该第二环境图像获取装置分别具有一水平视角以及一垂直视角，该水平视角为20度以上180度以下，且该垂直视角为20度以上180度以下。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102127317 | 2013-07-30 | ||
| TW102127317A TWI505260B (zh) | 2013-07-30 | 2013-07-30 | 頭戴式人眼追蹤系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104337496A CN104337496A (zh) | 2015-02-11 |
| CN104337496B true CN104337496B (zh) | 2016-11-23 |
Family
ID=52427202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310597597.8A Active CN104337496B (zh) | 2013-07-30 | 2013-11-22 | 头戴式人眼追踪系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9213406B2 (zh) |
| CN (1) | CN104337496B (zh) |
| TW (1) | TWI505260B (zh) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9699433B2 (en) * | 2013-01-24 | 2017-07-04 | Yuchen Zhou | Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye |
| GB2523356A (en) * | 2014-02-21 | 2015-08-26 | Tobii Technology Ab | Apparatus and method for robust eye/gaze tracking |
| US10572008B2 (en) | 2014-02-21 | 2020-02-25 | Tobii Ab | Apparatus and method for robust eye/gaze tracking |
| KR102437104B1 (ko) | 2014-07-29 | 2022-08-29 | 삼성전자주식회사 | 모바일 디바이스에서 촬영된 전자 기기와 페어링하는 방법 및 장치 |
| DE102015204283A1 (de) * | 2015-03-10 | 2016-09-15 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Erfassung der Blickrichtung einer Person |
| CN104834381B (zh) * | 2015-05-15 | 2017-01-04 | 中国科学院深圳先进技术研究院 | 用于视线焦点定位的可穿戴设备及视线焦点定位方法 |
| TWI580396B (zh) * | 2015-06-01 | 2017-05-01 | 國立交通大學 | 視覺生理用頭戴式系統 |
| TWI616186B (zh) * | 2015-07-22 | 2018-03-01 | 國立交通大學 | 視調節微波動之量測系統及方法 |
| EP3380883B1 (en) * | 2015-11-25 | 2020-10-28 | Google LLC | Prism-based eye tracking |
| US10444972B2 (en) | 2015-11-28 | 2019-10-15 | International Business Machines Corporation | Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries |
| JP6410987B2 (ja) * | 2016-02-25 | 2018-10-24 | 富士フイルム株式会社 | 運転支援装置、運転支援方法、及び、運転支援プログラム |
| CN105929963B (zh) * | 2016-05-11 | 2019-04-30 | 北京蚁视科技有限公司 | 一种用于追踪眼球位置的方法及检测装置 |
| CN106419832B (zh) * | 2016-08-22 | 2018-03-02 | 宁波远志立方能源科技有限公司 | 智能眼疾检测眼镜 |
| CN109716268B (zh) * | 2016-09-22 | 2022-05-17 | 苹果公司 | 眼部和头部跟踪 |
| US10388778B2 (en) * | 2016-11-18 | 2019-08-20 | Nexperia B.V. | Low resistance and leakage device |
| CN108535866B (zh) * | 2017-03-02 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 虚拟现实眼镜 |
| US11054886B2 (en) * | 2017-04-01 | 2021-07-06 | Intel Corporation | Supporting multiple refresh rates in different regions of panel display |
| CN109814413A (zh) * | 2017-11-21 | 2019-05-28 | 宏碁股份有限公司 | 头戴式显示设备、电子系统以及相关控制方法 |
| CN111492405B (zh) | 2017-12-19 | 2023-09-05 | 瑞典爱立信有限公司 | 头戴式显示设备及其方法 |
| TWI669537B (zh) * | 2018-01-24 | 2019-08-21 | 宏碁股份有限公司 | 顯示裝置 |
| CN109947268A (zh) * | 2018-07-04 | 2019-06-28 | 湖北民族学院 | 一种可用于智能终端的多功能表情鼠标 |
| CN110850594B (zh) * | 2018-08-20 | 2022-05-17 | 余姚舜宇智能光学技术有限公司 | 头戴式可视设备及用于头戴式可视设备的眼球追踪系统 |
| US11786694B2 (en) | 2019-05-24 | 2023-10-17 | NeuroLight, Inc. | Device, method, and app for facilitating sleep |
| US11181978B2 (en) | 2019-06-17 | 2021-11-23 | Hemy8 Sa | System and method for gaze estimation |
| CN110389460B (zh) * | 2019-06-25 | 2021-09-14 | 昆山龙腾光电股份有限公司 | 一种自动调光眼镜及其控制方法 |
| CN111783660B (zh) * | 2020-07-01 | 2023-11-10 | 业成科技（成都）有限公司 | 眼动追踪装置及应用其的电子装置 |
| CN112674713B (zh) * | 2020-11-22 | 2021-10-08 | 青岛大学附属医院 | 昏暗环境瞳孔辨识系统 |
| CN112716445A (zh) * | 2020-11-25 | 2021-04-30 | 中国科学院深圳先进技术研究院 | 一种眼动追踪装置及方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4145122A (en) | 1977-05-31 | 1979-03-20 | Colorado Seminary | Method and apparatus for monitoring the position of the eye |
| US5345281A (en) | 1992-12-17 | 1994-09-06 | John Taboada | Eye tracking system and method |
| TW299433B (en) * | 1996-01-18 | 1997-03-01 | Artificaial Parallax Electronics Corp | Computer stereo displaying system and 2D image application method to vision depth |
| GB0119859D0 (en) * | 2001-08-15 | 2001-10-10 | Qinetiq Ltd | Eye tracking system |
| ZA200608191B (en) * | 2004-04-01 | 2008-07-30 | William C Torch | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
| SE529763C2 (sv) * | 2005-10-10 | 2007-11-20 | Tobii Technology Ab | Ögonrörelseföljare med ett utökat omfång av arbetsavstånd |
| DK2389095T3 (da) * | 2009-01-26 | 2014-11-17 | Tobii Technology Ab | Detektering af blikpunkt hjulpet af optiske referencesignaler |
| CN201503524U (zh) * | 2009-09-25 | 2010-06-09 | 邱彤印 | 具影像立体化功能的液晶显示装置 |
| US8964298B2 (en) * | 2010-02-28 | 2015-02-24 | Microsoft Corporation | Video display modification based on sensor input for a see-through near-to-eye display |
| EP2499964B1 (en) * | 2011-03-18 | 2015-04-15 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Optical measuring device and system |
| US8911087B2 (en) * | 2011-05-20 | 2014-12-16 | Eyefluence, Inc. | Systems and methods for measuring reactions of head, eyes, eyelids and pupils |
-
2013
- 2013-07-30 TW TW102127317A patent/TWI505260B/zh active
- 2013-11-22 CN CN201310597597.8A patent/CN104337496B/zh active Active
- 2013-12-24 US US14/139,887 patent/US9213406B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US9213406B2 (en) | 2015-12-15 |
| CN104337496A (zh) | 2015-02-11 |
| TWI505260B (zh) | 2015-10-21 |
| TW201505021A (zh) | 2015-02-01 |
| US20150035745A1 (en) | 2015-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104337496B (zh) | 头戴式人眼追踪系统 | |
| US10126815B2 (en) | Systems, devices, and methods for proximity-based eye tracking | |
| Morimoto et al. | Eye gaze tracking techniques for interactive applications | |
| JP6308940B2 (ja) | 視線追跡シーン参照位置を識別するシステム及び方法 | |
| CN106132284B (zh) | 光学眼动追踪 | |
| CN104090659B (zh) | 基于人眼图像和视线追踪的操作指针指示控制设备 | |
| EP2929413B1 (en) | Eye tracking wearable devices and methods for use | |
| US20170092007A1 (en) | Methods and Devices for Providing Enhanced Visual Acuity | |
| KR102561991B1 (ko) | 아이웨어 장착 가능 안구 추적 디바이스 | |
| WO2016184107A1 (zh) | 用于视线焦点定位的可穿戴设备及视线焦点定位方法 | |
| US20190235624A1 (en) | Systems and methods for predictive visual rendering | |
| JP6159263B2 (ja) | 照射特性を調整可能にして少なくとも１つの眼における少なくとも１つのパラメータを捕捉する光学的測定装置及び方法 | |
| EP3371781B1 (en) | Systems and methods for generating and using three-dimensional images | |
| CN106168853A (zh) | 一种自由空间头戴式视线跟踪系统 | |
| CN107077593A (zh) | 用于显示屏增强的系统和方法 | |
| KR20160090867A (ko) | 아이 트래킹 및 사용자 반응 검출 | |
| CN106062665A (zh) | 基于用户的眼睛运动和位置的光学感测和跟踪的用户界面 | |
| CN103293673A (zh) | 集成显示器和眼动仪和虹膜识别仪的帽子 | |
| CN107122039A (zh) | 一种智能视觉辅助增强系统及其使用方法 | |
| WO2018154272A1 (en) | Systems and methods for obtaining information about the face and eyes of a subject | |
| Huang et al. | A human-computer interface design using automatic gaze tracking | |
| WO2023159526A1 (zh) | 一种眼球追踪系统及其使用方法 | |
| CN205003398U (zh) | 具有指纹辨识功能的智能眼镜 | |
| CN107562179B (zh) | 一种用于眼球追踪和虹膜识别的一体化镜杯 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |