CN112015265A - 一种眼动追踪装置 - Google Patents

一种眼动追踪装置 Download PDF

Info

Publication number
CN112015265A
CN112015265A CN202010463727.9A CN202010463727A CN112015265A CN 112015265 A CN112015265 A CN 112015265A CN 202010463727 A CN202010463727 A CN 202010463727A CN 112015265 A CN112015265 A CN 112015265A
Authority
CN
China
Prior art keywords
eye
eye tracking
power
processor
tracking device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010463727.9A
Other languages
English (en)
Other versions
CN112015265B (zh
Inventor
邱柏榕
李魁安
刘冠麟
戴铭亿
张家铭
简韶逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianzhen Technology Co ltd
Original Assignee
Jianzhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jianzhen Technology Co ltd filed Critical Jianzhen Technology Co ltd
Publication of CN112015265A publication Critical patent/CN112015265A/zh
Application granted granted Critical
Publication of CN112015265B publication Critical patent/CN112015265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

本发明公开了一种眼动追踪装置，包含：一电源管理模块，用于根据一电源控制信号来供电以使所述眼动追踪装置在一相对应模式下工作，并提供与其供电状态相关的一电源状态信号；一感测模块，其包含至少一影像传感器，用来以一取样频率来撷取一使用者的一眼睛影像；以及一处理器，用于：根据所述眼睛影像计算该使用者的一眼睛特征、一眼动信息及/或包含一凝视位置坐标的视线信息；以及，根据所述电源状态信号来调整所述取样频率、调整所述处理器输出信息的频率及/或切换所述眼动追踪装置的工作模式。

Description

一种眼动追踪装置
技术领域
本发明涉及一种眼动追踪装置，尤其是一种可根据使用情境切换工作模式的眼动追踪装置。
背景技术
眼动追踪(eye-tracking)是一种用来侦测使用者凝视位置的技术，其通过测量眼睛注视点的位置或眼球相对头部的运动来实现对眼球运动的追踪。眼动追踪技术被广泛地应用在商业、工业、教育或医疗等各领域的心理学研究、使用者行为实验和教育训练等用途。
头戴型眼动追踪装置常被用来侦测使用者的疲劳程度、注意力或工作负荷高低等使用者状态，主要由一头戴型设备搭配至少一红外光光源和一影像传感器所组成，其中头戴型设备可为虚拟实境(virtual reality,VR)头戴型显示器、扩增实境(augmentedreality,AR)头戴型显示器、混合实境(mixedreality,MR)头戴型显示器、智能眼镜，或其它任何眼镜型或安全帽型的设备。通过红外光光源照射使用者的眼睛，分析影像传感器撷取到的光源反射点和使用者眼睛影像，即可推算出使用者凝视的位置，进而应用在需要与虚拟物体互动的VR/AR/MR领域。
相较于传统远距型眼动追踪装置，头戴型眼动追踪装置具有轻便、方便携带以及使用场景更贴近自然环境等优势，但其电池续航力有限。
发明内容
本发明的主要目的在于克服现有技术的不足，提出一种可根据使用情境切换不同工作模式的眼动追踪装置，以优化电源使用状况，延长头戴型眼动追踪装置的电源续航能力。
本发明为达上述目的提出以下技术方案：
一种眼动追踪装置，包含：一电源管理模块，用于根据一电源控制信号来供电以使所述眼动追踪装置在一相对应模式下工作，并提供与其供电状态相关的一电源状态信号；一感测模块，其包含至少一影像传感器，用来以一取样频率来撷取一使用者的一眼睛影像；以及一处理器，用于：根据所述眼睛影像计算该使用者的一眼睛特征、一眼动信息及/或包含一凝视位置坐标的视线信息；以及，根据所述电源状态信号来调整所述取样频率、调整所述处理器输出信息的频率及/或切换所述眼动追踪装置的工作模式。
附图说明
图1是本发明实施例中一种眼动追踪装置的功能方框图；
图2是本发明另一实施例中一种眼动追踪装置的功能方框图；
图3是本发明实施例中眼动追踪装置使用状态的主视图；
图4是本发明实施例中眼动追踪装置使用状态的右视图。
附图标记说明：
10：电源管理模块
20：感测模块
20L：左眼影像传感器
20R：右眼影像传感器
20C：场景影像传感器
22：声音传感器
24：接近传感器
26：环境光传感器
30：照明装置
32：光源驱动器
40：处理器
50：记忆单元
60：镜片
70：显示屏
100、200：眼动追踪装置
F1～F3：滤光元件
IR1～IRN：光源
具体实施方式
下面结合附图和具体的实施方式对本发明作进一步说明。
图1为本发明实施例中一种眼动追踪装置100的功能方框图。图2为本发明另一实施例中一种眼动追踪装置200的功能方框图。眼动追踪装置100和200各包含一电源管理模块10、一感测模块20、一照明装置30、一处理器40以及一记忆单元50。本发明的眼动追踪装置100和200均可安装在一头戴型装置，例如安装在VR/AR/MR装置、智慧眼镜、任一眼镜型装置或任一安全帽型态的装置上。然而，眼动追踪装置100和200所应用的头戴型装置并不限定本发明的保护范围。
在本发明的眼动追踪装置100或200中，电源管理模块10可供应眼动追踪装置100或200中各元件工作所需的稳定电源。在一实施例中，电源管理模块10包含内建电源，可根据处理器40提供的电源控制信号S1来调整输出至各元件的电力以使眼动追踪装置100或200能在相对应的模式下工作，并能提供与其供电状态相关的电源状态信号S2，其中电源状态信号S2包含电源管理模块10所输出的电源总量或电源稳定度等信息。在另一实施例中，当眼动追踪装置100或200安装于包含内建电源的头戴型装置时，电源管理模块10可接收并调节头戴型装置所供应的电力，再根据处理器40提供的电源控制信号S1来调整输出至各元件的电源以使眼动追踪装置100或200能在相对应的模式下工作，并能提供与其供电状态相关的电源状态信号S2，其中电源状态信号S2包含电源管理模块10所输出的电源总量或电源稳定度等信息。然而，电源管理模块10供电电力的来源并不限定本发明的保护范围。
在本发明的眼动追踪装置100或200中，感测模块20至少包含一影像传感器，用来侦测使用者的眼睛影像，并能根据处理器40提供的影像控制信号S3来调整其取样频率。在图1和图2所示的实施例中，感测模块20至少包含一左眼影像传感器20L和一右眼影像传感器20R，可分别以特定取样频率来撷取使用者左眼和右眼的影像，但感测模块20中影像传感器的数量并不限定本发明的保护范围。
在另一实施例中，感测模块20可另包含一场景影像传感器，用来纪录使用者在其视野范围内所看见的影像。在另一实施例中，感测模块20可另包含一声音传感器，用来采集使用者所在环境的声音信息。在另一实施例中，感测模块20可另包含一接近传感器(proximity sensor)，用来检测使用者所在环境内出现的动作信息。在另一实施例中，感测模块20可另包含一环境光传感器，用来采集使用者所在位置的环境光信息。在图2所示的眼动追踪装置200中，感测模块20包含一左眼影像传感器20L、一右眼影像传感器20R、一场景影像传感器20C、一声音传感器22、一接近传感器24，以及一环境光传感器26。然而，除了至少包含一影像传感器之外，本发明的感测模块20可另包含一场景影像传感器、一声音传感器、一接近传感器和一环境光传感器其中之一或其中至少两者的任意组合。
在本发明中，感测模块20可另包含至少一滤光元件，用来调整至少一影像传感器对特定波长光线的穿透率。举例来说，在图1所示的眼动追踪装置100中，感测模块20可另包含两个滤光元件，分别用来改变左眼影像传感器20L或右眼影像传感器20R对特定波长光线的穿透率；在图2所示的眼动追踪装置200中，感测模块20可另包含一滤光元件，用来改变场景影像传感器20C对特定波长光线的穿透率；在图2所示的眼动追踪装置200中，感测模块20可另包含三个滤光元件，分别用来改变左眼影像传感器20L、右眼影像传感器20R和场景影像传感器20C对特定波长光线的穿透率。
在本发明的眼动追踪装置100或200中，照明装置30包含光源IR1、IR2、……IRN和一光源驱动器32，其中N为正整数。光源IR1～IRN用来照亮使用者的眼睛，而光源驱动器32可根据处理器40提供的亮度控制信号S4来调整每一光源的亮度，进而调整影像传感器所撷取眼睛影像的画面质量。在一实施例中，光源IR1～IRN可为红外光光源，设置在眼动追踪装置100或200中可照射使用者眼部的位置。然而，照明装置30所包含的光源种类、数量或设置位置并不限定本发明的保护范围。
在本发明中，处理器40可控制眼动追踪装置100或200中各元件的工作，例如提供电源控制信号S1以调整电源模块10输出至各元件的电力、提供影像控制信号S3以调整感测模块20中影像传感器的取样频率，以及提供亮度控制信号S4以调整照明装置30中光源的亮度，进而切换眼动追踪装置100或200的工作模式。此外，处理器40可根据感测模块20所采集的各种信息或电源管理模块10所提供的电源状态信号S2来提供上述电源控制信号S1、影像控制信号S3，或亮度控制信号S4。
在本发明中，处理器40可接收并分析感测模块20所采集的各种信息。在图1所示的眼动追踪装置100或图2所示的眼动追踪装置200中，处理器40可接收感测模块20的左眼影像传感器20L和右眼影像传感器20R所撷取的使用者眼睛影像，再计算并输出使用者的眼睛特征、眼动信息及/或包含凝视位置坐标的视线信息。在图2所示的眼动追踪装置200中，处理器40另可根据感测模块20中场景影像传感器20C、声音传感器22和接近传感器24中至少其中之一所提供的信息来判断目前是否有执行中的眼动追踪工作。在图2所示的眼动追踪装置200中，处理器40另可根据感测模块20中环境光传感器26所提供的信息来判断使用者所处环境中环境光源的亮度和分布均匀程度。
在本发明的眼动追踪装置100或200中，处理器40可为系统单晶片(System onChip,SoC)、特殊应用集成电路(application specific integrated circuit,ASCI)，或现场可编程门阵列(fieldprogrammable gate array,FPGA)。在一实施例中，处理器40可通过一慢速接口直接传输眼睛特征或凝视位置的信息给头戴型装置，以减少信息传输与后续应用所需的运算消耗。在另一实施例中，处理器40可通过一慢速接口和一低功耗接口(例如一USB type C接口)传输眼睛特征或凝视位置的信息给头戴型装置。在另一实施例中，处理器40可通过一慢速接口和一无线通讯接口(例如WiFi或蓝牙接口)传输眼睛特征或凝视位置的信息给头戴型装置。然而，眼动追踪装置100或200所应用的头戴型装置或与头戴型装置之间信息传输方式并不限定本发明的保护范围。
在本发明中，眼动追踪装置100或200可在正常模式和省电模式下工作，其中省电模式包含简单模式、睡眠模式或关机模式。在正常模式下，眼动追踪装置100或200内所有元件皆处于最佳工作效能的正常状态，且处理器40会输出使用者的完整眼睛特征、完整眼动信息及/或包含精确凝视位置坐标的完整视线信息。在省电模式下，眼动追踪装置100或200内至少一元件会处于较低工作效能的低活动状态或是被关闭，因此可降低能耗。
在简单模式下，眼动追踪装置100或200内所有元件皆处于正常工作状态，但处理器40仅会根据使用者预先设定的一个或多个预设区域来判定使用者双眼是否凝视在此一个或多个预设区域，进而提供相对应的部分视线信息。上述每一预设区域可为一虚拟空间中的特定坐标范围，或是真实空间中以一特定标记为中心的区域。在真实世界的实施例中，特定标记可为一光源、一特定影像或一特定的物体特征。若特定标记为一光源，此标记可依照光源的颜色、波长、闪烁频率或亮度来区分不同的预设区域。
在睡眠模式下，眼动追踪装置100或200中仅有处理器40会维持低电源的活动状态，其它元件皆会关闭。在关机模式下，眼动追踪装置100或200中所有元件皆会关闭。值得注意的是，不同厂商或不同应用领域可能会对省电模式有不同的定义或名称，上述简单模式、睡眠模式和关机模式的名称或实现方式并不限定本发明的保护范围。
在本发明的眼动追踪装置100或200中，记忆单元50用来储存处理器40针对眼动追踪装置100或200不同工作模式的固件设置。举例来说，当眼动追踪装置100或200从上述省电模式切换回正常模式时，处理器40可根据记忆单元50的内存信息来迅速地回复与正常模式相关的固件设置和工作，进而维持眼动追踪工作的精确度。在一实施例中，记忆单元50可为快闪存储器，然而记忆单元50的实现方式并不限定本发明的保护范围。
为了说明目的，假设当电源管理模块10所输出的电源总量或电源稳定度高于一预定范围时，代表此时电力状况良好；当电源管理模块10所输出的电源总量或电源稳定度介于预定范围内时，代表此时电力供应即将不足，进而可能影响输出的电源稳定度；当电源管理模块10输出的电源总量或电源稳定度低于预定范围时，代表此时电力供应已经不足，进而造成输出电源值发生大幅波动。
在本发明一实施例中，当电源管理模块10所提供的电源状态信号S2表示其输出的电源总量或电源稳定度介于预定范围内时，处理器40可调降感测模块20中每一影像传感器的取样频率，以及调降处理器40输出信息的频率，进而减少耗电量。在本发明另一实施例中，当电源管理模块10所提供的电源状态信号S2表示其输出的电源总量或电源稳定度并低于预定范围时，处理器40可调降感测模块20中每一影像传感器的取样频率、调降处理器40输出信息的频率，以及将眼动追踪装置100或200切换至至省电模式，进而更进一步减少耗电量。
在本发明另一实施例中，感测模块20包含左眼影像传感器20L和右眼影像传感器20R，可分别以特定取样频率来撷取使用者左眼和右眼的影像。处理器40可另根据左眼影像传感器20L和右眼影像传感器20R所获取的影像信息来调整左眼影像传感器20L和右眼影像传感器20R的取样频率、处理器40输出信息的频率，或切换眼动追踪装置100或200的工作模式。举例来说，针对左眼影像传感器20L和右眼影像传感器20R所采集的影像帧(frame)，处理器40可判断是否有已经超过一预定数量的连续影像帧未包含一预定物体。上述预定物体可为使用者的眼睛、瞳孔或其他脸部信息，当判定已经有超过预定数量的连续影像帧未包含该预定物体时，代表此时使用者可能未穿戴眼动追踪装置100或200所安装的头戴式装置，或是长时间并没有任何眼部活动，因此不需要执行眼动追踪的相关工作。在这种情况下，处理器40可调降每一影像传感器的取样频率和处理器40输出信息的频率，及/或将眼动追踪装置100或200切换至睡眠模式或关机模式，进而减少耗电量。
在本发明另一实施例中，感测模块20包含左眼影像传感器20L、右眼影像传感器20R以及场景影像传感器20C，其中左眼影像传感器20L和右眼影像传感器20R可分别以特定取样频率来撷取使用者左眼和右眼的影像，而场景影像传感器20C可采集使用者视野范围内的影像信息。除了根据左眼影像传感器20L和右眼影像传感器20R所采集的眼部影像信息之外，处理器40另可根据场景影像传感器20C所采集的场景影像信息来调整左眼影像传感器20L和右眼影像传感器20R的取样频率、处理器40输出信息的频率，或切换眼动追踪装置100的工作模式。举例来说，针对场景影像传感器20C所采集的影像帧，处理器40可判断是否已经有超过一预定数量的连续影像帧未包含一预定物体。上述预定物体可为与眼动追踪工作相关的特定光源或特定影像，当判定已经有超过预定数量的连续影像帧未包含预定物体时，代表此时并没有执行中的眼动追踪工作。在这种情况下，处理器40可调降每一影像传感器的取样频率和处理器40输出信息的频率，及/或将眼动追踪装置切换至睡眠模式或关机模式，进而减少耗电量。
在本发明另一实施例中，感测模块20包含左眼影像传感器20L、右眼影像传感器20R，以及场景影像传感器20C，其中左眼影像传感器20L和右眼影像传感器20R可分别以特定取样频率来撷取使用者左眼和右眼的影像，而场景影像传感器20C可采集使用者视野范围内的影像信息。除了根据左眼影像传感器20L和右眼影像传感器20R所采集的眼部影像信息之外，处理器40另可根据场景影像传感器所采集的场景影像信息来调整左眼影像传感器20L和右眼影像传感器20R的取样频率、处理器40输出信息的频率，或切换眼动追踪装置100的工作模式。举例来说，处理器40可判断场景影像传感器20C所纪录的影像帧中是否包含源自于使用者的预定信息。上述预定信息可为与眼动追踪工作相关的使用者手势，当判定场景影像传感器20C所采集的影像帧中并未包含源自于使用者的预定信息时，代表此时并没有执行中的眼动追踪工作。在这种情况下，处理器40可调降每一影像传感器的取样频率和处理器40输出信息的频率，及/或将眼动追踪装置切换至睡眠模式或关机模式，进而减少耗电量。
在本发明另一实施例中，感测模块20包含左眼影像传感器20L、右眼影像传感器20R以及声音传感器22，其中左眼影像传感器20L和右眼影像传感器20R可分别以特定取样频率来撷取使用者左眼和右眼的影像，而声音传感器22可采集使用者所在环境的声音信息。除了根据左眼影像传感器20L和右眼影像传感器20R所采集的眼部影像信息之外，处理器40另可根据声音传感器所采集的声音信息来调整左眼影像传感器20L和右眼影像传感器20R的取样频率、处理器40输出信息的频率，或切换电源管理模块的工作模式。上述声音信息可为使用者所在环境中与眼动追踪工作相关的声音内容、音量大小、音频，及/或声音持续时间，当根据上述声音信息判定目前并没有执行中的眼动追踪工作时，处理器40可调降每一影像传感器的取样频率和处理器40输出信息的频率，及/或将眼动追踪装置切换至睡眠模式或关机模式，进而减少耗电量。
在本发明另一实施例中，感测模块20包含左眼影像传感器20L、右眼影像传感器20R，以及接近传感器24，其中左眼影像传感器20L和右眼影像传感器20R可分别以特定取样频率来撷取使用者左眼和右眼的影像，而接近传感器24可检测使用者所在环境中与眼动追踪工作相关的动作信息。除了根据左眼影像传感器20L和右眼影像传感器20R所采集的眼部影像信息之外，处理器40另可根据接近传感器24所检测到的动作信息来调整左眼影像传感器20L和右眼影像传感器20R的取样频率、处理器40输出信息的频率，或切换电源管理模块的工作模式。举例来说，当根据上述动作信息判定目前并没有执行中的眼动追踪工作时，处理器40可调降每一影像传感器的取样频率和处理器40输出信息的频率，及/或将眼动追踪装置切换至睡眠模式或关机模式，进而减少耗电量。
在本发明另一实施例中，感测模块20包含左眼影像传感器20L和右眼影像传感器20R，而照明装置30包含单一红外光光源IR1和光源驱动器32。左眼影像传感器20L和右眼影像传感器20R可分别以特定取样频率来撷取使用者左眼和右眼的影像，红外光光源IR1用来照亮使用者的眼睛，而光源驱动器32可根据处理器40提供的亮度控制信号S4来控制红外光光源IR1的工作，进而调整左眼影像传感器20L和右眼影像传感器20R所采集影像的质量。当判定电源管理模块10的供电状态(例如输出的电源总量或电源稳定度)低于预定范围内时，代表此时电力供应已经不足或输出电源值发生大幅波动，此时处理器40会指示光源驱动器32去调降红外光光源IR1的强度或关闭红外光光源IR1，进而减少耗电量。当判定左眼影像传感器20L和右眼影像传感器20R所撷取的影像质量低于一预定标准时，处理器40可指示光源驱动器32去调高红外光光源IR1的强度以提升影像质量。当处理器40将眼动追踪装置100或200的工作模式切换至睡眠或关机模式时，其亦会指示光源驱动器32去关闭照明装置30的红外光光源IR1。
在本发明另一实施例中，感测模块20包含复数个左眼影像传感器20L和复数个右眼影像传感器20R，而照明装置30包含复数个红外光光源IR1～IRN(N为大于1之整数)和光源驱动器32。复数个左眼影像传感器20L和复数个右眼影像传感器20R可分别以特定取样频率来撷取使用者左眼和右眼的影像，红外光光源IR1～IRN用来照亮使用者的眼睛，而光源驱动器32可根据处理器40提供的亮度控制信号S4来分别控制红外光光源IR1～IRN的工作，进而调整左眼影像传感器20L和右眼影像传感器20R所采集影像的质量。处理器40另可根据电源管理模块10的供电状态(例如输出的电源总量或电源稳定度)、感测模块20中影像传感器所撷取影像的质量，及/或眼动追踪装置100的工作状况(例如是否在进行校正/再校正)，来选择性地开启或关闭照明装置30中特定位置/数目的光源或感测模块20中特定位置/数目的影像传感器，并根据开启的影像传感器所采集的影像信息来输出使用者的眼睛特征或凝视位置的信息。举例来说，当根据电源状态信号S2判定电源管理模块10的供电状态(例如输出的电源总量或电源稳定度)低于预定范围时，处理器40可指示光源驱动器32去调降照明装置30的亮度，或关闭感测模块20中更多影像传感器以减少耗电量。当左眼影像传感器20L和右眼影像传感器20R所撷取影像的质量低于一预定标准时，处理器40可指示光源驱动器32去开启照明装置30中更多红外光光源或开启感测模块20中更多影像传感器以提高影像质量。当眼动追踪装置100或200正在进行校正/再校正工作时，处理器40可指示光源驱动器32去开启照明装置30中更多红外光光源或开启感测模块20中更多影像传感器，进而提升校正/再校正的精准度。
在一实施例中，本发明可针对眼动追踪装置100或200的不同应用场景分别定义对于眼动追踪工作的精确度最大容许值，以及针对照明装置30的不同亮度或感测模块20中所采用不同数量影像传感器的信号分别定义眼动追踪工作的精确度评估值。针对电源管理模块10的供电状态(例如输出的电源总量或电源稳定度)低于一预定范围、左眼影像传感器20L和右眼影像传感器20R所撷取影像的质量低于一预定标准，和眼动追踪装置100或200正在进行校正/再校正运作的三种情境，若判定上述三种情境中两种以上同时发生，处理器40可根据与当下应用场景相关的精确度最大容许值和精确度评估值来执行相对应的处理。若精确度评估值小于当下应用场景对于眼动追踪工作的精确度最大容许值，处理器40会以电力维持为优先考量，因此在判定上述三种情境中两种以上同时发生的情况下会关闭更多光源或采用较少影像传感器。反之，若精确度评估值大于当下应用场景对于眼动追踪工作的精确度最大容许值，处理器40会以维持或提升眼动追踪工作的精确度为优先，因此在判定上述三种情境中两种以上同时发生的情况下会开启更多光源或采用更多影像传感器所采集的影像信息来做眼动追踪分析。
在另一实施例中，使用者可自行设定是以电力维持为优先，或以维持或提升眼动追踪工作的精确度为优先。假设电源管理模块10的供电状态(例如输出的电源总量或电源稳定度)低于一预定范围、左眼影像传感器20L和右眼影像传感器20R所撷取影像的质量低于一预定值，和眼动追踪装置100正在进行校正/再校正工作的上述三种情境中两种以上同时发生，当使用者设定是以电力维持为优先时，处理器40会关闭特定位置/数量的光源或影像传感器；反之，当使用者设定是以维持或提升眼动追踪工作的精确度为优先时，处理器40会开启更多光源或采用更多影像传感器所采集的影像信息来做眼动追踪分析。
在另一实施例中，感测模块20包含一个或复数个左眼影像传感器20L和一个或复数个右眼影像传感器20R，而照明装置30包含一个或复数个左眼红外光光源、一个或复数个右眼红外光光源，以及光源驱动器32。左眼红外光光源和左眼影像传感器20L可设置在接近使用者左眼的位置，用来照亮左眼并拍摄左眼影像。右眼红外光光源和右眼影像传感器20R可设置在接近使用者右眼的位置，用来照亮右眼并拍摄右眼影像。处理器40可根据左眼影像和右眼影像的质量来提供影像控制信号S3和亮度控制信号S4，进而分别控制左右眼的红外光光源与影像传感器。在以电力维持为优先的实施例中，当判定左眼影像的质量低于右眼影像的质量时，处理器40可指示光源驱动器32去关闭照明装置30中更多数量的左眼红外光光源、指示光源驱动器32去调低照明装置30中已开启左眼红外光光源的亮度，或指示感测模块20去关闭更多数量的左眼影像传感器，进而减少耗电量。在维持或提升眼动追踪工作的精确度为优先的实施例中，当判定左眼影像的质量低于右眼影像的质量时，处理器40可指示光源驱动器32去开启照明装置30中更多数量的左眼红外光光源、指示光源驱动器32去调高照明装置30中已开启左眼红外光光源的亮度，或指示感测模块20去开启更多数量的左眼影像传感器，进而提升左眼影像的质量。
在本发明另一实施例中，感测模块20包含左眼影像传感器20L、右眼影像传感器20R，和环境光传感器26，而照明装置30包含一个或复数个红外光光源IR1～IRN(N为大于1的整数)和光源驱动器32。左眼影像传感器20L和右眼影像传感器20R可分别以特定取样频率来撷取使用者左眼和右眼的影像，红外光光源源IR1～IRN用来照亮使用者的眼睛，而光源驱动器32可根据处理器40提供的亮度控制信号S4来控制红外光光源IR1～IRN的工作，进而调整左眼影像传感器20L和右眼影像传感器20R所采集影像的质量。处理器40可根据环境光传感器26所采集环境光源信息来提供亮度控制信号S4，进而控制红外光光源IR1～IRN的工作。上述环境光源可为太阳光或日光灯等，当判定环境光源的亮度等于或高于第一预设值且均匀分布时，处理器40可指示光源驱动器32去调降照明装置30中特定位置/数目的红外光光源的强度，或关闭照明装置30中特定位置/数目的红外光光源，进而减少耗电量。当判定环境光源的亮度低于所述第一预设值或分布不均匀时，处理器40可指示光源驱动器32去调升照明装置30中特定位置/数目的红外光光源的强度，或开启照明装置30中更多数目的红外光光源，进而提高影像质量。
如前所述，感测模块20可另包含至少一滤光元件，用来调整至少一影像传感器对特定波长光线的穿透率。在一实施例中，上述滤光元件仅对于红外光具有高穿透性，并设置于感测模块20中至少一影像传感器之前，因此可减少影像传感器接收到的非红外光成份，进而提高影像传感器所撷取影像的质量。在另一实施例中，当眼动追踪装置100或200安装于一AR装置、一智慧眼镜，或任一具有透镜的眼镜型装置上时，上述滤光元件仅会阻挡红外光通过，并设置于透镜非面向眼睛的那一侧，因此可减少环境中红外光源的干扰，进而增加影像传感器所撷取影像的质量。
图3为本发明实施例中眼动追踪装置100或200使用状态的主视图。图4为本发明实施例中眼动追踪装置100或200使用状态的右视图。为了说明目的，假设眼动追踪装置100或200是安装于一AR装置、一智慧眼镜，或任一具有透镜的眼镜型装置上，且图3和图4仅显示眼动追踪装置100或200中感测模块20所包含的左眼影像传感器20L、右眼影像传感器20R、场景影像传感器20C和滤光元件F1～F3，照明装置30中的一左眼光源IRL和一右眼光源IRR，以及显示眼镜型装置所包含的镜片60和显示荧幕70。由于眼动追踪装置100或200的电源管理模块10、照明装置30中的光源驱动器32、处理器40和记忆单元50可设置在任何合适位置，因此未显示于图3或图4中。
在图3和图4所示的实施例中，滤光元件F1可设置在左眼影像传感器20L和右眼影像传感器20R面向使用者双眼的那一侧，且仅对于红外光具有高穿透性。滤光元件F2可设置在场景影像传感器20C非面向使用者双眼的那一侧，且仅对非红外光具有高穿透性。滤光元件F3可设置在镜片60非面向使用者双眼的那一侧。在本发明实施例中，滤光元件F1-F3可为光学带通滤光片、光学镀膜、或任何对于不同波长光线具有不同穿透性的物质。然而，滤光元件F1-F3的设置位置和种类并不限定本发明的保护范围。
在本发明另一实施例中，滤光元件F1-F3为电子控制式的滤光元件。根据左眼影像传感器20L和右眼影像传感器20R所采集的影像信息、电源管理模块10所提供的电源状态信号S2、及/或环境光传感器26所侦测到的环境光源状态，处理器40可调整滤光元件F1-F3对于不同波长光线穿透性。举例来说，当电源管理模块10所提供的电源状态信号S2表示其输出的电源总量或电源稳定度低于预定范围内时，处理器40除了会调降或关闭照明装置30的光源以减少耗电量外，另会调整滤光元件F1-F3的穿透性以维持左眼影像传感器20L和右眼影像传感器20R所撷取影像的质量。
综上所述，本发明提供一种可根据使用情境切换工作模式的眼动追踪装置。根据电源管理模块的供电状况、影像传感器所采集到的使用者眼睛影像、场景影像传感器所采集的场景影像信息、声音传感器所采集使用者所在环境的声音信息，及/或接近传感器所侦测到的使用者所在环境中相关于眼动追踪工作的动作信息，本发明眼动追踪装置可调整影像传感器的取样频率、调整处理器输出信息的频率，调整照明装置的亮度，或切换眼动追踪装置的工作模式，进而减少耗电量或提高眼动追踪的精准度。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (23)

1.一种眼动追踪装置，其特征在于，包含：
一电源管理模块，用于根据一电源控制信号来供电以使所述眼动追踪装置在一相对应模式下工作，并提供与其供电状态相关的一电源状态信号；
一感测模块，其包含至少一影像传感器，用来以一取样频率来撷取一使用者的一眼睛影像；以及
一处理器，用于：根据所述眼睛影像计算该使用者的一眼睛特征、一眼动信息及/或包含一凝视位置坐标的视线信息；以及，根据所述电源状态信号来调整所述取样频率、调整所述处理器输出信息的频率及/或切换所述眼动追踪装置的工作模式。
2.如权利要求1所述的眼动追踪装置，其特征在于：
当根据所述电源状态信号判定所述电源管理模块所供应的一电源总量或一电源稳定度介于一预定范围内时，所述处理器还用来调降所述取样频率或调降所述处理器输出信息的频率；
当根据所述电源状态信号判定所述电源总量或所述电源稳定度低于所述预定范围时，所述处理器还用来调降所述取样频率、调降所述处理器输出信息的频率以及将所述眼动追踪装置的工作模式从一正常模式切换至一省电模式；
其中，所述眼动追踪装置在所述省电模式下工作时的耗电量低于在所述正常模式下工作时的耗电量。
3.如权利要求1所述的眼动追踪装置，其特征在于，所述眼睛影像包含复数个影像帧；且所述处理器还用于：
判断所述复数个影像帧中是否已经有超过一预定数量的连续影像帧未包含与该使用者脸部信息相关的一预定物体；以及
当判定所述复数个影像帧中已经有超过所述预定数量的连续影像帧未包含所述预定物体时，调降所述取样频率、调降所述处理器输出信息的频率及/或将所述眼动追踪装置的工作模式从一正常模式切换至一省电模式；
其中，所述眼动追踪装置在所述省电模式下工作时的耗电量低于在所述正常模式下工作时的耗电量。
4.如权利要求1所述的眼动追踪装置，其特征在于：所述感测模块另包含一场景影像传感器，用来纪录所述使用者在一视野范围内所看见的一场景影像；且所述处理器另根据该场景影像来调整所述取样频率、所述处理器输出信息的频率及/或切换所述眼动追踪装置的工作模式。
5.如权利要求4所述的眼动追踪装置，其特征在于，所述场景影像包含复数个影像帧；且所述处理器还用于：
判断所述复数个影像帧中是否已经有超过一预定数量的连续影像帧未包含与眼动追踪工作相关的一预定物体；以及
当判定所述复数个影像帧中已经有超过该预定数量的连续影像帧未包含该预定物体时，调降所述取样频率、调降所述处理器输出信息的频率及/或和将所述眼动追踪装置的工作模式从一正常模式切换至一省电模式；
其中，所述眼动追踪装置在所述省电模式下工作时的耗电量低于在所述正常模式下工作时的耗电量。
6.如权利要求4所述的眼动追踪装置，其特征在于，还包括：
一第一滤光元件，设置在所述至少一影像传感器面向所述使用者的一侧，用于让一第一预定波长范围内的光线通过；以及
一第二滤光元件，设置在所述场景影像传感器前，用于让一第二预定波长范围内的光线通过，其中所述第一预定波长范围和所述第二预定波长范围不重叠。
7.如权利要求6所述的眼动追踪装置，其特征在于：所述第一滤光元件和所述第二滤光元件为电子控制式滤光元件；且所述处理器还用于根据所述眼睛影像的质量来调整所述第一滤光元件和所述第二滤光元件的光线穿透率。
8.如权利要求1所述的眼动追踪装置，其特征在于，还包括：
一第一滤光元件，设置在所述至少一影像传感器面向所述使用者的一侧，用于让一第一预定波长范围内的光线通过。
9.如权利要求8所述的眼动追踪装置，其特征在于，安装在包含一镜片的一头戴型装置上，且所述眼动追踪装置另包含：
一第二滤光元件，设置在所述镜片前，用于让一第二预定波长范围内的光线通过，其中所述第一预定波长范围和所述第二预定波长范围不重叠。
10.如权利要求8或9所述的眼动追踪装置，其特征在于：所述第一滤光元件或所述第二滤光元件为电子控制式滤光元件；且所述处理器还用于根据所述眼睛影像的质量来调整所述第一滤光元件或所述第二滤光元件的光线穿透率。
11.如权利要求1所述的眼动追踪装置，其特征在于：所述感测模块还包含一声音传感器，用于采集所述使用者所在环境中的一声音信息；且所述处理器还根据所述声音信息来调整所述取样频率、所述处理器输出信息的频率及/或切换所述眼动追踪装置的工作模式。
12.如权利要求1所述的眼动追踪装置，其特征在于：所述感测模块另包含一接近传感器，用于采集所述使用者所在环境中与眼动追踪工作相关的一动作信息；且所述处理器另根据所述动作信息来调整所述取样频率、所述处理器输出信息的频率及/或切换所述眼动追踪装置的工作模式。
13.如权利要求11或12所述的眼动追踪装置，其特征在于，所述处理器还用于：
根据所述声音信息或所述动作信息判断目前是否有一执行中的眼动追踪工作；以及
当根据所述声音信息或所述动作信息判定目前并没有所述执行中的眼动追踪工作时，调降所述取样频率、调降所述处理器输出信息的频率及/或将所述眼动追踪装置的工作模式从一正常模式切换至一省电模式；
其中，所述眼动追踪装置在所述省电模式下工作时的耗电量低于在所述正常模式下工作时的耗电量。
14.如权利要求1所述的眼动追踪装置，其特征在于，还包括一照明装置，该照明装置包括：
至少一光源，用来照亮所述使用者的眼睛；以及
一光源驱动器，用来根据所述处理器提供的一亮度控制信号来调整所述至少一光源的亮度。
15.如权利要求14所述的眼动追踪装置，其特征在于，所述处理器还用于：
当根据所述电源状态信号判定所述电源管理模块所供应的一电源总量或一电源稳定度低于一预定范围时，提供所述亮度控制信号以指示所述光源驱动器去调降所述至少一光源的亮度或关闭所述至少一光源。
16.如权利要求14所述的眼动追踪装置，其特征在于，所述处理器还用于：
根据所述眼睛影像的质量来提供所述亮度控制信号以指示所述光源驱动器去调整所述至少一光源的亮度。
17.如权利要求15或16所述的眼动追踪装置，其特征在于：当所述眼动追踪装置从一正常模式切换至一省电模式时，所述处理器还用于提供所述亮度控制信号以指示所述光源驱动器去调降所述至少一光源的亮度或关闭所述至少一光源；
其中，所述眼动追踪装置在所述省电模式下工作时的耗电量低于在所述正常模式下工作时的耗电量。
18.如权利要求1所述的眼动追踪装置，其特征在于，还包括一照明装置，该照明装置包括：
复数个光源，分别设置在不同位置以照亮所述使用者的眼睛；以及
一光源驱动器，用于根据一亮度控制信号来分别调整所述复数个光源的亮度；
其中，所述感测模块包含复数个影像传感器，且所述处理器还用于根据所述电源状态信号或所述眼睛影像的质量来选择性地开启或关闭所述复数个光源中位于一个或多个第一特定位置的一个或多个光源，或选择性地开启或关闭所述复数个影像传感器中位于一个或多个第二特定位置的一个或多个影像传感器。
19.如权利要求18所述的眼动追踪装置，其特征在于，所述处理器还用于：
判断所述眼动追踪装置是否正在进行一校正工作或一再校正工作；以及
当判定所述眼动追踪装置正在进行所述校正工作或所述再校正工作时，选择性地开启或关闭所述复数个光源中位于所述一个或多个第一特定位置的一个或多个光源，或选择性地开启或关闭所述复数个影像传感器中位于所述一个或多个第二特定位置的一个或多个影像传感器。
20.如权利要求19所述的眼动追踪装置，其特征在于，所述处理器还用于：
针对目前所述眼动追踪装置的一应用场景，判断所述应用场景对电力维持或眼动追踪工作精确度的优先程度；
根据所述电源状态信号判断所述电源管理模块所供应的一电源总量或一电源稳定度是否低于一预定范围；
判断所述眼睛影像的质量是否低于一预定值；
针对所述电源管理模块所供应的所述电源总量或所述电源稳定度低于所述预定范围的一第一情境、所述眼睛影像的质量低于所述预定值的一第二情境，以及所述眼动追踪装置正在进行所述校正工作或所述再校正工作的一第三情境，判断第一至第三情境中是否有两种情境同时发生；
当判定所述第一至第三情境中至少有两种情境同时发生，且判定所述应用场景是以电力维持为优先时，关闭所述复数个光源中位于所述一个或多个第一特定位置的一个或多个光源以调低所述照明装置的亮度，或关闭所述复数个影像传感器中位于所述一个或多个第二特定位置的一个或多个影像传感器以减少被开启影像传感器的数量；以及
当判定所述第一至第三情境中至少有两种情境同时发生，且判定所述应用场景是以眼动追踪工作精确度为优先时，开启所述复数个光源中位于所述一个或多个第一特定位置的一个或多个光源以调高所述照明装置的亮度，或开启所述复数个影像传感器中位于所述一个或多个第二特定位置的一个或多个影像传感器以增加被开启影像传感器的数量。
21.如权利要求18所述的眼动追踪装置，其特征在于：所述感测模块还包含一环境光传感器，用于采集所述使用者所在环境中的一环境光源信息；且所述处理器还用于：
当根据所述环境光源信息判定所述使用者所在环境中存在亮度高于预定亮度值且分布均匀的环境光源时，关闭所述复数个光源中位于所述一个或多个第一特定位置的一个或多个光源以调低所述照明装置的亮度；以及
当根据所述环境光源信息判定所述使用者所在环境中环境光亮度低于所述预定亮度值或分布不均匀时，开启所述复数个光源中位于所述一个或多个第一特定位置的一个或多个光源以调高照明装置的亮度。
22.如权利要求1所述的眼动追踪装置，其特征在于，还包括一照明装置，该照明装置包括：一左眼光源，用来照亮使用者的左眼；一右眼光源，用来照亮该使用者之右眼；以及一光源驱动器，用于根据一亮度控制信号来分别调整所述左眼光源和所述右眼光源的亮度；
所述感测模块包括：
一左眼影像传感器，用于以一左眼取样频率来撷取使用者的左眼影像；以及
一右眼影像传感器，用于以一右眼取样频率来撷取使用者的右眼影像；
所述处理器还用于：
接收所述左眼影像和所述右眼影像，并判断所述左眼影像和所述右眼影像的质量；
根据所述左眼影像的质量来选择性地调整所述左眼影像传感器和所述左眼光源的工作；以及
根据所述右眼影像的质量来选择性地调整所述右眼影像传感器和所述右眼光源的工作。
23.如权利要求1所述的眼动追踪装置，其特征在于，还包括：
一记忆单元，用来储存所述处理器针对所述眼动追踪装置不同工作模式的固件设置。
CN202010463727.9A 2019-05-28 2020-05-27 一种眼动追踪装置 Active CN112015265B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962853173P 2019-05-28 2019-05-28
US62/853,173 2019-05-28
US202062957279P 2020-01-05 2020-01-05
US62/957,279 2020-01-05

Publications (2)

Publication Number Publication Date
CN112015265A true CN112015265A (zh) 2020-12-01
CN112015265B CN112015265B (zh) 2024-02-23

Family

ID=73506292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010463727.9A Active CN112015265B (zh) 2019-05-28 2020-05-27 一种眼动追踪装置

Country Status (3)

Country Link
US (1) US11140319B2 (zh)
CN (1) CN112015265B (zh)
TW (1) TWI781404B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101926942B1 (ko) * 2013-09-03 2019-03-07 토비 에이비 휴대용 눈 추적 디바이스
SE545387C2 (en) * 2021-06-30 2023-07-25 Tobii Ab Method, computer program product, control unit and head-mounted display for conserving energy in an eye tracking system
CN116107419A (zh) * 2021-11-10 2023-05-12 华为技术有限公司 一种与电子设备进行交互的方法及电子设备
US11914093B2 (en) * 2021-12-07 2024-02-27 Microsoft Technology Licensing, Llc RF antenna scanning for human movement classification
US11720168B1 (en) 2022-05-25 2023-08-08 Microsoft Technology Licensing, Llc Inferred body movement using wearable RF antennas
US11775057B1 (en) * 2022-05-25 2023-10-03 Microsoft Technology Licensing, Llc Head-mounted display operation based on face tracking
TWI814669B (zh) * 2022-12-28 2023-09-01 華碩電腦股份有限公司 影像感測器的電源穩定度檢測方法與檢測裝置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043382A (ja) * 1999-07-27 2001-02-16 Fujitsu Ltd 目追跡装置
US20100220291A1 (en) * 2009-03-02 2010-09-02 Honeywell International Inc. Wearable eye tracking system
US20130106681A1 (en) * 2011-10-27 2013-05-02 Tobii Technology Ab Power management in an eye-tracking system
US20150049013A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
JP2015058246A (ja) * 2013-09-20 2015-03-30 大日本印刷株式会社 視線分析システム
CN105814584A (zh) * 2013-12-09 2016-07-27 传感运动器具创新传感技术有限公司 用于操作眼睛跟踪设备的方法和用于提供主动功率管理的眼睛跟踪设备
WO2016124668A1 (en) * 2015-02-04 2016-08-11 IT-Universitetet i København A gaze tracker and a gaze tracking method
WO2017001146A1 (en) * 2015-06-29 2017-01-05 Essilor International (Compagnie Générale d'Optique) A scene image analysis module
KR20170050034A (ko) * 2015-10-29 2017-05-11 디노플러스 (주) 광고시청자 시선추적에 의한 디지털 사이니지 광고시청 분석장치 및 그 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090268045A1 (en) * 2007-08-02 2009-10-29 Sudipto Sur Apparatus and methods for configuration and optimization of image sensors for gaze tracking applications
US9851787B2 (en) * 2012-11-29 2017-12-26 Microsoft Technology Licensing, Llc Display resource management
KR102548199B1 (ko) * 2016-08-03 2023-06-28 삼성전자주식회사 전자 장치 및 전자 장치의 시선 추적 방법
US10627899B2 (en) * 2018-02-09 2020-04-21 Microsoft Technology Licensing, Llc Eye tracking system for use in a visible light display device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043382A (ja) * 1999-07-27 2001-02-16 Fujitsu Ltd 目追跡装置
US20100220291A1 (en) * 2009-03-02 2010-09-02 Honeywell International Inc. Wearable eye tracking system
US20130106681A1 (en) * 2011-10-27 2013-05-02 Tobii Technology Ab Power management in an eye-tracking system
US20150049013A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
JP2015058246A (ja) * 2013-09-20 2015-03-30 大日本印刷株式会社 視線分析システム
CN105814584A (zh) * 2013-12-09 2016-07-27 传感运动器具创新传感技术有限公司 用于操作眼睛跟踪设备的方法和用于提供主动功率管理的眼睛跟踪设备
WO2016124668A1 (en) * 2015-02-04 2016-08-11 IT-Universitetet i København A gaze tracker and a gaze tracking method
WO2017001146A1 (en) * 2015-06-29 2017-01-05 Essilor International (Compagnie Générale d'Optique) A scene image analysis module
KR20170050034A (ko) * 2015-10-29 2017-05-11 디노플러스 (주) 광고시청자 시선추적에 의한 디지털 사이니지 광고시청 분석장치 및 그 방법

Also Published As

Publication number Publication date
US11140319B2 (en) 2021-10-05
US20200382717A1 (en) 2020-12-03
CN112015265B (zh) 2024-02-23
TW202101976A (zh) 2021-01-01
TWI781404B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN112015265B (zh) 一种眼动追踪装置
US9064445B2 (en) Transmission type display device, display method and display program
US20220265142A1 (en) Portable eye tracking device
US11616906B2 (en) Electronic system with eye protection in response to user distance
EP3598207B1 (en) Eyewear
CN111095077B (zh) 具有自适应显示器的电子设备
US9081416B2 (en) Device, head mounted display, control method of device and control method of head mounted display
US20180227470A1 (en) Gaze assisted field of view control
CN104573667A (zh) 一种提高移动终端的虹膜图像质量的虹膜识别装置
US20180247119A1 (en) Determining eye openness with an eye tracking device
EP3210202B1 (en) Illumination perception augmentation method, computer program products, head-mountable computing device and lighting system
JP5341054B2 (ja) 電子メガネ
TW201737237A (zh) 電子裝置、螢幕調節系統及方法
JP6464729B2 (ja) 表示装置、及び、表示装置の制御方法
US11216066B2 (en) Display device, learning device, and control method of display device
US11071650B2 (en) Visibility enhancing eyewear
US20220273171A1 (en) Influencing pupil diameter to improve vision
KR20150115519A (ko) 조명 시스템 및 그 동작방법
US11810532B2 (en) Systems for monitoring and regulating harmful blue light exposure from digital devices
CN112764517A (zh) 控制方法、穿戴设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant