CN108958473B - 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 - Google Patents

眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 Download PDF

Info

Publication number
CN108958473B
CN108958473B CN201810526615.6A CN201810526615A CN108958473B CN 108958473 B CN108958473 B CN 108958473B CN 201810526615 A CN201810526615 A CN 201810526615A CN 108958473 B CN108958473 B CN 108958473B
Authority
CN
China
Prior art keywords
eye
pupil
processing circuit
correction
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810526615.6A
Other languages
English (en)
Other versions
CN108958473A (zh
Inventor
林咏真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN108958473A publication Critical patent/CN108958473A/zh
Application granted granted Critical
Publication of CN108958473B publication Critical patent/CN108958473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种眼球追踪方法、电子装置及非暂态电脑可读取记录媒体。眼球追踪方法包含：由一摄影装置，捕捉一眼睛的一影像；由一处理电路，侦测眼睛的影像中的一瞳孔感兴趣区域；由处理电路，分析瞳孔感兴趣区域，以取得瞳孔感兴趣区域的一凝视向量；由处理电路，根据凝视向量，基于一眼球模型计算眼睛的一视点，其中眼球模型包含用以代表眼睛的视点与瞳孔感兴趣区域的凝视向量之间关系的一矩阵；以及由处理电路，基于利用眼球模型计算而得的视点追踪眼睛的运动。如此一来，眼球追踪器便可通过初始的一次性校正成功进行眼球追踪的程序。

Description

眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
技术领域
本公开内容涉及一种电子装置及一种眼球追踪方法，且特别涉及用于头戴式显示装置(Head Mount Display，HMD)中的电子装置及眼球追踪方法。
背景技术
近来，眼球追踪方法被广泛使用在各种应用当中。举例来说，于虚拟现实(VirtualReality，VR)或增强现实(Augmented Reality，AR)的应用当中，眼球追踪方法被用在VR或AR系统中追踪使用者的凝视方向以提供VR或AR环境中相应的反应及/或控制。
发明内容
本公开内容的一实施方式为一种眼球追踪方法。眼球追踪方法包含：由一摄影装置，捕捉一眼睛的一影像；由一处理电路，侦测眼睛的影像中的一瞳孔感兴趣区域；由处理电路，分析瞳孔感兴趣区域，以取得瞳孔感兴趣区域的一凝视向量；由处理电路，根据凝视向量，基于一眼球模型计算眼睛的一视点，其中眼球模型包含用以代表眼睛的视点与瞳孔感兴趣区域的凝视向量之间关系的一矩阵；以及由处理电路，基于利用眼球模型计算而得的视点追踪眼睛的运动。
在部分实施例中，眼球追踪方法还包含：由摄影装置，捕捉眼睛的多个校正影像，其中校正影像分别代表多个校正视角；由处理电路，分别侦测校正影像中的多个校正瞳孔感兴趣区域；由处理电路，分析校正瞳孔感兴趣区域，以相应取得多个校正向量；以及根据校正向量以及相应于校正向量的校正视角取得眼球模型。
在部分实施例中，眼球追踪方法还包含：由一显示装置，依序于多帧画面中显示多个校正凝视点，其中校正凝视点分别对应于校正视角；以及由摄影装置，依序于帧画面中捕捉眼睛的校正影像。
在部分实施例中，凝视向量包含代表瞳孔感兴趣区域的形状的一长轴与一短轴。
在部分实施例中，眼球追踪方法还包含：由处理电路，基于眼球模型，根据长轴的角度计算视点的一角坐标；由处理电路，基于眼球模型，根据长轴与短轴的比值计算视点的一径向坐标；以及由处理电路，根据角坐标以及径向坐标，取得眼睛的视点。
在部分实施例中，侦测瞳孔感兴趣区域包含：由处理电路，判断眼睛的影像中的一瞳孔中心；由处理电路，判断眼睛的影像中的一瞳孔轮廓；以及由处理电路，根据瞳孔中心与瞳孔轮廓匹配一椭圆至瞳孔以取得瞳孔感兴趣区域。
在部分实施例中，眼球追踪方法还包含：由一或多个红外光发光二极管元件，提供一或多红外光束，其中眼睛的影像是利用一或多红外光束捕捉。
本公开内容的另一实施方式为一种电子装置。电子装置包含摄影装置、处理电路、存储器以及一或多程序。处理电路，电性连接于摄影装置。存储器电性连接处理电路。一或多程序存储于存储器中，并用以被处理电路所执行，一或多程序包括以下指令：控制摄影装置捕捉一眼睛的一影像；侦测眼睛的影像中的一瞳孔感兴趣区域；分析瞳孔感兴趣区域，以取得瞳孔感兴趣区域的一凝视向量；根据凝视向量，基于一眼球模型计算眼睛的一视点，其中眼球模型包含用以代表眼睛的视点与瞳孔感兴趣区域的凝视向量之间关系的一矩阵；以及基于利用眼球模型计算而得的视点追踪眼睛的运动。
在部分实施例中，一或多程序还包括以下指令：控制摄影装置捕捉眼睛的多个校正影像，其中校正影像分别代表多个校正视角；分别侦测校正影像中的多个校正瞳孔感兴趣区域；分析校正瞳孔感兴趣区域，以相应取得多个校正向量；以及根据校正向量以及相应于校正向量的校正视角取得眼球模型。
本公开内容的又一实施方式为一种非暂态电脑可读取记录媒体。非暂态电脑可读取记录媒体用以存储包含多个指令的一或多个电脑程序，当执行指令时，将致使一处理电路执行多个操作包含：控制一摄影装置捕捉一眼睛的一影像；侦测眼睛的影像中的一瞳孔感兴趣区域；分析瞳孔感兴趣区域，以取得瞳孔感兴趣区域的一凝视向量；根据凝视向量，基于一眼球模型计算眼睛的一视点，其中眼球模型包含用以代表眼睛的视点与瞳孔感兴趣区域的凝视向量之间关系的一矩阵；以及基于利用眼球模型计算而得的视点追踪眼睛的运动。
综上所述，采用瞳孔中心－椭圆比值(Pupil Center-Ellipse Ratio，PCER)的眼球追踪方法可由上述讨论的各个实施例实现，使得眼球追踪器可通过初始的一次性校正成功进行眼球追踪的程序。
附图说明
图1为根据本公开内容部分实施例所示出的电子装置的方框示意图。
图2为根据本公开内容部分实施例所示出的眼球追踪方法的流程图。
图3为根据本公开内容部分实施例所示出的操作的细节流程图。
图4A以及图4B为根据本公开内容部分实施例所示出的电子装置的操作示意图。
图5A以及图5B为根据本公开内容部分实施例所示出的电子装置的操作示意图。
图6为根据本公开内容部分实施例所示出的操作的细节流程图。
图7A是根据本公开内容部分实施例所示出的操作的细节流程图。
图7B为根据本公开内容部分实施例所示出的电子装置的操作示意图。
图8为根据本公开内容其他部分实施例所示出的眼球追踪方法的流程图。
图9为根据本公开内容部分实施例所示出的电子装置的操作示意图。
附图标记说明：
100 电子装置
110 处理电路
120 存储器
130 摄影装置
142、144、146 红外光发光二极管元件
150 显示装置
200 眼睛
300 眼睛
900 眼球追踪方法
P1 软件程序
S1～S6、S11～S14、S31～S36、S51～S53、S301～S302 操作
VD1、VD2、VD3 视角
CP1～CP9 校正凝视点
E1、E2 椭圆
E1a、E2a 长轴
E1b、E2b 短轴
VP 视点
r 径向坐标
α 角坐标
PL 成相平面
IMG 影像
Ri 瞳孔感兴趣区域
Re 估计瞳孔区域
具体实施方式
以下将以附图及详细叙述清楚说明本公开内容的精神，任何所属技术领域中技术人员在了解本公开内容的实施例后，当可由本公开内容所教示的技术，加以改变及修饰，其并不脱离本公开内容的精神与范围。下述说明中相同元件将以相同的符号标示来进行说明以便于理解。
请参考图1。图1为根据本公开内容部分实施例所示出的电子装置100的方框示意图。电子装置100可用以执行眼球追踪以侦测使用者的凝视方向。具体来说，在部分实施例中，电子装置100可应用于一虚拟现实(Virtual Reality，VR)/混合现实(Mixed Reality，MR)/增强现实(Augmented Reality，AR)系统当中。举例来说，电子装置100可由独立头戴式显示器(Head Mounted Device，HMD)或是VIVE头戴式显示器实现。具体来说，独立头戴式显示器可处理包含方位、旋转的位置数据处理、图像处理或其他数据运算等。
如图1所示，电子装置100包含处理电路110、存储器120、摄影装置(Camera)130、红外光发光二极管元件142、144、146，以及显示装置150。一或多个软件程序P1存储于存储器120中并用以被处理电路110执行，以执行眼球追踪方法。
在结构上，处理电路110电性连接于摄影装置130。在部分实施例中，处理电路110例如可用一或多处理器，例如中央处理器(central processor)及/或微处理器(microprocessor)等处理器实现，但不以此为限。在部分实施例中，存储器120可包括一或多个存储器装置，其中每一存储器装置或多个存储器装置的集合包括电脑可读取记录媒体。电脑可读取记录媒体可包括只读存储器、快闪存储器、软盘、硬盘、光盘、U盘、磁带、可由网络存取的数据库、或本领域技术人员可轻易想到的具有相同功能的电脑可读取记录媒体。
在结构上，存储器120电性连接于处理电路110。摄影装置130用以捕捉使用者的眼睛的一或多个影像，使得处理电路110可分析影像以执行眼球追踪。在部分实施例中，摄影装置130可由红外光摄影机实现。一或多个红外光发光二极管元件(IR LED unit)142、144、146可电性连接于处理电路110并用以提供一或多束红外光束，其中眼睛的影像是通过红外光摄影机利用一或多红外光束捕捉。值得注意的是，在图1中所示出的实施例仅为示例，并非用以限制本公开内容。换言之，红外光发光二极管元件142、144、146的数量、位置、及/或设置方式在各个不同实施例中皆可根据实际需求进行调整。显示装置150电性连接于处理电路110，使得显示装置150所显示的视频或音频内容可通过处理电路110进行控制。
请参考图2。为了更佳地理解本公开内容，电子装置100的详细操作将搭配图2中所示实施例进行说明。图2为根据本公开内容部分实施例所示出的眼球追踪方法900的流程图。值得注意的是，眼球追踪方法900可应用于相同或相似于图1中所示结构的电子装置100。为使叙述简单，以下将根据本公开内容部分实施例，以图1中的实施例为例进行对眼球追踪方法900的说明，然而本公开内容不以图1中的实施例的应用为限。
如图2所示，眼球追踪方法900包含操作S1、S2、S3、S4、S5以及操作S6。在操作S1中，处理电路110用以取得眼球模型。
请一并参考图3。图3为根据本公开内容部分实施例所示出的操作S1的细节流程图。
如图3所示，在部分实施例中，操作S1包含操作S11、S12、S13以及操作S14。在操作S11中，处理电路110用以控制摄影装置130捕捉眼睛的多个校正影像。
请参考图4A以及图4B。图4A以及图4B为根据本公开内容部分实施例所示出的电子装置100的操作示意图。
如图4A与图4B所示，具体而言，在操作S11中，处理电路110可用以控制显示装置150依序于多帧画面中显示多个校正凝视点CP1～CP9。校正凝视点CP1～CP9分别对应于多个校正视角。
举例来说，在图4A所示出的第一帧画面中，显示装置150显示相应的校正凝视点CP1，其对应于校正视角VD1。在图4B所示出的次一帧画面中，显示装置150显示相应的校正凝视点CP2，其对应于校正视角VD2，以此类推。
如此一来，处理电路110便可用以控制摄影装置130依序于各个帧画面中捕捉眼睛的多个校正影像。
接着，在操作S12中，处理电路在操作110用以分别侦测校正影像中的多个校正瞳孔感兴趣区域(Region ofInterest，ROI)。
具体来说，处理电路110可对校正影像进行特征撷取(feature extraction)以找出相应的校正瞳孔感兴趣区域。举例来说，可进行影像过滤(image filtering)以调整或增强眼睛的影像以强调瞳孔特征及/或移除其他特征，并降低或滤除影像中的杂讯。当影像中有两个以上的候选目标时，亦可通过适当的影像过滤方法滤除错误目标。
在部分实施例中，哈尔特征(Haar-like feature)可用来计算影像中的特征。接着，可应用平均移动演算法(mean shift algorithm)进行图像分割并相应判断眼睛影像中瞳孔的瞳孔中心以及瞳孔轮廓。在其他部分实施例中，与电脑视觉相关的机器学习/深度学习方法可应用以辨认并判断眼睛影像中瞳孔的瞳孔中心以及瞳孔轮廓。举例来说，可应用卷积神经网络(Convolutional Neural Network，CNN)，但本公开内容并不以此为限。
换言之，在操作S12中，处理电路110可用以判断眼睛的影像中的瞳孔中心，并判断眼睛的影像中的瞳孔轮廓。接着，处理电路110可根据瞳孔中心与瞳孔轮廓匹配一椭圆至瞳孔以取得校正瞳孔感兴趣区域。
接着，在操作S13中，处理电路用以分析校正瞳孔感兴趣区域，以相应取得多个校正向量。
请参考图5A以及图5B。图5A以及图5B为根据本公开内容部分实施例所示出的电子装置100的操作示意图。如图5A以及图5B所示，校正瞳孔感兴趣区域分别被匹配至具有不同中心坐标，不同旋转角度及/或不同长轴E1a、E2a与短轴E1b、E2b的椭圆E1、E2。换言之，当使用者看向不同校正视角时，不同椭圆E1、E2匹配作为校正瞳孔感兴趣区域。如此一来，便可计算并取得椭圆E1、E2的长轴E1a、E2a与短轴E1b、E2b的参数作为校正向量。在一实施例中，校正向量可由椭圆E1、E2的长轴E1a、E2a与短轴E1b、E2b所形成的表面的法向量实现。
因此，当取得校正向量后，便可执行操作S14。在操作S14中，处理电路110用以根据校正向量以及相应于校正向量的校正视角取得眼球模型。举例来说，眼球模型可包含用以代表眼睛的视点与瞳孔感兴趣区域的凝视向量之间关系的矩阵。具体来说，在部分实施例中，可取得一个多项式代表椭圆参数(如：长轴与短轴)与代表眼睛的凝视方向的相应的凝视点的极坐标之间的关系。眼球模型可包含上述多项式的相伴矩阵(companion matrix)以表示其关系。
如此一来，在操作S1取得眼球模型后，便可在后续的操作S2～S6中执行眼球追踪，以搭配使用者穿戴头戴式装置时与显示装置150中的显示内容进行各种互动。由于在操作S1中对眼球模型的进行了校正以配合一或多个使用者特定的瞳孔形状，眼球追踪的准确度得以提升。
在操作S2中，处理电路110用以控制摄影装置130捕捉眼睛的影像。接着，在操作S3中，处理电路110用以侦测眼睛的影像中的瞳孔感兴趣区域。侦测瞳孔感兴趣区域的操作与操作S1中侦测校正瞳孔感兴趣区域的操作相似。请参考图6。图6为根据本公开内容部分实施例所示出的操作S3的细节流程图。
如图6所示，在操作S31中，处理电路110判断是否存在先前的瞳孔感兴趣区域。当存在先前的瞳孔感兴趣区域时，表示目标已被追踪，便相应执行操作S33。若不存在先前的瞳孔感兴趣区域时，表示追失目标或是处于初始状态，并执行操作S32以进行特征撷取，于特征撷取中，可应用哈尔特征串接(haar like cascade)或卷积神经网络演算法。
接着，在操作S33与S34中，可对感兴趣区域的中心进行平均移动追踪(mean shifttracking)，并进行平均移动图像分割以寻找瞳孔中心以及瞳孔轮廓。接着，于操作S35中，根据瞳孔中心以及瞳孔轮廓匹配相应的椭圆。最后，在操作S36中执行并确认验证程序后，便可取得瞳孔感兴趣区域。本技术领域技术人员可理解图6中所示出的详细操作，故不再于此赘述。
接着，在操作S4中，处理电路110用以分析瞳孔感兴趣区域以取得瞳孔感兴趣区域的凝视向量。
在部分实施例中，凝视向量包含代表瞳孔感兴趣区域的形状的长轴与短轴。如先前于图5A与图5B的讨论，瞳孔感兴趣区域，与校正瞳孔感兴趣区域一般，可为相应的一椭圆，其中椭圆的长轴与短轴可用以辨认视角。
接着，在操作S5，处理电路110用以根据凝视向量，基于眼球模型计算眼睛的视点。请参考图7A。图7A是根据本公开内容部分实施例所示出的操作S5的细节流程图。
如图7A所示，在操作S51中，处理电路110用以基于眼球模型，根据长轴的角度计算视点的角坐标。在操作S52中，处理电路110用以基于眼球模型，根据长轴与短轴的比值计算视点的径向坐标。最后，在操作S53中，由处理电路110根据角坐标以及径向坐标，取得眼睛的视点。
请相应参考图7B。图7B为根据本公开内容部分实施例所示出的电子装置100的操作示意图。如图7B所示，使用者以视角VD3凝视显示装置150的屏幕上的视点VP。当视点VP以极坐标系统表示时，视点VP的角坐标α对应到长轴的角度。此外，视点VP的径向坐标r对应到长轴与短轴的比值。举例来说，当视点VP远离中心时，椭圆的椭圆率(ellipticity)增加，并导致长轴与短轴之间的比值增大。换言之，当长轴与短轴的比值越大，径向坐标r越大。此外，当视点VP的角坐标α变化时，椭圆的旋转角度也相应变化，并导致长轴角度改变。如此一来，通过应用于操作S1当中取得的眼球模型，眼睛的视点VP以及视角VD3便可被计算并取得。
因此，在操作S6中，处理电路110可基于利用眼球模型计算而得的视点，追踪眼睛的运动，并实现眼球追踪以跟踪使用者的凝视角度，以适当的执行互动。举例来说，处理电路110可基于使用者的凝视角度，控制显示装置150所显示的视频及音频内容，以提供更流畅的VR体验及/或友善的使用者互动介面(界面，接口)。
综上所述，采用瞳孔中心－椭圆比值(Pupil Center-Ellipse Ratio，PCER)的眼球追踪方法可由上述讨论的各个实施例实现，使得眼球追踪器可通过初始的一次性校正成功进行眼球追踪的程序。
请参考图8。图8为根据本公开内容其他部分实施例所示出的眼球追踪方法900的流程图。于图8中，与图2的实施例有关的相似元件以相同的参考标号表示以便于理解，且相似元件的具体原理已于先前段落中详细说明，若非与图8的元件间具有协同运作关系而必要介绍者，于此不再赘述。
和图2所示实施例相比，在图8所示实施例中，眼球追踪方法还包含操作S301以及S302以执行一头部位置校正。相应于使用者的运动状态，例如点头或摇头，头戴式显示器的相对位置及/或角度可能会发生位移。执行头部位置校正可优化眼球模型以增进眼球追踪的准确度。
在操作S301中，处理电路110用以基于眼球模型计算眼睛的影像中的估计瞳孔区域。接着，在操作S302中，处理电路110用以量测估计瞳孔区域以及瞳孔感兴趣区域之间的相似值(similarity)以对眼球模型进行优化。如此一来，在后续的操作S5中，便可根据凝视向量，基于优化后的眼球模型计算眼睛的视点。在后续的操作S6中，便可基于优化后的眼球模型计算而得的视点追踪眼睛的运动。
请参考图9。图9为根据本公开内容部分实施例所示出的电子装置100的操作示意图。如图9所示，眼睛200代表由处理电路110取得的估计的三维眼球模型的位置。另一方面，眼睛300代表使用者实时的实际眼球位置。
如此一来，对于由摄影装置130于成相平面PL上所捕捉的影像IMG，基于眼球模型计算而得的估计瞳孔区域Re与由影像分析所取得的瞳孔感兴趣区域Ri并非完全重合。
因此，通过于操作S302中比较估计瞳孔区域Re以及瞳孔感兴趣区域Ri之间的相似值，便可评价眼球模型的准确度，当原始的眼球模型由于头戴式装置的位置及/或角度改变而无法适用时，眼球模型亦可相应进行优化。
具体来说，在操作S302中，处理电路110可用以依序于不同时间点量测多个估计瞳孔区域Re与多个瞳孔感兴趣区域Ri之间的多个误差值。接着，处理电路110可根据误差值对眼球模型进行优化，以最小化代价函数(cost function)。
举例来说，在部分实施例中，代价函数可由下列各式表示：
qe＝ARTMpe
qi＝[u v w ρ]T
Figure BDA0001668830310000101
在上式中，A代表摄影装置的内部参数矩阵，R代表旋转矩阵，T代表位移矩阵，M代表折射矩阵。pe代表估计三维眼球模型中瞳孔轮廓上的一点。相应地，qe代表三维眼球模型中瞳孔轮廓上的预测的二维影像点(如：估计瞳孔区域Re的一影像点)。Qi代表瞳孔轮廓上的实际的二维影像点(如：瞳孔感兴趣区域Ri的一影像点)。F(R，T)代表空间限制下的代价函数。在部分实施例中，空间限制下的代价函数表示眼球的适眼距(eye relief)及/或眼眶(eye box)的限制，但本公开内容并不以此为限。
如此一来，便可应用各种机器学习方法以最小化估计瞳孔区域Re与瞳孔感兴趣区域Ri之间误差值的代价，以优化眼球模型。经优化过后的眼球模型，与眼球模型相似，包含用以代表眼睛的视点与瞳孔感兴趣区域的凝视向量之间关系的矩阵。
在部分实施例中，于操作S301与S302的头部校正程序中，头部的移动和转动亦可通过眼球模型以及所取得的影像相应估测。换言之，可判断头部的面朝方向。如此一来，在显示平面的位置以及视轴已知的条件下，视点可计算为视轴与显示平面的交点。因此，使用者头部的旋转与移动便可在眼球追踪的过程中纳入考虑。
值得注意的是，上述头部位置校正程序亦可应用在其他眼球追踪方法当中，例如采用瞳孔中心－角膜反射(Pupil Center-Corneal Reflection，PCCR)的眼球追踪方法当中，其眼球模型可由各种不同方式取得，并不限于图3至图6的实施例中的操作S11-S14的方式。
通过上述各个实施例的操作，便可实作具有头部校正的眼球追踪方法以实现VR、AR、MR应用中的眼球追踪器，并增进眼球追踪的准确度，为使用者穿戴头戴式装置与VR、AR、MR环境中的物件互动时带来更流畅的使用者体验。
值得注意的是，上述实施例是经简化以便较佳地理解本公开内容。在部分实施例中，眼球追踪方法900的上述操作可实作为一电脑程序。当电脑程序是被一电脑、一电子装置，或图1中处理电路110所执行，此执行装置执行眼球追踪方法900。电脑程序可被存储于一非暂态电脑可读取记录媒体，例如一只读存储器、一快闪存储器、一软盘、一硬盘、一光盘、一快闪碟、一U盘、一磁带、一可从网络读取的数据库，或任何本公开内容所属技术领域中技术人员所能想到具有相同功能的记录媒体。
另外，应了解到，在所提及的眼球追踪方法900的操作，除特别叙明其顺序者外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行。
再者，在本公开内容的不同实施例中，眼球追踪方法900中的此些操作亦可适应性地增加、置换、及/或省略。
虽然本公开内容已以实施方式公开如上，然其并非用以限定本公开内容，任何本领域技术人员，在不脱离本公开内容的精神和范围内，当可作各种变动与润饰，因此本公开内容的保护范围当视权利要求所界定者为准。

Claims (8)

1.一种眼球追踪方法，其特征在于包含：
由一摄影装置，捕捉一眼睛的一影像；
由一处理电路，侦测该眼睛的该影像中的一瞳孔感兴趣区域；
由该处理电路，分析该瞳孔感兴趣区域，以取得该瞳孔感兴趣区域的一凝视向量，该凝视向量包含代表该瞳孔感兴趣区域的形状的一长轴与一短轴；
取得一眼球模型，其中该眼球模型包含一多项式的相伴矩阵，该多项式代表该长轴与该短轴与一视点的极坐标之间的关系；
由该处理电路，基于该眼球模型，根据该长轴的角度计算该视点的一角坐标；
由该处理电路，基于该眼球模型，根据该长轴与该短轴的比值计算该视点的一径向坐标；以及
由该处理电路，基于利用该眼球模型计算而得的该视点追踪该眼睛的运动。
2.如权利要求1所述的眼球追踪方法，其特征在于还包含：
由该摄影装置，捕捉该眼睛的多个校正影像，其中该些校正影像分别代表多个校正视角；
由该处理电路，分别侦测该些校正影像中的多个校正瞳孔感兴趣区域；
由该处理电路，分析该些校正瞳孔感兴趣区域，以相应取得多个校正向量；以及
根据该些校正向量以及相应于该些校正向量的该些校正视角取得该眼球模型。
3.如权利要求2所述的眼球追踪方法，其特征在于还包含：
由一显示装置，依序于多帧画面中显示多个校正凝视点，其中该些校正凝视点分别对应于该些校正视角；以及
由该摄影装置，依序于该些帧画面中捕捉该眼睛的该些校正影像。
4.如权利要求1所述的眼球追踪方法，其特征在于侦测该瞳孔感兴趣区域包含：
由该处理电路，判断该眼睛的该影像中的一瞳孔中心；
由该处理电路，判断该眼睛的该影像中的一瞳孔轮廓；以及
由该处理电路，根据该瞳孔中心与该瞳孔轮廓匹配一椭圆至瞳孔以取得该瞳孔感兴趣区域。
5.如权利要求1所述的眼球追踪方法，其特征在于还包含：
由一或多个红外光发光二极管元件，提供一或多红外光束，其中该眼睛的该影像是利用该一或多红外光束捕捉。
6.一种电子装置，其特征在于包含：
一摄影装置；
一处理电路，电性连接于该摄影装置；
一存储器，电性连接该处理电路；以及
一或多程序，其中该一或多程序存储于该存储器中，并用以被该处理电路所执行，该一或多程序包括以下指令：
控制该摄影装置捕捉一眼睛的一影像；
侦测该眼睛的该影像中的一瞳孔感兴趣区域；
分析该瞳孔感兴趣区域，以取得该瞳孔感兴趣区域的一凝视向量，该凝视向量包含代表该瞳孔感兴趣区域的形状的一长轴与一短轴；
取得一眼球模型，其中该眼球模型包含一多项式的相伴矩阵，该多项式代表该长轴与该短轴与一视点的极坐标之间的关系；
基于该眼球模型，根据该长轴的角度计算该视点的一角坐标；
基于该眼球模型，根据该长轴与该短轴的比值计算该视点的一径向坐标；以及
基于利用该眼球模型计算而得的该视点追踪该眼睛的运动。
7.如权利要求6所述的电子装置，其特征在于该一或多程序还包括以下指令：
控制该摄影装置捕捉该眼睛的多个校正影像，其中该些校正影像分别代表多个校正视角；
分别侦测该些校正影像中的多个校正瞳孔感兴趣区域；
分析该些校正瞳孔感兴趣区域，以相应取得多个校正向量；以及
根据该些校正向量以及相应于该些校正向量的该些校正视角取得该眼球模型。
8.一种非暂态电脑可读取记录媒体，其特征在于该非暂态电脑可读取记录媒体用以存储包含多个指令的一或多个电脑程序，当执行该些指令时，将致使一处理电路执行多个操作包含：
控制一摄影装置捕捉一眼睛的一影像；
侦测该眼睛的该影像中的一瞳孔感兴趣区域；
分析该瞳孔感兴趣区域，以取得该瞳孔感兴趣区域的一凝视向量，该凝视向量包含代表该瞳孔感兴趣区域的形状的一长轴与一短轴；
取得一眼球模型，其中该眼球模型包含一多项式的相伴矩阵，该多项式代表该长轴与该短轴与一视点的极坐标之间的关系；
基于该眼球模型，根据该长轴的角度计算该视点的一角坐标；
基于该眼球模型，根据该长轴与该短轴的比值计算该视点的一径向坐标；以及
基于利用该眼球模型计算而得的该视点追踪该眼睛的运动。
CN201810526615.6A 2017-05-22 2018-05-22 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 Active CN108958473B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762509196P 2017-05-22 2017-05-22
US62/509,196 2017-05-22

Publications (2)

Publication Number Publication Date
CN108958473A CN108958473A (zh) 2018-12-07
CN108958473B true CN108958473B (zh) 2020-08-07

Family

ID=62235835

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810497248.1A Withdrawn CN108960045A (zh) 2017-05-22 2018-05-22 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
CN201810526615.6A Active CN108958473B (zh) 2017-05-22 2018-05-22 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810497248.1A Withdrawn CN108960045A (zh) 2017-05-22 2018-05-22 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体

Country Status (4)

Country Link
US (2) US20180335839A1 (zh)
EP (2) EP3410347A1 (zh)
CN (2) CN108960045A (zh)
TW (2) TW201901528A (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018061621A (ja) * 2016-10-11 2018-04-19 オプトス ピーエルシー 眼底画像撮影装置、眼底画像撮影方法、及び眼底画像撮影プログラム
EP3486834A1 (en) * 2017-11-16 2019-05-22 Smart Eye AB Detection of a pose of an eye
TWI674518B (zh) 2018-11-28 2019-10-11 國立臺灣大學 眼球追蹤的校正方法和其裝置
TWI676821B (zh) * 2018-12-11 2019-11-11 國立臺灣大學 適應性視線追蹤的校正方法
TWI688254B (zh) * 2018-12-11 2020-03-11 宏碁股份有限公司 立體顯示裝置及其參數校正方法
CN109725728B (zh) * 2018-12-29 2022-02-08 三星电子（中国）研发中心 一种ar设备的显示修正方法和装置
CN109725726A (zh) * 2018-12-29 2019-05-07 上海掌门科技有限公司 一种查询方法和装置
CN109656373B (zh) * 2019-01-02 2020-11-10 京东方科技集团股份有限公司 一种注视点定位方法及定位装置、显示设备和存储介质
TWI710250B (zh) * 2019-01-03 2020-11-11 見臻科技股份有限公司 針對眼球追蹤應用之校正方法
CN111399633B (zh) 2019-01-03 2023-03-31 见臻科技股份有限公司 针对眼球追踪应用的校正方法
CN111506188A (zh) * 2019-01-30 2020-08-07 托比股份公司 用于动态地调整hud的方法和hmd
US10817595B2 (en) * 2019-02-14 2020-10-27 Nanning Fugui Precision Industrial Co., Ltd. Method of device unlocking and device utilizing the same
US11145844B2 (en) * 2019-02-27 2021-10-12 Int Tech Co., Ltd. Method for manufacturing electroluminescent device
TWI711984B (zh) * 2019-03-08 2020-12-01 鴻海精密工業股份有限公司 深度學習加速方法及用戶終端
CN110764613B (zh) * 2019-10-15 2023-07-18 北京航空航天大学青岛研究院 基于头戴式眼动模组的眼动追踪校准方法
CN112748797B (zh) * 2019-10-31 2022-08-09 Oppo广东移动通信有限公司 一种眼球追踪方法及相关设备
FI130748B1 (en) 2020-02-21 2024-02-26 Seetrue Tech Oy Gaze tracking
CN111510630B (zh) * 2020-04-24 2021-09-28 Oppo广东移动通信有限公司 图像处理方法、装置及存储介质
CN111639017B (zh) * 2020-05-29 2024-05-07 京东方科技集团股份有限公司 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统
CN113836973A (zh) * 2020-06-23 2021-12-24 中兴通讯股份有限公司 终端控制方法、装置、终端及存储介质
CN112381709B (zh) * 2020-11-13 2022-06-21 北京字节跳动网络技术有限公司 图像处理方法、模型训练方法、装置、设备和介质
CN114546102B (zh) * 2020-11-26 2024-02-27 幻蝎科技(武汉)有限公司 眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373766A (zh) * 2014-08-14 2016-03-02 由田新技股份有限公司 瞳孔定位方法与装置
CN106339087A (zh) * 2016-08-29 2017-01-18 上海青研科技有限公司 一种基于多维坐标的眼球追踪方法及其装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
EP1691670B1 (en) * 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP4604190B2 (ja) * 2004-02-17 2010-12-22 国立大学法人静岡大学 距離イメージセンサを用いた視線検出装置
US7773111B2 (en) * 2005-03-16 2010-08-10 Lc Technologies, Inc. System and method for perceived image processing in a gaze tracking system
US7686451B2 (en) * 2005-04-04 2010-03-30 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
JP4829141B2 (ja) * 2007-02-09 2011-12-07 株式会社東芝 視線検出装置及びその方法
TWI398796B (zh) 2009-03-27 2013-06-11 Utechzone Co Ltd Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
CN102125422A (zh) 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
US8913789B1 (en) * 2012-01-06 2014-12-16 Google Inc. Input methods and systems for eye positioning using plural glints
US11747895B2 (en) * 2013-03-15 2023-09-05 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
GB201305726D0 (en) * 2013-03-28 2013-05-15 Eye Tracking Analysts Ltd A method for calibration free eye tracking
CN103838378B (zh) * 2014-03-13 2017-05-31 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统
US9785233B2 (en) * 2014-04-11 2017-10-10 Facebook, Inc. Systems and methods of eye tracking calibration
US9355315B2 (en) * 2014-07-24 2016-05-31 Microsoft Technology Licensing, Llc Pupil detection
CN104615978B (zh) * 2015-01-23 2017-09-22 清华大学 视线方向跟踪方法及装置
TWI617948B (zh) 2015-07-24 2018-03-11 由田新技股份有限公司 用於眼部追蹤的校正模組及其方法及電腦可讀取紀錄媒體
CN105425967B (zh) * 2015-12-16 2018-08-28 中国科学院西安光学精密机械研究所 视线追踪及人眼感兴趣区域定位系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373766A (zh) * 2014-08-14 2016-03-02 由田新技股份有限公司 瞳孔定位方法与装置
CN106339087A (zh) * 2016-08-29 2017-01-18 上海青研科技有限公司 一种基于多维坐标的眼球追踪方法及其装置

Also Published As

Publication number Publication date
TW201901529A (zh) 2019-01-01
US20180335840A1 (en) 2018-11-22
CN108958473A (zh) 2018-12-07
EP3407255A1 (en) 2018-11-28
TW201901528A (zh) 2019-01-01
CN108960045A (zh) 2018-12-07
US10572009B2 (en) 2020-02-25
EP3410347A1 (en) 2018-12-05
US20180335839A1 (en) 2018-11-22

Similar Documents

Publication Publication Date Title
CN108958473B (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
CN110276239B (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
KR102291461B1 (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
US10755438B2 (en) Robust head pose estimation with a depth camera
TWI704501B (zh) 可由頭部操控的電子裝置與其操作方法
US10698481B1 (en) Glint-assisted gaze tracker
US11922711B2 (en) Object tracking assisted with hand or eye tracking
US20170316582A1 (en) Robust Head Pose Estimation with a Depth Camera
Takemura et al. Estimation of a focused object using a corneal surface image for eye-based interaction
US10817050B2 (en) Backchannel resilience for virtual, augmented, or mixed reality (xR) applications in connectivity-constrained environments
US10936055B2 (en) Encoding content for virtual, augmented, and mixed reality (xR) applications in connectivity-constrained environments
US10816341B2 (en) Backchannel encoding for virtual, augmented, or mixed reality (xR) applications in connectivity-constrained environments
US20200098136A1 (en) Information processing device, information processing method, and program
JP2017123087A (ja) 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
Perra et al. Adaptive eye-camera calibration for head-worn devices
Sasaki et al. Screen corner detection using polarization camera for cross-ratio based gaze estimation
KR20100038897A (ko) 눈동자 시선 추정 장치 및 추정 방법
US20240013439A1 (en) Automated calibration method of a system comprising an external eye-tracking device and a computing device
KR101844367B1 (ko) 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치
Li et al. A low-cost head and eye tracking system for realistic eye movements in virtual avatars
TW202321775A (zh) 校正由頭戴式顯示器臉部相機捕捉之影像內檢測到之臉部特徵興趣點之原始座標之技術
KR102596487B1 (ko) 표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
CN118708051A (zh) 一种vr设备的透视显示方法及电子设备
JPWO2019244270A1 (ja) 眼３次元座標取得装置及びジェスチャ操作装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant