CN110276239A - 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 - Google Patents

眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 Download PDF

Info

Publication number
CN110276239A
CN110276239A CN201910200956.9A CN201910200956A CN110276239A CN 110276239 A CN110276239 A CN 110276239A CN 201910200956 A CN201910200956 A CN 201910200956A CN 110276239 A CN110276239 A CN 110276239A
Authority
CN
China
Prior art keywords
shape information
pupil shape
processing circuit
head center
center position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910200956.9A
Other languages
English (en)
Other versions
CN110276239B (zh
Inventor
陈玮晨
林咏真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN110276239A publication Critical patent/CN110276239A/zh
Application granted granted Critical
Publication of CN110276239B publication Critical patent/CN110276239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种眼球追踪方法、电子装置及非暂态电脑可读取记录媒体,其中,眼球追踪方法包含:由处理电路建立眼球模型;由处理电路依据多个第一瞳孔形状信息以及眼球模型分析第一头部中心位置,其中多个第一瞳孔形状信息对应于多个第一凝视向量;由摄影电路捕捉眼睛的第一影像;由处理电路依据眼球模型以及第一影像分析判定凝视向量;以及由处理电路依据实际瞳孔形状信息组以及多个模拟瞳孔形状信息组调整第一头部中心位置。如此,使用者头部的旋转和移动可在眼睛追踪期间实时更新。

Description

眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
技术领域
本公开内容涉及一种电子装置、一种眼球追踪方法及一种非暂态电脑可读取记录媒体,且特别涉及用于头戴式显示装置(Head Mount Display,HMD)中的眼球追踪方法、电子装置及非暂态电脑可读取记录媒体。
背景技术
近来,眼球追踪方法被广泛使用在各种应用当中。举例来说,于虚拟现实(VirtualReality,VR)或增强现实(Augmented Reality,AR)的应用当中,眼球追踪方法被用在VR或AR系统中追踪使用者的凝视方向以提供VR或AR环境中相应的反应及/或控制。
发明内容
本公开内容的一实施方式为一种眼球追踪方法,包含:由处理电路建立眼球模型;由处理电路依据多个第一瞳孔形状信息以及眼球模型分析第一头部中心位置,其中多个第一瞳孔形状信息对应于多个第一凝视向量;由摄影电路捕捉眼睛的第一影像;由处理电路依据眼球模型以及第一影像分析判定凝视向量;以及由处理电路依据实际瞳孔形状信息组以及多个模拟瞳孔形状信息组调整第一头部中心位置。
于部分实施例中,其中该些模拟瞳孔形状信息组对应于多个第二头部中心位置,且该些第二头部中心位置中的每一者与该第一头部中心位置距离一单位距离。
于部分实施例中,还包含:计算该些模拟瞳孔形状信息以及该实际瞳孔形状信息之间的多个相似度数值;判定该些第二头部中心位置中的一者,其中该些第二头部中心位置中的一者与该些相似度数值中的最高者相对应;以及判定该些第二头部中心位置中的该者为该第一头部中心位置。
于部分实施例中,还包含:由该摄影电路于一时间段中捕捉该眼睛的多个第二影像,其中该些第二影像对应于多个第二瞳孔形状信息;以及由该处理电路建立该实际瞳孔形状信息组。
于部分实施例中,还包含:由该摄影电路捕捉该眼睛的多个第二影像,其中该些第二影像对应于多个校正点;以及由该处理电路依据该第二影像取得多个第二瞳孔形状信息,以建立该眼球模型。
于部分实施例中,还包含:由该第一影像取得一第三瞳孔形状信息;计算该第三瞳孔形状信息以及该些第二瞳孔形状信息之间的多个相似度数值;依据该些相似度数值判定一判定凝视向量,其中该判定凝视向量对应于该些第二瞳孔形状信息中的一者,其中该些第二瞳孔形状信息中的该者包含该些相似度数值中的最高者。
于部分实施例中,还包含:依据该判定凝视向量计算该判定凝视向量以及一显示电路之间的一相应模型。
于部分实施例中,还包含:捕捉该些第一瞳孔形状信息,其中该些第一瞳孔形状信息对应于一实际头部中心位置;计算该些第一瞳孔形状信息以及多个模拟瞳孔形状信息之间的多个相似度数值,其中该些模拟瞳孔形状信息对应于多个模拟头部中心位置;以及判定该些模拟头部中心位置中的一者为该第一头部中心位置,其中该些模拟头部中心位置中的一者对应于该些相似度数值中的最高者。
本公开内容的另一实施方式为一种电子装置。电子装置包含摄影电路、处理电路、存储器以及一或多程序。处理电路,电性连接于摄影电路。存储器电性连接处理电路。一或多个程序存储于存储器中,并用以被处理电路所执行,一或多程序包括以下指令:建立一眼球模型;依据多个第一瞳孔形状信息以及该眼球模型分析一第一头部中心位置,其中该些第一瞳孔形状信息对应于多个第一凝视向量;控制该摄影电路捕捉该眼睛的一第一影像;依据该眼球模型以及该第一影像分析一判定凝视向量;以及依据一实际瞳孔形状信息组以及多个模拟瞳孔形状信息组调整该第一头部中心位置。
本公开内容的又一实施方式为一种非暂态电脑可读取记录媒体。非暂态电脑可读取记录媒体用以存储包含多个指令的一或多个电脑程序,当执行指令时,将致使一处理电路执行多个操作包含:建立一眼球模型;依据多个第一瞳孔形状信息以及该眼球模型分析一第一头部中心位置,其中该些第一瞳孔形状信息对应于多个第一凝视向量;控制该摄影电路捕捉该眼睛的一第一影像;依据该眼球模型以及该第一影像分析一判定凝视向量;以及依据一实际瞳孔形状信息组以及多个模拟瞳孔形状信息组调整该第一头部中心位置。
综上所述,使用者头部的旋转和移动可被列入考虑,且可以在眼睛追踪期间实时更新。
附图说明
图1为根据本公开内容部分实施例所示出的电子装置的方框示意图。
图2为根据本公开内容部分实施例所示出的眼球追踪方法的流程图。
图3为根据本公开内容部分实施例所示出的操作的细节流程图。
图4A以及图4B为根据本公开内容部分实施例所示出的电子装置的操作示意图。
图5A以及图5B为根据本公开内容部分实施例所示出的电子装置的操作示意图。
图6A以及图6B为根据本公开内容部分实施例所示出的电子装置的操作示意图。
图7是根据本公开内容部分实施例所示出的操作的细节流程图。
图8A以及图8B为根据本公开内容部分实施例所示出的电子装置的操作示意图。
附图标记说明:
100 电子装置
110 处理电路
120 存储器
130 摄影电路
142、144、146 红外光发光二极管元件
150 显示电路
900 眼球追踪方法
P1 软件程序
S1~S5、S11~S13、S51~S55 步骤
VD1、VD2 视角
CP1~CP9 校正凝视点
E1、E2 椭圆
E1a、E2a 长轴
E1b、E2b 短轴
SA、SB、SC、SD 阴影圆圈
CA、CC 虚线圆圈
SCCV、CCCV 向量
SCC、CCC 瞳孔中心
具体实施方式
以下将以附图及详细叙述清楚说明本公开内容的构思,任何所属技术领域中技术人员在了解本公开内容的实施例后,当可由本公开内容所教示的技术,加以改变及修饰,其并不脱离本公开内容的构思与范围。下述说明中相同元件将以相同的符号标示来进行说明以便于理解。
请参阅图1。图1为根据本公开内容部分实施例所示出的电子装置100的方框示意图。电子装置100可用以执行眼球追踪以检测使用者的凝视向量。具体来说,于部分实施例中,电子装置100可应用于一虚拟现实(Virtual Reality,VR)/混合现实(Mixed Reality,MR)/增强现实(Augmented Reality,AR)系统当中。举例来说,电子装置100可由独立头戴式显示器(Head Mounted Device,HMD)或是VIVE头戴式显示器实现。具体来说,独立头戴式显示器可处理包含方位、旋转的位置数据处理、图像处理或其他数据运算等。
如图1所示,电子装置100包含处理电路110、存储器120、摄影电路130、红外光发光二极管元件142、144、146,以及显示电路150。一或多个软件程序P1存储于存储器120中并用以被处理电路110执行,以执行眼球追踪方法。
处理电路110电性连接于摄影电路130。于部分实施例中,处理电路110例如可用一或多处理器,例如中央处理器(central processor)及/或微处理器(microprocessor)等处理器实现,但不以此为限。于部分实施例中,存储器120包含一或多个存储器装置,其中每一存储器装置或多个存储器装置的集合包括电脑可读取记录媒体。电脑可读取记录媒体可包括只读存储器、快闪存储器、软盘、硬盘、光盘、随身盘、磁带、可由网络存取的数据库、或本领域技术人员可轻易想到的具有相同功能的电脑可读取记录媒体。
在结构上,存储器120电性连接于处理电路110。摄影电路130用以捕捉使用者的眼睛的一或多个影像,使得处理电路110可分析影像以执行眼球追踪。于部分实施例中,摄影电路130可由红外光摄影机实现。一或多个红外光发光二极管元件(IRLED unit)142、144、146可电性连接于处理电路110并用以提供一或多束红外光束,其中眼睛的影像是通过红外光摄影机利用一或多红外光束捕捉。值得注意的是,在图1中所示出的实施例仅为示例,并非用以限制本公开内容。换言之,红外光发光二极管元件142、144、146的数量、位置、及/或设置方式在各个不同实施例中皆可根据实际需求进行调整。显示电路150电性连接于处理电路110,使得显示电路150所显示的视频或音频内容可通过处理电路110进行控制。
请参考图2。为了优选地理解本公开内容,电子装置100的详细操作将搭配图2中所示实施例进行说明。图2为根据本公开内容部分实施例所示出的眼球追踪方法900的流程图。值得注意的是,眼球追踪方法900可应用于相同或相似于图1中所示结构的电子装置100。为使叙述简单,以下将根据本公开内容部分实施例,以图1中的实施例为例进行对眼球追踪方法900的说明,然而本公开内容不以图1中的实施例的应用为限。
如图2所示,眼球追踪方法900包含步骤S1至S5。在步骤S1中,处理电路110用以建立眼球模型。
请一并参考图3。图3为根据本公开内容部分实施例所示出的步骤S1的细节流程图。
如图3所示,于部分实施例中,步骤S1包含步骤S11至S13。于步骤S11中,处理电路110用以控制摄影电路130捕捉眼睛的多个校正影像。
请参阅图4A与图4B。图4A以及图4B为根据本公开内容部分实施例所示出的电子装置100的操作示意图。
如图4A与图4B所示,具体而言,于步骤S11中,处理电路110可用以控制显示电路150依序于多个帧画面中显示多个校正凝视点CP1~CP9。校正凝视点CP1~CP9分别对应于多个校正视角。
举例来说,在图4A所示出的第一帧画面中,显示电路150显示相应的校正凝视点CP1,其对应于校正视角VD1。在图4B所示出的次一帧画面中,显示电路150显示相应的校正凝视点CP2,其对应于校正视角VD2,以此类推。
如此一来,处理电路110便可用以控制摄影电路130依序于各个帧画面中捕捉眼睛的多个校正影像。
接着,于步骤S12中,处理电路110用以取得多个瞳孔形状信息。
具体来说,处理电路110可对步骤S11中所取得的校正影像进行特征获取(featureextraction)以找出相应的校正瞳孔感兴趣区域。举例来说,可进行影像过滤(imagefiltering)以调整或增强眼睛的影像以强调瞳孔特征及/或移除其他特征,并降低或滤除影像中的噪声。当影像中有两个以上的候选目标时,亦可通过适当的影像过滤方法滤除错误目标。
于部分实施例中,哈尔特征(Haar-like feature)可用来计算影像中的特征。接着,可应用平均移动演算法(mean shift algorithm)进行图像分割并相应判断眼睛影像中眼睛的瞳孔中心以及瞳孔轮廓。在其他部分实施例中,与电脑视觉相关的机器学习/深度学习方法可应用以辨认并判断眼睛影像中眼睛的瞳孔中心以及瞳孔轮廓。举例来说,可应用卷积神经网络(Convolutional Neural Network,CNN),但本公开内容并不以此为限。
换言之,在步骤S12中,处理电路110可用以判断眼睛的影像中的瞳孔中心,并判断眼睛的影像中的瞳孔轮廓。接着,处理电路110可根据瞳孔中心与瞳孔轮廓匹配一椭圆至瞳孔以取得校正瞳孔感兴趣区域。
请参阅图5A以及图5B。图5A以及图5B为根据本公开内容部分实施例所示出的电子装置100的操作示意图。如图5A以及图5B所示,校正瞳孔感兴趣区域分别被匹配至具有不同中心坐标,不同旋转角度及/或不同长轴E1a、E2a与短轴E1b、E2b的椭圆E1、E2。换言之,当使用者看向不同校正视角时,不同椭圆E1、E2匹配作为校正瞳孔感兴趣区域。如此一来,便可计算并取得椭圆E1、E2的长轴E1a、E2a与短轴E1b、E2b的参数作为校正向量。在一实施例中,校正向量可由椭圆E1、E2的长轴E1a、E2a与短轴E1b、E2b所形成的表面的法向量实现。
因此,当取得校正向量后,便可执行步骤S13。于步骤S13中,处理电路110用以根据校正向量以及相应于校正向量的校正视角以建立眼球模型。举例来说,眼球模型可包含用以代表眼睛的视点与瞳孔感兴趣区域的凝视向量之间关系的矩阵。具体来说,在部分实施例中,可取得一个多项式代表椭圆参数(如:长轴与短轴)与代表眼睛的凝视方向的相应的凝视点的极坐标之间的关系。眼球模型可包含上述多项式的相伴矩阵(companion matrix)以表示其关系。
于部分实施例中,凝视向量包括指示感兴趣的瞳孔区域的形状的长轴和短轴的凝视向量可以不在步骤S1中计算,以便减小处理电路110的步骤复杂性。
接着,在步骤S1中获得眼球模型之后,便可在后续的操作S2~S5中执行眼球追踪,以搭配使用者穿戴头戴式装置时与显示电路150中的显示内容进行各种互动。由于在操作S1中对眼球模型进行了校正以配合一或多个使用者特定的瞳孔形状,眼球追踪的准确度得以提升。
于步骤S2中,处理电路110用以判定头部中心位置。头部中心位置的判定是依据多个瞳孔形状信息以及眼球模型。请参阅图6A以及图6B。图6A以及图6B为根据本公开内容部分实施例所示出的电子装置100的操作示意图。
如图6A与图6B所示,虚线圆圈CA是对应于使用者的实际上的头部中心位置的实际瞳孔形状信息。阴影圆圈SA以及SB是由处理电路110依据眼球模型对应于使用者的不同头部中心位置所模拟的模拟瞳孔形状信息。阴影圆圈SA与SB以及虚线圆圈CA中的每一者包含5个圆圈。5个圆圈中的每一者分别对应于多个凝视点中的一者。举例而言,5个圆圈分别对应于图4A所示出的凝视点CP1、CP2、CP4、CP6与CP8。
处理电路110计算实际瞳孔形状信息与模拟瞳孔形状信息之间的多个相似度数值。处理电路110判定包含最高相似度数值的模拟头部中心位置为使用者的实际头部中心位置。举例而言,如图6A与图6B所示出,假设阴影圆圈SA为对应于头部中心位置h(x1,y1)的使用者的模拟瞳孔形状信息,并假设阴影圆圈SB为对应于头部中心位置h(x2,y2)的使用者的模拟瞳孔形状信息。如图6A与图6B所示,阴影圆圈SA与虚线圆圈CA之间的相似度数值高于阴影圆圈SB与虚线圆圈CA之间的相似度数值。若是阴影圆圈SA与虚线圆圈CA之间的相似度数值为多个相似度数值中的最高者,处理电路110判定位置h(x1,y1)为使用者的实际头部中心位置,并判定位置h(x1,y1)为使用者的初始头部中心位置。
于步骤S3中,处理电路110用以控制摄影电路130以捕捉眼睛的影像。接着,于步骤S3中,处理电路110用以依据捕捉的影像检测眼睛的影像中的瞳孔感兴趣区域并取得眼睛的瞳孔形状信息。检测瞳孔感兴趣区域的步骤与步骤S1中的检测校正瞳孔感兴趣区域的步骤相似。
于步骤S4,处理电路110用以依据步骤S3中获得的瞳孔形状信息以及步骤S1中建立的眼球模型以判定眼睛的判定凝视向量。举例而言,处理电路110模拟对应于不同头部中心位置的不同凝视点或凝视向量的瞳孔形状信息。依据头部中心位置,处理电路110判定瞳孔的凝视点或凝视向量,于步骤S3中,判定凝视点或判定凝视向量的瞳孔形状信息与步骤S3取得的瞳孔形状信息之间的相似度数值为最高值。
于部分实施例中,于判定出判定凝视向量之后,处理电路110是用以依据以下的算式计算判定凝视向量以及显示电路150之间的相应模型:
“G”代表凝视向量。“g”代表标准化凝视向量。“S”为屏幕点。“a”与“b”为权重。
于步骤S5中,处理电路110是用以依据实际瞳孔形状信息组以及多个模拟瞳孔形状信息组调整头部中心位置。
请一并参阅图7。图7是根据本公开内容部分实施例所示出的步骤S5的细节流程图。步骤S5包含步骤S51至S55。
于步骤S51中,摄影电路130用以于一个时间段中捕捉眼睛的多个影像。举例而言,摄影电路130每0.1秒捕捉眼睛的影像。于1分钟内,摄影电路130捕捉眼睛的10个影像。
于步骤S52中,处理电路110用以由多个影像取得实际瞳孔形状信息组,其中多个影像对应于多个凝视向量。
于步骤S53中,处理电路110用以模拟多个模拟瞳孔形状信息组,其中多个模拟瞳孔形状信息组对应于多个模拟头部中心位置。多个模拟头部中心位置中的每一者与存储的先前头部中心位置或先前判定的头部中心位置距离一个单位距离远。举例而言,若是先前判定的头部中心位置为h(x,y,z)。处理电路110模拟对应于模拟头部中心位置h(x+1,y,z)、h(x-1,y,z)、h(x,y+1,z)、h(x,y-1,z)、h(x,y,z+1)、h(x,y,z-1)的多个瞳孔形状信息组。即,模拟瞳孔形状信息组对应的头部中心位置距离存储的先前头部中心位置一个单位距离远。应当注意的是,如上所述的1的单位距离仅为例示说明的用,本公开的实施方式不以此为限制。
请一起参阅图8A与图8B。图8A以及图8B为根据本公开内容部分实施例所示出的电子装置100的操作示意图。如图8A与图8B所示,虚线圆圈CC为与使用者实际上的头部中心位置对应的实际瞳孔形状信息。处理电路110分析步骤S51中获得的影像以取得瞳孔形状信息组。阴影圆圈SC与SD为由处理电路110依据眼球模型模拟的对应于使用者的不同头部中心位置的瞳孔形状信息。阴影圆圈SC与SD以及虚线圆圈CC中的每一者包含5个圆圈。5个圆圈中的每一者分别对应于多个凝视点中的一者。
详细而言,处理电路110依据于步骤S51中于一个时间段所取得的多个影像分析眼睛的凝视向量。于进行模拟时,处理电路110依据分析的凝视向量与模拟头部中心位置以模拟瞳孔形状信息。
于步骤S54中,处理电路110用以计算实际瞳孔形状信息组与模拟瞳孔形状信息组之间的相似度数值。请参阅图8A与图8B。假设先前判定的头部中心位置为h(x,y,z)。假设阴影圆圈SC为与模拟头部中心位置h(x,y,z)相对应的模拟瞳孔形状信息组。阴影圆圈SD为与头部中心位置h(x+1,y,z)相对应的模拟瞳孔形状信息组。处理电路110计算实际瞳孔形状信息组与模拟瞳孔形状信息组之间的相似度数值,其中模拟瞳孔形状信息组对应于模拟头部中心位置h(x,y,z)。处理电路110还计算实际瞳孔形状信息组与模拟瞳孔形状信息组之间的相似度数值,其中模拟瞳孔形状信息组对应于模拟头部中心位置h(x+1,y,z)。
于步骤S55中,处理电路110用以调整头部中心位置。处理电路110判定多个模拟头部中心位置中的一者,其中多个头部中心位置中的该者对应于包含最高相似度数值的模拟瞳孔形状信息组。处理电路110调整使头部中心位置为多个模拟头部中心位置中包含最高相似度数值的一者。请再次参阅图8A与图8B。由图8A与图8B可得知,对应于模拟头部中心位置h(x+1,y,z)的阴影圆圈SD与对应于实际头部中心位置的虚线圆圈CC之间的相似度数值最高。处理电路110调整使判定头部中心位置为模拟头部中心位置h(x+1,y,z)。
需注意的是,于步骤S5中,处理电路110只需利用瞳孔形状信息中的瞳孔中心的位置。也就是说,处理电路110不须取得眼睛的长轴与短轴等信息。
请再次参阅图8A。举例而言,处理电路110追踪多个实际瞳孔中心的位置CCC并取得多个实际瞳孔中心CCC之间的多个实际瞳孔中心向量CCCV。多个实际瞳孔中心向量CCCV代表瞳孔中心的移动顺序。处理电路110模拟出模拟瞳孔中心SCC的位置并依序计算模拟瞳孔中心向量SCCV。模拟瞳孔中心SCC的模拟是假定模拟头部中心位置是位于位置h(x,y,z)以及假定凝视向量与虚线圆圈CC的实际凝视向量相同。处理电路110还计算实际眼球中心向量CCCV与模拟瞳孔中心向量SCCV之间的相似度数值。
于部分实施例中,于步骤S5中,处理电路110利用瞳孔形状信息组的角度变化。处理电路110利用步骤S5中瞳孔形状信息的其中一个参数变化以计算相似度数值。也就是说,处理电路110于步骤S5中不必分析瞳孔形状信息的多种参数,如角度、半径、长轴、短轴等即可计算参数变化,处理电路110的操作复杂度可以减少。
此外,步骤S51中描述的时间段可以被动态性调整。若是头部中心位置的移动很激烈,实际瞳孔形状信息组的移动值于一个很短的时间段中即很高。举例而言,实际眼球中心向量CCCV的总和于一个很短的时间段中会高于阈值。在此情况下,获得眼睛的实际影像的时间段可被调整为较短。反之,若是头部中心位置基本上不移动,获得眼睛的实际影像的时间段可被调整为较长。
因此,使用者头部的旋转和移动可被列入考虑,且可以在眼睛追踪期间实时更新。
应注意,上述头部位置校正程序亦可应用在其他眼球追踪方法当中,例如采用瞳孔中心一角膜反射(Pupil Center-Corneal Reflection,PCCR)的眼球追踪方法当中,其眼球模型可由各种不同方式取得。
通过上述各个实施例的操作,便可实作具有头部校正的眼球追踪方法以实现VR、AR、MR应用中的眼球追踪器,并增进眼球追踪的准确度,为使用者穿戴头戴式装置与VR、AR、MR环境中的物件互动时带来更流畅的使用者体验。
值得注意的是,上述实施例是经简化以便优选地理解本公开内容。在部分实施例中,眼球追踪方法900的上述操作可实作为一电脑程序。当电脑程序是被一电脑、一电子装置,或图1中处理电路110所执行,此执行装置执行眼球追踪方法900。电脑程序可被存储于一非暂态电脑可读取记录媒体,例如一只读存储器、一快闪存储器、一软盘、一硬盘、一光盘、一快闪碟、一随身盘、一磁带、一可从网络读取的数据库,或任何本公开内容所属技术领域中的技术人员所能想到具有相同功能的记录媒体。
另外,应了解到,在所提及的眼球追踪方法900的操作,除特别叙明其顺序者外,均可依实际需要调整其前后顺序,甚至可同时或部分同时执行。
再者,在本公开内容的不同实施例中,眼球追踪方法900中的此些操作亦可适应性地增加、置换、及/或省略。
再者,在本公开内容的不同实施例中,眼球追踪方法900中的此些操作亦可适应性地增加、置换、及/或省略。
虽然本公开内容已以实施方式公开如上,然其并非用以限定本公开内容,任何本领域技术人员,在不脱离本公开内容的构思和范围内,当可作各种变动与润饰,因此本公开内容的保护范围当视权利要求所界定者为准。

Claims (10)

1.一种眼球追踪方法,其特征在于,包含:
由一处理电路建立一眼球模型;
由该处理电路依据多个第一瞳孔形状信息以及该眼球模型分析一第一头部中心位置,其中所述多个第一瞳孔形状信息对应于多个第一凝视向量;
由一摄影电路捕捉该眼睛的一第一影像;
由该处理电路依据该眼球模型以及该第一影像分析一判定凝视向量;以及
由该处理电路依据一实际瞳孔形状信息组以及多个模拟瞳孔形状信息组调整该第一头部中心位置。
2.如权利要求1所述的眼球追踪方法,其特征在于,其中所述多个模拟瞳孔形状信息组对应于多个第二头部中心位置,且所述多个第二头部中心位置中的每一者与该第一头部中心位置距离一单位距离。
3.如权利要求2所述的眼球追踪方法,其特征在于,还包含:
计算所述多个模拟瞳孔形状信息以及该实际瞳孔形状信息之间的多个相似度数值;
判定所述多个第二头部中心位置中的一者,其中所述多个第二头部中心位置中的一者与所述多个相似度数值中的最高者相对应;以及
判定所述多个第二头部中心位置中的该者为该第一头部中心位置。
4.如权利要求1所述的眼球追踪方法,其特征在于,还包含:
由该摄影电路于一时间段中捕捉该眼睛的多个第二影像,其中所述多个第二影像对应于多个第二瞳孔形状信息;以及
由该处理电路建立该实际瞳孔形状信息组。
5.如权利要求1所述的眼球追踪方法,其特征在于,还包含:
由该摄影电路捕捉该眼睛的多个第二影像,其中所述多个第二影像对应于多个校正点;以及
由该处理电路依据该第二影像取得多个第二瞳孔形状信息,以建立该眼球模型。
6.如权利要求5所述的眼球追踪方法,其特征在于,还包含:
由该第一影像取得一第三瞳孔形状信息;
计算该第三瞳孔形状信息以及所述多个第二瞳孔形状信息之间的多个相似度数值;以及
依据所述多个相似度数值判定一判定凝视向量,其中该判定凝视向量对应于所述多个第二瞳孔形状信息中的一者,其中所述多个第二瞳孔形状信息中的该者包含所述多个相似度数值中的最高者。
7.如权利要求1所述的眼球追踪方法,其特征在于,还包含:
依据该判定凝视向量计算该判定凝视向量以及一显示电路之间的一相应模型。
8.如权利要求1所述的眼球追踪方法,其特征在于,还包含:
捕捉所述多个第一瞳孔形状信息,其中所述多个第一瞳孔形状信息对应于一实际头部中心位置;
计算所述多个第一瞳孔形状信息以及多个模拟瞳孔形状信息之间的多个相似度数值,其中所述多个模拟瞳孔形状信息对应于多个模拟头部中心位置;以及
判定所述多个模拟头部中心位置中的一者为该第一头部中心位置,其中所述多个模拟头部中心位置中的一者对应于所述多个相似度数值中的最高者。
9.一种电子装置,其特征在于,包含:
一摄影电路;
一处理电路,电性连接于该摄影电路;
一存储器,电性连接于该处理电路;以及
一或多程序,其中该一或多程序存储于该存储器中,并用以被该处理电路所执行,该一或多程序包括以下指令:
建立一眼球模型;
依据多个第一瞳孔形状信息以及该眼球模型分析一第一头部中心位置,其中所述多个第一瞳孔形状信息对应于多个第一凝视向量;
控制该摄影电路捕捉该眼睛的一第一影像;
依据该眼球模型以及该第一影像分析一判定凝视向量;以及
依据一实际瞳孔形状信息组以及多个模拟瞳孔形状信息组调整该第一头部中心位置。
10.一种非暂态电脑可读取记录媒体,其特征在于,用以存储包含多个指令的一或多个电脑程序,当执行所述多个指令时,将致使一处理电路执行多个操作包含:
建立一眼球模型;
依据多个第一瞳孔形状信息以及该眼球模型分析一第一头部中心位置,其中所述多个第一瞳孔形状信息对应于多个第一凝视向量;
控制摄影电路捕捉该眼睛的一第一影像;
依据该眼球模型以及该第一影像分析一判定凝视向量;以及
依据一实际瞳孔形状信息组以及多个模拟瞳孔形状信息组调整该第一头部中心位置。
CN201910200956.9A 2018-03-15 2019-03-15 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 Active CN110276239B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862643730P 2018-03-15 2018-03-15
US62/643,730 2018-03-15

Publications (2)

Publication Number Publication Date
CN110276239A true CN110276239A (zh) 2019-09-24
CN110276239B CN110276239B (zh) 2023-07-25

Family

ID=65812176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910200956.9A Active CN110276239B (zh) 2018-03-15 2019-03-15 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体

Country Status (4)

Country Link
US (1) US10990170B2 (zh)
EP (1) EP3540574B1 (zh)
CN (1) CN110276239B (zh)
TW (1) TWI680743B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110780742A (zh) * 2019-10-31 2020-02-11 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
CN112022641A (zh) * 2020-09-10 2020-12-04 深圳职业技术学院 一种辅助转眼运动的方法及系统
CN114569056A (zh) * 2022-01-28 2022-06-03 首都医科大学附属北京天坛医院 眼球检测和视觉模拟设备以及眼球检测以及视觉模拟方法
US11940630B2 (en) 2020-05-27 2024-03-26 Sony Group Corporation Display apparatus and display method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102097390B1 (ko) * 2019-10-10 2020-04-06 주식회사 메디씽큐 시선 검출 기반의 스마트 안경 표시 장치
US11061469B2 (en) 2019-11-20 2021-07-13 XRSpace CO., LTD. Head mounted display system and rotation center correcting method thereof
US20210350139A1 (en) * 2020-05-11 2021-11-11 Nvidia Corporation Highlight determination using one or more neural networks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW499306B (en) * 2000-07-28 2002-08-21 Jau-Ning Jan Eye pupil tracking method with crisscross line positioning functions
CN106133648A (zh) * 2014-03-26 2016-11-16 微软技术许可有限责任公司 基于自适应单应性映射的眼睛凝视跟踪

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7809160B2 (en) * 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
WO2016131075A1 (en) * 2015-02-20 2016-08-25 Seeing Machines Limited Glare reduction
CN108780223B (zh) * 2016-03-11 2019-12-20 脸谱科技有限责任公司 用于生成眼睛模型的角膜球跟踪
WO2018000020A1 (en) * 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for performing eye gaze tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW499306B (en) * 2000-07-28 2002-08-21 Jau-Ning Jan Eye pupil tracking method with crisscross line positioning functions
CN106133648A (zh) * 2014-03-26 2016-11-16 微软技术许可有限责任公司 基于自适应单应性映射的眼睛凝视跟踪

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110780742A (zh) * 2019-10-31 2020-02-11 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
CN110780742B (zh) * 2019-10-31 2021-11-02 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
US11940630B2 (en) 2020-05-27 2024-03-26 Sony Group Corporation Display apparatus and display method
CN112022641A (zh) * 2020-09-10 2020-12-04 深圳职业技术学院 一种辅助转眼运动的方法及系统
CN114569056A (zh) * 2022-01-28 2022-06-03 首都医科大学附属北京天坛医院 眼球检测和视觉模拟设备以及眼球检测以及视觉模拟方法
CN114569056B (zh) * 2022-01-28 2022-11-15 首都医科大学附属北京天坛医院 眼球检测和视觉模拟设备以及眼球检测以及视觉模拟方法

Also Published As

Publication number Publication date
EP3540574A1 (en) 2019-09-18
US20190286229A1 (en) 2019-09-19
EP3540574B1 (en) 2021-08-11
US10990170B2 (en) 2021-04-27
CN110276239B (zh) 2023-07-25
TWI680743B (zh) 2020-01-01
TW201938104A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110276239A (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
CN108960045A (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
US11749025B2 (en) Eye pose identification using eye features
CN108369643B (zh) 用于3d手部骨架跟踪的方法和系统
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
JP6918781B2 (ja) 眼ポーズ測定を用いた眼瞼形状推定
Stoll et al. Fast articulated motion tracking using a sums of gaussians body model
US11893789B2 (en) Deep neural network pose estimation system
CN113689503B (zh) 目标对象的姿态检测方法、装置、设备及存储介质
CN112017212B (zh) 人脸关键点跟踪模型的训练、跟踪方法及系统
Pires et al. Visible-spectrum gaze tracking for sports
CN113449570A (zh) 图像处理方法和装置
CN111784658A (zh) 一种用于人脸图像的质量分析方法和系统
CN110188630A (zh) 一种人脸识别方法和相机
CN111784660B (zh) 一种用于人脸图像的正脸程度的分析方法和系统
CN114627542A (zh) 眼动位置的确定方法、装置、存储介质及电子设备
CN112528714A (zh) 基于单光源的注视点估计方法、系统、处理器及设备
Li et al. Research on MR virtual scene location method based on image recognition
JP2001052176A (ja) 画像の特徴点の抽出方法、およびコンピュータに当該画像の特徴点の抽出方法を実行させるためのプログラム記録した、コンピュータ読取可能な記録媒体ならびに画像特徴点抽出装置
EP4383193A1 (en) Line-of-sight direction tracking method and apparatus
CN117315155A (zh) 用于虚拟试衣场景转换的提示方法及系统、设备及介质
US20220189131A1 (en) Modification of projected structured light based on identified points within captured image
Carapencea et al. Real-time gaze tracking with a single camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant