CN106168853A - 一种自由空间头戴式视线跟踪系统 - Google Patents

一种自由空间头戴式视线跟踪系统 Download PDF

Info

Publication number
CN106168853A
CN106168853A CN201610475628.6A CN201610475628A CN106168853A CN 106168853 A CN106168853 A CN 106168853A CN 201610475628 A CN201610475628 A CN 201610475628A CN 106168853 A CN106168853 A CN 106168853A
Authority
CN
China
Prior art keywords
eyes
video
optical axis
infrared
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610475628.6A
Other languages
English (en)
Other versions
CN106168853B (zh
Inventor
张义飞
李斌
邓宏平
张伟
陈昭希
容圣海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201610475628.6A priority Critical patent/CN106168853B/zh
Publication of CN106168853A publication Critical patent/CN106168853A/zh
Application granted granted Critical
Publication of CN106168853B publication Critical patent/CN106168853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种头戴式视频采集装置,同时采集4路近红外眼部视频和1路场景视频,所述4路近红外眼部视频包括来自佩戴该头戴式视频采集装置的穿戴者的左眼和右眼的各2路近红外眼部视频;立体视觉估算双眼光轴单元,通过立体视觉的方法直接估算双眼瞳孔和角膜球心坐标,计算双眼光轴直线方程;以及双眼视线及凝视点估算单元,根据眼球Kappa角和双眼光轴直线方程估算双眼视轴直线方程,进而计算出凝视点坐标,映射出凝视点在场景视频中的位置并进行标注,所述Kappa角是每个眼球的光轴和视轴之间的固定夹角。

Description

一种自由空间头戴式视线跟踪系统
技术领域
本发明涉及视线跟踪领域,尤其涉及一种自由空间头戴式视线跟踪系统。
背景技术
视线跟踪技术主要是利用眼动测量设备记录眼球的运动情况,从而判断出人的视线方向,达到跟踪人视线的目的。视觉是人们获取信息的主要方式,由于视线具有直接性、自然性和双向性等特点,使得视线跟踪技术在人机交互、心理及行为分析等领域有着广阔的应用前景。
目前的视线跟踪系统主要基于图像处理和计算机视觉的方法,大致可以分为远距离桌面式设备视线跟踪方法和头戴式设备视线跟踪方法。远距离桌面式视线跟踪系统由于距离眼部较远,对摄像头的分辨率等性能有较高的要求,对头部姿态和运动范围的限制较大。头戴式视线跟踪系统的眼部视频采集设备固定在头上,实时采集眼部图像,同时利用场景摄像头拍摄场景图像,利用算法从拍摄的眼部图像中提取瞳孔中心等位置信息,进而计算出注视点在场景图像中的位置。现有的头戴式视线跟踪系统常采用二维视线跟踪模型,最常见的就是以瞳孔中心或者瞳孔-角膜反射向量作为视线特征量,再通过事先设定的标定过程建立眼动信息和凝视点之间的关系。这类方法的标定方式较为复杂,穿戴者头部难以自由移动,使用过程中设备在穿戴者头部不能移动,难以在实际应用中使用。
发明内容
本发明的目的是提供一种自由空间头戴式视线跟踪系统,其可以跟踪计算穿戴者在三维自由空间中视线凝视区域的三维坐标,拍摄穿戴者面前的场景视频,并在场景视频中标注出穿戴者的凝视区域。本系统无需繁琐的训练和标定,穿戴者戴上即可使用;穿戴者头部可以自由活动,使用过程中设备在穿戴者头部的可以自由移动;经过简单的标定之后,可以获得高精度的视线跟踪效果。
本发明的目的是通过以下技术方案实现的:
一种自由空间头戴式视线跟踪系统,包括:
头戴式视频采集装置,同时采集4路近红外眼部视频和1路场景视频,所述4路近红外眼部视频包括来自佩戴该头戴式视频采集装置的穿戴者的左眼和右眼的各2路近红外眼部视频;
立体视觉估算双眼光轴单元,通过立体视觉的方法直接估算双眼瞳孔和角膜球心坐标,计算双眼光轴直线方程;以及
双眼视线及凝视点估算单元,根据眼球Kappa角和双眼光轴直线方程估算双眼视轴直线方程,进而计算出凝视点坐标,映射出凝视点在场景视频中的位置并进行标注,所述Kappa角是每个眼球的光轴和视轴之间的固定夹角
可选地,所述头戴式视频采集装置包括:
固定装置,主要包括2个镜框和中间连接的鼻梁;
眼部视频采集装置,包括在每个镜框上放置的2个用于采集眼部视频的近红外微距摄像头,两个镜框上共计放置4个近红外微距摄像头,其中:所述每个镜框处的2个近红外微距摄像头平行放置在镜框的下方;穿戴者戴上该头戴式视频采集装置后,近红外微距摄像头拍摄到穿戴者的眼睛的全部区域;
近红外光源照明装置,包括在每个镜框周边放置的2个以上的近红外光源,所述近红外光源的形状和彼此之间的距离使眼部近红外光照强度均匀适度,并且使摄像头采集到的眼部视频能看到清晰的瞳孔和每个近红外光源在角膜表面反射形成的光斑;
场景视频采集装置,包括在固定装置的鼻梁上方放置的1个广角可见光摄像头,用于拍摄场景视频。
可选地,所述固定装置固定在眼镜或其他头戴式设备上。
可选地,所述近红外微距摄像头镜头上镀上近红外滤光膜或者镜头前面覆盖近红外滤光片。
可选地,所述立体视觉估算双眼光轴单元包括:
眼部视频中瞳孔和光斑中心提取单元,基于头戴式视频采集装置采集到的4路眼部视频,提取各路视频中瞳孔和光斑中心的位置,其中,在眼部摄像头采集到的眼部视频中,在近红外光照射下,瞳孔部分和周围灰度值差别巨大且为椭圆形;近红外光源在角膜表面反射形成的光斑也有明显的灰度特征,根据瞳孔和光斑的灰度及形状特征提取瞳孔和光斑中心的位置坐标;
立体视觉估算瞳孔和光斑中心三维坐标单元,先标定每个摄像头的内参数,然后再标定出每个眼睛处2个摄像头之间的旋转平移矩阵,在每个眼睛处,根据2个摄像头之间的旋转平移矩阵和检测到的瞳孔和光斑在图像中的位置,通过立体视觉的方法,以其中任意选定的一个摄像头的坐标系为基准,计算出瞳孔和每个光斑中心的三维坐标;以及
双眼角膜球心三维坐标及光轴估算单元,根据人体眼球模型,近红外光源在眼球角膜表面反射形成的光斑为球面反射成像,立体视觉计算得到的光斑三维坐标为近红外光源在角膜球面反射形成的虚像位置坐标,真实的近红外光源与其虚像的连线经过角膜球心,根据两个红外LED及其对应虚像的三维坐标,计算出角膜球心的三维坐标,每个眼球角膜球心和瞳孔中心连线即为眼球光轴,通过立体视觉的方式获得角膜球心和瞳孔中心的三维坐标后,计算出每个眼球光轴的直线方程。
可选地,自由空间头戴式视线跟踪系统还包括双眼Kappa角校正单元,通过穿戴者凝视外部近红外光源校正双眼Kappa角,进一步提高视线跟踪精度,其中,当穿戴者凝视外部近红外光源时,外部近红外光源会在双眼眼球角膜表面反射形成虚像,每个眼球处,该外部近红外光源与虚像连线经过眼球角膜球心,为该眼球此时的视轴,通过立体视觉求得该虚像的三维坐标,获得双眼视轴的直线方程,结合双眼光轴直线方程,进而算出每个眼球的Kappa角。
可选地,所述双眼视线及凝视点估算单元执行以下操作:
根据双眼光轴直线方程及Kappa角的经验值或标定后的精确值,获得视轴的直线方程;
标定左右双眼处前面选取的基准摄像头坐标系之间的旋转平移矩阵,以其中一个摄像头的坐标系为基准世界坐标系,根据左右双眼的视轴直线方程和旋转平移矩阵,计算其穿戴者关注的区域位置三维坐标;
标定场景摄像头坐标系与基准世界坐标系之间的旋转平移矩阵,根据该旋转平移矩阵和场景摄像头投影矩阵,计算凝视点在场景视频中的位置,并将其标出。
本发明通过头戴式视频采集装置采集4路眼部视频和1路场景视频,采用立体视觉的方法直接估算穿戴者双眼眼球瞳孔和角膜球心的三维坐标,计算出双眼光轴直线方程,结合双眼Kappa角的经验值或标定后的精确值,即可获得双眼视轴直线方程,进而估算出凝视点的三维坐标并在场景视频中标出。通过穿戴者凝视近红外灯,可以精确标定双眼Kappa角,进一步提高跟踪精度。本发明能跟踪穿戴者在三维自由空间中双目视线凝视点三维坐标,并在场景视频中标出;无需繁琐的训练和标定,穿戴者戴上即可使用,用户体验好;穿戴者头部可以自由活动,使用过程中设备在穿戴者头部的可以自由移动;经过简单的标定之后,可以获得高精度的视线跟踪效果。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,而不对本发明的保护范围构成限制。
图1为本发明实施例提供的自由空间视线跟踪光路图。
图2为本发明实施例提供的自由空间头戴式视线跟踪系统框图。
图3为本发明实施例提供的头戴式视频采集装置结构示意图。
图4为本发明实施例提供的近红外LED光源在角膜球面反射成像示意图。
图5为本发明实施例提供的近红外LED光源与虚像连接交于球心示意图。
图6为本发明实施例提供的凝视外部近红外光源校正Kappa角示意图。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
本发明实施例提供一种自由空间头戴式视线跟踪系统的实现方法,其可以跟踪穿戴者在三维自由空间中双目视线凝视点三维坐标,并在场景视频中标出;无需繁琐的训练和标定,穿戴者戴上即可使用,用户体验好;用户头部可以自由活动,使用过程中设备在穿戴者头部的可以自由移动;经过简单的标定之后,可以获得高精度的视线跟踪效果。
如图1所示为自由空间视线跟踪光路图。根据人眼的真实结构,考虑了眼球巩膜和角膜曲率的不同,整个眼球形状类似与两个不同大小的球体嵌套而成。人双眼视线的交点即为关注的凝视点,视轴即是凝视点和视网膜黄斑中心点之间的连线,该连线经过角膜球心。光轴为连接瞳孔中心和角膜球心的直线,视轴和光轴存在一定的夹角被称为Kappa角。每个人眼球的Kappa角都是固定的,一般在5°左右。根据该光路图,本发明先算得双眼瞳孔和角膜球心三维坐标,求出双眼光轴直线方程,结合Kappa角的经验值或校正后的精确值,即可求得双眼视轴直线方程,进而算出凝视点。
如图2所示为自由空间头戴式视线跟踪系统框图。本发明主要包括:头戴式视频采集装置10,眼部视频中瞳孔和光斑中心提取单元20,立体视觉估算瞳孔和光斑中心三维坐标单元30,双眼角膜球心三维坐标及光轴估算单元40,双眼Kappa角校正单元50,双眼视线及凝视点估算单元60。
头戴式视频采集装置10包括:固定装置,眼部视频采集装置、近红外光源照明装置和场景视频采集装置。如图3所示为头戴式视频采集装置示意图。如图3所示,固定装置主要包括2个镜框和中间连接的鼻梁,可以固定在眼镜或其他头戴式设备上。眼部视频采集装置具体是通过在每个镜框上放置2个近红外微距摄像头采集眼部视频,两个眼睛共计4个近红外摄像头。根据本发明的实施例,所述每个镜框处的2个近红外微距摄像头尽量平行放置在镜框的下方,间距1cm左右,能排除眼部睫毛等的干扰。穿戴者戴上该装置后,近红外微距摄像头拍摄到穿戴者的眼睛的全部区域。摄像头镜头上镀上近红外滤光膜或者镜头前面覆盖近红外滤光片,能滤除可见光,排除环境光照对眼部视频采集的影响。近红外光源照明装置可以包括在每个镜框周边放置的2个以上的近红外光源,近红外光源形状和布局应当使眼部近红外光照强度均匀适度,摄像头采集到的眼部视频能看到清晰的瞳孔和每个近红外光源在角膜表面反射形成的光斑。根据本发明的实施例,可以在每个镜框的上边缘和下边缘分别放置两个近红外光源。场景视频采集装置是在固定装置鼻梁上方放置1个广角可见光摄像头,拍摄场景视频。
眼部视频中瞳孔和光斑中心提取单元20,基于头戴式视频采集装置采集到的4路眼部视频,提取各路视频中瞳孔和光斑中心的位置。在眼部摄像头采集到的眼部视频中,在近红外光照射下,瞳孔部分和周围灰度值差别巨大且为椭圆形;近红外光源在角膜表面反射形成的光斑也有明显的灰度特征,且基本为圆形或椭圆形。根据瞳孔和光斑的灰度及形状特征可以提取其中心位置坐标。对于瞳孔中心坐标检测,其基本步骤如下:先根据边缘或灰度信息粗定位瞳孔中心坐标;再通过星射线法等精确检测瞳孔边缘;最后通过椭圆拟合及迭代筛选去噪精确定位瞳孔中心坐标。对于耀斑中心的检测,由于红外LED相对于摄像头的位置确定,摄像头拍摄到的每个LED在角膜上形成的耀斑位置变化很小,特别是各LED形成的耀斑相对位置不会变化。基于位置可以将多个耀斑简单分割开,并对应到相应的LED。由于耀斑亮度明显高于图像其他部分,且为椭圆形。提取耀斑中心的算法与提取瞳孔中心基本一致。
立体视觉估算瞳孔和光斑中心三维坐标单元30,计算机立体视觉估算瞳孔和耀斑中心三维坐标的基础是完成多个摄像机标定。摄像机进行标定后,不仅能够得到准确的各个摄像机内外参数,而且还能够得到多个摄像机之间的位置关系,即各摄像头坐标系之间的旋转矩阵R和平移矢量T。
摄像机最基本的成像模型就是针孔模型,针孔模型是基于共线性原理,即将现实空间中的物体点通过投影中心投影到成像平面上,通常把摄像机坐标系的原点作为投影中心。考虑摄像机内部参数,整个投影矩阵如式1所示。
x y 1 = s f x 0 C x 0 f y C y 0 0 1 r 11 r 12 r 13 t 1 r 21 r 22 r 23 t 2 r 31 r 32 r 33 t 3 X Y Z 1 - - - ( 1 )
M = f x 0 C x 0 f y C y 0 0 1 - - - ( 2 )
W = [ R t ] = r 11 r 12 r 13 t 1 r 21 r 22 r 23 t 2 r 31 r 32 r 33 t 3 - - - ( 3 )
这里(X,Y,Z)是一个点的世界坐标,(x,y)是点投影在图像平面的坐标,以像素为单位。s为尺度因子。如式2所示,M为摄像机内参数矩阵,(Cx,Cy)是基准点(通常在图像的中心),fx、fy是以像素为单位的焦距。内参数矩阵不依赖场景的视图,一旦计算出,可以被重复使用(只要焦距固定)。如式3所示,旋转-平移矩阵W=[R|t]被称作外参数矩阵,它用来描述摄像机坐标系相对于固定的世界坐标系的旋转和平移变换。也就是[R|t]将世界坐标系中点(X,Y,Z)的坐标变换到摄像机坐标系中的坐标。
通过已知在世界坐标系中位置的标定靶,如棋盘格标定靶,利用OpenCV中的单摄像机标定算法,如张正友标定法,我们可以较为精确地获得各摄像机的尺度因子、摄像机内部参数矩阵M,以及摄像机坐标系相对于世界坐标系的旋转-平移矩阵W。通过两个摄像头同时拍摄到的多幅标定靶照片,结合已经标定得到的每个摄像头的内参数矩阵,使用OpenCV中的双目摄像头标定算法,可以获得各摄像机坐标系之间的旋转-平移矩阵。
以双目摄像头某一摄像头坐标系为基准,根据标定好的双目摄像头的内参数矩阵M1、M2,旋转-平移矩阵W1、W2,以及双目摄像头拍摄图像中对应的[x1,y1],[x2,y2]图像平面坐标,可以获得式4、5。联立两式,采用最小二乘法可以解得三维空间中坐标[X,Y,Z]。根据从双目摄像头拍摄到的眼部视频图像中检测到的瞳孔中心和耀斑中心的位置,即可算出眼球瞳孔中心和耀斑中心的三维坐标。
x 1 y 1 1 = s 1 M 1 W 1 X Y Z 1 - - - ( 4 )
x 2 y 2 1 = s 2 M 2 W 2 X Y Z 1 - - - ( 5 )
双眼角膜球心三维坐标及光轴估算单元40。如图4所示,单个近红外LED灯在角膜表面反射形成的耀斑,是球面镜反射成像。根据球面镜反射成像规律,通过双目摄像头计算得到的耀斑三维坐标为该LED灯球面反射形成的虚像位置坐标。如图5所示,根据球面镜反射成像规律,真实的红外LED灯与其虚像的连线经过角膜球心,根据两个红外LED及其对应虚像的三维坐标,即可以计算出角膜球心的三维坐标。通过双目视觉的方式获得角膜球心和瞳孔中心的三维坐标后,即可算出每个眼球光轴的直线方程。
双眼Kappa角校正单元50,通过凝视外部近红外LED灯的方式进行Kappa角的校正。如图6所示,当穿戴者凝视外部的近红外LED灯S时,灯S同时也会在双眼角膜表面球面反射形成虚像s1、s2。灯S与眼球1处形成的虚像s1的连线Ss1经过角膜球心c1,为眼球1的视轴直线;灯S与眼球2处形成的虚像s2的连线Ss2经过角膜球心c2,为眼球2的视轴直线。从眼球1处的双目摄像头O11和O12拍摄到的眼部视频中提取红外LED灯S形成的耀斑,通过立体视觉的方法算出虚像s1的三维坐标,结合前面求得的眼球1角膜球心c1的三维坐标即可求得眼球1的视轴直线方程;从眼球2处的双目摄像头O21和O22拍摄到的眼部视频中提取红外LED灯S形成的耀斑,通过立体视觉的方法算出虚像s2的三维坐标,结合前面求得的眼球2角膜球心c2的三维坐标即可求得眼球2的视轴直线方程。再结合前面求得的双眼光轴直线方程,可以算出穿戴者双眼视轴和光轴的夹角Kappa角。
双眼视线及凝视点估算单元60,估算双眼视轴直线方程,进而计算出凝视点坐标,映射出其在场景视频中的位置并进行标注。如图2所示,根据Kappa角的经验值或标定校正后的精确值,结合两眼处获得的光轴直线方程,可以估算出双眼的视轴直线方程。根据标定得到的左右双眼处选取的基准摄像头坐标系之间的旋转平移矩阵,以其中一个摄像头的坐标系为基准世界坐标系,根据左右双眼的视轴直线方程,计算其穿戴者关注的区域位置三维坐标。根据得到的场景摄像头坐标系与基准世界坐标系之间的旋转平移矩阵和场景摄像头投影矩阵,已知凝视点在世界坐标系中的3维坐标,经过旋转平移变换即可获得该凝视点在场景摄像头坐标系中的坐标,结合通过针孔成像模型中的投影矩阵,可以获得其在场景摄像头图像中的位置,进而进行标记。本发明能跟踪穿戴者在三维自由空间中双目视线凝视点三维坐标,并在场景视频中标出;无需繁琐的训练和标定,穿戴者戴上即可使用,用户体验好;穿戴者头部可以自由活动,使用过程中设备在穿戴者头部的可以自由移动;经过简单的标定之后,可以获得高精度的视线跟踪效果。
尽管已经参照本发明的特定示例性实施例示出并描述了本发明,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本发明的精神和范围的情况下,可以对本发明进行形式和细节上的多种改变。因此,本发明的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。

Claims (7)

1.一种自由空间头戴式视线跟踪系统,其特征在于,包括:
头戴式视频采集装置,同时采集4路近红外眼部视频和1路场景视频,所述4路近红外眼部视频包括来自佩戴该头戴式视频采集装置的穿戴者的左眼和右眼的各2路近红外眼部视频;
立体视觉估算双眼光轴单元,通过立体视觉的方法直接估算双眼瞳孔和角膜球心坐标,计算双眼光轴直线方程;以及
双眼视线及凝视点估算单元,根据眼球Kappa角和双眼光轴直线方程估算双眼视轴直线方程,进而计算出凝视点坐标,映射出凝视点在场景视频中的位置并进行标注,所述Kappa角是每个眼球的光轴和视轴之间的固定夹角。
2.根据权利要求1所述自由空间头戴式视线跟踪系统,其特征在于,所述头戴式视频采集装置包括:
固定装置,主要包括2个镜框和中间连接的鼻梁;
眼部视频采集装置,包括在每个镜框上放置的2个用于采集眼部视频的近红外微距摄像头,两个镜框上共计放置4个近红外微距摄像头,其中:所述每个镜框处的2个近红外微距摄像头平行放置在镜框的下方;穿戴者戴上该头戴式视频采集装置后,近红外微距摄像头拍摄到穿戴者的眼睛的全部区域;
近红外光源照明装置,包括在每个镜框周边放置的2个以上的近红外光源,所述近红外光源的形状和彼此之间的距离使眼部近红外光照强度均匀适度,并且使摄像头采集到的眼部视频能看到清晰的瞳孔和每个近红外光源在角膜表面反射形成的光斑;
场景视频采集装置,包括在固定装置的鼻梁上方放置的1个广角可见光摄像头,用于拍摄场景视频。
3.根据权利要求2所述的自由空间头戴式视线跟踪系统,其特征在于,所述固定装置固定在眼镜或其他头戴式设备上。
4.根据权利要求2所述的自由空间头戴式视线跟踪系统,其特征在于,所述近红外微距摄像头镜头上镀上近红外滤光膜或者镜头前面覆盖近红外滤光片。
5.根据权利要求1所述的自由空间头戴式视线跟踪系统,其特征在于,所述立体视觉估算双眼光轴单元包括:
眼部视频中瞳孔和光斑中心提取单元,基于头戴式视频采集装置采集到的4路眼部视频,提取各路视频中瞳孔和光斑中心的位置,其中,在眼部摄像头采集到的眼部视频中,在近红外光照射下,瞳孔部分和周围灰度值差别巨大且为椭圆形;近红外光源在角膜表面反射形成的光斑也有明显的灰度特征,根据瞳孔和光斑的灰度及形状特征提取瞳孔和光斑中心的位置坐标;
立体视觉估算瞳孔和光斑中心三维坐标单元,先标定每个摄像头的内参数,然后再标定出每个眼睛处2个摄像头之间的旋转平移矩阵,在每个眼睛处,根据2个摄像头之间的旋转平移矩阵和检测到的瞳孔和光斑在图像中的位置,通过立体视觉的方法,以其中任意选定的一个摄像头的坐标系为基准,计算出瞳孔和每个光斑中心的三维坐标;以及
双眼角膜球心三维坐标及光轴估算单元,根据人体眼球模型,近红外光源在眼球角膜表面反射形成的光斑为球面反射成像,立体视觉计算得到的光斑三维坐标为近红外光源在角膜球面反射形成的虚像位置坐标,真实的近红外光源与其虚像的连线经过角膜球心,根据两个红外LED及其对应虚像的三维坐标,计算出角膜球心的三维坐标,每个眼球角膜球心和瞳孔中心连线即为眼球光轴,通过立体视觉的方式获得角膜球心和瞳孔中心的三维坐标后,计算出每个眼球光轴的直线方程。
6.根据权利要求1所述的自由空间头戴式视线跟踪系统,其特征在于,还包括双眼Kappa角校正单元,通过穿戴者凝视外部近红外光源校正双眼Kappa角,进一步提高视线跟踪精度,其中,当穿戴者凝视外部近红外光源时,外部近红外光源会在双眼眼球角膜表面反射形成虚像,每个眼球处,该外部近红外光源与虚像连线经过眼球角膜球心,为该眼球此时的视轴,通过立体视觉求得该虚像的三维坐标,获得双眼视轴的直线方程,结合双眼光轴直线方程,进而算出每个眼球的Kappa角。
7.根据权利要求1,自由空间头戴式视线跟踪系统,其特征在于,所述双眼视线及凝视点估算单元执行以下操作:
根据双眼光轴直线方程及Kappa角的经验值或标定后的精确值,获得视轴的直线方程;
标定左右双眼处前面选取的基准摄像头坐标系之间的旋转平移矩阵,以其中一个摄像头的坐标系为基准世界坐标系,根据左右双眼的视轴直线方程和旋转平移矩阵,计算其穿戴者关注的区域位置三维坐标;
标定场景摄像头坐标系与基准世界坐标系之间的旋转平移矩阵,根据该旋转平移矩阵和场景摄像头投影矩阵,计算凝视点在场景视频中的位置,并将其标出。
CN201610475628.6A 2016-06-23 2016-06-23 一种自由空间头戴式视线跟踪系统 Active CN106168853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610475628.6A CN106168853B (zh) 2016-06-23 2016-06-23 一种自由空间头戴式视线跟踪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610475628.6A CN106168853B (zh) 2016-06-23 2016-06-23 一种自由空间头戴式视线跟踪系统

Publications (2)

Publication Number Publication Date
CN106168853A true CN106168853A (zh) 2016-11-30
CN106168853B CN106168853B (zh) 2019-10-01

Family

ID=58064812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610475628.6A Active CN106168853B (zh) 2016-06-23 2016-06-23 一种自由空间头戴式视线跟踪系统

Country Status (1)

Country Link
CN (1) CN106168853B (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778641A (zh) * 2016-12-23 2017-05-31 北京七鑫易维信息技术有限公司 视线估计方法及装置
CN107014378A (zh) * 2017-05-22 2017-08-04 中国科学技术大学 一种视线跟踪瞄准操控系统及方法
CN107392853A (zh) * 2017-07-13 2017-11-24 河北中科恒运软件科技股份有限公司 双摄像头视频融合畸变校正与视点微调整方法及系统
CN107388201A (zh) * 2017-09-05 2017-11-24 哈尔滨理工大学 医用头戴式眼动控制手术照明灯
CN107589837A (zh) * 2017-08-22 2018-01-16 努比亚技术有限公司 一种ar终端画面调整方法、设备和计算机可读存储介质
CN107608523A (zh) * 2017-09-30 2018-01-19 广东欧珀移动通信有限公司 移动终端的控制方法、装置及存储介质和移动终端
CN107773248A (zh) * 2017-09-30 2018-03-09 优视眼动科技(北京)有限公司 眼动仪及图像处理方法
CN108196676A (zh) * 2018-01-02 2018-06-22 联想(北京)有限公司 跟踪识别方法及系统
CN108205374A (zh) * 2018-01-02 2018-06-26 京东方科技集团股份有限公司 一种视频眼镜的眼球追踪模组及其方法、视频眼镜
CN108519676A (zh) * 2018-04-09 2018-09-11 杭州瑞杰珑科技有限公司 一种头戴式助视装置
CN108732746A (zh) * 2018-05-29 2018-11-02 北京理工大学 一种头戴式目视瞄准控制系统
CN109157748A (zh) * 2018-09-13 2019-01-08 清华大学深圳研究生院 一种用于角膜交联的智能系统及控制方法
CN109471523A (zh) * 2017-09-08 2019-03-15 托比股份公司 使用眼球中心位置的眼睛追踪
CN109696954A (zh) * 2017-10-20 2019-04-30 中国科学院计算技术研究所 视线追踪方法、装置、设备和存储介质
CN109885169A (zh) * 2019-02-25 2019-06-14 清华大学 基于三维眼球模型的眼球参数标定和视线方向跟踪方法
CN110310321A (zh) * 2018-03-23 2019-10-08 爱信精机株式会社 视线方向估算装置,视线方向估算方法和视线方向估算程序
CN110412257A (zh) * 2019-07-22 2019-11-05 深圳市预防宝科技有限公司 一种结合人工标定与星射线算法的试纸块定位方法
CN110441901A (zh) * 2019-08-14 2019-11-12 东北大学 一种可实时追踪注视位置的光学显微镜系统及方法
CN110968191A (zh) * 2018-09-28 2020-04-07 苹果公司 用于涉及头戴式设备的场景的动态环境照明控制
CN111124104A (zh) * 2018-10-31 2020-05-08 托比股份公司 使用瞳孔中心位置的映射进行注视跟踪
CN111221410A (zh) * 2018-11-25 2020-06-02 宏达国际电子股份有限公司 传输眼球追踪信息的方法、头戴式显示器及计算机装置
CN111308697A (zh) * 2018-12-11 2020-06-19 简韶逸 适应性视线追踪的校正方法
CN111339982A (zh) * 2020-03-05 2020-06-26 西北工业大学 一种基于特征的多级瞳孔中心定位技术实现方法
CN111474740A (zh) * 2019-12-31 2020-07-31 杭州电子科技大学 一种基于眼球追踪的视距检测自动变焦系统及方法
CN111812857A (zh) * 2020-07-20 2020-10-23 上海青研科技有限公司 显示装置、方法与应用
CN111867445A (zh) * 2018-03-26 2020-10-30 索尼公司 信息检测装置、视频投影装置、信息检测方法以及视频投影方法
CN111885367A (zh) * 2020-07-20 2020-11-03 上海青研科技有限公司 显示装置及应用方法
CN112099622A (zh) * 2020-08-13 2020-12-18 中国科学院深圳先进技术研究院 一种视线追踪方法及装置
CN112754420A (zh) * 2021-01-08 2021-05-07 瑞尔明康(杭州)视光科技有限公司 波前像差测量系统、相关联的视知觉学习训练系统和方法
CN113052921A (zh) * 2021-05-18 2021-06-29 北京科技大学 一种三维视线跟踪系统的系统标定方法
CN113903079A (zh) * 2020-07-06 2022-01-07 北京理工大学 一种基于集成化微小型头戴式系统的视线估计方法
CN116052136A (zh) * 2023-03-27 2023-05-02 中国科学技术大学 分心检测方法、车载控制器和计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123027A1 (en) * 2001-12-28 2003-07-03 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
CN101901485A (zh) * 2010-08-11 2010-12-01 华中科技大学 3d自由头动式视线跟踪系统
CN104094280A (zh) * 2011-11-07 2014-10-08 爱福露恩斯公司 用于高分辨率视线跟踪的系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123027A1 (en) * 2001-12-28 2003-07-03 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
CN101901485A (zh) * 2010-08-11 2010-12-01 华中科技大学 3d自由头动式视线跟踪系统
CN104094280A (zh) * 2011-11-07 2014-10-08 爱福露恩斯公司 用于高分辨率视线跟踪的系统和方法

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778641A (zh) * 2016-12-23 2017-05-31 北京七鑫易维信息技术有限公司 视线估计方法及装置
CN106778641B (zh) * 2016-12-23 2020-07-03 北京七鑫易维信息技术有限公司 视线估计方法及装置
CN107014378A (zh) * 2017-05-22 2017-08-04 中国科学技术大学 一种视线跟踪瞄准操控系统及方法
CN107392853A (zh) * 2017-07-13 2017-11-24 河北中科恒运软件科技股份有限公司 双摄像头视频融合畸变校正与视点微调整方法及系统
CN107392853B (zh) * 2017-07-13 2020-05-26 河北中科恒运软件科技股份有限公司 双摄像头视频融合畸变校正与视点微调整方法及系统
CN107589837A (zh) * 2017-08-22 2018-01-16 努比亚技术有限公司 一种ar终端画面调整方法、设备和计算机可读存储介质
CN107388201A (zh) * 2017-09-05 2017-11-24 哈尔滨理工大学 医用头戴式眼动控制手术照明灯
CN109471523A (zh) * 2017-09-08 2019-03-15 托比股份公司 使用眼球中心位置的眼睛追踪
CN109471523B (zh) * 2017-09-08 2021-09-28 托比股份公司 使用眼球中心位置的眼睛追踪
CN107773248A (zh) * 2017-09-30 2018-03-09 优视眼动科技(北京)有限公司 眼动仪及图像处理方法
CN107608523B (zh) * 2017-09-30 2021-04-13 Oppo广东移动通信有限公司 移动终端的控制方法、装置及存储介质和移动终端
CN107608523A (zh) * 2017-09-30 2018-01-19 广东欧珀移动通信有限公司 移动终端的控制方法、装置及存储介质和移动终端
CN109696954B (zh) * 2017-10-20 2021-05-07 中国科学院计算技术研究所 视线追踪方法、装置、设备和存储介质
CN109696954A (zh) * 2017-10-20 2019-04-30 中国科学院计算技术研究所 视线追踪方法、装置、设备和存储介质
CN108196676A (zh) * 2018-01-02 2018-06-22 联想(北京)有限公司 跟踪识别方法及系统
US11079839B2 (en) 2018-01-02 2021-08-03 Beijing Boe Optoelectronics Technology Co., Ltd. Eye tracking device and eye tracking method applied to video glasses and video glasses
CN108205374A (zh) * 2018-01-02 2018-06-26 京东方科技集团股份有限公司 一种视频眼镜的眼球追踪模组及其方法、视频眼镜
CN108196676B (zh) * 2018-01-02 2021-04-13 联想(北京)有限公司 跟踪识别方法及系统
CN108205374B (zh) * 2018-01-02 2020-07-28 京东方科技集团股份有限公司 一种视频眼镜的眼球追踪模组及其方法、视频眼镜
CN110310321A (zh) * 2018-03-23 2019-10-08 爱信精机株式会社 视线方向估算装置,视线方向估算方法和视线方向估算程序
CN111867445A (zh) * 2018-03-26 2020-10-30 索尼公司 信息检测装置、视频投影装置、信息检测方法以及视频投影方法
CN108519676A (zh) * 2018-04-09 2018-09-11 杭州瑞杰珑科技有限公司 一种头戴式助视装置
CN108732746A (zh) * 2018-05-29 2018-11-02 北京理工大学 一种头戴式目视瞄准控制系统
CN109157748A (zh) * 2018-09-13 2019-01-08 清华大学深圳研究生院 一种用于角膜交联的智能系统及控制方法
CN110968191A (zh) * 2018-09-28 2020-04-07 苹果公司 用于涉及头戴式设备的场景的动态环境照明控制
CN111124104A (zh) * 2018-10-31 2020-05-08 托比股份公司 使用瞳孔中心位置的映射进行注视跟踪
US11681366B2 (en) 2018-10-31 2023-06-20 Tobii Ab Gaze tracking using mapping of pupil center position
CN111124104B (zh) * 2018-10-31 2022-06-10 托比股份公司 使用瞳孔中心位置的映射进行注视跟踪
CN111221410A (zh) * 2018-11-25 2020-06-02 宏达国际电子股份有限公司 传输眼球追踪信息的方法、头戴式显示器及计算机装置
CN111221410B (zh) * 2018-11-25 2023-03-31 宏达国际电子股份有限公司 传输眼球追踪信息的方法、头戴式显示器及计算机装置
CN111308697B (zh) * 2018-12-11 2021-11-05 简韶逸 适应性视线追踪的校正方法
CN111308697A (zh) * 2018-12-11 2020-06-19 简韶逸 适应性视线追踪的校正方法
CN109885169A (zh) * 2019-02-25 2019-06-14 清华大学 基于三维眼球模型的眼球参数标定和视线方向跟踪方法
CN110412257B (zh) * 2019-07-22 2022-05-03 深圳市预防宝科技有限公司 一种结合人工标定与星射线算法的试纸块定位方法
CN110412257A (zh) * 2019-07-22 2019-11-05 深圳市预防宝科技有限公司 一种结合人工标定与星射线算法的试纸块定位方法
CN110441901A (zh) * 2019-08-14 2019-11-12 东北大学 一种可实时追踪注视位置的光学显微镜系统及方法
CN111474740A (zh) * 2019-12-31 2020-07-31 杭州电子科技大学 一种基于眼球追踪的视距检测自动变焦系统及方法
CN111339982A (zh) * 2020-03-05 2020-06-26 西北工业大学 一种基于特征的多级瞳孔中心定位技术实现方法
CN113903079A (zh) * 2020-07-06 2022-01-07 北京理工大学 一种基于集成化微小型头戴式系统的视线估计方法
CN113903079B (zh) * 2020-07-06 2024-06-18 北京理工大学 一种基于集成化微小型头戴式系统的视线估计方法
CN111812857A (zh) * 2020-07-20 2020-10-23 上海青研科技有限公司 显示装置、方法与应用
CN111885367A (zh) * 2020-07-20 2020-11-03 上海青研科技有限公司 显示装置及应用方法
CN112099622B (zh) * 2020-08-13 2022-02-01 中国科学院深圳先进技术研究院 一种视线追踪方法及装置
CN112099622A (zh) * 2020-08-13 2020-12-18 中国科学院深圳先进技术研究院 一种视线追踪方法及装置
CN112754420A (zh) * 2021-01-08 2021-05-07 瑞尔明康(杭州)视光科技有限公司 波前像差测量系统、相关联的视知觉学习训练系统和方法
CN113052921A (zh) * 2021-05-18 2021-06-29 北京科技大学 一种三维视线跟踪系统的系统标定方法
CN113052921B (zh) * 2021-05-18 2021-10-15 北京科技大学 一种三维视线跟踪系统的系统标定方法
CN116052136A (zh) * 2023-03-27 2023-05-02 中国科学技术大学 分心检测方法、车载控制器和计算机存储介质
CN116052136B (zh) * 2023-03-27 2023-09-05 中国科学技术大学 分心检测方法、车载控制器和计算机存储介质

Also Published As

Publication number Publication date
CN106168853B (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN106168853B (zh) 一种自由空间头戴式视线跟踪系统
US11867978B2 (en) Method and device for determining parameters for spectacle fitting
CN105812778B (zh) 双目ar头戴显示设备及其信息显示方法
CN106022304B (zh) 一种基于双目相机的实时人体坐姿情况检测方法
CN105828702B (zh) 用于校准头戴式眼睛跟踪装置的方法
CN103558909B (zh) 交互投射显示方法及交互投射显示系统
CN101901485B (zh) 3d自由头动式视线跟踪系统
EP3371781B1 (en) Systems and methods for generating and using three-dimensional images
Nitschke et al. Corneal imaging revisited: An overview of corneal reflection analysis and applications
CN106461983B (zh) 用于确定个人的视觉行为的至少一个参数的方法
CN106056092A (zh) 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
US20130271726A1 (en) Method and Systems for Measuring Interpupillary Distance
CN113808160B (zh) 视线方向追踪方法和装置
JP6833674B2 (ja) 選択された眼鏡フレームの画像データに基づいた使用者データの決定
US10620454B2 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images
JP2016510517A (ja) ウエアラブル視線計測デバイス及び使用方法
CN110998417B (zh) 确定视近点的方法、装置和计算机可读的存储介质
US9110312B2 (en) Measurement method and equipment for the customization and mounting of corrective ophthalmic lenses
CN113692527B (zh) 用于测量眼镜片的局部屈光力和/或屈光力分布的方法和装置
CN107427208A (zh) 用于通过透镜系统提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法
CN108259887A (zh) 注视点校准方法及装置、注视点标定方法及装置
JP2012239566A (ja) 眼鏡用測定装置及び三次元測定装置
JP7168953B2 (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
CN105354825A (zh) 自动识别读写场景中读物位置的智能装置及其应用
GB2559977A (en) Systems and methods for obtaining information about the face and eyes of a subject

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant