CN117333506B - 一种基于tof相机的三维眼动追踪方法 - Google Patents

一种基于tof相机的三维眼动追踪方法 Download PDF

Info

Publication number
CN117333506B
CN117333506B CN202311253000.8A CN202311253000A CN117333506B CN 117333506 B CN117333506 B CN 117333506B CN 202311253000 A CN202311253000 A CN 202311253000A CN 117333506 B CN117333506 B CN 117333506B
Authority
CN
China
Prior art keywords
subject
gaze
eye
point
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311253000.8A
Other languages
English (en)
Other versions
CN117333506A (zh
Inventor
佟维妍
沈宽心
高锦涛
耿振坤
陶敬辉
杨喻丘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang University of Technology
Original Assignee
Shenyang University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang University of Technology filed Critical Shenyang University of Technology
Priority to CN202311253000.8A priority Critical patent/CN117333506B/zh
Publication of CN117333506A publication Critical patent/CN117333506A/zh
Application granted granted Critical
Publication of CN117333506B publication Critical patent/CN117333506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及一种基于TOF相机的三维眼动追踪方法，步骤为：使用标定平面标定；采集受试者凝视图像；得到受试者单只眼睛图像上7个关键点；得到单只眼睛图像上7个畸变校正后的眼部landmarks点的2D坐标；将7个关键点的2D坐标转化为相机坐标系中的3D坐标；得到受试者水平方向凝视时的眼球中心在相机坐标系中的3D坐标值，以及受试者垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值；得到受试者在水平和垂直方向凝视时的瞳孔点的3D坐标；计算出受试者在水平和垂直方向的凝视角度yaw和pitch，从而实现三维眼动追踪。解决了现有的基于模型的眼动追踪技术中存在的眼球结构建模复杂、求解凝视角度困难的问题。

Description

一种基于TOF相机的三维眼动追踪方法
技术领域
本发明涉及眼动追踪技术领域，具体为一种基于TOF相机的三维眼动追踪方法。
技术背景
随着计算机视觉和神经网络的深入发展，对人眼视线角度进行检测的眼动追踪技术也拥有了越来越多的算法。眼动追踪技术主要用于检测受试者眼球501在yaw方向(水平偏转)和pitch(垂直俯仰)方向的旋转角度，其算法主要有基于模型(Model-based)和基于外观(Appearance-based)的方法。然而在众多科研人员当前的研究结果中，基于外观的算法大多数是基于RGB图像开发的，基于模型的方法更是需要依托高分辨率图像。在现实场景中，低分辨率、光照强度变化不定等因素给眼动追踪技术带来了极大的挑战。
与基于外观的方法相比，基于模型的眼动追踪方法往往具有更高的检测精度。以2009年伦斯勒理工学院的Jixu Chen提出的基于模型的方法为例，传统的基于模型的眼动追踪算法需要对整个眼球进行数学建模，眼睛的眼角点、瞳孔点、角膜中心、眼球中心，角膜反射点、眼睛凝视时光轴与视轴的kappa角等都计算在内。且对图像的分辨率要求高。因此，传统的基于模型的方法计算复杂，求解眼睛凝视角度较为困难。
发明内容
针对现有的基于模型的眼动追踪技术中存在的眼球结构建模复杂、求解凝视角度困难的问题，本发明提出一种基于TOF相机的三维眼动追踪方法。
技术方案：
本发明提出一种基于TOF相机的三维眼动追踪方法，步骤为：
S201：受视者结合自身应用场景任意选取一个平面为标定平面，使用标定平面通过标定环节输出TOF相机畸变系数、TOF相机内参矩阵；
S202：TOF相机采集受试者凝视图像；
S203：将凝视图像输入到眼部landmarks点检测模型，得到受试者单只眼睛图像上7个关键点；
S204：结合标定环节得到的TOF相机畸变系数，对受试者凝视图像进行切向和径向的畸变校正，得到单只眼睛图像上7个校正后的眼部landmarks点的2D坐标；
S205：结合标定环节得到的TOF相机内参，将7个关键点的2D坐标转化为相机坐标系中的3D坐标；
S206：根据7个关键点的3D坐标建立凝视角度水平方向受试者眼球中心点与左、右眼角点的数学模型，得到受试者水平方向凝视时的眼球中心在相机坐标系中的3D坐标值。同时，建立凝视角度垂直方向眼球中心与左、右眼角点的数学模型，得到受试者垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值；
S207：根据步骤S206得到的水平方向和垂直方向眼球中心在相机坐标系中的3D坐标值，分别建立水平方向、垂直方向受试者眼球中心点与瞳孔点的数学关系式，得到受试者在水平和垂直方向凝视时的瞳孔点的3D坐标；
S208：根据步骤S206得到的受试者水平方向凝视时的眼球中心在相机坐标系中的3D坐标值和受试者垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值，步骤S207得到的受试者在水平和垂直方向凝视时的瞳孔点的3D坐标，分别计算出受试者在水平和垂直方向的凝视角度yaw和pitch，从而实现三维眼动追踪。
进一步的，步骤1中所述标定环节的步骤为：
S301：使用开源计算机视觉库opencv标定TOF相机内参矩阵和畸变系数；
S302：受视者结合自身应用场景任意选取一个平面为标定平面，设定标定次数N和标定平面上分布的凝视点个数M；
S303：获取TOF相机在标定平面的位置坐标以及其位置坐标与标定平面上各个凝视点的位置关系，得到凝视点在相机坐标系中的坐标值；
S304：受试者依次凝视标定平面上的凝视点，TOF相机采集受试者凝视标定平面上凝视点的凝视图像；
S305：将受试者的凝视图像输入眼部landmarks点检测模型，得到单个眼睛图像上的7个关键点；
S306：结合TOF相机畸变系数，对受试者凝视图像进行畸变校正；
S307：结合TOF相机内参，将7个关键点的2D坐标转化为3D坐标；
S308：计算相机坐标系中瞳孔点的坐标值，结合相机坐标系中标定平面上的凝视点位置坐标计算出受试者注视当前凝视点时的水平和垂直方向的真值凝视角度αrc、βrc；
S309：根据7个关键点的3D坐标建立凝视角度水平方向眼球中心与左、右眼角点的数学模型，将受试者在水平方向凝视时的眼球半径值R1的取值设定在[5,40]，求解得到受试者水平方向凝视时的眼球中心在相机坐标系中的3D坐标值；S310：统计受试者在标定过程中，其眼球在垂直方向凝视时的眼睛高宽比p；
S311：将受试者在垂直方向凝视时的眼球半径值R2的取值设定在[5,40]，建立凝视角度垂直方向眼球中心与左、右眼角点的数学模型，得到受试者垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值；
S312：将受试者在水平、垂直方向凝视时其眼球中心到瞳孔的距离值d1和d2的取值设定为[5,40]，根据受试者在水平、垂直凝视方向的眼球中心的3D坐标值，分别建立水平和垂直方向眼球中心与瞳孔点的数学关系式，分别求解得到受试者在水平和垂直方向凝视时的瞳孔点的3D坐标；
S313：根据求解得到的受试者在水平和垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值、受试者在水平和垂直方向凝视时的瞳孔点的3D坐标，分别计算出R1、R2、d1、d2在[5,40]范围内遍历时、每一组参数求解得到的受试者凝视当前凝视点的水平和垂直方向的凝视角度yaw′和pitch′；
S314：将每组参数计算得到的水平方向和垂直方向凝视角度值yaw′和pitch′与步骤S308得到的该凝视点对应的真值凝视角度αrc和βrc相减，取其角度偏差的绝对值，记为标定平面上当前凝视点的凝视角度偏差；
S315：判断标定次数是否达到预定的N次且每次标定时是否获得标定平面上M个凝视点的受试者凝视图像，若是，进行S316；若否，返回S304；
S316：计算N次标定中标定平面上M个凝视点的平均角度偏差，输出平均偏差最小的一组参数R1、R2、d1、d2。
进一步的，步骤306中所述的7个关键点包括左眼角点、第一上眼睑点、第二上眼睑点、右眼角点、第一下眼睑点、第二下眼睑点和瞳孔点。
进一步的，步骤306中所述的畸变校正计算公式为：
其中(ui,vi)为原始图像上检测得到的眼部7个landmarks点中第i个点的像素坐标，(ui′,vi′)为畸变校正后第i个landmarks点的像素坐标，k1、k2、p1、p2、k3为TOF相机畸变系数。
进一步的，步骤307中所述的2D坐标转化为3D坐标的计算公式为：
其中，(ui′,vi′)为畸变校正后第i个landmarks点的像素坐标，(Xi,Yi,Zi)为计算得到的第i个关键点3D坐标，gi是第i个关键点在TOF相机拍摄的深度图上的灰度值，f是TOF相机测距工作的最大量程距离值，n是TOF相机测距量程设定的最小距离值，fx和fy是TOF相机内参，w和h是TOF相机拍摄的图像的宽度和高度。
进一步的，步骤308中所述的真值凝视角度αrc、βrc的计算公式为：
其中，(x7,y7,z7)是受试者单只眼睛图像经眼部landmarks点检测模型检测且畸变校正后按2D坐标转化为3D坐标方法计算得到的瞳孔点的3D坐标值，(xrc,yrc,zrc)是相机坐标系中凝视点的坐标值。αrc为受试者在水平方向凝视第r行第c列的凝视点时的真值凝视角度，βrc为受试者在垂直方向凝视标定平面上第r行第c列凝视点时的真值凝视角度。
进一步的，步骤316中所述的N次标定中标定平面上M个凝视点的平均角度误差计算公式为：
其中，表示N次标定中标定平面上M个凝视点计算得到的受试者水平方向凝视角度的平均偏差，/>表示N次标定中标定平面上M个凝视点计算得到的受试者垂直方向凝视角度的平均偏差。
进一步的，步骤S206中所述的凝视角度水平方向眼球中心与左、右眼角点的数学模型为：
其中，(X1,Y1,Z1)和(X4,Y4,Z4)分别是受试者单只眼睛的左、右眼角点的3D坐标；R1为受试者水平方向凝视时的眼球半径值，该值由标定环节得到；dif为受试者左、右眼角点到眼球表面的3D距离；(xeye,yeye,zeye)为求解得到的受试者水平方向凝视时的眼球中心在相机坐标系中的3D坐标值；
步骤S206中所述的凝视角度垂直方向的眼球中心与左、右眼角点的数学模型为：
其中，(X1,Y1,Z1)和(X4,Y4,Z4)分别是受试者单只眼睛图像上经眼部landmarks点检测模型检测得到的左、右眼角点的3D坐标；R2为标定环节得到的受试者在垂直方向凝视时的眼球半径值；dif是受试者左、右眼角点到眼球表面的3D距离；(xe′ye,ye′ye,ze′ye)为求得的受试者在垂直方向凝视时的眼球中心的3D坐标值。
进一步的，步骤S207中所述的在垂直和水平方向凝视时的瞳孔点的3D坐标计算公式为：
在水平方向凝视时，
其中，(u7′,v7′)为眼部landmarks点检测模型对受试者单只眼睛图像进行检测得到的瞳孔点经畸变校正后得到的2D像素坐标；(X7,Y7,Z7)是按2D坐标转化为3D坐标的公式所设的受试者瞳孔点2D像素坐标对应的相机坐标系中的3D坐标值，Z7取计算结果的最小值解；(xeye,yeye,zeye)是受试者在水平方向凝视时其眼球中心在相机坐标系中的3D坐标值；w和h是TOF相机采集的图像的宽度和高度；fx和fy是TOF相机内参；d1为水平方向凝视时其眼球中心到瞳孔的距离值；
在垂直方向凝视时：
其中，(xe′ye,ye′ye,ze′ye)是受试者在垂直方向进行凝视时得到的眼球中心在相机坐标系中的3D坐标值，d2为垂直方向凝视时其眼球中心到瞳孔的距离值，(X7′,Y7′,Z7′)为求解得到的受试者在垂直方向凝视时的瞳孔点的3D坐标，Z7′取计算结果的最小值解。
进一步的，步骤S208中所述受试者在水平和垂直方向的凝视角度yaw和pitch的计算公式为：
式中，(X7,Y7,Z7)是受试者在水平方向凝视时的瞳孔点2D像素坐标对应的相机坐标系中的3D坐标值，(xeye,yeye,zeye)是受试者在水平方向凝视时其眼球中心在相机坐标系中的3D坐标值。(X7′,Y7′,Z7′)为受试者在垂直方向凝视时的瞳孔点的3D坐标,(xe′ye,ye′ye,ze′ye)是受试者在垂直方向进行凝视时眼球中心在相机坐标系中的3D坐标值。
有益效果：
本发明提出一种基于TOF(Time Of Flight)相机的三维眼动追踪算法。TOF相机采集的是红外图像，能显著克服环境中光照强度变化对眼动追踪带来的负面影响。同时，TOF相机为深度相机，结合TOF相机采集的深度图可以在3D空间内计算受试者视线的角度，避免了2D眼动追踪中存在的头部姿态角度对眼动追踪的干扰。由于TOF相机发射的脉冲光线易于被人眼的瞳孔吸收和反射从而导致瞳孔点深度信息无法提取，本发明针对受试者的眼球结构采用新的建模方法，解决了TOF相机用于眼动追踪的工作弊端。同时，本发明仅使用眼球结构中的眼角点、上下眼睑点和瞳孔点进行计算，与传统眼球建模的算法相比计算量小且求解简单。
使用凝视真值(ground-truth)数据对本发明的算法进行测试，实验结果表明：在受试者与TOF相机相距600mm范围内的30万像素的数据上，本发明的眼动追踪算法检测偏差在9°以内，实现了低分辨率红外图像上的眼动追踪。
附图说明
图1为眼动追踪前的标定环节示意图；
图2为本发明提出的眼动追踪算法的流程图；
图3为标定环节流程图；
图4为本发明训练的眼部landmarks点检测模型对受试者单只眼睛图像的关键点检测结果；
图5为受试者凝视时的眼球结构示意图，其中图5(a)为凝视角度水平方向(yaw方向)的眼球结构图，图5(b)为凝视角度垂直方向(pitch方向)的眼球结构图；
图6为本发明所提出的算法对受试者进行视线检测的结果可视图，其中图6(a)是TOF相机采集的受试者的原始凝视图像；图6(b)是本发明的算法对原始图像检测得到的眼部landmarks点检测结果；图6(c)是受试者视线可视化结果，图中2条直线为受试者视线。
图中标记：
101、受试者；102、标定平面103上的凝视点；103、标定平面；104、TOF相机；虚线指受试者的视线；401、左眼角点；402、第一上眼睑点；403、第二上眼睑点；404、右眼角点；405、第一下眼睑点；406、第二下眼睑点；407、瞳孔点；501、受试者眼球；502、眼球中心点。
具体实施方式
以下结合说明书附图更详细的说明本发明。
本发明提出一种基于TOF相机的三维眼动追踪方法，如图2所示，步骤为：
S201：受视者101结合自身应用场景任意选取一个平面为标定平面103，使用标定平面103通过标定环节输出TOF相机畸变系数、TOF相机内参矩阵，输出受试者101在水平和垂直方向凝视时的眼球半径R1、R2以及眼球中心到瞳孔的距离d1、d2，输出受试者101在垂直方向凝视时的眼睛高宽比p的范围值等个人特异性眼球参数；
因个人特异性极大地影响眼动追踪技术对受试者101凝视角度的检测精准度，因此受试者101在使用本发明提出的眼动追踪算法前，皆需要经过标定环节测量其分别在水平和垂直方向凝视时的眼球半径R1、R2以及眼球中心到瞳孔的距离d1、d2、在垂直方向凝视时的眼睛高宽比p的范围值等5个受试者101唯一且不变的参数。如图3所示，标定环节的步骤为：
S301：使用开源计算机视觉库opencv标定TOF相机内参矩阵Intrinsic Matrix和畸变系数Distortion Coefficient，其中内参矩阵为：
畸变系数Distortion Coefficient为：
Distortion Coefficient＝[k1,k2,p1,p2,k3] (2)
S302：受视者101结合自身应用场景任意选取一个平面为标定平面103，设定标定次数N和标定平面103上分布的凝视点个数M；
S303：获取TOF相机104在标定平面103的位置坐标以及其位置坐标与标定平面103上各个凝视点的位置关系，得到凝视点在TOF相机坐标系中的坐标值；
标定平面103上各个凝视点在TOF相机坐标系中的位置关系计算方法为：
其中，(camerax,cameray,cameraz)是TOF相机104在图1所示的标定平面103坐标系中的位置坐标，该坐标系以标定平面103左上方第一个凝视点为原点，以从左至右的方向为X轴正方向，以从上至下的方向为Y轴正方向，Z轴方向垂直X-Y平面指向TOF相机104一侧。(Xrc,Yrc)是从上到下第r行、从左到右第c列的凝视点在标定平面103坐标系中的坐标值，(xrc,yrc,zrc)是转换得到的该凝视点在TOF相机坐标系中的坐标值。
S304：受试者101依次凝视标定平面103上的凝视点102，TOF相机采集受试者101凝视标定平面103上凝视点的凝视图像；
S305：将受试者101的凝视图像输入眼部landmarks点检测模型，得到单个眼睛图像上包括左右眼角点、瞳孔点在内的7个关键点；
眼部landmarks点检测模型由30万像素(640×480)的TOF相机采集的数万张IR图像训练而成，该训练集采集自数十名年龄各异的受试者101，涵盖了各种光照条件、各种背景下的复杂环境，充分保障了模型的普适性和泛化能力。将训练集图像进行清洗、标注后放在开源卷积神经网络模型yolov8中进行训练，经leave-one-out测试发现该landmarks点检测模型获得了较好的检测效果和检测精度。
关键点的检测结果如图4和图6所示，本发明对受试者101原始凝视图像(图6a)的关键点检测效果如图6(b)所示，眼部landmarks点检测模型在受试者101单只眼睛上检测出7个关键点，各个关键点的标识如图4所示，其中位于左侧的眼角为左眼角点401，位于受试者101上眼皮轮廓(从左眼角点到右眼角点)的处为第一上眼睑点402，位于受试者101上眼皮轮廓的/>处为第二上眼睑点403，位于右侧的眼角为右眼角点404，位于受试者101下眼皮轮廓(从左眼角点到右眼角点)的/>处为第一下眼睑点405，位于受试者101下眼皮轮廓的/>处为第二下眼睑点406，位于瞳孔处为瞳孔点407。
本发明仅使用受试者101单只眼睛的7个关键点坐标进行视线角度计算，并不关注角膜反射点这种需要高分辨率图像的检测目标。这7个关键点多位于眼部轮廓边沿且瞳孔点在TOF相机的红外图像上更为突出，故此本发明的算法可以在低分辨率图像上实现基于模型的三维眼动追踪。
S306：结合TOF相机畸变系数，对受试者101凝视图像进行畸变校正；
结合TOF相机畸变系数对图像进行切向和径向畸变校正的计算方法为：
其中(ui,vi)为原始图像上检测得到的眼部7个landmarks点中第i个点的像素坐标，(ui′,vi′)为畸变校正后第i个landmarks点的像素坐标，k1、k2、p1、p2、k3为TOF相机畸变系数。
S307：结合TOF相机内参，将7个关键点的2D坐标转化为3D坐标；
2D像素坐标转化为相机坐标系中3D坐标的计算公式为：
其中，(ui′,vi′)为畸变校正后第i个landmarks点的像素坐标，(Xi,Yi,Zi)为计算得到的第i个关键点3D坐标，gi是第i个关键点在TOF相机拍摄的深度图上的灰度值，f是TOF相机测距工作的最大量程距离值，n是TOF相机测距量程设定的最小距离值，fx和fy是TOF相机内参，w和h是TOF相机拍摄的图像的宽度和高度，以30万像素(640×480)为例，w即是640，h即是480。
S308：计算相机坐标系中瞳孔点的坐标值，结合相机坐标系中标定平面103上的凝视点102位置坐标计算出受试者101注视当前凝视点时的水平和垂直方向的真值凝视角度αrc、βrc；
受试者101凝视标定平面103上的凝视点102，TOF相机采集受试者101在标定平面103上的凝视图像；并计算标定平面103上受试者101在水平和垂直方向的真值(ground-truth)凝视角度αrc和βrc；受试者眼球501在水平和垂直方向的真值(ground-truth)凝视角度计算方法为：
其中，(x7,y7,z7)是受试者101单只眼睛图像经眼部landmarks点检测模型检测且畸变校正后按公式(5)计算得到的瞳孔的3D坐标值，该值并非由凝视角度水平/垂直方向眼球中心与瞳孔点的数学关系式求解所得。本发明将受试者101在标定平面103上的凝视角度当作真值(ground-truth)角度，αrc为受试者101在水平方向凝视第r行第c列的凝视点时的真值(ground-truth)凝视角度，βrc为受试者101在垂直方向凝视标定平面103上第r行第c列凝视点时的真值(ground-truth)凝视角度。
S309：根据7个关键点的3D坐标建立凝视角度水平方向眼球中心与左、右眼角点的数学模型，将受试者101在水平方向凝视时的眼球半径值R1的取值设定在[5,40]，求解得到受试者101水平方向凝视时的眼球中心在相机坐标系中的3D坐标值；
将受试者眼球中心点502在相机坐标系中的Y坐标值设为左、右眼角点的建立凝视角度水平方向(yaw方向)眼球中心与左、右眼角点的数学模型；该数学模型参照图5(a)受试者yaw方向凝视时的眼球结构创建；本发明参照图5(a)所建立的凝视角度水平(yaw)方向眼球中心与左、右眼角点的数学模型为：
其中，(X1,Y1,Z1)和(X4,Y4,Z4)分别是图4编号为左眼角点401和右眼角点404的眼部landmarks点所表示的受试者101单只眼睛的左、右眼角点的3D坐标，R1为受试者101水平方向凝视时的眼球半径值，取值设定在[5,40]。dif为受试者101左、右眼角点到眼球表面的3D距离，本发明假定受试者101左、右眼角点到眼球表面的距离是相同的且距离为5mm，此数值由大量实验经定量分析测得。由于dif值对水平方向凝视角度计算结果的影响和R1一致，故此R1值的标定效果即可包含dif值的标定。(xeye,yeye,zeye)为求解得到的受试者101水平方向凝视时(如图5a所示)的眼球中心在相机坐标系中的3D坐标值，在计算中zeye取最大值解。
S310：统计受试者101在标定过程中，其眼球在垂直方向凝视时的眼睛高宽比p；
受试者101在图5(b)所示的垂直方向进行凝视时，其单只眼睛的高宽比p的具体计算方法为：
其中，(ua′,va′)是图4编号第一上眼睑点402、第二上眼睑点403的眼部landmarks点的中点经畸变校正后的像素坐标，该点位于受试者101眼睛的上眼睑。(ub′,vb′)是图4编号第一下眼睑点405、第二下眼睑点406的眼部landmarks点的中点经畸变校正后的像素坐标，该点位于受试者101眼睛的下眼睑。ga和gb是这两个像素坐标对应的TOF相机采集的深度图上的灰度值，(Xa,Ya,Za)和(Xb,Yb,Zb)分别是求解得到的受试者101上、下眼睑中点的3D坐标值，(X1,Y1,Z1)和(X4,Y4,Z4)分别是受试者101单只眼睛的左、右眼角点的3D坐标，p为求解得到的受试者101眼睛的高宽比。本发明标定环节输出的受试者眼球501在垂直凝视方向上的眼睛高宽比p用于判断受试者眼球501的俯仰，现以某受试者101垂直方向凝视角度-46.25°～41.79°之间的眼睛高宽比为例对受试者眼球501俯仰的判断加以说明：
表1受试者101垂直方向凝视角度-46.25°～41.79°之间的眼睛高宽比
如上表1所示，受试者101在垂直方向仰视时其眼睛高宽比的大小皆大于0.4，受试者101俯视时其眼睛高宽比皆小于0.4，借助眼睛高宽比p即可判断出受试者眼球501的俯仰状态继而得到正确的ye′ye求解结果。为了保证在3D空间内受试者101眼睛高宽比p计算的准确性，在训练眼部landmarks点检测模型前的数据标注中，单只眼睛图像的上眼睑点(第一上眼睑点402和第二上眼睑点403)和下眼睑点(第一下眼睑点405和第二下眼睑点406)应标注在受试者101上、下眼睛轮廓的三等分处。
S311：将受试者101在垂直方向凝视时的眼球半径值R2的取值设定在[5,40]，建立凝视角度垂直方向眼球中心与左、右眼角点的数学模型，得到受试者101垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值；
本发明对受试者101的水平、垂直方向凝视两种场景分别创建数学模型，因此凝视角度水平和垂直方向的受试者眼球501半径值、眼球中心到瞳孔的距离等参数并不相同，基于受试者101个人特异性，根据医学中的人眼的结构参数先验值的充分考量，本发明选定[5,40]作为眼球半径值R2标定环节的遍历范围。
将受试者眼球中心点502在相机坐标系中的X坐标值设为左、右眼角点的建立凝视角度垂直方向(pitch方向)眼球中心与左、右眼角点的数学模型；该数学模型参照图5(b)受试者101pitch方向凝视时的眼球结构创建。本发明参照图5(b)创建的受试者101凝视角度垂直方向(pitch方向)的眼球中心与左、右眼角点的数学模型为：
其中，(X1,Y1,Z1)和(X4,Y4,Z4)分别是图4编号左眼角点401和右眼角点404所示的受试者101单只眼睛图像上经眼部landmarks点检测模型检测得到的左、右眼角点的3D坐标，R2为受试者101垂直方向凝视时的眼球半径值，取值设定在[5,40]，dif是受试者101左、右眼角点到眼球表面的3D距离，在本发明中该距离值默认大小为5mm，对垂直方向凝视角度的整体计算而言，dif的标定效果包含在R2的标定效果中，故此不再对dif值单独标定，(xe′ye,ye′ye,ze′ye)为求得的受试者101在垂直方向(pitch方向)凝视时的眼球中心的3D坐标值。
S312：将受试者101在水平、垂直方向凝视时其眼球中心到瞳孔的距离值d1和d2的取值设定为[5,40]，根据受试者101在水平、垂直凝视方向的眼球中心的3D坐标值，分别建立水平和垂直方向眼球中心与瞳孔点的数学关系式，分别求解得到受试者101在水平和垂直方向凝视时的瞳孔点的3D坐标；
当受试者101的眼球如图5(a)所示在水平方向凝视时，创建凝视角度水平方向受试者眼球中心点502与瞳孔点的数学关系式为：
其中，(u7′,v7′)为瞳孔点407所示的眼部landmarks点检测模型对受试者101单只眼睛图像进行检测得到的瞳孔点经畸变校正后得到的2D像素坐标，(X7,Y7,Z7)是按2D坐标转化为3D坐标的公式所设的受试者101在水平方向凝视时的瞳孔点2D像素坐标对应的相机坐标系中的3D坐标值，Z7取计算结果的最小值解。由于TOF相机发射的脉冲光易于被受试者101的瞳孔反射和吸收，故此TOF相机应用于眼动追踪领域时具有瞳孔点深度值无法获取、瞳孔点3D坐标无法计算的工作弊端。本发明使用受试者眼球中心点502到瞳孔的距离为定值这一数学关系，对受试者101瞳孔的Z坐标值进行求解，进而解决了TOF相机不能检测人眼的瞳孔深度值的工作困难。经大量实验验证，本发明求解得到的瞳孔深度值与瞳孔真实深度值的偏差在2cm以内。(xeye,yeye,zeye)是按公式(7)计算得到的受试者101在水平方向凝视时其眼球中心在相机坐标系中的3D坐标值，w和h是TOF相机采集的图像的宽度和高度，fx和fy是TOF相机内参，d1为水平方向凝视时其眼球中心到瞳孔的距离值，取值设定为[5,40]。
受试者101在图5(b)所示的垂直方向凝视时，创建凝视角度垂直方向受试者眼球中心点502与瞳孔点的数学关系式的具体方法为：
其中，(xe′ye,ye′ye,ze′ye)是受试者101在图5(b)所示的垂直方向进行凝视时得到的眼球中心在相机坐标系中的3D坐标值，d2为垂直方向凝视时其眼球中心到瞳孔的距离值，取值设定为[5,40]，(X7′,Y7′,Z7′)为求解得到的受试者101在垂直方向凝视时的瞳孔点的3D坐标，Z7′取计算结果的最小值解。
S313：根据求解得到的受试者101在水平和垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值、受试者101在水平和垂直方向凝视时的瞳孔点的3D坐标，分别计算出R1、R2、d1、d2在[5,40]范围内遍历时、每一组参数求解得到的受试者101凝视当前凝视点的水平和垂直方向的凝视角度yaw′和pitch′；
标定环节中，每一组R1、R2、d1、d2参数对应的受试者101在水平和垂直方向的凝视角度yaw′和pitch′的具体计算方法为：
S314：将每组参数计算得到的水平方向和垂直方向凝视角度值与步骤S308得到的该凝视点对应的真值凝视角度αrc和βrc相减，取其角度偏差的绝对值，记为标定平面103上当前凝视点的凝视角度偏差。其详细计算方法为：
其中，e表示受试者101在水平方向凝视标定平面上第r行第c列凝视点时参数组[R1,d1]计算出的凝视角度值与真值(ground-truth)凝视角度的偏差的绝对值，e′表示受试者101在垂直方向凝视标定平面上第r行第c列凝视点时参数组[R2,d2]计算出的凝视角度值与凝视真值(ground-truth)角度的偏差的绝对值，
S315：判断标定次数是否达到预定的N次且每次标定时是否获得标定平面103上M个凝视点的受试者101凝视图像，若是，进行S316；若否，返回S304；
S316：计算N次标定中标定平面103上M个凝视点的平均角度偏差，输出平均偏差最小的一组参数R1、R2、d1、d2；
yawr′c(R1d1)表示：在[5,40]取值范围内，受试者眼球501半径为R1且眼球中心到瞳孔的距离为d1，受试者101凝视标定平面上第r行第c列凝视点时本发明所提出的算法计算出的受试者101水平方向凝视角度；pitchr′c(R2d2)表示：在[5,40]取值范围内，受试者眼球501半径为R2且眼球中心到瞳孔的距离为d2，受试者101凝视标定平面上第r行第c列凝视点时本发明所提出的算法计算得到的受试者101垂直方向凝视角度，则N次标定中标定平面103上M个凝视点的平均角度误差可按照以下方法计算：
/>
其中，表示本发明的算法对N次标定中标定平面103上M个凝视点计算得到的受试者101水平方向凝视角度的平均偏差，/>表示本发明的算法对N次标定中标定平面103上M个凝视点计算得到的受试者101垂直方向凝视角度的平均偏差。S316中，标定环节输出使/>和/>计算结果最小的[5,40]取值范围内的R1、d1、R2、d2。
本发明所述的标定平面103并非固定场景，受试者101应当结合本发明所提出的算法的实际应用场景进行眼动追踪前的参数标定。如在汽车内实现对驾驶员的眼动追踪时，汽车的中控屏幕可作为标定平面；如在计算机上实现对游戏玩家的眼动追踪时，计算机显示器可作为标定平面，标定平面的选定需结合TOF相机的工作场景，TOF相机在标定平面上的位置是任意且已知的。为了保证眼动追踪的精准度，凝视点在标定平面上的分布应尽可能细腻、均匀，凝视点个数由受试者101结合应用场景自行设定，受试者101应进行完整的、尽可能多的凝视点标定。
S202：TOF相机采集受试者101凝视图像；
通过标定环节得到相关参数后，即可进行受试者101的三维眼动追踪。首先通过标定后的TOF相机采集受试者101凝视图像；
S203：将凝视图像输入到眼部landmarks点检测模型，得到受试者101单只眼睛图像上7个关键点；
步骤同标定环节的步骤S305。
S204：结合标定环节得到的TOF相机畸变系数，对受试者101凝视图像进行切向和径向的畸变校正，得到单只眼睛图像上7个校正后的眼部landmarks点的2D坐标；
步骤同标定环节的步骤S306。
S205：通过2D坐标转化为3D坐标的公式，将7个校正后的眼部landmarks点的2D坐标转换为3D坐标；
步骤同标定环节的步骤S307。
S206：根据7个关键点的3D坐标建立凝视角度水平方向眼球中心与左、右眼角点的数学模型，得到的受试者101水平方向凝视时的眼球中心在相机坐标系中的3D坐标值；建立凝视角度垂直方向眼球中心与左、右眼角点的数学模型，得到的受试者101垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值；
其中，凝视角度水平(yaw)方向眼球中心与左、右眼角点的数学模型为：
其中，(X1,Y1,Z1)和(X4,Y4,Z4)分别是左眼角点401和右眼角点404的眼部landmarks点所表示的受试者101单只眼睛的左、右眼角点的3D坐标，R1为受试者101水平方向凝视时的眼球半径值，该值由标定环节得到。dif为受试者101左、右眼角点到眼球表面的3D距离，本发明假定受试者101左、右眼角点到眼球表面的距离是相同的且距离为5mm，此数值由大量实验经定量分析测得。(xeye,yeye,zeye)为求解得到的受试者101水平方向凝视时(如图5a所示)的眼球中心在相机坐标系中的3D坐标值，在计算中zeye取最大值解。ye′ye的求解结果视标定环节的公式(8)得到的受试者眼睛高宽比p做出的眼球俯仰判断而定，若以受试者101俯视方向为pitch正方向，则根据图5(b)凝视角度垂直方向的眼球模型可知：当受试者眼球501在垂直方向俯视时ye′ye求解结果取最小值；当受试者101仰视时，ye′ye取最大值。
其中，受试者101凝视角度垂直方向(pitch方向)的眼球中心与左、右眼角点的数学模型为：
其中，(X1,Y1,Z1)和(X4,Y4,Z4)分别是左眼角点401和右眼角点404所示的受试者101单只眼睛图像上经眼部landmarks点检测模型检测得到的左、右眼角点的3D坐标，R2为标定环节得到的受试者101在垂直方向凝视时(如图5b)的眼球半径值，dif是受试者左、右眼角点到眼球表面的3D距离，在本发明中该距离值默认大小为5mm，(xe′ye,ye′ye,ze′ye)为求得的受试者101在垂直方向(pitch方向)凝视时的眼球中心的3D坐标值。在计算中，ye′ye的求解结果视标定环节S314根据受试者101眼睛高宽比p做出的眼球俯仰判断而定。
S207：根据步骤S206得到眼球中心的3D坐标值，建立眼球中心与瞳孔点的数学关系式，得到的受试者101在垂直和水平方向凝视时的瞳孔点的3D坐标；
受试者101在图5(a)所示的水平方向凝视时，创建受试者眼球中心点502与瞳孔点的数学关系式的具体方法为：
其中，(u7′,v7′)为瞳孔点407所示的眼部landmarks点检测模型对受试者101单只眼睛图像进行检测得到的瞳孔点经畸变校正后得到的2D像素坐标，(X7,Y7,Z7)是按公式(5)所设的受试者101瞳孔点2D像素坐标对应的相机坐标系中的3D坐标值，Z7取计算结果的最小值解。由于TOF相机发射的脉冲光易于被受试者101的瞳孔反射和吸收，故此TOF相机应用于眼动追踪领域时具有瞳孔点深度值无法获取、瞳孔点3D坐标无法计算的工作弊端。本发明使用受试者眼球中心点502到瞳孔的距离为定值这一数学关系，对受试者101瞳孔的Z坐标值进行求解，进而解决了TOF相机不能检测人眼的瞳孔深度值的工作困难。经大量实验验证，本发明求解得到的瞳孔深度值与瞳孔真实深度值的偏差在2cm以内。(xeye,yeye,zeye)是按公式(7)计算得到的受试者101在水平方向凝视时其眼球中心在相机坐标系中的3D坐标值，w和h是TOF相机采集的图像的宽度和高度，fx和fy是TOF相机内参，d1为水平方向凝视时其眼球中心到瞳孔的距离值，该值由标定环节得到。
受试者101在图5(b)所示的垂直方向凝视时，创建受试者眼球中心点502与瞳孔点的数学关系式的具体方法为：
其中，(xe′ye,ye′ye,ze′ye)是受试者101在图5(b)所示的垂直方向进行凝视时得到的眼球中心在相机坐标系中的3D坐标值，d2为垂直方向凝视时其眼球中心到瞳孔的距离值，该值由标定环节得到，(X7′,Y7′,Z7′)为求解得到的受试者101在垂直方向凝视时的瞳孔点的3D坐标，Z7′取计算结果的最小值解。
S208：根据步骤S206得到的受试者101水平方向凝视时的眼球中心在相机坐标系中的3D坐标值和受试者101垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值，步骤S207得到的受试者101在垂直和水平方向凝视时的瞳孔点的3D坐标，分别计算出受试者101在水平和垂直方向的凝视角度yaw和pitch，从而实现三维眼动追踪。
受试者101在水平和垂直方向的凝视角度yaw和pitch的具体计算方法为：
如图6(c)所示，根据本发明得到的凝视角度yaw和pitch，能够实现三维眼动追踪。
实施例1
本实施例为一个具体的实施方式，以对上述基于TOF相机的三维眼动追踪方法进行说明：
在对某受试者101进行眼动追踪前，该受试者101先经过标定环节获得相机硬件参数和受试者101在水平和垂直方向凝视时的眼球结构参数：
(1)标定环节输出TOF相机的内参为：fx、fy、cx、cy，畸变系数为：k1、k2、p1、p2、k3，已知TOF相机在标定平面103上的固定位置为(1692,1200,34)，单位为mm；
(2)受试者101在分布有5行8列凝视点的标定平面103上进行眼球参数标定，标定环节分别在水平和垂直凝视方向的[5,40]范围内遍历受试者眼球501参数并计算出每个参数下的水平、垂直方向的凝视角度值，将该角度值与真值(ground-truth)凝视角度相减并取绝对值作为角度偏差；
(3)标定环节输出10次标定过程中，标定平面103上40个凝视点计算得到的水平和垂直方向凝视角度平均偏差最小的一组受试者眼球501结构参数R1、R2、d1、d2和垂直凝视方向眼睛高宽比p的范围值。其中：R1＝12.4mm，d1＝13.8mm，R2＝12mm，d2＝13.5mm。在垂直方向凝视角度[-41.37,22.79]范围内(以垂直方向俯视为正方向)，受试者101眼睛高宽比为0.49～0.14，当p＞0.3时，受试者101为仰视状态；当p＜0.3时，受试者101为俯视状态。
根据以上标定参数，当受试者101在实际场景中凝视某一点时，本发明的眼动追踪算法按照附图2的步骤对受试者101的水平和垂直方向凝视角度进行计算并输出yaw和pitch的角度值。下面表2是该受试者101在实际应用场景中所凝视的9个随机位置的眼动追踪结果：
表2受试者101在实际应用场景中所凝视的9个随机位置的眼动追踪结果
由表可知，受试者101在距离TOF相机600mm范围内的位置时，本发明对受试者101的水平和垂直方向的眼动追踪角度偏差大小在9°以内，本发明的眼动追踪算法能实现±50°范围的三维眼动追踪。

Claims (8)

1.一种基于TOF相机的三维眼动追踪方法，其特征在于，步骤为：
S201：受视者结合自身应用场景任意选取一个平面为标定平面，使用标定平面通过标定环节输出TOF相机畸变系数、TOF相机内参矩阵；
S202：TOF相机采集受试者凝视图像；
S203：将凝视图像输入到眼部landmarks点检测模型，得到受试者单只眼睛图像上7个关键点；
S204：结合标定环节得到的TOF相机畸变系数，对受试者凝视图像进行切向和径向的畸变校正，得到单只眼睛图像上7个校正后的眼部landmarks点的2D坐标；
S205：结合标定环节得到的TOF相机内参，将7个关键点的2D坐标转化为相机坐标系中的3D坐标；
S206：根据7个关键点的3D坐标建立凝视角度水平方向受试者眼球中心点与左、右眼角点的数学模型，得到受试者水平方向凝视时的眼球中心在相机坐标系中的3D坐标值；同时，建立凝视角度垂直方向眼球中心与左、右眼角点的数学模型，得到受试者垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值；
S207：根据步骤S206得到的水平方向和垂直方向眼球中心在相机坐标系中的3D坐标值，分别建立水平方向、垂直方向受试者眼球中心点与瞳孔点的数学关系式，得到受试者在水平和垂直方向凝视时的瞳孔点的3D坐标；
S208：根据步骤S206得到的受试者水平方向凝视时的眼球中心在相机坐标系中的3D坐标值和受试者垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值，步骤S207得到的受试者在水平和垂直方向凝视时的瞳孔点的3D坐标，分别计算出受试者在水平和垂直方向的凝视角度yaw和pitch，从而实现三维眼动追踪；
步骤1中所述标定环节的步骤为：
S301：使用开源计算机视觉库opencv标定TOF相机内参矩阵和畸变系数；
S302：受视者结合自身应用场景任意选取一个平面为标定平面，设定标定次数N和标定平面上分布的凝视点个数M；
S303：获取TOF相机在标定平面的位置坐标以及其位置坐标与标定平面上各个凝视点的位置关系，得到凝视点在相机坐标系中的坐标值；
S304：受试者依次凝视标定平面上的凝视点，TOF相机采集受试者凝视标定平面上凝视点的凝视图像；
S305：将受试者的凝视图像输入眼部landmarks点检测模型，得到单个眼睛图像上的7个关键点；
S306：结合TOF相机畸变系数，对受试者凝视图像进行畸变校正；
S307：结合TOF相机内参，将7个关键点的2D坐标转化为3D坐标；
S308：计算相机坐标系中瞳孔点的坐标值，结合相机坐标系中标定平面上的凝视点位置坐标计算出受试者注视当前凝视点时的水平和垂直方向的真值凝视角度αrc、βrc；
S309：根据7个关键点的3D坐标建立凝视角度水平方向眼球中心与左、右眼角点的数学模型，将受试者在水平方向凝视时的眼球半径值R1的取值设定在[5,40]，求解得到受试者水平方向凝视时的眼球中心在相机坐标系中的3D坐标值；
S310：统计受试者在标定过程中，其眼球在垂直方向凝视时的眼睛高宽比p；
S311：将受试者在垂直方向凝视时的眼球半径值R2的取值设定在[5,40]，建立凝视角度垂直方向眼球中心与左、右眼角点的数学模型，得到受试者垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值；
S312：将受试者在水平、垂直方向凝视时其眼球中心到瞳孔的距离值d1和d2的取值设定为[5,40]，根据受试者在水平、垂直凝视方向的眼球中心的3D坐标值，分别建立水平和垂直方向眼球中心与瞳孔点的数学关系式，分别求解得到受试者在水平和垂直方向凝视时的瞳孔点的3D坐标；
S313：根据求解得到的受试者在水平和垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值、受试者在水平和垂直方向凝视时的瞳孔点的3D坐标，分别计算出R1、R2、d1、d2在[5,40]范围内遍历时、每一组参数求解得到的受试者凝视当前凝视点的水平和垂直方向的凝视角度yaw′和pitch′；
S314：将每组参数计算得到的水平方向和垂直方向凝视角度值yaw′和pitch′与步骤S308得到的该凝视点对应的真值凝视角度αrc和βrc相减，取其角度偏差的绝对值，记为标定平面上当前凝视点的凝视角度偏差；
S315：判断标定次数是否达到预定的N次且每次标定时是否获得标定平面上M个凝视点的受试者凝视图像，若是，进行S316；若否，返回S304；
S316：计算N次标定中标定平面上M个凝视点的平均角度偏差，输出平均偏差最小的一组参数R1、R2、d1、d2；
步骤306中所述的7个关键点包括左眼角点(401)、第一上眼睑点(402)、第二上眼睑点(403)、右眼角点(404)、第一下眼睑点(405)、第二下眼睑点(406)和瞳孔点(407)。
2.根据权利要求1所述的一种基于TOF相机的三维眼动追踪方法，其特征在于，步骤306中所述的畸变校正计算公式为：
其中(ui,vi)为原始图像上检测得到的眼部7个landmarks点中第i个点的像素坐标；(ui′,vi′)为畸变校正后第i个landmarks点的像素坐标；k1、k2、p1、p2、k3为TOF相机畸变系数。
3.根据权利要求1所述的一种基于TOF相机的三维眼动追踪方法，其特征在于，步骤307中所述的2D坐标转化为3D坐标的计算公式为：
其中，(ui′,vi′)为畸变校正后第i个landmarks点的像素坐标；(Xi,Yi,Zi)为计算得到的第i个关键点3D坐标；gi是第i个关键点在TOF相机拍摄的深度图上的灰度值；f是TOF相机测距工作的最大量程距离值；n是TOF相机测距量程设定的最小距离值；fx和fy是TOF相机内参；w和h是TOF相机拍摄的图像的宽度和高度。
4.根据权利要求1所述的一种基于TOF相机的三维眼动追踪方法，其特征在于，步骤308中所述的真值凝视角度αrc、βrc的计算公式为：
其中，(x7,y7,z7)是受试者单只眼睛图像经眼部landmarks点检测模型检测且畸变校正后按2D坐标转化为3D坐标方法计算得到的瞳孔点的3D坐标值；(xrc,yrc,zrc)是相机坐标系中凝视点的坐标值；αrc为受试者在水平方向凝视第r行第c列的凝视点时的真值凝视角度；βrc为受试者在垂直方向凝视标定平面上第r行第c列凝视点时的真值凝视角度。
5.根据权利要求1所述的一种基于TOF相机的三维眼动追踪方法，其特征在于，步骤316中所述的N次标定中标定平面上M个凝视点的平均角度误差计算公式为：
其中，表示N次标定中标定平面上M个凝视点计算得到的受试者水平方向凝视角度的平均偏差；/>表示N次标定中标定平面上M个凝视点计算得到的受试者垂直方向凝视角度的平均偏差。
6.根据权利要求1所述的一种基于TOF相机的三维眼动追踪方法，其特征在于，步骤S206中所述的凝视角度水平方向眼球中心与左、右眼角点的数学模型为：
其中，(X1,Y1,Z1)和(X4,Y4,Z4)分别是受试者单只眼睛的左、右眼角点的3D坐标；R1为受试者水平方向凝视时的眼球半径值，该值由标定环节得到；dif为受试者左、右眼角点到眼球表面的3D距离；(xeye,yeye,zeye)为求解得到的受试者水平方向凝视时的眼球中心在相机坐标系中的3D坐标值；
步骤S206中所述的凝视角度垂直方向的眼球中心与左、右眼角点的数学模型为：
其中，(X1,Y1,Z1)和(X4,Y4,Z4)分别是受试者单只眼睛图像上经眼部landmarks点检测模型检测得到的左、右眼角点的3D坐标；R2为标定环节得到的受试者在垂直方向凝视时的眼球半径值；dif是受试者左、右眼角点到眼球表面的3D距离；(xe′ye,ye′ye,ze′ye)为求得的受试者在垂直方向凝视时的眼球中心的3D坐标值。
7.根据权利要求1所述的一种基于TOF相机的三维眼动追踪方法，其特征在于，步骤S207中所述的在垂直和水平方向凝视时的瞳孔点的3D坐标计算公式为：
在水平方向凝视时，
其中，(u7′,v7′)为眼部landmarks点检测模型对受试者单只眼睛图像进行检测得到的瞳孔点经畸变校正后得到的2D像素坐标；(X7,Y7,Z7)是按2D坐标转化为3D坐标的公式所设的受试者瞳孔点2D像素坐标对应的相机坐标系中的3D坐标值，Z7取计算结果的最小值解；(xeye,yeye,zeye)是受试者在水平方向凝视时其眼球中心在相机坐标系中的3D坐标值；w和h是TOF相机采集的图像的宽度和高度；fx和fy是TOF相机内参；d1为水平方向凝视时其眼球中心到瞳孔的距离值；
在垂直方向凝视时：
其中，(xe′ye,ye′ye,ze′ye)是受试者在垂直方向进行凝视时得到的眼球中心在相机坐标系中的3D坐标值；d2为垂直方向凝视时其眼球中心到瞳孔的距离值；(X7′,Y7′,Z7′)为求解得到的受试者在垂直方向凝视时的瞳孔点的3D坐标，Z7′取计算结果的最小值解。
8.根据权利要求1所述的一种基于TOF相机的三维眼动追踪方法，其特征在于，
步骤S208中所述受试者在水平和垂直方向的凝视角度yaw和pitch的计算公式为：
式中，(X7,Y7,Z7)是受试者在水平方向凝视时的瞳孔点2D像素坐标对应的相机坐标系中的3D坐标值；(xeye,yeye,zeye)是受试者在水平方向凝视时其眼球中心在相机坐标系中的3D坐标值；(X7′,Y7′,Z7′)为受试者在垂直方向凝视时的瞳孔点的3D坐标；(xe′ye,ye′ye,ze′ye)是受试者在垂直方向进行凝视时眼球中心在相机坐标系中的3D坐标值。
CN202311253000.8A 2023-09-26 2023-09-26 一种基于tof相机的三维眼动追踪方法 Active CN117333506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311253000.8A CN117333506B (zh) 2023-09-26 2023-09-26 一种基于tof相机的三维眼动追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311253000.8A CN117333506B (zh) 2023-09-26 2023-09-26 一种基于tof相机的三维眼动追踪方法

Publications (2)

Publication Number Publication Date
CN117333506A CN117333506A (zh) 2024-01-02
CN117333506B true CN117333506B (zh) 2024-04-05

Family

ID=89276495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311253000.8A Active CN117333506B (zh) 2023-09-26 2023-09-26 一种基于tof相机的三维眼动追踪方法

Country Status (1)

Country Link
CN (1) CN117333506B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091067A (zh) * 2019-11-25 2020-05-01 苏州思源科安信息技术有限公司 一种远距离大视场虹膜光学成像的装置及方法
CN113568595A (zh) * 2021-07-14 2021-10-29 上海炬佑智能科技有限公司 基于ToF相机的显示器组件的控制方法、装置、设备和介质
CN114511894A (zh) * 2020-10-28 2022-05-17 北京京东方光电科技有限公司 瞳孔中心坐标的获取系统及获取方法
CN115840502A (zh) * 2022-11-23 2023-03-24 深圳市华弘智谷科技有限公司 三维视线追踪方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190384387A1 (en) * 2018-06-15 2019-12-19 Lc Technologies, Inc. Area-of-Interest (AOI) Control for Time-of-Flight (TOF) Sensors Used in Video Eyetrackers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091067A (zh) * 2019-11-25 2020-05-01 苏州思源科安信息技术有限公司 一种远距离大视场虹膜光学成像的装置及方法
CN114511894A (zh) * 2020-10-28 2022-05-17 北京京东方光电科技有限公司 瞳孔中心坐标的获取系统及获取方法
CN113568595A (zh) * 2021-07-14 2021-10-29 上海炬佑智能科技有限公司 基于ToF相机的显示器组件的控制方法、装置、设备和介质
CN115840502A (zh) * 2022-11-23 2023-03-24 深圳市华弘智谷科技有限公司 三维视线追踪方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Eyeball model-based iris center localization for visible image-based eye-gaze tracking systems;Seung-Jin Baek等;《IEEE Transactions on Consumer Electronics》;20130531;415-421 *
基于视线跟踪技术的人机交互系统设计与实现;余杰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180615;I138-1468 *

Also Published As

Publication number Publication date
CN117333506A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN106598221B (zh) 基于眼部关键点检测的3d视线方向估计方法
CN102670168B (zh) 眼科设备及其控制方法
CN105913487B (zh) 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法
CN110657785B (zh) 一种高效的场景深度信息获取方法及系统
CN108171218A (zh) 一种基于深度外观注视网络的视线估计方法
WO2023011339A1 (zh) 视线方向追踪方法和装置
EP2649932A1 (en) Method for detecting point of gaze and device for detecting point of gaze
JP5158842B2 (ja) 眼球運動計測方法および眼球運動計測装置
CN111603134B (zh) 眼球运动测试的装置及方法
CN106796449A (zh) 视线追踪方法及装置
CN108985210A (zh) 一种基于人眼几何特征的视线追踪方法及系统
WO2020042542A1 (zh) 眼动控制校准数据获取方法和装置
JP6631951B2 (ja) 視線検出装置及び視線検出方法
TW202044828A (zh) 眼動追蹤裝置及其方法
CN111339982A (zh) 一种基于特征的多级瞳孔中心定位技术实现方法
CN109522887A (zh) 一种视线追踪方法、装置、设备及存储介质
CN108369744A (zh) 通过双目单应性映射的3d注视点检测
CN108537103B (zh) 基于瞳孔轴测量的活体人脸检测方法及其设备
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
JP2016099759A (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
CN114022514A (zh) 一种融合头部姿态和眼球跟踪的实时视线推断方法
CN117333506B (zh) 一种基于tof相机的三维眼动追踪方法
JP3711053B2 (ja) 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体
JP7046347B2 (ja) 画像処理装置及び画像処理方法
CN116382473A (zh) 一种基于自适应时序分析预测的视线校准、运动追踪及精度测试方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant