CN110209277B - 一种仅基于瞳孔特征的头戴式视线跟踪方法 - Google Patents

一种仅基于瞳孔特征的头戴式视线跟踪方法 Download PDF

Info

Publication number
CN110209277B
CN110209277B CN201910458668.3A CN201910458668A CN110209277B CN 110209277 B CN110209277 B CN 110209277B CN 201910458668 A CN201910458668 A CN 201910458668A CN 110209277 B CN110209277 B CN 110209277B
Authority
CN
China
Prior art keywords
pupil
pupil center
coordinate
equation set
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910458668.3A
Other languages
English (en)
Other versions
CN110209277A (zh
Inventor
秦华标
卓林海
连国妃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910458668.3A priority Critical patent/CN110209277B/zh
Publication of CN110209277A publication Critical patent/CN110209277A/zh
Application granted granted Critical
Publication of CN110209277B publication Critical patent/CN110209277B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种仅基于瞳孔特征的头戴式视线跟踪方法，所述方法包括以下步骤：（1）使用多项式映射方程组建立瞳孔中心与注视点之间的映射关系，并通过标定过程计算出多项式映射方程组的系数；（2）让用户注视屏幕上若干个标定点，记录瞳孔平面法向量与坐标系之间的夹角和瞳孔中心的坐标，计算抖动补偿抖动模型的系数；（3）通过抖动补偿模型检测头部是否发生抖动；（4）计算瞳孔中心补偿向量；（5）对瞳孔中心坐标的偏移量进行补偿，并将补偿后的瞳孔中心特征带入多项式映射方程组得到注视点。该方法为头戴式环境下的视线跟踪提供了一种速度快、精度高、对头部抖动鲁棒性好的解决方案。

Description

一种仅基于瞳孔特征的头戴式视线跟踪方法
技术领域
本发明涉及视线跟踪技术领域，具体为一种仅基于瞳孔特征的头戴式视线跟踪方法。
背景技术
头戴式视线跟踪算法的特点是用户需要将摄像机佩在头部，所以摄像头与人眼不会发生较大幅度的相对运动。这类算法常应用在虚拟现实设备中，用于提高系统的渲染技术，或为虚拟现实系统提供更高效的交互手段。近年来，随着虚拟现实技术的兴起与普及，头戴式视线跟踪方法也受到了广泛关注。
头戴式视线跟踪算法中，存在用于构成眼动特征向量的眼角、虹膜中心、角膜反射斑提取不准，导致视线跟踪算法精度下降的问题。
发明内容
本发明公开了一种仅基于瞳孔特征的头戴式视线跟踪方法，该方法不使用眼动特征向量，而直接将瞳孔中心特征带入多项式映射方程组计算得到注视点。并目，为了解决瞳孔中心特征对头部抖动鲁棒性低的问题。本文提出了一种抖动补偿模型，该模型能够检测抖动的发生。当发生抖动后，能够通过瞳孔朝向计算出发生抖动前后，瞳孔中心坐标的对应关系，并对瞳孔中心特征的偏移量进行补偿，由此提高瞳孔中心特征对抖动的鲁棒性。
本发明通过以下技术方案来实现。
一种仅基于瞳孔特征的头戴式视线跟踪方法，该方法需要一个红外摄像头用于捕捉具有暗曈效应的瞳孔图像，该方法包括以下步骤：
(1)使用多项式映射方程组建立瞳孔中心与注视点的映射关系，并通过标定过程计算出多项式映射方程组的系数；
(2)让用户注视屏幕上若干个用于计算抖动补偿模型系数的标定点，记录瞳孔平面法向量与坐标系的夹角和瞳孔中心的坐标，计算抖动补偿模型的系数；
(3)通过抖动补偿模型检测头部是否发生抖动；
(4)计算瞳孔中心补偿向量；
(5)对瞳孔中心坐标的偏移量进行补偿，并将补偿后的瞳孔中心特征带入多项式映射方程组得到注视点。
进一步的，步骤(1)具体包括以下步骤：
a1.让用户注视头戴式设备的屏幕上若干个用于计算多项式映射方程组系数的标定点，用户注视的标定点记为注视点，记录下瞳孔中心坐标(xpupil，ypupil)与屏幕上的标定点注视点(Fx，Fy)，每个注视点对应一个瞳孔中心坐标；
b1.将瞳孔中心坐标与注视点带入多项式映射方程组，构造以多项式映射方程组系数为未知数的方程，通过解方程，得到多项式映射方程组的系数，所述多项式映射方程组如下：
Figure BDA0002077371510000021
Figure BDA0002077371510000022
公式(1)中，ai与bj为多项式映射方程组的系数，且i∈[0，7]，j∈[0，6]。
进一步的，所述步骤(2)具体包括以下步骤：
a2.让用户注视屏幕上若干个用于计算抖动补偿模型系数的标定点，记录瞳孔平面法向量与坐标系的夹角
Figure BDA0002077371510000023
和θpupil，其中，
Figure BDA0002077371510000024
为瞳孔平面朝向向量与Y轴的夹角，θpupil为瞳孔平面朝向向量在XOZ平面上的投影向量与X轴的夹角，同时记录瞳孔中心坐标
Figure BDA0002077371510000025
b2.将夹角
Figure BDA0002077371510000026
θpupil和瞳孔中心坐标
Figure BDA0002077371510000027
带入抖动补偿模型构造以抖动补偿模型系数为未知数的方程，通过解方程得抖动补偿模型的系数，所述抖动补偿模型如下：
Figure BDA0002077371510000028
式(2)中，
Figure BDA0002077371510000029
与
Figure BDA00020773715100000210
为抖动补偿模型的系数，且j∈[1，5]。
进一步的，所述步骤(3)中包括：
a3.将瞳孔平面法向量、夹角
Figure BDA00020773715100000211
和θpupil带入抖动补偿模型计算得到瞳孔的中心坐标Pcomp；
b3.将抖动补偿模型计算得到的瞳孔中心坐标Pcomp与步骤(1)得到的瞳孔中心坐标Ppupil即瞳孔中心坐标(xpupil，ypupil)进行比较，如果差值超过某一个阈值，则认定为发生抖动。
进一步的，步骤(4)计算瞳孔中心补偿向量具体如下：
当所述步骤(3)判定为发生抖动后，计算所述步骤(3)中得到的两个瞳孔中心坐标的差值，Vcomp＝Ppupil-Pcomp，得到瞳孔中心的补偿向量Vcomp；如果判定为未发生抖动，则不改变补偿向量的值，补偿向量初始值为零。
进一步的，所述步骤(5)中包括：
a5.利用步骤(4)中得到的瞳孔中心补偿向量Vcomp对瞳孔中心坐标Pcomp进行补偿，得到补偿后的瞳孔中心坐标P′pupil：
P′pupil＝Vcomp+Pcomp
b5.将瞳孔中心坐标P′pupil带入多项式映射方程组得到注视点坐标。
本发明的有益效果在于：
(1)本发明在视线跟踪的过程中，仅使用了瞳孔特征，不需要提取其他特征。这使得算法可以避免因为提取其他特征导致的精度下降的问题。
(2)本发明提出了一种抖动补偿模型，提高了本算法对头部抖动的鲁棒性。
附图说明
图1是本实施例一种仅基于瞳孔特征的头戴式视线跟踪方法的流程示意图；
图2是本实施例中三维瞳孔平面与坐标系之间关系示意图；
图3是本实施例中用于计算多项式映射方程组系数的标定点分布实例图；
图4是本实施例中用于计算抖动补偿模型系数的标定点分布实例图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。
如图1所示的一种仅基于瞳孔特征的头戴式视线跟踪方法，具体实施步骤如下：
步骤一：计算多项式映射方程组系数：使用多项式映射方程组建立瞳孔中心与注视点之间的映射关系，并通过标定过程计算出多项式映射方程组的系数。该步骤仅需要执行一次，具体如下：
a1.让用户注视头戴式设备的屏幕，例如虚拟显示设备的屏幕，(上若干个用于计算多项式映射方程组系数的标定点，该标定点记为注视点。通过瞳孔定位算法，例如参考文献(Santini T，Fuhl W，Kasneci E.PuReST：robust pupil tracking for real-timepervasive eye tracking[C]//Proceedings of the 2018ACM Symposium on EyeTracking Research&Applications.ACM，2018：61.)的PuReST瞳孔定位算法，计算出瞳孔中心坐标(xpupil，ypupil)，并记录下瞳孔中心坐标(xpupil，ypupil)与屏幕上的注视点坐标(Fx，Fy)。
b1.将瞳孔中心坐标(xpupil，ypupil)与注视点坐标(Fx，Fy)带入多项式映射方程组，设屏幕上有N个用于计算多项式映射方程组系数的标定点，例如12个标定点分布位置如图3所示，图中的点为虚拟显示设备屏幕上点，用于计算多项式映射方程系数的标定点，总共可以获得2N即24个以多项式映射方程组系数为未知数的方程，将这些方程构成方程组，通过解方程，得到多项式映射方程组的系数。所述多项式映射方程组如下：
Figure BDA0002077371510000041
Figure BDA0002077371510000042
公式(1)中，ai与bj为多项式映射方程组的系数，且i∈[0，7]，j∈[0，6]。
步骤二：计算抖动补偿模型系数：让用户注视屏幕上若干个标定点，得到抖动补偿模型的系数。该步骤仅需要执行一次，具体如下：
a2.让用户注视屏幕上若干个用于计算抖动补偿模型系数的标定点，通过PuReST瞳孔定位算法计算出瞳孔轮廓，并根据文献(Sawhney H S，Oliensis J，Hanson AR.Description and reconstruction from image trajectories of rotational motion[C]//[1990]Proceedings Third International Conference on ComputerVision.IEEE，1990：494-498.)，利用瞳孔轮廓计算出瞳孔平面法向量。计算瞳孔平面法向量与坐标系的夹角
Figure BDA0002077371510000043
和θpupil，其中，
Figure BDA0002077371510000047
为瞳孔平面朝向向量与Y轴的夹角，θpupil为瞳孔平面朝向向量在XOZ平面上的投影向量与X轴的夹角，如图2所示，记录瞳孔中心的坐标
Figure BDA0002077371510000044
b2.将夹角
Figure BDA0002077371510000045
θpupil与瞳孔中心坐标
Figure BDA0002077371510000046
带入抖动补偿模型。设屏幕上有K个标定点，用于计算抖动补偿模型系数的标定点，例如8个分布位置如图4所示，则总共可以获得2K即16个以抖动补偿模型系数为未知数的方程，通过解方程得到抖动补偿模型的系数，所述抖动补偿模型如下：
Figure BDA0002077371510000051
式(2)中，
Figure BDA0002077371510000052
与
Figure BDA0002077371510000053
为抖动补偿模型的系数，且j∈[1，5]。
步骤三：通过抖动补偿模型检测头部是否发生抖动，具体如下：
a3.将瞳孔平面法向量与坐标系的夹角
Figure BDA0002077371510000054
和θpupil带入抖动补偿模型计算得到瞳孔的中心坐标Pcomp。
b3.将抖动补偿模型计算得到的瞳孔中心坐标Pcomp与PuReST瞳孔定位算法得到的瞳孔中心坐标Ppupil进行比较，如果差值超过某一个阈值，例如相差超过25个像素，则判定为发生抖动。
步骤四：计算瞳孔中心补偿向量，具体如下：
当所述步骤三判定发生抖动后，计算所述步骤三中得到的两个瞳孔的差值(一个是通过补偿模型得到，另一个是通过瞳孔定位算法得到)，得到瞳孔中心的补偿向量Vcomp，如果判定为未发生抖动，则不改变补偿向量的值(补偿向量初始值为零)，瞳孔中心的补偿向量Vcomp的计算如下：
Vcomp＝Ppupil-Pcomp (3)
公式(3)中Pcomp为通过补偿模型得到的瞳孔中心坐标，Ppupil为通过PuReST瞳孔定位算法得到的瞳孔中心坐标。
步骤五：对瞳孔中心坐标的偏移量进行补偿，并将补偿后的瞳孔中心坐标带入多项式映射方程组得到注视点坐标。
a5.利用步骤(4)中得到的瞳孔中心补偿向量Vcomp对瞳孔中心坐标Pcomp进行补偿，得到补偿后的瞳孔中心坐标P′pupil：
P′pupil＝Vcomp+Pcomp
b5.将瞳孔中心坐标P′pupil带入多项式映射方程组得到注视点坐标。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合等均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.一种仅基于瞳孔特征的头戴式视线跟踪方法，其特征在于，所述方法包括以下步骤：
(1)使用多项式映射方程组建立瞳孔中心与注视点的映射关系，并通过标定过程计算出多项式映射方程组的系数；
(2)让用户注视屏幕上若干个用于计算抖动补偿模型系数的标定点，记录瞳孔平面法向量与坐标系的夹角和瞳孔中心的坐标，计算抖动补偿模型的系数；具体包括以下步骤：
a2.让用户注视屏幕上若干个用于计算抖动补偿模型系数的标定点，记录瞳孔平面法向量与坐标系的夹角
Figure FDA0003122741180000011
和θpupil，其中，
Figure FDA0003122741180000012
为瞳孔平面朝向向量与Y轴的夹角，θpupil为瞳孔平面朝向向量在XOZ平面上的投影向量与X轴的夹角，同时记录瞳孔中心坐标
Figure FDA0003122741180000013
b2.将夹角
Figure FDA0003122741180000014
θpupil和瞳孔中心坐标
Figure FDA0003122741180000015
代入抖动补偿模型，构造以抖动补偿模型系数为未知数的方程，通过解方程得到抖动补偿模型的系数，所述抖动补偿模型如下：
Figure FDA0003122741180000016
式(2)中，
Figure FDA0003122741180000017
与
Figure FDA0003122741180000018
为抖动补偿模型的系数，且j∈[1,5]；
(3)通过抖动补偿模型检测头部是否发生抖动；包括：
a3.将夹角
Figure FDA0003122741180000019
和θpupil代入抖动补偿模型计算得到瞳孔的中心坐标Pcomp；
b3.将抖动补偿模型计算得到的瞳孔中心坐标Pcomp与步骤(2)得到的瞳孔中心坐标Ppupil即瞳孔中心坐标(xpupil,ypupil)进行比较，如果差值超过某一个阈值，则认定为发生抖动；
(4)计算瞳孔中心补偿向量；计算瞳孔中心补偿向量具体如下：
当所述步骤(3)判定为发生抖动后，计算所述步骤(3)中得到的两个瞳孔中心坐标的差值，Vcomp＝Ppupil-Pcomp，得到瞳孔中心的补偿向量Vcomp；如果判定为未发生抖动，则不改变补偿向量的值，补偿向量初始值为零；
(5)对瞳孔中心坐标的偏移量进行补偿，并将补偿后的瞳孔中心坐标带入多项式映射方程组得到注视点，包括：
a5.利用步骤(4)中得到的瞳孔中心补偿向量Vcomp对瞳孔中心坐标Pcomp进行
补偿，得到补偿后的瞳孔中心坐标P′pupil：
P′pupil＝Vcomp+Pcomp
b5.将瞳孔中心坐标P′pupil带入多项式映射方程组得到注视点坐标。
2.根据权利要求1所述的一种仅基于瞳孔特征的头戴式视线跟踪方法，其特征在于，步骤(1)具体包括以下步骤：
a1.让用户注视头戴式设备的屏幕上若干个用于计算多项式映射方程组系数的标定点，用户注视的标定点记为注视点，记录下瞳孔中心坐标(xpupil,ypupil)与屏幕上的标定点注视点(Fx,Fy)，每个注视点对应一个瞳孔中心坐标；
b1.将瞳孔中心坐标与注视点带入多项式映射方程组，构造以多项式映射方程组系数为未知数的方程，通过对方程进行求解，得到多项式映射方程组的系数，所述多项式映射方程组如下：
Figure FDA0003122741180000021
Figure FDA0003122741180000022
公式(1)中，ai与bj为多项式映射方程组的系数，且i∈[0,7]，j∈[0,6]。
CN201910458668.3A 2019-05-29 2019-05-29 一种仅基于瞳孔特征的头戴式视线跟踪方法 Expired - Fee Related CN110209277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910458668.3A CN110209277B (zh) 2019-05-29 2019-05-29 一种仅基于瞳孔特征的头戴式视线跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910458668.3A CN110209277B (zh) 2019-05-29 2019-05-29 一种仅基于瞳孔特征的头戴式视线跟踪方法

Publications (2)

Publication Number Publication Date
CN110209277A CN110209277A (zh) 2019-09-06
CN110209277B true CN110209277B (zh) 2021-09-21

Family

ID=67789492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910458668.3A Expired - Fee Related CN110209277B (zh) 2019-05-29 2019-05-29 一种仅基于瞳孔特征的头戴式视线跟踪方法

Country Status (1)

Country Link
CN (1) CN110209277B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110780742B (zh) * 2019-10-31 2021-11-02 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
CN111061373B (zh) * 2019-12-18 2024-04-16 京东方科技集团股份有限公司 一种眼球追踪校准方法、装置及可佩戴式设备
CN111580667B (zh) * 2020-05-11 2023-07-14 Oppo广东移动通信有限公司 注视点显示方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN102930252A (zh) * 2012-10-26 2013-02-13 广东百泰科技有限公司 一种基于神经网络头部运动补偿的视线跟踪方法
CN109033957A (zh) * 2018-06-20 2018-12-18 同济大学 一种基于二次多项式的视线估计方法
US10747310B1 (en) * 2018-06-19 2020-08-18 Facebook Technologies, Llc Time of flight based eye tracker

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN102930252A (zh) * 2012-10-26 2013-02-13 广东百泰科技有限公司 一种基于神经网络头部运动补偿的视线跟踪方法
US10747310B1 (en) * 2018-06-19 2020-08-18 Facebook Technologies, Llc Time of flight based eye tracker
CN109033957A (zh) * 2018-06-20 2018-12-18 同济大学 一种基于二次多项式的视线估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Pupil location method based on feature searching and C-V extension model;Weichi Zhao等;《2018 10th International Conference on Intelligent Human-Machine Systerm and Cybernetics》;20181231;第57-61页 *
基于实现追踪的眼控鼠标设计;朱麒文等;《电子器件》;20160430;第235-241页 *

Also Published As

Publication number Publication date
CN110209277A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
US10650533B2 (en) Apparatus and method for estimating eye gaze location
CN110209277B (zh) 一种仅基于瞳孔特征的头戴式视线跟踪方法
US10416758B2 (en) Information processing apparatus, information processing system, and information processing method
US20210082149A1 (en) Real-time calibration of wide-baseline outside-in multi-camera systems
CN106959759B (zh) 一种数据处理方法及装置
CN110276239B (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
KR20140088866A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
EP3299937B1 (en) Information processing device and information processing method
JP2018055589A (ja) プログラム、物体の追跡方法、表示装置
US20190199992A1 (en) Information processing apparatus, method for controlling the same, and recording medium
JP2017224984A (ja) プログラム、装置、キャリブレーション方法
JP2013120502A (ja) 画像処理装置、画像処理方法
CN114722913A (zh) 姿态检测方法、装置、电子设备及计算机可读存储介质
CN114543797B (zh) 位姿预测方法和装置、设备、介质
US10901213B2 (en) Image display apparatus and image display method
JP2017208707A (ja) 情報処理装置、情報処理システム、撮像装置、ヘッドマウントディスプレイ、および情報処理方法
US20230047470A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
US10587862B2 (en) Head-mounted device
JP6499993B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
EP3718302B1 (en) Method and system for handling 360 degree image content
TWI641999B (zh) Eyeball recognition method and system
JP2015201734A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
US20200167957A1 (en) Correcting method and device for eye-tracking
US10545572B2 (en) Motion tracking apparatus and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210921

CF01 Termination of patent right due to non-payment of annual fee