CN106066696B - 自然光下基于投影映射校正和注视点补偿的视线跟踪方法 - Google Patents
自然光下基于投影映射校正和注视点补偿的视线跟踪方法 Download PDFInfo
- Publication number
- CN106066696B CN106066696B CN201610409478.9A CN201610409478A CN106066696B CN 106066696 B CN106066696 B CN 106066696B CN 201610409478 A CN201610409478 A CN 201610409478A CN 106066696 B CN106066696 B CN 106066696B
- Authority
- CN
- China
- Prior art keywords
- point
- eye
- iris
- points
- corner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 34
- 238000012937 correction Methods 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 51
- 210000003128 head Anatomy 0.000 claims abstract description 17
- 230000004886 head movement Effects 0.000 claims abstract description 13
- 230000004424 eye movement Effects 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 210000000744 eyelid Anatomy 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 2
- 210000000554 iris Anatomy 0.000 description 25
- 238000005286 illumination Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 240000004101 Iris pallida Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- Eye Examination Apparatus (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了自然光下基于投影映射校正和注视点补偿的视线跟踪方法，该方法首先提取双眼虹膜中心和眼睛内外角点、嘴角点特征，其次由眼睛内外角点与嘴角点构成的矩形计算与头部处于标定位置时的矩形信息之间的投影映射关系，进而对虹膜中心位置以及眼睛内外角点位置进行投影映射校正，消除头部运动带来的影响；接着，由经校正后的左右眼虹膜中心，分别与左右眼睛内外角点构成4个向量，结合多项式映射模型得到实时注视点，最后通过支持向量回归模型进行注视点补偿。本发明为自然光下的视线跟踪提供了一种能降低头部运动影响，精度高的解决方法。
Description
技术领域
本发明涉及视线跟踪技术领域，具体涉及自然光下基于投影映射校正和注视点补偿的视线跟踪方法。
背景技术
视线跟踪改变了人类与机器设备互动的方式，成为新技术或系统创意的源头，拓展了多种信息系统的用途，是目前人机交互研究的重要领域。
视线跟踪方法主要分为接触式方法和非接触式方法。基于摄像的非接触式方法对用户更为友好，具有自然和直接的优势，是目前视线跟踪作为人机交互方式研究的主流方向。基于摄像的非接触视线跟踪方法中，自然光下的视线跟踪算法无需其他辅助光源，能更好的进行推广应用。然而，该方法的主要难点在于：(1)在没有辅助红外光源下图像存在光照变化以及低对比度的情况下，如何精确的提取眼动特征信息；(2)在没有普尔钦斑点辅助下，寻找能代表眼睛运动且具有鲁棒性的眼动向量；(3)解决头部运动下眼动向量随之变化导致无法准确的进行注视点估计问题。
发明内容
本发明公开了一种自然光下基于投影映射校正和注视点补偿的视线跟踪方法，在自然光源下，通过提取虹膜中心、眼睛内外角点以及嘴角点，建立基于虹膜与眼角点信息到屏幕注视点的映射模型。该方法能有效消除头部自由运动对视线估计结果的影响，同时硬件需求上只需一个单目摄像头，提高了普通摄像头下的视线跟踪的精度和实时性。
本发明通过以下技术方案来实现：
一种自然光下基于投影映射校正的视线跟踪方法，该方法需要一个普通摄像头，无需额外光源辅助，包含步骤：(1)摄像机采集图像，进行人脸定位和眼动信息提取。
(2)眼动信息校正：通过眼睛角点，嘴角点信息计算投影映射矩阵，对虹膜中心、眼睛内外角点位置进行校正。
(3)初步注视点估计：利用经校正后的虹膜中心位置、眼睛内外角点位置构成二维眼动向量，并建立二维眼动向量到屏幕注视点的映射关系，根据实时的二维向量计算出实时屏幕注视点。
(4)注视点补偿：采用支持向量回归模型进行注视点补偿，修正头部运动带来的注视点偏差，从而得到最终的注视点估计结果。
上述方法中，所述步骤(1)中包括：
a.采用基于Adaboost的人脸检测算法的对采集图像进行人脸定位，其次采用基于局部二进制特征回归方法(Face Alignment via Regressing Local Binary Features)确定眼睛内、外角点以及嘴角点的感兴趣区域；
b.依据不同角点特征的具体生理形状分别进行精确定位，通过Fast角点检测和筛选方法得到眼睛内角点和嘴角点定位，并采用曲线拟合方法定位眼睛外角点；
c.根据眼睛内外角点位置确定眼睛图像，接着提取眼睛图像的梯度特征，定位虹膜搜索起始点；其次，从搜索起始点出发，通过滑动窗口对虹膜边缘进行搜索，最后根据椭圆拟合方法定位虹膜中心。上述方法中，所述步骤(2)中包括：
以距离屏幕中点设定距离处的位置点为头部标定位置，记头部处于头部标定位置且正面注视屏幕时获取的人脸图像为标定图像，计算根据所述步骤(1)定位到的眼睛外角点和嘴角点位置与标定图像中对应的特征点位置之间的投影映射矩阵，利用该投影映射矩阵对实时获取的眼睛内外角点位置、虹膜中心位置进行校正。
上述方法中，所述步骤(3)中包括：
a.根据所述步骤(2)校正后的左右虹膜中心位置，分别与校正后的左右眼睛内外角点位置构成4个眼动向量，叠加后得到校正后的二维眼动向量；
b.头部在标定位置处静止不动时，眼睛注视屏幕上的标定点，计算校正后的二维眼动向量，根据该向量与标定点的对应关系计算多项式映射模型的参数；实时获取校正后的二维眼动向量，结合多项式映射模型，计算出初步注视点估计结果。
上述方法中，所述步骤(4)中包括：
训练支持向量回归模型，输入为眼睛内角点间线段中点在图像上的坐标与标定图像相同点的偏移，左右眼内外角点间在图像上的距离与标定图像对应的眼睛内外角点间距离的比值以及图像上内角点间的连线与标定图像内角点间连线之间的角度差；输出为对应的注视点估计结果与真实标定点间的位移偏差；利用支持向量回归模型进行注视点补偿，从而得到最终的注视点估计结果。本发明的优点与积极效果在于：
1.自然光下缺乏有效的参考点，双眼数据代表了眼睛运动信息。本发明采用左右眼虹膜中心和眼睛内外角点构造眼动向量，能更有效的代表眼动信息。利用滑动窗口搜索方法定位虹膜边缘，提高了虹膜中心定位的精度。
2.本发明通过投影映射校正方法对虹膜中心等特征点位置进行校正，同时采用支持向量回归模型进行注视点补偿，能有效降低头部运动对眼动特征的影响，视线跟踪方法具有更好的抗头部运动干扰能力。
3.该方法计算量少，硬件只需要一个摄像头。
附图说明
图1是本发明实施方式中显示屏与摄像头的布置示意图。
图2是本发明实施方式中视线跟踪方法的流程示意图。
图3是本发明实施方式中滑动窗口示意图。
图4a、图4b是本发明实施方式中屏幕上的两种标定点分布图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。
如图1，本发明硬件配置上需要一个普通摄像头，位于屏幕中心正上方，实时地捕捉人脸图像。
如图2，本发明的具体实施步骤如下：
步骤一、实时采集图像，提取眼动特征信息；
步骤二、动态眼动向量校正；
步骤三、构造多项式映射模型；
步骤四、训练注视点补偿模型进行注视点计算。
其中步骤一的具体实施为：
1.人脸特征点初定位
从摄像头获取人脸图像，采用基于局部二进制特征的形状回归方法(FaceAlignment via Regressing Local Binary Features)进行人脸特征点的初定位，得到眼睛轮廓、嘴角点的初步位置。其次，在初步定位的基础上，分别得到眼睛区域和嘴巴区域作为定位感兴趣区域。
2.眼动特征提取
眼动特征信息为眼睛内角点特征，眼睛外角点特征，嘴角点特征以及虹膜中心。具体实施步骤为：
2.1眼睛内角点定位
首先由初定位得到的眼睛内角点候选点确定内角点感兴趣区域，对该区域进行FAST角点检测得到角点候选点；本发明认为候选点聚集处的点更有可能为眼角点，根据每个候选点周围的候选点个数进行筛选，并依据眼角点在眼睛中的相对位置关系，快速精确的定位到眼睛内角点。
2.2眼睛外角点定位
首先通过自适应阈值分割分离出眼睛与背景区域，从而提取到眼睛轮廓。对上下眼睛轮廓进行曲线拟合，并计算两条曲线拟合的交点，靠左边的交点即为眼睛外角点定位。
2.3嘴角点定位
首先提取嘴巴区域图像在Lab色彩空间中的a分量，分割出嘴唇区域。其次，确定嘴唇区域最左和最右的点为嘴角点初步位置，并对该区域进行OTSU分割，对分割后的图像进行局部角点检测，进行孤立点滤除后，认为候选点最左或最右的候选点为嘴角点位置。
2.4虹膜中心定位
在部分光照下，虹膜与巩膜间的对比并不是很明显，传统的边缘检测算子难以精确检测出虹膜边缘。其次，光照变化也导致二值化方法难以完整的分割出虹膜区块。因而，本发明提出一种基于滑动窗口的虹膜边缘搜索的方法，能在眼睛运动和姿态变化的情况下定位到虹膜边缘，从而得到虹膜中心定位。
a.搜索起始点定位
首先提取原眼睛图像的红色分量图像，并对该图像进行形态学的开操作以减少反射光斑的影响；其次，计算图像预处理后的眼睛图像的梯度特征，并寻找最多梯度向量经过的点，设为搜索起始点。由于该方法直接通过梯度特征进行计算，在图像模糊、眼睛变形严重等情况均能得到很好的定位结果。
b.虹膜边缘搜索与虹膜中心定位
如附图3所示构造滑动窗口，由两个连续的同样大小的矩形构成，分别表示左窗口1、右窗口2，表示滑动窗口3的中心。滑动窗口从虹膜梯度中心出发，向四周出发搜索虹膜边缘。根据眼角点间的连线可以判断眼睛的旋转角度θ0，从而设置虹膜轮廓的搜索范围，避开上下眼睑遮挡的部分，以免造成轮廓拟合误差。
统计窗口内的像素平均值，并定义滑动窗口的能量：
其中，Ii以及Ij(i＝1,2,..N,j＝1,2,..N)分别为左右窗口的像素点的像素值，N为窗口中的像素点个数。θ为当前滑动窗口搜索方向。设定搜索方向后，从搜索起始点出发，得到搜索窗口的能量函数曲线。寻找该函数曲线的最大波峰，即虹膜边缘位置。
利用滑动窗口搜索到虹膜的精确轮廓点集后，通过最小二乘法进行椭圆拟合，椭圆中心即为虹膜中心位置。
其中步骤二的具体实施步骤为：
1.基于双眼数据的眼动向量构造
首先根据左右虹膜中心与左右内外角点一共构成4个眼动向量，构成的向量集：
其中，vil和vol分别表示左眼虹膜中心Il与左眼内外角点位置Cil,Col构成的眼动向量，vir和vor分别表示右眼虹膜中心Ir与右眼内外角点位置Cir,Cor构成的眼动向量。在头部自由运动的情况，眼睛随着头部运动而运动，直接由眼角点与虹膜中心构成的向量也随之发生变化。因此，本发明采用双眼数据构造新型眼动向量来表征注视点，并通过对双眼数据的校正来消除不同头部姿势带来的影响。双眼数据构成的眼动向量如下式所示：
2.动态眼动向量校正
在视线估计的过程中，头部深度运动会导致眼睛图像出现形变，偏转、旋转、俯仰运动会导致眼睛图像出现旋转以及形变，通过眼睛图像提取的眼动向量在头部运动的情况下直接进行注视点映射会造成较大的误差。因而，本发明提出一种基于投影映射的方法对眼动向量进行动态校正。
首先，根据步骤一实时捕捉的人脸图像提取的眼角点、嘴角点特征点4个点在图像坐标系的坐标。记实时捕捉的特征点坐标为(x1,y1),头部处于头部标定位置且正面注视屏幕时获取的人脸图像上特征点的坐标为(x2,y2)，二者存在投影映射关系如下：
其中,s同样为参数，Hp为3×3矩阵，记为：
对矩阵Hp进行归一化，使得h33＝1，则可得：
则实时捕捉的特征点坐标可以通过如下公式进行映射校正：
将实时捕捉的眼睛外角点以及嘴角点4个特征点与对应的头部处于头部标定位置且正面注视屏幕时获取的人脸图像上特征点位置代入上式，构成8个线性方程。因而，通过求解方程，可以计算得当前头部位置姿态时，对应于标定位置时的投影变换矩阵Hp。则头部运动后虹膜中心在图像上成像的位置同样可以根据投影变换矩阵Hp进行校正：
根据上式计算出校正后的虹膜中心位置其中，符号代表特征点或眼动向量I经投影映射校正后的结果。因此，同理可以得到眼睛内角点、外角点在标定位置处的位置，则校正后的眼动向量可以表示为：
同时，由于校正后的眼睛内外角点与标定位置相同，即内外角点的距离保持不变。因而，在保持信息不变的情况，可以将本发明眼动向量简化为：
即得到校正后的眼动向量。
其中步骤三的具体实施步骤为：
1.如附图4a所示设置屏幕上3×3的9个点作为标定点。其次，选取带标定的映射函数如下：
其中(vx,vy)为校正后的眼动向量，(Px,Py)为注视点估计结果，ai(i＝0,1,...7)，bi(i＝0,1,...6)共15个未知参数。
2.用户分别注视9个标定点，通过步骤一实时提取眼动特征，并通过步骤二构造眼动向量并进行校正。每个标定点提取的眼动向量可以分别构造2个等式方程，共18个方程，通过最小二乘法进行参数求解。
其中步骤四的具体实施步骤为：
经过校正后的眼动向量进行多项式映射后得到的估计结果与实际注视点位置间存在偏差，该偏差与头部运动有关。本发明采用支持向量回归来补偿这个误差。输入样本向量X＝[vx,vy,Mx,My,Rl,Rr,θΔ]，输出向量为Y＝[Yx,Yy]。其中，v＝(vx,vy)为校正后的眼动向量，M＝(Mx,My)为内角点间线段中点在图像上的坐标与标定位置相同点的偏移，Rl和Rr分别为左右眼内外角点间在图像上的距离与标定图像对应的眼睛内外角点间距离的比值。θΔ为图像上内角点间的连线与标定图像内角点间连线之间的角度差。
1.训练数据构造。
如附图4b所示，实验者在注视屏幕中指定的标定点时，在保持注视同一个点的同时进行头部运动，根据步骤一实时采集特征信息，并构成输入样本向量X。与此同时，根据步骤二通过对眼动向量进行校正，进而通过步骤三获取的多项式映射模型得到注视点估计值，其与真实的坐标值的位移偏差为(Δx,Δy)。分别构造两个训练集：{(X1,Δx1),…,(Xi,Δxi),…,(XN,ΔxN)},{(X1,Δy1),…,(Xi,Δyi),…,(XN,ΔyN)}。其中，Xi(i＝1,2,...,N)为不同的样本向量，(Δxi,Δyi)(i＝1,2,...,N)为不同样本向量对应的注视点位移偏差。N为样本个数。两个训练集分别进行训练。
2.模型参数选择。本发明的支持向量回归模型采用RBF径向基函数，能对复杂关系进行回归。其次，采用网格搜索法进行参数寻找，主要搜素参数为平衡参数C，损失函数参数ε以及核参数γ。
3.分别根据两个训练集进行支持向量回归训练，得到最优的回归模型，通过实时的输入向量X可以计算得相应的注视点补偿偏移量(Yx,Yy)。
4.注视点估计。经过步骤三的多项式映射方程计算的注视点估计值为(Px,Py)，与注视点补偿模型计算所得的偏移量(Yx,Yy)叠加，则最终的注视点估计结果为：
(Sx,Sy)＝(Px,Py)+(Yx,Yy)。
Claims (5)
1.自然光下基于投影映射校正和注视点补偿的视线跟踪方法，其特征在于该方法需要一个普通摄像头，无需额外光源辅助，具体包含以下步骤：
（1）摄像机采集图像，进行人脸定位和眼动信息提取；具体包括：
1.人脸特征点初定位
从摄像头获取人脸图像，采用基于局部二进制特征的形状回归方法（Face Alignmentvia Regressing Local Binary Features）进行人脸特征点的初定位，得到眼睛轮廓、嘴角点的初步位置；其次，在初步定位的基础上，分别得到眼睛区域和嘴巴区域作为定位感兴趣区域；
2.眼动特征提取
眼动特征信息为眼睛内角点特征，眼睛外角点特征，嘴角点特征以及虹膜中心；具体实施步骤为：
2.1 眼睛内角点定位
首先由初定位得到的眼睛内角点候选点确定内角点感兴趣区域，对该区域进行FAST角点检测得到角点候选点；根据每个候选点周围的候选点个数进行筛选，并依据眼角点在眼睛中的相对位置关系，快速精确的定位到眼睛内角点；
2.2 眼睛外角点定位
首先通过自适应阈值分割分离出眼睛与背景区域，从而提取到眼睛轮廓；对上下眼睛轮廓进行曲线拟合，并计算两条曲线拟合的交点，靠左边的交点即为眼睛外角点定位；
2.3 嘴角点定位
首先提取嘴巴区域图像在Lab色彩空间中的a分量，分割出嘴唇区域；其次，确定嘴唇区域最左和最右的点为嘴角点初步位置，并对该区域进行OTSU分割，对分割后的图像进行局部角点检测，进行孤立点滤除后，认为候选点最左或最右的候选点为嘴角点位置；
2.4 虹膜中心定位
在眼睛运动和姿态变化的情况下定位到虹膜边缘，从而得到虹膜中心定位：
a.搜索起始点定位
首先提取原眼睛图像的红色分量图像，并对该图像进行形态学的开操作以减少反射光斑的影响；其次，计算图像预处理后的眼睛图像的梯度特征，并寻找最多梯度向量经过的点，设为搜索起始点；
b.虹膜边缘搜索与虹膜中心定位
构造滑动窗口由两个连续的同样大小的矩形构成，分别表示左窗口1、右窗口2，表示滑动窗口3的中心；滑动窗口从虹膜梯度中心出发，向四周出发搜索虹膜边缘；根据眼角点间的连线可以判断眼睛的旋转角度，从而设置虹膜轮廓的搜索范围，避开上下眼睑遮挡的部分，以免造成轮廓拟合误差；
统计窗口内的像素平均值，并定义滑动窗口的能量：
其中，以及（,）分别为左右窗口的像素点的像素值，为窗口中的像素点个数；为当前滑动窗口搜索方向；设定搜索方向后，从搜索起始点出发，得到搜索窗口的能量函数曲线；寻找该函数曲线的最大波峰，即虹膜边缘位置；
利用滑动窗口搜索到虹膜的精确轮廓点集后，通过最小二乘法进行椭圆拟合，椭圆中心即为虹膜中心位置；
（2）眼动信息校正：通过眼睛角点和嘴角点信息计算投影映射矩阵，对虹膜中心、眼睛内外角点位置进行校正；
（3）初步注视点估计：利用经校正后的虹膜中心位置、眼睛内外角点位置构成二维眼动向量，并建立二维眼动向量到屏幕注视点的映射关系，根据实时的二维向量计算出实时屏幕注视点；
（4）注视点补偿：采用支持向量回归模型进行注视点补偿，修正头部运动带来的注视点偏差，从而得到最终的注视点估计结果。
2.根据权利要求1所述的自然光下基于投影映射校正和注视点补偿的视线跟踪方法，其特征在于所述步骤(1)中包括：
a. 采用基于Adaboost的人脸检测算法的对采集图像进行人脸定位，其次采用基于局部二进制特征回归方法确定眼睛内、外角点以及嘴角点的感兴趣区域;
b. 依据不同角点特征的具体生理形状分别进行精确定位，通过Fast角点检测和筛选方法得到眼睛内角点和嘴角点定位，并采用曲线拟合方法定位眼睛外角点；
c. 根据眼睛内外角点位置确定眼睛图像，接着提取眼睛图像的梯度特征，定位虹膜搜索起始点；其次，从搜索起始点出发，通过滑动窗口对虹膜边缘进行搜索，最后根据椭圆拟合方法定位虹膜中心。
3.根据权利要求2所述的自然光下基于投影映射校正和注视点补偿的视线跟踪方法，其特征在于所述步骤（2）中包括：
以距离屏幕中点设定距离处的位置点为头部标定位置，记头部处于头部标定位置且正面注视屏幕时获取的人脸图像为标定图像，计算根据所述步骤(1)定位到的眼睛外角点和嘴角点位置与标定图像中对应的特征点位置之间的投影映射矩阵，利用该投影映射矩阵对实时获取的眼睛内外角点位置、虹膜中心位置进行校正。
4.根据权利要求3所述的自然光下基于投影映射校正和注视点补偿的视线跟踪方法，其特征在于所述步骤(3)中包括：
a. 根据所述步骤（2）校正后的左右虹膜中心位置，分别与校正后的左右眼睛内外角点位置构成4个眼动向量，叠加后得到校正后的二维眼动向量；
b.头部在标定位置处静止不动时，眼睛注视屏幕上的标定点，计算校正后的二维眼动向量，根据该向量与标定点的对应关系计算多项式映射模型的参数；实时获取校正后的二维眼动向量，结合多项式映射模型，计算出初步注视点估计结果。
5.根据权利要求4所述的自然光下基于投影映射校正和注视点补偿的视线跟踪方法，其特征在于，其特征在于所述步骤(4)中包括：
训练支持向量回归模型，输入为眼睛内角点间线段中点在图像上的坐标与标定图像相同点的偏移，左右眼内外角点间在图像上的距离与标定图像对应的眼睛内外角点间距离的比值以及图像上内角点间的连线与标定图像内角点间连线之间的角度差；输出为对应的注视点估计结果与真实标定点间的位移偏差；利用支持向量回归模型进行注视点补偿，从而得到最终的注视点估计结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610409478.9A CN106066696B (zh) | 2016-06-08 | 2016-06-08 | 自然光下基于投影映射校正和注视点补偿的视线跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610409478.9A CN106066696B (zh) | 2016-06-08 | 2016-06-08 | 自然光下基于投影映射校正和注视点补偿的视线跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106066696A CN106066696A (zh) | 2016-11-02 |
| CN106066696B true CN106066696B (zh) | 2019-05-14 |
Family
ID=57421206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610409478.9A Expired - Fee Related CN106066696B (zh) | 2016-06-08 | 2016-06-08 | 自然光下基于投影映射校正和注视点补偿的视线跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106066696B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106598258B (zh) | 2016-12-28 | 2019-04-16 | 北京七鑫易维信息技术有限公司 | 注视点映射函数确定方法及装置、注视点确定方法及装置 |
| CN106778687B (zh) * | 2017-01-16 | 2019-12-17 | 大连理工大学 | 基于局部评估和全局优化的注视点检测方法 |
| CN106778710A (zh) * | 2017-02-17 | 2017-05-31 | 吉林大学 | 一种基于kinect传感器的飞行模拟器动态视点系统 |
| CN107291238B (zh) * | 2017-06-29 | 2021-03-05 | 南京粤讯电子科技有限公司 | 一种数据处理方法与装置 |
| CN108334191B (zh) * | 2017-12-29 | 2021-03-23 | 北京七鑫易维信息技术有限公司 | 基于眼动分析设备的确定注视点的方法和装置 |
| US11501507B2 (en) * | 2018-06-26 | 2022-11-15 | Sony Group Corporation | Motion compensation of geometry information |
| CN109308472B (zh) * | 2018-09-30 | 2022-03-29 | 华南理工大学 | 一种基于虹膜投影匹配函数的三维视线估计方法 |
| CN109685829A (zh) * | 2018-12-17 | 2019-04-26 | 成都旷视金智科技有限公司 | 基于图像的视线追踪方法、装置和电子设备 |
| CN112051918B (zh) * | 2019-06-05 | 2024-03-29 | 京东方科技集团股份有限公司 | 人眼注视计算方法及人眼注视计算系统 |
| CN112132755B (zh) * | 2019-06-25 | 2024-09-20 | 京东方科技集团股份有限公司 | 校正标定瞳孔位置的方法、装置、系统及计算机可读介质 |
| CN110543843B (zh) * | 2019-08-23 | 2023-12-15 | 北京工业大学 | 基于正斜向投影及反斜向投影的人眼定位及大小计算算法 |
| CN110568930B (zh) * | 2019-09-10 | 2022-05-17 | Oppo广东移动通信有限公司 | 注视点校准方法及相关设备 |
| CN112906431B (zh) * | 2019-11-19 | 2024-05-24 | 北京眼神智能科技有限公司 | 一种虹膜图像分割方法、装置、电子设备及存储介质 |
| US11636609B2 (en) * | 2019-12-16 | 2023-04-25 | Nvidia Corporation | Gaze determination machine learning system having adaptive weighting of inputs |
| CN111681280A (zh) * | 2020-06-03 | 2020-09-18 | 中国建设银行股份有限公司 | 滑动验证码缺口定位方法及装置 |
| CN113158879B (zh) * | 2021-04-19 | 2022-06-10 | 天津大学 | 基于匹配特征的三维注视点估计及三维眼动模型建立方法 |
| CN113408408A (zh) * | 2021-06-17 | 2021-09-17 | 杭州嘉轩信息科技有限公司 | 一种结合肤色和虹膜特征的视线追踪方法 |
| CN116052235B (zh) * | 2022-05-31 | 2023-10-20 | 荣耀终端有限公司 | 注视点估计方法及电子设备 |
| CN115409845B (zh) * | 2022-11-03 | 2023-02-03 | 成都新西旺自动化科技有限公司 | 一种异形高精度均衡对位方法及系统 |
| CN116594502A (zh) * | 2023-04-23 | 2023-08-15 | 武汉学院 | 基于注视轨迹的视线追踪误差补偿或参数标定方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6373961B1 (en) * | 1996-03-26 | 2002-04-16 | Eye Control Technologies, Inc. | Eye controllable screen pointer |
| CN104360732A (zh) * | 2014-10-16 | 2015-02-18 | 南京大学 | 提高视线跟踪系统准确度的补偿方法与装置 |
| CN105574518A (zh) * | 2016-01-25 | 2016-05-11 | 北京天诚盛业科技有限公司 | 人脸活体检测的方法和装置 |
| CN102930252B (zh) * | 2012-10-26 | 2016-05-11 | 广东百泰科技有限公司 | 一种基于神经网络头部运动补偿的视线跟踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6603491B2 (en) * | 2000-05-26 | 2003-08-05 | Jerome H. Lemelson | System and methods for controlling automatic scrolling of information on a display or screen |
-
2016
- 2016-06-08 CN CN201610409478.9A patent/CN106066696B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6373961B1 (en) * | 1996-03-26 | 2002-04-16 | Eye Control Technologies, Inc. | Eye controllable screen pointer |
| CN102930252B (zh) * | 2012-10-26 | 2016-05-11 | 广东百泰科技有限公司 | 一种基于神经网络头部运动补偿的视线跟踪方法 |
| CN104360732A (zh) * | 2014-10-16 | 2015-02-18 | 南京大学 | 提高视线跟踪系统准确度的补偿方法与装置 |
| CN105574518A (zh) * | 2016-01-25 | 2016-05-11 | 北京天诚盛业科技有限公司 | 人脸活体检测的方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| 一种可克服头动影响的视线跟踪系统;秦华标等;《电子学报》;20131231;第41卷(第12期);51-54 |
| 基于二维小波变换的圆形算子虹膜定位算法;赵静;《计算机技术与发展》;20130430;第23卷(第4期);2403-2407 |
| 自然光下视线跟踪算法研究;王信亮;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;20150115(第1期);同上 |
| 自然光下视线跟踪算法研究;王信亮;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;20150115(第1期);第1页第1-2段、第2页第1段、第6页第1段、第7页第1段-第55页第1段 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106066696A (zh) | 2016-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106066696B (zh) | 自然光下基于投影映射校正和注视点补偿的视线跟踪方法 | |
| Itoh et al. | Interaction-free calibration for optical see-through head-mounted displays based on 3d eye localization | |
| US11775056B2 (en) | System and method using machine learning for iris tracking, measurement, and simulation | |
| CN106598221B (zh) | 基于眼部关键点检测的3d视线方向估计方法 | |
| CN106056092B (zh) | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 | |
| CN105760826B (zh) | 一种人脸跟踪方法、装置和智能终端 | |
| CN102830793B (zh) | 视线跟踪方法和设备 | |
| CN106796449B (zh) | 视线追踪方法及装置 | |
| CN103870796B (zh) | 一种人眼视线估计的方法与装置 | |
| CN101593022B (zh) | 一种基于指端跟踪的快速人机交互方法 | |
| TWI398796B (zh) | Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking | |
| WO2016115872A1 (zh) | 双目ar头戴显示设备及其信息显示方法 | |
| CN111414798A (zh) | 基于rgb-d图像的头部姿态检测方法及系统 | |
| CN104063700B (zh) | 自然光照正面人脸图像中的眼睛中心点定位的方法 | |
| Du et al. | Edge snapping-based depth enhancement for dynamic occlusion handling in augmented reality | |
| CN110780739B (zh) | 基于注视点估计的眼控辅助输入方法 | |
| JP2016173313A (ja) | 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム | |
| EP3506149A1 (en) | Method, system and computer program product for eye gaze direction estimation | |
| CN112101208A (zh) | 高龄老人特征串联融合手势识别方法及装置 | |
| Gurbuz et al. | Model free head pose estimation using stereovision | |
| CN109308472B (zh) | 一种基于虹膜投影匹配函数的三维视线估计方法 | |
| CN111291701A (zh) | 一种基于图像梯度和椭圆拟合算法的视线追踪方法 | |
| CN110781712B (zh) | 一种基于人脸检测与识别的人头空间定位方法 | |
| CN114020155A (zh) | 一种基于眼动仪的高精度视线定位方法 | |
| CN112232128A (zh) | 基于视线追踪的老年残障人士照护需求识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190514 |