CN105094337A - 一种基于虹膜和瞳孔的三维视线估计方法 - Google Patents
一种基于虹膜和瞳孔的三维视线估计方法 Download PDFInfo
- Publication number
- CN105094337A CN105094337A CN201510511200.8A CN201510511200A CN105094337A CN 105094337 A CN105094337 A CN 105094337A CN 201510511200 A CN201510511200 A CN 201510511200A CN 105094337 A CN105094337 A CN 105094337A
- Authority
- CN
- China
- Prior art keywords
- iris
- pupil
- center
- optical axis
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于虹膜和瞳孔的三维视线估计方法,该方法利用瞳孔中心和虹膜中心在三维空间中不共点的特性,由瞳孔中心与虹膜中心组成光轴方向,眼睛视轴与光轴相交于角膜曲率中心,通过计算眼睛视轴与光轴之间的偏转角,可以由光轴方向计算得到眼睛视轴方向,即人眼的三维视线方向。本发明为三维视线估计提供了一种新型的、精度高的模型方法。
Description
技术领域
本发明涉及视线跟踪技术领域,具体涉及基于近红外光下的三维视线估计方法。
背景技术
随着信息技术和人工智能的不断发展,人机交互技术的研究受到更多的关注和重视。基于视频图像处理的视线跟踪技术作为人机交互的重要分支,许多基础理论和技术问题仍然没有得到很好的解决,其中的关键问题是虹膜、瞳孔等眼睛运动图像特征的提取和表达,以及视线跟踪映射模型的建立。
视线跟踪映射模型主要分为二维视线跟踪方法和三维视线跟踪方法。二维方法对头部运动敏感,需要用户保持头部静止或者只能小范围运动。三维方法通过眼动特征直接确定眼睛三维视线方向,与注视物体进行交叉,从而得到注视点的位置,只要能够获得头部和眼睛运动的图像信息,理论上对被试者没有头部运动的限制。然而由于需要立体眼睛参数的计算,增加了眼睛特征检测和参数提取的复杂性,其估计精度依赖于立体视觉的精度,而且不同的使用者的个体差异、头部运动等问题也会对映射模型产生直接的影响。
发明内容
本发明公开了一种基于虹膜与瞳孔的三维视线跟踪方法,在红外光源的辅助下,通过获取虹膜中心与瞳孔中心,提出一种新型的基于虹膜中心与瞳孔中心的三维注视点映射模型,其允许头部自由运动同时又使得注视点的精度满足系统要求,。
本发明通过以下技术方案实现。
一种基于虹膜和瞳孔的三维视线估计方法,该方法采用两个摄像机采集图像和一个红外光作为辅助光源,放置在显示屏前照射人脸,具体包含步骤:
(1)眼动特征提取:使用红外光源增强人眼图像,通过精确的轮廓提取和椭圆拟合获取虹膜中心位置和瞳孔中心位置;
(2)三维特征中心计算:利用虹膜中心和瞳孔中心的二维信息,结合摄像机参数计算出特征点的三维坐标;
(3)视线偏差补偿:虹膜中心与瞳孔中心连线形成的光轴方向,与代表视线方向的视轴方向存在偏转角。通过求解偏转角进行视线校正,从而得到精确的人眼注视方向。
上述方法中,所述步骤(1)中包括:采用红外光源增强人眼信息,首先采用Haar特征级联分类器对人眼区域进行定位,接着采用基于直方图与迭代的方法对虹膜与瞳孔进行最佳阈值分割,在虹膜特征提取部分,首先通过数学形态学的方法获得虹膜的初步轮廓,再利用基于边缘检测与椭圆拟合的方法获得精确的虹膜轮廓,得到虹膜中心的坐标;在瞳孔特征提取部分,已经提取到的虹膜中心坐标为基础,设置相应的感兴趣区域提取瞳孔轮廓,采用瞳孔轮廓凸包处理与椭圆拟合对瞳孔中心坐标进行定位。
上述方法中,所述步骤(2)中包括:
(2.1)通过张正友平面模版标定法获取摄像机内参数K与外参数RlRrtltr,其中Rl和Rr(tl和tr)分别表示左右摄像机坐标系到世界坐标系下的旋转矩阵(平移矩阵),然后需要通过双摄像机立体计算来获取双摄像机之间的空间几何关系,并对摄像机进行平面校正以获得严格平行的双摄像机视觉系统;
(2.2)利用步骤(1)获取的虹膜中心和瞳孔中心的二维信息,结合步骤(2.1)计算所得的摄像机内外参数和空间几何关系求取虹膜中心与瞳孔中心的三维空间坐标,最后以虹膜中心与瞳孔中心的连线作为人眼光轴的方向。
上述方法中,所述步骤(3)中包括:
(3.1)光轴与视轴之间存在着一个固定的偏转角,且光轴与视轴相交于角膜曲率中心。本发明通过设定标定点,计算由步骤(2.2)所得的光轴与实际的视线方向,即视轴之间的偏转角(3.2)利用步骤(2.2)中获得的人眼光轴方向,结合步骤(3.1)计算所得的偏转角可以求取出视轴方向,即人眼的注视方向。
与现有技术相比,本发明的优点与积极效果在于:
1.本发明提出一种新型的三维视线估计方法,利用瞳孔特征和虹膜特征在三维空间中不共点的特点,通过提取二者信息,计算其三维空间位置,从而得到人眼光轴方向信息。该方法直接利用刚性的特征点,在分辨率满足的情况下能达到较高的视线估计精度;对比传统的三维方法,本发明无需使用如眼球半径等经验值来计算眼球中心,为视线跟踪领域提供了新思路。
2.本发明是一种自然、直观的视线跟踪方法,无需使用普尔钦斑点,设备的位置更为灵活。
3.本发明能达到足够的精度,满足人机交互系统需求。
附图说明
图1是本发明实施方式中显示屏与摄像头、光源的布置示意图。
图2是本发明实施方式中视线跟踪方法的流程示意图。
图3是本发明实施方式中标定点分布图。
图4是本发明实施方式中摄像机棋盘格标定板。
图5是本发明三维坐标计算示意图。
图6是本发明光轴与视轴投影关系示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。
如图1,本发明需要双摄像机101,和一个红外光源102,摄像头位于显示屏112中心正上方,实时地捕捉人脸图像。摄像机分辨率为640×480,焦距为10mm,并排放置于显示屏上方,两摄像机镜头之间距离约5cm,双摄像头中心距离显示屏底部为26cm。选取波长为850nm的红外光作为辅助光源放置在显示屏前照射人脸。
如图2,视线跟踪算法具体实施步骤如下:
步骤一:眼睛注视标定点110,提取眼动特征信息
步骤二:摄像机标定,分别获取两个摄像机的内外部参数以及二者的空间几何关系
步骤三:计算瞳孔中心105和虹膜中心106的三维坐标位置,得到光轴108方向
步骤四:进行偏转角107补偿,得到视轴109方向。
其中步骤一的具体实施步骤为:
1.世界坐标系原点设置在左摄像机投影中心,显示屏垂直放置于z=0处,双摄像机101中心距离显示屏112底部为26cm,眼睛距离显示屏约30cm且正对显示屏,依次注视标定点110,标定点分布图如图3所示,为显示屏上3×3平均分布的9个点;
2.眼睛注视标定点同时提取眼动特征信息
对每个注视点111提取虹膜轮廓以及瞳孔轮廓作为眼动特征信息,具体实施步骤为:
2.1人眼区域定位
从摄像头获取的人脸图像,首先通过haar特征级联分类器进行人眼定位,接着通过中值滤波处理以及灰度拉伸进行图像预处理,得到特征较明显的人眼图像。
2.2虹膜特征提取
a.首先通过直方图灰度值分布确定虹膜的灰度分布大致区域,设定虹膜的二值化初始阈值,在该阈值下对图像进行区域划分,分别计算各区域的灰度均值,当灰度均值与假定的初阈值相同时停止迭代,以此选择最佳阈值对图像进行二值化分割,得到虹膜区域。
b.通过形态学处理获取轮廓,通过Sobel算子进行垂直边缘的检测以提取虹膜左右两边的有效轮廓。接着采用最小二乘法进行椭圆拟合,从而获取虹膜中心106。
2.3瞳孔特征提取
根据已提取到的虹膜中心106坐标为相应的感兴趣区域(ROI区域)中心,ROI区域中心的边缘为瞳孔,则包含ROI中心的面积最大的轮廓即为瞳孔轮廓。对轮廓进行凸包处理以获取瞳孔的完整轮廓,进行椭圆拟合后可以提取到瞳孔中心105。
其中步骤二的具体实施步骤为:
1.单摄像机参数标定
针对本发明系统的特点,采用基于张正友的平面标定法的来获取单摄像机的内参数,摄像机在不同方向上拍摄平面模版的图像,通过建立模版上每个特征点和其对应的图像点之间的对应关系(即每幅图像的单应性矩阵),然后利用该单应性矩阵来求解摄像机内外的参数,标定过程中由于采用最小二乘法以及考虑到噪音和数值稳定性要求,需要抓取尽量多的不同角度的标定图片,使标定的结果更加精确。
本发明采用基于OpenCV的摄像机标定采用平面棋盘格标定模板。如图4所示,标定板方格个数为7×10,每个方格边长为5mm。
1.1单应矩阵H
图像像素坐标系到世界坐标系之间的关系为:
其中(u,v)是以像素为单位的图像像素坐标系坐标,Zc为图像中的点在摄像机坐标系中的坐标Z轴分量,(Xw,Yw,Zw)为图像中的点在世界坐标系中的坐标。K为摄像机内参数矩阵,R=[r1r2r3]是3×3正交单位矩阵,称为旋转矩阵,其中r1r2r3分别是旋转矩阵的第一、二、三列分量,t是3维平移向量。
假设世界坐标系平面位于棋盘格所在的平面,即ZW=0同时r3=0。令 则上式可简写为:
其中H为单应性矩阵
其中H=[h1h2h3],h1h2h3分别是单应性矩阵的第一、二、三列分量,而hij(i=1…3,j=1…3)表示单应性矩阵第i行第j列的分量。
1.2摄像机内外参数求解
在实际情况中1.1中求得的H并不是真实的H,它们之间会相差一个常数因子λ,此时将式子变为以下形式:
[h1h2h3]=λK[r1r2t]
其中r1与r2为单位正交向量,由其正交性可得
由以上两式可得:
定义
其中内参数矩阵 fx=f/dx,fy=f/dy分别为摄像机焦距f的x轴与y轴分量,(u0,v0)为摄像机图像主点位置,Bij(i=1…3,j=1…3)表示矩阵B第i行第j列的分量。
设单应性矩阵H第i(i=1,2,3)列向量表示为hi=[hi1hi2hi3]T,则:
hi TBhi=Vij TB
定义矩阵Vij=[hi1hj1hi1hj2+hi2hj1hi2hj2h31hj1+hi1hj3h31hj1+hi3hj3hi3hj3],i=1…3,j=1…3,则根据上述过程,可得2个齐次方程:
如果有N(N为自然数)个棋盘格图像,则通过迭代N个方程组可以得到:
VB=0
其中,V是一个2N×6的矩阵,只要N≥3,B就可以被解出(带有一个比例因子),从而可以得到内参数矩阵,其中u0v0λfxfy的含义同上所述:
根据单应性矩阵H和内参数矩阵K可计算每幅图像的外参数
通过以上公式就可以求出每幅图像的内参数矩阵K与外参数矩阵[r1r2r3t]。
2.双摄像机空间关系计算
假定三维空间中某一点的世界坐标系下坐标为P,则通过单摄像机标定可以分别得到点P在左右两个摄像机坐标系下的坐标为
Pl=RlP+tl
Pr=RrP+tr
其中PlPr分别为点P在左右摄像机坐标系下的坐标,Rl和Rr(tl和tr)分别表示左右摄像机坐标系到世界坐标系下的旋转矩阵(平移矩阵)。
PlPr可以通过下式进行关联:
Pl=RT(Pr-T)
其中R与T分别表示右摄像机转换到左摄像机的旋转矩阵和平移矩阵,由以上各式可得
R=Rr(Rl)T
T=tr-Rtl
通过以上各式可以求取两个摄像机平面之间的旋转矩阵R以及平移矩阵T。
其中步骤三的具体实施步骤为:
1.摄像机平面校正
在进行虹膜中心106与瞳孔中心105的三维坐标计算前,由于摄像机位置以及镜头位置的差异,对应的两个摄像机图像平面不可能完全共面且平行,首先对摄像机的平面进行平行校正。
根据步骤二获取的右摄像机转换到左摄像机的旋转矩阵R以及平移矩阵T,为了使两个摄像平面达到平行,只需要将两个摄像机都各自只旋转一半(两者旋转方向相反),如下式所示:
R=rl*rr -1
其中rl和rr分别为左右摄像机为达到平行所需的旋转矩阵,将左右相机各旋转一半后左右摄像机的光轴平行,此时左右摄像机平行但像素行不严格对齐。为了使得两个图像平面共面且平行,极点变为无穷远且极线变为水平方向,构造变换矩阵Rrect:
首先构造Rrect的第一个分量e1,e1为由左摄像机极点El开始的旋转矩阵,左右摄像机的投影中心之间的平移矩阵T就是左极点方向:
其中T=[Tx,Ty,Tz]T,Tx、Ty、Tz分别表示平移矩阵T在x、y、z轴方向的分量
接着是第二个分量e2,e2方向与主光轴113方向正交且沿着图像方向,与e1正交,则知e2方向可通过e1与主光轴方向的叉积并归一化获得
第三个分量e3与e1和e2正交
e3=e1×e2
最后可以获得左右摄像机最终旋转矩阵Rl和Rr:
Rl=Rrectrl
Rr=Rrectrr
通过上述的两个旋转矩阵Rl和Rr对左右摄像机视图进行校正,使得左右视图的成像原点坐标(图像主点)一致。
2.三维坐标计算
在经过摄像机平面校正后,如图5所示得到了平行且对准的双摄像机几何框架,根据此模型可以计算出基于虹膜与瞳孔的三维注视点映射模型的相关参数,主要包括三维虹膜中心106与三维瞳孔中心105。
对于某一空间位置点(Xw,Yw,Zw)与二维图像坐标点的位置(u,v)如下式所示,Q表示重投影矩阵。
其中(Xw,Yw,Zw,W)为空间三维坐标的非齐次形式,W为某一非零常量,其齐次形式为(Xw/W,Yw/W,Zw/W,1),其中d为两个摄像机的视差,(u0,v0)为摄像机图像主点位置,重投影矩阵定义如下:
重投影矩阵Q中(cx,cy)为左摄像机图像主点,f为左右摄像机的焦距,fl=fr=f,Tx为右摄像机其中右摄像机相对于左摄像机的平移矩阵的水平方向分量。
接着进行深度信息的求取,以虹膜中心为例,选择左摄像机的投影中心为世界坐标系的原点,根据图中三角形相似关系可得
(xl iris,yl iris)(xr iris,yr iris)分别为虹膜在左右摄像机图像物理平面坐标系下的坐标,在经过摄像
机平面校正后有yl iris=yr iris=y,Ziris为虹膜中心106在摄像机坐标系下的竖坐标,diris=xl iris-xr iris是两个摄像机间的视差。可解得齐次形式的空间三维坐标为
则虹膜中心106的三维坐标为(Xw iris/W,Yw iris/W,Zw iris/W,1),同理瞳孔中心105的三维坐标(Xw pupil/W,Yw pupil/W,Zw pupil/W,1)计算也可以通过(4-38)获得,
其中视差表达式变为dpupil=xl pupil-xr pupil。
(cx,cy)、f、Tx及d通过此前的摄像机参数标定获取,虹膜坐标(xl iris,yl iris)(xr iris,yr iris)与瞳孔坐标(xl pupil,yl pupil)(xr pupil,yr pupil)通过步骤一获取,至此可以获得注视点映射模型所需要的三维虹膜中心106坐标与瞳孔中心105坐标,根据图1中的映射模型图,由瞳孔中心106指向虹膜中心105的三维向量即为眼睛光轴108方向,如下所示。
其中步骤四的具体实施步骤为:
1.光轴108和视轴1009偏转角计算
如图5所示为光轴与视轴投影关系图,世界坐标系原点设置在左摄像机投影中心,显示屏垂直放置于z=0处,将光轴108与视轴109分别往x轴与z轴进行投影,眼睛光轴o与x轴、z轴夹角分别为α和β,眼睛视轴v与x轴、z轴夹角分别为α'和β',眼睛视轴109与光轴108之间的夹角分别为θ(水平分量)和(垂直分量),由所述步骤三获取虹膜中心坐标106I与瞳孔中心105坐标P,则可以求取眼睛光轴108的单位向量
则α和β可以表示为
其中oxoyoz分别表示光轴108在x轴、y轴、z轴方向的分量。
角膜曲率中心104在瞳孔中心105与虹膜中心106连线的反向延长线上,根据Guestrin等人提出的经典眼球模型,角膜曲率中心104与瞳孔中心104距离的典型值为4.2mm,根据该距离结合瞳孔中心105的三维坐标P可以计算出角膜曲率中心104的位置。在显示屏上设定坐标已知的标定点Si(i=1,2,...,9),这些标定点110按如图所示的顺序在显示屏112上均匀分布,眼睛首先注视标定点S1,则可以求取视轴109方向的单位向量。
可得偏转角107的表示形式为
其中vxvyvz分别表示视轴109在x轴、y轴、z轴方向的分量,眼睛继续注视其它标定点,分别求取最后对由各标定点算出的求平均值作为视轴109与光轴108的偏转角
2.视线方向求取
在求取视轴与光轴的偏转角之后,本发明基于虹膜与瞳孔的三维注视点映射模型的所有参数都已经求取完毕,在实时人眼位置估算时,只需通过双摄像机获得人眼虹膜与瞳孔信息,并通过摄像机参数标定就可以获取虹膜中心106坐标I与瞳孔中心105坐标P,PI即为人眼光轴108方向,再结合视线偏差补偿模块求取偏转角107参数便可以求取视轴109方向,最后视轴109方向与显示屏112的交点即为实际人眼注视点111。
Claims (4)
1.一种基于虹膜和瞳孔的三维视线估计方法,该方法采用两个摄像机同步采集图像,两个摄像机并排放置于显示屏上方,并采用红外光作为辅助光源放置在显示屏前照射人脸,其特征在于该方法包括如下步骤:
(1)眼动特征提取:使用红外光源增强人眼图像,通过精确的轮廓提取和椭圆拟合获取虹膜中心位置和瞳孔中心位置;
(2)三维特征中心计算:利用虹膜中心和瞳孔中心的二维信息,结合摄像机参数计算出特征的三维坐标;
(3)视线偏差补偿:虹膜中心与瞳孔中心连线形成的光轴方向,与代表视线方向的视轴方向存在偏转角,通过偏转角进行视线校正,从而得到精确的人眼注视方向。
2.根据权利要求1所述的基于虹膜和瞳孔的三维视线估计方法,其特征在于所述步骤(1)包括:采用红外光源增强人眼信息,首先采用Haar特征级联分类器对人眼区域进行定位,接着采用基于直方图与迭代的方法对虹膜与瞳孔进行最佳阈值分割,在虹膜特征提取部分,首先通过数学形态学的方法获得虹膜的初步轮廓,再利用基于边缘检测与椭圆拟合的方法获得精确的虹膜轮廓,得到虹膜中心的坐标;在瞳孔特征提取部分,已经提取到的虹膜中心坐标为基础,设置相应的感兴趣区域提取瞳孔轮廓,采用瞳孔轮廓凸包处理与椭圆拟合对瞳孔中心坐标进行定位。
3.根据权利要求1所述的基于虹膜和瞳孔的三维视线估计方法,其特征在于所述步骤(2)包括:
(2.1)通过张正友平面模版标定法获取摄像机内参数K与外参数RlRrtltr,其中Rl、Rr和tl、tr分别表示左右摄像机坐标系到世界坐标系下的旋转矩阵和平移矩阵,然后需要通过双摄像机立体计算来获取双摄像机之间的空间几何关系,并对摄像机进行平面校正以获得严格平行的双摄像机视觉系统;
(2.2)利用步骤(1)获取的虹膜中心和瞳孔中心的二维信息,结合步骤(2.1)计算所得的摄像机内外参数和空间几何关系求取虹膜中心与瞳孔中心的三维空间坐标,最后以虹膜中心与瞳孔中心的连线作为人眼光轴的方向。
4.根据权利要求1所述的基于虹膜和瞳孔的三维视线估计方法,其特征在于所述步骤(3)包括:
(3.1)光轴与视轴之间存在着一个固定的偏转角,且光轴与视轴相交于角膜曲率中心;通过设定标定点,计算由步骤(2.2)所得的光轴与实际的视线方向即视轴之间的偏转角
(3.2)利用步骤(2.2)中获得的人眼光轴方向,结合步骤(3.1)计算所得的偏转角求取出视轴方向,即人眼的注视方向。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510511200.8A CN105094337B (zh) | 2015-08-19 | 2015-08-19 | 一种基于虹膜和瞳孔的三维视线估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510511200.8A CN105094337B (zh) | 2015-08-19 | 2015-08-19 | 一种基于虹膜和瞳孔的三维视线估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105094337A true CN105094337A (zh) | 2015-11-25 |
CN105094337B CN105094337B (zh) | 2018-06-22 |
Family
ID=54574971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510511200.8A Expired - Fee Related CN105094337B (zh) | 2015-08-19 | 2015-08-19 | 一种基于虹膜和瞳孔的三维视线估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105094337B (zh) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
CN106250839A (zh) * | 2016-07-27 | 2016-12-21 | 徐鹤菲 | 一种虹膜图像透视校正方法、装置和移动终端 |
CN107436679A (zh) * | 2016-05-27 | 2017-12-05 | 富泰华工业(深圳)有限公司 | 手势控制系统及方法 |
CN107704076A (zh) * | 2017-09-01 | 2018-02-16 | 广景视睿科技(深圳)有限公司 | 一种动向投影物体展示系统及其方法 |
CN108182377A (zh) * | 2017-11-21 | 2018-06-19 | 合肥工业大学 | 基于摄影测量技术的人眼视线检测方法及装置 |
CN108280403A (zh) * | 2017-12-27 | 2018-07-13 | 北京七鑫易维信息技术有限公司 | 确定瞳孔位置的方法和装置 |
CN108427926A (zh) * | 2018-03-16 | 2018-08-21 | 西安电子科技大学 | 一种视线跟踪系统中的瞳孔定位方法 |
CN109034023A (zh) * | 2018-07-13 | 2018-12-18 | 中国科学院深圳先进技术研究院 | 一种眼动数据确定方法、装置、设备及存储介质 |
CN109034108A (zh) * | 2018-08-16 | 2018-12-18 | 北京七鑫易维信息技术有限公司 | 一种视线估计的方法、装置和系统 |
CN109189216A (zh) * | 2018-08-16 | 2019-01-11 | 北京七鑫易维信息技术有限公司 | 一种视线检测的方法、装置和系统 |
CN109308472A (zh) * | 2018-09-30 | 2019-02-05 | 华南理工大学 | 一种基于虹膜投影匹配函数的三维视线估计方法 |
CN109389105A (zh) * | 2018-12-20 | 2019-02-26 | 北京万里红科技股份有限公司 | 一种基于多任务的虹膜检测和视角分类方法 |
CN109544640A (zh) * | 2018-11-05 | 2019-03-29 | 北京科技大学 | 一种视线追踪系统Kappa角标定方法及标定装置 |
CN109690617A (zh) * | 2016-06-29 | 2019-04-26 | 艾斯适配有限公司 | 用于数字化妆镜的系统和方法 |
CN109726694A (zh) * | 2019-01-02 | 2019-05-07 | 上海百豪新材料有限公司 | 一种虹膜图像采集方法及装置 |
CN109885169A (zh) * | 2019-02-25 | 2019-06-14 | 清华大学 | 基于三维眼球模型的眼球参数标定和视线方向跟踪方法 |
CN110070057A (zh) * | 2019-04-25 | 2019-07-30 | 河北机电职业技术学院 | 瞳距测量方法、装置、终端设备及存储介质 |
CN110543813A (zh) * | 2019-07-22 | 2019-12-06 | 深思考人工智能机器人科技(北京)有限公司 | 一种基于场景的人脸画像、目光计数方法及系统 |
CN110555426A (zh) * | 2019-09-11 | 2019-12-10 | 北京儒博科技有限公司 | 视线检测方法、装置、设备及存储介质 |
WO2020042542A1 (zh) * | 2018-08-31 | 2020-03-05 | 深圳市沃特沃德股份有限公司 | 眼动控制校准数据获取方法和装置 |
CN111196281A (zh) * | 2020-01-03 | 2020-05-26 | 恒大新能源汽车科技(广东)有限公司 | 一种车机显示界面的页面布局控制方法及装置 |
CN112051918A (zh) * | 2019-06-05 | 2020-12-08 | 京东方科技集团股份有限公司 | 人眼注视计算方法及人眼注视计算系统 |
CN113822288A (zh) * | 2021-11-24 | 2021-12-21 | 广东电网有限责任公司湛江供电局 | 一种二次线电缆白头快速核对方法及系统 |
WO2022032911A1 (zh) * | 2020-08-13 | 2022-02-17 | 中国科学院深圳先进技术研究院 | 一种视线追踪方法及装置 |
CN117045191A (zh) * | 2023-09-21 | 2023-11-14 | 深圳市华弘智谷科技有限公司 | 基于vr的自动验光配镜方法、装置、智能眼镜及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0265834A (ja) * | 1988-08-31 | 1990-03-06 | Canon Inc | 視線検知装置 |
JPH02134130A (ja) * | 1988-11-16 | 1990-05-23 | A T R Tsushin Syst Kenkyusho:Kk | 非接触視線検出装置 |
US5231674A (en) * | 1989-06-09 | 1993-07-27 | Lc Technologies, Inc. | Eye tracking method and apparatus |
US20060110008A1 (en) * | 2003-11-14 | 2006-05-25 | Roel Vertegaal | Method and apparatus for calibration-free eye tracking |
CN102496005A (zh) * | 2011-12-03 | 2012-06-13 | 辽宁科锐科技有限公司 | 基于眼球特征的审讯辅助研判分析系统 |
-
2015
- 2015-08-19 CN CN201510511200.8A patent/CN105094337B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0265834A (ja) * | 1988-08-31 | 1990-03-06 | Canon Inc | 視線検知装置 |
JPH02134130A (ja) * | 1988-11-16 | 1990-05-23 | A T R Tsushin Syst Kenkyusho:Kk | 非接触視線検出装置 |
US5231674A (en) * | 1989-06-09 | 1993-07-27 | Lc Technologies, Inc. | Eye tracking method and apparatus |
US20060110008A1 (en) * | 2003-11-14 | 2006-05-25 | Roel Vertegaal | Method and apparatus for calibration-free eye tracking |
CN102496005A (zh) * | 2011-12-03 | 2012-06-13 | 辽宁科锐科技有限公司 | 基于眼球特征的审讯辅助研判分析系统 |
Non-Patent Citations (2)
Title |
---|
张闯,等: "一种新的基于瞳孔-角膜反射技术的视线追踪方法", 《计算机学报》 * |
罗兴贤,等: "基于图像处理的视线方向跟踪研究", 《现代制造工程》 * |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107436679B (zh) * | 2016-05-27 | 2020-08-07 | 富泰华工业(深圳)有限公司 | 手势控制系统及方法 |
CN107436679A (zh) * | 2016-05-27 | 2017-12-05 | 富泰华工业(深圳)有限公司 | 手势控制系统及方法 |
US10353465B2 (en) | 2016-06-08 | 2019-07-16 | South China University Of Technology | Iris and pupil-based gaze estimation method for head-mounted device |
WO2017211066A1 (zh) * | 2016-06-08 | 2017-12-14 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
CN109690617B (zh) * | 2016-06-29 | 2023-11-21 | 艾斯适配有限公司 | 用于数字化妆镜的系统和方法 |
CN109690617A (zh) * | 2016-06-29 | 2019-04-26 | 艾斯适配有限公司 | 用于数字化妆镜的系统和方法 |
CN106250839A (zh) * | 2016-07-27 | 2016-12-21 | 徐鹤菲 | 一种虹膜图像透视校正方法、装置和移动终端 |
CN107704076A (zh) * | 2017-09-01 | 2018-02-16 | 广景视睿科技(深圳)有限公司 | 一种动向投影物体展示系统及其方法 |
CN108182377A (zh) * | 2017-11-21 | 2018-06-19 | 合肥工业大学 | 基于摄影测量技术的人眼视线检测方法及装置 |
CN108280403A (zh) * | 2017-12-27 | 2018-07-13 | 北京七鑫易维信息技术有限公司 | 确定瞳孔位置的方法和装置 |
US10853967B2 (en) | 2017-12-27 | 2020-12-01 | Beijing 7Invensun Technology Co., Ltd. | Method and apparatus for determining pupil position |
CN108280403B (zh) * | 2017-12-27 | 2020-08-04 | 北京七鑫易维信息技术有限公司 | 确定瞳孔位置的方法和装置 |
CN108427926A (zh) * | 2018-03-16 | 2018-08-21 | 西安电子科技大学 | 一种视线跟踪系统中的瞳孔定位方法 |
CN109034023A (zh) * | 2018-07-13 | 2018-12-18 | 中国科学院深圳先进技术研究院 | 一种眼动数据确定方法、装置、设备及存储介质 |
CN109189216B (zh) * | 2018-08-16 | 2021-09-17 | 北京七鑫易维信息技术有限公司 | 一种视线检测的方法、装置和系统 |
CN109034108A (zh) * | 2018-08-16 | 2018-12-18 | 北京七鑫易维信息技术有限公司 | 一种视线估计的方法、装置和系统 |
CN109189216A (zh) * | 2018-08-16 | 2019-01-11 | 北京七鑫易维信息技术有限公司 | 一种视线检测的方法、装置和系统 |
WO2020042542A1 (zh) * | 2018-08-31 | 2020-03-05 | 深圳市沃特沃德股份有限公司 | 眼动控制校准数据获取方法和装置 |
CN109308472B (zh) * | 2018-09-30 | 2022-03-29 | 华南理工大学 | 一种基于虹膜投影匹配函数的三维视线估计方法 |
CN109308472A (zh) * | 2018-09-30 | 2019-02-05 | 华南理工大学 | 一种基于虹膜投影匹配函数的三维视线估计方法 |
CN109544640A (zh) * | 2018-11-05 | 2019-03-29 | 北京科技大学 | 一种视线追踪系统Kappa角标定方法及标定装置 |
CN109389105B (zh) * | 2018-12-20 | 2022-02-08 | 北京万里红科技有限公司 | 一种基于多任务的虹膜检测和视角分类方法 |
CN109389105A (zh) * | 2018-12-20 | 2019-02-26 | 北京万里红科技股份有限公司 | 一种基于多任务的虹膜检测和视角分类方法 |
CN109726694A (zh) * | 2019-01-02 | 2019-05-07 | 上海百豪新材料有限公司 | 一种虹膜图像采集方法及装置 |
CN109726694B (zh) * | 2019-01-02 | 2023-08-25 | 上海百豪新材料有限公司 | 一种虹膜图像采集方法及装置 |
CN109885169A (zh) * | 2019-02-25 | 2019-06-14 | 清华大学 | 基于三维眼球模型的眼球参数标定和视线方向跟踪方法 |
CN110070057A (zh) * | 2019-04-25 | 2019-07-30 | 河北机电职业技术学院 | 瞳距测量方法、装置、终端设备及存储介质 |
CN112051918A (zh) * | 2019-06-05 | 2020-12-08 | 京东方科技集团股份有限公司 | 人眼注视计算方法及人眼注视计算系统 |
CN112051918B (zh) * | 2019-06-05 | 2024-03-29 | 京东方科技集团股份有限公司 | 人眼注视计算方法及人眼注视计算系统 |
CN110543813B (zh) * | 2019-07-22 | 2022-03-15 | 深思考人工智能机器人科技(北京)有限公司 | 一种基于场景的人脸画像、目光计数方法及系统 |
CN110543813A (zh) * | 2019-07-22 | 2019-12-06 | 深思考人工智能机器人科技(北京)有限公司 | 一种基于场景的人脸画像、目光计数方法及系统 |
CN110555426A (zh) * | 2019-09-11 | 2019-12-10 | 北京儒博科技有限公司 | 视线检测方法、装置、设备及存储介质 |
CN111196281A (zh) * | 2020-01-03 | 2020-05-26 | 恒大新能源汽车科技(广东)有限公司 | 一种车机显示界面的页面布局控制方法及装置 |
WO2022032911A1 (zh) * | 2020-08-13 | 2022-02-17 | 中国科学院深圳先进技术研究院 | 一种视线追踪方法及装置 |
CN113822288A (zh) * | 2021-11-24 | 2021-12-21 | 广东电网有限责任公司湛江供电局 | 一种二次线电缆白头快速核对方法及系统 |
CN117045191A (zh) * | 2023-09-21 | 2023-11-14 | 深圳市华弘智谷科技有限公司 | 基于vr的自动验光配镜方法、装置、智能眼镜及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105094337B (zh) | 2018-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105094337A (zh) | 一种基于虹膜和瞳孔的三维视线估计方法 | |
CN106056092B (zh) | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 | |
CN106168853B (zh) | 一种自由空间头戴式视线跟踪系统 | |
CN108427503B (zh) | 人眼追踪方法及人眼追踪装置 | |
CN101901485B (zh) | 3d自由头动式视线跟踪系统 | |
CN102697508B (zh) | 采用单目视觉的三维重建来进行步态识别的方法 | |
Beymer et al. | Eye gaze tracking using an active stereo head | |
US20140218281A1 (en) | Systems and methods for eye gaze determination | |
CN110268444A (zh) | 一种用于经颅磁刺激诊疗的人头姿态跟踪系统 | |
US11945125B2 (en) | Auxiliary photographing device for dyskinesia analysis, and control method and apparatus for auxiliary photographing device for dyskinesia analysis | |
CN105138965A (zh) | 一种近眼式视线跟踪方法及其系统 | |
US10909363B2 (en) | Image acquisition system for off-axis eye images | |
US11181978B2 (en) | System and method for gaze estimation | |
CN108305321B (zh) | 一种基于双目彩色成像系统的立体人手3d骨架模型实时重建方法和装置 | |
US20200258255A1 (en) | Systems and methods for determining an ear saddle point of a user to produce specifications to fit a wearable apparatus to the user's head | |
Schnieders et al. | Reconstruction of display and eyes from a single image | |
Liu et al. | Robust 3-D gaze estimation via data optimization and saliency aggregation for mobile eye-tracking systems | |
CN111339982A (zh) | 一种基于特征的多级瞳孔中心定位技术实现方法 | |
CN108537103B (zh) | 基于瞳孔轴测量的活体人脸检测方法及其设备 | |
Kaminski et al. | Single image face orientation and gaze detection | |
Benalcazar et al. | A 3D iris scanner from multiple 2D visible light images | |
CN107765840A (zh) | 一种基于双目测量的泛头戴式设备的视线追踪方法设备 | |
CN106504257B (zh) | 一种放疗头部位置姿态测量装置和解算方法 | |
Nitschke | Image-based eye pose and reflection analysis for advanced interaction techniques and scene understanding | |
Jiménez et al. | Face tracking and pose estimation with automatic three-dimensional model construction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180622 Termination date: 20210819 |
|
CF01 | Termination of patent right due to non-payment of annual fee |