CN107506705A - 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法 - Google Patents
一种瞳孔‑普尔钦斑视线跟踪与注视提取方法 Download PDFInfo
- Publication number
- CN107506705A CN107506705A CN201710685958.2A CN201710685958A CN107506705A CN 107506705 A CN107506705 A CN 107506705A CN 201710685958 A CN201710685958 A CN 201710685958A CN 107506705 A CN107506705 A CN 107506705A
- Authority
- CN
- China
- Prior art keywords
- pupil
- image
- circle
- coordinate
- purkinje image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种瞳孔‑普尔钦斑视线跟踪与注视提取方法,本发明使用宽视野相机获取眼部图像,通过人脸特征识别,从宽视野图像中截取获得眼部局部图像,实验中使用由四个环绕在显示器的850nm红外光源组成的矩形光源阵列,该四个光源会在眼球上反射形成四个明显的普尔钦斑斑点阵列。基于四个普尔钦斑与瞳孔中心的位置关系,通过四光源透视法实现注视点估计,获取视线落入光源标定靶平面注视点坐标。
Description
技术领域
本发明涉及图像技术领域,尤其涉及一种瞳孔-普尔钦斑视线跟踪与注视提取方法。
背景技术
瞳孔,是动物或人眼睛内虹膜中心的小圆孔,为光线进入眼睛的通道。虹膜上瞳孔括约肌的收缩可以使瞳孔缩小,瞳孔开大肌的收缩使瞳孔散大,瞳孔的开大与缩小控制进入瞳孔的光量。现有技术中,对于通孔的检测技术需要不断的改进与创新。
发明内容
本发明的目的就在于为了解决上述问题而提供一种瞳孔-普尔钦斑视线跟踪与注视提取方法。
本发明通过以下技术方案来实现上述目的:
本发明包括以下步骤:
(1)眼部图像获取与阈值处理:通过基与Haar-Ababoost的面部识别、ASM识别以及Haar眼部区域识别技术,可以实现眼部区域特征的识别与跟踪,并将眼部区域的图像从宽视野摄像机拍摄图像中截取出来;获取眼球区域图像后,瞳孔和普尔钦斑在图像中的灰度值处于一个特定的位置,瞳孔比背景区域颜色更黑,而普尔钦斑更亮,为了能够突出瞳孔以及普尔钦斑,通过阈值法进行二值化处理,阈值法是通过设置阈值决定每个像素的值,如式1,p(x,y)为二值图像像素值,f(x,y)为原图像灰度值,Threshold为阈值,对于8位图来说二值化只有两个像素值0和255;
在合理的阈值下,瞳孔区域会与背景完全脱离开,在另一组阈值下,普尔钦斑也会与背景分离,经过阈值处理后,眼部区域图像普尔钦斑以及瞳孔的特征更为简单,可以很方便地对瞳孔进行圆拟合处理获取中心点;阈值处理需要每次使用时根据光照情况进行调试;
(2)瞳孔中心与普尔钦斑识别:
(2.1)瞳孔中心定位
获得瞳孔图像后,需要找到瞳孔的中心位置,瞳孔中心是瞳孔的圆心;课题采用霍夫变换(Hough)检测圆,从而获得瞳孔的圆心;
在极坐标中,圆上任意一点的坐标如式2所示表示,其中r为半径,x、y为圆心坐标;当圆半径已知,圆心已知,像素点坐标P(X,Y)绕圆心旋转360度后坐标值依然不变;
X=x+rcosθ
Y=y+rsinθ (式2)
霍夫变换就是利用这个重要性质,首先对图像进行边缘检测获取边缘像素,然后给定一个半径,按照这个半径绘制一个圆,中间圆代表待检测圆,蓝色圆为以红圆边缘像素为圆心,以给定一个值为半径绘制的一系列圆,若这个圆半径极其接近或者等于待检测圆半径,蓝色的一系列圆会在待检测圆圆心附近汇聚;
若蓝圆像素值为一个权重值,那么权重图像则为以每个边缘像素为圆心以r半径绘圆,对其圆轮廓像素像素值累加权重值γ,非轮廓像素则加0;设图像为m×n的一个矩阵;则权重图的像素值fλ(x,y)为(式3):
其中C(xi,yj,r,x,y)为圆搜索函数,原型如式4所示,其含义为图像中坐标(x,y),是否在以圆边缘像素(xi,yj)为圆心,半径为r的圆上;
(2.2)Blob普尔钦斑识别:
普尔钦斑是红外光源在角膜上反射的亮斑,其灰度值在图像中非常大,通过阈值后会在图像中显示为亮斑;不同于瞳孔,由于亮斑区面积非常小,不需要进行圆拟合获得其中心,只需要进行斑点识别然后获得斑点的重心即可;
采用Blob算法实现斑点识别;算法首先对原图像进行高斯模糊和拉普拉斯处理,这里利用LOG算子模板对图像卷积实现(式5),处理后的图像斑点区域灰度值会比较高;将这些高灰度值区域进行连通计算可以获得连通区域的半径和中心;
由于普尔钦斑图像已经经过了阈值处理,可以很容易识别出四个亮斑,每个斑点数据包含中心点和斑点半径信息;虽然通过阈值处理和半径范围设定能够将图像中的干扰亮斑过滤点,但是也有一定概率出现一些与普尔钦斑亮度半径相似的反光点被算法误识别,不过这些噪声斑点远离瞳孔区域;因此将识别出的斑点与瞳孔距离进行比较,过滤掉远离瞳孔区域的点即可;
(3)基于透视法的视线估计
本课题改进了光源系统,使用四个光源系统,该系统中四个红外光源分别置于屏幕四个角,在眼球形成的普尔钦斑图像连起来为一个四边形;单光源系统中,只有一个普尔钦斑作为参考点,当注视点不变,头部来回运动就会引起瞳孔-普尔钦斑相对位置变化,而注视估计主要依据相对位置,因此系统就会失准,所以单光源系统要求使用者头部位置固定在系统标定时的位置;四光源系统中,存在四个普尔钦斑参考点,头部运动的同时,四个参考点围成的四边形的形状尺寸也会发生变化,这种变化可以测量,因此可以通过普尔钦斑四边形尺寸形状变化来消除头部运动的影响;
在四光源系统中,无论头部如何,普尔钦斑与瞳孔几何数据之间的比值是不变的,根据比值通过缩放将瞳孔与普尔钦斑坐标转换到瞳孔-普尔钦斑相对坐标系中,在该坐标系中排除了头部运动影响,只考虑瞳孔与普尔钦斑相对位置变化;
(3.1)四光源普尔钦斑成像原理
普尔钦斑是红外光源照射到眼角膜从角膜外表面反射回来的光斑;眼角膜近似于曲率半径为7.8mm的单球体,光源是一个范围光,当某一条光路的光子照射到角膜表面,通过反射进入摄像机,就会在图像上留下光斑,因此光斑位置由光源、眼球、摄像机三者之间关系决定;
(3.2)四光源普尔钦斑视线估计
1)数据预处理
设四光源在屏幕中位置分别对应四个点左上角p1(u1,v1)、左下角p2(u2,v2)、右上角p3(u3,v3)、右下角p4(u4,v4)、瞳孔中心坐标为pq(uq,vq),半径为r;宽视野图像中,眼球位置变化会引起四光源普尔钦斑四边形变化,其中有两个类型的变化:尺寸变化和形状变化;
设lij为眼球图像中pipj两点之间的像素长度;则尺寸系数Cs如(式6),为1分之根号下普尔钦斑四边形面积;普尔钦斑坐标和瞳孔中心坐标乘以尺寸系数后,将瞳孔坐标与普尔钦斑坐标进行尺寸缩放,缩放后的坐标为瞳孔普尔钦斑与普尔钦斑点阵四边形相对坐标,消除了用户远离或者靠近摄像机引起的普尔钦斑点阵尺度变化影响;最后以一个普尔钦斑点为参考原点平移坐标系,课题将左小角点为参考原点,获得瞳孔中心的相对坐标Pq(xq,yq);
如上所述,随着头部运动,普尔钦斑点阵四边形形状会有不同的变化;四边形的形状变化用两组对边之间夹角表示;设Lij为pipj两点之间的直线,则L12与L34为一组,夹角为θa;L13与L24为一组,夹角为θb,则如式7所示,θb也同理可得:
预处理后的数据构成一个状态向量Teye,如式8;视线估计则基于该向量为数据基础,通过系统标定以及机器学习实现视线的估计;
Teye=[xq,yq,r,Cs,θa,θb] (式8)
2)非线性多项式直接拟合
如果为穿戴式设备或者使用窄视野的固定摄像机摄像机,头部位置相对固定,此时对四光源系统可以忽略头部运动的影响;直接使用瞳孔中心相对位置坐标Pq(xq,yq)进行视线估计;设靶屏幕坐标St(U,V),提取靶平面坐标,其视线估计可以用多项式来拟合视线,如式9所示:
其中通过系统标定来确定多项式中a,b,c,d,e,f,g,h的参数值;系统标定通过使用者注视靶平面采样,然后解求估计出这8个参数的值,使用者根据系统提示注视靶平面对应的点并采集原始的瞳孔中心相对坐标数据,采集多组数据后则可以直接解出视线估计多项式;
设采样数据为Si(Ui,Vi,xi,yi),其中:UV为靶平面点归一化坐标,也就是说屏幕一个1×1的平面,定义靶平面中心点的靶平面坐标为(0.5,0.5);xy是注视对应靶平面点时的瞳孔中心相对位置坐标;根据靶平面图示,在图中采样7个点,分别为左上S1,左下S2,右上S3,右下S4,中上S5,中下S6,中心Sc;
首先对瞳孔中心相对坐标根据靶平面坐标中心点样本进行坐标系变换,当注视靶平面中点时,定义此时的瞳孔中心相对坐标为(0,0);如式10,之后对于测量出来的所有瞳孔中心相对坐标进行同样变换;
根据拟合多项式可知进行如下变换后d和h两参数均为0.5,这样通过三个定标点即可求出其他6个参数的值;设以S5,S2,S4为一组;则有式11和式12,根据两个方程组分别求解最终求得参数的值;
根据该多项式进行视线估计并通过实验记录数据,可获得视线注视统计数据,其中使用者分别注视屏幕的左上角,中点和右下角。
本发明的有益效果在于:
本发明是一种瞳孔-普尔钦斑视线跟踪与注视提取方法,与现有技术相比,本发明使用宽视野相机获取眼部图像,通过人脸特征识别,从宽视野图像中截取获得眼部局部图像,实验中使用由四个环绕在显示器的850nm红外光源组成的矩形光源阵列,该四个光源会在眼球上反射形成四个明显的普尔钦斑斑点阵列。基于四个普尔钦斑与瞳孔中心的位置关系,通过四光源透视法实现注视点估计,获取视线落入光源标定靶平面注视点坐标。
附图说明
图1是本发明的用户眼球区域图像;
图2是本发明的瞳孔阈值图像、普尔钦斑阈值图像;
图3是本发明的Hough圆检测原理;
图4是本发明的权重值叠加图;
图5是本发明的霍夫变换识别圆;
图6是本发明的瞳孔圆拟合数据;
图7是本发明的普尔钦斑识别;
图8是本发明的眼球图像;
图9是本发明的计算机模拟图像;
图10是本发明的靶平面标定图;
图11是本发明的视线估计图。
具体实施方式
下面结合附图对本发明作进一步说明:
本发明包括以下步骤:
(1)眼部图像获取与阈值处理:通过基与Haar-Ababoost的面部识别、ASM识别以及Haar眼部区域识别技术,可以实现眼部区域特征的识别与跟踪,并将眼部区域的图像从宽视野摄像机拍摄图像中截取出来;如图1所示:获取眼球区域图像后,瞳孔和普尔钦斑在图像中的灰度值处于一个特定的位置,瞳孔比背景区域颜色更黑,而普尔钦斑更亮,为了能够突出瞳孔以及普尔钦斑,通过阈值法进行二值化处理,阈值法是通过设置阈值决定每个像素的值,如式1,p(x,y)为二值图像像素值,f(x,y)为原图像灰度值,Threshold为阈值,对于8位图来说二值化只有两个像素值0和255;
在合理的阈值下,瞳孔区域会与背景完全脱离开,在另一组阈值下,普尔钦斑也会与背景分离,如上图2所示。经过阈值处理后,眼部区域图像普尔钦斑以及瞳孔的特征更为简单,可以很方便地对瞳孔进行圆拟合处理获取中心点。阈值处理需要每次使用时根据光照情况进行调试。
(3)瞳孔中心与普尔钦斑识别:
(2.1)瞳孔中心定位
获得瞳孔图像后,需要找到瞳孔的中心位置,瞳孔中心是瞳孔的圆心。课题采用霍夫变换(Hough)检测圆,从而获得瞳孔的圆心。
在极坐标中,圆上任意一点的坐标如式2所示表示,其中r为半径,x、y为圆心坐标。当圆半径已知,圆心已知,像素点坐标P(X,Y)绕圆心旋转360度后坐标值依然不变。
X=x+rcosθ
Y=y+rsinθ (式2)
霍夫变换就是利用这个重要性质,首先对图像进行边缘检测获取边缘像素,然后给定一个半径,按照这个半径绘制一个圆,如图3所示,中间圆代表待检测圆,蓝色圆为以红圆边缘像素为圆心,以给定一个值为半径绘制的一系列圆,若这个圆半径极其接近或者等于待检测圆半径,蓝色的一系列圆会在待检测圆圆心附近汇聚。
若蓝圆像素值为一个权重值,那么权重图像则为以每个边缘像素为圆心以r半径绘圆,对其圆轮廓像素像素值累加权重值γ,非轮廓像素则加0。设图像为m×n的一个矩阵。则权重图的像素值fλ(x,y)为(式3):
其中C(xi,yj,r,x,y)为圆搜索函数,原型如式4所示,其含义为图像中坐标(x,y),是否在以圆边缘像素(xi,yj)为圆心,半径为r的圆上。
根据上文方法,获得的权重图如图4所示,拟合圆圆心部分的像素值权重值很高,通过设定阈值过滤以及排序,可以确定某一个点为圆的拟合圆心。若要搜索其他圆,则改变搜索圆半径r,计算新的权重图像。
对于瞳孔来说,瞳孔圆的大小范围是可以测量出来的,实际应用中是相对固定的,可以设置两个值minSize和maxSize表示瞳孔圆半径范围,每次搜索输入一个半径值r,r每完成一轮搜索由大到小步长为d递减。设置一个权重阈值,当像素点权重值大于该阈值时,则该点为一个圆心,当半径r有maxSize递减搜索到minSize即可完成对图像该半径范围内所有圆的搜索。
如下图5所示,通过霍夫变换识别二值处理后的瞳孔图像,获得瞳孔的拟合圆,拟合圆参数包含圆的圆心坐标和半径,如图6所示。
(2.2)Blob普尔钦斑识别:
普尔钦斑是红外光源在角膜上反射的亮斑,其灰度值在图像中非常大,通过阈值后会在图像中显示为亮斑。不同于瞳孔,由于亮斑区面积非常小,不需要进行圆拟合获得其中心,只需要进行斑点识别然后获得斑点的重心即可。
课题中采用Blob算法实现斑点识别。算法首先对原图像进行高斯模糊和拉普拉斯处理,这里利用LOG算子模板对图像卷积实现(式5),处理后的图像斑点区域灰度值会比较高。将这些高灰度值区域进行连通计算可以获得连通区域的半径和中心。
由于普尔钦斑图像已经经过了阈值处理,可以很容易识别出四个亮斑,如图7所示。每个斑点数据包含中心点和斑点半径信息。虽然通过阈值处理和半径范围设定能够将图像中的干扰亮斑过滤点,但是也有一定概率出现一些与普尔钦斑亮度半径相似的反光点被算法误识别,不过这些噪声斑点远离瞳孔区域。因此将识别出的斑点与瞳孔距离进行比较,过滤掉远离瞳孔区域的点即可。
(3)基于透视法的视线估计
本课题改进了光源系统,使用四个光源系统,该系统中四个红外光源分别置于屏幕四个角,在眼球形成的普尔钦斑图像连起来为一个四边形。单光源系统中,只有一个普尔钦斑作为参考点,当注视点不变,头部来回运动就会引起瞳孔-普尔钦斑相对位置变化,而注视估计主要依据相对位置,因此系统就会失准,所以单光源系统要求使用者头部位置固定在系统标定时的位置。四光源系统中,存在四个普尔钦斑参考点,头部运动的同时,四个参考点围成的四边形的形状尺寸也会发生变化,这种变化可以测量,因此可以通过普尔钦斑四边形尺寸形状变化来消除头部运动的影响。
在四光源系统中,无论头部如何,普尔钦斑与瞳孔几何数据之间的比值是不变的,根据比值通过缩放将瞳孔与普尔钦斑坐标转换到瞳孔-普尔钦斑相对坐标系中,在该坐标系中排除了头部运动影响,只考虑瞳孔与普尔钦斑相对位置变化。
(3.1)四光源普尔钦斑成像原理
普尔钦斑是红外光源照射到眼角膜从角膜外表面反射回来的光斑。眼角膜近似于曲率半径为7.8mm的单球体,光源是一个范围光,当某一条光路的光子照射到角膜表面,通过反射进入摄像机,就会在图像上留下光斑,因此光斑位置由光源、眼球、摄像机三者之间关系决定。
通过实验,让头部在摄像机前来回运动,并获取眼部相对于屏幕左上、左中、左下、中上、正中、中下、右上、右中、右下的位置,眼部图像如图8,期间眼部始终观察同一个点。同时根据眼部光学特性建立计算机模型,进行模拟。模拟图如图9。通过对比四个普尔钦斑斑点围成形状变化趋势,验证了普尔钦斑的成像原理。
从上图中可见,当眼球注视同一个点,而头部运动,依然会影响普尔钦斑与瞳孔的相对位置关系,单光源的系统无法对这一现象进行感知,因此只有在头部固定在标定时位置上才能准确进行视线估计。而四光源系统中,头部运动带来的眼球相对位置变化会直接反映在四普尔钦斑围成四边形的几何体变化,可以对头部运动进行一定的补偿。
3.2四光源普尔钦斑视线估计
1)数据预处理
设四光源在屏幕中位置分别对应四个点左上角p1(u1,v1)、左下角p2(u2,v2)、右上角p3(u3,v3)、右下角p4(u4,v4)、瞳孔中心坐标为pq(uq,vq),半径为r。宽视野图像中,眼球位置变化会引起四光源普尔钦斑四边形变化,其中有两个类型的变化:尺寸变化和形状变化。
设lij为眼球图像中pipj两点之间的像素长度。则尺寸系数Cs如(式6),为1分之根号下普尔钦斑四边形面积。普尔钦斑坐标和瞳孔中心坐标乘以尺寸系数后,将瞳孔坐标与普尔钦斑坐标进行尺寸缩放,缩放后的坐标为瞳孔普尔钦斑与普尔钦斑点阵四边形相对坐标,消除了用户远离或者靠近摄像机引起的普尔钦斑点阵尺度变化影响。最后以一个普尔钦斑点为参考原点平移坐标系,课题将左小角点为参考原点,获得瞳孔中心的相对坐标Pq(xq,yq)。
如上文所述,随着头部运动,普尔钦斑点阵四边形形状会有不同的变化。四边形的形状变化用两组对边之间夹角表示。设Lij为pipj两点之间的直线,则L12与L34为一组,夹角为θa;L13与L24为一组,夹角为θb,则如式7所示,θb也同理可得:
预处理后的数据构成一个状态向量Teye,如式8。视线估计则基于该向量为数据基础,通过系统标定以及机器学习实现视线的估计。
Teye=[xq,yq,r,Cs,θa,θb] (式8)
2)非线性多项式直接拟合
如果为穿戴式设备或者使用窄视野的固定摄像机摄像机,头部位置相对固定,此时对四光源系统可以忽略头部运动的影响。直接使用瞳孔中心相对位置坐标Pq(xq,yq)进行视线估计。设靶屏幕坐标St(U,V),提取靶平面坐标,其视线估计可以用多项式来拟合视线,如式9所示:
其中通过系统标定来确定多项式中a,b,c,d,e,f,g,h的参数值。系统标定通过使用者注视靶平面采样,然后解求估计出这8个参数的值,其中靶平面定标图如图10,使用者根据系统提示注视靶平面对应的点并采集原始的瞳孔中心相对坐标数据,采集多组数据后则可以直接解出视线估计多项式。
设采样数据为Si(Ui,Vi,xi,yi),其中:UV为靶平面点归一化坐标,也就是说屏幕一个1×1的平面,定义靶平面中心点的靶平面坐标为(0.5,0.5);xy是注视对应靶平面点时的瞳孔中心相对位置坐标。根据靶平面图示,在图中采样7个点,分别为左上S1,左下S2,右上S3,右下S4,中上S5,中下S6,中心Sc。
首先对瞳孔中心相对坐标根据靶平面坐标中心点样本进行坐标系变换,当注视靶平面中点时,定义此时的瞳孔中心相对坐标为(0,0)。如式10,之后对于测量出来的所有瞳孔中心相对坐标进行同样变换。
根据拟合多项式可知进行如下变换后d和h两参数均为0.5,这样通过三个定标点即可求出其他6个参数的值。设以S5,S2,S4为一组。则有式11和式12,根据两个方程组分别求解最终求得参数的值。
根据该多项式进行视线估计并通过实验记录数据,可获得视线注视统计数据(如图4.3.2.2),其中使用者分别注视屏幕的左上角,中点和右下角。由图可见,视线估计可以有效反应出人眼观察平面时的注视点。
以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (1)
1.一种瞳孔-普尔钦斑视线跟踪与注视提取方法,其特征在于,包括以下步骤:
(1)眼部图像获取与阈值处理:通过基与Haar-Ababoost的面部识别、ASM识别以及Haar眼部区域识别技术,可以实现眼部区域特征的识别与跟踪,并将眼部区域的图像从宽视野摄像机拍摄图像中截取出来;获取眼球区域图像后,瞳孔和普尔钦斑在图像中的灰度值处于一个特定的位置,瞳孔比背景区域颜色更黑,而普尔钦斑更亮,为了能够突出瞳孔以及普尔钦斑,通过阈值法进行二值化处理,阈值法是通过设置阈值决定每个像素的值,如式1,p(x,y)为二值图像像素值,f(x,y)为原图像灰度值,Threshold为阈值,对于8位图来说二值化只有两个像素值0和255;
在合理的阈值下,瞳孔区域会与背景完全脱离开,在另一组阈值下,普尔钦斑也会与背景分离,经过阈值处理后,眼部区域图像普尔钦斑以及瞳孔的特征更为简单,可以很方便地对瞳孔进行圆拟合处理获取中心点;阈值处理需要每次使用时根据光照情况进行调试;
(2)瞳孔中心与普尔钦斑识别:
(2.1)瞳孔中心定位
获得瞳孔图像后,需要找到瞳孔的中心位置,瞳孔中心是瞳孔的圆心;课题采用霍夫变换(Hough)检测圆,从而获得瞳孔的圆心;
在极坐标中,圆上任意一点的坐标如式2所示表示,其中r为半径,x、y为圆心坐标;当圆半径已知,圆心已知,像素点坐标P(X,Y)绕圆心旋转360度后坐标值依然不变;
X=x+rcosθ
Y=y+rsinθ (式2)
霍夫变换就是利用这个重要性质,首先对图像进行边缘检测获取边缘像素,然后给定一个半径,按照这个半径绘制一个圆,中间圆代表待检测圆,蓝色圆为以红圆边缘像素为圆心,以给定一个值为半径绘制的一系列圆,若这个圆半径极其接近或者等于待检测圆半径,蓝色的一系列圆会在待检测圆圆心附近汇聚;
若蓝圆像素值为一个权重值,那么权重图像则为以每个边缘像素为圆心以r半径绘圆,对其圆轮廓像素像素值累加权重值γ,非轮廓像素则加0;设图像为m×n的一个矩阵;则权重图的像素值fλ(x,y)为(式3):
其中C(xi,yj,r,x,y)为圆搜索函数,原型如式4所示,其含义为图像中坐标(x,y),是否在以圆边缘像素(xi,yj)为圆心,半径为r的圆上;
(2.2)Blob普尔钦斑识别:
普尔钦斑是红外光源在角膜上反射的亮斑,其灰度值在图像中非常大,通过阈值后会在图像中显示为亮斑;不同于瞳孔,由于亮斑区面积非常小,不需要进行圆拟合获得其中心,只需要进行斑点识别然后获得斑点的重心即可;
采用Blob算法实现斑点识别;算法首先对原图像进行高斯模糊和拉普拉斯处理,这里利用LOG算子模板对图像卷积实现(式5),处理后的图像斑点区域灰度值会比较高;将这些高灰度值区域进行连通计算可以获得连通区域的半径和中心;
由于普尔钦斑图像已经经过了阈值处理,可以很容易识别出四个亮斑,每个斑点数据包含中心点和斑点半径信息;虽然通过阈值处理和半径范围设定能够将图像中的干扰亮斑过滤点,但是也有一定概率出现一些与普尔钦斑亮度半径相似的反光点被算法误识别,不过这些噪声斑点远离瞳孔区域;因此将识别出的斑点与瞳孔距离进行比较,过滤掉远离瞳孔区域的点即可;
(3)基于透视法的视线估计
本课题改进了光源系统,使用四个光源系统,该系统中四个红外光源分别置于屏幕四个角,在眼球形成的普尔钦斑图像连起来为一个四边形;单光源系统中,只有一个普尔钦斑作为参考点,当注视点不变,头部来回运动就会引起瞳孔-普尔钦斑相对位置变化,而注视估计主要依据相对位置,因此系统就会失准,所以单光源系统要求使用者头部位置固定在系统标定时的位置;四光源系统中,存在四个普尔钦斑参考点,头部运动的同时,四个参考点围成的四边形的形状尺寸也会发生变化,这种变化可以测量,因此可以通过普尔钦斑四边形尺寸形状变化来消除头部运动的影响;
在四光源系统中,无论头部如何,普尔钦斑与瞳孔几何数据之间的比值是不变的,根据比值通过缩放将瞳孔与普尔钦斑坐标转换到瞳孔-普尔钦斑相对坐标系中,在该坐标系中排除了头部运动影响,只考虑瞳孔与普尔钦斑相对位置变化;
(3.1)四光源普尔钦斑成像原理
普尔钦斑是红外光源照射到眼角膜从角膜外表面反射回来的光斑;眼角膜近似于曲率半径为7.8mm的单球体,光源是一个范围光,当某一条光路的光子照射到角膜表面,通过反射进入摄像机,就会在图像上留下光斑,因此光斑位置由光源、眼球、摄像机三者之间关系决定;
(3.2)四光源普尔钦斑视线估计
1)数据预处理
设四光源在屏幕中位置分别对应四个点左上角p1(u1,v1)、左下角p2(u2,v2)、右上角p3(u3,v3)、右下角p4(u4,v4)、瞳孔中心坐标为pq(uq,vq),半径为r;宽视野图像中,眼球位置变化会引起四光源普尔钦斑四边形变化,其中有两个类型的变化:尺寸变化和形状变化;
设lij为眼球图像中pipj两点之间的像素长度;则尺寸系数Cs如(式6),为1分之根号下普尔钦斑四边形面积;普尔钦斑坐标和瞳孔中心坐标乘以尺寸系数后,将瞳孔坐标与普尔钦斑坐标进行尺寸缩放,缩放后的坐标为瞳孔普尔钦斑与普尔钦斑点阵四边形相对坐标,消除了用户远离或者靠近摄像机引起的普尔钦斑点阵尺度变化影响;最后以一个普尔钦斑点为参考原点平移坐标系,课题将左小角点为参考原点,获得瞳孔中心的相对坐标Pq(xq,yq);
如上所述,随着头部运动,普尔钦斑点阵四边形形状会有不同的变化;四边形的形状变化用两组对边之间夹角表示;设Lij为pipj两点之间的直线,则L12与L34为一组,夹角为θa;L13与L24为一组,夹角为θb,则如式7所示,θb也同理可得:
预处理后的数据构成一个状态向量Teye,如式8;视线估计则基于该向量为数据基础,通过系统标定以及机器学习实现视线的估计;
Teye=[xq,yq,r,Cs,θa,θb] (式8)
2)非线性多项式直接拟合
如果为穿戴式设备或者使用窄视野的固定摄像机摄像机,头部位置相对固定,此时对四光源系统可以忽略头部运动的影响;直接使用瞳孔中心相对位置坐标Pq(xq,yq)进行视线估计;设靶屏幕坐标St(U,V),提取靶平面坐标,其视线估计可以用多项式来拟合视线,如式9所示:
其中通过系统标定来确定多项式中a,b,c,d,e,f,g,h的参数值;系统标定通过使用者注视靶平面采样,然后解求估计出这8个参数的值,使用者根据系统提示注视靶平面对应的点并采集原始的瞳孔中心相对坐标数据,采集多组数据后则可以直接解出视线估计多项式;
设采样数据为Si(Ui,Vi,xi,yi),其中:UV为靶平面点归一化坐标,也就是说屏幕一个1×1的平面,定义靶平面中心点的靶平面坐标为(0.5,0.5);xy是注视对应靶平面点时的瞳孔中心相对位置坐标;根据靶平面图示,在图中采样7个点,分别为左上S1,左下S2,右上S3,右下S4,中上S5,中下S6,中心Sc;
首先对瞳孔中心相对坐标根据靶平面坐标中心点样本进行坐标系变换,当注视靶平面中点时,定义此时的瞳孔中心相对坐标为(0,0);如式10,之后对于测量出来的所有瞳孔中心相对坐标进行同样变换;
根据拟合多项式可知进行如下变换后d和h两参数均为0.5,这样通过三个定标点即可求出其他6个参数的值;设以S5,S2,S4为一组;则有式11和式12,根据两个方程组分别求解最终求得参数的值;
根据该多项式进行视线估计并通过实验记录数据,可获得视线注视统计数据,其中使用者分别注视屏幕的左上角,中点和右下角。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710685958.2A CN107506705B (zh) | 2017-08-11 | 2017-08-11 | 一种瞳孔-普尔钦斑视线跟踪与注视提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710685958.2A CN107506705B (zh) | 2017-08-11 | 2017-08-11 | 一种瞳孔-普尔钦斑视线跟踪与注视提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107506705A true CN107506705A (zh) | 2017-12-22 |
CN107506705B CN107506705B (zh) | 2021-12-17 |
Family
ID=60690709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710685958.2A Active CN107506705B (zh) | 2017-08-11 | 2017-08-11 | 一种瞳孔-普尔钦斑视线跟踪与注视提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107506705B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108681699A (zh) * | 2018-05-04 | 2018-10-19 | 上海像我信息科技有限公司 | 一种基于深度学习的视线估计方法及视线估计装置 |
CN108898572A (zh) * | 2018-04-19 | 2018-11-27 | 北京七鑫易维信息技术有限公司 | 光斑提取方法 |
CN108960106A (zh) * | 2018-06-25 | 2018-12-07 | 西安交通大学 | 一种基于量化最小残差熵准则的人眼注视点估计方法 |
CN109754381A (zh) * | 2019-01-03 | 2019-05-14 | 广东小天才科技有限公司 | 一种图像处理方法及系统 |
CN110705504A (zh) * | 2019-10-14 | 2020-01-17 | 京东方科技集团股份有限公司 | 视线定位方法、显示装置、电子设备以及存储介质 |
CN110806885A (zh) * | 2019-09-29 | 2020-02-18 | 深圳市火乐科技发展有限公司 | Mcu固件更新方法、智能投影仪及相关产品 |
CN110807427A (zh) * | 2019-11-05 | 2020-02-18 | 中航华东光电(上海)有限公司 | 一种视线追踪方法、装置、计算机设备和存储介质 |
CN111443804A (zh) * | 2019-12-27 | 2020-07-24 | 安徽大学 | 基于视频分析的注视点轨迹描述方法及其系统 |
WO2020211174A1 (zh) * | 2019-04-18 | 2020-10-22 | 温州医科大学 | 基于机器视觉的偏心摄影验光图像处理的方法 |
CN111985303A (zh) * | 2020-07-01 | 2020-11-24 | 江西拓世智能科技有限公司 | 一种基于人脸识别和人眼光斑活体检测装置和方法 |
CN112274153A (zh) * | 2020-11-11 | 2021-01-29 | 西安工业大学 | 一种基于视线追踪的操控员反应时测定方法 |
CN112954296A (zh) * | 2021-02-05 | 2021-06-11 | 佛山科学技术学院 | 基于双目视觉的眼底对焦方法、系统以及存储介质 |
CN113361459A (zh) * | 2021-06-29 | 2021-09-07 | 平安普惠企业管理有限公司 | 基于注视点识别的广告展示方法、装置、设备及存储介质 |
CN113436205A (zh) * | 2021-06-16 | 2021-09-24 | 中国电子科技集团公司第五十四研究所 | 一种基于视线追踪的遥感图像快速解译方法 |
CN115147462A (zh) * | 2022-07-08 | 2022-10-04 | 浙江大学 | 一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法 |
CN115933172A (zh) * | 2022-11-29 | 2023-04-07 | 大连海事大学 | 一种基于偏振多光谱成像的人眼视线追踪装置及方法 |
CN116052264A (zh) * | 2023-03-31 | 2023-05-02 | 广州视景医疗软件有限公司 | 一种基于非线性偏差校准的视线估计方法及装置 |
CN117496584A (zh) * | 2024-01-02 | 2024-02-02 | 南昌虚拟现实研究院股份有限公司 | 一种基于深度学习眼球追踪光斑检测方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101344919A (zh) * | 2008-08-05 | 2009-01-14 | 华南理工大学 | 视线跟踪方法及应用该方法的残疾人辅助系统 |
CN201477518U (zh) * | 2009-08-31 | 2010-05-19 | 北京科技大学 | 一种基于瞳孔角膜反射方法的视线追踪装置 |
CN101788848A (zh) * | 2009-09-29 | 2010-07-28 | 北京科技大学 | 用于视线追踪系统的眼部特征参数检测方法 |
CN103390152A (zh) * | 2013-07-02 | 2013-11-13 | 华南理工大学 | 基于sopc的适合人机交互的视线跟踪系统 |
US20160073043A1 (en) * | 2014-06-20 | 2016-03-10 | Rambus Inc. | Systems and Methods for Enhanced Infrared Imaging |
CN106682946A (zh) * | 2016-12-30 | 2017-05-17 | 北京七鑫易维信息技术有限公司 | 一种广告内容分析方法和装置 |
CN106774863A (zh) * | 2016-12-03 | 2017-05-31 | 西安中科创星科技孵化器有限公司 | 一种基于瞳孔特征实现视线追踪的方法 |
-
2017
- 2017-08-11 CN CN201710685958.2A patent/CN107506705B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101344919A (zh) * | 2008-08-05 | 2009-01-14 | 华南理工大学 | 视线跟踪方法及应用该方法的残疾人辅助系统 |
CN201477518U (zh) * | 2009-08-31 | 2010-05-19 | 北京科技大学 | 一种基于瞳孔角膜反射方法的视线追踪装置 |
CN101788848A (zh) * | 2009-09-29 | 2010-07-28 | 北京科技大学 | 用于视线追踪系统的眼部特征参数检测方法 |
CN103390152A (zh) * | 2013-07-02 | 2013-11-13 | 华南理工大学 | 基于sopc的适合人机交互的视线跟踪系统 |
US20160073043A1 (en) * | 2014-06-20 | 2016-03-10 | Rambus Inc. | Systems and Methods for Enhanced Infrared Imaging |
CN106774863A (zh) * | 2016-12-03 | 2017-05-31 | 西安中科创星科技孵化器有限公司 | 一种基于瞳孔特征实现视线追踪的方法 |
CN106682946A (zh) * | 2016-12-30 | 2017-05-17 | 北京七鑫易维信息技术有限公司 | 一种广告内容分析方法和装置 |
Non-Patent Citations (2)
Title |
---|
PARK JIN-WOO等: "Gaze Tracking System Using Feature Points of Pupil and Glints Center", 《JOURNAL OF BROADCAST ENGINEERING》 * |
迟健男等: "一种由粗及精的视线追踪系统平面视线参数检测方法", 《兵工学报》 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019201337A1 (zh) * | 2018-04-19 | 2019-10-24 | 北京七鑫易维信息技术有限公司 | 光斑提取方法 |
CN108898572A (zh) * | 2018-04-19 | 2018-11-27 | 北京七鑫易维信息技术有限公司 | 光斑提取方法 |
CN108898572B (zh) * | 2018-04-19 | 2020-11-13 | 北京七鑫易维信息技术有限公司 | 光斑提取方法 |
TWI701940B (zh) * | 2018-04-19 | 2020-08-11 | 大陸商北京七鑫易維信息技術有限公司 | 光斑提取方法 |
CN108681699A (zh) * | 2018-05-04 | 2018-10-19 | 上海像我信息科技有限公司 | 一种基于深度学习的视线估计方法及视线估计装置 |
CN108960106B (zh) * | 2018-06-25 | 2019-09-20 | 西安交通大学 | 一种基于量化最小残差熵准则的人眼注视点估计方法 |
CN108960106A (zh) * | 2018-06-25 | 2018-12-07 | 西安交通大学 | 一种基于量化最小残差熵准则的人眼注视点估计方法 |
CN109754381A (zh) * | 2019-01-03 | 2019-05-14 | 广东小天才科技有限公司 | 一种图像处理方法及系统 |
WO2020211174A1 (zh) * | 2019-04-18 | 2020-10-22 | 温州医科大学 | 基于机器视觉的偏心摄影验光图像处理的方法 |
CN110806885A (zh) * | 2019-09-29 | 2020-02-18 | 深圳市火乐科技发展有限公司 | Mcu固件更新方法、智能投影仪及相关产品 |
CN110806885B (zh) * | 2019-09-29 | 2021-05-25 | 深圳市火乐科技发展有限公司 | Mcu固件更新方法、智能投影仪及相关产品 |
CN110705504A (zh) * | 2019-10-14 | 2020-01-17 | 京东方科技集团股份有限公司 | 视线定位方法、显示装置、电子设备以及存储介质 |
CN110705504B (zh) * | 2019-10-14 | 2022-07-08 | 京东方科技集团股份有限公司 | 视线定位方法、显示装置、电子设备以及存储介质 |
CN110807427A (zh) * | 2019-11-05 | 2020-02-18 | 中航华东光电(上海)有限公司 | 一种视线追踪方法、装置、计算机设备和存储介质 |
CN110807427B (zh) * | 2019-11-05 | 2024-03-01 | 中航华东光电(上海)有限公司 | 一种视线追踪方法、装置、计算机设备和存储介质 |
CN111443804A (zh) * | 2019-12-27 | 2020-07-24 | 安徽大学 | 基于视频分析的注视点轨迹描述方法及其系统 |
CN111443804B (zh) * | 2019-12-27 | 2022-08-19 | 安徽大学 | 基于视频分析的注视点轨迹描述方法及其系统 |
CN111985303A (zh) * | 2020-07-01 | 2020-11-24 | 江西拓世智能科技有限公司 | 一种基于人脸识别和人眼光斑活体检测装置和方法 |
CN112274153A (zh) * | 2020-11-11 | 2021-01-29 | 西安工业大学 | 一种基于视线追踪的操控员反应时测定方法 |
CN112954296A (zh) * | 2021-02-05 | 2021-06-11 | 佛山科学技术学院 | 基于双目视觉的眼底对焦方法、系统以及存储介质 |
CN113436205A (zh) * | 2021-06-16 | 2021-09-24 | 中国电子科技集团公司第五十四研究所 | 一种基于视线追踪的遥感图像快速解译方法 |
CN113361459A (zh) * | 2021-06-29 | 2021-09-07 | 平安普惠企业管理有限公司 | 基于注视点识别的广告展示方法、装置、设备及存储介质 |
CN115147462A (zh) * | 2022-07-08 | 2022-10-04 | 浙江大学 | 一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法 |
CN115933172A (zh) * | 2022-11-29 | 2023-04-07 | 大连海事大学 | 一种基于偏振多光谱成像的人眼视线追踪装置及方法 |
CN115933172B (zh) * | 2022-11-29 | 2023-09-12 | 大连海事大学 | 一种基于偏振多光谱成像的人眼视线追踪装置及方法 |
CN116052264A (zh) * | 2023-03-31 | 2023-05-02 | 广州视景医疗软件有限公司 | 一种基于非线性偏差校准的视线估计方法及装置 |
CN117496584A (zh) * | 2024-01-02 | 2024-02-02 | 南昌虚拟现实研究院股份有限公司 | 一种基于深度学习眼球追踪光斑检测方法及装置 |
CN117496584B (zh) * | 2024-01-02 | 2024-04-09 | 南昌虚拟现实研究院股份有限公司 | 一种基于深度学习眼球追踪光斑检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107506705B (zh) | 2021-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107506705A (zh) | 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法 | |
CN108108684B (zh) | 一种融合视线检测的注意力检测方法 | |
CN110400289B (zh) | 眼底图像识别方法、装置、设备和存储介质 | |
CN110703904B (zh) | 一种基于视线跟踪的增强虚拟现实投影方法及系统 | |
CN106774863B (zh) | 一种基于瞳孔特征实现视线追踪的方法 | |
CN105138965B (zh) | 一种近眼式视线跟踪方法及其系统 | |
US6229905B1 (en) | Animal identification based on irial granule analysis | |
CN102596005B (zh) | 自动测量人双眼的至少一个折射特性的方法和设备 | |
CN109344882A (zh) | 基于卷积神经网络的机器人控制目标位姿识别方法 | |
CN108198167B (zh) | 一种基于机器视觉的烧伤智能检测识别装置及方法 | |
CN109684915B (zh) | 瞳孔跟踪图像处理方法 | |
CN104133548A (zh) | 确定视点区域及控制屏幕亮度的方法及装置 | |
CN107798318A (zh) | 一种机器人识别面部快乐微表情的方法及其装置 | |
CN106503644B (zh) | 基于边缘投影及颜色特征的眼镜属性检测方法 | |
CN103268479A (zh) | 全天候疲劳驾驶检测方法 | |
JPH08238222A (ja) | 視線認識装置 | |
CN109840484A (zh) | 一种基于边缘滤波、椭圆评价和瞳孔验证的瞳孔检测方法 | |
CN205750807U (zh) | 一种基于虹膜识别的幼儿园安全接送系统 | |
CN115019380A (zh) | 基于眼部图像的斜视智能识别方法、装置、终端及介质 | |
CN110096978A (zh) | 基于机器视觉的偏心摄影验光图像处理的方法 | |
CN111428680A (zh) | 一种基于深度学习的瞳孔定位方法 | |
CN105380590B (zh) | 一种具有眼位检测功能的设备及其实现方法 | |
CN105447450A (zh) | 虹膜识别中判断左右虹膜的方法和装置 | |
CN109745220A (zh) | 一种眼科专用的眼部清洗系统及方法 | |
RU2352244C2 (ru) | Способ измерения быстрых движений глаз и отклонений бинокулярного зрения и устройство для его реализации |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |