CN102930252A - 一种基于神经网络头部运动补偿的视线跟踪方法 - Google Patents

一种基于神经网络头部运动补偿的视线跟踪方法 Download PDF

Info

Publication number
CN102930252A
CN102930252A CN2012104182527A CN201210418252A CN102930252A CN 102930252 A CN102930252 A CN 102930252A CN 2012104182527 A CN2012104182527 A CN 2012104182527A CN 201210418252 A CN201210418252 A CN 201210418252A CN 102930252 A CN102930252 A CN 102930252A
Authority
CN
China
Prior art keywords
head movement
blinkpunkt
pupil
image
static
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012104182527A
Other languages
English (en)
Other versions
CN102930252B (zh
Inventor
秦华标
黄若浩
严伟洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG BETTER TECHNOLOGY Co Ltd
Original Assignee
GUANGDONG BETTER TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG BETTER TECHNOLOGY Co Ltd filed Critical GUANGDONG BETTER TECHNOLOGY Co Ltd
Priority to CN201210418252.7A priority Critical patent/CN102930252B/zh
Publication of CN102930252A publication Critical patent/CN102930252A/zh
Application granted granted Critical
Publication of CN102930252B publication Critical patent/CN102930252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经网络头部运动补偿的视线跟踪方法,首先在显示屏两个侧边的中点处分别放置两个红外光源,两个红外光源经人眼角膜反射后在人眼角膜表面上形成亮点图像,并使瞳孔图像出现暗瞳效应,所述方法具体包含如下步骤:注视点静态标定;头部运动补偿;通过静态映射模型和头部运动补偿模型组成动态人眼注视点匹配模型,以计算注视点。本发明所提供的方案对硬件要求低,只需一个普通的摄像头和两个红外光源,改变了3维跟踪方法需要多个摄像头的限制,大大降低了系统的复杂性及所需的计算量,提高了视线跟踪的实时性;另外,允许头部运动,只需一次标定即可直接使用,无需反复标定,解决了2维标定方法的主要缺陷。

Description

一种基于神经网络头部运动补偿的视线跟踪方法
技术领域
本发明属于图像处理和模式识别技术领域,具体的涉及到一种基于神经网络头部运动补偿的视线跟踪方法。
背景技术
人类的信息加工在很大程度上依赖于视觉,来自外界约80%以上的信息是通过眼睛获得的,所以,通过对人眼注视点的跟踪能够获得人类对外部信息的感知及意图,并将其运用在各个领域当中,发挥积极有效的作用。例举来说,视线跟踪技术在新一代人机交互、军事军备开发、汽车飞机驾驶、航空航天、体育运动、残疾人辅助、虚拟现实和游戏等领域有着广泛的应用前景,对提高残疾人生活和自理水平,构建和谐社会,提高我国人机交互、无人驾驶等高新技术领域的自主创新能力有着极大的现实意义。
而现有视线跟踪方法主要分为眼电图法、接触镜/电磁线圈法、POG/VOG法及瞳孔—角膜反射法四种。其中瞳孔—角膜反射法具有较高的精度,其利用近红外光源通过眼睛角膜反射形成高亮斑点作为参考点,利用瞳孔与光斑的位置信息确定注视点坐标,同时由于红外波长处于视网膜的敏感范围之外,所以不会对视网膜成像造成影响,具有安全可靠、无干扰等优点,相比另外几种方法应用效果及综合评定更佳,因此,瞳孔—角膜反射法也成为视线跟踪方法的主流。瞳孔—角膜反射法可划分为3维跟踪方法和2维跟踪方法。3维跟踪方法对硬件的要求较高,通常需要两个甚至两个以上具有非常高的像素的摄像头和多个红外光源,通过求出眼球中心和瞳孔中心的3维坐标来进行视线的定位。所以,3维的视线跟踪技术存在架构复杂、建模困难、实时性差等缺陷。相对的,2维跟踪方法通过确定映射函数来定位眼睛注视点,相比3维跟踪方法更易实现,应用也更广泛,但是它也存在两个主要的缺点:1、对头部运动敏感,当头部发生运动时定位的精度会急速下降;2,每次使用前都必须进行标定过程,所以也非常的不便,不利于更广泛的应用于实际当中。
发明内容
本发明的目的在于克服现有技术的上述不足,提供了一种非接触式、准确且快速的基于神经网络头部运动补偿的视线跟踪方法,该方法对硬件要求低,只需一个普通的摄像头和两个红外光源,避免了3维跟踪方法需要多个摄像头的限制,大大降低了系统的复杂性及所需的计算量,提高了视线跟踪的实时性;另外,允许头部运动,只需一次标定即可直接使用,无需反复标定,解决了2维标定方法的主要缺陷。
具体的,本发明通过以下技术方案实现:
一种基于神经网络头部运动补偿的视线跟踪方法,首先在显示屏两个侧边的中点处分别放置两个红外光源,两个红外光源经人眼角膜反射后在人眼角膜表面上形成亮点图像,并使瞳孔图像出现暗瞳效应,而所述方法具体包含如下3个步骤 。
一、注视点静态标定
头部保持静止,眼睛依次注视预设在显示屏上的标定点,在由摄像头获取的暗瞳图像中提取代表视线点变化的眼睛特征信息,再利用获取的眼睛特征信息和对应标定点的信息建立静态映射模型。
所述的标定点数量为9个,且在显示屏上呈3X3对称分布。
所述的眼睛特征信息为摄像头获取的暗瞳图像中瞳孔中心到两个红外光源连线中心的向量。进一步,提取代表视线点变化的眼睛特征信息的过程包含以下5个步骤:
1)图像预处理
a.彩色图像灰度化
公式如下:
上式中V表示转换后的灰度值,R,G,B分别为摄像头采集图像中的红、绿、蓝分量。
b.去噪声处理预处理
采用高斯滤波器对图像平滑预处理,公式如下:
所使用的对应高斯滤波器的离散近似模板(δ=1.4),如下所示:
2)定位人眼区域
利用Modesto Castrillón训练得到的右眼分类器对图像进行人眼定位,首先截取整幅图像中所有60×60的子窗口, 每个子窗口依次通过级联分类器,逐级淘汰非人脸子窗口;其中,当有多个通过全部级联分类器的子窗口时,对3个待选人脸子窗口进行相邻子窗口合并,选出最佳人脸子窗口,当没检测到符合要求的子窗口时,令子窗口大小以1.2倍每次进行递增,重新通过级联分类器进行检测,直至检测到符合要求的子窗口。
3)定位瞳孔获得瞳孔信息
a.采用canny边缘检测算法获取瞳孔的边缘信息;
b.采用椭圆曲线拟合瞳孔边缘点。
对所提取的瞳孔边缘点集合进行椭圆方程的最小二乘法拟合,然后确定瞳孔中心位置。
其中,椭圆方程取为:
利用最小二乘法求取A、B、C、D、E的参数值。
按如下公式得到椭圆中心坐标(X0,Y0):
Figure BDA0000231491806
,其中(X0,Y0)即为瞳孔中心位置。
4)定位斑点,获取斑点信息
a.二值化眼睛区域获得斑点图像
通过阈值处理,获取二值化斑点图像,根据二值化后的斑点图像与瞳孔中心之间的距离筛选出真正的斑点轮廓集合,距离瞳孔中心最近的两个斑点即为真正的斑点轮廓集合。
b.采用椭圆曲线拟合斑点轮廓
分别获取所述两个斑点的中心坐标,得到这两个斑点中点连接线的中点坐标(Xc,Yc)及两个斑点中点间的欧式距离D。
5)特征信息
获取由瞳孔中心(X0,Y0)指向(Xc,Yc)的向量V,向量V即代表眼睛特征信息。
另外,所述的建立静态映射模型的过程包含以下2个步骤:
1)用于建立静态映射模型的映射函数为二次多项式:
其中,Sx表示注视点在屏幕坐标系下的横坐标,Sy表示注视点在屏幕坐标系下的纵坐标,x代表眼睛特征信息(向量V)在图像坐标系中的x轴分量,y代表眼睛特征信息(向量V)在图像坐标系中的y轴分量,a0~a5和b0~b5均是待标定的系数。
2)计算映射函数的系数
利用预设在显示屏上的标定点的坐标信息,及标定点所对应的眼睛特征信息(向量V),采用最小二乘法求出映射函数待标定的的系数。
二、头部运动补偿
在静态映射模型建立后,利用BP神经网络训练头部运动补偿模型,具体如下。
1)静态标定过程后,头部自由运动,眼睛再次注视标定点,获取代表头部运动的特征信息及利用静态映射模型估算出的注视点与标定点的偏离,将获取的数据作为训练数据,其中,代表头部运动的特征信息具体包括:a.眼睛特征信息(向量V)的X轴分量和Y轴分量,b. 瞳孔的长短轴长度,c.拟合瞳孔的椭圆倾斜度,d.两个斑点中点连接线的中点(Xc,Yc)的X分量和Y轴分量,e.两个红外反射斑点中点的欧氏距离D。另外,所述偏离是指注视点坐标与标定点坐标在屏幕上的水平偏差和垂直偏差。
所述的瞳孔的长短轴长度和拟合瞳孔的椭圆倾斜度的提取方法具体为:
对提取的瞳孔边缘点集合进行椭圆方程拟合,然后确定获取椭圆的长轴a,短轴b,以及椭圆的倾斜率θ,椭圆方程取为:
利用最小二乘法求取A、B、C、D、E参数值,
椭圆的长轴a,计算如下:
;
椭圆的短轴b,计算如下:
;
椭圆的倾斜率θ,计算如下:
2)采用三层的BP神经网络训练头部运动补偿模型,输入层的输入数据即为头部运动特征信息,输出层的输出数据为注视点匹配模型中所述注视点偏离。
具体的,获得眼睛注视标定点时的眼动特征后,利用静态映射模型计算静态注视点屏幕坐标,获得静态注视点坐标与标定点坐标在屏幕上的水平偏差和垂直偏差。
采用三层的BP神经网络训练头部运动补偿模型,输入层的输入数据即为头部移动外观特征,输出层的输出数据为注视点偏离;其中,训练头部运动补偿模型时,水平偏差补偿模型和垂直偏差补偿模型分开训练,两个神经网络的输入层节点数为8,输入的数据为8个头部位置的外观特征,输出层节点为1,分别是水平偏差和垂直偏差。
如训练时在输出层没有预期效果时,依据逐层递归计算实际输出与期望输出间的误差来修正权值,最后如果误差小于误差上限,则训练算法结束,得到头部移动补偿模型。
三、通过静态映射模型和头部运动补偿模型组成动态人眼注视点匹配模型,以计算眼睛的注视点,具体包括如下3个步骤:
1)提取特征信息,利用静态映射模型计算静态注视点.;
2)提取头部运动特征信息,利用头部运动补偿模型计算注视点偏离;
3)静态注视点和注视点偏离相加产生最终的注视点。
本发明的优点与积极效果在于:
1.对硬件要求低,只需用到一个常规的摄像头和两个红外光源,避免了3维跟踪方法需要多个摄像头的限制,大大降低了系统的复杂性及所需的计算量,也降低了成本,且用户无需佩戴任何设备,对用户无干扰;
2.利用神经网络在静态标定完成后对头部运动进行补偿,允许头部运动,所以用户不需要一直保持头部静止或者利用额外的设备来保持头部静止,避免了疲劳,也提高了灵活性;
3.只需在初次使用前进行标定行为,一旦标定完成后,再次使用时可以直接使用而无需重复标定,极大地简化了用户使用的复杂性,解决了2维标定方法的主要缺陷。
附图说明
图1是本发明一具体实施例中显示屏、红外光源与摄像头的布置示意图;
图2是本发明一具体实施例中视线跟踪方法的流程示意图;
图3是本发明一具体实施例中三层BP神经网络训练结构图;
图4是本发明一具体实施例中动态注视点构成图。
具体实施方式
下面结合实施例及附图,对本发明作进一步的详细说明,但本发明的实施方式不限于此。
如图1~图4所示为可作为本发明较佳实施例的一种基于神经网络头部运动补偿的视线跟踪方法,首先如图1所示,在显示屏两个侧边的中点处分别放置两个红外光源,两个红外光源经人眼角膜反射后在人眼角膜表面上形成亮点图像,并使瞳孔图像出现暗瞳效应,所述方法具体包含如下3个步骤 。
一、注视点静态标定
头部保持静止,眼睛依次注视预设在显示屏上的标定点,在由摄像头获取的暗瞳图像中提取代表视线点变化的眼睛特征信息,再利用获取的眼睛特征信息和对应标定点的信息建立静态映射模型。
所述的标定点数量为9个,且在屏幕上呈3X3对称分布;而根据不同的需要,标定点的数量及分布可以产生相应的变化。
所述的眼睛特征信息为摄像头获取的暗瞳图像中瞳孔中心到两个红外光源连线中心的向量。进一步,提取代表视线点变化的眼睛特征信息的过程包含以下5个步骤:
1)图像预处理
a.彩色图像灰度化,本发明方法只需要灰度图像,而摄像头采集的数字图像为具有R,G,B分量的彩色图片,故需将彩色图像灰度化,
公式如下:
上式中V表示转换后的灰度值,R,G,B分别为摄像头采集图像中的红、绿、蓝分量。
b.去噪声处理预处理
高斯滤波器是根据高斯函数选择权值的线性滤波器,能有效去除正态分布噪声,所以采用高斯滤波器对图像平滑预处理,公式如下:
所使用的对应高斯滤波器的离散近似模板(δ=1.4),如下所示:
2)定位人眼区域
利用Modesto Castrillón训练得到的右眼分类器对图像进行人眼定位,首先截取整幅图像中所有60×60的子窗口, 每个子窗口依次通过级联分类器,逐级淘汰非人脸子窗口;其中,当有多个通过全部级联分类器的子窗口时,对3个待选人脸子窗口进行相邻子窗口合并,选出最佳人脸子窗口,当没检测到符合要求的子窗口时,令子窗口大小以1.2倍每次进行递增,重新通过级联分类器进行检测,直至检测到符合要求的子窗口。
3)定位瞳孔获得瞳孔信息
a.采用canny边缘检测算法获取瞳孔的边缘信息;
b.采用椭圆曲线拟合瞳孔边缘点。
对所提取的瞳孔边缘点集合进行椭圆方程的最小二乘法拟合,然后确定瞳孔中心位置。
其中,椭圆方程取为:
利用最小二乘法求取A、B、C、D、E的参数值。
按如下公式得到椭圆中心坐标(X0,Y0):
Figure BDA00002314918017
,其中(X0,Y0)即为瞳孔中心位置。
4)定位斑点,获取斑点信息
a.二值化眼睛区域获得斑点图像
由于斑点图像是一个高亮的块,通过阈值处理,获取二值化斑点图像,根据二值化后的斑点图像与瞳孔中心之间的距离筛选出真正的斑点轮廓集合,距离瞳孔中心最近的两个斑点即为真正的斑点轮廓集合。
b.采用椭圆曲线拟合斑点轮廓
分别获取所述两个斑点的中心坐标,得到这两个斑点中点连接线的中点坐标(Xc,Yc)及两个斑点中点间的欧式距离D。
5)特征信息
获取由瞳孔中心(X0,Y0)指向(Xc,Yc)的向量V。
另外,所述的建立静态映射模型的过程包含以下2个步骤:
1)用于建立静态映射模型的映射函数为二次多项式:
其中,Sx表示注视点在屏幕坐标系下的横坐标,Sy表示注视点在屏幕坐标系下的纵坐标,x代表眼睛特征信息(向量V)在图像坐标系中的x轴分量,y代表特征信息(向量V)在图像坐标系中的y轴分量,a0~a5和b0~b5均是待标定的系数。
2)计算映射函数的系数
利用预设在显示屏上的标定点的坐标信息,及标定点所对应的眼睛特征信息(向量V),采用最小二乘法求出映射函数待标定的的系数。
二、头部运动补偿
在静态映射模型建立后,利用如图3所示的BP神经网络训练头部运动补偿模型,具体如下。
3)静态标定过程后,头部自由运动,眼睛再次注视标定点,获取代表头部运动的特征信息及利用静态映射模型估算出的注视点与标定点的偏离,将获取的数据作为训练数据。
头部运动主要体现为:垂直于图像平面的运动;垂直于摄像机光轴方向的运动;头部左、右旋运动;抬头、低头运动;头倾斜运动。从本质上说,各种头部运动在视线跟踪算法上体现为眼睛的位移运动和旋转运动,因此在头部运动补偿模型中,提取头部运动特征信息时只需提取人眼部分图像运动特征信息,具体包括:a.眼睛特征信息(向量V)的X轴分量和Y轴分量;b. 瞳孔的长短轴长度;c.拟合瞳孔的椭圆倾斜度;d.两个红外反射斑点中点连接线的中点(Xc,Yc)的X分量和Y轴分量;e.两个红外反射斑点中点的欧氏距离D;另外,所述偏离是指注视点坐标与标定点坐标在屏幕上的水平偏差和垂直偏差。
所述的瞳孔的长短轴长度和拟合瞳孔的椭圆倾斜度的提取方法具体为:
对提取的瞳孔边缘点集合进行椭圆方程拟合,然后确定获取椭圆的长轴a,短轴b,以及椭圆的倾斜率θ,椭圆方程取为:
利用最小二乘法求取A、B、C、D、E参数值,
椭圆的长轴a,计算如下:
;
椭圆的短轴b,计算如下:
;
椭圆的倾斜率θ,计算如下:
4)采用三层的BP神经网络训练头部运动补偿模型,输入层的输入数据即为头部运动特征信息,输出层的输出数据为注视点匹配模型中所述注视点偏离。
具体的,获得眼睛注视标定点时的眼动特征后,利用静态映射模型计算静态注视点屏幕坐标,获得静态注视点坐标与标定点坐标在屏幕上的水平偏差和垂直偏差。
采用如图3所示的三层的BP神经网络训练头部运动补偿模型,输入层的输入数据即为头部移动外观特征,输出层的输出数据为注视点偏离;其中,训练头部运动补偿模型时,水平偏差补偿模型和垂直偏差补偿模型分开训练,两个神经网络的输入层节点数为8,输入的数据为8个头部位置的外观特征,输出层节点为1,分别是水平偏差和垂直偏差。
如训练时在输出层没有预期效果时,依据逐层递归计算实际输出与期望输出间的误差来修正权值,最后如果误差小于误差上限,则训练算法结束,得到头部移动补偿模型。
三、通过静态映射模型和头部运动补偿模型组成动态人眼注视点匹配模型,以计算眼睛的注视点,具体包括如下3个步骤:
1)提取特征信息,利用静态映射模型计算静态注视点.;
2)提取头部运动特征信息,利用头部运动补偿模型计算注视点偏离;
3)静态注视点和注视点偏离相加产生最终的注视点。
当静态注视点模型和基于BP神经网络的头部移动补偿模型建立后,便可以在匹配过程中实现静态注视点模型注视点计算坐标与头部移动补偿计算的偏移量的叠加:
式中(Sx,Sy)为静态注视点模型的估算点,(Tx,Ty)为头部移动补偿模型的估算偏离度。

Claims (9)

1.一种基于神经网络头部运动补偿的视线跟踪方法,其特征在于在显示屏两个侧边的中点处分别放置两个红外光源,两个红外光源经人眼角膜反射后在人眼角膜表面上形成亮点图像,并使瞳孔图像出现暗瞳效应,其中,所述方法包含如下步骤 :
(1)注视点静态标定:头部保持静止,眼睛依次注视预设在显示屏上的标定点,在由摄像头获取的暗瞳图像中提取代表视线点变化的眼睛特征信息,再利用获取的眼睛特征信息和对应标定点的信息建立静态映射模型;
(2)头部运动补偿:在静态映射模型建立后,利用BP神经网络训练头部运动补偿模型;
(3)通过静态映射模型和头部运动补偿模型组成动态人眼注视点匹配模型,以计算眼睛的注视点。
2.根据权利要求1所述的基于神经网络头部运动补偿的视线跟踪方法,其特征在于步骤1中所述的标定点数量为9个,且在显示屏上呈3X3对称分布。
3.根据权利要求1所述的基于神经网络头部运动补偿的视线跟踪方法,其特征在于步骤1中所述的眼睛特征信息为摄像头获取的暗瞳图像中瞳孔中心到两个红外光源连线中心的向量。
4.根据权利要求3所述的基于神经网络头部运动补偿的视线跟踪方法,其特征在于步骤1中所述的提取代表视线点变化的眼睛特征信息的过程为:
1)图像预处理
a.彩色图像灰度化
公式如下:
Figure FDA0000231491791
上式中V表示转换后的灰度值,R,G,B分别为摄像头采集图像中的红、绿、蓝分量;
b.去噪声处理预处理
采用高斯滤波器对图像平滑预处理,公式如下:
Figure FDA0000231491792
所使用的对应高斯滤波器的离散近似模板如下所示,其中δ=1.4:
Figure FDA0000231491793
2)定位人眼区域
利用Modesto Castrillón训练得到的右眼分类器对图像进行人眼定位,首先截取整幅图像中所有60×60的子窗口, 每个子窗口依次通过级联分类器,逐级淘汰非人脸子窗口;其中,当有多个通过全部级联分类器的子窗口时,对3个待选人脸子窗口进行相邻子窗口合并,选出最佳人脸子窗口;当没检测到符合要求的子窗口时,令子窗口大小以1.2倍每次进行递增,重新通过级联分类器进行检测,直至检测到符合要求的子窗口;
3)定位瞳孔获得瞳孔信息
a.采用canny边缘检测算法获取瞳孔的边缘信息;
b.采用椭圆曲线拟合瞳孔边缘点;
对所提取的瞳孔边缘点集合进行椭圆方程的最小二乘法拟合,然后确定瞳孔中心位置,
其中,椭圆方程取为:
Figure FDA0000231491794
利用最小二乘法求取A、B、C、D、E的参数值,
按如下公式得到椭圆中心坐标(X0,Y0):
Figure FDA0000231491795
其中(X0,Y0)即为瞳孔中心位置;
4)定位斑点,获取斑点信息
a.二值化眼睛区域获得斑点图像
通过阈值处理,获取二值化斑点图像,根据二值化后的斑点图像与瞳孔中心之间的距离筛选出真正的斑点轮廓集合,其中,距离瞳孔中心最近的两个斑点即为真正的斑点轮廓集合;
b.采用椭圆曲线拟合斑点轮廓
分别获取所述两个斑点的中心坐标,得到这两个斑点中点连接线的中点坐标(Xc,Yc)及两个斑点中点间的欧式距离D ;
5)特征信息
获取由瞳孔中心(X0,Y0)指向(Xc,Yc)的向量V,向量V即为眼睛特征信息。
5.根据权利要求1所述的基于神经网络头部运动补偿的视线跟踪方法,其特征在于步骤1中所述的建立静态映射模型的过程为:
1)用于建立静态映射模型的映射函数为二次多项式:
Figure FDA0000231491797
其中,Sx表示注视点在屏幕坐标系下的横坐标,Sy表示注视点在屏幕坐标系下的纵坐标,x代表眼睛特征信息在图像坐标系中的x轴分量,y代表眼睛特征信息在图像坐标系中的y轴分量,a0~a5和b0~b5均是待标定的系数;
2)计算映射函数的系数
利用预设在显示屏上的标定点的坐标信息,及标定点所对应的眼睛特征信息,采用最小二乘法求出映射函数待标定的的系数。
6.根据权利要求1或5所述的基于神经网络头部运动补偿的视线跟踪方法,其特征在于所述的步骤2具体包括如下步骤:
1)静态标定过程后,头部自由运动,眼睛再次注视标定点,获取代表头部运动的特征信息及利用静态映射模型估算出的注视点与标定点的偏离,将获取的数据作为训练数据,其中,代表头部运动的特征信息具体包括:a.眼睛特征信息的X轴分量和Y轴分量;b. 瞳孔的长短轴长度;c.拟合瞳孔的椭圆倾斜度;d.两个斑点中点连接线的中点(Xc,Yc)的X分量和Y轴分量;e.两个斑点中点间的欧氏距离D;另外,所述偏离是指注视点坐标与标定点坐标在屏幕上的水平偏差和垂直偏差;
2)采用三层的BP神经网络训练头部运动补偿模型,输入层的输入数据即为头部运动特征信息,输出层的输出数据为注视点匹配模型中所述的注视点偏离。
7.根据权利要求6所述的基于神经网络头部运动补偿的视线跟踪方法,其特征在于步骤1中所述的瞳孔的长短轴长度和拟合瞳孔的椭圆倾斜度的提取方法具体为:
对提取的瞳孔边缘点集合进行椭圆方程拟合,然后确定获取椭圆的长轴a、短轴b以及椭圆的倾斜率θ,椭圆方程取为:
Figure FDA0000231491798
利用最小二乘法求取A、B、C、D、E参数值,
椭圆的长轴a,计算如下:
Figure FDA0000231491799
椭圆的短轴b,计算如下:
椭圆的倾斜率θ,计算如下:
Figure FDA00002314917911
8.根据权利要求6所述的基于神经网络头部运动补偿的视线跟踪方法,其特征在于所述的的步骤2中:
获得眼睛注视标定点时的眼动特征后,利用静态映射模型计算静态注视点屏幕坐标,获得静态注视点坐标与标定点坐标在屏幕上的水平偏差和垂直偏差;
采用三层的BP神经网络训练头部运动补偿模型,输入层的输入数据即为头部移动外观特征,输出层的输出数据为注视点偏离;其中,训练头部运动补偿模型时,水平偏差补偿模型和垂直偏差补偿模型分开训练,两个神经网络的输入层节点数为8,输入的数据为8个头部位置的外观特征,输出层节点为1,分别是水平偏差和垂直偏差;
如训练时在输出层没有预期效果时,依据逐层递归计算实际输出与期望输出间的误差来修正权值,最后,当误差小于误差上限时,则训练算法结束,得到头部移动补偿模型。
9.根据权利要求1所述的基于神经网络头部运动补偿的视线跟踪方法,其特征在于所述的步骤3具体包括如下步骤:
1)提取特征信息,利用静态映射模型计算静态注视点.;
2)提取头部运动特征信息,利用头部运动补偿模型计算注视点偏离;
3)静态注视点和注视点偏离相加产生最终的注视点。
CN201210418252.7A 2012-10-26 2012-10-26 一种基于神经网络头部运动补偿的视线跟踪方法 Active CN102930252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210418252.7A CN102930252B (zh) 2012-10-26 2012-10-26 一种基于神经网络头部运动补偿的视线跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210418252.7A CN102930252B (zh) 2012-10-26 2012-10-26 一种基于神经网络头部运动补偿的视线跟踪方法

Publications (2)

Publication Number Publication Date
CN102930252A true CN102930252A (zh) 2013-02-13
CN102930252B CN102930252B (zh) 2016-05-11

Family

ID=47645049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210418252.7A Active CN102930252B (zh) 2012-10-26 2012-10-26 一种基于神经网络头部运动补偿的视线跟踪方法

Country Status (1)

Country Link
CN (1) CN102930252B (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336580A (zh) * 2013-07-16 2013-10-02 卫荣杰 一种头戴装置的光标控制方法
CN103356163A (zh) * 2013-07-08 2013-10-23 东北电力大学 基于视频图像和人工神经网络的凝视点测量装置及其方法
CN103886367A (zh) * 2014-03-18 2014-06-25 北京工业大学 一种仿生智能控制方法
CN103885589A (zh) * 2014-03-06 2014-06-25 华为技术有限公司 眼动追踪方法及装置
CN105278659A (zh) * 2014-06-18 2016-01-27 中国电信股份有限公司 基于视线追踪技术的目标定位方法和装置
CN106778641A (zh) * 2016-12-23 2017-05-31 北京七鑫易维信息技术有限公司 视线估计方法及装置
CN106774993A (zh) * 2016-12-16 2017-05-31 深圳市虚拟现实技术有限公司 基于神经网络的特征点识别方法
CN107357429A (zh) * 2017-07-10 2017-11-17 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
CN107589849A (zh) * 2017-09-26 2018-01-16 杭州上手科技有限公司 一种演示文稿快速输入方法
CN108229284A (zh) * 2017-05-26 2018-06-29 北京市商汤科技开发有限公司 视线追踪及训练方法和装置、系统、电子设备和存储介质
CN108595008A (zh) * 2018-04-27 2018-09-28 北京计算机技术及应用研究所 基于眼动控制的人机交互方法
CN108681403A (zh) * 2018-05-18 2018-10-19 吉林大学 一种采用视线跟踪的小车控制方法
CN108898572A (zh) * 2018-04-19 2018-11-27 北京七鑫易维信息技术有限公司 光斑提取方法
CN108921143A (zh) * 2018-08-22 2018-11-30 北京慕华信息科技有限公司 一种面部仪态的评估方法及装置
CN108985172A (zh) * 2018-06-15 2018-12-11 北京七鑫易维信息技术有限公司 一种基于结构光的视线追踪方法、装置、设备及存储介质
CN109313490A (zh) * 2016-06-28 2019-02-05 谷歌有限责任公司 使用神经网络的眼睛注视跟踪
CN109766818A (zh) * 2019-01-04 2019-05-17 京东方科技集团股份有限公司 瞳孔中心定位方法及系统、计算机设备及可读存储介质
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN110147163A (zh) * 2019-05-20 2019-08-20 浙江工业大学 面向移动设备的多模型融合驱动的眼动跟踪方法和系统
CN110209277A (zh) * 2019-05-29 2019-09-06 华南理工大学 一种仅基于瞳孔特征的头戴式视线跟踪方法
CN110414427A (zh) * 2019-07-26 2019-11-05 Oppo广东移动通信有限公司 基于眼球追踪的测光方法及相关产品
CN110428470A (zh) * 2019-06-18 2019-11-08 中国人民解放军军事科学院国防科技创新研究院 一种基于脑电辅助的增强现实眼镜眼动交互自标定方法
CN110572632A (zh) * 2019-08-15 2019-12-13 中国人民解放军军事科学院国防科技创新研究院 一种基于视线跟踪的增强现实显示系统、头盔和方法
CN110780739A (zh) * 2019-10-18 2020-02-11 天津理工大学 基于注视点估计的眼控辅助输入方法
CN110807427A (zh) * 2019-11-05 2020-02-18 中航华东光电(上海)有限公司 一种视线追踪方法、装置、计算机设备和存储介质
CN111528788A (zh) * 2020-05-27 2020-08-14 温州医科大学 一种评价视觉疲劳程度的便携式检测仪器
US10846877B2 (en) 2016-06-28 2020-11-24 Google Llc Eye gaze tracking using neural networks
CN112843478A (zh) * 2021-02-02 2021-05-28 深圳市康宁医院(深圳市精神卫生研究所、深圳市精神卫生中心) 一种经颅磁刺激治疗装置
CN113359975A (zh) * 2021-05-19 2021-09-07 杭州小派智能科技有限公司 一种基于眼动交互技术的医护方法、系统和电子设备
CN113419623A (zh) * 2021-05-27 2021-09-21 中国人民解放军军事科学院国防科技创新研究院 一种非标定眼动交互方法和装置
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN116524581A (zh) * 2023-07-05 2023-08-01 南昌虚拟现实研究院股份有限公司 一种人眼图像光斑分类方法、系统、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106066696B (zh) * 2016-06-08 2019-05-14 华南理工大学 自然光下基于投影映射校正和注视点补偿的视线跟踪方法
CN110263745B (zh) * 2019-06-26 2021-09-07 京东方科技集团股份有限公司 一种人眼瞳孔定位的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576771A (zh) * 2009-03-24 2009-11-11 山东大学 基于非均匀样本插值的眼动仪定标方法
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576771A (zh) * 2009-03-24 2009-11-11 山东大学 基于非均匀样本插值的眼动仪定标方法
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103356163A (zh) * 2013-07-08 2013-10-23 东北电力大学 基于视频图像和人工神经网络的凝视点测量装置及其方法
CN103356163B (zh) * 2013-07-08 2016-03-30 东北电力大学 基于视频图像和人工神经网络的凝视点测量装置及其方法
CN103336580B (zh) * 2013-07-16 2016-08-24 卫荣杰 一种头戴装置的光标控制方法
CN103336580A (zh) * 2013-07-16 2013-10-02 卫荣杰 一种头戴装置的光标控制方法
CN103885589A (zh) * 2014-03-06 2014-06-25 华为技术有限公司 眼动追踪方法及装置
CN103885589B (zh) * 2014-03-06 2017-01-25 华为技术有限公司 眼动追踪方法及装置
CN103886367B (zh) * 2014-03-18 2016-08-17 北京工业大学 一种仿生智能控制方法
CN103886367A (zh) * 2014-03-18 2014-06-25 北京工业大学 一种仿生智能控制方法
CN105278659B (zh) * 2014-06-18 2018-09-14 中国电信股份有限公司 基于视线追踪技术的目标定位方法和装置
CN105278659A (zh) * 2014-06-18 2016-01-27 中国电信股份有限公司 基于视线追踪技术的目标定位方法和装置
US10846877B2 (en) 2016-06-28 2020-11-24 Google Llc Eye gaze tracking using neural networks
CN109313490B (zh) * 2016-06-28 2020-10-02 谷歌有限责任公司 使用神经网络的眼睛注视跟踪
US11551377B2 (en) 2016-06-28 2023-01-10 Google Llc Eye gaze tracking using neural networks
CN109313490A (zh) * 2016-06-28 2019-02-05 谷歌有限责任公司 使用神经网络的眼睛注视跟踪
CN106774993A (zh) * 2016-12-16 2017-05-31 深圳市虚拟现实技术有限公司 基于神经网络的特征点识别方法
CN106778641A (zh) * 2016-12-23 2017-05-31 北京七鑫易维信息技术有限公司 视线估计方法及装置
CN108229284B (zh) * 2017-05-26 2021-04-09 北京市商汤科技开发有限公司 视线追踪及训练方法和装置、系统、电子设备和存储介质
CN108229284A (zh) * 2017-05-26 2018-06-29 北京市商汤科技开发有限公司 视线追踪及训练方法和装置、系统、电子设备和存储介质
CN107357429A (zh) * 2017-07-10 2017-11-17 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
US11294455B2 (en) 2017-07-10 2022-04-05 Beijing Boe Optoelectronics Technology Co., Ltd. Method and device for determining gaze placement, computer readable storage medium
CN107357429B (zh) * 2017-07-10 2020-04-07 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
CN107589849A (zh) * 2017-09-26 2018-01-16 杭州上手科技有限公司 一种演示文稿快速输入方法
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11340461B2 (en) 2018-02-09 2022-05-24 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2019201337A1 (zh) * 2018-04-19 2019-10-24 北京七鑫易维信息技术有限公司 光斑提取方法
TWI701940B (zh) * 2018-04-19 2020-08-11 大陸商北京七鑫易維信息技術有限公司 光斑提取方法
CN108898572A (zh) * 2018-04-19 2018-11-27 北京七鑫易维信息技术有限公司 光斑提取方法
CN108595008B (zh) * 2018-04-27 2022-02-08 北京计算机技术及应用研究所 基于眼动控制的人机交互方法
CN108595008A (zh) * 2018-04-27 2018-09-28 北京计算机技术及应用研究所 基于眼动控制的人机交互方法
CN108681403A (zh) * 2018-05-18 2018-10-19 吉林大学 一种采用视线跟踪的小车控制方法
CN108985172A (zh) * 2018-06-15 2018-12-11 北京七鑫易维信息技术有限公司 一种基于结构光的视线追踪方法、装置、设备及存储介质
CN108921143A (zh) * 2018-08-22 2018-11-30 北京慕华信息科技有限公司 一种面部仪态的评估方法及装置
CN109766818A (zh) * 2019-01-04 2019-05-17 京东方科技集团股份有限公司 瞳孔中心定位方法及系统、计算机设备及可读存储介质
CN109766818B (zh) * 2019-01-04 2021-01-26 京东方科技集团股份有限公司 瞳孔中心定位方法及系统、计算机设备及可读存储介质
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN110147163B (zh) * 2019-05-20 2022-06-21 浙江工业大学 面向移动设备的多模型融合驱动的眼动跟踪方法和系统
CN110147163A (zh) * 2019-05-20 2019-08-20 浙江工业大学 面向移动设备的多模型融合驱动的眼动跟踪方法和系统
CN110209277B (zh) * 2019-05-29 2021-09-21 华南理工大学 一种仅基于瞳孔特征的头戴式视线跟踪方法
CN110209277A (zh) * 2019-05-29 2019-09-06 华南理工大学 一种仅基于瞳孔特征的头戴式视线跟踪方法
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN110428470B (zh) * 2019-06-18 2021-12-03 中国人民解放军军事科学院国防科技创新研究院 一种基于脑电辅助的增强现实眼镜眼动交互自标定方法
CN110428470A (zh) * 2019-06-18 2019-11-08 中国人民解放军军事科学院国防科技创新研究院 一种基于脑电辅助的增强现实眼镜眼动交互自标定方法
CN110414427A (zh) * 2019-07-26 2019-11-05 Oppo广东移动通信有限公司 基于眼球追踪的测光方法及相关产品
CN110572632A (zh) * 2019-08-15 2019-12-13 中国人民解放军军事科学院国防科技创新研究院 一种基于视线跟踪的增强现实显示系统、头盔和方法
CN110780739B (zh) * 2019-10-18 2023-11-03 天津理工大学 基于注视点估计的眼控辅助输入方法
CN110780739A (zh) * 2019-10-18 2020-02-11 天津理工大学 基于注视点估计的眼控辅助输入方法
CN110807427B (zh) * 2019-11-05 2024-03-01 中航华东光电(上海)有限公司 一种视线追踪方法、装置、计算机设备和存储介质
CN110807427A (zh) * 2019-11-05 2020-02-18 中航华东光电(上海)有限公司 一种视线追踪方法、装置、计算机设备和存储介质
CN111528788A (zh) * 2020-05-27 2020-08-14 温州医科大学 一种评价视觉疲劳程度的便携式检测仪器
CN112843478A (zh) * 2021-02-02 2021-05-28 深圳市康宁医院(深圳市精神卫生研究所、深圳市精神卫生中心) 一种经颅磁刺激治疗装置
CN113359975A (zh) * 2021-05-19 2021-09-07 杭州小派智能科技有限公司 一种基于眼动交互技术的医护方法、系统和电子设备
CN113419623A (zh) * 2021-05-27 2021-09-21 中国人民解放军军事科学院国防科技创新研究院 一种非标定眼动交互方法和装置
CN116524581A (zh) * 2023-07-05 2023-08-01 南昌虚拟现实研究院股份有限公司 一种人眼图像光斑分类方法、系统、设备及存储介质
CN116524581B (zh) * 2023-07-05 2023-09-12 南昌虚拟现实研究院股份有限公司 一种人眼图像光斑分类方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN102930252B (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
CN102930252A (zh) 一种基于神经网络头部运动补偿的视线跟踪方法
CN111414798B (zh) 基于rgb-d图像的头部姿态检测方法及系统
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
CN106355570B (zh) 一种结合深度特征的双目立体视觉匹配方法
CN106066696B (zh) 自然光下基于投影映射校正和注视点补偿的视线跟踪方法
CN107004275B (zh) 确定实物至少一部分的3d重构件空间坐标的方法和系统
CN102520796B (zh) 一种基于逐步回归分析映射模型的视线跟踪方法
CN106056092A (zh) 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN102830793A (zh) 视线跟踪方法和设备
Fuhl et al. Fast camera focus estimation for gaze-based focus control
US8165347B2 (en) Visual tracking eye glasses in visual head and eye tracking systems
CN101819628B (zh) 结合形状特征的稀疏表示人脸识别方法
CN103366157B (zh) 一种人眼视线距离的判断方法
CN101499128A (zh) 基于视频流的三维人脸动作检测和跟踪方法
CN105094337A (zh) 一种基于虹膜和瞳孔的三维视线估计方法
CN103914699A (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
CN105138965A (zh) 一种近眼式视线跟踪方法及其系统
KR20100094560A (ko) 얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램
CN103761519A (zh) 一种基于自适应校准的非接触式视线追踪方法
CN101968846A (zh) 一种人脸跟踪方法
CN102930278A (zh) 一种人眼视线估计方法及其装置
CN113692527B (zh) 用于测量眼镜片的局部屈光力和/或屈光力分布的方法和装置
CN115315676A (zh) 用于眼睛注视跟踪的方法
US11181978B2 (en) System and method for gaze estimation
CN102043966B (zh) 基于部分主分量分析和姿态估计联合的人脸识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant