CN102930252B - 一种基于神经网络头部运动补偿的视线跟踪方法 - Google Patents
一种基于神经网络头部运动补偿的视线跟踪方法 Download PDFInfo
- Publication number
- CN102930252B CN102930252B CN201210418252.7A CN201210418252A CN102930252B CN 102930252 B CN102930252 B CN 102930252B CN 201210418252 A CN201210418252 A CN 201210418252A CN 102930252 B CN102930252 B CN 102930252B
- Authority
- CN
- China
- Prior art keywords
- head movement
- blinkpunkt
- pupil
- compensation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004886 head movement Effects 0.000 title claims abstract description 54
- 230000007935 neutral effect Effects 0.000 title claims abstract description 20
- 230000003068 static effect Effects 0.000 claims abstract description 53
- 210000001747 pupil Anatomy 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 35
- 210000004087 cornea Anatomy 0.000 claims abstract description 6
- 230000000694 effects Effects 0.000 claims abstract description 6
- 210000001508 eye Anatomy 0.000 claims description 63
- 210000003128 head Anatomy 0.000 claims description 25
- 230000001537 neural effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000004424 eye movement Effects 0.000 claims description 3
- 238000003706 image smoothing Methods 0.000 claims description 3
- 238000004064 recycling Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000001028 reflection method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Landscapes
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于神经网络头部运动补偿的视线跟踪方法，首先在显示屏两个侧边的中点处分别放置两个红外光源，两个红外光源经人眼角膜反射后在人眼角膜表面上形成亮点图像，并使瞳孔图像出现暗瞳效应，所述方法具体包含如下步骤：注视点静态标定；头部运动补偿；通过静态映射模型和头部运动补偿模型组成动态人眼注视点匹配模型，以计算注视点。本发明所提供的方案对硬件要求低，只需一个普通的摄像头和两个红外光源，改变了3维跟踪方法需要多个摄像头的限制，大大降低了系统的复杂性及所需的计算量，提高了视线跟踪的实时性；另外，允许头部运动，只需一次标定即可直接使用，无需反复标定，解决了2维标定方法的主要缺陷。<!--1-->
Description
技术领域
本发明属于图像处理和模式识别技术领域，具体的涉及到一种基于神经网络头部运动补偿的视线跟踪方法。
背景技术
人类的信息加工在很大程度上依赖于视觉，来自外界约80%以上的信息是通过眼睛获得的，所以，通过对人眼注视点的跟踪能够获得人类对外部信息的感知及意图，并将其运用在各个领域当中，发挥积极有效的作用。例举来说，视线跟踪技术在新一代人机交互、军事军备开发、汽车飞机驾驶、航空航天、体育运动、残疾人辅助、虚拟现实和游戏等领域有着广泛的应用前景，对提高残疾人生活和自理水平，构建和谐社会，提高我国人机交互、无人驾驶等高新技术领域的自主创新能力有着极大的现实意义。
而现有视线跟踪方法主要分为眼电图法、接触镜/电磁线圈法、POG/VOG法及瞳孔—角膜反射法四种。其中瞳孔—角膜反射法具有较高的精度，其利用近红外光源通过眼睛角膜反射形成高亮斑点作为参考点，利用瞳孔与光斑的位置信息确定注视点坐标，同时由于红外波长处于视网膜的敏感范围之外，所以不会对视网膜成像造成影响，具有安全可靠、无干扰等优点，相比另外几种方法应用效果及综合评定更佳，因此，瞳孔—角膜反射法也成为视线跟踪方法的主流。瞳孔—角膜反射法可划分为3维跟踪方法和2维跟踪方法。3维跟踪方法对硬件的要求较高，通常需要两个甚至两个以上具有非常高的像素的摄像头和多个红外光源，通过求出眼球中心和瞳孔中心的3维坐标来进行视线的定位。所以，3维的视线跟踪技术存在架构复杂、建模困难、实时性差等缺陷。相对的，2维跟踪方法通过确定映射函数来定位眼睛注视点，相比3维跟踪方法更易实现，应用也更广泛，但是它也存在两个主要的缺点：1、对头部运动敏感，当头部发生运动时定位的精度会急速下降；2，每次使用前都必须进行标定过程，所以也非常的不便，不利于更广泛的应用于实际当中。
发明内容
本发明的目的在于克服现有技术的上述不足，提供了一种非接触式、准确且快速的基于神经网络头部运动补偿的视线跟踪方法，该方法对硬件要求低，只需一个普通的摄像头和两个红外光源，避免了3维跟踪方法需要多个摄像头的限制，大大降低了系统的复杂性及所需的计算量，提高了视线跟踪的实时性；另外，允许头部运动，只需一次标定即可直接使用，无需反复标定，解决了2维标定方法的主要缺陷。
具体的，本发明通过以下技术方案实现：
一种基于神经网络头部运动补偿的视线跟踪方法，首先在显示屏两个侧边的中点处分别放置两个红外光源，两个红外光源经人眼角膜反射后在人眼角膜表面上形成亮点图像，并使瞳孔图像出现暗瞳效应，而所述方法具体包含如下3个步骤 。
一、注视点静态标定
头部保持静止，眼睛依次注视预设在显示屏上的标定点，在由摄像头获取的暗瞳图像中提取代表视线点变化的眼睛特征信息，再利用获取的眼睛特征信息和对应标定点的信息建立静态映射模型。
所述的标定点数量为9个，且在显示屏上呈3X3对称分布。
所述的眼睛特征信息为摄像头获取的暗瞳图像中瞳孔中心到两个红外光源连线中心的向量。进一步，提取代表视线点变化的眼睛特征信息的过程包含以下5个步骤：
1）图像预处理
a.彩色图像灰度化
公式如下：
，
上式中V表示转换后的灰度值，R，G，B分别为摄像头采集图像中的红、绿、蓝分量。
b.去噪声处理预处理
采用高斯滤波器对图像平滑预处理，公式如下：
，
所使用的对应高斯滤波器的离散近似模板（δ=1.4），如下所示：
。
2）定位人眼区域
利用Modesto Castrillón训练得到的右眼分类器对图像进行人眼定位，首先截取整幅图像中所有60×60的子窗口, 每个子窗口依次通过级联分类器，逐级淘汰非人脸子窗口；其中，当有多个通过全部级联分类器的子窗口时，对3个待选人脸子窗口进行相邻子窗口合并，选出最佳人脸子窗口，当没检测到符合要求的子窗口时，令子窗口大小以1.2倍每次进行递增，重新通过级联分类器进行检测，直至检测到符合要求的子窗口。
3）定位瞳孔获得瞳孔信息
a.采用canny边缘检测算法获取瞳孔的边缘信息；
b.采用椭圆曲线拟合瞳孔边缘点。
对所提取的瞳孔边缘点集合进行椭圆方程的最小二乘法拟合，然后确定瞳孔中心位置。
其中，椭圆方程取为：
。
利用最小二乘法求取A、B、C、D、E的参数值。
按如下公式得到椭圆中心坐标（X0，Y0）：
，
，其中（X0，Y0）即为瞳孔中心位置。
4）定位斑点，获取斑点信息
a.二值化眼睛区域获得斑点图像
通过阈值处理，获取二值化斑点图像，根据二值化后的斑点图像与瞳孔中心之间的距离筛选出真正的斑点轮廓集合，距离瞳孔中心最近的两个斑点即为真正的斑点轮廓集合。
b.采用椭圆曲线拟合斑点轮廓
分别获取所述两个斑点的中心坐标，得到这两个斑点中点连接线的中点坐标（Xc，Yc）及两个斑点中点间的欧式距离D。
5）特征信息
获取由瞳孔中心（X0，Y0）指向（Xc，Yc）的向量V，向量V即代表眼睛特征信息。
另外，所述的建立静态映射模型的过程包含以下2个步骤：
1）用于建立静态映射模型的映射函数为二次多项式：
，
其中，Sx表示注视点在屏幕坐标系下的横坐标，Sy表示注视点在屏幕坐标系下的纵坐标，x代表眼睛特征信息（向量V）在图像坐标系中的x轴分量，y代表眼睛特征信息（向量V）在图像坐标系中的y轴分量，a0~a5和b0~b5均是待标定的系数。
2）计算映射函数的系数
利用预设在显示屏上的标定点的坐标信息，及标定点所对应的眼睛特征信息（向量V），采用最小二乘法求出映射函数待标定的的系数。
二、头部运动补偿
在静态映射模型建立后，利用BP神经网络训练头部运动补偿模型，具体如下。
1）静态标定过程后，头部自由运动，眼睛再次注视标定点，获取代表头部运动的特征信息及利用静态映射模型估算出的注视点与标定点的偏离，将获取的数据作为训练数据，其中，代表头部运动的特征信息具体包括：a.眼睛特征信息（向量V）的X轴分量和Y轴分量，b. 瞳孔的长短轴长度，c.拟合瞳孔的椭圆倾斜度，d.两个斑点中点连接线的中点（Xc，Yc）的X分量和Y轴分量，e.两个红外反射斑点中点的欧氏距离D。另外，所述偏离是指注视点坐标与标定点坐标在屏幕上的水平偏差和垂直偏差。
所述的瞳孔的长短轴长度和拟合瞳孔的椭圆倾斜度的提取方法具体为：
对提取的瞳孔边缘点集合进行椭圆方程拟合，然后确定获取椭圆的长轴a，短轴b，以及椭圆的倾斜率θ，椭圆方程取为：
，
利用最小二乘法求取A、B、C、D、E参数值，
椭圆的长轴a，计算如下：
;
椭圆的短轴b，计算如下：
;
椭圆的倾斜率θ，计算如下：
。
2）采用三层的BP神经网络训练头部运动补偿模型，输入层的输入数据即为头部运动特征信息，输出层的输出数据为注视点匹配模型中所述注视点偏离。
具体的，获得眼睛注视标定点时的眼动特征后，利用静态映射模型计算静态注视点屏幕坐标，获得静态注视点坐标与标定点坐标在屏幕上的水平偏差和垂直偏差。
采用三层的BP神经网络训练头部运动补偿模型，输入层的输入数据即为头部移动外观特征，输出层的输出数据为注视点偏离；其中，训练头部运动补偿模型时，水平偏差补偿模型和垂直偏差补偿模型分开训练，两个神经网络的输入层节点数为8，输入的数据为8个头部位置的外观特征，输出层节点为1，分别是水平偏差和垂直偏差。
如训练时在输出层没有预期效果时，依据逐层递归计算实际输出与期望输出间的误差来修正权值，最后如果误差小于误差上限，则训练算法结束，得到头部移动补偿模型。
三、通过静态映射模型和头部运动补偿模型组成动态人眼注视点匹配模型，以计算眼睛的注视点，具体包括如下3个步骤：
1）提取特征信息，利用静态映射模型计算静态注视点.；
2）提取头部运动特征信息，利用头部运动补偿模型计算注视点偏离；
3）静态注视点和注视点偏离相加产生最终的注视点。
本发明的优点与积极效果在于：
1．对硬件要求低，只需用到一个常规的摄像头和两个红外光源，避免了3维跟踪方法需要多个摄像头的限制，大大降低了系统的复杂性及所需的计算量，也降低了成本，且用户无需佩戴任何设备，对用户无干扰；
2．利用神经网络在静态标定完成后对头部运动进行补偿，允许头部运动，所以用户不需要一直保持头部静止或者利用额外的设备来保持头部静止，避免了疲劳，也提高了灵活性；
3．只需在初次使用前进行标定行为，一旦标定完成后，再次使用时可以直接使用而无需重复标定，极大地简化了用户使用的复杂性，解决了2维标定方法的主要缺陷。
附图说明
图1是本发明一具体实施例中显示屏、红外光源与摄像头的布置示意图；
图2是本发明一具体实施例中视线跟踪方法的流程示意图；
图3是本发明一具体实施例中三层BP神经网络训练结构图；
图4是本发明一具体实施例中动态注视点构成图。
具体实施方式
下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。
如图1~图4所示为可作为本发明较佳实施例的一种基于神经网络头部运动补偿的视线跟踪方法，首先如图1所示，在显示屏两个侧边的中点处分别放置两个红外光源，两个红外光源经人眼角膜反射后在人眼角膜表面上形成亮点图像，并使瞳孔图像出现暗瞳效应，所述方法具体包含如下3个步骤 。
一、注视点静态标定
头部保持静止，眼睛依次注视预设在显示屏上的标定点，在由摄像头获取的暗瞳图像中提取代表视线点变化的眼睛特征信息，再利用获取的眼睛特征信息和对应标定点的信息建立静态映射模型。
所述的标定点数量为9个，且在屏幕上呈3X3对称分布；而根据不同的需要，标定点的数量及分布可以产生相应的变化。
所述的眼睛特征信息为摄像头获取的暗瞳图像中瞳孔中心到两个红外光源连线中心的向量。进一步，提取代表视线点变化的眼睛特征信息的过程包含以下5个步骤：
1）图像预处理
a.彩色图像灰度化，本发明方法只需要灰度图像，而摄像头采集的数字图像为具有R，G，B分量的彩色图片，故需将彩色图像灰度化，
公式如下：
，
上式中V表示转换后的灰度值，R，G，B分别为摄像头采集图像中的红、绿、蓝分量。
b.去噪声处理预处理
高斯滤波器是根据高斯函数选择权值的线性滤波器，能有效去除正态分布噪声，所以采用高斯滤波器对图像平滑预处理，公式如下：
，
所使用的对应高斯滤波器的离散近似模板（δ=1.4），如下所示：
。
2）定位人眼区域
利用Modesto Castrillón训练得到的右眼分类器对图像进行人眼定位，首先截取整幅图像中所有60×60的子窗口, 每个子窗口依次通过级联分类器，逐级淘汰非人脸子窗口；其中，当有多个通过全部级联分类器的子窗口时，对3个待选人脸子窗口进行相邻子窗口合并，选出最佳人脸子窗口，当没检测到符合要求的子窗口时，令子窗口大小以1.2倍每次进行递增，重新通过级联分类器进行检测，直至检测到符合要求的子窗口。
3）定位瞳孔获得瞳孔信息
a.采用canny边缘检测算法获取瞳孔的边缘信息；
b.采用椭圆曲线拟合瞳孔边缘点。
对所提取的瞳孔边缘点集合进行椭圆方程的最小二乘法拟合，然后确定瞳孔中心位置。
其中，椭圆方程取为：
。
利用最小二乘法求取A、B、C、D、E的参数值。
按如下公式得到椭圆中心坐标（X0，Y0）：
，
，其中（X0，Y0）即为瞳孔中心位置。
4）定位斑点，获取斑点信息
a.二值化眼睛区域获得斑点图像
由于斑点图像是一个高亮的块，通过阈值处理，获取二值化斑点图像，根据二值化后的斑点图像与瞳孔中心之间的距离筛选出真正的斑点轮廓集合，距离瞳孔中心最近的两个斑点即为真正的斑点轮廓集合。
b.采用椭圆曲线拟合斑点轮廓
分别获取所述两个斑点的中心坐标，得到这两个斑点中点连接线的中点坐标（Xc，Yc）及两个斑点中点间的欧式距离D。
5）特征信息
获取由瞳孔中心（X0，Y0）指向（Xc，Yc）的向量V。
另外，所述的建立静态映射模型的过程包含以下2个步骤：
1）用于建立静态映射模型的映射函数为二次多项式：
，
其中，Sx表示注视点在屏幕坐标系下的横坐标，Sy表示注视点在屏幕坐标系下的纵坐标，x代表眼睛特征信息（向量V）在图像坐标系中的x轴分量，y代表特征信息（向量V）在图像坐标系中的y轴分量，a0~a5和b0~b5均是待标定的系数。
2）计算映射函数的系数
利用预设在显示屏上的标定点的坐标信息，及标定点所对应的眼睛特征信息（向量V），采用最小二乘法求出映射函数待标定的的系数。
二、头部运动补偿
在静态映射模型建立后，利用如图3所示的BP神经网络训练头部运动补偿模型，具体如下。
3）静态标定过程后，头部自由运动，眼睛再次注视标定点，获取代表头部运动的特征信息及利用静态映射模型估算出的注视点与标定点的偏离，将获取的数据作为训练数据。
头部运动主要体现为：垂直于图像平面的运动；垂直于摄像机光轴方向的运动；头部左、右旋运动；抬头、低头运动；头倾斜运动。从本质上说，各种头部运动在视线跟踪算法上体现为眼睛的位移运动和旋转运动，因此在头部运动补偿模型中，提取头部运动特征信息时只需提取人眼部分图像运动特征信息，具体包括：a.眼睛特征信息（向量V）的X轴分量和Y轴分量；b. 瞳孔的长短轴长度；c.拟合瞳孔的椭圆倾斜度；d.两个红外反射斑点中点连接线的中点（Xc，Yc）的X分量和Y轴分量；e.两个红外反射斑点中点的欧氏距离D；另外，所述偏离是指注视点坐标与标定点坐标在屏幕上的水平偏差和垂直偏差。
所述的瞳孔的长短轴长度和拟合瞳孔的椭圆倾斜度的提取方法具体为：
对提取的瞳孔边缘点集合进行椭圆方程拟合，然后确定获取椭圆的长轴a，短轴b，以及椭圆的倾斜率θ，椭圆方程取为：
，
利用最小二乘法求取A、B、C、D、E参数值，
椭圆的长轴a，计算如下：
;
椭圆的短轴b，计算如下：
;
椭圆的倾斜率θ，计算如下：
。
4）采用三层的BP神经网络训练头部运动补偿模型，输入层的输入数据即为头部运动特征信息，输出层的输出数据为注视点匹配模型中所述注视点偏离。
具体的，获得眼睛注视标定点时的眼动特征后，利用静态映射模型计算静态注视点屏幕坐标，获得静态注视点坐标与标定点坐标在屏幕上的水平偏差和垂直偏差。
采用如图3所示的三层的BP神经网络训练头部运动补偿模型，输入层的输入数据即为头部移动外观特征，输出层的输出数据为注视点偏离；其中，训练头部运动补偿模型时，水平偏差补偿模型和垂直偏差补偿模型分开训练，两个神经网络的输入层节点数为8，输入的数据为8个头部位置的外观特征，输出层节点为1，分别是水平偏差和垂直偏差。
如训练时在输出层没有预期效果时，依据逐层递归计算实际输出与期望输出间的误差来修正权值，最后如果误差小于误差上限，则训练算法结束，得到头部移动补偿模型。
三、通过静态映射模型和头部运动补偿模型组成动态人眼注视点匹配模型，以计算眼睛的注视点，具体包括如下3个步骤：
1）提取特征信息，利用静态映射模型计算静态注视点.；
2）提取头部运动特征信息，利用头部运动补偿模型计算注视点偏离；
3）静态注视点和注视点偏离相加产生最终的注视点。
当静态注视点模型和基于BP神经网络的头部移动补偿模型建立后，便可以在匹配过程中实现静态注视点模型注视点计算坐标与头部移动补偿计算的偏移量的叠加：
，
式中(Sx,Sy)为静态注视点模型的估算点，(Tx,Ty)为头部移动补偿模型的估算偏离度。
Claims (9)
1.一种基于神经网络头部运动补偿的视线跟踪方法，其特征在于在显示屏两个侧边的中点处分别放置两个红外光源，两个红外光源经人眼角膜反射后在人眼角膜表面上形成亮点图像，并使瞳孔图像出现暗瞳效应，其中，所述方法包含如下步骤：
步骤1：注视点静态标定：头部保持静止，眼睛依次注视预设在显示屏上的标定点，在由摄像头获取的暗瞳图像中提取代表视线点变化的眼睛特征信息，再利用获取的眼睛特征信息和对应标定点的信息建立静态映射模型；
步骤2：头部运动补偿：在静态映射模型建立后，利用BP神经网络训练头部运动补偿模型；
步骤3：通过静态映射模型和头部运动补偿模型组成动态人眼注视点匹配模型，以计算眼睛的注视点。
2.根据权利要求1所述的基于神经网络头部运动补偿的视线跟踪方法，其特征在于步骤1中所述的标定点数量为9个，且在显示屏上呈3x3对称分布。
3.根据权利要求1所述的基于神经网络头部运动补偿的视线跟踪方法，其特征在于步骤1中所述的眼睛特征信息为摄像头获取的暗瞳图像中瞳孔中心到两个红外光源连线中心的向量。
4.根据权利要求1所述的基于神经网络头部运动补偿的视线跟踪方法，其特征在于步骤1中所述的提取代表视线点变化的眼睛特征信息的过程为：
1)图像预处理
a.彩色图像灰度化
公式如下：
V＝0.259R+0.578G+0.144B，
上式中V表示转换后的灰度值，R，G，B分别为摄像头采集图像中的红、绿、蓝分量；
b.去噪声处理预处理
采用高斯滤波器对图像平滑预处理，公式如下：
所使用的对应高斯滤波器的离散近似模板如下所示，其中δ＝1.4：
2)定位人眼区域
利用Modesto Castrillón训练得到的右眼分类器对图像进行人眼定位，首先截取整幅图像中所有60×60的子窗口,每个子窗口依次通过级联分类器，逐级淘汰非人脸子窗口；其中，当有多个通过全部级联分类器的子窗口时，对3个待选人脸子窗口进行相邻子窗口合并，选出最佳人脸子窗口；当没检测到符合要求的子窗口时，令子窗口大小以1.2倍每次进行递增，重新通过级联分类器进行检测，直至检测到符合要求的子窗口；
3)定位瞳孔获得瞳孔信息
a.采用canny边缘检测算法获取瞳孔的边缘信息；
b.采用椭圆曲线拟合瞳孔边缘点；
对所提取的瞳孔边缘点集合进行椭圆方程的最小二乘法拟合，然后确定瞳孔中心位置，
其中，椭圆方程取为：
X2+AXY+BY2+CX+DY+E＝0，
利用最小二乘法求取A、B、C、D、E的参数值，
按如下公式得到椭圆中心坐标(X0，Y0)：
其中(X0，Y0)即为瞳孔中心位置；
4)定位斑点，获取斑点信息
a.二值化眼睛区域获得斑点图像
通过阈值处理，获取二值化斑点图像，根据二值化后的斑点图像与瞳孔中心之间的距离筛选出真正的斑点轮廓集合，其中，距离瞳孔中心最近的两个斑点即为真正的斑点轮廓集合；
b.采用椭圆曲线拟合斑点轮廓
分别获取所述两个斑点的中心坐标，得到这两个斑点中点连接线的中点坐标(Xc，Yc)及两个斑点中点间的欧式距离D；
5)特征信息
获取由瞳孔中心(X0，Y0)指向(Xc，Yc)的向量V，向量V即为眼睛特征信息。
5.根据权利要求1所述的基于神经网络头部运动补偿的视线跟踪方法，其特征在于步骤1中所述的建立静态映射模型的过程为：
1)用于建立静态映射模型的映射函数为二次多项式：
其中，Sx表示注视点在屏幕坐标系下的横坐标，Sy表示注视点在屏幕坐标系下的纵坐标，x代表眼睛特征信息在图像坐标系中的x轴分量，y代表眼睛特征信息在图像坐标系中的y轴分量，a0～a5和b0～b5均是待标定的系数；
2)计算映射函数的系数
利用预设在显示屏上的标定点的坐标信息，及标定点所对应的眼睛特征信息，采用最小二乘法求出映射函数待标定的系数。
6.根据权利要求1或5所述的基于神经网络头部运动补偿的视线跟踪方法，其特征在于所述的步骤2具体包括如下步骤：
1)静态标定过程后，头部自由运动，眼睛再次注视标定点，获取代表头部运动的特征信息及利用静态映射模型估算出的注视点与标定点的偏离，将获取的数据作为训练数据，其中，代表头部运动的特征信息具体包括：a.眼睛特征信息的X轴分量和Y轴分量；b.瞳孔的长短轴长度；c.拟合瞳孔的椭圆倾斜度；d.两个斑点中点连接线的中点(Xc，Yc)的X分量和Y轴分量；e.两个斑点中点间的欧氏距离D；另外，所述偏离是指注视点坐标与标定点坐标在屏幕上的水平偏差和垂直偏差；
2)采用三层的BP神经网络训练头部运动补偿模型，输入层的输入数据即为头部运动特征信息，输出层的输出数据为注视点匹配模型中所述的注视点偏离。
7.根据权利要求6所述的基于神经网络头部运动补偿的视线跟踪方法，其特征在于步骤1中所述的瞳孔的长短轴长度和拟合瞳孔的椭圆倾斜度的提取方法具体为：
对提取的瞳孔边缘点集合进行椭圆方程拟合，然后确定获取椭圆的长轴a、短轴b以及椭圆的倾斜率θ，椭圆方程取为：
X2+AXY+BY2+CX+DY+E＝0，
利用最小二乘法求取A、B、C、D、E参数值，
椭圆的长轴a，计算如下：
椭圆的短轴b，计算如下：
椭圆的倾斜率θ，计算如下：
8.根据权利要求6所述的基于神经网络头部运动补偿的视线跟踪方法，其特征在于所述的步骤2中：
获得眼睛注视标定点时的眼动特征后，利用静态映射模型计算静态注视点屏幕坐标，获得静态注视点坐标与标定点坐标在屏幕上的水平偏差和垂直偏差；
采用三层的BP神经网络训练头部运动补偿模型，输入层的输入数据即为头部移动外观特征，输出层的输出数据为注视点偏离；其中，训练头部运动补偿模型时，水平偏差补偿模型和垂直偏差补偿模型分开训练，两个神经网络的输入层节点数为8，输入的数据为8个头部位置的外观特征，输出层节点为1，分别是水平偏差和垂直偏差；
如训练时在输出层没有预期效果时，依据逐层递归计算实际输出与期望输出间的误差来修正权值，最后，当误差小于误差上限时，则训练算法结束，得到头部移动补偿模型。
9.根据权利要求1所述的基于神经网络头部运动补偿的视线跟踪方法，其特征在于所述的步骤3具体包括如下步骤：
1)提取特征信息，利用静态映射模型计算静态注视点.；
2)提取头部运动特征信息，利用头部运动补偿模型计算注视点偏离；
3)静态注视点和注视点偏离相加产生最终的注视点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210418252.7A CN102930252B (zh) | 2012-10-26 | 2012-10-26 | 一种基于神经网络头部运动补偿的视线跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210418252.7A CN102930252B (zh) | 2012-10-26 | 2012-10-26 | 一种基于神经网络头部运动补偿的视线跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102930252A CN102930252A (zh) | 2013-02-13 |
| CN102930252B true CN102930252B (zh) | 2016-05-11 |
Family
ID=47645049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210418252.7A Active CN102930252B (zh) | 2012-10-26 | 2012-10-26 | 一种基于神经网络头部运动补偿的视线跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102930252B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106066696A (zh) * | 2016-06-08 | 2016-11-02 | 华南理工大学 | 自然光下基于投影映射校正和注视点补偿的视线跟踪方法 |
| CN110263745A (zh) * | 2019-06-26 | 2019-09-20 | 京东方科技集团股份有限公司 | 一种人眼瞳孔定位的方法及装置 |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103356163B (zh) * | 2013-07-08 | 2016-03-30 | 东北电力大学 | 基于视频图像和人工神经网络的凝视点测量装置及其方法 |
| CN103336580B (zh) * | 2013-07-16 | 2016-08-24 | 卫荣杰 | 一种头戴装置的光标控制方法 |
| CN103885589B (zh) * | 2014-03-06 | 2017-01-25 | 华为技术有限公司 | 眼动追踪方法及装置 |
| CN103886367B (zh) * | 2014-03-18 | 2016-08-17 | 北京工业大学 | 一种仿生智能控制方法 |
| CN105278659B (zh) * | 2014-06-18 | 2018-09-14 | 中国电信股份有限公司 | 基于视线追踪技术的目标定位方法和装置 |
| US10127680B2 (en) * | 2016-06-28 | 2018-11-13 | Google Llc | Eye gaze tracking using neural networks |
| US10846877B2 (en) | 2016-06-28 | 2020-11-24 | Google Llc | Eye gaze tracking using neural networks |
| CN106774993A (zh) * | 2016-12-16 | 2017-05-31 | 深圳市虚拟现实技术有限公司 | 基于神经网络的特征点识别方法 |
| CN106778641B (zh) * | 2016-12-23 | 2020-07-03 | 北京七鑫易维信息技术有限公司 | 视线估计方法及装置 |
| CN108229284B (zh) * | 2017-05-26 | 2021-04-09 | 北京市商汤科技开发有限公司 | 视线追踪及训练方法和装置、系统、电子设备和存储介质 |
| CN107357429B (zh) * | 2017-07-10 | 2020-04-07 | 京东方科技集团股份有限公司 | 用于确定视线的方法、设备和计算机可读存储介质 |
| CN107589849A (zh) * | 2017-09-26 | 2018-01-16 | 杭州上手科技有限公司 | 一种演示文稿快速输入方法 |
| EP3749172B1 (en) | 2018-02-09 | 2022-03-30 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
| US11194161B2 (en) | 2018-02-09 | 2021-12-07 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| US11556741B2 (en) | 2018-02-09 | 2023-01-17 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters using a neural network |
| CN108898572B (zh) * | 2018-04-19 | 2020-11-13 | 北京七鑫易维信息技术有限公司 | 光斑提取方法 |
| CN108595008B (zh) * | 2018-04-27 | 2022-02-08 | 北京计算机技术及应用研究所 | 基于眼动控制的人机交互方法 |
| CN108681403A (zh) * | 2018-05-18 | 2018-10-19 | 吉林大学 | 一种采用视线跟踪的小车控制方法 |
| CN108985172A (zh) * | 2018-06-15 | 2018-12-11 | 北京七鑫易维信息技术有限公司 | 一种基于结构光的视线追踪方法、装置、设备及存储介质 |
| CN108921143A (zh) * | 2018-08-22 | 2018-11-30 | 北京慕华信息科技有限公司 | 一种面部仪态的评估方法及装置 |
| CN109766818B (zh) * | 2019-01-04 | 2021-01-26 | 京东方科技集团股份有限公司 | 瞳孔中心定位方法及系统、计算机设备及可读存储介质 |
| US11537202B2 (en) | 2019-01-16 | 2022-12-27 | Pupil Labs Gmbh | Methods for generating calibration data for head-wearable devices and eye tracking system |
| CN110051319A (zh) * | 2019-04-23 | 2019-07-26 | 七鑫易维(深圳)科技有限公司 | 眼球追踪传感器的调节方法、装置、设备及存储介质 |
| CN110147163B (zh) * | 2019-05-20 | 2022-06-21 | 浙江工业大学 | 面向移动设备的多模型融合驱动的眼动跟踪方法和系统 |
| CN110209277B (zh) * | 2019-05-29 | 2021-09-21 | 华南理工大学 | 一种仅基于瞳孔特征的头戴式视线跟踪方法 |
| US11676422B2 (en) | 2019-06-05 | 2023-06-13 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| CN110428470B (zh) * | 2019-06-18 | 2021-12-03 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于脑电辅助的增强现实眼镜眼动交互自标定方法 |
| CN110414427A (zh) * | 2019-07-26 | 2019-11-05 | Oppo广东移动通信有限公司 | 基于眼球追踪的测光方法及相关产品 |
| CN110572632A (zh) * | 2019-08-15 | 2019-12-13 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于视线跟踪的增强现实显示系统、头盔和方法 |
| CN110780739B (zh) * | 2019-10-18 | 2023-11-03 | 天津理工大学 | 基于注视点估计的眼控辅助输入方法 |
| CN110807427B (zh) * | 2019-11-05 | 2024-03-01 | 中航华东光电（上海）有限公司 | 一种视线追踪方法、装置、计算机设备和存储介质 |
| CN111528788A (zh) * | 2020-05-27 | 2020-08-14 | 温州医科大学 | 一种评价视觉疲劳程度的便携式检测仪器 |
| CN112843478A (zh) * | 2021-02-02 | 2021-05-28 | 深圳市康宁医院(深圳市精神卫生研究所、深圳市精神卫生中心) | 一种经颅磁刺激治疗装置 |
| CN113359975A (zh) * | 2021-05-19 | 2021-09-07 | 杭州小派智能科技有限公司 | 一种基于眼动交互技术的医护方法、系统和电子设备 |
| CN113419623A (zh) * | 2021-05-27 | 2021-09-21 | 中国人民解放军军事科学院国防科技创新研究院 | 一种非标定眼动交互方法和装置 |
| CN116524581B (zh) * | 2023-07-05 | 2023-09-12 | 南昌虚拟现实研究院股份有限公司 | 一种人眼图像光斑分类方法、系统、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101576771A (zh) * | 2009-03-24 | 2009-11-11 | 山东大学 | 基于非均匀样本插值的眼动仪定标方法 |
| CN102749991A (zh) * | 2012-04-12 | 2012-10-24 | 广东百泰科技有限公司 | 一种适用于人机交互的非接触式自由空间视线跟踪方法 |
-
2012
- 2012-10-26 CN CN201210418252.7A patent/CN102930252B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101576771A (zh) * | 2009-03-24 | 2009-11-11 | 山东大学 | 基于非均匀样本插值的眼动仪定标方法 |
| CN102749991A (zh) * | 2012-04-12 | 2012-10-24 | 广东百泰科技有限公司 | 一种适用于人机交互的非接触式自由空间视线跟踪方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106066696A (zh) * | 2016-06-08 | 2016-11-02 | 华南理工大学 | 自然光下基于投影映射校正和注视点补偿的视线跟踪方法 |
| CN106066696B (zh) * | 2016-06-08 | 2019-05-14 | 华南理工大学 | 自然光下基于投影映射校正和注视点补偿的视线跟踪方法 |
| CN110263745A (zh) * | 2019-06-26 | 2019-09-20 | 京东方科技集团股份有限公司 | 一种人眼瞳孔定位的方法及装置 |
| CN110263745B (zh) * | 2019-06-26 | 2021-09-07 | 京东方科技集团股份有限公司 | 一种人眼瞳孔定位的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102930252A (zh) | 2013-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102930252B (zh) | 一种基于神经网络头部运动补偿的视线跟踪方法 | |
| CN102830793B (zh) | 视线跟踪方法和设备 | |
| CN111414798B (zh) | 基于rgb-d图像的头部姿态检测方法及系统 | |
| CN106650630B (zh) | 一种目标跟踪方法及电子设备 | |
| CN106066696B (zh) | 自然光下基于投影映射校正和注视点补偿的视线跟踪方法 | |
| CN104063700B (zh) | 自然光照正面人脸图像中的眼睛中心点定位的方法 | |
| CN201307266Y (zh) | 双目视线跟踪装置 | |
| CN107958479A (zh) | 一种移动端3d人脸增强现实实现方法 | |
| CN106055091A (zh) | 一种基于深度信息和校正方式的手部姿态估计方法 | |
| CN106355147A (zh) | 一种活体人脸检测头部姿态回归器的获取方法及检测方法 | |
| CN106204718A (zh) | 一种基于单个Kinect的简易高效三维人体重建方法 | |
| CN105094337A (zh) | 一种基于虹膜和瞳孔的三维视线估计方法 | |
| CN104978548A (zh) | 一种基于三维主动形状模型的视线估计方法与装置 | |
| CN107656619A (zh) | 一种智能投影方法、系统及智能终端 | |
| CN102402691A (zh) | 一种对人脸姿态和动作进行跟踪的方法 | |
| CN106251365A (zh) | 多曝光视频融合方法及装置 | |
| CN102930278A (zh) | 一种人眼视线估计方法及其装置 | |
| CN102043966B (zh) | 基于部分主分量分析和姿态估计联合的人脸识别方法 | |
| US11181978B2 (en) | System and method for gaze estimation | |
| CN105046708A (zh) | 一种与主观感知相一致的颜色校正客观评估方法 | |
| CN109752855A (zh) | 一种光斑发射装置和检测几何光斑的方法 | |
| CN104853182B (zh) | 基于幅度和相位的立体图像质量客观评价方法 | |
| CN106469444A (zh) | 消除拼接缝隙的快速图像融合方法 | |
| CN104599288A (zh) | 一种基于肤色模板的特征跟踪方法及装置 | |
| CN115315676A (zh) | 用于眼睛注视跟踪的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |