CN108108013A - 一种视线追踪方法 - Google Patents

Abstract

本发明公开了一种视线追踪方法，所述方法包括以下步骤：步骤一，瞳孔识别；步骤二，普尔钦斑识别；步骤三，视线在屏幕落点的计算。本发明可以实现的技术效果是：能够减少用户因标定带来的时间成本，提高使用精度，提高使用效率，增强用户在虚拟现实交互中的体验效果。

Description

一种视线追踪方法

技术领域

本发明属于虚拟现实方法技术领域，具体涉及一种视线追踪方法。

背景技术

视线追踪是利用机械、电子、光学等各种检测手段获取受试者当前“注视方向”的技术，按照构成和采用的方法可以粗略的分为侵入式和非侵入式两种，随之数字化技术、智能设备的迅速发展，基于数字视频分析的非侵入式视线追踪技术变得更加主流。虚拟现实技术将虚拟世界更逼真的展现在用户的眼前，增强现实和混合现实则将虚拟和现实融合。现有技术中的虚拟现实(VR)体验中，有一部分HMD(头戴式可视设备)采用了视觉追踪技术，需要用户的目光注视交互界面进行标定预处理，通常的标定方案是在屏幕中依次出现几个坐标位置已知的亮点，每个点亮起的时候，眼睛注视该点，摄像机拍摄此时眼睛的图像。通过每个亮点的坐标位置，及拍摄眼球注视该点时的图像，来建立坐标对应关系。当坐标对应关系建立完毕，标定步骤完成。之后，摄像头实时拍摄眼球图像，通过建立好的坐标对应关系，实时将眼睛在屏幕上的注视点计算出来。

这种方法存在的问题是：一、用户注视每个点的依次出现，整体交互步骤太多，时间消耗长(大约30秒左右)，极大的影响用户体验；二、对用户的相对运动较为敏感，对于标定的准确度会有影响。

发明内容

本发明要解决的技术问题是提高标定效率及标定的准确度。本发明使用的一种新型的视线追踪方法，可以减少用户标定的次数，就减少了标定与使用时间的比例，提高了标定的效率；增加了针对相对运动的算法，因此可以提用户使用中的精确度。

为解决上述问题，本发明采用如下技术方案：

一种视线追踪方法，其特征在于，包括以下步骤：

步骤一、判断系统是否需要标定；

步骤二、如果步骤一结果为需要，则引导用户进行标定；

步骤三、正常使用系统。

优选的，判断系统是否需要标定，可以在用户首次使用时，提示用户，让用户选择标定。

判断用户是否需要标定还可以为，用户主动激活标定程序，随时进行标定。

判断用户是否需要标定也可以为：系统根据用户的使用习惯如，距离最近一次标定的时间或者用户的生物特征进行提示用户标定。

引导标定的环节，可以采用传统的九点标定法，或者采用四点标定的方法。

优选的，引导标定环节还需要，拍摄至少一张含有四个普尔钦斑的照片，为之后普尔钦斑的编号使用，并且该照片需要与本次标定对应。

所述步骤三中正常使用系统，包括以下处理过程：

第一，瞳孔识别；

第二，普尔钦斑识别；

第三，视线在屏幕落点的计算。

所述瞳孔识别，需要结合瞳孔周围的灰度信息和边缘信息，以及综合考虑普尔钦斑对瞳孔识别造成的影响。

优选的，通过迭代选择不同的阈值的方式，对原图像进行阈值化，增强系统对光照的鲁棒性。

优选的，对阈值化的结果进行轮廓检测，根据面积、圆率，剔除噪声对瞳孔检测的影响。

优选的，根据上述得到的粗略瞳孔位置，在该范围内代替原图，进行瞳孔轮廓的精确拟合。

优选的，所述范围选择上述得到的粗略瞳孔位置周围的一个矩形或椭圆或圆形区域。

优选的，瞳孔精确拟合需要剔除普尔钦斑的影响。此时普尔钦斑使用自适应阈值分割粗略得到。

所述普尔钦斑的识别，在所述瞳孔边缘周围进行运算。

优选的，使用自适应阈值分割的方式粗略得到普尔钦斑，之后通过面积和形状剔除虚假的普尔钦斑。

优选的，对上述所得剔除虚假值之后的普尔钦斑，拟合出一个这些斑点所构成的圆或椭圆。求得该圆或椭圆的质心。

优选的，根据上述普尔钦斑模板和上述圆或椭圆的质心得到每一个普尔钦斑的编号。

优选的，所述视线在屏幕落点的计算，使用上述瞳孔中心和上述圆或椭圆的质心构成的向量完成映射。

优选的，根据实时和模板中对应编号的普尔钦斑来改善由于相对位移造成的精度下降问题。

其工作原理是：通过红外摄像机高速拍摄人眼睛部位的图片，拍摄的同时将图片进行传输，识别出图片中瞳孔和普尔钦斑的位置，通过瞳孔中心和多个普尔钦斑点构成的圆或椭圆的质心构成向量，实时映射到屏幕上的注视区域，实现视觉追踪。之后通过对比实时和模板中对应编号的普尔钦斑的位置修正因相对位移造成的误差。而由于高速拍摄会生成大类图片，因此在识别瞳孔和普尔钦斑是时，使用局部图像代替整幅图像进行运算以提高程序的运行效率。

本发明可以实现的技术效果是：用户只需要在初次使用或者必要时重新标定设备，降低了使用系统时的标定频率，提高了用户的有效使用时间，通过使用局部区域代替整幅图片提高了系统的运行效率，降低了延迟。通过普尔钦斑，修正用户因相对位移造成的误差，提高了系统的鲁棒性，提高了用户的使用体验。整体上，从易用性、友好型、稳定性上提升用户的体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种视线追踪方法的流程示意图。

具体实施方式

参阅图1所示的一种视线追踪方法流程示意图，本发明采用如下技术方案：

一种视线追踪方法，其特征在于，包括以下步骤：

步骤一、判断系统是否需要标定；

步骤二、如果步骤一结果为需要，则引导用户进行标定；

步骤三、正常使用系统。

用户第一次使用或主动激活标定程序是，先通过屏幕显示特殊图案，引导用户调整眼睛，使得八个亮点均位于用户虹膜内，并将此时的八个亮点位置存储。

按照九点标定的标准流程，使用户分别凝视屏幕中的九个点，并检测图像中瞳孔中心P和检测到的亮点的质心C，图像上的视线向量为：质心到瞳孔中心确定的向量，P-C。

瞳孔中心P的检测，首先使用阈值分割的方法，先粗略的检测出来瞳孔的区域，之后计算轮廓，此时会出现很多其他的噪声轮廓，通过计算每一个轮廓的面积剔除面积较小和特大的轮廓的影响；之后通过求得轮廓的面积和周长检测每一个轮廓的圆率，剔除非圆轮廓造成的影响。此时通过阈值分割得到普尔钦斑的粗略位置。然后在粗略瞳孔轮廓的周围进行精确瞳孔检测，首先进行边缘检测，之后和边缘对应位置的普尔钦斑做运算剔除普尔钦斑对边缘精确检测造成的影响，此时便能得到精确的瞳孔的中心P。

普尔钦斑的检测，由于普尔钦斑只可能出现在虹膜范围内，瞳孔轮廓检测到之后，可以大概确定出虹膜的区域，并在虹膜区域内进行阈值分割，分割出亮点区域，根据区域的形状和面积抑制虚假检测；找到普尔钦斑后，根据这些普尔钦斑拟合这些普尔钦斑点所构成的圆，圆心即为圆的质心C。

此时便可得到上述视线向量P-C。

根据普尔钦斑在圆周上的分布角度，同存储的八个普尔钦斑的角度进行比对，便能快速确定普尔钦斑对应的序号。并计算这些普尔钦斑相对于存储的基准图像的映射，该映射实际上包含了用户的相对运动信息，使用该映射修正视线向量，可以在一定范围内抑制头动的影响。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (10)

1.一种视线追踪方法，其特征在于，包括以下步骤：

步骤一，瞳孔识别；

步骤二，普尔钦斑识别；

步骤三，视线在屏幕落点的计算。

2.根据权利要求1所述的一种视线追踪方法，其特征在于：所述瞳孔识别通过迭代阈值进行阈值分割，实现对光线的鲁棒性。

3.根据权利要求2所述的一种视线追踪方法，其特征在于：在所述阈值分割得到粗略轮廓周围进行瞳孔轮廓精确拟合，并排除普尔钦斑的影响。

4.根据权利要求1所述的一种视线追踪方法，其特征在于：所述普尔钦斑识别，是在瞳孔周围区域，选择一个环形区域进行运算。

5.根据权利要求1所述的一种视线追踪方法，其特征在于：在所述普尔钦斑识别后，使用识别到的普尔钦斑拟合椭圆或者圆，求拟合所得的圆或椭圆的质心；根据所求圆或椭圆和一标准普尔钦斑点模板对识别出的普尔钦斑进行编号。

6.根据权利要求5所述的一种视线追踪方法，其特征在于：对视线在屏幕落点的计算，使用所得的圆或椭圆的质心和瞳孔中心所构成的向量。

7.根据权利要求5所述的一种视线追踪方法，其特征在于：对视线在屏幕落点的计算，使用所得的普尔钦斑与模板对应编号的普尔钦斑进行运算，补偿误差。

8.根据权利要求1所述的一种视线追踪方法，其特征在于：包括以下步骤：

一、判断系统是否需要标定；

二、如果判断结果为需要，则引导用户进行标定；

三、如果判断结果不需要，或标定结束，正常使用系统。

9.根据权利要求8所述的一种视线追踪方法，其特征在于：判断系统是否需要标定的条件为：用户第一次使用该系统，或者用户主动激活标定程序，或者系统根据用户距离上次标定的预设时间间隔提示后由用户选择。

10.根据权利要求9所述的一种视线追踪方法，其特征在于：当用户不需要标定时，系统补偿个体差异和人相对运动造成的差异。