CN114967128B - 一种应用于vr眼镜的视线追踪系统及方法 - Google Patents

Abstract

本发明提出一种应用于VR眼镜的视线追踪系统及方法，所述视线追踪系统包括图像采集模块、数据处理模块、判断模块和视线追踪模块，通过从采集的第一图像数据中提取第一人脸数据和第一头部姿势数据；根据所述第一人脸数据确定人眼区域，得到第一人眼图片，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据；根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为，不仅能满足精确的视线计算和定位，而且能实现精确的眼控操作和交互，提升了用户的交互体验。

Description

一种应用于VR眼镜的视线追踪系统及方法

技术领域

本发明涉及虚拟现实技术领域，具体涉及一种应用于VR眼镜的视线追踪系统及方法。

背景技术

人们的信息绝大部分是通过眼睛来获取的，通过视觉获取的信息对人们的生活有重要意义。随着科技的飞速发展，视线追踪日趋成为交互技术领域研究的焦点。视线追踪技术是研究和利用眼球动作的一种重要手段，通过该技术可以找到人眼关注的焦点，进而可以分析人的行为和意识。目前视线追踪技术已应用于多个领域之中。对视线追踪技术来说，最重要的是能够实时、精确地定位视线的位置。

然而，现有的视线追踪方法中，存在精度不足，无法满足精确的视线计算和定位，无法实现精确的眼控操作和交互的问题。

发明内容

本发明正是基于上述问题，提出了一种应用于VR眼镜的视线追踪系统及方法，通过从采集的第一图像数据中提取第一人脸数据和第一头部姿势数据；根据所述第一人脸数据确定人眼区域，得到第一人眼图片，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据；根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为，不仅能满足精确的视线计算和定位，而且能实现精确的眼控操作和交互，提升了用户的交互体验。

有鉴于此，本发明的一方面提出了一种应用于VR眼镜的视线追踪系统，包括：图像采集模块、数据处理模块、判断模块和视线追踪模块；

所述图像采集模块，用于采集第一图像数据；

所述数据处理模块，用于从所述第一图像数据中提取第一人脸数据和第一头部姿势数据；

所述数据处理模块，还用于根据所述第一人脸数据确定人眼区域，得到第一人眼图片；

所述判断模块，用于进行虹膜识别，确定人眼主体是否属于已认证用户；

所述数据处理模块，还用于当所述人眼主体属于已认证用户时，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据；

所述视线追踪模块，用于根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为。

可选地，还包括显示模块、提示模块和参数调整模块；

所述显示模块，用于当所述人眼主体不属于已认证用户时，显示第一测试目标；

所述提示模块，用于提示用户注视所述第一测试目标；

所述图像采集模块，还用于采集第二图像数据，从所述第二图像数据提取第二眼动数据；

所述参数调整模块，用于根据预设的视线映射关系调整所述VR眼镜的显示参数。

可选地，所述视线追踪模型的建立步骤包括：

通过无线网络从服务器的图像数据库里获取训练图像；

从所述训练图像中定位人脸，提取人脸图片；

对所述人脸图片进行归一化处理，得到训练用人脸图片；

将所述训练用人脸图片输入卷积神经网络进行训练；

输出视线方向向量；

对所述视线方向向量进行验证，根据验证结果完善所述卷积神经网络，得到视线追踪模型。

可选地，在所述当所述人眼主体属于已认证用户时，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据的步骤中，所述数据处理模块具体用于：

在所述第一人眼图片中按预设规则选定一个第一瞳孔中心，以所述第一瞳孔中心为发射点向外发出第一预设数量的射线；

从所述射线中选定第一射线，沿所述第一射线的方向逐个计算所述第一射线经过的像素点的像素灰度值差；

当所述像素灰度值差超过预设的差值阈值时，则停止计算像素灰度值差，并确定对应的像素点为瞳孔区域的边缘特征点；

以所述边缘特征点作为起始点朝所述第一射线的另一方向继续计算像素灰度差值以定位所述另一方向的瞳孔边缘特征点；

以所述第一瞳孔中心为全部瞳孔边缘特征点的几何中心，重复上述步骤至所述第一瞳孔中心收敛得到瞳孔轮廓点；

以所述瞳孔轮廓点作为第一眼动数据。

可选地，所述第一眼动行为包括注视、扫视和平滑追踪；

所述处理模块，还用于：

根据所述第一眼动行为确定第一眼势交互数据；

根据眼势与操作指令之间的映射关系，确定所述第一眼势交互数据对应的第一操作指令；

执行所述第一操作指令。

本发明的另一方面提供一种应用于VR眼镜的视线追踪方法，包括：

采集第一图像数据；

从所述第一图像数据中提取第一人脸数据和第一头部姿势数据；

根据所述第一人脸数据确定人眼区域，得到第一人眼图片；

进行虹膜识别，确定人眼主体是否属于已认证用户；

当所述人眼主体属于已认证用户时，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据；

根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为。

可选地，还包括：

当所述人眼主体不属于已认证用户时，显示第一测试目标；

提示用户注视所述第一测试目标；

采集第二图像数据，从所述第二图像数据提取第二眼动数据；

根据预设的视线映射关系调整所述VR眼镜的显示参数。

可选地，建立所述视线追踪模型的方法包括：

通过无线网络从服务器的图像数据库里获取训练图像；

从所述训练图像中定位人脸，提取人脸图片；

对所述人脸图片进行归一化处理，得到训练用人脸图片；

将所述训练用人脸图片输入卷积神经网络进行训练；

输出视线方向向量；

对所述视线方向向量进行验证，根据验证结果完善所述卷积神经网络，得到视线追踪模型。

可选地，所述当所述人眼主体属于已认证用户时，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据的步骤，包括：

在所述第一人眼图片中按预设规则选定一个第一瞳孔中心，以所述第一瞳孔中心为发射点向外发出第一预设数量的射线；

从所述射线中选定第一射线，沿所述第一射线的方向逐个计算所述第一射线经过的像素点的像素灰度值差；

当所述像素灰度值差超过预设的差值阈值时，则停止计算像素灰度值差，并确定对应的像素点为瞳孔区域的边缘特征点；

以所述边缘特征点作为起始点朝所述第一射线的另一方向继续计算像素灰度差值以定位所述另一方向的瞳孔边缘特征点；

以所述第一瞳孔中心为全部瞳孔边缘特征点的几何中心，重复上述步骤至所述第一瞳孔中心收敛得到瞳孔轮廓点；

以所述瞳孔轮廓点作为第一眼动数据。

可选地，所述第一眼动行为包括注视、扫视和平滑追踪；

在所述根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为的步骤之后，还包括：

根据所述第一眼动行为确定第一眼势交互数据；

根据眼势与操作指令之间的映射关系，确定所述第一眼势交互数据对应的第一操作指令；

执行所述第一操作指令。

采用本发明的技术方案，所述视线追踪系统包括图像采集模块、数据处理模块、判断模块和视线追踪模块，通过从采集的第一图像数据中提取第一人脸数据和第一头部姿势数据；根据所述第一人脸数据确定人眼区域，得到第一人眼图片，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据；根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为，不仅能满足精确的视线计算和定位，而且能实现精确的眼控操作和交互，提升了用户的交互体验。

附图说明

图1是本发明一个实施例提供的应用于VR眼镜的视线追踪系统的示意框图；

图2是本发明另一个实施例提供的应用于VR眼镜的视线追踪系统及方法方法流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

下面参照图1至图2来描述根据本发明一些实施方式提供的一种应用于VR眼镜的视线追踪系统及方法。

如图1所示，本发明一个实施例提供一种应用于VR眼镜的视线追踪系统，包括：图像采集模块、数据处理模块、判断模块和视线追踪模块；

所述图像采集模块，用于采集第一图像数据；

所述数据处理模块，用于从所述第一图像数据中提取第一人脸数据和第一头部姿势数据；

所述数据处理模块，还用于根据所述第一人脸数据确定人眼区域，得到第一人眼图片；

所述判断模块，用于进行虹膜识别，确定人眼主体是否属于已认证用户；

所述数据处理模块，还用于当所述人眼主体属于已认证用户时，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据；

所述视线追踪模块，用于根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为。

可以理解的是，在本发明的实施例中，所述图像采集模块可以为摄像头，其拍摄角度可以调节；摄像头的个数至少为两个，分别正对左右脸部设置，可以采集到人脸数据、肩部数据、颈部数据、头部数据等。

应当说明的是，头部运动会改变眼睛图像的外观信息，同时眼睛注视点变化通常会伴随着头部的偏移。头部姿势可以用VR眼镜的摄像头为原点的三维空间坐标系的头部运动偏移量来表示，即可以通过VR眼镜内的摄像头及其他传感器与图像处理的方法计算头部姿势数据。具体地，头部姿态检测是通过2D图像映射到3D图像，得到人脸姿态的朝向，主要检测的参数是：抬头(围绕X轴旋转)、摇头(围绕Y轴旋转)和转头(围绕Z轴旋转)。检测方法可以是：2D人脸关键点检测，3D人脸模型匹配求解，3D点和对应2D点的转换关系，根据旋转矩阵求解欧拉角。

本发明的实施例中，对于已认证用户，视线追踪系统已保存了其个性化特征数据及与其相匹配的显示参数和操作参数等，不用再进行复杂的个性化调试过程，是故，本方案中根据所述第一人脸数据确定人眼区域得到第一人眼图片后，进行虹膜识别，确定人眼主体是否属于已认证用户。当所述人眼主体属于已认证用户时，从所述第一人眼图片中提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据；再根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为，进行视线追踪。

采用该实施例的技术方案，所述视线追踪系统包括图像采集模块、数据处理模块、判断模块和视线追踪模块，通过从采集的第一图像数据中提取第一人脸数据和第一头部姿势数据；根据所述第一人脸数据确定人眼区域，得到第一人眼图片，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据；根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为，不仅能满足精确的视线计算和定位，而且能实现精确的眼控操作和交互，提升了用户的交互体验。

应当知道的是，图1所示的应用于VR眼镜的视线追踪系统的框图仅作示意，其所示出的各模块的数量并不对本发明的保护范围进行限定。

在本发明一些可能的实施方式中，还包括显示模块、提示模块和参数调整模块；

所述显示模块，用于当所述人眼主体不属于已认证用户时，显示第一测试目标；

所述提示模块，用于提示用户注视所述第一测试目标；

所述图像采集模块，还用于采集第二图像数据，从所述第二图像数据提取第二眼动数据；

所述参数调整模块，用于根据预设的视线映射关系调整所述VR眼镜的显示参数。

可以理解的是，不同的用户的生理特征不同，生活习性不同，行为习惯不相同，因此眼动特征也不相同，对应地，适应不同用户的VR眼镜的显示参数也会不同。为了完美适应不同的用户的眼动特征，以取得更好的视线追踪效果，带来良好的使用体验，在本发明的实施例中，当所述人眼主体不属于已认证用户时，启动测试流程，通过在VR眼镜的屏幕显示或者通过三维投影显示预先设置的第一测试目标，并通过语音提示等方法提示用户注视所述第一测试目标；同时采集包括用户面部图像的第二图像数据，并从所述第二图像数据提取第二眼动数据，再根据所述第二眼动数据得到对应的视线数据，最后根据对应的视线数据与预设的视线映射关系(即视线数据与VR眼镜显示参数间的映射关系)调整所述VR眼镜的显示参数。

具体地，测试流程可以为：在显示区域范围内随机每次出现一个闪烁的目标点(亮点或者某个图案)，目标点持续的时间为3-5秒，目标点显示的颜色可以为任意颜色，优选地，在同一组测试中，目标点显示颜色为同一种。引导用户注视亮点或图案，当用户注视目标点时，VR眼镜上的摄像模块记录图像。将目标点的像素位置设为(x₀,y₀)，像素和物理长度的比值为a(pixel/mm)，即可通过比值计算可得到注视目标的实际坐标(x,y)，结合VR眼镜上的摄像模块记录图像中提取到的眼动数据(如前述，可进一步得到视线数据)，最后根据对应的视线数据与预设的视线映射关系调整所述VR眼镜的显示参数。

在本发明一些可能的实施方式中，所述视线追踪模型的建立步骤包括：

通过无线网络从服务器的图像数据库里获取训练图像；

从所述训练图像中定位人脸，提取人脸图片；

对所述人脸图片进行归一化处理，得到训练用人脸图片；

将所述训练用人脸图片输入卷积神经网络进行训练；

输出视线方向向量；

对所述视线方向向量进行验证，根据验证结果完善所述卷积神经网络，得到视线追踪模型。

可以理解的是，为了利用图片的相对空间关系来有效减少参数数量，以提高训练效果，本发明的实施例中，通过卷积神经网络来进行网络训练，本实施例中的卷积神经网络包含了49个卷积层和一个全连接层，当然也可以根据实际需求设置不同的卷积神经网络结构，本发明对此不作限制。

首先对从服务器的图像数据库里获取的所述训练图像进行预处理，进行人脸定位并提取人脸图片，将人脸图片调整为预设标准像素尺寸(如448*448像素尺寸)，然后将调整尺寸后的人脸图片输入到前述卷积神经网络中进行训练，以输出二维视线方向向量；最后对所述视线方向向量进行验证，根据验证结果完善所述卷积神经网络，得到视线追踪模型。

在本发明一些可能的实施方式中，所述数据处理模块，还用于当所述人眼主体属于已认证用户时，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据中，所述数据处理模块具体用于：

S01、在所述第一人眼图片中按预设规则选定一个第一瞳孔中心，以所述第一瞳孔中心为发射点向外发出第一预设数量的射线；

S02、从所述射线中选定第一射线，沿所述第一射线的方向逐个计算所述第一射线经过的像素点的像素灰度值差；

S03、当所述像素灰度值差超过预设的差值阈值时，则停止计算像素灰度值差，并确定对应的像素点为瞳孔区域的边缘特征点；

S04、以所述边缘特征点作为起始点朝所述第一射线的另一方向继续计算像素灰度差值以定位所述另一方向的瞳孔边缘特征点；

S05、以所述第一瞳孔中心为全部瞳孔边缘特征点的几何中心，重复上述步骤至所述第一瞳孔中心收敛得到瞳孔轮廓点；

S06、以所述瞳孔轮廓点作为第一眼动数据。

可以理解的是，为了提高提取眼动数据的准确度和精细度，以最终提升视线追踪的精度，在本发明的实施例中，以基于瞳孔的特征来得到第一眼动数据，可以很好地应用于高对比度眼部图像的瞳孔检测和定位。

在本发明一些可能的实施方式中，所述第一眼动行为包括注视、扫视和平滑追踪；

所述处理模块，还用于：

根据所述第一眼动行为确定第一眼势交互数据；

根据眼势与操作指令之间的映射关系，确定所述第一眼势交互数据对应的第一操作指令；

执行所述第一操作指令。

可以理解的是，所述注视是指人眼的视线在一段时间停留在某个固定点的行为。人眼在注视某点时注视点并非完全固定不动，而是存在细微的偏移。这种偏移的角度不会超过0.5度，速度不超过0.5度/秒。所述扫视是指人眼从一个注视点迅速切换至另一个注视点的行为。如果注视目标是静止的，扫视发生在转换注视目标的时刻；如果注视目标是运动的，扫视则会补偿运动物体的视野消失。通常扫视的速度很快，为600角/秒左右，一般扫视的持续时间为10-80毫秒。所述平滑追踪一般是指人眼需要观察相对缓慢而匀速运动物体所采取的行为，平滑追踪的速度在30毫米/秒或以下。

在本发明的实施例中，根据所述第一眼动行为可以确定第一眼势交互数据，可以理解的是，在眼睛有意识的扫视过程中，注视点形成的轨迹即为眼势。根据行程可以将眼势分为单步长眼势和多步长眼势。单步长眼势是指单程的扫视，视线从一个活动区域跳至另一个活动区域。多步长眼势指具有多个行程的眼势，视线在多个(不少于3个)活动区域中跳跃。可以将视线出发的区域称为起始域，视线到达的区域称为终点域，在移动过程中发生轨迹转折的区域称为转折域。根据视线的运动方向(角度)可将单步长眼势分为：垂直扫视运动(由上至下、由下至上)、由水平扫视运动(左到右、由右到左)、斜对角扫视运动(由左上到右下、由右下到左上、由左下到右上和由右上到左下)。还可以根据注视点轨迹的长度将眼势分为短距离眼势和长距离眼势。通过对眼势进行划分分类，有利于明确各个眼势动作的所代表的操作含义。当然，还可以进一步对眼势进行细化，以对应到更多眼势动作。

本发明的实施例，通过从所述第一眼动行为中确定第一眼势交互数据，再根据眼势与操作指令之间的映射关系，确定所述第一眼势交互数据对应的第一操作指令，最后执行所述第一操作指令，所述第一操作指令可以是对VR眼镜的操作，也可以是可以与VR眼镜进行直接或间接连接的其他智能终端的操作。通过本发明，实现了基于VR眼镜的精准的视线追踪，丰富了视线交互的操作类型。

请参见图2，本发明的另一实施例提供一种应用于VR眼镜的视线追踪方法，包括：

采集第一图像数据；

从所述第一图像数据中提取第一人脸数据和第一头部姿势数据；

根据所述第一人脸数据确定人眼区域，得到第一人眼图片；

进行虹膜识别，确定人眼主体是否属于已认证用户；

当所述人眼主体属于已认证用户时，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据；

根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为。

可以理解的是，在本发明的实施例中，所述图像采集模块可以为摄像头，其拍摄角度可以调节；摄像头的个数至少为两个，分别正对左右脸部设置，可以采集到人脸数据、肩部数据、颈部数据、头部数据等。

应当说明的是，头部运动会改变眼睛图像的外观信息，同时眼睛注视点变化通常会伴随着头部的偏移。头部姿势可以用VR眼镜的摄像头为原点的三维空间坐标系的头部运动偏移量来表示，即可以通过VR眼镜内的摄像头及其他传感器与图像处理的方法计算头部姿势数据。具体地，头部姿态检测是通过2D图像映射到3D图像，得到人脸姿态的朝向，主要检测的参数是：抬头(围绕X轴旋转)、摇头(围绕Y轴旋转)和转头(围绕Z轴旋转)。检测方法可以是：2D人脸关键点检测，3D人脸模型匹配求解，3D点和对应2D点的转换关系，根据旋转矩阵求解欧拉角。

本发明的实施例中，对于已认证用户，视线追踪系统已保存了其个性化特征数据及与其相匹配的显示参数和操作参数等，不用再进行复杂的个性化调试过程，是故，本方案中根据所述第一人脸数据确定人眼区域得到第一人眼图片后，进行虹膜识别，确定人眼主体是否属于已认证用户。当所述人眼主体属于已认证用户时，从所述第一人眼图片中提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据；再根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为，进行视线追踪。

采用该实施例的技术方案，所述视线追踪系统包括图像采集模块、数据处理模块、判断模块和视线追踪模块，通过从采集的第一图像数据中提取第一人脸数据和第一头部姿势数据；根据所述第一人脸数据确定人眼区域，得到第一人眼图片，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据；根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为，不仅能满足精确的视线计算和定位，而且能实现精确的眼控操作和交互，提升了用户的交互体验。

在本发明一些可能的实施方式中，还包括：

当所述人眼主体不属于已认证用户时，显示第一测试目标；

提示用户注视所述第一测试目标；

采集第二图像数据，从所述第二图像数据提取第二眼动数据；

根据预设的视线映射关系调整所述VR眼镜的显示参数。

可以理解的是，不同的用户的生理特征不同，生活习性不同，行为习惯不相同，因此眼动特征也不相同，对应地，适应不同用户的VR眼镜的显示参数也会不同。为了完美适应不同的用户的眼动特征，以取得更好的视线追踪效果，带来良好的使用体验，在本发明的实施例中，当所述人眼主体不属于已认证用户时，启动测试流程，通过在VR眼镜的屏幕显示或者通过三维投影显示预先设置的第一测试目标，并通过语音提示等方法提示用户注视所述第一测试目标；同时采集包括用户面部图像的第二图像数据，并从所述第二图像数据提取第二眼动数据，再根据所述第二眼动数据得到对应的视线数据，最后根据对应的视线数据与预设的视线映射关系(即视线数据与VR眼镜显示参数间的映射关系)调整所述VR眼镜的显示参数。

具体地，测试流程可以为：在显示区域范围内随机每次出现一个闪烁的目标点(亮点或者某个图案)，目标点持续的时间为3-5秒，目标点显示的颜色可以为任意颜色，优选地，在同一组测试中，目标点显示颜色为同一种。引导用户注视亮点或图案，当用户注视目标点时，VR眼镜上的摄像模块记录图像。将目标点的像素位置设为(x₀,y₀)，像素和物理长度的比值为a(pixel/mm)，即可通过比值计算可得到注视目标的实际坐标(x,y)，结合VR眼镜上的摄像模块记录图像中提取到的眼动数据(如前述，可进一步得到视线数据)，最后根据对应的视线数据与预设的视线映射关系调整所述VR眼镜的显示参数。

在本发明一些可能的实施方式中，建立所述视线追踪模型的方法包括：

通过无线网络从服务器的图像数据库里获取训练图像；

从所述训练图像中定位人脸，提取人脸图片；

对所述人脸图片进行归一化处理，得到训练用人脸图片；

将所述训练用人脸图片输入卷积神经网络进行训练；

输出视线方向向量；

对所述视线方向向量进行验证，根据验证结果完善所述卷积神经网络，得到视线追踪模型。

可以理解的是，为了利用图片的相对空间关系来有效减少参数数量，以提高训练效果，本发明的实施例中，通过卷积神经网络来进行网络训练，本实施例中的卷积神经网络包含了49个卷积层和一个全连接层，当然也可以根据实际需求设置不同的卷积神经网络结构，本发明对此不作限制。

首先对从服务器的图像数据库里获取的所述训练图像进行预处理，进行人脸定位并提取人脸图片，将人脸图片调整为预设标准像素尺寸(如448*448像素尺寸)，然后将调整尺寸后的人脸图片输入到前述卷积神经网络中进行训练，以输出二维视线方向向量；最后对所述视线方向向量进行验证，根据验证结果完善所述卷积神经网络，得到视线追踪模型。

在本发明一些可能的实施方式中，所述当所述人眼主体属于已认证用户时，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据的步骤，包括：

S20、在所述第一人眼图片中按预设规则选定一个第一瞳孔中心，以所述第一瞳孔中心为发射点向外发出第一预设数量的射线；

S21、从所述射线中选定第一射线，沿所述第一射线的方向逐个计算所述第一射线经过的像素点的像素灰度值差；

S22、当所述像素灰度值差超过预设的差值阈值时，则停止计算像素灰度值差，并确定对应的像素点为瞳孔区域的边缘特征点；

S23、以所述边缘特征点作为起始点朝所述第一射线的另一方向继续计算像素灰度差值以定位所述另一方向的瞳孔边缘特征点；

S24、以所述第一瞳孔中心为全部瞳孔边缘特征点的几何中心，重复上述步骤至所述第一瞳孔中心收敛得到瞳孔轮廓点；

S25、以所述瞳孔轮廓点作为第一眼动数据。

可以理解的是，为了提高提取眼动数据的准确度和精细度，以最终提升视线追踪的精度，在本发明的实施例中，以基于瞳孔的特征来得到第一眼动数据，可以很好地应用于高对比度眼部图像的瞳孔检测和定位。

在本发明一些可能的实施方式中，所述第一眼动行为包括注视、扫视和平滑追踪；

在所述根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为的步骤之后，还包括：

根据所述第一眼动行为确定第一眼势交互数据；

根据眼势与操作指令之间的映射关系，确定所述第一眼势交互数据对应的第一操作指令；

执行所述第一操作指令。

可以理解的是，所述注视是指人眼的视线在一段时间停留在某个固定点的行为。人眼在注视某点时注视点并非完全固定不动，而是存在细微的偏移。这种偏移的角度不会超过0.5度，速度不超过0.5度/秒。所述扫视是指人眼从一个注视点迅速切换至另一个注视点的行为。如果注视目标是静止的，扫视发生在转换注视目标的时刻；如果注视目标是运动的，扫视则会补偿运动物体的视野消失。通常扫视的速度很快，为600角/秒左右，一般扫视的持续时间为10-80毫秒。所述平滑追踪一般是指人眼需要观察相对缓慢而匀速运动物体所采取的行为，平滑追踪的速度在30毫米/秒或以下。

在本发明的实施例中，根据所述第一眼动行为可以确定第一眼势交互数据，可以理解的是，在眼睛有意识的扫视过程中，注视点形成的轨迹即为眼势。根据行程可以将眼势分为单步长眼势和多步长眼势。单步长眼势是指单程的扫视，视线从一个活动区域跳至另一个活动区域。多步长眼势指具有多个行程的眼势，视线在多个(不少于3个)活动区域中跳跃。可以将视线出发的区域称为起始域，视线到达的区域称为终点域，在移动过程中发生轨迹转折的区域称为转折域。根据视线的运动方向(角度)可将单步长眼势分为：垂直扫视运动(由上至下、由下至上)、由水平扫视运动(左到右、由右到左)、斜对角扫视运动(由左上到右下、由右下到左上、由左下到右上和由右上到左下)。还可以根据注视点轨迹的长度将眼势分为短距离眼势和长距离眼势。通过对眼势进行划分分类，有利于明确各个眼势动作的所代表的操作含义。当然，还可以进一步对眼势进行细化，以对应到更多眼势动作。

本发明的实施例，通过从所述第一眼动行为中确定第一眼势交互数据，再根据眼势与操作指令之间的映射关系，确定所述第一眼势交互数据对应的第一操作指令，最后执行所述第一操作指令，所述第一操作指令可以是对VR眼镜的操作，也可以是可以与VR眼镜进行直接或间接连接的其他智能终端的操作。通过本发明，实现了基于VR眼镜的精准的视线追踪，丰富了视线交互的操作类型。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，可轻易想到变化或替换，均可作各种更动与修改，包含上述不同功能、实施步骤的组合，包含软件和硬件的实施方式，均在本发明的保护范围。

Claims (4)

1.一种应用于VR眼镜的视线追踪系统，其特征在于，包括：图像采集模块、数据处理模块、判断模块和视线追踪模块；

所述图像采集模块，用于采集第一图像数据；

所述数据处理模块，用于从所述第一图像数据中提取第一人脸数据和第一头部姿势数据；

所述数据处理模块，还用于根据所述第一人脸数据确定人眼区域，得到第一人眼图片；

所述判断模块，用于进行虹膜识别，确定人眼主体是否属于已认证用户；

所述数据处理模块，还用于当所述人眼主体属于已认证用户时，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据；

所述视线追踪模块，用于根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为；

还包括显示模块、提示模块和参数调整模块；

所述显示模块，用于当所述人眼主体不属于已认证用户时，通过三维投影显示预先设置的第一测试目标，具体是：通过三维投影在显示区域范围内随机每次显示一个闪烁的所述第一测试目标，所述第一测试目标显示的持续时间为3-5秒，在同一组测试中，所述第一测试目标显示颜色为同一种；

所述提示模块，用于通过语音提示用户注视所述第一测试目标；

所述图像采集模块，还用于当用户注视所述第一测试目标时采集第二图像数据，从所述第二图像数据提取第二眼动数据；

所述参数调整模块，用于根据预设的视线映射关系调整所述VR眼镜的显示参数，具体是：将所述第一测试目标的像素位置设为(x0,y0)，像素和物理长度的比值为a(pixel/mm)；通过所述比值计算可得到注视目标的实际坐标(x ,y)；根据所述第二眼动数据得对应的视线数据；根据对应的视线数据与所述预设的视线映射关系调整所述VR眼镜的显示参数；

所述视线追踪模型的建立步骤包括：

通过无线网络从服务器的图像数据库里获取训练图像；

从所述训练图像中定位人脸，提取人脸图片；

对所述人脸图片进行归一化处理，得到训练用人脸图片；

将所述训练用人脸图片输入卷积神经网络进行训练；

输出视线方向向量；

对所述视线方向向量进行验证，根据验证结果完善所述卷积神经网络，得到视线追踪模型；

在所述当所述人眼主体属于已认证用户时，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据的步骤中，所述数据处理模块具体用于：

在所述第一人眼图片中按预设规则选定一个第一瞳孔中心，以所述第一瞳孔中心为发射点向外发出第一预设数量的射线；

从所述射线中选定第一射线，沿所述第一射线的方向逐个计算所述第一射线经过的像素点的像素灰度值差；

当所述像素灰度值差超过预设的差值阈值时，则停止计算像素灰度值差，并确定对应的像素点为瞳孔区域的边缘特征点；

以所述边缘特征点作为起始点朝所述第一射线的另一方向继续计算像素灰度差值以定位所述另一方向的瞳孔边缘特征点；

以所述第一瞳孔中心为全部瞳孔边缘特征点的几何中心，重复上述步骤至所述第一瞳孔中心收敛得到瞳孔轮廓点；

以所述瞳孔轮廓点作为第一眼动数据。

2.根据权利要求1所述的应用于VR眼镜的视线追踪系统，其特征在于，所述第一眼动行为包括注视、扫视和平滑追踪；

所述处理模块，还用于：

根据所述第一眼动行为确定第一眼势交互数据；

根据眼势与操作指令之间的映射关系，确定所述第一眼势交互数据对应的第一操作指令；

执行所述第一操作指令。

3.一种应用于VR眼镜的视线追踪方法，其特征在于，包括：

采集第一图像数据；

从所述第一图像数据中提取第一人脸数据和第一头部姿势数据；

根据所述第一人脸数据确定人眼区域，得到第一人眼图片；

进行虹膜识别，确定人眼主体是否属于已认证用户；

当所述人眼主体属于已认证用户时，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据；

根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为；

还包括：

当所述人眼主体不属于已认证用户时，通过三维投影显示预先设置的第一测试目标，具体是：通过三维投影在显示区域范围内随机每次显示一个闪烁的所述第一测试目标，所述第一测试目标显示的持续时间为3-5秒，在同一组测试中，所述第一测试目标显示颜色为同一种；

通过语音提示用户注视所述第一测试目标；

当用户注视所述第一测试目标时采集第二图像数据，从所述第二图像数据提取第二眼动数据；

根据预设的视线映射关系调整所述VR眼镜的显示参数，具体是：将所述第一测试目标的像素位置设为(x0,y0)，像素和物理长度的比值为a(pixel/mm)；通过所述比值计算可得到注视目标的实际坐标(x ,y)；根据所述第二眼动数据得对应的视线数据；根据对应的视线数据与所述预设的视线映射关系调整所述VR眼镜的显示参数；

建立所述视线追踪模型的方法包括：

通过无线网络从服务器的图像数据库里获取训练图像；

从所述训练图像中定位人脸，提取人脸图片；

对所述人脸图片进行归一化处理，得到训练用人脸图片；

将所述训练用人脸图片输入卷积神经网络进行训练；

输出视线方向向量；

对所述视线方向向量进行验证，根据验证结果完善所述卷积神经网络，得到视线追踪模型；

所述当所述人眼主体属于已认证用户时，提取第一眼动数据，并对所述第一眼动数据进行处理，得到第一眼动特征数据的步骤，包括：

在所述第一人眼图片中按预设规则选定一个第一瞳孔中心，以所述第一瞳孔中心为发射点向外发出第一预设数量的射线；

从所述射线中选定第一射线，沿所述第一射线的方向逐个计算所述第一射线经过的像素点的像素灰度值差；

当所述像素灰度值差超过预设的差值阈值时，则停止计算像素灰度值差，并确定对应的像素点为瞳孔区域的边缘特征点；

以所述边缘特征点作为起始点朝所述第一射线的另一方向继续计算像素灰度差值以定位所述另一方向的瞳孔边缘特征点；

以所述第一瞳孔中心为全部瞳孔边缘特征点的几何中心，重复上述步骤至所述第一瞳孔中心收敛得到瞳孔轮廓点；

以所述瞳孔轮廓点作为第一眼动数据。

4.根据权利要求3所述的应用于VR眼镜的视线追踪方法，其特征在于，所述第一眼动行为包括注视、扫视和平滑追踪；

在所述根据所述第一头部姿势数据和预先设置的视线追踪模型对所述第一眼动特征数据进行处理，识别出第一眼动行为的步骤之后，还包括：

根据所述第一眼动行为确定第一眼势交互数据；

根据眼势与操作指令之间的映射关系，确定所述第一眼势交互数据对应的第一操作指令；

执行所述第一操作指令。

Images