CN109194952B - 头戴式眼动追踪设备及其眼动追踪方法 - Google Patents

Abstract

本发明提供了一种头戴式眼动追踪设备及其眼动追踪方法。头戴式眼动追踪设备包括头戴式主体、第一摄像机、第二摄像机以及控制系统。第一摄像机设置在头戴式主体上，用于采集佩戴者的眼部运动图像。第二摄像机设置在头戴式主体上，用于采集佩戴者正前方的刺激图片的视野图像。控制系统与第一摄像机和第二摄像机分别连接。控制系统包括图像剪裁预处理模块、眼部运动图像处理模块、视野图像处理模块、回归模型建立模块以及注视点位置确定模块。本发明通过获取校准阶段瞳孔中心位置坐标和校准阶段标志物中心位置坐标，构建回归模型，利用这一回归模型计算使用者注视点位置，以实现眼动追踪，所需硬件设备简单，成本低廉，能应用于大规模使用场景中。

Description

头戴式眼动追踪设备及其眼动追踪方法

技术领域

本发明涉及眼动仪器仪表技术领域，具体地，涉及头戴式眼动追踪设备及其眼动追踪方法。

背景技术

随着科技发展及市场需要，眼动仪的应用价值在越来越多的场景中得到了注意，近年来眼动仪在心理学与神经科学，用户体验与交互，市场与消费者和技能学习与实践等诸多研究领域得到了广泛应用。

传统桌面式眼动仪需要将观看材料呈现在显示器上，受试者在显示器前接受测试，然而许多研究需要受试者处在真实的场景中才能有效地进行。例如在购物场景中研究商品包装对消费者的影响，在技能实践场景中研究非熟练者和熟练者之间的差异，在博物馆场景中研究参观者的关注点等，这些研究都需要使用头戴式眼动仪。而且，在VR/AR领域的研究更是需要用头戴式的眼动仪以保证沉浸式的体验。

发明内容

考虑到上述问题，根据本发明的一个方面，提供一种头戴式眼动追踪设备。

本发明提供地头戴式眼动追踪设备，包括：

头戴式主体；

第一摄像机，设置在所述头戴式主体上，用于采集佩戴者的眼部运动图像；

第二摄像机，设置在所述头戴式主体上，用于采集佩戴者正前方的刺激图片的视野图像；

控制系统，与所述第一摄像机和所述第二摄像机分别连接；

其中，所述控制系统包括：

图像剪裁预处理模块，用于将所述眼部运动图像及所述视野图像转化为灰度图，并剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分；

眼部运动图像处理模块，用于对剪裁后的眼部运动图像进行处理以提取瞳孔中心位置；

视野图像处理模块，用于对剪裁后的视野图像进行处理以提取刺激图片的标志物中心位置；

回归模型建立模块，用于校准时根据瞳孔中心位置数据和标志物中心位置数据建立回归模型；以及

注视点位置确定模块，用于测试时根据建立的回归模型由瞳孔中心位置计算注视点位置。

示例性地，所述控制系统还包括视频同步模块，用于提取于一提示音后采集的眼部运动图像的第一音频信号及该提示音后采集的视野图像的第二音频信号，分别对第一音频信号及第二音频信号进行变换计算得到第一音频信号包络和第二音频信号包络，并根据第一音频信号包络和第二音频信号包络将眼部运动图像与视野图像对齐。

示例性地，所述眼部运动图像处理模块包括：

阈值设定模块，用于设定瞳孔初始二值化阈值；

图像二值化模块，用于将剪裁后的眼部运动图像二值化，并对二值化后的眼部运动图像进行闭运算，将各区域联通，之后去除边界区域；以及

瞳孔中心位置提取模块，用于判断图像中联通的各区域边界是否为椭圆形，大小是否满足瞳孔初始二值化阈值，如果同时满足条件取其椭圆中心为瞳孔中心位置；如果椭圆形过小，则提高二值化阈值重新检测；如果椭圆形过大则降低二值化阈值重新检测；如果无法找到椭圆形则保留上一帧检测结果。

示例性地，所述视野图像处理模块包括：

角点提取模块，用于对视野图像进行Harris角点提取；以及

标志物中心位置提取模块，用于根据刺激图片的特点，取角点密集区域的中心为标志物中心。

示例性地，所述刺激图片包括：

黑色十字标志物中心位于图片中心的中心黑色十字形标志物图片；

黑色十字标志物中心距离图片左边缘150像素、距离图片上边缘150像素的左上黑色十字形标志物图片；

黑色十字标志物中心距离图片右边缘150像素、距离图片上边缘150像素的右上黑色十字形标志物图片；

黑色十字标志物中心距离图片左边缘150像素、距离图片下边缘150像素的左下黑色十字形标志物图片；以及

黑色十字标志物中心距离图片右边缘150像素、距离图片下边缘150像素的右下黑色十字形标志物图片。

根据本发明的另一个方面，提供一种眼动追踪方法，包括：

采集佩戴者的眼部运动图像；

采集佩戴者正前方的刺激图片的视野图像；

图像剪裁预处理，将所述眼部运动图像及所述视野图像转化为灰度图，并剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分；

眼部运动图像处理，对剪裁后的眼部运动图像进行处理以提取瞳孔中心位置；

视野图像处理，对剪裁后的视野图像进行处理以提取刺激图片的标志物中心位置；

回归模型建立，于校准时根据瞳孔中心位置数据和标志物中心位置数据建立回归模型；以及

注视点位置确定，于测试时根据建立的回归模型由瞳孔中心位置计算注视点位置。

示例性地，采集佩戴者正前方的刺激图片的视野图像时，包括：

将中心黑色十字形标志物图片、左上黑色十字形标志物图片、右上黑色十字形标志物图片、左下黑色十字形标志物图片及右下黑色十字形标志物图片依次显示3-5秒钟。

示例性地，于校准时，在对图像剪裁预处理前，还包括：

于一提示音后采集眼部运动图像的第一音频信号及该提示音后采集视野图像的第二音频信号，分别对第一音频信号及第二音频信号进行变换计算得到第一音频信号包络和第二音频信号包络，并根据第一音频信号包络和第二音频信号包络将眼部运动图像与视野图像对齐。

示例性地，所述眼部运动图像处理包括：

阈值设定，设定瞳孔初始二值化阈值；

图像二值化，将剪裁后的眼部运动图像二值化，并对二值化后的眼部运动图像进行闭运算，将各区域联通，之后去除边界区域；以及

瞳孔中心位置提取，判断图像中联通的各区域边界是否为椭圆形，大小是否满足瞳孔初始二值化阈值，如果同时满足条件取其椭圆中心为瞳孔中心位置；如果椭圆形过小，则提高二值化阈值重新检测；如果椭圆形过大则降低二值化阈值重新检测；如果无法找到椭圆形则保留上一帧检测结果。

示例性地，所述视野图像处理包括：

角点提取，对视野图像进行Harris角点提取；以及

标志物中心位置提取，根据刺激图片的特点，取角点密集区域的中心为标志物中心。

本发明的头戴式眼动追踪设备，通过获取校准阶段瞳孔中心位置坐标和校准阶段标志物中心位置坐标，构建回归模型，利用这一回归模型计算使用者注视点位置，以实现眼动追踪，所需硬件设备简单，成本低廉，能应用于大规模使用场景中。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是根据本发明实施例的头戴式眼动追踪设备的结构框图；

图2是图1中的控制系统的结构框图；

图3是图2中的眼部运动图像处理模块的结构框图；

图4是根据本发明实施例的眼动跟踪方法的流程示意图；

图5是根据本发明实施例的刺激图片的示意图。

其中，附图标记为

110—头戴式主体

120—第一摄像机

130—第二摄像机

140—控制系统

141—视频同步模块

142—图像剪裁预处理模块

143—眼部运动图像处理模块

144—视野图像处理模块

145—回归模型建立模块

146—注视点位置确定模块

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

如图1所示，本发明提供的头戴式眼动追踪设备，包括头戴式主体110、第一摄像机120、第二摄像机130和控制系统140。示例性地，头戴式主体可以是常用的护目镜，也可以是常用的眼镜。第一摄像机120设置在头戴式主体110上，用于采集佩戴者的眼部运动图像，示例性地，第一摄像机120可以固定在头戴式主体110的对应右眼的框体上，在未示出的实施例中，还可以固定在头戴式主体110的对应左眼的框体上。第二摄像机130也设置在头戴式主体110上，用于采集佩戴者正前方的刺激图片的视野图像，示例性地，第二摄像机130固定在头戴式主体110的对应佩戴者眉心正上方的框体上。控制系统140与第一摄像机120和第二摄像机130分别连接，控制系统140与第一摄像机120和第二摄像机130的连接方式可以是通过数据线连接，也可以是无线连接。

结合参阅图2，控制系统140包括视频同步模块141、图像剪裁预处理模块142、眼部运动图像处理模块143、视野图像处理模块144、回归模型建立模块145以及注视点位置确定模块146。

视频同步模块141用于提取于一提示音后采集的眼部运动图像的第一音频信号及该提示音后采集的视野图像的第二音频信号，分别对第一音频信号及第二音频信号进行变换计算得到第一音频信号包络和第二音频信号包络，并根据第一音频信号包络和第二音频信号包络将眼部运动图像与视野图像对齐。

图像剪裁预处理模块142用于将所述眼部运动图像及所述视野图像转化为灰度图，并剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分。

眼部运动图像处理模块143用于对剪裁后的眼部运动图像进行处理以提取瞳孔中心位置。如图3所示，眼部运动图像处理模块143包括阈值设定模块1431、图像二值化模块1432和瞳孔中心位置提取模块1433。阈值设定模块1431用于设定瞳孔初始二值化阈值。图像二值化模块1432用于将剪裁后的眼部运动图像二值化，并对二值化后的眼部运动图像进行闭运算，将各区域联通，之后去除边界区域。瞳孔中心位置提取模块1433用于判断图像中联通的各区域边界是否为椭圆形，大小是否满足瞳孔初始二值化阈值，如果同时满足条件取其椭圆中心为瞳孔中心位置；如果椭圆形过小，则提高二值化阈值重新检测；如果椭圆形过大则降低二值化阈值重新检测；如果无法找到椭圆形则保留上一帧检测结果。

视野图像处理模块144用于对剪裁后的视野图像进行处理以提取刺激图片的标志物中心位置。示例性地，视野图像处理模块144包括角点提取模块和标志物中心位置提取模块。角点提取模块用于对视野图像进行Harris角点提取。标志物中心位置提取模块用于根据刺激图片的特点(根据刺激图片的特点为在十字形标志物中心附近角点最密集)，取角点密集区域的中心为标志物中心。

结合参阅图5，本发明实施例的刺激图片包括黑色十字标志物中心位于图片中心的中心黑色十字形标志物图片；黑色十字标志物中心距离图片左边缘150像素、距离图片上边缘150像素的左上黑色十字形标志物图片；黑色十字标志物中心距离图片右边缘150像素、距离图片上边缘150像素的右上黑色十字形标志物图片；黑色十字标志物中心距离图片左边缘150像素、距离图片下边缘150像素的左下黑色十字形标志物图片；以及黑色十字标志物中心距离图片右边缘150像素、距离图片下边缘150像素的右下黑色十字形标志物图片。刺激图片主要用于校准阶段刺激图片选用白底黑色十字形标志物图片，包含中心、左上、右上、左下、右下五种，每种图片中黑色十字标志物在相应位置，其余部分为空白；所用五种刺激图片具有相同大小，均为1920×1080像素，黑色十字形标志物十字臂长100像素，十字臂宽20像素。在校准阶段，需要按顺序显示各刺激图片，显示次序可以为：中心黑色十字形标志物刺激图片，左上黑色十字形标志物刺激图片，右上黑色十字形标志物刺激图片，左下黑色十字形标志物刺激图片，右下黑色十字形标志物刺激图片；刺激图片刺激时间可以为：每张图片各显示3s。

回归模型建立模块145用于校准时根据瞳孔中心位置数据和标志物中心位置数据建立回归模型。

注视点位置确定模块146用于测试时根据建立的回归模型由瞳孔中心位置计算注视点位置。

请参考图4，其示出了本发明一个实施例提供的眼动跟踪方法的流程图。本实施例主要以该眼动跟踪方法应用于如图1所示的头戴式眼动追踪设备中来举例说明。该眼动跟踪方法，包括校准阶段和测试阶段。

于校准阶段时，包括：

步骤S110，校准开始，使用者佩戴上头戴式眼动追踪设备，给出一校准开始提示音信号，如拍手提示，于使用者正前方显示刺激图片。

步骤S120，启动第一摄像机120和第二摄像机130，分别采集佩戴者的眼部运动图像和采集佩戴者正前方的刺激图片的视野图像。

步骤S130，首先，于提示音后采集眼部运动图像的第一音频信号及该提示音后采集视野图像的第二音频信号，分别对第一音频信号及第二音频信号进行变换计算得到第一音频信号包络和第二音频信号包络，并根据第一音频信号包络和第二音频信号包络将眼部运动图像与视野图像对齐。

具体来说，分别对第一音频信号及第二音频信号进行如下操作：音频信号进行希尔伯特变换，由原始音频信号及其希尔伯特变换结果计算得到其音频包络：

找到两段音频信号包络中第一个峰值位置，即提示音的位置，去除两段视频(即眼部运动图像中的视频和视野图像中的视频)中提示音位置之前的部分将两段视频对齐。

然后，对图像剪裁预处理，具体地，包括将对齐后的眼部运动图像及视野图像转化为灰度图，并剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分。

步骤S140，眼部运动图像处理，对剪裁后的眼部运动图像进行处理以提取瞳孔中心位置，具体地，可包括步骤：

阈值设定，设定瞳孔初始二值化阈值；

图像二值化，将剪裁后的眼部运动图像二值化，并对二值化后的眼部运动图像进行闭运算，将各区域联通，之后去除边界区域；以及

瞳孔中心位置提取，判断图像中联通的各区域边界是否为椭圆形，大小是否满足瞳孔初始二值化阈值，如果同时满足条件取其椭圆中心为瞳孔中心位置；如果椭圆形过小，则提高二值化阈值重新检测；如果椭圆形过大则降低二值化阈值重新检测；如果无法找到椭圆形(如眨眼时)则保留上一帧检测结果。

步骤S150，视野图像处理，对剪裁后的视野图像进行处理以提取刺激图片的标志物中心位置；，具体地，可包括步骤：

角点提取，对视野图像进行Harris角点提取；以及

标志物中心位置提取，根据刺激图片的特点，取角点密集区域的中心为标志物中心。

步骤S160回归模型建立，根据瞳孔中心位置数据和标志物中心位置数据建立回归模型，具体地，可以建立两个二次回归模型，输入瞳孔中心位置横坐标Х_瞳孔和纵坐标У_瞳孔，分别输出标志物中心横坐标Х_标志和纵坐标У_标志：

根据校准阶段数据可以求得参数a_x，b_x，c_x，d_x，e_x，f_x，a_y，b_y，c_y，d_y，e_y，f_y。

步骤S170,保存模型。

于测试阶段时，包括：

步骤S210，测试开始，使用者佩戴上头戴式眼动追踪设备。

步骤S220，启动第一摄像机120采集佩戴者的眼部运动图像。

步骤S230，对图像剪裁预处理，具体地，包括将眼部运动图像转化为灰度图，并剪裁去除眼部运动图像中与眼部无关的部分。

步骤S140，眼部运动图像处理，对剪裁后的眼部运动图像进行处理以提取瞳孔中心位置，具体地，可包括步骤：

阈值设定，设定瞳孔初始二值化阈值；

图像二值化，将剪裁后的眼部运动图像二值化，并对二值化后的眼部运动图像进行闭运算，将各区域联通，之后去除边界区域；以及

瞳孔中心位置提取，判断图像中联通的各区域边界是否为椭圆形，大小是否满足瞳孔初始二值化阈值，如果同时满足条件取其椭圆中心为瞳孔中心位置；如果椭圆形过小，则提高二值化阈值重新检测；如果椭圆形过大则降低二值化阈值重新检测；如果无法找到椭圆形(如眨眼时)则保留上一帧检测结果。

然后，基于保存的模型和测试时提取的瞳孔中心位置，可以进行步骤S300注视点位置确定，根据建立的回归模型由瞳孔中心位置计算注视点位置，具体地，可将瞳孔中心位置坐标分别代入两个二次回归模型，求得注视点位置横坐标Х_注视和纵坐标У_注视：

其中参数a_x，b_x，c_x，d_x，e_x，f_x，a_y，b_y，c_y，d_y，e_y，f_y在校准阶段获得。

基于求得注视点位置横坐标Х_注视和纵坐标У_注视，可以标注出注视点的位置，从而达到眼动追踪的目的。

综上所述，本发明提供的头戴式眼动追踪设备，通过获取瞳孔中心位置数据和标志物中心位置数据建立回归模型，基于回归模型获取人眼注视点位置进行眼动跟踪，无需额外的硬件就能获取眼睛注视位置，所需硬件设备简单，成本低廉，且操作简单。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种头戴式眼动追踪设备，其特征在于，包括：

头戴式主体；

第一摄像机，设置在所述头戴式主体上，用于采集佩戴者的眼部运动图像；

第二摄像机，设置在所述头戴式主体上，用于采集佩戴者正前方的刺激图片的视野图像,所述刺激图片为白底黑色十字形标志物图片；

控制系统，与所述第一摄像机和所述第二摄像机分别连接；

其中，所述控制系统包括：

图像剪裁预处理模块，用于将所述眼部运动图像及所述视野图像转化为灰度图，并剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分；

眼部运动图像处理模块，用于对剪裁后的眼部运动图像进行处理以提取瞳孔中心位置；

视野图像处理模块，用于对剪裁后的视野图像进行处理以提取刺激图片的标志物中心位置；

回归模型建立模块，用于校准时根据瞳孔中心位置数据和标志物中心位置数据建立回归模型；

注视点位置确定模块，用于测试时根据建立的回归模型由瞳孔中心位置计算注视点位置；以及

视频同步模块，用于提取于一提示音后采集的眼部运动图像的第一音频信号及该提示音后采集的视野图像的第二音频信号，分别对第一音频信号及第二音频信号进行变换计算得到第一音频信号包络和第二音频信号包络，并根据第一音频信号包络和第二音频信号包络将眼部运动图像与视野图像对齐。

2.如权利要求1所述的头戴式眼动追踪设备，其特征在于，所述眼部运动图像处理模块包括：

阈值设定模块，用于设定瞳孔初始二值化阈值；

图像二值化模块，用于将剪裁后的眼部运动图像二值化，并对二值化后的眼部运动图像进行闭运算，将各区域联通，之后去除边界区域；以及

瞳孔中心位置提取模块，用于判断图像中联通的各区域边界是否为椭圆形，大小是否满足瞳孔初始二值化阈值，如果同时满足条件取其椭圆中心为瞳孔中心位置；如果椭圆形过小，则提高二值化阈值重新检测；如果椭圆形过大则降低二值化阈值重新检测；如果无法找到椭圆形则保留上一帧检测结果。

3.如权利要求1所述的头戴式眼动追踪设备，其特征在于，所述视野图像处理模块包括：

角点提取模块，用于对视野图像进行Harris角点提取；以及

标志物中心位置提取模块，用于根据刺激图片的特点，取角点密集区域的中心为标志物中心。

4.如权利要求1所述的头戴式眼动追踪设备，其特征在于，所述刺激图片包括：

黑色十字标志物中心位于图片中心的中心黑色十字形标志物图片；

黑色十字标志物中心距离图片左边缘150像素、距离图片上边缘150像素的左上黑色十字形标志物图片；

黑色十字标志物中心距离图片右边缘150像素、距离图片上边缘150像素的右上黑色十字形标志物图片；

黑色十字标志物中心距离图片左边缘150像素、距离图片下边缘150像素的左下黑色十字形标志物图片；以及

黑色十字标志物中心距离图片右边缘150像素、距离图片下边缘150像素的右下黑色十字形标志物图片。

5.一种眼动追踪方法，其特征在于，包括：

采集佩戴者的眼部运动图像；

采集佩戴者正前方的刺激图片的视野图像，将中心黑色十字形标志物图片、左上黑色十字形标志物图片、右上黑色十字形标志物图片、左下黑色十字形标志物图片及右下黑色十字形标志物图片依次显示3-5秒钟；

图像剪裁预处理，将所述眼部运动图像及所述视野图像转化为灰度图，并剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分；

眼部运动图像处理，对剪裁后的眼部运动图像进行处理以提取瞳孔中心位置；

视野图像处理，对剪裁后的视野图像进行处理以提取刺激图片的标志物中心位置；

回归模型建立，于校准时根据瞳孔中心位置数据和标志物中心位置数据建立回归模型；以及

注视点位置确定，于测试时根据建立的回归模型由瞳孔中心位置计算注视点位置；

其中，于校准时，在对图像剪裁预处理前，还包括：

于一提示音后采集眼部运动图像的第一音频信号及该提示音后采集视野图像的第二音频信号，分别对第一音频信号及第二音频信号进行变换计算得到第一音频信号包络和第二音频信号包络，并根据第一音频信号包络和第二音频信号包络将眼部运动图像与视野图像对齐。

6.如权利要求5所述的眼动追踪方法，其特征在于，所述眼部运动图像处理包括：

阈值设定，设定瞳孔初始二值化阈值；

图像二值化，将剪裁后的眼部运动图像二值化，并对二值化后的眼部运动图像进行闭运算，将各区域联通，之后去除边界区域；以及

瞳孔中心位置提取，判断图像中联通的各区域边界是否为椭圆形，大小是否满足瞳孔初始二值化阈值，如果同时满足条件取其椭圆中心为瞳孔中心位置；如果椭圆形过小，则提高二值化阈值重新检测；如果椭圆形过大则降低二值化阈值重新检测；如果无法找到椭圆形则保留上一帧检测结果。

7.如权利要求5所述的眼动追踪方法，其特征在于，所述视野图像处理包括：

角点提取，对视野图像进行Harris角点提取；以及

标志物中心位置提取，根据刺激图片的特点，取角点密集区域的中心为标志物中心。

Images