CN110338750B - 一种眼球追踪设备 - Google Patents

Abstract

本发明实施例公开了一种眼球追踪设备，该设备包括：包括控制模块、投影模块、通信模块和图像采集模块，控制模块分别与投影模块、通信模块、图像采集模块连接；其中投影模块用于按照预设的目标位置信息投射校准光，形成校准标识；图像采集模块用于采集用户图像；控制模块用于根据目标位置信息校准后的目标校准系数结合用户图像，确定用户的眼部参数信息；通信模块用于发送眼部参数信息至交互设备，以使交互设备根据眼部参数信息确定用户的注视信息。本发明实施例提供的眼球追踪设备相比于现有的眼球追踪设备，具有更大的便捷性、可扩展性和鲁棒性，占用空间小，不需要依赖外部显示设备，可以与外部多个交互设备交互，提高了用户眼动交互的效率。

Description

一种眼球追踪设备

技术领域

本发明实施例涉及眼睛控制技术领域，尤其涉及一种眼球追踪设备。

背景技术

眼球追踪设备是一种能够跟踪测量眼球位置及眼球运动信息的设备，这种设备通常通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。

用户在注视眼球追踪设备的界面或与眼球追踪设备互动时，眼球追踪设备运用眼球追踪方法收集详细的技术信息，并记录用户观看(和未观看)的位置以及观看的时间。例如，在用户读取文本和图像时，眼球追踪设备可以记录用户注视和扫视的过程，并完整地判断出用户眼睛浏览和停留的位置，实现实时的对用户进行注视点估计及视线追踪。但是现有眼球追踪设备配套设备复杂，占用空间大，使用场景固定，无法便携移动；并且可扩展性差，只能依托于与自身连接的显示设备进行显示。

发明内容

本发明实施例提供了一种眼球追踪设备，可以提高眼球追踪设备的便捷性和鲁棒性。

第一方面，本发明实施例提供了一种眼球追踪设备，包括控制模块、投影模块、通信模块和图像采集模块，所述控制模块分别与所述投影模块、所述通信模块、所述图像采集模块连接；

其中所述投影模块用于按照预设的目标位置信息投射校准光，形成校准标识；

所述图像采集模块用于采集用户图像；

所述控制模块用于根据所述目标位置信息校准后的目标校准系数结合所述用户图像，确定用户的眼部参数信息；

所述通信模块用于发送所述眼部参数信息至交互设备，以使所述交互设备根据所述眼部参数信息确定用户的注视信息。

进一步的，所述控制模块包括校准单元，所述校准单元用于根据用户注视所述校准标识时的校准用户图像以及所述目标位置信息确定所述目标校准系数。

进一步的，所述目标校准系数包括角膜曲率半径、角膜房水折射率、眼部光轴与视轴的夹角以及角膜曲率中心到瞳孔中心位置的距离的至少之一。

进一步的，所述图像采集模块具体用于：

基于预设语音提示采集用户注视所述校准标识的校准用户图像。

进一步的，所述控制模块包括特征提取单元，所述特征提取单元用于：

提取所述用户图像中的眼部图像；

提取所述眼部图像中的眼部特征信息。

进一步的，所述控制模块包括眼球追踪单元，所述眼球追踪单元用于根据所述眼部特征信息以及所述校准后的目标校准系数，确定所述眼部参数信息，其中所述眼部参数信息包括眼球中心位置和视线方向向量。

进一步的，所述控制模块包括校准光控制单元，所述校准光控制单元用于通过校准光控制指令控制所述校准光，所述校准光控制指令包括关闭指令或开启指令，所述关闭指令用于在形成校准标识的设定时间后关闭所述校准光。

进一步的，所述眼球追踪设备还包括光源模块，所述光源模块与所述投影模块连接，用于为所述投影模块提供可见光源。

第二方面，本发明实施例提供了一种交互设备，所述交互设备与上述的眼球追踪设备相连，包括显示屏和处理器，

所述处理器，用于根据眼球追踪设备发送的眼部参数信息确定用户在所述显示屏上的注视信息。

进一步的，所述处理器，具体用于：

获取所述眼球追踪设备的第一位置信息以及所述显示屏的第二位置信息；

根据所述第一位置信息和所述第二位置信息，确定坐标转换矩阵；

根据所述坐标转换矩阵及接收的眼部参数信息，获得处理后的眼球转换信息；

基于所述眼球转换信息确定用户在所述显示屏上的注视信息。

本发明实施例通过提供一种包括控制模块、投影模块、通信模块和图像采集模块的眼球追踪设备，可以根据校准标识校准后的目标校准系数结合获取的用户图像，确定用户的眼部参数信息，并发送眼部参数信息至交互设备，以使交互设备根据眼部参数信息确定用户的注视信息。本发明实施例提供的眼球追踪设备相比于现有的眼球追踪设备，具有更大的便捷性、可扩展性和鲁棒性，占用空间小，不需要依赖外部显示设备；可以与外部多个交互设备进行交互，以使交互设备实现眼球追踪功能，提高了用户眼动交互的频率；由于眼球追踪设备的目标校准系数经过预先校准，用户与多个交互设备交互时不需要重新校准，直接可以进行交互，提高了用户眼动交互的效率。

附图说明

图1为本发明实施例一中的眼球追踪设备的结构示意图；

图2为本发明实施例一中的眼球追踪设备的外部示意图；

图3为本发明实施例一中的眼球视线方向的示意图；

图4为本发明实施例一中的眼球追踪设备与一个交互设备的交互示意图；

图5为本发明实施例一中的眼球追踪设备与两个交互设备的交互示意图；

图6为本发明实施例二中的交互设备的结构示意图；

图7为本发明实施例二中的空间变换的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一中的眼球追踪设备的结构示意图。如图1所示，该眼球追踪设备可以包括：控制模块110、投影模块120、通信模块130和图像采集模块140，控制模块110分别与投影模块120、通信模块130、图像采集模块140连接；

其中投影模块120用于按照预设的目标位置信息投射校准光，形成校准标识；

图像采集模块140用于采集用户图像；

控制模块110用于根据目标位置信息校准后的目标校准系数结合用户图像，确定用户的眼部参数信息；

通信模块130用于发送眼部参数信息至交互设备，以使交互设备根据眼部参数信息确定用户的注视信息。

可选地，控制模块110可以通过总线分别与投影模块120、通信模块130、图像采集模块140连接，或者，控制模块110也可以分别与投影模块120、通信模块130、图像采集模块140电连接。具体的连接方式可以根据实际情况进行设定。其中，总线可以表示几类总线结构中的一种或多种，包括数据总线、地址总线和控制总线，分别可以用来传输数据、数据地址和控制信号。

本实施例中的眼球追踪设备可以为一种便携式的设备，可以集成在一个形似立方体的电子设备中，参见图2，图2为本发明实施例一中的眼球追踪设备的外部示意图。图2中眼球追踪设备11外部可以展示出投影模块120、通信模块130和图像采集模块140，其他的模块可以设置在内部。可以理解的是，图2中的眼球追踪设备仅仅是一个示例，眼球追踪设备中包括的模块的位置可以根据是实际情况进行设定。

其中，目标位置信息设置为目标平面上的位置信息，该目标平面可以为任意平面物体的表面，例如图2中的水平桌面，由于平面上的几何关系容易确定，不需要人工介入即可确定空间关系，因此，本实施例中的目标位置设定于平面上。若眼球追踪的校准装置与目标位置的空间关系预先确定时，该目标位置不局限于平面上。校准标识的数量可以为多个，校准标识不限于一个标识点，也可以是一个起到标识作用的校准影像和校准画面。例如，本实施例中的校准标识的形状可以为圆形、方形、线形和其他不规则形状等等，具体形状可以根据实际情况进行设定。

图像采集模块还可以用于基于预设语音提示采集用户注视校准标识的校准用户图像，并将该校准用户图像发送给特征提取单元。控制模块包括校准光控制单元，校准光控制单元用于通过校准光控制指令控制校准光，校准光控制指令包括关闭指令或开启指令，关闭指令用于在形成校准标识的设定时间后关闭校准光。

控制模块110可以包括特征提取单元，特征提取单元用于：通过眼部检测算法提取用户图像中的眼部图像；提取眼部图像中的眼部特征信息。本实施例中对具体的眼部检测算法不作限定，例如眼部检测算法可以包括基于模板匹配的方法或基于统计的方法等等。其中，眼部特征信息可以包括瞳孔中心位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑(也称为普尔钦斑)位置等，本实施例中以图像中瞳孔中心位置和光斑位置为例进行说明。

进一步的，控制模块110可以包括校准单元，校准单元用于根据用户注视校准标识时的校准用户图像以及目标位置信息确定目标校准系数。校准单元可以获取特征提取单元对于校准用户图像，提取得到的眼部特征信息，并根据眼部特征信息、目标位置信息及初始化的校准系数，得到视线误差，根据视线误差校准确定目标校准系数。其中，校准系数可以为用于进行视线估计的眼球跟踪模型中需要确定的参数，本实施例中的目标校准系数可以包括角膜曲率半径、角膜房水折射率、眼部光轴与视轴的夹角以及角膜曲率中心到瞳孔中心位置的距离等参数的至少之一。初始化的校准系数为根据先验知识确定的校准系数，实际该校准系数针对不同的用户而不同，因此需要进行校准。

其中，视线误差可以定义为眼部视轴方向向量与估计得到的眼部到校准标识的方向向量之间的角度差。校准单元可以基于眼部特征信息、目标位置信息及初始化的校准系数，可以得到眼部视轴方向向量和眼部到校准标识的方向向量；基于角度误差公式、眼部视轴方向向量和眼部到校准标识的方向向量，可以得到眼部视轴方向的误差，将眼部视轴方向的误差确定为视线误差。然后校准单元可以基于给定的误差优化算法确定视线误差的最小误差，将最小误差对应的校准系数确定为校准后的目标校准系数。

控制模块110可以包括眼球追踪单元，眼球追踪单元用于根据眼部特征信息以及校准后的目标校准系数，确定眼部参数信息，其中眼部参数信息包括眼球中心位置和视线方向向量。

进一步的，眼球追踪单元可以包括视线方向子单元和眼球中心位置子单元。其中，眼球中心位置子单元具体用于：根据光斑位置和眼球参数中的角膜曲率半径，得到角膜曲率中心，将角膜曲率中心确定为眼球中心的位置。进一步的，视线方向子单元具体用于：根据瞳孔中心位置、角膜曲率中心和眼球参数中的眼部光轴与视轴的夹角，得到视线方向向量。

其中，角膜曲率中心可以采用C表示，瞳孔中心位置可以采用P表示，眼部视轴方向向量可以采用V_S表示。角膜曲率中心可以通过C＝f₁(g_i,L_i,R)确定，其中g_i表示光斑位置，L_i表示眼球追踪设备中光源的坐标，R表示目标校准系数中角膜曲率半径。瞳孔中心位置可以通过P＝f₂(p,C,K,n)确定，其中p表示眼部图像中瞳孔中心位置坐标，K表示目标校准系数中角膜中心到瞳孔中心位置距离，n表示目标校准系数中角膜房水折射率。眼部光轴方向向量可以通过

确定，其中

表示眼部光轴方向单位向量的球面坐标表示。视线方向向量(又称眼部视轴方向向量)可以通过

确定，其中(α,β)表示眼部光轴与视轴夹角。

图3为本发明实施例一中的眼球视线方向的示意图，图中包括眼球200，图中的A点为角膜曲率中心，B点为眼部瞳孔中心位置，A点与B点的连线N为眼部光轴，连线M为眼部视轴，即为视线方向。一般来说，眼部光轴与眼部视轴存在夹角，如图所示。

本实施例中的眼球追踪设备还可以包括光源模块(图中未示出)，光源模块与投影模块连接，用于为投影模块提供可见光源。光源模块除了可见光源之外，还可以包括两个红外灯，以使图像采集模块140采集到用户的眼部图像。

本实施例中的眼球追踪设备还可以包括声音模块(图中未示出)，声音模块与控制模块110连接，用于播放预设语音提示，该预设语音提示用于提示用户进行设定的操作，具体的预设语音提示可以根据实际情况进行设定。示例性的，用户首次使用该眼球追踪设备时，若用户接收到预设语音提示为“开始校准，请注视前方的校准标识”，则用户注视校准标识。

通信模块130中可以包括蓝牙模块或者WIFI模块等实现通信的模块，并且可以定义该眼球追踪设备与其他交互设备交互的协议，本实施例中对通信模块130实现通信的方式不作限定，可以根据实际情况进行设定。

其中，交互设备的数量为至少一个，本实施例中的眼球追踪设备与交互设备的交互参见图4和图5，图4为本发明实施例一中的眼球追踪设备与一个交互设备的交互示意图，图5为本发明实施例一中的眼球追踪设备与两个交互设备的交互示意图。图4中该眼球追踪设备11放置于水平桌面12上，方框13为眼球追踪设备11的图像采集区域，图中电脑15为交互设备，眼球追踪设备11根据校准后的目标校准系数结合用户图像，确定用户的眼部参数信息之后，通过其中的通信模块14与电脑15建立连接，将眼部参数信息发送给电脑15，可以使电脑15根据接收的眼部参数信息确定用户在电脑15上的注视信息，其中注视信息可以包括注视点，图中K为确定的注视点。

图5中该眼球追踪设备11也放置于水平桌面12上，图中电脑15为第一个交互设备，手机16为第二个交互设备，眼球追踪设备11根据校准后的目标校准系数结合用户图像，确定用户的眼部参数信息之后，可以通过其中的通信模块14与电脑15建立连接，将眼部参数信息发送给电脑15，可以使电脑15根据接收的眼部参数信息确定用户在电脑15上的注视信息，其中注视信息可以包括注视点，图中K为确定的注视点。当手机16进入用户眼球14的视线范围内时，眼球追踪设备也可以通过其中的通信模块14与手机16建立连接，将眼部参数信息发送给手机16，可以使手机16根据接收的眼部参数信息确定用户在手机16上的注视信息，其中注视信息可以包括注视点，图中H为确定的注视点。

当交互设备为多个时，由于眼球追踪设备11通过通信模块14可以与每个交互设备建立连接，并将获取的眼部参数信息发送给每个交互设备，使得用户可以高效地与多个交互设备进行眼动交互，而且可以随意切换互动的交互设备。图5中用户与电脑15交互时，当用户视线偏转到手机16时，可以立刻实现与手机16的交互。

本实施例的技术方案，通过提供一种包括控制模块、投影模块、通信模块和图像采集模块的眼球追踪设备，可以根据校准标识校准后的目标校准系数结合获取的用户图像，确定用户的眼部参数信息，并发送眼部参数信息至交互设备，以使交互设备根据眼部参数信息确定用户的注视信息。本发明实施例提供的眼球追踪设备自带投影模块，可以直接进行校准，解决了现有技术中眼球追踪设备需要连接外部显示设备显示校准标识来完成校准这个比较繁琐的过程；相比于现有的眼球追踪设备，不需要依赖外部显示设备可以实现校准和视线追踪，通过将眼部参数信息发送给外部的交互设备，实现了交互设备的注视信息的确定，具有更大的便捷性、可扩展性和鲁棒性，占用空间小。

本发明实施例提供的眼球追踪设备在任意一个外部交互设备附近时，均可以实现交互，对交互设备没有限制，解决了现有技术中插拔式的眼球追踪设备只能与其接入的交互设备进行交互的问题；可以与外部多个交互设备进行交互，以使交互设备实现眼球追踪功能，提高了用户眼动交互的频率，即使在无屏幕的电子设备上，亦可以实现视线追踪的功能；现有技术中，当使用两台眼球追踪设备同时工作时，每次使用都需要重新校准，也无法实现与多个外部设备进行交互，本实施例中由于眼球追踪设备的目标校准系数经过预先校准，只要用户的眼球正对于眼球追踪设备的图像采集模块的图像采集范围之内，即可充当用户与所连接其他交互设备的媒介，并且用户与多个交互设备交互时不需要重新校准，直接可以进行交互，提高了用户眼动交互的效率。

实施例二

图6为本发明实施例二中的交互设备的结构示意图，交互设备与上述实施例中的眼球追踪设备相连。

如图6所示，该交互设备可以包括显示屏和处理器，处理器，用于根据眼球追踪设备发送的眼部参数信息确定用户在显示屏上的注视信息。

进一步的，处理器具体用于获取眼球追踪设备的第一位置信息以及显示屏的第二位置信息；根据第一位置信息和第二位置信息，确定坐标转换矩阵；根据坐标转换矩阵及接收的眼部参数信息，获得处理后的眼球转换信息；基于眼球转换信息确定用户在显示屏上的注视信息。其中注视信息可以包括注视点。

其中，眼球追踪设备的第一位置信息和显示屏的第二位置信息可以通过一个统一的虚拟坐标系表示，根据该第一位置信息和第二位置信息可以确定坐标变换矩阵，坐标变换矩阵包括旋转矩阵D和平移矩阵T。参见图7，图7为本发明实施例二中的空间变换的示意图，图中以一个交互设备为例进行说明，其中坐标系(x₁,y₁,z₁)为眼球追踪设备的坐标系，坐标系(x₂,y₂,z₂)为交互设备的坐标系，接收到的眼球200的眼部参数信息可以包括眼球中心的位置P以及视线方向向量V，接收到的眼部参数信息是基于眼球追踪设备的坐标系表示的，坐标变换矩阵为图中的[D，T]。通过坐标变换矩阵和接收到的眼部参数信息可以得到基于交互设备的坐标系的眼球转换信息，具体通过Transform(p,v)＝[D|T]*(p,v)＝p1,v1，其中p1为基于交互设备的坐标系的眼球中心的位置，v1为基于交互设备的坐标系的视线方向向量。获取基于交互设备的坐标系的眼球转换信息之后，通过求解可以得到视线方向向量v1落在交互设备的交互区域上的交点，即注视点。

本实施例的技术方案，通过提供一种交互设备，该交互设备与上述实施例中的眼球追踪设备相连，可以接收眼球追踪设备根据校准标识校准后的目标校准系数结合获取的用户图像确定的用户的眼部参数信息，并根据眼部参数信息确定用户在显示屏上的注视信息。由于与交互设备相连的眼部追踪设备可以与外部多个交互设备进行交互，使交互设备可以实现眼球追踪功能，提高了用户眼动交互的频率和便利性；眼球追踪设备的目标校准系数经过预先校准，用户与多个交互设备交互时不需要重新校准，直接可以进行交互，提高了用户眼动交互的效率。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种眼球追踪设备，其特征在于，包括控制模块、投影模块、通信模块和图像采集模块，所述控制模块分别与所述投影模块、所述通信模块、所述图像采集模块连接；

其中所述投影模块用于按照预设的目标位置信息投射校准光，形成校准标识；

所述图像采集模块用于采集用户图像；

所述控制模块用于根据所述目标位置信息校准后的目标校准系数结合所述用户图像，确定用户的眼部参数信息；

所述通信模块用于发送所述眼部参数信息至交互设备，以使所述交互设备根据所述信息确定用户的注视信息；

所述图像采集模块具体用于：

基于预设语音提示采集用户注视所述校准标识的校准用户图像；

所述控制模块包括校准光控制单元，所述校准光控制单元用于通过校准光控制指令控制所述校准光，所述校准光控制指令包括关闭指令或开启指令，所述关闭指令用于在形成校准标识的设定时间后关闭所述校准光；

所述眼球追踪设备还包括光源模块，所述光源模块与所述投影模块连接，用于为所述投影模块提供可见光源；

所述控制模块包括校准单元，所述校准单元用于根据用户注视所述校准标识时的校准用户图像以及所述目标位置信息确定所述目标校准系数。

2.根据权利要求1所述的眼球追踪设备，其特征在于，所述目标校准系数包括角膜曲率半径、角膜房水折射率、眼部光轴与视轴的夹角以及角膜曲率中心到瞳孔中心位置的距离的至少之一。

3.根据权利要求1所述的眼球追踪设备，其特征在于，所述控制模块包括特征提取单元，所述特征提取单元用于：

提取所述校准用户图像中的眼部图像；

提取所述眼部图像中的眼部特征信息。

4.根据权利要求3所述的眼球追踪设备，其特征在于，所述控制模块包括眼球追踪单元，所述眼球追踪单元用于根据所述眼部特征信息以及所述校准后的目标校准系数，确定所述眼部参数信息，其中所述眼部参数信息包括眼球中心位置和视线方向向量。

5.一种交互设备，其特征在于，所述交互设备与权利要求1-4中任一所述的眼球追踪设备相连，包括显示屏和处理器，

所述处理器，用于根据眼球追踪设备发送的眼部参数信息确定用户在所述显示屏上的注视信息。

6.根据权利要求5所述的交互设备，其特征在于，所述处理器，具体用于：

获取所述眼球追踪设备的第一位置信息以及所述显示屏的第二位置信息；

根据所述第一位置信息和所述第二位置信息，确定坐标转换矩阵；

根据所述坐标转换矩阵及接收的眼部参数信息，获得处理后的眼球转换信息；

基于所述眼球转换信息确定用户在所述显示屏上的注视信息。

Images