CN114063775A - 远距离凝视交互设备 - Google Patents

Abstract

本发明公开了一种远距离凝视交互设备，用于实现距离屏幕1米以上的人眼动作捕捉。所述设备包括嵌入式计算机、无线通信模块、USB通信模块、视觉传感器阵列、电源和凝视软件开发工具。该设备使用多个摄像头实时获取凝视动作图像，按照非线性凝视模型，精确计算视线在屏幕上的凝视点坐标，根据凝视点坐标的时间序列确定凝视轨迹，通过对凝视轨迹进行分类确定凝视动作和凝视消息类型。通过该设备，人和计算机之间可以进行快速、无接触的自然交互。

Description

远距离凝视交互设备

技术领域

本发明涉及计算机软件和人机交互领域，尤其涉及一种远距离凝视交互设备。

背景技术

凝视交互利用人的视线来实现一系列的计算机操作，是一种自然的人机交互方式。计算机对摄像头拍摄的人眼图像进行实时处理和分析，计算出人眼在屏幕上的注视方位，然后将人眼的凝视动作转换为输入命令，实现对计算机的操作。计算机在屏幕上以可视化方式呈现数据，其输入和输出功能在人眼凝视屏幕的时候同时实现，交互过程不仅快速，而且人与设备之间没有物理接触。

目前凝视技术主要用于近距离人机交互，即人和屏幕之间的距离在0.2米到0.6米之间。对于超出这个距离的应用场景，比如使用大屏幕或者投影仪的娱乐、通告、和商业显示系统，人和屏幕之间的距离通常保持在1米以上，在这种情况下，近距离凝视技术难以精确快速地计算人眼的凝视角度并且定位视线在屏幕上的凝视位置。

为了在娱乐、通告、或者商业中使用凝视交互技术，开发人员需要使用凝视交互软件开发工具设计应用程序。凝视交互软件封装了凝视交互设备的操作命令和传感器数据处理功能，并为应用程序设计提供了编程接口。

发明内容

本发明实施例提供一种远距离凝视交互设备，用于实现距离屏幕1米以上的人眼凝视动作输入。

所述远距离凝视交互设备是新型计算机外设，通过USB接口或者WiFi无线通信方式和计算机相连。计算机使用大屏幕或者投影仪作为输出设备，以可视化方式呈现输出内容。

所述远距离凝视交互设备，由内置的嵌入式计算机、无线通信模块、USB通信模块、视觉传感器阵列、电源、和凝视软件开发工具组成。

所述视觉传感器阵列由广角摄像机、云台变焦摄像机、近红外光源、六轴惯性导航单元、环境光传感器、麦克风构成。

所述远距离凝视交互设备安装在屏幕边框位置，和所述计算机通过USB接口或者WiFi连接，由视觉传感器阵列采集人眼图像，经过计算机对凝视方位进行计算和分析，得到人眼在屏幕上的凝视位置和凝视轨迹。具体包括以下步骤：

(1)接通所述远距离凝视交互设备电源，启动视觉传感器阵列的广角摄像机和近红外光源，计算机读取广角摄像机拍摄到的图像数据；

(2)根据步骤1所述的方法，对所述图像数据进行检测并定位人脸区域；

(3)根据步骤2所述的方法，将云台变焦摄像机对准人眼区域，使其聚焦在步骤3所述的人眼区域中心处；

(4)根据步骤3所述的方法，该步骤通过最大值法获得人眼区域的灰度图像，根据瞳孔区域灰度特性获得瞳孔图像；

(5)根据步骤4所述的方法，该步骤根据所述瞳孔图像区域提取出所述人眼区域的凝视特征参数，包括所述近红外光源在角膜上形成的反射光斑坐标和瞳孔中心坐标。该步骤通过质心法求出反射光斑中心点的坐标，随后应用边缘检测算法检测瞳孔边缘，最后使用椭圆拟合算法，计算出瞳孔中心点坐标；

(6)根据步骤5所述的方法，该步骤构建人眼凝视几何模型，将人眼角膜曲面简化为平面，计算出的人眼实际凝视坐标；

(7)根据步骤6所述的方法，该步骤对角膜曲面误差进行补偿；

(8)根据步骤7所述的方法，该步骤构建非线性映射模型，引入校准过程对对光轴视轴进行误差补偿。在屏幕上设置标定好的校准点，将计算出的人眼实际凝视坐标与校准点坐标输入该非线性映射模型，使用最小均方误差法计算从光轴到视轴的映射参数，将估计得到的凝视坐标代入该模型，得到补偿后的人眼在屏幕上的凝视位置；

(9)根据步骤8所述的方法，该步骤根据凝视坐标的时间序列，经过连接、平滑、和分割操作，获得人眼视线在屏幕上移动时的轨迹；

以上步骤计算出凝视位置和凝视轨迹所需的的算法，会在所述凝视软件开发工具中得到编程实现。

所述凝视软件开发工具由凝视算法库、凝视动作集、凝视消息集、鼠标模拟器、键盘模拟器、触摸屏模拟器、应用编程接口等功能模块组成。

所述凝视动作集中定义多种凝视动作，作为计算机的输入命令，其中包括但不限于：定点凝视、扫视、抖动、环视。

按照所述凝视动作集，定义多种凝视事件的消息类型，以设备驱动程序的形式，实现了凝视消息集，其中包括但不限于：短凝视、长凝视、跟随、上升、下降、左移、右移、其他方向扫视、抖动、环视、长凝视拖动、进入、退出。

所述鼠标模拟器定义了凝视消息到鼠标消息的映射关系，以设备驱动程序方式实现，当有凝视动作发生时，应用程序会收到和凝视消息对应的鼠标消息。

所述键盘模拟器定义了凝视消息到键盘消息的映射关系，键盘模拟器在屏幕上显示虚拟键盘，人眼的凝视动作按所述照映射关系产生相应的键盘消息，实现用凝视动作按键的效果。

所述触摸屏模拟器定义了凝视消息到触摸屏消息的映射关系，以设备驱动程序方式实现，当有凝视动作发生时，应用程序会收到对应的触摸屏消息。

所述应用编程接口为应用程序使用凝视交互功能定义了函数库，实现的功能和服务包括但不限于：传感器阵列设备参数获取和设置、摄像机操作、近红外光源控制、图像采集、图像处理、凝视动作分析、传感器校准、环境数据采集、可视化界面。

与现有技术相比，本发明的有益效果是：

(1)新型的远距离凝视交互设备解决了距离屏幕1米以上的人眼动作输入问题，并且为开发人员设计凝视交互应用程序提供了软件开发工具；

(2)使用多传感器阵列提高远距离凝视交互中凝视角度和方位的计算精度；

(3)定义了一套凝视动作集和凝视事件的消息类型，实现了凝视交互编程接口；

(4)本发明中提出的设备和技术可以用于娱乐、通告、商业等任何需要远距离凝视交互的应用场景。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例描述中所需要的附图进行简单介绍。显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其它附图。

图1为本发明实施例提供的远距离凝视交互设备的硬件组成示意图。

图2为本发明实施例提供的远距离凝视交互设备的视觉传感器阵列示意图。

图3为本发明实施例提供的远距离凝视交互设备工作流程图。

图4、图5为本发明实施例提供的人眼注视模型示意图。

图6为本发明实施例提供的凝视软件开发工具的软件结构图。

图7为本发明实施例提供的凝视消息类型与鼠标消息、键盘消息、和触摸屏消息的映射关系。

具体实施方式

本发明公开了一种远距离凝视交互设备，下面参照附图，对本发明的具体实施方式做出进一步的说明。显然，所描述的实施例是本发明的部分实施例，而非全部实施例。基于本发明中的实施例，本领域普通技术人员在没有创造性劳动前提下所获得的所有其它实施例，都属于本发明的保护范围。

如图1所示为远距离凝视交互设备硬件示意图，由嵌入式计算机、无线通信模块、USB通信模块、视觉传感器阵列和电源组成。

如图2所示为视觉传感器阵列。广角摄像头用于进行人脸检测、眼睛区域检测、和眨眼检测，能够在较宽广的空间范围内实现凝视交互；云台变焦摄像头能够获取清晰的眼睛图像，用于实现精确的凝视点估计；近红外光源1和2用于提高估计精度，其发出的红外光被人眼反射后可以在摄像头图像上产生清晰的亮点。

如图3所示是远距离凝视交互设备的工作过程，下面具体描述该流程。

开启显示屏幕和所述凝视交互设备，视觉传感器阵列的所有元件开始工作。其中广角摄像头捕捉场景内的图像，通过USB接口将图像发送给计算机，计算机对捕捉到的画面进行人脸检测，当检测到人脸后，表明有用户在进行观看，进入凝视模式。

进入凝视模式后，计算机控制云台变焦摄像头转动镜头并调整焦距，对准人眼区域，直至得到清晰的眼睛图像。计算机对获得的清晰眼睛图像进行灰度化处理，根据瞳孔区域灰度特性获得瞳孔图像区域。由于两个近红外光源在角膜上形成的反射光斑面积小、灰度值高，因此对瞳孔区域图像进行灰度化处理，提取亮点区域，根据亮点面积去除噪声，再进一步应用质心法求出其中心坐标位置。随后应用边缘检测算法检测瞳孔边缘，使用椭圆拟合算法确定瞳孔中心点坐标。

为了计算屏幕上凝视点的坐标，构建人眼凝视模型，如图4所示。左侧平面为荧幕所在平面，L₁、L₂为两个近红外光源，屏幕上点Q为实际凝视点。右侧球面为人眼球面，球心C对应人眼角膜中心，E_Q为眼球瞳孔中心，CE_Q所在直线即为光轴，在忽略光轴与视轴误差的情况下，可以认为点Q在光轴上，直线CL₁、CL₂分别与眼球面相交于点E₁、E₂。中间部分的平面为标记出瞳孔中心P_Q和光斑中心P₁、P₂后的人眼图像，点O为相机中心节点。

将人眼角膜面简化为平面，以E₂所在的且平行于屏幕的平面α为例，设α与P_QO、P₁O交于点E’_Q、E’₁，则E’_Q、E’₁即为简化后的瞳孔中心坐标和L₁光斑坐标。连接L₁E’₁、L₂E’₂，两线相交于点C’，C’即为简化后的等效角膜中心。连接C’E’Q，交屏幕于点Q’，Q’即为简化后的等效注视点。进而构造三个三角形，分别是：ΔL₁L₂Q’、ΔE’₁E’_QE₂以及ΔP_QP₁P₂。由几何关系可知，ΔL₁L₂Q’与ΔE’₁E’_QE₂相似，ΔE’₁E’_QE₂与ΔP_QP₁P₂相似，因此ΔL₁L₂Q’与ΔP_QP₁P₂相似，于是三角形各边之间成正比。

由于人眼角膜是曲面而不是平面，简化为平面后会带来一定的误差，因此需要进行误差补偿。如图5，首先构造由角膜曲面上瞳孔中心和两个光斑反射点围成的ΔE₁E_QE₂，过角膜中心C作垂直于屏幕平面的直线m，交屏幕于点S，交眼球面于点E_S。根据摄像头与成像物体间的距离和摄像头焦距，可得到成像物体尺寸与图像尺寸的比例关系，再加上ΔE’_QE’₁E₂与ΔP_QP₁P₂相似，可以按照比例关系计算出ΔE’₁E’_QE₂三条边的长度。由于E’₁、E’_Q是点E₁、E_Q在平面α上的投影，因此由位置关系可计算ΔE₁E_QE₂三条边的长度，进一步得到角膜曲面内，ΔE₁E_QE₂三条边对应的弧线长度。将曲面展开，以三个弧长为边作ΔT₁T_QT₂，ΔT₁T_QT₂与ΔE₁E_QE₂同胚，与ΔL₁L₂Q相似，结合两个近红外光源的位置坐标，可得到补偿后屏幕上凝视点Q的坐标。

瞳孔中心与角膜曲率中心的连线是光轴，而凝视点位于视轴所在直线上，光轴与视轴之间的角度差形成误差。为了对这种误差进行补偿，可以构建非线性映射模型并进行校准。在屏幕上设置校准点，将计算出的人眼凝视坐标与预先标定的凝视坐标作为该非线性映射模型的输入，使用最小均方误差法计算从光轴到视轴的映射参数，将得到的凝视坐标代入该模型，得到补偿后的人眼在屏幕上的凝视坐标。

计算凝视位置和凝视轨迹的算法，在凝视软件开发工具中得以实现。如图6所示，凝视软件开发工具由凝视算法库、凝视动作集、凝视消息集、鼠标模拟器、键盘模拟器、触摸屏模拟器、应用编程接口组成。

凝视算法库对凝视坐标序列进行连接和分割，定义凝视动作集和凝视事件消息类型。凝视动作集中包括定点凝视、扫视、抖动、环视，分别对应凝视点运动速度为零、快速直线运动、低速曲线运动、和快速曲线运动的情况，由动作分类器进行实时分类。

在凝视软件开发工具中定义了凝视消息类型和消息参数。每当有凝视动作发生时，设备驱动程序会向应用程序发出凝视消息，其数据结构中不仅包含凝视消息类型，也包括消息参数。屏幕坐标系以水平向右方向作为的x轴正方向，竖直向下作为y轴正方向。对于长凝视和短凝视，消息参数包括凝视点坐标和凝视时间长度，其中凝视时间长度由凝视点个数和图像相邻帧时间间隔得到；对于上升、下降、左移、右移、和其它方向上的扫视动作，消息参数包括起点到终点的坐标，以及扫视速度矢量；对于环视，消息参数包括起点坐标和圆心近似坐标；对于长凝视拖动，消息参数包括长凝视持续时间、起点与终点坐标以及拖动速度矢量。

对于凝视事件的消息类型，还包括进入以及退出，是指一旦进入凝视模式后，计算机实时监测用户的凝视位置，如果凝视位置超出屏幕边界，且超出持续时间超过规定阈值，则分类为退出，此时系统自动切换为省电模式；如果系统检测到凝视位置进入屏幕边界，且进入持续时间超过规定阈值，则分类为进入，系统自动切换为正常工作模式。

上述凝视消息类型与鼠标消息、键盘消息和触摸屏消息的映射关系如图7所示。每当有凝视事件发生时，设备驱动程序除了向应用程序发出凝视消息，也发出和凝视消息对应的鼠标、键盘、和触摸屏消息，使凝视动作可以模拟鼠标、键盘、和触摸屏操作。

Claims (10)

1.一种远距离凝视交互设备，其构成包括：嵌入式计算机、无线通信模块、USB通信模块、视觉传感器阵列、电源、和凝视软件开发工具。

2.根据权利要求1所述的系统，其特征在于，所述视觉传感器阵列由广角摄像机、云台变焦摄像机、近红外光源、六轴惯性导航单元、环境光传感器、麦克风组成。

3.根据权利要求2所述的系统，其特征在于，所述远距离凝视交互设备安装在屏幕边缘，和所述计算机通过USB接口或者WiFi无线通信方式连接，由视觉传感器阵列采集人眼图像，经过所述计算机对凝视方位进行计算和分析，得到人眼在屏幕上的凝视位置和凝视轨迹；具体包括以下步骤：

(1)接通所述远距离凝视交互设备电源，打开视觉传感器阵列的摄像机和近红外光源，所述嵌入式计算机读取广角摄像机拍摄到的图像数据；

(2)根据步骤1所述的方法，对所述图像数据进行检测并定位人脸区域；

(3)根据步骤2所述的方法，将云台变焦摄像机对准人眼区域，使其聚焦在步骤2所述的人眼区域中心处；

(4)根据步骤3所述的方法，该步骤通过最大值法获得人眼区域的灰度图像，根据瞳孔区域灰度特性获得瞳孔图像；

(5)根据步骤4所述的方法，该步骤根据所述瞳孔图像区域提取出所述人眼区域的凝视特征参数，包括所述近红外光源在角膜上形成的反射光斑坐标和瞳孔中心坐标；应用质心法求出反射光斑中心点的坐标，随后应用边缘检测算法检测瞳孔边缘，最后使用椭圆拟合算法，计算出瞳孔中心点坐标；

(6)根据步骤5所述的方法，该步骤再将人眼角膜面简化为平面，构建人眼注视模型计算出的人眼实际凝视坐标；

(7)根据步骤6所述的方法，该步骤对角膜曲面误差进行补偿；

(8)根据步骤7所述的方法，该步骤根据所述凝视坐标进行光轴视轴误差补偿，构建非线性映射模型，结合人眼凝视坐标与预先标定的凝视坐标，使用最小均方误差法计算从光轴到视轴的映射参数，再将得到的凝视坐标代入该模型，得到补偿后的人眼在屏幕上的凝视位置；

(9)根据步骤8所述的方法，该步骤根据凝视坐标的时间序列，经过连接、平滑、和分割操作，确定视线在屏幕上的凝视轨迹；

通过以上步骤计算凝视位置和凝视轨迹的算法，在所述凝视软件开发工具中得到编程实现。

4.根据权利要求3所述的系统，其特征在于，所述凝视软件开发工具由凝视算法库、凝视动作集、凝视消息集、鼠标模拟器、键盘模拟器、触摸屏模拟器、应用编程接口等功能模块组成。

5.根据权利要求4所述的系统，其特征在于，所述凝视动作集中定义多种用作所述嵌入式计算机输入命令的凝视动作，其中包括但不限于：定点凝视、扫视、抖动、环视。

6.根据权利要求4所述的系统，其特征在于，按照所述凝视动作集，定义多种凝视动作的消息类型，以设备驱动程序的形式，实现了凝视消息集，其中包括但不限于：短凝视、长凝视、跟随、上升、下降、左移、右移、其它方向扫视、抖动、环视、长凝视拖动、进入、退出。

7.根据权利要求4所述的系统，其特征在于，所述鼠标模拟器定义了凝视消息到鼠标消息的映射关系，以设备驱动程序方式实现。

8.根据权利要求4所述的系统，其特征在于，所述键盘模拟器定义了凝视消息到键盘消息的映射关系，键盘模拟器在屏幕上显示虚拟键盘，人眼的凝视动作按所述照映射关系产生相应的键盘消息，实现用凝视动作按键的效果。

9.根据权利要求4所述的系统，其特征在于，所述触摸屏模拟器定义了凝视消息到触摸屏消息的映射关系，以设备驱动程序方式实现。

10.根据权利要求4所述的系统，其特征在于，所述应用编程接口为应用程序使用凝视交互功能定义了函数库，实现的功能和服务包括但不限于：传感器阵列设备参数获取和设置、摄像机操作、近红外光源控制、图像采集、图像处理、凝视动作分析、传感器校准、环境数据采集、可视化界面。

Images