CN108153424B - 头显设备的眼动和头动交互方法 - Google Patents

Abstract

本发明公开了一种头显设备的眼动和头动交互方法，包括计算显示模组、眼追踪识别模组和头动追踪模组，方法如下步骤：步骤一，头显设备中计算显示模组显示图形交互界面，便于用户观看和控制；步骤二，眼追踪处理模组采集用户眼睛的图像判断并追踪；步骤三，头动追踪模块采集用户在注视过程中头部的修正动作来移动修正鼠标到用户需要的兴趣关注点位置；步骤四，通过用户点击得到鼠标确认事件；步骤五，将点击状态时的修正数值反馈给眼追踪算法；步骤六，执行交互输出，返回重复步骤二。本发明通过头动修正眼动精确度，主动适配校正眼动跟踪算法，使之在使用过程中越用越精准。

Description

头显设备的眼动和头动交互方法

技术领域

本发明属于头戴式设备技术领域，具体涉及一种头显设备的眼动和头动交互方法。

背景技术

目前现有的眼动设备跟踪精度差抖动，无法瞄准具体的一个点，其原因是人视野识别的是一个范围，眼睛运动以跳转和凝视为主，再加上佩戴和安放过程中眼睛相对设备的位置稍有移动就出现误差，而用户自然生理心理行为下，头部动作能主动配合眼球动作寻找移动和校准视线到兴趣关注点，因此需要使用头动对眼动进行补偿修正。

本人之前申请的：《一种头戴装置的光标控制方法》申请号：201310295425.5，有使用头动和眼动并行对鼠标控制的方法，适用于大型计算交互系统，但存在计算量过大，头动主导和眼动主导切换难顺畅，对小视角到大视角的切换，以及头戴显示器到外部显示器的切换，让不同使用者难习惯不适应，其程序步骤复杂和难以调节，因此发明：一种头显设备的眼动和头动交互方法，更为简洁明确，计算量小更适合移动头戴端使用。

发明内容

本发明的目的是提供一种头显设备的眼动和头动交互方法。

实现本发明目的的技术方案是：一种头显设备的眼动和头动交互方法，包括计算显示模组、眼追踪识别模组和头动追踪模组，

所述计算显示模组包括计算机模块、头显模块、图形交互界面、特征点、修正区域、鼠标确认事件、眼追踪算法和执行输出模块，

所述眼追踪识别模组包括红外LED和红外摄像头，

所述头动追踪模组包括多轴运动传感器，

用户自然生理心理行为下，头部动作能主动配合眼球动作寻找移动和校准视线到兴趣关注点，因此通过眼动跟踪得到视野的区域，再通过头动跟踪修正在该区域内的鼠标到兴趣区域，得到点击确认后主动适配校正眼动跟踪算法，使之在使用过程中越用越精准，方法包括如下步骤：

步骤一、头显设备中计算显示模组显示图形交互界面，便于用户观看和控制；

步骤二，眼追踪处理模组采集用户眼睛的图像判断并追踪，通过眼追踪算法得出用户眼睛注视的屏幕相应区域并在头显设备的图形界面内显示鼠标；

步骤三，头动追踪模块采集用户在注视过程中头部的修正动作来移动修正鼠标到用户需要的兴趣关注点位置；

步骤四，通过用户点击得到鼠标确认事件；

步骤五，将点击状态时的修正数值反馈给眼追踪算法；

步骤六，执行交互输出，返回重复步骤二。

运行方法为：

A、计算机模组驱动头显模组显示图形交互界面，用于用户观看和控制，

B、眼追踪识别模组驱动红外LED发出的红外光照射人眼，红外摄像头得到正常人眼红外图像；

C、眼追踪识别模组判断，是否是首次使用：

C-Y、判断如果是首次使用，交互界面将给出带有特征点的校正界面，让用户凝视相应的特征点，得到眼动算法用户初始值，进入C-N步骤；

C-N、如果非首次使用，通过眼追踪算法判断并追踪得出用户眼睛注视的屏幕相应区域并在图形界面内显示鼠标，然后进入眼追踪速度判断；

D、眼追踪速度判断，是否是大于眼动闸值：

D-Y、如果眼球瞳孔的移动大于眼动闸值时将优先调用眼追踪算法并忽略头动得出鼠标新位置；

D-N、如果眼球瞳孔的移动小于眼动闸值时将启用滤波收敛算法稳定鼠标，进入头动速度判断程序；

E、头动速度判断，是否是大于头动闸值：

E-Y、如果头部转动角速度大于头动闸值时，忽略头动数据，进入C-N步骤；

E-N、如果头部转动角速度小于头动闸值时，进入头动鼠标修正程序；

F、头动鼠标修正程序：在视野区域内通过头动识别模组的多轴运动传感器采样头部转动角数据，正相关映射转换为屏幕的鼠标位移增量，来移动修正鼠标到用户需要的兴趣位置；

G、当用户发出鼠标确认事件并有效点击图标事件后，得出此过程的修正数值并反馈给眼追踪算法，执行鼠标点击后重复步骤B-2。

所述鼠标确认事件还包括但不仅限于：兴趣区悬停点击、牙齿的敲击信号、面部肌肉电信号、口腔声音信号、按键和外部无线设备信号来触发形成鼠标确认事件。

所述眼追踪识别模组包括但不限于使用表面特征法、多类分类器法或红外光源法。

所述眼追踪算法包括但不限于hough算法、Kalman算法、Mean算法或Shift算法。

所述头动追踪模组中转动角数据正相关映射算法中线性倍率为一个定值倍率或动态倍率。

所述头动追踪模组还可以独立为一个手持控制设备。

所述图形交互界面中可以设立当鼠标接近按键图块时，按键图块对鼠标产生磁性吸引和图像特效。

所述红外摄像头可以获取虹膜图像，通过识别用户身份，调取用户初始档案。

所述头戴设备包括眼镜、护目镜或头盔中的至少一个。

本发明具有积极的效果：本发明通过眼动跟踪得到视野的区域，再通过头动跟踪修正在该区域内的鼠标到兴趣区域，得到点击确认后主动适配校正眼动跟踪算法，使之在使用过程中越用越精准。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：

图1为本发明的流程示意图；

图2为本发明的运行流程示意图。

具体实施方式

实施例一

如图1和如图2，一种头显设备的眼动和头动交互方法，包括计算显示模组、眼追踪识别模组和头动追踪模组，

所述计算显示模组包括计算机模块、头显模块、图形交互界面、特征点、修正区域、鼠标确认事件、眼追踪算法和执行输出模块，

所述眼追踪识别模组包括红外LED和红外摄像头，

所述头动追踪模组包括多轴运动传感器，

用户自然生理心理行为下，头部动作能主动配合眼球动作寻找移动和校准视线到兴趣关注点，因此通过眼动跟踪得到视野的区域，再通过头动跟踪修正在该区域内的鼠标到兴趣区域，得到点击确认后主动适配校正眼动跟踪算法，使之在使用过程中越用越精准，方法包括如下步骤：

步骤一、头显设备中计算显示模组显示图形交互界面，便于用户观看和控制；

步骤二，眼追踪处理模组采集用户眼睛的图像判断并追踪，通过眼追踪算法得出用户眼睛注视的屏幕相应区域并在头显设备的图形界面内显示鼠标；

步骤三，头动追踪模块采集用户在注视过程中头部的修正动作来移动修正鼠标到用户需要的兴趣关注点位置；

步骤四，通过用户点击得到鼠标确认事件；

步骤五，将点击状态时的修正数值反馈给眼追踪算法；

步骤六，执行交互输出，返回重复步骤二。

运行方法为：

A、计算机模组驱动头显模组显示图形交互界面，用于用户观看和控制，

B、眼追踪识别模组驱动红外LED发出的红外光照射人眼，红外摄像头得到正常人眼红外图像；

C、眼追踪识别模组判断，是否是首次使用：

C-Y、判断如果是首次使用，交互界面将给出带有特征点的校正界面，让用户凝视相应的特征点，得到眼动算法用户初始值，进入C-N步骤；

C-N、如果非首次使用，通过眼追踪算法判断并追踪得出用户眼睛注视的屏幕相应区域并在图形界面内显示鼠标，然后进入眼追踪速度判断；

D、眼追踪速度判断，是否是大于眼动闸值：

D-Y、如果眼球瞳孔的移动大于眼动闸值时将优先调用眼追踪算法并忽略头动得出鼠标新位置；

D-N、如果眼球瞳孔的移动小于眼动闸值时将启用滤波收敛算法稳定鼠标，进入头动速度判断程序；

E、头动速度判断，是否是大于头动闸值：

E-Y、如果头部转动角速度大于头动闸值时，忽略头动数据，进入C-N步骤；

E-N、如果头部转动角速度小于头动闸值时，进入头动鼠标修正程序；

F、头动鼠标修正程序：在视野区域内通过头动识别模组的多轴运动传感器采样头部转动角数据，正相关映射转换为屏幕的鼠标位移增量，来移动修正鼠标到用户需要的兴趣位置；

G、当用户发出鼠标确认事件并有效点击图标事件后，得出此过程的修正数值并反馈给眼追踪算法，执行鼠标点击后重复步骤B-2。

所述鼠标确认事件还包括但不仅限于：兴趣区悬停点击、牙齿的敲击信号、面部肌肉电信号、口腔声音信号、按键和外部无线设备信号来触发形成鼠标确认事件。

所述眼追踪识别模组包括但不限于使用表面特征法、多类分类器法或红外光源法。

所述眼追踪算法包括但不限于hough算法、Kalman算法、Mean算法或Shift算法。

所述头动追踪模组中转动角数据正相关映射算法中线性倍率为一个定值倍率或动态倍率。

所述头动追踪模组还可以独立为一个手持控制设备。

所述图形交互界面中可以设立当鼠标接近按键图块时，按键图块对鼠标产生磁性吸引和图像特效。

所述红外摄像头可以获取虹膜图像，通过识别用户身份，调取用户初始档案。

所述头戴设备包括眼镜、护目镜或头盔中的至少一个。

其中多轴运动传感器常识认知包括：微型机电MEMS的陀螺仪传感器、加速度传感器、多轴磁强仪、重力传感器等，

其中图形交互界面：可以通过头部动作追踪让交互界面(2D，3D)随着头部的移动拓展场景，使其场景相对地球惯性系相对静止，如同显示画面在真实场景中一样的交互界面，并且可透明。

其中图形交互界面可以通过摄像头和景深摄像头识别后，作为眼动鼠标点击交互的对象，其对象的反馈资料可来自本地存储文件也可来自网络和人工智能。

其动态界面可衍生出：当鼠标接近兴趣块时，兴趣块具有磁性吸引和加亮放大功能，并且识别眼睛在凝视后使鼠标特效加亮；

其中还可以衍生出：鼠标确认事件还包括：双击事件、按下拖动、和鼠标右键。其中在权利2中的C步骤常识认知可推导：通过红外摄像头可以得到虹膜特征并识别其对应的用户身份，并调取用户初始值作为密码解锁和金融支付。

衍生实施案例：所述头戴式设备还包含一套加权算法，其中：

通过头眼随动的生理心理机制分析得出：

头动和眼动同时往一个方向走，意味着注意力集中主导转向，以眼球转动为主进行加权移动；

头部方向和眼睛方向相反，意味着鼠标在用户意识相反的方向，或是在全景操作界面或点击外环境物标，需要对头动进行加权修正；

通过场景模式，识别在走动过程中，切换至单纯眼动识别。

衍生实施案例：所述头戴式设备还可以包含可透视型的头显，其中：眼追踪识别模组还包括：半反半透曲面反射镜、红外摄像头、红外LED，

一个以上红外LED发出的红外光通过半反半透反射镜反射至人眼，红外摄像头通过半反半透反射镜得到人眼红外图像；

其它实施案例一：头显模组还包括：投影显示屏、半反半透曲面反射镜，

计算机模组驱动投影显示模组，发出图像光线经半反半透反射镜反射，和外界透射来的环境光线合成后，投射至人眼成像，其中红外LED以符合摄像头曝光帧率的1/2时间点进行闪烁以节省功耗和差分帧，红外摄像头得到明暗不同的两幅差分帧眼动图像，通过图像差分算法得到去除背景干扰的图像，再通过眼动模块得到眼睛看的区域显示鼠标，再通过头动校正位置，在使用中校正眼动算法，使用户在交互使用过程中越用越精准。

其它实施案例二：所述眼追踪识别模组可以为系统处理器软件算法实现也可以使用独立的集成化硬件实现，包括：眼追踪识别模组和头动追踪模组以及计算模块，集成到一个模组里，实现规模化量产，降低体积、重量和成本。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而这些属于本发明的实质精神所引伸出的显而易见的变化或变动仍属于本发明的保护范围。

Claims (10)

1.一头显设备的眼动和头动交互方法，其特征在于，所述交互方法包括如下步骤：

显示一图形交互界面；

在所述图形交互界面的被眼睛注视的相应区域内显示鼠标；以及

以采集用户在注视过程中的头部的修正动作的方式修正鼠标到兴趣关注点位置。

2.根据权利要求1所述的交互方法，其中所述在所述图形交互界面的被眼睛注视的相应区域内显示鼠标的步骤进一步包括如下步骤：

采集眼睛的图像；

基于眼睛的图像进行判断和追踪，以确定在所述图形交互界面中的被眼睛注视的所述相应区域；以及

在所述图形交互界面的所述相应区域内显示鼠标。

3.根据权利要求2所述的交互方法，其中在所述在所述图形交互界面的所述相应区域内显示鼠标的步骤之前进一步包括步骤：判断眼睛的图像是否为首次采集，其中若眼睛的图像为非首次采集，则进行所述步骤：在所述图形交互界面的所述相应区域内显示鼠标，若眼睛的图像为首次采集，则进行步骤：

显示带有特征点的校正界面；

通过凝视所述校正界面的相应特征点的方式得到眼动初始值；以及

根据眼动初始值在所述图像交互界面的所述相应区域内显示鼠标。

4.根据权利要求3所述的交互方法，其中所述在所述图形交互界面的所述相应区域内显示鼠标的步骤之后进一步包括步骤：判断眼睛瞳孔的移动速度是否大于眼动闸值，其中若眼睛瞳孔的移动速度大于眼动闸值，则在所述图形交互界面的所述相应区域内显示处于新位置的鼠标，若眼睛瞳孔的移动速度小于眼动闸值，则使鼠标在所述图形交互界面的所述相应区域内保持不动。

5.根据权利要求1所述的交互方法，其中所述以采集头部的修正动作的方式修正鼠标到兴趣关注点位置的步骤进一步包括如下步骤：

获取头部转动角数据；和

通过将头部转动角数据正相关映射转换为鼠标位移增量的方式移动修正鼠标到兴趣关注点位置。

6.根据权利要求4所述的交互方法，其中所述以采集头部的修正动作的方式修正鼠标到兴趣关注点位置的步骤进一步包括如下步骤：

获取头部转动角数据；和

通过将头部转动角数据正相关映射转换为鼠标位移增量的方式移动修正鼠标到兴趣关注点位置。

7.根据权利要求6所述的交互方法，其中在所述获取头部转动角数据的步骤之后进一步包括步骤：判断头部转动角速度是否大于头动闸值，其中若头部转动角速度大于头动闸值，则在所述图形交互界面的所述相应区域内显示鼠标，若头部转动角速度小于头动闸值，

则进行步骤：通过将头部转动角速度正相关映射转换为鼠标位移增量的方式移动修正鼠标到兴趣关注点位置。

8.根据权利要求1至7中任一所述的交互方法，其中在上述方法中，通过一头戴设备显示所述图形交互界面。

9.根据权利要求1至8中任一所述的交互方法，其中在所述以采集头部的修正动作的方式修正鼠标到兴趣关注点位置的步骤之后进一步包括步骤：接收点击的鼠标确认事件。

10.根据权利要求9所述的交互方法，其中所述鼠标确认事件选自：兴趣区悬停点击、牙齿的敲击信号、面部肌肉电信号、口腔声音信号、按键和外部无线设备信号形成的事件组。

Images