CN109213323A - 一种基于眼动交互技术实现屏幕姿态估计的方法 - Google Patents

Abstract

本发明提出一种眼动交互操作中屏幕位姿的改进方法，包含以下步骤：A、屏幕位姿初始化；B、屏幕位姿误差衡量；C、定义屏幕位姿反馈机制；D、通过眼动交互操作提高屏幕位姿精度。本发明提供了一种简单易行的方法，使得用户可以通过简单的眼动交互操作来估计屏幕的位置和姿态，增加眼动追踪设备的实际使用体验。用户友好，简单易行，精度较高，允许眼动追踪设备的位置有较大自由度，只要其能拍摄到脸部图像即可。

Description

一种基于眼动交互技术实现屏幕姿态估计的方法

技术领域

本发明涉及计算机视觉和计算机图形学领域，具体地说是一种基于眼动追踪交互技术来改进屏幕姿态估计的方法。

背景技术

眼动追踪技术是计算机视觉领域的热点问题之一，在虚拟现实，人工智能和人机交互领域有相当光明的研究前景和商业应用背景。眼动追踪是指通过测量眼睛的注视点位置或者眼球相对头部的运动而实现对眼球的追踪。

屏幕姿态估计在眼动追踪技术的应用上有重要的作用。眼动追踪技术的直观结果之一便是在屏幕上显示用户的注视点位置，此过程需要将注视向量沿其方向延长并与屏幕相交来获取屏幕上注视点的位置，为此，提前预知屏幕在相机坐标系下的位置和姿态是必要且必需的。在实验室环境下，研究员可以通过复杂的算法来提前估计相机和屏幕的相对位置关系，或者提前精确设计好相机和屏幕的摆放位置。然而在实际的用户体验中，这些方法是复杂且不容易实现的，同时对用户是不太友好的。为此，设计一个用户友好的，简单的屏幕姿态估计的算法，对于提升眼动追踪设备的实际用户体验具有重大意义。

传统屏幕姿态估计方法复杂且需要使用者有相当的技术背景。比如基于平面镜反射的屏幕姿态估计方法，该方法在屏幕上显示标定板图片(象棋棋盘)，然后在屏幕前方放置一块平面镜，放置在屏幕后方的相机捕捉到平面镜所成的虚相，让后通过构建线性方程组来求解屏幕在相机坐标系下的位置和姿态。此类方法在理论上能精确求解屏幕位姿，但在面向广大消费这却显得繁琐。

发明内容

针对现有的屏幕姿态估计方法复杂且需要使用者有相当的技术背景，本发明的目的在于：提出一种基于眼动追踪技术的屏幕位姿衡量方法和屏幕位姿改进方法，用户通过简单的交互操作，能够改进屏幕在相机坐标系下的位置和姿态。

本发明是采用以下的技术方案实现的：

一种眼动交互操作中屏幕位姿的改进方法，包含以下步骤：

A、屏幕位姿初始化；

B、屏幕位姿误差衡量；

C、定义屏幕位姿反馈机制；

C1、根据误差现象判断位姿误差类型，根据眼动追踪设备估计的屏幕注视点位置与真实注视点位置的相对关系，判断当前屏幕位姿存在哪些类型的误差；

C2、定义误差类型对应的反馈方法；

D、通过眼动交互操作提高屏幕位姿精度。

进一步地，所述步骤B屏幕位姿误差衡量，包括以下步骤：

B1、定义屏幕位姿误差类型。

B2、定义屏幕位姿误差衡量方法。

进一步地，所述步骤D包括：

D1、眼动交互操作中主要屏幕区域定义为屏幕中心、屏幕各边缘中心。

D2、定义屏幕位姿改进的顺序。

进一步地，：所述步骤C1位姿误差类型包括：横向位移误差，纵向位移误差，深度误差，横向旋转误差，纵向旋转误差，正向旋转误差，对应着屏幕坐标系下沿着x、y、z轴的位移和旋转。

进一步地，所述步骤C2中反馈方法为：根据当前屏幕位姿误差的类型，通过设计键盘的按键操作，将误差类型反馈给系统。

进一步地，所述步骤D2中屏幕位姿改进的顺序为：定义整个改进过程为一个循环过程，当精度达到要求后退出；定义循环内部的改进顺序为：先改进屏幕的位置参数，再改进屏幕的姿态参数；位置参数中，深度优先改进，而在姿态参数中，沿坐标轴z轴的旋转参数优先改进。

与现有技术相比，本发明的优点和积极效果在于：

本发明提供了一种简单易行的方法，使得用户可以通过简单的眼动交互操作来估计屏幕的位置和姿态，增加眼动追踪设备的实际使用体验。用户友好，简单易行，精度较高，允许眼动追踪设备的位置有较大自由度，只要其能拍摄到脸部图像即可。

附图说明

图1为本发明实际使用场景示意图；

图中，q:预测出的注视点；p:真实的注视；e:眼球；gaze:注视向量；S：屏幕(显示器)；C：相机；O：屏幕中心；O-XYZ:屏幕坐标系；

图2为屏幕位置误差现象示意图；

图中，p:真实的注视点；q:预测出的注视点；m:双眼视线相交的点；图(5)、(6)，预测出来的左右眼的注视方向不相交于一点，导致屏幕上出现了两个预测的注视点；q2:预测出的左眼对应的注视点；q1:预测出的右眼对应的注视点；

图3为屏幕姿态横向旋转误差现象示意图；

图中，p:真实的注视点；q1，q2:预测出的注视点；S:真实屏幕位置；T：估计屏幕位置；C：屏幕S的上侧边缘中央；D：估计屏幕T的上侧边缘中央；θ_x：估计的屏幕位置与真实的屏幕位置在X轴方向的角度偏差；

图4为屏幕姿态纵向旋转误差现象示意图；

图中，p:真实的注视点；q:预测出的注视点；S:真实屏幕位置；T：估计屏幕位置；C：屏幕S的右侧边缘中央；D：估计屏幕T的右侧边缘中央；θ_y：估计的屏幕位置与真实的屏幕位置在y轴方向的角度偏差；

图5为屏幕姿态正向旋转误差现象示意图；

图中，p:真实的注视点；q:预测出的注视点；S:真实屏幕位置；T：估计屏幕位置；C：屏幕S的右上角；D：估计屏幕T的右上角；θ_z：估计的屏幕位置与真实的屏幕位置在z轴方向的角度偏差；

图6为屏幕姿态估计算法流程图。

具体实施方式

本发明的提出过程：

现在眼动追踪的方法主要有基于模型的眼动追踪和基于外观的眼动追踪技术。基于模型的眼动追踪技术,是目前精度最好(商业设备最好能有一度以内的误差)，但也是最为昂贵的。此类设备一般通过建立眼球模型，通过额外的红外光源和相机作为辅助设备来估计注视向量。最后再将其投影到屏幕上并显示用户注视点的位置。基于外观的眼动追踪技术其优点在于不需要额外的红外光源，设备简单，一般只需要一个相机即可，同时价格合适。基于外观的眼动追踪技术只需要眼部图像作为输入，便能预测注视向量，对光照，肤色，头部位置等因素有很好的鲁棒性。

基于人工智能，深度学习等领域快速的发展，基于外观的眼动追踪方法得到的很大的发展。目前在实验室环境下，桌面式眼动仪设备已经可以达到1度左右的高精度的眼动追踪。基于深度学习的方法，其硬件要求一般只需要一个摄像头作为数据的采集，可以预见，基于深度学习的眼动追踪技术的发展，将会使得更为廉价、简单的灵活的眼动追踪设备得到较为广泛的应用。为此，鉴于基于外观的方法的进一步发展和现有屏幕位姿估计方法的缺陷，提出了本发明。

下面结合附图和具体实施方式对本发明做进一步详细的说明。

本发明基于眼动交互技术实现屏幕姿态估计方法流程参考图6，主要步骤包括：

第一步，屏幕位姿初始化

初始化屏幕位姿可以使用传统的方法，比如校准方法，或是使用平面镜反射的方法，或是手动指定一个大致正确的位姿即可。

参见附图1，相机C和屏幕S置于同一侧，用户在屏幕前方，分别对应坐标系为相机坐标系，屏幕坐标系，人脸坐标系。用户注视这屏幕上的相关内容，其注视向量(相机坐标系下)可以根据眼动追踪设备计算出来。注视向量与屏幕相交的点即为预测的注视点。为了计算精确的注视点位置，需要知道精确的屏幕的位姿。

在相机坐标系下，相机通过采集人脸图像，根据眼动追踪相应算法计算出注视向量g，记人眼e,同时注视向量g与屏幕S交于注视点q，真实的注视点位置记为p。

定义屏幕位姿的6个自由度为：朝向x、y、z轴的偏移t_x,t_y,t_z和围绕x、y、z轴的旋转θ_x,θ_y,θ_z。屏幕位姿表示了屏幕在相机坐标系下的位置和姿态，最后根据相机坐标系，屏幕坐标系和注视向量之间的几何关系，计算出屏幕上的注视点位置。

第二步，定义屏幕位姿衡量方法：

当传统方法估计的屏幕位姿不够精确时，眼动追踪设备在屏幕上的注视点有不同的误差现象，详见表一。

表一误差类型

根据以上6种屏幕位姿估计的误差，定义衡量屏幕位姿估计好坏的数学描述如下：

E的取值越趋近于零，表示屏幕位姿精度越高。

第三步，定义反馈机制：

考虑到对于用户要简单易行，反馈机制的主要目的在于，用户如何根据当前眼动追踪设备估计的注视点位置，来判断屏幕位姿在哪些自由度上不准确。定义反馈机制，能让用户把当前注视点位置的现象转化为对应参数的误差。通俗地说，即规定了用户看屏幕的哪里，看到了什么，并将所看的内容转换为算法的输入。

使用者通过看屏幕，眼动追踪设备在屏幕上显示其估计的注视点。对于这些估计点的正确性，使用者的做出相应判断，转换为合理的输入，为后面进一步改进屏幕位姿提供数据。

首先，为了降低复杂性，增强使用者对误差类型的判断能力，使屏幕位姿改进尽快达到可观的精度，定义眼动交互操作中的主要屏幕注视区域如下：

屏幕中心区域，屏幕四条边缘的中心，屏幕四个角

其次，对于每种可能的误差，定义如下交互反馈机制，详见表二。

表二误差反馈交互反馈机制

屏幕位置误差现象参考图2，其中(1)展示的是当屏幕位姿参数t_x估计过大，会使得计算出来的注视点位置在真实注视点的右边；(2)则是t_x估计过小，估计的注视点在真实注视点左边；(3)(4)展示的是屏幕位姿参数t_y估计不准确时，估计的注视点在真实注视点的上方或下方；(5)(6)则是t_z估计不准确时，双眼交汇的注视点在屏幕的前方或后方。

图3-图5为屏幕姿态误差现象示意图。当屏幕姿态估计不精确时，估计的注视点与真实的注视点有如图所示的相对关系。比如如图3所示，屏幕姿态在沿x轴的旋转上有误差，则误差表现为估计的注视点位置在真实注视点位置的外侧，图3中的外侧指的是p点的上边。若此时p点位置在屏幕S的上侧边缘中央C处时，由于横向旋转误差的影响，预测的注视点在C的外侧，即应该是C点的上方，故无法在屏幕上显示。再如图4所示，屏幕姿态在沿y轴的旋转上有误差，则误差表现为估计的注视点位置在真实注视点位置的外侧，图4中的外侧指的是p点的右边。若此时p点位置在屏幕S的上侧边缘中央C处时，由于纵向旋转误差的影响，预测的注视点在C的外侧，故无法在屏幕上显示。又如图5所示，屏幕姿态在沿z轴的旋转上有误差，则误差表现为估计的注视点位置与屏幕中心的连线所成的向量oq与x轴的夹角增大。即角qOD大于角Pod。其他误差现象：1.用户注视屏幕四个角时，估计的注视点位置无法在屏幕上显示；比如，若此时p点位置在屏幕S的右上角C处时，由于纵向旋转误差的影响，预测的注视点为D，无法在屏幕上显示；2.当正视屏幕时候，在存在深度误差的前提下，正向旋转误差表现为：屏幕上有两个注视点，但两个注视点的连线与屏幕坐标系的x轴不平行。

产生反馈信号包含如下两种方式：

在对应的误差调整模式下，单次点击↑或↓键，则将对应的参数增大或减小一定数值Δd。眼动追踪设备会实时计算当前屏幕位姿下，注视点在屏幕上的位置。

在对应的误差调整模式下，持续按压↑或↓键，则根据按压时间长度Δt，将对应参数的数值增大或减小Δt*Δd。

第四步，根据反馈信号调整对应的位姿参数

调整的顺序确保了算法的正确性和收敛性。经过试验验证，按照该能够让用户在最短的时间内调整好屏幕的位姿参数达到可观的精度。

同一个误差现象，可能是有多种原因造成的。

例如，横向位移误差，可能是由于屏幕位姿参数t_z造成的，也有可能是由屏幕位姿参数θ_z造成的。但参数t_z相比于参数θ_z更容易调整，且仅当注视屏幕中心时，由参数θ_z引入的横向位移误差达到最小(理论上为0)，此时的横向位移误差主要是由于参数t_z的不准确造成的。基于以上事实，应优先调整参数t_z，其次再调整参数θ_z。

为此，调整顺序的主要目的在于让每一个误差现象，主要对应着一个参数的不准确，调整该参数，从而让误差现象尽可能消失。

本发明按照以下顺序，根据反馈机制动态调整屏幕位姿：

1.改进屏幕位姿参数t_z：

用户注视屏幕中心区域，若发现屏幕上注视点个数为2时，按键盘ctrl+z进入深度误差调整模式，每次按下↑键表示将屏幕位姿的深度参数增加d，此时眼动追踪设备会根据新的位姿计算估计的注视点位置，若发现注视点个数仍为2且间距变大，则应减小深度参数的值。动态调整屏幕位姿的深度参数t_z，直到屏幕上两个注视点重合。

2.改进屏幕位姿参数t_x、t_y：

用户注视屏幕中心区域，若发现注视点与真实注视点位置不重合时，通过放缩屏幕位姿参数t_x、t_y，使得估计出的注视点位置与真实注视点位置在x轴和y轴方向重合。

3.改进屏幕位姿参数θ_z：

将屏幕位姿参数t_z增加或缩小一定数值，使得屏幕上能显示两眼的注视点位置，即让两眼的注视点位置不重合。使用者正视屏幕，若屏幕位姿参数θ_z估计正确，两个注视点连线应该与x轴平行。否则，通过增大或缩小屏幕位姿参数θ_z，使得两个注视点连线与x轴平行即可。

改进屏幕位姿参数θ_z之后，再将屏幕位姿参数t_z更改回来。

4.改进屏幕位姿参数θ_x和θ_y：

首先，用户注视屏幕上沿或下沿区域，调整屏幕位姿参数θ_x，使预测的注视点在屏幕上显示。

其次，用户注视屏幕左沿或右沿区域，调整屏幕位姿参数θ_y，使预测的注视点在屏幕上显示。

最后，根据当前眼动仪使用效果判断是继续调整还是退出。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (6)

1.一种眼动交互操作中屏幕位姿的改进方法，其特征在于包含以下步骤：

A、屏幕位姿初始化；

B、屏幕位姿误差衡量；

C、定义屏幕位姿反馈机制；

C1、根据误差现象判断位姿误差类型，根据眼动追踪设备估计的屏幕注视点位置与真实注视点位置的相对关系，判断当前屏幕位姿存在哪些类型的误差；

C2、定义误差类型对应的反馈方法；

D、通过眼动交互操作提高屏幕位姿精度。

2.根据权利要求1中一种眼动交互操作中屏幕位姿的改进方法，其特征在于：所述步骤B屏幕位姿误差衡量，包括以下步骤：

B1、定义屏幕位姿误差类型。

B2、定义屏幕位姿误差衡量方法。

3.根据权利要求1中一种眼动交互操作中屏幕位姿的改进方法，其特征在于：所述步骤D包括：

D1、眼动交互操作中主要屏幕区域定义为屏幕中心、屏幕各边缘中心。

D2、定义屏幕位姿改进的顺序。

4.根据权利要求1、2或3中一种眼动交互操作中屏幕位姿的改进方法，其特征在于：所述步骤C1位姿误差类型包括：横向位移误差，纵向位移误差，深度误差，横向旋转误差，纵向旋转误差，正向旋转误差，对应着屏幕坐标系下沿着x、y、z轴的位移和旋转。

5.根据权利要求4中一种眼动交互操作中屏幕位姿的改进方法，其特征在于：所述步骤C2中反馈方法为：根据当前屏幕位姿误差的类型，通过设计键盘的按键操作，将误差类型反馈给系统。

6.根据权利要求5中一种眼动交互操作中屏幕位姿的改进方法，其特征在于：所述步骤D2中屏幕位姿改进的顺序为：定义整个改进过程为一个循环过程，当精度达到要求后退出；定义循环内部的改进顺序为：先改进屏幕的位置参数，再改进屏幕的姿态参数；位置参数中，深度优先改进，而在姿态参数中，沿坐标轴z轴的旋转参数优先改进。