CN107247511A - 一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置 - Google Patents

Abstract

本发明公开了一种基于虚拟现实中眼动捕捉的跨物体交互装置，包括：头戴式虚拟现实眼镜，获取虚拟现实三维场景图像，并将其根据左右眼在视角上的差异显示于显示屏上；眼动追踪设备，可拆卸地固定于所述头戴式虚拟现实眼镜的目镜上，用于拍摄和记录眼睛运动的红外图像，并将该图像输送至主机；主机，输出虚拟显示三维场景图像至所述头戴式虚拟现实眼镜的显示屏中；接收所述眼动追踪设备输送来的红外图像；基于OpenCV计算机图形库计算红外图像中瞳孔的位置，分析和处理用户眼动轨迹，根据虚拟距离激活不同用户界面的呈现方式和交互内容，本发明还公开了一种跨物体交互方法，该方法能够动态地决定用户界面的内容显示和交互方式。

Description

一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置

技术领域

本发明涉及结合眼部追踪的虚拟现实设备领域，具体涉及一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置。

背景技术

眼动捕捉通过测量眼睛的视觉注意力焦点的位置或者眼球相对头部的运动实现对眼球运动的实施追踪。目前的眼动捕捉主要使用红外光辅助图像捕捉设备采集眼部图像，通过追踪和计算眼部图像中瞳孔的中心位置来测量眼球的位置和运动轨迹信息。眼动捕捉技术目前被广泛应用于心理学、工效学、视知觉等领域。

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，能够在虚拟三维空间中为用户提供沉浸式的交互环境。类似于在现实空间中用户的视觉注意力会在不同距离物体上移动、注视和扫描等，在虚拟现实空间中的用户视觉注意力焦点的变化也有着类似的行为。目前针对虚拟现实环境交互的交互手段主要有眼动追踪、身体姿态、肌电信号、触觉反馈、语音交互和手势识别等。

目前的虚拟现实环境交互已经部分或者全部结合了上述多维度感知的交互方式，但是仍然存在以下不足：(1)虚拟环境交互的输出反馈自适应问题。虚拟现实生成的反馈需要被人快速、直接地接收和理解，在当前的交互方式下仍然难以及时地反应，信息的传达存在一定时滞或缺失；(2)虚拟现实环境对人交互意图的理解问题。当前交互主要受用户的主观表达信息的驱动，对于用户交互行为中的内在意图的理解不足，没有形成较好的交互认知解决方案。

发明内容

鉴于上述，本发明提供了一种基于虚拟现实中眼动捕捉的跨物体交互装置与方法，该方法根据虚拟现实三维空间中用户注视的虚拟物体与用户的视点之间的虚拟距离，实现不同的用户界面和交互方式。

一种基于虚拟现实中眼动捕捉的跨物体交互装置，包括：

头戴式虚拟现实眼镜，获取虚拟现实三维场景图像，并将其根据左右眼在视角上的差异显示于显示屏上；

眼动追踪设备，可拆卸地固定于所述头戴式虚拟现实眼镜的目镜上，用于拍摄和记录眼睛运动的红外图像，并将该图像输送至主机；

主机，输出虚拟显示三维场景图像至所述头戴式虚拟现实眼镜的显示屏中；接收所述眼动追踪设备输送来的红外图像；基于OpenCV计算机图形库计算红外图像中瞳孔的位置，分析和处理用户眼动轨迹，根据虚拟距离激活不同用户界面的呈现方式和交互内容。

所述的头戴式虚拟现实眼镜包括：

目镜，调整用户视线在显示屏上的对焦位置，以便用户视线能够准确地对焦于显示屏上；

显示屏，根据左右眼在视角上的差异分别显示虚拟现实三维场景，这样能使用户的左右眼感知到不一样的图像，形成对虚拟现实三维环境的空间认知；

扬声器，根据用户界面显示的交互内容播放相应的三维立体声；

固定支撑结构，是一个眼镜形式的可穿戴结构，用于支撑、固定所述的目镜与显示屏；以及

连接线；连接主机，用于虚拟现实三维场景图像和交互内容的通信。

所述的眼动追踪设备包括：

3D打印的框架，与所述头戴式虚拟现实眼镜的目镜形状大小一致，用于固定红外发射器、微型红外摄像头；

多个红外发射器，用于发射一定频率的红外光至眼睛上；

微型红外摄像头，用于捕捉眼球和瞳孔运动的红外图像，该红外摄像头可以有效地避免头戴式虚拟现实眼镜中显示屏发出的可见光干扰，捕捉到清晰的眼球和瞳孔的红外图像；以及

接口，用于将捕捉到的红外图像传送至主机。

作为优选，所述的红外发射器为贴片式红外光LED，该红外光LED灯成本较低，能够发射均匀地红外光，便于安装。

作为优选，所述的多个红外发射器均匀地固定于所述的3D打印的框架的框架外围一周；所述的微型红外摄像头固定于眼动追踪设备边缘处。

作为优选，所述的眼动追踪设备为两个，分别置于头戴式虚拟现实眼镜的目镜上，这样能够很准确地记录眼睛运动的红外图像。

所述的主机利用OpenCV计算机图像库，在红外图像中检测瞳孔反光位置，计算其中心点，并记录和分析连续多帧图像上的眼动位置判断用户视觉焦点的运动轨迹。

另一方面，本发明提供了一种利用上述装置实现跨物体交互方法，包括：

(1)眼动追踪设备以30Hz的采样频率连续获取眼睛运动的红外图像，并将该些红外图像发送至主机；

(2)主机根据红外图像确定每帧红外图像中的瞳孔位置，并根据连续多帧红外图像中的瞳孔位置确定眼睛运动轨迹、眼睛运动速度以及眼睛停留时长，得到眼睛运动模式；

(3)主机根据红外图像中瞳孔位置、眼动坐标系与虚拟现实图像坐标系的关系确定虚拟物体，得到虚拟距离d；

(4)主机根据虚拟距离d和眼睛运动模式激活与该虚拟距离对应的用户界面的交互方式与用户界面的内容显示。

当眼睛不停地运动时，眼动追踪设备连续采集不同时刻的眼睛运动的红外图像，主机根据不同的红外图像中瞳孔位置进而得到的虚拟距离动态地激活与该虚拟距离对应的用户界面的交互方式与用户界面的内容显示。

步骤(1)中，红外图像中瞳孔为红外光反射特征最明显的部分，形成一个最亮的光点，该亮点即为瞳孔位置，该亮点所在的位置为瞳孔在红外图像中的平面坐标，记为(x，y)。

步骤(2)中，所述的眼动坐标系为红外图像内的坐标系，是人为设定的，根据该坐标系就可以清楚地获得和标记瞳孔位置。

步骤(3)中，所述眼动坐标系与虚拟现实图像坐标系的关系的获得方法为：

用户按照顺序看头戴式虚拟现实眼镜中显示屏四个角上的红色标记点，以左下角为坐标原点，则四个红色标记点分别记为(0,0)，(0,显示屏分辨路高度H)，(显示屏分辨率宽度W,H)，(W,0)；用户在看这四个红色标记点时，所记录的红外图像上瞳孔的坐标记为(0,0)，(0,h)，(w,h)，(w,0)；这样，所有在红外图像中四个坐标(0,0)，(0,h)，(w,h)，(w,0)形成的范围内的瞳孔位置(x,y)，均线性投射至头戴式虚拟现实眼镜的显示屏中四个坐标{(0,0)，(0,H)，(W,H)，(W,0)}范围内的坐标(X，Y)。

步骤(3)中，所述的虚拟距离的获得过程为：

根据虚拟现实眼镜的显示屏上的眼动位置坐标(X，Y)，在显示屏上显示的虚拟现实三维场景中，找到对应的用户注视焦点所在的虚拟物体，并得到该虚拟物体的三维坐标中心点到三维场景的摄像机的中心点之间的垂直距离，该垂直距离为虚拟距离，虚拟距离的单位与三维场景中的摄像机的焦距单位一致，为毫米。

三维场景中的摄像机的中心点不是固定在虚拟现实眼镜的显示屏平面上，但它的落点一直是用户的眼睛。摄像头的中心点已知，虚拟物体的中心点三维坐标已知，就可以计算两个坐标之间的距离d，也就垂直于显示屏并沿着用户眼睛视线方向延伸的距离。

步骤(4)中，所述的主机根据虚拟距离激活与该虚拟距离对应的用户界面的呈现方式和交互内容，具体为：

当d≥3000mm时，采用用户界面悬浮于虚拟物体中心点位置上方空中的呈现方式；此时，用户界面尺寸为虚拟现实眼镜中显示屏的1/16，即用户界面的宽为W/4，高为H/4，用户界面的交互内容为物体的标记信息，字体大小为80px(目前虚拟现实设备中文字最小像素大小为14px，最佳为20px)；当用户头部和眼睛运动均保持静止达1秒时，(通过判断用户眼动轨迹实现)，保持用户界面的中心位置不变，动态持续放大用户界面的尺寸至原来的2倍，使之成为虚拟现实眼镜中显示屏的1/8，同时交互内容增多；当用户头部或眼睛恢复移动，则自动缩小用户界面至原来尺寸，交互内容也恢复至初始状态；

当1500mm≤d＜3000mm时，采用用户界面半结合于虚拟物体的呈现方式，即用户界面的一侧边与虚拟物体相连；此时，用户界面尺寸为虚拟现实眼镜中显示屏的1/32，用户界面的宽为W/4，高为H/8，用户界面的交互内容为物体的标记信息与简略的介绍文本、图片以及视频，字体大小为40px；当用户头部和眼睛运动均保持静止达1秒时，保持用户界面的中心位置不变，动态持续放大用户界面的尺寸至原来的2倍，使之成为虚拟现实眼镜中显示屏的1/16，即用户界面的宽为W/4，高为H/4，同时交互内容增多；当用户的头部或者眼睛恢复运动，则自动缩小用户界面至原来尺寸，交互内容也恢复至初始状态；

当d＜1500mm时，采用用户界面完全结合于虚拟物体的呈现方式，即用户界面的平面完全投影在虚拟物体的表面上；此时，用户界面尺寸为注视焦点所在的物体表面的大小(即最大内切矩形)，用户界面交互内容为物体的标记信息、详细的文本、图片以及视频；字体大小为20px；当用户头部和眼动运动均保持静止达1秒时，动态更新一次用户界面中的内容(也包括加载显示视频)；当用户的头部或者眼睛恢复运动，则交互内容自动恢复至初始状态。

本发明方法结合了虚拟现实环境用户界面中的眼动轨迹和虚拟现实场景中的“视点-物体”之间的虚拟距离，动态决定用户界面的内容显示和交互方式，从而为虚拟现实环境中的信息获取提供更加自然和高效的方式。

附图说明

图1是实施例中基于虚拟现实中眼动捕捉的跨物体交互方法的流程图；

图2是实施例中用户界面悬浮于虚拟物体中心点位置上方空中的呈现方式的示意图；

图3是实施例中用户界面半结合于虚拟物体的呈现方式的示意图；

图4是用户界面完全结合于虚拟物体的呈现方式的示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本实施例基于虚拟现实中眼动捕捉的跨物体交互装置，包括：头戴式虚拟现实眼镜、眼动追踪设备以及主机；其中，头戴式虚拟现实眼镜包括目镜、显示屏、固定支撑结构、扬声器以及连接线；眼动追踪设备包括3D打印的框架、多个红外发射器、微型红外摄像头以及接口。

在本实施例中，采用置于目镜上的两个眼动追踪设备，分别获得左右眼睛运动的红外图像。红外发射器采用贴片式红外光LED，且均匀地贴于3D打印的框架的外围一周，微型红外摄像头固定于眼动追踪设备边缘处。

使用上述装置实现跨物体交互方法的流程图如图1所示，具体包括以下步骤：

S01，眼动追踪设备以30Hz的采样频率连续获取眼睛运动的红外图像，并将该些红外图像发送至主机。

红外图像中瞳孔为红外光反射特征最明显的部分，形成一个最亮的光点，该亮点即为瞳孔位置，该亮点所在的位置为瞳孔在红外图像中的平面坐标，记为(x，y)。

S02，主机根据红外图像确定每帧红外图像中的瞳孔位置，并根据连续多帧红外图像中的瞳孔位置确定眼睛运动轨迹、眼睛运动速度以及眼睛停留时长，得到眼睛运动模式。

S03，主机根据红外图像中瞳孔位置、眼动坐标系与虚拟现实图像坐标系的关系确定虚拟物体，得到虚拟距离d。

本步骤的具体过程为：

首先，标定眼动坐标系与虚拟现实图像坐标系的关系，具体为：

用户按照顺序看头戴式虚拟现实眼镜中显示屏四个角上的红色标记点，以左下角为坐标原点，则四个红色标记点分别记为(0,0)，(0,显示屏分辨路高度H)，(显示屏分辨率宽度W,H)，(W,0)；用户在看这四个红色标记点时，所记录的红外图像上瞳孔的坐标记为(0,0)，(0,h)，(w,h)，(w,0)；这样，所有在红外图像中四个坐标(0,0)，(0,h)，(w,h)，(w,0)形成的范围内的瞳孔位置(x,y)，均线性投射至头戴式虚拟现实眼镜的显示屏中四个坐标{(0,0)，(0,H)，(W,H)，(W,0)}范围内的坐标(X，Y)。

然后，根据红外图像中瞳孔位置、眼动坐标系与虚拟现实图像坐标系的关系确定虚拟现实眼睛的显示屏上眼睛注视的焦点，这个焦点是根据单眼的瞳孔位置确定的焦点，双眼的焦点在看一个物体的时候实现会交叉，交叉点就落在焦点物体上，所以这里单眼就足够了。

最后，根据该焦点沿着与虚拟现实显示屏垂直的方向向虚拟环境中延伸，遇到的第一个物体为需要确定的虚拟物体，虚拟物体与虚拟现实中三维场景的摄像机中心点之间的z方向上的距离为虚拟距离。

S04，主机根据虚拟距离d和眼睛运动模式激活与该虚拟距离对应的用户界面的交互方式与用户界面的内容显示。

本步骤具体为：

当d≥3000mm时，采用如图2所示的用户界面悬浮于虚拟物体中心点位置上方空中的呈现方式；此时，用户界面尺寸为虚拟现实眼镜中显示屏的1/16，即用户界面的宽为W/4，高为H/4，用户界面的交互内容为物体的标记信息，字体大小为80px(目前虚拟现实设备中文字最小像素大小为14px，最佳为20px)；当用户头部和眼睛运动均保持静止达1秒时，(通过判断用户眼动轨迹实现)，保持用户界面的中心位置不变，动态持续放大用户界面的尺寸至原来的2倍，使之成为虚拟现实眼镜中显示屏的1/8，同时交互内容增多；当用户头部或眼睛恢复移动，则自动缩小用户界面至原来尺寸，交互内容也恢复至初始状态；

当1500mm≤d＜3000mm时，采用如图3所示的用户界面半结合于虚拟物体的呈现方式，即用户界面的一侧边与虚拟物体相连；此时，用户界面尺寸为虚拟现实眼镜中显示屏的1/32，用户界面的宽为W/4，高为H/8，用户界面的交互内容为物体的标记信息与简略的介绍文本、图片以及视频，字体大小为40px；当用户头部和眼睛运动均保持静止达1秒时，保持用户界面的中心位置不变，动态持续放大用户界面的尺寸至原来的2倍，使之成为虚拟现实眼镜中显示屏的1/16，即用户界面的宽为W/4，高为H/4，同时交互内容增多；当用户的头部或者眼睛恢复运动，则自动缩小用户界面至原来尺寸，交互内容也恢复至初始状态；

当d＜1500mm时，采用如图4所示的用户界面完全结合于虚拟物体的呈现方式，即用户界面的平面完全投影在虚拟物体的表面上；此时，用户界面尺寸为注视焦点所在的物体表面的大小(即最大内切矩形)，用户界面交互内容为物体的标记信息、详细的文本、图片以及视频；字体大小为20px；当用户头部和眼动运动均保持静止达1秒时，动态更新一次用户界面中的内容(也包括加载显示视频)；当用户的头部或者眼睛恢复运动，则交互内容自动恢复至初始状态。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于虚拟现实中眼动捕捉的跨物体交互装置，其特征在于，包括：头戴式虚拟现实眼镜，获取虚拟现实三维场景图像，并将其根据左右眼在视角上的差异显示于显示屏上；

眼动追踪设备，可拆卸地固定于所述头戴式虚拟现实眼镜的目镜上，用于拍摄和记录眼睛运动的红外图像，并将该图像输送至主机；

主机，输出虚拟显示三维场景图像至所述头戴式虚拟现实眼镜的显示屏中；接收所述眼动追踪设备输送来的红外图像；基于OpenCV计算机图形库计算红外图像中瞳孔的位置，分析和处理用户眼动轨迹，根据虚拟距离激活不同用户界面的呈现方式和交互内容。

2.如权利要求1所述的基于虚拟现实中眼动捕捉的跨物体交互装置，其特征在于，所述的头戴式虚拟现实眼镜包括：

目镜，调整用户视线在显示屏上的对焦位置，以便用户视线能够准确地对焦于显示屏上；

显示屏，根据左右眼在视角上的差异分别显示虚拟现实三维场景，这样能使用户的左右眼感知到不一样的图像，形成对虚拟现实三维环境的空间认知；

扬声器，根据用户界面显示的内容播放相应的三维立体声；

固定支撑结构，是一个眼镜形式的可穿戴结构，用于支撑、固定所述的目镜与显示屏；以及

连接线；连接主机，用于虚拟现实三维场景图像和交互内容的通信。

3.如权利要求1所述的基于虚拟现实中眼动捕捉的跨物体交互装置，其特征在于，所述的眼动追踪设备包括：

3D打印的框架，与所述头戴式虚拟现实眼睛的目镜形状大小一致，用于固定红外发射器、微型红外摄像头；

多个红外发射器，用于发射一定频率的红外光至眼睛上；

微型红外摄像头，用于捕捉眼球和瞳孔运动的红外图像，该红外摄像头可以有效地避免头戴式虚拟现实眼镜中显示屏发出的可见光干扰，捕捉到清晰的眼球和瞳孔的红外图像；以及

接口，用于将捕捉到的红外图像传送至主机。

4.如权利要求3所述的基于虚拟现实中眼动捕捉的跨物体交互装置，其特征在于，所述的红外发射器为贴片式红外光LED。

5.一种应用权利要求1～4任一所述的装置进行跨物体交互方法，包括以下步骤：

(1)眼动追踪设备以30Hz的采样频率连续获取眼睛运动的红外图像，并将该些红外图像发送至主机；

(2)主机根据红外图像确定每帧红外图像中的瞳孔位置，并根据连续多帧红外图像中的瞳孔位置确定眼睛运动轨迹、眼睛运动速度以及眼睛停留时长，得到眼睛运动模式；

(3)主机根据红外图像中瞳孔位置、眼动坐标系与虚拟现实图像坐标系的关系确定虚拟物体，得到虚拟距离d；

(4)主机根据虚拟距离d和眼睛运动模式激活与该虚拟距离对应的用户界面的交互方式与用户界面的内容显示。

6.如权利要求5所述的跨物体交互方法，其特征在于，所述眼动坐标系与虚拟现实图像坐标系的关系的获得方法为：

用户按照顺序看头戴式虚拟现实眼镜中显示屏四个角上的红色标记点，以左下角为坐标原点，则四个红色标记点分别记为(0,0)，(0,显示屏分辨路高度H)，(显示屏分辨率宽度W,H)，(W,0)；用户在看这四个红色标记点时，所记录的红外图像上瞳孔的坐标记为(0,0)，(0,h)，(w,h)，(w,0)；这样，所有在红外图像中四个坐标(0,0)，(0,h)，(w,h)，(w,0)形成的范围内的瞳孔位置(x,y)，均线性投射至头戴式虚拟现实眼镜的显示屏中四个坐标{(0,0)，(0,H)，(W,H)，(W,0)}范围内的坐标(X，Y)。

7.如权利要求6所述的跨物体交互方法，其特征在于，所述眼动坐标系与虚拟现实图像坐标系的关系的获得方法为：所述的虚拟距离的获得过程为：

根据虚拟现实眼镜的显示屏上的眼动位置坐标(X，Y)，在显示屏上显示的虚拟现实三维场景中，找到对应的用户注视焦点所在的虚拟物体，并得到该虚拟物体的三维坐标中心点到三维场景的摄像机的中心点之间的垂直距离，该垂直距离为虚拟距离。

8.如权利要求5所述的跨物体交互方法，其特征在于，所述的主机根据虚拟距离激活与该虚拟距离对应的用户界面的呈现方式和交互内容，具体为：

当d≥3000mm时，采用用户界面悬浮于虚拟物体中心点位置上方空中的呈现方式；此时，用户界面尺寸为虚拟现实眼镜中显示屏的1/16，用户界面的交互内容为物体的标记信息，字体大小为80px；当用户头部和眼睛运动均保持静止达1秒时，保持用户界面的中心位置不变，动态持续放大用户界面的尺寸至原来的2倍，使之成为虚拟现实眼镜中显示屏的1/8，同时交互内容增多；当用户头部或眼睛恢复移动，则自动缩小用户界面至原来尺寸，交互内容也恢复至初始状态；

当1500mm≤d＜3000mm时，采用用户界面半结合于虚拟物体的呈现方式；此时，用户界面尺寸为虚拟现实眼镜中显示屏的1/32，用户界面的宽为W/4，高为H/8，用户界面的交互内容为物体的标记信息与简略的介绍文本、图片以及视频，字体大小为40px；当用户头部和眼睛运动均保持静止达1秒时，保持用户界面的中心位置不变，动态持续放大用户界面的尺寸至原来的2倍，使之成为虚拟现实眼镜中显示屏的1/16，同时交互内容增多；当用户的头部或者眼睛恢复运动，则自动缩小用户界面至原来尺寸，交互内容也恢复至初始状态；

当d＜1500mm时，采用用户界面完全结合于虚拟物体的呈现方式，即用户界面的平面完全投影在虚拟物体的表面上；此时，用户界面尺寸为注视焦点所在的物体表面的大小，用户界面交互内容为物体的标记信息、详细的文本、图片以及视频，字体大小为20px；当用户头部和眼动运动均保持静止达1秒时，动态更新一次用户界面中的内容；当用户的头部或者眼睛恢复运动，则交互内容自动恢复至初始状态。