CN105607730A - 基于眼球追踪的增强显示方法及装置 - Google Patents

Abstract

本发明公开一种基于眼球追踪的增强显示方法以及一种基于眼球追踪的增强显示装置。该增强显示方法包括：眼球追踪步骤：基于眼球追踪实时获取用户的当前注视点在原始屏幕内容中的位置；以及增强显示步骤：根据所述原始屏幕内容中的各个像素点的像素值、所述各个像素点分别与设定的放大区域及设定的位于所述放大区域外的环形衔接区域之间的相对位置关系、以及设定的放大倍数计算出增强屏幕内容中的各个像素点的像素值，并利用计算出的增强屏幕内容中的各个像素点的像素值在屏幕上显示所述增强屏幕内容。本发明借助于眼球追踪技术，提供一种直观、友好的人机交互方式，达到在屏幕上实时增强显示用户关注内容的目的。

Description

基于眼球追踪的增强显示方法及装置

技术领域

本发明涉及显示控制技术领域，特别是涉及一种基于眼球追踪的增强显示方法以及一种基于眼球追踪的增强显示装置。

背景技术

通过眼球追踪技术，可以准确识别出用户正在注视的屏幕位置，即注视点。目前，市面上已经有很多成熟的产品，例如Tobii公司的PCEyeGo，可以和计算机或平板电脑配合使用。

另一方面，放大镜工具是比较常见的软件，例如windowsxp/7中都有自带的放大镜工具，常用于辅助视力不佳的人进行文字阅读，以及放大图像局部细节方便观察等。通常的操作方式是在移动鼠标时，提取屏幕上以鼠标位置为中心的局部区域，放大后显示在当前鼠标位置或其他指定位置。

发明内容

为适应技术的未来发展趋势，本发明提供一种基于眼球追踪的增强显示方法以及一种基于眼球追踪的增强显示装置，借助于眼球追踪技术，提供一种直观、友好的人机交互方式，达到在屏幕上实时增强显示用户关注内容的目的。

具体地，本发明实施例提供的一种基于眼球追踪的增强显示方法，包括：眼球追踪步骤：基于眼球追踪实时获取用户的当前注视点在原始屏幕内容中的位置；以及增强显示步骤：根据所述原始屏幕内容中的各个像素点的像素值、所述各个像素点分别与设定的放大区域及设定的环形衔接区域之间的相对位置关系、以及设定的放大倍数计算出增强屏幕内容中的各个像素点的像素值，并利用计算出的增强屏幕内容中的各个像素点的像素值在屏幕上显示所述增强屏幕内容。其中，所述增强屏幕内容为对所述原始屏幕内容进行局部增强显示后的屏幕内容，所述放大区域为所述原始屏幕内容中以当前注视点为中心的局部区域且欲进行增强显示、且所述环形衔接区域位于所述放大区域外。

在本发明的一个实施例中，在上述增强显示步骤中，所述各个像素点分别与设定的放大区域及设定环形衔接区域之间的相对位置关系是通过计算所述各个像素点的位置坐标分别与所述当前注视点的位置坐标之间的欧式距离、并比较所述欧式距离和所述放大区域的大小及所述环形衔接区域的大小来确定。

在本发明的一个实施例中，在上述增强显示步骤中，所述放大区域为以所述当前注视点为中心的圆形放大区域。

在本发明的一个实施例中，在上述增强显示步骤中，所述增强屏幕内容中的各个像素点(x,y)的像素值I(x,y)满足关系式：

$I(x,y)=\left\{\begin{array}{cc}T(x,y)& r_1<d(x,y)\\ T(x_0+(k+\frac{d(x,y)-r_0}{r1-r_0}(1-k))(x-x_0),y_0+(k+\frac{d(x,y)-r_0}{r_1-r_0}(1-k))(y-y_0))& r_0<d(x,y)<=r_1\\ T(x_0+k(x-x_0),y_0+k(y-y_0))& d(x,y)<=r_0\end{array}\right.$

其中，T(x,y)为所述原始屏幕内容中的各个像素点(x,y)的像素值，r₀为所述圆形放大区域的半径，r₁是所述圆形放大区域的圆心到所述环形衔接区域外边缘的距离，k为该放大倍数的倒数，表示像素点(x,y)与当前注视点(x₀,y₀)之间的欧式距离。

此外，本发明实施例提供的一种基于眼球追踪的增强显示装置，其包括：眼球追踪模块，用于实时获取用户的当前注视点在原始屏幕内容中的位置；以及增强显示模块，用于根据所述原始屏幕内容中的各个像素点的像素值、所述各个像素点分别与设定的放大区域及设定的环形衔接区域之间的相对位置关系、以及设定的放大倍数计算出增强屏幕内容中的各个像素点的像素值，并根据计算出的增强屏幕内容中的各个像素点的像素值在屏幕上显示所述增强屏幕内容；其中，所述增强屏幕内容为对所述原始屏幕内容进行局部增强显示后的屏幕内容，所述放大区域为所述原始屏幕内容中以当前注视点为中心的局部区域且欲进行增强显示、且所述环形衔接区域位于所述放大区域外。

在本发明的一个实施例中，上述各个像素点分别与设定的放大区域及设定的环形衔接区域之间的相对位置关系是通过计算所述各个像素点的位置坐标分别与所述当前注视点的位置坐标之间的欧式距离、并比较所述欧式距离和所述放大区域的大小及所述环形衔接区域的大小来确定。

在本发明的一个实施例中，上述放大区域为以所述当前注视点为中心的圆形放大区域。

在本发明的一个实施例中，上述增强屏幕内容中的各个像素点(x,y)的像素值I(x,y)满足关系式：

$I(x,y)=\left\{\begin{array}{cc}T(x,y)& r_1<d(x,y)\\ T(x_0+(k+\frac{d(x,y)-r_0}{r1-r_0}(1-k))(x-x_0),y_0+(k+\frac{d(x,y)-r_0}{r_1-r_0}(1-k))(y-y_0))& r_0<d(x,y)<=r_1\\ T(x_0+k(x-x_0),y_0+k(y-y_0))& d(x,y)<=r_0\end{array}\right.$

其中，T(x,y)为所述原始屏幕内容中的各个像素点(x,y)的像素值，r₀为所述圆形放大区域的半径，r₁是所述圆形放大区域的圆心到所述环形衔接区域外边缘的距离，k为该放大倍数的倒数，表示像素点(x,y)与当前注视点(x₀,y₀)之间的欧式距离。

本发明的有益效果是：本发明所提供的基于眼球追踪的增强显示方法及装置，借助于眼球追踪技术，提供一种直观、友好的人机交互方式，达到在屏幕上实时增强显示用户关注内容的目的。本发明实施例采用的交互方式反馈直观，在增强显示注视点/关注点周边局部内容的同时，不影响整体内容结构的展示。相比于眼镜、头盔等穿戴式设备，眼球追踪设备主要依靠光源和摄像头，操作更加简便实用。放大镜增强显示的算法易于实现，并且复杂度低，占用系统资源少。在增强显示算法中，产生了一个环形的衔接区域，使用户不仅能看到被放大的中心区域，还能看到中心区域与其他区域的位置结构关系。

附图说明

图1是本发明实施例的一种基于眼球追踪的增强显示方法的步骤流程示意图。

图2是本发明实施例的一种基于眼球追踪的增强显示装置的功能模块图。

附图中各部件的标记如下：10、基于眼球追踪的增强显示装置；11、眼球追踪模块；13、增强显示模块；S110,S130、步骤

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1，本发明实施例提供的一种基于眼球追踪的增强显示方法，其包括以下步骤：

步骤S110，眼球追踪步骤：

设显示屏幕的分辨率为M×N，其中M是屏幕中像素点的行数，N是屏幕中像素点的列数；在显示过程中，屏幕内容是一张大小为M×N的图像。

通过眼球追踪技术，例如利用眼球追踪设备依靠光源和摄像头实时获取用户的当前注视点在屏幕内容中的位置。设屏幕左上角为坐标原点，当前注视点的位置坐标为(x₀,y₀)，其中x₀是当前注视点的横坐标，x₀的取值在1到N之间，y₀是当前注视点的纵坐标，y₀的取值在1到M之间。

步骤S130，增强显示步骤：

根据当前用户注视点的实时位置坐标(x₀,y₀)，对以该注视点为中心的局部屏幕区域中的内容进行增强显示；以下是一种放大镜效果的增强显示方法，为叙述方便，下面将未增强显示的屏幕内容记为原始屏幕内容，并将局部增强显示后的屏幕内容记为增强屏幕内容。

具体地，在获取原始屏幕内容后，对原始屏幕内容中以当前注视点为中心的局部区域进行增强显示，输出增强屏幕内容，并将增强屏幕内容显示在屏幕上。

设T表示原始屏幕内容中所有像素点的集合，T(x,y)表示原始屏幕内容中的像素点(x,y)处的像素值，其中x是横坐标，x可以在1到N之间任意取值，y是纵坐标，y可以在1到M之间任意取值。设I为增强屏幕内容中所有像素点的集合，I(x,y)表示增强屏幕内容中的像素点(x,y)的像素值。设定放大的倍数，设k为该放大倍数的倒数。设定以当前注视点为中心的圆形放大区域的大小，设r₀为圆形放大区域的半径。设定圆形放大区域外的环形衔接区域的大小，设r₁是圆形放大区域的圆心到环形衔接区域外边缘的距离。I中任意一像素点(x,y)的像素值I(x,y)的计算方法如下式所示：

$I(x,y)=\left\{\begin{array}{cc}T(x,y)& r_1<d(x,y)\\ T(x_0+(k+\frac{d(x,y)-r_0}{r1-r_0}(1-k))(x-x_0),y_0+(k+\frac{d(x,y)-r_0}{r_1-r_0}(1-k))(y-y_0))& r_0<d(x,y)<=r_1\\ T(x_0+k(x-x_0),y_0+k(y-y_0))& d(x,y)<=r_0\end{array}\right.$

其中，表示像素点(x,y)与当前注视点(x₀,y₀)之间的欧式距离。

从前述像素值I(x,y)的计算方法可知，针对各个像素点(x,y)与圆形放大区域及环形衔接区域的相对位置关系的不同，本实施例相应地采用不同的计算公式。例如当像素点位于圆形放大区域和环形衔接区域之外，对应r₁＜d(x,y))，则I(x,y)＝T(x,y)；当像素点位于环形衔接区域内，对应r₀＜d(x,y)＜＝r₁)，则 $I(x,y)=T(x_0+(k+\frac{|x-x_0|-r_0}{r1-r_0}(1-k))(x-x_0),y_0+(k+\frac{|y-y_0|-r_0}{r_1-r_0}(1-k))(y-y_0));$ 当像素点位于圆形放大区域内，对应d(x,y)＜＝r₀，则I(x,y)＝T(x₀+k(x-x₀),y₀+k(y-y₀))。

之后，在计算得到I中所有像素点的像素值后，将I中所有像素点显示在屏幕上，从而达成增强显示的效果。

请参阅图2，本发明实施例提供的一种基于眼球追踪的增强显示装置10，其包括：眼球追踪模块11以及增强显示模块13。所述眼球追踪模块11和增强显示模块13分别用于执行前述的眼球追踪步骤S110和增强显示步骤S130，具体细节可参考前述说明，在此不再赘述。

另外，可以理解的是，在本发明前述实施例中，圆形放大区域也可以替换成其他形状的放大区域，具体为何种形状可视实际需要而定。

综上所述，本发明实施例所提供的基于眼球追踪的增强显示方法及装置，借助于眼球追踪技术，提供一种直观、友好的人机交互方式，达到在屏幕上实时增强显示用户关注内容的目的。本发明实施例采用的交互方式反馈直观，在增强显示注视点/关注点周边局部内容的同时，不影响整体内容结构的展示。相比于眼镜、头盔等穿戴式设备，眼球追踪设备主要依靠光源和摄像头，操作更加简便实用。放大镜增强显示的算法易于实现，并且复杂度低，占用系统资源少。在增强显示算法中，产生了一个环形的衔接区域，使用户不仅能看到被放大的中心区域，还能看到中心区域与其他区域的位置结构关系。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于眼球追踪的增强显示方法，其特征在于，包括：

眼球追踪步骤：基于眼球追踪实时获取用户的当前注视点在原始屏幕内容中的位置；以及

增强显示步骤：根据所述原始屏幕内容中的各个像素点的像素值、所述各个像素点分别与设定的放大区域及设定的环形衔接区域之间的相对位置关系、以及设定的放大倍数计算出增强屏幕内容中的各个像素点的像素值，并利用计算出的增强屏幕内容中的各个像素点的像素值在屏幕上显示所述增强屏幕内容；其中，所述增强屏幕内容为对所述原始屏幕内容进行局部增强显示后的屏幕内容，所述放大区域为所述原始屏幕内容中以当前注视点为中心的局部区域且欲进行增强显示、且所述环形衔接区域位于所述放大区域外。

2.如权利要求1所述的基于眼球追踪的增强显示方法，其特征在于，在所述增强显示步骤中，所述各个像素点分别与设定的放大区域及设定的环形衔接区域之间的相对位置关系是通过计算所述各个像素点的位置坐标分别与所述当前注视点的位置坐标之间的欧式距离、并比较所述欧式距离和所述放大区域的大小及所述环形衔接区域的大小来确定。

3.如权利要求2所述的基于眼球追踪的增强显示方法，其特征在于，在所述增强显示步骤中，所述放大区域为以所述当前注视点为中心的圆形放大区域。

4.如权利要求3所述的基于眼球追踪的增强显示方法，其特征在于，在所述增强显示步骤中，所述增强屏幕内容中的各个像素点(x,y)的像素值I(x,y)满足关系式：

$I(x,y)=\left\{\begin{array}{cc}T(x,y)& r_1<d(x,y)\\ T(x_0+(k+\frac{d(x,y)-r_0}{r1-r_0}(1-k))(x-x_0),y_0+(k+\frac{d(x,y)-r_0}{r_1-r_0}(1-k))(y-y_0))& r_0<d(x,y)<=r_1\\ T(x_0+k(x-x_0),y_0+k(y-y_0))& d(x,y)<=r_0\end{array}\right.$

其中，T(x,y)为所述原始屏幕内容中的各个像素点(x,y)的像素值，r₀为所述放大区域的半径，r₁是圆形放大区域的圆心到环形衔接区域外边缘的距离，k为该放大倍数的倒数，表示像素点(x,y)与当前注视点(x₀,y₀)之间的欧式距离。

5.一种基于眼球追踪的增强显示装置，其特征在于，包括：

眼球追踪模块，用于实时获取用户的当前注视点在原始屏幕内容中的位置；以及

增强显示模块，用于根据所述原始屏幕内容中的各个像素点的像素值、所述各个像素点分别与设定的放大区域及设定的环形衔接区域之间的相对位置关系、以及设定的放大倍数计算出增强屏幕内容中的各个像素点的像素值，并根据计算出的增强屏幕内容中的各个像素点的像素值在屏幕上显示所述增强屏幕内容；其中，所述增强屏幕内容为对所述原始屏幕内容进行局部增强显示后的屏幕内容，所述放大区域为所述原始屏幕内容中以当前注视点为中心的局部区域且欲进行增强显示、且所述环形衔接区域位于所述放大区域外。

6.如权利要求5所述的基于眼球追踪的增强显示装置，其特征在于，所述各个像素点分别与设定的放大区域及设定的环形衔接区域之间的相对位置关系是通过计算所述各个像素点的位置坐标分别与所述当前注视点的位置坐标之间的欧式距离、并比较所述欧式距离和所述放大区域的大小及所述环形衔接区域的大小来确定。

7.如权利要求6所述的基于眼球追踪的增强显示装置，其特征在于，所述放大区域为以所述当前注视点为中心的圆形放大区域。

8.如权利要求7所述的基于眼球追踪的增强显示装置，其特征在于，所述增强屏幕内容中的各个像素点(x,y)的像素值I(x,y)满足关系式：

$I(x,y)=\left\{\begin{array}{cc}T(x,y)& r_1<d(x,y)\\ T(x_0+(k+\frac{d(x,y)-r_0}{r1-r_0}(1-k))(x-x_0),y_0+(k+\frac{d(x,y)-r_0}{r_1-r_0}(1-k))(y-y_0))& r_0<d(x,y)<=r_1\\ T(x_0+k(x-x_0),y_0+k(y-y_0))& d(x,y)<=r_0\end{array}\right.$

其中，T(x,y)为所述原始屏幕内容中的各个像素点(x,y)的像素值，r₀为所述圆形放大区域的半径，r₁是所述圆形放大区域的圆心到所述环形衔接区域外边缘的距离，k为该放大倍数的倒数，表示像素点(x,y)与当前注视点(x₀,y₀)之间的欧式距离。