CN108829247B - 基于视线跟踪的交互方法及装置、计算机设备 - Google Patents

Abstract

本发明公开了一种基于视线跟踪的交互方法及装置、存储介质、计算机设备，所述方法包括：展示至少一个交互对象；获取展示对象的视线方向信息，基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；控制所述处于交互状态的目标交互对象改变展示效果。

Description

基于视线跟踪的交互方法及装置、计算机设备

技术领域

本发明涉及交互技术领域，尤其涉及一种基于视线跟踪的交互方法及装置、存储介质、计算机设备。

背景技术

随着科技的发展，终端的性能飞速提高，从而给越来越多的应用的产生和发展提供了有力的技术支持。为了增加用户对应用的粘性，一种较为常见的服务是为用户提供个性化、人性化的交互方式，以提高用户的交互兴趣。

目前的交互方式较为单一，一般都是通过触摸操作、手势操作、键盘操作、鼠标操作等来实现交互，无法解放双手，交互体验较为乏味。

发明内容

为解决上述技术问题，本发明实施例提供了一种基于视线跟踪的交互方法及装置、存储介质、计算机程序产品、计算机设备。

本发明实施例提供的基于视线跟踪的交互方法，包括：

展示至少一个交互对象；

获取展示对象的视线方向信息，基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；

控制所述处于交互状态的目标交互对象改变展示效果。

本发明实施例中，所述基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象，包括：

基于所述展示对象的视线方向信息，确定所述展示对象的视线是否落入第一显示区域，所述第一显示区域为所述至少一个交互对象中的任意一个交互对象的显示区域；

所述展示对象的视线落入第一显示区域，确定所述第一显示区域对应的交互对象，作为处于交互状态的目标交互对象。

本发明实施例中，所述方法还包括：

记录所述处于交互状态的目标交互对象的交互时长，基于所述目标交互对象的交互时长确定所述目标交互对象的效果改变参数；

所述控制所述处于交互状态的目标交互对象改变展示效果，包括：

基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果。

本发明实施例中，所述基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果，包括：

基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到第二展示状态；或者，

基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到消失状态。

本发明实施例中，所述记录所述处于交互状态的目标交互对象的交互时长，包括：

基于所述展示对象的视线方向信息，记录所述展示对象的视线落入所述目标交互对象对应的第一显示区域的时长。

本发明实施例中，所述至少一个交互对象随着时间的改变发生移动；

所述获取展示对象的视线方向信息，包括：

采集所述展示对象在第一时长内的连续图像；

基于所述第一时长内的连续图像，获取所述展示对象在所述第一时长内的视线方向信息；其中，所述展示对象在所述第一时长内的视线方向信息随着时间的改变发生变化。

本发明实施例中，所述获取展示对象的视线方向信息，包括：

获取所述展示对象的眼珠转角信息和头部姿态信息；

基于所述展示对象的眼珠转角信息和头部姿态信息，计算所述展示对象的视线方向信息。

本发明实施例中，所述获取所述展示对象的眼珠转角信息和头部姿态信息，包括：

利用第一神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的眼珠转角信息；

利用第二神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的头部姿态信息。

本发明实施例中，所述方法还包括：

展示所述至少一个交互对象时，采集所述展示对象的图像；

将所述至少一个交互对象叠加显示在所述展示对象的图像上。

本发明实施例提供的基于视线跟踪的交互装置，包括：

显示单元，用于展示至少一个交互对象；

获取单元，用于获取展示对象的视线方向信息；

第一确定单元，用于基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；

控制单元，用于控制所述处于交互状态的目标交互对象改变展示效果。

本发明实施例中，所述第一确定单元，用于基于所述展示对象的视线方向信息，确定所述展示对象的视线是否落入第一显示区域，所述第一显示区域为所述至少一个交互对象中的任意一个交互对象的显示区域；所述展示对象的视线落入第一显示区域，确定所述第一显示区域对应的交互对象，作为处于交互状态的目标交互对象。

本发明实施例中，所述装置还包括：

记录单元，用于记录所述处于交互状态的目标交互对象的交互时长；

第二确定单元，用于基于所述目标交互对象的交互时长确定所述目标交互对象的效果改变参数；

所述控制单元，用于基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果。

本发明实施例中，所述控制单元，用于基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到第二展示状态；或者，基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到消失状态。

本发明实施例中，所述记录单元，用于基于所述展示对象的视线方向信息，记录所述展示对象的视线落入所述目标交互对象对应的第一显示区域的时长。

本发明实施例中，所述至少一个交互对象随着时间的改变发生移动；

所述获取单元，用于采集所述展示对象在第一时长内的连续图像；基于所述第一时长内的连续图像，获取所述展示对象在所述第一时长内的视线方向信息；其中，所述展示对象在所述第一时长内的视线方向信息随着时间的改变发生变化。

本发明实施例中，所述获取单元，用于获取所述展示对象的眼珠转角信息和头部姿态信息；基于所述展示对象的眼珠转角信息和头部姿态信息，计算所述展示对象的视线方向信息。

本发明实施例中，所述获取单元，用于利用第一神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的眼珠转角信息；利用第二神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的头部姿态信息。

本发明实施例中，所述装置还还包括：

采集单元，用于在所述显示单元展示所述至少一个交互对象时，采集所述展示对象的图像；

所述显示单元，用于将所述至少一个交互对象叠加显示在所述展示对象的图像上。

本发明实施例提供的计算机程序产品上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现上述的基于视线跟踪的交互方法。

本发明实施例提供的存储介质上存储有可执行指令，该可执行指令被处理器执行时实现上述的基于视线跟踪的交互方法。

本发明实施例提供的计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现上述的基于视线跟踪的交互方法。

本发明实施例的技术方案中，展示至少一个交互对象；获取展示对象的视线方向信息，基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；控制所述处于交互状态的目标交互对象改变展示效果。采用本发明实施例的技术方案，实现了通过展示对象的视线方向信息来触发对交互对象的控制，这种交互方式在解放双手的同时，增加了交互的趣味性，大大提高了用户对交互操作的使用体验，另一方面，由于是基于展示对象的视线方向信息来触发对交互对象的控制，控制的效果对于人体感官而言更加直接且精准度较高。

附图说明

图1为本发明实施例的基于视线跟踪的交互方法的流程示意图一；

图2为本发明实施例的基于视线跟踪的交互方法的流程示意图二；

图3为本发明实施例的一个应用场景示意图；

图4为本发明实施例的基于视线跟踪的交互装置的结构组成示意图一；

图5为本发明实施例的基于视线跟踪的交互装置的结构组成示意图二；

图6为本发明实施例的计算机设备的结构组成示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明实施例可以应用于固定终端/移动终端等终端设备，例如：手机、平板电脑、游戏机、台式机、一体机、车载终端等等。在本发明实施例中，该终端设备还可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备，是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，例如：智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。

图1为本发明实施例的基于视线跟踪的交互方法的流程示意图一，如图1所示，所述基于视线跟踪的交互方法包括以下步骤：

步骤101：展示至少一个交互对象。

本发明实施例中，交互对象可以是任意一种用户能够对其进行操作的对象，交互对象通过一个特定的图案进行展示，例如：APP中的游戏对象、桌面上的快捷图标对象、文件夹中的文件对象等等。

本发明实施例中，通过显示装置展示至少一个交互对象。显示装置可以是普通的显示屏、一体机、投影仪、虚拟现实(VR，Virtual Reality)设备、增强现实(AR，AugmentedReality)设备等等。

在一个例子中，在显示装置上显示多个游戏对象，这里的游戏对象例如是飞机、昆虫、坦克等等。游戏对象的具体展示形态不做限制。

步骤102：获取展示对象的视线方向信息，基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象。

这里，展示对象可以是用户、也可以是机器人、还可以是其他智能设备。

本发明实施例中，如何基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象，可以通过以下方式实现：基于所述展示对象的视线方向信息，确定所述展示对象的视线是否落入第一显示区域，所述第一显示区域为所述至少一个交互对象中的任意一个交互对象的显示区域；所述展示对象的视线落入第一显示区域，确定所述第一显示区域对应的交互对象，作为处于交互状态的目标交互对象。

例如：当前的显示装置上展示有4个交互对象，分别为交互对象1、交互对象2、交互对象3、交互对象4，其中，交互对象1的显示区域可以通过S1表示，交互对象2的显示区域通过S2表示，交互对象3和交互对象4的显示区域分别通过S3和S4表示。这里，S1、S2、S3、S4可以是一个矩形区域或者圆形局域，以矩形区域为例，S1、S2、S3、S4可以通过两个对角线上的坐标来表示，以S1为例，S1可以通过坐标(x1，y1)和坐标(x2，y2)来表示，其中，(x1，y1)为S1左上角的坐标，(x2，y2)为S2右下角的坐标。具体实现时，计算展示对象的视线方向信息映射到显示装置的坐标(x0，y0)，判断(x0，y0)是否落入了S1、S2、S3、S4中的其中一个，假设(x0，y0)落入了S1，则S1对应的交互对象1为处于交互状态的目标交互对象。

这里，展示对象的视线方向信息能够准确地表明展示对象所关注的交互对象，这种较高的定位操作能够有效减少误操作。

步骤103：控制所述处于交互状态的目标交互对象改变展示效果。

在一实施方式中，记录所述处于交互状态的目标交互对象的交互时长，基于所述目标交互对象的交互时长确定所述目标交互对象的效果改变参数；基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果。

这里，可以基于所述展示对象的视线方向信息，记录所述展示对象的视线落入所述目标交互对象对应的第一显示区域的时长。

假设T1时刻开始，展示对象的视线落入了S1，并且在S1区域维持了t时长，那么，对于S1对应的交互对象1的效果改变参数与t时长有关。

例如：1)基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到第二展示状态。目标交互对象具有一个进度条，该进度条的初始状态为满格，t越长，则进度条越短，特别地，t超过一定时长后，进度条缩短至0。这种场景可以应用在利用视线打怪兽、飞机、植物等等，视线注视目标交互对象的时间越长，对目标交互对象的打击力度就越大，目标交互对象的进度条就越也来越小。

再例如：2)基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到消失状态。目标交互对象的进度条缩短至0时，目标交互对象就会消失，以利用视线打飞机为例，飞机消失代表该飞机被击毙成功。

在另一实施方式中，也可以不记录处于交互状态的目标交互对象的交互时长，只要某个交互对象处于交互状态，就可以控制所述处于交互状态的目标交互对象改变展示效果，例如目标交互对象按照预设的变化效果从第一展示状态改变到消失状态。

本发明实施例的技术方案，实现了通过展示对象的视线方向信息来触发对交互对象的控制，这种交互方式在解放双手的同时，增加了交互的趣味性，大大提高了用户对交互操作的使用体验，另一方面，由于是基于展示对象的视线方向信息来触发对交互对象的控制，控制的效果对于人体感官而言更加直接且精准度较高。

图2为本发明实施例的基于视线跟踪的交互方法的流程示意图二，如图2所示，所述基于视线跟踪的交互方法包括以下步骤：

步骤201：展示至少一个交互对象，所述至少一个交互对象随着时间的改变发生移动。

本发明实施例中，交互对象可以是任意一种用户能够对其进行操作的对象，交互对象通过一个特定的图案进行展示，例如：APP中的游戏对象、桌面上的快捷图标对象、文件夹中的文件对象等等。

本发明实施例中，通过显示装置展示至少一个交互对象。显示装置可以是普通的显示屏、一体机、投影仪、虚拟现实(VR，Virtual Reality)设备、增强现实(AR，AugmentedReality)设备等等。

在一个例子中，在显示装置上显示多个游戏对象，这里的游戏对象例如是飞机、昆虫、坦克等等。游戏对象的具体展示形态不做限制。

本发明实施例中，所述至少一个交互对象随着时间的改变发生移动，如图3所示，交互对象为飞机，飞机在显示装置的显示区域会移动，在移动的过程中，可能会移出显示装置的显示区域，也可能有新的飞机移入显示装置的显示区域。

步骤202：采集所述展示对象在第一时长内的连续图像；基于所述第一时长内的连续图像，获取所述展示对象在所述第一时长内的视线方向信息；其中，所述展示对象在所述第一时长内的视线方向信息随着时间的改变发生变化。

具体地，终端设备开启摄像头，实时采集展示对象的连续图像，对于每一幅图像，利用第一神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的眼珠转角信息；利用第二神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的头部姿态信息。最后，基于所述展示对象的眼珠转角信息和头部姿态信息，计算所述展示对象的视线方向信息。通过对连续的图像的采集能够捕获展示对象随时间发生变化的视线方向信息，当然，也可能捕获到的视线方向信息随时间并未发生变化，这种情况下，展示对象是盯着某一个特定的位置持续注视。

步骤203：基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象。

这里，展示对象可以是用户、也可以是机器人、还可以是其他智能设备。

本发明实施例中，如何基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象，可以通过以下方式实现：基于所述展示对象的视线方向信息，确定所述展示对象的视线是否落入第一显示区域，所述第一显示区域为所述至少一个交互对象中的任意一个交互对象的显示区域；所述展示对象的视线落入第一显示区域，确定所述第一显示区域对应的交互对象，作为处于交互状态的目标交互对象。

例如：当前的显示装置上展示有4个交互对象，分别为交互对象1、交互对象2、交互对象3、交互对象4，其中，交互对象1的显示区域可以通过S1表示，交互对象2的显示区域通过S2表示，交互对象3和交互对象4的显示区域分别通过S3和S4表示。这里，S1、S2、S3、S4可以是一个矩形区域或者圆形局域，以矩形区域为例，S1、S2、S3、S4可以通过两个对角线上的坐标来表示，以S1为例，S1可以通过坐标(x1，y1)和坐标(x2，y2)来表示，其中，(x1，y1)为S1左上角的坐标，(x2，y2)为S2右下角的坐标。具体实现时，计算展示对象的视线方向信息映射到显示装置的坐标(x0，y0)，判断(x0，y0)是否落入了S1、S2、S3、S4中的其中一个，假设(x0，y0)落入了S1，则S1对应的交互对象1为处于交互状态的目标交互对象。

这里，展示对象的视线方向信息能够准确地表明展示对象所关注的交互对象，这种较高的定位操作能够有效减少误操作。

步骤204：控制所述处于交互状态的目标交互对象改变展示效果。

在一实施方式中，记录所述处于交互状态的目标交互对象的交互时长，基于所述目标交互对象的交互时长确定所述目标交互对象的效果改变参数；基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果。

这里，可以基于所述展示对象的视线方向信息，记录所述展示对象的视线落入所述目标交互对象对应的第一显示区域的时长。

假设T1时刻开始，展示对象的视线落入了S1，并且在S1区域维持了t时长，那么，对于S1对应的交互对象1的效果改变参数与t时长有关。

例如：1)基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到第二展示状态。目标交互对象具有一个进度条，该进度条的初始状态为满格，t越长，则进度条越短，特别地，t超过一定时长后，进度条缩短至0。这种场景可以应用在利用视线打怪兽、飞机、植物等等，视线注视目标交互对象的时间越长，对目标交互对象的打击力度就越大，目标交互对象的进度条就越也来越小。

再例如：2)基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到消失状态。目标交互对象的进度条缩短至0时，目标交互对象就会消失，以利用视线打飞机为例，飞机消失代表该飞机被击毙成功。

在另一实施方式中，也可以不记录处于交互状态的目标交互对象的交互时长，只要某个交互对象处于交互状态，就可以控制所述处于交互状态的目标交互对象改变展示效果，例如目标交互对象按照预设的变化效果从第一展示状态改变到消失状态。

此外，本发明实施例可以引入AR技术，具体地，展示所述至少一个交互对象时，采集所述展示对象的图像；将所述至少一个交互对象叠加显示在所述展示对象的图像上。

参照图3，图3为本发明实施例的一个应用场景示意图，本示例中，交互对象为飞机，展示对象为用户，用户可以通过注视某个飞机来实现对该飞机的击打，用户的视线不同，可以定位到不同的飞机，从而实现对不同飞机的击打，这种交互方式趣味性很强，无需用户通过手来进行交互。

图4为本发明实施例的基于视线跟踪的交互装置的结构组成示意图一，如图4所示，所述装置包括：

显示单元401，用于展示至少一个交互对象；

获取单元402，用于获取展示对象的视线方向信息；

第一确定单元403，用于基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；

控制单元404，用于控制所述处于交互状态的目标交互对象改变展示效果。

本领域技术人员应当理解，图4所示的基于视线跟踪的交互装置中的各单元的实现功能可参照前述基于视线跟踪的交互方法的相关描述而理解。图4所示的基于视线跟踪的交互装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

图5为本发明实施例的基于视线跟踪的交互装置的结构组成示意图二，如图5所示，所述装置包括：

显示单元401，用于展示至少一个交互对象；

获取单元402，用于获取展示对象的视线方向信息；

第一确定单元403，用于基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；

控制单元404，用于控制所述处于交互状态的目标交互对象改变展示效果。

在一实施方式中，所述第一确定单元403，用于基于所述展示对象的视线方向信息，确定所述展示对象的视线是否落入第一显示区域，所述第一显示区域为所述至少一个交互对象中的任意一个交互对象的显示区域；所述展示对象的视线落入第一显示区域，确定所述第一显示区域对应的交互对象，作为处于交互状态的目标交互对象。

在一实施方式中，所述装置还包括：

记录单元405，用于记录所述处于交互状态的目标交互对象的交互时长；

第二确定单元406，用于基于所述目标交互对象的交互时长确定所述目标交互对象的效果改变参数；

所述控制单元404，用于基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果。

在一实施方式中，所述控制单元404，用于基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到第二展示状态；或者，基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到消失状态。

在一实施方式中，所述记录单元405，用于基于所述展示对象的视线方向信息，记录所述展示对象的视线落入所述目标交互对象对应的第一显示区域的时长。

在一实施方式中，所述至少一个交互对象随着时间的改变发生移动；

所述获取单元402，用于采集所述展示对象在第一时长内的连续图像；基于所述第一时长内的连续图像，获取所述展示对象在所述第一时长内的视线方向信息；其中，所述展示对象在所述第一时长内的视线方向信息随着时间的改变发生变化。

在一实施方式中，所述获取单元402，用于获取所述展示对象的眼珠转角信息和头部姿态信息；基于所述展示对象的眼珠转角信息和头部姿态信息，计算所述展示对象的视线方向信息。

在一实施方式中，所述获取单元402，用于利用第一神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的眼珠转角信息；利用第二神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的头部姿态信息。

在一实施方式中，所述装置还还包括：

采集单元407，用于在所述显示单元展示所述至少一个交互对象时，采集所述展示对象的图像；

所述显示单元401，用于将所述至少一个交互对象叠加显示在所述展示对象的图像上。

本领域技术人员应当理解，图5所示的基于视线跟踪的交互装置中的各单元的实现功能可参照前述基于视线跟踪的交互方法的相关描述而理解。图5所示的基于视线跟踪的交互装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

本发明实施例上述定点化装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。

相应地，本发明实施例还提供一种计算机程序产品，其中存储有计算机可执行指令，该计算机可执行指令被执行时能够实现本发明实施例的上述定点化方法。

图6为本发明实施例的计算机设备的结构组成示意图，如图6所示，计算机设备100可以包括一个或多个(图中仅示出一个)处理器1002(处理器1002可以包括但不限于微处理器(MCU，Micro Controller Unit)或可编程逻辑器件(FPGA，Field Programmable GateArray)等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。本领域普通技术人员可以理解，图6所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机设备100还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。

存储器1004可用于存储应用软件的软件程序以及模块，如本发明实施例中的方法对应的程序指令/模块，处理器1002通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器1004可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器1002远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机设备100的通信供应商提供的无线网络。在一个实例中，传输装置1006包括一个网络适配器(NIC，Network Interface Controller)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1006可以为射频(RF，Radio Frequency)模块，其用于通过无线方式与互联网进行通讯。

本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (12)

1.一种基于视线跟踪的交互方法，其特征在于，所述方法包括：

展示至少一个交互对象；

展示所述至少一个交互对象时，采集展示对象的图像；

将所述至少一个交互对象叠加显示在所述展示对象的图像上；所述至少一个交互对象随着时间的改变发生移动；

采集所述展示对象在第一时长内的连续图像；

基于所述第一时长内的连续图像，获取所述展示对象在所述第一时长内的视线方向信息；所述展示对象在所述第一时长内的视线方向信息随着时间的改变发生变化；

基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；

基于所述展示对象的视线方向信息，记录所述展示对象的视线落入所述目标交互对象对应的第一显示区域的交互时长；其中，所述交互时长用于指示所述展示对象对所述交互对象的操作力度；所述操作力度随着所述交互时长的增加而增加；

基于所述目标交互对象的交互时长确定所述目标交互对象的效果改变参数；

基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象，包括：

基于所述展示对象的视线方向信息，确定所述展示对象的视线是否落入第一显示区域，所述第一显示区域为所述至少一个交互对象中的任意一个交互对象的显示区域；

所述展示对象的视线落入第一显示区域，确定所述第一显示区域对应的交互对象，作为处于交互状态的目标交互对象。

3.根据权利要求1所述的方法，其特征在于，所述基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果，包括：

基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到第二展示状态；或者，

基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到消失状态。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

获取所述展示对象的眼珠转角信息和头部姿态信息；

基于所述展示对象的眼珠转角信息和头部姿态信息，计算所述展示对象的视线方向信息。

5.根据权利要求4所述的方法，其特征在于，所述获取所述展示对象的眼珠转角信息和头部姿态信息，包括：

利用第一神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的眼珠转角信息；

利用第二神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的头部姿态信息。

6.一种基于视线跟踪的交互装置，其特征在于，所述装置包括：

显示单元，用于展示至少一个交互对象；

采集单元，用于在所述显示单元展示所述至少一个交互对象时，采集展示对象的图像；

所述显示单元，用于将所述至少一个交互对象叠加显示在所述展示对象的图像上；所述至少一个交互对象随着时间的改变发生移动；

获取单元，用于采集所述展示对象在第一时长内的连续图像；基于所述第一时长内的连续图像，获取所述展示对象在所述第一时长内的视线方向信息；所述展示对象在所述第一时长内的视线方向信息随着时间的改变发生变化；

第一确定单元，用于基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；

记录单元，用于基于所述展示对象的视线方向信息，记录所述展示对象的视线落入所述目标交互对象对应的第一显示区域的交互时长；其中，所述交互时长用于指示所述展示对象对所述交互对象的操作力度；所述操作力度随着所述交互时长的增加而增加；

第二确定单元，用于基于所述目标交互对象的交互时长确定所述目标交互对象的效果改变参数；

控制单元，用于基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果。

7.根据权利要求6所述的装置，其特征在于，所述第一确定单元，用于基于所述展示对象的视线方向信息，确定所述展示对象的视线是否落入第一显示区域，所述第一显示区域为所述至少一个交互对象中的任意一个交互对象的显示区域；所述展示对象的视线落入第一显示区域，确定所述第一显示区域对应的交互对象，作为处于交互状态的目标交互对象。

8.根据权利要求6所述的装置，其特征在于，所述控制单元，用于基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到第二展示状态；或者，基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到消失状态。

9.根据权利要求6至8任一项所述的装置，其特征在于，所述获取单元，用于获取所述展示对象的眼珠转角信息和头部姿态信息；基于所述展示对象的眼珠转角信息和头部姿态信息，计算所述展示对象的视线方向信息。

10.根据权利要求9所述的装置，其特征在于，所述获取单元，用于利用第一神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的眼珠转角信息；利用第二神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的头部姿态信息。

11.一种存储介质，其特征在于，所述存储介质上存储有可执行指令，该可执行指令被处理器执行时实现权利要求1至5任一项所述的方法。

12.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至5任一项所述的方法。

Images