CN107390863B - 设备的控制方法及装置、电子设备、存储介质 - Google Patents

Abstract

本发明公开了一种设备的控制方法及装置、电子设备、存储介质。其中，该方法包括：获取用户针对第一设备的第一眼动数据和/或与第一眼动数据关联的第一关联数据；依据第一眼动数据和/或第一关联数据生成请求消息；获取用户的第一注视点信息，将第一注视点信息所对应的设备确定为第二设备；在确定第二设备后，将请求消息发送至以下至少之一：第一设备、第二设备和第三设备，其中，请求消息用于触发第一设备与第二设备进行数据交互。

Description

设备的控制方法及装置、电子设备、存储介质

技术领域

本发明涉及视线追踪领域，具体而言，涉及一种设备的控制方法及装置、电子设备、存储介质。

背景技术

眼球追踪是一项科学应用技术，当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制设备的目的，可以实现用户无需触摸屏幕即可翻动页面等功能。

但是，相关技术中仅是对一个或多个设备进行独立地控制，即目前的眼球追踪方案不能对多个设备之间的交互过程进行控制。

发明内容

本申请实施例提供了一种设备的控制方法及装置、电子设备、存储介质、处理器，以至少解决相关技术中的眼球追踪控制方案不能对设备间的交互过程进行控制的技术问题。

根据本申请实施例的一个方面，提供了一种设备的控制方法，该方法包括：获取用户针对第一设备的第一眼动数据和/或与第一眼动数据关联的第一关联数据；依据第一眼动数据和/或第一关联数据生成请求消息；获取用户的第一注视点信息，将第一注视点信息所对应的设备确定为第二设备；在确定第二设备后，将请求消息发送至以下至少之一：第一设备、第二设备和第三设备，第一设备或第二设备，其中，请求消息用于触发第一设备与第二设备进行数据交互。

根据本申请实施例的另一方面，还提供了一种电子设备，包括：采集设备，用于获取针对第一设备的第一眼动数据和/或与第一眼动数据关联的第一关联数据，以及采集用户的第一注视点信息，将第一注视点信息所对应的设备确定为第二设备；处理器，用于依据第一眼动数据和/或第一关联数据生成请求消息；通信设备，用于在确定第二设备后，确定将请求消息发送至以下至少之一：第一设备、第二设备和第三设备，其中，请求消息用于请求第一设备与第二设备进行数据交互。

根据本申请实施例的另一方面，还提供了一种存储介质，存储有程序，该程序运行时执行以下以上任意的设备的控制方法的程序。

根据本申请实施例的另一方面，还提供了一种处理器，用于执行以下以上任意的设备的控制方法的程序。

根据本申请实施例的另一方面，还提供了一种设备的控制装置，包括：第一获取模块，用于获取用户针对第一设备的第一眼动数据和/或与第一眼动数据关联的第一关联数据；生成模块，用于依据第一眼动数据和/或第一关联数据生成请求消息；第二获取模块，用于获取用户的第一注视点信息，将第一注视点信息所对应的设备确定为第二设备；发送模块，用于在确定第二设备后，将请求消息发送至以下至少之一：第一设备、第二设备和第三设备，其中，请求消息用于请求第一设备与第二设备进行数据交互。

在本申请实施例中，由于可以依据眼动数据或者其关联数据对设备间的交互过程进行控制，因此，扩展了眼球追踪方案的应用场景，进而解决了相关技术中目前的眼球追踪方案不能对多个设备之间的交互过程进行控制的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1a为根据本申请实施例的一种电子设备的结构框图；

图1b为根据本申请实施例的一种设备的控制系统的结构示意图；

图2为根据本申请实施例的一种设备的控制方法的流程图；

图3为根据本申请实施例的一种计算机终端的结构框图；

图4为根据本申请实施例的一种注视点信息确定方法的流程图；以及

图5为根据本申请实施例的一种设备的控制装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于理解，现将本申请实施例中可能涉及到的术语解释如下：

可穿戴式设备，可穿戴式包括但不限于手戴式，头戴式，颈戴式。以头戴式设备为例，头戴式设备的形态类似于头盔或眼镜，佩戴在人的头部，与头部的相对位置固定。一般有两种应用形式，一种是用于捕捉用户在真实世界的注视点数据，一种是将电子设备与使用者头部相对固定，实现在电子设备屏幕上的注视点追踪。

机器视觉：分析机器采集到的图像并获取图像内信息的一种技术。通常可以得到被摄目标的形态信息或字符信息，并转化为数字信号进行处理。该技术可以实现设备识别，获取设备的面板信息等。

眼动追踪：是一种通过机器可以获取眼睛注视位置的技术，主要应用于辅助沟通、眼动分析、虚拟现实(VR)、增强现实(AR)、混合现实(MR)、智能家居，企业办公等相关领域。

人机交互：指人与机器的交互，包括但不限于鼠标键盘形式，语音形式，触摸屏形式，手势体感形式，眼动控制形式。

实施例1

根据本申请实施例，还提供了一种注视点的确定方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

相关技术中，眼球追踪控制方案不能对设备间的交互过程进行控制，严重制约了眼球追踪控制方案的应用场景，针对上述问题，本申请实施例获取用户的注视点信息，将该注视点信息经网络传输给应用软件层，应用软件利用注视点信息完成相应操作。当用户注视点从第一台设备移向第二台设备时，应用软件层依据用户请求通过注视点的变化完成多设备间交互。

基于上述思想，本实施例提供一种电子设备，如图1a所示，该设备包括：采集设备10，用于获取针对第一设备的第一眼动数据和/或与上述第一眼动数据关联的第一关联数据，以及采集上述用户的第一注视点信息，将上述第一注视点信息所对应的设备确定为第二设备；处理器12，用于依据上述第一眼动数据和/或上述第一关联数据生成请求消息；通信设备14，用于在确定上述第二设备后，确定将上述请求消息发送至以下至少之一：第一设备、第二设备和第三设备，其中，上述请求消息用于请求上述第一设备与上述第二设备进行数据交互。

可选地，上述第三设备可以为网络侧设备，例如服务器等，但不限于此。

需要说明的是，上述采集设备10可以为一个眼球追踪模块，眼球追踪模块用于获得用户眼动数据，包括注视点坐标，瞳孔大小，瞳孔位置，注视时长等数据；另外，该眼球追踪模块还可以包括一个用于图像采集和/或图像识别的图像采集单元，该图像采集单元，可以采集注视点(或注视矢量)所指示的设备的图像，并识别该图像所对应的设备。需要说明的是，上述注视点坐标可以通过注视矢量和用户与设备之间的相对距离确定，但不限于此。

需要注意的是，眼球追踪模块获取用户眼动数据的方式有多种，例如：

1、如果眼动数据的采集设备是图像采集和图像识别的图像采集单元，那么可以直接使用一个图像采集单元实现两个功能：采集眼动图像、采集设备图像；

2、如果眼动数据的采集设备为图像采集单元，那么可以以别的方式来获取设备图像信息，例如位置传感器等；

3、如果图像采集单元只采集设备图像，那么眼动数据可以以别的方式来获取，例如通过采集眼电图等方式获取。

上述处理器12可以为内置于采集设备10中的一个处理器，也可以是一个单独的处理器。上述处理器12可以为第一设备，第二设备，或者第三设备中的处理器。

上述通信设备14，用于实现设备之间，设备与服务器之间等情况下数据的传输，其无线通信模块或有线通信模块，具体根据实际情况灵活设定，但是，其也可以根据实际需求在设备内同时设置无线通信模块和有线通信模块。其中有线通信的网络协议包含但不限于NRTBEUI，IPX/SPX和TCP/IP形式，无线通信的网络协议包含但不限于WiFi，Bluetooth，ZigBee形式。

图1b为根据本申请实施例的一种设备的控制系统的结构示意图。如图1b所示，该系统包括：眼动追踪装置100，设备1、设备2···。眼动追踪装置100和设备之间通过网络连接，其中，该眼动追踪装置100的结构可以参见图1a所示的电子设备，但不限于此。

在一个可选实施例中，上述电子设备的表现形态可以表现为以下形式，但不限于此：

外挂式设备，不限于与设备通过夹，粘贴或者独立摆在设备附近等形式。上述电子设备的数量可以为多个。

嵌入式设备，包括但不限于设备售出前嵌入进设备内部或售出后通过插入数据线连接等形式与设备连接。本实施例提供一种设备的控制方法，该方法可以运行于图1所示的电子设备。该方法包括：

步骤S202，获取用户针对第一设备的第一眼动数据和/或与上述第一眼动数据关联的第一关联数据；

可选地，在执行步骤S204之前，需要先确定上述第一设备，确定第一设备的方式有多种，例如可以结合图像识别技术来确定：获取上述用户的第二注视点信息；获取上述第二注视点信息所指示设备的第一图像信息；在第一预设数据库中查找与上述第一图像信息对应的第一设备ID；将上述第一设备ID对应的设备确定为上述第一设备。

上述第一预设数据库可以为第一设备本地的数据库，也可以为网络侧的数据库，对于后者，可以表现为以下实现形式，但不限于此：采集第二注视点信息所指示设备的第一图像信息，然后，将第一图像信息发送至网络侧设备中，该网络侧设备在本地的数据库中查找第一图像信息对应的设备ID，并返回上述设备ID，从而确定第一设备。

可选地，在步骤S202之前，还可以先对参与进行交互的多个设备进行注册。便于注视点移到该设备及其附近可以调用该设备工作。

步骤S204，依据上述第一眼动数据和/或上述第一关联数据生成请求消息；

可选地，从第三预设数据库中查找与上述第一眼动数据和/或第一关联数据对应的控制信息，其中，上述控制信息用于控制上述第二设备执行指定操作；依据上述控制信息生成上述请求消息。

在一个可选实施例中，上述第三预设数据库存储有上述第一眼动数据和上述控制信息的映射关系，和/或第一关联数据与控制信息的映射关系，以实现眼动控制。

步骤S206，获取上述用户的第一注视点信息，将上述第一注视点信息所对应的设备确定为第二设备；

上述第二设备的确定方式和第一设备的确定方式是类似的，在一个可选实施例中，可以采用以下方式实现：获取上述第一注视点信息所指示设备的第二图像信息；在第二预设数据库中查找与上述第二图像信息对应的第二设备ID；将上述第二设备ID对应的设备确定为上述第二设备。在一个可选实施例中，上述第二预设数据库包括以下至少之一：上述第一设备的本地数据库、网络侧的数据库。

步骤S208，在确定上述第二设备后，将上述请求消息发送至以下至少之一：上述第一设备、上述第二设备和第三设备，其中，上述请求消息用于触发上述第一设备与上述第二设备进行数据交互，其中，上述请求消息用于触发上述第一设备与上述第二设备进行数据交互。

在一个可选实施例中，上述数据交互的实现方式可以表现为以下实现形式，但不限于此：上述通过注视点注视时间来决定选择，确认等功能。展示样式包含但不限与通过圆圈转圈，漏斗，气泡大小等方式提示用户选择确认。通过眼球张度和瞳孔大小变化实现类似点击，长按等操作。具体实现功能包括但不限于通过睁大眼睛长按目标，移动注视点实现拖动的交互，或者通过注视点注视选定目标，或者通过两次睁大眼睛注视目标实现双击。通过眼球及注视点的角度的变化实现切换功能。当眼球或者注视点移动形成一定角度，可以实现包含但不限于翻页，切换应用等功能。

作为本申请的一个可选实施例，在将上述请求消息发送至上述第一设备之后，上述方法还包括以下之一：

1)上述第一设备向上述第二设备发送待传输文件；例如，用户通过注视点交互发出传输文件的请求，当注视点由第一个设备移向第二设备，电子设备检测出第二设备在网络中的位置，将文件由第一设备传输到第二设备。文件类型不限。

2)上述第一设备将当前的图像数据或音频数据发送至上述第二设备进行共享；例如，参与交互的多台电子设备中的一台有相关信息显示，可以将信息显示到注视点注视的设备上，然后通过注视的这台设备完成相应操作。也可以实现信息随着注视点的移动显示在对应的设备上。或者多台设备配合显示相应信息

3)上述第一设备将上述请求消息对应的控制指令发送至上述第二设备，即本申请实施例提供的上述方法可以应用远程控制，例如，用户通过应用软件发起远程控制请求，通过注视点移向第二台设备，完成设备选定，然后通过第一台设备可以远程操作第二台设备；

4)上述第一设备获取上述第二设备的第三图像信息，并提取上述第三图像信息中上述第二设备的按键信息；获取上述用户的第三眼动数据；并查找与上述第三眼动数据对应的操作指令；并依据上述操作指令触发上述第二设备执行与上述按键信息对应的操作。在一个可选实施例中，不论是电子屏式设备，还是物理按键式设备，当注视点由第一台设备移向第二台设备时，通过应用软件层的配合，注视点可以获取第二台设备物理按键或者电子屏上按键软件层的权限，也可以将第二台设备的按钮信息在第一台设备上显示出来，通过注视点的交互实现相应按键的实际功能。

5)上述第一设备将上述请求消息发送给第三设备；上述第三设备依据上述请求消息控制上述第一设备和上述第二设备进行交互，或者上述第三设备依据上述请求消息控制上述第一设备和第二设备协作执行指定任务。该指定任务为任意类型的需要至少两个设备协作完成的任务，例如，可以是简单的分布式计算任务等，然后由第三设备收集第一设备和第二设备反馈的结果。

作为本申请的一个可选实施例，在将上述请求消息发送至上述第二设备之后，上述方法还包括以下之一：

1)上述第二设备向上述第一设备发送待传输文件；例如，用户通过注视点交互发出传输文件的请求，当注视点由第二设备移回第一设备，电子设备检测出第一设备在网络中的位置，将文件由第二设备传输到第一设备。文件类型不限。

2)上述第二设备将当前的图像数据或音频数据发送至上述第一设备进行共享；例如，参与交互的多台电子设备中的一台有相关信息显示，可以将信息显示到注视点注视的设备上，然后通过注视的这台设备完成相应操作。也可以实现信息随着注视点的移动显示在对应的设备上。或者多台设备配合显示相应信息

3)上述第二设备将上述请求消息对应的控制指令发送至上述第一设备，即本申请实施例提供的上述方法可以应用远程控制，例如，用户通过应用软件发起远程控制请求，通过注视点移向第一设备，完成设备选定，然后通过第一设备可以远程操作第二设备；

4)上述第一设备获取上述第二设备的第三图像信息，并提取上述第三图像信息中上述第二设备的按键信息；获取上述用户的第三眼动数据；并查找与上述第三眼动数据对应的操作指令；并依据上述操作指令触发上述第二设备执行与上述按键信息对应的操作。在一个可选实施例中，不论是电子屏式设备，还是物理按键式设备，当注视点由第一台设备移向第二台设备时，通过应用软件层的配合，注视点可以获取第二台设备物理按键或者电子屏上按键软件层的权限，也可以将第二台设备的按钮信息在第一台设备上显示出来，通过注视点的交互实现相应按键的实际功能。

5)上述第二设备将上述请求消息发送给第三设备；上述第三设备依据上述请求消息控制上述第一设备和上述第二设备进行交互，或者上述第三设备依据上述请求消息控制上述第一设备和第二设备协作执行指定任务。该指定任务为任意类型的需要至少两个设备协作完成的任务，例如，可以是简单的分布式计算任务等，然后由第三设备收集第一设备和第二设备反馈的结果。

作为本申请的又一个可选实施例，在将上述请求消息发送至上述第三设备之后，上述方法还包括以下之一：

1)上述第三设备控制第一设备向第二设备发送待传输文件，或者，控制第二设备向上述第一设备发送待传输文件；例如，用户通过注视点交互发出传输文件的请求，当注视点由第二设备移回第一设备，第三设备检测出第一设备在网络中的位置，将文件由第二设备传输到第一设备。文件类型不限。

2)上述第三设备控制上述第二设备将当前的图像数据或音频数据发送至上述第一设备进行共享；例如，参与交互的多台电子设备中的一台有相关信息显示，可以将信息显示到注视点注视的设备上，然后通过注视的这台设备完成相应操作。也可以实现信息随着注视点的移动显示在对应的设备上。或者多台设备配合显示相应信息

3)上述第三设备控制上述第二设备将上述请求消息对应的控制指令发送至上述第一设备，即本申请实施例提供的上述方法可以应用远程控制，例如，用户通过应用软件发起远程控制请求，通过注视点移向第一设备，完成设备选定，然后通过第一设备可以远程操作第二设备；

4)上述第三设备控制上述第一设备获取上述第二设备的第三图像信息，并提取上述第三图像信息中上述第二设备的按键信息；获取上述用户的第三眼动数据；并查找与上述第三眼动数据对应的操作指令；并依据上述操作指令触发上述第二设备执行与上述按键信息对应的操作。在一个可选实施例中，不论是电子屏式设备，还是物理按键式设备，当注视点由第一台设备移向第二台设备时，通过应用软件层的配合，注视点可以获取第二台设备物理按键或者电子屏上按键软件层的权限，也可以将第二台设备的按钮信息在第一台设备上显示出来，通过注视点的交互实现相应按键的实际功能。

5)上述第三设备依据上述请求消息控制上述第一设备和上述第二设备进行交互，或者上述第三设备依据上述请求消息控制上述第一设备和第二设备协作执行指定任务。该指定任务为任意类型的需要至少两个设备协作完成的任务，例如，可以是简单的分布式计算任务等，然后由第三设备收集第一设备和第二设备反馈的结果。

本申请实施例还可以适用于以下场景：检测眼球状态，并配合各设备完成相应操作。通过检测眼球睁大，闭合，张开，半张开等状态，配合应用层赋予设备唤醒相应操作，包括但不限于某些设备发出声音，某些设备发出亮光，某些设备调节温度。

上述第一眼动数据包括以下至少之一：注视点在设备上的坐标、注视点在设备外围预设范围内的坐标、注视时长、注视轨迹、瞳孔半径、瞳孔在眼睛中的位置、眼睛睁开大小、眨眼动作、眨眼频率和眨眼次数。

可选地，上述第一关联数据，包括以下至少之一：上述第一设备的显示界面上当前注视点在预设区域范围内的内容；上述第一设备的显示界面上当前注视点所指示的控制型界面元素(包括但不限于控件)；上述第一设备的显示界面上指定对象的位置信息(该位置信息包括但不限于对象在界面上的位置信息，指定对象所对应设备的实际地理位置信息等)；第一设备的显示界面上与当前时间相关的信息(例如定时时间、倒计时时间、系统时间)；上述第一设备上或者第一设备的关联设备上的物理按键信息。

在一个可选实施例中，在确定第二设备后，还可以对第二设备进行眼控操作，此时进行眼控操作所使用的眼动数据(可以称为第二眼动数据)或者其关联数据(可以称为第二关联数据)可以和第一眼动数据或第一关联数据相同或不同。

其中，第二眼动数据包括但不限于以下至少之一：注视点在设备上的坐标、注视点在设备外围预设范围内的坐标、注视时长、注视轨迹、瞳孔半径、瞳孔在眼睛中的位置、眼睛睁开大小、眨眼动作、眨眼频率和眨眼次数。

在一个可选实施例中，上述第二眼动数据的关联数据(即第二关联数据)包括以下至少之一：设备的显示界面上当前注视点在预设区域范围内的内容；设备的显示界面上当前注视点所指示的控制型界面元素(包括但不限于控件)；上设备的显示界面上指定对象的位置信息(该位置信息包括但不限于对象在界面上的位置信息，指定对象所对应设备的实际地理位置信息等)；设备的显示界面上与当前时间相关的信息(例如定时时间、倒计时时间、系统时间)；设备上或者该设备的关联设备上的物理按键信息。

在一个可选实施例中，可以通过以下方式将上述请求消息发送至上述第一设备或上述第二设备：将上述请求消息封装为IP报文，并将上述IP报文发送至以下至少之一：第一设备、第二设备和第三设备。即通过网络发送上述请求消息。需要说明的是，上述第二设备在收到上述请求消息后，也可以向第一设备返回响应消息，或者，返回上述请求消息所请求的内容或文件等。

可选地，在将上述请求消息发送至上述第一设备时，上述第一设备提取上述请求消息中的第二设备的第二设备ID；上述第一设备依据上述第二设备ID将上述请求消息发送至上述第二设备。

可选地，上述第一注视点信息可以通过以下方式获取：获取上述用户在真实世界的注视矢量；获取上述用户与上述第二设备之间的相对位置；依据上述相对位置和上述注视矢量确定上述用户在上述第二设备上的注视点。

在一个可选实施例中，在确定第一设备的注视点信息(可以称为第二注视点信息)时，也可以采用与上述第一注视点信息相同的方式，但不限于此。

上述用户与第二设备之间的相对位置的获取方式有多种，例如可以通过距离传感器确定，在一个可选实施例中，还可以通过以下方式实现：接收上述第二设备采集的第一图像；获取上述第一图像在当前采集的第二图像中的位置信息；依据上述位置信息确定上述相对位置。在另一个可选实施例中，可以通过距离传感器确定用户与第二设备和第二设备之间的距离，进而计算出第一设备和第二设备的相对距离。

以下详细说明以下注视点信息的确定方式，如图4所示，该确定方式可以通过独立设置的可穿戴式设备实现，也可以通过在第一设备或第二设备侧设置的视线追踪装置实现(例如获取眼部图像信息，对用户眼部图像信息进行分析，就得到用户注视点信息)，该视线追踪装置的具体实现方式可以在相关技术中查询得知，此处不再赘述。对于通过可穿戴式设备实现的方式，可以通过以下方式实现，但不限于此：

步骤S1，利用可穿戴式眼球追踪设备实时获得使用者在真实世界中的注视矢量(注视方向)数据。该步骤需要一个眼球追踪模块。眼球追踪的实现方法已经有很多种，包括但不限于：

眼电图(EOG)方式：眼电图法应用较早，它是通过放置于眼镜附近的电极测量皮肤的电势差，实现眼动测量。眼电图法在40年前就已经广泛应用，至今仍有部分领域使用此法测量。

巩膜接触镜法：巩膜接触镜法是将光学部件置于一个接触镜上，并将接触镜轻置于眼球上，该方法的精度较高。

眼图录像法：眼图录像法主要是通过辨认眼球的特征如瞳孔外形、异色边缘(虹膜、虹膜边界)、近距指向光源的角膜反射来实现眼动跟踪。

角膜反射法：是目前眼球追踪领域被广泛认可并应用的方法，主动投射红外线等光束到眼睛，并通过摄像头捕捉人眼特征，通过算法建立人眼二维或者三维注视点估计模型，通过算法判断人眼动作和注视点。

步骤S2，将上一步骤中所获得的注视矢量数据和/或其他数据(包括注视矢量相关的和/或不相关的，如自己的空间位置、眼动信号、眼动图像或其他信息等)传输给目标设备。目标设备可以为一个或多个。

实现本步骤可选的装备：通讯模块。该通讯模块包括但不限于有线通信模块和无线通信模块。通信方式不限制。

步骤S3，获取可穿戴式眼球追踪设备与目标设备之间的相对位置。

可单独或同时(相互辅助)使用以下方式获取上述相对位置：

正向图像匹配法：通过目标设备向可穿戴式眼球追踪设备发送本身屏幕截图或外观图片。可穿戴式眼球追踪设备本身捕捉真实世界图像。通过目标设备所发送图像在可穿戴眼球追踪设备所捕捉图像中的位置，计算可穿戴眼球追踪设备与目标设备之间的相对位置。

反向图像匹配法：目标设备捕捉使用者所佩戴可穿戴眼球追踪设备的图像。通过可穿戴式眼球追踪设备图像在目标设备所捕捉的图像中的位置，计算出可穿戴眼球追踪设备与目标设备之间的相对位置。

正向定位标识法：目标设备外围具有定位标识(定位标识种类不限，例如，光学标识、图形标识、电子标识等)。可穿戴式眼球追踪设备具备相应标识的接收装置，接收到相应的标识信息后，计算可穿戴式眼球追踪设备和目标设备之间的相对位置。

反向定位标识法：可穿戴式眼球追踪设备具有定位标识(定位标识种类不限，例如，光学标识、图形标识、电子标识等)。目标设备具备相应标识的接收装置，接收到相应的标识信息后，计算可穿戴式眼球追踪设备和目标设备之间的相对位置。

第三方定位标识法：可穿戴式眼球追踪设备和目标设备上具有定位标识(定位标识种类不限，例如，光学标识、图形标识、电子标识等)，通过第三方装置接收相应的标识信息，计算可穿戴眼球追踪设备和目标设备之间的相对位置。

相对固定校准法：目标设备与使用者头部位置相对固定(如VR设备、AR设备、MR设备等)，在目标设备中通过定位标识(定位标识种类不限，一般为通过软件在屏幕上出现的校准点)进行校准，计算可穿戴眼球追踪设备和目标设备之间的相对位置。因为可穿戴式眼球追踪设备和目标设备之间的相对位置相对固定，所以本方法只需要在必要时进行计算，不需要实时计算。

步骤S4，计算使用者在目标设备上或目标设备外围的注视点。

利用上一步获取到的可穿戴式眼球追踪设备和目标设备之间的相对位置，和步骤S1中可穿戴式眼球追踪设备捕捉到的使用者的注视矢量，计算出使用者在目标设备上或目标设备外围的注视点坐标。

需要说明的是，本实施例提供的上述方法可以通过一个应用程序(APP)实现，该应用可以为电子设备自带的应用软件、系统内置具有眼球追踪技术的软件、第三方集成眼球追踪SDK或调用API接口等方式的应用软件等，但不限于此。

本实施例提供的方案可以配合手势，语音等人机交互方式，模拟人类之间交互方式，提高人机交互的流畅度，舒适度，提高了用户体验。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

实施例2

图4是本申请实施例的一种注视点的确定方法的计算机终端的硬件结构框图。如图4所示，计算机终端40可以包括一个或多个(图中仅示出一个)处理器402(处理器402可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器404、以及用于通信功能的传输装置406。本领域普通技术人员可以理解，图4所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端40还可包括比图3中所示更多或者更少的组件，或者具有与图2所示不同的配置。

存储器404可用于存储应用软件的软件程序以及模块，如本申请实施例中的注视点的确定方法对应的程序指令/模块，处理器402通过运行存储在存储器404内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的注视点的确定方法。存储器404可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器404可进一步包括相对于处理器402远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端40。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置406用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端40的通信供应商提供的无线网络。在一个实例中，传输装置406包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置406可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

可选地，存储器404用于存储执行以下功能的程序：获取用户针对第一设备的第一眼动数据和/或与上述第一眼动数据关联的第一关联数据；依据上述第一眼动数据和/或上述第一关联数据生成请求消息；获取上述用户的第一注视点信息，将上述第一注视点信息所对应的设备确定为第二设备；在确定上述第二设备后，将上述请求消息发送至上述第一设备或上述第二设备，其中，上述请求消息用于触发上述第一设备与上述第二设备进行数据交互。

可选地，上述存储器还可以用于存储执行以下功能的程序：获取用户针对第一设备的第一眼动数据和/或与上述第一眼动数据关联的第一关联数据之前，上述方法还包括：获取上述用户的第二注视点信息；获取上述第二注视点信息所指示设备的第一图像信息；在第一预设数据库中查找与上述第一图像信息对应的第一设备ID；将上述第一设备ID对应的设备确定为上述第一设备；和/或获取上述用户的第一注视点信息，将上述第一注视点信息所对应的设备确定为第二设备，包括：获取上述第一注视点信息所指示设备的第二图像信息；在第二预设数据库中查找与上述第二图像信息对应的第二设备ID；将上述第二设备ID对应的设备确定为上述第二设备。

需要说明的是，本实施例的优选实施方式可以参见实施例1或2中的相关描述，此处不再赘述。

实施例3

本实施例1还提供一种设备的控制装置，如图5所示，该装置包括：

第一获取模块50，用于获取用户针对第一设备的第一眼动数据和/或与上述第一眼动数据关联的第一关联数据；

生成模块52，用于依据上述第一眼动数据和/或上述第一关联数据生成请求消息；

第二获取模块54，用于获取上述用户的第一注视点信息，将上述第一注视点信息所对应的设备确定为第二设备；

发送模块56，用于在确定上述第二设备后，将上述请求消息发送至以下至少之一：第一设备、第二设备和第三设备，其中，上述请求消息用于请求上述第一设备与上述第二设备进行数据交互。

需要说明的是，上述各个模块是可以通过软件或硬件的形式来实现的，对于后者，可以表现为以下实现形式：上述各个模块位于同一处理器中；或者，上述各个模块以任意组合的形式位于不同的处理器中。

需要说明的是，本实施例的优选实施方式可以参见实施例1或2中的相关描述，此处不再赘述。

实施例4

本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例1所提供的设备的控制方法所执行的程序代码。

可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：包括用于执行以下功能的程序：获取用户针对第一设备的第一眼动数据和/或与上述第一眼动数据关联的第一关联数据；依据上述第一眼动数据和/或上述第一关联数据生成请求消息；获取上述用户的第一注视点信息，将上述第一注视点信息所对应的设备确定为第二设备；在确定上述第二设备后，将上述请求消息发送至以下至少之一：第一设备、第二设备和第三设备，其中，上述请求消息用于触发上述第一设备与上述第二设备进行数据交互。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种设备的控制方法，其特征在于，包括：

获取用户针对第一设备的第一眼动数据和/或与所述第一眼动数据关联的第一关联数据；

依据所述第一眼动数据和/或所述第一关联数据生成请求消息；

获取所述用户的第一注视点信息，将所述第一注视点信息所对应的设备确定为第二设备；

在确定所述第二设备后，将所述请求消息发送至以下至少之一：所述第一设备、所述第二设备和第三设备，其中，所述请求消息用于触发所述第一设备与所述第二设备进行数据交互；

其中，获取用户针对第一设备的第一眼动数据和/或与所述第一眼动数据关联的第一关联数据之前，所述方法还包括：获取所述用户的第二注视点信息；获取所述第二注视点信息所指示设备的第一图像信息；在第一预设数据库中查找与所述第一图像信息对应的第一设备ID；将所述第一设备ID对应的设备确定为所述第一设备；和/或

获取所述用户的第一注视点信息，将所述第一注视点信息所对应的设备确定为第二设备，包括：获取所述第一注视点信息所指示设备的第二图像信息；在第二预设数据库中查找与所述第二图像信息对应的第二设备ID；将所述第二设备ID对应的设备确定为所述第二设备。

2.根据权利要求1所述的方法，其特征在于，所述第一预设数据库和所述第二预设数据库包括以下至少之一：

所述第一设备的本地数据库、网络侧的数据库。

3.根据权利要求1所述的方法，其特征在于，依据所述第一眼动数据和/或所述第一关联数据生成所述第一设备的请求消息，包括：

从第三预设数据库中查找与所述第一眼动数据和/或第一关联数据对应的控制信息，其中，所述控制信息用于控制所述第二设备执行指定操作，或者控制所述第一设备和所述第二设备协作执行指定任务；

依据所述控制信息生成所述请求消息。

4.根据权利要求1所述的方法，其特征在于，将所述请求消息发送至所述第一设备之后，所述方法还包括以下之一：

所述第一设备向所述第二设备发送待传输文件；

所述第一设备将当前的图像数据或音频数据发送至所述第二设备进行共享；

所述第一设备将所述请求消息对应的控制指令发送至所述第二设备；

所述第一设备获取所述第二设备的第三图像信息，并提取所述第三图像信息中所述第二设备的按键信息；获取所述用户的第三眼动数据；并查找与所述第三眼动数据对应的操作指令；并依据所述操作指令触发所述第二设备执行与所述按键信息对应的操作；

所述第一设备将所述请求消息发送给所述第三设备；所述第三设备依据所述请求消息控制所述第一设备和所述第二设备进行交互，或者所述第三设备依据所述请求消息控制所述第一设备和第二设备协作执行指定任务。

5.根据权利要求1所述的方法，其特征在于，所述第一眼动数据，包括以下至少之一：

注视点在设备上的坐标、注视点在设备外围预设范围内的坐标、注视时长、注视轨迹、瞳孔半径、瞳孔在眼睛中的位置、眼睛睁开大小、眨眼动作、眨眼频率和眨眼次数。

6.根据权利要求1所述的方法，其特征在于，所述第一关联数据，包括以下至少之一：

所述第一设备的显示界面上当前注视点在预设区域范围内的内容；

所述第一设备的显示界面上当前注视点所指示的控制型界面元素；

所述第一设备的显示界面上指定对象的位置信息；

所述第一设备的显示界面上与当前时间相关的信息；

所述第一设备上或者所述第一设备的关联设备上的物理按键信息。

7.根据权利要求1所述的方法，其特征在于，所述请求消息通过以下方式发送：将所述请求消息封装为IP报文，并将所述IP报文发送至所述第一设备、所述第二设备或所述第三设备。

8.根据权利要求1所述的方法，其特征在于，将所述请求消息发送至所述第一设备之后，所述方法还包括：

所述第一设备提取所述请求消息中的第二设备的第二设备ID；

所述第一设备依据所述第二设备ID将所述请求消息发送至所述第二设备。

9.根据权利要求1至8中任一项所述的方法，其特征在于，获取所述用户的第一注视点信息，包括：

获取所述用户在真实世界的注视矢量；

获取所述用户与所述第二设备之间的相对位置；

依据所述相对位置和所述注视矢量确定所述用户在所述第二设备上的注视点。

10.根据权利要求9所述的方法，其特征在于，获取所述用户与第二设备之间的相对位置，包括：

接收所述第二设备采集的第一图像；

获取所述第一图像在当前采集的第二图像中的位置信息；

依据所述第二图像中的位置信息确定所述相对位置。

11.一种电子设备，其特征在于，包括：

采集设备，用于获取针对第一设备的第一眼动数据和/或与所述第一眼动数据关联的第一关联数据，以及采集用户的第一注视点信息，将所述第一注视点信息所对应的设备确定为第二设备；

处理器，用于依据所述第一眼动数据和/或所述第一关联数据生成请求消息；

通信设备，用于在确定所述第二设备后，确定将所述请求消息发送至以下至少之一：所述第一设备、所述第二设备和第三设备，其中，所述请求消息用于请求所述第一设备与所述第二设备进行数据交互；

其中，获取用户针对第一设备的第一眼动数据和/或与所述第一眼动数据关联的第一关联数据之前，还包括：获取所述用户的第二注视点信息；获取所述第二注视点信息所指示设备的第一图像信息；在第一预设数据库中查找与所述第一图像信息对应的第一设备ID；将所述第一设备ID对应的设备确定为所述第一设备；和/或

获取所述用户的第一注视点信息，将所述第一注视点信息所对应的设备确定为第二设备，包括：获取所述第一注视点信息所指示设备的第二图像信息；在第二预设数据库中查找与所述第二图像信息对应的第二设备ID；将所述第二设备ID对应的设备确定为所述第二设备。

12.一种存储介质，其特征在于，所述存储介质存储有程序，所述程序运行时执行权利要求1至10中任一项所述的设备的控制方法。

13.一种处理器，其特征在于，所述处理器用于执行权利要求1至10中任一项所述的设备的控制方法。

14.一种设备的控制装置，其特征在于，包括：

第一获取模块，用于获取用户针对第一设备的第一眼动数据和/或与所述第一眼动数据关联的第一关联数据；

生成模块，用于依据所述第一眼动数据和/或所述第一关联数据生成请求消息；

第二获取模块，用于获取所述用户的第一注视点信息，将所述第一注视点信息所对应的设备确定为第二设备；

发送模块，用于在确定所述第二设备后，将所述请求消息发送至以下至少之一：所述第一设备、所述第二设备和第三设备，其中，所述请求消息用于触发所述第一设备与所述第二设备进行数据交互；

其中，获取用户针对第一设备的第一眼动数据和/或与所述第一眼动数据关联的第一关联数据之前，还包括：获取所述用户的第二注视点信息；获取所述第二注视点信息所指示设备的第一图像信息；在第一预设数据库中查找与所述第一图像信息对应的第一设备ID；将所述第一设备ID对应的设备确定为所述第一设备；和/或

获取所述用户的第一注视点信息，将所述第一注视点信息所对应的设备确定为第二设备，包括：获取所述第一注视点信息所指示设备的第二图像信息；在第二预设数据库中查找与所述第二图像信息对应的第二设备ID；将所述第二设备ID对应的设备确定为所述第二设备。

Images