CN109298782B - 眼动交互方法、装置及计算机可读存储介质 - Google Patents

Abstract

本说明书实施例提供了一种眼动交互方法，将定义眼动交互的权利交给用户。目标用户可以针对不同的目标应用程序或系统，根据自身习惯和喜好自行定义符合自己认知和使用习惯的眼动动作，将眼动动作与对应的控制指令进行绑定，进而，目标用户可以通过自定义的眼动动作和目标应用程序或系统进行交互。因为眼动动作与控制指令间的关联关系是用户自定义的，其认知成本大大降低，使得交互更方便，交互体验更好。

Description

眼动交互方法、装置及计算机可读存储介质

技术领域

本说明书实施例涉及信息交互技术领域，尤其涉及一种眼动交互方法、装置及计算机可读存储介质。

背景技术

近年来，随着人机交互技术的发展，拥有自然交互方式的产品受到越来越多人的青睐，眼动交互其实就是通过设备记录和识别人眼的运动方式，将特定的眼动动作作为输入信号，从而对特定的任务指令进行控制。这种随身携带的、自然而干净的交互方式，正在得到越来越多的应用，是未来人机交互应用的趋势。尤其在诸如VR(虚拟现实)、AR(增强现实)等新兴交互界面领域，其应用潜力不可估量。目前对于眼动交互的应用尚处于摸索阶段，对于眼动动作的交互在业界并没有达成一致，也未形成规范。

发明内容

本说明书实施例提供及一种眼动交互方法、装置及计算机可读存储介质。

第一方面，本说明书实施例提供一种眼动交互方法，包括：

获得目标用户绘制的眼动轨迹；

基于所述眼动轨迹，确定与所述眼动轨迹对应的第一眼动动作；

确定所述目标用户从待关联控制指令中选择的第一控制指令；

建立所述第一眼动动作与所述第一控制指令间的关联关系，以使得再次接收到与所述第一眼动动作匹配的眼动轨迹时，基于所述第一眼动动作与所述第一控制指令间的关联关系，响应所述第一控制指令。

第二方面，本说明书实施例提供一种眼动交互方法，包括：

确定目标用户从待关联控制指令中选择的第一控制指令；

获得所述目标用户基于所述第一控制指令绘制的眼动轨迹；

基于所述眼动轨迹，确定与所述眼动轨迹对应的第一眼动动作；

建立所述第一眼动动作与所述第一控制指令间的关联关系，以使得再次接收到与所述第一眼动动作匹配的眼动轨迹时，基于所述第一眼动动作与所述第一控制指令间的关联关系，响应所述第一控制指令。

第三方面，本说明书实施例提供一种眼动交互装置，包括：

获取单元，用于获得目标用户绘制的眼动轨迹；

第一确定单元，用于基于所述眼动轨迹，确定与所述眼动轨迹对应的第一眼动动作；

第二确定单元，用于确定所述目标用户从待关联控制指令中选择的第一控制指令；

关联单元，用于建立所述第一眼动动作与所述第一控制指令间的关联关系，以使得再次接收到与所述第一眼动动作匹配的眼动轨迹时，基于所述第一眼动动作与所述第一控制指令间的关联关系，响应所述第一控制指令。

第四方面，本说明书实施例提供一种眼动交互装置，包括：

第一确定单元，用于确定目标用户从待关联控制指令中选择的第一控制指令；

获取单元，用于获得所述目标用户基于所述第一控制指令绘制的眼动轨迹；

第二确定单元，用于基于所述眼动轨迹，确定与所述眼动轨迹对应的第一眼动动作；

关联单元，用于建立所述第一眼动动作与所述第一控制指令间的关联关系，以使得再次接收到与所述第一眼动动作匹配的眼动轨迹时，基于所述第一眼动动作与所述第一控制指令间的关联关系，响应所述第一控制指令。

第五方面，本说明书实施例提供一种眼动交互装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述眼动交互方法的步骤。

第六方面，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述眼动交互方法的步骤。

本说明书实施例有益效果如下：

本说明书实施例提供的眼动交互方法，将定义眼动交互的权利交给用户。通过本实施例中的眼动交互方法，目标用户可以针对不同的目标应用程序或系统，根据自身习惯和喜好自行定义符合自己认知和使用习惯的眼动动作，将眼动动作与对应的控制指令进行绑定，进而，目标用户可以通过自定义的眼动动作和目标应用程序或系统进行交互。因为眼动动作与控制指令间的关联关系是用户自定义的，其认知成本大大降低，使得交互更方便，交互体验更好。

附图说明

图1为本说明书实施例第一方面提供的眼动交互方法流程图；

图2为本说明书实施例中绘制眼动轨迹时的功能界面示意图；

图3为本说明书实施例中关联眼动动作与控制指令时的界面示意图；

图4(1)～图4(30)为本说明书实施例中的30种眼动动作的示意图；

图5为本说明书实施例第二方面提供的眼动交互方法流程图；

图6为本说明书实施例第三方面眼动交互装置结构示意图；

图7为本说明书实施例第四方面眼动交互装置结构示意图；

图8为本说明书实施例第五方面眼动交互装置的结构示意图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。

第一方面，本说明书实施例提供一种眼动交互方法，请参考图1，在本图中描述了根据在用户输入数值实时展示满足预设输入数值递增规则的数值的技术方案，该实施例的方法不仅可以应用于例如智能手机、平板电脑之类的移动终端，还可以应用于台式计算机等设备。该方法包括步骤S101-S104，如下所示：

S101：获得目标用户绘制的眼动轨迹；

S102：基于所述眼动轨迹，确定与所述眼动轨迹对应的第一眼动动作；

S103：确定所述目标用户从待关联控制指令中选择的第一控制指令；

S104：建立所述第一眼动动作与所述第一控制指令间的关联关系，以使得再次接收到与所述第一眼动动作匹配的眼动轨迹时，基于所述第一眼动动作与所述第一控制指令间的关联关系，响应所述第一控制指令。

具体的，在本实施例中，目标用户可根据自身习惯和喜好自行定义符合自己认知和使用习惯的眼动动作，将眼动动作与对应的控制指令进行绑定，以便于目标用户后续可通过眼动动作与控制指令间的关联关系与目标应用程序或系统进行眼动交互。

具体的，目标用户可以佩戴眼动追踪设备，如：眼动仪。或者，可以在对应位置上安装眼动追踪设备，如：图像采集装置，图像采集装置可以采集到对应区域内的对象的眼动动作。首先，通过步骤S101，获得通过眼动追踪设备或图像采集装置采集到的用户的眼动轨迹。眼动追踪与交互装置负责在硬件层面完成眼动追踪，数据采集。

进一步，在本实施例中，在记录目标用户绘制的眼动动作时，可以实时展示用户绘制的眼动轨迹，以供目标用户实时查看自己绘制的眼动轨迹。具体的，可以在应用程序的功能界面中设置绘制眼动动作的功能按键，当用户点击该功能按键时，展示动作绘制区域，该应用程序即为目标应用程序。或者，电子设备中设置有绘制眼动动作的功能按键，当用户点击该功能按键时，展示多个可供用户选择的应用程序，用户选中的应用程序即为目标应用程序。用户选定目标应用程序后，展示动作绘制区域，表明用户可针对选中的目标应用程序定义对应的眼动动作，用以后续的眼动交互。当然，用户还可以直接定义系统的眼动动作，该眼动动作可以通用于系统中所有的应用程序。当然，在具体实施过程中，触发进行眼动绘制的方式不限于上述示例，可根据实际需要进行设定，在此，本申请不做限制。

进一步，在本实施例中，还会设置自定义眼动动作的用户的权限。比如：电子设备仅允许预设用户进行眼动交互，预设用户可以是该电子设备所属的用户。当然，还可以设计为其他具备权限的用户，这些具有权限的用户即为目标用户。在用户触发进行眼动动作绘制时，需要验证用户身份，在验证通过后，用户才具备绘制眼动动作的权限，电子设备展示绘制界面，该绘制界面中有个绘制区域。如示意图2所示，显示界面中展示了动作绘制区域，当目标用户的目光注视到该动作绘制区域时，动作绘制区域中实时展示目标用户通过眼睛输入的轨迹，如：用户通过眨眼、注视、眼势等动作绘制的眼动轨迹。动作绘制区域下方还设置了相关参数等内容显示区域，展示绘制的眼动轨迹的相关参数，如：目标用户绘制了眨眼轨迹时，相关参数等内容显示区域可以显示眨眼的间隔时长参数等。

在获得目标用户绘制的眼动轨迹后，执行步骤S102，具体可通过如下步骤实现：

对所述眼动轨迹进行识别，输出待匹配眼动动作；

接收所述目标用户从所述待匹配眼动动作中选择的第一眼动动作，所述第一眼动动作与所述眼动轨迹对应。

具体的，在本实施例中，电子设备中预先设定了常用的眼动轨迹库，该眼动轨迹库中录入了海量的标准眼动轨迹。当获得目标用户实时绘制的眼动轨迹后，可基于该眼动轨迹库对目标用户绘制的眼动轨迹进行识别，得到与该眼动轨迹对应的一个或多个待匹配眼动动作。例如：目标用户可能绘制了一个非标准的“M”形的眼动轨迹，对该眼动轨迹识别，输出可能的待匹配眼动动作包括标准的“M”轨迹的眼动动作或者标准的“N”轨迹的眼动动作。示意图2中还展示了识别区域，识别区域用于展示待匹配的眼动动作。在存在多个待匹配眼动动作时，确定目标用户最终选择的第一眼动动作。该第一眼动动作即为目标用户通过绘制眼动轨迹自定义出的眼动动作。或者，从多个待匹配眼动动作中选出匹配度最高的第一眼动动作输出，目标用户校验后确认该第一眼动动作即为自定义出的眼动动作。通过这样的方式，目标用户可以多次绘制眼动轨迹，进而自定义出多个眼动动作。电子设备将目标用户定义的多个眼动动作进行存储。

进一步，为了避免各个用户间因习惯不同而相互影响，本实施例中的方法，电子设备可保存多个用户各自对应的眼动动作库，各个眼动动作库相互独立。具体的，在用户录制眼动动作时，需要标记该用户的ID，以对应自己的眼动动作库，在进行眼动交互时，输入自己的用户ID即可对应到自己定义的眼动动作库。如果用户通过电子设备中的绘制眼动动作的功能按键进行眼动动作绘制，各个用户预先设定自己的账号密码，则在进行绘制之前，通过账号密码登录后，该账号即为此用户的眼动动作库对应的标识。如果用户通过目标应用程序中的绘制眼动动作的功能按键进行眼动动作绘制，则可输出提示信息，用于提示用户先登录该目标应用程序，登录该目标应用程序的账号即为此用户的眼动动作库对应的标识。

进一步，在目标用户每次定义一个眼动动作后，可以通过步骤S103，输出可与该眼动动作关联的目标应用程序对应的一个或多个控制指令。或者，在目标用户定义完多个眼动动作后，可以通过步骤S103，展示可与该多个眼动动作关联的目标应用程序对应的多个控制指令，如示意图3所示，目标用户定义好9个眼动动作，可绑定的交互指令包括9个。目标用户可以选择将动作1与指令2关联，也可选择将动作2与指令4相关联。

在确定待关联控制指令时，可通过如下步骤实现：

获得在预设时间段内所述目标用户触发的历史控制指令；基于所述历史控制指令，确定所述待关联控制指令。

其中，所述基于所述历史控制指令，确定所述待关联控制指令，包括：

将在所述预设时间段内的触发次数大于预设次数的历史控制指令作为待关联控制指令；或将在所述预设时间段内触发的历史控制指令按触发次数由大致小的顺序进行排序，将排序后的前预设个数的历史控制指令作为待关联控制指令。

具体的，在本实施例中，可获得目标用户在预设时间段内(例如：最近一周内或最近一个月内)对目标应用程序或系统触发的历史控制指令。统计在此期间，目标用户触发的历史控制指令，比如：在预设时间段内，目标用户针对目标应用程序触发了10次控制指令1，触发了8次控制指令2，触发了12次控制指令3，触发了4次控制指令4。这样，可以在目标用户每次定义好眼动动作时，输出触发次数大于预设次数的一个或多个控制指令供目标用户选择，沿用上述示例，如果预设次数为5，则输出的待关联控制指令包括控制指令1、控制指令2、控制指令3。或者，也可以将预设时间段内目标用户针对目标应用程序触发的历史控制指令按次数多少进行排序，选择排序后的前预设个数的历史控制指令作为待关联控制指令。沿用上述示例，在预设时间段内，按触发次数由大致小的顺序进行排序为控制指令3、控制指令1、控制指令2、控制指令4。如果预设个数设置为2，则输出的待关联控制指令包括控制指令3、控制指令1。当然，在具体实施过程中，还可以预先定义待关联控制指令，这些指令可以是用户指定，也可以是基于历史统计数据分析得到，在此，本申请不做限定。

当然，还可以在目标用户定义好多个眼动动作时，输出待关联控制指令供目标用户选择，如示意图3所示的方式，如果目标用户定义了9个眼动动作，则可确定出9个待关联控制指令。按前述方式，也可以统计目标用户在预设时间段内针对目标应用程序触发的历史控制指令。选择触发次数排在前9个的控制指令作为供目标用户选择的待关联控制指令。

最后，通过步骤S104，将目标用户选定的控制指令与该目标用户定义好的眼动动作进行关联，将关联关系存储至与该目标用户的对应存储空间或数据库。作为示例，本实施例列举出以下眼动动作与对应控制指令间的关联关系：

在眼动动作为“注视物体”，对应的眼动轨迹如示意图4(1)所示，目标用户绑定的控制指令为“单击”指令。

在眼动动作的眼动轨迹如示意图4(2)所示，注视第一个物体，再用眼势依次链接剩余物体，针对这个眼动动作，目标用户绑定的控制指令为“多选”指令。

在眼动动作的眼动轨迹如示意图4(3)所示，眼势画个框形，所有物体位于该框内，针对这个眼动动作，目标用户绑定的控制指令为“全选”指令。

在眼动动作为“眨眼一次”，对应的眼动轨迹如示意图4(4)所示，目标用户绑定的控制指令为“取消选择”指令。

在眼动动作的眼动轨迹如示意图4(5)所示，眼势以物体中心为起点向上的轨迹，针对这个眼动动作，目标用户绑定的控制指令为“上移物体”指令。

在眼动动作的眼动轨迹如示意图4(6)所示，眼势以物体中心为起点向下的轨迹，针对这个眼动动作，目标用户绑定的控制指令为“下移物体”指令。

在眼动动作的眼动轨迹如示意图4(7)所示，眼势以物体中心为起点向左的轨迹，针对这个眼动动作，目标用户绑定的控制指令为“左移物体”指令。

在眼动动作的眼动轨迹如示意图4(8)所示，眼势以物体中心为起点向右的轨迹，针对这个眼动动作，目标用户绑定的控制指令为“右移物体”指令。

在眼动动作的眼动轨迹如示意图4(9)所示，眼势以物体中心为起点向可视场景上边缘移动的轨迹，针对这个眼动动作，目标用户绑定的控制指令为“前移物体”指令。

在眼动动作的眼动轨迹如示意图4(10)所示，眼势以物体中心为起点向可视场景下边缘移动的轨迹，针对这个眼动动作，目标用户绑定的控制指令为“后移物体”指令。

在眼动动作的眼动轨迹如示意图4(11)所示，通过眼势画出的横向旋转轴，再用眼势顺(逆)时针画圈形成的轨迹，针对这个眼动动作，目标用户绑定的控制指令为“绕x轴旋转”指令。

在眼动动作的眼动轨迹如示意图4(12)所示，通过眼势画出的纵向旋转轴，再用眼势顺(逆)时针画圈形成的轨迹，针对这个眼动动作，目标用户绑定的控制指令为“绕y轴旋转”指令。

在眼动动作的眼动轨迹如示意图4(13)所示，通过眼势顺(逆)时针画圈形成的轨迹，针对这个眼动动作，目标用户绑定的控制指令为“绕z轴旋转”指令。

在眼动动作的眼动轨迹如示意图4(14)所示，通过眼势以第一物体中心为起点移动至第二物体边缘形成的轨迹，其中，第二物体是以第一物体等比放大后的物体，针对这个眼动动作，目标用户绑定的控制指令为“等比放大”指令。

在眼动动作的眼动轨迹如示意图4(15)所示，通过眼势以第二物体边缘移动至第一物体中心形成的轨迹，其中，第二物体是以第一物体等比放大后的物体，针对这个眼动动作，目标用户绑定的控制指令为“等比缩小”指令。

在眼动动作为“对物体眨眼两次”，对应的眼动轨迹如示意图4(16)所示，目标用户绑定的控制指令为“复制”指令。

在眼动动作为“在目标位置眨眼两次”，对应的眼动轨迹如示意图4(17)所示，目标用户绑定的控制指令为“粘贴”指令。

在眼动动作为“长闭眼”，对应的眼动轨迹如示意图4(18)所示，目标用户绑定的控制指令为“删除”指令。

在眼动动作的眼动轨迹如示意图4(19)所示，通过眼势画出向左箭头形成的轨迹，针对这个眼动动作，目标用户绑定的控制指令为“撤销”指令。

在眼动动作为“持续注视可视场景上边缘”，对应的眼动轨迹如示意图4(20)所示，目标用户绑定的控制指令为“镜头上摇”指令。

在眼动动作为“持续注视可视场景下边缘”，对应的眼动轨迹如示意图4(21)所示，目标用户绑定的控制指令为“镜头下摇”指令。

在眼动动作为“持续注视可视场景左边缘”，对应的眼动轨迹如示意图4(22)所示，目标用户绑定的控制指令为“镜头左摇”指令。

在眼动动作为“持续注视可视场景右边缘”，对应的眼动轨迹如示意图4(23)所示，目标用户绑定的控制指令为“镜头右摇”指令。

在眼动动作的眼动轨迹如示意图4(24)所示，通过眼势以可视场景下边缘为起点移动至可视场景上边缘，并持续注视该上边缘形成的轨迹，针对这个眼动动作，目标用户绑定的控制指令为“镜头拉近”指令。

在眼动动作的眼动轨迹如示意图4(25)所示，通过眼势以可视场景上边缘为起点移动至可视场景下边缘，并持续注视该下边缘形成的轨迹，针对这个眼动动作，目标用户绑定的控制指令为“镜头拉远”指令。

在眼动动作的眼动轨迹如示意图4(26)所示，通过眼势形成的矩形轨迹，针对这个眼动动作，目标用户绑定的控制指令为“打开菜单”指令。

在眼动动作的眼动轨迹如示意图4(27)所示，通过眼势形成的“×”形轨迹，针对这个眼动动作，目标用户绑定的控制指令为“关闭菜单”指令。

在眼动动作为“眨眼两次”，对应的眼动轨迹如示意图4(28)所示，目标用户绑定的控制指令为“暂停/开始”指令。

在眼动动作的眼动轨迹如示意图4(29)所示，视线保留在弹窗上，通过眼势形成“√”的轨迹，针对这个眼动动作，目标用户绑定的控制指令为“接受/确认”指令。

在眼动动作的眼动轨迹如示意图4(30)所示，视线保留在弹窗上，通过眼势形成“×”的轨迹，针对这个眼动动作，目标用户绑定的控制指令为“拒绝/取消”指令。

需要说明的是，用户的习惯不同，针对同一控制命令设定的眼动动作可能不同，上述仅是一些示例性的描述，并不造成对本申请中眼动动作与控制指令间的关联进行限定。

进一步，在本实施例中，为了便于目标用户绘制自定义的眼动轨迹，本实施例中，在步骤S101之前还包括如下步骤：

确定眼动场景图；

将所述眼动场景图展示在动作绘制区域，以使得所述目标用户能基于所述眼动场景图绘制眼动轨迹。

具体的，在本实施例中，由上述示例可知，在目标用户绘制眼动轨迹时，可能会设计比较复杂的眼动动作，所以，可以获得眼动场景图，该眼动场景图可以展示在图2中的动作绘制区域。具体的，可以为目标应用程序或系统设定一个通用的眼动场景图，该场景图中可以包括多个物体，多个物体位于一个视图界面，以便于目标用户观察该场景图后绘制自定义的眼动轨迹。当然，还可以为目标应用程序或系统设定多个眼动场景图，在目标用户绘制眼动轨迹时，根据自己的选择来展示对应的眼动场景图。比如：设定了包括单个物体的场景图A、多个物体的场景图B等。在目标用户定义如图4(1)的“注视”对应的眼动动作时，目标用户可选择将场景图A展示在动作绘制区域，在目标用户定义如图4(2)的“多选”对应的眼动动作时，目标用户可选择将场景图B展示在动作绘制区域。

通过本实施例中的方法，眼动追踪与交互设备实时监测和响应目标用户的眼动，如示意2所示，目标用户点击开始识别按钮，将视线移入动作绘制区域开始绘制目标眼动动作，设备识别用户绘制的动作并显示出来，目标用户进行校验，无误后点击保存进行眼动动作的储存与命名等操作。然后，将已经储存的眼动动作与将要应用的系统或目标应用程序下拥有的可以被绑定控制指令进行关联。最后，眼动追踪与交互设备实时监测和响应目标用户的眼动，然后，将目标用户对应的关联映射好的眼动动作应用在相关的交互系统或目标应用程序下。本实施例中的眼动交互的应用场景，可以是软件系统级别或单独的某个应用。

进一步，本实施例中的方案未来可以得到更深度的应用。例如通过添加大数据分析技术，可以针对不同的应用场景，落地不同的眼动交互设计标准，该标准将符合大部分用户习惯，有利于进一步形成眼动交互设计的行业规范。举例而言，可以通过收集大量用户自定义的眼动动作与控制指令间的关联关系。通过这样的数据发现，90％的用户都会将“注视”动作定义成点击交互事件，那么可以将该“注视”动作的映射纳入到规范里，在其它眼动交互产品中得到应用。

通过本实施例中的方案，将定义眼动交互的权利交给用户。用户可以针对不同的应用场景(交互系统或目标应用)，自行定义符合自己认知和使用习惯的眼动动作，从而和计算机设备以及用户界面进行交互。因为是用户自定义的，其认知成本也大大降低。使得交互更方便，交互体验更好。

第二方面，基于同一发明构思，本说明书第二实施例提供一种眼动交互方法，包括如5所示的步骤：

S501：确定目标用户从待关联控制指令中选择的第一控制指令；

S502：获得所述目标用户基于所述第一控制指令绘制的眼动轨迹；

S503：基于所述眼动轨迹，确定与所述眼动轨迹对应的第一眼动动作；

S504：建立所述第一眼动动作与所述第一控制指令间的关联关系，以使得再次接收到与所述第一眼动动作匹配的眼动轨迹时，基于所述第一眼动动作与所述第一控制指令间的关联关系，响应所述第一控制指令。

具体的，在本实施例中，首先，通过步骤S501从待关联控制指令中选择的第一控制指令。目标用户的确定方式以及待关联控制指令的确定方式在前述第一实施例中详细介绍，在此本申请不做赘述。如果目标用户针对的是目标应用程序设定对应的眼动动作，则待关联控制指令为目标应用程序对应的一些控制指令，而如果目标用户针对的是系统设定对应的眼动动作，则待关联控制指令为该系统中多个应用程序对应的一些控制指令。在目标用户通过步骤S501从待关联控制指令中选择出第一控制指令后，表明目标用户需要对第一控制指令进行眼动动作的定义。

进而，通过步骤S502，获得目标用户为该第一控制指令设计的眼动动作的轨迹。即：目标用户在明确了控制指令后，再为该控制指令设定关联的眼动动作。目标用户绘制眼动轨迹进而设定眼动动作的过程已经在前述第一实施例中详细介绍，在此，本申请也不做赘述。

进一步，为了便于目标用户绘制自定义的眼动轨迹，本实施例中，在步骤S502之前还包括如下步骤：

确定与所述第一控制指令对应的第一眼动场景图；

将所述第一眼动场景图展示在动作绘制区域，以使得所述目标用户能基于所述第一眼动场景图绘制眼动轨迹。

具体的，在本实施例中，针对各个控制指令，对应有该控制指令的眼动场景图，比如：目标用户选择了“多选”控制指令时，表明该用户要对“多选”控制指令定义对应的眼动动作，“多选”控制指令对应的场景图中包括多个物体，将该场景图展示在图2中的动作绘制区，以便于目标用户观察该场景图后绘制自定义的眼动轨迹。又如：目标用户选择了“单击”控制指令时，表明该用户要对“单击”控制指令定义对应的眼动动作，“单击”控制指令对应的场景图中包括单个物体，将该场景图展示在图2中的动作绘制区，以便于目标用户观察该场景图后绘制自定义的眼动轨迹。

进而，在通过步骤S502获得目标用户绘制的眼动轨迹后，通过步骤S503识别出该轨迹对应的第一眼动动作，然后通过步骤S504将识别出的第一眼动动作与第一控制指令相关联。识别步骤以及关联步骤的具体过程可参照前述第一实施例，在此，本申请不做赘述。

第三方面，基于同一发明构思，本说明书实施例提供一种眼动交互装置，请参考图6，包括：

获取单元601，用于获得目标用户绘制的眼动轨迹；

第一确定单元602，用于基于所述眼动轨迹，确定与所述眼动轨迹对应的第一眼动动作；

第二确定单元603，用于确定所述目标用户从待关联控制指令中选择的第一控制指令；

关联单元604，用于建立所述第一眼动动作与所述第一控制指令间的关联关系，以使得再次接收到与所述第一眼动动作匹配的眼动轨迹时，基于所述第一眼动动作与所述第一控制指令间的关联关系，响应所述第一控制指令。

在一种可选实现方式中，所述第一确定单元602具体用于：

对所述眼动轨迹进行识别，输出待匹配眼动动作；

接收所述目标用户从所述待匹配眼动动作中选择的第一眼动动作，所述第一眼动动作与所述眼动轨迹对应。

在一种可选实现方式中，所述装置还包括第三确定单元，所述第三确定单元具体用于：

在所述确定所述目标用户从待关联控制指令中选择的第一控制指令之前，获得在预设时间段内所述目标用户触发的历史控制指令；

基于所述历史控制指令，确定所述待关联控制指令。

在一种可选实现方式中，所述第三确定单元具体用于：

将在所述预设时间段内的触发次数大于预设次数的历史控制指令作为待关联控制指令；或

将在所述预设时间段内触发的历史控制指令按触发次数由大致小的顺序进行排序，将排序后的前预设个数的历史控制指令作为待关联控制指令。

在一种可选实现方式中，所述装置还包括展示单元，所述展示单元具体用于：

在所述检测获得目标用户绘制的眼动轨迹之前，确定与目标应用程序对应的眼动场景图；

将所述眼动场景图展示在动作绘制区域，以使得所述目标用户能基于所述眼动场景图绘制眼动轨迹。

第四方面，基于同一发明构思，本说明书实施例提供一种眼动交互装置，请参考图7，包括：

第一确定单元701，用于确定目标用户从待关联控制指令中选择的第一控制指令；

获取单元702，用于获得所述目标用户基于所述第一控制指令绘制的眼动轨迹；

第二确定单元703，用于基于所述眼动轨迹，确定与所述眼动轨迹对应的第一眼动动作；

关联单元704，用于建立所述第一眼动动作与所述第一控制指令间的关联关系，以使得再次接收到与所述第一眼动动作匹配的眼动轨迹时，基于所述第一眼动动作与所述第一控制指令间的关联关系，响应所述第一控制指令。

在一种可选实现方式中，所述装置还包括展示单元，所述展示单元具体用于：

在所述获得所述目标用户基于所述第一控制指令绘制的眼动轨迹之前，确定与所述第一控制指令对应的第一眼动场景图；

将所述第一眼动场景图展示在动作绘制区域，以使得所述目标用户能基于所述第一眼动场景图绘制眼动轨迹。

第五方面，基于与前述实施例中眼动交互方法同样的发明构思，本发明还提供一种眼动交互装置，如图8所示，包括存储器804、处理器802及存储在存储器804上并可在处理器802上运行的计算机程序，所述处理器802执行所述程序时实现前文所述数据展示方法的任一方法的步骤。

其中，在图8中，总线架构(用总线800来代表)，总线800可以包括任意数量的互联的总线和桥，总线800将包括由处理器802代表的一个或多个处理器和存储器804代表的存储器的各种电路链接在一起。总线800还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口806在总线800和接收器801和发送器803之间提供接口。接收器801和发送器803可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器802负责管理总线800和通常的处理，而存储器804可以被用于存储处理器802在执行操作时所使用的数据。

第六方面，基于与前述实施例中数据展示方法的发明构思，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述数据展示的方法的任一方法的步骤。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。

显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。

Claims (16)

1.一种眼动交互方法，包括：

获得目标用户绘制的眼动轨迹，所述眼动轨迹为所述目标用户通过眨眼、注视、眼势中的一种动作绘制；

基于所述眼动轨迹，确定与所述眼动轨迹对应的第一眼动动作，包括：基于眼动轨迹库对所述眼动轨迹进行识别，得到与该眼动轨迹对应的一个或多个待匹配眼动动作；从所述一个或者多个待匹配眼动动作中选出第一眼动动作输出；

确定所述目标用户从待关联控制指令中选择的第一控制指令；

建立所述第一眼动动作与所述第一控制指令间的关联关系，以使得再次接收到与所述第一眼动动作匹配的眼动轨迹时，基于所述第一眼动动作与所述第一控制指令间的关联关系，响应所述第一控制指令。

2.根据权利要求1所述的方法，所述基于所述眼动轨迹，确定与所述眼动轨迹对应的第一眼动动作，包括：

对所述眼动轨迹进行识别，输出待匹配眼动动作；

接收所述目标用户从所述待匹配眼动动作中选择的第一眼动动作，所述第一眼动动作与所述眼动轨迹对应。

3.根据权利要求1所述的方法，在所述确定所述目标用户从待关联控制指令中选择的第一控制指令之前，所述方法还包括：

获得在预设时间段内所述目标用户触发的历史控制指令；

基于所述历史控制指令，确定所述待关联控制指令。

4.根据权利要求3所述的方法，所述基于所述历史控制指令，确定所述待关联控制指令，包括：

将在所述预设时间段内的触发次数大于预设次数的历史控制指令作为待关联控制指令；或

将在所述预设时间段内触发的历史控制指令按触发次数由大致小的顺序进行排序，将排序后的前预设个数的历史控制指令作为待关联控制指令。

5.根据权利要求1所述的方法，在所述检测获得目标用户绘制的眼动轨迹之前，所述方法还包括：

确定眼动场景图；

将所述眼动场景图展示在动作绘制区域，以使得所述目标用户能基于所述眼动场景图绘制眼动轨迹。

6.一种眼动交互方法，包括：

确定目标用户从待关联控制指令中选择的第一控制指令；

获得所述目标用户基于所述第一控制指令绘制的眼动轨迹，所述眼动轨迹为所述目标用户通过眨眼、注视、眼势中的一种动作绘制；

基于所述眼动轨迹，确定与所述眼动轨迹对应的第一眼动动作，包括：基于眼动轨迹库对所述眼动轨迹进行识别，得到与该眼动轨迹对应的一个或多个待匹配眼动动作；从所述一个或者多个待匹配眼动动作中选出第一眼动动作输出；

建立所述第一眼动动作与所述第一控制指令间的关联关系，以使得再次接收到与所述第一眼动动作匹配的眼动轨迹时，基于所述第一眼动动作与所述第一控制指令间的关联关系，响应所述第一控制指令。

7.根据权利要求6所述的方法，在所述获得所述目标用户基于所述第一控制指令绘制的眼动轨迹之前，所述方法还包括：

确定与所述第一控制指令对应的第一眼动场景图；

将所述第一眼动场景图展示在动作绘制区域，以使得所述目标用户能基于所述第一眼动场景图绘制眼动轨迹。

8.一种眼动交互装置，包括：

获取单元，用于获得目标用户绘制的眼动轨迹，所述眼动轨迹为所述目标用户通过眨眼、注视、眼势中的一种动作绘制；

第一确定单元，用于基于所述眼动轨迹，确定与所述眼动轨迹对应的第一眼动动作，包括：基于眼动轨迹库对所述眼动轨迹进行识别，得到与该眼动轨迹对应的一个或多个待匹配眼动动作；从所述一个或者多个待匹配眼动动作中选出第一眼动动作输出；

第二确定单元，用于确定所述目标用户从待关联控制指令中选择的第一控制指令；

关联单元，用于建立所述第一眼动动作与所述第一控制指令间的关联关系，以使得再次接收到与所述第一眼动动作匹配的眼动轨迹时，基于所述第一眼动动作与所述第一控制指令间的关联关系，响应所述第一控制指令。

9.根据权利要求8所述的装置，所述第一确定单元具体用于：

对所述眼动轨迹进行识别，输出待匹配眼动动作；

接收所述目标用户从所述待匹配眼动动作中选择的第一眼动动作，所述第一眼动动作与所述眼动轨迹对应。

10.根据权利要求8所述的装置，所述装置还包括第三确定单元，所述第三确定单元具体用于：

在所述确定所述目标用户从待关联控制指令中选择的第一控制指令之前，获得在预设时间段内所述目标用户触发的历史控制指令；

基于所述历史控制指令，确定所述待关联控制指令。

11.根据权利要求10所述的装置，所述第三确定单元具体用于：

将在所述预设时间段内的触发次数大于预设次数的历史控制指令作为待关联控制指令；或

将在所述预设时间段内触发的历史控制指令按触发次数由大致小的顺序进行排序，将排序后的前预设个数的历史控制指令作为待关联控制指令。

12.根据权利要求8所述的装置，所述装置还包括展示单元，所述展示单元具体用于：

在所述检测获得目标用户绘制的眼动轨迹之前，确定与目标应用程序对应的眼动场景图；

将所述眼动场景图展示在动作绘制区域，以使得所述目标用户能基于所述眼动场景图绘制眼动轨迹。

13.一种眼动交互装置，包括：

第一确定单元，用于确定目标用户从待关联控制指令中选择的第一控制指令；

获取单元，用于获得所述目标用户基于所述第一控制指令绘制的眼动轨迹，所述眼动轨迹为所述目标用户通过眨眼、注视、眼势中的一种动作绘制；

第二确定单元，用于基于所述眼动轨迹，确定与所述眼动轨迹对应的第一眼动动作，包括：基于眼动轨迹库对所述眼动轨迹进行识别，得到与该眼动轨迹对应的一个或多个待匹配眼动动作；从所述一个或者多个待匹配眼动动作中选出第一眼动动作输出；

关联单元，用于建立所述第一眼动动作与所述第一控制指令间的关联关系，以使得再次接收到与所述第一眼动动作匹配的眼动轨迹时，基于所述第一眼动动作与所述第一控制指令间的关联关系，响应所述第一控制指令。

14.根据权利要求13所述的装置，所述装置还包括展示单元，所述展示单元具体用于：

在所述获得所述目标用户基于所述第一控制指令绘制的眼动轨迹之前，确定与所述第一控制指令对应的第一眼动场景图；

将所述第一眼动场景图展示在动作绘制区域，以使得所述目标用户能基于所述第一眼动场景图绘制眼动轨迹。

15.一种眼动交互装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。

16.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。

Images