CN109144262B - 一种基于眼动的人机交互方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种基于眼动的人机交互方法，包括按照预设的采样频率采集目标对象的眼部信号；其中，眼部信号包括信号类型和注视位置；当识别出的信号类型为单侧眼信号时，将注视位置设置为目标位置并开始计时；判断预设时间内单侧眼信号的数量是否等于预设时间内的采样次数；若是，则对目标位置执行预设操作。本方案避免了由于正常眨眼对单侧眼信号的识别过程造成干扰，避免了控制指令的误识别，进而提高了进行预设操作的准确性，提升用户体验。本申请还公开了一种基于眼动的人机交互装置，具有上述有益效果。

Description

一种基于眼动的人机交互方法、装置、设备及存储介质

技术领域

本发明涉及人机交互领域，特别涉及一种基于眼动的人机交互方法、装置、设备及存储介质。

背景技术

随着VR(Virtual Reality，虚拟现实)产品和AR(Augmented Reality，增强现实)产品的普及程度越来越高，作为VR产品与AR产品的技术基础，对基于眼动的人机交互方法中操作过程的准确性要求越来越高。

现有技术中，基于眼动的人机交互方法具体为：在识别出单侧眼信号之后，开始累计单侧眼信号的数量；当累计出的单侧眼信号的数量达到阈值时，则执行单击操作。但是由于在正常眨眼过程中，眼部动作的实际过程为单眼闭合→双眼闭合→单眼睁开→双眼睁开；也即，在一次正常眨眼过程中，也将产生两次单侧眼信号，这将对累计单侧眼信号的数量的过程造成干扰，进而造成单击操作的误执行，降低了实际操作的准确性，降低了用户体验。

因此，如何提供一种基于眼动的人机交互方法，能够提高操作的准确性，是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于眼动的人机交互方法，能够提高操作的准确性；本发明的另一目的是提供一种基于眼动的人机交互装置、设备及存储介质均具有上述有益效果。

为解决上述技术问题，本发明提供一种基于眼动的人机交互方法，包括：

按照预设的采样频率采集目标对象的眼部信号；其中，所述眼部信号包括信号类型和注视位置；

当识别出的所述信号类型为单侧眼信号时，将所述注视位置设置为目标位置并开始计时；

判断预设时间内所述单侧眼信号的数量是否等于所述预设时间内的采样次数；

若是，则对所述目标位置执行预设操作。

优选地，在所述当识别出的所述信号类型为单侧眼信号时，将所述注视位置设置为目标位置并开始计时具体包括：

当识别出的所述信号类型为单侧眼信号时，计算所述单侧眼信号的所述注视位置与所述目标位置的欧氏距离；

判断所述欧氏距离是否大于第一距离阈值；

若是，将所述注视位置设置为所述目标位置并开始计时。

优选地，当所述预设时间内所述单侧眼信号的数量等于所述预设时间内的所述采样次数时，所述对所述目标位置执行预设操作具体包括：

控制模拟鼠标在所述目标位置按下控制键；

若再次识别出的所述信号类型为双眼信号，则控制所述模拟鼠标抬起所述控制键，以完成单击操作。

优选地，在所述控制模拟鼠标在所述目标位置按下所述控制键之后，进一步包括：

若再次识别出的所述信号类型为单侧眼信号，则判断再次识别出的所述单侧眼信号的注视位置与所述目标位置的欧氏距离是否大于所述第一距离阈值；

若是，则根据所述注视位置移动光标的位置，并在再次识别出所述信号类型为所述双眼信号时抬起所述控制键，以完成拖动操作。

优选地，在所述若再次识别出的所述信号类型为单侧眼信号，则判断再次识别出的所述单侧眼信号的注视位置与所述目标位置的欧氏距离是否大于所述第一距离阈值之后，进一步包括：

若否，则进一步判断所述单侧眼信号的累计计时时间是否达到第一时间阈值；

若达到，则对所述目标位置执行双击操作。

优选地，在所述控制模拟鼠标在所述目标位置按下所述控制键之后，进一步包括：

当再次识别出的所述信号类型为单侧眼信号时，进一步判断再次识别出的所述单侧眼信号的所述注视位置与所述目标位置的欧氏距离是否大于第一距离阈值；

若是，则根据所述单侧眼信号的所述注视位置与所述目标位置的欧氏距离执行滚动操作。

优选地，在所述按照预设的采样频率采集目标对象的眼部信号之后，还包括：

当识别出的所述信号类型为闭眼信号时，记录所述闭眼信号时长；

当所述闭眼信号时长达到第二时长阈值时，控制结束进程。

优选地，在所述按照预设的采样频率采集目标对象的眼部信号之后，进一步包括：

对所述注视位置进行滤波处理。

优选地，进一步包括：

利用所述信号类型和各操作指令的执行过程训练出算法模型。

为解决上述技术问题，本发明还提供一种基于眼动的人机交互装置，包括：

采集模块，用于按照预设的采样频率采集目标对象的眼部信号；其中，所述眼部信号包括信号类型和注视位置；

设置模块，用于当识别出的所述信号类型为单侧眼信号时，将所述注视位置设置为目标位置并开始计时；

判断模块，用于判断预设时间内所述单侧眼信号的数量是否等于所述预设时间内的采样次数；

执行模块，用于若是，则对所述目标位置执行预设操作。

优选地，所述设置模块具体包括：

计算子模块，用于当识别出的所述信号类型为单侧眼信号时，计算所述单侧眼信号的所述注视位置与所述目标位置的欧氏距离；

判断子模块，用于判断所述欧氏距离是否大于第一距离阈值；

设置子模块，用于若是，将所述注视位置设置为所述目标位置并开始计时。

为解决上述技术问题，本发明还提供一种基于眼动的人机交互设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一种基于眼动的人机交互方法的步骤。

为解决上述技术问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种基于眼动的人机交互方法的步骤。

本发明提供的一种基于眼动的人机交互方法，相较于现有技术中通过判断单侧眼信号的数量是否达到阈值从而确定是否执行预设操作的方式，本发方法通过按照预设的采样频率采集目标对象的眼部信号；当识别出所述眼部信号的信号类型为单侧眼信号时，将所述注视位置设置为目标位置并开始计时；并在判断出预设时间内所述单侧眼信号的数量等于所述预设时间内的采样次数时，对所述目标位置执行预设操作。也即，若在对单侧眼信号进行计时的预设时间内识别出其他的眼部信号如双眼信号或双眼闭合信号等，将会使得预设时间内识别出的所述单侧眼信号的数量与所述预设时间内的采样次数不相等，从而避免了由于正常眨眼对单侧眼信号的识别过程造成干扰，避免了控制指令的误识别，进而提高了进行预设操作的准确性，提升用户体验。

为解决上述技术问题，本发明还提供了一种基于眼动的人机交互装置、设备及存储介质，均具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种基于眼动的人机交互方法的流程图；

图2为本发明实施例提供的一种基于眼动的人机交互方法中硬件关系的结构图；

图3为本发明实施例提供的一种基于眼动的人机交互方法中各功能模块的关系结构示意图；

图4为本发明实施例提供的一种基于各功能模块的关系对应的具体流程图；

图5为本发明实施例提供的一种基于眼动的人机交互装置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例的核心是提供一种基于眼动的人机交互方法，能够提高操作的准确性；本发明的另一核心是提供一种基于眼动的人机交互装置，具有上述有益效果。

为了使本领域技术人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为本发明实施例提供的一种基于眼动的人机交互方法的流程图；图2为本发明实施例提供的一种基于眼动的人机交互方法中硬件关系的结构图。如图所示，一种基于眼动的人机交互方法具体包括：

S10：按照预设的采样频率采集目标对象的眼部信号；其中，眼部信号包括信号类型和注视位置。

需要说明的是，按照预设的采样频率采集目标对象的眼部信号包括预先设置采样频率，然后根据预设的采样频率采集目标对象的眼部信号，其中，眼部信号包括信号类型和注视位置。一般的，采集目标对象的眼部信号一般是基于视线追踪计数，且瞳孔角膜反射技术(PCCR)是目前使用最广泛的实现追踪技术之一，在具体实施中，可以通过基于红外线采集的眼动仪进行采集。具体的，通过红外发射器发射红外线照射目标对象的眼睛，使目标对象的眼睛产生明显的反射，然后利用摄像头按照预设的采样频率采集眼部图像，根据带有红外线反射效果的眼部图像识别光源在角膜和瞳孔上的反射情况，从而获取眼部图像中眼部信号。

需要说明的是，在具体实施中，对摄像头和红外线传感器的具体类型不做限定，例如可以使用光学摄像头或者移动终端上的摄像头采集的眼部图像以获取眼部信号。

具体的，通过识别出眼部图像中的瞳孔数量以获取信号类型；也即，当检测出的瞳孔数量为一个时，则对应表示当前的眼部信号的信号类型为单侧眼信号，当检测出的瞳孔数量为两个时，则对应表示当前的眼部信号的信号类型为双眼信号；若当前没有检测出瞳孔信号，则表示当前的眼部信号的信号类型为闭眼信号。

具体的，通过角膜与瞳孔反射之间的角度来计算出眼动的向量，然后将此向量的方向与其他反射的几何特征结合计算出视线的方向。具体的，红外光源使用户眼睛的角膜和瞳孔上产成反射图像，采集眼睛与反射的图像。利用图像处理算法和三维眼球模型计算出眼睛在空间中的位置和视线位置，然后利用眼睛在空间中的位置和视线位置得出与目标操作屏幕的交互点位置，并将该交互点位置转换为目标操作屏幕的像素坐标，也即目标位置。可以理解的是，目标位置的精度会根据目标操作屏幕的屏幕像素的不同而对应不同。作为优选的实施方式，可以在获取目标位置之后，在目标操作屏幕对应的位置显示辅助定位工具，也即光标。

需要说明的是，当眼部信号的信号类型为单侧眼信号时，目标用户的注视位置即为对应的单侧眼的注视位置；当眼部信号为双眼信号时，目标用户的注视位置即为双眼分别对应的注视位置的中间位置。

在本实施例中，目标位置表示的是目标用户期望操作位置。

S20：当识别出的信号类型为单侧眼信号时，将注视位置设置为目标位置并开始计时。

具体的，在获取目标对象的眼部信号后，判断该眼部信号对应的信号类型。当识别出眼部信号的信号类型是单侧眼信号时，则将注视位置设置为目标位置并开始计时。

需要说明的是，单侧眼信号可以是左眼闭合(即右眼睁开)信号，也可以是右眼闭合(即左眼睁开)信号，本实施例对此不做限定。具体的，将注视位置设置为目标位置也即将当前的单侧眼信号的注视位置进行缓存。具体的，计时的方法可以是从零开始计时，也可以是从某一预设值开始计时，本实施例对此不做限定。

S30：判断预设时间内单侧眼信号的数量是否等于预设时间内的采样次数。

具体的，预设时间也即根据采样频率设置的采样周期。一般的，将预设时间的时间长度设置为采样频率对应的采样时间的整数倍。例如，假设采样频率为50Hz，则表示每隔20ms进行一次眼部信号的采样，即采样时间为20ms；因此可以设置预设时间为100ms，表示进行5次采样对应的采样时间。判断预设时间内的单侧眼信号的数量是否等于预设时间内的采样次数，也即，判断预设时间采集的眼部信号是否均为单侧眼信号。

S40：若是，则对目标位置执行预设操作。

需要说明的是，当判断出预设时间内的单侧眼信号的数量等于预设时间内的采样次数时，则表示预设时间采集的眼部信号是否均为单侧眼信号，也即预设时间内采集到的眼部信号为连续的单侧眼信号，因此对预先设置的目标位置执行预设操作。

本发明实施例提供的一种基于眼动的人机交互方法，相较于现有技术中通过判断单侧眼信号的数量是否达到阈值从而确定是否执行预设操作的方式，本方法通过按照预设的采样频率采集目标对象的眼部信号；当识别出眼部信号的信号类型为单侧眼信号时，将注视位置设置为目标位置并开始计时；并在判断出预设时间内单侧眼信号的数量等于预设时间内的采样次数时，对目标位置执行预设操作。也即，若在对单侧眼信号进行计时的预设时间内识别出其他的眼部信号如双眼信号或双眼闭合信号等，将会使得预设时间内识别出的单侧眼信号的数量与预设时间内的采样次数不相等，从而避免了由于正常眨眼对单侧眼信号的识别过程造成干扰，避免了控制指令的误识别，进而提高了进行预设操作的准确性，提升用户体验。

在进行单侧眼信号进行计时的过程中，眼球将不可避免地发生颤动，当眼球发生颤动时，将导致瞳孔形状发生变化，从而使得注视位置发生变化。因此，为了进一步提高执行操作位置的准确性，作为优选的实施方式，在本实施例中，在将注视位置设置为目标位置具体包括：

当识别出的信号类型为单侧眼信号时，计算单侧眼信号的注视位置与目标位置的欧氏距离；

判断欧氏距离是否大于第一距离阈值；

若是，将注视位置设置为目标位置并开始计时。

具体的，当采集到的眼部信号的信号类型为单侧眼信号时，也即在对单侧眼信号进行计时的过程中，计算检测出的单侧眼信号的注视位置与目标位置的欧氏距离，具体的，欧氏距离的计算方式为：

其中，x₁表示注视位置的横坐标，x₂表示目标位置的横坐标；y₁表示注视位置的纵坐标，y₂表示目标位置的纵坐标；在本实施例中，优选的将第一距离阈值设置为50。若识别出的单侧眼信号的注视位置与目标位置的欧氏距离大于第一距离阈值时，将再单侧眼信号对应的注视位置设置为目标位置，也即根据单侧眼信号的注视位置更新目标位置。

对应的，若单侧眼信号的注视位置与目标位置的欧氏距离小于或等于第一距离阈值时，则表示该注视位置的改变是由于眼球颤动引起的，因此不做任何处理。

本实施例中，通过计算单侧眼信号对应的注视位置与目标位置的欧氏距离是否大于第一距离阈值并做出相应的处理，能够过滤掉由于眼球颤动等因素导致的注视位置的偏移；或者根据注视位置更新目标位置，能够使得目标用户的期望操作位置发生改变时，对更新的目标位置进行操作，使得实际操作位置更接近于期望操作位置。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，当预设时间内单侧眼信号的数量等于预设时间内的采样次数时，对目标位置执行预设操作具体包括：

控制模拟鼠标在目标位置按下控制键；

若再次识别出的信号类型为双眼信号，则控制模拟鼠标抬起控制键，以完成单击操作。

也就是说，当判断出预设时间内单侧眼信号的数量等于预设时间内的采样次数时，先控制模拟鼠标在目标位置按下控制键；然后判断再次识别出的眼部信号的信号类型，若该信号类型为双眼信号时，则控制模拟鼠标抬起控制键，通过按下-抬起的操作模拟鼠标控制键的操作以实现单击操作。可以理解的是，由于单击操作一般是通过按下-抬起鼠标左键的方式完成的，因此为了便于操作，本实施例中的控制键可以是模拟鼠标左键。

可见，在本实施例中，通过在判断出预设时间内单侧眼信号的数量等于预设时间内的采样次数时，控制模拟鼠标在目标位置按下控制键，并在判断出再次识别的眼部信号的信号类型为双眼信号时，控制模拟鼠标抬起控制键，将单击操作拆分为按下和抬起两个步骤，使得单击操作的实际操作位置更加准确。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，在控制模拟鼠标在目标位置按下控制键之后，进一步包括：

若再次识别出的信号类型为单侧眼信号，则判断再次识别出的单侧眼信号的注视位置与目标位置的欧氏距离是否大于第一距离阈值；

若是，则根据注视位置移动光标的位置，并在再次识别出信号类型为双眼信号时抬起控制键，以完成拖动操作。

也就是说，在判断预设时间内单侧眼信号的数量等于预设时间内的采样次数，并控制模拟鼠标按下控制键之后，在继续识别眼部信号时，若再次识别出的信号类型为单侧眼信号时，则进一步判断再次识别出的单侧眼信号的注视位置与目标位置的欧氏距离是否大于第一距离阈值；若大于，则根据注视位置移动光标的位置并在再次识别出双眼信号时抬起控制键，以完成拖动操作。

也即，本实施例能够进一步实现拖动操作，增加了基于眼动的人机交互方法的操作方式，增加了操作的便捷性，进一步提升用户体验。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，在若再次识别出的信号类型为单侧眼信号，则判断再次识别出的单侧眼信号的注视位置与目标位置的欧氏距离是否大于第一距离阈值之后，进一步包括：

若否，则进一步判断单侧眼信号的累计计时时间是否达到第一时间阈值；

若达到，则对目标位置执行双击操作。

也就是说，若单侧眼信号的累计计时时间达到第一时间阈值，并且注视位置与目标位置的偏移持续保持在第一距离阈值的范围之内，则控制模拟鼠标对目标位置执行双击操作。需要说明的是，本实施例中的第一时间阈值是根据实际需求进行设置的，一般的，第一时间阈值的值需大于预设时间，例如，可以将第一时间阈值设置为1s，也即连续10个预设时间内均为单侧眼信号时，控制模拟鼠标对目标位置执行双击操作。

可以理解的是，根据本实施例的方法，还可以将单侧眼信号的累计计时时间未达到第一时间阈值时对应的操作设置为长按操作。

本实施例提供的基于眼动的人机交互方法，增加了双击操作的实现方式，增加了操作的便捷性，进一步提升用户体验。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，在控制模拟鼠标在目标位置按下控制键之后，进一步包括：

当再次识别出的信号类型为单侧眼信号时，进一步判断再次识别出的单侧眼信号的注视位置与目标位置的欧氏距离是否大于第一距离阈值；

若是，则根据单侧眼信号的注视位置与目标位置的欧氏距离执行滚动操作。

也就是说，在控制模拟鼠标在目标位置按下控制键之后，当再次识别出的信号类型为单侧眼信号时，若进一步判断出再次识别出的单侧眼信号的注视位置与目标位置的欧氏距离大于第一距离阈值时，则控制模拟鼠标执行滚动的操作。

本实施例提供的基于眼动的人机交互方法，增加了滚动操作的实现方式，增加了操作的便捷性，进一步提升用户体验。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，进一步包括：

当识别出的信号类型为闭眼信号时，记录闭眼信号时长；

当闭眼信号时长达到第二时长阈值时，控制结束进程。

具体的，当眼部信号的信号类型为闭眼信号时，则开始记录闭眼信号时长，并判断闭眼信号时长是否大于或等于第二时长阈值，若是，则控制结束进程。也即，当闭眼信号时长达到第二时长阈值时，控制结束进程。需要说明的是，控制结束进程可以是关闭当前的操作屏幕，也可以是控制退出系统，本实施例对此不做限定。

可见，本实施例提供的基于眼动的人机交互方法，增加了控制结束进程的实现方式，增加了操作的便捷性，进一步提升用户体验。

请参考图3和图4，图3为本发明实施例提供的一种基于眼动的人机交互方法中各功能模块的关系结构示意图，图4为本发明实施例提供的一种基于各功能模块的关系对应的具体流程图。在本实施例中，各功能模块包括缓存模块、识别模块、定位模块和点击模块。具体的，缓存模块用于缓存按键信息、时长信息和位置信息，其中，按键信息为当前按键的状态，包括左键按下(LD)和右键按下(RD)两种情况，且两种情况中分别包括按下(置1)和抬起(置0)两种状态。时长信息包括单侧眼信号时长以及闭眼信号时长(DT)，其中单侧眼信号时长分为左眼闭合时长(LT)和右眼闭合时长(RT)。位置信息指的是当识别出单侧眼信号时，采集到的首个注视位置对应的位置信息(CL)，格式为(x，y)，对应屏幕上的像素坐标。识别模块用于获取新信号，识别注视位置；根据采集的数据类型，标记缓存模块中的时长信息；根据缓存模块中的信息分配任务至定位模块与点击模块。定位模块用于读取识别模块中的用户注视位置，并转换为屏幕像素坐标，调用模拟鼠标，将模拟鼠标从上一位置移动到注视位置。点击模块负责按下、抬起左右键；执行按键操作后更新缓存模块中的按键信息。需要说明的是，图中3中的“识别出退出信号”也即当识别出的信号类型为闭眼信号时，记录闭眼信号时长；当闭眼信号时长达到第二时长阈值时，控制结束进程的步骤。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，在按照预设的采样频率采集目标对象的眼部信号之后，进一步包括：

对注视位置进行滤波处理。

一般的，在拖动操作过程中，需要根据瞳孔形状获取注视位置，以确定拖动的起始位置、终点位置以及拖动轨迹。但是由于目标用户控制注视位置由起始位置移动到终点位置的过程中，其眼球也将不可避免地颤动，因此导致拖动轨迹出现毛刺。因此作为优选的实施方式，在本实施例中，在按照预设的采样频率采集目标对象的眼部信号之后，对获取到的注视位置进行滤波处理，优选的，可以采用中值滤波的方式，将误差较大的位置信息过滤掉，从而使得呈现出的拖动轨迹更加平滑，从而提高目标用户的使用体验。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，进一步包括：

利用信号类型和各操作指令的执行过程训练出算法模型。

也就是说，通过利用信号类型和各操作指令的执行过程训练出算法模型，以便于在再次获取眼部信号时，利用分类算法对眼部信号进行分类，从而得出对应的操作指令。可以理解的是，操作指令包括单击指令、双击指令、拖动指令等。具体的，分类算法可以是LDA(Linear discriminant analysis，LDA线性判别分析模型)、SVM(Support VectorMachine，支持向量机)等，本实施例对此不做具体的限定。通过利用信号类型和各操作指令的执行过程训练出算法模型，从而能够更快速、准确地呈现对应的操作指令，能够进一步提高目标对象的使用体验。

上文对于本发明提供的一种基于眼动的人机交互方法的实施例进行了详细的描述，本发明还提供了一种与该方法对应的基于眼动的人机交互装置，由于装置部分的实施例与方法部分的实施例相互照应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图5为本发明实施例提供的一种基于眼动的人机交互装置的结构图，如图所示，一种基于眼动的人机交互装置包括：

采集模块51，用于按照预设的采样频率采集目标对象的眼部信号；其中，眼部信号包括信号类型和注视位置；

设置模块52，用于当识别出的信号类型为单侧眼信号时，将注视位置设置为目标位置并开始计时；

判断模块53，用于判断预设时间内单侧眼信号的数量是否等于预设时间内的采样次数；

执行模块54，用于若是，则对目标位置执行预设操作。

本发明实施例提供的基于眼动的人机交互装置，相较于现有技术中通过判断单侧眼信号的数量是否达到阈值从而确定是否执行预设操作的方式，本发明通过采集模块按照预设的采样频率采集目标对象的眼部信号；利用设置模块在当识别出所述眼部信号的信号类型为单侧眼信号时，将所述注视位置设置为目标位置并开始计时；并通过判断模块在判断出预设时间内所述单侧眼信号的数量等于所述预设时间内的采样次数时，利用执行模块对所述目标位置执行预设操作。也即，若在对单侧眼信号进行计时的预设时间内识别出其他的眼部信号如双眼信号或双眼闭合信号等，将会使得预设时间内识别出的所述单侧眼信号的数量与所述预设时间内的采样次数不相等，从而避免了由于正常眨眼对单侧眼信号的识别过程造成干扰，避免了控制指令的误识别，进而提高了进行预设操作的准确性，提升用户体验。

在上述实施例的基础上，本实施例对技术方法做了进一步的说明和优化，具体的，设置模块具体包括：

计算子模块，用于当识别出的信号类型为单侧眼信号时，计算单侧眼信号的注视位置与目标位置的欧氏距离；

判断子模块，用于判断欧氏距离是否大于第一距离阈值；

设置子模块，用于若是，将注视位置设置为目标位置并开始计时。

为解决上述技术问题，本实施例还提供了一种基于眼动的人机交互设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上基于眼动的人机交互方法的步骤。

本发明实施例提供的基于眼动的人机交互设备，具有上述基于眼动的人机交互方法的有益效果。

为解决上述技术问题，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述基于眼动的人机交互方法的步骤。

本发明实施例提供的计算机可读存储介质，具有上述基于眼动的人机交互方法的有益效果。

以上对本发明所提供的一种基于眼动的人机交互方法、装置设备及存储介质进行了详细介绍。本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

Claims (8)

1.一种基于眼动的人机交互方法，其特征在于，包括：

按照预设的采样频率采集目标对象的眼部信号；其中，所述眼部信号包括信号类型和注视位置；

当识别出的所述信号类型为单侧眼信号时，将所述注视位置设置为目标位置并开始计时；

判断预设时间内所述单侧眼信号的数量是否等于所述预设时间内的采样次数；

若是，则对所述目标位置执行预设操作；

在所述当识别出的所述信号类型为单侧眼信号时，将所述注视位置设置为目标位置并开始计时具体包括：

当识别出的所述信号类型为单侧眼信号时，计算所述单侧眼信号的所述注视位置与所述目标位置的欧氏距离；

判断所述欧氏距离是否大于第一距离阈值；

若是，将所述注视位置设置为所述目标位置并开始计时。

2.根据权利要求1所述的方法，其特征在于，当所述预设时间内所述单侧眼信号的数量等于所述预设时间内的所述采样次数时，所述对所述目标位置执行预设操作具体包括：

控制模拟鼠标在所述目标位置按下控制键；

若再次识别出的所述信号类型为双眼信号，则控制所述模拟鼠标抬起所述控制键，以完成单击操作。

3.根据权利要求2所述的方法，其特征在于，在所述控制模拟鼠标在所述目标位置按下控制键之后，进一步包括：

若再次识别出的所述信号类型为单侧眼信号，则判断再次识别出的所述单侧眼信号的注视位置与所述目标位置的欧氏距离是否大于所述第一距离阈值；

若是，则根据所述注视位置移动光标的位置，并在再次识别出所述信号类型为所述双眼信号时抬起所述控制键，以完成拖动操作。

4.根据权利要求3所述的方法，其特征在于，在所述按照预设的采样频率采集目标对象的眼部信号之后，进一步包括：

对所述注视位置进行滤波处理。

5.根据权利要求1至4任一项所述的方法，其特征在于，进一步包括：

利用所述信号类型和各操作指令的执行过程训练出算法模型。

6.一种基于眼动的人机交互装置，其特征在于，包括：

采集模块，用于按照预设的采样频率采集目标对象的眼部信号；其中，所述眼部信号包括信号类型和注视位置；

设置模块，用于当识别出的所述信号类型为单侧眼信号时，将所述注视位置设置为目标位置并开始计时；

判断模块，用于判断预设时间内所述单侧眼信号的数量是否等于所述预设时间内的采样次数；

执行模块，用于若是，则对所述目标位置执行预设操作；

所述设置模块具体包括：

计算子模块，用于当识别出的所述信号类型为单侧眼信号时，计算所述单侧眼信号的所述注视位置与所述目标位置的欧氏距离；

判断子模块，用于判断所述欧氏距离是否大于第一距离阈值；

设置子模块，用于若是，将所述注视位置设置为所述目标位置并开始计时。

7.一种基于眼动的人机交互设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的基于眼动的人机交互方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于眼动的人机交互方法的步骤。

Images