CN109189222A - 一种基于检测瞳孔直径变化的人机交互方法及装置 - Google Patents

Abstract

本发明公开了一种基于检测瞳孔直径变化的人机交互方法及装置，包括：采集用户的瞳孔直径及注视位置，若用户在预定时长内瞳孔直径未发生变化，且每个注视位置的移动距离不大于预定距离阈值，则将预定时长内的瞳孔直径设置为基线；若新采集的特征信息中注视位置的移动距离小于预定距离阈值，且新采集的瞳孔直径超过基线的预定扩张阈值，则触发人机交互操作。可以看出，本方案确定瞳孔直径的基线后，对瞳孔直径的扩张情况进行检测，从而来触发预定的人机交互操作，通过这种识别瞳孔直径变化情况的方式，可以准确地了解用户在交互过程中的认知唤醒度，从而选择合适的时机与方式进行界面响应，使得交互过程更为自然，提升用户体验。

Description

一种基于检测瞳孔直径变化的人机交互方法及装置

技术领域

本发明涉及人机交互技术领域，更具体地说，涉及一种基于检测瞳孔直径变化的人机交互方法及装置。

背景技术

目前，在已有的基于眼动技术的人机交互中，基于眨眼信号与基于注视时长阈值信号是两种常见方案：基于眨眼信号的近似实现方案对应的申请公开号为CN107992196A，该专利基于光学摄像头采集到的视频信号，对与肤色相关的电信号设置阈值进行识别，当图像数据等于肤色阈值时判定为眨眼，将检测出的眨眼信号作为控制信号，对应的功能为单击；基于注视时长阈值是通过在交互界面设计交互区，对应不同的功能按键，当视线在功能按键区停留一定时长(如500ms)后，出发功能按键的相应功能实现人机交互。

可以看到，现有技术通常遵循如下流程：识别眼动特征信号：眨眼、注视时长，针对特征信号设计算法进行控制；这种方法难以将用户的实际意图与自然眼动信号区分开来，举例来说：

1)基于眨眼检测的眼动交互，用户的自然眨眼信号与为了实现控制而作出的眨眼信号通常容易互相混淆而造成误识别；

2)基于注视时长阈值的眼动交互，用户一方面无法在一处停留太久，需要不停眼动，另一方面用户在界面某处停留并非一定是为了触发此处的交互控件，也可能是好奇、不理解或被吸引，该情况下如果激发了交互功能会使得用户体验出现下降。

因此，如何根据用户的眼动特征实现准确的人机互动，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种基于检测瞳孔直径变化的人机交互方法及装置，以实现根据用户的眼动特征实现准确的人机互动。

为实现上述目的，本发明实施例提供了如下技术方案：

一种基于检测瞳孔直径变化的人机交互方法，包括：

S11、以预定频率采集用户在睁眼状态下的特征信息；所述特征信息包括瞳孔直径及用户的注视位置；

S12、确定瞳孔直径的基线；其中，若用户在预定时长内瞳孔直径未发生变化，且在所述预定时长内，每个注视位置的移动距离不大于预定距离阈值，则将所述预定时长内的瞳孔直径设置为基线；

S13、判断新采集的特征信息中注视位置的移动距离是否小于预定距离阈值；若是，则执行S14，若否，则重新执行S12；

S14、检测新采集的瞳孔直径是否超过所述基线的预定扩张阈值；

若是，则执行S15：触发预定的人机交互操作。

其中，所述S12包括：

S121、计算第一缓存中的缓存注视位置与特征信息中的注视位置的距离；

S122、判断所述距离是否不大于预定距离阈值；若是，则执行S123；若否，则将第二缓存中缓存瞳孔直径的连续相同的次数清零，将特征信息中的注视位置作为缓存注视位置写入第一缓存，将第二缓存中的缓存瞳孔直径清零，并继续执行S121；

S123、计算第二缓存中的缓存瞳孔直径与特征信息中的瞳孔直径的平均值，将平均值作为缓存瞳孔直径写入所述第二缓存；

S124、判断所述第二缓存中的缓存瞳孔直径连续相同的次数是否超过预定次数阈值；若是，则执行S125；若否，则继续执行S121；

S125、将所述第二缓存中的缓存瞳孔直径设置为基线。

其中，所述S123包括：

判断第二缓存中的缓存瞳孔直径是否为零；

若是，则将特征信息中的瞳孔直径作为缓存瞳孔直径写入第二缓存；

若否，则计算第二缓存中的缓存瞳孔直径与特征信息中的瞳孔直径的平均值，将平均值作为缓存瞳孔直径写入所述第二缓存。

其中，若在所述S124中判定所述第二缓存中的缓存瞳孔直径连续相同的次数不超过预定次数阈值，则所述人机交互方法还包括：根据所述第一缓存中的缓存注视位置更新鼠标位置；和/或，

若在S14中判定新采集的特征信息中的瞳孔直径不超过所述基线的预定扩张阈值，则所述人机交互方法还包括：根据新采集的特征信息中的注视位置更新鼠标位置。

其中，若用户为闭眼状态，则所述人机交互方法还包括：

判断用户在闭眼状态的持续时间是否大于预定时间阈值；

若是，则执行系统关闭操作。

其中，所述S14包括：

计算新采集的瞳孔直径与所述基线的差值，并将所述差值除以所述基线得到瞳孔直径的扩张系数；

判断所述扩张系数是否超过预定扩张阈值。

其中，所述S15中触发预定的人机交互操作，包括：

在新采集的特征信息中的注视位置执行点击命令；和/或，在新采集的特征信息中的注视位置执行增强显示命令。

一种基于检测瞳孔直径变化的人机交互装置，包括：

特征信息采集模块，用于以预定频率采集用户在睁眼状态下的特征信息；所述特征信息包括瞳孔直径及用户的注视位置；

基线确定模块，用于确定瞳孔直径的基线；其中，若用户在预定时长内瞳孔直径未发生变化，且在所述预定时长内，每个注视位置的移动距离不大于预定距离阈值，则将所述预定时长内的瞳孔直径设置为基线；

距离判断模块，用于判断新采集的特征信息中注视位置的移动距离是否小于预定距离阈值；若否，则触发所述基线确定模块重新确定基线；

检测模块，用于新采集的特征信息中注视位置的移动距离小于预定距离阈值时，检测新采集的瞳孔直径是否超过所述基线的预定扩张阈值；

操作触发模块，用于在新采集的瞳孔直径超过所述基线的预定扩张阈值时，触发预定的人机交互操作。

其中，所述基线确定模块包括：

第一计算单元，用于计算第一缓存中的缓存注视位置与特征信息中的注视位置的距离；

第一判断单元，用于判断所述距离是否不大于预定距离阈值；

执行单元，用于在所述距离大于预定距离阈值时，将第二缓存中缓存瞳孔直径的连续相同的次数清零，将特征信息中的注视位置作为缓存注视位置写入第一缓存，将第二缓存中的缓存瞳孔直径清零，并触发所述第一计算单元；

第二计算单元，用于在所述距离不大于预定距离阈值时，计算第二缓存中的缓存瞳孔直径与特征信息中的瞳孔直径的平均值，将平均值作为缓存瞳孔直径写入所述第二缓存；

第二判断单元，用于判断所述第二缓存中的缓存瞳孔直径连续相同的次数是否超过预定次数阈值；若否，则继续触发所述第一计算单元；

设置单元，用于缓存瞳孔直径连续相同的次数超过预定次数阈值时，将所述第二缓存中的缓存瞳孔直径设置为基线。

其中，本方案还包括：

时间判断模块，用于在用户为闭眼状态时，判断用户在闭眼状态的持续时间是否大于预定时间阈值；

操作执行模块，用于在闭眼状态的持续时间大于预定时间阈值时，执行系统关闭操作。

通过以上方案可知，本发明实施例提供的一种基于检测瞳孔直径变化的人机交互方法，包括：以预定频率采集用户在睁眼状态下的瞳孔直径及注视位置；如果用户在预定时长内瞳孔直径未发生变化，且在预定时长内每个注视位置的移动距离不大于预定距离阈值，则将预定时长内的瞳孔直径设置为基线；判断新采集的特征信息中注视位置的移动距离是否小于预定距离阈值；若是，检测新采集的瞳孔直径是否超过基线的预定扩张阈值；若是，则触发预定的人机交互操作。

瞳孔直径的变化反映的是自主神经系统的激活情况，因此在本方案中，在确定瞳孔直径的基线后，对瞳孔直径的扩张情况进行检测，从而来触发预定的人机交互操作，也就是说，本方案通过识别瞳孔直径的变化情况，可以准确地了解用户在交互过程中的认知唤醒度，从而选择合适的时机与方式进行界面响应，使得交互过程更为自然，提升用户体验。并且，本方案可直接利用在传统设备，可以直接在现有平台下直接进行人机交互，无需另外搭建针对系统特性设计的人机交互环境，节约人力与成本。

本发明还公开了一种基于检测瞳孔直径变化的人机交互装置，同样能实现上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种基于检测瞳孔直径变化的人机交互方法流程示意图；

图2为本发明实施例公开的一种基于检测瞳孔直径变化的人机交互系统结构示意图；

图3为本发明实施例公开的各功能模块之间的关系结构示意图；

图4为本发明实施例公开的一具体的交互流程示意图；

图5为本发明实施例公开的一种基于检测瞳孔直径变化的人机交互装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，瞳孔大小是自主神经系统(autonomic nervous system,ANS)激活度的一个有效指标，自主神经系统是控制各种腺体、内脏和血管的神经系统，这种神经控制的活动如心跳、呼吸等都是不受意志支配的，所以也称为植物性神经系统。研究发现正负性情绪刺激(图片、声音)引发的瞳孔反应存在明显差异(Bradleyetal.，2008；Partala&Surakka，2003；Geanguetal.，2011；Laukkaetal.，2013)，能够反映认知唤醒度。当用户受到视觉、听觉、触觉等刺激，需要调动脑部高级认知来对刺激信号进行深度的加工处理时，自主神经系统会激活，提升脑部血流量，保证高级认知功能的进行，这往往也伴随着瞳孔直径的扩张，通常这个放大过程在刺激出现后的2-3s内就会呈现出峰值。

基于此，本方案公开了一种基于检测瞳孔直径变化的人机交互方法及装置，这种基于检测瞳孔直径变化的人机交互方式，是运用眼球跟踪技术识别出的瞳孔直径特征信号，在屏幕上或显示界面上增强效果，或转化为控件的选择命令(如点击)，以实现人机交互的功能。

参见图1，本发明实施例提供的一种基于检测瞳孔直径变化的人机交互方法，包括：

S11、以预定频率采集用户在睁眼状态下的特征信息；所述特征信息包括瞳孔直径及用户的注视位置；

参见图2，为本方案提供的一种基于检测瞳孔直径变化的人机交互系统结构示意图；通常来说，基于检测瞳孔直径变化的人机交互的基础技术是眼球跟踪技术，该技术是通过外部设备，例如：光学摄像头、红外线发射与接收装置等采集包含眼部信息的电信号，运用算法对电信号进行处理，识别出瞳孔位置与形状，从而提取出瞳孔直径的特征信号，通常做人机交互的眼动特征信号还有注视、眼跳、眨眼等，在本实施例中仅仅用到注视位置和瞳孔直径，因此，本方案中的特征信息为瞳孔直径及用户的注视位置。

需要说明的是，在本方案中，主要通过摄像头获取光学图像或红外图像，识别出瞳孔当前状态，有闭眼(Closed,C)与睁眼(Open,O)2种状态，在睁眼O状态下，识别出瞳孔位置与形状，计算出用户注视位置和瞳孔直径，若识别的是双眼的瞳孔直径，则该瞳孔直径为双眼瞳孔直径的均值，若识别的是单眼的瞳孔直径，则将单眼瞳孔直径作为特征信息中的瞳孔直径；在本方案中，若无法识别瞳孔的位置和形状等，则判定用户为闭眼状态。进而在本方案中，若用户为闭眼状态，则所述人机交互方法还包括：判断用户在闭眼状态的持续时间是否大于预定时间阈值；若是，则执行系统关闭操作。

S12、确定瞳孔直径的基线；其中，若用户在预定时长内瞳孔直径未发生变化，且在所述预定时长内，每个注视位置的移动距离不大于预定距离阈值，则将所述预定时长内的瞳孔直径设置为基线；

具体的，本实施例中的基线为瞳孔直径的一个对照基准，也即注视点稳定后的平均瞳孔直径。判断瞳孔直径未发生变化时，可以通过计时器计时，也可以根据采集特征信息的次数来确定时间，在此并不具体限定。

S13、判断新采集的特征信息中注视位置的移动距离是否小于预定距离阈值；若是，则执行S14，若否，则重新执行S12；

具体来说，由于S11是一个持续执行的步骤，也就是说，特征信息一直以预定频率进行采集。因此在S12中确定了基线后，新采集的特征信息只需要满足注视位置的移动距离小于预定距离阈值便可。在本实施例中，移动距离均指本次注视位置与上一次注视位置之间的欧式距离，新采集的特征信息中的移动距离小于预定距离阈值，代表新采集的注视位置与上一注视位置之间移动的距离并不是很多，属于正常范围内的眼球震颤，因此便可执行下一步骤，否则，说明用户关注点转移，则需要重新设定基线，即重新执行S12。

S14、检测新采集的瞳孔直径是否超过所述基线的预定扩张阈值；若是，则执行S15：触发预定的人机交互操作。

其中，所述S14包括：计算新采集的瞳孔直径与所述基线的差值，并将所述差值除以所述基线得到瞳孔直径的扩张系数；判断所述扩张系数是否超过预定扩张阈值。

具体的，每次瞳孔直径稳定后，即基线确定后，交互系统读取的新的瞳孔直径会与基线进行比较，在本实施例中，可以设定预定扩张阈值为10％，也就是说，通过计算扩张系数，若即新的瞳孔直径扩大量达到基线的10％时，可以认为用户的自主神经系统已经激活，对当前注视内容表现出了兴趣，可以进行下一步的交互操作；如果没有超过预定扩张阈值，则重新执行S13；当然，本方案还可设定其他判定算法来检测瞳孔直径是否超过预定扩张阈值，只要能检测出瞳孔已扩张便可；例如：采集预定时长内的所有的瞳孔直径数据，将所有瞳孔直径数据的均值作为触发阈值，如果所有瞳孔直径数据中的最大瞳孔直径的一半超过该触发阈值，则说明新采集的瞳孔直径超过基线的预定扩张阈值，这时便触发预定的人机交互操作。

其中，所述S15中触发预定的人机交互操作，包括：在新采集的特征信息中的注视位置执行点击命令；和/或，在新采集的特征信息中的注视位置执行增强显示命令。

在本实施例中，实现人机交互操作时，可调用Windows系统下的鼠标控件，在坐标位置执行点击命令，或增强显示命令，当然，该交互操作也可以是其他控制命令，在此仅以点击命令和增强显示命令为例进行描述。

综上可见，在本方案基于眼动技术的人机交互中，基于检测瞳孔直径变化是除去基于眨眼检测与基于注视时长的一种新方法，通过将瞳孔直径的变化转化为人机交互中的控制信号，为基于眼动技术的人机交互提供了新方向；

其次，瞳孔直径的变化反映的是自主神经系统的激活情况，通过识别瞳孔直径的变化情况，可以较为准确地了解用户在交互过程中的认知唤醒度，从而选择合适的时机与方式进行界面响应，使得交互过程更为自然，提升用户体验；并且，让用户在传统设备上加装眼动识别模块后，可以直接在现有平台下直接进行人机交互，无需另外搭建针对系统特性设计的人机交互环境，节约人力与成本。

基于上述实施例，在本实施例中，S12具体包括如下步骤：

S121、计算第一缓存中的缓存注视位置与特征信息中的注视位置的距离；

需要说明的是，本方案中的特征信息是以预定频率采集的，通常来说，该预定频率不低于50Hz，在此以50Hz为例进行描述。因此，瞳孔直径及用户的注视位置是每隔0.02采样一次。采集用户的特征信息后，便需要确定用户的基线。在本实施例中，设置参数CT，用来表示每隔0.02s记录的缓存瞳孔直径连续相同的次数，设置第一缓存和第二缓存，分别用来存储注视位置和瞳孔直径，在执行本方案之前，需要将第一缓存和第二缓存中的缓存信息置0。

具体的，第一缓存中缓存注视位置为上一次采集的注视位置，特征信息中的注视位置为当前采集的注视位置，缓存注视距离和特征信息中的注视位置均为将用户的注视点转换为屏幕坐标后的位置，两者的距离具体为欧式距离，计算方式如下：

其中，d(_{当前坐标-缓存坐标})为S121中的距离，(x_当前，y_当前)表示特征信息中的注视位置的x轴坐标和y轴坐标，(x_缓存，y_缓存)表示缓存注视位置的x轴坐标和y轴坐标，且d为以像素为单位量的两点间距离。

S122、判断所述距离是否不大于预定距离阈值；若是，则执行S123；若否，则将第二缓存中缓存瞳孔直径的连续相同的次数清零，将特征信息中的注视位置作为缓存注视位置写入第一缓存，将第二缓存中的缓存瞳孔直径清零，并继续执行S121；

在本实施例中，将预定距离阈值设定为50，也就是说，当d>50时，将当前位置(即特征信息中的注视位置)赋值给缓存位置(即缓存注视位置)，即：缓存位置＝当前位置，否则缓存位置不变，这使得用户在单眼条件下进行选择时，因为眼球震颤而引起的轻微坐标改变被滤过，而长距离的眼动依然可以识别，使选择的精度提高；并且，当d>50时，将第二缓存中的缓存瞳孔直径置0，将CT置0，将第一缓存中的缓存注视位置用特征信息中的注视位置替换，即：用户发生了较为明显的关注点转移，需要重新设定基线。

S123、计算第二缓存中的缓存瞳孔直径与特征信息中的瞳孔直径的平均值，将平均值作为缓存瞳孔直径写入所述第二缓存；

其中，所述S123包括：

判断第二缓存中的缓存瞳孔直径是否为零；

若是，则将特征信息中的瞳孔直径作为缓存瞳孔直径写入第二缓存；

若否，则计算第二缓存中的缓存瞳孔直径与特征信息中的瞳孔直径的平均值，将平均值作为缓存瞳孔直径写入所述第二缓存。

需要说明的是，第二缓存中的缓存瞳孔直径可能由于在初始情况或者关注点转移时清零，因此在本实施例中，计算平均值之前，首先需要确定第二缓存中的缓存瞳孔直径是否为零，如果为零，则将特征信息中的瞳孔直径作为缓存瞳孔直径写入第二缓存，并且可忽略执行S124-S125，直接执行S121；若缓存瞳孔直径不为0，则求取特征信息中的瞳孔直径与缓存瞳孔直径的平均值后，作为新的缓存瞳孔直径存入第二缓存。如果新存储的缓存瞳孔直径与原先存储的缓存瞳孔直径为相同的，则将CT加1。

S124、判断所述第二缓存中的缓存瞳孔直径连续相同的次数是否超过预定次数阈值；若是，则执行S125；若否，则继续执行S121；

S125、将所述第二缓存中的缓存瞳孔直径设置为基线。

具体的，S12中的用户在预定时长内瞳孔直径未发生变化，在本实施例中，可以根据采集用户特征信息的次数确定是否达到预定时长，例如：若预定时长为1s，频率是50Hz，也就是说，如果CT＝50便代表达到了预定时长，同时由于CT记录的是缓存瞳孔直径连续相同的次数，因此CT＝50代表了在预定时长内瞳孔直径未发生变化。因此，当CT>50，则将第二缓存中的缓存瞳孔直径设置为基线，否则，继续执行S121。

同样的，在检测闭眼状态下的时长是否大于预定时间阈值时，同样可设置预定时间阈值为1s，记录用户在闭眼状态下的次数为C，在具体实施时，闭眼信号首次出现时，C计为1，若新信号依然为闭眼，则C加1。若闭眼超过或者达到一定阈值，即C>50或者C＝50，则系统关闭。需要说明的是，本方案中的C记录的是连续闭眼的次数，如果中间睁眼，则将C清零。

基于上述实施例，在本实施例中，若在所述S124中判定所述第二缓存中的缓存瞳孔直径连续相同的次数不超过预定次数阈值，则所述人机交互方法还包括：根据所述第一缓存中的缓存注视位置更新鼠标位置；和/或，

若在S14中判定新采集的特征信息中的瞳孔直径不超过所述基线的预定扩张阈值，则所述人机交互方法还包括：根据新采集的特征信息中的注视位置更新鼠标位置。

具体的，在S124中缓存瞳孔直径连续相同的次数不超过预定次数阈值及S14中新采集的特征信息中的瞳孔直径不超过所述基线的预定扩张阈值时，均需要更新鼠标的位置，在显示界面呈现稳定的注视轨迹。可以理解的是，眼球在转动过程中有微小的颤动，直接呈现轨迹会出现很多毛刺，因此在本方案中，可采用例如中值滤波等滤波算法，对注视位置进行滤波，从而使注视轨迹呈现的更加平滑。

在本实施例中，将瞳孔大小检测的人机交互系统分为四个模块，分别为信号识别模块、定位模块、缓存模块与点击模块：

识别模块所实现的功能为：识别瞳孔的状态，注视点及瞳孔直径，也即在S11中所实现的功能；

定位模块主要实现：将用户的注视点转换为屏幕上的像素坐标，即本方案中的注视位置，然后在用户的注视位置处呈现定位工具，也即在本实施例中更新鼠标位置，从而将鼠标呈现在电脑界面的用户注视位置，当然该定位模块所实现的功能还包括S12、S13和S14，也就是说，整个对用户瞳孔直径的检测判断均是由定位模块执行的；

缓存模块主要用于缓存信息，该缓存模块包括上述实施例中的第一缓存和第二缓存，第一缓存存储了位置信息，该位置信息是采集用户注视点的注视位置(CacheLocation,CL)，格式为(x,y)，对应屏幕上像素点的坐标；第二缓存存储了直径信息，主要包括用户在稳定过程中及稳定后的瞳孔直径(Average Diameter,AD)，及有效计数次数(Count,CT)；

点击模块主要执行人机交互操作，也即S14所实现的功能，负责执行点击命令与增强显示命令。

参见图3，为本实施例提供的各功能模块之间的关系结构示意图，即：(1)一开始，缓存模块将所有缓存信息置0；(2)识别模块识别特征信息，包括：注视点、瞳孔直径，并对缓存模块中缓存的信息进行标记；(3)定位模块实现了将注视点转换为注视位置，并实现S12、S13和S14功能，在瞳孔直径未超过基线时，调用Windows系统下的系统鼠标控件，发送移动命令，将鼠标从上一位置移动到新的注视位置；(4)点击模块用于在瞳孔直径超过基线时，执行点击命令或者增强现实命令。参见图4，为本实施例提供的一具体的交互示意图，在该示意图中也标注了各个模块所实现的功能。

综上可见，在本方案中，在现有的技术框架下，加入本申请所述的人机交互方案，能够识别出用户是真正对某一交互区域感兴趣后，再触发交互动能。具体来说，本方案按照所实现的功能分为识别、缓存、定位与点击四个模块；模块间按照识别模块进行控制，点击、定位模块进行操作，缓存模块进行存储的结构进行组合；本方案还针对眼动特征设计了防止误识别的比较阈值，与防止选择时因眼动轨迹变化的位置缓存功能；以及基于瞳孔直径检测的基线确定方法与自主神经系统激活后瞳孔阈值的判断方法；该交互方式可以直接在现有平台下直接进行人机交互，无需另外搭建针对系统特性设计的人机交互环境，节约人力与成本。

下面对本发明实施例提供的人机交互装置进行介绍，下文描述的人机交互装置与上文描述的人机交互装置可以相互参照。

参见图5，本发明实施例提供的一种基于检测瞳孔直径变化的人机交互装置，包括：

特征信息采集模块100，用于以预定频率采集用户在睁眼状态下的特征信息；所述特征信息包括瞳孔直径及用户的注视位置；

基线确定模块200，用于确定瞳孔直径的基线；其中，若用户在预定时长内瞳孔直径未发生变化，且在所述预定时长内，每个注视位置的移动距离不大于预定距离阈值，则将所述预定时长内的瞳孔直径设置为基线；

距离判断模块300，用于判断新采集的特征信息中注视位置的移动距离是否小于预定距离阈值；若否，则触发所述基线确定模块重新确定基线；

检测模块400，用于新采集的特征信息中注视位置的移动距离小于预定距离阈值时，检测新采集的瞳孔直径是否超过所述基线的预定扩张阈值；

操作触发模块500，用于在新采集的瞳孔直径超过所述基线的预定扩张阈值时，触发预定的人机交互操作。

其中，所述基线确定模块包括：

第一计算单元，用于计算第一缓存中的缓存注视位置与特征信息中的注视位置的距离；

第一判断单元，用于判断所述距离是否不大于预定距离阈值；

执行单元，用于在所述距离大于预定距离阈值时，将第二缓存中缓存瞳孔直径的连续相同的次数清零，将特征信息中的注视位置作为缓存注视位置写入第一缓存，将第二缓存中的缓存瞳孔直径清零，并触发所述第一计算单元；

第二计算单元，用于在所述距离不大于预定距离阈值时，计算第二缓存中的缓存瞳孔直径与特征信息中的瞳孔直径的平均值，将平均值作为缓存瞳孔直径写入所述第二缓存；

第二判断单元，用于判断所述第二缓存中的缓存瞳孔直径连续相同的次数是否超过预定次数阈值；若否，则继续触发所述第一计算单元；

设置单元，用于缓存瞳孔直径连续相同的次数超过预定次数阈值时，将所述第二缓存中的缓存瞳孔直径设置为基线。

其中，本方案还包括：

时间判断模块，用于在用户为闭眼状态时，判断用户在闭眼状态的持续时间是否大于预定时间阈值；

操作执行模块，用于在闭眼状态的持续时间大于预定时间阈值时，执行系统关闭操作。

其中，第二计算单元包括：

第三判断子单元，用于判断第二缓存中的缓存瞳孔直径是否为零；

第一写入子单元，用于在第二缓存中的缓存瞳孔直径为零时，将特征信息中的瞳孔直径作为缓存瞳孔直径写入第二缓存；

第二写入子单元，用于在第二缓存中的缓存瞳孔直径不为零时，计算第二缓存中的缓存瞳孔直径与特征信息中的瞳孔直径的平均值，将平均值作为缓存瞳孔直径写入所述第二缓存。

其中，本方案还包括：

第一鼠标位置更新模块，用于在判定所述第二缓存中的缓存瞳孔直径连续相同的次数不超过预定次数阈值时，根据所述第一缓存中的缓存注视位置更新鼠标位置；和/或，

第二鼠标位置更新模块，用于在判定新采集的特征信息中的瞳孔直径不超过所述基线的预定扩张阈值时，根据新采集的特征信息中的注视位置更新鼠标位置。

其中，检测模块包括：

第三计算单元，用于计算新采集的瞳孔直径与所述基线的差值，并将所述差值除以所述基线得到瞳孔直径的扩张系数；

第三判断单元，用于判断所述扩张系数是否超过预定扩张阈值。

其中，操作触发模块包括：

点击命令执行单元，用于在新采集的特征信息中的注视位置执行点击命令；和/或，

增强显示命令执行单元，用于在新采集的特征信息中的注视位置执行增强显示命令。

需要说明的是，在本实施例所述的人机交互设装置中，特征信息采集模块所实现的功能即为上述方法实施例中识别模块所实现的功能，基线确定模块、距离判断模块、检测模块和两个鼠标位置更新模块所实现的功能即为上述方法实施例中定位模块所实现的功能，操作触发模块所实现的功能即为上述实施例中定位模块所实现的功能，第一缓存和第二缓存所实现的功能即为上述实施例中缓存模块所实现的功能。

本发明实施例还提供一种基于检测瞳孔直径变化的人机交互设备，包括：

存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述人机交互方法实施例的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述人机交互方法实施例的步骤。

其中，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

综上可见，本方案提供的人机交互方式，可在常见的基于眼动的人机交互模块中加入瞳孔大小检测模块，实现能够基于用户认知响应而非注视时长或次数响应的交互方式；在VR、AR与海量信息场景下，通过内置眼动识别模块，在设备显示端进行增强显示或交互。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于检测瞳孔直径变化的人机交互方法，其特征在于，包括：

S11、以预定频率采集用户在睁眼状态下的特征信息；所述特征信息包括瞳孔直径及用户的注视位置；

S12、确定瞳孔直径的基线；其中，若用户在预定时长内瞳孔直径未发生变化，且在所述预定时长内，每个注视位置的移动距离不大于预定距离阈值，则将所述预定时长内的瞳孔直径设置为基线；

S13、判断新采集的特征信息中注视位置的移动距离是否小于预定距离阈值；若是，则执行S14，若否，则重新执行S12；

S14、检测新采集的瞳孔直径是否超过所述基线的预定扩张阈值；

若是，则执行S15：触发预定的人机交互操作。

2.根据权利要求1所述的人机交互方法，其特征在于，所述S12包括：

S121、计算第一缓存中的缓存注视位置与特征信息中的注视位置的距离；

S122、判断所述距离是否不大于预定距离阈值；若是，则执行S123；若否，则将第二缓存中缓存瞳孔直径的连续相同的次数清零，将特征信息中的注视位置作为缓存注视位置写入第一缓存，将第二缓存中的缓存瞳孔直径清零，并继续执行S121；

S123、计算第二缓存中的缓存瞳孔直径与特征信息中的瞳孔直径的平均值，将平均值作为缓存瞳孔直径写入所述第二缓存；

S124、判断所述第二缓存中的缓存瞳孔直径连续相同的次数是否超过预定次数阈值；若是，则执行S125；若否，则继续执行S121；

S125、将所述第二缓存中的缓存瞳孔直径设置为基线。

3.根据权利要求2所述的人机交互方法，其特征在于，所述S123包括：

判断第二缓存中的缓存瞳孔直径是否为零；

若是，则将特征信息中的瞳孔直径作为缓存瞳孔直径写入第二缓存；

若否，则计算第二缓存中的缓存瞳孔直径与特征信息中的瞳孔直径的平均值，将平均值作为缓存瞳孔直径写入所述第二缓存。

4.根据权利要求2所述的人机交互方法，其特征在于，

若在所述S124中判定所述第二缓存中的缓存瞳孔直径连续相同的次数不超过预定次数阈值，则所述人机交互方法还包括：根据所述第一缓存中的缓存注视位置更新鼠标位置；和/或，

若在S14中判定新采集的特征信息中的瞳孔直径不超过所述基线的预定扩张阈值，则所述人机交互方法还包括：根据新采集的特征信息中的注视位置更新鼠标位置。

5.根据权利要求1所述的人机交互方法，其特征在于，若用户为闭眼状态，则所述人机交互方法还包括：

判断用户在闭眼状态的持续时间是否大于预定时间阈值；

若是，则执行系统关闭操作。

6.根据权利要求1所述的人机交互方法，其特征在于，所述S14包括：

计算新采集的瞳孔直径与所述基线的差值，并将所述差值除以所述基线得到瞳孔直径的扩张系数；

判断所述扩张系数是否超过预定扩张阈值。

7.根据权利要求1至6任意一项所述的人机交互方法，其特征在于，所述S15中触发预定的人机交互操作，包括：

在新采集的特征信息中的注视位置执行点击命令；和/或，在新采集的特征信息中的注视位置执行增强显示命令。

8.一种基于检测瞳孔直径变化的人机交互装置，其特征在于，包括：

特征信息采集模块，用于以预定频率采集用户在睁眼状态下的特征信息；所述特征信息包括瞳孔直径及用户的注视位置；

基线确定模块，用于确定瞳孔直径的基线；其中，若用户在预定时长内瞳孔直径未发生变化，且在所述预定时长内，每个注视位置的移动距离不大于预定距离阈值，则将所述预定时长内的瞳孔直径设置为基线；

距离判断模块，用于判断新采集的特征信息中注视位置的移动距离是否小于预定距离阈值；若否，则触发所述基线确定模块重新确定基线；

检测模块，用于新采集的特征信息中注视位置的移动距离小于预定距离阈值时，检测新采集的瞳孔直径是否超过所述基线的预定扩张阈值；

操作触发模块，用于在新采集的瞳孔直径超过所述基线的预定扩张阈值时，触发预定的人机交互操作。

9.根据权利要求8所述的人机交互装置，其特征在于，所述基线确定模块包括：

第一计算单元，用于计算第一缓存中的缓存注视位置与特征信息中的注视位置的距离；

第一判断单元，用于判断所述距离是否不大于预定距离阈值；

执行单元，用于在所述距离大于预定距离阈值时，将第二缓存中缓存瞳孔直径的连续相同的次数清零，将特征信息中的注视位置作为缓存注视位置写入第一缓存，将第二缓存中的缓存瞳孔直径清零，并触发所述第一计算单元；

第二计算单元，用于在所述距离不大于预定距离阈值时，计算第二缓存中的缓存瞳孔直径与特征信息中的瞳孔直径的平均值，将平均值作为缓存瞳孔直径写入所述第二缓存；

第二判断单元，用于判断所述第二缓存中的缓存瞳孔直径连续相同的次数是否超过预定次数阈值；若否，则继续触发所述第一计算单元；

设置单元，用于缓存瞳孔直径连续相同的次数超过预定次数阈值时，将所述第二缓存中的缓存瞳孔直径设置为基线。

10.根据权利要求8所述的人机交互装置，其特征在于，还包括：

时间判断模块，用于在用户为闭眼状态时，判断用户在闭眼状态的持续时间是否大于预定时间阈值；

操作执行模块，用于在闭眼状态的持续时间大于预定时间阈值时，执行系统关闭操作。