CN116671900B - 一种基于脑波仪的眨眼识别与控制方法 - Google Patents

Abstract

本发明公开了一种基于脑波仪的眨眼识别与控制方法，首先获取人体佩戴脑波仪实时状态下眨眼时产生的脑电波数据；设置自适应眨眼阈值，即以脑电波的波峰或者波谷作为指示物数组，随机选择数组中数据作为三类中心，计算每个数据点与此三类中心的距离、重新聚类并求相应均值，对原三类中心进行更新，直至收敛，然后根据三簇相邻边界设置不眨眼簇、弱眨眼簇和强眨眼簇之间的阈值；然后将设置的阈值与采集到的新脑电波数据进行对比；最后利用眨眼相对强弱设定控制命令集，并转化为外设动作；本发明不仅用于眨眼阈值的自适应设置，适用于不同人群，而且避免人为设置阈值带来的误差、以及左右眨眼连带造成的精度下降，能够提高眨眼识别的准确率。

Description

一种基于脑波仪的眨眼识别与控制方法

技术领域

本发明涉及人机交互技术，属于眨眼识别领域，具体涉及一种基于脑波仪的眨眼识别与控制方法。

背景技术

人机交互技术是指用户借助设备实现人对计算机系统或外部环境的控制；目前人机交互可通过遥控、语音、手势等交互方式来控制外部设备，同样的，眨眼动作也可作为人机交互的一种方式，可适用于肌萎缩性侧索硬化症(ALS)、高位截瘫等；

眨眼又称瞬目反射，是由提上睑肌和眼轮匝肌的收缩和放松过程中产生的作用力而形成的一种快速且周期性运动；目前对于眨眼识别的方法有：一、基于计算机视觉，即先通过摄像机采集用户眼部图像、进行模式识别，再通过单片机进行处理分析；但这类方法往往需要大量的图像、视频处理技术，算法复杂度高，较为繁琐，且受环境影响较大；

二、基于生物电信号，即对生物机体各种生物电位活动规律进行的检测和量化，具体的：通过左眼与右眼的眨眼组合生成相应指令，比如申请号为202211458366.4的中国发明专利：一种基于肌电检测的眨眼交流表达系统及控制方法，其通过左眼右眼的有效眨眼次数排列组合与相应指令之间的逻辑关系，将采集到眼部有效眨眼信号进行处理并输出对应逻辑指令；但在实际识别过程中，左眼右眼眨眼动作是连带的，一些人无法单独进行左右眨眼，在形成排列组合时精度将降低、造成肌电检测的眨眼交流表达效果降低；

三、基于脑电波幅值，即眨眼动作会引发脑电波的波动，并且波动大小和眨眼强度相关，为方便通过脑电波幅值来识别眨眼强弱，需要设定相应的阈值，但现有的阈值设定方式不具备自适应性，比如每个人的眨眼所引发脑电波图像都有细微差别，单一的阈值无法适应不同人群、且将产生较大误差。

发明内容

本发明目的在于提供一种基于脑波仪的眨眼识别与控制方法，不仅可解释度较强，操作简单易实现，用于眨眼阈值的自适应设置，适用于各种年龄、性别或不同精神状态的人群，而且避免人为设置阈值带来的误差、以及左右眨眼连带造成的精度下降，能够提高眨眼识别的准确率。

为实现上述目的，本一种基于脑波仪的眨眼识别与控制方法，具体包括以下步骤：

S1，获取人体佩戴脑波仪实时状态下眨眼时产生的脑电波数据；

S2，根据步骤S1中的数据设置自适应眨眼阈值；

具体步骤为：

1)以步骤S1中脑电波的波峰或者波谷作为指示物数组，假设为{x₁，x₂，...，x_m}，先随机选择数组中三个数据作为三类中心u₁、u₂和u₃，假设u₁＜u₂＜u₃；

2)遍历波峰或波谷指示物数组所有数据点，计算每个数据点x_j分别与三类中心u₁、u₂和u₃的距离，计算公式为：

d_ji＝|x_j-u_i|

其中，i＝1、2、3，1≤j≤m；

并根据计算后的最小距离将数据点x_j归至相应类，聚成三类C₁、C₂和C₃；

3)对步骤2中聚成的C₁、C₂和C₃分别进行均值计算，其计算公式为：

其中，i＝1、2、3；|C_i|代表类C_i中元素个数；

将计算后的均值与相应中心对比，三类中心u₁、u₂和u₃相应更新为u₁'、u₂'、u₃'；

4)重复步骤2和3，直至最终更新后的三类中心u₁'、u₂'、u₃'都不变动或者变动小于一定数值，停止聚类，得到最终聚类C₁'、C₂'、C₃'；

当以步骤S1中脑电波的波峰作为指示物数组时，最终聚类C₁'、C₂'、C₃'相对应设定为不眨眼簇、弱眨眼簇、强眨眼簇；

当以步骤S1中脑电波的波谷作为指示物数组时，最终聚类C₁'、C₂'、C₃'相对应设定为强眨眼簇、弱眨眼簇、不眨眼簇；

进而得到三类各自边界：

[min(C _i'),max(C _i')]

5)根据三类各自边界，设置不眨眼簇和弱眨眼簇的之间的阈值r ₁、弱眨眼簇与强眨眼簇之间的阈值r ₂；

S3，将步骤S2中设置的阈值与采集到的新脑电波数据进行对比，识别眨眼相对强弱；

S4，利用眨眼相对强弱设定控制命令集，并转化为外设动作。

在一些实施例中，所述步骤5中，当以步骤S1中脑电波的波峰作为指示物数组时，不眨眼簇和弱眨眼簇之间的阈值r ₁的计算公式为

弱眨眼簇与强眨眼簇之间的阈值r ₂的计算公式为

当以步骤S1中脑电波的波谷作为指示物数组时，不眨眼簇和弱眨眼簇之间的阈值r ₁的计算公式为

弱眨眼簇与强眨眼簇之间的阈值r ₂的计算公式为

在一些实施例中，步骤S3中，当步骤S1中以脑电波的波峰作为指示物数组时，采集到新脑电波数据波峰为x _n，则

x _n＜r ₁，表示不眨眼；

r ₁≤x _n≤r ₂，表示弱眨眼；

r ₂＜x _n，表示强眨眼；

当步骤S1中以脑电波的波谷作为指示物数组，采集到新脑电波数据波谷为x _N，则

x _N＞r ₁，表示不眨眼；

r ₁≥x _N≥r ₂，表示弱眨眼；

r ₂＞x _N，表示强眨眼。

在一些实施例中，步骤S4中，利用眨眼相对强弱设定控制命令，具体包括以下步骤：

强眨眼为1、弱眨眼为0，不眨眼或没检测到则不记录，以“0000-1111”四位二进制指令；

以检测十次眨眼获得一个二进制指令，每1s时间检测一次眨眼，二进制指令通过程序编程转化为PLC控制器能够识别的输入端，PLC控制器控制相应的外设动作。

在一些实施例中，步骤S4中，利用眨眼相对强弱设定控制命令，具体包括以下步骤：

强眨眼为1、弱眨眼为0，不眨眼或没检测到则不记录，以“0000-1111”四位二进制指令；

以检测四次眨眼获得一个二进制指令，对应检测单次眨眼时间较长，为2.5s，二进制指令通过相应的程序编程转化为PLC控制器能够识别的输入端，PLC控制器控制相应的外设动作。

与现有技术相比，本一种基于脑波仪的眨眼识别与控制方法，通过脑波仪获得眨眼产生的脑波信息，并根据脑波数据设置每个佩戴者的自适应眨眼阈值，对眨眼相对强弱进行识别，整体方法一方面可解释度较强，容易实现，计算收敛速度快，并适用于各种年龄、性别或不同精神状态的人群，另一方面能够把不眨眼、弱眨眼和强眨眼区分，形成相应的不眨眼簇、弱眨眼簇和强眨眼簇，进而得到三类各自边界，计算相应眨眼簇之间的阈值，避免人为设置阈值带来的误差、以及左右眨眼连带造成的精度下降，能够提高眨眼识别的准确率；另外，此方法具有通用性，不仅可用于眨眼阈值的自适应设置，也适用于判断人注意力是否集中的注意力阈值设置；

在一些实施例中，通过快速、慢速检测，将眨眼相对强弱进行转化为控制命令集，能够避免通过左右眨眼组合生成指令的方式造成使用者不适用、或者检测精度下降的问题。

附图说明

图1是本发明整体流程图；

图2是本发明人体佩戴脑波仪的示意图；

图3是本发明不同眨眼类型下额头脑电示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1、图2、图3所示，本一种基于脑波仪的眨眼识别与控制方法，具体包括以下步骤：

S1，获取人体佩戴脑波仪实时状态下眨眼时产生的脑电波数据；

具体的，脑波仪为现有产品结构，其可为mindband、mindset、MindWave Mobile等便携式脑波仪，用于测量额头脑电，即人体将脑波仪的头带金属采集电极佩戴在左额头上眉毛上方区域；以NeuroSky便携式脑波仪MindWave Mobile为例，如图2所示，此脑波仪上设有柔性传感器、以及耳夹传感器，柔性传感器为EEG测量电极，放置在左额头眉毛上方Fp1区；

通过脑波仪能够得到眨眼时相应脑波幅值(波峰与波谷)，比如不眨眼时脑波幅值较小，弱眨眼时脑波幅值较大，强眨眼时脑波幅值更大，如图3所示；

S2，根据步骤S1中的数据设置自适应眨眼阈值；

具体步骤为：

1)以步骤S1中脑电波的波峰或者波谷作为指示物数组，假设为{x₁，x₂，...，x_m}，先随机选择数组中三个数据作为三类中心u₁、u₂和u₃，并且假设u₁＜u₂＜u₃；

2)遍历波峰或波谷指示物数组所有数据点，计算每个数据点x_j分别与三类中心u₁、u₂和u₃的距离，计算公式为：

d_ji＝|x_j-u_i|

其中，i＝1、2、3，1≤j≤m；

并根据计算后的最小距离将数据点x_j归至相应类，聚成三类C₁、C₂和C₃；需要说明的，C₁、C₂、C₃分别与u₁、u₂和u₃相互对应，并包括多个数据点；

3)对步骤2中聚成的C₁、C₂和C₃分别进行均值计算，计算公式为：

其中，i＝1、2、3；|C_i|代表类C_i中元素个数；将计算后的均值与相应中心对比，三类中心u₁、u₂和u₃相应更新为u₁'、u₂'、u₃'；

4)重复步骤2和3，直至最终更新后的三类中心u₁'、u₂'、u₃'都不变动或者变动小于一定数值，比如0.0001，停止聚类，最终更新的三类中心u₁'、u₂'、u₃'与最终聚类的C₁'、C₂'、C₃'相对应；

当以步骤S1中脑电波的波峰作为指示物数组时，最终聚类C₁'、C₂'、C₃'相对应设定为不眨眼簇、弱眨眼簇、强眨眼簇；

当以步骤S1中脑电波的波谷作为指示物数组时，最终聚类C₁'、C₂'、C₃'相对应设定为强眨眼簇、弱眨眼簇、不眨眼簇三类；

进而得到三类各自边界：

[min(C _i'),max(C _i')]

5)设置不眨眼簇和弱眨眼簇的之间的阈值r ₁、弱眨眼簇与强眨眼簇之间的阈值r₂；

进一步的，当以步骤S1中脑电波的波峰作为指示物数组时，不眨眼簇和弱眨眼簇之间的阈值r ₁的计算公式为

弱眨眼簇与强眨眼簇之间的阈值r ₂的计算公式为

当以步骤S1中脑电波的波谷作为指示物数组时，不眨眼簇和弱眨眼簇之间的阈值r ₁的计算公式为

弱眨眼簇与强眨眼簇之间的阈值r ₂的计算公式为

S3，将设置的阈值与采集到的新脑电波数据进行对比，识别眨眼相对强弱；

具体的，当步骤S1中以脑电波的波峰作为指示物数组时，采集到新脑电波数据波峰为x _n，则

x _n＜r ₁，表示不眨眼；

r ₁≤x _n≤r ₂，表示弱眨眼；

r ₂＜x _n，表示强眨眼；

当步骤S1中以脑电波的波谷作为指示物数组，采集到新脑电波数据波谷为x _N，则

x _N＞r ₁，表示不眨眼；

r ₁≥x _N≥r ₂，表示弱眨眼；

r ₂＞x _N，表示强眨眼；

S4，利用眨眼相对强弱设定控制命令集，并转化为外设动作；

本基于脑波仪的眨眼识别与控制方法，通过脑波仪获得眨眼产生的脑波信息，并根据脑波数据设置每个佩戴者的自适应眨眼阈值，对眨眼相对强弱进行识别，整体方法一方面可解释度较强，实现很容易，计算收敛速度快，并适用于各种年龄、性别或不同精神状态的人群，另一方面能够把不眨眼、弱眨眼和强眨眼进行区分，形成相应的不眨眼簇、弱眨眼簇和强眨眼簇，进而得到三类各自边界，计算相应眨眼簇之间的阈值，避免人为设置阈值带来的误差、以及左右眨眼连带造成的精度下降，能够提高眨眼识别的准确率；另外，此方法具有通用性，不仅可用于眨眼阈值的自适应设置，也适用于判断人注意力是否集中的注意力阈值设置。

实施例

本基于脑波仪的眨眼识别与控制方法所使用的装置，包括：

脑肌电信号采集模块，具有脑波仪，用于获取人体佩戴脑波仪实时状态下眨眼时产生的脑电波数据；

眨眼识别模块，分别与脑肌电信号采集模块、眨眼控制模块连接，具有计算机等分析设备，用于设置自适应眨眼阈值；

眨眼控制模块，与反馈界面、外设连接，具有PLC等控制程序，用于将眨眼相对强弱或者数目设定控制命令集，并转化为外设动作；

反馈界面用于对眨眼信号的显示，比如显示器、眨眼的虚拟界面，通过反馈界面，可更好地调整眨眼的快慢和强度以获得预期指令；外设可为机械手、行走机构等适用于使用对象的设备。

眨眼动作可认为是“自主性运动”，经统计，一个人每分钟要眨眼10余次，每次眨眼时长大约为0.3-0.4秒钟，每两次眨眼之间相隔约2.8-4.0秒。

首先在预备阶段，比如5分钟内，佩戴者自由眨眼，可以随意强眨眼、弱眨眼、以及不眨眼，并保证三种眨眼类型都要进行，避免数据采样缺失；眨眼动作引发脑电波的波动，通过脑波仪进行捕获，然后按每秒检测其中的脑电最大值(波峰指示物)或最小值(波谷指示物)并构成数组，由于不眨眼、弱眨眼和强眨眼幅值处于不同区间，可将其聚类进而得到判断眨眼强弱的阈值。需要说明的是，预备时间越长，获取脑电波数据相对较多，最终识别眨眼相对强弱的精度越高；

再次根据预备阶段内的脑电波数据，设置自适应眨眼阈值，按照上述方法最终得到在以脑电波的波峰或波谷作为指示物数组情况下，不眨眼簇和弱眨眼簇之间的阈值r ₁、弱眨眼簇与强眨眼簇之间的阈值r ₂；

另外在进行自适应眨眼阈值设置时，也可以采用聚类后相邻中心的中间值来设定，比如

但因各类数据分布存在不同，采用相邻类中心的中间值设置阈值的方式可能会让阈值特别靠近某一类，从而使两类的区分程度较弱；而本方法通过聚类后相邻边界的中间值来设置阈值，即利用三类各自边界[min(C _i'),max(C _i')]设置自适应眨眼阈值，能够让各类的区分较强，眨眼识别的精度更高；

以脑电波的波峰作为指示物数组为例，当佩戴者眨眼所产生的脑电波峰小于r ₁时，则表示不眨眼，当脑电波波峰位于r ₁和r ₂之间时，则表示弱眨眼，当脑电波波峰大于r₂时，则表示强眨眼；

然后眨眼控制模块对眨眼相对强弱设定为控制命令集，控制相应外设进行动作；

作为设定控制命令集的一种实施例，其可采取精细策略，即利用眨眼相对强弱设定控制命令，强眨眼为1、弱眨眼为0，不眨眼或没检测到则不记录，以“0000-1111”四位二进制指令为例；

一种方式为快速检测；以检测十次眨眼获得一个二进制指令，检测十次是为了次数冗余方便得到所需的指令；每较短时间比如1s检测一次眨眼，由于缓慢强眨眼的弛豫可能会影响下一次的眨眼检测，即下一次可能会检测到不需要的强眨眼类型，建议强眨眼时要迅速；二进制指令通过相应的程序编程转化为PLC控制器能够识别的输入端，PLC控制器控制相应的外设动作；

另一种方式为慢速检测；以检测四次眨眼获得一个二进制指令，对应检测单次眨眼时间较长，为2.5s，在每一次检测的较长时间周期里眼睛可自由活动、且只需做出预期类型的眨眼；

本实施例通过快速、慢速检测，将眨眼相对强弱进行转化为控制命令集，能够避免通过左右眨眼组合生成指令的方式造成使用者不适用、或者检测精度下降的问题；

作为设定控制命令集的另一种实施例，其可采取粗糙策略，即利用眨眼数目设定控制命令，若检测到强眨眼则次数增加1，弱眨眼则不增加，不眨眼或没检测到则不记录；

以检测十次眨眼获得一个指令，每1s检测一次眨眼，根据每十次检测中检测到的眨眼次数来输出指令，比如检测到眨眼次数为2次和8次，可对应不同的指令；

本实施例操作简单，精确率较好，同样能够避免通过左右眨眼组合生成指令的方式造成使用者不适用、或者检测精度下降的问题。

以上所述仅是本发明的示范性实施方式，而非用于限制本发明的保护范围，本发明的保护范围由所附的权利要求确定；

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，虽然已经参考各种实施例示出和描述了本发明，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干形式和细节上的各种变形和改进，而不背离由随附的权利要求所限定的本发明的范围，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种基于脑波仪的眨眼识别与控制方法，其特征在于，具体包括以下步骤：

S1，获取人体佩戴脑波仪实时状态下眨眼时产生的脑电波数据；

S2，根据步骤S1中的数据设置自适应眨眼阈值；

具体步骤为：

1)以步骤S1中脑电波的波峰或者波谷作为指示物数组，假设为{x₁，x₂，...，x_m}，先随机选择数组中三个数据作为三类中心u₁、u₂和u₃，假设u₁＜u₂＜u₃；

2)遍历波峰或波谷指示物数组所有数据点，计算每个数据点x_j分别与三类中心u₁、u₂和u₃的距离，计算公式为：

d_ji＝|x_j-u_i|

其中，i＝1、2、3，1≤j≤m；

并根据计算后的最小距离将数据点x_j归至相应类，聚成三类C₁、C₂和C₃；

3)对步骤2中聚成的C₁、C₂和C₃分别进行均值计算，其计算公式为：

其中，i＝1、2、3；|C_i|代表类C_i中元素个数；

将计算后的均值与相应中心对比，然后将三类中心u₁、u₂和u₃相应更新为u₁'、u₂'、u₃'；

4)重复步骤2和3，直至最终更新后的三类中心u₁'、u₂'、u₃'都不变动或者变动小于一定数值，停止聚类，得到最终聚类C₁'、C₂'、C₃'；

当以步骤S1中脑电波的波峰作为指示物数组时，最终聚类C₁'、C₂'、C₃'相对应设定为不眨眼簇、弱眨眼簇、强眨眼簇；

当以步骤S1中脑电波的波谷作为指示物数组时，最终聚类C₁'、C₂'、C₃'相对应设定为强眨眼簇、弱眨眼簇、不眨眼簇；

进而得到三类各自边界：

[min(C _i'),max(C _i')]

5)根据三类各自边界，设置不眨眼簇和弱眨眼簇的之间的阈值r ₁、弱眨眼簇与强眨眼簇之间的阈值r ₂；

S3，将步骤S2中设置的阈值与采集到的新脑电波数据进行对比，识别眨眼相对强弱；

S4，利用眨眼相对强弱设定控制命令集，并转化为外设动作；

所述步骤5中，当以步骤S1中脑电波的波峰作为指示物数组时，不眨眼簇和弱眨眼簇之间的阈值r ₁的计算公式为

弱眨眼簇与强眨眼簇之间的阈值r ₂的计算公式为

当以步骤S1中脑电波的波谷作为指示物数组时，不眨眼簇和弱眨眼簇之间的阈值r ₁的计算公式为

弱眨眼簇与强眨眼簇之间的阈值r ₂的计算公式为

2.根据权利要求1所述的一种基于脑波仪的眨眼识别与控制方法，其特征在于，步骤S3中，当步骤S1中以脑电波的波峰作为指示物数组时，采集到新脑电波数据波峰为x _n，则

x _n＜r ₁，表示不眨眼；

r ₁≤x _n≤r ₂，表示弱眨眼；

r ₂＜x _n，表示强眨眼；

当步骤S1中以脑电波的波谷作为指示物数组，采集到新脑电波数据波谷为x _N，则

x _N＞r ₁，表示不眨眼；

r ₁≥x _N≥r ₂，表示弱眨眼；

r ₂＞x _N，表示强眨眼。

3.根据权利要求1或2所述的一种基于脑波仪的眨眼识别与控制方法，其特征在于，步骤S4中，利用眨眼相对强弱设定控制命令，具体包括以下步骤：

强眨眼为1、弱眨眼为0，不眨眼或没检测到则不记录，以“0000-1111”四位二进制指令；

以检测十次眨眼获得一个二进制指令，每1s时间检测一次眨眼，二进制指令通过程序编程转化为PLC控制器能够识别的输入端，PLC控制器控制相应的外设动作。

4.根据权利要求1或2所述的一种基于脑波仪的眨眼识别与控制方法，其特征在于，步骤S4中，利用眨眼相对强弱设定控制命令，具体包括以下步骤：

强眨眼为1、弱眨眼为0，不眨眼或没检测到则不记录，以“0000-1111”四位二进制指令；

以检测四次眨眼获得一个二进制指令，对应检测单次眨眼时间较长，为2.5s，二进制指令通过相应的程序编程转化为PLC控制器能够识别的输入端，PLC控制器控制相应的外设动作。