CN108491792B - 基于眼电信号的办公场景人机交互行为识别方法 - Google Patents

Abstract

本发明公开了一种基于眼电信号的办公场景人机交互行为识别方法，包括以下步骤：首先采集不同行为状态下的眼电信号，并对采集到的眼电信号进行预处理；其次通过端点检测，识别出滤波后的眼电信号中有效行为状态的起始点和终止点；得到有效的眼电信号后，再通过小波变换对信号进行特征提取，并利用线性判别分析方法对提取到的特征参数进行降维；然后利用支持向量机对降维后的特征进行分类，识别出正确的行为；最后将识别出的结果用于控制手机上的应用软件。本发明识别正确率高、鲁棒性好、应用潜力大，能够更好的利用眼球运动信息控制外部设备，丰富眼动控制类别的多样性，具有扩展性强、识别正确率高、前景良好的优点。

Description

基于眼电信号的办公场景人机交互行为识别方法

技术领域

本发明涉及生物电信号应用技术领域，特别是涉及一种基于眼电信号的办公场景人机交互行为识别方法。

背景技术

随着现代科学技术的飞速发展，人机交互技术逐渐成为了当下的研究热点，人机交互是人与计算机之间沟通的桥梁，使人和机器之间的关系变得更加自然、和谐。在日常生活中，人机交互的功能主要是通过如鼠标、键盘、触摸板等可输入输出的外部设备来完成的。然而对于那些有肢体障碍的病人或者残疾人，他们无法通过正常的肢体操作来实现这些主流的交互方式，并借此提高自身的生活品质。如果我们能设计出一种不用依靠肢体操作实现交互的系统，就可以让上述的相关人群通过其它控制方法实现与外界的信息交流和独立行动，将极大地方便他们的生活。而针对以上特殊人群的需求，利用人体自身产生的生物电信号来进行人机交互成为一种可行的解决方法。

眼电信号是生物电信号中的一种，是由人眼的视网膜和角膜之间的电位差发生变化而产生的一种生物电信号，具有波形明显、易于检测、处理容易等明显优势。随着人们眼球的运动，眼电信号也会随之发生改变，眼球运动蕴含着丰富的信息资源，其运动模式能够透露我们当前所处的行为状态。并且调查显示，大部分有肢体障碍的病人或残疾人仍可自由的控制眼球运动,因此被广泛应用于人机交互领域。现阶段，基于眼电的人机交互系统的方式主要还是对眼球上、下、左、右的简单扫视以及眨眼的检测控制外部设备，这样的控制方式种类比较少，功能的多样性受到很大局限，所以我们希望扩展控制类别对外部设备进行控制，以满足人们的日常需求。

因此亟需提出一种新型的人机交互的方法，即识别出当前人的行为状态信息，提供更加优化的服务。

发明内容

本发明所要解决的技术问题是提供一种识别正确率高、鲁棒性好、应用潜力大的基于眼电信号的办公场景人机交互行为识别方法。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于眼电信号的办公场景人机交互行为识别方法，包括以下步骤：

S1：使用NeuroScan放大器和至少四个AgCl生物电极，以单极导联方式进行数据的采集，获取阅读、休息、写字、看视频4种行为状态的眼电数据，对采集到的眼电信号进行预处理；

S2：对预处理后的眼电信号进行端点检测，以确定有效行为状态所对应眼电信号的起始点和终止点；

S3：对步骤S2中得到的有效行为状态的眼电信号通过小波变换方法提取初始特征参数，并利用线性判别分析方法对初始特征参数进行降维得到最终特征参数；

S4：利用支持向量机对最终特征参数进行分类，识别出正确的行为，并将识别出的结果分别转换成四种指令对手机应用进行控制。

在本发明一个较佳实施例中，在步骤S1中，所述预处理的过程为对采集到的眼电信号进行截止频率为0.1—12Hz的32阶fir带通滤波处理和归一化处理。

在本发明一个较佳实施例中，在步骤S2中，进行端点检测的方法为：

通过在预获取的有效行为状态中增加眨眼行为来确定有效段信号的起始点和终止点；

并定义正常性眨眼和非正常性眨眼，其中一次眨眼为正常性眨眼，连续两次眨眼为非正常性眨眼，并认定为有效段信号的起始点，连续三次眨眼为正常性眨眼，并认定为有效段信号的终止点。

进一步的，端点检测方法的具体步骤如下：

S2.1：分别对预处理后的眼电信号所包含的垂直导联眼电信号及水平导联眼电信号进行加窗和分帧处理；

S2.2：计算垂直导联眼电信号每一帧的短时能量F，然后人工设置一个阈值上限C，若某一帧的短时能量F大于设置的阈值上限C，则把这一帧看作可能是眨眼信号的出现位置，并记录下来作为帧数组Z，继续滑动窗口计算下一帧；

S2.3：对步骤S2.2中的垂直导联眼电信号进行求导，得到垂直导联求导信号记为E，利用步骤S2.2中得到的可能为眨眼信号的帧数组Z，对求导信号E中的对应帧设置上门限值f1和下门限值f2；

S2.4：对于每个满足拥有连续上下界幅值的信号记作一次单独眨眼，并计算出每个单独眨眼行为之间的最短时间间隔，以此判断是正常性眨眼还是非正常性眨眼，进而确定出有效段信号的起始点和终止点；

S2.5：利用垂直导联求导信号得到的端点对水平导联眼电信号进行标注，即求得水平导联眼电信号的起始点和终止点。

更进一步的，根据经验值，所述阈值上限C设置为35，上门限值f1设置为34，下门限值f2设置为-12，每个单独眨眼行为之间的最短时间间隔设置为0.64s。

在本发明一个较佳实施例中，在步骤S3中，进行小波变换的小波母函数选取为Haar，分解层数为4层，且从分解得到的小波系数中选取第四层中的低频系数作为初始特征参数。

在本发明一个较佳实施例中，在步骤S3中，对初始特征参数进行降维的具体步骤为：

首先将获得的初始特征参数以1:1或2:1的比例分别划分为训练数据和测试数据；

其次用线性判别分析方法对所述训练数据进行降维训练，得到新的训练数据及一组投影矩阵；

然后将所述测试数据的特征参数与所述投影矩阵相乘，得到新的测试数据，新的训练数据与新的测试数据即为用于分类的最终特征参数。

在本发明一个较佳实施例中，在步骤S4中，利用支持向量机对最终特征参数进行分类的核函数采用RBF函数，惩罚因子(-c)设置为1，gamma参数(-g)设置为0.2，其它参数均为默认参数。

在本发明一个较佳实施例中，在步骤S4中，将阅读、休息、写字、看视频这四种行为的识别结果转换成如下控制命令：

1)休息行为状态转换成播放轻音乐的指令；

2)写字行为状态转换成调小音量的指令；

3)阅读行为状态转换成播放手机音乐app的指令；

4)看视频行为状态转换成关闭音乐的指令。

本发明的有益效果是：

(1)本发明识别正确率高、鲁棒性好、应用潜力大，能够更好的利用眼球运动信息控制外部设备，丰富眼动控制类别的多样性，通过以眼电信号为检测手段，可以实现对人体当前行为信息的识别，然后控制手机中的应用app，提供更加智能化的服务；

(2)本发明中对不同行为状态的眼电信号进行小波变换特征提取后，并没有直接将该特征作为最终的特征参数，而是在此基础上，使用了线性判别分析方法对该参数进行了特征变换，使得特征矢量的维度更小，大大降低了系统运算的复杂度，提高了算法的识别精度和速度，同时由于线性判别分析方法是有监督的降低特征维度的方法，能够充分利用训练样本中已知的样本类别信息，从而得到更好的识别结果；

(3)本发明以提高用户尤其是有肢体障碍的病人或者残疾人在办公场景下的舒适环境为出发点，通过眼电信号判断当前用户的行为，将检测出的行为状态信息用于控制手机app的应用，提供更加智能的服务，促进系统和用户之间的人机交互能力，进而提高用户的体验，具有广泛的应用前景。

附图说明

图1是本发明基于眼电信号的办公场景人机交互行为识别方法一较佳实施例的流程图；

图2是所述AgCl生物电极在人体头部的分布示意图；

图3是所述阅读、休息、写字、看视频4种行为状态的眼电信号波形图；

图4是所述端点检测识别结果图；

图5是所述行为识别分类结果的平均识别率分布图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1，本发明实施例包括：

一种基于眼电信号的办公场景人机交互行为识别方法，包括以下步骤：

S1：使用NeuroScan放大器和六个AgCl生物电极，以单极导联方式进行数据的采集，获取阅读、休息、写字、看视频4种行为状态的眼电数据，对采集到的眼电信号进行预处理；

如图2所示，所述眼电信号采集电极安装位置为：一共使用6个AgCl生物电极，其中2个水平扫视信号采集电极，分别放置在受试者的左眼球水平中心点左方1.5—3.5cm处和右眼球水平中心点右方1.5—3.5cm处；另外2个垂直扫视信号采集电极，分别放置在受试者的左眼球正中心上方1.0—3.0cm处和左眼球正中心下方1.0—3.0cm处；最后2个电极分别叫做接地电极和参考电极，分别安放于受试者左右耳后乳凸处。

请参阅图3，当人眼球运动时，会由于眼睛的运动而引发眼角膜与视网膜之间的电势差，并且这种电势差会随着眼球运动的不同而有所变化，将这种变化的电势与时间结合起来绘制在一张图上，就有了眼电信号的波形图。如图3所示，从左到右依次是阅读、写字、看视频、休息四种行为状态下采集到的眼电信号波形图。

对原始数据进行预处理的过程为：对采集到的眼电信号进行截止频率为0.1—12Hz的32阶fir带通滤波处理和归一化处理。

S2：对预处理后的眼电信号进行端点检测，以确定有效行为状态所对应眼电信号的起始点和终止点；

所述眼电信号包括垂直导联眼电信号、水平导联眼电信号，对预处理后的眼电信号进行端点检测的方法为：

由于眨眼信号的波形瞬时变换较为明显，短时能量较大，容易和非眨眼信号进行区分，所以通过在预获取的有效行为状态中增加眨眼行为来确定有效段信号的起始点和终止点，并采用短时能量方法来检测眨眼信号，同时将眨眼信号定义为正常性眨眼和非正常性眨眼，其中一次眨眼为正常性眨眼，连续两次眨眼为非正常性眨眼，并认定为有效段信号的起始点，连续三次眨眼为正常性眨眼，并认定为有效段信号的终止点。

具体的，所述端点检测方法的具体步骤如下：

S2.1：分别对预处理后的垂直导联眼电信号及水平导联眼电信号进行加窗和分帧处理；

S2.2：计算垂直导联眼电信号每一帧的短时能量F，然后人工设置一个阈值上限C，优选的，C＝35，若某一帧的短时能量F大于设置的阈值上限C，则把这一帧看作可能是眨眼信号的出现位置，并记录下来作为帧数组Z，继续滑动窗口计算下一帧；

上述两步骤为所述短时能量方法的具体步骤。

S2.3：对步骤S2.2中的垂直导联眼电信号进行求导，得到垂直导联求导信号记为E，利用步骤S2.2中得到的可能为眨眼信号的帧数组Z，处理求导信号E中的对应帧,然后利用眨眼信号具有连续上下界信号幅值的特性，设置上下两个门限值f1和f2，根据经验设置幅值上界f1为34，下界f2为-12；

S2.4：对于每个满足拥有连续上下界幅值的信号记作一次单独眨眼，并计算出每个单独眨眼行为之间的最短时间间隔，最短时间间隔设置为0.64s，以此判断是正常性眨眼还是非正常性眨眼，进而确定出有效段信号的起始点和终止点；

S2.5：由于垂直导联求导信号和水平导联信号在时间上是一致的，所以利用垂直导联求导信号得到的端点对水平导联眼电信号进行标注，即求得水平导联眼电信号的起始点和终止点。

结合图4，图中有水平和垂直导联信号的波形图，以及垂直信号求导后的波形图，从图中可以看出对于眨眼和非眨眼信号，通过求导后很容易区分开，然后通过该图进行几次眨眼的判断，求出有效信号段的起始点和终止点的位置，再根据垂直导联求导信号和水平导联信号在时间上是一致的，利用垂直导联求导信号得到的端点对水平导联眼电信号进行标注，即是图(d)中显示的端点检测结果，实线所示为起始点，虚线所示为终止点。

S3：对步骤S2中得到的有效行为状态的眼电信号通过小波变换方法提取初始特征参数，并利用线性判别分析方法对初始特征参数进行降维得到最终特征参数；

优选的，选择水平导联眼电信号进行小波变换，小波母函数选取为Haar，分解层数为4层，且从分解得到的小波系数中选取第四层中的低频系数作为最佳初始特征参数，并将获得的初始特征参数以1:1或2:1的比例分别划分为训练数据和测试数据，一部分用于测试，一部分用于降维训练。

降维训练中，采用线性判别分析方法对初始特征参数进行投影，将高维的特征参数映射到低维的空间中，并得到一个投影矩阵，然后将测试数据的特征参数与这个投影矩阵相乘，就会得到一组新的分布在所述低维空间中的数据，这个数据就是使用线性判别分析方法得到的降维后的数据特征，最后用该特征作为最终的特征参数用于分类识别。

本发明中对不同行为状态的眼电信号进行小波变换特征提取后，并没有直接将该特征作为最终的特征参数，而是在此基础上，使用了线性判别分析方法对该参数进行了特征变换，使得特征矢量的维度更小，大大降低了系统运算的复杂度，提高了算法的识别精度和速度，同时由于线性判别分析方法是有监督的降低特征维度的方法，能够充分利用训练样本中已知的样本类别信息，从而得到更好的识别结果。

S4：利用支持向量机对最终特征参数进行分类，识别出正确的行为，并将识别出的结果分别转换成四种指令对手机应用进行控制。

识别与交互的过程具体分为以下两步：

(1)采用支持向量机对获得的最终特征参数进行分类，其中核函数采用RBF函数，惩罚因子(-c)设置为1，gamma参数(-g)设置为0.2，其他均为默认参数。

结合图1，用线性判别分析方法对所述训练数据进行降维训练，得到新的训练数据及一组投影矩阵；然后将所述测试数据的特征参数与所述投影矩阵相乘，得到新的测试数据，新的训练数据与新的测试数据即为最终特征参数；最终的特征参数送到SVM模型中进行分类识别，并将识别的结果转换成四种指令对手机应用进行控制。

(2)将阅读、休息、写字、看视频这四种行为的识别结果转换成如下控制命令：

1)休息行为状态转换成播放轻音乐的指令；

2)写字行为状态转换成调小音量的指令；

3)阅读行为状态转换成播放手机音乐app的指令；

4)看视频行为状态转换成关闭音乐的指令。

请参阅图5，本实验中共有5名受试者的数据进行行为识别结果分类，图中横坐标是每位受试者的编号，纵坐标是每位受试者所采集全部数据的平均识别率，其中，受试者2号的平均识别率最低为81.33％，而受试者5号的平均识别率最高达到95.71％，5名受试者的平均识别正确率达到89.63％。

本发明识别正确率高、鲁棒性好、应用潜力大，能够更好的利用眼球运动信息控制外部设备，丰富眼动控制类别的多样性，通过以眼电信号为检测手段，可以实现对人体当前行为信息的识别，然后控制手机中的应用app，提供更加智能化的服务；以提高用户尤其是有肢体障碍的病人或者残疾人在办公场景下的舒适环境为出发点，通过眼电信号判断当前用户的行为，将检测出的行为状态信息用于控制手机app的应用，提供更加智能的服务，促进系统和用户之间的人机交互能力，进而提高用户的体验，具有广泛的应用前景。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于眼电信号的办公场景人机交互行为识别方法，包括以下步骤：

S1：使用NeuroScan放大器和至少四个AgCl生物电极，以单极导联方式进行数据的采集，获取阅读、休息、写字、看视频4种行为状态的眼电数据，对采集到的眼电信号进行预处理；

S2：对预处理后的眼电信号进行端点检测，以确定有效行为状态所对应眼电信号的起始点和终止点；进行端点检测的方法为：

通过在预获取的有效行为状态中增加眨眼行为来确定有效段信号的起始点和终止点；并定义正常性眨眼和非正常性眨眼，其中一次眨眼为正常性眨眼，连续两次眨眼为非正常性眨眼，并认定为有效段信号的起始点，连续三次眨眼为正常性眨眼，并认定为有效段信号的终止点；

端点检测方法的具体步骤如下：

S2.1：分别对预处理后的眼电信号所包含的垂直导联眼电信号及水平导联眼电信号进行加窗和分帧处理；

S2.2：计算垂直导联眼电信号每一帧的短时能量F，然后人工设置一个阈值上限C，若某一帧的短时能量F大于设置的阈值上限C，则把这一帧看作可能是眨眼信号的出现位置，并记录下来作为帧数组Z，继续滑动窗口计算下一帧；

S2.3：对步骤S2.2中的垂直导联眼电信号进行求导，得到垂直导联求导信号记为E，利用步骤S2.2中得到的可能为眨眼信号的帧数组Z，对求导信号E中的对应帧设置上门限值f1和下门限值f2；

S2.4：对于每个满足拥有连续上下界幅值的信号记作一次单独眨眼，并计算出每个单独眨眼行为之间的最短时间间隔，以此判断是正常性眨眼还是非正常性眨眼，进而确定出有效段信号的起始点和终止点；

S2.5：利用垂直导联求导信号得到的端点对水平导联眼电信号进行标注，即求得水平导联眼电信号的起始点和终止点；

S3：对步骤S2中得到的有效行为状态的眼电信号通过小波变换方法提取初始特征参数，并利用线性判别分析方法对初始特征参数进行降维得到最终特征参数；

S4：利用支持向量机对最终特征参数进行分类，识别出正确的行为，并将识别出的结果分别转换成四种指令对手机应用进行控制。

2.根据权利要求1所述的基于眼电信号的办公场景人机交互行为识别方法，其特征在于，在步骤S1中，所述预处理的过程为对采集到的眼电信号进行截止频率为0.1-12Hz的32阶fir带通滤波处理和归一化处理。

3.根据权利要求1所述的基于眼电信号的办公场景人机交互行为识别方法，其特征在于，所述阈值上限C设置为35，上门限值f1设置为34，下门限值f2设置为-12，每个单独眨眼行为之间的最短时间间隔设置为0.64s。

4.根据权利要求1所述的基于眼电信号的办公场景人机交互行为识别方法，其特征在于，在步骤S3中，进行小波变换的小波母函数选取为Haar，分解层数为4层，且从分解得到的小波系数中选取第四层中的低频系数作为初始特征参数。

5.根据权利要求1所述的基于眼电信号的办公场景人机交互行为识别方法，其特征在于，在步骤S3中，对初始特征参数进行降维的具体步骤为：

首先将获得的初始特征参数以1∶1或2∶1的比例分别划分为训练数据和测试数据；

其次用线性判别分析方法对所述训练数据进行降维训练，得到新的训练数据及一组投影矩阵；

然后将所述测试数据的特征参数与所述投影矩阵相乘，得到新的测试数据，新的训练数据与新的测试数据即为用于分类的最终特征参数。

6.根据权利要求1所述的基于眼电信号的办公场景人机交互行为识别方法，其特征在于，在步骤S4中，利用支持向量机对最终特征参数进行分类的核函数采用RBF函数，惩罚因子(-c)设置为1，gamma参数(-g)设置为0.2，其它参数均为默认参数。

7.根据权利要求1所述的基于眼电信号的办公场景人机交互行为识别方法，其特征在于，在步骤S4中，将阅读、休息、写字、看视频这四种行为的识别结果转换成如下控制命令：

1)休息行为状态转换成播放轻音乐的指令；

2)写字行为状态转换成调小音量的指令；

3)阅读行为状态转换成播放手机音乐app的指令；

4)看视频行为状态转换成关闭音乐的指令。

Images