CN109508094B

CN109508094B - 一种结合异步眼动开关的视觉诱发脑机接口方法

Info

Publication number: CN109508094B
Application number: CN201811509669.8A
Authority: CN
Inventors: 谢俊; 张玉彬; 杜光景; 徐光华; 李敏; 韩兴亮
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2018-12-11
Filing date: 2018-12-11
Publication date: 2020-03-31
Anticipated expiration: 2038-12-11
Also published as: CN109508094A

Abstract

一种结合异步眼动开关的视觉诱发脑机接口方法，先安放电极和安装眼动仪，然后进行眼动仪校准，再搭建双层结构：上层结构异步眼动开关界面和下层结构视觉诱发脑机接口，使用者注视运动刺激单元中的任意一个；然后对采集到的脑电波进行目标识别，在下层结构中，计算机同步记录刺激开始与结束的时间；再判断是否结束本次任务；进行多次识别任务后，关闭程序，结束任务；本发明通过将快速灵敏的眼球位置定位与视觉诱发脑机接口相结合，利用异步眼动开关来增加使用者的使用舒适度，并在一定程度上降低疲劳和认知负荷。

Description

一种结合异步眼动开关的视觉诱发脑机接口方法

技术领域

本发明涉及生物医学工程中神经工程及脑机接口技术领域，具体涉及一种结合异步眼动开关的视觉诱发脑机接口方法。

背景技术

脑机接口是一种新型的人机交互方式，由于不依赖人体肌肉组织和外周神经通路，而使大脑与外界环境之间直接进行信息交流与有效交互，因而在医疗康复和工业控制中得到了广泛应用。其中，稳态视觉诱发脑机接口是一种通过注视特定频率的视觉刺激来诱发大脑响应的方法，具有抗干扰能力强、信息传输率高以及普通使用者无需训练即可诱发的优点，因而是常用脑机接口中最具实用价值的信号类型。稳态视觉诱发脑机接口通常基于系统约定的起止时间来指示使用者通过注视相应刺激频率以实现目标控制，注视时长及任务起止是由系统决定的，称之为同步方式。相比于同步方式，异步脑机接口更加灵活，使用者可在视觉诱发任务进行的过程中根据自身控制意愿自主决定任务的起止时刻，因而代表了一种更为自然的交互方式。异步脑机接口通常采用“脑机开关”方式实现，如利用多种模态的大脑响应作为异步“脑机开关”，其缺点在于开关信号与任务信号类型相同，易造成异步脑机接口的误触发，降低任务正确率。

发明内容

为了克服上述现有技术的缺点，本发明提出一种结合异步眼动开关的视觉诱发脑机接口方法，利用眼动追踪信号和脑电信号这两种异构信息构建双层结构，其中“上层结构”为利用眼动追踪信号设计的异步眼动开关，“下层结构”为稳态视觉诱发脑机接口，通过将快速灵敏的眼球位置定位与视觉诱发脑机接口相结合，利用异步眼动开关来增加使用者的使用舒适度，并在一定程度上降低疲劳和认知负荷。

为了达到上述目的，本发明采取的技术方案为：

一种结合异步眼动开关的视觉诱发脑机接口方法，包括以下步骤：

步骤1，进行硬件连接：

1.1)在使用者头部视觉枕区PO3、POz、PO4、O1、Oz、O2位置分别安放测量电极，在其单侧耳垂位置安放参考电极R，在其前额Fpz位置安放地电极；

1.2)安装眼动仪：眼动仪居中放置在计算机屏幕的正下方，保证眼动仪的上边缘与计算机屏幕下边缘相齐，保持计算机屏幕与水平面夹角范围为90°～120°，通过USB连接眼动仪和计算机；

步骤2，进入眼动仪校准程序：

通过眼动仪的校准程序，调整使用者与计算机屏幕的距离m，距离m范围为40～90cm，采用五点法完成眼动仪的校准；

步骤3，搭建双层结构：

3.1)上层结构：异步眼动开关界面，在计算机屏幕上显示开关界面：由放置在屏幕左上角的直径为D像素大小的圆以及其中心直径为d像素大小的小圆点组成；屏幕的右下部呈现指示性文字，将当前实时注视位置以左右眼横纵坐标分别取平均值的形式实时同步的显示在计算机屏幕上，实现眼动开关的打开与关闭功能；当被试的注视位置落在直径为D像素的圆内时，则眼动开关打开；

3.2)下层结构：视觉诱发脑机接口，眼动开关打开后，计算机屏幕上显示2个以上棋盘格运动刺激单元T1、T2、…、Tn，运动刺激单元由相同大小的白色和灰色的小方块交替排列组成，按正弦调制方式进行收缩和扩张，形成双向视觉刺激，分别位于计算机屏幕的不同位置，以不同的刺激频率进行振荡，振荡频率均高于6Hz；

3.3)使用者注视2个以上运动刺激单元Tn中的任意一个，使用者注视的运动刺激单元称为目标，而其他运动刺激单元称为非目标；

步骤4，对采集到的脑电波进行目标识别，在下层结构中，计算机同步记录刺激开始与结束的时间，并通过测量电极采集原始脑电信号，使用GT² _circ检验法判别出刺激目标，计算机屏幕将注视的目标反馈给使用者；

步骤5，判断是否结束本次任务，在两次刺激呈现的间隔时间内，计算机屏幕同步显示通过GT² _circ检验判断的刺激目标和上层眼动开关，即放置在屏幕左上角的直径为D像素大小的圆以及其中心直径为d像素大小的小圆点；当被试的注视位置落在直径为D像素的圆内时，则眼动开关关闭，程序返回步骤3；

步骤6，进行f次识别任务后，关闭程序，结束任务。

所述的步骤4中使用GT² _circ检验法判别出刺激目标，具体步骤为：首先，对原始脑电信号作滤波和陷波处理，然后，对处理过的脑电信号作预白化处理，消除低频脑电成份的影响；最后，经快速傅里叶变换得到包含多个谐波分量的傅里叶向量，将傅里叶向量代入GT² _circ检验中，得到相应统计量，通过比较统计量相对于绝对零值的显著程度，计算出不同刺激目标下的显著性概率，根据计算得到的每个刺激频率对应的显著性概率，若其中最小值小于预设的显著度水平，将最小值对应的刺激频率所属的运动刺激单元判定为使用者所注视的目标。

本发明的有益效果为：

本发明将眼动追踪技术与稳态视觉诱发脑机接口技术相结合，提出上层异步眼动开关与下层同步脑机接口相结合的双层脑机接口方式，显示了如下优越性：

(1)相比于传统的脑机交互方式，本发明将眼动追踪技术引入脑机接口应用实施中，采用异步眼动开关的方式增加使用者的自主权并且降低使用者的疲劳度；

(2)降低稳态视觉诱发脑机接口的误触发率，提升脑机接口的实用性，使得大脑-机器交互过程更加友好。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例脑电电极位置图。

图3为本发明实施例实验示意图。

图4为本发明实施例对照组实验示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步的详细说明。

参照图1，一种结合异步眼动开关的视觉诱发脑机接口方法，包含以下步骤：

步骤1，进行硬件连接：

1.1)参照图2，在使用者头部视觉枕区PO3、POz、PO4、O1、Oz、O2位置分别安放测量电极，在其单侧耳垂位置安放参考电极R，在其前额Fpz位置安放地电极；

1.2)安装眼动仪：眼动仪居中放置在计算机屏幕的正下方，保证眼动仪的上边缘与计算机屏幕下边缘相齐，保持计算机屏幕与水平面夹角为110°，通过USB连接眼动仪和计算机；

步骤2，进入眼动仪校准程序：

通过眼动仪的校准程序，调整使用者与计算机屏幕的距离m＝60±2(cm)，采用五点法完成眼动仪的校准，即采用5个等直径为d_r的白色校准点呈现给使用者，d_r变化范围为0-10mm，其中五点的选取分别为计算机屏幕的中心位置点和计算机屏幕的四角，靠近计算机屏幕边缘顶点，其中任意一点到计算机屏幕的上边缘距离为b1＝54mm，距离左/右边缘距离为b2＝77mm，使用者依次观察计算机屏幕I呈现的5个校准点，由眼动仪M收集视觉参数信息并在计算机屏幕I上呈现校准结果，完成校准；

步骤3，参照图3，搭建双层结构：

3.1)上层结构：异步眼动开关界面，在计算机屏幕上显示开关界面：由放置在屏幕左上角的直径为D＝100像素大小的圆以及其中心直径为d＝5像素大小的红色小圆点组成；屏幕的右下部呈现指示性文字，内容为：休息片刻，准备好则看向眼动开关；将当前实时注视位置以左右眼横纵坐标分别取平均值的形式实时同步的显示在计算机屏幕上，实现眼动开关的打开与关闭功能；当被试的注视位置落在直径为100像素的圆内时，则直径大小为5像素的红色小圆点变为绿色，表示眼动开关打开；

3.2)下层结构：视觉诱发脑机接口：眼动开关打开后，计算机屏幕上显示4个棋盘格运动刺激单元T1、T2、T3、T4，运动刺激单元由相同大小的白色和灰色的小方块交替排列组成，按正弦调制方式进行收缩和扩张，形成双向视觉刺激，分别位于计算机屏幕的左右上下四个位置，呈菱形分布，以不同的刺激频率进行振荡，振荡频率均高于6Hz；

3.3)使用者注视运动刺激单元中的任意一个，使用者注视的运动刺激单元称为目标，而其他运动刺激单元称为非目标；

步骤4，对采集到的脑电波进行目标识别，在下层结构中，计算机同步记录刺激开始与结束的时间，并通过测量电极采集原始脑电信号，使用GT² _circ检验法判别出刺激目标，具体包含以下操作：首先，对原始脑电信号作滤波和陷波处理，然后，对处理过的脑电信号作预白化处理，消除低频脑电成份的影响；最后，经快速傅里叶变换得到包含多个谐波分量的傅里叶向量，将傅里叶向量代入GT² _circ检验中，得到相应统计量，通过比较统计量相对于绝对零值的显著程度，计算出不同刺激目标下的显著性概率，根据计算得到的每个刺激频率对应的显著性概率，若其中最小值小于预设的显著度水平，将最小值对应的刺激频率所属的运动刺激单元判定为使用者所注视的目标，计算机屏幕将注视的目标反馈给使用者；

步骤5，判断是否结束本次任务，在两次刺激呈现的间隔时间内，计算机屏幕同步显示通过GT² _circ检验判断的刺激目标和上层眼动开关，即放置在屏幕左上角的直径为100像素大小的圆以及其中心直径为5像素大小的绿色小圆点；当被试的注视位置落在直径为100像素的圆内时，则眼动开关关闭，程序返回步骤3；

步骤6，进行15次识别任务后，关闭程序，结束任务。

本实施例对四名使用者(S1～S4)进行了实验，实验过程中同步记录脑电信号，以便在实验中检查使用者状态，防止使用者产生眨眼、体动等动作，保证脑电信号的数据质量，按照上述步骤1对使用者安放电极，安装眼动仪；按照上述步骤2对使用者进行眼动仪的校准；按照上述步骤3、4、5完成实验，每个使用者对每个刺激单元均进行15轮实验，两轮实验之间的间隔时间为3秒，单轮实验时长为5秒；如果有使用者在两轮实验中间选择关闭异步眼动开关，则返回步骤3，休息片刻后，重新打开异步眼动开关，继续完成实验。参照图4，对照实验将在同频率同实验环境下进行，参考变量为有无使用眼动追踪，对照试验中，为了模拟实验组中异步眼动开关能增加使用者自主权和降低使用者疲劳度的特点，使用者通过注视任意一处非刺激单元位置来一定程度上降低使用者的疲劳度，每个使用者对每个刺激单元和任意一处非刺激单元位置均进行12轮实验，两轮实验之间的间隔时间为3秒，单轮实验时长为5秒。准确率结果如表1所示，对照组的准确率低于实验组，证明增加了异步眼动开关的脑机接口系统能增加使用者的自主权和降低其疲劳度，一定程度上提高了脑机接口的实用化水平，使其更加友好。

表1实验组及对照组准确率结果对比

Claims

1.一种结合异步眼动开关的视觉诱发脑机接口方法，其特征在于，包括以下步骤：

步骤1，进行硬件连接：

步骤2，进入眼动仪校准程序：

步骤3，搭建双层结构：

3.1)上层结构：异步眼动开关界面，在计算机屏幕上显示开关界面：由放置在屏幕左上角的直径为D像素大小的圆以及其中心直径为d像素大小的小圆点组成；屏幕的右下部呈现指示性文字，将当前实时注视位置以左右眼横纵坐标分别取平均值的形式实时同步的显示在计算机屏幕上，实现眼动开关的打开与关闭功能；当使用者的注视位置落在直径为D像素的圆内时，则眼动开关打开；

步骤5，判断是否结束本次任务，在两次刺激呈现的间隔时间内，计算机屏幕同步显示通过GT² _circ检验判断的刺激目标和上层眼动开关，即放置在屏幕左上角的直径为D像素大小的圆以及其中心直径为d像素大小的小圆点；当使用者的注视位置落在直径为D像素的圆内时，则眼动开关关闭，程序返回步骤3；

步骤6，进行f次识别任务后，关闭程序，结束任务。

2.根据权利要求1所述的一种结合异步眼动开关的视觉诱发脑机接口方法，其特征在于：所述的步骤4中使用GT² _circ检验法判别出刺激目标，具体步骤为：首先，对原始脑电信号作滤波和陷波处理，然后，对处理过的脑电信号作预白化处理，消除低频脑电成份的影响；最后，经快速傅里叶变换得到包含多个谐波分量的傅里叶向量，将傅里叶向量代入GT² _circ检验中，得到相应统计量，通过比较统计量相对于绝对零值的显著程度，计算出不同刺激目标下的显著性概率，根据计算得到的每个刺激频率对应的显著性概率，若其中最小值小于预设的显著度水平，将最小值对应的刺激频率所属的运动刺激单元判定为使用者所注视的目标。