CN109828664A

CN109828664A - 基于感觉反馈动态调整的稳态视觉诱发电位脑机接口方法

Info

Publication number: CN109828664A
Application number: CN201910035456.4A
Authority: CN
Inventors: 谢俊; 张玉彬; 杜光景; 徐光华; 李敏; 曹国智
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2019-01-15
Filing date: 2019-01-15
Publication date: 2019-05-31
Anticipated expiration: 2039-01-15
Also published as: CN109828664B

Abstract

基于感觉反馈动态调整的稳态视觉诱发电位脑机接口方法，先安放电极、安装眼动仪，然后进行目标识别，通过计算比例值及其显著性，进行动态调整，通过保证相邻两次目标识别相同才能退出识别任务，最后计算准确率和所需时间等；本发明通过眼动追踪技术，建立实时的视觉反馈通路，通过比例值是否具有显著性来判断是否增加实时的眼动注视位置及适当及时的听觉反馈，以实时的眼动注视位置和比例值为激励导向，对稳态视觉诱发脑机接口的性能做出正向激励和反馈，提高其使用性能和准确率。

Description

基于感觉反馈动态调整的稳态视觉诱发电位脑机接口方法

技术领域

本发明涉及生物医学工程中神经工程及脑机接口技术领域，具体涉及一种基于感觉反馈动态调整的稳态视觉诱发电位脑机接口方法。

背景技术

脑机接口是指通过脑电信号即脑电波来达到控制外部设备的技术，是一种较新的人机交互方式。在脑电研究中，已经有了多种可以作为脑机接口系统控制信号的脑电信号，其中基于稳态视觉诱发电位(Steady-state visual evoked potentials,SSVEP)的脑机接口技术具有较强的抗干扰能力、使用的电极较少、较高的通信速率和无需训练就可以应用于普通使用者的优势。传统的稳态视觉诱发脑机接口只以静态结果作为反馈，而视觉诱发脑机接口需要使用者集中注意力来进行空间选择性注意以增强脑机接口性能，因而利用视觉反馈技术增强视觉注意力水平和通过适当及时的听觉反馈实现脑机接口性能的动态调整成为脑机接口研究中亟待解决的问题。基于此，可以通过结合眼动追踪技术设计一种基于感觉反馈动态调整的稳态视觉诱发电位脑机接口方法。已经有研究证明，基于SSVEP的脑机接口技术与眼动追踪技术的融合，可以在一定程度上提升脑机接口的可靠性并且优化性能，如2013年Nataliya Kos’myna等人设计了一款比较复杂的拼图游戏，他们通过实验结果验证了眼动追踪结合SSVEP的方法能使结果更准确。

综上，现有的脑机接口方法还需要提高使用者的注意力水平，增强脑机接口性能。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于感觉反馈动态调整的稳态视觉诱发电位脑机接口方法，提高使用者的注意力水平，增强脑机接口性能。

为了达到上述目的，本发明采取的技术方案为：

一种基于感觉反馈动态调整的稳态视觉诱发电位脑机接口方法，包括以下步骤：

步骤1)，进行硬件连接：

1.1)安放电极：按照国际10-20系统电极放置标准，在使用者头部视觉枕区安放测量电极，单侧耳垂安放参考电极，前额安放地电极；

1.2)安装眼动仪：将眼动仪的输出端与计算机的输入端连接，眼动仪居中放置在计算机屏幕的正下方，眼动仪的顶部和计算机屏幕的底端对齐，计算机屏幕与水平面夹角范围为90°到120°；

步骤2)，进入眼动仪校准程序：

将眼动仪测得的视觉位置信息呈现在计算机屏幕上，用来调整使用者与计算机屏幕的距离d，距离d范围为40cm到90cm，采用五点法完成眼动仪的校准；

步骤3)，进入在线脑机接口系统：

3.1)显示刺激界面：在计算机屏幕上显示X个圆形棋盘格作为运动刺激单元，圆形棋盘格由黑白相间的小方块交替排列组成；圆形棋盘格图案根据正弦规则进行收缩和扩张运动，形成两个方向上的周期翻转运动，分别位于计算机屏幕的不同位置，且这些圆形棋盘格以不同的刺激频率进行翻转，每个圆形棋盘格的刺激频率均高于6Hz；

3.2)使用者注视的任一运动刺激单元被称为目标，其它运动刺激单元被称为非目标；

3.3)进行目标识别：计算机同步记录刺激呈现的开始与结束的时间，通过测量电极采集原始脑电信号，通过典型相关分析(Canonical correlation analysis，CCA)算法辨识使用者注视的目标，具体包含以下操作：首先，对原始脑电信号作滤波和陷波处理，然后，获得处理过的脑电信号和包含不同翻转频率的正弦参考信号间的相关程度，将相关程度最大的翻转频率对应的运动刺激单元判断为使用者注视的目标，记作f_target；

3.4)得到静态结果：当刺激呈现N秒时，通过步骤3.3)得到识别的目标f_target(0)，并且在使用者注视的刺激目标正下方，形成一个指示条，代表经傅里叶变换后，该刺激目标频率下的幅值与所有刺激目标频率下的幅值之和的比，即计算比例值；

3.5)动态调整：在得到静态结果的基础上，以N秒为滑移窗长，以n秒为滑移步长，每经过n秒交叠滑移时，重新判断识别的目标f_target(m)，m为滑移次数，并且重新计算比例值的大小，将X个圆形棋盘格代表的分类问题的平均机会水平设定为Y，即Y＝1/X，当比例值超过Y时，认为该比例值具有显著度；而当比例值未超过Y时，在刺激界面显示通过眼动仪采集的实时眼动注视位置，并通过提示音指示使用者需要集中注意力；

步骤4)，判断是否结束本次任务：

判断f_target(m)与f_target(m-1)是否相同，其中m＝1，2，...；若两者不相同，本次任务继续进行，若两者相同，本次任务结束；

步骤5，完成本次目标识别后，返回步骤3)，进行下一次目标识别任务。

所述的步骤2)中五点法为：采用五个等直径为dr的白色校准点呈现给使用者，其中五点的选取分别为计算机屏幕的中心位置点和计算机屏幕的四角靠近计算机屏幕边缘顶点处，使用者依次观察计算机屏幕呈现的五个校准点，由眼动仪收集视觉参数信息并在计算机屏幕上呈现校准结果，完成校准。

本发明的有益效果为：

1、本发明将眼动追踪技术引入脑机接口应用实施中，用注视位置和比例值对稳态视觉诱发脑机接口做出正向激励和反馈，从而提高使用者的注意力水平，增强脑机接口性能；

2、本发明涉及的激励方法可以拓展到一些视觉诱发脑机接口上，如视觉诱发事件相关电位脑机接口、瞬态视觉诱发脑机接口等系统上，具有广阔的应用前景。

附图说明

图1是本发明方法的流程图。

图2是本发明实时眼动注视位置和比例值显示形式示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。

参照图1，一种基于感觉反馈动态调整的稳态视觉诱发电位脑机接口方法，包含以下步骤：

步骤1)，进行硬件连接：

1.2)安装眼动仪：将眼动仪的输出端与计算机的输入端连接，眼动仪居中放置在计算机屏幕的正下方，眼动仪的顶部和计算机屏幕的底端对齐，计算机屏幕与水平面夹角范围为110°；

步骤2)，进入眼动仪校准程序：

将眼动仪测得的视觉位置信息呈现在计算机屏幕上，用来调整使用者与计算机屏幕的距离d＝60±2(cm)，采用五点法完成眼动仪的校准；

五点法为：采用五个等直径为dr的白色校准点呈现给使用者，其中五点的选取分别为计算机屏幕的中心位置点和计算机屏幕的四角靠近计算机屏幕边缘顶点处，使用者依次观察计算机屏幕呈现的五个校准点，由眼动仪收集视觉参数信息并在计算机屏幕上呈现校准结果，完成校准；

步骤3，进入在线脑机接口系统：

3.1)参照图2，显示刺激界面：在计算机屏幕上显示4个圆形棋盘格作为运动刺激单元，圆形棋盘格由黑白相间的小方块交替排列组成；圆形棋盘格图案根据正弦规则进行收缩和扩张运动，形成两个方向上的周期翻转运动，分别位于计算机屏幕的不同位置，且这些圆形棋盘格以不同的刺激频率进行翻转，4个圆形棋盘格的刺激频率分别为8.57Hz、10Hz、12Hz、15Hz；

3.2)使用者注视的任一运动刺激单元被称为目标，而其它运动刺激单元被称为非目标；

3.3)进行目标识别：计算机同步记录刺激呈现的开始与结束的时间，通过测量电极采集原始脑电信号，通过典型相关分析(Canonical correlation analysis，CCA)算法辨识使用者注视的目标，具体包含以下操作：首先，对原始脑电信号作滤波和陷波处理，然后，获得处理过的脑电信号和包含不同翻转频率的正弦参考信号间的相关程度，将相关程度最大的翻转频率对应的刺激单元判断为使用者注视的目标，记作f_target；

3.4)得到静态结果：当刺激呈现3秒时，通过步骤3.3)得到识别的目标f_target(0)，并且在使用者注视的刺激目标正下方，形成一个指示条，参照图2，代表经傅里叶变换后，该刺激目标频率下的幅值与所有刺激目标频率下的幅值之和的比，称之为计算比例值；

3.5)动态调整：在得到静态结果的基础上，以3秒为滑移窗长，以0.5秒为滑移步长，每经过0.5秒交叠滑移时，重新判断识别的目标f_target(m)，m为滑移次数，并且重新计算比例值的大小，将4个圆形棋盘格代表的分类问题的平均机会水平设定为25％，当比例值超过25％时，认为该比例值具有显著度；而当比例值未超过25％时，参照图2，在刺激界面显示通过眼动仪采集的实时眼动注视位置，并通过提示音指示使用者需要集中注意力；

步骤4，判断是否结束本次任务：

实施例中对八名使用者(S1-S8)进行了实验，实验设置了对照组和实验组。

实验组是在刺激呈现的过程中，通过眼动追踪技术来获取使用者的实时眼动注视位置，建立视觉反馈通路，通过定量化的实时视觉反馈，来帮助使用者增加注意力水平，同时，增加适当及时的听觉反馈。先按照步骤1)对使用者安放电极，并且安装好眼动仪，然后按照步骤2)对眼动仪进行校准，再按照步骤3)将4个刺激单元按左、右、上、下位置同时呈现于计算机屏幕上，其刺激频率分别为8.57Hz、10Hz、12Hz、15Hz，刺激呈现3秒时，计算比例值并获得识别目标f_target(0)，之后每经过0.5秒，重新计算比例值和获得f_target(m)，其中m＝1，2，...，并且根据比例值是否显著，判断是否增加提示音和实时眼动注视位置作为动态调整的方式以使得使用者增加注意力水平。每名使用者对每个刺激单元均进行20次识别任务，每两次任务的时间间隔为2秒，单次实验时长按照步骤4)进行统计，实验时长为(3+m*0.5)秒。

对照组是没有显示实时眼动注视位置和比例值大小的单纯圆形棋盘格视觉刺激，和实验组相同，按照步骤1)安放电极，按照步骤3)将4个刺激单元按左、右、上、下位置同时呈现于计算机屏幕上，其刺激频率分别为8.57Hz、10Hz、12Hz、15Hz，刺激呈现3秒时，获得识别目标f_target，之后每经过0.5秒，重新获得目标f_target(m)，其中m＝1，2，...。每名使用者对每个刺激单元均进行20次识别任务，每两次任务的时间间隔为2秒。

如表1所示，统计实验组和对照组的识别准确率，以及实验组识别出正确的目标所需的时间及比例值。所述的识别出正确的目标所需的时间指的是相邻两次f_target相同时该次任务结束的时间，即f_target(m)与f_target(m-1)相同时统计的该次识别任务所需的时间；所说的识别结果正确指的是f_target和使用者所注视的刺激目标是相同的情况。从表1中可以看出，在采用本发明方法的实验结果中，增加感觉反馈的稳态视觉诱发电位脑机接口准确率提升明显，并且所得比例值均具有显著性，即比例值高于25％。

表1：识别准确率、识别正确所需的时间及比例值

Claims

1.一种基于感觉反馈动态调整的稳态视觉诱发电位脑机接口方法，其特征在于，包括以下步骤：

步骤1)，进行硬件连接：

步骤2)，进入眼动仪校准程序：

步骤3)，进入在线脑机接口系统：

3.3)进行目标识别：计算机同步记录刺激呈现的开始与结束的时间，通过测量电极采集原始脑电信号，通过典型相关分析(Canonical correlation analysis,CCA)算法辨识使用者注视的目标，具体包含以下操作：首先，对原始脑电信号作滤波和陷波处理，然后，获得处理过的脑电信号和包含不同翻转频率的正弦参考信号间的相关程度，将相关程度最大的翻转频率对应的运动刺激单元判断为使用者注视的目标，记作f_target；

步骤4)，判断是否结束本次任务：

判断f_target(m)与f_target(m-1)是否相同，其中m＝1,2,…；若两者不相同，本次任务继续进行，若两者相同，本次任务结束；

步骤5)，完成本次目标识别后，返回步骤3)，进行下一次目标识别任务。

2.根据权利要求1所述的一种基于感觉反馈动态调整的稳态视觉诱发电位脑机接口方法，其特征在于：所述的步骤2)中五点法为：采用五个等直径为dr的白色校准点呈现给使用者，其中五点的选取分别为计算机屏幕的中心位置点和计算机屏幕的四角靠近计算机屏幕边缘顶点处，使用者依次观察计算机屏幕呈现的五个校准点，由眼动仪收集视觉参数信息并在计算机屏幕上呈现校准结果，完成校准。