CN108803873A - 一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法 - Google Patents

Abstract

一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法，采用环形棋盘格稳态收缩扩展运动刺激诱发稳态运动视觉诱发电位，通过整周期截断刺激绘制方法在高刷新率显示设备中显示多刺激目标，解除了闪烁刺激的耦合，能够实现单纯运动刺激诱发脑电信号，在使用者头部布置电极，刺激运算模块根据设定参数绘制分配运动刺激图案，使用者接受刺激呈现模块的刺激后诱发脑电响应，经脑电采集分析模块处理后，得到辨识结果并反馈；本发明保证用户长时间使用时没有明显疲劳感，增强了脑机接口技术的实用性。

Description

一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法

技术领域

本发明涉及生物医学工程中神经工程及脑机接口技术领域,具体涉及一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法。

背景技术

脑机接口技术是一种不依赖于人体外周神经肌肉通道而可以直接实现与外界环境设备交互的信息交流手段。这一技术在最近十几年得到了飞速发展，逐步应用于医学，军事，娱乐等领域。脑机接口技术中包含多种方法，如运动想象(Motor imagery,MI)、P300事件相关电位、慢皮层电位(SCP)等。其中稳态视觉诱发电位方法(SSVEP)凭借其辨识准确率高，个体差异性小的优点，是最为常用的方法之一。

但是目前稳态视觉诱发电位方法主要采用光闪烁刺激，需要使用者盯视强烈的明暗对比度变化过程，从而非常容易引起使用者的视觉疲劳与不适，造成使用者大脑响应信号的降低，限制了脑机接口的实际应用。中国专利“申请号为201410840161.1，名称为一种基于高频闪烁情感刺激的脑机接口方法”使带情感的图片在40Hz左右的脑电信号高频段进行闪烁，利用高频刺激降低疲劳感，但诱发强度与信噪比较低，准确率受限；中国专利“申请号为201210165248.4，名称为基于运动翻转视觉感知的稳态诱发电位脑-机接口方法”，利用牛顿环运动刺激降低诱发疲劳感，但是由于刺激中心仍有周期性的明暗对比变化，光闪烁刺激的核运动刺激的复合作用使诱发信号更为复杂，降低了辨识效果，限制了其实用化发展。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法，保证用户长时间使用时没有明显疲劳感，增强了脑机接口技术的实用性。

为了达到上述目的，本发明采取的技术方案为：

一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法，包括以下步骤：

1)棋盘格刺激图案绘制：采用径向收缩-扩张环形棋盘作为刺激的基本图案，环形棋盘中每个圆环被分割为个数和大小都相同的黑白格子，刺激单元中央部分的亮度值始终设置为背景亮度，且面积保持不变，只在圆心处设置半径为2像素的黑点；

环形棋盘刺激单元图案的生成公式表示为：

式中：

L——刺激环像素点的灰阶度；

r(x,y)和ang(x,y)——像素点(x,y)的半径和角度；

——收缩扩张过程中的相位值函数；

sign(v)——符号函数，即当v≥0时函数值为1，否则为-1；

W——圆环的径向宽度，反映径向空间频率；

A——运动刺激幅度参数，即图案中每个圆环从最内侧运动到最外侧的径向距离；

R_inner和R_outer——内径和外径；

N_c——刺激环的法向分割数；

L₀——背景亮度，同时也是整个刺激的平均亮度；

C——刺激环最大最小灰阶度之差的一半；

因此环形棋盘刺激单元的明亮区域的亮度L₀+C，暗区域的亮度为L₀-C，刺激单元的平均亮度始终为L₀；

环形棋盘刺激的运动反转过程通过式中的运动幅度A和相位函数来控制，运动幅度A表示了环形棋盘中每个圆环从最内侧扩张到最外侧的径向距离，或者从最外侧收缩到最内侧的径向距离，反映了运动反转的剧烈程度；相位函数反映了收缩—扩张的动态特征，采用正弦调制的方式，运动相位值函数其表达式为：

式中：

f_c——运动刺激频率，即一个收缩-扩张周期时长的倒数；

f_s——刺激显示器刷新频率；

m_t——刺激运动时刻对应的呈现帧数；

的取值范围是[0，π]，通过调制相位由0至π时，环形棋盘收缩，相位由π返回至0时，环形棋盘扩张，形成周期性视觉刺激；在一个收缩-扩张周期中，发生两次运动方向的改变，运动方向改变的频率定义为运动反转频率f，为运动调制频率f_c的2倍；采用运动反转频率f作为视觉刺激或SSMVEP信号的基频；

2)多帧运动刺激图案的整周期截断绘制：

采用高刷新率显示设备作为刺激呈现硬件设备，同时呈现多个具有不同运动频率的刺激目标，因此采用整周期截断方法实现刺激范式的运动呈现过程，整周期截断方法如下：

由于正弦函数的周期性质，相位函数的表达式改写为：

式中：

N——周期细分精度，即将一个周期分割为N份；

T_n——单个周期内划分，相当于f_cf_s m_t的小数部分；

根据不同的刺激频率，计算某一时刻下的f_cf_s m_ty，存在n_x属于n，使得T_nx最接近于f_cf_s m_ty的小数部分，即

如果N足够大，认为此时刺激图案的绘制与存储次数只取决于周期细分精度N，在呈现某一时刻刺激时，计算T_nx即找到对应图案；

3)搭建脑电数据采集处理平台：在使用者头部视觉枕区安放测量电极，在其单侧耳垂位置安放参考电极，在其头部前额处位置安放接地电极；

4)范式呈现与识别：脑机接口刺激稳定呈现于刺激显示器中，用户操作时，只需要注意盯视其中某个刺激目标的运动过程一段时间，即诱发出具有对应频率的强烈SSMVEP脑电信号；

5)输入结果反馈：运动刺激完成后对诱发SSMVEP脑电信号处理得到辨识结果，对应结果编号将立即呈现在屏幕上，实现对使用者的反馈；

6)完成一次刺激识别后，返回步骤4)，重复步骤4)和步骤5)，进行下一次输入。

所述的步骤1)在运动过程中，环形棋盘格整体和每个局部同心圆中的明暗面积比例保持不变，保证了整个收缩-扩张过程中平均亮度的严格恒定，也使整个图案显得更加均匀，进一步消除亮度变化造成的闪烁感，实现运动与亮度变化的完全解耦，最终只保留对视觉系统的运动刺激。

所述的步骤2)能够实现在144Hz或以上的高刷新率刺激显示器中，同时显示多于80个不同频率的刺激目标，刺激为复杂图案，运动刺激时长可达10秒以上。

本发明的有益效果为：

(1)本发明采用高刷新率呈现环形棋盘格收缩扩张运动刺激，具有整体和局部亮度平均的特点，刺激过程中没有运动模糊与闪烁，不易引发用户疲劳，具有良好人机交互性能。

(2)本发明采用诱发信号SSMVEP，谱峰单一，能力集中，信噪比较高，特征简洁明显易于处理，可以作为免训练脑机应用系统的诱发方法。

(3)本发明采用整周期截断方法实现刺激范式的运动呈现过程，减少需要绘制的刺激运动图案数目，降低了计算机系统资源消耗，避免了传统脑机接口刺激范式呈现方法中，必须计算绘制整个刺激时长内所有刺激目标每帧图形变化的缺点，为多目标高刷新率脑机接口系统的应用提供了技术基础。

附图说明

图1为本发明环形棋盘格刺激图案及其参数示意图。

图2本发明整周期截断运动刺激实现示意图。

图3为本发明脑机接口方法所用设备示意图。

图4为本发明实施例四十个不同刺激频率范式刺激下的脑电信号的平均响应图，横坐标为刺激频率，纵坐标为对应频率下的SSMVEP响应强度。

具体实施方式

下面结合附图对本发明作详细描述。

一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法，包括以下步骤：

1)棋盘格刺激图案绘制：为保证刺激过程中平均亮度保持严格恒定，本发明采用径向收缩-扩张环形棋盘作为刺激的基本图案，参照图1，环形棋盘中每个圆环被分割为个数和大小都相同的黑白格子，因此每个圆环中明亮区域和暗区域的面积总是相等的；此外，刺激单元中央部分的亮度值始终设置为背景亮度，并且面积保持不变，只在圆心处设置半径为2像素的黑点；环形棋盘刺激保证了整个收缩-扩张过程中平均亮度的严格恒定，也使整个图案显得更加均匀，进一步消除亮度变化造成的闪烁感，实现运动与亮度变化的完全解耦，最终只保留对视觉系统的运动刺激；

环形棋盘刺激单元图案的生成公式表示为：

式中：

L——刺激环像素点的灰阶度；

r(x,y)和ang(x,y)——像素点(x,y)的半径和角度；

——收缩扩张过程中的相位值函数；

sign(v)——符号函数，即当v≥0时函数值为1，否则为-1；

W——圆环的径向宽度，反映径向空间频率；

A——运动刺激幅度参数，即图案中每个圆环从最内侧运动到最外侧的径向距离；

R_inner和R_outer——内径和外径；

N_c——刺激环的法向分割数；

L₀——背景亮度，同时也是整个刺激的平均亮度；

C——刺激环最大最小灰阶度之差的一半；

因此环形棋盘刺激单元的明亮区域的亮度L₀+C，暗区域的亮度为L₀-C，刺激单元的平均亮度始终为L₀；

环形棋盘刺激的运动反转过程通过式中的运动幅度A和相位函数来控制，运动幅度A表示了环形棋盘中每个圆环从最内侧扩张到最外侧(或者从最外侧收缩到最内侧)的径向距离，反映了运动反转的剧烈程度；相位函数反映了收缩-扩张的动态特征；为使运动反转的过程比较平滑，本发明采用正弦调制的方式，由于刺激显示器的物理限制，所以运动相位值函数并不是无限可分的，而与刺激显示器的刷新频率相关，因此运动相位值函数其表达式为：

式中：

f_c——运动刺激频率，即一个收缩-扩张周期时长的倒数；

f_s——刺激显示器刷新频率；

m_t——刺激运动时刻对应的呈现帧数；

的取值范围是[0，π]，通过调制相位由0至π时，环形棋盘收缩，相位由π返回至0时，环形棋盘扩张，形成周期性视觉刺激；在一个收缩-扩张周期中，发生两次运动方向的改变，运动方向改变的频率定义为运动反转频率f，为运动调制频率f_c的2倍。由于SSMVEP主要来源于方向改变所激发的大脑活动，其能量集中在运动反转频率而非运动调制频率上。因此本发明采用运动反转频率f作为视觉刺激或SSMVEP信号的基频；

2)多帧运动刺激图案的整周期截断绘制：

本发明采用高刷新率显示设备作为刺激呈现硬件设备，同时呈现多个具有不同运动频率的刺激目标，因此采用整周期截断方法实现刺激范式的运动呈现过程，减少需要绘制的刺激运动图案数目，降低了计算机系统资源消耗；参照图2，整周期截断方法如下：

由于正弦函数的周期性质，相位函数的表达式改写为：

式中：

N——周期细分精度，即将一个周期分割为N份；

T_n——单个周期内划分，相当于f_cf_s m_t的小数部分；

根据不同的刺激频率，计算某一时刻下的f_cf_s m_ty，存在n_x属于n，使得T_nx最接近于f_cf_s m_ty的小数部分，即

如果N足够大，可以认为此时采用该方法，刺激图案的绘制与存储次数只取决于周期细分精度N，而与刺激目标的不同频率数，屏幕刷新率，刺激时长等因素无关，避免了传统脑机接口刺激范式呈现方法中，必须计算绘制整个刺激时长内所有刺激目标每帧图形变化的缺点；在呈现某一时刻刺激时，计算T_nx即可找到对应图案，可以大幅度降低计算与存储资源，提高了高刷新率多刺激的运动范式实用性；

3)搭建脑电数据采集处理平台：在使用者头部视觉枕区安放测量电极，操作10/20系统法布置测量电极，位置为O1、Oz、O2、POz、PO3和PO4，在其单侧耳垂位置A1或A2处安放参考电极，在其头部前额处Fpz位置安放地电极，给各测量电极注入导电膏，保证电极与头皮良好接触；

4)范式呈现与识别：采用144Hz高刷新率显示器作为刺激呈现硬件设备，同时呈现40个具有不同运动频率的刺激目标，脑机接口范式通过基于MATLAB的PSYCHTOOLBOX工具箱软件编程绘制呈现，可避免周期性正弦收缩-扩张运动过程出现丢帧或帧延时变高，保证刺激稳定；用户操作时，只需要注意盯视其中某个刺激目标的运动过程一段时间，即可诱发出具有对应频率的强烈SSMVEP脑电信号；参照图3，刺激呈现模块与脑电采集处理模块的输入连接，刺激后诱发的脑电信号经放大、滤波与典型相关分析方法等处理，提取脑电信号数据的特征并计算出识别结果，返回刺激呈现模块的输入，控制显示辨识结果的输出，刺激运算模块计算并按频率分配运动图案，输入至高刷新率显示设备刺激呈现模块，同时可根据系统需要反馈优化；

5)输入结果反馈：当运动刺激完成后，对诱发SSMVEP脑电信号处理得到辨识结果，对应刺激目标的结果编号将立即呈现在屏幕上刺激目标对应处，实现对使用者的反馈；

6)完成一次刺激识别后，返回步骤4)，重复步骤4)和步骤5)，进行下一次输入。

下面再结合实例对本发明进行说明。

采用本发明对7名使用者(S1～S7)进行了实验，按照上述步骤3)对使用者安放电极并搭建脑机接口平台，使用者头部距离计算机屏幕为75厘米；按照上述步骤4)呈现范式，刺激目标的翻转刺激频率范围设置为7Hz至14.8Hz，刺激频率间隔设置为0.2Hz；刺激时间平均为3秒，每名使用者按要求随机盯视40个不重复频率刺激目标；按照上述步骤5)在反馈显示辨识结果；系统测试结果如图4所示，诱发信号谱峰突出，以运动翻转频率的基频为主，高次谐波成分很低。所有被试平均识别正确率为93.8％，平均信息传输率约为98比特/分钟，并且表示与闪光刺激对比，运动范式无闪烁感，测试完成后没有疲劳感。本发明能够显著减少视觉诱发的闪烁感，降低使用疲劳，诱发信号信噪比高，很大程度上改善了脑机接口系统的应用化性能，具备良好的前景。

Claims (3)

1.一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法，其特征在于，包括以下步骤：

1)棋盘格刺激图案绘制：采用径向收缩-扩张环形棋盘作为刺激的基本图案，环形棋盘中每个圆环被分割为个数和大小都相同的黑白格子，刺激单元中央部分的亮度值始终设置为背景亮度，且面积保持不变，只在圆心处设置半径为2像素的黑点；

环形棋盘刺激单元图案的生成公式表示为：

式中：

L——刺激环像素点的灰阶度；

r(x,y)和ang(x,y)——像素点(x,y)的半径和角度；

——收缩扩张过程中的相位值函数；

sign(v)——符号函数，即当v≥0时函数值为1，否则为-1；

W——圆环的径向宽度，反映径向空间频率；

A——运动刺激幅度参数，即图案中每个圆环从最内侧运动到最外侧的径向距离；

R_inner和R_outer——内径和外径；

N_c——刺激环的法向分割数；

L₀——背景亮度，同时也是整个刺激的平均亮度；

C——刺激环最大最小灰阶度之差的一半；

因此环形棋盘刺激单元的明亮区域的亮度L₀+C，暗区域的亮度为L₀-C，刺激单元的平均亮度始终为L₀；

环形棋盘刺激的运动反转过程通过式中的运动幅度A和相位函数来控制，运动幅度A表示了环形棋盘中每个圆环从最内侧扩张到最外侧的径向距离，或者从最外侧收缩到最内侧的径向距离，反映了运动反转的剧烈程度；相位函数反映了收缩—扩张的动态特征，采用正弦调制的方式，运动相位值函数其表达式为：

式中：

f_c——运动刺激频率，即一个收缩-扩张周期时长的倒数；

f_s——刺激显示器刷新频率；

m_t——刺激运动时刻对应的呈现帧数；

的取值范围是[0，π]，通过调制相位由0至π时，环形棋盘收缩，相位由π返回至0时，环形棋盘扩张，形成周期性视觉刺激；在一个收缩-扩张周期中，发生两次运动方向的改变，运动方向改变的频率定义为运动反转频率f，为运动调制频率f_c的2倍；采用运动反转频率f作为视觉刺激或SSMVEP信号的基频；

2)多帧运动刺激图案的整周期截断绘制：

采用高刷新率显示设备作为刺激呈现硬件设备，同时呈现多个具有不同运动频率的刺激目标，采用整周期截断方法实现刺激范式的运动呈现过程，整周期截断方法如下：

由于正弦函数的周期性质，相位函数的表达式改写为：

式中：

N——周期细分精度，即将一个周期分割为N份；

T_n——单个周期内划分，相当于f_cf_s m_t的小数部分；

根据不同的刺激频率，计算某一时刻下的f_cf_s m_ty，存在n_x属于n，使得T_nx最接近于f_cf_sm_ty的小数部分，即

如果N足够大，认为此时刺激图案的绘制与存储次数只取决于周期细分精度N，在呈现某一时刻刺激时，计算T_nx即找到对应图案；

3)搭建脑电数据采集处理平台：在使用者头部视觉枕区安放测量电极，在其单侧耳垂位置安放参考电极，在其头部前额处位置安放接地电极；

4)范式呈现与识别：脑机接口刺激稳定呈现于刺激显示器中，用户操作时，只需要注意盯视其中某个刺激目标的运动过程一段时间，即诱发出具有对应频率的强烈SSMVEP脑电信号；

5)输入结果反馈：运动刺激完成后对诱发SSMVEP脑电信号处理得到辨识结果，对应结果编号将立即呈现在屏幕上，实现对使用者的反馈；

6)完成一次刺激识别后，返回步骤4)，重复步骤4)和步骤5)，进行下一次输入。

2.根据权利要求1所述的一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法，其特征在于：所述的步骤1)在运动过程中，环形棋盘格整体和每个局部同心圆中的明暗面积比例保持不变，保证了整个收缩-扩张过程中平均亮度的严格恒定，也使整个图案显得更加均匀，进一步消除亮度变化造成的闪烁感，实现运动与亮度变化的完全解耦，最终只保留对视觉系统的运动刺激。

3.根据权利要求1所述的一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法，其特征在于：所述的步骤2)能够实现在144Hz或以上的高刷新率刺激显示设备中，同时显示多于80个不同频率的刺激目标，刺激为复杂图案，运动刺激时长可达10秒以上。