CN107957780B - 一种基于稳态视觉诱发电位生理特性的脑机接口系统 - Google Patents

Abstract

本发明公开了一种基于稳态视觉诱发电位生理特性的脑机接口系统，属于认知神经科学、信息处理、自动化控制相交叉的技术领域。该脑机接口系统包括：延时反应模块、CCA模块、典型相关系数选择模块、输出模块，将SSVEP的延迟反应模型化，选取能够反映频谱能量变化的特征频率点作为SSVEP刺激的频率参考信号，线性组合频率参考信号的各成分得到频谱能量分布模型，在频率参考信号各成分占比的约束下优化CCA的分析结果，能够提高SSVEP信号质量并有效提取特征，改善CCA的分析能力，最终提高BCI系统的分类正确率。

Description

一种基于稳态视觉诱发电位生理特性的脑机接口系统

技术领域

本发明公开了一种基于稳态视觉诱发电位生理特性的脑机接口系统，具体涉及一种基于改进型相关分析的脑机接口系统，属于神经认知科学、信息处理、自动化控制相交叉的技术领域。

背景技术

脑机接口(Brain-Computer Interface,BCI)是人类大脑与外部环境之间建立的一种控制方式。BCI系统可以实现通过大脑意识操控外部机电设备的功能。对脑信号进行有效的特征提取和分类是提高BCI系统性能指标的关键技术。考虑到设备的便携性和经济性，目前的BCI系统主要采用脑电图(Electroencephalography,EEG)信号。

非侵入式BCI系统可由多种范式构成，其中，稳态视觉诱发电位(Steady-StateVisual Evoked Potentials,SSVEP)是最常用的一种BCI系统范式。SSVEP信号是指大脑视觉皮层被某种固定频率闪烁的视觉刺激时所激发的EEG信号。SSVEP诱发范式由多个不同频率闪烁的视觉刺激(以下简称为SSVEP刺激)构成。当BCI用户注视某一个固定频率f闪烁的视觉刺激时，在其视觉区采集的SSVEP信号频谱分布中，基频f及倍频(k*f，k＝1,2...N，表示倍频数)处会出现较大能量分布，利用这种对应关系，可以根据SSVEP信号中呈现的频率分布特征来反推出SSVEP刺激的种类。在SSVEP型BCI系统中，事先构建不同SSVEP刺激与特定的意图之间的对应关系，由此，BCI用户就可以通过选择注视特定的SSVEP刺激来实现某种特定意图的输出，从而实现BCI的功能。

目前，对于在SSVEP型BCI系统，普遍采用典型相关分析(Canonical CorrelationAnalysis,CCA，参见Bin G.Y.et al.,.An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.Journal ofNeural Engineering,2009,6(4):1771-1779)来分析各个SSVEP刺激与SSVEP信号之间的相关性，选取与SSVEP信号相关性最高的一个SSVEP刺激的作为BCI的输出结果。CCA的基本原理如下：为了衡量两组变量X和Y之间的相关性，在两组变量中分别提取具有代表性的多个变量的线性组合，分别构成两个新变量X₁和Y₁来表征原来的两组变量，利用新变量X₁和Y₁之间的相关关系来反映原来两组变量之间的整体相关性。

CCA的应用极大地提高了SSVEP型BCI的分类效果，但由于现有的SSVEP型BCI系统中没有充分考虑SSVEP信号所具有的生理特性，在分析过程中没有利用生理特性作为约束条件对分析过程进行优化，影响了BCI系统的分类效果。

发明内容

本发明的发明目的是针对上述背景技术的不足，提供了一种基于稳态视觉诱发电位生理特性的脑机接口系统，通过模型化稳态视觉诱发电位延迟反应和稳态视觉诱发电位频谱能量分布，提高了稳态视觉诱发电位信号的质量，实现了特征的有效提取并改善了CCA的分析能力，解决了没有充分考虑稳态视觉诱发电位信号生理特性的脑机接口系统的分类正确率有待提高的这一技术问题。

本发明为实现上述发明目的采用如下技术方案：

一种基于稳态视觉诱发电位生理特性的脑机接口系统，包括：

延时反应模块，对采集的稳态视觉诱发电位信号进行延时处理，输出稳态视觉诱发电位的延时信号至CCA模块，

CCA模块，对稳态视觉诱发电位刺激的频率参考信号以及稳态视觉诱发电位的延时信号进行相关性分析，输出典型相关系数至典型相关系数选择模块，

典型相关系数选择模块，根据稳态视觉诱发电位信号频谱分布特性模型筛选出稳态视觉诱发电位刺激的基频参考信号占比最大时对应的典型相关系数，输出典型相关系数的筛选结果至输出模块，及，

输出模块，输出典型相关系数筛选结果所对应的稳态视觉诱发电位刺激信号。

作为基于稳态视觉诱发电位生理特性的脑机接口系统的进一步优化方案，延时反应模块对采集的稳态视觉诱发电位信号进行延时处理的具体方法为：采用在时间轴上有固定延时的矩阵函数作为延时开关函数，稳态视觉诱发电位信号与延时开关函数相乘得到稳态视觉诱发电位的延时信号。

作为基于稳态视觉诱发电位生理特性的脑机接口系统的进一步优化方案，稳态视觉诱发电位刺激的频率参考信号包含稳态视觉诱发电位刺激对应的基频参考信号、稳态视觉诱发电位刺激对应的一倍频参考信号。

作为基于稳态视觉诱发电位生理特性的脑机接口系统的进一步优化方案，稳态视觉诱发电位信号频谱分布特性模型为：X＝V*F，F为稳态视觉诱发电位刺激的频率参考信号，F＝[sin(2π*f),cos(2π*f),sin(2π*2f),cos(2π*2f)]^T，sin(2π*f)、cos(2π*f)分别为稳态视觉诱发电位刺激对应的基频的sin函数、cos函数，sin(2π*2f)、cos(2π*2f)分别为稳态视觉诱发电位刺激对应的一倍频的sin函数、cos函数，V为系数矩阵，V＝[ν₁,ν₂,ν₃,ν₄]，ν₁、ν₂、ν₃、ν₄分别为sin(2π*f)、cos(2π*f)、sin(2π*2f)、cos(2π*2f)的系数，X为表示稳态视觉诱发电位刺激频率参考信号各成分线性组合的时域信号。

作为基于稳态视觉诱发电位生理特性的脑机接口系统的更进一步优化方案，典型相关系数选择模块根据稳态视觉诱发电位信号频谱分布特性模型筛选出稳态视觉诱发电位刺激的基频参考信号占比最大时对应的典型相关系数的具体方法为：对典型相关系数按照从大到小的顺序进行筛选，在当前典型相关系数对应的稳态视觉诱发电位刺激基频参考信号的系数的绝对值均大于稳态视觉诱发电位刺激其它频率参考信号的系数的绝对值时，当前典型相关系数即为筛选结果。

作为基于稳态视觉诱发电位生理特性的脑机接口系统的进一步优化方案，稳态视觉诱发电位信号通过采集使用者观察稳态视觉诱发电位刺激信号时所激发的EEG信号获取。

作为基于稳态视觉诱发电位生理特性的脑机接口系统的进一步优化方案，稳态视觉诱发电位刺激信号由具有不同闪烁频率和相位的视觉刺激所激发。

本发明采用上述技术方案，具有以下有益效果：有效解决了SSVEP型BCI系统未考虑SSVEP生理特性导致的分类正确率有待提高的问题，将SSVEP的延迟反应模型化，选取能够反映频谱能量变化的特征频率点作为SSVEP刺激的频率参考信号，线性组合频率参考信号的各成分得到频谱能量分布模型，在频率参考信号各成分占比的约束下优化CCA的分析结果，能够提高SSVEP信号质量并有效提取特征，改善CCA的分析能力，最终提高BCI系统的分类正确率。

附图说明

图1为本发明BCI系统的信号处理流程图。

图2(a)、图2(b)为SSVEP刺激配置的示意图。

图3为BCI系统单次试次的时间序列图。

图4为SSVEP信号延时反应模型的示意图。

图5(a)为SSVEP刺激对应的SSVEP信号的原始波形图，图5(b)为图5(a)所示SSVEP信号对应的频谱分布图。

图6为基于频谱能量分布模型进行SSVEP分类的示意图。

图7为传统CCA和改进型CCA平均分类正确率的对比图。

具体实施方式

下面结合附图对发明的技术方案进行详细说明。

本发明针对现有的SSVEP型BCI系统没有充分考虑SSVEP信号生理特性的这一缺陷，提出了一种在稳态视觉诱发电位频谱分布特性约束下分析SSVEP信号和频率参考信号相关性的脑机接口系统。

本申请涉及的基于稳态视觉诱发电位生理特性的脑机接口系统如图1所示，包括：延时反应模块、CCA模块、典型相关系数选择模块、输出模块。延时反应模块用于对采集的稳态视觉诱发电位信号进行延时处理，CCA模块用于对稳态视觉诱发电位刺激的频率参考信号以及稳态视觉诱发电位的延时信号进行相关性分析，典型相关系数选择模块用于根据稳态视觉诱发电位信号频谱分布特性模型筛选出稳态视觉诱发电位刺激的基频参考信号占比最大时对应的典型相关系数，输出模块输出典型相关系数筛选结果所对应的稳态视觉诱发电位刺激信号完成BCI的分类功能。

将SSVEP刺激提示给BCI用户观看，BCI用户在SSVEP刺激下产生诱发脑电，即SSVEP信号。三通道SSVEP信号通过延时开关生成不同延时的SSVEP延时信号。将上述不同延时的SSVEP延时信号经过轮选开关逐一选出作为CCA模块的一个输入。另一方面，将根据SSVEP刺激生成的频率参考信号作为CCA模块的另一个输入。根据SSVEP信号频谱分布的生理特征，典型相关系数选择模块从CCA模块输出的一系列典型相关系数中择优输出。根据典型相关系数选择模块选择的最优典型相关系数所对应的SSVEP刺激信号确定SSVEP型BCI系统的输出。

图2(a)、图2(b)显示了SSVEP刺激的配置示意图。本发明采用三行三列共9种SSVEP刺激的提示方式(如图2(a)所示)。显示器上按从左向右、从上向下的顺序显示的刺激的频率和相位为：9.2/6.59，7.4/4.71，10.4/7.85，8.0/5.34，9.8/7.22，11.6/9.11，11.0/8.48，12.2/9.73，8.6/5.97(Hz/度)(如图2(b)所示)。空间上彼此相邻的SSVEP刺激的频率差别最大化。按照上述频率和相位构成的sin波函数，SSVEP刺激的RGB值随sin波函数的振幅而改变。

本发明遵照10-20国际电极配置法安放EEG电极，选用视觉区O3，Oz和O4三个通道采集SSVEP信号，采样频率为1000Hz，带通滤波范围是6～35Hz。

图3是BCI系统单次试次的时间序列图。在本系统中，9种SSVEP刺激每种分别显示20个试次，9种SSVEP刺激的显示顺序由随机序列产生，共采集180个试次的SSVEP信号。每个试次时长为9秒，其中，0～2秒为休息时间，2～4秒为预备时间，在某个SSVEP刺激下方用红色光标提示下一个试次所需要注视的SSVEP刺激的位置所在(如图2(a)所示)，4～9秒为刺激时间，BCI用户注视指定的SSVEP刺激，BCI系统记录对应的SSVEP信号。

图4是SSVEP信号的延迟反应的模型化示意图。以SSVEP刺激呈现时刻为0时刻，至0时刻开始到产生稳定的SSVEP之间存在一个时间延迟现象，不同的BCI用户其延时反应特性不同。本发明使用公式1中所示矩形函数rect(t)在时间轴上的延时τ作为SSVEP信号的门函数，用以表征延时τ情况下的SSVEP的延时反应。其中，u(t)为单位阶跃函数，T为门函数的时间长度，在本发明中设为4秒。本发明中延时0≤τ≤1，图4显示了不同延时τ情况下得到的SSVEP延时信号。

矩形函数rect(t)为：

rect(t-τ)＝u(t-τ)-u(t-τ-T)

其中，

图5(a)为某一SSVEP刺激对应的SSVEP信号的原始波形，图5(b)为该SSVEP信号的频谱分布图，该SSVEP信号的频谱在基频、一倍频和二倍频处呈现较大的幅值，其能量分布呈现出基频、一倍频、二倍频依次减小的特点。

图6为SSVEP信号频谱特征模型化的示意图，某一SSVEP刺激对应的基频f_i及一倍频2*f_i的sin和cos函数，即sin(2π*f_i)，cos(2π*f_i)，sin(2π*2f_i)，cos(2π*2f_i)作为频率参考信号F来表征SSVEP信号频谱特征，采用模型：X＝V*F表征稳态视觉诱发电位信号的频谱分布特性，V＝[ν₁,ν₂,ν₃,ν₄]，ν₁、ν₂、ν₃、ν₄分别为sin(2π*f)、cos(2π*f)、sin(2π*2f)、cos(2π*2f)的系数，X为表示稳态视觉诱发电位刺激频率参考信号各成分线性组合的时域信号。在此基础之上，增加了对于各个频率参考信号的系数V的约束条件，即对于CCA模块输出的典型相关系数，按照从大到小的顺序，对其对应的频率参考信号的系数矩阵V中ν_i的绝对值进行比较，若ν₁和ν₂的绝对值均不能排在前两位，则去除对应的典型相关系数，直至找到满足上述条件的最大典型相关系数作为CCA的输出。按上述方法，对所有9个SSVEP刺激计算出其对应的最大典型相关系数，针对这9个最大典型相关系数再做排序，将最大值选出，将其对应的SSVEP刺激作为BCI系统的输出。

图7是本BCI系统的平均分类正确率结果。图7中显示了基于本发明提出的改进型CCA与传统CCA对于同一组BCI用户(9人)的SSVEP信号的分类正确率的比较结果。结果显示，相比较于传统CCA，本发明使用的改进型CCA具有更高的分类正确率(P<0.05)。

Claims (6)

1.一种基于稳态视觉诱发电位生理特性的脑机接口系统，其特征在于，包括：

延时反应模块，对采集的稳态视觉诱发电位信号进行延时处理，输出稳态视觉诱发电位的延时信号至CCA模块，

CCA模块，对稳态视觉诱发电位刺激的频率参考信号以及稳态视觉诱发电位的延时信号进行相关性分析，输出典型相关系数至典型相关系数选择模块，

典型相关系数选择模块，线性组合稳态视觉诱发电位刺激频率参考信号各成分构建稳态视觉诱发电位信号频谱分布特性模型，对典型相关系数按照从大到小的顺序进行筛选，在当前典型相关系数对应的稳态视觉诱发电位刺激基频参考信号的线性组合系数的绝对值均大于稳态视觉诱发电位刺激其它频率参考信号的线性组合系数的绝对值时，当前典型相关系数即为筛选结果，及，

输出模块，输出典型相关系数筛选结果所对应的稳态视觉诱发电位刺激信号。

2.根据权利要求1所述一种基于稳态视觉诱发电位生理特性的脑机接口系统，其特征在于，所述延时反应模块对采集的稳态视觉诱发电位信号进行延时处理的具体方法为：采用在时间轴上有固定延时的矩阵函数作为延时开关函数，稳态视觉诱发电位信号与延时开关函数相乘得到稳态视觉诱发电位的延时信号。

3.根据权利要求1所述一种基于稳态视觉诱发电位生理特性的脑机接口系统，其特征在于，所述稳态视觉诱发电位刺激的频率参考信号包含稳态视觉诱发电位刺激对应的基频参考信号、稳态视觉诱发电位刺激对应的一倍频参考信号。

4.根据权利要求1所述一种基于稳态视觉诱发电位生理特性的脑机接口系统，其特征在 于，所述稳态视觉诱发电位信号频谱分布特性模型为：

，

为稳态视觉诱发电位刺激 的频率参考信号，

，

、

分别为稳态视觉诱发电位刺激对应的基频

的sin函数、cos函数，

、

分别为稳态视觉诱发电位刺激对应的一倍频的sin函数、cos函数，

为系数矩阵，

，

、

、

、

分别为

、

、

、

的系数，

为表示稳态视觉诱发电位刺激频率参考信号各成分线性组合的时 域信号。

5.根据权利要求1所述一种基于稳态视觉诱发电位生理特性的脑机接口系统，其特征在于，所述稳态视觉诱发电位信号通过采集使用者观察稳态视觉诱发电位刺激信号时所激发的EEG信号获取。

6.根据权利要求1所述一种基于稳态视觉诱发电位生理特性的脑机接口系统，其特征在于，所述稳态视觉诱发电位刺激信号由具有不同闪烁频率和相位的视觉刺激所激发。

Images