CN105824418A - 一种基于非对称视觉诱发电位的脑-机接口通讯系统 - Google Patents

Abstract

本发明公开了一种基于非对称视觉诱发电位的脑‑机接口通讯系统，该系统包括：液晶显示器，用于显示刺激界面；脑电电极，用于脑电生物信号的采集；脑电放大器，用于将信号经过脑电放大器放大、滤波后输入计算机；计算机处理平台，用于根据非对称VEP的诱发特点，设计和执行基于周围视野非对称视觉刺激的指令编码，最终将脑电信号解码后转化为BCI指令进行输出。与传统视觉BCI系统相比，本发明能够减轻受试者的视觉疲劳感，同时提高BCI系统的信息传输效率，进一步研究可以得到完善的脑‑机接口系统，有望获得可观的社会效益和经济效益。

Description

一种基于非对称视觉诱发电位的脑-机接口通讯系统

技术领域

本发明属于基于计算机的生物通讯技术领域，特别是涉及一种基于非对称视觉诱发电位的脑-机接口通讯协议系统。

背景技术

脑-机接口(Brain-Computer Interface，BCI)是一个将中枢神经系统活动直接转化为人工输出的系统，它能够替代、修复、增强、补充或者改善中枢神经系统的正常输出，从而改善中枢神经系统与内外环境之间的交互作用。通过采集和分析不同刺激下受试者的脑电信号，再使用一定的工程技术手段建立起人脑与计算机或其它电子设备之间的交流和控制通道。BCI技术实现了一种全新的信息交互与控制方式，可以为残疾人尤其是那些基本肢体运动功能受损但思维正常的患者提供一种与外界进行信息交流和控制的途径，使他们无需进行语言或肢体动作即可同外界交流或操纵外界设备。为此，BCI技术也越来越受到重视。

在脑-机接口系统的研究中，基于事件相关电位(Event-Related Potential，ERP)特征的ERP-BCI是应用较广泛的系统之一。视觉诱发电位(VEP)是ERP-BCI中经常用到的一种脑电特征信号，它是大脑皮质枕叶区对视觉刺激发生的电反应，反映了视网膜接受刺激，经视通路传导至枕叶皮层而引起的电位变化。当视觉刺激在视野内不同区域出现时，会在大脑对应区域诱发出较为明显的视觉ERP波形。基于稳态视觉诱发电位(SSVEP)的脑-机接口系统已经发展得较为稳定和成熟。典型相关分析(Canonical CorrelationAnalysis，CCA)算法目前被普遍应用于基于稳态视觉诱发电位(SSVEP)的脑-机接口系统中，且有研究对该算法做了进一步改进，即在脑电信息处理过程中应用模板匹配原则引入了受试者自身信号，提升了系统的识别正确率和信息传输速率，目前基于视觉诱发电位的脑-机接口系统已经达到了最高207.53bit/min的信息传输速率，为将脑-机接口技术进一步向应用成果转化奠定了有力基础。

然而传统视觉脑-机接口的刺激都是出现在受试者的中央视野，容易使其产生视觉疲劳，且占据了受试者大部分的视觉信息输入通道，因此不利于用户的长时间操作与多任务操作。同时，传统的视觉BCI利用对称性刺激诱发脑电，使得脑电特征容易受共模噪声的影响，不利于特征信号的提取。

目前有研究表明，大脑对VEP的响应存在空间对侧占优特性，利用该特性对指令进行码分多址(CDMA)与空分多址(SDMA)混合编码，可进一步提升系统的信息传输速率。

发明内容

基于上述现有技术和存在的问题，本发明提出了一种基于非对称视觉诱发电位的脑-机接口通讯系统，根据大脑视觉刺激响应的空间对侧优势特性，设计了一种新的用于脑-机接口通讯的视觉刺激方法来诱发非对称VEP，利用大脑对VEP刺激响应的空间对侧占优特性对指令进行码分多址(CDMA)与空分多址(SDMA)混合编码，以及通过编、解码非对称VEP来确定用户的目标字符。

本发明提出了一种基于非对称视觉诱发电位的脑-机接口通讯系统，该系统包括液晶显示器、脑电电极、脑电放大器以及计算机处理平台；其中：

液晶显示器，用于显示刺激界面；

脑电电极，用于脑电生物信号的采集；

脑电放大器，用于将信号经过脑电放大器放大、滤波后输入计算机；

计算机处理平台，用于根据非对称VEP的诱发特点，设计和执行基于周围视野非对称视觉刺激的指令编码，最终将脑电信号解码后转化为BCI指令进行输出，其中：

所述指令编码的具体处理包括：采用刺激在周围视野内的位置形成的空分多址编码和采用根据刺激在不同时刻的变化顺序加入码分多址编码的混合策略；

所述指令解码的具体处理包括：利用典型相关分析方法衡量测试信号与不同模板之间的匹配程度，即计算二者的相关系数；之后利用线性判别分析法对相关系数矩阵进行特征优化，最后输出分类结果；即：

将多维特征向量都看作一个整体测试信号X，模板信号Y存在两种情况：一是由标准正余弦信号及其谐波成分构成的参考信号Y_f，二是受试者训练集信号构成的模板信号，根据公式(1)计算X和Y两个整体之间的相关系数，

$CCA(X,Y)=\frac{Cov(X,Y)}{\sqrt{D\left(X\right)\sqrt{D\left(Y\right)}}}=\frac{\mathrm{\ϵ}\[U_{X,Y}^T{\mathrm{XY}}^T{V}_{X,Y}\]}{\sqrt{\mathrm{\ϵ}\[U_{X,Y}^T{\mathrm{XX}}^{{}^T}{V}_{X,Y}\]\mathrm{\ϵ}\[V_{X,Y}^T{\mathrm{YY}}^T{U}_{X,Y}\]}}---\left(1\right)$

式中：Y包含Y＝Y_f和两种情况：

$Y_f=\left[\begin{array}{c}sin(2\mathrm{\π}\·fn)\\ \cos (2\mathrm{\π}\·fn)\\ \sin (2\mathrm{\π}\·N_{h}fn)\\ \cos (2\mathrm{\π}\·N_{h}fn)\end{array}\right],n=\frac{1}{f_s}---\left(2\right)$

$\tilde{X}=\frac{1}{N}{\mathrm{\Σ}}_i^N{X}_i---\left(3\right)$

其中，f为基频，f_s为采样率，N_h为谐波次数，X_i为训练集信号，N为训练集信号个数，i为当前运算信号；

经过上述计算将多维特征X、Y转换为一维向量x、y，再计算x、y之间的相关系数，相关系数越大则代表测试信号与该模板的匹配程度越高，反之相关系数越小代表匹配程度越低。

公式(1)中U_x,y和V_x,y为X和Y计算得到的典型相关矩阵，对X、Y、三者分别进行典型相关分析的计算后，得到、和四个典型相关矩阵作为空间滤波器；将脑电信号与典型相关矩阵相乘，即使多维脑电信号经过空间滤波器滤波后变成一维矩阵，再计算相应的相关系数即可，N为指令个数，对于第k个指令的相关系数矩阵表示为：

${\mathrm{\ρ}}_k=\left[\begin{array}{c}{\mathrm{\ρ}}_{k,1}\\ {\mathrm{\ρ}}_{k,2}\\ {\mathrm{\ρ}}_{k,3}\\ {\mathrm{\ρ}}_{k,4}\\ {\mathrm{\ρ}}_{k,5}\end{array}\right]=\left[\begin{array}{c}CCA(X,Y_f)\\ \mathrm{\ρ}(X^T{U}_{X,Y_f},{\tilde{X}}^T{U}_{X,Y_f})\\ \mathrm{\ρ}(X^T{U}_{\tilde{X},Y_f},{\tilde{X}}^T{U}_{\tilde{X},Y_f})\\ \mathrm{\ρ}(X^T{U}_{X,\tilde{X}},{\tilde{X}}^T{V}_{X,\tilde{X}})\\ \mathrm{\ρ}(X^T{V}_{X,\tilde{X}},{\tilde{X}}^T{V}_{X,\tilde{X}})\end{array}\right],k=1,2,...,N---\left(4\right)$

最终将作为一组特征向量送入LDA分类器进行分类，将分类结果转化为BCI指令输出。

与现有技术相比，上述技术方案的优点在于：

与传统视觉BCI系统相比，本发明能够减轻受试者的视觉疲劳感，同时提高BCI系统的信息传输效率，进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益；

利用本发明在检测由非对称视觉刺激诱发的空间非对称脑电特征时，可以通过差分方法来抑制共模噪声，从而使特征具备更高的信噪比。

附图说明

图1为本发明的基于非对称视觉诱发电位的脑-机接口通讯系统框架结构示意图；

图2为指令分布示意图；

图3为左右视野划分示意图；

图4为VEP的对侧优势特性原理图；

图5为刺激指令原理示意图；

图6为混合编码策略示意图；

图7为CCA+LDA算法流程图；

图8为线性判别分析的几何原理图示。

具体实施方式

本发明设计的基于非对称视觉诱发电位的脑-机接口通讯协议方法利用了大脑对VEP刺激响应的空间不对称性对刺激指令进行时空编码，视觉刺激出现在周围视野而不是中央视野，从而避免长时间使用时的视觉疲劳，且为用户在中央视野进行其他任务操作提供了窗口。

以下结合附图及具体实施方式，进一步详述本发明的技术方案。

本发明的的流程如图1所示，主要包括以下步骤：

图1所示，本发明的基于非对称视觉诱发电位的脑-机接口通讯系统包括液晶显示器，用于显示刺激界面；脑电电极和脑电放大器，用于脑电生物信号的采集；以及计算机处理平台等部分，用于根据非对称VEP的诱发特点，设计和执行基于周围视野非对称视觉刺激的指令编码和解码。应用Matlab Psychtoolbox工具箱编写刺激程序。

本发明基于的原理描述：如图2所示，以只有A、B、C、D四个指令为例，指令按2×2分布，受试者坐在距离刺激界面60cm左右的椅子上，视线保持在刺激界面的中心位置，刺激在受试者视野内的不同位置随机出现，并在该受试者大脑的对应空间位置诱发出VEP脑电特征信号。以VEP的对侧优势特性为例，如图3所示，“+”表示视线中央位置，圆点分别表示左、右刺激，刺激在左侧视野内出现时会在大脑的右侧枕区诱发出更加明显的VEP特征(不依赖于刺激颜色)，而刺激在右侧视野内出现时则会在大脑的左侧枕区诱发出更加明显的VEP特征(不依赖于刺激颜色)，如图4中(a)所示。图4中(b)为设置脑电电极的位置示意图，VEP响应通常在大脑枕区产生，即电极“P-”、“PO-”、“O-”所在位置，其中：“P-”即为图中标出“P7,P8,PZ”等导联位置，“PO-”即为“PO7,PO8,POZ”等导联位置。

采用NeuroScan公司生产的脑电数字采集系统采集脑电信号，将信号经过脑电放大器放大、滤波后输入计算机进行典型相关分析等相关计算，最终将脑电信号解码后转化为BCI指令进行输出。

一、对基于周围视野非对称视觉刺激的指令编码方式举例说明如下：

根据非对称VEP的诱发特点，设计和执行基于周围视野非对称视觉刺激的指令编码。如图5所示，受试者视线保持集中于指令A中心，视角为2°的范围定义为中央视野，其他部分则定义为周围视野。刺激在周围视野内产生，即受试者无需注视刺激，从而减轻了视觉疲劳感。如图6所示，以指令A、B的不同编码方式为例，(a)代表初始状态，(b)～(e)分别代表了刺激产生(圆点点亮)之后接连四个时刻的情况。仅以区分左、右视野为例，当刺激在周围视野内左侧产生时定义其编码为1，当刺激在周围视野内右侧产生时定义其编码为0，由此形成空分多址(SDMA)编码策略，而且在同侧的周围视野范围内，不同时刻刺激产生的位置可以有小幅变化，避免惯性刺激下诱发效果不理想，保证诱发出高质量的特征信号。根据刺激在不同时刻的变化顺序加入码分多址(CDMA)编码策略，形成本发明提出的混合编码策略。以图5所示的四位编码为例，指令A的编码为“1010”，指令B的编码为“0101”。CDMA编码策略参考如下：

对于字符A：“10101010”；

对于字符B：“01010101”；

对于字符C：“01011010”……；

这样“1010”与“0101”之间的顺序不同就作为CDMA。

二、基于周围视野非对称视觉刺激的指令解码方式：

以模板匹配方法为基本原理，以典型相关分析和线性判别分析(LinearDiscriminant Analysis，LDA)为基本手段，设计适用于非对称VEP的解码方式。

模板匹配方法是将受试者自身训练信号依据不同的编码进行划分，经过叠加平均后作为多个参考模板，再将测试信号与不同模板进行匹配，找到匹配程度最大的模板所代表的编码策略，由此解码后定位到具体指令。解码方式是利用典型相关分析方法衡量测试信号与不同模板之间的匹配程度，即计算二者的相关系数；之后利用线性判别分析法对相关系数矩阵进行特征优化，最后输出分类结果。

CCA是衡量两个多维变量之间的线性相关关系的统计分析方法。如图7所示，将多维特征向量(多导脑电特征)都看作一个整体测试信号X，模板信号Y存在两种情况：一是由标准正余弦信号及其谐波成分构成的参考信号Y_f，二是受试者训练集信号构成的模板信号，根据公式(1)计算X和Y两个整体之间的相关系数，用来衡量二者的相关关系。作为典型相关矩阵，经过计算可将多维特征X、Y转换为一维向量x、y，再计算x、y之间的相关系数，相关系数越大则代表测试信号与该模板的匹配程度越高，反之相关系数越小代表匹配程度越低。具体计算公式为：

$CCA(X,Y)=\frac{Cov(X,Y)}{\sqrt{D\left(X\right)\sqrt{D\left(Y\right)}}}=\frac{\mathrm{\ϵ}\[U_{X,Y}^T{\mathrm{XY}}^T{V}_{X,Y}\]}{\sqrt{\mathrm{\ϵ}\[U_{X,Y}^T{\mathrm{XX}}^{{}^T}{V}_{X,Y}\]\mathrm{\ϵ}\[V_{X,Y}^T{\mathrm{YY}}^T{U}_{X,Y}\]}}---\left(1\right)$

式中：Y包含Y＝Y_f和两种情况：

$Y_f=\left[\begin{array}{c}sin(2\mathrm{\π}\·fn)\\ \cos (2\mathrm{\π}\·fn)\\ \sin (2\mathrm{\π}\·N_{h}fn)\\ \cos (2\mathrm{\π}\·N_{h}fn)\end{array}\right],n=\frac{1}{f_s}---\left(2\right)$

$\tilde{X}=\frac{1}{N}{\mathrm{\Σ}}_i^N{X}_i---\left(3\right)$

其中，f是基频，大小由刺激出现间隔决定，例如，若在同侧1s内出现15次刺激，则将基频定为15Hz，f_s为采样率，N_h为谐波次数，X_i为训练集信号，N为训练集信号个数，i为当前运算信号。

公式(1)中U_x,y和V_x,y为X和Y计算得到的典型相关矩阵，对X、Y、三者分别进行典型相关分析的计算后，可以得到、和四个典型相关矩阵作为空间滤波器，如图7所示。将脑电信号与典型相关矩阵相乘，即使多维脑电信号经过空间滤波器滤波后变成一维矩阵，再计算相应的相关系数即可，N为指令个数，对于第k个指令的相关系数矩阵表示为：

${\mathrm{\ρ}}_k=\left[\begin{array}{c}{\mathrm{\ρ}}_{k,1}\\ {\mathrm{\ρ}}_{k,2}\\ {\mathrm{\ρ}}_{k,3}\\ {\mathrm{\ρ}}_{k,4}\\ {\mathrm{\ρ}}_{k,5}\end{array}\right]=\left[\begin{array}{c}CCA(X,Y_f)\\ \mathrm{\ρ}(X^T{U}_{X,Y_f},{\tilde{X}}^T{U}_{X,Y_f})\\ \mathrm{\ρ}(X^T{U}_{\tilde{X},Y_f},{\tilde{X}}^T{U}_{\tilde{X},Y_f})\\ \mathrm{\ρ}(X^T{U}_{X,\tilde{X}},{\tilde{X}}^T{V}_{X,\tilde{X}})\\ \mathrm{\ρ}(X^T{V}_{X,\tilde{X}},{\tilde{X}}^T{V}_{X,\tilde{X}})\end{array}\right],k=1,2,...,N---\left(4\right)$

最终将作为一组特征向量送入LDA分类器进行分类，将分类结果转化为BCI指令输出。

作为一种最早提出的判别方法，LDA方法的基本思想是将n类m维的数据集尽可能投影到一个方向(一条直线)上，使得类与类之间在该方向上尽可能分开，如图8所示。

与此同时，检测由非对称视觉刺激诱发的空间非对称脑电特征时，可以通过差分方法来抑制共模噪声，从而使特征具备更高的信噪比。具体实现方式为对空间不同位置的导联采集得到的脑电信号进行相减，从而得到高信噪比的脑电特征。在线测试结果显示应用本发明设计的通讯协议方法，受试者可在1分钟内拼写15个字符，证明利用该方法能进一步完善脑-机接口技术，促进该技术向应用成果转化。

本发明的设计了新范式实验，搭建好实验所需的脑电信号采集装置，然后在实验系统指导下，采集操作者脑电信号数据，将其存储后再进行一定的预处理、特征提取，最后进行分类，计算其判断正确率和信息传输率；可以用于残疾人康复、电子娱乐、工业控制等领域，进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益。

Claims (1)

1.一种基于非对称视觉诱发电位的脑-机接口通讯系统，其特征在于，该系统包括液晶显示器、脑电电极、脑电放大器以及计算机处理平台；其中：

液晶显示器，用于显示刺激界面；

脑电电极，用于脑电生物信号的采集；

脑电放大器，用于将信号经过脑电放大器放大、滤波后输入计算机；

计算机处理平台，用于根据非对称VEP的诱发特点，设计和执行基于周围视野非对称视觉刺激的指令编码，最终将脑电信号解码后转化为BCI指令进行输出，其中：

所述指令编码的具体处理包括：采用刺激在周围视野内的位置形成的空分多址编码和采用根据刺激在不同时刻的变化顺序加入码分多址编码的混合策略；

所述指令解码的具体处理包括：利用典型相关分析方法衡量测试信号与不同模板之间的匹配程度，即计算二者的相关系数；之后利用线性判别分析法对相关系数矩阵进行特征优化，最后输出分类结果；即：

将多维特征向量都看作一个整体测试信号X，模板信号Y存在两种情况：一是由标准正余弦信号及其谐波成分构成的参考信号Y_f，二是受试者训练集信号构成的模板信号根据公式(1)计算X和Y两个整体之间的相关系数，

$CCA(X,Y)=\frac{Cov(X,Y)}{\sqrt{D\left(X\right)\sqrt{D\left(Y\right)}}}=\frac{\mathrm{\ϵ}\[U_{X,Y}^T{\mathrm{XY}}^T{V}_{X,Y}\]}{\sqrt{\mathrm{\ϵ}\[U_{X,Y}^T{\mathrm{XX}}^T{V}_{X,Y}\]\mathrm{\ϵ}\[V_{X,Y}^T{\mathrm{YY}}^T{U}_{X,Y}\]}}---\left(1\right)$

式中：Y包含Y＝Y_f和两种情况：

$Y_f=\left[\begin{array}{c}Sin(2\mathrm{\π}\·fn)\\ \cos (2\mathrm{\π}\·fn)\\ sin(2\mathrm{\π}\·N_{h}fn)\\ \cos (2\mathrm{\π}\·N_{h}fn)\end{array}\right],n=\frac{1}{f_s}---\left(2\right)$

$\tilde{X}=\frac{1}{N}{\mathrm{\Σ}}_i^N{X}_i---\left(3\right)$

其中，f为基频，f_s为采样率，N_h为谐波次数，X_i为训练集信号，N为训练集信号个数，i为当前运算信号；

经过上述计算将多维特征X、Y转换为一维向量x、y，再计算x、y之间的相关系数，相关系数越大则代表测试信号与该模板的匹配程度越高，反之相关系数越小代表匹配程度越低。

公式(1)中U_x,y和V_x,y为X和Y计算得到的典型相关矩阵，对X、Y、三者分别进行典型相关分析的计算后，得到和四个典型相关矩阵作为空间滤波器；将脑电信号与典型相关矩阵相乘，即使多维脑电信号经过空间滤波器滤波后变成一维矩阵，再计算相应的相关系数即可，N为指令个数，对于第k个指令的相关系数矩阵表示为：

${\mathrm{\ρ}}_k=\left[\begin{array}{c}{\mathrm{\ρ}}_{k,1}\\ {\mathrm{\ρ}}_{k,2}\\ {\mathrm{\ρ}}_{k,3}\\ {\mathrm{\ρ}}_{k,4}\\ {\mathrm{\ρ}}_{k,5}\end{array}\right]=\left[\begin{array}{c}CCA(X,Y_f)\\ \mathrm{\ρ}(X^T{U}_{X,Y_f},{\tilde{X}}^T{U}_{X,Y_f})\\ \mathrm{\ρ}(X^T{U}_{\tilde{X},Y_f},{\tilde{X}}^T{U}_{\tilde{X},Y_f})\\ \mathrm{\ρ}(X^T{U}_{X,\tilde{X}},{\tilde{X}}^T{V}_{X,\tilde{X}})\\ \mathrm{\ρ}(X^T{V}_{X,\tilde{X}},{\tilde{X}}^T{V}_{X,\tilde{X}})\end{array}\right],k=1,2,...,N---\left(4\right)$

最终将作为一组特征向量送入LDA分类器进行分类，将分类结果转化为BCI指令输出。