CN111012342A - 一种基于p300的视听双通道竞争机制脑-机接口方法 - Google Patents

Abstract

本发明公开了一种基于P300的视听双通道竞争机制脑‑机接口方法，包括：设置第一范式作为视听干扰范式，视觉刺激为单音节字母显示在屏幕中央，且颜色互不相同；听觉刺激为相同的单音节字母，以入耳式耳机双声道输出，该声音刺激设置使得其与视觉刺激相同的语义，且视觉、听觉刺激时间相同；设置第二范式作为视听无关范式，听觉刺激仍为与第一范式相同的单音节字母，但视觉刺激则为六个形状和颜色均不同的几何图形，且这些图形与听觉刺激的字母无任何相关性；设置不同的刺激时间间隔、刺激长度、刺激呈现序列和注意力调制方式；通过64导联的脑电电极帽采集脑电信号，对不同任务下被试脑电信号进行对比，分析视听觉之间的竞争关系的定量、定位体现。

Description

一种基于P300的视听双通道竞争机制脑-机接口方法

技术领域

本发明涉及脑-机接口领域，尤其涉及一种基于P300的视听双通道竞争机制脑-机接口方法。

背景技术

脑-机接口(Brain-Computer Interface，BCI)作为一种新型交互方式，脑-机接口不从肢体或者神经肌肉而是直接从人脑活动所伴随的神经电信号中获取信息，建立了人和周围环境之间不依赖于外周神经的输出通路。依据其依赖的信号类型，脑机接口被分为不同种类，其中基于事件相关电位的BCI系统(ERP-BCI)被认为是相对高效稳定的。

事件相关电位(event-related potential，ERP)与大脑对特定发生事件的处理过程密切相关。它的幅值信息包含在相对幅值较大的背景脑电中，通常需要对特定事件所诱发的信号进行多次叠加平均而得到。叠加平均后的ERP由一系列正负电位信号组成，称为事件相关成分。事件相关系列正/负成分将随着刺激事件类型、频率和大脑对刺激事件认知过程的不同而变化。

相对于传统的认知心理学研究手段，脑机接口通过人体的大脑信号展现客观状态下的认知表现是更为真实的数据体现。而视觉和听觉作为人体最重要的两个感官通道，被广泛用于BCI中的诱发实验，尝试在娱乐、康复等领域应用。但人类复杂的认知过程会使得各个通道相互影响，从而产生“1+1>1”或“1+1<1”的效果。所谓“1+1>1”，即为视听通道同时使用所产生的整合效应，两者相辅相成，产生远大于其单通道本身的效果；“1+1<1”则是视觉和听觉的不匹配造成的交叉干扰，两者相互抑制所产生的效果。

目前针对视听竞争BCI的研究仍旧不足，而竞争效应的影响效应在各个领域都存在，故而针对该方向提出创新型实验范式并进行深入研究是十分必要的。

发明内容

本发明提供了一种基于P300的视听双通道竞争机制脑-机接口方法，该方法创新的提出了以ERP-BCI的方式研究人的视觉、听觉同时呈现，且为竞争关系过程中认知状态的变化，该研究能够为视、听脑机接口范式的优化设计提供参考，进一步的为脑机接口应用于临床及生活等实验室外场景提供理论支持，详见下文描述：

一种基于P300的视听双通道竞争机制脑-机接口方法，以视听觉双通道信号为输入，研究视觉和听觉并行条件下的竞争响应机制，所述方法包括：

设置第一范式作为视听干扰范式，即视觉刺激为A/B/C/D/E/G这单音节字母显示在屏幕中央，且颜色互不相同；听觉刺激为与视觉刺激相同的六个单音节字母，以入耳式耳机双声道输出，该声音刺激设置使得其与视觉刺激相同的语义，且视觉、听觉刺激时间相同；

设置第二范式作为视听无关范式，用于对比实验，即听觉刺激仍为与第一范式相同的单音节字母，但视觉刺激则为六个形状和颜色均不同的几何图形，且这些图形与听觉刺激的字母无任何相关性；

设置不同的刺激时间间隔、刺激长度、刺激呈现序列和注意力调制方式，以更好地诱发视听双通道的竞争效应；

通过64导联的脑电电极帽采集脑电信号，绘制ERP波形图、脑电地形图、作R-square可分性分析，并运用支持向量机，线性判别分析对不同任务下被试脑电信号进行对比，分析视听觉之间的竞争关系的定量、定位体现。

其中，所述注意力调制方式为注意视觉和注意听觉，注意视觉时，忽略听觉刺激，听觉刺激作为竞争模态；注意听觉时，忽略视觉刺激，视觉刺激作为竞争模态。

进一步地，所述刺激呈现序列为：

首先为0.15s的提示，接下来要计数的目标刺激，两秒后呈现随机序列，序列呈现时每个视觉刺激对应同时出现且时长相同都为0.15s的听觉刺激，序列中每个视听同步刺激的刺激间间隔相同。

其中，所述方法还包括：

视听刺激同步呈现，视觉与听觉在6个刺激中分别以随机顺序呈现，6个刺激循环结束后继续开始下一轮6个刺激循环。

进一步地，所述竞争响应机制为：

范式一同时呈现的有语义关系视听刺激作为竞争模态，范式二同时呈现的无语义相关性的视听刺激是相对无竞争模态；

范式一与范式二的响应对比能得到视听竞争的响应特点。

本发明提供的技术方案的有益效果是：

1、本发明分析不同感官信息通道间的关系，来探究视听交互刺激间的竞争关系研究，以期为视听觉脑-机接口范式的优化提供参考，使其能达到最佳脑机信息交互处理效率；

2、本发明设计了一种基于P300的视听双通道竞争机制脑-机接口(BCI)范式，该项发明有益于对人体重要感官通道——视听觉的认识和深入研究，可以帮助脑机接口在临床、康复、娱乐等领域的应用，完善脑机接口系统的设计。

附图说明

图1为本发明实验及数据处理方法示意图；

图2为范式1与范式2刺激序列示意图；

图3为实验刺激序列流程图；

图4为某实验任务条件下目标刺激与非目标刺激诱发脑电信号的ERP波形；

图5为某实验任务下不同时间段的ERP平均后的脑电地形图；

图6为SVM(支持向量机)最佳分类平面示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例设计了一种基于ERP中P300信号的视觉、听觉竞争条件下的脑机接口(BCI)范式。P300是Sotton在1965年最早发现，属于脑电中的事件相关电位(Event-Related Potential,ERP)的一种，因为是诱发刺激出现后300ms在头部出现的正(Positive)电位故叫做P300，反映了人的认知状态的变化。如果在重复刺激序列中加入一个不同的视觉或听觉刺激，那么这个刺激被称作偏差刺激，大脑会被诱发出响应信号。本申请方案将人类主要感觉通道视、听相结合，按照oddball范式重复刺激，设计刺激范式，从而诱发出视、听诱发电位，通过分析对比，探究视觉与听觉人认知过程中的竞争关系。

设计流程为：在阅读视觉、听觉脑机接口相关众多文献后，设计范式刺激类型、刺激长度、视听刺激的同步性及相关性等参数，以更好地诱发视听双通道的竞争效应，通过64导联的Neuroscan脑电电极帽采集新范式刺激下的诱发脑电信号。在预处理后进行特征提取和后续处理。绘制ERP波形图、脑电地形图、作R-square可分性分析，并运用支持向量机(Support Vector Machine,SVM)，线性判别分析(LDA)等分类方法对不同任务下被试脑电信号进行对比，分析视听觉之间的竞争关系的定量、定位体现。

实施例2

图1为本发明实验流程示意图。该设计包括脑电电极位点选择、参考电极放置，基于MATLAB的Psychtoolbox的视觉、听觉刺激输出系统和Neuroscan脑电采集系统。受试者坐在呈现视觉刺激的显示屏前，注视计算机屏幕上的字母/图片变换，同时以头戴式耳机双耳输出音频刺激，音频与视觉刺激以oddball同时呈现，根据主试指令在心中默数视觉或者听觉偏差刺激数目。在计数偏差刺激的时候，大脑的认知过程会反应在大脑皮层电信号中，从而出现事件相关电位。用Neuroscan脑电采集系统采集实验脑电，进而进行数据预处理、特征提取与分析，比较实验参数下事件相关电位的差异及其在大脑响应的位置差异，进行分类识别，并建立模型尝试区分不同实验任务。

一、视听刺激设计

已有的大多数研究中，视觉BCI与听觉BCI独立运行。而实际场景中大脑对各个感官通道的调配很难独立进行，各个感官会相互影响，尤其是视觉和听觉作为最主要的感官通道，其协同或竞争会对人的行为及认知产生较大影响。故而本设计研究了其中的竞争情况。

本发明设置了视听的相互干扰范式以及无关范式以研究其竞争效应。范式1视听干扰范式中，使用六个同样单音节字母同时作为视觉和听觉刺激，但双通道分别随机呈现，刺激序列中，每一个视听刺激是同时出现的每个Trial代表一个刺激，即一个视听对。如某个Trial中，视觉刺激为A，而听觉刺激为C，这两个刺激是同时出现且刺激长度相同，同一时刻被试接受的视觉信息是A，听觉信息则为C，视听信息不匹配。按照预期，这种视听不一致性就会为受试者判断带来干扰，造成一种竞争状态；范式2视听无关范式则是对照参考的一组实验，听觉刺激仍为与范式1相同的单音节字母，但视觉则为六个不同的几何图形，且这些图形与听觉刺激的字母无任何相关性，如一个Trial中，听觉刺激为a，视觉刺激为一个三角形，两者无语义及其他方面的相关性，那么按照预期，此时这两个通道的信号对于被试来说不会互相干扰，故而范式2用以呈现互不干扰的并行视听觉刺激，通过分析该条件下的大脑响应情况，与范式1竞争状态脑电信号对比，从而了解视听双通道竞争条件下的大脑响应特点。范式1、2具体设置如下：

范式1：视听干扰范式

视觉刺激为A、B、C、D、E、G六个单音节字母显示在屏幕中央，听觉刺激为与视觉刺激相同的A、B、C、D、E、G六个单音节字母，以入耳式耳机双声道输出。赋予声音刺激以与视觉刺激相同的语义，选择上述六个字母语音，且与视觉刺激呈现时间相同，是为了加大与视觉的相互干扰效应。本实验预期在被试按要求完成实验任务只注意其中一种通道时，另外一个通道(即视听是双通道，任务分注意视觉通道和注意听觉通道，当注意视觉通道时，听觉通道则相对而言受到干扰)的相关刺激会干扰其对任务通道的选择性注意，对其形成竞争效果。

范式2：视听无关范式

听觉刺激是与范式1相同的单音节字母，将视觉刺激设置为无任何含义且与上述字母无关联的简单几何图形，作为视听无关组。

两范式的设置差别在于视觉刺激的类型。在范式1和2的基础上，又设置了不同的刺激时间间隔和注意力调制方式。共设计了2*2*2＝8种刺激参数配置实验范式——两种视觉刺激类型(字母，图形)，两种注意力调制方式(注意视觉，注意听觉)，两种刺激时间间隔(100ms，1000ms)。如，视听无关(视觉为图形)短时间间隔(100ms)的视觉注意范式(在心中计数视觉目标刺激出现的次数，忽视听觉刺激)。

刺激呈现序列如图2和图3所示，首先为0.15s的提示，提示接下来要计数的目标刺激，两秒后呈现随机序列。序列为六个刺激的随机顺序呈现，循环20次。序列呈现时每个视觉刺激对应同时出现且时长相同都为0.15s的听觉刺激，序列中每个视听同步刺激的刺激间间隔相同。刺激间间隔指上一个刺激结束到下一个刺激开始之间的空余时间。上述流程为一个Block。每个实验范式共有10个Block。Block代表的是一个视听刺激为目标的刺激序列(图3中Hint表示提示，Rep表示六个刺激随机重复一次，Trial表示单个试次，Rest表示休息时间。V和A分别表示听觉刺激和视觉刺激)。

实验共有8*10个Block。范式1和范式2各有4个Block，为视觉注意长刺激时间间隔、视觉注意短刺激时间间隔、听觉注意长刺激时间间隔、听觉注意短刺激时间间隔。通过对比范式1与范式2中相同注意力调制方式与刺激时间间隔的Block的大脑响应信号，来分析视觉、听觉通道在双通道呈现时对对方通道产生的竞争作用。

二、数据处理与特征提取

1、数据预处理：

通过64导联的Neuroscan脑电电极帽采集由Neuroscan NuAmp脑电放大器放大获得*.cnt格式数据。实验数据预处理主要包含降采样、滤波、ICA去噪(主要用于去眼电)、去基线、数据分段等过程，数据预处理过程通过基于Matlab平台的EEGLAB工具包。

事件相关电位的研究通常提取刺激前200ms到刺激后800ms的数据，叠加平均进行研究。根据记录的每一个刺激试次(试次：指每一次刺激的发生)的标记时刻来提取每试次前200ms到刺激后800ms的数据。以刺激前200ms到刺激时刻的数据作为基线，对整段数据进行校正。

2、特征提取：

在事件发生后150ms内所得到的事件相关电位通常反映了初级感觉系统对刺激事件的响应。它们的波形、幅值与头皮分布都与刺激事件的类型密切相关。这类成分称为外源性或早期成分，按照电位极性与出现时间可分为P1、N1和P2成分。而反映大脑对刺激事件的信息处理过程即认知过程有关的成分称为内源性成分或晚期成分，如N2和P3成分等，此为时域特征。

对每个实验范式下所有受试者经预处理后的脑电数据进行叠加平均，以尽量减少因个体差异造成的误差，根据叠平均加后的数据借助matlab绘制不同实验范式下的ERP波形图提取时域特征，画出如图4的脑电信号事件相关电位波形图。

再将不同导联的ERP波形绘制成脑电地形图(BEAM)，得到具有空间分布的信号特征，分析视听空间位置的特征关系，如图5，脑电地形图示例。

3、分类：

采用十折交叉验证与支持向量机相结合的方法进行分类。

交叉验证(Cross validation)又可以称作“循环估计”，主要用于防止模型过于复杂而引起的过拟合现象，是一种统计学的方法，细致说来就是把输入的数据样本由整个切分成较小子集，进而完成分析验证的一种方法。

本发明实施例选用了K-folder中的十折交叉验证。十折交叉验证，英文名叫做10-fold cross-validation，又叫十倍交叉验证。将数据集分成十份，轮流将其中9份作为训练数据，1份作为测试数据，进行试验，并且在试验之后得到一个正确率。

支持向量机(Support Vector Machine,SVM)的最先提出是在1995年，Cortes等人经过研究提出了一种分类模型——支持向量机，它是一种二分类模型，具体定义是在特征空间上选取间隔最大分类平面对数据进行分类的一个线性分类器。通过统计学习理论来尽量解决有限样本的学习问题。SVM在线性可分情况下对于最优分类面的选取图示如图4所示：

最优分类平面主要要求满足一下两点：1、选取的分类面要能将不同的分类样本分隔开；2、又要使得分类间隔最大。

本实验中采用的是二分类的方法，即假设空间内存在两类样本A和B，对视觉目标刺激和非目标刺激以及听觉目标刺激和非目标刺激的幅值特征进行分类。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

Claims (5)

1.一种基于P300的视听双通道竞争机制脑-机接口方法，其特征在于，以视听觉双通道信号为输入，研究视觉和听觉并行条件下的竞争响应机制，所述方法包括：

设置第一范式作为视听干扰范式，即视觉刺激为A/B/C/D/E/G这单音节字母显示在屏幕中央，且颜色互不相同；听觉刺激为与视觉刺激相同的六个单音节字母，以入耳式耳机双声道输出，该声音刺激设置使得其与视觉刺激相同的语义，且视觉、听觉刺激时间相同；

设置第二范式作为视听无关范式，用于对比实验，即听觉刺激仍为与第一范式相同的单音节字母，但视觉刺激则为六个形状和颜色均不同的几何图形，且这些图形与听觉刺激的字母无任何相关性；

设置不同的刺激时间间隔、刺激长度、刺激呈现序列和注意力调制方式，以更好地诱发视听双通道的竞争效应；

通过64导联的脑电电极帽采集脑电信号，绘制ERP波形图、脑电地形图、作R-square可分性分析，并运用支持向量机，线性判别分析对不同任务下被试脑电信号进行对比，分析视听觉之间的竞争关系的定量、定位体现。

2.根据权利要求1所述的一种基于P300的视听双通道竞争机制脑-机接口方法，其特征在于，所述注意力调制方式为注意视觉和注意听觉，注意视觉时，忽略听觉刺激，听觉刺激作为竞争模态；注意听觉时，忽略视觉刺激，视觉刺激作为竞争模态。

3.根据权利要求1所述的一种基于P300的视听双通道竞争机制脑-机接口方法，其特征在于，所述刺激呈现序列为：

首先为0.15s的提示，接下来要计数的目标刺激，两秒后呈现随机序列，序列呈现时每个视觉刺激对应同时出现且时长相同都为0.15s的听觉刺激，序列中每个视听同步刺激的刺激间间隔相同。

4.根据权利要求1所述的一种基于P300的视听双通道竞争机制脑-机接口方法，其特征在于，所述方法还包括：

视听刺激同步呈现，视觉与听觉在6个刺激中分别以随机顺序呈现，6个刺激循环结束后继续开始下一轮6个刺激循环。

5.根据权利要求1所述的一种基于P300的视听双通道竞争机制脑-机接口方法，其特征在于，所述竞争响应机制为：

范式一同时呈现的有语义关系视听刺激作为竞争模态，范式二同时呈现的无语义相关性的视听刺激是相对无竞争模态；

范式一与范式二的响应对比能得到视听竞争的响应特点。

Images