CN104921723A

CN104921723A - 一种基于多模态脑机接口的意识状态检测方法

Info

Publication number: CN104921723A
Application number: CN201510253168.8A
Authority: CN
Inventors: 李远清; 潘家辉
Original assignee: South China University of Technology SCUT
Current assignee: South China Brain Control (Guangdong) Intelligent Technology Co., Ltd.
Priority date: 2015-05-15
Filing date: 2015-05-15
Publication date: 2015-09-23
Anticipated expiration: 2035-05-15
Also published as: CN104921723B

Abstract

本发明公开了一种基于多模态脑机接口的意识状态检测方法，包含以下顺序的步骤：图形用户界面上显示两张照片，当用户想选择一种相片时，用户注视相应的相片并默数相框闪烁的次数；SSVEP通过相片的闪烁产生，与此同时，P300电位由相框的闪烁产生；通过用户头戴的脑电采集帽采集头皮脑电信号，并通过便携式放大器记录头皮脑电信号；然后将头皮脑电信号复制成两份，分别进入P300电位检测和SSVEP检测；根据检测结果进行评估并判断用户意识状态正常。本发明的检测方法，通过检测患者的P300和SSVEP来确定他是否能识别指定的目标(自己的脸部照片或别人的脸部照片)，能有效识别该患者是否有意识。

Description

一种基于多模态脑机接口的意识状态检测方法

技术领域

本发明涉及脑机接口研究领域，特别涉及一种基于多模态脑机接口的意识状态检测方法。

背景技术

意识是一个内涵丰富的概念，可分成两个主要部分：觉醒(arousal)和觉知(awareness)。对于严重脑损伤患者来说，他们在度过急性阶段后将进入病情稳定的恢复阶段。相对于急性期，此阶段的病情评估需要尽可能的全面，并且希望能够反应预后及转归。根据觉知水平的不同，该类患者可分为多个临床状态。有些患者可能会进入到植物状态(vegetative state,VS)，他们有睡眠-觉醒的周期，但完全丧失对自身及外部环境的觉知能力。有些患者则可能恢复到最小意识状态(minimally consciousstate,MCS)，即存在微弱但确定的觉知能力。由此可见，MCS与VS的区分在于是否有证据表明患者具有觉知能力。另一方面，闭锁综合症(locked-in syndrome,LIS)患者是觉醒的并且具有完好的觉知能力，但身体完全瘫痪。这样也有可能导致与植物状态或最小意识状态的混淆。一般来说，不同意识障碍程度的患者需要不同的治疗方案，因此，准确判定患者的意识障碍水平显得异常重要。

目前，临床上评定患者的意识障碍程度主要依靠量表(例如，Glasgow格拉斯哥昏迷量表、JFK昏迷恢复量表等)以及临床经验，通过检查眼睛、言语和运动三方面刺激所引起的反应来进行综合评价。以2004年美国JFK医学中心Giacino等人修改的昏迷恢复量表(JFK Coma Recovery Scale-Revised，CRS-R)为例，分为6个项目：听觉、视觉、运动、言语反应、交流及唤醒水平。当使用昏迷恢复量表CRS-R对患者的意识状态进行评定时，若患者某个项目的分值小于或等于评分标准(听觉2分，视觉1分，运动2分，言语反应2分，交流0分，唤醒度不评分仅作参考)，则其意识状态被评定为VS；若某个项目高于评分标准为MCS；若运动项目达到6分或交流项目达到2分为脱离MCS。这类方法简单易行，对急性脑损伤后昏迷简捷有效，但对于VS和MCS患者则显得过于粗糙。有时对病情变化的敏感度不高，不能确切反映临床实际情况，因此行为判断往往带有一定主观性和不可预测性。此外，对于严重意识障碍患者，他们用以交流的运动表达系统可能存在不同程度的损伤，同时其觉醒水平具有局限性且经常不稳定，因此行为判断本身在操作上的准确性也不易保证。已有文献证实对VS意识障碍患者进行常规行为诊断的误诊率高达37％-43％。

具体来讲，现有技术及现有技术存在的缺点如下所示：

一、现有技术一的技术方案

目前，临床上评定患者的意识障碍程度主要依靠量表(例如，Glasgow格拉斯哥昏迷量表、JFK昏迷恢复量表等)以及临床经验，通过检查眼睛、言语和运动三方面刺激所引起的反应来进行综合评价。

二、现有技术一的缺点

这类方法简单易行，对急性脑损伤后昏迷简捷有效，但对于VS和MCS患者则显得过于粗糙。有时对病情变化的敏感度不高，不能确切反映临床实际情况，因此行为判断往往带有一定主观性和不可预测性。此外，对于严重意识障碍患者，他们用以交流的运动表达系统可能存在不同程度的损伤，同时其觉醒水平具有局限性且经常不稳定，因此行为判断本身在操作上的准确性也不易保证。已有多篇文献证实对VS意识障碍患者进行常规行为诊断的误诊率高达37％-43％。

三、现有技术二的技术方案

最近，部分学者利用功能性磁共振成像(functional magnetic resonanceimaging，fMRI)来研究意识障碍患者存留下来的脑功能。他们的目的是在fMRI中检测出基于特定命令的变化，并提供不依靠运动表达系统的觉知能力的证据。使用功能神经成像，前人的研究采用自我指示的刺激，如对MCS病人在听觉上进行熟悉声音的唤名，来客观地衡量患者大脑处理的能力。在一个个案研究中[4]，Owen等人要求VS患者在进行fMRI的过程中根据提示完成“打网球”和“在自己屋里行走”的想象任务。在两个任务中，该患者显示出与正常受试者相类似的脑激活现象。在几个月后，该患者通过行为表现的评分被诊断为MCS。

四、现有技术二的缺点

尽管学者们提出了不少基于fMRI的方法，但是fMRI的一些限制包括高额费用，不便携(只能在大型医院的核磁共振室进行)以及严格的身体要求(不能带金属支架，不准移动身体等诸多限制)局限了其在意识障碍患者的广泛应用。与fMRI不同，脑机接口由于其相对便宜的价格且良好的便携性，因而能很好应用到临床上。

五、现有技术三的技术方案

当前，脑机接口也开始用于对意识障碍患者进行意识状态的检测。Lule等人[5]对13位MCS患者、3位VS患者和2位LIS患者进行了基于听觉P300的4分类脑机接口测试。在训练阶段结束后，每个患者必须通过注意声音序列中“YES”或者“NO”的重复出现来回答10个问题。一位LIS病人取得了60％的正确响应，而另一LIS患者只取得了20％的准确率而不能使用BCI进行交流。此外，没有任何MCS或者VS患者能使用BCI进行在线交流。

六、现有技术三的缺点

目前用于检测意识状态的脑机接口方法全部采用基于听觉刺激来实现。听觉脑机接口的一个通病就是准确率低。目前从正常人的使用情况来看，视觉脑机接口要比听觉脑机接口的准确率要好得多。本发明设计的就是采用视觉脑机接口来进行意识障碍患者的意识检测。

综上可知，采用更加客观和科学的方法来检测患者的意识状态是十分必要的。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于多模态脑机接口的意识状态检测方法。

本发明的目的通过以下的技术方案实现：

一种基于多模态脑机接口的意识状态检测方法，包含以下顺序的步骤：

S1.图形用户界面上显示两张照片，当用户想选择一种相片时，用户注视相应的相片并默数相框闪烁的次数；SSVEP通过相片的闪烁产生，与此同时，P300电位由相框的闪烁产生；

S2.通过用户头戴的脑电采集帽采集头皮脑电信号，并通过便携式放大器记录头皮脑电信号；然后将头皮脑电信号复制成两份，分别进入步骤S3、S4的检测流程；

S3.P300电位检测：

(1)头皮脑电信号在0.1-10Hz频率范围内进行带通滤波，并进行1/5下采样；对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样；1/5下采样就是指每间隔5个脑电信号的样值取样1次；

(2)连接10个通道的向量，并通过平均所有5个round的闪烁，从而构造对应每个相框的特征向量；使用这些特征向量及它们对应的标记，通过这些训练集数据生成对应每位患者的支持向量机(SVM)分类器；生成的SVM分类器将在下面的在线P300检测中使用；

(3)在在线的同步算法中，P300检测是每10秒进行一次，对应5个round相框的闪烁；同样地，通过对5次闪烁对应的5个round向量求平均，从而得到特征向量；把这些特征向量输入到前面生成的支持向量机分类器中，得到分别对应2个相框的2个分数；

S4.SSVEP检测：

(1)在4-20Hz的范围内对脑电信号进行带通滤波；其次，选取8个通道中闪烁阶段的10秒数据向量，并采用最小能量结合的方法生产新的信号向量；使用傅立叶变换，计算新定义的信号向量的功率密度谱；

(2)通过整合闪烁频率及其谐波的功率密度谱来计算SSVEP的能量；

(3)计算每张相片的窄带能量和宽带能量的比率；

S5.决策阶段：采用相加的法则来结合前面P300检测的分数和SSVEP检测的比率，并通过找到相加值最大的索引来确定检测的目标，最后以检测的相片作为反馈；

S6.评估标准：准确率是由正确响应的trial的数目除以全部trial的数目而得来；为了衡量准确率是否显著，通过统计命中(hit)与不命中(miss)的观察次数(observed frequencies)和理论次数(expected frequencies)，并根据下列公式进行卡方检测：

χ^{2} = Σ_{i = 1}^{k} \frac{{({fo}_{i} - {fe}_{i})}^{2}}{{fe}_{i}},

其中，fo_i和fe_i分别是第i(i＝1,2,...,k)个分类的观察次数和理论次数，观察项目分为命中、不命中两类，fo₁和fo₂分别是命中和不命中的观察次数，fe₁和fe₂分别是命中和不命中的理论次数，以及自由度是分类项数k减1，即df＝1；当使用两类BCI进行了50次判定时，在完全概率相等的情况下应该是命中(hit)和不命中(miss)的次数都应该是25；为了表明观察次数的显著性(p≤0.05)，检验统计量χ²(df＝1)需要大于3.84，即在50个trial中，患者需要在≥32个trial中正确响应，此时判断用户意识状态正常。

步骤S3中，所述的分别对应2个相框的2个分数代表两个相框在P300检测中的可信程度，用于后面的决策阶段。

步骤S4中，所述的8个通道具体为“P7”、“P3”、“Pz”、“P4”、“P8”、“O1”、“Oz”和“O2”。

步骤S4中，所述的窄带和宽带的范围分别被设定为±0.1Hz和±1Hz，所述的窄带能量和宽带能量的比率分别代表两张相片在SSVEP检测中的可信程度，用于后面的决策阶段。

步骤S4中，所述的10秒数据向量包含2500个数据点。

本发明与现有技术相比，具有如下优点和有益效果：

意识障碍患者存留意识的临床检测非常具有挑战性，并且对患者的正确诊断、护理策略和生活质量都异常重要。在本发明中，我们引入基于P300和SSVEP的多模态脑机接口来提高其检测存留认知功能和潜在意识的可能。在实验的每个trial中，两种相片，一张患者自己的相片和一张别人的相片，随机显示在GUI的左边和右边。每张相片内嵌在一个相框中。两张相片分别以6Hz和7.5Hz的频率闪烁从而产生SSVEP。在同一时间，两张相片的相框以随机的次序闪烁从而产生P300电位。患者被要求注视自己的相片或者别人的相片，并默数对应相框的闪烁次数。脑机接口通过P300和SSVEP检测来决定患者在注视哪张相片。

要完成实验任务，这需要很多认知能力，例如对指导语的语言理解能力，两张相片的对象选择能力，记住做什么的工作记忆以及持续的注意力(去注视目标相片10秒)。任何一种认知能力的缺失都有可能导致该任务的失败。此外，脑机接口研究中经常有假阴性的结果。因此，对于本实验中没能表现出听从命令能力的患者，我们不能直接认为他们就是没有意识的。然而，阳性的结果确实能表明这些患者存在认知功能，从而表明他们是有意识的。

一些现有的关于P300和SSVEP的研究能从另一方面支持我们的结论。一方面，P300一直被视为一个取决于注意力和工作记忆的认知电位。P300的调制是通过有意识的感知来完成的，如刺激掩蔽，注意形成和感觉缺失，这些都突出其作为意识标识的作用。另一方面，虽然目前的研究还不能很好地解释SSVEP特定的底层机制，但已经有一些研究指出SSVEP是一些认知变量(如注意，刺激分类和记忆搜索等)的反应。此外，P300和SSVEP都涉及到皮质区的一系列激活，并都依靠认知能力的。在本发明中，患者在两个Run的实验中都能产生P300(如图3、4)和SSVEP(如图5、6)响应。这表明他们能自愿调节自己的大脑活动，而这反应了一些认知能力。这些EEG证据能得到相同的结论，患者是有意识的。

同时，这些患者随后的康复情况证明了该系统的有效性。在参与这项研究的8位患者中，有1位患者(VS1)在反复的行为评估后被认定为完全处于植物状态。但是我们发现她能够使用基于P300和SSVEP的多模态脑机接口来选择目标相片，并达到可接受的操作水平。这意味着一些行为评估为VS的患者有残留的认知功能和甚至自觉意识。更有趣的是，1位MCS患者(MCS1)在实验中能使用我们的多模态脑机接口。在这之后的2个月，他已经恢复并脱离了MCS。而其他患者临床仍保持原来的状态不变。考虑到该患者已经没有与外界交流超过1年，并从来没有显示出听从命令的临床表现，这个实验结果对于患者及其家人是极其积极的。截至到发稿之前(实验后的10个月)，该患者的身体状况已得到进一步康复，并能用口头表达进行简单的交流。因此，我们的多模态脑机接口在识别意识障碍患者的认识水平可能比一些临床手段要更灵敏。

附图说明

图1为本发明所述的基于多模态脑机接口的意识状态检测方法的流程图；

图2为意识检测的范式示意图；

图3为患者在实验Run 1中通道“Pz”的平均P300波形图；其中，实线对应着包含P300的目标按钮，虚线对应着不包含P300的非目标按钮；

图4为患者在实验Run 2中通道“Pz”的平均P300波形图；其中，实线对应着包含P300的目标按钮，虚线对应着不包含P300的非目标按钮；

图5为患者在6Hz的目标频率下8个所选通道(“P7”，“P3”，“Pz”，“P4”，“P8”，“O1”，“Oz”和“O2”)的EEG信号的平均功率谱密度图；其中，颜色较深的点表示目标相片闪烁频率的谱能量，而颜色较浅的点表示非目标相片闪烁频率的谱能量；

图6为患者在7.5Hz的目标频率下8个所选通道(“P7”，“P3”，“Pz”，“P4”，“P8”，“O1”，“Oz”和“O2”)的EEG信号的平均功率谱密度图；其中，颜色较深的点表示目标相片闪烁频率的谱能量，而颜色较浅的点表示非目标相片闪烁频率的谱能量。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1，一种基于多模态脑机接口的意识状态检测方法，具体包含以下部分：

一、界面设计与控制机制:

为了引起患者的注意，我们使用脸部相片作为刺激，以此作为图形用户界面(GUI)。两张全脸的正面照从两个脸部相片集(每个相片集有10张相片)里随机抽取出来，并随机地放置在GUI的左边和右边。一张是患者自己的脸部相片，另一张是和患者同性别但患者不熟悉的脸部相片。每个患者的脸部相片都是从他们的家属中获得。在所有相片中，没有出现患者带眼镜或者脸部被头发遮挡的情况。我们对相片进行修剪，去掉多余的背景，但保留脸部的轮廓包括发型的不同。此外，我们使用Adobe公司的Photoshop 7.0(Adobe,San Jose,Calif)对相片进行统一处理，使得在白色背景上所有相片的全局亮度和对比度一致。每张脸部相片(大小：6.6厘米×9厘米)放置在一个相框(大小：8.6厘米×11厘米，边界宽度：1厘米)中。两个相框之间的水平距离是4厘米。相片、相框以及GUI的大小(面积)比例固定在0.07:0.1:1。

一张患者自己的脸部相片和一张患者不熟悉的脸部相片随机地放置在GUI的左边和右边。两张相片通过从出现到消失的形式分别以6.0Hz和7.5Hz闪烁，闪烁频率对应GUI的左边和右边。同时，两个相框通过变白色的形式分别以随机次序来增强(变白色)。

两张相片从出现到消失形式闪烁，其闪烁频率对应GUI的左边和右边分别为6.0Hz和7.5Hz。同时，两个相框分别以随机的顺序闪烁(变白色)，每两次闪烁之间包含200ms的增强和800ms的间隔。因此，一个round包含两个相框的闪烁，共需要持续2000ms(一个round被定义为每个相框闪烁一次的完整周期)。当用户想选择一种相片时，他/她需要注视相应的相片并默数相框闪烁的次数。通过这样界面，SSVEP通过相片的闪烁产生，与此同时，P300电位由相框的闪烁产生。

检测过程如图2阐述了意识检测的范式。每个患者进行两个Run的测试。在第一个Run，患者要求注视自己的相片，并默数自己相框的闪烁次数。在第二个Run，患者要求注视别人的相片，并默数别人相框的闪烁次数。每个阶段由5个block组成。每天只进行一个block的测试。每个block有10个trial。每个trial在开始的时候，系统在屏幕上方出现实验任务的指导语，并播放家属录制的指导语。指导语是：“注视自己(别人)的相片，默数自己(别人)相框的闪烁次数。”同时，两张相片，一张自己的脸部相片和一张别人的脸部相片，分别随机地展示在GUI的左边和右边。6秒后，两张相片进行周期的闪烁，两个对应的相框进行随机的闪烁。10秒后，相片停止闪烁和相框停止增强。系统把检测到的相片作为反馈结果呈现在GUI的中央。如果检测结果正确，持续4秒的掌声将会作为反馈用来增加患者的积极性。根据患者的疲劳程度，每个trial之间有短暂的休息时间，直至患者准备好。

二、脑电信号采集

我们采用Compumedics公司的NuAmps便携式放大器(Nuamps 7181,Compumedics USA,Charotte,NC)来记录头皮脑电信号。在信号采集过程中，患者头戴LT37型的脑电采集帽，坐在舒适的带扶手的轮椅上，并由一位医生和一位家属陪同。所有通道的脑电信号均以右耳突为参照，其中“HEOG”与“VEOG”两个通道代表眼球运动，故在这里被排除在外。本实验只采用“Fz”、“Cz”、“P7”、“P3”、“Pz”、“P4”、“P8”、“O1”、“Oz”与“O2”这10个通道的脑电信号。脑电采集过程中，所有电极的阻抗值皆为5kΩ以下。脑电信号以250Hz的频率采样，并在0.1至30Hz的范围内进行带通滤波。

三、数据处理和算法:

P300和SSVEP的检测是分开设计的。脑电数据被复制成两份，然后同时分别进入到两个检测流程中。图3显示P300和SSVEP检测的数据处理过程。具体使用的分析方法和算法如下所述:

1)P300电位检测：首先，脑电信号在0.1-10Hz频率范围内进行带通滤波，并进行1/5下采样。把每个通道采集的信号分割成数据单元，每个数据单元(40个数据点)都是从一组按钮闪烁后从0到800毫秒时间内以向量的形式表示。如果患者注视某一张相片，则该向量会包含一个P300的波形。然后，我们连接10个通道的向量，并通过平均所有5个round的闪烁，从而构造对应每个相框的特征向量。使用这些特征向量及它们对应的标记，通过这些训练集数据生成对应每位患者的支持向量机(SVM)分类器。生成的SVM分类器将在下面的在线P300检测中使用。

在在线的同步算法中，P300检测是每10秒进行一次，对应5个round相框的闪烁。同样地，通过对5次闪烁对应的5个round向量求平均，从而得到特征向量。把这些特征向量输入到前面生成的SVM分类器中，得到分别对应2个相框的2个分数。这2个分数代表两个相框在P300检测中的可信程度用于后面的决策阶段。

2)SSVEP检测：首先，在4Hz至20Hz的范围内对脑电信号进行带通滤波。其次，我们选取8个通道(“P7”,“P3”,“Pz”,“P4”,“P8”,“O1”,“Oz”和“O2”)中闪烁阶段的10秒数据向量(2500个数据点)，并采用最小能量结合的方法生产新的信号向量。使用傅立叶变换，我们计算新定义的信号向量的功率密度谱。然后，我们通过整合闪烁频率及其谐波的功率密度谱来计算SSVEP的能量。最后，我们计算每张相片的窄带能量和宽带能量的比率。在这里，窄带范围和宽带范围分别被设定为±0.1Hz和±1Hz。这2个比率分别代表两张相片在SSVEP检测中的可信程度用于后面的决策阶段。

3)决策阶段：我们采用相加的法则来结合前面P300检测的分数和SSVEP检测的比率，并通过找到相加值最大的索引来确定检测的目标，最后以检测的相片作为反馈。

4)评估标准：准确率是由正确响应的trial的数目除以全部trial的数目而得来。为了衡量准确率是否显著，我们通过统计命中(hit)与不命中(miss)的观察次数(observed frequencies)和理论次数(expected frequencies)，并根据下列公式进行卡方检测：

χ^{2} = Σ_{i = 1}^{k} \frac{{({fo}_{i} - {fe}_{i})}^{2}}{{fe}_{i}}

其中，fo_i和fe_i分别是第i(i＝1,2,...,k)个分类的观察次数和理论次数。在这里，观察项目分为两类(hit和miss)，fo₁和fo₂分别是hit和miss的观察次数，fe₁和fe₂分别是hits和misses的理论次数，以及自由度是分类项数k减1(即df＝1)。当使用两类BCI进行了50次判定时，在完全概率相等的情况下应该是命中(hit)和不命中(miss)的次数都应该是25。为了表明观察次数的显著性(p≤0.05)，检验统计量χ²(df＝1)需要大于3.84。即在50个trial中，患者需要在≥32个trial中正确响应。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于多模态脑机接口的意识状态检测方法，其特征在于，包含以下顺序的步骤：

S3.P300电位检测：

(1)头皮脑电信号在0.1-10Hz频率范围内进行带通滤波，并进行1/5下采样；

(2)连接10个通道的向量，并通过平均所有5个round的闪烁，从而构造对应每个相框的特征向量；使用这些特征向量及它们对应的标记，通过这些训练集数据生成对应每位患者的支持向量机分类器；

(3)通过对5次闪烁对应的5个round向量求平均，从而得到特征向量；把这些特征向量输入到前面生成的支持向量机分类器中，得到分别对应2个相框的2个分数；

S4.SSVEP检测：

(3)计算每张相片的窄带能量和宽带能量的比率；

S6.评估标准：通过统计命中与不命中的观察次数和理论次数，并根据下列公式进行卡方检测：

χ^{2} = Σ_{i = 1}^{k} \frac{{({fo}_{i} - {fe}_{i})}^{2}}{{fe}_{i}},

其中，fo_i和fe_i分别是第i(i＝1,2,...,k)个分类的观察次数和理论次数，观察项目分为命中、不命中两类，fo₁和fo₂分别是命中和不命中的观察次数，fe₁和fe₂分别是命中和不命中的理论次数，以及自由度是分类项数k减1，即df＝1；检验统计量χ²(df＝1)需要大于3.84，此时判断用户意识状态正常。

2.根据权利要求1所述的基于多模态脑机接口的意识状态检测方法，其特征在于，步骤S3中，所述的分别对应2个相框的2个分数代表两个相框在P300检测中的可信程度，用于后面的决策阶段。

3.根据权利要求1所述的基于多模态脑机接口的意识状态检测方法，其特征在于，步骤S4中，所述的8个通道具体为“P7”、“P3”、“Pz”、“P4”、“P8”、“O1”、“Oz”和“O2”。

4.根据权利要求1所述的基于多模态脑机接口的意识状态检测方法，其特征在于，步骤S4中，所述的窄带和宽带的范围分别被设定为±0.1Hz和±1Hz，所述的窄带能量和宽带能量的比率分别代表两张相片在SSVEP检测中的可信程度，用于后面的决策阶段。

5.根据权利要求1所述的基于多模态脑机接口的意识状态检测方法，其特征在于，步骤S4中，所述的10秒数据向量包含2500个数据点。