CN105266805A - 一种基于视听觉脑机接口的意识状态检测方法 - Google Patents

Abstract

本发明公开了一种基于视听觉脑机接口的意识状态检测方法，包括步骤：1)界面设计；2)信号采集；3)检测过程；4)数据处理；5)统计结果与评估。本发明引入基于视听觉脑机接口来提高其检测存留认知功能和潜在意识的可能。两个数字按键以随机的次序闪烁从而产生视觉相关的ERP电位。在同一时间，两张数字的声音同时出现从而产生听觉相关的ERP电位。而同时出现的视觉和听觉刺激会产生视听觉整合效应，比单视觉和听觉的脑机接口相比，能提高系统的准确率以及增加ERP响应波形，从而提高系统的有效性和准确性，达到服务于意识状态检测临床和科研的目的。

Description

一种基于视听觉脑机接口的意识状态检测方法

技术领域

本发明涉及脑机接口与意识障碍检测的技术领域，尤其是指一种基于视听觉脑机接口的意识状态检测方法。

背景技术

许多车祸或脑缺氧导致的大脑严重创伤的病人从昏迷状态清醒后往往会进入意识障碍状态。而根据病人觉知水平的不同，该该类患者可分为多个临床状态，如植物状态(vegetativestate,VS)、最小意识状态(minimallyconsciousstate,MCS)等。一般来说，不同意识障碍程度的患者需要不同的治疗方案，因此，准确判定患者的意识障碍水平显得异常重要。

目前，临床上评定患者的意识障碍程度主要依靠量表(例如，Glasgow格拉斯哥昏迷量表、JFK昏迷恢复量表等)以及临床经验，通过检查眼睛、言语和运动三方面刺激所引起的反应来进行综合评价。这类方法简单易行，对急性脑损伤后昏迷简捷有效，但对于VS和MCS患者则显得过于粗糙。有时对病情变化的敏感度不高，不能确切反映临床实际情况，因此行为判断往往带有一定主观性和不可预测性。

脑机接口(braincomputerinterface，BCI)是指在人脑和计算机或其它电子设备之间建立的直接的交流和控制通道，它不依赖于脑的正常生理输出通路(外周神经系统及肌肉组织)，是一种全新的人机接口方式，是近年来脑功能研究的热点课题。脑机接口的主要目的是残疾人的神经功能辅助与康复。如今，一种新的脑机接口用途是对意识障碍患者进行意识状态的检测。

目前用于检测意识状态的脑机接口方法全部采用基于单听觉或者单视觉刺激来实现。单听觉脑机接口和单视觉脑机接口的一个通病就是准确率低。目前从正常人的使用情况来看，视听觉脑机接口要比单听觉脑机接口和单视觉脑机接口的准确率要好得多。本发明设计的就是采用视听觉脑机接口来进行意识障碍患者的意识检测。

本发明使用数字作为刺激语义素材，设计出同时发出视觉和听觉刺激的视听觉脑机接口，受试者受视听觉刺激的影响后能产生视听觉整合效应，产生两个或多个不同的脑信号，从而提高脑机接口的性能，例如，分类准确率，从而达到服务于意识状态检测临床和科研的目的。

本发明的难点在于设计视听觉脑机接口，视听觉刺激为同方位同时出现的语义匹配的视觉和听觉刺激，如果不同方位或者不同时间或者视觉和听觉刺激含义不一致，就难以产生视听觉效应，达不到预期的检测效果。

发明内容

本发明针对现有临床诊断采用量表以及临床经验检测对病情变化的敏感度不高、主观性太强以及单视觉或单听觉脑机接口检测准确率太低的缺陷，提供一种基于视听觉脑机接口的意识状态检测方法。采用同步语义匹配的视听觉刺激后，比临床量表和经验检测更准确，同时比功能性磁共振成像(functionalmagneticresonanceimaging，fMRI)的方法更便宜、便捷、方便。

为实现上述目的，本发明所提供的技术方案为：一种基于视听觉脑机接口的意识状态检测方法，包括以下步骤：

1)界面设计

选用个位数字作为刺激语义素材，界面呈现时电脑从0-9中随机抽取了2个作为刺激，并随机地放置在图形用户界面的左边和右边，两个喇叭放置在显示器的两侧，每次刺激出现时，视觉刺激是数字按键的闪烁，即屏幕上的数字按键的底色从黑色变成绿色，而按键上数字从白色变成黑色，听觉刺激是闪烁的数字的女声录音，听觉刺激与视觉刺激同时同一侧出现；

2)信号采集

在信号采集过程中，受试者戴上脑电采集帽，就坐于刺激端显示器前，显示器高度调至平视水平，所有通道的脑电信号均以右耳突为参照，其中“HEOG”与“VEOG”两个通道代表眼球运动，故在这里被排除在外，实验采用所有的32个通道的脑电信号，脑电采集过程中，所有电极的阻抗值皆为5kΩ以下，脑电信号以250Hz的频率采样，并在0.1至30Hz的范围内进行带通滤波；

3)检测过程

每一个受试者需要做至少2次测试，每次测试需要完成至少5个选择任务，第一次测试的数据用于训练模型，而后面的测试将用于得到最终的检测结果；

每一个选择任务的过程如下：

①指导语播放，在开始的时候，系统在屏幕上方出现实验任务的指导语，并在两侧喇叭中播放，同时两个数字，分别随机地展示在图形用户界面的左边和右边；

②刺激呈现，指导语播完后，两张数字按键进行随机的闪烁，每个数字按键闪烁5次后下一个按键闪烁5次，每一次选择任务中每个按键闪烁十次，而轮流的次序随机，每次闪烁的时间至少为100毫秒，两次闪烁的间隔为700-1500毫秒；

③闪烁完成后，系统把数据实时处理后，把结果呈现在屏幕中央，持续至少2秒，如果正确，则出现一个“√”，并出现选择的数字，同时喇叭中播放鼓掌声，如果错误，则出现“×”，并出现选择的数字，喇叭不播放声音；

④结果呈现后，受试者休息；

4)数据处理

刺激呈现完成后，放大器把数据实时输送到电脑中，系统中的算法立即对实时数据进行处理，处理算法如下：

首先，脑电信号在0.1-20Hz频率范围内进行带通滤波，并进行1/5下采样；把每个通道采集的信号分割成数据单元，每个数据单元都是从一组按钮闪烁后从0到500毫秒时间内以向量的形式表示；如果受试者注视某一个数字，则该向量会包含一个ERP的波形；然后，连接32个通道的向量，并通过平均所有10次闪烁的数据，从而构造对应每个数字按键的特征向量；把这些特征向量输入到使用训练数据生成的SVM分类器中，得到分别对应2个数字的2个分数；最大的SVM分数所对应的数字按键就是受试者所选择的按键；

5)统计结果与评估

对测试结果进行统计，并通过准确率和ERP波形来评估被试的意识状态；

准确率评估标准：准确率是由正确的任务数目除以全部任务的数目而得来，为了衡量准确率是否显著，通过统计命中与不命中的观察次数和理论次数，并根据下列公式进行卡方检测：

${\mathrm{\χ}}^2=\underset{i=1}{\overset{k}{\Σ}}\frac{{({\mathrm{fo}}_i-{\mathrm{fe}}_i)}^2}{{\mathrm{fe}}_i}$

其中，fo_i和fe_i分别是第i(i＝1,2,...,k)个分类的观察次数和理论次数；在这里，观察项目分为两类，fo₁和fo₂分别是命中和不命中的观察次数，fe₁和fe₂分别是命中和不命中的理论次数，以及分类项数k是自由度,即k＝1；当使用两类BCI进行所有判定时，在完全概率相等的情况下应该是命中和不命中的次数都应该是相等的，为了表明观察次数的显著性，即概率p≤0.05，自由度为1时，检验统计量X²需要大于3.84；

将所有任务的脑电信号，在0.1-20Hz频率范围内进行带通滤波，然后把每个通道采集的信号分割成0-500毫秒时间对应的数据单元，把所有重复次数和任务次数的数据平均后，按照目标和非目标区分，可以分别画出它们所对应的响应波形，通过潜伏期、波幅这些指标，判断受试者是否产生了ERP波形，最后结合命中率来判断受试者是否存在意识，若受试者产生了ERP波形，且命中率合格，则判断受试者存在意识，若受试者没有产生ERP波形，且命中率不合格，则判断受试者不存在意识，若受试者没有产生ERP波形但命中率合格或者命中率不合格但产生ERP波形，则受试者有待观察。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明引入基于视听觉脑机接口来提高其检测存留认知功能和潜在意识的可能。两个数字按键以随机的次序闪烁从而产生视觉相关的ERP电位。在同一时间，两张数字的声音同时出现从而产生听觉相关的ERP电位。而同时出现的视觉和听觉刺激会产生视听觉整合效应，比单视觉和听觉的脑机接口相比，能提高系统的准确率以及增加ERP响应波形，从而提高系统的有效性和准确性，达到服务于意识状态检测临床和科研的目的。

2、本发明采用基于脑机接口的检测方法，克服了临床量表和经验检测的对病情变化的敏感度不高、主观性太强等缺点，同时，与fMRI费用高、不便携(只能在大型医院的核磁共振室进行)以及严格的身体要求(不能带金属支架，不准移动身体等诸多限制)等相比，能更方便的应用以及方便，可以很好应用到临床上。

3、本发明不但可以有效应用于意识障碍患者诊断、康复的效果判断和治疗疗效的跟踪，还可以为常规性的量表诊断提供科学客观的检测数据，以保证检测结果的真实性和有效性。

附图说明

图1为本发明所述基于视听觉脑机接口的意识状态检测方法的界面示意图。

图2为本发明所述基于视听觉脑机接口的意识状态检测方法的刺激编排示意图。

图3为受试者所产生的ERP波形图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本实施例所述的基于视听觉脑机接口的意识状态检测方法，其具体情况如下：

1)界面设计

本发明所使用的图形用户界面(GUI)如图1所示。界面呈现时电脑从0-9中随机抽取了2个(例如图1中的6和8)作为刺激，并随机地放置在GUI的左边和右边。两个数字按键的大小都是6.6厘米×9厘米，两个数字按键的水平距离是4厘米。两个喇叭放置在显示器的两侧。每次刺激出现时，视觉刺激是数字按键的闪烁，即屏幕上的数字按键的底色从黑色变成绿色，而按键上数字从白色变成黑色，听觉刺激是闪烁的数字的女声录音，听觉刺激与视觉刺激同时同一侧出现。

2)信号采集

我们采用Compumedics公司的NuAmps便携式放大器(Nuamps7181,CompumedicsUSA,Charotte,NC)来记录头皮脑电信号。在信号采集过程中，被者头戴LT37型的脑电采集帽，就坐于刺激端显示器前，与显示器的距离为80-100，显示器高度调至平视水平。所有通道的脑电信号均以右耳突为参照，其中“HEOG”与“VEOG”两个通道代表眼球运动，故在这里被排除在外。本实验采用所有的32个通道的脑电信号。脑电采集过程中，所有电极的阻抗值皆为5kΩ以下。脑电信号以250Hz的频率采样，并在0.1至30Hz的范围内进行带通滤波。

3)检测过程

受试者需要做至少2次测试，在本实施例中具体做6次，每次测试需要完成至少5个选择任务，在本实施例中具体完成10次。第一次测试的数据用于训练模型，而后5次的测试将用于得到最终的检测结果。

每一个选择任务的过程如图2，其情况如下：

①指导语播放，在开始的时候，系统在屏幕上方出现实验任务的指导语，并在喇叭中播放(两侧喇叭都播放)。指导语是：“一直看着数字6，默数数字6的闪烁次数。”同时，两个数字(如图2中6和8)，分别随机地展示在GUI的左边和右边。

②刺激呈现，指导语播完后，两张数字按键进行随机的闪烁。每个数字按键闪烁5次后下一个按键闪烁5次，每一次选择任务中每个按键闪烁十次，而轮流的次序随机。每次闪烁的时间至少为100毫秒，在本实施例中具体是300毫秒，两次闪烁的间隔为700-1500毫秒。

③闪烁完成后，系统把数据实时处理后，把结果呈现在屏幕中央，持续至少2秒，在本实施例中具体是4秒。如果正确，则出现一个“√”，并出现选择的数字，同时喇叭中播放鼓掌声。如果错误，则出现“×”，并出现选择的数字，喇叭不播放声音。

④结果呈现后，在本实施例中受试者休息2秒。

4)数据处理

刺激呈现完成后，放大器把数据实时输送到电脑中，系统中的算法立即对实时数据进行处理，处理算法如下：

首先，脑电信号在0.1-20Hz频率范围内进行带通滤波，并进行1/5下采样。把每个通道采集的信号分割成数据单元，每个数据单元(25个数据点)都是从一组按钮闪烁后从0到500毫秒时间内以向量的形式表示。如果受试者注视某一个数字，则该向量会包含一个ERP的波形。然后，我们连接32个通道的向量，并通过平均所有10次闪烁的数据，从而构造对应每个数字按键的特征向量。把这些特征向量输入到使用训练数据生成的SVM分类器中，得到分别对应2个数字的2个分数。最大的SVM分数所对应的数字按键就是被试所选择的按键。

5)统计结果与评估

我们把5次测试结果统计，并通过准确率和ERP波形来评估被试的意识状态。

准确率评估标准：准确率是由正确的任务数目除以全部任务的数目而得来。为了衡量准确率是否显著，我们通过统计命中(hit)与不命中(miss)的观察次数(observedfrequencies)和理论次数(expectedfrequencies)，并根据下列公式进行卡方检测：

${\mathrm{\χ}}^2=\underset{i=1}{\overset{k}{\Σ}}\frac{{({\mathrm{fo}}_i-{\mathrm{fe}}_i)}^2}{{\mathrm{fe}}_i}$

其中，fo_i和fe_i分别是第i(i＝1,2,...,k)个分类的观察次数和理论次数。在这里，观察项目分为两类(hit和miss)，fo₁和fo₂分别是hit和miss的观察次数，fe₁和fe₂分别是hits和misses的理论次数，以及分类项数k是自由度(即k＝1)。当使用两类BCI进行了50次判定时，在完全概率相等的情况下应该是命中(hit)和不命中(miss)的次数都应该是25。为了表明观察次数的显著性，即概率p≤0.05，检验统计量X²(自由度为1)需要大于3.84。即在50个任务中，被试需要达到至少32个正确响应。

我们将所有50个任务的脑电信号，在0.1-20Hz频率范围内进行带通滤波，然后把每个通道采集的信号分割成0-500毫秒时间对应的数据单元，把所有重复次数和任务次数的数据平均后，按照目标和非目标区分，可以分别画出它们所对应的响应波形。通过潜伏期、波幅等指标，判断被试是否产生了P300等ERP波形，最后结合命中率来判断受试者是否存在意识，若受试者产生了ERP波形，且命中率合格，则判断受试者存在意识，若受试者没有产生ERP波形，且命中率不合格，则判断受试者不存在意识，若受试者没有产生ERP波形但命中率合格或者命中率不合格但产生ERP波形，则受试者有待观察。

该受试者在50个任务中命中了42个正确响应，远远大于32次，同时该受试者的波形如图3所示，从图3中可以很明显看到目标波形中含有P100、N200、P300，而非目标波形不含有。因此，该受试者判断为有意识。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (1)

1.一种基于视听觉脑机接口的意识状态检测方法，其特征在于，包括以下步骤：

1)界面设计

选用个位数字作为刺激语义素材，界面呈现时电脑从0-9中随机抽取了2个作为刺激，并随机地放置在图形用户界面的左边和右边，两个喇叭放置在显示器的两侧，每次刺激出现时，视觉刺激是数字按键的闪烁，即屏幕上的数字按键的底色从黑色变成绿色，而按键上数字从白色变成黑色，听觉刺激是闪烁的数字的女声录音，听觉刺激与视觉刺激同时同一侧出现；

2)信号采集

在信号采集过程中，受试者戴上脑电采集帽，就坐于刺激端显示器前，显示器高度调至平视水平，所有通道的脑电信号均以右耳突为参照，其中“HEOG”与“VEOG”两个通道代表眼球运动，故在这里被排除在外，实验采用所有的32个通道的脑电信号，脑电采集过程中，所有电极的阻抗值皆为5kΩ以下，脑电信号以250Hz的频率采样，并在0.1至30Hz的范围内进行带通滤波；

3)检测过程

每一个受试者需要做至少2次测试，每次测试需要完成至少5个选择任务，第一次测试的数据用于训练模型，而后面的测试将用于得到最终的检测结果；

每一个选择任务的过程如下：

①指导语播放，在开始的时候，系统在屏幕上方出现实验任务的指导语，并在两侧喇叭中播放，同时两个数字，分别随机地展示在图形用户界面的左边和右边；

②刺激呈现，指导语播完后，两张数字按键进行随机的闪烁，每个数字按键闪烁5次后下一个按键闪烁5次，每一次选择任务中每个按键闪烁十次，而轮流的次序随机，每次闪烁的时间至少为100毫秒，两次闪烁的间隔为700-1500毫秒；

③闪烁完成后，系统把数据实时处理后，把结果呈现在屏幕中央，持续至少2秒，如果正确，则出现一个“√”，并出现选择的数字，同时喇叭中播放鼓掌声，如果错误，则出现“×”，并出现选择的数字，喇叭不播放声音；

④结果呈现后，受试者休息；

4)数据处理

刺激呈现完成后，放大器把数据实时输送到电脑中，系统中的算法立即对实时数据进行处理，处理算法如下：

首先，脑电信号在0.1-20Hz频率范围内进行带通滤波，并进行1/5下采样；把每个通道采集的信号分割成数据单元，每个数据单元都是从一组按钮闪烁后从0到500毫秒时间内以向量的形式表示；如果受试者注视某一个数字，则该向量会包含一个ERP的波形；然后，连接32个通道的向量，并通过平均所有10次闪烁的数据，从而构造对应每个数字按键的特征向量；把这些特征向量输入到使用训练数据生成的SVM分类器中，得到分别对应2个数字的2个分数；最大的SVM分数所对应的数字按键就是受试者所选择的按键；

5)统计结果与评估

对测试结果进行统计，并通过准确率和ERP波形来评估被试的意识状态；

准确率评估标准：准确率是由正确的任务数目除以全部任务的数目而得来，为了衡量准确率是否显著，通过统计命中与不命中的观察次数和理论次数，并根据下列公式进行卡方检测：

${\mathrm{\χ}}^2=\underset{i=1}{\overset{k}{\Σ}}\frac{{\left({\mathrm{fo}}_i-{\mathrm{fe}}_i\right)}^2}{{\mathrm{fe}}_i}$

其中，fo_i和fe_i分别是第i个分类的观察次数和理论次数，i＝1,2,...,k；在这里，观察项目分为两类，fo₁和fo₂分别是命中和不命中的观察次数，fe₁和fe₂分别是命中和不命中的理论次数，以及分类项数k是自由度,即k＝1；当使用两类BCI进行所有判定时，在完全概率相等的情况下应该是命中和不命中的次数都应该是相等的，为了表明观察次数的显著性，即概率p≤0.05，自由度为1时，检验统计量X²需要大于3.84；

将所有任务的脑电信号，在0.1-20Hz频率范围内进行带通滤波，然后把每个通道采集的信号分割成0-500毫秒时间对应的数据单元，把所有重复次数和任务次数的数据平均后，按照目标和非目标区分，可以分别画出它们所对应的响应波形，通过潜伏期、波幅这些指标，判断受试者是否产生了ERP波形，最后结合命中率来判断受试者是否存在意识，若受试者产生了ERP波形，且命中率合格，则判断受试者存在意识，若受试者没有产生ERP波形，且命中率不合格，则判断受试者不存在意识，若受试者没有产生ERP波形但命中率合格或者命中率不合格但产生ERP波形，则受试者有待观察。