CN101853070A - 前额脑电与血氧信息融合的人机交互装置 - Google Patents

Abstract

本发明涉及脑机接口技术领域。为提供一种新的将想象动作诱发的前额脑电与脑血氧两类信息的变化特征相结合来实现对不同动作模式的识别的研究方法，以及设计一种新的同步采集这两类信息变化特征的人机交互装置，本发明采用的技术方案是：前额脑电与血氧信息融合的人机交互装置，包括：近红外光光源、光电探测器、滤波和后级放大电路、脑电电极、脑电放大器、计算机，计算机用于信号变换、处理得到结果。本发明主要应用于前额脑电与血氧信息融合的人机交互装置的设计制造。

Description

前额脑电与血氧信息融合的人机交互装置

技术领域

本发明涉及脑-机接口技术领域，具体讲，涉及前额脑电与血氧信息融合的人机交互装置。

背景技术

第一次脑-机接口(Brain-Computer Interface，BCI)国际会议给出的BCI的定义是：“BCI是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。”目前的研究成果中，它主要是通过采集和分析不同状态下人的脑电信号，然后使用一定的工程技术手段在人脑与计算机或其它电子设备之间建立起直接的交流和控制通道，从而实现一种全新的信息交换与控制技术，可以为残疾人特别是那些丧失了基本肢体运动功能但思维正常的病人提供一种与外界进行信息交流与控制的途径。即可以不需语言或肢体动作，直接通过控制脑电来表达意愿或操纵外界设备。为此，BCI技术也越来越受到重视。

到目前为止，最常用的BCI系统大都是基于脑电信息的，近年来出现了基于脑血氧信息的BCI系统。其技术原理是一致的。如图1所示，含有操作控制意图的脑电信息(血氧信息)通过电极(探测器)从头皮或颅内获得，经过信号处理提取反映使用者意图的脑电信息(血氧信息)特征，并将之转化为控制外部设备的操作命令。并且BCI研究的主要应用目标是帮助肢体严重瘫痪的残疾人操纵和使用周边日常生活工具，以实现对外界的信息交流和设备控制。

发明内容

为克服现有技术的不足，本发明的主旨是提出一种新的将想象动作诱发的前额脑电与脑血氧两类信息的变化特征相结合来实现对不同动作模式的识别的研究方法，以及设计一种新的同步采集这两类信息变化特征的人-机交互装置。

为达到上述目的，本发明采用的技术方案是：前额脑电与血氧信息融合的人机交互装置，包括：

近红外光光源，用于发光照射到大脑皮层；

光电探测器，用于探测反射回的光强，光强信息发生的变化间接反映脑血氧的变化；

滤波和后级放大电路，用于对光电探测器输出的信号进行滤波和放大，滤波和放大后的信号经数据采集卡输入到计算机；

脑电电极，用于探测功率谱比率下降ERD信号；

脑电放大器，用于对脑电电极输出信号进行放大和滤波，滤波和放大后的信号经数据采集卡输入到计算机；

计算机包括：

时频分析短时傅里叶变换模块，用于以短时傅里叶变换方法得到脑电信号的二维时频图谱；

对不同模式的想象动作之间的可分性作离散Fisher分析，得到Fisher系数的二维时频图谱，从图谱上找到Fisher系数明显较大的位置对应的时间段和频率段，这样取得的时频窗以及它对应到短时傅里叶变换得到的二维时频图的时频窗后得到功率谱密度值作为提取到的一个特征；

对数字信号进行离散Fourier变换分析，经过变换之后，时域的脑血氧信号转换为频域信号，从得到的频域信号，也就是频谱图上寻找频率段的特征；

提取到的特征用来训练SVM分类器，训练后得到一个模型，然后再利用这个模型来对未知模式类型的想象动作进行分类，得到的结果即为未知模式想象动作的模式识别结果以及得到识别正确率。

近红外光光源发出的近红外光波长为760nm和850nm。

所述滤波和后级放大电路，其中的后级放大电路为可调增益的同相比例运算电路；滤波为采用二阶巴特沃斯低通滤波器。

脑电电极附着在成人头部前额叶皮层的背外侧和部分腹外侧脑区，外侧用特殊遮光材料将表面除光源和探测器之外其余部分都覆盖，源标距设定为2.89cm。

本发明特点在于：实验过程在前额上进行，方便操作的同时，也避免了头发及头皮对信号采集的影响，也可让身体瘫痪但头脑功能正常的残疾人在使用该装置时避免了使用前后洗头的必要。进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益。

附图说明

图1BCI系统及其控制。

图2本发明装置的结构框图。

图3HbO2和Hb在近红外光谱区的吸收系数。

图4蒙特卡洛仿真示意图。

图5恒流源电路设计。

图6前额探测装置布局。

图7后级放大滤波电路图。

图8想象动作任务时段分布图。

图9想象动作任务静息期界面。

图10想象动作任务提示期界面。

图11想象动作任务想象期界面。

图12实验采集程序的流程框图。

具体实施方式

发明设计了一种基于想象动作的脑电与脑血氧同步采集的人-机交互装置。正常人在进行想象左右手动作时会在相应功能区产生我们称之为事件相关去同步现象(Event RelatedDesynchronization，ERD)的脑电特征信号，而同时也会引起脑部血氧信息的变化，这种变化可以通过近红外光谱技术(Near-infrared spectroscopy，NIRS)来测得。本装置就设计将想象动作引起的这两类信号的变化特征结合起来对不同模式的想象动作进行识别，以期能够实现两者的同步与结合，并得到更高的识别准确率。其技术流程是：搭建好一个能够在人头部前额区域同时对脑电和脑血氧变化信息进行采集的装置，然后在实验系统指导下，采集操作者的在执行不同模式想象动作时产生的脑电和脑血氧信号数据，将其存储后再进行一定的预处理、时频分析、Fisher可分性分析，最后使用支持向量机或隐马尔科夫模型对不同模式的数据进行分类，得到更高的正确率。

本发明选用了脑电信息中的ERD特征和脑血氧信息中的特征变化作为特征控制信号。当人对肢体动作进行想象的时候动态脑电信号特征频段功率谱密度就会发生改变，其中功率谱比率下降称为ERD，通常在10-12Hz最为明显；同时脑血流中的含氧血红蛋白和去氧血红蛋白的浓度发生变化，可以提取到浓度变化引起的光谱强度变化特征。由此可以利用大脑在进行想象动作思维时所引发的ERD现象和血氧变化特征现象作为思维活动对刺激事件有效应答的标志。区别于传统脑电装置，本发明将想象动作诱发的脑电ERD现象和血氧变化现象两种不同的特征信息有机地融合在一起，设计了一种新型的复合型装置。通过在受试者前额上与C3、C4相对的位置放置Ag-Agcl电极来检测脑电ERD特征，同时在前额上按一定布局放置近红外光源和探测器以检测血氧信息的变化，从而提取受试者想象动作时的脑电与脑血氧信息的变化特征用作识别不同动作模式的分类标准。该装置的实验操作过程在前额进行，相对头部脑电装置的实验操作要简单，只需解决两类信息同步采集的问题即可。

图2为本发明装置的结构示意图。该设计包括脑电电极和脑电放大器，近红外光源及探测器和光源恒流驱动，后级放大、滤波电路，数据采集卡、计算机等部分。采集脑电和脑血氧信息的实验程序是在Labview平台下设计的，使用多通道的数据采集卡实现想象动作时脑部两类信息的同步采集。受试者由计算机屏幕上的实验例程指示进行相应的想象动作任务，执行任务时脑电和脑血氧信息都会产生相应的变化：脑电信号在大脑皮层产生，由脑电电极探测后经过脑电放大器放大、滤波，然后进入数据采集卡进行模数转换后输入计算机；脑血氧信号则是在光源发光照射到大脑皮层后，由探测器探测反射回的光强信息发生的变化间接反映脑血氧的变化，该信号经过后继放大、滤波后经数据采集卡模数转换后输入计算机。采集到得脑电和脑血氧信息数据再经过后续的数据处理提取其在想象动作任务时的特征信号，从而将这些特征应用于未知想象动作模式时同类实验任务的模式识别。

本发明要点在于近红外光谱技术测量脑部血氧信息变化的原理、想象动作诱发的脑电与脑血氧变化信号采集装置的设计、同步采集实验方案的设计、实验数据的特征提取及模式识别等技术环节。

1近红外光谱技术测量脑部血氧信息变化的原理

近红外光谱技术：Near-Infrared Spectroscopy(NIRS)，是指通过研究物质在近红外光区的吸收光谱来得知物质特性和浓度等的一种技术。其检测脑部血流变化的原理是：大脑的血流供应会随着功能活动的局部变化而产生局部响应。当大脑处于激活状态时，会引起局部脑血流与氧代谢率改变，从而引起相应区域内血氧浓度的变化。

人体组织对近红外光700-900nm呈现高度前向散射和低吸收特性，使光子能够穿透几个厘米的深度；HbO2和Hb在近红外光谱区的吸收系数有明显差异。脑血氧信息中的HbO2和Hb的浓度变化由相应波长处光强度的变化来计算(修正后的双波长Lambert-Beer定律)。

(1)、最佳波长的选取：

上述原理中提到的两个波长该如何选取，是首先应该考虑的问题。成人脑组织中，水的体积分数很高，因此水的吸收对近红外血氧检测有很大影响。而水的光吸收作用在700-900nm(“光窗口”区)相对较低。在该光窗口内水可视作固定不变的吸收物质，就可以当作常数考虑。实际临床中脑脊液的吸收特性与水相当，也当作常数。脑组织中的其他成分，如脂肪、黑色素、细胞色素氧化酶等这些成分基本不随供氧状况而改变，在前期研究阶段可看作稳定吸收体，因此最佳波长的选取主要依据Hb和HbO2光谱特性。

上述两类血红蛋白的近红外吸收特性见图3。在光窗口区，两者的吸收光谱都存在峰值。从图上可以看出：在760nm波长，Hb吸收达到峰值；在850nm波长，HbO2达到吸收峰值。因此，我们选取760nm和850nm这两个波长的近红外光以用于脑血氧信息的检测。

(2)、源标距的确定：

源标距是指光源与目标测试点之间的水平距离。在本设计中，即指近红外光源与光探测器之间的水平距离。文献表明，源标距对光束的穿透深度影响很大，因此只有反射式才能达到头部组织的测量目的。

人体组织对近红外光的散射大于吸收，属于强散射介质。单个光子在组织中的传播是随机的，不存在确定的光子行进的路径长度。但大量光子仍存在概率意义上的平均迁移规律，这可以通过蒙特卡洛仿真的方法得到，如图4所示。结果证明，光子能够在源标距(图4中r)设定为2.89cm的情况下，穿透至少1cm后的头皮、头骨和脑脊液层，探测大脑皮层的血氧信息。

2想象动作诱发的脑电与脑血氧变化信号采集装置的设计

(1)、光源及光源恒流驱动：

采用EPITEX公司生产的型号为SMT-L760/805/850的三波长发光二极管作为光源。芯片内部集成了测量所需的760、805、850nm三个波长的LED，以保证组织血氧变化时HbO2和Hb对不同波长光吸收的差动效应。采用多波长一体化光源不仅可以优化探头体积，而且能够充分消除普通的分立型发光二极管因为空间位置离散对测量结果造成的影响。

该型号的发光二极管正常工作需要给予稳定的电流供电，故需利用电压基准设计恒流源电路。本设计采用稳压管作为电压基准，结合三极管组成恒流源，如图5所示。电流计算公式为：I＝(Vd-Vbe)/R1。这样输出的恒流可以为电源供电，通过选择R1来满足电流要求。其中760nm发光二极管需75mA电流供电，850nm发光二极管需要100mA电流供电。

(2)、探测器：

采用BURR-BROWN公司生产的OPT101作为光信号探测单元，该器件内部集成了一个雪崩光电二极管和前置放大器，减少了分立元件的许多常见问题，如：漏电流产生的误差，杂散电容产生的噪声和增益畸变等。

(3)、脑电电极：

本系统采用Spes Medica公司生产的银-氯化银电极作为传感器拾取前额脑电信号。脑电信号采集使用单极导联方式(优点在于每个导联记录的是电极所在头皮电位活动的绝对值，便于后期信号处理)，并以双耳的公共连接作参考电极，同时后者也作为接地端输入放大器。

(4)、布局设计：

本设计覆盖成人头部前额叶皮层的背外侧和部分腹外侧脑区，外侧用特殊遮光材料将表面除光源和探测器之外其余部分都覆盖，如图6所示。红色点和白色点分别表示光源和探测器的位置，根据之前分析，源标距设定为2.89cm，从而得到如图布局；而绿色点则表示脑电电极的位置。遮光材料可达到排除外界杂散光的干扰、防止近红外光不经过组织衰减而直接耦合到探测器上、避免器件直接接触皮肤和确保被试者的安全。

(5)、后级放大、滤波电路设计：

人体的各种信号幅度都是比较小且容易掺杂噪声的，需要进行放大和滤波处理。脑电电极采集到得脑电信号直接进入脑电放大器(SYMTOP公司生产的9216SM型EEG信号放大器)，在放大器内完成放大和滤波；而血氧信号由探测器探测到后还需要进一步后级放大和滤波。该设计采用可调增益的同相比例运算电路作为后级放大电路，它可以避免前级输出的微弱信号失真同时提高共模抑制比；降低输出电阻，便于和数据采集卡的模拟输入端级联。采用二阶巴特沃斯低通滤波器增加系统对高频噪声的抑制能力，对10KHz以上的噪声信号有极大的抑制，因此对于大多数空间的电磁干扰能够很好的排除。具体参看图7。

经过放大和滤波后的脑电和脑血氧信号都与数据采集卡(NI公司生产的USB-6251)的模拟输入端级联，经模数转换后输入到计算机中形成数据文件。

3同步采集实验方案的设计

在硬件系统搭建完成后，就要完善硬件系统的软支持，也就是实验采集程序、方案。在Labview平台下编写实验采集程序，实现使用数据采集卡的多输入通道同步采集脑电和脑血氧信号。单次实验的过程如图8所示，其中每一次想象动作任务用时28秒，包括四个连续的记录时段(图8)：第一时段(0-8秒)为静息期，此时段中受试者处于安静无动作状态(图9)；第二时段(第9-10秒)为提示期，系统于第8秒时刻处随机点亮标注为想象左手的灯或想象右手的灯，作为本次实验的想象方式提示。若提示为想象左手，受试者在第三时段想象自己左上肢做屈臂运动；若提示为想象右手，则受试者在第三时段想象自己右上肢做屈臂运动(图10)；第三时段(第11-20秒)为想象期，在第10秒钟时刻标注为开始的灯会点亮，受试者按照提示期所给出的想象方式进行想象动作(图11)；第四时段(第21-28秒)为静息期，为想象期之间的间歇期，此时段与第一时段一样所有提示灯会熄灭。

该实验采集程序的编写是按照如图12所示框图的流程进行的，由信号采集模块对输入采集卡模拟输入端的脑电和脑血氧信号进行采集，经数据预处理模块后存储为带有标签的数据，这些数据再在后续的模式识别模块中进行处理。

4实验数据的特征提取及模式识别

4.1脑电数据的特征提取

(1)、时频分析-短时傅里叶变换

由于想象动作引起的脑电ERD现象有着特定的发生频段和相对于诱发刺激固定的时间延迟，因此可以采用短时傅里叶变换结合叠加平均的方法对刺激前后的频谱成分变化以及分布特点进行分析。常用的谱分析方法中暗含着对于处理信号的平稳性假设，也即是假设信号的频谱成分在整个时间轴上是同分布的，而对于时间相关的诱发动态脑电信号而言，这一假设显然不成立。针对这种情况，替代方法是使用可以同时提取时域与频域信息的时频分析方法，短时傅里叶分析是目前常用的时频分析方法之一，它假设脑电信号具有一定程度的短时平稳性，也即是在一个有限的时间窗内信号的频谱分布式不变的。

短时傅里叶变换的方法是首先使用一个有限宽度的观察窗W(t)对信号x(t)进行观察，然后对加窗后的信号进行傅立叶变换得到的，

$\mathrm{STFT}(t,\mathrm{\ω})=\underset{-\∞}{\overset{+\∞}{\∫}}x\left(\mathrm{\τ}\right)W^{*}(\mathrm{\τ}-t)e^{-\mathrm{j\ω\τ}}\mathrm{d\τ}---(3-2)$

这里ω是角频率，W^*(τ-t)是W(τ-t)的复共轭函数。

当把有限取值长度的观察窗沿时间轴平移，即可在二维的时频平面上得到信号的频谱分布随时间变化的信息，这样可以得到脑电信号的二维时频图谱。

(2)、Fisher可分性分析与特征提取

可分性分析是特征提取中的常用方法，它主要用来评价特征参数在不同类别样本中的分布是否具有明显的差异，一般来说差异度越大的参数越适于作为样本的分类的特征值。

对于想象动作诱发脑电信号而言，一种类型的动作任务脑电信号对应一类样本，如果脑电信号在某个频段上的功率谱密度在一类任务样本和其它样本之间的分布有着明显得差异，则此频段即为该类想象动作任务诱发脑电信号的特异性频段。对于样本参数可分性的评价方法有多种，而Fisher鉴别分析已称为特征提取的最为有效的方法之一。在这里可以选用Fisher评价函数，其定义如下：

$J=\frac{{|m_1-m_2|}^2}{{\mathrm{\σ}}_1^2+{\mathrm{\σ}}_2^2}$

其中m₁与m₂分别为两类特征的均值，σ₁与σ₂为两类特征的方差，Fisher评价函数实际上是特征值的类间离散度与类内离散度的比值，J越大则可分性越高，若两类特征的均值相等，则J为0，也即是两类特征线性不可分。

当对不同模式的想象动作之间的可分性作Fisher分析时，我们得到Fisher系数的二维时频图谱，从图谱上我们可以看到Fisher系数明显较大的位置对应的时间段和频率段，这样取得的时频窗以及它对应到短时傅里叶变换得到的二维时频图的时频窗后得到功率谱密度值就可以作为我们提取到得一个特征。在Fisher系数时频图上寻找更多的Fisher系数相对其他时频窗要明显大的时频窗，就可以找到更多的可用于模式识别的特征。

4.2脑血氧信号的特征提取

(1)、Hb和HbO2浓度变化-探测器幅值变化

前面介绍了近红外光谱技术测量血氧信号的原理，也就是在想象动作状态下，近红外光(760nm和850nm)照射脑组织时脑组织供血增多，那么血液中的Hb和HbO2吸收的光要比静息状态下吸收的要多。而探测器的输出(也即采集到的信号)是反应光强的电压信号，这样的话在电压信号的幅值上就有体现浓度变化的幅值变化，也就是想象状态下比静息时采集到得电压幅值要小。

(2)、频谱分析

目前为止，脑电信号处理是研究大脑规律的主要手段。直接获取的脑电信号是时域变化信号，是时间的函数。然而生物信号(包括脑血氧信号)的许多重要特征并不能在时域中表现出来，用时域处理的方法是无法抽取这些特征的。为了能够抽取这些特征，目前最常用的手段就是通过Fourier变化，把时域信号转换成频域信号，也就是要对脑血氧信号进行频谱分析。

我们采集到的脑血氧信号经过滤波、放大、A/D转换等处理后变为数字信号，对数字信号进行分析就需要进行离散Fourier变换。经过变换之后，时域的脑血氧信号转换为频域信号，我们从得到的频域信号，也就是频谱图上寻找频率段的特征。

4.3模式识别-支持向量机

模式识别是通过对脑电和脑血氧信号特征的提取和分类来辨识出其中所携带的自主性动作信息。支持向量机(SVM)是近年来在模式识别与机器学习领域中出现的新工具，以统计学习理论为基础，有效地避免经典学习方法中过学习、维数灾难、局部极小等传统分类存在的问题，在小样本条件下仍然具有良好的范化能力。它通过构造最优超平面，使得对未知样本的分类误差最小。

模式识别的过程如下：在经过了特征提取阶段之后，我们将这些从样本中提取到的特征用来训练SVM分类器，训练后得到一个model，然后再利用这个model来对未知模式类型的想象动作进行分类，得到的结果即为未知模式想象动作的模式识别结果以及识别正确率。

有益效果

按照以上我们设计的同步采集脑电和脑血氧信号的人机交互装置以及实验程序进行想象左右手动作任务的实验，我们对受试者采集80次任务的实验数据，分为4组，每组20次，相邻两组之间间隔4分钟。然后对采集到得所有数据进行上述分析并提取特征，使用3组数据进行SVM分类器的训练，1组数据用来测试分类器分类的准确率。在只用脑电信号作为分类特征的情况下，我们得到的分类准确率平均水平在81.6％，随着脑电自身特征的增加(增加不是特别明显的特征)准确率反而降低，而在融合了脑血氧信号的特征之后再进行分类识别，准确率可以达到90％以上。

实验结果说明该设计能够实现对脑电和脑血氧信号的同步采集，并能通过对实验数据的处理，在血氧信号中找到对左右手想象动作进行很好分类的明显特征；同时也说明融合了不同类型的明显特征的识别正确率要比仅使用一中类型相同特征数目得到的识别准确率高。

本发明设计了一种基于想象动作的脑电与脑血氧同步采集的人-机交互装置，以实现不同信息融合特征在脑-机接口技术中的应用研究。该项发明的操作过程在前额上进行，方便操作的同时，也避免了头发及头皮对信号采集的影响，也可让身体瘫痪但头脑功能正常的残疾人在使用该装置时避免了使用前后洗头的麻烦。进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益。

Claims (4)

1.一种前额脑电与血氧信息融合的人机交互装置，其特征是，包括：

近红外光光源，用于发光照射到大脑皮层；

光电探测器，用于探测反射回的光强，光强信息发生的变化间接反映脑血氧的变化；

滤波和后级放大电路，用于对光电探测器输出的信号进行滤波和放大，滤波和放大后的信号经数据采集卡输入到计算机；

脑电电极，用于探测功率谱比率下降ERD信号；

脑电放大器，用于对脑电电极输出信号进行放大和滤波，滤波和放大后的信号经数据采集卡输入到计算机；

计算机包括：

时频分析短时傅里叶变换模块，用于以短时傅里叶变换方法得到脑电信号的二维时频图谱；

Fisher分析模块，对不同模式的想象动作之间的可分性作Fisher分析，得到Fisher系数的二维时频图谱，从图谱上找到Fisher系数明显较大的位置对应的时间段和频率段，这样取得的时频窗以及它对应到短时傅里叶变换得到的二维时频图的时频窗后得到功率谱密度值作为提取到的一个特征；

离散Fourier变换模块，用于对数字信号进行离散Fourier变换分析，经过变换之后，时域的脑血氧信号转换为频域信号，从得到的频域信号，也就是频谱图上寻找频率段的特征；

提取到的特征用来训练SVM分类器，训练后得到一个模型，然后再利用这个模型来对未知模式类型的想象动作进行分类，得到的结果即为未知模式想象动作的模式识别结果以及得到识别正确率。

2.根据权利要求1所述的一种前额脑电与血氧信息融合的人机交互装置，其特征是，近红外光光源发出的近红外光波长为760nm和850nm。

3.根据权利要求1所述的一种前额脑电与血氧信息融合的人机交互装置，其特征是，所述滤波和后级放大电路，其中的后级放大电路为可调增益的同相比例运算电路；滤波为采用二阶巴特沃斯低通滤波器。

4.根据权利要求1所述的一种前额脑电与血氧信息融合的人机交互装置，其特征是，脑电电极附着在成人头部前额叶皮层的背外侧和部分腹外侧脑区，外侧用特殊遮光材料将表面除光源和探测器之外其余部分都覆盖，源标距设定为2.89cm。

Images