CN101049236A - 基于脑机交互的注意力状态即时检测系统及检测方法 - Google Patents

Abstract

本发明公开了一种基于脑机交互的注意力状态即时检方法。其过程是：首先由脑电采集电极提取原始脑电EEG信号，存放到数字信号处理器DSP；接着由DSP对采集的脑电进行双谱指数和加权双谱中心的参数计算；计算机将受试者对靶刺激标识反应后的脑电信号进行记录，并送给DSP进行叠加，得到事件相关电位ERP，并提取该电位的幅度和延迟量参数；将所述的这些参数输入给神经网络，通过反传算法确定网络的节点参数；然后将神经网络的输出结果与受试者对靶刺激的反应，包括误反应、漏反应和反应延迟进行对照，将其结果作为对神经网络再训练的监督信息，重新确定网络的节点参数，最终输出即时识别的注意力状态。本发明可用于对儿童和成年人注意力即时状态的准确测试。

Description

基于脑机交互的注意力状态即时检测系统及检测方法

技术领域

本发明属于信息处理技术领域，涉及医学信息处理，具体地说是一种涉及利用计算机与人脑的信息交互实现注意力状态的即时检测，可用于对儿童注意力状态的即时识别，为确诊和医治注意缺陷障碍性疾病提供依据。

背景技术

注意缺陷障碍ADD是儿童时期最常见的行为障碍性疾病，这种疾病以主动注意的选择性和稳定性差、易冲动、易分心为主要特征，常见的继发障碍有学习困难、品行障碍以及某些情绪障碍，例如抑郁、自闭或孤独症等。

通常，临床上对ADD的诊断主要靠医师听取家长的口述来主观决定患者的病情。近年来，一些客观评定ADD的设备以陆续开始研制，如申请号为00218646.2、200420021337.2和200310109026.1的专利文献均公开了评定ADD的有关仪器，但这些仪器都是在短时间内测试，通过儿童视觉追踪目标光点运动测定眼角膜和视网膜间的电信号反应曲线，将测定的曲线与标准参考曲线进行比较，根据偏离程度确定患者的病种和程度。由于ADD儿童在短时间内注意力完全可能集中，特别是在看到自已感兴趣的东西时，注意力短时间内还可能相当集中，所以，上述测定方法的生理依据并不可靠，这也是所述专利产品难以为临床医师接受的主要原因。

另外，在对ADD儿童确诊后，更重要的是治疗。由于药物治疗的显效率仅为60％左右，且副作用严重，因此，近年来利用非药物方法干预注意缺陷障碍ADD等心身类疾患的方法引起人们的重视。其中，基于脑电生物反馈的神经反馈疗法在临床上普遍使用，疗效好且无副作用。例如申请号为200510124550.5的专利文献记载的方法属于这种方法矫治ADD儿童，但是，目前临床上使用的脑电反馈仪器存在以下两方面的缺陷，大大限制了其疗效的提高。

(1)仅是通过简单的脑电EEG频域分析来确定患者的注意状态，即计算脑电图中的θ、α波和β波的多少，有些系统直接简化到只看θ/β比值的大小，由于这些标准对每个患者在任何时候都是一样的，而实际上不同患者的EEG表现是有差异的，即使是同一个患者在不同的精神状态下脑电表现也是变化的，因此无法根据患者的脑电EEG特征对患者进行个性化确定。

(2)由于所测波形之间的简单关系是通过比较正常儿童与ADD儿童的脑电EEG得来的，并不完全代表患者测试当时的注意品质，  因而用这些标准来进行实时的生物反馈是不尽合理的。

发明的内容

本发明的目的是克服上述现有技术的缺点，提供一种基于脑机交互的注意力状态即时检测系统及其检测方法，该方法可以在受试者与计算机较长时间的互动中，提取脑电和事件相关电位ERP，建立一个自适应的个性化可动态更新的神经网络数据融合分析系统，并利用受试者对特定目标的反应和事件相关电位ERP中包含的注意信息，对网络的节点参数进行监督修正，实现对患者注意力的个性化即时确定。

本发明的目的是这样实现的：

本发明依据注意意识直接受控于大脑，利用脑神经信息如脑电图、事件相关电位等生理信号提取即时注意特征比利用眼部生理信号更合理的可行性，确定其基于脑机交互的注意力状态即时检测系统及其检测方法的技术方案。

目前专门针对注意相关自发脑电的研究较少，而注意事件相关电位的研究相对较多。脑电生理学研究显示：当受试者注意到刺激因素的某一特征时，特定负责对该类特征进行加工的脑区域神经元活动将会加强，脑诱发电位波幅增大。研究证明，事件相关电位ERP中的P300波幅可以作为脑力工作负荷的评价指标。注意力越集中，P300波幅相应增大。已有的研究表明，当受试者处于主动注意状态时，在脑电电极分布的FZ、CZ位置上，其事件相关电位ERP的P3-N2峰峰幅值显著增加，且FZ、CZ位置的脑电功率明显增大，这也从另一个角度证明了当受试者注意力集中，脑力工作负荷较大。而事件相关电位ERP的P2-N1峰-峰幅值降低，表明在主动注意状态下大脑除增加能量投入外，可能还对大脑信息处理过程中的有效资源进行了重新分配。

以上研究结论说明，根据事件相关电位ERP可提取到不同注意状态的特征值。但是，由于事件相关电位ERP的采集需要通过叠加过程来获得，因此要求外部环境必须给予受试者几十次的重复刺激，随着计算机和大脑之间的交互技术的发展，同时提取脑电EEG和事件相关电位ERP在临床上已完全没有障碍。本发明的技术方案正是采用从脑电与事件相关电位ERP特征信息的非线性融合分类中准确提取出个性化注意力脑电特征。

本发明所采用注意力脑电特征即时提取方案的基本原理是，给受试者连接好脑电与事件相关电位ERP测试装置后开始采集数据，要求受试者对屏幕上按一定比例不断随机出现的两种目标标识做出反应，在此过程中不断记录脑电，并在一定时间后通过叠加法产生事件相关电位ERP，并将产生的事件相关电位ERP特征提取出来，与脑电的双谱指数特征用神经网络进行数据的融合分类，得出受试者数据采集时的注意力情况，并将其数据采集结果与受试者对屏幕要求的反应情况进行比较，在受试者反应情况的监督下对神经网络的参数进行调整。随着测试时间的增加，即在受试者与系统的交互过程中会使系统识别注意状态的准确率不断提高，在不断的训练和测试过程中，逐步形成一个个性化的注意力即时检测系统。

按照上述原理，本发明提供的基于脑机交互的注意力状态即时检测系统包括计算机、脑电采集电极、预处理电路、数字信号处理器DSP，其中脑电采集电极是按国际标准导联体系位置设置，该电极通过屏蔽线与预处理电路相连，预处理电路经过模数转换器与计算机相连，数字信号处理器DSP与计算机双向连接，并与专用手柄相连；计算机连续记录测试过程中的所有脑电信号并送数字信号处理器DSP对信号进行双谱计算，提取双谱指数bic和加权双谱中心WCOB；数字信号处理器DSP同时采用叠加法从脑电信号中提取事件相关电位ERP及相关电位的幅度和延迟量，并将双谱指数bic、加权双谱中心WCOB及相关电位的幅度和延迟量这些特征参数数据回送给计算机，由计算机将该数据作为输入信号送给神经网络输出即时系统识别的注意力状态。

上述注意力状态即时检测系统，其中所述的专用手柄上设有两个按键，通过按键实现受试者对屏幕上标识的反应。

上述注意力状态即时检测系统，其中数字信号处理器DSP采用叠加法从脑电信号中提取事件相关电位ERP，是对手柄按下至少1s后的脑电信号进行叠加而得到的。

上述注意力状态即时检测系统，其中数字信号处理器DSP把受试者在看到靶刺激标识或非靶刺激标识后的误反应、漏反应情况和反应延迟时间送给计算机，供计算机作为监督信息用于对神经网络的后台训练。

本发明利用上述系统进行注意力脑电特征即时检测的方法，包括如下步骤：

(1)将脑电采集电极按照国际10-20标准放置在受试者的头皮上，提取原始脑电EEG信号输入到计算机；

(2)计算机对采集的脑电数据进行干扰剔除处理，并将该数据存放到数字信号处理器DSP；

(3)数字信号处理器DSP对采集的脑电进行分段，并依次进行双谱计算、双谱指数计算和加权双谱中心计算；

(4)受试者通过使用专用手柄，对计算机显示的靶刺激标识和非靶刺激标识作出反应，计算机将受试者对靶刺激标识反应后的脑电信号进行记录，并将该信号送给数字信号处理器DSP；

(5)数字信号处理器DSP对所输入的脑电信号进行叠加，得到事件相关电位ERP，并提取该事件相关电位波形的幅度和延迟量；

(6)将所述的双谱指数、加权双谱中心、事件相关电位波形的幅度和延迟量输入给神经网络通过反传算法确定网络的节点参数，完成对神经网络的训练；

(7)对受试者进行连续测试的过程中，将神经网络最新的输出结果与受试者在神经网络输出最新结果与上一次输出结果之间对靶刺激标识的反应，包括误反应、漏反应和反应延迟进行对照，并将对照的结果送入神经网络作为对神经网络再进行训练的监督信息，重新确定网络的节点参数，最终实现对注意力即时状态的准确识别。

本发明由于把脑电EEG和事件相关电位ERP信号中含有的主动注意信息结合起来，利用多源信息的互补性，弥补了利用单一脑电EEG进行品质定征的弊端和不足；同时由于采用将神经网络的输出结果与受试者对靶刺激标识的反应，包括误反应、漏反应和反应延迟进行对照，并将对照的结果送入神经网络作为对神经网络再进行训练的监督信息，故可重新确定网络的节点参数，最终实现对人体注意力测试识别的准确性。本发明可大幅度提高临床注意力测试的准确率和ADD心理行为干预的有效率，在认知心理学研究中也有重要的价值。

本发明的目的、特征及优点将结合实施例，参照附图作如下进一步的说明。

附图说明

图1是本发明的系统示意框图；

图2是本发明的方法过程图；

图3是本发明采集脑电所用电极分布图；

图4是在不同注意状态情况下的双谱图；

图5是利用反传算法确定神经网络节点参数的流程图。

具体实施方式

参照图1，本发明的注意力状态即时检测系统由脑电采集电极、预处理电路、12位模数转换器、数字信号处理器DSP、专用手柄和计算机组成，其中专用手柄上设有两个按键，通过按键实现受试者对屏幕上标识的反应；预处理电路包括脑电标准生理信号放大器和带通滤波器，该放大器包括前置放大器、后置放大器，该滤波器包括0.5～70Hz带通滤波器与60Hz工频陷波器；计算机中存储有剔除干扰的预处理程序、数据传送程序，及实现神经网络结构、训练程序。这些组件的相互关系为：脑电采集电极通过屏蔽线与预处理电路的脑电标准生理信号放大器相连，通过滤波器连接到12位模数转换器，该模数转换器的数据输出通过USB接口与计算机相连，由计算机对采集的脑电标准生理信号进行动态数据分析处理；数字信号处理器DSP与计算机双向连接，数字信号处理器DSP同时与专用手柄连接；计算机连续记录测试过程中的所有脑电信号并送DSP信号处理器对脑电信号依次进行双谱计算、双谱指数和加权双谱中心计算，并将计算出的特征参数回送给计算机；同时数字信号处理器DSP还将手柄按下至少1s后的脑电信号进行叠加，本发明设定叠加的次数为50次，叠加完成后得到的脑电波形为事件相关电位ERP，提取该事件相关电位ERP幅度和延迟信息的特征参数送给计算机，计算机接到数字信号处理器DSP送来的特征参数后，将这些特征参数数据作为输入送给神经网络，神经网络根据计算机输入的这些特征参数进行数据融合分析，输出注意力状态的判定结果；另外，数字信号处理器DSP还把受试者在看到靶刺激或非靶刺激标识后的反应情况通过按键送传输给计算机，包括误反应、漏反应、反应延迟时间，供计算机作为监督信息用于对神经网络的后台训练。该靶刺激或非靶刺激标识是在测试开始前事先编制好的程序存贮在计算机硬盘中，由主控计算机在受试者的操作下播放出来，其中靶刺激标识为圆形物，占20％；非靶刺激标识为方形物，占80％，受试者看到圆形标识按下左键，看到方形标识按下右键。

参照图2，利用本发明系统进行即时注意力测试的过程如下：

步骤1.将脑电采集电极按照按图3所示的国际标准导联体系位置放置在受试者的头皮上，通过通用的脑电放大、滤波提取原始脑电EEG信号，该脑电采集电极包括分布在头部的16个测试电极Fp1、Fp2、F3、F4、F7、F8、C3、C4、T3、T4、T5、T6、P3、P4、O1、O2，和耳朵上的两个参考电极A1、A2。

步骤2.将原始脑电EEG模拟信号转换成数字信号送到计算机，计算机在对该数据进行剔除干扰的预处理后，再将脑电信号数据拷贝一份传送给数据信号处理器DSP，为提取事件相关电位ERP做好准备。

步骤3.数据信号处理器DSP对采集的脑电信息按每512点分为一段，并进行如下双谱计算。

(1)令x(n)为待分析脑电时间序列，其三阶累积量C_3x(m₁，m₂)为：

C_3x(m₁，m₂)＝E[x(n)x(n+m₁)x(n+m₂)]

式中 m₁、m₂为不同延迟量，

x(n+m₁)为经m₁延迟后的时间序列，

x(n+m₂)为经m₂延迟后的时间序列，

E[·]为数学期望；

(2)将x(n)的双谱B_x(ω₁，ω₂)定义为C_3x(m₁，m₂)的二维Fourier变换，即

$B_x({\mathrm{\ω}}_1,{\mathrm{\ω}}_2)=\underset{m_1=-\∞}{\overset{+\∞}{\mathrm{\Σ}}}\underset{m_2=-\∞}{\overset{+\∞}{\mathrm{\Σ}}}{C}_{3x}(m_1,m_2)\exp -[j\left({\mathrm{\ω}}_1{m}_1\right)+j\left({\mathrm{\ω}}_2{m}_2\right)].$

图4为典型情况下的脑电双谱图，其中，(A)是受试者集中注意力时的情况，(B)是受试者没有集中注意力时的情况。可见，图A中双谱幅度明显高于图B，且其峰值所在位置也明显不同，因此从脑电双谱图中提取双谱的幅度和峰值坐标位置，就可包含有受试者注意力状态的特征信息。

步骤4.计算双谱指数，即对于随机过程{x₁}，若其为高斯分布，则对所有的m₁、m₂，其三阶累积量C(m₁，m₂)＝0，其双谱B(ω₁，ω₂)的幅值也为零，因而|B(ω₁，ω₂)|可以作为随机过程{x₁}偏离高斯分布的一个测量。考虑用功率谱对多谱进行规范化，称其规范化结果为双谱指数，所以定义随机过程{x(n)}的双谱指数定义为：

${\mathrm{bic}}_{2x}({\mathrm{\ω}}_1,{\mathrm{\ω}}_2)=\frac{B_x({\mathrm{\ω}}_1,{\mathrm{\ω}}_2)}{\sqrt{P_x\left({\mathrm{\ω}}_1\right)P_x\left({\mathrm{\ω}}_2\right)P_x({\mathrm{\ω}}_1+{\mathrm{\ω}}_2)}}$

其中P_x(ω)为功率谱。

步骤5.计算加权双谱中心WCOB，即将WCOB定义为以双谱在每一点的能量为权值，在整个双频率平面上求所有点坐标的加权平均值，得到一个平面坐标，假定该平面坐标点(x，y)处的双谱是B_xy，则按下式可计算加权双谱中心WCOB的坐标位置WCOB(f_1m，f_2m)为：

$f_{1m}=\frac{\mathrm{\Σx}{B}_{\mathrm{xy}}}{\mathrm{\Σ}{B}_{\mathrm{xy}}}$

$f_{2m}=\frac{\mathrm{\Σy}{B}_{\mathrm{xy}}}{\mathrm{\Σ}{B}_{\mathrm{xy}}}$

步骤6受试者通过使用专用手柄，对计算机显示的靶刺激标识和非靶刺激标识作出反应，即受试者看到圆形标识时按下手柄的左键，看到方形标识时按下手柄的右键，并通过数字信号处理器DSP传输给计算机，计算机将受试者对每次靶刺激标识反应后的脑电信号进行记录，并将该记录的脑电信号再反送给数字信号处理器DSP。

步骤7数字信号处理器DSP对采集的50次脑电信息进行叠加，获得事件相关电位ERP，并计算事件相关电位ERP的幅度和延迟量。

步骤8将上述双谱指数bic_2x(ω₁，ω₂)、加权双谱中心WCOB的坐标位置WCOB(f_1m，f_2m)、事件相关电位ERP的幅度和延迟量，作为神经网络的输入，用于对神经网络进行训练；该神经网络采用通用四层前向多层网络，初始权重用(0，0.5)中的随机数，对神经网络的训练采用前向网络中最常用的反传算法即BP算法，按照图5所示流程确定网络的节点参数：

(1)给神经网络各节点权向量赋一个非零较小的(0～0.5之间)随机值。将提取的特征参数作为网络输入向量输入到神经网络的输入层；

(2)计算神经网络的实际输出，将实际输出与理想输出进行比较，计算出其中的差值；

(3)判断这个差值是否符合预先设定的一个容忍标准，如果差值可以容忍，则转下面第(5)步；如果差值不可容忍，进行下面第(4)步；

(4)按标准BP算法公式反向逐层计算每层神经元的局部梯度，逐个修正节点参数；

(5)判断是否训练完所有输入特征参数的样本向量，如果没有，转(1)；如果训练完，则结束整个训练过程。

步骤9将训练完成的神经网络用于对受试者的注意力状态进行检测，并输出其检测结果。

步骤10在对受试者进行连续测试的过程中，将神经网络最新的输出结果与受试者在神经网络输出最新结果与上一次输出结果之间对靶刺激标识的反应，包括误反应、漏反应和反应延迟进行对照，并将对照的结果送入神经网络作为对神经网络进行训练的监督信息，按步骤8的流程重新确定神经网络的节点参数。

上述训练过程使得神经网络的节点参数可动态更新，不断提高注意力状态即时测试的准确性，最终实现通过仪器对人的注意力状态进行客观、个性化即时测试，排除人为因素造成的识别不准确问题。

本发明不仅可用于对6岁以上儿童多动症的检测，也可用于对成年人的注意力状态即时检测。

Claims (7)

1.一种基于脑机交互的注意力状态即时检测系统，包括计算机、脑电采集电极、预处理电路、数字信号处理器DSP，其特征在于脑电采集电极是按国际标准导联体系位置放置，该电极通过屏蔽线与预处理电路相连，预处理电路经过模数转换器与计算机相连；数字信号处理器DSP与计算机双向连接，并与专用手柄相连；计算机连续记录测试过程中的所有脑电信号并送数字信号处理器DSP进行双谱计算，提取双谱指数和加权双谱中心；数字信号处理器DSP同时采用叠加法从脑电信号中提取事件相关电位ERP及相关电位的幅度和延迟量，并将双谱指数、加权双谱中心及相关电位的幅度和延迟量这些特征参数数据回送给计算机，由计算机将该数据作为输入信号送给神经网络，由神经网络输出识别的即时注意力状态。

2、根据权利要求1所述的注意力状态即时检测系统，其特征在于专用手柄上设有两个按键，通过按键实现受试者对屏幕上标识的反应。

3、根据权利要求1或2所述的注意力状态即时检测系统，其特征在于数字信号处理器DSP采用叠加法从脑电信号中提取事件相关电位ERP，是通过对手柄按下至少1s后的脑电信号进行叠加而得到。

4.根据权利要求1或2所述的注意力状态即时检测系统，其特征在于数字信号处理器DSP把受试者在看到靶刺激标识或非靶刺激标识后的误反应、漏反应情况和反应延迟时间送给计算机，供计算机作为监督信息用于对神经网络的训练。

5.一种利用权利要求1所述系统进行注意力状态即时检测方法，包括如下步骤：

(1)将脑电采集电极按照国际10-20标准放置在受试者的头皮上，提取原始脑电EEG信号输入到计算机；

(2)计算机对采集的脑电数据进行干扰剔除处理，并将该数据存放到数字信号处理器DSP；

(3)数字信号处理器DSP对采集的脑电进行分段，并依次进行双谱计算、双谱指数计算和加权双谱中心计算；

(4)受试者通过使用专用手柄，对计算机显示的靶刺激标识和非靶刺激标识作出反应，计算机将受试者对靶刺激标识反应后的脑电信号进行记录，并将该信号送给数字信号处理器DSP；

(5)DSP信号处理器对所输入的脑电信号进行叠加，得到事件相关电位ERP，并提取该事件相关电位波形的幅度和延迟量；

(6)将所述的双谱指数、加权双谱中心、事件相关电位波形的幅度和延迟量输入给神经网络，通过反传算法确定该网络的节点参数，完成对神经网络的训练；

(7)对受试者进行连续测试的过程中，将神经网络最新的输出结果与受试者在神经网络输出最新结果与上一次输出结果之间对靶刺激标识的反应，包括误反应、漏反应和反应延迟进行对照，并将对照的结果送入神经网络作为对神经网络进行再训练的监督信息，并用反传算法重新确定神经网络的节点参数，最终实现对注意力即时状态的准确识别。

6.根据权利要求5所述的注意力状态即时检测方法，其中双谱指数的计算步骤如下：

1)计算双谱

令x(n)为待分析脑电时间序列，其三阶累积量C_3x(m₁，m₂)为：

C_3x(m₁，m₂)＝E[x(n)x(n+m₁)x(n+m₂)]

式中，m₁、m₂为不同延迟量，x(n+m₁)为经m₁延迟后的时间序列，

      x(n+m₂)为经m₂延迟后的时间序列，E[·]为数学期望；

将x(n)的双谱B_x(ω₁，ω₂)定义为C_3x(m₁，m₂)的二维Fourier变换，即

$B_x({\mathrm{\ω}}_1,{\mathrm{\ω}}_2)=\underset{m_1=-\∞}{\overset{+\∞}{\mathrm{\Σ}}}\underset{m_2=-\∞}{\overset{-\∞}{\mathrm{\Σ}}}{C}_{3x}(m_1,m_2)\exp -[j\left({\mathrm{\ω}}_1{m}_1\right)+j\left({\mathrm{\ω}}_2{m}_2\right)]$

2)将双谱的绝对值|B(ω₁，ω₂)|作为随机过程{x₁}偏离高斯分布的一个测量，用功率谱对多谱进行规范化，称其规范化结果为双谱指数，即

${\mathrm{bic}}_{2x}({\mathrm{\ω}}_1,{\mathrm{\ω}}_2)=\frac{B_x({\mathrm{\ω}}_1,{\mathrm{\ω}}_2)}{\sqrt{P_x\left({\mathrm{\ω}}_1\right)P_x\left({\mathrm{\ω}}_2\right)P_x({\mathrm{\ω}}_1+{\mathrm{\ω}}_2)}}$

其中P_x(ω)为功率谱。

7.根据权利要求5所述的注意力状态即时检测方法，其中计算加权双谱中心WCOB是在整个双频率平面上求所有点坐标的加权平均值，得到一个平面坐标，假定该平面坐标点(x，y)处的双谱是B_xy，则按下式计算双谱中心WCOB的坐标WCOB(f_1m，f_2m)为：

$f_{1m}=\frac{\mathrm{\Σx}{B}_{\mathrm{xy}}}{\mathrm{\Σ}{B}_{\mathrm{xy}}},f_{2m}=\frac{\mathrm{\Σy}{B}_{\mathrm{xy}}}{\mathrm{\Σ}{B}_{\mathrm{xy}}}.$

Images