CN107595281A - 利用eeg‑nirs融合特征的动作意向分类方法 - Google Patents
利用eeg‑nirs融合特征的动作意向分类方法 Download PDFInfo
- Publication number
- CN107595281A CN107595281A CN201710566818.3A CN201710566818A CN107595281A CN 107595281 A CN107595281 A CN 107595281A CN 201710566818 A CN201710566818 A CN 201710566818A CN 107595281 A CN107595281 A CN 107595281A
- Authority
- CN
- China
- Prior art keywords
- eeg
- nirs
- feature
- signal
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种利用EEG‑NIRS融合特征的动作意向分类方法，包括以下步骤：步骤一、对采集到的脑电(electroencephalo‑graphy，EEG)信号做预处理；步骤二、对采集到的近红外光谱(near‑infrared spectroscopy，NIRS)信号做预处理；步骤三、对EEG信号提取特征；步骤四、对NIRS信号提取特征；步骤五、将步骤三和步骤四得到的特征分别作归一化处理，再进行特征融合；步骤六、采用模式分类算法对融合后的特征进行分类。本发明将两种单模态的EEG和NIRS特征分别进行归一化，进而串联成一个融合特征，将EEG和NIRS包含的信息有效结合。与现有技术相比，本发明中提出的方法有如下优势：结合运动意向分类问题，充分利用EEG的高时间分辨率和NIRS较高的空间分辨率，特征简单有效，形成信息的互相补充，提高分类的性能。
Description
技术领域
本发明属于EEG和NIRS脑机接口技术领域，具体地说，涉及利用EEG-NIRS融合特征的动作意向分类方法。
背景技术
人类的大脑是历经了长时间的进化而具备意识和思维的组织器官，它是中枢神经系统极其重要的组成部分，主要包含左半脑和右半脑。人在进行运动任务的时候，大脑的运动区域会被激活。这类激活的具体表现为：区域的新陈代谢与血液流量增加，与此同时，特定频带的EEG信号幅度降低，此即事件相关去同步化现象。而随后EEG信号幅度增加，此即事件相关同步化现象。
NIRS脑成像技术近些年来广受人们关注。在大脑进行认知活动时，激活脑区中血流的含氧量会大幅度提高，氧化血红蛋白(oxygenated hemoglobin，HbO)浓度增加，脱氧血红蛋白(deoxygenated hemoglobin，HbR)浓度降低。NIRS基于HbO与HbR对于近红外光谱波段吸收能力的差异，通过大脑吸收、发出的红外光的差异呈现人脑的认知活动。
然而，基于单模态EEG或NIRS的动作意向分类存在如下问题：分类速度与分类准确率有待提升；系统的适应性和可靠性有待提高。EEG和NIRS均具有成本相对低廉、装置轻便的优势，EEG呈现的神经元电信号与NIRS呈现的血氧信号可通过同时含有电极与光极的实验帽进行采集，电极与光极在信号检测过程中可避免互相影响；EEG的高时间分辨率和NIRS较高的空间分辨率形成信息的互相补充。因此，有必要发明利用EEG-NIRS融合特征的分类方法以提高动作意向分类的性能。
发明内容
本发明要解决的技术问题是：为了克服现有技术中存在的不足，本发明提供一种基于EEG-NIRS特征层数据融合的动作意向分类方法，有效地提高动作意向的识别率。
本发明解决其技术问题的解决方案是：利用EEG-NIRS融合特征的动作意向分类方法，包括以下步骤：步骤一、对采集到的脑电(electroencephalo-graphy，EEG)信号做预处理；步骤二、对采集到的近红外光谱(near-infrared spectroscopy，NIRS)信号做预处理；步骤三、对EEG信号提取特征；步骤四、对NIRS信号提取特征；步骤五、将步骤三和步骤四得到的特征分别作归一化处理，再进行特征融合；步骤六、采用模式分类算法对融合后的特征进行分类。
具体的，所述步骤一的具体方法是：利用独立成分分析(independent componentanalysis，ICA)算法对动作意向脑电数据去除眼电干扰；ICA滤波对原始数据作独立成分分解，获取原始信号中的独立脑电成分和各个干扰伪迹成分，保留独立脑电成分，置零干扰信号成分，进而进行ICA逆变换，获取重新构建的脑电信号。
具体的，所述步骤二的具体方法是：对NIRS信号做0.02Hz-0.1Hz的带通滤波，去除噪声。
具体的，所述步骤三的具体方法是：对EEG信号提取共同空间模式(commonspatial pattern，CSP)特征，CSP算法旨在找到一组空间滤波向量，使得投影后的一类信号的方差达到最小，同时另一类信号的方差达到最大。
具体的，所述步骤四的具体方法是：利用NIRS信号幅度绝对值的平均值作为特征。
具体的，所述步骤五的具体方法是：由将步骤三和步骤四得到的特征作归一化处理，使得均值为0、方差为1；将归一化后的特征串联即为融合特征。
具体的，所述步骤六的具体方法是：采用线性判别分析(linear discriminantanalysis，LDA)对融合后的特征进行分类。
本发明的有益效果是：本发明将两种单模态的EEG和NIRS特征分别进行归一化，进而串联成一个融合特征，将EEG和NIRS包含的信息有效结合。与现有技术相比，本发明中提出的方法有如下优势：结合运动意向分类问题，充分利用EEG的高时间分辨率和NIRS较高的空间分辨率，特征简单有效，形成信息的互相补充，提高分类的性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单说明。显然，所描述的附图只是本发明的一部分实施例，而不是全部实施例，本领域的技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。
图1为本发明的流程图；
图2为实验环境；
图3为实验范式；
图4为刺激材料；
图5为64通道EEG电极帽的电极排列图；
图6为NIRS通道排列图；
图7为CSP算法获得的三对空间滤波向量的脑电地形图；
图8为NIRS第6个通道的动作意向特征；
图9为NIRS第41个通道的动作意向特征；
图10为全部被试者的识别率；
图11为全部被试者的平均识别率；
图12为单模态EEG的识别率与EEG+HbO、EEG+HbR、EEG+HbO+HbR特征层融合识别率的散点图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，文中所提到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。
下面结合附图和实例来对本发明进行详细阐述。图1为本发明的流程图。图2为实验环境，同步采集被试者的脑电信号与血氧信号。具体地说，被试者在一个隔音效果良好、光线略暗的实验室中，室内温度恒定在23–25℃之间，保证实验进行中被试感觉舒适。实验前期准备时长约为40分钟，被试者端坐在距离电脑显示器屏幕70cm处的一把舒适有靠背的椅子上，身体处于放松状态，尽可能地避免头部运动。在整个实验进行中，确保实验环境安静，尽可能地减少环境对被试者的干扰。
图3为实验范式，本发明的目标是探究动作意向的分类，因此我们需要设计一个能有效激活不同动作意向的实验范式，选择有动作意向差异的刺激材料。图4为刺激材料，其中手势1表示手拿杯子喝水，手势2表示手移动杯子。在实验范式的时间进程上，考虑到NIRS血氧信号的回落，休息时长设置为刺激前后各6秒。此外，在任务刺激前加入一张空杯子的图片，使得空杯子与手接触杯子之间形成连贯的动作。为了降低视觉疲劳，试验中利用7种颜色的杯子，每种颜色的杯子重复4次，共计获得56个试次。图5为64通道EEG电极帽的电极排列图，图6为NIRS通道排列图。
参考图1，一种利用EEG-NIRS融合特征的动作意向分类方法，步骤一：EEG信号的预处理。
设X＝[x1,x2,…,xM]T是通过M个电极观测到的多通道EEG信号(采样点数为N)，假设该信号是L个(L≤N)独立信号源S＝[s1,s2,…,sL]T线性组合而成，即EEG信号可以表示为
X＝AS+I (1)
其中A是M×L维的未知混合矩阵，I是引入的噪声，通常忽略不计。ICA的目标是寻求线性交换W，使得
Y-WX (2)
Y就是对相互独立的源信号S的估计。当W＝A-1时，源信号S被精确地还原，否则，Y与S之间存在比例与排序的变换。
对采集到的EEG数据进行ICA分析，首先将原始数据分解为多个独立源成分，然后计算每个成分与记录眼电的相关系数，其中眼电包括水平眼电和垂直眼电。与眼电信号相关系数较高的成分被认为是EEG信号中包含的眼电信号，删除较高相关系数的成分，就可得到较为干净的任务相关信号。本发明中去掉了相关系数大于0.5的成分。
步骤二，NIRS信号的预处理。
本发明把单次刺激之前休息阶段的0–5s时间范围的NIRS信号的算术平均值作为基线，对信号去除基线漂移，进而进行0.02–0.1Hz的带通滤波。获取的信号就是频率在0.02–0.1Hz之间的包含血氧信息波动的时域信号。
步骤三，EEG信号特征提取。
CSP是一种广泛应用于EEG信号的多通道空间滤波方法。在两种不同的状态下，CSP可以找到最优滤波向量，使得一类信号的方差达到最小，而同时另一类信号的方差达到最大。从计算上来说，CSP通过同时对角化两类协方差矩阵来求解滤波器向量。从另一个角度说，CSP可以被视为一个优化问题，即最大化(或者最小化)滤波后的两类方差的比值，进而归结为矩阵的特征值分解问题。
在形式上，CSP寻求空间滤波器w最优化目标函数:
其中T表示转置，Xi是类别i的数据矩阵(训练样本作为列，通道作为行)，Ci是类别i的空间协方差矩阵。在满足约束条件wTC2w＝1的条件下，最优化J(w)相当于最优化wTC1W。利用拉格朗日乘子法，构造函数
L(λ,W)＝wTC1w-λ(wTC2w-1) (4)
对L关于w求导并令其等于0，得
此即为特征值分解问题。从而空间滤波器为对应于矩阵Q＝C2 -1C1最大和最小特征值的特征向量。CSP提取的特征是EEG信号投影到滤波器后的方差的对数值，记提取的EEG信号的特征为u。
图7为CSP算法得到的三对空间滤波向量的脑电地形图，地形图颜色的深浅代表对应区域通道的权重，颜色越深代表该通道权值的绝对值越大。从图中可以发现，CSP算法得到权重较大的通道大多分布在前运动区皮层区域。
步骤四，NIRS信号特征提取。
对于NIRS信号，在刺激材料呈现后的1.5–3.5s时间范围的血氧含量(HbO、HbR)的幅度绝对值的平均值作为特征，记提取的NIRS信号的特征为v。
图8为NIRS的第6个通道的动作意向特征，图9为第41个通道的动作意向特征。可以发现，拿杯子喝水和手移动杯子两种动作的NIRS特征存在偏侧化差异，即拿杯子喝水时时右侧脑区反应更明显，而手移动杯子时左侧脑区反应更明显。因而，所提取NIRS特征含有良好的判别信息。
步骤五，将步骤三和步骤四得到的特征分别作归一化处理，再进行特征融合。
设U＝[u1,…,um]和V＝[v1,…,vn]，其中m和n各自表示EEG信号和NIRS信号的特征向量维数，对U和V分别作归一化处理，即减去各自均值，除以各自标准差。记归一化后得到特征向量为U'和V'，串联U'和V'，得到融合特征Z＝(U',V')＝[u1',…,um',v1',…,vn']，此作为识别时的特征向量。
步骤六，采用模式分类算法对融合后的特征进行分类。
本发明采用LDA进行分类。设SB和SW分别表示类间散射矩阵和类内散射矩阵，则LDA寻求一投影变换使得类间散射达到最大而同时类内散射达到最小，即寻求投影矩阵W满足式子
利用LDA分类器对EEG信号和NIRS信号的特征层融合数据进行分类，进而对动作意向做模式分类。
为了突出本发明中的方法，本实例中对比了单模态EEG、单模态NIRS和双模态EEG-NIRS数据融合的分类效果。图10为全部被试的识别率，可以发现单模态分类识别率不存在显而易见的规律，有的被试者脑电特征具有较高的识别率，而有的被试者血氧特征具有较高的识别率。可能的原因是每个被试者对相同认知任务的神级模态反应不尽相同，而双模态神经信号的融合往往可以弥补这一缺陷。实验结果表明，大部分的特征层融合的识别率高于单模态的识别率。特别地，如果EEG特征和NIRS特征各自的识别率很接近时，二者有效信息互补得更多,特征层融合的识别率会有较大的提高。
图11为全部被试者的平均识别率。可见，双模态的平均识别率高于单模态的平均识别率，数值上至少提高了4.2％，这有效地提升了识别系统的鲁棒性和可靠性。
图12为单模态EEG的识别率与EEG+HbO、EEG+HbR、EEG+HbO+HbR特征层融合识别率的散点对比图，图中的每一个圆圈代表一个被试者，对角线以下的红色圆圈表示特征层融合在该被试者上的识别率大于单模态EEG的识别率，对角线以上的蓝色圆圈代表特征层融合在该被试者上的识别率小于单模态EEG的识别率。在这三个散点图中，落在对角线下方的圆圈比落在对角线上方的多，表明在大部分被试者上，LDA特征层融合识别率大于单模态EEG的识别率。EEG+HbO的识别率提高幅度与被试个数最多，EEG+HbO+HbR次之，EEG+HbR的最少。这可能是因为任务刺激的血氧信息HbO含量增加的变化最大，而HbR含量减少的变化最小，进而影响了判别信息的提取。
以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。
Claims (7)
1.利用EEG-NIRS融合特征的动作意向分类方法，其特征在于：
包括以下步骤：
步骤一、对采集到的脑电(electroencephalo-graphy，EEG)信号做预处理；
步骤二、对采集到的近红外光谱(near-infrared spectroscopy，NIRS)信号做预处理；
步骤三、对EEG信号提取特征；
步骤四、对NIRS信号提取特征；
步骤五、将步骤三和步骤四得到的特征分别作归一化处理，再进行特征融合；
步骤六、采用模式分类算法对融合后的特征进行分类。
2.根据权利要求1所述的利用EEG-NIRS融合特征的动作意向分类方法，其特征在于：所述步骤一的具体方法是：利用独立成分分析(independent component analysis，ICA)算法对动作意向脑电数据去除眼电干扰；ICA滤波对原始数据作独立成分分解，获取原始信号中的独立脑电成分和各个干扰伪迹成分，保留独立脑电成分，置零干扰信号成分，进而进行ICA逆变换，获取重新构建的脑电信号。
3.根据权利要求1所述的利用EEG-NIRS融合特征的动作意向分类方法，其特征在于：所述步骤二的具体方法是：对NIRS信号做0.02Hz-0.1Hz的带通滤波，去除噪声。
4.根据权利要求1所述的利用EEG-NIRS融合特征的动作意向分类方法，其特征在于：所述步骤三的具体方法是：对EEG信号提取共同空间模式(common spatial pattern，CSP)特征，CSP算法旨在找到一组空间滤波向量，使得投影后的一类信号的方差达到最小，同时另一类信号的方差达到最大。
5.根据权利要求1所述的利用EEG-NIRS融合特征的动作意向分类方法，其特征在于：所述步骤四的具体方法是：利用NIRS信号幅度绝对值的平均值作为特征。
6.根据权利要求1所述的利用EEG-NIRS融合特征的动作意向分类方法，其特征在于：所述步骤五的具体方法是：由将步骤三和步骤四得到的特征作归一化处理，使得均值为0、方差为1；将归一化后的特征串联即为融合特征。
7.根据权利要求1所述的利用EEG-NIRS融合特征的动作意向分类方法，其特征在于：所述步骤六的具体方法是：采用线性判别分析(linear discriminant analysis，LDA)对融合后的特征进行分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710566818.3A CN107595281A (zh) | 2017-07-12 | 2017-07-12 | 利用eeg‑nirs融合特征的动作意向分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710566818.3A CN107595281A (zh) | 2017-07-12 | 2017-07-12 | 利用eeg‑nirs融合特征的动作意向分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107595281A true CN107595281A (zh) | 2018-01-19 |
Family
ID=61059732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710566818.3A Pending CN107595281A (zh) | 2017-07-12 | 2017-07-12 | 利用eeg‑nirs融合特征的动作意向分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107595281A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111012324A (zh) * | 2019-12-26 | 2020-04-17 | 中国科学院合肥物质科学研究院 | 一种基于运动生理参数实时反馈的正念运动康复装置及其方法 |
| CN111067545A (zh) * | 2019-12-13 | 2020-04-28 | 天津大学 | 基于功能近红外的大脑言语活动信号采集与解码方法 |
| CN113951900A (zh) * | 2021-11-02 | 2022-01-21 | 燕山大学 | 一种基于多模态信号的运动想象意图识别方法 |
| CN114533088A (zh) * | 2022-02-09 | 2022-05-27 | 华南师范大学 | 多模态大脑信号分类方法、装置、电子设备及存储介质 |
| CN114533085A (zh) * | 2022-02-18 | 2022-05-27 | 北京工业大学 | 基于注意力机制的EEG-fNIRS多模态时空融合分类方法 |
-
2017
- 2017-07-12 CN CN201710566818.3A patent/CN107595281A/zh active Pending
Non-Patent Citations (2)
| Title |
|---|
| SHANG-LIN WU等: "Common spatial pattern and linear discriminant analysis for motor imagery classification", 《2013 IEEE SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE, COGNITIVE ALGORITHMS, MIND, AND BRAIN (CCMB)》 * |
| 张正: "动作意图理解的双模态分析及分类研究", 《东南大学硕士学位论文》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111067545A (zh) * | 2019-12-13 | 2020-04-28 | 天津大学 | 基于功能近红外的大脑言语活动信号采集与解码方法 |
| CN111067545B (zh) * | 2019-12-13 | 2022-12-09 | 天津大学 | 基于功能近红外的大脑言语活动信号采集与解码方法 |
| CN111012324A (zh) * | 2019-12-26 | 2020-04-17 | 中国科学院合肥物质科学研究院 | 一种基于运动生理参数实时反馈的正念运动康复装置及其方法 |
| CN113951900A (zh) * | 2021-11-02 | 2022-01-21 | 燕山大学 | 一种基于多模态信号的运动想象意图识别方法 |
| CN113951900B (zh) * | 2021-11-02 | 2023-02-21 | 燕山大学 | 一种基于多模态信号的运动想象意图识别方法 |
| CN114533088A (zh) * | 2022-02-09 | 2022-05-27 | 华南师范大学 | 多模态大脑信号分类方法、装置、电子设备及存储介质 |
| CN114533085A (zh) * | 2022-02-18 | 2022-05-27 | 北京工业大学 | 基于注意力机制的EEG-fNIRS多模态时空融合分类方法 |
| CN114533085B (zh) * | 2022-02-18 | 2024-05-28 | 北京工业大学 | 基于注意力机制的EEG-fNIRS多模态时空融合分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Calvo et al. | Brain lateralization of holistic versus analytic processing of emotional facial expressions | |
| CN107595281A (zh) | 利用eeg‑nirs融合特征的动作意向分类方法 | |
| Nunez et al. | How attention influences perceptual decision making: Single-trial EEG correlates of drift-diffusion model parameters | |
| Zhang et al. | Predicting inter-session performance of SMR-based brain–computer interface using the spectral entropy of resting-state EEG | |
| Mu et al. | Driving fatigue detecting based on EEG signals of forehead area | |
| Carretié et al. | Exogenous attention to facial vs non-facial emotional visual stimuli | |
| CN102715911B (zh) | 基于脑电特征的情绪状态识别方法 | |
| Desjardins et al. | Deconstructing the early visual electrocortical responses to face and house stimuli | |
| Lee et al. | A brain-wave-actuated small robot car using ensemble empirical mode decomposition-based approach | |
| Zhang et al. | Single-trial ERP analysis reveals facial expression category in a three-stage scheme | |
| CN106108894A (zh) | 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法 | |
| Kovacevic et al. | Groupwise independent component decomposition of EEG data and partial least square analysis | |
| CN104182042A (zh) | 一种多模态信号的脑机接口方法 | |
| Carretié et al. | Magnocellular bias in exogenous attention to biologically salient stimuli as revealed by manipulating their luminosity and color | |
| CN108209909A (zh) | 基于动作意图任务的双模特神经信号特征选择方法 | |
| Tankelevitch et al. | Previously reward-associated stimuli capture spatial attention in the absence of changes in the corresponding sensory representations as measured with MEG | |
| Jiang et al. | A user-friendly SSVEP-based BCI using imperceptible phase-coded flickers at 60Hz | |
| Hidalgo-Muñoz et al. | Spectral turbulence measuring as feature extraction method from EEG on affective computing | |
| CN103019382A (zh) | 一种利用诱发电位反映脑部主观动机信号的脑机接口方法 | |
| CN113191395A (zh) | 一种基于双脑的多层次信息融合的目标检测方法 | |
| Omurtag et al. | Decoding human mental states by whole-head EEG+ fNIRS during category fluency task performance | |
| Shin et al. | Performance prediction for a near-infrared spectroscopy-brain–computer interface using resting-state functional connectivity of the prefrontal Cortex | |
| CN106580248A (zh) | 基于脑电与功能近红外光谱技术的神经血管耦合分析方法 | |
| Zheng et al. | Resting-state-based spatial filtering for an fNIRS-based motor imagery brain-computer interface | |
| CN112861629B (zh) | 一种多窗口判别典型模式匹配方法及脑-机接口应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180119 |