CN103263274A

CN103263274A - 基于fniri和erp的表情显示装置

Info

Publication number: CN103263274A
Application number: CN2013101963929A
Authority: CN
Inventors: 郝卫东; 陈真诚; 王冬翠; 邓阳光; 李静; 梁卫鸽; 闫伟; 陈志丹; 杨超
Original assignee: Guilin University of Electronic Technology
Current assignee: Guilin University of Electronic Technology
Priority date: 2013-05-24
Filing date: 2013-05-24
Publication date: 2013-08-28
Anticipated expiration: 2033-05-24
Also published as: CN103263274B

Abstract

本发明公开一种基于FNIRI和ERP的表情显示装置，包括采集帽、控制器、电脑和显示器，控制器包括ERP脑电采集模块、FNIRI近红外采集模块、中央处理单元和电脑接口，ERP脑电采集模块和FNIRI近红外采集模块的输出端分别与中央处理单元的输入端连接，中央处理单元的输入端和输出端分别与电脑接口连接，电脑接口的输入端和输出端分别与电脑连接。本发明采用ERP脑电采集模块和FNIRI近红外采集模块分别获取脑电信号和脑血氧信号，并用电脑把脑电波提取的情绪特征信息与近红外脑影像提取的情绪特征信息相结合，极大的提高了本装置的准确性和可靠性，其准确率高达80%。

Description

基于FNIRI和ERP的表情显示装置

技术领域

本发明涉及情绪状态识别技术，具体涉及大脑损伤病人的基于FNIRI和ERP的表情显示装置。

背景技术

像植物人这类大脑损伤的病人，其大脑皮质广泛性损伤，而皮质下功能尚保存或部分保存特殊意识障碍状态，这类病人没有表情或者动作，无法表达喜怒哀乐等情绪的变化，因此无法与亲人进行沟通，而亲人守护这类病人是件非常痛苦的事。现有基于脑电的情绪识别研究中，如公开号为CN102715911A的中国发明专利，基于脑电特征的情绪状态识别方法，其采集在国际情绪图片诱发条件下的64导脑电数据，然后进行数据预处理、特征提取和特征识别，其对用于有正常意识反应的人群，具有较高的识别率，但对于像植物人这类无法表达情绪状态的人群，其对视觉刺激没有反应，但往往对听觉刺激有反应，因此该方法不适用于该类人群，并且该方法中，只是对脑电信号进行采集分析处理，而人的情绪状态是与多种生理信号紧密相连，该方法只引征脑电信号，其情绪识别率较低，需要引用更多的生理信号，才能提高识别率，准备表征病人的情绪状态。

FNIRI近红外脑功能成像技术，以组织中的血容和血氧为信息载体，通过测量大脑皮层中血容、血氧的分布和变化情况来了解大脑的活动，获取大脑的思维意识活动。

发明内容

本发明所要解决的技术问题是提供一种情绪识别率和准确率高、性能可靠的基于FNIRI和ERP的表情显示装置。

为解决上述技术问题，本发明采用的技术方案如下：

基于FNIRI和ERP的表情显示装置，包括佩戴于病人头上的采集帽、控制器、电脑和显示器，所述电脑与显示器连接；

所述控制器包括ERP脑电采集模块、FNIRI近红外采集模块、中央处理单元和电脑接口，所述ERP脑电采集模块和FNIRI近红外采集模块的输出端分别与中央处理单元的输入端连接，所述中央处理单元的输入端和输出端分别与电脑接口连接，所述电脑接口的输入端和输出端分别与所述电脑连接；

所述采集帽包括多个电极和多对发射接收器，其中所述电极与ERP脑电采集模块的输入端连接；所述每对发射接收器包括作为光源的半导体激光器和用于测量来自于大脑皮层深处的散射光的红外光电传感器；所述半导体激光器与FNIRI近红外采集模块的输出端连接，所述红外光电传感器与FNIRI近红外采集模块的输入端连接；

所述采集帽用于采集大脑皮层的脑电信号并发送至ERP脑电采集模块；和测量来自于大脑皮层深处的散射光的吸收率信号，并发送至FNIRI近红外采集模块；

所述控制器用于接收采集帽的信号和控制采集帽的工作状态，并将信号发送至电脑；

所述电脑用于分别对从ERP脑电采集模块和FNIRI近红外采集模块接收到的信号进行信息特征提取，分别得出喜、怒、哀或乐任意一种的情绪信息特征，并将提取的两路情绪信息特征进行匹配，当匹配一致时，得出喜、怒、哀或乐任意一种的情绪信息特征，并将该情绪信息特征发送至显示器进行图像显示。

优选的，上述方案所述电脑可以用于对接收到的脑电信号进行傅里叶变换、信号分割、数据滤波、空域滤波、信号分类处理得情绪特征要素；和对接收到的吸收率信号进行希尔伯特一黄变换和傅立叶变换提取出情绪特征要素；再将两路情绪特征要素进行匹配，当匹配一致时，发送该情绪特征要素的图像至显示器进行显示，当不匹配时，发送设定图像至显示器进行显示。

为了可以更精确的获取脑电波信息，所述ERP脑电采集模块可以包括程控放大器、控制接口和A/D转换器，其中程控放大器的输入端分别与电极和控制接口连接、其输出端分别与电极和A/D转换器连接；所述控制接口的输入端分别与程控放大器和中央处理单元连接、其输出端也分别与程控放大器和中央处理单元连接；所述A/D转换器的输入端分别与程控放大器和中央处理单元连接、其输出端也分别与程控放大器和中央处理单元连接。

为了可以提取病人脑部更多部位的脑电波信息，进一步提高情绪识别的精确度，所述电极可以为FP1、FP2、F3、F4、T3、T4、P3、P4、O1和O2十个电极，其中Fp1位于左额极、Fp2位于右额极、F3位于左额、F4位于右额、T3位于左颞、T4位于右颞、P3位于左顶叶、P4位于右顶叶、O1位于左枕、O2位于右枕；所述程控放大器为10路程控放大器，每路程控放大器各与一电极连接；所述A/D转换器为10路A/D转换器，每路A/D转换器各与1路程控放大器连接。

为了可以更精确的检测病人的脑血、氧曲线信息，所述FNIRI近红外采集模块可以包括放大器、A/D转换器、激光驱动器和输出接口，所述放大器的输入端与红外光电传感器连接、其输出端与A/D转换器连接，所述A/D转换器的输入端分别与放大器和中央处理单元连接、其输出端与中央处理单元连接，所述激光驱动器的输入端与输出接口连接、其输出端与半导体激光器连接，所述输出接口的输入端与中央处理单元连接、其输出端分别与激光驱动器和中央处理单元连接。

优选的，上述方案所述每对发射接收器的半导体激光器可以包括3个波长分别为780nm、805nm、830nm的半导体激光器。

优选的，上述方案所述发射接收器为8对，分别为F5、FC5、C5、CP5、F6、FC6、C6、CP6，其中F5位于左前运动皮层和辅助运动区，FC5位于左初级运动皮层，C5位于左体感联合皮层，CP5位于左体感联合皮层，F6位于右前运动皮层和辅助运动区，FC6位于右初级运动皮层，C6位于右体感联合皮层，CP6位于右体感联合皮层；所述放大器为8路放大器，每路放大器各与一红外光电传感器连接；所述A/D转换器为8路A/D转换器，每路A/D转换器各与1路程控放大器连接；所述激光驱动器为8路激光驱动器，每路激光驱动器各与一半导体激光器连接。

与现有技术相比，本发明采用ERP脑电采集模块和FNIRI近红外采集模块分别获取脑电信号和脑血氧信号，并用电脑把脑电波提取的情绪特征信息与近红外脑影像提取的情绪特征信息相结合，极大的提高了本装置的准确性和可靠性，其准确率高达80%；另外还采用10个电极采集影响人情绪状态的10个相关部位，进一步提高的用脑电波读取情绪状态的精确度。

附图说明

图1为本发明的结构框图；

图2为ERP脑电采集模块结构框图；

图3为FNIRI近红外采集模块结构框图；

图4为电极和近红外激光分布图；

图5为愤怒情绪的ERP脑电实际测量波形图；

图6为快乐情绪的ERP脑电实际测量波形图；

图7为悲伤情绪的ERP脑电实际测量波形图；

图8为中性情绪的ERP脑电实际测量波形图。

具体实施方式

如图1所示，本发明为一种基于FNIRI和ERP的表情显示装置，包括佩戴于病人头上的采集帽、控制器、电脑和显示器，所述电脑与显示器连接；所述控制器包括ERP脑电采集模块、FNIRI近红外采集模块、中央处理单元和电脑接口，所述ERP脑电采集模块和FNIRI近红外采集模块的输出端分别与中央处理单元的输入端连接，所述中央处理单元的输入端和输出端分别与电脑接口连接，所述电脑接口的输入端和输出端分别与所述电脑连接；所述采集帽包括多个电极和多对发射接收器，其中所述电极与ERP脑电采集模块的输入端连接；所述每对发射接收器包括作为光源的半导体激光器和用于测量来自于大脑皮层深处的散射光的红外光电传感器；所述半导体激光器与FNIRI近红外采集模块的输出端连接，所述红外光电传感器与FNIRI近红外采集模块的输入端连接；所述采集帽用于采集大脑皮层的脑电信号并发送至ERP脑电采集模块；和测量来自于大脑皮层深处的散射光的吸收率信号，并发送至FNIRI近红外采集模块；所述控制器用于接收采集帽的信号和控制采集帽的工作状态，并将信号发送至电脑；所述电脑用于分别对从ERP脑电采集模块和FNIRI近红外采集模块接收到的信号进行信息特征提取，分别得出喜、怒、哀或乐任意一种的情绪信息特征，并将提取的两路情绪信息特征进行匹配，当匹配一致时，得出喜、怒、哀或乐任意一种的情绪信息特征，并将该情绪信息特征发送至显示器进行图像显示。

FNIRI近红外采集模块和ERP脑电采集模块的信息匹配具体如下：ERP脑电采集模块采集的信号与喜怒哀乐的脑电特征进行比对，如果特征相同或者相似度达到80%，认为ERP脑电采集模块部分获得了喜怒哀乐表情信息；FNIRI近红外采集模块采集的信号则与喜怒哀乐的近红外分布特征进行比较，如果特征相同或者相似度达到80%，认为FNIRI近红外采集模块获得了喜怒哀乐表情信息；然后对两个模块获得的表情信息进行匹配，当FNIRI近红外采集模块和ERP脑电采集模块都获得愤怒信息时，则确认使用者此时为愤怒情绪，显示器进行愤怒情绪的图像显示；当FNIRI近红外采集模块和ERP脑电采集模块都获得快乐信息，则确认使用者此时为快乐情绪，显示器进行快乐情绪的图像显示；当FNIRI近红外采集模块和ERP脑电采集模块都获得悲伤信息时，则确认使用者此时为悲伤情绪，显示器进行悲伤情绪的图像显示；当FNIRI近红外采集模块和ERP脑电采集模块都获得中性信息时，则确认使用者此时为中性情绪，显示器进行中性情绪的图像显示；如若FNIRI近红外采集模块和ERP脑电采集模块获得的情绪信息不一致时，则显示器显示固定图像。图5、图6、图7、图8是4种情绪的ERP脑电实际测量波形图，具有广泛的代表性，从图上就能够很直观的看出他们有很大的不同，找出他们的不同点进行比较，就能够分辨出这4种情绪了。

所述电脑用于对接收到的脑电信号进行傅里叶变换、信号分割、数据滤波、空域滤波、信号分类处理得情绪特征要素；和对接收到的吸收率信号进行希尔伯特一黄变换和傅立叶变换提取出情绪特征要素；再将两路情绪特征要素进行匹配，当匹配一致时，发送该情绪特征要素的图像至显示器进行显示，当不匹配时，发送设定图像至显示器进行显示。

如图2所示，所述ERP脑电采集模块包括程控放大器、控制接口和A/D转换器，其中程控放大器的输入端分别与电极和控制接口连接、其输出端分别与电极和A/D转换器连接；所述控制接口的输入端分别与程控放大器和中央处理单元连接、其输出端也分别与程控放大器和中央处理单元连接；所述A/D转换器的输入端分别与程控放大器和中央处理单元连接、其输出端也分别与程控放大器和中央处理单元连接。如图3所示，所述电极为FP1、FP2、F3、F4、T3、T4、P3、P4、O1和O2十个电极，其中Fp1位于左额极、Fp2位于右额极、F3位于左额、F4位于右额，这4个电极处在额叶，额叶包含的Brodmann分区有：前额沟(初级运动皮层BA4)、前中央回、额上沟/额叶眼动区/前运动区/运动辅助区(BA6 BA8 BA9)、额中沟(BA46)、I额下沟(BA44-岛盖部BA45-三角部)、眶额叶皮层(BA10 BA11 BA12 BA47)；T3位于左颞、T4位于右颞，这2个电极位于颞叶，而颞叶含初级听觉皮层(BA41 BA42)、颞上回(BA38 BA22)、颞中回(BA21)、颞下回(BA20)、梭状回(BA37)、颞叶中央区(杏仁核海马体海马旁回(BA27 BA28 BA34 BA35 BA36)等皮层分区；P3位于左顶叶、P4位于右顶叶，这2个电极位于顶叶，而顶叶横跨了体感皮层(初级体感皮层(1 2 3 BA43)、次级体感皮层(BA5))、楔前叶(BA7)、顶叶小叶(顶上小叶(BA7)顶下小叶(BA40))、角回(BA39)、顶内沟、边缘沟等；O1位于左枕、O2位于右枕，这2个电极位于含初级视觉皮层(BA17)、楔叶、舌回BA18 BA19-枕叶外侧沟的枕叶。所述程控放大器为10路程控放大器，每路程控放大器各与一电极连接；所述A/D转换器为10路10位A/D转换器，每路A/D转换器各与1路程控放大器连接。通过不同位置的电极的编号与测量信号的对应关系可以获得空域分布特征。人大脑中有三个独立的神经回路，分别控制三种情绪反应，第1种产生积极行为的神经回路：它产生快乐的情绪，使动物乐于探索周围的世界。第2种产生逃跑反应的神经回路：它产生恐惧或愤怒，使动物判断迎战或逃跑。第3种产生消极行为的神经回路：它产生焦虑，使动物行为僵硬、消极。根据我们的研究通过所述的10个电极可以提取到情绪信息，具体的情况是在这10个电极处分别在Theta(5-8Hz)、Alpha(8-13Hz)、Beta(13-20Hz)等3个频带上的共135

个交叉相关系数作为脑电特征。

采集帽戴在病人头上，电极把病人头上指定部位的脑电信号送到程控放大器进行放大，经过A/D转换器变成数字信号；中央处理单元根据采样信号的大小控制程控放大器的放大倍数，从而获得实时有效的脑电信号并通过通信接口传输给电脑；电脑对信号进行信号分割、数据滤波、空域滤波、信号分类等处理得出喜怒哀乐等情绪初步信息，再结合近红外脑影像的信息，最终得出病人的情绪变化，通过笑脸、哭脸等形式显示在显示器上。

如图3所示，所述FNIRI近红外采集模块包括放大器、A/D转换器、激光驱动器和输出接口，所述放大器的输入端与红外光电传感器连接、其输出端与A/D转换器连接，所述A/D转换器的输入端分别与放大器和中央处理单元连接、其输出端与中央处理单元连接，所述激光驱动器的输入端与输出接口连接、其输出端与半导体激光器连接，所述输出接口的输入端与中央处理单元连接，其输出端分别与激光驱动器和中央处理单元连接。所述发射接收器为8对，分别位于F5、FC5、C5、CP5、F6、FC6、C6、CP6，其中F5位于左前运动皮层和辅助运动区，FC5位于左初级运动皮层，C5位于左体感联合皮层，CP5位于左体感联合皮层，F6位于右前运动皮层和辅助运动区，FC6位于右初级运动皮层，C6位于右体感联合皮层，CP6位于右体感联合皮层；所述放大器为8路放大器，每路放大器各与一红外光电传感器连接；所述A/D转换器为8路A/D转换器，每路A/D转换器各与1路程控放大器连接；所述激光驱动器为8路激光驱动器，每路激光驱动器各与一半导体激光器连接。容易透过生物体的光波长范围是700nm到1400nm之间的近红外光，本发明优选的实施方式中，所述每对发射接收器的半导体激光器包括3个波长分别为780nm、805nm、830nm的半导体激光器作为光源，采用红外光电传感器测量来自于电脑皮层深处的散射光。具体的工作过程为，首先8个780nm半导激光器同时发光，8个红外光电传感器可以获得8路散射光的吸收率，这些是780nm光的吸收率；然后8个805nm半导激光器发光，8个红外光电传感器可以获得8路散射光的吸收率，这些是805nm光的吸收率；然后8个830nm半导激光器发光，8个红外光电传感器可以获得8路散射光的吸收率，这些是830nm光的吸收率；根据3个波长吸收率计算出大脑含氧血红蛋白、脱氧血红蛋白、总体血红蛋白的变化；当我们分别依次点亮3种半导激光器，从分布在头上的8个光电传感器可以分别获得780nm吸收率图像、805nm吸收率图像和830nm吸收率图像；控制器把获得的吸收率数据传输给电脑，由电脑对获得的信号进行希尔伯特一黄变换(Hilbert-Huang transform，HHT)和傅立叶变换提取出与病人的情绪变化相关特征要素，获得近红外脑影像的信息。

图4是采集帽测量点分布图，测量点包括十个脑电波采集电极和8对近红外发射接收器，图中脑电测量部分的FP1、FP2、F3、F4、T3、T4、P3、P4、O1和O2十个电极在采集帽上的分布图；图中8对近红外发射接收器F5、FC5、C5、CP5、F6、FC6、C6、CP6在采集帽上的位置分布图；通过图上的编号与测量信号的对应关系可以获得空域分布特征。根据脑电信号在Delta(0-4Hz)、Theta(4-8Hz)、Alpha(8-12Hz)、Beta(+12Hz)四个频带上的归一化幅值特征，来将情绪状态归为气愤(Anger)、厌倦(Boredom)、困惑(Confusion)、蔑视(Contempt)、好奇(Curious)、厌恶(Disgust)、愉悦(Eureka)、沮丧(Frustration)等8类。我们得到图5～8的ERP脑电实际测量波形图，其中图5为气愤情绪的ERP脑电实际测量波形图，图6为愉快情绪的ERP脑电实际测量波形图，图7为悲伤情绪的ERP脑电实际测量波形图，图8为中性情绪的ERP脑电实际测量波形图。从图上可以看出N100(70-150ms)-P200(120-250ms)复合波以及后脑附近的晚阳性复合波（450-700ms）的幅值与潜时特性，发现：对于N100幅值，中性情绪下最大；对于N100潜时，气愤情绪下最小；对于LPC幅值，恐惧情绪下最大；且相比于中性情绪，恐惧与气愤情绪下均有较强的Alpha、Beta抑制。

本装置的使用过程：

第一步：把采集帽戴在病人头上，打开电脑和控制器电源开关，显示器上显示图4电极和近红外传感器分布图，其中FP1、FP2、F3、F4、T3、T4、P3、P4、O1和O2十个电极是电极，他们一开始是红色，红色表示该电极与头皮接触不好，它们与头皮的接触电阻大于3000欧姆，使用者要在电极的海绵上滴上导电液，导电液的选用一定要注意，最好选用博士伦润明舒敏隐形眼镜护理液，它的主要成分是氯化钠、螯合剂、清洁剂、消毒剂和防腐剂等，替换产品有爱尔康、视康清润隐形眼镜护理液；切记不要选用生理盐水，因为生理盐水会腐蚀脑电极中的铜。滴上导电液后再戴上电极帽，这时，大部分电极会变为绿色，再为没有变绿的电极补充点导电液使之全部变为绿色。为了获得比较好的测量效果，我们建议使用者剃光头。

第二步：F5、FC5、C5、CP5、F6、FC6、C6、CP6这8个近红外传感器，它们一开始也是红色，上电后系统会逐个控制近红外激光发射器发光，并通过激光传感器接收散射光，接收正常就变为绿色，这个过程称为自检。

第三步：当所有电极部位的颜色都变为绿色后就能够开始使用了，显示器变为表情的图像，显示病人当前的情绪图像，如笑脸、哭脸等表情图像，外人开始和病人进行交流，显示器实时显示病人的当前情绪图像，外人也就可以了解病人的心情状态。

Claims

1.基于FNIRI和ERP的表情显示装置，其特征在于：包括佩戴于病人头上的采集帽、控制器、电脑和显示器，所述电脑与显示器连接；

2.根据权利要求1所述的基于FNIRI和ERP的表情显示装置，其特征在于：所述电脑用于对接收到的脑电信号进行傅里叶变换、信号分割、数据滤波、空域滤波、信号分类处理得情绪特征要素；和对接收到的吸收率信号进行希尔伯特一黄变换和傅立叶变换提取出情绪特征要素；再将两路情绪特征要素进行匹配，当匹配一致时，发送该情绪特征要素的图像至显示器进行显示，当不匹配时，发送设定图像至显示器进行显示。

3.根据权利要求1所述的基于FNIRI和ERP的表情显示装置，其特征在于：所述ERP脑电采集模块包括程控放大器、控制接口和A/D转换器，其中程控放大器的输入端分别与电极和控制接口连接、其输出端分别与电极和A/D转换器连接；所述控制接口的输入端分别与程控放大器和中央处理单元连接、其输出端也分别与程控放大器和中央处理单元连接；所述A/D转换器的输入端分别与程控放大器和中央处理单元连接、其输出端也分别与程控放大器和中央处理单元连接。

4.根据权利要求3所述的基于FNIRI和ERP的表情显示装置，其特征在于：所述电极为FP1、FP2、F3、F4、T3、T4、P3、P4、O1和O2十个电极，其中Fp1位于左额极、Fp2位于右额极、F3位于左额、F4位于右额、T3位于左颞、T4位于右颞、P3位于左顶叶、P4位于右顶叶、O1位于左枕、O2位于右枕；所述程控放大器为10路程控放大器，每路程控放大器各与一电极连接；所述A/D转换器为10路A/D转换器，每路A/D转换器各与1路程控放大器连接。

5.根据权利要求1所述的基于FNIRI和ERP的表情显示装置，其特征在于：所述FNIRI近红外采集模块包括放大器、A/D转换器、激光驱动器和输出接口，所述放大器的输入端与红外光电传感器连接、其输出端与A/D转换器，所述A/D转换器的输入端分别与放大器和中央处理单元连接、其输出端与中央处理单元连接连接，所述激光驱动器的输入端与输出接口连接、其输出端与半导体激光器连接，所述输出接口的输入端与中央处理单元连接、其输出端分别与激光驱动器和中央处理单元连接。

6.根据权利要求5所述的基于FNIRI和ERP的表情显示装置，其特征在于：所述每对发射接收器的半导体激光器包括3个波长分别为780nm、805nm、830nm的半导体激光器。

7.根据权利要求6所述的基于FNIRI和ERP的表情显示装置，其特征在于：所述发射接收器为8对，分别为F5、FC5、C5、CP5、F6、FC6、C6、CP6，其中F5位于左前运动皮层和辅助运动区，FC5位于左初级运动皮层，C5位于左体感联合皮层，CP5位于左体感联合皮层，F6位于右前运动皮层和辅助运动区，FC6位于右初级运动皮层，C6位于右体感联合皮层，CP6位于右体感联合皮层；所述放大器为8路放大器，每路放大器各与一红外光电传感器连接；所述A/D转换器为8路A/D转换器，每路A/D转换器各与1路程控放大器连接；所述激光驱动器为8路激光驱动器，每路激光驱动器各与一半导体激光器连接。