基于脑电波分析的便携式意念拨号系统
技术领域
本发明涉及一种意念拨号系统。特别是涉及一种用于脑-机接口和手机通信的基于脑电波分析的便携式意念拨号系统。
背景技术
脑-机接口(brain-computer interface,BCI)技术是一种不依赖于外周神经通路和肌肉组织而通过解析脑电信号在大脑与外界设备之间构造直接信息传输通路的新型人机交互技术。该技术有望为患有严重神经肌肉疾病的运动障碍病人提供一种新的康复手段,使他们可以通过意念控制轮椅或者机器人进行康复训练。也可以通过用户的意图来控制外部设备,提高运动障碍病人的生活自理能力和改善他们的生活质量。
稳态视觉诱发电位(Steady-state Visual Evoked Potentials,SSVEP)、事件相关电位(event-related potential,ERP)、慢皮层电位(slow cortical potential,SCP)等都可以作为脑-机接口的脑电信号。其中基于SSVEP的BCI具有信息传输速率相对较高、系统配置简单和训练需求低等显著优势,因而在BCI相关研究中受到了广泛的关注。稳态视觉诱发电位是指当人眼受到固定频率的视觉刺激时,在大脑的视觉皮层形成的与刺激频率有关(刺激频率的基频或倍频处)的响应,是大脑视觉皮层对处于视觉中心的闪烁刺激的一种物理反馈。
在如今人们的生活中,手机扮演着不可或缺的重要角色。人们可以通过手机与家人、朋友联系,也可以通过手机了解外面的世界。然而对于患有严重神经肌肉疾病的人来说,使用手机十分困难。他们无法通过拨打电话与家人联系,当发生紧急情况时也无法及时拨打120进行急救。所以使用脑-机接口技术帮助运动障碍的病人使用手机刻不容缓。
复杂网络理论将大多数的复杂系统抽象为网络,从复杂系统的网络结构的角度运用图论,信息学,统计物理学等方法对复杂系统进行研究。复杂网络已经被广泛的应用与时间序列分析,大数据分析等领域。近年来,基于图论的复杂网络分析方法得到了迅速发展并引入到脑电信号的分析之中。可视图理论从其被创立之初至今已在多领域得到广泛应用,与之相比有限穿越可视图具有更好的抗噪能力,已被广泛应用于实测信号的分析之中。
目前,已有相关的技术实现意念控制拨打号码,利用LED或LCD进行视觉刺激,诱发大脑产生SSVEP信号实现电话的拨打与接听。但现有技术仍存在以下缺点:1)脑电信号采集模块与通信模块分离不便于携带;2)拨号方式均为11位数字号码拨号,即通过注视0-9十个拨号键和一个确定键来实现电话的拨通,存在的问题为:现有手机号码为11位,则用户必须注视11次图片方可将号码全部输入,若一张图片需要4s则用户拨打电话所需时间为44s,耗时过长,且现有技术不能保证用户每次的触发都是100%的正确率,若每张图片的触发正确率是95%,则用户将11位号码全部触发正确的成功率为56.88%,正确率大大降低。当用户处于紧急情况时,此系统无法满足要求;3)所需激励频率多,不易实现,且激励图片为白底+数字形式,图片内容单调,从认知学角度出发,不同的图片内容对于视觉刺激的效果也有所不同,对于用户的舒适程度也有影响。
发明内容
本发明所要解决的技术问题是,提供一种基于SSVEP的脑电信号结合复杂网络和通道优化算法便携式助残拨号的基于脑电波分析的便携式意念拨号系统。
本发明所采用的技术方案是:一种基于脑电波分析的便携式意念拨号系统,包括头带电极帽的被试者,还设置有用于激励被试者的视觉激励界面,通过Wifi与所述电极帽通信用于采集被试者脑电信号的脑电信号采集模块,与所述脑电信号采集模块的输出端相连用于对所述脑电信号进行处理的数据处理模块,所述数据处理模块的输出端通过UART通信协议无线连接用于向外部发送信息的手机通信模块,所述手机通信模块的输出端无线连接用于接收手机通信模块所发送的信息的手机。
所述的视觉激励界面是由编号为1~12个不同频率闪烁的图片构成,所述图片频率设置范围为8Hz~13.5Hz,频率之间的最小间隔为0.5Hz,1~12个不同频率闪烁图片的频率排布顺序为8-10-12-10.5-8.5-9.5-13.5-11-12.5-9-13-11.5Hz。
所述1~12个图片中每一个图片对应一个任务,其中,编号为1~5的图片对应于家人的手机号码,编号为6的图片对应于病人的主治医生,编号为7~8的图片分别对应于120急救中心和119,编号为9的图片对应于一条短信,编号为10~12的图片依次对应于接听键、确定键和信息接收键。
所述的脑电信号采集模块包括有用于将接收到的多通道脑电信号转为数字信号的模数转换模块,与所述模数转换模块相连的微处理器,所述微处理器用于驱动模数转换模块,并将模数转换模块输出的十六进制数字信号转换为十进制数字信号再输出给数据处理模块。
所述的数据处理模块采用DSP芯片,用于对接收到的数字信号进行如下处理:
1)采用典型相关分析法对数据进行空间滤波和通道拟合,包括
(1)创建模板信号X
其中fs表示采样频率,fi表示刺激频率,t为1~n的序列,n表示每一个通道的数据点总数,
设采集到的多通道脑电信号为Y,
Y∈Rm×n
其中m为多通道脑电信号的通道个数;
将模板信号X与多通道脑电信号Y进行比较,选取相关性最大的4个通道;
(2)通过最大化相关系数ρ求出所选通道拟合后的序列y
求得系数向量WX与WY,通过公式y=YTWY,得到拟合后序列y;
2)通过FFT将序列y转换为频域下的能量序列u进行分析
u=ABS(FFT(y))
其中ABS为取绝对值操作;
3)建立可视图复杂网络邻接矩阵,提取所述网络中对应视觉激励界面(1)编号为1~12个图片频率处的度值;
4)将每个频率所对应的特征指标度值ki放入到特征向量kf中,得到kf=[k1,k2…ki],采用Fisher分类器对特征向量kf进行分类。
步骤3)包括:
(1)在能量序列u中找出有连边的节点对,具体是找出所有频域下不相邻的两个脑电信号的节点ua和节点ub之间的所有节点,对不相邻的两个脑电信号的节点ua和节点ub之间的所有节点中的每一个节点uc进行判断是否满足条件:当满足所述条件时,则可视图复杂网络中不相邻的两个脑电信号的节点ua和节点ub之间存在连边,此两点可视,不满足上述条件则在可视图复杂网络中不相邻的两个脑电信号的节点ua和节点ub之间不存在连边,但所有相邻的节点对之间都存在连边;
(2)得到可视图复杂网络邻接矩阵A,其中可视图复杂网络邻接矩阵A的行数和列数都等于能量序列u中的节点总数,且可视图复杂网络邻接矩阵A中值Aij表示第i个节点和第j个节点之间是否可视,若节点i和节点j之间可视,则Aij=1,若节点i和节点j之间不可视,则Aij=0;
(3)提取可视图复杂网络邻接矩阵中的特征指标度值k:
对于第i个节点的度值:
其中,N表示可视图复杂网络邻接矩阵的节点数。
步骤4)所述的特征分类包括:
(1)计算Fisher分类器的最佳投影方向w:
其中s-1 w为总类内离散度矩阵,m1与m2为各类均值
(2)得到判别函数和判别规则:
g(kf)=wTkf+w0
如果
其中w0为阈值,由公式求出,与为特征向量kf投影到一维空间后的各类均值。
本发明的基于脑电波分析的便携式意念拨号系统,将脑电信号的频域分析与有限穿越可视图理论结合,实现了结合复杂网络的方法通过意念帮助残疾人实现手机拨号的功能。本发明具有以下有益的效果:将脑电信号采集部分、数据处理部分和手机通信部分融为一体,便于携带和使用;将手机拨号的方式改为一个激励图片对应于一个手机号码,大大缩短了拨号所需时间;采用CCA与可视化复杂网络相结合的方法来对数据进行处理,提高了分类准确率;开发一款APP,使用户与系统之间可以更好的交流,优化了界面。
附图说明
图1是本发明基于脑电波分析的便携式意念拨号系统整体框图;
图2是本发明中视觉激励界面放大示意图;
图3是本发明中电路部分的框图;
图4是采用本发明的APP效果图。
图中
1:视觉激励界面 2:被试者
3:脑电信号采集模块 4:数据处理模块
5:UART通信协议 6:手机通信模块
7:手机
具体实施方式
下面结合实施例和附图对本发明的基于脑电波分析的便携式意念拨号系统做出详细说明。
如图1所示,本发明的基于脑电波分析的便携式意念拨号系统,包括头带电极帽的被试者2,所述电极帽为“国际10-20系统”定义的电极帽,还设置有用于激励被试者2的视觉激励界面1,通过Wifi与所述电极帽通信用于采集被试者2脑电信号的脑电信号采集模块3,与所述脑电信号采集模块3的输出端相连用于对所述脑电信号进行处理的数据处理模块,所述数据处理模块的输出端通过UART通信协议5无线连接用于向外部发送信息的手机通信模块6,所述手机通信模块6的输出端无线连接用于接收手机通信模块6所发送的信息的手机7。
被试者通过注视视觉激励界面上以不同频率闪烁的图片来诱发脑电信号,被试者通过头部配戴的“国际10-20系统”定义的电极帽与脑电信号采集模块相连,脑电信号采集模块采集到脑电信号后发送到数据处理模块,经过数据处理模块对数据进行处理得到指令,传至手机通信模块拨打/接听电话或发送/接收相关信息。
如图2所示,所述的视觉激励界面1是指在LCD液晶显示屏上显示12张以不同频率闪烁的图片,即是由编号为1~12个不同频率闪烁的图片构成,所述图片频率设置范围为8Hz~13.5Hz,频率之间的最小间隔为0.5Hz,1~12个不同频率闪烁图片的频率排布顺序为8-10-12-10.5-8.5-9.5-13.5-11-12.5-9-13-11.5Hz。
将12张闪烁的图片采用单图形刺激法通过软件编程实现。例如要实现图片的闪烁频率为20Hz,做法为:将计算机显示器背景颜色设置为黑色,一张机器人的图片出现25ms后消失25ms,形成周期为50ms的闪烁,则其频率为20Hz。
所述1~12个图片中每个频率对应于不同的图片,每一个图片对应一个任务,其中,编号为1~5的图片对应于家人的手机号码,编号为6的图片对应于病人的主治医生,编号为7~8的图片分别对应于120急救中心和119,编号为9的图片对应于一条短信,编号为10~12的图片依次对应于接听键、确定键和信息接收键。
因为本发明针对的是患有严重神经肌肉疾病的病人,故手机拨号系统只为病人提供所需的号码。病人只需注视一张闪烁图片即可获得拨打对应人手机号码的权限,通过注视确定键最后确定是否拨打号码。本发明相较于采用数字键11位号码的拨号系统,节省了大量的时间且大大提高了整个拨号系统的正确率。本发明采用病人所熟悉的图片作为激励图片,如带有家人头像和带有120急救车的图片等。
如图3所示,所述的脑电信号采集模块3包括有用于将接收到的多通道脑电信号转为数字信号的模数转换模块3.1,与所述模数转换模块3.1相连的微处理器3.2,所述微处理器3.2用于驱动模数转换模块3.1,并将模数转换模块3.1输出的十六进制数字信号转换为十进制数字信号再输出给数据处理模块。
所述的模数转换模块3.1可以采用型号为ADS1258的芯片,或型号为ADS1256的芯片,或型号为ADS1292的芯片。所述的微处理器3.2可以采用型号为STM32F103C8T6的芯片,或型号为STM32F103ZET6的芯片,或型号为STM32F429IGT6的芯片。
因为脑电信号为微伏级别电压信号,故本发明实施例使用8通道24位高精度差分输入模数转换芯片ADS1258。ADS1258芯片具有以下特性,最多可支持8通道、24位精度采集,内置24倍可调运放,数据吞吐速率高达125kSPS。该采集模块使用STM32F103C8T6作为微处理器,首先通过SPI通讯方式对ADS1258芯片进行相关功能寄存器配置,包括数据吞吐速率和运放倍数等;其次,微处理器通过SPI通讯读取8通道24位的AD转换数据;最后将共192位的AD数据发送至数据处理模块供后续处理。
在本发明中,被试者通过头部配戴“国际10-20系统”定义的32通道电极帽与采集模块相连,将诱发的脑电信号传至采集模块。选取SSVEP信号较明显的枕部区域的通道:O1,O2,Oz,Pz,P3,P4,P7,P8。参考电极为Cz,地电极为GND。
如图3所示,所述的数据处理模块采用DSP芯片,所述DSP芯片可以采用型号为TMS320C31的芯片,或型号为TMS320F2812PGFA的芯片,或型号为TMS320F28335的芯片。用于对接收到的数字信号进行如下处理:
1)采用典型相关分析法(CCA)对数据进行空间滤波和通道拟合,包括
(1)创建模板信号X
其中fs表示采样频率,fi表示刺激频率,t为1~n的序列,n表示每一个通道的数据点总数,
设采集到的多通道脑电信号为Y,
Y∈Rm×n
其中m为多通道脑电信号的通道个数。
将模板信号X与多通道脑电信号Y进行比较,选取相关性最大的4个通道;
(2)通过最大化相关系数ρ求出所选通道拟合后的序列y
求得系数向量WX与WY,通过公式y=YTWY,得到拟合后序列y;
2)通过FFT将序列y转换为频域下的能量序列u进行分析
u=ABS(FFT(y))
其中ABS为取绝对值操作;
3)建立可视图复杂网络邻接矩阵,提取所述网络中对应视觉激励界面(1)编号为1~12个图片频率处的度值;包括:
(1)在能量序列u中找出有连边的节点对,具体是找出所有频域下不相邻的两个脑电信号的节点ua和节点ub之间的所有节点,对不相邻的两个脑电信号的节点ua和节点ub之间的所有节点中的每一个节点uc进行判断是否满足条件:当满足所述条件时,则可视图复杂网络中不相邻的两个脑电信号的节点ua和节点ub之间存在连边,此两点可视,不满足上述条件则在可视图复杂网络中不相邻的两个脑电信号的节点ua和节点ub之间不存在连边,但所有相邻的节点对之间都存在连边;
(2)得到可视图复杂网络邻接矩阵A,其中可视图复杂网络邻接矩阵A的行数和列数都等于能量序列u中的节点总数,且可视图复杂网络邻接矩阵A中,值Aij表示第i个节点和第j个节点之间是否可视,若节点i和节点j之间可视,则Aij=1,若节点i和节点j之间不可视,则Aij=0。
(3)提取可视图复杂网络邻接矩阵中的特征指标度值k:
对于第i个节点的度值:
其中,N表示可视图复杂网络邻接矩阵的节点数。
4)将每个频率所对应的特征指标度值ki放入到特征向量kf中,得到kf=[k1,k2…ki],采用Fisher分类器对特征向量kf进行分类。所述的特征分类包括:
(1)计算Fisher分类器的最佳投影方向w:
其中s-1 w为总类内离散度矩阵,m1与m2为各类均值
(2)得到判别函数和判别规则:
g(kf)=wTkf+w0
如果
其中w0为阈值,由公式求出,与为特征向量kf投影到一维空间后的各类均值。
所述的手机通信模块6包括GSM模块。在数据处理模块中将数据处理结果通过UART通信协议发送到GSM模块,实现手机的拨打/接听电话、发送/接收信息。
最后本发明将激励界面与手机拨打/接听电话、发送/接收信息的功能融入到一款APP中,打开APP即可看到视觉诱发界面,当被试者想要拨打家人1的电话时,注视对应1的闪烁图片后,APP会将闪烁结果显示在屏幕中央,此时界面上只有结果图片和对应闪烁的功能键:接听、确认、信息接收。此时被试者可根据结果图片选择是否触发确定键来拨通电话,选择触发则注视确定键,如图4所示,触发成功后界面回到原始状态,若被试者选择不去触发确定键,则界面会在2分钟后回到原始状态;当被试者处于紧急情况时拨打电话无人接听,则被试者可通过注视信息图片,将被试者姓名和所在位置(APP调用GPS)群发给被试者家人,以便告知家人被试者需要帮助;当收到相关消息时,APP的界面同样只在屏幕中央处显示信息内容,被试者观看信息后触发信息接收键,使界面回到原始状态。
本发明的本发明的基于脑电波分析的便携式意念拨号系统,实现了结合复杂网络的方法通过意念帮助残疾人实现手机拨号的功能。