CN105022486A - 基于不同表情驱动的脑电信号辨识方法 - Google Patents

Abstract

本发明公开了一种基于不同表情驱动的脑电信号辨识方法，其特征是基于大脑生理学知识，首先对不同面部表情驱动产生的脑电信号进行建模仿真分析，并在此基础上，采用基于面部表情驱动过程中脑部FC5、FC6、F7、F8四个测点位置所产生脑电信号中的Alpha波段与theta波段的信号特征作为脑电信号分类识别的依据，用于信号的驱动控制。

Description

基于不同表情驱动的脑电信号辨识方法

技术领域

本发明涉及脑机接口技术，特别涉及一种基于面部表情驱动的脑电信号研究方法。

背景技术

脑-机接口技术最新的发展，已经从简单地大脑-计算机接口向大脑-机电设备方向发展，即通过提取人脑皮层产生的脑电信号，来推测大脑的思维活动，并将之翻译成相应的命令来控制外围的机电设备，如残疾轮椅、智能假手或外骨骼机器人等，以实现对这些外围设备的意念控制。随着近年来生物机电一体化技术的发展，越来越多的特征脑电信号被应用于脑机接口范式的研究中。根据控制源的不同，脑机接口系统主要分为自发式与诱发式两种。自发式脑机接口系统主要包括了运动想象下的脑机接口系统、运动识别下的脑机接口系统、而诱发式脑控范式常见的主要有稳态视觉诱发脑机接口系统、P300脑机接口系统等。

自发脑电信号不依赖于外界环境条件，但其具有分辨率低，随机性强，信噪比低的不足。2011年，匹兹堡大学通过提取瘫痪病人的运动想象信号，实现了瘫痪病人的简单进食。诱发脑电信号虽然具有高分辨率、抗干扰力强等特点，但其不足之处在于过分依赖诱发源，同时长时间的诱发实验，容易产生疲劳，甚至诱发癫痫。Illinois大学的Farewell最早将P300脑机接口系统用于虚拟打字中，实现了瘫痪患者通过单词拼写与外界进行交流。清华大学通过稳态视觉诱发脑机接口系统实现了四自由度假肢的倒水过程，但是长时间的光强刺激，会降低实验精度。

目前国内学者还主要停留在对运动想象、运动识别、以及稳态视觉诱发脑机接口系统的研究，然而基于面部表情驱动的脑电信号研究目前尚未见相关主题的成熟技术报道。

发明内容

为能准确表述基于表情驱动脑电信号产生的机理，同时为了提高脑电信号的识别率与实用性，本发明提供一种基于面部表情驱动产生脑电信号的研究方法。

为达到以上目的，本发明是采取如下技术方案予以实现的：

一种基于不同表情驱动的脑电信号辨识方法，其特征在于，包括下述步骤：

第一步，建立基于不同面部表情驱动脑电信号产生机理的模型，具体方法如下：

(1)建立大脑皮层两个独立皮质区域：前额叶皮质区S1与边缘系统皮质区S2，每个独立皮质区均进行两类电位的转换后输出脑电信号，其中，一类将输入的触突前膜动作电位脉冲密度转换为平均触突后膜电位；另一类将平均触突后膜电位转换为大脑皮层输出的脑电信号；各皮质区分别由多个兴奋性细胞单元与抑制性细胞单元构成，每个细胞单元将触突动作电位的平均脉冲密度转换为平均触突后膜电位，单个兴奋性细胞单元与抑制性细胞单元的冲击响应函数表达达式为：

$h_e\left(t\right)=u\left(t\right)\frac{H_e}{{\mathrm{\τ}}_e}{\mathrm{te}}^{-t/{\mathrm{\τ}}_e}---\left(1\right)$

$h_i\left(t\right)=u\left(t\right)\frac{H_i}{{\mathrm{\τ}}_i}{\mathrm{te}}^{-t/{\mathrm{\τ}}_i}---\left(2\right)$

式中，u(t)为Heaviside函数，H_e为兴奋性神经元突触增益，H_i为抑制性神经元突触增益，τ_e为兴奋性神经单元延时常数，τ_i为抑制性神经单元延时常数；

(2)静态非线性函数S(v)将兴奋性细胞单元与抑制性细胞单元产生的触突平均后膜电位转换为经表情驱动控制下产生的动作电位的平均脉冲密度，其数学式为：

$S\left(v\right)=2e_0/(1+e^{r(v_0-v)}),---\left(3\right)$

式中，2e₀为动作电位最大发放率，v₀为相对于发放率e₀的突触后电位，r为s(v)函数的弯曲程度，v为突触前膜电压；

(3)S(v)得到的动作电位的平均脉冲密度分别接受各自皮质区内部兴奋性、抑制性细胞神经单元的反馈，并根据不同细胞单元所包含的触突个数以及相互之间的关联常数的反馈作用，最终得到独立皮质区域S1、S2的输出的脑电信号，单皮质区的数学模型的微分方程表示如下：

$\left\{\begin{array}{c}{\stackrel{\·}{y}}_0\left(t\right)=y_3\left(t\right)\\ {\stackrel{\·}{y}}_3\left(t\right)=\frac{H_e}{{\mathrm{\τ}}_e}S\left(y_1\right(t)-y_2(t\left)\right)-\frac{2}{{\mathrm{\τ}}_e}{y}_3\left(t\right)-\frac{1}{{\mathrm{\τ}}_e^2}{y}_0\left(t\right)\\ {\stackrel{\·}{y}}_1\left(t\right)=y_4\left(t\right)\\ {\stackrel{\·}{y}}_4\left(t\right)=\frac{H_e}{{\mathrm{\τ}}_e}\{p\left(t\right)+C_{2}S\left(C_1{y}_0\right(t\left)\right)\}-\frac{2}{{\mathrm{\τ}}_e}{y}_4\left(t\right)-\frac{1}{{\mathrm{\τ}}_e^2}{y}_1\left(t\right)\\ {\stackrel{\·}{y}}_2\left(t\right)=y_5\left(t\right)\\ {\stackrel{\·}{y}}_5\left(t\right)=\frac{H_i}{{\mathrm{\τ}}_i}\left\{C_{4}S\left(C_3{y}_0\right(t\left)\right)\right\}-\frac{2}{{\mathrm{\τ}}_i^2}{y}_2\left(t\right)\end{array}\right.---\left(4\right)$

式中，C1，C2，为兴奋性细胞单元平均突触连接数；C3，C4为抑制性细胞单元平均突触连接数，求解方程组，得到独立皮质区域输出脑电信号y(t)为：

y(t)＝y₁(t)-y₂(t)          (5)

式中，y1(t)为经由兴奋性细胞单元转换后得到的平均触突后膜电位，y2(t)为经由抑制性的细胞单元反馈得到的平均触突后膜电位，通过设定不同的参数H_e，H_i，τ_e,τ_i，分别建立前额叶皮质区域与边缘系统皮质区域的脑电信号产生模型；

(4)设定S1区，S2区的兴奋性、抑制性细胞子群均由N个兴奋性细胞单元与N个抑制性细胞单元构成，分别代表脑电信号的多个频段脑电信号，其相互之间关系由权重系数ω决定,权重系数ω的取值表示为：

W＝{ω_ji}∈[0,1]，

基于面部表情控制下S1区、S2区之间的相互作用由耦合强度q、区域均值脑电信号RM(y)以及其他大脑皮层区域脑电信号相互作用p(t)构成，由此得到非耦合作用下前额叶皮质区S1，边缘系统区S2产生的脑电信号，其表达式为：

$y{\left(t\right)}_{ji}=\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_{ji}y{\left(t\right)}_1^i-\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_{ji}y{\left(t\right)}_2^i,(j=1,2)---\left(6\right)$

(5)依据式(4)、式(5)、式(6)，建立面部表情控制下前额叶皮质区S1与边缘系统区S2耦合作用下产生的脑电信号，设定区域间的相互作用由耦合强度q,区域输出均值脑电信号RM(X)决定，其计算式为：

$RM\left(y\right(t\left)\right)=y\left(t\right)-\frac{\underset{n=1}{\overset{N}{\Σ}}{y}_n\left(t\right)}{N}---\left(7\right)$

式中，y(t)为步骤(3)建模得到脑电信号，y_n(t)为不同时刻所对应的脑电信号瞬态值则，根据式(7)得到S1区、S2区相互作用传递函数数学表达式为：

$G_j=q_j\·RM\left(S\right(\underset{j=1}{\overset{2}{\Σ}}{K}_{ij}\left)\right)---\left(8\right)$

式中，j＝1,2代表两个不同皮质区域，其它大脑皮层区域脑电信号相互作用p(t)以输入形式参与，由此得到相互耦合作用下的皮质区表脑电信号达式：

$\{\begin{array}{c}{\stackrel{\·}{y}}_0^{ji}=y_3^{ji}\\ {\stackrel{\·}{y}}_1^{ji}=y_4^{ji}\\ {\stackrel{\·}{y}}_2^{ji}=y_5^{ji}\\ {\stackrel{\·}{y}}_3^{ji}=\frac{H_e^i}{{\mathrm{\τ}}_e^i}\·S\left(\underset{i=1}{\overset{3}{\Σ}}{\mathrm{\ω}}_{ji}{y}_2^{ji}-\underset{i=1}{\overset{3}{\Σ}}{\mathrm{\ω}}_{ji}{y}_2^{ji}\right)-\frac{2y_3^{ji}}{{\mathrm{\τ}}_e^i}-\frac{y_0^{ji}}{{\left({\mathrm{\τ}}_e^i\right)}^2}\\ {\stackrel{\·}{y}}_4^{ji}=\frac{H_e^i}{{\mathrm{\τ}}_e^i}\·\[p_j\left(t\right)+C_{2}S\left(C_1\underset{i=1}{\overset{3}{\Σ}}{\mathrm{\ω}}_{ji}{y}_0^{ji}\right)+G_{ij}\]-\frac{2y_4^{ji}}{{\mathrm{\τ}}_e^i}-\frac{y_1^{ji}}{{\left({\mathrm{\τ}}_e^i\right)}^2}\\ {\stackrel{\·}{y}}_5^{ji}=\frac{H_i^i}{{\mathrm{\τ}}_i^i}\·C_{4}S\left(C_2\underset{i=1}{\overset{3}{\Σ}}{\mathrm{\ω}}_{ji}{y}_0^{ji}\right)-\frac{2y_5^{ji}}{{\mathrm{\τ}}_i^i}-\frac{y_2^{ji}}{{\left({\mathrm{\τ}}_i^i\right)}^2}\end{array},(i=1,2,3;j=1,2)---\left(9\right)$

式中，i＝1,2,3分别代表皮质区域脑电信号的高频段、低频段、中频段，j＝1,2代表不同的皮质区；每个区的兴奋和抑制性增益系数H_e,i和延时常数τ_e,i相同，通过调整权重系数矩阵W_ji与耦合强度q，模拟得到不同表情驱动下的脑电信号；

(6)对建模得到的脑电信号进行快速傅里叶变换，求其对数频带能量E_i，其数学表达式为：

$E_i=\underset{k=1}{\overset{15}{\Σ}}{\log }_2{x}_k^2---\left(10\right)$

式中x_k代表经傅里叶变换后各频段的能量值，并计算每个频带能量在总能量中的比值：

${\mathrm{\η}}_i=\frac{E_i}{\underset{i=1}{\overset{3}{\Σ}}{E}_i}---\left(11\right)$

最后，参照真实脑电信号的频谱特性，确定基于不同面部表情控制下脑电信号的特征值位于Alpha波段与theta波段；

第二步，用第一步建立的模型输出脑电信号特征对基于不同面部表情驱动的实时脑电信号进行分类。

上述方案中，所述用第一步建立的模型输出脑电信号特征对基于不同面部表情驱动的实时脑电信号进行分类包括下述步骤：

(1)为受试者佩戴便携化多通道脑电检测单元与信号处理单元，脑电检测单元中所有电极均处于国际10-20系统的标准位置，并采集前额皮质区FC5、FC6通道与边缘系统皮质区F7、F8通道的脑电信号；

(2)信号检测单元同步采集到位于前额叶皮层的FC5、FC6和位于边缘系统的F7、F8位置脑电信号后，进行2～40Hz的带通滤波，然后通过无线通信模块传给信号处理单元，该单元将采集到的不同面部表情驱动下的脑电信号进行离线分析，得到与各种不同面部表情驱动下脑电信号相对应的样本信号；

(3)利用第一步(6)的结果采用小波变换模均值法提取样本信号特征值，受试者随机动作一种面部表情，信号处理单元首先提取四通道的Alpha波段与theta波段的相应该表情的脑电信号；并对Alpha波与theta波进行小波变换模均值计算，得到多维特征向量，进行归一化处理后，得到样本特征矩阵T_k；

(4)将不同样本的T_k同时输入BP神经网络分类器进行训练；

(5)样本训练完成后，返回步骤(2)，进行在线目标识别,信号处理单元提取Alpha波段与theta波段脑电信号，并对Alpha波段与theta波段进行小波变换模均值计算，得到多维特征向量X_k，X_k进行归一化后，输入BP神经网络，根据(4)的训练结果与所提取的脑电特征信号进行在线表情分类。

本发明优点在于：

1、建立了一种基于神经生理学的面部表情驱动脑电信号的产生机理模型，可模拟得到不同表情下的脑电信号特征，该建模方法为脑机接口技术的范式研究奠定了理论基础。

2、针对传统脑机接口技术的基础上，提出来一种新的不同表情驱动的脑电信号分类方法，以产生不同面部表情驱动时的脑电信号作为控制的信息源，采用小波变换模均值提取特征向量，采用BP神经网络结构实现模式识别，最终保证了用户操作不易疲劳与目标任务识别的高精度。

附图说明

图1是本发明方法的基于不同面部表情驱动脑电信号产生机理模型的建立流程示意图。其中，(a)图为独立皮质区域基本神经元集群模型算法框图；(b)图为前额叶皮质区域与边缘系统皮质区域耦合神经集群模型算法框图。

图2为脑电信号采集单元的布置示意，根据不同面部表情控制产生机理，采集受试者头部前额叶皮层的FC5、FC6和位于边缘系统的F7、F8位置脑电信号，选用双侧耳后位置放置参考电极，电极测得的脑电信号，经放大、滤波后传给信号处理单元。

图3为四种表情驱动示意图。其中，(a)图表示提眉；(b)图表示皱眉；(c)图表示左撇嘴；(d)图表示右撇嘴。

图4为本发明图1建模基础上对脑电分类的流程框图。

图5为四种不同表情下受试者的50组离线的脑电识别正确率图。其中横坐标1,2,3,4分别代表提眉、皱眉、左撇嘴、右撇嘴四个动作，纵坐标为50次实验后的平均离线正确率。

具体实施方式

下面结合附图及实施例对本发明作进一步详细说明。

参考图1，一种基于不同面部表情驱动脑电信号产生机理建模方法,由生理解剖学知识可知，大脑皮层由表情驱动控制的区域集中于前额叶皮质区S1与边缘系统区S2，针对大脑皮层的神经集群多动态特性对S1、S2两区域进行建模，具体包括下述步骤：

步骤1根据101,分别建立两个独立子区域前额叶皮质区S1，边缘系统区S2脑电信号产生模型。S1区、S2区的输入信号为其它大脑皮层脑电信号和经由表情驱动产生的触突动作电位平均脉冲密度。

步骤2根据102，设定S1区、S2区中每个兴奋性细胞子群包括3个兴奋性细胞单元，每个抑制性细胞子群包含3个抑制性细胞单元，分别表示表情驱动下脑电信号的高频段、中频段、低频段。每个独立的细胞子群先将S1区、S2区输入信号转换为平均触突后膜电位，其冲击响应函数表达式为：

$h_e\left(t\right)=u\left(t\right)\frac{H_e}{{\mathrm{\τ}}_e}{\mathrm{te}}^{-t/{\mathrm{\τ}}_e}---\left(1\right)$

$h_i\left(t\right)=u\left(t\right)\frac{H_i}{{\mathrm{\τ}}_i}{\mathrm{te}}^{-t/{\mathrm{\τ}}_i}---\left(2\right)$

式中，u(t)为Heaviside函数。H_e为兴奋性神经元突触增益，H_i为抑制性神经元突触增益，τ_e为兴奋性神经单元延时常数，τ_i为抑制性神经单元延时常数。

步骤3根据103，建立非线性函数S(v)分别将式(1)、式(2)中计算得到的平均触突后膜电位转经表情驱动控制下产生的动作电位的平均脉冲密度，非线性函数S(v)数学表达式为：

$S\left(v\right)=2e_0/(1+e^{r(v_0-v)})---\left(3\right)$

式中，2e₀为动作电位最大发放率，v₀为相对于发放率e₀的突触后电位，r为s(v)函数的弯曲程度，v表示突触前膜电压。

步骤4根据104-106，参照图1(a)经由兴奋细胞子群转换得到的表情驱动控制下产生的动作电位脉冲密度，分别接受来自皮质区域内部兴奋性、抑制性细胞集群的反馈，并与兴奋性平均触突个数与抑制性平均触突个数相影响，得到独立皮质区S1、S2输出的特征脑电信号，单个细胞子群的数学模型的微分表示如下：

$\left\{\begin{array}{c}{\stackrel{\·}{y}}_0\left(t\right)=y_3\left(t\right)\\ {\stackrel{\·}{y}}_3\left(t\right)=\frac{H_e}{{\mathrm{\τ}}_e}S\left(y_1\right(t)-y_2(t\left)\right)-\frac{2}{{\mathrm{\τ}}_e}{y}_3\left(t\right)-\frac{1}{{\mathrm{\τ}}_e^2}{y}_0\left(t\right)\\ {\stackrel{\·}{y}}_1\left(t\right)=y_4\left(t\right)\\ {\stackrel{\·}{y}}_4\left(t\right)=\frac{H_e}{{\mathrm{\τ}}_e}\{p\left(t\right)+C_{2}S\left(C_1{y}_0\right(t\left)\right)\}-\frac{2}{{\mathrm{\τ}}_e}{y}_4\left(t\right)-\frac{1}{{\mathrm{\τ}}_e^2}{y}_1\left(t\right)\\ {\stackrel{\·}{y}}_2\left(t\right)=y_5\left(t\right)\\ {\stackrel{\·}{y}}_5\left(t\right)=\frac{H_i}{{\mathrm{\τ}}_i}\left\{C_{4}S\left(C_3{y}_0\right(t\left)\right)\right\}-\frac{2}{{\mathrm{\τ}}_i^2}{y}_2\left(t\right)\end{array}\right.---\left(4\right)$

式中，C1，C2，为兴奋性细胞集群上平均突触连接数；C3，C4为抑制性细胞集群单元上平均突触连接数；通过设定不同的参数He，Hi，τe，τi，建立S1区、S2区上高、中、低频率段脑电信号，其相互之间关系由权重系数ω决定，其取值表示为：

W＝{ω_ji}∈[0,1]， $\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_{ji}=1,(N=3)$

以提眉动作为例，S1区权重系数ω为ω＝[0.75,0.2,0.05],由此得到非耦合作用下前额叶皮质区S1产生的脑电信号，其表达式为：

$\begin{array}{c}{y}^j\left(t\right)=0.75\left(\underset{i=1}{\overset{3}{\Σ}}y{\left(t\right)}_{1\_\mathrm{\τ}}^{ji}-\underset{i=1}{\overset{3}{\Σ}}y{\left(t\right)}_{2\_\mathrm{\τ}}^{ji}\right)+0.2\left(\underset{i=1}{\overset{3}{\Σ}}y{\left(t\right)}_{1\_\mathrm{\τ}}^{ji}-\underset{i=1}{\overset{3}{\Σ}}y{\left(t\right)}_{2\_\mathrm{\τ}}^{ji}\right)\\ +0.05\left(\underset{i=1}{\overset{3}{\Σ}}y{\left(t\right)}_{1\_\mathrm{\τ}}^{ji}-\underset{i=1}{\overset{3}{\Σ}}y{\left(t\right)}_{2\_\mathrm{\τ}}^{ji}\right)\end{array}---\left(5\right)$

上式中，j＝1,2代表不同区域脑电信号，i＝1,2,3代表脑电信号的不同频率段。

步骤5参照图1(b)与式(4)、式(5)，建立皱眉表情驱动下S1区、S2区耦合作用产生的脑电信号，区域之间的相互作用由耦合强度为q、区域输出均值脑电信号RM(X)决定，其计算式为：

$RM\left(y\right(t\left)\right)=y\left(t\right)-\frac{\underset{n=1}{\overset{N}{\Σ}}{y}_n\left(t\right)}{N}---\left(6\right)$

式中，y(t)为步骤4建模得到脑电信号，y_n(t)为不同时刻所对应的脑电信号瞬态值，则根据式(6)可得到S1区、S2区相互作用传递函数数学表达式为：

$G_j=q_j\·RMy\left(t\right)\left(S\right(\underset{j=1}{\overset{2}{\Σ}}y\left(t\right)\left)\right)---\left(7\right)$

上式中，j＝1,2代表两个不同皮质区域。其它大脑皮层区域脑电信号相互作用p(t)以输入形式参与，由此得到基于皱眉表情驱动相互耦合作用下脑电信号表达式：

$\{\begin{array}{c}{\stackrel{\·}{y}}_0^{ji}=y_3^{ji}\\ {\stackrel{\·}{y}}_1^{ji}=y_4^{ji}\\ {\stackrel{\·}{y}}_2^{ji}=y_5^{ji}\\ {\stackrel{\·}{y}}_3^{ji}\frac{H_e^i}{{\mathrm{\τ}}_e^i}\·S\left(\underset{i=1}{\overset{3}{\Σ}}{\mathrm{\ω}}_{ji}{y}_2^{ji}-\underset{i=1}{\overset{3}{\Σ}}{\mathrm{\ω}}_{ji}{y}_2^{ji}\right)-\frac{2y_3^{ji}}{{\mathrm{\τ}}_e^i}-\frac{y_0^{ji}}{{\left({\mathrm{\τ}}_e^i\right)}^2}\\ {\stackrel{\·}{y}}_4^{ji}=\frac{H_e^i}{{\mathrm{\τ}}_e^i}\·\[p_j\left(t\right)+C_{2}S\left(C_1\underset{i=1}{\overset{3}{\Σ}}{\mathrm{\ω}}_{ji}{y}_0^{ji}\right)+G_{ij}\]-\frac{2y_4^{ji}}{{\mathrm{\τ}}_e^i}-\frac{y_1^{ji}}{{\left({\mathrm{\τ}}_e^i\right)}^2}\\ {\stackrel{\·}{y}}_5^{ji}=\frac{H_i^i}{{\mathrm{\τ}}_i^i}\·C_{4}S\left(C_2\underset{i=1}{\overset{3}{\Σ}}{\mathrm{\ω}}_{ji}{y}_0^{ji}\right)-\frac{2y_5^{ji}}{{\mathrm{\τ}}_i^i}-\frac{y_2^{ji}}{{\left({\mathrm{\τ}}_i^i\right)}^2}\end{array},(i=1,2,3;j=1,2)---\left(8\right)$

上式中，i＝1,2,3分别代表皮质区域脑电信号的高频段(45-30Hz)、中频段(30-15Hz)、低频段(15-0Hz)，j＝1,2代表不同的皮质区域。每个区域的兴奋和抑制性增益系数H_e,i和延时常数τ_e,i相同，模拟得到提眉表情驱动下的脑电信号。

步骤6对提眉表情驱动下建模得到的脑电信号进行快速傅里叶变换，求其对数频带能量E_i，其数学表达式为：

$E_i=\underset{k=1}{\overset{15}{\Σ}}{\log }_2{x}_k^2---\left(9\right)$

式中x_k代表经傅里叶变换后各频率的能量值，并计算每个频带能量在总能量中的比值，表示为：

${\mathrm{\η}}_i=\frac{E_i}{\underset{i=1}{\overset{3}{\Σ}}{E}_i}---\left(10\right)$

基于提眉表情驱动下建模得到的脑电信号能量分布如表1所示，确定提眉表情驱动下脑电信号的特征值位于中频段与低频段，对照脑电信号频谱分布特征，确定基于不同面部表情驱动下Alpha波段与theta波段特征明显。

表1表情刺激下脑电信号不同频带分布

参考图2，本发明涉及的系统包括置于受试者头部的脑电信号检测单元，优先采用多通道脑电检测设备来采集电信号，选取国际标准10/20下前额叶皮层的FC5、FC6和位于边缘系统的F7、F8通道信号。

参考图3，不同面部表情驱动示意图图(a)提眉动作，图(b)皱眉动作图(c)左撇嘴动作图(d)右撇嘴动作。当使用者开始动作时，脑电采集单元采集FC5、FC6、F7、F8四通道脑电信号。

参考图4，当受试者进行表情驱动时，脑电检测单元采集受试者的FC5、FC6、F7、F8通道脑电信号，通过无线蓝牙技术将脑电信号传递给信号处理单元，信号处理单元对其将进行特征提取和模式识别，通过TTL串口通信技术实将识别结果传输给目标任务单元完成目标任务后，使用者根据视觉信息，实现反馈。

建模输出脑电信号特征对基于不同面部表情驱动的实时脑电信号进行分类，包括下述步骤：

步骤1参照图2，为受试者佩戴脑电采集单元，并采集受试者头部前额叶皮层的FC5、FC6位置和位于边缘系统的F7、F8位置信号，测得的脑电信号经过放大滤波后送往信号处理单元。

步骤2参照图3，本实施例中，使用者分别作出提眉、皱眉、左撇嘴、右撇嘴动作之一。

步骤3参考图3，受试者根据自身需求，随机做出四种表情之一，脑电采集单元同步采集脑电信号，经过带通滤波后，传输给信号处理单元。为获得稳定可靠数据，要求使用者每重复10次操作，休息1次，每次操作时间规定为4s,休息时间规定为2min.四种不同面部表情与FC5、FC6、F7、F8位置脑电信号具有一一对应关系。

步骤4信号处理单元对采集到的不同表情驱动下的脑电信号进行离线分析，根据建模结果提取脑电信号Alpha波段与theta波段，并对其采用小波变换模均值模方法计算出脑电信号特征值并对Alpha波与theta波进行小波变换模均值计算，得到样本信号特征值：

$X_{ki}=\frac{\underset{1}{\overset{n}{\Σ}}{Y}_i}{n}(i=1,2...8)---\left(11\right)$

式中，Y₁～Y₄分别为F7、FC5、FC6、F8四通道theta波小波系数值，X_k1～X_k4分别为F7、FC5、FC6、F8四通道theta波小波系数模均值,Y₅～Y₈分别为F7、FC5、FC6、F8四通道Alpha波小波系数值，X_k5～X_k8分别为F7、FC5、FC6、F8四通道Alpha波小波系数模均值；由小波变换模均值计算得到多维特征向量X_k为：

X_k＝[x_k1 x_k2 x_k3 x_k4 x_k5 x_k6 x_k7 x_k8]   (12)

对X_k进行归一化处理：

$t_{ki}=\frac{X_{ki}-Y_{imin}}{Y_{i\max }-Y_{imin}}(i=1,2...8)---\left(13\right)$

式中，t_ki为归一化后各通道小波系数模均值，y_imin为各通道小波系数最小值，y_imax为各通道小波系数最大值，经归一化后的小波特征矩阵T_k则为：

T_k＝[t_k1 t_k2 t_k3 t_k4 t_k5 t_k6 t_k7 t_k8]      (14)

步骤5采取8-30-2结构BP神经网络算法对四种表情驱动下样本信号进行分类器分类训练，分类结果包含四种模式，如表1所示。识别结果通过TTL串口通信传输目标任务单元。

表1脑电识别结果

步骤6样本训练完成后，返回步骤4，进行在线目标识别,信号处理单元提取实时表情驱动下脑电信号Alpha波段与theta波段，并进行小波变换模均值计算，得到实时脑电信号特征值，输入BP神经网络，根据步骤5的训练结果与所提取的脑电特征信号进行在线表情分类。

步骤7分类结果经过控制命令转换为受控设备控制指令，受控设备完成目标任务后，通过视觉信息，实现反馈。

Claims (2)

1.一种基于不同表情驱动的脑电信号辨识方法，其特征在于，包括下述步骤：

第一步，建立基于不同面部表情驱动脑电信号产生机理的模型，具体方法如下：

(1)建立大脑皮层两个独立皮质区域：前额叶皮质区S1与边缘系统皮质区S2，每个独立皮质区均进行两类电位的转换后输出脑电信号，其中，一类将输入的触突前膜动作电位脉冲密度转换为平均触突后膜电位；另一类将平均触突后膜电位转换为大脑皮层输出的脑电信号；各皮质区分别由多个兴奋性细胞单元与抑制性细胞单元构成，每个细胞单元将触突动作电位的平均脉冲密度转换为平均触突后膜电位，单个兴奋性细胞单元与抑制性细胞单元的冲击响应函数表达达式为：

$h_e\left(t\right)=u\left(t\right)\frac{H_e}{{\mathrm{\τ}}_e}{\mathrm{te}}^{-t/{\mathrm{\τ}}_e}---\left(1\right)$

$h_i\left(t\right)=u\left(t\right)\frac{H_i}{{\mathrm{\τ}}_i}{\mathrm{te}}^{-t/{\mathrm{\τ}}_i}---\left(2\right)$

式中，u(t)为Heaviside函数，H_e为兴奋性神经元突触增益，H_i为抑制性神经元突触增益，τ_e为兴奋性神经单元延时常数，τ_i为抑制性神经单元延时常数；

(2)静态非线性函数S(v)将兴奋性细胞单元与抑制性细胞单元产生的触突平均后膜电位转换为经表情驱动控制下产生的动作电位的平均脉冲密度，其数学式为：

$S\left(v\right)=2e_0/(1+e^{r(v_0-v)}),---\left(3\right)$

式中，2e₀为动作电位最大发放率，v₀为相对于发放率e₀的突触后电位，r为s(v)函数的弯曲程度，v为突触前膜电压；

(3)S(v)得到的动作电位的平均脉冲密度分别接受各自皮质区内部兴奋性、抑制性细胞神经单元的反馈，并根据不同细胞单元所包含的触突个数以及相互之间的关联常数的反馈作用，最终得到独立皮质区域S1、S2的输出的脑电信号，单皮质区的数学模型的微分方程表示如下：

$\left\{\begin{array}{c}{\stackrel{\·}{y}}_0\left(t\right)=y_3\left(t\right)\\ {\stackrel{\·}{y}}_3\left(t\right)=\frac{H_e}{{\mathrm{\τ}}_e}S\left(y_1\right(t)-y_2(t\left)\right)-\frac{2}{{\mathrm{\τ}}_e}{y}_3\left(t\right)-\frac{1}{{\mathrm{\τ}}_e^2}{y}_0\left(t\right)\\ {\stackrel{\·}{y}}_1\left(t\right)=y_4\left(t\right)\\ {\stackrel{\·}{y}}_4\left(t\right)=\frac{H_e}{{\mathrm{\τ}}_e}\{p\left(t\right)+C_{2}S\left(C_1{y}_0\right(t\left)\right)\}-\frac{2}{{\mathrm{\τ}}_e}{y}_4\left(t\right)-\frac{1}{{\mathrm{\τ}}_e^2}{y}_1\left(t\right)\\ {\stackrel{\·}{y}}_2\left(t\right)=y_5\left(t\right)\\ {\stackrel{\·}{y}}_5\left(t\right)=\frac{H_i}{{\mathrm{\τ}}_i}\left\{C_{4}S\left(C_3{y}_0\right(t\left)\right)\right\}-\frac{2}{{\mathrm{\τ}}_i^2}{y}_2\left(t\right)\end{array}\right.---\left(4\right)$

式中，C1，C2，为兴奋性细胞单元平均突触连接数；C3，C4为抑制性细胞单元平均突触连接数，求解方程组，得到独立皮质区域输出脑电信号y(t)为：

y(t)＝y₁(t)-y₂(t)               (5)

式中，y1(t)为经由兴奋性细胞单元转换后得到的平均触突后膜电位，y2(t)为经由抑制性的细胞单元反馈得到的平均触突后膜电位，通过设定不同的参数H_e，H_i，τ_e,τ_i，分别建立前额叶皮质区域与边缘系统皮质区域的脑电信号产生模型；

(4)设定S1区，S2区的兴奋性、抑制性细胞子群均由N个兴奋性细胞单元与N个抑制性细胞单元构成，分别代表脑电信号的多个频段脑电信号，其相互之间关系由权重系数ω决定,权重系数ω的取值表示为：

$W=\left\{{\mathrm{\ω}}_{ji}\right\}\∈\[0,1\],\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_{ji}=1$

基于面部表情控制下S1区、S2区之间的相互作用由耦合强度q、区域均值脑电信号RM(y)以及其他大脑皮层区域脑电信号相互作用p(t)构成，由此得到非耦合作用下前额叶皮质区S1，边缘系统区S2产生的脑电信号，其表达式为：

$y{\left(t\right)}_{ji}=\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_{ji}y{\left(t\right)}_1^i-\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_{ji}y{\left(t\right)}_2^i,(j=1,2)---\left(6\right)$

(5)依据式(4)、式(5)、式(6)，建立面部表情控制下前额叶皮质区S1与边缘系统区S2耦合作用下产生的脑电信号，设定区域间的相互作用由耦合强度q,区域输出均值脑电信号RM(X)决定，其计算式为：

$RM\left(y\right(t\left)\right)=y\left(t\right)-\frac{\underset{n=1}{\overset{N}{\Σ}}{y}_n\left(t\right)}{N}---\left(7\right)$

式中，y(t)为步骤(3)建模得到脑电信号，y_n(t)为不同时刻所对应的脑电信号瞬态值则，根据式(7)得到S1区、S2区相互作用传递函数数学表达式为：

$G_j=q_j\·RM\left(S\left(\underset{j=1}{\overset{2}{\Σ}}{K}_{ij}\right)\right)---\left(8\right)$

式中，j＝1,2代表两个不同皮质区域，其它大脑皮层区域脑电信号相互作用p(t)以输入形式参与，由此得到相互耦合作用下的皮质区表脑电信号达式：

$\left\{\begin{array}{c}{\stackrel{\·}{y}}_0^{ji}=y_3^{ji}\\ {\stackrel{\·}{y}}_1^{ji}=y_4^{ji}\\ {\stackrel{\·}{y}}_2^{ji}=y_5^{ji}\\ {\stackrel{\·}{y}}_3^{ji}=\frac{H_e^i}{{\mathrm{\τ}}_e^i}\·S(\underset{i=1}{\overset{3}{\Σ}}{\mathrm{\ω}}_{ji}{y}_2^{ji}-\underset{i=1}{\overset{3}{\Σ}}{\mathrm{\ω}}_{ji}{y}_2^{ji})-\frac{2y_3^{ji}}{{\mathrm{\τ}}_e^i}-\frac{y_0^{ji}}{{\left({\mathrm{\τ}}_e^i\right)}^2}\\ {\stackrel{\·}{y}}_4^{ji}=\frac{H_e^i}{{\mathrm{\τ}}_e^i}\·\[p_j\left(t\right)+C_{2}S\left(C_1\underset{i=1}{\overset{3}{\Σ}}{\mathrm{\ω}}_{ji}{y}_0^{ji}\right)+G_{ij}\]-\frac{2y_4^{ji}}{{\mathrm{\τ}}_e^i}-\frac{y_1^{ji}}{{\left({\mathrm{\τ}}_e^i\right)}^2}\\ {\stackrel{\·}{y}}_5^{ji}=\frac{H_i^i}{{\mathrm{\τ}}_i^i}\·C_{4}S\left(C_2\underset{i=1}{\overset{3}{\Σ}}{\mathrm{\ω}}_{ji}{y}_0^{ji}\right)-\frac{2y_5^{ji}}{{\mathrm{\τ}}_i^i}-\frac{y_2^{ji}}{{\left({\mathrm{\τ}}_i^i\right)}^2}\end{array}\right.,(i=1,2,3;j=1,2)---\left(9\right)$

式中，i＝1,2,3分别代表皮质区域脑电信号的高频段、低频段、中频段，j＝1,2代表不同的皮质区；每个区的兴奋和抑制性增益系数H_e,i和延时常数τ_e,i相同，通过调整权重系数矩阵W_ji与耦合强度q，模拟得到不同表情驱动下的脑电信号；

(6)对建模得到的脑电信号进行快速傅里叶变换，求其对数频带能量E_i，其数学表达式为：

$E_i=\underset{k=1}{\overset{15}{\Σ}}{\log }_2{x}_k^2---\left(10\right)$

式中x_k代表经傅里叶变换后各频段的能量值，并计算每个频带能量在总能量中的比值：

${\mathrm{\η}}_i=\frac{E_i}{\underset{i=1}{\overset{3}{\Σ}}{E}_i}---\left(11\right)$

最后，参照真实脑电信号的频谱特性，确定基于不同面部表情控制下脑电信号的特征值位于Alpha波段与theta波段；

第二步，用第一步建立的模型输出脑电信号特征对基于不同面部表情驱动的实时脑电信号进行分类。

2.如权利要求1所述的基于不同表情驱动的脑电信号辨识方法，其特征在于，所述用第一步建立的模型输出脑电信号特征对基于不同面部表情驱动的实时脑电信号进行分类包括下述步骤：

(1)为受试者佩戴便携化多通道脑电检测单元与信号处理单元，脑电检测单元中所有电极均处于国际10-20系统的标准位置，并采集前额皮质区FC5、FC6通道与边缘系统皮质区F7、F8通道的脑电信号；

(2)信号检测单元同步采集到位于前额叶皮层的FC5、FC6和位于边缘系统的F7、F8位置脑电信号后，进行2～40Hz的带通滤波，然后通过无线通信模块传给信号处理单元，该单元将采集到的不同面部表情驱动下的脑电信号进行离线分析，得到与各种不同面部表情驱动下脑电信号相对应的样本信号；

(3)利用第一步(6)的结果采用小波变换模均值法提取样本信号特征值，受试者随机动作一种面部表情，信号处理单元首先提取四通道的Alpha波段与theta波段的相应该表情的脑电信号；并对Alpha波与theta波进行小波变换模均值计算，得到多维特征向量，进行归一化处理后，得到样本特征矩阵T_k；

(4)将不同样本的T_k同时输入BP神经网络分类器进行训练；

(5)样本训练完成后，返回步骤(2)，进行在线目标识别,信号处理单元提取Alpha波段与theta波段脑电信号，并对Alpha波段与theta波段进行小波变换模均值计算，得到多维特征向量X_k，X_k进行归一化后，输入BP神经网络，根据(4)的训练结果与所提取的脑电特征信号进行在线表情分类。