CN102499677B - 基于脑电非线性特征的情绪状态识别方法 - Google Patents

Abstract

本发明属于情绪状态识别技术。为提供一种更加客观的情绪状态识别方法，为心理疾病的治疗评价提供一个更加客观的评价方法，本发明采取的技术方案是，基于脑电非线性特征的情绪状态识别方法，包括数据采集与数据预处理、特征提取以及特征分析与分类识别步骤；数据采集与数据预处理是，利用图片对受试者进行情绪诱发，并记录其脑电信号，对采集的原始脑电信号进行预处理，包括改变参考电位、降采样、带通滤波、去除眼电四个步骤；特征提取是指功率谱熵的提取和相关维数提取；将提取的功率谱熵和相关维数两种特征进行特征层融合后，使用SVM或HMM分级区分。本发明主要应用于情绪状态识别。

Description

基于脑电非线性特征的情绪状态识别方法

技术领域

本发明属于情绪状态识别技术，涉及一种基于脑电非线性特征的情绪状态识别方法。

背景技术

1872年，达尔文在《人类和动物的表情》一书中指出情绪是高级进化阶段的适应工具，从此人们开始了情绪实验与理论的研究。经过100多年，到20世纪后期情绪研究蓬勃发展起来，并与认知、神经科学、脑科学等研究相结合；其研究手段也多种多样，如脑电(EEG)、功能磁共振成像(fMRI)、功能近红外成像(fNIRI)等。

随着社会的发展，各年龄、各领域人们的情绪困扰越来越多、越来越严重，各种与情绪相关的疾病发病率越来越高，如抑郁症、狂躁症、焦虑症、强迫症、情感障碍等。2010年，据世界卫生组织统计，全球抑郁症发病率约为11％，全球约有3.4亿抑郁症患者并且人数在不断增长。当前抑郁症已经成为世界第四大疾病，预计到2020年可能将成为仅次于心脏病的人类第二大疾患，抑郁症将成为21世纪人类的主要杀手。这严重影响了人们的生活质量，同时也为情绪研究的发展提供了强大的动力。情绪研究在国外已广泛发展。1985国际上成立了“国际情绪研究学会”。其发展的进程已经涉及人类社会和人的心理生活的各个方面，从基本理论、方法论和内容，从简单的情绪品种及其作用，情绪与认知关系，到复杂的社会化情绪。IAPS自问世以来，被广泛地运用在有关情绪问题的研究中，比如情绪的生理机制、情绪调节、情绪与注意、记忆等认知活动的关系等。目前，国内外很多课题组在进行基于IAPS的情绪图片视觉诱发的研究，也获得了许多研究成果，这些研究成果按照信号采集方法不同，可以分为情绪体验自我报告法、脑成像技术、生物反馈法以及以上各种方法的结合。

现有技术中，大多存在技术复杂、识别准确性差等不足。

发明内容

本发明旨在解决克服现有技术的不足，提供一种更加客观的情绪状态识别方法，可以为心理疾病(如抑郁症)的治疗评价提供一个更加客观的评价方法。为达到上述目的，本发明采取的技术方案是，基于脑电非线性特征的情绪状态识别方法，包括数据采集与数据预处理、特征提取以及特征分析与分类识别步骤；

数据采集与数据预处理是，选择按照愉悦度范围分为八个等级的情绪图片，情绪图片等级越高诱发出的情绪越积极，情绪图片等级越低诱发出的情绪越消极，利用情绪图片对受试者进行情绪诱发，并记录其脑电信号，对采集的原始脑电信号进行预处理，包括改变参考电位、降采样、带通滤波、去除眼电四个步骤；

特征提取是指功率谱熵的提取和相关维数提取；

将提取的功率谱熵和相关维数两种特征进行特征层融合后，使用SVM或HMM将等级一、等级五、等级八的情绪状态区分开，SVM和HMM分别是Support Vector Machine和HiddenMarkov Model的缩写；SVM指支持向量机，HMM指隐马尔科夫模型。

功率谱熵的计算方法如下：

设信号的采样频率为f_s，采样点数为N，这样就得到信号的一个离散的时间序列，该离散序列经FFT后得到X(ω_i)，角频率

则功率谱密度为

具有N个样本点的一个离散的时间序列信号经过FFT变换后得到N/2个有效的功率谱密度值，他们分别是信号频率为

时的功率密度大小，为相邻两个功率密度所对应的频率间隔，频率范围为

这就是全频段，将

安总的功率谱进行归一化得到p_i，即则有∑_ip_i＝1，如果把频率为f_i至f_i+Δf之间的信号视为一个信息符号，则p_i可以理解为该信号出现的概率，因而这个功率谱就构成一个具有N/2个信息符号的信源，按照信息熵的定义则可计算出功率谱熵为

$H=-\underset{i}{\mathrm{\Σ}}{p}_i*\log p_i;$

H即为功率谱熵；

功率谱熵特征的提取：根据导联分区将每个区域内的功率谱熵求平均，则一张图片就得到6个特征，然后再将每一等级的图片的功率谱熵求平均，最后再将受试者的数据求平均，得到平均功率谱熵随情绪等级变化图。

相关维数提取是，采用Grassberger和Procaccia算法，简称G-P算法，其提取、计算过程如下：

设{x_k：k＝1，2，3，...，N}是采集到的脑电序列，将其嵌入到m维欧式空间R_m中，得到一个向量集J(m)，其元素记为：

X_n(m，L，J)＝(X_1+(n-1)J，x_1+(n-1)J+L，…x_{1+(n-1)J+(m-1)L})    n＝1，2，3，...N_m

其中，L为时间延迟，J为采样间隔，N_m是重构向量的维数，其值可由下面的公式计算：

$N_m=[\frac{(N-1)-(m-1)L}{J}+1]$

取J＝1，则有N_m＝N-((m-1)×L，从状态空间中的N_m个点中任意选定一个参考点X_i，则其余N_m-1个点到X_i的距离可以定义为：

$r_{\mathrm{ij}}=d(X_i,X_j)={\left[{\mathrm{\Σ}}_{k=0}^{m-1}{(x_{i+k\×L}-x_{j+k\×L})}^2\right]}^{1/2},i\≠j$

对所有X_i(i＝1，2，3，…，N_m)重复这一过程，得到相关积分函数：

$C_m\left(r\right)=\frac{1}{N_m(N_m-1)}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_m}{\mathrm{\Σ}}}\mathrm{\θ}(r-r_{\mathrm{ij}})$

在这里，r是一个变量，它的取值范围为[(r_ij)_min，(r_ij)_max]，且式中Heaviside函数为：

$\mathrm{\θ}\left(x\right)\left\{\begin{array}{cc}1& x>0\\ 0& x\≤0\end{array}\right.$

又由于N_m＞＞1，所以C_m(r)可以表示为：

$C_m\left(r\right)=\frac{1}{{N_m}^2}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_m}{\mathrm{\Σ}}}\mathrm{\θ}(r-r_{\mathrm{ij}})$

对于充分小的r，相关积分逼近下式：

lnC_m(r)＝lnC+D(m)lnr

D(m)即为相关维数；因此得到重构空间R_m中的子集J(m)的相关维数为：

$D\left(m\right)=\underset{r\→0}{\lim }\frac{\∂\ln C_m\left(r\right)}{\∂\ln r}$

利用lnC_m(r)～lnr曲线通过线性回归来求得。

本发明具有如下技术效果：

本发明采用了功率谱熵的提取和相关维数提取来反映情绪的变化，因而有效地提高情绪状态识别的正确率，继而可以为心理疾病的治疗评价提供一个更加客观的评价方法。

附图说明

图1本发明技术流程图。

图2导联分区示意图。

图3被试者F区、AT区、C区平均功率谱熵随等级的变化图。

图4线性可分情况下的最优分类线。

具体实施方式

EEG因其高时间分辨率和简便易行优势，被广泛用于情绪研究中。本发明提出的研究方法，建立了EEG非线性特征与情绪等级之间的对应关系，并通过EEG非线性特征识别人的情绪状态。

本发明的主旨是提出一种更加客观的情绪状态识别方法，可以为心理疾病(如抑郁症)的治疗评价提供一个更加客观的评价方法。应用对象主要为一些特殊疾病的患者，如高血压、冠心病等，这些患者不宜有过度的情绪波动，太大的情绪波动可能会导致死亡。另外，在一些特殊的场合，如进行真空训练的宇航员，他们可能长期处于一个狭小的封闭空间，这可能导致一些消极的情绪出现。这些特殊人群，需要及时的调整自己的情绪状态，本发明能为这些特定人群的情绪调节提供监控信息或者反馈。

下面结合附图和实施例进一步详细说明本发明。

图1为本发明研究流程图。包括数据采集、数据预处理、特征提取以及特征分析与分类识别四个大部分。采集EEG的实验程序是在stim2平台下设计的，脑电采集仪器使用的是scan4.3，使用的脑电电极帽是10-20标准64导联。本发明中使用到的IAPS(InternationalAffective Picture System)由许多具有情绪唤起作用的、国际可访问的、有广泛语义范畴的彩色图片组成并对这些彩色图片进行了三个维度的评分。它是由美国国立精神卫生研究中心(National Institute of Mental Health，NIMH)情绪与注意研究所(Emotion & Attention)历经数年编制而成的一套标准化情绪刺激图片系统。本发明从IAPS中选择了120张图片，按照愉悦度范围分为八个等级，每个等级15张图片。情绪图片等级越高诱发出的情绪越积极，情绪图片等级越低诱发出的情绪越消极。利用这些图片对受试者进行情绪诱发，并记录其脑电信号。对采集的原始脑电信号进行预处理，包括改变参考电位、降采样、带通滤波、去除眼电四个步骤。

1.功率谱熵

1.1功率谱熵基本原理及计算过程

熵(Entropy)指的是体系的混乱程度，信息熵可以表示信息的价值。这样子我们就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。一个不确定系统所产生信息量可以用描述这个系统的对数平均值来表示，即

功率谱熵和小波熵，本文使用的是功率谱熵，其一般计算方法如下：

设信号的采样频率为f_s，采样点数为N，这样就得到信号的一个离散的时间序列。该离散序列经FFT后得到X(ω_i)，

为角频率，则功率谱密度为

这样，具有N个样本点的一个离散的时间序列信号经过FFT变换后得到N/2个有效的功率谱密度值，他们分别是信号频率为

时的功率密度大小，

为相邻两个功率密度所对应的频率间隔。频率范围为

这就是全频段。有时候可以将

按总的功率谱进行归一化得到p_i，即

则有∑_ip_i＝1。如果把频率为f_i至f_i+Δf之间的信号视为一个信息符号，则p_i可以理解为该信号出现的概率。因而这个功率谱就构成一个具有N/2个信息符号的信源。按照信息熵的定义则可计算出功率谱熵为

$H=-\underset{i}{\mathrm{\Σ}}{p}_i*\log p_i$

一个正弦信号的功率谱只有一条谱线，由上式计算出的功率谱熵将为0。而一个均匀分布的白噪声所对应的功率谱在全频段上几乎是均匀分布的，按上式算出的功率谱熵就大。可以证明在出现概率相等的情况下，即

时H取得最大值H_max＝logn。因此，当信号在时域的不确定性越大时，相应的功率谱熵就越大，信号的复杂度也越大。所以功率谱熵也可以作为系统复杂性程度的一个度量指标。

1.2功率谱熵特征提取与分析

对于一幅图片求每一导的功率谱熵，然后按照如图2所示分区图随导联进行分区。将每个区域内的功率谱熵求平均，则一张图片就得到6个特征。然后再将每一等级的15张图片的功率谱熵求平均。图3给出了其中13名被试者平均功率谱熵F区、AT区、C区平均功率谱熵随等级的变化图。

由图3得，F区的功率谱熵随着等级变化有上升趋势。

2.相关维数

相关维数(Correlation Dimension，CD)是分形维数的一种，它能反应系统的复杂度。相关维数是定量描述非线性时间序列的一个重要参数，在电力系统谐波分析与生物医学信号特征描述等方面得到广泛应用。相关维数的计算方法有多种，本文使用的是Grassberger和Procaccia算法，简称G-P算法，其计算过程如下。

设{x_k：k＝1，2，3，...，N}是采集到的脑电序列，将其嵌入到m维欧式空间R_m中，得到一个向量集J(m)，其元素记为，

X_n(m，L，J)＝(x_1+(n-1)J，x_1+(n-1)J+L，…x_{1+(n-1)J+(m-1)L})    n＝1，2，3，...N_m

其中，L为时间延迟，J为采样间隔，N_m是重构向量的维数，其值可由下面的公式计算。

$N_m=[\frac{(N-1)-(m-1)L}{J}+1]$

一般情况下取J＝1，则有N_m＝N-((m-1)×L。从状态空间中的N_m个点中任意选定一个参考点X_i，则其余N_m-1个点到X_i的距离可以定义为

$r_{\mathrm{ij}}=d(X_i,X_j)={\left[{\mathrm{\Σ}}_{k=0}^{m-1}{(x_{i+k\×L}-x_{j+k\×L})}^2\right]}^{1/2},i\≠j$

对所有X_i(i＝1，2，3，…，N_m)重复这一过程，得到相关积分函数

$C_m\left(r\right)=\frac{1}{N_m(N_m-1)}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_m}{\mathrm{\Σ}}}\mathrm{\θ}(r-r_{\mathrm{ij}})$

在这里，r是一个变量，它的取值范围为[(r_ij)_min，(r_ij)_max]。r可以按等间隔变化，也可按不等间隔变化。r的取值方法一般有两种，一种是均匀变化，一种是对数变化。且式中Heaviside函数为

$\mathrm{\θ}\left(x\right)\left\{\begin{array}{cc}1& x>0\\ 0& x\≤0\end{array}\right.$

又由于N_m＞＞1，所以C_m(r)可以表示为

$C_m\left(r\right)=\frac{1}{{N_m}^2}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_m}{\mathrm{\Σ}}}\mathrm{\θ}(r-r_{\mathrm{ij}})$

对于充分小的r，相关积分逼近下式

lnC_m(r)＝lnC+D(m)lnr

因此得到重构空间R_m中的子集J(m)的相关维数为

$D\left(m\right)=\underset{r\→0}{\lim }\frac{\∂\ln C_m\left(r\right)}{\∂\ln r}$

在实际中，我们可以利用lnC_m(r)～lnr曲线通过线性回归来求得。经验证，随着情绪等级的升高，相关维数也呈上升趋势，与功率谱熵的结论一致。

3.支持向量机(Support Vector Machine，SVM)

支持向量机(Support Vector Machine，SVM)是基于统计学习理论的学习方法，也是其中最年轻的内容，最实用的部分。它通过构造最优超平面，使得对未知样本的分类误差最小。根据结构风险最小化归纳原则，为了最小化期望风险的上界，SVM通过最优超平面的构造，在固定学习机经验风险的条件下最小化VC维(Vapnik-Chervonenkis dimension)置信度。

SVM是从线性可分情况下的最优分类面发展而来的，基本思想可以用图4的两维的情况说明。图中实心点和空心点代表两类样本，H为分类线，H1，H2分别为各类中离分类线最近的样本且平行于分类线的直线，它们之间的距离叫做分类间隔。

所谓最优分类线就是要求分类线不但能将两类正确分开(训练错误率为0)，而且使分类间隔最大。分类线方程为x·w+b＝0，我们可以对它进行归一化，使得对线性可分的样本集(x_i，y_i)，i＝1，K，n，x∈R⁴，y∈{+1，-1}，满足

y_i[(w·x_i)b]-1≥0，i＝1，K，n.

此时分类间隔等于2/||w||，使间隔最大等价于使||w||²最小。满足上式且使1/2||w||²最小的分类面叫做最优分类面，H1、H2上的训练样本点就称作支持向量。

SVM方法广泛应用于分类研究中。

4.隐马尔科夫模型

隐马尔科夫模型(Hidden Markov Model，HMM)的基本理论形成于上世纪60年代末期和70年代初期，是对马尔科夫模型的扩展。HMM类似于一阶Markov过程，不同的是HMM是一个双随机过程。

隐马尔科夫模型λ可以表示为一个五元组(S，V，A，B，π)，S是一组状态集S＝{1，2，3，…，N}，V是一组输出集合V＝{v₁，v₂，v₃...v_M}，A是状态转移矩阵A＝[a_ij]，a_ij＝P(q_t+1＝j|q_t＝i)，1≤i，j≤N。B是输出概率分布B＝{b_j(k)}，b_j(k)表示在状态j时输出信号v_k的概率，即b_j(k)＝P(v_k|j)，1≤k≤M，1≤j≤N。π是初始状态概率分布π＝{π_i]，π_i＝P(q_i＝i)即，时刻1时选择某个状态的概率。

隐马尔科夫模型也广泛应用于分类研究中。

有益效果

功率谱熵和相关维数都随着情绪等级的升高呈现升高趋势。将两种特征进行特征层融合后，使用SVM(Support Vector Machine)或HMM(Hidden Markov Model)将等级一、等级五、等级八的情绪状态区分开。

本发明旨在提出一种新的情绪状态识别方法，通过功率谱熵和相关维数识别人的情绪状态，继而可以为心理疾病的治疗评价提供一个更加客观的评价方法，或者为情绪调节提供信息或者反馈。该项发明可有效地提高情绪状态识别的正确率，并获得可观的社会效益和经济效益。最佳实施方案拟采用专利转让、技术合作或产品开发。

Claims (1)

1.一种基于脑电非线性特征的情绪状态识别方法，其特征是，包括数据采集与数据预处理、特征提取以及特征分析与分类识别步骤；

数据采集与数据预处理是，选择按照愉悦度范围分为八个等级的情绪图片，情绪图片等级越高诱发出的情绪越积极，情绪图片等级越低诱发出的情绪越消极，利用情绪图片对受试者进行情绪诱发，并记录其脑电信号，对采集的原始脑电信号进行预处理，包括改变参考电位、降采样、带通滤波、去除眼电四个步骤；

特征提取是指功率谱熵的提取和相关维数提取；

将提取的功率谱熵和相关维数两种特征进行特征层融合后，使用SVM或HMM将等级一、等级五、等级八的情绪状态区分开，SVM和HMM分别是Support Vector Machine和HiddenMarkov Model的缩写；SVM指支持向量机，HMM指隐马尔科夫模型；

功率谱熵的计算方法如下：

设信号的采样频率为f_s，采样点数为N，这样就得到信号的一个离散的时间序列，该离散序列经FFT后得到X(ω_i)，角频率则功率谱密度为

具有N个样本点的一个离散的时间序列信号经过FFT变换后得到N/2个有效的功率谱密度值，他们分别是信号频率为

时的功率密度大小，

为相邻两个功率密度所对应的频率间隔，频率范围为

这就是全频段，将按总的功率谱进行归一化得到p_i，即

则有∑_ip_i=1，如果把频率为f_i至f_i+Δf之间的信号视为一个信息符号，则p_i能够理解为该信号出现的概率，因而这个功率谱就构成一个具有N/2个信息符号的信源，按照信息熵的定义则能够计算出功率谱熵为

$H=-\underset{i}{\mathrm{\Σ}}{p}_i\×\log p_i;$

H即为功率谱熵；

功率谱熵特征的提取：根据导联分区将每个区域内的功率谱熵求平均，则一张图片就得到6个特征，然后再将每一等级的图片的功率谱熵求平均，最后再将受试者的数据求平均，得到平均功率谱熵随情绪等级变化图；

相关维数提取是，采用Grassberger和Procaccia算法，简称G-P算法，其提取、计算过程如下：

设{x_k:k=1,2,3,...,N}是采集到的脑电序列，将其嵌入到m维欧式空间R_m中，得到一个向量集J(m)，其元素记为：

X_n(m.,L,J)=(x_1+(n-1)J,x_1+(n-1)J+L,...x_{1+(n-1)J+(m-1)L})n=1，2，3，...N_m

其中，L为时间延迟，J为采样间隔，N_m是重构向量的维数，其值能够由下面的公式计算：

$N_m=[\frac{(N-1)-(m-1)L}{J}+1]$

取J=1，则有N_m=N-(m-1)×L，从状态空间中的N_m个点中任意选定一个参考点X_i，则其余N_m-1个点到X_i的距离能够定义为：

$r_{\mathrm{ij}}=d(X_i,X_j)={\left[{\mathrm{\Σ}}_{k=0}^{m-1}{(x_{i+k+L}-x_{j+k\×L})}^2\right]}^{1/2}i\≠j$

对所有X_i(i=1,2,3,...,N_m)重复这一过程，得到相关积分函数：

$C_m\left(r\right)=\frac{1}{N_m(N_m-1)}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_m}{\mathrm{\Σ}}}\mathrm{\θ}(r-r_{\mathrm{ij}})$

在这里，r是一个变量，它的取值范围为

，且式中Heaviside函数为：

$\mathrm{\θ}\left(x\right)=\left\{\begin{array}{cc}1& x>0\\ 0& x\≤0\end{array}\right.$

又由于N_m>>1，所以C_m(r)能够表示为：

$C_m\left(r\right)=\frac{1}{N_m^2}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_m}{\mathrm{\Σ}}}\mathrm{\θ}(r-r_{\mathrm{ij}})$

对于充分小的r，相关积分逼近下式：

lnC_m(r)=lnC+D(m)lnr

D（m）即为相关维数；因此得到重构空间R_m中的子集J(m)的相关维数为：

$D\left(m\right)=\underset{r\→0}{\lim }\frac{\∂\ln C_m\left(r\right)}{\∂\ln r}$

利用lnC_m(r)～lnr曲线通过线性回归来求得。

Images