CN104434143A - 一种恐惧情感的实时识别方法 - Google Patents

Abstract

一种恐惧情感的实时识别方法，包括心率和皮肤电信号的采集，心率和皮肤电信号的滑动时间窗分割，对分割得到的心率信号进行长程涨落分析，获得被识别对象的生理唤起水平；对生理唤起水平高的时间内的皮肤电信号，先对其去噪后，再找出在特定时间内皮肤电上升沿斜率局部最大值的数目；当特定时间内皮肤电上升沿斜率局部最大值数目大于一定的阈值时，判断为恐惧情感的发生；当特定时间内皮肤电上升沿斜率局部最大值数目大于1而小于一定的阈值时，判断为有生理唤起，但不是恐惧情感引起的生理唤起。

Description

一种恐惧情感的实时识别方法

技术领域

本发明涉及一种情感的识别方法。

背景技术

目前市场上针对用户情感识别的软硬件产品主要通过面部和语音进行识别，根据用户的生理信号进行情感识别主要还处于实验室研究阶段，偶尔可见的几款情感识别应用软件，其识别率基本不能满足实际需要。

而当前针对生理信号的情感识别方法，主要还在以多种情感的相互比对分类及特征选择方法为主，没有考虑到实时识别中的计算复杂度低、未知类别的情感不能影响目标情感识别等要求。如申请号为201010230506.3，名为“一种基于心电信号与语音信号的双模态情感识别方法”的中国发明专利申请，包括：情感数据的采集；情感特征的提取；判决层融合算法：待识别的情感类别包括烦躁、喜悦和平静三个类别，对语音与心电分类器均采用高斯混合模型(GMM)来进行每种情感类别的概率模型的训练，高斯混合模型是成员密度的加权和；特征层融合算法：采用PCA方法进行语音特征与心电特征的融合与降维；采用上述的高斯混合模型进行训练与识别。但是，该方法仅针对已知的三种情感(烦躁、喜悦和平静)进行分类器的训练，当实际使用时遇到没有训练过的其他未知情感类别，比如悲伤、愤怒等，上述三种目标情感的识别性能会大幅降低。此外，该方法的判决层和特征层的计算复杂度较高，基本不能满足实时情感识别对低计算复杂度的要求。

再者，现有技术中还没有专门针对恐惧情感，采用心率和皮肤电生理信号特征的实时情感识别方法。

因此，本发明要解决的问题是：克服现有情感识别方法计算复杂度高、依赖于训练好的分类器、对未训练过的未知类别的情感无法正确处理并因此降低目标情感识别率的缺陷，提供一种新的基于心率和皮肤电信号的恐惧情感识别技术，使得基于生理信号的情感识别得以实时准确地实现，促进该类电子产品和软件产品的情感识别率和用户满意度的提高。

发明内容

为解决上述问题，本发明提供了一种恐惧情感的实时识别方法，包括心率和皮肤电信号的采集、特征提取和恐惧情感的识别，其特征在于，所述情感识别包括以下步骤：

(S1)采集被识别对象的心率和皮肤电信号，该步骤包括：

使用生理信号数据采集电极和生理信号放大设备、模数转换设备，采集心电和皮肤电信号，再根据心电R波的位置得到用RR间隔序列表示的心率信号；

在恐惧情感识别数据采集之前，先测量被测对象的静息态心率信号；

得到静息态心率信号后，使用滑动时间窗截取连续采集的心率和皮肤电信号的特定时间长度的信号数据；

(S2)对静息态心率和当前时间窗内的心率数据，计算其长程涨落系数；

(S3)通过将当前时间窗内心率的长程涨落系数与静息态心率的长程涨落系数进行比较，得到取值大于等于零的生理唤起指数；

(S4)当生理唤起指数大于特定阈值，则得到被测对象的高生理唤起状态；

(S5)在被测对象的高生理唤起状态时间内的皮肤电信号上提取生理特征并进行恐惧情感的识别，该步骤包括：

对特定时间长度内的皮肤电信号，先对其去噪，然后通过二阶微分从正到负过零法则找出皮肤电信号上升沿斜率局部最大值的数目；

判断皮肤电信号上升沿斜率局部最大值的数目，当该数目大于特定阈值时，判断恐惧情感发生；当该数目大于1但小于特定阈值，判断为有生理唤起，但不是恐惧引起的生理唤起。

本发明的有益效果在于：首先，采用分级信号分析简化了情感生理特征提取，降低了计算复杂度。具体体现在，采集到生理信号后，首先只对心率计算长程涨落系数，当心率信号体现出高的生理唤起时，才在皮肤电信号中提取上升沿斜率局部最大值信息并进行情感识别。这种处理大大降低了实时情感识别过程的数据计算量。其次，对心率信号和皮肤电信号的特征提取只涉及简单的代数运算，不涉及复杂的信号变换，计算复杂度进一步降低。再次，本发明所采用的心率长程涨落系数和皮肤电上升沿斜率局部最大值指标分别经过实验室数据验证，心率长程涨落系数能很好地表示生理唤起的程度，并且皮肤电上升沿斜率局部最大值的数目是识别恐惧的关键特征。最后，用心率长程涨落系数推算的生理唤起指数的阈值和皮肤电上升沿斜率局部最大值数目阈值可以根据实际使用时对虚报率和漏报率的特定要求而设定，灵活方便。

附图说明

图1为本发明的流程图；

图2为实施例中心率的长程涨落系数的示意图；

图3为实施例中生理唤起指数在时间窗滑动过程中a≥a_th的数据范围；

图4为实施例中皮肤电的去噪示意图；

图5为实施例中用皮肤电识别的恐惧情感的发生的示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的说明：

如图1所示，本发明的恐惧情感的实时识别方法包括心率和皮肤电信号的获取，心率长程涨落系数和生理唤起指数的计算，皮肤电上升沿斜率局部最大值数目的计算，以及根据皮肤电上升沿斜率局部最大值数目判断恐惧情感是否发生。

其中心率是从心电信号的R波定位和RR间隔中计算得到，心电信号和皮肤电信号是直接通过生理采集设备得到。实时R波定位和RR间隔计算有多种成熟的通用方法,比如采用自适应阈值和域加窗法定位R波幅度,如在网页http://www.pudn.com/downloads164/sourcecode/math/detail746467.html中就可以下载详细的算法。在实时情感识别中用滑动时间窗截取特定长度的心率和皮肤电信号，例如，120秒的时间窗长度，时间窗的滑动步进105秒。实时识别开始前，先记录与滑动时间窗内心率序列等长的静息态心率序列。

心率的长程涨落系数是计算间隔n次心跳(n＝1,2,...且n小于心率序列长度N)的心率的平均绝对差值，例如，设B(n′),n′＝1,2,...,N为心率序列，则心率的长程涨落系数

$F\left(n\right)=\stackrel{\‾}{|B(n^{\′}+n)-B\left(n^{\′}\right)|}$

其中，表示先取绝对值，再求各项平均。得到静息态心率的长程涨落系数F(n)和当前待识别时间窗内心率的长程涨落系数F′(n)后，计算生理唤起指数如下：

a＝S_{F′(n)＞F(n)}/S_F′(n)

其中S_{F′(n)＞F(n)}是当前时间窗内满足F′(n)＞F(n)的所有长程涨落系数个数之和，S_F′(n)是当前时间窗内心率序列的长程涨落系数个数之和，a即为生理唤起指数，且0≤a≤1。

设定阈值a_th，例如，设定a_th＝0.86，则当前时间窗内若出现a≥a_th，即激活对皮肤电生理特征的提取以及恐惧情感的识别。

皮肤电的实时去噪要求其能满足低的计算复杂度.各种经典的FFT滤波或小波滤波等都具有相对较高的计算复杂度，因此本发明中采用下采样平均法去噪。具体做法是：(1)以较 高的采样频率采集皮肤电信号，比如400数据点/秒；(2)然后将采样频率下降至较低的采样频率，比如5数据点/秒；(3)在下采样的同时，进行数据平均去噪，比如从400数据点/秒下采样至5数据点/秒，400数据点/秒时，在0.2秒时间内有80个数据点，而5数据点/秒时，在0.2秒时间内只有1个数据点，即原来的80个数据点的平均值。对去噪后平滑的皮肤电信号，计算其二阶差分。皮肤电二阶差分的一个从正到负过零点表征了皮肤电上升沿斜率的一个局部最大值。计算特定时间内的皮肤电上升沿斜率局部最大值的个数m，例如，15秒内皮肤电上升沿斜率局部最大值的个数。设定情感识别的皮肤电上升沿斜率局部最大值数目阈值m_th，例如，m_th＝4，当m≥m_th时，判断为恐惧情感发生，否则判断为有生理唤起，但不是恐惧情感引起的。

当滑动时间窗长120秒，步进105秒，a_th＝0.86，m_th＝4时，下面用图说明：图2显示了心率的长程涨落系数；图3显示了被测对象435秒心率数据的生理唤起指数在时间窗滑动过程中a≥a_th的数据范围；图4显示了两秒时间内下采样平均法去噪后的皮肤电和原始皮肤电细节；图5显示了在该被测对象435秒时间内的高生理唤起阶段，用皮肤电上升沿斜率局部最大值数目判断出的恐惧情感发生和被测对象主观报告的恐惧情感的发生。

以上对本发明的描述是说明性的，而非限制性的，本专业技术人员理解，在权利要求限定的精神与范围之内可对其进行许多修改、变化或等效，但是它们都将落入本发明的保护范围内。

Claims (3)

1.一种恐惧情感的实时识别方法，其特征在于，所述识别方法包括以下步骤：

（S1）、采集被识别对象的心率和皮肤电信号，该步骤包括：

  采集心电和皮肤电信号，根据心电R波的位置得到用RR间隔序列表示的心率信号；

在恐惧情感识别数据采集之前，先测量被测对象的静息态心率信号；

得到静息态心率信号后，使用滑动时间窗截取连续采集的心率和皮肤电信号的特定时间长度的信号数据；

（S2）、对静息态心率和当前时间窗内的心率数据，计算其长程涨落系数；

（S3）、通过将当前时间窗内心率的长程涨落系数与静息态心率的长程涨落系数进行比较，得到取值大于等于零的生理唤起指数；

（S4）、当生理唤起指数大于特定阈值，则得到被测对象的高生理唤起状态；

（S5）、在被测对象的高生理唤起状态时间内的皮肤电信号上提取生理特征并进行恐惧情感的识别，该步骤包括：

对特定时间长度内的皮肤电信号，找出皮肤电信号上升沿斜率局部最大值的数目；

判断皮肤电信号上升沿斜率局部最大值的数目，当该数目大于特定阈值时，判断恐惧情感发生；当该数目大于1但小于特定阈值，判断为有生理唤起，但不是恐惧引起的生理唤起。

2.如权利要求1所述的恐惧情感的实时识别方法，其特征在于，在步骤S5中还包括对特定时间长度内的皮肤电信号进行去噪处理的过程。

3.如权利要求1或2所述的恐惧情感的实时识别方法，其特征在于，所述步骤S5中找出皮肤电信号上升沿斜率局部最大值的数目采用方法是二阶微分从正到负过零法。