CN107292296A - 一种使用脑电信号的人类情感唤醒度分类识别方法 - Google Patents

Abstract

本发明公开了一种使用人体脑电信号进行个人情感唤醒度分类识别的方法。本方法采集大量被试脑电信号作为训练数据；对训练数据依次进行去噪，特征提取和特征数据标准化处理；由专业人员对被试情感唤醒度水平进行分类作为标签数据；使用处理后的训练数据和标签数据训练得到情感唤醒度随机森林分类模型。在进行情感唤醒度分类识别时，向训练得到的情感唤醒度随机森林分类模型输入实时采集并预处理后的脑电信号特征数据，使用该模型计算出输入数据的情感唤醒度类别。

Description

一种使用脑电信号的人类情感唤醒度分类识别方法

技术领域

本发明是一种人类情感唤醒度识别的方法。主要涉及计算机科学和心理学的相关技术领域。

背景技术

James A. Russel在1980年提出了Arousal-Valence情感模型（如附图1），目前该模型是心理学界进行情感度量的重要模型之一。该模型主要采用唤醒度（Arousal）和效价（Valence）作为度量指标来衡量人类情感状态。其中, “唤醒” 是指生理或心理被吵醒或是对外界刺激重新产生反应。激活脑干，自律神经系统和内分泌系统，使得机体提高心率和血压准备接受外界刺激、运动和反应。唤醒性情绪包括：悲伤、愤怒和愉悦等。情感唤醒度是人类情感被唤醒程度高低的度量，在本方法中，我们将情感唤醒度定义在[0,1]数学空间，在其中规定[0.6，1]为高唤醒度水平，（0.4，0.6）为中等唤醒度水平，[0，0.4]为低唤醒度水平，本方法的用途在于使用人体脑电信号作为依据，判定个体在特定时刻的唤醒度水平，从而为人类情感状态和水平的识别提供参考依据。

情感识别是实现和谐人机交互的关键技术。来自社会和认知心理学的研究表明在相关的外界刺激下,情感能够快速地、轻易地、自动地甚至无意识地唤起。情感计算最初由美国麻省理工学院的Picard教授在1997年提出的。情感计算的目标是赋予计算机感知、理解与表达情感的能力, 从而与人更加主动、友好、声情并茂地交流。随后, 情感计算迅速引起人工智能与计算机领域专家的兴趣, 并成为近几年一个崭新的、充满希望的研究领域。情感计算的提出与迅速发展, 一方面是由于人机交互和谐性的要求, 希望计算机像人一样不但具备听、说、看、读的能力, 而且能够理解与表达喜、怒、哀、乐等情绪;另一方面也是基于强计算主义的心理, 希望把计算延伸至人的内心世界。情感计算提出后，基于面部表情、语音、姿势和生理信号的情感识别在得到广泛研究。

脑电信号（Electroencephalogram, EEG）是一种使用电生理指标记录大脑活动的方法，它是大脑在活动时大量神经元同步发生的突触后电位经总和后形成的。它记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。脑电信号同时也是国际上最广泛应用并得到普遍承认的多导心理测试指标。通过对于脑电信号的分析，可以对人类大脑的活动（包括情感活动）进行有效的追踪和测量。

在已有的方法中，研究者已经通过对于脑电信号的分析，揭示了人类认知活动的大量普遍规律。利用脑电信号进行情感唤醒度分类识别将有效的推动认知心理学和智能人机交互研究的发展。

发明内容

本发明的内容是提供一种使用脑电信号的人类情感唤醒度分类识别方法。

为了得到上述目的，采用以下技术方案。

采集人体脑电数据建立情感唤醒度分类识别模型，该方法主要包括如下步骤。

S1：利用脑电采集设备采集不同个体在不同情感唤醒度状态下的32道脑电信号，脑电采集点的选择如附图2所示，其中灰色的点为本方法所使用的脑电采集通道点。

S2：对采集得到的脑电信号进行去噪处理，去除由于信号干扰带来的噪音数据。

S3：计算提取脑电信号的数值特征，计算时间窗口长度为2秒，主要特征包括：

表1 脑电信号特征数据类型。

S4：对所有特征值进行标准化处理，以便能够提高模型训练的准确性，避免过拟合。

S5：由3名专业人员根据被试的表情和语音信息对被试的情感唤醒度水平进行评价，将评价结果分为高、中、低3类唤醒度分类评价数据。

S6：使用S4中获得的标准化特征数据作为训练数据和S5中获得的唤醒度评价数据作为标签数据，训练随机森林分类模型（Random Forest Classifier Model），从而获得基于脑电信号的情感唤醒度分类识别模型。并将该模型进行参数化保存。

在获得情感唤醒度识别模型后，在需要进行情感唤醒度预测/检测时，按照以下步骤进行情感唤醒度检测。

S1：实时采集被测试人员如附图2所示的32道脑电信号。

S2：对脑电信号进行去噪处理。

S3：提取如表1所示的脑电信号特征数据。

S4：对特征值进行数据标准化处理。

S4：将标准化处理后的特征值输入之前训练得到的脑电情感唤醒度分类识别模型，由该模型计算出被试个体在当前状态下的情感唤醒度水平。

本发明的主要特点包括。

（1）通过前期研究，在脑电信号的89个数据特征中，使用特征选择技术，确定了用于情感唤醒度分类识别效果最好的22个信号特征，从而极大的降低了计算复杂度，提高了计算效率。

（2）采用较长的时间窗口，从而降低了计算的复杂度，很好的提高了识别的有效性和准确性。

（3）采用模式识别中的分类技术，将情感唤醒度分为3类，只判定唤醒度的类别，并不计算唤醒度具体数值，更加符合实际应用需要。

附图说明

图1为Arousal-Valence情感模型示意图。

图2为脑电信号采集点示意图 。

图3为去噪后的脑电信号数据示意图（8通道）。

图4为脑电信号特征数据示意图（10特征）。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的阐述。

1. 情感唤醒度分类识别模型建立方法，该方法主要是在分类预测之前通过预先采集大量被试的脑电信号，进行去噪和数据预处理，并使用采集的数据训练情感唤醒度随机森林分类模型，以提供后续实时预测识别使用。

（1-1） 脑电信号采集

被试前期需要根据自身回忆，在采集环境中讲述自己记忆最为深刻的经历，建议被试讲述中包括高兴，悲伤，愤怒，恐惧等典型情感状态事件。在讲述过程中使用美国Biopac公司生产的多导生理记录仪MP150采集被试脑电信号。采集时使用脑电帽中的32个信号通道，分为'Fp1', 'AF3', 'F3', 'F7', 'FC5', 'FC1', 'C3', 'T7', 'CP5', 'CP1', 'P3', 'P7', 'PO3', 'O1', 'Oz', 'Pz', 'Fp2', 'AF4', 'Fz', 'F4', 'F8', 'FC6', 'FC2', 'Cz', 'C4', 'T8', 'CP6', 'CP2', 'P4', 'P8', 'PO4', 'O2’。具体位置如附图2所示。训练数据采集量不少于120分钟。累计采集被试数量不少于20人次。

（1-2）脑电信号去噪处理

在脑电信号的检测和处理过程中，严重受到了工频噪音等干扰信号的影响，为了有效的提取和分析信号中的有效成分，采用当前已经相对成熟的独立成分分析（ICA）方法，对原始脑电信号进行预处理，从而得到能够反映真实脑电特征的信号。去噪处理后的脑电信号如附图3所示（由于图片范围限制，在示意图3中仅画出了8个通道的脑电信号示意图，实际采集为32通道）。

（1-3）提取被试信号特征

对于采集到的脑电信号计算如表1所示的信号特征值。计算得到的脑电信号特征数据如附图4所示（由于图片范围限制，在示意图4中仅画出了10个脑电特征数据示意图，实际计算得到的信号特征为22个）。

（1-4）对计算得到的脑电信号特征值进行数据标准化

为了避免由于特征数据量值大小差异造成的过拟合等问题，采用标准数据归一化方法对（1-3）中计算得到的特征数据进行标准化。该方法将原始数据归一化成均值为0、方差1的数据，归一化公式如下：

其中，μ和σ分别为特征数据的均值和方差。

（1-5）情感唤醒度评价数据采集

由3名经过训练的人员（心理学专业）观看被试表情视频，收听被试语言表述，对不同时刻被试情感唤醒度进行评分，评分范围为[0,1]，评分数据保留小数点后两位，其中0表示没有唤醒，1表示情感唤醒度最大值。取3人评分平均分作为该时刻唤醒度评价值。对情感唤醒度评价值进行分类，其中规定[0.6，1]为高唤醒度水平，（0.4，0.6）为中等唤醒度水平，[0，0.4]为低唤醒度水平。

（1-6）训练个人情感唤醒度识别模型

使用（1-4）中计算得到的标准化特征值作为训练数据，（1-5）中的情感唤醒度评价值作为标签数据，进行标准随机森林分类模型（Random Forest Classifier Model）训练。在模型中，取森林树木数量n_estmators=22，基尼不纯度（Gini impurity）为度量系数，最终得到情感唤醒度分类识别模型。将所有训练好的模型参数保存，作为后续实时分类计算模型。

2，进行实时情感唤醒度分类计算方法。该方法主要通过实时采集和计算唤醒度相关脑电信号特征值，使用之前建立的情感唤醒度分类计算模型计算出该时刻的情感唤醒度类型。

（2-1）使用与（1-1）相同的设备和频率采集个体实时32道脑电信号（EEG）。采集通道如附图2所示。

（2-2）使用与（1-2）相同的方法进行脑电信号去噪处理。

（2-3）计算提取如表1所示的脑电信号特征。

（2-4）采用（1-4）中的方法对信号特征进行数据标准化处理，得到标准化后的信号特征值。

（2-5）读取（1-6）中训练得到的情感唤醒度分类识别模型，将标准化后的信号特征值作为输入，使用分类模型计算得到该时刻个人情感唤醒度分类值。

在已有的实验中，该方法的分类效果已经达到了较好的水平，经过验证，该方法的综合分类正确率为72.1%，能够较好的使用脑电信号判定人类情感唤醒度类型。

Claims (2)

1.一种使用脑电信号的人类情感唤醒度分类识别模型建立方法，该方法的特征在于其包括如下步骤；

S1：使用美国Biopac公司生产的MP150多道生理信号采集器，以512Hz采样频率采集多个被试在多个情感状态下的32通道脑电信号；

S2：使用独立成分分析法对采集到的脑电数据做预处理，去掉噪音干扰；

S3：使用预处理后的脑电信号，计算唤醒度识别相关的22个基本信号特征数据，脑电信号计算时间窗口长度为2秒，需要计算的信号特征包括：脑电Hjorth Mobility参数，脑电信号峰度，脑电信号变异系数，小波近似平均值，脑电信号偏度，小波近似能量，小波精确能量，顶点坡度均值，Theta波段最大能量，AF3，F3，FC5，FC1，C3，CP5，P3，Oz，Pz，Fp2，F8，Cz，PO4脑电通道自回归系数；

S4：对计算得到的22个特征进行数据标准化处理，作为模型训练数据；

S5：由3名专业技术人员根据被试的语音和面部表情状态对被试进行情感唤醒度连续评价，获得对应信息的唤醒度评价值，根据评价数据，将唤醒度类型分为高、中、低共三类，使用分类结果作为标签数据；

S6：使用训练数据和标签数据进行随机森林分类模型（Random Forest ClassifierModel）训练，得到情感唤醒度随机森林分类识别模型。

2.使用权利1要求的情感唤醒度随机森林分类识别模型进行情感唤醒度分类时的方法，该方法的特征在于其主要包括如下步骤：

S1：使用与权利1中相同的脑电采样频率和设备采集需要进行唤醒度分类的个体脑电信号；

S2：使用独立成分分析法对采集到的脑电数据进行去噪处理；

S3：提取与权利1中相同的脑电信号22个特征数值；

S4：对提取得到的特征数据进行标准化处理；

S5：将特征数据输入由权力1要求方法训练得到的情感唤醒度随机森林分类识别模型，由该模型计算出对应情感唤醒度分类值。