CN110135244B - 一种基于脑-机协同智能的表情识别方法 - Google Patents

Abstract

本发明涉及一种基于脑‑机协同智能的表情识别方法。本发明主要采用两层卷积神经网络提取人脸表情的图像视觉特征，以及多个门控循环单元提取观看表情时诱发的脑电情感特征，并通过随机森林回归模型建立两种特征之间的映射关系，最后采用K‑近邻分类器对回归模型得到的预测脑电情感特征进行表情的分类。本发明包括数据采集、数据预处理、图像视觉特征提取、脑电情感特征提取、特征映射和表情分类。表情分类结果表明：采用预测的脑电情感特征得到了较好的分类结果。与传统的图像视觉方法相比，基于脑‑机协同智能的表情识别，是一种很有前景的情感计算方法。

Description

一种基于脑-机协同智能的表情识别方法

技术领域

本发明属于情感计算领域中的表情识别领域，具体涉及一种基于脑-机协同智能的表情识别方法。

背景技术

一般来说，我们使用面部表情，身体姿势和声音音调来推断某人的情绪状态(如喜悦，悲伤和愤怒等)。就承载情感意义而言，面部表情是日常交流中主要的信息来源，它也是人机交互系统(HCIS)中的关键组成部分，如何有效地进行表情识别已经成为一个重要课题。

目前，面部表情识别(FER)方法主要从人类视觉角度出发，利用计算机技术从面部图像中提取相关特征来区分不同的表情，根据特征是人工设计还是神经网络生成可以分为两大类。

第一类是传统的表情识别方法。该类方法首先检测出人脸，然后通过提取几何特征、统计特征、频率域特征和运动特征等表情特征，最后采用支持向量机(SVM)，K-近邻(KNN)和Adaboost算法等对提取的特征进行分类，从而完成表情的识别。但这些特征易受外界因素(主要是光照、角度、复杂背景等)干扰，丢失一些重要的识别和分类信息，导致结果的精确性不高。

第二类是基于深度学习技术的表情识别方法。近年来，深度学习技术取得了突破性进展且在计算机视觉领域得到广泛应用。深度学习模型能对数据进行有效的特征提取，这是许多传统的机器学习模型所达不到的。因此，将深度学习引入到表情识别，可以使计算机深度理解人脸表情图像的表达意义。目前，大部分学者利用卷积神经网络实现表情识别。Liu等人提出了构建一个深度网络AUDN，它利用面部动作编码系统(FACS)的面部动作单元AU为特征，用卷积神经网络与多层受限制玻尔兹曼机进行特征提取，最后用支持向量机(SVM)做表情分类器。Mollahosseini等人提出了一个更复杂的神经网络模型，由两个卷积层组成，每个卷积层后面连接一个最大池，然后是四个Inception层，该模型在多个标准人脸数据集上取得了可观的效果。

通常，增加隐含层的层数可以增强网络的学习能力，使得学习到的特征更加贴近物体本身。但是，多层网络训练时间会增加，训练难度也会随之加大。同时，对训练样本的规模和多样性的要求也会变高，否则模型过拟合也会导致识别结果不理想。

事实上，人类对表情的识别几乎不需要训练，而且可以做到在有限的样本集上获得可靠的识别结果。研究表明，基于视听觉刺激诱发的生理信号(脑电信号、肌电信号、血压、心率和呼吸等)与情感语义存在隐含关系。其中，脑电信号中包含了大量的情感信息，这些信息在大脑皮层的不同区域随着情绪的变化而变化，具有高级的情感表达和良好的可分性。据此，本发明创新地提出了基于脑-机协同智能的表情识别方法，通过表情诱发的脑电信号与计算机技术捕捉到的视觉信息来实现表情的分类。它的意义在于利用人类的真实情感来提高机器在情感学习上的有效性，从而实现更人性化的情感计算。

发明内容

本发明针对现有技术的不足，提供了一种基于脑-机协同智能的表情识别方法。该方法是利用两层卷积神经网络(Two-layer Convolutional Neural Network,TCNN)提取表情的图像视觉特征，以及多个门控循环单元(Gated Recurrent Units,GRUs)提取脑电情感特征，采用随机森林回归模型建立图像视觉特征与脑电情感特征之间的映射关系，并通过K-近邻分类器对得到的预测脑电特征进行分类，从而完成表情的自动识别。

本发明所采用的技术方案：

1.获取数据：

采用多通道脑电采集设备采集原始脑电信号，获取每张表情图像诱发的脑电信号，共获取到N段原始脑电信号。

2.数据预处理：

脑电数据：对各段原始脑电信号均进行数据预处理，包括去伪迹和带通滤波，目的是减少伪迹的干扰，提高信噪比，从而提高特征提取的有效性。去伪迹和带通滤波属于本领域技术人员所熟知的常规技术，故不作详解。

图像数据：对上述原始表情图像调整大小，并对其像素值进行归一化处理(0-1之间)，方便计算。

3.脑电情感特征提取：

对预处理后的脑电信号采用多个门控循环单元(GRUs)模型提取脑电情感特征。每个GRU单元结构中包含了两个门，t时刻的更新门z_t和重置门r_t，给定t时刻的脑电输入e_t和该时刻隐藏层的状态h_t，满足以下等式：

r_t＝σ(W_r·[h_t-1,e_t])

z_t＝σ(W_z·[h_t-1,e_t])

其中σ是激活函数，[]表示向量连接，*是矩阵元素乘法，W_r,W_z和W_h分别是重置门权重矩阵、更新门权重矩阵和隐藏层的状态权重矩阵。更新门z_t用于控制前一时间的状态信息进入当前状态的程度。更新门z_t的值越大，在时间t-1引入的状态信息越多。重置门r_t用于控制在时间t-1忽略状态信息的程度，并且重置门r_t的值越小，前一时刻的信息被忽略得越多。该GRUs模型包含两层堆叠的GRU单元，第一层是由多对多模式的256个神经元节点组成，第二层是多对一模式的128个神经元节点组成，后连接一个soft-max层。将第二层GRU的最后一个单元隐藏节点状态输出作为脑电情感特征Y。

4.图像视觉特征提取：

预处理后原始表情的图像视觉特征通过两层卷积神经网络模型(TCNN)来提取，该神经网络模型包含两层卷积、两层最大池化，一个全连接层和最后的soft-max层。其中全连接层包含了256个神经元节点，并将该层的输出作为提取的图像视觉特征X。

5.特征映射：

针对步骤3提取的特征Y和步骤4提取的特征X，采用随机森林回归模型建立了两者之间的映射关系，将Y设为回归目标，回归方程记作Y＝RF(X)。随机森林是一种集成算法，它是由多棵决策树组成，输入向量在多个决策树上运行。能够降低模型的方差，与单棵决策树相比，随机森林通常具有更好的泛化性能。它对数据集中的异常值不敏感，不需要过多的参数调优。

对于回归方程Y＝RF(X)拟合的程度评估，采用决定系数R²(又名拟合优度)。在多元回归分析中，其表达式如下：

其中，y_i表示真实的脑电情感特征值，

表示根据回归方程Y＝RF(X)预测的脑电情感特征值，y表示真实脑电情感特征的均值，SST为真实脑电特征的总平方和，SSE为真实脑电特征与预测脑电特征的残差平方和；i表示脑电特征中第i维特征值，一共有d维。对图像视觉特征对脑电情感特征的拟合优度R²越大，预测的脑电情感特征越接近真实的脑电情感特征，分类结果的精确度越高。

6.表情分类：

在步骤5训练好的回归模型Y＝RF(X)上，对于任意的图像视觉特征x_i得到对应的预测脑电情感特征

采用K-近邻分类器在步骤3提取的真实脑电特征Y中找到与预测脑电特征

距离最近的表情类别属性，即为x_i对应的真实表情类别属性。

本发明的有益效果是：在样本不充分情况下，避免了深度复杂神经网络模型在小样本下过拟合问题。同时，利用人脑对表情感知的特殊能力(即表情诱发产生的脑电信号)来弥补浅层神经网络模型学习低层图像视觉特征的有效性，从而提高表情识别的精确性。与单独的图像特征识别相比，避免了传统特征的构造以及深度复杂神经网络建模与训练的过程。基于脑-机协同智能的方法更为方便和精确，是一种很有前景的情感计算方法。

附图说明

图1为具体实施流程图；

图2为脑电通道图。

具体实施方式

以下结合附图对本发明作进一步说明。

如图1所示，本发明的具体实施步骤如下：

步骤S1：采用多通道脑电采集设备采集所需的脑电信号，共采集6名被观看870张包含7种情绪(生气，恶心、恐惧、高兴、中性、悲伤和惊讶)的表情图片。

原始表情图像均来自于中国化面孔情绪图片系统(CFAPS)，系统中共评定筛选出7种类型的中国化面孔情绪图片870张，其中，愤怒74张，厌恶47张，恐惧64张，悲伤95张，惊讶150张，平静222张，高兴248张。

本实施例使用ESI NeuroScan脑电采集系统，62个通道的电极帽来获取脑电数据，电极帽采用国际10-20系统电极放置法，采样频率为1000Hz。图2为脑电通道图。

步骤S2：对采集的脑电数据进行预处理。具体过程包括：

1)去伪迹：移除明显的伪迹或因身体移动产生的噪声；

2)带通滤波：创建带通滤波器，从脑电数据中提取1～75Hz频段的脑电成分。

步骤S3：利用多个门控循环单元(Gated Recurrent Units,GRUs)模型提取脑电情感特征：

1)本实施例中，通道数C＝62，每张表情图像对应的脑电样本数S＝500，每段脑电短序列e_i的维度为62×500；

2)一个样本就是一个短序列,将短序列e_i输入到GRUs模型中，其超参数学习率lr＝0.001,优化器为rmsprop批次大小batch_size＝32,迭代次数epochs＝50；

3)将GRUs模型的第二层最后一个隐藏节点的状态输出作为提取的脑电情感特征向量y_i，维度为128；

4)同理可得其余样本的情感特征向量，得到总样本矩阵Y，维度为870×128。

步骤S4：利用两层卷积神经网络模型(CNN-2)提取表情图像视觉特征：

1)本实施例中，每张图像原始大小为260×300像素，重置后的图像大小为32×32像素，并对图像的像素值进行归一化处理(0-1之间)，方便计算。

2)将上述预处理后的图像输入到卷积神经网络模型中，其超参数学习率lr＝0.01,优化器为sgd，批次大小batch_size＝32,迭代次数epochs＝100；

3)一个样本就是一张图片，该模型的全连接层输出作为提取的视觉特征，维度为256。

4)同理可得其余样本的视觉特征向量，得到总样本矩阵X，维度为870×256。

步骤S5：采用随机森林建立脑电情感特征与图像视觉特征之间的映射关系：

针对特征Y和特征X，采用随机森林回归模型建立了两者之间的映射关系，将Y设为回归目标，回归方程记作Y＝RF(X)。对于回归方程拟合的程度评估，采用决定系数R²(又名拟合优度)。本实施例得到的R²值均为非负，即脑电情感特征Y的部分变化可以由自变量图像视觉特征X来解释。同时，对于任意的视觉特征x_i可以得到预测的类脑电情感特征

步骤S6：采用K-近邻分类器对预测的脑电情感特征向量

进行分类：

K-近邻是一种常用的分类算法，该方法的基本思路是：如果一个待分类样本在特征空间中的K个最相似(即特征空间中K近邻)的样本中的大多数属于某一个类别，则该样本也属于这个类别。在本实例中K＝1时，效果最佳。

本实施例从每个被试(共6名被试)的总样本特征中随机选取783个已知类别的特征向量作为训练样本，剩下的87个特征向量作为分类的测试样本。

最后将分类结果与这些特征向量的实际类别进行比较，得到该表情识别方法的分类准确率，识别准确率为78％。

Claims (4)

1.一种基于脑-机协同智能的表情识别方法，其特征在于该方法包括以下步骤：

步骤1.获取数据：

采用多通道脑电采集设备采集原始脑电信号，获取每张表情图像诱发的脑电信号，共获取到N段原始脑电信号；

步骤2.数据预处理

步骤3.脑电情感特征提取：

对步骤2预处理后的脑电信号采用多个门控循环单元模型提取脑电情感特征；

步骤4.图像视觉特征提取：

预处理后原始表情图像的图像视觉特征X通过两层卷积神经网络模型来提取；

步骤5.特征映射：

针对步骤3提取的特征Y和步骤4提取的特征X，采用随机森林回归模型建立了两者之间的映射关系，将Y设为回归目标，回归方程记作Y＝RF(X)；

对于回归方程Y＝RF(X)拟合的程度评估，采用决定系数R²；在多元回归分析中，其表达式如下：

其中，y_i表示真实的脑电情感特征值，

表示根据回归方程Y＝RF(X)预测的脑电情感特征值，

表示真实脑电情感特征的均值，SST为真实脑电特征的总平方和，SSE为真实脑电特征与预测脑电特征的残差平方和；i表示脑电特征中第i维特征值，一共有d维；

步骤6.表情分类：

在步骤5训练好的回归模型Y＝RF(X)上，对于任意的图像视觉特征x_i得到对应的预测脑电情感特征

采用K-近邻分类器在步骤3提取的真实脑电特征Y中找到与预测脑电特征

距离最近的表情类别属性，即为x_i对应的真实表情类别属性。

2.如权利要求1所述的一种基于脑-机协同智能的表情识别方法，其特征在于步骤2具体包括如下：

脑电数据：对各段原始脑电信号均进行数据预处理，包括去伪迹和带通滤波；

表情图像数据：对上述原始表情图像调整大小，并对其像素值进行归一化处理。

3.如权利要求1所述的一种基于脑-机协同智能的表情识别方法，其特征在于步骤3具体是每个门控循环单元结构中包含了两个门，t时刻的更新门z_t和重置门r_t，给定t时刻的脑电输入e_t和该时刻隐藏层的状态h_t，满足以下等式：

r_t＝σ(W_r·[h_t-1,e_t])

z_t＝σ(W_z·[h_t-1,e_t])

其中σ是激活函数，[]表示向量连接，*是矩阵元素乘法，W_r,W_z和W_h分别是重置门权重矩阵、更新门权重矩阵和隐藏层的状态权重矩阵；更新门z_t用于控制前一时间的状态信息进入当前状态的程度；重置门r_t用于控制在时间t-1忽略状态信息的程度；

该多个门控循环单元模型包含两层堆叠的门控循环单元，第一层是由多对多模式的256个神经元节点组成，第二层是多对一模式的128个神经元节点组成，后连接一个soft-max层；将第二层门控循环单元的最后一个单元隐藏节点状态输出作为脑电情感特征Y。

4.如权利要求1所述的一种基于脑-机协同智能的表情识别方法，其特征在于步骤4具体是神经网络模型包含两层卷积、两层最大池化，一个全连接层和最后的soft-max层；其中全连接层包含了256个神经元节点，并将该层的输出作为提取的图像视觉特征X。

Images