CN111709314B - 基于面部表面肌电的情感分布识别方法 - Google Patents

Abstract

本发明公开了一种基于面部表面肌电的情感分布识别方法；目前基于生理信号的人脸情感识别的研究主要集中在单一的基本情感上。因此，提出了基于面部表面肌电信号的标记分布学习来预测情感分布。本方法采集了降眉肌、颧大肌、额头和降口角肌的sEMG，从中提取6个特征，利用主成分分析选出对特征集进行降维。LDL的核心思想是学习到从PCA选择的特征到人脸情感分布的映射关系，这种映射关系能够反映一个面部表情是由不同强度的基本情感混合而成。将LDL的性能与多标记学习进行了比较，结果表明，本方法能更准确地预测面部情感分布。

Description

基于面部表面肌电的情感分布识别方法

技术领域

本发明属于模式识别领域，涉及一种肌电信号模式识别方法，特别涉及基于面部表面肌电的情感分布模式识别方法。

背景技术

近年来，人脸表情识别已成为人机交互研究中的一个热点。情感可以显示人的认知活动和心理状态。表面肌电信号(surface electromyography,sEMG)可以从面部肌肉的运动中被记录下来，来表示情感状态在内外刺激下的变化。Hamedi使用右侧额叶和左侧颞侧的sEMG来识别微笑，识别率为80.4％。同时研究还发现微笑与颧骨肌肉的活动有关。研究者通过采集眉毛的sEMG来识别5种单一情感，识别率达到95.56％。与计算机视觉相比，sEMG的优势为：不受外部环境和头部运动的影响，提供无偏差的信息。

Ekman等人提出了六种基本情感，即愤怒、厌恶、恐惧、快乐、悲伤和惊讶。在目前的研究中，单一情感的识别精度有了很大的提高。然而，根据情感理论，常见的情感是基本情感的混合而成。因此，情感识别应该计算出一个表情里的所有基本情感的强度。标记分布学习可以处理多个标签的不同重要程度。标记分布学习还被应用于图像和视频的年龄估计、头部姿态估计和其他领域。标记分布学习(label distribution learning,LDL)采用有限记忆准则牛顿法(L-BFGS)的思想，有很高的学习效率。

发明内容

目前基于生理信号的人脸情感识别的研究主要集中在单一的基本情感上。因此，提出了基于面部表面肌电信号(surface electromyography,sEMG)的标记分布学习(labeldistribution learning,LDL)来预测情感分布。实验采集了降眉肌、颧大肌、额头和降口角肌的sEMG，从中提取6个特征，这6个特征分别为Wilson振幅(WAMP)，模糊熵(FE)，小波包系数能量(EWP)，自回归系数(AR)，平均功率频率(MPF)和平均频率(MF)，利用主成分分析(principal component analysis,PCA)进行降维，从52维信号降到26维。通过标记分布学习算法学习到从PCA降维后的特征到人脸情感分布的映射关系，这种映射关系能够反映一个面部表情是由不同强度的基本情感混合而成。从而实现面部表面肌电信号的情感分布识别。

为了实现以上目的，本发明方法主要包括以下步骤：

步骤1.获取面部表面肌电信号样本数据，具体是：首先通过肌电信号采集仪采集面部的降眉肌、颧大肌、额头和降口角肌的sEMG，再运用能量阈值确定动作的起始位置和终止位置作为情感起始的肌电信号。

步骤2.将步骤1获取的sEMG信号进行六个特征的提取，这六个特征分别为Wilson振幅(WAMP)，模糊熵(FE)，小波包系数能量(EWP)，自回归系数(AR)，平均功率频率(MPF)和平均频率(MF)。

步骤3.通过主成分分析将特征集从52维降到13维。原始特征向量维数的减少根据特征值的贡献率决定的，根据特征保存率在90％的原则，得到了降维后的特征集。

步骤4.根据得到的降维的特征集，输入到标记分布学习模型，进行训练以及测试。

所述标记分布学习(LDL)，具体算法如下：

标记分布学习(label distribution learning,LDL)是一种新的机器学习范式，使用描述度来表示基本情感和情感之间的关系。描述度越高，基本情感的强度越高。所有基本情感的描述度加起来为1，描述度与概率分布相似。因此，称之为标记分布。

对于训练集T＝{(x₁,M₁),(x₂,M₂),...,(x_n,M_n)}，x_i∈X表示一个面部表情实例，标记矩阵Y＝{y₁,y₂,y₃,...,y_c}，y_j是第j个标记，同时为x_i的分布，/>为标记y_j对实例x_i的描述程度；标记分布学习的目标函数是p(x|y)，其中x∈X,y∈Y；p(x|y)被假定为p(y|x_i；θ)，其中θ为参数向量；

KL散度用于测量分布和/>之间的距离，定义为：

其中和/>分别为分布M_a和M_b的第j个的元素，其中a、b∈n，利用基本情感之间的关系提出了加权Jeffery散度，

其中w_jk是第j个基本情感和第k个基本情感的权数，计算为:

其中是在第j个基本情感和第k个基本情感的相关系数，Λ_j＝∑_k(ρ_jk)^η为归一化因子，保证/>表示标记y_j对实例x_i描述程度的平均；η为控制关系系数；ε为阈值，当相关系数的值小于ε时，认为两种基本情感没有关系；定义目标函数θ^*:

其中M_i第i个示例的分布，是预测第i个示例得到的分布；ξ₁和ξ₂为平衡因子，上式公式第二项是一个规则化项用来预防预测出的曲线太过平滑而不能突出重要的情感，第三项是另一个正则化项用来防止不稳地的输出；θ_k表示k行的元素，/>表示元素的平均，/>表示k行r列的元素的平方，ω_ij表示是第i个基本情感和第j个基本情感的权数；

假定p(y|x_i；θ)为最大熵模型，

其中为归一化因子，/>是x_i的第r个特征，θ_kr是k行r列的元素；θ的目标函数：

有限记忆的准则牛顿法L-BFGS用于最小化函数T(θ)以提高计算效

率；L-BFGS的计算与一阶梯度有关，通过以下方式实现：

其中其中/>是x_i的第k个特征，Z_i表示归一化因子，c表示Y集合中的索引。

本发明与已有的诸多情感识别方法相比，具有如下特点：

目前基于生理信号的面部情感分布的研究还没有开始。本方法选择了以sEMG作为信号源。相比于计算机视觉的情感识别来说，表面肌电信号具有客观性、自主性以及真实性。通过标记分布学习算法训练特征集，得到某个表情中不同的基本情感所占的比重，从而更加全面反映被测者真实的心理状态

附图说明

图1为本发明的实施流程图；

图2为表面肌电信号采集图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1、图2所示，本实施例包括如下步骤：

步骤1.获取人的面部表面肌电信号。

10名实验者(男性5名，女性5名：年龄24-26岁；身高155-180厘米；体重40-75公斤)参加了实验。所有受试者均健康，无面部神经肌肉疾病。每名受试者在四块面部肌肉(降眉肌、颧大肌、额头和降口角肌)上都有Trigno传感器，选取的肌肉与六种基本情感密切相关。左面和右面是对称的，所以选择一侧作为记录点。实验要求所有受试者保持面部清洁，以减少来自其他噪声的干扰。采集了100组数据，代表了100种不同的情感分布。

步骤2.将步骤1获取的sEMG信号进行六个特征的提取，这六个特征分别为Wilson振幅(WAMP)，模糊熵(FE)，小波包系数能量(EWP)，自回归系数(AR)，平均功率频率(MPF)和平均频率(MF)。得到了特征集为

求取模糊熵时维数取m＝2，AR模型阶数选择4。得到了每个通道的特征集的维数为13维，4个通道得到的特征集为52维。

步骤3.通过主成分分析将特征集从52维降到13维。原始特征向量维数的减少根据特征值的贡献率决定的，根据特征保存率在90％的原则，得到了降维后的特征集。

步骤4.根据得到的降维的特征集，输入到标记分布学习模型，进行训练以及测试。

所述标记分布学习(LDL)，具体算法如下：

标记分布学习(label distribution learning,LDL)是一种新的机器学习范式，使用描述度来表示基本情感和情感之间的关系。描述度越高，基本情感的强度越高。所有基本情感的描述度加起来为1，描述度与概率分布相似。因此，称之为标记分布。

对于训练集T＝{(x₁,M₁),(x₂,M₂),...,(x_n,M_n)}，x_i∈X表示一个面部表情实例，同时为x_i的分布。LDL的目标函数是p(x|y)，其中x∈X,y∈Y。p(x|y)被假定为p(y|x_i；θ)，其中θ为参数向量。

KL散度(Kullback-Leibler，K-L)用于测量分布和/>之间的距离，定义为：

其中和/>分别为分布M_a和M_b的第j个的元素。

公式(1)仅考虑两个分布在同一基本情感的关系，事实上，应该考虑不同基本情感之间的关系。一些基本情感不能同时出现，如快乐和厌恶。因此，利用基本情感之间的关系提出了加权Jeffery散度。

其中w_jk是第j个基本情感和第k个基本情感的权数，计算为:

其中是在第j个基本情感和第k个基本情感的系数，Λ_j＝∑_k(ρ_jk)^η为归一化因子，保证∑_kλ_jk＝1。η为控制关系系数。ε为阈值，当相关系数的值小于ε时，认为两种基本情感没有关系。η设置为5，ε设置为0.25。

定义目标函数θ^*:

其中M_i第i个示例的分布，是预测第i个示例得到的分布。ξ₁和ξ₂为平衡因子。ξ₁和ξ₂分别为设置0.0002和0.002。

假定p(y|x_i；θ)为最大熵模型，

其中为归一化因子，/>是x_i的第r个特征，θ_kr是k行r列的元素。θ的目标函数：

有限记忆的准则牛顿法L-BFGS用于最小化函数T(θ)以提高计算效率。L-BFGS的计算主要与一阶梯度有关，可以通过以下方式实现：

其中

得到的情感分布评价指标的计算公式分别为：

P和Q代表两个分布，P_j代表分布P的第j个向量，Q_j代表分布Q的第j个向量。为验证标记分布算法的有效性，选择其他四种分布预测算法AA-KNN(algorithm adaptation k-nearest neighbor)，PT-Bayes(problem transformation Bayes)，PT-SVM(problemtransformation support vector machine)和AABP(algorithm adaptation back-propagation algorithm)作为比较。对于所有数据集，在每个算法均执行十倍交叉验证。得到的预测结果如表1所示。

表1 某一个分布的预测分布结果

Claims (2)

1.基于面部表面肌电的情感分布识别方法，其特征在于该方法包括如下步骤：

步骤(1)，获取面部表面肌电信号样本数据；

步骤(2)，将步骤(1)获取的表面肌电信号进行六个特征的提取，这六个特征分别为Wilson振幅，模糊熵，小波包系数能量，自回归系数，平均功率频率和平均频率；求取模糊熵时维数取m＝2，AR模型阶数选择4；得到了每个通道的特征集的维数为13维，4个通道得到的特征集为52维；

步骤(3)，通过主成分分析将特征集从52维降到13维；原始特征向量维数的减少根据特征值的贡献率决定的，根据特征保存率在90％的原则，得到了降维后的特征集；

步骤(4)，根据得到的降维的特征集，输入到标记分布学习模型，进行训练；所述标记分布学习，具体方法如下：

对于训练集T＝{(x₁,M₁),(x₂,M₂),...,(x_n,M_n)}，x_i∈X表示一个面部表情实例，标记矩阵Y＝{y₁,y₂,y₃,…,y_c}，y_j是第j个标记，同时为x_i的分布，/>为标记y_j对实例x_i的描述程度；标记分布学习的目标函数是p(x|y)，其中x∈X,y∈Y；p(x|y)被假定为p(y|x_i；θ)，其中θ为参数向量；

KL散度用于测量分布和/>之间的距离，定义为：

其中和/>分别为分布M_a和M_b的第j个的元素，其中a、b∈n，利用基本情感之间的关系提出了加权Jeffery散度，

其中w_jk是第j个基本情感和第k个基本情感的权数，计算为:

其中是在第j个基本情感和第k个基本情感的相关系数，Λ_j＝∑_k(ρ_jk)^η为归一化因子，保证/> 表示标记y_j对实例x_i描述程度的平均；η为控制关系系数；ε为阈值，当相关系数的值小于ε时，认为两种基本情感没有关系；定义目标函数θ^*:

其中M_i第i个示例的分布，是预测第i个示例得到的分布；ξ₁和ξ₂为平衡因子，上式公式第二项是一个规则化项用来预防预测出的曲线太过平滑而不能突出重要的情感，第三项是另一个正则化项用来防止不稳地的输出；θ_k表示k行的元素，/>表示元素的平均，/>表示k行r列的元素的平方，ω_ij表示是第i个基本情感和第j个基本情感的权数；

假定p(y|x_i；θ)为最大熵模型，

其中为归一化因子，/>是x_i的第r个特征，θ_kr是k行r列的元素；θ的目标函数：

有限记忆的准则牛顿法L-BFGS用于最小化函数T(θ)以提高计算效率；L-BFGS的计算与一阶梯度有关，通过以下方式实现：

其中其中/>是x_i的第k个特征，Z_i表示归一化因子，c表示Y集合中的索引。

2.根据权利要求1所述的基于面部表面肌电的情感分布识别方法，其特征在于：获取面部表面肌电信号样本数据，具体是：首先通过肌电信号采集仪采集面部的降眉肌、颧大肌、额头和降口角肌的sEMG，再运用能量阈值确定动作的起始位置和终止位置作为情感起始的肌电信号。