CN112101401A - 一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感识别方法 - Google Patents

Abstract

本发明公开了一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法。具体步骤：处理原始数据中的多个模态的数据，提取特征；对收集到的各模态的数据做预处理；使用稀疏监督最小二乘多类核典型相关分析方法进行多模态特征融合，调试模型的参数。本发明针对多类情感分类问题，将数据库中各种维度的情感从不高兴到高兴整理成7类，提出一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法，是情感计算领域中基于特征层融合情感分类的一种新方法，由此方法计算各模态特征间的强相关性，能使计算机更好的分辨人类的情绪变换。

Description

一种基于稀疏监督最小二乘多类核典型相关分析的多模态情 感识别方法

技术领域

本发明涉及图像处理和模式识别领域，具体涉及一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感识别方法。

背景技术

人类社会中人的情感是一个很复杂的问题，在个体的交流中间扮演了很重要的角色，同样的一句话一个动作在不同的情感模式下包含的信息可能截然不同，即使是真人又是也无法准确的分辨对方的真实情感，为了让机器人获得接近于真人的情感识别能力，加强机器人与人类交流的能力，为进一步的交流打下基础，许多人在这方面提出了许多处理方法。

自从计算机发明以来，人机交互一直是人们相当关注的研究领域之一，为了让机器越来越像人，更准确的理解人类的情绪波动，与人类更自然的沟通，优秀的情感计算方案不可或缺。在这方面，许多人利用人类社会中的经验，教会机器人通过分析人类表情语音动作等各个模态的信息来判断对方处于何种情感，这其中要利用多个模态的信息，就需要一个融合方法将这些信息结合起来。传统上的融合方法大致可以分成决策层融合和特征层融合。决策层融合类似投票，各个模态的信息独立训练得到各自的分类器，这些分类器得到的预测结果以加权和等机制进行投票得出最后的结果。而特征层融合更符合人类在现实生活中处理情感信息的模式，获得了更多的研究者的关注。本发明提出的基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法就属于特征层融合方法的一种。常见的特征层融合算法有典型相关分析(CCA)，核典型相关分析(KCCA)，稀疏典型相关分析(SCCA)等，这些方法应用于将两个模态的特征在特征层面的融合计算。若是要处理多组特征之间的关系则力不从心，将它们扩展以下就有了多类典型相关分析(MCCA)方法等，能够计算多个模态信息的相关性并进一步分析，提升识别表现。本发明提出的基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法借鉴了这些方法并结合了最小二乘优化思想，使得多模态情感识别准确率得到进一步提升。

发明内容

针对上述问题，本发明提供了一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感识别方法，本发明针对人机交互情感计算中，机器人与人互动更好的互动的需要，本发明提出了基于稀疏监督最小二乘多类核典型相关分析的多模态情感识别方法，充分利用各个模态信息之间的相关性，提取出最重要的信息。

本发明的技术方案是：、一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感识别方法，具体步骤包括如下：

步骤(1.1)、建立多模态数据库，对数据库中的原始数据进行整理，挑选可用样本，对给定的维度标签进行分区间重新标定标签；

步骤(1.2)、对于建立的数据库进行样本处理及特征提取，提取样本各模态的特征，构成特征矩阵；

步骤(1.3)、对各个特征矩阵做数据标准化处理；

步骤(1.4)、融合进行数据标准化处理后的特征矩阵；

步骤(1.5)、训练处理后的数据，得到训练模型；

步骤(1.6)、使用测试数据对模型进行评估，得到预测效果。

进一步的，在步骤(1.1)中，所述的原始数据包括语音、脑电及生理参数。

进一步的，在步骤(1.2)中，所述的数据库的样本及特征具体包含语音韵律，脑电及生理参数的数据；

对于语音韵律信息，使用音频中提取的MFCC等特征，构成特征矩阵X∈R^p×N，其中p为每个样本韵律特征的维度，N为样本数；

对于脑电信息，使用头戴电极测量出的EEG信号构成其特征矩阵Y∈R^q×N，其中q为每个样本脑电特征的维数，N为样本数；

对于生理信号，使用穿戴式设备测量出的GSR、血压等生理参数信息，构成其特征矩阵Z∈R^s×N，其中s为每个样本生理特征的维数，N为样本数。

进一步的，在所述步骤(1.3)中，

对特征矩阵做数据标准化处理的过程是：

(1)、计算特征矩阵X每一列的均值：构成均值矩阵

计算每一列的标准差，构成标准差矩阵S，后减去均值矩阵点除标准差矩阵得到去均值后的特征矩阵

(2)、

进行归一化：将得到的

每一列的数据映射到[0,1]之间，得到归一之后的新特征矩阵

进一步的，在所述步骤(1.4)中，融合进行数据标准化处理后的特征矩阵具体过程如下：设三个模态训练数据为X,Y,Z：

其中A,B,C分别是X,Y,Z的映射矩阵，上式的最小二乘形式为：

添加约束与假设分母为1，P(A)≤c₁,P(B)≤c₂,P(C)≤c₃，构成最终的形式：

其中，P(g)表示惩罚函数，用于选择映射矩阵A,B,C的稀疏程度，c₁,c₂,c₃表示稀疏阈值；

将训练用特征矩阵X,Y,Z通过核函数φ(g),ψ(g),

映射到高维空间中，构成新的核矩阵K_X＝φ(X)^Tφ(X),K_Y＝ψ(Y)^Tψ(Y),

将MCCA 的优化式改写为：

其中的D,E,G为新的映射矩阵；

其最小二乘形式优化式如下：

其中λ_D,λ_E,λ_G表示映射矩阵D,E,G的L₁范数的参数；之后式(5)改写为：

根据增强的拉格朗日乘子法，在式(6)的基础上增加约束

将式(6)改写为：

其中，β_D,β_E,β_G表示三个常数参数，Γ_D,Γ_E,Γ_G表示三个拉格朗日乘子矩阵；之后对

H四个矩阵求导，得到四个矩阵的表达式，固定上述四个矩阵，

求解三个映射矩阵D,E,G，式(7)改写为：

式(8)解析成：

由上式解出：

根据上式的推导，可归纳成下式：

最后得到SSLSMKCCA特征融合过后的语音、脑电和生理参数三个模态的训练数据特征：

测试数据特征：

其中X_ts,Y_ts,Z_ts为经过预处理后的三个模态的特征矩阵。

本发明的有益效果是：本发明所述的一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法计算多模态之间的相关性，再对数据进行稀疏表示，选取最有代表性的部分特征对情感进行分类识别；针对语音、脑电和生理参数信号进行去均值归一化处理，使数据分布更易进行后续处理；本发明能够有效提升识别准确率。

附图说明

图1是本发明的结构流程图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：

如图所述；一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感识别方法，具体步骤包括如下：

步骤(1.1)、建立多模态数据库，对数据库中的原始数据进行整理，挑选可用样本，对给定的维度标签进行分区间重新标定标签；

步骤(1.2)、对于建立的数据库进行样本处理及特征提取，提取样本各模态的特征，构成特征矩阵；

步骤(1.3)、对各个特征矩阵做数据标准化处理；

步骤(1.4)、融合进行数据标准化处理后的特征矩阵；

步骤(1.5)、训练处理后的数据，得到训练模型；

步骤(1.6)、使用测试数据对模型进行评估，得到预测效果。

进一步的，在步骤(1.1)中，所述的原始数据包括语音、脑电及生理参数。

进一步的，在步骤(1.2)中，此处使用DEAP数据库为例，所述的数据库的样本及特征具体包含语音韵律，脑电及生理参数的数据；

对于语音韵律信息，使用音频中提取的MFCC等特征，构成特征矩阵X∈R^p×N，其中p为每个样本韵律特征的维度，N为样本数；

对于脑电信息，使用头戴电极测量出的EEG信号构成其特征矩阵Y∈R^q×N，其中q为每个样本脑电特征的维数，N为样本数；

对于生理信号，使用穿戴式设备测量出的GSR、血压等生理参数信息，构成其特征矩阵Z∈R^s×N，其中s为每个样本生理特征的维数，N为样本数。

进一步的，在步骤(1.3)中，

对特征矩阵的处理：

(1)、计算特征矩阵X每一列的均值：构成均值矩阵

计算每一列的标准差，构成标准差矩阵S，后减去均值矩阵点除标准差矩阵得到去均值后的特征矩阵

(2)、

进行归一化：将得到的

每一列的数据映射到[0,1]之间，得到归一之后的新特征矩阵

进一步的，在步骤(1.4)中，，融合进行数据标准化处理后的特征矩阵具体过程如下：

典型相关分析(CCA)多用于计算两个向量之间的相关性，而多类典型相关分析(MCCA)则用于求解多个向量之间的相关性，通过求解下列优化式子来最大化相关性，这里假设三个模态训练数据为X,Y,Z：

其中A,B,C分别是X,Y,Z的映射矩阵，通过求解这三个矩阵来是上式得到最优；上式的最小二乘形式为：

在CCA方法的基础上，引入稀疏的概念，提出了稀疏典型相关方法(SCCA)，用于分析两组变量之间高度相关性的稀疏线性组合方法，再扩展成多类稀疏典型相关方法(SMCCA)，添加约束与假设分母为1，P(A)≤c₁,P(B)≤c₂,P(C)≤c₃，构成最终的形式：

其中，P(g)表示惩罚函数，用于选择映射矩阵A,B,C的稀疏程度，c₁,c₂,c₃表示稀疏阈值。

上述MCCA与SMCCA都是线性方法，其局限较大，无法描述变量之间的非线性关系，这时需要一个非线性映射将这些数据投影到另一个空间中进行计算，研究人员引入核方法解决这一问题，提出核典型相关分析(KCCA)，多类核典型相关分析(MKCCA)将训练用特征矩阵X,Y,Z通过核函数φ(g),ψ(g),

映射到高维空间中，构成新的核矩阵 K_X＝φ(X)^Tφ(X),K_Y＝ψ(Y)^Tψ(Y),

将MCCA的优化式改写为：

其中的D,E,G为新的映射矩阵；

在这些方法的基础上，本发明提出稀疏监督最小二乘多类核典型相关分析方法，其最小二乘形式优化式如下：

其中λ_D,λ_E,λ_G表示映射矩阵D,E,G的L₁范数的参数；之后式(5)改写为：

根据增强的拉格朗日乘子法，在式(6)的基础上增加约束

将式(6)改写为：

其中，β_D,β_E,β_G表示三个常数参数，Γ_D,Γ_E,Γ_G表示三个拉格朗日乘子矩阵；之后对

H四个矩阵求导，得到四个矩阵的表达式，固定上述四个矩阵，

求解三个映射矩阵D,E,G，式(7)改写为：

式(8)解析成：

由上式解出：

根据上面的推导，本发明提出的SSLSMKCCA可以归纳成下面的过程：

最后得到SSLSMKCCA特征融合过后的语音、脑电和生理参数三个模态的训练数据特征：

测试数据特征：

其中X_ts,Y_ts,Z_ts为经过预处理后的三个模态的特征矩阵。

本发明的具体工作原理是：

第一步：处理数据库中的数据：获取语音、脑电和生理参数的各个样本的情感维度标签并将它们从不高兴到高兴按照反应强度平均分成七类；

第二步：语音、脑电和生理参数信号中提取各种特征；使用opensmile工具提取语音中的MFCC、时频等特征，每个样本的所有特征串联起来形成长度p的向量，所有样本构成一个特征矩阵X∈R^p×N；对EEG脑电信号，每个样本所有特征串联，形成长度q的向量，所有样本构成一个特征矩阵Y∈R^q×N；对生理参数信号，提取其GSR等信号的平均皮肤阻抗、平均导数等特征，串联起来形成长度s的向量，所有样本构成一个特征矩阵Z∈R^s×N；根据第一步中的分类，将各个样本标注标签，同时进行one-hot编码得到标签矩阵J；

第三步：对特征数据进行预处理：对每个特征矩阵都进行如下处理：

(1)、计算特征矩阵X每一列的均值，构成它的均值矩阵

计算每一列的标准差，构成标准差矩阵S，之后减去均值矩阵点除标准差矩阵得到去均值后的特征矩阵

(2)、对

进行归一化；将上一步得到的

每一列的数据映射到[0,1]之间，得到归一之后的新特征矩阵

第四步：把三个模态的特征数据分成训练用X_tr,Y_tr,Z_tr和测试用X_ts,Y_ts,Z_ts，使用训练数据X_tr,Y_tr,Z_tr和标签矩阵J计算映射：

得到映射矩阵D,E,G，由此计算融合后的训练数据

测试数据

第五步：使用TR和相应标签使用SVM训练分类模型，得到最后的模型，将TS 输入模型验证其性能；使用时将原始输入的各个模态的数据经过上述预处理和映射矩阵D,E,G相乘后输入模型得到预测结果。

最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则；其他的变形也可能属于本发明的范围；因此，作为示例而非限制，本发明实施例的替代配置可视为与本发明的教导一致；相应地，本发明的实施例不限于本发明明确介绍和描述的实施例。

Claims (5)

1.一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法，其特征在于，具体步骤包括如下：

步骤(1.1)、建立多模态数据库，对数据库中的原始数据进行整理，挑选可用样本，对给定的维度标签进行分区间重新标定标签；

步骤(1.2)、对于建立的数据库进行样本处理及特征提取，提取样本各模态的特征，构成特征矩阵；

步骤(1.3)、对各个特征矩阵做数据标准化处理；

步骤(1.4)、融合进行数据标准化处理后的特征矩阵；

步骤(1.5)、训练处理后的数据，得到训练模型；

步骤(1.6)、使用测试数据对模型进行评估，得到预测效果。

2.根据权利要求1所述的一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法，其特征在于，在步骤(1.1)中，所述的原始数据包括语音、脑电及生理参数。

3.根据权利要求1所述的一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法，其特征在于，在步骤(1.2)中，对于建立的数据库进行样本处理及特征提取的具体操作：

对于语音韵律信息，使用音频中提取的MFCC等特征，构成特征矩阵X∈R^p×N，其中p为每个样本韵律特征的维度，N为样本数；

对于脑电信息，使用头戴电极测量出的EEG信号构成其特征矩阵Y∈R^q×N，其中q为每个样本脑电特征的维数，N为样本数；

对于生理信号，使用穿戴式设备测量出的GSR、血压等生理参数信息，构成其特征矩阵Z∈R^s×N，其中s为每个样本生理特征的维数，N为样本数。

4.根据权利要求1所述的一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法，其特征在于，在所述步骤(1.3)中，

对特征矩阵做数据标准化处理的过程是：

(1)、计算特征矩阵X每一列的均值：构成均值矩阵

计算每一列的标准差，构成标准差矩阵S，后减去均值矩阵点除标准差矩阵得到去均值后的特征矩阵

(2)、

进行归一化：将得到的

每一列的数据映射到[0,1]之间，得到归一之后的新特征矩阵

5.根据权利要求1所述的一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法，其特征在于，在所述步骤(1.4)中，融合进行数据标准化处理后的特征矩阵具体过程如下：设三个模态训练数据为X,Y,Z：

其中A,B,C分别是X,Y,Z的映射矩阵，上式的最小二乘形式为：

添加约束与假设分母为1，P(A)≤c₁,P(B)≤c₂,P(C)≤c₃，构成最终的形式：

其中，P(g)表示惩罚函数，用于选择映射矩阵A,B,C的稀疏程度，c₁,c₂,c₃表示稀疏阈值；

将训练用特征矩阵X,Y,Z通过核函数φ(g),ψ(g),

映射到高维空间中，构成新的核矩阵K_X＝φ(X)^Tφ(X),K_Y＝ψ(Y)^Tψ(Y),

将MCCA的优化式改写为：

其中的D,E,G为新的映射矩阵；

其最小二乘形式优化式如下：

其中λ_D,λ_E,λ_G表示映射矩阵D,E,G的L₁范数的参数；之后式(5)改写为：

根据增强的拉格朗日乘子法，在式(6)的基础上增加约束

将式(6)改写为：

其中，β_D,β_E,β_G表示三个常数参数，Γ_D,Γ_E,Γ_G表示三个拉格朗日乘子矩阵；之后对

H四个矩阵求导，得到四个矩阵的表达式，固定上述四个矩阵，求解三个映射矩阵D,E,G，式(7)改写为：

式(8)解析成：

由上式解出：

根据上式的推导，可归纳成下式：

SSLSMKCCA：

输入：标签矩阵J∈R^m×N，三个模态的特征矩阵X∈R^p×N，Y∈R^q×N，Z∈R^s×N

常参数集β_D，β_E，β_G，拉格朗日乘子矩阵Γ_D，Γ_ε，Γ_G，L₁范数稀疏参数集λ_D，λ_E，λ_G

以及步长常参数ρ_D，ρ_E，ρ_G

1，计算核矩阵K_X＝φ(X)^Tφ(X)，K_Y＝ψ(Y)^Tψ(Y)，，

2不断迭代下面的步骤直到收敛：

(1).

β_D，Γ_D固定，更新D：

(2).

β_E，Γ_E固定，更新E：

(3).

β_G，Γ_G固定，更新G：

(4).

D，β_D，Γ_D固定(k-1表示上一轮迭代的值)，更新

(5).

E，β_E，Γ_E固定，更新

(6).

G，β_G，Γ_G固定，更新

(7).

固定，更新H：

(8).更新Γ_D，Γ_E，Γ_G：

(9).更新β_D，β_E，β_G：

输出：D，E，G

最后得到SSLSMKCCA特征融合过后的语音、脑电和生理参数三个模态的训练数据特征：

测试数据特征：

其中X_ts，Y_ts，Z_ts为经过预处理后的三个模态的特征矩阵。

Images