CN102968643A - 一种基于李群论的多模态情感识别方法 - Google Patents

Abstract

本发明公开了一种基于李群论的多模态情感识别方法，包括以下步骤：获取视频，并提取视频帧中图像区域的高斯型特征描述子，基于高斯型特征描述子对视频中的图像区域进行跟踪，根据视频子序列构建ARMA模型获取ARMA模型间的距离，根据ARMA模型之间的距离构建核函数，并进行情感表达分类，根据人体、脸部和手部的情感类别概率对人进行情感识别。本发明根据视频中所包含的人体姿态运动信息、手势和脸部表情信息来判断人的情感状态，是一个将视频数据映射到人体运动特征、手势特征和脸部表情特征，再从人体运动特征空间和脸部表情特征映射到状态空间的过程，并提出利用李群论进行多模态情感识别，提高模型进行情感识别的精确性。

Description

一种基于李群论的多模态情感识别方法

技术领域

本发明属于情感识别领域，更具体地，涉及一种基于李群论的多模态情感识别方法。

背景技术

现有的情感识别方法，通产包括：人体、脸部等对象的跟踪、基于图像的情感分类、决策级融合等步骤。

对象跟踪从视频中跟踪目标得到它在每一帧中的位置。Ying Wu等使用两层的马尔科夫场来表示人体特征，进行人体跟踪。Dalal和Triggs采用方向梯度直方图来描述人的轮廓，通过使用不同位置和分辨率的窗口从图像中梯度方向直方图组合成特征向量，然后将特征向量输入支持向量机分类检测出人体并跟踪。Qiang Zhu等对Dalal等的方法进行改进，在计算方向梯度直方图时使用可变大小的块代替前者固定大小的块，使得性能有所改善。Pfinder系统通过特定的姿势分析出脸部、手、脚等位置,对每个区域用空间位置和颜色建模,然后用颜色对这些区域进行跟踪。其中如何抽取图像特征，建立跟踪模版，对跟踪对象进行准确跟踪是情感识别中一个重要问题。

情感模式挖掘从时间序列中挖掘出代表基本情感的运动特征模式。目前，从时间序列中进行数据挖掘有两类方法：一类是先对时间序列提取更高级的特征向量，再对特征向量进行分析。如Daniel Weinland等人提出的行为识别方法。但是，提取高层特征的过程通常伴随着信息的丢失，寻找一种合适的高层特征也需要先验知识。另一类方法是采用面向时间序列的机器学习方法，直接对时间序列进行挖掘，主要有隐式马尔科夫模型等方法。但是人体运动特征中的情感模式比较隐蔽，如何恰当地设计模型及其度量，是情感识别的一个难点。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于李群论的多模态情感识别方法，其根据视频中所包含的人体姿态运动信息、手势和脸部表情信息来判断人的情感状态，是一个将视频数据映射到人体运动特征、手势特征和脸部表情特征，再从人体运动特征空间和脸部表情特征映射到状态空间的过程，并提出利用李群论进行多模态情感识别，提高模型进行情感识别的精确性。

为实现上述目的，本发明提供了一种基于李群论的多模态情感识别方法，包括以下步骤：

步骤一，获取视频，并提取视频帧中图像区域的高斯型特征描述子，包括下述子步骤：

（1.1）对于图像区域中的每个像素点而言，计算一个d维特征向量F(x,y)，该特征向量 $F(x,y)=[R,G,B,x,y,|I_x|,|I_y|,\sqrt{{I_x}^2+{I_y}^2}],$ 其中d为正整数，R,G,B是像素点的颜色信息，x,y是像素点在水平和垂直方向的位置信息，|I_x|,|I_y|分别是像素点在水平方向和垂直方向的梯度信息，该图像区域所有像素点的特征向量构成图像的特征向量集合；

（1.2）确定该图像区域对应的均值d维向量μ和协方差d维方阵，其中协方差矩阵

F_k是图像区域中第k个像素点的特征向量，n是图像区域内像素点的总和，T表示矩阵的转置。

（1.3）基于步骤（1.1）和（1.2）的结果并结合李群论构建高斯型特征描述子；

步骤二，基于步骤一中得到的高斯型特征描述子，对视频中的图像区域进行跟踪，包括下述子步骤：

（2.1）在视频的第一帧中选取脸部区域、手部区域和人体区域；

（2.2）根据选取的脸部区域、手部区域和人体区域结合高斯型特征描述子构建跟踪模版；

（2.3）根据构建的跟踪模版，利用粒子滤波方法对脸部区域、手部区域和人体区域进行跟踪，根据跟踪结果更新跟踪模版，并记录跟踪结果，以得到脸部区域、手部区域和人体区域对应的视频子序列X，该视频子序列的长度为b；；

步骤三，根据步骤二得到的视频子序列构建ARMA模型；

步骤四，获取ARMA模型间的距离；具体包括以下子步骤：

(4.1)根据ARMA模型的参数获取估计观测矩阵 $O_b^T=[C^T,{\left(\mathrm{CA}\right)}^T,{\left({\mathrm{CA}}^2\right)}^T,...,{\left({\mathrm{CA}}^b\right)}^T];$

（4.2）对于任何两个视频子序列对应的观测正交矩阵C₁和C₂，约束L为正定矩阵，在任何两个ARMA模型之间最短的欧氏距离可以表示为：

D(X₁,X₂)²＝min_M||(C₁-C₂L)^T(C₁-C₂L)||_F

＝min_M||C₁ ^TC₁-C₁ ^TC₂L-L^TC₂ ^TC₁+L^TC₂ ^TC₂L||_F

＝min_M||I-C₁ ^TC₂L-L^TC₂ ^TC₁+L^TL||_F

其中，‖‖_F代表Frobenius矩阵范式，I表示单位矩阵。

（4.3）根据拉格朗日乘子法获得L=C₂ ^TC₁，即ARMA模型之间的距离可表示为：D(X₁,X₂)²＝||I-L^TL||_F；

步骤五，根据ARMA模型之间的距离构建核函数，并进行情感表达分类，具体包括以下子步骤：

（5.1）构建核函数K(X₁,X₂)＝exp(-γD(X₁,X₂))，其中γ是缩放常量；

（5.2）基于此核函数，并利用SVM分类器，对人体、脸部和手部区域对应的视频子序列分别进行分类，以分别产生人体、脸部和手部的情感类别概率；

步骤六，根据人体、脸部和手部的情感类别概率对人进行情感识别，具体包括以下子步骤：

（6.1）SVM根据人体、脸部和手部的情感类别概率对每种情感状态得到一个后验概率，用p_mn表示，其中m=1,2,3分别代表人体特征、手部特征和面部表情，n=1，2，…8分别代表不同的情感状态；

（6.2）根据后验概率利用加权决策准则确定最终的情感状态，具体为，加权准则分别对每种情感状态由三种特征得到的概率求加权平均值，取加权平均值最大的情感状态作为最终输出的情感状态，具体公式如下：

$f=\arg {\max }_n\left(\underset{m=\mathrm{1,2,3}}{\mathrm{\Σ}}{w}_m{p}_{\mathrm{mn}}\right)$

其中用w₁、w₂和w₃分别表示人体运动特征、声音特征和面部表情对应的权值，f最大的情感状态作为最终输出的情感状态。

步骤（1.3）具体为，利用Cholesky分解将矩阵∑分解成一个下三角矩阵P和上三角矩阵P^T的乘积，即：∑＝PP^T，且任何一个图像区域的协方差矩阵∑对应着一个下三角矩阵P,其后，利用得到的下三角矩阵P和步骤（1.2）中得到的均值d维向量μ，构建该图像区域的高斯型特征描述子 $M=\left[\begin{array}{cc}P& \mathrm{\μ}\\ 0& 1\end{array}\right].$

步骤（2.3）具体为，确定脸部区域、手部区域和人体区域的高斯型特征描述子与跟踪模版之间的距离，d_it=||log(M_i ^-1M_t)||,其中M_i是在第i帧中跟踪的脸部区域、手部区域和人体区域的高斯型特征描述子，M_t是跟踪模版，log（）表示矩阵对数，‖‖表示向量求模运算。

步骤三包括下述子步骤：

（3.1）对于视频子序列中的每一帧提取PHOG特征向量f(t)，其维数为a；

（3.2）根据PHOG特征向量f(t)构建视频子序列对应的ARMA模型：

（3.3）对ARMA模型的参数求解。

步骤（3.2）具体采用以下公式：

$\left\{\begin{array}{c}f\left(t\right)=\mathrm{Cz}\left(t\right)+w\left(t\right)\\ z(t+1)=\mathrm{Az}\left(t\right)+v\left(t\right)\end{array}\right.$

其中，t表示时间，C是a*b维的观测矩阵，z(t)是b维的隐状态向量，A是b*b维的转移矩阵，，w(t)和v(t)是干扰噪声组件，其分别服从均值为0、协方差矩阵分别为R和Q的正态分布。

步骤（3.3）具体为，对于给定的视频子序列，视频子序列的a*b维特征矩阵

代表奇异值分解。

C＝U

$Z_1^b={\mathrm{WV}}^T$

$Q=\frac{1}{b-1}\underset{i=1}{\overset{b-1}{\mathrm{\Σ}}}{v}_i{v_i}^T$

其中，

是

的伪逆矩阵，v_i=z(t_i)-Az(t_i-1)。

ARMA模型之间的距离度量满足对称性，正定型和三角不等性这度量函数的三个属性。

情感状态包括愤怒、悲伤、害怕、高兴、喜爱、惊讶、厌恶、害羞。

通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下的有益效果：

1、提高跟踪精确度：由于采用了步骤一和步骤二，即基于李群论的对图像区域提取高斯型图像特征描述子，因此可对目标对象进行有效跟踪；

2、构建跟踪对象视频子序列模型：由于采用了步骤三，人体运动特征中的情感模式比较隐蔽，本发明对视频子序列构建ARMA模型；

3、模型间高效的度量：由于采用了步骤四、五和六，即构建ARMA模型间的距离度量，因此可降低其时间复杂度，提高基于其核函数的情感识别的准确性。

附图说明

图1为本发明基于李群论的多模态情感识别方法的流程示意图。

图2为本发明方法中步骤一的细化流程图。

图3为本发明方法中步骤二的细化流程图。

图4为本发明方法中步骤三的细化流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明以基于拍摄到的高清跟踪视频为素材，仿真平台是MATLABR2010a。

如图1所示，本发明基于李群论的多模态情感识别方法包括以下步骤：

步骤一，获取视频，并提取视频帧中图像区域的高斯型特征描述子，包括下述子步骤：

（1.1）对于图像区域中的每个像素点而言，计算一个d维特征向量F(x,y)，该特征向量 $F(x,y)=[R,G,B,x,y,|I_x|,|I_y|,\sqrt{{I_x}^2+{I_y}^2}],$ 其中d为正整数，R,G,B是像素点的颜色信息，x,y是像素点在水平和垂直方向的位置信息，|I_x|,|I_y|分别是像素点在水平方向和垂直方向的梯度信息，该图像区域所有像素点的特征向量构成图像的特征向量集合；

（1.2）确定该图像区域对应的均值d维向量μ和协方差d维方阵，其中

协方差矩阵

F_k是图像区域中第k个像素点的特征向量，n是图像区域内像素点的总和，T表示矩阵的转置。

（1.3）基于步骤（1.1）和（1.2）的结果并结合李群论构建高斯型特征描述子；

具体而言，由于协方差d维方阵∑是正定对称的，可利用Cholesky分解将矩阵∑分解成一个下三角矩阵P和上三角矩阵P^T的乘积，即：∑＝PP^T，且任何一个图像区域的协方差矩阵∑对应着一个下三角矩阵P。

其后，利用得到的下三角矩阵P和步骤（1.2）中得到的均值d维向量μ，构建该图像区域的高斯型特征描述子 $M=\left[\begin{array}{cc}P& \mathrm{\μ}\\ 0& 1\end{array}\right];$

步骤二，基于步骤一中得到的高斯型特征描述子，对视频中的图像区域进行跟踪，包括下述子步骤：

（2.1）在视频的第一帧中选取脸部区域、手部区域和人体区域；

（2.2）根据选取的脸部区域、手部区域和人体区域结合高斯型特征描述子构建跟踪模版；

（2.3）根据构建的跟踪模版，利用粒子滤波方法对脸部区域、手部区域和人体区域进行跟踪，根据跟踪结果更新跟踪模版，并记录跟踪结果，以得到脸部区域、手部区域和人体区域对应的视频子序列X，该视频子序列的长度为b；；

在对脸部区域、手部区域和人体区域进行跟踪时，需要确定脸部区域、手部区域和人体区域的高斯型特征描述子与跟踪模版之间的距离，d_it=||log(M_i ^-1M_t)||,其中M_i是在第i帧中跟踪的脸部区域、手部区域和人体区域的高斯型特征描述子，M_t是跟踪模版，log（）表示矩阵对数，‖‖表示向量求模运算。

步骤三，根据步骤二得到的视频子序列构建自回归滑动平均（Autoregressive moving average model，简称ARMA）模型，包括下述子步骤：

（3.1）对于视频子序列中的每一帧提取金字塔梯度直方图（PyramidHistogram of Orientated Gradient，简称PHOG）特征向量f(t)，其维数为a；

（3.2）根据PHOG特征向量f(t)构建视频子序列对应的ARMA模型：

$\left\{\begin{array}{c}f\left(t\right)=\mathrm{Cz}\left(t\right)+w\left(t\right)\\ z(t+1)=\mathrm{Az}\left(t\right)+v\left(t\right)\end{array}\right.$

其中，t表示时间，C是a*b维的观测矩阵，z(t)是b维的隐状态向量，A是b*b维的转移矩阵，，w(t)和v(t)是干扰噪声组件，其分别服从均值为0、协方差矩阵分别为R和Q的正态分布。

（3.3）对ARMA模型的参数求解；

具体而言，对于给定的视频子序列，视频子序列的a*b维特征矩阵

代表奇异值分解。

C＝U

$Z_1^b={\mathrm{WV}}^T$

$Q=\frac{1}{b-1}\underset{i=1}{\overset{b-1}{\mathrm{\Σ}}}{v}_i{v_i}^T$

其中，

是

的伪逆矩阵，v_i=z(t_i)-Az(t_i-1)。

步骤四，获取ARMA模型间的距离；具体包括以下子步骤：

(4.1)根据ARMA模型的参数获取估计观测矩阵 $O_b^T=[C^T,{\left(\mathrm{CA}\right)}^T,{\left({\mathrm{CA}}^2\right)}^T,...,{\left({\mathrm{CA}}^b\right)}^T];$

（4.2）对于任何两个视频子序列对应的观测正交矩阵C₁和C₂，约束L为正定矩阵，在任何两个ARMA模型之间最短的欧氏距离可以表示为：

D(X₁,X₂)²＝min_M ||(C₁-C₂L)^T(C₁-C₂L)||_F

＝min_M ||C₁ ^TC₁-C₁ ^TC₂L-L^TC₂ ^TC₁+L^TC₂ ^TC₂L||_F

＝min_M ||I-C₁ ^TC₂L-L^TC₂ ^TC₁+L^TL||_F

其中，‖‖_F代表Frobenius矩阵范式，I表示单位矩阵。

（4.3）根据拉格朗日乘子法获得L=C₂ ^TC₁，即ARMA模型之间的距离可表示为：

D(X₁,X₂)²＝||I-L^TL||_F.

此距离度量满足对称性，正定型和三角不等性这度量函数的三个属性。

步骤五，根据ARMA模型之间的距离构建核函数，并进行情感表达分类，具体包括以下子步骤：

（5.1）构建核函数K(X₁,X₂)

具体而言，K(X₁,X₂)＝exp(-γD(X₁,X₂))，其中γ是缩放常量。

因为D(X₁,X₂)=D(X₂,X₁)，所以K(X₁,X₂)=K(X₂,X₁),此核函数满足对称性，同时满足正定性。

（5.2）基于此核函数，并利用SVM分类器，对人体、脸部和手部区域对应的视频子序列分别进行分类，以分别产生人体、脸部和手部的情感类别概率。

步骤六，根据人体、脸部和手部的情感类别概率对人进行情感识别，具体包括以下子步骤：

（6.1）SVM根据人体、脸部和手部的情感类别概率对每种情感状态得到一个后验概率，用p_mn表示（其中m=1,2,3分别代表人体特征、手部特征和面部表情，n=1，2，…8分别代表愤怒、悲伤、害怕、高兴、喜爱、惊讶、厌恶、害羞共八种情感状态，例如p₃₁表示根据面部表情判断情感状态为愤怒的概率）；

（6.2）根据后验概率利用加权决策准则确定最终的情感状态，具体为，加权准则分别对每种情感状态由三种特征得到的概率求加权平均值，取加权平均值最大的情感状态作为最终输出的情感状态，具体公式如下：

$f=\arg {\max }_n\left(\underset{m=\mathrm{1,2,3}}{\mathrm{\Σ}}{w}_m{p}_{\mathrm{mn}}\right)$

其中用w₁、w₂和w₃分别表示人体运动特征、声音特征和面部表情对应的权值，f最大的情感状态作为最终输出的情感状态。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于李群论的多模态情感识别方法，其特征在于，包括以下步骤：

步骤一，获取视频，并提取视频帧中图像区域的高斯型特征描述子，包括下述子步骤：

（1.1）对于图像区域中的每个像素点而言，计算一个d维特征向量F(x,y)，该特征向量 $F(x,y)=[R,G,B,x,y,|I_x|,|I_y|,\sqrt{{I_x}^2+{I_y}^2}],$ 其中d为正整数，R,G,B是像素点的颜色信息，x,y是像素点在水平和垂直方向的位置信息，|I_x|,|I_y|分别是像素点在水平方向和垂直方向的梯度信息，该图像区域所有像素点的特征向量构成图像的特征向量集合；

（1.2）确定该图像区域对应的均值d维向量μ和协方差d维方阵，其中

协方差矩阵F_k是图像区域中第k个像素点的特征向量，n是图像区域内像素点的总和，T表示矩阵的转置。

（1.3）基于步骤（1.1）和（1.2）的结果并结合李群论构建高斯型特征描述子；

步骤二，基于步骤一中得到的高斯型特征描述子，对视频中的图像区域进行跟踪，包括下述子步骤：

（2.1）在视频的第一帧中选取脸部区域、手部区域和人体区域；

（2.2）根据选取的脸部区域、手部区域和人体区域结合高斯型特征描述子构建跟踪模版；

（2.3）根据构建的跟踪模版，利用粒子滤波方法对脸部区域、手部区域和人体区域进行跟踪，根据跟踪结果更新跟踪模版，并记录跟踪结果，以得到脸部区域、手部区域和人体区域对应的视频子序列X，该视频子序列的长度为b；；

步骤三，根据步骤二得到的视频子序列构建ARMA模型；

步骤四，获取ARMA模型间的距离；具体包括以下子步骤：

(4.1)根据ARMA模型的参数获取估计观测矩阵 $O_b^T=[C^T,{\left(\mathrm{CA}\right)}^T,{\left({\mathrm{CA}}^2\right)}^T,...,{\left({\mathrm{CA}}^b\right)}^T];$

（4.2）对于任何两个视频子序列对应的观测正交矩阵C₁和C₂，约束L为正定矩阵，在任何两个ARMA模型之间最短的欧氏距离可以表示为：

D(X₁,X₂)²＝min_M||(C₁-C₂L)^T(C₁-C₂L)||_F

＝min_M||C₁ ^TC₁-C₁ ^TC₂L-L^TC₂ ^TC₁+L^TC₂ ^TC₂L||_F

＝min_M||I-C₁ ^TC₂L-L^TC₂ ^TC₁+L^T||L_F

其中，‖‖_F代表Frobenius矩阵范式，I表示单位矩阵。

（4.3）根据拉格朗日乘子法获得L=C₂ ^TC₁，即ARMA模型之间的距离可表示为：D(X₁,X₂)²＝||I-L^TL||_F；

步骤五，根据ARMA模型之间的距离构建核函数，并进行情感表达分类，具体包括以下子步骤：

（5.1）构建核函数K(X₁,X₂)＝exp(-γD(X₁,,X₂))，其中γ是缩放常量；

（5.2）基于此核函数，并利用SVM分类器，对人体、脸部和手部区域对应的视频子序列分别进行分类，以分别产生人体、脸部和手部的情感类别概率；

步骤六，根据人体、脸部和手部的情感类别概率对人进行情感识别，具体包括以下子步骤：

（6.1）SVM根据人体、脸部和手部的情感类别概率对每种情感状态得到一个后验概率，用p_mn表示，其中m=1,2,3分别代表人体特征、手部特征和面部表情，n=1，2，…8分别代表不同的情感状态；

（6.2）根据后验概率利用加权决策准则确定最终的情感状态，具体为，加权准则分别对每种情感状态由三种特征得到的概率求加权平均值，取加权平均值最大的情感状态作为最终输出的情感状态，具体公式如下：

$f=\arg {\max }_n\left(\underset{m=\mathrm{1,2,3}}{\mathrm{\Σ}}{w}_m{p}_{\mathrm{mn}}\right)$

其中用w₁、w₂和w₃分别表示人体运动特征、声音特征和面部表情对应的权值，f最大的情感状态作为最终输出的情感状态。

2.根据权利要求1所述的多模态情感识别方法，其特征在于，步骤（1.3）具体为，利用Cholesky分解将矩阵∑分解成一个下三角矩阵P和上三角矩阵P^T的乘积，即：∑＝PP^T，且任何一个图像区域的协方差矩阵∑对应着一个下三角矩阵P,其后，利用得到的下三角矩阵P和步骤（1.2）中得到的均值d维向量μ，构建该图像区域的高斯型特征描述子 $M=\left[\begin{array}{cc}P& \mathrm{\μ}\\ 0& 1\end{array}\right].$

3.根据权利要求1所述的多模态情感识别方法，其特征在于，步骤（2.3）具体为，确定脸部区域、手部区域和人体区域的高斯型特征描述子与跟踪模版之间的距离，d_it=||log(M_i ^-1M_t)||,其中M_i是在第i帧中跟踪的脸部区域、手部区域和人体区域的高斯型特征描述子，M_t是跟踪模版，log（）表示矩阵对数，‖‖表示向量求模运算。

4.根据权利要求1所述的多模态情感识别方法，其特征在于，步骤三包括下述子步骤：

（3.1）对于视频子序列中的每一帧提取PHOG特征向量f(t)，其维数为a；

（3.2）根据PHOG特征向量f(t)构建视频子序列对应的ARMA模型：

（3.3）对ARMA模型的参数求解。

5.根据权利要求4所述的多模态情感识别方法，其特征在于，步骤（3.2）具体采用以下公式：

$\left\{\begin{array}{c}f\left(t\right)=\mathrm{Cz}\left(t\right)+w\left(t\right)\\ z(t+1)=\mathrm{Az}\left(t\right)+v\left(t\right)\end{array}\right.$

其中，t表示时间，C是a*b维的观测矩阵，z(t)是b维的隐状态向量，A是b*b维的转移矩阵，，w(t)和v(t)是干扰噪声组件，其分别服从均值为0、协方差矩阵分别为R和Q的正态分布。

6.根据权利要求4所述的多模态情感识别方法，其特征在于，步骤（3.3）具体为，对于给定的视频子序列，视频子序列的a*b维特征矩阵 $G_1^b=[f\left(t_1\right),f\left(t_2\right),...,f\left(t_b\right)],$ $G_1^b={\mathrm{UWV}}^T$ 代表奇异值分解。

C＝U

$Z_1^b={\mathrm{WV}}^T$

$Q=\frac{1}{b-1}\underset{i=1}{\overset{b-1}{\mathrm{\Σ}}}{v}_i{v_i}^T$

其中，

是

的伪逆矩阵，v_i=z(t_i)-Az(t_i-1)。

7.根据权利要求1所述的多模态情感识别方法，其特征在于，ARMA模型之间的距离度量满足对称性，正定型和三角不等性这度量函数的三个属性。

8.根据权利要求1所述的多模态情感识别方法，其特征在于，情感状态包括愤怒、悲伤、害怕、高兴、喜爱、惊讶、厌恶、害羞。

Images