CN104156708A

CN104156708A - 一种基于动态人脸表情序列和k阶情感强度模型的特征表示方法

Info

Publication number: CN104156708A
Application number: CN201410412734.0A
Authority: CN
Inventors: 全昌勤; 任福继; 钱瑶; 徐晓明
Original assignee: Hefei University of Technology
Current assignee: Hefei University of Technology
Priority date: 2014-08-20
Filing date: 2014-08-20
Publication date: 2014-11-19

Abstract

本发明公开了一种基于动态人脸表情序列和K阶情感强度模型的特征表示方法，其特征包括如下步骤：1、对动态人脸表情序列集合提取Haar特征然后用PCA进行特征降维；2、对降维后的特征矩阵的每一列作为聚类样本进行K-Means聚类，得到每一类中所有特征的均值和方差，构造每一类的正态分布，生成K阶情感强度模型；3、对待提取特征的动态人脸表情序列提取Haar特征然后用PCA进行特征降维。4、将降维后的特征输入到K阶情感强度模型中，得到输出矩阵。5、对输出矩阵编码，编码结果即为待提取特征的动态人脸表情序列的特征表示。本发明能有效降低特征维数和计算复杂度，提高特征提取的实时性。

Description

一种基于动态人脸表情序列和K阶情感强度模型的特征表示方法

技术领域

本发明涉及一种特征表示方法，属于图像处理领域，具体地说是一种基于动态人脸表情序列和K阶情感强度模型的特征表示方法。

背景技术

人脸表情识别是情感计算与先进智能的重要组成部分，同时也是人机交互、机器学习、智能控制和图像处理等领域的一个研究热点。为了促进更自然、更人性化的人机交互，对表情识别的深入研究变得更为重要。其中对于动态的人脸表情序列的研究更为受到关注，因为人脸表情是一个具有开始，高潮到结束的完整过程，因此对动态序列图像进行表情识别可以更有效地反映人脸表情过程的本质，易于消除各种干扰因素的影响，在进行非特定人表情识别时也能够得到更好的结果，并且动态序列表情图像包含更多的信息，所以动态表情识别的应用更为广泛，也更有实际意义。动态表情序列包含了从中性表情开始到表情最夸张的状态的这一过程。近些年来，动态人脸表情识别仍存在一些问题。特别是如何提取出实时性高、鲁棒性强以及稳定具有代表性的表情特征。

目前动态人脸表情特征提取方法主要可以分为以下几类：

光流法，光流指的是空间运动物体在观测成像面上像素运动的瞬时速度。对于光流的研究，是利用时域变化来确定各个像素的位置和运动，可以得出动态序列中不同帧之间同一物体的灰度变化。表情是通过人的五官(特别是眼睛、眉毛、嘴巴等)特征的变化体现出来的，是一个动态的过程，可以通过计算动态序列中表情特征点的光流，将人脸形状变化和人脸运动趋势表示出来。因此在动态表情识别中有很多的应用。该方法的缺点是容易受到光照不均、噪声、物体遮挡等因素的影响，精度不高同时计算量很大。

表情特征点跟踪法，该方法是将人脸特征点的位置变化组成特征向量来识别人脸表情。特征点的位置要选择能够随着表情的变化有大幅度变化的地方，比如对五官轮廓的角点进行跟踪，可以得到人脸特征的位移或形变信息。这种方法所选取的特征点只提取人脸的器官特征，从而去除掉背景、光线等多余的信息，计算量有所减小，运算速度快，可实时运行。其缺点是忽略了特征点以外的其他细节信息，可能会丢失一些有用的信息，而且很难准确的自动标记特征点，需要人为或者半自动标记特征点。

基于模型的方法，模型有主动形状模型(Active Shape Model，ASM)和主动外观模型(Active Appearance Model，AAM)，其中AAM是用统计模型的方式描述人脸的结构，是由Tim Cootes首先提出的。AAM方法是ASM的改进.ASM只能反映图像的局部信息。AAM反应的是图像的全局信息。AAM的优点是将人脸形状和纹理等信息进行统计建模，这样建立起的模型可以模拟大多数可能的对象，具有普遍性，这种方法有在表情特征提取时，有很高的效率。AAM的缺点是建模过程比较复杂，获取初始图像有困难，必要时还需手工标注，而且受图像的光照和背景的影响比较大。

差分图像法，在人脸表情识别中，对两幅图像进行差分运算就可以得到表情的变化。在背景不变的条件下，将表情序列中自第二帧起的每一帧和第一帧表情帧进行差分运算，就能得到新的序列，其中包含人脸表情丰富的关键特征。该方法保留了主要表情信息的同时，消除了光照、肤色等其他因素的影响，接近应用实际，简单直观，运算量少，便于实现实时处理。该方法的缺点是需要表情图像之间是严格对齐的，否则就无法真实反映表情的变化。

发明内容

本发明为避免上述现有技术存在的不足之处，提供一种基于动态人脸表情序列和K阶情感强度模型的特征表示方法，能有效降低特征维数和计算复杂度，提高特征提取的实时性。

本发明为解决技术问题采取如下技术方案：

本发明一种基于动态人脸表情序列和K阶情感强度模型的特征表示方法的特点是按如下步骤进行：

步骤a、随机选取T个对象的动态人脸表情序列集合S＝{S₁,S₂,…,S_t,…,S_T}，1≤t≤T；S_t表示第t个对象的动态人脸表情序列；令所述动态人脸表情序列集合S中所有对象的动态人脸表情序列所包含的总帧数Q＝N₁+N₂+…+N_t+…+N_T；N_t表示第t个对象的动态人脸表情序列所包含的帧数；

步骤b、将所述动态人脸表情序列集合S中的每个对象的每一帧人脸表情图像作为训练样本，对所述训练样本进行Haar特征提取，获得训练样本的Haar特征{A_i,z},1≤i≤Q,1≤z≤m；i表示所述动态人脸表情序列集合S中的每个对象的每一帧人脸表情图像的索引，z表示动态人脸表情序列集合S中的每个对象的每一帧人脸表情图像所含Haar特征的索引，m表示动态人脸表情序列集合S中的每个对象的每一帧人脸表情图像所含Haar特征的总数；

步骤c、对所述训练样本的Haar特征{A_i,z}进行PCA降维，获得降维后的动态特征{H_i,j}，1≤j≤M；j表示动态人脸表情序列集合S中的每个对象的每一帧人脸表情图像所含降维后的动态特征的索引，M为动态人脸表情序列集合S中的每个对象的每一帧人脸表情图像所含降维后的动态特征的总数；

步骤d、对所述降维后的动态特征{H_i,j}利用K-Means聚类生成K阶情感强度模型K-EIM；

步骤e、假设待提取特征的动态人脸表情序列S_target共有F帧；对所述待提取特征的动态人脸表情序列S_target分别进行Haar特征提取和PCA降维后获得目标动态特征{h_f,l}，1≤f≤F，1≤l≤M；f表示所述动态人脸表情序列S_target中每一帧人脸表情图像的索引，l表示所述动态人脸表情序列S_target中每一帧人脸表情图像的目标动态特征的索引，M表示所述动态人脸表情序列S_target中每一帧人脸表情图像所含目标动态特征的总数；

步骤f、将目标动态特征{h_f,l}中的每个特征元素依次输入到所述K阶情感强度模型K-EIM中，获得输出矩阵

G = [\begin{matrix} G_{1,1} & G_{1,2} & \cdot \cdot \cdot & G_{1, l} & \cdot \cdot \cdot & G_{1, M} \\ G_{2,1} & G_{2,2} & \cdot \cdot \cdot & G_{2, l} & \cdot \cdot \cdot & G_{2, M} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ G_{f, 1} & G_{f, 2} & \cdot \cdot \cdot & G_{f, l} & \cdot \cdot \cdot & G_{f, M} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ G_{F, 1} & G_{F, 2} & \cdot \cdot \cdot & G_{F, l} & \cdot \cdot \cdot & G_{F, M} \end{matrix}],

G_f,l表示目标动态特征{h_f,l}中任意个特征元素输入到所述K阶情感强度模型K-EIM中所获得的输出集合，且G_f,l＝{g_f,1,g_f,2,…,g_f,k,…,g_f,K}，g_f,k表示输出集合G_f,l中的任意个输出值；1≤k≤K,K≥2；并有：

g_{f, k} = \frac{1}{σ_{j, k} \sqrt{2 π}} {&Integral;}_{- \infty}^{h_{f, j}} e^{- \frac{{(t - μ_{j, k})}^{2}}{2 {σ_{j, k}}^{2}}} d_{t} - - - (2)

步骤g、对所述输出矩阵G进行编码，所获得的编码向量即表示为动态人脸表情序列的特征。

本发明基于动态人脸表情序列和K阶情感强度模型的特征表示方法的特点也在于：

所述步骤d中利用K-Means聚类生成K阶情感强度模型是按如下步骤进行：

步骤1、对所述降维后的动态特征{H_i,j}中每一列的动态特征H_·,j分别作为K-Means聚类的样本；获得M个聚类样本；

步骤2、初始化参数K的值；

步骤3、将所述M个聚类样本按照参数K的值分别进行K-Means聚类，从而获得M×K个类；

步骤4、分别求出所述M×K个类中的每个类所含动态特征的均值μ_j,k和方差

步骤5、利用所述均值μ_j,k和方差分别构造每个类的正态分布

步骤6、由所述每个类的正态分布构造如式(1)所示的K阶情感强度模型K-EIM：

所述步骤g是按如下步骤进行编码：

步骤1、比较输出集合G_f,l＝{g_f,1,g_f,2,…g_f,k,...,g_f,K}中的K个输出值的大小，并将最大的输出值设置为1，其余的输出值设置为0，从而获得由F×M个二进制特征集合构成的二进制矩阵

B = [\begin{matrix} B_{1,1} & B_{1,2} & \cdot \cdot \cdot & B_{1, l} & \cdot \cdot \cdot & B_{1, M} \\ B_{2,1} & B_{2,2} & \cdot \cdot \cdot & B_{2, l} & \cdot \cdot \cdot & B_{2, M} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ B_{f, 1} & B_{f, 2} & \cdot \cdot \cdot & B_{f, l} & \cdot \cdot \cdot & B_{f, M} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ B_{F, 1} & B_{F, 2} & \cdot \cdot \cdot & B_{F, l} & \cdot \cdot \cdot & B_{F, M} \end{matrix}],

B_f,l表示二进制矩阵B中任意个二进制特征集合，并有B_f,l＝{b_f,1,b_f,2,…b_f,k,...,b_f,K}，b_f,k表示二进制特征集合B_f,l中的任意二进制值；

步骤2、分别将所述二进制矩阵B中每一列的二进制特征集合进行累加，从而获得行向量R＝[R₁,R₂,...,R_l,...,R_M]，R_l表示二进制矩阵B中第l列的二进制特征集合进行累加所获得的K维集合，并有R_l＝{r₁,r₂,...,r_k,...,r_K}，r_k表示集合R_l中第k个累加值；

步骤3、将所述行向量R＝[R₁,R₂,...,R_l,...,R_M]中每个K维集合进行十进制转换，从而获得十进制行向量D＝[D₁,D₂,...,D_l,...,D_M]，D_l表示集合R_l所转换的十进制值，并有：

D_l＝r₁×2⁰+r₂×2¹,...,+r_K×2^K-1 (3)

步骤4：利用式(4)将所述十进制行向量D中的每一个十进制值利用式(4)进行归一化处理，获得编码值

D_{l}^{*} = \frac{D_{l}}{F} - - - (4)

步骤5：由每个十进制值进行归一化处理所获得的编码值构成编码向量即为待提取特征的动态人脸表情序列S_target的特征表示。

与已有技术相比，本发明的有益效果体现在：

1、本发明对动态表情序列提取的特征和K-Means聚类算法结合起来，生成了K阶情感强度模型，并对模型的输出进行编码，提出一种基于动态人脸表情序列和K阶情感强度模型的特征提取方法。该方法可以用一个特征向量来表示一个完整的动态表情序列的特征，不仅降低了计算复杂度，降低了特征维数，而且提高了特征提取的实时性。

2、本发明K阶情感强度模型按照表情的情感强度的变化将动态表情的过程进行了分段，不仅反映了人脸表情动态过程的各个细节变化的整体信息，不丢失动态表情序列每一帧的图像信息。

3、本发明对K阶情感强度模型的输出进行编码，让每一个输入特征在动态表情的过程中找到其所属的分段，用编码结果来表示一个动态表情序列的特征降低了特征维数和数据冗余性，减少了时间复杂度。

4、本发明由于可以直接用一个向量来表示一个动态表情序列的特征，而这个动态表情序列所含的帧数是随机的，对于由设备所引起的序列的帧数不一具有较高的鲁棒性，再加上降低了特征维数，使其同时具有实时性。

附图说明

图1为本发明的流程框图；

图2为本发明的人脸几何归一化分割图；

图3为本发明的第t个对象的动态人脸表情序列；

图4为本发明所使用的Haar特征模板。

具体实施方式

本实施例中，一种基于动态人脸表情序列和K阶情感强度模型的特征表示方法是按如下步骤进行，流程图如图1所示：

步骤1，随机选取T个对象的动态人脸表情序列集合，动态人脸表情序列集合中每个对象的动态人脸表情序列都包含一系列的该对象的人脸表情图像，这一系列的人脸表情图像是包含中性表情到最夸张表情的变化过程，并对每个动态人脸表情序列里的每一张人脸表情图像进行预处理。

步骤1.1、利用海尔检测器对人脸表情图像进行人眼定位，左眼中心记为：E_l，右眼中心记为：E_r；

步骤1.2、通过已经定位好的人眼中心计算出两眼中心的距离，记为：d；

步骤1.3、按照图2对人脸表情图像进行划分，其中上边界到人眼中心的距离为0.5d，人眼中心到下边界的距离为1.5d，左边界到左眼中心的距离为0.5d，右眼中心到右边界的距离为0.5d，加上两眼中心的距离为d，故划分后的人脸表情图像大小为2d×2d；

步骤1.4、对划分之后的人脸表情图像进行直方图均衡化，获得预处理后的动态人脸表情序列集合S＝{S₁,S₂,…,S_t,…,S_T}，1≤t≤T；如图3所示，S_t表示第t个对象的动态人脸表情序列；令动态人脸表情序列集合S中所有对象的动态人脸表情序列所包含的总帧数Q＝N₁+N₂+…+N_t+…+N_T，N_t表示第t个对象的动态人脸表情序列所含的帧数。

步骤2、将动态人脸表情序列集合S中的每个对象的每一帧人脸表情图像作为训练样本，对这些训练样本进行haar特征提取，所使用的特征模板如图4所示，特征模板的特征值定义为：白色矩形像素和减去黑色矩形像素和，从而获得训练样本的Haar特征{A_i,z},1≤i≤Q,1≤z≤m；i表示动态人脸表情序列集合S中的每个对象的每一帧人脸表情图像的索引，z表示动态人脸表情序列集合S中的每个对象的每一帧人脸表情图像所含haar特征的索引，m表示动态人脸表情序列集合S中的每个对象的每一帧人脸表情图像所含haar特征的个数；

步骤3、对训练样本的Haar特征{A_i,z}进行PCA降维，获得降维后的动态特征{H_i,j}，1≤i≤Q，1≤j≤M；j表示动态人脸表情序列集合S中的每个对象的每一帧人脸表情图像所含降维后的动态特征的索引，M为动态人脸表情序列集合S中的每个对象的每一帧人脸表情图像所含降维后的动态特征的个数；

步骤4、对降维后的动态特征{H_i,j}利用K-Means聚类生成K阶情感强度模型K-EIM；

步骤4.1、将降维后的动态特征{H_i,j}中每一列的动态特征H_·,j分别作为K-means聚类的样本；获得M个聚类样本；一共聚类M次；

步骤4.2、初始化参数K的值，K≥2；参数K为K-means聚类算法中的参数；

步骤4.3、将这M个聚类样本按照K的值分别进行K-means聚类，每个聚类样本通过聚类获得K个类，从而获得M×K个类；

步骤4.4、分别求出M×K个类中的每个类所含动态特征的均值μ_j,k和方差1≤k≤K；

步骤4.5、利用每一个类的均值μ_j,k和方差分别构造每个类的正态分布一共可以构造M×K个正态分布；

步骤4.6、由每个类的正态分布构造如式(1)所示的K阶情感强度模型K-EIM：

\begin{matrix} K - EIM = {N_{1, 1} {μ_{1,1} σ_{1,1}^{2}}, N_{1,2} {μ_{1,2}, σ_{1,2}^{2}}, . . ., N_{1, K} {μ_{1, K}, σ_{1, K}^{2}}; \\ N_{2,1} {μ_{2,1}, σ_{2,1}^{2}}, N_{2,2} {μ_{2,2}, σ_{2,2}^{2}}, . . ., N_{2, K} {μ_{2, K}, σ_{2, K}^{2}}; . . .; \\ N_{M, 1} {μ_{M, 1}, σ_{M, 1}^{2}}, N_{M, 2} {μ_{M, 2}, σ_{M, 2}^{2}}, . . ., N_{M, K} {μ_{M, K}, σ_{M, K}^{2}}} \end{matrix} - - - (1)

在整个动态表情变化的过程中，K阶情感强度模型K-EIM将人脸表情图像的每个位置的特征变化无监督的划分成K段，每段用一个正态分布来表示。

步骤5，假设待提取特征的动态人脸表情序列S_target共有F帧；对该目标动态人脸表情序列里面每一张人脸表情图像按照步骤1.1-步骤1.3进行预处理并对划分之后的人脸表情图像进行直方图均衡化，获得预处理后的目标动态人脸表情序列。对预处理后的目标动态人脸表情序列分别进行Haar特征提取，所使用的特征模板如图4所示。然后进行PCA降维后获得目标动态特征{h_f,l}，1≤f≤F，1≤l≤M；f表示该目标动态人脸表情序列中每一帧人脸表情图像的索引，l表示目标动态人脸表情序列中每一帧人脸表情图像所含目标动态特征的索引，M表示目标动态人脸表情序列中每一帧人脸表情图像所含目标动态特征的个数；

步骤6、将目标动态特征{h_f,l}中的每个特征元素依次输入到K阶情感强度模型K-EIM中，即{h_f,l}的第l列的所有特征元素依次输入到K阶情感强度模型K-EIM中第l行的K个正态分布中，求出每个输入的特征元素落在对应的K个正态分布的概率，从而获得输出矩阵

G = [\begin{matrix} G_{1,1} & G_{1,2} & \cdot \cdot \cdot & G_{1, l} & \cdot \cdot \cdot & G_{1, M} \\ G_{2,1} & G_{2,2} & \cdot \cdot \cdot & G_{2, l} & \cdot \cdot \cdot & G_{2, M} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ G_{f, 1} & G_{f, 2} & \cdot \cdot \cdot & G_{f, l} & \cdot \cdot \cdot & G_{f, M} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ G_{F, 1} & G_{F, 2} & \cdot \cdot \cdot & G_{F, l} & \cdot \cdot \cdot & G_{F, M} \end{matrix}],

G_f,l表示目标动态特征{h_f,l}中任意个特征元素输入到K阶情感强度模型K-EIM中所获得的输出集合，且G_f,l＝{g_f,1,g_f,2,…g_f,k,...,g_f,K}，g_f,k表示输出集合G_f,l中的任意个输出值；1≤k≤K,K≥2，每个输出集合包含K个输出值，利用式(2)获得输出值g_f,k：

g_{f, k} = \frac{1}{σ_{j, k} \sqrt{2 π}} {&Integral;}_{- \infty}^{h_{f, j}} e^{- \frac{{(t - μ_{j, k})}^{2}}{2 {σ_{j, k}}^{2}}} d_{t} - - - (2)

步骤7、对输出矩阵G按照编码原则进行编码，所获得的编码向量即表示为动态人脸表情序列的特征。编码的目的是为了让每个输入的特征元素通过K阶情感强度模型K-EIM找到所属的情感强度的分段，即概率最大的输出所在的正态分布被认为是输入的特征元素所属的情感强度的分段。

步骤7.1、比较输出集合G_f,l＝{g_f,1,g_f,2,…g_f,k,...,g_f,K}中的K个输出值的大小，并将最大的输出值设置为1，其余的输出值设置为0，从而获得由M个二进制特征集合构成的二进制矩阵

B = [\begin{matrix} B_{1,1} & B_{1,2} & \cdot \cdot \cdot & B_{1, l} & \cdot \cdot \cdot & B_{1, M} \\ B_{2,1} & B_{2,2} & \cdot \cdot \cdot & B_{2, l} & \cdot \cdot \cdot & B_{2, M} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ B_{f, 1} & B_{f, 2} & \cdot \cdot \cdot & B_{f, l} & \cdot \cdot \cdot & B_{f, M} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ B_{F, 1} & B_{F, 2} & \cdot \cdot \cdot & B_{F, l} & \cdot \cdot \cdot & B_{F, M} \end{matrix}],

其中，B_f,l表示二进制矩阵中任意个二进制特征集合，并有：B_f,l＝{b_f,1,b_f,2,…b_f,k,...,b_f,K}，b_f,k表示二进制特征集合B_f,l中的任意二进制值，且

步骤7.2：按位累加二进制矩阵B中每一列的二进制特征集合，获得行向量R＝[R₁,R₂,...,R_l,...,R_M]，R_l表示二进制矩阵B中第l列二进制特征集合进行累加所获得的K维集合，并有R_l＝{r₁,r₂,...,r_k,...,r_K}，r_k表示集合R_l中第k个累加值；例如待提取特征的动态人脸表情序列S_target有3帧人脸表情图像，即F＝3，B_1,2＝{001}，B_2,2＝{010}，B_3,2＝{100}，那么R₂＝{111}；

步骤7.3：将行向量R＝[R₁,R₂,...,R_l,...,R_M]中每个K维集合进行十进制转换，从而获得十进制行向量D＝[D₁,D₂,...,D_l,...,D_M]，D_l表示集合Rl所转换的十进制值，并利用式(3)求出D_l；本实施例中，D₂＝7。

D_l＝r₁×2⁰+r₂×2¹,...,+r_K×2^K-1 (3)

步骤7.4：利用式(4)将十进制行向量D中的每一个十进制值利用式(4)进行归一化处理，获得编码值本实施例中，D₂＝7/3。

D_{l}^{*} = \frac{D_{l}}{F} - - - (4)

步骤7.5：由每个十进制值进行归一化处理所获得的编码值构成编码向量即为待提取特征的动态人脸表情序列S_target的特征表示。

Claims

1.一种基于动态人脸表情序列和K阶情感强度模型的特征表示方法，其特征是按如下步骤进行：

G = [\begin{matrix} G_{1,1} & G_{1,2} & \cdot \cdot \cdot & G_{1, l} & \cdot \cdot \cdot & G_{1, M} \\ G_{2,1} & G_{2,2} & \cdot \cdot \cdot & G_{2, l} & \cdot \cdot \cdot & G_{2, M} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ G_{f, 1} & G_{f, 2} & \cdot \cdot \cdot & G_{f, l} & \cdot \cdot \cdot & G_{f, M} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ G_{F, 1} & G_{F, 2} & \cdot \cdot \cdot & G_{F, l} & \cdot \cdot \cdot & G_{F, M} \end{matrix}],

g_{f, k} = \frac{1}{σ_{j, k} \sqrt{2 π}} {&Integral;}_{- \infty}^{h_{f, j}} e^{- \frac{{(t - μ_{j, k})}^{2}}{2 {σ_{j, k}}^{2}}} d_{t} - - - (2)

2.根据权利要求1所述的基于动态人脸表情序列和K阶情感强度模型的特征表示方法，其特征是：所述步骤d中利用K-Means聚类生成K阶情感强度模型是按如下步骤进行：

步骤2、初始化参数K的值；

步骤5、利用所述均值μ_j,k和方差分别构造每个类的正态分布

3.根据权利要求1所述的基于动态人脸表情序列和K阶情感强度模型的特征表示方法，其特征是，所述步骤g是按如下步骤进行编码：

B = [\begin{matrix} B_{1,1} & B_{1,2} & \cdot \cdot \cdot & B_{1, l} & \cdot \cdot \cdot & B_{1, M} \\ B_{2,1} & B_{2,2} & \cdot \cdot \cdot & B_{2, l} & \cdot \cdot \cdot & B_{2, M} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ B_{f, 1} & B_{f, 2} & \cdot \cdot \cdot & B_{f, l} & \cdot \cdot \cdot & B_{f, M} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ B_{F, 1} & B_{F, 2} & \cdot \cdot \cdot & B_{F, l} & \cdot \cdot \cdot & B_{F, M} \end{matrix}],

D_l＝r₁×2⁰+r₂×2¹,...,+r_K×2^K-1 (3)

D_{l}^{*} = \frac{D_{l}}{F} - - - (4)