CN104408440B - 一种基于两步降维和并行特征融合的人脸表情识别方法 - Google Patents

Abstract

本发明请求保护一种基于两步降维和并行特征融合的人脸表情识别方法，采用两步降维：首先，利用主成分分析法（PCA）分别对待融合的两类人脸表情特征在实数域内进行第一次降维，然后将降维后的特征在酉空间内进行并行特征融合；其次，提出一种基于酉空间的混合判别分析方法（HDA）作为酉空间的特征降维方法，通过对人脸表情分别提取局部二值模式（LBP）和Gabor小波两类特征，并结合上述两步降维框架，最后采用支持向量机（SVM）进行分类和训练。所述方法能够有效降低并行融合特征的维数，同时实现对于六种人脸基本表情的识别并有效提高了识别率。本方法能够避免采用串行特征融合及单特征表情识别方法中所存在的种种弊端，并能被广泛应用于公共场合安全视频监控、车辆安全驾驶监控、心理学研究、医疗监控等模式识别领域。

Description

一种基于两步降维和并行特征融合的人脸表情识别方法

技术领域

本发明涉及模式识别中的表情识别领域，具体涉及一种基于两步降维和并行特征融合的人脸表情识别方法。

背景技术

人脸面部表情识别技术，也被称为自动人脸表情识别技术，是指利用程序算法使机器能够自动识别不同类别的面部表情，即通过对数据进行训练和学习，从而具备了理解和识别面部表情的能力。心理学家认为，情感表达＝7％语言+38％声音+55％面部表情，可见，面部表情可以很好地反应一个人的情感表达。可以说，面部表情是人类情感的最主要载体，也是人类内心世界的外在表现形式。作为人工智能的一个重要组成部分，计算机自动表情识别自上世纪七十年代提出以后，就一直是人工智能研究的热点。表情识别的研究涉及到生理学、认知学、人工智能、模式识别、计算机视觉以及信息论、信号处理等多学科领域。此外，人脸面部表情识别同样具有广泛的应用前景，例如人机交互设备、心理学研究、远程教育管理、车辆安全驾驶、公共场合安全视频监控、测谎仪、临床医学、医疗监控等诸多领域。

目前，国内外研究者在对表情识别进行研究时通常会采用以下常见特征提取方法，主要包括：(1)几何特征；(2)统计学特征；(3)频域特征；(4)纹理特征；(5)运动特征；(6)模型特征等。对于上述特征提取方法所提取出来的面部特征信息，有的侧重于全局特征的提取，有的则侧重于局部信息的提取。如果仅仅采用单一特征提取方法进行特征提取后，对于模式对象的有效特征信息描述会显得十分单一而不全面，因而导致模式识别效果十分低下。而事实证明，对同一模式对象采用不同类别的特征提取方法进行特征提取，并利用这些多类别特征数据所构成的组合特征数据进行模式分类，其效果往往要好于采用单特征提取方法。

近年来，数据融合在多模情感识别领域迅速发展起来，并主要分成三类：像素级融合、特征级融合和决策级融合。其中，特征级融合方法不仅可以从图像中所获取更多特征信息，还可对多特征信息进行融合从而获取组合特征，从而进一步增加数据区分度，同时降低分类器的分类压力。此外，特征级融合方法还保留了原始多特征中的有效鉴别信息，并且最大程度地消除了数据冗余。

常用的特征融合方法主要有：串行特征融合法和并行特征融合法。传统串行特征融合方法是将多种特征数据首尾相连以形成串行组合特征，融合后的特征维数为各维数之和，因而容易引发维数灾难，并对后续训练和分类速度带来严重影响。此外，高维数据维数还会进一步加深高维小样本问题所带来的矩阵奇异等问题，从而影响降维投影轴的求解。而并行特征融合法是将两类特征数据在复数域进行特征融合，所得并行组合特征维数与其中特征维数较高者相等，从而减少了出现串行特征融合中特征维数过高问题的可能性。因此，考虑到特征融合前后特征维数偏高的可能性，需要对处于不同融合阶段的特征数据进行特征降维。

因此，有必要提供一种基于两步降维和并行特征融合的表情识别方法来弥补上述缺陷。

发明内容

本发明的目的在于有效地利用两步降维和并行特征融合方法的优势，提供一种特征融合后维数较传统串行特征融合方法维数更低、兼顾全局描述及类间判别特征、能够对酉空间数据进行有效数据降维、识别率较高的人脸表情识别方法，实现对六类基本情感：高兴、悲伤、愤怒、厌恶、害怕和惊讶的有效识别。

为了实现上述目的，本发明的技术方案如下：

一种基于两步降维和并行特征融合方法的表情识别方法，包括以下步骤：

步骤1：对人脸表情图像进行裁剪及图像预处理；

步骤2：分别利用LBP(局部二值模式local binary pattern)和Gabor小波对经过预处理后的人脸表情图像进行两类特征提取；

步骤3：在实数域内利用PCA(主成分分析法principal component analysis)分别对两类特征数据进行一次降维；

步骤4：将经过数据预处理后的两组特征数据进行并行特征融合；

步骤5：利用unitary-space HAD(基于酉空间的混合判别分析方法unitary-spacehybrid discriminant analysis,unitary-space)方法在酉空间内对并行融合特征进行二次降维；

步骤6：利用支持向量机进行训练和分类。

所述步骤1进一步包括：根据人眼瞳孔距d对每一幅人脸表情图像区域进行确定及裁剪，将经过裁剪后的彩色三通道图像转换成灰度单通道图像；图像预处理部分包括：对经过通道数转换后的灰度图像进行尺寸归一化，经处理后图像尺寸大小为120*120，并对尺寸归一化后的灰度图像进行直方图均衡化处理。

所述步骤2的特征提取进一步包括：对预处理后的人脸表情图像进行分块处理，利用R＝2且P＝8的圆形规则化局部二值模式算法对图像中每个分块区域进行局部纹理特征信息提取，并最终形成531维数据为LBP特征数据；利用Gabor小波对图像中每个分块区域进行小波统计学特征提取，使用5个尺度和8个方向构造40组Gabor小波核函数，将每个分块区域图像与上述函数组分别进行卷积，并计算输出分块图像上的像素平均值和标准差数值信息作为小波特征数据，并最终形成720维数据作为Gabor小波特征数据。

所述步骤4和步骤5的并行特征融合进一步包括：首先，对两类特征数据进行数据补齐及平衡性调整；其次，在复数域空间内将经过一次PCA降维的Gabor小波特征数据作为复向量实部及LBP特征数据作为复向量虚部进行并行特征融合；然后，通过对并行组合特征在酉空间内构造类间散布矩阵S_b、类内散布矩阵S_w以及整体协方差矩阵S_t并由此提出一种兼顾全局描述信息和类间判别信息的酉空间数据降维方法，即酉空间混合判别分析法。利用该方法来构造酉空间最优鉴别问题可以求解出酉空间二次降维投影矩阵，并将并行融合特征数据在该投影方向上进行二次降维。

本发明的目的是为了解决现有单特征表情识别率较低、串行特征融合表情识别方法所引起的特征维数较高、并行特征降维数据区分度低等情况下而提出的一种基于两步降维和并行特征融合的表情识别方法。与现有表情识别技术相比，本发明通过两步降维框架可对两类人脸表情特征在实数域和复数域内进行有效降维；采用并行特征融合方法既保留了参与融合的多特征有效鉴别信息，在最大程度上消除了多特征之间的冗余信息，并保留了有效的目标分类信息，实现了可观的数据压缩；而所提出的unitary-space HDA方法能够同时兼顾酉空间特征数据的全局描述信息和类间判别信息，并能够实现对酉空间数据的有效降维，在提升数据区分度的同时也有效提高了表情识别率。

本方法能够有效降低并行融合特征的维数，同时实现对于六种人脸基本表情的识别并有效提高了识别率。本方法能够避免采用串行特征融合及单特征表情识别方法中所存在的种种弊端，并能被广泛应用于公共场合安全视频监控、车辆安全驾驶监控、心理学研究、医疗监控等模式识别领域。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

图1是一种基于两步降维和并行特征融合的表情识别方法流程图；

图2是unitary-space HDA最优鉴别问题构造流程图。

具体实施方式

下面结合附图对本发明的具体实施作进一步的详细说明。

该方法的基本思想是：首先，对人脸表情图像进行图像预处理并采用两种特征提取方法对其进行多特征提取；然后，利用并行特征融合机制分别指定复向量的实数及虚数部分，构成并行组合特征。考虑到该并行组合特征通常存在维数较高的问题，通过采用两步降维来解决上述问题。(1)第一步降维：首先，利用PCA在实数域内对两类特征数据进行一次降维，降维维数和主成分个数由主成分贡献率决定；然后，对两组降维输出数据分别进行数据补齐及平衡性调整；最后，构造并行组合特征；(2)第二步降维：首先，利用unitary-spaceHDA方法来构造最优鉴别函数并对其进行复特征分解并构造降维投影轴；然后，对并行组合特征数据在该投影方向上进行二次降维。最后，将经过两步降维后的特征数据送入分类器进行分类及预测。

参见图1和图2，本方法的具体步骤如下：

步骤1：利用OpenCV函数库中的鼠标响应函数cvSetMouseCallBack对样本集人脸表情图像进行人眼瞳孔位置的手动标定，具体步骤：

首先，利用鼠标确定左瞳孔及右瞳孔坐标位置分别为(x₁,y₁)、(x₂,y₂)，由此可以得出瞳孔距离

其次，以瞳孔中心位置为中轴线左右0.9d长度范围为裁剪宽度,以瞳孔中心位置以上0.6d及以下1.6d长度范围为裁剪高度,因此可以确定出一个1.8d×2.2d的矩形范围进行裁剪，并通过cvSetImageROI函数来对表情区域进行裁剪；最后，对经过裁剪的人脸表情图像进行图像预处理，并包括以下步骤：首先，利用cvCvtColor函数将原先的彩色三通道图像转换成灰度单通道图像；然后，利用cvResize函数对该灰度图像进行尺寸归一化，经处理后图像尺寸大小为120*120；最后，利用cvEqualizeHist函数对经过尺寸归一化后的灰度图像进行直方图均衡化处理。

步骤2：对经过预处理后的人脸表情图像进行分块处理，通过cvRect函数来确定每个子分块的大小，同时与cvSetImageROI进行配合使用对原图像进行3*3个子分块的提取，因此每个分块的尺寸大小为40*40。随后，对其中每个子分块分别进行两类特征提取，以下采用了LBP和Gabor小波两类特征提取方法。

步骤2a：本步骤采用LBP的改进形式-规则化圆形邻域局部二值模式算法对每个人脸表情子块图像进行局部纹理特征提取。假设中心像素值坐标为(x_c,y_c)，则通过以下公式来确定圆形邻域上各个邻域点在所对应的像素坐标(x_i,y_i)：

其中，R是邻域半径，P是邻域点个数。此外，根据所求坐标值并结合双线性插值法来对邻域像素值g_p进行调整，并根据下列公式进行规则化二进制序列的求解。

其中，函数用于算法所产生的P位二进制序列跳变次数的判断，若函数返回值小于或等于2则将其视为规则化数据，否则就视为非规则化数据。g_p表示邻域像素值，g_c表示中心像素值，s(x)表示符号函数。通常选取P＝8与R＝2，此时LBP特征维数为59维，其中包括58个规则化数据模式类及1个非规则化数据模式类。经过上述方法对每幅人脸表情图像中3*3个子块图像进行特征提取后，最终得到531维LBP特征数据。

步骤2b：本步骤采用Gabor小波特征提取算法对人脸表情图像中每个分块进行小波特征提取。Gabor核函数采用高斯核函数，当然也可以将其理解为一个滤波器，该核函数定义如下：

其中，z表示图像中某个像素的坐标值，即z＝(x_i,y_i)。k_μ,υ表示小波核函数空间尺度及方向调整系数，其形式为尺度因子k_v是滤波器的中心频率，即采样频率，方向因子为尺度因子形式是其中k_max是最大频率，通常取值为f是频域采样间隔，通常取值为而不同的υ值就对应了不同空间尺度下的小波核函数。方向因子形式是其中K是最大方向数，而不同的μ值就对应了不同空间方向下的小波核函数。参数σ则控制核函数窗口及其带宽大小，通常取值为σ＝2π。该高斯核函数的能量主要集中在到的范围之内。此外，i表示虚数单位，exp表示e指数函数。

通过在5个尺度和8个方向上对Gabor小波核函数进行构造，那么可以构造出40组核函数模型。并将每幅图像中的子块图像与核函数进行卷积运算，输出结果如下：

其中，μ表示方向选择参数，υ表示尺度选择参数，这里μ从0到7进行取值并对应8个空间方向，υ从0到4进行取值并对应5个空间尺度。I(z)表示表情图像输入，O_μ,ν(z)表示表情图像输出。此外，还需要进一步对输出图像中各个子块进行统计学处理，并依次提取各子块内的像素平均值及标准差：

其中，N代表样本数量，x_i代表样本数据，代表样本均值，s代表样本标准差。因此，采用5尺度和8方向共40组Gabor小波核函数对每幅人脸表情图像中3*3个子块图像进行处理并进行上述2类统计学特征提取后，可以得到720维Gabor小波特征数据。

步骤3：本步骤分别对上述两种特征数据进行PCA一次降维。通过是对样本协方差矩阵进行奇异值分解来构造降维投影轴：

[U,S,V]＝svd(Σ)

其中，m表示样本数量，n表示样本维数，x⁽ⁱ⁾表示去均值后的第i个样本矩阵，Σ表示样本协方差矩阵，T表示转置符号。svd函数用于矩阵的奇异值分解，输出的3组矩阵U，S，V可用于构成特征值和特征向量。

此外，还需要根据主成分值及个数来确定降维维数，也就是在保留有绝大部分原始数据信息的情况下仅利用少数几个主成分值来代替，实现数据的线性降维。通常采用主成分贡献率δ来确定主成分个数：

其中，k代表所选出来的主成分值个数，n代表全部主成分个数，λ_i为第i个主成分特征值。为确保降维输出能够很好地对原始数据进行解释，应保证式中δ＝0.99左右。

步骤4：本步骤对经过PCA一次降维后的两组特征数据进行并行特征融合，融合前需要进行数据预处理及数据平衡性调整。设经过PCA降维后的两组特征数据分别为A、B，若α∈A,β∈B，则结合并行特征融合理论，将预处理后的特征数据和分别作为并行组合特征γ的实数及虚数部分，并行组合特征维数与两组特征数据中的较高维数相等，即dim(γ)＝max{dim(α)+dim(β)}。若二者维数不等，则用零值对低维数据进行补齐。在对数据进行补齐后则构成人脸表情并行组合特征融合过程中，若直接采用γ＝{α+iβ}方式进行特征融合，可能会出现数据平衡性失调的情况。通过引入平衡系数θ可减少上述问题带来的影响，即采用γ＝{α+iθβ}方式进行特征融合。平衡系数θ的经验公式如下：

其中，n²、m²分别表示特征α和β对应散布矩阵的维数。

本发明中，将Gabor小波特征数据作为复向量的实数部分，将LBP特征数据作为复向量的虚数部分，其组合特征向量中每一个元素都以复数形式存在。

步骤5：本步骤在酉空间内提出一种适用于并行组合特征的降维方法。首先，在复数域内构造类间散布矩阵S_b、类内散布矩阵S_w以及整体协方差矩阵S_t，具体公式如下：

其中，C代表类别数量，x代表某一幅人脸表情图像的并行特征数据，m₀是全体训练样本的并行特征数据平均值，m_i是第i类训练样本的并行特征数据平均值，P(w_i)是第i类训练样本的先验概率，E表示期望函数，H是共轭转置符号。可以证明，以上三类矩阵都是半正定埃尔米特矩阵，即其特征值全部存在且大于等于零，并且对上述矩阵进行共轭转置运算的输出结果依旧是其本身。假设，现有N个复向量m_i，在酉空间内对复向量进行平均值求取可先分别对其实部和虚部分别进行平均值求取，最后再在复数域空间进行合成，具体可按照如下公式进行：

complex_mean＝real_mean(m_i)+i*imag_mean(m_i)

其中，N表示样本数量，m_i表示样本数据，real_mean表示实部平均值，imag_mean表示虚部平均值，complex_mean表示并行组合特征平均值，real表示取实部函数，imag表示取虚部函数，i表示虚数单位。

鉴于主成分分析法PCA和线性判别分析法LDA分别对于全局描述信息和类间判别信息具有良好的分析及处理特性，本发明在酉空间中提出一种兼顾复全局描述信息和复类间判别信息的并行组合特征数据降维方法，即酉空间混合判别分析法。该方法能够对酉空间内对上述两类最优鉴别问题进行综合分析，其最优鉴别问题函数如下：

其中，参数(λ,η)用于三类酉空间散布矩阵所构成的两类最优鉴别问题的分析优势进行权衡，W表示酉空间输出列向量并用于构造酉空间降维投影轴，I表示复单位向量。考虑到类内散布矩阵容易出现奇异的情况，因此在其分母项增加了一个复单位矩阵I进行调整，这样就能够保证分母项的逆运算一定存在。而上式的目标是最大化由类间散布矩阵及整体协方差矩阵构成的分子项，并同时最小化由类内散布矩阵构成的分母项。在酉空间内对训练集并行特征数据进行上述处理后，不但能够同时有效提取出训练数据的描述信息和类间判别信息，也有利于对并行融合数据在复数域范围内进行有效区分。

通过利用上述酉空间HDA最有鉴别问题函数进行投影矩阵求取可通过以下公式进行：

[(1-λ)S_b+λS_t]W＝[(1-η)S_w+ηI]WΛ

即通过特征值分析法来对最佳投影向量进行求解，因此，可将上式进行如下变换：

[(1-η)S_w+ηI]^-1[(1-λ)S_b+λS_t]W＝WΛ

对上式在复数域空间进行特征值分析，即对[(1-η)S_w+ηI]^-1[(1-λ)S_b+λS_t]项式进行复数域特征值分析，并得到以对角线来存储复数特征值的对角矩阵Λ，及其对应的特征向量W。通常情况下将对角矩阵Λ的对角线上的复数特征值按照从大到小降序排列，因此对应的特征向量W也按照特征值顺序进行重新排序。本发明中，选取前(C-1)个特征值对应特征向量来构造酉空间HDA最佳投影轴矩阵，并利用下式对训练集进行酉空间并行特征数据降维：

其中，X表示输入并行组合特征数据，表示酉空间降维投影轴，Y表示酉空间降维输出并行组合特征数据。由于在本发明中所涉及到样本集类别数量共6类，那么根据上式，利用酉空间HDA方法降维后的并行特征数据为5维。可以看出，经过该方法降维后的并行特征数据维数有了显著降低，且增加了数据在复数域空间的区分度。此外，通过控制(λ,η)这一参数对在(0.0,0.0)到(1.0,1.0)二维平面区间范围内变化，可在二维空间内形成一系列unitary-space HDA最优鉴别问题函数。例如，当(λ,η)＝(0.0,0.0)时，则衰减为unitary-space LDA最优鉴别问题函数；当(λ,η)＝(1.0,1.0)时，则衰减为unitary-spacePCA最优鉴别问题函数。通常选取(λ,η)＝(0.5,0.5)，此时unitary-space HDA最优化鉴别问题函数能够同时兼顾并行组合特征的全局描述信息及类间判别信息，因此能够达到对并行组合特征的最优数据区分及降维。

步骤6：将经过两次降维后的人脸表情并行特征融合数据及对应样本标签(1-angry，2-disgust，3-fear，4-happy，5-sad，6-surprise)作为支持向量机分类器的输入。由于SVM只能够针对实数域特征数据进行学习和训练，因此先将上述5维复数空间训练集数据导出成为10维实数空间训练集数据，并使用cvNormalize函数对训练集数据进行归一化处理，归一化数据范围是[-1,1]之间。通常，选用C类支持向量机C_SVC来进行多类分类，该分类器支持n类分类(n≥2)，同时允许使用异常值惩罚因子来进行不完全分类。此外，选用RBF径向基函数作为SVM内核函数类型，并利用该内核函数将低维输入特征数据向高维数据空间进行投影，投影后的数据维数处于高维，这样更利于分类器在高维空间去寻找最优切平面。实验时，对训练集和测试集分别经过上述相同的步骤1至步骤5后，最后利用SVM对测试集人脸表情数据进行预测。

所述方法能够有效降低并行融合特征的维数，同时实现了对于六种人脸基本表情的识别并有效提高识别率。实施本发明能够避免采用串行特征融合及单特征表情识别方法中所存在的种种弊端，并能被广泛应用于公共场合安全视频监控、车辆安全驾驶监控、心理学研究、医疗监控等模式识别领域。

以上对本发明所提供的一种基于两步降维和并行特征融合的表情识别方法进行了详细介绍，本文中利用具体参数设置和个例对本发明的原理及方法进行了阐述，结合具体个例只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应被理解为对本发明的限制。

Claims (5)

1.一种基于两步降维和并行特征融合的人脸表情识别方法，其特征在于，包括以下步骤：

步骤1：对原始人脸表情图像进行裁剪及图像预处理；

步骤2：分别利用LBP和Gabor小波两类特征提取方法对经过预处理后的人脸表情图像进行特征提取；

步骤3：在实数域内利用PCA分别对两组特征数据分别进行第一次降维；

步骤4：将经过数据预处理后的两组特征数据进行并行特征融合；

步骤5：利用unitary-space HDA方法在酉空间内对并行融合特征进行第二次降维；

步骤6：利用支持向量机进行数据分类和预测；

所述步骤3具体是利用PCA分别对两组特征数据在实数域内进行第一次降维，降维维数选择及主成分值个数可由主成分贡献率公式得到；

所述步骤4具体包括：先对降维后的两组特征数据进行数据补齐及数据平衡性调整，此时两组特征数据的长度及数值量纲基本统一；然后，分别将Gabor小波特征数据作为并行组合特征的实数部分，将LBP特征数据作为并行组合特征的虚数部分进行特征融合；

所述步骤5进一步包括：首先，通过训练集中的并行组合特征来构造类间散布矩阵S_b、类内散布矩阵S_w以及整体协方差矩阵S_t这三类酉空间散布矩阵，并结合(λ,η)参数调整来构造unitary-space HDA最优鉴别问题，取(λ,η)＝(0.5,0.5)；然后，对上述最优鉴别问题进行复特征分解以求解酉空间二次降维投影矩阵，并将训练集和测试集并行组合特征数据在该投影方向上进行二次降维。

2.如权利要求1所述的方法，其特征在于，所述步骤1进一步包括：首先，对原始人脸表情图像确定人眼瞳孔距离d，并以瞳孔中心位置为中轴线左右0.9d长度范围为裁剪宽度,以瞳孔中心位置以上0.6d及以下1.6d长度范围为裁剪高度,确定出一个1.8d×2.2d的矩形范围进行裁剪；然后，对裁剪后的人脸表情图像进行灰度化处理并对处理得到的灰度图像进行尺寸归一化，归一化后的图像尺寸大小为120×120；最后，对归一化后的灰度图像进行直方图均衡化预处理。

3.如权利要求1所述的方法，其特征在于，所述步骤2进一步包括：首先，对预处理后的每一副人脸表情图像进行3×3个子块的划分，即可得9个表情子块图像，而每个子块大小为40×40；然后，利用利用LBP和Gabor小波这两类特征提取方法分别对每一副表情图像上的每一个子块图像进行特征提取。

4.如权利要求1所述的方法，其特征在于：所述特征提取是：首先，利用P＝8，R＝2即邻域点个数为8、邻域半径为2的规则化圆形邻域LBP算法对表情子块图像进行局部纹理特征提取：通过中心像素值与邻域像素值进行阈值比较后所得二进制序列进行规则化判断及统计，最终在每一个子块图像上得到一个59维的特征数据，因而每一幅表情图像的LBP特征维数是：3×3×59＝531维；然后，利用5个尺度和8个方向范围内的Gabor小波核函数对表情子块图像进行小波特征提取：构造40组Gabor小波高斯核函数并将其分别与每一副表情图像中的子块图像进行卷积运算后可得小波输出图像，并对输出图像的像素平均值及标准差作为小波统计学特征数据，因而整幅图像的小波特征维数是：3×3×5×8×2＝720维。

5.如权利要求1所述的方法，其特征在于：所述步骤6具体包括：首先，将训练集数据经过如权利要求1中所述步骤1至步骤5处理后所得并行组合特征以及6类基本表情的样本标签作为支持向量机的训练输入，并将径向基函数作为内核函数将训练集数据从低维向高维投影后进行数据训练，并得到训练集的分类模型；然后，将测试集数据同样经过如权利要求1中所述步骤1至步骤5处理后所得并行组合特征作为支持向量机的预测输入，并通过已经建立好的分类模型对表情进行预测。