CN105095827A - 人脸表情识别装置和方法 - Google Patents

Abstract

本发明涉及一种能够对各姿态下人脸识别其表情的人脸表情识别装置，其包括：图像预处理单元，其对获取的待识别人脸图像进行预处理，生成预处理图像；姿态确定单元，其确定预处理图像中的人脸的姿态信息；关键点定位单元，其根据姿态信息，在预处理图像中确定多个关键点；关键点可靠性分析单元，其从多个关键点选择出多个可靠关键点；特征提取单元，其对预处理图像提取全局特征、与多个可靠关键点相应的可靠关键点特征、和与可靠关键点相应的区域内的可靠局部特征；以及表情确定单元，其将全局特征、可靠关键点特征和可靠局部特征，与预先训练得到的表情模板特征中相应姿态的表情模板特征进行相似度比较，而确定表情。

Description

人脸表情识别装置和方法

技术领域

本发明涉及一种人脸表情识别装置和方法，具体为，涉及在多姿态下识别人脸表情的装置和方法。

背景技术

本发明属于图像处理、计算机视觉、模式识别技术领域，特别涉及一种全局结合基于关键点可靠性判断的多层次局部分析的多姿态人脸表情识别方法。

人脸表情包括自然状态、高兴、惊讶、悲伤、愤怒、害怕、厌恶等。人脸表情识别是人机交互与情感计算研究的重要组成部分。以往的人脸表情研究大部分基于受控条件，如正向情况下等。然而在实际的应用中，更多情况下在进行人脸表情识别时是在非受控条件下进行的，即，人脸是处于任意的姿态下的。

在现有技术中，关于人脸表情识别的技术例如有《基于证据理论的人脸表情识别方法》（发明专利申请公开第CN120629321A号公报），其中结合人脸全局信息和局部信息，对表情库中的人脸和左眼图像分别提取Gabor特征，得到两个识别结果，利用证据理论进行决策融合。

关于该技术例如还有《基于特征点矢量与纹理形变能量参数的人脸表情识别方法》（发明专利申请公开第CN120945361A号公报），其中，结合特征点矢量与纹理形变能量参数对表情识别进行研究。首先根据AAM提取关键点，根据关键点提取特征点矢量特征和特征块纹理信息，降维后训练神经网络得到表情识别结果。

在上述现有技术中，并未充分考虑到在不同姿态下如何进行处理，会产生由于关键点定位不准导致的表情错误识别，导致在不同姿态情况下进行人脸表情识别的准确性差。

发明内容

本发明有鉴于现有技术存在的问题，提供一种能够在多姿态下准确进行人脸表情识别的装置和方法。

本发明的人脸表情识别装置，包括：图像预处理单元，其对获取的待识别人脸图像进行预处理，生成预处理图像；姿态确定单元，其确定所述预处理图像中的人脸的姿态信息；关键点定位单元，其根据所述姿态信息，在所述预处理图像中确定多个关键点；关键点可靠性分析单元，其从所述多个关键点选择出多个可靠关键点；特征提取单元，其对预处理图像提取全局特征、与所述多个可靠关键点相应的可靠关键点特征、和与所述可靠关键点相应的区域内的可靠局部特征；以及表情确定单元，其将至少包括所述全局特征、所述可靠关键点特征和所述可靠局部特征的三个特征，与预先训练得到的相应姿态下各表情的标准人脸的相应特征进行相似度比较，而确定待识别人脸图像的表情。

另外，本发明的人脸表情识别方法，包括：图像预处理步骤，其中对获取的待识别人脸图像进行预处理，生成预处理图像；姿态确定步骤，其中确定所述预处理图像中的人脸的姿态信息；关键点定位步骤，其中根据所述姿态信息，在所述预处理图像中确定多个关键点；关键点可靠性分析步骤，其中从所述多个关键点选择出多个可靠关键点；特征提取步骤，其中对预处理图像提取全局特征、与所述多个可靠关键点相应的可靠关键点特征、和与所述可靠关键点相应的区域内的可靠局部特征；以及表情确定步骤，其中将至少包括所述全局特征、所述可靠关键点特征和所述可靠局部特征的三个特征，与预先训练得到的相应姿态下各表情的标准人脸的相应特征进行相似度比较，而确定表情。

根据本发明，能够对任意姿态下的人脸准确地识别其表情。

附图说明

图1是本发明实施方式的人脸表情识别装置的方框图。

图2是本发明中作为标准人脸的姿态分类示意图。

图3是本发明实施方式的人脸表情识别装置中识别人脸表情的流程图。

图4是本发明人脸关键点定位示意图。

图5是可靠关键点判断的区域分解示意图。

图6是与表情相关的五官区域划分图。

图7是与表情相关的人脸其他区域划分图。

图8是实施例1的表情确定单元进行处理的流程图。

图9是实施例2的表情确定单元进行处理的流程图。

图10是实施例3的表情确定单元进行处理的流程图。

具体实施方式

下面，结合附图详细说明本发明的人脸表情识别装置及其方法的具体实施方式。在本实施方式中以具体的例子进行说明，但本发明并不限于该具体实施方式。

图1是本实施方式的人脸表情识别装置的方框图。

本实施方式的人脸表情识别装置100包括图像预处理单元110、姿态确定单元120、关键点定位单元130、关键点可靠性分析单元140、特征提取单元150和表情确定单元160。下面详细说明各单元。

＜图像预处理单元110＞

图像预处理单元110对获取的待识别人脸图像进行预处理，生成预处理图像。

在图像预处理单元110中，获取待识别人脸图像，该待识别人脸图像进行一系列预处理操作，比如归一化、尺寸变换、直方图均衡化等。在预处理后，作为预处理图像将该待识别人脸图像归一化到统一大小。

＜姿态确定单元120＞

姿态确定单元120确定预处理图像中的人脸的姿态信息。

为了能够使后述关键点定位单元130和表情确定单元160准确地定位关键点及识别表情，由姿态确定单元120预先进行人脸姿态判断。其可通过将上述预处理图像与预先训练得到的各姿态下的标准人脸进行对比来判断人脸的姿态，得到该姿态信息。

图2为标准人脸的图像的示意图。

作为各姿态下的标准人脸，如图2所示，可分为右视、正视、左视、俯视、仰视等多个朝向方向的标准人脸。该标准人脸可通过各种训练方法得到，例如SVM（支持向量机）、神经网络、AdaBoost等。对此，将在后述进行详细说明。

＜关键点定位单元130＞

关键点定位单元130根据上述姿态信息，在预处理图像中确定多个关键点。

关键点定位单元130，根据姿态确定单元120确定的预处理图像中的人脸的姿态信息，与预先对各姿态下的标准人脸设定的预设关键点选择相应地，确定预处理图像中人脸的关键点。作为预设关键点，是预先训练得到的，对此将在后面进行详细说明。

＜关键点可靠性分析单元140＞

关键点可靠性分析单元140从关键点确定单元130所确定的多个关键点分析各关键点的可靠性，并从中选择可靠关键点。

在本实施方式中，关键点可靠性分析单元140，根据预先保存的对于各姿态下的标准人脸划分的多个预设区域的信息，和预先对各姿态下的上述标准人脸设定的预设关键点的信息，对由关键点确定单元130确定的关键点进行分析。

此时，利用与划分预设区域相同的方法，对预处理图像中的人脸划分多个区域，并将各关键点在相应区域中的位置关系，与预设关键点在预设区域中的位置关系进行比较，选择位置关系一致的关键点作为可靠关键点。

＜特征提取单元150＞

特征提取单元150对预处理图像提取包括与上述各可靠关键点相应的可靠关键点特征和与上述各可靠关键点相应的区域内的可靠局部特征在内的多种特征。

在本实施方式中，作为一个例子，特征提取单元150除提取上述可靠关键点特征和可靠局部特征外，还提取全局特征。对此，将在后面进行详细说明。

＜表情确定单元160＞

表情确定单元160将由特征提取单元150提取的全局特征、可靠关键点特征和可靠局部特征，与预先训练得到的表情模板特征库中相应姿态的标准人脸进行相似度比较，而确定表情。

在表情模板库中，作为预设特征，保存有通过训练得到与上述全局特征、可靠关键点特征和可靠局部特征相应的、各姿态各表情的标准人脸的预设全局特征、预设可靠关键点特征和预设可靠局部特征。因而，对于待识别人脸图像全局特征、可靠关键点特征和可靠局部特征，可以根据其姿态信息，在表情模板特征库中找到作为模板的全局特征、预设关键点特征、和预设的局部特征。通过分别对于待识别人脸图像全局特征、可靠关键点特征和可靠局部特征与表情模板特征库进行比对，可分别基于全局特征、可靠关键点特征和可靠局部特征得到基于上述三种不同特征进行判断的人脸表情的3个识别结果。然后，根据这三个识别结果，可以以投票方式综合地确定人脸表情。另外，还可以基于多个特征（即，全局特征、可靠关键点特征和可靠局部特征）在特征级进行融合，得到识别结果。对此，将在后述进行详细说明。

在本实施方式中，由于利用至少包含全局特征，可靠关键点特征和可靠局部特征的多个特征识别人脸图像的表情，因此，能够大幅提高表情识别的准确性。

以上，对本实施方式的人脸表情识别装置100的结构进行了说明，下面，以具体识别的情形为例，对人脸表情识别装置100进行的处理进行说明。图3为本实施方式的人脸表情识别装置的处理流程图。

如图3所示，首先在步骤s1中，图像预处理单元110从未图示的摄像装置等获取待识别人脸图像，并对该待识别人脸图像进行尺寸变换，将待识别人脸图像变换为例如64*64像素大小，然后对尺寸变换后的待识别人脸图像进行归一化处理，而生成预处理图像。

接着，在步骤s2中，姿态确定单元120确定该预处理图像中人脸的朝向等姿态信息，例如，对于如图4所示待识别人脸图像。为了便于理解，在以下的说明中，对于人脸图像使用原始图像代替肉眼观看不便的归一化图像。通过将其预处理图像与预先训练得到的各姿态下的标准人脸进行对比，可确认图像中人脸朝向为正向，从而确定姿态信息为“正向”。

然后，在步骤s3中，关键点定位单元130根据“正向”这一姿态信息，在预处理图像中的确定关键点。图4是对预处理图像确定关键点的示意图。

如图4所示，在本实施方式中，对于“正向”的人脸图像，设定19个关键点，具体为，内外眉尖点、眉心点、内外眼角点、上下眼睑点、鼻尖点、鼻孔点、左右嘴角点。当然，相关技术人员可根据情况预先设定任意的关键点，但上述关键点与人脸表情关系密切，因此优选。另外，在其他姿态下，所选择的关键点会与“正向”的情形有所不同，会因为人脸朝向的改变而部分遮挡，尺寸比例发生变化等，但也同样优选上述点为关键点。

具体为，在预处理图像的人脸区域中，根据步骤s2确定的姿态信息，选择相应姿态，即“正向”的关键点定位方法，其定位方法可通过预先训练得到。该关键点定位的训练方法可以任意选择，例如使用AAM、ASM、SVM、AdaBoost等。

以AdaBoost方法定位正向左眼下眼睑点的情形为例，首先对正向左眼下眼睑点建立正负样本特征库，正样本库为归一化的正向下左眼下眼睑点为中心的图，负样本为同样大小的人脸其他区域图，利用AdaBoost方法进行训练，得到正向下眼睑点的分类器。当姿态信息为正向时，使用该分类器在人脸左上部分区域进行搜索，得分最高的位置为左眼下眼睑点。正向其他关键点训练和定位以及其他姿态下关键点训练和定位的情形与此相同。

然后，在步骤s4中，由关键点可靠性分析单元140分析上述19个关键点的可靠性。

在本实施方式中，在可靠性分析单元140中，预先保存有对各种姿态下的标准人脸划分多个预设区域信息，并且对于预处理图像，与该预设区域同样地，根据姿态信息划分多个区域。

如图5所示，在本实施方式中，作为预置信息，对于标准人脸图像划分16个预设区域；并且在对关键点进行可靠性分析时，对于预处理图像也同样地划分16个区域。

划分上述各种区域的方法可以是，对于正向的预处理图像或标准人脸图像检测并计算19个关键点或预设关键点的质心，然后以质心为圆心，如图5所示划分同心圆区域。当然，划分区域的方法不局限于此，可以根据精度等的需要任意划分区域的边界和数量。

由于表情变化、光照变化等有可能会导致关键点的略微偏移，但并不影响识别结果的情况。然而，为了进一步提高表情识别的精度，在本实施方式中，在16个子区域划分的基础上，对于落入区域边界之间的关键点或预设关键点将会根据其距离区域边界的距离，赋予其分别属于相邻区域的权值。

在可靠性分析单元140中，作为预设信息保存有对不同姿态下的标准人脸图像建立表现出预设关键点与预设区域的位置关系的所属列表。

由此，可靠性分析单元140在对预处理图像的关键点进行可靠性分析时，可将各关键点与相应区域的位置关系与所述列表中的相应预设关键点与预设区域的位置关系进行比较，当一个关键点与所属列表中相应预设关键点的位置关系相同时，认为该关键点正确，为可靠关键点；否则认为该关键点错误，将其丢弃。

接着，在步骤s5中，特征提取单元150中，对预处理图像提取全局特征、可靠关键点特征和可靠局部特征。

其中，对于所谓的全局特征，其全局特征的特征向量包含了人脸图像上所有部分的信息，反映了人脸的整体属性。

特征提取单元150对预处理图像提取的全局特征，例如可以是Gabor、LBP、ULBP等特征。下面，以ULBP特征为例进行说明。

首先，对于LBP特征，是用一个非参数化的3×3的核来描述图像的局部结构，是一个具有很强分类能力的纹理描述子。而在本实施方式中所采用的改进的ULBP特征提取时，首先对预处理图像划分多个小的区域块，然后在每个区域块里提取ULBP直方图，最后把所有块的直方图串联起来构成一个向量。用该向量表示图像有两个优点：1.局部直方图可以描述图像的纹理信息，2.串联起来的单个直方图可以描述图像的空间结构。

特征提取单元150所提取的可靠关键点特征例如可以是，对由关键点定位单元130得到的每个可靠关键点计算的SIFT描述特征。因SIFT具有旋转、平移、尺度不变性，所以对于表情、姿态、以及一定程度的遮挡都具有一定的鲁棒性。该关键点特征除了可以是SIFT描述特征以外，还可以是Gabor等其他特征。

特征提取单元150所提取的可靠局部特征例如可以是，可靠关键点附近与表情变化相关的面部区块的特征，下面对此详细说明。

人脸某些部位随着表情的变化呈现不同的形态，因此特定的人脸部位区块对表情识别起着重要的作用。这些对表情敏感的部位包括眉毛、眼睛、嘴巴、眼角旁边区域、两眼中间区域、以及法令纹区域等。

图6和图7是表示根据关键点确定可靠局部的示意图。

如图6、7所示，特征提取单元150根据关键点定位单元130和关键点可靠性分析单元140确定的可靠关键点，确定预处理图像的人脸上的面部区块，并提取这些面部区块的特征。

作为一个例子，在本实施方式中确定了12个面部区块，这些面部区块被认为与人脸表情有很大关系。

其中，图6中表示与表情关系最大的五官部位区块：眉毛、眼睛、嘴巴；图7中表示与表情关系相对较大的人脸其它部位区块：眼角旁边区块、两眼中间区块、法令纹区块、下眼睑区块等。

特征提取部150可根据可靠关键点确定所选择的面部区块的位置。比如图6中的左眼区域是根据左眼下眼睑点、左眼上眼睑点、左眼内侧眼角和左眼外侧眼角四个点的位置按照一定比例提取得到。实际上，具体使用哪些区块可随意设定，但优选上述与人脸表情关系密切的面部区块。然后，特征提取部150对所确定的区块提取特征。

接着，在步骤s6中，表情确定单元160根据由特征提取单元150提取的全局特征、可靠关键点特征和可靠局部特征，确定待识别人脸图像的表情。

在本实施方式中，由于特征提取单元150提取了3个不同种类的特征，即全局特征、可靠关键点特征和可靠局部特征。对于这三种特征分别与预先训练得到的各姿态下的表情模板中的相应的三种特征比较其相似度。

具体为，在表情确定单元160中，将由特征提取单元150提取的全局特征、可靠关键点特征和可靠局部特征这三类特征，分别与姿态确定单元120判断的姿态类型相对应的表情模板库中的相应的这三类特征进行比较，求得相似度，得到各特征识别结果，进行融合得到最终表情识别结果。

在此，作为一个例子，可通过训练得到作为标准的全局特征、可靠关键点特征和可靠局部特征，并将这些特征分类保存在表情模板库中。作为预设信息，为了得到标准的全局特征、可靠关键点特征和可靠局部特征，可收集大量的人脸表情样本，对关键点进行手工标定并按姿态和表情进行分类，对每幅人脸与上述特征提取单元150同样地，提取全局特征、可靠关键点特征和可靠局部特征。由此，例如可以得到5类姿态（即，右视、正视、左视、俯视、仰视）、7种表情（例如包括，正常（normal）、生气（angry）、厌恶（digest）、害怕（fear）、高兴（happy）、伤心（sad）、吃惊（surprise））、3类特征（即，作为标准的全局特征、可靠关键点特征和可靠局部特征），总计共105个总特征库。对每个总特征库中的特征分别进行聚类，每个总特征库聚成M个类别，每个类别中心作为相应表情相应姿态相应特征的表情特征模板，共得到105*M个表情特征模板。。

在本实施方式中，表情确定单元160，根据由姿态确定单元120确定的姿态，分别将特征提取单元150提取的全局特征、可靠关键点SIFT特征和可靠局部特征，与表情特征模板库中相应姿态的模板库中的相应特征进行比较，求得相似度比较值，分别针对全局特征、可靠关键点SIFT特征和可靠局部特征得到三个表情识别的结果。这样，可以由多个（在本实施方式中为3个）特征的识别结果进行投票，得到最终表情识别结果。

另外，在本实施方式中，由于采用多个特征识别人脸表情，因此，可基于各表情下各特征，以特征级融合方式确定表情。

图8是表情确定单元根据上述全局特征、可靠关键点特征（即，可靠关键点SIFT特征）和可靠局部特征识别表情的实施例1的流程图。

如图8所示，首先在步骤s801中，对于上述全局特征、可靠关键点SIFT特征和可靠局部特征，将它们分别与各表情下的标准人脸的相应特征进行比较。

即，对于全局特征，将其与预先训练得到的正常、生气、厌恶、害怕、高兴、伤心、吃惊表情的标准人脸的全局特征进行比较，得到基于上述7中表情的7个比较值。

同样地，对于可靠关键点SIFT特征，将其与预先训练得到的正常、生气、厌恶、害怕、高兴、伤心、吃惊表情的标准人脸的可靠关键点SIFT特征进行比较，得到基于上述7中表情的7个比较值。

对于可靠局部特征，将其与预先训练得到的正常、生气、厌恶、害怕、高兴、伤心、吃惊表情的标准人脸的可靠局部特征进行比较，得到基于上述7中表情的7个比较值。

然后，在步骤s802中，对于全局特征、可靠关键点SIFT特征和可靠局部特征，分别取表示相似度最大的比较值所对应的表情作为各自的表情结果。

例如，对于可靠关键点SIFT特征和可靠局部特征，在各自的7个比较值中，“正常”表情的比较值最大（即，表示相似度最大），则确定对于可靠关键点SIFT特征和可靠局部特征的表情结果为“正常”。另一方面，对于全局特征，在其7个比较值中，“高兴”表情的比较值最大（即，表示相似度最大），则确定对于全局特征的表情结果为“高兴”。

然后，在步骤s803中，根据上述特征的表情结果，确定重复出现次数最多的表情结果为待识别人脸图像的表情。

如上所述，在步骤s802中，可靠关键点SIFT特征和可靠局部特征这两个特征的表情结果为“正常”，而全局特征的表情结果为“高兴”，因此，确定“正常”为所识别的待识别人脸图像的表情。

在本实施例1中，在根据多个特征确定人脸图像的表情时，采用投票的方式，由此，可有效减少确定人脸表情时的计算量，减轻人脸表情识别装置100的运算负担。

另外，通常情况下，通过实施例1所示的处理，能够利用多个特征有效地以投票方式确定人脸表情，然而在实际使用中，可能存在投票时出现次数最多的表情结果有多个的情形，此时，可重新采样待识别人脸图像来识别表情。

图9是表情确定单元根据上述全局特征、可靠关键点特征（即，可靠关键点SIFT特征）和可靠局部特征识别表情的实施例2的流程图。在图9中，对于与上述针对图8说明相同的步骤省略其详细说明，并添加与图8相同的符号。

如图9所示，在步骤s904中，判断是否能够在步骤s803中根据基于全局特征、可靠关键点SIFT特征和可靠局部特征的表情结果确定表情。当不能确定表情，即，出现次数最多的表情结果有多个，例如，在根据全局特征、可靠关键点SIFT特征和可靠局部特征分别得到的表情结果为“正常”、“高兴”、“吃惊”时，表情确定单元160根据步骤s904的判断，执行步骤s905的处理。

在步骤s905中，针对每种表情，求得对各特征的比较值分别赋予权重后的和，作为该表情的融合值。

具体如下式1所示

[式1]

融合值n=Σ（特征m的比较值*权值mn）

在本实施例中，n为1～7，分别表示如上所述各表情：正常、生气、厌恶、害怕、高兴、伤心、吃惊，

m为1～3，分别表示上述全局特征、可靠关键点特征（即，可靠关键点SIFT特征）和可靠局部特征，

权值mn，表示对于m特征，在n表情下的权值。

如上所述，得到对于每种表情的融合值后，在步骤s906中，取表示相似度最大的融合值所对应的表情作为待识别人脸图像的表情，例如“正常”的融合值最大（即，表示相似度最大），则确定待识别人脸图像的表情为“正常”。

根据本实施例2，能够在不能以投票方式确定人脸图像的表情时，以融合来确定。并且，在利用多个特征识别表情时，也能够直接利用该融合方式确定表情。

图10是表示表情确定单元根据上述全局特征、可靠关键点特征（即，可靠关键点SIFT特征）和可靠局部特征识别表情的实施例3的流程图。

如图10所示，在本实施例中，取消了图9中步骤s802～s803和s904的处理，直接利用各特征的基于各表情的比较值来计算融合值，并确定表情。由此，与上述实施例1、2同样，也能够实现利用多种特征（即，本说明书记载的全局特征，可靠关键点特征和可靠局部特征）精确识别人脸图像表情的目的。在此，各步骤的处理与上述大致相同，因此省略重复的说明。

根据上述实施方式的人脸表情识别装置100，通过确定人脸图像上的多个关键点，并选择可靠关键点进行表情识别，因此，可提高不同姿态情况下人脸表情识别的准确性。而且，通过根据可靠关键点确定可靠区域并提取特征进行识别，可进一步提高人脸表情识别的准确性。

另外，由于全局特征强调的是整体，而表情变化却会在各人脸局部区域的细节上得以体现，所以只采用全局特征无法体现局部细节，对表情识别造成一定的局限；局部特征能够体现细节，但是不同的表情在局部体现上有可能相似，但是不同的表情在整体上是会体现出一定的差异的，所以只采用局部特征进行表情识别也存在局限性。同时局部特征依赖于关键点定位结果，为增强鲁棒性，本发明提取多层次局部特征。综上所述，本发明提出采用全局特征结合多层次局部特征的策略来解决表情识别问题。因此，在本实施方式中，通过利用多种特征，关键点SIFT描述特征、与表情变化相关的人脸局部区块的LBP、LGBPHS特征及全局特征，构造出的局部区块特征根据不同的权值设置，并得到最终的局部块识别结果的比较确定人脸表情，可大大提高人脸表情识别的准确性。

Claims (10)

1.一种人脸表情识别装置，其特征在于，包括：

图像预处理单元，其对获取的待识别人脸图像进行预处理，生成预处理图像；

姿态确定单元，其确定所述预处理图像中的人脸的姿态信息；

关键点定位单元，其根据所述姿态信息，在所述预处理图像中确定多个关键点；

关键点可靠性分析单元，其从所述多个关键点选择出多个可靠关键点；

特征提取单元，其对预处理图像提取全局特征、与所述多个可靠关键点相应的可靠关键点特征、和与所述可靠关键点相应的区域内的可靠局部特征；以及

表情确定单元，其将至少包括所述全局特征、所述可靠关键点特征和所述可靠局部特征的三个特征，与预先训练得到的相应姿态下各表情的标准人脸的相应特征进行相似度比较，而确定待识别人脸图像的表情。

2.如权利要求1所述的人脸表情识别装置，其特征在于：

所述表情确定单元，针对所述至少三个特征，分别与相应姿态下各表情的标准人脸的相应特征分别进行相似度比较，得到相应姿态下，所述至少三个特征的各个基于各表情的比较值，

对于所述至少三个特征的各个特征，分别取表示相似度最大的比较值所对应的表情作为各自的表情结果，

根据所述至少三个特征各自的表情结果，确定重复出现次数最多的表情结果为所述待识别人脸图像的表情。

3.如权利要求2所述的人脸表情识别装置，其特征在于：

所述表情确定单元，在不能根据所述至少三个特征各自的表情结果中重复出现次数最多的表情结果来确定表情时，

针对每种表情，求得对所述至少三个特征的比较值分别赋予权重后的和作为该表情的融合值，

取表示相似度最大的融合值所对应的表情作为所述待识别人脸图像的表情。

4.如权利要求1所述的人脸表情识别装置，其特征在于：

所述表情确定单元，针对所述至少三个特征，分别与相应姿态下各表情的标准人脸的相应特征分别进行相似度比较，得到相应姿态下，所述至少三个特征的各个基于各表情的比较值，

针对每种表情，求得对所述至少三个特征的比较值分别赋予权重后的和作为该表情的融合值，

取表示相似度最大的融合值所对应的表情作为所述待识别人脸图像的表情。

5.如权利要求1所述的人脸表情识别装置，其特征在于：

所述姿态确定单元根据预先训练得到的各姿态下的标准人脸，确定所述姿态信息。

6.如权利要求5所述的人脸表情识别装置，其特征在于：

所述关键点定位单元，与预先对各姿态下的所述标准人脸设定的预设关键点相应地，根据所述姿态信息确定与所述姿态信息相应的所述多个关键点。

7.如权利要求6所述的人脸表情识别装置，其特征在于：

所述关键点可靠性分析单元，利用预先在将各姿态下的所述标准人脸划分成多个预设区域的情形下，预设关键点在相应的所述预设区域中的预设位置关系，根据所述姿态信息，对所述预处理图像相应地划分成多个区域，并对各所述关键点在相应的区域中的位置关系和相应的所述预设位置关系进行比较，而选择出可靠关键点。

8.如权利要求7所述的人脸表情识别装置，其特征在于：

所述预设位置关系包含，所述预设关键点属于一所述预设区域的信息。

9.如权利要求8所述的人脸表情识别装置，其特征在于：

所述预设位置关系包含，在所述预设关键点位于距相邻的所述预设区域的边界规定距离内时，对所述预设关键点设定分别属于该相邻的所述预设区域的权值。

10.一种人脸表情识别方法，其特征在于，包括：

图像预处理步骤，其中对获取的待识别人脸图像进行预处理，生成预处理图像；

姿态确定步骤，其中确定所述预处理图像中的人脸的姿态信息；

关键点定位步骤，其中根据所述姿态信息，在所述预处理图像中确定多个关键点；

关键点可靠性分析步骤，其中从所述多个关键点选择出多个可靠关键点；

特征提取步骤，其中对预处理图像提取全局特征、与所述多个可靠关键点相应的可靠关键点特征、和与所述可靠关键点相应的区域内的可靠局部特征；以及

表情确定步骤，其中将至少包括所述全局特征、所述可靠关键点特征和所述可靠局部特征的三个特征，与预先训练得到的相应姿态下各表情的标准人脸的相应特征进行相似度比较，而确定表情。