CN109840513B - 一种人脸微表情识别方法及识别装置 - Google Patents

Abstract

本发明提供一种人脸微表情识别方法及识别装置，能够在减少计算量的基础上提高了对表情的识别精度。所述方法包括：确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性，其中，AU表示面部动作单元；根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列；获取测试样本的AU序列；根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型。本发明涉及图像处理与模式识别领域。

Description

一种人脸微表情识别方法及识别装置

技术领域

本发明涉及图像处理与模式识别领域，特别是指一种人脸微表情识别方法及识别装置。

背景技术

随着对自动情绪识别的需求日益增长，人脸作为表情的重要表达方式，其研究越来越受到人们的关注。心理学家Ekman和Friesen开发了面部动作编码系统(FACS)，将面部状态描述为面部动作单元(AU)的组合，面部动作单元是面部不同肌肉的运动。自动检测AU对人脸表情识别有很大帮助，在抑郁症患者的人机交互、网络学习、市场调研、多媒体、心理健康等方面有着广泛的应用。

从FACS可知，人的面部共有43块肌肉，这些肌肉组成10000多种面部状态，其中至少有3000种具有特定的情感。Ekman和Friesen建立的面部动作编码系统将人脸分成多个相互独立的动作单元。根据人脸的骨骼和物理架构，这些动作单元可以有效的描述人脸表情。尽管人类不同个体之间的外貌存在差异，但是面部的物理架构是相似的。

现有技术中，将AU映射到情绪的鲁棒方法在很大程度上仍然未被探索，很少有确定性的基于关联规则的技术将AUs映射到情感类别，从而识别面部表情。

发明内容

本发明要解决的技术问题是提供一种人脸微表情识别方法及识别装置，基于面部动作单元(AU)之间的关联性以及AU和表情之间的关联性，识别面部表情。

为解决上述技术问题，本发明实施例提供一种人脸微表情识别方法，包括：

确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性，其中，AU表示面部动作单元；

根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列；

获取测试样本的AU序列；

根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型。

进一步地，所述确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性包括：

对表情数据库中的AU标签进行统计，通过判别系数确定表情数据库中的AU之间的关联性；

对表情数据库中的AU标签和表情标签进行统计，通过判别系数确定AU和表情之间的关联性。

进一步地，所述对表情数据库中的AU标签进行统计，通过判别系数确定表情数据库中的AU之间的关联性包括：

利用第一判别系数公式确定任意两个AU之间的相关系数，其中，所述第一判别系数公式表示为：

其中，X_i和X_j分别代表AU_i和AU_j，AU_i和AU_j分别代表面部动作单元i和面部动作单元j，P(X_j|X_i)表示AU_i已经发生条件下AU_j的发生概率，P(X_i)表示AU_i的发生概率，P(X_jX_i)表示AU_i和AU_j同时发生的概率；

其中，S表示用于统计AU之间关联性的表情数据库中图像总数量，H_i表示表情数据库包含标签AU_i的图像样本数量，A_i表示表情数据库同时包含标签AU_i和AU_j的图像样本数量。

进一步地，所述对表情数据库中的AU标签和表情标签进行统计，通过判别系数确定AU和表情之间的关联性包括：

利用第二判别系数公式得到任意AU和表情之间的相关系数，其中，所述第二判别系数公式表示为：

其中，Y_i代表表情T_i，X_j代表AU_j，P(X_j|Y_i)表示表情T_i已经发生条件下AU_j的发生概率，P(Y_i)表示表情T_i的发生概率，P(X_jY_i)表示表情T_i和AU_j同时发生的概率；

其中，N表示用于统计AU与表情间关联性的表情数据库中图像总数量，F_i表示表情数据库包含标签T_i的图像样本数量，G_i表示表情数据库同时包含标签T_i和AU_j的图像样本数量。

进一步地，所述根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列包括：

按照AU和表情之间的关联性由高到低进行排序，获取关联性较大的预设个数的AU作为序列长度，得到每一个表情的AU模板序列。

进一步地，定义测试样本AU序列为Test_AU＝∪{AU_k},

其中，k表示AU类型下标，L表示AU类型数目；表情T_i的模板序列为Temp_AU⁽ⁱ⁾＝∪{AU_j},i＝1,2,3,…R,

j表示AU类型下标，R表示表情类型数目；

所述根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型包括：

A11，判断测试样本AU序列Test_AU的长度K与第i个表情的AU模板序列Temp_AU⁽ⁱ⁾的长度J是否相同；

A12，若相同，即K＝J，则获取Test_AU和Temp_AU⁽ⁱ⁾之间相同AU个数最大的Temp_AU⁽ⁱ⁾作为最优解，若最优解是唯一的，则最优解对应的AU模板序列所属的表情为测试样本的表情类型；若最优解不止一个，则确定测试样本AU序列Test_AU与第i个表情的AU模板序列Temp_AU⁽ⁱ⁾之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型。

进一步地，测试样本AU序列Test_AU与第i个表情的AU模板序列Temp_AU⁽ⁱ⁾之间的相似度Sim_i表示为：

其中，Test_AU_p表示Test_AU中的元素，

表示第i个表情的AU模板序列Temp_AU⁽ⁱ⁾中的元素；

所述获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型包括：

获取相似度最高的表情模板序列作为最优匹配模板，即

将最优匹配模板所属表情类型作为测试样本的表情类型。

进一步地，所述方法还包括：

若不同，且K>J，对于测试样本AU序列Test_AU中的每个AU标签Test_AU_p，计算关联指数

获取S_p值最小时的元素Test_AU_p，并删除所述Test_AU_p，直至Test_AU与Temp_AU⁽ⁱ⁾长度相同，继续执行步骤A12。

进一步地，所述方法还包括：

若不同且K<J，当计算Test_AU与Temp_AU⁽ⁱ⁾之间的相似度时，随机选取第i个表情的AU模板序列Temp_AU⁽ⁱ⁾中的AU元素并添加到测试样本AU序列Test_AU中，使得Test_AU与Temp_AU⁽ⁱ⁾长度相同，继续执行步骤A12。

本发明实施例还提供一种人脸微表情识别装置，包括：

第一确定模块，用于确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性，其中，AU表示面部动作单元；

第二确定模块，用于根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列；

获取模块，用于获取测试样本的AU序列；

第三确定模块，用于根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型。

本发明的上述技术方案的有益效果如下：

上述方案中，确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性，从而更加全面准确的表达人脸的面部特征和表情之间的关联关系；根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列，为后续基于AU识别表情定下一个模板，能够简化表情识别的过程；获取测试样本的AU序列；根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型，从而实现对表情的自动识别。这样，能够在减少计算量的基础上提高了对表情的识别精度。

附图说明

图1为本发明实施例提供的人脸微表情识别方法的流程示意图；

图2为本发明实施例提供的DISFA中AU和AU之间的关联矩阵和关联示意图；

图3为本发明实施例提供的BP4D中AU和AU之间的关联矩阵和关联示意图；

图4为本发明实施例提供的人脸微表情识别装置的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

实施例一

如图1所示，本发明实施例提供的人脸微表情识别方法，包括：

S101，确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性，其中，AU表示面部动作单元；

S102，根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列；

S103，获取测试样本的AU序列；

S104，根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型。

本发明实施例所述的人脸微表情识别方法，确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性，从而更加全面准确的表达人脸的面部特征和表情之间的关联关系；根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列，为后续基于AU识别表情定下一个模板，能够简化表情识别的过程；获取测试样本的AU序列；根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型，从而实现对表情的自动识别。这样，能够在减少计算量的基础上提高了对表情的识别精度。

在前述人脸微表情识别方法的具体实施方式中，进一步地，所述确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性包括：

对表情数据库中的AU标签进行统计，通过判别系数(discriminative power)确定表情数据库中的AU之间的关联性；

对表情数据库中的AU标签和表情标签进行统计，通过判别系数确定AU和表情之间的关联性。

本实施例中，采用判别系数的方法挖掘表情数据库中AU之间以及AU和表情之间的关联性，能够更加全面准确的表达人脸的面部特征和表情之间的关系。

在前述人脸微表情识别方法的具体实施方式中，进一步地，所述对表情数据库中的AU标签进行统计，通过判别系数确定表情数据库中的AU之间的关联性包括：

利用第一判别系数公式确定任意两个AU之间的相关系数，其中，所述第一判别系数公式表示为：

其中，X_i和X_j分别代表AU_i和AU_j，AU_i和AU_j分别代表面部动作单元i和面部动作单元j，P(X_j|X_i)表示AU_i已经发生条件下AU_j的发生概率，P(X_i)表示AU_i的发生概率，P(X_jX_i)表示AU_i和AU_j同时发生的概率；

其中，S表示用于统计AU之间关联性的表情数据库中图像总数量，H_i表示表情数据库包含标签AU_i的图像样本数量，A_i表示表情数据库同时包含标签AU_i和AU_j的图像样本数量。

本实施例中，利用条件概率统计任意两个AU之间的条件发生概率，得到的任意两个AU之间的条件发生概率代表了任意2个AU之间的关联性。

本实施例中，所述表情数据库可以是DISFA表情数据库，也可以是BP4D表情数据库。假设，DISFA表情数据库包含12个有标签的AU，即AU1(眉毛内侧向上拉起)，AU2(眉毛外侧向上拉起)，AU4(眉毛压低并聚拢)，AU5(上眼睑上升)，AU6(脸颊提升)，AU9(皱鼻)，AU12(拉动嘴角向上倾斜)，AU15(拉动嘴角向下倾斜)，AU17(推动下唇向上)，AU20(嘴角拉伸)，AU25(嘴唇分开)，AU26(下颌放松分开)。BP4D表情数据库包含AU1(眉毛内侧向上拉起)，AU2(眉毛外侧向上拉起)，AU4(眉毛压低并聚拢)，AU6(脸颊提升)，AU7(眼轮匝肌内圈收缩)，AU10(拉动嘴唇向上运动)，AU12(拉动嘴角向上倾斜)，AU14(收紧嘴角)，AU15(拉动嘴角向下倾斜)，AU17(推动下唇向上)，AU23(收紧双唇)，AU24(嘴唇相互按压)这12个有标签的AU。

本实施例中，对DISFA表情数据库和BP4D表情数据库中图像样本的AU标签分别进行统计整理，采用判别系数得出AU之间的关联矩阵和关系图，其中，图2为DISFA中AU和AU之间的关联矩阵和关联示意图，图3为BP4D中AU和AU之间的关联矩阵和关联示意图。

在前述人脸微表情识别方法的具体实施方式中，进一步地，所述对表情数据库中的AU标签和表情标签进行统计，通过判别系数确定AU和表情之间的关联性包括：

利用第二判别系数公式得到任意AU和表情之间的相关系数，其中，所述第二判别系数公式表示为：

其中，Y_i代表表情T_i，X_j代表AU_j，P(X_j|Y_i)表示表情T_i已经发生条件下AU_j的发生概率，P(Y_i)表示表情T_i的发生概率，P(X_jY_i)表示表情T_i和AU_j同时发生的概率；

其中，N表示用于统计AU与表情间关联性的表情数据库中图像总数量，F_i表示表情数据库包含标签T_i的图像样本数量，G_i表示表情数据库同时包含标签T_i和AU_j的图像样本数量。

本实施例中，以BP4D表情数据库为例，对BP4D表情数据库中的AU标签和表情标签进行统计整理，采用判别系数得出AU与表情之间的关联矩阵。其中，BP4D表情数据库包含AU1，AU2，AU4，AU6，AU7，AU10，AU12，AU14，AU15，AU17，AU23，AU24这12个有标签的AU，以及T1(高兴)，T2(悲伤)，T3(惊讶或惊吓)，T4(窘迫)，T5(恐惧或紧张)，T6(疼痛)，T7(愤怒或烦躁)，T8(厌恶)等8个触发不同表情的任务的表情标签(也称为：表情类型)中。

本实施例中，利用条件概率统计任意AU与表情之间的条件发生概率，得到的任意AU与表情之间的条件概率代表了任意表情与AU发生之间的关联性。

在前述人脸微表情识别方法的具体实施方式中，进一步地，所述根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列包括：

按照AU和表情之间的关联性由高到低进行排序，获取关联性较大的预设个数的AU作为序列长度，得到每一个表情的AU模板序列。

本实施例中，AU与表情的条件概率代表了AU和表情之间的关联性，按照AU和表情之间的关联性由高到低，对条件概率由大到小进行排序，选取条件概率较大的预设个数(J＝5)的AU作为序列长度，得到每一个表情的AU模板序列，为后面基于AU识别表情定下一个模板，简化了表情识别的过程。

在前述人脸微表情识别方法的具体实施方式中，进一步地，定义测试样本AU序列为Test_AU＝∪{AU_k},

其中，k表示AU类型下标，L表示AU类型数目；表情T_i的模板序列为Temp_AU⁽ⁱ⁾＝∪{AU_j},i＝1,2,3,…R,

j表示AU类型下标，R表示表情类型数目；

所述根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型包括：

A11，判断测试样本AU序列Test_AU的长度K与第i个表情的AU模板序列Temp_AU⁽ⁱ⁾的长度J是否相同；

A12，若相同，即K＝J，则获取Test_AU和Temp_AU⁽ⁱ⁾之间相同AU个数最大的Temp_AU⁽ⁱ⁾作为最优解，若最优解是唯一的，则最优解对应的AU模板序列所属的表情为测试样本的表情类型；若最优解不止一个，则确定测试样本AU序列Test_AU与第i个表情的AU模板序列Temp_AU⁽ⁱ⁾之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型。

在前述人脸微表情识别方法的具体实施方式中，进一步地，测试样本AU序列Test_AU与第i个表情的AU模板序列Temp_AU⁽ⁱ⁾之间的相似度Sim_i表示为：

其中，Test_AU_p表示Test_AU中的元素，

表示第i个表情的AU模板序列Temp_AU⁽ⁱ⁾中的元素；

所述获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型包括：

获取相似度最高的表情模板序列作为最优匹配模板，即

将最优匹配模板所属表情类型作为测试样本的表情类型。

在前述人脸微表情识别方法的具体实施方式中，进一步地，所述方法还包括：

若不同，且K>J，对于测试样本AU序列Test_AU中的每个AU标签Test_AU_p，计算关联指数

获取S_p值最小时的元素Test_AU_p，并删除所述Test_AU_p，直至Test_AU与Temp_AU⁽ⁱ⁾长度相同，继续执行步骤A12。

在前述人脸微表情识别方法的具体实施方式中，进一步地，所述方法还包括：

若不同且K<J，当计算Test_AU与Temp_AU⁽ⁱ⁾之间的相似度时，随机选取第i个表情的AU模板序列Temp_AU⁽ⁱ⁾中的AU元素并添加到测试样本AU序列Test_AU中，使得Test_AU与Temp_AU⁽ⁱ⁾长度相同，继续执行步骤A12。

本实施例中，对于测试样本，利用计算机视觉技术对图像数据进行AU检测，AU检测得到的AU标签可构成测试样本的AU序列。

本实施例中，将测试样本的AU序列与得到的每个表情的AU模板序列进行比对，计算两者之间的相似度，通过寻找最大相似度所对应的AU表情模板序列所属的表情类型，确定测试样本的表情类型，具体的：

首先，假设测试样本AU序列为Test_AU＝∪{AU_k}，

表情T_i的模板序列为Temp_AU⁽ⁱ⁾＝∪{AU_j}，i＝1,2,3,…8,

然后，判断测试样本AU序列Test_AU与第i个表情的AU模板序列Temp_AU⁽ⁱ⁾的长度是否相同；

若K>J，需删除多余的测试样本AU序列标签，具体的：对于测试样本AU序列Test_AU中的每个AU标签Test_AU_p，计算关联指数

获取S_p值最小时的元素Test_AU_p，并删除所述Test_AU_p，直至Test_AU与Temp_AU⁽ⁱ⁾长度相同；

若K<J，需扩充测试样本AU序列，当计算Test_AU与Temp_AU⁽ⁱ⁾之间的相似度时，则随机选取第i个表情的AU模板序列Temp_AU⁽ⁱ⁾中的AU元素并添加到测试样本AU序列Test_AU中，使得Test_AU与Temp_AU⁽ⁱ⁾长度相同；

若相同，即K＝J，则获取Test_AU和Temp_AU⁽ⁱ⁾之间相同AU个数最大的Temp_AU⁽ⁱ⁾作为最优解，若最优解是唯一的，则最优解对应的AU模板序列所属的表情为测试样本的表情类型；若最优解不止一个，则确定测试样本AU序列Test_AU与第i个表情的AU模板序列Temp_AU⁽ⁱ⁾之间的相似度，其中，所述相似度表示为：

获取相似度最高的表情模板序列作为最优匹配模板，即

将最优匹配模板所属表情类型作为测试样本的表情类型。

本实施例中，对于一个测试样本AU序列，通过计算此序列与每一个表情的AU模板序列的相似度，确定测试样本的表情类型，减少了计算量而且提高了对表情的识别精度。

实施例二

本发明还提供一种人脸微表情识别装置的具体实施方式，由于本发明提供的人脸微表情识别装置与前述人脸微表情识别方法的具体实施方式相对应，该人脸微表情识别装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述人脸微表情识别方法具体实施方式中的解释说明，也适用于本发明提供的人脸微表情识别装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。

如图4所示，本发明实施例还提供一种人脸微表情识别装置，包括：

第一确定模块11，用于确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性，其中，AU表示面部动作单元；

第二确定模块12，用于根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列；

获取模块13，用于获取测试样本的AU序列；

第三确定模块14，用于根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型。

本发明实施例所述的人脸微表情识别装置，确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性，从而更加全面准确的表达人脸的面部特征和表情之间的关联关系；根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列，为后续基于AU识别表情定下一个模板，能够简化表情识别的过程；获取测试样本的AU序列；根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型，从而实现对表情的自动识别。这样，能够在减少计算量的基础上提高了对表情的识别精度。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种人脸微表情识别方法，其特征在于，包括：

确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性，其中，AU表示面部动作单元；

根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列；

获取测试样本的AU序列；

根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型；

其中，所述确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性包括：

对表情数据库中的AU标签进行统计，通过判别系数确定表情数据库中的AU之间的关联性；

对表情数据库中的AU标签和表情标签进行统计，通过判别系数确定AU和表情之间的关联性；

其中，所述对表情数据库中的AU标签进行统计，通过判别系数确定表情数据库中的AU之间的关联性包括：

利用第一判别系数公式确定任意两个AU之间的相关系数，其中，所述第一判别系数公式表示为：

其中，X_i和X_j分别代表AU_i和AU_j，AU_i和AU_j分别代表面部动作单元i和面部动作单元j，P(X_j|X_i)表示AU_i已经发生条件下AU_j的发生概率，P(X_i)表示AU_i的发生概率，P(X_jX_i)表示AU_i和AU_j同时发生的概率；

其中，S表示用于统计AU之间关联性的表情数据库中图像总数量，H_i表示表情数据库包含标签AU_i的图像样本数量，A_i表示表情数据库同时包含标签AU_i和AU_j的图像样本数量；

其中，定义测试样本AU序列为Test_AU＝∪{AU_k},

其中，k表示AU类型下标，L表示AU类型数目；表情T_i的模板序列为Temp_AU⁽ⁱ⁾＝∪{AU_j},i＝1,2,3,…R,

j表示AU类型下标，R表示表情类型数目；

所述根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型包括：

A11，判断测试样本AU序列Test_AU的长度K与第i个表情的AU模板序列Temp_AU⁽ⁱ⁾的长度J是否相同；

A12，若相同，即K＝J，则获取Test_AU和Temp_AU⁽ⁱ⁾之间相同AU个数最大的Temp_AU⁽ⁱ⁾作为最优解，若最优解是唯一的，则最优解对应的AU模板序列所属的表情为测试样本的表情类型；若最优解不止一个，则确定测试样本AU序列Test_AU与第i个表情的AU模板序列Temp_AU⁽ⁱ⁾之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型；

其中，测试样本AU序列Test_AU与第i个表情的AU模板序列Temp_AU⁽ⁱ⁾之间的相似度Sim_i表示为：

其中，Test_AU_p表示Test_AU中的元素，

表示第i个表情的AU模板序列Temp_AU⁽ⁱ⁾中的元素；

所述获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型包括：

获取相似度最高的表情模板序列作为最优匹配模板，即

将最优匹配模板所属表情类型作为测试样本的表情类型；

其中，所述方法还包括：

若不同，且K>J，对于测试样本AU序列Test_AU中的每个AU标签Test_AU_p，计算关联指数

获取S_p值最小时的元素Test_AU_p，并删除所述Test_AU_p，直至Test_AU与Temp_AU⁽ⁱ⁾长度相同，继续执行步骤A12；

其中，所述方法还包括：

若不同且K<J，当计算Test_AU与Temp_AU⁽ⁱ⁾之间的相似度时，随机选取第i个表情的AU模板序列Temp_AU⁽ⁱ⁾中的AU元素并添加到测试样本AU序列Test_AU中，使得Test_AU与Temp_AU⁽ⁱ⁾长度相同，继续执行步骤A12。

2.根据权利要求1所述的人脸微表情识别方法，其特征在于，所述对表情数据库中的AU标签和表情标签进行统计，通过判别系数确定AU和表情之间的关联性包括：

利用第二判别系数公式得到任意AU和表情之间的相关系数，其中，所述第二判别系数公式表示为：

其中，Y_i代表表情T_i，X_j代表AU_j，P(X_j|Y_i)表示表情T_i已经发生条件下AU_j的发生概率，P(Y_i)表示表情T_i的发生概率，P(X_jY_i)表示表情T_i和AU_j同时发生的概率；

其中，N表示用于统计AU与表情间关联性的表情数据库中图像总数量，F_i表示表情数据库包含标签T_i的图像样本数量，G_i表示表情数据库同时包含标签T_i和AU_j的图像样本数量。

3.根据权利要求1所述的人脸微表情识别方法，其特征在于，所述根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列包括：

按照AU和表情之间的关联性由高到低进行排序，获取关联性较大的预设个数的AU作为序列长度，得到每一个表情的AU模板序列。

Images