CN103544468B - 3d人脸表情识别方法和装置 - Google Patents

Abstract

本发明提供一种3D人脸表情识别方法和装置，通过获取待测试人脸各表情对应的特征肌肉块组合的特征向量，由于各表情的特征肌肉块组合是针对对应表情识别准确率最高的肌肉块组合，因此，根据各表情对应的特征肌肉块组合的特征向量，获取待测试人脸各表情的识别概率，在待测试人脸各表情的识别概率中，将具有最大识别概率的表情确定为待测试人脸的表情，能够提高识别的准确率。

Description

3D人脸表情识别方法和装置

技术领域

本发明涉及模式识别技术，尤其涉及一种3D人脸表情识别方法和装置。

背景技术

表情是人类及其他动物从身体外观投射出的情绪指标，多数指面部肌肉及五官形成的状态，常见的表情包括愤怒（Anger，以下简称：AN）、厌恶（Disgust，以下简称：DI）、恐惧（Fear，以下简称：FE）、高兴（Happy，以下简称HA）、悲伤（Sadness，以下简称：SA）和惊讶（Surprise，以下简称：SU）等。人脸通过面部表情之间的协同运动，拉伸面部皮肤来做出相应表情。人脸表情识别在人类情绪识别和人机交互系统中发挥着越来越重要的作用。

随着3D数据采集技术的不断发展，3D数据的采集速度迅速提升，与传统的2D数据相比，3D数据具有更高的分辨率，同时包含了更多的有用信息，能够很好的克服2D数据在人脸表情识别中遇到的光照和姿态影响的问题，现有的3D人脸识别方法大部分利用面部的整体或单纯的将面部简单划分为若干个矩形块，通过提取不同的特征向量来达到表情识别的目的。

然而，采用现有技术的方法，没有考虑到面部表情产生的深层原因是由于面部肌肉的运动，正是由于面部各肌肉的协同运动产生了不同的表情，因此，现有表情识别方法识别准确率不高。

发明内容

本发明提供一种3D人脸表情识别方法和装置，以提高人脸表情识别的准确率。

本发明第一方面提供一种3D人脸表情识别方法，包括：

获取待测试人脸各表情对应的特征肌肉块组合的特征向量，各表情的特征肌肉块组合是针对对应表情识别准确率最高的肌肉块组合；

根据所述各表情对应的特征肌肉块组合的特征向量，获取待测试人脸各表情的识别概率；

在所述待测试人脸各表情的识别概率中，将具有最大识别概率的表情，确定为所述待测试人脸的表情。

本发明第二方面提供一种3D人脸表情识别装置，包括：

第一获取模块，用于获取待测试人脸各表情对应的特征肌肉块组合的特征向量，各表情的特征肌肉块组合是针对对应表情识别准确率最高的肌肉块组合；

识别模块，用于根据所述各表情对应的特征肌肉块组合的特征向量，获取待测试人脸各表情的识别概率；

确认模块，用于在所述待测试人脸各表情的识别概率中，将具有最大识别概率的表情确定为所述待测试人脸的表情。

本发明提供的3D人脸表情识别方法和装置，通过获取待测试人脸各表情对应的特征肌肉块组合的特征向量，由于各表情的特征肌肉块组合是针对对应表情识别准确率最高的肌肉块组合，因此，根据各表情对应的特征肌肉块组合的特征向量，获取待测试人脸各表情的识别概率，在待测试人脸各表情的识别概率中，将具有最大识别概率的表情，确定为待测试人脸的表情，能够提高识别的准确率。

附图说明

图1为本发明3D人脸表情识别方法实施例一的流程示意图；

图2为本发明3D人脸表情识别方法实施例二的流程示意图；

图3为本发明3D人脸表情识别方法实施例三的流程示意图；

图4为本发明3D人脸表情识别方法实施例三具有外围标记点的模板人脸示意图；

图5为本发明3D人脸表情识别方法实施例三标记完所有块内标记点的模板人脸示意图；

图6为本发明3D人脸表情识别方法实施例三通过最小欧氏距离获取的待测试人脸示意图；

图7为本发明3D人脸表情识别方法实施例三通过ICP获取的待测试人脸示意图；

图8为本发明3D人脸表情识别方法实施例滤波处理后的标记的待测试人脸示意图；

图9为本发明3D人脸表情识别装置实施例一的结构示意图；

图10为本发明3D人脸表情识别装置实施例二的结构示意图。

具体实施方式

从解剖学的角度讲，人的面部表情肌包括降眉间肌、口轮匝肌、笑肌、颊肌、提上唇肌、颧小肌、颧大肌、降口角肌、降下唇肌、颏肌、颈阔肌等，其中，降眉间肌是位于额肌内侧部一小块锥形肌，可将眼眉的内侧端下拉，参与皱眉和双眉集中动作，同时有助于避免过强的光线；口轮匝肌为嘴唇上下方的肌肉，能让嘴唇的开合及前后伸缩自如；笑肌和颊肌帮助唇的收缩，也支撑了整个口腔的气体流通；提上唇肌、颧小肌、降口角肌的收缩运动会牵动上唇，使之往上移动；降下唇肌则掌管下唇的收缩及下拉；颧大肌控制嘴角的延展和收缩动作；降口角肌可将嘴角下拉；颏肌可让下唇向外伸展。人的表情是由面部不同部位的肌肉收缩和拉伸造成的，比如微笑就是脸颊上颧肌肉主要肌肉群收缩牵动嘴角运动做出的表情。可见，不同的表情是由不同部位的肌肉块组合的协同运动决定的，也就是各个肌肉块对不同表情的影响不同，本发明正是利用各个肌肉块对不同表情的影响不同的特点，采用对各表情对应的识别准确率最高的肌肉块组合，对各表情进行识别，从而提高最终识别结果的准确率。

下面采用几个具体的实施例对本发明的技术方案进行详细的描述。

图1为本发明3D人脸表情识别方法实施例一的流程示意图，如图1所示，本实施例的方法包括：

S101：获取待测试人脸各表情对应的特征肌肉块组合的特征向量；

其中，各表情的特征肌肉块组合是针对对应表情识别准确率最高的肌肉块组合。

人脸的表情包括：AN、DI、FE、HA、SA和SU等，人脸的肌肉块包括：降眉间肌、口轮匝肌、笑肌、颊肌、提上唇肌、颧小肌、颧大肌、降口角肌、降下唇肌、颏肌、颈阔肌等，为了便于描述，本发明实施例对上述人脸的肌肉块依次进行编号，分别为肌1、肌2、肌3、肌4、肌5、肌6、肌7、肌8、肌9、肌10、肌11。

当利用各肌肉块的块内标记点的坐标信息进行人脸表情识别时，对于各表情对应的特征肌肉块组合如表1所示：

表1：利用坐标信息进行人脸表情识别各表情对应的特征肌肉块组合

当利用各肌肉块的块内标记点的法向量信息进行人脸表情识别时，对于各表情对应的特征肌肉块组合如表2所示：

表2：利用法向量信息进行人脸表情识别各表情对应的特征肌肉块组合

当利用各肌肉块的块内标记点的坐标信息进行人脸表情识别时，可通过表1中的各表情与特征肌肉块的对应关系，获取待测试人脸各表情对应的特征肌肉块组合的特征向量，特征肌肉块组合的特征向量具体是各块内标记点坐标值的特征向量。

当利用各肌肉块的块内标记点的法向量信息进行人脸表情识别时，可通过表2中的各表情与特征肌肉块的对应关系，获取待测试人脸各表情对应的特征肌肉块组合的特征向量，特征肌肉块组合的特征向量具体是各特征法向量值的特征向量。

S102：根据各表情对应的特征肌肉块组合的特征向量，获取待测试人脸各表情的识别概率。

具体地，以利用各肌肉块的块内标记点的坐标信息进行人脸表情识别为例，先假设待测试人脸的表情是AN，则根据肌4、肌5、肌6、肌11的特征向量，获取待测试人脸为表情AN的识别概率，该识别概率即为待测试人脸的表情为AN表情的概率。采用同样的方法，依次假设待测试人脸的表情为DI、FE、HA、SA和SU，分别获取待测试人脸各表情的识别概率。可得到6个识别概率值。

获取各表情的识别概率，可通过将特征肌肉块组合的特征向量输入到支持向量机（Support Vector Machine，以下简称：SVM）分类器中获得，其中，所述特征肌肉块组合的特征向量是组合中各肌肉块的特征向量的组合。

S103：在待测试人脸各表情的识别概率中，将具有最大识别概率的表情确定为待测试人脸的表情。

在S102的步骤中可以获取到待测试人脸为各表情的识别概率，获取其中最大识别概率对应的表情，将该表情确定为待测试人脸的表情。

本实施例中，通过获取待测试人脸各表情对应的特征肌肉块组合的特征向量，由于各表情的特征肌肉块组合是针对对应表情识别准确率最高的肌肉块组合，因此，根据各表情对应的特征肌肉块组合的特征向量，获取待测试人脸各表情的识别概率，在待测试人脸各表情的识别概率中，获取具有最大识别概率的表情，以确定待测试人脸的表情，能够提高识别的准确率。

图2为本发明3D人脸表情识别方法实施例二的流程示意图，图2是在图1所示实施例步骤S101之前，进一步地，还包括：获取各表情对应的特征肌肉块组合，具体步骤如下：

S201：对各肌肉块进行任意组合。

具体地，对人脸的各肌肉块进行任意组合，可以得到若干种组合。

S202：根据每一种组合的特征向量，获取每一种组合对各表情的识别准确率。

分别针对每一种组合的特征向量，获取每一种组合对不同表情的识别准确率，从而可以得到针对每一种表情，各种组合对该表情的识别准确率，也就是，假设有N种组合，则针对每个表情，可以获得对应N种组合的N个识别准确率。

S203：针对每一种表情，确定对该表情的最高识别准确率的组合为该表情对应的特征肌肉块组合。

从步骤S202中得到的一个表情的N个识别准确率中，确定N个识别准确率中最高的识别准确率对应的组合，作为这个表情对应的特征肌肉块组合。换句话说，就是采用每个表情对应的特征肌肉块组合对该表情进行识别，识别结果的准确率最高。

步骤S201-步骤S203是通过先验的知识获取各表情对应的特征肌肉块组合的过程。

本实施例中，通过对各肌肉块进行任意组合，根据每一种组合的特征向量，获取每一种组合对各表情的识别准确率，针对每一种表情，确定对该表情的最高识别准确率的组合为该表情对应的特征肌肉块组合，从而获得识别每一种表情准确率最高的肌肉块组合，以使在后续的识别过程中，采用各表情对应的特征肌肉块组合对各表情进行识别，提高识别的准确率。

图3为本发明3D人脸表情识别方法实施例三的流程示意图，图3是在实施例一或实施例二的步骤获取待测试人脸各表情对应的特征肌肉块组合的特征之前，还包括：根据模板人脸的各肌肉块的块内标记点，标记待测试人脸的各肌肉块，具体步骤如下：

S301：对模板人脸和待测试人脸的所有点的坐标值进行相同的归一化处理。

具体地，在进行相同的归一化处理时，一般分别以模板人脸和待测试人脸的鼻尖点为坐标系的原点，对所述模板人脸和待测试人脸的所有点的坐标值进行归一化处理，因为鼻尖点一般为待测试人脸的最高点。

在对模板人脸的和待测试人脸的所有点的坐标值进行相同的归一化处理之前，还可以利用迭代最近点（Iterative Closest Point，以下简称：ICP）算法将待测试人脸与模板人脸进行配准，以确保待测试人脸为一种正面脸。

可选地，在执行S301之前，还可以包括：标记模板人脸的块内标记点，作为一种标记模板人脸块内标记点的方法，包括以下步骤：

第一步：根据面部解剖学的肌肉结构特征，标记模板人脸各肌肉块外围的预设数量的外围标记点。

相当于，通过离散的外围标记点标记出模板人脸各肌肉块的轮廓。只要能够满足将模板人脸各肌肉块的轮廓标记出来就可以，预设数量不做限制，图4为本发明3D人脸表情识别方法实施例三具有外围标记点的模板人脸示意图，如图4所示，以69个外围标记点标记模板人脸各肌肉块的轮廓。

第二步：利用3D空间点之间的测地路径连接各肌肉块的各外围标记点，形成各肌肉块的闭合区域。

第三步：确定各肌肉块的闭合区域内的点和外围标记点为模板人脸的块内标记点。

图5为本发明3D人脸表情识别方法实施例三标记完所有块内标记点的模板人脸示意图，如图5所示。

假设为模板人脸的块内标记点的集合，为待测试人脸的所有点的集合，为模板人脸上块内标记点对应的单位法向量，为待测试人脸上对应点的单位法向量。

S302：获取模板人脸的块内标记点ri的坐标值。

其中，1≤i≤N，N为模板人脸的所有块内标记点的总数。

可通过3D种子提取算法获取模板人脸的块内标记点r_i的坐标值。

S303：针对每个块内标记点r_i，获取待测试人脸上与模板人脸的块内标记点r_i的欧氏距离最小的点p_j。

其中，1≤j≤M，M为待测试人脸上所有点的总数。

待测试人脸上与模板人脸的块内标记点r_i的欧氏距离最小的点p_j的集合可以用满足下面关系：

$p_j=p_{E_u},E_u=\arg \underset{1\≤j\≤M}{\min }{\left|\right|r_i-p_j\left|\right|}^2$

其中，E_u代表待测试人脸上与模板人脸的块内标记点r_i的欧氏距离最小的点的编号，1≤E_u≤M，M为待测试人脸上所有点的总数。图6为本发明3D人脸表情识别方法实施例三通过最小欧氏距离获取的待测试人脸示意图，如图6所示。

S304：以点p_j为中心，获取待测人脸上与块内标记点r_i的法向量夹角最小的点P_d。

其中，1≤d≤M；

$p_d=p_{N0},N0=\arg \underset{k\∈\mathrm{\η}}{\min }\left({\cos }^{-1}(r_i\•{\mathrm{\π}}_k)\right)$

其中，N0代表在待测试人脸的第一区域范围内获取的与块内标记点r_i的法向量夹角最小的点的编号，η是第一区域范围内的点的编号。

第一区域范围内为以点p_j为中心的一个较小的区域内，一般选10×10的范围。

图7为本发明3D人脸表情识别方法实施例三通过ICP获取的待测试人脸示意图，如图7所示。

S305：采用维纳滤波器对点P_c进行平滑滤波处理，获取滤波处理后的点

P_d′。

针对每个块内标记点r_i，找到与其对应的点P_d'。

S306：标记点P_d'为待测试人脸上与模板人脸的块内标记点r_i对应的肌肉块的块内标记点。

图8为本发明3D人脸表情识别方法实施例滤波处理后的标记的待测试人脸示意图，如图8所示，从而完成待测试人脸的各肌肉块块内标记点的标记。

本实施例中，通过对模板人脸和待测试人脸的所有点的坐标值进行相同的归一化处理，获取模板人脸的块内标记点r_i的坐标值，获取待测试人脸上与模板人脸的块内标记点r_i的欧氏距离最小的点p_j，以点p_j为中心，在待测试人脸的第一区域范围内获取与块内标记点r_i的法向量夹角最小的点P_d，采用维纳滤波器对点P_d进行平滑滤波处理，获取滤波处理后的点P_d'，标记点P_d'为待测试人脸上与模板人脸的块内标记点r_i对应的肌肉块的块内标记点，实现对待测试人脸的肌肉块的块内标记点的自动标记，比传统的手动标记待测试人脸的块内标记点的效率高，并且节省了人力。并且，采用这种标记方法，能够保证不同人脸的相同的肌肉块具有相同的块内标记点数目，使得不同人脸的各肌肉块的特征向量维数统一，便于根据各特征向量进行人脸表情识别。

图9为本发明3D人脸表情识别装置实施例一的结构示意图，如图9所示，本实施例的结构包括第一获取模块91、识别模块92和确认模块93，其中，第一获取模块91用于获取待测试人脸各表情对应的特征肌肉块组合的特征向量，各表情的特征肌肉块组合是针对对应表情识别准确率最高的肌肉块组合；识别模块92用于根据各表情对应的特征肌肉块组合的特征向量，获取待测试人脸各表情的识别概率；确认模块93用于在待测试人脸各表情的识别概率中，获取具有最大识别概率的表情，以确定待测试人脸的表情。

本实施例的装置可用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类此，此处不再赘述。

图10为本发明3D人脸表情识别装置实施例二的结构示意图，图10是在图9所示实施例的基础上，进一步地，还包括第二获取模块94，第二获取模块94用于获取各表情对应的特征肌肉块组合。

在上述实施例中，第二获取模块94具体用于对各肌肉块进行任意组合；根据每一种组合的特征向量，获取每一种组合对各表情的识别准确率；针对每一种表情，确定对表情的最高识别准确率的组合为表情对应的特征肌肉块组合。

本实施例的装置可用于执行图2所示方法实施例的技术方案，其实现原理和技术效果类此，此处不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种3D人脸表情识别方法，其特征在于，包括：

获取待测试人脸各表情对应的特征肌肉块组合的特征向量，各表情的特征肌肉块组合是针对对应表情识别准确率最高的肌肉块组合；其中，所述特征肌肉块组合的特征向量为各特征肌肉块块内标记点的坐标值的特征向量或者各特征肌肉块块内标记点的法向量的特征向量；

根据所述各表情对应的特征肌肉块组合的特征向量，获取待测试人脸各表情的识别概率；

在所述待测试人脸各表情的识别概率中，将具有最大识别概率的表情确定为所述待测试人脸的表情；

所述获取待测试人脸各表情对应的特征肌肉块组合的特征向量之前，还包括：

获取各表情对应的特征肌肉块组合；

所述获取各表情对应的特征肌肉块组合包括：

对各肌肉块进行任意组合；

根据每一种组合的特征向量，获取每一种组合对各表情的识别准确率；

针对每一种表情，确定对所述表情的最高识别准确率的组合为所述表情对应的特征肌肉块组合；

其中，所述根据所述各表情对应的特征肌肉块组合的特征向量，获取待测试人脸各表情的识别概率，包括：

通过将所述各表情对应的特征肌肉块组合的特征向量输入到支持向量机分类器中，获取待测试人脸各表情的识别概率。

2.根据权利要求1所述的方法，其特征在于，所述获取待测试人脸各表情对应的特征肌肉块组合的特征向量之前，还包括：

根据模板人脸的各肌肉块的块内标记点，标记待测试人脸的各肌肉块。

3.根据权利要求2所述的方法，其特征在于，所述根据模板人脸的各肌肉块的块内标记点，标记待测试人脸的各肌肉块包括：

对模板人脸和待测试人脸的所有点的坐标值进行相同的归一化处理；

获取模板人脸的块内标记点r_i的坐标值，其中，1≤i≤N，N为模板人脸的所有块内标记点的总数；

针对每个块内标记点r_i，获取待测试人脸上与所述块内标记点r_i的欧氏距离最小的点p_j，1≤j≤M，M为待测试人脸上所有点的总数；

以所述点p_j为中心，获取待测人脸上与所述块内标记点r_i的法向量夹角最小的点P_d，1≤d≤M；

采用维纳滤波器对所述点P_d进行平滑滤波处理，获取滤波处理后的点P_d'；

标记点P_d'为待测试人脸上与模板人脸的块内标记点r_i对应的肌肉块的块内标记点。

4.根据权利要求3所述的方法，其特征在于，所述获取模板人脸的块内标记点r_i的坐标值之前，还包括：

根据面部解剖学的肌肉结构特征，标记模板人脸各肌肉块外围的预设数量的外围标记点；

利用3D空间点之间的测地路径连接各肌肉块的各外围标记点，形成各肌肉块的闭合区域；

确定各肌肉块的闭合区域内的点和外围标记点为模板人脸的块内标记点。

5.根据权利要求3所述的方法，其特征在于，所述对模板人脸和待测试人脸的所有点的坐标值进行相同的归一化处理包括：

分别以模板人脸和待测试人脸的鼻尖点为坐标系的原点，对所述模板人脸和待测试人脸的所有点的坐标值进行归一化处理。

6.一种3D人脸表情识别装置，其特征在于，包括：

第一获取模块，用于获取待测试人脸各表情对应的特征肌肉块组合的特征向量，各表情的特征肌肉块组合是针对对应表情识别准确率最高的肌肉块组合；其中，所述特征肌肉块组合的特征向量为各特征肌肉块块内标记点的坐标值的特征向量或者各特征肌肉块块内标记点的法向量的特征向量；

识别模块，用于根据所述各表情对应的特征肌肉块组合的特征向量，获取待测试人脸各表情的识别概率；

确认模块，用于在所述待测试人脸各表情的识别概率中，将具有最大识别概率的表情确定为所述待测试人脸的表情；

第二获取模块，用于获取各表情对应的特征肌肉块组合；

所述第二获取模块具体用于对各肌肉块进行任意组合；根据每一种组合 的特征向量，获取每一种组合对各表情的识别准确率；针对每一种表情，确定对所述表情的最高识别准确率的组合为所述表情对应的特征肌肉块组合；

其中，所述识别模块，具体用于通过将所述各表情对应的特征肌肉块组合的特征向量输入到支持向量机分类器中，获取待测试人脸各表情的识别概率。