CN109034099B - 一种表情识别方法及装置 - Google Patents

Abstract

本发明提供了一种表情识别方法及装置，其中，该方法包括：获取待测用户的人脸表情图像集合，人脸表情图像集合包括设定帧数的人脸表情图像；提取每帧人脸表情图像的面部特征点集；根据面部特征点集确定对应的人脸表情图像的几何特征组；将所有人脸表情图像的几何特征组与待测用户的中性人脸表情图像的几何特征组作差，确定人脸表情图像集合的几何特征集合；根据几何特征集合以及预先建立的面部表情识别模型，识别待测用户的表情类别。本发明实施例通过获取用户的动态人脸表情图像，能够更好地展示表情变化，提高了对用户表情类别的识别精确度。

Description

一种表情识别方法及装置

技术领域

本发明涉及表情识别技术领域，具体而言，涉及一种表情识别方法及装置。

背景技术

表情在人类日常的交流中起着非常重要的作用，是非语言交流的一种重要方式。作为情感的表达方式，表情含有丰富的人体行为信息，是人类情绪主要的载体，通过对表情的研究可以进一步了解人类对应的情感状态。在教学领域传统的课堂教学中，师生之间通过面对面交流的形式，了解学生情感，而在智慧教学中大量的使用了计算机、pad等电子设备，如果能通过表情识别的方法，分析出学生情感的变化，可以很好的帮助学生调整学习状态，对智慧教学具有重要意义。

近些年在众多专家学者的努力下，人脸表情识别领域有了长足的发展，大部分研究都是基于Ekman所定义的六种基本表情，高兴(happy)，悲伤(sadness)，恐惧(fear)，惊讶(surprise)，厌恶(disgust)，生气(angry)。

发明人在研究中发现，现有技术中，对于表情的识别主要是针对静态图像，将特征提取放在表情最饱满的静态图像上，这时的图像中包含的信息最为丰富，但是实际生活中，很少表现出饱满的表情或很难准确捕捉到，即针对静态表情识别较难准确识别用户的表情类别。

发明内容

有鉴于此，本发明的目的在于提供一种人脸表情识别方法和装置，以提高对用户表情类别的识别精确度。

第一方面，本发明实施例提供了一种人脸表情识别方法，包括：获取待测用户的人脸表情图像集合，所述人脸表情图像集合包括设定帧数的人脸表情图像；

提取每帧人脸表情图像的面部特征点集；

根据所述面部特征点集确定对应的人脸表情图像的几何特征组；

将所有人脸表情图像的几何特征组与所述待测用户的中性人脸表情图像的几何特征组作差，确定所述人脸表情图像集合的几何特征集合；

根据所述几何特征集合以及预先建立的面部表情识别模型，识别所述待测用户的表情类别。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，在视频流中提取所述待测用户的所有人脸表情图像；

删除所述人脸表情图像中的冗余图像，并对剩余的人脸表情图像按照预设数量进行帧数归一化；

对帧数归一化后的人脸表情图像进行面部姿态归一化后得到上述人脸表情图像集合。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，按照以下方式确定所述人脸表情图像中的冗余图像：

获取每帧人脸表情图像的面部特征点；

计算任意两个相邻帧的人脸表情图像的面部特征点的空间坐标变化量；

判断所述空间坐标变化量是否大于预设阈值；

若否，确定后一帧人脸表情图像为冗余图像。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述对帧数归一化后的人脸表情图像进行面部姿态归一化，包括：

将所述预设数量的人脸表情图像的面部特征点由空间坐标系转换至头部姿态坐标系；

将所述面部特征点在所述头部姿态坐标系中绕头部中心点进行旋转后得到的面部特征点。

结合第一方面的第三种可能的实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，所述几何特征组包括人脸表情图像的特征点欧式距离和特征点角度，所述根据所述面部特征点集确定对应的人脸表情图像的几何特征组，包括：

获取预先选取的每帧人脸表情图像中多个第一面部特征点组中每个面部特征点在所述头部姿态坐标系中的坐标，以及第二面部特征点组中每个面部特征点在所述头部姿态坐标系中的坐标；

针对每个所述第一面部特征点组，计算该第一面部特征点组中的面部特征点在所述头部姿态坐标系中的空间距离，将所述空间距离作为该第一面部特征点组的特征点欧式距离；

针对每个所述第二面部特征点组，计算该第二面部特征点组中面部特征点连线之间的余弦值，将所述余弦值对应的角度作为该第二面部特征点组的特征点角度。

结合第一方面，本申请实施例提供了第一方面的第五种可能的实施方式，所述根据所述几何特征集合以及预先建立的面部表情识别模型，识别所述待测用户的表情类别，包括：

基于所述人脸表情图像的几何特征集合以及预先建立的SVM分类器，确定所述人脸表情图像与各个人脸表情类别的相似度；

判断所述人脸表情图像与其中任一人脸表情类别的相似度是否达到设定阈值；

若是，确定所述待测用户的对应的表情类别即为所述任一人脸表情类别；

若否，基于所述人脸表情图形的几何特征集合以及预先建立的区域特征描述标签分类器，确定所述面部表现图像的表情类别。

第二方面，本发明实施例还提供了一种人脸表情识别装置，包括：获取模块，用于获取人脸表情图像集合，所述人脸表情图像集合包括设定帧数的人脸表情图像，其中一帧人脸表情图像为中性人脸表情图像；

提取模块，用于提取每帧人脸表情图像的面部特征点集；

确定模块，用于根据所述面部特征点集确定对应的人脸表情图像的几何特征组；以及用于将所有人脸表情图像的几何特征组与所述待测用户的中性人脸表情图像的几何特征组作差，确定所述人脸表情图像集合的几何特征集合；

识别模块，用于根据所述几何特征集合以及预先建立的面部表情识别模型，识别待测用户的表情类别。

结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，所述获取模块，具体用于：

在视频流中提取所有人脸表情图像；删除所述人脸表情图像中的冗余图像，并对剩余的人脸表情图像按照预设数量进行帧数归一化；

对帧数归一化后的人脸表情图像进行面部姿态归一化后得到上述人脸表情图像集合。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述获取模块，按照以下方式确定所述人脸表情图像中的冗余图像：

获取每帧人脸表情图像的面部特征点；

计算任意两个相邻帧的人脸表情图像的面部特征点的空间坐标变化量；

判断所述空间坐标变化量是否大于预设阈值；

若否，确定后一帧人脸表情图像为冗余图像。

结合第二方面的第一种可能的实施方式，本实施例提供了第二方面的第三种可能的实施方式，所述获取模块，具体用于：

将所述预设数量的人脸表情图像的面部特征点由空间坐标系转换至头部姿态坐标系；

将所述面部特征点在所述头部姿态坐标系中绕头部中心点进行旋转后得到的面部特征点。

本申请实施例提供的人脸表情识别方法，获取待测用户的人脸表情图像集合，所述人脸表情图像集合包括设定帧数的人脸表情图像；提取每帧人脸表情图像的面部特征点集；根据所述面部特征点集确定对应的人脸表情图像的几何特征组；将所有人脸表情图像的几何特征组与所述待测用户的中性人脸表情图像的几何特征组作差，确定所述人脸表情图像集合的几何特征集合；根据所述几何特征集合以及预先建立的面部表情识别模型，识别所述待测用户的表情类别。通过获取待测用户的人脸表情图像集合，人脸表情图像集合中包括设定帧数的人脸表情图像；提取每帧人脸表情图像的面部特征点集；根据面部特征点集确定对应的人脸表情图像的几何特征组；将所有人脸表情图像的几何特征组与待测用户的中性人脸表情图像的几何特征组作差，确定人脸表情图像集合的几何特征集合；根据几何特征集合以及预先建立的面部表情识别模型，识别待测用户的表情类别。现有技术中获取的人脸表情图像是表情最饱满的静态图像，而本申请获取的是多帧人脸表情图像，相比于静态图像，多帧人脸表情图像具有图像连续性，具有更多的表情变化的动态特征，能够更好地展示表情变化，提高了对用户表情类别的识别精确度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的人脸表情识别方法的流程图；

图2示出了本发明实施例所提供的获取待测用户的人脸表情图像集合的流程图；

图3示出了本发明实施例所提供的确定人脸表情图像中的冗余图像的流程图；

图4示出了本发明实施例所提供的面部姿态归一化的流程图；

图5为本申请实施例所提供的根据面部特征点集确定对应的人脸表情图像中的几何特征组的流程图；

图6为本申请实施例所提供的人脸表情图像的部分面部标记点示意图；

图7为本申请实施例所提供的识别人脸表情图像集合对应的表情分类的流程图；

图8为本申请实施例所提供的一种人脸表情识别装置的模块示意图。

主要元件符号说明：10-左眼内眼角点；12-左上眼皮中点；14-左眼外眼角点；16-左下眼皮中点；18-右眼内眼角点；20-右上眼皮中点；22-右眼外眼角点；24-右下眼皮中点；30-左鼻翼点；32-右鼻翼点；33-左嘴角点；39-右嘴角点；57-第一左脸颊边界点；58-第二左脸颊边界点；61-下巴点；64-第二右脸颊边界点；65-第一右脸颊边界点。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供了一种人脸表情识别方法，如图1所示，具体包括以下步骤S101～S105：

S101，获取待测用户的人脸表情图像集合，人脸表情图像集合包括设定帧数的人脸表情图像。

其中，人脸表情图像是在图像采集设备录制的视频流中采集到的，在录制过程中，每帧人脸表情图像的五官相对于无表情变化的中性人脸表情图像是有些微变化的，这些细微差别结合起来能够动态地表达该用户的表情类别。

当然，在图像采集设备采集用户的人脸表情图像时，由于用户在图像采集设备录制时，表情持续时间长短不同，有些帧的人脸表情图像可能是重复的，这样就增加了在确定人脸表情类别时的工作量，所以需要对图像采集设备录制得到的多帧人脸表情图像进行处理。

可选地，如图2所示，步骤S101中，获取待测用户的人脸表情图像集合具体包括以下步骤S201～S203：

S201，在视频流中提取待测用户的所有人脸表情图像。

视频流的采集选择合适的图像采集设备，在本实施例中，选择RealSense摄像头作为图像采集设备，该RealSense摄像头在保存视频的同时，可以对面部的特征点进行追踪，能够简化特征点提取过程。

此外，RealSense摄像头既包括RGB(彩色)摄像头，又包括RGBD深度摄像头，这样采集到的用户的人脸表情图像即为彩色的3D图像。

S202，删除人脸表情图像中的冗余图像，并对剩余的人脸表情图像按照预设数量进行帧数归一化。

这里冗余图像即表示重复出现的人脸表情图像，这些重复出现的人脸表情图像中的特征点的坐标几乎未发生变化，在对表情类别的确定中几乎不起作用，为了简化计算过程，需要将这些冗余图像进行删除。

可选地，如图3所示，给出了确定人脸表情图像中的冗余图像的流程图，具体包括以下步骤S301～S304：

S301，获取每帧人脸表情图像的面部特征点。

这里的面部特征点指的是在用户的面部表情发生变化时，坐标变化比较大的那些标记点。

在针对某一用户的人脸表情进行识别时，可以直接选取该用户面部的这些面部特征点，至于这些面部特征点的前期选取过程如下：

人脸表情是通过面部肌肉形变产生，在产生表情的同时，面部的五官如眼睛、眉毛、嘴巴都会产生相应的形变，通过分析脸部AU运动单元和表情的关系，可以找出用来做表情分类的合适特征。

通过选取RealSense表情库中多个样本，对于6种表情(愤怒、害怕、惊讶、高兴、厌恶和悲伤)的标记点做数据可视化，可以发现部分标记点在表情变化中具有丰富的几何状态信息，可以用来描述表情的变化。对于同一训练样本，通过分析6种基本表情，和AU运动单元之间的关系，进而选择合适的面部特征点用来对6种基本表情进行分类。

这些合适的面部特征点即在用户表情变化时，标记点变化较大的一些点，比如，嘴巴区域的一些标记点，在表情变化时，这些标记点的位置变化比较大，则把这些标记点作为面部特征点提取出来。

比如，前期包括78个标记点，在对6种表情的标记点做数据可视化时发现，表情变化时，有32个标记点的位置变化比较大，则选择这32个标记点作为面部特征点。

S302，计算任意两个相邻帧的人脸表情图像的面部特征点的空间坐标变化量。

对于任意帧k，通过函数f(k)，计算和相邻k+1帧之间编号1到32个标记点的空间坐标变化量总和，如公式(1)

其中，k表示待测用户的第几帧人脸表情图像，i表示上述面部标记点的编号，(x_ki，y_ki，z_ki)和(x_(k+1)i，y_(k+1)i，z_(k+1)i)分别表示第k帧人脸表情图像中第i个面部标记点在摄像头空间坐标系中的坐标和第k+1帧人脸表情图像中第i个面部标记点在摄像头空间坐标系中的坐标，f(k)表示相邻两帧之间对应的第1个面部标记点到第n个面部标记点的距离之和。

S303，判断空间坐标变化量是否大于预设阈值。

这里会提前设定个阈值，若任意两个相邻帧的人脸表情图像中对应的面部特征点之间的空间变化量小于该预设阈值，说明这两个相邻帧的人脸表情图像几乎相似。

S304，若否，确定后一帧人脸表情图像为冗余图像。

相邻两帧人脸表情图像之间几乎无变化时，将后一帧人脸表情图像确定为冗余图像。

在删除冗余图像后，原始获取的人脸表情图像的帧数保留在1/2到2/3之间。

为了后期通过预先建立的面部表情识别模型对这些人脸表情图像进行精确的识别，以达到降低数据计算量和算法复杂度的目的，根据前期的实验，会保留一个较佳的帧数，比如15帧。

当删除了冗余图像后，剩余的人脸表情图像的帧数可能并不符合这样的一个较佳的帧数，可能较少，可能较多，也可能正好，那么对于这三种情况，分别进行如下处理，以使得剩余的人脸表情图像的帧数符合较佳的帧数：

(1)，删除冗余图像后的人脸表情图像帧数刚好由预设帧数构成，那么归一化后的上述原图像序列保持不变。

(2)，录制表情持续时间较长，导致帧数较多，删除冗余图像后的人脸表情图像帧数依然超过预设帧数时，采取间隔取帧的方法，保证抽取到的帧分布均匀。

(3)，录制表情持续时间较短，导致帧数较少，删除冗余图像后的人脸表情图像帧数少于预设帧数时，采取中心平滑补帧的方法，从中心帧图像出发，向首尾帧扩充，取相邻的两帧，插入生成新的一帧数据。

S203，对帧数归一化后的人脸表情图像进行面部姿态归一化后得到人脸表情图像集合。

因为被试者性别长相的不同，使得人脸表情图像中面部所占比例存在大小差异。因为被试者坐姿等因素的影响，导致面部不端正，头部发生偏转。因此需要对提取的面部特征点进行旋转、平移等操作，以达到空间中人脸的相对位置和大小基本一致，消除图像尺寸、方向等因素的影响。

RealSense数据库的录入数据是建立在摄像头自定义的坐标空间中，RealSense数据库的坐标空间以设备中心为原点，设备水平向右为X轴正方向，设备垂直向上为Y轴正方向，垂直XY平面指向被试者为Z轴正方向。RealSense数据库能够获得用户在此坐标空间中的头部中心位置和头部偏转欧拉角度。

可选地，步骤S203中，对帧数归一化后的人脸表情图像进行面部姿态归一化，如图4所示，具体包括以下步骤S401～S402：

S401，将预设帧数的人脸表情图像的面部特征点由空间坐标系转换至头部姿态坐标系。

在摄像头空间坐标系中，头部姿态坐标P(t_x，t_y，t_z)为姿态坐标系原点，将摄像头坐标系中的标记点数据转换到头部姿态空间，需要对摄像头空间中的标记点做平移变换，平移变换为：

S402，将面部特征点在上述头部姿态坐标系中绕头部中心点进行旋转后得到的面部特征点。

转换到头部姿态坐标系后，分别绕头部姿态坐标系的XYZ轴正方向旋转，绕头部姿态空间下的X轴旋转，坐标变换和旋转矩阵为：

绕头部姿态空间下的Y轴旋转，坐标变换和旋转矩阵为：

绕头部姿态空间下的Z轴旋转，坐标变换和旋转矩阵为：

上述表情帧数归一化和面部姿态归一化统称为对图像采集设备录制得到的多帧人脸表情图像进行的处理。对表情帧数归一化和面部姿态归一化的操作没有规定先后顺序，但从数据计算量和算法复杂度的角度来说，建议先进行表情帧数归一化，再进行面部姿态归一化操作。

S102，提取每帧人脸表情图像的面部特征点集。

这里的面部特征点集为上述包括的多个面部特征点的集合。

S103，根据面部特征点集确定对应的人脸表情图像的几何特征组。

其中，几何特征组包括人脸表情图像的特征点欧式距离和特征点角度。

步骤S103中，根据面部特征点集确定对应的人脸表情图像的几何特征组，如图5所示，具体包括以下步骤S501～S503：

S501，获取预先选取的每帧人脸表情图像中多个第一面部特征点组中每个面部特征点在上述头部姿态坐标系中的坐标，以及第二面部特征点组中每个面部特征点在上述头部姿态坐标系中的坐标。

S502，针对每个第一面部特征点组，计算该第一面部特征点组中的面部特征点在头部姿态坐标系中的空间距离，将空间距离作为该第一面部特征点组的特征点欧式距离。

S503，针对每个第二面部特征点组，计算该第二面部特征点组中面部特征点连线之间的余弦值，将余弦值对应的角度作为该第二面部特征点组的特征点角度。

其中，第一面部特征点组是用来计算欧氏距离的面部特征点，第二面部特征点组是用来计算角度的面部特征点。

这里的第一面部特征点组的选取方法如下：

在前期根据RealSense表情库选取面部特征点后，让每两个面部特征点组成特征向量，查看在表情类别变化时，哪些特征向量变化范围大，将变化范围大的特征向量对应的一组面部特征点记为这里的第一面部特征点组，在本申请实施例中，可选地，如下表1所示，为27个第一面部特征点组，每组涉及到的面部特征点如表1所示：

表1欧式距离几何特征向量

这里的第二面部特征点组的选取方法如下：

第二面部特征点组的选取，与待测用户的人脸表情图像中对表情类别影响较大的五官中的角度有关，选取能够在不同表情类别中引起角度变化较大的几个面部标记点。如表2所示，是第二面部特征点组中的四个特征点角度涉及到的面部特征点，具体的标号含义如图6所示，具体地，其中一个特征点角度F28涉及到的面部特征点包括：第二左脸颊边界点58、左嘴角点33、下巴点61、第二右脸颊边界点64、右嘴角点39、下巴点61；特征点角度F29涉及到的面部特征点包括：第一左脸颊边界点57、左嘴角点33、左鼻翼点30、第一右脸颊边界点65、右嘴角点39、右鼻翼点32；特征点角度F30涉及到的面部特征点包括：左上眼皮中点12、左眼外眼角点14、左下眼皮中点16，右上眼皮中点20、右眼外眼角点22、右下眼皮中点24；特征点角度F31涉及到的面部特征点包括：左上眼皮中点12、左眼内眼角点10、左下眼皮中点16，右上眼皮中点20、右眼内眼角点18、右下眼皮中点24，这些面部标记点构成的特征点角度F28、F29、F30和F31，在面部表情类别发生变化时，变动较为明显。

比如，以特征点角度F28为例，进行说明，特征点角度F28中包括两组角，如图6中的角1和角2，在嘴角下拉时，这两个角有变大的趋势。

表2特征点角度

特征点角度ID	特征描述	面部标记点	变化趋势
				F28	嘴角下拉	(58,33,61)(64,39,61)	增大
F29	嘴角上扬	(57,33,30)(65,39,32)	增大
				F30	眼睛变小	(12,14,16)(20,22,24)	减小
F31	眼睛变大	(12,10,16)(20,18,24)	增大

下面介绍欧式距离和特征点角度的计算过程：

(1)欧式距离用来反应空间坐标的实际距离，可以很好地反应面部特征点之间的相对关系。对于第t帧图像，设面部标记点的集合，对S中的上述面部标记点，提取对应特征集合中关联面部标记点的欧氏距离，计算方法如下，详见公式(2)：

其中，公式(2)中的i和j表示第一面部标记点组中不同的面部标记点，表示第一面部特征点组中的面部标记点的集合，(x_i，y_i，z_i)和(x_j，y_j，z_j)分别表示第i个面部标记点在头部姿态坐标系中的坐标和第j个面部标记点在头部姿态坐标系中的坐标，表示第一面部标记点组中的各面部标记点的欧式距离集合。

(2)针对特征点角度的计算过程，同样以表2中的特征点角度F28为例进行阐述：特征点角度F28中涉及到的两个夹角：如图6中所示的角1和角2。角1涉及到的面部标记点为：(58,33,61)，角2涉及到的面部标记点为：(64,39,61)具体地，可以计算形成夹角的余弦值，用来反应角度的大小，比如以角1为例，计算方法如下公式3：

其中，P_a表示左嘴角点33的坐标；P_b表示第二左脸颊边界点58的坐标；P_c表示下巴点61的坐标，计算得到的cosθ所对应的角1作为F28的特征点角度。

S104，将所有人脸表情图像的几何特征组与待测用户的中性人脸表情图像的几何特征组作差，确定人脸表情图像集合的几何特征集合。

这里，待测用户的人脸表情图像集合就是人脸表情变化时获取到的，这些表情图像集合中并不一定包括中性人脸表情图像。将所有人脸表情图像的几何特征组与中性人脸表情图像的几何特征组作差后，能够得到几何特征组的变化量，记为几何特征集合，具体地，这里的几何特征集合中包括多组几何特征组的变化量。比如，预先采集用户的中性人脸表情图像，如果开始获取的人脸表情图像集合包括15帧的人脸表情图像，则最终得到15组几何特征组的变化量。

将多帧人脸表情图像中的面部标记点间的欧式距离与中性人脸表情图像的面部标记点间的欧式距离做差，确定每帧人脸表情图像的特征点欧式距离变化量；

将多帧人脸表情图像中的特征角度与中性人脸表情图像的特征角度做差，确定每帧人脸表情图像的特征点角度变化量；

S105，根据几何特征集合以及预先建立的面部表情识别模型，识别人脸表情图像集合对应的表情分类。

这里，预先建立的面部表情识别模型包括SVM(Support VectorMachines，支持向量机)分类器和区域特征描述标签分类器。

其中，SVM分类器是根据以下方法预先建立的：

在视频流中提取已知表情类别的人脸表情图像，删除已知表情类别的人脸表情图像中的冗余图像，并对剩余的已知表情类别的人脸表情图像按照预设数量进行帧数归一化。对帧数归一化后的已知表情类别的人脸表情图像进行面部姿态归一化后得到已知表情类别的人脸表情图像集合。提取每帧已知表情类别的人脸表情图像的面部特征点集，根据面部特征点集确定对应的已知表情类别的人脸表情图像的几何特征组。几何特征组包括已知表情类别的人脸表情图像的特征点欧氏距离和特征点角度。将所有已知表情类别的人脸表情图像的几何特征组与已知表情类别的中性人脸表情图像的几何特征组作差，确定已知表情类别的人脸表情图像集合的几何特征集合。将所有几何特征集合和对应的表情类别分别输入到SVM分类器中，经多次实验训练，SVM分类器可以根据输入的几何特征集合，输出对应的任一表情类别。

区域特征描述标签分类器是根据以下方法预先建立的：

(1)构建几何特征集合与区域特征描述标签的对应关系：

在视频流中提取已知表情类别的人脸表情图像，删除已知表情类别的人脸表情图像中的冗余图像，并对剩余的已知表情类别的人脸表情图像按照预设数量进行帧数归一化。对帧数归一化后的已知表情类别的人脸表情图像进行面部姿态归一化后得到已知表情类别的人脸表情图像集合。提取每帧已知表情类别的人脸表情图像的面部特征点集，根据面部特征点集确定对应的已知表情类别的人脸表情图像的几何特征组。几何特征组包括已知表情类别的人脸表情图像的特征点欧氏距离和特征点角度。将所有已知表情类别的人脸表情图像的几何特征组与已知表情类别的中性人脸表情图像的几何特征组作差，确定已知表情类别的人脸表情图像集合的几何特征集合。

将几何特征集合与对应的区域特征描述标签输入到特征描述标注器中进行训练，得到几何特征集合与区域特征描述标签的对应关系。

具体地，将已知表情类别的人脸表情图像划分为多个面部区域，把几何特征集合按照面部区域进行归纳整理，输出对应面部区域的特征描述标签，比如，嘴角下拉、眉毛抬高。

(2)构建区域特征描述标签与表情类别的对应关系：

每个区域特征描述标签描述各表情类别的程度不同，在区域特征描述标签的选取中，引入特征描述-类别矩阵，通过计算各区域特征描述标签对各表情类别的贡献度，最终选取了12个贡献度高的区域特征描述标签。

在确定人脸表情类别与区域特征描述的标签的对应关系时，引入BOW匹配方法，这里，BOW(Bag-of-words，词袋)匹配方法中的各个表情类别相当于一个bag(袋子)，里面放置了若干个描述当前表情类别的区域特征描述标签，，比如，高兴表情所涉及到的特征标签有眼睛变小和嘴角上扬。将已知表情类别的人脸表情图像的区域特征描述标签依次放到6个袋子中，计算相似度。

比如，计算开心表情的相似度时，将待测用户的人脸表情图像的区域特征描述标签，与开心表情的区域特征描述标签进行概率计算，输出相似度为80％，若预设的开心表情相似度为70％，则确定待测用户的人脸表情图像为开心表情。

SVM一般用于二分类问题，在处理小样本、高纬度、非线性的时候，比较有优势。但是在表情识别中因为不同人脸对表情的表达可能存在差异，而区域特征描述标签分类器将几何特征转化为特征描述标签，一定程度上解决了样本差异所导致的识别率不高的问题。

可选地，步骤S105中，识别人脸表情图像集合对应的表情分类，如图7所示，具体包括以下步骤S601～S604：

S601，基于人脸表情图像的几何特征集合以及预先建立的SVM分类器，确定人脸表情图像与各个人脸表情类别的相似度。

将待测用户的人脸表情图像对应的几何特征集合输入预先建立的SVM分类器，确定该人脸表情图像与每个人脸表情类别的相似度。

比如，经计算输出与惊讶表情相似度为80％，与高兴表情相似度为0％，与悲伤表情相似度为14.29％，与愤怒表情相似度为0％，与害怕表情相似度为14.29％，与厌恶表情相似度为16.67％。

S602，判断人脸表情图像与其中任一人脸表情类别的相似度是否达到设定阈值。

在通过SVM分类器确定人脸表情图像对应的表情类别时，会预先设置一个设定阈值，判断该人脸表情图像与各个表情类别的相似度是否达到该设定阈值，比如设置的设定阈值为70％，则上述只有与惊讶表情的相似度满足；若设置的设定阈值为90％，则与所有表情类别的相似度均不满足。

S603，若是，确定待测用户的对应的表情类别即为所述任一人脸表情类别。

比如，设置的设定阈值为70％，则上述只有与惊讶表情的相似度满足，即待测用户对应的表情类别为惊讶。

S604，若否，基于人脸表情图形的几何特征集合以及预先建立的区域特征描述标签分类器，确定人脸表情图像的表情类别。

比如，设置的设定阈值为90％，则上述与所有表情类别的相似度均不满足，则需要将人脸表情图形的几何特征集合代入预先建立的区域特征描述标签分类器，从而确定人脸表情图像的这些几何特征集合对应的表情类别。

具体地，区域特征描述标签分类器在接收到集合特征集合后，会根据这些几何特征集合确定对应的区域特征描述标签；然后再根据区域特征描述标签确定与这些区域特征描述标签对应的表情类别。

本申请实施例还提供了一种人脸表情识别装置，如图8所示，包括：

获取模块701，用户获取待测用户的人脸表情图像集合，人脸表情图像集合包括设定帧数的人脸表情图像。

提取模块702，用于提取每帧人脸表情图像的面部特征点集。

确定模块703，用于根据面部特征点集确定对应的人脸表情图像的几何特征组；以及用于将所有人脸表情图像的几何特征组与待测用户的中性人脸表情图像的几何特征组作差，确定人脸表情图像集合的几何特征集合。

识别模块704，用于根据几何特征集合以及预先建立的面部表情识别模型，识别待测用户的表情类别。

可选地，获取模块701，具体用于：

在视频流中提取待测用户的所有人脸表情图像。

删除所述人脸表情图像中的冗余图像，并对剩余的人脸表情图像按照预设数量进行帧数归一化。

对帧数归一化后的人脸表情图像进行面部姿态归一化后得到所述人脸表情图像集合。

可选地，获取模块701，按照以下方式确定人脸表情图像中的冗余图像：

获取每帧人脸表情图像的面部特征点。

计算任意两个相邻帧的人脸表情图像的面部特征点的空间坐标变化量。

判断所述空间坐标变化量是否大于预设阈值。

若否，确定后一帧人脸表情图像为冗余图像。

可选地，获取模块701，具体用于：

将预设数量的人脸表情图像的面部特征点由空间坐标系转换至头部姿态坐标系。

将面部特征点在所述头部姿态坐标系中绕头部中心点进行旋转后得到的面部特征点。

可选地，几何特征组包括人脸表情图像的特征点欧式距离和特征点角度，确定模块703，具体用于：

获取预先选取的每帧人脸表情图像中多个第一面部特征点组中每个面部特征点在头部姿态坐标系中的坐标，以及第二面部特征点组中每个面部特征点在头部姿态坐标系中的坐标。

针对每个第一面部特征点组，计算该第一面部特征点组中的面部特征点在头部姿态坐标系中的空间距离，将空间距离作为该第一面部特征点组的特征点欧式距离。

针对每个第二面部特征点组，计算该第二面部特征点组中面部特征点连线之间的余弦值，将余弦值对应的角度作为该第二面部特征点组的特征点角度。

可选地，识别模块704，具体用于：

基于人脸表情图像的几何特征集合以及预先建立的SVM分类器，确定人脸表情图形与各个人脸表情类别的相似度。

判断人脸表情图像与其中任一人脸表情类别的相似度是否达到设定阈值。

若是，确定待测用户的对应的表情类别即为任一人脸表情类别。

若否，基于人脸表情图像的几何特征集合以及预先建立的区域特征描述标签，确定人脸表情图像的表情类别。

基于上述分析可知，现有技术中获取的人脸表情图像是表情最饱满的静态图像，而本申请获取的是多帧人脸表情图像，相比于静态图像，多帧人脸表情图像具有图像连续性，能够更好地展示表情变化，提高了对用户表情类别的识别精确度。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种人脸表情识别方法，其特征在于，包括：

获取待测用户的人脸表情图像集合，所述人脸表情图像集合包括设定帧数的人脸表情图像；

提取每帧人脸表情图像的面部特征点集；

根据所述面部特征点集确定对应的人脸表情图像的几何特征组；

将所有人脸表情图像的几何特征组与所述待测用户的中性人脸表情图像的几何特征组作差，确定所述人脸表情图像集合的几何特征集合；

根据所述几何特征集合以及预先建立的面部表情识别模型，识别所述待测用户的表情类别；

所述获取待测用户的人脸表情图像集合，包括：

在视频流中提取所述待测用户的所有人脸表情图像；

删除所述人脸表情图像中的冗余图像，并对剩余的人脸表情图像按照预设数量进行帧数归一化；

对帧数归一化后的人脸表情图像进行面部姿态归一化后得到所述人脸表情图像集合；

按照以下方式确定所述人脸表情图像中的冗余图像：

获取每帧人脸表情图像的面部特征点；

计算任意两个相邻帧的人脸表情图像的面部特征点的空间坐标变化量；

判断所述空间坐标变化量是否大于预设阈值；

若否，确定后一帧人脸表情图像为冗余图像；

对于任意帧k，通过函数f(k)，计算和相邻k+1帧的人脸表情图像的面部特征点的空间坐标变化量：

其中，i表示第i个面部标记点，(x_ki，y_ki，z_ki)和(x_(k+1)i，y_(k+1)i，z_(k+1)i)分别表示第k帧人脸表情图像中第i个面部标记点在摄像头空间坐标系中的坐标和第k+1帧人脸表情图像中第i个面部标记点在摄像头空间坐标系中的坐标，n为大于或等于1的正整数。

2.根据权利要求1所述的方法，其特征在于，所述对帧数归一化后的人脸表情图像进行面部姿态归一化，包括：

将所述预设数量的人脸表情图像的面部特征点由空间坐标系转换至头部姿态坐标系；

将所述面部特征点在所述头部姿态坐标系中绕头部中心点进行旋转后得到的面部特征点。

3.根据权利要求2所述的方法，其特征在于，所述几何特征组包括人脸表情图像的特征点欧式距离和特征点角度，所述根据所述面部特征点集确定对应的人脸表情图像的几何特征组，包括：

获取预先选取的每帧人脸表情图像中多个第一面部特征点组中每个面部特征点在所述头部姿态坐标系中的坐标，以及第二面部特征点组中每个面部特征点在所述头部姿态坐标系中的坐标；

针对每个所述第一面部特征点组，计算该第一面部特征点组中的面部特征点在所述头部姿态坐标系中的空间距离，将所述空间距离作为该第一面部特征点组的特征点欧式距离；

针对每个所述第二面部特征点组，计算该第二面部特征点组中面部特征点连线之间的余弦值，将所述余弦值对应的角度作为该第二面部特征点组的特征点角度。

4.根据权利要求1所述的方法，其特征在于，所述根据所述几何特征集合以及预先建立的面部表情识别模型，识别所述待测用户的表情类别，包括：

基于所述人脸表情图像的几何特征集合以及预先建立的SVM分类器，确定所述人脸表情图像与各个人脸表情类别的相似度；

判断所述人脸表情图像与其中任一人脸表情类别的相似度是否达到设定阈值；

若是，确定所述待测用户的对应的表情类别即为所述任一人脸表情类别；

若否，基于所述人脸表情图像的几何特征集合以及预先建立的区域特征描述标签，确定所述人脸表情图像的表情类别。

5.一种人脸表情识别装置，其特征在于，包括：获取模块，用于获取待测用户的人脸表情图像集合，所述人脸表情图像集合包括设定帧数的人脸表情图像；

提取模块，用于提取每帧人脸表情图像的面部特征点集；

确定模块，用于根据所述面部特征点集确定对应的人脸表情图像的几何特征组；以及用于将所有人脸表情图像的几何特征组与所述待测用户的中性人脸表情图像的几何特征组作差，确定所述人脸表情图像集合的几何特征集合；

识别模块，用于根据所述几何特征集合以及预先建立的面部表情识别模型，识别所述待测用户的表情类别；

所述获取模块，具体用于：

在视频流中提取所有人脸表情图像；

删除所述人脸表情图像中的冗余图像，并对剩余的人脸表情图像按照预设数量进行帧数归一化；

对帧数归一化后的人脸表情图像进行面部姿态归一化后得到所述人脸表情图像集合；

所述获取模块，按照以下方式确定所述人脸表情图像中的冗余图像：

获取每帧人脸表情图像的面部特征点；

计算任意两个相邻帧的人脸表情图像的面部特征点的空间坐标变化量；

判断所述空间坐标变化量是否大于预设阈值；

若否，确定后一帧人脸表情图像为冗余图像；

对于任意帧k，通过函数f(k)，计算和相邻k+1帧的人脸表情图像的面部特征点的空间坐标变化量：

其中，i表示第i个面部标记点，(x_ki，y_ki，z_ki)和(x_(k+1)i，y_(k+1)i，z_(k+1)i)分别表示第k帧人脸表情图像中第i个面部标记点在摄像头空间坐标系中的坐标和第k+1帧人脸表情图像中第i个面部标记点在摄像头空间坐标系中的坐标，n为大于或等于1的正整数。

6.根据权利要求5所述的装置，其特征在于，所述获取模块，具体用于：

将所述预设数量的人脸表情图像的面部特征点由空间坐标系转换至头部姿态坐标系；

将所述面部特征点在所述头部姿态坐标系中绕头部中心点进行旋转后得到的面部特征点。

Images