CN107292218A - 一种表情识别方法及装置 - Google Patents

Abstract

本发明公开一种表情识别方法及装置，用以解决现有技术中无法对面部表情进行快速准确的实时监测的问题。所述方法包括：定位面部各关键表情点，所述关键表情点的覆盖位置包括眉毛、眼睛、鼻子、嘴巴和面颊；在以各所述关键表情点为中心的面部子空间上分别提取表情特征；根据提取的所述表情特征识别面部表情。

Description

一种表情识别方法及装置

技术领域

本发明涉及通信技术领域，特别是涉及一种表情识别方法及装置。

背景技术

在人类的交流活动中，面部表情占据了大约55％的作用，而通过面部图像可以识别出面部表情，由此可见人脸面部图像包含了相当多的信息。

表情识别技术在计算机模式识别等领域取得了蓬勃的发展。在人机交互和情感计算领域，如果没有自动表情和情感识别系统，计算机会是一直冷冰冰的无法理解使用者情感的状态，因此自动面部表情识别系统得到更多更新的关注。然而，现有的大多数自动面部表情识别系统仍然不能做到对面部表情进行快速准确的实时监测。

发明内容

本发明要解决的技术问题是提供一种表情识别方法及装置，用以解决现有技术中无法对面部表情进行快速准确的实时监测的问题。

一方面，本发明提供一种表情识别方法，包括：定位面部各关键表情点，所述关键表情点的覆盖位置包括眉毛、眼睛、鼻子、嘴巴和面颊；在以各所述关键表情点为中心的面部子空间上分别提取表情特征；根据提取的所述表情特征识别面部表情。

可选的，所述定位面部各关键表情点包括：通过CLM(Constrained LocalModel，约束局部模型)特征点检测法定位面部各关键表情点。

可选的，所述在以各所述关键表情点为中心的面部子空间上分别提取表情特征包括：以各所述关键表情点为中心，为每个所述关键表情点建立面部子空间；通过动态捕捉面部表情，在捕捉到的多帧图像中各所述关键表情点对应的矩形面部子空间分别提取表情特征。

可选的，所述在以各所述关键表情点为中心的面部子空间上分别提取表情特征包括：以各所述关键表情点为中心，以预设长度为边长，在同一表情图像的不同缩放比例下分别为每个所述关键表情点建立比例面部子空间；在所述比例面部子空间分别提取表情特征。

可选的，所述在所述比例面部子空间分别提取表情特征具体包括：通过动态捕捉面部表情，在捕捉到的多帧图像中的所述比例面部子空间分别提取表情特征。

可选的，所述根据提取的所述表情特征识别面部表情包括：通过分类器对提取到的表情特征进行分类，以识别面部表情。

相应的，一种表情识别装置，包括：定位单元，用于定位面部各关键表情点，所述关键表情点的覆盖位置包括眉毛、眼睛、鼻子、嘴巴和面颊；提取单元，用于在以各所述关键表情点为中心的面部子空间上分别提取表情特征；识别单元，用于根据提取的所述表情特征识别面部表情。

可选的，所述定位单元，具体用于通过CLM特征点检测法定位面部各关键表情点。

可选的，所述提取单元，包括：建立模块，用于以各所述关键表情点为中心，为每个所述关键表情点建立面部子空间；提取模块，用于通过动态捕捉面部表情，在捕捉到的多帧图像中各所述关键表情点对应的矩形面部子空间分别提取表情特征。

可选的，所述提取单元，包括：比例建立模块，用于以各所述关键表情点为中心，以预设长度为边长，在同一表情图像的不同缩放比例下分别为每个所述关键表情点建立比例面部子空间；比例提取模块，用于在所述比例面部子空间分别提取表情特征。

可选的，所述比例提取模块，具体用于通过动态捕捉面部表情，在捕捉到的多帧图像中的所述比例面部子空间分别提取表情特征。

可选的，所述识别单元，具体用于通过分类器对提取到的表情特征进行分类，以识别面部表情。

本发明实施例提供的表情识别方法及装置，能够定位面部各关键表情点，然后在以各关键表情点为中心的面部子空间上分别提取表情特征，并根据提取的所述表情特征识别面部表情。这样，通过对面部多个区域的关键表情点进行特征提取，就能够准确获取影响面部表情的部位在不同表情时对应的特征，从而根据这些关键表情点的特征变化情况准确获知对应的表情，从而对面部表情进行快速准确的实时监测。

附图说明

图1是本发明实施例提供的一种表情识别方法的一种流程图；

图2是本发明实施例中不同大小的面部子空间选取效果示意图；

图3为根据本发明实施例提供的表情识别方法进行实时测试闪光灯光源干扰条件下识别结果示意图；

图4为根据本发明实施例提供的表情识别方法进行实时测试非正面条件下识别结果示意图；

图5为根据本发明实施例提供的表情识别方法进行实时测试遮挡条件下识别结果示意图；

图6是本发明实施例提供的一种表情识别装置的一种结构示意图。

具体实施方式

以下结合附图对本发明进行详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

如图1所示，本发明实施例提供一种表情识别方法，包括：

S11，定位面部各关键表情点，所述关键表情点的覆盖位置包括眉毛、眼睛、鼻子、嘴巴和面颊；

S12，在以各所述关键表情点为中心的面部子空间上分别提取表情特征；

S13，根据提取的所述表情特征识别面部表情。

本发明实施例提供的表情识别方法，能够定位面部各关键表情点，然后在以各关键表情点为中心的面部子空间上分别提取表情特征，并根据提取的所述表情特征识别面部表情。这样，通过对面部多个区域的关键表情点进行特征提取，就能够准确获取影响面部表情的部位在不同表情时对应的特征，从而根据这些关键表情点的特征变化情况准确获知对应的表情，从而对面部表情进行快速准确的实时监测。

可选的，在步骤S11中，可以根据多种算法来锁定人面部的各个位置中与表情密切相关的点的位置，即定位面部各关键表情点。这些关键表情点的特征应根据人的不同表情而变化。例如，在本发明的一个实施例中，采用CLM特征点检测出这些关键表情点，确定出这些关键表情点的坐标。这些关键表情点可以覆盖眉毛、眼睛、鼻子、嘴巴和面颊等位置。可选的，本实施例中，通过CLM特征点检测法检测出68个面部特征点，考虑到面部轮廓上的17个点对表情基本没有贡献，而特征点密集的区域恰好为表情运动多发的位置，因此在提取特征时将面部轮廓上的17个点忽略，而使用剩余的51个点。

当然，在本发明的其他实施例中，还可以采用其他方法来检测关键表情点，例如AAM(Active Appearance Model，主动表观模型),ASM(Active Shape Model，主动形状模型),ESP(Explicit Shape Regression，显式形状回归)等，本发明的实施例对此不做限定。

检测出关键表情点后，在步骤S12中，即可在以各所述关键表情点为中心的面部子空间上分别提取表情特征。

具体而言，首先可以以各关键表情点为中心，为每个关键表情点建立面部子空间；然后通过动态捕捉面部表情，在捕捉到的多帧图像中各所述关键表情点对应的矩形面部子空间分别提取表情特征。

可选的，仍以上述实施例中检测出的51个关键表情点为例。可以在这51附近建立矩形框，在这些矩形框中提取LBP特征。这种特征提取方案唯一的可变因素就是特征点附近的矩形框大小。为了保证在实时场景中该特征提取方案能够在多种尺度上鲁棒，在关键点上划定区域时，采用了相对尺度。具体的，可以以特征点检测得到的第28和31个关键表情点(即两眼球连线与鼻梁相交点和鼻尖点)的纵向坐标差值D作为归一化尺度，在特征点的上、下、左、右s*D(其中s决定了子空间的相对大小)的矩形空间内，设定子空间，并在这些子空间中提取LBP特征，然后将各子空间的LBP特征级联起来。

需要说明的是，不同的S值对应不同的子空间大小，例如，如表1所示，在本发明的一个实施例中，经过大量数据库和实时测试验证，发现s＝0.3时识别率和鲁棒性最高，其效果可如图2所示。图2展示了从左至右、从上至下，不同大小面部子空间选取效果(s＝0.1、0.2、0.3..、1.0)。当然，在本发明的其他实施例中，也可能是其他情况下的识别率和鲁棒性更好，本发明的实施例对此不限。

表1

s	0.1	0.2	0.3	0.4	0.5	0.6	0.7	0.8	0.9	1.0
											还平均识别率％	65.5	76.5	80.8	78.5	79.5	80.0	75.5	74.0	67.8	62.5

需要说明的是，本实施例中，由于是以动态方式捕捉的面部表情，因此可以得到关于用户的面部表情或动作的一系列图像，这样，在捕捉到的多帧图像中各所述关键表情点对应的矩形面部子空间分别提取表情特征后，得到的表情特征具有时间的延续性和因果性，有效信息更多，因此也就能更准确地被用来进行表情识别。

可选的，除了对多帧图像中各所述关键表情点对应的矩形面部子空间分别提取表情特征进行提取外，还可以以其他方式来从一帧图像中得到更多的表情特征信息。例如，在本发明的一个实施例中，在以各所述关键表情点为中心的面部子空间上分别提取表情特征可具体包括：

以各所述关键表情点为中心，以预设长度为边长，在同一表情图像的不同缩放比例下分别为每个所述关键表情点建立比例面部子空间；

在所述比例面部子空间分别提取表情特征。

也就是说，在进行特征提取时，对同一帧图像进行了不同比例的放缩，这样，以同样的预设长度为边长而取到的关键表情点的子空间的大小就有所联系又有所不同，利用这种联系与不同，又可以得到面部子空间的一些其他表情特征，从而使表情识别具有更高的准确率和更好的鲁棒性。

进一步的，本实施例中，在对比例面部子空间分别提取表情特征的过程中，也可以结合时间因素，从而获得更多的表情特征信息。例如，可以通过动态捕捉面部表情，在捕捉到的多帧图像中的比例面部子空间分别提取表情特征。

在提取完表情特征后，在步骤S13中，即可根据提取的表情特征来具体识别面部表情。

为了使进行表情识别时的计算更为简单，优选的，计算LBP特征脸时可采用等价模式将每个子空间内统计的特征向量由256维降低为59维。进一步的，将提取到的LBP特征级联后，特征维数为每个人脸的提取到的特征维数为59*51＝3009，维数较大，还可以进一步进行降维处理，以降低计算量。

可选的，本实施例中特征降维的方法为PCA算法。降维的过程中可选择保留90％～95％的有效信息，这样的操作可以保证降维的同时不会造成过多的信息损失或冗余。降维后的维度随着特征向量的大小和训练样本数目的变化而不同，如，用500个CK+人脸数据作为训练样本，PCA降维(保留90％有效信息)后的特征维度为400维左右。

这样，经过降维得到面部表情特征后，可以对表情进行分类，以便进行表情识别。可选的，可以使用多种分类器对这些面部表情进行分类，例如决策树(Decision Tree),KNN(K-Nearest Neighbour)，支持向量机(SVM，Support VectorMachine)等。

举例说明，在本发明的一个实施例中，采用SVM来进行分类。SVM基于Vapnik的结构风险最小化原则，能够在分类器的容量和训练误差之间保持很好的平衡，具有较高的学习泛化能力。也就是说不仅能处理小样本问题，还能很好地在高维(甚至是无穷维)空间工作。同时，支持向量机是一个凸优化问题，局部最优解也就是全局最优解，可以防止过学习，这一特征是很多学习算法如神经网络算法等所不及的。本发明中采用支持向量机进行分类，采用径向基(RBF)核函数。

为了证实本发明实施例提供的表情识别方法比常用LBP特征提取方法取得更高的识别率，在CK+和PIE数据库进行了测试，测试结果如表2和表3所示。其中，表2为Muti-PIE数据库不同偏转角度下本发明的识别率与常用LBP特征提取方案的比较，表3为PIE数据库43种光照条件下率本发明的平均识别率与常用LBP特征提取方案的比较。结果表明，本发明确实能够提高表情识别率。

表2

表3

针对现有面部表情识别系统对于侧脸，光照环境复杂和遮挡等情况下识别效果不好的问题，该发明做出了改进，并对现实场景进行了测试。结果表明，本发明对于各种复杂场景能够做到实时准确识别。

针对现有面部表情识别系统对于侧脸，光照环境复杂和遮挡等情况下识别效果不好的问题，该发明做出了改进，并对现实场景进行了测试，如附图3，4，5所示。其中，附图3为实时测试闪光灯光源干扰条件下识别结果。附图4为实时测试非正面条件下识别结果，附图5为实时测试时遮挡条件下识别结果结果表明。可见，本发明对于各种复杂场景能够做到实时准确识别。

相应的，如图6所示，本发明的实施例还提供一种表情识别装置，包括：

定位单元61，用于定位面部各关键表情点，所述关键表情点的覆盖位置包括眉毛、眼睛、鼻子、嘴巴和面颊；

提取单元62，用于在以各所述关键表情点为中心的面部子空间上分别提取表情特征；

识别单元63，用于根据提取的所述表情特征识别面部表情。

本发明实施例提供的表情识别装置，定位单元61能够定位面部各关键表情点，提取单元62能够在以各关键表情点为中心的面部子空间上分别提取表情特征，识别单元63能够根据提取的所述表情特征识别面部表情。这样，通过对面部多个区域的关键表情点进行特征提取，就能够准确获取影响面部表情的部位在不同表情时对应的特征，从而根据这些关键表情点的特征变化情况准确获知对应的表情，从而对面部表情进行快速准确的实时监测。

可选的，定位单元61，具体可用于通过CLM特征点检测法定位面部各关键表情点。

可选的，提取单元62，包括：建立模块，用于以各所述关键表情点为中心，为每个所述关键表情点建立面部子空间；提取模块，用于通过动态捕捉面部表情，在捕捉到的多帧图像中各所述关键表情点对应的矩形面部子空间分别提取表情特征。

可选的，提取单元62，可包括：

比例建立模块，用于以各所述关键表情点为中心，以预设长度为边长，在同一表情图像的不同缩放比例下分别为每个所述关键表情点建立比例面部子空间；

比例提取模块，用于在所述比例面部子空间分别提取表情特征。

可选的，比例提取模块，具体可用于通过动态捕捉面部表情，在捕捉到的多帧图像中的所述比例面部子空间分别提取表情特征。

可选的，识别单元63，具体可用于通过分类器对提取到的表情特征进行分类，以识别面部表情。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。

Claims (12)

1.一种表情识别方法，其特征在于，包括：

定位面部各关键表情点，所述关键表情点的覆盖位置包括眉毛、眼睛、鼻子、嘴巴和面颊；

在以各所述关键表情点为中心的面部子空间上分别提取表情特征；

根据提取的所述表情特征识别面部表情。

2.根据权利要求1所述的方法，其特征在于，所述定位面部各关键表情点包括：

通过约束局部模型CLM特征点检测法定位面部各关键表情点。

3.根据权利要求1所述的方法，其特征在于，所述在以各所述关键表情点为中心的面部子空间上分别提取表情特征包括：

以各所述关键表情点为中心，为每个所述关键表情点建立面部子空间；

通过动态捕捉面部表情，在捕捉到的多帧图像中各所述关键表情点对应的矩形面部子空间分别提取表情特征。

4.根据权利要求1所述的方法，其特征在于，所述在以各所述关键表情点为中心的面部子空间上分别提取表情特征包括：

以各所述关键表情点为中心，以预设长度为边长，在同一表情图像的不同缩放比例下分别为每个所述关键表情点建立比例面部子空间；

在所述比例面部子空间分别提取表情特征。

5.根据权利要求4所述的方法，其特征在于，所述在所述比例面部子空间分别提取表情特征具体包括：

通过动态捕捉面部表情，在捕捉到的多帧图像中的所述比例面部子空间分别提取表情特征。

6.根据权利要求1所述的方法，其特征在于，所述根据提取的所述表情特征识别面部表情包括：

通过分类器对提取到的表情特征进行分类，以识别面部表情。

7.一种表情识别装置，其特征在于，包括：

定位单元，用于定位面部各关键表情点，所述关键表情点的覆盖位置包括眉毛、眼睛、鼻子、嘴巴和面颊；

提取单元，用于在以各所述关键表情点为中心的面部子空间上分别提取表情特征；

识别单元，用于根据提取的所述表情特征识别面部表情。

8.根据权利要求7所述的装置，其特征在于，所述定位单元，具体用于通过约束局部模型CLM特征点检测法定位面部各关键表情点。

9.根据权利要求7所述的装置，其特征在于，所述提取单元，包括：

建立模块，用于以各所述关键表情点为中心，为每个所述关键表情点建立面部子空间；

提取模块，用于通过动态捕捉面部表情，在捕捉到的多帧图像中各所述关键表情点对应的矩形面部子空间分别提取表情特征。

10.根据权利要求7所述的装置，其特征在于，所述提取单元，包括：

比例建立模块，用于以各所述关键表情点为中心，以预设长度为边长，在同一表情图像的不同缩放比例下分别为每个所述关键表情点建立比例面部子空间；

比例提取模块，用于在所述比例面部子空间分别提取表情特征。

11.根据权利要求10所述的装置，其特征在于，所述比例提取模块，具体用于通过动态捕捉面部表情，在捕捉到的多帧图像中的所述比例面部子空间分别提取表情特征。

12.根据权利要求7所述的装置，其特征在于，所述识别单元，具体用于通过分类器对提取到的表情特征进行分类，以识别面部表情。