CN104123545A - 一种实时表情特征提取及表情识别方法 - Google Patents

Abstract

本发明涉及一种实时表情特征提取及识别方法，包括以下步骤：运用Kinect从实时视频数据中追踪人脸、提取面部运动单元信息AUs和特征点坐标FPPs；然后，将这两类特征信息并行处理，在它们各自的特征通道中，特征数据经7元1-vs-1分类器组进行预识别，将得到的预识别结果存入缓存用于情感置信统计，置信度最高的即为此通道中的表情识别结果，最后，融合AUs和FPPs这两个特征通道的结果即可得到最终的表情识别结果。本发明解决了常用的表情识别方法速度和精度不理想的问题，基于Kinect提取的面部特征，可实现实时高精度表情识别。

Description

一种实时表情特征提取及表情识别方法

技术领域

本发明涉及一种实时表情特征提取及识别方法，特指一种基于Kinect提取的面部运动单元及特征点坐标信息识别表情的方法。

背景技术

近二十年来，随着人工智能与模式识别技术的迅猛发展，关于面部表情识别技术的研究得到了研究者们的广泛关注。现如今，其应用已广泛覆盖各领域，如：游戏、安全、情感计算和人机交互。

传统的表情识别方法还存在着着很大的局限性。在识别精度方面，大部分研究都是基于普通摄像头的，只能采集平面的2D图像。然而人脸是存在于三维空间中的物体，用2D图像描述3D的人脸必然会造成一些重要信息的丢失，这在很大程度上会影响表情识别的精度；在识别速度方面，由于设备、算法等方面的原因，2D环境下的识别往往很慢，平均每张人脸图像大约需要几秒甚至十几秒，无法达到实时性要求。

在Xiangxin Zhu等名为“Face Detection,Pose Estimation,and LandmarkLocalization in the Wild”的论文中，他们提出了一种基于2D图像定位自然环境中人脸特征点的方法，其精度达到了十分先进的水平，可计算量较大，在本发明的实验机器上定位一张2D图上的人脸特征点平均需13.9秒。

传统的表情识别方法在识别精度和速度有待进一步提高。

本发明为了克服现有技术缺陷，通过引入Kinect这一高速3D摄像设备提取面部特征，并针对这些特征提出了一整套切实可行的表情识别算法，大大提高了识别精度与速度。

发明内容

本发明的目的在于提供一种实时表情特征提取及表情识别方法，以提高表情识别精度和速度。

为了解决以上技术问题，本发明提出一种基于Kinect的实时表情信息提取及识别方法，具体技术方案如下：

一种实时表情特征提取方法，其特征在于包括下列步骤：

步骤一，制定基于Kinect的表情特征数据库规范，包括表情表现规范、录制规范及特征文件命名规范；

步骤二，收集表情特征数据：运用Face Tracking改编的录制软件从Kinect的实时视频流中追踪人脸并提取运动单元信息即AUs和特征点坐标信息即FPPs，每次记录的数据包括RGB图、AUs和FPPs，具体过程如下：

过程一，记录表情表现者的个人信息即编号，并要求表情表现者在距离Kinect合适位置上1-1.5m处以标准的方式做表情，表情表现者以制定的表情及面部姿态表现某一表情，每种表情在每个面部姿态下，重复20遍；

过程二，表情表现者对录制的RGB图进行个人评价，当录制的RGB图符合表情表现者的表达意愿，则将RGB图、AUs和FPPs记录下来，否则重复过程一；

过程三，分别以愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶7种表情,和5种面部姿态即当前面部与正面人脸的夹角分别为0°,±15°,±30°时的姿态，重复所述过程一和过程二；

过程四，更换表情表现者，重复所述过程一至过程三，去除重复数据，得到10名表情表现者实验所获得的6000组数据；

步骤三，表情有效性评测，即有区别于表情表现者至少10名测评者对过程四中得到的数据组中的RGB图进行主观测评实验，如测评者肯定RGB图表现的有效性，则认为提取的AUs和FPPs是有效的。

根据所述的一种实时表情特征提取方法的表情识别方法，其特征在于包括以下步骤：

步骤一，基于AUs识别表情的步骤，具体包括以下过程：

过程一，训练基于AUs的情感模型，将某x类AUs的标签置为1，其它类别AUs的标签均置为-1，然后运用这些标记过的AUs训练SVM模型用于识别给定的AUs是否属于x类，如果是属于x类，输出1，否则输出-1；

过程二，更换x类的类别，重复过程一，得到愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶对应7种不同表情的AUs情感模型，用于组建7元1-vs-1SVM分类器组，给定实时AUs，输出7个预识别结果；

过程三，将每一帧表情图像的AUs输入过程二训练好的7元1-vs-1 SVM分类器组中，得到每一帧表情图像的预识别结果，每帧表情图像的预识别结果被存储在缓冲存储器BM-AUs中；

过程四，采用情感置信分布图对BM-AUs中连续30帧表情图像的预识别结果进行融合，情感置信分布图中最高置信度所对应的表情即为所述连续30帧表情图像的基于AUs得到的表情预识别结果；

步骤二，基于FPPs识别表情的步骤，具体包括以下过程：

过程一，训练基于FPPs的情感模型，将某x类FPPs的标签置为1，其它类别FPPs的标签均置为-1，然后运用这些标记过的FPPs训练SVM模型用于识别给定的FPPs是否属于x类，如果是属于x类，输出1，否则输出-1；

过程二，更换x类的类别，重复过程一，得到愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶对应7种不同表情的FPPs情感模型，用于组建7元1-vs-1SVM分类器组，对于给定实时FPPs可输出7个预识别结果；

过程三，将每一帧表情图像的FPPs输入过程二训练好的7元1-vs-1 SVM分类器组中，得到每一帧表情图像的预识别结果，每帧表情图像的预识别结果被存储在缓冲存储器BM-FPPs中；

过程四，采用情感置信分布图对BM-FPPs中连续30帧表情图像的预识别结果进行融合，情感置信分布图中最高置信度所对应的表情即为该连续30帧表情图像的基于FPPs得到的表情预识别结果；

步骤四，比较基于AUs得到的表情预识别结果的置信度和基于FPPs得到的表情预识别结果的置信度，将拥有较高置信度的表情预识别结果作为当前连续30帧表情图像的最终识别结果。

本发明具有有益效果

1.本发明通过融合基于AUs和FPPs的RGB特征和深度特征，成功解决了基于传统方法难以达到高精度实时表情识别的问题，凭借Kinect实现了高精度实时表情识别。

2.本发明充分考虑情感表达的非瞬时性，通过统计连续30帧即1秒内图像所表现的表情，得到了融合的表情预识别结果。

3.本发明通过融合基于不同类型表情特征得到的识别结果，最终得到了更为可靠的识别结果。

附图说明

图1是本发明基于Kinect的实时表情识别方法流程图；

图2是本发明单独运用一类特征识别表情的方法演示图，以AUs特征为例；

图3是本发明AUs特征在人脸上的展示图；

图4是本发明在自行录制的数据库上的识别准确率结果图。

具体实施方式

下面结合附图和具体实施例，对本发明的技术方案做进一步详细说明。

图1给出了本发明的总体思路，运用Kinect从实时视频数据中追踪人脸、提取面部运动单元信息即AUs和特征点坐标即FPPs，然后，将这两类特征信息并行处理，在它们各自的特征通道中，特征数据经7元1-vs-1 SVM分类器组进行预识别，将得到的连续30帧表情图像的预识别结果存入缓存用于情感置信统计，置信度最高的即为此通道中连续30帧表情图像的表情预识别结果，最后，融合AUs和FPPs这两个特征通道的结果即可得到最终的表情识别结果。

图2以AUs通道为例演示了基于AUs识别表情的方法。从每帧图像提取的AUs首先经由7元1-vs-1 SVM分类器组进行预识别，其中每个子分类器对应一种表情，可判断输入的AUs是否符合此表情，如果是，输出1，否则，输出-1，对应7类表情的7元预识别结果以图中形式存储在缓存队列中，经情感置信统计，置信度最高的即为基于AUs得到的表情识别结果。在本示例中，拥有最大置信度的是愤怒，因此，愤怒是该表情图像基于AUs得到的表情识别结果。

图3中的人脸网格图是由Face tracking定义的121个特征点联接而成，本发明选取了与表情最为相关的及其它一些重要部分的特征点，最终得到45个主要关于眼睛、眉毛和嘴部的3D特征点。AUs包含6个面部运动单元信息，如图3中所示。

运用AUs和FPPs可分别训练得到一个7元1-vs-1 SVM分类器组，其中各子分类器在数据库内的识别率如图4所示。

由于现实中人的表情变化是个动态过程，并且这一过程不可能如同帧的刷新那么迅速，因此，综合判断一段连续帧中的信息显然更为合理。本发明识别系统中图像的刷新频率为30帧/秒，可实时对连续30帧即1秒内表现的表情进行识别。

本发明主要分为两部分：基于Kinect的实时表情特征提取方法和实时表情识别方法。

一、基于Kinect的实时表情特征提取方法，该方法步骤如下：

步骤1，制定表情特征数据库规范

在表情特征数据库的整个录制过程中的每一步都应遵从特定的规范，包括表情表现规范、录制规范及特征文件命名规范等。根据表情研究的应用需求，具体涉及到的制作规范和含义如下：

(1)表情表现规范

为了使提取的表情特征有较好的可区分性，要求表情表现者尽量以大的变化幅度做表情，表现内容包括5种面部姿态即当前面部与正面人脸的夹角分别为0°,±15°,±30°时的姿态下的7种表情即愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶；

(2)录制规范

为了使实验更切合实际环境，录制的场所并不固定，对光照条件也无特殊要求，只要充足即可，录制设备为传感器Kinect For Windows以及配置为Interdual-core,2.8GHz CPU,4G RAM的电脑一台,录制软件是基于配套开发工具FaceTracking SDK编写的，以便记录指定的特征；

(3)特征文件命名规范

为了方便表情特征数据的组织和检索，对单个表情特征有直观的描述，设计了特征文件命名规范。由于AUs和FPPs是分开处理的，为了简化，在命名时不对特征类型进行区别，而将不同类型的特征放在不同文件夹中。文件名由表情类别、表情表现者编号以及面部姿态3种信息构成，如：1号表情表现者表现愤怒的表情，且其面部姿态为向左15°，特征文件命名应为“anger 115”，此文件内集合了所有符合此描述的特征，并且每组特征数据都标有相应的录制时间以进行区分和方便查找。与AUs、FPPs相对应的RGB图名称以上述命名方法附加时间命名，如：“anger 10 11.2912时08分41秒538.bmp”。

步骤2：收集表情特征数据

运用编写的录制软件可从Kinect的实时视频流中追踪人脸并提取AUs和FPPs。每次记录的数据包括：RGB图、AUs、FPPs；

每个AU的取值在[-1,1]内，从每帧图像中提取的AUs可表示为6元向量:

$\stackrel{\‾}{a}=(A_1,A_2,A_3,A_4,A_5,A_6)---\left(1\right)$

原始的Face Tracking SDK追踪121个面部3D特征点，其中具有代表性且有命名的为71个，我们主要选取与表情最为相关的特征点，最终得到45个关于眼睛、眉毛和嘴部的3D特征点，每个特征点其坐标表示为(X,Y,Z)，从每帧图像中提取的FPPs可表示为一个135维向量：

$\stackrel{\‾}{b}=((X_1,Y_1,Z_1),(X_2,Y_2,Z_2),...,(X_{45},Y_{45},Z_{45}))---\left(2\right)$

录制的具体步骤如下：

1)记录表情表现者的个人信息，并要求表情表现者在距离Kinect合适位置上(1-1.5m)以尽量标准的方式做表情，表情表现者以指定的表情及面部姿态表现某一表情，每种表情在每个面部姿态下重复20遍；

2)表情表现者对录制的RGB图进行个人评价，如符合表情表现者的表达意愿，则将RGB图、AUs和FPPs记录下来，否则重复步骤1)；

3)分别以愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶7种表情和5种面部姿态即当前面部与正面人脸的夹角为0°,±15°,±30°，重复步骤1)和步骤2)；

4)更换表情表现者重复步骤1)至步骤3)，去除重复数据，得到10名表情表现者，约6000组数据。

步骤3：表情有效性评测，即由区别于表情表现者至少10名测评者对步骤4)得到的数据组中的RGB图像进行主观测评实验，如测评者肯定RGB图像表现内容的有效性，则提取的AUs、FPPs也是有效的。

二、基于Kinect的实时表情识别方法，步骤如下：

步骤1：获取实时特征，运用基于Face Tracking编写的识别程序，从Kinect实时视频流中获取每帧图像中的AUs、FPPs；

步骤2：基于AUs识别表情

1)创建AUs情感数据库，将录制的AUs按照表情类别的不同分为7类；

2)训练AUs情感模型，将某x类AUs的标签置为1，其它类别AUs的标签均置为-1，然后运用这些标签过的AUs训练SVM模型，此SVM模型便可用于识别给定的AUs是否属于x类，如果是，输出1，否则输出-1，此时输出的识别结果可记为L_AUs(i|j)，其中i(i＝1,2…7)代表7种表情的编号，j(j＝1,2…)代表帧的序列号；

3)更换x的类别重复步骤2)，得到7个对应不同表情的AUs情感模型，将它们用于组建7元1-vs-1分类器组，对于给定实时AUs可输出7元预识别结果(L_AUs(1|j)，L_AUs(2|j),…,L_AUs(7|j))；

4)对于AUs，每帧的预识别结果将存储在缓冲存储器BM-AUs中，用情感置信分布图融合BM-AUs中连续30帧表情图像的预识别结果即可得到对各表情的置信度C_AUs(i)(i＝1,2…7)，其初始值为0，可表示为：

$C_{\mathrm{AUs}}\left(i\right)=\left\{\begin{array}{c}{C}_{\mathrm{AUs}}\left(i\right)+L_{\mathrm{AUs}}\left(i\right|j),0<j\&le;30\\ C_{\mathrm{AUs}}\left(i\right)+L_{\mathrm{AUs}}\left(i\right|j)-L_{\mathrm{AUs}}\left(i\right|(j-30)),j>30\end{array}\right.(i=\mathrm{1,2}...7;j=\mathrm{1,2}...)---\left(3\right)$

BM-AUs的功能类似于一个长度为30的队列，它实时存储最新连续30帧的预识别结果，当总的帧数还未超过30时，识别结果L_AUs(i|j)(1或-1)将直接累计至C_AUs(i)；当总的帧数超过30时，累计最新的识别结果L_AUs(i|j)(i＝1,2…7)之前应先将30帧之前的识别结果L_AUs(i|(j-30))出队；

5)情感置信分布图中具有最高置信度MC_AUs对应的表情类别即为基于AUs得到的表情识别结果。MC_AUs可表示为：

MC_AUs＝max{C_AUs(i):i＝1,2,...,7}   (4)

步骤3：基于FPPs识别表情

1)创建FPPs情感数据库，将录制的FPPs按照情感类别的不同分为7类；

2)训练FPPs情感模型，将某x类FPPs的标签置为1，其它类别FPPs的标签均置为-1，然后运用这些标签过的FPPs训练SVM模型，此SVM模型便可用于识别给定的FPPs是否属于x类，如果是，输出1，否则输出-1，此处输出的识别结果可记为L_FPPs(i|j)，其中i(i＝1,2…7)代表7种表情的编号，j(j＝1,2…)代表帧的序列号；

3)更换x的类别重复步骤2)，得到7个对应不同表情的FPPs情感模型，将它们用于组建一个7元1-vs-1 SVM分类器组，对于给定实时FPPs可输出7元预识别结果(L_FPPs(1|j)，L_FPPs(2|j),…,L_FPPs(7|j))；

4)对于FPPs，每帧的预识别结果将存储在缓冲存储器BM-FPPs中，用情感置信分布图融合BM-FPPs中连续30帧表情图像的预识别结果即可得到对各表情的置信度C_FPPs(i)(i＝1,2…7)，其初始值为0，可表示为：

$C_{\mathrm{FPPs}}\left(i\right)=\left\{\begin{array}{c}{C}_{\mathrm{FPPs}}\left(i\right)+L_{\mathrm{FPPs}}\left(i\right|j),0<j\&le;30\\ C_{\mathrm{FPPs}}\left(i\right)+L_{\mathrm{FPPs}}\left(i\right|j)-L_{\mathrm{FPPs}}\left(i\right|(j-30)),j>30\end{array}\right.(i=\mathrm{1,2}...7;j=\mathrm{1,2}...)---\left(5\right)$

BM-FPPs的功能类似于一个长度为30的队列，它实时存储最新连续30帧表情图像的预识别结果，当总的帧数还未超过30时，识别结果L_FPPs(i|j)(1或-1)将直接累计至C_FPPs(i)；当总的帧数超过30时，累计最新的识别结果L_FPPs(i|j)(i＝1,2…7)之前应先将30帧前的识别结果L_FPPs(i|(j-30))出队；

5)情感置信分布图中最高置信度MC_FPPs对应的表情类别即为基于FPPs得到的表情识别结果。MC_FPPs可表示为：

MC_FPPs＝max{C_FPPs(i):i＝1,2,...,7}   (6)

步骤4：融合基于AUs和FPPs得到的表情预识别结果，比较这两个结果的置信度，拥有最高置信度FE的表情类别即为对当前连续30帧表情图像的最终表情识别结果，FE可表示为：

FE＝max{MC_AUs,MC_FPPS}   (7)。

Claims (2)

1.一种实时表情特征提取方法，其特征在于包括下列步骤：

步骤一，制定基于Kinect的表情特征数据库规范，包括表情表现规范、录制规范及特征文件命名规范；

步骤二，收集表情特征数据：运用Face Tracking改编的录制软件从Kinect的实时视频流中追踪人脸并提取运动单元信息即AUs和特征点坐标信息即FPPs，每次记录的数据包括RGB图、AUs和FPPs，具体过程如下：

过程一，记录表情表现者的个人信息即编号，并要求表情表现者在距离Kinect合适位置上1-1.5m处以标准的方式做表情，表情表现者以制定的表情及面部姿态表现某一表情，每种表情在每个面部姿态下，重复20遍；

过程二，表情表现者对录制的RGB图进行个人评价，当录制的RGB图符合表情表现者的表达意愿，则将RGB图、AUs和FPPs记录下来，否则重复过程一；

过程三，分别以愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶7种表情,和5种面部姿态即当前面部与正面人脸的夹角分别为0°,±15°,±30°时的姿态，重复所述过程一和过程二；

过程四，更换表情表现者，重复所述过程一至过程三，去除重复数据，得到10名表情表现者实验所获得的6000组数据；

步骤三，表情有效性评测，即有区别于表情表现者至少10名测评者对过程四中得到的数据组中的RGB图进行主观测评实验，如测评者肯定RGB图表现的有效性，则认为提取的AUs和FPPs是有效的。

2.根据权利要求1所述的一种实时表情特征提取方法的表情识别方法，其特征在于包括以下步骤：

步骤一，基于AUs识别表情的步骤，具体包括以下过程：

过程一，训练基于AUs的情感模型，将某x类AUs的标签置为1，其它类别AUs的标签均置为-1，然后运用这些标记过的AUs训练SVM模型用于识别给定的AUs是否属于x类，如果是属于x类，输出1，否则输出-1；

过程二，更换x类的类别，重复过程一，得到愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶对应7种不同表情的AUs情感模型，用于组建7元1-vs-1SVM分类器组，给定实时AUs，输出7个预识别结果；

过程三，将每一帧表情图像的AUs输入过程二训练好的7元1-vs-1 SVM分类器组中，得到每一帧表情图像的预识别结果，每帧表情图像的预识别结果被存储在缓冲存储器BM-AUs中；

过程四，采用情感置信分布图对BM-AUs中连续30帧表情图像的预识别结果进行融合，情感置信分布图中最高置信度所对应的表情即为所述连续30帧表情图像的基于AUs得到的表情预识别结果；

步骤二，基于FPPs识别表情的步骤，具体包括以下过程：

过程一，训练基于FPPs的情感模型，将某x类FPPs的标签置为1，其它类别FPPs的标签均置为-1，然后运用这些标记过的FPPs训练SVM模型用于识别给定的FPPs是否属于x类，如果是属于x类，输出1，否则输出-1；

过程二，更换x类的类别，重复过程一，得到愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶对应7种不同表情的FPPs情感模型，用于组建7元1-vs-1SVM分类器组，对于给定实时FPPs可输出7个预识别结果；

过程三，将每一帧表情图像的FPPs输入过程二训练好的7元1-vs-1 SVM分类器组中，得到每一帧表情图像的预识别结果，每帧表情图像的预识别结果被存储在缓冲存储器BM-FPPs中；

过程四，采用情感置信分布图对BM-FPPs中连续30帧表情图像的预识别结果进行融合，情感置信分布图中最高置信度所对应的表情即为该连续30帧表情图像的基于FPPs得到的表情预识别结果；

步骤四，比较基于AUs得到的表情预识别结果的置信度和基于FPPs得到的表情预识别结果的置信度，将拥有较高置信度的表情预识别结果作为当前连续30帧表情图像的最终识别结果。