CN102945361B - 基于特征点矢量与纹理形变能量参数的人脸表情识别方法 - Google Patents

Abstract

本发明提出了一种基于特征点矢量与纹理形变能量参数的人脸表情识别方法，概括为：1、利用OPENCV的AAM工具对人脸表情序列始端的中性表情和末端表情分别进行特征点定位；2、将选取的26个特征点构成特征点矢量，为适应人脸表情识别，本发明将特征点矢量分为特征点之间的欧氏距离d（代表大小）和连线的夹角α（代表方向）两部分。根据d与α计算特征点之间的距离系数比k_d，去掉冗余部分k_l，得到k_d‑final。同理可以得到k_α‑final；3、根据特征点确立特征块，计算纹理形变能量系数矩阵，再经过PCA，最终得到纹理形变能量参数k_s‑final；4、将最终的特征输入，即：k_final=k_d‑final+k_α‑final+k_s‑final作为RBF神经网络的训练数据，最终实现人脸表情识别。

Description

基于特征点矢量与纹理形变能量参数的人脸表情识别方法

（一）技术领域

本发明涉及一种人脸表情识别方法，尤其是基于特征点与特征块的人脸表情特征提取方法，属于人脸表情识别领域。

（二）背景技术

情感识别一直是人机交互领域中一个重要的研究方向。为了建立友好和谐的人机交互模式，大量研究者从语音，面部表情，文本等方面入手，期望以单模或者多模融合的方法实现更好的人机交互效果。其中，面部表情识别是情感识别的一个重要研究方向，近些年也有大量优秀的研究成果涌现，这无疑有力地推动了人机交互研究的快速发展。感谢图像处理，模式识别等领域专家们的不懈努力，在计算机软硬件技术飞速发展的大前提下，基于面部表情的自动化情感识别在最近些年已经取得了显著的成果。Ekman和Friesen提出了高兴、悲伤、惊讶、生气、嫌恶、害怕这6种基本表情，并在1978年开发了面部动作编码系统。然而，真正意义上的依靠计算机的自动化人脸表情识别始于上世纪九十年代，许多基于Ekman和Friesen所提理论的研究成果相继出现。当然，也有一些研究者提出6种情感以外的情感模式，这极大的丰富了人脸情感识别研究的内容。为了识别这6种基本情感，研究者们所提出的研究方向大致分为两个主要的分支：一个是基于外观的方法，另一个就是基于特征的方法。目前所用到的识别特征主要有：灰度特征、运动特征和频率特征三种。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据；运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别；频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。具体的表情识别方法主要有三个：一是整体识别法和局部识别法，二是形变提取法和运动提取法，三是几何特征法和容貌特征法。当然，这三个发展方向不是严格独立的，恰恰相反，是相互联系，相互影响的，它们只是从不同侧面来提取所需要的表情特征，都只是提供了一种分析表情的思路。在此，本发明着重于基于纹理与基于特征两方面进行说明。

目前在人脸表情识别领域，结合人脸结构特征与纹理信息，并且考虑个体差异对人脸表情识别结果的影响，这样的方法还比较少，这在一定程度上制约了人脸表情识别研究的进一步发展。结合特征点矢量和纹理形变能量参数的人脸表情识别方法能够很好的解决这一问题。因此，提出这样一种有效的人脸表情识别方法具有很强的现实意义。

（三）发明内容

本发明创新性地给出了特征点矢量与纹理形变能量参数的概念，提出一种基于两者结合的人脸表情识别方法。

本发明的主要内容为：对人脸表情样本进行特征点定位，根据选取的特征点计算特征点矢量与纹理形变能量参数，然后通过RBF神经网络训练学习，完成七种人脸表情（高兴、悲伤、惊讶、生气、嫌恶、害怕、中性）识别。

该方法的具体步骤如下：

步骤1：利用OPENCV的AAM工具对人脸表情序列始端的中性表情和末端的惊讶表情（任为六种基本表情之一，以惊讶为例说明）分别进行特征点定位。

步骤2：将选取的特征点构成特征点矢量。矢量有大小和方向，为适应人脸表情识别，本发明将特征点矢量分为特征点之间的欧氏距离d（代表大小）和连线的夹角α（代表方向）两部分。根据d与α计算特征点之间的距离系数比k_d，去掉冗余部分k_l，得到k_d-final。同理可以得到k_α-final。

步骤3：根据特征点确立特征块，计算纹理形变能量系数矩阵，再经过PCA，最终得到纹理形变能量参数k_s-final。

步骤4：将最终的特征输入，即：k_final=k_d-final+k_a-final+k_s-final作为RBF神经网络的训练数据，最终实现人脸表情识别。

本发明提供的人脸表情识别方法，其优点和积极效果在于：

1该方法基于人脸结构特征与纹理信息相结合的角度进行人脸表情识别。

2该方法考虑不同个体之间的差异，解决了个性信息，光照，小范围头部姿势等因素对人脸表情识别的影响。

（四）附图说明

图1人脸表情识别系统框图

图2特征点定位图

图3纹理形变能量参数获取图

图4 RBF神经网络结构图

（五）具体实施方式

本发明的基本思想是通过AAM对人脸特征点进行定位，根据选取所需的26个特征点，计算特征点向量与纹理形变能量参数并进行整合，最后通过RBF神经网络实现人脸表情（高兴、悲伤、惊讶、生气、嫌恶、害怕、中性）识别的目的。

根据以上思想，本发明的系统结构框图如图1所示。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，具体阐述本发明的实施方式。应当理解，此处所描述的具体实例仅用以解释本发明，并不用于限定本发明。

1、在获取特征点矢量与特征块之前，利用AAM对人脸表情序列始端的中性表情和末端的惊讶表情（任为六种基本表情之一，以惊讶为例说明）分别进行特征点定位，其中AAM工具来源于OPENCV软件包。特征点定位后，本发明选取其中26点作为最终的特征点，具体位置如图2所示，具体说明如下。

2、计算特征点矢量。根据特征点构造特征点矢量，计算特征点之间的距离和特征点连线的夹角和对所得距离与夹角进行标准化，即 再将所有表情条件下，上述两个比值不会发生变化或者变化很小的冗余特征去除，最终参与后续训练分类实验的特征输入记为k_d-final和k_α-final。

3、计算纹理形变能量参数，如图3所示。选取参与计算的两个特征块记为F_15,16,9,2和F_3，10,13,6，其中下标表示特征点标号。首先对特征块进行大小调整。考虑特征块内的纹理信息对特征点位置较为敏感，本发明对调整大小后的特征块进行傅里叶变换；随后，将得到的惊讶与中性频谱图相比，则得到比例系数矩阵，再转化为系数向量；系数向量组合后再进行PCA，最终得到纹理形变能量参数，记为k_s-final。

4、结合人脸表情识别各部分输入特征，即k_final=k_d-final+k_α-final+k_s-final。

5、本发明将RBF神经网络（如图4所示）的输出端设置为一个节点，值可为1、2、3、4、5、6、7，相应地表示为高兴、悲伤、惊讶、嫌恶、害怕、中性7种常见表情。将计算得到的各表情序列的k_final作为RBF神经网络的训练数据，最终实现人脸表情识别。

Claims (1)

1.基于特征点矢量与纹理形变能量参数的人脸表情识别方法，其主要特征在于：

步骤1：利用OPENCV的AAM工具对人脸表情序列始端的中性表情和末端的惊讶表情分别进行特征点定位，最后选取52个特征点记为与其中i为1至26中任意整数；

步骤2：将选取的特征点构成特征点矢量，为适应人脸表情识别，将特征点矢量分为代表大小的特征点之间的欧氏距离d和代表方向的连线夹角α两部分，计算特征点之间的距离和特征点连线的夹角和然后对所得距离与夹角进行标准化，即计算特征点之间的距离系数比k_d，使之等于计算特征点连线夹角之间的系数比k_α，使之等于再将所有表情条件下两个比值不会发生变化或者变化很小的冗余特征k_l去除，最终参与后续训练分类实验的特征输入记为k_d-final和k_α-final；

步骤3：根据特征点确立特征块，选取两个特征块记为F_15,16,9,2和F_3,10,13,6，其中下标表示特征点标号，调整特征块大小后，对特征块进行傅里叶变换；随后，将得到的惊讶与中性频谱图相比，则得到比例系数矩阵，再转化为系数向量；最后，系数向量组合后再进行主成分分析，得到纹理形变能量参数，记为k_s-final；

步骤4：将最终的输入特征，即：k_final＝k_d-final+k_α-final+k_s-final作为RBF神经网络的训练数据，从而实现人脸表情识别。