CN106934375A - 基于特征点运动轨迹描述的人脸表情识别方法 - Google Patents

Abstract

本发明提出了一种基于特征点运动轨迹描述的人脸表情识别方法，包括以下步骤：连续拍摄人脸表情变化过程，对得到的人脸图像序列中各帧图像进行人脸区域检测，然后选取人脸区域内的特征点并进行定位；基于所选特征点的坐标信息，挑选其中几个特征点构建脸部坐标系，并将其余特征点的坐标转换到此坐标系中；分情况分析与计算特征点帧间运动斜率；组合各特征点的斜率变化，作为最终的表情特征输入RBF神经网络训练学习，完成人脸表情识别。本发明的技术效果在于：利用特征点在帧间运动斜率的变化描述其运动轨迹，进而实现人脸表情识别。所提出的斜率差异性变化能够剔除个体差异和正面头部姿势变化等因素对人脸表情识别的影响。

Description

基于特征点运动轨迹描述的人脸表情识别方法

技术领域

本发明涉及人脸表情识别，特别涉及基于特征点运动轨迹描述的人脸表情识别方法。

背景技术

情感计算一直是人机交互领域中一个重要的研究方向。为了建立友好和谐的人机交互模式，大量研究者从语音、表情、文本等方面入手，期望以单模或者多模融合的方法实现更好的人机交互效果。其中，面部表情识别是情感计算的一个重要研究方向，近些年也有大量优秀的研究成果涌现，这无疑有力地推动了人机交互研究的快速发展。得益于图像处理，模式识别等领域专家们的不懈努力，在计算机软硬件技术飞速发展的大前提下，基于人脸图像的自动化表情识别在近些年已经取得了显著的成果。Ekman和Friesen提出了高兴、悲伤、惊讶、生气、嫌恶、害怕六种基本表情，并在1978年开发了面部动作编码系统。然而，真正意义上的依靠计算机的自动化人脸表情识别始于上世纪九十年代，许多基于Ekman和Friesen所提理论的研究成果相继出现。当然，也有一些研究者提出六种表情以外的情感模式，这极大的丰富了人脸情感计算研究的内容。为了识别六种基本表情，研究者们所提出的研究大致分为两类：一个是基于外观的方法，另一个就是基于特征的方法。目前所用到的识别特征主要有：灰度特征、运动特征和频率特征三种。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据；运动特征利用了不同表情条件下人脸主要表情点的运动信息来进行识别；频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。具体的表情识别方法也可分为以下三类：一是整体识别法和局部识别法，二是形变提取法和运动提取法，三是几何特征法和容貌特征法。当然，这三个发展方向不是严格独立的，恰恰相反，是相互联系，相互影响的，它们只是从不同角度来提取所需要的表情特征，都提供了一种分析表情的思路。

然而，现有的表情识别方法大都基于人脸纹理图像，对人脸特征点运动序列本身的认识存在局限，主要表现在以下两个方面：

一是对人脸表情序列中的信息未进行明确分类，导致不同类型的信息互相干扰，对准确提取人脸表情特征造成困难，例如，在身份识别研究中，研究者往往希望屏蔽表情变化对识别结果的影响，部分研究者甚至要求被试者保持平静的面部状态，从而规避面部运动的干扰；

二是在人脸表情识别研究中，由于不同个体的面部形状存在较大差异，所表现出的表情幅度必然不同，简单地通过各特征点的位置信息获取表情特征，必然忽略面部形状差异对表情识别结果的影响。

发明内容

为了解决目前人脸表情识别特征提取困难且识别准确率较低的技术问题，本发明提供一种基于特征点运动轨迹描述的人脸表情识别方法。

为了实现上述技术目的，本发明的技术方案是，

一种基于特征点运动轨迹描述的人脸表情识别方法，包括以下步骤：

步骤一，连续拍摄人脸表情变化过程，对得到的人脸图像序列中各帧图像进行人脸区域检测，然后选取人脸区域内的特征点并进行定位；

步骤二，基于所选特征点的坐标信息，挑选其中几个特征点构建脸部坐标系，并将其余特征点的坐标转换到此坐标系中；

步骤三，计算特征点帧间运动斜率；

步骤四，组合各特征点的斜率变化，作为最终的表情特征输入RBF神经网络训练学习，完成人脸表情识别。

所述的一种基于特征点运动轨迹描述的人脸表情识别方法，所述的步骤一中，拍摄共计M帧图像，并选取24个特征点，分别为右眉尾、右眉中、右眉头、右外眼角、右上眼睑、右内眼角、右下眼睑、左眉尾、左眉中、左眉头、左外眼角、左上眼睑、左内眼角、左下眼睑、右鼻翼、左鼻翼、鼻尖、右嘴角、唇珠、左嘴角、下唇尖、右腮、左腮和下巴，各记为其中i表示第i个特征点，m表示第m帧图像；

所述的一种基于特征点运动轨迹描述的人脸表情识别方法，所述的步骤二中，用于构建脸部坐标系的特征点为右内眼角、左内眼角和鼻尖三个特征点，脸部坐标系以右内眼角与左内眼角的连线为X轴，方向为从右到左，鼻尖特征点到此连线的垂线为Y轴，方向为从上到下，垂足为坐标系原点，并将剩余21个特征点的坐标转换到此坐标系中；

所述的一种基于特征点运动轨迹描述的人脸表情识别方法，所述的步骤三中，计算特征点帧间运动斜率的具体步骤为：

取剩余21个特征点，针对位置变化的特征点p_i，计算其相邻两帧间运动轨迹的斜率为

其中为第m帧特征点p_i的坐标，为第m+1帧特征点p_i的坐标。

所述的一种基于特征点运动轨迹描述的人脸表情识别方法，所述的步骤三中，计算特征点帧间运动斜率时，对于仅在Y轴方向发生位移的特征点i，其斜率记为计算得到所有特征点中最大斜率的两倍；位置未变化的特征点，其斜率记为零。

所述的一种基于特征点运动轨迹描述的人脸表情识别方法，所述的步骤四中，组合各特征点的斜率变化作为最终表情特征输入RBF神经网络训练学习的具体步骤包括：

组合剩余各特征点在序列中运动轨迹的斜率，记为集合A_i，表示为并将{A_i}作为最终的人脸表情特征输入RBF神经网络进行训练分类，从而实现人脸表情识别。

本发明的技术效果在于：

1、该方法利用特征点在帧间运动斜率的变化描述其运动轨迹，进而实现人脸表情识别。

2、该方法所提出的斜率差异性变化能够剔除个体差异和正面头部姿势变化等因素对人脸表情识别的影响。

下面结合附图对本发明作进一步说明。

附图说明

图1为本发明人脸表情识别系统框图；

图2为本发明特征点位置图；

图3为本发明脸部坐标系示意图。

具体实施方式

本发明的基本思想是通过摄像头拍摄人脸表情发生过程中的纹理图像序列，再利用主动外观模型进行人脸特征点定位，从中选取所需特征点构建脸部坐标系，计算并组合各特征点帧间运动斜率，得到最终的人脸表情特征，最后通过RBF神经网络实现人脸表情。

根据以上思想，本发明的系统结构框图如图1所示。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，具体阐述本发明的实施方式。应当理解，此处所描述的具体实例仅用以解释本发明，并不用于限定本发明。

1、通过摄像头拍摄人脸从平静状态到表情最大化过程中的纹理图像序列，共计M帧。然后利用主动外观模型对人脸表情序列各帧纹理图像分别进行特征点定位，其中主动外观模型工具来源于OPENCV软件包。特征点定位后，本发明选取其中24点作为最终的特征点，分别为右眉尾、右眉中、右眉头、右外眼角、右上眼睑、右内眼角、右下眼睑、左眉尾、左眉中、左眉头、左外眼角、左上眼睑、左内眼角、左下眼睑、右鼻翼、左鼻翼、鼻尖、右嘴角、唇珠、左嘴角、下唇尖、右腮、左腮、下巴，各记为其中i表示第i个特征点，m表示第m帧图像；具体位置如图2所示，各特征点说明如下表1所示：

表1特征点位置说明

编号	名称	编号	名称	编号	名称	编号	名称
								1	右眉尾	7	右下眼睑	13	左内眼角	19	唇珠
2	右眉中	8	左眉尾	14	左下眼睑	20	左嘴角
								3	右眉头	9	左眉中	15	右鼻翼	21	下唇尖
4	右外眼角	10	左眉头	16	鼻尖	22	右腮
								5	右上眼睑	11	左外眼角	17	左鼻翼	23	左腮
6	右内眼角	12	左上眼睑	18	右嘴角	24	下巴

2、构建脸部坐标系，目的在于剔除由于头部姿势变化而导致的特征点位置抖动，这种波动并不是由于表情的产生而出现。实验发现，在人脸表情发生过程中，右内眼角、左内眼角、鼻尖三个特征点的相对位置均未发生变化，以它们构建脸部坐标系最具说服力。如图3所示，构建的坐标系以右内眼角与左内眼角的连线为X轴，方向为从右到左，鼻尖特征点到此连线的垂线为Y轴，方向为从上到下，垂足为坐标系原点。

3、记第m帧特征点p_i的坐标为第m+1帧特征点p_i的坐标为则此特征点运动斜率通过下式求得

计算过程中，存在以下两种特殊情况：

情况一，特征点位置未发生移动，此时记其运动斜率为零；

情况二，特征点仅在Y轴方向发生位移，则暂先跳过此特征点运动斜率的计算，待所有特征点运动斜率计算完毕之后，从中求出斜率的最大值，而所有被跳过特征点的斜率均记为此最大值的两倍。

Claims (6)

1.一种基于特征点运动轨迹描述的人脸表情识别方法，其特征在于，包括以下步骤：

步骤一，连续拍摄人脸表情变化过程，对得到的人脸图像序列中各帧图像进行人脸区域检测，然后选取人脸区域内的特征点并进行定位；

步骤二，基于所选特征点的坐标信息，挑选其中几个特征点构建脸部坐标系，并将其余特征点的坐标转换到此坐标系中；

步骤三，计算特征点帧间运动斜率；

步骤四，组合各特征点的斜率变化，作为最终的表情特征输入RBF神经网络训练学习，完成人脸表情识别。

2.根据权利要求1所述的一种基于特征点运动轨迹描述的人脸表情识别方法，其特征在于，所述的步骤一中，拍摄共计M帧图像，并选取24个特征点，分别为右眉尾、右眉中、右眉头、右外眼角、右上眼睑、右内眼角、右下眼睑、左眉尾、左眉中、左眉头、左外眼角、左上眼睑、左内眼角、左下眼睑、右鼻翼、左鼻翼、鼻尖、右嘴角、唇珠、左嘴角、下唇尖、右腮、左腮和下巴，各记为其中i表示第i个特征点，m表示第m帧图像。

3.根据权利要求2所述的一种基于特征点运动轨迹描述的人脸表情识别方法，其特征在于，所述的步骤二中，用于构建脸部坐标系的特征点为右内眼角、左内眼角和鼻尖三个特征点，脸部坐标系以右内眼角与左内眼角的连线为X轴，方向为从右到左，鼻尖特征点到此连线的垂线为Y轴，方向为从上到下，垂足为坐标系原点，并将剩余21个特征点的坐标转换到此坐标系中。

4.根据权利要求3所述的一种基于特征点运动轨迹描述的人脸表情识别方法，其特征在于，所述的步骤三中，计算特征点帧间运动斜率的具体步骤为：

取剩余21个特征点，针对位置变化的特征点p_i，计算其相邻两帧间运动轨迹的斜率为

其中为第m帧特征点p_i的坐标，为第m+1帧特征点p_i的坐标。

5.根据权利要求4所述的一种基于特征点运动轨迹描述的人脸表情识别方法，其特征在于，所述的步骤三中，计算特征点帧间运动斜率时，对于仅在Y轴方向发生位移的特征点i，其斜率记为计算得到所有特征点中最大斜率的两倍；位置未变化的特征点，其斜率记为零。

6.根据权利要求4所述的一种基于特征点运动轨迹描述的人脸表情识别方法，其特征在于，所述的步骤四中，组合各特征点的斜率变化作为最终表情特征输入RBF神经网络训练学习的具体步骤包括：

组合剩余各特征点在序列中运动轨迹的斜率，记为集合A_i，表示为并将{A_i}作为最终的人脸表情特征输入RBF神经网络进行训练分类，从而实现人脸表情识别。