CN106940792A - 基于特征点运动的人脸表情序列截取方法 - Google Patents

Abstract

本发明提出了一种基于特征点运动的人脸表情序列截取方法，包括：1、对拍摄得到的人脸图像序列中各帧图像进行人脸区域检测及特征点定位；2、从特征点集合中选择特征点，并记录它们在帧内的空间位置信息；3、针对随表情发生过程中相对位置发生变化的特征点，计算它们两两之间的欧氏距离，并拟合所求欧氏距离在帧间的变化折线；4、在所得变化折线中确定变化起始点记为平静状态，变化回归点记为表情强度最大化状态，两点之间即为所截取的人脸表情序列。本发明的技术效果在于：利用表情发生过程人脸特征点空间位置信息变化而进行的人脸表情序列截取。能够实现自动化，且计算简单，解决了人脸个性信息与头部姿势变化等因素对表情序列截取的影响。

Description

基于特征点运动的人脸表情序列截取方法

技术领域

本发明属于人脸表情识别领域，特别涉及一种基于特征点运动的人脸表情序列截取方法。

背景技术

作为人工智能一个重要的研究方向，人脸表情识别涉及多个研究领域，包括图像处理、动态建模、机器视觉、模式识别等。人类对人脸表情识别的研究，最早可以追溯到上世纪70年代，美国心理学家Ekman和Friesen提出了高兴、悲伤、惊讶、生气、嫌恶、害怕6种基本表情，并开发了面部动作编码系统用于揭示人脸表情的变化规律。上世纪九十年代，人类开始利用自己发明的计算机，努力探索自动化的人脸表情识别方法，大量基于Ekman和Friesen所提理论的优秀研究成果相继出现。近年来，随着计算机技术的飞速发展，人脸表情识别已经成为各行业的研究热点，所提方法大致归纳为两类：一是基于静态人脸图像的方法，二是基于动态视频序列的方法。传统的基于静态人脸图像的表情识别方法，主要是利用各种表情状态下图像纹理的差异来获取识别的依据，优点是数据量少，识别速度快。然而心理学家表明，相比于静态图像，人类通过动态视频来识别表情的效果更为理想。

在表达某一情感时，人脸表情都会从平静过度到强度最大化，再回归到平静。这一规律决定基于动态视频序列的人脸表情识别方法，非常依赖于两帧人脸图像(平静状态、表情强度最大化状态)的抽取。从具有连续表情变化的人脸图像序列中准确且省时地抽取两帧图像，已经成为人脸表情识别成功的基石。然而，研究者们大都依赖于自己的主观判断，手动选取上述两帧图像，这缺乏有效的理论支持，且不适合应用推广。也有部分研究者尝试从人脸特征的能量变化角度出发，确定表情发生过程中的平静时刻及表情强度最大化时刻，但此类方法计算复杂，且易受光照，姿态等因素的影响。

发明内容

为了有效解决上述问题，本发明提出基于特征点运动的人脸表情序列截取方法，具有理论创新和实际应用的双重价值，对人工智能及人机交互的发展具有重要推动作用。

为了实现上述技术目的，本发明的技术方案是，

一种基于特征点运动的人脸表情序列截取方法，包括以下步骤：

步骤一：连续拍摄人脸表情变化过程，对得到的人脸图像序列中各帧图像进行人脸区域检测，然后选取人脸区域内的特征点并进行定位；

步骤二：基于帧内所选特征点的空间位置信息，计算帧间位置信息发生变化的特征点两两之间的欧氏距离；

步骤三：拟合特征点两两之间欧氏距离在帧间的变化折线；

步骤四：在所得变化折线中以变化起始点记为平静状态，变化回归点记为表情强度最大化状态，两点之间即为所截取的人脸表情序列。

所述的一种基于特征点运动的人脸表情序列截取方法，所述的步骤一中，对人脸图像序列进行人脸区域检测的具体步骤为：

基于类Haar小波和权值修剪AdaBoost算法进行人脸检测，然后基于矩形特征、肤色检测和Camshift跟踪的方法，实现鲁棒的人脸跟踪，提取各帧图像的人脸区域。

所述的一种基于特征点运动的人脸表情序列截取方法，所述的步骤一中，选取人脸区域内的特征点的具体步骤为：

选取图像中人脸区域部分中的24个特征点，分别为右眉尾、右眉中、右眉头、右外眼角、右上眼睑、右内眼角、右下眼睑、，左眉尾、左眉中、左眉头、左外眼角、左上眼睑、左内眼角、左下眼睑、右鼻翼、左鼻翼、鼻尖、右嘴角、唇珠、左嘴角、下唇尖、右腮、左腮、下巴，各记为其中i表示第i个特征点，m表示第m帧图像。

所述的一种基于特征点运动的人脸表情序列截取方法，所述的步骤二中，计算帧间位置信息发生变化的特征点两两之间的欧氏距离的具体步骤为：

针对帧内第i个和第j个特征点，计算其欧氏距离为其中m表示第m帧图像，计算相邻两帧欧式距离的比值为其大小为取的平均值为若的值小于或等于0.15，则将对应于第i个和第j个特征点的全部剔除，最终参与后续运算的欧氏距离记为

所述的一种基于特征点运动的人脸表情序列截取方法，所述的步骤三中，拟合特征点两两之间欧氏距离在帧间的变化折线的具体步骤为：

以帧序为横坐标，为纵坐标，求取相邻两点之间的直线方程。

所述的一种基于特征点运动的人脸表情序列截取方法，所述的步骤四中，判断变化折线中表示表情强度最大化状态的变化回归点的具体步骤为：

从变化折线起点开始，在变化折线上反映相应图像帧的点中，若连接代表某帧的点的直线斜率在正负值之间发生跳变，且随后三帧的直线斜率均未发生跳变，则判定此帧的前一帧为对应于特征点p_i与p_j的表情强度最大化图像其帧序为k；

所述的一种基于特征点运动的人脸表情序列截取方法，所述的步骤四中，判断变化折线中表示平静状态的变化起始点的具体步骤为：

在人脸图像序列的前k-1帧中，若某帧直线斜率由零向正负值发生跳变，且随后三帧的直线斜率均未发生跳变，则判定此帧的前一帧为对应于特征点p_i与p_j的平静图像

所述的一种基于特征点运动的人脸表情序列截取方法，所述的步骤四中，得到人脸表情序列的具体步骤为：

分别统计各特征点之间与出现帧序的次数，次数最多的分别记为最终的表情强度最大化图像和平静状态图像而与之间的序列即为所截取的人脸表情序列。

本发明的技术效果在于：

1、该方法是利用表情发生过程人脸特征点空间位置信息变化而进行的人脸表情序列截取。

2、该方法完全自动化，计算简单，且解决了人脸个性信息与头部姿势变化等因素对表情序列截取的影响。

下面结合附图对本发明作进一步说明。

附图说明

图1为本发明的人脸表情序列截取系统框图；

图2为选取特征点位置图；

图3为特征点相互之间欧氏距离变化图；

图4为欧氏距离变化四阶段示意图。

具体实施方式

本发明针对拍摄得到的人脸表情图像序列，即表情状态从平静过度到强度最大化，再回归到平静的变化过程，提出一种人脸表情序列截取方法。

本发明的主要内容为：首先，对拍摄得到的人脸图像序列中各帧图像进行人脸区域检测及特征点定位；其次，基于帧内所选特征点的空间位置信息，计算帧间位置信息发生变化的特征点两两之间的欧氏距离；再次，拟合特征点两两之间欧氏距离在帧间的变化折线；最后，在所得变化折线中确定变化起始点记为平静状态，变化回归点记为表情强度最大化状态，两点之间即为所截取的人脸表情序列。

该方法的具体步骤如下：

步骤1：通过摄像头拍摄包含表情发生过程的人脸图像序列，并基于类Haar小波和权值修剪AdaBoost算法进行人脸检测，然后基于矩形特征、肤色检测和Camshift跟踪的方法，实现鲁棒的人脸跟踪，提取各帧图像的人脸区域；

步骤2：利用OPENCV的主动外观模型工具对各帧纹理图像分别进行特征点定位，选取其中24个特征点，分别为右眉尾、右眉中、右眉头、右外眼角、右上眼睑、右内眼角、右下眼睑、，左眉尾、左眉中、左眉头、左外眼角、左上眼睑、左内眼角、左下眼睑、右鼻翼、左鼻翼、鼻尖、右嘴角、唇珠、左嘴角、下唇尖、右腮、左腮、下巴，各记为其中i表示第i个特征点，m表示第m帧图像；

步骤3：针对帧内第i个和第j个特征点，计算其欧氏距离为其中m表示第m帧图像，计算相邻两帧欧式距离的比值为其大小为取的平均值为若的值小于或等于0.15，则将对应于第i个和第j个特征点的全部剔除，最终参与后续运算的欧氏距离记为

步骤4：以帧序为横坐标，为纵坐标，求取相邻两点之间的直线方程；

步骤5：若某帧直线斜率在正负值之间发生跳变，且随后三帧的直线斜率均未发生跳变，则判定此帧的前一帧为对应于特征点p_i与p_j的表情强度最大化图像其帧序为k；

步骤6：在人脸图像序列的前k-1帧中，若某帧直线斜率由零向正负值发生跳变，且随后三帧的直线斜率均未发生跳变，则判定此帧的前一帧为对应于特征点p_i与p_j的平静图像

步骤7：分别统计各特征点之间与出现帧序的次数，次数最多的分别记为最终的表情强度最大化图像和平静状态图像而与之间的序列即为所截取的人脸表情序列。

本发明的基本思想是通过摄像头拍摄表情发生过程中的人脸图像序列，再利用主动外观模型进行人脸特征点定位，并在帧内计算各选取特征点相互之间的欧氏距离，随后通过欧氏距离的变化规律抽取人脸平静状态图像与表情强度最大化图像，从而截取最终的人脸表情序列。

根据以上思想，本发明的系统结构框图如图1所示。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，具体阐述本发明的实施方式。应当理解，此处所描述的具体实例仅用以解释本发明，并不用于限定本发明。

1、特征点定位与选取。利用主动外观模型对人脸表情序列各帧图像分别进行特征点定位，其中主动外观模型工具来源于OPENCV软件包。特征点定位后，本发明选取其中24点作为最终的特征点，具体位置如图2所示，各特征点说明如下表1所示：

表1特征点编号及位置说明

编号	名称	编号	名称	编号	名称	编号	名称
								1	右眉尾	7	右下眼睑	13	左内眼角	19	唇珠
2	右眉中	8	左眉尾	14	左下眼睑	20	左嘴角
								3	右眉头	9	左眉中	15	右鼻翼	21	下唇尖
4	右外眼角	10	左眉头	16	左鼻翼	22	右腮
								5	右上眼睑	11	左外眼角	17	鼻尖	23	左腮
6	右内眼角	12	左上眼睑	18	右嘴角	24	下巴

2、在现实情况下，表情发生过程中，人脸特征点相互之间欧氏距离的变化只存在三种情况，如图3所示。在由平静状态过度到表情强度最大化的过程中，欧氏距离的变化通常是单调平滑的，同一表情的条件下，其变化趋势保持一致。

3、如图4所示，人脸图像序列中特征点相互之间欧氏距离的变化可以划分为四个阶段。第一阶段，即拍摄得到的人脸图像序列前端，由于拍摄对象的表情并未发生变化，始终保持平静状态，各特征点相互之间并未发生空间位置变化，故其曲线为一条平行于X轴的直线；第二阶段，特征点相互之间欧氏距离的变化会呈现两种趋势，即变大或者变小，且这种变化在到达强度最大化时始终保持单调平滑；第三阶段，特征点将会沿着此前运动的轨迹回归到人脸平静状态下的位置；第四阶段，人脸继续保持平静状态，特征点相互之间不再发生空间位置变化。

Claims (8)

1.一种基于特征点运动的人脸表情序列截取方法，其特征在于，包括以下步骤：

步骤一：连续拍摄人脸表情变化过程，对得到的人脸图像序列中各帧图像进行人脸区域检测，然后选取人脸区域内的特征点并进行定位；

步骤二：基于帧内所选特征点的空间位置信息，计算帧间位置信息发生变化的特征点两两之间的欧氏距离；

步骤三：拟合特征点两两之间欧氏距离在帧间的变化折线；

步骤四：在所得变化折线中以变化起始点记为平静状态，变化回归点记为表情强度最大化状态，两点之间即为所截取的人脸表情序列。

2.根据权利要求1所述的一种基于特征点运动的人脸表情序列截取方法，其特征在于，所述的步骤一中，对人脸图像序列进行人脸区域检测的具体步骤为：

基于类Haar小波和权值修剪AdaBoost算法进行人脸检测，然后基于矩形特征、肤色检测和Camshift跟踪的方法，实现鲁棒的人脸跟踪，提取各帧图像的人脸区域。

3.根据权利要求1所述的一种基于特征点运动的人脸表情序列截取方法，其特征在于，所述的步骤一中，选取人脸区域内的特征点的具体步骤为：

选取图像中人脸区域部分中的24个特征点，分别为右眉尾、右眉中、右眉头、右外眼角、右上眼睑、右内眼角、右下眼睑、，左眉尾、左眉中、左眉头、左外眼角、左上眼睑、左内眼角、左下眼睑、右鼻翼、左鼻翼、鼻尖、右嘴角、唇珠、左嘴角、下唇尖、右腮、左腮、下巴，各记为其中i表示第i个特征点，m表示第m帧图像。

4.根据权利要求1所述的一种基于特征点运动的人脸表情序列截取方法，其特征在于，所述的步骤二中，计算帧间位置信息发生变化的特征点两两之间的欧氏距离的具体步骤为：

针对帧内第i个和第j个特征点，计算其欧氏距离为其中m表示第m帧图像，计算相邻两帧欧式距离的比值为其大小为取的平均值为若的值小于或等于0.15，则将对应于第i个和第j个特征点的全部剔除，最终参与后续运算的欧氏距离记为

5.根据权利要求4所述的一种基于特征点运动的人脸表情序列截取方法，其特征在于，所述的步骤三中，拟合特征点两两之间欧氏距离在帧间的变化折线的具体步骤为：

以帧序为横坐标，为纵坐标，求取相邻两点之间的直线方程。

6.根据权利要求4所述的一种基于特征点运动的人脸表情序列截取方法，其特征在于，所述的步骤四中，判断变化折线中表示表情强度最大化状态的变化回归点的具体步骤为：

从变化折线起点开始，在变化折线上反映相应图像帧的点中，若连接代表某帧的点的直线斜率在正负值之间发生跳变，且随后三帧的直线斜率均未发生跳变，则判定此帧的前一帧为对应于特征点p_i与p_j的表情强度最大化图像其帧序为k。

7.根据权利要求6所述的一种基于特征点运动的人脸表情序列截取方法，其特征在于，所述的步骤四中，判断变化折线中表示平静状态的变化起始点的具体步骤为：

在人脸图像序列的前k-1帧中，若某帧直线斜率由零向正负值发生跳变，且随后三帧的直线斜率均未发生跳变，则判定此帧的前一帧为对应于特征点p_i与p_j的平静图像。

8.根据权利要求7所述的一种基于特征点运动的人脸表情序列截取方法，其特征在于，所述的步骤四中，得到人脸表情序列的具体步骤为：

分别统计各特征点之间与出现帧序的次数，次数最多的分别记为最终的表情强度最大化图像和平静状态图像而与之间的序列即为所截取的人脸表情序列。