CN109472198A - 一种姿态鲁棒的视频笑脸识别方法 - Google Patents

Abstract

本发明公开了一种姿态鲁棒的视频笑脸识别方法，包括以下步骤：提取视频图像中的图像帧，通过人脸检测算法对其中的人脸进行检测；对定位到的人脸矩形框执行人脸表情关键点定位算法，对人脸表情特征点进行定位；提取定位到的人脸表情特征点的位置信息；将提取到的人脸表情特征点与在线训练的微笑表情特征点模板参数进行匹配；当后续图像帧读取后，在该微笑状态位置的附近区域进行小范围的微笑表情参数匹配；将当前图像帧的微笑识别结果以连续参数变量进行输出。本发明可对表情细节的变化过程进行精确的跟踪，本方法对光照鲁棒，实现在自然光照下的实时应用，可适应各种人脸视频，在表情识别、人机交互、影视特效等领域具有广泛的应用前景。

Description

一种姿态鲁棒的视频笑脸识别方法

技术领域

本发明涉及人机交互及视频图像模式识别领域，尤其涉及一种姿态鲁棒的视频笑脸识别方法。

背景技术

随着智能交互终端技术的应用，在自然的光照、背景的场景中，对人脸的笑脸表情进行识别成为目前的一个研究热点。基于计算机视觉的自然表情识别在人机交互、互动影视以及游戏娱乐中有较为广泛的应用。

通过对自然场景的图像进行实时采集，并通过模式识别方法，对视频图像中的人脸微笑表情进行识别，以微笑表情作为控制输入，可以提升智能交互拍照的乐趣。

随着计算机交互控制技术的发展，将智能交互技术应用到包括助残控制等应用领域逐渐引起研究者的重视，智能交互辅助技术可以部分替代残疾患者的运动功能。对于上肢残障者，由于上肢运动功能的缺失，无法通过常规的操控方式实现对终端系统的交互控制，尽管目前提出了基于肌电信号、基于语音识别等交互的残肢功能替代方法，但在操控的易用性、交互界面友好性、控制效率等方面仍然存在着诸多的不足,并且容易受到环境因素以及自身状态的影像。

基于计算机视觉的微笑表情人机交互技术通过对上肢残障者的脸部表情的跟踪以及自动识别，可以将识别的结果直接转为终端控制信号，实现对交互接口的控制。并且采用计算机视觉方法，在控制方式上具有自然的交互接口、普适的人机交互方法，并且识别过程不易受到患者自身状态因素影响，具有其它交互方式无可比拟的优越性。使用人脸自然表情的交互控制成为多模态人机交互技术领域的一个研究热点。

对从目前的研究应用来看，人脸对齐、人脸跟踪和表情细节识别已经在安全监控、人机交互、数字娱乐等领域获得了广泛的应用。从Kanade使用人脸的几何结构对人脸进行描述开始，表情识别的研究成为一个长期的热点和难点问题。但由于每个人脸在结构细节上存在较大差异，仅使用人脸的几何结构难以获得较高的检测率。基于Haar矩形特征及Adaboost级联分类器的人脸检测算法，在保持较高的检测准确率同时，提高了检测的速度，是第一个实用的实时正面人脸检测方法，也是目前主流的人脸检测方法。

在检测到人脸后，完成对人脸上的主要器官的关键点的定位是进行表情细节分析的重要步骤，从某种意义上讲，面部关键特征点Landmark的定位，亦即人脸图像像素之间高层语义的对齐，是人脸识别中最核心的问题之一。通过人脸对齐，可以在获得的人脸区域内对人脸的关键特征点进行精确的定位。在人脸特征点定位中目前提出了很多方法，其中由Cootes等提出的主动形状模型ASM和主动表观模型AAM是目前两种比较经典的算法。AAM不仅包含物体的形状信息，而且还包含目标物体的内部纹理信息，利用合成图像与目标图像的误差调整模型参数。采用纹理信息合成的分析技术后，AAM 定位能力更加鲁棒，具有更高的准确性。在ASM和AAM算法的基础上，出现了他们的很多改进模型。包括直接外观模型，针对人脸多角度变化时采用的多视角AAM，纹理约束的ASM，实时的结合2D+3D的AAM算法等。Fadi Dornaika等将2D+3D的AAM算法扩展到多视角AAM，获得比单个视角更好的结果。张晓博等提出一种实时定位三维人脸特征点的算法实时地对齐三维人脸曲面上主要特征点的位置，并引入基于曲面划分、直方图统计的三维局部球划分直方图描述子，并使用该描述子逐点提取三维曲面顶点的局部曲面信息；其次计算其相似度，以定位三维人脸曲面上的主要特征点。

在已知上一帧中人脸位置、姿态等信息的情况下，可以通过某种算法实现对当前帧中的人脸区域的鲁棒跟踪和提取。从而充分利用已有的定位信息，提高后续帧中的定位和跟踪的效率及精度。根据跟踪的图像对齐的算法，可将人脸跟踪对齐分为二维人脸跟踪和三维人脸跟踪。对于摄像头视频图像，由于不需要获取人脸的三维信息，使用二维人脸跟踪可采用的方法相对更多些，基于光流的Kanade-Lucas-Tomasi跟踪算法跟踪嘴巴、鼻子、眉毛上的若干特征点，仅利用颜色信息进行人脸位置的跟踪，鲁棒性较差。2D AAM统计模型鲁棒地跟踪各关键点。基于特征的方法通常选择一些容易跟踪，且对光照、姿态、表情等比较鲁棒的图像特征，如颜色、边缘、角点或者一些有语义的点等。由于局部特征点匹配通常不需要训练数据，因而基于特征的方法通常对光照变化和人脸纹理变化比较鲁棒。然而，这类方法的一个缺点是跟踪结果不够精确，并且伴有抖动。基于外观的方法试图将整个人脸外观模型和输入图像进行匹配，从而实现人脸跟踪。基于外观的方法一般要求当前帧图像整个人脸纹理和重构图像相匹配。与基于特征的方法相比，基于外观的方法由于利用了整个人脸区域的纹理信息，通常能跟踪得更精确、稳定而且没有抖动。但这种方法对于初始形状位置比较敏感，容易陷入局部极小值。混合方法试图吸取这两种方法各自的优点，实现精确、稳定和鲁棒的跟踪。例如使用2D AAM的确定性梯度下降法和粒子滤波算法进行人脸各关键点的跟踪。该方法首先用粒子滤波算法进行多点预测评估得到最优参数，然后以最优作为基础，再进行确定性梯度下降法搜索得到最终的最优参数。基于统计外观模型(也可称为线性生成模型)和基于非统计外观模型的方法通常能够抵抗适量的光照等条件变化，跟踪过程中很少漂移。

该发明在现有的微笑表情细节识别的方法上进行深入研究，特别是针对实时应用过程中容易出现的对表情关键点跟踪丢失导致的计算效率下降问题进行深入分析，使用表情关键点位置预估计方法，将成功跟踪到的人脸表情关键点存储为后续帧中的人脸表情关键点在此搜索的初始位置，使后续帧的搜索范围在一个初始区域内，从而大大减少对政府图像进行全图搜索的概率，使搜索的时间缩短，并提升了后续帧成功匹配的概率。特别是当人脸运动时，仍然能够较好地完成跟踪匹配。相对于现有的方法，在实现的效率和匹配的精度上均有较大幅度的提高。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种姿态鲁棒的视频笑脸识别方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种姿态鲁棒的视频笑脸识别方法，包括以下步骤：

S1、通过摄像头实时采集自然场景的视频图像，提取视频图像中的图像帧，通过人脸检测算法对其中的人脸进行检测，如果存在人脸，则通过矩形框对人脸的位置进行标识；

S2、对定位到的人脸矩形框执行人脸表情关键点定位算法，对人脸表情特征点进行定位，包括人脸上的眼睛、鼻子、嘴巴及脸颊；

S3、提取定位到的人脸表情特征点的位置信息，并对提取到的位置信息进行归一化处理；

S4、将提取到的人脸表情特征点与在线训练的微笑表情特征点模板参数进行匹配，如果匹配的结果误差在给定的阈值内，则输出识别的微笑表情；

S5、如果当前图像帧中识别出了微笑表情，则将该微笑表情对应的人脸表情特征点参数和位置信息存储为微笑状态位置；当后续图像帧读取后，在该微笑状态位置的附近区域进行小范围的微笑表情参数匹配，实现对后续图像帧的微笑表情参数识别；

S6、将当前图像帧的微笑识别结果以连续参数变量进行输出，并以0和1 分别表示平静表情和微笑表情，(0，1)区间内的参数分别表示表情的中间过度状态参数。

进一步地，本发明的步骤S1的方法具体为：

S11、提取视频图像中的图像帧，将图像帧按照金字塔分解算法进行分解，并在每一级分解图像中迭代运行人脸检测，对检测到的人脸进行标识，输出人脸区域的矩形框；

S12、当图像帧中检测到人脸，将标识的人脸区域矩形框进行存储，作为后续图像帧的人脸位置的预估位置。

进一步地，本发明的步骤S2的具体方法为：

S21、根据检测出的人脸区域矩形框，分别向上下左右区域扩展设定比例的像素，并将扩展的矩形区域作为人脸表情特征点的检测图像；

S22、在扩展的图像区域内，运行人脸表情关键点定位算法，对人脸表情特征点进行定位，包括人脸上的眼睛、鼻子、嘴巴及脸颊。

进一步地，本发明的步骤S3的具体方法为：

S31、对人脸表情特征点进行对齐处理并存储；

S32、以对齐的人脸表情特征点的边界点坐标作为表情区域的轮廓点，将其归一化到模板尺度上；

S33、计算归一化后的人脸表情特征点的坐标，并将其更新为待识别的表情参数。

进一步地，本发明的步骤S4的具体方法为：

S41、提取在线训练的微笑表情特征点模板参数，并将其存入表情特征序列；

S42、对微笑表情特征点模板参数进行归一化处理，使其与当前的人脸表情特征点的坐标处在同一参数范围内；

S43、使用表情参数匹配算法将输入的表情参数与模板参数进行匹配，计算匹配结果数据；

S44、将匹配的参数与设定的表情阈值进行对比，确定当前的表情数据。

进一步地，本发明的步骤S5的具体方法为：

S51、存储当前的表情参数以及对应的原始图像中的人脸表情特征点位置信息；

S52、以人脸表情特征点的所有X坐标点中的最小、最大值分别标识人脸表情特征点的左右边界，以人脸表情特征点的所有Y坐标点中的最小、最大值分别标识人脸表情特征点的上下边界，以标识的边界区域向四周扩展制定比例的像素构成新的人脸表情特征点位置预估区域；

S53、在后续图像帧中，在此表情预估位置区域内，运行表情参数匹配算法，检测后续图像帧中的表情。

进一步地，本发明的步骤S6的具体方法为：

S61、将当前帧中的表情关键点位置与模板中的人脸表情特征点位置进行匹配，并计算匹配结果；

S62、匹配的结果中，0表示表情平静，1表示微笑表情，0-1表示表情的中间过度状态参数；

S63、输出匹配的最终表情识别结果。

本发明产生的有益效果是：本发明的姿态鲁棒的视频笑脸识别方法，能够在自然光照场景下，使用普通摄像头进行视频采集，对用户的自然微笑表情进行实时的跟踪定位，通过在线微笑模板，对当前人脸表情进行微笑识别。该方法在自闭儿童康复治疗、残障患者助残辅具的智能控制等领域具有广泛的应用前景，可以获得较好的社会效益。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的算法流程图；

图2是本发明实施例的微笑人脸识别示例。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例视频人脸微笑识别方法，如图1所示，包括以下步骤：

对人脸进行形状描述，通过主动表观模型通过建立形状模型，通过表观模型描述完成对人脸表观模型的建模。其中形状模型是在人脸上选择具有相同语义的一些关键点，使用Procrustes分析方法进行归一化，并通过主成份分析，将任意人脸形状表示为平均形状与若干形状向量线性组合的形式，消除不同人脸的形状、旋转等形变影响。

考虑到摄像头采集视频图像时头部姿态运动变化，在进行表情关键点对齐之前，实现将所有样本带表情的人脸形状与归一化后的中性人脸进行形状对齐。为样本的平均人脸模型，在训练样本集中，第i幅人脸表情形状为将平均形状S₀和表情样本S_i对齐，在算法上即求相似变换矩阵T(a,b,t_x,t_y)：并构建如下的目标函数：

通过上述目标函数，可以对样本图像与平均形状求形状差：ΔS_i＝T(S_i)-S₀，并定义：G＝[ΔS₁ … ΔS_n]，对GG^T做奇异值分解，建立形状模型：

ΔS＝P_sb_s

人脸纹理模型实现对人脸的肤色、角点等纹理特征进行建模，可以在形状模型的基础上加入人脸的表观特征。建立形状模型之后，可以根据形状模型制定的关键点坐标，将人脸上的表观区域进行划分。根据人脸微笑表情的关键点，将人脸上的形状模型划分为以下几个区域：左右眼睛区域、鼻子嘴巴区域、脸颊区域、连接区域，对划分后的每个特征区域创建形状无关纹理模型：

当人脸表情出现微笑动作时，可以获得形状模型的关键点变化，并根据划定的纹理模型的区域，获取对应的纹理变化数据，这两者之间存在较明显的关联。在在线阶段的样本学习过程中，通过数据训练获得两者的映射函数 b_g＝F(b_s)，其输入参数分别为人脸的形状参数b_s，输出为人脸的纹理参数b_g， F为线性神经网络映射函数，其约束函数为：

其中，是第训练样本集中第i个图像的纹理参数和形状参数，为简便计算，可以写成矩阵形式：对应的纹理矩阵写为：则：

M_＝TG^T(GG^T)^-1

建立映射函数后，可以在采集的视频图像中检测每帧图像上的表情关键点，并通过映射函数，获得对应的表情区域的纹理。针对特定的人脸微笑表情，通过在该形状纹理参数中加入个性化的特征信息。首先通过主动表观模型对训练样本进行归一化处理，得到人脸的归一化形状S、主动表观模型参数λ，形状变化矩阵R,T。

对于微笑表情的形状和表观模型的训练参数，可以根据微笑表情在特征关键点的上形状变化向量ΔS^e以及对应的表观变化向量λ^e0,λ^e1，构建个性化的微笑表情参数：

S_new＝S+ΔS^eJ

S_new为归一化的人脸形状，结合上述公式，则最终识别人脸微笑表情的关键点参数可以表示为：

将匹配的实际人脸的微笑关键点的坐标信息与平静人脸的关键点进行对比，可以获得对应的表情关键点的运动信息。为提高计算的效率，首先选择针对微笑表情，人脸上运动显著的关键点，并通过这些关键点，实现对微笑表情运动的模型简化：

公式中L为实际选择的运动显著的关键点数目，N是对关键点进行PCA 分解后的分类个数，P_sp为L个关键点对应的分量，两种表情之间的形状差ΔS 可以通过求解最佳的形状参数来获得，即：

令

可得：则其中A⁺是A的伪逆矩阵。最佳的形状参数求解后即可以获得微笑关键点的运动信息。

本发明的优点是：

1、针对实时视频中的人脸运动快速跟踪问题，算法通过对当前图像帧中的计算结果，实现后续帧的位置初始预估，并将预估的位置作为后续帧的检测位置的初始范围，实现了对后续帧中目标位置的限定，进一步缩小了计算的范围，使后续帧的对齐精度和计算的效率得到极大提升，现有算法是基于逐帧检测识别，检测效率低，速度慢，特别当人脸快速移动时，漏检率增加。本发明基于位置预估，实现快速运动人脸的检测，精度比现有算法高25％，并且实现大幅度人脸运动时也不会出现漏检和误检，是对现有算法的较大改进。

2、将对齐的实际人脸图像与模板中的表观图像进行合成匹配，并通过表情关键点上的形状变化特征，使匹配的算法结果限定在有限的关键点上，提高微笑表情的关键点参数计算的效率，相比于已有算法，该微笑表情识别算法基于在线非特定人模板，可以实时适应不同的使用者，相比于现有的基于固定训练模板的识别算法，具有鲁棒性强、环境适应性高的优点，是对现有算法的较大改进。

3、通过将微笑表情中对应的表情关键点与平静表情时的对应关键点的位移量计算，实现对人脸微笑的运动参数求取，并将表情的变化结果进行实时的跟踪，可以完整记录人脸微笑表情动作过程，相比静态的微笑表情识别，该发明可以实现对微笑表情的准确记录。现有算法仅能输出是否存在笑脸，而该发明可以跟踪记录表情从平静到笑脸的动态变化过程参数，是对现有算法的较大改进。

4、在基于微笑识别的控制接口中，本发明的结果可以实时将识别的过程结果进行输出，并实现对微笑交互系统的控制。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种姿态鲁棒的视频笑脸识别方法，其特征在于，包括以下步骤：

S1、通过摄像头实时采集自然场景的视频图像，提取视频图像中的图像帧，通过人脸检测算法对其中的人脸进行检测，如果存在人脸，则通过矩形框对人脸的位置进行标识；

S2、对定位到的人脸矩形框执行人脸表情关键点定位算法，对人脸表情特征点进行定位，包括人脸上的眼睛、鼻子、嘴巴及脸颊；

S3、提取定位到的人脸表情特征点的位置信息，并对提取到的位置信息进行归一化处理；

S4、将提取到的人脸表情特征点与在线训练的微笑表情特征点模板参数进行匹配，如果匹配的结果误差在给定的阈值内，则输出识别的微笑表情；

S5、如果当前图像帧中识别出了微笑表情，则将该微笑表情对应的人脸表情特征点参数和位置信息存储为微笑状态位置；当后续图像帧读取后，在该微笑状态位置的附近区域进行小范围的微笑表情参数匹配，实现对后续图像帧的微笑表情参数识别；

S6、将当前图像帧的微笑识别结果以连续参数变量进行输出，并以0和1分别表示平静表情和微笑表情，(0，1)区间内的参数分别表示表情的中间过度状态参数。

2.根据权利要求1所述的姿态鲁棒的视频笑脸识别方法，其特征在于，步骤S1的方法具体为：

S11、提取视频图像中的图像帧，将图像帧按照金字塔分解算法进行分解，并在每一级分解图像中迭代运行人脸检测，对检测到的人脸进行标识，输出人脸区域的矩形框；

S12、当图像帧中检测到人脸，将标识的人脸区域矩形框进行存储，作为后续图像帧的人脸位置的预估位置。

3.根据权利要求1所述的姿态鲁棒的视频笑脸识别方法，其特征在于，步骤S2的具体方法为：

S21、根据检测出的人脸区域矩形框，分别向上下左右区域扩展设定比例的像素，并将扩展的矩形区域作为人脸表情特征点的检测图像；

S22、在扩展的图像区域内，运行人脸表情关键点定位算法，对人脸表情特征点进行定位，包括人脸上的眼睛、鼻子、嘴巴及脸颊。

4.根据权利要求1所述的姿态鲁棒的视频笑脸识别方法，其特征在于，步骤S3的具体方法为：

S31、对人脸表情特征点进行对齐处理并存储；

S32、以对齐的人脸表情特征点的边界点坐标作为表情区域的轮廓点，将其归一化到模板尺度上；

S33、计算归一化后的人脸表情特征点的坐标，并将其更新为待识别的表情参数。

5.根据权利要求1所述的姿态鲁棒的视频笑脸识别方法，其特征在于，步骤S4的具体方法为：

S41、提取在线训练的微笑表情特征点模板参数，并将其存入表情特征序列；

S42、对微笑表情特征点模板参数进行归一化处理，使其与当前的人脸表情特征点的坐标处在同一参数范围内；

S43、使用表情参数匹配算法将输入的表情参数与模板参数进行匹配，计算匹配结果数据；

S44、将匹配的参数与设定的表情阈值进行对比，确定当前的表情数据。

6.根据权利要求1所述的姿态鲁棒的视频笑脸识别方法，其特征在于，步骤S5的具体方法为：

S51、存储当前的表情参数以及对应的原始图像中的人脸表情特征点位置信息；

S52、以人脸表情特征点的所有X坐标点中的最小、最大值分别标识人脸表情特征点的左右边界，以人脸表情特征点的所有Y坐标点中的最小、最大值分别标识人脸表情特征点的上下边界，以标识的边界区域向四周扩展制定比例的像素构成新的人脸表情特征点位置预估区域；

S53、在后续图像帧中，在此表情预估位置区域内，运行表情参数匹配算法，检测后续图像帧中的表情。

7.根据权利要求1所述的姿态鲁棒的视频笑脸识别方法，其特征在于，步骤S6的具体方法为：

S61、将当前帧中的表情关键点位置与模板中的人脸表情特征点位置进行匹配，并计算匹配结果；

S62、匹配的结果中，0表示表情平静，1表示微笑表情，0-1表示表情的中间过度状态参数；

S63、输出匹配的最终表情识别结果。