CN103886304B - 一种基于时空局部描述子的真假笑识别方法 - Google Patents

Abstract

本发明提供一种真假笑识别方法，考虑脸部的不同区域对识别真假笑做出不同的贡献，提出了一种柔性面部子区域分割方法。考虑笑容过程中不同状态对真假笑做出的不同贡献，提出了一种笑容时间域分割方法。考虑真笑和假笑的局部特征信息并真笑假笑各自的共同特点，提出了一种具有判别信息的局部时空描述子。运用基于外观的特征提取方法，克服了基于几何特征的真假笑识别方法过度依赖于面部几何特征的弱点，充分挖掘真笑和假笑各自提取的局部特征的共性，使得两类笑容的类间差距增大，类内差距缩小，从而提高识别的精确度。

Description

一种基于时空局部描述子的真假笑识别方法

技术领域

本发明涉及信息技术领域，尤其涉及应用在人机交互，心理、行为分析领域的自动表情识别技术，具体涉及一种基于时空局部描述子的真假笑识别方法。

背景技术

人脸表情在日常交流中起着非常重要的作用，心理学研究表明，如果把人们交流时传递的信息进行分析，人们所说的话语信息占了7%，语调信息占了38%，而表情信息占到了55%。笑容是人类最常见的情感表露方式，因其多样性，一个笑容常暗示着人的不同内心状态——高兴、感谢、礼貌、满意等等。笑容含有丰富的人体行为信息，是人类情感和智能重要的载体，因此，运用计算机或机器人自动理解和识别笑容，会大大提高人机交互能力和机器智能水平。

在以往表情识别的研究工作中，大多数表情识别都是基于实验室环境下的，也就是说，表情识别所用的数据库是在特定条件下所建立，并且数据库中的表情不是由人类内心情感触发自然而然所产生，而是实验环境下摆出来的。目前研究表明，实验环境下人为摆出来的表情的识别难度远小于人类自然流露出的表情的识别难度。

真假笑识别即识别所发出的笑容是自发的还是摆出的，隶属于人脸表情识别领域。人脸表情识别分为两种：一种是基于静态图片的，另一种是基于动态视频序列的。基于动态视频序列的表情识别不仅提取空间信息，同时也可以提取其中随时间变化的动态信息，而此动态信息对于真假笑识别来说常常是至关重要的。因此通常真假笑的识别都是基于动态视频序列的。

目前真假笑识别的方法大致分为基于几何特征的方法和基于外观特征的方法以及两种方法的混合。前一种方法主要检测和跟踪面部的基准点，再通过计算这些基准点之间的距离、角度以及相邻帧之间对应基准点的运动速度，变化幅度等等来提取特征。后一种方法一种是全局外观特征方法，另一种是局部外观特征的方法，这两种方法都是直接从图像灰度数据出发。基于全局外观特征的方法，将整个面部图像看作一个整体来提取特征，如，主分量分析（PCA）离散余弦变换（DCT）等，而基于局部的外观特征方法可以描述图像在时空域的局部变化，在整体面部区域上分别提取局部特征信息，再将这些局部特征信息相拼接，就不仅可以得到局部特征信息，也能得到整体的特征信息。基于外观特征的方法不同于基于几何特征的方法，因其不依赖与初始的面部特征点的跟踪和检测，对光照、背景变化等更为鲁棒。

总的来说，目前大多数自动真假笑识别的方法是基于几何特征的方法，如前面所述，这类方法非常依赖于面部或唇部特征的精确检测和跟踪，导致这个方法很难适应实际环境的光照变化及复杂背景等等。

发明内容

为克服前述缺憾，本发明考虑脸部的不同区域对识别真假笑做出不同的贡献，提出了一种柔性面部子区域分割方法。考虑笑容过程中不同状态对真假笑做出的不同贡献，提出了一种笑容时间域分割方法。考虑真笑和假笑的局部特征信息并真笑假笑各自的共同特点，提出了一种具有判别信息的局部时空描述子。运用基于外观的特征提取方法，克服了基于几何特征的真假笑识别方法过度依赖于面部几何特征的弱点，充分挖掘真笑和假笑各自提取的局部特征的共性，使得两类笑容的类间差距增大，类内差距缩小，从而提高识别的精确度。

如上述，本发明提供一种基于具有判别信息的时空局部描述子的真假笑识别方法，其中，具有判别信息的时空局部描述子为DisCLBP-TOP(discriminative completedlocal binary patterns from three orthogonal panels,简称DisCLBP-TOP)，即具有判别信息的三正交平面完全局部二值模式，是在三正交平面完全局部二值模式(completedlocal binary patterns from three orthogonal panels,简称CLBP-TOP)的基础上完成；

其步骤包括：

1）对笑容视频序列进行可调节的面部子区域分割，得到面部子区域卷，所述面部子区域卷包括5个子区域卷，分别是左眼子区域卷，右眼子区域卷，左面颊子区域卷，右面颊子区域卷以及唇部子区域卷；

2）将以上得到的各个子区域卷进行时间域的划分，将各个子区域卷划分为起始过程段块，保持过程段块以及衰减过程段块；

2-1）用OpenCV中的笑容检测器检测每一帧的笑容强度，并将每一帧的笑容强度作归一化；

2-2）根据设定的强度阈值θ，划分出笑容的起始过程段，保持过程段以及衰减过程段，得到起始过程段块，保持过程段块以及衰减过程段块；

3）在以上经过时空划分的块上通过具有判别信息的时空局部描述子DisCLBP-TOP得到真笑和假笑的特征向量，

3-1）计算CLBP-TOP的主模式集合；

3-2）分别对真笑类和假笑类中各个样本的主模式集合取交集；

3-3）对真笑类和假笑类主模式集合交集取并集，得到真笑和假笑的特征向量；

4）将步骤3）中的得到的特征向量输入SVM分类器训练；

5）待识别的笑容输入已通过步骤1）至3）得到特征向量训练的SVM分类器，得到识别结果。

更进一步，步骤1）分以下6个分步骤完成：

1-1）检测并跟踪面部区域的5个基准点，分别是左眼中心点S1，右眼中心点S2，左唇角S3，右唇角S4，鼻尖点S5；

1-2）计算左眼中心点S1和右眼中心点S2连线的中点S6，左眼中心点S1和左唇角S3连线的中点C1以及右眼中心点S2和右唇角S4连线的中点C2；

1-3）计算左眼中心点S1与右眼中心点S2的距离l₁＝|S1-S2|以及点S6与鼻尖点S5之间的距离l₂=|S6-S5|；

1-4）分别裁剪出左眼子区域R1，右眼子区域R2，左面颊子区域R3，右面颊子区域R4以及唇部子区域R5；

1-5）分别形成左眼子区域卷V₁，右眼子区域卷V₂，左面颊子区域卷V₃，右面颊子区域卷V₄以及唇部子区域卷V₅；

1-6）分别分割左眼子区域卷V₁，右眼子区域卷V₂，左面颊子区域卷V₃，右面颊子区域卷V₄以及唇部子区域卷V₅；

更进一步，步骤1-4）中分别以S1、S2为中心点，α₁l₁为宽，α₂l₂为高，α₁=α₂=0.8，裁剪出子区域R1和子区域R2；分别以C1、C2为中心点，β₁l₁为宽，β₂l₂为高，β₁=0.6，β₂=0.8，裁剪处子区域R3和子区域R4；以S3，S4和S5点为基准裁剪出子区域R5。

更进一步，步骤1-5）中子区域卷V_j的形成方式为：j=1,...,5，其中k表示整个笑容序列所具有的帧数。

更进一步，步骤1-6）中将子区域卷V₁，子区域卷V₂，子区域卷V₃和子区域卷V₄分别分割为2×2的子区域卷：{V_j,r|r=1,...,4,j=1,...,4}，将子区域卷V₅分割为2×4的子区域卷：{V_5,t|t=1,...,4}。

更进一步，步骤2-1）中每一帧的笑容强度作归一化的计算方法为：

其中，是当前检测到笑容特征个数，M和N分别是检测到的最多和最少的笑容特征个数。

更进一步，步骤2-2）中所述强度阈值θ=0.9。

更进一步，步骤3-1）中CLBP-TOP是一个时空局部描述子，其不仅表达中心像素点与领域内像素点的符号比较S，并添加与领域内像素点的幅度比较M以及与全部像素点均值的比较C。局部不同d_p=g_p-g_c，P为邻域的像素个数，R为半径，g_c为窗口内中心像素的灰度值，d_p分解为符号和幅度内容如下：

d_p=s_p*m_p,

s_p=sgn(d_p),

m_p=|d_p|

因此，符号比较S,幅度比较M以及全部像素点均值的比较C三个算子的计算公式如下：

CLBPC_P,R=t(g_c,c_l)

其中，P为邻域的像素个数，R为半径，g_c为窗口内中心像素的灰度值，c是自适应阈值，c_l是整个图像的平均灰度值。

更进一步，步骤3-1）中计算主模式集合的公式为：

J_u=argmin|J_u|

其中，J_u表示主要模式集合，|J_u|表示模式集合J_u中的元素个数，P_u,_ξ表示模式类型ξ在u平面上出现的次数，u=1表示XY平面，u=2表示XT平面，u=3表示YT平面。

更进一步，步骤3-2）中分别对真笑类和假笑类中各个样本的主模式集合取交集的公式如下：

其中J_T和J_F分别表示真笑类和假笑类中各个样本的主模式集合的交集，真笑类中有n_T个样本，假笑类中有n_F个样本，和分别表示来自u平面的第n个样本的符号（Sign）和幅度（Magnitude）的主模式集合。

更进一步，步骤3-3）对真笑类和假笑类主模式集合交集取并集的公式如下：

其中，B是分割的块的总数。

如上述，本发明提取面部基于外观的特征，在应用三正交平面完全局部二值模式CLBP-TOP的基础上进一步提取具有判别或区分度的信息，即具有判别信息的时空局部描述子为DisCLBP-TOP，以获得更鲁棒的特征，此外，考虑各个面部子区域对最后真假笑识别的贡献以及面部的非刚性变化，去除冗余的不变更面部信息，提出柔性面部子区域分割方法，为具有判别信息的时空描述子的使用提供良好的特征提取基础。再者，考虑笑容过程的各个阶段对真假笑识别的贡献，提出将笑的过程分为起始过程段块，保持过程段块，衰减过程段块，由于一个笑容没有明确的峰值点，这与传统的把笑容过程分为发起段、峰值点、结束段更为合理。最后在进行时空分割后的块上应用本发明提出的具有判别信息的时空局部描述子达到提高识别性能的目的。

附图说明

图1a是本发明的识别方法流程示意图。

图1b是本发明的识别方法流程框图。

图2a是本发明涉及笑容视频序列中基准点及以基准点产生的其它关键点的分布示意图。

图2b是本发明涉及裁剪出的面部子区域块的分布示意图。

图2c是本发明涉及经过时空分割后的块的示意图。

图3a是本发明涉及实施时间分割的一个假笑（摆出来的笑容）序列。

图3b是图3a中假笑过程的强度表示及起始过程段，保持过程段以及衰减过程段划分示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，可以理解的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施方案，都属于本发明保护的范围。

本实施实例采用荷兰阿姆斯特丹大学的UvA-NEMO数据库进行试验，它具有目前最大的真假笑识别数据库。此数据库在国际上获得认可，且为广泛使用。数据库中共有1240个笑容视频，分辨率为1920×1080像素，50帧每秒的彩色图像。被录制者距离摄像机的距离为1.5米，相机型号为Panasonic HDC-HS7003MOS,1240个笑容视频中，587是个自发笑容，643是个假装笑容，来自于400位实验者，其中185名女性，215为男性，年龄层次从8岁覆盖到76岁，149位实验者在18岁以下，更详细的信息参见http://www.uva-nemo.org on how toobtain the UvA-NEMO Smile Database。

参考图2a、图2b及图2c，本实施例的柔性面部子区域分割实现过程如下：

1、检测并跟踪面部区域的5个基准点，分别是左眼中心点S1，右眼中心点S2，左唇角S3，右唇角S4，鼻尖点S5。5个基准点一开始由人工标定出来，然后通过（Tao,H.,Huang,T.:Explanation-based facial motion tracking using a piecewise B′ezier volumedeformation model.In:CVPR,pp.611–617(1999)）中的方法进行跟踪。

2、计算左眼中心点S1和右眼中心点S2连线的中点S6，左眼中心点S1和左唇角S3连线的中点C1以及右眼中心点S2和右唇角S4连线的中点C2。

3、计算左眼中心点S1与右眼中心点S2的距离l₁=|S1-S2|以及点S6与鼻尖点S5之间的距离l₂=|S6-S5|。

4、分别裁剪出左眼子区域R1，右眼子区域R2，左面颊子区域R3，右面颊子区域R4以及唇部子区域R5。

5、分别形成左眼子区域卷V₁，右眼子区域卷V₂，左面颊子区域卷V₃，右面颊子区域卷V₄以及唇部子区域卷V₅。

6、分别分割左眼子区域卷V₁，右眼子区域卷V₂，左面颊子区域卷V₃，右面颊子区域卷V₄以及唇部子区域卷V₅。

前述过程具体算法如下：

参考图3a及图3b，以强度阈值θ=0.9对上述经过分割的各子区域卷进行时间域的划分，将各个子区域卷划分为起始过程段块，保持过程段块以及衰减过程段块。

然后，在经过时空划分的块中提取具有判别信息的时空局部描述子DisCLBP-TOP过程如下：

1、计算CLBP-TOP的主模式集合。

2、分别对真笑类和假笑类中各个样本的主模式集合取交集。

3、对真笑类和假笑类主模式集合交集取并集得到真笑和假笑的特征向量。

前述过程算法如下：

接着，将前述特征向量输入SVM分类器训练；

最后，将待识别的笑容输入已通过前述特征向量训练的SVM分类器，得到识别结果。

下面为本发明方法与现有方法在识别效果方面的对比表：

方法	识别真确率（%）
		DisCLBP-top	91.40
CLBP-top	83.03
		Dibeklioglu et al.	87.02
Pfister et al.	73.06

其中，DisCLBP-TOP和CLBP-TOP是在本发明中所述的时空分割的基础上进行。后面的两个对比方法没有使用本发明所述的时空分割方法。Dibekiogulu et al的方法的具体实施参见（Hamdi Dibeklioglu,Albert Ali Salah,and Theo Gevers,“Are you reallysmiling at me?spontaneous versus posed enjoyment smiles,”in InternationalConference on Computer Vision(ECCV),pp.525–538.2012.），Pfister et al.的方法的具体实施参见（Tomas Pfister,Xiaobai Li,Guoying Zhao,and MPietikainen,“Differentiating spontaneous from posed facial expressions within a genericfacial expression recognition framework,”in IEEE International Conference onComputer Vision Workshops(ICCV Workshops),pp.868–875.2011.）。DisCLBP-TOP优于CLBP-TOP取得更好的识别结果，其关键在于DisCLBP-TOP进一步对CLBP-TOP提取出的模式根据类别信息进行了训练筛选，使得类内差距缩小，识别更鲁棒。

上述实例只是本发明的举例，尽管为说明目的公开了本发明的实例，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于该实例的内容。

Claims (10)

1.一种基于时空局部描述子的真假笑识别方法，包括如下步骤：

1)对笑容视频序列进行可调节的面部子区域分割，得到面部子区域卷，所述面部子区域卷包括5个子区域卷，分别是左眼子区域卷，右眼子区域卷，左面颊子区域卷，右面颊子区域卷以及唇部子区域卷；

2)将以上得到的各个子区域卷进行时间域的划分，将各个子区域卷划分为起始过程段块，保持过程段块以及衰减过程段块；

2-1)用笑容检测器检测每一帧的笑容强度，并将每一帧的笑容强度作归一化；

2-2)根据设定的强度阈值θ，划分出笑容的起始过程段，保持过程段以及衰减过程段，得到起始过程段块，保持过程段块以及衰减过程段块；

3)在以上经过时空划分的块上通过具有判别信息的时空局部描述子得到真笑和假笑的特征向量，

3-1)计算时空局部描述子的主模式集合；

3-2)分别对真笑类和假笑类中各个样本的主模式集合取交集；

3-3)对真笑类和假笑类主模式集合交集取并集，得到真笑和假笑的特征向量；

4)将步骤3)中的得到的特征向量输入SVM分类器训练；

5)待识别的笑容输入已通过步骤1)至3)得到特征向量训练的SVM分类器，得到识别结果。

2.如权利要求1所述的方法，其特征在于，步骤1)分以下6个分步骤完成：

1-1)检测并跟踪面部区域的5个基准点，分别是左眼中心点S1，右眼中心点S2，左唇角S3，右唇角S4，鼻尖点S5；

1-2)计算左眼中心点S1和右眼中心点S2连线的中点S6，左眼中心点S1和左唇角S3连线的中点C1以及右眼中心点S2和右唇角S4连线的中点C2；

1-3)计算左眼中心点S1与右眼中心点S2的距离l₁＝|S1-S2|以及点S6与鼻尖点S5之间的距离l₂＝|S6-S5|；

1-4)分别裁剪出左眼子区域R1，右眼子区域R2，左面颊子区域R3，右面颊子区域R4以及唇部子区域R5；

1-5)分别形成左眼子区域卷V₁，右眼子区域卷V₂，左面颊子区域卷V₃，右面颊子区域卷V₄以及唇部子区域卷V₅；

1-6)分别分割左眼子区域卷V₁，右眼子区域卷V₂，左面颊子区域卷V₃，右面颊子区域卷V₄以及唇部子区域卷V₅。

3.如权利要求2所述的方法，其特征在于，步骤1-4)中分别以S1、S2为中心点，α₁l₁为宽，α₂l₂为高，α₁＝α₂＝0.8，裁剪出子区域R1和子区域R2；分别以C1、C2为中心点，β₁l₁为宽，β₂l₂为高，β₁＝0.6，β₂＝0.8，裁剪处子区域R3和子区域R4；以S3，S4和S5点为基准裁剪出子区域R5。

4.如权利要求2所述的方法，其特征在于，步骤1-5)中子区域卷V_j的形成方式为：其中k表示整个笑容序列所具有的帧数；步骤1-6)中将子区域卷V₁，子区域卷V₂，子区域卷V₃和子区域卷V₄分别分割为2×2的子区域卷：{V_j,r|r＝1,...,4,j＝1,...,4}，将子区域卷V₅分割为2×4的子区域卷：{V_5,t|t＝1,...,4}。

5.如权利要求1所述的方法，其特征在于，步骤2-1)中每一帧的笑容强度作归一化的计算方法为：

$I_{smile}^i=\frac{S_n^i-N}{M-N+1}$

其中，是当前检测到笑容特征个数，M和N分别是检测到的最多和最少的笑容特征个数。

6.如权利要求1所述的方法，其特征在于，步骤2-2)中所述强度阈值θ＝0.9。

7.如权利要求1所述的方法，其特征在于，步骤3-1)中时空局部描述子用以表达中心像素点与领域内像素点的符号比较S，并添加与领域内像素点的幅度比较M以及与全部像素点均值的比较C，局部不同d_p＝g_p-g_c，P为邻域的像素个数，R为半径，g_c为窗口内中心像素的灰度值，d_p分解为符号和幅度内容如下：

d_p＝s_p*m_p,

s_p＝sgn(d_p),

m_p＝|d_p|

符号比较S,幅度比较M以及全部像素点均值的比较C三个算子的计算公式如下：

${\mathrm{CLBPS}}_{P,R}=\underset{p=0}{\overset{p-1}{\&Sigma;}}s(g_p-g_c)2^p,s\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.$

${\mathrm{CLBPM}}_{P,R}=\underset{p=0}{\overset{p-1}{\&Sigma;}}t(m_p,c)2^p,t(x,c)=\left\{\begin{array}{c}1,x\&GreaterEqual;c\\ 0,x<c\end{array}\right.$

CLBPC_P,R＝t(g_c,c_l)

其中，P为邻域的像素个数，R为半径，g_c为窗口内中心像素的灰度值，c是自适应阈值，c_l是整个图像的平均灰度值。

8.如权利要求1或7任一项所述的方法，其特征在于，步骤3-1)中计算主模式集合的公式为：

J_u＝argmin|J_u|

$\begin{array}{cc}s.t.& \frac{\mathrm{\&Sigma;}\mathrm{\&xi;}\&Element;J_u{P}_{u,\mathrm{\&xi;}}}{{\mathrm{\&Sigma;}}_{k=1}^p{P}_{u,k}}\&GreaterEqual;\mathrm{\&delta;}\end{array}$

其中，J_u表示主模式集合，|J_u|表示模式集合J_u中的元素个数，P_u,ξ表示模式类型ξ在u平面上出现的次数，u＝1表示XY平面，u＝2表示XT平面，u＝3表示YT平面。

9.如权利要求1所述的方法，其特征在于，步骤3-2)中分别对真笑类和假笑类中各个样本的主模式集合按如下公式进行操作：

$J_T=\left\{\underset{u=1}{\overset{3}{\&cup;}}\underset{n=1}{\overset{n_T}{\&cap;}}{\mathrm{JS}}_u^n\right\}\&cup;\left\{\underset{u=1}{\overset{3}{\&cup;}}\underset{n=1}{\overset{n_T}{\&cap;}}{\mathrm{JM}}_u^n\right\}$

$J_F=\left\{\underset{u=1}{\overset{3}{\&cup;}}\underset{n=1}{\overset{n_F}{\&cap;}}{\mathrm{JS}}_u^n\right\}\&cup;\left\{\underset{u=1}{\overset{3}{\&cup;}}\underset{n=1}{\overset{n_F}{\&cap;}}{\mathrm{JM}}_u^n\right\}$

其中J_T和J_F分别表示真笑类和假笑类中各平面上各个样本的主模式集合的集合，真笑类中有n_T个样本，假笑类中有n_F个样本，和分别表示来自u平面的第n个样本的符号和幅度的主模式集合。

10.如权利要求1所述的方法，其特征在于，步骤3-3)对真笑类和假笑类主模式集合交集取并集的公式如下：

$J_{T,Global}={\&cup;}_{v=1}^B{J}_{T,v}$

$J_{F,Global}={\&cup;}_{v=1}^B{J}_{F,v}$

其中，B是分割的块的总数。