CN106919884A - 面部表情识别方法及装置 - Google Patents

面部表情识别方法及装置 Download PDF

Info

Publication number
CN106919884A
CN106919884A CN201510983041.1A CN201510983041A CN106919884A CN 106919884 A CN106919884 A CN 106919884A CN 201510983041 A CN201510983041 A CN 201510983041A CN 106919884 A CN106919884 A CN 106919884A
Authority
CN
China
Prior art keywords
image
shape
expression
normalization
rigid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510983041.1A
Other languages
English (en)
Inventor
黄磊
蔡利君
刘昌平
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hanvon Zhiyuan Technology Co Ltd
Original Assignee
Beijing Hanvon Zhiyuan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hanvon Zhiyuan Technology Co Ltd filed Critical Beijing Hanvon Zhiyuan Technology Co Ltd
Priority to CN201510983041.1A priority Critical patent/CN106919884A/zh
Publication of CN106919884A publication Critical patent/CN106919884A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00302Facial expression recognition
    • G06K9/00308Static expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6267Classification techniques
    • G06K9/6268Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches
    • G06K9/6269Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on the distance between the decision surface and training patterns lying on the boundary of the class cluster, e.g. support vector machines

Abstract

本发明公开了一种面部表情识别方法及装置。该方法包括:对面部图像进行人脸区域检测及关键点定位,获得面部图像的形状;将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐,获得所述面部图像的刚体归一化形状;获取所述刚体归一化形状中面部图像的人脸特征;根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果;对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。本发明不仅能够减少同类表情的多样性,同时还能够保留不同表情的差异性,具有良好的识别性能。

Description

面部表情识别方法及装置
技术领域
[0001] 本发明涉及图像处理技术,尤其涉及一种面部表情识别方法及装置。
背景技术
[0002] 随着计算机技术、人工智能技术等相关学科的发展,整个社会的自动化程度不断 提高,人们对于类似人与人交流方式的人机交互的需求日益强烈。计算机和机器人如果能 够像人类那样具有理解和表达情感的能力,将从根本上改变人与计算机之间的关系,使计 算机能够更好地为人类服务。表情识别是情感理解的基础,是计算机理解人们情感的前提。 如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系,这将对未来 人机交互产生重大意义。
[0003] 几何多样性是影响表情识别性能的一个重要方面。现有技术表情识别方法,通常 是先选取一个形状模板,然后让人脸图像向形状模板对齐,通过人脸图像具体对齐的形状 模型表示的表情来确定人脸的表情。然而,由于人脸形状各异,通过一个形状模板所能获得 识别结果往往不能达到预期,导致人脸的表情识别准确率较低。
发明内容
[0004] 本发明实施例所要解决的一个技术问题是:提供一种面部表情识别方法及装置, 以提高面部表情识别的准确率。
[0005] 根据本发明实施例的一个方面,提供的一种面部表情识别方法,包括:
[0006] 对面部图像进行人脸区域检测及关键点定位,获得面部图像的形状;
[0007] 将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐,获得所述面 部图像的刚体归一化形状;
[0008] 获取所述刚体归一化形状中所述面部图像的人脸特征;
[0009] 根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别 预测结果;
[0010] 对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
[0011] 进一步的,所述面部图像为样本面部图像或待识别面部图像。
[0012] 进一步的,所述预先获得的面部表情类别的平均形状由如下步骤获取:
[0013] S1、在面部表情类别的所有面部图像的形状中选取一副面部图像形状作为所述面 部表情类别的预估平均形状;
[0014] S2、对所述面部表情类别中其余的面部图像形状与所述预估平均形状进行归一 化,获得所述面部图像的归一化形状;
[0015] S3、获取所述面部表情类别归一化后所有面部图像的平均形状;
[0016] S4、将所述归一化后所有面部图像的平均形状与所述预估平均形状进行比对;若 比对结果一致,将所述预估平均形状作为预先获得的面部表情类别的平均形状,并将所述 面部图像的归一化形状作为该面部图像的刚体归一化形状;若比对结果不一致,则将S3获 取的归一化后所有面部图像的平均形状作为新的预估平均形状,迭代执行S2-S4。
[0017] 进一步的,所述面部图像的人脸特征包括面部图像的形状特征和面部图像的纹理 特征。
[0018] 进一步的,所述获取所述刚体归一化形状中所述面部图像的人脸特征包括:
[0019] 根据面部图像的刚体归一化形状,利用欧式空间的子空间理论,基于重构误差提 取面部图像的形状特征;
[0020] 将面部图像的原始纹理通过仿射扭曲填充到面部图像所属表情类别的平均形状 中,获得面部图像的非刚体归一化表观;
[0021] 根据改进的基于分块的局部二值模式从面部图像的非刚体归一化表观中获取面 部图像的纹理特征;
[0022] 将获取的面部图像的纹理特征填充到面部图像的形状特征中获得面部图像的人 脸特征。
[0023] 进一步的,所述预先训练的表情分类器包括:当所述面部图像为样本面部图像时, 对样本面部图像的人脸特征通过支持向量机算法进行训练获得预先训练的表情分类器。
[0024] 进一步的,所述根据预先训练的表情分类器对面部图像的人脸特征进行表情识别 获得表情类别预测结果包括:当所述面部图像为待识别面部图像时,根据预先训练的表情 分类器为待识别面部图像的人脸特征分配一个表情类别标签。
[0025] 进一步的,所述对所述表情类别预测结果进行加权投票确定所述面部图像的表情 类别包括:根据重构误差的加权投票策略对所述表情类别预测结果进行加权投票确定所述 面部图像的表情类别。
[0026] 根据本发明实施例的另一个方面,提供一种面部表情识别装置,包括:
[0027] 人脸检测单元,用于对面部图像进行人脸区域检测及关键点定位,获得面部图像 的形状;
[0028] 形状获取单元,用于将所述面部图像的形状与预先获得的面部表情类别的平均形 状对齐,获得所述面部图像的刚体归一化形状;
[0029] 特征获取单元,用于获取所述刚体归一化形状中所述面部图像的人脸特征;
[0030] 表情分类单元,用于根据预先训练的表情分类器对面部图像的人脸特征进行表情 识别获得表情类别预测结果;
[0031] 表情判断单元,用于对所述表情类别预测结果进行加权投票确定所述面部图像的 表情类别。
[0032] 基于本发明上述实施例提供的面部表情识别方法及装置,在对齐多个平均形状的 情况下,获得由形状特征和纹理特征混合构成的人脸特征,最后通过加权投票的方式确定 最终的表情类别,不仅能够减少同类表情的多样性,同时还能够保留不同表情的差异性,具 有良好的识别性能。
[0033] 下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
[0034] 构成说明书的一部分的附图描述了本发明的实施例,并且连同描述一起用于解释 本发明的原理。
[0035] 参照附图,根据下面的详细描述,可以更加清楚地理解本发明,其中:
[0036] 图1是本发明面部表情识别方法一个实施例的流程图。
[0037] 图2A至图2F是本发明实施例提供的面部表情识别方法中各种形状和表观形式的 示意图。
[0038] 图3是本发明实施例提供的面部表情识别方法中提取纹理特征的示意图。
[0039] 图4A是本发明面部表情识别方法另一个实施例的训练阶段的流程图。
[0040] 图4B是本发明面部表情识别方法另一个实施例的测试阶段的流程图。
[0041] 图5是本发明面部表情识别装置一个实施例的结构示意图。
[0042] 图6是本发明面部表情识别装置另一个实施例的结构示意图。
[0043] 图7是本发明面部表情识别方法训练阶段一个具体实施例的流程图。
[0044] 图8是本发明面部表情识别方法测试阶段一个具体实施例的流程图。
具体实施方式
[0045] 现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具 体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本 发明的范围。
[0046] 同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际 的比例关系绘制的。
[0047] 以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明 及其应用或使用的任何限制。
[0048] 对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适 当情况下,所述技术、方法和设备应当被视为说明书的一部分。
[0049] 应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一 个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
[0050] 请参阅图1所示,是本发明面部表情识别方法一个实施例的流程图。本实施例的面 部表情识别方法包括:
[0051] 步骤102,对面部图像进行人脸区域检测及关键点定位,获得面部图像的形状。
[0052] 其中,人脸区域的检测具体采用经典的维奥拉和琼斯(Viola and Jones)算法,关 键点定位具体采用显式回归(Explicit Shape Regression)算法。如图2A及图2D所示,图2A 显示了图2D中面部图像所对应的形状s,其中,形状s采用三角面片来描述,具体是由三角面 片所构成的网格中各顶点的坐标的向量来表示,各顶点即为关键点。例如,在待识别面部图 像中定位了 81个关键点,每个关键点具有二个坐标值(Xi,yi ),i = 1,…,81,则形成162维的 形状向量[叉1,71,叉2,72,.",叉81,781]1'〇
[0053] 在本步骤中,获得面部图像的形状包括获得样本面部图像的形状和待识别面部图 像的形状。其中,样本面部图像构成了训练集,训练集中包括多个面部表情类别,每个面部 表情类别中包含预设数目个样本面部图像。
[0054] 步骤104,将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐,获 得所述面部图像的刚体归一化形状。
[0055] 其中,预先获得的面部表情类别的平均形状具体根据一训练阶段获得。在本发明 中,预先获得的面部表情类别的平均形状只需要获取一次即可。如图2B所示,是预先获得的 某一面部表情类别的平均形状so,例如,图2B是面部表情为“快乐”时的平均形状so。由于面 部图像的形状s可以分解为平均形状so加上有限形状的组合,因此将形状s与平均形状so对 齐获得的形状称为刚体归一化形状sn。如图2C所示,是将图2A中的形状s与图2B中的平均形 状so对齐获得的刚体归一化形状sn,其中,刚体归一化形状^在运动中和受力作用后,形状 和大小不变,而且内部各点的相对位置不变。
[0056] 当面部图像为待识别面部图像时,将待识别面部图像分别与预先获得的多个面部 表情类别的平均形状对齐,获得与多个面部表情类别相对应数目的一组刚体归一化形状。
[0057] 步骤106,获取所述刚体归一化形状中所述面部图像的人脸特征。
[0058] 其中,所述面部图像的人脸特征包括面部图像的形状特征和面部图像的纹理特 征,基于面部图像的刚体归一化形状获取人脸特征的方法在下文中将详细进行描述。
[0059] 步骤108,根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得 表情类别预测结果。
[0060] 其中,预先训练的表情分类器具体根据一训练阶段获得。在本发明中,预先训练的 表情分类器只需要获取一次即可。
[0061] 步骤110,对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
[0062] 在本步骤中,通过加权投票的方式来确定最终面部图像的表情类别。
[0063] 基于本发明上述实施例提供的面部表情识别方法,在对齐多个平均形状的情况 下,获得由形状特征和纹理特征混合构成的人脸特征,最后通过加权投票的方式确定最终 的表情类别,不仅能够减少同类表情的多样性,同时还能够保留不同表情的差异性,具有良 好的识别性能。
[0064] 请参阅图4A、图4B、图7及图8所示,图4A是本发明面部表情识别方法另一个实施例 的训练阶段的流程图,图4B是本发明面部表情识别方法另一个实施例的测试阶段的流程 图,图7是本发明面部表情识别方法训练阶段一个具体实施例的流程图,图8是本发明面部 表情识别方法测试阶段一个具体实施例的流程图。本实施例的面部表情识别方法包括:训 练阶段和测试阶段两个阶段。
[0065] 其中,训练阶段用于获取训练集中各面部表情类别的平均形状,以及利用各训练 样本面部图像训练表情分类器,且面部表情类别的平均形状和表情分类器只需要在训练阶 段获取一次,在测试阶段直接利用该面部表情的平均形状和表情分类器对待识别面部图像 的表情进行识别。具体的,所述训练阶段包括:
[0066] 步骤202,对样本面部图像进行人脸区域及关键点检测,获得样本面部图像的形 状。
[0067] 步骤204,根据样本面部图像的形状,计算每个面部表情类别的平均形状,将每个 样本面部图像的形状与各自所属面部表情类别的平均形状对齐,获得每个样本面部图像的 刚体归一化形状。
[0068] 步骤206,获取每个样本面部图像的刚体归一化形状的样本面部图像的人脸特征。
[0069] 其中,样本面部图像的人脸特征包括样本面部图像的形状特征和样本面部图像的 纹理特征。
[0070] 步骤208,根据每个样本面部图像的人脸特征训练表情分类器。
[0071] 所述测试阶段包括:
[0072] 步骤210,对待识别面部图像进行人脸区域检测及关键点定位,获得待识别面部图 像的形状。
[0073] 步骤212,将待识别面部图像的形状分别与训练阶段获得的每个面部表情类别的 平均形状对齐,获得待识别面部图像的一组刚体归一化形状。
[0074] 步骤214,获取待识别面部图像的一组刚体归一化形状中每个待识别面部图像的 人脸特征。
[0075] 待识别面部图像的人脸特征包括待识别面部图像的形状特征和待识别面部图像 的纹理特征。
[0076] 步骤216,根据训练阶段训练的表情分类器对每个待识别面部图像的人脸特征进 行表情识别获得表情类别预测结果。
[0077] 步骤218,对所述表情类别预测结果进行加权投票确定待识别面部图像的表情类 别。
[0078] 如图7所示,其中ANG,CON,DIS,FEA,HAP,SAD,SUR分别代表7种面部表情:生气、不 肩、厌恶、害怕、快乐、悲伤和吃惊。每一种面部表情类别中包含一定数量的样本面部图像, 由这7种面部表情类别的样本面部图像构成了训练集样本。
[0079] 在一具体实施例中,步骤204具体通过普氏分析(procrustes analysis)获得每个 面部表情类别的平均形状和每个训练样本面部图像的刚体归一化形状获,具体包括:
[0080] 步骤2041,在每个面部表情类别的训练样本面部图像的形状中选取一副样本面部 图像的形状作为所述面部表情类别的预估平均形状。例如,选取第1个样本面部图像的形状 为预估的平均形状。
[0081 ]步骤2042,对每个面部表情类别中其余的样本面部图像的形状根据普氏分析与预 估的平均形状进行归一化,获得所述样本面部图像的归一化形状。
[0082] 步骤2043,获取每个面部表情类别归一化后所有样本面部图像的平均形状。
[0083] 步骤2044,将每个面部表情类别归一化后获得的所有样本面部图像的平均形状与 预估的平均形状进行比对;若比对结果一致,将预估的平均形状作为该面部表情类别的平 均形状,即预先获得的面部表情类别的平均形状,并将所述样本面部图像的归一化形状作 为该样本面部图像的刚体归一化形状;若比对结果不一致,则将步骤2043获取的每个面部 表情类别归一化后所有样本面部图像的平均形状作为新的预估平均形状,迭代执行步骤 2042-步骤2044,直到步骤2043中获取的归一化后所有样本面部图像的平均形状与最后迭 代时的预估平均形状一致为止。
[0084] 其中,普氏分析(procrustes analysis)具体过程为:
[0085] (1)构成样本集的形状集合
[0086] 例如,样本集的形状集合为_
Figure CN106919884AD00081
其中k为样本数,m为形状向 量的维数。
[0087] (2)将样本集的形状向原点对齐
[0088] 具体为:原点一般选择(0,0)点,即向原点对齐后的形状集合为:
[0089]
Figure CN106919884AD00091
[0090] (3)将向原点对齐后的形状尺度归一化,具体为:xn=xc/| |Xc| I。
[0091] (4)将向原点对齐和尺度归一化获得的形状集合Xn通过旋转操作进行归一化,具 体为:选择旋转矩阵Q,使得
Figure CN106919884AD00092
I,其中,X表示预先估计的该表情类别的平均形 状。
[0092] 在一具体实施例中,步骤206包括:
[0093] 步骤2061,根据每个样本面部图像的刚体归一化形状,利用欧式空间的子空间理 论,基于重构误差提取面部图像的形状特征。
[0094] 步骤2062,将每个样本面部图像的原始纹理填充到每个样本面部图像各自所属表 情类别的平均形状中,获得每个样本面部图像的非刚体归一化表观,从每个样本面部图像 的非刚体归一化表观中提取每个样本面部图像的纹理特征。
[0095] 步骤2063,将获取的每个样本面部图像的纹理特征填充到每个样本面部图像的形 状特征中获得每个样本面部图像的人脸特征。
[0096] 下面对获取每个样本面部图像的形状特征的步骤2061进行说明,步骤2061具体包 括:
[0097] (1)计算每个样本面部图像的刚体归一化形状在每个表情类别的线性重构误差。
[0098] 具体根据,对于形状特征,每一个样本都可以被邻域的样本进行线性重构。因此对 于一个面部图像样本i,其在第c类的线性重构误差为:
[0099]
Figure CN106919884AD00093
[0100] 其中,c为表情类别,C = I,…,为面部图像样本i在第c类的线性重构误差,Sl,n 为面部图像样本i的刚体归一化形状;Nk为邻域集合样本,K为与Sl,n的欧式距离最邻近的K 个面部图像样本,< 表示重构系数,表示与Sl,n欧式距离最近的K个面部图像样本属于 第c类的刚体归一化形状。
[0101] (2)确定每个样本面部图像的刚体归一化形状的最小线性重构误差所对应的面部 表情类别。
[0102] 具体为当满足6 = 1^\<时,判断面部图像样本i在第&amp;类具有最小线性重构误差。
[0103] (3)获取每个样本面部图像的刚体归一化形状的最小线性重构误差所属面部表情 类别的邻域集合样本的权重向量作为每个样本面部图像的形状特征。
[0104] 具体为当满足<3 = 〇1^<时,将所对应的权重向量
Figure CN106919884AD00094
作为面部图像 样本i的形状特征。
[0105] 其中,当在已知样本的面部表情类别时,可以直接根据步骤(1)通过计算每个样本 面部图像的刚体归一化形状在所属面部表情类别的线性重构误差,获得样本面部图像的形 状特征,此时线性重构误差的邻域集合样本的权重向量即作为样本面部图像的形状特征。
[0106] 下面对获取每个训练样本面部图像的纹理特征的步骤2062进行说明,步骤2062具 体包括:
[0107] (1)将每个样本面部图像的原始纹理通过仿射扭曲(affine warping)填充到每个 样本面部图像各自所属面部表情类别的平均形状中,获得每个样本面部图像的非刚体归一 化表观。
[0108] 如图2F所示,是将图2D中面部图像的原始纹理通过仿射扭曲(affine warping)填 充到图2C的面部图像所属面部表情类别的平均形状so中,所获得的面部图像的非刚体归一 化表观ao,具体是通过将图2D中原始面部图像中的灰度值通过仿射扭曲(affine warping) 来获取所述非刚体归一化表观ao。另外,如图2E所示,是在图2B的面部图像的刚体归一化形 状8„中填充上纹理信息构成的刚体归一化表观an,具体是通过将图2D中原始面部图像中的 灰度值通过仿射扭曲(affine warping)来获取所述刚体归一化表观an。由于对于纹理特 征,采用非刚体归一化表观ao提取纹理特征的效果优于采用刚体归一化表观an提取纹理特 征的效果,因此,本发明实施例采用非刚体归一化表观an来提取纹理特征。
[0109] (2)根据改进的基于分块的局部二值(Dual Histogram Local Binary Pattern, DH-LBP)模式从每个样本面部图像的非刚体归一化表观中获取每个样本面部图像的纹理特 征。
[0110] 其中,采用改进的基于分块的局部二值模式(Dual Histogram Local Binary Pattern,DH-LBP)来表示纹理特征,可以反映眼睛、鼻子和嘴巴这些在面部表情识别中具有 重要作用的区域的微纹理特征,由于DH-LBP只有16维,并且同时保留了局部二值模式 (Lo ca I B i nary Pat tern,LBP)的判别能力,因此有利于提高模型的推广能力。如图3所示, 图3是本发明实施例提供的面部表情识别方法中提取纹理特征的示意图,其中将眼睛、鼻子 和嘴巴区域共划分为36+35 = 71个子区域,根据分块的数量和特征的维度,面部图像的纹理 特征的维度为71 X 16 = 1136。
[0111] 与步骤206类似,步骤214包括:
[0112] 步骤2141,根据待识别面部图像的刚体归一化形状,利用欧式空间的子空间理论, 基于重构误差提取每个待识别面部图像的形状特征。
[0113] 步骤2142,将待识别面部图像的原始纹理填充到每个表情类别的平均形状中,获 得待识别面部图像在每个表情类别的非刚体归一化表观,从待识别面部图像的每个非刚体 归一化表观中提取待识别面部图像在每个面部表情类别的纹理特征。
[0114] 步骤2143,将每个待识别面部图像在每个表情类别的纹理特征填充到每个待识别 面部图像的形状特征中获得一组待识别面部图像的人脸特征。
[0115] 其中,获取待识别面部图像的形状特征的步骤2141具体包括:
[0116] (1)计算每个待识别面部图像的刚体归一化形状在每个表情类别的线性重构误 差。
[0117] (2)确定每个待识别面部图像的刚体归一化形状的最小线性重构误差所对应的面 部表情类别。
[0118] (3)获取每个待识别面部图像的刚体归一化形状的最小线性重构误差的所属面部 表情类别的邻域集合样本的权重向量作为每个待识别面部图像的形状特征。
[0119] 其中,获取待识别面部图像的纹理特征的步骤2142具体包括:
[0120] (1)将待识别面部图像的原始纹理通过仿射扭曲填充到每个表情类别的平均形状 中,获得待识别面部图像在每个表情类别的非刚体归一化表观。
[0121] (2)根据改进的基于分块的局部二值(Dual Histogram Local Binary Pattern, DH-LBP)模式从每个待识别面部图像在每个表情类别的非刚体归一化表观中获取每个待识 别面部图像在每个面部表情类别的纹理特征。
[0122] 如图8所示,是本发明面部表情识别方法测试阶段一个具体实施例的流程图。步骤 214所获得的参数包括:重构系数
Figure CN106919884AD00111
重构误差
Figure CN106919884AD00112
形状特征
Figure CN106919884AD00113
纹理特征
Figure CN106919884AD00114
Figure CN106919884AD00115
和混合特征 其中,c为表情类别,c = 1,…,C ; <为面部图像样本t在第c类的 O 线性重构误差,< 为面部图像样本t在第C类的重构系数。
[0123] 在一具体实施例中,步骤208具体包括:根据每个样本面部图像的人脸特征通过支 持向量机(Support Vector Machine,SVM)算法训练表情分类器。
[0124] 在一具体实施例中,步骤216具体包括:根据训练阶段训练的表情分类器为每个待 识别面部图像的人脸特征分配一个表情类别标签。
[0125] 在一具体实施例中,步骤218具体包括:根据重构误差的加权投票策略对表情类别 预测结果进行加权投票确定待识别面部图像的表情类别。
[0126] 具体根据
Figure CN106919884AD00116
确定表情类别。
[0127] 其中,c为表情类别,c = l,…,C;
Figure CN106919884AD00117
I为待识别面部图像t基于重构误差的权 重,其中重构误差越小,权重越大;P。为表情类别标签,当p。= I,I {p。= 1 } = 1,当P。矣I,I {p。 =1}=0〇
[0128] 在上式中,每个面部表情类别的平均形状都给每个面部表情类别贡献了一定的权 重,待识别面部图像的表情被确定为具有最大权重的表情类别,即具有最多投票的表情类 别被确定为待识别面部图像的表情类别。
[0129] 请参阅图5所示,是本发明面部表情识别装置一个实施例的结构示意图。本实施例 的面部表情识别装置可用于实现本发明上述各面部表情识别方法实施例,本实施例的面部 表情识别装置包括:人脸检测单元502、形状获取单元504、特征获取单元506、表情分类单元 508和表情判断单元510。其中,
[0130] 人脸检测单元502,用于对面部图像进行人脸区域及关键点检测,获得面部图像的 形状。
[0131] 其中,人脸区域的检测具体采用经典的维奥拉和琼斯(Viola and Jones)算法,关 键点定位具体采用显式回归(Explicit Shape Regression)算法。如图2A及图2D所示,图2A 显示了图2D中面部图像所对应的形状s,其中,形状s采用三角面片来描述,具体是由三角面 片所构成的网格中各顶点的坐标的向量来表示,各顶点即为关键点。
[0132] 具体来说,人脸检测单元502用于对样本面部图像进行人脸区域及关键点检测,获 得样本面部图像的形状,还用于对待识别面部图像进行人脸区域及关键点检测,获得待识 别面部图像的形状。
[0133] 形状获取单元504,用于将面部图像的形状与预先获得的面部表情类别的平均形 状对齐,获得面部图像的一组刚体归一化形状。
[0134] 其中,预先获得的每个面部表情类别的平均形状具体根据一训练阶段获得。如图 2B所示,是预先获得的某一面部表情类别的平均形状so。由于面部图像的形状s可以分解为 平均形状so加上有限形状的组合,因此将形状s与平均形状so对齐获得的形状称为刚体归一 化形状sn。如图2C所示,是将图2A中的形状s与图2B中的平均形状so对齐获得的刚体归一化 形状sn,其中,刚体归一化形状sn具体是形状s通过仿射变换操作向平均形状so对齐后获得 的形状。
[0135] 特征获取单元506,用于获取面部图像的刚体归一化形状中面部图像的人脸特征。
[0136] 其中,面部图像包括样本面部图像和待识别面部图像,人脸特征包括形状特征和 纹理特征。
[0137] 表情分类单元508,用于根据预先训练的表情分类器对面部图像的人脸特征进行 表情识别获得表情类别预测结果。
[0138] 其中,预先训练的表情分类器具体根据一训练阶段获得。
[0139] 表情判断单元510,用于对所述表情类别预测结果进行加权投票确定待识别面部 图像的表情类别。
[0140] 基于本发明上述实施例提供的面部表情识别装置,在对齐多个平均形状的情况 下,获得由形状特征和纹理特征混合构成的人脸特征,最后通过加权投票的方式确定最终 的表情类别,不仅能够减少同类表情的多样性,同时还能够保留不同表情的差异性,具有良 好的识别性能。
[0141] 在另一实施例中,面部表情识别装置用于执行训练阶段和测试阶段两个阶段的操 作。
[0142] 人脸检测单元502,对样本面部图像进行人脸区域及关键点检测,获得样本面部图 像的形状。
[0143] 形状获取单元504,还用于根据样本面部图像的形状,计算每个面部表情类别的平 均形状,将每个样本面部图像的形状与各自所属面部表情类别的平均形状对齐,获得每个 样本面部图像的刚体归一化形状。
[0144] 特征获取单元506,还用于获取每个样本面部图像的刚体归一化形状的面部图像 的人脸特征。
[0145] 表情分类单元508,还用于根据训练样本面部图像的人脸特征训练表情分类器。
[0146] 在一具体实施例中,形状获取单元504具体通过普氏分析(procrustes analysis) 获得每个面部表情类别的平均形状、每个训练样本面部图像的刚体归一化形状和待识别面 部图像的刚体归一化形状。
[0147] 请参阅图6所示,是本发明表情识别装置另一个实施例的结构示意图。本实施例与 图5实施例的区别在于,形状获取单元504包括:预估计单元602、归一化单元604、平均单元 606和判断单元608。其中,
[0148] 预估计单元602,用于在面部表情类别的样本面部图像的形状中选取一副面部图 像的形状作为该面部表情类别的预估平均形状。
[0149] 归一化单元604,用于对面部表情类别中其余的样本面部图像的形状根据普氏分 析与预估的平均形状进行归一化,获得面部图像的刚体归一化形状。
[0150] 平均单元606,用于获取面部表情类别归一化后所有样本面部图像的平均形状。
[0151] 判断单元608,用于将归一化后所有样本面部图像的平均形状与预估的平均形状 进行比对;若比对结果一致,将预估平均形状作为该面部表情类别的平均形状,并将面部图 像的归一化形状作为该面部图像的刚体归一化形状;若比对结果不一致,则将归一化后所 有面部图像的平均形状作为新的预估的平均形状,由归一化单元604和平均单元606迭代执 行上述归一化操作和获取归一化后所有训练样本面部图像的平均形状的操作。
[0152] 特征获取单元506包括:形状特征获取单元612、纹理特征获取单元614和填充单元 616。其中,
[0153] 形状特征获取单元612,用于根据每个样本面部图像的刚体归一化形状,利用欧式 空间的子空间理论,基于重构误差提取面部图像的形状特征。
[0154] 具体地,形状特征获取单元612通过计算每个样本面部图像的刚体归一化形状在 每个表情类别的线性重构误差;及确定每个样本面部图像的刚体归一化形状的最小线性重 构误差所对应的面部表情类别;并获取每个样本面部图像的刚体归一化形状的最小线性重 构误差所属面部表情类别的邻域集合样本的权重向量作为每个样本面部图像的形状特征。
[0155] 形状特征获取单元612还用于根据待识别面部图像的刚体归一化形状,利用欧式 空间的子空间理论,基于重构误差提取每个待识别面部图像的形状特征。
[0156] 具体地,形状特征获取单元612通过计算每个待识别面部图像的刚体归一化形状 在每个表情类别的线性重构误差;及确定每个待识别面部图像的刚体归一化形状的最小线 性重构误差所对应的面部表情类别;并获取每个待识别面部图像的刚体归一化形状的最小 线性重构误差的所属面部表情类别的邻域集合样本的权重向量作为每个待识别面部图像 的形状特征。
[0157] 纹理特征获取单元614,用于将每个样本面部图像的原始纹理填充到每个样本面 部图像各自所属表情类别的平均形状中,获得每个样本面部图像的非刚体归一化表观,从 每个样本面部图像的非刚体归一化表观中提取每个样本面部图像的纹理特征。
[0158] 具体地,纹理特征获取单元614通过将每个样本面部图像的原始纹理通过仿射扭 曲(affine warping)填充到每个样本面部图像各自所属面部表情类别的平均形状中,获得 每个样本面部图像的非刚体归一化表观;及根据改进的基于分块的局部二值(D u a 1 Histogram Local Binary Pattern,DH_LBP)模式从每个样本面部图像的非刚体归一化表 观中获取每个样本面部图像的纹理特征。
[0159] 纹理特征获取单元614,还用于将待识别面部图像的原始纹理填充到每个表情类 别的平均形状中,获得待识别面部图像在每个表情类别的非刚体归一化表观,从待识别面 部图像的每个非刚体归一化表观中提取待识别面部图像在每个面部表情类别的纹理特征。
[0160] 具体地,纹理特征获取单元614通过将待识别面部图像的原始纹理通过仿射扭曲 填充到每个表情类别的平均形状中,获得待识别面部图像在每个表情类别的非刚体归一化 表观;及根据改进的基于分块的局部二值(Dual Histogram Local Binary Pattern,DH-LBP)模式从每个待识别面部图像在每个表情类别的非刚体归一化表观中获取每个待识别 面部图像在每个面部表情类别的纹理特征。
[0161] 填充单元616,用于将获取的每个训练样本面部图像的纹理特征填充到每个训练 样本面部图像的形状特征中获得每个训练样本面部图像的人脸特征。
[0162] 填充单元616还用于将每个待识别面部图像在每个表情类别的纹理特征填充到每 个待识别面部图像的形状特征中获得一组待识别面部图像的人脸特征。
[0163] 在一具体实施例中,表情分类单元508,用于根据每个样本面部图像的人脸特征通 过支持向量机(Support Vector Machine,SVM)算法训练表情分类器。
[0164] 在一具体实施例中,表情分类单元508,还用于根据训练阶段训练的表情分类器为 每个待识别面部图像的人脸特征分配一个表情类别标签。
[0165] 在一具体实施例中,表情判断单元510用于根据重构误差的加权投票策略对表情 类别预测结果进行加权投票确定待识别面部图像的表情类别。
[0166] 具体根据
Figure CN106919884AD00141
丨确定表情类别。
[0167] 其中,c为表情类别,c = l,…:
Figure CN106919884AD00142
丨为待识别面部图像t基于重构误差的权 重,其中重构误差越小,权重越大;P。为表情类别标签,当p。= I,I {p。= 1 } = 1,当P。矣I,I {p。 =1}=0〇
[0168] 在上式中,每个面部表情类别的平均形状都给每个面部表情类别贡献了一定的权 重,待识别面部图像的表情被确定为具有最大权重的表情类别,即具有最多投票的表情类 别被确定为待识别面部图像的表情类别。
[0169] 所述表情识别装置包括处理器和存储器,上述人脸检测单元502、形状获取单元 504、特征获取单元506、表情分类单元508和表情判断单元510等均作为程序单元存储在存 储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
[0170] 存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/ 或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存 储芯片。
[0171] 本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其 它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例 而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部 分说明即可。
[0172] 可能以许多方式来实现本发明的方法、装置和系统。例如,可通过软件、硬件、固件 或者软件、硬件、固件的任何组合来实现本发明的方法、装置和系统。用于所述方法的步骤 的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以 其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程 序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用 于执行根据本发明的方法的程序的记录介质。

Claims (9)

1. 一种面部表情识别方法,其特征在于,包括: 对面部图像进行人脸区域检测及关键点定位,获得面部图像的形状; 将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐,获得所述面部图像的刚体归一化形状; 获取所述刚体归一化形状中所述面部图像的人脸特征; 根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果; 对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
2. 根据权利要求1所述的方法,其特征在于,所述面部图像为样本面部图像或待识别面部图像。
3. 根据权利要求2所述的方法,其特征在于,所述预先获得的面部表情类别的平均形状由如下步骤获取: 51、 在面部表情类别的所有面部图像的形状中选取一副面部图像形状作为所述面部表情类别的预估平均形状; 52、 对所述面部表情类别中其余的面部图像形状与所述预估平均形状进行归一化,获得所述面部图像的归一化形状; 53、 获取所述面部表情类别归一化后所有面部图像的平均形状; 54、 将所述归一化后所有面部图像的平均形状与所述预估平均形状进行比对;若比对结果一致,将所述预估平均形状作为预先获得的面部表情类别的平均形状,并将所述面部图像的归一化形状作为该面部图像的刚体归一化形状;若比对结果不一致,则将S3获取的归一化后所有面部图像的平均形状作为新的预估平均形状,迭代执行S2-S4。
4. 根据权利要求3所述的方法,其特征在于,所述面部图像的人脸特征包括面部图像的形状特征和面部图像的纹理特征。
5. 根据权利要求4所述的方法,其特征在于,所述获取所述刚体归一化形状中所述面部图像的人脸特征包括: 根据面部图像的刚体归一化形状,利用欧式空间的子空间理论,基于重构误差提取面部图像的形状特征; 将面部图像的原始纹理通过仿射扭曲填充到面部图像所属表情类别的平均形状中,获得面部图像的非刚体归一化表观; 根据改进的基于分块的局部二值模式从面部图像的非刚体归一化表观中获取面部图像的纹理特征; 将获取的面部图像的纹理特征填充到面部图像的形状特征中获得面部图像的人脸特征。
6. 根据权利要求4所述的方法,其特征在于,所述预先训练的表情分类器包括:当所述面部图像为样本面部图像时,对样本面部图像的人脸特征通过支持向量机算法进行训练获得预先训练的表情分类器。
7. 根据权利要求6所述的方法,其特征在于,所述根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果包括:当所述面部图像为待识别面部图像时,根据预先训练的表情分类器为待识别面部图像的人脸特征分配一个表情类别标签。
8. 根据权利要求7所述的方法,其特征在于,所述对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别包括:根据重构误差的加权投票策略对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
9. 一种面部表情识别装置,其特征在于,包括: 人脸检测单元,用于对面部图像进行人脸区域检测及关键点定位,获得面部图像的形状; 形状获取单元,用于将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐,获得所述面部图像的刚体归一化形状; 特征获取单元,用于获取所述刚体归一化形状中所述面部图像的人脸特征; 表情分类单元,用于根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果; 表情判断单元,用于对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
CN201510983041.1A 2015-12-24 2015-12-24 面部表情识别方法及装置 Pending CN106919884A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510983041.1A CN106919884A (zh) 2015-12-24 2015-12-24 面部表情识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510983041.1A CN106919884A (zh) 2015-12-24 2015-12-24 面部表情识别方法及装置

Publications (1)

Publication Number Publication Date
CN106919884A true CN106919884A (zh) 2017-07-04

Family

ID=59459816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510983041.1A Pending CN106919884A (zh) 2015-12-24 2015-12-24 面部表情识别方法及装置

Country Status (1)

Country Link
CN (1) CN106919884A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563292A (zh) * 2017-08-03 2018-01-09 佛山市顺德区中山大学研究院 一种基于lddmm曲线匹配的人脸情感识别方法
CN108268838A (zh) * 2018-01-02 2018-07-10 中国科学院福建物质结构研究所 人脸表情识别方法及人脸表情识别系统
CN108921941A (zh) * 2018-07-10 2018-11-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN109614928A (zh) * 2018-12-07 2019-04-12 成都大熊猫繁育研究基地 基于有限训练数据的熊猫脸部识别方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694691A (zh) * 2009-07-07 2010-04-14 北京中星微电子有限公司 一种人脸图像合成方法及装置
CN101763503A (zh) * 2009-12-30 2010-06-30 中国科学院计算技术研究所 一种姿态鲁棒的人脸识别方法
CN102880862A (zh) * 2012-09-10 2013-01-16 Tcl集团股份有限公司 一种人脸表情的识别方法及系统
CN103268623A (zh) * 2013-06-18 2013-08-28 西安电子科技大学 一种基于频域分析的静态人脸表情合成方法
CN103377367A (zh) * 2012-04-28 2013-10-30 中兴通讯股份有限公司 面部图像的获取方法及装置
CN103714331A (zh) * 2014-01-10 2014-04-09 南通大学 一种基于点分布模型面部表情特征的提取方法
CN103824051A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于局部区域匹配的人脸搜索方法
CN104077563A (zh) * 2014-05-30 2014-10-01 小米科技有限责任公司 人脸识别方法和装置
CN104123562A (zh) * 2014-07-10 2014-10-29 华东师范大学 一种基于双目视觉的人体面部表情识别方法及其装置
CN104732216A (zh) * 2015-03-26 2015-06-24 江苏物联网研究发展中心 基于关键点和局部特征的表情识别方法
CN104835507A (zh) * 2015-03-30 2015-08-12 渤海大学 一种串并结合的多模式情感信息融合与识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694691A (zh) * 2009-07-07 2010-04-14 北京中星微电子有限公司 一种人脸图像合成方法及装置
CN101763503A (zh) * 2009-12-30 2010-06-30 中国科学院计算技术研究所 一种姿态鲁棒的人脸识别方法
CN103377367A (zh) * 2012-04-28 2013-10-30 中兴通讯股份有限公司 面部图像的获取方法及装置
CN102880862A (zh) * 2012-09-10 2013-01-16 Tcl集团股份有限公司 一种人脸表情的识别方法及系统
CN103268623A (zh) * 2013-06-18 2013-08-28 西安电子科技大学 一种基于频域分析的静态人脸表情合成方法
CN103714331A (zh) * 2014-01-10 2014-04-09 南通大学 一种基于点分布模型面部表情特征的提取方法
CN103824051A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于局部区域匹配的人脸搜索方法
CN104077563A (zh) * 2014-05-30 2014-10-01 小米科技有限责任公司 人脸识别方法和装置
CN104123562A (zh) * 2014-07-10 2014-10-29 华东师范大学 一种基于双目视觉的人体面部表情识别方法及其装置
CN104732216A (zh) * 2015-03-26 2015-06-24 江苏物联网研究发展中心 基于关键点和局部特征的表情识别方法
CN104835507A (zh) * 2015-03-30 2015-08-12 渤海大学 一种串并结合的多模式情感信息融合与识别方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563292A (zh) * 2017-08-03 2018-01-09 佛山市顺德区中山大学研究院 一种基于lddmm曲线匹配的人脸情感识别方法
CN107563292B (zh) * 2017-08-03 2019-09-10 佛山市顺德区中山大学研究院 一种基于lddmm曲线匹配的人脸情感识别方法
CN108268838A (zh) * 2018-01-02 2018-07-10 中国科学院福建物质结构研究所 人脸表情识别方法及人脸表情识别系统
CN108268838B (zh) * 2018-01-02 2020-12-29 中国科学院福建物质结构研究所 人脸表情识别方法及人脸表情识别系统
CN108921941A (zh) * 2018-07-10 2018-11-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN109614928A (zh) * 2018-12-07 2019-04-12 成都大熊猫繁育研究基地 基于有限训练数据的熊猫脸部识别方法

Similar Documents

Publication Publication Date Title
CN107657279B (zh) 一种基于少量样本的遥感目标检测方法
CN106919884A (zh) 面部表情识别方法及装置
Li et al. SOLD: Sub-optimal low-rank decomposition for efficient video segmentation
CN106296638A (zh) 显著性信息取得装置以及显著性信息取得方法
CN107085716A (zh) 基于多任务生成对抗网络的跨视角步态识别方法
CN105825502B (zh) 一种基于显著性指导的词典学习的弱监督图像解析方法
CN105139004A (zh) 基于视频序列的人脸表情识别方法
CN102663400B (zh) 一种结合预处理的lbp特征提取方法
CN107680119A (zh) 一种基于时空上下文融合多特征及尺度滤波的跟踪算法
CN104899877A (zh) 基于超像素和快速三分图的图像前景提取方法
Li et al. An approach to streaming video segmentation with sub-optimal low-rank decomposition
CN104484886B (zh) 一种mr图像的分割方法及装置
CN105825183B (zh) 基于部分遮挡图像的人脸表情识别方法
CN107516316A (zh) 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法
CN104077742B (zh) 基于Gabor特征的人脸素描合成方法及系统
CN105574063A (zh) 基于视觉显著性的图像检索方法
Jan et al. Accurate facial parts localization and deep learning for 3D facial expression recognition
US10891511B1 (en) Human hairstyle generation method based on multi-feature retrieval and deformation
CN106897669A (zh) 一种基于一致迭代多视角迁移学习的行人再辨识方法
CN105956570B (zh) 基于唇部特征和深度学习的笑脸识别方法
CN102163281A (zh) 基于AdaBoost框架和头部颜色的实时人体检测方法
CN107103311A (zh) 一种连续手语的识别方法及其装置
CN107273824A (zh) 基于多尺度多方向局部二值模式的人脸识别方法
CN106127112A (zh) 基于dlle模型的数据降维与特征理解方法
CN109214273A (zh) 人脸图像比对方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170704

RJ01 Rejection of invention patent application after publication