CN106919884A - 面部表情识别方法及装置 - Google Patents

面部表情识别方法及装置 Download PDF

Info

Publication number
CN106919884A
CN106919884A CN201510983041.1A CN201510983041A CN106919884A CN 106919884 A CN106919884 A CN 106919884A CN 201510983041 A CN201510983041 A CN 201510983041A CN 106919884 A CN106919884 A CN 106919884A
Authority
CN
China
Prior art keywords
face
image
shape
expression
normalization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510983041.1A
Other languages
English (en)
Inventor
黄磊
蔡利君
刘昌平
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hanvon Zhiyuan Technology Co Ltd
Original Assignee
Beijing Hanvon Zhiyuan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hanvon Zhiyuan Technology Co Ltd filed Critical Beijing Hanvon Zhiyuan Technology Co Ltd
Priority to CN201510983041.1A priority Critical patent/CN106919884A/zh
Publication of CN106919884A publication Critical patent/CN106919884A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面部表情识别方法及装置。该方法包括：对面部图像进行人脸区域检测及关键点定位，获得面部图像的形状；将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐，获得所述面部图像的刚体归一化形状；获取所述刚体归一化形状中面部图像的人脸特征；根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果；对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。本发明不仅能够减少同类表情的多样性,同时还能够保留不同表情的差异性,具有良好的识别性能。

Description

面部表情识别方法及装置
技术领域
本发明涉及图像处理技术，尤其涉及一种面部表情识别方法及装置。
背景技术
随着计算机技术、人工智能技术等相关学科的发展，整个社会的自动化程度不断提高，人们对于类似人与人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互产生重大意义。
几何多样性是影响表情识别性能的一个重要方面。现有技术表情识别方法，通常是先选取一个形状模板,然后让人脸图像向形状模板对齐，通过人脸图像具体对齐的形状模型表示的表情来确定人脸的表情。然而,由于人脸形状各异，通过一个形状模板所能获得识别结果往往不能达到预期，导致人脸的表情识别准确率较低。
发明内容
本发明实施例所要解决的一个技术问题是：提供一种面部表情识别方法及装置，以提高面部表情识别的准确率。
根据本发明实施例的一个方面，提供的一种面部表情识别方法，包括：
对面部图像进行人脸区域检测及关键点定位，获得面部图像的形状；
将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐，获得所述面部图像的刚体归一化形状；
获取所述刚体归一化形状中所述面部图像的人脸特征；
根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果；
对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
进一步的，所述面部图像为样本面部图像或待识别面部图像。
进一步的，所述预先获得的面部表情类别的平均形状由如下步骤获取：
S1、在面部表情类别的所有面部图像的形状中选取一副面部图像形状作为所述面部表情类别的预估平均形状；
S2、对所述面部表情类别中其余的面部图像形状与所述预估平均形状进行归一化，获得所述面部图像的归一化形状；
S3、获取所述面部表情类别归一化后所有面部图像的平均形状；
S4、将所述归一化后所有面部图像的平均形状与所述预估平均形状进行比对；若比对结果一致，将所述预估平均形状作为预先获得的面部表情类别的平均形状，并将所述面部图像的归一化形状作为该面部图像的刚体归一化形状；若比对结果不一致，则将S3获取的归一化后所有面部图像的平均形状作为新的预估平均形状，迭代执行S2-S4。
进一步的，所述面部图像的人脸特征包括面部图像的形状特征和面部图像的纹理特征。
进一步的，所述获取所述刚体归一化形状中所述面部图像的人脸特征包括：
根据面部图像的刚体归一化形状，利用欧式空间的子空间理论，基于重构误差提取面部图像的形状特征；
将面部图像的原始纹理通过仿射扭曲填充到面部图像所属表情类别的平均形状中，获得面部图像的非刚体归一化表观；
根据改进的基于分块的局部二值模式从面部图像的非刚体归一化表观中获取面部图像的纹理特征；
将获取的面部图像的纹理特征填充到面部图像的形状特征中获得面部图像的人脸特征。
进一步的，所述预先训练的表情分类器包括：当所述面部图像为样本面部图像时，对样本面部图像的人脸特征通过支持向量机算法进行训练获得预先训练的表情分类器。
进一步的，所述根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果包括：当所述面部图像为待识别面部图像时，根据预先训练的表情分类器为待识别面部图像的人脸特征分配一个表情类别标签。
进一步的，所述对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别包括：根据重构误差的加权投票策略对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
根据本发明实施例的另一个方面，提供一种面部表情识别装置，包括：
人脸检测单元，用于对面部图像进行人脸区域检测及关键点定位，获得面部图像的形状；
形状获取单元，用于将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐，获得所述面部图像的刚体归一化形状；
特征获取单元，用于获取所述刚体归一化形状中所述面部图像的人脸特征；
表情分类单元，用于根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果；
表情判断单元，用于对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
基于本发明上述实施例提供的面部表情识别方法及装置，在对齐多个平均形状的情况下，获得由形状特征和纹理特征混合构成的人脸特征，最后通过加权投票的方式确定最终的表情类别,不仅能够减少同类表情的多样性,同时还能够保留不同表情的差异性,具有良好的识别性能。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1是本发明面部表情识别方法一个实施例的流程图。
图2A至图2F是本发明实施例提供的面部表情识别方法中各种形状和表观形式的示意图。
图3是本发明实施例提供的面部表情识别方法中提取纹理特征的示意图。
图4A是本发明面部表情识别方法另一个实施例的训练阶段的流程图。
图4B是本发明面部表情识别方法另一个实施例的测试阶段的流程图。
图5是本发明面部表情识别装置一个实施例的结构示意图。
图6是本发明面部表情识别装置另一个实施例的结构示意图。
图7是本发明面部表情识别方法训练阶段一个具体实施例的流程图。
图8是本发明面部表情识别方法测试阶段一个具体实施例的流程图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
请参阅图1所示，是本发明面部表情识别方法一个实施例的流程图。本实施例的面部表情识别方法包括：
步骤102，对面部图像进行人脸区域检测及关键点定位，获得面部图像的形状。
其中，人脸区域的检测具体采用经典的维奥拉和琼斯(Viola and Jones)算法，关键点定位具体采用显式回归(Explicit Shape Regression)算法。如图2A及图2D所示，图2A显示了图2D中面部图像所对应的形状s，其中，形状s采用三角面片来描述，具体是由三角面片所构成的网格中各顶点的坐标的向量来表示，各顶点即为关键点。例如，在待识别面部图像中定位了81个关键点，每个关键点具有二个坐标值(xi，yi)，i＝1,…,81,则形成162维的形状向量[x1,y1,x2,y2,…,x81,y81]T。
在本步骤中，获得面部图像的形状包括获得样本面部图像的形状和待识别面部图像的形状。其中，样本面部图像构成了训练集，训练集中包括多个面部表情类别，每个面部表情类别中包含预设数目个样本面部图像。
步骤104，将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐，获得所述面部图像的刚体归一化形状。
其中，预先获得的面部表情类别的平均形状具体根据一训练阶段获得。在本发明中，预先获得的面部表情类别的平均形状只需要获取一次即可。如图2B所示，是预先获得的某一面部表情类别的平均形状s0，例如，图2B是面部表情为“快乐”时的平均形状s0。由于面部图像的形状s可以分解为平均形状s0加上有限形状的组合，因此将形状s与平均形状s0对齐获得的形状称为刚体归一化形状sn。如图2C所示，是将图2A中的形状s与图2B中的平均形状s0对齐获得的刚体归一化形状sn，其中，刚体归一化形状sn在运动中和受力作用后，形状和大小不变，而且内部各点的相对位置不变。
当面部图像为待识别面部图像时，将待识别面部图像分别与预先获得的多个面部表情类别的平均形状对齐，获得与多个面部表情类别相对应数目的一组刚体归一化形状。
步骤106，获取所述刚体归一化形状中所述面部图像的人脸特征。
其中，所述面部图像的人脸特征包括面部图像的形状特征和面部图像的纹理特征，基于面部图像的刚体归一化形状获取人脸特征的方法在下文中将详细进行描述。
步骤108，根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果。
其中，预先训练的表情分类器具体根据一训练阶段获得。在本发明中，预先训练的表情分类器只需要获取一次即可。
步骤110，对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
在本步骤中，通过加权投票的方式来确定最终面部图像的表情类别。
基于本发明上述实施例提供的面部表情识别方法，在对齐多个平均形状的情况下，获得由形状特征和纹理特征混合构成的人脸特征，最后通过加权投票的方式确定最终的表情类别，不仅能够减少同类表情的多样性,同时还能够保留不同表情的差异性,具有良好的识别性能。
请参阅图4A、图4B、图7及图8所示，图4A是本发明面部表情识别方法另一个实施例的训练阶段的流程图，图4B是本发明面部表情识别方法另一个实施例的测试阶段的流程图，图7是本发明面部表情识别方法训练阶段一个具体实施例的流程图，图8是本发明面部表情识别方法测试阶段一个具体实施例的流程图。本实施例的面部表情识别方法包括：训练阶段和测试阶段两个阶段。
其中，训练阶段用于获取训练集中各面部表情类别的平均形状，以及利用各训练样本面部图像训练表情分类器，且面部表情类别的平均形状和表情分类器只需要在训练阶段获取一次，在测试阶段直接利用该面部表情的平均形状和表情分类器对待识别面部图像的表情进行识别。具体的，所述训练阶段包括：
步骤202，对样本面部图像进行人脸区域及关键点检测，获得样本面部图像的形状。
步骤204，根据样本面部图像的形状，计算每个面部表情类别的平均形状，将每个样本面部图像的形状与各自所属面部表情类别的平均形状对齐，获得每个样本面部图像的刚体归一化形状。
步骤206，获取每个样本面部图像的刚体归一化形状的样本面部图像的人脸特征。
其中，样本面部图像的人脸特征包括样本面部图像的形状特征和样本面部图像的纹理特征。
步骤208，根据每个样本面部图像的人脸特征训练表情分类器。
所述测试阶段包括：
步骤210，对待识别面部图像进行人脸区域检测及关键点定位，获得待识别面部图像的形状。
步骤212，将待识别面部图像的形状分别与训练阶段获得的每个面部表情类别的平均形状对齐，获得待识别面部图像的一组刚体归一化形状。
步骤214，获取待识别面部图像的一组刚体归一化形状中每个待识别面部图像的人脸特征。
待识别面部图像的人脸特征包括待识别面部图像的形状特征和待识别面部图像的纹理特征。
步骤216，根据训练阶段训练的表情分类器对每个待识别面部图像的人脸特征进行表情识别获得表情类别预测结果。
步骤218，对所述表情类别预测结果进行加权投票确定待识别面部图像的表情类别。
如图7所示，其中ANG，CON，DIS，FEA，HAP，SAD，SUR分别代表7种面部表情：生气、不屑、厌恶、害怕、快乐、悲伤和吃惊。每一种面部表情类别中包含一定数量的样本面部图像，由这7种面部表情类别的样本面部图像构成了训练集样本。
在一具体实施例中，步骤204具体通过普氏分析(procrustes analysis)获得每个面部表情类别的平均形状和每个训练样本面部图像的刚体归一化形状获，具体包括：
步骤2041，在每个面部表情类别的训练样本面部图像的形状中选取一副样本面部图像的形状作为所述面部表情类别的预估平均形状。例如，选取第1个样本面部图像的形状为预估的平均形状。
步骤2042，对每个面部表情类别中其余的样本面部图像的形状根据普氏分析与预估的平均形状进行归一化，获得所述样本面部图像的归一化形状。
步骤2043，获取每个面部表情类别归一化后所有样本面部图像的平均形状。
步骤2044，将每个面部表情类别归一化后获得的所有样本面部图像的平均形状与预估的平均形状进行比对；若比对结果一致，将预估的平均形状作为该面部表情类别的平均形状，即预先获得的面部表情类别的平均形状，并将所述样本面部图像的归一化形状作为该样本面部图像的刚体归一化形状；若比对结果不一致，则将步骤2043获取的每个面部表情类别归一化后所有样本面部图像的平均形状作为新的预估平均形状，迭代执行步骤2042-步骤2044，直到步骤2043中获取的归一化后所有样本面部图像的平均形状与最后迭代时的预估平均形状一致为止。
其中，普氏分析(procrustes analysis)具体过程为：
(1)构成样本集的形状集合
例如，样本集的形状集合为其中k为样本数,m为形状向量的维数。
(2)将样本集的形状向原点对齐
具体为：原点一般选择(0,0)点,即向原点对齐后的形状集合为：
(3)将向原点对齐后的形状尺度归一化，具体为:Xn＝Xc/||Xc||。
(4)将向原点对齐和尺度归一化获得的形状集合Xn通过旋转操作进行归一化,具体为：选择旋转矩阵Q,使得其中，表示预先估计的该表情类别的平均形状。
在一具体实施例中，步骤206包括：
步骤2061，根据每个样本面部图像的刚体归一化形状，利用欧式空间的子空间理论，基于重构误差提取面部图像的形状特征。
步骤2062，将每个样本面部图像的原始纹理填充到每个样本面部图像各自所属表情类别的平均形状中，获得每个样本面部图像的非刚体归一化表观，从每个样本面部图像的非刚体归一化表观中提取每个样本面部图像的纹理特征。
步骤2063，将获取的每个样本面部图像的纹理特征填充到每个样本面部图像的形状特征中获得每个样本面部图像的人脸特征。
下面对获取每个样本面部图像的形状特征的步骤2061进行说明，步骤2061具体包括：
(1)计算每个样本面部图像的刚体归一化形状在每个表情类别的线性重构误差。
具体根据，对于形状特征,每一个样本都可以被邻域的样本进行线性重构。因此对于一个面部图像样本i,其在第c类的线性重构误差为：
其中，c为表情类别，c＝1,…,C；为面部图像样本i在第c类的线性重构误差，si,n为面部图像样本i的刚体归一化形状；NK为邻域集合样本，K为与si,n的欧式距离最邻近的K个面部图像样本，表示重构系数，表示与si,n欧式距离最近的K个面部图像样本属于第c类的刚体归一化形状。
(2)确定每个样本面部图像的刚体归一化形状的最小线性重构误差所对应的面部表情类别。
具体为当满足时，判断面部图像样本i在第类具有最小线性重构误差。
(3)获取每个样本面部图像的刚体归一化形状的最小线性重构误差所属面部表情类别的邻域集合样本的权重向量作为每个样本面部图像的形状特征。
具体为当满足时，将所对应的权重向量作为面部图像样本i的形状特征。
其中，当在已知样本的面部表情类别时，可以直接根据步骤(1)通过计算每个样本面部图像的刚体归一化形状在所属面部表情类别的线性重构误差，获得样本面部图像的形状特征，此时线性重构误差的邻域集合样本的权重向量即作为样本面部图像的形状特征。
下面对获取每个训练样本面部图像的纹理特征的步骤2062进行说明，步骤2062具体包括：
(1)将每个样本面部图像的原始纹理通过仿射扭曲(affine warping)填充到每个样本面部图像各自所属面部表情类别的平均形状中，获得每个样本面部图像的非刚体归一化表观。
如图2F所示，是将图2D中面部图像的原始纹理通过仿射扭曲(affinewarping)填充到图2C的面部图像所属面部表情类别的平均形状s0中，所获得的面部图像的非刚体归一化表观a0，具体是通过将图2D中原始面部图像中的灰度值通过仿射扭曲(affine warping)来获取所述非刚体归一化表观a0。另外，如图2E所示，是在图2B的面部图像的刚体归一化形状sn中填充上纹理信息构成的刚体归一化表观an,具体是通过将图2D中原始面部图像中的灰度值通过仿射扭曲(affine warping)来获取所述刚体归一化表观an。由于对于纹理特征，采用非刚体归一化表观a0提取纹理特征的效果优于采用刚体归一化表观an提取纹理特征的效果，因此，本发明实施例采用非刚体归一化表观an来提取纹理特征。
(2)根据改进的基于分块的局部二值(Dual Histogram Local BinaryPattern，DH-LBP)模式从每个样本面部图像的非刚体归一化表观中获取每个样本面部图像的纹理特征。
其中，采用改进的基于分块的局部二值模式(Dual Histogram Local BinaryPattern，DH-LBP)来表示纹理特征，可以反映眼睛、鼻子和嘴巴这些在面部表情识别中具有重要作用的区域的微纹理特征，由于DH-LBP只有16维，并且同时保留了局部二值模式(Local Binary Pattern,LBP)的判别能力，因此有利于提高模型的推广能力。如图3所示，图3是本发明实施例提供的面部表情识别方法中提取纹理特征的示意图，其中将眼睛、鼻子和嘴巴区域共划分为36+35＝71个子区域，根据分块的数量和特征的维度,面部图像的纹理特征的维度为71×16＝1136。
与步骤206类似，步骤214包括：
步骤2141，根据待识别面部图像的刚体归一化形状，利用欧式空间的子空间理论，基于重构误差提取每个待识别面部图像的形状特征。
步骤2142，将待识别面部图像的原始纹理填充到每个表情类别的平均形状中，获得待识别面部图像在每个表情类别的非刚体归一化表观，从待识别面部图像的每个非刚体归一化表观中提取待识别面部图像在每个面部表情类别的纹理特征。
步骤2143，将每个待识别面部图像在每个表情类别的纹理特征填充到每个待识别面部图像的形状特征中获得一组待识别面部图像的人脸特征。
其中，获取待识别面部图像的形状特征的步骤2141具体包括：
(1)计算每个待识别面部图像的刚体归一化形状在每个表情类别的线性重构误差。
(2)确定每个待识别面部图像的刚体归一化形状的最小线性重构误差所对应的面部表情类别。
(3)获取每个待识别面部图像的刚体归一化形状的最小线性重构误差的所属面部表情类别的邻域集合样本的权重向量作为每个待识别面部图像的形状特征。
其中，获取待识别面部图像的纹理特征的步骤2142具体包括：
(1)将待识别面部图像的原始纹理通过仿射扭曲填充到每个表情类别的平均形状中，获得待识别面部图像在每个表情类别的非刚体归一化表观。
(2)根据改进的基于分块的局部二值(Dual Histogram Local BinaryPattern，DH-LBP)模式从每个待识别面部图像在每个表情类别的非刚体归一化表观中获取每个待识别面部图像在每个面部表情类别的纹理特征。
如图8所示，是本发明面部表情识别方法测试阶段一个具体实施例的流程图。步骤214所获得的参数包括：重构系数重构误差形状特征纹理特征和混合特征其中，c为表情类别，c＝1,…,C；为面部图像样本t在第c类的线性重构误差，为面部图像样本t在第c类的重构系数。
在一具体实施例中，步骤208具体包括：根据每个样本面部图像的人脸特征通过支持向量机(Support Vector Machine，SVM)算法训练表情分类器。
在一具体实施例中，步骤216具体包括：根据训练阶段训练的表情分类器为每个待识别面部图像的人脸特征分配一个表情类别标签。
在一具体实施例中，步骤218具体包括：根据重构误差的加权投票策略对表情类别预测结果进行加权投票确定待识别面部图像的表情类别。
具体根据确定表情类别。
其中，c为表情类别，c＝1,…,C；为待识别面部图像t基于重构误差的权重，其中重构误差越小,权重越大；pc为表情类别标签，当pc＝l，I{pc＝l}＝1，当pc≠l，I{pc＝l}＝0。
在上式中，每个面部表情类别的平均形状都给每个面部表情类别贡献了一定的权重,待识别面部图像的表情被确定为具有最大权重的表情类别，即具有最多投票的表情类别被确定为待识别面部图像的表情类别。
请参阅图5所示，是本发明面部表情识别装置一个实施例的结构示意图。本实施例的面部表情识别装置可用于实现本发明上述各面部表情识别方法实施例，本实施例的面部表情识别装置包括：人脸检测单元502、形状获取单元504、特征获取单元506、表情分类单元508和表情判断单元510。其中，
人脸检测单元502，用于对面部图像进行人脸区域及关键点检测，获得面部图像的形状。
其中，人脸区域的检测具体采用经典的维奥拉和琼斯(Viola and Jones)算法，关键点定位具体采用显式回归(Explicit Shape Regression)算法。如图2A及图2D所示，图2A显示了图2D中面部图像所对应的形状s，其中，形状s采用三角面片来描述，具体是由三角面片所构成的网格中各顶点的坐标的向量来表示，各顶点即为关键点。
具体来说，人脸检测单元502用于对样本面部图像进行人脸区域及关键点检测，获得样本面部图像的形状，还用于对待识别面部图像进行人脸区域及关键点检测，获得待识别面部图像的形状。
形状获取单元504，用于将面部图像的形状与预先获得的面部表情类别的平均形状对齐，获得面部图像的一组刚体归一化形状。
其中，预先获得的每个面部表情类别的平均形状具体根据一训练阶段获得。如图2B所示，是预先获得的某一面部表情类别的平均形状s0。由于面部图像的形状s可以分解为平均形状s0加上有限形状的组合，因此将形状s与平均形状s0对齐获得的形状称为刚体归一化形状sn。如图2C所示，是将图2A中的形状s与图2B中的平均形状s0对齐获得的刚体归一化形状sn，其中，刚体归一化形状sn具体是形状s通过仿射变换操作向平均形状s0对齐后获得的形状。
特征获取单元506，用于获取面部图像的刚体归一化形状中面部图像的人脸特征。
其中，面部图像包括样本面部图像和待识别面部图像，人脸特征包括形状特征和纹理特征。
表情分类单元508，用于根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果。
其中，预先训练的表情分类器具体根据一训练阶段获得。
表情判断单元510，用于对所述表情类别预测结果进行加权投票确定待识别面部图像的表情类别。
基于本发明上述实施例提供的面部表情识别装置，在对齐多个平均形状的情况下，获得由形状特征和纹理特征混合构成的人脸特征，最后通过加权投票的方式确定最终的表情类别，不仅能够减少同类表情的多样性,同时还能够保留不同表情的差异性,具有良好的识别性能。
在另一实施例中，面部表情识别装置用于执行训练阶段和测试阶段两个阶段的操作。
人脸检测单元502，对样本面部图像进行人脸区域及关键点检测，获得样本面部图像的形状。
形状获取单元504，还用于根据样本面部图像的形状，计算每个面部表情类别的平均形状，将每个样本面部图像的形状与各自所属面部表情类别的平均形状对齐，获得每个样本面部图像的刚体归一化形状。
特征获取单元506，还用于获取每个样本面部图像的刚体归一化形状的面部图像的人脸特征。
表情分类单元508，还用于根据训练样本面部图像的人脸特征训练表情分类器。
在一具体实施例中，形状获取单元504具体通过普氏分析(procrustesanalysis)获得每个面部表情类别的平均形状、每个训练样本面部图像的刚体归一化形状和待识别面部图像的刚体归一化形状。
请参阅图6所示，是本发明表情识别装置另一个实施例的结构示意图。本实施例与图5实施例的区别在于，形状获取单元504包括：预估计单元602、归一化单元604、平均单元606和判断单元608。其中，
预估计单元602，用于在面部表情类别的样本面部图像的形状中选取一副面部图像的形状作为该面部表情类别的预估平均形状。
归一化单元604，用于对面部表情类别中其余的样本面部图像的形状根据普氏分析与预估的平均形状进行归一化，获得面部图像的刚体归一化形状。
平均单元606，用于获取面部表情类别归一化后所有样本面部图像的平均形状。
判断单元608，用于将归一化后所有样本面部图像的平均形状与预估的平均形状进行比对；若比对结果一致，将预估平均形状作为该面部表情类别的平均形状，并将面部图像的归一化形状作为该面部图像的刚体归一化形状；若比对结果不一致，则将归一化后所有面部图像的平均形状作为新的预估的平均形状，由归一化单元604和平均单元606迭代执行上述归一化操作和获取归一化后所有训练样本面部图像的平均形状的操作。
特征获取单元506包括：形状特征获取单元612、纹理特征获取单元614和填充单元616。其中，
形状特征获取单元612，用于根据每个样本面部图像的刚体归一化形状，利用欧式空间的子空间理论，基于重构误差提取面部图像的形状特征。
具体地，形状特征获取单元612通过计算每个样本面部图像的刚体归一化形状在每个表情类别的线性重构误差；及确定每个样本面部图像的刚体归一化形状的最小线性重构误差所对应的面部表情类别；并获取每个样本面部图像的刚体归一化形状的最小线性重构误差所属面部表情类别的邻域集合样本的权重向量作为每个样本面部图像的形状特征。
形状特征获取单元612还用于根据待识别面部图像的刚体归一化形状，利用欧式空间的子空间理论，基于重构误差提取每个待识别面部图像的形状特征。
具体地，形状特征获取单元612通过计算每个待识别面部图像的刚体归一化形状在每个表情类别的线性重构误差；及确定每个待识别面部图像的刚体归一化形状的最小线性重构误差所对应的面部表情类别；并获取每个待识别面部图像的刚体归一化形状的最小线性重构误差的所属面部表情类别的邻域集合样本的权重向量作为每个待识别面部图像的形状特征。
纹理特征获取单元614，用于将每个样本面部图像的原始纹理填充到每个样本面部图像各自所属表情类别的平均形状中，获得每个样本面部图像的非刚体归一化表观，从每个样本面部图像的非刚体归一化表观中提取每个样本面部图像的纹理特征。
具体地，纹理特征获取单元614通过将每个样本面部图像的原始纹理通过仿射扭曲(affine warping)填充到每个样本面部图像各自所属面部表情类别的平均形状中，获得每个样本面部图像的非刚体归一化表观；及根据改进的基于分块的局部二值(Dual Histogram Local Binary Pattern，DH-LBP)模式从每个样本面部图像的非刚体归一化表观中获取每个样本面部图像的纹理特征。
纹理特征获取单元614，还用于将待识别面部图像的原始纹理填充到每个表情类别的平均形状中，获得待识别面部图像在每个表情类别的非刚体归一化表观，从待识别面部图像的每个非刚体归一化表观中提取待识别面部图像在每个面部表情类别的纹理特征。
具体地，纹理特征获取单元614通过将待识别面部图像的原始纹理通过仿射扭曲填充到每个表情类别的平均形状中，获得待识别面部图像在每个表情类别的非刚体归一化表观；及根据改进的基于分块的局部二值(DualHistogram Local Binary Pattern，DH-LBP)模式从每个待识别面部图像在每个表情类别的非刚体归一化表观中获取每个待识别面部图像在每个面部表情类别的纹理特征。
填充单元616，用于将获取的每个训练样本面部图像的纹理特征填充到每个训练样本面部图像的形状特征中获得每个训练样本面部图像的人脸特征。
填充单元616还用于将每个待识别面部图像在每个表情类别的纹理特征填充到每个待识别面部图像的形状特征中获得一组待识别面部图像的人脸特征。
在一具体实施例中，表情分类单元508，用于根据每个样本面部图像的人脸特征通过支持向量机(Support Vector Machine，SVM)算法训练表情分类器。
在一具体实施例中，表情分类单元508，还用于根据训练阶段训练的表情分类器为每个待识别面部图像的人脸特征分配一个表情类别标签。
在一具体实施例中，表情判断单元510用于根据重构误差的加权投票策略对表情类别预测结果进行加权投票确定待识别面部图像的表情类别。
具体根据确定表情类别。
其中，c为表情类别，c＝1,…,C；为待识别面部图像t基于重构误差的权重，其中重构误差越小,权重越大；pc为表情类别标签，当pc＝l，I{pc＝l}＝1，当pc≠l，I{pc＝l}＝0。
在上式中，每个面部表情类别的平均形状都给每个面部表情类别贡献了一定的权重,待识别面部图像的表情被确定为具有最大权重的表情类别，即具有最多投票的表情类别被确定为待识别面部图像的表情类别。
所述表情识别装置包括处理器和存储器，上述人脸检测单元502、形状获取单元504、特征获取单元506、表情分类单元508和表情判断单元510等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法、装置和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法、装置和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

Claims (9)

1.一种面部表情识别方法，其特征在于，包括：
对面部图像进行人脸区域检测及关键点定位，获得面部图像的形状；
将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐，获得所述面部图像的刚体归一化形状；
获取所述刚体归一化形状中所述面部图像的人脸特征；
根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果；
对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
2.根据权利要求1所述的方法，其特征在于，所述面部图像为样本面部图像或待识别面部图像。
3.根据权利要求2所述的方法，其特征在于，所述预先获得的面部表情类别的平均形状由如下步骤获取：
S1、在面部表情类别的所有面部图像的形状中选取一副面部图像形状作为所述面部表情类别的预估平均形状；
S2、对所述面部表情类别中其余的面部图像形状与所述预估平均形状进行归一化，获得所述面部图像的归一化形状；
S3、获取所述面部表情类别归一化后所有面部图像的平均形状；
S4、将所述归一化后所有面部图像的平均形状与所述预估平均形状进行比对；若比对结果一致，将所述预估平均形状作为预先获得的面部表情类别的平均形状，并将所述面部图像的归一化形状作为该面部图像的刚体归一化形状；若比对结果不一致，则将S3获取的归一化后所有面部图像的平均形状作为新的预估平均形状，迭代执行S2-S4。
4.根据权利要求3所述的方法，其特征在于，所述面部图像的人脸特征包括面部图像的形状特征和面部图像的纹理特征。
5.根据权利要求4所述的方法，其特征在于，所述获取所述刚体归一化形状中所述面部图像的人脸特征包括：
根据面部图像的刚体归一化形状，利用欧式空间的子空间理论，基于重构误差提取面部图像的形状特征；
将面部图像的原始纹理通过仿射扭曲填充到面部图像所属表情类别的平均形状中，获得面部图像的非刚体归一化表观；
根据改进的基于分块的局部二值模式从面部图像的非刚体归一化表观中获取面部图像的纹理特征；
将获取的面部图像的纹理特征填充到面部图像的形状特征中获得面部图像的人脸特征。
6.根据权利要求4所述的方法，其特征在于，所述预先训练的表情分类器包括：当所述面部图像为样本面部图像时，对样本面部图像的人脸特征通过支持向量机算法进行训练获得预先训练的表情分类器。
7.根据权利要求6所述的方法，其特征在于，所述根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果包括：当所述面部图像为待识别面部图像时，根据预先训练的表情分类器为待识别面部图像的人脸特征分配一个表情类别标签。
8.根据权利要求7所述的方法，其特征在于，所述对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别包括：根据重构误差的加权投票策略对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
9.一种面部表情识别装置，其特征在于，包括：
人脸检测单元，用于对面部图像进行人脸区域检测及关键点定位，获得面部图像的形状；
形状获取单元，用于将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐，获得所述面部图像的刚体归一化形状；
特征获取单元，用于获取所述刚体归一化形状中所述面部图像的人脸特征；
表情分类单元，用于根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果；
表情判断单元，用于对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
CN201510983041.1A 2015-12-24 2015-12-24 面部表情识别方法及装置 Pending CN106919884A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510983041.1A CN106919884A (zh) 2015-12-24 2015-12-24 面部表情识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510983041.1A CN106919884A (zh) 2015-12-24 2015-12-24 面部表情识别方法及装置

Publications (1)

Publication Number Publication Date
CN106919884A true CN106919884A (zh) 2017-07-04

Family

ID=59459816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510983041.1A Pending CN106919884A (zh) 2015-12-24 2015-12-24 面部表情识别方法及装置

Country Status (1)

Country Link
CN (1) CN106919884A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563292A (zh) * 2017-08-03 2018-01-09 佛山市顺德区中山大学研究院 一种基于lddmm曲线匹配的人脸情感识别方法
CN108268838A (zh) * 2018-01-02 2018-07-10 中国科学院福建物质结构研究所 人脸表情识别方法及人脸表情识别系统
CN108921941A (zh) * 2018-07-10 2018-11-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN109087240A (zh) * 2018-08-21 2018-12-25 成都旷视金智科技有限公司 图像处理方法、图像处理装置及存储介质
CN109614928A (zh) * 2018-12-07 2019-04-12 成都大熊猫繁育研究基地 基于有限训练数据的熊猫脸部识别方法
CN112464699A (zh) * 2019-09-06 2021-03-09 富士通株式会社 用于面部分析的图像归一化方法、系统和可读介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694691A (zh) * 2009-07-07 2010-04-14 北京中星微电子有限公司 一种人脸图像合成方法及装置
CN101763503A (zh) * 2009-12-30 2010-06-30 中国科学院计算技术研究所 一种姿态鲁棒的人脸识别方法
CN102880862A (zh) * 2012-09-10 2013-01-16 Tcl集团股份有限公司 一种人脸表情的识别方法及系统
CN103268623A (zh) * 2013-06-18 2013-08-28 西安电子科技大学 一种基于频域分析的静态人脸表情合成方法
CN103377367A (zh) * 2012-04-28 2013-10-30 中兴通讯股份有限公司 面部图像的获取方法及装置
CN103714331A (zh) * 2014-01-10 2014-04-09 南通大学 一种基于点分布模型面部表情特征的提取方法
CN103824051A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于局部区域匹配的人脸搜索方法
CN104077563A (zh) * 2014-05-30 2014-10-01 小米科技有限责任公司 人脸识别方法和装置
CN104123562A (zh) * 2014-07-10 2014-10-29 华东师范大学 一种基于双目视觉的人体面部表情识别方法及其装置
CN104732216A (zh) * 2015-03-26 2015-06-24 江苏物联网研究发展中心 基于关键点和局部特征的表情识别方法
CN104835507A (zh) * 2015-03-30 2015-08-12 渤海大学 一种串并结合的多模式情感信息融合与识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694691A (zh) * 2009-07-07 2010-04-14 北京中星微电子有限公司 一种人脸图像合成方法及装置
CN101763503A (zh) * 2009-12-30 2010-06-30 中国科学院计算技术研究所 一种姿态鲁棒的人脸识别方法
CN103377367A (zh) * 2012-04-28 2013-10-30 中兴通讯股份有限公司 面部图像的获取方法及装置
CN102880862A (zh) * 2012-09-10 2013-01-16 Tcl集团股份有限公司 一种人脸表情的识别方法及系统
CN103268623A (zh) * 2013-06-18 2013-08-28 西安电子科技大学 一种基于频域分析的静态人脸表情合成方法
CN103714331A (zh) * 2014-01-10 2014-04-09 南通大学 一种基于点分布模型面部表情特征的提取方法
CN103824051A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于局部区域匹配的人脸搜索方法
CN104077563A (zh) * 2014-05-30 2014-10-01 小米科技有限责任公司 人脸识别方法和装置
CN104123562A (zh) * 2014-07-10 2014-10-29 华东师范大学 一种基于双目视觉的人体面部表情识别方法及其装置
CN104732216A (zh) * 2015-03-26 2015-06-24 江苏物联网研究发展中心 基于关键点和局部特征的表情识别方法
CN104835507A (zh) * 2015-03-30 2015-08-12 渤海大学 一种串并结合的多模式情感信息融合与识别方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563292A (zh) * 2017-08-03 2018-01-09 佛山市顺德区中山大学研究院 一种基于lddmm曲线匹配的人脸情感识别方法
CN107563292B (zh) * 2017-08-03 2019-09-10 佛山市顺德区中山大学研究院 一种基于lddmm曲线匹配的人脸情感识别方法
CN108268838A (zh) * 2018-01-02 2018-07-10 中国科学院福建物质结构研究所 人脸表情识别方法及人脸表情识别系统
CN108268838B (zh) * 2018-01-02 2020-12-29 中国科学院福建物质结构研究所 人脸表情识别方法及人脸表情识别系统
CN108921941A (zh) * 2018-07-10 2018-11-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN109087240A (zh) * 2018-08-21 2018-12-25 成都旷视金智科技有限公司 图像处理方法、图像处理装置及存储介质
CN109087240B (zh) * 2018-08-21 2023-06-06 成都旷视金智科技有限公司 图像处理方法、图像处理装置及存储介质
CN109614928A (zh) * 2018-12-07 2019-04-12 成都大熊猫繁育研究基地 基于有限训练数据的熊猫脸部识别方法
CN112464699A (zh) * 2019-09-06 2021-03-09 富士通株式会社 用于面部分析的图像归一化方法、系统和可读介质

Similar Documents

Publication Publication Date Title
US10891511B1 (en) Human hairstyle generation method based on multi-feature retrieval and deformation
CN109934293B (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
CN107657279B (zh) 一种基于少量样本的遥感目标检测方法
Zhang et al. Supervised pixel-wise GAN for face super-resolution
CN106919884A (zh) 面部表情识别方法及装置
CN107085716A (zh) 基于多任务生成对抗网络的跨视角步态识别方法
CN109214273A (zh) 人脸图像比对方法、装置、计算机设备及存储介质
CN107680119A (zh) 一种基于时空上下文融合多特征及尺度滤波的跟踪算法
CN105825183B (zh) 基于部分遮挡图像的人脸表情识别方法
Li et al. SOLD: Sub-optimal low-rank decomposition for efficient video segmentation
CN106296638A (zh) 显著性信息取得装置以及显著性信息取得方法
CN105825502B (zh) 一种基于显著性指导的词典学习的弱监督图像解析方法
CN102663400B (zh) 一种结合预处理的lbp特征提取方法
CN105139004A (zh) 基于视频序列的人脸表情识别方法
CN104484886B (zh) 一种mr图像的分割方法及装置
CN104899877A (zh) 基于超像素和快速三分图的图像前景提取方法
CN106778852A (zh) 一种修正误判的图像内容识别方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN107516316A (zh) 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法
CN104077742B (zh) 基于Gabor特征的人脸素描合成方法及系统
CN110705565A (zh) 淋巴结肿瘤区域识别方法与装置
CN103745233B (zh) 基于空间信息迁移的高光谱图像分类方法
CN102163281A (zh) 基于AdaBoost框架和头部颜色的实时人体检测方法
CN105956570A (zh) 基于唇部特征和深度学习的笑脸识别方法
CN109344713A (zh) 一种姿态鲁棒的人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170704