CN101719223B - 静态图像中陌生人面部表情的识别方法 - Google Patents

静态图像中陌生人面部表情的识别方法 Download PDF

Info

Publication number
CN101719223B
CN101719223B CN2009102545878A CN200910254587A CN101719223B CN 101719223 B CN101719223 B CN 101719223B CN 2009102545878 A CN2009102545878 A CN 2009102545878A CN 200910254587 A CN200910254587 A CN 200910254587A CN 101719223 B CN101719223 B CN 101719223B
Authority
CN
China
Prior art keywords
facial
expression
active unit
image
activity unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009102545878A
Other languages
English (en)
Other versions
CN101719223A (zh
Inventor
冯晓毅
阎坤
季战领
彭进业
谢红梅
杨雨奇
何贵青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN2009102545878A priority Critical patent/CN101719223B/zh
Publication of CN101719223A publication Critical patent/CN101719223A/zh
Application granted granted Critical
Publication of CN101719223B publication Critical patent/CN101719223B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种静态图像中陌生人面部表情的识别方法，属于图像识别领域，用于对静态图像中陌生人面部表情的识别。所述方法首先用Cohn-Kanade表情数据库作为活动单元学习用样本集，完成表情视觉特征库的建立；将该样本集中图像的视觉特征输入面部活动单元分类器，识别各图像包含的面部活动单元；用面部活动单元特征向量实现从面部活动单元到6种基本表情的分类器学习；对表情测试样本，利用其视觉特征识别其包含的面部活动单元，并构造面部活动单元特征向量，根据面部活动单元特征向量实现面部基本表情的识别。该方法结果采用与文献相同的数据库划分方法，在日本女性人脸表情数据库JAFFE上测试，对陌生人表情识别率由现有技术的70.95％提高到76％。

Description

静态图像中陌生人面部表情的识别方法
技术领域
本发明涉及一种陌生人面部表情的识别方法，特别是静态图像中陌生人面部表情的识别方法。
背景技术
人脸表情识别在人机交互、图像检索、心理学、远程教育、安全驾驶、安全监控、辨别谎言、电脑游戏等方面具有越来越广泛的应用，其中静态图像中陌生人表情的识别是基本技术之一。
文献“基于局部二元模式的面部表情识别研究，计算机工程与应用，2009，Vol.45(29)，p180-183”公开了一种静态图像中陌生人表情的计算机识别方法。该方法提取人脸的纹理特征后进行降维处理，然后对特征进行分类，该方法在日本女性人脸表情数据库JAFFE上测试，对陌生人表情识别率为70.95％。由于对静态图像提取的纹理特征征往往不仅包含了表情特征，还包含了人脸特征，表情特征描述不准确，而且，人类的表情特征复杂多样，底层视觉特征尤其是人脸表情的整体特征，很难较完整地描述人类的各种表情特征。因此，文献中的表情视觉特征提取方法难以对人脸表情进行完整而准确地描述，对陌生人表情识别率不高。
发明内容
为了克服现有技术对静态图像中陌生人面部表情识别率低的不足，本发明提供一种静态图像中陌生人面部表情的识别方法，该方法采用底层视觉特征和语义级面部活动单元特征两级表情特征描述方法，利用面部活动单元特征作为视觉特征与表情类别间的桥梁，以有效降低视觉特征描述的不准确和不完整性。同时，采用两级分类器进行表情分类：第一级分类器实现从视觉特征到活动单元特征的分类，第二级分类器实现从活动单元特征到表情类别的分类。可以提高静态图像中陌生人面部表情的识别率。
本发明解决其技术问题所采用的技术方案：一种静态图像中陌生人面部表情的识别方法，其特点是包括以下步骤：
(a)选取Cohn-Kanade表情数据库作为活动单元学习用样本集，对该样本集合中的每一幅图像进行归一化和对齐预处理，并根据人脸各部位的几何比例，计算双眉、双眼、嘴巴、鼻子特征部位的位置和空间范围，提取这些特征部位图像的纹理特征，完成表情视觉特征库的建立；
根据表情视觉特征库的所有视觉特征向量，训练44个SVM分类器，实现从视觉特征到44个面部活动单元的分类器学习；
(b)选择表情识别学习用样本集，对该样本集中的每一幅图像进行归一化和对齐预处理，并根据人脸各部位的几何比例，提取双眉、双眼、嘴巴、鼻子等特征部位图像，提取这些特征部位的纹理特征，将这些纹理特征分别输入44个SVM分类器，根据分类器的输出是0或1，识别其包含的面部活动单元，构造面部活动单元特征向量；
(c)用表情识别学习用样本集中的样本的面部活动单元特征向量训练6个SVM分类器，实现从面部活动单元到6种基本表情的分类器学习；
(d)对表情测试图像，按步骤(b)的方法得到其面部活动单元特征向量并输入6个SVM分类器，实现从面部活动单元到6种基本表情的识别。
本发明具有以下有益效果：由于采用底层视觉特征和语义级面部活动单元特征的两级特征描述，利用语义级面部活动单元特征作为视觉特征与表情类别间的桥梁，一方面减少了视觉特征包含的人脸特征对表情识别的影响，提高了特征描述的准确性，另一方面，面部活动单元是心理学研究得出的面部表情编码系统中的单元，其对表情特征的描述更完整；同时，采用两级分类器进行表情分类，降低了对分类器映射能力的要求。该方法结果采用与文献相同的划分方法，在日本女性人脸表情数据库JAFFE上测试，对陌生人表情识别率由现有技术的70.95％提高到76％。
下面结合具体实施方式对本发明作详细说明。
具体实施方式
本实施例采用Cohn-Kanade表情数据库作为活动单元学习用样本库，采用JAFFE表情数据库作为活动单元识别、表情学习和测试用数据库。具体步骤如下：
(1)面部活动单元学习过程。
选取Cohn-Kanade表情数据库作为活动单元学习用样本集，对该集合中的每一幅图像，手工定位人的两眼的外眼角位置和左、右嘴角位置，设(x1，y1)，(x2，y2)，(x3，y3)和(x4，y4)分别表示左外眼角、右外眼角、左嘴角和右嘴角位置，则：
两眼间距离 
Figure DEST_PATH_GSB00000491039500011
两眼中心O位置为 
Figure DEST_PATH_GSB00000491039500012
从中心O起，向左右各剪切0.6d1，向上剪切0.6d1，向下剪切2.3d1，将图像缩放为100×80像素大小，完成人脸大小归一化和人脸对齐。
双眉、双眼、嘴巴、鼻子等特征区域计算如下；
左眉左上角位置(x1-10，y1-66)，右眉右上角位置(x2+10，y2-66)，两眉区域宽度均为 
Figure G2009102545878D00024
高度均为45；左眼左上角位置(x1-10，y1-22)，右眼右上角位置 (x2+10，y2-22)，两眉区域宽度均为 
Figure G2009102545878D00031
高度均为42；鼻子区域的左上角位置 
Figure G2009102545878D00032
区域宽度 
Figure G2009102545878D00033
高度为 
Figure G2009102545878D00034
嘴巴区域的左上角位置(x3-10，y3-20)，区域宽度x4-x3+20，高度为30。
至此，可根据上述计算结果提取特征部位图像。
对双眉、双眼、嘴巴、鼻子等特征部位图像，分别采用文献中的LBP特征作为其纹理特征，采用文献中的SVM分类器进行面部活动单元的分类器学习，共训练44个分类器，每个分类器对应一个活动单元。
(2)面部活动单元识别过程。
选择JAFFE数据库，用步骤(1)中同样的方法，对库中的图像进行归一化和对齐预处理，获取双眉、双眼、嘴巴、鼻子等特征部位图像，提取这些特征部位的纹理特征。
将这些纹理特征分别输入44个SVM分类器，根据分类器的输出是0或1，识别其包含的面部活动单元，组成面部活动单元向量。
(3)表情学习过程。
采用弃一交叉验证法。选择JAFFE数据库中某一个人的表情图像作为测试集，其余9个人的表情图像作为表情学习样本集。用学习样本集中各样本的面部活动单元特征向量训练6个SVM分类器，实现从面部活动单元到6种基本表情的分类器学习。
(4)表情识别过程。
与步骤(3)对应，选择JAFFE数据库中某一个人的表情图像作为测试集，将测试样本的面部活动单元特征向量输入6个SVM分类器，根据分类器的输出是0或1，实现从面部活动单元到6种基本表情的识别。
该方法在日本女性人脸表情数据库JAFFE上测试，对陌生人表情识别率为76％。

Claims (1)

1.一种静态图像中陌生人面部表情的识别方法，其特征在于包括以下步骤：
(a)选取Cohn-Kanade表情数据库作为面部活动单元学习用样本集，对该样本集合中的每一幅图像进行归一化和对齐预处理，并根据人脸各部位的几何比例，计算双眉、双眼、嘴巴、鼻子特征部位的位置和空间范围，提取这些特征部位图像的纹理特征，完成表情视觉特征库的建立；
根据表情视觉特征库的所有视觉特征向量，训练44个SVM分类器，实现从视觉特征到44个面部活动单元的分类器学习；
(b)选择表情识别学习用样本集，对该样本集中的每一幅图像进行归一化和对齐预处理，并根据人脸各部位的几何比例，提取双眉、双眼、嘴巴、鼻子特征部位图像，提取这些特征部位的纹理特征，将这些纹理特征分别输入44个SVM分类器，根据分类器的输出是0或1，识别其包含的面部活动单元，构造面部活动单元特征向量；
(c)用表情识别学习用样本集中的样本的面部活动单元特征向量训练6个SVM分类器，实现从面部活动单元到6种基本表情的分类器学习；
(d)对表情测试图像，按步骤(b)的方法得到其面部活动单元特征向量并输入6个SVM分类器，实现从面部活动单元到6种基本表情的识别。
CN2009102545878A 2009-12-29 2009-12-29 静态图像中陌生人面部表情的识别方法 Expired - Fee Related CN101719223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009102545878A CN101719223B (zh) 2009-12-29 2009-12-29 静态图像中陌生人面部表情的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009102545878A CN101719223B (zh) 2009-12-29 2009-12-29 静态图像中陌生人面部表情的识别方法

Publications (2)

Publication Number Publication Date
CN101719223A CN101719223A (zh) 2010-06-02
CN101719223B true CN101719223B (zh) 2011-09-14

Family

ID=42433796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102545878A Expired - Fee Related CN101719223B (zh) 2009-12-29 2009-12-29 静态图像中陌生人面部表情的识别方法

Country Status (1)

Country Link
CN (1) CN101719223B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938065B (zh) * 2012-11-28 2017-10-20 北京旷视科技有限公司 基于大规模图像数据的人脸特征提取方法及人脸识别方法
CN104732203B (zh) * 2015-03-05 2019-03-26 中国科学院软件研究所 一种基于视频信息的情绪识别与跟踪方法
CN107625527B (zh) * 2016-07-19 2021-04-20 杭州海康威视数字技术股份有限公司 一种测谎方法及装置
CN107169413B (zh) * 2017-04-12 2021-01-12 上海大学 一种基于特征块权重化的面部表情识别方法
GB201713829D0 (en) * 2017-08-29 2017-10-11 We Are Human Ltd Image data processing system and method
CN108280166B (zh) * 2018-01-17 2020-01-10 Oppo广东移动通信有限公司 表情的制作方法、装置、终端及计算机可读存储介质
CN111368115B (zh) * 2020-03-03 2023-09-29 杭州海康威视系统技术有限公司 数据聚类方法、装置、聚类服务器及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794265A (zh) * 2005-12-31 2006-06-28 北京中星微电子有限公司 基于视频的面部表情识别方法及装置
CN101004791A (zh) * 2007-01-19 2007-07-25 赵力 一种基于二维偏最小二乘法的面部表情识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794265A (zh) * 2005-12-31 2006-06-28 北京中星微电子有限公司 基于视频的面部表情识别方法及装置
CN101004791A (zh) * 2007-01-19 2007-07-25 赵力 一种基于二维偏最小二乘法的面部表情识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
崔洁，冯晓毅.基于粗略到精细分类的面部表情识别方法.《计算机工程》.2007,第33卷(第5期), *
朱娅妮,杜加友.基于多特征融合的人脸表情识别.《杭州电子科技大学学报》.2009,第29卷(第5期), *

Also Published As

Publication number Publication date
CN101719223A (zh) 2010-06-02

Similar Documents

Publication Publication Date Title
CN101719223B (zh) 静态图像中陌生人面部表情的识别方法
CN105956560B (zh) 一种基于池化多尺度深度卷积特征的车型识别方法
CN105512624B (zh) 一种人脸图像的笑脸识别方法及其装置
CN103902977B (zh) 基于Gabor二值模式的人脸识别方法及装置
CN105160317B (zh) 一种基于区域分块行人性别识别方法
CN103810506B (zh) 一种手写汉字笔画识别方法
CN104463100B (zh) 基于面部表情识别模式的智能轮椅人机交互系统及方法
CN102938065B (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
CN104408449B (zh) 智能移动终端场景文字处理方法
CN104850825A (zh) 一种基于卷积神经网络的人脸图像颜值计算方法
CN107563336A (zh) 用于名人匹配游戏的人脸相似度分析方法、装置和系统
CN108805216A (zh) 基于深浅特征融合的人脸图像处理方法
Rai et al. Gender classification techniques: A review
CN105138968A (zh) 人脸认证方法和装置
CN102629320A (zh) 基于特征层定序测量统计描述的人脸识别方法
CN104050448A (zh) 一种人眼定位、人眼区域定位方法及装置
CN104008364A (zh) 人脸识别方法
CN103761515A (zh) 一种基于lbp的人脸特征提取方法及装置
CN109543656A (zh) 一种基于dcs-ldp的人脸特征提取方法
CN103020614A (zh) 基于时空兴趣点检测的人体运动识别方法
CN105893942A (zh) 一种基于eSC和HOG的自适应HMM的手语识别方法
Tung et al. Elliptical density shape model for hand gesture recognition
CN104143091A (zh) 基于改进mLBP的单样本人脸识别方法
CN107886110A (zh) 人脸检测方法、装置及电子设备
Liu et al. Facial expression recognition under partial occlusion based on Gabor multi-orientation features fusion and local Gabor binary pattern histogram sequence

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110914

Termination date: 20131229